JP2012010250A - Optical luminance correction apparatus, optical luminance correction method, and optical luminance correction program - Google Patents
Optical luminance correction apparatus, optical luminance correction method, and optical luminance correction program Download PDFInfo
- Publication number
- JP2012010250A JP2012010250A JP2010146283A JP2010146283A JP2012010250A JP 2012010250 A JP2012010250 A JP 2012010250A JP 2010146283 A JP2010146283 A JP 2010146283A JP 2010146283 A JP2010146283 A JP 2010146283A JP 2012010250 A JP2012010250 A JP 2012010250A
- Authority
- JP
- Japan
- Prior art keywords
- correction
- illumination change
- projector
- luminance
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
本発明は、プロジェクタ・カメラシステムにおいて、照明状態の変化に応じて、カメラで観測した各画素の輝度値が所定の値となるように、プロジェクタから投影する各画素の出力値を補正または調整する光学輝度補正装置、光学輝度補正方法及び光学輝度補正プログラムに関する。 The present invention corrects or adjusts the output value of each pixel projected from the projector in a projector / camera system so that the luminance value of each pixel observed by the camera becomes a predetermined value according to a change in illumination state. The present invention relates to an optical brightness correction device, an optical brightness correction method, and an optical brightness correction program.
従来から、プロジェクタを使ったフロント・プロジェクション、またはリア・プロジェクションにおいては、スクリーンを取り巻く照明環境に変化があると、スクリーン上における光学輝度が変化するという問題がある。例えば、照明を消した暗室状態と蛍光灯等によって照明した環境では、スクリーン上の投影像それぞれの輝度は異なる。また、スライドを使ったプレゼンテーションの実環境では、スライドを投影した初期状態から照明状態が変化すると、スクリーン上での見え方が変化するため、環境の明るさに応じてプロジェクタからの出力輝度値を調整することが必要となる。 Conventionally, in front projection or rear projection using a projector, there is a problem that the optical luminance on the screen changes when there is a change in the illumination environment surrounding the screen. For example, the brightness of each projected image on the screen is different in a dark room state with no light and in an environment illuminated with a fluorescent lamp or the like. Also, in the actual environment of presentations using slides, when the lighting state changes from the initial state when the slide is projected, the appearance on the screen changes, so the output luminance value from the projector is set according to the brightness of the environment. It is necessary to adjust.
このような問題を解決するために、プロジェクタ・カメラシステムにおいて、プロジェクタからのRGB輝度値とカメラで観測されたRGB輝度値間の相関関係に着目し、カラー混合行列(Color Mixing Matrix)と呼ばれる3×3の行列Vを使って、所定のRGB輝度値C=(CR,CG,CB)をカメラが観測するようにプロジェクタからのRGB出力値P=(PR,PG,PB)を補正する方法が知られている(例えば、非特許文献1参照)。 In order to solve such a problem, in the projector / camera system, attention is paid to the correlation between the RGB luminance value from the projector and the RGB luminance value observed by the camera, and this is called a color mixing matrix (Color Mixing Matrix). The RGB output value P = (P R , P G , P B from the projector is used so that the camera observes a predetermined RGB luminance value C = (C R , C G , C B ) using the × 3 matrix V. ) Is known (see, for example, Non-Patent Document 1).
しかしながら、非特許文献1では環境光の影響が考慮されていないため、照明変化があると所定の輝度値を観測できるように、プロジェクタからの輝度値を補正することは困難である。このような課題に対して、環境光を考慮して、外界の環境が変化するようなダイナミックシーンにおいても輝度補正を行う方法が知られている(例えば、非特許文献2参照)。
However, since Non-Patent
非特許文献1の方法は、プロジェクタのRGB値とカメラを使って観測されるRGB値の間を線形結合で結び付けたシンプルな輝度補正モデルであるため、輝度補正をリアルタイムで行うことが可能である。しかしながら、環境光を考慮していないため、室内環境での照明変化がある場合には、その変化に追従して輝度を補正することができないという問題がある。
Since the method of Non-Patent
一方、非特許文献2の方法は、照明環境の変化が微小であると仮定し、投影される対象表面での反射特性の変化、すなわち、ダイナミックシーンに対して輝度補正を行うことが可能である。しかしながら、非特許文献1の方法と同様に、照明環境が変化しないという前提に変わりはなく、プロジェクタ投影環境において照明変化があった場合には、その変化に追従してプロジェクタからの出力輝度を補正することが困難であるという問題がある。
On the other hand, the method of Non-Patent
本発明は、このような事情に鑑みてなされたもので、プロジェクタからコンテンツを投影している間に、照明環境に変化がある場合、その照明環境の変化を検出し、カメラで観測したRGB値が所定の輝度値となるように、その変化に応じてプロジェクタからの出力輝度を補正することが可能な光学輝度補正装置、光学輝度補正方法及び光学輝度補正プログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and when there is a change in the illumination environment while projecting content from the projector, the change in the illumination environment is detected and the RGB values observed by the camera are detected. An object of the present invention is to provide an optical luminance correction apparatus, an optical luminance correction method, and an optical luminance correction program capable of correcting the output luminance from the projector according to the change so that becomes a predetermined luminance value.
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段とを備えることを特徴とする。 The present invention is an optical brightness correction device that corrects the brightness of a projection image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector, and is obtained by the camera. Illumination change detection means for detecting an illumination change in a state in which the projection image is projected from the image and outputting illumination change correction information based on the illumination change situation when the illumination change is detected; and the illumination change Projection luminance correction means for correcting the luminance of the projection image projected by the projector based on correction information.
本発明は、前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を出力する事前補正手段をさらに備え、前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする。 The present invention relates to a luminance value of a projected image projected by the projector and a luminance value of an image captured by the camera, and outputs a preliminary correction information for correcting the luminance of the projected image in an initial state. And a projection luminance correction unit correcting the luminance of the projection image based on the prior correction information when the projector is in an initial state.
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と、前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を記憶した記憶手段とを備え、前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする。 The present invention is an optical brightness correction device that corrects the brightness of a projection image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector, and is obtained by the camera. Illumination change detection means for detecting an illumination change in a state in which the projection image is projected from the image and outputting illumination change correction information based on the illumination change situation when the illumination change is detected; and the illumination change Based on the correction information, the projection brightness correction means for correcting the brightness of the projection image projected by the projector, the brightness value of the projection image projected by the projector and the brightness value of the image captured by the camera are associated with each other. Storage means storing pre-correction information for correcting the brightness of the projected image in the initial state, and the projection brightness Positive means, based on the pre correction information when the projector is in an initial state, and correcting the brightness of the projected image.
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置における光学輝度補正方法であって、前記照明変化検出手段が、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、前記投影輝度補正手段が、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップとを有することを特徴とする。 The present invention provides an illumination change detection unit, a projection luminance correction unit, and a correction unit for correcting the luminance of a projection image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector. An optical brightness correction method in an optical brightness correction apparatus comprising: the illumination change detecting means detects an illumination change in a state where the projection image is projected from the image obtained by the camera, and the illumination change is detected. An illumination change detection step for outputting illumination change correction information based on the illumination change status when detected, and the projection luminance correction means for the projection image projected by the projector based on the illumination change correction information. A projection luminance correction step for correcting the luminance.
本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置上のコンピュータに光学輝度補正処理を行わせる光学輝度補正プログラムであって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップとを前記コンピュータに行わせることを特徴とする。 The present invention includes an illumination change detecting unit and a projection luminance correcting unit for correcting the luminance of an image projected by the projector based on an image obtained by a camera that captures a projected image projected by the projector. An optical brightness correction program for causing a computer on an optical brightness correction apparatus to perform an optical brightness correction process, detecting an illumination change in a state in which the projection image is projected from the image obtained by the camera, and An illumination change detection step for outputting illumination change correction information based on the illumination change status when a change is detected, and a projection for correcting the brightness of the projection image projected by the projector based on the illumination change correction information A luminance correction step is performed by the computer.
本発明によれば、プロジェクタを使ってスクリーンにコンテンツを投影している間に、照明の変化を検出し、その変化に順応してプロジェクタからの出力輝度を補正するため、照明変化に追従した輝度補正が可能になる。さらに、複数のプロジェクタを使用して同一の位置に投影するようなマルチプロジェクタシステムにおいても、各プロジェクタに照明変化に追従した輝度補正が利用できるため、高品質で高コントラストな投影像を維持することができるという効果が得られる。 According to the present invention, while projecting content onto a screen using a projector, a change in illumination is detected, and an output luminance from the projector is corrected in accordance with the change. Correction becomes possible. Furthermore, even in a multi-projector system that uses multiple projectors to project to the same position, brightness correction that follows illumination changes can be used for each projector, so that high-quality and high-contrast projection images can be maintained. The effect of being able to be obtained.
以下、図面を参照して、本発明の一実施形態による光学輝度補正装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号1は、スクリーン等に画像を投影して映し出すプロジェクタである。符号2は、プロジェクタ1によって映し出す画像のコンテンツデータが予め記憶されたコンテンツデータベース(以下、コンテンツDBと称する)である。符号3は、コンテンツDB2から画像を映し出すべきコンテンツデータを読み出し、映像信号に変換して出力する再生部である。符号4は、再生部3から出力する映像信号に対して、照明変化に応じてプロジェクタ1で投影される画像の輝度を補正して出力する投影輝度補正部である。
Hereinafter, an optical brightness correction apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure,
符号5は、スクリーン等に映し出された投影画像を撮像して得られた画像データを出力するカメラである。符号6は、カメラ1から出力された画像データを入力する画像入力部である。符号7は、画像入力部6により入力した画像データにおいて照明変化があったか否かを検出し、検出した照明変化の状況に基づく照明変化補正情報を投影輝度補正部4に対して出力する照明変化検出部である。符号8は、プロジェクタ1で投影された画像のRGB輝度値とカメラで観測したRGB輝度値を対応付けて、初期状態における輝度を補正するための事前補正情報を投影輝度補正部4に対して出力する事前補正部である。
投影輝度補正部4は、照明変化検出部7から出力する照明変化補正情報と、事前補正部8から出力する事前補正情報とに基づいて、プロジェクタ1に対して出力する映像信号を補正する。画像入力部6がカメラ5から入力する画像データ(サンプル画像)は、事前補正部8、または、照明変化検出部7において用いられる。画像入力部6が入力する画像の例としては、スクリーン全体が隠れることなく写された画像を用いることが望ましい。例えば、天井付近の上方に設置されたカメラからスクリーンのみが写るよう撮影された画像を用いる。
The projection brightness correction unit 4 corrects the video signal output to the
次に、図2を参照して、図1に示す装置全体の処理動作を説明する。図2は、図1に示す装置が光学輝度補正を行う動作を示すフローチャートである。まず、事前補正部8は、初期状態であるか否かを判定し(ステップS1)、初期状態であれば事前輝度補正の処理を行って、事前補正情報を投影輝度補正部4へ出力する(ステップS2)。初期状態で無い場合、事前補正部8は、事前輝度補正処理を行わない。ここでいう初期状態とは、プロジェクタ1の電源を投入した直後やプロジェクタ1の設定を変更した直後などの事前に輝度補正を行うべき状態のことである。
Next, the processing operation of the entire apparatus shown in FIG. 1 will be described with reference to FIG. FIG. 2 is a flowchart showing an operation in which the apparatus shown in FIG. 1 performs optical brightness correction. First, the
次に、画像入力部6は、カメラ5によって撮像して得られたスクリーン画像データをカメラ5から取得し(ステップS3)、この取得したスクリーン画像データを照明変化検出部7へ出力する。これを受けて、照明変化検出部7は、スクリーン画像データから照明変化を検出し(ステップS4)、照明変化補正情報を投影輝度補正部4へ出力する。
Next, the
次に、投影輝度補正部4は、照明変化検出部7から出力される照明変化補正情報に基づき、照明補正の処理を行い(ステップS5)、再生部3から出力するコンテンツの映像信号に対して輝度の補正を行う。そして、投影輝度補正部4は、投影するべき対象のコンテンツデータがある限り、投影輝度の補正処理を繰り返し行い(ステップS7)、投影するべきコンテンツデータ無くなった時点で処理を終了する。
Next, the projection luminance correction unit 4 performs illumination correction processing based on the illumination change correction information output from the illumination change detection unit 7 (step S5), and the content video signal output from the
次に、図3を参照して、図1に示す事前補正部8の詳細な処理動作を説明する。事前補正部8は、初期状態におけるプロジェクタからの出力輝度を補正する。この補正処理は、室内から屋内に装置の設置環境を変更するなど、照明環境が劇的に変化するような際に必要となる補正である。ここでいう初期状態とは、プロジェクタ1に電源を入れたときの状態、あるいは、プロジェクタの内部設定を変更した時点を指し、照明変化を検出するときの基準となる照明状態を初期値として設定し、初期状態での輝度補正に必要なパラメータ(以下、補正パラメータ)を記憶する。
Next, with reference to FIG. 3, the detailed processing operation of the
その初期状態での補正パラメータを推定するには非特許文献1または非特許文献2の従来技術を利用する。ここでは、スクリーン表面が時間と共に不変であると仮定する。すなわち、シーンが静的であり、ダイナミックシーンは対象外とする。さらに、プロジェクタ1から投影された画像の輝度値、並びに、カメラ5において撮像される輝度値が線形的に応答すると仮定する。非特許文献1または非特許文献2によれば、プロジェクタ1から出力するRGB値P=(PR,PG,PB)と、カメラで観測するRGB値C=(CR,CG,CB)は、(1)式、(2)の関係で結びつけることができる。
In order to estimate the correction parameter in the initial state, the conventional technique of
ここで、F=(FR,FG,FB)はプロジェクタ以外の環境光の成分である。補正パラメータとして、事前補正部8では、(2)式の行列Vの3×3の行列要素と環境光Fのベクトル量を算出する。
Here, F = (F R , F G , F B ) is a component of ambient light other than the projector. As correction parameters, the
非特許文献1または非特許文献2に従えば、少なくとも4枚の画像を取得すればこれらのパラメータを得ることができる。例えば、全画素の輝度値をP0=(Pr,Pg,Pb)としてプロジェクタ1から出力するときのカメラ5による観測画像での輝度値をC0=(Cr,Cg,Cb)とする。次に、Rチャネルの輝度値をΔR分変化させ、全画素の輝度値をP1=(Pr+ΔR,Pg,Pb)としてプロジェクタ1から出力し、カメラ5で観測したRGB輝度値をC1=(Cr1,Cg1,Cb1)とする。
According to
同様に、Gチャネルの輝度値をΔG分変化させ、全画素の輝度値をP2=(Pr,Pg+ΔG,Pb)としてプロジェクタ1から出力し、カメラ5で観測したRGB輝度値をC2=(Cr2,Cg2,Cb2)とする。同様に、Bチャネルの輝度値をΔB分変化させ、全画素の輝度値をP3=(Pr,Pg,Pb+ΔB)としてプロジェクタ1から出力し、カメラ5で観測したRGB輝度値をC3=(Cr3,Cg3,Cb3)とする。このように、4種類の画像を観測し、各画素ごとに(3)、(4)、(5)式の計算を行えば、(2)式の行列Vの3×3の行列要素を求めることができる。
Similarly, the luminance value of the G channel is changed by ΔG, the luminance values of all pixels are output from the
一方、環境光の成分は、カラー混合行列Vが得られると、(6)式により算出することができる。
F=C0−VP0 (6)
On the other hand, when the color mixing matrix V is obtained, the ambient light component can be calculated by the equation (6).
F = C 0 −VP 0 (6)
または、カラー混合行列の要素の精度を上げるために、各チャネルあたり2枚以上の画像を使っても良い。例えば、Rチャネルの輝度値を
これらの連立方程式を解けば、行列要素VRR,VGR,VBRが得られる。同様に、Gチャネル、Bチャネルの輝度を複数段階に変化させたサンプル画像を使って、行列要素VRG,VGG,VBG、並びに、VRB,VGB,VBBを得ることができる。 By solving these simultaneous equations, matrix elements V RR , V GR , and V BR can be obtained. Similarly, matrix elements V RG , V GG , V BG , and V RB , V GB , V BB can be obtained by using sample images in which the luminance of the G channel and the B channel is changed in a plurality of stages.
前述した原理を踏まえた上で、図3を参照して事前補正部8の処理動作を説明する。まず、事前補正部8は、補正パラメータに必要な枚数のサンプル画像が得られたか否かを判定(ステップS11)しながら、基準とするサンプル画像、基準画像に対してRチャネルだけを変化させた画像、基準画像に対してGチャネルだけを変化させた画像、基準画像に対してBチャネルだけを変化させた画像をプロジェクタ1から出力することによりサンプル画像のセットを行い(ステップS12)、カメラ5によってそれぞれに対応するサンプル画像を取得する(ステップS13)。
Based on the principle described above, the processing operation of the
次に、十分な枚数の画像が得られた時点で事前補正部8は、対象画素について補正パラメータを求めるか否かの判定を行う(ステップS14)。この判定は、全画素について求めても構わないが、スクリーンとプロジェクタ1、カメラ5間がキャリブレーションされていれば、プロジェクタ1から出力する画像のどの画素がカメラ5で得た画像上のどの画素に対応するかが決まるため、スクリーン以外で反射して観測された画素は処理対象外として扱うことができる。すなわち、全ての画素の補正パラメータを得るより、スクリーンに投影される画素の補正パラメータを求めることが効率的であるため、対象画素とは、スクリーンあるいは所定の平面領域に投影される画素のことである。
Next, when a sufficient number of images are obtained, the
ある画素が対象画素と判定された場合、事前補正部8は、対象画素を抽出して(ステップS15)、プロジェクタ1から出力した画素値とサンプル画像上での画素値から、(3)式〜(5)式を使って、行列Vの3×3の行列要素を算出する(ステップS16)。これらの要素が得られたならば、事前補正部8は、(6)式を使って環境光成分のベクトルFを得る(ステップS17)。事前補正部8は、以上の補正パラメータが得られると一時的に内部のメモリに格納し(ステップS18)、ステップS14に戻って次の画素の処理を行う。この処理を対象画素の全てに行うと、事前補正部8は、行列Vとベクトル量Fを算出して記憶する。
When it is determined that a certain pixel is the target pixel, the
次に、図4を参照して、図1に示す照明変化検出部7の詳細な処理動作を説明する。図4は、図1に示す照明変化検出部7の詳細な処理動作を示すフローチャートである。図4に示す処理動作は、図2に示すスクリーン画像の取得(ステップS3)と、照明変化の検出(ステップS4)と、照明補正の処理(ステップS5)に相当する。照明変化検出部7は、プロジェクタ1によりコンテンツデータを投影する間に、画像入力部6から出力される画像データに基づき照明変化を常時検出する。
Next, a detailed processing operation of the illumination
まず、照明変化検出部7は、画像入力部6から出力するサンプル画像データを取得する(ステップS21)。続いて、照明変化検出部7は、時刻tで取得したサンプル画像をC(t)、初期状態で取得したサンプル画像をC(0)とし、輝度差分ΔC(t)を(10)式によって算出する(ステップS22)。そして、照明変化検出部7は、ある対象とする画素における差分値の絶対平均値を算出する。
ΔC(t)=C(t)−C(0) (10)
First, the illumination
ΔC (t) = C (t) −C (0) (10)
続いて、照明変化検出部7は、算出した差分値の絶対平均値が所定の値より大きいか否かに基づき、照明変化が検出されたか否かを判定する(ステップS23)。もし、輝度差分ΔC(t)の絶対平均値が所定の値以下であれば、照明変化がないと判定し、ステップS21に戻って、引き続いて照明変化の検出のためのサンプル画像を取得する。
Subsequently, the illumination
一方、輝度差分ΔC(t)の絶対平均値が所定の値以下でなく、照明変化ありと判定された場合、照明変化検出部7は、対象画素であるか否かの判定を行う(ステップS24)ことにより各画素を選び、照明変化に伴う輝度補正量F(t)を(11)式によって算出する(ステップS25)。
F(t)=F(0)−ΔC(t) (11)
ただし、F(0)は初期状態での環境光のRGB輝度値として記憶しておいたベクトル量である。照明変化検出部7は、ここで求めた輝度補正量F(t)を照明変化補正情報として投影輝度補正部4へ出力する。
On the other hand, if the absolute average value of the luminance difference ΔC (t) is not less than the predetermined value and it is determined that there is an illumination change, the illumination
F (t) = F (0) -ΔC (t) (11)
However, F (0) is the vector quantity memorize | stored as an RGB luminance value of the environmental light in an initial state. The illumination
次に、図5を参照して、図1に示す投影輝度補正部4の詳細な処理動作を説明する。図5は、図1に示す投影輝度補正部4の詳細な処理動作を示すフローチャートである。図5に示すコンテンツの輝度補正(ステップS6)に相当する。投影輝度補正部4は、時刻tにおいてカメラ5により取得したRGB輝度値が所定の輝度値となるようにプロジェクタ1からスクリーンに投影される画像の輝度値を補正する。
Next, the detailed processing operation of the projection luminance correction unit 4 shown in FIG. 1 will be described with reference to FIG. FIG. 5 is a flowchart showing a detailed processing operation of the projection luminance correction unit 4 shown in FIG. This corresponds to the content luminance correction (step S6) shown in FIG. The projection luminance correction unit 4 corrects the luminance value of the image projected from the
まず、投影輝度補正部4は、照明変化が検出されたか否かに応じて、いずれの補正量を使うかを判定する(ステップS31)。カメラ5により取得したRGB輝度値が、初期状態で補正して得られた観測画像C(0)とほぼ同じ、すなわち、照明変化検出部7において照明変化がないと判定された場合は照明変化に伴う投影輝度補正量が与えれないので、事前補正部8において得た補正量を使って、プロジェクタ1により投影される画像のRGB輝度値P(t)を(12)式により算出する(ステップS33)。
P(t)= V−1(C(0)−F(0)) (12)
First, the projection luminance correction unit 4 determines which correction amount to use depending on whether or not an illumination change is detected (step S31). If the RGB luminance value acquired by the
P (t) = V < -1 > (C (0) -F (0) ) (12)
一方、照明変化があった場合は照明変化検出部7から出力された照明補正データ輝度補正量F(t)を使って、プロジェクタ1により投影される画像のRGB輝度値P(t)を(13)式により算出する(ステップS32)。
P(t)= V−1(C(0)−F(t)) (13)
On the other hand, when there is a change in illumination, the RGB brightness value P (t) of the image projected by the
P (t) = V < -1 > (C (0) -F (t) ) (13)
投影輝度補正部4は、コンテンツデータを投影する際に、(12)式または(13)式によって、全ての画素の補正画素値P(t)を算出して、再生部3から出力される映像信号の輝度補正を行う(ステップS34)。そして、補正した映像信号をプロジェクタ1へ出力することにより、スクリーンにコンテンツ画像を投影する。この処理を投影するコンテンツが存在する場合に連続して行う(ステップS35、S36)。これにより、照明変化に順応してコンテンツ画像を安定的に投影することができる。
When projecting the content data, the projection luminance correcting unit 4 calculates the corrected pixel value P (t) of all the pixels by the equation (12) or the equation (13), and the video output from the reproducing
次に、図6を参照して、図1に示す光学輝度補正装置の変形例を説明する。図6は、図1に示す光学輝度補正装置の変形例の構成を示すブロック図である。図6において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図6に示す装置が図1に示す装置と異なる点は、事前補正部8に代えてパラメータ記憶部9が設けられている点である。パラメータ記憶部9には、前述した事前補正部8によって得られるパラメータ(行列Vとベクトル量F)と同様のパラメータが他の手段によって求められ、予め記憶されている。投影輝度補正部4は、事前補正部8から出力されるパラメータに代えて、パラメータ記憶部9に記憶されているパラメータを読み出し、図1に示す投影輝度補正部4と同様の処理動作を行う。これにより、プロジェクタ1の電源を投入する度に、事前輝度補正の処理を行う必要がなくなり、プロジェクタ1の使用前の準備作業を軽減することができる。これは、プロジェクタ1を使用する場所とスクリーンが変化せず、使用環境が同じ状況で使用する場合などに有効である。
Next, a modification of the optical brightness correction apparatus shown in FIG. 1 will be described with reference to FIG. FIG. 6 is a block diagram showing a configuration of a modification of the optical brightness correction apparatus shown in FIG. In FIG. 6, the same parts as those of the apparatus shown in FIG. The apparatus shown in FIG. 6 is different from the apparatus shown in FIG. 1 in that a parameter storage unit 9 is provided instead of the
なお、前述した説明においては、1台のプロジェクタ1と1台のカメラ5、すなわち、ペアのプロジェクタ・カメラシステムにおける光学輝度を補正する例を説明したが、複数のプロジェクタまたはカメラを使ったシステムへの適用も容易に行うことが可能である。
In the above description, the example of correcting the optical luminance in one
また、図1、図6における再生部3は、プロジェクタ1と投影輝度補正部4との間に設けられていてもよい。この場合、投影輝度補正部4は、コンテンツDB2からコンテンツデータを読み出して、読み出したコンテンツデータに対して前述した輝度補正処理を施し、プロジェクタ1と投影輝度補正部4との間に設けられた再生部3に対して出力することにより、プロジェクタ1により投影される画像の輝度補正を行うようにしてもよい。
1 and 6 may be provided between the
以上説明したように、プロジェクタ1によって投影された投影画像を撮像するカメラ5により得られた画像に基づき、プロジェクタ1によって投影される画像の輝度を補正するために、照明変化検出部7が、カメラ5により得られた画像から、投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に照明変化の状況に基づく照明変化補正情報を出力し、投影輝度補正部4が、照明変化補正情報に基づき、プロジェクタ1により投影される投影画像の輝度を補正するようにしたため、プロジェクタを使ってスクリーンにコンテンツを投影している間に、照明の変化を検出し、その変化に順応してプロジェクタからの出力輝度を補正することができ、照明変化に追従した輝度補正が可能になる。
As described above, in order to correct the luminance of the image projected by the
なお、図1、6に示す投影輝度補正部4、照明変化検出部7及び事前補正部8の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより光学輝度補正処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
A program for realizing the functions of the projection luminance correction unit 4, the illumination
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。 The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.
プロジェクタ・カメラシステムにおいて、照明状態の変化に応じて、カメラで観測した各画素の輝度値が所定の値となるように、プロジェクタから投影する各画素の出力値を補正または調整することが不可欠な用途に適用できる。 In a projector / camera system, it is indispensable to correct or adjust the output value of each pixel projected from the projector so that the luminance value of each pixel observed by the camera becomes a predetermined value according to a change in illumination state. Applicable to usage.
1・・・プロジェクタ、2・・・コンテンツDB(データベース)、3・・・再生部、4・・・投影輝度補正部、5・・・カメラ、6・・・画像入力部、7・・・照明変化検出部、8・・・事前補正部、9・・・パラメータ記憶部
DESCRIPTION OF
Claims (5)
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と
を備えることを特徴とする光学輝度補正装置。 An optical brightness correction device for correcting the brightness of a projection image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector,
Illumination change detection that detects an illumination change in a state where the projection image is projected from the image obtained by the camera and outputs illumination change correction information based on the illumination change state when the illumination change is detected. Means,
An optical luminance correction apparatus comprising: a projection luminance correction unit that corrects luminance of the projection image projected by the projector based on the illumination change correction information.
前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする請求項1に記載の光学輝度補正装置。 Pre-correction means for outputting pre-correction information for correcting the luminance of the projected image in the initial state by associating the luminance value of the projected image projected by the projector with the luminance value of the image captured by the camera ,
The optical brightness correction apparatus according to claim 1, wherein the projection brightness correction unit corrects the brightness of the projection image based on the prior correction information when the projector is in an initial state.
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と、
前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を記憶した記憶手段とを備え、
前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする光学輝度補正装置。 An optical brightness correction device for correcting the brightness of a projection image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector,
Illumination change detection that detects an illumination change in a state where the projection image is projected from the image obtained by the camera and outputs illumination change correction information based on the illumination change state when the illumination change is detected. Means,
A projection luminance correction means for correcting the luminance of the projection image projected by the projector based on the illumination change correction information;
Storage means storing pre-correction information for correcting the luminance value of the projected image in the initial state by associating the luminance value of the projected image projected by the projector with the luminance value of the image captured by the camera;
The projection brightness correction unit corrects the brightness of the projection image based on the prior correction information when the projector is in an initial state.
前記照明変化検出手段が、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、
前記投影輝度補正手段が、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップと
を有することを特徴とする光学輝度補正方法。 An optical brightness provided with illumination change detection means and projection brightness correction means for correcting the brightness of the projection image projected by the projector based on an image obtained by a camera that captures the projection image projected by the projector An optical brightness correction method in a correction device,
The illumination change detection means detects an illumination change in a state in which the projection image is projected from the image obtained by the camera, and an illumination change correction based on the illumination change situation when the illumination change is detected. An illumination change detection step for outputting information;
A projection luminance correction method, wherein the projection luminance correction means includes a projection luminance correction step of correcting the luminance of the projection image projected by the projector based on the illumination change correction information.
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップと
を前記コンピュータに行わせることを特徴とする光学輝度補正プログラム。 Optical brightness correction comprising illumination change detection means and projection brightness correction means for correcting the brightness of an image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector An optical brightness correction program for causing a computer on the apparatus to perform optical brightness correction processing,
Illumination change detection that detects an illumination change in a state where the projection image is projected from the image obtained by the camera and outputs illumination change correction information based on the illumination change state when the illumination change is detected. Steps,
An optical luminance correction program that causes the computer to perform a projection luminance correction step of correcting the luminance of the projection image projected by the projector based on the illumination change correction information.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010146283A JP5339299B2 (en) | 2010-06-28 | 2010-06-28 | Optical brightness correction apparatus, optical brightness correction method, and optical brightness correction program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010146283A JP5339299B2 (en) | 2010-06-28 | 2010-06-28 | Optical brightness correction apparatus, optical brightness correction method, and optical brightness correction program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012010250A true JP2012010250A (en) | 2012-01-12 |
JP5339299B2 JP5339299B2 (en) | 2013-11-13 |
Family
ID=45540256
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010146283A Expired - Fee Related JP5339299B2 (en) | 2010-06-28 | 2010-06-28 | Optical brightness correction apparatus, optical brightness correction method, and optical brightness correction program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5339299B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014186073A (en) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | Control method of information bulletin board, display control device of information bulletin board, display control system of information bulletin board, and control program of information bulletin board |
KR20150059268A (en) * | 2013-11-22 | 2015-06-01 | 삼성디스플레이 주식회사 | System and method for a luminance correction |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002214700A (en) * | 2001-01-17 | 2002-07-31 | Hitachi Ltd | Rear projector |
JP2004077748A (en) * | 2002-08-16 | 2004-03-11 | Nec Viewtechnology Ltd | Projector, remote controller of projector, and image projection method, and image correction method |
JP2005321535A (en) * | 2004-05-07 | 2005-11-17 | Sanyo Electric Co Ltd | Projection display device and its brightness control system |
-
2010
- 2010-06-28 JP JP2010146283A patent/JP5339299B2/en not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002214700A (en) * | 2001-01-17 | 2002-07-31 | Hitachi Ltd | Rear projector |
JP2004077748A (en) * | 2002-08-16 | 2004-03-11 | Nec Viewtechnology Ltd | Projector, remote controller of projector, and image projection method, and image correction method |
JP2005321535A (en) * | 2004-05-07 | 2005-11-17 | Sanyo Electric Co Ltd | Projection display device and its brightness control system |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014186073A (en) * | 2013-03-22 | 2014-10-02 | Fujitsu Ltd | Control method of information bulletin board, display control device of information bulletin board, display control system of information bulletin board, and control program of information bulletin board |
KR20150059268A (en) * | 2013-11-22 | 2015-06-01 | 삼성디스플레이 주식회사 | System and method for a luminance correction |
KR102119881B1 (en) * | 2013-11-22 | 2020-06-08 | 삼성디스플레이 주식회사 | System and method for a luminance correction |
Also Published As
Publication number | Publication date |
---|---|
JP5339299B2 (en) | 2013-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6717858B2 (en) | Calibration of defective image sensor element | |
JP5108093B2 (en) | Imaging apparatus and imaging method | |
US20170134634A1 (en) | Photographing apparatus, method of controlling the same, and computer-readable recording medium | |
US8605106B2 (en) | Projector and color improvement method of the projector | |
JP2002027491A (en) | Image input unit, white balance adjusting method, and computer readable recording medium storing program for executing the method | |
US8860840B2 (en) | Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus | |
JP6381404B2 (en) | Image processing apparatus and method, and imaging apparatus | |
US9723221B2 (en) | Imaging device shooting a common subject in synchronization with other imaging devices | |
JP5775414B2 (en) | Projection brightness adjustment method, projection brightness adjustment apparatus, computer program, and recording medium | |
US10296806B2 (en) | Recognition-based color corrections | |
JP5339299B2 (en) | Optical brightness correction apparatus, optical brightness correction method, and optical brightness correction program | |
JP6210772B2 (en) | Information processing apparatus, imaging apparatus, control method, and program | |
JP5779071B2 (en) | Multiple projection brightness adjustment method, multiple projection brightness adjustment apparatus, computer program, and recording medium | |
US11683596B2 (en) | Image capture apparatus, electronic apparatus, and chroma suppression program | |
JP2017138927A (en) | Image processing device, imaging apparatus, control method and program thereof | |
JP6921606B2 (en) | Image processing equipment, image processing methods and programs | |
JP5592834B2 (en) | Optical projection control apparatus, optical projection control method, and program | |
JP5371135B2 (en) | Luminance correction apparatus, luminance correction system, and luminance correction method | |
WO2019244667A1 (en) | Information processing device, information processing method, and program | |
Le et al. | Visual quality assessment for projected content | |
TW201820856A (en) | Inspection system for inspecting projected image definition of projector and inspection method thereof enabling user to learn about definition level of projected image for adjusting focal length of projector in real time | |
JP4756831B2 (en) | Image photographing apparatus and image processing method | |
CN114697629B (en) | White balance processing method and device, storage medium and terminal equipment | |
KR101141844B1 (en) | Method and system for enhancing image under low illumination | |
JP2007281797A (en) | Camera |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20121005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130517 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130528 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20130605 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130703 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20130725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130730 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5339299 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |