JP2012010250A - Optical luminance correction apparatus, optical luminance correction method, and optical luminance correction program - Google Patents

Optical luminance correction apparatus, optical luminance correction method, and optical luminance correction program Download PDF

Info

Publication number
JP2012010250A
JP2012010250A JP2010146283A JP2010146283A JP2012010250A JP 2012010250 A JP2012010250 A JP 2012010250A JP 2010146283 A JP2010146283 A JP 2010146283A JP 2010146283 A JP2010146283 A JP 2010146283A JP 2012010250 A JP2012010250 A JP 2012010250A
Authority
JP
Japan
Prior art keywords
correction
illumination change
projector
luminance
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010146283A
Other languages
Japanese (ja)
Other versions
JP5339299B2 (en
Inventor
Isao Miyagawa
勲 宮川
Yoshiko Sugaya
佳子 菅谷
Hidenori Tanaka
秀典 田中
Hideki Koike
秀樹 小池
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2010146283A priority Critical patent/JP5339299B2/en
Publication of JP2012010250A publication Critical patent/JP2012010250A/en
Application granted granted Critical
Publication of JP5339299B2 publication Critical patent/JP5339299B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an optical luminance correction apparatus capable of detecting an illumination environment change during content projection by a projector and correcting an output luminance from the projector according to the change so that an RGB value observed by a camera becomes a predetermined luminance value.SOLUTION: The optical luminance correction apparatus for correcting a luminance of an image projected by the projector based on an image acquired by the camera that takes an image projected by the projector comprising: illumination change detection means for detecting a change of illumination onto which the image was projected from the image acquired by the camera and outputting illumination change correction information based on illumination change conditions when the illumination change is detected and projection luminance correction means for correcting the luminance of the image projected by the projector.

Description

本発明は、プロジェクタ・カメラシステムにおいて、照明状態の変化に応じて、カメラで観測した各画素の輝度値が所定の値となるように、プロジェクタから投影する各画素の出力値を補正または調整する光学輝度補正装置、光学輝度補正方法及び光学輝度補正プログラムに関する。   The present invention corrects or adjusts the output value of each pixel projected from the projector in a projector / camera system so that the luminance value of each pixel observed by the camera becomes a predetermined value according to a change in illumination state. The present invention relates to an optical brightness correction device, an optical brightness correction method, and an optical brightness correction program.

従来から、プロジェクタを使ったフロント・プロジェクション、またはリア・プロジェクションにおいては、スクリーンを取り巻く照明環境に変化があると、スクリーン上における光学輝度が変化するという問題がある。例えば、照明を消した暗室状態と蛍光灯等によって照明した環境では、スクリーン上の投影像それぞれの輝度は異なる。また、スライドを使ったプレゼンテーションの実環境では、スライドを投影した初期状態から照明状態が変化すると、スクリーン上での見え方が変化するため、環境の明るさに応じてプロジェクタからの出力輝度値を調整することが必要となる。   Conventionally, in front projection or rear projection using a projector, there is a problem that the optical luminance on the screen changes when there is a change in the illumination environment surrounding the screen. For example, the brightness of each projected image on the screen is different in a dark room state with no light and in an environment illuminated with a fluorescent lamp or the like. Also, in the actual environment of presentations using slides, when the lighting state changes from the initial state when the slide is projected, the appearance on the screen changes, so the output luminance value from the projector is set according to the brightness of the environment. It is necessary to adjust.

このような問題を解決するために、プロジェクタ・カメラシステムにおいて、プロジェクタからのRGB輝度値とカメラで観測されたRGB輝度値間の相関関係に着目し、カラー混合行列(Color Mixing Matrix)と呼ばれる3×3の行列Vを使って、所定のRGB輝度値C=(C,C,C)をカメラが観測するようにプロジェクタからのRGB出力値P=(P,P,P)を補正する方法が知られている(例えば、非特許文献1参照)。 In order to solve such a problem, in the projector / camera system, attention is paid to the correlation between the RGB luminance value from the projector and the RGB luminance value observed by the camera, and this is called a color mixing matrix (Color Mixing Matrix). The RGB output value P = (P R , P G , P B from the projector is used so that the camera observes a predetermined RGB luminance value C = (C R , C G , C B ) using the × 3 matrix V. ) Is known (see, for example, Non-Patent Document 1).

しかしながら、非特許文献1では環境光の影響が考慮されていないため、照明変化があると所定の輝度値を観測できるように、プロジェクタからの輝度値を補正することは困難である。このような課題に対して、環境光を考慮して、外界の環境が変化するようなダイナミックシーンにおいても輝度補正を行う方法が知られている(例えば、非特許文献2参照)。   However, since Non-Patent Document 1 does not consider the influence of ambient light, it is difficult to correct the luminance value from the projector so that a predetermined luminance value can be observed when there is a change in illumination. For such a problem, a method is known in which luminance correction is performed even in a dynamic scene in which the environment of the outside world changes in consideration of ambient light (see, for example, Non-Patent Document 2).

S. K. Nayar, H. Peri, M. D. Grossberg, and P. N. Belhumeur:"A Projection System with Radiometric Compensation for Screen Imperfections", Proc. of ICCV Workshop on Projector-Camera Systems (PROCAMS), 2003.S. K. Nayar, H. Peri, M. D. Grossberg, and P. N. Belhumeur: "A Projection System with Radiometric Compensation for Screen Imperfections", Proc. Of ICCV Workshop on Projector-Camera Systems (PROCAMS), 2003. K. Fujii, M. D. Grossberg, and S. K. Nayar: "A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments", Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.K. Fujii, MD Grossberg, and SK Nayar: "A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments", Proc. Of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821 , 2005.

非特許文献1の方法は、プロジェクタのRGB値とカメラを使って観測されるRGB値の間を線形結合で結び付けたシンプルな輝度補正モデルであるため、輝度補正をリアルタイムで行うことが可能である。しかしながら、環境光を考慮していないため、室内環境での照明変化がある場合には、その変化に追従して輝度を補正することができないという問題がある。   Since the method of Non-Patent Document 1 is a simple luminance correction model in which the RGB values of the projector and the RGB values observed using the camera are linked by a linear combination, the luminance correction can be performed in real time. . However, since the ambient light is not taken into consideration, there is a problem that when there is a change in illumination in the indoor environment, the luminance cannot be corrected following the change.

一方、非特許文献2の方法は、照明環境の変化が微小であると仮定し、投影される対象表面での反射特性の変化、すなわち、ダイナミックシーンに対して輝度補正を行うことが可能である。しかしながら、非特許文献1の方法と同様に、照明環境が変化しないという前提に変わりはなく、プロジェクタ投影環境において照明変化があった場合には、その変化に追従してプロジェクタからの出力輝度を補正することが困難であるという問題がある。   On the other hand, the method of Non-Patent Document 2 assumes that the change in the illumination environment is very small, and can perform luminance correction on the change in the reflection characteristics on the projected target surface, that is, the dynamic scene. . However, as in the method of Non-Patent Document 1, there is no change in the premise that the illumination environment does not change, and when there is an illumination change in the projector projection environment, the output luminance from the projector is corrected following the change. There is a problem that it is difficult to do.

本発明は、このような事情に鑑みてなされたもので、プロジェクタからコンテンツを投影している間に、照明環境に変化がある場合、その照明環境の変化を検出し、カメラで観測したRGB値が所定の輝度値となるように、その変化に応じてプロジェクタからの出力輝度を補正することが可能な光学輝度補正装置、光学輝度補正方法及び光学輝度補正プログラムを提供することを目的とする。   The present invention has been made in view of such circumstances, and when there is a change in the illumination environment while projecting content from the projector, the change in the illumination environment is detected and the RGB values observed by the camera are detected. An object of the present invention is to provide an optical luminance correction apparatus, an optical luminance correction method, and an optical luminance correction program capable of correcting the output luminance from the projector according to the change so that becomes a predetermined luminance value.

本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段とを備えることを特徴とする。   The present invention is an optical brightness correction device that corrects the brightness of a projection image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector, and is obtained by the camera. Illumination change detection means for detecting an illumination change in a state in which the projection image is projected from the image and outputting illumination change correction information based on the illumination change situation when the illumination change is detected; and the illumination change Projection luminance correction means for correcting the luminance of the projection image projected by the projector based on correction information.

本発明は、前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を出力する事前補正手段をさらに備え、前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする。   The present invention relates to a luminance value of a projected image projected by the projector and a luminance value of an image captured by the camera, and outputs a preliminary correction information for correcting the luminance of the projected image in an initial state. And a projection luminance correction unit correcting the luminance of the projection image based on the prior correction information when the projector is in an initial state.

本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と、前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を記憶した記憶手段とを備え、前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする。   The present invention is an optical brightness correction device that corrects the brightness of a projection image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector, and is obtained by the camera. Illumination change detection means for detecting an illumination change in a state in which the projection image is projected from the image and outputting illumination change correction information based on the illumination change situation when the illumination change is detected; and the illumination change Based on the correction information, the projection brightness correction means for correcting the brightness of the projection image projected by the projector, the brightness value of the projection image projected by the projector and the brightness value of the image captured by the camera are associated with each other. Storage means storing pre-correction information for correcting the brightness of the projected image in the initial state, and the projection brightness Positive means, based on the pre correction information when the projector is in an initial state, and correcting the brightness of the projected image.

本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置における光学輝度補正方法であって、前記照明変化検出手段が、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、前記投影輝度補正手段が、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップとを有することを特徴とする。   The present invention provides an illumination change detection unit, a projection luminance correction unit, and a correction unit for correcting the luminance of a projection image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector. An optical brightness correction method in an optical brightness correction apparatus comprising: the illumination change detecting means detects an illumination change in a state where the projection image is projected from the image obtained by the camera, and the illumination change is detected. An illumination change detection step for outputting illumination change correction information based on the illumination change status when detected, and the projection luminance correction means for the projection image projected by the projector based on the illumination change correction information. A projection luminance correction step for correcting the luminance.

本発明は、プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置上のコンピュータに光学輝度補正処理を行わせる光学輝度補正プログラムであって、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップとを前記コンピュータに行わせることを特徴とする。   The present invention includes an illumination change detecting unit and a projection luminance correcting unit for correcting the luminance of an image projected by the projector based on an image obtained by a camera that captures a projected image projected by the projector. An optical brightness correction program for causing a computer on an optical brightness correction apparatus to perform an optical brightness correction process, detecting an illumination change in a state in which the projection image is projected from the image obtained by the camera, and An illumination change detection step for outputting illumination change correction information based on the illumination change status when a change is detected, and a projection for correcting the brightness of the projection image projected by the projector based on the illumination change correction information A luminance correction step is performed by the computer.

本発明によれば、プロジェクタを使ってスクリーンにコンテンツを投影している間に、照明の変化を検出し、その変化に順応してプロジェクタからの出力輝度を補正するため、照明変化に追従した輝度補正が可能になる。さらに、複数のプロジェクタを使用して同一の位置に投影するようなマルチプロジェクタシステムにおいても、各プロジェクタに照明変化に追従した輝度補正が利用できるため、高品質で高コントラストな投影像を維持することができるという効果が得られる。   According to the present invention, while projecting content onto a screen using a projector, a change in illumination is detected, and an output luminance from the projector is corrected in accordance with the change. Correction becomes possible. Furthermore, even in a multi-projector system that uses multiple projectors to project to the same position, brightness correction that follows illumination changes can be used for each projector, so that high-quality and high-contrast projection images can be maintained. The effect of being able to be obtained.

本発明の一実施形態の構成を示すブロック図である。It is a block diagram which shows the structure of one Embodiment of this invention. 図1に示す装置の処理動作を示すフローチャートである。It is a flowchart which shows the processing operation of the apparatus shown in FIG. 図1に示す事前補正部8の詳細な処理動作を示すフローチャートである。It is a flowchart which shows the detailed processing operation | movement of the prior correction part 8 shown in FIG. 図1に示す照明変化検出部7の詳細な処理動作を示すフローチャートである。It is a flowchart which shows the detailed process operation | movement of the illumination change detection part 7 shown in FIG. 図1に示す投影輝度補正部4の詳細な処理動作を示すフローチャートである。It is a flowchart which shows the detailed processing operation of the projection brightness correction | amendment part 4 shown in FIG. 図1に示す装置の変形例を示すブロック図である。It is a block diagram which shows the modification of the apparatus shown in FIG.

以下、図面を参照して、本発明の一実施形態による光学輝度補正装置を説明する。図1は同実施形態の構成を示すブロック図である。この図において、符号1は、スクリーン等に画像を投影して映し出すプロジェクタである。符号2は、プロジェクタ1によって映し出す画像のコンテンツデータが予め記憶されたコンテンツデータベース(以下、コンテンツDBと称する)である。符号3は、コンテンツDB2から画像を映し出すべきコンテンツデータを読み出し、映像信号に変換して出力する再生部である。符号4は、再生部3から出力する映像信号に対して、照明変化に応じてプロジェクタ1で投影される画像の輝度を補正して出力する投影輝度補正部である。   Hereinafter, an optical brightness correction apparatus according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing the configuration of the embodiment. In this figure, reference numeral 1 denotes a projector that projects and projects an image on a screen or the like. Reference numeral 2 denotes a content database (hereinafter referred to as a content DB) in which content data of images projected by the projector 1 is stored in advance. Reference numeral 3 denotes a reproduction unit that reads out content data to be projected from the content DB 2, converts it into a video signal, and outputs the video signal. Reference numeral 4 denotes a projection luminance correction unit that corrects and outputs the luminance of an image projected by the projector 1 in accordance with a change in illumination with respect to the video signal output from the reproduction unit 3.

符号5は、スクリーン等に映し出された投影画像を撮像して得られた画像データを出力するカメラである。符号6は、カメラ1から出力された画像データを入力する画像入力部である。符号7は、画像入力部6により入力した画像データにおいて照明変化があったか否かを検出し、検出した照明変化の状況に基づく照明変化補正情報を投影輝度補正部4に対して出力する照明変化検出部である。符号8は、プロジェクタ1で投影された画像のRGB輝度値とカメラで観測したRGB輝度値を対応付けて、初期状態における輝度を補正するための事前補正情報を投影輝度補正部4に対して出力する事前補正部である。   Reference numeral 5 denotes a camera that outputs image data obtained by capturing a projected image projected on a screen or the like. Reference numeral 6 denotes an image input unit for inputting image data output from the camera 1. Reference numeral 7 denotes an illumination change detection that detects whether or not there is an illumination change in the image data input by the image input unit 6, and outputs illumination change correction information based on the detected illumination change state to the projection luminance correction unit 4. Part. Reference numeral 8 indicates that the RGB brightness value of the image projected by the projector 1 and the RGB brightness value observed by the camera are associated with each other, and pre-correction information for correcting the brightness in the initial state is output to the projection brightness correction unit 4. This is a pre-correction unit.

投影輝度補正部4は、照明変化検出部7から出力する照明変化補正情報と、事前補正部8から出力する事前補正情報とに基づいて、プロジェクタ1に対して出力する映像信号を補正する。画像入力部6がカメラ5から入力する画像データ(サンプル画像)は、事前補正部8、または、照明変化検出部7において用いられる。画像入力部6が入力する画像の例としては、スクリーン全体が隠れることなく写された画像を用いることが望ましい。例えば、天井付近の上方に設置されたカメラからスクリーンのみが写るよう撮影された画像を用いる。   The projection brightness correction unit 4 corrects the video signal output to the projector 1 based on the illumination change correction information output from the illumination change detection unit 7 and the advance correction information output from the advance correction unit 8. Image data (sample image) input from the camera 5 by the image input unit 6 is used in the precorrection unit 8 or the illumination change detection unit 7. As an example of an image input by the image input unit 6, it is desirable to use an image that is captured without hiding the entire screen. For example, an image taken so that only a screen is captured from a camera installed near the ceiling is used.

次に、図2を参照して、図1に示す装置全体の処理動作を説明する。図2は、図1に示す装置が光学輝度補正を行う動作を示すフローチャートである。まず、事前補正部8は、初期状態であるか否かを判定し(ステップS1)、初期状態であれば事前輝度補正の処理を行って、事前補正情報を投影輝度補正部4へ出力する(ステップS2)。初期状態で無い場合、事前補正部8は、事前輝度補正処理を行わない。ここでいう初期状態とは、プロジェクタ1の電源を投入した直後やプロジェクタ1の設定を変更した直後などの事前に輝度補正を行うべき状態のことである。   Next, the processing operation of the entire apparatus shown in FIG. 1 will be described with reference to FIG. FIG. 2 is a flowchart showing an operation in which the apparatus shown in FIG. 1 performs optical brightness correction. First, the prior correction unit 8 determines whether or not it is in an initial state (step S1), and if it is in the initial state, performs prior luminance correction processing and outputs the prior correction information to the projection luminance correction unit 4 ( Step S2). When it is not in the initial state, the prior correction unit 8 does not perform the prior luminance correction process. Here, the initial state is a state in which brightness correction should be performed in advance, such as immediately after the projector 1 is turned on or immediately after the setting of the projector 1 is changed.

次に、画像入力部6は、カメラ5によって撮像して得られたスクリーン画像データをカメラ5から取得し(ステップS3)、この取得したスクリーン画像データを照明変化検出部7へ出力する。これを受けて、照明変化検出部7は、スクリーン画像データから照明変化を検出し(ステップS4)、照明変化補正情報を投影輝度補正部4へ出力する。   Next, the image input unit 6 acquires screen image data obtained by imaging with the camera 5 from the camera 5 (step S <b> 3), and outputs the acquired screen image data to the illumination change detection unit 7. In response to this, the illumination change detection unit 7 detects an illumination change from the screen image data (step S4), and outputs illumination change correction information to the projection luminance correction unit 4.

次に、投影輝度補正部4は、照明変化検出部7から出力される照明変化補正情報に基づき、照明補正の処理を行い(ステップS5)、再生部3から出力するコンテンツの映像信号に対して輝度の補正を行う。そして、投影輝度補正部4は、投影するべき対象のコンテンツデータがある限り、投影輝度の補正処理を繰り返し行い(ステップS7)、投影するべきコンテンツデータ無くなった時点で処理を終了する。   Next, the projection luminance correction unit 4 performs illumination correction processing based on the illumination change correction information output from the illumination change detection unit 7 (step S5), and the content video signal output from the reproduction unit 3 is processed. Perform brightness correction. Then, as long as there is content data to be projected, the projection luminance correction unit 4 repeatedly performs the projection luminance correction process (step S7), and ends the processing when there is no content data to be projected.

次に、図3を参照して、図1に示す事前補正部8の詳細な処理動作を説明する。事前補正部8は、初期状態におけるプロジェクタからの出力輝度を補正する。この補正処理は、室内から屋内に装置の設置環境を変更するなど、照明環境が劇的に変化するような際に必要となる補正である。ここでいう初期状態とは、プロジェクタ1に電源を入れたときの状態、あるいは、プロジェクタの内部設定を変更した時点を指し、照明変化を検出するときの基準となる照明状態を初期値として設定し、初期状態での輝度補正に必要なパラメータ(以下、補正パラメータ)を記憶する。   Next, with reference to FIG. 3, the detailed processing operation of the pre-correction unit 8 shown in FIG. 1 will be described. The prior correction unit 8 corrects the output luminance from the projector in the initial state. This correction process is a correction required when the lighting environment changes dramatically, for example, when the installation environment of the apparatus is changed indoors. The initial state here refers to the state when the projector 1 is turned on, or the time when the internal setting of the projector is changed, and sets the illumination state as a reference when detecting a change in illumination as an initial value. In addition, parameters necessary for luminance correction in the initial state (hereinafter referred to as correction parameters) are stored.

その初期状態での補正パラメータを推定するには非特許文献1または非特許文献2の従来技術を利用する。ここでは、スクリーン表面が時間と共に不変であると仮定する。すなわち、シーンが静的であり、ダイナミックシーンは対象外とする。さらに、プロジェクタ1から投影された画像の輝度値、並びに、カメラ5において撮像される輝度値が線形的に応答すると仮定する。非特許文献1または非特許文献2によれば、プロジェクタ1から出力するRGB値P=(P,P,P)と、カメラで観測するRGB値C=(C,C,C)は、(1)式、(2)の関係で結びつけることができる。 In order to estimate the correction parameter in the initial state, the conventional technique of Non-Patent Document 1 or Non-Patent Document 2 is used. Here, it is assumed that the screen surface is invariant with time. That is, the scene is static and the dynamic scene is excluded. Furthermore, it is assumed that the luminance value of the image projected from the projector 1 and the luminance value captured by the camera 5 respond linearly. According to Non-Patent Document 1 or Non-Patent Document 2, RGB values P = (P R , P G , P B ) output from the projector 1 and RGB values C = (C R , C G , C) observed by the camera. B ) can be linked by the relationship of the formula (1) and (2).

Figure 2012010250
Figure 2012010250

ここで、F=(F,F,F)はプロジェクタ以外の環境光の成分である。補正パラメータとして、事前補正部8では、(2)式の行列Vの3×3の行列要素と環境光Fのベクトル量を算出する。 Here, F = (F R , F G , F B ) is a component of ambient light other than the projector. As correction parameters, the pre-correction unit 8 calculates the 3 × 3 matrix elements of the matrix V and the vector amount of the ambient light F in the equation (2).

非特許文献1または非特許文献2に従えば、少なくとも4枚の画像を取得すればこれらのパラメータを得ることができる。例えば、全画素の輝度値をP=(P,P,P)としてプロジェクタ1から出力するときのカメラ5による観測画像での輝度値をC=(C,C,C)とする。次に、Rチャネルの輝度値をΔR分変化させ、全画素の輝度値をP=(P+ΔR,P,P)としてプロジェクタ1から出力し、カメラ5で観測したRGB輝度値をC=(Cr1,Cg1,Cb1)とする。 According to Non-Patent Document 1 or Non-Patent Document 2, these parameters can be obtained if at least four images are acquired. For example, the luminance values in the observation image by the camera 5 when the luminance values of all the pixels are output from the projector 1 with P 0 = (P r , P g , P b ) are represented by C 0 = (C r , C g , C b ). Next, the luminance value of the R channel is changed by ΔR, the luminance values of all the pixels are output from the projector 1 as P 1 = (P r + ΔR, P g , P b ), and the RGB luminance values observed by the camera 5 are obtained. Let C 1 = (C r1 , C g1 , C b1 ).

同様に、Gチャネルの輝度値をΔG分変化させ、全画素の輝度値をP=(P,P+ΔG,P)としてプロジェクタ1から出力し、カメラ5で観測したRGB輝度値をC=(Cr2,Cg2,Cb2)とする。同様に、Bチャネルの輝度値をΔB分変化させ、全画素の輝度値をP=(P,P,P+ΔB)としてプロジェクタ1から出力し、カメラ5で観測したRGB輝度値をC=(Cr3,Cg3,Cb3)とする。このように、4種類の画像を観測し、各画素ごとに(3)、(4)、(5)式の計算を行えば、(2)式の行列Vの3×3の行列要素を求めることができる。 Similarly, the luminance value of the G channel is changed by ΔG, the luminance values of all pixels are output from the projector 1 as P 2 = (P r , P g + ΔG, P b ), and the RGB luminance values observed by the camera 5 are Let C 2 = (C r2 , C g2 , C b2 ). Similarly, the luminance value of the B channel is changed by ΔB, the luminance values of all the pixels are output from the projector 1 as P 3 = (P r , P g , P b + ΔB), and the RGB luminance values observed by the camera 5 are Let C 3 = (C r3 , C g3 , C b3 ). In this way, by observing four types of images and calculating the expressions (3), (4), and (5) for each pixel, a 3 × 3 matrix element of the matrix V of the expression (2) is obtained. be able to.

Figure 2012010250
Figure 2012010250

一方、環境光の成分は、カラー混合行列Vが得られると、(6)式により算出することができる。
F=C−VP (6)
On the other hand, when the color mixing matrix V is obtained, the ambient light component can be calculated by the equation (6).
F = C 0 −VP 0 (6)

または、カラー混合行列の要素の精度を上げるために、各チャネルあたり2枚以上の画像を使っても良い。例えば、Rチャネルの輝度値を

Figure 2012010250
分変化させ、全画素の輝度値を
Figure 2012010250
とし、合計N枚の画像をプロジェクタ1から出力する。一方、各画像をカメラ5で観測したRGB輝度値をそれぞれ
Figure 2012010250
とすると、各画素ごとに(7)、(8)、(9)式の連立方程式が得られる。 Alternatively, two or more images may be used for each channel in order to increase the accuracy of the elements of the color mixing matrix. For example, the luminance value of the R channel
Figure 2012010250
Change the brightness value of all pixels.
Figure 2012010250
And a total of N images are output from the projector 1. On the other hand, RGB luminance values obtained by observing each image with the camera 5 are
Figure 2012010250
Then, simultaneous equations of (7), (8), and (9) are obtained for each pixel.

Figure 2012010250
Figure 2012010250

これらの連立方程式を解けば、行列要素VRR,VGR,VBRが得られる。同様に、Gチャネル、Bチャネルの輝度を複数段階に変化させたサンプル画像を使って、行列要素VRG,VGG,VBG、並びに、VRB,VGB,VBBを得ることができる。 By solving these simultaneous equations, matrix elements V RR , V GR , and V BR can be obtained. Similarly, matrix elements V RG , V GG , V BG , and V RB , V GB , V BB can be obtained by using sample images in which the luminance of the G channel and the B channel is changed in a plurality of stages.

前述した原理を踏まえた上で、図3を参照して事前補正部8の処理動作を説明する。まず、事前補正部8は、補正パラメータに必要な枚数のサンプル画像が得られたか否かを判定(ステップS11)しながら、基準とするサンプル画像、基準画像に対してRチャネルだけを変化させた画像、基準画像に対してGチャネルだけを変化させた画像、基準画像に対してBチャネルだけを変化させた画像をプロジェクタ1から出力することによりサンプル画像のセットを行い(ステップS12)、カメラ5によってそれぞれに対応するサンプル画像を取得する(ステップS13)。   Based on the principle described above, the processing operation of the pre-correction unit 8 will be described with reference to FIG. First, the pre-correction unit 8 changes only the R channel with respect to the reference sample image and the reference image while determining whether or not the required number of sample images for the correction parameter has been obtained (step S11). A sample image is set by outputting from the projector 1 an image in which only the G channel is changed with respect to the image and the reference image, and an image in which only the B channel is changed with respect to the reference image (step S12). Thus, sample images corresponding to the respective are acquired (step S13).

次に、十分な枚数の画像が得られた時点で事前補正部8は、対象画素について補正パラメータを求めるか否かの判定を行う(ステップS14)。この判定は、全画素について求めても構わないが、スクリーンとプロジェクタ1、カメラ5間がキャリブレーションされていれば、プロジェクタ1から出力する画像のどの画素がカメラ5で得た画像上のどの画素に対応するかが決まるため、スクリーン以外で反射して観測された画素は処理対象外として扱うことができる。すなわち、全ての画素の補正パラメータを得るより、スクリーンに投影される画素の補正パラメータを求めることが効率的であるため、対象画素とは、スクリーンあるいは所定の平面領域に投影される画素のことである。   Next, when a sufficient number of images are obtained, the pre-correction unit 8 determines whether or not to obtain a correction parameter for the target pixel (step S14). This determination may be made for all pixels, but as long as the screen and the projector 1 and the camera 5 are calibrated, which pixel of the image output from the projector 1 is which pixel on the image obtained by the camera 5 Therefore, the pixels reflected and observed outside the screen can be handled as non-processing objects. That is, since it is more efficient to obtain correction parameters for pixels projected on the screen rather than obtaining correction parameters for all pixels, the target pixel is a pixel projected on the screen or a predetermined plane area. is there.

ある画素が対象画素と判定された場合、事前補正部8は、対象画素を抽出して(ステップS15)、プロジェクタ1から出力した画素値とサンプル画像上での画素値から、(3)式〜(5)式を使って、行列Vの3×3の行列要素を算出する(ステップS16)。これらの要素が得られたならば、事前補正部8は、(6)式を使って環境光成分のベクトルFを得る(ステップS17)。事前補正部8は、以上の補正パラメータが得られると一時的に内部のメモリに格納し(ステップS18)、ステップS14に戻って次の画素の処理を行う。この処理を対象画素の全てに行うと、事前補正部8は、行列Vとベクトル量Fを算出して記憶する。   When it is determined that a certain pixel is the target pixel, the pre-correction unit 8 extracts the target pixel (step S15), and from the pixel value output from the projector 1 and the pixel value on the sample image, Expression (3) to Using the equation (5), 3 × 3 matrix elements of the matrix V are calculated (step S16). If these elements are obtained, the pre-correction unit 8 obtains the vector F of the ambient light component using the equation (6) (step S17). When the above correction parameters are obtained, the pre-correction unit 8 temporarily stores them in the internal memory (step S18), and returns to step S14 to process the next pixel. When this process is performed for all the target pixels, the pre-correction unit 8 calculates and stores the matrix V and the vector amount F.

次に、図4を参照して、図1に示す照明変化検出部7の詳細な処理動作を説明する。図4は、図1に示す照明変化検出部7の詳細な処理動作を示すフローチャートである。図4に示す処理動作は、図2に示すスクリーン画像の取得(ステップS3)と、照明変化の検出(ステップS4)と、照明補正の処理(ステップS5)に相当する。照明変化検出部7は、プロジェクタ1によりコンテンツデータを投影する間に、画像入力部6から出力される画像データに基づき照明変化を常時検出する。   Next, a detailed processing operation of the illumination change detection unit 7 shown in FIG. 1 will be described with reference to FIG. FIG. 4 is a flowchart showing a detailed processing operation of the illumination change detection unit 7 shown in FIG. The processing operation shown in FIG. 4 corresponds to the screen image acquisition (step S3), illumination change detection (step S4), and illumination correction processing (step S5) shown in FIG. The illumination change detection unit 7 always detects a change in illumination based on the image data output from the image input unit 6 while projecting content data by the projector 1.

まず、照明変化検出部7は、画像入力部6から出力するサンプル画像データを取得する(ステップS21)。続いて、照明変化検出部7は、時刻tで取得したサンプル画像をC(t)、初期状態で取得したサンプル画像をC(0)とし、輝度差分ΔC(t)を(10)式によって算出する(ステップS22)。そして、照明変化検出部7は、ある対象とする画素における差分値の絶対平均値を算出する。
ΔC(t)=C(t)−C(0) (10)
First, the illumination change detection unit 7 acquires sample image data output from the image input unit 6 (step S21). Subsequently, the illumination change detection unit 7 calculates the luminance difference ΔC (t) by the equation (10) using C (t) as the sample image acquired at time t and C (0) as the sample image acquired in the initial state. (Step S22). And the illumination change detection part 7 calculates the absolute average value of the difference value in a certain target pixel.
ΔC (t) = C (t) −C (0) (10)

続いて、照明変化検出部7は、算出した差分値の絶対平均値が所定の値より大きいか否かに基づき、照明変化が検出されたか否かを判定する(ステップS23)。もし、輝度差分ΔC(t)の絶対平均値が所定の値以下であれば、照明変化がないと判定し、ステップS21に戻って、引き続いて照明変化の検出のためのサンプル画像を取得する。 Subsequently, the illumination change detection unit 7 determines whether or not an illumination change is detected based on whether or not the absolute average value of the calculated difference values is greater than a predetermined value (step S23). If the absolute average value of the luminance difference ΔC (t) is equal to or smaller than the predetermined value, it is determined that there is no illumination change, and the process returns to step S21 to subsequently acquire a sample image for detecting the illumination change.

一方、輝度差分ΔC(t)の絶対平均値が所定の値以下でなく、照明変化ありと判定された場合、照明変化検出部7は、対象画素であるか否かの判定を行う(ステップS24)ことにより各画素を選び、照明変化に伴う輝度補正量F(t)を(11)式によって算出する(ステップS25)。
(t)=F(0)−ΔC(t) (11)
ただし、F(0)は初期状態での環境光のRGB輝度値として記憶しておいたベクトル量である。照明変化検出部7は、ここで求めた輝度補正量F(t)を照明変化補正情報として投影輝度補正部4へ出力する。
On the other hand, if the absolute average value of the luminance difference ΔC (t) is not less than the predetermined value and it is determined that there is an illumination change, the illumination change detection unit 7 determines whether or not the pixel is a target pixel (step S24). ) To select each pixel, and calculate the luminance correction amount F (t) associated with the illumination change by the equation (11) (step S25).
F (t) = F (0) -ΔC (t) (11)
However, F (0) is the vector quantity memorize | stored as an RGB luminance value of the environmental light in an initial state. The illumination change detection unit 7 outputs the brightness correction amount F (t) obtained here to the projection brightness correction unit 4 as illumination change correction information.

次に、図5を参照して、図1に示す投影輝度補正部4の詳細な処理動作を説明する。図5は、図1に示す投影輝度補正部4の詳細な処理動作を示すフローチャートである。図5に示すコンテンツの輝度補正(ステップS6)に相当する。投影輝度補正部4は、時刻tにおいてカメラ5により取得したRGB輝度値が所定の輝度値となるようにプロジェクタ1からスクリーンに投影される画像の輝度値を補正する。   Next, the detailed processing operation of the projection luminance correction unit 4 shown in FIG. 1 will be described with reference to FIG. FIG. 5 is a flowchart showing a detailed processing operation of the projection luminance correction unit 4 shown in FIG. This corresponds to the content luminance correction (step S6) shown in FIG. The projection luminance correction unit 4 corrects the luminance value of the image projected from the projector 1 onto the screen so that the RGB luminance value acquired by the camera 5 at time t becomes a predetermined luminance value.

まず、投影輝度補正部4は、照明変化が検出されたか否かに応じて、いずれの補正量を使うかを判定する(ステップS31)。カメラ5により取得したRGB輝度値が、初期状態で補正して得られた観測画像C(0)とほぼ同じ、すなわち、照明変化検出部7において照明変化がないと判定された場合は照明変化に伴う投影輝度補正量が与えれないので、事前補正部8において得た補正量を使って、プロジェクタ1により投影される画像のRGB輝度値P(t)を(12)式により算出する(ステップS33)。
(t)= V−1(C(0)−F(0)) (12)
First, the projection luminance correction unit 4 determines which correction amount to use depending on whether or not an illumination change is detected (step S31). If the RGB luminance value acquired by the camera 5 is substantially the same as the observed image C (0) obtained by correcting in the initial state, that is, if the illumination change detection unit 7 determines that there is no illumination change, the illumination change is detected. Since the accompanying projection luminance correction amount is not given, the RGB luminance value P (t) of the image projected by the projector 1 is calculated by the equation (12) using the correction amount obtained in the precorrection unit 8 (step S33). .
P (t) = V < -1 > (C (0) -F (0) ) (12)

一方、照明変化があった場合は照明変化検出部7から出力された照明補正データ輝度補正量F(t)を使って、プロジェクタ1により投影される画像のRGB輝度値P(t)を(13)式により算出する(ステップS32)。
(t)= V−1(C(0)−F(t)) (13)
On the other hand, when there is a change in illumination, the RGB brightness value P (t) of the image projected by the projector 1 is (13 ) using the illumination correction data brightness correction amount F (t) output from the illumination change detection unit 7. ) (Step S32).
P (t) = V < -1 > (C (0) -F (t) ) (13)

投影輝度補正部4は、コンテンツデータを投影する際に、(12)式または(13)式によって、全ての画素の補正画素値P(t)を算出して、再生部3から出力される映像信号の輝度補正を行う(ステップS34)。そして、補正した映像信号をプロジェクタ1へ出力することにより、スクリーンにコンテンツ画像を投影する。この処理を投影するコンテンツが存在する場合に連続して行う(ステップS35、S36)。これにより、照明変化に順応してコンテンツ画像を安定的に投影することができる。 When projecting the content data, the projection luminance correcting unit 4 calculates the corrected pixel value P (t) of all the pixels by the equation (12) or the equation (13), and the video output from the reproducing unit 3 The luminance correction of the signal is performed (step S34). Then, by outputting the corrected video signal to the projector 1, the content image is projected on the screen. This process is continuously performed when there is content to be projected (steps S35 and S36). Thereby, it is possible to stably project the content image in accordance with the illumination change.

次に、図6を参照して、図1に示す光学輝度補正装置の変形例を説明する。図6は、図1に示す光学輝度補正装置の変形例の構成を示すブロック図である。図6において、図1に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図6に示す装置が図1に示す装置と異なる点は、事前補正部8に代えてパラメータ記憶部9が設けられている点である。パラメータ記憶部9には、前述した事前補正部8によって得られるパラメータ(行列Vとベクトル量F)と同様のパラメータが他の手段によって求められ、予め記憶されている。投影輝度補正部4は、事前補正部8から出力されるパラメータに代えて、パラメータ記憶部9に記憶されているパラメータを読み出し、図1に示す投影輝度補正部4と同様の処理動作を行う。これにより、プロジェクタ1の電源を投入する度に、事前輝度補正の処理を行う必要がなくなり、プロジェクタ1の使用前の準備作業を軽減することができる。これは、プロジェクタ1を使用する場所とスクリーンが変化せず、使用環境が同じ状況で使用する場合などに有効である。   Next, a modification of the optical brightness correction apparatus shown in FIG. 1 will be described with reference to FIG. FIG. 6 is a block diagram showing a configuration of a modification of the optical brightness correction apparatus shown in FIG. In FIG. 6, the same parts as those of the apparatus shown in FIG. The apparatus shown in FIG. 6 is different from the apparatus shown in FIG. 1 in that a parameter storage unit 9 is provided instead of the preliminary correction unit 8. In the parameter storage unit 9, parameters similar to the parameters (matrix V and vector quantity F) obtained by the above-described precorrection unit 8 are obtained by other means and stored in advance. The projection brightness correction unit 4 reads out the parameters stored in the parameter storage unit 9 instead of the parameters output from the pre-correction unit 8, and performs the same processing operation as the projection brightness correction unit 4 shown in FIG. Thus, it is not necessary to perform a prior brightness correction process each time the projector 1 is turned on, and preparation work before using the projector 1 can be reduced. This is effective when the place where the projector 1 is used and the screen do not change and the environment is the same.

なお、前述した説明においては、1台のプロジェクタ1と1台のカメラ5、すなわち、ペアのプロジェクタ・カメラシステムにおける光学輝度を補正する例を説明したが、複数のプロジェクタまたはカメラを使ったシステムへの適用も容易に行うことが可能である。   In the above description, the example of correcting the optical luminance in one projector 1 and one camera 5, that is, a pair of projector / camera systems has been described. However, to a system using a plurality of projectors or cameras. Can also be easily applied.

また、図1、図6における再生部3は、プロジェクタ1と投影輝度補正部4との間に設けられていてもよい。この場合、投影輝度補正部4は、コンテンツDB2からコンテンツデータを読み出して、読み出したコンテンツデータに対して前述した輝度補正処理を施し、プロジェクタ1と投影輝度補正部4との間に設けられた再生部3に対して出力することにより、プロジェクタ1により投影される画像の輝度補正を行うようにしてもよい。   1 and 6 may be provided between the projector 1 and the projection luminance correction unit 4. In this case, the projection brightness correction unit 4 reads the content data from the content DB 2, performs the above-described brightness correction processing on the read content data, and reproduces between the projector 1 and the projection brightness correction unit 4. The brightness of the image projected by the projector 1 may be corrected by outputting to the unit 3.

以上説明したように、プロジェクタ1によって投影された投影画像を撮像するカメラ5により得られた画像に基づき、プロジェクタ1によって投影される画像の輝度を補正するために、照明変化検出部7が、カメラ5により得られた画像から、投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に照明変化の状況に基づく照明変化補正情報を出力し、投影輝度補正部4が、照明変化補正情報に基づき、プロジェクタ1により投影される投影画像の輝度を補正するようにしたため、プロジェクタを使ってスクリーンにコンテンツを投影している間に、照明の変化を検出し、その変化に順応してプロジェクタからの出力輝度を補正することができ、照明変化に追従した輝度補正が可能になる。   As described above, in order to correct the luminance of the image projected by the projector 1 based on the image obtained by the camera 5 that captures the projection image projected by the projector 1, the illumination change detection unit 7 includes the camera 5 detects an illumination change in a state in which the projection image is projected from the image obtained by 5 and outputs illumination change correction information based on the illumination change state when the illumination change is detected. Since the brightness of the projection image projected by the projector 1 is corrected based on the illumination change correction information, a change in illumination is detected while the content is projected on the screen using the projector. The brightness of the output from the projector can be corrected in an adaptable manner, and the brightness can be corrected following a change in illumination.

なお、図1、6に示す投影輝度補正部4、照明変化検出部7及び事前補正部8の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより光学輝度補正処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。   A program for realizing the functions of the projection luminance correction unit 4, the illumination change detection unit 7 and the pre-correction unit 8 shown in FIGS. 1 and 6 is recorded on a computer-readable recording medium and recorded on the recording medium. The optical brightness correction processing may be performed by causing the computer system to read and execute the program. Here, the “computer system” includes an OS and hardware such as peripheral devices. The “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM and a CD-ROM, and a hard disk incorporated in a computer system. Further, the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。   The program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. Here, the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line. The program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, what is called a difference file (difference program) may be sufficient.

プロジェクタ・カメラシステムにおいて、照明状態の変化に応じて、カメラで観測した各画素の輝度値が所定の値となるように、プロジェクタから投影する各画素の出力値を補正または調整することが不可欠な用途に適用できる。   In a projector / camera system, it is indispensable to correct or adjust the output value of each pixel projected from the projector so that the luminance value of each pixel observed by the camera becomes a predetermined value according to a change in illumination state. Applicable to usage.

1・・・プロジェクタ、2・・・コンテンツDB(データベース)、3・・・再生部、4・・・投影輝度補正部、5・・・カメラ、6・・・画像入力部、7・・・照明変化検出部、8・・・事前補正部、9・・・パラメータ記憶部   DESCRIPTION OF SYMBOLS 1 ... Projector, 2 ... Content DB (database), 3 ... Playback part, 4 ... Projection brightness correction part, 5 ... Camera, 6 ... Image input part, 7 ... Illumination change detection unit, 8 ... preliminary correction unit, 9 ... parameter storage unit

Claims (5)

プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と
を備えることを特徴とする光学輝度補正装置。
An optical brightness correction device for correcting the brightness of a projection image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector,
Illumination change detection that detects an illumination change in a state where the projection image is projected from the image obtained by the camera and outputs illumination change correction information based on the illumination change state when the illumination change is detected. Means,
An optical luminance correction apparatus comprising: a projection luminance correction unit that corrects luminance of the projection image projected by the projector based on the illumination change correction information.
前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を出力する事前補正手段をさらに備え、
前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする請求項1に記載の光学輝度補正装置。
Pre-correction means for outputting pre-correction information for correcting the luminance of the projected image in the initial state by associating the luminance value of the projected image projected by the projector with the luminance value of the image captured by the camera ,
The optical brightness correction apparatus according to claim 1, wherein the projection brightness correction unit corrects the brightness of the projection image based on the prior correction information when the projector is in an initial state.
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正する光学輝度補正装置であって、
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出手段と、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正手段と、
前記プロジェクタにより投影された投影画像の輝度値と前記カメラにより撮像した画像の輝度値を対応付けて、初期状態における投影画像の輝度を補正するための事前補正情報を記憶した記憶手段とを備え、
前記投影輝度補正手段は、前記プロジェクタが初期状態である際に前記事前補正情報に基づき、前記投影画像の輝度を補正することを特徴とする光学輝度補正装置。
An optical brightness correction device for correcting the brightness of a projection image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector,
Illumination change detection that detects an illumination change in a state where the projection image is projected from the image obtained by the camera and outputs illumination change correction information based on the illumination change state when the illumination change is detected. Means,
A projection luminance correction means for correcting the luminance of the projection image projected by the projector based on the illumination change correction information;
Storage means storing pre-correction information for correcting the luminance value of the projected image in the initial state by associating the luminance value of the projected image projected by the projector with the luminance value of the image captured by the camera;
The projection brightness correction unit corrects the brightness of the projection image based on the prior correction information when the projector is in an initial state.
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される投影画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置における光学輝度補正方法であって、
前記照明変化検出手段が、前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、
前記投影輝度補正手段が、前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップと
を有することを特徴とする光学輝度補正方法。
An optical brightness provided with illumination change detection means and projection brightness correction means for correcting the brightness of the projection image projected by the projector based on an image obtained by a camera that captures the projection image projected by the projector An optical brightness correction method in a correction device,
The illumination change detection means detects an illumination change in a state in which the projection image is projected from the image obtained by the camera, and an illumination change correction based on the illumination change situation when the illumination change is detected. An illumination change detection step for outputting information;
A projection luminance correction method, wherein the projection luminance correction means includes a projection luminance correction step of correcting the luminance of the projection image projected by the projector based on the illumination change correction information.
プロジェクタによって投影された投影画像を撮像するカメラにより得られた画像に基づき、前記プロジェクタによって投影される画像の輝度を補正するために、照明変化検出手段と、投影輝度補正手段とを備える光学輝度補正装置上のコンピュータに光学輝度補正処理を行わせる光学輝度補正プログラムであって、
前記カメラにより得られた前記画像から、前記投影画像が投影された状態の照明変化を検出し、照明変化が検出された際に前記照明変化の状況に基づく照明変化補正情報を出力する照明変化検出ステップと、
前記照明変化補正情報に基づき、前記プロジェクタにより投影される前記投影画像の輝度を補正する投影輝度補正ステップと
を前記コンピュータに行わせることを特徴とする光学輝度補正プログラム。
Optical brightness correction comprising illumination change detection means and projection brightness correction means for correcting the brightness of an image projected by the projector based on an image obtained by a camera that captures a projection image projected by the projector An optical brightness correction program for causing a computer on the apparatus to perform optical brightness correction processing,
Illumination change detection that detects an illumination change in a state where the projection image is projected from the image obtained by the camera and outputs illumination change correction information based on the illumination change state when the illumination change is detected. Steps,
An optical luminance correction program that causes the computer to perform a projection luminance correction step of correcting the luminance of the projection image projected by the projector based on the illumination change correction information.
JP2010146283A 2010-06-28 2010-06-28 Optical brightness correction apparatus, optical brightness correction method, and optical brightness correction program Expired - Fee Related JP5339299B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010146283A JP5339299B2 (en) 2010-06-28 2010-06-28 Optical brightness correction apparatus, optical brightness correction method, and optical brightness correction program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010146283A JP5339299B2 (en) 2010-06-28 2010-06-28 Optical brightness correction apparatus, optical brightness correction method, and optical brightness correction program

Publications (2)

Publication Number Publication Date
JP2012010250A true JP2012010250A (en) 2012-01-12
JP5339299B2 JP5339299B2 (en) 2013-11-13

Family

ID=45540256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010146283A Expired - Fee Related JP5339299B2 (en) 2010-06-28 2010-06-28 Optical brightness correction apparatus, optical brightness correction method, and optical brightness correction program

Country Status (1)

Country Link
JP (1) JP5339299B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186073A (en) * 2013-03-22 2014-10-02 Fujitsu Ltd Control method of information bulletin board, display control device of information bulletin board, display control system of information bulletin board, and control program of information bulletin board
KR20150059268A (en) * 2013-11-22 2015-06-01 삼성디스플레이 주식회사 System and method for a luminance correction

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002214700A (en) * 2001-01-17 2002-07-31 Hitachi Ltd Rear projector
JP2004077748A (en) * 2002-08-16 2004-03-11 Nec Viewtechnology Ltd Projector, remote controller of projector, and image projection method, and image correction method
JP2005321535A (en) * 2004-05-07 2005-11-17 Sanyo Electric Co Ltd Projection display device and its brightness control system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002214700A (en) * 2001-01-17 2002-07-31 Hitachi Ltd Rear projector
JP2004077748A (en) * 2002-08-16 2004-03-11 Nec Viewtechnology Ltd Projector, remote controller of projector, and image projection method, and image correction method
JP2005321535A (en) * 2004-05-07 2005-11-17 Sanyo Electric Co Ltd Projection display device and its brightness control system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014186073A (en) * 2013-03-22 2014-10-02 Fujitsu Ltd Control method of information bulletin board, display control device of information bulletin board, display control system of information bulletin board, and control program of information bulletin board
KR20150059268A (en) * 2013-11-22 2015-06-01 삼성디스플레이 주식회사 System and method for a luminance correction
KR102119881B1 (en) * 2013-11-22 2020-06-08 삼성디스플레이 주식회사 System and method for a luminance correction

Also Published As

Publication number Publication date
JP5339299B2 (en) 2013-11-13

Similar Documents

Publication Publication Date Title
JP6717858B2 (en) Calibration of defective image sensor element
JP5108093B2 (en) Imaging apparatus and imaging method
US20170134634A1 (en) Photographing apparatus, method of controlling the same, and computer-readable recording medium
US8605106B2 (en) Projector and color improvement method of the projector
JP2002027491A (en) Image input unit, white balance adjusting method, and computer readable recording medium storing program for executing the method
US8860840B2 (en) Light source estimation device, light source estimation method, light source estimation program, and imaging apparatus
JP6381404B2 (en) Image processing apparatus and method, and imaging apparatus
US9723221B2 (en) Imaging device shooting a common subject in synchronization with other imaging devices
JP5775414B2 (en) Projection brightness adjustment method, projection brightness adjustment apparatus, computer program, and recording medium
US10296806B2 (en) Recognition-based color corrections
JP5339299B2 (en) Optical brightness correction apparatus, optical brightness correction method, and optical brightness correction program
JP6210772B2 (en) Information processing apparatus, imaging apparatus, control method, and program
JP5779071B2 (en) Multiple projection brightness adjustment method, multiple projection brightness adjustment apparatus, computer program, and recording medium
US11683596B2 (en) Image capture apparatus, electronic apparatus, and chroma suppression program
JP2017138927A (en) Image processing device, imaging apparatus, control method and program thereof
JP6921606B2 (en) Image processing equipment, image processing methods and programs
JP5592834B2 (en) Optical projection control apparatus, optical projection control method, and program
JP5371135B2 (en) Luminance correction apparatus, luminance correction system, and luminance correction method
WO2019244667A1 (en) Information processing device, information processing method, and program
Le et al. Visual quality assessment for projected content
TW201820856A (en) Inspection system for inspecting projected image definition of projector and inspection method thereof enabling user to learn about definition level of projected image for adjusting focal length of projector in real time
JP4756831B2 (en) Image photographing apparatus and image processing method
CN114697629B (en) White balance processing method and device, storage medium and terminal equipment
KR101141844B1 (en) Method and system for enhancing image under low illumination
JP2007281797A (en) Camera

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121005

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130528

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130605

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130703

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130723

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20130725

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130730

R150 Certificate of patent or registration of utility model

Ref document number: 5339299

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees