JP2015035650A - Image processing device, image processing method and program - Google Patents

Image processing device, image processing method and program Download PDF

Info

Publication number
JP2015035650A
JP2015035650A JP2013164246A JP2013164246A JP2015035650A JP 2015035650 A JP2015035650 A JP 2015035650A JP 2013164246 A JP2013164246 A JP 2013164246A JP 2013164246 A JP2013164246 A JP 2013164246A JP 2015035650 A JP2015035650 A JP 2015035650A
Authority
JP
Japan
Prior art keywords
image data
source signal
color
color value
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013164246A
Other languages
Japanese (ja)
Inventor
利幸 石井
Toshiyuki Ishii
利幸 石井
太史 八村
Hiroshi Yamura
太史 八村
亙 鈴木
Wataru Suzuki
亙 鈴木
高村 明裕
Akihiro Takamura
明裕 高村
直樹 小嶋
Naoki Kojima
直樹 小嶋
巽 栄作
Eisaku Tatsumi
栄作 巽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013164246A priority Critical patent/JP2015035650A/en
Publication of JP2015035650A publication Critical patent/JP2015035650A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Color Image Communication Systems (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

PROBLEM TO BE SOLVED: To perform accurate calibration.SOLUTION: A photographic image data acquisition unit 1011 and a source signal acquisition unit 1016 acquire image data generated by photographing an image projected on a screen by photographic means and acquire a source signal of a projection signal corresponding to the image. A correspondence generation unit 1012 generates correspondence information showing correspondence between a color value of the image data and a color value of the source signal on the basis of the acquired image data and source signal. A color profile update unit 1017 updates a color profile for converting a source signal into a projection signal on the basis of the correspondence information. An output unit 1015 converts a source signal into a projection signal on the basis of the updated color profile.

Description

本発明は、スクリーンに投影される画像の色を補正するための技術に関するものである。   The present invention relates to a technique for correcting the color of an image projected on a screen.

ディスプレイやプロジェクタ等の表示装置のキャリブレーションを行う方法として、表示装置にカラーチャートを表示させ、当該カラーチャートを測色装置にて測色し、色を補正するためのカラープロファイルを測色値及び目標値に基づいて生成する方法が知られている。   As a method of calibrating a display device such as a display or a projector, a color chart is displayed on the display device, the color chart is measured by a colorimetric device, and a color profile for correcting the color is set to a colorimetric value and A method of generating based on a target value is known.

しかしながら、測色装置は一般に高価であり、また、カラープロファイルを生成するためには専門の知識を有するため、一般ユーザが測色装置を購入してキャリブレーションを行うことは非常に困難である。特許文献1には、測色装置を用いずに、撮像された画像データからディスプレイのキャリブレーションを行う方法が開示されている。特許文献2には、ディスプレイに光センサを設け、光センサの検出値に基づいて表示信号の輝度を補正する方法が開示されている。   However, the color measuring device is generally expensive, and has specialized knowledge to generate a color profile. Therefore, it is very difficult for a general user to purchase and calibrate the color measuring device. Patent Document 1 discloses a method for calibrating a display from captured image data without using a colorimetric device. Patent Document 2 discloses a method in which an optical sensor is provided in a display and the luminance of a display signal is corrected based on a detection value of the optical sensor.

特開2007−208629号公報JP 2007-208629 A 特開2008−181044号公報JP 2008-181044 A

しかしながら、特許文献1に開示された技術では、キャリブレーションを行う際に色の特性を取得するためのカラーチャートを表示させる必要があるため、観視中の投影信号を切り替えなければならず、ユーザの観視の妨げになる。なお、特許文献1に開示された技術により、観視する前にキャリブレーションを実施しておけば、その時点での色補正は行えるが、観視している間に変化する投影色の変動を補正することはできない。特許文献2に開示された技術は、センサを設置した固定箇所における検出値に基づいて投影色を補正するものである。即ち、特許文献2に開示された技術は、投影された画像に使用される色全体の変動を補正するものではなく、投影された画像に使用される色に合わせた正確なキャリブレーションを行うことはできない。   However, in the technique disclosed in Patent Document 1, since it is necessary to display a color chart for acquiring color characteristics when performing calibration, it is necessary to switch the projection signal being viewed, and the user This hinders viewing. If calibration is performed before viewing with the technique disclosed in Patent Document 1, color correction at that time can be performed, but fluctuations in projected color that change while viewing are observed. It cannot be corrected. The technique disclosed in Patent Document 2 corrects a projection color based on a detection value at a fixed location where a sensor is installed. That is, the technique disclosed in Patent Document 2 does not correct the variation of the entire color used in the projected image, but performs accurate calibration according to the color used in the projected image. I can't.

そこで、本発明の目的は、正確なキャリブレーションを行うことを可能とすることにある。   Therefore, an object of the present invention is to enable accurate calibration.

本発明の画像処理装置は、スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、前記画像に対応する投影信号のソース信号を取得する取得手段と、前記取得手段により取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成手段と、前記生成手段により生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新手段と、前記更新手段により更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換手段とを有することを特徴とする。   The image processing apparatus of the present invention obtains image data generated by photographing an image projected on the screen by the photographing unit, and obtains a source signal of a projection signal corresponding to the image; Based on the image data and the source signal acquired by the acquisition unit, a generation unit that generates correspondence information indicating a correspondence relationship between the color value of the image data and the color value of the source signal, and the generation unit An update unit that updates a color profile for converting a source signal into a projection signal based on the correspondence information, and a conversion that converts the source signal into a projection signal based on the color profile updated by the update unit. Means.

本発明によれば、正確なキャリブレーションを行うことが可能となる。   According to the present invention, accurate calibration can be performed.

本発明の実施形態に係る画像処理システムの構成を示す図である。1 is a diagram illustrating a configuration of an image processing system according to an embodiment of the present invention. 情報処理装置の機能的な構成を示す図である。It is a figure which shows the functional structure of information processing apparatus. 本発明の実施形態に係る情報処理装置の処理を示すフローチャートである。It is a flowchart which shows the process of the information processing apparatus which concerns on embodiment of this invention. 対応関係情報の例を示す図である。It is a figure which shows the example of correspondence information. 第1の実施形態における対応関係生成部の処理を示すフローチャートである。It is a flowchart which shows the process of the corresponding | compatible relationship production | generation part in 1st Embodiment. 図5のステップS34における色値抽出処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of the color value extraction process in step S34 of FIG. 図3のステップS6におけるカラープロファイル更新部1017の処理の詳細を示すフローチャートである。It is a flowchart which shows the detail of a process of the color profile update part 1017 in step S6 of FIG. 目標色再現データについて説明するための図である。It is a figure for demonstrating target color reproduction data. 第2の実施形態における対応関係生成部の処理を示すフローチャートである。It is a flowchart which shows the process of the corresponding | compatible relationship production | generation part in 2nd Embodiment. 図9のステップS86における色抽出処理の詳細を示すフローチャートである。10 is a flowchart showing details of color extraction processing in step S86 of FIG.

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。   DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.

図1は、本発明の実施形態に係る画像処理システムの構成を示す図である。図1において、101は、情報処理装置である。102は、撮影装置である。111は、プロジェクタである。情報処理装置101は、プロジェクタ111に対して投影信号を出力し、プロジェクタ111は、情報処理装置101から入力した投影信号に基づいて、スクリーンに対して画像を投影する。撮影装置102は、プロジェクタ111により投影された画像を撮影し、撮影処理により得られた画像データを情報処理装置101に対して出力する。情報処理装置101は、撮影装置102による撮影処理により得られた画像データと、投影信号の元となるソース信号とを取得し、ソース信号を投影信号に変換するためのカラープロファイルを生成する。次に、情報処理装置101は、生成したカラープロファイルに基づいて変換した投影信号をプロジェクタ111に対して出力する。本実施形態では、撮影装置102は、プロジェクタ111により投影される画像を常時撮影する。そして、撮影装置102の撮影処理により得られた画像データに基づいてカラープロファイルが随時更新される。   FIG. 1 is a diagram showing a configuration of an image processing system according to an embodiment of the present invention. In FIG. 1, reference numeral 101 denotes an information processing apparatus. Reference numeral 102 denotes a photographing apparatus. Reference numeral 111 denotes a projector. The information processing apparatus 101 outputs a projection signal to the projector 111, and the projector 111 projects an image on the screen based on the projection signal input from the information processing apparatus 101. The image capturing apparatus 102 captures an image projected by the projector 111 and outputs image data obtained by the image capturing process to the information processing apparatus 101. The information processing apparatus 101 acquires image data obtained by shooting processing by the shooting apparatus 102 and a source signal that is a source of a projection signal, and generates a color profile for converting the source signal into a projection signal. Next, the information processing apparatus 101 outputs a projection signal converted based on the generated color profile to the projector 111. In the present embodiment, the image capturing apparatus 102 always captures an image projected by the projector 111. Then, the color profile is updated as needed based on the image data obtained by the photographing process of the photographing apparatus 102.

図2は、情報処理装置101の機能的な構成を示す図である。図2に示すように、情報処理装置101は、撮影画像データ取得部1011、対応関係生成部1012、補正パラメータ生成部1013、カラープロファイル保持部1014、出力部1015、ソース信号取得部1016及びカラープロファイル更新部1017を備える。なお、図2の1011〜1013及び1015〜1017は、情報処理装置101内において、CPUがROMやハードディスク等から必要なプログラム及びデータを読み出して実行することにより実現する機能的な構成である。また、カラープロファイル保持部1014は、例えばRAMの一部記憶領域に相当する構成である。さらに、情報処理装置101は、バッファメモリを備える。このバッファメモリは、画像処理で用いられる各種データを格納する読み出し専用記憶装置(ROM)として機能するとともに、計算処理時にCPUが一時的な読み書きを行う記憶装置(RAM)として機能する。なお、本実施形態における情報処理装置101のハードウェア構成は、コンピュータ等の公知の技術によって構成可能であるため、ハードウェアの詳細な説明は省略する。   FIG. 2 is a diagram illustrating a functional configuration of the information processing apparatus 101. As illustrated in FIG. 2, the information processing apparatus 101 includes a captured image data acquisition unit 1011, a correspondence generation unit 1012, a correction parameter generation unit 1013, a color profile holding unit 1014, an output unit 1015, a source signal acquisition unit 1016, and a color profile. An update unit 1017 is provided. 2, 1011 to 1013 and 1015 to 1017 in FIG. 2 are functional configurations realized by the CPU reading and executing necessary programs and data from a ROM, a hard disk, or the like in the information processing apparatus 101. The color profile holding unit 1014 has a configuration corresponding to a partial storage area of a RAM, for example. Furthermore, the information processing apparatus 101 includes a buffer memory. The buffer memory functions as a read-only storage device (ROM) that stores various data used in image processing, and also functions as a storage device (RAM) in which the CPU temporarily reads and writes during calculation processing. Note that the hardware configuration of the information processing apparatus 101 in the present embodiment can be configured by a known technique such as a computer, and thus detailed description of the hardware is omitted.

撮影装置102は、プロジェクタ111により投影された画像を撮影する。撮影画像データ取得部1011は、撮影装置102の撮影処理により得られた画像データ(以下、撮影画像データと称す)を取得する。ソース信号取得部1016は、プロジェクタ111により投影された画像の元となるソース信号を取得する。対応関係生成部1012は、撮影画像データ取得部1011により取得された撮影画像データと、ソース信号取得部1016により取得されたソース信号との対応関係を示す対応関係情報を生成する。   The imaging device 102 captures an image projected by the projector 111. The captured image data acquisition unit 1011 acquires image data (hereinafter referred to as “captured image data”) obtained by the imaging process of the imaging apparatus 102. The source signal acquisition unit 1016 acquires a source signal that is a source of an image projected by the projector 111. The correspondence generation unit 1012 generates correspondence information indicating the correspondence between the captured image data acquired by the captured image data acquisition unit 1011 and the source signal acquired by the source signal acquisition unit 1016.

補正パラメータ生成部1013は、カラープロファイルを更新するための補正パラメータを生成する。カラープロファイル保持部1014は、カラープロファイルを保持する。出力部1015は、プロジェクタ111で投影される画像に対応する投影信号を出力する。ソース信号取得部1016は、プロジェクタ111に対して出力される投影信号のソース信号を取得する。カラープロファイル更新部1017は、カラープロファイル保持部1014に保持されているカラープロファイルを更新する。出力部1015は、更新されたカラープロファイルを用いてソース信号を投影信号に変換し、プロジェクタ111に出力する。情報処理装置101は、上記一連の処理を繰り返すことにより、プロジェクタ111により投影される画像の変動を随時補正する。   The correction parameter generation unit 1013 generates a correction parameter for updating the color profile. The color profile holding unit 1014 holds a color profile. The output unit 1015 outputs a projection signal corresponding to the image projected by the projector 111. The source signal acquisition unit 1016 acquires the source signal of the projection signal output to the projector 111. The color profile update unit 1017 updates the color profile held in the color profile holding unit 1014. The output unit 1015 converts the source signal into a projection signal using the updated color profile, and outputs the projection signal to the projector 111. The information processing apparatus 101 repeats the above-described series of processes, thereby correcting the variation in the image projected by the projector 111 as needed.

次に、図3を参照しながら、情報処理装置101の処理について説明する。なお、図3に示す処理は、情報処理装置101内において、CPUがROMやハードディスク等から必要なデータ及びプログラムを読み出して実行することにより実現する処理である。   Next, processing of the information processing apparatus 101 will be described with reference to FIG. Note that the processing illustrated in FIG. 3 is realized by the CPU reading and executing necessary data and programs from the ROM, the hard disk, and the like in the information processing apparatus 101.

ステップS1において、撮影画像データ取得部1011は、通信回線を介して撮影装置102から撮影画像データを取得する。この撮影画像データは、プロジェクタ111により投影された画像を撮影装置102が撮影することにより生成された画像データである。なお、上記通信回線は、有線通信回線でもよいし、無線通信回線でもよい。   In step S1, the captured image data acquisition unit 1011 acquires captured image data from the imaging device 102 via a communication line. The photographed image data is image data generated by photographing the image projected by the projector 111 by the photographing apparatus 102. The communication line may be a wired communication line or a wireless communication line.

ステップS2において、ソース信号取得部1016は、プロジェクタ111に投影された画像に対応する投影信号のソース信号を1フレーム分取得する。なお、本実施形態では、ソース信号としてR(赤)、G(緑)及びB(青)の各8ビットの信号値を使用するが、他のビット数の信号値を使用してもよい。   In step S <b> 2, the source signal acquisition unit 1016 acquires one frame of the source signal of the projection signal corresponding to the image projected on the projector 111. In the present embodiment, 8-bit signal values of R (red), G (green), and B (blue) are used as source signals, but signal values of other numbers of bits may be used.

ステップS3において、対応関係生成部1012は、ステップS1で取得された撮影画像データの画素値RiGiBi値と、ステップS2で取得されたソース信号の画素値RsGsBs値との対応関係を示す対応関係情報を生成する。対応関係を生成する際には、撮影画像データの画素値RiGiBi値とソース信号の画素値RsGsBs値間の解像度の違いや位置ずれ、及び、撮影画像データのノイズの影響によって、特に、高周波領域に位置する画素値間において正確な対応付けが難しい。このため、対応関係生成部1012は、所定のフィルタ処理や領域分割処理等の前処理を実施した後、ソース信号及び撮影画像データの部分領域における代表的な色値を抽出する処理を行う。これにより、対応関係生成部1012は、図4に示すように、ソース信号及び撮影画像データの各部分領域(No.1、No.2、No3・・・No.901、No902)について代表的な色値がテーブル形式で格納される対応関係情報を生成する。なお、対応関係生成部1012における処理の詳細については、後述する。   In step S3, the correspondence generation unit 1012 obtains correspondence information indicating the correspondence between the pixel value RiGiBi value of the captured image data acquired in step S1 and the pixel value RsGsBs value of the source signal acquired in step S2. Generate. When generating the correspondence relationship, particularly in the high frequency region due to the difference in resolution and positional deviation between the pixel value RiGiBi value of the captured image data and the pixel value RsGsBs value of the source signal, and the noise of the captured image data. It is difficult to accurately associate pixel values that are positioned. For this reason, the correspondence generation unit 1012 performs a process of extracting representative color values in the partial regions of the source signal and the captured image data after performing preprocessing such as predetermined filter processing and region division processing. As a result, the correspondence generation unit 1012 is representative for each of the partial regions (No. 1, No. 2, No 3... No. 901, No 902) of the source signal and the captured image data as shown in FIG. Correspondence information in which color values are stored in a table format is generated. Details of the processing in the correspondence generation unit 1012 will be described later.

ステップS4において、補正パラメータ生成部1013は、対応関係生成部1012で生成された対応関係情報に基づいて、カラープロファイルを更新するための補正パラメータを生成する。本実施形態では、補正パラメータとして、次の式(1)に示すような3×4の行列係数を対応関係情報から最小二乗法によって算出するが、補正パラメータとして他の係数を用いてもよい。   In step S4, the correction parameter generation unit 1013 generates a correction parameter for updating the color profile, based on the correspondence relationship information generated by the correspondence relationship generation unit 1012. In the present embodiment, as a correction parameter, a 3 × 4 matrix coefficient as shown in the following equation (1) is calculated from the correspondence information by the least square method, but another coefficient may be used as the correction parameter.

Figure 2015035650
Figure 2015035650

ステップS5において、カラープロファイル更新部1017は、カラープロファイルを更新するか否かを判定する。本実施形態では、情報処理装置101に内蔵されたタイマにより計時される時間が5分を経過したか否かを判定する。5分を経過した場合、カラープロファイル更新部1017は、撮影装置102から撮影画像データを取得し、カラープロファイルの更新処理を行う。なお、計時する時間は5分に限らず、任意の時間でよい。また、撮影装置102で撮影し続けて、撮影画像データのフレーム毎にカラープロファイルを更新してもよいし、フレーム間の撮影画像データを解析し、フレーム間の撮影画像データの変化に基づいてカラープロファイルを更新してもよい。   In step S5, the color profile update unit 1017 determines whether or not to update the color profile. In this embodiment, it is determined whether or not the time counted by the timer built in the information processing apparatus 101 has passed 5 minutes. When 5 minutes have elapsed, the color profile update unit 1017 acquires captured image data from the imaging apparatus 102 and performs a color profile update process. In addition, the time to time is not limited to 5 minutes and may be any time. Further, the color profile may be updated for each frame of the photographed image data by continuously photographing with the photographing apparatus 102, or the photographed image data between the frames is analyzed, and the color is determined based on the change of the photographed image data between the frames. The profile may be updated.

ステップS6において、カラープロファイル更新部1017は、ステップS4で生成された補正パラメータを用いてカラープロファイルを更新する。カラープロファイル保持部1014は、カラープロファイル更新部1017により更新されたカラープロファイルを保持する。なお、カラープロファイル更新部1017における処理の詳細は後述する。   In step S6, the color profile update unit 1017 updates the color profile using the correction parameter generated in step S4. The color profile holding unit 1014 holds the color profile updated by the color profile update unit 1017. Details of processing in the color profile update unit 1017 will be described later.

ステップS7において、出力部1015は、更新されたカラープロファイルを用いてソース信号を投影信号に変換し、変換した投影信号をプロジェクタ111に出力する。プロジェクタ111は、出力部1015から入力した投影信号に基づいて投影を行う。   In step S <b> 7, the output unit 1015 converts the source signal into a projection signal using the updated color profile, and outputs the converted projection signal to the projector 111. The projector 111 performs projection based on the projection signal input from the output unit 1015.

次に、図5を参照しながら、対応関係生成部1012によるステップS3の処理について詳細に説明する。撮影画像データには、プロジェクタ111により投影された画像以外の色も含まれる。従って、ステップS31において、対応関係生成部1012は、当該撮影画像データから、プロジェクタ111により投影された画像に該当する領域(以下、投影領域と称す)の画像データを抽出する。なお、本実施形態では、投影領域の抽出処理は、次のようにして行われる。即ち、予め定められた位置、又は、設定に基づいて定められた位置に、撮影装置102とプロジェクタ111とを設置し、撮影画像データ上における予め定められた座標から画像データが抽出される。例えば、画素数5760×3840で記録された撮影画像データから、左上座標(500,300)、左下座標(500,3540)、右上座標(5260,300)、右下座標(5260,3540)で囲まれる領域に該当する画像データが抽出される。なお、撮影装置102とプロジェクタ111との位置決めを行わず、画像認識技術を用いて撮影画像データから投影領域を検出して、投影領域に該当する画像データを抽出するようにしてもよい。本発明では、プロジェクタ111の投影領域に該当する画像データを撮影画像データから正確に抽出することができれば、その方法は問わない。   Next, the processing in step S3 by the correspondence generation unit 1012 will be described in detail with reference to FIG. The captured image data includes colors other than the image projected by the projector 111. Accordingly, in step S31, the correspondence generation unit 1012 extracts image data of an area corresponding to an image projected by the projector 111 (hereinafter referred to as a projection area) from the captured image data. In the present embodiment, the projection area extraction process is performed as follows. That is, the photographing apparatus 102 and the projector 111 are installed at a predetermined position or a position determined based on the setting, and image data is extracted from predetermined coordinates on the captured image data. For example, the upper left coordinates (500, 300), the lower left coordinates (500, 3540), the upper right coordinates (5260, 300), and the lower right coordinates (5260, 3540) are surrounded by the captured image data recorded with the number of pixels of 5760 × 3840. Image data corresponding to the area to be extracted is extracted. In addition, without positioning the imaging device 102 and the projector 111, a projection area may be detected from the captured image data using an image recognition technique, and image data corresponding to the projection area may be extracted. In the present invention, any method may be used as long as image data corresponding to the projection area of the projector 111 can be accurately extracted from the captured image data.

ステップS32において、対応関係生成部1012は、ソース信号の解像度に合わせて、ステップS31で抽出した投影領域の撮影画像データをアフィン変換する。なお、本実施形態では、ソース信号として画素数4096×2160の画像データを利用し、この解像度と一致するように、投影領域の撮影画像データをアフィン変換する。補正後の座標において画素の隙間が生じる場合には、4近傍画素を用いてバイリニア補間で画素値を決定してもよいし、さらに参照画素を増やしてバイキュービック補間等の補間処理を行ってもよいことはいうまでもない。また、アフィン変換の前処理として、撮影画像データの歪みを補正するためのパース補正を実施してもよい。   In step S32, the correspondence generation unit 1012 affine-transforms the captured image data of the projection area extracted in step S31 in accordance with the resolution of the source signal. In the present embodiment, image data having 4096 × 2160 pixels is used as a source signal, and the captured image data of the projection area is affine transformed so as to match this resolution. If a pixel gap occurs in the corrected coordinates, the pixel value may be determined by bilinear interpolation using four neighboring pixels, or interpolation processing such as bicubic interpolation may be performed with more reference pixels. Needless to say, it is good. Further, as a pre-process for affine transformation, a parse correction for correcting distortion of captured image data may be performed.

ステップS33において、対応関係生成部1012は、ソース信号、及び、ステップS32でアフィン変換した撮影画像データに対してローパスフィルタ処理を施す。これにより、ソース信号と撮影画像データ間の位置ずれ、及び、撮影画像データ中のノイズに起因する対応付けの精度低下を抑制することができる。   In step S33, the correspondence generation unit 1012 performs a low-pass filter process on the source signal and the captured image data affine transformed in step S32. Thereby, it is possible to suppress a positional deviation between the source signal and the captured image data and a decrease in the accuracy of the association due to noise in the captured image data.

ステップS34において、対応関係生成部1012は、ステップS33でローパスフィルタ処理が施されたソース信号及び撮影画像データから、補正パラメータを生成するために必要な色値を抽出する。なお、色値抽出処理の詳細は後述する。   In step S34, the correspondence generation unit 1012 extracts a color value necessary for generating a correction parameter from the source signal and captured image data subjected to the low-pass filter process in step S33. Details of the color value extraction process will be described later.

ステップS35において、対応関係生成部1012は、ステップS34で抽出した色値に基づいて対応関係情報を生成する。生成された対応関係情報は、情報処理装置101内のバッファメモリにおいて保存される。   In step S35, the correspondence generation unit 1012 generates correspondence information based on the color value extracted in step S34. The generated correspondence information is stored in a buffer memory in the information processing apparatus 101.

次に、図6を参照しながら、図5のステップS34における色値抽出処理について詳細に説明する。ステップS340において、対応関係生成部1012は、ステップS33でローパスフィルタ処理が施された投影領域の撮影画像データを複数の領域に分割する。本実施形態では、分割単位を縦100ピクセル及び横100ピクセルとし、4096×2160の画像データを41×22の領域に分割する。なお、縦100ピクセル又は横100ピクセルを満たさない場合、縦又は横が100ピクセル未満の領域で分割される。また、本実施形態では、分割単位を100ピクセルとしているが、それ以外のピクセル数を分割単位としてもよい。なお、以下では、ステップS340の分割処理により生成された領域を、分割領域と称す。   Next, the color value extraction process in step S34 in FIG. 5 will be described in detail with reference to FIG. In step S340, the correspondence generation unit 1012 divides the captured image data of the projection area that has been subjected to the low-pass filter process in step S33 into a plurality of areas. In the present embodiment, the division unit is 100 pixels vertically and 100 pixels horizontally, and 4096 × 2160 image data is divided into 41 × 22 regions. In addition, when not satisfying vertical 100 pixels or horizontal 100 pixels, it is divided | segmented in the area | region where vertical or horizontal is less than 100 pixels. In this embodiment, the division unit is 100 pixels, but the number of other pixels may be the division unit. Hereinafter, the area generated by the division process in step S340 is referred to as a divided area.

ステップS341において、対応関係生成部1012は、ステップS340の分割処理により生成された分割領域のうちの何れか一つの分割領域を選択する。ステップS342において、対応関係生成部1012は、画素値抽出範囲の初期値を設定する。本実施形態では、画素値抽出範囲の初期値として、分割領域と同じ縦100ピクセル及び横100ピクセルとするが、他のピクセル数を初期値として設定してもよい。   In step S341, the correspondence generation unit 1012 selects any one of the divided areas generated by the division process in step S340. In step S342, the correspondence generation unit 1012 sets an initial value of the pixel value extraction range. In the present embodiment, the initial value of the pixel value extraction range is set to 100 pixels in the vertical direction and 100 pixels in the horizontal direction as the divided areas, but other pixel numbers may be set as the initial values.

ステップS343において、対応関係生成部1012は、分割領域の画素値抽出範囲から全ての画素値を抽出し、抽出した画素値の標準偏差を算出する。本実施形態では、分割領域内の色のばらつきとして標準偏差を用いるが、分散等の他の統計量を用いてもよい。   In step S343, the correspondence generation unit 1012 extracts all pixel values from the pixel value extraction range of the divided region, and calculates a standard deviation of the extracted pixel values. In the present embodiment, the standard deviation is used as the color variation in the divided areas, but other statistics such as variance may be used.

ステップS344において、対応関係生成部1012は、ステップS343で算出した標準偏差が閾値未満であるか否かを判定する。標準偏差が閾値未満である場合、処理はステップS346に移行する。標準偏差が閾値以上である場合、処理はステップS345に移行する。   In step S344, the correspondence generation unit 1012 determines whether the standard deviation calculated in step S343 is less than a threshold value. If the standard deviation is less than the threshold, the process proceeds to step S346. If the standard deviation is greater than or equal to the threshold, the process proceeds to step S345.

ステップS345において、対応関係生成部1012は、分割領域の中央を基準に画素値抽出範囲を1画素分狭くする。そして、処理はステップS343に戻る。本実施形態では、分割領域の中央を基準にして画素値抽出範囲を調整しているが、分割領域の左上隅や右下隅を基準にして画素値抽出範囲を調整してもよい。また、本実施形態では、1画素分ずつ画素値抽出範囲を調整しているが、任意の画素分ずつ画素値抽出範囲を調整してもよい。   In step S345, the correspondence generation unit 1012 narrows the pixel value extraction range by one pixel based on the center of the divided region. Then, the process returns to step S343. In the present embodiment, the pixel value extraction range is adjusted based on the center of the divided region, but the pixel value extraction range may be adjusted based on the upper left corner and the lower right corner of the divided region. In the present embodiment, the pixel value extraction range is adjusted for each pixel, but the pixel value extraction range may be adjusted for any pixel.

ステップS346において、対応関係生成部1012は、画素値抽出範囲内の画素値の平均値を算出する。ステップS347において、対応関係生成部1012は、画素値抽出範囲に対応するソース信号の領域内の画素値の平均値を算出する。   In step S346, the correspondence generation unit 1012 calculates the average value of the pixel values within the pixel value extraction range. In step S347, the correspondence generation unit 1012 calculates the average value of the pixel values in the source signal region corresponding to the pixel value extraction range.

ステップS348において、対応関係生成部1012は、ステップS346及びS347で算出した平均値を色値として情報処理装置101内のバッファメモリに保存する。ステップS349において、対応関係生成部1012は、全ての分割領域について色値が算出されたか否かを判定する。全ての分割領域について色値が算出された場合、処理は終了する。一方、未だ色値が算出されていない分割領域が存在する場合、処理はステップS342に戻る。   In step S348, the correspondence generation unit 1012 stores the average value calculated in steps S346 and S347 as a color value in the buffer memory in the information processing apparatus 101. In step S349, the correspondence generation unit 1012 determines whether color values have been calculated for all the divided regions. When color values are calculated for all the divided areas, the process ends. On the other hand, if there is a divided area for which a color value has not yet been calculated, the process returns to step S342.

次に、図7を参照しながら、図3のステップS6におけるカラープロファイル更新部1017の処理について詳細に説明する。   Next, the processing of the color profile update unit 1017 in step S6 of FIG. 3 will be described in detail with reference to FIG.

ステップS61において、カラープロファイル更新部1017は、情報処理装置101内のバッファメモリから目標色再現データを取得する。ここでいう目標色再現データとは、プロジェクタ111に投影すべきターゲット色が記述されたデータである。より具体的には、目標色再現データは、図8(a)に示すように、所定のソース信号(No1、No2、No3・・・No.728、No729)に対応する画像を投影した際の撮影画像データの信号値RtGtBtが記述されたファイルである。   In step S <b> 61, the color profile update unit 1017 acquires target color reproduction data from the buffer memory in the information processing apparatus 101. The target color reproduction data here is data in which a target color to be projected on the projector 111 is described. More specifically, as shown in FIG. 8A, the target color reproduction data is obtained when an image corresponding to a predetermined source signal (No1, No2, No3... No.728, No729) is projected. This is a file in which signal values RtGtBt of photographed image data are described.

本実施形態では、所定のソース信号としてRGB各9グリッドの均等格子点に並んだ729色の信号値を用いる。そして、本実施形態では、図8(b)に示すように、この信号値を表す画像チャート801をプロジェクタ111により投影し、予め画像チャート801を撮影装置102により撮影する。そして、撮影された画像データが示す信号値RtGtBtを目標色再現データとして事前にバッファメモリに保存しておくものとする。   In the present embodiment, signal values of 729 colors arranged at equal grid points of 9 grids of RGB are used as the predetermined source signal. In the present embodiment, as shown in FIG. 8B, an image chart 801 representing this signal value is projected by the projector 111, and the image chart 801 is photographed by the photographing apparatus 102 in advance. The signal value RtGtBt indicated by the captured image data is stored in advance in the buffer memory as target color reproduction data.

ステップS62において、カラープロファイル更新部1017は、ステップS4で生成された補正パラメータである行列係数を用いて、対象色再現データを算出する。対象色再現データは、RGB各9グリッドの均等格子点に並ぶ信号値を行列係数により変換することで算出され、現状の再現色を示す対象色信号値RdGdBdとしてバッファメモリに保存される。   In step S62, the color profile update unit 1017 calculates target color reproduction data using the matrix coefficient that is the correction parameter generated in step S4. The target color reproduction data is calculated by converting the signal values arranged at the uniform grid points of 9 grids of RGB by matrix coefficients, and is stored in the buffer memory as the target color signal value RdGdBd indicating the current reproduction color.

ステップS63において、カラープロファイル更新部1017は、ステップS61で取得した目標色再現データ、及び、ステップS62で算出した対象色再現データを用いて、カラープロファイルを生成する。ここでカラープロファイルには、ソース信号のRGB値とそれに対応する出力RGB値とがルックアップテーブル(LUT)の形式で記述される。このLUTを用いることにより、下記の式(2)によりソース信号が所望の出力値へと変換される。なお、下式で*は、LUTによる色変換を表す。
C_out_tgt = LUT_org * C_s・・・式(2)
C_s:ソース信号
LUT_org:初期のカラープロファイル
C_out_tgt:目標色を再現するカラープロファイル変換後の出力値
In step S63, the color profile update unit 1017 generates a color profile using the target color reproduction data acquired in step S61 and the target color reproduction data calculated in step S62. Here, the RGB value of the source signal and the corresponding output RGB value are described in the color profile in the form of a lookup table (LUT). By using this LUT, the source signal is converted into a desired output value by the following equation (2). In the following formula, * represents color conversion by LUT.
C_out_tgt = LUT_org * C_s (2)
C_s: Source signal
LUT_org: Initial color profile
C_out_tgt: Output value after color profile conversion that reproduces the target color

ここで、経時変化等で色がずれた場合の信号の入出力関係を式(3)のように表す。
C_out_dst = G * LUT_org * C_s・・・式(3)
G:色の変動
C_out_dst:ソース信号が入力されたときの出力値
Here, the input / output relationship of the signal when the color is shifted due to a change with time or the like is expressed as in Expression (3).
C_out_dst = G * LUT_org * C_s (3)
G: Color variation
C_out_dst: Output value when the source signal is input

本実施形態では、色の変動が生じた際に目標色を再現するC_out_tgtを出力するためのカラープロファイルLUT_dst(G!*LUT_org)を新たに生成し、更新することでキャリブレーションを行う。ステップS63において、カラープロファイル更新部1017は、S61におけるソース信号と目標色信号値との対応関係と、S62で算出したソース信号と現状の再現色を示す対象色信号値との対応関係を用いて、目標色信号値を再現するRGB値を対象色信号値から探索することにより、LUT_dstを生成する。   In this embodiment, calibration is performed by newly generating and updating a color profile LUT_dst (G! * LUT_org) for outputting C_out_tgt that reproduces a target color when a color change occurs. In step S63, the color profile update unit 1017 uses the correspondence between the source signal and the target color signal value in S61 and the correspondence between the source signal calculated in S62 and the target color signal value indicating the current reproduction color. The LUT_dst is generated by searching the target color signal value for the RGB value for reproducing the target color signal value.

なお、本実施形態では、上記探索をする空間としてRGBの色空間を用いるが、RGBの色空間を人間の視覚により一致するLab色空間等の視覚均等色空間に変換し、当該色空間上で探索してもよい。Lab色空間を用いることにより、例えば色域境界に分布する色が変動し、ターゲット色を現状のプロジェクタの投影色域で再現できない場合において、人間の見た目の色で最も近い色でターゲット色を再現することができる。なお、RGB色空間からLab色空間への変換は、sRGBやAdobeRGB等の変換式を用いてXYZ値への変換を行い、さらにCIE1976変換式を用いることで変換することができる。また、本実施形態では、CIE1976変換式を用いるが、CIECAM02等の他の変換式を用いてもよい。さらに、本実施形態では、カラープロファイルとしてLUTを用いた変換を行うが、変換特性を関数で数式化し、カラープロファイルに関数を記述して変換してもよいことはいうまでもない。   In this embodiment, an RGB color space is used as the search space. However, the RGB color space is converted into a visual uniform color space such as a Lab color space that matches human vision, and the color space is converted into the color space. You may search. By using the Lab color space, for example, when the color distributed at the color gamut boundary fluctuates and the target color cannot be reproduced in the projection color gamut of the current projector, the target color is reproduced with the closest color to the human appearance. can do. Note that the conversion from the RGB color space to the Lab color space can be performed by performing conversion to XYZ values using conversion formulas such as sRGB and AdobeRGB, and further using the CIE1976 conversion formula. In this embodiment, the CIE 1976 conversion formula is used, but other conversion formulas such as CIECAM02 may be used. Furthermore, in this embodiment, conversion using an LUT is performed as a color profile, but it goes without saying that conversion characteristics may be expressed by a function and the function described in the color profile for conversion.

ステップS64において、カラープロファイル更新部1017は、ステップS63で生成したカラープロファイルで、カラープロファイル保持部1014に保存されているカラープロファイルを上書きすることにより、カラープロファイルを更新する。   In step S64, the color profile update unit 1017 updates the color profile by overwriting the color profile stored in the color profile holding unit 1014 with the color profile generated in step S63.

以上のように、本実施形態によれば、カラーチャートを用いずに実際に見ている画像の投影信号を常時センシングしてキャリブレーションを行うことにより、ユーザの負担をかけずに正確なキャリブレーションを行うことができる。   As described above, according to the present embodiment, accurate calibration can be performed without burdening the user by performing calibration by always sensing the projection signal of the image actually viewed without using a color chart. It can be performed.

次に、本発明の第2の実施形態について説明する。第1の実施形態では、1フレーム分のソース信号と撮影画像データとから補正パラメータを生成するための対応関係情報を生成した。これに対し、第2の実施形態では、複数のフレーム分のソース信号と撮影画像データとから対応関係情報を生成する方法について説明する。なお、第2の実施形態に係る画像処理システムの構成は、図1及び図2に示した第1の実施形態に係る画像処理システムの構成と同様であるため、以下の説明においても、図1及び図2に示した符号を用いるものとする。また、第2の実施形態は、図3のステップS3における対応関係生成部1012の処理が第1の実施形態と相違し、他は第1の実施形態と共通の処理を行うため、以下、第2の実施形態における図3のステップS3における処理についてのみ説明する。   Next, a second embodiment of the present invention will be described. In the first embodiment, correspondence information for generating a correction parameter is generated from a source signal for one frame and captured image data. On the other hand, in the second embodiment, a method for generating correspondence information from source signals and captured image data for a plurality of frames will be described. Note that the configuration of the image processing system according to the second embodiment is the same as the configuration of the image processing system according to the first embodiment shown in FIGS. 1 and 2. The reference numerals shown in FIG. 2 are used. In the second embodiment, the processing of the correspondence generation unit 1012 in step S3 in FIG. 3 is different from that in the first embodiment, and the other processes are the same as those in the first embodiment. Only the process in step S3 of FIG. 3 in the second embodiment will be described.

以下、図9を参照しながら、第2の実施形態における対応関係生成部1012の処理について説明する。ステップS81において、対応関係生成部1012は、撮影画像データ取得部1011から1フレーム分の撮影画像データを取得するとともに、ソース信号取得部1016から1フレーム分のソース信号を取得する。ステップS82において、対応関係生成部1012は、30フレーム分の撮影画像データ及びソース信号を取得したか否かを判定する。30フレーム分の撮影画像データ及びソース信号を取得した場合、処理はステップS83に移行する。一方、30フレーム分の撮影画像データ及びソース信号を取得していない場合、処理はステップS81に戻る。上述したように、本実施形態では、30フレーム分の撮影画像データ及びソース信号を取得するものとするが、このフレーム数に限定されるものではない。   Hereinafter, the processing of the correspondence generation unit 1012 in the second embodiment will be described with reference to FIG. In step S <b> 81, the correspondence generation unit 1012 acquires captured image data for one frame from the captured image data acquisition unit 1011 and acquires a source signal for one frame from the source signal acquisition unit 1016. In step S82, the correspondence generation unit 1012 determines whether captured image data and source signals for 30 frames have been acquired. When the captured image data and the source signal for 30 frames are acquired, the process proceeds to step S83. On the other hand, if the captured image data and the source signal for 30 frames have not been acquired, the process returns to step S81. As described above, in this embodiment, captured image data and source signals for 30 frames are acquired, but the number of frames is not limited to this.

ステップS83において、対応関係生成部1012は、30フレーム分の撮影画像データ夫々から、プロジェクタ111による投影領域の画像データを抽出する。ステップS84において、対応関係生成部1012は、ステップS83で抽出された各投影領域の撮影画像データを、当該撮影画像データに対応するソース信号の解像度に合わせてアフィン変換する。   In step S83, the correspondence generation unit 1012 extracts image data of the projection area by the projector 111 from each of the 30 frames of captured image data. In step S84, the correspondence generation unit 1012 affine-transforms the captured image data of each projection area extracted in step S83 in accordance with the resolution of the source signal corresponding to the captured image data.

ステップS85において、対応関係生成部1012は、ソース信号、及び、ステップS84で変換したアフィン変換した撮影画像データに対してローパスフィルタ処理を施す。これにより、ソース信号と撮影画像データ間の位置ずれ、及び、撮影画像データ中のノイズに起因する対応付けの精度低下を抑制することができる。   In step S85, the correspondence generation unit 1012 performs low-pass filter processing on the source signal and the affine-transformed captured image data converted in step S84. Thereby, it is possible to suppress a positional deviation between the source signal and the captured image data and a decrease in the accuracy of the association due to noise in the captured image data.

ステップS86において、対応関係生成部1012は、ステップS85でローパスフィルタ処理が施された両画像データから、補正パラメータを作成するために必要な色値を抽出する。なお、色値抽出処理の詳細は後述する。ステップS87において、対応関係生成部1012は、S86で抽出した色値に基づいて対応関係情報を生成する。生成された対応関係情報は、情報処理装置101内のバッファメモリにおいて保存される。   In step S86, the correspondence generation unit 1012 extracts a color value necessary for creating a correction parameter from both image data subjected to the low-pass filter process in step S85. Details of the color value extraction process will be described later. In step S87, the correspondence generation unit 1012 generates correspondence information based on the color values extracted in S86. The generated correspondence information is stored in a buffer memory in the information processing apparatus 101.

次に、図10を参照しながら、図9のステップS86における色値抽出処理について詳細に説明する。ステップS860において、対応関係生成部1012は、30フレームの撮影画像データ夫々について、ステップS85でローパスフィルタ処理が施された投影領域の撮影画像データを複数の領域に分割する。本実施形態では、分割単位を縦100ピクセル及び横100ピクセルとし、4096×2160の画像データを41×22の領域に分割する。縦100ピクセル又は横100ピクセルを満たさない場合、縦又は横が100ピクセル未満の領域で分割される。また、本実施形態では、分割単位を100ピクセルとしているが、それ以外のピクセル数を分割単位としてもよい。なお、30フレームの撮影画像データ間における領域分割方法は同一である。   Next, the color value extraction process in step S86 of FIG. 9 will be described in detail with reference to FIG. In step S860, the correspondence generation unit 1012 divides the photographed image data of the projection area, which has been subjected to the low-pass filter process in step S85, into a plurality of areas for each of the 30 frames of photographed image data. In the present embodiment, the division unit is 100 pixels vertically and 100 pixels horizontally, and 4096 × 2160 image data is divided into 41 × 22 regions. When the vertical 100 pixels or the horizontal 100 pixels are not satisfied, the vertical or horizontal area is divided by an area of less than 100 pixels. In this embodiment, the division unit is 100 pixels, but the number of other pixels may be the division unit. Note that the region dividing method between the 30 frames of the captured image data is the same.

ステップS861において、対応関係生成部1012は、ステップS960で分割された領域のうちの何れか一つの領域(以下、分割領域と称す)を選択する。なお、ここで選択される分割領域は、30フレームの撮影画像データ間において対応する位置の領域である。   In step S861, the correspondence generation unit 1012 selects one of the areas divided in step S960 (hereinafter referred to as a divided area). Note that the divided area selected here is an area at a corresponding position between the captured image data of 30 frames.

ステップS862において、対応関係生成部1012は、各フレームについて、ステップS861で選択された分割領域の画素値の平均値を算出する。ステップS863において、対応関係生成部1012は、フレーム間における当該分割領域の画素値の平均値を用いて、フレーム間における当該分割領域の画素値の標準偏差を算出する。本実施形態では、フレーム間における色のばらつきの指標として標準偏差を用いるが、分散等の他の統計量を用いてもよい。   In step S862, the correspondence generation unit 1012 calculates the average value of the pixel values of the divided area selected in step S861 for each frame. In step S863, the correspondence generation unit 1012 calculates the standard deviation of the pixel values of the divided regions between frames using the average value of the pixel values of the divided regions between frames. In the present embodiment, the standard deviation is used as an index of color variation between frames, but other statistics such as variance may be used.

ステップS864において、対応関係生成部1012は、ステップS863で算出した標準偏差が閾値未満であるか否かを判定する。標準偏差が閾値未満である場合、処理はステップS865に移行する。一方、標準偏差が閾値以上である場合、処理はステップS867に移行する。   In step S864, the correspondence generation unit 1012 determines whether the standard deviation calculated in step S863 is less than a threshold value. If the standard deviation is less than the threshold, the process proceeds to step S865. On the other hand, when the standard deviation is greater than or equal to the threshold, the process proceeds to step S867.

ステップS865において、対応関係生成部1012は、フレーム間における当該分割領域の画素値の平均値を算出し、算出した平均値を色値としてバッファメモリに保存する。ステップS866において、対応関係生成部1012は、当該分割領域に対応する領域のソース信号を用いて、フレーム間におけるソース信号の画素値の平均値を算出し、算出した平均値を色値としてバッファメモリに保存する。   In step S865, the correspondence generation unit 1012 calculates an average value of the pixel values of the divided area between frames, and stores the calculated average value as a color value in the buffer memory. In step S866, the correspondence generation unit 1012 calculates an average value of pixel values of the source signal between frames using the source signal of the region corresponding to the divided region, and uses the calculated average value as a color value in the buffer memory. Save to.

ステップS867において、対応関係生成部1012は、全ての分割領域について色値を算出したか否かを判定する。全ての分割領域について色値が算出された場合、処理は終了する。一方、未だ色値が算出されていない分割領域が存在する場合、処理はステップS862に戻る。   In step S867, the correspondence generation unit 1012 determines whether color values have been calculated for all the divided regions. When color values are calculated for all the divided areas, the process ends. On the other hand, if there is a divided area for which a color value has not yet been calculated, the process returns to step S862.

以上のように、第2の実施形態においては、複数のフレーム分のソース信号と撮影画像データとから対応関係情報を生成している。これにより、ソース信号及び撮影画像データを取得する際に同期が上手く取れない場合や、撮影画像データにノイズが含まれた場合においても、精度よくキャリブレーションを実施することができる。   As described above, in the second embodiment, correspondence information is generated from a plurality of frames of source signals and captured image data. As a result, calibration can be performed with high accuracy even when synchronization cannot be obtained when acquiring the source signal and the captured image data, or when noise is included in the captured image data.

対応関係生成部における処理において、第1及び第2の実施形態では、領域分割を行って色値を抽出する際に撮影画像データを基準に参照する座標をまず決定したが、ソース信号を基準に参照する座標を決定してもよい。また、第1の実施形態では、フレームの画像データ内の色の情報から、第2の実施形態では、フレーム画像データ間の色の情報からそれぞれ対応関係を生成したが、フレーム画像データ内とフレーム画像データ間の情報を組み合わせて対応関係を生成してもよい。   In the processing in the correspondence generation unit, in the first and second embodiments, when the color value is extracted by performing region division, the coordinates to be referred to based on the captured image data are first determined. You may determine the coordinate to refer. In the first embodiment, the correspondence is generated from the color information in the frame image data, and in the second embodiment, the correspondence is generated from the color information between the frame image data. A correspondence relationship may be generated by combining information between image data.

なお、上述した実施形態では、色値を算出する際に、撮影画像データ上の座標を基準にして色値を算出したが、ソース信号上の座標を基準にして色値を算出するようにしてもよい。また、第1の実施形態では、1フレーム分のソース信号と撮影画像データとから対応関係情報を生成し、第2の実施形態では、複数のフレーム分のソース信号と撮影画像データとから対応関係情報を生成しているが、本発明はこれに限らない。即ち、第1の実施形態の対応関係情報の生成方法と第2の実施形態の対応関係情報の生成方法とを組み合わせてもよい。   In the above-described embodiment, when the color value is calculated, the color value is calculated based on the coordinates on the captured image data. However, the color value is calculated based on the coordinates on the source signal. Also good. In the first embodiment, correspondence information is generated from the source signal for one frame and the captured image data. In the second embodiment, the correspondence is generated from the source signal for multiple frames and the captured image data. Although the information is generated, the present invention is not limited to this. In other words, the correspondence information generation method of the first embodiment may be combined with the correspondence information generation method of the second embodiment.

また、本発明は、上述した実施形態で説明した構成に制限されず、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、第1の実施形態で説明した情報処理装置101及び撮影装置102のうちの少なくとも何れか一方に相当する構成を、プロジェクタ装置111に内蔵してもよい。   The present invention is not limited to the configuration described in the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention. For example, the projector apparatus 111 may include a configuration corresponding to at least one of the information processing apparatus 101 and the imaging apparatus 102 described in the first embodiment.

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。   The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.

101:情報処理装置、102:撮影装置、111:プロジェクタ、1011:撮影画像データ取得部、1012:対応関係生成部、1013:補正パラメータ生成部、1014:カラープロファイル保持部、1015:出力部、1016:ソース信号取得部、1017:カラープロファイル更新部   101: Information processing apparatus, 102: Imaging apparatus, 111: Projector, 1011: Captured image data acquisition unit, 1012: Correspondence relation generation unit, 1013: Correction parameter generation unit, 1014: Color profile holding unit, 1015: Output unit, 1016 : Source signal acquisition unit, 1017: Color profile update unit

Claims (5)

スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、前記画像に対応する投影信号のソース信号を取得する取得手段と、
前記取得手段により取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成手段と、
前記生成手段により生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新手段と、
前記更新手段により更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換手段とを有することを特徴とする画像処理装置。
An acquisition unit that acquires image data generated by the imaging unit capturing an image projected on the screen, and that acquires a source signal of a projection signal corresponding to the image;
Generating means for generating correspondence information indicating a correspondence relation between the color value of the image data and the color value of the source signal based on the image data and the source signal acquired by the acquisition means;
Updating means for updating a color profile for converting a source signal into a projection signal based on the correspondence information generated by the generating means;
An image processing apparatus comprising: conversion means for converting a source signal into a projection signal based on the color profile updated by the update means.
前記生成手段は、前記取得手段により取得された1フレーム分の画像データにおける各部分領域内の画素値、及び、前記取得手段により取得された1フレーム分のソース信号における各部分領域内の画素値に基づいて、画像データの色値とソース信号の色値とを算出し、算出した画像データの色値とソース信号の色値とに基づいて前記対応関係情報を生成することを特徴とする請求項1に記載の画像処理装置。   The generation means includes a pixel value in each partial area in the image data for one frame acquired by the acquisition means, and a pixel value in each partial area in the source signal for one frame acquired by the acquisition means. The color value of the image data and the color value of the source signal are calculated based on the image data, and the correspondence information is generated based on the calculated color value of the image data and the color value of the source signal. Item 8. The image processing apparatus according to Item 1. 前記生成手段は、前記取得手段により取得された複数のフレーム分の画像データにおける各部分領域内の画素値、及び、前記取得手段により取得された複数のフレーム分の画像データにおける各部分領域内の画素値に基づいて、画像データの色値とソース信号の色値とを算出し、算出した画像データの色値とソース信号の色値とに基づいて前記対応関係情報を生成することを特徴とする請求項1に記載の画像処理装置。   The generation unit includes a pixel value in each partial region in the image data for a plurality of frames acquired by the acquisition unit, and a value in each partial region in the image data for the plurality of frames acquired by the acquisition unit. A color value of the image data and a color value of the source signal are calculated based on the pixel value, and the correspondence information is generated based on the calculated color value of the image data and the color value of the source signal. The image processing apparatus according to claim 1. 画像処理装置によって実行される画像処理方法であって、
スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、前記画像に対応する投影信号のソース信号を取得する取得ステップと、
前記取得ステップにより取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成ステップと、
前記生成ステップにより生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新ステップと、
前記更新ステップにより更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換ステップとを有することを特徴とする画像処理方法。
An image processing method executed by an image processing apparatus,
An acquisition step of acquiring image data generated by shooting an image projected on the screen by the shooting unit and acquiring a source signal of a projection signal corresponding to the image;
A generating step for generating correspondence information indicating a correspondence relationship between the color value of the image data and the color value of the source signal based on the image data and the source signal acquired in the acquisition step;
An update step of updating a color profile for converting a source signal into a projection signal based on the correspondence information generated by the generation step;
An image processing method comprising: a conversion step of converting a source signal into a projection signal based on the color profile updated in the updating step.
スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、前記画像に対応する投影信号のソース信号を取得する取得ステップと、
前記取得ステップにより取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成ステップと、
前記生成ステップにより生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新ステップと、
前記更新ステップにより更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換ステップとをコンピュータに実行させるためのプログラム。
An acquisition step of acquiring image data generated by shooting an image projected on the screen by the shooting unit and acquiring a source signal of a projection signal corresponding to the image;
A generating step for generating correspondence information indicating a correspondence relationship between the color value of the image data and the color value of the source signal based on the image data and the source signal acquired in the acquisition step;
An update step of updating a color profile for converting a source signal into a projection signal based on the correspondence information generated by the generation step;
A program for causing a computer to execute a conversion step of converting a source signal into a projection signal based on the color profile updated in the updating step.
JP2013164246A 2013-08-07 2013-08-07 Image processing device, image processing method and program Pending JP2015035650A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013164246A JP2015035650A (en) 2013-08-07 2013-08-07 Image processing device, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013164246A JP2015035650A (en) 2013-08-07 2013-08-07 Image processing device, image processing method and program

Publications (1)

Publication Number Publication Date
JP2015035650A true JP2015035650A (en) 2015-02-19

Family

ID=52543905

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013164246A Pending JP2015035650A (en) 2013-08-07 2013-08-07 Image processing device, image processing method and program

Country Status (1)

Country Link
JP (1) JP2015035650A (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019520721A (en) * 2016-04-20 2019-07-18 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. Color calibration and demonstration of digital pathology

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019520721A (en) * 2016-04-20 2019-07-18 ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. Color calibration and demonstration of digital pathology
US10845245B2 (en) 2016-04-20 2020-11-24 Leica Biosystems Imaging, Inc. Digital pathology color calibration and validation
US11614363B2 (en) 2016-04-20 2023-03-28 Leica Biosystems Imaging, Inc. Digital pathology color calibration and validation

Similar Documents

Publication Publication Date Title
JP5517685B2 (en) Image processing apparatus and method
JP2014508475A (en) Color calibration method for image capture device
JP2008092565A (en) Color matching method and image capturing device
JP6520578B2 (en) Image processing apparatus and display determination method
JP6376767B2 (en) Image processing apparatus and image processing method
JP7327957B2 (en) Image display system, method and program
JP2005189542A (en) Display system, display program and display method
JP6172998B2 (en) Image processing apparatus and image processing method
US9288456B2 (en) Image processing apparatus and method
JPH10290373A (en) Color correction device
JP5523078B2 (en) Image processing apparatus and image processing method
JP2015035650A (en) Image processing device, image processing method and program
JP2012120126A (en) Image processing system and image processing method
JP6818585B2 (en) Image processing device, image processing method, and program
JP2014219724A (en) Image processor, method for controlling image processor, and program
JP2007221624A (en) Illuminance acquisition apparatus, illuminance acquisition method and illuminance acquisition program
JP2001218070A (en) Method and device for image processing
JP6610754B2 (en) Image processing apparatus and display determination method
JP2020088709A (en) Image processing apparatus, image processing method and program
JP6610755B2 (en) Image processing apparatus and display determination method
JP6610756B2 (en) Image processing apparatus and display determination method
JP6070396B2 (en) Image processing apparatus, image processing method, and program
KR101723363B1 (en) Apparatus and method for processing images captured by multiple cameras
US20240333863A1 (en) Color matching control apparatus, control method therefor, and storage medium storing control program therefor
JP2021190006A (en) Image processing device, image processing method and program