JP2015035650A - Image processing device, image processing method and program - Google Patents
Image processing device, image processing method and program Download PDFInfo
- Publication number
- JP2015035650A JP2015035650A JP2013164246A JP2013164246A JP2015035650A JP 2015035650 A JP2015035650 A JP 2015035650A JP 2013164246 A JP2013164246 A JP 2013164246A JP 2013164246 A JP2013164246 A JP 2013164246A JP 2015035650 A JP2015035650 A JP 2015035650A
- Authority
- JP
- Japan
- Prior art keywords
- image data
- source signal
- color
- color value
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
Description
本発明は、スクリーンに投影される画像の色を補正するための技術に関するものである。 The present invention relates to a technique for correcting the color of an image projected on a screen.
ディスプレイやプロジェクタ等の表示装置のキャリブレーションを行う方法として、表示装置にカラーチャートを表示させ、当該カラーチャートを測色装置にて測色し、色を補正するためのカラープロファイルを測色値及び目標値に基づいて生成する方法が知られている。 As a method of calibrating a display device such as a display or a projector, a color chart is displayed on the display device, the color chart is measured by a colorimetric device, and a color profile for correcting the color is set to a colorimetric value and A method of generating based on a target value is known.
しかしながら、測色装置は一般に高価であり、また、カラープロファイルを生成するためには専門の知識を有するため、一般ユーザが測色装置を購入してキャリブレーションを行うことは非常に困難である。特許文献1には、測色装置を用いずに、撮像された画像データからディスプレイのキャリブレーションを行う方法が開示されている。特許文献2には、ディスプレイに光センサを設け、光センサの検出値に基づいて表示信号の輝度を補正する方法が開示されている。
However, the color measuring device is generally expensive, and has specialized knowledge to generate a color profile. Therefore, it is very difficult for a general user to purchase and calibrate the color measuring device.
しかしながら、特許文献1に開示された技術では、キャリブレーションを行う際に色の特性を取得するためのカラーチャートを表示させる必要があるため、観視中の投影信号を切り替えなければならず、ユーザの観視の妨げになる。なお、特許文献1に開示された技術により、観視する前にキャリブレーションを実施しておけば、その時点での色補正は行えるが、観視している間に変化する投影色の変動を補正することはできない。特許文献2に開示された技術は、センサを設置した固定箇所における検出値に基づいて投影色を補正するものである。即ち、特許文献2に開示された技術は、投影された画像に使用される色全体の変動を補正するものではなく、投影された画像に使用される色に合わせた正確なキャリブレーションを行うことはできない。
However, in the technique disclosed in
そこで、本発明の目的は、正確なキャリブレーションを行うことを可能とすることにある。 Therefore, an object of the present invention is to enable accurate calibration.
本発明の画像処理装置は、スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、前記画像に対応する投影信号のソース信号を取得する取得手段と、前記取得手段により取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成手段と、前記生成手段により生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新手段と、前記更新手段により更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換手段とを有することを特徴とする。 The image processing apparatus of the present invention obtains image data generated by photographing an image projected on the screen by the photographing unit, and obtains a source signal of a projection signal corresponding to the image; Based on the image data and the source signal acquired by the acquisition unit, a generation unit that generates correspondence information indicating a correspondence relationship between the color value of the image data and the color value of the source signal, and the generation unit An update unit that updates a color profile for converting a source signal into a projection signal based on the correspondence information, and a conversion that converts the source signal into a projection signal based on the color profile updated by the update unit. Means.
本発明によれば、正確なキャリブレーションを行うことが可能となる。 According to the present invention, accurate calibration can be performed.
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。 DESCRIPTION OF EXEMPLARY EMBODIMENTS Hereinafter, preferred embodiments to which the invention is applied will be described in detail with reference to the accompanying drawings.
図1は、本発明の実施形態に係る画像処理システムの構成を示す図である。図1において、101は、情報処理装置である。102は、撮影装置である。111は、プロジェクタである。情報処理装置101は、プロジェクタ111に対して投影信号を出力し、プロジェクタ111は、情報処理装置101から入力した投影信号に基づいて、スクリーンに対して画像を投影する。撮影装置102は、プロジェクタ111により投影された画像を撮影し、撮影処理により得られた画像データを情報処理装置101に対して出力する。情報処理装置101は、撮影装置102による撮影処理により得られた画像データと、投影信号の元となるソース信号とを取得し、ソース信号を投影信号に変換するためのカラープロファイルを生成する。次に、情報処理装置101は、生成したカラープロファイルに基づいて変換した投影信号をプロジェクタ111に対して出力する。本実施形態では、撮影装置102は、プロジェクタ111により投影される画像を常時撮影する。そして、撮影装置102の撮影処理により得られた画像データに基づいてカラープロファイルが随時更新される。
FIG. 1 is a diagram showing a configuration of an image processing system according to an embodiment of the present invention. In FIG. 1,
図2は、情報処理装置101の機能的な構成を示す図である。図2に示すように、情報処理装置101は、撮影画像データ取得部1011、対応関係生成部1012、補正パラメータ生成部1013、カラープロファイル保持部1014、出力部1015、ソース信号取得部1016及びカラープロファイル更新部1017を備える。なお、図2の1011〜1013及び1015〜1017は、情報処理装置101内において、CPUがROMやハードディスク等から必要なプログラム及びデータを読み出して実行することにより実現する機能的な構成である。また、カラープロファイル保持部1014は、例えばRAMの一部記憶領域に相当する構成である。さらに、情報処理装置101は、バッファメモリを備える。このバッファメモリは、画像処理で用いられる各種データを格納する読み出し専用記憶装置(ROM)として機能するとともに、計算処理時にCPUが一時的な読み書きを行う記憶装置(RAM)として機能する。なお、本実施形態における情報処理装置101のハードウェア構成は、コンピュータ等の公知の技術によって構成可能であるため、ハードウェアの詳細な説明は省略する。
FIG. 2 is a diagram illustrating a functional configuration of the
撮影装置102は、プロジェクタ111により投影された画像を撮影する。撮影画像データ取得部1011は、撮影装置102の撮影処理により得られた画像データ(以下、撮影画像データと称す)を取得する。ソース信号取得部1016は、プロジェクタ111により投影された画像の元となるソース信号を取得する。対応関係生成部1012は、撮影画像データ取得部1011により取得された撮影画像データと、ソース信号取得部1016により取得されたソース信号との対応関係を示す対応関係情報を生成する。
The
補正パラメータ生成部1013は、カラープロファイルを更新するための補正パラメータを生成する。カラープロファイル保持部1014は、カラープロファイルを保持する。出力部1015は、プロジェクタ111で投影される画像に対応する投影信号を出力する。ソース信号取得部1016は、プロジェクタ111に対して出力される投影信号のソース信号を取得する。カラープロファイル更新部1017は、カラープロファイル保持部1014に保持されているカラープロファイルを更新する。出力部1015は、更新されたカラープロファイルを用いてソース信号を投影信号に変換し、プロジェクタ111に出力する。情報処理装置101は、上記一連の処理を繰り返すことにより、プロジェクタ111により投影される画像の変動を随時補正する。
The correction
次に、図3を参照しながら、情報処理装置101の処理について説明する。なお、図3に示す処理は、情報処理装置101内において、CPUがROMやハードディスク等から必要なデータ及びプログラムを読み出して実行することにより実現する処理である。
Next, processing of the
ステップS1において、撮影画像データ取得部1011は、通信回線を介して撮影装置102から撮影画像データを取得する。この撮影画像データは、プロジェクタ111により投影された画像を撮影装置102が撮影することにより生成された画像データである。なお、上記通信回線は、有線通信回線でもよいし、無線通信回線でもよい。
In step S1, the captured image
ステップS2において、ソース信号取得部1016は、プロジェクタ111に投影された画像に対応する投影信号のソース信号を1フレーム分取得する。なお、本実施形態では、ソース信号としてR(赤)、G(緑)及びB(青)の各8ビットの信号値を使用するが、他のビット数の信号値を使用してもよい。
In step S <b> 2, the source signal acquisition unit 1016 acquires one frame of the source signal of the projection signal corresponding to the image projected on the
ステップS3において、対応関係生成部1012は、ステップS1で取得された撮影画像データの画素値RiGiBi値と、ステップS2で取得されたソース信号の画素値RsGsBs値との対応関係を示す対応関係情報を生成する。対応関係を生成する際には、撮影画像データの画素値RiGiBi値とソース信号の画素値RsGsBs値間の解像度の違いや位置ずれ、及び、撮影画像データのノイズの影響によって、特に、高周波領域に位置する画素値間において正確な対応付けが難しい。このため、対応関係生成部1012は、所定のフィルタ処理や領域分割処理等の前処理を実施した後、ソース信号及び撮影画像データの部分領域における代表的な色値を抽出する処理を行う。これにより、対応関係生成部1012は、図4に示すように、ソース信号及び撮影画像データの各部分領域(No.1、No.2、No3・・・No.901、No902)について代表的な色値がテーブル形式で格納される対応関係情報を生成する。なお、対応関係生成部1012における処理の詳細については、後述する。
In step S3, the
ステップS4において、補正パラメータ生成部1013は、対応関係生成部1012で生成された対応関係情報に基づいて、カラープロファイルを更新するための補正パラメータを生成する。本実施形態では、補正パラメータとして、次の式(1)に示すような3×4の行列係数を対応関係情報から最小二乗法によって算出するが、補正パラメータとして他の係数を用いてもよい。
In step S4, the correction
ステップS5において、カラープロファイル更新部1017は、カラープロファイルを更新するか否かを判定する。本実施形態では、情報処理装置101に内蔵されたタイマにより計時される時間が5分を経過したか否かを判定する。5分を経過した場合、カラープロファイル更新部1017は、撮影装置102から撮影画像データを取得し、カラープロファイルの更新処理を行う。なお、計時する時間は5分に限らず、任意の時間でよい。また、撮影装置102で撮影し続けて、撮影画像データのフレーム毎にカラープロファイルを更新してもよいし、フレーム間の撮影画像データを解析し、フレーム間の撮影画像データの変化に基づいてカラープロファイルを更新してもよい。
In step S5, the color
ステップS6において、カラープロファイル更新部1017は、ステップS4で生成された補正パラメータを用いてカラープロファイルを更新する。カラープロファイル保持部1014は、カラープロファイル更新部1017により更新されたカラープロファイルを保持する。なお、カラープロファイル更新部1017における処理の詳細は後述する。
In step S6, the color
ステップS7において、出力部1015は、更新されたカラープロファイルを用いてソース信号を投影信号に変換し、変換した投影信号をプロジェクタ111に出力する。プロジェクタ111は、出力部1015から入力した投影信号に基づいて投影を行う。
In step S <b> 7, the
次に、図5を参照しながら、対応関係生成部1012によるステップS3の処理について詳細に説明する。撮影画像データには、プロジェクタ111により投影された画像以外の色も含まれる。従って、ステップS31において、対応関係生成部1012は、当該撮影画像データから、プロジェクタ111により投影された画像に該当する領域(以下、投影領域と称す)の画像データを抽出する。なお、本実施形態では、投影領域の抽出処理は、次のようにして行われる。即ち、予め定められた位置、又は、設定に基づいて定められた位置に、撮影装置102とプロジェクタ111とを設置し、撮影画像データ上における予め定められた座標から画像データが抽出される。例えば、画素数5760×3840で記録された撮影画像データから、左上座標(500,300)、左下座標(500,3540)、右上座標(5260,300)、右下座標(5260,3540)で囲まれる領域に該当する画像データが抽出される。なお、撮影装置102とプロジェクタ111との位置決めを行わず、画像認識技術を用いて撮影画像データから投影領域を検出して、投影領域に該当する画像データを抽出するようにしてもよい。本発明では、プロジェクタ111の投影領域に該当する画像データを撮影画像データから正確に抽出することができれば、その方法は問わない。
Next, the processing in step S3 by the
ステップS32において、対応関係生成部1012は、ソース信号の解像度に合わせて、ステップS31で抽出した投影領域の撮影画像データをアフィン変換する。なお、本実施形態では、ソース信号として画素数4096×2160の画像データを利用し、この解像度と一致するように、投影領域の撮影画像データをアフィン変換する。補正後の座標において画素の隙間が生じる場合には、4近傍画素を用いてバイリニア補間で画素値を決定してもよいし、さらに参照画素を増やしてバイキュービック補間等の補間処理を行ってもよいことはいうまでもない。また、アフィン変換の前処理として、撮影画像データの歪みを補正するためのパース補正を実施してもよい。
In step S32, the
ステップS33において、対応関係生成部1012は、ソース信号、及び、ステップS32でアフィン変換した撮影画像データに対してローパスフィルタ処理を施す。これにより、ソース信号と撮影画像データ間の位置ずれ、及び、撮影画像データ中のノイズに起因する対応付けの精度低下を抑制することができる。
In step S33, the
ステップS34において、対応関係生成部1012は、ステップS33でローパスフィルタ処理が施されたソース信号及び撮影画像データから、補正パラメータを生成するために必要な色値を抽出する。なお、色値抽出処理の詳細は後述する。
In step S34, the
ステップS35において、対応関係生成部1012は、ステップS34で抽出した色値に基づいて対応関係情報を生成する。生成された対応関係情報は、情報処理装置101内のバッファメモリにおいて保存される。
In step S35, the
次に、図6を参照しながら、図5のステップS34における色値抽出処理について詳細に説明する。ステップS340において、対応関係生成部1012は、ステップS33でローパスフィルタ処理が施された投影領域の撮影画像データを複数の領域に分割する。本実施形態では、分割単位を縦100ピクセル及び横100ピクセルとし、4096×2160の画像データを41×22の領域に分割する。なお、縦100ピクセル又は横100ピクセルを満たさない場合、縦又は横が100ピクセル未満の領域で分割される。また、本実施形態では、分割単位を100ピクセルとしているが、それ以外のピクセル数を分割単位としてもよい。なお、以下では、ステップS340の分割処理により生成された領域を、分割領域と称す。
Next, the color value extraction process in step S34 in FIG. 5 will be described in detail with reference to FIG. In step S340, the
ステップS341において、対応関係生成部1012は、ステップS340の分割処理により生成された分割領域のうちの何れか一つの分割領域を選択する。ステップS342において、対応関係生成部1012は、画素値抽出範囲の初期値を設定する。本実施形態では、画素値抽出範囲の初期値として、分割領域と同じ縦100ピクセル及び横100ピクセルとするが、他のピクセル数を初期値として設定してもよい。
In step S341, the
ステップS343において、対応関係生成部1012は、分割領域の画素値抽出範囲から全ての画素値を抽出し、抽出した画素値の標準偏差を算出する。本実施形態では、分割領域内の色のばらつきとして標準偏差を用いるが、分散等の他の統計量を用いてもよい。
In step S343, the
ステップS344において、対応関係生成部1012は、ステップS343で算出した標準偏差が閾値未満であるか否かを判定する。標準偏差が閾値未満である場合、処理はステップS346に移行する。標準偏差が閾値以上である場合、処理はステップS345に移行する。
In step S344, the
ステップS345において、対応関係生成部1012は、分割領域の中央を基準に画素値抽出範囲を1画素分狭くする。そして、処理はステップS343に戻る。本実施形態では、分割領域の中央を基準にして画素値抽出範囲を調整しているが、分割領域の左上隅や右下隅を基準にして画素値抽出範囲を調整してもよい。また、本実施形態では、1画素分ずつ画素値抽出範囲を調整しているが、任意の画素分ずつ画素値抽出範囲を調整してもよい。
In step S345, the
ステップS346において、対応関係生成部1012は、画素値抽出範囲内の画素値の平均値を算出する。ステップS347において、対応関係生成部1012は、画素値抽出範囲に対応するソース信号の領域内の画素値の平均値を算出する。
In step S346, the
ステップS348において、対応関係生成部1012は、ステップS346及びS347で算出した平均値を色値として情報処理装置101内のバッファメモリに保存する。ステップS349において、対応関係生成部1012は、全ての分割領域について色値が算出されたか否かを判定する。全ての分割領域について色値が算出された場合、処理は終了する。一方、未だ色値が算出されていない分割領域が存在する場合、処理はステップS342に戻る。
In step S348, the
次に、図7を参照しながら、図3のステップS6におけるカラープロファイル更新部1017の処理について詳細に説明する。
Next, the processing of the color
ステップS61において、カラープロファイル更新部1017は、情報処理装置101内のバッファメモリから目標色再現データを取得する。ここでいう目標色再現データとは、プロジェクタ111に投影すべきターゲット色が記述されたデータである。より具体的には、目標色再現データは、図8(a)に示すように、所定のソース信号(No1、No2、No3・・・No.728、No729)に対応する画像を投影した際の撮影画像データの信号値RtGtBtが記述されたファイルである。
In step S <b> 61, the color
本実施形態では、所定のソース信号としてRGB各9グリッドの均等格子点に並んだ729色の信号値を用いる。そして、本実施形態では、図8(b)に示すように、この信号値を表す画像チャート801をプロジェクタ111により投影し、予め画像チャート801を撮影装置102により撮影する。そして、撮影された画像データが示す信号値RtGtBtを目標色再現データとして事前にバッファメモリに保存しておくものとする。
In the present embodiment, signal values of 729 colors arranged at equal grid points of 9 grids of RGB are used as the predetermined source signal. In the present embodiment, as shown in FIG. 8B, an
ステップS62において、カラープロファイル更新部1017は、ステップS4で生成された補正パラメータである行列係数を用いて、対象色再現データを算出する。対象色再現データは、RGB各9グリッドの均等格子点に並ぶ信号値を行列係数により変換することで算出され、現状の再現色を示す対象色信号値RdGdBdとしてバッファメモリに保存される。
In step S62, the color
ステップS63において、カラープロファイル更新部1017は、ステップS61で取得した目標色再現データ、及び、ステップS62で算出した対象色再現データを用いて、カラープロファイルを生成する。ここでカラープロファイルには、ソース信号のRGB値とそれに対応する出力RGB値とがルックアップテーブル(LUT)の形式で記述される。このLUTを用いることにより、下記の式(2)によりソース信号が所望の出力値へと変換される。なお、下式で*は、LUTによる色変換を表す。
C_out_tgt = LUT_org * C_s・・・式(2)
C_s:ソース信号
LUT_org:初期のカラープロファイル
C_out_tgt:目標色を再現するカラープロファイル変換後の出力値
In step S63, the color
C_out_tgt = LUT_org * C_s (2)
C_s: Source signal
LUT_org: Initial color profile
C_out_tgt: Output value after color profile conversion that reproduces the target color
ここで、経時変化等で色がずれた場合の信号の入出力関係を式(3)のように表す。
C_out_dst = G * LUT_org * C_s・・・式(3)
G:色の変動
C_out_dst:ソース信号が入力されたときの出力値
Here, the input / output relationship of the signal when the color is shifted due to a change with time or the like is expressed as in Expression (3).
C_out_dst = G * LUT_org * C_s (3)
G: Color variation
C_out_dst: Output value when the source signal is input
本実施形態では、色の変動が生じた際に目標色を再現するC_out_tgtを出力するためのカラープロファイルLUT_dst(G!*LUT_org)を新たに生成し、更新することでキャリブレーションを行う。ステップS63において、カラープロファイル更新部1017は、S61におけるソース信号と目標色信号値との対応関係と、S62で算出したソース信号と現状の再現色を示す対象色信号値との対応関係を用いて、目標色信号値を再現するRGB値を対象色信号値から探索することにより、LUT_dstを生成する。
In this embodiment, calibration is performed by newly generating and updating a color profile LUT_dst (G! * LUT_org) for outputting C_out_tgt that reproduces a target color when a color change occurs. In step S63, the color
なお、本実施形態では、上記探索をする空間としてRGBの色空間を用いるが、RGBの色空間を人間の視覚により一致するLab色空間等の視覚均等色空間に変換し、当該色空間上で探索してもよい。Lab色空間を用いることにより、例えば色域境界に分布する色が変動し、ターゲット色を現状のプロジェクタの投影色域で再現できない場合において、人間の見た目の色で最も近い色でターゲット色を再現することができる。なお、RGB色空間からLab色空間への変換は、sRGBやAdobeRGB等の変換式を用いてXYZ値への変換を行い、さらにCIE1976変換式を用いることで変換することができる。また、本実施形態では、CIE1976変換式を用いるが、CIECAM02等の他の変換式を用いてもよい。さらに、本実施形態では、カラープロファイルとしてLUTを用いた変換を行うが、変換特性を関数で数式化し、カラープロファイルに関数を記述して変換してもよいことはいうまでもない。 In this embodiment, an RGB color space is used as the search space. However, the RGB color space is converted into a visual uniform color space such as a Lab color space that matches human vision, and the color space is converted into the color space. You may search. By using the Lab color space, for example, when the color distributed at the color gamut boundary fluctuates and the target color cannot be reproduced in the projection color gamut of the current projector, the target color is reproduced with the closest color to the human appearance. can do. Note that the conversion from the RGB color space to the Lab color space can be performed by performing conversion to XYZ values using conversion formulas such as sRGB and AdobeRGB, and further using the CIE1976 conversion formula. In this embodiment, the CIE 1976 conversion formula is used, but other conversion formulas such as CIECAM02 may be used. Furthermore, in this embodiment, conversion using an LUT is performed as a color profile, but it goes without saying that conversion characteristics may be expressed by a function and the function described in the color profile for conversion.
ステップS64において、カラープロファイル更新部1017は、ステップS63で生成したカラープロファイルで、カラープロファイル保持部1014に保存されているカラープロファイルを上書きすることにより、カラープロファイルを更新する。
In step S64, the color
以上のように、本実施形態によれば、カラーチャートを用いずに実際に見ている画像の投影信号を常時センシングしてキャリブレーションを行うことにより、ユーザの負担をかけずに正確なキャリブレーションを行うことができる。 As described above, according to the present embodiment, accurate calibration can be performed without burdening the user by performing calibration by always sensing the projection signal of the image actually viewed without using a color chart. It can be performed.
次に、本発明の第2の実施形態について説明する。第1の実施形態では、1フレーム分のソース信号と撮影画像データとから補正パラメータを生成するための対応関係情報を生成した。これに対し、第2の実施形態では、複数のフレーム分のソース信号と撮影画像データとから対応関係情報を生成する方法について説明する。なお、第2の実施形態に係る画像処理システムの構成は、図1及び図2に示した第1の実施形態に係る画像処理システムの構成と同様であるため、以下の説明においても、図1及び図2に示した符号を用いるものとする。また、第2の実施形態は、図3のステップS3における対応関係生成部1012の処理が第1の実施形態と相違し、他は第1の実施形態と共通の処理を行うため、以下、第2の実施形態における図3のステップS3における処理についてのみ説明する。
Next, a second embodiment of the present invention will be described. In the first embodiment, correspondence information for generating a correction parameter is generated from a source signal for one frame and captured image data. On the other hand, in the second embodiment, a method for generating correspondence information from source signals and captured image data for a plurality of frames will be described. Note that the configuration of the image processing system according to the second embodiment is the same as the configuration of the image processing system according to the first embodiment shown in FIGS. 1 and 2. The reference numerals shown in FIG. 2 are used. In the second embodiment, the processing of the
以下、図9を参照しながら、第2の実施形態における対応関係生成部1012の処理について説明する。ステップS81において、対応関係生成部1012は、撮影画像データ取得部1011から1フレーム分の撮影画像データを取得するとともに、ソース信号取得部1016から1フレーム分のソース信号を取得する。ステップS82において、対応関係生成部1012は、30フレーム分の撮影画像データ及びソース信号を取得したか否かを判定する。30フレーム分の撮影画像データ及びソース信号を取得した場合、処理はステップS83に移行する。一方、30フレーム分の撮影画像データ及びソース信号を取得していない場合、処理はステップS81に戻る。上述したように、本実施形態では、30フレーム分の撮影画像データ及びソース信号を取得するものとするが、このフレーム数に限定されるものではない。
Hereinafter, the processing of the
ステップS83において、対応関係生成部1012は、30フレーム分の撮影画像データ夫々から、プロジェクタ111による投影領域の画像データを抽出する。ステップS84において、対応関係生成部1012は、ステップS83で抽出された各投影領域の撮影画像データを、当該撮影画像データに対応するソース信号の解像度に合わせてアフィン変換する。
In step S83, the
ステップS85において、対応関係生成部1012は、ソース信号、及び、ステップS84で変換したアフィン変換した撮影画像データに対してローパスフィルタ処理を施す。これにより、ソース信号と撮影画像データ間の位置ずれ、及び、撮影画像データ中のノイズに起因する対応付けの精度低下を抑制することができる。
In step S85, the
ステップS86において、対応関係生成部1012は、ステップS85でローパスフィルタ処理が施された両画像データから、補正パラメータを作成するために必要な色値を抽出する。なお、色値抽出処理の詳細は後述する。ステップS87において、対応関係生成部1012は、S86で抽出した色値に基づいて対応関係情報を生成する。生成された対応関係情報は、情報処理装置101内のバッファメモリにおいて保存される。
In step S86, the
次に、図10を参照しながら、図9のステップS86における色値抽出処理について詳細に説明する。ステップS860において、対応関係生成部1012は、30フレームの撮影画像データ夫々について、ステップS85でローパスフィルタ処理が施された投影領域の撮影画像データを複数の領域に分割する。本実施形態では、分割単位を縦100ピクセル及び横100ピクセルとし、4096×2160の画像データを41×22の領域に分割する。縦100ピクセル又は横100ピクセルを満たさない場合、縦又は横が100ピクセル未満の領域で分割される。また、本実施形態では、分割単位を100ピクセルとしているが、それ以外のピクセル数を分割単位としてもよい。なお、30フレームの撮影画像データ間における領域分割方法は同一である。
Next, the color value extraction process in step S86 of FIG. 9 will be described in detail with reference to FIG. In step S860, the
ステップS861において、対応関係生成部1012は、ステップS960で分割された領域のうちの何れか一つの領域(以下、分割領域と称す)を選択する。なお、ここで選択される分割領域は、30フレームの撮影画像データ間において対応する位置の領域である。
In step S861, the
ステップS862において、対応関係生成部1012は、各フレームについて、ステップS861で選択された分割領域の画素値の平均値を算出する。ステップS863において、対応関係生成部1012は、フレーム間における当該分割領域の画素値の平均値を用いて、フレーム間における当該分割領域の画素値の標準偏差を算出する。本実施形態では、フレーム間における色のばらつきの指標として標準偏差を用いるが、分散等の他の統計量を用いてもよい。
In step S862, the
ステップS864において、対応関係生成部1012は、ステップS863で算出した標準偏差が閾値未満であるか否かを判定する。標準偏差が閾値未満である場合、処理はステップS865に移行する。一方、標準偏差が閾値以上である場合、処理はステップS867に移行する。
In step S864, the
ステップS865において、対応関係生成部1012は、フレーム間における当該分割領域の画素値の平均値を算出し、算出した平均値を色値としてバッファメモリに保存する。ステップS866において、対応関係生成部1012は、当該分割領域に対応する領域のソース信号を用いて、フレーム間におけるソース信号の画素値の平均値を算出し、算出した平均値を色値としてバッファメモリに保存する。
In step S865, the
ステップS867において、対応関係生成部1012は、全ての分割領域について色値を算出したか否かを判定する。全ての分割領域について色値が算出された場合、処理は終了する。一方、未だ色値が算出されていない分割領域が存在する場合、処理はステップS862に戻る。
In step S867, the
以上のように、第2の実施形態においては、複数のフレーム分のソース信号と撮影画像データとから対応関係情報を生成している。これにより、ソース信号及び撮影画像データを取得する際に同期が上手く取れない場合や、撮影画像データにノイズが含まれた場合においても、精度よくキャリブレーションを実施することができる。 As described above, in the second embodiment, correspondence information is generated from a plurality of frames of source signals and captured image data. As a result, calibration can be performed with high accuracy even when synchronization cannot be obtained when acquiring the source signal and the captured image data, or when noise is included in the captured image data.
対応関係生成部における処理において、第1及び第2の実施形態では、領域分割を行って色値を抽出する際に撮影画像データを基準に参照する座標をまず決定したが、ソース信号を基準に参照する座標を決定してもよい。また、第1の実施形態では、フレームの画像データ内の色の情報から、第2の実施形態では、フレーム画像データ間の色の情報からそれぞれ対応関係を生成したが、フレーム画像データ内とフレーム画像データ間の情報を組み合わせて対応関係を生成してもよい。 In the processing in the correspondence generation unit, in the first and second embodiments, when the color value is extracted by performing region division, the coordinates to be referred to based on the captured image data are first determined. You may determine the coordinate to refer. In the first embodiment, the correspondence is generated from the color information in the frame image data, and in the second embodiment, the correspondence is generated from the color information between the frame image data. A correspondence relationship may be generated by combining information between image data.
なお、上述した実施形態では、色値を算出する際に、撮影画像データ上の座標を基準にして色値を算出したが、ソース信号上の座標を基準にして色値を算出するようにしてもよい。また、第1の実施形態では、1フレーム分のソース信号と撮影画像データとから対応関係情報を生成し、第2の実施形態では、複数のフレーム分のソース信号と撮影画像データとから対応関係情報を生成しているが、本発明はこれに限らない。即ち、第1の実施形態の対応関係情報の生成方法と第2の実施形態の対応関係情報の生成方法とを組み合わせてもよい。 In the above-described embodiment, when the color value is calculated, the color value is calculated based on the coordinates on the captured image data. However, the color value is calculated based on the coordinates on the source signal. Also good. In the first embodiment, correspondence information is generated from the source signal for one frame and the captured image data. In the second embodiment, the correspondence is generated from the source signal for multiple frames and the captured image data. Although the information is generated, the present invention is not limited to this. In other words, the correspondence information generation method of the first embodiment may be combined with the correspondence information generation method of the second embodiment.
また、本発明は、上述した実施形態で説明した構成に制限されず、本発明の趣旨を逸脱しない範囲で種々の変更が可能である。例えば、第1の実施形態で説明した情報処理装置101及び撮影装置102のうちの少なくとも何れか一方に相当する構成を、プロジェクタ装置111に内蔵してもよい。
The present invention is not limited to the configuration described in the above-described embodiment, and various modifications can be made without departing from the spirit of the present invention. For example, the
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。 The present invention can also be realized by executing the following processing. That is, software (program) that realizes the functions of the above-described embodiments is supplied to a system or apparatus via a network or various storage media, and a computer (or CPU, MPU, or the like) of the system or apparatus reads the program. It is a process to be executed.
101:情報処理装置、102:撮影装置、111:プロジェクタ、1011:撮影画像データ取得部、1012:対応関係生成部、1013:補正パラメータ生成部、1014:カラープロファイル保持部、1015:出力部、1016:ソース信号取得部、1017:カラープロファイル更新部 101: Information processing apparatus, 102: Imaging apparatus, 111: Projector, 1011: Captured image data acquisition unit, 1012: Correspondence relation generation unit, 1013: Correction parameter generation unit, 1014: Color profile holding unit, 1015: Output unit, 1016 : Source signal acquisition unit, 1017: Color profile update unit
Claims (5)
前記取得手段により取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成手段と、
前記生成手段により生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新手段と、
前記更新手段により更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換手段とを有することを特徴とする画像処理装置。 An acquisition unit that acquires image data generated by the imaging unit capturing an image projected on the screen, and that acquires a source signal of a projection signal corresponding to the image;
Generating means for generating correspondence information indicating a correspondence relation between the color value of the image data and the color value of the source signal based on the image data and the source signal acquired by the acquisition means;
Updating means for updating a color profile for converting a source signal into a projection signal based on the correspondence information generated by the generating means;
An image processing apparatus comprising: conversion means for converting a source signal into a projection signal based on the color profile updated by the update means.
スクリーン上に投影された画像を撮影手段が撮影することにより生成された画像データを取得するとともに、前記画像に対応する投影信号のソース信号を取得する取得ステップと、
前記取得ステップにより取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成ステップと、
前記生成ステップにより生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新ステップと、
前記更新ステップにより更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換ステップとを有することを特徴とする画像処理方法。 An image processing method executed by an image processing apparatus,
An acquisition step of acquiring image data generated by shooting an image projected on the screen by the shooting unit and acquiring a source signal of a projection signal corresponding to the image;
A generating step for generating correspondence information indicating a correspondence relationship between the color value of the image data and the color value of the source signal based on the image data and the source signal acquired in the acquisition step;
An update step of updating a color profile for converting a source signal into a projection signal based on the correspondence information generated by the generation step;
An image processing method comprising: a conversion step of converting a source signal into a projection signal based on the color profile updated in the updating step.
前記取得ステップにより取得された画像データ及びソース信号に基づいて、画像データの色値とソース信号の色値との対応関係を示す対応関係情報を生成する生成ステップと、
前記生成ステップにより生成された前記対応関係情報に基づいて、ソース信号を投影信号に変換するためのカラープロファイルを更新する更新ステップと、
前記更新ステップにより更新された前記カラープロファイルに基づいて、ソース信号を投影信号に変換する変換ステップとをコンピュータに実行させるためのプログラム。 An acquisition step of acquiring image data generated by shooting an image projected on the screen by the shooting unit and acquiring a source signal of a projection signal corresponding to the image;
A generating step for generating correspondence information indicating a correspondence relationship between the color value of the image data and the color value of the source signal based on the image data and the source signal acquired in the acquisition step;
An update step of updating a color profile for converting a source signal into a projection signal based on the correspondence information generated by the generation step;
A program for causing a computer to execute a conversion step of converting a source signal into a projection signal based on the color profile updated in the updating step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013164246A JP2015035650A (en) | 2013-08-07 | 2013-08-07 | Image processing device, image processing method and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013164246A JP2015035650A (en) | 2013-08-07 | 2013-08-07 | Image processing device, image processing method and program |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2015035650A true JP2015035650A (en) | 2015-02-19 |
Family
ID=52543905
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013164246A Pending JP2015035650A (en) | 2013-08-07 | 2013-08-07 | Image processing device, image processing method and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2015035650A (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019520721A (en) * | 2016-04-20 | 2019-07-18 | ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. | Color calibration and demonstration of digital pathology |
-
2013
- 2013-08-07 JP JP2013164246A patent/JP2015035650A/en active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019520721A (en) * | 2016-04-20 | 2019-07-18 | ライカ バイオシステムズ イメージング インコーポレイテッドLeica Biosystems Imaging, Inc. | Color calibration and demonstration of digital pathology |
US10845245B2 (en) | 2016-04-20 | 2020-11-24 | Leica Biosystems Imaging, Inc. | Digital pathology color calibration and validation |
US11614363B2 (en) | 2016-04-20 | 2023-03-28 | Leica Biosystems Imaging, Inc. | Digital pathology color calibration and validation |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5517685B2 (en) | Image processing apparatus and method | |
JP2014508475A (en) | Color calibration method for image capture device | |
JP2008092565A (en) | Color matching method and image capturing device | |
JP6520578B2 (en) | Image processing apparatus and display determination method | |
JP6376767B2 (en) | Image processing apparatus and image processing method | |
JP7327957B2 (en) | Image display system, method and program | |
JP2005189542A (en) | Display system, display program and display method | |
JP6172998B2 (en) | Image processing apparatus and image processing method | |
US9288456B2 (en) | Image processing apparatus and method | |
JPH10290373A (en) | Color correction device | |
JP5523078B2 (en) | Image processing apparatus and image processing method | |
JP2015035650A (en) | Image processing device, image processing method and program | |
JP2012120126A (en) | Image processing system and image processing method | |
JP6818585B2 (en) | Image processing device, image processing method, and program | |
JP2014219724A (en) | Image processor, method for controlling image processor, and program | |
JP2007221624A (en) | Illuminance acquisition apparatus, illuminance acquisition method and illuminance acquisition program | |
JP2001218070A (en) | Method and device for image processing | |
JP6610754B2 (en) | Image processing apparatus and display determination method | |
JP2020088709A (en) | Image processing apparatus, image processing method and program | |
JP6610755B2 (en) | Image processing apparatus and display determination method | |
JP6610756B2 (en) | Image processing apparatus and display determination method | |
JP6070396B2 (en) | Image processing apparatus, image processing method, and program | |
KR101723363B1 (en) | Apparatus and method for processing images captured by multiple cameras | |
US20240333863A1 (en) | Color matching control apparatus, control method therefor, and storage medium storing control program therefor | |
JP2021190006A (en) | Image processing device, image processing method and program |