JP2020113811A - 測色方法、画像表示方法、測色装置、画像表示装置及び画像表示システム - Google Patents

測色方法、画像表示方法、測色装置、画像表示装置及び画像表示システム Download PDF

Info

Publication number
JP2020113811A
JP2020113811A JP2019001032A JP2019001032A JP2020113811A JP 2020113811 A JP2020113811 A JP 2020113811A JP 2019001032 A JP2019001032 A JP 2019001032A JP 2019001032 A JP2019001032 A JP 2019001032A JP 2020113811 A JP2020113811 A JP 2020113811A
Authority
JP
Japan
Prior art keywords
image
unit
imaging
spectral
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019001032A
Other languages
English (en)
Other versions
JP2020113811A5 (ja
JP7326742B2 (ja
Inventor
哲雄 眞野
Tetsuo Mano
哲雄 眞野
博行 市枝
Hiroyuki Ichieda
博行 市枝
久保田 真司
Shinji Kubota
真司 久保田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2019001032A priority Critical patent/JP7326742B2/ja
Priority to CN202010009345.9A priority patent/CN111416968B/zh
Priority to US16/735,864 priority patent/US10873731B2/en
Publication of JP2020113811A publication Critical patent/JP2020113811A/ja
Priority to US17/100,075 priority patent/US11303862B2/en
Publication of JP2020113811A5 publication Critical patent/JP2020113811A5/ja
Application granted granted Critical
Publication of JP7326742B2 publication Critical patent/JP7326742B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】測色精度を向上させ、画像の補正精度を高める。【解決手段】プロジェクター100は、調整用画像を、この画像に基づいて設定される波長範囲で、分光素子302の分光波長を第1波長間隔ごとに変更しながら分光撮像部137により撮像し、撮像データを生成する撮像ステップと、撮像ステップにより生成された分光撮像データと、スペクトルの推定に用いる推定行列Mとに基づき、第1波長間隔より間隔が短い第2波長間隔ごとのスペクトルの推定値を算出する算出ステップと、算出ステップが算出したスペクトルの推定値に基づき、プロジェクター100が表示する画像の元になる画像データを補正する補正パラメーターを生成する生成ステップと、を実行する。【選択図】図1

Description

本発明は、測色方法、画像表示方法、測色装置、画像表示装置及び画像表示システムに関する。
従来、表示された画像を撮像し、撮影結果に基づき画像を補正する技術が知られている。例えば、特許文献1に開示された補正データ取得方法は、黒信号レベルのオフセット画像、任意の信号レベルの原色像、原色毎の信号レベルを変化させた階調画像を画像表示部に順次表示させる。そして、赤色、緑色及び青色の各原色に対応したバンドのフィルターを備えるキャリブレーションカメラにより、バンドを切り替えながら撮影を行う。撮影された撮影データに基づいてオフセット補正データを算出している。
特開2005−20581号公報
しかしながら、複数バンドで撮影が可能なカメラであっても、高い測色結果が得られないという課題がある。
上記課題を解決する一態様は、撮像素子及び分光素子を備える分光撮像装置により測色を行う測色方法であって、表示された画像を、前記画像に基づいて設定される波長範囲で、前記分光素子の分光波長を第1波長間隔ごとに変更しながら前記分光撮像装置により撮像し、撮像データを生成する撮像ステップと、前記撮像ステップにより生成された前記撮像データと、スペクトルの推定に用いる推定行列とに基づき、第1波長間隔より間隔が短い第2波長間隔ごとのスペクトルの推定値を算出する算出ステップと、前記算出ステップが算出した前記スペクトルの推定値に基づき、表示される画像の元になる画像データを補正する補正パラメーターを生成する生成ステップと、を備える測色方法である。
上記測色方法において、前記推定行列は、分光撮像装置が撮像した前記撮像データに基づいて算出される構成であってもよい。
上記測色方法において、前記推定行列は、表示された前記画像を、専用の測定装置により前記第2波長間隔ごとに測定して得た測定データと、前記スペクトルの推定値との二乗誤差を最小とする行列式である構成であってもよい。
上記測色方法において、前記撮像ステップは、前記分光素子が備える、互いに対向した一対の反射膜間の距離を変更して前記分光素子の分光波長を変更し、前記第1波長間隔ごとに前記撮像データを出力する構成であってもよい。
上記測色方法において、前記算出ステップは、前記撮像素子に生じる感度分布を補正する補正データにより補正した前記撮像データと、前記推定行列とに基づき前記推定値を算出する構成であってもよい。
上記課題を解決する別の一態様は、画像を表示する表示ステップと、表示された前記画像を、撮像素子及び分光素子を備える分光撮像部により撮像するステップであって、表示された前記画像に基づいて設定される波長範囲で、前記分光素子の分光波長を第1波長間隔ごとに変更しながら前記分光撮像部により撮像して、撮像データを生成する撮像ステップと、前記撮像ステップにより生成された前記撮像データと、スペクトルの推定に用いる推定行列とに基づき、前記第1波長間隔より間隔が短い第2波長間隔ごとのスペクトルの推定値を算出する算出ステップと、前記算出ステップが算出した前記スペクトルの推定値に基づき、前記表示ステップで表示させる画像の元になる画像データを補正する補正パラメーターを生成する生成ステップと、前記表示ステップで表示させる前記画像の元になる画像データを、生成した前記補正パラメーターにより補正する補正ステップと、を有し、前記補正ステップにより補正した前記画像データに基づく画像を前記表示ステップにより表示させる、画像表示方法である。
上記課題を解決する別の一態様は、撮像素子及び分光素子を備え、表示された画像を撮像して分光撮像データを出力する分光撮像部と、前記分光素子の分光波長を、表示された前記画像に基づいて設定される波長範囲内で、第1波長間隔ごとの分光波長に設定し、前記分光撮像部に撮像データを生成させる制御部と、スペクトルの推定に用いる推定行列を記憶する記憶部と、前記分光撮像部が出力した撮像データと、前記推定行列とに基づき、前記第1波長間隔よりも間隔が短い第2の波長間隔ごとのスペクトルの推定値を算出する推定値算出部と、前記推定値算出部が算出した前記推定値に基づき、画像データを補正する補正パラメーターを生成する生成部と、を備える、測色装置である。
上記課題を解決する別の一態様は、画像を表示する表示部と、撮像素子及び分光素子を備え、前記画像を撮像して分光撮像データを出力する分光撮像部と、前記分光素子の分光波長を、前記画像に基づいて設定される波長範囲内で、第1波長間隔ごとに設定し、前記分光撮像部に撮像データを生成させる制御部と、スペクトルの推定に用いる推定行列を記憶する記憶部と、前記分光撮像部が出力した撮像データと、前記推定行列とに基づき、前記第1波長間隔よりも間隔が短い第2の波長間隔ごとのスペクトルの推定値を算出する推定値算出部と、前記推定値算出部が算出した前記推定値に基づき、画像データを補正する補正パラメーターを生成する生成部と、前記生成部が生成した前記補正パラメーターにより前記画像データを補正する画像処理部と、を備える画像表示装置である。
上記課題を解決する別の一態様は、画像を表示する表示装置と、前記画像を測色する測色装置とを備え、前記測色装置は、撮像素子及び分光素子を備え、前記画像を撮像して分光撮像データを出力する分光撮像部と、前記分光素子の分光波長を、前記画像に基づいて設定される波長範囲内で、第1波長間隔ごとに設定し、前記分光撮像部に撮像データを生成させる制御部と、スペクトルの推定に用いる推定行列を記憶する記憶部と、前記分光撮像部が出力した撮像データと、前記推定行列とに基づき、前記第1波長間隔よりも間隔が短い第2波長間隔ごとのスペクトルの推定値を算出する推定値算出部と、前記推定値算出部が算出した前記推定値に基づき、画像データを補正する補正パラメーターを生成する生成部と、を備える、画像表示システムである。
上記課題を解決する別の一態様は、画像を表示する第1表示部と、第1撮像素子及び第1分光素子を備え、前記第1表示部が表示した前記画像を撮像して分光撮像データを出力する第1分光撮像部と、前記第1分光素子の分光波長を、前記第1表示部が表示した前記画像に基づいて設定される波長範囲内で、第1波長間隔ごとに設定し、前記第1分光撮像部に撮像データを生成させる第1制御部と、スペクトルの推定に用いる推定行列を記憶する第1記憶部と、前記第1分光撮像部が出力した撮像データと、前記推定行列とに基づき、前記第1波長間隔よりも間隔が短い第2の波長間隔ごとのスペクトルの推定値を算出する第1推定値算出部と、を備える第1表示装置と、画像を表示する第2表示部と、第2撮像素子及び第2分光素子を備え、前記第2表示部が表示した前記画像を撮像して分光撮像データを出力する第2分光撮像部と、前記第2分光素子の分光波長を、前記第2表示部が表示した前記画像に基づいて設定される波長範囲内で、前記第1波長間隔ごとに設定し、前記第2分光撮像部に撮像データを生成させる第2制御部と、スペクトルの推定に用いる推定行列を記憶する第2記憶部と、前記第2分光撮像部が出力した撮像データと、前記推定行列とに基づき、前記第2の波長間隔ごとのスペクトルの推定値を算出する第2推定値算出部と、を備える第2表示装置と、を有し、前記第1制御部は、前記第1推定値算出部が算出した前記スペクトルの推定値と、前記第2推定値算出部が算出した前記スペクトルの推定値とに基づき、前記第1表示装置が表示する画像の元となる画像データを補正する第1補正パラメーターを生成し、前記第2表示装置が表示する画像の元となる画像データを補正する第2補正パラメーターを生成する、画像表示システムである。
プロジェクターの構成を示すブロック構成図。 分光撮像部の概略構成図。 調整用画像の表示条件と測定条件とを示す図。 第1実施形態のプロジェクターの動作を示すフローチャート。 分光撮像データから得られた分光周波数ごとの光強度を示す図。 第2波長間隔ごとのスペクトルの推定値を示す図。 表示システムのシステム構成を示す図。 マスター機のプロジェクターの動作を示すフローチャート。 スレーブ機のプロジェクターの動作を示すフローチャート。 第3実施形態のシステム構成図。 測色装置の構成を示すブロック図。 第3実施形態のプロジェクターの動作を示すフローチャート。 測色装置の動作を示すフローチャート。 第4実施形態のシステム構成図。
[第1実施形態]
以下、添付図面を参照しながら実施形態について説明する。
図1は、プロジェクター100の構成を示すブロック構成図である。プロジェクター100は、本発明の「画像表示装置」の一例に対応する。プロジェクター100は、画像光を生成してスクリーンSCに投射する画像投射系、光学的な画像の元になる画像データを電気的に処理する画像処理系、スクリーンSCに表示された投射画像を撮像する分光撮像部137、これら各部を制御する制御部150を主な構成として備える。
[画像投射系]
画像投射系は、投射部110及び駆動部120を備える。投射部110は、本発明の「表示部」の一例に対応する。投射部110は、光源111、光変調装置113及び光学ユニット117を備える。駆動部120は、光源駆動回路121及び光変調装置駆動回路123を備える。光源駆動回路121及び光変調装置駆動回路123は、バス101に接続され、同じくバス101に接続されたプロジェクター100の他の構成部分と、バス101を介して相互にデータ通信を行う。他の構成部分とは、例えば、図1に示す制御部150や画像処理部143等が該当する。
光源111には、LED(Light Emitting Diode)やレーザー光源等の固体光源が用いられる。また、光源111として、ハロゲンランプ、キセノンランプ、超高圧水銀ランプ等のランプを用いることも可能である。
光源111には、光源駆動回路121が接続される。光源駆動回路121は、光源111に駆動電流やパルスを供給して光源111を点灯させ、供給される駆動電流やパルスを停止して光源111を消灯させる。
光変調装置113は、光源111が発する光を変調して画像光を生成する光変調素子を備える。光変調素子には、例えば、透過型や反射型の液晶パネルや、デジタルミラーデバイス等を用いることができる。本実施形態では、光変調装置113が光変調素子として透過型の液晶パネル115を備える場合を例にして説明する。光変調装置113は、赤色、緑色、青色の3原色に対応して3つの液晶パネル115を備える。液晶パネル115により変調された光は、画像光として光学ユニット117に入射される。以下では、赤色を「R」、緑色を「G」、青色を「B」と表記する。
光変調装置113には、光変調装置駆動回路123が接続される。光変調装置駆動回路123は、光変調装置113を駆動して液晶パネル115にフレーム単位で画像を描画する。
光学ユニット117は、レンズやミラー等の光学素子を備え、光変調装置113により変調された画像光をスクリーンSCに向けて投射する。スクリーンSCには、光学ユニット117により投射された画像光に基づく画像が結像する。投射部110が投射した画像光によりスクリーンSCに結像した画像を投射画像という。
[操作入力系]
プロジェクター100は、操作パネル131、リモコン受光部133及び入力インターフェイス135を備える。入力インターフェイス135は、バス101に接続され、バス101を介して制御部150等と相互にデータ通信を行う。
操作パネル131は、例えば、プロジェクター100の筐体に配置され、各種のスイッチを備える。操作パネル131のスイッチが操作されると、入力インターフェイス135は、操作されたスイッチに対応した操作信号を制御部150に出力する。
リモコン受光部133は、リモコンにより送信される赤外線信号を受光する。リモコン受光部133は、受光した赤外線信号に対応した操作信号を出力する。入力インターフェイス135は、入力された操作信号を制御部150に出力する。この操作信号は、操作されたリモコンのスイッチに対応した信号である。
[分光撮像部]
分光撮像部137は、投射部110によりスクリーンSCに表示された投射画像を撮像して分光撮像データを出力する。
図2は、分光撮像部137の概略構成図である。分光撮像部137は、本発明の「分光撮像装置」の一例に対応する。分光撮像部137は、外界光が入射される入射光学系301、入射光を分光する分光素子302、及び分光素子302により分光された光を撮像する撮像素子303を備える。
入射光学系301は、例えば、テレセントリック光学系等により構成され、光軸と主光線とが平行又は略平行となるように入射光を分光素子302及び撮像素子303に導く。分光素子302は、互いに対向する一対の反射膜304、305と、これらの反射膜304、305の間の距離を変更可能なギャップ変更部306とを備える波長可変干渉フィルターである。ギャップ変更部306は、例えば、静電アクチュエーターにより構成される。また、波長可変干渉フィルターは、エタロンとも呼ばれる。
分光素子302は、制御部150の制御によりギャップ変更部306に印加される電圧を変更することで、反射膜304、305を透過する光の波長である分光波長λi(i=1,2,・・・,N)を変更可能である。撮像素子303は、分光素子302を透過した光を撮像する装置であり、例えば、CCDやCMOS等によって構成される。分光撮像部137は、制御部150の制御に従って分光素子302が分光する光の波長を順次切り替え、分光素子302を透過した光を撮像素子303により撮像して分光撮像データを出力する。分光撮像部137が出力した分光撮像データは、制御部150に入力される。分光撮像データは、撮像素子303を構成する画素ごとに出力されるデータであり、当該画素が受光した光の強度、すなわち光量を示すデータである。なお、分光撮像部137は、ステレオカメラであってもよいし、単眼カメラであってもよい。
[通信部]
図1に示すように、プロジェクター100は、通信部139を備える。通信部139は、バス101に接続される。通信部139は、後述する図7に示すように、複数台のプロジェクター100を接続し、プロジェクター100間で相互にデータ通信を行う場合のインターフェイスとして機能する。本実施形態の通信部139は、ケーブルを接続する有線インターフェイスであるが、無線LANやBluetooth等の無線通信を実行する無線通信インターフェイスであってもよい。「Bluetooth」は、登録商標である。
[画像処理系]
次に、プロジェクター100の画像処理系について説明する。
図1に示すように、プロジェクター100は、画像処理系として画像インターフェイス141、画像処理部143及びフレームメモリー145を備える。画像処理部143は、バス101に接続され、バス101を介して制御部150等と相互にデータ通信を行う。
画像インターフェイス141は、画像信号を受信するインターフェイスであり、ケーブル3が接続されるコネクター、及びケーブル3を介して画像信号を受信するインターフェイス回路を備える。画像インターフェイス141は、受信した画像信号から画像データや同期信号を取り出し、取り出した画像データ及び同期信号を画像処理部143に出力する。また、画像インターフェイス141は、制御部150に同期信号を出力する。制御部150は、同期信号に同期してプロジェクター100の他の構成部分を制御する。画像処理部143は、同期信号に同期して画像データに画像処理を行う。
画像インターフェイス141には、画像供給装置200がケーブル3を介して接続される。画像供給装置200は、例えば、ノート型PC(Personal Computer)、デスクトップ型PC、タブレット端末、スマートフォン、PDA(Personal Digital Assistant)を用いることができる。また、画像供給装置200は、ビデオ再生装置、DVDプレーヤー、ブルーレイディスクプレーヤー等であってもよい。また、画像インターフェイス141に入力される画像信号は、動画像であっても静止画像であってもよく、データのフォーマットは任意である。
画像処理部143及びフレームメモリー145は、例えば、集積回路により構成される。集積回路には、LSI(Large−Scale Integrated Circuit)、ASIC(Application Specific Integrated Circuit)、PLD(Programmable Logic Device)、FPGA(Field−Programmable Gate Array)、SoC(System−on−a−chip)等が含まれる。また、集積回路の構成の一部にアナログ回路が含まれてもよい。
画像処理部143は、フレームメモリー145に接続される。画像処理部143は、画像インターフェイス141から入力された画像データをフレームメモリー145に展開し、展開した画像データに対して画像処理を行う。
画像処理部143は、例えば、投射画像の台形歪みを補正する幾何補正処理、OSD(On Screen Display)画像を重畳するOSD処理等を含む各種処理を実行する。また、画像処理部143は、画像データの輝度や色合いを調整する画像調整処理や、画像データのアスペクト比や解像度を光変調装置113に合わせて調整する解像度変換処、フレームレート変換等の画像処理を実行する。
画像処理部143は、画像処理を終えた画像データを光変調装置駆動回路123に出力する。光変調装置駆動回路123は、画像処理部143から入力される画像データに基づいて赤、緑及び青の色ごとに駆動信号を生成する。光変調装置駆動回路123は、生成した各色の駆動信号に基づいて光変調装置113の対応する色の液晶パネル115を駆動し、各色の液晶パネル115に画像を描画する。光源111から射出された光が液晶パネル115を通過することで、画像データの画像に対応した画像光が生成される。
[制御部/記憶部]
制御部150は、記憶部160及びプロセッサー170を備える。
記憶部160は、例えば、フラッシュメモリー、EEPROM等の不揮発性の半導体メモリーや、フラッシュメモリーを利用したSSD(Solid State Drive)により構成される。本実施形態では、制御部150が記憶部160を備える場合を説明するが、例えば、ハードディスクドライブにより構成される記憶部160を、制御部150の外部に設けた構成であってもよい。記憶部160は、制御プログラム161、調整用画像データ162やパターン画像データ163等の画像データ、設定データ164、パラメーター165及び校正データ167を記憶する。制御部150及び分光撮像部137は、本発明の「測色装置」の一例に対応する。
制御プログラム161は、プロセッサー170が実行するOS(Oprating System)や、アプリケーションプログラム等のプログラムである。
設定データ164は、プロセッサー170が実行する各種処理の処理条件を設定したデータである。パラメーター165は、例えば、画像処理部143に実行させる画像処理のパラメーターである。
記憶部160が記憶する画像データは、プロジェクター100がスクリーンSCに表示する画像の元になるデータであり、例えば、パターン画像データ163や、調整用画像データ162が含まれる。パターン画像データ163は、後述する射影変換行列167bを生成するときに使用される画像データであり、所定形状のマークがパターン画像データ163の四隅に配置された画像データである。調整用画像データ162は、R、G及びBの各色の単色の画像データである。記憶部160は、異なる複数の階調の調整用画像データ162を記憶する。R、G及びBの各色の調整用画像データ162は、同一の階調で用意されている。また、調整用画像データ162として、黒色及び白色の調整用画像データ162を用意してもよい。この場合、白色の調整用画像データ162は、R、G及びBの調整用画像データ162と同じ階調で用意し、黒色の調整用画像データ162は1階調で用意する。
校正データ167には、補正データ167a、射影変換行列167b及び推定行列Mが含まれる。
補正データ167aは、撮像素子303の感度分布を補正し、撮像素子303の出力が均一になるように分光撮像データを補正するデータである。
撮像素子303は、入射光学系301に含まれるレンズのレンズ収差等の影響により、撮像素子303を構成する各画素の出力が均一とはならず、画素の位置によって異なる。つまり、撮像素子303には感度分布が生じる。この感度分布は、撮像素子303の中心よりも周辺部分において出力が低下する。このため、分光撮像部137により撮像した分光撮像データに基づいて画像の色合いや輝度等を補正する場合、誤差の影響により正確に補正を行えない場合がある。また、分光撮像部137の感度分布は、レンズ表面にコーティングされた紫外線や、赤外線をカットする光学フィルターの影響を受ける。すなわち、分光撮像部137が撮像する画像の色によっても分光撮像部137の出力が異なる。
補正データ167aは、プロジェクター100の製造時に生成され、また、撮像素子303の画素ごとに生成される。また、補正データ167aは、投射部110が投射するR、G及びBの各色光と、分光撮像部137に設定される分光波長λiとに対応して複数生成される。補正データ167aを、色光ごと、及び分光撮像部137に設定される分光波長ごとに複数生成することで、分光撮像部137の分光感度の補正精度を向上させることができる。
さらに補正データ167aは、分光撮像部137の入射光学系301の焦点距離に対応して複数生成される。入射光学系301の焦点距離に対応した補正データ167aを生成することで、分光撮像部137の入射光学系301が変更され、焦点距離が変更になっても、変更された焦点距離に対応した補正データ167aを用いて分光撮像データを補正することができる。
射影変換行列167bは、光変調装置113の液晶パネル115に設定された座標を、分光撮像データに設定された座標に変換する変換行列である。液晶パネル115は、複数の画素をマトリクス状に配置した構成を備える。液晶パネル115に設定された座標とは、このマトリクス状に配置された各々の画素を特定するための座標である。液晶パネル115に設定された座標を、以下ではパネル座標という。また、分光撮像データに設定された座標は、撮像素子303を構成する画素の各々を特定するための座標である。分光撮像データに設定された座標を、以下では撮像座標という。
推定行列Mは、スペクトルの推定に用いられる行列である。推定行列Mは、プロジェクター100の製造時に生成され、校正データ167の一部として記憶部160に記憶される。推定行列Mは、分光撮像部137が撮像した分光撮像データに基づいて生成される。光学ユニット117には光学部品が搭載され、また、光源111から射出される光を光変調装置113の液晶パネル115に導光する部品も光学部品が使用される。また、光学部品としての液晶パネル115は、液晶パネル115を構成する各画素が分光特性を有し、画素によって透過する画像光の波長に誤差が生じる。これらの光学部品の光学特性により、分光撮像部137が生成する分光撮像データの値に誤差が生じ、測色精度が低下する。このため、分光撮像部137が生成した分光撮像データと、スペクトル測定装置が測定したスペクトル測色データとに基づいて推定行列Mを算出することで、光学特性を補正可能な行列式とすることができる。スペクトル測定装置は、スペクトル測定専用の装置であり、プロジェクター100とは異なる外部の装置である。推定行列Mの算出手順を以下に示す。
[制御部/記憶部/推定行列Mの算出手順]
まず、スクリーンSCに調整用画像を表示させる。制御部150は、記憶部160から調整用画像データ162を読み出して画像処理部143に出力する。また、制御部150は、画像処理部143や駆動部120を制御して投射部110に画像光を投射させ、スクリーンSCに調整用画像を表示させる。
次に、表示された調整用画像を分光撮像部137により撮像して分光撮像データを生成し、また、調整用画像のスペクトルを、スペクトル測定装置により測定してスペクトル測色データを生成する。スペクトル測定装置は、スペクトル測定専用の装置でありプロジェクター100とは異なる外部の装置である。スペクトル測色データは、このスペクトル測色データを構成する各画素のスペクトル、又は代表スペクトルにより構成される。代表スペクトルは、例えば、予め設定された画素のスペクトルであってもよいし、選択された複数の画素のスペクトルの平均値であってもよい。
次に、制御部150に、スクリーンSCに表示させる調整用画像の色や階調を変更させ、表示された調整用画像を分光撮像部137により撮像し、スペクトル測定装置により測定する。この処理を記憶部160に記憶させた調整用画像データ162のすべての色、及びすべての階調で行い、分光撮像データ及びスペクトル測定データを、予め用意された調整用画像データ162の色及び階調でそれぞれに得る。
次に、分光撮像部137が出力した分光撮像データと、スペクトル測定装置が測定したスペクトル測定データとを比較して、分光撮像データからスペクトル推定データを算出する推定行列Mを生成する。ここで、比較する分光撮像データと、スペクトル推定データとは、同一の色及び同一の階調の色光を撮像又は測定して得たデータである。
推定行列Mは、最小二乗法により算出される。スペクトル測定装置により測定したスペクトル測定データを「Y」と表記し、分光撮像部137の分光撮像データから求めたN×16のスペクトルを「X」と表記する。また、「N」は、学習数を示す。例えば、調整用画像としてR、G及びBの3色、さらに各色が7つの階調の画像を表示させ、分光撮像部137及びスペクトル測定装置により測定した場合、学習数「N」は、3×7で21となる。分光撮像部137の分光撮像データから求めたN×16のスペクトルに推定行列Mを積算して求めたスペクトル推定値「XM」と、スペクトル測定データ「Y」との二乗誤差Δが最小になるように推定行列Mの値を決定する。二乗誤差Δの算出式を式(1a)に示す。また、式(1a)の両辺を「M」を変数として偏微分した式を(1b)に示す。
Figure 2020113811
Figure 2020113811
上記式(1b)において、二乗誤差Δの最小値を「0」と仮定した場合、以下の式(2)が成立する。
Y=XXM・・・(2)
式(1b)、(2)に示す「X」は、Xの転置行列である。
また、式(2)により推定行列Mの値は、以下の式(3)となる。
M=(XX)−1Y・・・(3)
また、上述した学習数「N」の値が少ない場合、学習データでしかスペクトル推定が機能しない状態に陥ってしまう。具体的には、推定行列Mの要素の絶対値が非常に大きくなり、ノイズに対して過剰に反応してしまう。そこで、学習数「N」の値が少ない場合、上述の式(1a)に示す二乗誤差Δの算出式に正則化項「β」を導入する。正則化項「β」には、実験によって選ばれた値が使用される。正則化項「β」の導入した二乗誤差Δを式(4a)に示す。また、式(4a)の両辺を「M」を変数として偏微分した式を(4b)に示す。
Figure 2020113811
Figure 2020113811
上記式(4b)において、二乗誤差Δの最小値を「0」と仮定した場合、以下の式(5)が成立する。
Y=XXM−βM・・・(5)
従って、式(5)により推定行列Mの値は、以下の式(6)となる。
M=(XX−βI)−1Y・・・(6)
式(6)に示す「I」は、単位行列を示す。
[制御部/プロセッサー]
プロセッサー170は、例えば、CPU(Central Processing Unit)、DSP(Digital Signal Processor)、マイコン等により構成される演算処理装置である。プロセッサー170は、単一のプロセッサーにより構成してもよいし、複数のプロセッサーを組み合わせて構成してもよい。
制御部150は、プロセッサー170が制御プログラム161に従って演算処理を実行し、種々の機能を実現する。図1には、制御部150が備える複数の機能の各々に対応した機能ブロックを示す。制御部150は、機能ブロックとして、投射制御部171、撮像制御部173、推定値算出部175及び生成部177を備える。
[制御部/プロセッサー/投射制御部]
投射制御部171は、投射部110によりスクリーンSCに表示される画像の色合いや輝度等を調整する。具体的には、投射制御部171は、画像処理部143を制御して、画像インターフェイス141より入力された画像データに対する画像処理を実行させる。この際、投射制御部171は、画像処理部143が処理に必要なパラメーター165を記憶部160から読み出し画像処理部143に出力してもよい。
また、投射制御部171は、光源駆動回路121を制御して光源111の光源を点灯又は消灯させ、また、光源111の輝度を調整させる。
また、投射制御部171は、後述する画質調整の処理を開始すると、記憶部160からパターン画像データ163や、調整用画像データ162を読み出して画像処理部143に処理を実行させる。また、投射制御部171は、画像処理部143や駆動部120を制御し、パターン画像データ163に対応したパターン画像や、調整用画像データ162に対応した調整用画像をスクリーンSCに表示させる。
さらに、投射制御部171は、調整用画像データ162をスクリーンSCに表示させる場合、投射部110に投射される調整用画像の色及び階調を選択し、選択した色及び階調の調整用画像データ162を記憶部160から読み出し、画像処理部143に処理させる。
例えば、調整用画像データ162として、R,G及びBの3色が記憶部160に記憶されていると仮定する。また、各色の調整用画像データ162は、7つの階調値で調整用画像データ162が用意されていると仮定する。また、調整用画像の表示順としてR、G、Bの順番が設定され、階調値の小さい調整用画像から順に表示させると設定されていると仮定する。
投射制御部171は、まず、Rの調整用画像データ162のうち、階調値が最も小さい調整用画像データ162を記憶部160から読み出し、画像処理部143や駆動部120を制御して、読み出した調整用画像データ162に対応した調整用画像をスクリーンSCに表示させる。
表示された調整用画像を分光撮像部137に撮像させ、分光撮像データが記憶部160に記憶されると、投射制御部171は、スクリーンSCに表示させるRの調整用画像の階調値を変更する。投射制御部171は、階調値が2番目に小さいRの調整用画像データ162を記憶部160から読み出し、画像処理部143や駆動部120を制御して、読み出した調整用画像データ162に対応した調整用画像をスクリーンSCに表示させる。その後、投射制御部171は、同様の処理を繰り返し、予め用意した7つの階調値のすべてでRの調整用画像をスクリーンSCに表示させる。
Rの調整用画像を7つの階調のすべてでスクリーンSCに表示させると、投射制御部171は、スクリーンSCに表示させる調整用画像の色をRからGに変更する。投射制御部171は、Gの調整用画像データ162のうち、階調値が最も小さい調整用画像データ162を記憶部160から読み出し、画像処理部143や駆動部120を制御して、読み出した調整用画像データ162に対応した調整用画像をスクリーンSCに表示させる。表示された調整用画像を分光撮像部137に撮像させ、分光撮像データが記憶部160に記憶されると、投射制御部171は、スクリーンSCに表示させるGの調整用画像の階調値を変更する。投射制御部171は、階調値が2番目に小さいGの調整用画像データ162を記憶部160から読み出し、画像処理部143や駆動部120を制御して、読み出した調整用画像データ162に対応した調整用画像をスクリーンSCに表示させる。その後、投射制御部171は、同様の処理を繰り返し、予め用意した7つの階調値のすべてでGの調整用画像をスクリーンSCに表示させる。
投射制御部171は、Bの調整用画像についても同様に処理する。
[制御部/プロセッサー/撮像制御部]
撮像制御部173は、分光撮像部137に撮像を実行させる。分光撮像部137は、撮像制御部173の制御に従って撮像を行い、分光撮像データを出力する。
また、撮像制御部173は、スクリーンSCに表示された調整用画像を分光撮像部137に撮像させる場合に、分光撮像部137により撮像を行う波長範囲を設定する。撮像制御部173は、Rの調整用画像を分光撮像部137に撮像させる場合、例えば、620nm以上、750nm以下の範囲を、撮像を行う波長範囲に設定する。また、撮像制御部173は、Gの調整用画像を分光撮像部137に撮像させる場合、例えば、495nm以上、570nm以下の範囲を、撮像を行う波長範囲に設定する。また、撮像制御部173は、Bの調整用画像を分光撮像部137に撮像させる場合、例えば、450nm以上、495nm以下の範囲を、撮像を行う波長範囲に設定する。
さらに、撮像制御部173は、ギャップ変更部306に印加する電圧を変更して分光素子302の分光波長λiを変更する。これにより、分光撮像部137は、予め設定された第1波長間隔ごとに分光波長λiを変更しながら撮像を行う。本実施形態では、分光撮像部137が20nmの波長間隔で撮像を実行する場合について説明する。「20nm」は、本発明の「第1波長間隔」の一例に対応する。例えば、赤色の調整用画像を撮像させる場合、撮像制御部173は、620nm以上、750nm以下の波長範囲内で、20nmの間隔で分光撮像部137に撮像を実行させる。撮像制御部173は、分光撮像部137から出力される分光撮像データを入力し、入力した分光撮像データを記憶部160に一時的に記憶させる。
本実施形態では、プロジェクター100は、投射部110によるスクリーンSCに表示する調整用画像の色や階調を変更しながら、調整用画像の色に対応した測定条件を分光撮像部137に設定して、分光撮像データを生成させることができる。複数の異なる色で、第1波長間隔ごとに光の強度を測定することができる。このため、プロジェクター100は、測色の精度を高めて、効率よく、プロジェクター100が投射する画像の補正精度を高めることができる。
測色の精度を高めるためには、多数の色や階調の調整用画像を投射し、広範囲及び詳細範囲で調整用画像を測定する必要があるが、時間等を要し効率が悪化する。また、専用の測長機を使うと制御が複雑となり、さらに、効率が悪化する。
本実施形態のプロジェクター100は、投射部110と分光撮像部137を備え、投射部110により、例えば、調整用画像の色をR,G及びBの3色とし、各色において、連続して少なくとも2つの階調の調整用画像を投射させ、分光撮像部137に投射された調整用画像に対応した測定波長範囲で撮像する。
図3は、調整用画像の表示条件と測定条件とを示す図である。
本実施形態では、図3及び下記(A)〜(C)に示すように、各色の調整用画像データ162は、7つの階調値で調整用画像データ162が用意され、調整用画像の表示順としてR、G、Bの順番が設定され、階調値の小さい調整用画像から順に表示させ、投射されている調整用画像に対応した測定条件で測定される。本実施形態では、階調値が小さい画像を暗い画像、階調値が大きい画像を明るい画像とするが、階調値が小さい画像を明るい画像、階調値が大きい画像を暗い画像としてもよい。また、各階調は、各色の間で同じ階調値としてもよい。
(A)まず、調整用画像の色をRに設定し、(1)階調を階調TR1とした全赤画像IR1を投射し、赤に対応する波長範囲である620nm以上、750nm以下の範囲で測定する。また、(2)階調を階調TR2とした全赤画像IR2を投射し、赤に対応する波長範囲である620nm以上、750nm以下の範囲で測定する。また、(3)階調を階調TR3とした全赤画像IR3を投射し、赤に対応する波長範囲である620nm以上、750nm以下の範囲で測定する。また、(4)階調を階調TR4とした全赤画像IR4を投射し、赤に対応する波長範囲である620nm以上、750nm以下の範囲で測定する。また、(5)階調を階調TR5とした全赤画像IR5を投射し、赤に対応する波長範囲である620nm以上、750nm以下の範囲で測定する。また、(6)階調を階調TR6とした全赤画像IR6を投射し、赤に対応する波長範囲である620nm以上、750nm以下の範囲で測定する。また、(7)階調を階調TR7とした全赤画像IR7を投射し、赤に対応する波長範囲である620nm以上、750nm以下の範囲で測定する。
ここで、階調値は、TR1<TR2<TR3<TR4<TR5<TR6<TR7の関係にあり、画像の明るさは、IR1<IR2<IR3<IR4<IR5<IR6<IR7の関係にある。
(B)調整用画像の色をGに設定し、(1)階調を階調TG1とした全緑画像IG1を投射し、緑に対応する波長範囲である495nm以上、570nm以下の範囲で測定する。また、(2)階調を階調TG2とした全緑画像IG2を投射し、緑に対応する波長範囲である495nm以上、570nm以下の範囲で測定する。また、(3)階調を階調TG3とした全緑画像IG3を投射し、緑に対応する波長範囲である495nm以上、570nm以下の範囲で測定する。また、(4)階調を階調TG4とした全緑画像IG4を投射し、緑に対応する波長範囲である495nm以上、570nm以下の範囲で測定する。また、(5)階調を階調TG5とした全緑画像IG5を投射し、緑に対応する波長範囲である495nm以上、570nm以下の範囲で測定する。また、(6)階調を階調TG6とした全緑画像IG6を投射し、緑に対応する波長範囲である495nm以上、570nm以下の範囲で測定する。また、(7)階調を階調TG7とした全緑画像IG7を投射し、緑に対応する波長範囲である495nm以上、570nm以下の範囲で測定する。
ここで、階調値は、TG1<TG2<TG3<TG4<TG5<TG6<TG7の関係にあり、画像の明るさは、IG1<IG2<IG3<IG4<IG5<IG6<IG7の関係にある。
(C)調整用画像の色をBに設定し、(1)階調を階調TB1とした全青画像IB1を投射し、青に対応する波長範囲である450nm以上、495nm以下の範囲で測定する。また、(2)階調を階調TB2とした全青画像IB2を投射し、青に対応する波長範囲である450nm以上、495nm以下の範囲で測定する。また、(3)階調を階調TB3とした全青画像IB3を投射し、青に対応する波長範囲である450nm以上、495nm以下の範囲で測定する。また、(4)階調を階調TB4とした全青画像IB4を投射し、青に対応する波長範囲である450nm以上、495nm以下の範囲で測定する。また、(5)階調を階調TB5とした全青画像IB5を投射し、青に対応する波長範囲である450nm以上、495nm以下の範囲で測定する。また、(6)階調を階調TB6とした全青画像IB6を投射し、青に対応する波長範囲である450nm以上、495nm以下の範囲で測定する。また、(7)階調を階調TB7とした全青画像IB7を投射し、青に対応する波長範囲である450nm以上、495nm以下の範囲で測定する。
ここで、階調値は、TB1<TB2<TB3<TB4<TB5<TB6<TB7の関係にあり、画像の明るさは、IB1<IB2<IB3<IB4<IB5<IB6<IB7の関係にある。
[制御部/プロセッサー/推定値算出部]
推定値算出部175は、記憶部160から分光撮像データ及び推定行列Mを読み出し、読み出した分光撮像データと、推定行列Mとに基づき、第1波長間隔より間隔が短い第2波長間隔ごとのスペクトルの推定値を算出する。推定値算出部175は、分光撮像データから得られた波長λ成分の強度Iに、推定行列Mを積算して、第2波長間隔ごとのスペクトルの推定値を算出する。
[制御部/プロセッサー/生成部]
生成部177は、推定値算出部175が算出したスペクトルの推定値に基づき、画像処理部143が画像処理に用いる補正パラメーターを生成する。この補正パラメーターは、画像処理部143が、画像インターフェイス141から入力された画像データを処理する際に使用される。補正パラメーターの具体的な生成方法については、次の図4に示すフローチャートを参照しながら説明する。
[プロジェクターの動作]
図4は、第1実施形態のプロジェクター100の動作を示すフローチャートである。
図4のフローチャートを参照しながらプロジェクター100の動作を説明する。
制御部150は、まず、画質調整を選択する操作を受け付けたか否かを判定する(ステップS1)。制御部150は、入力インターフェイス135から入力される操作信号に基づき画質調整を選択する操作を受け付けたか否かを判定する(ステップS1)。制御部150は、画質調整を選択する操作を受け付けていない場合(ステップS1/NO)、操作を受け付けるまで動作の開始を待機する。また、制御部150は、他の処理の実行を指示する操作を受け付けた場合、受け付けた操作に対応した動作を実行してステップS1の判定に戻る。
画質調整は、スクリーンSCに表示される投射画像の画質劣化を補正し、プロジェクター100の製造時の画質に戻す調整である。例えば、光源111は、温度変化や経年劣化などによって特性が変化するため、所望の画像輝度を得られるように光量を補正する必要がある。また、プロジェクター100の画質調整には、スクリーンSCや環境照明の色味を補正して、投射画像の色あいを予め設定された色あいに補正する調整や、複数台のプロジェクター100により表示される投射画像の色合いを一致させる調整等が存在する。これらの画質調整についても以下に示す同様の手順により補正データ167aを生成することができる。
制御部150は、画質調整を選択する操作を受け付けた場合(ステップS1/YES)、まず、射影変換行列167bを算出する。射影変換行列167bは、液晶パネル115のパネル座標を分光撮像部137が生成する分光撮像データの撮像座標に変換する行列である。制御部150は、パターン画像データ163を記憶部160から読み出し、画像処理部143や駆動部120を制御してパターン画像データ163に対応したパターン画像をスクリーンSCに表示させる(ステップS2)。
次に、制御部150に、分光撮像部137を制御してパターン画像が表示されたスクリーンSCを撮像する。ここで分光撮像部137が撮像する撮像データは、分光素子302が光の波長を分光していない状態で撮像したデータであることが好ましい。分光撮像部137は、撮像データを生成し(ステップS3)、生成した撮像データを制御部150に出力する。制御部150は、入力された撮像データを記憶部160に記憶させる。
次に、制御部150は、撮像座標とパネル座標との対応づけを行う(ステップS4)。制御部150は、記憶部160から撮像データを読み出し、読み出した撮像データを解析して所定形状のマークを検出する。制御部150は、撮像データからマークを検出すると、マークの検出位置の画素と、このマークが描画された液晶パネル115の画素との対応づけを行う。すなわち、制御部150は、マークの検出位置の画素の座標と、マークが描画された液晶パネル115の画素の座標との対応づけを行う。また、制御部150は、撮像データから4つのマークを検出すると、対応づけた4つのマークの撮像座標とパネル座標とに基づいて、液晶パネル115のパネル座標を、撮像座標に変換する射影変換行列167bを求める。
このフローチャートでは、調整用画像をスクリーンSCに表示させる前に、射影変換行列167bを求める処理を行う場合について説明するが、射影変換行列167bを予め算出して記憶部160に記憶させておくものであってもよい。また、このフローチャートでは、撮像座標とパネル座標とを対応づける場合について説明したが、撮像座標を、フレームメモリー145の画素に設定した座標に対応づけるものであってもよい。
次に、制御部150は、ステップS3において撮像した撮像データの画角情報に基づいて分光撮像部137の焦点距離を決定する(ステップS5)。制御部150は、焦点距離を決定すると、決定した焦点距離に基づいて分光撮像部137の入射光学系301のレンズ位置やズーム倍率を調整する。また、分光撮像部137が複数の単焦点レンズを備える場合、制御部150は、決定した焦点距離に基づいて単焦点レンズの1つを選択する。
次に、制御部150は、調整用画像の色及び階調を選択し、選択した色及び階調の調整用画像データ162を記憶部160から読み出す。制御部150は、調整用データを記憶部160から読み出すと、画像処理部143や駆動部120を制御して調整用画像データ162に対応した調整用画像をスクリーンSCに表示させる(ステップS6)。ステップS6は、本発明の「表示ステップ」の一例に対応する。ここで、調整用画像の元となる画像光の生成に使用される光は、例えば、積分球等によって波長が均一化された均一光であることが好ましい。波長が均一化された光をスクリーンSCに投射することで、画質調整の精度を高めることができる。
次に、制御部150は、ステップS6で表示した調整用画像の色に基づいて分光撮像部137に撮像を実行させる波長範囲を決定する(ステップS7)。制御部150は、波長範囲を決定すると、分光素子302に設定する設定分光波長λiを決定した波長範囲内の最小値に設定し、分光撮像部420に撮像を実行させて分光撮像データを生成させる(ステップS8)。ステップS8は、本発明の「撮像ステップ」の一例に対応する。
次に、制御部150は、設定分光波長λiの値を、予め設定された値だけ大きな値に変更し(ステップS9)、設定分光波長λiが波長範囲を超えたか否かを判定する(ステップS10)。制御部150は、設定分光波長λiが波長範囲を超えていない場合(ステップS10/NO)、設定分光波長λiを分光素子302に設定し、分光撮像部137に撮像を実行させて分光撮像データを生成させる(ステップS8)。
また、制御部430は、設定分光波長λiが波長範囲を超えた場合(ステップS10/YES)、すべての色の調整用画像を、すべての階調でスクリーンSCに表示させ、分光撮像部137により撮像したか否かを判定する(ステップS11)。制御部150は、分光撮像部137により撮像していない階調又は色の調整用画像がある場合(ステップS11/NO)、次に表示する調整用画像の色及び階調を決定する(ステップS12)。制御部150は、調整用画像の色及び階調の少なくとも一方を変更し、変更した色及び階調を次に表示する調整用画像の色及び階調として決定する。制御部150は、決定した色及び階調の調整用画像データ162を記憶部160から読み出し、画像処理部143や駆動部120を制御して、調整用画像データ162に対応した調整用画像をスクリーンSCに表示させる。
また、制御部150は、すべての色の調整用画像を、すべての階調で表示し、分光撮像データを生成した場合(ステップS11/YES)、測色処理が完了したと判定する。制御部150は、記憶部160から分光撮像データを読み出し、読み出した分光撮像データを補正する(ステップS13)。制御部150は、まず、パネル座標の1つを選択し、選択したパネル座標に対応する撮像座標を求める。制御部150は、選択したパネル座標を、ステップS4で生成した射影変換行列167bにより撮像座標に変換する。選択したパネル座標を(xp,yp)と表記し、撮像座標を(xc,yc)と表記する。また、射影変換行列167bを「Φ」と表記する。制御部150は、以下に示す式(7)に従って、撮像座標を算出する。
(xc,yc)=Φ・(xp,yp)・・・(7)
次に、制御部150は、算出した撮像座標に対応づけられた補正データ167aを記憶部160から読み出し、読み出した補正データ167aにより分光撮像データを補正する(ステップS13)。補正データ167aにより分光撮像データを補正する式を以下の式(8)に示す。
post(xc,yc,r,λ,I)=pre(xc,yc,r,λ,I)・k(xc,yc,r,λ,coeff)・・・(8)
式(8)において、「post(xc,yc,r,λ,I)」は、分光撮像データに撮像された波長λ成分の強度Iであって、補正データ167aによる補正後の値を示す。
また、「pre(xc,yc,r,λ,I)」は、R光の調整用画像を撮像した分光撮像データの撮像座標(xc,yc)における波長λ成分の強度Iである。
また、「k(xc,yc,r,λ,coeff)」は、撮像座標(xc,yc)において、R光を撮像した分光撮像データの波長λ成分を補正する補正データ167aである。
式(8)は、R光の調整用画像を撮像した分光撮像データの波長λ成分の強度Iを補正する場合を示すが、制御部150は、R光、G光及びB光の調整用画像を撮像した分光撮像データについて、全ての波長λiで補正データ167aによる補正を行う。
次に、制御部150は、補正データ167aにより補正した分光撮像データに推定行列Mを乗算して第2波長間隔ごとのスペクトルを推定する(ステップS14)。第2波長間隔ごとのスペクトルの推定値を求める式を以下の(9)に示す。ステップS14は、本発明の「算出ステップ」の一例に対応する。
Spectral(xc,yc,λ)=M・post(xc,yc,λ)・・・(9)
式(9)において、Spectral(xc,yc,λ)は座標(xc,yc)におけるスペクトルの推定値を示す。post(xc,yc,λ)に、推定行列Mを乗算することで、例えば、1nmの波長間隔で、光の強度Iを推定した推定値を求めることができる。
図5は、分光撮像データから得られた分光周波数ごとの光強度を示す図である。図5の横軸は、波長nmを示し、縦軸は、光強度Iを示す。図5に示す黒丸が分光撮像データから得られた値を示す。図5には、20nmの分光波長間隔で撮像した分光撮像データから得られた光強度を示す。
また、図6は、制御部150が算出したスペクトルの推定値を示す図である。図6の横軸は、波長nmを示し、縦軸は、光強度Iを示す。図6には、1nmの波長間隔で得られたスペクトルの推定値を示す。
次に、制御部150は、スペクトルの推定値と、CIE1931XYZ等色関数x(λ)、y(λ)、z(λ)とに基づき、スペクトルの推定値をXYZ表色系の3刺激値X,Y,Zに変換する(ステップS15)。3刺激値X,Y,Zへの変換式を式(10a)、(10b)、及び(10c)として示す。
Figure 2020113811
Figure 2020113811
Figure 2020113811
式(10a)、(10b)及び(10c)において、X(xp,yp)、Y(xp,yp)、Z(xp,yp)、は、撮像座標(xc,yc)に対応付けられたパネル座標(xp,yp)での刺激値を示す。制御部150は、算出した3刺激値X(xp,yp)、Y(xp,yp)、Z(xp,yp)を記憶部160に記憶させる。以下、X(xp,yp),Y(xp,yp),Z(xp,yp)を総称してFin_XYZ(xp,yp)と表記する。
次に、制御部150は、液晶パネル115のすべてのパネル座標で3刺激値Fin_XYZ(xp,yp)を算出したか否かを判定する(ステップS16)。制御部150は、すべてのパネル座標で3刺激値Fin_XYZ(xp,yp)を算出していない場合(ステップS16/NO)、ステップS13に戻りパネル座標を選択し、選択したパネル座標に対応した補正データ167aにより分光撮像データを補正する。
また、制御部150は、すべてのパネル座標で3刺激値Fin_XYZ(xp,yp)を算出した場合(ステップS16/YES)、画質調整の目標値を記憶部160から取得する(ステップS17)。ここでは、スペクトル測定装置により測定されたスペクトル測色データを上述した式(10a)、(10b)及び(10c)により変換した3刺激値を目標値として使用する場合を説明する。これ以外に、前回の画質調整で求めた補正パラメーターにより調整用画像を補正し、補正した調整用画像に基づいて求めた3刺激値を画質調整の目標値に設定してもよい。すなわち、前回の画質調整で求めた補正パラメーターにより調整用画像の階調値を補正し、階調値を補正した調整用画像をスクリーンSCに表示して分光撮像部137により撮像を行い、分光撮像データを生成する。その後、上述したステップS13〜S15の手順に従って3刺激値Fin_XYZ(xp,yp)を求め、求めた3刺激値を画質調整の目標値に設定する。
次に、制御部150は、ステップS15で算出した3刺激値Fin_XYZ(xp,yp)の逆関数を求める。また、制御部150は、求めた逆関数を、ステップS17で取得した目標値に積算して、R,G,Bの色ごとの調整割合を算出する。ステップS17で取得した目標値をTarget_XYZと表記する。補正パラメーターの算出式を以下の式(11)に示す。
Coef_RGB(xp,yp)=Fin_XYZ(xp,yp)−1・Target_XYZ・・・(11)
次に、制御部150は、画像データの階調値を補正する補正データ167aを、ガンマ補正テーブルを参照して取得する。ガンマ補正テーブルは、記憶部160に記憶されたテーブルであり、画像データの階調値と、液晶パネル115の透過率とが対応づけて登録されている。制御部150は、ガンマ補正テーブルを参照して、ステップS6において調整用画像をスクリーンSCに表示させたときの液晶パネル115の透過率に対応した画像データの階調値を取得する。また、制御部150は、ガンマ補正テーブルを参照して、算出した調整割合に基づく調整後の液晶パネル115の透過率に対応した画像データの階調値を取得する。制御部150は、取得した画像データの階調値の差を、画像データを補正する補正パラメーターとして算出する(ステップS18)。補正パラメーターは、画像データを構成する各画素のRGBの比率を補正するパラメーターである。ステップS18は、本発明の「生成ステップ」の一例に対応する。
制御部150は、液晶パネル115を構成する画素を1単位として補正パラメーターを生成してもよいし、複数画素を1単位として補正パラメーターを生成してもよい。複数画素を1単位として補正パラメーターを生成する場合、補正パラメーターを生成していない画素の補正パラメーターは、例えば、直線補間による補間演算により求めてもよい。
次に、制御部150は、算出した補正パラメーターが有効なデータであるか否かを判定する(ステップS19)。例えば、制御部150は、前回の画質調整において算出した補正パラメーターと、今回、算出した補正パラメーターとの値の差を算出し、算出した値の差を、予め用意された第1しきい値及び第2しきい値と比較する。制御部150は、算出した値の差が第1しきい値よりも大きい場合、今回算出した補正パラメーターは無効であると判定する。また、制御部150は、算出した値の差が第2しきい値よりも小さい場合も、今回算出した補正パラメーターは無効であると判定する。なお、第2しきい値は、第1しきい値よりも値の小さいしきい値である。
制御部150は、算出した補正パラメーターが有効なデータである場合、算出した補正パラメーターを、記憶部160に記憶させる(ステップS20)。また、制御部150は、算出した補正パラメーターが有効なデータではない場合、ステップS2又はS6から再度、処理をやり直してもよい。
制御部150は、画像供給装置200から画像信号の供給が開始されると、記憶部160から補正パラメーターを読み出して画像処理部143に出力する。画像処理部143は、画像インターフェイス141が画像信号の受信を開始し、画像インターフェイス141から画像データが入力されると、入力された画像データをフレームメモリー145に展開する。画像処理部143は、制御部150から入力された補正パラメーターにより画像データを補正する(ステップS21)。ステップS21は、本発明の「補正ステップ」の一例に対応する。
画像処理部143は、画像処理を終えた画像データを光変調装置駆動回路123に出力する。光変調装置駆動回路123は、画像処理部143から入力された画像データに基づいて駆動信号を生成し、生成した駆動信号に基づいて液晶パネル115を駆動し、液晶パネル115に画像を描画する。光源111から射出された光が液晶パネル115を通過することで、画像データの画像に対応した画像光が生成され、生成された画像光が光学ユニット117によりスクリーンSCに投射される(ステップS22)。
以上説明したように第1実施形態のプロジェクター100は、撮像素子303及び分光素子302を備えた分光撮像部137により測色を行う。
プロジェクター100は、撮像ステップ、算出ステップ及び生成ステップの各ステップを実行する。
撮像ステップは、投射部110によりスクリーンSCに表示された調整用画像を、この調整用画像に基づいて設定される波長範囲で、分光素子302の分光波長λiを第1波長間隔ごとに変更しながら分光撮像部137により撮像して分光撮像データを生成する。
算出ステップは、撮像ステップにより生成された分光撮像データと、スペクトルの推定に用いる推定行列Mとに基づき、第1波長間隔より間隔が短い第2波長間隔ごとのスペクトルの推定値を算出する。
生成ステップは、算出ステップにより算出したスペクトルの推定値に基づき、表示される画像の元になる画像データを補正する補正パラメーターを生成する。
従って、分光撮像部137により撮像した第1波長間隔より間隔が短い第2波長間隔ごとのスペクトルの推定値を算出することができ、画像の測色を高精度に行うことができる。また、分光撮像部137による撮像を、第2波長間隔よりも間隔が長い第1波長間隔で行うことができるので、分光撮像データの生成にかかる時間を短縮することができる。さらに、算出したスペクトルの推定値に基づいて画像データを補正する補正パラメーターを算出することで、画像の補正を精度よく行うことができる。
推定行列Mは、分光撮像部137が撮像した分光撮像データに基づいて算出される。分光撮像部137が生成する分光撮像データには、プロジェクター100が備える光学部品の光学特性により、誤差が含まれるが、分光撮像部137が生成した分光撮像データと、スペクトル測定装置が測定したスペクトル測色データとに基づいて推定行列Mを算出することで、光学特性を補正し精度のよいスペクトルの推定値を求めることができる。
また、推定行列Mは、スクリーンSCに表示された調整用画像を、スペクトル測定装置により第2波長間隔ごとに測定して得た測定データと、分光撮像データに基づいて求めたスペクトルの推定値との二乗誤差を最小とする行列式である。
従って、分光撮像部137が生成する分光撮像データに生じる誤差を抑制して、精度のよいスペクトルの推定値を算出することができる。
撮像ステップにおいて、分光撮像部137は、分光素子302が備える、互いに対向した一対の反射膜304、305間の距離を変更して分光素子302の分光波長を変更し、第1波長間隔ごとの分光撮像データを出力する。
従って、分光素子302の分光波長の設定精度を高めることができる。
算出ステップは、撮像素子303に生じる感度分布を補正する補正データ167aにより補正した分光撮像データと、推定行列Mとに基づき推定値を算出する。
従って、撮像素子303に生じる感度分布を低減させることができる。
[第2実施形態]
添付図面を参照して第2実施形態について説明する。
第2実施形態は、複数台のプロジェクター100をケーブル3により接続し、プロジェクター100間でデータ通信を行う画像表示システム1の実施形態である。第2実施形態では、複数台のプロジェクター100間でデータ通信を行い、各プロジェクター100が表示する画像の色合わせを行う。なお、第2実施形態では複数台のプロジェクター100間を有線で接続した場合について説明するが、プロジェクター100間の接続は無線であってもよい。
図7は、画像表示システム1のシステム構成図である。
画像表示システム1は、2台のプロジェクター100を備える。スクリーンSCに対向する方向から見て、スクリーンSCの左側に画像を表示するプロジェクター100をプロジェクター100Aと表記し、スクリーンSCの右側に画像を表示するプロジェクター100をプロジェクター100Bと表記する。図7には、画像表示システム1が2台のプロジェクター100を備える構成を示すが、プロジェクター100の接続台数は、2台に限定されるものではなく、n台のプロジェクター100を接続可能である。なお、「n」は2以上の自然数である。
プロジェクター100A及びプロジェクター100Bの構成は、図1に示すプロジェクター100の構成とほぼ同一であるため、プロジェクター100A及びプロジェクター100Bの構成についての説明は省略する。また、図1のブロック図に示したプロジェクター100の構成要素のうち、プロジェクター100Aの構成要素には「A」の符号を付し、プロジェクター100Bの構成要素には「B」の符号を付す。例えば、プロジェクター100Aの制御部150を、「制御部150A」と表記し、プロジェクター100Bの制御部150を、「制御部150B」と表記する。プロジェクター100A及びプロジェクター100Bは、それぞれケーブル3を介して画像供給装置200に接続され、画像供給装置200から供給される画像信号に基づく画像をスクリーンSCに表示させる。
プロジェクター100Aは、マスター機として動作し、プロジェクター100Bはスレーブ機として動作する。すなわち、プロジェクター100Bは、プロジェクター100Aの制御に従って動作する。マスター機であるプロジェクター100Aは、プロジェクター100Bに、第1実施形態で説明した3刺激値の算出を指示したり、補正パラメーターを生成してプロジェクター100Bに送信したりする。
プロジェクター100Aが画像光を投射する領域を投射領域10といい、プロジェクター100Bが画像光を投射する領域を投射領域20という。投射領域10と投射領域20とは、領域の一部が重なる。
第2実施形態において、プロジェクター100Aは、本発明の「第1表示装置」の一例に対応し、プロジェクター100Bは、本発明の「第2表示装置」の一例に対応する。また、投射部110Aは、本発明の「第1表示部」の一例に対応し、投射部110Bは、本発明の「第2表示部」の一例に対応する。また、分光撮像部137Aは、本発明の「第1分光撮像部」の一例に対応し、分光撮像部137Bは、本発明の「第2分光撮像部」の一例に対応する。また、撮像素子303Aは、本発明の「第1撮像素子」の一例に対応し、撮像素子303B、本発明の「第2撮像素子」の一例に対応する。分光素子302Aは、本発明の「第1分光素子」に対応し、分光素子302Bは、本発明の「第2分光素子」に対応する。また、制御部150Aは、本発明の「第1制御部」の一例に対応し、制御部150Bは、本発明の「第2制御部」の一例に対応する。また、推定値算出部175Aは、本発明の「第1推定値算出部」の一例に対応し、推定値算出部175Bは、本発明の「第2推定値算出部」の一例に対応する。また、記憶部160Aは、本発明の「第1記憶部」の一例に対応し、記憶部160Bは、本発明の「第2記憶部」の一例に対応する。
図8は、プロジェクター100Aの動作を示すフローチャートである。
図8に示すフローチャートを参照しながらプロジェクター100Aの動作を説明する。
制御部150Aは、色合わせを選択する操作を受け付けたか否かを判定する(ステップT1)。制御部150Aは、入力インターフェイス135Aから入力される操作信号に基づき色合わせを選択する操作を受け付けたか否かを判定する(ステップS1)。制御部150Aは、色合わせを選択する操作を受け付けていない場合(ステップS1/NO)、操作を受け付けるまで動作の開始を待機する。また、制御部150Aは、他の処理の実行を指示する操作を受け付けた場合、受け付けた操作に対応した動作を実行してステップS1の判定に戻る。
制御部150Aは、色合わせを選択する操作を受け付けた場合(ステップS1/YES)、図4に示すステップS2〜S16の処理を実行し、液晶パネル115Aのすべてのパネル座標で3刺激値を算出する(ステップT2)。
次に、制御部150Aは、3刺激値の算出を指示する信号をプロジェクター100Bに送信して、プロジェクター100Bに3刺激値の算出を指示する(ステップT3)。制御部150Aは、プロジェクター100Bに3刺激値の算出を指示すると、プロジェクター100Bから3刺激値の算出の完了を通知する信号を受信したか否かを判定する(ステップT4)。制御部150Aは、完了を通知する信号を受信していない場合(ステップT4/NO)、信号を受信するまで待機する。
また、制御部150Aは、プロジェクター100Bから完了を通知する信号を受信すると(ステップT4/YES)、算出した3刺激値の取得要求をプロジェクター100Bに送信する(ステップT5)。制御部150Aは、プロジェクター100Bから3刺激値を受信したか否かを判定する(ステップT6)。制御部150Aは、プロジェクター100Bから3刺激値を受信していない場合(ステップT6/NO)、3刺激値を受信するまで待機する。
また、制御部150Aは、プロジェクター100Bから3刺激値を受信すると、受信した3刺激値を記憶部160Aに記憶させる。次に、制御部150Aは、色合わせの目標値を設定する(ステップT7)。制御部150Aは、プロジェクター100Bから受信した3刺激値と、制御部150Aが生成した3刺激値とを比較して、輝度が最も低いパネル座標を特定する。例えば、制御部150Aは、3刺激値のうちの輝度の情報を有するY値を比較して、値が最も小さいY値が対応づけられたパネル座標を特定してもよい。また、輝度が最も低いパネル座標が複数存在する場合、X値やZ値等の他の刺激値についても比較して、輝度が最も低いパネル座標を特定してもよい。
制御部150Aは、輝度が最も低いパネル座標を特定すると、特定した輝度が最も低いパネル座標の3刺激値を目標値に設定する。制御部150Aは、設定した目標値をTarget_XYZとして、他のパネル座標の3刺激値を補正する補正パラメーターを、上述した式(11)により算出する(ステップT8)。また、制御部150Aは、プロジェクター100Bから受信した、プロジェクター100Bのパネル座標の各々に対応づけられた3刺激値についても同様に、式(11)により補正パラメーターを生成する(ステップT8)。
制御部150Aは、プロジェクター100Aのパネル座標の各々について補正パラメーターを生成し、生成した補正パラメーターを記憶部160Aに記憶させる(ステップT9)。ここで生成される補正パラメーターは、本発明の「第1補正パラメーター」の一例に対応する。また、制御部150Aは、プロジェクター100Bのパネル座標の各々についても補正パラメーターを生成し、生成した補正パラメーターをプロジェクター100Bに送信する(ステップT10)。ここで生成される補正パラメーターは、本発明の「第2補正パラメーター」の一例に対応する。
この後、制御部150Aは、画像供給装置200から画像信号の供給が開始されると、画像処理部143Aに、生成した補正パラメーターにより画像データを補正させる(ステップT11)。そして、制御部150Aは、補正後の画像データに基づく画像光を、投射部110AによりスクリーンSCに投射させる。これにより、スクリーンSCには、補正パラメーターにより色合いが補正された画像データに基づく画像が表示される(ステップT12)。
図9は、プロジェクター100Bの動作を示すフローチャートである。
図9に示すフローチャートを参照しながらプロジェクター100Bの動作を説明する。
制御部150Bは、プロジェクター100Aから3刺激値の算出を指示する信号を受信したか否かを判定する(ステップU1)。制御部150Bは、算出を指示する信号を受信していない場合(ステップU1/NO)、信号を受信するまで処理の開始を待機する。
また、制御部150Bは、プロジェクター100Aから3刺激値の算出を指示する信号を受信すると(ステップU1/YES)、図4に示すステップS2〜S16の処理を実行し、液晶パネル115Bのすべてのパネル座標で3刺激値を算出する(ステップU2)。制御部150Bは、3刺激値の算出が完了すると、算出の完了を通知する信号をプロジェクター100Aに送信する(ステップU3)。
次に、制御部150Bは、プロジェクター100Aから3刺激値の取得要求を受信したか否かを判定する(ステップU4)。制御部150Bは、3刺激値の取得要求を受信していない場合(ステップU4/NO)、取得要求を受信するまで待機する。
制御部150Bは、3刺激値の取得要求を受信した場合(ステップU4/YES)、パネル座標ごとに算出した3刺激値をプロジェクター100Aに送信する(ステップU5)。その後、制御部150Bは、プロジェクター100Aから補正パラメーターを受信したか否かを判定する(ステップU6)。制御部150Bは、補正パラメーターを受信していない場合(ステップU6/NO)、補正パラメーターを受信するまで待機する。
制御部150Bは、プロジェクター100Aから補正パラメーターを受信すると(ステップU6)、受信した補正パラメーターを記憶部160Bに記憶させる(ステップU7)。この後、制御部150Bは、画像供給装置200から画像信号の供給が開始されると、画像処理部143Bに、生成した補正パラメーターにより画像データを補正させる(ステップU8)。そして、制御部150Bは、補正後の画像データに基づく画像光を、投射部110BによりスクリーンSCに投射させる。これにより、スクリーンSCには、補正パラメーターにより色合いが補正された画像データに基づく画像が表示される(ステップU9)。
以上説明したように第2実施形態の画像表示システム1は、プロジェクター100Aとプロジェクター100Bとを備える。
プロジェクター100Aは、投射部110A、分光撮像部137A、制御部150A、記憶部160A及び推定値算出部175Aを備える。
投射部110Aは、画像光をスクリーンSCに投射して、スクリーンSCに調整用画像を表示させる。
分光撮像部137Aは、撮像素子303A及び分光素子302Aを備え、調整用画像を撮像して分光撮像データを出力する。
制御部150Aは、分光素子302Aの分光波長を、調整用画像に基づいて設定される波長範囲内で、第1波長間隔ごとに設定し、分光撮像部137Aに撮像データを生成させる。
記憶部160Aは、スペクトルの推定に用いる推定行列Mを記憶する。
推定値算出部175Aは、分光撮像部137Aが出力した分光撮像データと、推定行列Mとに基づき、第1波長間隔よりも間隔が短い第2の波長間隔ごとのスペクトルの推定値を算出する。
プロジェクター100Bは、投射部110B、分光撮像部137B、制御部150B、記憶部160B及び推定値算出部175Bを備える。
投射部110Bは、画像光をスクリーンSCに投射して、調整用画像をスクリーンSCに表示させる。
分光撮像部137Bは、撮像素子303B及び分光素子302Bを備え、調整用画像を撮像して分光撮像データを出力する。
制御部150Bは、分光素子302Bの分光波長を、調整用画像に基づいて設定される波長範囲内で、第1波長間隔ごとに設定し、分光撮像部137Bに撮像データを生成させる。
記憶部160Bは、スペクトルの推定に用いる推定行列Mを記憶する。
推定値算出部175Bは、分光撮像部137Bが出力した分光撮像データと、推定行列Mとに基づき、第1波長間隔よりも間隔が短い第2の波長間隔ごとのスペクトルの推定値を算出する。
また、制御部150Aは、推定値算出部175Aが算出したスペクトルの推定値と、推定値算出部175Bが算出したスペクトルの推定値とに基づき、プロジェクター100Aが表示する画像の元となる画像データを補正する補正パラメーターを生成する。また、制御部150Aは、プロジェクター100Bが表示する画像の元となる画像データを補正する補正データ167aを生成する。
従って、プロジェクター100Aによって表示された画像と、プロジェクター100Bによって表示された画像との色合わせを行うことができる。
[第3実施形態]
図10は、第3実施形態のシステム構成を示す図である。
上述した第1実施形態では、プロジェクター100に搭載された分光撮像部137を使用して画像の色合いを補正する方法について説明した。この第3実施形態では、分光撮像部420を備えた測色装置400を、プロジェクター100Cとは別体で設けた画像表示システム1Aの構成について説明する。
プロジェクター100Cは、スクリーンSCに調整用画像を表示させ、測色装置400は、表示された調整用画像を分光撮像部420により撮像して分光撮像データを生成する。補正パラメーターの生成は、プロジェクター100Cが行ってもよいし、測色装置400が行ってもよい。測色装置400は、生成した分光撮像データをプロジェクター100Cに送信してもよいし、分光撮像データに基づいて補正パラメーターを生成し、生成した補正パラメーターをプロジェクター100Cに送信してもよい。本実施形態では、測色装置400が補正パラメーターを生成し、プロジェクター100Cに送信する場合について説明する。
図11は、測色装置400の構成を示すブロック図である。
測色装置400は、通信部410、分光撮像部420及び制御部430を備える。
通信部410は、ケーブル3を介してプロジェクター100Cに接続され、プロジェクター100Cとの間で相互にデータ通信を行う。図11には、測色装置400とプロジェクター100Cとをケーブル3により接続した場合を示すが、測色装置400とプロジェクター100Cとの接続は無線であってもよい。
分光撮像部420は、図1及び図2に示したプロジェクター100Cの分光撮像部137と同一の構成を備える。分光撮像部420の構成の詳細についての説明は省略する。分光撮像部420は、制御部430の制御に従って分光波長λiを変更しながら調整用画像を撮像し、分光撮像データを出力する。測色装置400は、スクリーンSCを含む範囲を撮像可能な位置に設置される。
制御部430は、記憶部440及びプロセッサー450を備える。記憶部440は、制御プログラム441及び校正データ443を記憶する。校正データ443は、第1実施形態の校正データ167と同一である。
また、プロセッサー450は、制御プログラム441を実行して、撮像制御部451、推定値算出部453及び生成部455として機能する。
撮像制御部451は、分光撮像部420を制御して、分光撮像部420に撮像データを生成させる。また、撮像制御部451は、スクリーンSCに投射された調整用画像の色を示す色情報をプロジェクター100から受信し、受信した色情報に基づき分光撮像部137に撮像させる波長範囲を決定する。撮像制御部451は、波長範囲を決定すると、決定した波長範囲内で、分光波長λiを第1波長間隔で変更しながら分光撮像部420に撮像を実行させる。
推定値算出部453は、第1実施形態の推定値算出部175と同様に、第2波長間隔ごとのスペクトルの推定値を算出し、生成部455は、第1実施形態の生成部177と同様に、補正パラメーターを生成する。生成部455は、生成した補正パラメーターを通信部410によりプロジェクター100Cに送信する。
プロジェクター100Cの構成は、図1に示す第1実施形態のプロジェクター100とほぼ同一の構成であり、構成についての説明は省略する。プロジェクター100Cは、分光撮像部137を備えなくてもよい。
図12は、第3実施形態のプロジェクター100Cの動作を示すフローチャートである。
制御部150は、まず、画質調整を選択する操作を受け付けたか否かを判定する(ステップV1)。制御部150は、画質調整を選択する操作を受け付けた場合(ステップV1/YES)、画質調整の開始を測色装置400に通知する(ステップV2)。
このフローチャートでは、図3のフローチャートで説明した射影変換行列167bを算出する手順の説明は省略する。すなわち、射影変換行列167bは事前に算出され、測色装置400の記憶部440に記憶されているとして説明する。
次に、制御部150は、スクリーンSCに表示する調整用画像の色及び階調を決定する(ステップV3)。制御部150は、調整用画像の色及び階調を決定すると、決定した色及び階調の調整用画像データ162を記憶部160から読み出す。制御部150は、読み出した調整用画像データ162を画像処理部143に処理させ、駆動部120や投射部110を制御して、調整用画像データ162に対応した調整用画像をスクリーンSCに表示させる(ステップV4)。
次に、制御部150は、表示させた調整用画像の色及び階調の情報を測色装置400に送信する(ステップV5)。制御部150は、調整用画像の色及び階調の情報を測色装置400に送信すると、測色装置400から撮像終了の通知があるまで待機する(ステップV6)。制御部150は、測色装置400から撮像終了の通知を受信すると(ステップV6/YES)、すべての色の調整用画像をすべての階調で表示させたか否かを判定する(ステップV7)。制御部150は、すべての色の調整用画像をすべての階調で表示させていない場合(ステップV7/NO)、ステップV3に戻りスクリーンSCに表示する調整用画像の色及び階調を選択する(ステップV3)。
また、制御部150は、すべての色の調整用画像をすべての階調で表示させた場合(ステップV7/YES)、測色の完了通知を測色装置400に送信する(ステップV8)。測色の完了通知を測色装置400に送信すると、制御部150は、測色装置400から補正パラメーターを受信したか否かを判定する(ステップV9)。制御部150は、補正パラメーターを受信していない場合(ステップV9/NO)、補正パラメーターを受信するまで待機する。また、制御部150は、補正パラメーターを受信すると(ステップV9/YES)、受信した補正パラメーターを記憶部160に記憶させる(ステップV10)。
この後、制御部150は、画像供給装置200から画像信号の供給が開始されると、画像処理部143に、生成した補正パラメーターにより画像データを補正させ(ステップV11)、補正後の画像データに基づく画像光を、投射部110によりスクリーンSCに投射させる。これにより、スクリーンSCには、補正パラメーターにより色合いが補正された画像データに基づく画像が表示される(ステップV12)。
図13は、測色装置400の動作を示すフローチャートである。
制御部430は、まず、プロジェクター100Cから画質調整の開始通知を受信したか否かを判定する(ステップW1)。制御部430は、画質調整の開始通知を受信していない場合(ステップW1/NO)、開始通知を受信するまで処理の開始を待機する。
制御部430は、画質調整の開始通知を受信した場合(ステップW1/YES)、スクリーンSCに表示させた調整用画像の色及び階調の情報をプロジェクター100Cから受信したか否かを判定する(ステップW2)。制御部430は、調整用画像の色及び階調の情報をプロジェクター100から受信していない場合(ステップW2/NO)、ステップW8の判定に移行する。
また、制御部430は、調整用画像の色及び階調の情報をプロジェクター100Cから受信した場合(ステップW2/YES)、受信した調整用画像の色の情報に基づいて分光撮像部420に撮像させる波長範囲を決定する(ステップW3)。制御部430は、波長範囲を決定すると、分光素子302に設定する設定分光波長λiを波長範囲内の最小値に設定し、分光撮像部420に撮像を実行させて分光撮像データを生成させる(ステップW4)。
次に、制御部430は、分光撮像部420に設定する設定分光波長λiの値を、予め設定された値だけ大きな値に変更し(ステップW5)、設定分光波長λiが波長範囲を超えたか否かを判定する(ステップW6)。制御部430は、設定分光波長λiが波長範囲を超えていない場合(ステップW6/NO)、設定分光波長λiを分光素子302に設定し、分光撮像部420に撮像を実行させて分光撮像データを生成させる(ステップW4)。
また、制御部430は、設定分光波長λiが波長範囲を超えた場合(ステップW6/YES)、撮像の終了通知をプロジェクター100Cに送信する(ステップW7)。その後、制御部430は、ステップW2の判定に戻る。
また、制御部430は、ステップW2の判定が否定判定である場合(ステップW2/NO)、測色の完了通知をプロジェクター100Cから受信したか否かを判定する(ステップW8)。制御部430は、測色の完了通知をプロジェクター100Cから受信していない場合(ステップW8/NO)、ステップW2の判定に戻る。また、制御部430は、測色の完了通知をプロジェクター100から受信した場合(ステップW8/YES)、補正パラメーターを算出する(ステップW9)。補正パラメーターの算出手順については、図4で説明済みであるため説明を省略する。制御部430は、補正パラメーターを算出すると、算出した補正パラメーターをプロジェクター100Cに送信する(ステップW10)。
第3実施形態においても、第1実施形態と同様な効果を得ることができる。
[第4実施形態]
図14は、第4実施形態のシステム構成を示す図である。
上述した第2実施形態では、プロジェクター100A、100Bに搭載された分光撮像部137A、137Bを使用して画像の色合いを補正する方法について説明した。この第4実施形態では、分光撮像部420を備えた測色装置400を、プロジェクター100D、100Eとは別体で設けた構成について説明する。測色装置400、プロジェクター100D、100Eとは、ケーブル3により接続され、測色装置400、プロジェクター100D、100E間で、データ通信を行う画像表示システム1Bの実施形態である。第2実施形態では、複数台のプロジェクター100間でデータ通信を行い、各プロジェクター100が表示する画像の色合わせを行う。なお、第4実施形態では測色装置400、プロジェクター100D、100E間を有線で接続した場合について説明するが、測色装置400、プロジェクター100D、100E間の接続は無線であってもよい。
プロジェクター100D及びプロジェクター100Eは、それぞれケーブル3を介して画像供給装置200に接続され、画像供給装置200から供給される画像信号に基づく画像をスクリーンSCに表示させる。
プロジェクター100Dは、マスター機として動作し、プロジェクター100Eはスレーブ機として動作する。すなわち、プロジェクター100Dは、プロジェクター100Cの制御に従って動作する。マスター機であるプロジェクター100Cは、プロジェクター100Dに、第1実施形態で説明した3刺激値の算出を指示したり、補正パラメーターを生成してプロジェクター100Dに送信したりする。
プロジェクター100Cが画像光を投射する領域を投射領域10Dといい、プロジェクター100Dが画像光を投射する領域を投射領域20Eという。投射領域10Dと投射領域20Eとは、領域の一部が重なる。
プロジェクター100D、100Eは、スクリーンSCに調整用画像を表示させ、測色装置400は、表示された調整用画像を分光撮像部420により撮像して分光撮像データを生成する。補正パラメーターの生成は、プロジェクター100D、100Eが行ってもよいし、測色装置400が行ってもよい。測色装置400は、生成した分光撮像データをプロジェクター100D、100Eに送信してもよいし、分光撮像データに基づいて補正パラメーターを生成し、生成した補正パラメーターをプロジェクター100D、100Eに送信してもよい。
測色装置400は、スクリーンSCを含む範囲を撮像可能な位置に設置される。測色装置400は、プロジェクター100Cが調整用画像を投射する場合は、投射領域10Dを撮像し、プロジェクター100Dが調整用画像を投射する場合は、投射領域20Eを撮像する。
上述した実施形態は、本発明の好適な実施の形態である。ただし、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形実施が可能である。
例えば、上述した実施形態では、調整用画像として、R,G,Bの各色の単色画像を表示する場合を例に挙げて説明したが、1つの調整用画像の中に、Rの領域、Gの領域及びBの領域を含ませる構成としてもよい。
また、上述した実施形態では、光源が発した光を変調する光変調装置113として、RGBの各色に対応した3枚の透過型の液晶パネルを用いた構成を例に挙げて説明したが、本発明はこれに限定されるものではない。例えば、3枚の反射型液晶パネルを用いた構成としてもよいし、1枚の液晶パネルとカラーホイールを組み合わせた方式を用いてもよい。或いは、3枚のデジタルミラーデバイス(DMD)を用いた方式、1枚のデジタルミラーデバイスとカラーホイールを組み合わせたDMD方式等により構成してもよい。光変調装置として1枚のみの液晶パネルまたはDMDを用いる場合には、クロスダイクロイックプリズム等の合成光学系に相当する部材は不要である。また、液晶パネルおよびDMD以外にも、光源が発した光を変調可能な光変調装置であれば問題なく採用できる。
また、図4、図8、図9、図12及び図13に示すフローチャートの処理単位は、処理を理解容易にするために、主な処理内容に応じて分割したものであり、処理単位の分割の仕方や名称によって、本発明が限定されることはない。処理内容に応じて、さらに多くの処理単位に分割してもよいし、1つの処理単位がさらに多くの処理を含むように分割してもよい。また、その処理の順番は、本発明の趣旨に支障のない範囲で適宜に入れ替えてもよい。
また、図1及び図11に示した各機能部は機能的構成を示すものであって、具体的な実装形態は特に限定されない。つまり、必ずしも各機能部に個別に対応するハードウェアが実装される必要はなく、一つのプロセッサーがプログラムを実行することで複数の機能部の機能を実現する構成とすることも勿論可能である。また、上述した実施形態においてソフトウェアで実現される機能の一部をハードウェアとしてもよく、或いは、ハードウェアで実現される機能の一部をソフトウェアで実現してもよい。また、プロジェクター100及び測色装置400の他の各部の具体的な細部構成についても、本発明の趣旨を逸脱しない範囲で任意に変更可能である。
また、本発明の測色方法及び画像表示方法をコンピューターにより実現される場合、このコンピューターに実行させるプログラムを記録媒体、又はプログラムを伝送する伝送媒体の態様で構成することも可能である。記録媒体には、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、記録媒体には、フレキシブルディスク、HDD(Hard Disk Drive)、CD−ROM(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、Blu−ray(登録商標) Disc、光磁気ディスクが挙げられる。また、記録媒体として、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体を挙げることもできる。また、上記記録媒体は、表示装置が備える内部記憶装置であるRAM(Random Access Memory)、ROM(Read Only Memory)、HDD等の不揮発性記憶装置であってもよい。
3…ケーブル、10、20…投射領域、100、100A、100B…プロジェクター、101…バス、110、110A、110B…投射部、111…光源、113…光変調装置、115、115A、115B…液晶パネル、117…光学ユニット、120、120A、120B…駆動部、121、121A、121B…光源駆動回路、123、123A、123B…光変調装置駆動回路、131、131A、131B…操作パネル、133、133A、133B…リモコン受光部、135、135A、135B…入力インターフェイス、137、137A、137B…分光撮像部、139、139A、139B…通信部、141、141A、141B…画像インターフェイス、143、143A、143B…画像処理部、145、145A、145B…フレームメモリー、150、150A、150B…制御部、160、160A、160B…記憶部、161…制御プログラム、162…調整用画像データ、163…パターン画像データ、164…設定データ、165…パラメーター、167…校正データ、167a…補正データ、167b…射影変換行列、170…プロセッサー、171…投射制御部、173…撮像制御部、175…推定値算出部、177…生成部、200…画像供給装置、301…入射光学系、302…分光素子、303…撮像素子、304…反射膜、305…反射膜、306…ギャップ変更部、400…測色装置、410…通信部、420…分光撮像部、430…制御部、440…記憶部、441…制御プログラム、443…校正データ、450…プロセッサー、451…撮像制御部、453…推定値算出部、455…生成部。

Claims (10)

  1. 撮像素子及び分光素子を備える分光撮像装置により測色を行う測色方法であって、
    表示された画像を、前記画像に基づいて設定される波長範囲で、前記分光素子の分光波長を第1波長間隔ごとに変更しながら前記分光撮像装置により撮像し、撮像データを生成する撮像ステップと、
    前記撮像ステップにより生成された前記撮像データと、スペクトルの推定に用いる推定行列とに基づき、第1波長間隔より間隔が短い第2波長間隔ごとのスペクトルの推定値を算出する算出ステップと、
    前記算出ステップが算出した前記スペクトルの推定値に基づき、表示される画像の元になる画像データを補正する補正パラメーターを生成する生成ステップと、
    を備える測色方法。
  2. 前記推定行列は、分光撮像装置が撮像した前記撮像データに基づいて算出される、請求項1記載の測色方法。
  3. 前記推定行列は、表示された前記画像を、専用の測定装置により前記第2波長間隔ごとに測定して得た測定データと、前記スペクトルの推定値との二乗誤差を最小とする行列式である、請求項2記載の測色方法。
  4. 前記撮像ステップは、前記分光素子が備える、互いに対向した一対の反射膜間の距離を変更して前記分光素子の分光波長を変更し、前記第1波長間隔ごとに前記撮像データを出力する、請求項1から3のいずれか一項に記載の測色方法。
  5. 前記算出ステップは、前記撮像素子に生じる感度分布を補正する補正データにより補正した前記撮像データと、前記推定行列とに基づき前記推定値を算出する、請求項1から4のいずれか一項に記載の測色方法。
  6. 画像を表示する表示ステップと、
    表示された前記画像を、撮像素子及び分光素子を備える分光撮像部により撮像するステップであって、表示された前記画像に基づいて設定される波長範囲で、前記分光素子の分光波長を第1波長間隔ごとに変更しながら前記分光撮像部により撮像して、撮像データを生成する撮像ステップと、
    前記撮像ステップにより生成された前記撮像データと、スペクトルの推定に用いる推定行列とに基づき、前記第1波長間隔より間隔が短い第2波長間隔ごとのスペクトルの推定値を算出する算出ステップと、
    前記算出ステップが算出した前記スペクトルの推定値に基づき、前記表示ステップで表示させる画像の元になる画像データを補正する補正パラメーターを生成する生成ステップと、
    前記表示ステップで表示させる前記画像の元になる画像データを、生成した前記補正パラメーターにより補正する補正ステップと、を有し、
    前記補正ステップにより補正した前記画像データに基づく画像を前記表示ステップにより表示させる、画像表示方法。
  7. 撮像素子及び分光素子を備え、表示された画像を撮像して分光撮像データを出力する分光撮像部と、
    前記分光素子の分光波長を、表示された前記画像に基づいて設定される波長範囲内で、第1波長間隔ごとの分光波長に設定し、前記分光撮像部に撮像データを生成させる制御部と、スペクトルの推定に用いる推定行列を記憶する記憶部と、
    前記分光撮像部が出力した撮像データと、前記推定行列とに基づき、前記第1波長間隔よりも間隔が短い第2の波長間隔ごとのスペクトルの推定値を算出する推定値算出部と、
    前記推定値算出部が算出した前記推定値に基づき、画像データを補正する補正パラメーターを生成する生成部と、
    を備える、測色装置。
  8. 画像を表示する表示部と、
    撮像素子及び分光素子を備え、前記画像を撮像して分光撮像データを出力する分光撮像部と、
    前記分光素子の分光波長を、前記画像に基づいて設定される波長範囲内で、第1波長間隔ごとに設定し、前記分光撮像部に撮像データを生成させる制御部と、
    スペクトルの推定に用いる推定行列を記憶する記憶部と、
    前記分光撮像部が出力した撮像データと、前記推定行列とに基づき、前記第1波長間隔よりも間隔が短い第2の波長間隔ごとのスペクトルの推定値を算出する推定値算出部と、
    前記推定値算出部が算出した前記推定値に基づき、画像データを補正する補正パラメーターを生成する生成部と、
    前記生成部が生成した前記補正パラメーターにより前記画像データを補正する画像処理部と、
    を備える画像表示装置。
  9. 画像を表示する表示装置と、前記画像を測色する測色装置とを備え、
    前記測色装置は、
    撮像素子及び分光素子を備え、前記画像を撮像して分光撮像データを出力する分光撮像部と、
    前記分光素子の分光波長を、前記画像に基づいて設定される波長範囲内で、第1波長間隔ごとに設定し、前記分光撮像部に撮像データを生成させる制御部と、
    スペクトルの推定に用いる推定行列を記憶する記憶部と、
    前記分光撮像部が出力した撮像データと、前記推定行列とに基づき、前記第1波長間隔よりも間隔が短い第2波長間隔ごとのスペクトルの推定値を算出する推定値算出部と、
    前記推定値算出部が算出した前記推定値に基づき、画像データを補正する補正パラメーターを生成する生成部と、を備える、
    画像表示システム。
  10. 画像を表示する第1表示部と、
    第1撮像素子及び第1分光素子を備え、前記第1表示部が表示した前記画像を撮像して分光撮像データを出力する第1分光撮像部と、
    前記第1分光素子の分光波長を、前記第1表示部が表示した前記画像に基づいて設定される波長範囲内で、第1波長間隔ごとに設定し、前記第1分光撮像部に撮像データを生成させる第1制御部と、
    スペクトルの推定に用いる推定行列を記憶する第1記憶部と、
    前記第1分光撮像部が出力した撮像データと、前記推定行列とに基づき、前記第1波長間隔よりも間隔が短い第2の波長間隔ごとのスペクトルの推定値を算出する第1推定値算出部と、を備える第1表示装置と、
    画像を表示する第2表示部と、
    第2撮像素子及び第2分光素子を備え、前記第2表示部が表示した前記画像を撮像して分光撮像データを出力する第2分光撮像部と、
    前記第2分光素子の分光波長を、前記第2表示部が表示した前記画像に基づいて設定される波長範囲内で、前記第1波長間隔ごとに設定し、前記第2分光撮像部に撮像データを生成させる第2制御部と、
    スペクトルの推定に用いる推定行列を記憶する第2記憶部と、
    前記第2分光撮像部が出力した撮像データと、前記推定行列とに基づき、前記第2の波長間隔ごとのスペクトルの推定値を算出する第2推定値算出部と、を備える第2表示装置と、を有し、
    前記第1制御部は、前記第1推定値算出部が算出した前記スペクトルの推定値と、前記第2推定値算出部が算出した前記スペクトルの推定値とに基づき、前記第1表示装置が表示する画像の元となる画像データを補正する第1補正パラメーターを生成し、前記第2表示装置が表示する画像の元となる画像データを補正する第2補正パラメーターを生成する、画像表示システム。
JP2019001032A 2019-01-08 2019-01-08 測色方法、画像表示方法、測色装置、画像表示装置及び画像表示システム Active JP7326742B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019001032A JP7326742B2 (ja) 2019-01-08 2019-01-08 測色方法、画像表示方法、測色装置、画像表示装置及び画像表示システム
CN202010009345.9A CN111416968B (zh) 2019-01-08 2020-01-06 投影仪、显示系统、图像校正方法
US16/735,864 US10873731B2 (en) 2019-01-08 2020-01-07 Projector, display system, image correction method, and colorimetric method
US17/100,075 US11303862B2 (en) 2019-01-08 2020-11-20 Projector, display system, image correction method, and colorimetric method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019001032A JP7326742B2 (ja) 2019-01-08 2019-01-08 測色方法、画像表示方法、測色装置、画像表示装置及び画像表示システム

Publications (3)

Publication Number Publication Date
JP2020113811A true JP2020113811A (ja) 2020-07-27
JP2020113811A5 JP2020113811A5 (ja) 2022-01-06
JP7326742B2 JP7326742B2 (ja) 2023-08-16

Family

ID=71667411

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019001032A Active JP7326742B2 (ja) 2019-01-08 2019-01-08 測色方法、画像表示方法、測色装置、画像表示装置及び画像表示システム

Country Status (1)

Country Link
JP (1) JP7326742B2 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05501342A (ja) * 1990-06-11 1993-03-11 イーストマン・コダック・カンパニー 記憶値及び補間を使用して座標変換を行うための装置及び方法
JP2004336657A (ja) * 2003-05-12 2004-11-25 Minolta Co Ltd 分光画像撮影システムおよび分光画像撮影システムの調整方法
JP2008042716A (ja) * 2006-08-09 2008-02-21 Nidec Copal Corp プリンタの較正方法
WO2009142037A1 (ja) * 2008-05-23 2009-11-26 国立大学法人横浜国立大学 近似処理方法、および近似処理装置
JP2010032426A (ja) * 2008-07-30 2010-02-12 Canon Inc 光干渉断層撮像方法および光干渉断層撮像装置
JP2011064637A (ja) * 2009-09-18 2011-03-31 Olympus Corp 光源検出装置
JP2013142656A (ja) * 2012-01-12 2013-07-22 Seiko Epson Corp 分光計測方法、分光計測器、および変換行列の生成方法
JP2014132304A (ja) * 2013-01-07 2014-07-17 Seiko Epson Corp 画像表示装置
JP2014222177A (ja) * 2013-05-13 2014-11-27 キヤノン株式会社 測定装置及び測定方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05501342A (ja) * 1990-06-11 1993-03-11 イーストマン・コダック・カンパニー 記憶値及び補間を使用して座標変換を行うための装置及び方法
JP2004336657A (ja) * 2003-05-12 2004-11-25 Minolta Co Ltd 分光画像撮影システムおよび分光画像撮影システムの調整方法
JP2008042716A (ja) * 2006-08-09 2008-02-21 Nidec Copal Corp プリンタの較正方法
WO2009142037A1 (ja) * 2008-05-23 2009-11-26 国立大学法人横浜国立大学 近似処理方法、および近似処理装置
JP2010032426A (ja) * 2008-07-30 2010-02-12 Canon Inc 光干渉断層撮像方法および光干渉断層撮像装置
JP2011064637A (ja) * 2009-09-18 2011-03-31 Olympus Corp 光源検出装置
JP2013142656A (ja) * 2012-01-12 2013-07-22 Seiko Epson Corp 分光計測方法、分光計測器、および変換行列の生成方法
JP2014132304A (ja) * 2013-01-07 2014-07-17 Seiko Epson Corp 画像表示装置
JP2014222177A (ja) * 2013-05-13 2014-11-27 キヤノン株式会社 測定装置及び測定方法

Also Published As

Publication number Publication date
JP7326742B2 (ja) 2023-08-16

Similar Documents

Publication Publication Date Title
CN111416968B (zh) 投影仪、显示系统、图像校正方法
US10638103B2 (en) Image projection apparatus, control method of the image projection apparatus, and storage medium
US20080013057A1 (en) System and method for automatically modifying an image prior to projection
JP6019859B2 (ja) プロジェクター、及び、プロジェクターにおける発光制御方法
JP2004229290A (ja) 投影画像を表示する方法およびその表示装置
JP6657987B2 (ja) プロジェクター、及び、プロジェクターの制御方法
US11601628B2 (en) Control method of spectroscopic imaging device, spectroscopic imaging device, computer program, control method of display system, control method of projector, display system, and projector
JP2010206584A (ja) プロジェクターの調整方法、プロジェクター、プロジェクター調整システム及びプロジェクター調整プログラム
US11611731B2 (en) Evaluation method for image projection system, image projection system, and image projection control apparatus
US11323673B2 (en) Method for operating control apparatus, and projector
US10928250B2 (en) Projector, color correction system, and control method for projector
US6837582B2 (en) Image adjuster of projector and image adjusting method of image display
US10757381B2 (en) Image projection apparatus and its control method
JP6813037B2 (ja) プロジェクター、表示システム、プロジェクターの制御方法、及び画像補正方法
US10855962B2 (en) Projector, color correction system, and control method of projector
JP7326742B2 (ja) 測色方法、画像表示方法、測色装置、画像表示装置及び画像表示システム
JP6665543B2 (ja) プロジェクター、及び、撮像画像の補正方法
JP2017129704A (ja) 表示装置、プロジェクター、及び、表示装置の制御方法
JP2022007978A (ja) 分光撮像装置の制御方法、分光撮像装置、コンピュータープログラム、表示システムの制御方法、プロジェクターの制御方法、表示システム、及びプロジェクター
JP2017010057A (ja) プロジェクター、及び、プロジェクターにおける発光制御方法
JP5605038B2 (ja) 画像処理装置、画像表示装置、及び画像処理方法
JP6565224B2 (ja) プロジェクター、及び、プロジェクターの制御方法
JP7309352B2 (ja) 電子機器およびその制御方法
JP2011205199A (ja) 画像処理装置、画像表示システム、画像処理方法
JP2020034807A (ja) むら補正方法及び画像投射装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211129

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211129

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230320

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R150 Certificate of patent or registration of utility model

Ref document number: 7326742

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150