JP2021177218A - 画像投射システムの制御方法、及び画像投射システム - Google Patents

Abstract

【課題】投射面の三次元形状の計測結果に基づく投射画像の歪み補正に対する、計測結果に含まれるノイズの影響を低減させる技術を提供する。【解決手段】以下の補正情報生成部１８及び画像情報補正部１４をプロジェクター１００に設ける。補正情報生成部１８は、投射面Ｓｐの形状の計測結果におけるＮ個の領域の法線ベクトルの平均とＮ個の法線ベクトルの分散が最も大きい成分に対応する第１ベクトルとの外積を法線ベクトルとする基準面を推定する。補正情報生成部１８は、投射面Ｓｐの基準面への射影結果を基準面から垂直に起立させて仮想投射面を推定し、画像の補正情報を仮想投射面に基づいて生成する。画像情報補正部１４は、投射画像の画像情報と補正情報とから補正画像情報を生成する。プロジェクター１００は、補正画像情報に基づく画像を投射面Ｓｐに投射する。【選択図】図１

Description

本開示は、画像投射システムの制御方法、及び画像投射システム、に関する。

単純な平面ではない投射面、例えば三次元形状を有する投射面に画像を投射する場合、観察者の視点位置によっては画像が大きく歪んで観察されることがある。例えば、特許文献１には、所定の視点位置から歪みのない画像を観察できるように、三次元計測技術により投射面の形状を計測し、計測結果に基づいて補正された投射画像を投射面に投射する技術が開示されている。投射面の三次元形状を計測する三次元計測技術の一例としては特許文献２に開示の技術が挙げられる。

特開２０１９−１３９０３０号公報 特開２０１８−１８１２７１号公報

既存の三次元計測技術による計測結果にはノイズが含まれている。ノイズを含んで計測された投射面の三次元形状に基づいて投射画像の歪み補正を行っても、十分な補正を行えないという問題がある。

以上の課題を解決するために、本開示の画像投射システムの制御方法は、画像が投射される投射面の形状の三次元計測結果である計測情報に基づいて前記投射面をＮ個に分割することによって得られるＮ個の領域の各々における法線ベクトルを推定し、前記Ｎ個の法線ベクトルの平均である平均法線ベクトルを算出し、ベクトルを表す３軸の成分のうち前記Ｎ個の法線ベクトルにおいて分散の程度が最も大きい成分に対応する軸に沿った第１ベクトルを算出し、前記第１ベクトルと前記平均法線ベクトルとの外積を法線ベクトルとする基準面を推定し、前記計測情報の示す前記投射面の三次元形状を前記基準面に射影することによって得られる射影結果に基づく面であり、且つ前記基準面に対して垂直な面である仮想投射面を推定し、画像を補正する補正情報を前記仮想投射面に基づいて生成し、投射画像を前記補正情報に基づいて補正し、補正済の前記投射画像を前記投射面に投射する、ことを含む。なお、Ｎは２以上の整数である。

また、上記課題を解決するために、本開示の画像投射システムは、画像が投射される投射面の形状の三次元計測結果である計測情報に基づいて前記投射面をＮ個に分割することによって得られるＮ個の領域の各々における法線ベクトルを推定し、前記Ｎ個の法線ベクトルの平均である平均法線ベクトルを算出し、ベクトルを表す３軸の成分のうち前記Ｎ個の法線ベクトルにおいて分散の程度が最も大きい成分に対応する軸に沿った第１ベクトルを算出し、前記第１ベクトルと前記平均法線ベクトルとの外積を法線ベクトルとする基準面を推定し、前記計測情報の示す前記投射面の三次元形状を前記基準面に射影することによって得られる射影結果に基づく面であり、且つ前記基準面に対して垂直な面である仮想投射面を推定し、画像を補正する補正情報を前記仮想投射面に基づいて生成し、投射画像を前記補正情報に基づいて補正する補正装置と、前記補正装置により補正済の前記投射画像を前記投射面に投射する投射装置と、を含む。本画像投射システムにおいても、Ｎは２以上の整数である。

本開示の第１実施形態に係るプロジェクター１００の構成例を示すブロック図である。 投射面Ｓｐの三次元形状を測定するためのパターン画像Ｉｐの一例を示す図である。 歪み補正を行う際のプロジェクター１００の動作の流れを示すフローチャートである。 歪み補正を行う際のプロジェクター１００の動作の流れを示すフローチャートである。 鉛直に配設された投射面Ｓｐを上方から見た平面図の一例を示す図である。 撮像部１７で撮像される撮像画像Ｉｃの一例を示す図である。 投射面Ｓｐの形状の三次元計測結果の一例を示す図である。 歪み補正を行う際のプロジェクター１００が実行する仮想投射面設定処理の流れを示すフローチャートである。 仮想投射面設定処理にてプロジェクター１００が算出する法線ベクトル群の一例を示す図である。 仮想投射面設定処理にて推定される仮想投射面の一例を示す図である。 補正情報生成部１８が生成する二次元展開図Ｐｄの一例を示す図である。 二次元展開図Ｐｄに設定される画像領域Ａｓの一例を示す図である。 本開示の第２実施形態の制御方法により投射面に投射される画像の一例を示す図である。 本開示の第３実施形態の制御方法により投射面に投射される画像の一例を示す図である。

以下、図面を参照して本開示の実施形態を説明する。以下に述べる実施形態には技術的に好ましい種々の限定が付されている。しかし、本開示の実施形態は、以下に述べる形態に限られるものではない。

１．第１実施形態
図１は、本開示の画像投射システムの第１実施形態であるプロジェクター１００の構成例を示すブロック図である。図１に示すように、プロジェクター１００は、制御部１０と、記憶部１１と、入力操作部１２と、画像情報入力部１３と、画像情報補正部１４と、画像投射部１５と、測定部１６と、補正情報生成部１８とを備える。プロジェクター１００は、画像情報入力部１３に入力される画像情報に基づいて、画像投射部１５から投射面Ｓｐに画像を投射する。

本実施形態のプロジェクター１００は、単純な平面ではない投射面Ｓｐに画像を投射する場合に生じる画像の歪み、具体的には三次元形状の投射面Ｓｐに画像を投射する場合に生じる画像の歪み、を補正することができる。より詳細に説明すると、プロジェクター１００は、図２に示すパターン画像Ｉｐを画像投射部１５から投射面Ｓｐに投射し、測定部１６で投射面Ｓｐの三次元形状を測定する。そして、プロジェクター１００は、この三次元形状の投射面Ｓｐに矩形の紙を貼り付けたような形状で画像が投射されるように、画像を補正するための補正情報を生成する。その後、プロジェクター１００は、本来表示すべき画像、即ち歪みを補正した状態で表示すべき画像に対して補正情報に基づく補正処理を施し、処理後の画像を投射面Ｓｐに投射する。以下では、歪みを補正した状態で表示すべき画像を表示画像と呼ぶ。

制御部１０は、１つ又は複数のプロセッサーを備えて構成される。制御部１０は、記憶部１１に記憶されている制御プログラムに従って動作することによりプロジェクター１００の動作を統括制御する。

記憶部１１は、揮発性のメモリーであるＲＡＭ（Random Access Memory）と不揮発性のメモリーであるＲＯＭ（Read Only Memory）とを有する。ＲＡＭは、各種データ等の一時記憶に用いられる。ＲＯＭは、プロジェクター１００の動作を制御するための制御プログラム及び制御データ等を記憶する。本実施形態の記憶部１１には、投射面Ｓｐの三次元形状を測定するためのパターン画像Ｉｐに対応する画像データが記憶されている。以下では、パターン画像Ｉｐに対応する画像データをパターン画像データＤｐと呼ぶ。また、記憶部１１は、表示画像用の画像データを記憶していてもよい。

入力操作部１２は、ユーザーがプロジェクター１００に対して各種指示を行うための複数の操作キーを備える。入力操作部１２が備える操作キーの一例としては、電源キー、メニューキー、及び方向キーが挙げられる。電源キーは、電源のオンとオフとを切り替えるための操作キーである。メニューキーは、各種設定を行うための設定メニューを表示させる操作キーである。方向キーは、設定メニューの項目を選択するための操作キーである。ユーザーが入力操作部１２の各種操作キーを操作すると、入力操作部１２は、ユーザーの操作内容に応じた操作信号を制御部１０に出力する。これにより、ユーザーの操作内容が制御部１０に伝達される。なお、遠隔操作が可能な不図示のリモコンを入力操作部１２として用いる構成としてもよい。この場合、リモコンは、ユーザーの操作内容に応じた赤外線の操作信号を発信し、不図示のリモコン信号受信部がこれを受信し、受信した操作信号を制御部１０に出力する。

画像情報入力部１３は、コンピューターや画像再生装置等の不図示の外部の画像供給装置に接続され、画像供給装置から表示画像用の画像情報の供給を受ける。また、画像情報入力部１３は、制御部１０から、記憶部１１に記憶されている画像情報の供給を受けることができる。制御部１０から画像情報入力部１３に供給される画像情報の具体例としては、パターン画像データＤｐ及び表示画像用の画像データが挙げられる。画像情報入力部１３は、制御部１０の制御に基づいて、画像供給装置又は制御部１０から供給された画像情報に、必要に応じて様々な処理を施し、処理後の画像情報を画像情報補正部１４に出力する。画像情報入力部１３が画像情報に施す処理の具体例としては、解像度変換処理及び画質調整処理が挙げられる。

画像情報補正部１４は、制御部１０の制御に基づいて、投射面Ｓｐの三次元形状等に起因する画像の歪みを補正する。具体的には、画像情報補正部１４は、画像情報入力部１３から入力される画像情報に対して、制御部１０から入力される補正情報に基づく補正処理を施し、処理後の画像情報である補正画像情報を画像投射部１５のライトバルブ駆動部２４に出力する。

画像投射部１５は、光源２１と、光変調装置としての３つの液晶ライトバルブ２２Ｒ、２２Ｇ及び２２Ｂと、投射光学系としての投射レンズ２３と、ライトバルブ駆動部２４とを備える。画像投射部１５は、光源２１から射出された光を、液晶ライトバルブ２２Ｒ、２２Ｇ、及び２２Ｂで変調して画像光を形成し、この画像光を投射レンズ２３から投射して投射面Ｓｐに画像を表示する。画像投射部１５は本開示における投射装置の一例である。

光源２１は、超高圧水銀ランプやメタルハライドランプ等の放電型の光源ランプ、又は発光ダイオードや半導体レーザー等の固体光源を含んで構成される。光源２１から射出された光は、不図示のインテグレーター光学系によって輝度分布が略均一な光に変換され、不図示の色分離光学系によって光の３原色である赤色、緑色、及び青色の各色光成分に分離される。赤色の光成分は液晶ライトバルブ２２Ｒに、緑色の光成分は液晶ライトバルブ２２Ｇに、青色の光成分は液晶ライトバルブ２２Ｂに夫々入射する。

液晶ライトバルブ２２Ｒ、２２Ｇ、及び２２Ｂは、夫々一対の透明基板間に液晶が封入された透過型の液晶パネル等によって構成される。各液晶パネルには、マトリクス状に配列された複数の画素からなる矩形の画像形成領域Ａｉが形成されており、液晶に対して画素毎に駆動電圧を印加可能になっている。

ライトバルブ駆動部２４は、液晶ライトバルブ２２Ｒ、２２Ｇ、及び２２Ｂ の各々の画像形成領域Ａｉに画像を形成する。具体的には、ライトバルブ駆動部２４は、画像情報補正部１４から入力される画像情報に応じた駆動電圧を、画像形成領域Ａｉの各画素に印加し、各画素を画像情報に応じた光透過率に設定する。光源２１から射出された光は、液晶ライトバルブ２２Ｒ、２２Ｇ、及び２２Ｂ の画像形成領域Ａｉを透過することによって画素毎に変調され、画像情報に応じた画像光が色光毎に形成される。形成された各色の画像光は、不図示の色合成光学系によって画素毎に合成されてカラー画像を表す画像光となり、投射レンズ２３によって投射面Ｓｐに拡大投射される。この結果、投射面Ｓｐ上には、画像情報に基づく画像が表示される。

測定部１６は、制御部１０の制御に従って動作し、投射面Ｓｐの三次元形状を測定する。測定部１６は、パターン画像Ｉｐを撮像するための撮像部１７を有する。撮像部１７は、ＣＣＤ（Charge Coupled Device）センサー、或いはＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサー等の撮像素子を備えたカメラである。なお、図１では、撮像素子の図示は省略されている。撮像部１７は、画像投射部１５から投射面Ｓｐに投射されるパターン画像Ｉｐを撮像し、撮像画像を表す撮像画像情報を生成する。撮像部１７は、本開示における撮像装置の一例である。

測定部１６は、撮像部１７により生成される撮像画像情報に基づいて、投射面Ｓｐの三次元形状を測定する。具体的には、測定部１６は、撮像画像情報に基づく画像、即ち撮像部１７の撮像画像に含まれるパターン画像Ｉｐから複数の基準点を検出し、各基準点の三次元座標を導出する。測定部１６は本開示における測定装置の一例である。測定部１６は、導出した各基準点の三次元座標を、測定結果として補正情報生成部１８に出力する。

補正情報生成部１８は、制御部１０の制御に従って動作し、測定部１６の測定結果に基づいて、投射面Ｓｐの三次元形状に応じた画像の歪みを補正するための補正情報を生成する。補正情報生成部１８は、生成した補正情報を制御部１０に出力する。補正情報生成部１８及び画像情報補正部１４は、本開示における補正装置の一例である。

画像情報入力部１３、画像情報補正部１４、測定部１６及び補正情報生成部１８は、１つ又は複数のプロセッサー等によって構成されてもよいし、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の専用の処理装置によって構成されてもよい。

図２は、投射面Ｓｐの三次元形状を測定するためのパターン画像Ｉｐの一例を示す図である。パターン画像Ｉｐは画像形成領域Ａｉに形成される矩形の画像である。図２に示すように、パターン画像Ｉｐは、白色の単位パターンＵｗと、黒色の単位パターンＵｋとを、１５×１１のマトリクス状に配列した画像である。全ての単位パターンＵｗ及び単位パターンＵｋは合同の矩形であり、パターン画像Ｉｐでは、同色の単位パターンが上下左右に隣接しないように、単位パターンＵｗ及び単位パターンＵｋは市松模様状に配置されている。

測定部１６は、撮像部１７によって撮像されたパターン画像Ｉｐから、白色の単位パターンＵｗの頂点、即ち単位パターンＵｗの角部を基準点Ｃ１として検出する。矩形のパターン画像Ｉｐ内において、基準点Ｃ１は、１６×１２のマトリクス状に配置される。ここで、パターン画像Ｉｐは、各単位パターンＵｗ及び各単位パターンＵｋの輪郭線で構成される格子状の画像とみなすことも可能である。この場合、パターン画像Ｉｐは、複数の平行な直線である横線と、これに直交する複数の平行な直線である縦線とを含んで構成され、これらの交点、即ち格子の交点が基準点Ｃ１である。上記複数の横線と平行な軸は本開示における第１軸の一例であり、上記複数の縦線と平行な軸は本開示における第２軸の一例である。以下では、第１軸を横軸と呼び、第２軸を縦軸と呼ぶ場合がある。矩形のパターン画像Ｉｐ内において、縦軸に沿った格子間隔、即ち基準点Ｃ１の縦軸に沿った間隔は等間隔であり、横軸に沿った格子間隔、即ち基準点Ｃ１の横軸に沿った間隔も等間隔である。また、格子の角度、即ち縦線と横線がなす角度は直角である。また、単位パターンＵｗ及び単位パターンＵｋに対応する領域、即ち縦、横、斜めに隣り合う４つの基準点Ｃ１を頂点とする矩形の領域をブロックＢ１と呼ぶ場合がある。

次に、プロジェクター１００の動作について説明する。
図３及び図４は、歪み補正を行う際のプロジェクター１００の動作の流れ、即ち本開示の画像投射システムの制御方法の流れを示すフローチャートである。ユーザーがプロジェクター１００の入力操作部１２を操作して歪み補正の開始を指示すると、プロジェクター１００の制御部１０は、図３に示すフローチャートに従って動作する。

図３におけるステップＳ１０１では、制御部１０は、図２に示すパターン画像Ｉｐを画像投射部１５に投射させる。具体的には、制御部１０は、記憶部１１からパターン画像データＤｐを読み出し、読み出したパターン画像データＤｐを画像情報入力部１３に出力する。また、制御部１０は、画像情報補正部１４に対して補正処理を行わないように指示をする。この結果、画像形成領域Ａｉの全域にパターン画像Ｉｐが形成され、パターン画像Ｉｐが投射面Ｓｐに投射される。投射面Ｓｐが平面ではない場合、パターン画像Ｉｐは、投射面Ｓｐ上に歪んで表示される。

ステップＳ１０２では、制御部１０は、測定部１６に指示をして、投射面Ｓｐに投射されたパターン画像Ｉｐを撮像部１７で撮像させる。

例えば、図５に示すように、２つの壁面である平面Ｗ１及び平面Ｗ２が直角に交わり、且つ画像投射部１５から見て奥行き方向にへこんだ角部Ｎを含む範囲に画像が投射されるとする。図５は、鉛直に配設された投射面Ｓｐを上方から見た平面図であり、図５に示す例では直角に交わる２つの平面Ｗ１及び平面Ｗ２が投射面Ｓｐとなる。この場合、画像投射部１５から投射面Ｓｐまでの距離は、角部Ｎに近い位置ほど長くなる。図６は、撮像部１７で撮像された撮像画像Ｉｃを示す図である。図６に示すように、画像投射部１５から投射面Ｓｐに投射されたパターン画像Ｉｐは、角部Ｎに近い位置ほど大きく拡大されるように歪んで投射され、このように歪んで表示されたパターン画像Ｉｐが撮像画像Ｉｃとして撮像部１７により撮像される。

図３に戻って、ステップＳ１０３では、制御部１０は、測定部１６に指示をして、撮像部１７により撮像された撮像画像Ｉｃに基づいて、投射面Ｓｐの三次元形状を測定部１６に測定させる。測定部１６は、制御部１０からの指示を受けると、撮像画像Ｉｃに含まれるパターン画像Ｉｐから複数の基準点Ｃ１を検出する。ここで、矩形のパターン画像Ｉｐにおける各基準点Ｃ１の座標は既知であり、予め記憶部１１に記憶されている。以下では、記憶部１１に記憶されている各基準点Ｃ１の座標を基準座標と呼ぶ。測定部１６は、検出した基準点Ｃ１の座標、即ち撮像画像Ｉｃにおける基準点Ｃ１の座標と、記憶部１１に記憶されている基準座標との対応関係に基づいて、三角測量の原理により、投射面Ｓｐ上の基準点Ｃ１の三次元座標を導出する。測定部１６は、例えば、撮像部１７における不図示の撮像レンズの主点を原点とする三次元座標を求めることができる。この三次元座標により、投射面Ｓｐの三次元形状及び投射面Ｓｐ上における画像の歪みが認識可能となる。ステップＳ１０３にて算出される投射面Ｓｐ上の基準点Ｃ１の三次元座標は投射面Ｓｐの形状の三次元計測結果であり、本開示における計測情報の一例である。

例えば、投射面Ｓｐの形状として、図７に示すように、屏風のように１軸方向に形状が変位する三次元形状が計測されたとする。三次元計測においてはノイズを無限小に抑えることは実質的には不可能である。図７を参照すると、投射パターンが投射面Ｓｐで良好に散乱せずに十分な信号が取得できないなどにより、明らかに突出した深度エラー、大きな計測不良領域、微小な計測不良による三次元形状の歪等が発生していることが確認できる。

図３に戻って、ステップＳ１０４では、制御部１０は、補正情報生成部１８に指示をして、導出された基準点Ｃ１の三次元座標に基づいて、投射面Ｓｐの三次元形状に起因する歪みを補正するための補正情報を補正情報生成部１８に生成させる。補正情報生成部１８は、この指示を受けると、図４に示すフローに従って動作し、補正情報の生成を開始する。

図４に示すように、ステップＳ１１０では、補正情報生成部１８は、仮想投射面設定処理を実行する。画像の歪み補正を自動で行う場合、補正の前提となる投射面Ｓｐの三次元形状の計測精度が十分でなければ、所望の歪み補正を行うことはできない。ノイズを無限小に抑えることができないのであれば、何かしらの手段により補償することが重要である。ステップＳ１１０にて実行される仮想投射面設定処理は、投射面Ｓｐの三次元形状の計測結果に含まれるノイズを補償する処理である。仮想投射面設定処理では、補正情報生成部１８は、測定部１６により導出された基準点Ｃ１の三次元座標に基づいて、投射面Ｓｐの形状の三次元計測結果に含まれるノイズの少なくとも一部を除去した仮想投射面を設定する。

図８は、ステップＳ１１０にて補正情報生成部１８が実行する仮想投射面設定処理の処理内容を示すフローチャートである。図８に示すように、仮想投射面設定処理は、第１推定処理ＳＡ１１０、算出処理ＳＡ１２０、第２推定処理ＳＡ１３０、及び第３推定処理ＳＡ１４０を含む。図８に示すように、補正情報生成部１８は、まず、第１推定処理ＳＡ１１０を実行する。第１推定処理ＳＡ１１０では、補正情報生成部１８は、測定部１６により導出された基準点Ｃ１の三次元座標に基づいて、投射面ＳｐをＮ個に分割して得られる単位ユニット毎に法線ベクトルを推定する。Ｎは２以上の整数である。例えば、投射面Ｓｐを縦方向に３２個、且つ横方向に２０個に分割する場合には、Ｎ＝３２×２０＝６４０となる。Ｎ＝６４０の場合、補正情報生成部１８は、６４０個の単位ユニットの各々について法線ベクトルを推定する。その結果、６４０個の法線ベクトルが得られる。以下では、第１推定処理ＳＡ１１０にて算出されるＮ個の法線ベクトルを、法線ベクトル群と呼ぶ。

第１推定処理ＳＡ１１０に後続する算出処理ＳＡ１２０では、補正情報生成部１８は、仮想投射面を推定する際の基準となる基準面を規定する２つの基準ベクトルを法線ベクトル群に基づいて算出する。２つの基準ベクトルの一方である第１基準ベクトルは、ベクトルを表す３軸の成分の各々について法線ベクトル群の算術平均を算出することで得られる平均法線ベクトルである。２つの基準ベクトルのうちの他方である第２基準ベクトルは、ベクトルを表す３軸の成分のうち法線ベクトル群において分散の程度が最も大きい成分に対応する軸に沿ったベクトルである。第２基準ベクトルは本開示における第１ベクトルの一例である。

本実施形態では、補正情報生成部１８は、法線ベクトル群に対する主成分分析を行い、第１主成分のみに着目して得られる修正法線ベクトル群から第２基準ベクトルを算出する。主成分分析とは多変量解析手法のひとつであり、多変量からなるデータを分散最大化成分に次元圧縮する手法である。第１主成分とは主成分分析によって得られる第１固有ベクトルのことをいう。例えば、図７に示す三次元形状の計測結果から推定される法線ベクトル群に主成分分析を施すことで、図９に示す修正法線ベクトル群が求まる。三次元に分散をもつ法線ベクトル群に主成分分析を施すことで、当該法線ベクトル群を最も分散の大きい一次元成分のみに注目した修正法線ベクトル群に縮退させることができ、当該修正法線ベクトル群の算術平均が第２基準ベクトルとなる。第１基準ベクトルの算出と第２基準ベクトルの算出とは、同時並列に実行されてもよく、一方の実行後に他方が実行されてもよい。第１基準ベクトルを算出する処理は本開示における第１算出処理の一例であり、第２基準ベクトルを算出する処理は本開示における第２算出処理の一例である。つまり、本実施形態における算出処理ＳＡ１２０は本開示における第１算出処理及び第２算出処理に対応応する。

算出処理ＳＡ１２０に後続する第２推定処理ＳＡ１３０では、補正情報生成部１８は、第１基準ベクトル及び第２基準ベクトルに基づいて基準面を推定する。より具体的には、補正情報生成部１８は、第１基準ベクトルと第２基準ベクトルの外積を法線ベクトルとする面を基準面として推定する。なお、２つのベクトルの外積はベクトル積とも呼ばれる。

第２推定処理ＳＡ１３０に後続する第３推定処理ＳＡ１４０では、補正情報生成部１８は、まず、補正情報生成部１８は、まず、計測情報の示す各点を基準面に射影する。次いで、補正情報生成部１８は、計測情報の示す各点の基準面への射影結果、即ち基準面に射影された点の集合に対して、基準面の法線ベクトル及び第２基準ベクトルの両者に交わる方向に縮退させて一つの線にするフィルター処理を施す。このフィルター処理の具体例としてはガウシアンフィルターを用いたフィルター処理が挙げられる。そして、補正情報生成部１８は、上記フィルター処理により縮退させた線を基準面の法線ベクトルに沿って延長することで仮想投射面を推定する。第３推定処理ＳＡ１４０では、計測情報の示す各点を基準面に射影することで基準面の法線ベクトルの方向に対応する成分のノイズが除去される。また、計測情報の示す各点の基準面への射影結果にガウシアンフィルター等によるフィルター処理を施すことで、基準面の法線ベクトル及び第２基準ベクトルの両者に交わる方向に対応する成分のノイズが除去される。図１０は、図７に示す投射面Ｓｐの三次元計測結果から推定される仮想投射面の一例を示す図である。
以上が本実施形態における仮想投射面設定処理の処理内容である。

図４に戻って、ステップＳ１１１では、補正情報生成部１８は、ステップＳ１１０の仮想投射面設定処理にて設定された仮想投射面を単一の平面上に展開した二次元展開図を生成する。例えば、図５に示すように直角に交わる２つの平面Ｗ１及び平面Ｗ２が仮想投射面として仮想投射面設定処理にて設定されたとする。図１１は、上記仮想投射面に対して補正情報生成部１８が生成する二次元展開図Ｐｄの一例を示す図である。図１１に示すように、二次元展開図Ｐｄは、パターン画像Ｉｐが投射された仮想投射面上における基準点Ｃ１の位置関係を示す仮想図面であり、仮想投射面上におけるパターン画像Ｉｐの歪みを示す。図１１では、便宜上、縦軸及び横軸に沿って隣り合う基準点Ｃ１同士が直線で接続されている。つまり、二次元展開図Ｐｄは、パターン画像Ｉｐの単位パターンＵｗ及び単位パターンＵｋに対応する複数の矩形のブロックＢ１を含んで構成され、各ブロックＢ１の頂点が基準点Ｃ１である。そして、二次元展開図Ｐｄ上において、各ブロックＢ１の辺の長さ、即ち隣接する基準点Ｃ１間の距離は、仮想投射面上の対応する単位パターンＵｗ及び単位パターンＵｋの辺の長さと等しい。また、二次元展開図Ｐｄ上における各ブロックＢ１の頂点の角度は、仮想投射面上の対応する単位パターンＵｗ及び単位パターンＵｋの頂点の角度に等しい。

次いで、ステップＳ１１２では、補正情報生成部１８は、生成した二次元展開図Ｐｄ上に、表示画像を形成するための画像領域を設定する。画像領域は、表示画像の本来の形状、即ち画像形成領域Ａｉと相似の矩形の領域である。画像領域の位置及び大きさは、画像領域が二次元展開図Ｐｄからはみ出すことなく、且つできるだけ画像領域が大きくなるように設定されることが好ましい。

図１２は、二次元展開図Ｐｄ上に設定した画像領域Ａｓを示す図である。画像領域Ａｓは、表示画像の本来の形状、即ち画像形成領域Ａｉと相似の矩形の領域であり、その位置及び大きさは、二次元展開図Ｐｄからはみ出すことなく、且つできるだけ大きくなるように決定される。図１２では、便宜上、パターン画像Ｉｐに対応する格子模様が画像領域Ａｓに描画されており、格子によって区切られた矩形のブロックＢ２は、矩形のパターン画像ＩｐのブロックＢ１に対応する。また、画像領域Ａｓにおける縦軸及び横軸の各軸に沿った格子間隔はパターン画像Ｉｐと同様に夫々等間隔であり、格子の角度は直角である。また、画像領域Ａｓにおける格子の交点は、パターン画像Ｉｐにおける基準点Ｃ１に対応する基準点Ｃ２であり、これ以降、基準点Ｃ１を第１基準点Ｃ１と呼び、基準点Ｃ２を第２基準点Ｃ２と呼ぶ場合がある。このように、補正情報生成部１８は、二次元展開図Ｐｄ上に設定した画像領域Ａｓに、複数の第２基準点Ｃ２をマトリクス状に配置する。

図４に戻って、ステップＳ１１３では、補正情報生成部１８は、二次元展開図Ｐｄ上の第２基準点Ｃ２の座標を、画像形成領域Ａｉに対応する矩形の画像上の座標に変換する座標変換処理を行う。以下では、画像形成領域Ａｉに対応する矩形の画像を基本画像とも呼ぶ。より詳細に説明すると、補正情報生成部１８は、矩形のパターン画像Ｉｐ上の第１基準点Ｃ１の座標と二次元展開図Ｐｄ上の第１基準点Ｃ１の座標との対応関係に基づいて、第２基準点Ｃ２が配置された二次元展開図Ｐｄを基本画像の形状、即ち矩形に変形した場合の第２基準点Ｃ２の座標を導出する。第２基準点Ｃ２を含む画像領域Ａｓは、上記の座標変換処理により、基本画像上に歪んで配置される。ここで、基本画像上の第２基準点Ｃ２は、二次元展開図Ｐｄ上に配置された第２基準点Ｃ２を仮想投射面上に配置し直して、画像投射部１５の位置から観察した場合の画像に相当する。

次いで、ステップＳ１１４では、補正情報生成部１８は、基本画像上に配置された第２基準点Ｃ２の座標に基づいて、歪みを補正するための補正情報を生成する。ステップＳ１１４の処理は本開示における生成処理の一例である。補正情報は、例えば、複数のブロックＢ１に分割された表示画像の各ブロックＢ１に対して、夫々の４つの頂点、即ち４つの第１基準点Ｃ１の座標と、基本画像における画像領域Ａｓ内の対応するブロックＢ２の４つの頂点、即ち第２基準点Ｃ２の座標とに基づいて表示画像の変形を行うための変換テーブルである。この変形の具体例としては、射影変換が挙げられる。補正情報生成部１８は、生成した補正情報を制御部１０に出力する。その後、制御部１０は、図３に示すフローに処理を戻す。

図３に戻って、ステップＳ１０５では、制御部１０は、入力された補正情報を画像情報補正部１４に出力し、この補正情報に基づいて表示画像を補正する補正処理を画像情報補正部１４に開始させる。ステップＳ１０５にて開始される補正処理は本開示の補正処理の一例である。以降、画像情報補正部１４は、画像情報入力部１３から逐次入力される表示画像用の画像情報に対して、補正情報に応じた補正処理を行う。具体的には、画像情報補正部１４は、基本画像の画像領域Ａｓ内に表示画像を形成するとともに、画像領域Ａｓの外側の領域を黒色に設定する処理を行う。この結果、補正された画像情報に基づく画像が画像投射部１５から投射され、投射面Ｓｐには、歪みが補正された状態で表示画像が表示される。プロジェクター１００から投射される画像の全体は歪んでいるが、画像領域Ａｓの外側の領域が黒色に設定されているため、画像領域Ａｓ内に形成された表示画像のみが観察者に視認される。画像領域Ａｓは、二次元展開図Ｐｄ上では歪みのない矩形の領域であるため、実際の投射面Ｓｐ上では、矩形の紙を投射面Ｓｐに沿って貼り付けたような形状で表示される。

表示画像を表す画像情報が画像情報入力部１３に入力されると、画像情報補正部１４にて、上述した補正処理が為され、画像投射部１５から歪みが補正された状態で投射面Ｓｐに表示画像が投射される。画像投射部１５による表示画像の投射は本開示における投射処理の一例である。

本実施形態のプロジェクター１００によれば、投射面Ｓｐの形状の三次元計測結果に計測不良個所等に対応するノイズが含まれている場合でも、歪み補正された画像を良好に生成することができる。本実施形態では、三次元計測結果に計測不良によるノイズ等が含まれる場合について例示したが、同様の処理は、投射面Ｓｐとは無関係な不要物体が投射面Ｓｐの近傍に存在する場合についても適用することが可能である。例えば、投射面Ｓｐがマグネット式のホワイトボードであり、ホワイトボードにマグネット等の不要物体が貼り付けられている場合、マグネットの形状に合わせて歪み補正を行う必要はない。このような場合においても、上述した主成分分析を用いて仮想投射面を推定することにより、投射面Ｓｐと無関係な成分を除去することが可能となる。

以上説明したように、本実施形態のプロジェクター１００によれば、以下の効果を得ることができる。
（１）本実施形態のプロジェクター１００によれば、仮想投射面を推定する際の投射面の三次元計測結果の基準面への投射により当該三次計測結果に含まれるノイズの少なくとも一部が除去され、更に基準面への投射結果に対するフィルター処理により基準面の法線ベクトル及び第２基準ベクトルの両者に交わる方向のノイズが更に除去される。このように、三次計測結果に含まれるノイズの少なくとも一部を除去済の仮想投射面に基づいて補正情報が生成されるので、本実施形態によれば、投射面Ｓｐの三次元形状の計測結果に基づく投射画像の歪み補正に対する当該計測結果に含まれるノイズの影響を低減させることが可能になる。

（２）本実施形態のプロジェクター１００によれば、画像情報補正部１４は、等間隔で平行に配置された複数の縦線と、等間隔で平行に配置された複数の横線とが直交する格子パターンを表す画像情報が入力された場合に、格子の間隔比と角度が三次元形状の仮想投射面上において維持されるように、即ち格子が等間隔で角度が直角となるように画像情報を補正する。このため、観察者の位置に拘らず、観察者に不自然な印象を与えることを抑制できる。

（３）本実施形態のプロジェクター１００によれば、測定部１６は、画像投射部１５が投射したパターン画像Ｉｐを撮像部１７で撮像することによって投射面Ｓｐの三次元形状を測定するため、三次元形状を測定するための専用の装置を具備する必要がない。

（４）本実施形態のプロジェクター１００によれば、画像投射部１５と測定部１６とが一体的に構成されているため、画像投射部１５と測定部１６の配置の調整を都度行う必要がない。

２．その他の実施形態
図１３は、本開示の第２実施形態の制御方法により投射面に投射される画像の一例を示す図である。本実施形態では、表示画像における鉛直軸が基準面の法線ベクトルと一致するように、補正情報を生成する点が第１実施形態と異なる。なお、図１３では、基準面の法線ベクトルは、Wall axisと表記されている。本開示の制御方法には、基準面の法線ベクトル、換言すれば投射面の鉛直軸、を算出する算出処理が含まれているため、算出処理による算出結果を利用して図１３のような補正画像の生成を自動で行うことが可能である。なお、投射画像における鉛直軸が基準面に属するように、換言すれば投射画像のおける水平軸がWall axisと一致するように補正情報を生成してもよい。Wall axisに対して投影画像の垂直軸又は水平軸が一致していると、視聴者に対して空間に適合した画像を提供することができるため、好ましい。

図１４は、本開示の第３実施形態の制御方法により投射面に投射される画像の一例を示す図である。本実施形態では、プロジェクター１００の底面に含まれる軸と、表示画像の水平軸とが一致するように、換言すれば基準面の法線ベクトルに対する投射画像の鉛直軸の傾きが鉛直軸に対するプロジェクターの傾きと一致するように、補正情報を生成する点が第１実施形態と異なる。図１４ではプロジェクター１００の底面に含まれる軸はPJ horizontal axisと表記されている。なお、プロジェクター１００の鉛直軸に対する傾きについては、鉛直方向に対するプロジェクター１００の姿勢を検出するセンサーをプロジェクター１００に設け、当該センサーの検出結果から求めるようにすればよい。

３．変形例
また、上記各実施形態は、以下のように変更されてもよい。
上記各実施形態では、測定部１６は、画像投射部１５から投射されたパターン画像Ｉｐを撮像部１７で撮像することにより、投射面Ｓｐの三次元形状を測定するが、この態様に限定されない。例えば、測定部１６の代わりに、投射面Ｓｐの三次元形状を測定可能な三次元測定装置を備えた構成としてもよい。三次元測定装置としては、構造化光を投射する方式や、ＴＯＦ（Time Of Flight）方式等を採用することができる。また、構造化光を投射する方式については、上記実施形態のように、画像投射部１５から構造化光を投射する態様であってもよいし、三次元測定装置に備わる投射装置から構造化光を投射する態様であってもよい。なお、三次元計測の方法は特に限定されないが、位相シフト法を用いた三次元計測は、特に５ｍ未満程度の近中距離の測定に対しては計測精度が出やすく三次元形状が正確に計測され易い。このため、三次元計測の方法として位相シフト法が好ましい。

ここで、画像投射部１５以外の投射装置から構造化光を投射する態様では、不可視光（例えば、赤外光）の構造化光を投射する構成とすることもできる。この場合、投射される構造化光は観察者に観察されないため、表示画像の投射中に三次元形状の測定を行って補正情報を更新することも可能となる。また、ＴＯＦ方式によって三次元形状を測定する態様では、上記と同様、表示画像の投射中に三次元形状の測定を行って補正情報を更新することが可能であるうえ、不可視光を投射する投射装置を備える必要がない。

また、上述した三次元測定装置を備えた構成では、測定された投射面Ｓｐの三次元形状と、画像投射部１５と三次元測定装置との配置関係とに基づいて、画像投射部１５からパターン画像Ｉｐを投射した場合の基準点Ｃ１の三次元座標を算出することが可能であるため、実際にパターン画像Ｉｐを投射する必要はない。同様に、上記実施形態のように、画像投射部１５と撮像部１７とを備えた構成においても、例えば、画像投射部１５から構造化光を投射し、これを撮像部１７で撮像することによって投射面Ｓｐ の三次元形状を認識すれば、画像投射部１５と撮像部１７との配置関係に基づいて、画像投射部１５からパターン画像Ｉｐを投射した場合の基準点Ｃ１の三次元座標を算出することができる。このため、この構成の場合にも、実際にパターン画像Ｉｐを投射する必要はない。

上記各実施形態では、画像投射部１５が、複数の矩形の単位パターンＵｗ及び単位パターンＵｋがマトリクス状に配列されたパターン画像Ｉｐを投射し、測定部１６は、矩形の単位パターンＵｗの頂点、即ち格子の交点を基準点Ｃ１として検出するが、基準点Ｃ１は、単位パターンＵｗの頂点に限定されない。例えば、画像投射部１５が、輝度分布を有する複数の単位パターンが配列されたパターン画像を投射し、測定部１６は、各単位パターンの最大輝度位置又は最小輝度位置を基準点Ｃ１として検出してもよい。また、パターン画像内に配列された複数の図形の重心位置を基準点Ｃ１として検出してもよい。

上記各実施形態では、画像投射部１５及び測定部１６等の各構成要素を一体的に備えたプロジェクター１００について説明したが、各構成要素の一部又は全部が分離された構成であってもよい。ただし、画像投射部１５と測定部１６が分離されている場合には、設置の度に夫々の配置状態が変化するため、その都度キャリブレーションを行う必要がある。キャリブレーションとは、矩形のパターン画像Ｉｐ上の座標と撮像画像Ｉｃ上の座標とを対応付ける処理のことを言う。

上記各実施形態では、光変調装置として、透過型の液晶ライトバルブ２２Ｒ、２２Ｇ、及び２２Ｂ を用いたが、反射型の液晶ライトバルブ等、反射型の光変調装置を用いることも可能である。また、入射した光の射出方向を、画素としてのマイクロミラー毎に制御することにより、光源２１から射出された光を変調するデジタルミラーデバイス等を用いることもできる。また、色光別に複数の光変調装置を備える構成に限定されず、１つの光変調装置で複数の色光を時分割で変調する構成としてもよい。

４．各実施形態及び各変形例の少なくとも１つから把握される態様
本開示は、上述した各実施形態及び変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の態様で実現することができる。例えば、本開示は、以下の態様によっても実現可能である。以下に記載した各態様中の技術的特徴に対応する上記実施形態中の技術的特徴は、本開示の課題の一部又は全部を解決するために、或いは本開示の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

本開示の画像投射システムの制御方法の一態様は、第１推定処理と、第１算出処理と、第２算出処理と、第２推定処理と、第３推定処理と、生成処理と、補正処理と、投射処理と、を含む。第１推定処理では、画像が投射される投射面の形状の三次元計測結果である計測情報に基づいて前記投射面をＮ個に分割することによって得られるＮ個の領域の各々における法線ベクトルが推定される。なお、Ｎは２以上の整数である。第１算出処理では、前記Ｎ個の法線ベクトルの平均である平均法線ベクトルが算出される。第２算出処理では、ベクトルを表す３軸の成分のうち前記Ｎ個の法線ベクトルにおいて分散の程度が最も大きい成分に対応する軸に沿った第１ベクトルが算出される。第２推定処理では、前記第１ベクトルと前記平均法線ベクトルとの外積を法線ベクトルとする基準面が推定される。第３推定処理では、前記計測情報の示す前記投射面の三次元形状を前記基準面に射影することによって得られる射影結果に基づく面であり、且つ前記基準面に対して垂直な面である仮想投射面が推定される。生成処理では、画像を補正する補正情報が前記仮想投射面に基づいて生成される。補正処理では、投射画像が前記補正情報に基づいて補正される。そして、投射処理では、補正済の前記投射画像が前記投射面に投射される。本態様では、仮想投射面を推定する際の投射面の三次元計測結果の基準面への投射により当該三次計測結果に含まれるノイズの少なくとも一部が除去される。このため、仮想投射面に基づいて生成される補正情報に基づく画像の歪み補正は、当該少なくとも一部のノイズに起因する影響を受けない。このように、本態様によれば、投射面の三次元形状の計測結果に基づく投射画像の歪み補正に対する計測結果に含まれるノイズの影響を低減させることが可能になる。なお、第１算出処理と第２算出処理については、第２算出処理が先に実行されてもよく、また、第１算出処理と第２算出処理とが並列に実行されてもよい。

より好ましい態様の画像投射システムの制御方法においては、前記第３推定処理では、前記計測情報の示す前記投射面の三次元形状の前記基準面への射影結果にフィルター処理を施し、フィルター処理済みの前記射影結果に基づく面であり、且つ前記基準面に対して垂直な面を前記仮想投射面として推定してもよい。ここで、フィルター処理の具体例としては、前記射影結果を前記第１ベクトルの方向に縮退させて一つの線にする処理が挙げられ、具体的にはガウシアンフィルター処理が挙げられる。本態様によれば、投射面の三次計測結果に含まれるノイズを更に除去して仮想投射面が推定されるので、投射面の三次元形状の計測結果に基づく投射画像の歪み補正に対する、計測結果に含まれるノイズの影響を更に低減させることが可能になる。

より好ましい態様の画像投射システムの制御方法においては、前記生成処理では、前記投射画像における鉛直軸が前記基準面の法線ベクトルと一致するように前記補正情報が生成されてもよい。本態様によれば、基準面の法線ベクトル方向に鉛直軸を有する投射画像を投射面に投射することが可能になる。

また、別の好ましい態様の画像投射システムの制御方法においては、前記投射画像を投射するプロジェクターの鉛直軸に対する傾きを計測する計測処理を含み、前記生成処理では、前記基準面の法線ベクトルに対する前記投射画像の鉛直軸の傾きが前記プロジェクターの傾きと一致するように前記補正情報が生成されてもよい。本態様によれば、プロジェクターの鉛直軸に対する傾きに応じて基準面の法線ベクトル方向に対して鉛直軸が傾いた投射画像を投射面に投射することが可能になる。

本開示の画像投射システムの一態様は、補正装置と、投射装置とを含む。画像が投射される投射面の形状の三次元計測結果である計測情報に基づいて前記投射面をＮ個に分割することによって得られるＮ個の領域の各々における法線ベクトルを推定する。また、補正装置は、前記Ｎ個の法線ベクトルの平均である平均法線ベクトルを算出し、ベクトルを表す３軸の成分のうち前記Ｎ個の法線ベクトルにおいて分散の程度が最も大きい成分に対応する軸に沿った第１ベクトルを算出する。また、補正装置は、前記第１ベクトルと前記平均法線ベクトルとの外積を法線ベクトルとする基準面を推定する。また、補正装置は、前記計測情報の示す前記投射面の三次元形状を前記基準面に射影することによって得られる射影結果に基づく面であり、且つ前記基準面に対して垂直な面である仮想投射面を推定する。また、補正装置は、画像を補正する補正情報を前記仮想投射面に基づいて生成する。そして、補正装置は、投射画像を前記補正情報に基づいて補正する。投射装置は、前記補正装置により補正済の前記投射画像を前記投射面に投射する。本態様においても、Ｎは２以上の整数である。本態様によれば、投射面の三次元形状の計測結果に基づく投射画像の歪み補正に対する計測結果に含まれるノイズの影響を低減させることが可能になる。

１０…制御部、１１…記憶部、１２…入力操作部、１３…画像情報入力部、１４…画像情報補正部、１５…画像投射部、１６…測定部、１７…撮像部、１８…補正情報生成部、２１…光源、２２Ｒ，２２ Ｇ，２２Ｂ…液晶ライトバルブ、２３…投射レンズ、２４…ライトバルブ駆動部、１００…プロジェクター、Ａｓ…画像領域、Ｂ１，Ｂ２…ブロック、Ｃ１… 基準点、Ｃ２… 基準点、Ｄｐ…パターン画像データ、Ｉｃ…撮像画像、Ｉｐ…パターン画像、Ｎ…角部、Ｐｄ…二次元展開図、Ｓｐ…投射面、Ｕｗ，Ｕｋ…単位パターン、Ｗ１，Ｗ２ …平面。

Claims (4)

1. 画像が投射される投射面の形状の三次元計測結果である計測情報に基づいて前記投射面をＮ（Ｎは２以上の整数）個に分割することによって得られるＮ個の領域の各々における法線ベクトルを推定し、
   前記Ｎ個の法線ベクトルの平均である平均法線ベクトルを算出し、
   ベクトルを表す３軸の成分のうち前記Ｎ個の法線ベクトルにおいて分散の程度が最も大きい成分に対応する軸に沿った第１ベクトルを算出し、
   前記第１ベクトルと前記平均法線ベクトルとの外積を法線ベクトルとする基準面を推定し、
   前記計測情報の示す前記投射面の三次元形状を前記基準面に射影することによって得られる射影結果に基づく面であり、且つ前記基準面に対して垂直な面である仮想投射面を推定し、
   画像を補正する補正情報を前記仮想投射面に基づいて生成し、
   投射画像を前記補正情報に基づいて補正し、
   補正済の前記投射画像を前記投射面に投射する、
   ことを含む画像投射システムの制御方法。
2. 前記投射画像における鉛直軸が前記基準面の法線ベクトルと一致するように、前記補正情報を生成する、
   請求項１に記載の画像投射システムの制御方法。
3. 前記投射画像を投射するプロジェクターの鉛直軸に対する傾きを計測し、
   前記基準面の法線ベクトルに対する前記投射画像の鉛直軸の傾きが、前記プロジェクターの傾きと一致するように前記補正情報を生成する、
   請求項１に記載の画像投射システムの制御方法。
4. 画像が投射される投射面の形状の三次元計測結果である計測情報に基づいて前記投射面をＮ（Ｎは２以上の整数）個に分割することによって得られるＮ個の領域の各々における法線ベクトルを推定し、前記Ｎ個の法線ベクトルの平均である平均法線ベクトルを算出し、ベクトルを表す３軸の成分のうち前記Ｎ個の法線ベクトルにおいて分散の程度が最も大きい成分に対応する軸に沿った第１ベクトルを算出し、前記第１ベクトルと前記平均法線ベクトルとの外積を法線ベクトルとする基準面を推定し、前記計測情報の示す前記投射面の三次元形状を前記基準面に射影することによって得られる射影結果に基づく面であり、且つ前記基準面に対して垂直な面である仮想投射面を推定し、画像を補正する補正情報を前記仮想投射面に基づいて生成し、投射画像を前記補正情報に基づいて補正する補正装置と、
   前記補正装置により補正済の前記投射画像を前記投射面に投射する投射装置と、
   を含む画像投射システム。

Images