JP2017009909A - 投射型映像表示システム、投射型映像表示装置及び投射補正方法 - Google Patents

Abstract

【課題】複数のプロジェクタ投射像の位置ズレ、輝度や色のズレ補正において、利用者に知覚されにくい調整処理を実現する技術を提供する。
【解決手段】撮像部１０５を備えた第１の投射型映像表示装置100及び第２の投射型映像表示装置200を通信接続し、第１の投射型映像表示装置100及び第２の投射型映像表示装置200の明転又は暗転の切替動作と、投射制御部102による同期制御に従い、第１の投射型映像表示装置100の暗転条件と第２の投射型映像表示装置200の暗転条件とを変えて撮像した取得画像に基づき、第１投射画像及び第２投射画像の重複領域を検出し、重複領域の位置を基に第１及び第２の投射型映像表示装置100、200の投射位置の位置ズレ量と、投射画像及び重複領域の画像特徴量の差異とを解析する画像解析部106と、位置ズレ補正処理を実行する投射画像生成部108と、画質補正処理を行う画質設定部107とを備える。
【選択図】図２

Description

本発明は、２つ以上のプロジェクタによる映像投射装置及び投射方法に関する。

複数のプロジェクタから画像を投射し、一部の領域を重畳させて一つの画像を形成することにより大画面表示を実現する技術として、特許文献１では、「複数のプロジェクタの投射画像を貼り合わせて構成する高精細大画面投射表示装置において、全ての複数のプロジェクタ３ａ〜３ｄからスクリーン４の全ての投射領域にテスト画像を実際に投射した状態で、投射画像を画像撮影部５にて撮影し、該撮影テスト画像が重複領域を含めた全投射領域で目標とする明るさになるように、補正データ算出部１６で補正データを算出する（要約抜粋）」技術が開示されている。

また特許文献２には、「投射部がスクリーン上に投射された画像を一定時間毎に撮影し画像情報として入力するための入力部と、スクリーン上に投射された投射像と他方の携帯端末の投射部から前期スクリーン上に投射された投射象とのつなぎ目部分に生じる投射像の重複部分を重複部形状情報として検出する重複部分検出部と、重複部形状情報を保存する記憶部と、記憶部に保存されている時間的に連続の複数の重複部分の重複部形状情報を比較し重複部形状の時間的な変化量を検出する変化量検出部と、変化量検出部で検出された変化量から未来の重複部分の重複部形状情報を形成する重複部分予測部と、重複部分予測部で算出された未来の重複部分となる重複部形状部分に補正処理を実施する重複部補正処理部とを備え前記投射部は、重複部補正処理部の補正処理に基づき画像を投射する（要約抜粋）」技術が開示されている。

米国特許公報第６８１４４４８号明細書 特開２０１１−２０５４９２号公報

各プロジェクタから投射される個々の投射画像が重畳する領域において輝度や色、位置にズレが生じると、画像の繋ぎ目が目立ってしまう。この点に関し、上記特許文献１に係る手法では、複数のプロジェクタの投射画像が重複する領域（以降、重複領域と呼称する）付近の明るさの変化が連続的になるように補正することができるが、プロジェクタの個体差や経年劣化により個々のプロジェクタで輝度や色に差異が生じた場合、貼り合わされた画面全体では明るさが偏ってしまうという課題がある。

また、特許文献２に係る手法では、一定時間毎に投射画像を撮影することにより、動的なズレを検出し補正することができるが、重複領域に含まれる複数のプロジェクタ投射画像から個々のプロジェクタを特定し投射画像を分離する手法については開示されておらず、重複領域中の画像から特定のプロジェクタのズレを分離し検出することはできない。また、経年変化による輝度や色の差異を調整する手法についても開示されていない。

本発明は上記実情に鑑みてなされたものであり、複数のプロジェクタを設置した後も、個々のプロジェクタに生じる画質の変化及び位置ズレに対して動的に対応する技術を提供することを目的とする。

上記課題を解決するため、本発明は第１の投射型映像表示装置及び第２の投射型映像表示装置を通信接続し、前記第１の投射型映像表示装置が投射面に投射した第１投射画像、及び前記第２の投射型映像表示装置が前記投射面に投射した第２投射画像を重複させて表示する投射型映像表示システムであって、前記投射面を撮像する撮像部と、前記第１投射画像を投射する拡大光学系を含む第１投射部と、前記第２投射画像を投射する拡大光学系を含む第２投射部と、前記第１投射部の明転又は暗転の切替動作、前記第２投射部の明転又は暗転の切替動作、及び前記撮像部による前記投射面の撮像動作の同期制御を実行する投射制御部と、前記投射制御部による同期制御に従い、前記第１投射部の明転又は暗転条件及び前記第２投射部の明転又は暗転条件を変えて前記撮像部が複数回撮像して生成した複数の前記投射面の取得画像に基づき、前記第１投射画像及び前記第２投射画像の重複領域を検出し、当該重複領域の位置を基に前記第１投射部の投射位置及び前記第２投射部の投射位置の位置ズレ量を解析するとともに、前記第１投射画像における前記重複領域とは異なる領域の画像特徴量及び前記重複領域の画像特徴量の第１の差異、及び前記第２投射画像における前記重複領域とは異なる領域の画像特徴量及び前記重複領域の画像特徴量の第２の差異を解析する画像解析部と、前記画像解析部が解析した前記位置ズレ量に基づいて、前記第１投射画像及び前記第２投射画像の少なくとも一つに対し前記位置ズレ量を相殺する補正量を用いた位置ズレ補正処理を実行する投射画像生成部と、前記第１の差異を相殺する補正量を用いた前記第１投射画像の画質補正処理、及び前記第２の差異を相殺する補正量を用いた前記第２投射画像の画質補正処理を行う画質設定部と、を備えることを特徴とする。

また本発明は、他の投射型映像表示装置と通信接続され、当該他の投射型映像表示装置が投射面に投射した他の投射画像と重複させて前記投射面に投射画像を投射する投射型映像表示装置であって、前記他の投射型映像表示装置と通信接続をするための通信部と、前記投射面を撮像する撮像部と、前記投射面に前記投射画像を投射する拡大光学系を含む投射部と、前記投射部の明転又は暗転の切替動作、前記他の投射型映像表示装置の明転又は暗転の切替動作、及び前記撮像部による前記投射面の撮像動作の同期制御を実行する投射制御部と、前記投射制御部による同期制御に従い、前記投射部の明転又は暗転条件及び前記他の投射型映像表示装置の明転又は暗転条件を変えて前記撮像部が複数回撮像して生成した複数の前記投射面の取得画像に基づき、前記投射画像及び前記他の投射画像の重複領域を検出し、当該重複領域の位置を基に前記投射部の投射位置及び前記他の投射型映像表示装置の投射位置の位置ズレ量を解析するとともに、前記投射画像における前記重複領域とは異なる領域の画像特徴量及び前記重複領域の画像特徴量の差異を解析する画像解析部と、前記画像解析部が解析した前記位置ズレ量に基づいて、前記投射画像に対し前記位置ズレ量を相殺する補正量を用いた位置ズレ補正処理を実行する投射画像生成部と、前記差異を相殺する補正量を用いた前記投射画像の画質補正処理を行う画質設定部と、を備えることを特徴とする。

また本発明は、第１の投射型映像表示装置及び第２の投射型映像表示装置を通信接続し、前記第１の投射型映像表示装置が投射面に投射した第１投射画像、及び前記第２の投射型映像表示装置が前記投射面に投射した第２投射画像を重複させて表示する投射型映像表示システムにおける投射補正方法であって、前記第１の投射型映像表示装置及び前記第２の投射型映像表示装置を共に暗転させて前記投射面を撮像し、第１取得画像を生成するステップと、前記第１の投射型映像表示装置を明転、前記第２の投射型映像表示装置を暗転させて前記投射面を撮像し、第２取得画像を生成するステップと、前記第１の投射型映像表示装置を暗転及び前記第２の投射型映像表示装置を明転させて前記投射面を撮像し、第３取得画像を生成するステップと、前記第１取得画像と前記第２取得画像とを差分して前記第１投射画像の取得画像を生成するステップと、前記第１取得画像と前記第３取得画像とを差分して前記第２投射画像の取得画像を生成するステップと、前記第１投射画像の取得画像及び前記第２投射画像の取得画像を差分することにより前記第１投射画像及び前記第２投射画像の重複領域を検出するステップと、前記重複領域の位置を基に前記第１投射部の投射位置及び前記第２投射部の投射位置の位置ズレ量を解析し、前記第１投射画像及び前記第２投射画像の少なくとも一つに対し前記位置ズレ量を相殺する補正量を用いた位置ズレ補正処理を実行するステップと、前記第１投射画像における前記重複領域とは異なる領域の画像領域と前記重複領域の画像特徴量との第１の差異、及び前記第２投射画像における前記重複領域とは異なる領域の画像特徴量と前記重複領域の画像特徴量との第２の差異を解析し、前記第１の差異を相殺する補正量を用いた前記第１投射画像の画質補正処理、及び前記第２の差異を相殺する補正量を用いた前記第２投射画像の画質補正処理を行うステップと、を含むことを特徴とする。

本発明によれば、複数のプロジェクタを設置した後も、個々のプロジェクタに生じる画質の変化及び位置ズレに対して動的に対応する技術を提供することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の第一実施形態で用いられる投射型映像表示装置）の構成例を示す図 第一実施形態の投射型映像表示システムの構成例を示す図 第一実施形態の投射型映像表示装置の使用状況を例示する図 ２つの投射型映像表示装置による投射画像及び、投射画像を結合した大きな画像を例示する図であって、（Ａ）は第１の投射型映像表示装置による投射画像を示し、（Ｂ）は第２の投射型映像表示装置による投射画像を示し、（Ｃ）は二つの投射画像をスクリーン上で精度高く重畳させた画像を示し、（Ｄ）は二つの画像の重畳にズレが生じている画像を示す。 投射画像の重複領域における輝度や色、投射位置のズレを調整するフローチャート 暗転条件を変えて撮像部が撮像した画像の例を示す図であって、（Ａ）は第１の投射型映像表示装置及び第２の投射型映像表示装置を共に暗転させた取得画像（第１取得画像）を示し、（Ｂ）は第１の投射型映像表示装置だけを明転させた取得画像（第２取得画像）を示し、（Ｃ）はは第２の投射型映像表示装置だけを明転させた取得画像（第３取得画像）を示し、（Ｄ）は両投射画像の重畳領域の画像を示す。 第１の投射型映像表示装置のハードウェア構成を示すブロック図 明暗転制御処理と撮像処理の同期制御に関係する構成を示す図 図５の各ステップにおける明転／暗転及び撮像の同期状態を示すタイムチャート 第二実施形態の処理の流れを示すフローチャート

以下の実施の形態においては、便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明する。以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。なお、以下の実施の形態において、その構成要素（処理ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須ではない。

また、以下の実施の形態における各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路その他のハードウェアとして実現しても良い。また、後述する各構成、機能、処理部、処理手段等は、コンピュータ上で実行されるプログラムとして実現しても良い。すなわち、ソフトウェアとして実現しても良い。各構成、機能、処理部、処理手段等を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶部、ＩＣカード、ＳＤカード、ＤＶＤ等の記憶媒体に格納することができる。

以下、本発明に係る実施形態を適用した投射型映像表示装置の例について、図面を参照して説明する。

＜第一実施形態＞
図１は、本発明の第一実施形態で用いられる投射型映像表示装置の構成例を示す図である。図２は、第一実施形態の投射型映像表示システムの構成例を示す図である。図２に示すように投射型映像表示システム１は２つ以上の投射型映像表示装置、本実施形態では第１の投射型映像表示装置１００及び第２の投射型映像表示装置２００を組み合わせることにより、各々の投射画像の一部を重畳させながら繋ぎ合わせて１つの大画面の映像を表示する装置である。投射型映像表示装置とは、スクリーンに投射することにより利用者に映像を提供する装置である。本実施形態では、第１の投射型映像表示装置１００をマスター、第２の投射型映像表示装置２００をスレーブとし、第１の投射型映像表示装置１００から第２の投射型映像表示装置２００に対して投射画像の画質調整、位置ズレ調整に必要な情報や、投射画像を出力するものとする。

以降の説明は２つの投射型映像表示装置での実施形態を例示するが、本発明は３つ以上の投射型映像表示装置の組合せに対しても実施できる。各実施形態において、投射型映像表示装置はプロジェクタとして説明するが、プロジェクタ機能を内蔵した携帯電話やタブレット端末、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、ＨＵＤ（Ｈｅａｄ Ｕｐ Ｄｉｓｐｌａｙ）等の電子情報端末であっても良い。

図１に示すように第１の投射型映像表示装置１００は、画像入力部１０１、投射制御部１０２、投射部１０３、撮像制御部１０４、撮像部１０５、画像解析部１０６、画質設定部１０７、投射画像生成部１０８、画像出力部１０９、通信部１１０、及びバス１１１を含む。

画像入力部１０１は、映像再生機やＰＣなどの外部接続機器の画像の入力処理を行う。例えば入力画像がアナログ画像であった場合にはデコード処理により量子化し、以降の処理で扱うためのデジタル画像に変換する。また、入力される画像の一部を画像出力部１０９より第２の投射型映像表示装置２００に出力する。

投射制御部１０２は、投射する画像の明転と暗転を高速に制御する。制御方法について詳細は後述するが、カメラによる投射画像を撮影する処理と同期させて撮影の瞬間に投射画像を暗転させる。また、併せて、通信部１１０を介して第２の投射型映像表示装置２００の投射の明転と暗転の切替を通知する。以降の説明では、各々の投射画像の暗転の切替処理を「暗転条件を変える」等と呼称する。暗転条件を変えることにより、２つの投射型映像表示装置により投射される画像の片方もしくは両方の表示を消す。投射画像の暗転方法としては、具体的には全画面黒の画像を表示することにより実施するが、例えばメカニカルシャッターにより投射を遮断するのでも良いし、光源を一時的に消灯するのでも良い。

投射部１０３は、画像入力部１０１から入力し画質設定部１０７及び投射画像生成部１０８により生成された画像をスクリーンに投射する。投射制御部１０２により暗転を制御された場合には、前述の通り表示を消す。

撮像制御部１０４は、前述の投射制御部１０２による投射画像の暗転制御と同期して、撮像部１０５の撮像処理のタイミングを制御する。

撮像部１０５は、撮像制御部１０４の制御情報に基づき、投射部１０３により投射される画像を撮影する。撮像部１０５は、第１の投射型映像表示装置１００及び第２の投射型映像表示装置２００から投射される画像の重複領域を撮像するように設置される。撮像部１０５は、撮像制御部１０４からの制御情報を受信し、異なる暗転条件について重複領域部分を撮像し、各々の撮影画像を画像解析部１０６に送信する。図２では投射型映像表示装置１００に内蔵された構成で示しているが、第１の投射型映像表示装置１００と独立な構成であっても良く、この場合、撮像部１０５と撮像制御部１０４及び撮像部１０５と画像解析部１０６との間は有線もしくは無線で接続される。

画像解析部１０６は、撮像部１０５から出力される画像を取得し、異なる暗転条件で撮影される画像で差分を取ることにより、各々の投射型映像表示装置により投射される画像の輝度や色の差異、投射位置のズレを解析する。具体的には、重複領域における輝度ヒストグラムやカラーヒストグラム等から輝度や色の差異を算出し、画像中の輝度変化位置の比較やパターンマッチングによる画像相関等から投射画像の位置ズレ量を求める。このうち、輝度や色の差異は画質設定部１０７で参照され、投射位置のズレは投射画像生成部１０８で参照される。また、各解析結果は、通信部１１０を介して第２の投射型映像表示装置２００に送信され、第２の投射型映像表示装置２００においても画質設定及び投射位置ズレの調整に用いられる。

画質設定部１０７は、画像入力部１０１から入力する画像のうち投射型映像表示装置１００で投射する画像に対して、画像解析部１０６により解析された輝度や色の差異に基づき、輝度と色を調整する。具体的には、第２の投射型映像表示装置２００の投射画像との間で輝度や色の差分を低減させるように、輝度ガンマ設定やホワイトバランス等の画質調整を行う。

投射画像生成部１０８は、画質設定部１０７により画質調整された画像に対して、画像解析部１０６により解析された投射位置のズレに基づき投射画像を調整する。具体的には、第２の投射型映像表示装置２００の投射画像との間で位置ズレを低減させるように、投射画像を上下左右に並進移動させる、投射画像を回転させる、台形補正を適用する等の投射画像調整を行う。また、併せて、第２の投射型映像表示装置２００の投射画像と重複して投射する領域について、繋ぎ目で各々の投射画像がスムーズに切り替わるように、投射画像の縁に向かって画素値を徐々に黒に近づけるような画像生成も行う。

画像出力部１０９は、画像入力部１０１より入力される画像のうち、第２の投射型映像表示装置２００で表示する部分を出力する。

通信部１１０は、投射制御部１０２により制御される暗転制御の情報及び、画像解析部１０６により解析される各投射画像の輝度や色、投射位置のズレ量の情報を、第２の投射型映像表示装置２００に送受信する。通信部１１０による第２の投射型映像表示装置２００との通信結果より、第２の投射型映像表示装置２００が画質設定部１０７もしくは投射画像生成部１０８の機能を有していないことを検出した場合、画質調整及び投射画像調整を行った画像を画像出力部１０９から出力しても良い。

バス１１１は、各処理部で扱う画像データ及び制御情報、解析情報を仲介する。

また図２に示すように第２の投射型映像表示装置２００は、第１の投射型映像表示装置１００から撮像制御部１０４、撮像部１０５、画像解析部１０６、画像出力部１０９を除いた構成である。すなわち、第２の投射型映像表示装置２００は、画像入力部２００、投射制御部２０２、投射部２０３、画質設定部２０７、投射画像生成部２０８、通信部２１０、及びバス２１１を備える。

画像入力部２０１は、投射型映像表示装置１００の画像出力部１０９から伝送される画像の入力処理を行う。

投射制御部２０２は、通信部２１０により取得される暗転制御の情報に基づき、投射部２０３の投射画像の暗転を切り替える。

また、投射部２０３は、画像入力部２０１から入力し画質設定部２０７及び投射画像生成部２０８により生成された画像をスクリーンに投射する。また、前述の通り、投射制御部２０２の制御により表示を消す。前述の通り、暗転制御は撮像部１０５による撮影と同期を取っており、投射部１０３と投射部２０３の暗転を切り替えて撮像部１０５にて撮影する。

画質設定部２０７は、通信部２１０により取得される輝度や色の差異の情報に基づき、画質設定部１０７と同様に投射画像の輝度と色を調整する。

投射画像生成部２０８は、通信部２１０により取得される投射位置のズレの情報に基づき、投射画像生成部１０８と同様に投射画像を調整する。

通信部２１０は、通信部１１０から伝送される暗転制御の情報及び、投射画像の輝度や色の差異、投射位置のズレ量の情報を受信する。

図２では、第２の投射型映像表示装置２００は画質設定部２０７及び投射画像生成部２０８を有している構成を示しているが、これらの処理部を有していない場合は、これらの処理部を有していないことを示す情報を通信部２１０から通信部１１０に情報を送信し、画像出力部１０９から出力する画像に画質調整及び投射画像調整を施しても良い。

図３は、第一実施形態の投射型映像表示装置の使用状況を例示する図である。図２における第１の投射型映像表示装置１００及び第２の投射型映像表示装置２００を横に並べて配置し、それぞれスクリーン３００に画像を投射している状況を示している。第１の投射型映像表示装置１００による投射画像３１０と第２の投射型映像表示装置２００による投射画像３２０は、重なり合う重複領域３３０を有しており、１枚の大きな画像を形成している。第１の投射型映像表示装置１００には撮像部１０５が内蔵されており、重複領域３３０を含む投射画像を撮像できる条件にて設置されている。伝送線３０１は、第１の投射型映像表示装置１００に画像入力をするデータ線であり、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）再生機やＰＣ等から出力される画像が伝送される。伝送線３０２は、第１の投射型映像表示装置１００と第２の投射型映像表示装置２００との間で、画像や暗転制御の情報、投射画像３１０と投射画像３２０との輝度や色の差異、投射位置のズレの情報を伝送する。

図３に示すような構成において、投射制御部１０２による投射画像３１０及び投射画像３２０の暗転と、撮像制御部１０４による撮像部１０５の撮像を同期させることにより、撮像される画像中に含まれる重複領域３３０を検出し、第１の投射型映像表示装置１００と第２の投射型映像表示装置２００との間の輝度や色の差異及び投射位置のズレを解析する。

図４は、２つの投射型映像表示装置による投射画像及び、投射画像を結合した大きな画像を例示する図であって、（Ａ）は第１の投射型映像表示装置による投射画像を示し、（Ｂ）は第２の投射型映像表示装置による投射画像を示し、（Ｃ）は二つの投射画像をスクリーン上で精度高く重畳させた画像を示し、（Ｄ）は二つの画像の重畳にズレが生じている画像を示す。図４（Ａ）、図４（Ｂ）に示すように投射画像３１０、３２０のそれぞれは、それぞれがスクリーン上で重畳される領域として、重複領域３３０−１及び重複領域３３０−２を持つ。

図４（Ｃ）に示すように、重複領域３３０−１と重複領域３３０−２が精度高く重畳されていることにより、投射画像３１０と投射画像３２０がズレ無く繋がり１つの大きな画像を形成している。重複領域３３０は、２つの投射型映像表示装置の投射画像が重なり合い、他の領域と比較して輝度が高くなる。このため、投射画像が重畳したときの輝度を考慮して、重畳領域に該当する投射画像の輝度を落とすような画像を生成する。例えば、重複領域３３０−１と重複領域３３０−２の部分のみ輝度を半減した画像を投射させても良いし、重複領域の一端からもう一端に向けて、連続的に輝度を低減させた画像を投射させても良い。

一方、投射画像３１０と投射画像３２０の重畳にズレが生じている画像（図４（Ｄ）参照）のように、２つの投射型映像表示装置１００、２００もしくはスクリーン３００の設置位置が動くなどにより、重複領域３３０に該当する投射画像にズレが生じてしまい、利用者が見たときに違和感を持つ画像となってしまう。

以上、投射画像３１０と投射画像３２０を投射する位置にズレが生じたときの課題について述べたが、２つの投射型映像表示装置の輝度や色に差異が生じることも利用者が違和感を持つ要因となる。輝度や色の差異は、光源や偏向素子などの経年変化によって明るさや色調が変化していくことに起因しており、使用環境や利用年数、個体差によりばらつきが見られるものである。この差異が大きい場合、例えば図４（Ｃ）のように投射位置にズレが生じていない条件であっても、投射画像３１０と投射画像３２０との間で輝度や色に偏りが見られることにより利用者に違和感を持たせる画像となってしまう。

図５は、投射画像の重複領域における輝度や色、投射位置のズレを調整するフローチャートである。本実施形態は、サイネージ表示のように、定常的に利用者に画像を投射し続けており、利用者に本処理を知覚させることなく調整を完了させることを想定している。また図６は、暗転条件を変えて撮像部１０５が撮像した画像の例である。以下、図６を参照しながら図５の各処理を説明する。ここで図６は暗転条件を変えて撮像部が撮像した画像の例を示す図であって、（Ａ）は第１の投射型映像表示装置及び第２の投射型映像表示装置を共に暗転させた取得画像（第１取得画像）を示し、（Ｂ）は第１の投射型映像表示装置だけを明転させた取得画像（第２取得画像）を示し、（Ｃ）はは第２の投射型映像表示装置だけを明転させた取得画像（第３取得画像）を示し、（Ｄ）は両投射画像の重畳領域の画像を示す。

まず、本処理が開始されると、投射制御部１０４は投射画像３１０及び投射画像３２０を暗転させる（ステップＳ５０１）。第２の投射型映像表示装置２００に対しては、通信部１１０を経由して暗転制御の情報を発信し、投射制御部２０２により投射画像３２０を暗転させる。

投射画像３１０及び投射画像３２０を暗転した後、撮像制御部１０４は撮像部１０５を制御しスクリーン３００の画像を取得する（ステップＳ５０２）。このときの取得画像（撮像部１０５による撮像画像）の例を図６（Ａ）に示す。図中の点線領域６１０及び点線領域６２０は、それぞれ投射画像３１０及び投射画像３２０が投射される位置を参考までに示しているが、実際には各投射画像は暗転されており取得画像は映らず、スクリーン３００のみが映っている。

次に、投射画像３１０の暗転を解除し、スクリーン３００に投射画像３１０のみが映っている状態を作る（ステップＳ５０３）。

ステップＳ５０３が完了した後、ステップＳ５０２と同様に撮像部１０５によりスクリーン３００の画像を取得する（ステップＳ５０４）。このときの取得画像の例を図６（Ｂ）に示す。

さらに、投射画像３１０を再び暗転させ（ステップＳ５０５）、投射画像３２０の暗転を解除する（ステップＳ５０６）。結果、スクリーン３００に投射画像３２０のみが映っている状態を作る。その後、撮像部１０５によりスクリーン３００の画像を取得する（Ｓ５０７）。このときの取得画像の例を図６（Ｃ）に示す。

必要な画像取得が完了した後、投射画像３１０の暗転を解除し（ステップＳ５０８）、スクリーン上には投射画像３１０及び投射画像３２０の両方を投射させる状態に戻す。

画像解析部１０６では、図６（Ａ）、図６（Ｂ）、図６（Ｃ）に例示する３枚の画像より、投射画像３１０、投射画像３２０、重複領域３３０の位置を検出する（ステップＳ５０９）。具体的には、図６（Ａ）の取得画像と図６（Ｂ）取得画像で画像相関を取り、相関の低い領域を投射画像３１０の位置として精度高く検出する。例えば、図６（Ａ）の取得画像と図６（Ｂ）の取得画像との差分を求めると図６（Ｂ）の投射画像３１０が撮像された差分画像が得られ、その位置（座標）がわかる。

同様にして、図６（Ａ）の取得画像と図６（Ｃ）の取得画像との画像相関より投射画像３２０の位置を精度高く検出する。例えば、図６（Ａ）の取得画像と図６（Ｃ）の取得画像との差分を求めると図６（Ｃ）の投射画像３２０が撮像された差分画像が得られ、その位置（座標）がわかる。

次に画像解析部１０６は、投射画像３１０の位置及び投射画像３２０の位置より、これらが重畳する重複領域３３０の位置を求める。具体的には、投射画像３１０及び投射画像３２０を包含する領域内において、図６（Ｂ）と図６（Ｃ）との画像相関を取り、相関の高い領域を重複領域３３０として検出する。このとき抽出される重複領域３３０の例を図６（Ｄ）に示す。ここでの処理例として、例えば図６（Ｂ）の投射画像３１０が撮像された差分画像と図６（Ｃ）の投射画像３２０が撮像された差分画像との差分を求めると、差分画像として図６（Ｄ）の重複領域３３０が得られる。

ステップＳ５０９において重複領域３３０を得るための処理は、差分画像としての重複領域３００を得る処理に限らない。例えば、図６（Ｂ）の投射画像３１０の４隅の４点座標、及び図６（Ｃ）の投射画像３２０の４隅の４点座標を求め、これらの座標で囲まれる閉領域の内、重複する座標の集合を重複領域３３０として求めてもよい。

引き続き画像解析部１０６において、図６（Ｂ）に例示する投射画像３１０の取得画像と図６（Ｃ）に例示する投射画像３２０の取得画像それぞれに対して、ステップＳ５０９で検出した重複領域３３０における輝度変化位置の比較もしくはパターンマッチングによる画像相関等から投射画像の位置ズレ量を求める（ステップＳ５１０）。

さらに、重複領域３３０における輝度ヒストグラムやカラーヒストグラム等を算出し、投射画像３１０の取得画像及び投射画像３２０の取得画像に対して、投射画像間の輝度や色の差異を算出する（ステップＳ５１１）。輝度や色を総称して画像特徴量という。画像解析部１０６は、重複領域３３０の画像特徴量を基に投射画像３１０における重複領域３３０−１とは異なる領域の画像領域と重複領域３３０の画像特徴量との第１の差異、及び投射画像３２０における重複領域３３０−２とは異なる領域の画像領域と重複領域３３０の画像特徴量との第２の差異を解析する。そして画質設定部１０７は、第１の差異を相殺する補正量を用いた投射画像３１０の画質補正処理、及び第２の差異を相殺する補正量を用いた投射画像３２０の画質補正処理を行う。

画像解析部１０６はステップＳ５１０で求めた投射画像の位置ズレ量を、投射画像生成部１０８及び投射画像生成部２０８に通知し、投射画像の位置補正を行う（ステップＳ５１２）。具体的には、投射画像生成部１０８は、画像解析部１０６が解析した位置ズレ量に基づいて、第１の投射型映像表示装置１００の投射画像及び第２の投射型映像表示装置２００の投射画像の少なくとも一つに対し、上記位置ズレ量を相殺する補正量を用いた位置ズレ補正処理を実行する。例えば、投射部１０３が投射する投射画像の投射位置を上下左右に並進移動させる、投射画像を回転させる、台形補正を適用する等により調整する。投射画像の位置ズレ量に対する位置補正は、位置ズレを０にする補正値を直ちに設定しても良いし、数回の調整処理に分けて徐々に補正値を変化させるものでも良い。例えば位置ズレ量の半値幅を投射画像生成部１０８及び投射画像生成部２０８の双方がそれぞれ補正してもよい。同様に、投射画像生成部２０８は、投射部２０３が投射する投射画像の投射位置の位置ズレ量に対する位置補正を行う。

画像解析部１０６はステップＳ５１１で求めた投射画像間の輝度や色の差異を画質設定部１０７及び画質設定部２０７に通知し、画質設定部１０７は投射部１０３が投射する投射画像に対して輝度ガンマ設定やホワイトバランス調整等により画質調整を行い、画質設定部２０７は投射部２０３が投射する投射画像に対して上記画質調整を行う（ステップＳ５１３）。ステップＳ５１２で上述したのと同様に、輝度や色の差異を０にする補正値を直ちに設定しても良いし、数回の調整処理に分けて徐々に補正値を変化させるものでも良い。

上記の投射画像３１０もしくは投射画像３２０を暗転させる時間は、１／３０秒もしくはさらに短い時間であることが好ましい。例えば、撮像部１０５を高速シャッターカメラとし、投射部１０３及び投射部２０３による暗転時間を高速で制御できるのであれば、利用者に気づかれることなく調整処理を断続的に行うことが可能となる。

次に図７を参照して第１の投射型映像表示装置１００のハードウェア構成について説明する。図７は、第１の投射型映像表示装置１００のハードウェア構成を示すブロック図である。

図７に示すように第１の投射型映像表示装置１００は、制御装置１６０と、制御装置１６０に接続されるカメラ１７０（撮像部１５０に含まれる）と、拡大光学系１８０（投射部１３０に含まれる）と、を含む。

制御装置１６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１６１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１６２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１６３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１６４、バス１１１、Ｉ／Ｆ１６６を含み、Ｉ／Ｆ１６６を介してカメラ１７０、投射光学系１８０、及び伝送線３０１、３０２の其々が接続される。

図１で説明した画像入力部１０１、投射制御部１０２、撮像制御部１０４、画像解析部１０６、画質設定部１０７、投射画像生成部１０８、画像出力部１０９、及び通信部１１０は、これらの機能を実現するソフトウェアがＲＡＭ１６３にロードされ、ＣＰＵ１６１により実行されることで構成される。上記ソフトウェアは、ＲＯＭ１６２やＨＤＤ１６４に格納される。

カメラ１７０は、重複領域３３０を検出するためにスクリーン３００の投射画像を撮像するカメラである。第１の投射型映像表示装置１００に内蔵されてもよいし、外付けされてもよい。なお、撮像部１５０は、カメラ１７０とカメラ１７０のドライバソフトウェアとを総称したものである。

拡大光学系１８０は、光源、投射する画像を表示する透過型ディスプレイ、拡張系光学素子を含むレンズユニット、及び自由曲面ミラー等、画像をスクリーン３００に拡大投射するための光学素子が含まれる。

次に図８及び図９を参照して、明暗転制御の詳細について別例について説明する。図８は、暗転制御処理と撮像処理の同期制御に関係する構成を示す図である。図９は図５の各ステップにおける明転／暗転及び撮像の同期状態を示すタイムチャートである。

上記では図５の説明において、投射制御部１０２が投射制御部２０２及び撮像制御部１０４に明暗転制御に関する指示や撮像指示を通知して、投射画像の明暗転制御処理と撮像処理の同期をとると説明したが、同期の取り方はこの例に限らない。

別例として図８に示すようにＲＡＭ１６３の一領域に、投射画像３１０の明転、暗転を示すフラグを書き込むフラグＡ領域、投射画像３２０の明転、暗転を示すフラグを書き込むフラグＢ領域、及びカメラ１７０による撮像（画像の取得）の実行済／未実行を示すフラグを書き込むフラグＣ領域を備えてもよい。

フラグＡ領域は、図９の投射画像３１０のタイムチャートにおいて「明」のタイミングでフラグが書き込まれ（値「１」が書き込まれ）、「暗」のタイミングでフラグが消される（値「０」が書き込まれる）。

同様にフラグＢ領域は、図９の投射画像３２０のタイムチャートにおいて「明」のタイミングでフラグが書き込まれ（値「１」が書き込まれ）、「暗」のタイミングでフラグが消される（値「０」が書き込まれる）。

またフラグＣ領域は、図９の投射画像３２０のタイムチャートにおいて「済」のタイミングでフラグが書き込まれ（値「１」が書き込まれ）、「未」のタイミングでフラグが消される（値「０」が書き込まれる）。

投射制御部１０２が上記各フラグの更新を行うとともにフラグＡ領域にフラグを立てると投射部１０３に明転、暗転の指示を出力する。

通信部１１０は、フラグＢ領域を常時監視し、フラグが立つと第２の投射型映像表示装置２００の通信部２１０を介して投射制御部２０２に投射部２０３を明転、暗転させるための情報を出力する。これを受けて投射制御部２０２は投射部２０３に明転、暗転の指示を出力する。

撮像制御部１０４はフラグＣ領域を常時監視し、フラグが立つと投射画像を取得する。

また第１の投射型映像表示装置１００はタイマー１９０を備え、タイマー１９０が前回投射画像の画質調整、位置ズレ補正を行ってからの経過時間を計測し、一定周期で投射画像の画質調整、位置ズレ補正を実行するように構成してもよい。この場合、タイマー１９０が計測する上記経過時間が予め定められた時間閾値になると、投射制御部１０２に対して投射画像の画質調整、位置ズレ補正の実行開始を通知する。これをトリガとして図５のＳ５０１〜Ｓ５１３の処理を実行する。タイマー１９０は実行開始を通知後、タイムカウンタの値を０に戻し再度計時を開始する。

またＳ５０１〜Ｓ５１３までの処理を下記所定の規則で実行してもよい。
・ 第1の投射型映像表示装置１００のランプ点灯時間における所定時間経過のたびに行う。
・ 実時間の所定時間(24時間など)経過のたびに行う。
・ ランプ点灯毎にランプ点灯から３０分経過時に行う。

Ｓ５０１〜Ｓ５１３までの処理を繰り返すことにより、投射型映像表示装置以外の他の情報処理装置を接続することなく、利用者に視聴させたい投射画像を表示（映像投射モード）しつつ、重畳領域と他の映像領域との境界が目立ちにくくするための画質設定も継続的に行うことができる。

本実施形態によれば、第１の投射型映像表示装置からの投射画像と第２の投射型映像表示装置からの投射画像とを区別して認識することができる。これにより、プロジェクタを設置した後の経年変化や外的要因により、輝度や色、位置のズレが動的に個々のプロジェクタごとに異なる変化量が生じても、各プロジェクタの変化量に応じた位置ズレ補正、画質補正を行うことで、両投射画像を重複させて大投射画像を生成した場合にも位置ズレがなく、良好な画質を実現できる。

また、位置ズレ補正、画質補正を実行する際の処理速度は、高速シャッターの切替速度や画像処理速度にもよるが、投射画像の暗転制御スピードが人の視覚の時間分解能未満にすることができ、利用者に気づかれないうちに補正をすることができる。

加えて、本実施形態では大投射画像の利用者に見せたい投射画像を用いて位置ズレ、画質の補正を実行することができるので、テストパターンを用いる場合に比べて更に利用者に意識させずに位置ズレ、画質の補正を実行することができる。

＜第二実施形態＞
第二実施形態は、第一実施形態のステップＳ５０９において重複領域が検出できない場合にテストパターンの投射画像に切り替えて補正を実行する実施形態である。投射画像の重複領域の輝度、彩度に変化がない場合、例えば一面の青空が投射画像の全面に映っている場合、重複領域を検出するための特徴画像が現れないことがあり、その場合、重複領域が検出できない。本実施形態は、そのような場合にも位置ズレ、画質補正ができる実施形態である。

以下図１０を参照して第二実施形態の処理の流れについて説明する。図１０は第二実施形態の処理の流れを示すフローチャートである。なお、第一実施形態と同様の処理（図５と同じ処理）には同一のステップ番号を付して重複説明を省略する。

ステップＳ５０９で重複領域３３０の検出処理を実行した結果、重複領域３３０が検出できた場合（ステップＳ１００１／Ｙｅｓ）、第一実施形態と同様ステップＳ５１０へ進む。重複領域３３０が検出できなかった場合（ステップＳ１００１／Ｎｏ）、画像解析部１０６は予め第１の投射型映像表示装置１００に記憶しておいたテストパターンを読み出し、これを投射画像生成部１０８及び投射制御部１０２を介して、投射部１０３からスクリーン３００に投射する（ステップＳ１００２）。その後ステップＳ５０９へ戻り、重複領域３３０の再検出を行う。テストパターンに変更した場合は、ステップＳ５１６以下のなるべく早いタイミングでテストパターンから本来投射すべき投射画像に切り替える。

本実施形態によれば、投射画像のコンテンツ次第では重複領域の検出が行えない場合にも、テストパターンに切り替えて重複検出を行い、位置ズレ、画質補正を行うことができる。

上記実施形態は本発明を限定するものでなく、本発明の趣旨を逸脱しない範囲で様々な変更態様がありうる。例えば本提案の調整処理の周期については、事前に設定される時間に応じて定期的に処理するものでも良いし、時刻設定に応じたものでも良い。また、投射型映像表示装置の表示内容がサイネージのような一定時間で周回することを考慮し、調整周期を表示内容の再生時間と合わせて設定させても良い。さらに、輝度や色の差異、投射位置のズレの検出は定期的もしくは高頻度に行い、検出結果が一定の閾値を超過し調整が必要と判断したときのみ調整処理に切り替えるものでも良い。

また上記第１の投射型映像表示装置をマスター、第２の投射型映像表示装置２００をスレーブとし、第１の投射型映像表示装置だけで位置ズレ補正、画像補正処理を実行するように構成してもよい。この場合、第２の投射型映像表示装置２００には、明暗制御に関する指令だけが送信される。

１００…投射型映像表示装置、１０１…画像入力部、１０２…投射制御部、１０３…投射部、１０４…撮像制御部、１０５…撮像部、１０６…画像解析部、１０７…画質設定部、１０８…投射画像生成部、１０９…画像出力部、１１０…通信部、１１１…バス

Claims (9)

1. 第１の投射型映像表示装置及び第２の投射型映像表示装置を通信接続し、前記第１の投射型映像表示装置が投射面に投射した第１投射画像、及び前記第２の投射型映像表示装置が前記投射面に投射した第２投射画像を重複させて表示する投射型映像表示システムであって、
   前記投射面を撮像する撮像部と、
   前記第１投射画像を投射する拡大光学系を含む第１投射部と
   前記第２投射画像を投射する拡大光学系を含む第２投射部と、
   前記第１投射部の明転又は暗転の切替動作、前記第２投射部の明転又は暗転の切替動作、及び前記撮像部による前記投射面の撮像動作の同期制御を実行する投射制御部と、
   前記投射制御部による同期制御に従い、前記第１投射部の明転又は暗転条件及び前記第２投射部の明転又は暗転条件を変えて前記撮像部が複数回撮像して生成した複数の前記投射面の取得画像に基づき、前記第１投射画像及び前記第２投射画像の重複領域を検出し、当該重複領域の位置を基に前記第１投射部の投射位置及び前記第２投射部の投射位置の位置ズレ量を解析するとともに、前記第１投射画像における前記重複領域とは異なる領域の画像特徴量及び前記重複領域の画像特徴量の第１の差異、及び前記第２投射画像における前記重複領域とは異なる領域の画像特徴量及び前記重複領域の画像特徴量の第２の差異を解析する画像解析部と、
   前記画像解析部が解析した前記位置ズレ量に基づいて、前記第１投射画像及び前記第２投射画像の少なくとも一つに対し前記位置ズレ量を相殺する補正量を用いた位置ズレ補正処理を実行する投射画像生成部と、
   前記第１の差異を相殺する補正量を用いた前記第１投射画像の画質補正処理、及び前記第２の差異を相殺する補正量を用いた前記第２投射画像の画質補正処理を行う画質設定部と、
   を備えることを特徴とする投射型映像表示システム。
2. 請求項１に記載の投射型映像表示システムであって、
   前記投射制御部は、前記第１投射部及び前記第２投射部を同時に暗転させる第１暗転条件において前記撮像部に前記投射面を撮像させて第１取得画像を生成させ、前記第１投射部を明転及び前記第２投射部を暗転させる第２暗転条件において前記撮像部に前記投射面を撮像させて第２取得画像を生成させ、前記第１投射部を暗転及び前記第２投射部を明転させる第３暗転条件において前記撮像部に前記投射面を撮像させて第３取得画像を生成させ、
   前記画像解析部は、前記第１取得画像、前記第２取得画像、及び前記第３取得画像を基に前記重複領域を検出する、
   ことを特徴とする投射型映像表示システム。
3. 請求項２に記載の投射型映像表示システムであって、
   前記画像解析部は、前記第１取得画像と前記第２取得画像との差分から得られる前記第１投射画像の取得画像、及び前記第１取得画像と前記第３取得画像との差分から得られる前記第２投射画像の取得画像を生成し、前記第１投射画像の取得画像及び前記第２投射画像の取得画像を差分することにより前記重複領域を検出する、
   ことを特徴とする投射型映像表示システム。
4. 請求項１に記載の投射型映像表示システムであって、
   前記投射制御部は、前記第１投射部に含まれる光源の点灯時間、又は実時間が予め定められた時間閾値を超えるたびに前記同期制御を繰り返す、
   ことを特徴とする投射型映像表示システム。
5. 請求項１に記載の投射型映像表示システムであって、
   前記画像解析部が解析した前記位置ズレ量が予め定められた閾値を超過した場合に、
   前記投射画像生成部は、前記位置ズレ補正処理を実行する、
   ことを特徴とする投射型映像表示システム。
6. 請求項１に記載の投射型映像表示システムであって、
   前記画像解析部は前記第１の差異、又は前記第２の差異が予め定められた閾値を超過した場合に、前記画質設定部は、前記画質補正処理を実行する、
   ことを特徴とする投射型映像表示システム。
7. 請求項１に記載の投射型映像表示システムであって、
   前記投射画像制御部は、前記撮像部が複数回撮像して生成した複数の前記投射面の取得画像に基づき、前記第１投射画像及び前記第２投射画像の重複領域が検出できない場合、一つの画像内で画像特徴量が変化する領域を含むテストパターン画像に前記第１投射画像及び前記第２投射画像を差し替え、前記第１投射部が前記テストパターン画像を投射した第１投射画像の取得画像及び前記第２投射部が前記テストパターン画像を投射した第２投射画像の取得画像を基に、再度前記重複領域の検出を実行する、
   ことを特徴とする投射型映像表示システム。
8. 他の投射型映像表示装置と通信接続され、当該他の投射型映像表示装置が投射面に投射した他の投射画像と重複させて前記投射面に投射画像を投射する投射型映像表示装置であって、
   前記他の投射型映像表示装置と通信接続をするための通信部と、
   前記投射面を撮像する撮像部と、
   前記投射面に前記投射画像を投射する拡大光学系を含む投射部と、
   前記投射部の明転又は暗転の切替動作、前記他の投射型映像表示装置の明転又は暗転の切替動作、及び前記撮像部による前記投射面の撮像動作の同期制御を実行する投射制御部と、
   前記投射制御部による同期制御に従い、前記投射部の明転又は暗転条件及び前記他の投射型映像表示装置の明転又は暗転条件を変えて前記撮像部が複数回撮像して生成した複数の前記投射面の取得画像に基づき、前記投射画像及び前記他の投射画像の重複領域を検出し、当該重複領域の位置を基に前記投射部の投射位置及び前記他の投射型映像表示装置の投射位置の位置ズレ量を解析するとともに、前記投射画像における前記重複領域とは異なる領域の画像特徴量及び前記重複領域の画像特徴量の差異を解析する画像解析部と、
   前記画像解析部が解析した前記位置ズレ量に基づいて、前記投射画像に対し前記位置ズレ量を相殺する補正量を用いた位置ズレ補正処理を実行する投射画像生成部と、
   前記差異を相殺する補正量を用いた前記投射画像の画質補正処理を行う画質設定部と、
   を備えることを特徴とする投射型映像表示装置。
9. 第１の投射型映像表示装置及び第２の投射型映像表示装置を通信接続し、前記第１の投射型映像表示装置が投射面に投射した第１投射画像、及び前記第２の投射型映像表示装置が前記投射面に投射した第２投射画像を重複させて表示する投射型映像表示システムにおける投射補正方法であって、
   前記第１の投射型映像表示装置及び前記第２の投射型映像表示装置を共に暗転させて前記投射面を撮像し、第１取得画像を生成するステップと、
   前記第１の投射型映像表示装置を明転、前記第２の投射型映像表示装置を暗転させて前記投射面を撮像し、第２取得画像を生成するステップと、
   前記第１の投射型映像表示装置を暗転及び前記第２の投射型映像表示装置を明転させて前記投射面を撮像し、第３取得画像を生成するステップと、
   前記第１取得画像と前記第２取得画像とを差分して前記第１投射画像の取得画像を生成するステップと、
   前記第１取得画像と前記第３取得画像とを差分して前記第２投射画像の取得画像を生成するステップと、
   前記第１投射画像の取得画像及び前記第２投射画像の取得画像を差分することにより前記第１投射画像及び前記第２投射画像の重複領域を検出するステップと、
   前記重複領域の位置を基に前記第１投射部の投射位置及び前記第２投射部の投射位置の位置ズレ量を解析し、前記第１投射画像及び前記第２投射画像の少なくとも一つに対し前記位置ズレ量を相殺する補正量を用いた位置ズレ補正処理を実行するステップと、
   前記第１投射画像における前記重複領域とは異なる領域の画像領域と前記重複領域の画像特徴量との第１の差異、及び前記第２投射画像における前記重複領域とは異なる領域の画像特徴量と前記重複領域の画像特徴量との第２の差異を解析し、前記第１の差異を相殺する補正量を用いた前記第１投射画像の画質補正処理、及び前記第２の差異を相殺する補正量を用いた前記第２投射画像の画質補正処理を行うステップと、
   を含むことを特徴とする投射型映像表示システムにおける投射補正方法。

Images