JP2023082835A - マルチ映像表示システム、制御方法、及びプログラム - Google Patents

Abstract

【課題】高品位のマルチ映像表示画像を実現することが可能なマルチ映像表示システムを提供することを目的とする。【解決手段】マルチ映像表示システムは、複数の表示装置と、映像の表示に関連する情報である映像関連情報を前記複数の表示装置と通信する処理装置と、を有し、前記複数の表示装置それぞれは、前記処理装置の時刻と同期可能な第１の時計を有し、前記映像関連情報は、前記複数の表示装置を動作する時刻に関する第１の動作時刻情報を含み、前記複数の表示装置それぞれは、前記映像関連情報及び前記第１の時計の時刻情報に基づき動作を制御する第１の同期制御部を有することを特徴とする。【選択図】 図２

Description

本発明は、マルチ映像表示システム、制御方法、及びプログラムに関する。

近年、デジタルサイネージやイベント、プロジェクションマッピングにおいて、複数のディスプレイやプロジェクタなどの表示装置を連携させて大きく映像を表示するマルチ映像表示システムが使用されている。

このような用途では、通常複数の表示装置の配列に適合するように、１フレームの画像を複数の画像に分割して分配する信号処理装置が必要である。この信号処理装置は、映像コンテンツ映像を装置内で再生し、分割出力するもの、あるいは、外部のコンテンツ再生装置から出力される信号を入力し、分割出力するものが知られている。

さらに映像コンテンツの４Ｋ化、８Ｋ化の進展に連れて、ＨＤＲ（Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒaｎｇｅ）に対応した表示装置が増えつつあり、マルチ映像表示システムにおける個々の表示装置に対してＨＤＲに対応した画像表示や輝度変調を同期して制御する必要がある。

一方、複数の装置をネットワークで接続して同期制御させる技術として、ネットワーク内の各装置に内蔵された時計を高精度に一致（時刻同期）させ、特定時刻に装置間の同期制御をおこなう技術が産業分野を中心に実用化されている。代表的な時刻同期の方法として、ＩＥＥＥ１５８８規格があり、ＰＴＰ（時刻同期プロトコル）を使って、ナノ秒オーダーの同期精度を得ることも可能である。

特許文献１では、画像出力装置と複数の表示装置によって構成されるマルチ映像表示システムにおいて、すべての表示装置間の表示タイミングで同期をとることが可能なシステムが提案されている。

特開２００９－１２２４１２号公報

しかしながら、前述したマルチ映像表示システムにおいて、自発光を除く表示装置を使用する際に、画像表示のための表示パネル制御と輝度変調のための光源の光量制御が必要となる場合がある。このとき、システム内のすべての表示装置の画像表示タイミングと光源の輝度変調制御のタイミングをできるだけ同期させなければならない。また、表示画像を撮像装置で撮影する場合でも、前述の映像表示タイミングや光源の輝度変調制御タイミングと同期を取らねばならない。

実際には、映像信号処理装置から各表示装置に出力される映像信号や輝度変調制御信号の出力タイミングのバラツキ、各表示装置への信号伝送時間のバラツキ、各表示装置内の遅延バラツキによって、高精度に同期をとることは難しい。表示装置間の画像表示のズレ、輝度変調タイミングのズレが顕著になると、統一画像表示の一体感が維持できず、画像表示の品位が著しく損なわれてしまう。

これに対し、特許文献１では、映像信号処理装置側でフレーム毎に映像信号にタイムインデックス信号を挿入し、画像表示装置側でタイムインデックス信号を復号し、それに基づいて画像表示の同期をとる技術が開示されている。しかし、映像信号に対する同期のみであり、光源の輝度変調制御の同期や撮像装置などの周辺装置を含めた同期方法は開示されていない。

本発明では、高品位のマルチ映像表示画像を実現することが可能なマルチ映像表示システムを提供することを目的とする。

上記課題を解決するために、マルチ映像表示システムは、複数の表示装置と、映像の表示に関連する情報である映像関連情報を前記複数の表示装置と通信する処理装置と、を有し、前記複数の表示装置それぞれは、前記処理装置の時刻と同期した第１の時計を有し、前記映像関連情報は、前記複数の表示装置を動作する時刻に関する第１の動作時刻情報を含み、前記複数の表示装置それぞれは、前記映像関連情報及び前記第１の時計の時刻情報に基づき動作を制御する第１の同期制御部を有することを特徴とする。

本発明によれば、高品位のマルチ映像表示画像を実現することが可能なマルチ映像表示システムを提供することができる。

第１の実施形態のマルチ映像表示システムの概略構成図である。 第１の実施形態のマルチ映像表示システムのブロック図である。 第１の実施形態のマルチ映像表示システムにおける信号制御のフローチャートである。 第１の実施形態のマルチ映像表示システムにおけるタイミングチャートである。 第２の実施形態のマルチ映像表示システムの概略構成図である。 第２の実施形態のマルチ映像表示システムのブロック図である。 第２の実施形態のマルチ映像表示システムにおける信号制御のフローチャートである。 第２の実施形態のマルチ映像表示システムにおけるタイミングチャートである。

［実施例１］
以下、図１から図４を参照しながら、本発明の第１の実施形態について詳細に説明する。
図１に本発明におけるマルチ映像表示システムの概略構成図を示す。本実施例では表示装置としてディスプレイを例に説明する。

図１において、１０１は映像コンテンツを再生する再生装置であり、４Ｋや８Ｋに代表されるような高精細な映像信号を出力する端子がある。１０４～１０７は本システムにおける４つのディスプレイであり、同一解像度である。また、映像信号を入力する端子と制御信号を入力するための端子を有している。制御信号はＬＡＮ回線を介して通信され、制御用の端子はＬＡＮ端子である。

１０２は再生装置１０１から出力された映像信号をディスプレイ１０４～１０７でマルチ映像表示する上で画像を分割するための信号処理装置（処理装置）である。信号処理装置１０２は、画像入力用の端子と分割した画像信号をディスプレイに出力する複数の接続端子を有する。さらに、信号処理装置１０２は、画像信号の他に、ディスプレイ１０４～１０７の制御に必要な信号を出力する端子を有しており、本実施例ではＬＡＮ端子である。１０３はＬＡＮ対応のハブであり、複数のＬＡＮ端子を備えている。信号処理装置１０２はリモコン１０８を操作することでユーザーが画質調整などを行なうことができる。

再生装置１０１と信号処理装置１０２は映像信号を伝送するためのケーブルが接続されている。信号処理装置１０２とディスプレイ１０４～１０７間は、映像信号の通信のために映像を伝送するためのケーブルでそれぞれ直接接続されており、制御信号の通信のためにＬＡＮ対応ハブ１０３を介してそれぞれの装置とケーブルで接続されている。

図２は本実施形態におけるマルチ映像表示システムのブロック図である。
図２において、２０１は再生装置１０１のブロック図を示す。
記憶部２１０は映像コンテンツを保存しておく記憶部であり、入力部２１３から映像コンテンツデータを入力することができる。２１１は再生部であり、映像コンテンツデータをデコードしてＲＧＢやＹＵＶなどのデータに変換する。２１２は画像出力部であり、ＨＤＭＩ（登録商標）やＤｉｓｐｌａｙＰｏｒｔ（ディスプレイポート）など外部伝送に適したフォーマットに変換するとともにＨＤＣＰに代表される暗号化処理を行う。

２０２は信号処理装置１０２のブロック図を示す。
２２５は操作部であり、複数のボタンを有し、接続する入出力装置の解像度、接続するディスプレイの台数、ディスプレイの配置などを設定することができ、設定値を制御部２２６へ送信する。また、リモコン１０８からの信号を受信し、制御部２２６へ信号を送信する。制御部２２６は操作部２２５からの信号を受けて、信号処理装置（処理装置）２０２内の各部の制御や、表示部２３０の表示指示を行う。２２０は再生装置１０１から出力された映像信号が入力される画像入力部であり、ＨＤＭＩ（登録商標）やＤｉｓｐｌａｙＰｏｒｔなどの暗号化された映像信号を復号するとともに、内部の処理に適した信号フォーマットに変換する。また入力された画像をフレームバッファに書き込む。２２１は画質調整部であり、制御部２２６からの指示によって、画像入力部２２０のフレームバッファから読み出したデータに対して、色味、輝度の変更、コントラストの強弱などの画質を調整することができる。

輝度分布計算部２２２は、１フレームの画像に含まれるすべての画素の輝度の分布を算出する。画像分割部２２３はディスプレイの数や解像度に応じて、入力された１フレーム分の画像を複数に分割する。例えば、再生装置２０１からの映像信号が８Ｋ解像度であり、４台のディスプレイ１０４～１０７が４Ｋ解像度である場合は、８Ｋの映像信号を４Ｋ解像度で４つに分割することができる。２２４は画像分割出力部であり、複数の出力端子を有し、再生装置２０１の画像出力部２１２と同様に映像信号の暗号化、外部への伝送信号フォーマットに変換の上、表示装置であるディスプレイ２０３～２０６側へ信号（映像情報）を出力する。

２２７は分割画像輝度分布計算部であり、輝度分布計算部２２２と画像分割部２２３の情報を基に、分割後のそれぞれの画像に対応する輝度制御値を算出する。また、ここに入力される画像のフレーム数を計数するカウンタを有している。

２２８は処理装置通信部である。処理装置通信部２２８は、表示装置制御情報をＬＡＮ信号に変換し、有線ＬＡＮで接続されたネットワークを介してディスプレイ２０３～２０６へ配信する。表示装置制御情報は、分割画像輝度分布計算部２２７で計算した各分割画像の輝度情報や時刻同期のための情報（同期情報）、制御情報、及び画像のフレームカウンタ値Ｎｆを含む。表示装置制御情報は、映像情報とは異なる伝送経路を介して、処理装置通信部２２８とディスプレイ２０３～２０６との間で通信が行なわれる。時刻同期部２２９は時計を有し、処理装置通信部２２８を介してネットワーク接続する装置と高精度に時刻を同期する制御を行う。本実施例では、時刻の同期について信号処理装置２０２がプライマリ装置となって、セカンダリ装置としてのディスプレイ２０３～２０６との時刻を合わせ込む。

図２における２０３は、図１に示したディスプレイ１０４の構成のブロック図を示す。
その他の図１のディスプレイ１０５～１０７の構成に対応する図２のブロック図の２０４～２０６は２０３と同じであるため、説明は省略する。また、本実施例では、ディスプレイ２０３～２０６は液晶パネル式のディスプレイである。

表示装置通信部（第１の同期制御部）２４５は、信号処理装置２０２の処理装置通信部２２８と通信し、プライマリ装置となる信号処理装置２０２にしたがって、映像信号の輝度、時刻同期、ディスプレイ１０５～１０７の仕様や制御情報などをやりとりする。時刻同期部２４６は、信号処理装置２０２側の時刻同期部２２９が有する時計と、時刻同期部２４６が有する時計（第１の時計）との同期を行なう。

画像入力部２４０は信号処理装置２０２の画像入力部２２０と同様に、入力される暗号化された映像信号を復号し、内部の信号処理に適したフォーマットに変換する。また、入力された画像のフレームバッファへの書き込み及び、入力された画像のフレーム数をカウントすることができる。タイミング制御部２４１は、時刻同期部２４６の有する時刻を基準として、表示装置通信部２４５から通知された表示時刻にパネル２４４に画像を描画できるように、映像信号の内部処理タイミングを調整する。

画像処理部２４２において、個々のディスプレイ色味やコントラストの強度を微調整する。パネル制御部２４３はパネル（画像表示部）２４４を駆動するために必要な制御信号、タイミング信号を生成する。

一方、光源制御部（第１の同期制御部）２４７は、時刻同期部２４６で管理する時刻を基準として、表示装置通信部２４５から指示された表示時刻に光源（ここではバックライト）２４８を所定の輝度値で点灯（及び消灯）するようにタイミングを調整する。

図３に本実施形態における信号制御のフローチャートを示す。
ここでは、本実施例の構成で特徴となる信号処理装置２０２と、表示装置であるディスプレイ２０３～２０６のフローを示している。
まず、信号処理装置２０２側のフローを説明する。
最初に、ステップＳ３０１において、接続する装置の入力信号の解像度、出力信号の解像度、及び映像信号出力の数（ディスプレイの接続台数）、ディスプレイの配列を、操作部２２５から制御部２２６に設定する。これらの設定は、リモコン１０８からの入力信号、又は信号処理装置２０２の操作ボタンを使って行われる。

次に、ステップＳ３０２において、信号処理装置２０２は接続しているディスプレイ２０３～２０６の表示解像度、最大及び最小表示輝度などの情報を処理装置通信部２２８を通じてディスプレイ２０３～２０６に要求する。

ステップＳ３０３において、信号処理装置２０２は、各ディスプレイ２０３～２０６より、ディスプレイ２０３～２０６に関する情報を受信する。

ステップＳ３０４では、ステップＳ３０１で入力された通りの機器が接続されていれば、ステップＳ３０５に進み、接続されていなければ、信号処理装置２０２の表示部２３０にエラー表示を出して、ステップＳ３０１に戻る。

ステップＳ３０５において、再生装置１０１から入力された画像のフレーム数をカウントするフレームカウンタの値（フレームカウンタ値）Ｎｆをゼロにリセットする。

この後、ステップＳ３０６では、信号処理装置１０２に再生装置１０１から映像信号が入力されているかどうかを画像入力部２２０が判定する。

もし、映像信号が入力されていればステップＳ３０７に進み、画質調整部２２１を経て、輝度分布計算部２２２にて、１フレームの画像に含まれるすべての画素の輝度の分布を算出する。一方映像信号が入力されていない場合は、入力されるまで待機する（ステップＳ３０６）。

輝度分布計算部２２２での輝度分布計算が完了すると、ステップＳ３０８において、画像分割部２２３にて、接続されるディスプレイの台数、配列にしたがって、１フレーム分の画像を所定の解像度で複数に分割する。

続いて、ステップＳ３０９において、分割画像輝度分布計算部２２７にて、フレームカウンタ値Ｎｆの数値に１を加える（インクリメントする）。
Ｎｆ＝Ｎｆ＋１・・・（１）

さらに、ステップＳ３１０において、輝度分布計算部２２２と画像分割部２２３の情報を基に、分割後のそれぞれのフレームの画像に対応する輝度制御値を算出する。

ステップＳ３１１において、ディスプレイ２０３～２０６それぞれに表示させる分割画像の輝度制御値、制御時刻（第１の動作時刻情報）、これらに対応する画像のフレームカウンタ値Ｎｆを処理装置通信部２２８から送信する。

一方、ステップＳ３１２において、ディスプレイ２０３～２０６それぞれに表示させる分割画像信号は、画像分配出力部２２４から各ディスプレイ２０３～２０６に送信される。

ここで、ステップＳ３１３において、一連のフロー処理の中でディスプレイ２０３～２０６からエラー通知がなされているか確認する。エラー通知がなされていない場合はステップＳ３１４に進み、エラー通知がなされている場合はステップＳ３１５に進む。
ステップＳ３１５では、ユーザーにエラーを通知する。

ステップＳ３１４では、次のフレームの入力画像信号があれば、ステップＳ３０７に戻って処理を繰り返し、画像信号がなければステップＳ３０６に戻って次のフレームの画像信号が入力されるまで待機する。

続いて、ディスプレイ２０３～２０６側のフローを信号処理装置２０２側のフローと関連づけて説明する。ディスプレイ２０３～２０６それぞれでの処理内容は共通している。

ステップＳ３２１において、ディスプレイ２０３～２０６はそれぞれ、信号処理装置２０２の処理フローのステップＳ３０２における、表示解像度、最大及び最小表示輝度などの情報の開示要求を受ける。

ステップＳ３２２において、ディスプレイ２０３～２０６は前述の信号処理装置２０２からの要求内容に応じて、自身の表示能力に関する情報を信号処理装置２０２に対して送信する。

ステップＳ３２３において、ディスプレイ２０３～２０６は画像入力部２４０にて、入力画像のフレーム数をカウントするフレームカウンタの値（フレームカウンタ値）Ｎｐをゼロにリセットする。

さらに、ステップＳ３２４において、信号処理装置２０２から各ディスプレイにフレームカウンタ値Ｎｆ、表示させる分割画像の輝度制御値、制御時刻（第１の動作時刻情報）などの情報を表示装置通信部２４５を介して受信する。続いてステップＳ３２５において、信号処理装置２０２から画像入力部２４０を介して、映像信号を受信する。

映像信号を入力したら、ステップＳ３２６において、フレームカウンタ値Ｎｐの数値に１を加える。
Ｎｐ＝Ｎｐ＋１・・・（２）
このとき、ステップＳ３２７において、Ｎｆ＝Ｎｐとなっているか確認することで、映像信号と輝度制御信号が正しく対応付けられているかを確認する。

ステップＳ３２８において、ＮｆとＮｐが一致していれば、受信した制御時刻に合わせて、光源制御部２４７を制御の上、光源の輝度を調整（輝度変調）する。同時にタイミング制御部２４１を調整して、パネルに画像を表示する。処理が完了したらステップＳ３２４に戻り待機する。

ＮｆとＮｐが一致しない場合は、ステップＳ３２９において、信号処理装置へエラーを通知する。
本実施例のマルチ映像表示システムでは、信号処理装置１０２とディスプレイ１０４～１０７との間での信号の送受信は、映像信号と制御信号とが別の伝達ルートで送受信されている。別の伝達ルートで送受信される映像信号と制御信号との間で、映像フレームに対応して輝度制御をするために、信号処理装置１０２内とディスプレイ１０４～１０７内で個別に１フレーム毎にインクリメントするカウンタを有する。双方のカウンタの値が一致していることをもって、ディスプレイ１０４～１０７それぞれにおいて、表示する映像フレームと、それに対する輝度制御が対応するように制御される。また、カウンタと同時に送受信される制御時刻情報に基づき、各ディスプレイ１０４～１０７で管理されている時刻で動作タイミングが制御されることにより、ディスプレイ１０４～１０７間の動作タイミングを同期させることができる。

図４に本実施例の信号処理装置１０２とディスプレイ１０４～１０７間の各信号の送受信タイミングと各ディスプレイにおける画像表示と輝度変調のタイミングチャートを示す。

４０１は信号処理装置１０２より出力される映像信号及び輝度制御値、フレームカウンタ値Ｎｆ、制御時刻情報の処理タイミングを時系列に示す。図の左から右に時刻が進む様子を示している。本実施例では、ディスプレイは４台あるため、映像信号、輝度信号もそれぞれ４つに分割されて出力される。図４では、各ディスプレイへ伝送される映像信号、輝度制御信号（光源制御信号）に時間的なズレが生じている様子を示している。

４０２はディスプレイ１０４における映像信号、及び輝度制御信号、フレームカウンタ値Ｎｆ、制御時刻情報の受信タイミングを示す。また、４０３は同じディスプレイにおける画像表示、輝度変調のタイミングを示す。

同様にして、４０４、４０６、４０８は、ディスプレイ１０５、１０６、１０７における映像信号等の受信タイミングを示し、４０５、４０７、４０９は、ディスプレイ１０５、１０６、１０７における映像表示、輝度変調のタイミングを示す。

図に示す通り、映像信号、輝度制御信号の信号処理装置１０２からの出力タイミングのズレに応じて、各ディスプレイ１０４～１０７における各信号の受信タイミングにもずれが生じている。しかし、前述した図３の制御フローに従うことで、すべてのディスプレイの映像表示、輝度変調処理が制御時刻に同期した処理を行うことが可能となる。
本発明によれば、前述のマルチ映像表示システム及びその制御方法において、複数の表示装置を使ってより正確に映像と光源の変調タイミングが調整可能となり、高画質なＨＤＲ表現を実現するマルチ映像表示システムを提供できるようになる。さらに、撮像装置などの周辺装置を使用して、マルチ映像表示画像に正確に同期して表示画像を撮像可能できるようになることで、システムの画質調整の負担を削減することができる。

［実施例２］
以下、図５から図８を参照しながら、本発明の第２の実施形態について詳細に説明する。
図５に本発明に係る第２の実施形態のマルチ映像表示システムを示す。本実施例では表示装置としてプロジェクタを例に説明する。

５０１は映像コンテンツを再生する再生装置であり、図１の再生装置１０１と同等の構成を有する。５０４～５０７は本システムにおける４つのプロジェクタであり、同一解像度である。また、映像信号を入力する端子を有し、制御信号は無線ＬＡＮ等のＬＡＮ回線を介して通信される。

本実施例の信号処理装置（処理装置）５０２は、無線ＬＡＮを介してプロジェクタ５０４～５０７の制御に必要な信号の送受信をおこなう。信号処理装置５０２はユーザーがリモコン５０８の操作による入力によって画質調整などを行なうことができる。

再生装置５０１と信号処理装置５０２は映像信号を伝送するためのケーブルが接続されている。信号処理装置５０２とプロジェクタ５０４～５０７間は、映像信号を伝送するためのケーブルがそれぞれ直接接続されている。また、処理装置通信部６２８は、表示装置制御情報をＬＡＮ信号に変換し、イーサネット等で接続されたネットワークを介してプロジェクタ５０４～５０７へ配信する。表示装置制御情報は、分割画像輝度分布計算部６２７で計算した各分割画像の輝度情報や時刻同期のための情報、制御情報、及び画像のフレームカウンタ値Ｎｆ時刻を含む。表示装置制御情報は、映像情報とは異なる伝送経路を介して、処理装置通信部６２８とプロジェクタ５０４～５０７との間で通信が行なわれる。

撮像装置５０３は投影面５０９に投影されたプロジェクタ５０４～５０７で投射された像を撮像することができる。また、信号処理装置５０２は無線ＬＡＮを通じて、撮像装置５０３の制御をしたり、撮像画像を受信することができる。

図６は本実施例におけるマルチ映像表示システムのブロック図であるが、図２で説明した機能と同等のものが多いため、異なる箇所のみを詳述する。

６０１は図５の再生装置５０１のブロック図を示し、６１０～６１３の各部は図２の再生装置２０１の２１０～２１３と同等である。

６０２は図５の信号処理装置５０２のブロック図を示す。６２０～６３０の各部は図２の再生装置２０１の２２０～２３０と同等である。処理装置通信部６２８は、分割画像輝度分布計算部６２７で計算した各分割画像の輝度情報や時刻同期のための情報、制御情報、及び画像のフレームカウンタ値Ｎｆを取得すると無線ＬＡＮ信号に変換して、プロジェクタ６０４～６０７へ配信する。また、処理装置通信部６２８は、撮像装置で撮像した画像を撮像装置から無線ＬＡＮで受信することもできる。さらに、画像判定部（画像制御部）６３１では、撮像装置から受信した撮像画像に基づく最適な画質調整などのパラメータを制御部（画像制御部）６２６へフィードバックする。

６０４は表示装置としてのプロジェクタ５０４のブロック図を示し、６４０～６４８の各部はパネル６４４と光源６４８を除き、図２のディスプレイ２０３の２４０～２４８と同等である。本実施例では、パネル６４４はプロジェクタ用の小型の液晶パネルであり、光源６４８はプロジェクタ用の高輝度のレーザー光源である。
また、プロジェクタ６０５～６０７については前述したプロジェクタ６０４と同じ構成である。

６０３は撮像装置５０３のブロック図を示す。撮像装置通信部６５０は、信号処理装置６０２の処理装置通信部６２８とネットワークを介して通信する。撮像装置通信部６５０は、プライマリ装置となる信号処理装置２０２にしたがって、処理装置通信部６２８から撮像制御値、撮像時刻、フレームカウンタ値Ｎｆなどの制御信号（撮像制御情報）を受信し、撮像した画像データの処理装置通信部６２８への送信を行う。時刻同期部６５５は、信号処理装置６０２側の時刻同期部６２９が有する時計をマスタとして、撮像装置通信部６５０を通じて時刻同期部６５５が有する時計（第２の時計）を同期させる。

タイミング制御部（第２の同期制御部）６５１は、時刻同期部６５５の有する時刻を基準として、撮像装置通信部６５０から通知された時刻に撮像素子６５３を制御するように、撮像素子制御部６５２の動作タイミングを調整する。同様にして、タイミング制御部６５１は、通知された時刻に撮像処理ができるようにレンズユニット６５７内のズーム、フォーカスを調整するように、レンズ制御部６５６を制御する。

図７に本実施例におけるフローチャートを示す。信号処理装置６０２とプロジェクタ６０４～６０７のフローについては、図３における「ディスプレイ」を「プロジェクタ」と読み替えることで図３のフローと同じ内容である。このため、図３で説明した実施例１の処理フローにはない撮像装置のフローについて以下に説明を加える。

撮像装置６０３は、ステップＳ７０２のタイミングにおいて、信号処理装置６０２からシャッター速度、絞りの段数、対応感度などの接続装置情報の開示要求を受ける（ステップＳ７３１）。

撮像装置６０３は前述の開示要求の内容に応じて、撮像能力に関する情報を信号処理装置６０２に送信する（ステップＳ７３２）。

信号処理装置６０２は、ステップＳ７１２において、出された、撮像関連情報、及び撮像するフレーム情報であるフレームカウンタ値Ｎｆ、撮像時刻（第２の動作時刻情報）の情報を撮像装置６０３に送信する。ここで、撮像関連情報とは、シャッター速度、絞り情報（露光制御に関する情報）、感度などが含まれる。
撮像装置６０３は、信号処理装置６０２から送信されたこれらの情報を受信する（ステップＳ７３３）。

撮像装置６０３は、予定されている撮像時刻の前に、シャッター速度、フォーカス、絞り、感度などの設定を通知された情報に応じて設定し、撮像時刻に合わせてプロジェクタの投影面を撮像する（ステップＳ７３４）。

撮像後、撮像画像データに撮像したフレームカウンタ値Ｎｆをインデックスとして付加した上で、撮像装置通信部６５０を介して、信号処理装置６０２へ撮像画像データを送信する（ステップＳ７３５）。そしてステップＳ７３３に戻って待機する。

図８に本実施例の信号処理装置６０２とプロジェクタ５０４～５０７間の各信号の送受信タイミングと各ディスプレイにおける画像表示と輝度変調のタイミングチャートを示す。

図８中の８０１～８０９は、図４における「ディスプレイ」を「プロジェクタ」と読み替えることで図４中の４０１～４０９と内容は同じである。
図８中の８１０は撮像装置５０３の撮像タイミングを示したものである。

図８に示す通り、撮像時刻１は画像表示のための制御時刻とは異なり、全てのプロジェクタに撮像対象の画像が表示されている間に設定されている。先に説明した通り、撮像装置６０３は、信号処理装置６０２をマスタとして、プロジェクタ５０４～５０７と正確に時刻同期がなされている。そのため、プロジェクタ５０４～５０７それぞれに表示されている画像が意図されている１フレームの画像を表示している状態において撮像できる。したがって、撮像することを指定されたフレームが全プロジェクタ５０４～５０７によって投影されている状態を撮像するタイミングが誤差なく、意図通りの投影状態の画像を撮像することができる。

従来のマルチ映像表示システムにおいては、各フレーム画像の各プロジェクタでの表示タイミングが高精度に制御されていないため、意図した画像の投影状態を撮像するためには、複数フレームの時間に渡って前記意図した画像を投影する必要があった。これに対して、時刻同期をする本発明のマルチ映像表示システムにおいては、各フレーム画像の各プロジェクタでの表示タイミングが高精度に制御され、さらに、撮像タイミングも投影タイミングに同期させることができる。そのため、通常投影中の１フレームにプロジェクタの制御パラメータを調整するための調整用画像として視聴者に認識させることなく、投影状態を撮像して制御系にフィードバックして映像の画質等を調整することができる。

例示した実施例では、信号処理装置の時刻同期部がマスタとなって、ディスプレイやプロジェクタ、撮像装置の時刻同期部の時刻を同期する構成とした。しかし、本発明はこれに限定されることはなく、マルチ映像表示システムが、信号処理装置とは独立して構成された時刻同期部が時刻同期に関するマスタ装置となって、信号処理装置、ディスプレイやプロジェクタ、撮像装置の時刻を同期する構成としてもよい。

例示した実施例では、図１、５に記載されているように、複数のディスプレイやプロジェクタは、それぞれがもともと１枚であった画像の部分を表示／投影して、全体として合わせると、もともとの１枚の画像を表示／投影するマルチ映像表示システムを例示した。しかし、本発明はそれに限定されることはない。複数のディスプレイやプロジェクタのうちの少なくとも２つが、又は、すべてが同じ画像を表示／投影するマルチ映像表示システムに対しても本発明は適用可能であり、本発明の効果を享受することかできる。その場合には、本システムで制御されるすべての複数のディスプレイやプロジェクタの表示タイミングの同期をとることができる。

例示した実施例では、映像情報と制御情報（映像関連情報）は、互いに異なる通信経路（伝達経路）を介して信号処理装置と、ディスプレイやプロジェクタ等の表示装置との間の通信がなされていたが、本発明はこれに限定されることはない。映像情報と制御情報は、同一の通信経路を介して信号処理装置と表示装置との間の通信がなされるようにしても本発明の効果を同様に得ることができる。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

２０２、６０２： 信号処理装置（処理装置）
２０３、２０４、２０５、２０６： ディスプレイ（表示装置）
２２４、６２４： 画像分配出力部
２２８、６２８： 処理装置通信部
２４５、６４５： 表示装置通信部
６０４、６０５、６０６、６０７： プロジェクタ（表示装置）
２４６、６４６： 時刻同期部（第１の時計）
２４１、６４１： タイミング制御部（第１の同期制御部）
２４７、６４７： 光源制御部（第１の同期制御部）

Claims (20)

1. 複数の表示装置と、映像の表示に関連する情報である映像関連情報を前記複数の表示装置と通信する処理装置と、を有し、
   前記複数の表示装置それぞれは、前記処理装置の時刻と同期した第１の時計を有し、
   前記映像関連情報は、前記複数の表示装置を動作する時刻に関する第１の動作時刻情報を含み、
   前記複数の表示装置それぞれは、前記映像関連情報及び前記第１の時計の時刻情報に基づき動作を制御する第１の同期制御部を有することを特徴とするマルチ映像表示システム。
2. 前記複数の表示装置それぞれは、前記映像関連情報に基づいて、画像を表示する画像表示部と、前記画像の輝度を制御する光源とを含むことを特徴とする請求項１に記載のマルチ映像表示システム。
3. 前記映像関連情報は、前記光源の点灯に関する情報、前記光源の色味、輝度に関する情報を含むことを特徴とする請求項２に記載のマルチ映像表示システム。
4. 前記映像関連情報は、互いに異なる伝送経路で通信される映像情報と表示装置制御情報とを含み、
   前記映像情報は前記画像表示部に表示される画像の情報を含み、前記表示装置制御情報は前記光源を制御するための情報を含むことを特徴とする請求項２に記載のマルチ映像表示システム。
5. 前記処理装置及び前記複数の表示装置それぞれは、前記映像情報のフレーム数を計数するカウンタを有し、前記複数の表示装置それぞれは、前記カウンタの値に基づき、各フレームにおける、画像の前記画像表示部への表示と前記光源の輝度とを対応付けることを特徴とする請求項４に記載のマルチ映像表示システム。
6. 前記表示装置制御情報は、前記第１の動作時刻情報と、前記第１の時計を前記処理装置の時刻と同期させるための同期情報とを含むことを特徴とする請求項４又は５に記載のマルチ映像表示システム。
7. 前記処理装置と撮像制御情報を通信し、前記複数の表示装置で表示された画像を撮像する撮像装置を有し、
   前記撮像装置は、前記処理装置の時刻と同期した第２の時計を有し、
   前記撮像制御情報は、前記撮像装置の動作を制御する時刻に関する第２の動作時刻情報を含み、
   前記撮像装置は、前記撮像制御情報及び前記第２の時計の時刻情報に基づき動作を制御する第２の同期制御部を有することを特徴とする請求項１から６までのいずれか一項に記載のマルチ映像表示システム。
8. 前記撮像制御情報は、前記撮像装置の露光制御及びシャッター速度に関する情報を含むことを特徴とする請求項７に記載のマルチ映像表示システム。
9. 前記撮像制御情報は、前記第２の動作時刻情報と、前記第２の時計を前記処理装置の時刻と同期させるための同期情報とを含むことを特徴とする請求項７又は８に記載のマルチ映像表示システム。
10. 前記処理装置は、前記撮像装置によって撮像された画像を用いて、前記複数の表示装置に出力する映像の画質の調整を行う画像制御部を有することを特徴とする請求項７から９までのいずれか一項に記載のマルチ映像表示システム。
11. 前記表示装置制御情報は、有線ＬＡＮを介して通信されることを特徴とする請求項４から６までのいずれか一項に記載のマルチ映像表示システム。
12. 前記表示装置制御情報は、無線ＬＡＮを介して通信されることを特徴とする請求項４から６までのいずれか一項に記載のマルチ映像表示システム。
13. 前記撮像制御情報は、有線ＬＡＮを介して通信されることを特徴とする請求項７から１０までのいずれか一項に記載のマルチ映像表示システム。
14. 前記撮像制御情報は、無線ＬＡＮを介して通信されることを特徴とする請求項７から１０までのいずれか一項に記載のマルチ映像表示システム。
15. 前記複数の表示装置それぞれはディスプレイであることを特徴とする請求項１から１４までのいずれか一項に記載のマルチ映像表示システム。
16. 前記複数の表示装置それぞれはプロジェクタであることを特徴とする請求項１から１４までのいずれか一項に記載のマルチ映像表示システム。
17. 請求項１から１６までのいずれか一項に記載のマルチ映像表示システムを制御するための制御方法であって、
    前記映像関連情報及び前記第１の時計の時刻情報に基づき、前記複数の表示装置の動作のタイミングを制御することを特徴とする制御方法。
18. 前記映像関連情報に含まれる、表示させるフレームの映像情報及び該フレームを表示する時刻情報と、前記第１の時計の時刻情報とに基づき、前記複数の表示装置それぞれに前記フレームの画像を表示させる、ことを特徴とする請求項１７に記載の制御方法。
19. 請求項７から１０までのいずれか一項に記載のマルチ映像表示システムを制御するための制御方法であって、
    前記映像関連情報及び前記第１の時計の時刻情報に基づき、前記複数の表示装置の動作のタイミングを制御し、前記映像関連情報及び前記第２の時計の時刻情報に基づき、前記撮像装置の動作のタイミングを制御することを特徴とする制御方法。
20. プロセッサによって実行されると、該プロセッサに請求項１７から１９までのいずれか一項に記載の制御方法を実行させるプログラム。

Images