JP2016116162A - 映像表示装置、映像表示システム、及び映像表示方法 - Google Patents

Abstract

【課題】映像の視聴者の視聴位置や視聴方向が変わった場合にも、視認性の好適な映像表示を得る。【解決手段】映像入力信号１０の入力を受け付けるとともに、当該映像入力信号に基づく映像を表示する映像表示装置１であって、映像が表示される表示画面２０及び映像を視聴する視聴者の位置関係を検出し、その結果を含む視聴者位置情報を生成する視聴者検出部１６と、映像入力信号２０に基づく画像のうち、視聴者位置情報１７に対応させて設定された部分領域からなる補正領域に対して、画像補正処理を実行する画像処理部１００と、画像補正処理が施された映像入力信号１３を表示画面２０に表示する映像表示部２００と、を備えることを特徴とする。【選択図】 図１

Description

本発明は、映像信号に対して画像補正処理を行い、表示する技術に関する。

近年、映像表示装置の高精細化や高輝度化など、性能が向上しており、プロジェクションマピングに代表されるような、大規模な映像表示装置も登場している。このような没入型の表示装置では、人の視野全体に映像表示を行うことで、高い没入間を実現している。一方、人間の視野は、水平方向、垂直方向に広がりを持つが、一般的に視野の中でも注視する領域（中心視野）と、それ以外の領域（周辺視野）があり、中心視野では細かな映像も認識できるのに対して、周辺視野では細かな映像は認識できない。つまり中心視野ほど、映像の空間分解能が高い特性を持っている。このような人の視覚特性を利用した映像表示装置の背景技術として、特許文献１がある。この公報には、「映像を提示する映像提示部と、映像提示部に映像を提示すべく、映像を投影する映像投影部と、映像提示部と映像投影部との位置を変更する駆動部とを備え、映像投影部は、映像提示部に提示された映像のうち、観察者の注視点を含む所定領域の映像を高解像度の映像に変更し、駆動部は、高解像度の映像における被写体のサイズが所定領域の映像における被写体のサイズと略一致するように前記位置を変更する。」（要約抜粋）ことが記載されている。

特開２０１０−１５３９８３号公報

上記特許文献１では、映像の観察者の注視点にしたがった高解像度化については述べられているものの、映像が表示されている部分（スクリーン）と観察者の位置関係や両者の距離については述べられていない。人間の視覚特性において、一般的に中心視野の中でも特に空間解像度が高い部分は、注視点を中心とした数度の視野の範囲内と言われている。従って、その空間解像度が高い範囲、つまりスクリーン上の領域は、スクリーンから観察者の距離により変わる。前述の先行技術文献では、映像表示の制御のための処理において、スクリーンと観察者の距離については述べられていない。

一方、スクリーン全体にわたって高解像度化を行うと、画像処理のための負荷が高くなり、映像信号のデータ量が増大してデータ転送上好ましくない。このように、高解像度化を図りつつ、データ量が増大することを防ぐ点について更なる工夫の余地がある。

本発明は上記事情に鑑みてなされたものであり、データ量の増加に配慮しつつ、画質の向上も行える技術を提供することを目的とする。

上記課題を解決するために、本発明は、映像入力信号の入力を受け付けるとともに、当該映像入力信号に基づく映像を表示する際に、前記映像が表示される表示画面及び前記映像を視聴する視聴者の位置関係を検出し、前記映像入力信号に基づく画像のうち前記位置関係に対応する部分領域を補正領域として設定し、前記補正領域に対して、画像補正処理を実行し、前記画像補正処理が施された前記映像入力信号を前記表示画面に表示することを特徴とする

本発明によれば、データ量の増加に配慮しつつ、画質の向上も行える技術を提供することができる。なお、上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第一実施形態に係る映像表示装置の概略構成を示すブロック図 画像処理部の内部構成を示すブロック図 補正領域決定データ例を示す図であって、（ａ）は逓増型、（ｂ）はリニア型、（ｃ）はステップ型を示す。 スクリーンの平面図と視聴者の位置関係を示す図 補正領域及び補正特性の例を示す図 スクリーンと視聴者の位置、及び補正領域の位置の一例を示す図 図７は、スクリーン２０と視聴者２１の位置関係を示す図であって、（ａ）は基準点（注視点）のｘ座標、（ｂ）は基準点（注視点）のｙ座標を示す。 プロジェクタからスクリーンへの投影方向を考慮した表示制御の例を示す図 投影角度に応じた反射ゲイン及び補正ゲインの例を示す図 映像表示装置の動作の流れを示すフローチャート スクリーン正面図を用いて画像処理部の動作例を示す図 スクリーンに立体映像を表示した一例を正面図、平面図で示した図 第二実施形態における補正領域の算出例を示す図であって、（ａ）は左目、（ｂ）は右目の場合を示す。 第三実施形態に係る画像処理部の構成例を示すブロック図 注視点の推定処理を示す図 第四実施形態に係る映像表示装置の構成を示すブロック図 第五実施形態に係る映像表示システムの概略構成を示す図 第六実施形態に係る映像表示システムの概略構を示す図であって、同一スクリーン上に重ねて投影する場合の構成例を示す。 第六実施形態に係る映像表示システムの概略構を示す図であって、同一スクリーン上に重ねて投影する場合の構成例を示す。

以下、本発明の実施の形態について図面に基づいて説明するが、本発明は必ずしもこれらの実施形態に限定されるものではない。なお、実施形態を説明する各図面において、同一の部材には同一の符号を付し、その繰り返しの説明は省略する。

＜第一実施形態＞
第一実施形態では、映像表示位置と視聴者の位置関係に基づき、表示映像に補正を加えて表示する映像表示装置をプロジェクタの構成にて説明する。なお、以下ではフロントプロジェクタの例で説明するが、その形態は、リヤプロジェクションテレビでもよい。また、パネルの拡大投影を行なわず、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどの直視平面ディスプレイを用いた表示装置でも構わない。また映像表示装置は、プロジェクタに関らず、テレビ、ゲーム機にように、映像信号を投影、出力する装置であればその態様を問わない。この点については、以降のいずれの実施形態でも同様である。

まず、図１及び図２を参照して第一実施形態に係る映像表示装置の概略構成につい説明する。図１は、第一実施形態に係る映像表示装置の概略構成を示すブロック図である。図２は、画像処理部の内部構成を示すブロック図である。図３は、補正領域決定データ例を示す図であって、（ａ）は逓増型、（ｂ）はリニア型、（ｃ）はステップ型を示す。

図１の映像表示装置１は、映像入力信号１０を入力とし、例えばＩＰ変換、スケーラ等により内部映像信号１２に変換する入力信号処理部１１と、内部映像信号１２を入力とし、本発明に係る高解像度化処理を実行し、補正映像信号１３を出力する画像処理部１００と、補正映像信号１３を入力とし、補正映像信号１３を表示画面（本実施形態ではスクリーン２に相当する）の水平・垂直同期信号に基づいて表示制御信号１５を生成するタイミング制御部１４と、映像を表示する光学系装置２００（映像表示部に相当する）と、を含んで構成される。本実施形態において、「画像」及び「映像」は動画像（映像）及び静止画像の双方を含む。

光学系装置２００は、スクリーン２０へ映像を投影するための光線を照射する光源２０３と、表示制御信号１５を入力とし、光源２０３からの光線の階調を画素毎に調整し、投射映像を作成するパネル２０２と、投射映像をスクリーンに拡大投影するためのレンズ２０１とを含んで構成される。

なお、映像表示装置１が、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイなどの直視平面ディスプレイである場合は、光学系装置２００のレンズ２０１は不要である。ユーザはパネル２０２を直視することとなる。

画像処理部１００は、スクリーン２０に投影する映像を視聴する視聴者の位置を検出し、視聴者位置情報１７を出力する視聴者検出部１６に接続される。視聴者検出部１６の態様は特に限定せず、例えば、ステレオカメラの視差映像による距離計測や、ＴＯＦセンサ（距離画像センサ）など、既存の技術で実現できる。

更に、画像処理部１００は、視聴者の視点を検出し、視点情報を出力する視点検出部１８に接続される。視点検出部１８は、視聴者の眼球を撮像して眼球画像を生成するカメラと、その眼球画像から視聴者の左右の黒目が撮像された領域を抽出し、視点位置及び視線方向を演算する演算部とを備えて構成される。なお、この演算部の機能は、画像処理部１００が担ってもよい。この場合、視点検出部１８は、視点情報としての眼球画像を画像処理部１００に出力する。

画像処理部１００は、視聴者位置情報及び視点情報に基づいて、補正領域の位置、大きさ、及び前記画像補正処理の補正特性の少なくとも１つを決定し、その決定内容に従って、補正領域に対して画像補正処理を実行する。

図２に示すように、画像処理部１００は精細感向上処理部４０、補正領域制御部４１、及び補正領域決定データ記憶部４３を含む。精細感向上処理部４０は、内部映像信号１２に基づく画像の部分領域に対して高精細化処理を施す。以下、高精細化処理の対象となる部分領域を補正領域という。補正領域制御部４１は、視聴者検出部１６から視聴者位置情報１７を取得し、これを用いて補正領域を決定し、補正領域の座標及び高精細化処理の内容を示すパラメータ（例えばゲイン、エンハンス強度等）を示す領域制御信号４２を生成する。補正領域決定データ記憶部４３は、補正領域制御部４１が補正領域を決定する際に参照する補正領域決定データを記憶する。図３を参照して補正領域決定データについて説明する。

上記補正領域３０に対する画像補正処理は一例にすぎず、これに限定されない。

一般に、視聴者がスクリーンに近づくにつれて、スクリーン２０における中心視野は狭く、遠ざかるにつれて中心視野は広くなると考えられる。そこで、本実施形態では、距離ｄに対してパラメータｒを増加関数として規定する。例えば、図３（ａ）のように距離dに対してパラメータrが逓増してもよいし、図３（b）のようにリニアに増加してもよいし、図３（c）のようにステップ状に増加してもよい。補正領域決定データは、スクリーン及び視聴者の間の距離dと、補正領域の大きさを規定するパラメータrとの関係を示すデータである。なお、本実施形態では、補正領域決定データをグラフ形式で図示したが、関数やテーブルでもよく、データ形態を問わない。

図１の構成において、視聴者検出部１６はスクリーン２０に対する視聴者の位置を検出し、視聴者位置情報１７を出力すると、画像処理部１００は、視聴者位置情報１７に基づいて内部映像信号１２の高精細化処理を行う。この処理の一例を図４および図５を用いて説明する。

図４は、スクリーン２０の平面図と視聴者２１の位置関係を示す図である。図４では、スクリーン２０に対して視聴者２１がスクリーン２０のＸ軸方向中央付近に正対しているとする。スクリーン２０のｘ軸方向（視聴者から見て左右方向）の左端部には、視聴者検出部１６としてのＴＯＦセンサ１６aが備えられる。上記左端部が水平方向に沿った距離ｘの測定基準点である。または、スクリーン２０の左右の各端部にステレオカメラを備えてもよい。ＴＯＦセンサからなる視聴者検出部１６は、反射波を基に検出点のプロファイル２８を算出し、プロファイル２８の各点までの距離Lと、そのときのレーザのスクリーン２０に対する照射角θとを用いて、各点とスクリーン２０までの距離ｄを以下の式（１）により求める。
ｄ＝Ｌsinθ・・・（１）

そして視聴者検出部１６は、各点について求めたｄの内、最短の距離を視聴者とスクリーン２０との距離として求め、視聴者位置情報を生成する。

図５は、補正領域及び補正特性の例を示す図である。スクリーン２０と視聴者が距離ｄ離れていた場合、画像処理部１００は図３の補正領域決定データを参照し、距離ｄに対するパラメータｒを抽出する。そして、補正領域３０を設定し、この補正領域の内側に対して高精細化処理を行う。

画像処理部１００は、補正領域３０の内側で補正量を最大とし、補正領域３０から離れるに従い、補正量が減衰するように補正する。図５の減衰量は一例であり、傾きを小さくすれば、補正領域３０の境界付近の画質差を小さくできるため、視覚的に自然な映像補正ができ、逆に傾きを大きくとることで、敢えて画質差を生じさせることができる。このように補正特性については、表示映像の品質や内容に応じて、任意に選べばよい。

補正領域の大きさは、視聴者２１の距離に応じて変化させる。視聴者２１の距離がｄよりも小さい場合は、図５の補正領域３１の点線で示す内部を高精細化処理し、視聴者２１の距離がｄよりも大きい場合は、補正領域３２の点線で示す内部を高精細化処理する。つまり、前述したように人の視覚特性では、視野の空間分解能が高い領域は限られるため、スクリーンと視聴者の距離に応じて、空間分解能が高い領域の表示映像を高精細化し、それ以外の領域は高精細化しない。このように高精細化領域を制御することで、高精細で視認しやすい映像表示を、より少ない画像処理量で実現することができる

次に、図６を参照してスクリーン２０と視聴者２１の位置に応じた表示制御に際し、スクリーンの水平位置関係を考慮した一例を示す。図６は、スクリーン２０と視聴者２１の位置、及び補正領域の位置の一例を示す図である。

視聴者検出部１６は、スクリーン２０と視聴者２１の距離ｄとスクリーン２０の水平位置に対する視聴者の位置を検出する。図６では、スクリーン左端から距離ａ、スクリーン右端から距離ｂの位置に視聴者２１が存在する場合の例を示している。この場合には、スクリーン２０の正面図に示す補正領域３０について、画像処理部１００の精細感向上処理部４０が高精細化処理を行う。

また、図４及び図５を用いて説明した一例と同様に補正領域３０の大きさは、スクリーン２０から視聴者２１までの距離ｄに応じて変化させる。視聴者２１の距離がｄよりも小さい場合は、補正領域３１の内部を高精細化処理し、視聴者２１の距離がｄよりも大きい場合は、補正領域３２の内部を高精細化処理する。この様に視聴者２１の位置に対応したスクリーン２０の水平位置において高精細化処理を行うことで、視聴者２１が移動した場合にも、高精細で視認しやすい映像表示を、より少ない画像処理量で実現することができる。

次に、図７を参照して、スクリーン２０に対する視聴者２１の位置に加え、視聴者２１の視線の方向を考慮した表示制御の一例を示す。図７は、スクリーン２０と視聴者２１の位置関係を示す図であって、（ａ）は基準点（注視点）のｘ座標、（ｂ）は基準点（注視点）のｙ座標を示す。視聴者検出部１６は、スクリーン２０と視聴者２１の距離ｄと、スクリーン左端部からＸ軸方向に沿った距離ａと、を検出する。また、視点検出部１８は、視聴者２１のスクリーンに対する視線の角度θ１を検出する。

補正領域制御部４１は、このように検出した距離ｄ、θ_１に基づき、スクリーン２０の注視位置を求めることができる。図７（ａ）の基準点５０のｘ座標ｘ_５０は、次の式（２）により求められる。
ｘ_５０＝ａ＋ｄtanθ_１・・・（２）

同様に図７（ｂ）に示すように、視聴者検出部１６が、スクリーン２０の下端部から視聴者２１の目の高さｈを検出し、視点検出部１８が、視聴者２１の視線の俯仰角αを検出した場合、基準点５０のｙ座標ｙ_５０は、次の式（３）により求められる。
ｙ_５０＝ｈ＋ｄtanα・・・（３）

目の高さｈは、視聴者検出部１６が視聴者の最も高い部分（頭頂部）を検出し、補正領域制御部４１がその高さから予め記憶された頭頂部から目までの距離の解剖学的なデータを参照して減算して求めてもよい。又は視点検出部１８が検出した目の位置情報を用いてもよい。

補正領域制御部４１は、基準点５０を中心とし、距離ｄに応じたパラメータｒを用いて補正領域３０、３１、３２を設定する。この様に視聴者２１の位置および視線方向に対応したスクリーン２０の水平位置及び垂直位置において高精細化処理を行うことで、視聴者２１の視線方向が変化した場合にも、高精細で視認しやすい映像表示を、より少ない画像処理量で実現することができる。なお、上記では、水平位置及び垂直位置の両方を考慮して補正領域を決定したが、水平位置又は垂直位置のどちらか一方だけを考慮して補正領域を求めてもよい。

次に、図８及び図９を参照して、スクリーン２０に対する視聴者２１の位置、視聴者２１の視線の方向に加え、プロジェクタからスクリーンへの投影方向を考慮した表示制御の例について説明する。図８は、プロジェクタからスクリーンへの投影方向を考慮した表示制御の例を示す図である。図９は、投影角度に応じた反射ゲイン及び補正ゲインの例を示す図である。

図８のプロジェクタ２２からは、映像は点線２３から点線２５に示す方向に投影されスクリーン２０に表示される。視聴者２１は、図７で説明した一例と同様に、スクリーン２０から距離ｄだけ離れ、視線方向はスクリーン２０に対してθ_１の角度方向を注視している。従って、スクリーン左端から距離（ａ＋ｄtanθ_１）、スクリーン右端から距離（ｂ−ｄtanθ_１）の位置を視聴者２１が注視している。その位置におけるプロジェクタ２２からスクリーン２０に対して投影される映像、つまり光の入射方向を矢印の点線２４で示し、スクリーン２０からの反射光の方向を矢印の点線２６で示している。この一例では、スクリーン２０に対してθ_２の入射角度で投影され、同じ角度で反対側に反射している。ここで、スクリーン２０には様々な光の反射特性を有しているが、一般的には、図９に示すように、反射方向に対して、±０度をピークとした特性となる。そこで、本実施形態では、視聴者２１の視線方向とスクリーン２０から反射するプロジェクタ２２の投影光の角度を考慮した映像の補正量制御を行う。

補正領域制御部４１は、基準点５０を中心とし、距離ｄに応じたパラメータｒを用いて補正領域３０、３１、３２を設定する。ここで、前述したスクリーン２０からの反射角度θ_２と視線方向θ_１に基づき、図９の反射特性を補正するように映像補正量を変化させる。つまり、θ_２−θ_１が、反射光に対する視線角度であるので、この角度に基づき、例えば図９の下図にある特性で映像の補正量を変化させる。この制御により、視聴者２１の位置や視線方向によらず、見やすい映像表示を実現できる。以上の説明で、図９の反射特性はスクリーンによってピークゲインの大きさや角度に応じた減衰量が変わるが、その特性に応じて映像の補正量を選べばよい。更に、本実施形態の一例では、映像補正として高精細化について説明してきたが、コントラスト補正量を同様に変化させてもよく、これにより補正領域の視認性を向上でき、精細度とともにコントラストを高めることで、より見やすい映像表示が実現できる。

図１０及び図１１を参照して、本実施形態に係る映像表示装置画像処理部の構成及び動作例について説明する。図１０は、映像表示装置の動作の流れを示すフローチャートである。図１１はスクリーン正面図を用いて画像処理部の動作例を示す図である。

入力信号処理部１１は、不図示の映像信号供給源から映像入力信号を受信し、画像処理部１００に対して内部映像信号として出力する（Ｓ１１）。映像供給源とは、ＰＣやスマートフォン、テレビ、録画再生機器のように、画像信号を出力するものである。

入力信号の取得と平行して、視聴者検出部１６はスクリーン２０に対する視聴者の位置（距離ｄ）を算出する。また、視点検出部１８は、視聴者の視点の位置、視線方向を検出する（Ｓ２１）。

補正領域制御部４１は、例えば、図７のように、スクリーン２０上に基準点５０を設定する。補正領域制御部４１は、基準点５０をスクリーン２０の水平方向、垂直方向の中央に予め設定してもよいし、ユーザが任意の１点を選択して設定してもよい。更に、補正領域制御部４１は、視聴者位置情報１７に基準点５０を動的に、すなわち、Ｘ軸方向、Ｙ軸方向の座標を視聴者位置情報１７が更新される度に設定してもよい。

補正領域制御部４１は、基準点５０を設定すると、補正領域決定データ記憶部４３を参照し、距離dに応じたパラメータrを読み出す（Ｓ２２）。

そして、補正領域制御部４１は、基準点５０とし、パラメータrを用いて決定される領域を補正領域３０として設定する（図１１参照）。補正領域制御部４１は、補正領域３０の位置を示す領域制御信号４２を生成する（Ｓ２３）。同時に、補正領域制御部４１は、必要があれば、補正ゲイン（図９参照）等の補正パラメータを決定し、領域制御信号４２にその内容を含める。補正領域制御部４１は、領域制御信号４２を精細感向上処理部４０に出力する。

精細感向上処理部４０では、その領域制御信号４２に従って、内部映像信号１２に対して高精細化処理を行い、補正映像信号１３としてタイミング制御部１４に出力する（Ｓ２４）。精細感向上処理部４０の具体的な処理については、一般的な映像信号の高域エンハンサのような処理や解像度を復元する超解像処理など、映像の精細感が向上できる処理であれば特に限定されない。

タイミング制御部１４は、入力された補正映像信号１３を基に表示制御信号１５を生成し、パネル２０２へ出力し、レンズ２０１を通して映像信号が投影される（Ｓ２５）。その後、ステップＳ１１及びステップＳ２１へ戻り、次の映像入力信号を受信すると共に、視聴者の位置及び視線方向を検出する処理を繰り返す。図１０では、ループ状に処理の流れを示しているが、映像信号の入力が無ければＳ１１において待機状態となり、映像表示装置１の主電源がＯＦＦにされると、終了するためのシーケンス（不図示）が実行されて、図１０の処理も終了する。

本実施形態によれば、スクリーン２０から視聴者２１までの距離に応じて補正領域を設定し、そこについて高精細化処理を行うので、視聴者２１の中心視野に近い領域の空間解像度を上げつつ、映像全体に対して高精細化処理をする場合に比べて画像処理にかかる負荷を低減することができる。

更に上記実施形態では、視線方向を考慮して補正領域の位置を決定することにより、視聴者２１の視点移動に補正領域を追従させることができる。

また、プロジェクタへの投影方向及び視線方向を考慮することにより、スクリーンに対する角度の違いによる画像の不鮮明さを補正することができる。

以上の説明において、補正領域の形状は円形で図示したが、これに限ったものではなく、楕円形や矩形でも同様に本発明の効果が得られる。また、ここまでは、設定した補正領域の内部を高精細化するように説明しているが、補正領域の内部を高精細化せずに補正領域の外部の精細度を下げるように補正してもよい。これにより補正領域の内部の精細度が補正領域の外部よりも相対的に高くなるので本発明の効果が得られる。

＜第二実施形態＞
第二実施形態は、立体映像に本発明を適用した実施形態である。以下、図１２及び図１３を参照して第二実施形態について説明する。図１２は、スクリーン２０に立体映像を表示した一例を正面図、平面図で示した図である。図１３は、第二実施形態における補正領域の算出例を示す図であって、（ａ）は左目、（ｂ）は右目の場合を示す。

図１２では、視聴者の左右の目の位置を符号２１a，２１ｂにより図示する。人の目はある一点を注視する場合、左右の目が異なる方向を見て距離感を知覚すると言われており、左右それぞれの目が見ている角度を輻輳角という。そこで、本実施形態の一例では、左右の視線方向を用いて、奥行き方向の高精細化位置を制御に加える。

図１２において、左目２１aが見ている方向をθ_３、右目２１ｂが見ている方向をθ_４とすると、左右の目の間隔と、それぞれの角度から、注視位置までの距離ｄを含めた注視位置を求めることができる。この注視点Ｐ_３０に対して補正領域３０で示す範囲の高精細化処理を行うように制御する。一般的な立体表示では、目の注視位置はスクリーン上にあるが、本実施形態のように、実際の注視位置の映像を高視認化することで、表示される映像の位置を注視できるようになり、より実物を見るのに近い映像を再現できる。なお、補正領域３０の範囲は、視聴者の距離ｄにより、前述の実施形態と同様に制御を行う。

図１３に、図１２に示す位置関係における補正領域３０に対する演算処理の一例を示す。立体画像上の注視点Ｐ_３０を含む補正領域３０は、実際には、スクリーン２０上に投影された左目２１ａが視認する左目画像と、右目２１ｂが視認する右目画像との虚像により形成される点である。そこで、図１３（ａ）に示すように、補正領域制御部４１は、スクリーン２０から視聴者２１までの距離をｄ（これは視聴者検出部１６の検出値である）、スクリーン左端部から視聴者２１までの距離（左右の目の中点までの距離と見做す）ａ、輻輳角θ_３を用いて、下式（４）により、左目画像における補正領域３０が実写された領域３０ａの基準点５０のｘ座標ｘ_３０aを求める。
ｘ_３０a＝ａ＋ｗ_１×ｄtanθ_３・・・（４）
但し、ｗ１はｄが大きくなるにつれて大きくなる重み係数

同様に、図１３（ｂ）に示すように補正領域制御部４１は、スクリーン２０から視聴者２１までの距離をｄ、スクリーン左端部から視聴者２１までの距離ａ、輻輳角θ_４を用いて、下式（５）により、右目画像における補正領域３０が実写された領域３０ｂの基準点５０ｂのｘ座標ｘ_３０ｂを求める。
ｘ_３０ｂ＝ａ−ｗ_１ｄtanθ_４・・・（５）
但し、ｗ２はｄが大きくなるにつれて大きくなる重み係数

また、俯仰角をαとすると、一般に左右の目は同じ俯仰角αを形成する。そこで、既述の式（３）により、注視点Ｐ_３０に対する補正領域３０を形成するための左目画像、右目画像の基準点のｙ座標を求めることができる。

本実施形態によれば、立体映像上に注視点がある場合にも、その注視点を含む部分領域に対して高精細化処理を行うことにより、空間解像度の向上とデータ量の削減及び画像処理に係る負荷の低減との両立を図ることができる。

＜第三実施形態＞
第三実施形態は、本発明における高精細化処理を視聴者の移動や視点の変化に基づき制御する場合に、その変化に予測を加えて制御するものである。一般的な映像処理では、処理過程で時間的な遅延が生ずる。その遅延を推定し、次に移動する場所を推定して、予め画像処理しておきことで、より現実に近い表示を実現することができる。以下、図１４及び図１５を参照して第三実施形態について説明する。図１４は、第三実施形態に係る画像処理部１００の構成例を示すブロック図である。図１５は、注視点の推定処理を示す図である。

図１４に示すように、画像処理部１００ａは、視点移動推定部４４を更に備える。そして、視聴者検出部１６で検出した視聴者位置情報と、視点検出部１８が検出した視点情報とが、視点移動推定部４４へ入力される。視点移動推定部４４は、視聴者位置情報及び視点情報を基に、視点の移動先を推定する。この推定方法を、図１５を基に説明する。

図１５の注視点５１、注視点５２が時系列に沿って視点移動推定部４４へ入力された場合、視点移動推定部４４は、注視点５１、５２の移動ベクトル６０を求め、注視点５２に移動ベクトル６０と同量の移動ベクトル６１の移動を加えて、注視点５３を求める。そして、視点移動推定部４４は注視点５３の座標を推定位置情報４５として出力する。

補正領域制御部４１は、推定位置情報４５に基づき領域制御信号４２を出力する。精細感向上処理部４０では、領域制御信号４２に基づき、内部映像信号１２の高精細化処理を行い、補正映像信号１３を出力する。以降の動作は前述の実施形態の一例と同様である。

本実施形態によれば、次の視点位置の映像を事前に補正することができるので、遅延がなく、より自然な映像表示が実現できる。なお、上記説明で、時系列に得られる位置情報５１、５２は、２点の情報だけを用いて移動ベクトルを求める一例を説明したが、情報は２点である必要はなく、２点以上の情報に基づき予測すればよい。

＜第四実施形態＞
第四実施形態は、本発明における映像表示装置で、表示する映像の生成も実行する実施形態である。以下、図１６を参照して第四実施形態について説明する。図１６は、第四実施形態に係る映像表示装置の構成を示すブロック図である。

図１６に示す映像表示装置１aは、映像蓄積部７０及び映像生成部７２を更に備えると共に、視聴者検出部１６は視聴者位置情報を映像生成部７２に入力する点で、第一実施形態に係る映像表示装置１の構成とは異なる。

映像蓄積部７０は、立体映像モデルデータ７１を蓄積し、必要に応じて映像生成部７２に立体映像モデルデータ７１を出力する。映像生成部７２は、立体映像モデルデータ７１の視点変換処理を行い、映像信号１０として入力信号処理部１１を経由して画像処理部１００に出力する。その際、映像生成部７２の視点変換処理は、視聴者検出部１６、及び視点検出部１８で検出する視聴者位置情報及び視線情報に基づき処理を行う。映像生成部７２は、立体映像モデルデータ７１に対し、視聴者位置情報及び視線情報に基づき表示する映像中の物体の大きさや角度などの変換処理を行い視聴者が見ている方向に対応した映像を生成する。

映像生成部７２は、大きさ、角度の変換処理を施した立体映像モデルデータ７１に対し、視聴者位置情報及び視線情報を用いて補正領域を設定し、高精細化処理を施す。従って、映像生成部７２は、画像処理部１００に相当する。

本実施形態によれば、視聴者検出部１６で検出する情報を用いて、立体映像モデルデータ７１の視点変換処理、及び視聴者が注視する位置の高精細化処理を行うことができ、見やすい立体映像表示が実現できる。

＜第五実施形態＞
第五実施形態は、高精細化を行う補正領域の圧縮率と、補正領域とは異なる領域の圧縮率とを変える実施形態である。以下、図１７を参照して第五実施形態について説明する。図１７は、第五実施形態に係る映像表示システムの概略構成を示す図である。

図１７の映像表示システム３は、サーバ３００と映像表示装置１ｂとを通信接続をして構成される。

サーバ３００は、映像蓄積部７０、映像生成部７２、映像圧縮部７４、及び通信処理部７６を備える。サーバ３００は、例えばクラウド上のサーバパソコンである。

一方、映像表示装置１ｂは、第一実施形態に係る映像表示装置１に加え、通信処理部７８及び映像伸張部８０を備える。そして、視聴者検出部１６及び視点検出部１８は、視聴者位置情報１７ａ及び視点情報を通信処理部７８へ出力する。また、本映像表示システム３では、高精細化処理をサーバ３００で実行するので、映像表示装置１ｂに代えてサーバ３００に画像処理部１００に相当する機能を備える。

上述したサーバ３００の通信処理部７６と、映像表示装置１ｂの通信処理部７８とは、ネットワーク７７、例えばインターネット等の公衆回線や専用回線を介して接続される。

次に、映像処理装置１ｂの動作について説明する。映像表示装置１ｂの通信処理部７８は、視聴者位置情報及び視点情報をサーバ３００に送信する。サーバ３００の通信処理部７６は受信した視聴者位置情報及び視点情報を映像生成部７２に出力する。映像生成部７２は、映像蓄積部７０から取得した立体映像モデルデータ７１に対して、視聴者位置情報及び視点情報を用いて視点変換処理及び高精細化処理を施し映像信号７３を生成する。従って、映像生成部７２は画像処理部１００に相当する。

映像生成部７２は、映像信号７３とともに高精細化処理を施した補正領域の位置を示す補正領域情報を映像圧縮部７４に出力する。映像圧縮部７４は、補正領域情報を基に映像信号７３の補正領域と補正領域以外の領域（以下「補正外領域」という）に対する圧縮特性を変更させつつ、圧縮処理を実行する。具体的には、映像圧縮部７４は、補正領域情報を基に補正領域内については相対的に映像の圧縮率を低く、補正外領域に対しては相対的に圧縮率を高くして圧縮処理を行う。圧縮された映像信号（以下「圧縮映像信号」という）７５及び補正領域情報は通信処理部７６から、映像表示装置１ｂに伝送される。

伝送された圧縮映像信号７５及び補正領域情報は、通信処理部７８で受信され、映像伸張部８０に出力される。

映像伸張部８０は、補正領域情報に示す補正領域の位置及び圧縮率と、補正外領域の位置及び圧縮率とを参照し、圧縮映像信号の伸張処理を行って映像信号１０を出力する。この以降の処理は前述した動作例と同様である。なお、画像処理部１００は、高精細化処理を行わないが、その他の画像処理、例えばノイズリダクションや輪郭強調処理、ビットレートの変換処理等を行ってもよいし、高精細化処理以外の画像処理を実行しない場合は、画像処理部１００を備えなくてもよい。

本実施形態によれば、映像表示装置１ｂとは別体に構成された情報処理装置（サーバ３００）で高精細化処理を実行することにより、映像表示装置１ｂに係る画像処理の負荷を下げることができる。

さらに、高精細化処理を施した補正領域の圧縮率は低くして映像品質を保ちつつ、補正外領域の圧縮率は高くすることで伝送するデータ量を減らすことができる。本実施形態でも、前述した実施形態と同様に、視点移動を予測し、予測された位置情報に基づき各映像処理を行うことで、遅延の少ない、より自然な映像表示が実現できる。

＜第六実施形態＞
第六実施形態は、本発明における映像表示装置を複数台用いる実施形態である。以下の一例は、２台のプロジェクタで説明するが２台に限ったものではない。以下、図１８及び図１９を参照して第六実施形態について説明する。図１８は、二台の映像表示装置が、同一スクリーン上に重ねて投影する場合の構成例を示す。図１９は、二台の映像表示装置が、同一スクリーン上に並べて投影する場合の構成例を示す。

図１８に示す映像表示システム４では、第一の映像表示装置１ｃ及び第二の映像表示装置１ｄが同一スクリーン上に重ねて投影する。

第一の映像表示装置１ｃは、映像入力信号１０ａを入力とし、例えばＩＰ変換、スケーラ等により内部映像信号１２ａに変換する入力信号処理部１１ａと、内部映像信号１２ａを入力とする画像処理部１００ａと、補正映像信号１３ａを入力とし、補正映像信号を表示画面の水平・垂直同期信号に基づいて表示制御信号１５ａを生成するタイミング制御部１４ａと、映像を表示する光学系装置２００ａとを含む。画像処理部１００ａは、スクリーンに投影する映像を視聴する視聴者の位置を検出し、視聴者位置情報１７を出力する視聴者検出部１６に接続される。

光学系装置２００ａは、スクリーンへ映像を投影するための光線を照射する光源２０３ａと、表示制御信号１５ａを入力とし、光源２０３ａからの光線の階調を画素毎に調整し、投射映像を作成するパネル２０２ａと、投射映像をスクリーンに拡大投影するためのレンズ２０１ａで構成される。

次に第二の映像表示装置１ｄは、第一の映像表示装置１ｃと同一な構成である。そして、第一の映像表示装置１ｃの画像処理部１００ａに接続された視聴者検出部１６が、第二の映像表示装置１ｄの画像処理部１００ｂにも接続される。この構成において、まず、映像入力信号１０ａ及び映像入力信号１０ｂを同一映像信号にすると、第一の映像表示装置１ｃと第二の映像表示装置１ｄのそれぞれで同じ映像処理が行われ、スクリーン上には輝度が２倍となった映像表示を行うことができる。

次に立体映像を表示する一例を説明する。まず映像入力信号１０ａには立体映像の右目用の映像を入力し、映像入力信号１０ｂには左目用の映像を入力する。第一および第二の映像表示装置１ｃ、１ｄのそれぞれは、視聴者位置情報１７に基づいて右目用、左目用の映像処理を行い、スクリーンへ投影する。その投影する際に、レンズとスクリーンの間に偏光方向の異なる偏光板を挿入するとともに、その偏光に対応した偏光メガネを装着して視聴を行う。このようにすることで、立体映像の視聴を実現できる。その際の偏光方式には直線偏光や円偏光などがあるが、特に偏光方式は問わない。

このようにして表示された立体映像も、視聴者の位置に応じて高精細化処理を行うことで、より自然で見やすい表示を行うことができる。

図１８に示す映像表示システム４ａでは、第一の映像表示装置１ｃ及び第二の映像表示装置１ｄが同一スクリーン上に並べて投影する。図１７の映像表示システム４と異なる点は、第二の映像表示装置１ｄの内部映像信号１２ｂを、第一の映像表示装置１ｃの入力処理部１１ａから得る点である。すなわち、入力信号処理部１１aは、左右に並べて表示する際の表示位置に対応して分離した映像を、内部映像信号１２ａ、内部映像信号１２ｂとして出力して、それぞれを第一の映像表示装置１ｃの画像処理部１００ａ、及び第二の映像表示装置１ｄの画像処理部１００ｂのそれぞれに出力する。これにより左右に並べて表示する際にも、視聴者の位置に応じて高精細化処理を行うことで、より自然で見やすい表示を行うことができる。

また、画像処理部１００ａ及び画像処理部１００ｂを接続する。そして、画像処理部１００ａ及び画像処理部１００ｂのそれぞれが視線位置を検出、推定した情報を互いに相手の画像処理部１００ｂ、１００ａに出力し、相手の画像処理部１００ｂ、１００ａから取得した視線位置情報も用いて、補正領域を決定する。これにより、第一の映像表示装置１ｃの補正領域３０が徐々にスクリーン１，２の境界線に近づく場合、第二の映像表示装置１ｄは補正領域３０が、自機の投影範囲に近づきつつあることを検知できる。これにより、基準点が第一の映像表示装置１ｃ内にあり、補正領域３０の一部のみがスクリーン２に含まれる場合にも、第二の映像表示装置１ｄがその一部の領域について高精細化処理を施すことができる。

これにより、視聴者の視点がスクリーン１、スクリーン２の境界線を越えて移動しても、より滑らかな高精細化映像を視聴することができる。

上記各実施形態は、本発明を限定するものではなく、本発明の趣旨を逸脱しない範囲で様々な変更態様があり、これらも本発明の技術的範囲に属する。また、上記第一実施形態から第六実施形態のそれぞれについての任意の組み合わせも可能である。

また上記において、視聴者位置情報及び視点情報を共に用いて補正領域を求める例につて説明したが、視聴者位置情報だけ、または視点情報だけを用いて補正領域を求めてもよい。

更に、上記各実施形態では、１画像（映像信号の場合は１フレームと言い換えてもよい）に対して１つの補正領域を図示して説明したが、複数の視聴者がいる場合は、各視聴者の注視点を基準とする補正領域を設定してもよい。即ち、１画像に対して複数の補正領域を設定してもよい。

１：映像表示装置、２０：スクリーン、２１：視聴者、２２：プロジェクタ、３０、３１、３２：補正領域

Claims (13)

1. 映像入力信号の入力を受け付けるとともに、当該映像入力信号に基づく映像を表示する映像表示装置であって、
   前記映像が表示される表示画面及び前記映像を視聴する視聴者の位置関係を検出し、その結果を含む視聴者位置情報を生成する視聴者検出部と、
   前記映像入力信号に基づく画像に対し、前記視聴者位置情報に基づいて補正領域を設定し、当該補正領域に画像補正処理を施す画像処理部と、
   前記画像補正処理が施された前記映像入力信号を前記表示画面に表示する映像表示部と、
   を備えることを特徴とする映像表示装置。
2. 請求項１に記載の映像表示装置であって、
   前記視聴者検出部は、前記表示画面から前記視聴者までの距離を検出し、
   前記画像処理部は、前記表示画面から前記視聴者までの距離が相対的に近い場合に、前記補正領域の大きさを相対的に小さくし、前記距離が相対的に遠い場合に、前記補正領域の大きさを相対的に大きくする、
   ことを特徴とする映像表示装置。
3. 請求項１に記載の映像表示装置であって、
   前記画像処理部は、前記視聴者位置情報に基づいて、前記補正領域の位置、大きさ、及び前記画像補正処理の補正特性の少なくとも１つを決定し、その決定内容に従って前記画像補正処理を実行する、
   ことを特徴とする映像表示装置。
4. 請求項１に記載の映像表示装置であって、
   前記視聴者検出部は、前記位置関係として、前記表示画面から前記視聴者までの距離、前記表示画面の測定基準点から前記視聴者までの水平方向に沿った距離、及び前記表示画面の測定基準点から前記視聴者の目までの高さの少なくとも一つを検出する、
   ことを特徴とする映像表示装置。
5. 請求項１に記載の映像表示装置であって、
   前記視聴者の視点位置及び視線方向の少なくとも１つを検出して視点情報を出力する視点検出部を更に備え、
   前記画像処理部は、前記視点情報を更に用いて前記補正領域の位置を決定する、
   ことを特徴とする映像表示装置。
6. 請求項５に記載の映像表示装置であって、
   前記映像表示部は、前記表示画面に前記映像を投影する映像投影部であって、
   前記画像処理部は、前記映像投影部が投影する際の前記表示画面に対する角度、前記表示画面の反射特性を更に用いて、前記補正領域の大きさ及び補正特性のうち少なくとも１つを決定する、
   ことを特徴とする映像表示装置。
7. 請求項５に記載の映像表示装置であって、
   前記映像表示部は、前記表示画面に前記映像を投影する映像投影部であって、
   前記視点検出部は、前記映像投影部により表示される映像を視聴する前記視聴者の左右の目の輻輳角を検出し、
   前記画像処理部は、前記輻輳角により求められる空間上の注視点に対応する、前記表示画面上の映像に含まれる前記補正領域に対して、前記画像補正処理を行う、
   ことを特徴とする映像表示装置。
8. 請求項５に記載の映像表示装置であって、
   前記画像処理部は、前記視点情報の過去の履歴に基づき、前記視聴者の視点方向を推定し、視点移動の推定位置に基づいて前記補正領域を設定する、
   ことを特徴とする映像表示装置。
9. 請求項８に記載の映像表示装置であって、
   前記画像処理部は、自装置とは異なる他の映像表示装置から、当該他の映像表示装置が推定した前記視点移動の推定位置を示す情報を取得し、それを用いて前記自装置に入力された前記映像入力信号に対して前記画像補正処理を実行する、
   ことを特徴とする映像表示装置。
10. 請求項１に記載の映像表示装置であって、
    前記画像処理部は、前記補正領域に対し、精細度補正及びコントラスト補正の少なくとも一つを行う、
    ことを特徴とする映像表示装置。
11. 映像入力信号に対して画像補正処理を行うサーバ、及びそのサーバから前記画像補正処理後の映像信号を受信して表示する映像表示装置を含む映像表示システムであって、
    前記映像表示装置は、
    前記映像が表示される表示画面及び前記映像を視聴する視聴者の位置関係を検出し、その結果を含む視聴者位置情報を生成する視聴者検出部と、
    前記視聴者位置情報を前記サーバに送信する装置側通信処理部と、
    圧縮画像を伸張する映像伸張部と、
    前記表示画面に前記映像を表示する映像表示部と、
    を備え、
    前記サーバは、
    前記視聴者位置情報を受信するサーバ側通信処理部と、
    前記映像入力信号に基づく画像に対し、前記視聴者位置情報に基づいて補正領域を設定し、当該補正領域に画像補正処理を実行する画像処理部と、
    前記補正領域の圧縮率は相対的に低く、前記画像のうちの前記補正領域とは異なる領域である補正外領域の圧縮率は相対的に高くして、前記画像補正処理後の画像に圧縮処理を施す圧縮処理部と、
    を備え、
    前記サーバ側通信処理部は、前記圧縮処理後の前記画像を前記映像表示装置に送信し、
    前記装置側通信処理部は、前記圧縮処理後の画像を受信し、
    前記映像伸張部は、前記受信した圧縮処理後の画像に伸張処理を施す、
    ことを特徴とする映像表示システム。
12. 請求項１１に記載の映像表示システムであって、
    前記サーバは、前記映像入力信号として立体画像データの入力を受け付け、
    前記画像処理部は、前記視聴者位置情報に基づき、前記立体画像データの大きさ、及び角度の少なくとも一つを変換する処理を行い、その変換後の立体画像データに対して前記補正領域を設定する、
    ことを特徴とする映像表示システム。
13. 映像入力信号の入力を受け付けるとともに、当該映像入力信号に基づく映像を表示する映像表示方法であって、
    前記映像が表示される表示画面及び前記映像を視聴する視聴者の位置関係を検出するステップと、
    前記映像入力信号に基づく画像に対し、前記位置関係に基づいて補正領域を設定するステップと、
    前記補正領域に対して画像補正処理を実行するステップと、
    前記画像補正処理が施された前記映像入力信号を前記表示画面に表示するステップと、
    を含むことを特徴とする映像表示方法。

Images