JP2008067312A - 画像表示システム - Google Patents

Abstract

【課題】多画面表示や立体表示、それらを組み合わせたマルチ画像表示において、画像・音声選択など方向別画像表示素子の制御に関する操作性や、複数の観察者に対する方向別画像の表示設定の最適化などに優れた装置を実現し、観察者に対して快適な観察環境を提供する。
【解決手段】複数の方向に対応した画像を表示する方向別画像表示素子１００と、この素子を遠隔制御するリモコン２００と、リモコン２００から信号を受信する受信手段と、リモコン２００を操作する観察者の画像データを取得する撮像素子と、リモコン２００によって発信された信号から受信手段に対するリモコン２００の方位を示す第１データを検出する検出手段と、を有し、第１データを用いて、方向別画像表示素子１００に対する観察者の頭部または視点の方位を示す第２データを検出し、該第２データとリモコン２００からの信号を用いて方向別画像表示素子１００を制御する。
【選択図】 図１

Description

本発明は、テレビジョン用受像機、コンピュータ用モニタ、立体（３Ｄ）ディスプレイ、ナビゲーションシステム、携帯型情報端末、広告・宣伝用ディスプレイ、プレゼンテーション用表示装置、テレビ会議システム、ゲーム機器用表示装置などの画像表示システムに関するものである。

従来、２人以上の観察者が異なる平面画像（２次元画像）を観察可能な多画面表示や、１人あるいは複数の観察者が同じ、あるいは異なる立体画像（３次元画像）を観察可能な立体（３次元）表示を実現する手段として多くの提案がなされている。たとえば、ディスプレイを正面にして右側と左側に位置する２人の観察者に対して異なる平面画像の表示が可能な２画面ディスプレイが提案されている（たとえば、特許文献１参照）。また、たとえば、レンチキュラレンズと２次元画像表示素子を組み合わせて観察者に視差画像を与える方式の立体ディスプレイが提案されている（たとえば、特許文献２参照）。

多画面ディスプレイ（多画面表示）も立体ディスプレイ（立体表示）も、異なる方向に個別の画像を表示させることが可能な表示素子（以下、これを方向別画像表示素子と呼ぶこととする）によって実現されるものであって基本となる技術は同じである。これを用いれば、通常の平面画像表示から多画面表示や立体表示に切り替えたり、異なる観察者に対して一方には平面画像を、もう一方には立体画像を表示したりすることも可能である。

具体的な方向別画像表示素子の構成例としては、たとえば最も簡単な例として図３６のようなものがある。これは、バックライト２を備えた液晶表示素子１（液晶ディスプレイ）の前面にスリットアレイ３を配置させたものであり、パララクスバリア方式と呼ばれる方式の構成例である。スリットアレイ３をレンチキュラレンズ（円筒レンズアレイ）に置き換えても方向別画像表示素子を構成することが可能である。

一般に、方向別画像表示素子は、あらかじめ良好に観察可能な位置や領域が決められており、任意の位置で観察したり観察途中で観察位置を大きく移動したりすることはできない。具体的には、多画面表示では隣り合う方向別画像の境界付近では良好な画像の観察が困難であり、一方立体画像表示ではこの境界が観察者の両眼の中心付近に位置していないと良好な画像を観察できないという制約がある。特に、立体画像表示におけるこの制約は厳しく、観察者が両眼の並ぶ方向に両眼の間隔の半分以上移動すると所望の立体画像を観察することができなくなってしまうという問題がある。

このような課題に対して、たとえば、赤外線を観察者に照射してその反射光から観察者の頭部位置を検出する方法が開示され（たとえば、特許文献３参照）、あるいは撮像素子（カメラ）で得られた映像からパターンマチングによって観察者の頭部または視点位置を検出する方法が提案されている（たとえば、特許文献４参照）。

また、頭部や視点の位置を直接検出する方法ではないが、上記課題に対して観察者が操作するリモートコントロール装置の位置を検出することによって間接的に観察者の位置を特定する方法が提案されている（たとえば、特許文献５参照）。

この発明に基づく画像表示装置は、たとえば図３７のように構成される。この図において、観察方向検出素子１１とは観察画像を選択あるいは制御するためのリモートコントロール装置（リモコン）２０から発せられた赤外光の方向を検出すると同時に、画像選択信号を検出することが可能な素子のことである。この構成では、観察者によってリモコン２０が操作されて画面の制御信号が方向別画像表示素子１０に向けて送信されると、観察方向検出素子１１によって方向別画像表示素子１０に対するリモコン２０の方向が検出され、その方向へ向けて表示されている方向別画像だけが選択的に制御されるようになっている。

特開平９−４６６２２号公報 特開昭６２−２０９９９３号公報 特開平２−５０１４５号公報 特開２０００−１５２２８５号公報 特許第３５０３９２５号公報

しかしながら、上記したような方向別画像表示素子の観察場所の問題に対して、これらの解決手段は、観察者がストレスなく良好な画像を観察できるようにするには不十分なものである。たとえば、以下のような解決できていない問題がある。以下、列挙する。

第１に、特許文献５では、リモートコントロール装置（以下、リモコンと記述する）の操作時に観察者の視点とリモコンの位置関係が所定の条件を満たしていないと良好な画像の観察が出来なかったり、誤動作を生じてしまったりするという問題がある。たとえば、多画面表示において観察者の頭部または視点とリモコンの位置関係が方向別画像の境界線を跨いでいると、操作前に観察していた方向別画像ではなく、リモコンが位置する領域で観察される方向別画像が制御されてしまうという問題がある。これに対して特許文献５の請求項１０に記載されている発明では、リモコンの位置からあらかじめ設定した距離だけ離れた位置を頭部または視点として検出する手段が記載されているが、この手段を用いたとしても観察者の頭部または視点とリモコンの位置関係の個人差に対応できないことや、同じ観察者であっても上記位置関係を常に一定に保った姿勢で操作しなければならないという煩わしさがある。また、通常右手で操作していた場合、何等かの理由によって左手で操作する必要性が生じた場合には上記位置関係の補正量を再設定しなければうまく動作しないという問題もある。

第２に、特許文献３や特許文献４のように、観察者の頭部や視点を検出する方法では、観察意思の確認が困難であったり、観察前を認識させるための煩わしい初期登録や設定が必要であったり、といった問題がある。さらには、たとえば多画面表示において、表示可能な方向別画像より多い観察者が存在する場合には対応できないといった問題がある。

第３に、特許文献５では、立体表示の場合、リモコン操作後に観察者が両眼の半分以上の距離で視点を移動してしまうと立体画像を観察することができなくなってしまうという問題がある。

第４に、特許文献５では、観察者が観察位置を移動して送信した信号か、他の観察者がリモコンを操作して送信した信号かを区別できないという問題がある。したがって、たとえば観察者が横方向（方向別画像表示素子と観察者を結ぶ線に垂直な方向）に僅かに移動（たとえば身体半分程度）してリモコンを操作しただけで、別な観察者がそれまで観察していた方向別画像と異なる方向別画像の選択制御を要求したものと判断されてしまう場合がある。

第５に、撮像素子を用いて得られる観察者の画像から観察者の視点を検出するような方式では、方向別画像表示素子と観察者の距離が大きく変動するような場合に対応したり、観察者の視点をより正確に検出したりするために、焦点調節が必要な撮像素子を必要とする場合がある。このような場合において、カメラ等に用いられる自動焦点調節機能（オートフォーカス）だけで焦点の調節を行う方式では、リモコンを操作した観察者以外観察者に焦点があってしまったり、焦点調節に時間を要するためにリモコンを操作してもすぐに方向別画像が切り替わらなかったりするという問題がある。

第６に、たとえば、ある観察者１が観察を終了したにも関わらず、観察していた方向画像１の表示をリモコン等で終了させていない場合、別な場所で方向画像１と隣接する方向画像２を観察していた観察者２が、方向画像１を終了させて、自分の観察している画像を２つの方向画像を用いた立体表示に切り替えるような操作ができないという問題がある。この問題に対して、観察者の有無を自動検出する手段を用いたとしても、観察者の観察意思を確認できないため、一時的に席を離れただけの場合には勝手に方向画像１の表示が終了してしまって別の観察者に使われてしまうといった問題がある。

第７に、一般に立体表示や多画面表示は、方向画像の数が増加すると画質が低下する（一つの方向画像の表示画素数が減少する）。したがって、たとえば観察者が１人で平面画像を観察していた場合、それが多画面表示における一つの方向別画像であることに気がつかずに低画質の画像を観察してしまうといった可能性がある。

第８に、特許文献５では、リモコンから離れた場所で観察したい人がいる場合、その人がわざわざリモコンを取りに来て観察したい場所まで持っていって操作するか、あるいはリモコンの近くにいる人がリモコンを手渡しに行かなければならないといった煩わしさがある。

第９に、特許文献５では、一般リモートコントロール装置は視点と離れた位置で操作されるため、方向別画像表示素子の画像を観察できたとしても、リモートコントロール装置と観察者検出素子との間に障害物があるような場合にはリモートコントロール装置による方向別画像表示素子の操作ができないという問題がある。

第１０に、方向別画像表示素子の近くあるいはこれに内蔵された撮像素子によって得られる観察者の画像から観察者の頭部や視点を検出するような方式では、一般に観察者と方向別画像表示素子との距離は大きく変動する。このような状況に対応するためには、自動焦点調節機能（オートフォーカス）が備えられた撮像素子か、あるいは焦点深度の深い撮像素子が必要となるが、前者の場合には後者と比較して高価であり、また後者の場合には、検出される画像の解像度が低下するとともに画像が暗くなるので、十分に明るい場所でないとうまく観察者を検出することができないという問題がある。

第１１に、方向別画像表示素子における表示素子方向別画像の向きを変える手段として、特許文献５の実施の形態に記載されているような方向別画像表示素子自体を回転させる方式は、方向別画像表示素子に複雑な細工を施すことなく簡便に機能を実現することが可能であるが、コーナー等に設置された場合には回転動作時に壁面に衝突してしまうという問題がある。これを回避するために、コーナーから離して設置することも可能だが画像表示素子の大きさに対して広い設置スペースが必要となってしまう。一方、このような不具合を生じない方式、たとえば、図３６の従来例に示したパララクスバリア方式において、液晶表示素子に対するスリットアレイの位置を精密に自動制御するような方式が存在するが、画面が大きくなると可動な薄くて大面積のスリットアレイを実現するのが困難であると同時に、制御機構も複雑であり、またミクロンオーダーで精密に行われる必要があるため、部品点数が増えると同時に非常に高価なものとなってしまう。レンチキュラレンズを用いた方式などでも同様である。

本発明は、上記に鑑みてなされたものであって、多画面表示や立体表示、あるいはそれらを組み合わせたマルチ画像表示において、画像および音声選択など方向別画像表示素子の制御に関する操作性や、複数の観察者に対する方向別画像の表示設定の最適化などに優れた装置を実現し、観察者に対して快適な観察環境を提供することを目的とする。

上述した課題を解決し、目的を達成するために、請求項１にかかる発明は、複数の方向に対応した画像を表示する方向別画像表示素子と、前記方向別画像表示素子を遠隔制御するリモートコントロール装置と、前記リモートコントロール装置によって発信された信号を受信する受信手段と、前記リモートコントロール装置を操作する観察者の画像データを取得する撮像素子と、前記リモートコントロール装置によって発信された信号から、前記受信手段に対する前記リモートコントロール装置の方位を示す第１データを検出するリモートコントロール装置検出手段と、を有する画像表示システムであって、前記画像データと前記第１データを用いて、前記方向別画像表示素子に対する前記観察者の頭部または視点の方位を示す第２データを検出し、該第２データと前記リモートコントロール装置からの信号を用いて前記方向別画像表示素子を制御することを特徴とする。

また、請求項２にかかる発明は、複数の方向に対応した画像を表示する方向別画像表示素子と、前記方向別画像表示素子を遠隔制御するリモートコントロール装置と、前記リモートコントロール装置によって発信された信号を受信する受信手段と、前記リモートコントロール装置を操作する観察者と前記リモートコントロール装置の両方を含む画像データを取得する撮像素子と、前記リモートコントロール装置からの信号と前記画像データを用いて、前記撮像素子に対する前記リモートコントロール装置の方位を示す第１データを検出するリモートコントロール装置検出手段と、を有する画像表示システムであって、前記画像データと前記第１データを用いて、前記方向別画像表示素子に対する前記観察者の頭部または視点の方位を示す第２データを検出し、該第２データと前記リモートコントロール装置からの信号を用いて前記方向別画像表示素子を制御することを特徴とする。

また、請求項３にかかる発明は、複数の方向に対応した画像を表示する方向別画像表示素子と、前記方向別画像表示素子を遠隔制御するリモートコントロール装置と、前記リモートコントロール装置によって発信された信号を受信する受信手段と、前記リモートコントロール装置を操作する観察者の画像データを取得する撮像素子と、前記リモートコントロール装置によって発信された信号から、前記受信手段に対する前記リモートコントロール装置の方位と距離を示す第１データを検出するリモートコントロール装置検出手段と、を有する画像表示システムであって、前記画像データと前記第１データを用いて、前記方向別画像表示素子に対する前記観察者の頭部または視点の方位と距離を示す第２データを検出し、該第２データと前記リモートコントロール装置からの信号を用いて前記方向別画像表示素子を制御することを特徴とする。

また、請求項４にかかる発明は、複数の方向に対応した画像を表示する方向別画像表示素子と、前記方向別画像表示素子を遠隔制御するリモートコントロール装置と、前記リモートコントロール装置によって発信された信号を受信する受信手段と、前記リモートコントロール装置を操作する観察者と前記リモートコントロール装置の両方を含む画像データを取得する撮像素子と、前記リモートコントロール装置からの信号と前記画像データを用いて、前記撮像素子に対する前記リモートコントロール装置の方位と距離を示す第１データを検出するリモートコントロール装置検出手段と、を有する画像表示システムであって、前記画像データと前記第１データを用いて、前記方向別画像表示素子に対する前記観察者の頭部または視点の方位と距離を示す第２データを検出し、該第２データと前記リモートコントロール装置からの信号を用いて前記方向別画像表示素子を制御することを特徴とする。

また、請求項５にかかる発明は、前記撮像素子は、前記リモートコントロール装置検出手段によって検出される距離のデータを用いた焦点調節機構を備えることを特徴とする。

また、請求項６にかかる発明は、前記リモートコントロール装置は、前記方向別画像表示素子における全ての方向別画像の表示状態を視認するための指示信号の送信と、前記リモートコントロール装置を操作する観察者の観察する方向別画像とは異なる方向別画像を制御するための制御信号の送信を行う手段を備えることを特徴とする。

また、請求項７にかかる発明は、前記リモートコントロール装置検出手段の一部分または全体は、前記方向別画像表示素子と分離されて、前記方向別画像表示素子よりも上方に配置されることを特徴とする。

また、請求項８にかかる発明は、前記撮像素子は、前記方向別画像表示素子と分離されて、前記方向別画像表示素子よりも上方に配置されることを特徴とする。

また、請求項９にかかる発明は、前記方向別画像表示素子における表示画面上の任意の点を起点として表示画面に略垂直な方向を向いた幾何学的対象を主表示方向ベクトルとすると、この主表示方向ベクトルが異なる２つの原点を中心とした回転運動、またはこれと同じ軌跡をたどる運動を行うようにするための主表示方向制御装置を備えることを特徴とする。

本発明（請求項１，２）にかかる画像表示システムは、観察者が左右の手で持ち替えてリモコンを操作したり、リモコンを操作した後に姿勢や頭部位置を動かした場合でも良好な表示画像の観察ができるようになり、また、観察者の特定が確実に行われるのでリモコンを操作した観察者を別な観察者と誤認して意図しない制御が実行されるといった問題が解消される。したがって、快適な観察環境を提供することができるという効果を奏する。

また、本発明（請求項３，４）にかかる画像表示システムは、観察者までの方向に加えて距離情報を得ることができるので、より最適化された方向別画像の表示を実現することができるようになる。特に立体画像表示においては、観察者が良好な立体画像を観察できるような制御がより詳細にできるようになったり、あるいは、観察者に対して、良好な観察が可能な的確な場所を指示したりすることができるという効果を奏する。

また、本発明（請求項５）にかかる画像表示システムは、焦点調節を行う撮像素子を用いて観察者の画像データを得る場合において、リモコンを操作した観察者への自動焦点調節が確実かつ高速に行えるようになるので、この観察者以外に焦点があってしまったり、リモコンを操作してもすぐに方向別画像が切り替わらなかったりするといった問題が解消されて、快適な観察環境が実現するという効果を奏する。

また、本発明（請求項６）にかかる画像表示システムは、リモコンを操作することによって観察者の要求に応じた最適な表示状態を容易に実現することができるようになるので、快適な操作環境が実現するという効果を奏する。

また、本発明（請求項７）にかかる画像表示システムは、リモコンと受信手段およびリモートコントロール装置検出手段との間に障害物があるような場合であっても、リモコンの操作によって良好に方向別画像表示素子を制御することが可能となって快適な操作環境が実現するという効果を奏する。

また、本発明（請求項８）にかかる画像表示システムは、撮像素子を用いて観察者を検出する方法では、方向別画像表示素子と観察者との距離変動に対して、天井と観察者との距離変動の方が一般的に小さいため、固定焦点の撮像素子を用いたとしても良好な画像を得ることができるようになるため、観察者の検出を良好に行うことができるようになると同時に、快適な観察環境を提供できるようになるという効果を奏する。

また、本発明（請求項９）にかかる画像表示システムは、複雑かつ高価な機構を施すことなく簡便に方向別画像の向き（主表示方向ベクトルの向き）を制御して最適な表示状態を実現することができる。特に、方向別画像表示素子をコーナー等に設置する場合には、方向別画像表示素子の周囲に余分なスペースを確保する必要がなくなり、設置スペースを有効に利用して省スペース化を実現することができるという効果を奏する。

以下に添付図面を参照して、この発明にかかる画像表示システムの最良な実施の形態を詳細に説明する。

（第１の実施の形態）
本発明に対する第１の実施の形態について説明する。図１は、本発明の第１の実施の形態にかかる画像表示システムの概略構成を示したものであり、基本構成要素として、方向別画像表示素子１００、方向別信号検出素子１１０、観察者検出装置１２０、リモートコントロール装置２００（以下、リモコンと記述する）、回転テーブル３００を備えている。

方向別画像表示素子１００とは、表示面に対して複数の方向に個別の画像表示を行うことが可能な表示素子であり、従来よりよく知られた多画面表示素子や立体画像表示素子を用いて構成される。具体例としては、液晶ディスプレイ、プラズマディスプレイ、電界放出ディスプレイ（ＦＥＤ）、ＬＥＤディスプレイ、プロジェクター（投射型ディスプレイ）など、平面画像（２次元画像）の表示が可能な表示素子に、スリットアレイ（パララクスバリア）、レンチキュラレンズ（円筒型レンズアレイ）、２次元マイクロレンズアレイ、液晶を用いた空間変調素子（場所ごとに偏光を変調できるもの）、分割ホログラム（２次元パターン化された回折格子）などの光学素子を組み合わせたものや、ホログラフィックディスプレイ、複数の投射光学系を組み合わせたものなどがある。ここでは、方向別画像（特定の方向または領域において観察可能な平面画像）の数が２つの場合について説明する。したがって、この方向別画像表示素子１００は、異なる方向への２つの平面画像の表示（２画面表示）と一つの立体画像の表示が可能である。

この方向別画像表示素子１００の上部には、図１のようにリモートコントロール装置検出手段および受信手段としての方向別信号検出素子＆リモコン検出装置１１０と、観測者検出装置１２０が取り付けられている。方向別信号検出素子＆リモコン検出装置１１０は、リモコン２００が発する信号から方向別画像表示素子１００に対するリモコン２００の方向と画像や音声などの制御信号を検出するためのものであり、たとえば、赤外光を通信媒体とした場合には図２のような基本構成で実現される。

すなわち、本発明は、後述するように、リモコン２００によって発信された信号から、リモコン２００の方位（および距離）を示す第１データを検出する方向別信号検出素子＆リモコン検出装置１１０と、撮像素子１２１の画像データと上記第１データを用いて、方向別画像表示素子１００に対する観察者の頭部または視点の方位（および距離）を示す第２データを検出する観察者検出装置１２０と、を備え、この第２データとリモコン２００からの信号を用いて方向別画像表示素子１００を制御する。

この構成では、リモコン２００から発せられた赤外線による信号光は、可視光等の外乱光を除去するための赤外線透過フィルタ１１１とスリット１１２（中央に図２の紙面に対して奥行き方向に長い開口部を備えたもの）を透過した後、分割フォトダイオード１１３（分割ではなく、２つの光検出器を配置させた形態でもよい。また本実施の形態では２分割の例を挙げたが、４分割など複数の分割フォトダイオードや他の光検出器を用いても構成可能である）へと入射されるようになっている。このとき、リモコン２００から発せられた赤外光のうち、スリット１１２を透過した光線だけが分割フォトダイオード１１３で検出されるため、赤外光の入射角θ（図２においてθで示した角度、つまり、方向別信号検出素子１１０に垂直な破線方向に対するリモコン２００からの赤外信号光の入射角度）に応じて分割フォトダイオード１１３における２つの受光面（図２中、ａおよびｂで示した部分）に入射される光量（強度）が変化する。

したがって、図２のように比較器１１４（差動アンプなどを用いて構成される電気回路）を用いて２つの受光面ａとｂの差分信号を得るようにすることによって、方向別信号検出素子１１０に対する赤外信号光、つまりリモコンの位置する方向を電気強度信号（図２の信号１）として検出することができる。一方、これと同時に図２のように加算器１１５（オペアンプなどを用いて構成される電気回路）を用いて２つの受光面ａとｂの和信号を得るようにすることによってリモコン２００から送信された表示画像や音声などの制御信号（図２の信号２）を検出することができる。

なお、本実施の形態の方向別信号検出素子＆リモコン検出装置１１０は、この装置で検出される信号１と方向別画像表示素子１００に対するリモコン２００の方向が一致するように、なるべく方向別画像表示素子１００の表示面中心の上部または下部にスリット１１２が位置するように配置されることが望ましい（図１では表示面中心の上部に配置してある）。また、本実施の形態では赤外光を媒体とした方式について述べたが、これに限定されることはなく可視光を用いて構成することも可能である。

観察者検出装置１２０は、方向別画像表示素子１００に対する観察者の頭部または視点位置を検出するための装置であり、従来からよく知られている視点（視線）検出装置や頭部検出装置（ヘッドトラッキング装置）などを用いて構成される。ここでは、撮像素子１２１から得られる画像信号を画像処理する（あらかじめプログラムされた演算によって画像信号を処理する）方式を用いた構成について説明する。

図３に観察者検出装置１２０の基本構成例を示す。撮像素子１２１は、方向別画像表示素子１００を観察する１人または複数の観察者を撮影するためのものでありＣＣＤカメラなどが用いられる。メモリ部１２２は、観察者に関する情報、たとえば、登録された特定個人の容姿に関する情報や一般的な人の容姿、特に顔のつくりに関する情報や、方向別画像表示素子１００および方向別信号検出素子＆リモコン検出装置１１０との位置関係を補正する情報である。一般に方向別画像表示素子１００および方向別信号検出素子＆リモコン検出装置１１０と観察者検出装置１２０の配置されている位置が異なるため、方向別信号検出素子＆リモコン検出装置１１０で得られるリモコン２００の方向と、観察者検出装置１２０に対するリモコン２００が異なる。

また、方向別画像表示素子１００と観察者検出装置１２０に対する観察者の方向も異なる。そのため、あらかじめそれらの位置関係を補正するための情報を保有しておく必要がある、あるいは撮像素子１２１で撮影される画像と実際の寸法を対応させる（倍率を知る）ための情報、後述する回転テーブル３００の角度情報などを記憶しておく電子回路である。画像処理部１２３は、撮像素子１２１から送られる画像信号と、方向別信号検出素子＆リモコン検出装置１１０から送られるリモコン２００の方向を示す信号（図２の信号１）と、メモリ部１２２に蓄えられている情報とを用いた演算処理によって、リモコン２００を操作した観察者の頭部または視点の方向別画像表示素子１００に対する方向の情報を出力（信号３）する電子回路である。演算処理の手段としては従来技術として様々なものを用いることが可能である。その一例を、図４を用いて説明する。

図４は、リモコン２００を操作する観察者Ａとこれとは別な観察者Ｂが撮像素子１２１によって撮影された場合の画像データを表している。画像処理部１２３では、まず方向別信号検出素子＆リモコン検出装置１１０から送られる信号１とメモリ部１２２に格納されている方向別信号検出素子＆リモコン検出装置１１０と観察者検出装置１２０との位置ずれを補正するデータとから、リモコン２００が存在する位置が図４の画像データ上において破線ｄで示した線上であることが求められる。つぎに、メモリ部１２２に格納された撮像素子１２１の倍率データとスキャン領域の設定データ（観察者を検出するための画像処理を施す領域設定データ。リモコン位置を基準とした距離で設定されている）をもとに、画像上において観察者を特定すべきスキャン領域（図４の破線ｅとｆで挟まれた領域）を求める。その後、メモリ部１２２に格納されている人間の頭部の輪郭形状や顔を撮影した場合の輝度や色度分布に関する情報を参照しながら、パターンマッチングの手法によってスキャン領域内に存在する観察者の頭部または視点が検出される。最後に、画像上における検出された頭部または視点の中心の横方向に関する情報（図４における破線ｇの位置情報）が求められ、この値と、メモリ部１２２に格納されている観察者検出装置１２０と方向別画像表示素子１００との位置関係を補正するデータとから方向別画像表示素子１００に対する観察者の方向が算出されて信号３として出力される。ここでは、画像処理を施すスキャン領域に観察者が一人だけ検出される場合を例示したが、仮にスキャン領域が広く設定されていて複数の観察者Ｂも同時に検出された場合には、リモコン２００に対する距離が最も近い観察者を検出するような画像処理を行えば、リモコン２００を操作した観察者Ａを特定することができる。

方向別信号検出素子＆リモコン検出装置１１０から出力される信号２と観察者検出装置１２０から出力される信号３は、図５に例示した方向別画像制御装置１３０に入力される。図５に例示した方向別画像制御装置１３０は、コントローラ１３１とメモリ部１３２から構成されている。メモリ部１３２には、方向別画像表示素子１００を制御するために必要となる事前情報（電源を投入した際の最初の動作状態を決めるパラメータや、その時点での方向別画像の動作状態に関する情報、リモコン２００の操作に関わる履歴情報、直前までに検出された観察者の人数や場所に関する情報など）が記憶されている。コントローラ１３１は、信号２および信号３の入力信号に対して、上記メモリ部１３２内の情報を参照して多画面や立体表示の切替え信号や表示画像のソース（テレビやビデオやインターネットなど、表示画像のコンテンツ）選択信号、音声切替え信号など（以上の信号群を図５では信号４としてまとめて表している）、および後述する回転テーブル３００の制御信号（図５における信号５）を出力する。

たとえば、信号３に対応する観察者に対応する方向別画像または音声の制御信号をリモコン２００から受信した信号２に基づいて信号４として出力したり、あるいは、信号３とメモリ部１３２に格納されている方向別画像の表示状態や観察者の情報から方向別画像表示素子１００の向き（主表示方向ベクトル；図１参照）として適切な値（たとえば立体画像表示の場合には立体画像が観察できるような向きにするための角度に関する値、２画面の場合には各観察者が個別の表示画像を良好に観察できるような角度に関する値）を算出して信号５として出力したりする。

信号５は、方向別画像表示素子１００の向き（主表示方向ベクトル；図１参照）を制御するための信号であり、本実施の形態では方向別画像表示素子１００の下部に配置されている回転テーブル３００の制御信号となっている。回転テーブル３００はその上に配置された方向別画像表示素子１００を回転運動させるための機械装置であり、上記制御信号を受信するとその信号にしたがった量だけ回転運動するようになっている。

つぎにリモコン２００について説明する。リモコン２００は、方向別信号検出素子＆リモコン検出装置１１０に向けて制御信号を送信するための赤外光発光素子２０１（ＬＥＤなど）の他に、たとえば、図６に示すような制御器や表示器が備えられている。各制御器および表示器の機能としては、たとえば以下のようなものがある。

電源ｏｒ観察開始終了ボタン２０２は、リモコン２００を操作した観察者が観察している方向別画像の表示を開始終了するための制御スイッチであり、他の方向別画像がすべて終了状態になっている場合には、方向別画像表示素子１００自体の電源がオンまたはオフされるようになっている。

入力切替えボタン２０３は、方向別画像表示素子１００に表示する画像データおよび音声データのソースを選択するためのボタンであり、たとえば、テレビ、インターネット、ビデオレコーダ、オーディオ機器、電話回線、パソコン、ゲーム機器などからの入力を切り替える。

表示モード切替えボタン２０４は、通常の１画面表示と多画面表示、立体表示、表示画面内に子画面を重ねて表示するマルチウインドウなど、方向別画像表示素子の画面表示に関する状態を制御するためのスイッチである。

音声モード切替えボタン２０５は、３次元音場再生装置（場所ごとにことなる音声信号が聞こえるようにするための装置）が備えられている場合には、通常のテレビと同様なステレオ、モノラル、２ヶ国語などの切替えスイッチとして動作する。また、音声モード切替えボタン２０５は、通常のステレオまたはモノラル再生のスピーカーの場合には、観察者している方向画像に関連する音声信号を強制的に再生するか、他の方向別画像に関連する音声信号の再生を許可するかなど、方向別表示に関連した音声再生の制御を行うためのスイッチである。

表示方向制御切替えボタン２０６は、方向別画像表示素子１００の表示方向（主表示方向ベクトル；図１参照）の向きを変える機構が備えられている場合において、この制御機構をリモートコントロール装置検出手段や観察者検出手段からの信号で自動制御するか、あるいはリモコン２００を用いてマニュアル制御するかの切替えを行うためのスイッチである。

テンキー２０７は、テレビ映像信号のチャンネルを選択したり、あるいはインターネットやパソコンの画面上で数字やや文字を入力したりする際に用いられる。テレビ電話においては電話番号を入力したりすることも可能である。

ディスプレイ２０８は、方向別画像表示素子１００の表示内容に関する細かい制御および設定を行うために必要な情報を表示したり、方向別画像に関連する情報（テレビの番組案内や文字情報）や電子メールを表示したりするための画像表示装置である。

ジョイスティック２０９は、ディスプレイ２０８および観察している方向別画像上のカーソルや制御器（ボタンやアイコンなど）の制御や、方向別画像表示素子１００の表示方向（主表示方向ベクトル）の向きや位置を変える機構が備えられている場合にはこれを制御するために使用することも可能である。

ジョイスティック切替えボタン２１０は、ジョイスティック２０９で画面上のカーソルや制御器を操作する場合、操作の対象をリモコン２００のディスプレイ２０８上と方向別画像の画面上とで切り替えるためのスイッチである。音声ボリューム制御ボタン２１１は、スピーカー等で再生される音量を制御するためのボタンである。

以上、本実施の形態の基本構成要素について個別に説明したが、以下、この画像表示システムの具体的な動作例（動作例１、動作例２）について説明する。

まず動作例１として、観察者が１人の場合について図７（方向別画像表示素子１００を観察している様子を観察者の上側から見た図）を用いて説明する。方向別画像表示素子１００が動作していない状態から観察者がリモコン２００を操作して表示を開始させると、あらかじめ設定された状態または直前に終了させた状態の表示状態となる。通常の１画面表示（全方向で同じ画像が観察される状態）の場合には、図７の破線ａとｄで挟まれた領域においてこの画像が観察される。２画面表示の場合には、破線ａとｂの間で方向別画像１が、破線ｃとｄの間で方向別画像２が観察される。２つの方向別画像が重なる領域やどちらの方向別画像も存在しない領域では適切な観察はできない。立体表示の場合には、破線ｂとｃの交点付近においてのみ立体画像が観察可能となる。このとき観察者の左目では方向別画像１が、右目では方向別画像２が観察されるようになっている。

図７の観察者が図示した場所でリモコンを操作してある立体画像の画面表示を要求すると、方向別信号検出素子＆リモコン検出装置１１０がリモコン２００の方向と画像選択信号を検出して上述した信号１と信号２を出力し、一方、観察者検出装置１２０では信号１をもとに観察者の両眼の中心位置が検出され信号３が出力される。信号２と信号３を受けて、方向別画像制御装置１３０からは、立体表示および画像や音声の選択信号である信号４と回転テーブル３００の制御信号である信号５が出力される。

図７の場合、観察者の両眼中心と破線ｂとｃの交点の方向が異なるので、ずれを補正するための信号５によって回転テーブル３００が駆動されて（図７の矢印ｅ、ｆで示した方向に回転されて）、図８に示すような状態へと移行する。これと同時に、方向別画像制御装置１３０の信号４から選択された方向別画像１と２が方向別画像表示素子１００に表示され、またこの立体画像に関連する音声が図示しないスピーカから再生される。図８では破線ｂとｃの交点付近に両眼中心が位置するようになるので、リモコン２００で選択した立体画像を良好に観察することができる状態になる。図７に示した観察者は、右手でリモコン２００を操作しているが、これを左手に持ち替えて同様の操作をした場合であっても、観察者検出装置１２０においてリモコン２００の最も近くに存在する観察者が検出されるので図８と同じ状態を得ることができる。

この動作例における従来技術との相違としては、たとえば観察者検出装置１２０や方向別画像制御装置１３０を装備せずリモコンだけで観察場所を特定する従来のシステムでは、上記観察者が右手から左手にリモコンを持ち替えて操作した場合（リモコンの位置が変わってしまう場合）などには対応できず、良好な立体画像を観察することはできない。あるいは、方向別信号検出素子１１０や方向別画像制御装置１３０を装備せずに、撮像素子からの画像だけで観察者を検出する従来システムでは、仮に上記観察者の近くに観察意思のない人が存在した場合において、観察者として検出される２人の観察者のどちらに観察意思があるのかを検出することができないため誤って観察意思のない方に適した立体画像表示を行うことがある。これに対して、本発明の画像表示システムでは、このような問題は発生せず、上述したように観察者の意思に応じた良好な画像表示を実現することができる。

つぎに動作例２として、観察者が２人いて、それぞれが異なる平面画像を観察する場合の動作について説明する。図９は、観察者Ｂが通常の１画面表示の状態で画像を観察しているところに観察者Ａが後から観察者Ｂとは異なる画像を観察しようとしている状況を表したものである。仮に、図９の状態で２画面表示の状態になっていたとすると、観察者Ｂは破線ｃとｄの間で観察される方向別画像２を観察することができるが、観察者Ａは右目と左目が破線ｂを挟んで位置するため、右目で観察される画像が方向別画像１（破線ａとｂで挟まれる領域で観察可能な画像）と上記方向別画像２の混在する画像（画像の右側が方向別画像２で左側が方向別画像１となるような画像）となる。最初の状況設定（観察者Ｂが通常の１画面表示の状態で画像を観察しているところに観察者Ａが後から観察者Ｂとは異なる画像を観察しようとしている状況）において、観察者Ａがリモコンを操作して画像選択信号を発すると、動作例１と同様にして観察者Ａの両眼中心位置と画像選択信号が検出される。観察者Ａが送信した信号と、図５のメモリ部１３２から読み出される観察者Ｂの観察場所と方向別画像表示素子１００の表示状態（この場合、１画面表示の状態）などの情報から、方向別画像表示素子１００では、２画面表示への切替え信号や２つの方向別画像の画像選択信号などとともに図９の破線ｂとｃの交点を観察者ＡとＢの中間付近に回転テーブル３００を用いて移動させるための制御信号（図５の信号５）を出力する。これを受けて、方向別画像表示素子１００では、方向別画像１に観察者Ａが要求した画像が、方向別画像２に観察者Ｂが直前まで見ていた画像が表示され、またこれと同時に回転テーブル３００によって方向別画像表示素子１００が回転して最終的には図１０に示すような状態となる。以上により、２人の観察者が個別の画像を良好に観察できる状態が実現される。

この動作例における従来技術との相違点としては、たとえば観察者検出装置１２０や方向別画像制御装置１３０を装備せずリモコンだけで観察場所を特定する従来のシステムでは、図９のような状況でリモコンを操作すると破線ｃの右側にリモコンが位置しているために観察者Ｂが観察していた方向画像を制御してしまう可能性がある。また、方向別信号検出素子１１０や方向別画像制御装置１３０を装備せずに、撮像素子からの画像だけで観察者を検出する従来システムでは、観察者ＡとＢのどちらがリモコンを操作したか判別できないため、観察者Ｂが表示画像の変更を要求したものと誤って検出される可能性がある。本発明の画像表示システムでは、このような問題は発生せず、上述したように観察者の意思に応じた良好な画像表示を実現することができる。

（第２の実施の形態）
本発明に対する第２の実施の形態について説明する。図１１は、本実施の形態の概略構成を示したものであり、基本構成要素として、方向別画像表示素子１００と、リモコン＆観察者検出装置１４０、信号検出素子１５０、リモコン２００、回転テーブル３００を備えている。方向別画像表示素子１００、およびリモコン２００、回転テーブル３００については、第１の実施の形態で説明したものと同様な構成となっている。また、図１１には図示していないが、後述する方向別画像制御装置１３０についても第１の実施の形態で説明したものと同様である。

方向別画像表示素子１００の上部には、図１１のようにリモコン＆観察者検出装置１４０と、受信手段としての信号検出素子１５０が取り付けられている。信号検出素子１５０は、リモコン２００が発する変調された赤外光の信号から表示画像や音声などの制御信号を検出するためのものであり、たとえば、赤外光用フォトダイオードの前面に可視光等の外乱光を除去するための赤外線透過フィルタ１１１を配置させて構成される。図２の構成と異なり、受光部が一つであるためにリモコン２００の方向を検出することはできず、出力はリモコン２００が送信した制御信号を光電変換したものとなっている（以下、第１の実施の形態と同様に、この信号を信号２とする）。

一方、観察者の頭部または視点位置を検出すると同時にリモートコントロール装置検出手段でもあるリモコン＆観察者検出装置１４０は、撮像素子１２１を用いてたとえば図１２のように構成される。図３の構成とほぼ同様であるが、図３と異なりリモコン２００と観察者を検出するための入力信号として、撮像素子１２１からの画像信号以外に上記信号検出素子からの信号２を用いる構成となっている。メモリ部１２２には、観察者に関する情報や、撮像素子１２１と方向別信号検出素子１１０との位置関係を補正する情報、あるいは撮像素子１２１で撮影される画像と実際の寸法を対応させる（倍率を知る）ための情報、後述する回転テーブル３００の角度情報などが記憶されている。

画像処理部１２３では、信号２が入力されると、まず撮像素子１２１からの画像信号（図１３）においてこの信号の入力と同じタイミングで輝度（あるいは色）変化が開始された画像上の場所、つまり画像上のリモコン２００の発光点の位置（図１３におけるｄの位置）を検出する。そして、メモリ部１２２に格納されている観察者情報や撮像素子１２１の倍率情報をもとに第１の実施の形態と同様なパターンマッチング処理を所定の領域（本実施の形態の場合には図１３上の破線ｅで示した領域）に施してリモコン２００を操作した観察者Ａの頭部中心あるいは両眼中心の位置（図１３上の破線ｇで示した位置。画像上の横方向の位置情報だけでよい）が検出されるようになっている。検出された観察者の位置情報（破線ｇに対応する位置情報）は信号３として本装置から出力される。撮像素子１２１のフレーム周波数（画像を取り込む速度）が高速である場合には、画像信号から直接リモコンの変調信号を検出することも可能であるが、このような撮像素子１２１は高価であると同時に画像処理も高速に行う必要があり、システムとして複雑かつ高価なものになるため、ここではこのような撮像素子１２１ではなくリモコン２００の信号の変調周波数よりフレーム周波数の低い通常の撮像素子を用いた構成であることを前提として説明した。

信号検出素子１５０から出力される信号２とリモコン＆観察者検出装置１４０から出力される信号３は、第１の実施の形態の図５に例示したものと同じ方向別画像制御装置１３０に入力および処理されて、多画面や立体表示の切替え信号や表示画像のソース選択信号、音声切替え信号などを信号４として出力すると同時に、回転テーブル３００の制御信号を信号５として出力する。そして、信号５を受けた回転テーブル３００は、この信号の制御量にしたがって方向別画像表示素子１００を回転運動させるようになっている。

つぎに、この画像表示システムの具体的動作例（動作例１、動作例２）について、第１の実施の形態と同じ状況設定を用いて説明する。

まず動作例１として、観察者が１人の場合について図１４（第１の実施の形態の図７に対応）を用いて説明する。図１４の観察者が図示した場所でリモコン２００を操作してある立体画像の画面表示を要求すると、信号検出素子１５０がリモコン２００の方向を検出して信号２が出力される。一方、リモコン＆観察者検出装置１４０では信号２をもとに観察者の両眼の中心位置が検出されて信号３が出力される。信号２と信号３を受けて、方向別画像制御装置１３０からは、立体表示および画像や音声の選択信号である信号４と回転テーブル３００の制御信号である信号５が出力される。そして、信号５の制御信号によって回転テーブル３００が駆動されて図１５に示すような状態へと移行すると同時に、信号４で選択された表示画像および音声が図示しないスピーカから再生される。図１４に示した観察者が右手から左手に持ち替えて同様の操作をした場合であっても、図１５と同じ状態を得ることができる。

つぎに動作例２として、観察者が２人いて、それぞれが異なる平面画像を観察する場合の動作について図１６（第１の実施の形態の図９に対応）を用いて説明する。観察者Ａがリモコン２００を操作して画像選択信号を発すると、動作例１と同様にして観察者Ａの両眼の中心位置と画像選択信号が検出される。観察者Ａが送信した信号と、図５のメモリ部１３２から読み出される観察者Ｂの観察場所と方向別画像表示素子１００の表示状態（この場合、１画面表示の状態）などの情報から、方向別画像表示素子１００では、２画面表示への切替え信号や２つの方向別画像の画像選択信号などとともに図１６の破線ｂとｃの交点を観察者ＡとＢの中間付近に回転テーブル３００を用いて移動させるための制御信号（図５の信号５）を出力する。これを受けて、方向別画像表示素子１００では、方向別画像１に観察者Ａが要求した画像が、方向別画像２に観察者Ｂが直前まで見ていた画像が表示され、またこれと同時に回転テーブル３００によって方向別画像表示素子１００が回転して最終的には図１７に示すような状態となる。以上により、２人の観察者が個別の画像を良好に観察できる状態が実現される。

（第３の実施の形態）
本発明に対する第３の実施の形態について説明する。第１の実施の形態で説明した観察者検出装置１２０が、リモコン２００を操作した観察者を操作後においても連続してモニタする構成について説明する。ここでは、上記観察者の視点位置を両眼中心とした場合について説明する。また、基本構成は第１の実施の形態と同様であるので、ここでは第１の実施の形態と異なる部分だけについて説明する。

本実施の形態の観察者検出装置１２０はたとえば、図１８のように構成される。メモリ部１２２には、第１の実施の形態に例示した情報に加えて、この装置によって検出された観察者の位置情報が記憶されている。本実施の形態の場合、観察者の位置情報とは、リモコン２００を操作することで検出された方向別画像表示素子１００に対する観察者の方向であり複数人数の場合もある。第１の実施の形態では、画像処理部１２３は方向別信号検出素子１１０からの信号２を受信したときだけ観察者の位置を検出する動作を実行していたが、本実施の形態の装置では、信号２の受信に関わらず常に所定のクロックに同期して観察者の位置検出（第１の実施の形態で例示したパターンマッチング処理や、後述する観察者の同定処理など）が繰り返し行われるようになっている。

一人の観察者がリモコン２００を操作した場合には、第１の実施の形態と同様にしてこれを操作した観察者を特定すると同時に両眼中心の位置が検出される。つぎに、検出された観察者がその直前までに検出されメモリ部１２２にその情報が格納されている観察者と同じ（検出された観察者が複数の場合はそのうちの一人と同じ）であるか判定される（上記観察者の同定処理）。判定方法としては、たとえば、上記クロック間隔で想定される動きの範囲内（たとえば、クロックを０．１秒とし、この間に頭部の移動が５０ｃｍを超えないと想定して設定される画像処理の範囲）に画像処理を行い、この範囲で検出された観察者が上記リモコン２００を操作した観察者と同じ場所に位置するかどうかで判定することができる。観察者の検出は、リモコン２００からの信号２の有無に関わらず、上記クロックにしたがって常時行われており、観察者の両眼中心位置が移動した場合には、この位置情報が更新されてメモリ部１２２に格納されるようになっている。

以上説明したような画像処理部１２３の動作をまとめると図１９のようなフローチャートとなる。図１９において、まず、撮像素子１２１から画像データを入力し（ステップＳ１）、全ての観察者の観察者位置情報を抽出する（ステップＳ２）。続いて、前回の観察者情報を読み出し（ステップＳ３）、前回の観察者と抽出された観察者の同定処理を実行する（ステップＳ４）。さらに、各観察者の観察位置情報を更新し（ステップＳ５）、信号２の入力があったか否かを判断する（ステップＳ６）。ここで、信号２の入力があったと判断した場合、リモコン２００を操作した観察者Ａを特定し（ステップＳ７）、観察者Ａの位置情報を信号３として出力する（ステップＳ８）。その後、観察者Ａのリモコン２００の操作履歴を更新する（ステップＳ９）。一方、ステップＳ６において信号２の入力がなかったと判断した場合、ステップＳ１に戻り、以降の処理を繰り返し実行する。

なお、図１９には記載していないが、このフローチャートとは別に信号５が入力された際には画像処理部１２３においてメモリ部１２２の観察者位置情報が更新されるようになっている。つまり、回転テーブル３００が駆動されると方向別画像表示素子１００の上部に取り付けられた撮像素子１２１も回転するので、メモリ部１２２に蓄えられた観察者の位置情報と実際の観察位置の情報が異なってしまうため、各観察者の位置情報にこの回転角度分の位置情報の補正を行って情報の更新を行うようになっている。

つぎに、本実施の形態の動作例について説明する。第１の実施の形態の動作例１において実現された図８の状況を初期状態として設定する。観察者がリモコン２００を操作することなく、図２０の位置まで少しずつ動いたとする。このとき、観察者検出装置１２０では、観察者の両眼中心が連続的に検出されると同時にその位置情報が図１８のメモリ部１２２で刻々と更新されていく。この位置情報の更新に伴う信号５の出力にしたがって、回転テーブル３００が少しずつ回転運動を行う。この一連の動作は、回転テーブル３００の中心と撮像素子１２１の中心が一致している場合には、観察者検出装置１２０で検出される観察者の位置が動かないように回転テーブル３００を駆動していることと同じことになる。したがって、観察者が移動したとしても、常に観察者の移動に追従して方向別画像表示素子１００が表示の向きを変えるため、リモコン２００をあらためて操作することなく図２１のように図８と変わりない良好な立体画像の観察を続けることができる。

（第４の実施の形態）
本発明に対する第４の実施の形態について説明する。図２２は、本実施の形態の概略構成を示したものであり、基本構成要素として、方向別画像表示素子１００と、２つの方向別信号検出素子＆リモコン検出装置１１０（方向別信号検出素子＆リモコン検出装置１１０ａと１１０ｂ）、観察者検出装置１２０、リモコン２００、回転テーブル３００を備えている。本実施の形態の方向別画像表示素子１００には、４つの方向に異なる画像表示が可能な表示素子が用いられている。具体的には、たとえば液晶表示素子とスリットアレイを組み合わせた方式の場合には、横方向（水平方向）の互いに隣接する４画素に対して一つのスリットが配置されるような構成で実現される。

この方向別画像表示素子１００の上部には、図２２のようにリモートコントロール装置検出手段および受信手段としての方向別信号検出素子＆リモコン検出装置１１０が２つ（方向別信号検出素子＆リモコン検出装置１１０ａと１１０ｂ）取り付けられている。方向別信号検出素子＆リモコン検出装置１１０ａは、リモコン２００が発する赤外光から方向別画像表示素子１００に対するリモコン２００の方向と画像や音声などの制御信号を検出し、たとえば、赤外光を通信媒体とした場合には図２３のような基本構成で実現される。この構成では、方向別信号検出素子１００ａは第１の実施の形態で説明したものと同じ構成であり、方向別信号検出素子１００ｂの方は、加算器１１４が省略されて比較器１１５だけ備えられた構成となっている。

さらに、図２３の構成では、２つの方向別信号検出素子＆リモコン検出装置１１０ａ，ｂの比較器１１５から出力された信号から、方向別画像表示素子１００ａ，ｂに対するリモコン２００の方向と距離を三角測量の手段を用いて算出するためのリモコン位置検出回路１１６が備えられている。ここで三角測量の手段とは、あらかじめ決まっている２つの方向別信号検出素子１００ａ，ｂの間の距離と、それぞれの方向別信号検出素子＆リモコン検出装置１１０ａ，ｂから出力されるリモコン２００の方向（方向別信号検出素子＆リモコン検出装置に対する角度情報）から幾何学的にリモコン２００までの距離と方向を算出する方法のことである。実際には、図２３に示すように、この演算は２つの比較器１１５それぞれをリモコン位置検出回路１１６に入力し、その和信号を演算して信号１として出力する。方向別信号検出素子＆リモコン検出装置１１０ａから出力される信号２については、実施の形態１で説明した図２の信号２と同様である。

一方、撮像素子１２１を用いて構成される観察者検出装置１２０は、撮像素子１２１の画像データを用いて方向別画像表示素子１００に対する観察者の身体またはその一部の位置（本実施の形態では第１の実施の形態と同様に観察者の両眼中心位置を例に説明する）を検出するための装置であり、図３を用いて説明した第１の実施の形態の場合と同様のものを用いて構成することができる。

方向別画像表示素子１００を制御する方向別画像制御装置１３０は、第１の実施の形態の図５で示した構成のものを用いることができる。信号３にはリモコン２００の方向と距離の情報が含まれるが、本実施の形態では方向別画像表示素子１００の画像選択や回転テーブル３００の制御には方向の信号だけが用いられ、リモコン２００までの距離信号については、後述するように、この距離を観察者までの距離として観察者に対して最適な観察場所を指示するために用いられるようになっている。リモコン２００と観察者との距離の違いを考慮する場合には、たとえば観察者が正面前方でリモコン２００を操作することを前提として、リモコン２００までの距離に５０ｃｍ程度加えた距離を観察者までの距離として設定するようにしてもよい。

つぎに、本実施の形態で使用されるリモコン２００について説明する。本実施の形態のリモコン２００は、第１の実施の形態で説明したリモコン２００の構成に加えてたとえば図２４に例示するような方向別画像選択ボタン２１２と表示状態確認ボタン２１３を備えた構成となっている。また、このリモコン２００は、赤外光を発光する赤外光発光部２０１ａと、赤外光を受光する赤外光受光部２０１ｂを有する。

方向別画像選択ボタン２１２とは、制御可能な方向別画像を切り替えるためのボタンである。たとえば、方向別画像に番号が割り当てられていてその番号がこれらのボタンに表示されている場合には、制御したい方向別画像の番号に対応するボタンを押してからテンキー２０７を操作して画像選択信号を送信すると、その方向別画像の表示画像が切り替わるようになっている。方向別画像選択ボタン２１２を押さずに制御信号を送信した場合には、第１の実施の形態と同様にそのリモコン２００を操作した観察者が観察している方向別画像が制御されるようになっている。

一方、表示状態確認ボタン２１３は、たとえば方向別画像表示素子の表示状態（１画面、多画面、立体表示などの表示状態）やそれらの方向別画像に対する観察者の割り当て状態（方向別画像ごとの観察者の有無や人数など）を確認するためのボタンである。確認する手段としては、方向別画像表示素子１００の方向別画像上、またはリモコン２００のディスプレイ２０８上にイメージ情報として表示する方法がある。ここでは、リモコン２００のディスプレイ２０８上に表示させる場合の例について説明する。

図２５は、方向別画像表示素子１００に備えられた図示しない赤外光送信部（リモコン２００とは波長が異なるようにした方がよい）からの表示状態に関する信号を図２４の赤外光受光部２０１ｂを介してリモコン２００が受信してディスプレイ２０８に表示させたときの表示画面を表したものである。本実施の形態の方向別画像表示素子１００は４つの方向別画像が表示可能であるとしているので、画面上には、各方向別画像を現す１〜４の番号の付与された表示器や、各方向別画像に対する観察者の有無（観察者検出装置１２０が検出して確認している観察者の有無）、スピーカーからの音声がどの方向別画像に対応するものかを示す表示器などが表示されている。

図２５の状態表示の場合には、１番の方向別画像を音声なしで観察している観察者と、３番と４番の方向別画像を用いて音声とともに立体画像を視聴している観察者がいることを示している。また、１番の方向別画像を表す表示器の状態からリモコン２００を操作して表示状態を確認した観察者がこの画像を観察している観察者であることが分かるようになっている。２番の方向別画像に関しては、これが、方向別画像表示を停止している状態を表す表示（色などで表示される）であれば停止状態、あるいはあらかじめ設定された表示（たとえば、隣接する１番の画像を表示するなど）となっていることを示し、反対に方向別画像が表示されている状態を表す表示の場合には、その方向別画像を観察可能な領域からリモコン２００を操作したのではなく、別な場所から２番の方向別画像を制御して表示させている状態を示している。このような状態は、たとえば、方向別画像を観察したい観察者が方向別画像表示素子１００およびリモコン２００から離れた場所に存在し、リモコン２００の近くにいる観察者にリモコン２００の操作を依頼（方向別画像を観察可能にする制御の依頼）した場合などで発生する。このような場合、本実施の形態では２番の方向別画像を観察可能な領域において観察者は検出されないので観察者の表示はされていない。

図２５に表示されている観察の適正を表すガイドラインは、立体画像を観察する場合において観察者が良好な画像を観察できる状態にあるか否かを表すためのガイドラインであり、この図の場合、立体画像を観察している右側の観察者は方向別画像表示素子１００に近づきすぎている状態を表している。したがって、方向別画像表示素子１００から離れると方向別画像表示素子１００からの赤外光信号を受けて観察者を表す表示器はガイドライン内に収まり良好な観察が可能であることを示すようになる。ここで用いる観察距離の適正値は、方向別画像制御装置１３０のところで説明した距離信号を用いて算出されるものである。

（第５の実施の形態）
本発明に対する第５の実施の形態について説明する。本実施の形態は、第４の実施の形態の構成において観察者検出装置１２０と方向別画像制御装置１３０の動作を以下のようにしたものである。それ以外については、第４の実施の形態と同様であり説明を省略する。

本実施の形態の観察者検出装置１２０は、方向別画像表示素子１００に対する観察者の身体またはその一部の位置（本実施の形態では第１の実施の形態と同様に観察者の両眼中心位置を例に説明する）を検出するための装置であり、図３を用いて説明した第１の実施の形態の場合と同様のものを用いて構成することができる。ただし、第１の実施の形態と異なり、信号１にはリモコン２００の方向以外にリモコン２００までの距離情報も含まれ、このうち距離に関する信号は、撮像素子１２１の焦点を自動調節するための信号として用いられるようになっている。

一般に、撮像素子１２１とリモコン２００または両眼中心までの距離が若干異なるため、信号１に含まれる距離信号に加えてあらかじめ設定された距離だけ離れた位置（たとえば、腕半分程度の４０ｃｍ程度の値）に焦点が合うように制御するように設定しておいた方がよい。あらかじめ設定された距離だけずらす方式ではなく、距離信号で焦点を設定した後、上記焦点調節後に撮像素子１２１に備えられたオートフォーカス機能（たとえば、画像の輝度や色の空間分布情報から画像処理によって行う方法など）を用いて焦点の微調整を行ってもよい。この場合にも、観察者はリモコン２００より離れた位置に存在することを考慮して、上記した距離信号にもとづく焦点調節後の微調整は、焦点を遠ざける方向だけに限るようにすれば高速に焦点調節ができるようになる。このような微調節を行った場合には、この調節量をもとに信号１のリモコン２００までの距離情報を観察者の両眼中心の距離情報に変換して信号３として出力するようになっている。

方向別画像制御装置１３０については、第１の実施の形態の図５で示した構成とほぼ同様であるが、入力信号３には観察者の両眼中心の方向（角度）と距離の情報が含まれている。本実施の形態の装置は、方向別画像の表示方向（主表示方向ベクトル）の向きを変えるための回転テーブル３００しか備えていないので、回転テーブル３００への出力信号５には回転運動に必要な角度に関する信号だけとなっている。ここでは詳述しないが、クロストーク領域（２画面における図７を例に説明すると、破線ｂとｃの間の領域のことであり、この領域では２つの画像が混在して観察される。）の制御が可能な方向別画像表示素子（たとえば、特許第３５０３９２５号公報の実施の形態に例示されている、パララクスバリアの位置を制御することが可能な表示素子など）の場合には、両眼中心の方向と距離の両方の情報にもとづいて最適な表示状態の制御（クロストークの制御）を行うことが可能である。本実施の形態の方向別画像表示素子１００ではこのような制御は行われず、観察者の両眼中心までの距離情報は、第４の実施の形態と同様に観察者に対して最適な観察場所を指示するために用いられるようになっている。

（第６の実施の形態）
本発明に対する第６の実施の形態について説明する。本実施の形態は、第１の実施の形態における観測者検出装置１２０を図２６および図２７に示すように、方向別画像表示素子１００の設置された室内の天井部に設置したものである。方向別信号検出素子１１０および方向別画像表示素子１００との信号の送受信は、図示しない送受信部を用いて赤外光（リモコン２００と波長が異なる方がよい）によって行われるようになっている。方向別画像表示素子１００、方向別信号検出素子１１０、回転テーブル３００の構成は第１の実施の形態と同様なので説明を省略する。

観察者検出装置１２０の構成についても図３を用いて第１の実施の形態で説明したものと基本的に同様であるが、ここでは撮像素子１２１には焦点深度の深い固定焦点のものを用いた場合を例示する。また、天井から観察者を撮像するため、得られる画像データは図４とは異なり、図２６の破線Ｐで囲ったような画像が得られる。方向別信号検出素子１１０で検出された方向別画像表示素子１００に対するリモコン２００の方向の信号（図１における信号１）を受信すると、観察者検出装置１２０内の画像処理部１２３では、リモコン２００を含む所定の領域（図２６における２つの破線Ｑで挟まれた領域）内において観察者を検出する処理が行われるようになっている。

このとき、観察者の検出には、身体を上側から見たときの特徴（両肩と頭部の輪郭形状など）に対してパターンマッチングの処理を行う方法を用いることができる。身体の上部から見た画像では、両眼中心の画像が得られにくいので、このような場合には、頭部中心位置と方向別画像表示素子１００の中心を結ぶ線と、頭部輪郭を現す円との交点を両眼中心とする方法を用いることが出来る。図２６の場合には、破線Ｑの内側に位置する観察者Ａの頭部から両眼中心を算出され、その結果（図３の信号３に対応する信号）は、赤外光を用いて方向別画像表示素子１００へと送信される。ここで送信される信号は、方向別画像表示素子１００に対する観察者の両眼中心の方向だけである場合には、この信号を用いたその後の動作は第１の実施の形態と全く同じであるが、ここでは方向だけでなく両眼中心までの距離（天井から見た画像を解析するため、距離情報を検出することができる）に関する信号も含まれているとする。受信された信号３は、方向別信号検出素子１１０から得られる信号２とともに方向別画像制御装置１３０へ送られる。

方向別画像制御装置１３０の構成は、図４の実施の形態１で示したものとほぼ同様のものを用いることができる。第１の実施の形態との相違点は、上記信号３に含まれる両眼中心までの距離信号と方向信号が内部で分離され、距離信号については立体画像表示を行った際にリモコン２００へ送信する観察位置案内信号へ用いるという点だけであり、それ以外の動作は実施の形態１と同様である。方向別画像制御装置１３０から出力される信号（図５の信号４および信号５に対応）による方向別画像表示素子１００および回転テーブル３００の制御についても第１の実施の形態と同様である。本実施の形態で用いられるリモコン２００については、第４の実施の形態で説明したものを用いることができる。したがって、上記した観察者の両眼中心までの距離に関する情報を方向別画像表示素子１００から赤外光によってリモコン２００へと送信して、立体画像を観察する際に最適な観察場所へと導くための案内表示（図２５における観察者を表す表示に対応）を行うことができるようになっている。

以上の一連の動作によって、第１の実施の形態の動作例と同様な方向別画像表示素子１００の制御、および第４の実施の形態で例示した立体表示における観察状態の確認が可能となる。

（第７の実施の形態）
本発明に対する第７の実施の形態について説明する。ここでは、自動車の車内に２画面の方向別画像表示が可能な方向別画像表示素子１００（カーナビゲーション、カーオーディオ、記録媒体情報再生、テレビジョンなどの表示素子として用いられる）を装備した場合の画像表示システムの構成例について説明する。図２８および図２９は、４人乗り乗用車に方向別画像表示素子を設置した場合の基本構成例を示したものである。図２８は車内を乗用車の上側から、図２９は横から見た様子を示したものである。

ここで用いられている画像表示システムは、基本構成要素として、方向別画像表示素子１００とリモコン２００、およびリモートコントロール装置検出手段および受信手段としての方向別信号検出素子１１０を備えた構成となっている。方向別画像表示素子１００、およびリモコン２００については、第１の実施の形態で説明したものを用いることができる。方向別信号検出素子１１０は、図２８および図２９に示したように車内の天井部に設置されており、この位置からリモコン２００および方向別画像表示素子１００との信号の送受信を行うようになっている。

本実施の形態では、リモコン２００と方向別信号検出素子＆リモコン検出装置１１０との通信手段として赤外光を、方向別信号検出素子＆リモコン検出装置１１０と方向別画像表示素子１００との通信手段として電波を用いた場合について説明するが、本発明はこれに限定されるものではない。特に、車内用途においては方向別信号検出素子１１０と方向別画像表示素子１００との通信については、電磁波ノイズの多い環境が発生する場合を考慮してケーブルを用いた接続した方が適している場合もある。方向別信号検出素子１１０の構成としては、たとえば、図３０および図３１に示すような構成を用いることができる。この構成例は、本実施の形態が図２８のような座席配列の４人乗り乗用車を想定した構成であることから、天井側から見て４方向の信号源の区別が可能であるような構成となっている。

図３０は、方向別信号検出素子＆リモコン検出装置１１０を車内から天井側を向いて見た場合（下側から見た場合）を、図３１は図２９と同じ方向から見た場合を示したものである。この構成例では、赤外光検出器として４つに分割された分割フォトダイオード１１３が用いられている。円形開口プレート１１８は中央に円形開口１１７が設けられた遮光板であり、方向別信号検出素子＆リモコン検出装置１１０に入射される赤外光の方向によってこの４つに分割された分割フォトダイオード１１３上の強度分布に変化を生じさせるために用いられている。

赤外光透過フィルタ１１１は、リモコン２００が発する赤外光を選択的に透過させて外乱光などによるノイズ成分を除去するために用いられている。図３０の分割フォトダイオード１１３から出力される４つの独立した光強度に応じた信号（図３０における信号Ａ，Ｂ、Ｃ，Ｄ）からは、以下に述べるような演算処理を施すことによって、図３０右側に示した上下方向Ｒと左右方向Ｓに対する入射方向を表す信号と、リモコン２００から送信される画像選択などの制御信号が検出される。

入射方向を表す信号は、上下方向Ｒに関しては（Ａ＋Ｂ）−（Ｃ＋Ｄ）の演算処理（この結果を以下信号Ｒと呼ぶ）によって、左右方向Ｓに関しては（Ａ＋Ｄ）−（Ｂ＋Ｃ）の演算処理（この結果を以下信号Ｓと呼ぶ）によって検出することができる。そして、この２つの信号から、上下左右どちらの方角から入射された信号であるかが判定される。たとえば信号Ｒと信号Ｓの極性が共に正極性（プラス）であった場合には分割フォトダイオード１１３のＣ側から開口部中心に向かう方向（図３０の矢印で示した方向）からリモコン２００の信号が入射されたと判断できる。

本実施の形態の場合には、図２８のように観察者は４箇所の固定された座席に位置するため、第１の実施の形態などのような細かな方位検出は不必要であり、リモコン２００を操作した観察者の座っている座席さえ特定できればよい。上記例の場合では、４つの分割フォトダイオード１１３のうちのＣ側から入射されたので、Ｃ側に対応する方向（図３０の矢印と反対の方向）にある座席（図３０の上方向が図２８の上方向に対応するとすれば、Ｃ側方向の座席、つまり観察者Ｃの座っている座席）から送信したと判定される。

一方、リモコン２００から送信された制御信号の検出は、分割フォトダイオード１１３から出力される４つの信号Ａ，Ｂ，Ｃ，Ｄから演算処理によってそれらの和を求めることによって得ることができる。実際には、以上に述べた演算処理は、第１の実施の形態と同様に加算器１１４や比較器１１５などを組み合わせた回路によって行われる。そして、検出された座席の信号（あらかじめ設定された座席番号の信号）と画像選択などの制御信号は、図示しない送信回路を用いて電波の形態で方向別画像表示素子１００内の方向別画像制御装置１３０へと送信される。

本実施の形態における方向別画像制御装置１３０は、たとえば図３２のように構成される。図３２に示した信号１は、方向別信号検出素子＆リモコン検出装置１１０から受信したリモコン２００を送信した座席に関する入力信号、信号２は画像や音声などの方向別画像表示素子１００の制御に関する入力信号、そして信号３は、図２９に示した回転機構の回転角度に関する入力信号をそれぞれ表している。

ここで、回転機構とは、方向別画像表示素子１００の向き（主表示方向ベクトルの向き）を変えるためのものであり、初期状態からの回転角度に関する情報が電気信号として出力されるようになっている。回転動作自体は、モータ等を用いた機械制御の必要はなく、観察者が手動で調整できるような機構であれば十分である。

図３２のメモリ部１３２には、方向別画像表示素子１００の初期設定情報や、方向別画像や音声などの再生状態に関する情報、回転機構の回転角度に関する情報などが格納されている。コントローラ１３１は、信号１〜３の入力信号とメモリ部に格納されている情報から演算処理によって適正な方向別画像表示素子１００の制御信号（図３２の信号５）を出力するようになっている。

たとえば、方向別画像表示素子１００の主表示方向ベクトルが図２８の矢印で示した方向に設定されていて、図２８の右側座席で観察される画像がカーナビゲーションの画像、左側座席で観察される画像がテレビジョン信号を再生したものであったとして、観察者Ｃが画像選択信号（テレビジョンのチャンネル選択信号）をリモコン２００で送信した場合には、上述したような動作によって観察者Ｃの座っている座席と画像選択信号が検出されて図２８における左側の方向別画像だけが選択した画像に切り替わるように動作する。この例では、観察者Ｃは左手でリモコンを操作しており、第１の実施の形態などのように方向別画像表示素子１００に方向別信号検出素子＆リモコン検出装置１１０が取り付けられた構成ではリモコン２００からの赤外光は観察者Ｂの座席に遮られてしまって信号を検出することはできない。

本実施の形態のように天井部に方向別信号検出素子＆リモコン検出装置１１０を配置することによって快適な方向別画像表示素子１００の制御が可能となる。なお、本実施の形態では、車内の天井部に方向別信号検出素子＆リモコン検出装置１１０を独立して装着した例について述べたが、車内照明と一体化させた構成なども可能である。

（第８の実施の形態）
本発明に対する第８の実施の形態について説明する。本実施の形態は、方向別画像表示素子１００の向き（主表示方向ベクトルの向き）を制御するための主表示方向制御装置に関するものである。上述した実施の形態における回転テーブル３００と似ているが、本発明による主表示方向制御装置は、主表示方向ベクトルに対する１軸の回転運動ではなく、異なる点を原点とする２軸の回転運動、またはこの２軸の回転運動と同じ軌跡をたどるような機械的制御を行うものである。以下にこのような制御を可能にする構成例について説明する。

図３３は、２つの異なる点を原点にした２軸の回転運動機構を用いた場合の構成例を、方向別画像表示素子１００の上側からみた図（第１の実施の形態における図７と同じ方向から見た図）である。図のように方向別画像表示素子１００を移動させるための回転運動機構は、支点Ａを中心軸としてアーム４００を回転運動させる機構と、アーム４００上にある別な支点Ｂを中心軸として方向別画像表示素子１００を回転運動させるための機構が備えられている。この２つの回転運動は連動していて、アーム４００の回転運動と方向別画像表示素子１００の回転運動は互いに逆回転の運動を行うようになっている。

たとえば、図３３において、支点Ａを中心にアーム４００が時計回りに４５度回転した場合には、方向別画像表示素子１００は支点Ｂを中心として反時計回りに４５度回転して図３４に示すような状態となるように動作する。具体的な回転運動機構としては、それぞれの支点部分にモータによる回転ステージを装着し、２つの回転が連動するように電気的に制御する方法を用いることができる。

これとは別な構成例として、２つの回転機構を用いない図３５のような構成も可能である。この構成例では、方向別画像表示素子１００は、土台となるベース４１０上に設けられたレール４１１上を移動すると同時に支点Ｂを中心軸とした回転運動を行うようになっている。レール４１１の軌道は、図３３における支点Ａを中心とした支点Ｂの軌道と同じになるように構成されている。レール４１１上の移動には、モータを用いて車輪を駆動するステージなどを用いる方法がある。支点Ｂを中心とした回転運動については、図３３の構成例と同様にモータを用いた回転ステージ等を用いて構成する方法がある。この構成例の動作については、図３３の構成例と全く同様である。

以上のような構成を用いると、たとえば図３３〜図３５において破線Ｗで示した位置に壁が存在するような場所、つまり部屋のコーナーのような場所に方向別画像表示素子１００を設置しようとした場合、方向別画像表示素子１００の両端が壁に接する程度まで近づけて設置したとしても、壁に衝突することなく主表示方向ベクトルの向きを変えることができるようになる。

（第９の実施の形態）
本発明に対する第９の実施の形態について説明する。本実施の形態の概略構成は、第２の実施の形態で示した図１１と同様であり、方向別画像表示素子１００と、リモコン＆観察者検出装置１４０、信号検出素子１５０、リモコン２００、回転テーブル３００を備えている。ただし、ここで用いられている方向別画像表示素子１００は、第４の実施の形態で示したものが用いられている。

方向別画像表示素子１００の上部には、図１１のようにリモコン＆観察者検出装置１４０と、受信手段としての信号検出素子１５０が取り付けられている。信号検出素子１５０は、リモコン２００が発する変調された赤外光の信号から表示画像や音声などの制御信号を検出するためのものであり、第２の実施の形態と同様なものが用いられる。

観察者の頭部または視点位置を検出すると同時にリモートコントロール装置検出手段でもあるリモコン＆観察者検出装置１４０についても、第２の実施の形態と同様に撮像素子１２１を用いて図１２のように構成される。ただし、ここで用いられる撮像素子１２１には、オートフォーカス機能（自動焦点調節機能）が備えられていて、この調節量に対応する距離情報を観察者の方向の情報とともに信号３として出力するようになっている。

オートフォーカスの手段としては、たとえば、画像の輝度や色の空間分布情報から画像処理によって行う方法などが用いられる。オートフォーカスによってリモコン２００を保持した観察者に焦点調節が行われると、そのとき得られた画像データから、第２の実施の形態と同様な手段によって画像データ上のリモコン２００の位置とそれを保持する観察者の視点位置が検出される。そして、メモリ部１２２上の撮像素子１２１と方向別画像表示素子１００の位置関係情報および、撮像素子１２１の焦点距離と実際の距離および撮像範囲の対応情報から、方向別画像表示素子１００に対する観察者の視点位置の距離と方位の情報が得られ、信号３として出力されるようになっている。

方向別画像表示素子１００を制御する方向別画像制御装置１３０についても、第１の実施の形態の図５で示した構成のものを用いることができる。第４の実施の形態と同様に、信号３にはリモコン２００の方向と距離の情報が含まれるが、本実施の形態では方向別画像表示素子１００の画像選択や回転テーブル３００の制御には方向の信号だけが用いられ、リモコン２００までの距離信号については、後述するように、この距離を観察者までの距離として観察者に対して最適な観察場所を指示するために用いられるようになっている。その他の構成および動作については、第４の実施の形態と同様である。

以上説明したように上記実施の形態によれば、観察者が左右の手で持ち替えてリモコン２００を操作したり、リモコン２００を操作した後に姿勢や頭部位置を動かした場合でも良好な表示画像の観察ができるようになる。また、観察者の特定が確実に行われるのでリモコン２００を操作した観察者を別な観察者と誤認して意図しない制御が実行されるといった問題が解消される。したがって、快適な観察環境が提供される。

また、観察者までの方向に加えて距離情報を得ることができるので、上記の構成よりも最適化された方向別画像の表示を実現することができるようになる。特に立体画像表示においては、観察者が良好な立体画像を観察できるような制御がより詳細にできるようになったり、あるいは、観察者に対して、良好な観察が可能な的確な場所を指示したりすることができるようになる。

また、焦点調節を行う撮像素子を用いて観察者の画像データを得る場合において、リモコン２００を操作した観察者への自動焦点調節が確実かつ高速に行えるようになるので、この観察者以外に焦点があってしまったり、リモコン２００を操作してもすぐに方向別画像が切り替わったり替わらなかったりといった問題が解消されて、快適な観察環境が実現される。

また、リモコン２００を操作することによって観察者の要求に応じた最適な表示状態を容易に実現することができるようになるため、快適な操作環境が実現される。

また、リモコン２００と受信手段およびリモートコントロール装置検出手段との間に障害物があるような場合であっても、リモコン２００の操作によって良好に方向別画像表示素子１００を制御することが可能となって快適な操作環境が実現される。

また、撮像素１２１子を用いて観察者を検出する方法では、方向別画像表示素子１００と観察者との距離変動に対して、天井と観察者との距離変動の方が一般的に小さいため、固定焦点の撮像素子１２１を用いたとしても良好な画像を得ることができるようになる。したがって、観察者の検出を良好に行うことができるようになると同時に、快適な観察環境を提供できるようになる。

また、複雑かつ高価な機構を施すことなく簡便に方向別画像の向き（主表示方向ベクトルの向き）を制御して最適な表示状態を実現することができる。特に、方向別画像表示素子をコーナー等に設置する場合には、方向別画像表示素子の周囲に余分なスペースを確保する必要がなくなり、設置スペースを有効に利用して省スペース化を実現することができる。

したがって、本発明により、多画面表示や立体表示、あるいはそれらを組み合わせたマルチ画像表示において、画像および音声選択の操作性や複数の観察者に対する方向別画像の表示設定の最適化などに優れた装置が実現され、観察者に対して快適な観察環境を提供することが可能となる。

以上のように、本発明にかかる画像表示システムは、テレビジョン用受像機、コンピュータ用モニタ、立体（３Ｄ）ディスプレイ、ナビゲーションシステム、携帯型情報端末、広告・宣伝用ディスプレイ、プレゼンテーション用表示装置、テレビ会議システム、ゲーム機器用表示装置などに有用であり、特に、２人の観察者に対して個別の画像を表示可能な２画面表示技術および１人の観察者に対する立体表示技術に加えて、複数の観察者に対して同時に個別の平面画像を表示することが可能な多画面表示技術または複数の観察者に対して同時に個別の立体画像を表示することが可能な立体画像表示技術、さらには多画面表示と立体画像表示を観察者ごとに切り替えて表示可能な画像表示技術に適している。

本発明の第１の実施の形態にかかる画像表示システムの概略構成を示す説明図である。 図１における方向別信号検出素子の構成を示すブロック図である。 図１における観察者検出装置の構成を示すブロック図である。 本発明の第１の実施の形態にかかる画像表示システムにおけるリモコンを操作する観察者Ａとこれとは異なる観察者Ｂの画像データ例を示す説明図である。 本発明の第１の実施の形態にかかる方向別画像制御装置の構成を示すブロック図である。 本発明の第１の実施の形態にかかる画像表示システムに用いるリモコンの構成を示す説明図である。 本発明の第１の実施の形態にかかる画像表示システムの動作例１−１を示す説明図である。 本発明の第１の実施の形態にかかる画像表示システムの動作例１−２を示す説明図である。 本発明の第１の実施の形態にかかる画像表示システムの動作例２−１を示す説明図である。 本発明の第１の実施の形態にかかる画像表示システムの動作例２−２を示す説明図である。 本発明の第２の実施の形態にかかる画像表示システムの概略構成を示す説明図である。 図１１におけるリモコン＆観察者検出装置の構成を示すブロック図である。 本発明の第２の実施の形態にかかる画像表示システムにおける画像データ例を示す説明図である。 本発明の第２の実施の形態にかかる画像表示システムの動作例１−１を示す説明図である。 本発明の第２の実施の形態にかかる画像表示システムの動作例１−２を示す説明図である。 本発明の第２の実施の形態にかかる画像表示システムの動作例２−１を示す説明図である。 本発明の第２の実施の形態にかかる画像表示システムの動作例２−２を示す説明図である。 本発明の第３の実施の形態にかかる画像表示システムの観察者検出装置の構成を示すブロック図である。 本発明の第３の実施の形態にかかる画像表示システムの処理動作例を示すフローチャートである。 本発明の第３の実施の形態にかかる画像表示システムの動作例１−１を示す説明図である。 本発明の第３の実施の形態にかかる画像表示システムの動作例２−１を示す説明図である。 本発明の第４の実施の形態にかかる画像表示システムの概略構成を示す説明図である。 図２２における２つの方向別信号検出素子の構成を示すブロック図である。 本発明の第４の実施の形態にかかる画像表示システムに用いるリモコンの構成を示す説明図である。 本発明の第４の実施の形態にかかるリモコンのディスプレイ表示例を示す説明図である。 本発明の第６の実施の形態にかかる観察者検出装置を天井に配置した画像表示システムの構成を平面的に示す説明図である。 本発明の第６の実施の形態にかかる観察者検出装置を天井に配置した画像表示システムの構成を示す説明図である。 本発明の第７の実施の形態にかかる画像表示システムを自動車内に配置した構成例を平面的に示す説明図である。 本発明の第７の実施の形態にかかる画像表示システムを自動車内に配置した構成例を示す説明図である。 方向別信号検出素子を車内から天井側を向いてみた場合を示す説明図である。 方向別信号検出素子を図２９と同じ方向からみた場合を示す説明図である。 本発明の第７の施の形態にかかる方向別画像制御装置の構成を示すブロック図である。 本発明の第８の実施の形態にかかる２つの異なる点を原点にした２軸の回転機構を用いた場合の画像表示システムの構成例を示す説明図である。 図３３の構成による動作例を示す説明図である。 図３３とは異なる回転機構を用いた場合の画像表示システムの構成例を示す説明図である。 従来における方向別画像表示素子の構成例を示す説明図である。 従来における画像表示装置の構成を示す説明図である。

符号の説明

１００ 方向別画像表示素子
１１０ 方向別信号検出素子＆リモコン検出装置
１１１ 赤外光透過フィルタ
１１２ スリット
１１３ 分割フォトダイオード
１１４ 比較器
１１５ 加算器
１１６ リモコン位置検出回路
１２０ 観察者検出装置
１２１ 撮像素子
１２２ メモリ部
１２３ 画像処理部
１３０ 方向別画像制御装置
１３１ コントローラ
１３２ メモリ部
１４０ リモコン＆観察者検出装置
１５０ 信号検出素子
２００ リモコン
２０８ ディスプレイ
２１２ 方向別画像選択ボタン
２１３ 表示状態確認ボタン
３００ 回転テーブル
４００ アーム
４１０ ベース
４１１ レール

Claims (9)

1. 複数の方向に対応した画像を表示する方向別画像表示素子と、
   前記方向別画像表示素子を遠隔制御するリモートコントロール装置と、
   前記リモートコントロール装置によって発信された信号を受信する受信手段と、
   前記リモートコントロール装置を操作する観察者の画像データを取得する撮像素子と、
   前記リモートコントロール装置によって発信された信号から、前記受信手段に対する前記リモートコントロール装置の方位を示す第１データを検出するリモートコントロール装置検出手段と、
   を有する画像表示システムであって、
   前記画像データと前記第１データを用いて、前記方向別画像表示素子に対する前記観察者の頭部または視点の方位を示す第２データを検出し、該第２データと前記リモートコントロール装置からの信号を用いて前記方向別画像表示素子を制御することを特徴とする画像表示システム。
2. 複数の方向に対応した画像を表示する方向別画像表示素子と、
   前記方向別画像表示素子を遠隔制御するリモートコントロール装置と、
   前記リモートコントロール装置によって発信された信号を受信する受信手段と、
   前記リモートコントロール装置を操作する観察者と前記リモートコントロール装置の両方を含む画像データを取得する撮像素子と、
   前記リモートコントロール装置からの信号と前記画像データを用いて、前記撮像素子に対する前記リモートコントロール装置の方位を示す第１データを検出するリモートコントロール装置検出手段と、
   を有する画像表示システムであって、
   前記画像データと前記第１データを用いて、前記方向別画像表示素子に対する前記観察者の頭部または視点の方位を示す第２データを検出し、該第２データと前記リモートコントロール装置からの信号を用いて前記方向別画像表示素子を制御することを特徴とする画像表示システム。
3. 複数の方向に対応した画像を表示する方向別画像表示素子と、
   前記方向別画像表示素子を遠隔制御するリモートコントロール装置と、
   前記リモートコントロール装置によって発信された信号を受信する受信手段と、
   前記リモートコントロール装置を操作する観察者の画像データを取得する撮像素子と、
   前記リモートコントロール装置によって発信された信号から、前記受信手段に対する前記リモートコントロール装置の方位と距離を示す第１データを検出するリモートコントロール装置検出手段と、
   を有する画像表示システムであって、
   前記画像データと前記第１データを用いて、前記方向別画像表示素子に対する前記観察者の頭部または視点の方位と距離を示す第２データを検出し、該第２データと前記リモートコントロール装置からの信号を用いて前記方向別画像表示素子を制御することを特徴とする画像表示システム。
4. 複数の方向に対応した画像を表示する方向別画像表示素子と、
   前記方向別画像表示素子を遠隔制御するリモートコントロール装置と、
   前記リモートコントロール装置によって発信された信号を受信する受信手段と、
   前記リモートコントロール装置を操作する観察者と前記リモートコントロール装置の両方を含む画像データを取得する撮像素子と、
   前記リモートコントロール装置からの信号と前記画像データを用いて、前記撮像素子に対する前記リモートコントロール装置の方位と距離を示す第１データを検出するリモートコントロール装置検出手段と、
   を有する画像表示システムであって、
   前記画像データと前記第１データを用いて、前記方向別画像表示素子に対する前記観察者の頭部または視点の方位と距離を示す第２データを検出し、該第２データと前記リモートコントロール装置からの信号を用いて前記方向別画像表示素子を制御することを特徴とする画像表示システム。
5. 前記撮像素子は、前記リモートコントロール装置検出手段によって検出される距離のデータを用いた焦点調節機構を備えることを特徴とする請求項３に記載の画像表示システム。
6. 前記リモートコントロール装置は、前記方向別画像表示素子における全ての方向別画像の表示状態を視認するための指示信号の送信と、前記リモートコントロール装置を操作する観察者の観察する方向別画像とは異なる方向別画像を制御するための制御信号の送信を行う手段を備えることを特徴とする請求項１〜４のいずれか一つに記載の画像表示システム。
7. 前記リモートコントロール装置検出手段の一部分または全体は、前記方向別画像表示素子と分離されて、前記方向別画像表示素子よりも上方に配置されることを特徴とする請求項１〜４のいずれか一つに記載の画像表示システム。
8. 前記撮像素子は、前記方向別画像表示素子と分離されて、前記方向別画像表示素子よりも上方に配置されることを特徴とする請求項１〜４のいずれか一つに記載の画像表示システム。
9. さらに、前記方向別画像表示素子における表示画面上の任意の点を起点として表示画面に略垂直な方向を向いた幾何学的対象を主表示方向ベクトルとすると、この主表示方向ベクトルが異なる２つの原点を中心とした回転運動、またはこれと同じ軌跡をたどる運動を行うようにするための主表示方向制御装置を備えることを特徴とする請求項１〜４のいずれか一つに記載の画像表示システム。

Images