JP2006522397A - マルチビュー・ディスプレイ - Google Patents

Abstract

表示システム（１００）は：表示装置（１０２）であって当該表示装置（１０２）に対してある第一の方向に第一のビュー（１１２）を生成し、当該表示装置（１０２）に対して前記第一の方向とは異なるある第二の方向に第二のビュー（１１４）を生成するよう構成された表示装置と、ユーザー（１１６）の手（１１０、１１１）または手で持った位置指示装置の前記表示装置（１０２）に対する位置を検出することによってユーザー入力を受け付け、該検出に基づいて前記第一のビュー（１１２）および前記第二のビュー（１１４）を制御するよう構成されているユーザー入力手段（１０４）と、ユーザー（１１６）を観察し、前記ユーザー入力が与えられたのが第一のビュー（１１２）を制御するためか第二のビュー（１１４）を制御するためかを該観察に基づいて検出するよう構成されている観察手段（１０６）とを有する。

Description

本発明は、
・表示装置であって、当該表示装置に対してある第一の方向に第一のビューを生成し、当該表示装置に対して前記第一の方向とは異なるある第二の方向に第二のビューを生成するよう構成された表示装置と、
・ユーザーの手または手で持った位置指示装置の前記表示装置に対する位置を検出することによってユーザー入力を受け付け、該検出に基づいて前記第一のビューおよび前記第二のビューを制御するよう構成されているユーザー入力手段とを有する、ことを特徴とする表示システムに関するものである。

本発明はさらにそのような表示システムを有する装置にも関する。

本発明はさらにそのような表示システムを有する乗り物にも関する。

冒頭段落で述べたたぐいの装置の実施例はC. van BerkelによるSID Proceedings International Symposium，vol．33，number2，pp1410−1413，2002中の論文“3D Touchless Display Interaction”から知られている。この論文では、表示装置および該表示装置近傍での手と指の動きを検出する手段とを有する表示システムが開示されている。該手と指の動きの検出は、いくつかの電極によって生成される電場強度の変化を測定することに基づいている。当該ディスプレイシステム上で走るアプリケーションが、この検出された指もしくは手またはその両方の位置に基づいて制御される。前記アプリケーションは、前記表示装置に供給される一連の画像を生成するよう構成されており、前記表示装置はその一連の画像をもとにしてビューを生成するよう設計されている。

既知の表示システムは２Ｄ表示装置を有するのでもよいが、３Ｄ表示装置を有することも可能である。３Ｄ表示装置は、該表示装置に対して複数の方向にそれぞれ独自のビューを生成するように構成されている。一般に、前記ビューの一方はユーザーの左目で、前記ビューのもう一方はユーザーの右目で見られるもので、それによりユーザーに付加的な深さの感覚を与えるようになっている。

適切な設計をすれば、すなわち光学要素と発光要素とを正しい大きさで正しく配置すれば、一つの表示装置を用いて、第一のビューの第一の方向と第二のビューの第二の方向との間の角度が比較的大きいような複数のビューを生成することが可能である。２００２年８月１９日の欧州特許出願０２０７８４１７．９（事務所整理番号ＰＨＮＬ０２０７７０）においてこれが開示されている。そこでは典型的には二つのビューは同一のコンテンツに関するものではない。それはすなわち、たとえば第一のビューがある第一のアプリケーションによって生成される画像に対応するもので、第二のビューがある第二のアプリケーションによって生成される画像に対応するということである。たとえば、第一のアプリケーションが映画、第二のアプリケーションがカーナビゲーションプログラムに対応する。両アプリケーションは、第一のビューと第二のビューを交互に見る一人のユーザーのために走っているのでもよい。しかし、複数のユーザーがいて、各人が表示装置によって生成される複数のビューの一つを見ているのでもよい。

走っているアプリケーションが複数あり、それぞれが手と指の動きを検出する手段によって受け付けられ、処理されるユーザー入力によって制御しなければならないとすると、ここに一つの問題が生じる。そのユーザー入力はどのアプリケーションに向けられたものなのだろうか？

冒頭段落で述べたような、前記第一および第二のビューにそれぞれ対応する複数のアプリケーションのためのユーザー入力を受け付けるよう構成された表示システムを提供することが本発明の目的の一つである。

本発明のこの目的は、ユーザーを観察し、その観察と前記第一の方向に基づいて、与えられたユーザー入力が第一のビューを制御するためのものか第二のビューを制御するためのものかを検出する観察手段をさらに有することによって達成される。ユーザーを観察することによって、本発明に基づく表示システムは生成されたビューのうちのどちらがそのユーザーに見えるかを決定するよう構成されている。前提として、ユーザーが制御したいのはそのユーザーに見えるビューに対応するアプリケーションであることが想定されている。任意的に、本発明に基づく表示システムは複数のユーザーを観察するよう構成される。たとえば、表示装置の左方に位置するユーザーの手の存在を検出したことに基づき、表示システムは左方向のビューを制御するよう構成される。一方、表示装置の右方に位置するユーザーの手の存在を検出したことに基づき、表示システムは右方向のビューを制御するよう構成される。

本発明に基づく表示システムのある実施形態では、前記観察手段は、表示装置に対するユーザーの手の向きを決定し、前記手の向きと前記第一の方向との間の第一の角度がある第一の所定の閾値よりも小さいかどうかを判定するよう構成されている。手の向きは一般に、表示装置に対するユーザーの位置に関係しており、よって表示装置のビューのうちの一方の方向に関係している。表示装置に対する手の向きの決定は、比較的簡単で堅牢である。たとえばJ.Segen and S.KumarによるProceedings of Tenth Image and Multidimensional Digital Signal Processing Workshop，Alpbach，Austria，July 1998中の論文“Driving a 3D Articulated Hand Model in Real-Time using video Input”を参照。

任意的に、前記第一の所定の閾値は、前記手の向きと前記第二の方向との間で決定されるもう一つの角度と等しくてもよい。これは言い方を変えれば、手の向きが、第一のビューに対応する第一の方向および第二のビューに対応する第二の方向の両方と比較されるということである。方向差が小さいほうが最良一致のビューに対応する。

好ましくは、前記観察手段はまた、表示装置に対するユーザーの手首もしくは下腕またはその両方の向きをも決定し、この手首もしくは下腕またはその両方の向きと前記第一の方向との間の第二の角度がある第二の所定の閾値よりも小さいかどうかを決定するよう構成される。腕のこれらの部分を考慮に入れることによって、ユーザーの位置を推定する比較的堅牢な方法が実現される。典型的な状況では第一のユーザーは表示装置の左方に位置し、第二のユーザーは表示装置の右方に位置するであろうことに留意する。下腕が表示装置の左方に検出されれば、この腕はまず第一のユーザーのものであろうし、下腕が表示装置の右方に検出されれば、この腕はまず右側のユーザーのものであろう。前者の場合、左側のビューに対応するアプリケーションの制御が実行され、後者の場合、右側のビューに対応するアプリケーションの制御が実行されることになる。

任意的に、前記第二の所定の閾値は、表示装置に対するユーザーの前記手首もしくは下腕またはその両方の向きと前記第二の方向との間に決定されるもう一つの角度に等しくてもよい。これは言い方を変えれば、表示装置に対するユーザーの手首もしくは下腕またはその両方の向きが、第一のビューに対応する第一の方向および第二のビューに対応する第二の方向の両方と比較されるということである。方向差が小さいほうが最良一致のビューに対応する。

本発明に基づく表示システムのある実施形態では、前記観察手段は、手のいくつかの検出された位置に基づいて手の軌跡を計算し、手の軌跡を表すベクトルと前記第一の方向との間のある第三の角度がある第三の所定の閾値よりも小さいかどうかを決定する計算手段を有する。手の位置を追跡することによって、ユーザー位置のよい推定が達成される。これは、ユーザーが表示装置に向かう方向に手を動かすのは表示システムを制御するためであるという想定に基づくものである。

任意的に、前記第三の所定の閾値は、手の軌跡を表すベクトルと前記第二の方向との間に決定されるもう一つの角度に等しくてもよい。これは言い方を変えれば、手の軌跡を表すベクトルが、第一のビューに対応する第一の方向および第二のビューに対応する第二の方向の両方と比較されるということである。方向差が小さいほうが最良一致のビューに対応する。

本発明に基づく表示システムのある実施形態では、前記観察手段は、表示装置に対するユーザーの目の位置を決定し、表示装置から目の一方へのベクトルの方向と前記第一の方向との間のある第四の角度がある第四の所定の閾値よりも小さいかどうかが決定される。本発明に基づくこの実施形態はハンドヘルド機器における応用においてとりわけ興味深い。たとえば、ハンドヘルド機器の環境を撮像することによって、表示装置に対するユーザーの位置が決定される。この相対位置に基づいて、表示装置から前記一方の目へのベクトルの向きが計算される。

任意的に、前記第四の所定の閾値は、表示装置から一方の目へのベクトルと前記第二の方向との間に決定されるもう一つの角度に等しくてもよい。これは言い方を変えれば、表示装置から一方の目へのベクトルが、第一のビューに対応する第一の方向および第二のビューに対応する第二の方向の両方と比較されるということである。方向差が小さいほうが最良一致のビューに対応する。

ユーザーの目の位置と腕の諸部分の位置の両方を検出することによって、ユーザー入力の間の比較的正確で堅牢な区別が実現される。

任意的に、上述した所定の閾値の一部は相互に等しくてもよい。

本発明に基づく表示システムのある実施形態では、前記観察手段は、ユーザーを撮像するための光学的手段を有する。光学的手段は一つ以上のカメラおよび画像解析のための計算手段であることができる。

本発明に基づく表示システムのある実施形態では、前記観察手段は、音響、紫外線、電波に基づいてユーザーを観察するよう構成される。好ましくは、これらの種類の観察手段は表示装置に隣接して位置される。たとえば超音波を送受信することによって、表示装置近傍における手や下腕の存在が比較的容易に検出される。他の種類の波、たとえば電磁波や紫外線を用いても、同様の検出が実行できる。これらの種類の観察手段の利点は、比較的安価であることである。これらの種類の観察手段のもう一つの利点は比較的堅牢であることである。

本発明に基づく表示システムのある実施形態では、前記観察手段は、温度差を測定することに基づいてユーザーを観察する。赤外線センサーによって、表示装置近傍での手の存在は比較的容易に検出できる。特に、複数の赤外線センサーを適用すると、センサー付近での手の動きのために局所的な温度が変わるはずであるから、これらのセンサーに対する手の動きが容易に決定できる。

本発明に基づく表示システムのある実施形態では、前記ユーザー入力手段が前記観察手段を含む。あるいはまた、前記観察手段が前記ユーザー入力手段を含む。これは、二つの機能が同一の手段によって実行されるということである。第一の機能は、第一のビューまたは第二のビューを制御するための、表示装置に対する手の位置の検出である。第二の機能は、ユーザー入力が与えられたのが第一のビューを制御するためか第二のビューを制御するためかを決定するためのユーザーの観察である。本発明に基づくこの実施形態の利点は費用の削減である。

本発明のさらなる目的の一つは、冒頭段落で述べたような、第一のビューおよび第二のビューにそれぞれ対応する複数のアプリケーションのためのユーザー入力を受け付けるよう構成された表示システムを有する装置を提供することである。

本発明のこの目的は、ユーザーを観察し、その観察と前記第一の方向に基づいて、与えられたユーザー入力が第一のビューを制御するためのものか第二のビューを制御するためのものかを検出する観察手段をさらに有することによって達成される。

前記装置は、ユーザーに予定表、電卓、テキスト処理、ゲーム、アドレス帳などの機能を提供するＰＤＡ（携帯情報端末）であってもよい。前記装置はまた携帯電話、電子本またはノートパソコンであってもよい。

本発明のさらなる目的の一つは、冒頭段落で述べたような、第一のビューおよび第二のビューにそれぞれ対応する複数のアプリケーションのためのユーザー入力を受け付けるよう構成された表示システムを有する乗り物を提供することである。

本発明のこの目的は、ユーザーを観察し、その観察と前記第一の方向に基づいて、与えられたユーザー入力が第一のビューを制御するためのものか第二のビューを制御するためのものかを検出する観察手段をさらに有することによって達成される。

前記乗り物は自動車、バス、トラック、航空機、列車、船であることができる。これらの乗り物では典型的には二人、さらにはより多くの乗客（運転者やパイロットも含めて）が隣どうしに座っている。一般に、表示システムを配置するためのスペースはこれらの乗り物では限られている。それはつまり、複数の乗客によって表示システムを共有することがこうした点で有益になるということである。乗客一人一人に独自の画像コンテンツを提供するために、複数のビューを生成できる表示システムは良好な解決である。限られたスペースのため、乗り物ではユーザー入力手段としてタッチスクリーンまたは同様な装置を用いることは有益である。よって、本発明に基づく表示システムは乗り物において有益である。

前記表示システムの修正およびそのさまざまな変形が記載されている装置や乗り物におけるその修正や変形に対応しうる。

これらのことを含む本発明に基づく表示システム、装置、乗り物のさまざまな側面は、以下に付属の図面を参照しつつ述べる実装および実施形態との関連で明らかとなり、明快に説明されることであろう。

各図面を通じて同様の部分を表すのには同じ参照符号が用いられている。

図１は、本発明に基づく表示システム１００の実施形態および二人のユーザー１１６、１１８を示す概略図である。表示システム１００は、
・表示装置１０２であって、当該表示装置１０２に対してある第一の方向１２０に第一のビュー１１２を生成し、当該表示装置１０２に対して前記第一の方向１２０とは異なるある第二の方向１２２に第二のビュー１１４を生成するよう構成された表示装置と、
・ユーザーの手１１０または手で持った位置指示装置１０８の前記表示装置１０２に対する位置を検出することによってユーザー入力を受け付け、手１１０または位置指示装置１０８の位置の該検出に基づいて前記第一のビュー１１２および前記第二のビュー１１４を制御するよう構成されているユーザー入力手段１０４と、
・ユーザー１１６および１１８を観察するための観察手段１０６とを有する、
ことを特徴とする表示システムに関するものである。観察手段１０６は前記ユーザー入力が与えられたのが第一のビュー１１２を制御するためか第二のビュー１１４を制御するためかを検出するよう構成されている。

表示装置１０２は、複数の画像源によって供給されるそれぞれの画像シーケンスを可視化するための一つ以上の輝度変調ユニットを有している。典型的な画像源としてはＤＶＤプレーヤー、放送映像を受信する受信機、セットトップボックス、衛星放送チューナー、ビデオデッキ、グラフィック画像を生成するよう構成されたコンピュータなどがある。輝度変調ユニットは、ＣＲＴ（ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ［陰極線管］）、ＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ［液晶表示装置］）、ＰＤＦ（ｐｌａｓｍａ ｄｉｓｐｌａｙ ｐａｎｅｌ［プラズマディスプレイパネル］）既知の表示技術に基づくものでよい。表示装置１０２はさらに、第一の画像シーケンスを第一の方向１２０に、第二の画像シーケンスを第二の方向１２２に向かせる光学手段を有している。第一のビューは第一のユーザー１１６に見え、第二のビューは第二のユーザーに見える。

ユーザー入力手段１０４はいわゆるタッチスクリーンでよい。典型的にはタッチスクリーンは電気キャパシタンスまたは電気抵抗の局所的な変化を測定することに基づいており、表示装置１０２と平行に配置されている二つの電極を有している。電極の一つを押すことにより、電極間の距離が局所的に減少し、局所的な電気キャパシタンスまたは電気抵抗の変化につながる。

ユーザー入力手段１０４はアクティブマトリックス状に、あるいは表示装置の縁の周辺に配列された感知電極を有することもできる。この技術の手短な説明については図５に関連した記述を参照。

ユーザー入力手段１０４は他の種類の検出手段を有することも可能である。たとえば、紫外線、赤外線、超音波などの送受信機対を表示装置１０２の向かい合う辺上に配置したものである。

観察手段１０６はユーザー１１６、１１８を、表示装置１０２の前にある環境を撮像することによって検査するよう構成されている。これらの観察手段のはたらきは次の通りである。第一のユーザー１１６は表示装置１０２の左方に、第二のユーザー１１８は表示装置１０２の右方に位置しているものとする。第一のユーザー１１６は第一のビュー１１２を見ることができ、第二のユーザー１１８は第二のビュー１１４を見ることができる。ある時点において、第一のユーザーは第一のビュー１１２に対応するアプリケーションを制御したくなる。よって、第一のユーザーは手１１０を表示装置１０２に向けて動かし、アクティブになっているユーザーインターフェースの制御の仕掛けを表す表示装置１０２の位置に、あるいはその近くに指を置く。その間、ユーザーの手１１０が撮像される。手１１０の向き１２３は画像解析によって決定される。決定された手の向き１２３は前記第一の方向１２０および前記第二の方向１２２と比較される。決定されたての向き１２３と前記第一の方向１２０との間の角度が決定された手の向き１２３と第二の方向１２２との間の角度よりも小さければ、ユーザー入力は第一のビュー１１２を制御するために与えられたと想定され、それに従って適切なアプリケーションが制御される。決定された手の向き１２３と前記第一の方向１２０との間の角度が決定された手の向き１２３と第二の方向１２２との間の角度より大きければ、ユーザー入力は第二のビュー１１４を制御するために与えられたと想定され、それに従って適切なアプリケーションが制御される。

任意的に、前記観察手段１０６はまた、ユーザー１１６、１１８の下腕の向きを決定するよう構成される。

任意的に、ユーザー１１６、１１８はたとえば１０８の位置指示装置を用いて表示システム１００へのユーザー入力を与える。

図２は、表示装置１０２を回転させることによってユーザー１１６がビューのうちの一つを選択できる様子を示す概略図である。図１と同様に、表示システム１１０が複数のユーザー、たとえば二人のユーザーによって共有される様子が示されている。図２の場合、表示システムは、表示装置１０２によって生成されるビュー１１２〜１１４を代わる代わる見ている一人のユーザーによって使用される。ユーザーは第一の方向１２０に生成される第一のビュー１１２から第二の方向１２１に生成される第二のビュー１１３への切り換えを、表示システムを軸のまわりに回転させることによって行う。ビュー１１２〜１１４の一つを選択するこの方法は、ＰＤＡのような携帯システムの場合にとりわけ興味深い。第一のビュー１１２は電卓に、第二のビュー１１３は地図に、第三のビュー１１４は予定表管理ツールに対応することができる。

図３Ａは、表示装置１０２に対するユーザー１１６ａ〜１１６ｃの位置が環境を撮像することによって決定される様子を示す概略図である。図２の関連で説明したような表示装置を使っている一人のユーザーがいるとする。ユーザーがある特定の時点でビュー１１２〜１１４のどれを見ているかを決定するために、表示システムはユーザーをその環境中で撮影するよう構成されたカメラ１０６を有している。カメラ１０６は、ユーザーを含む光景を撮影するため、視野角約１８０°の広視野角レンズ（または魚眼レンズ）を有している。ユーザーがビュー１１２〜１１４のどれを見ているかを決定するということは、表示装置１０２から目１１６ａ〜１１６ｃへのベクトル２２０〜２２２の角度を推定しなければならないということである。ユーザー１１６ａがビュー１１２を見ているとすると、表示装置は、該表示装置１０２から一方の目１１６ａへのベクトル２２０が第一のビューの方向１２０に実質対応するような回転位置にある。この時点でカメラ１０６によって撮像が行われれば、その画像は第一の画像３０４のように見えるはずである。該第一の画像３０４はユーザー３０６およびその手３０８の現れ方を示している。第一の画像３０４中においてユーザー３０６が現れる相対位置は、表示装置に対するユーザーの位置に関係している。

撮像が行われるのがユーザーが第二のビュー１１３を見ている時点であれば、第二の画像３０２のように見えるはずで、撮像が行われるのがユーザーが第三のビュー１１４を見ている時点であれば、第三の画像３００のように見えるはずである。

前記第一の画像中でユーザー３０６の現れる相対位置を決定するに、当該画像表示システムは画像解析手段を有している。画像中での顔の検出にはいくつかのアルゴリズムが存在している。これらのアルゴリズムの多くは肌色検出に基づいている。ほかには特定の形、たとえば円や楕円の検出に基づくものがある。そのほか、取得した画像の局所的な鮮鋭度の違いを利用することも可能である。ユーザー１１６は環境中の他のオブジェクトよりもカメラに近いものと考えられる。よって、第一の画像中でのユーザーの表現３０６は該第一の画像中の他のオブジェクトに比べて比較的鮮鋭であると思われる。

図３Ｂは、図３Ａの関連で説明したような本発明に基づく表示システムを有する携帯電話３２０を示す概略図である。携帯電話３２０は複数のビューを生成するよう構成された表示装置１０２とユーザーを撮像するためのカメラ１０６とを有している。

図４Ａは、当該表示装置に隣接して配置されている複数の感知手段４０２〜４１０を有する、本発明に基づく表示システム４００を示す概略図である。感知手段４０２〜４１０の感知は、音響、紫外線、電波に基づくものでよい。感知手段は、近くにあるオブジェクトの存在を検出するよう構成されている。たとえば、表示装置１０２の左側に配置されたセンサーの一つ４０６がオブジェクトの存在を検出した場合、対応する方向のビューを制御するアプリケーションにユーザー入力が与えられる。

光に基づく感知手段は市販されており、たとえばＩＶＯ社から入手できる。典型的には、これらの光学感知手段は距離を測定するよう構成されている。これらの感知手段はいわゆる接近センサーというものである。こうした感知手段の本発明に基づく表示システムにおける使用は次の通りである。たとえば、表示システムにユーザー入力を与えようとして表示装置１０２に手を近づければ、そのセンサーの一つまたは複数がその一つまたは複数のセンサーの近くにオブジェクトがあることを検出する。よって、各センサーがそれぞれの近傍においてオブジェクトの距離を測定する。測定された距離の一つがある所定の閾値よりも小さく、同時にユーザー入力手段によってユーザー入力が受け付けられていたら、そのユーザー入力がどのアプリケーションに必要とされているのかは容易に検出できる。

超音波に基づく感知手段もまた市販されていて手にはいる。

図４Ｂは、表示装置１０２に隣接して配置されている複数の感知手段４０６〜４１０を有する、本発明に基づく表示システム４００を有する装置４２０を示す概略図である。表示システム４００はさらに、表示装置１０２の前に置かれたタッチ感応面（図示していない）を有している。装置４２０はさらにキーボードをユーザー入力手段として有している。装置４２０はさらに、複数のアプリケーションを同時に実行させることのできるプロセッサを有している。該プロセッサによって実行されうる具体的なアプリケーションとしては二人プレーヤー向けのゲームがある。そのゲームをプレイする際には、各プレーヤーが自分にしか見えないプライベート・ビューをもつことが重要である。すなわち、第一のプレーヤーは第二のプレーヤーのビューを見ることが許されず、第二のプレーヤーは第一のプレーヤーのビューを見ることが許されないということである。そのようなゲームの例に「ストラテゴ（stratego）」がある。第一のプレーヤーが表示装置１０２の右方に位置し、第二のプレーヤーは表示装置１０２の左方に位置する。両プレーヤーはタッチ感応スクリーンに触れることによってユーザー入力を与える必要がある。タッチ感応スクリーンがユーザー入力を感知すると、表示装置１０２の右に位置する超音波センサー４０６の第一の配列および表示装置１０２の左に位置する超音波センサー４１０の第二の配列の両方が距離測定を行う。もし第一の配列の超音波センサー４０６の要素の一つが測定した、その要素と測定フィールド内のオブジェクトとの間の第一の距離が、第二の配列の超音波センサー４１０の要素によって測定された他の距離よりも小さかったとしたら、その場合、ユーザー入力は第一のプレーヤーによって与えられたものと想定され、それに従ってアプリケーションも制御される。同様に、もし第二の配列の超音波センサー４１０の要素の一つが測定した、その要素と測定フィールド内のオブジェクトとの間の第二の距離が、第一の配列の超音波センサー４０６の要素によって測定された他の距離よりも小さかったとしたら、その場合、ユーザー入力は第二のプレーヤーによって与えられたものと想定され、それに従ってアプリケーションは制御される。

図４Ｃは、自動車のダッシュボードに位置された本発明に基づく表示システム４００を有する自動車の内部を示す概略図である。図４Ｃは、車の前方の道路についてのビュー４２４、運転者のハンドル４２２、ミラー４２６を示している。ミラー４２６は任意的である。あるいはまた、表示システム４００は、車の後方の光景が撮影できるよう配置されたカメラによって取得された画像に対応する第一のビューを車の運転者に提供する。表示システム４００は、図４Ａおよび図４Ｂの関連で述べた感知手段４０２〜４１０を有している。そのほか、表示システム４００は車の天井もしくは壁または両方に配置されているカメラ１０６ａ〜１０６ｂを有している。これらのカメラ１０６ａ〜１０６ｂは表示装置１０２の前の環境を観察するよう設計されている。カメラ１０６ａ〜１０６ｂの一つが腕４１２また４１６を撮影すると、向き４１４、４１８が決定される。決定された向き４１４または４１８は、図１の関連で述べたように、表示装置１０２のビューの向きと比較される。感知手段４０２〜４１０の測定およびカメラ１０６ａ〜１０６ｂによって取得された画像の画像解析に基づいて、表示システム４００は車の中にいるどの人物が、すなわち運転手または助手席に座っている人物のどちらが、ユーザー入力を与えたのかを決定するよう構成されている。

図４Ｄは、位置指示装置１０８〜１０９によって制御すべき、本発明に基づく表示システム４００を有する装置を示す概略図である。

タッチ感応スクリーンに指で触れる代わりに、多くの場合、より鋭い先端をもつデバイス、すなわち位置指示装置１０８〜１０９を使うことが有益である。そのような位置指示装置１０８〜１０９を持つ手１１０〜１１１の存在の検出は、上で述べたのと同様にして実現される。つまり、本発明に基づく表示システムは、ユーザーが位置指示装置を手に持ってユーザー入力を与える場合と、そのような位置指示装置を用いない場合のいずれにも適用できるということである。

図５Ａおよび図５Ｂは相互キャパシタンス感知の概念を示す概略図である。図５Ａは二つの電極５０２、５０４の単純な組み合わせを示している。この二つの電極がコンデンサをなし、両者の間には容量性電流が流れている。図５Ｂは同じ二つの電極５０２、５０４を示しているが、ここでは手１１０が電極５０２、５０４に近づけられている。力線５０６〜５１０の一部は手で遮られ、電流は、電極に近づけられた手１１０がなかった図５Ａのような場合に流れる電流に比べて減少する。測定可能な効果が得られることになり、空間的な適用範囲は大雑把に電極５０２、５０４の間の間隙と同等になる。多電極の配列を使えばオブジェクトと動きの認識に豊かな可能性を提供する。たとえば、ディスプレイの縁のまわりに配列されたｎ個の送信電極とｎ個の受信電極は、多くの異なる間隙に対応するｎ²の電極の対を含む。詳細についてはC. van BerkelによるSID Proceedings International Symposium，vol．33，number2，pp1410−1413，2002中の論文“3D Touchless Display Interaction”を参照。

図６は、ユーザーの手の軌跡６００を決定するよう構成された、本発明に基づく実施形態を示す概略図である。手の位置１１０ａ〜１１０ｃを時刻の関数として特定することによって、動きの軌跡６００を算出することができる。手の異なる位置１１０ａ〜１１０ｃの特定は図１の関連で述べた撮影画像に基づくものでもよいし、図４Ａ、４Ｂの関連で述べた距離に基づくものでもよいし、図５Ａ、５Ｂの関連で述べた電場の変化に関するものでもよい。手の軌跡６００は表示装置１０２の第一の方向１２０および第二の方向１２２と比較される。よく一致するほうの方向が、軌跡６００の計算が終わったのち所定の時間内に受け付けられるユーザー入力の結果制御されるビューに対応する。

図７は、
・表示装置であって、当該表示装置に対してある第一の方向に第一のビューを生成し、当該表示装置に対してある第二の方向に第二のビューを生成するよう構成された表示装置１０２と、
・ユーザーの手または手で持った位置指示装置の前記表示装置に対する位置を検出することによってユーザー入力を受け付け、検出された位置に基づいて前記第一のビューに対応する第一のアプリケーション７０６および前記第二のビューに対応する第二のアプリケーション７０８を制御するよう構成されているユーザー入力手段１０４と、
・ユーザーを観察し、前記ユーザー入力が与えられたのが第一のアプリケーション７０６を制御するためか第二のアプリケーション７０８を制御するためかを検出された位置に基づいて検出するよう構成されている観察手段１０６と、
・前記第一のアプリケーション７０６および前記第二のアプリケーション７０８を走らせる計算手段とを有することを特徴とする、
本発明に基づく表示システム７００を示す概略図である。

観察手段１０６とユーザー入力手段１０４は組み合わされる。あるいは別の言い方をすれば、ユーザー入力手段１０４と観察手段１０６はいくつかの構成要素を共有する。これは、本発明に基づく表示システム７００が手段７０４を有していて、該手段７０４がある特定の時点で当該表示装置１０２のどの部分が指示されたかを決定し、その特定の時点で当該表示装置１０２を指している人物の相対位置がどこであるかを決定するよう構成されている。この手段７０４は、たとえば指先の位置を決定し、手の向きを推定するよう構成されている。これはたとえば異なる方向から取られた複数の画像に基づいたものでもよい。このことは、J.Segen and S.KumarによるProceedings of Tenth Image and Multidimensional Digital Signal Processing Workshop，Alpbach，Austria，July 1998中の論文“Driving a 3D Articulated Hand Model in Real-Time using video Input”において開示されている。あるいはまた、両方のパラメータ、すなわち指先の位置および手の向きがC. van BerkelによるSID Proceedings International Symposium，vol．33，number2，pp1410−1413，2002中の論文“3D Touchless Display Interaction”において開示されているように電磁場によって決定される。いくつかの好適な超音波センサーを適用することによっても同じ結果を達成することができる。さまざまな医療設備においては、三次元画像データセットを再構築するためのデータを提供するのに変換器（transducer）が適用されることに留意されたい。

上述した実施形態は本発明を解説するものであって限定するものではなく、また当業者には付属の特許請求の範囲から外れることなく代わりの実施形態を考案することができるであろうことを注意しておく。特許請求の範囲において、括弧に入れた参照符号があったとしても、それは請求を限定するものと解釈してはならない。「有する」の語は請求項に挙げられていない要素やステップの存在を排除するものではない。要素の単数形の表現はそのような要素が複数存在することを排除するものではない。本発明はいくつかの明確に区別される要素を有するハードウェアによって、また好適にプログラムされたコンピュータによって実装することができる。いくつかの手段を列挙している装置請求項において、それらの手段のいくつかを同一のハードウェアの要素によって具体化することもできる。

本発明に基づく表示システムの実施形態および二人のユーザーを示す概略図である。 表示装置を回転させることによってユーザーがビューのうちの一つを選択できる様子を示す概略図である。 表示装置に対するユーザーの位置が環境を撮像することによって決定される様子を示す概略図である。 本発明に基づく表示システムを有する携帯電話を示す概略図である。 表示装置に隣接して配置されている複数の感知手段を有する、本発明に基づく表示システムを示す概略図である。 表示装置に隣接して配置されている複数の感知手段を有する、本発明に基づく表示システムを有する装置を示す概略図である。 自動車のダッシュボードに位置された本発明に基づく表示システムを有する自動車の内部を示す概略図である。 位置指示装置によって制御しなければならない、本発明に基づく表示システムを有する装置を示す概略図である。 図５Ａおよび図５Ｂは相互キャパシタンス感知の概念を示す概略図である。 ユーザーの手の軌跡を決定するよう構成された、本発明に基づく実施形態を示す概略図である。 観察手段およびユーザー入力手段が組み合わされている、本発明に基づく表示システムを示す概略図である。

Claims (15)

1. ・表示装置であって、当該表示装置に対してある第一の方向に第一のビューを生成し、当該表示装置に対して前記第一の方向とは異なるある第二の方向に第二のビューを生成するよう構成された表示装置と、
   ・ユーザーの手または手で持った位置指示装置の前記表示装置に対する位置を検出することによってユーザー入力を受け付け、該検出に基づいて前記第一のビューおよび前記第二のビューを制御するよう構成されているユーザー入力手段とを有し、
   さらに、ユーザーを観察し、前記ユーザー入力が与えられたのが第一のビューを制御するためか第二のビューを制御するためかを前記観察と前記第一の方向とに基づいて検出するよう構成されている観察手段を有することを特徴とする、表示システム。
2. 前記観察手段が、当該表示装置に対するユーザーの手の向きを決定し、手の向きと前記第一の方向との間のある第一の角度がある第一の所定の閾値よりも小さいかどうかを決定することを特徴とする、請求項１記載の表示システム。
3. 前記観察手段が、当該表示装置に対するユーザーの手首もしくは下腕またはその両方の向きを決定し、手首もしくは下腕またはその両方の向きと前記第一の方向との間のある第二の角度がある第二の所定の閾値よりも小さいかどうかを決定することを特徴とする、請求項１記載の表示システム。
4. 前記観察手段が、手の軌跡を手のいくつかの検出された位置に基づいて計算し、手の前記軌跡を表すベクトルと前記第一の方向との間のある第三の角度がある第三の所定の閾値よりも小さいかどうかを決定する計算手段を有することを特徴とする、請求項１記載の表示システム。
5. 前記観察手段が、当該表示装置に対するユーザーの目の位置を決定し、当該表示装置から目の一方へのベクトルの向きと前記第一の方向との間のある第四の角度がある第四の所定の閾値よりも小さいかどうかを決定することを特徴とする、請求項１または２記載の表示システム。
6. 前記観察手段がユーザーを撮像する光学手段を有することを特徴とする、請求項１記載の表示システム。
7. 前記観察手段が音響、紫外線または電波に基づいてユーザーを観察するよう構成されていることを特徴とする、請求項１記載の表示システム。
8. 前記観察手段が温度差の測定に基づいてユーザーを観察するよう構成されていることを特徴とする、請求項１記載の表示システム。
9. 前記観察手段が表示装置に隣接して位置されていることを特徴とする、請求項７または８記載の表示システム。
10. 前記ユーザー入力手段が前記観察装置をなすことを特徴とする、請求項１記載の表示システム。
11. 請求項１記載の表示システムを有する装置。
12. 携帯情報端末であることを特徴とする、請求項１１記載の装置。
13. 携帯電話であることを特徴とする、請求項１１記載の装置。
14. 請求項１記載の表示システムを有する乗り物。
15. 自動車であることを特徴とする、請求項１４記載の乗り物。

Images