JP2008176438A - 画像表示装置 - Google Patents

Abstract

【課題】多くの情報を一度に表示可能で、かつ、操作性に優れた画像表示装置を提供する。
【解決手段】ユーザは、画像表示装置２の表示部２７に表示された画像３Ａに指を近づけ、一例として右側面から画像３Ａを押す動作をするとき、動作検出部２５は、基準カメラ２５Ａおよび検査カメラ２５Ｂによって動作を検出し、制御部２０は、動作検出部２５からの動作情報に基づいて画像処理部２６に画像３Ａの右側面が表示部２７の正面に表示されるように指示を出す。
【選択図】図５

Description

本発明は、画像表示装置に関し、特に多くの情報を一度に表示可能で、かつ、表示された画像を、画像に対するユーザの動作に基づいて処理する画像表示装置に関する。

従来の技術として、画像を表示する表示手段と、表示手段の表示画面に設けられた入力手段としてのタッチパネルと、タッチパネルで検出されるユーザの指のタッチ動作に応じて、表示手段に表示された画像を切り替える制御部を有する車載装置が知られている（例えば、特許文献１）。

この車載装置によると、表示手段に表示されるメニュ画面におけるメニュの選択による表示の切り替えを、タッチパネルで検出されるユーザの指によるタッチ動作によって行うことができるので、ユーザの操作の負担の軽減が可能になる。
特開２００５-３３９４２０号公報

しかし、従来の車載装置によると、複雑な階層構造を有するメニュが表示手段に表示されたとき、一度に表示できる情報に限界があるので、ユーザは、目的の階層に到達するまで、何度もユーザが指によるタッチ動作をしなければならないという不都合があった。

従って、本発明の目的は、多くの情報を一度に表示可能で、かつ、操作性に優れた画像表示装置を提案することにある。

本発明は上記目的を達成するため、画像を立体的に表示するディスプレイと、ユーザの動作を検出する動作検出部と、前記ディスプレイに表示されている前記画像の表示内容を前記動作検出部が検出した前記ユーザの動作に応じて変更する制御部とを有することを特徴とする画像表示装置を提供する。

このような構成によれば、多くの情報を立体的に表示可能で、かつ、操作性を向上させることができる。

本発明によれば、多くの情報を一度に表示可能で、かつ、操作性に優れた画像表示装置を提供することができる。

以下に、本発明の画像表示装置の実施の形態を図面を参考にして詳細に説明していく。

[実施の形態]
（実施の形態の構成）
図１は、本発明の実施の形態に係る画像表示装置の概略構成図の一例である。画像表示装置２は、車両１の内部に設けられ、基準カメラ２５Ａと検査カメラ２５Ｂとを有する動作検出部によってユーザの動きを撮像し、撮像して処理した画像情報に基づいて画像表示装置２の表示画面に表示された画像の切り替え等を行う。

図２は、本発明の実施の形態に係る画像表示装置のブロック図の一例である。画像表示装置２は、画像の表示内容を動作検出部２５が検出したユーザの動作に応じて変更する制御部２０と、ラジオやテレビ放送を受信するチューナ部２１と、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）や音楽再生装置等からの入力を受け付ける入力部２２と、画像等を記憶する記憶部２３と、ユーザからの操作を受け付ける操作部２４と、第１のカメラとしての基準カメラ２５Ａと第２のカメラとしての検査カメラ２５Ｂからの画像を処理し、ユーザの動作を検出する動作検出部２５と、制御部２０の指示に基づいて画像を処理する画像処理部２６と、画像を表示する表示部２７と、表示部２７を制御する表示制御部２８と、音声等を出力する出力部２９とを有する。

表示部２７は、一例として、３枚の透明液晶ディスプレイ２７ａ、２７ｂおよび２７ｃと、画像３を透明液晶ディスプレイ２７ａ、２７ｂおよび２７ｃに投影するプロジェクタ２７ｄとからなり、表示制御部２８によって制御されている。なお、透明液晶ディスプレイは、ＴＮ型、ＳＴＮ型、強誘電性型、反強誘電性型および高分子分散型等のどのタイプでも良いし、これに限定されない。

（実施の形態の動作）
以下に、本発明の実施の形態の動作を図１から図１１を参照しつつ、図１２のフローチャートに従って詳細に説明する。

（表示に関する動作）
図３（ａ）は、本発明の実施の形態に係る表示部に表示された画像の一例を表す図であり、図３（ｂ）は、本発明の実施の形態に係る表示部の構成概略図の一例である。

図３（ａ）は、画像表示装置２に表示された画像３を正面から見た図であり、ユーザが見たとき、画像３は、立体的に見える。なお、画像３は、予め奥行き情報を持っており、奥行き情報とは、画像３を前面画像３ａ、中間画像３ｂおよび背景画像３ｃの３つに分ける情報のことである。

図３（ｂ）において、プロジェクタ２７ｄは、画像３を透明液晶ディスプレイ２７ａ、２７ｂおよび２７ｃに投影する。

このとき表示制御部２８は、透明液晶ディスプレイ２７ｃに画像３の背景画像３ｃのみが表示されるように、背景画像３ｃだけが透過しないように制御する。

透明液晶ディスプレイ２７ｃを透過した前面画像３ａと中間画像３ｂは、表示制御部２８によって、透明液晶ディスプレイ２７ｂに画像３の中間画像３ｂのみが表示されるように、中間画像３ｂだけが透過しないように制御され、前面画像３ａは、透明液晶ディスプレイ２７ｂを透過した後、透明液晶ディスプレイ２７ａに表示される。その結果、ユーザは、画像３を奥行きのある立体画像として見ることができるようになり、奥行きがあるので、一度に多くの情報を表示することができる。

（ユーザの動作検出に関する動作）
図４は、本発明の実施の形態に係るユーザの動作検出に関する図の一例であり、図５は、本発明の実施の形態に係るユーザの動作の検出領域に関する図の一例であり、図６は、本発明の実施の形態に係るユーザの顔位置の変化検出に関する図の一例であり、図７は、本発明の実施の形態に係るユーザの顔位置の変化に対応した画像の処理に関する図の一例であり、基準カメラ２５Ａと検査カメラ２５Ｂと呼ぶステレオ視で３次元計測をする場合について表している。

３次元空間上のある点Ｐ（Ｘ、Ｙ、Ｚ）が、基準カメラ２５ＡによってＭ_Ｌ（ｘ_Ｌ、ｙ_Ｌ）に、検査カメラ２５ＢによってＭ_Ｒ（ｘ_Ｒ、ｙ_Ｒ）に観測されたとする。ここで、図４において、両カメラの焦点距離は等しく、また、Ｍ_ＬとＭ_ＲのＺ軸成分は、等しいとしている。

３次元空間上のある点Ｐ（Ｘ、Ｙ、Ｚ）は、両カメラのレンズ中心とそれぞれの観測点を結ぶ直線の交点として３角測量により、焦点距離をｆ、視差ｄをｙ_Ｌ-ｙ_Ｒ、カメラ間の距離をＢとすると、（ｘ_ＬＢ／ｄ、ｙ_ＬＢ／ｄ、ｆＢ／ｄ）と求めることができ、この点Ｐの動きを検出しながら、制御部２０は、表示部２７に表示された画像に対する処理を判断する。

一例として、ユーザの指が検出領域２５０に進入したとき、動作検出部２５は、検出領域に進入してきたユーザの指の先を動作を検出する基準点である点Ｐとして、３次元計測を開始し、制御部２０は、図５に示すように点Ｐ^｀に移動する動作情報を動作検出部２５から受け取り、表示部２７に表示される表示内容と対応させて右側面を押す動作であると判断し、画像処理部２６に指示して画像を右側面が正面に表示されるように画像を回転させる。

ここで、点Ｐの決定の方法は、一例として、特徴ベース法を用いる。特徴ベース法とは、画像から特徴点を抽出し、その抽出した特徴点同士の対応付けを行うことで、対応付けの候補を減らし、対応付けを容易にしようという手法である。特徴点の抽出には、対象となる画像の輝度値のエッジを利用することが多く、エッジ強度等に基づいて類似するエッジ点同士を対応付けていく。

同様に、図６において、一例として、動作検出部２５は、ユーザの左目（虹彩）の動きまたは左目を基準にした顔位置の変化を検出し、ユーザが、図７（ａ）のＡから画像３Ａを見たとき、制御部２０は、動作検出部２５から送信される動作情報に基づいて、図７（ｂ）に示すように右側面の情報がユーザに見えるように画像を回転させる。また、ユーザが図７（ａ）のＢから画像３Ａを見たとき、制御部２０は、動作検出部２５から送信される動作情報に基づいて、図７（ｃ）に示すように左側面の情報がユーザに見えるように画像を回転させる。なお、動作検出は、ユーザの左目を基準点としたが、これに限定されず、また、動作情報の作成のタイミングは、一例として、設定した基準点が、１ｃｍ移動する度に、画像を対応させて動かすようにしても良いしこれに限定されない。また、記憶部２３は、予め決められた各種動作に対応付けられた複数の操作情報を格納し、制御部２０は、動作検出部２５からの動作情報と操作情報を対応させて表示部２７に表示される画像の内容を変更するようにしても良いし、これに限定されない。

例えば、ユーザが、手を検出領域２５０内で手前に引くような動作を操作情報として格納しておき、この動作が行われたとき、画像を拡大するようにすることもできるし、同様に、手を検出領域２５０内で表示部２７方向に押すような動作を操作情報として格納しておき、この動作が行われたとき、画像を縮小するようにすることもできる。

（メニュのある画像に対する動作）
図８（ａ）は、本発明の実施の形態に係る表示部に表示された画像の一例を表した図であり、図８（ｂ）は、本発明の実施の形態に係る選択されたメニュの表示に関する図の一例であり、ユーザの指によるメニュの選択指示に関して説明する。

ユーザが画像表示装置２の電源を入れると、一例として、図８に示す画像３Ｂが表示部２７に立体的に表示される。画像３Ｂは、メニュＡ２７０と、メニュＢ２７１と、メニュＣ２７２とを有し、他に図示しないメニュが６面体の残り３面に表示されている。画像表示装置２は、電源が入ると、３次元計測を開始する（Ｓ１）。

ユーザは、画像表示装置２にテレビを表示させるため、指を表示部２７に近づける。動作検出部２５は、検出領域２５０に検出すべき対象物が存在するか否かを確認する。動作検出部２５は、検出領域２５０に検出すべき対象物が存在しないとき（Ｓ２；Ｎｏ）、引き続き３次元計測を行い、ユーザの指が検出領域２５０に進入したとき（Ｓ２；Ｙｅｓ）、特徴ベース法を用いて特徴点の対応付け処理を経て指先を点Ｐと定めて、ユーザの指の動作の検出を開始する（Ｓ３）。なお、点Ｐの決定の方法は、これに限定されず、一例として、手全体の動作を検出するようにしても良いし、これに限定されない。

動作検出部２５は、ユーザの指に定めた点Ｐの動きに基づいて動作情報を生成し（Ｓ４）、制御部２０は、動作情報に基づいてメニュＡ２７１が選択されたと判断する。ここで、動作検出部２５は、１つの動作検出し、動作情報を送信した後、再びステップ１に戻って３次元計測を開始する。なお、１つの動作とは、検出領域２５０に対象物が進入してその動きが止まるまでとするが、これに限定されない。また、同時に顔位置を検出することで、選択されたメニュＢ２７１を表示させても良いし、これに限定されない。

こうして表示された図８（ｂ）に示すメニュＡ２７１は、放送されている番組、番組の放送局等の情報、他の放送局を選択可能なボタンおよび音量を上げ下げ可能なボタンを表示しており、ユーザは、例えば、テレビの音量を上げたいとき、指をＶｏｌの△に近づけるだけで、動作検出部２５は、検出領域２５０に進入した指の動きを検出し、制御部２０は、動作検出部２５からの動作情報に基づいてテレビの音量を上げようとしていると判断し、指がＶｏｌの△に近づいている時間だけ、テレビの音量を上げるように出力部２９に指示する。

図９（ａ）は、本発明の実施の形態に係るメニュ表示の一例を表す図であり、図９（ｂ）は、本発明の実施の形態に係る選択されたメニュの一例を表した図である。先の例では、メニュは、サイコロ型の６面体に表示された例を挙げたが、図９（ａ）では、画面全体にメニュが立体的に表示されており、それぞれの四角形の領域に、情報が表示されている。

ユーザが、図９（ａ）の（５）の平面に表示された情報を得るため、（５）の平面の近くに指を近づけると、動作検出部２５は、動作情報を制御部２０に送信し、制御部２０は、動作情報に基づいて（５）の平面をユーザが選択していると判断し、図９（ｂ）に示す画面を表示部２７に表示させる。なお、図９（ｂ）では、（５）の平面が選択されたとして、（５）の平面を拡大した画面を表示させているが、（５）の平面の中の特定の情報が選択されたとして、選択された情報を表示するようにしても良く、これに限定されない。

図１０（ａ）は、本発明の実施の形態に係るメニュ表示の一例を表す図であり、図１０（ｂ）は、本発明の実施の形態に係る選択されたメニュの一例を表す図であり、画面中央に情報を表示した平面が複数並び、その平面それぞれに情報が表示されている。

ユーザが、図１０（ａ）の（４）の平面に表示された情報を得るため、（４）の平面の近くに指を近づけると、動作検出部２５は、動作情報を制御部２０に送信し、制御部２０は、動作情報に基づいて（４）の平面をユーザが選択していると判断し、図１０（ｂ）に示す画面を表示部２７に表示させる。なお、図１０（ｂ）では、（４）の平面が選択されたとして、（４）の平面を拡大した画面を表示させているが、（４）の平面の中の特定の情報が選択されたとして、選択された情報を表示するようにしても良く、これに限定されない。

また、図１０（ａ）は、（１）から（５）の平面が表示されているが、（１）から（５）以外にも情報を表示した平面がある場合、ユーザは、一例として、指を右方向または左方向に素早く動かすことによって画面をスクロールさせ、別の平面を表示させ、その平面に表示された情報を表示させることができる。

（実施の形態の効果）
上記した実施の形態によると、情報を立体的に表示することで、一度に多くの情報を表示することができ、また、ユーザの指の動きを検出させることで、各種の操作を行うことができるので、操作性を向上させることができる。

なお、本発明は、上記した実施の形態に限定されず、本発明の技術思想を逸脱あるいは変更しない範囲内で種々の変形が可能である。

本発明の実施の形態に係る画像表示装置の概略構成図の一例である。 本発明の実施の形態に係る画像表示装置のブロック図の一例である。 （ａ）は、本発明の実施の形態に係る表示部に表示された画像の一例を表す図であり、（ｂ）は、本発明の実施の形態に係る表示部の構成概略図の一例である。 本発明の実施の形態に係るユーザの動作検出に関する図の一例である。 本発明の実施の形態に係るユーザの動作の検出領域に関する図の一例である。 本発明の実施の形態に係るユーザの顔位置の変化検出に関する図の一例でる。 本発明の実施の形態に係るユーザの顔位置の変化に対応した画像の処理に関する図の一例である。 （ａ）は、本発明の実施の形態に係る表示部に表示された画像の一例を表した図であり、（ｂ）は、本発明の実施の形態に係る選択されたメニュの表示に関する図の一例である。 （ａ）は、本発明の実施の形態に係るメニュ表示の一例を表す図であり、（ｂ）は、本発明の実施の形態に係る選択されたメニュの一例を表した図である。 （ａ）は、本発明の実施の形態に係るメニュ表示の一例を表す図であり、（ｂ）は、本発明の実施の形態に係る選択されたメニュの一例を表す図である。 本発明の実施の形態に係る動作検出に関するフローチャートである。

符号の説明

１・・・車両、２・・・画像表示装置、３・・・画像、３Ａ・・・画像、３Ｂ・・・画像、３ａ・・・前面画像、３ｂ・・・中間画像、３ｃ・・・背景画像、２０・・・制御部、２１・・・チューナ部、２２・・・入力部、２３・・・記憶部、２４・・・操作部、２５・・・動作検出部、２５Ａ・・・基準カメラ、２５Ｂ・・・検査カメラ、２６・・・画像処理部、２７・・・表示部、２７ａ・・・透明液晶ディスプレイ、２７ｂ・・・透明液晶ディスプレイ、２７ｃ・・・透明液晶ディスプレイ、２７ｄ・・・プロジェクタ、２８・・・表示制御部、２９・・・出力部、２５０・・・検出領域、２７０・・・メニュＡ、２７１・・・メニュＢ、２７２・・・メニュＣ、ｄ・・・視差、ｆ・・・焦点距離、Ｂ・・・カメラ間の距離、Ｐ・・・点、Ｐ^｀・・・点

Claims (3)

1. 画像を立体的に表示するディスプレイと、
   ユーザの動作を検出する動作検出部と、
   前記ディスプレイに表示されている前記画像の表示内容を前記動作検出部が検出した前記ユーザの動作に応じて変更する制御部とを有することを特徴とする画像表示装置。
2. 前記ディスプレイは、前記画像を投影するプロジェクタと、
   前記プロジェクタの投影光軸方向に間隔を置いて配置され、前記画像を部分的に表示する複数の透明液晶ディスプレイとを有することを特徴とする請求項１に記載の画像表示装置。
3. 前記動作検出部は、所定の間隔を置いて配置され、ユーザの所定の部位の動きを検出する第１および第２のカメラを有することを特徴とする請求項１に記載の画像表示装置。