JP2021047771A - 制御装置、撮像装置、制御方法、および、プログラム - Google Patents

Abstract

【課題】ユーザの視線情報を用いて制御項目の選択および決定を素早く行うことが可能な制御装置を提供する。【解決手段】制御装置（１００）は、ユーザの視線情報を取得する視線検出部（１１０）と、制御項目を選択するための選択領域と、選択された制御項目を決定するための決定領域とを表示する表示部（１３０）と、視線情報と選択領域と決定領域とに基づいて、制御項目を選択して決定する選択決定部（１２０）と、選択決定部が制御項目を選択して決定した場合、決定された制御項目に基づいて制御を行う制御部（１４０）とを有する。【選択図】図１

Description

本発明は、視線情報を利用する制御装置に関する。

近年、各種センサの発達により、物理的なボタンを押さずに、タッチパネルやジェスチャー、もしくは視線を認識して電子機器を制御する技術が進歩している。また表示機器として、据え置き型のディスプレイではなく、ヘッドマウントディスプレイが普及している。ヘッドマウントディスプレイを用いて画面を観察する場合、外界を遮断してコンテンツに集中でき、また、表示デバイスを手に持つ必要がないため、両手両足が自由に使うことができる。

特許文献１には、視線情報に基づいて、一眼レフカメラのファインダー内に表示されている測距枠を選択する技術が開示されている。特許文献２には、視線情報に基づいて項目を選択し、まばたき情報に基づいて選択した項目を確定する技術が開示されている。また特許文献２には、まばたきの判定条件（判定閾値）を厳しくして自然なまばたきと意図的なまばたきを切り分ける手法が開示されている。

特開平０７−３１１３３０号公報 特開２００９−５４１０１号公報

しかしながら、特許文献１に開示された技術では、測距枠を選択して決定する際に、一定時間注視する必要があり、即時性に課題がある。特許文献２に開示された技術では、まばたきは自然に行う場合があるため誤操作の原因となる。また、まばたきのスピード（時間）で自然なまばたきか意図的なまばたきかを判定する判定条件とする場合、素早い決定操作ができない。また、強くまばたきをすることを判定条件とする場合、まばたきによって視線がずれるなどで誤選択をする可能性がある。また特許文献２に開示されているように、視線情報を用いて項目を選択し、視線以外の方法で選択項目を決定する技術では、即時性を損なうか、または手足を決定操作に使うことによる身体の自由度が減る。

そこで本発明は、ユーザの視線情報を用いて制御項目の選択および決定を素早く行うことが可能な制御装置、撮像装置、ヘッドマウントディスプレイ、ヘッドアップディスプレイ、制御方法、および、プログラムを提供することを目的とする。

本発明の一側面としての制御装置は、ユーザの視線情報を取得する視線検出部と、制御項目を選択するための選択領域と、選択された前記制御項目を決定するための決定領域と、を表示する表示部と、前記視線情報と前記選択領域と前記決定領域とに基づいて、前記制御項目を選択して決定する選択決定部と、前記選択決定部が前記制御項目を選択して決定した場合、決定された前記制御項目に基づいて制御を行う制御部とを有する。

本発明の他の側面としての撮像装置は、撮像素子と前記制御装置とを有する。

本発明の他の側面としてのヘッドマウントディスプレイは、前記制御装置を有する。

本発明の他の側面としてのヘッドアップディスプレイは、前記制御装置を有する。

本発明の他の側面としての制御方法は、ユーザの視線情報を取得する視線検出ステップと、制御項目を選択するための選択領域と、選択された前記制御項目を決定するための決定領域と、を表示する表示ステップと、前記視線情報と前記選択領域と前記決定領域とに基づいて、前記制御項目を選択して決定する選択決定ステップと、前記選択決定ステップにおいて前記制御項目を選択して決定した場合、決定された前記制御項目に基づいて制御を行う制御ステップとを有する。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、ユーザの視線情報を用いて制御項目の選択および決定を素早く行うことが可能な制御装置、撮像装置、ヘッドマウントディスプレイ、ヘッドアップディスプレイ、制御方法、および、プログラムを提供することができる。

実施例１における制御装置のブロック図である。 実施例１における撮像装置の概略図である。 実施例１における表示領域の説明図である。 実施例１における表示領域の説明図である。 実施例１における表示領域の説明図である。 実施例１における表示領域の説明図である。 実施例１における表示領域の説明図である。 実施例１における表示領域の説明図である。 実施例１における表示領域の説明図である。 実施例１における決定領域の説明図である。 実施例１における決定領域の説明図である。 実施例１における決定領域の説明図である。 実施例２における表示領域の概略説明図である。 実施例２における表示領域の概略説明図である。 実施例２における表示領域の概略説明図である。 実施例２における表示領域の概略説明図である。 実施例２における表示領域の概略説明図である。 実施例２における表示領域の概略説明図である。 実施例２における表示領域の概略説明図である。 実施例２における表示領域の概略説明図である。 実施例２における表示領域の概略説明図である。 実施例３におけるヘッドマウントディスプレイの外観図である。 実施例３における表示領域の概略説明図である。 実施例４におけるヘッドアップディスプレイの概念図である。 実施例４における表示領域の概略説明図である。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

本発明の制御装置は、以下のような考えに基づいて発明されたものである。従来、人間の視線を機器の入力手段として用いて前記機器を制御する様々なデバイスが市場に出回っている。例えば古くは一眼レフカメラのファインダーを覗いて視線にてフォーカスエリアを選択できるカメラがあった。また近年では、センサや光源が安価になったことから、精度の高い視線検出装置も市場に出回ってきている。例えば、赤外線光源を目に照射し赤外線カメラを用いて撮像することで、目の形状や向きを認識し、ユーザの注視点（視線情報）を検出する機器である。この機器を応用したゲームなども市場に出回ってきた。しかしながら、視線だけでは選択操作はできても決定操作ができない。パソコン操作で例えると、マウスでカーソルを動かすような操作はできても、クリックして選択対象を操作する（例えば決定操作をする）ことはできなかった。

これを実現するための手法として、従来は特許文献１に開示されているように、注視時間を閾値として「一定時間注視することで決定操作がされたものとする」装置があった。もしくは、視線ではないインターフェイス（例えば指によるボタン操作）を操作することで決定操作を行う装置があった。しかしユーザが他の動作をする必要性があって手足がふさがっている場合や、素早く選択と決定操作を行わなければならない場合はこの方法では難しかった。このように機器操作を行う場合において、視線だけで選択操作と決定操作を迅速に行うことができる制御装置はなかった。そこで本発明は、ユーザの視線情報を用いて制御項目の選択と決定操作を素早く行うことが可能な制御装置を提供することを目的としている。

ここで「視線情報」とは、ある空間（もしくは平面）においてユーザが視線を向けて注視している座標情報のことである。平面であれば眼球の向き（例えば眼球の中心点と見る対象を結ぶ線で定義される直線と前記平面との交点）で決まる座標である。また空間であれば、眼球の向きに加えてユーザがフォーカスしている位置の座標情報も含まれる。また単純な視線の座標情報ではなく、固視微動による視線の短時間の間での微小変位を補正した情報を「視線情報」としても良い。固視微動も視線情報の変化と捉えてしまうと、ユーザの意図しない操作（誤操作）になってしまうことも考えられる。このため、実用上は固視微動成分を補正した情報を「視線情報」とした方が扱いやすいので好ましい。固視微動成分を補正する方法は、次に述べるように個人ごとにキャリブレーションを行っても良い。

例えば、表示部１３０がカメラのファインダーである場合を考える。最初に前記ファインダー内の１点をユーザに見つめさせることにより、個人ごとの固視微動の変位量や周波数を測定して、変位量や周波数に基づいて視線情報を補正する方法である。または、測定した変位量や周波数を閾値として、その閾値の範囲内であれば視線は動いていない、と判断するような仕組みとしても良い。このように、個人差やまたは同一人物であっても、そのときのストレス状況によって固視微動の度合いが異なるため、その都度キャリブレーションできるようにしておくことが好ましい。

まず、図１を参照して、本発明の実施例１における制御装置１００の概要を説明する。図１は、制御装置１００のブロック図である。制御装置１００は、視線検出部１１０、選択決定部１２０、表示部１３０、および、制御部１４０を有する。

視線検出部（視線取得部）１１０は、視線検出装置１１１、視線情報算出部１１２、および、視線情報補正部１１３を有し、ユーザの視線情報を取得する。視線検出装置１１１は、前述したように、赤外線光源と赤外線カメラを組み合わせた視線を検出するための装置である。視線検出装置１１１自体は。従来技術のもので構わなく、また赤外線ではなく他の手法を用いて検出しても良い。視線情報算出部１１２は、視線検出装置１１１から得られた検出結果に基づいて、ユーザの注視点の座標を算出する。視線情報補正部１１３は、視線検出装置１１１から得られた検出結果と視線情報算出部１１２で算出した注視点座標とに基づいて、視線情報を補正する。具体的には、任意のフレームレートにて固視微動などの誤差やノイズ成分の補正を行う。

選択決定部１２０には、選択領域生成部１２１、決定領域生成部１２２、キャンセル領域生成部１２３、やり直し領域生成部１２４、領域情報記憶部１２５、および、選択決定判定部１２６を有する。選択領域生成部１２１は、後述するような選択領域１５３や選択グループ領域１５４の生成と消去を行う。ここで選択領域１５３は、機器１６０の特定の機能を制御する項目（制御項目）が紐付けられた領域であり、選択領域１５３内に注視点が検出されると選択状態になる領域である。選択グループ領域１５４は、選択領域１５３を下の階層に複数含んで取りまとめている領域である。具体的には、選択グループ領域１５４内に注視点を検出すると、選択グループ領域１５４に含まれる選択領域１５３を展開することができる領域である。なお、この詳細については後述する。

決定領域生成部１２２は、後述するような決定領域１５５の生成と消去を行う。キャンセル領域生成部１２３は、後述するようなキャンセル領域１５６の生成と消去を行う。やり直し領域生成部１２４は、後述するようなやり直し領域１５７の生成と消去を行う。領域情報記憶部１２５は、前述した各領域（選択領域からやり直し領域まで全て）について、定義する領域の大きさや形状（デザインも含む）、および、位置を記憶する。また領域情報記憶部１２５は、選択決定した際に機器１６０におけるどの機能をどのように制御するかというデータに関する機器制御情報を記憶する。領域情報記憶部１２５は、これらを予め記憶しておいても良いし、ユーザがその都度好みにあわせて修正できるなどカスタマイズできるようにしても良い。

選択決定判定部１２６は、ユーザの注視点が各領域へ入ったと判定する境界や閾値（視線検出部１１０が視線情報に基づいて決定領域１５５にユーザの視線が入ったことを検出するときの検出閾値）を決定する。この閾値は、例えば時間や軌跡に関する閾値であるが、これに限定されるものではない。そして選択決定判定部１２６は、その閾値に基づいて、各領域への注視点の進入を有効にするか無効にするかを判定する。例えば矩形で囲まれた決定領域１５５に注視点が入ったと検出した場合、すぐに決定操作を有効にする。または、決定領域１５５内での注視点の動きの軌跡も考慮することで、意識的な領域進入か、意図しない領域進入かを切り分けられるようにしても良い。例えば、注視点が瞬間的に決定領域１５５内に入ってすぐに出てしまう場合、決定領域１５５内に注視点が入ったことを有効にせず、決定領域１５５内で任意の軌道を有することを検出すると決定操作を有効する等である。

表示部１３０は、液晶ディスプレイなどからなる表示装置１５０を有する。制御部１４０は、機器１６０と接続されており、選択決定部１２０の応答に応じて機器へ制御情報の通信を行う。機器１６０は、カメラ（撮像装置）など、ユーザが制御可能な電子機器である。本実施例において、機器１６０は、ファインダーを有するカメラであるとして説明する。機器１６０がカメラである場合、機器１６０はＣＭＯＳセンサやＣＣＤセンサなどの撮像素子１６１を有する。撮像素子１６１は、光学系（撮像光学系）を介して形成された光学像（被写体像）を光電変換して画像データを出力する。なお機器１６０は、制御装置１００を備えた電子機器、または、制御装置１００と通信可能な電子機器（制御装置１００の外部に存在する外部装置）のいずれであってもよい。

図２は、本実施例における撮像装置（カメラ）２００の外観図である。カメラ本体が機器１６０に対応し、カメラの内部に不図示であるが制御装置１００が内蔵されている。カメラはファインダー１８０を有し、不図示であるがファインダー１８０の内部に液晶ディスプレイからなる表示装置１５０を有する。ファインダー１８０は、光学ファインダーに透明な液晶ディスプレイである電子ビューファインダーを重畳表示させたものでも良いし、液晶ディスプレイからなる電子ビューファインダーのみの構成でも良い。表示装置１５０は、液晶ディスプレイに限定されるものではなく、有機ＥＬディスプレイなどの他の構成の表示装置でも構わない。

次に、図３乃至図９を参照して、本実施例における制御装置１００の表示部１３０について説明する。図３乃至図９は、表示部１３０の表示領域１５１の説明図であり、ユーザがファインダー１８０を覗いたときの見え方の例を示す。表示装置１５０は、情報を表示可能な領域である表示領域１５１を有する。表示領域１５１は、被写体像が映し出される撮影画像表示領域１５２を有する。ファインダー１８０が光学ファインダーを有している場合、撮影画像表示領域１５２には実際の光学像が映し出されている。そして表示領域１５１を有する液晶ディスプレイにより、後述する各情報や各領域を表示している。またファインダー１８０が電子ビューファインダーのみを有する場合、カメラの撮像素子１６１で撮像した被写体像を、撮影画像表示領域１５２にリアルタイムに表示する。

表示領域１５１は、撮影画像表示領域１５２の左側において、選択領域１５３および選択グループ領域１５４を有する。選択領域１５３は、「再生」と書かれた四角の領域である。選択グループ領域１５４は、その他の四角で囲まれた領域である。表示領域１５１は、撮影画像表示領域１５２の右側において、決定領域１５５、キャンセル領域１５６、および、やり直し領域１５７を有する。撮影画像表示領域１５２内に表示されている「＋」印が注視点１９０であり、現在ユーザが「＋」印の位置する座標を注視していることを意味する。これにより、ユーザが自身の注視している点を把握しやすいため、好ましい。また、注視点のマーク（視線位置マーク）は「＋」印に限定されるものではなく、ユーザが視認しやすいものであれば良い。何点か注視点マークを用意しておき、ユーザが選べるようにしても良いし、カスタマイズ性を高めるために事前にユーザ自身でデザインできるようにしても良い。

このように、ユーザが表示領域１５１内のある点に視線を運んだ場合、図１に示される視線検出部１１０は、ファインダー１８０の内部に有する視線検出装置１１１によりユーザの視線を検出する。そして視線情報算出部１１２は、実際に表示領域１５１上のどの位置に注視点が存在するか算出し、任意のフレームレートでユーザが注視している座標を算出する。このとき、前述のように視線情報補正部１１３によって上述のような固視微動による個人差の視線揺れ成分を補正して注視位置の座標を出力することが好ましい。

図４は、選択グループ領域１５４の１つである「ドライブ」と書かれた項目（制御項目）に注視点１９０が移った例を示す。四角で囲われた「ドライブ」と書かれた選択グループ領域１５４内に注視点１９０が入ると、「ドライブ」と書かれた選択グループ領域１５４の状態（表示状態）が変化する。例えば、選択グループ領域１５４の領域内の色や明るさが変わってハイライト表示されると良い。すなわち視線検出部１１０は、視線情報に基づいて選択領域にユーザの視線が入ったことを検出した場合、表示部１３０は、ユーザにより選択された選択領域の表示状態を変化させることが好ましい。これにより、ユーザに特定の選択グループ領域１５４に視線が入ったことを明示的に示すことができるため好ましい。そして、「ドライブ」と書かれた選択グループ領域１５４の付近に、例えば４つの選択領域１５３が新たに生成される。図４は、「１枚撮影」、「低速連写」、「高速連写」、「セルフタイマー」という項目（制御項目）を有する選択領域１５３が４つ生成された例を示す。

図５は、「ドライブ」の位置から「高速連写」へ注視点１９０が移った例を示す。このように各選択領域１５３に注視点１９０が移った後に、領域内の色や明るさが変わってハイライト表示などがなされると良い。これにより、ユーザに特定の選択領域１５３内に視線が入ったことを明示的に示すことができるため好ましい。

図６は、「高速連写」の選択領域１５３から注視点１９０が離れて、決定領域１５５へ向かう途中を表した図である。このように一度選択領域１５３へ注視点１９０が進入し、その後に注視点１９０が選択領域から出た場合、選択領域１５３は「選択状態」となる。注視点１９０が他の領域へ進入する、または他のボタン操作をする等でユーザが明示的に選択解除するまで「選択状態」は保たれる。または、一定時間何も操作されなければ「選択状態」を解除しても良い。

図７は、注視点１９０が決定領域１５５に進入したときの例である。このとき選択決定判定部１２６は、決定領域１５５に注視点１９０が進入したと判定し、「高速連写」の選択が決定される。このとき、生成された選択領域１５３は消去され、「高速連写を設定しました」というメッセージが表示領域１５１内に表示されることが好ましい。すなわち視線検出部１１０が視線情報に基づいて決定領域１５５にユーザの視線が入ったことを検出した後に、表示部１３０は、決定された制御項目に関する文字情報を表示することが好ましい。これにより、不要な領域を早く消去できるため、被写体の視認性があがり、またメッセージによって何が設定されたかユーザがすぐに認識することができる。また、テキストメッセージからなる文字情報ではなくアイコンなどの絵からなるアイコン情報が一定時間出るなどで確認できるようにしても良い。これにより、多言語にも容易に対応することができるため好ましい。

このとき、ユーザのやりたいことが変わる、または設定ミスに気づいた場合、図８に示されるように、キャンセル領域１５６へ注視点１９０を進入させることで、「高速連写」の設定がキャンセルされる。すなわち視線検出部１１０が視線情報に基づいてキャンセル領域１５６にユーザの視線が入ったことを検出した場合、制御部１４０は、直前に実行した制御をキャンセルする。図８の例は、もともと「１枚撮影」が設定されており、「高速撮影」をキャンセルしたために最初の「１枚撮影」モードに設定が戻ったことを表している。このように、視線検出部１１０が視線情報に基づいてキャンセル領域１５６にユーザの視線が入ったことを検出した場合、表示部１３０は、キャンセルされた制御項目に関するアイコン情報または文字情報を表示することが好ましい。

また、更にユーザの気が変わり、「高速連写」モードに設定しなおしたい場合、図９に示されるように、注視点１９０をやりなおし領域１５７へ進入させるとよい。すなわち、視線検出部１１０が視線情報に基づいてやり直し領域１５７にユーザの視線が入ったことを検出した場合、制御部１４０は、直前に実行した制御のキャンセル動作をキャンセルすることが好ましい。また表示部１３０は、キャンセルされたキャンセル動作に関するアイコン情報または文字情報を表示することが好ましい。これにより、キャンセル操作をキャンセルすることができ、もう一度「ドライブ」から選択しなおす必要がなく、迅速に所望の機能を再設定可能である。

また、選択領域１５３、選択グループ領域１５４、および、決定領域１５５などの領域の少なくとも一つの大きさ、形状、位置、または、デザインをユーザが変更可能であると更に好ましい。例えばデザインモードなどを用意して注視点マークも含めてユーザがデザインできても良いし、何点かデザインが用意されておりユーザが選べるようにしても良い。前述したように、固視微動など個人によって領域が大きくないと選択が難しい、または小さくても選択できるために撮影画像表示領域１５２を広く取りたいなどユーザごとに趣向が異なるのでカスタマイズできると良い。

同様に、各領域へ注視点１９０が進入したと選択決定判定部１２６が判定する閾値（判定閾値、検出閾値）もユーザが変更可能であると好ましい。これにより、判定感度を高くして操作スピードをあげる、または感度を落として確実に注視点１９０を意図的に認識させるなどの設定がユーザや用途に応じて変更できるため、好ましい。閾値の例としては、各領域の境界で判定の有効と無効を分けても良い。または、領域を分割し、各分割部分に重み係数を設け、注視点１９０と重み係数に応じて領域進入を有効にしても良い。

この点について、図１０乃至図１２を参照して具体的に説明する。図１０乃至図１２は、決定領域１５５の説明図である。例えば、領域進入有効閾値を１０として、注視点１９０が決定領域１５５の左下から進入してきた例である。図１０に示されるように、決定領域１５５は、領域が３６分割されており、分割領域ごとに重み係数（ここでは１、３、６）が与えられている。ここで図１１中の矢印で示されるように、注視点１９０が決定領域１５５の内部を進入し、重み係数が１の領域、その右隣の３の領域、またその右隣の３の領域と進んだとする。この段階で、注視点１９０が進んだ各分割領域の重み係数の合計は７である。このようにして合計が１０になった場合に、決定領域１５５へ注視点１９０が入ったと検出する方法である。

このように、注視点１９０の軌跡と各分割領域の重み係数に基づいて各領域への進入を判定しても良い。この場合、各領域に注視点１９０が少しでも入ったら決定領域１５５へ注視点１９０が入ったと検出するには、図１２に示されるように、分割領域全てを閾値の値を重み係数の値とすれば良い。これにより、各領域内への注視点１９０の進入が閾値に基づいて検出可能であり、選択決定判定部１２６は領域進入を有効にする判定を行うことができる。

次に、図１３乃至図２１を参照して、本発明の実施例２における制御装置１００について説明する。図１３乃至図２１は、本実施例における表示領域１５１の概略説明図である。本実施例は、ある条件を満たした場合に決定領域１５５が生成または消去される点で、実施例１と異なる。すなわち本実施例の表示領域１５１には、図３に示されるように最初から決定領域１５５が存在しているわけではない。なお、本実施例における他の構成は、実施例１と同様であるため、それらの説明は省略する。

まず、図１４を参照して、本実施例の動作を説明する。図１４は、図５に示される過程と同じ操作を行ったときの様子を示す。すなわち、「ドライブ」という選択グループ領域１５４を経由して「高速連写」という選択領域１５３へ注視点１９０を移動させた例である。このとき、注視点１９０が特定の選択領域１５３へ進入したタイミングで、選択領域１５３の領域内の一部に決定領域１５５が生成される。本実施例において、決定領域１５５は、黒丸「●」で示される領域である。このため、注視点１９０が存在していない他の選択領域１５３には決定領域１５５は生成されない。すなわち、表示部１３０における決定領域１５５の位置は、ユーザにより選択された選択領域１５３に応じて変化する。より具体的には、視線検出部１１０が視線情報に基づいて選択領域１５３にユーザの視線が入ったことを検出した後に、表示部１３０は、ユーザにより選択された選択領域１５３の一部に決定領域１５５を表示する。これにより、まず選択領域１５３へ注視点１９０を進入させ、その後、同じ領域内に生成される決定領域１５５へ注視点１９０を移動させることで、該当する操作を決定することができる。

また、誤操作を低減させるには、選択領域１５３の面積に比べて、生成される決定領域１５５の面積は十分小さいことが好ましい。具体的には、選択領域１５３の面積をＳ、決定領域１５５の面積をＲとするとき、０＜Ｓ／Ｒ＜５であることが好ましい。更に好ましくは、０＜Ｓ／Ｒ＜１０であることが好ましい。決定領域１５５の大きさを小さくすることで、意図的に決定領域１５５へ注視点１９０を移動させる必要性が高まるため、ノイズや固視微動などの反射的な視線の動きに対しても誤操作を低減することができ、好ましい。図１５は、本実施例の変形例を示し、決定領域１５５が帯状に生成された例である。図１５の変形例においても、表示部１３０は、ユーザにより選択された選択領域１５３の一部に決定領域１５５を表示している。

図１６は、本実施例の別の変形例を示し、決定領域１５５が選択領域１５３に隣接した領域に生成された例である。すなわち、視線検出部１１０が視線情報に基づいて選択領域１５３にユーザの視線が入ったことを検出した後に、表示部１３０は、ユーザにより選択された選択領域１５３に隣接する位置に決定領域１５５を表示する。このように、選択領域１５３の内部ではなく隣接する位置に決定領域１５５を生成しても、同様の効果を得ることができるため好ましい。

図１７に示されるように、注視点１９０が選択領域１５３「高速連写」から離れた場合、決定領域１５５は消去される。これにより、選択領域外から注視点１９０が誤って選択領域に進入した場合でも、誤操作を低減することができるため好ましい。

更に好ましくは、生成される決定領域１５５の位置は、注視点１９０の位置（視線情報）に応じて変化する。図１８および図１９を参照して、具体的な例を説明する。図１８は、「高速連写」の選択領域１５３の左上から注視点１９０が進入してきた例である。このとき、選択決定判定部１２６が「高速連写」の選択領域１５３に注視点１９０が進入したことを判定すると、注視点１９０が進入した位置に応じて決定領域生成部１２２は決定領域１５５を生成する。好ましくは、注視点１９０が進入した位置から離れた位置に決定領域１５５を生成することが好ましい。もし一律に同じ場所で決定領域１５５を生成してしまうと、注視点１９０が選択領域１５３に進入した位置によっては、進入した瞬間に決定領域１５５にも進入してしまう可能性がある。そうすると誤操作に繋がってしまうため好ましくない。しかし、毎回異なる位置に決定領域１５５を生成してしまうと、今度はユーザが決定領域１５５を探す必要性が出てしまうため、注視点１９０が進入した対置から最も離れた位置に決定領域１５５を生成するなどのルールを設けると良い。図１９は、「高速連写」の選択領域１５３の右上から注視点１９０が進入してきた例である。このとき、決定領域１５５は選択領域１５３内の左下に生成される。

図２０は、生成された決定領域１５５に注視点１９０を進入させずに、下方にある他の選択領域１５３「セルフタイマー」へ注視点１９０を移動させた場合の例である。このとき、「高速連写」の選択領域内に生成された決定領域１５５は消去される。すなわち視線検出部１１０が視線情報に基づいて選択領域１５３からユーザの視線が外れたことを検出した場合、表示部１３０は、表示された決定領域１５５を消去する。また、選択領域１５３のハイライト表示も、注視点１９０が進入する前の状態に戻す。そして、注視点１９０が新たに進入した「セルフタイマー」の選択領域をハイライト表示する。更に好ましくは、「セルフタイマー」の選択領域内に決定領域１５５を生成する。これにより、ユーザが判断しやすく、また、ユーザが選択している選択領域と決定領域とが１対１で存在することになるため、誤操作を低減することができる。

そして図２１に示されるように、決定領域１５５に注視点１９０を進入させずに、注視点１９０を選択領域１５３の外側へ移動させた場合、選択領域１５３を表示領域１５１上から消去することが好ましい。これにより、素早く選択解除操作を行うことができる。

次に、図２２を参照して、本発明の実施例３における制御装置１００について説明する。本実施例は、制御装置１００をヘッドマウントディスプレイに用いる点で、ファインダーを有するカメラに用いる実施例１と異なる。すなわち本実施例では、機器１６０が制御装置１００を備えたヘッドマウントディスプレイである例について説明する。なお制御装置１００自体は、実施例１や実施例２と同様であるため、その説明を省略する。

図２２は、本実施例におけるヘッドマウントディスプレイ（表示部１３０を備えた頭部装着装置（機器１６０））の外観図である。本実施例のヘッドマウントディスプレイは、画像表示部１０、前頭支持部２０、ベルト部３０（保持部）、および、カウンターウェイト４０（カウンターウェイト部）を備えて構成されている。図２２に示されるように、ヘッドマウントディスプレイは、ユーザの頭部に装着されて使用される。以下、それぞれの具体的な機能について説明する。

画像表示部１０の内部には、映像を表示する表示素子と、その表示素子の映像を拡大しユーザの眼に導く光学系とが配置されている。画像表示部１０は、図１の表示装置１５０に相当する。表示素子は、表示領域１５１を有する。前頭支持部２０には、画像表示部１０とベルト部３０とがそれぞれ結合されており、装着する際にユーザＨの前頭部近傍に触れることで画像表示部１０は保持される。ベルト部３０は、厚み方向に柔軟性を持った板材で、重力Ｇの方向に対して剛性を有し、頭部に巻き付く方向に柔軟性を有する。また、ベルト部３０は、自身の長さを調整できる調整機構を有する。カウンターウェイト４０は、ユーザＨの頭部に沿う形状に変形が可能な構成で、ベルト部３０の一部である調整用ベルト３２と結合されている。装着時には、ユーザＨの後頭部近傍に配置される。

本実施例のヘッドマウントディスプレイは、前頭支持部２０を支点として、画像表示部１０の自重によるモーメントと、カウンターウェイト４０の自重によるモーメントが概ね釣り合うように重心位置が調整されている。また、ベルト部３０の剛性によってモーメントが伝達され、この釣り合いが実現されている。これにより画像表示部１０の位置と姿勢が安定し、ユーザＨが正しい映像を認識できるような位置と姿勢に画像表示部１０を保持させることが容易となる。画像表示部１０を保持するにあたっては、ベルト部３０の長さを調整し、画像表示部１０とベルト部３０とカウンターウェイト４０をユーザＨの頭部に密着させる。これにより、ユーザＨの首振り等の諸動作に対して、画像表示部１０の位置と姿勢を保持する摩擦力を得ることができ、ヘッドマウントディスプレイの使用時に画像表示部１０の位置と姿勢がずれにくくなる。視線検出装置１１１は、画像表示部１０内に設けられている。

なお制御装置１００は、全てヘッドマウントディスプレイに内蔵されていても良いし、無線もしくは有線でヘッドマウントディスプレイと接続していても良い。ヘッドマウントディスプレイに内蔵されている場合、機器１６０は、ヘッドマウントディスプレイそのものである。一方、ヘッドマウントディスプレイと表示内容を出力する機器とが無線または有線で接続されて別体構成になっている場合、ヘッドマウントディスプレイだけでなくヘッドマウントディスプレイに接続されている機器も含めて機器１６０となる。

図２３は、ユーザＨが見ている表示領域１５１の例を示す。表示項目は、実施例１でのカメラ特有の内容とは異なるため、撮影画像表示領域１５２が、映像表示領域１６２と変わっているが、その他については同じである。ヘッドマウントディスプレイでは、両手が機器１６０を持つ以外のことに使えるため、より一層視線だけでの機器制御が必要とされる分野の一つである。このため、本実施形態のようにヘッドマウントディスプレイに実施例１や実施例２の機能を有することで、視線のみで迅速な選択決定が可能となる。

次に、図２４を参照して、本発明の実施例４における制御装置１００について説明する。本実施例は、制御装置１００をヘッドアップディスプレイに用いる点で、ファインダーを有するカメラに用いる実施例１と異なる。すなわち本実施例では、機器１６０が制御装置１００を備えたヘッドアップディスプレイである例について説明する。なお制御装置１００自体は、実施例１や実施例２と同様であるため、その説明を省略する。

図２４を参照して、本実施例の制御装置１００について説明する。図２４は、自動車の運転席の計器類やカーナビゲーションの表示に用いられるヘッドアップディスプレイ（投射型の表示装置）の概念図であり、自動車の前部の側面図を示す。４０１は車体を示し、特に４０２はフロントガラス部を示す。また４０３はダッシュボードを示す。４０４は、ダッシュボード内部に埋設されたブラウン管（ＣＲＴ）、液晶或いは蛍光表示管等を使用した投射装置である。４０５は、ハーフミラーや反射型ホログラムなどを用いたコンバイナーである。コンバイナー４０５や投射装置４０４が図１に示される表示装置１５０に相当する。４０６は運転者である。また、４０７は投射装置４０４からの光路であり、４０８は外界からの景色の光路である。ヘッドアップディスプレイは、ダッシュボード４０３内の投射装置４０４から投射された画像情報をフロントガラス４０２に設けられたコンバイナー４０５で反射して運転者に送る。このとき、外界の景色の情報もともに運転者は見ることができる。

なお、ここでは投射画像をフロントガラスに表示しているが、従来の運転計器類やカーナビゲーションのモニタが存在していたダッシュボード上にスクリーンを設置して、このスクリーン上に投射表示しても良い。

制御装置１００は全て投射装置４０４に内蔵されていても良いし、無線もしくは有線で投射装置４０４と接続していても良い。投射装置４０４に内蔵されている場合、機器１６０は、ヘッドアップディスプレイそのものである。一方、ヘッドアップディスプレイと表示内容を出力する機器とが無線または有線で接続されて別体構成になっている場合、ヘッドアップディスプレイだけでなくヘッドアップディスプレイに接続されている機器も含めて機器１６０となる。

図２５は、ユーザが見ている表示領域１５１の例を示す。表示項目は実施例１でのカメラ特有の内容とは異なるため、撮影画像表示領域１５２がなくなっているが、その他については基本的に同じである。図２５では、注視点１９０を選択グループ領域１５４「エアコン」に移動させて、選択領域１５３「暖房」と「冷房」を生成させた時の例を示している。

このように、特に車両を運転している時に使用するヘッドアップディスプレイの場合には両手が運転作業によってふさがっているため、機器１６０を操作するために手を使うことは難しい。このため、より一層視線だけでの機器制御が必要とされる分野の一つである。本実施形態のようにヘッドアップディスプレイに実施例１や実施例２の機能を有することで、視線のみで迅速な選択決定が可能となる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、ユーザの視線情報を用いて制御項目の選択および決定を素早く行うことが可能な制御装置、撮像装置、ヘッドマウントディスプレイ、ヘッドアップディスプレイ、制御方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 制御装置
１１０ 視線検出部
１２０ 選択決定部
１３０ 表示部
１４０ 制御部

Claims (20)

1. ユーザの視線情報を取得する視線検出部と、
   制御項目を選択するための選択領域と、選択された前記制御項目を決定するための決定領域と、を表示する表示部と、
   前記視線情報と前記選択領域と前記決定領域とに基づいて、前記制御項目を選択して決定する選択決定部と、
   前記選択決定部が前記制御項目を選択して決定した場合、決定された前記制御項目に基づいて制御を行う制御部と、を有することを特徴とする制御装置。
2. 前記視線検出部が前記視線情報に基づいて前記選択領域にユーザの視線が入ったことを検出した後に、前記視線検出部が前記視線情報に基づいて前記決定領域にユーザの視線が入ったことを検出した場合、前記選択決定部は、選択された前記制御項目を決定し、前記制御部は、決定された前記制御項目に基づいて前記制御を行うことを特徴とする請求項１に記載の制御装置。
3. 前記視線検出部が前記視線情報に基づいて前記選択領域にユーザの視線が入ったことを検出した後に、前記表示部は、前記決定領域を表示することを特徴とする請求項１または２に記載の制御装置。
4. 前記表示部における前記決定領域の位置は、ユーザにより選択された前記選択領域に応じて変化することを特徴とする請求項３に記載の制御装置。
5. 前記視線検出部が前記視線情報に基づいて前記選択領域にユーザの視線が入ったことを検出した後に、前記表示部は、ユーザにより選択された前記選択領域の一部に前記決定領域を表示することを特徴とする請求項３または４に記載の制御装置。
6. 前記視線検出部が前記視線情報に基づいて前記選択領域にユーザの視線が入ったことを検出した後に、前記表示部は、ユーザにより選択された前記選択領域に隣接する位置に前記決定領域を表示することを特徴とする請求項３または４に記載の制御装置。
7. 前記視線検出部が前記視線情報に基づいて前記決定領域にユーザの視線が入ったことを検出するときの検出閾値は、ユーザにより変更可能であることを特徴とする請求項１乃至６のいずれか一項に記載の制御装置。
8. 前記選択領域または前記決定領域の少なくとも一つの大きさ、形状、位置、または、デザインは、前記ユーザにより変更可能であることを特徴とする請求項１乃至７のいずれか一項に記載の制御装置。
9. 前記視線検出部が前記視線情報に基づいて前記決定領域にユーザの視線が入ったことを検出した後に、前記表示部は、決定された前記制御項目に関するアイコン情報または文字情報を表示することを特徴とする請求項１乃至８のいずれか一項に記載の制御装置。
10. 前記視線検出部が前記視線情報に基づいて前記選択領域からユーザの視線が外れたことを検出した場合、前記表示部は、表示された前記決定領域を消去することを特徴とする請求項３乃至６のいずれか一項に記載の制御装置。
11. 前記視線検出部が前記視線情報に基づいて前記選択領域にユーザの視線が入ったことを検出した場合、前記表示部は、ユーザにより選択された前記選択領域の表示状態を変化させることを特徴とする請求項１乃至１０のいずれか一項に記載の制御装置。
12. 前記表示部は、更に、キャンセル領域を表示し、
    前記視線検出部が前記視線情報に基づいて前記キャンセル領域にユーザの視線が入ったことを検出した場合、前記制御部は、直前に実行した前記制御をキャンセルすることを特徴とする請求項１乃至１１のいずれか一項に記載の制御装置。
13. 前記表示部は、更に、やり直し領域を表示し、
    前記視線検出部が前記視線情報に基づいて前記やり直し領域にユーザの視線が入ったことを検出した場合、前記制御部は、直前に実行した前記制御のキャンセル動作をキャンセルすることを特徴とする請求項１２に記載の制御装置。
14. 前記視線検出部が前記視線情報に基づいて前記キャンセル領域にユーザの視線が入ったことを検出した場合、前記表示部は、キャンセルされた前記制御項目に関するアイコン情報または文字情報を表示することを特徴とする請求項１２または１３に記載の制御装置。
15. 前記視線検出部が前記視線情報に基づいて前記やり直し領域にユーザの視線が入ったことを検出した場合、前記表示部は、キャンセルされた前記キャンセル動作に関するアイコン情報または文字情報を表示することを特徴とする請求項１３に記載の制御装置。
16. 撮像素子と、
    請求項１乃至１５のいずれか一項に記載の制御装置と、を有することを特徴とする撮像装置。
17. 請求項１乃至１６のいずれか一項に記載の制御装置を有するヘッドマウントディスプレイ。
18. 請求項１乃至１６のいずれか一項に記載の制御装置を有するヘッドアップディスプレイ。
19. ユーザの視線情報を取得する視線検出ステップと、
    制御項目を選択するための選択領域と、選択された前記制御項目を決定するための決定領域と、を表示する表示ステップと、
    前記視線情報と前記選択領域と前記決定領域とに基づいて、前記制御項目を選択して決定する選択決定ステップと、
    前記選択決定ステップにおいて前記制御項目を選択して決定した場合、決定された前記制御項目に基づいて制御を行う制御ステップと、を有することを特徴とする制御方法。
20. 請求項１９に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。

Images