JP2018073311A - 操作入力システム、操作入力プログラム - Google Patents

Abstract

【課題】利用者の視点による入力および利用者の操作による入力に関する利便性を向上させる技術の提供。【解決手段】利用者の視点を検出する視点検出部と、利用者の操作が表示トリガとなる第一画面と、操作以外のイベントが表示トリガとなる第二画面との少なくとも一方を表示部に表示させる表示制御部と、画面上の視点によって利用者の入力を受け付ける入力受付部であって、第一画面上に視点が存在する場合と、第二画面上に視点が存在する場合とでは異なる種類の入力を受け付ける入力受付部と、を備える操作入力システムを構成する。【選択図】図２

Description

本発明は、操作入力システムおよび操作入力プログラムに関する。

従来、視線による入力と操作による入力の２種類の入力方法を採用する装置が知られている。入力方法の選択手段として、特許文献１には切り換えスイッチが設けられることが記載されている。特許文献２には、利用者の視点の検出状況や手動操作の状況に応じて、視線に基づくカーソル表示処理や手動操作に基づくカーソル表示の実施の有無が変わることが記載されている。

特開平８−３３５１３５号公報 特開２０１５−１１８５３１号公報

特許文献１の場合、入力方法の選択を利用者自らの切り換えスイッチの操作によって行う必要があり、利用者の負担となり得る。また、特許文献２のように、利用者の視線の状況および操作の状況によって、視点による入力の有効／無効や操作による入力の有効／無効が変化する場合、頻繁にそれらが切り替わることがあり得る。その場合、利用者が煩わしく感じる可能性がある。
本発明は、上記課題にかんがみてなされたもので、利用者の視点による入力および利用者の操作による入力に関する利便性を向上させる技術の提供を目的とする。

上記の目的を達成するため、操作入力システムは、利用者の視点を検出する視点検出部と、利用者の操作が表示トリガとなる第一画面と、操作以外のイベントが表示トリガとなる第二画面との少なくとも一方を表示部に表示させる表示制御部と、画面上の視点によって利用者の入力を受け付ける入力受付部であって、第一画面上に視点が存在する場合と、第二画面上に視点が存在する場合とでは異なる種類の入力を受け付ける入力受付部と、を備える。

さらに、上記の目的を達成するため、操作入力プログラムは、コンピュータを、利用者の視点を検出する視点検出部、利用者の操作が表示トリガとなる第一画面と、操作以外のイベントが表示トリガとなる第二画面との少なくとも一方を表示部に表示させる表示制御部、画面上の視点によって利用者の入力を受け付ける入力受付部であって、第一画面上に視点が存在する場合と、第二画面上に視点が存在する場合とでは異なる種類の入力を受け付ける入力受付部、として機能させる。

画面の表示トリガが利用者の操作である場合、当該画面が表示された際には、当該操作を行う利用者の体の部位は被操作部の近傍にあることが推定される。その場合は、利用者はそのまま当該部位を被操作部に接触させて操作を行ってなんらかの指示を入力することが推定され、この場面において視点による入力機能の少なくとも一部が制限されていた（無効となっていた）としても利便性に影響を及ぼす可能性は低い。一方、画面の表示トリガが利用者の操作以外のイベントである場合、当該画面が表示された際には、操作を行う場合の利用者の体の部位は被操作部の近傍にあるとは限らない。この場合は、視点による入力機能の少なくとも一部が可能であれば（有効であれば）利便性は向上する。

したがって操作入力システム、プログラムでは、画面の表示トリガが利用者の操作であるか否かに応じて、少なくとも有効とする視点入力の種類を変える。有効とする視点入力の種類の切り換えは本構成の場合、表示トリガに応じて自動的に行われるため、手動で行われる構成と比較して利用者の操作負担を軽減できる。また、画面の表示トリガに応じて有効な視点入力の種類は変わるが、一旦表示された画面については当該画面が入力対象画面として表示されている状況において、有効な視点入力の種類は変わらない。そのため、これらが頻繁に切り替わることによる煩わしさを利用者に感じさせずに済む。

また、表示トリガに応じて有効な視点入力の種類が異なることは、第一画面または第二画面のいずれか一方の画面において第一の視点入力が無効であり、他方の画面において当該第一の視点入力が有効であることを意味する。したがって、第一の視点入力が無効な一方の画面についても他方の画面と同様に第一の視点入力が受け付けられることによって利用者が視線によって意図せず指示を入力してしまうことを防止できる。

操作入力システムのブロック図である。 図２Ａは視点による入力の画面毎の有効／無効を示す対応図、図２Ｂは操作による入力の画面毎の有効／無効を示す対応図である。 画面切り換え処理を示すフローチャートである。

ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）操作入力システムの構成：
（２）画面切り換え処理：
（３）他の実施形態：

（１）操作入力システムの構成：
図１は、本発明の一実施形態である操作入力システム１０の構成を示すブロック図である。操作入力システム１０は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備える制御部２０を備えており、制御部２０は、当該ＲＯＭや記録媒体３０に記録された所望のプログラムを実行することができる。

本実施形態において、制御部２０は、図示しないナビゲーションプログラムを実行することができ、各プログラムを実行することにより経路案内の各機能を実行することができる。すなわち、制御部２０は、ナビゲーションプログラムを実行することにより、表示部としてのディスプレイ４０に地図を表示し、図示しないＧＰＳ信号等に基づいて操作入力システム１０が搭載された車両を指定の目的地まで誘導することができる。

本実施形態においては、以上のような各プログラムで実現される機能に関するユーザインタフェースを提供するため、制御部２０は、図示しないＲＯＭや記録媒体３０等に記録された操作入力プログラム２１を実行する。当該操作入力プログラム２１による処理を実行するため、車両は、ディスプレイ（表示部）４０、タッチパッド（被操作部）４１および視線検出センサ４２を備えている。

ディスプレイ４０は、図示しないインタフェースを介して制御部２０と接続されており、制御部２０は、ディスプレイ４０に対して制御信号を出力することにより、任意の座標を指定し、任意の画像をディスプレイ４０に表示させることができる。タッチパッド４１は、矩形平面の接触検出面を備えた入力デバイスであり、接触検出面に対して検出対象物が接触した位置を検出し、検出位置を示す座標を出力する。制御部２０は、当該座標に基づいて接触位置を取得する。

視線検出センサ４２は、赤外線出力部と少なくとも２個の赤外線カメラとを備えている。当該赤外線カメラは、運転者の顔を視野に含むように車室内の構造体（例えば、インストルメントパネルの壁面）に取り付けられている。赤外線カメラは、赤外線出力部から出力された赤外線によって撮影された利用者（運転者）の目の像に基づいて、目の位置および利用者の視線方向（ベクトル）を検出し、出力する。制御部２０は、当該出力に基づいて、予め定義された３次元空間内で目の位置および視線方向を特定することができる。視線方向は、例えば、両眼のそれぞれにおいて設定された基準点と、眼球の動きに応じて位置が変化する動点とを結ぶ方向として取得され、他にも種々の方式が採用されてよい。また、両眼のそれぞれにおいて特定された視線方向の平均値等によって利用者の視線方向を１方向に特定することができるが、視線方向の特定方法も種々の方法が採用され得る。

以上の構成において、制御部２０は、ディスプレイ４０およびタッチパッド４１をユーザインタフェースとして利用し、ユーザインタフェース画面を介して利用者による入力を受け付ける。このために操作入力プログラム２１は、視点検出部２１ａと表示制御部２１ｂと入力受付部２１ｃとを備えている。

視点検出部２１ａは、利用者の視点を検出する機能を制御部２０に実現させるプログラムモジュールである。本実施形態においては、視点の検出領域となるディスプレイ４０の位置が、車室内空間の位置を既定する３次元座標系によって予め特定されている。制御部２０は、視線検出センサ４２の出力に基づいて、利用者の目の位置および視線方向を取得し、画面の位置が規定された３次元座標系内で利用者の目の位置および視線方向を特定する。そして、当該目の位置から視線方向に延びる仮想的な線と、ディスプレイ４０の表示面との交点を視点として特定する。画面上に視点が存在しない場合、例えば、視点が不定とされてもよいし、他の構造体（例えば、インストルメントパネル等）上に存在すると判定されても良い。

表示制御部２１ｂは、ディスプレイ４０（表示部）にユーザインタフェース画面を表示する機能を制御部２０に実現させるプログラムモジュールである。ナビゲーションプログラムによってユーザインタフェース画面を描画するための画像情報（地図描画情報やアイコン描画情報等）は予め表示情報３０ａとして記録媒体３０に記録されている。制御部２０がナビゲーションプログラムを実行すると、制御部２０は表示情報３０ａを参照して地図等を含むユーザインタフェース画面を描画する。描画された情報はＲＡＭ等に記録され、制御部２０は、表示制御部２１ｂの処理により、当該描画されたユーザインタフェース画面の情報を取得し、当該ユーザインタフェース画面を表示するための制御信号をディスプレイ４０に対して出力する。この結果、ナビゲーションプログラムにおけるユーザインタフェース画面がディスプレイ４０に表示される。

ナビゲーションプログラムが描画するユーザインタフェース画面には様々な種類があるが、本実施形態においては、目的地設定画面と２ルート比較画面を例に挙げて説明する。目的地設定画面は、利用者が目的地を入力するための画面である。本実施形態において目的地設定画面は、ナビゲーションプログラムのメニュー画面に表示された目的地設定ボタンを、タッチパッド４１を用いて操作することで表示される画面である。したがって目的地設定画面は、利用者の操作を表示トリガとする画面（第一画面）である。

２ルート比較画面は、２つのルートを利用者に提示し利用者にいずれかのルートを選択させるための画面である。例えば現行ルートと他の推奨ルートの２つのルートが提示される。制御部２０は図示しない通信部を介して定期的に交通情報を取得することができる。現行ルートに影響を及ぼす交通情報を取得した場合、制御部２０は当該交通情報に基づいてルートを再探索し、現行ルートよりもコストが低いルートが探索された場合に当該ルートを他の推奨ルートとして取得する。

このような２ルート比較画面の表示トリガは、利用者の操作以外のイベントである場合と利用者の操作自体である場合の２パターンがあり得る。すなわち、上記した他の推奨ルートを取得したことを表示トリガとして、ルート案内時の通常画面（地図表示画面）に対して割込表示される場合、２ルート比較画面は利用者の操作以外のイベントを表示トリガとする画面（第二画面）に相当する。一方、上記のタイミングで割込表示された２ルート比較画面が一旦非表示となった場合に、メニューに含まれる２ルート比較ボタンを利用者がタッチパッド４１を操作することで２ルート比較画面を再表示させる場合、２ルート比較画面は利用者の操作を表示トリガとする画面（第一画面）に相当する。制御部２０は、表示制御部２１ｂの処理によって第一画面に相当する各画面や第二画面に相当する各画面をディスプレイ４０に表示させることができる。

入力受付部２１ｃは、画面上の視点によって利用者の入力を受け付ける機能や、タッチパッド４１に対する利用者の操作の入力を受け付ける機能を制御部２０に実現させるプログラムモジュールである。入力受付部２１ｃの処理によって制御部２０は、第一画面上に視点が存在する場合と、第二画面上に視点が存在する場合とでは異なる種類の入力を受け付ける。本実施形態においては、視点による入力の種類として図２Ａに示すように、「視点による決定（視点による選択肢の決定）」、「視点によるカーソル移動（視点によるカーソル位置の入力）」、「視点に関する各種機能」を挙げる。

図２Ａは、視点による入力の画面（第一画面、第二画面）毎の有効／無効を示す対応図である。「×」が無効を、「○」が有効を示している。「視点による決定」は、例えば画面に表示された選択肢を示すオブジェクトを既定時間以上注視したことが検出された場合に、当該選択肢の選択が決定されたとして当該選択肢の選択決定に対応付けられた処理の実行を決定することである。なお例えば選択肢を示すオブジェクトに視点を合わせた状態でまばたきしたことが検知された場合に当該選択肢の選択が決定されたとしてもよい。選択肢を示すオブジェクトはボタン等のアイコンであってもよいし、なんらかの情報を表示するために画面内に設定された表示領域であってもよい。「視点によるカーソル移動」は、画面に表示されたカーソルの位置を視点の位置に移動させることである。カーソルの移動は、移動前の位置にあったカーソルを画面から消去し視点の位置に新たにカーソルの画像を描画し表示させることである。「視点に関する各種機能」は、「視点による決定」と「視点によるカーソル移動」以外に視点を用いて実行される機能であり、例えば利用者の操作を、視点を用いてアシストするための機能である。その一例として、利用者がタッチパッド４１を操作して移動させるカーソルの位置を視点の位置に基づいて補正する機能が含まれる。なお、カーソルは選択中のオブジェクトを示す図形である。

図２Ａに示すように本実施形態では、「視点による決定」は第一画面においては無効とされ、第二画面においては有効とされる。「視点によるカーソル移動」は第一画面において無効とされ、第二画面においては有効とされる。「視点に関する各種機能の実行」は第一画面においても第二画面においても有効とされる。

また、入力受付部２１ｃの処理により制御部２０は、利用者の操作の入力を受け付ける。すなわち制御部２０は、タッチパッド４１が出力する信号に基づいて利用者が入力した（触れた）タッチパッド４１上の座標を取得する。制御部２０は、経時的な当該座標の変化に基づいて利用者の操作（なぞる操作（スワイプ操作を含む）やタップ操作等）を特定する。制御部２０は、当該操作に基づいて利用者の入力内容（例えば、カーソルの移動やカーソル位置に存在する選択肢の選択の決定等）を受け付ける。

図２Ｂはタッチパッド４１に対する利用者の操作による入力の、画面（第一画面、第二画面）毎の有効／無効を示す対応図である。本実施形態では図２Ｂに示すように、第一画面においても第二画面においても、タッチパッド４１に対する操作による決定やカーソル移動は有効とされる。

（２）画面切り換え処理：
次に、制御部２０が実行する画面切り換え処理を、図３を参照しながら説明する。画面切り換え処理は、画面切り換えを要するイベント（表示トリガ）が発生した際に制御部２０によって実行される。画面の切り換えを要するイベントが発生すると、例えば制御部２０はイベントの種別に応じたフラグをセットする。すなわちイベントが利用者の操作である場合は利用者の操作があったことを示す第一フラグをセットする。イベントが利用者の操作以外である場合は利用者の操作以外のイベントが発生したことを示す第二フラグをセットする。そしていずれか一方のフラグのセットを終えてから制御部２０は画面切り換え処理を起動する。

画面切り換え処理が開始されると、入力受付部２１ｃの処理により制御部２０は、表示トリガが利用者の操作であったか否かを判定する（ステップＳ１００）。具体的には例えば制御部２０は、上記の第一フラグと第二フラグとを参照し、第一フラグと第二フラグのうちセットされているフラグがいずれであるかを判定する。第一フラグがセットされている場合、制御部２０は表示トリガが利用者の操作であったと判定する。第二フラグがセットされている場合、制御部２０は表示トリガが利用者の操作であったと判定しない（利用者の操作以外のイベントが表示トリガであると判定する）。なお制御部２０は第一フラグおよび第二フラグを参照した後、両フラグをリセットする。

ステップＳ１００において表示トリガが利用者の操作であると判定された場合、入力受付部２１ｃの処理により制御部２０は利用者の操作が表示トリガである場合の入力設定を行う（ステップＳ１０５）。すなわち、図２Ａに示すように、制御部２０は「視点による決定」と「視点によるカーソル移動」を無効とし、「視点に関する各種機能」を有効として設定する。また、図２Ｂに示すように制御部２０は、「タッチパッド操作による決定」および「タッチパッド操作によるカーソル移動」を有効として設定する。

ステップＳ１００において表示トリガが利用者の操作であると判定されない場合、入力受付部２１ｃの処理により制御部２０は利用者の操作以外のイベントが表示トリガである場合の入力設定を行う（ステップＳ１１０）。すなわち、図２Ａに示すように、制御部２０は「視点による決定」と「視点によるカーソル移動」と「視点に関する各種機能」を有効として設定する。また、図２Ｂに示すように制御部２０は、「タッチパッド操作による決定」および「タッチパッド操作によるカーソル移動」を有効として設定する。

続いて制御部２０は表示制御部２１ｂの処理により、表示トリガに対応する画面を表示する（ステップＳ１１５）。すなわち、制御部２０は、記録媒体３０から画面を構成するオブジェクトの表示情報３０ａを取得しＲＡＭに描画し、ＲＡＭに描画された画面の画像データをディスプレイ４０に表示させる制御信号をディスプレイ４０に出力する。以上の画面切り換え処理によって、表示トリガに応じた入力設定を行うとともに、表示トリガに応じた画面をディスプレイ４０に表示させることができる。

続いて、以上の画面切り換え処理によって表示される画面について具体例を挙げて説明する。例えば、利用者が目的地設定を行うためにタッチパッド４１を操作して目的地設定ボタンの選択を決定すると、入力受付部２１ｃの処理により制御部２０は、画面切り換え処理によって第一画面の視点入力に関する有効／無効設定（図２Ａ参照）と第一画面のタッチパッド操作に関する有効／無効設定（図２Ｂ参照）を行う。また、表示制御部２１ｂの処理により制御部２０は目的地設定画面をディスプレイ４０に表示させる。

第一画面である目的地設定画面では視点による決定と視点によるカーソル移動は無効である。そのため目的地設定画面がディスプレイ４０に表示されている状態で、視点検出部２１ａの処理により制御部２０は、目的地設定画面内のボタンに既定時間以上利用者の視点が存在し続けたことを検出しても、入力受付部２１ｃの処理により制御部２０は当該ボタンの選択を決定しない。また例えば、視点検出部２１ａの処理により制御部２０は、目的地設定画面内の第一のボタン以外にカーソルがある状態で利用者の視点が第一ボタンに既定時間未満存在することを検出しても、入力受付部２１ｃの処理により制御部２０はカーソルを第一ボタンに移動させない。

目的地設定画面では、タッチパッド４１の操作による決定やカーソル移動は有効である。したがって、目的地設定画面が入力対象画面としてディスプレイ４０に表示されている状態で、入力受付部２１ｃの処理により制御部２０がタッチパッド４１に対するスワイプ操作を検出すると、スワイプ操作の移動量や方向や速度等に応じてカーソルの位置を移動させる。なお、目的地設定画面において、視点によるカーソル位置の補正機能（視点に関する各種機能の一例）は有効である。当該補正機能としては、種々の補正を採用可能であるが、例えば、第一ボタンに視点が存在し、第二ボタンにカーソルが存在する状況において、第二ボタンから第一ボタンへの方向に類似する方向へ向けたスワイプ操作がタッチパッド４１上で行われた場合に、第一ボタンにカーソルを移動させる補正である。

また、入力受付部２１ｃの処理により制御部２０は、目的地設定画面内のボタン上にカーソルが存在する状態でタッチパッド４１に対するタップ操作を検出すると、当該ボタンの選択を決定する。そして制御部２０は、当該ボタンの選択決定に対応する処理を実行する。

このように、第一画面である目的地設定画面が表示された際は利用者の手はタッチパッド４１の近傍にある可能性が高く、目的地設定画面における指示の入力はそのままタッチパッド４１に対して行われることが推定される。そのため、目的地設定画面においては、タッチパッド４１に対する操作が全て有効とすることにより利用者が違和感なく指示を入力することが可能である。

また、第一画面である目的地設定画面において、ボタンの選択の決定はタッチパッド４１の操作で有効とされ、視点によるボタンの選択の決定は無効とされる。第一画面である目的地設定画面において視点によってもボタンの選択の決定が入力できてしまうと、利用者が視点によって意図せずボタン選択を決定してしまうことがあり得る。したがって、第一画面上に視点が存在する場合に、視点による選択肢の決定の入力を有効としないことにより、利用者にストレス感じさせる可能性を低減できる。

また、第一画面である目的地設定画面において、カーソル移動はタッチパッド４１の操作で有効とされ、視点によるカーソル移動は無効とされる。第一画面である目的地設定画面において視点によってもカーソル移動ができてしまうと、利用者が視点によって意図せずカーソル位置を移動させてしまうことがあり得る。したがって、第一画面上に視点が存在する場合に、視点によるカーソル位置の入力を有効としないことにより、利用者にストレスを感じさせる可能性を低減できる。

また例えば、ルート案内実行中に図示しない通信部を介して受信した交通情報に基づいて他の推奨ルートを取得した場合、画面切り換え処理を実行する。制御部２０は、画面切り換え処理を実行することによって第二画面の視点入力に関する有効／無効設定（図２Ａ）と第二画面のタッチパッド操作に関する有効／無効設定（図２Ｂ参照）を行う。そして、表示制御部２１ｂの処理により制御部２０は、現在案内中の現行ルートと交通情報を用いて新たに取得された他の推奨ルートの２ルートのいずれかの選択を促すための２ルート比較画面をディスプレイ４０に表示させる。

第二画面である２ルート比較画面では視点による決定と視点によるカーソル移動は有効である。そのため２ルート比較画面がディスプレイ４０に表示されている状態で、視点検出部２１ａの処理により制御部２０は、２ルート比較画面のいずれか一方のルートの表示領域に既定時間以上利用者の視点が存在し続けたことを検出すると、入力受付部２１ｃの処理により制御部２０は当該表示領域に提示されているルートの選択を決定する。また、視点検出部２１ａの処理により制御部２０は、２ルート比較画面のいずれか一方のルートの表示領域以外にカーソルがある状態で利用者の視点が当該表示領域に既定時間未満存在することを検出すると、入力受付部２１ｃの処理により制御部２０はカーソルを当該ルートの表示領域内に移動させる。

２ルート比較画面においても、タッチパッド４１の操作による決定やカーソル移動は有効である。したがって、２ルート比較画面がディスプレイ４０に表示されている状態で、入力受付部２１ｃの処理により制御部２０は、タッチパッド４１に対するスワイプ操作を検出すると、スワイプ操作の移動量や方向や速度等に応じてカーソルの位置を移動させる。なお、２ルート比較画面においても、視点によるカーソル位置の補正機能（視点に関する各種機能の一例）は有効である。したがって例えば一方のルートの表示領域に視点が存在し、他方のルートの表示領域にカーソルが存在する状況において、他方のルートの表示領域から一方のルートの表示領域への方向に類似する方向へ向けたスワイプ操作がタッチパッド４１上で行われた場合に、一方のルートの表示領域にカーソルを移動させる等の視点によるカーソル位置の補正を行う。

また、入力受付部２１ｃの処理により制御部２０は、カーソルがいずれか一方のルートの表示領域に存在する場合にタッチパッド４１に対するタップ操作を検出すると、当該表示領域に提示されたルートの選択を決定する。そして制御部２０は、選択が決定されたルートを新たな案内対象ルートとしてナビゲーション処理を実行する。

このように、第二画面である２ルート比較画面が表示された際は利用者の手はタッチパッド４１の近傍にない（ハンドルにある）可能性が高い。この場合、２ルート比較画面における指示の入力はタッチパッド４１に対してではなく視点によって行うことができれば便利である。そのため、２ルート比較画面においては、視点に関する各種機能に加え、視点による決定と視点によるカーソル移動も有効とすることにより、利用者がハンドルから手を離してタッチパッド４１を操作するよりも簡単に指示を入力することが可能である。また本実施形態では、第二画面である２ルート比較画面において、ボタンの選択の決定やカーソルの移動を、タッチパッド４１に対する操作でも有効とすることにより、例えば助手席の同乗者がディスプレイ４０に視線を向けていない運転者に代わっていずれかのルート選択を決定すること等も可能である。

なお、２ルート比較画面は、上述のように利用者の操作以外のイベントを表示トリガとして表示される場合と、利用者の操作を表示トリガとして表示される場合とがある。ディスプレイ４０のメニュー画面に２ルート比較画面を表示するボタンが表示されている状態で、利用者がタッチパッド４１に対する操作によって当該ボタンの選択を決定した場合は、制御部２０は２ルート比較画面の表示トリガは利用者の操作であることから、第一画面に対応する入力設定を行う。

（３）他の実施形態：
以上の実施形態は本発明を実施するための一例であり、画面の表示トリガに応じて有効とする視点入力の種類を相違させる限りにおいて、他にも種々の実施形態を採用可能である。例えば、操作入力システム１０は、各種のシステム、汎用コンピュータシステムに適用されていても良い。また、操作入力システムは、複数の装置（例えば、クライアントとサーバ）によって実現されるシステムであっても良い。操作入力システム１０は車両に搭載される構成に限定されない。

さらに、操作入力システム１０を構成する視点検出部２１ａ、表示制御部２１ｂ、入力受付部２１ｃの少なくとも一部が複数の装置に分かれて存在していても良い。例えば、入力受付部２１ｃが、タッチパッド４１内の制御部で実現されても良いし、視点検出部２１ａが視線検出センサ４２内の制御部で実現されても良い。むろん、上述の実施形態の一部の構成が省略されてもよいし、処理の順序が変動または省略されてもよい。

さらに、第一画面の例としては、上記実施形態の目的地設定画面の他にも利用者の操作によって表示されうる様々な画面を想定してよい。例えば利用者の操作によってオーディオ設定画面が表示される場合、オーディオ設定画面は第一画面に分類されうる。第二画面の例としては、渋滞情報受信画面や、ハンズフリー着信画面、自動運転におけるルート選択画面等を想定してよい。

また、上記実施形態では、第一画面については、視点による決定と視点によるカーソル移動が無効であり視点に関する各種機能のみが有効である例を挙げたが、このパターンに限定されず、視点による決定と視点によるカーソル移動と視点に関する各種機能のそれぞれの有効／無効はどのような組み合わせであってもよい。例えば第一画面においては、視点による決定が無効であり、視点によるカーソル移動と視点に関する各種機能が有効であってもよい。また例えば第一画面においては、視点による決定と視点に関する各種機能が有効であり、視点によるカーソル移動のみが無効であってもよい。また例えば第一画面においては、視点による決定、視点によるカーソル移動、視点に関する各種機能が全て無効であってもよい。

なお、上記実施形態においては、図２Ａに示すように第二画面において視点による決定は有効であったが、視点による決定は第二画面においても無効であってもよい。また、第二画面において視点による決定や視点によるカーソル移動が有効である場合に、タッチパッド４１操作による決定やカーソル移動が無効であってもよい。

また、視点による入力の種類は、上記した視点による選択肢の決定の入力や、視点によるカーソル位置の入力や、手動操作によるカーソル移動の補正に限定されない。例えば、ディスプレイを複数備える構成において、利用者の指示の入力対象とするディスプレイの決定を視点によって行っても良い。すなわち、複数のディスプレイのうち視点が存在するディスプレイを利用者の操作による入力や利用者の視点による入力の対象として決定してもよい。また例えば、視点による画面のスクロールが視点による入力の種類の一つとして含まれてもよい。また例えば、タッチパッド４１や、タッチパッド４１以外のボタン等の被操作部に対する操作との同時実施によって有効となる視点入力が含まれてもよい。この場合、タッチパッド４１以外のボタン等の被操作部はハンドルに設けられていても良い。

視点検出部は、利用者の視点を検出することができればよく、種々の構成を採用可能である。例えば、上述の実施形態のように、利用者の目を撮影するカメラの出力に基づいて利用者の目の動作を特定することにより視線を特定し、視線と予め特定されたディスプレイ画面との交点を始点と見なす構成等を採用可能である。検出対象となる目は１個であっても良いし、２個であっても良いが、精度を高めるためには検出対象の目は２個であることが好ましい。２個の目の視線が特定された場合における視点は、各目の視線に基づいて特定された各視点から統計的に特定されても良いし、利き目によるバイアスに基づいて視点が特定されても良い。さらに、視点は、少なくとも、利用者が視認している表示領域上で特定されれば良い。

表示制御部は、利用者の操作が表示トリガとなる第一画面と、利用者の操作以外のイベントが表示トリガとなる第二画面との少なくとも一方を表示部に表示させることができればよい。すなわち表示制御部は、第一画面と第二画面を択一的に表示部に表示させることができてもよいし、第一画面と第二画面の両方を同時点において表示部に表示せることができてもよい。第一画面と第二画面の両方が同時点において表示部に表示される場合、一方の画面が他方の画面に少なくとも一部が重なって表示されてもよいし、重ならずに表示されてもよい。また、表示部は単一のディスプレイによって構成されてもよいし、複数のディスプレイによって構成されてもよい。この場合、例えば第一画面はインストルメントパネルの中央のディスプレイに表示され、第二画面はインストルメントパネルの運転席側（ハンドルの前方）のディスプレイに表示されてもよい。

第一画面は、利用者の操作が表示トリガとなる画面として定義される。利用者の操作は、タッチパッドを用いて行われることに限定されず、例えばタッチパッドとは別の入力機器（被操作部。例えばボタン、スイッチ、マウス等）を用いて行われても良い。また、利用者の操作は、利用者が装置を操る動作であり、利用者の体が物理的に装置に接触することによって行われる構成を採用可能である。この場合利用者の操作は、利用者の手によって行われることに限定されず、手以外の体の部位によって行われても良い。なお、利用者の体が物理的に接触する動作以外にも、利用者の体を装置に接近させる動作（近接センサを用いて利用者の体が装置に接近したことを検出）等も利用者の操作としてもよい。

第二画面は、利用者の操作以外のイベントが表示トリガとなる画面として定義される。利用者の操作以外のイベントとしては様々なイベントが想定されうるが、例えば、他の機器から特定の情報を受信したこと、実行中の処理が終了したこと、ある時点から予め決められた時間が経過したこと、等が含まれてよい。また、利用者の操作以外のイベントとして、利用者の視点による入力がなされたことが含まれてもよい。例えば利用者が画面に表示されたボタンを既定時間以上注視したことを表示トリガとして表示された画面は第二画面として扱われて良い。すなわち、利用者が意図的に視点によって新たな画面を表示させた場合、新たな画面においても利用者は視点によって入力を試みることが考えられる。そのため、視点入力を表示トリガとする画面を第二画面に分類してよい。

入力受付部は、画面上の視点によって利用者の入力を受け付けることが少なくともできる。また入力受付部は、第一画面上に視点が存在する場合と、第二画面上に視点が存在する場合とでは異なる種類の視点入力を受け付ける。すなわち、第一画面上に利用者の視点が存在する場合に有効な視点入力の種類と、第二画面上に利用者の視点が存在する場合に有効な視点入力の種類とが少なくとも異なる。第一画面で有効な視点入力の種類と第二画面で有効な視点入力の種類とは一部重複していてもよい。例えば一方の画面で有効な視点入力は他方の画面でも有効であってもよい。あるいは、第一画面で有効な視点入力の種類と第二画面で有効な視点入力の種類とは全く重複していなくてもよい。例えば各入力はそれぞれ第一画面と第二画面とで択一的に有効とされてもよい。また、第一画面と第二画面のいずれか一方の画面においては視点入力を一種類も有効とせず、他方の画面では視点入力を全種類有効としてもよい。

なお入力受付部は、第一画面上に視点が存在しない場合であっても、第一画面が入力対象画面として表示部に表示されている場合に、利用者の操作による入力を受け付けてもよい。第一画面に利用者の視点が常に存在するとは限らない。そのため、入力対象画面である第一画面に利用者の視点が存在しない期間であっても利用者の操作による入力を受付対象とすることにより、利便性を向上させることができる。

なお、選択肢は、利用者の指示を入力するためのオブジェクトであればよくどのような形態で表示されたものであってもよい。例えば選択肢は、ボタンやスイッチ等として表示されたものであってもよいし、画面内に設けられた枠で区切られた領域であってもよいし、画面全体であってもよい。

なお、上記した「カーソル」を「ポインタ」に置き換えても良い。ポインタは、画面内の任意の位置に移動し、当該位置を指し示す図形である。視点によるポインタ位置の入力は、例えば第一画面においては無効とされ第二画面においては有効とされてもよい。

さらに、本発明のように、画面の表示トリガに応じて有効とする視点入力の種類を相違させる手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、システムを制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。

１０…操作入力システム、２０…制御部、２１…操作入力プログラム、２１ａ…視点検出部、２１ｂ…表示制御部、２１ｃ…入力受付部、３０…記録媒体、３０ａ…表示情報、４０…ディスプレイ、４１…タッチパッド、４２…視線検出センサ

Claims (5)

1. 利用者の視点を検出する視点検出部と、
   前記利用者の操作が表示トリガとなる第一画面と、前記操作以外のイベントが表示トリガとなる第二画面との少なくとも一方を表示部に表示させる表示制御部と、
   画面上の前記視点によって前記利用者の入力を受け付ける入力受付部であって、前記第一画面上に前記視点が存在する場合と、前記第二画面上に前記視点が存在する場合とでは異なる種類の入力を受け付ける前記入力受付部と、
   を備える操作入力システム。
2. 前記入力受付部は、
   前記第一画面上に前記視点が存在する場合、前記利用者の操作による入力を受け付ける、
   請求項１に記載の操作入力システム。
3. 前記入力受付部は、
   前記第一画面上に前記視点が存在する場合、前記視点による選択肢の決定の入力を受け付けない、
   請求項１または請求項２に記載の操作入力システム。
4. 前記入力受付部は、
   前記第一画面上に前記視点が存在する場合、前記視点によるカーソル位置の入力を受け付けない、
   請求項１〜請求項３のいずれかに記載の操作入力システム。
5. コンピュータを、
   利用者の視点を検出する視点検出部、
   前記利用者の操作が表示トリガとなる第一画面と、前記操作以外のイベントが表示トリガとなる第二画面との少なくとも一方を表示部に表示させる表示制御部、
   画面上の前記視点によって前記利用者の入力を受け付ける入力受付部であって、前記第一画面上に前記視点が存在する場合と、前記第二画面上に前記視点が存在する場合とでは異なる種類の入力を受け付ける前記入力受付部、
   として機能させる操作入力プログラム。

Images