JP2018010584A - 操作支援装置及びコンピュータプログラム - Google Patents

Abstract

【課題】ユーザの視線位置を用いてユーザの意図する操作対象を適切に選択して操作可能となるとともに、操作性についても向上させた操作支援装置及びコンピュータプログラムを提供する。【解決手段】ユーザの視線位置を取得し、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた場合に、受け付けたユーザの操作態様とユーザの視線位置とに基づいて、複数の操作対象の内から操作の対象となる操作対象を選択し、タッチパッド１５において受け付けたユーザの操作に基づいて、選択された操作対象を操作するように構成する。【選択図】図８

Description

本発明は、操作対象の操作の支援を行う操作支援装置及びコンピュータプログラムに関する。

従来より、パーソナルコンピュータ、ＡＴＭ、券売機、ナビゲーション装置、スマートフォン等の機器に対してユーザが操作を行う際に、機器に対するユーザの操作を受け付ける手段として、様々なマンマシンインタフェースが用いられている。このようなマンマシンインタフェースとしては、例えばタッチパッド、タッチパネル、タブレット、マウス等がある。

更に、近年では機器に対する操作をより容易に行わせる為に、ユーザの視線を用いて操作を行わせることについても提案されている。例えば特開２０１５−１１８５３１号公報には、ユーザの視線方向に応じたディスプレイ上の位置を視線位置として検出し、視線位置に最も近くにある選択対象物の位置にカーソルを表示させる技術について提案されている。

特開２０１５−１１８５３１号公報（第６−７頁、図３）

ここで、上記特許文献１の技術では、ユーザの視線位置によって操作の対象となるのはディスプレイに表示された表示物の内、カーソルのみである。しかしながら、例えばディスプレイ上にはカーソル以外にもユーザによって操作可能となる様々な操作対象が存在する。例えば、表示画面全体、地図画像、スクロールバー等がある。しかしながら、上記特許文献１では、カーソル以外の操作対象について操作することができなかった。

一方で、複数の操作対象を操作可能とすると、ユーザの視線位置によってユーザがどの操作対象を操作することを意図しているのかを判定することが難しいという問題があった。その結果、例えばカーソルを移動させたい場合に地図画像がスクロールされてしまう等のユーザの意図しない操作対象が操作される虞がある。

本発明は前記従来における問題点を解消するためになされたものであり、複数の操作対象があった場合であっても、ユーザの視線位置を用いてユーザの意図する操作対象を適切に選択して操作可能となるとともに、操作性についても向上させた操作支援装置及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本発明に係る操作支援装置は、ユーザの操作を受け付ける操作入力装置と、前記操作入力装置において受け付けたユーザの操作により操作可能な複数の操作対象と、を備えた操作支援装置において、ユーザの視線位置を取得する視線位置取得手段と、前記操作入力装置において前記操作対象を操作する為のユーザの操作を受け付けた場合に、受け付けたユーザの操作態様と前記視線位置とに基づいて、前記複数の操作対象の内から操作の対象となる操作対象を選択する操作対象選択手段と、前記操作入力装置において受け付けたユーザの操作に基づいて、前記操作対象選択手段により選択された前記操作対象を操作する対象操作手段と、を有する。
尚、「ユーザの視線位置」とは、ユーザの視線が位置する地点であり、ユーザが視認する対象物（例えば画像表示装置の表示領域）とユーザの視線（視軸）とが交わる地点とする。

また、本発明に係るコンピュータプログラムは、操作対象の操作を支援するプログラムである。具体的には、ユーザの操作を受け付ける操作入力装置と、前記操作入力装置において受け付けたユーザの操作により操作可能な複数の操作対象と、を備えた操作支援装置を、ユーザの視線位置を取得する視線位置取得手段と、前記操作入力装置において前記操作対象を操作する為のユーザの操作を受け付けた場合に、受け付けたユーザの操作態様と前記視線位置とに基づいて、前記複数の操作対象の内から操作の対象となる操作対象を選択する操作対象選択手段と、前記操作入力装置において受け付けたユーザの操作に基づいて、前記操作対象選択手段により選択された前記操作対象を操作する対象操作手段と、して機能させる。

前記構成を有する本発明に係る操作支援装置及びコンピュータプログラムによれば、操作入力装置で受け付けたユーザの操作の操作態様とユーザの視線位置とに基づいて操作する操作対象を選択するので、複数の操作対象があった場合であっても、ユーザの意図する操作対象を適切に選択して操作することが可能となる。その結果、特に複数の操作対象が存在する場合において、操作性を向上させることができる。

第１実施形態に係る操作支援装置を示したブロック図である。 車両に配置された各種画像表示装置を示した図である。 ポインタの移動態様を示した図である。 メインディスプレイに表示される表示画面の一例を示した図である。 タッチパッド周辺を拡大して示した図である。 第１実施形態に係る操作支援処理プログラムのフローチャートである。 視線位置の検出方法について説明した図である。 ポインタの移動を行う場合の、ユーザの操作態様及びユーザの視線位置について説明した図である。 表示画面の消去を行う場合の、ユーザの操作態様及びユーザの視線位置について説明した図である。 他の画像表示装置へのポインタの移動を行う場合の、ユーザの操作態様及びユーザの視線位置について説明した図である。 第２実施形態に係る操作支援処理プログラムのフローチャートである。 第２実施形態に係る操作支援処理プログラムのフローチャートである。 他の画像表示装置への表示画面の複製又は移動を行う場合の、ユーザの操作態様及びユーザの視線位置について説明した図である。 第３実施形態に係る操作支援処理プログラムのフローチャートである。 第４実施形態に係る操作支援処理プログラムのフローチャートである。 他の画像表示装置への表示画面の複製又は移動並びにポインタの移動を行う場合の、ユーザの操作態様及びユーザの視線位置について説明した図である。

以下、本発明に係る操作支援装置を具体化した第１実施形態乃至第４実施形態について図面を参照しつつ詳細に説明する。ここで、以下の第１実施形態乃至第４実施形態で説明する操作支援装置は、車両に設置され、車両に乗車する乗員であるユーザによる操作を受け付けるとともに、受け付けた操作に基づいて車両の制御や各種情報の提供を行う車載器である。尚、ナビゲーション装置やその他の車載器を操作支援装置としても良い。

〔第１実施形態〕
先ず、第１実施形態に係る操作支援装置１の概略構成について図１を用いて説明する。図１は第１実施形態に係る操作支援装置１を示したブロック図である。

図１に示すように第１実施形態に係る操作支援装置１は、操作支援装置１の全体の制御を行う電子制御ユニットである制御回路部１１と、画像表示装置としてのメインディスプレイ１２と、サブディスプレイ１３と、ヘッドアップディスプレイ装置（以下、ＨＵＤという）１４と、タッチパッド１５と、車内カメラ１６と、ＣＡＮインターフェース１７とを基本的に有する。

また、制御回路部１１は、演算装置及び制御装置としてのＣＰＵ２１、並びにＣＰＵ２１が各種の演算処理を行うにあたってワーキングメモリとして使用されるＲＡＭ２２、制御用のプログラムのほか、後述の操作支援処理プログラム（図６参照）等が記録されたＲＯＭ２３、ＲＯＭ２３から読み出したプログラムを記憶するフラッシュメモリ２４等の内部記憶装置を備えている。また、制御回路部１１にはメインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４、タッチパッド１５、車内カメラ１６が接続されており、後述のようにタッチパッド１５で受け付けた操作や車内カメラ１６の検出結果に基づいて各画像表示装置の表示制御を行う。

尚、制御回路部１１はナビゲーション装置等の車載器が備える制御回路部であっても良いし、車両の駆動制御用の制御回路部であっても良いし、それらと独立した制御回路部であっても良い。また、制御回路部１１は、処理アルゴリズムとしての各種手段を有する。例えば、視線位置取得手段は、ユーザの視線位置を取得する。操作対象選択手段は、タッチパッド１５において操作対象を操作する為のユーザの操作を受け付けた場合に、受け付けたユーザの操作態様と視線位置とに基づいて、複数の操作対象の内から操作の対象となる操作対象を選択する。対象操作手段は、タッチパッド１５において受け付けたユーザの操作に基づいて、操作対象選択手段により選択された操作対象を操作する。

また、メインディスプレイ１２及びサブディスプレイ１３は、車両内に設置された画像表示装置であり、例えば液晶ディスプレイや有機ＥＬディスプレイが用いられる。特に第１実施形態では、図２に示すようにメインディスプレイ１２は車両のインストルメントパネル２５の中央付近に配置され、サブディスプレイ１３は運転席に対向する位置に配置される。そして、運転席や助手席に対向する面に画像を表示する画像表示領域をそれぞれ備える。

一方、ＨＵＤ１４は、車両のダッシュボード内部に設置されており、内部にプロジェクタやプロジェクタからの映像が投射されるスクリーン等を有する。そして、スクリーンに投射された映像を、運転席の前方のフロントウィンドウに反射させて車両の乗員に視認させるように構成されている。そして、フロントウィンドウを反射して乗員がスクリーンに投射された映像を視認した場合に、乗員にはフロントウィンドウの位置ではなく、フロントウィンドウの先の遠方の画像表示範囲２６にスクリーンに投射された映像が虚像として視認される。即ち、画像表示範囲２６がＨＵＤ１４における画像の表示領域となる。

そして、メインディスプレイ１２及びサブディスプレイ１３の画像表示面やＨＵＤ１４の画像表示範囲２６に対しては、ユーザにより操作される操作対象と、車両の乗員に提供する各種情報を表示する。ここで、画像表示面に表示される操作対象は例えば矢印形状を有するポインタ、地図画像、表示画面の全体等である。後述のように第１実施形態の操作支援装置１では、ユーザの操作履歴に基づいて操作対象の操作の最適化を図る学習機能を有しており、学習結果として例えば、タッチパッド１５で受け付けたユーザの操作とユーザの視線位置とに基づいて操作対象に対する各種操作（移動、スクロール、複製、消去等）を行う。

特に操作対象の一つであるポインタについては、上記各画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の画像の表示領域に加えて、表示領域と連続する空間上の仮想領域内についても移動可能となっている。例えば、図３に示すようにメインディスプレイ１２の表示領域にポインタ３０がある場合において、ユーザがタッチパッド１５を操作してポインタ３０をサブディスプレイ１３のある右上方へと移動させると、ポインタ３０はメインディスプレイ１２からサブディスプレイ１３の間の仮想領域上を移動してサブディスプレイ１３の表示領域へと移動する。尚、仮想領域上にあるポインタ３０はユーザから視認することはできないが、ポインタ３０の位置を知らせるランプ等を配置しても良い。また、ポインタ３０が移動可能なのは、画像表示装置間だけではなく、その他の車載器（例えばナビゲーション装置１８、ＡＶ装置１９）やドアミラー等の各種パーツへと移動させることも可能である。

また、上記各画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の画像の表示領域には、ポインタ３０以外に例えば道路を含む地図画像、車速情報、障害物（例えば他車両）の接近情報、交通情報、操作案内、操作メニュー、ナビゲーション装置で設定されている出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。これらの情報は、各表示領域に対して選択的に表示され、ユーザの操作によって操作可能な操作対象となるものもある。

ここで、図４はメインディスプレイ１２の表示領域に表示される表示画面の一例を示した図である。例えば、図４では車両の走行中であってナビゲーション装置１８において案内経路が設定されている場合に表示される走行案内画面３１を示す。
図４に示すように、走行案内画面３１には、車両の現在位置周辺の地図画像３２と、地図上にマッチングされた車両の現在位置を示す自車位置マーク３３と、ナビゲーション装置１８に現在設定されている案内経路３４（案内経路が設定されている場合のみ表示）と、車両の現在の車速や障害物の接近情報等の情報を表示する情報ウィンドウ３５と、ナビゲーション装置１８やＡＶ装置１９において所定機能を実行させる為に選択される為の各種ボタン３６〜４０と、矢印形状のポインタ３０と、が表示される。そして、ユーザは走行案内画面３１を参照することによって、現在の車両周辺の施設情報や道路形状（案内経路が設定されている場合には案内経路を含む）等を把握することが可能となる。また、操作対象である

また、図４に示す走行案内画面３１においてユーザが操作可能な操作対象は、ポインタ３０と、地図画像３２と、走行案内画面３１の全体である。具体的には、ポインタ３０の移動、地図画像３２のスクロール、走行案内画面３１の消去、走行案内画面３１の他の画像表示装置への複製又は移動が可能となる。そして、後述のように第１実施形態の操作支援装置１では、ユーザの上記各操作対象の操作履歴に基づいて操作対象の操作の最適化を図る学習機能を有しており、学習結果として例えば、タッチパッド１５で受け付けたユーザの操作とユーザの視線位置とに基づいて操作する操作対象の選択、及び選択された操作対象の操作を行う。

例えば、ポインタ３０を移動させて例えば詳細ボタン３６を選択すると、地図の縮尺をより大きい縮尺に変更することが可能である。また、目的地セットボタン３７を選択すると、目的地の設定、変更、追加が可能である。また、設定画面ボタン３８を選択すると、ナビゲーション装置１８の設定画面を新たに表示させることが可能である。また、広域ボタン３９を選択すると、地図の縮尺をより小さい縮尺に変更することが可能である。また、ＡＶ切替ボタン４０を選択すると、オーディオ操作画面やテレビ画面を新たに表示させることが可能となる。

また、タッチパッド１５は、図２に示すように車両のハンドル５０の左側スポーク部分に配置され、ユーザのタッチ操作を受け付ける操作面を備えた操作入力装置である。図５は特にタッチパッド１５周辺を拡大した図である。

図５に示すように、ユーザはハンドル５０を支持した状態で、タッチ操作によりタッチパッド１５を操作可能に構成されている。尚、タッチ操作は、ユーザがタッチパッド１５を触れることによって行う各種操作であり、例えばタッチパッド１５のいずれかの地点にタッチするタッチオン操作、上記タッチ状態を解除するタッチオフ操作、ドラッグ操作、フリック操作等がある。そして、第１実施形態では上記タッチ操作により特に画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の画像の表示領域や仮想領域上に位置する操作対象（例えばポインタ３０、走行案内画面３１、地図画像３２）の操作を行う。その結果、例えば画像表示装置に表示されたアイコンやボタンの選択、地図画像のスクロール等が可能となる。

また、制御回路部１１は、後述のように所定の検出周期でタッチパッド１５に対してユーザがタッチしたタッチ座標をタッチパッド１５の座標系で検出する。尚、タッチ座標は、ユーザがタッチパッド１５の操作面に触れた（静電容量方式では静電容量が変化したことを触れたとみなす）タッチ地点の位置の座標である。また、検出周期はタッチパッド１５の種類によって異なるが、例えば２００Ｈｚ〜２ｋＨｚとなる。尚、タッチパッド１５としては静電容量方式以外の検出方式（例えば抵抗膜方式）を用いても良い。

また、車内カメラ１６は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両のインストルメントパネル２５の上面や車両の天井に取り付けられ、撮像方向を運転席に向けて設置される。そして、運転席に座った乗員であるユーザの顔を撮像する。また、制御回路部１１は、後述のように車内カメラ１６により撮像した撮像画像からユーザの目の位置（視線開始点）や視線方向を検出する。

そして、制御回路部１１は、車内カメラ１６によって検出された視線開始点や視線方向に基づいて、“ユーザの視線位置”を特定する。尚、“ユーザの視線位置”とは、ユーザの視線が位置する地点であり、ユーザが視認する対象物とユーザの視線（視軸）とが交わる地点とする。尚、ユーザの視線位置を検出する方法としては、他の方法を用いても良い。例えば眼球の画像から瞳孔の中心点と角膜反射点の中心点を抽出して、その二つの特徴点の相対位置からユーザの視線位置を検出しても良い。

また、ＣＡＮ（コントローラエリアネットワーク）インターフェース１７は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるＣＡＮに対して、データの入出力を行うインターフェースである。そして、操作支援装置１は、ＣＡＮを介して、各種車載器や車両機器の制御装置（例えば、ナビゲーション装置１８、ＡＶ装置１９、車両制御ＥＣＵ２０等）と相互通信可能に接続される。それによって、操作支援装置１は、ナビゲーション装置１８やＡＶ装置１９や車両制御ＥＣＵ２０等から取得した情報（例えば地図画像、テレビ画像、車速情報等）を車両の乗員に提供可能に構成する。

続いて、上記構成を有する第１実施形態に係る操作支援装置１においてＣＰＵ２１が実行する操作支援処理プログラムについて図６に基づき説明する。図６は第１実施形態に係る操作支援処理プログラムのフローチャートである。ここで、操作支援処理プログラムは、車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、タッチパッド１５で受け付けたユーザの操作やユーザの視線位置に基づいて、ポインタ等の操作対象に対する各種操作を行うプログラムである。尚、以下の図６にフローチャートで示されるプログラムは、制御回路部１１が備えているＲＡＭ２２、ＲＯＭ２３等に記憶されており、ＣＰＵ２１により実行される。

ここで、以下の第１実施形態乃至第４実施形態に係る操作支援装置１では、ユーザの過去の操作対象の操作履歴に基づいて操作対象の操作の最適化を図る学習機能（ＡＩ）を有している。例えば、ユーザのタッチパッド１５への操作に基づいて一旦行われた操作対象の操作を、その後にユーザがキャンセルした場合には、ユーザの意図しない操作が行われており、操作の最適化が必要であると判定する。この操作の最適化の一つの方法として、ユーザの視線位置を用いる方法がある。例えば、ユーザの操作履歴及びユーザの視線位置の履歴を記憶した結果、過去に特定の操作対象に対する同一の操作をユーザが複数回行っていて、ユーザの視線位置がいずれも同じ位置にある場合には、タッチパッド１５で受け付けたユーザの操作態様とユーザの視線位置とに基づいて操作対象の選択及び操作の内容を決定すれば操作の最適化を図ることが可能と推定できる。以下に説明する操作支援処理プログラムでは、上記学習機能によってユーザの操作態様とユーザの視線位置とに基づいて操作対象の選択及び操作の内容の決定を行う態様となった後において実行される処理プログラムである。

先ず、操作支援処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ２１は、タッチパッド１５から送信される検出信号に基づいて、所定の検出周期でタッチパッド１５に対してユーザがタッチしたタッチ座標をタッチパッド１５の座標系で検出する。尚、タッチ座標は、ユーザがタッチパッド１５の操作面に触れた（静電容量方式では静電容量が変化したことを触れたとみなす）タッチ地点の位置の座標である。また、検出周期はタッチパッド１５の種類によって異なるが、例えば２００Ｈｚ〜２ｋＨｚとなる。尚、タッチパッド１５としては静電容量方式以外の検出方式（例えば抵抗膜方式）を用いても良い。

次に、Ｓ２においてＣＰＵ２１は、前記Ｓ１で検出したタッチ座標が変位したか否かを判定する。尚、タッチ座標が変位する場合とは、タッチオンした状態でタッチ地点を移動させる操作（即ちドラッグ操作やフリック操作）が行われた場合がある。尚、第１実施形態ではドラッグ操作やフリック操作は、画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の表示領域や仮想領域上にある操作対象を操作する為のユーザ操作となる。ここで、ユーザにより操作される操作対象としては例えば図３に示すポインタ３０以外に、画像表示装置に表示される地図画像や画像表示装置に表示される表示画面の全体が含まれる。

そして、前記Ｓ１で検出したタッチ座標が変位したと判定された場合（Ｓ２：ＹＥＳ）には、Ｓ３へと移行する。それに対して、前記Ｓ１で検出したタッチ座標が変位していないと判定された場合（Ｓ２：ＮＯ）には、操作対象を移動させることなくＳ１へと戻る。

Ｓ３においてＣＰＵ２１は、車内カメラ１６の撮像画像に基づいて、運転者の視線開始点（目の位置）及び視線方向を検出する。車内カメラ１６は前記したように車両のインストルメントパネルや天井に設置され、撮像方向を運転席に向けて設置されており、撮像画像には運転者の顔が含まれることとなる。尚、視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。

続いて、Ｓ４においてＣＰＵ２１は、前記Ｓ３で検出されたユーザの視線開始点及び視線方向に基づいて、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた時点におけるユーザの視線位置を特定する。具体的には、図７に示すように、ＣＰＵ２１は視線開始点Ｐから視線方向αへと延長した直線と検出面５１との交点を視線位置Ｑとする。そして、視線位置Ｑは検出面５１上を座標系としたＸ座標及びＹ座標によって特定される。尚、第１実施形態では検出面５１は各画像表示装置の表示領域及び表示領域と連続する空間上の仮想領域（図３参照）とする。即ち、前記Ｓ４で特定された視線位置は、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた時点において、操作対象が移動可能な領域内で運転者が視認する地点に相当する。尚、視線開始点Ｐから視線方向αへと延長した直線と検出面５１が交差しない場合、即ちタッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた時点において、ユーザが操作対象の移動可能な領域外を視認している場合については、ユーザが視認しているその他の対象物に対する視線位置を特定しても良いし、視線位置については特定しない構成としても良い。

尚、前記Ｓ４では視線位置として特にユーザの注視点を特定しても良い。その場合には、ユーザの視線が所定時間以上留まった注視点を視線位置として特定する。

その後、Ｓ５においてＣＰＵ２１は、前記Ｓ４で特定されたユーザの視線位置に基づいて、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にあるか否か判定する。前述したように、操作対象の一つであるポインタ３０については、メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４の各画像表示装置の画像の表示領域間をユーザの操作に基づいて移動可能に構成されている（図３参照）。また、画像表示装置の表示領域ではなく表示領域と連続する空間上の仮想領域内に位置する場合もある。例えば、ポインタ３０がメインディスプレイ１２の表示領域上にある場合には、前記Ｓ５ではユーザの視線位置がメインディスプレイ１２の表示領域内にあるか否かが判定される。

そして、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にあると判定された場合（Ｓ５：ＹＥＳ）には、Ｓ６へと移行する。それに対して、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にないと判定された場合（Ｓ５：ＮＯ）には、Ｓ１１へと移行する。

Ｓ６においてＣＰＵ２１は、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた時点におけるポインタ３０からユーザの視線位置の方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致したか否か判定する。尚、操作方向とは、ユーザがタッチするタッチ座標が変位（移動）する方向であり、ドラッグ方向やフリック方向が該当する。また、前記Ｓ６の判定基準となる“一致”とは、完全に一致すること以外に所定角度以内の誤差がある場合についても含む。

そして、ポインタ３０からユーザの視線位置の方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致したと判定された場合（Ｓ６：ＹＥＳ）には、Ｓ７へと移行する。それに対して、ポインタ３０からユーザの視線位置の方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致しないと判定された場合（Ｓ６：ＮＯ）には、Ｓ８へと移行する。

Ｓ７においてＣＰＵ２１は、操作対象としてポインタ３０を選択し、タッチパッド１５で受け付けたユーザの操作方向へとポインタ３０の表示位置を移動させる。ここで、図８に示すようにポインタ３０と同一の画像表示装置（例えばメインディスプレイ１２）の表示領域に視線位置Ｑがあって、ポインタ３０を始点とした操作方向γに視線位置Ｑがある場合には、ユーザにポインタ３０を視線位置の方向、即ち操作方向であるγ方向へと移動させる意思があると推定できる。従って、ポインタ３０をγ方向へと移動させる。

一方、Ｓ８においてＣＰＵ２１は、前記Ｓ５で特定されたユーザの視線位置が特に画像表示装置に表示された表示画面の中央にあって、タッチパッド１５において受け付けたユーザの操作がフリック操作であったか否か判定する。尚、画像表示装置の表示領域の全体に表示画面が表示されていた場合には、表示画面の中央は表示領域の中央にも相当する。また、前記Ｓ８の判定基準となる“表示画面の中央”とは、完全な中心位置である必要はなく、中心位置から所定距離以内の周辺エリアについても含む。また、前記Ｓ８ではフリック操作以外にドラッグ操作についても含めても良い。

そして、ユーザの視線位置が特に画像表示装置に表示された表示画面の中央にあって、タッチパッド１５において受け付けたユーザの操作がフリック操作であると判定された場合（Ｓ８：ＹＥＳ）には、Ｓ９へと移行する。それに対して、ユーザの視線位置が画像表示装置に表示された表示画面の中央以外にある、或いはタッチパッド１５において受け付けたユーザの操作がフリック操作以外であると判定された場合（Ｓ８：ＮＯ）には、Ｓ１０へと移行する。

Ｓ９においてＣＰＵ２１は、操作対象としてポインタ３０やユーザの視線位置がある画像表示装置の表示領域に表示された表示画面の全体（ポインタは除く）を選択し、表示画面を消去する。ここで、図９に示すようにポインタ３０と同一の画像表示装置（例えばメインディスプレイ１２）の表示領域に視線位置Ｑがあって、且つ表示画面の中央に視線位置Ｑがあって、更にフリック操作が行われた場合には、ユーザに現在視認している表示画面を消去させる意思があると推定できる。従って、表示画面を消去する。尚、ポインタ３０については基本的に消去の対象からは除かれる。

一方、Ｓ１０においてＣＰＵ２１は、操作対象としてポインタ３０や視線位置がある画像表示装置の表示領域に表示された地図画像を選択し、地図画像をタッチパッド１５で受け付けたユーザの操作方向へとスクロールする。ここで、ポインタ３０と同一の画像表示装置（例えばメインディスプレイ１２）の表示表域に視線位置Ｑがあるが、前記Ｓ６及びＳ８のいずれの条件も満たさないフリック操作やドラッグ操作を受け付けた場合には、ユーザに現在視認している画像表示装置の表示領域に表示される地図画像をスクロールさせる意思があると推定できる。従って、地図画像のスクロールを行う。尚、地図画像が表示領域に表示されていない場合には、地図画像以外にスクロール可能となる表示物（例えば検索結果のリスト）をスクロールさせても良い。

一方、Ｓ１１においてＣＰＵ２１は、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた時点におけるポインタ３０からユーザの視線位置の方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致したか否か判定する。尚、操作方向とは、ユーザがタッチするタッチ座標が変位（移動）する方向であり、ドラッグ方向やフリック方向が該当する。また、前記Ｓ１１の判定基準となる“一致”とは、完全に一致すること以外に所定角度以内の誤差がある場合についても含む。

そして、ポインタ３０からユーザの視線位置の方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致したと判定された場合（Ｓ１１：ＹＥＳ）には、Ｓ１２へと移行する。それに対して、ポインタ３０からユーザの視線位置の方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致しないと判定された場合（Ｓ１１：ＮＯ）には、Ｓ１３へと移行する。

Ｓ１２においてＣＰＵ２１は、操作対象としてポインタ３０を選択し、ユーザの視線位置がある画像表示装置の表示領域へとポインタ３０の表示位置を移動させる。ここで、図１０に示すようにポインタ３０と異なる画像表示装置の表示領域に視線位置Ｑがあって（例えばポインタ３０はメインディスプレイ１２にあって、視線位置Ｑはサブディスプレイ１３）、ポインタ３０を始点とした操作方向γに視線位置Ｑがある場合には、ユーザにポインタ３０を視線位置のある画像表示装置の表示領域内へと移動させる意思があると推定できる。従って、ポインタ３０を視線位置のある画像表示装置の表示領域内へと移動させる。

一方、Ｓ１３においてＣＰＵ２１は、操作対象としてポインタ３０が位置する画像表示装置の表示領域に表示された表示画面の全体（ポインタは除く）を選択し、ユーザの視線位置がある画像表示装置の表示領域へと複製（又は移動）する。ここで、ポインタ３０と異なる画像表示装置の表示領域に視線位置がある場合（例えばポインタ３０はメインディスプレイ１２にあって、視線位置はサブディスプレイ１３）であって、前記Ｓ１１の条件を満たさないフリック操作やドラッグ操作を受け付けた場合には、ユーザに現在視認している画像表示装置の表示領域を用いて情報の視認や操作を行う意思があると推定できる。従って、視線位置を含む画像表示装置の表示領域へと表示画面を複製（又は移動）する。尚、ポインタに関しては複製や移動の対象からは基本的に除かれる。

但し、ユーザの視線位置がいずれの画像表示装置の表示領域内にもない場合、例えば、進行方向前方の環境を視認している場合などついては、ユーザが操作対象の操作を行うこと自体を意図していない（例えば誤ってタッチパッドに触れた）と推定できるので、上記Ｓ１２及びＳ１３のいずれの処理も行うことなく当該操作支援処理プログラムを終了する。

以上詳細に説明した通り、第１実施形態に係る操作支援装置１及び操作支援装置１で実行されるコンピュータプログラムでは、ユーザの視線位置を取得し（Ｓ３、Ｓ４）、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた場合に、受け付けたユーザの操作態様とユーザの視線位置とに基づいて、複数の操作対象の内から操作の対象となる操作対象を選択し、タッチパッド１５において受け付けたユーザの操作に基づいて、選択された操作対象を操作する（Ｓ７、Ｓ９、Ｓ１０、Ｓ１２、Ｓ１３）ので、複数の操作対象があった場合であっても、ユーザの意図する操作対象を適切に選択して操作することが可能となる。その結果、特に複数の操作対象が存在する場合において、操作性を向上させることができる。

〔第２実施形態〕
次に、第２実施形態に係る操作支援装置について図１１乃至図１３に基づいて説明する。尚、以下の説明において上記図１乃至図１０の第１実施形態に係る操作支援装置１の構成と同一符号は、前記第１実施形態に係る操作支援装置１等の構成と同一あるいは相当部分を示すものである。

この第２実施形態に係る操作支援装置の概略構成は、第１実施形態に係る操作支援装置１とほぼ同じ構成である。また、各種制御処理も第１実施形態に係る操作支援装置１とほぼ同じ制御処理である。
ただし、第１実施形態に係る操作支援装置１が、タッチパッド１５で受け付けるユーザの操作としてドラッグ操作及びフリック操作のみを考慮しているのに対し、第２実施形態に係る操作支援装置は、ドラッグ操作及びフリック操作以外のより詳細な操作について考慮して操作対象の操作を行う点で第１実施形態に係る操作支援装置１と異なっている。

以下に、第２実施形態に係る操作支援装置においてＣＰＵ２１が実行する操作支援処理プログラムについて図１１及び図１２に基づき説明する。図１１及び図１２は第２実施形態に係る操作支援処理プログラムのフローチャートである。

先ず、Ｓ２１においてＣＰＵ２１は、タッチパッド１５から送信される検出信号に基づいて、所定の検出周期でタッチパッド１５に対してユーザがタッチしたタッチ座標をタッチパッド１５の座標系で検出する。尚、タッチ座標は、ユーザがタッチパッド１５の操作面に触れた（静電容量方式では静電容量が変化したことを触れたとみなす）タッチ地点の位置の座標である。また、検出周期はタッチパッド１５の種類によって異なるが、例えば２００Ｈｚ〜２ｋＨｚとなる。尚、タッチパッド１５としては静電容量方式以外の検出方式（例えば抵抗膜方式）を用いても良い。

次に、Ｓ２２においてＣＰＵ２１は、前記Ｓ２１で検出したタッチ座標が変位したか否かを判定する。尚、タッチ座標が変位する場合とは、タッチオンした状態でタッチ地点を移動させる操作（即ちドラッグ操作やフリック操作）が行われた場合がある。尚、第２実施形態ではドラッグ操作やフリック操作は、画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の表示領域や仮想領域上にある操作対象を操作する為のユーザ操作となる。ここで、ユーザにより操作される操作対象としては例えば図３に示すポインタ３０以外に、画像表示装置に表示される地図画像や画像表示装置に表示される表示画面の全体が含まれる。

そして、前記Ｓ２１で検出したタッチ座標が変位したと判定された場合（Ｓ２２：ＹＥＳ）には、Ｓ２４へと移行する。それに対して、前記Ｓ２１で検出したタッチ座標が変位していないと判定された場合（Ｓ２２：ＮＯ）には、Ｓ２３へと移行する。

Ｓ２３においてＣＰＵ２１は、フラッシュメモリ２４からカウント値Ｎを読み出し、＋１加算する。その後、再びカウント値Ｎをフラッシュメモリ２４へと格納し、Ｓ２１へと戻る。尚、カウント値Ｎは、ユーザがタッチパッド１５にタッチした状態でタッチ位置を変位させずに同一地点を継続してタッチしている時間をカウントした値となる。カウント値Ｎはタッチオフした時点又は後述のようにタッチ座標が変位した時点で初期化される。

一方、Ｓ２４においてＣＰＵ２１は、車内カメラ１６の撮像画像に基づいて、運転者の視線開始点（目の位置）及び視線方向を検出する。車内カメラ１６は前記したように車両のインストルメントパネルや天井に設置され、撮像方向を運転席に向けて設置されており、撮像画像には運転者の顔が含まれることとなる。尚、視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。

続いて、Ｓ２５においてＣＰＵ２１は、前記Ｓ２４で検出されたユーザの視線開始点及び視線方向に基づいて、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた時点におけるユーザの視線位置を特定する。詳細についてはＳ４と同様であるので省略する。

その後、Ｓ２６においてＣＰＵ２１は、フラッシュメモリ２４からカウント値Ｎを読み出し、カウント値Ｎが閾値以上か否か判定する。尚、カウント値Ｎが閾値以上の場合とは、タッチパッド１５において受け付けたユーザの操作態様が、所定時間以上同一地点を継続してタッチした後に所定方向へとタッチ位置を移動させる操作であった場合が該当する。尚、閾値はタッチ座標の検出間隔等に基づいて適宜設定可能であるが、例えば“２０”とする。

そして、カウント値Ｎが閾値以上であると判定された場合（Ｓ２６：ＹＥＳ）、即ちタッチパッド１５において受け付けたユーザの操作態様が、所定時間以上同一地点を継続してタッチした後に所定方向へとタッチ位置を移動させる操作であった場合には、Ｓ２８へと移行する。それに対して、カウント値Ｎが閾値未満であると判定された場合（Ｓ２６：ＮＯ）、即ちタッチパッド１５において受け付けたユーザの操作態様が、通常のフリック操作やドラッグ操作であった場合には、Ｓ２７へと移行する。

Ｓ２７においてＣＰＵ２１は、フラッシュメモリ２４からカウント値Ｎを読み出し、初期化（Ｎ＝０）する。その後、Ｓ３３へと移行する。一方、Ｓ２８においてＣＰＵ２１は、同じくフラッシュメモリ２４からカウント値Ｎを読み出し、初期化（Ｎ＝０）する。その後、Ｓ２９へと移行する。

Ｓ２９においてＣＰＵ２１は、前記Ｓ２５で特定されたユーザの視線位置に基づいて、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にあるか否か判定する。前述したように、操作対象の一つであるポインタ３０については、メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４の各画像表示装置の画像の表示領域間をユーザの操作に基づいて移動可能に構成されている（図３参照）。また、画像表示装置の表示領域ではなく表示領域と連続する空間上の仮想領域内に位置する場合もある。例えば、ポインタ３０がメインディスプレイ１２の表示領域上にある場合には、前記Ｓ２９ではユーザの視線位置がメインディスプレイ１２の表示領域内にあるか否かが判定される。

そして、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にあると判定された場合（Ｓ２９：ＹＥＳ）には、Ｓ３４へと移行する。それに対して、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にないと判定された場合（Ｓ２９：ＮＯ）、即ちユーザがタッチパッド１５にタッチした状態でタッチ位置を変位させずに同一地点を所定時間以上継続してタッチした後にタッチ位置を移動する操作が行われ、且つユーザの視線位置がポインタ３０の表示された画像表示装置と異なる画像表示装置の表示領域にある場合には、Ｓ３０へと移行する。

Ｓ３０においてＣＰＵ２１は、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた時点におけるポインタ３０の位置する画像表示装置の表示領域から、ユーザの視線位置の位置する画像表示装置の表示領域への方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致したか否か判定する。尚、操作方向とは、ユーザがタッチするタッチ座標が変位（移動）する方向であり、ドラッグ方向やフリック方向が該当する。また、前記Ｓ３０の判定基準となる“一致”とは、完全に一致すること以外に所定角度以内の誤差がある場合についても含む。

そして、ポインタ３０の位置する画像表示装置の表示領域からユーザの視線位置の位置する画像表示装置の表示領域への方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致したと判定された場合（Ｓ３０：ＹＥＳ）には、Ｓ３１へと移行する。それに対して、ポインタ３０の位置する画像表示装置の表示領域からユーザの視線位置の位置する画像表示装置の表示領域への方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致しないと判定された場合（Ｓ３０：ＮＯ）には、Ｓ３２へと移行する。

Ｓ３１においてＣＰＵ２１は、操作対象としてポインタ３０が位置する画像表示装置の表示領域に表示された表示画面の全体（ポインタは除く）を選択し、ユーザの視線位置がある画像表示装置の表示領域へと複製（又は移動）する。ここで、図１３に示すようにポインタ３０と異なる画像表示装置の表示領域に視線位置Ｑがあって（例えばポインタ３０はメインディスプレイ１２にあって、視線位置Ｑはサブディスプレイ１３）、一定時間タッチ位置を保持した後のフリック操作やドラッグ操作を受け付け、且つポインタ３０を含む画像表示装置の表示領域を始点とした操作方向γに視線位置Ｑを含む画像表示装置の表示領域がある場合には、ユーザに現在視認している画像表示装置の表示領域を用いて情報の視認や操作を行う意思があると推定できる。従って、視線位置Ｑを含む画像表示装置の表示領域へと表示画面６１を複製（又は移動）する。尚、ポインタに関しては複製や移動の対象からは基本的に除かれる。

一方、Ｓ３２においてＣＰＵ２１は、操作対象としてユーザの視線位置がある画像表示装置の表示領域に表示された表示画面の全体（ポインタは除く）を選択し、表示画面を消去する。ここで、ポインタ３０と異なる画像表示装置の表示領域に視線位置Ｑがあって（例えばポインタ３０はメインディスプレイ１２にあって、視線位置Ｑはサブディスプレイ１３）、前記Ｓ３０の条件も満たさない一定時間タッチ位置を保持したフリック操作やドラッグ操作を受け付けた場合には、ユーザに現在視認している画像表示装置の表示領域を用いて情報の視認や操作を行う意思がないと推定できる。従って、視線位置を含む画像表示装置の表示領域に表示された表示画面を消去する。

但し、ユーザの視線位置がいずれの画像表示装置の表示領域内にもない場合、例えば、進行方向前方の環境を視認している場合などついては、ユーザが操作対象の操作を行うこと自体を意図していない（例えば誤ってタッチパッドに触れた）と推定できるので、上記Ｓ３１及びＳ３２のいずれの処理も行うことなく当該操作支援処理プログラムを終了する。

また、Ｓ３３〜Ｓ４０の処理については、第１実施形態に係る操作支援処理プログラムのＳ５〜Ｓ１３の処理と同様であるので説明は省略する。

以上詳細に説明した通り、第２実施形態に係る操作支援装置及び操作支援装置で実行されるコンピュータプログラムでは、タッチパッド１５において受け付けたユーザの操作態様が、所定時間以上同一地点を継続してタッチした後に所定方向へとタッチ位置を移動させる操作であって、ポインタとユーザの視線位置が異なる画像表示装置の表示領域にあり、且つポインタのある画像表示装置からユーザの視線位置のある画像表示装置への方向と操作方向が一致する場合に、表示画面の移動又は複製を行うので（Ｓ３１）、ユーザに現在視認している画像表示装置の表示領域を用いて情報の視認や操作を行う意思がある場合において、ユーザの意思を反映して適切に表示画面の移動または複製を行うことが可能となる。

〔第３実施形態〕
次に、第３実施形態に係る操作支援装置について図１４に基づいて説明する。尚、以下の説明において上記図１乃至図１０の第１実施形態に係る操作支援装置１の構成と同一符号は、前記第１実施形態に係る操作支援装置１等の構成と同一あるいは相当部分を示すものである。

この第３実施形態に係る操作支援装置の概略構成は、第１実施形態に係る操作支援装置１とほぼ同じ構成である。また、各種制御処理も第１実施形態に係る操作支援装置１とほぼ同じ制御処理である。
ただし、第１実施形態に係る操作支援装置１が、操作対象を操作する為のユーザ操作を受け付けた時点でのユーザの視線位置のみを考慮しているのに対し、第３実施形態に係る操作支援装置は、操作対象を操作する為のユーザ操作を受け付ける時点前後のユーザの視線位置の変位についても考慮して操作対象の操作を行う点で第１実施形態に係る操作支援装置１と異なっている。

以下に、第３実施形態に係る操作支援装置においてＣＰＵ２１が実行する操作支援処理プログラムについて図１４に基づき説明する。図１４は第３実施形態に係る操作支援処理プログラムのフローチャートである。

先ず、Ｓ４１においてＣＰＵ２１は、タッチパッド１５から送信される検出信号に基づいて、所定の検出周期でタッチパッド１５に対してユーザがタッチしたタッチ座標をタッチパッド１５の座標系で検出する。尚、タッチ座標は、ユーザがタッチパッド１５の操作面に触れた（静電容量方式では静電容量が変化したことを触れたとみなす）タッチ地点の位置の座標である。また、検出周期はタッチパッド１５の種類によって異なるが、例えば２００Ｈｚ〜２ｋＨｚとなる。尚、タッチパッド１５としては静電容量方式以外の検出方式（例えば抵抗膜方式）を用いても良い。

次に、Ｓ４２においてＣＰＵ２１は、前記Ｓ２１で検出したタッチ座標が変位したか否かを判定する。尚、タッチ座標が変位する場合とは、タッチオンした状態でタッチ地点を移動させる操作（即ちドラッグ操作やフリック操作）が行われた場合がある。尚、第３実施形態ではドラッグ操作やフリック操作は、画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の表示領域や仮想領域上にある操作対象を操作する為のユーザ操作となる。ここで、ユーザにより操作される操作対象としては例えば図３に示すポインタ３０以外に、画像表示装置に表示される地図画像や画像表示装置に表示される表示画面の全体が含まれる。

そして、前記Ｓ４１で検出したタッチ座標が変位したと判定された場合（Ｓ４２：ＹＥＳ）には、Ｓ４９へと移行する。それに対して、前記Ｓ４１で検出したタッチ座標が変位していないと判定された場合（Ｓ４２：ＮＯ）には、Ｓ４３へと移行する。

Ｓ４３においてＣＰＵ２１は、車内カメラ１６の撮像画像に基づいて、運転者の視線開始点（目の位置）及び視線方向を検出する。車内カメラ１６は前記したように車両のインストルメントパネルや天井に設置され、撮像方向を運転席に向けて設置されており、撮像画像には運転者の顔が含まれることとなる。尚、視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。

続いて、Ｓ４４においてＣＰＵ２１は、前記Ｓ４３で検出されたユーザの視線開始点及び視線方向に基づいて、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた時点におけるユーザの視線位置を特定する。詳細についてはＳ４と同様であるので省略する。

次に、Ｓ４５においてＣＰＵ２１は、前記Ｓ４４で特定されたユーザの視線位置に基づいて、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にあるか否か判定する。前述したように、操作対象の一つであるポインタ３０については、メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４の各画像表示装置の画像の表示領域間をユーザの操作に基づいて移動可能に構成されている（図３参照）。また、画像表示装置の表示領域ではなく表示領域と連続する空間上の仮想領域内に位置する場合もある。例えば、ポインタ３０がメインディスプレイ１２の表示領域上にある場合には、前記Ｓ４５ではユーザの視線位置がメインディスプレイ１２の表示領域内にあるか否かが判定される。

そして、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にあると判定された場合（Ｓ４５：ＹＥＳ）には、Ｓ４６へと移行する。それに対して、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にないと判定された場合（Ｓ４５：ＮＯ）には、Ｓ４７へと移行する。

Ｓ４６においてＣＰＵ２１は、フラッシュメモリ２４からカウント値Ｍを読み出し、＋１加算する。その後、再びカウント値Ｍをフラッシュメモリ２４へと格納し、Ｓ４１へと戻る。尚、カウント値Ｍは、ユーザがタッチパッド１５にタッチした状態でタッチ位置を変位させずに同一地点を継続してタッチし、且つ視線位置がポインタと同じ画像表示装置の表示領域内に留まっている時間をカウントした値となる。カウント値Ｍはタッチオフした時点、又は後述のように視線位置やタッチ座標が変位した時点で初期化される。

一方、Ｓ４７においてＣＰＵ２１は、フラッシュメモリ２４からカウント値Ｍを読み出し、カウント値Ｍが閾値以上か否か判定する。尚、カウント値Ｍが閾値以上の場合とは、ユーザがタッチパッド１５にタッチした状態でタッチ位置を変位させずに同一地点を所定時間以上継続してタッチし、且つ視線位置がポインタと同じ画像表示装置の表示領域内に同じく所定時間以上留まった後に、ユーザの視線位置が他の画像表示装置の表示領域へと移動した場合が該当する。尚、閾値はタッチ座標の検出間隔や視線位置の検出間隔等に基づいて適宜設定可能であるが、例えば“２０”とする。

そして、カウント値Ｍが閾値以上であると判定された場合（Ｓ４７：ＹＥＳ）には、ユーザの視線位置が他の画像表示装置の表示領域へと移動した場合であってもカウント値Ｍを初期化せずにＳ４１へと戻る。一方、カウント値Ｍが閾値未満であると判定された場合（Ｓ４７：ＮＯ）には、Ｓ４８へと移行する。

Ｓ４８においてＣＰＵ２１は、フラッシュメモリ２４からカウント値Ｍを読み出し、初期化（Ｍ＝０）する。その後、Ｓ４１へと戻る。

一方、Ｓ４９及びＳ５０では、前記Ｓ４３及びＳ４４と同様に、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた時点におけるユーザの視線位置を特定する。

その後、Ｓ５１においてＣＰＵ２１は、フラッシュメモリ２４からカウント値Ｍを読み出し、カウント値Ｍが閾値以上か否か判定する。尚、カウント値Ｍが閾値以上の場合とは、ユーザがタッチパッド１５にタッチした状態でタッチ位置を変位させずに同一地点を所定時間以上継続してタッチした後にタッチ位置を移動する操作が行われ、且つ視線位置がポインタと同じ画像表示装置の表示領域内に同じく所定時間以上留まっている場合が該当する。尚、閾値はタッチ座標の検出間隔や視線位置の検出間隔等に基づいて適宜設定可能であるが、例えば“２０”とする。

そして、カウント値Ｍが閾値以上であると判定された場合（Ｓ５１：ＹＥＳ）、即ちユーザがタッチパッド１５にタッチした状態でタッチ位置を変位させずに同一地点を所定時間以上継続してタッチした後にタッチ位置を移動する操作が行われ、且つ視線位置がポインタと同じ画像表示装置の表示領域内に同じく所定時間以上留まっている場合には、Ｓ５３へと移行する。それに対して、カウント値Ｍが閾値未満であると判定された場合（Ｓ５１：ＮＯ）、即ちタッチパッド１５において受け付けたユーザの操作態様が、通常のフリック操作やドラッグ操作であった場合等には、Ｓ５２へと移行する。

Ｓ５２においてＣＰＵ２１は、フラッシュメモリ２４からカウント値Ｍを読み出し、初期化（Ｍ＝０）する。その後は、第２実施形態に係る操作支援処理プログラムのＳ３３〜Ｓ４０の処理と同様の処理を行う。一方、Ｓ５３においてＣＰＵ２１は、同じくフラッシュメモリ２４からカウント値Ｍを読み出し、初期化（Ｍ＝０）する。その後、Ｓ５４へと移行する。

Ｓ５４においてＣＰＵ２１は、前記Ｓ５０で特定されたユーザの視線位置に基づいて、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にあるか否か判定する。

そして、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にあると判定された場合（Ｓ５４：ＹＥＳ）には、以降において第２実施形態に係る操作支援処理プログラムのＳ３４〜Ｓ３８の処理と同様の処理を行う。それに対して、ユーザの視線位置がポインタ３０の表示された画像表示装置の表示領域内にないと判定された場合（Ｓ５４：ＮＯ）、即ちユーザがタッチパッド１５にタッチした状態でタッチ位置を変位させずに同一地点を所定時間以上継続してタッチした後にタッチ位置を移動する操作が行われ、且つ視線位置がポインタと同じ画像表示装置の表示領域内に同じく所定時間以上留まった後に、ユーザの視線位置が他の画像表示装置の表示領域へと移動した場合には、Ｓ５５へと移行する。

Ｓ５５においてＣＰＵ２１は、タッチパッド１５において操作対象を操作する為のユーザ操作を受け付けた時点におけるポインタ３０の位置する画像表示装置の表示領域から、ユーザの視線位置の位置する画像表示装置の表示領域への方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致したか否か判定する。尚、操作方向とは、ユーザがタッチするタッチ座標が変位（移動）する方向であり、ドラッグ方向やフリック方向が該当する。また、前記Ｓ５５の判定基準となる“一致”とは、完全に一致すること以外に所定角度以内の誤差がある場合についても含む。

そして、ポインタ３０の位置する画像表示装置の表示領域からユーザの視線位置の位置する画像表示装置の表示領域への方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致したと判定された場合（Ｓ５５：ＹＥＳ）には、Ｓ５６へと移行する。それに対して、ポインタ３０の位置する画像表示装置の表示領域からユーザの視線位置の位置する画像表示装置の表示領域への方向と、タッチパッド１５において受け付けたユーザの操作方向とが一致しないと判定された場合（Ｓ５５：ＮＯ）には、Ｓ５７へと移行する。

Ｓ５６においてＣＰＵ２１は、操作対象としてポインタ３０が位置する画像表示装置の表示領域に表示された表示画面の全体（ポインタは除く）を選択し、ユーザの視線位置がある画像表示装置の表示領域へと複製（又は移動）する。詳細についてはＳ３１と同様の処理であるので説明は省略する。

一方、Ｓ５７においてＣＰＵ２１は、操作対象としてユーザの視線位置がある画像表示装置の表示領域に表示された表示画面の全体（ポインタは除く）を選択し、表示画面を消去する。詳細についてはＳ３２と同様の処理であるので説明は省略する。

但し、ユーザの視線位置がいずれの画像表示装置の表示領域内にもない場合、例えば、進行方向前方の環境を視認している場合などついては、ユーザが操作対象の操作を行うこと自体を意図していない（例えば誤ってタッチパッドに触れた）と推定できるので、上記Ｓ５６及びＳ５７のいずれの処理も行うことなく当該操作支援処理プログラムを終了する。

以上詳細に説明した通り、第３実施形態に係る操作支援装置及び操作支援装置で実行されるコンピュータプログラムでは、タッチパッド１５において受け付けたユーザの操作態様が、所定時間以上同一地点を継続してタッチした後に所定方向へとタッチ位置を移動させる操作であって、ユーザの視線位置がポインタ３０のある画像表示装置の表示領域内に所定時間以上留まった後に他の画像表示装置の表示領域内に移動し、且つポインタのある画像表示装置から移動後のユーザの視線位置のある画像表示装置への方向と操作方向が一致する場合に、表示画面の移動又は複製を行うので（Ｓ５６）、ユーザに現在視認している画像表示装置の表示領域を用いて情報の視認や操作を行う意思がある場合において、ユーザの意思を反映して適切に表示画面の移動または複製を行うことが可能となる。

〔第４実施形態〕
次に、第４実施形態に係る操作支援装置について図１５及び図１６に基づいて説明する。尚、以下の説明において上記図１乃至図１０の第１実施形態に係る操作支援装置１の構成と同一符号は、前記第１実施形態に係る操作支援装置１等の構成と同一あるいは相当部分を示すものである。

この第４実施形態に係る操作支援装置の概略構成は、第１実施形態に係る操作支援装置１とほぼ同じ構成である。また、各種制御処理も第１実施形態に係る操作支援装置１とほぼ同じ制御処理である。
ただし、第１実施形態に係る操作支援装置１が、ポインタ３０が位置する画像表示装置の表示領域に表示された表示画面を、視線位置を含む画像表示装置の表示領域へと複製（又は移動）する場合に、ポインタについては複製や移動の対象から除かれていたのに対し、第４実施形態に係る操作支援装置は、表示画面の複製や移動に対応してポインタを移動させる点で第１実施形態に係る操作支援装置１と異なっている。

以下に、第４実施形態に係る操作支援装置においてＣＰＵ２１が実行する操作支援処理プログラムについて図１５に基づき説明する。図１５は第４実施形態に係る操作支援処理プログラムのフローチャートである。尚、図１５は特に前述した第３実施形態に係る操作支援処理プログラムのフローチャートをベースにして相違部分のみを記載したものである。

具体的には、前記Ｓ４０又はＳ５６においてＣＰＵ２１は、操作対象としてポインタ３０が位置する画像表示装置の表示領域に表示された表示画面の全体（ポインタは除く）を選択し、ユーザの視線位置がある画像表示装置の表示領域へと複製（又は移動）する。その後、Ｓ６１においてＣＰＵ２１は、ポインタ３０についても視線位置のある画像表示装置の表示領域へと移動する。ここで、図１６に示すようにポインタ３０と異なる画像表示装置の表示領域に視線位置Ｑがあって（例えばポインタ３０はメインディスプレイ１２にあって、視線位置Ｑはサブディスプレイ１３）、一定時間タッチ位置を保持した後のフリック操作やドラッグ操作を受け付け、且つポインタ３０を含む画像表示装置の表示領域を始点とした操作方向γに視線位置Ｑを含む画像表示装置の表示領域がある場合には、ユーザに現在視認している画像表示装置の表示領域を用いて情報の視認や操作を行う意思があると推定できる。従って、視線位置Ｑを含む画像表示装置の表示領域へと表示画面６１を複製（又は移動）する。更に、ユーザがその後に視線位置Ｑを含む画像表示装置の表示領域において操作を行うと考えられるので、ポインタ３０についてもユーザの利便性を考慮して視線位置Ｑを含む画像表示装置の表示領域へと移動させる。

以上詳細に説明した通り、第４実施形態に係る操作支援装置及び操作支援装置で実行されるコンピュータプログラムでは、ポインタ３０が位置する画像表示装置の表示領域に表示された表示画面を、視線位置を含む画像表示装置の表示領域へと複製又は移動する場合に、ポインタ３０についても視線位置を含む画像表示装置の表示領域へと移動させるので、ユーザはその後にポインタ３０を大きく移動させることなくポインタ３０を用いて各種操作を行うことができ、ユーザの利便性を向上させることが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第１実施形態乃至第４実施形態では、操作対象を操作する為のユーザ操作を受け付ける手段としてタッチパッド１５を用いているが、ディスプレイの前面に配置されたタッチパネル、マウス、十字キー、タブレット等を用いても良い。

また、第１実施形態乃至第４実施形態では、ユーザにより操作される操作対象としては例えば図４に示すポインタ３０、地図画像３２、表示画面の全体としているが、その他を操作対象に含めても良い。例えば、リスト、ウィンドウ、スクロールバー等についても該当する。

また、第１実施形態乃至第４実施形態では、ユーザの視線位置としてユーザが視認する対象物（例えば画像表示装置の表示領域）とユーザの視線（視軸）とが交わる地点を検出している（図７参照）が、必ずしも上記地点を検出する必要はなくユーザの視線位置を特定し得るものであれば他の情報をユーザの視線位置をして検出しても良い。例えば、ユーザの目元の画像等がある。更に、ユーザの視線位置を用いて操作対象の操作の最適化を図る場合においては、具体的なユーザの視線位置を検出しなくとも操作対象の操作を行っている間のユーザの視線位置に特徴があると判定した場合においては、ユーザの視線位置を用いて操作対象の操作の最適化を図ったとみなす。

また、前記Ｓ１３、Ｓ３１、Ｓ４０、Ｓ５６では、ポインタ３０が位置する画像表示装置の表示領域に表示された表示画面の全体を選択し、ユーザの視線位置がある画像表示装置の表示領域へと複製又は移動する操作を行うこととしているが、複製又は移動の対象となるのはポインタ３０が位置する画像表示装置以外の画像表示装置の表示領域に表示された表示画面であっても良い。更に、画像表示の複製または移動ではなく、特定のアプリケーションプログラムの実行や機能の実行によって、表示画面を新たにユーザの視線位置がある画像表示装置の表示領域へと表示させる操作を行っても良い。

また、第１実施形態乃至第４実施形態では、操作対象を操作する為のユーザ操作として、特にユーザのタッチ位置を変位させるドラッグ操作及びフリック操作を対象としているが、それ以外の操作についても対象とすることも可能である。例えば、決定操作（ダブルタップ操作）についても対象とすることが可能である。その場合には、例えばユーザの視線位置が特定の対象物（例えば画面上のアイコン等）上に位置する状態で決定操作が行われた場合に、ポインタが現在位置する対象物ではなく、ユーザの視線位置にある対象物に対する決定操作を実行する。

また、第１実施形態乃至第４実施形態では、操作対象は画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の画像の表示領域に加えて、表示領域と連続する空間上の仮想領域内についても移動可能としているが、画像表示装置の画像の表示領域内のみを移動可能にしても良い。

また、第１実施形態乃至第４実施形態では、操作対象を表示する画像表示装置を車両のインストルメントパネル２５に配置されるメインディスプレイ１２、サブディスプレイ１３及びＨＵＤ１４としているが、各画像表示装置の設置場所は車両の乗員から視認可能な位置であればどのような位置に設置しても良い。更に、画像表示装置は車両に必ずしも固定した車載器である必要は無く、ユーザが持ち運び可能に構成しても良い。また、ナビゲーション装置が備える画像表示装置であっても良い。

また、本発明はナビゲーション装置以外に、表示画面に表示された操作対象を移動させる機能を有する各種装置に対して適用することが可能である。例えば、スマートフォン、パーソナルコンピュータ、ＡＴＭ、券売機等に対しても適用することが可能となる。

また、本発明に係る操作支援装置を具体化した実施例について上記に説明したが、操作支援装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
ユーザの操作を受け付ける操作入力装置（１５）と、前記操作入力装置において受け付けたユーザの操作により操作可能な複数の操作対象（３０、３１、３２）と、を備えた操作支援装置（１）において、ユーザの視線位置を取得する視線位置取得手段（２１）と、前記操作入力装置において前記操作対象を操作する為のユーザの操作を受け付けた場合に、受け付けたユーザの操作態様と前記視線位置とに基づいて、前記複数の操作対象の内から操作の対象となる操作対象を選択する操作対象選択手段（２１）と、前記操作入力装置において受け付けたユーザの操作に基づいて、前記操作対象選択手段により選択された前記操作対象を操作する対象操作手段（２１）と、を有する。
上記構成を有する操作支援装置によれば、操作入力装置で受け付けたユーザの操作の操作態様とユーザの視線位置とに基づいて操作する操作対象を選択するので、複数の操作対象があった場合であっても、ユーザの意図する操作対象を適切に選択して操作することが可能となる。その結果、特に複数の操作対象が存在する場合において、操作性を向上させることができる。

また、第２の構成は以下のとおりである。
前記操作入力装置（１５）において前記操作対象（３０、３１、３２）を操作する為のユーザの操作を受け付けた場合に、受け付けたユーザの操作態様と前記視線位置とに基づいて、前記操作対象の操作内容を決定する操作内容決定手段（２１）を有し、前記対象操作手段は、前記操作内容決定手段により決定された内容で前記操作対象を操作する。
上記構成を有する操作支援装置によれば、操作入力装置で受け付けたユーザの操作の操作態様とユーザの視線位置とに基づいて操作対象の操作内容を決定するので、複数の操作対象があった場合であっても、ユーザの意図する操作内容で操作対象を適切に操作することが可能となる。その結果、特に複数の操作対象が存在する場合において、操作性を向上させることができる。

また、第３の構成は以下のとおりである。
前記複数の操作対象（３０、３１、３２）には、画像表示装置（１２、１３、１４）の表示領域を移動するポインタ（３０）を含み、前記操作内容決定手段（２１）は、前記操作入力装置（１５）において受け付けたユーザの操作態様が所定方向へとタッチ位置を移動させる操作であった場合であって、前記表示領域内で且つ前記ポインタの位置に対して前記所定方向に前記視線位置がある場合に、前記操作対象の操作内容として前記ポインタの移動を決定する。
上記構成を有する操作支援装置によれば、ユーザにポインタを視線位置の方向、即ち操作方向へと移動させる意思がある場合において、ユーザの意思を反映して適切にポインタを移動させることが可能となる。

また、第４の構成は以下のとおりである。
前記複数の操作対象（３０、３１、３２）には、画像表示装置（１２、１３、１４）の表示領域及び表示領域と連続する空間上の仮想領域内を移動するポインタ（３０）を含み、前記操作内容決定手段（２１）は、前記操作入力装置において受け付けたユーザの操作態様が所定方向へとタッチ位置を移動させる操作であった場合であって、前記ポインタの位置に対して前記所定方向に前記視線位置がある場合に、前記操作対象の操作内容として前記ポインタの移動を決定する。
上記構成を有する操作支援装置によれば、一の画像表示装置の表示領域上を移動するポインタに加えて、複数の画像表示装置の表示領域間を移動可能なポインタについて、ポインタの移動をより容易に行わせるとともに、操作性についても向上させることが可能となる。

また、第５の構成は以下のとおりである。
前記複数の操作対象（３０、３１、３２）には、画像表示装置（１２、１３、１４）に表示された表示画面（３１）を含み、前記操作内容決定手段（２１）は、前記操作入力装置（１５）において受け付けたユーザの操作態様が所定方向へとタッチ位置を移動させる操作であった場合であって、前記表示画面の中央に前記視線位置がある場合に、前記操作対象の操作内容として前記表示画面の消去を決定する。
上記構成を有する操作支援装置によれば、ユーザに現在視認している表示画面を消去させる意思がある場合において、ユーザの意思を反映して適切に表示画面の消去を行うことが可能となる。

また、第６の構成は以下のとおりである。
前記複数の操作対象（３０、３１、３２）には、複数の画像表示装置（１２、１３、１４）の内、第１の画像表示装置に表示された表示画面（３１）を含み、前記操作内容決定手段（２１）は、前記操作入力装置（１５）において受け付けたユーザの操作態様が、所定時間以上同一地点を継続してタッチした後に所定方向へとタッチ位置を移動させる操作であった場合であって、前記第１の画像表示装置と異なる第２の画像表示装置の表示領域内に前記視線位置があって、前記所定方向が前記第１の画像表示装置から前記第２の画像表示装置への方向と一致する場合に、前記操作対象の操作内容として前記表示画面の前記第２の画像表示装置への移動又は複製を決定する。
上記構成を有する操作支援装置によれば、ユーザに現在視認している画像表示装置の表示領域を用いて情報の視認や操作を行う意思がある場合において、ユーザの意思を反映して適切に表示画面の移動または複製を行うことが可能となる。

また、第７の構成は以下のとおりである。
前記複数の操作対象（３０、３１、３２）には、複数の画像表示装置（１２、１３、１４）の内、第１の画像表示装置に表示された表示画面（３１）を含み、前記操作内容決定手段（２１）は、前記操作入力装置（１５）において受け付けたユーザの操作態様が、所定時間以上同一地点を継続してタッチした後に所定方向へとタッチ位置を移動させる操作であった場合であって、前記視線位置が前記第１の画像表示装置の表示領域内に所定時間以上留まった後に前記第１の画像表示装置と異なる第２の画像表示装置の表示領域内に移動し、且つ前記所定方向が前記第１の画像表示装置から前記第２の画像表示装置への方向と一致する場合に、前記操作対象の操作内容として前記表示画面の前記第２の画像表示装置への移動又は複製を決定する。
上記構成を有する操作支援装置によれば、ユーザに現在視認している画像表示装置の表示領域を用いて情報の視認や操作を行う意思がある場合において、ユーザの意思を反映して適切に表示画面の移動または複製を行うことが可能となる。

また、第８の構成は以下のとおりである。
前記対象操作手段（２１）は、前記表示画面（３１）の前記第２の画像表示装置への移動又は複製を行う場合に、前記第１の画像表示装置の表示領域に表示されていたポインタ（３０）を前記第２の画像表示装置の表示領域へと移動する。
上記構成を有する操作支援装置によれば、ユーザはその後にポインタを大きく移動させることなくポインタを用いて各種操作を行うことができ、ユーザの利便性を向上させることが可能となる。

１ 操作支援装置
１１ 制御回路部
１２ メインディスプレイ
１３ サブディスプレイ
１４ ＨＵＤ
１５ タッチパッド
１６ 車内カメラ
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
２４ フラッシュメモリ
３０ ポインタ
３１ 走行案内画面
３２ 地図画像

Claims (9)

1. ユーザの操作を受け付ける操作入力装置と、前記操作入力装置において受け付けたユーザの操作により操作可能な複数の操作対象と、を備えた操作支援装置において、
   ユーザの視線位置を取得する視線位置取得手段と、
   前記操作入力装置において前記操作対象を操作する為のユーザの操作を受け付けた場合に、受け付けたユーザの操作態様と前記視線位置とに基づいて、前記複数の操作対象の内から操作の対象となる操作対象を選択する操作対象選択手段と、
   前記操作入力装置において受け付けたユーザの操作に基づいて、前記操作対象選択手段により選択された前記操作対象を操作する対象操作手段と、を有する操作支援装置。
2. 前記操作入力装置において前記操作対象を操作する為のユーザの操作を受け付けた場合に、受け付けたユーザの操作態様と前記視線位置とに基づいて、前記操作対象の操作内容を決定する操作内容決定手段を有し、
   前記対象操作手段は、前記操作内容決定手段により決定された内容で前記操作対象を操作する請求項１に記載の操作支援装置。
3. 前記複数の操作対象には、画像表示装置の表示領域を移動するポインタを含み、
   前記操作内容決定手段は、
   前記操作入力装置において受け付けたユーザの操作態様が所定方向へとタッチ位置を移動させる操作であった場合であって、前記表示領域内で且つ前記ポインタの位置に対して前記所定方向に前記視線位置がある場合に、前記操作対象の操作内容として前記ポインタの移動を決定する請求項２に記載の操作支援装置。
4. 前記複数の操作対象には、画像表示装置の表示領域及び表示領域と連続する空間上の仮想領域内を移動するポインタを含み、
   前記操作内容決定手段は、
   前記操作入力装置において受け付けたユーザの操作態様が所定方向へとタッチ位置を移動させる操作であった場合であって、前記ポインタの位置に対して前記所定方向に前記視線位置がある場合に、前記操作対象の操作内容として前記ポインタの移動を決定する請求項２に記載の操作支援装置。
5. 前記複数の操作対象には、画像表示装置に表示された表示画面を含み、
   前記操作内容決定手段は、
   前記操作入力装置において受け付けたユーザの操作態様が所定方向へとタッチ位置を移動させる操作であった場合であって、前記表示画面の中央に前記視線位置がある場合に、前記操作対象の操作内容として前記表示画面の消去を決定する請求項２に記載の操作支援装置。
6. 前記複数の操作対象には、複数の画像表示装置の内、第１の画像表示装置に表示された表示画面を含み、
   前記操作内容決定手段は、
   前記操作入力装置において受け付けたユーザの操作態様が、所定時間以上同一地点を継続してタッチした後に所定方向へとタッチ位置を移動させる操作であった場合であって、前記第１の画像表示装置と異なる第２の画像表示装置の表示領域内に前記視線位置があって、前記所定方向が前記第１の画像表示装置から前記第２の画像表示装置への方向と一致する場合に、前記操作対象の操作内容として前記表示画面の前記第２の画像表示装置への移動又は複製を決定する請求項２に記載の操作支援装置。
7. 前記複数の操作対象には、複数の画像表示装置の内、第１の画像表示装置に表示された表示画面を含み、
   前記操作内容決定手段は、
   前記操作入力装置において受け付けたユーザの操作態様が、所定時間以上同一地点を継続してタッチした後に所定方向へとタッチ位置を移動させる操作であった場合であって、前記視線位置が前記第１の画像表示装置の表示領域内に所定時間以上留まった後に前記第１の画像表示装置と異なる第２の画像表示装置の表示領域内に移動し、且つ前記所定方向が前記第１の画像表示装置から前記第２の画像表示装置への方向と一致する場合に、前記操作対象の操作内容として前記表示画面の前記第２の画像表示装置への移動又は複製を決定する請求項２に記載の操作支援装置。
8. 前記対象操作手段は、前記表示画面の前記第２の画像表示装置への移動又は複製を行う場合に、前記第１の画像表示装置の表示領域に表示されていたポインタを前記第２の画像表示装置の表示領域へと移動する請求項６又は請求項７に記載の操作支援装置。
9. ユーザの操作を受け付ける操作入力装置と、前記操作入力装置において受け付けたユーザの操作により操作可能な複数の操作対象と、を備えた操作支援装置を、
   ユーザの視線位置を取得する視線位置取得手段と、
   前記操作入力装置において前記操作対象を操作する為のユーザの操作を受け付けた場合に、受け付けたユーザの操作態様と前記視線位置とに基づいて、前記複数の操作対象の内から操作の対象となる操作対象を選択する操作対象選択手段と、
   前記操作入力装置において受け付けたユーザの操作に基づいて、前記操作対象選択手段により選択された前記操作対象を操作する対象操作手段と、
   して機能させる為のコンピュータプログラム。

Images