JP2018010583A - 操作支援装置及びコンピュータプログラム - Google Patents

Abstract

【課題】操作対象の移動をより容易に行わせるとともに、操作性についても向上させた操作支援装置及びコンピュータプログラムを提供する。【解決手段】画像表示装置の表示領域や表示領域と連続する空間上の仮想領域にある操作対象の位置を取得し、ユーザの視線位置を取得し、タッチパッド１５において操作対象を移動する為のユーザの操作を受け付けた場合に、操作対象の位置から視線位置までの離間距離Ｌを算出するとともに、タッチパッド１５において受け付けた操作量と離間距離Ｌとに基づく移動量で、操作対象を画像表示装置の表示領域や仮想領域で移動させるように構成する。【選択図】図９

Description

本発明は、操作対象の移動操作の支援を行う操作支援装置及びコンピュータプログラムに関する。

従来より、パーソナルコンピュータ、ＡＴＭ、券売機、ナビゲーション装置、スマートフォン等の機器に対してユーザが操作を行う際に、機器に対するユーザの操作を受け付ける手段として、様々なマンマシンインタフェースが用いられている。このようなマンマシンインタフェースとしては、例えばタッチパッド、タッチパネル、タブレット、マウス等がある。

更に、近年では機器に対する操作をより容易に行わせる為に、ユーザの視線を用いて操作を行わせることについても提案されている。例えば特開２０１５−１１８５３１号公報には、ユーザの視線方向に応じたディスプレイ上の位置を視線位置として検出し、視線位置に最も近くにある選択対象物の位置にカーソルを表示させる技術について提案されている。

特開２０１５−１１８５３１号公報（第６−７頁、図３）

ここで、上記特許文献１の技術では、ユーザの視線位置、即ちユーザが視認する画面上の位置にカーソル（操作対象）が移動することとなるが、視線位置のみでカーソルを移動させる操作方法は不慣れなユーザにとっては非常に困難を伴う操作となる。例えば、視線位置が僅かでも動くとカーソルも移動するので、選択対象が複数ある場合においてユーザが意図する選択対象物にカーソルを合わせることは難しい。また、隣接する他の選択対象へとカーソルを移動させる場合等の僅かな距離のみカーソルを移動させる操作についても非常に困難な操作となる。その結果、ユーザが目標とする操作を完了するまでに多数の操作を行う結果となっていた。

本発明は前記従来における問題点を解消するためになされたものであり、ユーザの操作とユーザの視線位置との組み合わせによって操作対象を移動させることにより、操作対象をユーザの目標とする位置までより少ない操作で迅速に移動させることが可能であり、操作対象の操作性について向上させた操作支援装置及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本発明に係る操作支援装置は、ユーザの操作を受け付ける操作入力装置と、前記操作入力装置において受け付けたユーザの操作により操作される操作対象と、を備えた操作支援装置において、前記操作対象の位置を取得する操作対象位置取得手段と、ユーザの視線位置を取得する視線位置取得手段と、前記操作入力装置において前記操作対象を移動する為のユーザの操作を受け付けた場合に、前記操作対象の位置から前記視線位置までの離間距離を算出する距離算出手段と、前記操作入力装置において受け付けた操作量と前記離間距離とに基づく移動量で、前記操作対象を移動させる操作対象移動手段と、を有する。
尚、「ユーザの視線位置」とは、ユーザの視線が位置する地点であり、ユーザが視認する対象物（例えば画像表示装置の表示領域）とユーザの視線（視軸）とが交わる地点とする。また、「ユーザの視線位置」としては、ユーザの視線位置そのものに加えて、ユーザの視線位置を特定し得るものであれば良く、ユーザの目元の画像等についても含む。

また、本発明に係るコンピュータプログラムは、操作対象の操作を支援するプログラムである。具体的には、ユーザの操作を受け付ける操作入力装置と、前記操作入力装置において受け付けたユーザの操作により操作される操作対象と、を備えた操作支援装置を、前記操作対象の位置を取得する操作対象位置取得手段と、ユーザの視線位置を取得する視線位置取得手段と、前記操作入力装置において前記操作対象を移動する為のユーザの操作を受け付けた場合に、前記操作対象の位置から前記視線位置までの離間距離を算出する距離算出手段と、前記操作入力装置において受け付けた操作量と前記離間距離とに基づく移動量で、前記操作対象を移動させる操作対象移動手段と、して機能させる。

前記構成を有する本発明に係る操作支援装置及びコンピュータプログラムによれば、ユーザの操作とユーザの視線位置との組み合わせによって操作対象を移動させることにより、操作対象をユーザの目標とする位置までより少ない操作で迅速に移動させることが可能であり、操作対象の操作性について向上させることが可能となる。例えば、ユーザの視線位置と操作対象の位置関係に基づいてユーザが操作対象をどの程度移動させる意図があるかを推定し、操作対象の移動量を変えるので、ユーザが操作対象を大きく動かしたいときには移動量を大きくし、僅かな距離のみ動かしたいときには移動量を小さくすることができる。

本実施形態に係る操作支援装置を示したブロック図である。 車両に配置された各種画像表示装置を示した図である。 ポインタの移動態様を示した図である。 メインディスプレイに表示される表示画面の一例を示した図である。 タッチパッド周辺を拡大して示した図である。 本実施形態に係る操作支援処理プログラムのフローチャートである。 操作対象の一例を示した図である。 視線位置の検出方法について説明した図である。 離間距離Ｌの算出方法について説明した図である。 ユーザの視線位置が操作対象から離れた位置にある場合の操作対象の移動態様を示した図である。 ユーザの視線位置が操作対象の近くにある場合の操作対象の移動態様を示した図である。

以下、本発明に係る操作支援装置を具体化した一実施形態について図面を参照しつつ詳細に説明する。ここで、本実施形態に係る操作支援装置１は、車両に設置され、車両に乗車する乗員であるユーザによる操作を受け付けるとともに、受け付けた操作に基づいて車両の制御や各種情報の提供を行う車載器である。尚、ナビゲーション装置やその他の車載器を操作支援装置１としても良い。

先ず、本実施形態に係る操作支援装置１の概略構成について図１を用いて説明する。図１は本実施形態に係る操作支援装置１を示したブロック図である。

図１に示すように本実施形態に係る操作支援装置１は、操作支援装置１の全体の制御を行う電子制御ユニットである制御回路部１１と、画像表示装置としてのメインディスプレイ１２と、サブディスプレイ１３と、ヘッドアップディスプレイ装置（以下、ＨＵＤという）１４と、タッチパッド１５と、車内カメラ１６と、ＣＡＮインターフェース１７とを基本的に有する。

また、制御回路部１１は、演算装置及び制御装置としてのＣＰＵ２１、並びにＣＰＵ２１が各種の演算処理を行うにあたってワーキングメモリとして使用されるＲＡＭ２２、制御用のプログラムのほか、後述の操作支援処理プログラム（図６参照）等が記録されたＲＯＭ２３、ＲＯＭ２３から読み出したプログラムを記憶するフラッシュメモリ２４等の内部記憶装置を備えている。また、制御回路部１１にはメインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４、タッチパッド１５、車内カメラ１６が接続されており、後述のようにタッチパッド１５で受け付けた操作や車内カメラ１６の検出結果に基づいて各画像表示装置の表示制御を行う。

尚、制御回路部１１はナビゲーション装置等の車載器が備える制御回路部であっても良いし、車両の駆動制御用の制御回路部であっても良いし、それらと独立した制御回路部であっても良い。また、制御回路部１１は、処理アルゴリズムとしての各種手段を有する。例えば、操作対象位置取得手段は、操作対象の位置を取得する。視線位置取得手段は、ユーザの視線位置を取得する。距離算出手段は、タッチパッド１５において操作対象を移動する為のユーザの操作を受け付けた場合に、操作対象の位置から視線位置までの離間距離を算出する。操作対象移動手段は、タッチパッド１５において受け付けた操作量と離間距離とに基づく移動量で、操作対象を移動させる。

また、メインディスプレイ１２及びサブディスプレイ１３は、車両内に設置された画像表示装置であり、例えば液晶ディスプレイや有機ＥＬディスプレイが用いられる。特に本実施形態では、図２に示すようにメインディスプレイ１２は車両のインストルメントパネル２５の中央付近に配置され、サブディスプレイ１３は運転席に対向する位置に配置される。そして、運転席や助手席に対向する面に画像を表示する画像表示領域をそれぞれ備える。

一方、ＨＵＤ１４は、車両のダッシュボード内部に設置されており、内部にプロジェクタやプロジェクタからの映像が投射されるスクリーン等を有する。そして、スクリーンに投射された映像を、運転席の前方のフロントウィンドウに反射させて車両の乗員に視認させるように構成されている。そして、フロントウィンドウを反射して乗員がスクリーンに投射された映像を視認した場合に、乗員にはフロントウィンドウの位置ではなく、フロントウィンドウの先の遠方の画像表示範囲２６にスクリーンに投射された映像が虚像として視認される。即ち、画像表示範囲２６がＨＵＤ１４における画像の表示領域となる。

そして、メインディスプレイ１２及びサブディスプレイ１３の画像表示面やＨＵＤ１４の画像表示範囲２６に対しては、ユーザにより操作される操作対象と、車両の乗員に提供する各種情報を表示する。ここで、画像表示面に表示される操作対象は例えば矢印形状を有するポインタ、カーソル等である。後述のように本実施形態の操作支援装置１では、ユーザの操作履歴に基づいて操作対象の操作の最適化を図る学習機能を有しており、学習結果として例えば、タッチパッド１５で受け付けたユーザの操作とユーザの視線位置とに基づいて操作対象を移動させることを行う。

特に操作対象の一つであるポインタについては、上記各画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の画像の表示領域に加えて、表示領域と連続する空間上の仮想領域内についても移動可能となっている。例えば、図３に示すようにメインディスプレイ１２の表示領域にポインタ３０がある場合において、ユーザがタッチパッド１５を操作してポインタ３０をサブディスプレイ１３のある右上方へと移動させると、ポインタ３０はメインディスプレイ１２からサブディスプレイ１３の間の仮想領域上を移動してサブディスプレイ１３の表示領域へと移動する。尚、仮想領域上にあるポインタ３０はユーザから視認することはできないが、ポインタ３０の位置を知らせるランプ等を配置しても良い。また、ポインタ３０が移動可能なのは、画像表示装置間だけではなく、その他の車載器（例えばナビゲーション装置１８、ＡＶ装置１９）やドアミラー等の各種パーツへと移動させることも可能である。

また、上記各画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の画像の表示領域には、ポインタ３０等の操作対象以外に、例えば道路を含む地図画像、車速情報、障害物（例えば他車両）の接近情報、交通情報、操作案内、操作メニュー、ナビゲーション装置で設定されている出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。これらの情報は、操作対象の操作に基づいて各表示領域に対して選択的に表示される。

ここで、図４はメインディスプレイ１２の表示領域に表示される表示画面の一例を示した図である。例えば、図４では車両の走行中であってナビゲーション装置１８において案内経路が設定されている場合に表示される走行案内画面３１を示す。
図４に示すように、走行案内画面３１には、車両の現在位置周辺の地図画像３２と、地図上にマッチングされた車両の現在位置を示す自車位置マーク３３と、ナビゲーション装置１８に現在設定されている案内経路３４（案内経路が設定されている場合のみ表示）と、車両の現在の車速や障害物の接近情報等の情報を表示する情報ウィンドウ３５と、ナビゲーション装置１８やＡＶ装置１９において所定機能を実行させる為に選択される為の各種ボタン３６〜４０と、操作対象である矢印形状のポインタ３０と、が表示される。そして、ユーザは走行案内画面３１を参照することによって、現在の車両周辺の施設情報や道路形状（案内経路が設定されている場合には案内経路を含む）等を把握することが可能となる。また、ポインタ３０を移動させて例えば詳細ボタン３６を選択すると、地図の縮尺をより大きい縮尺に変更することが可能である。また、目的地セットボタン３７を選択すると、目的地の設定、変更、追加が可能である。また、設定画面ボタン３８を選択すると、ナビゲーション装置１８の設定画面を新たに表示させることが可能である。また、広域ボタン３９を選択すると、地図の縮尺をより小さい縮尺に変更することが可能である。また、ＡＶ切替ボタン４０を選択すると、オーディオ操作画面やテレビ画面を新たに表示させることが可能となる。また、ユーザはポインタ３０が地図画像３２上にある状態でタッチパッド１５においてフリック操作やドラッグ操作を行うことによって、地図画像３２のスクロールを行うことが可能となる。そして、後述のように本実施形態の操作支援装置１では、ユーザのポインタ３０の操作履歴に基づいてポインタ３０の操作の最適化を図る学習機能を有しており、学習結果として例えば、タッチパッド１５で受け付けたユーザの操作とユーザの視線位置とに基づいてポインタ３０を移動させることを行う。

また、タッチパッド１５は、図２に示すように車両のハンドル５０の左側スポーク部分に配置され、ユーザのタッチ操作を受け付ける操作面を備えた操作入力装置である。図５は特にタッチパッド１５周辺を拡大した図である。

図５に示すように、ユーザはハンドル５０を支持した状態で、タッチ操作によりタッチパッド１５を操作可能に構成されている。尚、タッチ操作は、ユーザがタッチパッド１５を触れることによって行う各種操作であり、例えばタッチパッド１５のいずれかの地点にタッチするタッチオン操作、上記タッチ状態を解除するタッチオフ操作、ドラッグ操作、フリック操作等がある。そして、本実施形態では上記タッチ操作により特に画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の画像の表示領域や仮想領域上に位置する操作対象（例えばポインタ３０）の移動操作、操作対象を用いた選択操作、スクロール操作等を行う。その結果、例えば画像表示装置に表示されたアイコンやボタンの選択、地図画像のスクロール等が可能となる。

また、制御回路部１１は、後述のように所定の検出周期でタッチパッド１５に対してユーザがタッチしたタッチ座標をタッチパッド１５の座標系で検出する。尚、タッチ座標は、ユーザがタッチパッド１５の操作面に触れた（静電容量方式では静電容量が変化したことを触れたとみなす）タッチ地点の位置の座標である。また、検出周期はタッチパッド１５の種類によって異なるが、例えば２００Ｈｚ〜２ｋＨｚとなる。尚、タッチパッド１５としては静電容量方式以外の検出方式（例えば抵抗膜方式）を用いても良い。

また、車内カメラ１６は、例えばＣＣＤ等の固体撮像素子を用いたものであり、車両のインストルメントパネル２５の上面や車両の天井に取り付けられ、撮像方向を運転席に向けて設置される。そして、運転席に座った乗員であるユーザの顔を撮像する。また、制御回路部１１は、後述のように車内カメラ１６により撮像した撮像画像からユーザの目の位置（視線開始点）や視線方向を検出する。

そして、制御回路部１１は、車内カメラ１６によって検出された視線開始点や視線方向に基づいて、“ユーザの視線位置”を特定する。尚、“ユーザの視線位置”とは、ユーザの視線が位置する地点であり、ユーザが視認する対象物とユーザの視線（視軸）とが交わる地点とする。尚、ユーザの視線位置を検出する方法としては、他の方法を用いても良い。例えば眼球の画像から瞳孔の中心点と角膜反射点の中心点を抽出して、その二つの特徴点の相対位置からユーザの視線位置を検出しても良い。

また、ＣＡＮ（コントローラエリアネットワーク）インターフェース１７は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるＣＡＮに対して、データの入出力を行うインターフェースである。そして、操作支援装置１は、ＣＡＮを介して、各種車載器や車両機器の制御装置（例えば、ナビゲーション装置１８、ＡＶ装置１９、車両制御ＥＣＵ２０等）と相互通信可能に接続される。それによって、操作支援装置１は、ナビゲーション装置１８やＡＶ装置１９や車両制御ＥＣＵ２０等から取得した情報（例えば地図画像、テレビ画像、車速情報等）を車両の乗員に提供可能に構成する。

続いて、上記構成を有する本実施形態に係る操作支援装置１においてＣＰＵ２１が実行する操作支援処理プログラムについて図６に基づき説明する。図６は本実施形態に係る操作支援処理プログラムのフローチャートである。ここで、操作支援処理プログラムは、車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、タッチパッド１５で受け付けたユーザの操作やユーザの視線位置に基づいて、ポインタ等の操作対象に対する各種処理を行うプログラムである。尚、以下の図６にフローチャートで示されるプログラムは、制御回路部１１が備えているＲＡＭ２２、ＲＯＭ２３等に記憶されており、ＣＰＵ２１により実行される。

ここで、本実施形態に係る操作支援装置１では、ユーザの過去の操作対象の操作履歴に基づいて操作対象の操作の最適化を図る学習機能（ＡＩ）を有している。例えば、ユーザが最終的な目標操作（例えば画面上の特定のアイコンを操作対象であるポインタ３０で選択する）を完了するまでのタッチパッド１５の操作回数が所定回数以上となった場合には、最適化が必要であると判定し、操作の最適化を行う。この操作の最適化の一つの方法として、ユーザの視線位置を用いる方法がある。例えば、ユーザの操作履歴及びユーザの視線位置の履歴を記憶した結果、操作対象の移動操作を行っている間、ユーザの視線位置が操作対象によって最終的に選択するアイコン（操作対象を最終的に移動させたい目標位置）を視認している場合には、操作対象からユーザの視線位置までの離間距離によって操作対象の移動量を可変とすれば操作の最適化を図ることが可能と推定できる。以下に説明する操作支援処理プログラムでは、上記学習機能によって操作対象からユーザの視線位置までの離間距離によって操作対象の移動距離を可変とする態様となった後において実行される処理プログラムである。

先ず、操作支援処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ２１は、タッチパッド１５から送信される検出信号に基づいて、所定の検出周期でタッチパッド１５に対してユーザがタッチしたタッチ座標をタッチパッド１５の座標系で検出する。尚、タッチ座標は、ユーザがタッチパッド１５の操作面に触れた（静電容量方式では静電容量が変化したことを触れたとみなす）タッチ地点の位置の座標である。また、検出周期はタッチパッド１５の種類によって異なるが、例えば２００Ｈｚ〜２ｋＨｚとなる。尚、タッチパッド１５としては静電容量方式以外の検出方式（例えば抵抗膜方式）を用いても良い。

次に、Ｓ２においてＣＰＵ２１は、前記Ｓ１で検出したタッチ座標が変位したか否かを判定する。尚、タッチ座標が変位する場合とは、タッチオンした状態でタッチ地点を移動させる操作（即ちドラッグ操作やフリック操作）が行われた場合がある。尚、本実施形態ではドラッグ操作やフリック操作は、画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の表示領域や仮想領域上に位置する操作対象を移動させる操作となる。ここで、ユーザにより操作される操作対象としては例えば図３に示すポインタ３０以外に、画像表示装置に表示される表示物の内、ユーザの操作によって移動可能な各種表示物についても該当する。例えば、リスト、ウィンドウ、スクロールバー、地図画像等についても該当する。

そして、前記Ｓ１で検出したタッチ座標が変位したと判定された場合（Ｓ２：ＹＥＳ）には、Ｓ３へと移行する。それに対して、前記Ｓ１で検出したタッチ座標が変位していないと判定された場合（Ｓ２：ＮＯ）には、操作対象を移動させることなくＳ１へと戻る。

Ｓ３においてＣＰＵ２１は、タッチパッド１５において操作対象を移動する為のユーザの操作を受け付けた時点における操作対象の位置を取得する。また、操作対象の位置は例えば操作対象がメインディスプレイ１２の表示領域に表示されている場合には、メインディスプレイ１２の表示領域上を座標系としたＸ座標及びＹ座標によって特定される。一方、操作対象が空間上の仮想領域に位置する場合には、仮想領域上を座標系としたＸ座標及びＹ座標によって特定される。尚、操作対象が例えば矢印形状のポインタ３０である場合には図７に示すように矢印の先端位置Ａの座標によって操作対象の位置が特定される。尚、中心位置Ｂの座標としても良い。

次に、Ｓ４においてＣＰＵ２１は、車内カメラ１６の撮像画像に基づいて、運転者の視線開始点（目の位置）及び視線方向を検出する。車内カメラ１６は前記したように車両のインストルメントパネルや天井に設置され、撮像方向を運転席に向けて設置されており、撮像画像には運転者の顔が含まれることとなる。尚、視線開始点や視線方向の検出方法としては、例えば角膜反射法により計測された瞳孔の中心位置やプルキニエ像を用いて検出する方法がある。それらの方法は既に公知の技術であるので、詳細は省略する。

続いて、Ｓ５においてＣＰＵ２１は、前記Ｓ４で検出されたユーザの視線開始点及び視線方向に基づいて、タッチパッド１５において操作対象を移動する為のユーザの操作を受け付けた時点におけるユーザの視線位置を特定する。具体的には、図７に示すように、ＣＰＵ２１は視線開始点Ｐから視線方向αへと延長した直線と検出面５１との交点を視線位置Ｑとする。そして、視線位置Ｑは検出面５１上を座標系としたＸ座標及びＹ座標によって特定される。尚、本実施形態では検出面５１は各画像表示装置の表示領域及び表示領域と連続する空間上の仮想領域（図３参照）とする。即ち、前記Ｓ５で特定された視線位置は、タッチパッド１５において操作対象を移動する為のユーザの操作を受け付けた時点において、操作対象が移動可能な領域内で運転者が視認する地点に相当する。尚、視線開始点Ｐから視線方向αへと延長した直線と検出面５１が交差しない場合、即ちタッチパッド１５において操作対象を移動する為のユーザの操作を受け付けた時点において、ユーザが操作対象の移動可能な領域外を視認している場合については、ユーザが視認しているその他の対象物に対する視線位置を特定しても良いし、視線位置については特定しない構成としても良い。

尚、前記Ｓ５では視線位置として特にユーザの注視点を特定しても良い。その場合には、ユーザの視線が所定時間以上留まった注視点を視線位置として特定する。

Ｓ６においてＣＰＵ２１は、前記Ｓ５で特定されたユーザの視線位置からＳ３で取得した操作対象の位置までの距離（以下、離間距離Ｌという）を算出する。

尚、離間距離Ｌは、前記Ｓ５で特定されたユーザの視線位置からＳ３で取得した操作対象の位置までの直線距離としても良いが、本実施形態では特に操作対象の位置から視線位置へのベクトルを、操作対象の移動方向と該移動方向と交差する方向とに分解した場合における操作対象の移動方向の成分とする。

例えば、図９に示すようにメインディスプレイ１２に対して操作対象となるポインタ３０が表示され、視線位置Ｑが検出された場合であって、タッチパッド１５において受け付けたユーザの操作がγ方向へのドラッグ操作であった場合を例に挙げて説明する。操作対象であるポインタ３０の移動方向はタッチパッド１５で受け付けたドラッグ方向と一致するので、図９に示す場合には、ポインタ３０の移動方向はγ方向となる。そこで、操作対象の位置から視線位置へのベクトルを、γ方向とγ方向に交差するδ方向とに分解する。そして、γ方向の成分Ｘを離間距離Ｌとして算出する。

その後、Ｓ７においてＣＰＵ２１は、前記Ｓ６で算出された離間距離Ｌが所定距離以内か否かを判定する。尚、前記Ｓ７の判定基準となる所定距離は。例えば画像表示装置の表示領域のサイズ、運転席から画像表示装置までの距離、ユーザの視野角等に基づいて決定され、例えばメインディスプレイ１２からサブディスプレイ１３までの距離とする。

そして、離間距離Ｌが所定距離以内であると判定された場合（Ｓ７：ＹＥＳ）には、Ｓ８へと移行する。それに対して、離間距離Ｌが所定距離より長いと判定された場合（Ｓ７：ＮＯ）には、Ｓ１１へと移行する。

ここで、離間距離Ｌが所定距離より長い場合には、ユーザは操作対象の移動操作を行っているにもかかわらず操作対象の表示位置とは全く異なる位置を視認しており、ユーザに操作対象をどの位置へと移動させたいかについての明確な意思は無いと推定できる。従って、Ｓ１１では後述のようにユーザの視線位置については考慮せず、従来と同様にタッチパッド１５で受け付けた操作方向と操作量のみに基づいて操作対象を移動させる。

尚、特にタッチパッド１５で受け付けたユーザの操作に基づく操作対象の移動方向と逆方向にユーザの視線位置がある場合、即ち、図９において操作対象の位置から視線位置へのベクトルのγ方向の成分がマイナスである場合に関しても、Ｓ１１へと移行する。

一方、Ｓ８においてＣＰＵ２１は、前記Ｓ６で算出された離間距離Ｌから“係数α”を決定する。ここで、“係数α”はタッチパッド１５で受け付けた操作対象を移動する為のユーザの操作の操作量に対する操作対象の移動量の比率（単位操作量に対する操作対象の移動量）を示す係数である。そして、離間距離Ｌが大きくなるほど、係数αをより大きい値（即ち、同一操作量に対して操作対象が移動する移動量を大きくする）とする。

次に、Ｓ９においてＣＰＵ２１は、タッチパッド１５で受け付けた操作対象を移動する為のユーザの操作の操作量と係数αから、ポインタ３０の移動量を決定する。尚、操作量は特にユーザがタッチパッド１５においてドラッグ操作を行った場合にはドラッグした距離が相当し、フリック操作を行った場合にはタッチオフする際のタッチ地点の移動速度が相当する。そして、前記Ｓ９では、操作量に係数αを乗じた値を操作対象の移動量として決定する。従って、係数αが大きいほど同一操作量に対して操作対象が移動する移動量が大きくなる。

その後、Ｓ１０においてＣＰＵ２１は、メインディスプレイ１２に表示された操作対象を、タッチパッド１５で受け付けたユーザの操作方向（タッチパッド１５で受け付けたドラッグ方向又はフリック方向）に対応する移動方向へと、前記Ｓ９で決定した移動量だけ移動させる。その後、タッチ座標が継続して変位している場合（操作対象を移動させる操作が継続して行われている場合）にはＳ３へと戻り、現時点での操作対象の位置とユーザの視線位置とに基づいて操作対象の移動を継続して行う。従って、ユーザの視線位置から離れた位置にあった操作対象を視線位置の方向へと連続して移動させる場合には、操作対象が視線位置に近づくにつれて操作量に対する移動量の比率が徐々に小さくなる、即ちタッチ座標の変位が等速であっても操作対象の移動速度が徐々に遅くなる。

その結果、図１０に示すようにメインディスプレイ１２に表示された操作対象であるポインタ３０から離れた位置に視線位置Ｑがある状態で、ポインタ３０の移動操作を受け付けた場合には、従来に比べて同一操作量に対してポインタ３０を大きく動かすことが可能となる。即ち、図１０に示す状況では、ユーザに現在のポインタ３０の位置からユーザ視認している離れた位置へとポインタ３０を移動させたい意図があると推定できる。例えば図４に示す走行案内画面３１がメインディスプレイ１２に表示されている場合において、詳細ボタン３６上から離れた位置にある広域ボタン３９上へとポインタ３０を移動させる場合などが該当する。従って、ポインタ３０の移動量を大きくすることによって、ユーザが移動させたい位置まで少ない操作量で素早くポインタ３０を移動させることが可能となる。

一方、図１１に示すようにメインディスプレイ１２に表示された操作対象であるポインタ３０の近くに視線位置Ｑがある状態で、ポインタ３０の移動操作を受け付けた場合には、従来に比べて同一操作量に対してポインタ３０の移動量を少なくすることが可能となる。即ち、図１１に示す状況では、ユーザに現在のポインタ３０の近くの他の位置へとポインタ３０を移動させたい意図があると推定できる。例えば図４に示す走行案内画面３１がメインディスプレイ１２に表示されている場合において、詳細ボタン３６上から隣にある目的地セットボタン３７上へとポインタ３０を移動させる場合などが該当する。従って、ポインタ３０の移動量を小さくすることによって、ユーザが移動させたい位置へと正確にポインタ３０の位置を調整することが可能となる。

尚、特にタッチパッド１５で受け付けたユーザの操作に基づく操作対象の移動方向と逆方向にユーザの視線位置がある場合、即ち、図９において操作対象の位置から視線位置へのベクトルのγ方向の成分がマイナスである場合に関しては、ユーザが操作対象を移動させること自体を意図していない（例えば誤ってタッチパッドに触れた）と推定できるので、操作対象の移動を行わないようにしても良い。

一方、Ｓ１１においてＣＰＵ２１は、ユーザの視認位置は考慮せずにタッチパッド１５で受け付けた操作対象を移動する為のユーザの操作の操作量から、ポインタ３０の移動量を決定する。その後、操作対象をタッチパッド１５で受け付けたユーザの操作方向（タッチパッド１５で受け付けたドラッグ方向又はフリック方向）に対応する移動方向へと、前記Ｓ１１で決定した移動量だけ移動させる（Ｓ１０）。

以上詳細に説明した通り、本実施形態に係る操作支援装置１及び操作支援装置１で実行されるコンピュータプログラムでは、画像表示装置の表示領域や表示領域と連続する空間上の仮想領域にある操作対象の位置を取得し（Ｓ３）、ユーザの視線位置を取得し（Ｓ４、Ｓ５）、タッチパッド１５において操作対象を移動する為のユーザの操作を受け付けた場合に、操作対象の位置から視線位置までの離間距離Ｌを算出する（Ｓ６）とともに、タッチパッド１５において受け付けた操作量と離間距離Ｌとに基づく移動量で、操作対象を画像表示装置の表示領域や仮想領域で移動させる（Ｓ１０）ので、操作対象をユーザの目標とする位置までより少ない操作で迅速に移動させることが可能であり、操作対象の操作性について向上させることが可能となる。例えば、ユーザの視線位置と操作対象の位置関係に基づいてユーザに操作対象をどの程度移動させる意図があるかを推定し、操作対象の移動量を変えるので、ユーザが操作対象を大きく動かしたいときには移動量を大きくし、僅かな距離のみ動かしたいときには移動量を小さくすることができる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では、操作対象を移動させる為の操作を受け付ける手段としてタッチパッド１５を用いているが、ディスプレイの前面に配置されたタッチパネル、マウス、十字キー、タブレット等を用いても良い。

また、本実施形態では、ユーザにより操作される操作対象としては例えば図４に示すポインタ３０としているが、ユーザの操作によって移動可能な各種表示物にも適用可能である。例えば、リスト、ウィンドウ、スクロールバー、地図画像等についても該当する。

また、本実施形態では、ユーザの視線位置としてユーザが視認する対象物（例えば画像表示装置の表示領域）とユーザの視線（視軸）とが交わる地点を検出している（図８参照）が、必ずしも上記地点を検出する必要はなくユーザの視線位置を特定し得るものであれば他の情報をユーザの視線位置をして検出しても良い。例えば、ユーザの目元の画像等がある。更に、ユーザの視線位置を用いて操作対象の操作の最適化を図る場合においては、具体的なユーザの視線位置を検出しなくとも操作対象の操作を行っている間のユーザの視線位置に特徴があると判定した場合においては、ユーザの視線位置を用いて操作対象の操作の最適化を図ったとみなす。

また、本実施形態では、操作対象は画像表示装置（メインディスプレイ１２、サブディスプレイ１３、ＨＵＤ１４）の画像の表示領域に加えて、表示領域と連続する空間上の仮想領域内についても移動可能としているが、画像表示装置の画像の表示領域内のみを移動可能にしても良い。

また、本実施形態では、操作対象を表示する画像表示装置を車両のインストルメントパネル２５に配置されるメインディスプレイ１２、サブディスプレイ１３及びＨＵＤ１４としているが、各画像表示装置の設置場所は車両の乗員から視認可能な位置であればどのような位置に設置しても良い。更に、画像表示装置は車両に必ずしも固定した車載器である必要は無く、ユーザが持ち運び可能に構成しても良い。また、ナビゲーション装置が備える画像表示装置であっても良い。

また、本発明はナビゲーション装置以外に、表示画面に表示された操作対象を移動させる機能を有する各種装置に対して適用することが可能である。例えば、スマートフォン、パーソナルコンピュータ、ＡＴＭ、券売機等に対しても適用することが可能となる。

また、本発明に係る操作支援装置を具体化した実施例について上記に説明したが、操作支援装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。

例えば、第１の構成は以下のとおりである。
ユーザの操作を受け付ける操作入力装置（１５）と、前記操作入力装置において受け付けたユーザの操作により操作される操作対象（３０）と、を備えた操作支援装置（１）において、前記操作対象の位置を取得する操作対象位置取得手段（２１）と、ユーザの視線位置を取得する視線位置取得手段（２１）と、前記操作入力装置において前記操作対象を移動する為のユーザの操作を受け付けた場合に、前記操作対象の位置から前記視線位置までの離間距離を算出する距離算出手段（２１）と、前記操作入力装置において受け付けた操作量と前記離間距離とに基づく移動量で、前記操作対象を移動させる操作対象移動手段（２１）と、を有する。
上記構成を有する操作支援装置によれば、ユーザの操作とユーザの視線位置との組み合わせによって操作対象を移動させることにより、操作対象をユーザの目標とする位置までより少ない操作で迅速に移動させることが可能であり、操作対象の操作性について向上させることが可能となる。例えば、ユーザの視線位置と操作対象の位置関係に基づいてユーザに操作対象をどの程度移動させる意図があるかを推定し、操作対象の移動量を変えるので、ユーザが操作対象を大きく動かしたいときには移動量を大きくし、僅かな距離のみ動かしたいときには移動量を小さくすることができる。

また、第２の構成は以下のとおりである。
前記操作対象移動手段（２１）は、前記離間距離が大きくなる程、前記操作量に対する前記移動量の比率が大きくなる。
上記構成を有する操作支援装置によれば、ユーザの視線位置が操作対象から大きく離れた状態で操作対象の移動を行う為の操作を受け付けた場合には、ユーザに操作対象を離れた位置へと移動させる意図があると推定し、操作対象の移動量を大きくすることが可能となる。その結果。ユーザの意図する位置へと操作対象を迅速に移動させることが可能となる。一方で、ユーザの視線位置が操作対象の近くにある状態で操作対象の移動を行う為の操作を受け付けた場合には、ユーザに操作対象を近くの他の位置へと移動させる意図があると推定し、操作対象の移動量を小さくすることが可能となる。その結果、操作対象の位置の微調整が可能となる。

また、第３の構成は以下のとおりである。
前記操作対象（３０）は、画像表示装置（１２、１３、１４）の表示領域及び表示領域と連続する空間上の仮想領域内を移動する。
上記構成を有する操作支援装置によれば、一の画像表示装置の表示領域上を移動する操作対象に加えて、複数の画像表示装置の表示領域間を移動可能な操作対象について、操作対象をユーザの目標とする位置までより少ない操作で迅速に移動させることが可能であり、操作対象の操作性について向上させることが可能となる。

また、第４の構成は以下のとおりである。
前記操作対象移動手段（２１）は、ユーザの視線位置が前記操作対象（３０）の位置から所定距離以内にある場合には、前記操作量と前記離間距離とに基づく移動量で前記操作対象を移動させ、ユーザの視線位置が前記操作対象の位置から所定距離以内にない場合には、前記操作量に基づく移動量で前記操作対象を移動させる。
上記構成を有する操作支援装置によれば、ユーザに操作対象をどの位置へと移動させたいかについての明確な意思が無いと推定される場合、或いは意思の推定が困難である場合には、ユーザの視線位置を考慮せずに操作量に基づく移動量で操作対象を移動させるので、ユーザの意図に反した操作対象の移動が行われることを防止できる。

また、第５の構成は以下のとおりである。
前記離間距離は、前記操作対象（４１）の位置から前記視線位置へのベクトルを、前記操作対象の移動方向と該移動方向と交差する方向とに分解した場合における前記操作対象の移動方向の成分とする。
上記構成を有する操作支援装置によれば、操作対象の移動方向とユーザの視線位置との間にズレが生じていた場合であっても、ユーザに操作対象をどの程度移動させる意図があるかを正確に推定することが可能となる。

また、第６の構成は以下のとおりである。
前記視線位置取得手段（２１）は、前記操作入力装置（１３）において前記操作対象を移動する為のユーザの操作を受け付けた時点におけるユーザの視線位置を取得する。
上記構成を有する操作支援装置によれば、操作対象を移動する為のユーザの操作を受け付けた時点におけるユーザの視線位置に基づいて、ユーザに操作対象をどの程度移動させる意図があるかを正確に推定することが可能となる。

また、第７の構成は以下のとおりである。
前記視線位置取得手段（２１）は、前記ユーザの視線が所定時間以上留まった注視点を前記視線位置として取得する。
上記構成を有する操作支援装置によれば、ユーザに操作対象をどの位置へと移動させたいかについての明確な意思がある場合において、ユーザの視線位置を考慮した操作対象の移動を行うことが可能となる。

１ 操作支援装置
１１ 制御回路部
１２ メインディスプレイ
１３ サブディスプレイ
１４ ＨＵＤ
１５ タッチパッド
１６ 車内カメラ
２１ ＣＰＵ
２２ ＲＡＭ
２３ ＲＯＭ
２４ フラッシュメモリ
３０ ポインタ

Claims (8)

1. ユーザの操作を受け付ける操作入力装置と、前記操作入力装置において受け付けたユーザの操作により操作される操作対象と、を備えた操作支援装置において、
   前記操作対象の位置を取得する操作対象位置取得手段と、
   ユーザの視線位置を取得する視線位置取得手段と、
   前記操作入力装置において前記操作対象を移動する為のユーザの操作を受け付けた場合に、前記操作対象の位置から前記視線位置までの離間距離を算出する距離算出手段と、
   前記操作入力装置において受け付けた操作量と前記離間距離とに基づく移動量で、前記操作対象を移動させる操作対象移動手段と、を有する操作支援装置。
2. 前記操作対象移動手段は、前記離間距離が大きくなる程、前記操作量に対する前記移動量の比率が大きくなる請求項１に記載の操作支援装置。
3. 前記操作対象は、画像表示装置の表示領域及び表示領域と連続する空間上の仮想領域内を移動する請求項１又は請求項２に記載の操作支援装置。
4. 前記操作対象移動手段は、
   ユーザの視線位置が前記操作対象の位置から所定距離以内にある場合には、前記操作量と前記離間距離とに基づく移動量で前記操作対象を移動させ、
   ユーザの視線位置が前記操作対象の位置から所定距離以内にない場合には、前記操作量に基づく移動量で前記操作対象を移動させる請求項１乃至請求項３のいずれかに記載の操作支援装置。
5. 前記離間距離は、前記操作対象の位置から前記視線位置へのベクトルを、前記操作対象の移動方向と該移動方向と交差する方向とに分解した場合における前記操作対象の移動方向の成分とする請求項１乃至請求項４のいずれかに記載の操作支援装置。
6. 前記視線位置取得手段は、前記操作入力装置において前記操作対象を移動する為のユーザの操作を受け付けた時点におけるユーザの視線位置を取得する請求項１乃至請求項５のいずれかに記載の操作支援装置。
7. 前記視線位置取得手段は、前記ユーザの視線が所定時間以上留まった注視点を前記視線位置として取得する請求項１乃至請求項６のいずれかに記載の操作支援装置。
8. ユーザの操作を受け付ける操作入力装置と、前記操作入力装置において受け付けたユーザの操作により操作される操作対象と、を備えた操作支援装置を、
   前記操作対象の位置を取得する操作対象位置取得手段と、
   ユーザの視線位置を取得する視線位置取得手段と、
   前記操作入力装置において前記操作対象を移動する為のユーザの操作を受け付けた場合に、前記操作対象の位置から前記視線位置までの離間距離を算出する距離算出手段と、
   前記操作入力装置において受け付けた操作量と前記離間距離とに基づく移動量で、前記操作対象を移動させる操作対象移動手段と、
   して機能させる為のコンピュータプログラム。

Images