JP2014102658A - 操作支援システム、操作支援方法及びコンピュータプログラム - Google Patents

Abstract

【課題】操作面に対してユーザの操作の基準とする突出部材を設けた場合であっても、ユーザの操作に違和感を与えることが無い操作支援システム、操作支援方法及びコンピュータプログラムを提供する。
【解決手段】ユーザがタッチパッド１１の操作面をタッチした状態にあって、タッチパッド１１の操作面に変形（撓み）が生じている場合に、ユーザがタッチした地点の座標であるタッチ座標を検出し（Ｓ７３）、タッチ座標の周辺のピン２１が“突出状態”にある場合に、該ピン２１を“突出状態”から“非突出状態”へと移行する（Ｓ７５）ように構成する。
【選択図】図２０

Description

本発明は、タッチ操作による車両内の機器の操作を支援する操作支援システム、操作支援方法及びコンピュータプログラムに関する。

従来より、パーソナルコンピュータ、ＡＴＭ、券売機、ナビゲーション装置、スマートフォン等の機器に対してユーザが操作を行う際に、機器に対するユーザの操作を受け付ける手段として、様々なマンマシンインタフェースが用いられている。特に、近年、マンマシンインタフェースの一つとして、ユーザのタッチ操作を受け付ける操作面を設け、該操作面に対するユーザのタッチ操作（例えば、タッチオンする操作、タッチオフする操作、ドラッグ操作、フリック操作等）をユーザの操作として検出する操作機器が良く用いられる。このような操作機器としては、タッチパッド、タッチパネル、タブレット等（以下、タッチパッド等という）があり、ユーザに直感的で分かり易い操作を行わせることが可能となる。

ここで、上記タッチパッド等をユーザが操作する場合の操作態様として、ユーザがタッチパッド等を視認せずに操作を行う場合がある。具体的には、他の作業を行いながら、タッチパッド等の操作を行う場合であり、例えば、車両の運転操作をしながらタッチパッド等の操作を行う場合がある。例えば、特開２０１２−１７７９９９号公報には、車両のハンドルに対して左右２箇所に円形状のタッチパッドを設け、タッチパッドに対する指のタッチ操作と、ディスプレイに表示される表示内容とを用いて、ナビゲーション装置やオーディオ機器等の車載器の操作を行う技術について記載されている。

特開２０１２−１７７９９９号公報（第１０頁−第１１頁、図１）

また、上記特許文献１に記載の技術のように、ユーザがタッチパッドを視認せずに操作を行うことを想定した状況では、タッチ位置の基準とする為にタッチパッドの操作面から複数の突出部材を突出させることが行われている。そして、ユーザは操作面から突出された突出部材を基準とすることによって、タッチパッドを視認しなかったとしても正確な操作が可能となる。

しかしながら、突出部材が突出されたタッチパッドの操作面に対してユーザが操作を行う場合には、以下の問題が生じていた。即ち図２２に示すように、ユーザが突出部材１０１を含む操作面１０２を上から押下した場合には、操作面１０２は下側に撓むこととなるが、突出部材１０１の位置は変わらないので、操作面の押下に伴って突出部材１０１の操作面１０２に対する突出量ｈがより大きくなり、操作面をタッチするユーザに突出部材１０１による異物感を与えることとなっていた。また、突出部材１０１や操作面１０２を保護する為のカバーを表面に覆う場合には、突出部材１０１の操作面１０２に対する突出量ｈが大きくなると、カバーの表面が傷ついたり、カバーの一部が伸びることによって劣化が生じることとなっていた。

本発明は前記従来における問題点を解消するためになされたものであり、操作面に対してユーザの操作の基準とする突出部材を設けた場合であっても、ユーザに突出部材による異物感を与えることなく、また、突出部材による他の部材への損傷を防止することを可能にした操作支援システム、操作支援方法及びコンピュータプログラムを提供することを目的とする。

前記目的を達成するため本願の請求項１に係る操作支援システム（１）は、ユーザの操作を受け付ける操作面（１１）と、前記操作面に形成された複数の孔（２５）を介して複数の突出部材（２１）を前記操作面に対して上下動させる駆動機構（１３）とを備えた操作支援システムにおいて、前記駆動機構を制御することによって、複数の前記突出部材毎に、前記突出部材の先端が前記操作面よりも上方に位置する突出状態と前記操作面よりも下方に位置する非突出状態のいずれかの状態に設定する状態設定手段（３１）と、前記ユーザが前記操作面に触れたタッチ地点の位置を検出するタッチ地点検出手段（３１）と、前記タッチ地点検出手段によって前記タッチ地点の位置が検出された場合に、前記操作面が変形したか否かを判定する変形判定手段（３１）と、前記変形判定手段によって前記操作面が変形したと判定されたか否かに応じて、前記タッチ地点の周辺に位置する前記突出部材の突出状態と非突出状態を制御する状態制御手段（３１）と、を有することを特徴とする。
尚、「操作面に触れた」とは、実際にユーザが操作面に接触する場合に加えて、静電容量方式ではユーザが操作面に接触していなくても静電容量が変化した場合には触れたとみなす。

また、請求項２に係る操作支援システム（１）は、請求項１に記載の操作支援システムであって、前記状態制御手段（３１）は、前記変形判定手段（３１）によって前記操作面（１１）が変形したと判定された場合であって、前記タッチ地点の周辺に位置する前記突出部材（２１）が突出状態にある場合に、該突出部材を突出状態から非突出状態に移行することを特徴とする。

また、請求項３に係る操作支援システム（１）は、請求項１又は請求項２に記載の操作支援システムであって、前記変形判定手段（３１）によって前記操作面（１１）が変形したと判定された後に、該操作面の変形が修復したか否かを判定する修復判定手段（３１）と、前記修復判定手段によって前記操作面の変形が修復したと判定された場合に、前記状態制御手段（３１）によって非突出状態に移行された前記突出部材を突出状態に復帰させる終了状態復帰手段と、を有することを特徴とする。

また、請求項４に係る操作支援システム（１）は、請求項１乃至請求項３のいずれかに記載の操作支援システムであって、前記タッチ地点が移動することによって、前記状態制御手段（３１）によって非突出状態に移行された前記突出部材（３２）から前記タッチ地点までの距離が所定距離以上となった場合に、該突出部材を突出状態に復帰させる移動状態復帰手段（３１）を有することを特徴とする。

また、請求項５に係る操作支援システム（１）は、請求項１乃至請求項４のいずれかに記載の操作支援システムであって、前記操作面（１１）は、車両のハンドル（５）に設けられ前記車両を運転するユーザの操作を受け付けることを特徴とする。

また、請求項６に係る操作支援システム（１）は、請求項１乃至請求項５のいずれかに記載の操作支援システムであって、前記操作面（１１）の操作により操作される複数の操作対象物（４１）を表示画面（３７）に表示する操作対象物表示手段（３１）を有し、前記状態設定手段（３１）は、前記表示画面に対する前記操作対象物の表示位置の関係と対応する位置にある前記突出部材（２１）を突出状態に設定することを特徴とする。

また、請求項７に係る操作支援システム（１）は、請求項６に記載の操作支援システムであって、突出状態にある前記突出部材（２１）の周辺エリアを触れる操作を受け付けた場合に、該突出部材に対応する位置に表示された前記操作対象物（４１）を選択するとともに該操作対象物を操作する対象物選択手段を有することを特徴とする。

また、請求項８に係る操作支援方法は、ユーザの操作を受け付ける操作面（１１）と、前記操作面に形成された複数の孔（２５）を介して複数の突出部材（２１）を前記操作面（１１）に対して上下動させる駆動機構（１３）とを備えた操作機器（２、３）の操作支援方法において、前記駆動機構を制御することによって、複数の前記突出部材毎に、前記突出部材の先端が前記操作面よりも上方に位置する突出状態と前記操作面よりも下方に位置する非突出状態のいずれかの状態に設定する状態設定ステップと、前記ユーザが前記操作面に触れたタッチ地点の位置を検出するタッチ地点検出ステップと、前記タッチ地点検出ステップによって前記タッチ地点の位置が検出された場合に、前記操作面が変形したか否かを判定する変形判定ステップと、前記変形判定ステップによって前記操作面が変形したと判定されたか否かに応じて、前記タッチ地点の周辺に位置する前記突出部材の突出状態と非突出状態を制御する状態制御ステップと、を有することを特徴とする。

更に、請求項９に係るコンピュータプログラムは、ユーザの操作を受け付ける操作面（１１）と、前記操作面に形成された複数の孔（２５）を介して複数の突出部材（２１）を前記操作面に対して上下動させる駆動機構（１３）とを備えた操作機器（２、３）を操作するコンピュータプログラムにおいて、前記駆動機構を制御することによって、複数の前記突出部材毎に、前記突出部材の先端が前記操作面よりも上方に位置する突出状態と前記操作面よりも下方に位置する非突出状態のいずれかの状態に設定する状態設定機能と、前記ユーザが前記操作面に触れたタッチ地点の位置を検出するタッチ地点検出機能と、前記タッチ地点検出機能によって前記タッチ地点の位置が検出された場合に、前記操作面が変形したか否かを判定する変形判定機能と、前記変形判定機能によって前記操作面が変形したと判定されたか否かに応じて、前記タッチ地点の周辺に位置する前記突出部材の突出状態と非突出状態を制御する状態制御機能と、を実行させることを特徴とする。

前記構成を有する請求項１に記載の操作支援システムによれば、操作面に対してユーザの操作の基準とする突出部材を設けた場合であっても、タッチ地点の位置と操作面の変形の有無に基づいて突出部材を上下動させることにより、操作面に対して突出部材が必要量以上に突出された状態となることを防止できる。その結果、ユーザに突出部材による異物感を与えることなく、また、突出部材による他の部材への損傷を防止することが可能となる。

また、請求項２に記載の操作支援システムによれば、特に操作面が変形した場合において、変形した操作面の周辺にある突出部材を非突出状態へと移行させることにより、操作面に対して突出部材が必要量以上に突出された状態となることを防止できる。

また、請求項３に記載の操作支援システムによれば、操作面が変形したと判定された後に、該操作面の変形が修復したか否かを判定し、操作面の変形が修復したと判定された場合に、非突出状態に一旦移行された突出部材を突出状態に復帰させるので、必要な状況下でのみ突出部材を非突出状態となるように制御することができ、突出部材にユーザの操作の基準としての機能を失わせることが無い。

また、請求項４に記載の操作支援システムによれば、タッチ地点が移動することによって、非突出状態に移行された突出部材からタッチ地点までの距離が所定距離以上となった場合に、該突出部材を突出状態に復帰させるので、必要な状況下でのみ突出部材を非突出状態となるように制御することができ、突出部材にユーザの操作の基準としての機能を失わせることが無い。

また、請求項５に記載の操作支援システムによれば、操作面は、車両のハンドルに設けられ車両を運転するユーザの操作を受け付けるので、車両を運転するユーザに操作面を視認させることなく操作面を用いた適切な操作を行わせることが可能となる。

また、請求項６に記載の操作支援システムによれば、操作面の操作により操作される複数の操作対象物を表示画面に表示し、表示画面に対する操作対象物の表示位置の関係と対応する位置にある突出部材を突出状態に設定するので、表示画面に表示された操作対象物と操作面とを対応させて、ユーザによる操作対象物の操作をより容易に行わせることが可能となる。

また、請求項７に記載の操作支援システムによれば、突出状態にある突出部材の周辺エリアをタッチする操作を受け付けた場合に、該突出部材に対応する位置に表示された操作対象物を選択するとともに該操作対象物を操作するので、突出状態にある突出部材を基準とすることによってユーザの意図する操作対象物を操作面への操作によって適切に選択させることが可能となる。

また、請求項８に記載の操作支援方法によれば、操作面に対してユーザの操作の基準とする突出部材を設けた場合であっても、タッチ地点の位置と操作面の変形の有無に基づいて突出部材を上下動させることにより、操作面に対して突出部材が必要量以上に突出された状態となることを防止できる。その結果、ユーザに突出部材による異物感を与えることなく、また、突出部材による他の部材への損傷を防止することが可能となる。

更に、請求項９に記載のコンピュータプログラムによれば、操作面に対してユーザの操作の基準とする突出部材を設けた場合であっても、タッチ地点の位置と操作面の変形の有無に基づいて突出部材を上下動させることにより、操作面に対して突出部材が必要量以上に突出された状態となることを防止できる。その結果、ユーザに突出部材による異物感を与えることなく、また、突出部材による他の部材への損傷を防止することが可能となる。

本実施形態に係る操作支援システムの概略構成を示したブロック図である。 操作入力装置及び表示画面の車両に対する配置態様を示した図である。 左操作入力装置を示した斜視図である。 図３の線Ｘ−Ｘで左操作入力装置を切断した矢視断面図である。 ピン駆動機構におけるピンの駆動態様を示した図である。 車両のフロントガラスに表示されるメイン画面を示した図である。 車両のフロントガラスに表示される設定操作画面を示した図である。 本実施形態に係る操作支援処理プログラムのフローチャートである。 ＡＣＣがオンされた直後においてフロントガラスに表示されるメイン画面を示した図である。 タッチパッドの操作面上に設定される選択領域を示した図である。 メイン画面における選択対象候補アイコンの配置態様を示した図である。 左ドラッグ処理のサブ処理プログラムのフローチャートである。 メイン画面における選択対象候補アイコンの配置態様を示した図である。 図９に示すメイン画面が表示されている状態において、左操作入力装置で右方向のドラッグ操作を受け付けた場合における選択対象候補の切り換え態様を示した図である。 図９に示すメイン画面が表示されている状態において、左操作入力装置で左方向のドラッグ操作を受け付けた場合における選択対象候補の切り換え態様を示した図である。 左フリック処理のサブ処理プログラムのフローチャートである。 図９に示すメイン画面が表示されている状態において、左操作入力装置で右方向のフリック操作を受け付けた場合における選択対象候補の切り換え態様を示した図である。 右ドラッグ処理のサブ処理プログラムのフローチャートである。 右タッチ処理のサブ処理プログラムのフローチャートである。 本実施形態に係る突出制御処理プログラムのフローチャートである。 非突出状態へと移行させるピン２１の範囲を示した図である。 従来技術の問題点について説明した図である。

以下、本発明に係る操作支援システムについて具体化した一実施形態について図面を参照しつつ詳細に説明する。

先ず、本実施形態に係る操作支援システム１の概略構成について図１を用いて説明する。図１は本実施形態に係る操作支援システム１の概略構成を示したブロック図である。

図１に示すように本実施形態に係る操作支援システム１は、車両内に設置され、ユーザによる操作を受け付ける左操作入力装置２及び右操作入力装置３と、ダッシュボード上に設置され車両のフロントガラスに映像を投影するヘッドアップディスプレイ（ＨＵＤ）４と、左操作入力装置２及び右操作入力装置３とＣＡＮ等の車載ネットワークを介して接続された各種車載器（例えば、オーディオ、ナビゲーション装置）や車両機器（例えば、エアコン、パワーウィンドウ、ドアミラー）の制御装置等から構成されている。

ここで、左操作入力装置２は、図２に示すように車両のハンドル５の左側スポーク部分に配置されている。また、右操作入力装置３は、車両のハンドル５の右側スポーク部分に配置されている。左操作入力装置２及び右操作入力装置３の前面には、後述のようにユーザのタッチ操作を受け付けるタッチパッド（操作面）が設けられており、ユーザはハンドル５を支持した状態で、後述のタッチ操作により左操作入力装置２や右操作入力装置３を操作可能に構成されている。そして、本実施形態に係る操作支援システム１では、ユーザは左操作入力装置２や右操作入力装置３を介して、特にアプリケーションプログラムの実行や、実行されたアプリケーションプログラムによる車両に搭載された各種車載器や車両機器の操作等を行うことが可能に構成されている。例えば、インターネット、メール、ナビゲーション装置の目的地設定操作や地図画像のスクロール操作、エアコンの電源切り替え操作や温度調整操作、オーディオのチャンネル操作や音量調整操作、ウィンドウの開閉、ドアのロック等を行うことが可能である。

以下に、左操作入力装置２及び右操作入力装置３の構成についてより詳細に説明する。尚、左操作入力装置２と右操作入力装置３は基本的に同一の構成を有しており、以下では特に左操作入力装置２を例に挙げて説明することとし、右操作入力装置３の説明は省略する。図３は左操作入力装置２を示した斜視図であり、図４は図３の線Ｘ−Ｘで左操作入力装置２を切断した矢視断面図である。
図３及び図４に示すように左操作入力装置２は、ユーザからのタッチ操作を検出するタッチパッド１１と、タッチパッド１１を振動させる為の圧電素子１２と、タッチパッド１１の下方において円柱形状のピン（突出部材）を上下動させる複数のピン駆動機構１３と、ピン駆動機構１３を所定の位置に固定する基部１４と、後述の操作支援ＥＣＵ１５が搭載される制御基板１６から基本的に構成される。尚、タッチ操作は、ユーザがタッチ面を触れることによって行う各種操作であり、例えばタッチパッド１１のいずれかの地点に触れる（タッチする）操作、上記触れた状態（タッチ状態）を解除する操作、ドラッグ操作、フリック操作等がある。

また、タッチパッド１１は、上面側から順にタッチパッド１１を保護するカバーシート１７と、静電容量の変化によってユーザのタッチ操作を検出する導電膜１８と、カバーシート１７や導電膜１８を前記基部１４に対して上方に支持する天板１９とから構成される。そして、操作支援ＥＣＵ１５は、後述のように所定の検出周期でユーザがタッチしたタッチ座標をタッチパッド１１の座標系で検出する。尚、タッチ座標は、ユーザがタッチパッド１１の操作面に触れた（静電容量方式では静電容量が変化したことを触れたとみなす）タッチ地点の位置の座標である。また、検出周期はタッチパッド１１の種類によって異なるが、例えば２００Ｈｚ〜２ｋＨｚとなる。尚、タッチパッド１１としては静電容量方式以外の検出方式（例えば抵抗膜方式）を用いても良い。

一方、天板１９の下面には圧電素子１２が取り付けられている。更に、タッチパッド１１と基部１４とは、四隅に配置された支持部２０によって両者間に所定の間隙を設けるように構成されている。その結果、圧電素子１２に信号電圧を加えることにより、圧電素子１２を歪ませると、その歪によってタッチパッド１１を上下方向に振動させることが可能となる。そして、本実施形態に係る操作支援システム１では、後述のようにタッチパッド１１内の所定の領域がタッチオンされた場合や、ユーザがタッチパッド１１の操作面を押下することによって操作面に所定量以上の変形（撓み）が生じた場合に、タッチパッド１１を振動させる。それによって、ユーザが実在するボタンを操作した触感を与えることが可能となる。また、操作支援ＥＣＵ１５は、電圧値を変更することによって振動方向や振動の振幅を任意に設定することが可能である。振動周期は、圧電素子１２の種類や設置態様によって異なるが、例えば２５０Ｈｚ〜２ｋＨｚとなる。尚、圧電素子１２はタッチパッド１１に直接接触して配置される必要はなく、タッチパッド１１に振動を伝達できるのであれば、他の部材に対して配置されていても良い。また、タッチパッド１１に振動を生じさせる手段としては、圧電素子１２の代わりに小型の振動モータ等を用いても良い。

また、圧電素子１２は、タッチパッド１１の操作面に生じた変形（撓み）を検出するセンサとしても機能する。即ち、天板１９の下面に取り付けられた圧電素子１２は、タッチパッド１１の操作面が変形するとそれに伴って変形する。従って、操作支援ＥＣＵ１５は圧電素子１２からの信号によってタッチパッド１１の操作面に変形（撓み）が生じたことを検出することが可能となる。

また、ピン駆動機構１３は、基部１４に対して３×３の計９箇所に所定の配置間隔（例えば縦横１ｃｍ間隔）で、ピン２１の先端部がタッチパッド１１に対向するように配置される。また、ピン２１は図４の矢印Ｚ方向に沿って上下動可能に支持されている。更に、ピン２１の底面には挿入孔２２が形成されており、挿入孔２２には支持部材２３が挿入されている。また、支持部材２３の底面には圧電素子２４が接続されている。そして、操作支援ＥＣＵ１５は、挿入孔２２と支持部材２３との間に生じる摩擦力を利用し、圧電素子２４に信号電圧を加えて振動させることによってピン２１を上方向及び下方向のいずれか一方の任意の方向に移動させることが可能となる。尚、ピン２１の駆動機構の詳細については公知であるので省略する。

また、タッチパッド１１を構成する導電膜１８及び天板１９は、ピン２１と対応する計９箇所の位置に貫通孔２５が形成されており、ピン２１が上方向に移動される場合には、タッチパッド１１の上面よりも上側にピン２１の先端が位置可能に構成されている。そして、操作支援ＥＣＵ１５は、各ピン駆動機構１３を駆動させることによって、計９個のピン駆動機構１３を図５に示すようなピン２１の先端がタッチパッド１１の操作面よりも下方にある“非突出状態”とピン２１の先端がタッチパッド１１の操作面よりも上方にある“突出状態”との間で選択的に切り換えることが可能となる。尚、カバーシート１７は図５に示すようにタッチパッド１１に対して突出された状態にあるピン２１を保護する為に、伸縮性のある材料（例えばシリコン樹脂）等を用いて形成することが望ましい。

また、左操作入力装置２及び右操作入力装置３の内、特に左操作入力装置２の操作面上には、図３に示すようにハードウェアの操作部である操作ボタン２７が設けられている。ここで、操作ボタン２７としては例えばホームボタンやショートカットボタンがある。そして、後述のようにアプリケーションの操作を行っている状態でホームボタンが押下されると、該アプリケーションを一旦終了し、ＨＵＤ４によって表示される表示画面も初期画面へと復帰される。また、ショートカットボタンが押下されると、予めショートカットボタンに対応付けられた機能（例えば、ウェブブラウザの起動、地図の縮尺変更操作、エアコンの設定温度変更操作等）が実行される。尚、操作ボタン２７は右操作入力装置３の操作面上にも設ける構成としても良い。また、操作ボタン２７をハードウェアの操作部であるハードキーではなく仮想的に操作面上に配置されるキーとしても良い。その場合には、操作支援ＥＣＵ１５は、タッチ座標が予め操作ボタン２７に対応付けられた座標範囲にある場合に、操作ボタン２７が押下されたと判定する。

また、制御基板１６に搭載される操作支援ＥＣＵ（エレクトロニック・コントロール・ユニット）１５は、左操作入力装置２の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ３１、並びにＣＰＵ３１が各種の演算処理を行うにあたってワーキングメモリとして使用されるＲＡＭ３２、制御用のプログラムのほか、後述の操作支援処理プログラム（図８参照）や突出制御処理プログラム（図２０参照）等が記録されたＲＯＭ３３、ＲＯＭ３３から読み出したプログラムや後述のメニューアイコンの選択履歴やタッチ座標の履歴を記憶するフラッシュメモリ３４等の内部記憶装置を備えている。尚、操作支援ＥＣＵ１５は、処理アルゴリズムとしての各種手段を構成する。例えば、状態設定手段は、ピン駆動機構１３を制御することによって、複数のピン２１毎に、ピン２１の先端がタッチパッド１１の操作面よりも上方に位置する“突出状態”と操作面よりも下方に位置する“非突出状態”のいずれかの状態に設定する。タッチ地点検出手段は、ユーザがタッチパッド１１の操作面に触れたタッチ地点の位置を検出する。変形判定手段は、タッチ地点検出手段によってタッチ地点の位置が検出された場合に、タッチパッド１１の操作面が変形したか否かを判定する。状態制御手段は、変形判定手段によってタッチパッド１１の操作面が変形したと判定されたか否かに応じて、タッチ地点の周辺に位置する突出部材の“突出状態”と“非突出状態”を制御する。変形判定手段によってタッチパッド１１の操作面が変形したと判定された場合であって、タッチ地点の周辺に位置するピン２１が“突出状態”にある場合に、該ピン２１を“突出状態”から“非突出状態”に移行する。修復判定手段は、変形判定手段によってタッチパッド１１の操作面が変形したと判定された後に、該操作面の変形が修復したか否かを判定する。終了状態復帰手段は、修復判定手段によってタッチパッド１１の操作面の変形が修復したと判定された場合に、状態制御手段によって“非突出状態”に移行されたピン２１を“突出状態”に復帰させる。移動状態復帰手段は、タッチ地点が移動することによって、状態制御手段によって“非突出状態”に移行されたピン２１からタッチ地点までの距離が所定距離以上となった場合に、該ピン２１を“突出状態”に復帰させる。操作対象物表示手段は、タッチパッド１１の操作面の操作により操作される複数の操作対象物（アイコン等）を表示画面に表示する。対象物選択手段は、“突出状態”にあるピン２１の周辺エリアをタッチする操作を受け付けた場合に、該ピン２１に対応する位置に表示された操作対象物を選択するとともに該操作対象物を操作する。

また、ＨＵＤ４は、図２に示すようにダッシュボード３５上に設置されており、映像の投射方向が運転席の前方のフロントガラス３６の下縁付近となるように設定されている。そして、フロントガラス３６の表示対象領域３７に対して各種画像を表示する。

ここで、図６及び図７はＨＵＤ４によってフロントガラス３６の表示対象領域３７に表示される画像の一例を示した図である。
先ず、ＡＣＣがオンされた直後の状態では表示対象領域３７において図６に示すメイン画面４０が表示される。メイン画面４０は、操作支援システム１において実行可能な各種アプリケーションを実行する為の操作を受け付ける基本操作画面であり、ホーム画面やデスクトップ等が相当する。図６に示すように、メイン画面４０には、複数のメニューアイコン（操作対象物）４１が配置されている。メニューアイコン４１は、操作支援システム１において実行可能なアプリケーションを起動させる為に選択且つ操作されるアイコンであり、ユーザによってメニューアイコン４１が操作されると、操作されたメニューアイコン４１に対応したアプリケーションの起動が開始される。また、起動されるアプリケーションには、ウェブブラウザやメールアプリ以外に、各種車載器（例えば、オーディオ、ナビゲーション装置）や車両機器（例えば、エアコン、パワーウィンドウ、ドアミラー）に対する操作を行う為のアプリケーションも含まれる。そして、メイン画面４０においていずれかのメニューアイコン４１が選択且つ操作されると、対応するアプリケーションが起動され、起動されたアプリケーションに対応する操作画面が表示される。特に、車両に搭載された各種車載器や車両機器の操作に対応したアプリケーションが起動された場合には、図７に示すように設定操作画面４２（図７に示す例ではエアコンの操作に対応）が表示される。設定操作画面４２では、操作対象となる機器の現在の設定状態（パラメータ等）が設定アイコン４３〜４５内にそれぞれ表示され、更にその設定状態の確認や変更操作が可能となる。

また、メイン画面４０において表示されるメニューアイコン４１の内、所定数のメニューアイコン４１は、他のアイコンよりも拡大して表示され、また、アイコンを囲む枠も太くなる。ここで、本実施形態に係る操作支援システム１では、操作面の面積が狭いタッチパッド１１を用いてメニューアイコン４１の選択を行うので、右操作入力装置３によって直接的に選択対象（以下、選択対象候補）とすることが可能なメニューアイコン４１の数に限界がある。例えば、本実施形態では右操作入力装置３が備えるピン２１の数である９つのアイコンまで、選択対象候補とすることが可能である。従って、メイン画面４０に表示されるメニューアイコン４１が多数ある場合には、選択対象候補とするメニューアイコン４１を識別して表示する必要があり、選択対象候補とするメニューアイコン４１は他のアイコンよりも拡大して表示され、また、アイコンを囲む枠も太くなる。更に、選択対象候補とするメニューアイコン４１は、右操作入力装置３のタッチパッド１１に配置されるピン２１の配置態様と対応する配置態様で表示する。即ち、３×３の等間隔の配置間隔で配置される。尚、選択対象候補とするメニューアイコン４１は、後述するように左操作入力装置２のタッチパッド１１の操作面に対するドラッグ操作又はフリック操作によって切り換えることが可能となる。

また、メニューアイコン４１が特に多数存在する場合には、起動されるアプリケーションの種類によって複数のグループに区分する。そして、グループ単位で該グループに属するメニューアイコン４１をメイン画面４０に表示するように構成する。例えば、図６に示す例ではナビゲーション装置に関する操作を行う為のアプリケーションを起動させるメニューアイコン４１のグループと、オーディオに関する操作を行う為のアプリケーションを起動させるメニューアイコン４１のグループと、一般的なアプリケーションやその他の車両機器に関する操作を行う為のアプリケーションを起動させるメニューアイコン４１のグループとに区分され、現時点でその他の車両機器に関するメニューアイコン４１のグループが表示対象となっている。また、ユーザは左操作入力装置２において左右へのフリック操作やドラッグ操作を行うことによって、メイン画面４０に表示対象となるグループを順次変更することが可能である。

また、ユーザは右操作入力装置３を操作することによって選択対象候補となっているメニューアイコン４１の内から任意のメニューアイコン４１を選択及び操作することが可能となる。具体的には、選択を希望するメニューアイコン４１の位置に対応するタッチパッド１１の位置（例えば、図６に示す例で『エアコン』のメニューアイコン４１を選択する場合には左上のピン２１周辺）を右操作入力装置３においてタッチオンすることによってメニューアイコン４１が選択される。尚、メニューアイコン４１の位置に対応するピン２１を押下することや操作面に一定量以上の撓みを生じさせることを選択の条件としても良い。そして、いずれかのメニューアイコン４１が選択且つ操作されると、対応するアプリケーションが起動され、起動されたアプリケーションに対応する操作画面が表示される。
尚、メイン画面４０や設定操作画面４２を表示する表示手段としては、ＨＵＤ４の代わりに、車両内に設置された液晶ディスプレイや有機ＥＬディスプレイ、車両の運転者の頭部に装着可能に構成されるヘッドマウントディスプレイ（ＨＭＤ）等を用いても良い。また、ナビゲーション装置のディスプレイを用いても良い。

一方、左操作入力装置２や右操作入力装置３が有するＣＡＮ（コントローラエリアネットワーク）インターフェース４７は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるＣＡＮに対して、データの入出力を行うインターフェースである。そして、操作支援ＥＣＵ１５は、ＣＡＮを介して、各種車載器や車両機器の制御装置（例えば、ナビゲーション装置４８、ＡＶ装置４９、エアコン制御ＥＣＵ５０等）と相互通信可能に接続される。そして、操作支援ＥＣＵ１５は、特定のアプリケーションが起動された状態で左操作入力装置２や右操作入力装置３においてユーザの操作を受け付けた場合に、操作信号を各種車載器や車両機器の制御装置へと送信することによって、左操作入力装置２や右操作入力装置３を介した各種車載器や車両機器の操作を行う。

続いて、前記構成を有する操作支援システム１において操作支援ＥＣＵ１５が実行する操作支援処理プログラムについて図８に基づき説明する。図８は本実施形態に係る操作支援処理プログラムのフローチャートである。ここで、操作支援処理プログラムは車両のＡＣＣがＯＮされた後に実行され、左操作入力装置２及び右操作入力装置３を介して各種アプリケーションの起動及び操作を行うプログラムである。尚、以下の図８、図１２、図１６、図１８及び図１９にフローチャートで示されるプログラムは、操作支援システム１が備えているＲＡＭ３２やＲＯＭ３３に記憶されており、ＣＰＵ３１により実行される。

先ず、操作支援処理プログラムではステップ（以下、Ｓと略記する）１において、ＣＰＵ３１は、操作支援処理プログラムに関する各種の初期化処理を実行する。初期化処理では、タッチ座標の履歴や後述の選択対象候補アイコンの設定情報等が初期化される。

次に、Ｓ２においてＣＰＵ３１は、ＨＵＤ４を駆動し、フロントガラス３６の表示対象領域３７に対してメイン画面４０を表示する。メイン画面４０には、前記したように左操作入力装置２及び右操作入力装置３による操作によって操作及び選択の対象となる複数のメニューアイコン４１が表示される（図６参照）。また、前記したようにメイン画面４０では、右操作入力装置３によって直接的に選択対象とすることが可能、即ち右操作入力装置３によって選択対象候補となるメニューアイコン４１（以下、選択対象候補アイコンという）が設定されている。例えば、図６に示す例では『エアコン』〜『通信』までの９個のアイコンが選択対象候補アイコンであり、選択対象候補アイコンは他のアイコンと識別可能（例えば、サイズが拡大され、アイコンを囲む枠を太く）に強調表示される。

また、表示された時点（初期状態）でのメイン画面４０においては、フラッシュメモリ３４に記憶されたメニューアイコン４１の選択履歴を読み出し、選択回数の多いメニューアイコン４１を優先して選択対象候補アイコンに設定する。具体的には、初期状態ではメイン画面４０において選択回数の高いメニューアイコン４１から順に、左上から右下方向へと並べて表示され、メイン画面４０に表示された複数のメニューアイコン４１の内、最も左上側に位置する３×３の計９個のメニューアイコン４１が選択対象候補アイコンとなる。例えば、図９は、ＡＣＣがオンされた直後に表示されるメイン画面４０の一例を示すものであり、選択対象候補アイコンとして選択回数の高い順に『目的地』、『地図縮尺』、『地図スクロール』・・・、『地点登録』の９つのナビゲーション装置に係るメニューアイコン４１が設定される。また、図９に示すように起動されるアプリケーションの種類によってメニューアイコン４１が複数のグループに区分されている場合には、グループ毎に選択回数順に並べて表示する。更に、初期状態では予め決められた特定のグループ（例えばナビゲーション装置に関する操作を行う為のアプリケーションを起動させるメニューアイコン４１）をメイン画面４０に表示しても良いし、選択回数の多いグループを優先的に表示することとしても良い。

また、メイン画面４０に表示された選択対象候補アイコンは、後述の左操作入力装置２のタッチパッド１１の操作面に対するドラッグ操作やフリック操作によって他のメニューアイコン４１へと切り換えることが可能であるが、選択対象候補アイコンとするメニューアイコン４１の配置態様は固定する。即ち、右操作入力装置３のタッチパッド１１に配置されるピン２１の配置態様と対応する３×３の等間隔の配置間隔で配置される。

続いて、Ｓ３においてＣＰＵ３１は、前記Ｓ２で表示されたメイン画面４０における選択対象候補アイコンの配置態様に対応して、選択対象候補アイコン毎に、右操作入力装置３の操作面に対して該選択対象候補アイコンを選択する為の選択領域を設定する。具体的には、先ず選択対象候補アイコンに設定される各メニューアイコン４１の中心座標を表示画面の座標系で取得し、取得した中心座標を右操作入力装置３のタッチパッド１１の操作面の座標系に変換する。その後、変換された中心座標を含む操作面の周辺エリア（メニューアイコン４１のサイズに対応したエリア）を選択領域に設定する。また、選択領域は、各選択領域内にピン２１を突出させる貫通孔２５を夫々含むように設定する。更に、前記Ｓ３では、設定された各選択領域内に含まれるピン２１が操作面から突出した“突出状態”となるようにピン駆動機構１３を駆動する（図５参照）。

例えば、図９に示すメイン画面４０が表示されている場合には、図１０に示すように９つの選択領域５１〜５９を右操作入力装置３のタッチパッド１１の操作面に対して設定する。ここで、選択領域５１は『目的地』のメニューアイコン４１に対応付けられた選択領域であり、上段の左側に位置するピン２１の貫通孔２５を含む領域に設定される。また、選択領域５２は『地図縮尺』のメニューアイコン４１に対応付けられた選択領域であり、中央の段の左側に位置するピン２１の貫通孔２５を含む領域に設定される。以下同様に他の選択領域５３〜５９についても各選択対象候補アイコンに対応付けて設定されている。

続いて、Ｓ４においてＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、左操作入力装置２及び右操作入力装置３のいずれかのタッチパッド１１の操作面において、ユーザが少なくとも１点以上をタッチしている状態（以下、タッチ状態という）にあるか否かを判定する。例えば、タッチパッド１１が抵抗膜方式や静電容量方式である場合には、所定値以上の圧力を検出した場合や所定値以上の静電容量の変化を検出した場合に、ユーザがタッチパッド１１をタッチした状態にあると判定する。

そして、左操作入力装置２及び右操作入力装置３のいずれかのタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合（Ｓ４：ＹＥＳ）には、Ｓ５へと移行する。それに対して、左操作入力装置２及び右操作入力装置３のいずれのタッチパッド１１の操作面もタッチした状態にないと判定された場合（Ｓ４：ＮＯ）には、タッチ状態となるまで待機する。

Ｓ５においてＣＰＵ３１は、特に左操作入力装置２のタッチパッド１１の操作面をタッチしたタッチ状態にあるか否か判定する。

そして、左操作入力装置２のタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合（Ｓ５：ＹＥＳ）には、Ｓ６へと移行する。それに対して、右操作入力装置３のタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合（Ｓ５：ＮＯ）には、Ｓ１７へと移行する。

Ｓ６においてＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、ユーザがタッチする地点の座標であるタッチ座標をタッチパッド１１の操作面の座標系で検出する。例えば、タッチパッド１１が抵抗膜方式や静電容量方式である場合には、圧力変化のあった地点や静電容量の変化に基づいて流れた電流の位置を検出することによって、タッチ座標を検出する。

次に、Ｓ７においてＣＰＵ３１は、前記Ｓ６で検出されたタッチ座標の検出履歴をＲＡＭ３２等から読み出し、左操作入力装置２のタッチパッド１１の操作面に対してドラッグ操作が行われたか否かを判定する。尚、ドラッグ操作は、操作面に対するタッチ状態を維持してタッチ座標を移動させる操作をいう。

そして、左操作入力装置２のタッチパッド１１の操作面に対してドラッグ操作が行われたと判定された場合（Ｓ７：ＹＥＳ）には、Ｓ８へと移行する。それに対して、左操作入力装置２のタッチパッド１１の操作面に対してドラッグ操作が行われていないと判定された場合（Ｓ７：ＮＯ）には、Ｓ９へと移行する。

Ｓ８においてＣＰＵ３１は、後述の左ドラッグ処理（図１２）が実行される。尚、左ドラッグ処理は、後述のように左操作入力装置２のタッチパッド１１の操作面で受け付けたドラッグ操作に基づいて、選択対象候補アイコンの切り換えを行う処理である。その後、当該操作支援処理プログラムを終了する。その後、Ｓ１１へと移行する。

Ｓ９においてＣＰＵ３１は、前記Ｓ６で検出されたタッチ座標の検出履歴をＲＡＭ３２等から読み出し、左操作入力装置２のタッチパッド１１の操作面に対してフリック操作が行われたか否かを判定する。尚、フリック操作は、タッチ座標を移動させつつタッチオフ（操作面に対してタッチした状態からタッチしない状態へと移行）を行う操作をいう。

そして、左操作入力装置２のタッチパッド１１の操作面に対してフリック操作が行われたと判定された場合（Ｓ９：ＹＥＳ）には、Ｓ１０へと移行する。それに対して、左操作入力装置２のタッチパッド１１の操作面に対してフリック操作が行われていないと判定された場合（Ｓ９：ＮＯ）には、Ｓ１２へと移行する。

Ｓ１０においてＣＰＵ３１は、後述の左フリック処理（図１６）が実行される。尚、左フリック処理は、後述のように左操作入力装置２のタッチパッド１１の操作面で受け付けたフリック操作に基づいて、選択対象候補アイコンの切り換えを行う処理である。

次に、Ｓ１１においてＣＰＵ３１は、前記Ｓ８又はＳ１０において切り換えられた後の選択対象候補アイコンの配置態様に対応させて、操作領域を新たに設定し、更に右操作入力装置３の操作面において新たに設定された操作領域内のピン２１が突出した“突出状態”となるようにピン駆動機構１３を駆動する。尚、詳細については前記Ｓ３と同様であるので説明は省略する。尚、前記Ｓ８又はＳ１０において選択対象候補アイコンが切り換えられることによって選択対象候補アイコンの数が増減した場合には、選択領域や“突出状態”とするピンの数についても増減することとなる。その後、Ｓ２３へと移行する。

一方、Ｓ１２においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面に配置されたホームボタンが操作されたか否かを判定する。尚、ホームボタンがハードウェアの操作部からなる場合には、該操作部から送信された検出信号に基づいてホームボタンが操作されたか否かを判定する。一方、ホームボタンが操作面に配置された仮想キーからなる場合には、前記Ｓ６で検出されたタッチ座標が予めホームボタンに対応付けられた座標範囲にある場合に、ホームボタンが操作されたと判定する。

そして、左操作入力装置２のタッチパッド１１の操作面に配置されたホームボタンが操作されたと判定された場合（Ｓ１２：ＹＥＳ）には、Ｓ１３へと移行する。それに対して、左操作入力装置２のタッチパッド１１の操作面に配置されたホームボタンが操作されていないと判定された場合（Ｓ１２：ＮＯ）には、Ｓ１４へと移行する。

Ｓ１３においてＣＰＵ３１は、現在実行されているアプリケーションを一旦終了し、フロントガラス３６の表示対象領域３７に表示される表示画面も初期状態のメイン画面４０（図９）へと復帰する。尚、ホームボタンが仮想キーである場合には、タッチオンを検出した時点で予め設定された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、左操作入力装置２のタッチパッド１１を振動させることについても行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在するボタンを押下するかのような触覚を与える。その後、Ｓ２３へと移行する。但し、初期状態のメイン画面４０（図９）へと復帰することによって選択対象候補アイコンが変更となる場合には、Ｓ１１へと移行する。

一方、Ｓ１４においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面に配置されたショートカットボタンが操作されたか否かを判定する。尚、ショートカットボタンがハードウェアの操作部からなる場合には、該操作部から送信された検出信号に基づいてショートカットボタンが操作されたか否かを判定する。一方、ショットカットボタンが操作面に配置された仮想キーからなる場合には、前記Ｓ６で検出されたタッチ座標が予めショートカットボタンに対応付けられた座標範囲にある場合に、ショートカットボタンが操作されたと判定する。

そして、左操作入力装置２のタッチパッド１１の操作面に配置されたショートカットボタンが操作されたと判定された場合（Ｓ１４：ＹＥＳ）には、Ｓ１５へと移行する。それに対して、左操作入力装置２のタッチパッド１１の操作面に配置されたショートカットボタンが操作されていないと判定された場合（Ｓ１４：ＮＯ）には、Ｓ１６へと移行する。

Ｓ１５においてＣＰＵ３１は、現在実行されているアプリケーションを一旦終了し、ショートカットボタンに対応付けられた機能（例えば、ウェブブラウザの起動、地図の縮尺変更操作、エアコンの設定温度変更操作等）を実行する。尚、ショートカットボタンが仮想キーである場合には、タッチオンを検出した時点で予め設定された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、左操作入力装置２のタッチパッド１１を振動させることについても行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在するボタンを押下するかのような触覚を与える。その後、Ｓ２３へと移行する。

また、Ｓ１６においてＣＰＵ３１は、タッチ操作に基づくその他の処理を実行する。その後、Ｓ２３へと移行する。

一方、右操作入力装置３のタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合に実行されるＳ１７では、ＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、ユーザがタッチする地点の座標であるタッチ座標をタッチパッド１１の操作面の座標系で検出する。例えば、タッチパッド１１が抵抗膜方式や静電容量方式である場合には、圧力変化のあった地点や静電容量の変化に基づいて流れた電流の位置を検出することによって、タッチ座標を検出する。

次に、Ｓ１８においてＣＰＵ３１は、前記Ｓ１７でタッチパッド１１の操作面の座標系で検出されたタッチ座標を、表示画面の内、特に選択対象候補アイコンが表示された表示領域の座標系に変換する。例えば、図１１に示すメイン画面が表示されている場合には、『目的地』、『地図縮尺』、『地図スクロール』、・・・『地点登録』の９つの選択対象候補アイコンを含む四角形の表示領域６０の座標系に変換される。それによって、選択対象候補アイコンが表示される表示領域６０の座標系と右操作入力装置３のタッチパッド１１の操作面における座標系を対応させることが可能となる。尚、表示領域６０は、右操作入力装置３のタッチパッド１１の操作面の形状に対応する形状とする。

次に、Ｓ１９においてＣＰＵ３１は、前記Ｓ１７で検出されたタッチ座標の検出履歴をＲＡＭ３２等から読み出し、右操作入力装置３のタッチパッド１１の操作面に対してフリック操作が行われたか否かを判定する。

そして、右操作入力装置３のタッチパッド１１の操作面に対してフリック操作が行われたと判定された場合（Ｓ１９：ＹＥＳ）には、メニューアイコン４１の選択を行うことなくＳ２３へと移行する。それに対して、右操作入力装置３のタッチパッド１１の操作面に対してフリック操作が行われていないと判定された場合（Ｓ１９：ＮＯ）には、Ｓ２０へと移行する。

Ｓ２０においてＣＰＵ３１は、前記Ｓ１７で検出されたタッチ座標の検出履歴をＲＡＭ３２等から読み出し、右操作入力装置３のタッチパッド１１の操作面に対してドラッグ操作が行われたか否かを判定する。

そして、右操作入力装置３のタッチパッド１１の操作面に対してドラッグ操作が行われたと判定された場合（Ｓ２０：ＹＥＳ）には、Ｓ２１へと移行する。それに対して、右操作入力装置３のタッチパッド１１の操作面に対してドラッグ操作が行われていないと判定された場合（Ｓ２０：ＮＯ）、即ち、操作面上の一点をタッチ状態とする通常のタッチ操作が行われているには、Ｓ２２へと移行する。

Ｓ２１においてＣＰＵ３１は、後述の右ドラッグ処理（図１８）が実行される。尚、右ドラッグ処理は、後述のように右操作入力装置３のタッチパッド１１の操作面で受け付けたドラッグ操作に基づいて、選択対象候補アイコンに設定されているメニューアイコン４１の内から、任意のメニューアイコン４１の選択を行う処理である。その後、Ｓ２３へと移行する。

また、Ｓ２２においてＣＰＵ３１は、後述の右タッチ処理（図１９）が実行される。尚、右タッチ処理は、後述のように右操作入力装置３のタッチパッド１１の操作面で受け付けたタッチ操作に基づいて、選択対象候補アイコンに設定されているメニューアイコン４１の内から、任意のメニューアイコン４１の選択を行う処理である。その後、Ｓ２３へと移行する。

次に、Ｓ２３においてＣＰＵ３１は、メニューアイコン４１の選択及び選択されたメニューアイコン４１に対する操作を終了するか否か判定する。例えば、ＡＣＣがオフされた場合や特定の操作ボタンによる操作を受けつけた場合等に、メニューアイコン４１の選択及び選択されたメニューアイコン４１に対する操作を終了すると判定する。

そして、メニューアイコン４１の選択及び選択されたメニューアイコン４１に対する操作を継続すると判定された場合（Ｓ２３：ＮＯ）には、Ｓ４へと戻る。一方、メニューアイコン４１の選択及び選択されたメニューアイコン４１に対する操作を終了すると判定された場合（Ｓ２３：ＹＥＳ）には、当該操作支援処理プログラムを終了する。その後、全てのピン２１は非突出状態となり、ＨＵＤ４の表示もオフされる。

次に、前記Ｓ８において実行される左ドラッグ処理のサブ処理について図１２に基づき説明する。図１２は左ドラッグ処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ３１においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面において受け付けたドラッグ操作によって選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数を取得する。具体的には、ドラッグ操作を受け付ける直前において選択対象候補アイコンに設定されているメニューアイコン４１の数が相当する。ここで、選択対象候補アイコンに設定されるメニューアイコン４１の数は、右操作入力装置３のタッチパッド１１に配置されるピン２１の数が最大値となり、１〜９個のいずれかの数となる。例えば、図６に示すメイン画面４０が表示されている状態でドラッグ操作を受け付けた場合には、選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数は“９個”となる。一方、図１３に示すメイン画面４０が表示されている状態でドラッグ操作を受け付けた場合には、選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数は“７個”となる。

次に、Ｓ３２においてＣＰＵ３１は、前記Ｓ３１で取得された選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数に基づいて、右操作入力装置３のタッチパッド１１の操作面を振動させる振動波形を算出する。具体的には、前記Ｓ３１で取得されたメニューアイコン４１の数が多い程、より振幅の大きい振動波形を算出する。

続いて、Ｓ３３においてＣＰＵ３１は、前記Ｓ３２で算出された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、左操作入力装置２のタッチパッド１１を振動させる。尚、振動処理はドラッグ操作が開始されてからドラッグ操作を終了するまでの間、所定の振動周期で継続して行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在する複数のボタン上を指がスライド移動するかのような触覚を与える。

次に、Ｓ３４においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面で受け付けたドラッグ操作に伴うタッチ座標の移動方向（以下、ドラッグ方向という）及びドラッグ操作に伴うタッチ座標の移動速度（以下、ドラッグ速度という）を取得する。

その後、Ｓ３５においてＣＰＵ３１は、現在メイン画面４０に表示されるメニューアイコン４１の内、現在選択対象候補アイコンに設定されるメニューアイコン４１のドラッグ方向に、他のメニューアイコン４１があるか否か判定する。例えば、図１３に示すメイン画面４０が表示されている状態で左方向のドラッグ操作を受け付けた場合には、他のメニューアイコン４１は有ると判定される。一方、右方向のドラッグ操作を受け付けた場合には、他のメニューアイコン４１が無いと判定される。

そして、選択対象候補アイコンに設定されるメニューアイコン４１のドラッグ方向に、他のメニューアイコン４１が有ると判定された場合（Ｓ３５：ＹＥＳ）、即ち、選択対象候補アイコンがメイン画面４０においてドラッグ方向の端に位置しない場合には、Ｓ３６へと移行する。一方、選択対象候補アイコンに設定されるメニューアイコン４１のドラッグ方向に、他のメニューアイコン４１が無いと判定された場合（Ｓ３５：ＮＯ）、即ち、選択対象候補アイコンがメイン画面４０においてドラッグ方向の端に位置する場合には、Ｓ３８へと移行する。

Ｓ３６においてＣＰＵ３１は、メイン画面４０において表示されるメニューアイコン４１は変更せず、選択対象候補アイコンに設定するメニューアイコン４１をドラッグ方向へドラッグ速度で他のメニューアイコン４１へと切り換える処理を行う。

ここで、図１４は、図９に示すメイン画面４０が表示されている状態で右方向のドラッグ操作を受け付けた場合における選択対象候補アイコンの切り換え態様を示した図である。図１４に示す例では、ユーザが左操作入力装置２のタッチパッド１１の操作面に対して右方向へとドラッグ操作を行うことにより、選択対象候補アイコンに設定されるメニューアイコン４１が、順次右側にあるメニューアイコン４１へと切り換わる。そして、新たなメニューアイコン４１が選択対象候補アイコンに設定されるのに伴って、最も左側にある選択対象候補アイコンに設定されたメニューアイコン４１から順に選択対象候補アイコンの対象から外れる。

例えば、図１４に示す例ではドラッグ操作を受け付ける直前において『目的地』、・・・『地点登録』の９つのメニューアイコン４１が選択対象候補アイコンに設定されている。その後、右方向へのメニューアイコン４１の配置間隔に対応する距離のドラッグ操作が行われた時点で、『現在地』、・・・『視点変更』の９つのメニューアイコン４１へと選択対象候補アイコンが切り換わる。その後、メニューアイコン４１の配置間隔に対応する距離のドラッグ操作が更に行われた時点で、『地点検索（ＴＥＬ）』、・・・『画面設定』の９つのメニューアイコン４１へと選択対象候補アイコンが切り換わる。尚、選択対象候補アイコンの切り換え速度はドラッグ速度に比例することとなる。

そして、Ｓ３７においてＣＰＵ３１は、前記Ｓ３６の処理で切り換えられた後の選択対象候補アイコンに対応して、メイン画面４０におけるメニューアイコン４１の表示態様を変更する。具体的には、新たに選択対象候補アイコンに設定されたメニューアイコン４１は強調表示（サイズを拡大及び枠の太く）し、選択対象候補アイコンから外れたメニューアイコン４１については強調表示を解除する（サイズ及び枠の太さを元に戻す）。その結果、左操作入力装置２のタッチパッド１１の操作面に対するドラッグ操作によって、選択対象候補アイコンとするメニューアイコン４１を変更できるとともに、現在選択対象候補アイコンに設定されているメニューアイコン４１を容易に識別することが可能となる。

一方、Ｓ３８においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面において受け付けたドラッグ操作に基づいて、メイン画面４０において表示されるメニューアイコン４１を変更する。その結果、選択対象候補アイコンに設定されるメニューアイコン４１も切り換わることとなる。

ここで、図１５は、図９に示すメイン画面４０が表示されている状態で左方向のドラッグ操作を受け付けた場合における選択対象候補アイコンの切り換え態様を示した図である。図１５に示す例では、ユーザが左操作入力装置２のタッチパッド１１の操作面に対して左方向へとドラッグ操作を行うことにより、メイン画面４０において表示対象となるメニューアイコン４１のグループが、ナビゲーション装置に関するメニューアイコン４１のグループからその他の車両機器に関するメニューアイコン４１のグループへと変更となる。その結果、選択対象候補アイコンに設定されるメニューアイコン４１も、新たに表示されたメニューアイコン４１に対して設定されることとなり、ドラッグ操作を受け付ける前に選択対象候補アイコンに設定されていたメニューアイコン４１は、全て選択対象候補アイコンの対象から外れる。そして、新たにメイン画面４０に表示されたメニューアイコン４１の内、最も右側に位置する所定数（最大９個）のメニューアイコン４１が新たに選択対象候補アイコンに設定される。

例えば、図１５に示す例ではドラッグ操作を受け付ける直前において『目的地』、・・・『地点登録』の９つのメニューアイコン４１が選択対象候補アイコンに設定されている。その後、左方向へのメニューアイコン４１の配置間隔に対応する距離のドラッグ操作が行われた時点で、『ドア』、・・・『その他』の９つのメニューアイコン４１へと選択対象候補アイコンが切り換わる。その後、更に左方向へのドラッグ操作を継続すれば、前記Ｓ３６及びＳ３７に基づく処理が実行され、選択対象候補アイコンは左方向へ順次切り換わることとなる。

そして、Ｓ３９においてＣＰＵ３１は、前記Ｓ３８の処理で切り換えられた後の選択対象候補アイコンに対応して、メイン画面４０におけるメニューアイコン４１の表示態様を変更する。具体的には、新たにメイン画面４０に表示されたメニューアイコン４１の内、選択対象候補アイコンに設定されたメニューアイコン４１を強調表示（サイズを拡大及び枠の太く）する。その結果、左操作入力装置２のタッチパッド１１の操作面に対するドラッグ操作によって、選択対象候補アイコンとするメニューアイコン４１を変更できるとともに、現在選択対象候補アイコンに設定されているメニューアイコン４１を容易に識別することが可能となる。

次に、前記Ｓ１０において実行される左フリック処理のサブ処理について図１６に基づき説明する。図１６は左フリック処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ４１においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面において受け付けたドラッグ操作によって選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数を取得する。尚、詳細は前記Ｓ３１と同様であるので説明は省略する。

次に、Ｓ４２においてＣＰＵ３１は、前記Ｓ４１で取得された選択対象候補アイコンとして切り換え対象となるメニューアイコン４１の数に基づいて、右操作入力装置３のタッチパッド１１の操作面を振動させる振動波形を算出する。尚、詳細は前記Ｓ３２と同様であるので説明は省略する。

続いて、Ｓ４３においてＣＰＵ３１は、前記Ｓ４２で算出された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、左操作入力装置２のタッチパッド１１を振動させる。尚、振動処理はフリック操作が開始されてからフリック操作を終了するまでの間、所定の振動周期で継続して行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在する複数のボタン上を指がスライド移動するかのような触覚を与える。

次に、Ｓ４４においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面で受け付けたフリック操作に伴うタッチ座標の移動方向（以下、フリック方向という）及びフリック操作に伴うタッチ座標の移動速度（以下、フリック速度という）を取得する。

続いて、Ｓ４５においてＣＰＵ３１は、左操作入力装置２のタッチパッド１１の操作面において受け付けたフリック操作に基づいて、メイン画面４０において表示されるメニューアイコン４１を変更する。その結果、選択対象候補アイコンに設定されるメニューアイコン４１も切り換わることとなる。

ここで、図１７は、図９に示すメイン画面４０が表示されている状態で右方向のフリック操作を受け付けた場合における選択対象候補アイコンの切り換え態様を示した図である。図１７に示す例では、ユーザが左操作入力装置２のタッチパッド１１の操作面に対して右方向へフリック操作を行うことにより、メイン画面４０において表示対象となるメニューアイコン４１のグループが、ナビゲーション装置に関するメニューアイコン４１のグループからオーディオに関するメニューアイコン４１のグループへと変更となる。その結果、選択対象候補アイコンに設定されるメニューアイコン４１も、新たに表示されたメニューアイコン４１に対して設定されることとなり、ドラッグ操作を受け付ける前に選択対象候補アイコンに設定されていたメニューアイコン４１は、全て選択対象候補アイコンの対象から外れる。そして、新たにメイン画面４０に表示されたメニューアイコン４１の内、フリック操作前の選択対象候補アイコンと同位置にある所定数（最大９個）のメニューアイコン４１が新たに選択対象候補アイコンに設定される。

例えば、図１７に示す例ではドラッグ操作を受け付ける直前において『目的地』、・・・『地点登録』の９つのメニューアイコン４１が選択対象候補アイコンに設定されている。その後、右方向へのフリック操作が行われた時点で、『ＨＤ』、・・・『ラジオ』の９つのメニューアイコン４１へと選択対象候補アイコンが切り換わる。尚、その後に更に右方向へとフリック操作を行えば、その他の車両機器に関するメニューアイコン４１のグループへと選択対象候補アイコンが切り換わることとなる。

そして、Ｓ４６においてＣＰＵ３１は、前記Ｓ４５の処理で切り換えられた後の選択対象候補アイコンに対応して、メイン画面４０におけるメニューアイコン４１の表示態様を変更する。具体的には、新たにメイン画面４０に表示されたメニューアイコン４１の内、選択対象候補アイコンに設定されたメニューアイコン４１を強調表示（サイズを拡大及び枠の太く）する。その結果、左操作入力装置２のタッチパッド１１の操作面に対するフリック操作によって、選択対象候補アイコンとするメニューアイコン４１を変更できるとともに、現在選択対象候補アイコンに設定されているメニューアイコン４１を容易に識別することが可能となる。

次に、前記Ｓ２１において実行される右ドラッグ処理のサブ処理について図１８に基づき説明する。図１８は右ドラッグ処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ５１においてＣＰＵ３１は、予め設定された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、右操作入力装置３のタッチパッド１１を振動させる。また、振動波形の振幅は、前記Ｓ３３及び前記Ｓ４３において右操作入力装置３のタッチパッド１１を振動させる際の振幅より大きくし、単位時間当たりの振動回数は、前記Ｓ３３及び前記Ｓ４３において右操作入力装置３のタッチパッド１１を振動させる際の振動回数よりも少なくすることが好ましい。尚、振動処理はドラッグ操作が開始されてからドラッグ操作を終了するまでの間、所定の振動周期で継続して行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在する複数のボタン上を指がスライド移動するかのような触覚を与える。

次に、Ｓ５２においてＣＰＵ３１は、前記Ｓ１８で表示領域の座標系に変換したタッチ座標と、メイン画面４０に含む選択対象候補アイコンに設定されたメニューアイコン４１の表示領域とを比較し、選択対象候補アイコンに設定されたメニューアイコン４１内にタッチ座標を含む場合には、該メニューアイコン４１をその地点でのタッチ操作により選択可能な対象として更に強調表示する。強調表示の方法としては、例えば、枠の太さをより太くなるように変更したり、表示色を変更すること等が可能である。

その後、Ｓ５３においてＣＰＵ３１は、ドラッグ操作が終了したか否かを判定する。そして、ドラッグ操作が終了したと判定された場合（Ｓ５３：ＹＥＳ）には振動処理やメニューアイコン４１の強調表示を終了する。一方、ドラッグ操作が継続していると判定された場合（Ｓ５３：ＮＯ）にはドラッグ操作が終了するまで振動処理やメニューアイコン４１の強調表示を継続して行う。

次に、前記Ｓ２２において実行される右タッチ処理のサブ処理について図１９に基づき説明する。図１９は右タッチ処理のサブ処理プログラムのフローチャートである。

先ず、Ｓ６１においてＣＰＵ３１は、前記Ｓ１７で検出されたタッチ座標と前記Ｓ３及び前記Ｓ１１で操作面上に設定された選択領域とを比較し、タッチ座標がいずれかの選択領域以内に含まれるか否か判定する。尚、選択領域内にあるピン２１が押下されたことや、操作面に対して所定量以上の撓みが生じたことを前記Ｓ６１の判定条件に追加しても良い。

そして、タッチ座標がいずれかの選択領域以内に含まれると判定された場合（Ｓ６１：ＹＥＳ）には、Ｓ６２へと移行する。それに対して、タッチ座標がいずれの選択領域以内にも含まれないと判定された場合（Ｓ６１：ＮＯ）には、メニューアイコン４１の選択を行うことなくＳ２３へと移行する。

Ｓ６２においてＣＰＵ３１は、予め設定された振動波形に対応する信号電圧を圧電素子１２に加えることにより、圧電素子１２を歪ませ、右操作入力装置３のタッチパッド１１を振動させる。また、振動波形の振幅は、前記Ｓ３３及び前記Ｓ４３において右操作入力装置３のタッチパッド１１を振動させる際の振幅より大きくすることが好ましい。尚、振動処理は基本的にタッチオンを検出した時点で予め決められた回数（例えば１回）や期間のみ行う。そして、振動を生じさせることによって、タッチパッド１１の操作面をタッチするユーザに対して実在するボタンを指で押下する触覚を与える。

続いて、Ｓ６３においてＣＰＵ３１は、前記Ｓ６１でタッチ座標が含まれると判定された選択領域に対応するメニューアイコン４１を、ユーザにより選択されたメニューアイコン４１として特定する。

その後、Ｓ６４においてＣＰＵ３１は、前記Ｓ６３で特定されたメニューアイコン４１の選択及び操作に基づく各種制御処理を実行する。具体的には、特定されたメニューアイコン４１に対応するアプリケーションを起動し、更に、その後に受け付けたユーザの操作に基づいて起動されたアプリケーションを実行する。特に、車両に搭載された各種車載器や車両機器の操作に対応したアプリケーションが起動された場合には、設定操作画面４２（図７）を表示し、更に、その後に受け付けたユーザの操作に基づく操作信号を各種車載器や車両機器の制御装置へと送信する。一方、操作信号を受信した車載器や車両機器では、受信した操作信号に基づく制御（例えば、地図の縮尺変更操作、エアコンの設定温度変更操作等）を行う。その結果、左操作入力装置２や右操作入力装置３を介した各種車載器や車両機器の操作を行うことが可能となる。

続いて、操作支援システム１において操作支援ＥＣＵ１５が実行する突出制御処理プログラムについて図２０に基づき説明する。図２０は本実施形態に係る突出制御処理プログラムのフローチャートである。ここで、突出制御処理プログラムは車両のＡＣＣがＯＮされた後に実行され、左操作入力装置２及び右操作入力装置３において“突出状態”にあるピン２１をユーザの操作に基づいて上下動させるプログラムである。尚、以下の図２０にフローチャートで示されるプログラムは、操作支援システム１が備えているＲＡＭ３２やＲＯＭ３３に記憶されており、ＣＰＵ３１により実行される。

先ず、突出制御処理プログラムではＳ７１においてＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、左操作入力装置２及び右操作入力装置３のいずれかのタッチパッド１１の操作面において、ユーザが少なくとも１点以上をタッチしているタッチ状態にあるか否かを判定する。例えば、タッチパッド１１が抵抗膜方式や静電容量方式である場合には、所定値以上の圧力を検出した場合や所定値以上の静電容量の変化を検出した場合に、ユーザがタッチパッド１１をタッチした状態にあると判定する。

そして、左操作入力装置２及び右操作入力装置３のいずれかのタッチパッド１１の操作面をタッチしたタッチ状態にあると判定された場合（Ｓ７１：ＹＥＳ）には、Ｓ７２へと移行する。それに対して、左操作入力装置２及び右操作入力装置３のいずれのタッチパッド１１の操作面もタッチした状態にないと判定された場合（Ｓ７１：ＮＯ）には、当該突出制御処理プログラムを終了する。

Ｓ７２においてＣＰＵ３１は、圧電素子１２からの信号に基づいてタッチパッド１１の操作面に変形（撓み）が生じているか否かを判定する。尚、前記したようにタッチパッド１１と基部１４とは、四隅に配置された支持部２０によって両者間に所定の間隙を設けるように構成されているので（図４参照）、タッチパッド１１の操作面をユーザが強く押下すれば、操作面は下側に撓むこととなる。また、前記Ｓ７２の判定は、タッチパッド１１の操作面に対するユーザの接触面積によって判定しても良い。その場合には、接触面積が所定値以上であればユーザが操作面を強く押下している、即ちタッチパッド１１の操作面に変形（撓み）が生じていると判定するように構成する。

そして、タッチパッド１１の操作面に変形（撓み）が生じていると判定された場合（Ｓ７２：ＹＥＳ）には、Ｓ７３へと移行する。それに対して、タッチパッド１１の操作面に変形（撓み）が生じていないと判定された場合（Ｓ７２：ＮＯ）には、当該突出制御処理プログラムを終了する。

Ｓ７３においてＣＰＵ３１は、タッチパッド１１から送信される検出信号に基づいて、ユーザがタッチする地点の座標であるタッチ座標をタッチパッド１１の操作面の座標系で検出する。例えば、タッチパッド１１が抵抗膜方式や静電容量方式である場合には、圧力変化のあった地点や静電容量の変化に基づいて流れた電流の位置を検出することによって、タッチ座標を検出する。

次に、Ｓ７４においてＣＰＵ３１は、前記Ｓ７４で検出されタッチ座標の周辺にある少なくとも１以上のピン２１が“突出状態”にあるか否かを判定する。ここで、前記したように操作支援処理プログラム（図８）のＳ３及びＳ１１では、表示画面に表示された選択対象候補アイコンの配置態様に対応して、右操作入力装置３の操作面に対して操作領域が設定され、更に設定された操作領域に含まれるピン２１が“突出状態”となる。

そして、前記Ｓ７４においてＣＰＵ３１は、図２１に示すように検出されたタッチ座標Ｘを中心とした所定距離Ｌ以内の範囲６１にあるピン２１（図２１ではピン２１Ａとピン２１Ｂ）が“突出状態”にあるか否かを判定する。尚、上記所定距離Ｌは、タッチパッド１１の操作面の変形量に応じて変更するのが望ましい。例えば、変形量が大きい程、所定距離Ｌを長くする。また、前記Ｓ７４ではタッチ座標から最も近い距離にあるピン２１のみを判定対象としても良い。

そして、タッチ座標の周辺にある少なくとも１以上のピン２１が“突出状態”にあると判定された場合（Ｓ７４：ＹＥＳ）には、Ｓ７５へと移行する。一方、タッチ座標の周辺にあるピン２１がいずれも“突出状態”にないと判定された場合（Ｓ７４：ＮＯ）には、ピン２１を新たに上下動させることなく当該突出制御処理プログラムを終了する。

Ｓ７５においてＣＰＵ３１は、前記Ｓ７４においてタッチ座標の周辺にあると判定されたピン２１のピン駆動機構１３を駆動し、該当するピン２１を“突出状態”から“非突出状態”へと移行する。その結果、図２２に示すようなピン２１がタッチパッド１１の操作面に対して大きく突出される状況を回避することが可能となる。

その後、Ｓ７６においてＣＰＵ３１は、圧電素子１２からの信号に基づいてタッチパッド１１の操作面に生じていた変形（撓み）が修復されたか否か、又はタッチ座標の移動に伴って前記Ｓ７５で“非突出状態”へと移行されたピン２１からタッチ座標までの距離が所定距離以上となったか否かを判定する。尚、前記Ｓ７６の判定基準となる所定距離は、前記Ｓ７４において用いた所定距離Ｌとする。

そして、タッチパッド１１の操作面に生じていた変形（撓み）が修復されたと判定された場合、又は前記Ｓ７５で“非突出状態”へと移行されたピン２１からタッチ座標までの距離が所定距離以上となったと判定された場合（Ｓ７６：ＹＥＳ）には、Ｓ７７へと移行する。

Ｓ７７においてＣＰＵ３１は、ピン駆動機構１３を駆動し、前記Ｓ７５において“非突出状態”へと移行したピン２１を“突出状態”へと復帰する。尚、タッチ座標が移動することによって、新たに他のピン２１がタッチ座標の周辺において“突出状態”にあるピン２１に該当することとなった場合には、前記Ｓ７５へと移行し、該当するピン２１は“突出状態”から“非突出状態”へと移行する。

一方、タッチパッド１１の操作面に継続して変形（撓み）が生じていると判定され、且つ前記Ｓ７５で“非突出状態”へと移行されたピン２１からタッチ座標までの距離が所定距離以内であると判定された場合（Ｓ７６：ＮＯ）には、該当するピン２１の“非突出状態”を継続する。

以上詳細に説明した通り、本実施形態に係る操作支援システム１、操作支援システム１による操作支援方法及び操作支援システム１で実行されるコンピュータプログラムによれば、ユーザがタッチパッド１１の操作面をタッチした状態にあって、タッチパッド１１の操作面に変形（撓み）が生じている場合に、ユーザがタッチした地点の座標であるタッチ座標を検出し（Ｓ７３）、タッチ座標の周辺のピン２１が“突出状態”にある場合に、該ピン２１を“突出状態”から“非突出状態”へと移行する（Ｓ７５）ので、タッチパッド１１の操作面に対してピン２１が必要量以上に突出された状態となることを防止できる。その結果、ユーザに突出部材による異物感を与えることなく、また、ピン２１による他の部材（例えばカバーシート１７）への損傷を防止することが可能となる。
また、タッチパッド１１の操作面が変形したと判定された後に、該操作面の変形が修復したか否かを判定し、操作面の変形が修復したと判定された場合に、“非突出状態”に一旦移行されたピン２１を“突出状態”に復帰させるので、必要な状況下でのみピン２１を“非突出状態”となるように制御することができ、ピン２１にユーザの操作の基準としての機能を失わせることが無い。
また、タッチ地点が移動することによって、“非突出状態”に移行されたピン２１からタッチ地点までの距離が所定距離以上となった場合に、該ピン２１を“突出状態”に復帰させるので、必要な状況下でのみピン２１を“非突出状態”となるように制御することができ、ピン２１にユーザの操作の基準としての機能を失わせることが無い。
また、タッチパッド１１の操作面は、車両のハンドル５に設けられ車両を運転するユーザの操作を受け付けるので、車両を運転するユーザにタッチパッド１１の操作面を視認させることなく操作面を用いた適切な操作を行わせることが可能となる。
また、タッチパッド１１の操作面の操作により操作される複数のメニューアイコン４１を表示画面に表示し、表示画面に対するメニューアイコン４１の表示位置の関係と対応する位置にあるピン２１を“突出状態”に設定するので、表示画面に表示されたメニューアイコン４１と操作面とを対応させて、ユーザによるメニューアイコン４１の操作をより容易に行わせることが可能となる。
また、“突出状態”にあるピン２１の周辺エリアをタッチする操作を受け付けた場合に、該ピン２１に対応する位置に表示されたメニューアイコン４１を選択するとともに該メニューアイコン４１を操作するので、“突出状態”にあるピン２１を基準とすることによってユーザの意図するメニューアイコン４１を操作面への操作によって適切に選択させることが可能となる。

尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではタッチパッドによるタッチ操作を行う場合について説明しているが、タッチ操作を受け付ける手段としてはタッチパッド以外のタッチパネル、タブレット等を用いても良い。また、タッチパネルを用いる場合には、メニューアイコン４１を表示するディスプレイを、タッチパネルに重畳して配置する。

また、本実施形態では、ピン２１を“突出状態”と“非突出状態”のいずれかの状態に設定することとしているが、“突出状態”と“非突出状態”の間の任意の位置にピン２１の位置を制御できるように構成しても良い。その場合には、前記Ｓ７５においてＣＰＵ３１は、タッチパッド１１の操作面の変形量に応じてピン２１の位置を調整しても良い。具体的には、操作面の変形量が大きい程、ピン２１の位置をより下方（非突出状態側）に位置するように調整する。

また、本実施形態では、左操作入力装置２と右操作入力装置３の両方にピン駆動機構１３を設けることとしているが、右操作入力装置３のみに設けることとしても良い。

また、本実施形態では、左操作入力装置２及び右操作入力装置３において、ピン２１は３×３の計９個配置する構成としているが、例えば２×２の計４個や４×４の計１６個配置する構成としても良い。また、ピン２１の配置態様に応じて左操作入力装置２及び右操作入力装置３によって操作対象となるアイコンの数や配置を定義変更する必要がある。

また、上述した操作支援ＥＣＵ１５が実行する処理の一部又は全部をナビゲーション装置のＥＣＵが実行する構成としても良い。また、操作対象物となるアイコンを表示する表示画面はナビゲーション装置のディスプレイにおいて表示する構成としても良い。また、左操作入力装置２や右操作入力装置３は車両のハンドル５以外の箇所に設ける構成としても良い。

１ 操作支援システム
２ 左操作入力装置
３ 右操作入力装置
４ ＨＵＤ
１１ タッチパッド
１２ 圧電素子
１３ ピン駆動機構
１５ 操作支援ＥＣＵ
２１ ピン
３１ ＣＰＵ
３２ ＲＡＭ
３３ ＲＯＭ
３４ フラッシュメモリ
４１ メニューアイコン
５１〜５９ 選択領域

Claims (9)

1. ユーザの操作を受け付ける操作面と、前記操作面に形成された複数の孔を介して複数の突出部材を前記操作面に対して上下動させる駆動機構とを備えた操作支援システムにおいて、
   前記駆動機構を制御することによって、複数の前記突出部材毎に、前記突出部材の先端が前記操作面よりも上方に位置する突出状態と前記操作面よりも下方に位置する非突出状態のいずれかの状態に設定する状態設定手段と、
   前記ユーザが前記操作面に触れたタッチ地点の位置を検出するタッチ地点検出手段と、
   前記タッチ地点検出手段によって前記タッチ地点の位置が検出された場合に、前記操作面が変形したか否かを判定する変形判定手段と、
   前記変形判定手段によって前記操作面が変形したと判定されたか否かに応じて、前記タッチ地点の周辺に位置する前記突出部材の突出状態と非突出状態を制御する状態制御手段と、を有することを特徴とする操作支援システム。
2. 前記状態制御手段は、前記変形判定手段によって前記操作面が変形したと判定された場合であって、前記タッチ地点の周辺に位置する前記突出部材が突出状態にある場合に、該突出部材を突出状態から非突出状態に移行することを特徴とする請求項１に記載の操作支援システム。
3. 前記変形判定手段によって前記操作面が変形したと判定された後に、該操作面の変形が修復したか否かを判定する修復判定手段と、
   前記修復判定手段によって前記操作面の変形が修復したと判定された場合に、前記状態制御手段によって非突出状態に移行された前記突出部材を突出状態に復帰させる終了状態復帰手段と、を有することを特徴とする請求項１又は請求項２に記載の操作支援システム。
4. 前記タッチ地点が移動することによって、前記状態制御手段によって非突出状態に移行された前記突出部材から前記タッチ地点までの距離が所定距離以上となった場合に、該突出部材を突出状態に復帰させる移動状態復帰手段を有することを特徴とする請求項１乃至請求項３のいずれかに記載の操作支援システム。
5. 前記操作面は、車両のハンドルに設けられ前記車両を運転するユーザの操作を受け付けることを特徴とする請求項１乃至請求項４のいずれかに記載の操作支援システム。
6. 前記操作面の操作により操作される複数の操作対象物を表示画面に表示する操作対象物表示手段を有し、
   前記状態設定手段は、前記表示画面に対する前記操作対象物の表示位置の関係と対応する位置にある前記突出部材を突出状態に設定することを特徴とする請求項１乃至請求項５のいずれかに記載の操作支援システム。
7. 突出状態にある前記突出部材の周辺エリアを触れる操作を受け付けた場合に、該突出部材に対応する位置に表示された前記操作対象物を選択するとともに該操作対象物を操作する対象物選択手段を有することを特徴とする請求項６に記載の操作支援システム。
8. ユーザの操作を受け付ける操作面と、前記操作面に形成された複数の孔を介して複数の突出部材を前記操作面に対して上下動させる駆動機構とを備えた操作機器の操作支援方法において、
   前記駆動機構を制御することによって、複数の前記突出部材毎に、前記突出部材の先端が前記操作面よりも上方に位置する突出状態と前記操作面よりも下方に位置する非突出状態のいずれかの状態に設定する状態設定ステップと、
   前記ユーザが前記操作面に触れたタッチ地点の位置を検出するタッチ地点検出ステップと、
   前記タッチ地点検出ステップによって前記タッチ地点の位置が検出された場合に、前記操作面が変形したか否かを判定する変形判定ステップと、
   前記変形判定ステップによって前記操作面が変形したと判定されたか否かに応じて、前記タッチ地点の周辺に位置する前記突出部材の突出状態と非突出状態を制御する状態制御ステップと、を有することを特徴とする操作支援方法。
9. ユーザの操作を受け付ける操作面と、前記操作面に形成された複数の孔を介して複数の突出部材を前記操作面に対して上下動させる駆動機構とを備えた操作機器を操作するコンピュータプログラムにおいて、
   前記駆動機構を制御することによって、複数の前記突出部材毎に、前記突出部材の先端が前記操作面よりも上方に位置する突出状態と前記操作面よりも下方に位置する非突出状態のいずれかの状態に設定する状態設定機能と、
   前記ユーザが前記操作面に触れたタッチ地点の位置を検出するタッチ地点検出機能と、
   前記タッチ地点検出機能によって前記タッチ地点の位置が検出された場合に、前記操作面が変形したか否かを判定する変形判定機能と、
   前記変形判定機能によって前記操作面が変形したと判定されたか否かに応じて、前記タッチ地点の周辺に位置する前記突出部材の突出状態と非突出状態を制御する状態制御機能と、
   を実行させることを特徴とするコンピュータプログラム。

Images