JP2007237986A - 車両用入力装置 - Google Patents

Abstract

【課題】表示部の画像を注視せずとも操作部の操作を可能にする車両用入力装置を提供すること。
【解決手段】操作スイッチが配置された操作部２０と、操作部２０における操作スイッチの配置位置およびその機能を表す操作メニュー画像を表示する表示部４０とを車室内の物理的に離れた位置に別々に配置した車両用入力装置において、操作部２０を操作する操作者の手を撮影する撮影手段５０と、撮影手段５０により撮影した手の画像を抽出して操作メニュー画像に合成し表示部４０に表示する合成表示手段と、表示部４０において合成表示された手の画像が指し示す操作スイッチの種類に基づいて表示部４０の所定領域における視覚的表現を変化させる視覚的表現制御手段と、を備えることを特徴とする。
【選択図】図１

Description

本発明は、操作スイッチが配置された操作部と、前記操作部における操作スイッチの配置位置およびその機能を表す操作メニュー画像を表示する表示部とを、車室内の物理的に離れた位置に別々に配置した車両用入力装置に関する。

従来から、車内の好適位置に配置され、各種車載機器を作動操作するための複数種のスイッチが集約して配列された多機能スイッチ操作プレートと、操作者が前方視できる視野領域の車内好適位置に配置され、前記複数種のスイッチの配列位置を示す画像を表示する表示部と、操作しようとする目標スイッチを操作者が指先で操作するとき、表示部に表示されている目標スイッチの画像の配列位置およびその機能を操作者に認識させるよう制御するコントローラと、を備え、操作者が前方視状態で表示部に表示されている目標スイッチの画像を視認しつつ多機能スイッチ操作プレート上の目標スイッチをリアルタイムで指先操作可能に構成したことを特徴とする車載機器スイッチ安全操作システムが知られている（例えば、特許文献１参照。）。

このシステムは、多機能スイッチ操作プレートのような操作部を操作する車両運転者（操作者）の手の画像をカメラで撮影し、表示部に表示される操作部の疑似画像上に撮影した手の画像を重畳表示させ、車両運転者が操作部を見なくとも操作部の実際の操作を可能とするので、操作部と表示部とを物理的に分離し、車両運転者が操作しやすい位置に操作部を配置し、かつ、車両進行方向を見ながらも内容を確認できる位置に表示部を配置することができる。これにより、車両運転者は、車両進行方向から視線を大きく移動させることなく操作部を操作することができる。
特開２０００−６６８７号公報

しかしながら、上記システムにおいても、車両運転者は、各種スイッチを操作するために表示部に表示された画像を短時間ながら注視する必要がある。車両進行方向を見ながらも内容を確認できる位置に表示部を配置することで、車両運転者は、車両進行方向の状況を捉えながら操作部を操作できるが、操作部の画像を注視せずとも操作部を操作できれば車両運転者は車両進行方向の状況により一層集中できるものと考えられる。

上述の考察に鑑み、本発明は、表示部の画像を注視せずとも操作部の操作を可能にする車両用入力装置を提供することを目的とする。

上述の目的を達成するために、第１の発明は、操作スイッチが配置された操作部と、前記操作部における操作スイッチの配置位置およびその機能を表す操作メニュー画像を表示する表示部とを車室内の物理的に離れた位置に別々に配置した車両用入力装置において、前記操作部を操作する操作者の手を撮影する撮影手段と、前記撮影手段により撮影した手の画像を抽出して前記操作メニュー画像に合成し前記表示部に表示する合成表示手段と、前記表示部において前記合成表示された手の画像が指し示す前記操作スイッチの種類に基づいて前記表示部の所定領域における画像表現を変化させる視覚的表現制御手段と、を備えることを特徴とする。

また、第２の発明は、第１の発明に係る車両用入力装置において、前記視覚的表現制御手段が、前記合成表示された手の画像が指し示す前記操作スイッチの種類に基づいて前記合成表示された手の画像の色、色相、輝度、明度または彩度を変化させることを特徴とする。

また、第３の発明は、第１の発明に係る車両用入力装置において、前記視覚的表現制御手段が、前記合成表示された手の画像が指し示す前記操作スイッチと前記合成表示された手の画像とを同じ色にすることを特徴とする。

また、第４の発明は、第１の発明に係る車両用入力装置において、前記視覚的表現制御手段が、前記合成表示された手の画像が指し示す前記操作スイッチの種類に基づいて背景色を変化させることを特徴とする。

また、第５の発明は、第１乃至第４の何れかの発明に係る車両用入力装置において、前記表示部において前記合成表示された手の画像が指し示す前記操作スイッチの内容を音声または振動により表現する手段を備えることを特徴とする。

上述の手段により、本発明は、指で指し示すスイッチの種類に応じて表示部の所定領域における画像表現を変化させることにより表示部の画像を注視せずとも操作部の操作を可能にする車両用入力装置を提供することができる。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

図１は、本発明に係る車両用操作装置の車両搭載状態の実施例１を示す斜視図である。図２は、図１に示す車両用入力装置の側面視による概略的な断面図であり、図３は、車両入力装置に関連する車載システムの機能ブロック図を示す。本実施例の車両用入力装置は、図１に示すように、操作部２０、表示部４０およびカメラ５０を備え、操作部２０および表示部４０は、車室内の物理的に離れた位置に別々に配置される。

操作部２０は、複数の操作スイッチが配置されるタッチパネルを含み、運転者が操作し易い位置、好適には、運転者が手を伸ばすだけで操作できるような位置に配置される。例えば、操作部２０は、図１に示すようにセンターコンソール部に配置されてもよいし、インストルメントパネルに配置されてもよい。なお、操作部２０は、好適には、その略平らな操作面が略水平になるように配置される。

複数の操作スイッチは、操作部２０の表面に起伏を伴って配置され触覚により存在が認識できるスイッチであってもよく、従来のタッチパネルのように、操作部２０の座標で示される所定領域が押下されることにより入力を受け付け、大きさ、形状、または、入力に必要な圧力、接触時間若しくは接触範囲を動的に変化させるスイッチであってもよい。

表示部４０は、液晶ディスプレイ等で構成され、運転者が見易い位置、好適には、運転者が運転中の視線を大きく変えることなく視認することができるような位置に配置される。例えば、表示部４０は、図１に示すようにインストルメントパネル上面の中央部に配置されてもよいし、また、メーター内に配置されてもよい。また、表示部４０は、補助的にＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）等の発光手段を備えてもよい。

表示部４０に表示される画像出力は、制御手段７０（図３参照。）により制御される。制御手段７０は、例えば、ナビゲーション装置の一部（描画プロセッサを含む。）であってもよく、この場合、後述の操作メニュー画像の他、地図画像等を表示部４０に表示する。

また、表示部４０は、制御手段７０による制御下で、図４に示すような操作メニュー画像を表示する。操作メニュー画像は、操作部２０における操作スイッチの配置位置およびその機能を表示する。操作メニュー画像は、操作スイッチの名称を表示することでそれぞれの操作スイッチに対する入力操作により実行される各種機能を運転者に表示すると共に、それらの画像配置を示すことで当該各種機能を実行するために入力操作されるべき各操作スイッチの正確な位置を運転者に表示する役割を果たす。

図４に示す例では、操作メニュー画像は、操作部２０における８つの操作スイッチを模した図形画像Ｆ１〜Ｆ８を含む。この表示部４０を見た運転者は、操作部２０において操作スイッチが上下２段に８個配列されていることを認識すると共に、各図形画像Ｆ１〜Ｆ８内の文字を見ることで、各操作スイッチを操作することにより実行される機能を認識することができる。例えば、運転者がメールを閲覧したい場合、運転者は、“メール”の文字を含む図形画像Ｆ３に対応する位置にある操作スイッチ、即ち、操作部２０における上段の左から３番目の操作スイッチの位置に対応する操作部２０上の操作スイッチを押下すればよいことを理解することができる。

操作メニュー画像は、各種用意され、操作部２０における操作状況等に応じて切り替えられてもよい。この場合、当該操作メニュー画像の切り替えに応じて、操作部２０における操作スイッチの配置位置およびその機能が変更される。この構成により、操作部２０において多くの車載機器の操作スイッチを集中的に入力操作することができ、操作スイッチの効率的な集約を図ることができる。例えば、操作部２０には、メールや電話、周辺施設案内等の情報通信系の車載装置の操作のみならず、空調装置、オーディオ装置等の各種操作のための各種操作スイッチが配置されてもよい。

カメラ５０（撮影手段）は、例えばＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）を撮像素子とする小型カメラであり、操作部２０（およびそれを操作する運転者の手）を俯瞰できるように配置される。即ち、カメラ５０は、操作部２０全体を捕捉するように操作部２０との位置・角度関係や焦点等が決定される。従って、カメラ５０によって撮影された画像（以下、「カメラ画像」とする。）の略全体に操作部２０全体の画像が含まれる。操作部２０を操作するための運転者の手がカメラ５０の撮影範囲に入ると、図５に示すように、カメラ画像に手の画像が含まれることになる。この手の画像（以下、「手画像」という。）を含むカメラ画像は、手画像合成手段７２（図３参照。）に供給される。手画像合成手段７２は、手画像だけをカメラ画像から抽出し、抽出した手画像と制御手段７０から供給される操作メニュー画像とを合成して表示部４０に表示する。以下、この手画像を含む操作メニュー画像を「合成画像」という。

画像の抽出および合成は、カメラ画像に含まれる手以外の部分（操作部２０）と手との色度（彩度）差またはコントラスト差を利用して実現されてもよい。典型的には、それ自体よく知られているクロマキー合成技術が用いられる。これは、特定の色（キーカラー）を背景に用いて所定の被写体の画像を撮影しておき、その背景（キーカラー）を別な画像で置き換えることで合成を行う技術である。キーカラーには、一般的に青色が用いられる。青色は、人間の肌の色（肌色）の補色であり、人間の手を抜き出す処理に適しているからである。従って、クロマキー合成処理は、操作部２０をキーカラー（例えば青色。）で構成し、カメラ画像の青色部分を抜き取り手画像だけを抽出し、当該手画像を、背景画像として用意されている操作メニュー画像（図４参照。）と合成することにより実行される。操作部２０は、青色ＬＥＤ等を備え、表面が青色に発光するように構成されてもよい。なお、手画像の抽出および合成には、他の方法、例えば、ルミナンスキー合成技術（画像の輝度とコントラストとの情報を含むルミナンス信号のうちのある輝度信号を指定してその信号以下または以上のみを抜き取る方法）等があるが、以下では、主にクロマキー合成技術が用いられる場合について説明する。

図６は、合成画像の例を示す図である。手画像の合成位置、即ち操作メニュー画像のどの位置に手画像を合成するかは、操作部２０における実際の手の位置と各操作スイッチ位置との相対関係が、表示部４０（合成画像）における手画像の位置と各図形画像Ｆ１〜Ｆ８の位置との相対関係に正確に再現されるように決定される。なお、この合成位置は、カメラ画像における座標系と操作メニュー画像における座標系との相対関係（座標変換式）に基づいて演算されてもよい。この際、カメラ５０の搭載位置の誤差等が適切に補正されてもよい。

図６に示す例では、手画像が図形画像Ｆ３を操作する位置に示されている。この場合、運転者は、現在の人差し指の位置でスイッチ操作を行うと、図形画像Ｆ３に対応する機能、即ちメール機能が実現されることを認識することができる。このように、運転者は操作部２０を見なくとも、表示部４０を見ながら手元付近にある操作部２０で入力操作（いわゆるブラインドタッチ操作）を行うことが可能となる。

ここで、カメラ画像から抽出される手画像は、図６に示すように、好適には、実画像をそのまま用いるのではなく、手を抽象的または擬似的に表す抽象画像に変換される。これにより、運転者の手の実画像がそのまま映し出されることにより運転者が受ける生理的違和感（嫌悪感、気持ち悪さ）を和らげることができる。

手の抽象画像は、例えば、図６（Ａ）に示すように手のシルエットが表示部４０上に映し出されるように輪郭線内部を所定の色（不透明色）で塗りつぶすことで生成されてもよく、図６（Ｂ）に示すように輪郭線内部に半透明色を付してもよい。これにより、手によって本来隠れてしまう操作メニュー画像の部分を運転者に見せることができる。

また、手の抽象画像は、図６（Ｃ）に示すように輪郭線だけを残して内部を透明とし、輪郭線を比較的太い線または高輝度の線で強調するようにしてもよい。さらに、図６（Ｄ）に示すように、輪郭線を比較的太い線または高輝度としながら、内部を半透明としてもよい。この場合、強調された輪郭線により手の正確な位置を直ちに認識させることができる。

なお、上述の各種抽象画像は、手画像合成手段７２において生成される。その際、上述の各種抽象画像のうちの何れの種類の抽象画像が生成されるかは、運転者により選択・変更可能としてもよい。

ところで、表示部４０は、操作メニュー画像と抽象化された手画像とを表示し、運転者が操作部２０を見る必要なく、操作スイッチを操作できるようにするが、運転者は、所望の機能を実行させるために、自身の指が指し示す図形画像が何れであるかを表示部４０で注視して確認する必要がある。

表示部４０の最適な配置により、運転者は、運転中に視線をほとんど変える必要なく操作スイッチを操作できるが、表示部４０を注視せずに操作スイッチを操作できれば、運転者が車両進行方向の監視に集中できる上でより好適である。

そこで、本実施例に係る車両用入力装置は、その特徴的な構成として、運転者が指し示す図形画像に基づいて手画像や背景の画像の画像表現を変更し、運転者が指し示す図形画像が何れであるかを容易に認識させることができる視覚的表現制御手段８０を備える。

以下、図７を参照して、視覚的表現制御手段８０を備える車両用入力装置について詳説する。

図７は、視覚的表現制御手段８０により画像表現が変更された合成画像の表示例を示す。以下、視覚的表現制御手段８０により画像表現が変更された合成画像を修正画像と呼ぶこととする。

図７（Ａ）は、手画像が図形画像Ｆ１を指し示しており、手画像の色が図形画像Ｆ１と同じ色に変更された状態を示す。手画像が指し示す位置（以下、「指示座標」という。）は、例えば、手画像に含まれる座標のうち表示部４０上で最も上に位置する座標とされ、この場合、左手の人差し指の先端に相当する。視覚的表現制御手段８０は、指示座標の座標点を含む図形画像（この場合、図形画像Ｆ１）が存在する場合、手画像を塗りつぶす色を所定の色に変更させる。好適には、図形画像Ｆ１が所定の色で表される場合には、手画像の色を図形画像Ｆ１の色と同じ色に変更させる。これにより、手画像により指し示された図形画像Ｆ１と同じ色が表示部４０内の広範囲（手画像の大きさ）にわたって表現されるので、運転者は、表示部４０を注視せずとも視界の一部で図形画像Ｆ１が指し示されているのを捉えることができる。同様に、図７（Ｂ）は、指示座標が図形画像Ｆ２に含まれ、手画像の色が図形画像Ｆ２と同じ色に変更された状態を示し、図７（Ｃ）は、指示座標が図形画像Ｆ３に含まれ、手画像の色が図形画像Ｆ３と同じ色に変更された状態を示す。

また、図７（Ｄ）は、手画像が図形画像Ｆ１を指し示しており、背景の色が図形画像Ｆ１と同じ色に変更された状態を示す。視覚的表現制御手段８０は、図形画像Ｆ１が指示座標の座標点を含む場合、背景色を所定の色に変更させる。好適には、図形画像Ｆ１が所定の色で表される場合には、背景色を図形画像Ｆ１の色と同じ色に変更させる。同様に、図７（Ｅ）は、指示座標が図形画像Ｆ２に含まれ、背景色が図形画像Ｆ２と同じ色に変更された状態を示し、図７（Ｃ）は、指示座標が図形画像Ｆ３に含まれ、背景色が図形画像Ｆ３と同じ色に変更された状態を示す。

手画像や背景（以下、「手画像等」という。）に使用される色は、例えば、図４のような操作メニュー画像が表示される画面において、カーナビゲーションのルート探索機能への移行は赤色、オーディオ機能への移行は緑色、エアコン機能への移行は青色、或いは、各種設定画面において、オーディオの音量やエアコンの設定温度等の設定を上昇させる機能は赤色、下降させる機能は青色というように、機能毎に割り振られてもよい。

また、地図画像を上下左右に移動させたり、スクロールさせたりする場合に、例えば、上方向は青色、左方向は赤色、左上方向はその混合色である紫色としたり、何れの画面においても共通して、画面左端の図形画像を紫色とし、右側に向かって順番に青色、緑色、黄色、赤色としたりして、画面上の位置に基づいて割り振られてもよい。

このように、手画像等に使用される色は一定のルールに基づいて定められ、運転者が配置や機能の内容を認識し易いようにする。

なお、視覚的表現制御手段８０は、指示座標を含む図形画像が何れであるかに応じて、手画像等の色を変更させるばかりでなく、手画像等の輝度、明度、彩度、色相等を変更させるようにしてもよい。運転者が表示部４０を注視せずに視界の一部で変化を捉えられる点で共通するからである。

また、視覚的表現制御手段８０は、手画像等を点滅させ、指し示す図形画像に応じて点滅間隔を変更することで、何れの図形画像が指し示されたかを運転者に伝えるようにしてもよく、手画像等の色を青色、緑色、赤色といった所定の順番で変化させ、指し示す図形画像に応じてその順番を変化させることで、何れの図形画像が指し示されたかを運転者に伝えるようにしてもよい。これらの構成により、使用する色の数を低減させながら、運転者に画面を注視させることなく、多数の図形画像から１の図形画像を識別させることができる。また、手画像等を回転させたり、形を変えたり、縮小拡大したりといった動画表現を用いて同様の効果が得られるようにしてもよい。

また、色を変更する対象も手画像等の他、表示部４０の枠やインストルメントパネル等に備えられたＬＥＤ等、運転者が視界の一部で変化を捉えられるものであれば表示部４０の画像以外のものであってもよい。

また、本実施例に係る車両用入力装置は、視覚的表現制御手段８０のように視覚的表現を変化させることで手画像の指し示す図形画像が何れであるかを運転者の視界の一部に伝える手段に代え、或いは加えて、聴覚、触覚等の他の感覚に基づいて手画像が指し示す図形画像の種類を運転者に伝える手段を用いてもよい。

例えば、車両用入力装置は、指示座標が含まれる図形画像を判断し、即座に、或いは、所定時間（例えば、０．５秒）指示座標が留まった場合に、その図形画像の名称や内容を音声出力部９０により音声で読み上げるようにする。また、留まった時間が長い場合に、運転者に迷いがあると判断し、音声出力する説明内容をより詳細なものに変化させながら、詳細な説明内容を画面に表示させる等、表示内容の変化を伴わせてもよい。なお、音声出力部９０は、図形画像が指し示された場合に、図形画像の名称や内容を読み上げる他、画面が切り替わった場合、即座に、或いは、所定時間（例えば、２秒）経過後に、画面の概要、選択できる図形画像の数、その画面から移動できる画面の種類、その移動方法等を音声で出力するようにしてもよい。

また、音声出力部９０は、出力する音声情報の内容に応じて声色（男性の声、女性の声等）、出力位置（左のスピーカ、右のスピーカ等）、音量、出力回数、出力タイミングを変更するようにしてもよい。例えば、音声出力部９０は、出力時間が比較的長くなる画面内容の説明を、画面の切り替えと同時に、左のスピーカから、音量を小さめに、女性の声で出力し、同時に、手画像で指し示された図形画像の内容を、指示座標が留まってから所定時間（例えば、０．５秒）経過後に、右のスピーカから音量を大きめに、男性の声で出力させるようにする。これにより、運転者は、表示部４０を注視せずとも表示された画面、指し示した図形画像等を認識することができる。

また、車両用入力装置は、上述の視覚または聴覚による情報の伝達の他、ステアリングホイールやシートに振動を加えるといった触覚、圧覚による情報の伝達を利用してもよい。

以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。

例えば、上述の実施例では、車両用入力装置は、表示部４０をインストルメントパネル上部やメーター内に配置して修正画像を表示させるが、フロントガラスに修正画像そのものや指し示した図形画像を表す色のみを投影するものであってもよい。

本発明に係る車両用入力装置の車両搭載状態の一例を示す斜視図である。 図１に示す車両用入力装置の側面視による概略的な断面図である。 車両用入力装置に係る車載システムの機能ブロック図である。 操作メニュー画像の一例を示す図である。 カメラ画像を示す図である。 合成画像の複数の例を示す図である。 修正画像の複数の例を示す図である。

符号の説明

２０ 操作部
４０ 表示部
５０ カメラ
７０ 制御手段
７２ 手画像合成手段
８０ 視覚的表現制御手段
９０ 音声出力部

Claims (5)

1. 操作スイッチが配置された操作部と、前記操作部における操作スイッチの配置位置およびその機能を表す操作メニュー画像を表示する表示部とを車室内の物理的に離れた位置に別々に配置した車両用入力装置において、
   前記操作部を操作する操作者の手を撮影する撮影手段と、
   前記撮影手段により撮影した手の画像を抽出して前記操作メニュー画像に合成し前記表示部に表示する合成表示手段と、
   前記表示部において前記合成表示された手の画像が指し示す前記操作スイッチの種類に基づいて前記表示部の所定領域における視覚的表現を変化させる視覚的表現制御手段と、
   を備えることを特徴とする車両用入力装置。
2. 前記視覚的表現制御手段は、前記合成表示された手の画像が指し示す前記操作スイッチの種類に基づいて前記合成表示された手の画像の色、色相、輝度、明度または彩度を変化させる、
   ことを特徴とする請求項１に記載の車両用入力装置。
3. 前記視覚的表現制御手段は、前記合成表示された手の画像が指し示す前記操作スイッチと前記合成表示された手の画像とを同じ色にする、
   ことを特徴とする請求項１に記載の車両用入力装置。
4. 前記視覚的表現制御手段は、前記合成表示された手の画像が指し示す前記操作スイッチの種類に基づいて背景色を変化させる、
   ことを特徴とする請求項１に記載の車両用入力装置。
5. 前記表示部において前記合成表示された手の画像が指し示す前記操作スイッチの内容を音声または振動により表現する手段を備える、
   ことを特徴とする請求項１乃至４の何れか一項に記載の車両用入力装置。

Images