JP2010202029A - 車載機器の操作装置 - Google Patents

Abstract

【課題】使い勝手がよく、パッド部の表面に触れた指の動きを検出して操作指示を出すことができる車載機器の操作装置を提供する。
【解決手段】操作する指が接触するパッド部、手に照明を与える照明部および撮像部が設けられた操作部と、撮像部で撮像された指の画像が車載機器の操作画面に重ねて表示される表示部と、撮像部で撮像された指の画像の時系列から得られるパッド部の表面に接触した１または複数の指の先端が描く軌跡が、あらかじめメモリに登録された描画パターンに一致する場合、車載機器に描画パターンに対応する操作指示を出す操作制御部と、を備える。
【選択図】図１

Description

本発明は、車載機器の操作装置に係り、より詳細には、手を動かして指がパッド部表面に描いた図形によって車載機器に操作指示が出せる操作装置に関する。

車両のシフトレバー付近のセンターコンソールに設けられた操作部と、操作部から離れたインストルメントパネルに設けられた表示部からなり、操作部に置かれた手が撮像され、表示部に表示された車載機器の操作画面に合成して表示する操作装置が知られている。（特許文献１、特許文献２）

特許文献１では、操作部にタッチパネルが設けられ、操作画面に表示された操作ボタンに重なるように指を動かして、タッチパネルを押下すれば、指を重ねた操作ボタンの操作指示が出る。特許文献２では、操作部にタッチパネルがなく、例えば「グー」「チョキ」「パー」などの手のジェスチャをカメラで認識し、操作指示が出る。

しかしながら、特許文献１に示されるような操作画面を見て目的の操作ボタンに指を重ねる操作は、視線が取られて運転操作の妨げとなる場合が生じる。特許文献２に示されるような手のジェスチャによる形状認識は、例えば「グー」のジェスチャが必ずしも「音量増大」の操作に結びつかず、覚えにくいといった問題がある。カーナビゲーション操作画面における地図の拡大縮小操作、オーディオ操作画面での音量の増減操作などは、操作ボタンを選択して押下するのではなく、指を動かした軌跡で操作内容がわかるような指示が望まれる。

特開平１０−２６９０１２号公報 特開２００１−２１６０６９号公報

本発明の目的は、使い勝手がよく、パッド部の表面に触れた指の動きを検出して操作指示を出すことができる車載機器の操作装置を提供することにある。

本発明による車載機器の操作装置は、操作する指が接触するパッド部、手に照明を与える照明部および撮像部が設けられた操作部と、前記撮像部で撮像された指の画像が車載機器の操作画面に重ねて表示される表示部と、前記撮像部で撮像された指の画像の時系列から得られる前記パッド部の表面に接触した１または複数の指の先端が描く軌跡が、あらかじめメモリに登録された描画パターンに一致する場合、前記車載機器に前記描画パターンに対応する操作指示を出す操作制御部と、を備えたものである。

前記軌跡は、パッド部に接触して生じた指の先端の白色部位の軌跡で把握されることが好ましい。

前記軌跡は、手のジェスチャによって描かれることが好ましい。

前記パッド部に、透明で指の押下位置を座標で検出する感圧センサを備えることが好ましい。

前記パッド部に、透明で前記感圧センサより強い押圧力が検出可能な荷重センサがさらに備えられることが好ましい。

本発明の車載機器の操作装置によれば、パッド部に接触した指を撮像部で撮像し、パッド部の表面に接触した１または複数の指の先端が描く軌跡が、あらかじめメモリに登録された描画パターンに一致する場合、軌跡が示す操作指示を車載機器に出す操作制御部を設けたので、操作画面に表示された操作ボタンに指を重ねる操作がなく、面倒さのない円滑な操作ができる。例えば、音量の増大なら下から上に向う指の直線状の軌跡で、音量の減少なら上から下に向う指の直線状の軌跡で指示することができる。例えば、指で数字を描くことで複数の操作ボタンの中から数字に対応する操作ボタンを選択できる。指は表示された操作ボタンに重ねる必要がなく、指が操作画面のどこにあっても操作指示が出せる。指の位置を確認するため、操作画面を見なくて済むので、運転中の操作であっても安全運転につながる。

撮像した画像から指がパッド部に接触して白色となった部位を摘出し、その軌跡を座標で把握するので、手全体の動きから指の先端を把握するのに比較して、指の先端の動きを迅速に検知できる。

指をパッド部に接触させて手のジェスチャすなわち手振りによって描かれた軌跡を使用するので、操作が覚えやすいものにできる。

パッド部に感圧センサを設けたので、例えば、指がパッド部に軽く触れて図形を描くタッチ操作に加えて、感圧センサを押下するプッシュ操作も採用できる。タッチ操作かプッシュ操作かの区別は、指の押圧力で区別でき、複雑な判定も必要ない。プッシュ操作は、操作画面の操作ボタンに指の先端を重ねて、感圧センサを押下するもので、車両走行前の初期設定など、表示部を見ながら操作する場合に有効である。

パッド部に、感圧センサに加えてさらに、感圧センサよりも強い押圧力を検出できる荷重センサを設けたので、例えば、感圧センサを押下するプッシュ操作に加えて、強い押圧力のプッシュ操作を荷重センサで検知して、感圧センサとは別の操作指示を出すことができる。

本発明による操作装置の操作部の平面図である。（実施例１） 図１のＡ−Ａ断面図である。（実施例１） 本発明による操作装置のブロック図である。（実施例１） 本発明による操作装置の制御フローチャートである。（実施例１） 図２のカメラで撮像した指の画像で、（Ａ）は指がパッド部に接触していない画像、（Ｂ）は指の先端がパッド部に接触している画像である。 指のタッチ操作の説明図である。（実施例１） タッチ操作での指の動かし方の例である。（実施例１） 図１のパッド部が透明なシートとガラス板からなる例である。 図１のパッド部に感圧センサを備えた例である。 図１のパッド部に荷重センサと感圧センサを備えた例である。 図１０の操作例を示す説明図である。

以下、図面を用いて、本発明による車載機器の操作装置を詳細に説明する。

図１は本発明による操作装置の操作部の平面図である。操作装置１００の操作部２０は、シフトレバーを配置したセンターコンソール７０に設けられる。操作部２０は、内側に照明部４を有し、底面にパッド部３を有する、くぼみ部７が設けられる。パームレストに置かれた手１は、図１の下方からくぼみ部７に挿入され、指２をパッド部３に接触させて操作する。

図２は、図１のＡ−Ａ断面図である。撮像部５のカメラ５ａは、赤外線カメラで、パッド部３の下側に設置され、手１を上方向に見て撮像する。照明部４のランプには赤外線ランプを使用した。赤外線ランプは室内の光の有無に影響されず、指２の輪郭の鮮明な画像を得ることができる。くぼみ部７を設けたので周囲に壁ができ、撮像領域６が、カメラ５ａの被写界深度の調整と前記壁により図２に示す範囲に限定され、手以外の物体を写すおそれがない。カメラ５ａの画角や焦点は撮像エリアに合わせて設定した。赤外線カメラと赤外線ランプによれば、手１または指２の静脈パターンをチェックし生体認証にも使用できる。また、脈拍を検出して運転者の健康状態をチェックすることもできる。

図３は、本発明による操作装置のブロック図である。操作装置１００は、操作部２０、操作制御部８０および表示部４０からなる。操作装置１００に車載機器３０が接続されて各車載機器３０の操作を行なう。車載機器３０には、エアコンディショナー、カーナビゲーション、オーディオなどがある。車載機器３０の操作には、例えばエアコンディショナーの温度調節や、オーディオの音量調節などがある。表示部４０には、操作する車載機器を選択させるメニュー画面や、選択された車載機器の各種操作ボタンが示された操作画面が表示される。操作制御部８０は画像処理部５０と表示制御部６０からなる。表示制御部６０は、カメラ５ａからの指の画像を表示部４０の操作画面に合成して表示する。

図３に示すように、表示制御部６０は、例えば、車載機器３０の１つであるエアコンディショナーの操作画面を選択し表示部４０に表示する。どの車載機器を選択するかは、メニュー画面に表示された車載機器の選択ボタンによる。なお、パッド部３は、操作スイッチのない構成、操作スイッチ（例：感圧センサ）を設けた構成が可能で、詳細は図８〜図１０で説明する。

図３の画像処理部５０は、撮像部５のカメラ５ａが撮像した指の画像の時系列から得られる指の先端の軌跡が、あらかじめメモリに登録された描画パターンに一致した場合、表示制御部６０に通知する機能を設けた。表示制御部６０は、これを受けて、あらかじめ決められた操作の指示を車載機器に出すことができる。

図４は、本発明による操作装置の制御フローチャートである。Ｓ１０は操作部２０の撮像領域６に入ってきた物体を撮像部５のカメラ５ａによって撮像するステップである。Ｓ１１、Ｓ１２は、撮像された物体が手であるかの判定を手形状のパターンマッチングで行い、手と判定されると次のステップへ進み、手以外の物体は表示しない。Ｓ１３は、車載機器の操作画面に合成される指の画像を真上方向（手の甲）から見た画像とするステップである。下方から撮像した指の画像は左右逆に撮像されるので、画像処理で左右反転を行う。Ｓ１４は、左右反転の画像処理を行った後、指の画像を操作画面に重ね合わせるステップである。撮像窓であるパッド部３のサイズと表示部のサイズが異なる場合は、指２の画像にサイズ変換をかける。Ｓ１５は、操作をするための指２がパッド部３に接触したかの判定を行うステップである。

図４のＳ２１、Ｓ２２、Ｓ１９のステップは、例えば０．５Ｎ程度の軽い指２の力でパッド部３に軽く触れ、カメラ５ａが撮像した指２の画像の時系列から指２の描いた軌跡を抽出し、この軌跡があらかじめメモリに登録された描画パターンに一致したら、操作指示を出すステップである。これをタッチ操作とする。タッチ操作は。指に大きな力をかける必要がなく、軽いタッチで操作できる。一方、図４のＳ１７、Ｓ１８、Ｓ１９のステップは、指２が感圧センサを押下することで操作指示が出るステップである。これをプッシュ操作とする。操作者がタッチ操作をしようとしているのかプッシュ操作をしようとしているのかは、Ｓ１６に示すように、指２の押下荷重の値で判定することができる。

Ｓ１６は、タッチ操作かプッシュ操作かを押下荷重の値で判定する。Ｓ１７〜Ｓ１９は、一定以上の押下荷重が検出された場合であり、感圧センサが作動して、感圧センサからの押下信号と押下座標が求められ、操作画面上の対応する操作ボタンの指示が出される。Ｓ２１、Ｓ２２は、押下荷重が低く、プッシュ操作とは判断されない場合である。この場合は、指２の先端の軌跡が把握される。指の軌跡があらかじめメモリに登録された描画パターンに一致した場合、画像処理部５０が表示制御部６０へ一致したことを制御信号で通知する。タッチ操作は、指２をパッド部３の表面に接触させて動かすもので、接触している指２の白色部位２ａの例えば重心の軌跡を座標で把握し、あらかじめメモリに登録された描画パターンとのマッチング処理を行って操作内容を決定する。どのような操作指示を出すかは描画パターンと組み合わせてあらかじめ登録しておく。

図５は、図２に示すカメラで撮像した指の画像である。図５に示すように、指２がパッド部３に接触すると、接触部の画像が白っぽい色に写る。Ｓ１５では画像に白色部位２ａがあれば、指が接触していると判定している。すなわち、指の先端は白色部位２ａで認識される。図５の（Ａ）は、指がパッド部３に接触していない画像、図５の（Ｂ）は、指の先端がパッド部３に接触している画像を示す。

図６は、指のタッチ操作の説明図である。タッチ操作には、操作例１〜４に示す指の動作で行なうことができる。操作例１はパッド部に指先を接触させ、つまんだ状態の指２を拡げ、拡げた状態の指をつぼめるジェスチャである。これは、例えば、カーナビゲーションの地図の拡大、縮小の指示に使用できる。操作例２は、パッド部に指先を接触させ２本指ではねるジェスチャである。これは、操作画面のキャンセルに使用することができる。操作例３は、ジェスチャではなく、指２で文字（記号、数字を含む）を直接描画する文字描画動作である。操作画面に表示された操作ボタンに特定の文字や数字を表示しておき、その文字や数字が指で描画されたら、車載機器に操作指示を出す。操作例１〜３は、指を操作画面の操作ボタンに重ねる必要がなく、指を操作部のパッド部のどの場所で動かしてよい。操作例４は、指先でパッド部を２度軽触れるダブルタッチの動作を示す。ダブルタッチは、指先が点を描くだけで線の軌跡は描かない。ダブルタッチは、描かれた点があらかじめメモリに登録された指先の描画パターンに２度一致することで検知できる。ダブルタッチは、ダブルタッチされた座標位置をカメラの画像から特定できるので、操作画面に配置された操作ボタンのクリック操作として使用できる。ダブルタッチは、操作画面の操作ボタンに指先を重ねて、この操作ボタンを押下したことを感圧センサなしでも検出できる。操作例１〜４のようなタッチ操作によれば、大きな力でパッド部を押圧することなく操作を伝えることができる。なお、描かれた軌跡の長さに応じて操作量を指示してもよい。

図７は、タッチ操作における指の動かし方の例である。地図の表示で拡大や縮小を指示する場合には、Ｔ１０、Ｔ１１（図６の操作例１に対応）に示すように、つまんだ状態から指を広げ、逆に広げた状態から指をつぼめることで指示できる。このようなジェスチャは操作内容とも一致し覚えやすい。この時、指２の先端の軌跡は複数の指２の軌跡が中心から外側に広がり、外側から中心に集まるパターンとなるので判別が可能である。また、Ｔ１２（図６の操作例２に対応）に示すように、‘キャンセル（戻り）’といった操作には二本指ではねるジェスチャを採用できる。さらに、Ｔ１３（図６の操作例３に対応）に示すように、文字入力では指２で描いた文字を文字認識するもので、操作部２０を見ることなしに文字入力を行なうブラインド操作ができる。Ｔ１４（図６の操作例４に対応）は、指２の先端をパッド部３の表面に２度触れるダブルタッチである。ダブルタッチの動作は、時刻ｔ１〜ｔ４の間に、指２の白色部位が同じ位置に２度発生することでわかる。

図８〜図１０は、パッド部の構成例を示す説明図である。図８はパッド部３が透明なシート２４とガラス板２５で構成される。図９はパッド部３に透明な感圧センサ２１を設けたものである。なお、感圧センサ２１に代えて、複数の機械式スイッチを配置してもよい。図１０はパッド部３に透明な感圧センサ２１と透明なシート状の荷重センサを設けたものである。

図８では、パッド部３が透明なシート２４とガラス板２５で構成されるので、指２によるタッチ操作で指示を出す。図８に示される指２でパッド部３を押下するプッシュ操作は、指２の白色部位２ａの形状が、タッチ操作の場合より大きくなるものの、画像処理部５０から見たプッシュ操作とタッチ操作は区別がない。従って、図８の構成では、図４のＳ１６の判定は‘ダブルタッチか？’とすることができる。Ｓ１６がＹｅｓであれば、Ｓ１７〜Ｓ１９ステップで、指２を重ねた操作画面の操作ボタンの操作指示を出すことができる。つまりダブルタッチでプッシュ操作と同じ操作をさせている。ダブルタッチの位置は、指２の白色部位２ａから算出できる。Ｓ１６がＮＯであれば、図６の項番１〜３に示すジェスチャ動作または文字描画動作であり、図４のＳ２１に分岐して指２のパッド部３に描いた軌跡が判定される。なお、シート２４に感圧の程度で色調が変化するものを採用し、プッシュ操作とタッチ操作を区別できるようにしてもよい。

図９は、パッド部３に感圧センサ２１を備えており、操作の仕方はタッチ操作とプッシュ操作の両方が使用できる。プッシュ操作は、操作画面の操作ボタンを操作する場合に使用する。従って、図４のＳ１６の判定は、記載のように‘押圧荷重は規定以上か？’となる。ダブルタッチは、この場合プッシュ操作ではないので、Ｓ２１に分岐して処理されることになる。ダブルタッチをサポートするならば、ダブルタッチとプッシュ操作の両方で、操作ボタンの操作指示が出せる。Ｓ２１に分岐すれば、指の軌跡によるタッチ操作の内容が解析される。なお、感圧センサ２１は、Ｘ軸線２１ａ、Ｙ軸線２１ｂからなり、所定の荷重で作動し、指が押下した座標位置は、縦と横に張られた複数の線の内、特定の線が導通状態になることを利用して検出する。

図１０は、パッド部３に感圧センサ２１と荷重センサ２３を備えており、荷重センサ２３はピエゾ素子２３ａを使用した。操作の仕方はタッチ操作とプッシュ操作の両方が使用できる。プッシュ操作は、強い押圧力のプッシュ操作と、感圧センサ２１が作動するレベルのプッシュ操作がある。

図１１は、図１０の操作例を示す説明図である。図１１に示すように、同じプッシュ操作でも、押圧荷重によって操作の種類を増やすことができる。

本発明は、ジェスチャを含むタッチ操作によって操作指示が出せるので車載機器の操作装置として好適である。

１ 手
２ 指
２ａ 白色部位
３ パッド部
４ 照明部
５ 撮像部
５ａ カメラ
６ 撮像領域
７ くぼみ部
２０ 操作部
３０ 車載機器
２１ 感圧センサ
２１ａ Ｘ軸線
２１ｂ Ｙ軸線
２３ 荷重センサ
２３ａ ピエゾ素子
２４ シート
２５ ガラス板
３０ 車載機器
４０ 表示部
５０ 画像処理部
６０ 表示制御部
７０ センターコンソール
８０ 操作制御部
１００ 操作装置
Ｓ１０〜Ｓ２２ 制御ステップ
Ｔ１０〜Ｔ１４ 指の動かし方

Claims (5)

1. 操作する指が接触するパッド部、手に照明を与える照明部および撮像部が設けられた操作部と、
   前記撮像部で撮像された指の画像が車載機器の操作画面に重ねて表示される表示部と、
   前記撮像部で撮像された指の画像の時系列から得られる前記パッド部の表面に接触した１または複数の指の先端が描く軌跡が、あらかじめメモリに登録された描画パターンに一致する場合、前記車載機器に前記描画パターンに対応する操作指示を出す操作制御部と、を備えることを特徴とする車載機器の操作装置。
2. 前記軌跡は、パッド部に接触して生じた指の先端の白色部位の軌跡で把握されることを特徴とする請求項１に記載の車載機器の操作装置。
3. 前記軌跡は、手のジェスチャによって描かれることを特徴とする請求項１に記載の車載機器の操作装置。
4. 前記パッド部は、透明で指の押下位置を座標で検出する感圧センサを備えることを特徴とする請求項１に記載の車載機器の操作装置。
5. 前記パッド部は、透明で前記感圧センサより強い押圧力が検出可能な荷重センサをさらに備えることを特徴とする請求項４に記載の車載機器の操作装置。
   
   
   

Images