JP2006327526A - 車載機器の操作装置 - Google Patents

Abstract

【課題】 操作者が視線を移動させる必要無しに車載機器の操作を容易に実行させる。
【解決手段】 投影制御部２２は、視線検知部２１により検知される運転者の眼球の位置および運転者の視線方向に応じて、操作用スイッチ画像が投射される運転者の網膜上の位置（投射位置）を設定し、投射位置に操作用スイッチ画像を投射したときに、操作用スイッチ画像が運転者の視線上に設定された所定の仮想画像平面上に表示されていると、運転者により認識されるように設定する。操作指検知部２３は、仮想的に仮想画像平面上に表示された操作用スイッチ画像に対する操作入力に伴う運転者の操作指の位置および該位置の変化状態を検知する。機器制御部２４は、運転者により選択された操作用スイッチ画像および操作用スイッチ画像に対して実行された運転者の入力操作を検知し、検知結果に応じて車載機器１４の動作を制御する。
【選択図】 図１

Description

この発明は、車載機器の操作装置に関する。

従来、例えば車両のフロントウィンドウ上の所定領域に各種の情報を表示可能なヘッドアップディスプレイを備え、このヘッドアップディスプレイ上に複数の操作スイッチの画像を表示し、これらの操作スイッチに対する操作者による操作入力の有無を検出し、この検出結果に応じて各操作スイッチに対応した操作機器の動作を制御する車両用表示装置が知られている（例えば、特許文献１参照）。
特開平８−７６０５０号公報

ところで、上記従来技術の一例に係る車両用表示装置によれば、複数の操作スイッチの画像が表示される各位置は、車両のフロントウィンドウ上の所定位置に固定されていることから、操作者の視線が車両の運転状態に応じて変化する場合には、ヘッドアップディスプレイ上の複数の操作スイッチを視認するために視線を移動させる必要が生じ、煩雑な手間が掛かると共に、操作者の外界に対する認識能力が低下してしまう虞がある。
本発明は上記事情に鑑みてなされたもので、操作者が視線を移動させる必要無しに車載機器の操作を容易に実行させることが可能な車載機器の操作装置を提供することを目的としている。

上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の車載機器の操作装置は、自車両に搭載された車載機器（例えば、実施の形態での車載機器１４）と、前記車載機器の操作用スイッチの画像（例えば、実施の形態での操作用スイッチ画像）が仮想的に前記自車両の乗員の視線上に位置するように前記画像を前記自車両の乗員の網膜に投射可能な投射手段（例えば、実施の形態での網膜投影装置１３）と、前記自車両の乗員の操作指の位置を検出可能な操作指位置検出手段（例えば、実施の形態での操作指センサ１２、操作指検知部２３）と、前記投射手段により前記画像が前記自車両の乗員の網膜に投射されている際に前記操作指位置検出手段により検出される前記操作指の位置および該位置の変化状態に応じて前記車載機器の前記操作用スイッチが仮想的に操作されたか否かを判定する判定手段（例えば、実施の形態での機器制御部２４）と、前記判定手段による判定結果に応じて前記車載機器の動作を制御する制御手段（例えば、実施の形態での機器制御部２４が兼ねる）とを備えることを特徴としている。

上記の車載機器の操作装置によれば、投射手段により車載機器の操作用スイッチの画像が仮想的に自車両の乗員の視線上に位置するようにして乗員の網膜に投射されることから、車両の運転状態に応じて乗員の視線が変化する場合であっても、操作用スイッチの画像を視認するために視線を移動させる必要が生じることを防止し、所望の車載機器の操作を容易に実行させることができる。

さらに、請求項２に記載の本発明の車載機器の操作装置は、自車両の乗員を撮像する撮像手段（例えば、実施の形態での眼球用カメラ１１ａ）と、前記撮像手段による撮像画像に基づき前記自車両の乗員の眼球位置を検知する眼球位置検知手段（例えば、実施の形態での視線検知部２１）とを備え、前記投射手段は、前記眼球位置検出手段の検出結果に基づき前記自車両の乗員の網膜に前記画像を投射することを特徴としている。

上記の車載機器の操作装置によれば、撮像手段による撮像画像に基づき自車両の乗員の眼球位置を検知することにより、車載機器の操作用スイッチの画像を乗員の網膜に適切に投射することができる。

さらに、請求項３に記載の本発明の車載機器の操作装置では、前記操作指位置検出手段はカメラ（例えば、実施の形態での操作指用カメラ１２ａ）を備え、前記判定手段は、前記カメラによる撮像画像（例えば、実施の形態での操作平面ＲＤ）上の前記操作指の位置および該位置の変化状態を、前記操作用スイッチの画像を仮想的に含む画像座標（例えば、実施の形態での仮想画像平面ＶＤ）上の前記操作指の位置および該位置の変化状態へと変換することを特徴としている。

上記の車載機器の操作装置によれば、仮想的に自車両の乗員の視線上の位置に表示される車載機器の操作用スイッチの画像に対する操作者の入力操作を精度良く検出することができる。

さらに、請求項４に記載の本発明の車載機器の操作装置では、前記判定手段は、前記操作指位置検出手段により検出される前記操作指の位置の変化状態に応じて前記操作用スイッチに対して仮想的に所定操作が実行されたか否かを判定することを特徴としている。

上記の車載機器の操作装置によれば、例えば操作指の位置の変化状態が所定変化状態であるか否かを判定することにより、車載機器に対する所定操作が入力されたか否かを容易に判定することができる。

さらに、請求項５に記載の本発明の車載機器の操作装置では、前記制御手段は、前記操作指位置検出手段により検出される前記操作指の位置に対応する前記操作用スイッチの画像の色状態を所定状態に設定することを特徴としている。

上記の車載機器の操作装置によれば、操作者の入力操作に応じた車載機器の作動状態を操作者に容易に認識させることができる。

さらに、請求項６に記載の本発明の車載機器の操作装置では、前記投射手段は、複数の前記車載機器の前記操作用スイッチの画像を投射可能であって、前記制御手段は、前記判定手段により操作されたと判定された前記操作用スイッチの画像の色状態を、他の前記車載機器の前記操作用スイッチの画像の色状態とは異なる状態に設定することを特徴としている。

上記の車載機器の操作装置によれば、操作者の入力操作に応じた車載機器の作動状態を操作者に容易に認識させることができる。

さらに、請求項７に記載の本発明の車載機器の操作装置では、前記判定手段により操作されたと判定されたときに、操作音を出力する出力手段（例えば、実施の形態での車載機器１４の音響装置のスピーカ）を備えることを特徴としている。

上記の車載機器の操作装置によれば、操作者の入力操作に応じた車載機器の作動状態を操作者に容易に認識させることができる。

さらに、請求項８に記載の本発明の車載機器の操作装置は、前記投射手段による前記操作用スイッチの画像の投射開始および投射終了を指示するスイッチ（例えば、実施の形態での表示スイッチ１６）を、自車両のステアリングホイールを含む自車両の乗員の手指が届く範囲内の位置に設けることを特徴としている。

上記の車載機器の操作装置によれば、操作者は投射開始および投射終了を指示するスイッチに対して視線を移動させる必要無しに、スイッチを容易に操作することができる。

以上説明したように、本発明の車載機器の操作装置によれば、車両の運転状態に応じて乗員の視線が変化する場合であっても、操作用スイッチの画像を視認するために視線を移動させる必要が生じることを防止し、所望の車載機器の操作を容易に実行させることができる。
さらに、請求項２に記載の本発明の車載機器の操作装置によれば、撮像手段による撮像画像に基づき自車両の乗員の眼球位置を検知することにより、車載機器の操作用スイッチの画像を乗員の網膜に適切に投射することができる。

さらに、請求項３に記載の本発明の車載機器の操作装置によれば、仮想的に自車両の乗員の視線上の位置に表示される車載機器の操作用スイッチの画像に対する操作者の入力操作を精度良く検出することができる。
さらに、請求項４に記載の本発明の車載機器の操作装置によれば、車載機器に対する所定操作が入力されたか否かを容易に判定することができる。
さらに、請求項５から請求項７の何れかに記載の本発明の車載機器の操作装置によれば、操作者の入力操作に応じた車載機器の作動状態を操作者に容易に認識させることができる。
さらに、請求項８に記載の本発明の車載機器の操作装置によれば、操作者は投射開始および投射終了を指示するスイッチに対して視線を移動させる必要無しに、スイッチを容易に操作することができる。

以下、本発明の一実施形態に係る車載機器の操作装置について添付図面を参照しながら説明する。
本実施の形態による車載機器の操作装置１０は、例えば図１に示すように、眼球センサ１１と、操作指センサ１２と、網膜投影装置１３と、例えばナビゲーション装置および音響装置および空調装置等からなる車載機器１４と、電子制御ユニット（ＥＣＵ）１５と、表示スイッチ１６とを備えて構成されている。

眼球センサ１１は、例えば図２および図３に示すように、車室内のルームミラーから運転者側にずれた位置等の少なくとも運転者の眼球を撮像可能な位置に設けられ、例えば可視光領域や赤外線領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等からなる眼球用カメラ１１ａと眼球画像処理部１１ｂとを備えて構成されている。
この眼球用カメラ１１ａは、例えば可視光領域で撮像可能であれば、乗員の顔や眼球から反射された可視光を撮像し、例えば赤外線領域で撮像可能であれば、適宜の赤外線投光器（図示略）から運転者の眼球に向けて照射された赤外線の反射を撮像する。
眼球画像処理部１１ｂは、眼球用カメラ１１ａの撮像により得られた可視光画像または赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成してＥＣＵ１５へ出力する。

操作指センサ１２は、例えば図２および図３に示すように、車両のルーフ等の少なくとも運転者の操作指を撮像可能な位置に設けられ、例えば可視光領域や近赤外線領域にて撮像可能なＣＣＤカメラやＣＭＯＳカメラ等のステレオカメラからなる操作指用カメラ１２ａと操作指画像処理部１２ｂとを備えて構成されている。
この操作指用カメラ１２ａは、例えば可視光領域で撮像可能であれば、運転者の操作指から反射された可視光を撮像し、例えば近赤外線領域で撮像可能であれば、適宜の近赤外線投光器（図示略）から照射された近赤外線の運転者の操作指からの反射を撮像する。
操作指画像処理部１２ｂは、操作指用カメラ１２ａの撮像により得られた可視光画像または近赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成してＥＣＵ１５へ出力する。

網膜投影装置１３は、眼球センサ１１から出力される画像データに基づくＥＣＵ１５の制御により、車載機器１４を構成する複数の装置（例えば、ナビゲーション装置および音響装置および空調装置等）に対する複数の入力操作に対応した複数の操作用スイッチ画像Ｐ_１，…，Ｐ_ｎ（ｎは任意の自然数であって、例えば図２ではｎ＝６）を直接に運転者の網膜に投射する。
また、表示スイッチ１６は、例えばステアリングホイールのスポーク部等のように、車両運転時の運転者の手指が届く範囲内の適宜の位置に配置され、運転者による入力操作に応じて、網膜投影装置１３による操作用スイッチ画像の投射開始および投射終了を指示する指示信号をＥＣＵ１５へ出力する。

電子制御ユニット（ＥＣＵ）１５は、例えば視線検知部２１と、投影制御部２２と、操作指検知部２３と、機器制御部２４とを備えて構成されている。
視線検知部２１は、眼球センサ１１から入力される画像データに対して、先ず、運転者の顔や眼球を検知対象物とした所定の認識処理を行い、この認識結果に基づき、運転者の眼球の位置および運転者の視線ベクトル（視線方向）および視線の対象位置を検知する。

投影制御部２２は、視線検知部２１により検知される運転者の眼球の位置および運転者の視線ベクトル（視線方向）に応じて、操作用スイッチ画像が投射される運転者の網膜上の位置（投射位置）を設定し、この投射位置の情報を機器制御部２４へ出力すると共に、この投射位置の情報と表示スイッチ１６から入力される指示信号とに応じて網膜投影装置１３の投射動作を制御する。
投影制御部２２は、操作用スイッチ画像の投射位置を設定する際に、例えば図３に示すように、運転者の網膜上に操作用スイッチ画像を投射したときに、これらの操作用スイッチ画像が運転者の視線Ｑ上に設定された所定の仮想画像平面ＶＤ上に表示されていると、運転者により認識されるように設定する。

操作指検知部２３は、操作指センサ１２から入力される画像データに対して、運転者の手や指を検知対象物とした所定の認識処理を行い、この認識結果に基づき、例えば操作指用カメラ１２ａの焦点を原点としたカメラ座標（例えば、操作指用カメラ１２ａの光軸Ｒ上に設定された所定の操作平面ＲＤ）での運転者の操作指（例えば、人差し指等）の先端部の位置および該位置の時間変化を検知する。
機器制御部２４は、操作指検知部２３により検知される運転者の操作指の先端部の位置および該位置の時間変化に基づき、複数の操作用スイッチ画像のうちの何れの操作用スイッチ画像が選択されたかを検知すると共に、複数の操作用スイッチ画像毎に対して予め記憶している複数の所定入力操作のうちの何れの所定入力操作に相当する入力操作が実行されたかを検知し、これらの検知結果に応じて、例えばナビゲーション装置や空調装置や音響装置等からなる車載機器１４の動作を制御する。

例えば、機器制御部２４は、操作用スイッチ画像を仮想的に仮想画像平面ＶＤ上に表示した状態で、例えば図４（ａ）に示すように、運転者の操作指が操作用スイッチ画像に重畳する位置で所定の押圧方向に沿って所定速度以上で往復移動したことを検知した場合には、この操作用スイッチ画像が一時的に選択されたと判断し、この動作に対応する車載機器１４の制御動作、例えば音響装置のＯＮあるいはＯＦＦ等を実行する。また、例えば図４（ｂ）に示すように、運転者の操作指が操作用スイッチ画像に重畳する位置で所定の押圧方向に沿って所定速度以上で移動し、移動後の操作指の位置が維持される状態を検知した場合には、この操作用スイッチ画像が継続的に選択されたと判断し、この動作に対応する車載機器１４の制御動作、例えば音響装置の音量の増大あるいは減少等を実行する。

機器制御部２４は、運転者により選択された操作用スイッチ画像および操作用スイッチ画像に対して実行された運転者の入力操作を検知する際に、操作指検知部２３により検知された運転者の操作指の先端部の位置および該位置の時間変化に対して、例えば、操作指用カメラ１２ａの焦点を原点としたカメラ座標から運転者の視点ＶＰを原点とした視点座標への座標変換と、所定の仮想画像平面ＶＤ上への投影変換とを行う。これにより、例えば図５に示すように、操作指用カメラ１２ａの光軸Ｒと運転者の視線Ｑとの交点を含む所定の操作平面ＲＤ上の操作指の位置Ｆ１，Ｆ２および該位置の変化状態（Ｆ２−Ｆ１）は、複数の操作用スイッチ画像を仮想的に含む画像座標（つまり所定の仮想画像平面ＶＤ）上の操作指の位置Ｇ１，Ｇ２および該位置の変化状態（Ｇ２−Ｇ１）へと変換される。

さらに、機器制御部２４は、運転者により選択された操作用スイッチ画像および操作用スイッチ画像に対して実行された運転者の入力操作に対する検知結果に応じて、車載機器１４の制御動作に加えて網膜投影装置１３の投射動作を制御する。
例えば図２に示すように、機器制御部２４は、複数の操作用スイッチ画像Ｐ_１，…，Ｐ_ｎを仮想的に仮想画像平面ＶＤ上に表示した状態で、運転者の操作指により適宜の操作用スイッチ画像（例えば、操作用スイッチ画像Ｐ_６）が選択されたことを検知した場合には、網膜投影装置１３により、選択された操作用スイッチ画像の色状態を、他の操作用スイッチ画像の色状態とは異なる所定の色状態に設定すると共に、例えば選択動作の実行を運転者に実感させる効果音（例えば、クリック音等）を音響装置のスピーカから出力させる。

また、例えば図６（ａ）〜（ｃ）に示すように、機器制御部２４は、操作用スイッチ画像としてスライドスイッチやダイヤルスイッチの画像を仮想的に仮想画像平面ＶＤ上に表示した状態で、これらの操作用スイッチ画像に対して運転者の操作指により所定速度以上のスライド動作や回転動作が入力されたことを検知した場合には、運転者の操作指の運動状態に応じて、例えばスライドスイッチの可動部の位置が異なる複数の画像やダイヤルスイッチの配置状態が異なる複数の画像を網膜投影装置１３により順次投影させて、これらの操作用スイッチが作動していると、運転者により認識されるように設定すると共に、例えば各スイッチに対するスライド動作や回転動作の実行を運転者に実感させる効果音を音響装置のスピーカから出力させる。

本実施の形態による車載機器の操作装置は上記構成を備えており、次に、この車載機器の操作装置の動作について説明する。

先ず、例えば図７に示すステップＳ０１においては、表示スイッチ１６がＯＮ状態であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０２に進む。
そして、ステップＳ０２においては、眼球センサ１１から出力される画像データから運転者の眼球の位置および運転者の視線ベクトル（視線方向）を検知し、これらの検知結果に基づき、操作用スイッチ画像が運転者の視線Ｑ上に設定された所定の仮想画像平面ＶＤ上に仮想的に表示されるようにして、操作用スイッチ画像が投射される運転者の網膜上の位置（投射位置）を設定し、この投射位置に操作用スイッチ画像の投射を開始する。

そして、ステップＳ０３においては、操作指センサ１２から出力される画像データからカメラ座標での運転者の操作指（例えば、人差し指等）の先端部の位置および該位置の時間変化を検知し、これらの検知結果を仮想的に操作用スイッチ画像が表示される所定の仮想画像平面ＶＤ上における運転者の操作指の位置および該位置の変化状態へと変換する。
そして、ステップＳ０４においては、操作用スイッチ画像に対する所定入力操作が仮想的に実行されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、後述するステップＳ０６に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０５に進む。

そして、ステップＳ０５においては、実行された所定入力操作に応じた車載機器１４の制御動作を実行する。
そして、ステップＳ０６においては、表示スイッチ１６がＯＮ状態であるか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０４に戻る。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進む。
そして、ステップＳ０７においては、操作用スイッチ画像の投射を終了する。
そして、ステップＳ０８においては、運転者の操作指の位置および該位置の変化状態を検知する処理を終了し、一連の処理を終了する。

上述したように、本実施の形態による車載機器の操作装置１０によれば、車載機器１４に対する複数の入力操作に対応した複数の操作用スイッチ画像が仮想的に運転者の視線Ｑ上に位置するようにして乗員の網膜に投射されることから、車両の運転状態に応じて運転者の視線が変化する場合であっても、操作用スイッチの画像を視認するために視線を移動させる必要が生じることを防止することができる。さらに、仮想的に運転者の視線Ｑ上に表示された操作用スイッチに対して操作指により入力される運転者の操作入力を検知し、検知した操作入力に応じて車載機器１４を制御することにより、運転者が操作入力に対して違和感を感じることを抑制しつつ、所望の車載機器１４の操作を容易に実行させることができる。

しかも、複数の操作用スイッチ画像は運転者の網膜に直接に投射されることにより、例えば周囲の明るさ等に応じて各種の表示画面に対する運転者の視認による認識能力が変化する場合であっても、操作用スイッチ画像を運転者に容易に認識させることができる。

本発明の実施の形態に係る車載機器の操作装置を搭載した車両の斜視図である。 本発明の実施の形態に係る車載機器の操作装置を搭載した車両の車室内を後部から前部に向かい見た図である。 本発明の実施の形態に係る車載機器の操作装置の眼球センサおよび操作指センサおよび網膜投影装置の車室内での配置位置の一例を示す図である。 図４（ａ）は運転者の操作指が操作用スイッチ画像に重畳する位置で所定の押圧方向に沿って所定速度以上で往復移動する状態の一例を示す図であり、図４（ｂ）は運転者の操作指が操作用スイッチ画像に重畳する位置で所定の押圧方向に沿って所定速度以上で移動し、移動後の操作指の位置が維持される状態の一例を示す図である。 所定の操作平面ＲＤ上の操作指の位置Ｆ１，Ｆ２および該位置の変化状態（Ｆ２−Ｆ１）を、所定の仮想画像平面ＶＤ上の操作指の位置Ｇ１，Ｇ２および該位置の変化状態（Ｇ２−Ｇ１）へと変換する状態の一例を示す図である。 図６（ａ）〜（ｃ）は操作用スイッチ画像に対して運転者の操作指によりスライド動作の入力操作が入力される状態の各一例を示す図である。 本発明の実施の形態に係る車載機器の操作装置の動作を示すフローチャートである。

符号の説明

１０ 車載機器の操作装置
１１ａ 眼球用カメラ（撮像手段）
１２ 操作指センサ（操作指位置検出手段）
１２ａ 操作指用カメラ（カメラ）
１３ 網膜投影装置（投射手段）
１４ 車載機器
１６ 表示スイッチ（スイッチ）
２１ 視線検知部（眼球位置検知手段）
２３ 操作指検知部（操作指位置検出手段）
２４ 機器制御部（判定手段、制御手段）

Claims (8)

1. 自車両に搭載された車載機器と、
   前記車載機器の操作用スイッチの画像が仮想的に前記自車両の乗員の視線上に位置するように前記画像を前記自車両の乗員の網膜に投射可能な投射手段と、
   前記自車両の乗員の操作指の位置を検出可能な操作指位置検出手段と、
   前記投射手段により前記画像が前記自車両の乗員の網膜に投射されている際に前記操作指位置検出手段により検出される前記操作指の位置および該位置の変化状態に応じて前記車載機器の前記操作用スイッチが仮想的に操作されたか否かを判定する判定手段と、
   前記判定手段による判定結果に応じて前記車載機器の動作を制御する制御手段と
   を備えることを特徴とする車載機器の操作装置。
2. 自車両の乗員を撮像する撮像手段と、
   前記撮像手段による撮像画像に基づき前記自車両の乗員の眼球位置を検知する眼球位置検知手段とを備え、
   前記投射手段は、前記眼球位置検出手段の検出結果に基づき前記自車両の乗員の網膜に前記画像を投射することを特徴とする請求項１に記載の車載機器の操作装置。
3. 前記操作指位置検出手段はカメラを備え、
   前記判定手段は、前記カメラによる撮像画像上の前記操作指の位置および該位置の変化状態を、前記操作用スイッチの画像を仮想的に含む画像座標上の前記操作指の位置および該位置の変化状態へと変換することを特徴とする請求項１または請求項２に記載の車載機器の操作装置。
4. 前記判定手段は、前記操作指位置検出手段により検出される前記操作指の位置の変化状態に応じて前記操作用スイッチに対して仮想的に所定操作が実行されたか否かを判定することを特徴とする請求項１から請求項３の何れかひとつに記載の車載機器の操作装置。
5. 前記制御手段は、前記操作指位置検出手段により検出される前記操作指の位置に対応する前記操作用スイッチの画像の色状態を所定状態に設定することを特徴とする請求項１から請求項４の何れかひとつに記載の車載機器の操作装置。
6. 前記投射手段は、複数の前記車載機器の前記操作用スイッチの画像を投射可能であって、前記制御手段は、前記判定手段により操作されたと判定された前記操作用スイッチの画像の色状態を、他の前記車載機器の前記操作用スイッチの画像の色状態とは異なる状態に設定することを特徴とする請求項５に記載の車載機器の操作装置。
7. 前記判定手段により操作されたと判定されたときに、操作音を出力する出力手段を備えることを特徴とする請求項１から請求項６の何れかひとつに記載の車載機器の操作装置。
8. 前記投射手段による前記操作用スイッチの画像の投射開始および投射終了を指示するスイッチを、自車両のステアリングホイールを含む自車両の乗員の手指が届く範囲内の位置に設けることを特徴とする請求項１から請求項７の何れかひとつに記載の車載機器の操作装置。
   
   

Images