JP2009213779A - 車両用操作入力装置 - Google Patents

Abstract

【課題】 車両乗員の周辺に設けられた操作部において誤操作がされ難い車両用操作入力装置を提供する。
【解決手段】 非覚醒状態検出部７０は、車両乗員の生体情報を反映するセンサ７３の検出結果やカメラ２０の撮影結果から、当該乗員が正常な覚醒状態とは異なる予め定められた非覚醒状態にあることを検出して、制御回路１８は、当該非覚醒状態が検出された場合に、操作部１２ａになされた操作入力を無効化とする。
【選択図】図１

Description

本発明は車両用操作入力装置に関する。

特開２０００−６６８７号公報

近年では、操作入力装置（特許文献１）として、手画像重畳表示方式等を採用した遠隔的に機器操作を行う操作入力装置が開発されている。このような操作入力装置は、操作画面（メイン画面）を表示する表示装置とは別に、操作者の手元に遠隔操作部を設け、さらに、その遠隔操作部を操作する手を撮影・抽出し、得られた手画像および手操作を表示装置の操作画面（メイン画面）に反映して、あたかも操作画面を直接タッチ操作しているかのように表示制御するものである。また、このような操作入力装置のうち、車両に設けられるものについては、その操作性を増すために、遠隔操作部が座席に着座したユーザーの手元に設けられる。そして、その遠隔操作部は、タッチ操作面を有してなるタッチ操作式の操作部として構成されることが多い。

上記のような操作入力装置では、遠隔操作部がユーザーの手元に設けられるので、意図しないで操作部に触れてしまい、誤った操作入力がされることが問題となる。特に、運転者が眠気に襲われているような意識レベルが低下した状態においては、ユーザー周辺の操作部に対し誤操作入力が生じ易くなる。さらにいえば、そうした操作部がタッチ操作式の操作部であれば、何かのはずみで軽く触れただけで簡単に誤操作入力がされてしまうことがある。

本発明の課題は、車両乗員の周辺に設けられた操作部において誤操作がされ難い車両用操作入力装置を提供することにある。

課題を解決するための手段および発明の効果

上記課題を解決するために、本発明の車両用操作入力装置は、
車両乗員が操作する操作部を有した車両用操作装置であって、
車両乗員の生体情報を取得する生体情報取得手段と、
取得した生体情報に基づいて、車両乗員が正常な覚醒状態とは異なる予め定められた非覚醒状態にあることを検出する非覚醒状態検出手段と、
非覚醒状態が検出された場合には、操作部になされた操作入力を無効化とする操作入力無効化手段と、
を備えることを特徴とする。

上記本発明の構成によれば、乗員が眠気に襲われているような意識レベルの低い状態を非覚醒状態として検出し、当該非覚醒状態にある場合には操作入力ができなくなるので、誤操作を防止することができる。なお、ここでいう予め定められた非覚醒状態を検出するとは、取得した生体情報と予め決められた非覚醒状態の生体情報との比較により非覚醒状態であるか否かを検出する場合を含むし、取得した生体情報と予め決められた正常な覚醒状態の生体情報との比較により非覚醒状態であるか否かを検出する場合も含まれる。

また、本発明において、操作入力無効化手段により操作入力が無効化されるに伴い、運転者に対し無効化された操作入力があったことを報知する無効化操作入力報知手段を設けることができる。これにより、操作が無効化されたことを操作者に認識させることができる。具体的には、車両の座席に着座した車両乗員から画面視認可能となるよう車両前方側に表示装置を設けて、無効化操作入力報知手段は、操作入力無効化手段により操作入力が無効化されるに伴い、当該表示装置の画面上の一部又は全体の表示状態を変更する形で、運転者に対し無効化された操作入力があったことを報知するように構成できる。この構成よれば、表示出力によって操作者に確実に操作の無効化を認識させることができる。

また、車両乗員を運転者として定めることができる。この場合、操作入力無効化手段により操作入力が無効化されるに伴い、当該運転者を正常な覚醒状態へと促すための覚醒用出力を実行する運転者覚醒手段を設けることができる。これにより、無効化される操作をきっかけに、運転者を覚醒させることができる。具体的には、運転者覚醒手段は、覚醒用出力として、操作部の操作反力の増加、操作部の振動、操作部の操作音の音量増加、操作部の操作音の変更、警告音出力、シートベルトの緊縛力の増加、シートベルトの振動、及び車載エアコンからの空調出力のうち、少なくとも１以上の出力を実行するように構成できる。この構成よれば、操作者を確実に覚醒させることができる。上記の表示出力も出力内容次第では運転者覚醒手段として機能させることができる。

また、この運転者覚醒手段は、上記無効化操作入力報知手段に兼用させることができる。即ち、無効化操作入力報知手段は、運転者に対し無効化された操作入力があったことを報知するための報知出力として、運転者を正常な覚醒状態へと促すための覚醒用出力を実行する運転者覚醒手段とすることができる。これにより、操作が無効化されたことを操作者に認識させる一方で、非覚醒状態にあって意図無く操作を行ってしまった場合には、これをきっかけにして運転者を覚醒させることができる。

また、車両乗員を運転者として定めた場合、生体情報取得手段は、該運転者の生体情報を取得するものとすることができる。また、操作部は、少なくとも車両の運転席に着座する該運転者が操作可能な位置に設けられたものとすることができる。車両乗員の中で非覚醒状態となってはならない乗員は運転者であるから、当該運転者に対し、上記のような誤操作防止、操作無効化の報知、覚醒出力を行うことは極めて有効である。

ところで、本発明の生体情報取得手段として、車両乗員の瞳孔の時間的変化を検出する瞳孔変化検出手段を設けることができる。当該瞳孔変化取得手段は、車両乗員の目画像を撮影する目画像撮影手段を有し、撮影された目画像に基づいて車両乗員の瞳孔寸法の時間的変化を検出するものとして構成できる。これにより、検出された瞳孔寸法が所定レベルを下回る縮瞳状態が、所定時間以上継続した場合を、非覚醒状態として確実に特定することができる。

また、生体情報取得手段として、車両乗員の瞬きを検出する瞬き検出手段を設けることができる。当該瞬き検出手段は、車両乗員の目画像を撮影する目画像撮影手段を有し、撮影された目画像に基づいて瞬きを検出するものとして構成できる。これにより、検出された瞬きの回数をカウントし、予め定められた閾時間内における瞬きの回数が所定回数範囲から外れた場合を、非覚醒状態として確実に特定することができる。

また、生体情報取得手段として、車両乗員の脈波、心拍、心電、脳波のうち少なくとも１以上の生体波形を取得する生体波形検出手段を設けることができる。当該生体波形検出手段は、車両運転時において各座席に着座した車両乗員との接触可能な車両パーツに設けられた生体波形検出センサとすることができる。これにより、生体波形を検出・解析することで、非覚醒状態を確実に特定することができる。また、座席に着座した状態のまま乗員の生体情報を取得することができるから、検出に対する乗員への負担が少ない。特に乗員が運転者であれば、運転状態のままであっても生体情報が取得できる。なお、生体波形検出センサは、座席のシートやヘッドレストに設けることができ、さらに、運転者であればステアリングホイール、特にそのリング部に設けることができる。

ところで、本発明において、誤操作防止の対象となる操作部は、接触操作により操作入力がなされるタッチ操作面を有した接触操作部とすることができる。接触するだけで入力がなされる接触操作部では意図無く接触してしまうような誤操作が生じ易いので、誤操作を防止可能な本発明に好適である。また、誤操作が生じ易い操作部ほど上記覚醒出力が実行され易いという意味でも、本発明に好適である。

また、誤操作防止の対象となる操作部は、車両乗員が背もたれにもたれた形で車両の座席に着座した状態にて操作可能な位置に固定配置された乗員近傍操作部とすることができる。乗員が触れ易い位置にある操作部であるほど誤操作を防止可能な本発明に好適である。また、誤操作が生じ易い操作部ほど上記覚醒出力が実行され易いという意味でも、本発明に好適である。

また、車両乗員は運転者である場合、誤操作防止の対象となる操作部は、別途設けられた主操作部よりも運転席に近い位置に固定配置され、当該主操作部への操作入力を遠隔的に行うことが可能な遠隔操作部とすることができる。主操作部よりも操作されやすいより近い位置に設けられた遠隔操作部も、誤操作を防止可能な本発明に好適である。また、誤操作が生じ易い操作部ほど上記覚醒出力が実行され易いという意味でも、本発明に好適である。

この構成は、車両の運転席及び助手席に着座した双方の車両乗員から画面視認可能となるようそれら車両乗員よりも車両前方側に配置された表示装置を備え、上記主操作部が、当該表示装置に設けられた表示面接触型の操作部であり、上記遠隔操作部が、運転席の座部と助手席の座部との間に設けられてなる車両用操作入力装置に適用することができる。

さらに、この車両用操作入力装置は、遠隔操作部を操作する操作者の手画像を撮影する手画像撮影手段と、撮影された手画像から表示画面上における対応する指示位置を特定して、特定された指示位置に位置指示画像を合成あるいは重畳して表示する手画像表示手段と、を備える形で構成できる。これにより、遠隔操作部の操作性が増す。さらに、この車両用操作入力装置において、手画像表示手段の表示モードを、非覚醒状態が検出されている場合には、位置指示画像の表示画面上への表示を禁止する表示禁止モードを設定し、非覚醒状態にあることが検出されていない場合には、位置指示画像の表示画面上への表示を許可する表示許可モードを設定する表示モード設定手段を設けることができる。位置指示画像の表示を頼りに遠隔操作を行う構成において、操作が無効化される状況下での位置指示画像の表示は意味がないから、無駄な画像表示処理を省略できる。

なお、誤操作防止の対象となる操作部は、車載電子機器の操作部とすることができ、例えば、エアコン操作部、オーディオ操作部、ナビゲーション操作部、パワーウィンドウ操作部、及びシート位置調整操作部のうち、１以上のものとすることができる。

以下、本発明の操作入力装置の一実施形態を、図面を参照して説明する。

図１は、本発明の操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図である。本実施形態においては、操作入力装置１として、表示画面上にタッチ操作用のスイッチ画像（操作アイコン）等の操作入力用画像を表示可能な表示装置１５と、それら表示画面へのタッチ操作を遠隔的に行うための操作パネル１２とが別位置に設けられてなる手画像重畳表示方式操作入力装置を採用している。なお、本実施形態のタッチ式操作入力装置の操作対象は、ナビゲーション機能のみに限られず、制御回路１８が車内ＬＡＮ５０を介して接続するＥＣＵ１０１，２０１，３０１，４０１・・・が制御する他の車載電子機器の機器機能（オーディオ、エアコン、パワーウィンドウ、シート調整機能等）も含むことができる。

ナビゲーション装置１０は、車両の現在位置を検出するためにＧＰＳ等を備えて構成される位置検出器１１と、運転者等の操作者からの各種指示を入力するための操作情報入力部１２と、地図データや各種の情報を記録した外部記録媒体から地図データ等を入力する地図データ入力器１４と、地図表示画面やＴＶ（Television）画面等の各種表示を行うための表示装置１５と、各種のガイド音声等を出力したり運転者等の操作者の音声を入力したりするための音声入出力装置１６と、車両情報の授受を行うための車両Ｉ／Ｆ（Interface）部１９と、これらと接続する制御回路１８とを備えている。制御回路１８は、他の車載電子機器において制御を司る各ＥＣＵ１０１，２０１，３０１，４０１・・・と、車両乗員の正常な覚醒状態とは異なる予め定められた非覚醒状態を検出する非覚醒状態検出部７０と接続している。

操作情報入力部１２は、図３に示すように、予め定められた波長帯の光を照射する光源１２ｃと、該光源１２ｃからの照射光が表面１２ａ２側から表面１２ａ１側に向けて透過するよう配置された透光性を有する操作パネル１２ａと、該操作パネル１２ａを撮影範囲に含む形で該操作パネル１２ａの裏面１２ａ２側から撮影するカメラ（接近対象物撮影手段）１２ｂと、を備えている。

操作パネル１２ａは、少なくとも光源１２ｃから照射される光に対して透光性を有したパネルからなる。本実施形態においては縦方向透明電極と横方向透明電極とを備えた周知の抵抗膜方式のタッチパネルとして構成されており、その出力が制御回路１８に入力される。

なお、本実施形態の操作情報入力部１２は、図２に示すように、車両のセンターコンソール部Ｃのような、車両のフロントガラスＦＧ下縁よりも下側で、かつ隣接する左右両座席から操作可能な位置に設置されている。さらに言えば、表示装置１５よりも下側で、かつ隣接する左右両座席の両座部の間の前側に配置されている。なお、本実施形態における隣接する左右両座席とは、図２の運転席２Ｄ及び助手席２Ｐのことである。

図１に戻り、表示装置１５は、図２に示すように、運転席２Ｄ及び助手席２Ｐに着座した双方の車両乗員から画面視認可能となるようそれら車両乗員よりも車両前方側に配置されたカラー表示装置である。液晶ディスプレイ，プラズマディスプレイ，有機ＥＬディスプレイ等であってもよい。

また、表示装置１５は、車両が備える機器の操作などを行うための表示面を有するものであって、本実施形態での当該表示面は、接触操作を行うための接触操作型の操作部として機能するものである。具体的には、接触操作型の操作部として機能するように、表示画面上にタッチパネル１５ａを備えて構成されている。一方で、既に述べた操作情報入力部１２のタッチパネル１２ａは、当該タッチパネル１５ａの操作を、それよりも運転者や助手席搭乗者に近い位置から遠隔的に操作できるよう設けられた遠隔操作部である。当該タッチ操作面（以下、遠隔操作面ともいう）１２ａ１になされたタッチ操作に基づいて、そのタッチ操作位置に対応した、表示装置１５の画面位置（タッチパネル１５ａのタッチ操作面位置）への入力が受け付けられる。具体的にいえば、表示装置１５の表示画面上に定められる二次元座標系（タッチパネル１５ａのタッチ操作面上に定められる二次元座標系）と、該操作パネル１２ａのタッチ操作面１２ａ１上に定められる二次元座標系との間には一義的な対応関係が予め定められており、一方の面内位置に対応する他方の面内位置が一義的に特定可能とされており、タッチ操作面１２ａ１にタッチ操作があった場合には、その対応関係に基づいて、当該タッチ操作がなされた位置座標に対応する、表示装置１５の表示画面上の位置座標への操作入力が受け付けられる。なお、表示装置１５は、本発明の運転者覚醒手段、無効化操作入力報知手段として機能できる。

なお、表示装置１５としては、図２に示すようなセンターコンソールＣ内に配置されるものに限られず、例えばフロントガラスＦＧ下縁よりも上方に設置されるものであってもよい。具体的には、車両のフロントガラスＦＧに、上述の画像・データを表示するヘッドアップディスプレイ（ＨＵＤ）や、ステアリングホイール６の奥に位置するメーター表示装置等を例示できる。

図１に戻り、音声入出力装置１６は、地図データ入力器１４より入力した施設のガイドや各種案内の音声や、Ｉ／Ｆ１９を介して取得した情報の読み上げ音声を出力することができる。また、音声入出力装置１６は、図示しないマイクおよび周知の音声認識ユニットを含み、運転者等の操作者の音声をコマンド等として制御回路１８に入力することができる。なお、音声入出力装置１６は、本発明の運転者覚醒手段、無効化操作入力報知手段として機能できる。

ＬＡＮ Ｉ／Ｆ１９は、車内ＬＡＮ５０を介して他の車載電子機器やセンサとのデータの遣り取りを行うためのインターフェース回路である。また、ＬＡＮ Ｉ／Ｆ１９を介して、例えば他のＥＣＵ１０１，２０１，３０１，４０１…等や非覚醒状態検出部７０からのデータ取り込みを行ってもよい。

制御回路１８は、図示しない周知のＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ（Input/Output）およびこれらの構成を接続するバスライン等からなる周知のマイクロコンピュータを中心に構成されており、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、周知のナビゲーション機能に係る各種制御を実施する。

また、制御回路１８は、ＲＯＭ等の記憶部に記憶されたプログラムに基づいて、スイッチ画像（操作アイコン）１６０Ｉ、操作情報入力部１２から取得した手画像１５０Ｈに基づく位置指示画像１６０Ｈをサブ画像とし、これらをメイン画像１６０Ｂ（地図操作用画像等）に合成して表示する、あるいは重ね表示するための画像処理部１８ａを有している。これにより、運転者等の操作者が、例えば手の指等を、操作パネル１２ａのタッチ操作面１２ａ１に対面させる形で移動させると、これに併せて、表示装置１５の表示画面上には位置指示画像（ここでは手形状（指形状）を反映した加工画像）１６０Ｈが移動して表示され、あたかも表示装置１５の表示画面に操作パネル１２ａが存在しているかのような感覚で操作を行うことができる。

なお、この制御回路１８は、本発明の操作入力無効化手段、入力受付手段、操作入力位置設定手段、位置指示画像表示手段、表示モード設定手段として機能する。

ところで、上述したナビゲーション装置１０は、手画像重畳表示方式操作装置１の主制御部として機能し、非覚醒状態検出部７０から非覚醒状態の検出結果を取得することができる。

非覚醒状態検出部７０は、図４に示すように、制御部７１とセンサ部７３と、カメラ２０と、画像解析部７２と、を備えて構成され、センサ部７３による検出結果、及びカメラ２０により撮影された画像の解析結果から乗員の覚醒状態・非覚醒状態を特定する。

センサ部７３は、生体情報取得手段として機能するものであり、図５に示すように、各々（７３ａ〜７３ｄ）が、座席２の座部２ａに座した車両乗員の脳波、脈波、呼吸、心拍のうちのいずれかを生体波形信号として取得する生体波形検出センサである（生体波形検出手段）。これらの生体波形検出センサ７３ａ〜７３ｄは、車両運転時において各座席に着座した車両乗員との接触可能な車両パーツに設けられている。本実施形態においては、図５に示すように、シート２のヘッドレスト部２ｃに、脳波信号を検出する電極（脳波センサ）７３ａが設けられ、シート２のリクライニング部（背もたれ部）２ｂに、脈波信号及び呼吸信号の成分を含む背部生体信号を検出する圧電型フィルムセンサ（呼吸センサ）７３ｄが設けられ、ステアリングホイール６のリング部６２に、心電信号・心拍信号を検出するための電極（心電センサ・心拍センサ）７３ｂが設けられ、同じく脈波信号を検出するためのセンサ（脈波センサ７３ｃ）が設けられている。なお、これらセンサ７３のうちステアリングホイール６に設けられるものは、ボス部６１やスポーク部６３ではなく、運転操作時に把持されるリング部６２に設けることで、生体波形信号を収集しやすくなる。

制御部７１は、これらセンサ７３ａ〜７３ｄの検出信号（生体情報）を取得し、これらの信号に基づいて、これらセンサ７３ａ〜７３ｄに対応するシート２の乗員が正常な覚醒状態とは異なる予め定められた非覚醒状態にあるか否かを検出する。

上記構成を有する本実施形態の車両用操作入力装置１は、非覚醒状態検出部７０において、車両乗員の生体情報を取得し（生体情報取得手段）、取得した生体情報に基づいて、車両乗員が正常な覚醒状態とは異なる予め定められた非覚醒状態にあることを検出する（非覚醒状態検出手段）とともに、その検出結果が、ナビゲーション装置１０の制御回路１８に送信される。制御回路１８では、検出結果に基づいて、車両乗員の覚醒状態を判定し、非覚醒状態が検出されている場合には、所定の操作部への操作操作入力を無効化とする（操作入力無効化手段）ように構成され、当該操作部への誤操作が防止可能とされている。

本実施形態において、覚醒状態・非覚醒状態の検出対象となる乗員は運転者のみとする。従って、非覚醒状態検出部７０の各種センサ７３の取り付けられる座席は運転席２Ｄのみであり、カメラ２０の撮影対象も運転者のみとされている。そして、上記のような誤操作防止の対象となる操作部は、少なくとも車両の運転者が操作可能な位置に固定配置された操作部、さらにいえば、運転者が運転席２Ｄに着座した状態で操作可能な位置に固定配置された乗員近傍操作部とすることができる。本実施形態においては、遠隔操作部をなす操作パネル１２ａが誤操作防止の対象とされている。

なお、誤操作防止の対象である操作パネル１２ａは、表示装置１５に別途設けられた操作パネル１５ａを主操作部としており、当該主操作部１５ａへの操作入力を遠隔的に行うことが可能な遠隔操作部である。さらにいえば、当該操作パネル１２ａは、操作対象として、空調装置１００、パワーウィンドウシステム２００、オーディオ装置３００、シート調整機能を備えるシート調整装置４００等の他の車載電子機器の操作入力も可能であるから、これらの操作部１４０、２４０、３４０、４４０を主操作部とし、当該主操作部１４０、２４０、３４０、４４０への操作入力を遠隔的に行うことが可能な遠隔操作部であるともいえる。これらの主操作部１５ａ、１４０、２４０、３４０、４４０は、遠隔操作部をなす操作パネル１２ａよりも操作者（ここでは運転者）から遠い位置に固定的に配置されており、遠隔操作部よりも操作がしにくい位置にある。

ここで、遠隔操作部をなす操作パネル１２ａへの操作入力制限設定処理について、図６を用いて説明する。当該処理は、制御回路１８の所定記憶部に記憶されたプログラムをＣＰＵが実行する形でなされる。

Ｓ１及びＳ２では、制御回路１８が、非覚醒状態検出部７０に対し、各種センサ７３の検出結果及びカメラ２０の撮影結果（撮影画像）の取得を指示するとともに、検出された結果情報に基づいて、運転者の現在の覚醒状態・非覚醒状態の検出を指示する。各結果情報に基づく覚醒状態・非覚醒状態の検出方法は後述のとおりであり、それらの方法に従う形で非覚醒状態検出部７０において実行される。Ｓ３ではその検出結果情報を非覚醒状態検出部７０から取得し、運転者が非覚醒状態であると判定された場合にはＳ４に進み、運転者が非覚醒状態でないと判定された場合にはＳ５に進む。

Ｓ４では、制御回路１８が、遠隔操作部をなす操作パネル１２ａへの操作入力を無効化する操作無効化モードを設定するとともに、位置指示画像の表示画面上への表示を禁止する表示禁止モードを設定する（操作モード設定手段、表示モード設定手段）。他方、Ｓ５では、制御回路１８が、遠隔操作部をなす操作パネル１２ａへの操作入力を有効化する操作有効化モードを設定するとともに、位置指示画像の表示画面上への表示を許可する表示許可モードを設定する（操作モード設定手段、表示モード設定手段）。なお、設定された操作モード及び表示モードは、制御回路１８の所定記憶部に設けられたそれぞれの所定記憶領域（操作モード記憶部及び表示モード記憶部）に記憶される。

Ｓ４ないしＳ５の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、制御回路１８は、そのときどきに検出される覚醒状態・非覚醒状態に応じて、上記モードを切り替える。

なお、制御回路１８は、この操作入力制限設定処理を実行することにより、操作モード設定手段、表示モード設定手段として機能する。

次に、表示装置１５の表示される位置指示画像の表示処理について、図７を用いて説明する。当該処理は、制御回路１８の所定記憶部に記憶されたプログラムをＣＰＵが実行する形でなされる。

Ｓ１１では、制御回路１８が、カメラ１２ｂによって撮影された撮影画像に基づいて、操作者の手の画像を取得したか否かを判定する。カメラ１２ｂは、タッチ操作面１２ａ１に接近する接近対象物（例えば運転者等の操作者の手）Ｈを常時撮影しており、その撮影画像は常に制御回路１８の画像処理部１８ａに入力されている。入力された撮影画像は、画像処理部１８ａにて公知の画像解析手法によって解析され、色の相違等に基づいて接近対象物画像１５０Ｈが抽出される。そして、抽出された接近対象物画像１５０Ｈの形状から、当該画像１５０Ｈが人の手の画像であるか否かを判定する。判定結果は制御回路１８に出力され、手の画像が認識されたと判定された場合にはＳ１２に進み、判定されなければ本処理を終了する。

Ｓ１２では、制御回路１８が、現在の運転者が覚醒状態にあるか否かを判定する。言い換えれば、現在設定されている表示モードが、表示許可モードであるか否かを判定する。現在の表示モードは、制御回路１８の所定記憶領域（表示モード記憶部）に記憶されているので、これを読み出すことにより判定処理を行う。表示許可モード（覚醒状態）であればＳ１３に進む。

Ｓ１３では、制御回路１８が、タッチ操作面１２ａ１上における指示位置を特定する。具体的にいえば、Ｓ１１にて、手の画像を抽出した画像処理部１８ａが、その手画像の全体形状から、所定長さ以上の軸線を有する略直線的な棒状の画像パターンを識別して指を特定し、さらに特定された指から指先位置を特定する。本実施形態においては、カメラ１２ｂによって撮影された撮影画像上に、タッチ操作面１２ａ１が位置する操作パネル画像領域を特定するとともに、当該操作パネル画像領域上にタッチ操作面１２ａの操作座標系を設定し、その上で、上記の指先位置を、設定された該操作座標系上で特定する。なお、本実施形態においては、図９〜図１１の（ｂ）に示す撮影画像（２値化画像）１５０が、タッチ操作面１２ａ１の全体を撮影した操作パネル画像領域となっている。

さらにＳ１４では、図９及び図１１の（ｃ）に示すように、表示装置１５の表示画面の、上記操作パネル画像領域上にて特定された指先位置に、位置指示画像１６０Ｈを表示する（位置指示画像表示手段）。本実施形態においては、Ｓ１３にて特定された操作座標系上の指先位置に対応する、表示装置１５の表示画面上の位置を特定する。表示画面上には、上記操作座標系との対応関係を有した表示座標系が定められているので、操作座標系上における指先座標位置に対応する表示座標系の位置座標を特定し、当該位置座標を位置指示するように表示画面に位置指示画像１６０Ｈを表示する。

他方、Ｓ１２にて、表示禁止モード（非覚醒状態）であると判定された場合は、そのまま本処理を終了する。従って、この場合は、Ｓ１３及びＳ１４にて実施される位置指示画像１６０Ｈの表示がなされず、表示装置１５の表示画面には、例えば図１０（ｃ）に示すように、位置指示画像１６０Ｈが表示されないままとなる。

Ｓ１３及びＳ１４の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施され、表示許可モードが設定されている限り、操作パネル１２ａに対向する手・指が移動すると、これに合わせて、表示装置１５の表示画面に表示される位置指示画像（加工画像）１６０Ｈの表示位置も移動する。

なお、制御回路１８は、この位置指示画像の表示処理を実行することにより、位置指示画像表示手段として機能する。

最後に、操作情報入力部１２の操作パネル（遠隔操作部）１２ａへの操作入力処理について、図８を用いて説明する。

Ｓ１０１では、制御回路１８が、操作パネル１２ａへのタッチ操作の有無を判定する。操作パネル１２ａはタッチパネルとして構成されているので、タッチ操作があると、その操作信号が制御回路１８に入力されるので、その入力の有無に基づいて判定する。操作パネル１２ａへのタッチ操作があった場合はＳ１０２に進み、タッチ操作が無かった場合は本処理を終了する。

Ｓ１０２では、制御回路１８が、現在の運転者が覚醒状態にあるか否かを判定する。言い換えれば、現在設定されている操作モードが、操作有効モードであるか否かを判定する。現在の操作モードは、制御回路１８の所定記憶領域（操作モード記憶部）に記憶されているので、これを読み出すことにより判定処理を行う。操作有効モード（覚醒状態）であればＳ１０３に進む。

Ｓ１０３では、制御回路１８が、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する。具体的にいえば、まずは、操作パネル１２ａへのタッチ操作位置、即ちタッチ操作面１２ａ１上へのタッチ操作位置を特定する。操作パネル１２ａはタッチパネルとして構成されており、タッチ操作に伴い制御回路１８に入力される操作信号には、タッチ操作位置情報として、操作面１２ａ１に定められた操作座標系上の座標情報が反映されている。制御回路１８は、この操作信号に基づいて、タッチ操作がなされた座標位置を特定する。次いで、操作パネル１２ａへのタッチ操作位置に対応する制御を実施する。操作パネル１２ａのタッチ操作面１２ａ１上の各位置は、表示画面１５の表示画面上の位置と対応しているので、Ｓ１０３にて特定されたタッチ操作面１２ａ１上の位置に対応する、表示画面１５の表示画面上の位置を特定し、特定された画面位置に対応する制御内容を実施する。具体的には、制御回路１８が、当該制御内容を実施するための制御信号を出力する。例えばＳ１０３にて特定されたタッチ操作面１２ａ１上の位置が、表示画面１５の表示画面に表示されたスイッチ画像１６０Ｉに位置に対応していれば、制御回路１８は、当該スイッチ画像に割り当てられた制御内容を実行するための制御信号を出力する。

他方、Ｓ１０２にて、操作無効モード（非覚醒状態）であると判定されればＳ１０４に進む。Ｓ１０４では、Ｓ１０３のような操作に対応する制御内容を実行せず、変わりに、操作が無効化されたこと、当該制御内容が実行されなかったことを操作者に対し報知する（無効化操作入力報知手段）。つまり、操作をきっかけに、操作入力が無効化されたことを報知する。

具体的には、操作入力が無効化されるに伴い、表示装置１５の表示画面上の一部又は全体の表示状態を変更する形で、運転者に対し無効化された操作入力があったことを報知する。ここでは、音声入出力装置１６からの所定の警告音出力を伴う形で当該内容を文字表示するものとする。また、他の方法としては、タッチ操作面１２ａ１の操作入力位置に対応するスイッチ画像２００Ｈを、操作入力前と表示状態を変更して表示することを、報知出力としてもよい。具体的にいえば、操作入力されたスイッチ画像２００Ｈを、操作入力前よりも拡大して表示する、操作入力前とは色を変えて表示する、操作入力前とは形を変えて表示する、操作入力前とは異なる点滅表示状態とする、等の方法がある。これらを実現するための表示画像は、制御回路１８内の所定記憶領域に格納しておき、必要に応じて読み出して表示に利用する。

Ｓ１０３ないしＳ１０４の終了により本処理は終了となる。なお、本処理は終了後も所定周期で繰り返し実施される。

なお、制御回路１８は、この操作入力処理を実行することにより、操作入力無効化手段、無効化操作入力報知手段として機能する。

以下、本実施形態における操作情報入力部１２について詳説する。

図３に示すように、操作パネル１２ａは、中空の筐体１２ｆの前端開口に嵌め込まれており、表面１２ａ１がタッチ操作面（遠隔タッチ操作面）とされている。前端開口を形成する筐体前端部１２１ｅの外縁からは、後方に向けて筒状の壁部１２２ｅが設けられており、その後端部が回路基板１２ｆに固定されている。この筐体１２ｆは、車室内の所定位置の固定配置されており、内部には、カメラ１２ｂ及び光源１２ｃが配置されている。

光源１２ｃは、図３に示すように、操作パネル１２ａを裏面１２ａ２から表面１２ａ１に透過させる形で光を照射する。光源１２ｃからの光（照射光）は、タッチ操作面１２ａ１を被うように位置する接近対象物（例えば手等）が存在しない限り、該タッチ操作面１２ａ１から外に通過していくが、該タッチ操作面１２ａ１に対向する形で接近した接近対象物Ｈが存在する場合には、当該接近対象物Ｈに反射して、その光（反射光）の一部は裏面１２ａ２側に戻り、カメラ１２ｂに捉えられる。

カメラ１２ｂは、光源１２ｃから照射された光が接近対象物Ｈにて反射した反射光を捉える形で、当該接近対象物Ｈを操作パネル１２ａの裏面１２ａ２側から撮影するものであり、予め定められた撮影範囲を撮影するよう車体側に固定されている。具体的にいえば、カメラ１２ｂは、反射部材１２ｒの反射面を撮影しており、当該反射面に映し出される画像（反射画像）に上記撮影範囲が含まれるように各々が配置されている。反射部材１２ｒが無い場合は、当該撮影範囲をカメラ１２ｂにより直接撮影する形となるから、撮影後の画像に左右反転処理を施す必要がある。

なお、本実施形態の光源１２ｃは赤外光光源である。具体的にいえば、操作パネル１２ａの裏面側後方に位置するＬＥＤである。一方で、本実施形態のカメラ１２ｂは、暗所での撮影にも適した赤外線カメラ（可視光をシャットアウトする図示しない赤外線フィルタを備え、これを介して撮影を行う）であり、赤外光光源１２ｃから照射された光（赤外線）が接近対象物Ｈにて反射した反射光をカメラ１２ｂが捉える形で撮影がなされる。ここでのカメラ１２ｂは、車体側に固定された基板上に固定配置されており、撮影範囲として、タッチ操作面１２ａ１が含まれる範囲が設定されている。また、本実施形態の操作パネル１２ａは、光源１２ｃの光に対してのみ透光性を有した材料にて構成されている。このため、本実施形態においては、カメラ１２ｂ内の赤外線フィルタを不要とすることができ、かつ、筐体１２ｆの内部が外部から視認できないようになっている。

本実施形態におけるカメラ１２ｂは、操作パネル１２ａに対向する形で接近する接近対象物を撮影する接近対象物撮影手段として機能するものであり、接近対象物に手が含まれることを考慮すれば、その手の画像を撮影する手画像撮影手段として機能しているともいえる。

図９〜図１１は、操作パネル１２ａに対向する手Ｈの撮影を説明する図である。各図の（ａ）は、操作パネル１２ａと、その表面１２ａ１に対向する手の状態（指の状態）を示しており、各図の（ｂ）は、（ａ）の状態の手（指）をカメラ１２ｂにて撮影した映像１５０であり、操作パネル１２ａ全体を撮影領域として撮影された画像である。ただし、本実施形態における（ｂ）の映像１５０は、撮影後にその映像を２値化したものである。（ｂ）において、符号１５０Ｈは接近対象物Ｈが映った領域、符号１５０Ｂは何も映らなかった領域である。符号１５０Ｂの領域は本来、操作パネル１２ａが映る領域であるが、該操作パネル１２ａが光源１２ｃの光に対し透光性を有するので映らない。また、それであっても、その操作パネル１２ａ越しに背景（本実施形態でいえば車両の天井面等）が映っていてもおかしくないが、赤外反射光を十分に捉えることができずに映像として映らなかったか、多少の赤外反射光が捉えられたものの２値化処理により背景と同一化されたかのいずれかである。ちなみに、各図の（ｃ）は、（ｂ）の映像１５０が撮影されているときの、表示装置１５における画面表示の一例である。ただし、本実施形態においては、図９（ｂ）のような映像１５０がされているときには、図９（ｃ）のような画面ではなく、図１０（ｃ）に示すような画面が表示される場合もある。

以下、本実施形態における位置指示画像１６０Ｈの表示について詳説する。

本実施形態においては、接近対象物画像１５０Ｈが手の画像である場合、撮影された手の画像１５０Ｈに基づいて、当該手画像Ｈに基づいて生成された加工画像１６０を位置指示画像として、その手（指先）により位置指示された表示画面上の位置に重ね表示する。

なお、接近対象物画像１５０Ｈに基づく加工画像１６０Ｈとは、本実施形態においては、当該接近対象物画像１５０Ｈの外形形状が反映されるよう加工・生成された接近対象物外形反映画像１６０Ｈである。そして、この画像１６０Ｈがメイン画像１６０Ｂに重畳表示される。重畳表示ではなく、画像１６０Ｈをメイン画像１６０Ｂに合成して表示してもよい。

また、位置指示画像１６０Ｈは、必ずしも撮影された手形状・指形状の輪郭を反映していなくともよく、少なくとも撮影された手の指が指し示す位置を指示する画像であればよく、例えばポインタ画像等のシンボル画像であってもよい。また、位置指示画像１６０Ｈとして、カメラ１２ｂにより撮影された手の画像（ないし指の画像）１５０Ｈを加工せずにそのまま表示（重畳表示や合成表示）しても問題はないが、これと重なる位置に表示されるはずのメイン画像１６０Ｂの一部分が見えなくなること等を考慮すると、より操作がし易くなるような加工（例えば半透過合成）を施しておいた方がより望ましい。

なお、本実施形態においては、光源１２ｃが配置されており、カメラ１２ｂは、当該光源１２ｃの反射光を捉える形で撮影を行っている。従って、撮影映像１５０に現れる色の階調には反射光強度が反映されており、高強度の反射光を捉えたところほど階調レベルが高く現れる。つまり、本実施形態のカメラ１２ｂにより撮影される撮影映像１５０は多階調の撮影画像（本実施形態ではモノクロの撮影画像）であるから、画像処理部１８ａでは、これを予め定められた階調閾値を用いて各画素の階調レベルを２値化して、図９〜図１１の（ｂ）のようにし、当該階調閾値を上回る領域を接近対象物画像１５０Ｈとして抽出する。また、画像処理部１８ａでは、抽出された接近対象物画像１５０Ｈから人の手・指の画像を特定するために、当該接近対象物画像１５０Ｈの形状と、制御回路１８の記憶部に記憶された手形状パターンと比較して、それらパターンに合致する接近対象物画像１５０Ｈを手の画像として認識・特定する。

以下、本実施形態における非覚醒状態検出部７０の動作について詳説する。

脳波センサ７３ａは、所定のシート２に座した乗員の頭部が接触ないし近接した状態において脳波信号を検出する。制御部７１は、脳波センサ７３ａにより検出される脳波信号の入力を受けると、当該脳波信号に対し周知の信号処理・波形処理を行った上で同じく周知の脳波波形分析を行い、シート２の乗員の非覚醒状態を特定する。具体的にいえば、脳波信号に含まれるα波やθ波を抽出・増幅する処理を行って、これらを反映した信号と、それらに対応する基準信号とを比較する形で判定がなされる。そして、本実施形態においては、α波が消失し（α波の振幅が所定期間継続して基準レベルを下回る場合）、かつ、θ波が出現した場合（θ波の振幅が所定期間継続して基準レベルを上回る場合）を非覚醒状態として判定する。なお、本実施形態においては、非覚醒状態として、レム睡眠及びノンレム睡眠を定めるだけでなく、覚醒からノンレム睡眠に至る途中に定められる入眠予兆状態（眠気が予測される状態）も非覚醒状態として定める。入眠予兆状態が非覚醒状態に含まれるよう、各基準信号（上記基準レベル）が設定される。

心電センサ７３ｂは、ステアリングホイール６のリング部６２に複数設けられた電極からなり、運転者が２つの異なる電極を把持することによって、心電位信号を検出する。制御部７１は、心電位信号の入力を受けると、当該心電位信号に対し周知の信号処理・波形処理を行って、心拍に同期した矩形パルス信号（心拍信号）を得て、当該心拍信号に基づいて心拍の間隔をメモリし、これを解析する。睡眠時に心拍数が減少することが知られているので、本実施形態においては、心電位信号に含まれる心拍を反映した心拍信号を抽出・増幅する処理を行って、その心拍信号に基づいて心拍数をカウントし、カウントされた心拍数（所定の基準時間（例えば１分）内でカウントされた心拍数）を基準心拍数と比較するとともに、基準心拍数を所定期間連続して下回り続けた場合を、非覚醒状態として検出する。なお、この基準心拍数は、非覚醒状態として、レム睡眠及びノンレム睡眠のみを定めるのではなく、覚醒からノンレム睡眠に至る途中に定められる入眠予兆状態（眠気が予測される状態）も非覚醒状態として含まれるように定められる。本実施形態においては、前もって計測された正常時の心拍数にオフセット分を加えた形で定めている。

脈波センサ７３ｃは、ステアリングホイール６の一部（ここではリング部６２）に設けられており、本実施形態においては、発光素子（例えば発光ダイオード）及び受光素子（フォトダイオード）を有して構成される周知の光学式反射型センサである。具体的にいえば、発光素子から人体（ステアリングを把持する手）に向かって光が照射されると、光の一部が人体の内部を通る小・細動脈（毛細動脈）にあたって、小・細動脈を流れる血液中のヘモグロビンに吸収され、残りの光が小・細動脈で反射して散乱し、その一部が受光素子に入射する。このとき、血液の脈動により小・細動脈にあるヘモグロビンの量が波動的に変化するので、ヘモグロビンに吸収される光も波動的に変化する。その結果、小・細動脈で反射して受光素子１３で検出される受光量が変化し、その受光量の変化を脈波信号（例えば電圧信号）として出力する。制御部７１は、この脈波位信号の入力を受けると、当該脈波信号に対し周知の信号処理・波形処理を行って、脈拍に同期した矩形パルス信号（脈拍信号）を得て、当該脈拍信号に基づいて脈拍の間隔をメモリし、これを解析する。睡眠時に脈拍数が減少することが知られているので、本実施形態においては、脈波信号から脈拍をカウント可能な脈拍信号を抽出・増幅する処理を行って、その脈拍信号に基づいて脈拍数をカウントし、カウントされた脈拍数（所定の基準時間（例えば１分）内でカウントされた心拍数）を基準脈拍数と比較するとともに、基準脈拍数を所定期間連続して下回り続けた場合を、非覚醒状態として検出する。なお、この基準脈拍数は、非覚醒状態として、レム睡眠及びノンレム睡眠のみを定めるのではなく、覚醒からノンレム睡眠に至る途中に定められる入眠予兆状態（眠気が予測される状態）も非覚醒状態として含まれるように定められる。本実施形態においては、前もって計測された正常時の脈拍数にオフセット分を加えた形で定めている。

呼吸センサ７３ｃは、所定のシート２のリクライニング部（背もたれ部）２ｂに設けられた圧電型フィルムセンサである。制御部７１では、呼吸センサ７３ｃで捕らえた背部生体信号の入力を受けると、当該背部生体信号に対し周知の信号処理・波形処理を行って、呼吸数をカウント可能な呼吸信号を得て、当該呼吸信号に基づいて呼吸の間隔をメモリし、これを解析する。睡眠時に呼吸数が減少することが知られているので、本実施形態においては、背部生体信号から呼吸数をカウント可能な呼吸信号を抽出・増幅する処理を行って、その呼吸信号に基づいて呼吸数をカウントし、カウントされた呼吸数（所定の基準時間（例えば１分）内でカウントされた心拍数）を基準呼吸数と比較するとともに、基準呼吸数を所定期間連続して下回り続けた場合を、非覚醒状態として検出する。なお、この基準呼吸数は、非覚醒状態として、レム睡眠及びノンレム睡眠のみを定めるのではなく、覚醒からノンレム睡眠に至る途中に定められる入眠予兆状態（眠気が予測される状態）も非覚醒状態として含まれるように定められる。本実施形態においては、前もって計測された正常時の呼吸数にオフセット分を加えた形で定めている。

なお、圧電型フィルムセンサ７３ｃにより検出される背部生体信号から、心拍信号や脈拍信号を抽出することもできるので、これを用いることによりセンサ数を減じてもよい。特に、運転者以外の乗員を覚醒状態・非覚醒状態の検出対象とする場合には、ステアリングセンサを使用できないので、圧電型フィルムセンサ７３ｃを用いるとよい。また、上記全ての種類のセンサを設ける必要はなく、少なくとも１以上のものがあればよい。また、後述する目画像から非覚醒状態を検出できるのであれば、これらのセンサ７３を排除した構成もあり得る。ただし、精度よくかつ確実に非検出状態を検出するという意味では、これらセンサは多く備えられていたほうが望ましく、それら複数の検出結果に基づいて、乗員の覚醒状態・非覚醒状態が特定されるとよい。

カメラ２０は、所定の座席に座した乗員の目を撮影するものであり、目画像撮影手段として機能するものである。本実施形態においては、搭乗者の前方に位置する車両天井部に取り付けられ、撮影範囲に、座席に座した乗員の顔全体が含まれるように配置方向が定められている。なお、車室内に目に光を照射する光源（例えば赤外線光源）を設け、その反射光をカメラ２０でとらえて撮影するようにすることで、光量の少ない夜間等においても非覚醒状態の検出が可能となる。

画像解析部７２は、上記カメラ２０の撮影画像の入力を受け、本実施形態においては、主に下記２つの処理を実施する。第一は、カメラ２０により撮影された目画像に基づいて、対応する座席に座する車両乗員の瞳孔寸法の時間的変化を検出する処理であり、第二は、撮影された目画像に基づいて瞬きを検出する処理である。具体的にいえば、まずは、カメラ２０の撮像画像から眼球部の瞳孔領域を抽出する。その上で、第一の処理では、検出された瞳孔の寸法が予め定められたレベル以上の変動を生じているか否かを判定し、その結果を制御部７１に出力する。制御部７１では、検出された瞳孔寸法が所定レベルを下回っている状態（縮瞳状態）が、所定時間以上継続した場合を、非覚醒状態として検出する。他方、第二の処理では、瞳孔が検出されない状態、即ち目を閉じた状態を検出して、その結果を制御部７１に出力する。制御部７１では、検出された瞬きの回数をカウントし、予め定められた所定時間内における瞬きの回数が所定回数範囲から外れた場合、あるいは目を閉じた状態が所定時間以上継続した場合を、非覚醒状態として検出する。第一及び第二の処理で検出された状態は、制御部７１内の所定記憶領域に覚醒情報として記憶される。

なお、目画像を用いたこれら以外の方法により、非覚醒状態を検出してもよい。例えば、入眠予兆状態に検出される所定の眼球運動を検出した場合を、非覚醒状態として検出することができる。

最後に、本実施形態における車載電子機器１００〜４００について簡単に説明しておく。

エアコン（空調装置）１００は、エアコンＥＣＵ１０１に、図示しないセンサ部、駆動部１３０、操作部１４０が接続して構成されている。センサ部は、内気温センサ、外気温センサ、エバポレータ後センサ、及び日射センサ等の周知の空調制御用センサからなる。駆動部１３０は、エアミックスダンパーや内外気切替ダンパー、吹出口切替用ダンパー等の各種ダンパーの開閉状態を切り替えるモータ及びその駆動回路等を含んで構成された駆動機構である。操作部１４０は、空調装置１００の主操作部であり、センターコンソール部Ｃの正面中央の操作パネルに設けられ、運転席２Ｄと助手席２Ｐに着座するユーザーにより操作可能となっている。具体的には、ＡＵＴＯスイッチ，ＯＦＦスイッチ，吹出口切替スイッチ（ＭＯＤＥスイッチ），内外気切替スイッチ，風量切替スイッチ，温度設定スイッチ，デフロスタスイッチ，Ａ／Ｃスイッチ，独立／一括制御切替スイッチ（ＤＵＡＬスイッチ）等の周知の空調制御用操作部により構成されている。

パワーウィンドウシステム２００は、パワーウィンドウＥＣＵ２０１に、駆動部２３０、及び操作部２４０が接続して構成されている。駆動部２３０は、対応する座席の窓ガラスを開閉駆動するためのモータ及びその駆動回路である。操作部２４０は、座席２毎に設けられており、対応する座席の窓ガラスを開閉駆動するための開閉操作部である。具体的には、各座席２に着座するユーザーが背もたれ２ｂにもたれる形で着座した状態で操作可能となる位置に設けられており、ここでは、各座席２に対応するドアに設けられている。

オーディオ装置３００は、オーディオＥＣＵ３０１、駆動部３３０、及び操作部３４０を備えて構成されている。オーディオＥＣＵ３０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備える周知の構成を有するとともに、所定のメディア（記憶媒体）から音楽ソースデータを取得する音楽データ入力器と、音楽ソースデータを記憶する外部記憶装置である音楽データベースと接続している。操作部３４０は、本実施形態においては、車両のセンターコンソール部Ｃに設けられ、運転席２Ｄと助手席２Ｐに着座するユーザーにより操作可能となっており、ボリューム調整操作部、メディア選択操作部、選曲操作部等の周知のオーディオ用操作部として構成されている。オーディオＥＣＵ３０１は、これらの操作部により出力対象曲が指定されると、指定された曲の音楽ソースデータを、メディアや音楽データベースから読み出して、駆動部３３０に出力する。その音楽ソースデータは、駆動部３３０において、まず、デジタル音楽波形データにデコードされ、アナログ変換された後、プリアンプ及びパワーアンプを経て、指定されたボリュームにてスピーカから出力される。

シート調整装置４００は、シート調整ＥＣＵ４０１に、駆動部４３０及び操作部４４０を接続して構成されている。駆動部４３０は、シート２を前後方向、シート２の前端の上下方向、シート２の後端の上下方向、背もたれの傾斜を電動駆動するためのモータ及び駆動回路である。操作部４４０は、ユーザー操作により上記したシートポジション調整を行うためのシート調整操作部であり、各座席２に着座するユーザーが背もたれ２ｂにもたれる形で操作可能な位置に設けられており、本実施形態においては、各座席２の側面に設けられている。

以上、本発明の一実施形態を説明したが、これはあくまでも例示にすぎず、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を逸脱しない限りにおいて、当業者の知識に基づく種々の変更が可能である。以下、上記実施形態とは異なる実施形態について説明する。なお、共通する構成については、同符号を用いることで説明を略する。

上記実施形態では、非覚醒状態時（操作無効モード）において操作入力がなされた場合に、当該操作入力が無効化されるとともに、その無効化されたことが報知されるようになっている。ところが、無効化操作を行った操作者が運転者である場合は、無効化を報知するだけではなく、当該運転者を正常な覚醒状態へと促すための覚醒用出力を実行するようにすることができる（覚醒手段）。なお、無効化を報知とともに覚醒用出力を実行してもよいし、無効化の報知出力として覚醒用出力を実行してもよい。図１３は、図８における無効化操作の報知出力（Ｓ１０４）に代わって、覚醒出力を行う（Ｓ１１４）ようにした操作入力処理の流れを示したフローチャートであり、これを実行することにより、非覚醒状態時における覚醒出力を実現できる。

なお、覚醒用出力の具体例としては、例えば、タッチ操作面１２ａ１への操作反力の増加、タッチ操作面１２ａ１の振動、タッチ操作面１２ａ１への操作音の音量増加、タッチ操作面１２ａ１への操作音の変更、覚醒用の音声出力、警告音の出力、シートベルトの緊縛力の増加、シートベルトの振動、及び車載空調装置１００からの空調出力等がある。

例えば、操作反力を増ずる覚醒出力を行う場合は、図１２のように構成して、タッチパネル１２ａに代わって押圧力を伴う形で操作がなされる操作部を設け、操作部駆動部（スイッチ用駆動部）１２ｄを操作反力発生部として構成する。そして、この操作部駆動部（操作反力発生部）１２ｄを駆動することで、操作部１２ａへの押圧操作に抗する操作反力がより大きくなるように切り替える。例えば、操作部１２ａがハプティックデバイスのような操作部であれば、操作反力を生成するモータの反力設定値を増じる。また、操作部１２ａがスイッチをばね付勢される操作部（プッシュスイッチやシーソースイッチ等）であれば、例えば、付勢力が異なるように別のばねに切り替える機構を設けて実現する。操作反力が増加すれば操作入力時に違和感を覚えさせる形で覚醒を促すことができる。

また、操作部１２ａ１を振動する覚醒出力を行う場合は、図１２のように構成して、操作部駆動部１２ｄを振動発生部として構成して、操作部１２ａ１に振動を与える。操作部が振動すれば、操作者は通常操作時とのより明確な違いを操作した瞬間に認識することができるので、これにより効果的に覚醒を促すことができる。

また、操作部１２ａ１への操作に伴い出力される操作音の音量を増加して出力する、あるいは操作音を変更して出力するような覚醒出力を行う場合は、図１又は図１２のように構成して、操作音の出力設定を覚醒出力用の設定に変更し、その設定に従う形で操作音の出力を行う。なお、操作音の音データは、通常用と覚醒出力用との双方を、制御回路１８の所定記憶部に格納しておき、必要に応じて読み出して使用するようにする。また、操作部１２覚醒を促す音声出力を覚醒出力とする場合は、その音声データを制御回路１８の所定記憶部に格納して、必要に応じて読み出して使用する。音の違いは、通常操作時との明確な違いとして認識できるので、これにより効果的に覚醒を促すことができる。

また、図１２のように構成する場合は、覚醒出力として、操作部１２ａ１を操作した操作者のシートベルトの緊縛力を増加する、あるいはそのシートベルトを振動させる出力を行うようにしてもよい。この場合、例えば車両に搭載されるプリクラッシュセーフティティシステム９００を利用し、そのＥＣＵ９０１に対し、対応するシートベルトの緊縛力を増すよう駆動指令を与えて、シートベルト駆動部９３０を緊縛力の増す方向に駆動させる。あるいは、ＥＣＵ９０１に対し、対応するシートベルトの緊縛力の増減を繰り返すよう駆動指令を与えて、シートベルト駆動部９３０によりシートベルトを振動させる。これにより、より確実な覚醒を促すことができる。

また、図１又は図１２のように構成する場合は、車載空調装置１００のＥＣＵ１０１にて設定される空調出力の設定パラメータを、より低温かつより強風に設定変更して出力するようにする。また、空調出力がされていない状態であれば、一定風量レベル以上の送風の開始だけでも十分な覚醒効果が得られる。

ところで、上記全ての実施形態において、誤操作入力防止のために操作入力の有効／無効が切り替え可能な操作部は、所定の座席から操作可能な操作部であれば他の位置に設けられた操作部であってもよく、誤操作入力防止という観点からすれば、特に、当該座席に着座してその背もたれにもたれた状態の乗員が、その状態のまま操作可能な位置に固定配置された乗員近傍操作部とすることができる。例えば、上記実施形態において、パワーウィンドウシステム４００の運転席２Ｄに対応する操作部４４０は、遠隔操作部１２ａの主操作部とされており、操作入力の有効／無効が切り替えられることはなかったが、この操作部４４０に対し、上記実施形態の遠隔操作部１２ａと同様の形で、操作入力の有効／無効を切り替えられるようにしてもよい。

また、上記全ての実施形態において、誤操作入力防止のために操作入力の有効／無効が切り替え可能な操作部は、主操作部に代わる遠隔操作が可能な遠隔操作部とされているが、必ずしも遠隔操作部でなくともよく、主操作部を有さない操作部であってもよい。また、主操作部そのものであってもよいし、主操作部と遠隔操作部の双方としてもよい。また、上記実施形態のように、表示装置の画面上に手操作を表示しながら操作する遠隔操作部である必要も無い。

また、上記全ての実施形態において、誤操作入力防止のために操作入力の有効／無効が切り替え可能な操作部は、所定の座席から操作可能なタッチパネル１２ａであったが、当該座席から操作可能な操作部であれば、タッチパネルのようにタッチ操作面１２ａ１を有した接触操作部でなくともよく、例えば、プッシュスイッチやシーソースイッチ等の押圧操作を伴うスイッチを備える操作部であってもよい。

また、上記全ての実施形態において、誤操作入力防止のために操作入力の有効／無効が切り替え可能な操作部は、抵抗膜式のタッチパネル１２ａとされているが、他の方式のタッチパネルを用いてもよい。

また、操作パネル１２ａとして、タッチ操作の位置検出を、カメラ等の撮影手段により撮影された撮影画像への画像処理により行うものを、タッチパネルに代わって採用してもよい。

また、上記全ての実施形態において、誤操作入力防止のために操作入力の有効／無効が切り替え可能な操作部は、運転席から操作可能な操作部とされているが、他の座席から操作可能な操作部に設定することもできる。

本発明のタッチ式操作入力装置の一例である車両用手画像重畳表示方式操作入力装置を用いた車両用ナビゲーション装置の構成を示すブロック図。 車両用手画像重畳表示方式操作入力装置が設けられた車室内斜視図。 操作情報入力部の構成の一例を示す断面図。 非覚醒状態検出部の構成を示すブロック図。 センサの配置を示す車室内図。 操作入力制限設定処理の流れを示すフローチャート。 位置指示画像の表示処理の流れを示すフローチャート。 操作入力処理の流れを示すフローチャート。 操作パネルに対向する手の撮影を説明する第一の図。 操作パネルに対向する手の撮影を説明する第二の図。 操作パネルに対向する手の撮影を説明する第三の図。 図１とは異なる車両用ナビゲーション装置の構成を示すブロック図。 図８とは異なる操作入力処理の流れを示すフローチャート。

符号の説明

１ 車両用操作入力装置
１０ 車両用ナビゲーション装置
１２ 操作情報入力部
１２ａ 操作パネル（遠隔操作部）
１２ｂ カメラ（手画像撮影手段）
１２ｃ 光源
１５ 表示装置（表示手段）
１５ａ タッチパネル（主操作部）
１８ 制御回路
１８ａ 画像処理部
２０ カメラ（目画像撮影手段）
５０ 車両内ＬＡＮ
７０ 非覚醒状態検出部
７１ 制御部
７２ 画像解析部
７３ センサ
１００ 車載空調装置
２００ パワーウィンドウシステム
３００ オーディオ装置
４００ シート調整装置
１５０ 撮影画像
１６０Ｂ メイン画像
１６０Ｉ スイッチ画像（操作アイコン）
１６０Ｈ 接近対象物画像（手画像や指画像：位置指示画像）
Ｈ 接近対象物（手・指）

Claims (16)

1. 車両乗員が操作する操作部を有した車両用操作装置であって、
   前記車両乗員の生体情報を取得する生体情報取得手段と、
   取得した生体情報に基づいて、前記車両乗員が正常な覚醒状態とは異なる予め定められた非覚醒状態にあることを検出する非覚醒状態検出手段と、
   前記非覚醒状態が検出された場合には、前記操作部になされた操作入力を無効化とする操作入力無効化手段と、
   を備えることを特徴とする車両用操作入力装置。
2. 前記操作入力無効化手段により操作入力が無効化されるに伴い、前記運転者に対し無効化された操作入力があったことを報知する無効化操作入力報知手段を備える請求項１記載の車両用操作入力装置。
3. 車両の座席に着座した前記車両乗員から画面視認可能となるよう車両前方側に表示装置が設けられ、
   前記無効化操作入力報知手段は、前記操作入力無効化手段により操作入力が無効化されるに伴い、前記表示装置の画面上の一部又は全体の表示状態を変更する形で、前記運転者に対し無効化された操作入力があったことを報知する請求項２記載の車両用操作入力装置。
4. 前記車両乗員は運転者として定められ、前記操作入力無効化手段により操作入力が無効化されるに伴い、当該運転者を正常な覚醒状態へと促すための覚醒用出力を実行する運転者覚醒手段を備える請求項１ないし請求項３のいずれか１項に記載の車両用操作入力装置。
5. 請求項２の要件を備え、
   前記無効化操作入力報知手段は、前記運転者に対し無効化された操作入力があったことを報知するための報知出力として、前記運転者を正常な覚醒状態へと促すための覚醒用出力を実行する運転者覚醒手段である請求項３又は請求項４に記載の車両用操作入力装置。
6. 前記運転者覚醒手段は、前記覚醒用出力として、前記操作部の操作反力の増加、前記操作部の振動、前記操作部の操作音の音量増加、前記操作部の操作音の変更、警告音出力、シートベルトの緊縛力の増加、シートベルトの振動、及び車載エアコンからの空調出力のうち、少なくとも１以上の出力を実行するものである請求項５記載の車両用操作入力装置。
7. 前記車両乗員は運転者として定められ、前記生体情報取得手段は、該運転者の生体情報を取得するものであり、前記操作部は、少なくとも車両の運転席に着座する該運転者が操作可能な位置に設けられている請求項１ないし請求項６のいずれか１項に記載の車両用操作入力装置。
8. 前記生体情報取得手段として、前記車両乗員の瞳孔の時間的変化を検出する瞳孔変化検出手段を備えるとともに、当該瞳孔変化取得手段は、前記車両乗員の目画像を撮影する目画像撮影手段を有し、撮影された前記目画像に基づいて前記車両乗員の瞳孔寸法の時間的変化を検出するものである請求項１ないし請求項７のいずれか１項に記載の車両用操作入力装置。
9. 前記生体情報取得手段として、前記車両乗員の瞬きを検出する瞬き検出手段を備えるとともに、当該瞬き検出手段は、前記車両乗員の目画像を撮影する目画像撮影手段を有し、撮影された前記目画像に基づいて瞬きを検出するものである請求項１ないし請求項８のいずれか１項に記載の車両用操作入力装置。
10. 前記生体情報取得手段として、前記車両乗員の脈波、心拍、心電、脳波のうち少なくとも１以上の生体波形を取得する生体波形検出手段を備え、当該生体波形検出手段は、車両運転時において各座席に着座した前記車両乗員との接触可能な車両パーツに設けられた生体波形検出センサである請求項１ないし請求項９のいずれか１項に記載の車両用操作入力装置。
11. 前記操作部は、接触操作により操作入力がなされるタッチ操作面を有した接触操作部である請求項１ないし請求項１０のいずれか１項に記載の車両用操作入力装置。
12. 前記操作部は、車両乗員が背もたれにもたれた形で車両の座席に着座した状態にて操作可能な位置に固定配置された乗員近傍操作部である請求項１ないし請求項１１のいずれか１項に記載の車両用操作入力装置。
13. 前記車両乗員は運転者であり、前記操作部は、別途設けられた主操作部よりも運転席に近い位置に固定配置され、当該主操作部への操作入力を遠隔的に行うことが可能な遠隔操作部である請求項１ないし請求項１２のいずれか１項に記載の車両用操作入力装置。
14. 車両の運転席及び助手席に着座した双方の車両乗員から画面視認可能となるようそれら車両乗員よりも車両前方側に配置された表示装置を備え、前記主操作部は、当該表示装置に設けられた表示面接触型の操作部であり、前記遠隔操作部は、前記運転席の座部と前記助手席の座部との間に設けられている請求項１３記載の車両用操作入力装置。
15. 前記遠隔操作部を操作する操作者の手画像を撮影する手画像撮影手段と、
    撮影された前記手画像から前記表示画面上における対応する指示位置を特定して、特定された指示位置に位置指示画像を合成あるいは重畳して表示する手画像表示手段と、
    前記手画像表示手段の表示モードを、前記非覚醒状態が検出されている場合には、前記位置指示画像の前記表示画面上への表示を禁止する表示禁止モードを設定し、前記非覚醒状態にあることが検出されていない場合には、前記位置指示画像の前記表示画面上への表示を許可する表示許可モードを設定する表示モード設定手段と、
    を備える請求項１３又は請求項１４に記載の車両用操作入力装置。
16. 前記操作部は、エアコン操作部、オーディオ操作部、ナビゲーション操作部、パワーウィンドウ操作部、及びシート位置調整操作部のうち、１以上のものである請求項１ないし請求項１５のいずれか１項に記載の車両用操作入力装置。

Images