【０００１】
【発明の属する技術分野】
本発明は、車両の運転状態に応じた画像表示を行なう車両運転状態表示装置に関し、特に、車両の運転状態に応じた表情の顔画像を表示し得る車両運転状態表示装置に係る。
【０００２】
【従来の技術】
従来から、車両の運転状態に応じて警報を行なう装置が種々提案されている。例えば、下記の特許文献１には、運転中の運転者の安全運転を支援することを目的とし、走行状態情報を、予め記憶した安全運転閾値情報と比較し、その比較結果に基づいて安全運転か否かを判定し、安全運転ではないと判定したときに、運転者に警報するように構成した安全運転支援装置が提案されている。
【０００３】
一方、下記の特許文献２には、運転者の運転技術を効率的に診断するため、センサ部で検出した車両の挙動の特徴をメモリ媒体に記録しておき、メモリ媒体から所定の車両挙動を特定し、この走行挙動での計測データのみを抽出して、運転者の相対特徴を表す特徴情報を生成し、この特徴情報と安全基準情報との比較に基づいてその運転者による運転技術を診断するように構成した車両の運転技術診断システムが提案されている。
【０００４】
そして、下記の特許文献３には、計測結果を運転手に対して的確かつ分かりやすく告知し得るように計測結果の表示形態が可変する表示可変メータが提案されている。具体的には、表示可変メータの一例としてのスピードメータにおける表示として例えば蛙の絵を使用した場合には、計測結果の車速が正常な場合には蛙の絵はにこやかで落ち着いた状態に表示し、車速が制限速度を越えた異常状態になった場合には、蛙の絵も異常な表現に変化し、これにより速度が制限速度を超えている旨の警告表示を行うように構成されている。
【０００５】
尚、下記の非特許文献１には顔画像の特徴部分を抽出する方法（Ｆａｃｉａｌ Ｆｅａｔｕｒｅ ｅｘｔｒａｃｔｉｏｎ ｂｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）が解説されており、非特許文献２には画像を変形する方法（Ｆｉｅｌｄ Ｍｏｒｐｈｉｎｇ）が解説されている。
【０００６】
【特許文献１】
特開２００１−１２４５８５号公報
【特許文献２】
特開２００２−２１１２６５号公報
【特許文献３】
特開平１０−２３２１４０号公報
【非特許文献１】
Ｐａｕｌ Ｄｅｂｅｖｅｃ， Ｓｈａｗｎ Ｎｅｅｌｙ 著
”Ａ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ Ｆａｃｉａｌ Ｌｏｃａｔｉｏｎ”
ＵＣ Ｂｅｒｋｅｌｅｙ ＣＳ２８３ Ｃｏｕｒｓｅ Ｐｒｏｊｅｃｔ， １９９２
【非特許文献２】
Ｔｈａｄｉｕｓ Ｂｅｉｅｒ 著 ”Ｆｅａｔｕｒｅ−Ｂａｓｅｄ Ｉｍａｇｅ Ｍｅｔａｍｏｒｐｈｏｓｉｓ”
Ｓｉｇｇｒａｐｈ， １９９２
【０００７】
【発明が解決しようとする課題】
前掲の特許文献１に記載の装置においては、運転状況の解析結果に基づく運転管理者による指導を企図したもので、警報も事務的で、運転者の自発的な行為を促す手段としては不十分である。また、前掲の特許文献２に記載の装置においては、車両挙動の計測データに基づいて生成した運転者の特徴情報と基準情報との比較結果に基づき、運転技術診断を行うこととしているが、オフライン処理を原則としており、運転者が直ちに対応し得るというものではない。また、運転技術診断表の画像表示例も開示されているが、これも事務的で、運転者の自発的な行為を促す手段としては不十分である。
【０００８】
一方、前掲の特許文献３に記載の表示可変メータは、計測結果に応じて表示形態が可変するので、運転者は車両運転中に制限速度超過を認識することができるが、スピードメータ等のメータ表示の改良として絵情報を追加したものであり、車両の運転状態を監視し、その運転状態を画像表示するというものではない。しかも、蛙等の絵情報は、固定された複数の絵の中から選択されるものであるので、数回の走行で飽きることが予想され、また運転者に対する注意喚起効果も期待できなくなる。
【０００９】
ところで、車両の運転状態に応じて運転者に対し注意喚起を行なう画像表示として、最も効果が期待できるのは、家族の顔の実画像（以下、顔画像という）、とりわけ運転者の子供の顔画像と思われ、その表情が運転状態に応じて、例えば悲しげな表情に変化すれば、乱暴な運転を差し控えるのは必定である。従って、先ず、車両の運転状態に応じて顔画像の表情を変化させることが有効と考えられる。
【００１０】
しかし、車両の運転状態に応じて種々の表情の顔画像を用意することは至難であり、特に、幼い子供に演技を強要しても、注意喚起を期待できるような表情を確保することは困難である。一方、前掲の非特許文献１に記載のように、顔画像を修正し得る画像処理技術は実用に供されるまでに至っている。
【００１１】
そこで、本発明は、車両の運転状態に応じた画像表示を行なう車両運転状態表示装置において、車両の運転状態に応じた表情の顔画像を表示し得る車両運転状態表示装置を提供することを課題とする。
【００１２】
また、本発明は、上記の車両運転状態表示装置において、少なくとも一つの顔画像に基づき複数の表情画像を設定し、車両の運転状態に応じた表情画像を選択して表示し得る車両運転状態表示装置を提供することを別の課題とする。
【００１３】
【課題を解決するための手段】
上記課題を解決するため、本発明は、請求項１に記載のように、車両に搭載し該車両の運転状態に応じた画像表示を行なう車両運転状態表示装置において、前記車両に搭載し前記車両の運転状態を監視する運転状態監視手段と、該運転状態監視手段の監視結果の前記車両の運転状態を所定の基準と比較し、基準外の運転状態か否かを判定する判定手段と、少なくとも一つの顔画像を入力する画像入力手段と、該画像入力手段が入力した前記顔画像に基づき、前記判定手段の判定結果に応じた表情画像を設定する表情画像設定手段と、少なくとも該表情画像設定手段が設定した表情画像を表示する報知手段を備えることとしたものである。
【００１４】
尚、前記判定手段は、請求項２に記載のように、前記車両の運転状態を所定の基準と比較した比較結果のデータを蓄積し、蓄積データを所定の時間内における所定値と比較し、基準外の運転状態か否かを判定するように構成するとよい。
【００１５】
また、前記表情画像設定手段は、請求項３に記載のように、前記画像入力手段が入力した前記一つの顔画像を基本表情画像に設定し、該基本表情画像に対し所定の変更を加えて表情が異なる複数の表情画像を設定し、該複数の表情画像の中から前記判定手段の判定結果に応じた表情画像を選択して、前記報知手段による表示画像として設定するように構成するとよい。
【００１６】
更に、請求項４に記載のように、前記報知手段が表示した表示画像に基づき、前記判定手段の表示画像に対応する判定結果を確認する確認手段を備えたものとしてもよい。
【００１７】
【発明の実施の形態】
以下、本発明の車両運転状態表示装置の実施形態について図面を参照して説明する。図１は本発明の一実施形態の全体構成を示すもので、例えば図２に示す車両ＶＨに搭載され、図３に示すように構成されている。図１において、本実施形態の車両運転状態表示装置は、車両（図２のＶＨ）の運転状態を監視する運転状態監視手段ＶＣと、運転状態監視手段ＶＣの監視結果の運転状態を所定の基準と比較し、基準外の運転状態か否かを判定する判定手段ＤＴを備えている。更に、少なくとも一つの顔画像（例えば、図８に示す子供の平静時の表情画像Ｆｎ）を入力する画像入力手段ＴＰと、この画像入力手段ＴＰが入力した顔画像に基づき、判定手段ＤＴの判定結果に応じた表情画像を設定する表情画像設定手段ＳＦと、少なくとも表情画像設定手段ＳＦが設定した表情画像を表示する報知手段ＡＬを備えている。
【００１８】
図１の画像入力手段ＴＰは、デジタルカメラ（例えば図９にＣＡで示す）、カメラ付き携帯電話（例えば図９にＴＬで示す）、スキャナ装置（図示せず）、ビデオ装置（図示せず）等を含み、図３にはこれらを代表して撮像機器ＣＭとして示している。而して、撮像機器ＣＭによって少なくとも一つの顔画像（例えば平静時の顔画像）が静止画像あるいは動画像の形で入力され、例えば図３の電子制御装置ＣＴ内のメモリ（図示せず）に記録される。この顔画像は、例えば基本表情入力（ＦＢ）とされる。尚、画像入力手段ＴＰについては通信手段を介して入力するように構成してもよく、これについては、図９を参照して後述する。
【００１９】
次に、図１の表情画像設定手段ＳＦとしては、例えば上記の画像入力手段ＴＰによって予め複数の表情の静止画像を入力しておき、その中から判定手段ＤＴの判定結果に応じた表情の静止画像を選択することとしてもよい。あるいは、ビデオ装置（図示せず）によって撮影した動画像の中から、複数の表情の静止画像を選択し、予め設定しておくこととしてもよい。
【００２０】
即ち、表情画像設定手段ＳＦは、画像入力手段ＴＰが入力した一つの（例えば平静時の）顔画像を基本表情画像に設定し、この基本表情画像に対し自動的に表情変更（ＦＣ）を行なうことによって表情が異なる複数の表情画像を予め設定しておき、その複数の表情画像の中から判定手段ＤＴの判定結果に応じた表情画像を選択して、報知手段ＡＬによる表示画像として設定し、画像表示（ＶＭ）を行い、更に必要に応じて音声出力（ＡＵ）を伴うように構成することができる。例えば、表情画像設定手段ＳＦの基本表情入力（ＦＢ）に基づき、判定手段ＤＴの判定結果に応じて画像処理を行なうことにより自動的に表情変更（ＦＣ）を行なうことができる。尚、この表情変更（ＦＣ）の具体的手段については、図５乃至図８を参照して後述する。
【００２１】
上記の画像表示（ＶＭ）を行なう手段としては、図２及び図３に示す画像表示器Ｍ１、所謂、車載モニタがあり、音声出力（ＡＵ）を行なう手段としては、図２及び図３に示す音声出力器Ｍ２があり、種々のオーディオ機器を転用することができる。尚、このとき表示する画像は、本実施形態では静止画であるが、動画としてもよい。
【００２２】
更に、図１に示すように、上記の報知手段ＡＬが表示した表示画像に基づき、判定手段ＤＴの表示画像に対応する判定結果を確認する確認手段ＣＨを備えたものとしてもよい。本実施形態では、この確認手段ＣＨとして、図３のアドバイススイッチＳＷを含み、後述するように処理される。
【００２３】
そして、図１の運転状態監視手段ＶＣとしては、図３に示す種々のセンサを含み、これらの検出信号が電子制御装置ＣＴに供給され、運転状態監視ブロックＣ１において車両の運転状態が監視されるように構成されている。本実施形態のセンサとしては、車間距離センサＤｓ、前後加速度センサＧｘ、横加速度センサＧｙ、車速センサＶｓ、ヨーレートセンサＹｒ、ターンシグナルスイッチＴｓ、アクセルストロークセンサＡｓ、ステアリング回転センサＳａ、ブレーキストロークセンサＢｓ、シフトポジションスイッチＳｐが配設されている。尚、これらのセンサは周知であるので説明は省略する。
【００２４】
更に、図１の判定手段ＤＴは、図３の判定ブロックＣ２において、車両の運転状態を所定の基準と比較した比較結果のデータを蓄積し、蓄積データを所定の時間内における所定値と比較し、基準外の運転状態か否かを判定するように構成されている。本実施形態では、上記のデータとして下記の減点及び加点を設定し、その積算点Ｔを蓄積データとして設定し、この積算点Ｔに応じて例えば図４の判定基準に従い、表情画像Ｆａ乃至Ｆｅ（その一部の例を図８に示す）の何れかを選択するように構成されている。例えば、車両の運転状態を所定の基準と比較して基準外と判定されたときに減点１とされ、基準外と判定されない状態が例えば１０分継続したときに加点１とされる。尚、図４に示した例では下限は０点とされ、上限は１０点とされる。
【００２５】
而して、図３の判定ブロックＣ２においては、運転状態監視ブロックＣ１で監視される運転状態が所定の基準と比較され、比較結果のデータとして、例えば以下の点数に換算される。先ず、（１）ＴＴＣ（車間距離／相対接近速度）＜０．５秒の条件を満たすとき、または車頭時間（車間距離／自車速度）＜１．０秒の条件を満たすときには、「車間不足」と判定され、減点１とされる。（２）次に、０．３Ｇ以上の減速度が連続０．３秒以上検出されたときには、「急ブレーキ」と判定され、減点１とされる。（３）０．２Ｇ以上の加速が連続１秒以上検出されたときには、「急加速」と判定され、減点１とされる。（４）ターンシグナルスイッチＴｓを操作することなく所定のステアリング操作が行なわれたときには、「ウィンカ無の車線変更」と判定され、減点１とされる。（５）例えば１０分間の平均速度を中心とした所定速度以上の速度変化（増減）の回数が所的回数を超えたときには、「速度のフラツキ」と判定され、減点１とされる。（６）ステアリング操作のゆらぎ量が所定量以上あるときには、「ステアのフラツキ」と判定され、減点１とされる。そして、（７）ステアリング角度と車速、又はヨーレートと車速に基づき、所定量以上の横加速度が検出されたときには、「過大横加速度」と判定され、減点１とされる。尚、上記の基準は一例を示すもので、これに限定するものではない。更に、例えば車速等を基準に、高速道路、市街地、あるいは住宅街を走行中か否かに区分し、各区分で上記の各条件における基準値を適宜変更することとしてもよい。
【００２６】
上記の蓄積データの判定基準は、例えば図４に示すように設定される。先ず、車両の運転が開始すると（例えば、イグニッションスイッチがオンとされると）、「平静時」の表情画像Ｆｎが選択され、上記の判定ブロックＣ２にて減点無の状態が１０分継続すると加点１とされる。これに対し、上記の判定ブロックＣ２にて減点１とされると、「驚き」の表情画像Ｆａ（一例を図８に示す）が選択され、表情画像Ｆａが図２の画像表示器Ｍ１の画面上で点滅表示される。この状態で５秒経過すると、そのときの積算点Ｔ（例えば、９点）から１点が減点され、新たな積算点Ｔとされる（Ｔ−１＝Ｔ）。この結果、例えば積算点Ｔが９点で「平静時」の表情画像Ｆｎにあった画像表示に代わって、「若干の怒り」の表情画像Ｆｂが選択される。同様にして、積算点Ｔが５点以下となると、「怒り」の表情画像Ｆｃが選択され、更に積算点Ｔが２点以下となると、「悲しみ」の表情画像Ｆｄが選択される。尚、表情画像Ｆｃ及びＦｄの一例を図８に示す。
【００２７】
逆に、積算点Ｔが加点されるに従い、表情画像Ｆｄ、Ｆｃ、Ｆｂ、Ｆｎが順次選択され、図２の画像表示器Ｍ１の画面上に表示される。そして、積算点Ｔが１０点となって所定時間（例えば５分間）継続すると、「平静時」の表情画像Ｆｎから「喜び」の表情画像Ｆｅ（一例を図８に示す）が選択され、表情画像Ｆｅが図２の画像表示器Ｍ１の画面上に表示される。尚、図４において右方になる程、注意喚起すべき程度が大となるので、図８に一例を示すように、注意喚起レベルに応じた表情画像が設定されている。
【００２８】
次に、図３の電子制御装置ＣＴにおいて、撮像機器ＣＭによって撮影された顔画像が画像記録・生成ブロックＣ３に入力され、表示出力制御ブロックＣ４にて、例えば後述する図５に示すように処理されて、表情画像Ｆｎ等の画像信号が画像表示器Ｍ１に供給される。
【００２９】
更に、本実施形態では、電子制御装置ＣＴは既存のナビゲーションシステムＮＶに接続されており、運転状態監視ブロックＣ１に種々の先行情報が入力されるように構成されている。例えば、ナビゲーションシステムＮＶによって、一時停止交差点での徐行速度や停止時間不足、制限速度超過、コーナリング走行速度過剰、踏切停止時間等を検出することができるので、これらの情報を運転状態監視ブロックＣ１に入力することにより、更に多様なファクターで車両の運転状態を監視することができる。
【００３０】
ここで、図１に示した表情画像設定手段ＳＦにおける表情変更（ＦＣ）の具体的手段について、図１、図３、並びに図５乃至図８を参照して説明する。先ず、図１の画像入力手段ＴＰにおける基本表情入力（ＦＢ）として、図３の撮像機器ＣＭ（例えばデジタルカメラ）によって撮影された上記表情画像Ｆｎの元となる「平静時」における顔の実画像が、画像記録・生成ブロックＣ３に入力される。ここで、図５に破線で示すように、「平静時」の顔画像が適切な寸法にサイズ変換（ＳＣ）された後、ニューラルネットワークに基づき顔の特徴部分が抽出される（Ｆ１）。そして、前述の判定手段（図１のＤＴ）の判定結果に応じて、表情変更（ＦＣ）のための変形領域データ（Ｆ２）が設定され、画像変形フィールドモーフィング（Ｆ３）により、変形領域内の抽出特徴部分（Ｆ１）の形態調整が行なわれ、画像表示（ＶＭ）が行なわれる。図５に破線で示す追加画像描画（ＶＡ）は、判定手段ＤＴの判定結果に応じて、例えば図８の「悲しみ」の表情画像Ｆｄに対し、更に「涙」を意図的に追加して強調するものであり、これは必要に応じて付加すればよい。尚、図８は写真に代えて線図で表わしたものであり、図８の表情画像Ｆｎは、「平静時」における顔の実画像に対応し、これに対し表情変更（ＦＣ）を行なった表情画像がＦａ等である。
【００３１】
図６はフィールドモーフィングを行なうための基準線分の集合要素の一例として、目の寸法と角度を（白抜矢印の方向に）変化させる場合を示すもので、破線の範囲が基準線分の集合で変形領域を示す。例えば、先ずニューラルネットワークによって、図７の左側に示すような上記表情画像Ｆｎの元となる「平静時」の顔画像に対し、図７の右側に十字で示す特徴部分（目、眉、鼻、及び口。図７の右側ではこれらの図示を省略）が抽出される。尚、図７における白抜矢印は対応関係を示すもので、変化を示すものではない。そして、これらの特徴部分に対しフィールドモーフィングが行なわれると、各特徴部分が変形され、図８の中央に示す「平静時」の表情画像Ｆｎから、白抜矢印で示すように、「驚き」の表情画像Ｆａ、「怒り」の表情画像Ｆｃ、「悲しみ」の表情画像Ｆｄ、及び「喜び」の表情画像Ｆｅが形成される。以上のように、一つの顔の実画像に基づき、種々の表情の画像を形成することができる（例えば、従来の技術に示した非特許文献２に記載の技術を用いる）。
【００３２】
更に、上記のように画像表示器Ｍ１に例えば「悲しみ」の表情画像Ｆｄが表示されたときに、運転者がその理由、あるいはこれに対応する注意喚起事項を確認することを望む場合には、図３のアドバイススイッチＳＷを押圧操作すれば、図１の確認手段ＣＨが機能し判定手段ＤＴの表示画像に対応する判定結果を確認することができる。即ち、アドバイススイッチＳＷの操作により、図３の表示出力ブロックＣ４において、判定ブロックＣ２で判定された表示画像に対応する判定結果が、直接、あるいは以下のような注意喚起事項に変換されて、画像表示器Ｍ１に文字表示され、及び／又は音声出力器Ｍ２から音声が出力される。
【００３３】
例えば、（ａ）「早めのブレーキをして下さい」、（ｂ）「もっと車間距離をとって下さい」、（ｃ）「ハンドルがふらついています。遠くを見て運転して下さい」、（ｄ）「ゆっくり加速して下さい」、（ｅ）「眠くないですか？休憩を取りましょう」、（ｆ）「カーブの速度が高過ぎます」、（ｇ）「ウィンカーが出ていません」というように、そのときの表示画像に対応した注意喚起事項が出力される。
【００３４】
図９は、図１の画像入力手段ＴＰに対し通信手段を介して顔画像を入力する構成例を示すもので、先ず、入力手段Ｐ１によれば、カメラ付き携帯電話ＴＬで撮影された顔画像（例えば平静時の顔画像）が、電子メール等によって中継基地局ＪＣ１，ＪＣ２及びインターネット通信網ＩＮＴを介して車載通信装置ＴＲに送信され、図３の画像記録・生成ブロックＣ３に入力される。このように、カメラ付き携帯電話ＴＬによって運転者の子供の顔を撮影し、一枚の顔画像を入力するだけで、前述のように複数の表情画像を自動的に作成することができる。従って、静止状態を維持できない乳幼児の表情画像も容易に作成し、適切に画像表示器Ｍ１に表示させることができる。
【００３５】
次に、入力手段Ｐ２によれば、デジタルカメラＣＡで撮影された顔画像が、例えば家庭用のパーソナルコンピュータＰＣに取り込まれ、電子メール等によってインターネット通信網ＩＮＴ及び中継基地局ＪＣ２を介して車載通信装置ＴＲに送信され、画像記録・生成ブロックＣ３に入力される。そして、入力手段Ｐ３によれば、デジタルカメラＣＡが直接、あるいはパーソナルコンピュータＰＣを介して車両の電子制御装置ＣＴに接続され、デジタルカメラＣＡで撮影された顔画像が画像記録・生成ブロックＣ３に転送される。
【００３６】
【発明の効果】
本発明は上述のように構成されているので以下に記載の効果を奏する。即ち、請求項１に記載の車両運転状態表示装置においては、運転状態監視手段の監視結果の車両の運転状態を所定の基準と比較し、基準外の運転状態か否かを判定する判定手段と、少なくとも一つの顔画像を入力する画像入力手段と、画像入力手段が入力した顔画像に基づき、判定手段の判定結果に応じた表情画像を設定する表情画像設定手段と、少なくとも表情画像設定手段が設定した表情画像を表示する報知手段を備えているので、車両を運転中の運転者に対し、適切に注意を喚起することができる。特に、報知手段によって判定結果に応じた表情画像が表示されるので、単なる注意喚起に留まらず、運転者による自発的な運転矯正を促すことができる。
【００３７】
前記判定手段は、請求項２に記載のように構成すれば、時々刻々と変化する運転状態に対し、基準外の運転状態か否かを適切に判定することができる。
【００３８】
そして、前記表情画像設定手段を請求項３に記載のように構成すれば、予め複数の表情画像を入力しておくことができない場合でも、一つの顔画像から複数の表情画像を自動的に設定することができるので、判定結果に応じた表情画像を適切に表示することができる。
【００３９】
更に、請求項４に記載のように確認手段を備えたものとすれば、前記報知手段で表示された表示画像に対応する判定結果を確認することができるので、運転者による自発的な運転矯正に際し、一層具体的な対応が可能となる。
【図面の簡単な説明】
【図１】本発明の車両運転状態表示装置の一実施形態の構成を示すブロック図である。
【図２】本発明の一実施形態に係る車両運転状態表示装置を備えた車両内部の前面を示す正面図である。
【図３】本発明の一実施形態における運転状態監視手段等の具体的構成の一例を示すブロック図である。
【図４】本発明の一実施形態に係る判定手段に供する判定基準の一例を示す説明図である。
【図５】本発明の一実施形態に係る表情画像設定手段における表情変更に供する具体的構成の一例を示すブロック図である。
【図６】本発明の一実施形態においてフィールドモーフィングを行なうための基準線分の集合要素の一例を示す説明図である。
【図７】本発明の一実施形態において、ニューラルネットワークによって表情画像の元となる顔画像から特徴部分を抽出してフィールドモーフィングを行なう状況を示す説明図である。
【図８】本発明の一実施形態に係る表情画像設定手段における表情変更において、一つの顔の実画像に基づき、種々の表情の画像を形成する状況を線画で示す説明図である。
【図９】本発明の一実施形態に係る画像入力手段に対し通信手段を介して顔画像を入力する構成例を示す説明図である。
【符号の説明】
ＶＨ 車両， ＶＣ 運転状態監視手段， ＤＴ 判定手段，
ＴＰ 画像入力手段， ＳＦ 表情画像設定手段， ＡＬ 報知手段，
ＣＭ 撮像機器， ＣＡ デジタルカメラ， ＴＬ カメラ付き携帯電話，
ＣＴ 電子制御装置[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a vehicle driving state display device that displays an image according to the driving state of a vehicle, and more particularly, to a vehicle driving state display device that can display a facial image with an expression according to the driving state of a vehicle.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, various devices that issue an alarm according to a driving state of a vehicle have been proposed. For example, Japanese Patent Application Laid-Open No. H11-163,097 discloses a technique for comparing driving state information with pre-stored safe driving threshold information in order to assist a safe driving of a driver while driving, and based on the comparison result. There has been proposed a safe driving support device configured to determine whether or not the driving is not safe driving, and to warn the driver when it is determined that the driving is not safe driving.
[0003]
On the other hand, in the following Patent Document 2, in order to efficiently diagnose a driving technique of a driver, characteristics of a vehicle behavior detected by a sensor unit are recorded in a memory medium, and a predetermined vehicle behavior is stored in the memory medium. Identify and extract only the measurement data of this driving behavior, generate characteristic information representing the relative characteristics of the driver, and diagnose the driving technique by the driver based on a comparison between this characteristic information and the safety standard information. There has been proposed a vehicle driving technology diagnosis system configured to perform the above operation.
[0004]
Patent Literature 3 below proposes a display variable meter in which the display form of the measurement result is changed so that the measurement result can be notified to the driver accurately and easily. Specifically, when a frog picture is used as a display on a speedometer as an example of a display variable meter, if the measured vehicle speed is normal, the frog picture is displayed in a smiling and calm state. When the vehicle speed is in an abnormal state exceeding the speed limit, the picture of the frog is also changed to an abnormal expression, thereby displaying a warning that the speed is exceeding the speed limit. .
[0005]
Non-Patent Document 1 below describes a method of extracting a characteristic portion of a face image (Facial Feature extraction by Neural Network), and Non-Patent Document 2 describes a method of deforming an image (Field Morphing). Have been.
[0006]
[Patent Document 1]
JP 2001-124585 A [Patent Document 2]
Japanese Patent Application Laid-Open No. 2002-212265 [Patent Document 3]
JP-A-10-232140 [Non-Patent Document 1]
"A Neutral Network for Facial Location", by Paul Devevec, Shawne Nelly
UC Berkeley CS283 Course Project, 1992
[Non-patent document 2]
"Feature-Based Image Metamorphosis" by Thadius Beier
Siggraph, 1992
[0007]
[Problems to be solved by the invention]
The device described in Patent Document 1 is intended to provide guidance by a driving manager based on the analysis result of the driving situation, and the warning is also clerical, and is not sufficient as a means for prompting the driver's voluntary action. It is. Further, in the device described in Patent Document 2 described above, the driving skill diagnosis is performed based on the comparison result between the driver's characteristic information generated based on the measurement data of the vehicle behavior and the reference information. The treatment is in principle, and the driver cannot take immediate action. Although an image display example of a driving skill diagnosis table is also disclosed, this is also clerical and is not sufficient as a means for encouraging a driver to voluntarily act.
[0008]
On the other hand, the display variable meter described in Patent Document 3 described above changes the display mode according to the measurement result, so that the driver can recognize that the speed limit has been exceeded while the vehicle is operating. This is an addition of picture information as an improvement of the display, and does not monitor the driving state of the vehicle and display the driving state as an image. Moreover, since the picture information of a frog or the like is selected from a plurality of fixed pictures, it is expected that the driver will get tired of running several times, and the effect of alerting the driver cannot be expected.
[0009]
By the way, the most effective image display that alerts the driver according to the driving state of the vehicle is the real image of the family's face (hereinafter referred to as the face image), especially the face of the driver's child. If the expression seems to be an image and the expression changes to a sad expression according to the driving condition, it is inevitable to refrain from violent driving. Therefore, first, it is considered effective to change the facial expression of the face image according to the driving state of the vehicle.
[0010]
However, it is extremely difficult to prepare facial images with various facial expressions according to the driving state of the vehicle, and it is particularly difficult to ensure facial expressions that can be expected to alert even if a young child is forced to perform. It is. On the other hand, as described in Non-Patent Document 1, an image processing technique capable of correcting a face image has been put to practical use.
[0011]
In view of the above, an object of the present invention is to provide a vehicle driving state display device that can display a face image with a facial expression according to the driving state of a vehicle, in a vehicle driving state display device that performs image display according to the driving state of the vehicle. And
[0012]
Further, according to the present invention, in the above-described vehicle driving state display device, a plurality of expression images are set based on at least one face image, and a vehicle driving state display capable of selecting and displaying an expression image according to the driving state of the vehicle. Another object is to provide a device.
[0013]
[Means for Solving the Problems]
In order to solve the above-mentioned problems, the present invention provides a vehicle driving state display device mounted on a vehicle and displaying an image according to the driving state of the vehicle, wherein the vehicle is mounted on the vehicle Operating state monitoring means for monitoring the operating state of the vehicle, determining means for comparing the operating state of the vehicle as a result of monitoring of the operating state monitoring means with a predetermined reference, and determining whether or not the operating state is outside the standard; Image input means for inputting one face image, expression image setting means for setting an expression image according to a result of the judgment by the judgment means based on the face image input by the image input means, and at least the expression image setting A notifying means for displaying the expression image set by the means is provided.
[0014]
The determining means stores data of a comparison result obtained by comparing the driving state of the vehicle with a predetermined reference, compares the stored data with a predetermined value within a predetermined time, It may be configured to determine whether or not the operating state is outside the standard.
[0015]
Further, the facial expression image setting means sets the one face image input by the image input means as a basic facial expression image, and makes a predetermined change to the basic facial expression image. Preferably, a plurality of facial expression images having different facial expressions are set, a facial expression image according to the determination result of the determining means is selected from the plurality of facial expression images, and set as a display image by the notification means.
[0016]
Further, as set forth in claim 4, the information processing apparatus may further include a confirmation unit that confirms a determination result corresponding to the display image of the determination unit based on the display image displayed by the notification unit.
[0017]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, an embodiment of a vehicle driving state display device of the present invention will be described with reference to the drawings. FIG. 1 shows the overall configuration of an embodiment of the present invention, which is mounted on, for example, a vehicle VH shown in FIG. 2 and configured as shown in FIG. In FIG. 1, the vehicle operating state display device of the present embodiment includes an operating state monitoring means VC for monitoring an operating state of a vehicle (VH in FIG. 2), and an operating state based on the monitoring result of the operating state monitoring means VC, which is determined by a predetermined standard. And a determining means DT for determining whether the operating state is outside the standard by comparing with. Further, the image input means TP for inputting at least one face image (for example, a facial expression image Fn of the child shown in FIG. 8 in a calm state), and the determination means DT determines based on the face image input by the image input means TP. A facial expression image setting unit SF for setting a facial expression image according to the result, and a notifying unit AL for displaying at least the facial expression image set by the facial expression image setting unit SF are provided.
[0018]
The image input unit TP in FIG. 1 includes a digital camera (for example, indicated by CA in FIG. 9), a mobile phone with a camera (for example, indicated by TL in FIG. 9), a scanner device (not shown), and a video device (not shown). In FIG. 3, these are representatively shown as an imaging device CM. Thus, at least one face image (for example, a face image in a quiet state) is input in the form of a still image or a moving image by the imaging device CM, and is input to, for example, a memory (not shown) in the electronic control unit CT of FIG. Be recorded. This face image is used as, for example, a basic facial expression input (FB). Note that the image input means TP may be configured to be input via communication means, which will be described later with reference to FIG.
[0019]
Next, as the expression image setting means SF in FIG. 1, for example, a plurality of expression still images are input in advance by the image input means TP, and the expression still image corresponding to the judgment result of the judgment means DT is input from among them. An image may be selected. Alternatively, still images with a plurality of facial expressions may be selected from moving images captured by a video device (not shown) and set in advance.
[0020]
That is, the facial expression image setting means SF sets one (for example, a calm) face image input by the image input means TP as a basic facial expression image, and automatically performs a facial expression change (FC) on the basic facial expression image. A plurality of facial expression images having different facial expressions are set in advance, and a facial expression image according to the determination result of the determining unit DT is selected from the plurality of facial expression images, and set as a display image by the notifying unit AL. It can be configured to perform image display (VM) and, if necessary, accompany audio output (AU). For example, based on the basic facial expression input (FB) of the facial expression image setting unit SF, the facial expression change (FC) can be automatically performed by performing image processing according to the determination result of the determining unit DT. The specific means for changing the expression (FC) will be described later with reference to FIGS.
[0021]
The means for performing the image display (VM) includes an image display M1 shown in FIGS. 2 and 3, that is, a so-called in-vehicle monitor, and the means for performing audio output (AU) is shown in FIGS. There is an audio output device M2, and various audio devices can be used. The image displayed at this time is a still image in the present embodiment, but may be a moving image.
[0022]
Further, as shown in FIG. 1, a confirmation means CH for confirming the judgment result corresponding to the display image of the judgment means DT based on the display image displayed by the notification means AL may be provided. In the present embodiment, the confirmation means CH includes the advice switch SW of FIG. 3 and is processed as described later.
[0023]
The operating state monitoring means VC shown in FIG. 1 includes various sensors shown in FIG. 3, and these detection signals are supplied to the electronic control unit CT, and the operating state monitoring block C1 monitors the operating state of the vehicle. It is configured as follows. The sensors according to the present embodiment include an inter-vehicle distance sensor Ds, a longitudinal acceleration sensor Gx, a lateral acceleration sensor Gy, a vehicle speed sensor Vs, a yaw rate sensor Yr, a turn signal switch Ts, an accelerator stroke sensor As, a steering rotation sensor Sa, and a brake stroke sensor Bs. , A shift position switch Sp. Note that these sensors are well known and will not be described.
[0024]
Further, the judgment means DT of FIG. 1 accumulates data of a comparison result obtained by comparing the driving state of the vehicle with a predetermined reference in a judgment block C2 of FIG. 3, and compares the accumulated data with a predetermined value within a predetermined time. , It is configured to determine whether or not the operating state is outside the standard. In the present embodiment, the following deduction points and additional points are set as the above data, the integrated point T is set as accumulated data, and the facial expression images Fa to Fe ( Some of the examples are shown in FIG. 8). For example, when the driving state of the vehicle is compared with a predetermined reference and it is determined that the vehicle is out of the standard, the point is deducted 1; In the example shown in FIG. 4, the lower limit is set to 0 points and the upper limit is set to 10 points.
[0025]
Thus, in the determination block C2 of FIG. 3, the operation state monitored by the operation state monitoring block C1 is compared with a predetermined reference, and the data of the comparison result is converted into, for example, the following score. First, (1) when the condition of TTC (inter-vehicle distance / relative approach speed) <0.5 second is satisfied, or when the condition of headway time (inter-vehicle distance / own vehicle speed) <1.0 second is satisfied, the following condition is satisfied. Is determined and the deduction of 1 is obtained. (2) Next, when a deceleration of 0.3 G or more is continuously detected for 0.3 seconds or more, it is determined that "sudden braking" is performed, and the deduction point 1 is set. (3) When acceleration of 0.2 G or more is detected for 1 second or more, "rapid acceleration" is determined, and 1 point is deducted. (4) When a predetermined steering operation is performed without operating the turn signal switch Ts, it is determined that “the lane change without a blinker” is performed, and the point is deducted 1. (5) For example, when the number of speed changes (increase / decrease) at or above a predetermined speed centered on the average speed for 10 minutes exceeds a predetermined number, it is determined to be “speed fluctuation” and the point is deducted 1. (6) When the fluctuation amount of the steering operation is equal to or more than a predetermined amount, it is determined that “steering fluctuation”, and the deduction is 1 point. (7) When a lateral acceleration equal to or more than a predetermined amount is detected based on the steering angle and the vehicle speed, or the yaw rate and the vehicle speed, it is determined to be “excessive lateral acceleration” and the point is deducted 1. Note that the above criterion is merely an example, and is not limited to this. Furthermore, it is also possible to classify whether or not the vehicle is traveling on a highway, a city area, or a residential area based on, for example, the vehicle speed, and appropriately change the reference value under each of the above-described conditions in each section.
[0026]
The criterion for the stored data is set, for example, as shown in FIG. First, when driving of the vehicle is started (for example, when the ignition switch is turned on), the expression image Fn of “at rest” is selected, and if the state without deduction continues for 10 minutes in the above-described determination block C2, additional points are added. It is set to 1. On the other hand, if the point is deducted by 1 in the above-mentioned determination block C2, the expression image Fa of "surprise" (an example is shown in FIG. 8) is selected, and the expression image Fa is displayed on the screen of the image display M1 in FIG. Flashing above. When 5 seconds have elapsed in this state, one point is deducted from the accumulated point T (for example, 9 points) at that time, and a new accumulated point T is set (T-1 = T). As a result, for example, the expression image Fb of "slight anger" is selected in place of the image display that was in the expression image Fn of "at a calm time" with nine integration points T. Similarly, when the accumulated point T becomes 5 or less, the expression image Fc of “anger” is selected, and when the accumulated point T becomes 2 or less, the expression image Fd of “sad” is selected. FIG. 8 shows an example of the expression images Fc and Fd.
[0027]
Conversely, as the integration point T is added, the expression images Fd, Fc, Fb, and Fn are sequentially selected and displayed on the screen of the image display M1 in FIG. Then, when the accumulated point T reaches 10 points and continues for a predetermined time (for example, 5 minutes), a facial expression image Fe of “joy” (an example is shown in FIG. 8) is selected from the facial expression image Fn of “at rest”, and the facial expression is selected. The image Fe is displayed on the screen of the image display M1 in FIG. It should be noted that the degree to which attention is required increases as the position moves to the right in FIG. 4, and therefore, as shown in an example in FIG. 8, an expression image corresponding to the attention level is set.
[0028]
Next, in the electronic control unit CT of FIG. 3, the face image photographed by the imaging device CM is input to the image recording / generation block C3, and is processed by the display output control block C4, for example, as shown in FIG. Then, an image signal such as the expression image Fn is supplied to the image display M1.
[0029]
Further, in the present embodiment, the electronic control unit CT is connected to an existing navigation system NV, and is configured such that various advance information is input to the operation state monitoring block C1. For example, the navigation system NV can detect a slow speed, a short stop time, a speed limit excess, a cornering traveling speed excess, a railroad crossing stop time, or the like at a temporary stop intersection. By inputting, the driving condition of the vehicle can be monitored by various factors.
[0030]
Here, the specific means of the expression change (FC) in the expression image setting means SF shown in FIG. 1 will be described with reference to FIGS. 1, 3, and 5 to 8. FIG. First, as a basic facial expression input (FB) in the image input means TP of FIG. 1, an actual image of a face in "at rest" which is the basis of the facial expression image Fn captured by the imaging device CM (for example, a digital camera) of FIG. Is input to the image recording / generating block C3. Here, as shown by the broken line in FIG. 5, after the face image in the “quiet state” is subjected to size conversion (SC) to an appropriate size, a characteristic portion of the face is extracted based on the neural network (F1). Then, in accordance with the determination result of the above-mentioned determination means (DT in FIG. 1), the deformation area data (F2) for changing the expression (FC) is set, and the image deformation field morphing (F3) is used to set the deformation area data. The form of the extracted characteristic portion (F1) is adjusted, and an image display (VM) is performed. In the additional image drawing (VA) indicated by a broken line in FIG. 5, for example, “tears” are intentionally added to and emphasized the expression image Fd of “sadness” in FIG. This may be added as needed. FIG. 8 is a diagram instead of a photograph, and the facial expression image Fn in FIG. 8 corresponds to the real image of the face in “at rest”, and the facial expression change (FC) was performed on this. The facial expression image is Fa or the like.
[0031]
FIG. 6 shows a case where the size and angle of the eye are changed (in the direction of the white arrow) as an example of a set of reference line segments for performing field morphing. Indicates a deformation region. For example, first, a neural network is used to generate a cross (character, eyebrow, nose, nose, 7 are extracted on the right side of FIG. 7). It should be noted that the white arrows in FIG. 7 indicate the correspondence, and do not indicate changes. Then, when field morphing is performed on these characteristic portions, each characteristic portion is deformed, and from the expression image Fn of “at rest” shown in the center of FIG. A facial expression image Fa, a facial expression image Fc of "anger", a facial expression image Fd of "sadness", and a facial expression image Fe of "joy" are formed. As described above, it is possible to form images of various expressions based on a real image of one face (for example, using the technology described in Non-Patent Document 2 shown in the conventional technology).
[0032]
Further, when, for example, the expression image Fd of “sadness” is displayed on the image display M1 as described above, if the driver wants to confirm the reason or the corresponding alert item, When the advice switch SW shown in FIG. 3 is pressed, the checking means CH shown in FIG. 1 functions and the judgment result corresponding to the display image of the judging means DT can be checked. That is, by operating the advice switch SW, in the display output block C4 of FIG. 3, the determination result corresponding to the display image determined in the determination block C2 is directly or converted into the following alerting information, and Characters are displayed on the display M1, and / or audio is output from the audio output device M2.
[0033]
For example, (a) "Please brake early", (b) "Please keep more distance", (c) "The steering wheel is wobbly. ) "Please accelerate slowly", (e) "Are you asleep? Take a break", (f) "Curve speed is too high", (g) "No turn signal" As described above, the alert item corresponding to the display image at that time is output.
[0034]
FIG. 9 shows a configuration example in which a face image is input to the image input means TP of FIG. 1 via communication means. First, according to the input means P1, a face image captured by the camera-equipped mobile phone TL is used. (For example, a face image in a calm state) is transmitted to the vehicle-mounted communication device TR via the relay base stations JC1 and JC2 and the Internet communication network INT by e-mail or the like, and is input to the image recording / generation block C3 in FIG. As described above, a plurality of facial expression images can be automatically created as described above simply by photographing the driver's child's face with the camera-equipped mobile phone TL and inputting one face image. Therefore, a facial expression image of an infant who cannot maintain a still state can be easily created, and can be appropriately displayed on the image display M1.
[0035]
Next, according to the input means P2, the face image photographed by the digital camera CA is taken into, for example, a personal computer PC for home use, and is transmitted via an Internet communication network INT and the relay base station JC2 by e-mail or the like. It is transmitted to the device TR and input to the image recording / generation block C3. According to the input means P3, the digital camera CA is connected to the electronic control unit CT of the vehicle directly or via the personal computer PC, and the face image captured by the digital camera CA is transferred to the image recording / generation block C3. Is done.
[0036]
【The invention's effect】
Since the present invention is configured as described above, the following effects can be obtained. That is, in the vehicle driving state display device according to the first aspect, the driving state of the vehicle monitored by the driving state monitoring means is compared with a predetermined reference to determine whether the driving state is outside the reference. Image input means for inputting at least one face image, a facial image setting means for setting a facial image according to the determination result of the determining means based on the facial image input by the image input means, and at least a facial image setting means Since the notification means for displaying the set expression image is provided, the driver who is driving the vehicle can be appropriately alerted. In particular, since the facial expression image according to the determination result is displayed by the notification means, it is possible to prompt the driver to voluntarily correct the driving without being limited to merely alerting.
[0037]
With the configuration described in claim 2, the determination unit can appropriately determine whether the operating state is changing from moment to moment and whether the operating state is outside the standard.
[0038]
If the expression image setting means is configured as described in claim 3, even if it is not possible to input a plurality of expression images in advance, a plurality of expression images are automatically set from one face image. Therefore, a facial expression image corresponding to the determination result can be appropriately displayed.
[0039]
Furthermore, if the vehicle is provided with the confirmation means as described in claim 4, the judgment result corresponding to the display image displayed by the notification means can be confirmed, so that the driver can voluntarily correct the driving. In this case, more specific measures can be taken.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of a vehicle driving state display device according to the present invention.
FIG. 2 is a front view showing a front surface inside the vehicle provided with the vehicle driving state display device according to the embodiment of the present invention.
FIG. 3 is a block diagram illustrating an example of a specific configuration of an operation state monitoring unit and the like according to an embodiment of the present invention.
FIG. 4 is an explanatory diagram illustrating an example of a determination criterion provided to a determination unit according to an embodiment of the present invention.
FIG. 5 is a block diagram illustrating an example of a specific configuration provided for changing a facial expression in a facial expression image setting unit according to an embodiment of the present invention.
FIG. 6 is an explanatory diagram showing an example of a set element of a reference line for performing field morphing in an embodiment of the present invention.
FIG. 7 is an explanatory diagram showing a situation in which a feature portion is extracted from a face image as a source of an expression image by a neural network and field morphing is performed in one embodiment of the present invention.
FIG. 8 is an explanatory diagram showing, by a line drawing, a situation in which images of various expressions are formed based on a real image of one face when changing the expression in the expression image setting means according to an embodiment of the present invention.
FIG. 9 is an explanatory diagram showing an example of a configuration for inputting a face image via a communication unit to an image input unit according to an embodiment of the present invention.
[Explanation of symbols]
VH vehicle, VC operating state monitoring means, DT determination means,
TP image input means, SF expression image setting means, AL notification means,
CM imaging equipment, CA digital camera, TL camera mobile phone,
CT electronic control unit
