JP2011232637A

JP2011232637A - 車両の制御装置

Info

Publication number: JP2011232637A
Application number: JP2010104196A
Authority: JP
Inventors: Ryozo Yoshizawa; 亮蔵吉沢; Tomifumi Sugimoto; 富史杉本
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-04-28
Filing date: 2010-04-28
Publication date: 2011-11-17

Abstract

【課題】車両の乗員から発せられる音声などに基づいて乗員の意図を認識して車両またはその搭載機器の動作を制御する場合、認識結果が一致しないときの不具合を解消するようにした車両の制御装置を提供する。
【解決手段】車両の乗員から発せられる音声と乗員の口唇の動きとジェスチャに基づいて乗員の意図を認識する第１から第３の乗員意図認識手段とを少なくとも備え、第１から第３の乗員意図認識手段の認識結果に応じて車両または車両搭載機器の動作を制御する車両の制御装置において、第１から第３の乗員意図認識手段の少なくともいずれかで認識された乗員の意図が車両の動作についての一致した意図か否か判定し（Ｓ１０）、肯定されるとき、第１から第３の乗員意図認識手段の認識結果の過半数が車両の動作についての意図を示しているか否か判定し（Ｓ１２）、肯定されるとき、車両の動作を制御する（Ｓ１４）。
【選択図】図２

Description

この発明は車両の制御装置に関する。

近時、車両の乗員から発せられる音声、乗員の口唇の動き、あるいは乗員のジェスチャに基づいて乗員の意図を認識して車両またはその搭載機器の動作を制御する技術が提案されており、その例として以下の特許文献記載の技術を挙げることができる。

特開２００８−１９２５８１号公報特開２００８−３１０３８２号公報特開２００７−１６４８１４号公報

上記した乗員の意図を異なる手法で認識する場合、認識結果が一致しない場合、どうすべきか問題となる。特に車両の動作を制御する場合が支障となる。

従って、この発明の目的は上記した課題を解決し、車両の乗員から発せられる音声などに基づいて乗員の意図を認識して車両またはその搭載機器の動作を制御する場合、認識結果が一致しないときの不具合を解消するようにした車両の制御装置を提供することにある。

上記の目的を解決するために、請求項１にあっては、車両の乗員から発せられる音声に基づいて乗員の意図を認識する第１の乗員意図認識手段と、乗員の口唇の動きに基づいて乗員の意図を認識する第２の乗員意図認識手段と、乗員のジェスチャに基づいて乗員の意図を認識する第３の乗員意図認識手段とを少なくとも備え、前記第１から第３の乗員意図認識手段の認識結果に応じて前記車両または前記車両に搭載された機器の動作を制御する車両の制御装置において、前記第１から第３の乗員意図認識手段の少なくともいずれかで認識された乗員の意図が前記車両の動作についての意図か否か判定する乗員意図判定手段と、前記車両の動作についての意図と判定されるとき、前記第１から第３の乗員意図認識手段の認識結果の過半数が前記車両の動作についての一致した意図を示しているか否か判定する多数決判定手段とを備え、前記認識結果の過半数が前記車両の動作についての一致した意図を示していると判定されるとき、前記車両の動作を制御するように構成した。

請求項１に係る車両の制御装置にあっては、第１から第３の乗員意図認識手段の少なくともいずれかで認識された乗員の意図が車両の動作についての意図か否か判定し、車両の動作についての意図と判定されるとき、第１から第３の乗員意図認識手段の認識結果の過半数が車両の動作についての一致した意図、例えば内燃機関の停止などで一致した意図を示しているか否か判定すると共に、認識結果の過半数が車両の動作についての一致した意図を示していると判定されるとき、車両の動作を制御するように構成したので、認識結果が一致しないときの不具合を解消することができる。

即ち、車両の動作は比較的重要であることから、過半数で一致しているか否か判定することで、乗員の意図の認識に慎重を期すことができる。一方、車両搭載機器の動作は車両の動作ほど重要ではないことから、認識結果が少なくとも１つあれば足りるとして機器の動作を制御して早期に反応することで、たとえ制御した結果が乗員の意図と相違することがあっても、乗員の予期に概ね沿うことができる。

この発明の実施例に係る車両の制御装置を概略的に示す模式図である。図１に示す車両の制御装置の動作を示すフロー・チャートである。

以下、添付図面に即してこの発明に係る車両の制御装置を実施するための形態について説明する。

図１は、この発明の実施例に係る車両の制御装置を概略的に示す模式図である。

図１において符号１０は車両を示し、車両１０にはエンジン（内燃機関）１２が搭載される。エンジン１２の出力は変速機（ＣＶＴあるいは有段の自動変速機）１４に入力される。変速機１４はエンジン１２の出力を変速してディファレンシャル機構を介して車輪に伝達し、車両１０を走行させる。

車両１０の運転席付近の適宜位置にはオーディオ装置１６が配置されて乗員の操作に応じて音楽、ラジオ放送などを出力すると共に、その付近にはナビゲーション装置（ナビ）２０が配置されて乗員の目的地入力などの操作に応じて目的地までの経路をそのディスプレイに表示する。また、車両１０には空調装置２２が設けられ、乗員の操作に応じて室内の温度などを調整する。

運転席の上方にはカメラ（ＣＣＤカメラ）２４が取り付けられ、乗員の上半身を撮影して得た画像信号を出力すると共に、ステアリングホイール（図示せず）の付近にはマイク２６が取り付けられ、乗員から発せられる音声を検出して得た音声信号を出力する。

上記したカメラ２４の出力は画像信号処理回路（図示せず）を介して読唇部３０とジェスチャ部３２に送られ、読唇部３０で乗員の口唇の動きに基づいて乗員の意図が認識されると共に、ジェスチャ部３２で乗員のジェスチャに基づいて乗員の意図が認識される。

また、マイク２６の出力は音声信号処理回路（図示せず）を介して音声認識部３４に送られ、そこで乗員から発せられる音声に基づいて乗員の意図が認識される。

このようにカメラ２４（と画像信号処理回路）と読唇部３０が車両１０の乗員の口唇の動きに基づいて乗員の意図を認識する第２の乗員意図認識手段、カメラ２４（と画像信号処理回路）とジェスチャ部３２が乗員のジェスチャに基づいて乗員の意図を認識する第３の乗員意図認識手段として機能すると共に、マイク２６（と音声信号処理回路）と音声認識部３４が乗員から発せられる音声に基づいて乗員の意図を認識する第１の乗員意図認識手段として機能する。

ここで、乗員の意図と動作について説明すると、この実施例では乗員が２つ以上の動作を行なって意図を示すことを前提とした。例えば、エンジン１２を停止する場合、車両１０が停止して（乗員の手が空いている状態で）発話と共に、手を上げるなどのジェスチャを行うことを前提とした。

変速機１４でいえば、手の平を下に向けつつ「ダウン」と発話する、あるいは上に向けつつ「アップ」などと発話することを前提とする。尚、音声の場合、必然的に口唇の動きを伴うので、２つとなる。

読唇部３０などの出力は電子制御ユニット（Electronic Control Unit。以下「ＥＣＵ」という）４０に送られる。ＥＣＵ４０はＣＰＵ、ＲＯＭ，ＲＡＭなどを有するマイクロコンピュータを備え、読唇部３０などの出力、即ち、第１から第３の乗員意図認識手段の認識結果に応じて駆動回路（図示せず）を介して車両１０または車両１０に搭載された機器の動作を制御する。

ここで、「車両１０の動作」とは具体的にはエンジン１２あるいは変速機１４の動作、換言すれば走行に関わる動作を意味する。また「車両１０に搭載された機器の動作」とはオーディオ装置１６あるいはナビゲーション装置２０あるいは空調装置２２の動作であり、換言すれば走行に関わらない動作を意味する。

図２は図１に示す車両１０の制御装置、より具体的にはＥＣＵ４０の動作を示すフロー・チャートである。

以下説明すると、Ｓ１０において走行に関わる指示か否か、より具体的には
第１から第３の乗員意図認識手段の少なくともいずれかで認識された乗員の意図が車両１０の動作についての意図か否か判定する。

Ｓ１０で肯定されるときはＳ１２に進み、第１から第３の乗員意図認識手段の認識結果が過半数、換言すれば３つの乗員意図認識手段のうちの２つ以上が車両１０の動作についての一致した意図、例えばエンジン１２の停止などで一致した意図を示しているか否か判定する。

Ｓ１２で否定されるときは以降の処理をスキップする一方、肯定されるときはＳ１４に進み、制御指令を出力して車両１０の動作、即ち、エンジン１２と変速機１４のうち乗員の一致した意図に対応する方の動作をそれに従って制御する。

他方、Ｓ１０で否定されるときは第１から第３の乗員意図認識手段の少なくともいずれかで認識された乗員の意図が車両１０に搭載された機器の動作についての意図と判断してＳ１６に進み、オーディオ装置１６とナビゲーション装置２０と空調装置２２のうち、乗員の意図に対応する機器の動作についての制御指令を出力する。

図２フロー・チャートの処理を前記した例でいえば、「エンジン停止」と発話されると共に、手を上げるなどのジェスチャがなされる場合、読唇部３０とジェスチャ部３２と音声認識部３４の全てで意図が認識されることからＳ１０の判断は肯定されてＳ１２に進み、２つ以上で意図が「エンジン停止」で一致するか否か判定される。

Ｓ１２でも肯定されるときはＳ１４に進み、一致した意図に従ってエンジン１２を停止するように制御指令がなされる。他方、否定される場合、即ち、３つの内の２つ以上で一致しないときはＳ１４の処理はスキップされる。

また、「エンジン停止」などでジェスチャがなされず、音声と口唇の動きだけの場合、読唇部３０と音声認識部３４の認識結果は一致するが、過半数とならないことから、同様にＳ１４の処理はスキップされる。

尚、音声のみでジェスチャがなされない場合でも、Ｓ１０において走行に関わる指示ではないと判定される場合、車両１０の動作ほど重要ではないことから、Ｓ１６に進み、乗員の意図通りの操作が行われる。

上記した如く、この実施例にあっては、車両１０の乗員から発せられる音声に基づいて乗員の意図を認識する第１の乗員意図認識手段（マイク２６（と音声信号処理回路）と音声認識部３４）と、乗員の口唇の動きに基づいて乗員の意図を認識する第２の乗員意図認識手段（カメラ２４（と画像信号処理回路）と読唇部３０）と、乗員のジェスチャに基づいて乗員の意図を認識する第３の乗員意図認識手段（カメラ２４（と画像信号処理回路）とジェスチャ部３２）とを少なくとも備え、前記第１から第３の乗員意図認識手段の認識結果に応じて前記車両１０または前記車両１０に搭載された機器（オーディオ装置１６、ナビゲーション装置２０、空調装置２２）の動作を制御する車両の制御装置（ＥＣＵ４０）において、前記第１から第３の乗員意図認識手段の少なくともいずれかで認識された乗員の意図が前記車両の動作についての意図か否か判定する乗員意図判定手段（Ｓ１０）と、前記車両の動作についての一致した意図と判定されるとき、前記第１から第３の乗員意図認識手段の認識結果の過半数が前記車両の動作についての一致した意図を示しているか否か判定する多数決判定手段（Ｓ１２）とを備え、前記認識結果の過半数が前記車両の動作についての一致した意図を示していると判定されるとき、前記車両の動作を制御する（Ｓ１４）ように構成したので、認識結果が一致しないときの不具合を解消することができる。

即ち、車両１０の動作は比較的重要であることから、過半数で一致しているか否か判定することで、乗員の意図の認識に慎重を期すことができる。一方、オーディオ装置１６などの車両搭載機器の動作は車両１０の動作ほど重要ではないことから、認識結果が少なくとも１つあれば足りるとして機器の動作を制御して早期に反応することで、たとえ制御した結果が乗員の意図と相違することがあっても、乗員の予期に概ね沿うことができる。

尚、上記において車両１０の動作としてエンジン１２と変速機１４の動作を制御する場合を示したが、それに限らず、車両の走行に関わる動作に相当すれば、どのような機器にも妥当する。オーディオ装置１６などの車両搭載機器も図示例に止まるものではない。

１０車両、１２エンジン、１４変速機、１６オーディオ装置、２０ナビゲーション装置、２２空調装置、２４カメラ、２６マイク、３０読唇部、３２ジェスチャ部、３４音声認識部、４０ＥＣＵ（電子制御ユニット）

Claims

車両の乗員から発せられる音声に基づいて乗員の意図を認識する第１の乗員意図認識手段と、乗員の口唇の動きに基づいて乗員の意図を認識する第２の乗員意図認識手段と、乗員のジェスチャに基づいて乗員の意図を認識する第３の乗員意図認識手段とを少なくとも備え、前記第１から第３の乗員意図認識手段の認識結果に応じて前記車両または前記車両に搭載された機器の動作を制御する車両の制御装置において、前記第１から第３の乗員意図認識手段の少なくともいずれかで認識された乗員の意図が前記車両の動作についての一致した意図か否か判定する乗員意図判定手段と、前記車両の動作についての一致した意図と判定されるとき、前記第１から第３の乗員意図認識手段の認識結果の過半数が前記車両の動作についての意図を示しているか否か判定する多数決判定手段とを備え、前記認識結果の過半数が前記車両の動作についての意図を示していると判定されるとき、前記車両の動作を制御するように構成したことを特徴とする車両の制御装置。