JP2017159692A - 車両用入力装置 - Google Patents

Abstract

【課題】車両に搭載された車載機器に対する操作を容易に入力することを可能とした車両用入力装置を提供すること。【解決手段】車両用入力装置１０は、車両Ｃに搭載された車載機器３０に対する操作入力を受け付けて車載機器３０に制御指示を通知する。車両用入力装置１０は、音声認識部１１、画像認識部１３を有する。音声認識部１１は、車両の運転者Ｄの音声を認識し、認識結果に基づいて車載機器３０のうちの１つを操作対象機器とし、操作対象機器に対する操作入力の受け付けを許可する状態とする。画像認識部１３は、操作入力の受け付けを許可された状態にあるとき、車両ＣのステアリングホイールＳＷを含む領域を撮影した画像に基づいて、ステアリングホイールＳＷの周方向における手ＨＡの動きを認識し、認識結果に応じた制御指示を操作対象機器に通知する。【選択図】図１

Description

本発明は、車両に搭載された車載機器を操作するために用いられる車両用入力装置に関する。

従来、車両に搭載された各種の車載機器に対する制御指示は、車両のインスツルメントパネルやステアリングホイールに配設された操作部の操作により行われる。例えば、特許文献１には、車両のステアリングに配設されたタッチセンサを用いて、車載機器に対する操作を入力する技術が開示されている。

国際公開第２０１２／１４７９４２号

ところが、上記の技術では、制御対象となる車載機器毎にタッチセンサを設ける必要がある。また、車載機器に応じて配置されたタッチセンサに手を伸ばして操作する必要がある。例えば、ステアリングホイールに配置されたタッチセンサを操作する場合、ステアリングホイールが中立位置に無いと、操作対象との対応が判断しにくく誤操作を招く虞がある。

本発明は、このような実情に鑑みなされたものであって、その目的は、車両に搭載された車載機器に対する操作を容易に入力することを可能とした車両用入力装置を提供することにある。

以下、上記課題を解決するための手段及びその作用効果を記載する。
上記課題を解決する車両用入力装置は、車両に搭載された車載機器に対する操作入力を受け付けて前記車載機器に制御指示を通知する車両用入力装置であって、前記車両の乗員の音声を認識し、認識結果に基づいて前記車載機器のうちの１つを操作対象機器とし、前記操作対象機器に対する操作入力の受け付けを許可する状態とする音声認識部と、前記操作入力の受け付けを許可された状態にあるとき、前記車両のステアリングホイールを含む領域を撮影した画像に基づいて、前記ステアリングホイールの周方向における手の動きを認識し、認識結果に応じた制御指示を前記操作対象機器に通知する画像認識部と、を有する。

上記構成によれば、車両の乗員の音声の認識結果に基づいて車載機器のうちの１つが操作対象機器とされる。そして、その操作対象機器に対して、ステアリングホイールの周方向における手の動きの認識結果に応じた制御指示が通知される。このため、車載機器毎に操作部を設ける必要がなく、容易に車載機器に対する操作入力を行うことができる。また、ステアリングホイールの周方向における手の動きを認識することで、操舵中であっても操作入力を行うことができる。また、乗員の音声の認識結果に基づいて操作対象機器に対する操作入力の受け付けを許可するため、操舵のための手の動きと操作入力とを区別することができ、誤って操作対象機器に対して操作指令を通知することを防止することができる。

車両用入力装置の一実施の形態の概略構成を示すブロック図。 同実施の形態の車両用入力装置が実行する入力処理の手順を示すフローチャート。 同実施の形態の車両用入力装置が実行する入力処理の手順を示すフローチャート。 （ａ）、（ｂ）は車載機器（エアコン）の入力操作の一例を示す説明図。 （ａ）、（ｂ）は車載機器（ラジオ）の入力操作の一例を示す説明図。

以下、車両用入力装置の一実施の形態について説明する。
本実施の形態の車両用入力装置は、乗員の音声の認識結果と、ステアリングホイールを含む領域を撮影した画像の認識結果とに基づいて、車載機器に対する制御指示を通知するものである。詳しくは、音声の認識結果に基づいて車載機器のうちから制御対象機器を特定し、その制御対象機器に対する操作入力の受け付けを許可した状態において、画像からステアリングホイールの周方向における手の動きを認識し、認識した手の動きに対応する制御指示を制御対象機器に通知するようにしている。

はじめに、本実施の形態の装置の構成について図面を参照して説明する。
図１に示す車両Ｃは乗用車であり、乗車している運転者Ｄによるアクセルの操作、ブレーキの操作、及びステアリングホイールＳＷなどの操作を通じて運転される。

車両Ｃに搭載された車両用入力装置１０は、車載機器３０に対する操作入力と車載機器３０に対して制御指示を通知する処理を行う。車載機器３０には、例えばエアコン３１、ラジオ３２、等が含まれる。

車両用入力装置１０は、車両Ｃに設置されたマイク２１、カメラ２２と接続され、マイク２１、カメラ２２からの入力（音声、画像）を認識し、その認識結果に基づいて車載機器を制御する。また、車両用入力装置１０は、スピーカ２３と接続され、スピーカ２３による音声案内によって、認識結果等を通知する。

マイク２１は、乗員としての運転者Ｄの発する音声を取得するように設置されている。
カメラ２２は、車両Ｃの車内空間の所定の撮影範囲ＰＡを撮影した画像を出力する。撮影範囲ＰＡは、車両ＣのステアリングホイールＳＷを含むように設定されている。カメラ２２は、車両用入力装置１０からの制御信号に基づいて、撮影範囲ＰＡを撮影した画像を順次出力する。

スピーカ２３としては、例えばラジオ３２等のスピーカが用いられる。なお、マイク２１及びスピーカ２３として、ヘッドセット等の運転者Ｄに装着した装置が用いられてもよい。

車両用入力装置１０は、音声認識部１１、音声認識辞書１２、画像認識部１３、画像認識辞書１４を有している。
音声認識部１１は、運転者Ｄの音声情報をマイク２１により入力し、音声認識辞書１２を用いて所定の音声分析処理を行い、その分析による認識結果を画像認識部１３に出力する。認識結果は、運転者Ｄの音声に基づいて選択した車載機器の情報を含む。音声認識部１１は、音声分析によって、運転者Ｄが選択した車載機器を判定し、その車載機器を操作対象機器とする。そして、音声認識部１１は、操作対象機器を示す情報を画像認識部１３に通知する。この通知によって、操作対象機器に対する画像認識部１３の処理が行われる。つまり、音声認識部１１は、認識結果に基づいて、操作対象機器に対する画像認識部１３の処理を許可する。

画像認識部１３は、ステアリングホイールＳＷと運転者Ｄの手ＨＡを撮影した画像（画像データ）をカメラ２２より入力し、画像認識辞書１４を用いて所定の画像認識処理を行い、手ＨＡの動きを認識する。手ＨＡの動きは、運転者Ｄによる手ＨＡのジェスチャである。つまり、画像認識部１３は、運転者Ｄによるジェスチャを認識する。そして、画像認識部１３は、画像認識辞書１４を利用してジェスチャを分析し、操作対象機器に対する制御指示を得て、その制御指示を操作対象機器に通知する。

車載機器３０（図ではエアコン３１、ラジオ３２）は、制御指示に基づいて設定を変更する。
音声認識辞書１２には、車両Ｃに搭載された車載機器３０に対応する機器情報が含まれている。機器情報としては、例えば、車載機器３０を識別する識別情報と、車載機器３０の名称の特徴データとを含み、それらは互いに対応付けられている。例えば、車載機器３０に含まれるエアコン３１やラジオ３２等に対応して、音声認識辞書１２に「エアコン」や「ラジオ」等の単語の特徴データが含まれている。車載機器３０は、例えば所定のネットワーク（例えばＣＡＮ：コントローラエリアネットワーク）により車両用入力装置１０と接続されている。車載機器３０の識別情報は、ネットワークを介して通信するために必要な識別番号である。

音声認識部１１は、マイク２１より入力した音声の音声分析を行う。詳しくは、音声認識部１１は、マイク２１より入力した音声を、音声認識辞書１２に格納された特徴データと照合する。そして、音声分析が成功した、つまり入力音声を認識した場合、その操作対象機器を特定する。音声認識部１１は、音声情報に含まれる機器情報に対応する車載機器を、操作対象機器として特定する。そして、音声認識部１１は、特定した車載機器の情報を含む認識結果を画像認識部１３に通知する。

一方、音声分析が不成功、つまり音声情報に機器情報が含まれていない場合や、音声情報が不鮮明で機器情報が確定できない場合、音声認識部１１は、スピーカ２３による音声案内により、音声認識の失敗を通知する。

画像認識辞書１４には、撮影画像より抽出する対象物の特徴情報が含まれる。本実施形態において、対象物は、運転者Ｄの手ＨＡである。また、画像認識辞書１４には、車載機器の情報と、手ＨＡの動き（ジェスチャ）に対する制御指示が関連付けて記憶されている。例えば、車載機器３０に含まれるエアコン３１に対して、手ＨＡの動き、例えば左手の動きに対する制御指示として設定温度の変更（上昇、下降）が関連付けられている。また、手ＨＡの移動方向として例えばステアリングホイールＳＷの周方向において右回り方向（時計回転方向）の動きに対する制御指示として設定温度の上昇が関連付けられ、左回り方向（反時計回転方向）の動きに対する制御指示として設定温度の下降が関連付けられている。

画像認識部１３は、撮影画像からステアリングホイールＳＷの位置を検出する。そして、画像認識部１３は、運転者Ｄの手ＨＡの位置を検出する。さらに、画像認識部１３は、複数の撮影画像により、運転者Ｄの手ＨＡの動きを検出する。手ＨＡの動きは、手の移動量と手の移動方向の少なくとも１つを含む。画像認識部１３は、画像認識辞書１４を利用して、手ＨＡの動き、つまり手ＨＡにおけるジェスチャを分析し、上記の音声認識部１１において特定した操作対象機器に対する制御指示を画像認識辞書１４から得る。そして、画像認識部１３は、制御指示を操作対象機器へ通知する。

次に、図２及び図３を参照して、車載機器制御の手順を説明する。
車両用入力装置１０は、図２に示すフェーズと図３に示すフェーズとを実行する。図２に示すフェーズは操作対象機器選択フェーズである。図３に示すフェーズはジェスチャ検出フェーズである。

操作対象機器選択フェーズにおいては、入力された音声データを音声認識辞書と照合し、操作対象の車載機器を選択する。ジェスチャ検出フェーズにおいては、画像検出によりステアリングホイールの位置及び、ステアリングホイール上のドライバの手の位置を検出し、ドライバの手の動きを画像認識辞書と照合しジェスチャを分析する。そして、分析したジェスチャの結果（制御指示）を操作対象機器へ通知する。

次に、各フェーズの処理手順を詳述する。
＜操作対象機器選択フェーズ＞
図２に示すように、音声認識を開始する（ステップＳ１０）。

外部からの音声入力があると、音声入力検出を行う（ステップＳ１１）。
次に、音声入力検出の開始から終了までの時間が所定時間（図では１０秒）未満か否かを判定する（ステップＳ１２）。開始から終了までの時間が所定時間（１０秒）以上の場合（ステップＳ１２でＮＯ）、音声案内で音声認識の失敗を通知し（ステップＳ１３）、処理を終了する。判定のための時間（１０秒）は、図１に示す車載機器３０に含まれる各種機器の名称を発するために十分な時間に設定されている。この処理により、間違った語の入力音声や通常の会話などを除外する。

開始から終了までの時間が所定時間（１０秒）未満の場合（ステップＳ１２でＹＥＳ）、音声認識辞書１２を利用して音声分析を行う（ステップＳ１４）。音声分析において、上記のステップＳ１１において検出した音声を、音声認識辞書１２の特徴データと照合することにより、発話された単語を認識する。

次に、音声分析の結果が成功か否かを判定する（ステップＳ１５）。音声分析が不成功、つまり発話された単語を認識できないかった場合（ステップＳ１５でＮＯ）、音声案内で音声認識の失敗を通知し（ステップＳ１６）、処理を終了する。

一方、音声分析が成功、つまり発話された単語を認識した場合（ステップＳ１５でＹＥＳ）、音声分析による操作対象機器を特定する（ステップＳ１７）。このように、発話された単語と一致する特徴データに関連付けられた車載機器を、操作対象機器として選択する。そして、選択した機器に対して、次のフェーズ（ジェスチャ検出フェーズ）を実行し、機器に対する制御指示を発する。

＜ジェスチャ検出フェーズ＞
図３に示すように、画像認識開始を開始する（ステップＳ２０）。外部からの画像入力があると、画像検出を行う（ステップＳ２１）。次に、入力した画像において、ステアリングホイールＳＷの位置検出を行う（ステップＳ２２）。

そして、ステアリングホイールＳＷの検出が成功したか否かを判定する（ステップＳ２３）。ステアリングホイールＳＷの検出が不成功の場合（ステップＳ２３でＮＯ）、音声案内で画像認識の失敗を通知し（ステップＳ２４）、処理を終了する。ステアリングホイールＳＷの検出を成功した場合（ステップＳ２３でＹＥＳ）、画像認識辞書１４を利用してステアリングホイールＳＷ上のドライバ（運転者Ｄ）の手ＨＡの位置の検出を行う（ステップＳ２５）。

次に、ドライバの手の位置の検出に成功したか否かを判定する（ステップＳ２６）。手の位置の検出が不成功の場合（ステップＳ２６でＮＯ）、音声案内で画像認識の失敗を通知し（ステップＳ２７）、処理を終了する。ドライバの手の位置の検出に成功した場合（ステップＳ２６でＹＥＳ）、次に、音声入力検出完了から経過時間が所定値（図では５秒）未満か否かを判定する（ステップＳ２８）。

経過時間が所定値（５秒）以上の場合（ステップＳ２８でＮＯ）、音声案内で画像認識の失敗を通知し（ステップＳ２７）、処理を終了する。経過時間が所定値（５秒）未満の場合（ステップＳ２８でＹＥＳ）、画像認識辞書１４を利用し、ドライバのジェスチャ分析を行う（ステップＳ２９）。

次に、ジェスチャ分析の結果が成功か否かを判定する（ステップＳ３０）。ジェスチャ分析の結果が不成功の場合（ステップＳ３０でＮＯ），音声案内でジェスチャ認識の失敗を通知し（ステップＳ３１）、処理を終了する。ジェスチャ分析の結果が成功の場合（ステップＳ３０でＹＥＳ）、操作対象機器への制御指示の通知を行う（ステップＳ３２）。そして、音声案内で制御内容を通知し（ステップＳ３３）、処理を終了する。

次に、本実施の形態の車両用入力装置１０の作用について説明する。
図４（ａ）に示すように、［操作対象機器選択フェーズ］において、運転者Ｄが発する「エアコン」の音声により、図１に示すエアコン３１を操作対象機器とする。

図４（ｂ）に示すように、［ジェスチャ検出フェーズ］において、運転者Ｄが手ＨＡ（左手ＨＬ）をステアリングホイールＳＷに沿って右回り方向（時計回転方向）に移動させる。この左手ＨＬの動き（ジェスチャ）を検出し、この左手ＨＬの動きに対応する制御指示として「設定温度上昇」を得る。そして、この制御指示を図１に示すエアコン３１に通知する。エアコン３１は、制御指示に従って設定温度を変更する。

なお、エアコン３１を操作対象機器とした場合、図示しないが、左手ＨＬをステアリングホイールＳＷに沿って左回り方向（反時計回転方向）に移動させた場合、その動きに応じて制御指示として「設定温度下降」を得て、この制御指示を図１に示すエアコン３１に通知することにより、エアコン３１の設定温度を下降させることが可能となる。また、図示しないが、［ジェスチャ検出フェーズ］において、右手ＨＲを移動させることにより、エアコンの吹き出し口の変更を行うことが可能となる。

図５（ａ）に示すように、［操作対象機器選択フェーズ］において、運転者Ｄが発する「ラジオ」の音声により、図１に示すラジオ３２を操作対象機器とする。
図５（ｂ）に示すように、［ジェスチャ検出フェーズ］において、運転者Ｄが手ＨＡ（右手ＨＲ）をステアリングホイールＳＷに沿って左回り方向（反時計回転方向）に移動させる。この右手ＨＲの動き（ジェスチャ）を検出し、この右手ＨＲの動きに対応する制御指示として「ラジオ局の選択」を得る。そして、この制御指示を図１に示すラジオ３２に通知する。ラジオ３２は、制御指示に従ってラジオ局を選択する。例えば、予め複数のラジオ局が選局番号に設定されている場合、制御指示に従って選局番号を選択（変更）する。

なお、ラジオ３２を操作対象機器とした場合、図示しないが、［ジェスチャ検出フェーズ］において、左手ＨＬを移動させることにより、ラジオの音量を変更（上昇、下降）することが可能となる。

以上記述したように、本実施形態によれば、以下の効果を奏する。
（１）本実施形態では、車両Ｃの運転者Ｄの音声と、ステアリングホイールＳＷを含む領域を撮影した画像における手ＨＡの動きとを操作入力とする。そして、音声認識に基づいて車載機器３０のうちの１つを操作対象機器とし、その操作対象機器に対して画像認識に基づいて得た制御指示を通知する。このため、車載機器毎に操作部を設ける必要がなく、容易に車載機器３０に対する操作入力を行うことができる。

（２）ステアリングホイールＳＷの周方向における手ＨＡ（右手ＨＲ，左手ＨＬ）の動き（ジェスチャ）を認識することで、操舵中であっても操作入力を行うことができる。そして、ステアリングホイールＳＷの周方向における手ＨＡの動きを認識するため、ステアリングホイールＳＷが中立位置に無くても、操作入力を誤判定することが無い。このため、常に同じ操作（手ＨＡの動き）にて車載機器３０を操作することができる。

（３）運転者Ｄの音声の認識結果に基づいて操作対象機器に対する画像処理行う、つまり操作対象機器に対する操作入力の受け付けを許可する。したがって、音声認識により受け付けを許可されていない場合には、手ＨＡの動きを操作入力として認識しない。このため、操舵のための手ＨＡの動きと操作入力とを区別することができ、誤って操作対象機器に対して操作指令を通知することを防止することができる。

（４）例えば、手ＨＡの形状（伸ばしている指の数、等）により操作対象機器を選択する方向が考えられる。車両用入力装置１０は、音声認識により操作対象機器を選択し、画像認識により操作対象機器に対する操作指示を得る。したがって、操作対象機器の選択のために、手ＨＡを様々な形状とする必要がない。このため、容易に操作対象機器を選択することができ、その操作対象機器を操作することができる。

なお、上記実施の形態は、以下のような形態にて実施することもできる。
・上記実施の形態において、操作対象機器を特定した場合（図２のステップＳ１７）、音声案内により機器の特定を通知することも可能である。

・上記実施の形態において、音声入力検出開始から終了までの時間を１０秒としたが、判定のための時間を適宜変更してもよい。同様に、音声入力検出完了からの経過時間を５秒（図３のステップＳ２８）としたが、経過時間を適宜変更してもよい。

・上記実施の形態においては、車載機器３０としてエアコン３１とラジオ３２を例示し、エアコン３１に対する操作入力一例を図４（ａ）及び図４（ｂ）に、ラジオ３２に対する操作入力の一例を図５（ａ）及び図５（ｂ）に示した。これに限らず、例えばテレビ、ルームランプ、ナビゲーション等、その他の車載機器を制御対象とすることも可能である。

・上記実施の形態では、音声案内にて音声認識等の失敗を通知したが、音（単音、和音、メロディ、等）によって認識結果を通知することも可能である。
・上記実施形態では、車両Ｃが乗用車である場合について説明したが、これに限らず、車両は、農工業用の車両、工事や土木作業用の車両であってもよい。

１０…車両用入力装置、１１…音声認識部、１２…音声認識辞書、１３…画像認識部、１４…画像認識辞書、２１…マイク、２２…カメラ、２３…スピーカ、３０…車載機器、Ｃ…車両、Ｄ…運転者、ＳＷ…ステアリングホイール、ＨＡ…手。

Claims (1)

1. 車両に搭載された車載機器に対する操作入力を受け付けて前記車載機器に制御指示を通知する車両用入力装置であって、
   前記車両の乗員の音声を認識し、認識結果に基づいて前記車載機器のうちの１つを操作対象機器とし、前記操作対象機器に対する操作入力の受け付けを許可する状態とする音声認識部と、
   前記操作入力の受け付けを許可された状態にあるとき、前記車両のステアリングホイールを含む領域を撮影した画像に基づいて、前記ステアリングホイールの周方向における手の動きを認識し、認識結果に応じた制御指示を前記操作対象機器に通知する画像認識部と、
   を有することを特徴とする車両用入力装置。

Images