JP2017087950A - 車両用音声操作装置 - Google Patents

Abstract

【課題】車両がおかれている状態に照らし合わせて、音声操作の実行を制御する車両用音声操作装置を提供する。【解決手段】車両状態情報を取得する車両状態情報取得部１１と、入力音声を音声認識データＤに変換する入力音声認識部１２と、データに基づいて操作対象となる車載操作装置４および操作内容を判定する音声認識データ解析部１３と、操作対象装置４ｔに対して操作内容を実行することの妥当性を、車両状態情報に基づいて判定する操作実行判定部１４と、操作実行判定部からの指示に応じて、操作対象装置に対して操作内容を実行するための操作命令Ｃを生成する操作命令生成部１５と、操作命令を実行する機器操作部１６と、操作実行判定部から受信した報知データを音声Ｖに変換する出力音声生成部１７とを備え、操作実行判定部は、妥当性がないと判定した場合には操作命令を実行せず、妥当性がない旨を示す応答メッセージＲを音声で出力する。【選択図】図２

Description

本開示は、車両に搭載された各種の車載操作装置を音声により操作するための音声操作装置に関する。

運転者などの車両の搭乗者の音声により車両に搭載された各種機器類（車載操作装置）を操作する車両用音声操作装置が開発されている。従来の車両用音声操作装置では、運転者が運転中に音声入力に気をとられることを防止するために、車両の走行状況に応じて音声操作の入力を制限することで、運転者の安全運転を支援している。例えば、特許文献１に開示された車両用音声操作装置は、車両の走行状況の判断を通して車両がおかれている危険度合いを判定し、判定された危険度合いに応じて操作対象装置に対する音声操作の入力を制限することで、より的確な安全運転の支援が図られている。

特開２００４−２１７１０１号公報

上述の通り、従来の車両用音声操作装置は、走行状況に応じて音声操作の入力を制限する場合はあるが、音声操作が入力された場合には、その音声操作に従って車載操作装置の操作を実行する。ところが、車両がおかれている状況によっては、発話者の音声操作に従って操作を実行すると、安全運転に支障が生じる可能性がある。例えば、夜間運転やトンネル走行中にヘッドライトを消すといった音声操作がなされ、それがそのまま実行されると、安全運転の障害となり得る。また、運転者などの発話の内容から、操作対象となる車載操作装置（操作対象装置）の操作内容が推測され、適切な操作がなされると、運転者が操作命令を改めて行う負担をも低減することができ、運転者に対して快適な運転環境が提供できることが期待される。

上述の事情に鑑みて、本発明の少なくとも一実施形態は、車両がおかれている状態に照らし合わせて、音声操作の実行を制御する車両用音声操作装置を提供することを目的とする。

（１）本発明の少なくとも一実施形態に係る車両用音声操作装置は、
車両の状態を示す車両状態情報を取得する車両状態情報取得部と、
入力される音声を音声認識データに変換する入力音声認識部と、
前記音声認識データに基づいて、操作対象装置となる車載操作装置および該操作対象装置に対する操作内容を判定する音声認識データ解析部と、
前記操作対象装置に対して前記操作内容を実行することの妥当性を前記車両状態情報に基づいて判定する操作実行判定部と、
前記操作実行判定部からの指示に応じて、前記操作対象装置に対して前記操作内容を実行するための操作命令を生成する操作命令生成部と、
前記操作命令を実行する機器操作部と、
前記操作実行判定部から受信した報知データを音声に変換する出力音声生成部と、を備え、
前記操作実行判定部は、前記妥当性がないと判定した場合には、前記操作命令を実行せず、前記妥当性がない旨を示す応答メッセージを音声で出力するための報知データを前記出力音声生成部に対して出力する。

上記（１）の構成によれば、車両用音声操作装置は、車両の運転者などの音声（発話）を取り込み、音声認識によって、発話者が意図する音声操作の内容（操作対象装置および操作内容）を判定（推測）する。その上で、車両用音声操作装置は、車両がおかれている現在の状態（車両状態情報）に照らし合わせて、音声操作を車両に反映させるための音声操作（操作命令Ｃ）を実行することの妥当性を判定する。そして、音声操作の実行が妥当でないと判定した場合には音声操作を実行せずに、その旨を運転者などに報知する。このように車両の状態に応じて音声操作の実行を制御することで、例えば、トンネル走行中にヘッドライトを消すなどの音声操作が実行されるなど、危険な状態が発生することを防止し、安全運転を支援することができる。

（２）幾つかの実施形態では、上記（１）の構成において、
前記車両は、前記車両の運転状態あるいは前記車両の周辺情報の少なくとも一方を車両側情報として検出するためのセンサを有し、
前記車両状態情報は前記車両側情報を含み、
前記操作実行判定部は、前記車両側情報を含む前記車両状態情報に基づいて、前記操作対象装置に対して前記操作内容を実行することの妥当性を判定するものとし、
前記操作対象装置に対する前記操作命令の実行が、前記操作対象装置の機能に照らして前記操作対象装置に関連付けられる前記車両側情報に適合しないと判定される場合には前記妥当性がないと判定し、前記操作対象装置に関連付けられる前記車両側情報に適合すると判定される場合には前記妥当性があると判定する。
上記（２）の構成によれば、車両状態情報は少なくとも車両側情報を含んでおり、車載操作装置の音声操作の内容は、車両に設置されたセンサによって得られる操作対象装置に関連する車両の状態と比較されることで、その妥当性が判定される。これによって、例えば、車両がトンネルを走行している際にヘッドライトを消すといった操作命令が実行されるのを防止することができ、安全運転を支援することができる。

（３）幾つかの実施形態では、上記（１）の構成において、
前記車両は、前記車両の外部と通信するための通信装置を有し、
前記車両状態情報は、前記通信装置を介して取得される外部情報を含み、
前記操作実行判定部は、前記外部情報を含む前記車両状態情報に基づいて、前記操作対象装置に対して前記操作内容を実行することの妥当性を判定するものとし、
前記外部情報に基づいて、前記操作対象装置に対する前記操作命令の実行から所定時間以内に、前記操作対象装置に対する前記操作命令と逆の操作命令を前記操作対象装置に実行することの予測が成立する場合には前記妥当性がないと判定し、前記予測が成立しない場合には前記妥当性があると判定する。

上記（３）の構成によれば、車両の位置情報から見た周辺の情報や、目的地に至るルートの周辺における渋滞情報、工事情報などの外部情報が通信装置を利用して取得される。また、車載操作装置の音声操作の内容は外部情報と比較されることで、その妥当性が判定される。例えば、ワイパー作動の旨の音声操作があった場合において、この音声操作の実行後にすぐにトンネルに突入することが外部情報から予測される場合には、トンネルの直前でワイパーを作動させても、すぐにトンネルに突入することでワイパーを停止させる音声操作がなされることが予測される。このように、発話者の意図に従って１回目の操作命令を実行しても、２回目の音声操作によって、逆の操作命令をすぐに実行することが予測される場合には、車両用音声操作装置は、操作対象装置に対する操作命令を即座に実行しないように構成される。これによって、発話者が音声操作を繰り返すような状況を防止することができ、運転者が運転に集中できるような状況を形成することで、安全運転を支援することができる。

（４）幾つかの実施形態では、上記（１）〜（３）の構成において、
前記車両状態情報は、前記車載操作装置の作動状態情報を含み、
前記操作実行判定部は、前記操作対象装置の前記作動状態情報を含む前記車両状態情報に基づいて、前記操作対象装置に対して前記操作内容を実行することの妥当性を判定するものとし、
前記操作対象装置の前記作動状態情報と前記操作内容とが一致していると判定される場合には前記妥当性がないと判定し、前記操作対象装置の前記作動状態情報と前記操作内容とが一致していないと判定される場合には前記妥当性はあると判定する。

上記（４）の構成によれば、車載操作装置の音声操作は、車載操作装置の作動状態と比較されることで、その妥当性が判定される。これによって、例えば、ワイパーが作動している状態において、ワイパーを作動させる操作命令を実行するといったような無用な負荷を機器操作部にかけることを防止し、車両用音声操作装置のレスポンス（応答性）を高めることができる。

（５）幾つかの実施形態では、上記（４）の構成において、
前記車両状態情報に、前記作動状態情報の他に、前記操作対象装置に対して前記操作内容を実行することの妥当性を判定するための他の情報が含まれる場合には、前記操作対象装置の前記作動状態情報に基づいて前記妥当性を判定した結果、該妥当性があると判定される場合にのみ、前記他の情報に基づいた前記妥当性の判定をさらに実行する。
上記（５）の構成によれば、操作対象装置の作動状態情報に基づく音声操作の妥当性があると判定される場合には、車両側情報や外部情報などの他の情報に基づく音声操作の妥当性の判定が実行される。逆に、作動状態情報に基づく音声操作の妥当性がないと判定される場合には、他の情報（車両側情報や外部情報など）に基づく音声操作の妥当性の判定を実行することなく、音声操作の妥当性はないと判定される。操作対象装置の作動状態情報に基づく音声操作の妥当性の判定は、操作対象装置の作動状態を確認するだけでよく、車両側情報の判定基準や外部情報の正確さなど、搭乗者の個人的な感覚や状況などに左右されるものではないため、他の情報に比べて正確に行うことが可能である。このため、発話者とのインタラクティブなやり取りの正確度を高めると共に、車両用音声操作装置のレスポンスを高めることができ、車両用音声操作装置の信頼性を高めることができる。

（６）幾つかの実施形態では、上記（４）〜（５）の構成において、
前記車載操作装置は、作動状態を段階的に設定することが可能に構成されており、
前記作動状態情報は、前記作動状態の設定段階を示す設定段階情報を含んでおり、
前記操作実行判定部は、前記操作対象装置に対する前記操作内容が前記操作状態の設定段階を相対的に変更するための操作と判断される場合には、前記車両状態情報取得部によって取得される前記設定段階情報を含む前記車両状態情報に基づいて、前記操作対象装置に対して前記操作内容を実行することの妥当性を判定する。
上記（６）の構成によれば、ワイパーの強弱など、操作対象装置の作動段階を変更するといった音声操作は、車両に設置されたセンサなどによって得られるに車両の状態と比較されることで、その妥当性が判定される。例えば、雨脚が激しく、ワイパーの作動レベルを最大にすることが適当と判断される場合において、音声操作の内容がこの判断に適合しない場合には、上述の妥当性がないと判断される。これによって、車両の走行状態に応じて、車載操作装置を適切な作動状態に導くことができ、安全運転を支援することができる。

（７）幾つかの実施形態では、上記（１）〜（６）の構成において、
前記報知データは、前記妥当性がない旨を示す応答メッセージと共に、前記操作内容の実行に関する質問メッセージを含み、
前記音声認識データ解析部は、前記入力音声認識部を介して前記質問メッセージに対する応答を受信した場合には、該応答の内容に従って、前記操作命令生成部に対して前記指示を実行するか、あるいは、前記操作対象装置に対して前記操作内容を実行しない。

上記（７）の構成によれば、上述の妥当性がない場合に質問メッセージを報知し、発話者の応答に従って音声操作の実行を制御することで、発話者の音声操作に関する意図が確認される。これによって、発話者とのインタラクティブなやり取りの正確度を高めることができ、車両用音声操作装置の信頼性を高めることができる。

（８）幾つかの実施形態では、上記（１）〜（７）の構成において、
前記音声が入力される音声入力装置と、
前記出力音声生成部からの出力を報知する報知装置と、
通信ネットワークに接続され、前記車両状態情報取得部、前記入力音声認識部、前記音声認識データ解析部、前記操作実行判定部、および、前記操作命令生成部が設けられた音声操作制御装置と、
前記車両に配置され、前記音声入力装置、前記報知装置、および、前記機器操作部が設けられた音声操作入出力装置と、
前記音声操作制御装置および前記音声操作入出力装置のそれぞれに設けられ、前記音声操作制御装置と前記音声操作入出力装置とを前記通信ネットワークを介して通信可能に接続する通信インタフェース装置と、をさらに備えている。

上記（８）の構成によれば、車両用音声操作装置の機能部は、通信ネットワーク側に設けられる音声操作制御装置と車両側に設けられる音声操作入出力装置とに機能分散される。具体的には、運転者などの発話者とのインタフェースとなる音声入力装置（マイクなど）および報知装置（スピーカなど）や、車載操作装置の音声操作のための操作命令を実行する機器操作部は車両側に配置され、それ以外の機能部は、通信ネットワーク側に配置される。音声操作制御装置に設けられる機能部は複数の車両で共有することが可能な機能部であり、複数の車両に共有する機能部を通信ネットワーク側に集約することで、車両のコストの低減を図ることができる。また、通信ネットワークの音声操作制御装置に入力音声認識部を配置することで、数多くの車両から発話される数多くの表現方法を一箇所に集中させて収集することが可能であり、音声操作制御装置はこれらのデータを参照することで様々な表現方法を処理することが可能となる。これによって、発話者とのインタラクティブなやり取りの確実性を高め、車両用音声操作装置の信頼性を高めることができる。

（９）幾つかの実施形態では、上記（８）の構成において、
前記音声入力装置および前記報知装置は、携帯電話、スマートフォン、タブレット端末、ノートパソコン、車載通信機、およびカーナビゲーションシステムを含むデータ通信が可能な移動体通信装置によって構成される。
上記（９）の構成によれば、例えば、移動体通信ネットワークによる通信機能を有する既存の移動体通信装置（モバイル通信装置）によって、音声入力装置および報知装置を構成することで、コストの低減を図ることができる。

本発明の少なくとも一実施形態によれば、車両がおかれている状態に照らし合わせて、音声操作の実行を制御する車両用音声操作装置が提供される。

本発明の一実施形態に係る車両用音声操作装置を備えた車両の構成を概略的に示す図である。 本発明の一実施形態に係る車両用音声操作装置の制御ブロック図である。 本発明の一実施形態に係る車両用音声操作装置の制御ブロック図であり、車両用音声操作装置の制御ブロックは、車両とクラウドに機能分散される。 本発明の一実施形態に係る車両用音声操作装置の制御フローを示す図である。 本発明の一実施形態に係る車両用音声操作装置の制御フローを示す図であり、質問メッセージに対する応答を処理する。 本発明の一実施形態に係る車両用音声操作装置を備えた車両の構成を概略的に示す図であり、音声操作制御装置は通信ネットワーク側に設けられ、移動体通信装置を含む音声操作入出力装置が車両側に設けられる。

以下、添付図面を参照して本発明の幾つかの実施形態について説明する。ただし、一の構成要素を「備える」、「具える」、「具備する」、「含む」、又は、「有する」という表現は、他の構成要素の存在を除外する排他的な表現ではない。

図１は、本発明の一実施形態に係る車両用音声操作装置１を備えた車両６の構成を概略的に示す図である。また、図２〜図３は、本発明の一実施形態に係る車両用音声操作装置の制御ブロック図である。図１に示されるように、車両６は、車両用音声操作装置１および各種のセンサ３を搭載しており、両者が車載ネットワーク６１（ＣＡＮ、ＬＩＮなど）を介して接続されることで、各種のセンサ３による検出結果が車両用音声操作装置１に入力される。また、各種のセンサ３の各々は、後述する車両状態情報Ｉを取得するために用いられる。例えば、各種のセンサ３は、車両のウインドウの雨滴の状況により降雨を検出するレインセンサ３１、車両外部の照度を検出する照度センサ３２、車両６の周辺の外気温を検出する外気温センサ３３、ＧＰＳ衛星からの発振電波を受信して、車両６の現在位置を特定するＧＰＳセンサ３４、車速センサ３６、自車両６の前方の他の車両や障害物など前方の状況を検出するカメラ３７やレーダー手段３８などが含まれても良い。

また、車両用音声操作装置１は、車両６に搭載された車載操作装置４の音声操作を制御する装置である。ここで、車載操作装置４は、ヘッドライト、ワイパー、ウィンカー、エアコン、パワーウィンドウ、車両のドアのロックなど搭乗者が操作可能な装置（機器）である。そして、車両用音声操作装置１は、運転者などの車両６の搭乗者（発話者）が操作対象装置４ｔを操作するためのスイッチなどの操作器４２を直接操作する代わりに、搭乗者の発話に反応して操作対象装置４ｔの作動状態（オン状態、オフ状態、大、中、小や、高速、中速、低速などの段階的な作動レベルなど）を制御する。このため、図２〜図３に示されるように、車両用音声操作装置１は、車両状態情報取得部１１と、入力音声認識部１２と、音声認識データ解析部１３と、操作実行判定部１４と、操作命令生成部１５と、機器操作部１６、出力音声生成部１７とを備える。それぞれの機能部について図２〜図３を用いて順に説明する。

車両状態情報取得部１１は、図２〜図３に示されるように、車両６の状態を示す車両状態情報Ｉを取得する。車両状態情報Ｉには、下記に説明する車載操作装置４の作動状態情報Ｉｄ、車両側情報Ｉｉ、外部情報Ｉｅのうちの少なくとも１つが含まれる。作動状態情報Ｉｄは、車載操作装置４が作動しているか否かの情報や、その作動レベルを示す情報である。車両側情報Ｉｉは、車両６の運転状態や車両６の周辺情報であり、上述したセンサ３による検出結果に基づく情報である。具体的には、車両６の運転状態は、例えば、車速などである。車両６の周辺情報は、車両の現在位置における降雨の有無、夜間運転やトンネル走行中などの走行環境、外気温、車両前方における他の車両や障害物の有無などである。また、外部情報Ｉｅは、天気予報、位置情報、渋滞情報や事故、工事、災害、気象条件等による交通規制情報などの道路交通情報など、作動状態情報Ｉｄ、車両側情報Ｉｉのように車両６の内部で取得できない情報である。上記の位置情報は、ＧＰＳ衛星からの信号の受信や、基地局の位置情報と電波の受信や、その他の外部からの情報を受信することで取得されることから外部情報Ｉｅとしている。なお、地図情報は、車両６のカーナビを利用する場合や、スマートフォンなどの移動体通信装置８を利用する場合があり、外部情報Ｉｅや車両側情報Ｉｉの少なくとも一方に分類されても良い。

図２〜図３に示される実施形態では、車両状態情報取得部１１は、上記の作動状態情報Ｉｄ、車両側情報Ｉｉ、外部情報Ｉｅの全てを車両状態情報Ｉとして取得している。より詳細には、作動状態情報Ｉｄは、後述する機器操作部１６から各種の車載操作装置４の作動状態を受信することで取得している。車両側情報Ｉｉは、上述したように、車載ネットワーク６１を介して各種のセンサ３の検出値を受信することで取得している。また、外部情報Ｉｅは、後述する、車両６の外部と通信するための通信装置１１ｖを車両６が備えることで、通信装置１１ｖを介して取得される。そして、車両状態情報取得部１１は、データベース１１ｍを備えることで、取得した車両状態情報Ｉを記憶している。

入力音声認識部１２は、入力される音声Ｖを音声認識データＤに変換する。図２〜図３に示されるように、入力音声認識部１２は、発話者からの音声Ｖを取り込むためのマイクなどを含む音声入力装置１２ｖに接続されている。そして、発話者からの音声Ｖは、音声入力装置１２ｖを介して入力音声認識部１２に入力される。図２に示される実施形態では、入力音声認識部１２に入力される音声は音声波形（アナログ値）となっており、入力音声認識部１２において音声認識技術における音響モデルや言語モデルと照合されることで、音声認識データＤが生成される。他の幾つかの実施形態（後述する図３など）では、サンプリング技術により音声波形をデジタル化したデータが入力音声認識部１２に入力されても良い。つまり、入力音声認識部１２に入力される音声Ｖは、デジタル化された音声Ｖであっても良い。この場合には、デジタル化された音声Ｖが音声波形に逆変換され、音声波形に対して音声認識技術を適用しても良い。

音声認識データ解析部１３は、音声認識データＤに基づいて、操作対象装置４ｔとなる車載操作装置４および操作対象装置４ｔに対する操作内容４ｃを判定する。図２〜図３に示されるように、音声認識データ解析部１３は入力音声認識部１２に接続されており、入力音声認識部１２から出力された音声認識データＤを受信する。そして、受信した音声認識データを解析することで、発話者が意図する車載操作装置の音声操作の内容（操作対象装置４ｔに対する操作内容４ｃ）を推測し、操作対象装置４ｔおよび操作内容４ｃを判定する。例えば、運転者（発話者）の発話が音声認識されて、「ワイパーをつけて」という音声認識データＤが得られた場合、操作対象装置４ｔはワイパーであり、操作内容４ｃはＯＮにする（オン状態に切り替える）となる。この例示は、操作対象装置４ｔおよび操作内容４ｃを示すキーワードが音声認識データＤの中に含まれており、操作対象装置４ｔおよび操作内容４ｃを音声認識データＤから直接的に判定（推測）することが可能な場合の例示となる。

一方、例えば、運転者（発話者）の発話が音声認識されて、「雨が止んだ」という音声認識データＤが得られた場合、操作対象装置４ｔはワイパーであり、操作内容４ｃはＯＦＦ（オフ状態に切り替える）となる。すなわち、この例示では、操作対象装置４ｔおよび操作内容４ｃを示すキーワードが音声認識データＤの中に含まれていない。そこで、予め、「雨が止んだ」、「雨が降ってきた」、「暗い」、「明るい」、「寒い」、「暑い」といった状況を表すキーワードと、そのキーワードが関連するような車載操作装置４とが対応づけられた連想データを用意されている。そして、この連想データを参照することで、音声認識データ解析部１３では、音声認識データＤに含まれる「雨」、「止んだ」というキーワードから、発話者の意図はワイパーをオフ状態にすること推定する。このように推測された内容に基づいて、音声認識データ解析部１３は、操作対象装置４ｔおよび操作内容４ｃを判定（推測）する。つまり、この場合には、操作対象装置４ｔはワイパーであり、操作内容４ｃはＯＦＦ（オフ状態に切り替える）となる。

また、後述するように、幾つかの実施形態では、車両用音声操作装置１は質問メッセージＱを報知する場合がある。そして、質問メッセージＱに対して応答する音声Ｖが入力された場合には、音声認識データ解析部１３には、例えば、「ハイ」などの肯定応答、「イイエ」などの否定応答を示す音声認識データＤが入力される。この際、音声認識データ解析部１３は、肯定応答や否定応答の場合の期待値（操作対象装置４ｔ、操作内容４ｃなどを）を質問する時に用意しておくことで、音声認識データＤに基づいて、操作対象装置４ｔとなる車載操作装置４および操作対象装置４ｔに対する操作内容４ｃを判定する。

なお、幾つかの実施形態では、音声認識データ解析部１３は、音声認識データＤの解析に際して、車両状態情報取得部１１からの車両状態情報Ｉを参照しても良い。これによって、音声認識データ解析部１３は、音声認識データＤから操作対象装置４ｔを認識すると共に、その操作内容４ｃは、操作対象装置４ｔに関連付けられた車両状態情報Ｉを加味して判定することで、操作対象装置４ｔおよび操作内容４ｃを音声認識データＤに基づいて判定する。例えば、関連付データによって、ワイパーにはレインセンサ３１が予め関連づけられており、この関連付データを参照することで、「ワイパー」という音声認識データＤから、レインセンサ３１に基づいて降雨状況を判定し、「ワイパーをつけて」と同様な音声操作を実行することが可能となる。

操作実行判定部１４は、操作対象装置４ｔに対して操作内容４ｃを実行することの妥当性を車両状態情報Ｉに基づいて判定する。図２〜図３に示されるように、操作実行判定部１４は音声認識データ解析部１３に接続されており、音声認識データ解析部１３から操作対象装置４ｔおよび操作内容４ｃを受信する。また、操作実行判定部１４は車両状態情報取得部１１にも接続されており、車両状態情報取得部１１によって取得された車両状態情報Ｉを受信し、車両がおかれている状態を認識する。この操作実行判定部１４は、車両状態情報Ｉに基づいて、発話内容に従った音声操作をそのまま実行するのではなく、この音声操作を実行することが妥当であるか否かを車両状態情報Ｉに基づいて判定し、音声操作の実行を制御するための構成となる。つまり、後述するように、操作実行判定部１４は、妥当性があると判定した場合には操作対象装置４ｔに対して操作内容４ｃを実行し（音声操作を実行）、逆に、妥当性がないと判定した場合には操作対象装置４ｔに対して操作内容４ｃを実行しない（音声操作を実行せず）。そして、後述するように、操作実行判定部１４は、妥当性の判定結果に基づいて、妥当性がない旨を示す応答メッセージＲを含む報知データＮを生成し、あるいは、操作命令Ｃを生成する。

操作命令生成部１５は、操作実行判定部１４の指示に応じて、操作対象装置４ｔに対して操作内容４ｃを実行するための操作命令Ｃを生成する。図２〜図３に示されるように、操作命令生成部１５は操作実行判定部１４に接続されている。そして、操作命令生成部１５は、操作実行判定部１４の指示を受けて、操作対象装置４ｔに対する音声操作を実行する。具体的には、操作実行判定部１４は、操作対象装置４ｔおよび操作内容４ｃを操作命令生成部１５から受信すると、この受信に応じて上記の操作命令Ｃを生成しても良い。

機器操作部１６は、操作命令Ｃを実行する。図２〜図３に示されるように、機器操作部１６は、操作命令生成部１５に接続されている。そして、機器操作部１６は、操作命令Ｃを受信すると、車載ネットワーク６１で接続された操作対象装置４ｔを操作する。なお、操作対象装置４ｔを制御する不図示のＥＣＵ（電子制御ユニット）が存在していても良く、この場合には、機器操作部１６は、これらの不図示のＥＣＵを介して操作命令Ｃを実行する。

また、図２〜図３に示される実施形態では、機器操作部１６は、操作対象装置４ｔの作動状態を車両状態情報取得部１１に対して送信している。具体的には、１以上の操作対象装置４ｔの作動状態の変化を監視しており、作動状態の変化が検知された操作対象装置４ｔの作動状態を自発的に車両状態情報取得部１１に送信している。そして、車両状態情報取得部１１は作動状態を受信するたびに、データベース１１ｍの管理情報を変更し、作動状態情報Ｉｄを最新の状態に維持している。他の幾つかの実施形態では、機器操作部１６は、車両状態情報取得部１１からの要求に応じて作動状態を取得しても良い。

出力音声生成部１７は、操作実行判定部１４から受信した報知データＮを音声Ｖに変換する。図２〜図３に示されるように、出力音声生成部１７は、操作実行判定部１４と、スピーカなどの報知装置１７ｖとに接続されている。そして、出力音声生成部１７は、操作実行判定部１４から受信した報知データＮを音声Ｖに変換し、報知装置１７ｖ（スピーカなど）を介して、入力された音声に対する制御結果を車両６内（搭乗者）に報知する。

上記の構成において、上記の操作実行判定部１４は、上述の妥当性があると判定した場合には操作命令生成部１５に対して操作命令Ｃの生成を指示し、上述の妥当性がないと判定した場合には、妥当性がない旨を示す応答メッセージＲを音声で出力するための報知データＮを出力音声生成部１７に対して出力する（図４〜図５参照）。つまり、操作命令生成部１５に対して操作命令Ｃの生成が指示される場合には、操作対象装置４ｔに対する音声操作が実行されることになり、逆に、上述の妥当性がない旨を示す応答メッセージＲを含む報知データＮが出力音声生成部１７に対して出力される場合には、操作対象装置４ｔに対する音声操作が実行されなかったり、その実行が保留されることになる。

次に、車両用音声操作装置１における音声操作の制御フローを図４〜図５を用いて説明する。図４〜図５は、本発明の一実施形態に係る車両用音声操作装置１の制御フローを示す図である。
図４〜図５のステップＳ１において、車両６の運転者などの発話者の音声が入力されると、車両用音声操作装置１は、入力された音声認識データＤを解析する。図４〜図５のステップＳ２において、車両用音声操作装置１は、音声認識データＤに基づいて、操作対象装置４ｔおよび操作内容４ｃを判定する。図４〜図５のステップＳ３において、車両用音声操作装置１は、操作対象装置４ｔに対して操作内容４ｃを実行することの妥当性を車両状態情報Ｉに基づいて判定する。そして、図４〜図５のステップＳ４において、車両用音声操作装置１は上記の妥当性があると判定した場合には、図４〜図５のステップＳ５において、操作対象装置４ｔに対して操作内容４ｃを実行する。

その後、図４〜図５の実施形態では、ステップＳ５における音声操作の実行結果を音声で報知し、その後、制御フローを終了している。例えば、音声認識された音声認識データＤが「ワイパーをつけて」という内容である場合には、「ワイパーを付けました。」などの音声Ｖが報知される。なお、この報知される音声Ｖは、上記の操作実行判定部１４によって生成された報知データＮが音声化されたものであり、操作実行判定部１４は、「ワイパーを付けました」という音声Ｖが報知されるように報知データＮを生成し、出力音声生成部１７に対して出力している。

一方、図４〜図５のステップＳ４において、車両用音声操作装置１が上記の妥当性がないと判定した場合を説明する。図４に示される実施形態では、ステップＳ７ａにおいて、妥当でない旨を音声Ｖで報知し、その後、制御フローを終了している。一方、図５に示される実施形態では、ステップＳ７ｂにおいて、妥当性がない旨の応答メッセージＲおよび質問メッセージＱ（後述）を音声Ｖで報知する。その後、今回の入力された音声Ｖに対する制御フローは終了するが、車両用音声操作装置１は、次に入力された音声Ｖが、質問メッセージＱに対する応答である否かを監視している。具体的には、図５に示される実施形態では、上記で説明した図５のステップＳ１とステップＳ２の間にステップＳ８が存在している。そして、このステップＳ８において、車両用音声操作装置１は、入力された音声認識データＤの解析（ステップＳ１）の結果、質問メッセージＱに対する応答と判断する場合には、ステップＳ９において、応答の内容に従った制御を行う。また、図５に示される実施形態では、応答の内容に従った制御の結果を報知している。

図５のステップＳ９を上述の「雨が止んだ」との例で説明すると、この１回目の「雨が止んだ」との音声認識データＤに対して、「ワイパーを止めましょうか？」との質問メッセージＱを送るとする。この際、車両用音声操作装置１は、肯定的な応答に対しては、操作対象装置４ｔはワイパーであり、操作内容４ｃはオフ状態に切り替えることであり、逆に、否定的な応答に対しては、操作対象装置４ｔはワイパーであり、操作内容４ｃはオン状態に切り替えることといったように、期待値が用意される。そして、この質問メッセージＱが報知された後に入力される音声が、「ハイ」や「イイエ」などの応答音声と判定される場合には、図５のステップＳ９に進むことになる。そして、この応答音声の肯定的な応答であるか否定的な応答であるかの判定がなされ、その結果に応じて上記の期待値が実行される。なお、図５のステップＳ９で応答と判断されない場合には、質問メッセージＱは無視されたと考えられるので、肯定的な応答に対する期待値の実行、否定的な応答に対する期待値の実行、あるいは、音声操作を実行しないといういずれかを実行しても良い。その上で、入力された音声Ｖは、新たな音声操作として、図５のステップＳ２がなされても良い。

上記の構成によれば、車両用音声操作装置１は、車両６の運転者などの音声（発話）を取り込み、音声認識によって、発話者が意図する音声操作の内容（操作対象装置および操作内容）を判定（推測）する。その上で、車両用音声操作装置１は、車両６がおかれている現在の車両の状態（車両状態情報Ｉ）に照らし合わせて、音声操作を車両に反映させるための音声操作（操作命令Ｃ）を実行することの妥当性を判定する。そして、音声操作の実行が妥当でないと判定した場合には音声操作を実行せずに、その旨を運転者などに報知する。このように車両の状態に応じて音声操作の実行を制御することで、例えば、トンネル走行中にヘッドライトを消すなどの音声操作が実行されるなど、危険な状態が発生することを防止し、安全運転を支援することができる。

また、上述した図５で説明したように、幾つかの実施形態では、報知データＮは、妥当性がない旨を示す応答メッセージＲと共に、操作内容４ｃの実行に関する質問メッセージＱを含み、音声認識データ解析部１３は、入力音声認識部１２を介して質問メッセージＱに対する応答を受信した場合には、該応答の内容に従って、操作命令生成部１５に対して指示（操作命令Ｃの生成指示）を実行するか、あるいは、操作対象装置４ｔに対して操作内容４ｃを実行しない。上記の図５に示される実施形態によれば、上述の妥当性がない場合に質問メッセージＱを報知し、発話者の応答に従って音声操作の実行を制御することで、発話者の音声操作に関する意図が確認される。これによって、発話者とのインタラクティブなやり取りの正確度を高めることができ、車両用音声操作装置１の信頼性を高めることができる。

また、幾つかの実施形態では、上述したように、車両６は、車両６の運転状態あるいは車両６の周辺情報の少なくとも一方を車両側情報Ｉｉとして検出するためのセンサ３を有し、車両状態情報Ｉは車両側情報Ｉｉを含んでいる。そして、操作実行判定部１４は、車両側情報Ｉｉを含む車両状態情報Ｉに基づいて、操作対象装置４ｔに対して操作内容４ｃを実行することの妥当性を判定する。具体的には、操作対象装置４ｔに対する操作命令Ｃを実行することが、操作対象装置４ｔの機能に照らして操作対象装置４ｔに関連付けられる車両側情報Ｉｉに適合しないと判定される場合には上述の妥当性がないと判定し、操作対象装置４ｔに関連付けられる車両側情報Ｉｉに適合すると判定される場合には上述の妥当性があると判定する。すなわち、車両用音声操作装置１は、車載操作装置４の各々に対して関連する情報を検出するセンサ３が何であるかを示すための上述の関連付データを有している。そして、操作実行判定部１４は、この関連付データを参照することで、入力された音声Ｖから判定された操作対象装置４ｔに関連する車両側情報Ｉｉと操作内容４ｃとの比較に基づいて、音声操作の実行の妥当性を判定する。

具体的に例を挙げて説明すると、上記の関連付データにおいて、ヘッドライトと照度センサ３２とが関連づけられているとする。この際、例えば、入力された音声Ｖが「ヘッドライトを消して」という内容である場合には、操作対象装置４ｔはヘッドライトであり、操作内容４ｃはオフ状態に切り替えることとなる。ここで、ヘッドライトの機能は、暗闇の中で車両６の進行方向の前方を照らすこととすると、夜間やトンネル内を車両６が走行している際には、ヘッドライトを消灯すると危険である。このような危険な状態に車両６が陥るのを回避するために、車両用音声操作装置１は上述の関連付データを備えている。そして、操作実行判定部１４は、上記の音声操作の内容に対して関連付データを参照することで、ヘッドライトの機能に関連する照度センサ３２に関する車両側情報Ｉｉを参照する。

そして、ヘッドライトの点灯が必要な状態として設定された所定の照度値よりも照度センサ３２の検出結果が小さい場合には、上記の音声操作はヘッドライトに対する音声操作（オフ状態への切り替え）に適合せず、妥当でないと判定する。妥当でないと判定された場合には、例えば、「今ヘッドライトを消したら危ないので、明るくなったら自動的に消します。」などいう応答メッセージＲが妥当でない旨として報知されても良い。あるいは、「今ヘッドライトを消したら危ないので、トンネルを出てから自動的に消します。」などいう応答メッセージＲが妥当でない旨として報知されても良い。このトンネルは、位置情報（外部情報）および地図情報に基づいて判断可能である。逆に、車両用音声操作装置１は、上記の所定の照度値よりも照度センサ３２の検出結果が大きい場合には、上記の音声操作はヘッドライトに対する音声操作（オフ状態への切り替え）に適合し、妥当であると判定する。これによって、音声操作が実行される。

また、上記の関連付データにおいて、ワイパーとレインセンサ３１とが関連づけられているとする。この際、例えば、入力された音声Ｖが「雨が止んだ」という内容である場合には、操作対象装置４ｔはワイパーであり、操作内容４ｃはオフ状態に切り替えることになる。ここで、ワイパーの機能は、車両６の窓ガラス（例えばフロントガラスなど）の雨滴（水分）を拭い取ることとすると、窓ガラスに雨滴がないような場合には、ワイパーを作動させる必要性は乏しい。このような音声操作が不要と判断される場合には、車両用音声操作装置１は、上記の音声操作の内容に対して関連付データを参照し、ワイパーの機能に関連するレインセンサ３１に関する車両側情報Ｉｉを参照する。そして、ワイパーの停止に必要な状態として設定された所定の降雨量よりもレインセンサ３１の検出結果が大きい場合には、上記の音声操作はワイパーに対する操作内容４ｃ（オフ状態への切り替え）に適合せず、妥当でないと判定する。妥当でないと判定された場合には、例えば、「降雨が検出されています。早くやむといいですね。」などいう応答メッセージＲが妥当でない旨として報知されても良い。逆に、車両用音声操作装置１は、上記の所定の降雨量よりもレインセンサ３１の検出結果（例えば、降雨なし）が小さい場合には、上記の音声操作はワイパーに対する操作内容４ｃに適合し、妥当であると判定する。これによって、音声操作が実行される。

なお、センサ３は、センサ３による検出が行われるオンと、センサ３による検出が行われないオフとが切り替えられるように構成されていても良い。この場合、センサ３のオン、オフに応じて、報知内容が定められても良い。例えば、入力された音声Ｖが「雨が止んだ」という内容である場合において、レインセンサ３１がオフの場合には、降雨を検出できない。このため、「雨が止んだのでしたら、ワイパーを止めましょうか？」といったように、妥当でない旨の応答メッセージＲおよび質問メッセージＱが報知されても良い。

上記の構成によれば、車両状態情報Ｉは少なくとも車両側情報Ｉｉを含んでおり、車載操作装置４の音声操作の内容は、車両６に設置されたセンサ３によって得られる操作対象装置４ｔに関連する車両６の状態と比較されることで、その妥当性が判定される。これによって、例えば、車両６がトンネルを走行している際にヘッドライトを消すといった操作命令Ｃが実行されるのを防止することができ、安全運転を支援することができる。

また、幾つかの実施形態では、図１に示されるように、車両６は、車両６の外部と通信するための通信装置１１ｖを有し、車両状態情報Ｉは、通信装置１１ｖを介して取得される外部情報Ｉｅを含んでいる。そして、操作実行判定部１４は、外部情報Ｉｅを含む車両状態情報Ｉに基づいて、操作対象装置４ｔに対して操作内容４ｃを実行することの妥当性を判定する。具体的には、外部情報Ｉｅに基づいて、操作対象装置４ｔに対する操作命令Ｃの実行から所定時間以内に、操作対象装置４ｔに対する操作命令Ｃと逆の操作命令Ｃを操作対象装置４ｔに実行することの予測が成立する場合には上述の妥当性がないと判定し、この予測が成立しない場合には上述の妥当性があると判定する。この通信装置１１ｖは、無線によって、通信ネットワーク９（有線網）に接続された外部情報Ｉｅを提供する情報提供サーバ９２と車両６との間の通信などを可能とする装置であり、車両状態情報取得部１１は、通信装置１１ｖを介して外部情報Ｉｅを取得される。そして、車両状態情報Ｉは、少なくとも外部情報Ｉｅを含むように構成されており、車両用音声操作装置１は、入力された音声Ｖから判定された音声操作の実行の妥当性を、外部情報Ｉｅに基づいて判定する。

具体的に例を挙げて説明すると、例えば、入力された音声Ｖが「ワイパーをつけて」という内容である場合には、操作対象装置４ｔはワイパーであり、操作内容４ｃはオン状態に切り替えることになる。そして、この音声操作がトンネルに入る直前でなされる場合には、音声操作を実行した後にトンネルに車両６が突入することで、すぐに実行した音声操作の内容とは逆となる「ワイパーを止めて」などの音声操作がなされる可能性が予測される。このような、操作対象装置４ｔに対する逆の操作が連続して行われる可能性が予測される場合には、最初の音声操作の実行を行わないようにすることが、運転者などにとって便利となる場合がある。

そこで、車両用音声操作装置１は、上記の音声操作の内容に対して、車両６の位置情報および地図情報（カーナビなど）を参照することで前方の情報（この例では、トンネルの有無）を取得する。そして、取得された前方のトンネルなどに車両６が到達する時間を車速センサ３６などの検出値から見積もり、この時間が、上記の可能性が発生する場合として定められた所定時間以内であった場合には、車両用音声操作装置１は、音声操作の実行が妥当でないと判定する。妥当でないと判定された場合には、例えば、「前方にトンネルがあります。トンネルを出てからつけましょうか？」などいう応答メッセージＲが妥当でない旨として報知されても良い。あるいは、上記の応答メッセージＲに、発話者が知りたいと予想される付加的な情報を加えても良い。具体的には、「ちなみに、到着予定時刻の目的地の天気は晴れです。」といった内容を、上記の応答メッセージＲに加えて報知しても良い。逆に、車両用音声操作装置１は、上記の見積もられた時間が所定時間以内でない場合には、上記の「ワイパーをつけて」という音声操作は妥当であると判定する。これによって、音声操作が実行される。

上記の構成によれば、車両６の位置情報から見た周辺の情報や、目的地に至るルートの周辺における渋滞情報、工事情報などの外部情報Ｉｅが通信装置１１ｖを利用して取得される。また、車載操作装置４の音声操作の内容は外部情報Ｉｅと比較されることで、その妥当性が判定される。例えば、例えば、ワイパー作動の旨の音声操作があった場合において、この音声操作の実行後にすぐにトンネルに突入することが外部情報Ｉｅから予測される場合には、トンネルの直前でワイパーを作動させても、すぐにトンネルに突入することでワイパーを停止させる音声操作がなされることが予測される。このように、発話者の意図に従って１回目の操作命令Ｃを実行しても、２回目の音声操作によって、逆の操作命令Ｃをすぐに実行することが予測される場合には、車両用音声操作装置１は、操作対象装置４ｔに対する操作命令Ｃを即座に実行しないように構成される。これによって、発話者が音声操作を繰り返すような状況を防止することができ、運転者が運転に集中できるような状況を形成することで、安全運転を支援することができる。

また、幾つかの実施形態では、上述したように、車両状態情報Ｉは、車載操作装置４の作動状態情報Ｉｄを含んでいる。そして、操作実行判定部１４は、操作対象装置４ｔの作動状態情報Ｉｄを含む車両状態情報Ｉに基づいて、操作対象装置４ｔに対して操作内容４ｃを実行することの妥当性を判定する。具体的には、操作対象装置４ｔの作動状態情報Ｉｄと操作内容４ｃとが一致していると判定される場合には上述の妥当性がないと判定し、操作対象装置４ｔの作動状態情報Ｉｄと操作内容４ｃとが一致していないと判定される場合には上述の妥当性はあると判定する。すなわち、車両状態情報Ｉは、少なくとも作動状態情報Ｉｄを含むように構成されており、車両用音声操作装置１は、入力された音声Ｖから判定された音声操作の実行の妥当性を、操作対象装置４ｔの作動状態情報Ｉｄと操作内容４ｃとの比較に基づいて判定する。

具体的に例を挙げて説明すると、例えば、入力された音声Ｖが「ワイパーをつけて」という内容である場合には、操作対象装置４ｔはワイパーであり、操作内容４ｃはオン状態に切り替えることになる。車両用音声操作装置１は、この音声操作を受けると、ワイパーの作動状態情報Ｉｄを確認することで、ワイパーが作動中であるか停止中であるかを判定する。そして、車両用音声操作装置１は、ワイパーの作動状態情報Ｉｄが作動中である場合には、オン状態に切り替えるという操作内容４ｃと一致していると判定し、上記の音声操作は妥当性がないと判定する。妥当でないと判定された場合には、例えば、「もうワイパーは動いていますよ。」などという応答メッセージＲが妥当でない旨として報知されても良い。逆に、ワイパーの作動状態情報Ｉｄが停止中である場合には、オン状態に切り替えるという操作内容４ｃと一致していないと判定し、音声操作の妥当性はあると判定する。これによって、音声操作が実行される。

上記の構成によれば、車載操作装置４の音声操作は、車載操作装置４の作動状態と比較されることで、その妥当性が判定される。これによって、例えば、ワイパーが作動している状態において、ワイパーを作動させる操作命令を実行するといったような無用な負荷を機器操作部１６にかけることを防止し、車両用音声操作装置１のレスポンスを高めることができる。

また、幾つかの実施形態では、図１〜図５に示される実施形態のように、車両状態情報Ｉに、作動状態情報Ｉｄの他に、操作対象装置４ｔに対して操作内容４ｃを実行することの妥当性を判定するための他の情報が含まれる場合には、操作対象装置４ｔの作動状態情報Ｉｄに基づいて上述の妥当性を判定した結果、妥当性があると判定される場合にのみ、他の情報に基づいた妥当性の判定をさらに実行する。すなわち、図１〜図５に示される実施形態では、車両用音声操作装置１は、この他の情報となる車両側情報Ｉｉあるいは外部情報Ｉｅに基づく音声操作の妥当性の判定の前に、作動状態情報Ｉｄに基づく音声操作の妥当性の判定を行うよう構成されている。そして、作動状態情報Ｉｄに基づく音声操作の妥当性の判定の結果、妥当性がないと判定される場合には、車両側情報Ｉｉあるいは外部情報Ｉｅに基づく音声操作の妥当性の判定を行うことなく、音声操作の妥当性がないと判定する。そして、作動状態情報Ｉｄに基づく音声操作の妥当性があると判定された場合には、車両側情報Ｉｉや外部情報Ｉｅに基づく音声操作の妥当性が行われる。

なお、図１〜図５に示される実施形態では、車両状態情報Ｉは、車両側情報Ｉｉと、外部情報Ｉｅと、作動状態情報Ｉｄとを含んでいる。この場合には、例えば、車両６の現在位置の降雨の有無など天気情報や、道路交通情報（車両６の前方の状況）など、車両側情報Ｉｉと外部情報Ｉｅとで類似した情報が取得される場合がある。例えば、レインセンサ３１で降雨が検出されているが情報提供サーバ９２からの天気予報は晴れなど、両者の情報が反対の内容を示す場合には、より情報として信頼性の高い車両側情報Ｉｉを外部情報Ｉｅよりも優先させるなどの優先順位を設けることで、音声操作の妥当性の判断をより適切に判定できる。

上記の構成によれば、操作対象装置４ｔの作動状態情報Ｉｄに基づく音声操作の妥当性があると判定される場合には、車両側情報Ｉｉや外部情報Ｉｅなどの他の情報に基づく音声操作の妥当性の判定が実行される。逆に、作動状態情報Ｉｄに基づく音声操作の妥当性がないと判定される場合には、他の情報（車両側情報Ｉｉや外部情報Ｉｅ）に基づく音声操作の妥当性の判定を実行することなく、音声操作の妥当性はないと判定される。操作対象装置４ｔの作動状態情報Ｉｄに基づく音声操作の妥当性の判定は、操作対象装置４ｔの作動状態を確認するだけでよく、車両側情報Ｉｉの判定基準や外部情報Ｉｅの正確さなど、搭乗者の個人的な感覚や状況などに左右されるものではないため、他の情報に比べて正確に行うことが可能である。このため、発話者とのインタラクティブなやり取りの正確度を高めると共に、車両用音声操作装置１のレスポンスを高めることができ、車両用音声操作装置１の信頼性を高めることができる。

また、幾つかの実施形態では、車載操作装置４は、作動状態を段階的に設定することが可能に構成されており、作動状態情報Ｉｄは、作動状態の設定段階を示す設定段階情報Ｉｌを含んでいる。そして、操作実行判定部１４は、操作対象装置４ｔに対する操作内容４ｃが操作状態の設定段階を相対的に変更するための操作と判断される場合には、車両状態情報取得部１１によって取得される設定段階情報Ｉｌを含む車両状態情報Ｉに基づいて、操作対象装置４ｔに対して操作内容４ｃを実行することの妥当性を判定する。例えば、ワイパーの速度、ヘッドライトの照射角度、エアコンの温度設定、窓の空き具合など、車載操作装置４の中には、オン状態、オフ状態以外に、オン状態において作動状態を段階的に設定することができるものがある。そして、運転者などの搭乗者は、これらの車載操作装置４の作動状態に対して、現在の設定値を基準としてより早く、より低くといったように操作したい場合がある。ワイパーの速度を例に説明すると、ワイパーは多段階（例えば、５段階など）の作動レベルを有するものもあり、低速から高速に向けて作動レベルが１〜５の各々の状態に遷移可能となる。また、運転者などは、作動レベルを示して音声操作をするのみならず、現在の降雨の状況に応じて、もっと早く、もっと遅くといった操作を望む場合があり、現在の設定値を基準とした相対的な動作が可能になると利便性が増す。

そこで、図１〜図５に示される実施形態では、車両用音声操作装置１は、ワイパーの作動レベルの操作について、現状の作動レベルからの相対的な変更が可能に構成されている。例えば、「早く」という操作命令Ｃに対して、作動レベルを２段階早くすると定義し、「遅く」という操作命令Ｃに対して、作動レベルを２段階遅くするようにしている。また、「少し早く」などの、「早く」という動作を弱めるように働く「少し」という操作命令Ｃに対して、作動レベルを現状から１段階早くし、「もっと早く」などの、「早く」という動作を強めるように働く「もっと」という操作命令Ｃに対して、作動レベルを現状から３段階早くするようにしている。同様に、「少し遅く」などの、「遅く」という動作を弱めるように働く「少し」という操作命令Ｃに対して、作動レベルを現状から１段階遅くし、「もっと遅く」などの、「遅く」という動作を強めるように働く「もっと」という操作命令Ｃに対して、作動レベルを現状から３段階遅くするようにしている。

この場合において、車両用音声操作装置１は、操作対象装置４ｔとなるワイパーの作動レベルの相対的な変更に関する音声操作の妥当性を、車両側情報Ｉｉや外部情報Ｉｅを参照することで判定する。例えば、レインセンサ３１による降雨量に照らして、操作内容４ｃが適合しないと判定される場合には、妥当性がないと判定される。具体的には、降雨量に対するワイパーの作動レベルが上述の関連付データなどに定義されており、降雨量と作動レベルに応じた閾値を比較することで、望ましい作動レベルが決定できるようになっている。そして、関連付データなどを参照することで、非常に雨脚が強く、ワイパーを最高速度で作動させるのが望ましい場合において、例えば、ワイパーの現状の作動レベルが２となっている時に、「ワイパーを少し早くして」といった１段階早くするという音声操作がなされた場合、音声操作を実行してもワイパーの作動レベルが最高にならない。このような場合には、車両用音声操作装置１は、音声操作が妥当でないと判定する。音声操作が妥当でないと判定すると、「ワイパーの動作を最高レベルに設定しました。」などという代替案が実行されたことを示す応答メッセージＲが妥当でない旨として報知されても良い。また、車両用音声操作装置１は、発話者による音声操作の内容に従わないので、最高レベルに設定した後に、「ワイパーの動作を最高レベルにしました。問題ないですか？」といった質問を報知しても良い。この場合には、質問に対する応答が肯定あるいは無応答なら、操作の実行内容を維持し、否定の場合には発話者の操作内容（つまり、ワイパーを少し早くする）に従って変更しなおしても良い。

また、例えば、エアコンの温度設定において、「少し高く」、「高く」、「もっと高く」といった音声表現に対して、それぞれ設定温度を１℃、２℃、３℃だけ高くし、「低く」、「少し低く」、「もっと低く」といった音声表現に対して、それぞれ設定温度を１℃、２℃、３℃だけ低くするといった音声操作が可能な場合も、上記のワイパーの例と同様に妥当性を判定される。具体的には、外気温に対するエアコンの設定温度が上述の関連付データなどに定義されており、外気温と設定温度に応じた閾値を比較することで、望ましい設定温度（適切な設定温度）が決定できるようになっている。そして、エアコンの設定温度をもっと低く（高く）するといった音声操作がなされた場合において、関連付データと外気温の比較により得られる設定温度と、音声操作によって設定しようと温度との温度差が所定の温度差よりも大きくなる場合には、音声操作は妥当でないと判定される。妥当でないと判定された場合には、例えば、「外気温との温度差がＸ℃となってしまうので、少し下げます。」などと代替案の操作内容４ｃを実行した旨を報知したり、「外気温との温度差がＸ℃となってしまいますが、３℃下げますか（上げますか）？」などという質問が、妥当でない旨として報知されても良い。

同様に、前方の所定の範囲に先行車が走行している場合において、ヘッドライトをハイビームに切り替えるような音声操作がなされた際に、音声操作は妥当でないと判定され、代替案の実行や質問が妥当でない旨として報知されても良い。その他、パワーウィンドウの窓の操作において、空気が汚れており開けることが適切でない場合などにおいて、代替案の実行や質問が妥当でない旨として報知するのなどされても良い。

なお、車両用音声操作装置１は、ワイパーなどの操作対象装置４ｔの作動レベルを変更する操作内容４ｃを実行すると、定義されたように作動レベルを変更できない場合には、音声操作の妥当性がないと判定し、操作内容４ｃに従って作動レベルを変更することができる場合には、音声操作の妥当性があると判定しても良い。例えば、ワイパーが５段階の作動レベルを有するとする。この場合において、現状の作動レベルが３段階目に設定されている場合には、「もっと早く」という操作内容４ｃを実行すると、このワイパーが有していない作動レベルが６段目を指すことになるため、妥当でないと判定される。妥当でないと判定された場合には、例えば、「ワイパーの動作を最高レベルに設定しました。」などという代替案の実行を報知する応答メッセージＲが妥当でない旨として報知されても良い。また、この応答メッセージＲに、最高レベルに設定する前や、最高レベルにしても良いかなどの質問メッセージを付加して報知しても良い。

上記の構成によれば、ワイパーの強弱など、操作対象装置４ｔの作動段階を変更するといった音声操作は、車両６に設置されたセンサ３などによって得られるに車両６の状態と比較されることで、その妥当性が判定される。例えば、雨脚が激しく、ワイパーの作動レベルを最大にすることが適当と判断される場合において、音声操作の内容がこの判断に適合しない場合には、上述の妥当性がないと判断される。これによって、車両６の走行状態に応じて、車載操作装置４を適切な作動状態に導くことができ、安全運転を支援することができる。

また、幾つかの実施形態では、図３に示されるように、車両用音声操作装置１は、通信ネットワーク９に接続された音声操作制御装置７２と、車両６に配置された音声操作入出力装置６２と、音声操作制御装置７２および音声操作入出力装置６２のそれぞれに設けられ、音声操作制御装置７２と音声操作入出力装置６２とを通信ネットワーク９を介して通信可能に接続する通信インタフェース装置１８（１８ｃ、１８ｍ）と、入力される音声Ｖを取り込むための音声入力装置１２ｖと、出力音声生成部１７からの出力を報知する報知装置１７ｖと、をさらに備える。また、車両６側の音声操作入出力装置６２には、音声入力装置１２ｖ、報知装置１７ｖ、および、機器操作部１６が設けられる。一方、通信ネットワーク９側の音声操作制御装置７２には、車両状態情報取得部１１、入力音声認識部１２、音声認識データ解析部１３、操作実行判定部１４、および、操作命令生成部１５が設けられる。出力音声生成部１７は、音声操作制御装置７２または音声操作入出力装置６２のいずれか一方に設けられる。そして、通信インタフェース装置１８によって、音声入力装置１２ｖと入力音声認識部１２との間、報知装置１７ｖと出力音声生成部１７との間、機器操作部１６と操作命令生成部１５との間、および、機器操作部１６と車両状態情報取得部１１との間がそれぞれ接続される。すなわち、車両用音声操作装置１の備える機能部は、音声操作制御装置７２と音声操作入出力装置６２とに機能分散されており、通信インタフェース装置１８を介して音声操作制御装置７２と音声操作入出力装置６２とが通信することで、音声操作の実行を制御する。

図３に示される実施形態では、音声操作制御装置７２は、クラウド７上に設けられている。言い換えると、クラウド７を構成するサーバ群やストレージ群を利用することで構成されており、そのサーバ群においてソフトウェア（プログラム）が動作することで、車両状態情報取得部１１、入力音声認識部１２、音声認識データ解析部１３、操作実行判定部１４、操作命令生成部１５、および、出力音声生成部１７の各機能部のそれぞれの機能が実現されている。また、車両状態情報Ｉが格納されるデータベース１１ｍは、クラウドを構成するストレージ群で実現されている。これによって、図２に示される実施形態において個々の車両６毎に管理していた車両状態情報Ｉを、図３に示される実施形態では、音声操作制御装置７２に集約および管理している。

また、図３に示されるように、車両６側に配置された音声入力装置１２ｖは、マイクなどを介して入力された音声Ｖ（音声波形）に対して、サンプリング技術によりデジタル化を行うことで、入力された音声Ｖを音声データＶｄに変換する。その後、音声データＶｄを、例えばＩＰパケット化するなどして通信データを生成し、車両６側の通信インタフェース装置１８ｍを介して通信ネットワーク９に通信データを送信する。この通信データは、通信ネットワーク９をルーティングされて、音声操作制御装置７２の通信インタフェース装置１８ｃに受信された後、音声データＶｄを音声Ｖ（音声波形）に戻すための音声変換部１２ｄを介することで、入力音声認識部１２に音声Ｖを入力する。

また、出力音声生成部１７は、音声操作制御装置７２または音声操作入出力装置６２のいずれか一方に設けられている。図３に示される実施形態では、出力音声生成部１７は、音声操作制御装置７２（通信ネットワーク９側）に設けられており、出力音声生成部１７によって報知データＮが音声化された音声Ｖは、音声Ｖ（音声波形）をサンプリング技術によってデジタル化するための音声変換部１２ｄを介することで、音声データＶｄに変換される。そして、この音声データＶｄを、例えばＩＰパケット化するなどして通信データを生成し、車両６側の通信インタフェース装置１８ｍを介して通信ネットワーク９に通信データを送信する。この通信データは、通信ネットワーク９をルーティングされて、音声操作入出力装置６２の通信インタフェース装置１８ｍに受信された後、報知装置１７ｖに入力されることで、音声データＶｄが音声Ｖに変換されて、スピーカなどから報知される。他の幾つかの実施形態では、出力音声生成部１７は、音声操作入出力装置６２（車両６側）に設けられており、操作実行判定部１４から出力された報知データＮは、そのままＩＰパケット化などの通信データ化されて、車両６側の通信インタフェース装置１８ｍから通信ネットワーク９に送信される。そして、この通信データは、車両６側の通信インタフェース装置１８ｍから出力音声生成部１７に入力された後、音声Ｖに変換されて報知装置１７ｖから報知される。

また、車両６側の機器操作部１６と通信ネットワーク９側の操作命令生成部１５との間、および、車両６側の機器操作部１６と通信ネットワーク９側の車両状態情報取得部１１との間では、操作命令Ｃや作動状態情報Ｉｄは、そのままＩＰパケット化などの通信データ化されることで、上記と同様に、通信ネットワーク９を介してやり取りされる。

上記の構成によれば、車両用音声操作装置１の機能部は、通信ネットワーク９側に設けられる音声操作制御装置７２と車両６側に設けられる音声操作入出力装置６２とに機能分散される。具体的には、運転者などの発話者とのインタフェースとなる音声入力装置１２ｖ（マイクなど）および報知装置１７ｖ（スピーカなど）や、車載操作装置４の音声操作のための操作命令Ｃを実行する機器操作部１６は車両６側に配置され、それ以外の機能部は、通信ネットワーク９側に配置される。そして、音声操作制御装置７２に設けられる機能部は複数の車両で共有することが可能な機能部であり、複数の車両に共有する機能部を通信ネットワーク９側に集約することで、車両６のコストの低減を図ることができる。また、通信ネットワーク９の音声操作制御装置７２に入力音声認識部１２を配置することで、数多くの車両６から発話される数多くの表現方法を一箇所に集中させて収集することが可能であり、音声操作制御装置７２はこれらのデータを参照することで様々な表現方法を処理することが可能となる。これによって、発話者とのインタラクティブなやり取りの確実性を高め、車両用音声操作装置１の信頼性を高めることができる。

また、幾つかの実施形態では、図６に示されるように、音声入力装置１２ｖおよび報知装置１７ｖは、携帯電話、スマートフォン、タブレット端末、ノートパソコン、車載通信機、およびカーナビゲーションシステムを含むデータ通信が可能な移動体通信装置８によって構成される。図６は、本発明の一実施形態に係る車両用音声操作装置を備えた車両の構成を概略的に示す図である。図６に示されるように、音声操作制御装置７２は通信ネットワーク９側に設けられ、移動体通信装置８を含む音声操作入出力装置６２は車両側に設けられる。移動体通信装置８は、車両６の現在位置周辺に存在する無線基地局と無線接続を確立し、この無線接続を介して、音声操作制御装置７２と通信を行う。また、移動体通信装置８では、専用のソフト（アプリ）が起動しており、この専用のソフトと通信先となる音声操作制御装置７２との間の通信が、上記の無線接続上で行われる。なお、移動体通信装置８で取得された外部情報Ｉｅが、車両状態情報取得部１１に送られるよう構成されても良い。また、移動体通信装置８は、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの近距離通信規格やＷｉＦｉなどの無線や、通信ケーブルなどの有線によって音声操作制御装置７２と接続されることで、音声操作制御装置７２側の通信インタフェース装置１８ｍを介して、音声操作制御装置７２と通信を行っても良い。

上記の構成によれば、例えば、移動体通信ネットワークによる通信機能を有する既存の移動体通信装置（モバイル通信装置）によって、音声入力装置および報知装置を構成することで、コストの低減を図ることができる。

本発明は上述した実施形態に限定されることはなく、上述した実施形態に変形を加えた形態や、これらの形態を適宜組み合わせた形態も含む。

１ 車両用音声操作装置
１１ 車両状態情報取得部
１１ｍ データベース
１１ｖ 通信装置
１２ 入力音声認識部
１２ｖ マイク
１２ｄ 音声変換部
１３ 音声認識データ解析部
１４ 操作実行判定部
１５ 操作命令生成部
１６ 機器操作部
１７ 出力音声生成部
１７ｖ スピーカ
１８ 通信インタフェース装置
３ センサ
３１ レインセンサ
３２ 照度センサ
３３ 外気温センサ
３６ 車速センサ
３７ カメラ
３８ レーダー手段
４ 車載操作装置
４２ 操作器
４ｃ 操作内容
４ｔ 操作対象装置
６ 車両
６１ 車載ネットワーク
６２ 音声操作入出力装置
７ クラウド
７２ 音声操作制御装置
８ 移動体通信装置
９ 通信ネットワーク
９２ 情報提供サーバ
Ｖ 音声
Ｖｄ 音声データ
Ｄ 音声認識データ
Ｃ 操作命令
Ｉ 車両状態情報
Ｉｄ 作動状態情報
Ｉｅ 外部情報
Ｉｉ 車両側情報
Ｉｌ 設定段階情報
Ｎ 報知データ
Ｑ 質問メッセージ
Ｒ 応答メッセージ

Claims (9)

1. 車両の状態を示す車両状態情報を取得する車両状態情報取得部と、
   入力される音声を音声認識データに変換する入力音声認識部と、
   前記音声認識データに基づいて、操作対象装置となる車載操作装置および該操作対象装置に対する操作内容を判定する音声認識データ解析部と、
   前記操作対象装置に対して前記操作内容を実行することの妥当性を前記車両状態情報に基づいて判定する操作実行判定部と、
   前記操作実行判定部からの指示に応じて、前記操作対象装置に対して前記操作内容を実行するための操作命令を生成する操作命令生成部と、
   前記操作命令を実行する機器操作部と、
   前記操作実行判定部から受信した報知データを音声に変換する出力音声生成部と、を備え、
   前記操作実行判定部は、前記妥当性がないと判定した場合には、前記操作命令を実行せず、前記妥当性がない旨を示す応答メッセージを音声で出力するための報知データを前記出力音声生成部に対して出力することを特徴とする車両用音声操作装置。
2. 前記車両は、前記車両の運転状態あるいは前記車両の周辺情報の少なくとも一方を車両側情報として検出するためのセンサを有し、
   前記車両状態情報は前記車両側情報を含み、
   前記操作実行判定部は、前記車両側情報を含む前記車両状態情報に基づいて、前記操作対象装置に対して前記操作内容を実行することの妥当性を判定するものとし、
   前記操作対象装置に対する前記操作命令の実行が、前記操作対象装置の機能に照らして前記操作対象装置に関連付けられる前記車両側情報に適合しないと判定される場合には前記妥当性がないと判定し、前記操作対象装置に関連付けられる前記車両側情報に適合すると判定される場合には前記妥当性があると判定することを特徴とする請求項１に記載の車両用音声操作装置。
3. 前記車両は、前記車両の外部と通信するための通信装置を有し、
   前記車両状態情報は、前記通信装置を介して取得される外部情報を含み、
   前記操作実行判定部は、前記外部情報を含む前記車両状態情報に基づいて、前記操作対象装置に対して前記操作内容を実行することの妥当性を判定するものとし、
   前記外部情報に基づいて、前記操作対象装置に対する前記操作命令の実行から所定時間以内に、前記操作対象装置に対する前記操作命令と逆の操作命令を前記操作対象装置に実行することの予測が成立する場合には前記妥当性がないと判定し、前記予測が成立しない場合には前記妥当性があると判定することを特徴とする請求項１に記載の車両用音声操作装置。
4. 前記車両状態情報は、前記車載操作装置の作動状態情報を含み、
   前記操作実行判定部は、前記操作対象装置の前記作動状態情報を含む前記車両状態情報に基づいて、前記操作対象装置に対して前記操作内容を実行することの妥当性を判定するものとし、
   前記操作対象装置の前記作動状態情報と前記操作内容とが一致していると判定される場合には前記妥当性がないと判定し、前記操作対象装置の前記作動状態情報と前記操作内容とが一致していないと判定される場合には前記妥当性はあると判定することを特徴とする請求項１〜３のいずれか１項に記載の車両用音声操作装置。
5. 前記車両状態情報に、前記作動状態情報の他に、前記操作対象装置に対して前記操作内容を実行することの妥当性を判定するための他の情報が含まれる場合には、前記操作対象装置の前記作動状態情報に基づいて前記妥当性を判定した結果、該妥当性があると判定される場合にのみ、前記他の情報に基づいた前記妥当性の判定をさらに実行することを特徴とする請求項４に記載の車両用音声操作装置。
6. 前記車載操作装置は、作動状態を段階的に設定することが可能に構成されており、
   前記作動状態情報は、前記作動状態の設定段階を示す設定段階情報を含んでおり、
   前記操作実行判定部は、前記操作対象装置に対する前記操作内容が前記操作状態の設定段階を相対的に変更するための操作と判断される場合には、前記車両状態情報取得部によって取得される前記設定段階情報を含む前記車両状態情報に基づいて、前記操作対象装置に対して前記操作内容を実行することの妥当性を判定することを特徴とする請求項４または５に記載の車両用音声操作装置。
7. 前記報知データは、前記妥当性がない旨を示す応答メッセージと共に、前記操作内容の実行に関する質問メッセージを含み、
   前記音声認識データ解析部は、前記入力音声認識部を介して前記質問メッセージに対する応答を受信した場合には、該応答の内容に従って、前記操作命令生成部に対して前記指示を実行するか、あるいは、前記操作対象装置に対して前記操作内容を実行しないことを特徴とする請求項１〜６のいずれか１項に記載の車両用音声操作装置。
8. 前記音声が入力される音声入力装置と、
   前記出力音声生成部からの出力を報知する報知装置と、
   通信ネットワークに接続され、前記車両状態情報取得部、前記入力音声認識部、前記音声認識データ解析部、前記操作実行判定部、および、前記操作命令生成部が設けられた音声操作制御装置と、
   前記車両に配置され、前記音声入力装置、前記報知装置、および、前記機器操作部が設けられた音声操作入出力装置と、
   前記音声操作制御装置および前記音声操作入出力装置のそれぞれに設けられ、前記音声操作制御装置と前記音声操作入出力装置とを前記通信ネットワークを介して通信可能に接続する通信インタフェース装置と、をさらに備えていることを特徴とする請求項１〜７のいずれか１項に記載の車両用音声操作装置。
9. 前記音声入力装置および前記報知装置は、携帯電話、スマートフォン、タブレット端末、ノートパソコン、車載通信機、およびカーナビゲーションシステムを含むデータ通信が可能な移動体通信装置によって構成されることを特徴とする請求項８に記載の車両用音声操作装置。

Images