JP2020154098A - 車載機器制御システム、車載機器制御装置、車載機器制御方法、及びプログラム - Google Patents

Abstract

【課題】車両の安全性を保ちつつ、簡便に車載機器の動作を指示することができる車載機器制御システム、車載機器制御装置、車載機器制御方法及びプログラムを提供する。【解決手段】エージェント装置は、車載機器制御システム車両に搭乗する乗員の発話内容を含む音声を取得する取得部と、車載機器制御部と、音声を認識する音声認識部と、動作が指示される車載機器を特定する特定部と、特定された車載機器が、所定のグループに属する車載機器であるかを判定する判定部と、汎用スイッチと、を備える。車載機器制御部は、指示を受ける車載機器が所定のグループに属する車載機器である場合、スピーカ又は表示部により、動作を実行してもよいかを問い合わせる音声及び動作を実行についての同意を促す同意促進画像のうち少なくとも一方を出力させつつ、同意したことを示す入力が汎用スイッチにより受け付けられた場合、指示を受ける車載機器の動作を制御する。【選択図】図１１

Description

本発明は、車載機器制御システム、車載機器制御装置、車載機器制御方法、及びプログラムに関する。

人間と音声対話によって情報を提供するヒューマンマシンインターフェースの研究が進められている。これに関連し、ロボットのコミュニケーションの対象とする人物の状況に基づいて、当該人物に対する発話の可否や発話音量、発話口調を決定する技術や、語彙が登録された辞書を利用して、乗員が発話した音声を認識し、車室内の複数の制御対象機器を、認識した音声の内容に応じて制御する技術が知られている（例えば、特許文献１、２参照）。

特許第４９７６９０３号公報 特開２００７−２８６１３６号公報

しかしながら、従来の技術では、例えば車室内に乗員が複数いる場合に、特定の乗員（例えば、車両の運転者）にしか許容されていない車載機器の操作を、乗員が発話した音声によって、確実に指示することには難しい場合があった。

本発明の態様は、このような事情を考慮してなされたものであり、特定の乗員にしか許容されていない操作を確実に指示し、指示に係る車両の運転責任者の負荷を軽減することができる車載機器制御システム、車載機器制御装置、車載機器制御方法、及びプログラムを提供することを目的の一つとする。

本発明に係る車載機器制御システム、車載機器制御装置、車載機器制御方法、及びプログラムは、以下の構成を採用した。
（１）：この発明の一態様に係る車載機器制御システムは、車両に搭乗する乗員の発話内容を含む音声を取得する取得部と、前記車両に搭載され、スピーカおよび表示部を含む車載機器の動作を制御する車載機器制御部と、前記取得部により取得された前記車両の乗員が発話内容を含む音声を認識する音声認識部と、前記音声認識部により認識された前記乗員の音声によって動作が指示される前記車載機器を特定する特定部と、特定された前記車載機器が、所定のグループに属する車載機器であるか否かを判定する判定部と、汎用スイッチと、を備え、前記車載機器制御部は、前記指示を受ける車載機器が前記所定のグループに属する車載機器であると前記判定部により判定された場合、前記スピーカ、又は、前記表示部により、前記所定のグループに属する車載機器が前記指示に対応する動作を実行してもよいかを問い合わせる音声、及び、前記所定のグループに属する車載機器における前記動作を実行についての同意を促す同意促進画像のうち少なくとも一方を出力させつつ、前記指示を実行することに前記乗員が同意したことを示す入力が前記汎用スイッチにより受け付けられた場合、前記指示を受ける前記車載機器の動作を制御するものである。

（２）：上記（１）の態様において、前記所定のグループに属する車載機器は、前記車両の挙動に影響する車載機器である。

（３）：上記（１）の態様において、前記所定のグループに属する車載機器は、前記車両における運転者にのみ許容されている操作に対応する車載機器である。

（４）：上記（１）の態様において、前記汎用スイッチは、前記同意したことを示す入力を含む、音声指示に関する所定の入力を受け付ける場面以外では、他の用途に使用され得るスイッチである。

（５）：上記（４）の態様において、前記音声認識部は、音声の受付を開始することを示す入力が前記汎用スイッチにより受け付けられた場合、前記取得部であるマイクにより収集された前記乗員の発話内容を含む音声の認識を開始する。

（６）：上記（１）〜（５）のいずれかの態様において、前記汎用スイッチは、ステアリングホイールに設けられている。

（７）：上記（１）〜（６）のいずれかの態様において、前記車載機器制御システムは、更に、前記指示を受ける前記車載機器が、前記所定の車載機器以外のグループに属する車載機器であると判定された際、前記車載機器制御部に、前記所定の車載機器以外のグループに属する車載機器の動作を制御させるスイッチを備えるものである。

（８）：この発明の一態様に係る車載機器制御装置は、車両に搭乗する乗員の発話内容を含む音声を取得する取得部と、前記車両に搭載され、スピーカおよび表示部を含む車載機器の動作を制御する車載機器制御部と、前記取得部により取得された前記乗員の発話内容を含む音声を認識する音声認識部と、前記音声認識部により認識された前記乗員の音声によって動作が指示される前記車載機器を特定する特定部と、特定された前記車載機器が、所定のグループに属する車載機器であるか否かを判定する判定部と、汎用スイッチと、を備え、前記車載機器制御部は、前記指示を受ける車載機器が前記所定のグループに属する車載機器であると前記判定部により判定された場合、前記スピーカ、又は、前記表示部により、所定のグループに属する車載機器が前記指示に対応する動作を実行してもよいかを問い合わせる音声、及び、前記所定のグループに属する車載機器における前記動作を実行についての同意を促す同意促進画像のうち少なくとも一方を出力させつつ、前記指示を実行することに前記乗員が同意したことを示す入力が前記汎用スイッチにより受け付けられた場合、前記指示を受ける前記車載機器の動作を制御するものである。

（９）：この発明の一態様に係る車載機器制御方法は、車両の乗員の発話内容を含む音声を取得する取得部と、汎用スイッチとを備える車載機器制御システムにおける単一または複数のコンピュータが、前記乗員の発話内容を含む音声を認識するステップと、認識された前記乗員の音声によって動作が指示される車載機器を特定するステップと、特定された前記車載機器が、所定のグループに属する車載機器であるか否かを判定するステップと、前記指示を受ける前記車載機器が前記所定のグループに属する車載機器であると判定された場合、前記所定のグループに属する車載機器が前記指示に対応する動作を実行してもよいかを問い合わせる音声、及び、所定のグループに属する車載機器における前記動作を実行についての同意を促す同意促進画像のうち少なくとも一方を、スピーカまたは表示部により出力させるステップと、その際に、前記指示を実行することに前記乗員が同意したことを示す入力が前記汎用スイッチによって受け付けられた場合、前記指示を受けた前記車載機器の動作を制御するステップとを有するものである。

（１０）：この発明の一態様に係るプログラムは、車両の乗員の発話内容を含む音声を取得する取得部と、汎用スイッチとを備える車載機器制御システムにおける単一または複数のコンピュータにインストールされ、前記乗員の発話内容を含む音声を認識する処理と、認識された前記乗員の音声により動作が指示される車載機器を特定する処理と、特定された前記車載機器が、所定のグループに属する車載機器であるか否かを判定する処理と、前記指示を受ける前記車載機器が、前記所定のグループに属する車載機器であると判定された場合、前記所定のグループに属する車載機器が前記指示に対応する動作を実行してもよいかを問い合わせる音声、及び、前記所定のグループに属する車載機器における前記動作を実行についての同意を促す同意促進画像のうち少なくとも一方を、スピーカまたは表示部により出力させる処理と、その際に、前記指示を実行することに前記乗員が同意したことを示す入力が前記汎用スイッチによって受け付けられた場合、前記指示を受けた前記車載機器の動作を制御する処理と、を含むコンピュータに実行させるものである。

（１）〜（１０）の態様によれば、車両の安全性を保ちつつ、乗員に車載機器の動作を簡便に指示させることができる。

第１実施形態に係るエージェントシステム１の構成の一例を示す図である。 第１実施形態に係るエージェント装置１００の構成の一例を示す図である。 運転席から見た車室内の一例を示す図である。 車両Ｍを上から見た車室内の一例を示す図である。 運転席のリクライニング機構に係る同意促進画像ＩＭ１の一例を示す図である。 第１実施形態に係るサーバ装置２００の構成の一例を示す図である。 回答情報２３４の内容の一例を示す図である。 影響車載機器ＥＶＥに係る車載機器制御を示す情報を受信した場面のタイミングチャートの一例を示す図である。 第１実施形態に係るエージェント装置１００の一連の処理の流れを示すフローチャートである。 第１実施形態に係るサーバ装置２００の一例の処理の流れを示すフローチャートである。 第２実施形態に係るエージェント装置１００Ａの一例を示す図である。 第２実施形態に係るエージェント装置１００Ａの一連の処理の流れを示すフローチャートである。

以下、図面を参照し、本発明の車載機器制御システム、車載機器制御装置、車載機器制御方法、及びプログラムの実施形態について説明する。

＜第１実施形態＞
［システム構成］
図１は、第１実施形態に係るエージェントシステム１の構成の一例を示す図である。第１実施形態に係るエージェントシステム１は、例えば、車両（以下、車両Ｍ）に搭載されるエージェント装置１００と、サーバ装置２００とを備える。車両Ｍは、例えば、二輪や三輪、四輪等の車両である。これらの車両の駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせであってよい。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。

エージェント装置１００とサーバ装置２００とは、ネットワークＮＷを介して通信可能に接続される。ネットワークＮＷは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）等が含まれる。ネットワークＮＷには、例えば、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標、以下省略）等無線通信を利用したネットワークが含まれてよい。エージェントシステム１は、複数のエージェント装置１００および複数のサーバ装置２００により構成されてもよい。

エージェント装置１００は、エージェント機能を用いて車両Ｍの乗員からの音声を取得し、取得した音声をサーバ装置２００に送信する。また、エージェント装置１００は、サーバ装置から得られるデータ（例えば、エージェントデータ）等に基づいて、乗員と対話したり、画像や映像等の情報を提供したり、車載機器ＶＥや他の装置を制御したりする。車両Ｍには、例えば、動作が車両Ｍの挙動に影響する車載機器ＶＥ（以下、影響車載機器ＥＶＥ）と、動作が車両Ｍの挙動に影響しない車載機器ＶＥ（以下、非影響車載機器ＮＶＥ）とが搭載される。影響車載機器ＥＶＥは、例えば、運転者の姿勢に影響を与える機器（運転席のリクライニング機構、運転席のシートポジション制御機構等）、自動運転や高度運転支援（例えば、ＡＣＣ（Adaptive Cruise Control）や、ＶＳＡ（Vehicle Stability Assist）等）に係る機器等であり、運転者のみが操作を許容（許可）されている機器である。これに対して、非影響車載機器ＮＶＥは、例えば、エアコン、パワーウィンドウ、オーディオ、カーナビゲーション等であり、運転者以外の乗員も操作を許容されている機器である。更に、車載機器ＶＥの分類方法としては、例えば前記車両における運転者にのみ許容（許可）されている操作に対応する車載機器ＶＥと、それ以外の車載機器ＶＥとに分類するものがある。運転者にのみ許容（許可）されていない操作に対応する車載機器としては、影響車載機器ＥＶＥに加え、例えば、運転席側のパワーウィンドウ等である。

サーバ装置２００は、車両Ｍに搭載されたエージェント装置１００と通信し、エージェント装置１００から各種データを取得する。サーバ装置２００は、取得したデータに基づいて、音声等による問い合わせに関するエージェントデータを生成し、生成したエージェントデータをエージェント装置１００に提供する。第１実施形態に係るサーバ装置２００の機能は、エージェント機能に含まれる。また、サーバ装置２００の機能は、エージェント装置１００におけるエージェント機能を、より高精度な機能に更新する。

［エージェント装置の構成］
図２は、第１実施形態に係るエージェント装置１００の構成の一例を示す図である。第１実施形態に係るエージェント装置１００は、例えば、エージェント側通信部１０２と、マイク（マイクロフォン）１０６と、スピーカ１０８と、表示部１１０と、第１汎用スイッチ１１２と、第２汎用スイッチ１１３と、エージェント側制御部１２０と、エージェント側記憶部１５０とを備える。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続されてよい。なお、図２に示すエージェント装置１００の構成はあくまでも一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。

エージェント側通信部１０２は、ＮＩＣ（Network Interface controller）等の通信インターフェースを含む。エージェント側通信部１０２は、ネットワークＮＷを介してサーバ装置２００等と通信する。

マイク１０６は、車室内の音声を電気信号化し収音する音声入力装置である。マイク１０６は、収音した音声のデータ（以下、音声データ）をエージェント側制御部１２０に出力する。例えば、マイク１０６は、乗員が車室内のシートに着座したときの前方付近に設置される。例えば、マイク１０６は、マットランプ、ステアリングホイール、インストルメントパネル、またはシートの付近に設置される。マイク１０６は、車室内に複数設置されてよい。

スピーカ１０８は、例えば、車室内のシート付近または表示部１１０付近に設置される。スピーカ１０８は、エージェント側制御部１２０により出力される情報に基づいて音声を出力する。

表示部１１０は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイ等の表示装置を含む。表示部１１０は、エージェント側制御部１２０により出力される情報に基づいて画像を表示する。

第１汎用スイッチ１１２は、例えば、ボタン等のユーザインターフェースである。第１汎用スイッチ１１２は、乗員の操作を受け付けて、受け付けた操作に応じた信号をエージェント側制御部１２０に出力する。第１汎用スイッチ１１２は、例えば、ステアリングホイールに設けられる。第１汎用スイッチ１１２は、例えば、専用の機能を割り付けられておらず、何らかの用途に用いられる際には、用途がエージェント装置１００によって決定され、スピーカ１０８から出力される音声や、表示部１１０に表示される画像によって用途が指示されるものである。具体的には、第１汎用スイッチ１１２は、スピーカ１０８から「運転席側のパワーウィンドウを開けますか？同意する場合には、第１汎用スイッチ１１２を押してください。」等のように、その用途が指示される。

なお、第１汎用スイッチ１１２は、乗員が同意したことを示す入力の受付け以外の用途に用いられてもよい。例えば、第１汎用スイッチ１１２は、発話の開始を受け付けるスイッチとして用いられてもよい。また、第１汎用スイッチ１１２は、乗員が同意したことを示す入力を含む、音声指示に関する所定の入力を受け付ける場面以外では、他の用途に使用されてもよい。他の用途は、例えば、車両Ｍのオーディオ装置にペアリングされている携帯電話の通話開始や、オーディオ装置のボリューム調整、オーディオ装置の起動／停止、車内照明の点灯／消灯等である。また、第１汎用スイッチ１１２は、発光する構成を有しており、乗員が同意したことを示す入力の受付けの際に使用するタイミング、又は他の用途で使用できるタイミングにおいて、点灯や点滅し、入力を受け付けるタイミングを乗員に示してもよい。また、第１汎用スイッチ１１２は、入力の受付けの際に、用途に応じて発光色を異ならせ、乗員に用途を示してもよい。

第２汎用スイッチ１１３は、例えば、ボタン等のユーザインターフェースである。第２汎用スイッチ１１３は、乗員の操作を受け付けて、受け付けた操作に応じた信号をエージェント側制御部１２０に出力する。第２汎用スイッチ１１３は、例えば、専用の機能を割り付けられておらず、何らかの用途に用いられる際には、用途がエージェント装置１００によって決定され、スピーカ１０８から出力される音声や、表示部１１０に表示される画像によって用途が指示されるものである。具体的には、第２汎用スイッチ１１３は、スピーカ１０８から「エアコンを起動しますか？同意する場合には、第２汎用スイッチ１１３を押してください。」等のように、その用途が指示される。

図３は、運転席から見た車室内の一例を示す図である。図示の例の車室内には、マイク１０６Ａ〜１０６Ｃと、スピーカ１０８Ａ〜１０８Ｃと、表示部１１０Ａ〜１１０Ｃとが設置される。マイク１０６Ａは、例えば、ステアリングホイールに設けられ、主に運転者が発話した音声を収音する。マイク１０６Ｂは、例えば、助手席正面のインストルメントパネル（ダッシュボードまたはガーニッシュ）ＩＰに設けられ、主に助手席の乗員が発話した音声を収音する。マイク１０６Ｃは、例えば、インストルメントパネルの中央（運転席と助手席との間）付近に設置される。

スピーカ１０８Ａは、例えば、運転席側のドアの下部に設置され、スピーカ１０８Ｂは、例えば、助手席側のドアの下部に設置され、スピーカ１０８Ｃは、例えば、表示部１１０Ｃの付近、つまり、インストルメントパネルＩＰの中央付近に設置される。

表示部１１０Ａは、例えば運転者が車外を視認する際の視線の先に虚像を表示させるＨＵＤ（Head-Up Display）装置である。ＨＵＤ装置は、例えば、車両Ｍのフロントウインドシールド、或いはコンバイナーと呼ばれる光の透過性を有する透明な部材に光を投光することで、乗員に虚像を視認させる装置である。乗員は、主に運転者であるが、運転者以外の乗員であってもよい。

表示部１１０Ｂは、運転席（ステアリングホイールに最も近い座席）の正面付近のインストルメントパネルＩＰに設けられ、乗員がステアリングホイールの間隙から、或いはステアリングホイール越しに視認可能な位置に設置される。表示部１１０Ｂは、例えば、ＬＣＤや有機ＥＬ表示装置等である。表示部１１０Ｂには、例えば、車両Ｍの速度、エンジン回転数、燃料残量、ラジエータ水温、走行距離、その他の情報の画像が表示される。

表示部１１０Ｃは、インストルメントパネルＩＰの中央付近に設置される。表示部１１０Ｃは、例えば、表示部１１０Ｂと同様に、ＬＣＤや有機ＥＬ表示装置等である。表示部１１０Ｃは、テレビ番組や映画等のコンテンツを表示する。

第１汎用スイッチ１１２は、例えば、ステアリングホイールのうち、運転操作の妨げにならない位置（例えば、ステアリングホイールの外周以外の位置）に設けられる。

なお、車両Ｍには、更に、後部座席付近にマイクとスピーカが設けられてよい。図４は、車両Ｍを上から見た車室内の一例を示す図である。車室内には、図３で例示したマイクスピーカに加えて、更に、マイク１０６Ｄ、１０６Ｅと、スピーカ１０８Ｄ、１０８Ｅとが設置されてよい。

マイク１０６Ｄは、例えば、助手席ＳＴ２の後方に設置された後部座席ＳＴ３の付近（例えば、助手席ＳＴ２の後面）に設けられ、主に、後部座席ＳＴ３に着座する乗員が発話した音声を収音する。マイク１０６Ｅは、例えば、運転席ＳＴ１の後方に設置された後部座席ＳＴ４の付近（例えば、運転席ＳＴ１の後面）に設けられ、主に、後部座席ＳＴ４に着座する乗員が発話した音声を収音する。

スピーカ１０８Ｄは、例えば、後部座席ＳＴ３側のドアの下部に設置され、スピーカ１０８Ｅは、例えば、後部座席ＳＴ４側のドアの下部に設置される。

第２汎用スイッチ１１３は、例えば、マイク１０６Ａ〜１０６Ｄの近傍に設けられる。

なお、図１に例示した車両Ｍは、図３または図４に例示するように、乗員である運転手が操作可能なステアリングホイールを備える車両であるものとして説明したがこれに限られない。例えば、車両Ｍは、ルーフがない、すなわち車室がない（またはその明確な区分けがない）車両であってもよい。また、図３または図４の例では、車両Ｍを運転操作する運転手が座る運転席と、その他の運転操作をしない乗員が座る助手席や後部座席とが一つの室内にあるものとして説明しているがこれに限られない。例えば、車両Ｍは、ステアリングホイールに代えて、ステアリングハンドルを備えた鞍乗り型自動二輪車両であってもよい。また、図３または図４の例では、車両Ｍが、ステアリングホイールを備える車両であるものとして説明しているがこれに限られない。例えば、車両Ｍは、ステアリングホイールのような運転操作機器が設けられていない自動運転車両であってもよい。自動運転車両とは、例えば、乗員の操作に依らずに車両の操舵または加減速のうち一方または双方を制御して運転制御を実行することである。

図２の説明に戻り、エージェント側制御部１２０は、例えば、取得部１２２と、音声合成部１２４と、出力制御部１２６と、通信制御部１２８と、特定部１３０と、判定部１３２と、車載機器制御部１３４とを備える。これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めエージェント側記憶部１５０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでエージェント側記憶部１５０にインストールされてもよい。

エージェント側記憶部１５０は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。エージェント側記憶部１５０には、例えば、プロセッサによって参照されるプログラム等と、車載機器情報１５２が格納される。車載機器情報１５２は、車両Ｍに搭載されている車載機器ＶＥ（の一覧）を示す情報であり、車載機器ＶＥが、影響車載機器ＥＶＥであるか非影響車載機器ＮＶＥであるかを示す情報である。

取得部１２２は、マイク１０６から音声データを取得したり、他の情報を取得したりする。

音声合成部１２４は、エージェント側通信部１０２がサーバ装置２００から受信したデータ（後述するエージェントデータ）に音声制御内容が含まれる場合に、音声制御として発話によって指示（つまり、音声指示）された音声データに基づいて、人工的な合成音声（以下、エージェント音声と称する）を生成する。

出力制御部１２６は、音声合成部１２４によってエージェント音声が生成されると、そのエージェント音声をスピーカ１０８に出力させる。また、出力制御部１２６は、エージェントデータに画像制御内容が含まれる場合に、画像制御として指示された画像データを表示部１１０に表示させる。また、出力制御部１２６は、音声データの認識結果（フレーズ等のテキストデータ）の画像を表示部１１０に表示させてもよい。

通信制御部１２８は、エージェント側通信部１０２を介して、取得部１２２によって取得された音声データをサーバ装置２００に送信する。

特定部１３０は、エージェントデータに車載機器制御を示す情報が含まれる場合、車載機器情報１５２に基づいて、車載機器制御が行われる車載機器ＶＥを特定する。特定部１３０は、例えば、意味情報に含まれる車載機器ＶＥ名を検索キーとして車載機器情報１５２を検索し、車載機器ＶＥを特定する。

判定部１３２は、車載機器情報１５２に基づいて、特定部１３０によって特定された車載機器ＶＥが、影響車載機器ＥＶＥであるか否かを判定する。

車載機器制御部１３４は、判定部１３２によって車載機器制御内容によって動作が指示される車載機器ＶＥが、影響車載機器ＥＶＥではない（つまり、非影響車載機器ＮＶＥ）であると判定された場合、車載機器制御内容に基づいて、非影響車載機器ＮＶＥの動作を制御する。車載機器制御部１３４は、車載機器ＶＥが影響車載機器ＥＶＥであると判定された場合、車載機器制御内容に示される制御を実行することについて、乗員が同意したことを示す入力が第１汎用スイッチ１１２によって受け付けられたか否かを判定する。車載機器制御部１３４は、第１汎用スイッチ１１２によって乗員が同意したことを示す入力が受け付けられた場合、車載機器制御内容に基づいて、影響車載機器ＥＶＥの動作を制御する。

なお、車両Ｍは、更にインストルメントパネルＩＰの中央や、後席用のマイク１０６Ｄ、及びマイク１０６Ｅ近傍に、第１汎用スイッチ１１２以外の他のスイッチである第２汎用スイッチ１１３を備えて、判定部１３２によって車載機器制御内容によって動作が指示される車載機器ＶＥが、所定のグループに属する車載機器でない（つまり、非影響車載機器ＮＶＥ；又は運転者以外でも許容されている操作に対応する車載機器である）と判定された場合、車載機器制御部１３４は、車載機器制御内容に基づいて、非影響車載機器ＮＶＥの制御内容の実行について、乗員が同意したことを、上述のインストルメントパネルＩＰの中央や、後席用のマイク１０６Ｄ、及びマイク１０６Ｅ近傍に備えられた第２汎用スイッチ１１３で受け付けてもかまわない。その際は、第２汎用スイッチ１１３によって乗員が同意したことを示す入力が受け付けられた場合、車載機器制御内容に基づいて、非影響車載機器ＮＶＥ（又は運転者以外でも許容されている操作に対応する車載機器）の動作を制御する。

ここで、音声合成部１２４は、判定部１３２が車載機器制御内容によって動作が指示される車載機器ＶＥが、影響車載機器ＥＶＥであると判定した場合、車載機器制御内容に示される制御を実行してもよいかを問い合わせつつ、実行に同意する場合には第１汎用スイッチ１１２を操作（例えば、押下）することを促す音声を生成する。出力制御部１２６は、音声合成部１２４によって生成された第１汎用スイッチ１１２を操作することを促す音声をスピーカ１０８によって出力する。また、出力制御部１２６は、判定部１３２が車載機器制御内容によって動作が指示される車載機器ＶＥが影響車載機器ＥＶＥであると判定した場合、影響車載機器ＥＶＥに対して車載機器制御内容に示される指示を実行してもよいかを問い合わせつつ、同意する場合には第１汎用スイッチ１１２を操作（例えば、押下）することを促す画像（以下、同意促進画像）を表示部１１０に表示させる。

図５は、運転席のリクライニング機構（つまり、影響車載機器ＥＶＥ）に係る同意促進画像ＩＭ１の一例を示す図である。同意促進画像ＩＭ１には、例えば、運転席のリクライニング機構に対して、車載機器制御内容に示される指示（この場合、リクライニング）を実行してもよいかを問い合わせるメッセージＭＳと、第１汎用スイッチ１１２に対する同意を示す操作の方法を示す画像（図示する画像ＩＭ２）とが含まれる。メッセージＭＳは、例えば、「運転席をリクライニングしてもいいですか？よろしければ汎用スイッチを押してください。」等のメッセージである。

［サーバ装置の構成］
図６は、第１実施形態に係るサーバ装置２００の構成の一例を示す図である。第１実施形態に係るサーバ装置２００は、例えば、サーバ側通信部２０２と、サーバ側制御部２１０と、サーバ側記憶部２３０とを備える。

サーバ側通信部２０２は、ＮＩＣ等の通信インターフェースを含む。サーバ側通信部２０２は、ネットワークＮＷを介して各車両Ｍに搭載されたエージェント装置１００等と通信する。

サーバ側制御部２１０は、例えば、取得部２１２と、発話区間抽出部２１４と、音声認識部２１６と、エージェントデータ生成部２２２と、通信制御部２２４とを備える。これらの構成要素は、例えば、ＣＰＵやＧＰＵ等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めサーバ側記憶部２３０（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体（非一過性の記憶媒体）に格納されており、記憶媒体がドライブ装置に装着されることでサーバ側記憶部２３０にインストールされてもよい。

サーバ側記憶部２３０は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。サーバ側記憶部２３０には、例えば、プロセッサによって参照されるプログラムのほかに、回答情報２３４等が格納される。

図７は、回答情報２３４の内容の一例を示す図である。回答情報２３４には、例えば、意味情報に、エージェント側制御部１２０に実行させる制御内容が対応付けられている。意味情報とは、例えば、音声認識部２１６により発話内容全体から認識される意味である。制御内容には、例えば、車載機器ＶＥに対する動作の指示（制御）に関する車載機器制御や、エージェント音声を出力する音声制御、表示部１１０に表示させる画像制御等が含まれる。例えば、回答情報２３４では、「エアコンの起動」という意味情報に対して、「エアコンを起動させる」車載機器制御と、「エアコンを起動しました」という音声制御と、車室内温度及び設定温度を表示する表示制御とが対応付けられている。なお、車載機器制御内容が、影響車載機器ＥＶＥに関するものである場合、第１汎用スイッチ１１２によって乗員の同意が得られていない場合には、制御を実行できないため、影響車載機器ＥＶＥの意味情報に対しては、音声情報や表示制御が対応付けられていない。

図６に戻り、取得部２１２は、サーバ側通信部２０２を介して、エージェント装置１００から、音声データを取得する。

発話区間抽出部２１４は、取得部１２２によって取得された音声データから、乗員が発話している期間（以下、発話区間と称する）を抽出する。例えば、発話区間抽出部２１４は、零交差法を利用して、音声データに含まれる音声信号の振幅に基づいて発話区間を抽出してよい。また、発話区間抽出部２１４は、混合ガウス分布モデル（ＧＭＭ；Gaussian mixture model）に基づいて、音声データから発話区間を抽出してもよいし、発話区間特有の音声信号をテンプレート化したデータベースとテンプレートマッチング処理を行うことで、音声データから発話区間を抽出してもよい。

音声認識部２１６は、発話区間抽出部２１４によって抽出された発話区間ごとに音声データを認識し、認識した音声データをテキスト化することで、発話内容を含むテキストデータを生成する。例えば、音声認識部２１６は、発話区間の音声信号を、低周波数や高周波数等の複数の周波数帯に分離し、分類した各音声信号をフーリエ変換することで、スペクトログラムを生成する。音声認識部２１６は、生成したスペクトログラムを、再帰的ニューラルネットワークに入力することで、スペクトログラムから文字列を得る。再帰的ニューラルネットワークは、例えば、学習用の音声から生成したスペクトログラムに対して、その学習用の音声に対応した既知の文字列が教師ラベルとして対応付けられた教師データを利用することで、予め学習されていてよい。そして、音声認識部２１６は、再帰的ニューラルネットワークから得た文字列のデータを、テキストデータとして出力する。

また、音声認識部２１６は、自然言語のテキストデータの構文解析を行って、テキストデータを形態素に分け、各形態素からテキストデータに含まれる文言を認識する。

エージェントデータ生成部２２２は、音声認識部２１６により認識された発話内容の意味に基づいて、回答情報２３４の意味情報を参照し、合致する意味情報に対応付けられた制御内容を取得する。なお、認識結果として、「エアコンをつけて」、「エアコンの電源を入れてください」等の意味が認識された場合、エージェントデータ生成部２２２は、上述の意味を標準文字情報「エアコンの起動」や、標準コマンド情報「TURN_AC_ON」等に置き換える。これにより、発話内容の要求に文字揺らぎがあった場合にも要求にあった制御内容を取得し易くすることができる。

また、エージェントデータ生成部２２２は、取得した制御内容（例えば、車載機器制御、音声制御、または表示制御のうち少なくとも一つ）に対応する処理を実行させるためのエージェントデータを生成する。

通信制御部２２４は、エージェントデータ生成部２２２により生成されたエージェントデータを、サーバ側通信部２０２を介して車両Ｍに送信する。これにより、車両Ｍは、エージェント側制御部１２０によって、エージェントデータに対応する制御が実行される。

［影響車載機器ＥＶＥに係る車載機器制御を示す情報の受信時のタイミングチャート］
図８は、影響車載機器ＥＶＥに係る車載機器制御を示す情報を受信した場面のタイミングチャートの一例を示す図である。図８において、各軸（図示する軸ＡＸ１〜ＡＸ４）は、時間経過を示し、軸ＡＸ１には、車両Ｍの乗員の行動が示され、軸ＡＸ２には、スピーカ１０８の動作が示され、軸ＡＸ３には、表示部１１０の動作が示され、軸ＡＸ４には、第１汎用スイッチ１１２の状態が示される。

まず、時刻ｔ１〜ｔ２において、乗員が、「運転席をリクライニングして」という発話を行う（図示する、事象ＥＶ１）。事象ＥＶ１が発生したことに応じて、取得部１２２は、マイク１０６によって収音された発話音声を音声データとして取得し、通信制御部１２８は、エージェント側通信部１０２を介して取得部１２２によって取得された音声データをサーバ装置２００に送信する。音声認識部２１６では、取得部１２２によって取得された音声データの発話内容を特定し、音声データの意味情報、及び車載機器制御が「運転席をリクライニング」であることが認識する。また、サーバ装置２００は、「運転席をリクライニング」することを示す車載機器制御を示す情報を含めたエージェントデータをエージェント装置１００に送信する。

判定部１３２は、サーバ装置２００からエージェントデータを受信し、エージェントデータに含まれる車載機器制御を示す情報が、影響車載機器ＥＶＥに係るものであるか否かを判定する。音声合成部１２４は、判定部１３２によって車載機器制御に示される車載機器ＶＥが、影響車載機器ＥＶＥ（この一例では、運転席のリクライニング機構）であると判定された場合、「運転席をリクライニングしてもよいですか？よろしければ汎用スイッチを押してください。」等の音声を生成する。出力制御部１２６は、時刻ｔ３において、音声合成部１２４によって生成された音声をスピーカ１０８によって出力する（図示する事象ＥＶ２）。また、出力制御部１２６は、時刻ｔ３において、判定部１３２によって車載機器制御に示される車載機器ＶＥが、影響車載機器ＥＶＥ（この一例では、運転席のリクライニング機構）であると判定された場合、運転席をリクライニングしてもよいかを問い合わせつつ、同意する場合には第１汎用スイッチ１１２を操作することを促す同意促進画像を表示部１１０に表示させる（図示する事象ＥＶ３）。乗員は、事象ＥＶ２、又は事象ＥＶ３によって出力された音声と、表示された同意促進画像とのうち、一方又は双方を確認し、「運転席をリクライニング」することに同意する場合には、第１汎用スイッチ１１２を操作する。

第１汎用スイッチ１１２は、時刻ｔ３において運転席をリクライニングしてもよいかの問合せが開始されてから、所定の時間（例えば、数十［秒］〜数［分］）内は、入力を受け付ける受付状態となる（図示する事象ＥＶ４）。車載機器制御部１３４は、所定の時間内である時刻ｔ４に、第１汎用スイッチ１１２によって同意を示す入力が受け付けられたため、運転席のリクライニング機構に対して、運転席のリクライニングに係る制御を指示する。

［処理フロー］
次に、第１実施形態に係るエージェントシステム１の処理の流れについてフローチャートを用いて説明する。なお、以下では、エージェント装置１００の処理と、サーバ装置２００との処理を分けて説明するものとする。また、以下に示す処理の流れは、所定のタイミングで繰り返し実行されてよい。所定のタイミングとは、例えば、音声データからエージェント装置を起動させる特定ワード（例えば、ウェイクアップワード）が抽出されたタイミングや、車両Ｍに搭載される各種スイッチのうち、エージェント装置１００を起動させるスイッチの選択を受け付けたタイミング等である。

図９は、第１実施形態に係るエージェント装置１００の一連の処理の流れを示すフローチャートである。まず、エージェント側制御部１２０の取得部１２２は、ウェイクアップワードが認識された後、又は、エージェント装置を起動させるスイッチが押された後に、マイク１０６によって乗員の音声データが収集されたか否かを判定する（ステップＳ１００）。取得部１２２は、乗員の音声データが収集されるまでの間、待機する。次に、通信制御部１２８は、エージェント側通信部１０２を介して、音声データをサーバ装置２００に送信する（ステップＳ１０２）。次に、通信制御部１２８は、サーバ装置２００からエージェントデータを受信する（ステップＳ３０４）。

特定部１３０は、受信したエージェントデータに制御内容が含まれる場合、車載機器情報１５２に基づいて、制御が行われる車載機器ＶＥを特定する（ステップＳ３０６）。判定部１３２は、特定部１３０によって特定された車載機器ＶＥが、影響車載機器ＥＶＥであるか否かを判定する（ステップＳ３０８）。車載機器制御部１３４は、判定部１３２によって車載機器制御の車載機器ＶＥが影響車載機器ＥＶＥではない（つまり、非影響車載機器ＮＶＥ）であると判定された場合、エージェントデータに示される制御（例えば、音声制御や、表示制御）を非影響車載機器ＮＶＥ（スピーカ１０８や表示部１１０）に実行させる（ステップＳ３１０）。

出力制御部１２６は、判定部１３２によって車載機器ＶＥが影響車載機器ＥＶＥであると判定された場合、音声合成部１２４によって生成された乗員の同意を求める音声データをスピーカ１０８に出力させたり、同意促進画像を表示部１１０に表示させたりすることにより、制御の実行について乗員に同意を求める（ステップＳ３１２）。車載機器制御部１３４は、第１汎用スイッチ１１２によって同意を示す入力が受け付けられたか否かを判定する（ステップＳ３１４）。車載機器制御部１３４は、同意が受け付けられた場合、エージェントデータに示される車載機器制御を影響車載機器ＥＶＥに実行する（ステップＳ１１０）。車載機器制御部１３４は、所定の時間内に、第１汎用スイッチ１１２によって同意を示す入力が受け付けられなかった場合、エージェントデータに示される車載機器制御を実行せず、処理を終了する（ステップＳ３１６）。

図１０は、第１実施形態に係るサーバ装置２００の一例の処理の流れを示すフローチャートである。まず、サーバ側通信部２０２は、エージェント装置１００から音声データを取得する（ステップＳ２００）。次に、発話区間抽出部２１４は、音声データに含まれる発話区間を抽出する（ステップＳ２０２）。次に、音声認識部２１６は、抽出された発話区間における音声データから、発話内容を認識する。具体的には、音声認識部２１６は、音声データをテキストデータにして、最終的にはテキストデータに含まれる文言を認識する（ステップＳ２０４）。エージェントデータ生成部２２２は、発話内容全体の意味に基づくエージェントデータを生成する（ステップＳ２０６）。次に、サーバ側制御部２１０の通信制御部２２４は、サーバ側通信部２０２を介して、エージェントデータをエージェント装置１００に送信する（ステップＳ２０８）。これにより、本フローチャートの処理は、終了する。

［同意を促す音声制御、及び表示制御の他の例］
なお、上述では、車載機器制御が影響車載機器ＥＶＥに対するものである場合、音声合成部１２４が、車載機器制御を実行してもよいかを問い合わせつつ、乗員の同意を促す音声を生成する場合について説明したが、これに限られない。例えば、回答情報２３４は、影響車載機器ＥＶＥに係る制御内容として、予め、車載機器制御を実行してもよいかを問い合わせつつ、乗員の同意を促す音声制御が対応付けられた情報であってもよい。同様に、回答情報２３４は、影響車載機器ＥＶＥに係る制御内容として、予め、同意促進画像を表示する表示制御が対応付けられた情報であってもよい。この場合、音声合成部１２４や、出力制御部１２６は、エージェントデータに示される音声制御や表示制御を実行する。

以上説明した第１実施形態のエージェントシステム１によれば、車載機器ＶＥの制御に係るユーザ（乗員）の発話内容を誤認識した場合、或いは車載機器ＶＥの制御に係るユーザの発話が誤りである場合であっても、誤認識に応じて車載機器ＶＥが動作することを抑制し、車両Ｍの安全性を保ちつつ、乗員に車載機器ＶＥの動作を簡便に指示させることができる。

＜第２実施形態＞
上述した第１実施形態では、車両Ｍに搭載されたエージェント装置１００と、サーバ装置２００とが互いに異なる装置であるものとして説明したがこれに限定されるものではない。例えば、エージェント機能に係るサーバ装置２００の構成要素は、エージェント装置１００の構成要素に含まれてもよい。この場合、サーバ装置２００は、エージェント装置１００のエージェント側制御部１２０によって仮想的に実現される仮想マシンとして機能させてもよい。以下、サーバ装置２００の構成要素を含むエージェント装置１００Ａを第２実施形態として説明する。この場合、エージェント装置１００Ａが「エージェントシステム」の一例である。なお、第２実施形態において、上述した第１実施形態と同様の構成要素については、同様の符号を付するものとし、ここでの具体的な説明は省略する。

図１１は、第２実施形態に係るエージェント装置１００Ａの一例を示す図である。エージェント装置１００Ａは、例えば、エージェント側通信部１０２と、マイク１０６と、スピーカ１０８と、表示部１１０と、第１汎用スイッチ１１２と、第２汎用スイッチ１１３と、エージェント側制御部１２０Ａと、エージェント側記憶部１５０Ａとを備える。エージェント側制御部１２０Ａは、例えば、取得部１２２と、音声合成部１２４と、出力制御部１２６と、通信制御部１２８と、判定部１３２と、車載機器制御部１３４と、発話区間抽出部２１４Ａと、音声認識部２１６Ａと、エージェントデータ生成部２２２Ａとを備える。

また、エージェント側記憶部１５０Ａは、例えば、プロセッサによって参照されるプログラムのほかに、車載機器情報１５２、回答情報２３４Ａ等が格納される。回答情報２３４Ａは、サーバ装置２００から取得した最新の情報によって更新されてもよい。

［処理フロー］
図１２は、第２実施形態に係るエージェント装置１００Ａの一連の処理の流れを示すフローチャートである。また、以下に示す処理の流れは、第１実施形態における処理の流れと同様に所定のタイミングで繰り返し実行されてよい。まず、エージェント側制御部１２０の取得部１２２は、マイク１０６によって乗員の音声データが収集されたか否かを判定する（ステップＳ４００）。取得部１２２は、乗員の音声データが収集されるまでの間、待機する。次に、発話区間抽出部２１４は、音声データに含まれる発話区間を抽出する（ステップＳ４０２）。次に、音声認識部２１６は、抽出された発話区間における音声データから、発話内容を認識する。具体的には、音声データをテキストデータにして、最終的にはテキストデータに含まれる文言を認識する（ステップＳ４０４）。エージェントデータ生成部２２２は、発話内容全体の意味に基づくエージェントデータを生成する（ステップＳ４０６）。

特定部１３０は、受信したエージェントデータに制御内容が含まれる場合、車載機器情報１５２に基づいて、制御が行われる車載機器ＶＥを特定する（ステップＳ４０８）。判定部１３２は、特定部１３０によって特定された車載機器ＶＥが、影響車載機器ＥＶＥであるか否かを判定する（ステップＳ４１０）。車載機器制御の車載機器ＶＥが影響車載機器ＥＶＥではない（つまり、非影響車載機器ＮＶＥである）と判定部１３２により判定された場合、車載機器制御部１３４は、エージェントデータに示される制御（例えば、音声制御や、表示制御）を非影響車載機器ＮＶＥ（スピーカ１０８や表示部１１０等）に実行させる（ステップＳ４１２）。

出力制御部１２６は、判定部１３２によって車載機器制御の車載機器ＶＥが影響車載機器ＥＶＥであると判定された場合、音声合成部１２４によって生成された影響車載機器ＥＶＥに対する制御を実行することについて同意を求める音声データをスピーカ１０８に出力させ、同意促進画像を表示部１１０に表示させることにより、制御の実行について乗員に同意を求める（ステップＳ４１４）。車載機器制御部１３４は、第１汎用スイッチ１１２によって同意を示す入力が受け付けられたか否かを判定する（ステップＳ４１６）。車載機器制御部１３４は、同意が受け付けられた場合、エージェントデータに示される車載機器制御を影響車載機器ＥＶＥに実行させる（ステップＳ４１２）。車載機器制御部１３４は、所定の時間内に、第１汎用スイッチ１１２によって同意を示す入力が受け付けられなかった場合、エージェントデータに示される車載機器制御を実行せず、処理を終了する（ステップＳ４１８）。

以上説明した第２実施形態のエージェント装置１００Ａによれば、第１実施形態と同様の効果を奏する他、乗員からの音声を取得するたびに、ネットワークＮＷを介してサーバ装置２００との通信を行う必要がないため、より迅速に発話内容を認識することができる。また、車両Ｍがサーバ装置２００と通信できない状態であっても、エージェントデータを生成して、乗員に情報を提供することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、上述した実施形態では、一例として、車両が四輪自動車であるものとして説明したがこれに限定されるものではない。例えば、車両は、二輪自動車や運送トラック等の他の車両であってもよい。また、車両は、レンタカーやシェアカー等の車両であってもよい。この場合、例えば、複数のレンタカーや、レンタル二輪車、複数のシェアカー等にエージェント装置１００が配設されていればよい。この場合、エージェント装置１００は、乗員と対話を行うことで、エージェント装置１００を搭載する車両に初めて乗員が乗車する場合や、操作が不案内な乗員でも、音声により簡便に操作を実施させることができる。また、エージェント装置１００は、運転者以外の他の乗員でも許容されている操作について、他の乗員に操作を任せることができるので、運転者の負荷を軽減することができる。

１…エージェントシステム、１００、１００Ａ…エージェント装置、１０２…エージェント側通信部、１０６、１０６Ａ、１０６Ｂ、１０６Ｃ、１０６Ｄ、１０６Ｅ…マイク、１０８、１０８Ａ、１０８Ｂ、１０８Ｃ、１０８Ｄ、１０８Ｅ…スピーカ、１１０、１１０Ａ、１１０Ｂ、１１０Ｃ…表示部、１１２…汎用スイッチ、１２０、１２０Ａ…エージェント側制御部、１２２…取得部、１２４…音声合成部、１２６…出力制御部、１２８…通信制御部、１３０…特定部、１３２…判定部、１３４…車載機器制御部、１５０、１５０Ａ…エージェント側記憶部、１５２…車載機器情報、２００…サーバ装置、２０２…サーバ側通信部、２１０…サーバ側制御部、２１２…取得部、２１４、２１４Ａ…発話区間抽出部、２１６、２１６Ａ…音声認識部、２２２、２２２Ａ…エージェントデータ生成部、２２４…通信制御部、２３０…サーバ側記憶部、２３４、２３４Ａ…回答情報、ＶＥ…車載機器、ＮＶＥ…非影響車載機器、ＥＶＥ…影響車載機器、Ｍ…車両

Claims (10)

1. 車両に搭乗する乗員の発話内容を含む音声を取得する取得部と、
   前記車両に搭載され、スピーカおよび表示部を含む車載機器の動作を制御する車載機器制御部と、
   前記取得部により取得された前記車両の乗員が発話内容を含む音声を認識する音声認識部と、
   前記音声認識部により認識された前記乗員の音声によって動作が指示される前記車載機器を特定する特定部と、
   特定された前記車載機器が、所定のグループに属する車載機器であるか否かを判定する判定部と、
   汎用スイッチと、を備え、
   前記車載機器制御部は、前記指示を受ける車載機器が前記所定のグループに属する車載機器であると前記判定部により判定された場合、前記スピーカ、又は、前記表示部により、前記所定のグループに属する車載機器が前記指示に対応する動作を実行してもよいかを問い合わせる音声、及び、前記所定のグループに属する車載機器における前記動作を実行についての同意を促す同意促進画像のうち少なくとも一方を出力させつつ、前記指示を実行することに前記乗員が同意したことを示す入力が前記汎用スイッチにより受け付けられた場合、前記指示を受ける前記車載機器の動作を制御する、
   車載機器制御システム。
2. 前記所定のグループに属する車載機器は、前記車両の挙動に影響する車載機器である、
   請求項１に記載の車載機器制御システム。
3. 前記所定のグループに属する車載機器は、前記車両における運転者にのみ許容されている操作に対応する車載機器である、
   請求項１に記載の車載機器制御システム。
4. 前記汎用スイッチは、前記同意したことを示す入力を含む、音声指示に関する所定の入力を受け付ける場面以外では、他の用途に使用され得るスイッチである、
   請求項１に記載の車載機器制御システム。
5. 前記音声認識部は、音声の受付を開始することを示す入力が前記汎用スイッチにより受け付けられた場合、前記取得部であるマイクにより収集された前記乗員の発話内容を含む音声の認識を開始する、
   請求項４に記載の車載機器制御システム。
6. 前記汎用スイッチは、ステアリングホイールに設けられている、
   請求項１又は請求項５に記載の車載機器制御システム。
7. 前記車載機器制御システムは、更に、
   前記指示を受ける前記車載機器が、前記所定のグループに属する車載機器以外のものであると判定された際、前記車載機器制御部に、前記所定のグループ以外のグループに属する車載機器の動作を制御させるスイッチを備える、
   請求項１から請求項６のうちいずれか一項に記載の車載機器制御システム。
8. 車両に搭乗する乗員の発話内容を含む音声を取得する取得部と、
   前記車両に搭載され、スピーカおよび表示部を含む車載機器の動作を制御する車載機器制御部と、
   前記取得部により取得された前記乗員の発話内容を含む音声を認識する音声認識部と、
   前記音声認識部により認識された前記乗員の音声によって動作が指示される前記車載機器を特定する特定部と、
   特定された前記車載機器が、所定のグループに属する車載機器であるか否かを判定する判定部と、
   汎用スイッチと、を備え、
   前記車載機器制御部は、前記指示を受ける車載機器が前記所定のグループに属する車載機器であると前記判定部により判定された場合、前記スピーカ、又は、前記表示部により、所定のグループに属する車載機器が前記指示に対応する動作を実行してもよいかを問い合わせる音声、及び、前記所定のグループに属する車載機器における前記動作を実行についての同意を促す同意促進画像のうち少なくとも一方を出力させつつ、前記指示を実行することに前記乗員が同意したことを示す入力が前記汎用スイッチにより受け付けられた場合、前記指示を受ける前記車載機器の動作を制御する、
   車載機器制御装置。
9. 車両の乗員の発話内容を含む音声を取得する取得部と、汎用スイッチとを備える車載機器制御システムにおける単一または複数のコンピュータが、
   前記乗員の発話内容を含む音声を認識するステップと、
   認識された前記乗員の音声によって動作が指示される車載機器を特定するステップと、
   特定された前記車載機器が、所定のグループに属する車載機器であるか否かを判定するステップと、
   前記指示を受ける前記車載機器が前記所定のグループに属する車載機器であると判定された場合、前記所定のグループに属する車載機器が前記指示に対応する動作を実行してもよいかを問い合わせる音声、及び、所定のグループに属する車載機器における前記動作を実行についての同意を促す同意促進画像のうち少なくとも一方を、スピーカまたは表示部により出力させるステップと、
   その際に、前記指示を実行することに前記乗員が同意したことを示す入力が前記汎用スイッチによって受け付けられた場合、前記指示を受けた前記車載機器の動作を制御するステップとを有する、
   車載機器制御方法。
10. 車両の乗員の発話内容を含む音声を取得する取得部と、汎用スイッチとを備える車載機器制御システムにおける単一または複数のコンピュータにインストールされ、
    前記乗員の発話内容を含む音声を認識する処理と、
    認識された前記乗員の音声により動作が指示される車載機器を特定する処理と、
    特定された前記車載機器が、所定のグループに属する車載機器であるか否かを判定する処理と、
    前記指示を受ける前記車載機器が、前記所定のグループに属する車載機器であると判定された場合、前記所定のグループに属する車載機器が前記指示に対応する動作を実行してもよいかを問い合わせる音声、及び、前記所定のグループに属する車載機器における前記動作を実行についての同意を促す同意促進画像のうち少なくとも一方を、スピーカまたは表示部により出力させる処理と、その際に、前記指示を実行することに前記乗員が同意したことを示す入力が前記汎用スイッチによって受け付けられた場合、前記指示を受けた前記車載機器の動作を制御する処理と、
    を含むコンピュータに実行させるプログラム。

Images