JP2021105769A - 車載装置及び応答出力制御方法 - Google Patents

Abstract

【課題】乗員からの指示に対する応答出力を適正化する。【解決手段】車載装置において、車内における乗員の中から会話に参加している乗員を検出する会話検出部と、車内の何れかの乗員から受けた指示に対する応答を乗員ごとに出力可能な応答出力部と、を備え、応答出力部は、各乗員の会話への参加状態に応じて応答の出力対象者を決定し、応答の出力対象者に対して応答を出力する。例えば、会話の参加者の一人（ＰＳ［１］）から指示（ＣＭＤ）を受けた場合、会話の参加者全員（ＰＳ［１］及びＰＳ［２］）に応答（ＲＥＳ）を出力する一方、会話の非参加者（ＰＳ［３］〜ＰＳ［６］）には応答を出力しない。【選択図】図５

Description

本発明は、車載装置及び応答出力制御方法に関する。

或る種の車載装置では、乗員からの指示を受け付け、指示に対する応答を乗員に対して出力する機能が設けられている。例えば、乗員が何らかの情報（目的の店舗の所在地や開店時間等）を求める指示を出したとき、車載装置は、乗員が求める情報を含む応答通知を音声出力により提示する。

特開２０１５−７１３２０号公報

上記の機能において、車内の全乗員に対し車載装置からの応答を出力することが考えられる。しかしながら、一部の乗員にとっては応答出力（例えば指示で求められた情報の音声による通知）が不要であることもあり、一律の応答出力が煩わしく感じられるおそれもある。

また、指示を出した乗員にのみ応答を出力するといった方法も考えられるが、それが最適な方法であるとは言えず、利便性の向上に向け、改善の余地がある。

本発明は、指示に対する応答出力の適正化に寄与する車載装置及び応答出力制御方法を提供することを目的とする。

本発明に係る車載装置は、車両に搭載される車載装置において、車内における乗員の中から会話に参加している乗員を検出する会話検出部と、車内の何れかの乗員から受けた指示に対する応答を乗員ごとに出力可能な応答出力部と、を備え、前記応答出力部は、各乗員の会話への参加状態に応じて前記応答の出力対象者を決定し、前記応答の出力対象者に対して前記応答を出力する構成（第１の構成）である。

上記第１の構成に係る車載装置において、前記指示が会話に参加している何れかの乗員から受けたものである場合、前記応答出力部は、会話に参加している各乗員に対して前記応答を出力し、会話に参加してない乗員に対して前記応答を非出力とする構成（第２の構成）であっても良い。

上記第２の構成に係る車載装置に関し、前記指示が会話に参加している何れかの乗員から受けたものである場合において、会話に参加してない乗員の内、特定の乗員に関連付けられた情報が前記指示又は前記応答に含まれるとき、前記応答出力部は、前記応答の出力対象者に前記特定の乗員を含める構成（第３の構成）であっても良い。

上記第２又は第３の構成に係る車載装置において、前記指示が会話に参加している何れかの乗員から受けたものである場合において、会話に参加していない乗員の何れかから特定の発話があったとき、前記応答出力部は、前記特定の発話を行った乗員を前記応答の出力対象者に含める構成（第４の構成）であっても良い。

上記第１〜第３の構成の何れかに係る車載装置において、前記指示が会話に参加していない何れかの乗員から受けたものである場合、前記応答出力部は、前記指示を出した乗員に対して又は会話に参加していない各乗員に対して前記応答を出力し、会話に参加している乗員に対して前記応答を非出力とする構成（第５の構成）であっても良い。

上記第５の構成に係る車載装置に関し、会話に参加していない第１乗員から前記指示を受けた場合において、前記第１乗員と異なる第２乗員に関連付けられた情報が前記指示又は前記応答に含まれるとき、前記応答出力部は、前記応答の出力対象者に前記第２乗員を含める構成（第６の構成）であっても良い。

上記第５の構成に係る車載装置に関し、会話に参加していない第１乗員から前記指示を受けた場合において、前記第１乗員と異なる第２乗員から特定の発話があったとき、前記応答出力部は、前記特定の発話を行った乗員を前記応答の出力対象者に含める構成（第７の構成）であっても良い。

上記第１〜第７の構成の何れかに係る車載装置において、前記応答出力部は、前記指示において求められている情報を前記応答の内容に含める構成（第８の構成）であっても良い。

上記第１〜第８の構成の何れかに係る車載装置において、前記会話検出部は、車内における乗員ごとの発話内容を収音可能な収音部の出力音声信号に基づき、会話に参加している乗員を検出する構成（第９の構成）であっても良い。

上記第９の構成に係る車載装置において、前記会話検出部は、前記出力音声信号と、車内における各乗員を撮影するカメラ部の出力画像信号とに基づき、会話に参加している乗員を検出する構成（第１０の構成）であっても良い。

本発明に係る応答出力制御方法は、車両に搭載される車載装置にて用いられる応答出力制御方法において、車内における乗員の中から会話に参加している乗員を検出する会話検出ステップと、車内の何れかの乗員から受けた指示に対する応答を乗員ごとに出力可能な応答出力ステップと、を備え、前記応答出力ステップでは、各乗員の会話への参加状態に応じて前記応答の出力対象者を決定し、前記応答の出力対象者に対して前記応答を出力する構成（第１１の構成）である。

本発明によれば、指示に対する応答出力の適正化に寄与する車載装置及び応答出力制御方法を提供することが可能となる。

本発明の実施形態に係り、車内の様子を概略的に示した図である。 本発明の実施形態に係り、車内に６人の乗員が搭乗している様子を示す図である。 本発明の実施形態に係る車載システムの構成図である。 本発明の実施形態に係り、乗員からの指示に基づく車載装置の動作のフローチャートである。 本発明の実施形態に属する実施例ＥＸ＿Ａ１に係り、会話の参加状態と指示に対する応答方法を示す図である。 本発明の実施形態に属する実施例ＥＸ＿Ａ２に係り、会話の参加状態と指示に対する応答方法を示す図である。 本発明の実施形態に属する実施例ＥＸ＿Ａ３に係り、会話の参加状態と指示に対する応答方法を示す図である。 本発明の実施形態に属する実施例ＥＸ＿Ｂ１に係り、会話の参加状態と指示に対する応答方法を示す図である。 本発明の実施形態に属する実施例ＥＸ＿Ｂ１に係り、会話の参加状態と指示に対する応答方法を示す図である。 本発明の実施形態に属する実施例ＥＸ＿Ｂ２に係り、会話の参加状態と指示に対する応答方法を示す図である。 本発明の実施形態に属する実施例ＥＸ＿Ｂ２に係り、会話の参加状態と指示に対する応答方法を示す図である。 本発明の実施形態に属する実施例ＥＸ＿Ｂ３に係り、会話の参加状態と指示に対する応答方法を示す図である。 本発明の実施形態に属する実施例ＥＸ＿Ｃに係り、会話の参加状態と指示に対する応答方法を示す図である。

以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量又は部材等を参照する記号又は符号を記すことによって、該記号又は符号に対応する情報、信号、物理量又は部材等の名称を省略又は略記することがある。例えば、後述の“２１”によって参照される個人識別用情報は（図３参照）、個人識別用情報２１と表記されることもあるし、情報２１と略記されることもあり得るが、それらは全て同じものを指す。

図１は本実施形態に係る車内の様子を概略的に示した図である。車内とは車両ＣＲの車室内を指す。本実施形態に係る車載装置１は車両ＣＲに設置される。車両ＣＲは路面上を走行可能な車両（自動車等）であれば任意である。車両ＣＲの運転席からステアリングホイールに向かう向きを「前方」と定義し、車両ＣＲのステアリングから運転席に向かう向きを「後方」と定義する。前後方向に直交し且つ路面に平行な方向を左右方向と定義する。車載装置１は、車両ＣＲの運転席の前方など、車両ＣＲ内の適所に設置される。

車両ＣＲに最大でｎ人の乗員が搭乗することができ、車両ＣＲにはｎ人の乗員が着席可能な座席が設けられる。本実施形態において、乗員とは、特に記述なき限り、車両ＣＲに搭乗している乗員を指す。ｎは３以上の任意の整数であって良いが、本実施形態では特に断りなき限り、“ｎ＝６”であるとし、車内に６つの座席ＳＴ［１］〜ＳＴ［６］が設置されているものとする。座席ＳＴ［１］は、車両ＣＲの運転操作を行うドライバ（運転手）が着席すべき運転席である。ドライバは前を向いて座席ＳＴ［１］に座っているものとし、ドライバから見て座席ＳＴ［１］の左側に助手席に相当する座席ＳＴ［２］が設置される。ドライバから見て座席ＳＴ［１］の後方に座席ＳＴ［３］〜ＳＴ［６］が設置される。座席ＳＴ［３］及びＳＴ［４］は車両ＣＲの左右方向に沿って並んでおり、座席ＳＴ［５］及びＳＴ［６］も車両ＣＲの左右方向に沿って並んでいる。座席ＳＴ［１］及びＳＴ［５］間の中間に座席ＳＴ［３］が位置し、座席ＳＴ［２］及びＳＴ［６］間の中間に座席ＳＴ［４］が位置する。尚、座席ＳＴ［１］〜ＳＴ［６］の内、２以上の座席は互いに分離されない１つの幅広座席により構成されていても良い。例えば、座席ＳＴ［５］及びＳＴ［６］は１つの幅広座席にて構成されていても良い。

図２を参照し、車両ＣＲに搭乗している６人の乗員を乗員ＰＳ［１］〜ＰＳ［６］と称する。乗員ＰＳ［１］〜ＰＳ［６］は、夫々、座席ＳＴ［１］〜ＳＴ［６］に着席する。但し、“ｎ＝６”であっても、車両ＣＲに実際に搭乗する乗員数は５以下であり得る。図２において、装置ＴＤ［１］〜ＴＤ［６］は、夫々、乗員ＰＳ［１］〜ＰＳ［６］が所持している端末装置を表す。各端末装置は、例えば、タブレットのような情報端末、又は、携帯電話機（スマートホンに分類されるものを含む）である。但し、各乗員が端末装置を所持していることは必ずしも必要ではなく、乗員ＰＳ［１］〜ＰＳ［６］の内、１以上の乗員は端末装置を所持していないこともある。

車内において座席ごとにマイクロホン及びスピーカが設置される。座席ＳＴ［ｉ］に対して設置されたマイクロホン及びスピーカを夫々マイクロホンＭＣ［ｉ］及びスピーカＳＰ［ｉ］と称する（ｉは任意の整数）。マイクロホンＭＣ［ｉ］及びスピーカＳＰ［ｉ］は乗員ＰＳ［ｉ］に対して割り当てられたマイクロホン及びスピーカである。各マイクロホンは、対応する乗員の発話内容を音声信号に変換して車載装置１に出力する。各スピーカは、車載装置１から提供される音声信号に基づく音を、対応する乗員に対して出力する。

上述の如く、本実施形態では、特に断りなき限り“ｎ＝６”であると考えるが、 “ｎ＝６”でない場合には、ｎの値に応じて座席数が変更される。例えば、“ｎ＝４”である場合、車内には座席ＳＴ［５］及びＳＴ［６］が存在せず、この場合、乗員ＰＳ［５］及びＰＳ［６］は存在しないと解すれば良い。

図３に本発明の実施形態に係る車載システムＳＹＳの構成図を示す。車載システムＳＹＳは、車載装置１に加えて、車内カメラ部ＣＭ、マイク部ＭＣ及びスピーカ部ＳＰと、車載センサ部２、ＧＰＳ処理部３及び計時部４と、を備える。車載装置１と、車内カメラ部ＣＭ、マイク部ＭＣ及びスピーカ部ＳＰの夫々とは、互いに直接接続されるか、或いは、車両ＣＲ内に形成されたＣＡＮ（Controller Area Network）を通じて接続される。車載装置１と車載センサ部２、ＧＰＳ処理部３及び計時部４との接続についても同様である。車載センサ部２、ＧＰＳ処理部３及び計時部４の内の全部又は一部は車載装置１の構成要素に含まれると解しても良い。車載装置１は、主制御部１０、記憶部２０、通信モジュール３０及びインターフェース部４０を備える。

車内カメラ部ＣＭは、車内に設置され、車内に視野（撮影範囲）を持つ。車内カメラ部ＣＭは、自身の視野内の様子を所定のフレームレートで順次撮影して、撮影結果を示すカメラ画像の画像信号（画像データ）を生成し、生成したカメラ画像の画像信号（以下、カメラ画像信号と称する）を順次主制御部１０に送る。車内カメラ部ＣＭは、乗員ＰＳ［１］〜ＰＳ［６］を撮影することを目的の１つとし、車内カメラ部ＣＭの視野に乗員ＰＳ［１］〜ＰＳ［６］の全身又は一部（少なくとも顔を含む）が含まれる。故に、カメラ画像信号は乗員ＰＳ［１］〜ＰＳ［６］の撮影結果を含む。車内カメラ部ＣＭは単一のカメラにて構成されることもあるし、複数のカメラにて構成されることもある。座席ごとに、対応する乗員を撮影するためのカメラを設置するようにしても良い（この場合、計６つのカメラが車内カメラ部ＣＭに含まれることになる）。

マイク部ＭＣは、乗員ごとの発話内容を収音可能な収音部であり、図１に示したマイクロホンＭＣ［１］〜ＭＣ［６］から成る。マイクロホンＭＣ［ｉ］は、対応する乗員ＰＳ［ｉ］の発話内容を収音し、収音した音を音声信号に変換して出力する。マイクロホンＭＣ［１］〜ＭＣ［６］の出力音声信号は主制御部１０に入力される。マイクロホンＭＣ［ｉ］は、対応する乗員ＰＳ［ｉ］の発話内容を効率的に収音できるよう、座席ＳＴ［ｉ］以外の各座席よりも座席ＳＴ［ｉ］に近い位置に設置される。対応する乗員の発話内容の収音に適するような指向性を各マイクロホンに持たせても良い。

スピーカ部ＳＰは図１に示したスピーカＳＰ［１］〜ＳＰ［６］から成る。スピーカＳＰ［ｉ］は、車載装置１から提供される音声信号に基づく音を、対応する乗員ＰＳ［ｉ］に対して出力する。スピーカＳＰ［ｉ］の出力音が、対応する乗員ＰＳ［ｉ］に対して聞き取りやすくなるよう且つ他の乗員に聞こえにくくなるよう、座席ＳＴ［ｉ］以外の各座席よりも座席ＳＴ［ｉ］に近い位置にスピーカＳＰ［ｉ］が設置される。対応する乗員が存在する向きに対し感度が高まるような指向性を各スピーカに持たせても良い。

尚、座席ごとのマイクロホンが車両ＣＲに設置されない場合もある。この場合においては、各乗員が所持する端末装置に内蔵されたマイクロホンにてマイク部ＭＣが構成されて良い。即ち、端末装置ＴＤ［１］〜ＴＤ［６］に内蔵されたマイクロホンをマイクロホンＭＣ［１］〜ＭＣ［６］として用いるようにしても良い。同様に、座席ごとのスピーカが車両ＣＲに設置されない場合もある。この場合においては、各乗員が所持する端末装置に内蔵されたスピーカにてスピーカ部ＳＰが構成されて良い。即ち、端末装置ＴＤ［１］〜ＴＤ［６］に内蔵されたスピーカをスピーカＳＰ［１］〜ＳＰ［６］として用いるようにしても良い。

車載装置１と端末装置ＴＤ［１］〜ＴＤ［６］の夫々とは、Ｂｌｕｅｔｏｏｔｈ（登録商標）などによる無線通信回線を介して双方向通信が可能である。端末装置ＴＤ［ｉ］に内蔵されたマイクロホンをマイクロホンＭＣ［ｉ］として用いる場合、マイクロホンＭＣ［ｉ］の出力音声信号を上記無線通信回線を介して車載装置１（主制御部１０）に送信すれば良く、端末装置ＴＤ［ｉ］に内蔵されたスピーカをスピーカＳＰ［ｉ］として用いる場合、車載装置１（主制御部１０）はスピーカＳＰ［ｉ］から出力されるべき音の音声信号を上記無線通信回線を介して端末装置ＴＤ［ｉ］に送信すれば良い。

車載センサ部２は、車両ＣＲに設置された複数の車載センサから成り、各車載センサを用いて車両情報を生成する。車両情報は所定周期で順次生成され、取得された車両情報は順次主制御部１０に送られる。車両情報は、車両ＣＲの速度を表す車速情報、車両ＣＲに設けられたアクセルペダルの踏み込み量を表すアクセル情報、車両ＣＲに設けられたブレーキペダルの踏み込み量を表すブレーキ情報、及び、車両ＣＲに設けられたステアリングホイールの操舵角を表す操舵角情報などを含む。

ＧＰＳ処理部３は、ＧＰＳ（Global Positioning System）を形成する複数のＧＰＳ衛星からの信号を受信することで車両ＣＲの位置（現在地）を検出し、検出位置を示す位置情報を生成する。車両ＣＲの位置とは車両ＣＲの存在位置を意味する。位置情報では、車両ＣＲの位置（現在地）が、地球上における経度及び緯度によって表現される。位置情報は所定周期で順次生成され、生成された位置情報は順次主制御部１０に送られる。

計時部４は、現在の日付及び時刻を示す時刻情報を生成して主制御部１０に送る。ＧＰＳ処理部３の受信信号を用いて時刻情報が生成又は修正されても良い。

主制御部１０は、エージェント処理部１１を備える他、車載装置１の各部位の動作を統括的に制御する機能を備える。主制御部１０は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read only memory）及びＲＡＭ（Random access memory）等にて構成され、ＲＯＭに格納されたプログラムをＣＰＵが実行することで、エージェント処理部１１の機能が実現されて良い。

記憶部２０は、主制御部１０の制御の下で任意の情報及びデータの読み書きを行う。ここでは、個人識別用情報２１及び個人関連情報２２が既に記憶部２０に記憶されているものとする。情報２１及び２２の詳細及び利用方法は後述される。尚、情報２１及び２２が記憶部２０に記憶されていることは必須ではない。

通信モジュール３０は、車載装置１以外の装置（例えばインターネット網に接続されたサーバ装置）と車載装置１との間で情報を送受信するための通信機能を備え、その情報の送受信は任意の無線通信回線を介して行われる。主制御部１０と端末装置ＴＤ［１］〜ＴＤ［６］との間の通信も、通信モジュール３０を介して実現されるものであっても良い。

インターフェース部４０は、車載装置１と車両ＣＲの各乗員との間のマンマシンインターフェースであり、表示部４１及び操作部４２を備える。尚、車載装置１と車両ＣＲの各乗員との間のマンマシンインターフェースの構成要素には、マイク部ＭＣ及びスピーカ部ＳＰも含まれる。表示部４１は液晶ディスプレイパネル等にて構成される表示装置であり、主制御部１０の制御の下で任意の画像を表示できる。操作部４２は操作者から任意の操作の入力を受け付ける。操作者は車両ＣＲの乗員である。表示部４１及び操作部４２によりタッチパネルが構成されていても良く、操作部４２への操作はタッチパネルに対する操作であっても良い。

車載装置１は、エージェント処理部１１によるエージェント機能に加えて、車両ＣＲの目的地までの経路を案内するナビゲーション機能、オーディオデータやビデオデータを再生する機能、テレビ放送波又はラジオ放送波を受信して受信放送波による映像又は音声を出力する機能など、各種の機能を備えていて良いが、以下では、エージェント機能に注目して、エージェント処理部１１の詳細を説明する。

エージェント処理部１１は、車両ＣＲの乗員とコミュニケーションをとったり、車両ＣＲ内の機器の操作等を自律的に行ったりするエージェント機能を実現する。エージェント処理部１１では人工知能を有する疑似人格であるソフトウェアエージェント（以下、エージェントと称する）が形成される。本実施形態において、エージェント処理部１１とエージェントは、同じものを指すと解して良い。

ここでは、エージェントと乗員との意思疎通は音声のやり取りを通じて実現されるとする。つまり、エージェント処理部１１は（換言すればエージェントは）、マイク部ＭＣを用いて乗員の発話内容を受け取り、必要に応じ、スピーカ部ＳＰを用いて乗員に対し通知すべき内容を音声にて出力する。エージェント処理部１１（換言すればエージェント）において、マイクロホンＭＣ［ｉ］の出力音声信号にて示される音声は乗員ＰＳ［ｉ］の発話による音声であると認識され、乗員ＰＳ［ｉ］に対して何らかの通知を行う際には、スピーカＳＰ［ｉ］を通じて乗員ＰＳ［ｉ］に当該通知を行う。

エージェント処理部１１は、エージェント機能を実現するための機能ブロックとして、音声認識部１２、乗員検出部１３、会話検出部１４及び応答出力部１５を備える。

音声認識部１２は、マイクロホンから出力される音声信号に基づき、乗員の発話内容を認識して文字列に変換する。これは、マイクロホンごとに（換言すれば乗員ごとに）行われる。即ち、音声認識部１２は、マイクロホンＭＣ［ｉ］の出力音声信号に基づき乗員ＰＳ［ｉ］の発話内容を認識して文字列に変換する処理を、マイクロホンＭＣ［１］〜ＭＣ［６］の夫々に対して（換言すれば乗員ＰＳ［１］〜ＰＳ［６］の夫々に対して）行う。エージェントは、変換によって得られた文字列に基づき、乗員ＰＳ［１］〜ＰＳ［６］の発話内容を個別に認識する。

乗員検出部１３は、座席ＳＴ［１］〜ＳＴ［６］に乗員が座っているのか否か等を示す乗員管理情報を検出する。乗員管理情報は、少なくとも、座席に乗員が座っているのか否かを座席ごとに示す乗員存否情報を含み、乗員ごとに乗員が誰であるのかを特定する個人特定情報を更に含みうる。

乗員管理情報の検出方法は任意である。例えば、エージェントが、乗員管理情報を得るための質問を車両ＣＲの何れかの乗員（例えばドライバ）に対して行い、その質問に対する回答内容から、乗員管理情報を検出しても良い。或いは例えば、車両ＣＲの何れかの乗員が操作部４２に対して乗員管理情報を入力することで、乗員検出部１３にて乗員管理情報が検出されても良い。

或いは例えば、乗員検出部１３は、車内カメラ部ＣＭからのカメラ画像信号に基づき乗員存否情報を検出しても良く、更には、車内カメラ部ＣＭからのカメラ画像信号に基づく個人識別処理により個人特定情報を検出しても良い。個人識別処理により個人特定情報を検出する場合には、乗員が誰であるのかを特定するために有益な個人識別用情報２１が予め記憶部２０に記憶されているものとし、個人識別用情報２１とカメラ画像信号とに基づき個人識別処理を実行する。個人識別用情報２１は、登録人物の顔の特徴データを含む。乗員検出部１３は、座席ＳＴ［ｉ］に座っている乗員ＰＳ［ｉ］の顔の画像情報を車内カメラ部ＣＭから取得し、取得した画像情報と登録人物の顔の特徴データとの照合により、乗員ＰＳ［ｉ］が登録人物と一致するか否かを判断できる。登録人物を複数設定しておけば、個人識別処理により、乗員ＰＳ［１］〜ＰＳ［６］が誰であるのかを夫々に特定することが可能である。

会話検出部１４は、何れかの乗員間で会話が行われているか否か、及び、何れかの乗員間で会話が行われている場合には会話を行っている乗員が何れの乗員であるのかを検出する会話検出処理を行う。エージェントと何れかの乗員との間でも会話が行われうるが、会話検出部１４にて注目される会話とは乗員間の会話を指し、以下で述べる会話とは、特に記述なき限り乗員間の会話を指す。尚、以下では、乗員ＰＳ［１］〜ＰＳ［６］の内、会話に参加している乗員を会話の参加者と称することがあり、会話に参加していない乗員を会話の非参加者と称することがある。会話検出処理により、乗員ＰＳ［１］〜ＰＳ［６］が会話の参加者又は会話の非参加者に個別に分類される。

会話検出部１４は、少なくともマイク部ＭＣの出力音声信号に基づいて会話検出処理を行う。即ち例えば、乗員ＰＳ［ｉ］が発話を行い、乗員ＰＳ［ｉ］の発話から所定の発話開始判定時間（例えば１０秒）内に、その発話内容に対応する発話を乗員ＰＳ［ｊ］が行っていると判断されるとき、会話検出部１４は、乗員ＰＳ［ｉ］及びＰＳ［ｊ］間で会話が行われていると判断する。ここでｉ及びｊは互いに異なる整数である。会話検出部１４は、乗員ＰＳ［ｉ］及びＰＳ［ｊ］間で会話が行われていると判断した後、所定の発話開始終了時間（例えば２０秒）内に、乗員ＰＳ［ｉ］及びＰＳ［ｊ］の何れもが発話を行わかなかったとき、乗員ＰＳ［ｉ］及びＰＳ［ｊ］間の会話が終了したと判断する。会話検出部１４は、乗員ＰＳ［ｉ］に対応するマイクロホンＭＣ［ｉ］の出力音声信号から乗員ＰＳ［ｉ］が発話を行っているか否かを判断できる。乗員ＰＳ［ｊ］についても同様である。

会話検出部１４は、マイク部ＭＣの出力音声信号に加え、車内カメラ部ＣＭからのカメラ画像信号も参照して、会話検出処理を行うようにしても良い。各乗員の外観状況を示したカメラ画像信号も利用することで、会話検出処理の精度を高めることができる。即ち例えば、会話している人間同士は顔又は体を互いに対向させ合うことが多いという知見や、各乗員の視線などに基づき、カメラ画像信号も利用して会話検出処理を行うことで、会話検出処理の精度を高めることができる。この他、公知の任意の方法（例えば、特開２０１５−７１３２０号公報又は特開２０１９−６８２３７号公報に示された方法を含む）を用いて会話検出処理を実現しても良い。

応答出力部１５は、乗員の何れかから指示を受けたとき、その指示に対応する応答を出力する。乗員からの指示は乗員の発話（換言すれば発声）により実現され、指示に対する応答はスピーカ部ＳＰを用いた音声出力にて実現される。図４を参照し、乗員の指示に応じて応答出力部１５から応答が出力される動作の流れを説明する。図４は当該動作のフローチャートである。

まずステップＳ１１において、何れか任意の乗員である乗員ＰＳ［ｉ］が指示を出す。乗員ＰＳ［ｉ］の指示は、乗員ＰＳ［ｉ］がエージェントに対する指示内容を発話することで実現される。

ステップＳ１１に続くステップＳ１２において、エージェント処理部１１により乗員ＰＳ［ｉ］からの指示を受領する。エージェント処理部１１による指示の受領とは、指示における乗員ＰＳ［ｉ］の発話内容をマイクロホンＭＣ［ｉ］の出力音声信号の受信によって受け取ることを指す。音声認識部１２を用いた文字列への変換処理もステップＳ１２の処理に含まれると解して良い。

その後、ステップＳ１３において、エージェント（応答出力部１５）は、受領した指示に対応する応答内容を作成する。例えば、乗員ＰＳ［ｉ］からの指示が何らかの情報を求める指示である場合、乗員ＰＳ［ｉ］が求める情報を応答内容に含める。

エージェントの一部の機能ブロックである応答出力部１５は、記憶部２０の記憶内容に基づいて、又は、通信モジュール３０を通じて外部装置（例えばインターネット網に接続されたサーバ装置）から取得した情報に基づいて、指示に対する応答内容を作成して良い。記憶部２０には、様々な指示に対する応答内容を作成するための情報が格納されており、その情報には、エージェントにおける人工知能が学習した内容を含む。指示の内容として様々な内容が考えられるが、単純な例として、天気予報の通知を要求する指示や、近隣のレストランの存否の通知を要求する指示が挙げられる。

天気予報の通知を要求する指示を受けたとき、応答出力部１５は、通信モジュール３０を通じて外部装置から天気予報（例えば車両ＣＲの現在地における本日及び明日の天気予報）の情報を取得し、取得した天気予報の情報を応答内容に含める。近隣のレストランの存否の通知を要求する指示を受けたとき、応答出力部１５は、記憶部２０の記憶内容に基づいて又は通信モジュール３０を通じて外部装置から取得した情報に基づいて、車両ＣＲの現在地から所定距離以内に存在するレストランを探索し、探索したレストランの種類や所在地を応答内容に含める。

また、ステップＳ１２における指示の受領後、ステップＳ１４において、エージェント（応答出力部１５）は応答対象者を設定する。図４では、ステップＳ１３の処理の後にステップＳ１４の処理が実行されるように示されているが、ステップＳ１３及びＳ１４の処理の実行順序は、その逆でも良く、ステップＳ１３及びＳ１４の処理は並列実行されても良い。

応答対象者は、応答の出力対象者であって、指示を行った乗員ＰＳ［ｉ］のみでありうるし、乗員ＰＳ［ｉ］を含む２以上の乗員でありうる。

ステップＳ１３及びＳ１４の処理の後、ステップＳ１５において、応答出力部１５は、設定した応答対象者に対し、ステップＳ１３にて作成した応答内容による応答を出力する。応答の出力とは、応答対象者に対応するスピーカを通じて、応答内容を示す音声を出力することを指す。従って例えば、応答対象者に乗員ＰＳ［１］及びＰＳ［２］が含まれる場合、応答内容を示す音声がスピーカＳＰ［１］を通じて乗員ＰＳ［１］に出力されると共にスピーカＳＰ［２］を通じて乗員ＰＳ［２］に出力される。乗員ＰＳ［１］及びＰＳ［２］以外の乗員が応答対象者に含められる場合も同様である。応答対象者に含まれない乗員に対しては応答内容を示す音声が出力されない。即ち例えば、応答対象者に乗員ＰＳ［３］が含まれない場合、スピーカＳＰ［３］から応答内容を示す音声が出力されない（つまり応答内容を示す音声がスピーカＳＰ［３］を通じて乗員ＰＳ［３］に出力されない）。乗員ＰＳ［３］以外の乗員が応答対象者に含められない場合も同様である。

エージェント処理部１１においてウェイクアップワードが設定されていても良い。この場合、任意の乗員ＰＳ［ｉ］からウェイクアップワードが発話され、ウェイクアップワードに続いて乗員ＰＳ［ｉ］から発話があったとき、ウェイクアップワードに続く発話の内容がエージェントに対する指示であるとエージェント処理部１１にて認識される。ウェイクアップワードを利用することで、乗員の或る発話が、エージェントに対する指示であるのか否かを正確に認識できる。但し、人工知能の作りによっては、ウェイクアップワードが設定されていなくとも、乗員の或る発話が、エージェントに対する指示であるのか否かを高精度に認識可能となりうる。

このように、応答出力部１５は、車内の何れかの乗員から受けた指示に対する応答を乗員ごとに出力可能となっている。この際、応答出力部１５は、各乗員の会話への参加状態に応じて応答方法を決定及び変更できるよう構成されている。具体的には、応答出力部１５は、各乗員の会話への参加状態に応じて応答対象者（即ち応答の出力対象者）を決定し、決定内容に従い応答対象者に対して応答を出力するよう構成されている。

このような構成により、会話の参加状態から情報を必要としていると判断される乗員には応答の出力により必要な情報を伝える／情報を必要としていないと判断される乗員には応答を非出力とする、といったことが可能となる。情報を必要としていない乗員に応答が出力されたとき、当該乗員は応答の出力を煩わしく感じることがあるが、上記構成により、このような煩わしさの発生が抑制される。

尚、本実施形態では、ステップＳ１１の指示として、何らかの情報を求める指示を主として想定しているが、指示の内容はこれに限定されない。例えば、ステップＳ１１の指示は、車両ＣＲに搭載されたオーディオ機器（不図示）を用いて音楽を再生することを要求する音楽再生指示であったり、車内の温度を上げる又は下げることを要求する空調指示であったりすることもある。

ステップＳ１１の指示が音楽再生指示であるとき、エージェント処理部１１は、上記オーディオ機器にて音楽が再生されるよう上記オーディオ機器を制御する。この際、ステップＳ１５で出力される応答は、例えば単に「分かりました」という文章である。ステップＳ１１の指示が上記空調指示であるとき、エージェント処理部１１は、車両ＣＲに搭載された空調機器（不図示）の制御を通じ、乗員からの指示に従う向きに車内の温度を調整する。この際にも、ステップＳ１５で出力される応答は、例えば単に「分かりました」という文章でありうる。但し、応答用の文章は様々に変形されうる。

以下、複数の実施例の中で、車載装置１の具体的な動作例、応用技術、変形技術等を説明する。本実施形態にて上述した事項は、特に記述無き限り且つ矛盾無き限り、以下の各実施例に適用され、各実施例において、上述した事項と矛盾する事項については各実施例での記載が優先されて良い。また矛盾無き限り、以下に示す複数の実施例の内、任意の実施例に記載した事項を、他の任意の実施例に適用することもできる（即ち複数の実施例の内の任意の２以上の実施例を組み合わせることも可能である）。

［実施例ＥＸ＿Ａ１］
実施例ＥＸ＿Ａ１を説明する。図５に実施例ＥＸ＿Ａ１に係る会話の参加状態と指示に対する応答方法を示す。実施例ＥＸ＿Ａ１では、状況ＳＴ１が想定される。状況ＳＴ１では、乗員ＰＳ［１］及びＰＳ［２］間でのみ会話が行われており、結果、会話検出部１４により、乗員ＰＳ［１］及びＰＳ［２］が会話の参加者であって且つ乗員ＰＳ［３］〜ＰＳ［６］が会話の非参加者であると検出されている。また、状況ＳＴ１では、乗員ＰＳ［１］及びＰＳ［２］間で会話が成されているときに、乗員ＰＳ［１］の知りたい情報が発生し、その情報を要求する指示ＣＭＤを乗員ＰＳ［１］がエージェント（車載装置１）に対して行う。

実施例ＥＸ＿Ａ１に係る応答出力部１５は、指示ＣＭＤを受けた後、指示ＣＭＤに対する応答内容を含んだ応答ＲＥＳを乗員ＰＳ［１］及びＰＳ［２］に対して出力し、応答ＲＥＳを乗員ＰＳ［３］〜ＰＳ［６］に対して出力しない。即ち、乗員ＰＳ［１］及びＰＳ［２］を応答対象者（応答ＲＥＳの出力対象者）に含め、乗員ＰＳ［３］〜ＰＳ［６］を応答対象者から除外する。

状況ＳＴ１において、指示ＣＭＤは乗員ＰＳ［１］及びＰＳ［２］間の会話の過程で乗員ＰＳ［１］に発生した要求事項を含んでいる可能性が高く、この場合、指示ＣＭＤに対する応答ＲＥＳは乗員ＰＳ［１］だけでなく乗員ＰＳ［２］も欲している可能性が高い。例えば、乗員ＰＳ［１］及びＰＳ［２］間で、プロ野球の選手について会話をしていたとき、会話の中で、或るプロ野球選手の出身高校が何れの高校であるのかが話題になったとする。この場合に、乗員ＰＳ［１］がエージェントに対し、そのプロ野球選手の出身高校を教えることを指示（ＣＭＤ）したとき、その指示に対する応答ＲＥＳは乗員ＰＳ［１］だけでなく乗員ＰＳ［２］も欲している可能性が高い。そこで、乗員ＰＳ［１］及びＰＳ［２］を応答対象者に含める。一方、会話の非参加者は応答ＲＥＳを欲していない可能性が高く（乗員ＰＳ［１］及びＰＳ［２］間の会話に無関心であった可能性が高く）、応答ＲＥＳを欲していない可能性が高い乗員に対して応答ＲＥＳを出力すると、応答ＲＥＳが煩わしく感じられることもある。そこで、会話の非参加者である乗員ＰＳ［３］〜ＰＳ［６］を応答対象者から除外する。これにより、会話の参加状態から情報を必要としていると推定される乗員には応答ＲＥＳの出力により必要な情報を伝えることができると共に、情報を必要としていないと推定される乗員には応答ＲＥＳを非出力とすることで、上記のような煩わしさの発生が抑制される。

［実施例ＥＸ＿Ａ２］
実施例ＥＸ＿Ａ２を説明する。図６に実施例ＥＸ＿Ａ２に係る会話の参加状態と指示に対する応答方法を示す。実施例ＥＸ＿Ａ２でも上述の状況ＳＴ１が想定される。このため、会話の参加者に属する乗員ＰＳ［１］からの指示ＣＭＤがエージェントにて受領され、応答ＲＥＳが応答対象者に出力されることになるが、この際、会話の非参加者に属する乗員ＰＳ［３］に関連付けられた情報が、指示ＣＭＤ又は応答ＲＥＳに含められているものとする。

そうすると、実施例ＥＸ＿Ａ２に係る応答出力部１５は、図６に示す如く、指示ＣＭＤを受けた後、指示ＣＭＤに対する応答内容を含んだ応答ＲＥＳを乗員ＰＳ［１］〜ＰＳ［３］に対して出力し、応答ＲＥＳを乗員ＰＳ［４］〜ＰＳ［６］に対して出力しない。即ち、会話の参加者である乗員ＰＳ［１］及びＰＳ［２］に加えて乗員ＰＳ［３］も応答対象者（応答ＲＥＳの出力対象者）に含める。ここでは、乗員ＰＳ［４］〜ＰＳ［６］に関連付けられた情報が指示ＣＭＤ及び応答ＲＥＳの何れにも含まれていないものとし、結果、乗員ＰＳ［４］〜ＰＳ［６］は応答対象者から除外される。但し、図６に示す状況とは異なるが、例えば、乗員ＰＳ［５］に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれているのであれば、乗員ＰＳ［５］も応答対象者に追加される。

実施例ＥＸ＿Ａ２では、乗員検出部１３により上述の個人特定情報が検出されていることを前提とし、個人関連情報２２（図３参照）が利用される。個人関連情報２２には各個人に関連付けられた情報が登録されており、個人関連情報２２を参照して、任意の乗員について当該乗員に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれているか否かを判断する。

説明の具体化のため、乗員ＰＳ［１］〜ＰＳ［６］は夫々第１〜第６人物であり、乗員検出部１３により乗員ＰＳ［１］〜ＰＳ［６］が夫々第１〜第６人物であることが検出及び認識されている場合を考える。また、第１〜第６人物について個別に１以上のキーワードが個人関連情報２２に登録されており、第３人物に対して「アイスクリーム」というキーワードが個人関連情報２２に登録されているとする。これらのキーワードは、或る乗員が操作部４２への操作を通じてエージェント処理部１１に予め入力しておいても良いし、エージェントにおける人工知能が過去の乗員ＰＳ［１］〜ＰＳ［６］の発話内容から第３人物に対して「アイスクリーム」というキーワードを登録するようにしても良い。即ち例えば、第３人物がアイスクリームを好きであるという意見を何れの乗員が過去において発話していたとき、その発話を受けてエージェント処理部１１は「アイスクリーム」のキーワードを第３人物に関連する情報として個人関連情報２２に登録する。何れにせよ、状況ＳＴ１に至る前に、第３人物に対して「アイスクリーム」というキーワードが個人関連情報２２に登録されているとする。

そして、状況ＳＴ１において、指示ＣＭＤにキーワード「アイスクリーム」が含まれているとき（例えば、指示ＣＭＤが「次のパーキングエリアに抹茶のアイスクリームは売っているか教えて？」という指示であるとき）、又は、応答ＲＥＳにキーワード「アイスクリーム」が含まれているとき（例えば、応答ＲＥＳが「次のパーキングエリアでは抹茶のアイスクリームが人気です」とう応答内容を含むとき）、応答出力部１５は、個人関連情報２２に基づき、第３人物としての乗員ＰＳ［３］に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれていると判断して、乗員ＰＳ［３］も応答対象者（応答ＲＥＳの出力対象者）に含める。

この際、第４人物について「アイスクリーム」というキーワードが個人関連情報２２に登録されていないのであれば乗員ＰＳ［４］は応答対象者に含められず、第５人物について「アイスクリーム」というキーワードが個人関連情報２２に登録されているのであれば乗員ＰＳ［５］も応答対象者に含められる。第６人物としての乗員ＰＳ［６］についても同様である。

実施例ＥＸ＿Ａ２によれば、本来の応答対象者（図６の例において乗員ＰＳ［１］及びＰＳ［２］）に加えて、指示又は応答の内容から、応答に対して興味を持つ可能性が高いと推定される乗員（図６の例において乗員ＰＳ［３］）にも応答が出力される。このため、応答出力の有益性が増す（車載装置１の利便性が高まる）と考えられる。

［実施例ＥＸ＿Ａ３］
実施例ＥＸ＿Ａ３を説明する。実施例ＥＸ＿Ａ３でも上述の状況ＳＴ１が想定される。但し、実施例ＥＸ＿Ａ３では、応答対象者の設定方法が第１段階と第２段階に分けられる。応答対象者の第１段階では実施例ＥＸ＿Ａ１又はＥＸ＿Ａ２に示した方法により応答対象者が設定される。今、実施例ＥＸ＿Ａ１又はＥＸ＿Ａ２による応答対象者の設定方法により、乗員ＰＳ［１］〜ＰＳ［３］のみが応答対象者に含まれた場合を考える。図７に実施例ＥＸ＿Ａ３に係る会話の参加状態と指示に対する応答方法を示す。

状況ＳＴ１における指示ＣＭＤの後、上記第１段階の設定で応答対象者に含まれなかった乗員ＰＳ［６］が特定の発話を行うと、第２段階の設定として、応答出力部１５は応答対象者に乗員ＰＳ［６］を追加する。結果、乗員ＰＳ［１］〜ＰＳ［３］及びＰＳ［６］に対して応答ＲＥＳが出力されることになる。第１段階の設定で応答対象者に含まれず且つ特定の発話を行わなかった乗員ＰＳ［４］及びＰＳ［５］に対して応答ＲＥＳは出力されない。

特定の発話は「教えて」という用語を含んだ発話であり、「教えて」という用語を含んだ音声による音声信号がマイクロホンＭＣ［６］から出力されたとき、応答出力部１５は乗員ＰＳ［６］から特定の発話があったと判断する。予め複数の特定キーワードを記憶部２０に設定しておき、何れかの特定キーワードに合致する用語の音声信号がマイクロホンＭＣ［６］から出力されたとき、応答出力部１５は乗員ＰＳ［６］から特定の発話があったと判断して良い。

特定の発話の受付期間は、例えば、エージェント処理部１１による指示ＣＭＤの受領時点から開始され、指示ＣＭＤの受領時点より所定時間（例えば１０秒）が経過すると終了する。受付期間中に乗員ＰＳ［６］から特定の発話があったときにのみ、応答出力部１５は乗員ＰＳ［６］から特定の発話があったと判断して応答ＲＥＳを乗員ＰＳ［６］に出力し、受付期間外に乗員ＰＳ［６］から特定の発話があったとしても応答ＲＥＳを乗員ＰＳ［６］に出力しない。

乗員ＰＳ［６］が特定の発話を行ったタイミングによって、応答ＲＥＳが乗員ＰＳ［１］〜ＰＳ［３］及びＰＳ［６］に対して同時に出力されることもあるし、図７に示す如く、乗員ＰＳ［１］〜ＰＳ［３］への応答ＲＥＳの出力から遅れて乗員ＰＳ［６］への応答ＲＥＳの出力が行われることもある。乗員ＰＳ［６］から特定の発話があったケースを例に挙げたが、乗員ＰＳ［６］以外の乗員についても同様とされる。

本実施例によれば、応答出力部１５による一次的な判断により応答対象者に含まれなかった乗員に対しても、乗員の希望に沿って応答を出力することが可能となり、利便性が高まる。

［実施例ＥＸ＿Ｂ１］
実施例ＥＸ＿Ｂ１を説明する。図８及び図９に実施例ＥＸ＿Ｂ１に係る会話の参加状態と指示に対する応答方法を示す。実施例ＥＸ＿Ｂ１では、状況ＳＴ２が想定される。状況ＳＴ２では、乗員ＰＳ［２］及びＰＳ［３］間でのみ会話が行われており、結果、会話検出部１４により、乗員ＰＳ［２］及びＰＳ［３］が会話の参加者であって且つ乗員ＰＳ［１］及びＰＳ［４］〜ＰＳ［６］が会話の非参加者であると検出されている。また、状況ＳＴ２では、乗員ＰＳ［２］及びＰＳ［３］間で会話が成されているときに、乗員ＰＳ［１］の知りたい情報が発生し、その情報を要求する指示ＣＭＤを乗員ＰＳ［１］がエージェント（車載装置１）に対して行う。

実施例ＥＸ＿Ｂ１において、応答出力部１５は、設定方法ＭＴＤ１又はＭＴＤ２にて応答対象者の設定を行うことができる。設定方法ＭＴＤ１及びＭＴＤ２の何れか一方による応答対象者の設定が固定的に行われるよう、応答出力部１５を設計しておいて良い。

図８は、設定方法ＭＴＤ１が採用される場合に対応している。設定方法ＭＴＤ１を採用した応答出力部１５は、指示ＣＭＤを発信した乗員ＰＳ［１］を応答対象者（応答ＲＥＳの出力対象者）に含め、乗員ＰＳ［２］〜ＰＳ［６］を応答対象者から除外する。つまり、設定方法ＭＴＤ１を採用した応答出力部１５は、指示ＣＭＤを受けた後、指示ＣＭＤに対する応答内容を含んだ応答ＲＥＳを、乗員ＰＳ［１］に出力し、乗員ＰＳ［２］〜ＰＳ［６］には出力しない。

図９は、設定方法ＭＴＤ２が採用される場合に対応している。設定方法ＭＴＤ２を採用した応答出力部１５は、会話に参加していない各乗員を応答対象者（応答ＲＥＳの出力対象者）に含め、会話に参加している各乗員を応答対象者から除外する。つまり、設定方法ＭＴＤ２を採用した応答出力部１５は、指示ＣＭＤを受けた後、応答ＲＥＳを乗員ＰＳ［１］及びＰＳ［４］〜ＰＳ［６］に対して出力し、応答ＲＥＳを乗員ＰＳ［２］及びＰＳ［３］に出力しない。

会話の非参加者の指示ＣＭＤに対する応答ＲＥＳは、会話の参加者にとって必要でないと考えられ、この応答ＲＥＳが会話中の乗員（図８又は図９の例において乗員ＰＳ［２］及びＰＳ［３］）にも出力されると、会話中の乗員にとって応答ＲＥＳが煩わしく感じられることもある。そこで、上述の如く、状況ＳＴ２においては、会話の参加者である乗員ＰＳ［２］及びＰＳ［３］を応答対象者から除外して応答ＲＥＳを出力する。つまり、情報を必要とする乗員（指示ＣＭＤを発した乗員）又は情報が発信されても煩わしさを感じる可能性が低いと推定される乗員（図８又は図９の例において乗員ＰＳ［４］〜ＰＳ［６］）に対して応答ＲＥＳを出力しつつ、情報を必要としていないと推定される乗員（図８又は図９の例において乗員ＰＳ［２］及びＰＳ［３］）には応答ＲＥＳを非出力とする。結果、上記のような煩わしさの発生が抑制される。

［実施例ＥＸ＿Ｂ２］
実施例ＥＸ＿Ｂ２を説明する。実施例ＥＸ＿Ｂ２でも上述の状況ＳＴ２が想定される。このため、会話の非参加者に属する乗員ＰＳ［１］からの指示ＣＭＤがエージェントにて受領され、応答ＲＥＳが応答対象者に出力されることになる。この際、まず、指示ＣＭＤを発信した乗員ＰＳ［１］は応答対象者に含められる。

その上で、応答出力部１５は、乗員ＰＳ［２］〜ＰＳ［６］の何れかに関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれているかを判断し、乗員ＰＳ［２］〜ＰＳ［６］の内、何れかの乗員に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれている場合、指示ＣＭＤ又は応答ＲＥＳに含まれる情報に関連付けられた乗員を応答対象者に追加する。

従って例えば、状況ＳＴ２に属するケースの内、乗員ＰＳ［６］に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれる第１ケースにおいては、乗員ＰＳ［６］が応答対象者に追加され、応答出力部１５は、図１０に示す如く、指示ＣＭＤを受けた後に、指示ＣＭＤに対する応答内容を含んだ応答ＲＥＳを乗員ＰＳ［１］及びＰＳ［６］に対して出力し、応答ＲＥＳを乗員ＰＳ［２］〜ＰＳ［５］に対して出力しない。第１ケースでは、乗員ＰＳ［２］〜ＰＳ［５］に関連付けられた情報が指示ＣＭＤ及び応答ＲＥＳの何れにも含まれていないものとし、結果、乗員ＰＳ［２］〜ＰＳ［５］は応答対象者から除外される。

或いは例えば、状況ＳＴ２に属するケースの内、乗員ＰＳ［３］に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれる第２ケースにおいては、乗員ＰＳ［３］が応答対象者に追加され、応答出力部１５は、図１１に示す如く、指示ＣＭＤを受けた後に、指示ＣＭＤに対する応答内容を含んだ応答ＲＥＳを乗員ＰＳ［１］及びＰＳ［３］に対して出力し、応答ＲＥＳを乗員ＰＳ［２］及びＰＳ［４］〜ＰＳ［６］に対して出力しない。第２ケースでは、乗員ＰＳ［２］及びＰＳ［４］〜ＰＳ［６］に関連付けられた情報が指示ＣＭＤ及び応答ＲＥＳの何れにも含まれていないものとし、結果、乗員ＰＳ［２］及びＰＳ［４］〜ＰＳ［６］は応答対象者から除外される。

図１０及び図１１に示す方法は図８の設定方法ＭＴＤ１を基準としているが、実施例ＥＸ＿Ｂ２において図９の設定方法ＭＴＤ２を基準とし、会話の非参加者（ここでは乗員ＰＳ［１］及びＰＳ［４］〜ＰＳ［６］）を全て応答対象者に含めた上で、会話の参加者の中から、上述の方法に従って、応答対象者に追加すべき乗員を抽出するようにしても良い。この場合、乗員ＰＳ［３］に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれる第２ケースにおいては、乗員ＰＳ［１］及びＰＳ［３］〜ＰＳ［６］が応答対象者に含められ、乗員ＰＳ［２］のみが応答対象者から除外されることになる。

或いは、実施例ＥＸ＿Ｂ２において、会話の参加者（ここでは乗員ＰＳ［２］及びＰＳ［３］）が応答対象者に含められることが無いようにしても良い。この場合、会話の非参加者のみを対象にして、応答対象者の設定が行われる。

実施例ＥＸ＿Ｂ２では、上述の実施例ＥＸ＿Ａ２と同様に、乗員検出部１３により上述の個人特定情報が検出されていることを前提とし、個人関連情報２２（図３参照）が利用される。個人関連情報２２には各個人に関連付けられた情報が登録されており、個人関連情報２２を参照して、任意の乗員について当該乗員に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれているか否かを判断する。この判断方法は、実施例ＥＸ＿Ａ２にて述べた方法と同じであるため、重複する説明を省略する。

このように、実施例ＥＸ＿Ｂ２では、会話に参加していない或る乗員（ここでは乗員ＰＳ［１］）から指示ＣＭＤを受けた場合において、他の乗員に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれるとき、応答出力部１５は、当該他の乗員を応答の出力対象者に含める。

実施例ＥＸ＿Ｂ２によれば、本来の応答対象者（図１０及び図１１の例において乗員ＰＳ［１］）に加えて、指示又は応答の内容から、応答に対して興味を持つ可能性が高いと推定される乗員（図１０、図１１の例において乗員ＰＳ［６］、ＰＳ［３］）にも応答が出力される。このため、応答出力の有益性が増す（車載装置１の利便性が高まる）と考えられる。

［実施例ＥＸ＿Ｂ３］
実施例ＥＸ＿Ｂ３を説明する。実施例ＥＸ＿Ｂ３でも上述の状況ＳＴ２が想定される。但し、実施例ＥＸ＿Ｂ３では、応答対象者の設定方法が第１段階と第２段階に分けられる。応答対象者の第１段階では実施例ＥＸ＿Ｂ１又はＥＸ＿Ｂ２に示した方法にて応答対象者が設定される。今、実施例ＥＸ＿Ｂ１又はＥＸ＿Ｂ２による応答対象者の設定方法により、乗員ＰＳ［１］のみが応答対象者に含まれた場合を考える。図１２に実施例ＥＸ＿Ｂ３に係る会話の参加状態と指示に対する応答方法を示す。

状況ＳＴ２における指示ＣＭＤの後、上記第１段階の設定で応答対象者に含まれなかった乗員ＰＳ［６］が特定の発話を行うと、第２段階の設定として、応答出力部１５は応答対象者に乗員ＰＳ［６］を追加する。結果、乗員ＰＳ［１］及びＰＳ［６］に対して応答ＲＥＳが出力されることになる。第１段階の設定で応答対象者に含まれず且つ特定の発話を行わなかった乗員ＰＳ［２］〜ＰＳ［５］に対して応答ＲＥＳは出力されない。

特定の発話の内容、特定の発話があったか否かの判断方法、及び、特定の発話の受付期間については、実施例ＥＸ＿Ａ３にて上述した通りである。また、実施例ＥＸ＿Ａ３で述べたように、乗員ＰＳ［６］が特定の発話を行ったタイミングによって、応答ＲＥＳが乗員ＰＳ［１］及びＰＳ［６］に対して同時に出力されることもあるし、図１２に示す如く、乗員ＰＳ［１］への応答ＲＥＳの出力から遅れて乗員ＰＳ［６］への応答ＲＥＳの出力が行われることもある。

乗員ＰＳ［６］から特定の発話があったケースを例に挙げたが、乗員ＰＳ［２］〜ＰＳ［５］についても同様とされる。従って例えば、状況ＳＴ２において、特定の発話の受付期間内に会話の参加者の一人である乗員ＰＳ［３］から特定の発話があったのであれば、応答対象者に乗員ＰＳ［３］を追加して、乗員ＰＳ［３］にも応答ＲＥＳを出力するようにしても良い。

図１２に示す方法は図８の設定方法ＭＴＤ１を基準としているが、実施例ＥＸ＿Ｂ３において図９の設定方法ＭＴＤ２を基準とし、会話の非参加者（ここでは乗員ＰＳ［１］及びＰＳ［４］〜ＰＳ［６］）を全て応答対象者に含めた上で、会話の参加者の中から、上述の方法に従って、応答対象者に追加すべき乗員を抽出するようにしても良い。この場合、特定の発話の受付期間内に会話の参加者の一人である乗員ＰＳ［３］から特定の発話があったのであれば、応答対象者に乗員ＰＳ［３］が追加され、乗員ＰＳ［２］のみが応答対象者から除外されることになる。

本実施例によれば、応答出力部１５による一次的な判断により応答対象者に含まれなかった乗員に対しても、乗員の希望に沿って応答を出力することが可能となり、利便性が高まる。

［実施例ＥＸ＿Ｃ］
実施例ＥＸ＿Ｃを説明する。図１３に実施例ＥＸ＿Ｃに係る会話の参加状態と指示に対する応答方法を示す。実施例ＥＸ＿Ｃでは状況ＳＴ３が想定される。状況ＳＴ３では、何れの乗員間でも会話が行われておらず、結果、会話検出部１４により、乗員ＰＳ［１］〜ＰＳ［６］が全て会話の非参加者であると検出されている。状況ＳＴ３では、乗員ＰＳ［１］〜ＰＳ［６］が全て会話の非参加者であると検出されているときに、乗員ＰＳ［１］の知りたい情報が発生し、その情報を要求する指示ＣＭＤを乗員ＰＳ［１］がエージェント（車載装置１）に対して行う。この場合、応答出力部１５は、指示ＣＭＤを受けた後、指示ＣＭＤに対する応答内容を含んだ応答ＲＥＳを乗員ＰＳ［１］に対して出力し、応答ＲＥＳを乗員ＰＳ［２］〜ＰＳ［６］に対して出力しない。即ち、乗員ＰＳ［１］を応答対象者（応答ＲＥＳの出力対象者）に含め、乗員ＰＳ［２］〜ＰＳ［６］を応答対象者から除外する。

但し、実施例ＥＸ＿Ｃにおいて、実施例ＥＸ＿Ａ２又はＥＸ＿Ｂ２に示す方法を適用しても良い。この場合、応答出力部１５は、指示ＣＭＤを発信した乗員ＰＳ［１］を応答対象者に含めた上で、乗員ＰＳ［２］〜ＰＳ［６］に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれているかを乗員ごとに判断し、乗員ＰＳ［２］〜ＰＳ［６］の内、何れかの乗員に関連付けられた情報が指示ＣＭＤ又は応答ＲＥＳに含まれている場合、指示ＣＭＤ又は応答ＲＥＳに含まれる情報に関連付けられた乗員を応答対象者に追加する。乗員ＰＳ［２］〜ＰＳ［６］の内、応答対象者に追加されなかった乗員は応答対象者に含められない。

また、実施例ＥＸ＿Ｃにおいて、実施例ＥＸ＿Ａ３又はＥＸ＿Ｂ３に示す方法を適用しても良い。この場合、応答出力部１５は、指示ＣＭＤを発信した乗員ＰＳ［１］を応答対象者に含めた上で、乗員ＰＳ［２］〜ＰＳ［６］の内、特定の発話の受付期間内において特定の発話を行った乗員を応答対象者に追加し、特定の発話の受付期間内において特定の発話を行わなかった乗員を応答対象者に含めない。

［実施例ＥＸ＿Ｄ］
実施例ＥＸ＿Ｄを説明する。実施例ＥＸ＿Ｄでは、上述の各構成及び各方法に対する応用技術や変形技術等を説明する。

上述の各実施例では、主として乗員ＰＳ［１］が指示ＣＭＤを発信していることを想定しているが、指示ＣＭＤを発信する乗員は、乗員ＰＳ［１］〜ＰＳ［６］の内の任意の乗員でありうる。

また、乗員ＰＳ［１］及びＰＳ［２］が会話を行っているケースや乗員ＰＳ［２］及びＰＳ［３］が会話を行っているケースを主に想定して応答対象者の設定方法の具体例を説明したが、乗員ＰＳ［１］〜ＰＳ［６］の内、何れの乗員が会話の参加者であっても良く、会話の参加者は３以上の乗員でありうる。

乗員からエージェント処理部１１への指示が乗員の音声による指示であることを想定したが、乗員からエージェント処理部１１への指示は、音声を伴わない指示であっても良い。同様に、エージェント処理部１１から乗員への応答が音声による応答であることを想定したが、エージェント処理部１１から乗員への応答は、音声を伴わない応答であっても良い。例えば、乗員と車載装置１との間で任意の情報の双方向通信を可能とするタッチパネル（不図示）を乗員ごとに車両ＣＲに設置しておき、当該タッチパネルに対する文字入力により指示（ＣＭＤに相当）を行い、当該タッチパネルでの文字表示により応答（ＲＥＳに相当）が行われるようにしても良い。

本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。

１ 車載装置
１０ 主制御部
１１ エージェント処理部
１２ 音声認識部
１３ 乗員検出部
１４ 会話検出部
１５ 応答出力部
ＭＣ マイク部
ＳＰ スピーカ部
ＭＣ［１］〜ＭＣ［６］ マイクロホン
ＳＰ［１］〜ＳＰ［６］ スピーカ
ＰＳ［１］〜ＰＳ［６］ 乗員
ＳＴ［１］〜ＳＴ［６］ 座席

Claims (11)

1. 車両に搭載される車載装置において、
   車内における乗員の中から会話に参加している乗員を検出する会話検出部と、
   車内の何れかの乗員から受けた指示に対する応答を乗員ごとに出力可能な応答出力部と、を備え、
   前記応答出力部は、各乗員の会話への参加状態に応じて前記応答の出力対象者を決定し、前記応答の出力対象者に対して前記応答を出力する
   ことを特徴とする車載装置。
2. 前記指示が会話に参加している何れかの乗員から受けたものである場合、前記応答出力部は、会話に参加している各乗員に対して前記応答を出力し、会話に参加してない乗員に対して前記応答を非出力とする
   ことを特徴とする請求項１に記載の車載装置。
3. 前記指示が会話に参加している何れかの乗員から受けたものである場合において、会話に参加してない乗員の内、特定の乗員に関連付けられた情報が前記指示又は前記応答に含まれるとき、前記応答出力部は、前記応答の出力対象者に前記特定の乗員を含める
   ことを特徴とする請求項２に記載の車載装置。
4. 前記指示が会話に参加している何れかの乗員から受けたものである場合において、会話に参加していない乗員の何れかから特定の発話があったとき、前記応答出力部は、前記特定の発話を行った乗員を前記応答の出力対象者に含める
   ことを特徴とする請求項２又は３に記載の車載装置。
5. 前記指示が会話に参加していない何れかの乗員から受けたものである場合、前記応答出力部は、前記指示を出した乗員に対して又は会話に参加していない各乗員に対して前記応答を出力し、会話に参加している乗員に対して前記応答を非出力とする
   ことを特徴とする請求項１〜３の何れかに記載の車載装置。
6. 会話に参加していない第１乗員から前記指示を受けた場合において、前記第１乗員と異なる第２乗員に関連付けられた情報が前記指示又は前記応答に含まれるとき、前記応答出力部は、前記応答の出力対象者に前記第２乗員を含める
   ことを特徴とする請求項５に記載の車載装置。
7. 会話に参加していない第１乗員から前記指示を受けた場合において、前記第１乗員と異なる第２乗員から特定の発話があったとき、前記応答出力部は、前記特定の発話を行った乗員を前記応答の出力対象者に含める
   ことを特徴とする請求項５に記載の車載装置。
8. 前記応答出力部は、前記指示において求められている情報を前記応答の内容に含める
   ことを特徴とする請求項１〜７の何れかに記載の車載装置。
9. 前記会話検出部は、車内における乗員ごとの発話内容を収音可能な収音部の出力音声信号に基づき、会話に参加している乗員を検出する
   ことを特徴とする請求項１〜８の何れかに記載の車載装置。
10. 前記会話検出部は、前記出力音声信号と、車内における各乗員を撮影するカメラ部の出力画像信号とに基づき、会話に参加している乗員を検出する
    ことを特徴とする請求項９に記載の車載装置。
11. 車両に搭載される車載装置にて用いられる応答出力制御方法において、
    車内における乗員の中から会話に参加している乗員を検出する会話検出ステップと、
    車内の何れかの乗員から受けた指示に対する応答を乗員ごとに出力可能な応答出力ステップと、を備え、
    前記応答出力ステップでは、各乗員の会話への参加状態に応じて前記応答の出力対象者を決定し、前記応答の出力対象者に対して前記応答を出力する
    ことを特徴とする応答出力制御方法。

Images