JP2022139599A - 情報出力装置、情報出力方法、および、情報出力装置用プログラム - Google Patents

Abstract

【課題】会話の妨げをできるだけ防止する情報出力装置、情報出力方法及び情報出力装置用のプログラムを提供する。【解決手段】情報出力装置による方法であって、音声取得手段が会話の音声データを取得し、キーワード抽出手段が音声データからキーワードを抽出し（Ｓ１、Ｓ２）、無音声時間カウント手段が無音声時間をカウントし（Ｓ５、Ｓ６）、無音声時間が所定時間以上になった場合（Ｓ７ＹＥＳ）、出力手段がキーワードに関連する情報を出力する（Ｓ８）。【選択図】図６

Description

本願は、情報出力装置、情報出力方法、および、情報出力装置用のプログラムの技術分野に属する。

車両に搭載されたスマートスピーカを使用して、音声で指示がなされ、楽曲が再生されたり、質問に対する応答がされたりしている。下記特許文献１には、複数の音声アシスタントを利用可能に設けられた情報処理装置であって、マスター制御部を備え、マスター制御部は、ユーザの発話の内容に基づき、音声アシスタントそれぞれに対する発話指示を生成して音声アシスタントのサーバ装置へ送信する情報処理装置が開示されている。

特開2021-4950号公報

しかしながら、上記特許文献１の技術では、会話の状況に関係なく、単に音声指示に対する回答を出力していたため、音声アシスタントのシステムにより会話の妨げになることもあった。

そこで本願は、上記の各問題点に鑑みて為されたもので、その課題の一例は、会話の妨げをできるだけ防止する情報出力装置等を提供することにある。

上記課題を解決するため、請求項１に記載の発明は、会話の音声データを取得する音声取得手段と、前記音声データからキーワードを抽出するキーワード抽出手段と、無音声時間をカウントする無音声時間カウント手段と、前記無音声時間が所定時間以上になった場合、前記キーワードに関連する情報を出力する出力手段と、を備えることを特徴とする。

また請求項５に記載の発明は、会話の音声データを取得する音声取得手段と、前記音声データに基づいて前記会話に話者の願望の可能性が含まれているか否かを判定する願望判定手段と、前記願望判定手段によって、前記願望の可能性が含まれていると判定された場合に、前記願望に対する回答が前記願望判定以後の前記会話に含まれていない時間をカウントする無回答時間カウント手段と、前記無回答時間が所定時間以上になった場合、前記願望に対応する情報を出力する出力手段と、を備えることを特徴とする。

また請求項６に記載の発明は、音声取得手段が、会話の音声データを取得する音声取得ステップと、キーワード抽出手段が、前記音声データからキーワードを抽出するキーワード抽出ステップと、無音声時間カウント手段が、無音声時間をカウントする無音声時間カウントステップと、出力手段が、前記無音声時間が所定時間以上になった場合、前記キーワードに関連する情報を出力する出力ステップと、を含むことを特徴とする。

また請求項７に記載の発明は、音声取得手段が、会話の音声データを取得する音声取得ステップと、願望判定手段が、前記音声データに基づいて前記会話に話者の願望の可能性が含まれているか否かを判定する願望判定ステップと、無回答時間カウント手段が、前記願望判定手段によって、前記願望の可能性が含まれていると判定された場合に、前記願望に対する回答が前記判定以後の前記会話に含まれていない時間をカウントする無回答時間カウントステップと、出力手段が、前記無回答時間が所定時間以上になった場合、前記願望に対応する情報を出力する出力ステップと、を含むことを特徴とする。

また請求項８に記載の発明は、コンピュータを、請求項１から請求項４のいずれか１項に記載の情報出力装置として機能させることを特徴とする。

実施形態に係る情報出力装置の構成の一例を示すブロック図である。 実施例に係る情報出力装置による情報出力システムの一例を示す模式図である。 実施例に係る情報出力装置の概略構成の一例を示すブロック図である。 情報出力装置のデータベースの一例を示す模式図である。 情報出力装置のデータベースの一例を示す模式図である。 実施例に係る情報出力装置の動作の一例を示すフローチャートである。 実施例に係る情報出力装置の動作の変形例を示すフローチャートである。

本願を実施するための形態について、図１を用いて説明する。なお図１は、実施形態に係る情報出力装置の構成の一例を示すブロック図である。

図１に示すように、情報出力装置１は、音声取得手段１ａと、キーワード抽出手段１ｂと、無音声時間カウント手段１ｃと、出力手段１ｄと、を備えて構成されている。

この構成において、音声取得手段１ａは、会話の音声データを取得する。

キーワード抽出手段１ｂは、音声データからキーワードを抽出する。

無音声時間カウント手段１ｃは、無音声時間をカウントする。

出力手段１ｄは、無音声時間が所定時間以上になった場合、前記キーワードに関連する情報を出力する。

以上説明したように、実施形態に係る情報出力装置１によれば、会話の音声データを取得し、音声データからキーワードを抽出し、無音声時間をカウントして、無音声時間が所定時間以上になった場合に、キーワードに関連する情報を出力することにより、会話が止まってから直ぐにキーワードに関連する情報を出力せず所定時間以上の間隔を置いて情報出力装置１が出力するので、会話の妨げをできるだけ防止することができる。

［１．情報出力システム］

次に、上述した実施形態に対応する具体的な実施例について、図２－図６を用いて説明する。なお以下に説明する実施例は、情報出力装置１０に対して、本願を適用した場合の実施例である。

（１．１ 情報出力システムの構成および概要）
情報出力システムの構成および概要について、図２を用いて説明する。

図２は、実施例に係る情報出力装置による情報出力システムの一例を示す模式図である。

図２に示すように、情報出力システムＳは、車両Ｖｈに搭載された情報出力装置１０（情報出力装置１の一例）と、車両Ｖｈの内部の搭乗者Ｐｓを撮影するカメラＣｍと、搭乗者Ｐｓの声を集音するマイクロフォンＭｃと、合成音声等を出力するスピーカＳｐと、を有する。

情報出力装置１０は、例えば、ナビゲーション機能、オーディオ機能、ＡＩアシスタント機能等を有するコンピュータである。

カメラＣｍは、ＣＭＯＳイメージセンサ等の撮影素子を有する。カメラＣｍは、搭乗者Ｐｓの動画や静止画を撮影する。カメラＣｍは、車両Ｖｈ内の搭乗者Ｐｓ全員が映りやすい位置、例えば、車両Ｖｈのリアビューミラー付近に設置される。なお、複数台のカメラＣｍが車両Ｖｈ内に設置されてもよい。また、情報出力システムＳは、車両Ｖｈの外を写すカメラを有してもよい。

マイクロフォンＭｃは、例えば、エレクトレットコンデンサマイクロフォン、MEMS（Micro-Electro-Mechanical System)マイクロフォンである。マイクロフォンＭｃは、車両Ｖｈ内の音を電気信号に変換する。マイクロフォンＭｃは、車両Ｖｈ内の搭乗者Ｐｓの会話を集音しやすい位置、例えば、車両Ｖｈのリアビューミラー付近に設置される。

スピーカＳｐは、例えば、車両Ｖｈのオーディオのスピーカである。スピーカＳｐは、音楽、ナビゲーションの音声誘導の合成音声等を出力する。スピーカＳｐは、車両Ｖｈに追加で設置された機器のスピーカや、車両Ｖｈのオーディオのスピーカ、利用者が車に持ち込んだ本システムと連携するように設定したハンディ機器のスピーカでもよい。

なお、車両Ｖｈの他に、移動体の一例として、例えば、鉄道、船舶、航空機等が挙げられる。

（１．２ 情報出力装置１０の構成および機能）
次に、情報出力装置１０の構成および機能について、図３および図４を用いて説明する。

図３は、実施例に係る情報出力装置の概略構成の一例を示すブロック図である。図４および図５は、情報出力装置のデータベースの一例を示す模式図である。

図３に示すように、情報出力装置１０は、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、インターフェース部１５と、センサ部１６と、制御部１７と、を有する。

通信部１１は、例えば、無線通信網等のネットワークに接続して、外部のサーバ装置との通信状態を制御するようになっている。情報出力装置１０および外部のサーバ装置は、ネットワークを介して、例えば、通信プロトコルにＴＣＰ／ＩＰ等を用いて相互にデータの送受信が可能になっている。なお、ネットワークは、例えば、インターネット、専用通信回線（例えば、ＣＡＴＶ（Community Antenna Television）回線）、移動体通信網（基地局等を含む）、およびゲートウェイ等により構築されている。なお、外部のサーバ装置は、例えば、検索サーバ装置、交通情報提供サーバ装置等である。

記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等により構成されている。

記憶部１２は、情報出力装置１０を制御するための各種プログラム等を記憶する。各種プログラムは、オペレーティングシステム、ナビゲーションや音楽再生用のアプリケーションソフト、音声用のプログラム等が挙げられる。音声用のプログラムは、例えば、音響分析、音響モデル等により音声データをテキストデータに変換する音声認識用のプログラム、形態素分析、構文解析、意味解析等の自然言語処理のプログラム、テキストデータから合成音声を生成するプログラム等である。なお、各種プログラムは、例えば、ネットワークを介して取得されるようにしてもよいし、ＣＤ、ＤＶＤ等の記録媒体に記録されてドライブ装置を介して読み込まれるようにしてもよい。

また、記憶部１２には、情報出力用のデータベースが構築されている。例えば、図４に示すように、記憶部１２には、話者の願望の可能性の度合いに関連付けて、キーワードを記憶したキーワード・データベースが構築されている。

ここで、話者の願望の可能性の度合いは、例えば、「疲れるなあ」、「疲れたなあ」、「疲れたー」の順で、または、「腹減るなあ」、「腹減ったなあ」、「腹減ったー」の順で、願望の可能性が高くなると設定される。「疲れるなあ」と独り言を発した場合、休憩したいという願望、意図の可能性がまだ低いと考えられる（願望の可能性度合い：１）。「疲れたなあ」と発した場合、疲労が貯まってきて、休憩したいという願望、意図の可能性が高くなってきたと考えられる（願望の可能性度合い：２）。「疲れたー」と発した場合、疲労感が強く、休憩したいという願望、意図の可能性が高いと考えられる（願望の可能性度合い：３）。「腹減るなあ」と発した場合、食事をしたいという願望、意図の可能性がまだ低いと考えられる（願望の可能性度合い：１）。「腹減ったなあ」と発した場合、空腹感が少し強くなり、食事したいという願望、意図の可能性が高くなってきたと考えられる（願望の可能性度合い：２）。「腹減ったー」と発した場合、空腹感が強く、食事したいという願望、意図の可能性が高いと考えられる（願望の可能性度合い：３）。このデータベースは、上述の「疲れたなあ」、「疲れたなあ」、「疲れたー」等の語尾「なあ」、「るなあ」、「たなあ」、「たー」等を分類したデータベースでもよい。また、記憶部１２は、「もう1時間走っている」、「お昼どうしよう」等心理予測されるキーワードのデータベースを有してもよい。さらに、利用時間帯や普段の行動傾向に基づき、願望度合いが設定されてもよい。

また、記憶部１２には、情報出力用のデータベースとして、図５に示すように、願望の可能性の度合いに関連付けて、所定時間を記憶した所定時間データベースが構築されている。願望の可能性の度合いが低い「１」から、高い「４」までに応じて、所定時間を、例えば、それぞれ、５秒、４秒、３．５秒、３秒と設定される。願望の可能性の度合いが低い場合は、情報出力システムＳが、話者の願望を検出した際、直ぐに応答する必要がなく、願望に応答するまでの所定時間が長く設定される。願望の可能性の度合い高い場合は、願望に応答するまでの所定時間が短く設定される。

なお、記憶部１２は、ＡＩアシスタント機能を実現するデータベースを有してもよい。

表示部１３は、情報出力装置１０を操作する際に使用される、液晶表示素子またはＥＬ素子等によって構成されたモニタ用のディスプレイである。表示部１３には、ルート案内情報等が表示される。

操作部１４は、例えば、機械式の電源ボタン、音量ボタン等の各種ボタンや、表示部１４がタッチパネルのようなタッチスイッチ方式の表示パネルである。

インターフェース部１５は、情報出力装置１０と、カメラＣｍ、マイクロフォンＭｃおよびスピーカＳｐと、を接続する。

センサ部１６は、例えば、速度センサ、加速度センサ、ジャイロセンサ、ＧＰＳセンサ、方位センサ、操舵角センサ、座席センサ、温度センサ等の各種のセンサである。また、センサ部１６は、時間をカウントするタイマー機能および時刻を計測する時計機能を有してもよい。

速度センサは、車両Ｖｈの速度を検出する。加速度センサは、車両Ｖｈの加速度を検出する。ＧＰＳセンサは、車両Ｖｈの現在位置として、緯度・経度情報を取得する。ジャイロセンサは、車両Ｖｈの車体の角加速度を検出する。方位センサは、車両Ｖｈの方位を検出する。操舵角センサは、ステアリングの角度を検出する。座席センサは、車両Ｖｈの搭乗者が座席に座っていることを検出する。温度センサは、車両Ｖｈ内の気温、外気の気温等を検出する。

制御部１７は、例えば、ＣＰＵ（Central Processing Unit）と、ＲＯＭ（Read Only Memory）と、ＲＡＭ（Random Access Memory）と、を有する。制御部１７は、ＣＰＵが、ＲＯＭや、ＲＡＭや、記憶部１２に記憶された各種プログラムを読み出して実行する。また、制御部１７は、ＡＩ機能用のチップを有してもよい。

制御部１７は、ルート計算を行ったり、音声認識を行ったり、ＡＩアシスタント機能を実現したり、情報出力装置１０を制御したりする。

［２．情報出力装置１０の動作］
次に、実施例に係る情報出力装置１０の動作について図６を用いて説明する。

図６は、実施例に係る情報出力装置の動作の一例を示すフローチャートである。

図６に示すように、情報出力装置１０は、音声データを取得して分析する（ステップＳ１）。具体的には、制御部１７が、マイクロフォンＭｃから、車両Ｖｈ内の音の電気信号を受信し、Ａ/Ｄ変換して音のデジタル信号にする。制御部１７が、音のデジタル信号に含まれる音声データを、音声認識用のプログラムによりテキストデータに変換する。次に、制御部１７が、自然言語処理のプログラムにより、テキストデータからワードを抽出する。なお、音声データの取得に関して、ユーザからの許諾後、本動作が起動する。

制御部１７が、搭乗者Ｐｓが発する声の音声データを分析して、音声があるか否かを分析する。例えば、音声データの音量が、所定値以下の場合、制御部１７が、音声がないと判定する。音はあるが、音声認識用のプログラムにより音声と認識できない音である場合、制御部１７が、音声がないと判定する。

また、制御部１７が、音声認識用のプログラムにより、音声データから、各人を識別して、搭乗者Ｐｓの数を推定する。なお、制御部１７が、カメラＣｍの画像から、画像認識のプログラムにより人を抽出して、車両Ｖｈに搭載している人の数をカウントしてもよい。また、制御部１７が、車両Ｖｈのセンサ部１６の座席センサの情報から、搭乗者Ｐｓの数をカウントしてもよい。また、制御部１７が、画像認識のプログラムにより、搭乗者Ｐｓの年齢、性別、個人を特定してもよい。制御部１７が、個人を特定して、搭乗者Ｐｓのユーザ情報を取得してもよい。

なお、制御部１７が、搭乗者Ｐｓの会話のテンポ、会話の盛り上がり度等の会話の状態を、音声データから分析してもよい。例えば、会話のテンポは、単位時間当たりに、発せられる単語の数から計算される。単位時間当たりに、発せられる単語の数が多いほど、会話のテンポが速いとする。また、会話の盛り上がり度は、例えば、音量、会話に参加している人数、音声データの周波数分析等により計算される。音量［ｄＢ］が大きいほど、会話が盛り上がっているとする。会話に参加している人数が多いほど、会話が盛り上がっているとする。周波数分析をして高周波成分のパワースペクトルが強いほど、会話が盛り上がっているとする。なお、音量で盛り上がりの度を判定する場合、高速道路を走行しているとき、路面が悪い道路を走行しているとき、雨の日に走行している等の外部からの音がうるさいとき、会話が盛り上がっているとする音量の閾値を高くしてもよい。また、制御部１７が、カメラＣｍの画像から、各人の表情分析を分析して、会話の盛り上がり度等の会話の状態を判定してもよい。

また、制御部１７が、抽出したワードの統計をとって、頻度が高い名詞、動詞等の言葉を、話題のキーワードとしてもよい。例えば、「アメリカ」というワードの頻度が高いならば、制御部１７が、話題のキーワードとして「アメリカ」を抽出してもよい。なお、話題のキーワードの場合、願望の可能性度合いは、前回例示した「１」より低く設定されてもよい。

また、制御部１７が、通信部１１を介して取得した交通情報、センサ部１６からの速度情報、位置情報等に基づき、車両Ｖｈの走行状態を検出してもよい。

次に、情報出力装置１０は、キーワードであるか否かを判定する（ステップＳ２）。具体的には、制御部１７が、記憶部１２のキーワード・データベースを参照して、抽出したワードが、キーワードであるか否かを判定する。制御部１７が、例えば、テキスト化した文章の中に、キーワードである「疲れるなあ」、「疲れたなあ」、「疲れたー」等があるか否かを判定する。

抽出されたワードがキーワードでない場合（ステップＳ２；ＮＯ）、情報出力装置１０は、ステップＳ１の処理に戻る。

抽出されたワードがキーワードである場合（ステップＳ２；ＹＥＳ）、情報出力装置１０は、所定時間を設定する（ステップＳ３）。具体的には、制御部１７が、記憶部１２のキーワード・データベースおよび所定時間データベースを参照して、キーワードの願望の可能性度合いに基づき、所定時間を設定する。例えば、キーワードが「疲れるなあ」、「腹減るなあ」等の場合、願望の可能性度合いが２で、制御部１７が、所定時間を４秒と設定する。キーワードが「疲れたなあ」、「腹減ったなあ」等の場合、願望の可能性度合いが３で、制御部１７が、所定時間を３．５秒と設定する。キーワードが「疲れたー」、「腹減ったー」等の場合、願望の可能性度合いが４で、制御部１７が、所定時間を３秒と設定する。

次に、情報出力装置１０は、音声データを取得して分析する（ステップＳ４）。具体的には、制御部１７が、ステップＳ１のように、音声データを取得して分析し、音声があるか否かを分析する。

次に、情報出力装置１０は、無音声か否かを判定する（ステップＳ５）。具体的には、制御部１７が、ステップＳ４の音声データの分析結果に基づき、音声があるか否かを判定する。

無音声でない場合（ステップＳ５；ＮＯ）、情報出力装置１０は、ステップＳ１の処理に戻る。

無音声である場合（ステップＳ５；ＹＥＳ）、情報出力装置１０は、時間をカウントする（ステップＳ６）。具体的には、制御部１７が、無音声である時間の計測を始める。なお、制御部１７が、時計機能を使用して、ステップＳ５で音声があると判定された時刻と、現在の時刻とを比較して、カウントされた時間としてもよい。

次に、情報出力装置１０は、所定時間以上であるか否かを判定する（ステップＳ７）。具体的には、制御部１７が、カウントされた時間が設定された所定時間以上であるか否かを判定する。

所定時間以上でない場合（ステップＳ７；ＮＯ）、情報出力装置１０は、ステップＳ４の処理に戻る。

所定時間以上である場合（ステップＳ７；ＹＥＳ）、情報出力装置１０は、キーワードに関連する情報を出力する（ステップＳ８）。具体的には、制御部１７が、ステップＳ２で判定されたキーワード、または、キーワードを含む、話者が発した文章に基づき、ＡＩアシスタント機能により、レスポンスするテキストデータ形式の文章を生成し、音声を合成して、スピーカＳｐから音声を出力させる。レスポンスする内容が楽曲の場合は、制御部１７が、音楽データを取得して、楽曲を再生してスピーカＳｐから音楽を出力させる。

例えば、発せられたワードが「腹減るなあ」、「腹減ったなあ」、「腹減ったー」の場合、ナビゲーション機能で設定されているルート上にあるレストランが検索され、制御部１７が検索結果に基づく特定のレストランでの食事を勧める文章を生成して、スピーカＳｐから音声で提案をする。発せられたワードが「疲れるなあ」、「疲れたなあ」、「疲れたー」の場合、ナビゲーション機能で設定されているルート上にあるパーキングエリア、喫茶店等が検索され、制御部１７が検索結果に基づく特定のパーキングエリア、喫茶店等での休憩を勧める文章を生成して、スピーカＳｐから音声で提案をする。また、この場合、癒しの音楽、懐かしの音楽、元気が出る音楽、歌って楽しむ音楽等の音楽を流すように、制御部１７が提案をスピーカＳｐから音声で提案したり、自動的に音楽を再生したりしてもよい。また、制御部１７が遠隔の家族や友人と電話で話して和むように提案してもよい。また、話題のキーワードが特定の場所の名称の場合、場所の名称で検索し、検索結果として、場所の情報を提供する。

また、情報出力装置１０は、キーワードに関連する情報として、提案の他に、追加の質問を生成して、出力をしてもよい。これにより、話者が発したキーワードに対する回答の内容の確度がより高まる。

なお、制御部１７が、願望の可能性度合いに応じて、検索内容を変えてもよい。「腹減るなあ」の場合は、カフェ程度の提案、「腹減ったー」の場合は、本格的に食事ができるレストランの提案がされる。また、提案の代わりに、制御部１７が、「なるほど～」、「ふ～ん」等の相づちの音声を出力してもよい。

制御部１７が、キーワードに関連する情報を表示部１３に出力してもよい。例えば、制御部１７が、レスポンスするテキストデータ形式で表示させたり、関連した映像等を再生したりする。

また、外部サーバ装置において、検索またはＡＩアシスタント機能により、キーワードに関連する情報を求めてもよい。

なお、情報出力装置１０は、搭乗者Ｐｓの会話の状態に応じて所定時間を設定してもよい。例えば、ステップＳ１において会話のテンポが速いと分析された場合、または、会話が盛り上がっていると分析された場合、ステップＳ３において、制御部１７が、会話のリズムに合わせて所定時間を短くしてもよい。また、ステップＳ１において搭乗者の数が１人と分析された場合、ステップＳ３において、制御部１７が、会話の相手が車両Ｖｈ内にいないので、所定時間を短くしてもよい。

また、情報出力装置１０は、車両Ｖｈの走行状態に応じて所定時間を設定してもよい。例えば、ステップＳ１において車両Ｖｈの走行状態が渋滞中であると分析された場合、ステップＳ３において、制御部１７が、所定時間を短くしてもよい。車両Ｖｈの走行状態が渋滞中でない場合、制御部１７が、所定時間を長くしてもよい。渋滞中は、イライラしやすいので、所定時間を短くして、情報出力装置１０からのレスポンスを早くする。

以上説明したように、実施例に係る動作によれば、会話の音声データを取得し、音声データからキーワードを抽出し、無音声時間をカウントして、無音声時間が所定時間以上になった場合、キーワードに関連する情報を出力することにより、会話が止まってから直ぐにキーワードに関連する情報を出力せず、所定時間以上の間隔を置いて出力するので、会話の妨げをできるだけ防止することができる。会話の妨げをできるだけ防止することで、その場の空気を読んだような効果を実現できる。

また、話者の明確な指示になる前に、願望の可能性により回答をしているので、話者に先回りしてレスポンスができる、いわゆる気の利いたシステムを構築できる。

また、音声データから会話の状態を分析し、無音時間が、会話の状態に応じて設定された所定時間以上になったとき、キーワードに関連する情報を出力する場合、会話の状態に応じた長さに所定時間が設定されるので、より会話の妨げをできるだけ防止することができる。

また、音声データに基づいて会話に話者の願望の可能性度合いを判定し、無音時間が、話者の願望の可能性度合いに応じて設定された所定時間以上になったとき、キーワードに関連する情報を出力する場合、話者の願望の可能性度合いに応じた長さに所定時間が設定されるので、より会話の妨げをできるだけ防止することができる。

また、会話の話者が搭乗する車両Ｖｈ等の移動体の走行状態を検出し、無音時間が、走行状態に応じて設定された所定時間以上になったとき、キーワードに関連する情報を出力する場合、走行状態に応じた長さに所定時間が設定されるので、より会話の妨げをできるだけ防止することができる。

（変形例）
次に、情報出力装置１０の動作の変形例について図７を用いて説明する。なお、前記実施例と同一または対応する部分には、同一の符号を用いて異なる構成および動作のみを説明する。

図７は、実施例に係る情報出力装置の動作の変形例を示すフローチャートである。

図７に示すように、情報出力装置１０は、音声データを取得して分析する（ステップＳ１１）。具体的には、ステップＳ１のように、制御部１７が、マイクロフォンＭｃから車両Ｖｈ内の音の電気信号を受信し、Ａ/Ｄ変換して音のデジタル信号にする。制御部１７が、音のデジタル信号に含まれる音声データをテキストデータに変換し、自然言語処理等のＡＩ機能により意味解釈して、会話に話者の願望の可能性が含まれている否かを分析する。

なお、制御部１７が、音のデジタル信号から、搭乗者Ｐｓが発する声のイントネーション等を分析してもよい。また、制御部１７が、自然言語処理等のＡＩ機能により意味解釈して、話者である搭乗者Ｐｓの願望の可能性の程度を算出してもよい。

また、制御部１７が、ＡＩ機能により、各搭乗者Ｐｓを識別して、搭乗者Ｐｓの数を推定したり、搭乗者Ｐｓの年齢、性別、個人を特定したりしてもよい。制御部１７が、ＡＩ機能により、会話のテンポ、会話の盛り上がり度等の会話の状態を、音声データから分析してもよい。制御部１７が、ＡＩ機能により意味解釈することにより、会話の話題を特定してもよい。

次に、情報出力装置１０は、願望であるか否かを判定する（ステップＳ１２）。具体的には、制御部１７が、自然言語処理等のＡＩ機能により意味解釈して、音声データに基づいて会話、または、会話の文章に、話者の願望の可能性が含まれているか否かを判定する。

願望でない場合（ステップＳ１２；ＮＯ）、情報出力装置１０は、ステップＳ１１の処理に戻る。

願望である場合（ステップＳ１２；ＹＥＳ）、情報出力装置１０は、所定時間を設定する（ステップＳ１３）。例えば、制御部１７が、ステップＳ１１で算出された、話者の願望の可能性の程度に応じて、ステップＳ３のように、所定時間を設定する。また、情報出力装置１０は、会話の状態に応じて所定時間を設定してもよい。情報出力装置１０は、車両Ｖｈの走行状態に応じて所定時間を設定してもよい。

次に、情報出力装置１０は、音声データを取得して分析する（ステップＳ１４）。具体的には、制御部１７が、ステップＳ１１のように、音声データを取得し、自然言語処理等のＡＩ機能により意味解釈して、会話に話者の願望の可能性に対する回答が含まれているか否かを分析する。

次に、情報出力装置１０は、回答か否かを判定する（ステップＳ１５）。具体的には、制御部１７が、ステップＳ１４の音声データの分析結果に基づき、会話に話者の願望の可能性に対する回答が含まれているか否かを判定する。

回答が含まれている場合（ステップＳ１５；ＹＥＳ）、情報出力装置１０は、ステップＳ１１の処理に戻る。

回答が含まれていない場合（ステップＳ１５；ＮＯ）、情報出力装置１０は、時間をカウントする（ステップＳ１６）。具体的には、制御部１７が、願望に対する回答が、ステップＳ１５の判定以後の会話に含まれていない時間（無回答時間）の計測を始める。なお、制御部１７が、時計機能を使用して、ステップＳ１５で願望の可能性があると判定された時刻と、現在の時刻とを比較して、カウントされた時間としてもよい。

次に、情報出力装置１０は、回答が含まれていない時間が所定時間以上であるか否かを判定する（ステップＳ１７）。具体的には、制御部１７が、カウントされた時間が設定された所定時間以上であるか否かを判定する。

所定時間以上でない場合（ステップＳ１７；ＮＯ）、情報出力装置１０は、ステップＳ１４の処理に戻る。

所定時間以上である場合（ステップＳ１７；ＹＥＳ）、情報出力装置１０は、ステップＳ８のように、話者の願望に対応する情報を出力する（ステップＳ１８）。具体的には、制御部１７が、ステップＳ１２における願望を含む、話者が発した文章に基づき、ＡＩアシスタント機能により、話者の願望に対応する情報としてレスポンスするテキストデータ形式の文章を生成し、音声を合成して、スピーカＳｐから音声を出力させる。レスポンスする内容が楽曲の場合は、制御部１７が、音楽データを取得して、楽曲を再生してスピーカＳｐから音楽を出力させる。

例えば、話者が「腹減るなあ」、「腹減ったなあ」、「腹減ったー」等発して、願望の可能性があるとされた場合、ナビゲーション機能で設定されているルート近辺にあるレストランが検索され、制御部１７が検索結果に基づく特定のレストランでの食事を勧める文章を生成して、スピーカＳｐから音声で提案をする。話者が「疲れるなあ」、「疲れたなあ」、「疲れたー」等発して、話者の願望の可能性があるとされた場合、ナビゲーション機能で設定されているルート近辺にあるパーキングエリア、喫茶店等や、再生する音楽が検索され、制御部１７が検索結果に基づく特定のパーキングエリア、喫茶店等での休憩を勧める文章、または、再生する音楽を勧める文章を生成して、スピーカＳｐから音声で提案をする。話題として場所の名称の場合、場所の名称で検索し、検索結果として、場所の情報を提供する。

制御部１７が、ステップＳ１１で算出された、話者の願望の可能性の程度に応じて、願望に対応する情報を変えてもよい。例えば、「腹減るなあ」の場合は、カフェ程度の提案、「腹減ったー」の場合は、本格的に食事ができるレストランの提案がされる。

以上説明したように、変形例に係る動作によれば、会話の音声データを取得し、音声データに基づいて会話に話者の願望の可能性が含まれているか否かを判定し、願望の可能性が含まれていると判定された場合に、願望に対する回答が会話に含まれていない時間をカウントし、無回答時間が所定時間以上になった場合、願望に対応する情報を出力することにより、話者の願望が検出されてから直ちに願望に対応する情報を出力せず、会話の話者達の中で回答が無い時間が所定時間以上の間隔を置いて、願望に対応する情報を出力するので、会話の妨げをできるだけ防止することができる。

１、１０・・・情報出力装置
１ａ・・・音声取得手段
１ｂ・・・キーワード抽出手段
１ｃ・・・無音声時間カウント手段
１ｄ・・・出力手段

Claims (8)

1. 会話の音声データを取得する音声取得手段と、
   前記音声データからキーワードを抽出するキーワード抽出手段と、
   無音声時間をカウントする無音声時間カウント手段と、
   前記無音声時間が所定時間以上になった場合、前記キーワードに関連する情報を出力する出力手段と、
   を備えることを特徴とする情報出力装置。
2. 請求項１に記載の情報出力装置において、
   前記音声データから会話の状態を分析する会話状態分析手段を更に備え、
   前記所定時間が、前記会話の状態に応じて設定されることを特徴とする情報出力装置。
3. 請求項１または請求項２に記載の情報出力装置において、
   前記音声データに基づいて前記会話に話者の願望の可能性度合いを判定する願望可能性度合判定手段を更に備え、
   前記所定時間が、前記話者の願望の可能性度合いに応じて設定されることを特徴とする情報出力装置。
4. 請求項１から請求項３のいずれか１項に記載の情報出力装置において、
   前記会話の話者が搭乗する移動体の走行状態を検出する走行状態検出手段を更に備え、
   前記所定時間が、前記走行状態に応じて設定されることを特徴とする情報出力装置。
5. 会話の音声データを取得する音声取得手段と、
   前記音声データに基づいて前記会話に話者の願望の可能性が含まれている否かを判定する願望判定手段と、
   前記願望判定手段によって、前記願望の可能性が含まれていると判定された場合に、前記願望に対する回答が前記願望判定以後の前記会話に含まれていない時間をカウントする無回答時間カウント手段と、
   前記無回答時間が所定時間以上になった場合、前記願望に対応する情報を出力する出力手段と、
   を備えることを特徴とする情報出力装置。
6. 音声取得手段が、会話の音声データを取得する音声取得ステップと、
   キーワード抽出手段が、前記音声データからキーワードを抽出するキーワード抽出ステップと、
   無音声時間カウント手段が、無音声時間をカウントする無音声時間カウントステップと、
   出力手段が、前記無音声時間が所定時間以上になった場合、前記キーワードに関連する情報を出力する出力ステップと、
   を含むことを特徴とする情報出力方法。
7. 音声取得手段が、会話の音声データを取得する音声取得ステップと、
   願望判定手段が、前記音声データに基づいて前記会話に話者の願望の可能性が含まれている否かを判定する願望判定ステップと、
   無回答時間カウント手段が、前記願望判定手段によって、前記願望の可能性が含まれていると判定された場合に、前記願望に対する回答が前記判定以後の前記会話に含まれていない時間をカウントする無回答時間カウントステップと、
   出力手段が、前記無回答時間が所定時間以上になった場合、前記願望に対応する情報を出力する出力ステップと、
   を含むことを特徴とする情報出力方法。
8. コンピュータを、請求項１から請求項５のいずれか１項に記載の情報出力装置として機能させることを特徴とする情報出力装置用プログラム。

Images