JP2022165338A

JP2022165338A - エージェント装置

Info

Publication number: JP2022165338A
Application number: JP2021070698A
Authority: JP
Inventors: 光古賀; Ko Koga
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2021-04-19
Filing date: 2021-04-19
Publication date: 2022-10-31

Abstract

【課題】本発明は、対話を再開する場合において、対話中断中の運転状況を考慮して効率良く対話内容が思い出させることができるエージェント装置を提供することを目的とする。【解決手段】エージェント装置は、車両の乗員の発話に基づいて入力された音声情報、及び前記乗員が前記車両を運転する状況を示す運転状況情報を取得する取得部と、前記発話に対する応答としての音声情報を生成する応答生成部と、前記運転状況情報から運転の負荷を算出する運転負荷算出部と、運転の負荷を用いて、運転における負荷度合が大きい運転状況を特定する運転状況特定部と、前記運転状況に応じて、運転時における応答の中断、又は再開を制御する制御部と、を備え、前記応答生成部は、前記運転状況における負荷度合に応じて、中断する前の前記応答を継続させる応答情報を生成する。【選択図】図４

Description

本発明は、発話に対する応答を提示するエージェント装置に関する。

特許文献１には、対話が中断した場合において、中断前の対話内容を出力する音声対話装置が開示されている。

特許３５０５９８２号公報

特許文献１の音声対話装置は、入力された音声に応じて応答を出力して、入力された音声、及び出力した応答を対話履歴として記憶し、対話が中断された後において対話を再開する場合、中断前の対話履歴の内容を出力する。しかしながら、対話を再開する場合において、対話を中断している際の運転状況が考慮されずに対話履歴の内容を一律に出力するため、出力される内容が不足している、又は冗長である場合があり、効率良く対話内容を思い出させることができないことある。

本発明は、対話を再開する場合において、対話中断中の運転状況を考慮して効率良く対話内容が思い出させることができるエージェント装置を提供することを目的とする。

請求項１に記載のエージェント装置は、車両の乗員の発話に基づいて入力された音声情報、及び前記乗員が前記車両を運転する状況を示す運転状況情報を取得する取得部と、前記発話に対する応答としての音声情報を生成する応答生成部と、前記運転状況情報から運転の負荷を算出する運転負荷算出部と、運転の負荷を用いて、運転における負荷度合が大きい運転状況を特定する運転状況特定部と、前記運転状況に応じて、運転時における応答の中断、又は再開を制御する制御部と、を備え、前記応答生成部は、前記運転状況における負荷度合に応じて、中断する前の前記応答を継続させる応答情報を生成する。

エージェント装置は、取得部が、乗員が乗車している車両から音声情報、及び運転状況情報を取得すると、応答生成部が音声情報に対応する応答情報を生成し、提示部が応答情報を提示する。エージェント装置は、運転負荷算出部が運転状況情報から運転の負荷を算出し、運転状況特定部が、運転における負荷度合が大きい運転状況を特定し、制御部が当該運転状況に応じて対話の中断、又は再開を制御する。また、エージェント装置は、応答生成部が負荷度合に応じて、中断する前の応答を継続させる応答情報を生成する。当該エージェント装置によれば、対話中断中の運転負荷を算出し、運転負荷から中断前の対話の忘却度合を考慮した対話を思い出すための応答情報を生成することができる。

本発明によれば、対話中断中の運転状況を考慮して効率良く対話内容を思い出させることができる。

本実施形態に係るエージェントシステムの概略構成を示す図である。本実施形態に係る車両のハードウェア構成を示すブロック図である。本実施形態に係るエージェントサーバのハードウェア構成を示すブロック図である。本実施形態に係るエージェントサーバの機能構成を示すブロック図である。本実施形態に係る時間及び運転の負荷における関係を示すグラフである。本実施形態に係るエージェントシステムにおいて実行される処理の流れを示すフローチャートである。

本発明のエージェント装置を含むエージェントシステムについて説明する。エージェント装置は、車両の機能のうち車両に搭乗する乗員の発話に係る音声情報に対応する応答情報を提示するエージェントとして機能する。

［第１の実施形態］
図１に示されるように、本実施形態のエージェントシステム１０は、車両１２と、エージェント装置としてのエージェントサーバ３０と、情報提供サーバ４０と、を含んで構成されている。車両１２は、車載器２０と、制御装置である複数のＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）２２と、を含んでいる。車載器２０、エージェントサーバ３０、及び情報提供サーバ４０は、ネットワークＮを介して相互に接続されている。

情報提供サーバ４０は、店舗及び建物等の目標物（ＰＯＩ：ＰｏｉｎｔＯｆＩｎｔｅｒｅｓｔ）の情報（以下、「目標物情報」という。）を提供するサーバである。

車載器２０は、各ＥＣＵ２２から送信されたＣＡＮプロトコルに基づく通信情報を取得し、エージェントサーバ３０に送信する機能を有している。

本実施形態のＥＣＵ２２としては、車両制御ＥＣＵ、エンジンＥＣＵ、ブレーキＥＣＵ、ボデーＥＣＵ、カメラＥＣＵ、マルチメディアＥＣＵが例示される。車載器２０及び各ＥＣＵ２２は、外部バス２９を介して、相互に接続されている。

図２に示されるように、車載器２０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０Ａ、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０Ｂ、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０Ｃ、車内通信Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）２０Ｄ、無線通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、車内通信Ｉ／Ｆ２０Ｄ、無線通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、内部バス２０Ｇを介して相互に通信可能に接続されている。

ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。

ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。本実施形態のＲＯＭ２０Ｂには、車載器２０を制御するための制御プログラムが記憶されている。
ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。

車内通信Ｉ／Ｆ２０Ｄは、ＥＣＵ２２と接続するためのインタフェースである。当該インタフェースは、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）プロトコルによる通信が行われている。なお、車内通信Ｉ／Ｆ２０Ｄでは、イーサネット（登録商標）による通信規格を適用してもよい。車内通信Ｉ／Ｆ２０Ｄは、外部バス２９に対して接続されている。つまり、外部バス２９において、車載器２０及び各ＥＣＵ２２の間で送受信されるデータは、ＣＡＮプロトコルに基づく通信フレームとして送受信される。

無線通信Ｉ／Ｆ２０Ｅは、エージェントサーバ３０、及び情報提供サーバ４０と通信するための無線通信モジュールである。当該無線通信モジュールは、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の通信規格が用いられる。無線通信Ｉ／Ｆ２０Ｅは、ネットワークＮに対して接続されている。

入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載されるマイク２４、スピーカ２５、モニタ２６、ＧＰＳ装置２７、及びカメラ２８と通信するためのインタフェースである。なお、マイク２４、スピーカ２５、モニタ２６、ＧＰＳ装置２７、及びカメラ２８は、内部バス２０Ｇに対して直接接続されていてもよい。

マイク２４は、インストルメントパネル、センタコンソール、フロントピラー、又はダッシュボード等に設けられ、車両１２の乗員が発した音声を集音する装置である。

スピーカ２５は、インストルメントパネル、センタコンソール、フロントピラー、又はダッシュボード等に設けられ、音声を出力するための装置である。

モニタ２６は、車両１２のインストルメントパネル、ダッシュボード等に設けられ、種々の情報を表示するための液晶モニタである。

ＧＰＳ装置２７は車両１２の現在地を測定する装置である。ＧＰＳ装置２７は、ＧＰＳ衛星からの信号を受信する図示しないアンテナを含んでいる。なお、ＧＰＳ装置２７は、図示しないカーナビゲーションシステムを経由して車載器２０に接続されていてもよい。

カメラ２８は、フロントウィンドウの上部やルームミラーに隣接して設けられ、車両１２の乗員の様子、及び車両１２の外部の様子を撮像するための撮像装置である。

エージェントサーバ３０は、車載器２０から車両１２の通信情報を取得することにより、車両１２の制御状態を把握する。また、エージェントサーバ３０は、車両１２の乗員に対し、応答情報の提示を行う。

図３に示されるように、エージェントサーバ３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅを含んで構成されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅは、内部バス３０Ｇを介して相互に通信可能に接続されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ及び通信Ｉ／Ｆ３０Ｅの機能は、上述した車載器２０のＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ及び無線通信Ｉ／Ｆ２０Ｅと同じである。なお、通信Ｉ／Ｆ３０Ｅは有線による通信を行ってもよい。

記憶部としてのストレージ３０Ｄは、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）又はＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）により構成され、各種プログラム及び各種データを記憶している。本実施形態のストレージ３０Ｄには、処理プログラム１００が記憶されている。なお、ＲＯＭ３０Ｂが処理プログラム１００を記憶してもよい。

処理プログラム１００は、エージェントサーバ３０を制御するためのプログラムである。

図４に示されるように、本実施形態のエージェントサーバ３０では、ＣＰＵ３０Ａが、処理プログラム１００を実行することで、取得部２００、意図理解部２１０、運転負荷算出部２２０、運転状況特定部２３０、制御部２４０、応答生成部２５０、提示部２６０、及び記憶部２７０として機能する。

取得部２００は、車両１２の乗員の発話に係る音声情報を取得する機能を有している。具体的に、取得部２００は、乗員がマイク２４に向けて発話した音声に係る音声情報を車載器２０から受信することで発話を取得する。また、取得部２００は、車両の運転の状況に係る運転状況情報を取得する。運転状況情報とは、ＧＰＳ装置２７を用いて取得した車両の現在地、及びカメラ２８を用いて取得した車両１２の内部及び外部を撮像した撮像画像である。また、運転状況情報は、図示しないカーナビゲーションから取得した車両１２の周辺の地図情報、及びＥＣＵ２２から取得した車両１２の速度等の情報を含んでいる。

意図理解部２１０は、音声情報から乗員の発話の意図を解析し、理解する機能を有している。意図理解部２１０は、取得部２００において取得された発話から意図を解析する。例えば、意図理解部２１０は、「近くの飲食店を教えて」という乗員の発話を解析して、発話の意図として、乗員が飲食店を所望している旨を取得する。

運転負荷算出部２２０は、運転状況情報から運転の負荷を算出する機能を有している。具体的には、運転負荷算出部２２０は、運転状況情報に含まれている車両の現在地、撮像画像、地図情報、及び速度を用いて、乗員が車両を運転するのに掛かる負荷を算出する。例えば、運転負荷算出部２２０は、車両１２が他の車両及び人の往来が多い交差点を走行している状況、及び高速道路を走行している状況における車両１２を運転のするために要する集中の度合、及び注意の度合を運転の負荷として算出する。

運転状況特定部２３０は、算出された運転の負荷を用いて、運転の負荷の度合（以下、「負荷度合」という。）が大きい運転状況を特定する機能を有している。具体的には、運転状況特定部２３０は、運転の負荷が予め定められた閾値を超えた場合、負荷が大きい運転状況であると判定を行い、運転の負荷が予め定められた閾値を下回った場合、負荷が大きい運転状況を脱したと判定を行い、運転状況を特定する。また、運転状況特定部２３０は、運転の負荷が予め定められた閾値を超えてから運転の負荷が閾値を下回るまでの期間における負荷度合を算出する。一例として、図５に示すように、運転状況特定部２３０は、運転の負荷が閾値を超えたｔ１から運転の負荷が閾値を下回るｔ２までの期間である「負荷度合が大きい運転状況」における運転の負荷を積算して、負荷度合を算出する。ここで、運転の負荷が閾値を超えていない場合、負荷度合は０であるものとする。

制御部２４０は、運転状況に応じて、運転時における乗員との対話の中断、及び再開を制御する機能を有している。具体的には、制御部２４０は、負荷の大きい運転状況である（運転の負荷が予め定められた閾値を超えた）場合、乗員との対話を中断する制御を行う。また、制御部２４０は、対話を中断した場合において、負荷の大きい運転状況を脱した（運転の負荷が予め定められた閾値を下回った）場合、乗員との対話を再開する制御を行う。

応答生成部２５０は、音声情報に対応した応答である応答情報を生成する機能を有している。具体的には、応答生成部２５０は、意図理解部２１０によって音声情報から解析された意図を用いて、情報提供サーバから意図に応じた目標物情報を取得して、応答情報を生成する。例えば、応答生成部２５０は、乗員が飲食店を所望している旨を情報提供サーバに送信し、車両１２の周辺に位置する飲食店の情報を取得して、応答情報を生成する。なお、運転の負荷が閾値を超えておらず、対話が中断されていない（負荷度合は０である）場合、目標物情報を用いて応答情報が生成される。

また、応答生成部２５０は、運転状況特定部２３０によって算出された負荷度合に応じた応答情報を生成する機能を有している。具体的には、応答生成部２５０は、対話が再開された場合において、後述する記憶部２７０から中断する前の対話内容を取得し、負荷度合に応じて、乗員に対話内容を思い出させ、対話を継続させるための応答情報を生成する。

例えば、応答生成部２５０は、負荷度合が第１の閾値以上である場合、負荷度合が「大」であると判定し、負荷度合が第１の閾値より小さい、かつ第１の閾値より小さい第２の閾値以上である場合、負荷度合が「中」であると判定する。また、応答生成部２５０は、負荷度合が第二の閾値より小さい場合、負荷度合が「小」であると判定する。

応答生成部２５０は、負荷度合が「大」である場合、記憶されている対話内容を用いて、「中断した対話は飲食店の検索の対話でした。お勧めは３件あり、１件目はＸＸラーメンをご紹介した所でした。続きを知りたいですか？」という応答情報を生成する。また、応答生成部２５０は、負荷度合が「中」である場合、「お勧めは３件あり、１件目のお勧めはＸＸラーメンでした。続きを知りたいですか？」という応答情報を生成する。また、応答生成部２５０は、負荷度合が「小」である場合、「１件目をご紹介した所でした。続きを知りたいですか？」という応答情報を生成する。

上述したように、応答生成部２５０は、負荷度合に応じて、対話の時系列を遡った異なる情報量の応答情報が生成される。これにより、対話内容の忘却度合が考慮された応答情報が生成され、対話が再開される。

提示部２６０は、応答情報を車両１２の乗員に提示する機能を有している。具体的には、応答生成部２５０によって生成された応答情報を車両１２に提示する。

記憶部２７０は、対話内容を記憶する機能を有している。具体的には、取得部２００によって取得された音声情報、応答生成部２５０によって生成された音声情報に対応する応答情報、及び取得した目標物情報を時系列順に記憶する。

（制御の流れ）
本実施形態のエージェントシステム１０において実行される処理の流れについて、図６のフローチャートを用いて説明する。エージェントサーバ３０における処理は、ＣＰＵ３０Ａが、取得部２００、意図理解部２１０、運転負荷算出部２２０、運転状況特定部２３０、制御部２４０、応答生成部２５０、提示部２６０、及び記憶部２７０として機能することで実現される。図６に示す処理は、例えば、乗員から発話が入力され、処理プログラムの実行指示が入力された場合、実行される。

ステップＳ１００において、ＣＰＵ３０Ａは、音声情報、及び運転状況情報を含む通信情報を取得する。

ステップＳ１０１において、ＣＰＵ３０Ａは、音声情報を用いて、乗員の意図に応じた目標物情報を取得する。

ステップＳ１０２において、ＣＰＵ３０Ａは、運転状況情報を用いて、運転の負荷を算出する。

ステップＳ１０３において、ＣＰＵ３０Ａは、運転の負荷が閾値を超えたか否かの判定を行う。運転の負荷が閾値を超えた場合（ステップＳ１０３：ＹＥＳ）、ＣＰＵ３０Ａは、ステップＳ１０５に移行する。一方、運転の負荷が閾値を超えていない（運転の負荷が閾値以下である）場合（ステップＳ１０３：ＮＯ）、ＣＰＵ３０Ａは、ステップＳ１０４に移行する。

ステップＳ１０４において、ＣＰＵ３０Ａは、目標物情報を用いて、応答情報を生成する。

ステップＳ１０５において、ＣＰＵ３０Ａは、負荷度合が大きい運転状況であるとして、対話を中断する。

ステップＳ１０６において、ＣＰＵ３０Ａは、運転状況情報を含む通信情報を取得する。

ステップＳ１０７において、ＣＰＵ３０Ａは、運転状況情報を用いて、運転の負荷を算出する。

ステップＳ１０８において、ＣＰＵ３０Ａは、運転の負荷が閾値を下回ったか否かの判定を行う。運転の負荷が閾値を下回った場合（ステップＳ１０８：ＹＥＳ）、ＣＰＵ３０Ａは、ステップＳ１０９に移行する。一方、負荷レベルが閾値を下回っていない（運転の負荷が閾値以上である）場合（ステップＳ１０８：ＮＯ）、ＣＰＵ３０Ａは、ステップＳ１０６に移行して、運転状況情報を含む通信情報を取得する。

ステップＳ１０９において、ＣＰＵ３０Ａは、負荷度合が大きい運転状況における運転の負荷を積算して、運転の負荷度合を算出する。

ステップＳ１１０において、ＣＰＵ３０Ａは、記憶されている対話内容を用いて、負荷度合に応じた応答情報を生成する。ここで、生成される応答情報は、負荷度合が大きいほど、時系列を遡った対話内容を用いて応答情報が生成される。

ステップＳ１１１において、ＣＰＵ３０Ａは、生成した応答情報を車載器２０に送信する。

ステップＳ１１２において、ＣＰＵ３０Ａは、音声情報、応答情報、及び目標物情報を記憶する。

ステップＳ１１３において、ＣＰＵ３０Ａは、対話を終了するか否かの判定を行う。対話を終了する場合（ステップＳ１１３：ＹＥＳ）、ＣＰＵ３０Ａは、処理を終了する。一方、対話を終了しない場合（ステップＳ１１３：ＮＯ）、ＣＰＵ３０Ａは、ステップＳ１００に移行して、音声情報、及び運転状況情報を含む通信情報を取得する。

（第１の実施形態のまとめ）
本実施形態のエージェントサーバ３０は、取得部２００が運転状況情報を取得し、運転負荷算出部２２０が運転の負荷を算出し、運転状況特定部２３０が、運転の負荷を用いて、負荷度合が大きい運転状況を特定して負荷度合を算出する。エージェントサーバ３０は、制御部２４０が、運転状況に応じて対話の中断、及び再開を制御し、応答生成部２５０が、負荷度合が大きい運転状況における負荷度合に応じた応答情報を生成する。そして、当該エージェントサーバ３０は、車両１２に応答情報を提示する。

以上、本実施形態によれば、対話中断中の運転状況を考慮して効率良く対話内容を振り替えることができる。

［備考］
なお、本実施形態では、運転の負荷を積算して負荷度合を算出する形態について説明した。しかし、これに限定されない。運転の負荷が閾値を超えてから運転の負荷が閾値を下回る期間の長さに応じて、運転の負荷度合を算出してもよい。

なお、上記実施形態でＣＰＵ２０Ａ、ＣＰＵ３０Ａがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）、及びＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、ＣＰＵ２０Ａにおける制御プログラムはＲＯＭ２０Ｂに予め記憶され、ＣＰＵ３０Ａにおける処理プログラム１００はストレージ３０Ｄに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１２車両
３０エージェント装置
２００取得部
２２０運転負荷算出部
２３０運転状況特定部
２４０制御部
２５０応答生成部
２６０提示部

Claims

車両の乗員の発話に基づいて入力された音声情報、及び前記乗員が前記車両を運転する状況を示す運転状況情報を取得する取得部と、
前記発話に対する応答としての音声情報を生成する応答生成部と、
前記運転状況情報から運転の負荷を算出する運転負荷算出部と、
運転の負荷を用いて、運転における負荷度合が大きい運転状況を特定する運転状況特定部と、
前記運転状況に応じて、運転時における応答の中断、又は再開を制御する制御部と、を備え、
前記応答生成部は、前記運転状況における負荷度合に応じて、中断する前の前記応答を継続させる応答情報を生成するエージェント装置。