JP2022165339A

JP2022165339A - エージェント装置

Info

Publication number: JP2022165339A
Application number: JP2021070699A
Authority: JP
Inventors: 光古賀; Ko Koga
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2021-04-19
Filing date: 2021-04-19
Publication date: 2022-10-31

Abstract

【課題】本発明は、認知負荷が大きい場合において、運転者の注意が妨げられることを抑制できるエージェント装置を提供することを目的とする。【解決手段】エージェント装置は、車両の乗員の発話に基づいて入力された音声である音声情報、及び前記乗員のうちの運転者が前記車両を運転する状況を示す運転状況情報を取得する取得部と、前記運転状況情報から前記運転者に掛かる認知負荷を算出する認知負荷算出部と、前記認知負荷が大きい場合、前記運転者及び他の前記乗員の発話が車両の運転に関する対話であるか否かを判定する対話判定部と、前記対話が車両の運転と関連性の低い対話である場合、前記対話に介入するための応答を提示する提示部と、を備えている。【選択図】図４

Description

本発明は、発話に対する応答を提示するエージェント装置に関する。

特許文献１には、運転者の運転負荷が大きい場合において、同乗者へ運転負荷が大きいことを伝達する対話装置が開示されている。

特許３５０５９８２号公報

ところで、運転者に負荷が掛かる運転負荷には、ステアリング操作等の車両操作だけでなく、ナビゲーションの表示内容を解釈する、及び音声エージェントが伝達する内容を理解する等の認知負荷が存在する。例えば、右左折及び車線変更等の運転負荷が大きい場面において、運転者に話し掛ける同乗者の対話、及び運転者と同乗者との対話へ介入する音声は、内容を認知するのに負荷が掛かり、運転者にとって煩わしく感じことがあり、運転者の注意が散漫することがある。また、同乗者が運転者に対して、運転に関するアドバイスを行っている場合、運転者と同乗者との対話に介入することは、内容を認知するのに負荷が掛かり、却って運転の注意を妨げる結果となることがある。

特許文献１の対話装置は、運転者に係る運転負荷を検出し、運転負荷が大きい場合において、他の乗員から運転者への発話を検出した場合、運転負荷に応じて、当該発話に応答する音声を提示する。しかしながら、運転者及び同乗者の対話の内容が考慮されていないため、認知負荷が大きい場合において、運転者の注意が妨げられる虞がある。

本発明は、認知負荷が大きい場合において、運転者の注意が妨げられることを抑制できるエージェント装置を提供することを目的とする。

請求項１に記載のエージェント装置は、車両の乗員の発話に基づいて入力された音声である音声情報、及び前記乗員のうちの運転者が前記車両を運転する状況を示す運転状況情報を取得する取得部と、前記運転状況情報から前記運転者に掛かる認知負荷を算出する認知負荷算出部と、前記認知負荷が大きい場合、前記運転者及び他の前記乗員の発話が車両の運転に関する対話であるか否かを判定する対話判定部と、前記対話が車両の運転と関連性の低い対話である場合、前記対話に介入するための応答を提示する提示部と、を備えている。

請求項１に記載のエージェント装置は、取得部が、乗員が乗車している車両から音声情報、及び運転状況情報を取得すると、認知負荷算出部が運転者に掛かる認知負荷を算出する。エージェント装置は、認知負荷が大きい場合において、対話判定部が前記運転者及び他の前記乗員の発話が車両の運転に関する対話であるか否かを判定し、対話が車両の運転と関連性の低い対話である場合、提示部が対話に介入するための応答を提示する。当該エージェント装置によれば、認知負荷が大きい場合において、運転者の注意が妨げられることを抑制できる。

本発明によれば、認知負荷が大きい場合において、運転者の注意が妨げられることを抑制できる。

本実施形態に係るエージェントシステムの概略構成を示す図である。本実施形態に係る車両のハードウェア構成を示すブロック図である。本実施形態に係るエージェントサーバのハードウェア構成を示すブロック図である。本実施形態に係るエージェントサーバの機能構成を示すブロック図である。本実施形態に係るエージェントシステムにおいて実行される処理の流れを示すフローチャートである。

本発明のエージェント装置を含むエージェントシステムについて説明する。エージェント装置は、車両の機能のうち車両に乗車する乗員の音声情報に対して、音声情報に対応する応答情報を提示するエージェントとして機能する。

［第１の実施形態］
図１に示されるように、本実施形態のエージェントシステム１０は、車両１２と、エージェント装置としてのエージェントサーバ３０と、を含んで構成されている。車両１２は、車載器２０と、制御装置である複数のＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）２２と、含んでいる。車載器２０、及びエージェントサーバ３０は、ネットワークＮを介して相互に接続されている。

車載器２０は、各ＥＣＵ２２から送信されたＣＡＮプロトコルに基づく通信情報を取得し、エージェントサーバ３０に送信する機能を有している。

本実施形態のＥＣＵ２２としては、車両制御ＥＣＵ、エンジンＥＣＵ、ブレーキＥＣＵ、ボデーＥＣＵ、カメラＥＣＵ、マルチメディアＥＣＵが例示される。車載器２０及び各ＥＣＵ２２は、外部バス２９を介して、相互に接続されている。

図２に示されるように、車載器２０は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）２０Ａ、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）２０Ｂ、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）２０Ｃ、車内通信Ｉ／Ｆ（ＩｎｔｅｒＦａｃｅ）２０Ｄ、無線通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆを含んで構成されている。ＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ、車内通信Ｉ／Ｆ２０Ｄ、無線通信Ｉ／Ｆ２０Ｅ及び入出力Ｉ／Ｆ２０Ｆは、内部バス２０Ｇを介して相互に通信可能に接続されている。

ＣＰＵ２０Ａは、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、ＣＰＵ２０Ａは、ＲＯＭ２０Ｂからプログラムを読み出し、ＲＡＭ２０Ｃを作業領域としてプログラムを実行する。

ＲＯＭ２０Ｂは、各種プログラム及び各種データを記憶している。本実施形態のＲＯＭ２０Ｂには、車載器２０を制御するための制御プログラムが記憶されている。
ＲＡＭ２０Ｃは、作業領域として一時的にプログラム又はデータを記憶する。

車内通信Ｉ／Ｆ２０Ｄは、ＥＣＵ２２と接続するためのインタフェースである。当該インタフェースは、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）プロトコルによる通信が行われている。なお、車内通信Ｉ／Ｆ２０Ｄでは、イーサネット（登録商標）による通信規格を適用してもよい。車内通信Ｉ／Ｆ２０Ｄは、外部バス２９に対して接続されている。つまり、外部バス２９において、車載器２０及び各ＥＣＵ２２の間で送受信されるデータは、ＣＡＮプロトコルに基づく通信フレームとして送受信される。

無線通信Ｉ／Ｆ２０Ｅは、エージェントサーバ３０と通信するための無線通信モジュールである。当該無線通信モジュールは、例えば、５Ｇ、ＬＴＥ、Ｗｉ－Ｆｉ（登録商標）等の通信規格が用いられる。無線通信Ｉ／Ｆ２０Ｅは、ネットワークＮに対して接続されている。

入出力Ｉ／Ｆ２０Ｆは、車両１２に搭載されるマイク２４、スピーカ２５、モニタ２６、ＧＰＳ装置２７、及びカメラ２８と通信するためのインタフェースである。なお、マイク２４、スピーカ２５、モニタ２６、ＧＰＳ装置２７、及びカメラ２８は、内部バス２０Ｇに対して直接接続されていてもよい。

マイク２４は、インストルメントパネル、センタコンソール、フロントピラー、又はダッシュボード等に設けられ、車両１２の乗員が発した音声を集音する装置である。

スピーカ２５は、インストルメントパネル、センタコンソール、フロントピラー、又はダッシュボード等に設けられ、音声を出力するための装置である。

モニタ２６は、車両１２のインストルメントパネル、ダッシュボード等に設けられ、種々の情報を表示するための液晶モニタである。

ＧＰＳ装置２７は車両１２の現在地を測定する装置である。ＧＰＳ装置２７は、ＧＰＳ衛星からの信号を受信する図示しないアンテナを含んでいる。なお、ＧＰＳ装置２７は、図示しないカーナビゲーションシステムを経由して車載器２０に接続されていてもよい。

カメラ２８は、フロントウィンドウの上部やルームミラーに隣接して設けられ、車両１２の乗員の様子、及び車両１２の外部の様子を撮像するための撮像装置である。

エージェントサーバ３０は、車載器２０から車両１２の通信情報を取得することにより、車両１２の制御状態を把握する。また、エージェントサーバ３０は、車両１２の乗員に対し、応答情報の提示を行う。

図３に示されるように、エージェントサーバ３０は、ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅを含んで構成されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ、ストレージ３０Ｄ及び通信Ｉ／Ｆ３０Ｅは、内部バス３０Ｇを介して相互に通信可能に接続されている。ＣＰＵ３０Ａ、ＲＯＭ３０Ｂ、ＲＡＭ３０Ｃ及び通信Ｉ／Ｆ３０Ｅの機能は、上述した車載器２０のＣＰＵ２０Ａ、ＲＯＭ２０Ｂ、ＲＡＭ２０Ｃ及び無線通信Ｉ／Ｆ２０Ｅと同じである。なお、通信Ｉ／Ｆ３０Ｅは有線による通信を行ってもよい。

記憶部としてのストレージ３０Ｄは、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）又はＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）により構成され、各種プログラム及び各種データを記憶している。本実施形態のストレージ３０Ｄには、処理プログラム１００が記憶されている。なお、ＲＯＭ３０Ｂが処理プログラム１００を記憶してもよい。

処理プログラム１００は、エージェントサーバ３０を制御するためのプログラムである。

図４に示されるように、本実施形態のエージェントサーバ３０では、ＣＰＵ３０Ａが、処理プログラム１００を実行することで、取得部２００、意図理解部２１０、認知負荷算出部２２０、認知負荷判定部２３０、対話判定部２４０、応答生成部２５０、及び提示部２６０として機能する。

取得部２００は、車両１２の乗員の発話に係る音声情報を取得する機能を有している。具体的に、取得部２００は、乗員がマイク２４に向けて発話した音声に係る音声情報を車載器２０から受信することで発話を取得する。また、取得部２００は、車両の運転の状況に係る運転状況情報を取得する。運転状況情報とは、ＧＰＳ装置２７を用いて取得した車両の現在地、及びカメラ２８を用いて取得した車両１２の内部及び外部を撮像した撮像画像である。また、運転状況情報は、図示しないカーナビゲーションから取得した車両１２の周辺の地図情報、及びＥＣＵ２２から取得した車両１２の速度等の情報を含んでいる。

意図理解部２１０は、音声情報から乗員の発話の意図を解析し、理解する機能を有している。意図理解部２１０は、取得部２００において取得された発話から意図を解析する。例えば、意図理解部２１０は、「前を走る車との車間距離が近いよ」という乗員の発話を解析して、「車」、及び「車間距離」という単語から運転に関する対話を行っている旨を取得する。

認知負荷算出部２２０は、車両を運転する運転者の認知負荷を算出する機能を有している。具体的には、認知負荷算出部２２０は、運転状況情報に含まれている車両の現在地、撮像画像、地図情報、及び速度を用いて、乗員が車両１２を運転するのに掛かる認知負荷を算出する。ここで、認知負荷の大きさは、車両１２の前方を走行する他の車両との車間距離に表れることがあり、例えば、前方を走行する他の車両との車間距離の変動が大きい場合、認知負荷が大きくなる。

認知負荷判定部２３０は、算出された認知負荷を用いて、運転者の認知負荷が大きいか否かを判定する機能を有している。具体的には、認知負荷判定部２３０は、算出された認知負荷が予め定められた閾値を超えた場合、運転者に掛かる認知負荷が大きい運転状況である判定を行う。

対話判定部２４０は、意図理解部２１０によって理解された発話の意図を用いて対話を判定し、対話への介入を制御する機能を有している。具体的には、発話の意図を用いて、車両１２の同乗者及び運転者の対話が運転に関する対話であるか否かを判定して、対話への介入を制御する。例えば、対話判定部２４０は、運転者に掛かる認知負荷が大きい運転状況において、音声情報を解析して得られた意図が運転とは関連性の低い発話である場合、対話に介入する制御を行う。一方、対話判定部２４０は、運転者に認知負荷が掛かる運転状況において、音声情報を解析して得られた意図が運転に関する発話である場合、対話に介入しない制御を行う。

応答生成部２５０は、音声情報に対して、対応した応答である応答情報を生成する機能を有している。具体的には、応答生成部２５０は、運転者に係る認知負荷が大きい場合、かつ対話の意図が運転に関する発話ではなかった場合、運転者、及び同乗者の対話に介入するための応答を生成する機能を有している。具体的には、運転状況情報を用いて、運転者と同乗者との対話に介入するための応答情報を生成する。例えば、応答生成部２５０は、車間距離が小さくなっている場合において、「現在、前方の車両との間隔が近くなっており、話し掛けると注意が逸れる虞があります。」という応答情報を生成する。

提示部２６０は、応答情報を車両１２の乗員に提示する機能を有している。

（制御の流れ）
本実施形態のエージェントシステム１０において実行される処理の流れについて、図５のフローチャートを用いて説明する。エージェントサーバ３０における処理は、ＣＰＵ３０Ａが、取得部２００、意図理解部２１０、認知負荷算出部２２０、認知負荷判定部２３０、対話判定部２４０、応答生成部２５０、及び提示部２６０として機能することで実現される。図５に示す処理は、例えば、乗員から発話が入力され、処理プログラムの実行指示が入力された場合、実行される。

ステップＳ１００において、ＣＰＵ３０Ａは、音声情報、及び運転状況情報を含む通信情報を取得する。

ステップＳ１０１において、ＣＰＵ３０Ａは、運転状況情報を用いて、認知負荷を算出する。例えば、認知負荷は、車両１２の前方を走行する他の車両との車間距離の変動に応じて算出される。

ステップＳ１０２において、ＣＰＵ３０Ａは、認知負荷が閾値を超えたか否かの判定を行う。認知負荷が閾値を超えた場合（ステップＳ１０２：ＹＥＳ）、ＣＰＵ３０Ａは、ステップＳ１０３に移行する。一方、認知負荷が閾値を超えていない（認知負荷が閾値以下である）場合（ステップＳ１０２：ＮＯ）、ＣＰＵ３０Ａは、ステップＳ１０８に移行する。

ステップＳ１０３において、ＣＰＵ３０Ａは、運転者と同乗者とが対話しているか否かの判定を行う。運転者と同乗者とが対話している場合（ステップＳ１０３：ＹＥＳ）、ＣＰＵ３０Ａは、ステップＳ１０４に移行する。一方、運転者と同乗者とが対話していない場合（ステップＳ１０３：ＮＯ）、ＣＰＵ３０Ａは、ステップＳ１０８に移行する。

ステップＳ１０４において、ＣＰＵ３０Ａは、音声情報を解析して運転者と同乗者との対話の意図を抽出する。

ステップＳ１０５において、ＣＰＵ３０Ａは、運転者と同乗者との対話が運転とは関連性が低い対話か否かの判定を行う。運転者と同乗者との対話が運転とは関連性が低い対話である場合（ステップＳ１０５：ＹＥＳ）、ＣＰＵ３０Ａは、ステップＳ１０６に移行する。一方、乗員同士の対話が運転に関する対話である場合（ステップＳ１０５：ＮＯ）、ＣＰＵ３０Ａは、ステップＳ１０８に移行する。

ステップＳ１０６において、ＣＰＵ３０Ａは、運転者と同乗者との対話に介入するための応答情報を生成する。ここで、応答情報は、例えば、「現在、前方の車両との間隔が近くなっており、話し掛けると注意が逸れる虞があります。」が生成される。

ステップＳ１０７において、ＣＰＵ３０Ａは、生成した応答情報を車載器２０に送信する。

ステップＳ１０８において、ＣＰＵ３０Ａは、応答情報の提示を終了するか否かの判定を行う。応答情報の提示を終了する場合（ステップＳ１０８：ＹＥＳ）、ＣＰＵ３０Ａは、処理を終了する。一方、応答情報の提示を終了しない場合（ステップＳ１０８：ＮＯ）、ＣＰＵ３０Ａは、ステップＳ１００に移行して、通信情報を取得する。

（第１の実施形態のまとめ）
本実施形態のエージェントサーバ３０は、取得部２００が音声情報、及び運転状況情報を取得し、認知負荷算出部２２０が運転状況情報を用いて、運転者に掛かる認知負荷を算出する。エージェントサーバ３０は、認知負荷判定部２３０が、認知負荷が大きい運転状況か否かを判定し、対話判定部２４０が、認知負荷が大きい運転状況である場合において、運転者と他の乗員との対話の内容が運転には関連性が低い対話である場合、対話に介入する制御を行う。そして、当該エージェントサーバ３０は、応答生成部２５０が対話に介入するための応答情報を生成して、提示部２６０が車両１２に応答情報を提示する。

以上、本実施形態によれば、対話中断中の運転状況を考慮して効率良く対話内容を振り替えることができる。

［備考］
なお、本実施形態では、認識負荷が掛かる場合において、運転者及び同乗者の対話が運転に関する対話である場合、対話に介入しない形態について説明した。しかし、これに限定されない。認識負荷が掛かる場合において、運転者のみの発話である場合、対話に介入しない制御を行ってもよい。例えば、音声情報から人物を識別するための機械学習を行った識別モデルを用いることによってユーザを識別し、認識負荷が掛かる場合において、二人以上のユーザによって行われている対話が、運転に関する対話でない場合、対話に介入する制御を行ってもよい。

なお、上記実施形態でＣＰＵ２０Ａ、ＣＰＵ３０Ａがソフトウェア（プログラム）を読み込んで実行した各種処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ）、及びＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、上述した処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

また、上記実施形態において、各プログラムはコンピュータが読み取り可能な非一時的記録媒体に予め記憶（インストール）されている態様で説明した。例えば、ＣＰＵ２０Ａにおける制御プログラムはＲＯＭ２０Ｂに予め記憶され、ＣＰＵ３０Ａにおける処理プログラム１００はストレージ３０Ｄに予め記憶されている。しかしこれに限らず、各プログラムは、ＣＤ－ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＤＶＤ－ＲＯＭ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、及びＵＳＢ（ＵｎｉｖｅｒｓａｌＳｅｒｉａｌＢｕｓ）メモリ等の非一時的記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

１２車両
３０エージェント装置
２００取得部
２２０認知負荷算出部
２３０認知負荷判定部
２４０対話判定部
２５０応答生成部
２６０提示部

Claims

車両の乗員の発話に基づいて入力された音声である音声情報、及び前記乗員のうちの運転者が前記車両を運転する状況を示す運転状況情報を取得する取得部と、
前記運転状況情報から前記運転者に掛かる認知負荷を算出する認知負荷算出部と、
前記認知負荷が大きい場合、前記運転者及び他の前記乗員の発話が車両の運転に関する対話であるか否かを判定する対話判定部と、
前記対話が車両の運転と関連性の低い対話である場合、前記対話に介入するための応答を提示する提示部と、
を備えたエージェント装置。