JP2017211539A - 音声処理システムおよび音声処理方法 - Google Patents

音声処理システムおよび音声処理方法 Download PDF

Info

Publication number
JP2017211539A
JP2017211539A JP2016105257A JP2016105257A JP2017211539A JP 2017211539 A JP2017211539 A JP 2017211539A JP 2016105257 A JP2016105257 A JP 2016105257A JP 2016105257 A JP2016105257 A JP 2016105257A JP 2017211539 A JP2017211539 A JP 2017211539A
Authority
JP
Japan
Prior art keywords
vehicle
conversation
voice
content
utterance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016105257A
Other languages
English (en)
Other versions
JP6604267B2 (ja
Inventor
聡彦 渡部
Satohiko Watabe
聡彦 渡部
池野 篤司
Tokuji Ikeno
篤司 池野
純一 伊藤
Junichi Ito
純一 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2016105257A priority Critical patent/JP6604267B2/ja
Publication of JP2017211539A publication Critical patent/JP2017211539A/ja
Application granted granted Critical
Publication of JP6604267B2 publication Critical patent/JP6604267B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Telephonic Communication Services (AREA)

Abstract

【課題】複数の車両間での意思疎通を支援する。【解決手段】音声処理システムは、第1の車両における会話音声に対して音声認識を行う音声認識手段と、前記音声認識の結果に基づいて、前記第1の車両における会話内容を決定する会話内容理解手段と、前記第1の車両の会話内容を知らせる発話を生成し、第2の車両において出力されるよう制御する出力制御手段と、を備える。前記第1の車両における会話内容に基づいて、当該会話内容を前記第2の車両に知らせるか否かを決定する伝達判断手段をさらに備え、前記伝達判断手段によって前記第1の車両における会話内容を第2の車両に知らせると決定した場合に、前記出力制御手段が、前記第1の車両の会話内容を知らせる発話が前記第2の車両において出力されるように制御する、ことが好ましい。【選択図】図1

Description

本発明は、音声処理システムに関し、特に、複数の車両間での意思疎通を支援するための音声処理システムに関連する。
大人数の集団が車両で移動する際、複数の車両に分乗することがある。その際に、車両間で意思疎通するために、電話(ボイスチャットアプリを含む)やテキストチャットを使用することが考えられる。テキストチャットは運転中のドライバが利用できないので、本開示では音声による意思疎通を検討する。
特許文献1は、複数の車両間でチャットを行う車載チャットシステムを開示する。特許文献1が開示する車載チャットシステムは、3台以上の車両から構成され、ある車両からの発話をその他の車両に配信し、配信後一定時間以内に他の2台以上の車両から発生した競合する音声に対しては、選別基準にしたがっていずれか1つのみを選別して各車両に配信する。
特開2006−195577号公報
音声伝送は、状況によっては話者が特定できないという問題や、人間同士で発話がかぶりターンテイキング(発話をいつ開始するかの決定)が難しいという問題がある。さらに特許文献1の手法では、複数車両で同時に発話が行われた場合に、1つの音声しか配信されないため、発話が通じないあるいは不自然になる可能性がある。
多人数による対面での会話では音声以外のマルチモーダルな情報を使って話者や発話タイミングを判断している。したがって、車両の乗員が音声のみに頼って意思疎通しようとすると、困難が生じる。
このような状況を考慮して、本発明は、複数の車両間での意思疎通を支援可能な音声処理システムを提供することを目的とする。
本発明の一態様に係る音声処理システムは、
第1の車両における会話音声に対して音声認識を行う音声認識手段と、
前記音声認識の結果に基づいて、前記第1の車両における会話内容を決定する会話内容理解手段と、
前記第1の車両の会話内容を知らせる発話を生成し、第2の車両において出力されるよう制御する出力制御手段と、
を備えることを特徴とする。
このように本態様に係る音声処理システムは、車両内の会話をそのまま他の車両に送信するのではなく、車両内の会話内容を決定してその概要を知らせる。他の車両でどのような会話が行われているかを示す概要を知らせることにより、車両間の意思疎通を十分に支援でき、かつ、従来技術における上述した困難を回避できる。
本態様において、前記第1の車両における会話内容に基づいて、当該会話内容を前記第2の車両に知らせるか否かを決定する伝達判断手段をさらに備え、
前記伝達判断手段によって前記第1の車両における会話内容を第2の車両に知らせると決定した場合に、前記発話生成手段による発話の生成、および前記出力制御手段による発話の送信を実行する、ことが好適である。
このような構成によれば、必要性が低い会話を他車両に通知することを抑制でき、必要な会話に限定して他車両に通知することができる。
本態様において、前記伝達判断手段は、前記第1の車両における会話があらかじめ定められた話題に関する場合に、前記第1の車両における会話内容を前記第2の車両に知らせると決定する、ことができる。あらかじめ定められた話題は任意のものであって構わないが、例として今後の予定、現在地、周囲のランドマーク、目的地、出発地に関する話題とすることができる。各車両のユーザの個人プロファイルが利用できる場合には、グループ内で共通する属性に関する話題を採用することも好適である。
本態様において、前記伝達判断手段は、前記第2の車両の位置情報または車両制御情報も考慮して、前記第1の車両の会話内容を前記第2の車両に知らせるか否かを決定する、ことも好ましい。
たとえば、第2の車両が、交通安全上危険であったり運転操作に集中する必要があると事前に分かっている場所にあるときや、運転操作を頻繁に行っているときには、第2の車両に対して通知を行うと運転を阻害するおそれがあるので、このような場合には第1の車両の会話内容を知らせないことが好ましい。なお、伝達判断手段は、このような状況が解消した時点で、第1の車両の会話内容を第2の車両に通知するように決定する、すなわち、前記第2の車両の位置情報または車両制御情報も考慮して第1の車両の会話内容の通知タイミングを決定するようにすることも好ましい。
本態様において、前記音声認識手段は前記第2の車両における会話音声に対しても音声認識を行い、前記会話内容理解手段は、前記第2の車両の会話音声に対する音声認識結果に基づいて、前記第2の車両の会話内容を決定し、前記伝達判断手段は、前記第2の車両の会話の状況も考慮して、前記第1の車両の会話内容を前記第2の車両に知らせるか否かを決定する、ことも好ましい。
たとえば、第2の車両において会話の活発さに応じて、通知する会話の量が増減するようにするとよい。第2の車両の会話が停滞しているときはより多くの会話を通知するようにし、逆に第2の車両の会話が活発な場合には重要な会話のみを通知するようにすることが考えられる。
本態様において、前記伝達判断手段は、前記第1の車両の車両制御情報に基づいて前記第1の車両が危険回避行動を取ったと判断される場合には、そうでない場合とは異なる判断基準にしたがって前記第1の車両の会話内容を前記第2の車両に知らせるか否かを決定する、ことができる。
危険回避行動は、危険を回避するために取る車両の行動であり、たとえば急ブレーキや急ハンドルが相当する。危険回避行動を取った場合は、車両の安全に関する話題を優先的に他車両に通知するように構成すると、他車両においても危険を察知でき余裕を持って回避行動を取ることができる。
本態様に係る音声処理システムは、たとえば、その機能の全てを第1および第2の車両と通信可能な1台または複数台のコンピュータ(車載以外)によって構成されてもよい。また、一部または全ての機能が、1台または複数台の車両に搭載されても構わない。たとえば、音声認識処理の一部を車両内で実行し、音声認識処理の結果をその他の機能を実行するサーバに送信してもよい。
本態様に係る音声処理システムは、車載コンピュータのみによって構成されてもよい。たとえば、車載コンピュータが車両内の会話を分析して、他の車載コンピュータに会話内容を通知するように構成してもよい。この場合、伝達判断手段の機能は、送信車両と受信車両の双方で分担してもよい。たとえば、送信車両は会話が所定の話題であればその会話内容を送信し、受信車両は適切なタイミングか否かを判断した上で通知された会話内容を出力するようにしてもよい。また、送信車両と受信車両の両方で会話を伝達すべきかを判断してもよい。
なお、本発明は、上記処理の少なくとも一部を実行する発話タイミング決定方法として捉えることもできる。また、本発明は、この方法をコンピュータに実行させるためのコンピュータプログラム、あるいはこのコンピュータプログラムを非一時的に記憶したコンピュータ可読記憶媒体として捉えることもできる。上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。
本発明によれば、複数の車両間での意思疎通を適切に支援できる。
第1の実施形態に係る音声処理システムの構成例を示す図。 第1の実施形態における処理の流れを示すフローチャート。 第1の実施形態における伝達判断処理の流れを示すフローチャート。 第2の実施形態における伝達判断処理の流れを示すフローチャート。 第3の実施形態に係る音声処理システムの構成例を示す図。 第3の実施形態における伝達判断処理の流れを示すフローチャート。 第5の実施形態における伝達判断処理の流れを示すフローチャート。 変形例に係る音声処理システムの構成例を示す図。 別の変形例に係る音声処理システムの構成例を示す図。
以下、図面を参照しながら本発明の例示的な実施形態を説明する。なお、以下の説明は本発明を例示的に説明するものであり、本発明は以下の実施形態に限定されるものではない。
(第1の実施形態)
<システム構成>
図1は、第1の実施形態にかかる音声処理システム1のシステム構成を示す図である。本実施形態にかかる音声処理システム1は、車両に搭載された車載システム10と、センターサーバにより構築されるエージェントシステム20を含んで構成される。音声処理システム1を構成する車両にはそれぞれ車載システム10が搭載されている。図1では、3台の車両A〜Cを示しているが、音声処理システム1に含まれる車両は2台以上であれば何台であってもよい。
車両A〜Cは、同一のグループに属するものとしてエージェントシステム20に登録されている車両である。たとえば、集団が複数の車両に分乗して同一の目的地に向かうよう
なケースが想定される。ここで、各車両内における会話は車載システム10からエージェントシステム20に送信され、エージェントシステム20は各車両内で行われている会話の内容を把握する。エージェントシステム20は、ある車両内での会話をグループ内の他の車両に知らせる必要があるか判断し、必要があると判断した場合は、会話内容の要約を他の車両に知らせる制御を行う。このようにすることで、グループ内のユーザは他の車両で行われている会話を知ることができる。
[車載システム]
車載システム10は、演算プロセッサ、記憶装置、カメラ・マイク・ボタン・タッチパネルのような入力装置、スピーカーやディスプレイのような出力装置、通信装置を含むコンピュータを備える。車載システム10は、演算プロセッサが記憶装置に記憶されたプログラムを実行することにより、音声入力部11、音声出力部12、制御部13として機能する。これらの機能部のうちの一部または全部は、専用のロジック回路により実現されても構わない。
音声入力部11は、1つまたは複数のマイクまたはマイクアレイから音声を取得する。音声入力部11によって取得された音声は、制御部13によって通信装置(不図示)を介してエージェントシステム20に送信されるこの際、音声データをそのままエージェントシステム20に送信してもよいし、車載システム10が雑音除去・音源分離・発話特徴量抽出のような前処理を行ってからエージェントシステム20に送信してもよい。
音声出力部12は、エージェントシステム20から送信される発話内容(テキスト)に対応する音声を合成処理により生成し、スピーカーから出力する。音声合成には既存の任意の技術、たとえば波形接続型音声合成やフォルマント合成を利用可能である。
制御部13は、車載システム10の全体的な制御を司る。制御部13は、音声入力部11からの音声の取得、取得した音声のエージェントシステム20への送信、エージェントシステム20から受信した発話指示にしたがった音声出力部12からの音声出力、のような制御を行う。
車載システム10は、無線通信装置を介してエージェントシステム20と無線通信を行う。無線通信装置は、無線LAN(IEEE802.11系規格)、WiMAX(IEEE802.16系規格)、LTEなどのセルラー通信のような既存の任意の無線通信方式を利用可能である。
[エージェントシステム]
エージェントシステム20は、演算プロセッサ、記憶装置、入力装置、出力装置、通信装置を含むサーバコンピュータによって構成される。エージェントシステム20は、演算プロセッサが記憶装置に記憶されたプログラムを実行することにより、音声認識部21、会話内容理解部22、伝達判断部23、発話生成部24、発話指示部25として機能する。これらの機能部のうちの一部または全部は、専用のロジック回路により実現されても構わない。
音声認識部21は、車載システム10から送信される音声データに対して雑音除去・音源分離・発話特徴量抽出の処理を行い、音響モデル・言語モデル・発話辞書を含む音声認識辞書を参照して、発話の内容をテキスト化する。音声認識部21は、既存の音声認識技術を用いて音声認識を行えばよい。会話は送信元車両ごとにテキスト化され、好ましくはユーザごとにテキスト化される。音声認識部21は、認識したユーザの発話を会話内容理解部22に送信する。
会話内容理解部22は、音声認識部21から送信される各車両で行われている会話の内容を理解する。
会話内容理解部22は、会話に含まれるそれぞれの発話について、記憶部に記憶されている語彙意図理解用辞書(不図示)を参照して、発話の意図および話題を推定する。発話の意図には、例えば、話題の切り出し、提案、提案への賛成・反対、意見の集約が含まれる。発話の話題には、例えば、発話のジャンル、場所、ものが含まれる。発話のジャンルには、例えば、飲食、旅行、音楽、天候が含まれる。話題となっている場所には、例えば、地名、ランドマーク、店舗名、施設名が含まれる。語彙意図理解用辞書には、「話題を切り出す、提案する、質問する、賛成する、反対する、物事を集約する」といった場合にそれぞれ使われる語彙や、発話のジャンルを特定するための「飲食、旅行、音楽、天候」に関する語彙や、話題となっている場所を特定するための「地名、ランドマーク、店舗名、施設名」に関する語彙の辞書が含まれる。
これらの辞書を用いた処理の結果、会話内容理解部22は、各発話について、「何をどうしたいか」といった話者の意図と、話題となっているジャンルを推定することができる。「お昼にうどん食べたいね?」というテキストについては、辞書との照合により、「お昼」「うどん」「食べたい」という語からジャンルが「昼食」とくに「うどん」であること、「ね?」という語から発話の意図が「提案」であることが推定できる。また、「いいね。いこうか」というテキストから発話の意図が「同意」であると判断できる。
会話内容理解部22は、会話に含まれる各発話の内容にしたがって、会話の内容を決定する。会話の内容は、たとえば、会話全体の話題、会話の意図、会話の要約によって特定できる。たとえば、会話内容理解部22は会話の内容が、「昼食にうどんを食べるという決定」、「昼食についての協議」であるというように決定することができる。
伝達判断部23は、会話内容理解部22が決定した会話の内容と、伝達基準記憶部23aに記憶された伝達基準とに基づいて、会話内容を他の車両に対して伝達するべきであるか否かを判断する。伝達基準は任意のものであってよい。たとえば、会話の話題が特定の話題であるか否かに基づいて、伝達するか否かを判断することができる。他車両に伝達すべき話題の例として、今後の予定、現在地、周囲のランドマーク、目的地、出発地に関する話題を挙げられるが、これらに限定されない。各車両のユーザの個人プロプロファイルが利用できる場合には、グループ内で共通する属性に関する話題を採用するようにしてもよい。
発話生成部24は、会話内容を他車両に伝達する場合の発話(テキスト)を生成する。生成される発話は、伝達する会話の内容を表すものとする。会話を要約する場合に、どの程度の抽象度で要約するかは適宜決定すればよい。たとえば、ある車両内で昼食に何を食べるか協議し結論が得られた場合に、「車両Aでは、お昼にうどんを食べたいと言っています」、「車両では昼食をどうするか話しています」のような会話の要約・概要を発話文として生成することができる。
発話指示部25は、発話生成部24によって生成された発話文を、当該発話を出力すべき車両に対して送信する。発話指示を受信した車両は、音声出力部12から生成された発話を出力する。なお、発話生成部24と発話指示部25を合わせて本発明における出力制御部と捉えられる。
<処理フロー>
図2は、本実施形態に係るエージェントシステム20における処理の流れを示す図である。図2に示すフローチャートは、1つの会話(1台の車両から得られる会話)に対する
処理であり、グループを構成する各車両から得られる会話に対して同様の処理が行われる。
なお、図2に示す処理の前後に、車載システム10が音声入力部11から会話音声を取得しエージェントシステム20に送信する処理、および音声出力部12がエージェントシステム20から送信される発話指示に従って発話音声を出力する処理があるが、ここではエージェントシステム20での処理に絞って説明する。
ステップS101において、エージェントシステム20は、各車両の音声入力部11が取得した会話音声を、無線通信によって車載システム10から取得する。ステップS102において、音声認識部21が、取得した会話音声に音声認識処理を施し、発話音声をテキスト化する。ステップS103において、会話内容理解部22が、発話音声のテキストに基づいて、会話の話題・意図・要約のような会話内容を理解する。ここまでの処理により、それぞれの車両においてどのような会話が行われているかを、エージェントシステム20が理解できる。
なお、会話内容の理解は、車両単位で行えばよいが、車両内のユーザ(話者)単位で行うとさらに好適である。話者単位でどのような発話を行ったかを把握できると、より詳細に車両内の会話の内容を分析できるためである。
ステップS104において、伝達判断部23は、取得した会話を他の車両に対して伝達するか否かを決定する。ステップS104における伝達判断処理の詳細を図3に示す。伝達判断部23は、ステップS300において、取得した会話が伝達基準記憶部23aに格納されている所定の話題に関するものであるか否かを判断する。取得した会話の話題が所定の話題に関するものであれば(S300−YES)、伝達判断部23はこの会話を他の車両に伝達すると判断し(S301)、そうでなければこの会話は他の車両に伝達しないと判断する(S302)。
会話を他の車両に伝達すると判断された場合(S104−YES)には、ステップS105に進み、発話生成部24にこの会話を他車両に知らせる際の発話(テキスト)を決定する。ステップS106において発話指示部25は、生成した発話を車両内において出力するように指示する発話指示を、会話を取得した車両以外の車両に対して送信する。
なお、発話指示を受信した車両は、受信直後に発話の出力を行う必要は無く、適宜のタイミングで出力を行えばよい。たとえば、車両内でユーザ同士が会話をしている場合にはその会話が中断したタイミングで発話を出力することが考えられる。また、ドライバが運転操作に集中しているまたは集中する必要があると推定される場合には、そのような状況が解消したタイミングで発話を出力することも考えられる。
<実施形態の有利な効果>
本実施形態に係る音声処理システムによれば、ある車両で行われている会話を他車両に伝達する必要があるか否かをエージェントシステム20が判断し、伝達の必要があると判断される会話については、その会話の要約が他車両に知らされる。異なる車両内のユーザ同士が直接コミュニケーションを取らなくても、エージェントシステムから会話の要約が送信されるので、他の車両内でどのような会話が行われているのかを十分に把握可能である。
本実施形態では、音声を用いた入力および出力(通知)を行っているため、運転中であってもドライバも利用可能である。また、車両内のユーザ数に関わらず、車両内に1つのマイク(入力装置)およびスピーカー(出力装置)があればよいので、構成を単純化でき
る。また、音声を利用しているが、異なる車両間のユーザが直接会話を行わないので、ターンテイキングに関する問題も生じないという利点がある。雑談のような直感的な会話では音声のみでの多人数会話は困難であるが、そのような問題が生じない。また、通信が途絶した場合であっても影響が少なく、通信回復後に他車両の会話の内容の通知を受けることもできる。
(第2の実施形態)
会話を他車両に伝達するか否かの判断は、図3に示す処理以外の方法で行ってもよい。本実施形態は、伝達判断処理S104が第1の実施形態と異なる。その他の構成は第1の実施形態とほぼ同様であるため、相違点についてのみ説明する。
図4は、本実施形態における伝達判断処理S104の内容を示すフローチャートである。なお、第1の実施形態では、会話の内容のみに基づいて伝達するかどうかを決定しているが、本実施形態では、伝達先の車両の状況も考慮して伝達するかどうか決定する。したがって、図4の処理は、伝達元の車両および伝達先の車両ごとに実行される。以下では、伝達先の候補となる車両のことを、対象車両と称する。
エージェントシステム20は、グループ内の各車両の会話を認識しその内容を理解している。したがって、ステップS303において、伝達判断部23は対象車両内における会話の活発度を判定できる。会話の活発度は、たとえば、単位時間あたりの発話数、発話間の時間間隔、発話に使われる言い回しや語句から判定可能である。
対象車両において会話の活発度が通常程度以上に活発であれば(S303−NO)、伝達判断部23は、会話を伝達するか否かの基準として通常の基準を採用する(S304)。一方、対象車両において会話が停滞している場合(S303−YES)には、通常よりも緩い基準を採用する(S305)。
本実施形態では、車両内での会話の活発度に応じて伝達する会話の基準を変更できるように、複数の基準を伝達基準記憶部23aをあらかじめ記憶しておく。基準が話題に基づく場合には、通常よりも緩い基準では、より多くの話題が他車両として登録される。
ステップS300〜S302の処理内容は第1の実施形態と同様であるので説明を省略する。
本実施形態によれば、車両内で会話が停滞しているときには、より多くの他車両の会話が通知されることになるので、車両内での会話を促すことができる。
なお、上記の説明では会話の活発度に応じて伝達基準を2種類のいずれかから選択するようにしているが、会話の活発度を3段階以上に分類してそれぞれ異なる基準を採用するようにしてもよい。
また、上記の説明では、伝達先車両の会話活発度に応じて伝達基準を変えているが、伝達先車両内のその他の状況を考慮して伝達基準を変えてもよい。たとえば、伝達先車両において行われている会話の内容に基づいて、類似する話題の会話をより積極的に伝達するように判断するような伝達基準を採用することが考えられる。
(第3の実施形態)
第1の実施形態では会話内容に基づいて会話を他車両に伝達するか否かを決定しているが、本実施形態では会話内容以外の情報も用いて、会話を他車両に伝達するか否かを判断する。
図5は本実施形態における音声処理システム1のシステム構成を示す図である。本実施形態において車両が備える車載システム30は、音声入力部11、音声出力部12、制御部13に加えて、位置情報取得部14および車両制御情報取得部15を含む。
位置情報取得部14は、GPS装置(あるいはGNSS装置)から車両の現在位置を取得する。車両の現在位置は、携帯基地局測位によって取得したり、ジャイロやマップマッチングにより補正したものであってもよい。
車両制御情報取得部15は、車両の制御に関する情報、たとえば、速度、加速度、ヨーレート、エンジン回転数、アクセル開度、ブレーキ踏み込み量、ハンドル操舵角、方向指示器のオンオフ、自動運転機能あるいは運転アシスト機能のオンオフのような情報を取得する。
本実施形態では、制御部13は、音声入力部11が取得する音声に加えて、位置情報取得部14が取得する位置情報および車両制御情報取得部15が取得する車両制御情報もエージェントシステム20に送信する。
本実施形態におけるエージェントシステム20の構成は第1の実施形態とほぼ同様であるが、危険箇所記憶部23bを備える点で異なる。危険箇所記憶部23bには、事故が起こりやすい位置あるいは運転に集中する必要がある位置(以下ではこれらを危険箇所と称する)に関する情報が格納される。危険箇所記憶部23bの生成方法は特に限定されない。
図6は、本実施形態における伝達判断処理S104の内容を示すフローチャートである。なお、第1の実施形態では、会話の内容のみに基づいて伝達するかどうかを決定しているが、本実施形態では、伝達先の車両の状況も考慮して伝達するかどうか決定する。したがって、図6の処理は、伝達元の車両および伝達先の車両ごとに実行される。以下では、伝達先の候補となる車両のことを、対象車両と称する。
ステップS300における処理は第1の実施形態と同様である。なお、第2の実施形態態と同様に対象車両の会話状況に応じて、ステップS300の選択基準を動的に変えるようにしても構わない。
会話が所定の話題ではないとき(S300−NO)に伝達しないと判断する(S302)点は第1の実施形態と同じであるが、会話が所定の話題であるとき(S300−YES)であっても即座に会話を伝達するとは判断せずにステップS306に進む。
ステップS306では、伝達判断部23は、対象車両が危険箇所に位置するか否かを判定する。この判定は、対象車両から取得される位置情報と、危険箇所記憶部23bにおいて指定されている危険箇所を照合することにより行える。対象車両が危険箇所に位置しない場合(S306−NO)には、伝達判断部23はステップS307においてさらに、対象車両が運転操作に集中する必要があるか否かを判定する。この判定は、対象車両から取得される車両制御情報に基づいて行える。たとえば、ハンドル操作中・車線変更中などの場合に運転操作に集中する必要があると判定できる。
対象車両が危険箇所に位置せず(S306−NO)かつ運転操作への集中が必要ではない場合(S307−NO)には、伝達判断部23は会話を対象車両に伝達すると判断する(S301)。
一方、対象車両が危険箇所に位置する(S306−YES)かまたは運転操作に集中が必要である場合(S307−YES)には、伝達判断部23は、一定時間の待機(S308)の後に再びステップS306〜S307の判定を行う。
このようにすれば、対象車両(伝達先の候補の車両)の車両状態も考慮した上で、会話を伝達するかどうかを判断できる。本実施例の手法では、音声出力による通知が適切ではないタイミングにエージェントシステム20から車載システム30に対して、発話の指示が送られるのを避けることができる。
(第4の実施形態)
第3の実施形態では対象車両の車両制御情報を、エージェントシステム20からの発話指示の送信タイミングを決定するために利用しているが、伝達すべき会話内容の選択基準を対象車両の車両制御情報に応じて変えてもよい。たとえば、対象車両の位置情報を考慮して当該位置に対応する会話を伝達すると判断するようにすることができる。あるいは、自動運転機能がオンかオフかによって、異なる基準で会話を伝達するか否かを判断するようにもできる。
(第5の実施形態)
本実施形態では、会話を行っている車両(伝達元の車両)の車両制御状態も考慮して、会話を他車両に送信するか否かを決定する。本実施形態の構成は第3の実施形態と同様である。
図7は、本実施形態における伝達判断処理S104の内容を示すフローチャートである。まず、ステップS309において、伝達するか否かの判断の対象となっている会話の取得元の車両が、危険回避行動を行ったか否かを伝達判断部23が判断する。危険回避行動の例として、たとえば急ブレーキや急ハンドルが挙げられる。
車両が危険回避行動を行っていない場合(S309−NO)には、会話を伝達するか否かの基準として通常の基準を採用する(ステップS310)。一方、車両が危険回避行動を行った場合(S309−YES)には、会話の伝達基準として、通常の基準に合致する会話に加えて、交通安全や路上の障害物に関する話題も伝達すると判断するような基準を採用する。基準が決定された後のステップS300〜S302の処理は第1の実施形態と同様である。
このようにすれば、たとえば路上に障害物があって回避行動を取った後の、障害物や回避行動に関する会話を他の車両に伝達することができる。
本実施形態において、伝達元の会話を行っている車両の位置と伝達先の車両の位置とを考慮し、伝達先の車両の方が後方に位置することをさらに条件として、判別の基準を変えてもよい。伝達先車両の後方での危険を通知する必要性は低いと考えられるためである。
<変形例>
[車両間の直接会話]
車載システム10に対してユーザが特定のキーワードを発した場合には、車両間で直接会話モードに切り替えるようにしてもよい。このようにすれば、エージェントシステム20から通知される他車両の会話に基づいて、必要に応じて車両間のユーザが直接会話することができる。
[構成の変形]
上記の説明では、音声処理システム1が車載システム10とエージェントシステム20
から構成される例を説明したが、具体的なコンピュータ(ハードウェア)の配置は任意であり、システム全体として上記で説明した機能が提供されればよい。
図8はシステム構成の一変形例を示す図である。この例では、音声認識処理を行う音声認識サーバ40が導入されており、エージェントシステム20は音声認識機能を備えない。車載システム10は会話音声を音声認識サーバ40に送信し、音声認識サーバ40が会話音声をテキスト化して車載システム10へ送信する。車載システム10は、その後に会話のテキストをエージェントシステム20に送信する。
図8は音声認識処理の機能を複数の装置によって分担する例といえる。分担する機能は音声認識処理に限られず、上記実施形態中の任意の機能であって構わない。
たとえば、伝達判断部23の機能をエージェントシステム20と車載システム10のあいだで分館することも好ましい。第2から第5の実施形態において、エージェントシステム20の伝達判断部23が、発話の内容に加えて対象車両の状況(会話状況や車両制御状況)を考慮して、会話を伝達するか否かを判断している。これに対して、エージェントシステム20(の伝達判断部23)が発話の内容に基づいて会話を伝達するか否かを判断し、車載システム10(の伝達判断部)が当該車両内の会話状況や車両制御状態を考慮して会話の伝達を行うか否かを判断するようにしてもよい。すなわち、エージェントシステム20において伝達すべきと判断された会話の概要が車載システム10に通知され、車載システム10が実際にユーザへの伝達(出力)を行うか否かを決定する。この構成によれば、車両の状況に基づく判断を車両内で行うので、当該処理をサーバ側において行うよりも、正確かつ高速に処理を行えるという利点がある。
図9Aはシステム構成のさらに別の変形例を示す図である。この例では、エージェントシステム20はサーバにではなく各車両に搭載される。図9Bは図9Aの構成例における処理例を示す図である。車両A内のエージェントシステム20が、当該車両A内の会話を取得し(S201)、他の車両B,Cに伝達すべきか否かを判断する(S202)。この判断の際に伝達先の車両B,Cに関する情報が必要であれば、車両間で必要な情報を交換すればよい。他車両B,Cに伝達すべき会話と判断されると、車両Aは会話の要約を含む発話内容を生成し他車両に送信する(S203)。車両B,Cはこの通知を受信する(S204)と、音声の出力が適切なタイミングであるか、すなわち車両内で会話中でないかあるいは運転操作に忙しくないかを判断し(S205)、音声出力が可能な状況であれば、送信された会話の概要を出力する(S206)。
このように車載タイプのエージェントシステムを用いても、サーバタイプのエージェントシステムを用いた場合と同様の効果を得ることができる。
1:音声処理システム
10:車載システム 11:音声入力部 12:音声出力部 13:制御部
14:位置情報取得部 15:車両制御情報取得部
20:エージェントシステム
21:音声認識部 22:会話内容理解部
23:伝達判断部 24:発話生成部 25:発話指示部

Claims (8)

  1. 第1の車両における会話音声に対して音声認識を行う音声認識手段と、
    前記音声認識の結果に基づいて、前記第1の車両における会話内容を決定する会話内容理解手段と、
    前記第1の車両の会話内容を知らせる発話を生成し、第2の車両において出力されるよう制御する出力制御手段と、
    を備える、音声処理システム。
  2. 前記第1の車両における会話内容に基づいて、当該会話内容を前記第2の車両に知らせるか否かを決定する伝達判断手段をさらに備え、
    前記伝達判断手段によって前記第1の車両における会話内容を第2の車両に知らせると決定した場合に、前記出力制御手段は、前記第1の車両の会話内容を知らせる発話が前記第2の車両において出力されるように制御する、
    請求項1に記載の音声処理システム。
  3. 前記伝達判断手段は、前記第1の車両における会話があらかじめ定められた話題に関する場合に、前記第1の車両における会話内容を前記第2の車両に知らせると決定する、
    請求項2に記載の音声処理システム。
  4. 前記伝達判断手段は、前記第2の車両の位置情報または車両制御情報も考慮して、前記第1の車両の会話内容を前記第2の車両に知らせるか否かを決定する、
    請求項2から3のいずれか1項に記載の音声処理システム。
  5. 前記音声認識手段は前記第2の車両における会話音声に対しても音声認識を行い、
    前記会話内容理解手段は、前記第2の車両の会話音声に対する音声認識結果に基づいて、前記第2の車両の会話内容を決定し、
    前記伝達判断手段は、前記第2の車両の会話の状況も考慮して、前記第1の車両の会話内容を前記第2の車両に知らせるか否かを決定する
    請求項2から4のいずれか1項に記載の音声処理システム。
  6. 前記伝達判断手段は、前記第1の車両の車両制御情報に基づいて前記第1の車両が危険回避行動を取ったと判断される場合には、そうでない場合とは異なる判断基準にしたがって前記第1の車両の会話内容を前記第2の車両に知らせるか否かを決定する、
    請求項2から5のいずれか1項に記載の音声処理システム。
  7. 音声処理システムが実行する音声処理方法であって、
    第1の車両における会話音声に対して音声認識を行う音声認識ステップと、
    前記音声認識の結果に基づいて、前記第1の車両における会話内容を決定する会話内容理解ステップと、
    前記第1の車両の会話内容を知らせる発話を生成し、第2の車両において出力されるよう制御する出力制御ステップと、
    を含む、音声処理方法。
  8. 請求項7に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
JP2016105257A 2016-05-26 2016-05-26 音声処理システムおよび音声処理方法 Active JP6604267B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016105257A JP6604267B2 (ja) 2016-05-26 2016-05-26 音声処理システムおよび音声処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016105257A JP6604267B2 (ja) 2016-05-26 2016-05-26 音声処理システムおよび音声処理方法

Publications (2)

Publication Number Publication Date
JP2017211539A true JP2017211539A (ja) 2017-11-30
JP6604267B2 JP6604267B2 (ja) 2019-11-13

Family

ID=60474796

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016105257A Active JP6604267B2 (ja) 2016-05-26 2016-05-26 音声処理システムおよび音声処理方法

Country Status (1)

Country Link
JP (1) JP6604267B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110027571A (zh) * 2018-01-11 2019-07-19 丰田自动车株式会社 语音输出系统、语音输出方法和程序存储介质
CN110033761A (zh) * 2018-01-10 2019-07-19 丰田自动车株式会社 通信系统、通信方法以及计算机可读存储介质
JP2020142555A (ja) * 2019-03-04 2020-09-10 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP2020156032A (ja) * 2019-03-22 2020-09-24 本田技研工業株式会社 エージェントシステム、サーバ装置、エージェントシステムの制御方法、およびプログラム

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033761A (zh) * 2018-01-10 2019-07-19 丰田自动车株式会社 通信系统、通信方法以及计算机可读存储介质
JP2019120859A (ja) * 2018-01-10 2019-07-22 トヨタ自動車株式会社 通信システム、通信方法及びプログラム
JP7062958B2 (ja) 2018-01-10 2022-05-09 トヨタ自動車株式会社 通信システム、及び通信方法
CN110033761B (zh) * 2018-01-10 2023-05-16 丰田自动车株式会社 通信系统、通信方法以及计算机可读存储介质
CN110027571A (zh) * 2018-01-11 2019-07-19 丰田自动车株式会社 语音输出系统、语音输出方法和程序存储介质
JP2020142555A (ja) * 2019-03-04 2020-09-10 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
JP7145105B2 (ja) 2019-03-04 2022-09-30 本田技研工業株式会社 車両制御システム、車両制御方法、およびプログラム
US11541906B2 (en) 2019-03-04 2023-01-03 Honda Motor Co., Ltd. Vehicle control device, vehicle control method, and storage medium
JP2020156032A (ja) * 2019-03-22 2020-09-24 本田技研工業株式会社 エージェントシステム、サーバ装置、エージェントシステムの制御方法、およびプログラム
JP7297483B2 (ja) 2019-03-22 2023-06-26 本田技研工業株式会社 エージェントシステム、サーバ装置、エージェントシステムの制御方法、およびプログラム

Also Published As

Publication number Publication date
JP6604267B2 (ja) 2019-11-13

Similar Documents

Publication Publication Date Title
JP6515764B2 (ja) 対話装置及び対話方法
JP6604267B2 (ja) 音声処理システムおよび音声処理方法
JP6202041B2 (ja) 車両用音声対話システム
JP6150077B2 (ja) 車両用音声対話装置
CN107004411B (zh) 话音应用架构
US8010359B2 (en) Speech recognition system, speech recognition method and storage medium
EP3057091A1 (en) Adaptive interactive voice system
JP5974498B2 (ja) 車車間通信装置
JP4659754B2 (ja) 車両運転者および複数のアプリケーション間の対話方法およびシステム
JP2009020423A (ja) 音声認識装置および音声認識方法
JP6558180B2 (ja) 情報提供装置及び情報提供制御プログラム
US8452533B2 (en) System and method for extracting a destination from voice data originating over a communication network
US11521612B2 (en) Vehicle control apparatus and method using speech recognition
MXPA06011459A (es) Metodo para controlar el procesamiento de salidas para una interfaz de comunicacion inalambrica de vehiculo.
JP2007511414A6 (ja) 車両運転者および複数のアプリケーション間の対話方法およびシステム
JP2012027070A (ja) 車室内通信システム、車載端末、および携帯端末
JP6984420B2 (ja) 対話装置
US11074915B2 (en) Voice interaction device, control method for voice interaction device, and non-transitory recording medium storing program
JP5052241B2 (ja) 車載用の音声処理装置、音声処理システム、及び音声処理方法
JP2019159559A (ja) 情報提供装置
WO2020142600A1 (en) In-car headphone acoustical augmented reality system
Tchankue et al. Are mobile in-car communication systems feasible? a usability study
KR20210095569A (ko) 에이전트 시스템, 서버 및 컴퓨터 판독 가능한 기록 매체
JP2020060623A (ja) エージェントシステム、エージェント方法、およびプログラム
JP6708531B2 (ja) 音声対話装置、音声対話方法および音声対話プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181015

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190909

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190917

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190930

R151 Written notification of patent or utility model registration

Ref document number: 6604267

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151