JP2018031918A - 車両用対話制御装置 - Google Patents

車両用対話制御装置 Download PDF

Info

Publication number
JP2018031918A
JP2018031918A JP2016164998A JP2016164998A JP2018031918A JP 2018031918 A JP2018031918 A JP 2018031918A JP 2016164998 A JP2016164998 A JP 2016164998A JP 2016164998 A JP2016164998 A JP 2016164998A JP 2018031918 A JP2018031918 A JP 2018031918A
Authority
JP
Japan
Prior art keywords
utterance
driver
unit
vehicle
balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016164998A
Other languages
English (en)
Other versions
JP6677126B2 (ja
Inventor
知理 蜂須賀
Satori Hachisuga
知理 蜂須賀
勝 柿崎
Masaru Kakizaki
勝 柿崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2016164998A priority Critical patent/JP6677126B2/ja
Publication of JP2018031918A publication Critical patent/JP2018031918A/ja
Application granted granted Critical
Publication of JP6677126B2 publication Critical patent/JP6677126B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ドライバの覚醒維持を、より確実且つ自然に行うことを可能にする。【解決手段】車両で用いられ、自車のドライバに向けて発話を行わせる発話処理部112を備え、発話処理部112でドライバに向けて発話を行わせることでドライバとの対話を行わせる対話制御装置10であって、対話におけるお互いの発話行動の構成バランスであるVRMバランスのうちの、ドライバの覚醒維持に理想的なVRMバランスである覚醒維持バランスを記憶している理想VRMバランスDBを備え、発話処理部112は、実際のVRMバランスを覚醒維持バランスに近づけるよう誘導する発話を行わせる。【選択図】図2

Description

本発明は、車両のドライバとの対話を行わせる車両用対話制御装置に関するものである。
従来、車両のドライバと対話システムとで対話を行うことで居眠りを防止(つまり、覚醒維持)する技術が知られている。例えば、特許文献1には、利用者が発話する音声を認識して変換した入力記号列に基づいて、個々の利用者の会話の特性や話題を把握し、個々の利用者の特性を模倣した対話処理を行う技術が開示されている。
特開2001−125900号公報
しかしながら、個々の利用者の特性を模倣した対話処理を行ったからといって、ドライバの覚醒維持に適した状態に誘導できるとは限らないため、特許文献1に開示の技術では、覚醒維持できないおそれがある。
本発明は、この事情に基づいて成されたものであり、その目的とするところは、ドライバの覚醒維持を、より確実且つ自然に行うことを可能にする車両用対話制御装置を提供することにある。
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
上記目的を達成するために、本発明の車両用対話制御装置は、車両で用いられ、車両のドライバに向けて発話を行わせる発話処理部(112)を備え、発話処理部でドライバに向けて発話を行わせることでドライバとの対話を行わせる車両用対話制御装置であって、対話におけるお互いの発話行動を所定の分類に分けた、分類別の発話行動の構成バランスである対話バランスのうちの、ドライバの覚醒状態を維持させると推測される対話バランスである覚醒維持バランスを記憶しているバランス記憶部(104c)を備え、発話処理部は、実際の対話バランスを覚醒維持バランスに近づけるよう誘導する発話を行わせる。
これによれば、発話処理部で行わせる発話によって、実際の対話バランスを、ドライバの覚醒状態を維持させると推測される覚醒維持バランスに近づけることが可能になるので、実際の対話バランスを覚醒維持バランスに近いものとしてドライバの覚醒状態を維持することがより確実に可能となる。また、対話におけるお互いの発話行動を所定の分類に分けた、分類別の発話行動の構成バランスである対話バランスを、覚醒維持バランスに近づけることでドライバの覚醒状態を維持することになる。よって、単に覚醒効果のある発話を行う構成に比べ、違和感のある対話となりにくく、ドライバの覚醒維持をより自然に行うことが可能となる。その結果、ドライバの覚醒維持を、より確実且つ自然に行うことが可能になる。
車両システム1の概略的な構成の一例を示す図である。 対話制御装置10の概略的な構成の一例を示す図である。 記憶部104の概略的な構成の一例を示す図である。 実VRMバランスの一例を説明するための図である。 覚醒維持バランスの一例を説明するための図である。 対話遷移モデルの一例を説明するための図である。 遷移態様の一例を説明するための図である。 遷移候補DB104dに記憶されている遷移態様の候補の一例を説明するための図である。 言語的項目DB104eに記憶されている言語的項目の一例を説明するための図である。 非言語的項目DB104fに記憶されている非言語的項目の一例を説明するための図である。 対話制御装置10での対話関連処理の流れの一例を示すフローチャートである。 発話構成処理の流れの一例を示すフローチャートである。
図面を参照しながら、開示のための複数の実施形態及び変形例を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
(実施形態1)
<車両システム1の概略構成>
以下、本実施形態について図面を用いて説明する。図1に示す車両システム1は、車両で用いられるものであり、対話制御装置10、通信機20、ロケータ30、車両制御ECU40、周辺監視センサ50、運転支援ECU60、DSM(Driver Status Monitor)70、マイク80、及び音声出力装置90を含んでいる。一例として、対話制御装置10、ロケータ30、車両制御ECU40、及び運転支援ECU60は、車内LANに接続されているものとする。車両システム1を搭載している車両を以降では自車と呼ぶ。
通信機20は、自車の外部の例えばサーバ装置との間で通信を行う。通信機20は、携帯電話網,インターネット等の公衆通信網を介した通信を行うための通信モジュールを用いて自車の外部と通信を行う構成とすればよい。例えばDCM(Data Communication Module)といったテレマティクス通信に用いられる車載通信モジュールによって、テレマティクス通信で用いる通信網を介してサーバ装置と通信を行う構成とすればよい。通信機20は、サーバ装置からダウンロードした情報を車内LANへ出力する。
ロケータ30は、例えばGNSS(Global Navigation Satellite System)受信機、慣性センサ、地図データを格納した地図データベース(以下、DB)を備えている。GNSS受信機は、複数の人工衛星からの測位信号を受信する。慣性センサは、例えば3軸ジャイロセンサ及び3軸加速度センサを備える。地図DBは、不揮発性メモリであって、リンクデータ、ノードデータ、道路形状等の地図データを格納している。
ロケータ30は、GNSS受信機で受信する測位信号と、慣性センサの計測結果とを組み合わせることにより、ロケータ30を搭載した自車の車両位置を逐次測位する。なお、車両位置の測位には、自車に搭載された車輪速センサから逐次出力されるパルス信号から求めた走行距離等を用いる構成としてもよい。そして、測位した車両位置を車内LANへ出力する。また、ロケータ30は、地図DBから地図データを読み出し、車内LANへ出力することも行う。地図DBは、ロケータ30以外に備えられている構成としてもよい。また、地図データは、通信機20を用いて自車外のサーバから取得する構成としてもよい。
車両制御ECU40は、自車の加減速制御及び/又は操舵制御を行う電子制御装置である。車両制御ECU40としては、操舵制御を行う操舵ECU、加減速制御を行うパワーユニット制御ECU及びブレーキECU等がある。車両制御ECU40は、自車に搭載されたアクセルポジションセンサ、ブレーキ踏力センサ、舵角センサ、車輪速センサ等の各センサから出力される検出信号を取得し、電子制御スロットル、ブレーキアクチュエータ、EPS(Electric Power Steering)モータ等の各走行制御デバイスへ制御信号を出力する。また、車両制御ECU40は、上述の各センサの検出信号を車内LANへ出力可能である。
車載機器制御ECU45は、自車の車載機器の制御を行う電子制御装置である。車載機器制御ECU45としては、カーエアコンの制御を行うエアコンECU、パワーウィンドウ等の制御を行うボデーECU等がある。
周辺監視センサ50は、歩行者、人間以外の動物、自転車、オートバイ、及び他車等の移動物体、さらに路上の落下物、ガードレール、縁石、及び樹木等の静止物体といった自車周辺の障害物を検出する。他にも、自車周辺の走行区画線、停止線等の路面標示を検出する。周辺監視センサ50は、例えば、自車周囲の所定範囲を撮像する周辺監視カメラ、自車周囲の所定範囲に探査波を送信するミリ波レーダ、ソナー、LIDAR(Light Detection and Ranging/Laser Imaging Detection and Ranging)等のセンサである。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として運転支援ECU60へ逐次出力する。ソナー、ミリ波レーダ、LIDAR等の探査波を送信するセンサは、障害物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として運転支援ECU60へ逐次出力する。
運転支援ECU60は、プロセッサ、揮発性メモリ、不揮発性メモリ、I/O、これらを接続するバスからなるマイクロコンピュータを備え、不揮発性メモリに記憶された制御プログラムを実行することで各種の処理を実行する。運転支援ECU60は、ロケータ30から取得した自車の車両位置及び地図データ、通信機20から取得した交通情報、周辺監視センサ50から取得したセンシング情報等から、自車の周辺環境を認識する。
運転支援ECU60は、認識した周辺環境から、自車のドライバの運転難度を判定する。運転難度は、自車のドライバがより高い注意力を要する周辺環境ほど高く判定される。一例としては、自転車や自動二輪車等も含む周辺車両が多いほど運転難度を高く判定すればよい。また、周辺の歩行者が多いほど運転難度を高く判定すればよい。他にも、進行方向の道路がカーブ路である場合に、直線路の場合よりも運転難度を高く判定すればよい。
また、運転支援ECU60は、車両制御ECU40を制御することにより、ドライバによる運転操作の支援又は代行を行う運転支援機能を実行する。ここで言うところの運転支援機能の一例としては、認識した周辺環境をもとに自車の走行計画を生成して、生成した走行計画に従って自車の加速、制動、及び/又は操舵を車両制御ECU40に自動で行わせる自動運転の機能がある。自動運転の機能の一例としては、障害物回避のための操舵及び制動等を行わせる機能等がある。
他にも、運転支援ECU60は、情報提示装置に指示を行うことにより、ドライバに情報提示を行う運転支援機能を実行する。ここで言うところの運転支援機能の一例としては、ブザー等から警報音を出力させる機能,ステアリングホイールや運転席のシート等に設けられた振動子を振動させる機能,車載の表示装置に運転を支援するテキストや画像を表示させる機能等である。
DSM70は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニット等とによって構成されている。DSM70は、近赤外カメラを自車の運転席側に向けた姿勢にて、例えばインスツルメントパネルの上面,ステアリングコラム,車室内の天井等に配置される。DSM70は、近赤外光源によって近赤外光を照射された自車のドライバの頭部を、近赤外カメラによって撮像する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、例えばドライバの目の開き具合等の特徴量を撮像画像から抽出し、運転者の覚醒度(つまり、眠気レベル)を検知する。眠気レベルは眠気の度合いに応じて複数段階に区分される構成とすればよい。DSM70は、検知した眠気レベルを対話制御装置10へ出力する。なお、眠気レベルの検知に用いる特徴量は、目の開き具合に限らず、ドライバの表情等の他の特徴量を用いる構成としてもよい。
マイク80は、自車の車室内に設けられた音声入力装置である。マイク80は、自車のドライバが発話した音声を集音し、電気的な音声信号に変換して対話制御装置10へ出力する。マイク80は、ドライバが発話した音声を集音しやすいように運転席付近に設けることが好ましい。なお、マイク80は、自車に持ち込まれて対話制御装置10と無線や有線で接続されたヘッドセット,多機能携帯電話機,タブレット端末等に設けられる構成としてもよい。
音声出力装置90は、自車の車室内に設けられて自車のドライバに向けて音声を出力する、出力インターフェースの機能を有する装置である。音声出力装置90は、対話制御装置10から会話文の音声データを取得すると、取得した音声データに基づく合成音声をスピーカから出力させる。音声出力装置90は、単純な音響機器であってもよいし、多機能携帯電話機,タブレット端末等であってもよいし、インスツルメントパネルの上面に設置されたコミュニケーションロボット等であってもよい。
対話制御装置10は、プロセッサ、揮発性メモリ、不揮発性メモリ、I/O、これらを接続するバスからなるマイクロコンピュータを備え、不揮発性メモリに記憶された制御プログラムを実行することで各種の処理を実行する。対話制御装置10は、ドライバの覚醒状態が維持されるようにドライバとの対話を行わせる。この対話制御装置10が請求項の車両用対話制御装置に相当する。対話制御装置10での処理については以下で詳述する。
<対話制御装置10の概略構成>
続いて、図2を用いて、対話制御装置10の概略構成について説明を行う。対話制御装置10は、運転難度特定部101、眠気特定部102、支援指示部103、記憶部104、音声認識部105、発話解析部106、バランス特定部107、比較部108、遷移候補選定部109、カテゴリ選定部110、発話内容選定部111、発話処理部112、及び学習部113を備えている。また、記憶部104、音声認識部105、発話解析部106、バランス特定部107、比較部108、遷移候補選定部109、カテゴリ選定部110、発話内容選定部111、及び発話処理部112が対話処理部100を構成している。なお、対話制御装置10が実行する機能の一部または全部を、一つあるいは複数のIC等によりハードウェア的に構成してもよい。
運転難度特定部101は、運転支援ECU60で逐次判定される運転難度から、自車のドライバの運転難度を逐次特定する。なお、運転支援ECU60での周辺環境の認識及び運転難度の判定と同様の処理を運転難度特定部101で行って、自車のドライバの運転難度を特定する構成としてもよい。
眠気特定部102は、DSM70で逐次検知される眠気レベルから、自車のドライバの眠気レベルを逐次特定する。なお、DSM70の制御ユニットでの画像解析と同様の処理を眠気特定部102で行って、自車のドライバの眠気レベルを特定する構成としてもよい。
支援指示部103は、運転難度特定部101で逐次特定する運転難度、及び/又は眠気特定部102で逐次特定する眠気レベルをもとに、対話処理部100で対話を行わせることによるドライバの覚醒維持の支援と、運転支援ECU60でのドライバの運転支援とを切り替えて行わせる。また、支援指示部103は、ドライバの発話内容から車載機器の制御が必要であると判定された場合に、車載機器制御ECU45に指示を行って、該当する車載機器を制御させる。
記憶部104は、対話処理部100での処理に用いる各種情報を記憶する。記憶部104には、図3に示すように、一例として音声認識用データベース(以下、DB)104a,発話解析用DB104b,理想VRM(Verbal Response Modes)バランスDB104c,遷移候補DB104d,言語的項目DB104e,非言語的項目DB104f,話題DB104g等がある。VRMとは、対話における発話行動を分類したカテゴリであって、VRMバランスは、対話における二者間のVRMの構成バランスである。このVRMが請求項の所定の分類に相当し、このVRMバランスが請求項の対話バランスに相当する。VRMについては後に詳述する。また、記憶部104には、音声認識部105での音声認識結果,発話解析部106での発話内容の解析結果,バランス特定部107で特定するVRMバランスが記憶される。
音声認識用DB104aは、音声認識部105での音声認識に用いる認識辞書のDBである。発話解析用DB104bは、発話解析部106での発話内容の解析に用いる情報のDBである。理想VRMバランスDB104cは、ドライバの覚醒維持に理想的なVRMバランス(以下、覚醒維持バランス)のデータベースである。よって、この理想VRMバランスDB104cが請求項のバランス記憶部に相当する。遷移候補DB104dは、対話におけるお互いの間での発話行動の遷移態様のうちの、ドライバの覚醒状態を維持させると推測される遷移態様の候補のDBである。遷移候補DB104dは、実際のVRMバランスと覚醒維持バランスとの乖離のパターン別に遷移態様の候補を記憶している。よって、この遷移候補DB104dが請求項の候補記憶部に相当する。
言語的項目DB104eは、発話の話題,発話長,形式,言い回し等の言語的項目のDBである。言語的項目DB104eには、VRM、運転難度、及び眠気レベル別に、発話の話題,発話長,形式,言い回し等の言語的項目が対応付けて記憶されている。非言語的項目DB104fは、発話速度,イントネーション,声質,発話間隔等の非言語的項目のDBである。非言語的項目DB104fには、VRM、運転難度、及び眠気レベル別に、発話速度,イントネーション,声質,発話間隔等の非言語的項目が対応付けて記憶されている。話題DB104gは、話題に用いる情報のデータベースである。話題に用いる情報は、通信機20を介してマルチメディアから取得したニュースや各種トピックス等とすればよい。
音声認識部105は、マイク80から入力されてくる音声信号を、音声認識用DB104aに記憶されている認識辞書を用いて、発話内容を示す文字列に逐次変換する。音声認識部105は、例えば周知の隠れマルコフモデル(Hidden Markov Model)等の手法を用いて音声信号を文字列に変換すればよい。また、音声認識部105は、マイク80から入力されてくる音声信号をもとに、自車のドライバの発話時間及び車両システム1からの発話に対するドライバの応答時間を算出してもよい。音声認識部105は、変換した文字列,発話時間,応答時間等の音声認識結果を記憶部104に記憶する。なお、音声認識部105では、予め登録されたドライバの音声信号の特徴をもとに、ドライバの音声信号をドライバ以外の乗員の音声信号と区別して処理を行う構成としてもよい。
発話解析部106は、音声認識部105が記憶部104に逐次記憶する音声認識結果から、発話解析用DB104bの情報を用いて、VRMや、発話の意図,文脈等を含む言語的な発話内容を逐次解析する。なお、発話解析部106は、発話速度,応答時間,イントネーション等を含む非言語的な発話項目を解析してもよい。発話解析部106は、発話内容を示す文字列に対して、周知の形態素解析,構文解析,文脈解析,意味解析等を行うことで、発話の意図,文脈等を含む言語的な発話内容を解析すればよい。また、発話解析部106は、言語的な発話内容を解析した結果から、発話内容がどのカテゴリのVRMにあたるかを解析すればよい。この発話解析部106が請求項の分類部に相当する。発話解析部106は、発話内容の解析結果を記憶部104に記憶する。
ここで、VRMについて説明を行う。VRMは、前述したように、対話における発話行動を分類したカテゴリであって、一例として8種類のカテゴリに分類されるものとする。8つのVRMは、それぞれ「反射」,「解釈」,「応答」,「質問」,「確認」,「指示」,「情報」,「開示」である。発話行動の分類は、対話における発話行動を分類したものであれば、以上のカテゴリ以外の分類であってもよいが、以降では以上の8種類のVRMに分類する場合を例に挙げて説明を行う。
VRM「反射」は、相手の経験や行動を言葉にする繰り返しに相当する。VRM「解釈」は、他者の経験や行動についての説明や分類に相当する。VRM「応答」は、相手のコミュニケーションを受け取ったことの伝達や相づちに相当する。VRM「質問」は、情報や方向付けの要求に相当する。VRM「確認」は、経験や賛否を相手と分かち合っていることを確認する発話に相当する。VRM「指示」は、相手の行動を導く忠告や命令や教示に相当する。VRM「情報」は、客観的情報の表明に相当する。VRM「開示」は、内面的情報や考えや意図の表明に相当する。
バランス特定部107は、車両システム1から逐次行う発話についてのVRMと、発話解析部106で逐次特定するドライバの発話について逐次分類したVRMとをもとに、対話単位(以下、ブロック)での実際のVRMバランス(以下、実VRMバランス)を特定する。ここで言うところのブロックとは、対話の開始から終了までの単位であって、発話解析部106で解析した発話内容や発話が途切れてからの経過時間等をもとに対話制御装置10が認識すればよい。なお、バランス特定部107は、対話単位でなく時間単位で実VRMバランスを特定する構成としてもよい。
一例として、バランス特定部107は、ブロックにおける車両システム1とドライバとのそれぞれの発話に対してVRMをタグ付けし、対話における各VRMの出現回数を話者及びVRM別に加算した値を実VRMバランスとして特定すればよい(図4参照)。対話の開始時等、車両システム1及びドライバの両者が発話をしていない場合、上記値は0として出力される。なお、バランス特定部107は、ノイズを減らすために、複数ブロックの対話における各VRMの出現回数を話者及びVRM別に加算した値を平均した値を、実VRMバランスとして特定することがより好ましい(図4参照)。
比較部108は、理想VRMバランスDB104cに記憶されている覚醒維持バランス(図5参照)と、バランス特定部107で特定する実VRMバランス(図4参照)とを照合して比較する。本発明者は、ドライバが能動的に多くの発話を行うことが覚醒維持に有効であることを見出している。よって、覚醒維持バランスとしては、ドライバが能動的に多くの発話を行うVRMバランスを用いる。覚醒維持バランスとしては、実験によってドライバの覚醒維持に有効であることを実証したVRMバランスを用いてもよい。
遷移候補選定部109は、比較部108での比較結果から、実VRMバランスを覚醒維持バランスに近づけるために有効な、対話における二者間での発話行動の遷移態様を、予め遷移候補DB104dに記憶されている遷移態様の候補の中から選定する。なお、遷移態様の候補については、対話遷移モデルから覚醒維持に有効な遷移態様を予め抽出して遷移候補DB104dに記憶しておく構成とすればよい。
ここで、図6及び図7を用いて、対話遷移モデルと遷移態様の候補との一例を示す。図6は、対話遷移モデルの一部を示した図である。図6及び図7中のS及び円が車両システム1の発話行動を示しており、D及び矢印がドライバの発話行動を示している。
便宜上、図6では対話遷移モデルの一部しか示していないが、対話遷移モデルでは、車両システム1の8種類のVRMの発話行動のそれぞれについて、実験でドライバの覚醒状態を維持できた、二者間の発話行動の遷移態様が示されている。また、遷移態様の候補は、図7に示すように、対話遷移モデルの一部を抽出したものである。例えば図7で示す遷移態様は、車両システム1から質問,ドライバから開示,車両システム1から応答,ドライバから開示の順に発話行動が遷移する遷移態様となっている。
遷移候補DB104dでは、実VRMバランスと覚醒維持バランスとの乖離のパターン(以下、単に乖離パターン)別に、覚醒維持できる度合いの高い遷移態様の候補を記憶している(図8参照)。遷移候補DB104dには、例えば実験で覚醒維持の効果が実際に得られた乖離パターンと遷移態様の候補との組み合わせを予め紐付けて記憶している構成とすればよい。
なお、遷移候補DB104dは、乖離パターン別に、覚醒維持の効果が高かった上位複数の遷移態様の候補を記憶している構成としてもよく、以降では、この構成を採用した場合について説明を続ける。遷移候補選定部109は、乖離パターンに対する遷移態様の候補が複数ある場合には、デフォルトでは最も覚醒維持の効果が高かった候補を選定する構成とすればよい。
カテゴリ選定部110は、遷移候補選定部109で選定した遷移態様をもとに、車両システム1が発話するのに適したVRM(以下、出力VRM)を選定する。言い換えると、カテゴリ選定部110は、遷移候補選定部109で選定した遷移態様に沿った発話行動の遷移が車両システム1とドライバ間で行われるように出力VRMを選定する。図7の遷移態様を例に挙げると、車両システム1から対話を開始する場合には、VRM「質問」を選定し、車両システム1からのVRM「質問」の発話行動に対してドライバがVRM「開示」の発話行動を示した場合には、VRM「応答」を出力VRMとして選定すればよい。
発話内容選定部111は、カテゴリ選定部110で選定した出力VRMに合致した発話の言語的項目を選定する。この際、カテゴリ選定部110で選定した出力VRM、運転難度特定部101で特定した運転難度、及び眠気特定部102で特定した眠気レベルに対応する発話の話題,発話長,形式,言い回しといった言語的項目を言語的項目DB104eから選定する。
ここで、図9を用いて、言語的項目DB104eに記憶されているVRM、運転難度、及び眠気レベル別の言語的項目について説明を行う。図9では、VRM「質問」である場合の例を示している。言語的項目のうちの「話題」は、VRM、運転難度、及び眠気レベル別に言語的項目DB104eに、ドライバの興味に合致した種別の「話題」が記憶されているものとする。なお、眠気レベルが高いほど覚醒維持の効果のある「話題」を記憶していることが好ましく、運転難度が高いほど運転に集中しやすい「話題」を記憶していることが好ましい。言語的項目のうちの「話題」の内容自体については、話題DB104gに記憶されている情報を用いればよい。
言語的項目のうちの「発話長」は、眠気レベルが高いほど、発話でドライバの気を引いて覚醒状態を維持できるよう、上限が長く記憶されていることが好ましい。一方、運転難度が高いほど、発話でドライバの集中を妨げにくいよう、上限が短く記憶されていることが好ましい。
言語的項目のうちの「形式」は、一定未満の眠気レベルに対しては、ドライバが肯定否定で返答をするか内容を述べる返答をするか明確なOpen形式とドライバが肯定否定で返答をするか内容を述べる返答をするか曖昧なHalf−Open形式とが記憶されている一方、一定以上の眠気レベルに対しては、Half−Open形式のみが記憶されていることが好ましい。つまり、眠気レベルが高くなるほど、Open形式よりもHalf−Open形式が優先されるようになっている。これは、Half−Open形式の方が、ドライバの思考を活性化させ、覚醒状態を維持しやすいためである。なお、一定未満の眠気レベルに対してはOpen形式のみが記憶されている一方、一定以上の眠気レベルに対してはHalf−Open形式のみが記憶されている構成としてもよい。
言語的項目のうちの「言い回し」は、眠気レベルが高いほど覚醒維持の効果のある「言い回し」を記憶していることが好ましく、運転難度が高いほど運転に集中しやすい「言い回し」を記憶していることが好ましい。なお、言語的項目DB104eにおいて対応付けられている眠気レベル及び運転難度は、眠気レベル及び運転難度の最高値よりも低い上限が設けられているものとする。
さらに、発話内容選定部111は、カテゴリ選定部110で選定した出力VRMに合致した発話の非言語的項目を選定する。この際、カテゴリ選定部110で選定した出力VRM、運転難度特定部101で特定した運転難度、及び眠気特定部102で特定した眠気レベルに対応する発話速度,イントネーション,声質,発話間隔等の非言語的項目を非言語的項目DB104fから選定する。
ここで、図10を用いて、非言語的項目DB104fに記憶されているVRM、運転難度、及び眠気レベル別の非言語的項目について説明を行う。図10でも、VRM「質問」である場合の例を示している。非言語的項目のうちの「発話速度」は、眠気レベルが高いほど、ドライバが聴き取りに集中することで覚醒状態を維持できるよう、より速い発話速度が記憶されていることが好ましい。
非言語的項目のうちの「イントネーション」は、一定未満の眠気レベル及び一定以上の眠気レベル且つ一定未満の運転難度に対しては、通常型と変化型とが記憶されている一方、一定以上の眠気レベル且つ一定以上の運転難度に対しては、通常型のみが記憶されていることが好ましい。つまり、眠気レベル及び運転難度が高くなるほど、変化型よりも通常型が優先されるようになっている。
非言語的項目のうちの「声質」は、ドライバの気を引いて覚醒状態を維持できるよう、一定未満の眠気レベルに対しては、ドライバと同性の声質が記憶されている一方、一定以上の眠気レベルに対しては、ドライバとは異性の性質が記憶されていることが好ましい。非言語的項目のうちの「発話間隔」は、眠気レベルが高いほど、ドライバが聴き取りに集中することで覚醒状態を維持できるよう、より短い発話間隔が記憶されていることが好ましい。
発話処理部112は、発話内容選定部111で選定した言語的項目及び非言語的項目に従った発話を、合成音声によって音声出力装置90から出力させる。学習部113は、ドライバの特性に合わせて覚醒維持に有効な遷移態様を学習し、遷移候補DB104dを更新する。
一例として、学習部113は、発話処理部112で行わせた発話によってドライバの覚醒状態を維持できたか否かを、この発話によって開始された対話における眠気特定部102での眠気レベルの特定結果から判定する。覚醒状態を維持できなかったと判定した場合には、遷移候補DB104dに記憶している乖離パターン別の遷移態様の候補のうちから、遷移候補選定部109で前回候補として選定した以外の候補を選定し直して以降の処理を行う。以上を、覚醒状態を維持できたと判定するまで繰り返すことで、ドライバの覚醒状態の維持に好ましい候補を選択する学習を行い、学習で選択した候補を次回以降の候補とするように遷移候補DB104dを更新する。
なお、学習部113は、発話処理部112からの発話と、この発話に対するドライバの発話について発話解析部106で解析した結果とから、ドライバの発話がどのように誘導できたかを学習することで、遷移態様に沿った発話行動の遷移を行わせるのに適切なVRMを学習してもよい。そして、カテゴリ選定部110でのVRMの選定時に、この学習結果に従ってVRMを選定するようにすればよい。学習部113は、ドライバ別に、ドライバの特性に合わせて覚醒維持に有効な遷移態様を学習し、ドライバ別に、遷移候補DB104dを更新する構成としてもよい。一例として、個々のドライバの判別は、音声認識部105で認識されるドライバの音声信号の特徴をもとに行う構成とすればよい。
<対話制御装置10での対話関連処理>
続いて、図11及び図12のフローチャートを用いて、対話制御装置10での処理(以下、対話関連処理)の流れの一例について説明を行う。図11のフローチャートは、例えば、自車のイグニッション電源がオンになったときに開始する構成とすればよい。
まず、ステップS1では、眠気特定部102が、自車のドライバの眠気レベルを特定する。ステップS2では、支援指示部103が、S1で特定した眠気レベルが閾値を超えているか否かを判別する。ここで言うところの閾値とは、対話制御装置10で行わせる対話では覚醒状態の維持が困難と推測されるほど高い眠気レベルとすればよく、任意に設定可能である。なお、言語的項目DB104eにおいて対応付けられている眠気レベルの上限は、S2で用いるこの閾値とすることが好ましい。そして、S2では、眠気レベルが閾値を超えていると判別した場合(S2でYES)には、ステップS3に移る。一方、眠気レベルが閾値以下と判別した場合(S2でNO)には、ステップS4に移る。
ステップS3では、支援指示部103が運転支援ECU60に指示を行い、ドライバに情報提示を行う運転支援機能を実行させたり、ドライバによる運転操作の支援又は代行を行う運転支援機能を実行させたりして、ステップS13に移る。一例としては、S2で眠気レベルが閾値を超えていると判別していた場合には、ブザー等から警報音を出力させてドライバを覚醒させたり、一時的に自動運転機能を実行したりすればよい。また、S5で運転難度が閾値を超えていると判別していた場合には、運転難度に応じた情報提示を情報提示装置から行ってドライバに安全確認を促したり、一時的に自動運転機能を実行したりすればよい。例えば、周辺車両の多い道路では、接近車両の有無を音や振動、画像等によって提示させる構成とすればよい。
また、ステップS4では、運転難度特定部101が、自車のドライバの運転難度を特定する。ステップS5では、支援指示部103が、S4で特定した運転難度が閾値を超えているか否かを判別する。ここで言うところの閾値とは、対話制御装置10で行わせる発話にドライバが応じる余裕がないと推測されるほど高い運転難度とすればよく、任意に設定可能である。なお、言語的項目DB104eにおいて対応付けられている運転難度の上限は、S5で用いるこの閾値とすることが好ましい。そして、S5では、運転難度が閾値を超えていると判別した場合(S5でYES)には、ステップS3に移る。一方、運転難度が閾値以下と判別した場合(S5でNO)には、ステップS6に移る。
ステップS6では、発話構成処理を行ってステップS7に移る。ここで、図12のフローチャートを用いて、発話構成処理の概略について説明を行う。発話構成処理では、記憶部104に記憶されている各種DBの情報をもとに、ドライバの覚醒状態の維持に有効な対話を実行するための車両システム1側からの出力発話を構成する。
まず、ステップS61では、バランス特定部107が、車両システム1から逐次行った発話についてのVRMと、発話解析部106で逐次特定したドライバの発話について逐次分類したVRMとをもとに、対話単位(つまり、ブロック)での実VRMバランスを特定する。対話関連処理を開始してから車両システム1とドライバとの間での対話が一度も行われていない場合、実VRMバランスにおける話者及びVRM別の値は全て0として出力されるものとすればよい。
ステップS62では、比較部108が、理想VRMバランスDB104cに記憶されている覚醒維持バランスと、S61で特定した実VRMバランスとを照合して比較する。ステップS63では、遷移候補選定部109が、S62での比較結果から、実VRMバランスを覚醒維持バランスに近づけるために有効な発話行動の遷移態様を、遷移候補DB104dに記憶されている遷移態様の候補の中から選定する。
ステップS64では、カテゴリ選定部110が、S63で選定した遷移態様をもとに、車両システム1が発話するのに適した出力VRMを選定する。ステップS65では、発話内容選定部111が、S64で選定した出力VRMに合致した発話の言語的項目を選定する。ステップS66では、発話内容選定部111が、S64で選定した出力VRMに合致した発話の非言語的項目を選定し、ステップS7に移る。
図11に戻って、ステップS7では、発話処理部112が、S6で選定した言語的項目及び非言語的項目に従った発話を、合成音声によって音声出力装置90から出力させる。このように車両システム1側から発話が行われた場合に、この発話が対話の終了時に該当しなければ、この発話に反応してドライバが発話行動を開始し、ドライバの発話がマイク80で集音されることになる。
ステップS8では、音声認識部105が、マイク80から入力されてくる音声信号を、音声認識用DB104aに記憶されている認識辞書を用いて、発話内容を示す文字列に変換し、記憶部104に記憶する。ステップS9では、発話解析部106が、S8で記憶部104に記憶された音声認識結果から、発話解析用DB104bの情報を用いて発話内容を解析する。ステップS10では、発話解析部106が、S9で言語的な発話内容を解析した結果から、発話内容がどのカテゴリのVRMにあたるかを解析し、S9での解析結果とともに記憶部104に記憶する。
ステップS11では、支援指示部103が、S10で記憶部104に記憶された発話内容の解析結果から、車載機器の制御が必要か否かを判定する。一例として、車載機器の制御と発話内容に含まれるキーワードとの対応関係を記憶部104に予め記憶しておくことで、発話内容に車載機器の制御に対応するキーワードが含まれる場合に、キーワードに対応する車載機器の制御が必要と判定する構成とすればよい。具体例としては、カーエアコンの温度設定を下げる制御と、キーワード「暑い」とが対応付けられている等の構成とすればよい。そして、S11では、車載機器の制御が必要と判定した場合(S11でYES)には、ステップS12に移る。一方、車載機器の制御が必要でないと判定した場合(S11でNO)には、ステップS13に移る。
ステップS12では、支援指示部103が、車載機器制御ECU45に指示を行い、S11で制御が必要と判定した車載機器を制御させる。一例として、カーエアコンの温度設定を下げる制御が必要と判定した場合には、エアコンECUに指示を行って、カーエアコンの温度設定を下げる制御を行わせればよい。
ステップS13では、対話関連処理の終了タイミングであった場合(S13でYES)には、対話関連処理を終了する。一方、対話関連処理の終了タイミングでなかった場合(S13でNO)には、S1に戻って処理を繰り返す。対話関連処理の終了タイミングの一例としては、自車のイグニッション電源がオフになったこと等がある。なお、自車の加速、制動、及び操舵を自動で行わせる自動運転が開始されたことを対話関連処理の終了タイミングとしてもよい。
<実施形態1のまとめ>
実施形態1の構成によれば、発話処理部112で行わせる発話によって、実VRMバランスを、ドライバの覚醒状態を維持させると推測される覚醒維持バランスに近づけることが可能になるので、ドライバの覚醒を維持することがより確実に可能となる。また、覚醒維持バランスとしては、本発明者が覚醒維持に有効であることを見出した、ドライバが能動的に多くの発話を行うVRMバランスを用いることからも、ドライバの覚醒状態を維持することがより確実に可能となる。
また、対話におけるお互いの発話行動を分類したVRMの構成バランスを、覚醒維持バランスに近づけることでドライバの覚醒状態を維持することになる。よって、単に覚醒効果のある発話を行う構成に比べ、違和感のある対話となりにくく、ドライバの覚醒維持をより自然に行うことが可能となる。
さらに、実施形態1の構成によれば、実VRMバランスを覚醒維持バランスに近づける場合に、ドライバの覚醒状態を維持させると推測される遷移態様に沿った発話行動の遷移が車両システム1とドライバ間で行われるように出力VRMを選定する。よって、この点でも、ドライバの覚醒状態を維持することが可能になる。また、ドライバの特性に合わせて覚醒維持に有効な遷移態様を学習するので、ドライバの特性に合わせた覚醒維持が可能になる。
他にも、実施形態1の構成によれば、ドライバの眠気レベルが閾値を超えている場合には、ドライバを覚醒させる支援を行うので、対話による覚醒維持が困難な場合にも、ドライバを覚醒させることができる。
(実施形態2)
実施形態1では、学習部113が、ドライバの特性に合わせて覚醒維持に有効な遷移態様を学習し、遷移候補DB104dを更新する構成を示したが、必ずしもこれに限らない。例えば、学習部113が、ドライバの特性に合わせて覚醒維持に有効な覚醒維持バランスや言語的項目や非言語的項目を学習し、理想VRMバランスDB104cや言語的項目DB104eや非言語的項目DB104fを更新する構成としてもよい。
一例として、ドライバの特性に合わせた覚醒維持バランスの学習については、以下のようにすればよい。まず、理想VRMバランスDB104cに覚醒維持バランスの候補を予め複数記憶しておく。そして、学習部113が、実施形態1で述べたようにして覚醒状態を維持できなかったと判定した場合には、理想VRMバランスDB104cに記憶している覚醒維持バランスの候補のうちから、比較部108で前回比較に用いた以外の候補を選定し直して以降の処理を行う。以上を、覚醒状態を維持できたと判定するまで繰り返すことで、ドライバの覚醒状態の維持に好ましい候補を選択する学習を行い、学習で選択した候補を次回以降の候補とするように理想VRMバランスDB104cを更新する。
言語的項目や非言語的項目についても、複数の候補を言語的項目DB104eや非言語的項目DB104fに予め記憶しておき、前述したのと同様にしてドライバの覚醒状態の維持に好ましい候補を選択する学習を行えばよい。そして、学習で選択した候補を次回以降の候補とするように言語的項目DB104eや非言語的項目DB104fを更新する構成とすればよい。
(実施形態3)
実施形態1では、発話内容選定部111が、運転難度特定部101で特定した運転難度及び眠気特定部102で特定した眠気レベルに対応する言語的項目を選定する構成を示したが、必ずしもこれに限らない。例えば、対話制御装置10に運転難度特定部101を備えず、発話内容選定部111が、運転難度に関わらずに、眠気特定部102で特定した眠気レベルに対応する言語的項目を選定する構成としてもよい。他にも、発話内容選定部111が、運転難度及び眠気レベルに関わらずに、カテゴリ選定部110で選定した出力VRMに合致した発話の言語的項目を選定する構成としてもよい。
(実施形態4)
実施形態1では、発話内容選定部111が、運転難度特定部101で特定した運転難度及び眠気特定部102で特定した眠気レベルに対応する非言語的項目を選定する構成を示したが、必ずしもこれに限らない。例えば、対話制御装置10に運転難度特定部101を備えず、発話内容選定部111が、運転難度に関わらずに、眠気特定部102で特定した眠気レベルに対応する非言語的項目を選定する構成としてもよい。他にも、発話内容選定部111が、運転難度及び眠気レベルに関わらずに、カテゴリ選定部110で選定した出力VRMに合致した発話の非言語的項目を選定する構成としてもよい。
(実施形態5)
実施形態1では、実VRMバランスを覚醒維持バランスに近づけるために有効な発話行動の遷移態様をもとに出力VRMを選定する構成を示したが、必ずしもこれに限らない。例えば、実VRMバランスと覚醒維持バランスとを照合して比較し、覚醒維持バランスと比較して最も足りない出力VRMを選定する処理を逐次繰り返すことで、実VRMバランスを覚醒維持バランスに近づける構成としてもよい。
(実施形態6)
実施形態1では、支援指示部103が、運転難度特定部101で特定した運転難度及び眠気特定部102で特定した眠気レベルがそれぞれの閾値を超えたか否かで、運転支援ECU60でのドライバの運転支援と対話処理部100で対話を行わせることによるドライバの覚醒維持の支援とを切り替える構成を示したが、必ずしもこれに限らない。例えば、運転難度及び眠気レベルがそれぞれの閾値を超えた場合にも、対話処理部100で対話を行わせることによるドライバの覚醒維持の支援を実行させる構成としてもよい。また、運転難度及び眠気レベルのいずれか一方について、閾値を超えた場合にも、運転支援ECU60でのドライバの運転支援を実行させない構成としてもよい。他にも、運転難度及び眠気レベルに関わらず、運転支援ECU60でのドライバの運転支援を行わない構成としてもよい。
(実施形態7)
実施形態では、DSM70でドライバの眠気レベルを検知する構成を示したが、必ずしもこれに限らない。例えば、ドライバの生体情報を計測する計測装置で計測した計測結果からドライバの眠気レベルを検知する構成としてもよい。眠気の検知に用いる生体情報の一例としては、脳波計で計測した脳波、心拍計で計測した心拍数,心拍ゆらぎ、脈波計で計測した脈波、皮膚電気活動計で計測した皮膚コンダクタンス等がある。また、計測結果からの眠気の検知方法については、公知の方法を用いればよい。なお、計測装置は、ドライバに装着されて生体情報を計測するウェアラブルデバイスであってもよいし、車両のステアリングホイール等に設けられたものであってもよい。
他にも、自車に搭載された車載センサで検出した情報からドライバの眠気レベルを検知する構成としてもよい。眠気レベルの検知に用いる車載センサで検出した情報の一例としては、舵角センサで検出した操舵角、周辺監視カメラで検出した走行区画線等がある。車載センサで検出した情報からの眠気の検知方法については、公知の方法を用いればよい。例えば、周辺監視カメラで逐次検出する走行区画線の位置から求められる自車の横揺れから眠気レベルを検知したり、舵角センサで逐次検出する操舵角から求められるステアリング操作のばらつき量から眠気レベルを検知したりすればよい。
なお、本発明は、上述した実施形態及び変形例に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態及び変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
1 車両システム、10 対話制御装置(車両用対話制御装置)、40 車両制御ECU、45 車載機器制御ECU、50 周辺監視センサ、60 運転支援ECU、70 DSM、80 マイク、90 音声出力装置、100 対話処理部、101 運転難度特定部、102 眠気特定部、103 支援指示部、104 記憶部、104c 理想VRMバランスDB(バランス記憶部)、104d 遷移候補DB(候補記憶部)、105 音声認識部、106 発話解析部(分類部)、107 バランス特定部、108 比較部、109 遷移候補選定部、110 カテゴリ選定部、111 発話内容選定部、112 発話処理部、113 学習部

Claims (9)

  1. 車両で用いられ、
    前記車両のドライバに向けて発話を行わせる発話処理部(112)を備え、
    前記発話処理部で前記ドライバに向けて発話を行わせることで前記ドライバとの対話を行わせる車両用対話制御装置であって、
    前記対話におけるお互いの発話行動を所定の分類に分けた、分類別の発話行動の構成バランスである対話バランスのうちの、前記ドライバの覚醒状態を維持させると推測される対話バランスである覚醒維持バランスを記憶しているバランス記憶部(104c)を備え、
    前記発話処理部は、実際の前記対話バランスを前記覚醒維持バランスに近づけるよう誘導する発話を行わせる車両用対話制御装置。
  2. 請求項1において、
    前記ドライバの発話内容をもとに、前記ドライバの発話行動を前記所定の分類に分ける分類部(106)と、
    前記発話処理部で逐次行わせる発話についての前記所定の分類と、前記ドライバの発話について前記分類部で逐次分類した結果とをもとに、実際の前記対話バランスを特定するバランス特定部(107)とを備える車両用対話制御装置。
  3. 請求項1又は2において、
    前記対話におけるお互いの間での発話行動の遷移態様のうちの、前記ドライバの覚醒状態を維持させると推測される遷移態様の候補を、実際の前記対話バランスと前記覚醒維持バランスとの乖離のパターン別に記憶している候補記憶部(104d)を備え、
    前記発話処理部は、実際の前記対話バランスを前記覚醒維持バランスに近づけるよう誘導する発話を行わせる場合に、前記候補記憶部に記憶されている前記遷移態様の候補のうちの実際の前記対話バランスと前記覚醒維持バランスとの乖離のパターンに応じた前記遷移態様に沿った発話行動の遷移が行われるよう誘導する発話を行わせる車両用対話制御装置。
  4. 請求項3において、
    前記候補記憶部は、前記パターン別にそれぞれ複数種類の遷移態様の候補を記憶しており、
    前記発話処理部で行わせた発話によって前記ドライバの覚醒状態を維持できたか否かに応じて、前記候補記憶部に記憶している前記パターン別のそれぞれ複数種類の遷移態様の候補のうちから、前記ドライバの覚醒状態の維持に好ましい候補を選択する学習を逐次行う学習部(113)を備え、
    前記発話処理部は、前記パターンに応じた前記遷移態様の候補に沿った発話行動の遷移が行われるよう誘導する発話を行わせる場合に、前記学習部での前記学習で選択した候補に沿った発話行動の遷移が行われるよう誘導する発話を行わせる車両用対話制御装置。
  5. 請求項1〜4のいずれか1項において、
    前記ドライバの眠気レベルを逐次特定する眠気特定部(102)と、
    前記発話処理部で発話を行わせる際の発話内容の言語的項目を、前記眠気特定部で特定する前記眠気レベルに応じて選定する発話内容選定部(111)とを備える車両用対話制御装置。
  6. 請求項5において、
    前記発話内容選定部は、前記発話処理部で発話を行わせる際の発話が、何らかの返答を求める発話である場合に、前記眠気特定部で特定する前記眠気レベルが高くなるほど、前記ドライバが肯定否定で返答をするか内容を述べる返答をするか明確な形式の言語的項目よりも、前記ドライバが肯定否定で返答をするか内容を述べる返答をするか曖昧な形式の言語的項目を優先して選定する車両用対話制御装置。
  7. 請求項5又は6において、
    前記車両の周辺環境に応じた前記ドライバの運転難度を逐次特定する運転難度特定部(101)を備え、
    前記発話内容選定部は、前記発話処理部で発話を行わせる際の発話内容の言語的項目を、前記眠気特定部で特定する前記眠気レベルと前記運転難度特定部で特定する前記運転難度とに応じて選定する車両用対話制御装置。
  8. 請求項7において、
    前記発話内容選定部は、前記発話処理部で発話を行わせる際の発話内容の言語的項目に加え、その発話内容に追加する非言語的項目も、前記眠気特定部で特定する前記眠気レベルと前記運転難度特定部で特定する前記運転難度とに応じて選定する車両用対話制御装置。
  9. 請求項1〜8のいずれか1項において、
    前記ドライバの眠気レベルを逐次特定する眠気特定部(102)と、
    前記車両の周辺環境に応じた前記ドライバの運転難度を逐次特定する運転難度特定部(101)とを備えるものであって、
    前記眠気特定部で特定する前記眠気レベル若しくは前記運転難度特定部で特定する前記運転難度が閾値を超えた場合に、前記車両の運転支援を行わせる支援指示部(103)をさらに備える車両用対話制御装置。
JP2016164998A 2016-08-25 2016-08-25 車両用対話制御装置 Active JP6677126B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016164998A JP6677126B2 (ja) 2016-08-25 2016-08-25 車両用対話制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016164998A JP6677126B2 (ja) 2016-08-25 2016-08-25 車両用対話制御装置

Publications (2)

Publication Number Publication Date
JP2018031918A true JP2018031918A (ja) 2018-03-01
JP6677126B2 JP6677126B2 (ja) 2020-04-08

Family

ID=61304080

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016164998A Active JP6677126B2 (ja) 2016-08-25 2016-08-25 車両用対話制御装置

Country Status (1)

Country Link
JP (1) JP6677126B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108725340A (zh) * 2018-03-30 2018-11-02 斑马网络技术有限公司 车辆语音处理方法及其系统
WO2019087536A1 (ja) * 2017-10-30 2019-05-09 ダイキン工業株式会社 眠気推定装置
CN109887493A (zh) * 2019-03-13 2019-06-14 安徽声讯信息技术有限公司 一种文字音频推送用心跳技术
JP2020034835A (ja) * 2018-08-31 2020-03-05 国立大学法人京都大学 音声対話システム、音声対話方法、プログラム、学習モデル生成装置及び学習モデル生成方法
JP2020104570A (ja) * 2018-12-26 2020-07-09 日本精機株式会社 車両用計器

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118260A (ja) * 1998-10-09 2000-04-25 Honda Motor Co Ltd 車両用乗員対話装置
JP2001014599A (ja) * 1999-06-25 2001-01-19 Toshiba Corp 覚醒度管理装置、覚醒度管理方法および覚醒度管理プログラムを格納するコンピュータ読み取り可能な記録媒体
JP2016110583A (ja) * 2014-12-10 2016-06-20 株式会社デンソー 車両用対話制御装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000118260A (ja) * 1998-10-09 2000-04-25 Honda Motor Co Ltd 車両用乗員対話装置
JP2001014599A (ja) * 1999-06-25 2001-01-19 Toshiba Corp 覚醒度管理装置、覚醒度管理方法および覚醒度管理プログラムを格納するコンピュータ読み取り可能な記録媒体
JP2016110583A (ja) * 2014-12-10 2016-06-20 株式会社デンソー 車両用対話制御装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019087536A1 (ja) * 2017-10-30 2019-05-09 ダイキン工業株式会社 眠気推定装置
CN108725340A (zh) * 2018-03-30 2018-11-02 斑马网络技术有限公司 车辆语音处理方法及其系统
CN108725340B (zh) * 2018-03-30 2022-04-12 斑马网络技术有限公司 车辆语音处理方法及其系统
JP2020034835A (ja) * 2018-08-31 2020-03-05 国立大学法人京都大学 音声対話システム、音声対話方法、プログラム、学習モデル生成装置及び学習モデル生成方法
CN110875032A (zh) * 2018-08-31 2020-03-10 国立大学法人京都大学 语音交互系统和方法、程序、学习模型生成装置和方法
JP7063779B2 (ja) 2018-08-31 2022-05-09 国立大学法人京都大学 音声対話システム、音声対話方法、プログラム、学習モデル生成装置及び学習モデル生成方法
CN110875032B (zh) * 2018-08-31 2023-10-10 国立大学法人京都大学 语音交互系统和方法、程序、学习模型生成装置和方法
JP2020104570A (ja) * 2018-12-26 2020-07-09 日本精機株式会社 車両用計器
JP7200664B2 (ja) 2018-12-26 2023-01-10 日本精機株式会社 車両用計器
CN109887493A (zh) * 2019-03-13 2019-06-14 安徽声讯信息技术有限公司 一种文字音频推送用心跳技术

Also Published As

Publication number Publication date
JP6677126B2 (ja) 2020-04-08

Similar Documents

Publication Publication Date Title
JP6677126B2 (ja) 車両用対話制御装置
KR102426171B1 (ko) 대화 시스템, 이를 포함하는 차량 및 대화 서비스 처리 방법
US7805224B2 (en) Medical applications in telematics
JP6202041B2 (ja) 車両用音声対話システム
KR20190140558A (ko) 대화 시스템, 그를 가지는 차량 및 차량의 제어 방법
US11443747B2 (en) Artificial intelligence apparatus and method for recognizing speech of user in consideration of word usage frequency
CN110880321B (zh) 基于语音的智能刹车方法、装置、设备及存储介质
CN105938657A (zh) 一种无人驾驶车辆的听觉感知与智能决策系统
WO2014057540A1 (ja) ナビゲーション装置およびナビゲーション用サーバ
JP6075577B2 (ja) 運転支援装置
US20200051566A1 (en) Artificial intelligence device for providing notification to user using audio data and method for the same
JP7235441B2 (ja) 音声認識装置及び音声認識方法
KR20200000604A (ko) 대화 시스템 및 대화 처리 방법
JP2019123259A (ja) 車両制御装置、車両制御方法、及び車両制御プログラム
CN109102801A (zh) 语音识别方法和语音识别装置
KR102403355B1 (ko) 차량, 그와 통신하는 모바일 기기 및 차량의 제어 방법
US11211059B2 (en) Artificial intelligence apparatus and method for recognizing speech with multiple languages
US11273778B1 (en) Vehicle voice user interface
US11404075B1 (en) Vehicle voice user interface
KR20200004054A (ko) 대화 시스템 및 대화 처리 방법
JP2020154996A (ja) 情報処理システム、エージェントシステム、情報処理方法、およびプログラム
JP7222757B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP7340943B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
JP7239365B2 (ja) エージェント装置、エージェント装置の制御方法、およびプログラム
KR20200000621A (ko) 대화 시스템, 이를 포함하는 차량 및 대화 처리 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190618

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200225

R151 Written notification of patent or utility model registration

Ref document number: 6677126

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250