JP2000118260A

JP2000118260A - 車両用乗員対話装置

Info

Publication number: JP2000118260A
Application number: JP10324331A
Authority: JP
Inventors: Yoshiaki Sakagami; 義秋坂上; Koji Akatsuka; 浩二赤塚
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1998-10-09
Filing date: 1998-10-09
Publication date: 2000-04-25

Abstract

(57)【要約】【目的】乗員（運転者）の居眠り状態に応じた流動的
な対話をなすことによって覚醒効果を向上させるように
する。【構成】車内音を収集する車内収音部と、その収集さ
れた車内音の情報を分析して乗員の音声を検出する音声
分析部と、その音声検出信号の状態にしたがって乗員の
居眠り状態を検出する乗員状態検出部と、乗員の居眠り
状態の検出信号に応じて先に検出された乗員の音声の情
報にもどづいて対話文を生成する対話文生成部と、その
生成された対話文を音声によって出力する音声出力部と
によって車両用乗員対話装置を構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、乗員（運転者）との対
話をとりながら乗員の覚醒を促して、居眠りを防止する
ようにした車両用乗員対話装置に関する。

【０００２】

【従来の技術】従来、運転者の居眠りを防止するための
装置としては、カメラによる撮像画像を処理することに
よって運転者のまばたき状態を検知する手段、角速度セ
ンサによって車両走行のふらつき状態を検知する手段な
どが用いられている。

【０００３】また、従来、覚醒手段の作動開始や運転者
の覚醒の仕方について、音や音声を利用した装置が存在
する。例えば、運転者の音声入力を装置自体を始動する
ためのトリガとして用い、覚醒のための音声を運転者の
状態に応じて変更したり、運転者の状態に応じて休憩を
促す警告を音声情報出力によって行わせるようにしてい
る（特開平５−３２５０９８号公報参照）。しかし、こ
のようなものにあっては、警告に用いられる音声情報と
して一律に定型化されたものしか用意されていない。

【０００４】また、従来、音声情報出力を複数回行っ
て、それに応じて覚醒レベルを決定し、その決定された
覚醒レベルに応じて警告ための音声信号を変更するよう
にしたものが開発されている（特開平９−１３２０５２
号公報参照）。

【０００５】また、従来、運転者に対する話題提供によ
る覚醒効果を狙い、運転者の状態に応じて話題提供のた
めのための文脈変更を行うようにしたものが存在する
（特開平８−３２９４００号公報参照）。しかし、それ
は運転者と対話をするものではなく、運転者の音声入力
は装置の始動のためのトリガとしてしか用いられていな
い。

【０００６】

【発明が解決しようとする課題】解決しようとする問題
点は、従来の運転者の居眠り防正装置では運転者の個人
差によって居眠り状態の検出精度が悪いものになってい
ることである。例えば、カメラによる撮像画像を処理す
ることによって運転者のまばたき状態を検知する場合、
運転者の体格によってカメラによる運転者の目の部分の
撮像角度が変わってしまい、居眠り状態の誤検出をきた
してしまう。そして、運転者に常にカメラによって監視
されているという威圧感を与えかねないものになってい
る。また、角速度センサによって車両走行のふらつき状
態を検知する場合、運転者のハンドル操作のくせによっ
て車両走行のふらつき状態に個人差があり、居眠り状態
の誤検出をきたしてしまうという問題がある。

【０００７】また、従来の音声を用いた運転者の居眠り
防止装置では、運転者の音声入力を始動のためのトリガ
としてしか用いておらず、あとは装置から一方的に出さ
れる音声情報を聞くだけのものでしかない。そして、そ
の出力される音声情報の内容も一律に定型化されたもの
でしかなく、運転者がその音声情報に慣れてしまって、
覚醒の効果を充分に発揮できなくなってしまうという問
題がある。

【０００８】

【課題を解決するための手段】本発明は、乗員（運転
者）の個人差によって居眠り状態の検出精度が影響され
るようなことなく、また一律に定型化された音声情報を
もって乗員へ一方的な語りかけをするのではなく、その
ときの乗員の状態に応じた流動的な対話をなすことによ
り覚醒効果を向上させるべく、車内音を収集する車内収
音部と、その収集された車内音の情報を分析して乗員の
音声を検出する音声分析部と、その音声検出信号の状態
にしたがって乗員の居眠り状態を検出する乗員状態検出
部と、乗員の居眠り状態の検出信号に応じて先に検出さ
れた乗員の音声の情報にもどづいて対話文を生成する対
話文生成部と、その生成された対話文を音声によって出
力する音声出力部とによって車両用乗員対話装置を構成
するようにしている。

【０００９】

【実施例】図１は本発明による車両用乗員対話装置の一
構成例を示すもので、車内音を収集する市内収音部（マ
イクロホン）１と、その収集された車内音の情報を分析
して、予め登録された言語を検出して、その登録言語の
前、後の音声区間における言語を抽出するとともに、車
内音に音声が含まれていることを検出する音声分析部２
と、その抽出された言語を記録する言語記録部３と、音
声分析部２からの音声検出信号にもとづいて乗員の状態
を検出する乗員状態検出部４と、乗員状態検出部４にお
いて検出された乗員の状態に応じて、予め種々の対話要
素となる言語のデータが記憶された対話要素言語記憶部
（ＲＡＭ）５から必要なデータを読み出して、そのとき
言語記録部３に記録されている言語と合成することによ
って所定の対話文を生成する対話文生成部６と、その作
成された対話文を音声によって出力する音声出力部（ス
ピーカ）７とによって構成されている。

【００１０】このように構成されたものにあっては、車
内収音部１によって収集された車内音は音声分析部２に
おいて分析されてその内に含まれている音声が検出され
たうえで、予め登録されている会話でよく出現する言語
が検出される。

【００１１】その音声分析は、公知の音声認識のワード
スポット技術を用いることによって容易に達成すること
ができる。ワードスポット技術は連続音声中からキーワ
ードとなる語を検出するもので、例えばキーワード語と
して、会話中に含まれる「えっと」、「あの」、「それ
って」などのようなものが考えられる。

【００１２】そして、音声分析部２は、ワードスポット
されるキーワード語の前、後の音声区間における言語を
抽出して言語記録部３に記録することによって、あとで
作成される対話分の作成にそなえる。

【００１３】乗員状態検出部４は、音声分析部２から送
られてくる音声検出信号にもとづいて、その音声検出の
時間間隔を監視することによって乗員の居眠り状態の検
出を行う。乗員の居眠り状態の検出方法として、例え
ば、乗員の発生する声がある所定時間以上検出されない
場合や、乗員の対話応答に要するまでに所定時間（５秒
程度）以上かかったり、そのときの応答音声のパターン
が間延びしている場合などに乗員が眠くなっているもの
と判定し、また、乗員に話しかけてから所定時間（１０
秒程度）経過しても応答がない場合には乗員が居眠りし
ているものと判定するようにする。

【００１４】対話文生成部６は、乗員状態検出部４から
送られてくる乗員の居眠り状態の検出信号に応じて、乗
員を覚醒させるための対話文を逐次生成する。

【００１５】その際、例えば、先の乗員同志の会話によ
って「それって、ＡＢＣ」との音声が検出されて、キー
ワード語である「それって」がワードスポットされ、そ
れに続く言語「ＡＢＣ」が抽出されて記録されている場
合、対話部生成部６は対話要素言語記憶部５から対話に
必要な言語要素「って何」というデータを読み出して、
先に言語記録部３に記録されている「ＡＢＣ」なる言語
と合成することにより「ＡＢＣって何」という対話文を
生成する。

【００１６】その生成された対話文が音声出力部７から
音声によって出力され、乗員に例えば「ＡＢＣって何
？」という語りかけがなされる。

【００１７】そして、その乗員への語りかけに対して所
定時間（５秒程度）が経過しても音声分析部２によって
音声が検出されない場合には、対話文生成部６は対話要
素言語記憶部５から次の対話に必要な言語要素、例えば
「ねぇちょっと」というデータを読み出して、次の対話
文「ねえちょっと！ＡＢＣって何？」を生成して、その
生成された次の対話文を音声出力部７から出力する。

【００１８】その乗員への次の語りかけに対して所定時
間（５秒程度）が経過してもなお音声分析部２によって
音声が検出されない場合には、対話文生成部６は対話要
素言語記憶部５から居眠りに対する警告に必要な言語要
素を読み出して、例えば「おい！寝てるの？」という警
告を音声出力部７から出力する。

【００１９】なお、車内音の情報を分析することによっ
て検出された乗員の音声の全部を用いて対話文を生成す
るようにしてもよいことはいうまでもない。

【００２０】このように、本発明によれば、乗員の居眠
り状態の程度に応じて対話文を逐次変更しながら乗員と
の対話をくり返してとるようにして、最後には居眠りに
対する警告を与えることにより、乗員が居眠り防止のた
めに出される音声に慣れるようなことなく、対話をとり
ながら乗員の覚醒効果を充分に発揮できるようになる。

【００２１】なお、乗員の居眠り状態時に対話文を何回
かくり返して出力して、最後に居眠りに対する警告を与
えてもなお乗員の応答が得られない場合には、対話文生
成部６から車両を安全に停止させるような制御信号を自
動ブレーキ装置に与えるなどの対策をとることが可能で
ある。

【００２２】また、図２は本発明の他の実施例を示すも
ので、ここでは音声分析部２が、車内収音部１によって
収集された車内音の音声分析を行う以外に、カーラジオ
やカーステレオなどの車載ＡＶ機器８の出力信号をとり
込んで音声分析することができるようにしている。

【００２３】音声分析部２において車載ＡＶ機器の出力
信号にもとづいて音声分析をする際にも、前述したよう
に、予め登録されたキーワード語をワードスポットする
ことにより検出して、そのキーワード語の前、後の音声
区間における言語を抽出して言語記録部３に記録する。

【００２４】例えば、カーラジオからある音楽が流れ、
「今の曲は月光でした。」といった音声が得られたとす
ると、音声分析部２はキーワード語としての「でした」
をワードスポットして、その前の言語「月光」を抽出し
て言語記録部３に記録する。そして、対話文生成部６に
おいで対話文を生成するに際して、対話要素言語記憶部
５から対話に必要な言語要素「ってなんですか」という
データを読み出して、先に２語記録部３に記録されてい
る「月光」なる言語と合成することにより「月光ってな
んですか？」という対話文を生成する。

【００２５】また、図３は本発明のさらに他の実施例を
示すもので、ここでは音声分析部２が、車内収音部１に
よって収集された車内音の音声分析を行う以外に、自車
の現在位置を画面に写し出された道路地図上に表示して
走行誘導の案内を行うナビゲーション装置９からのナビ
ゲーション情報をとり込んで記録するナビゲーション情
報記録部１０を設け、対話文生成部６においてそのナビ
ゲーション情報を用いて、現在位置の確認を催促するよ
うな対話文を生成するようにしている。

【００２６】例えば、ナビゲーション装置９から音声で
与えられる自車の現在位置が△○であるとすると、対話
文生成部６は、対話要素言語記憶部５から「いま、どの
あたりを走行中ですか？」という定型の対話文を読み出
して、その対話文を音声出力部７から出力する。その対
話文の音声出力に対して乗員の応答がなければ、さら
に、ナビゲーション情報記録部１０に記録されている現
在位置△○を用いて、「いま、△○あたりを走行ですか
？」という対話文を合成して、その合成された対話文を
音声出力部７から出力して乗員の注意を喚起するように
する。

【００２７】その際、ナビゲーション装置９における自
車の現在位置が音声以外の位置情報で与えられる場合に
は、対話文生成部６においてその位置情報を音声に変換
する必要があるが、それは音声合成の従来技術を用いれ
ば容易に構築が可能である。

【００２８】また、高速道路を走行中に乗員状態検出部
４で乗員が居眠り状態にあることが検出されたら、対話
文生成部６において、ナビゲーション情報を用いて最寄
りのパーキングエリアに関する情報を生成して音声出力
させるようにすることが可能である。その際、例えば、
対話文を何回かくり返して出力して乗員に警告を与える
ようなことが頻繁に生じたときに、対話文生成部６は
「疲れたんじゃないの？次のパーキングエリアまであと
１Ｋｍ、休んだら？」といったような対話文を生成す
る。

【００２９】また、図４は本発明のさらに他の実施例を
示すもので、ここでは乗員の居眠り状態の検出信号に応
じて生成された対話文が音声出力されてから所定時間経
過しても乗員の音声が検出されないとき、対話文の音声
出力をくり返して行うに際して、カウンタ１１により対
話文の音声出力の回数をカウントしながら、音量制御部
１２によりその回数がふえていくにしたがって音声出力
の音量を次第に上げていくようにしている。したがっ
て、対話をとりながら乗員の覚醒効果をより有効に発揮
できるようになる。

【００３０】図５は、対話文の音声出力の回数をカウン
トしながら音声出力の音量を次第に上げていくときの処
理のフローを示している。

【００３１】ここで、ＣＯＮＴは対話文の音声出力回数
の現在のカウント値、Ｃ〇ＮＴｂｅｆはその直前のカウ
ント値、ＶＯＬは対話文の音声出力の現在の音量、ＶＯ
Ｌｉｎｉｔはその音量初期値、ｄＶＯＬは音量の単位増
加分を示している。

【００３２】その処理のフローにあって、ある一定時間
車内音声が検出された場合、あるいは乗員の居眠り状態
が検出されていない場合には、ＣＯＮＴ、ＣＯＮＴｂｅ
ｆをリセットし、ＶＯＬをＶＯＬｉｎｉｔに戻す。ま
た、ある一定時間車内音声が検出されず、乗員の居眠り
状態が検出された場合には、対話文を生成してその音声
出力を行い、カウンタ１１をインクリメントする。そし
て、ＣＯＮＴｂｅｆ＜ＣＯＮＴであるか否か、すなわち
乗員と対話をする必要がないと判断してから、一回以上
対話文の音声出力をした場合、ＶＯＬをｄＶＯＬ分増加
する。以上の処理がくり返して行われることになる。

【００３３】

【発明の効果】以上、本発明による車両用乗員対話装置
は、車内音を収集することによって、その収集された車
内音の情報を分析して乗員の音声を検出するとともに、
その音声検出信号の状態にしたがって乗員の居眠り状態
を検出して、乗員の居眠り状態に応じて先に検出された
乗員の音声の情報にもとづいて生成された対話文を音声
出力させて乗員に語りかけるようにしているので、乗員
の居眠り状態の検出を個人差によることなく確実に行っ
て、そのときの乗員の状態に応じた対話を流動的になす
ことができ、居眠りに対する警告としての音声出力に慣
れることなく乗員の覚醒効果を向上させることができる
という利点を有している。

【図面の簡単な説明】

【図１】本発明による車両用乗員対話装置の一実施例を
示すブロック構成図である。

【図２】本発明による車両用乗員対話装置の他の実施例
を示すブロック構成図である。

【図３】本発明による車両用乗員対話装置のさらに他の
実施例を示すブロック構成図である。

【図４】本発明による車両用乗員対話装置のさらに他の
実施例を示すブロック構成図である。

【図５】本発明における対話文の音声出力の回数をカウ
ントしながら音声出力の音量を次第に上げていくときの
処理のフローを示す図である。

【符号の説明】

１車内収音部２音声分析部３言語記録部４乗員状態検出部５対話要素言語記憶部６対話文生成部７音声出力部８車載ＡＶ機器９ナビゲーション装置１０ナビゲーション情報記憶部１１カウンタ１２音量制御部

Claims

【特許請求の範囲】

【請求項１】車内音を収集する車内収音部と、その収
集された車内音の情報を分析して乗員の音声を検出する
音声分析部と、その音声検出信号の状態にしたがって乗
員の居眠り状態を検出する乗員状態検出部と、乗員の居
眠り状態の検出信号に応じて先に検出された乗員の音声
の情報にもとづいて対話文を生成する対話文生成部と、
その生成された対話文を音声によって出力する音成出力
部とによって構成された車両用乗員対話装置。
【請求項２】車内音の情報を分析することによって検
出された乗員の音声の情報の一部または全部を用いて対
話文を生成するようにしたことを特徴とする請求項１の
記載による車両用乗員対話装置。
【請求項３】音声分析部において、乗員の音声に含ま
れる予め登録された言語を検出し、その検出した登録言
語の前、後の音声区間における言語を抽出して言語記録
部に記憶するようにして、、対話文生成部において予め
種々の対話要素となる言語のデータが記憶されたメモリ
から必要なデータを読み出して、そのとき前記言語記録
部に記録されている言語と合成することによって対話文
を生成するようにしたことを特徴とする請求項１の記載
による車両用乗員対話装置。
【請求項４】乗員状態検出部において乗員の音声が所
定時間のあいだ発生しないときに乗員が居眠り状態にあ
ると判定して、対話文生成部において対話文を生成する
ようにしたことを特徴とする請求項１の記載による車両
用乗員対話装置。
【請求項５】乗員の対話応答に要するまでの間隔の長
さやそのときの応答音声のパターンによって乗員が居眠
り状態にあると判定して、対話文生成部において対話文
を生成するようにしたことを特徴とする請求項１の記載
による車両用乗員対話装置。
【請求項６】乗員の居眠り状態の検出信号に応じて生
成された対話文が音声出力されてから所定時間経過して
も乗員の音声が検出されないとき、対話文の音声出力を
くり返して行うようにしたことを特徴とする請求項１の
記載による車両用乗員対話装置。
【請求項７】乗員の居眠り状態の検出信号に応じて生
成された対話文が音声出力されてから所定時間経過して
も乗員の音声が検出されないとき、新たな対話文を生成
して音声出力するようにしたことを特徴とする請求項１
の記載による車両用乗員対話装置。
【請求項８】対話文を音声出力するときに音量を次第
に上げていくようにしたことを特徴とする請求項６また
は請求項７の記載による車両用乗員対話装置。
【請求項９】音声分析部において車載ＡＶ機器の音声
出力信号をとり込んで、その音声出力信号のなかから予
め登録された言語を検出し、その検出した登録言語の
前、後の音声区間における言語を抽出して言語記録部に
記録するようにして、対話文生成部において予め種々の
対話要素となる言語のデータが記憶されたメモリから必
要なデータを読み出して、そのとき前記言語記録部に記
録されている言語と合成することによって対話文を生成
するようにしたことを特徴とする請求項１の記載による
車両用乗員対話装置。
【請求項１０】車載のナビゲーション装置からのナビ
ゲーション情報をとり込んで記録するナビゲーション情
報記録部を設け、対話文生成部においてナビゲーション
情報記録部に記録されているナビゲーション情報を用い
て対話文を生成するようにしたことを特徴とする請求項
１の記載による車両用乗員対話装置。