JP2018025603A - Announce controller for vehicle and speech control program for vehicle - Google Patents
Announce controller for vehicle and speech control program for vehicle Download PDFInfo
- Publication number
- JP2018025603A JP2018025603A JP2016155654A JP2016155654A JP2018025603A JP 2018025603 A JP2018025603 A JP 2018025603A JP 2016155654 A JP2016155654 A JP 2016155654A JP 2016155654 A JP2016155654 A JP 2016155654A JP 2018025603 A JP2018025603 A JP 2018025603A
- Authority
- JP
- Japan
- Prior art keywords
- utterance
- guidance
- vehicle
- condition
- satisfied
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
Description
本発明は車両用発話制御装置及び車両用発話制御プログラムに関する。 The present invention relates to a vehicle speech control apparatus and a vehicle speech control program.
従来より、車室内におけるガイダンスの発話を制御する装置が供されている。この種の装置では、例えば「およそ３００メートル先、右方向です」というようなリアルタイム性が求められるガイダンスを特定のタイミングで発話する必要がある。ところが、車室内の環境音や会話等によりドライバがガイダンスを聞き逃すという問題がある。このような問題に対し、特許文献１には、車室内の環境音や会話等の状況を学習し、発話の音量、音質、速度等を変化させる技術が開示されている。 2. Description of the Related Art Conventionally, an apparatus for controlling guidance utterances in a passenger compartment has been provided. In this type of apparatus, it is necessary to utter a guidance that requires real-time performance, such as “approx. 300 meters ahead, in the right direction” at a specific timing. However, there is a problem that the driver misses the guidance due to environmental sounds or conversations in the passenger compartment. To deal with such problems, Patent Document 1 discloses a technique for learning a situation such as an environmental sound or a conversation in a vehicle cabin and changing the volume, sound quality, speed, etc. of the utterance.
特許文献１に開示されている技術では、発話の音量、音質、速度等を変化させているが、ガイダンスがどのような内容であっても発話条件が成立するとガイダンスを発話することに変わりはない。一方、近年の車両用システムの進化に伴い、車室内における様々な操作の代行を車両用システムが提案する機能が開発されている。例えば「エアコンの温度を下げましょうか？」というようなリアルタイム性が求められないガイダンス、即ち、発話するタイミングが遅くなっても運転操作に影響が出ないガイダンスを発話する機能が搭載されつつある。 In the technology disclosed in Patent Document 1, the volume, sound quality, speed, etc. of the utterance are changed, but the guidance is uttered when the utterance condition is satisfied regardless of the content of the guidance. . On the other hand, with the recent evolution of vehicle systems, functions have been developed for vehicle systems to propose various operations in the passenger compartment. For example, a function that utters guidance that does not require real-time performance, such as “Would you like to lower the temperature of the air conditioner”, that is, guidance that does not affect driving operation even if the utterance timing is delayed, is being installed.
しかしながら、リアルタイム性が求められるガイダンスと同様に、リアルタイム性が求められないガイダンスについて特許文献１に開示されている技術を適用すると、リアルタイム性が求められないガイダンスであっても発話条件が成立するとガイダンスを発話することになる。その結果、搭乗者にとって好ましくない事態が生じる。即ち、車室内で搭乗者が会話中にガイダンスを発話する場合に、リアルタイム性が求められるガイダンスであれば、会話を遮ってまで発話することは致し方ないが、リアルタイム性が求められないガイダンスであれば、無理に会話を遮ってまで発話する必要はない。無理に会話を遮ってまで発話すると、車室内の雰囲気を壊すことに繋がる虞があり、たとえ発話の音量、音質、速度等を変化させてもドライバが聞き逃す可能性は依然として残る。このような事情から、ガイダンスの内容及び車室内の状況に応じてガイダンスを適切に発話する技術が求められている。 However, similarly to guidance that requires real-time performance, applying the technology disclosed in Patent Document 1 to guidance that does not require real-time performance, the guidance is established when the utterance condition is satisfied even for guidance that does not require real-time performance. Will speak. As a result, an unfavorable situation occurs for the passenger. In other words, if the passenger speaks the guidance during the conversation in the passenger compartment, if the guidance requires real-time characteristics, it is not possible to speak until the conversation is interrupted, but the guidance does not require real-time characteristics. For example, it is not necessary to speak until you interrupt the conversation. If you speak forcibly until you interrupt the conversation, the atmosphere in the passenger compartment may be destroyed. Even if the volume, sound quality, speed, etc. of the utterance are changed, there is still a possibility that the driver will miss it. Under such circumstances, there is a demand for a technique for appropriately speaking the guidance according to the content of the guidance and the situation in the passenger compartment.
本発明は、上記した事情に鑑みてなされたものであり、その目的は、ガイダンスの内容及び車室内の状況に応じてガイダンスを適切に発話することができ、利便性を高めることができる車両用発話制御装置及び車両用発話制御プログラムを提供することにある。 The present invention has been made in view of the above-described circumstances, and an object of the present invention is for a vehicle that can appropriately speak the guidance according to the content of the guidance and the situation in the passenger compartment, and can improve convenience. To provide an utterance control device and an utterance control program for a vehicle.
請求項１に記載した発明によれば、内容判定部（２ａ）は、発話条件が成立したガイダンスの内容を判定する。状況判定部（２ｂ）は、車室内の状況を判定する。発話制御部（２ｅ）は、内容判定部の判定結果と状況判定部の判定結果とを用い、発話条件が成立したガイダンスの発話タイミングを制御する。これにより、ガイダンスの内容及び車室内の状況に応じてガイダンスを適切に発話することができ、利便性を高めることができる。 According to the first aspect of the present invention, the content determination unit (2a) determines the content of the guidance that satisfies the utterance condition. The situation determination unit (2b) determines the situation in the passenger compartment. The utterance control unit (2e) uses the determination result of the content determination unit and the determination result of the situation determination unit to control the utterance timing of the guidance that satisfies the utterance condition. Thereby, the guidance can be appropriately spoken according to the content of the guidance and the situation in the vehicle interior, and the convenience can be improved.
以下、本発明の一実施形態について図面を参照して説明する。車両用発話制御装置１は、制御部２と、音声認識部３と、画像認識部４と、車載器情報制御部５と、記憶部６とを有する。制御部２は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びＩ／Ｏ（Input／Output）を有するマイクロコンピュータにより構成されている。制御部２は、非遷移的実体的記録媒体に格納されているコンピュータプログラムを実行することで、コンピュータプログラムに対応する処理を実行し、車両用発話制御装置１の動作全般を制御する。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. The vehicle utterance control device 1 includes a
マイク７は、車室内において搭乗者が発した音声を集音可能な位置に配置されており、集音した音声を含む音声信号を音声認識部３に出力する。音声認識部３は、マイク７から音声信号を入力すると、その音声信号に含まれる音声を公知の音声認識技術を用いて認識処理し、その認識結果を制御部２に出力する。カメラ８は、車室内において少なくともドライバの口元を含む範囲を撮影可能な位置に配置されており、撮影した映像を含む映像信号を画像認識部４に出力する。画像認識部４は、カメラ８から映像信号を入力すると、その映像信号に含まれる映像を公知の画像認識技術を用いて認識処理し、その認識結果を制御部２に出力する。
The
ナビゲーションシステム９は、自車位置を特定する機能、自車位置から搭乗者が設定した目的地までの経路を計算する機能、経路を案内する機能等を有する。オーディオシステム１０は、記録媒体に記録されている音楽データを再生する機能、ラジオ放送波を受信してラジオ放送を出力する機能等を有する。エアコン１１は、搭乗者からの操作を受け付けて車室内の空調を調整する機能等を有する。
The
車載器情報制御部５は、これらナビゲーションシステム９、オーディオシステム１０、エアコン１１を含む車載器との間で各種情報を入出力し、発話条件が成立すると、発話条件に応じたガイダンスの内容を示す発話条件成立信号を制御部２に出力する。車載器情報制御部５は、例えばナビゲーションシステム９が経路案内中に「およそ３００メートル先、右方向です」等のガイダンスを発話する条件が成立すると、発話条件成立信号を制御部２に出力する。車載器情報制御部５は、エアコン１１が冷房運転中に「エアコンの温度を下げますか？」等のガイダンスを発話する条件が成立すると、発話条件成立信号を制御部２に出力する。車載器情報制御部５は、ヘッドライトをロービームで点灯中に「暗い道が続くのでハイビームに切り替えますか？」等のガイダンスを発話する条件が成立すると、発話条件成立信号を制御部２に出力する。尚、車載器情報制御部５から制御部２に出力される発話条件成立信号には、その発話条件が成立したガイダンスのリアルタイム性の程度及び対象に関する情報が含まれる。又、本実施形態では、車載器として、ナビゲーションシステム９、オーディオシステム１０、エアコン１１を例示したが、これら以外の車載器が車両に搭載されていても良いし、これらのうち何れかの車載器が車両に搭載されていても良い。
The in-vehicle device
記憶部６は、会話中判定テーブル６ａと実行条件判定テーブル６ｂとを保持している。会話中判定テーブル６ａは、図２に示すように、音声認識部３の認識結果と画像認識部４の認識結果との対応関係を示す。会話中判定テーブル６ａは、音声認識部３の認識結果として車室内の発話があるか否かと、画像認識部４の認識結果としてドライバが開口状態であるか非開口状態であるかとにより、車室内の状況を、ドライバが会話中、ドライバ以外の搭乗者が会話中、又は搭乗者全員が非会話中の何れかに区分する。実行条件判定テーブル６ｂは、図３に示すように、会話中判定テーブル６における区分とガイダンスの内容との対応関係を示す。実行条件判定テーブル６ｂは、車室内の状況と、ガイダンスの内容としてリアルタイム性が高いか低いか及びドライバのみを対象とするか搭乗者全員を対象とするかとにより、発話を許可、又は発話を禁止の何れかに区分する。スピーカ１２は、制御部２からガイダンス出力指示を入力すると、その指示にしたがってガイダンスを発話する。表示装置１３は、制御部２から表示指示を入力すると、その指示にしたがって映像を表示する。
The storage unit 6 holds a during-conversation determination table 6a and an execution condition determination table 6b. As shown in FIG. 2, the during-conversation determination table 6 a shows the correspondence between the recognition result of the
制御部２は、本発明に関連する機能として、内容判定部２ａと、状況判定部２ｂと、優先度判定部２ｃと、有効期限判定部２ｄと、発話制御部２ｅと、条件更新部２ｆとを有する。これらの各部２ａ〜２ｆは制御部２が実行する車両用は発話制御プログラムにより構成されており、ソフトウェアにより実現されている。
As a function related to the present invention, the
内容判定部２ａは、車載器情報制御部５から発話条件成立信号を入力すると、発話条件が成立したガイダンスの内容として、リアルタイム性の程度及び対象を判定する。内容判定部２ａは、例えば「およそ３００メートル先、右方向です」等のガイダンスであれば、リアルタイム性が比較的高い内容であると判定する。内容判定部２ａは、例えば「暗い道が続くのでハイビームに切り替えますか？」等のガイダンスであれば、リアルタイム性が比較的低く且つドライバのみを対象とする内容であると判定する。内容判定部２ａは、例えば「エアコンの温度を下げますか？」等のガイダンスであれば、リアルタイム性が比較的低く且つ搭乗者全員を対象とする内容であると判定する。
When the
状況判定部２ｂは、音声認識部３から認識結果を入力し、画像認識部４から認識結果を入力すると、会話中判定テーブル６ａを参照し、車室内の状況として、ドライバが会話中であるか、ドライバ以外の搭乗者が会話中であるか、又は搭乗者全員が非会話中であるかを判定する。状況判定部２ｂは、車室内の発話があり且つドライバが開口状態であると判定すると、ドライバが会話中であると判定する。状況判定部２ｂは、車室内の発話があり且つドライバが非開口状態であると判定すると、ドライバ以外の搭乗者が会話中であると判定する。状況判定部２ｂは、車室内の発話がないと判定すると、ドライバが開口状態であるか非開口状態であるかに拘らず搭乗者全員が非会話中であると判定する。即ち、状況判定部２ｂは、音声認識部３が各人の音声の特徴により会話中の搭乗者が誰であるかを特定する機能を有していなくても、画像認識部４の認識結果を併用することで、ドライバが会話中であるか、ドライバ以外の搭乗者が会話中であるかを区分して判定する。
When the
優先度判定部２ｃは、例えば「およそ３００メートル先、右方向です」等の運転操作への影響が極めて高いガイダンスであれば、そのガイダンスの優先度が比較的高いと判定する。優先度判定部２ｃは、例えば「暗い道が続くのでハイビームに切り替えますか？」等の運転操作への影響が中程度であるガイダンスであれば、そのガイダンスの優先度が中程度であると判定する。優先度判定部２ｃは、例えば「エアコンの温度を下げますか？」等の運転操作への影響が低いガイダンスであれば、そのガイダンスの優先度が比較的低いと判定する。
The
有効期限判定部２ｄは、発話条件が成立したガイダンスの有効期限を判定する。有効期限判定部２ｄは、例えば「およそ３００メートル先、右方向です」等のガイダンスであれば、その分岐点を自車が通過するまでの期間を有効期限として判定する。有効期限判定部２ｄは、例えば「暗い道が続くのでハイビームに切り替えますか？」等のガイダンスであれば、その該当する道路から自車が外れるまでの期間を有効期限として判定する。有効期限判定部２ｄは、例えば「エアコンの温度を下げますか？」等のガイダンスであれば、発話条件が成立してからの経過期間が所定期間（例えば数〜数十秒）に達するまでの期間を有効期限として判定する。 The expiration date determination unit 2d determines the expiration date of the guidance for which the utterance condition is satisfied. For example, if the guidance is “approx. 300 meters ahead, right”, the expiration date determination unit 2d determines the period until the vehicle passes through the branch point as the expiration date. For example, in the case of guidance such as “Do you want to switch to a high beam because a dark road continues?”, The expiration date determination unit 2d determines the period until the vehicle is removed from the corresponding road as the expiration date. For example, if the expiration date determination unit 2d is a guidance such as “Will the temperature of the air conditioner be lowered?” Or the like, the elapsed period from when the utterance condition is satisfied until the predetermined period (for example, several to several tens of seconds) is reached. The period is determined as the expiration date.
発話制御部２ｅは、実行条件判定テーブル６ｂを参照し、発話条件が成立したガイダンスについて実行条件が成立しているか否かを判定し、発話条件が成立したガイダンスの発話タイミングを制御する。即ち、発話制御部２ｅは、実行条件判定テーブル６ｂにおいて「発話を許可」に該当すれば、その発話条件が成立したガイダンスの実行条件が成立していると判定して発話を実行し、実行条件判定テーブル６ｂにおいて「発話を禁止」に該当すれば、その発話条件が成立したガイダンスの実行条件が成立していないと判定して発話を保留する。発話制御部２ｅは、発話条件が成立したガイダンスが例えば「およそ３００メートル先、右方向です」等のリアルタイム性が比較的高いガイダンスであれば、車室内の状況がどのような状況であっても発話を許可する。発話制御部２ｅは、発話条件が成立したガイダンスが例えば「暗い道が続くのでハイビームに切り替えますか？」等のリアルタイム性が比較的低く且つドライバのみを対象とするガイダンスであれば、ドライバが会話中で発話を禁止し、ドライバ以外の搭乗者が会話中、又は搭乗者全員が非会話中で発話を許可する。発話制御部２ｅは、発話条件が成立したガイダンスが例えば「エアコンの温度を下げますか？」等のリアルタイム性が比較的低く且つ搭乗者全員を対象とするガイダンスであれば、ドライバが会話中、又はドライバ以外の搭乗者が会話中で発話を禁止し、搭乗者全員が非会話中で発話を許可する。
条件更新部２ｆは、実行条件の更新条件が成立すると、実行条件を更新する。
The
The
次に、上記した構成の作用について図４から図７を参照して説明する。制御部２は本発明に関連して発話制御処理を行う。制御部２は、例えばアクセサリスイッチがオフからオンに切り替わる等の発話制御処理の開始条件が成立すると、発話制御処理を開始し、発話条件が成立したか否かを判定する（Ｓ１）。制御部２は、車載器情報制御部５から発話条件成立信号を入力し、発話条件が成立したと判定すると（Ｓ１：ＹＥＳ）、その発話条件が成立したガイダンスの内容を判定する（Ｓ２、内容判定手順に相当する）。即ち、制御部２は、リアルタイム性が比較的高い内容であるか、リアルタイム性が比較的低く且つドライバのみを対象とする内容であるか、又はリアルタイム性が比較的低く且つ搭乗者全員を対象とする内容であるかを判定する。
Next, the operation of the above configuration will be described with reference to FIGS. The
制御部２は、問合信号を音声認識部３及び画像認識部４に出力し、音声認識部３及び画像認識部４から認識結果を入力し、それぞれの認識結果を取得する（Ｓ３）。制御部２は、音声認識部３及び画像認識部４から認識結果を入力すると、会話中判定テーブル６ａを参照し、車室内の状況が、ドライバが会話中であるか、ドライバ以外の搭乗者が会話中であるか、又は搭乗者全員が非会話中であるかを判定する（Ｓ４、状況判定手順に相当する）。
The
制御部２は、実行条件が成立していないガイダンスが複数であるか否かを判定する（Ｓ５）。制御部２は、実行条件が成立していないガイダンスが複数でないと判定すると（Ｓ５：ＮＯ）、その発話条件が成立したガイダンスを判定対象として決定し（Ｓ６）、その判定対象のガイダンスが有効期限を満たしているか否かを判定する（Ｓ７）。一方、制御部２は、実行条件が成立していないガイダンスが複数であると判定すると（Ｓ５：ＹＥＳ）、その複数の実行条件が成立していないガイダンスのうち優先度が最上位のガイダンスを判定対象として決定し（Ｓ８）、その判定対象のガイダンスが有効期限を満たしているか否かを判定する（Ｓ７）。
The
制御部２は、判定対象のガイダンスが有効期限を満たしていると判定すると（Ｓ７：ＹＥＳ）、実行条件判定テーブル６ｂを参照し、実行条件が成立しているか否かを判定する（Ｓ９、発話制御手順に相当する）。即ち、制御部２は、「発話を許可」に該当していれば、その判定対象のガイダンスの実行条件が成立していると判定し（Ｓ９：ＹＥＳ）、ガイダンス発話処理に移行する（Ｓ１０、発話制御手順に相当する）。一方、制御部２は、「発話を禁止」に該当していれば、その判定対象のガイダンスの実行条件が成立していないと判定し（Ｓ９：ＮＯ）、ガイダンス発話処理に移行せずにステップＳ３に戻り、ステップＳ３以降を繰り返して実行する。即ち、制御部２は、その実行条件が成立していないガイダンスの発話を保留する。尚、制御部２は、判定対象のガイダンスが有効期限を満たしていないと判定すると（Ｓ７：ＮＯ）、その有効期限を満たしていないガイダンスを破棄する（Ｓ１１）。
When it is determined that the guidance to be determined satisfies the expiration date (S7: YES), the
制御部２は、ガイダンス発話処理に移行すると、ガイダンス出力指示をスピーカ１２に出力し、ガイダンスをスピーカ１２から発話させる（Ｓ２１）。即ち、制御部２は、例えば「およそ３００メートル先、右方向です」等のリアルタイム性が比較的高いガイダンスであれば、車室内の状況がどのような状況であってもガイダンスをスピーカ１２から発話させる。制御部２は、例えば「暗い道が続くのでハイビームに切り替えますか？」等のリアルタイム性が比較的低く且つドライバのみを対象とするガイダンスであれば、ドライバ以外の搭乗者が会話中、又は搭乗者全員が非会話中であるときにガイダンスをスピーカ１２から発話させる。制御部２は、例えば「エアコンの温度を下げますか？」等のリアルタイム性が比較的低く且つ搭乗者全員を対象とするガイダンスであれば、搭乗者全員が非会話中であるときにガイダンスをスピーカ１２から発話させる。
When the
このように制御部２は、リアルタイム性が比較的高いガイダンスであれば、車室内の状況がどのような状況であっても発話させることで、ガイダンスをドライバに提示することができる。一方、制御部２は、リアルタイム性が比較的低いガイダンスであれば、無理に会話を遮ってまで発話させずに発話を保留することで、車室内の雰囲気を壊してしまう事態を未然に回避することができる。更に、制御部２は、ガイダンスの発話を保留しても、その発話を保留したガイダンスについて実行条件が成立すると、そのガイダンスを発話させることで、ガイダンスの聞き逃しを回避することができる。
As described above, if the guidance is relatively high in real time, the
制御部２は、ガイダンスをスピーカ１２から発話させると、実行条件の更新条件が成立したか否かを判定する（Ｓ２２）。ここで、制御部２は、例えばドライバが「後にして」等の特定の言葉を発したか否かを判定することで、実行条件の更新条件が成立したか否かを判定する。制御部２は、ドライバが特定の言葉を発せずに実行条件の更新条件が成立していないと判定すると（Ｓ２２：ＮＯ）、ガイダンス発話処理を終了し、発話制御処理に戻る。
When the guidance is uttered from the speaker 12, the
一方、制御部２は、ドライバが特定の言葉を発して実行条件の更新条件が成立したと判定すると（Ｓ２２：ＹＥＳ）、実行条件を更新し（Ｓ２３）、ガイダンス発話処理を終了し、発話制御処理に戻る。即ち、制御部２は、例えば「暗い道が続くのでハイビームに切り替えますか？」等のリアルタイム性が比較的低く且つドライバのみを対象とするガイダンスをスピーカ１２から発話させた後に、ドライバが「後にして」と発したと判定すると、実行条件の更新条件が成立したと判定し、図７に示すように、実行条件を更新する。制御部２は、実行条件を更新することで、これ以降、リアルタイム性が比較的低く且つドライバのみを対象とするガイダンスを、ドライバが会話中、又はドライバ以外の搭乗者が会話中で発話を禁止し、搭乗者全員が非会話中で発話を許可する。
On the other hand, when the
このように制御部２は、ガイダンスを発話させた後に、ドライバが特定の言葉を発すると、その発話させたガイダンスの今後の発話タイミングを任意に変更することができ、ドライバの意図を反映させることができる。
As described above, when the driver utters a specific word after uttering the guidance, the
制御部２は、発話制御処理の終了条件が成立したか否かを判定し（Ｓ１２）、発話制御処理の終了条件が成立していないと判定すると（Ｓ１２：ＮＯ）、前述したステップＳ１に戻り、Ｓ１以降を繰り返して実行する。一方、制御部２は、例えばアクセサリスイッチがオンからオフに切り替わる等の発話制御処理の終了条件が成立すると（Ｓ１２：ＹＥＳ）、発話を保留しているガイダンスがあるか否かを判定する（Ｓ１３）。制御部２は、発話を保留しているガイダンスがないと判定すると（Ｓ１３：ＮＯ）、発話制御処理を終了する。一方、制御部２は、発話を保留しているガイダンスがあると判定すると（Ｓ１３：ＹＥＳ）、その発話を保留しているガイダンスを破棄し（Ｓ１４）、発話制御処理を終了する。
The
以上説明したように本実施形態によれば、次に示す効果を得ることができる。
車両用発話制御装置１において、ガイダンスの発話条件が成立すると、その発話条件が成立したガイダンスの内容を判定し、車室内の状況を判定し、ガイダンスの内容を判定した判定結果と車室内の状況を判定した判定結果とを用い、発話条件が成立したガイダンスの発話タイミングを制御するようにした。これにより、ガイダンスの内容及び車室内の状況に応じてガイダンスを適切に発話することができ、利便性を高めることができる。
As described above, according to the present embodiment, the following effects can be obtained.
In the utterance control device 1 for a vehicle, when the utterance condition for the guidance is satisfied, the content of the guidance in which the utterance condition is satisfied is determined, the situation in the vehicle interior is determined, and the determination result obtained by determining the content of the guidance and the situation in the vehicle interior The utterance timing of the guidance that satisfies the utterance condition is controlled using the determination result obtained by determining the utterance. Thereby, the guidance can be appropriately spoken according to the content of the guidance and the situation in the vehicle interior, and the convenience can be improved.
又、車両用発話制御装置１において、発話条件が成立したガイダンスについて実行条件が成立しているか否かを判定し、実行条件が成立しているガイダンスの発話を実行し、実行条件が成立していないガイダンスの発話を保留するようにした。これにより、ガイダンスの発話を保留しても、その発話を保留したガイダンスについて実行条件が成立すると、そのガイダンスを発話することで、ガイダンスの聞き逃しを回避することができる。 Further, in the utterance control device 1 for a vehicle, it is determined whether or not the execution condition is satisfied for the guidance for which the utterance condition is satisfied, the utterance of the guidance for which the execution condition is satisfied is executed, and the execution condition is satisfied. There was no guidance utterance pending. As a result, even if the guidance utterance is suspended, if the execution condition is established for the guidance with the utterance suspended, it is possible to avoid missing the guidance by speaking the guidance.
又、車両用発話制御装置１において、実行条件が成立していないガイダンスが複数存在すると、それぞれの優先度を判定し、優先度が最上位のガイダンスについて実行条件が成立しているか否かを判定するようにした。これにより、実行条件が成立していないガイダンスが複数存在しても、ガイダンスを適切に発話することができる。 Further, in the vehicle utterance control device 1, when there are a plurality of guidances for which the execution condition is not satisfied, each priority is determined, and whether or not the execution condition is satisfied for the highest priority guidance is determined. I tried to do it. Thereby, even if there are a plurality of guidances for which the execution condition is not satisfied, the guidances can be appropriately uttered.
又、車両用発話制御装置１において、発話条件が成立したガイダンスの有効期限を判定し、有効期限を満たしているガイダンスについて実行条件が成立しているか否かを判定するようにした。これにより、有効期限を満たしていないガイダンスを無意味に発話してしまう事態を未然に回避することができる。 Further, in the vehicle utterance control device 1, the expiration date of the guidance that satisfies the utterance condition is determined, and it is determined whether or not the execution condition is satisfied for the guidance that satisfies the expiration date. As a result, it is possible to avoid a situation in which a guidance that does not satisfy the expiration date is spoken meaninglessly.
又、車両用発話制御装置１において、発話条件が成立したガイダンスの内容として、リアルタイム性の程度を判定するようにした。これにより、リアルタイム性の程度を判定基準としてガイダンスの発話タイミングを制御することができる。 In the vehicle utterance control device 1, the real-time level is determined as the content of the guidance in which the utterance condition is satisfied. Thereby, the utterance timing of guidance can be controlled using the degree of real-time property as a criterion.
又、車両用発話制御装置１において、発話条件が成立したガイダンスの内容として、ドライバのみを対象とする内容であるか、又は搭乗者全員を対象とする内容であるかを判定するようにした。これにより、ドライバのみを対象とする内容であるか、又は搭乗者全員を対象とする内容であるかを判定基準としてガイダンスの発話タイミングを制御することができる。 Further, in the utterance control device 1 for a vehicle, it is determined whether the content of the guidance in which the utterance condition is satisfied is the content for only the driver or the content for all the passengers. As a result, it is possible to control the utterance timing of the guidance based on whether the content is only for the driver or the content for all the passengers.
又、車両用発話制御装置１において、車室内の音声を認識した認識結果とドライバの口元を含む映像を認識した認識結果とを用い、車室内の状況を判定するようにした。これにより、音声認識部３が各人の音声の特徴により会話中の搭乗者が誰であるかを特定する機能を有していなくても、画像認識部４の認識結果を併用することで、ドライバが会話中であるか、ドライバ以外の搭乗者が会話中であるかを区分して判定することができる。
In the vehicle utterance control apparatus 1, the situation in the vehicle compartment is determined using the recognition result obtained by recognizing the voice in the vehicle compartment and the recognition result obtained by recognizing the video including the mouth of the driver. Thereby, even if the
又、車両用発話制御装置１において、例えばドライバが「後にして」等の特定の言葉を発すると、実行条件を更新するようにした。これにより、ガイダンスの発話タイミングを任意に変更することができ、ドライバの意図を反映させることができる。 In the vehicle utterance control apparatus 1, for example, when the driver utters a specific word such as “later”, the execution condition is updated. Thereby, the utterance timing of the guidance can be arbitrarily changed, and the intention of the driver can be reflected.
本発明は、上記した実施形態で例示したものに限定されることなく、その範囲を逸脱しない範囲で任意に変形又は拡張することができる。
ガイダンスの種類は例示した以外のものであっても良い。リアルタイム性が比較的高いガイダンスとして例えば「この先、渋滞があります」等のガイダンスを挙げることができる。リアルタイム性が比較的低く且つドライバのみを対象とするガイダンスとして例えば「ワイパを駆動しますか？」や「休憩しますか？」等のガイダンスを挙げることができる。リアルタイム性が比較的低く且つ搭乗者全員を対象とするガイダンスとして例えば「オーディオの音量を下げますか？」等のガイダンスを挙げることができる。
The present invention is not limited to those exemplified in the above-described embodiment, and can be arbitrarily modified or expanded without departing from the scope thereof.
The type of guidance may be other than that exemplified. As guidance having a relatively high real-time property, for example, guidance such as “There is a traffic jam ahead” can be given. Examples of guidance that is relatively low in real time and targeted only at the driver include guidance such as “Do you want to drive the wiper?” And “Do you want to take a break?”. Guidance such as “Would you like to reduce the volume of the audio?” Can be given as guidance for all passengers with relatively low real-time characteristics.
有効期限を満たしているか否かを判定する処理や優先度を判定する処理をどのようなタイミングで行っても良い。例えば前述した発話制御処理と並列に、発話を保留しているガイダンスの有効期限を判定する有効期限判定処理を行う等しても良い。又、有効期限を満たしているか否かを判定する処理や優先度を判定する処理が省かれていても良く、実行条件が成立しなかったガイダンスを即座に破棄する構成でも良い。 The process for determining whether or not the expiration date is satisfied and the process for determining the priority may be performed at any timing. For example, in parallel with the utterance control process described above, an expiration date determination process may be performed to determine the expiration date of the guidance that is suspending the utterance. In addition, the process for determining whether or not the expiration date is satisfied and the process for determining the priority may be omitted, and the guidance in which the execution condition is not satisfied may be immediately discarded.
リアルタイム性が比較的高いガイダンスについては実行条件の更新を禁止し、リアルタイム性が比較的低いガイダンスについてのみ実行条件の更新を許可する構成でも良い。即ち、リアルタイム性が比較的高いガイダンスを発話させた後には実行条件の更新条件が成立したか否かを判定せず、リアルタイム性が比較的低いガイダンスを発話させた後にのみ実行条件の更新条件が成立したか否かを判定する構成でも良い。 A configuration in which updating of execution conditions is prohibited for guidance having a relatively high real-time property, and updating of execution conditions is permitted only for guidance having a relatively low real-time property. That is, it is not determined whether or not the execution condition update condition is satisfied after the guidance with relatively high real-time property is uttered, and the update condition of the execution condition is set only after the guidance with relatively low real-time property is uttered. The structure which determines whether it was materialized may be sufficient.
本開示は、実施例に準拠して記述されたが、当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、更には、それらに一要素のみ、それ以上、或いはそれ以下を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。 Although the present disclosure has been described with reference to the embodiments, it is understood that the present disclosure is not limited to the embodiments and structures. The present disclosure includes various modifications and modifications within the equivalent range. In addition, various combinations and forms, as well as other combinations and forms including only one element, more or less, are within the scope and spirit of the present disclosure.
図面中、１は車両用発話制御装置、２は制御部、２ａは内容判定部、２ｂは状況判定部、２ｃは優先度判定部、２ｄは有効期限判定部、２ｅは発話制御部、２ｆは条件更新部、３は音声認識部、４は画像認識部である。 In the drawings, 1 is a vehicle utterance control device, 2 is a control unit, 2a is a content determination unit, 2b is a situation determination unit, 2c is a priority determination unit, 2d is an expiration date determination unit, 2e is an utterance control unit, and 2f is A condition update unit, 3 is a voice recognition unit, and 4 is an image recognition unit.
Claims (9)
発話条件が成立したガイダンスの内容を判定する内容判定部（２ａ）と、
車室内の状況を判定する状況判定部（２ｂ）と、
前記内容判定部の判定結果と前記状況判定部の判定結果とを用い、発話条件が成立したガイダンスの発話タイミングを制御する発話制御部（２ｅ）と、を備えた車両用発話制御装置。 In the vehicle utterance control device (1) for controlling the utterance of the guidance in the passenger compartment,
A content determination unit (2a) for determining the content of the guidance in which the utterance condition is satisfied;
A situation determination unit (2b) for determining the situation in the passenger compartment;
An utterance control device for a vehicle, comprising: an utterance control unit (2e) that controls an utterance timing of guidance for which an utterance condition is satisfied, using the determination result of the content determination unit and the determination result of the situation determination unit.
前記発話制御部は、発話条件が成立したガイダンスについて実行条件が成立しているか否かを判定し、実行条件が成立しているガイダンスの発話を実行し、実行条件が成立していないガイダンスの発話を保留し、発話条件が成立したガイダンスの発話タイミングを制御する車両用発話制御装置。 In the utterance control device for a vehicle according to claim 1,
The utterance control unit determines whether or not the execution condition is satisfied for the guidance for which the utterance condition is satisfied, executes the utterance of the guidance for which the execution condition is satisfied, and utters the guidance for which the execution condition is not satisfied The utterance control device for a vehicle that controls the utterance timing of the guidance that holds the utterance condition.
発話条件が成立したガイダンスの優先度を判定する優先度判定部（２ｃ）を備え、
前記発話制御部は、実行条件が成立していないガイダンスが複数存在する場合には、前記優先度判定部の判定結果を用い、その複数の実行条件が成立していないガイダンスのうち優先度が最上位のガイダンスについて実行条件が成立しているか否かを判定する車両用発話制御装置。 In the vehicle utterance control device according to claim 2,
A priority determination unit (2c) that determines the priority of the guidance in which the utterance condition is satisfied;
When there are a plurality of guidances for which the execution condition is not satisfied, the speech control unit uses the determination result of the priority determination unit, and the priority is the highest among the guidances for which the execution condition is not satisfied. An utterance control device for a vehicle that determines whether or not an execution condition is established for a higher-level guidance.
発話条件が成立したガイダンスの有効期限を判定する有効期限判定部（２ｄ）を備え、
前記発話制御部は、前記有効期限判定部の判定結果を用い、有効期限を満たしているガイダンスについて実行条件が成立しているか否かを判定する車両用発話制御装置。 In the vehicle utterance control device according to claim 2,
An expiration date determination unit (2d) for determining an expiration date of the guidance for which the utterance condition is satisfied,
The utterance control unit is a vehicle utterance control device that uses the determination result of the expiration date determination unit to determine whether an execution condition is satisfied for a guidance that satisfies the expiration date.
前記内容判定部は、発話条件が成立したガイダンスの内容として、リアルタイム性の程度を判定する車両用発話制御装置。 In the vehicle speech control device according to any one of claims 1 to 4,
The content determination unit is a vehicle utterance control device that determines a degree of real-time property as a content of guidance in which an utterance condition is established.
前記内容判定部は、発話条件が成立したガイダンスの内容として、ドライバのみを対象とする内容であるか、又は搭乗者全員を対象とする内容であるかを判定する車両用発話制御装置。 In the vehicle speech control device according to any one of claims 1 to 4,
The said content determination part is an utterance control apparatus for vehicles which determines whether it is the content only for a driver, or the content for all the passengers as the content of the guidance with which the speech conditions were satisfied.
車室内の音声を認識する音声認識部（３）と、
ドライバの口元を含む映像を画像認識する画像認識部（４）と、を備え、
前記状況判定部は、前記音声認識部の認識結果と前記画像認識部の認識結果とを用い、車室内の状況として、ドライバが会話中であるか、ドライバ以外の搭乗者が会話中であるか、又は搭乗者全員が非会話中であるかを判定する車両用発話制御装置。 In the vehicle utterance control device according to any one of claims 1 to 6,
A voice recognition unit (3) for recognizing the voice in the passenger compartment;
An image recognition unit (4) for recognizing an image including a mouth of the driver,
The situation determination unit uses the recognition result of the voice recognition unit and the recognition result of the image recognition unit to determine whether the driver is talking or a passenger other than the driver is talking as a situation in the passenger compartment. Or the utterance control apparatus for vehicles which determines whether all the passengers are not in conversation.
実行条件を更新する条件更新部（２ｆ）を備える車両用発話制御装置。 In the vehicle speech control device according to any one of claims 1 to 7,
An utterance control device for a vehicle comprising a condition update unit (2f) for updating an execution condition.
発話条件が成立したガイダンスの内容を判定する内容判定手順と、
車室内の状況を判定する状況判定手順と、
前記内容判定手順の判定結果と前記状況判定手順の判定結果とを用い、発話条件が成立したガイダンスの発話タイミングを制御する発話制御手順と、を実行させる車両用発話制御プログラム。 In the control unit (2) of the vehicle utterance control device (1) for controlling the utterance of the guidance in the passenger compartment,
A content determination procedure for determining the content of the guidance for which the utterance condition is satisfied;
A condition determination procedure for determining the condition in the passenger compartment;
An utterance control program for a vehicle that executes an utterance control procedure for controlling an utterance timing of a guidance that satisfies an utterance condition using the determination result of the content determination procedure and the determination result of the situation determination procedure.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016155654A JP2018025603A (en) | 2016-08-08 | 2016-08-08 | Announce controller for vehicle and speech control program for vehicle |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016155654A JP2018025603A (en) | 2016-08-08 | 2016-08-08 | Announce controller for vehicle and speech control program for vehicle |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2018025603A true JP2018025603A (en) | 2018-02-15 |
Family
ID=61194564
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016155654A Pending JP2018025603A (en) | 2016-08-08 | 2016-08-08 | Announce controller for vehicle and speech control program for vehicle |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2018025603A (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002156241A (en) * | 2000-11-16 | 2002-05-31 | Matsushita Electric Ind Co Ltd | Navigation apparatus and recording medium with program recorded thereon |
| JP2006258699A (en) * | 2005-03-18 | 2006-09-28 | Aisin Aw Co Ltd | On-vehicle system |
| JP2007219207A (en) * | 2006-02-17 | 2007-08-30 | Fujitsu Ten Ltd | Speech recognition device |
| JP2008170980A (en) * | 2006-12-12 | 2008-07-24 | Mitsubishi Electric Corp | In-vehicle guidance system |
| JP2013102480A (en) * | 2012-12-26 | 2013-05-23 | Mitsubishi Electric Corp | Voice output system |
| JP2014202695A (en) * | 2013-04-09 | 2014-10-27 | 株式会社デンソー | Navigation system, navigation device and data distribution server |
-
2016
- 2016-08-08 JP JP2016155654A patent/JP2018025603A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002156241A (en) * | 2000-11-16 | 2002-05-31 | Matsushita Electric Ind Co Ltd | Navigation apparatus and recording medium with program recorded thereon |
| JP2006258699A (en) * | 2005-03-18 | 2006-09-28 | Aisin Aw Co Ltd | On-vehicle system |
| JP2007219207A (en) * | 2006-02-17 | 2007-08-30 | Fujitsu Ten Ltd | Speech recognition device |
| JP2008170980A (en) * | 2006-12-12 | 2008-07-24 | Mitsubishi Electric Corp | In-vehicle guidance system |
| JP2013102480A (en) * | 2012-12-26 | 2013-05-23 | Mitsubishi Electric Corp | Voice output system |
| JP2014202695A (en) * | 2013-04-09 | 2014-10-27 | 株式会社デンソー | Navigation system, navigation device and data distribution server |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5972372B2 (en) | Car information system | |
| EP2045140B1 (en) | Adjustment of vehicular elements by speech control | |
| CN109545219A (en) | Vehicle-mounted voice exchange method, system, equipment and computer readable storage medium | |
| US8738368B2 (en) | Speech processing responsive to a determined active communication zone in a vehicle | |
| WO2017081960A1 (en) | Voice recognition control system | |
| KR20190106916A (en) | Acoustic control system, apparatus and method | |
| JP7458013B2 (en) | Audio processing device, audio processing method, and audio processing system | |
| JP2003532163A (en) | Selective speaker adaptation method for in-vehicle speech recognition system | |
| US11521612B2 (en) | Vehicle control apparatus and method using speech recognition | |
| US11189274B2 (en) | Dialog processing system, vehicle having the same, dialog processing method | |
| JP2017090612A (en) | Voice recognition control system | |
| JP2016018078A (en) | Voice recognition device and voice recognition system | |
| JP2009251388A (en) | Native language utterance device | |
| JP2017090614A (en) | Voice recognition control system | |
| US11508370B2 (en) | On-board agent system, on-board agent system control method, and storage medium | |
| JP5181533B2 (en) | Spoken dialogue device | |
| JP2018116130A (en) | In-vehicle voice processing unit and in-vehicle voice processing method | |
| JP2018025603A (en) | Announce controller for vehicle and speech control program for vehicle | |
| JP6741387B2 (en) | Audio output device | |
| JP2020144264A (en) | Agent device, control method of agent device, and program | |
| JP2004301875A (en) | Speech recognition device | |
| US11518398B2 (en) | Agent system, agent server, method of controlling agent server, and storage medium | |
| US20200320997A1 (en) | Agent apparatus, agent apparatus control method, and storage medium | |
| US20200308895A1 (en) | Agent device, agent device control method, and storage medium | |
| JP2020160181A (en) | Speech processing apparatus and speech processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180911 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190710 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190723 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190904 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200303 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20200908 |