JP2016207001A - Driving support device - Google Patents

Driving support device Download PDF

Info

Publication number
JP2016207001A
JP2016207001A JP2015089032A JP2015089032A JP2016207001A JP 2016207001 A JP2016207001 A JP 2016207001A JP 2015089032 A JP2015089032 A JP 2015089032A JP 2015089032 A JP2015089032 A JP 2015089032A JP 2016207001 A JP2016207001 A JP 2016207001A
Authority
JP
Japan
Prior art keywords
driver
passenger
determination
determination threshold
dialogue
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2015089032A
Other languages
Japanese (ja)
Other versions
JP6075577B2 (en
Inventor
悠輔 谷澤
Yusuke Tanizawa
悠輔 谷澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2015089032A priority Critical patent/JP6075577B2/en
Publication of JP2016207001A publication Critical patent/JP2016207001A/en
Application granted granted Critical
Publication of JP6075577B2 publication Critical patent/JP6075577B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To provide a driving support device which can ensure traveling safety and prevent hindrance to interaction between occupants when there are a plurality of occupants.SOLUTION: A driving support device 1 comprises: a deviation determination part 22 for determining reduction in safety of a vehicle on the basis of a traveling state of the vehicle; and an alarming device 4 for alarming a driver when a determination value of the deviation determination part 22 has exceeded a determination threshold value. It comprises: a voice interaction device 10 which acquires voice of interaction between the driver and an occupant: a determination threshold value setting part 23 which makes a determination threshold value when the driver is speaking to an occupant greater than a determination threshold value when the driver is listening to an occupant; and an enthusiasm level determination part 24 for determining an enthusiasm level of the driver in the interaction on the basis of words that are included in the voice of the driver and the occupant who are engaged in the interaction. It reduces the determination threshold value when it is determined that the enthusiasm level of the driver in the interaction is high by the enthusiasm level determination part 24.SELECTED DRAWING: Figure 1

Description

本発明は、安全性低下判定手段の判定値が判定閾値を超えたときに運転者に警報を行う運転支援装置に関する。   The present invention relates to a driving support device that issues a warning to a driver when a determination value of a safety deterioration determination unit exceeds a determination threshold.

従来より、車両の走行状態(挙動)の検出情報に基づき、車両の安全性の低下を運転者に警報する運転支援装置が知られている。例えば、車両走行時に左右の走行車線をカメラで捉えて自車両の位置を認識し、車線逸脱の可能性があると判断した場合に車線逸脱警報を発して運転者に注意を促すものである。このような車線逸脱警報は、カーブ区間を走行するときにセンターライン或いは路側ラインの端領域を運転者が意識的に走行する場合にも車線逸脱警報が作動してしまい乗員が違和感や煩わしさを感じることがある。
そこで、運転者による反射時間に基づき漫然状態であるか否かを切り口として、不必要な警報の作動を制限する技術が提案されている。
2. Description of the Related Art Conventionally, there is known a driving support device that warns a driver of a decrease in vehicle safety based on detection information of a running state (behavior) of a vehicle. For example, when the vehicle travels, the left and right lanes are captured by a camera to recognize the position of the host vehicle, and when it is determined that there is a possibility of lane departure, a lane departure warning is issued to alert the driver. Such a lane departure warning is activated even when the driver consciously travels in the end area of the center line or roadside line when traveling in a curve section, and the lane departure warning is activated, causing the occupant to feel uncomfortable or annoying. I may feel it.
In view of this, a technique has been proposed that restricts the operation of unnecessary alarms based on whether or not the driver is in a random state based on the reflection time by the driver.

特許文献1の運転支援装置は、車両の走行状態又は運転者の状態を推定し、この推定値が運転に注意を要する状態であるか否かに関する判定閾値を超えた場合に、その旨を運転者に報知する運転支援装置であって、情報取得手段を通じて情報が取得されてから定められた停止準備動作が行われるまでの反応時間に基づき運転者の状態が通常状態であるか漫然状態であるかを判定する判定手段とを備え、漫然状態である旨判定された場合、判定閾値を通常値よりも小さな値に変更している。
これにより、運転者が漫然状態のとき、運転に注意を要する状態である旨運転者に対して通常よりも早めに報知でき、運転に集中している通常状態のとき、報知タイミングを敢えて遅延させることにより意図的な行動に対して報知され難くしている。
The driving support device of Patent Document 1 estimates the driving state of the vehicle or the driver's state, and when this estimated value exceeds a determination threshold value regarding whether or not the driving requires attention, the driving support device is notified. A driving support device that informs the driver, and the driver's state is a normal state or a casual state based on a reaction time from when information is acquired through the information acquisition means until a predetermined stop preparation operation is performed The determination threshold is changed to a value smaller than the normal value when it is determined that the state is indiscriminate.
As a result, when the driver is in an ambiguous state, the driver can be notified that the driving is in a state requiring attention earlier than usual, and in the normal state where the driver is concentrated, the notification timing is intentionally delayed. This makes it difficult to be notified of intentional actions.

特開2008−204056号公報JP 2008-204056 A

特許文献1の運転支援装置は、運転者が単独で車両を運転する場合、安全性確保と煩わしさ解消とを達成することができる。
しかし、運転者には、単独で車両を運転する状況以外にも、運転者以外に1又は複数の同乗者が乗車している状況が頻繁に存在している。
複数の乗員が乗車している際、運転者が同乗者と対話しているときには、運転者の意識は当然活性化している。また、運転者が同乗者と対話していないときにも、運転者は同乗者の状態を気遣うことから、運転者の意識は相当程度活性化しているものと予想される。
即ち、同乗者が存在する運転状況では、運転者が漫然状態になる可能性は極めて低いものと言える。
つまり、特許文献1のように、単に漫然状態であるか否かを切り口とした場合、単独乗車における安全性確保と煩わしさ解消は解決できるものの、複数乗員の乗車では十分に安全性確保と煩わしさ解消とを両立できない虞がある。
The driving support device of Patent Literature 1 can achieve safety and troublesomeness when the driver drives the vehicle alone.
However, in addition to the situation where the vehicle is driven alone, the driver frequently has a situation where one or more passengers are in addition to the driver.
When a plurality of occupants are in the vehicle and the driver is interacting with the passenger, the driver's awareness is naturally activated. In addition, even when the driver is not interacting with the passenger, since the driver cares about the passenger's condition, the driver's consciousness is expected to be considerably activated.
In other words, in a driving situation where a passenger is present, it can be said that the possibility that the driver is in a state of ambiguity is extremely low.
In other words, as disclosed in Patent Document 1, when it is simply determined whether or not the state is indiscriminate, it is possible to solve the problem of ensuring safety and eliminating bothersomeness on a single ride, but it is troublesome to ensure safety sufficiently on boarding a plurality of passengers. There is a possibility that it is impossible to achieve both resolution.

そこで、乗員間の対話と運転者の操作特性との相互の関連性を明らかにするため、シミュレーションによる検証実験を行った。
まず、この検証実験の実験内容について説明する。
ドライブシミュレータで被験者に周回路を走行する走行タスクを与えて、運転者が音声対話装置と対話を行わない通常走行と、運転者が音声対話装置と対話を行う対話走行とについて車両の挙動を比較した。
実験条件として、被験者は6名(30〜50代の男女)、走行タスクは約2,100mのオーバルコースにおいて、ライントレース、目標速度(160km/h)維持を設定した。また、走行コースは、対話前直線、第1対話カーブ、対話直線、第2対話カーブ、対話後直線の5区間を設定し、中間の第1対話カーブ、対話直線、第2対話カーブの3区間を対話区間に設定した。各被験者は、走行コースを夫々9周走行し、全被験者による平均データを取得した。
Therefore, in order to clarify the mutual relationship between the interaction between the passengers and the operation characteristics of the driver, a verification experiment by simulation was performed.
First, the contents of the verification experiment will be described.
Compare the behavior of the vehicle between normal driving in which the driver does not interact with the voice interaction device and interactive driving in which the driver interacts with the voice interaction device by giving the subject a driving task that runs on the circuit in the drive simulator. did.
As experimental conditions, six subjects (men and women in their 30s and 50s), running tasks were set to maintain a target speed (160 km / h) on an oval course of about 2,100 m. The driving course has five sections, a straight line before dialogue, a first dialogue curve, a dialogue line, a second dialogue curve, and a straight line after dialogue, and three zones, a middle first dialogue curve, dialogue straight line, and second dialogue curve. Was set as the dialogue interval. Each subject traveled 9 laps in the traveling course, and average data from all subjects was acquired.

次に、検証結果について説明する。
図7に、第1の検証結果を示す。
通常走行時の平均速度(実線)に示されるように、第1,第2対話カーブの手前から減速し、第1,第2対話カーブの後半から加速している。
図7に示すように、対話走行時の平均速度(点線)では、通常走行時の平均速度よりも目標速度からの乖離率及び速度のばらつきが大きくなることから、対話が運転者の速度感覚(速度特性)に対して影響を与えていることが判明した。
図8に、第2の検証結果を示す。
通常走行時の平均操舵加速度(実線)に示されるように、第1,第2対話カーブの進入時及び脱出時に大きな舵角操作が行われている。
図8に示すように、対話走行時の平均操舵加速度(点線)では、通常走行時の平均操舵加速度よりも修正操舵による操舵加速度のばらつきが増加することから、対話が運転者の操舵感覚(操舵特性)に対して影響を与えていることが判明した。
Next, the verification result will be described.
FIG. 7 shows the first verification result.
As indicated by the average speed (solid line) during normal travel, the vehicle decelerates from before the first and second dialogue curves and accelerates from the second half of the first and second dialogue curves.
As shown in FIG. 7, the average speed (dotted line) at the time of interactive driving has a larger deviation rate and speed variation from the target speed than the average speed at the time of normal driving. It was found that it has an influence on the speed characteristics.
FIG. 8 shows the second verification result.
As indicated by the average steering acceleration during normal travel (solid line), a large steering angle operation is performed when the first and second dialogue curves enter and exit.
As shown in FIG. 8, the average steering acceleration (dotted line) at the time of interactive travel has more variation in the steering acceleration due to the corrected steering than the average steering acceleration at the time of normal travel. It has been found that it has an influence on the characteristics).

図9に、第3の検証結果を示す。
カーブ進入時の減速開始タイミングについて、通常走行時(実線)、運転者発話時(破線)、運転者傾聴時(一点鎖線)の各々の特性を示している。
図9に示すように、運転者が音声対話装置と対話を行わない通常走行時において、運転者はカーブの手前で最も早く減速開始を行い、次に運転者自身が発話している発話時における減速開始タイミングが早い。そして、運転者が傾聴している傾聴時における減速開始タイミングが、発話時における減速開始タイミングよりも更に遅くなる傾向が見られる。
これにより、発話は、認知性(視覚・聴覚)及び操作特性に対する影響が少ないのに対し、傾聴は、発話よりも認知性(視覚)及び操作特性に対する影響が多いことが原因と推測される。
FIG. 9 shows a third verification result.
As for the deceleration start timing when entering a curve, the characteristics are shown for normal driving (solid line), driver utterance (dashed line), and driver listening (dashed line).
As shown in FIG. 9, during normal driving in which the driver does not interact with the voice interaction device, the driver starts decelerating earliest before the curve, and then during the utterance that the driver himself is speaking. The deceleration start timing is early. Then, there is a tendency that the deceleration start timing at the time when the driver is listening is more delayed than the deceleration start timing at the time of speaking.
As a result, utterance has less influence on cognitive (visual / auditory) and operation characteristics, whereas listening is presumed to have more influence on cognitive (visual) and operational characteristics than utterance.

以上の検証結果から、対話走行時の操作特性は、運転者の意識は活性化しているものの、通常走行時の操作特性よりもばらつきが大きいという知見を得ることができた。
そこで、運転者の意識が活性化しているときの不要な警報を制限するために、運転者が同乗者と対話を行う対話走行時の警報レベルを運転者が同乗者と対話を行わない通常走行時の警報レベルよりも低くすることが考えられる。
しかし、運転者が同乗者と対話を行う対話走行時の警報レベルを一律に下げた(閾値を大きくした)場合、傾聴状態の運転者の認知性及び操作特性が低下しているにも拘らず、注意喚起を要するときであっても警報が遅れるため、走行安全性に問題が生じる虞がある。
一方、運転者が同乗者と対話を行う対話走行時の警報レベルを制限した(閾値を小さくした)場合、発話状態の運転者の意識は活性化しているにも拘らず、想定範囲内の操作特性のばらつきであっても警報が早まるため、運転者と同乗者との対話を阻害する虞がある。
From the above verification results, it was possible to obtain the knowledge that the operation characteristics during the interactive travel are more varied than the operation characteristics during the normal travel although the driver's consciousness is activated.
Therefore, in order to limit unnecessary warnings when the driver's consciousness is activated, the normal driving level in which the driver does not interact with the passenger at the alarm level when the driver interacts with the passenger. It is possible to make it lower than the alarm level at the time.
However, if the driver's level of warning during dialogue driving where the driver interacts with the passenger is lowered uniformly (threshold is increased), the driver's cognitive and operating characteristics in the listening state are reduced. Even when alerting is required, the alarm is delayed, which may cause a problem in driving safety.
On the other hand, when the warning level during dialogue driving where the driver talks with the passenger is limited (threshold is reduced), the driver's consciousness in the utterance state is activated, but the operation within the expected range Even if the characteristics vary, the warning is advanced, which may hinder the interaction between the driver and the passenger.

本発明の目的は、複数の乗員が乗車したときの走行安全性確保と乗員間の対話阻害防止とを両立できる運転支援装置等を提供することである。   An object of the present invention is to provide a driving support device or the like that can ensure both driving safety when a plurality of occupants get on and prevent dialogue inhibition between the occupants.

請求項1の発明は、車両の走行状態に基づいて車両の安全性の低下を判定する安全性低下判定手段と、この安全性低下判定手段の判定値が判定閾値を超えたときに運転者に警報を行う警報手段とを備えた運転支援装置において、運転者と同乗者との対話の音声を取得する音声取得手段と、運転者が同乗者に発話しているときの前記警報手段による警報レベルを運転者が同乗者の発話を傾聴しているときの前記警報手段による警報レベルよりも低くする警報レベル変更手段と、を備えたことを特徴としている。   According to the first aspect of the present invention, there is provided a safety decrease determination means for determining a decrease in vehicle safety based on a running state of the vehicle, and a driver when a determination value of the safety decrease determination means exceeds a determination threshold value. In a driving support device having a warning means for performing a warning, a voice acquisition means for acquiring a voice of dialogue between the driver and the passenger, and a warning level by the warning means when the driver is speaking to the passenger Warning level changing means for lowering the warning level by the warning means when the driver is listening to the passenger's utterance.

この運転支援装置では、運転者と同乗者との対話の音声を取得する音声取得手段を備えているため、同乗者の有無、及び対話中の運転者が発話状態であるか傾聴状態であるかについて明確に判別することができる。運転者が同乗者に発話しているときの警報手段による警報レベルを運転者が同乗者の発話を傾聴しているときの警報手段による警報レベルよりも低くする警報レベル変更手段を備えているため、運転者が傾聴状態よりも注意力レベル(認知性)が高い発話状態のとき、警報レベルを低くして乗員間の対話を優先させることができ、運転者が発話状態よりも注意力レベルが低い傾聴状態のとき、警報レベルを高くして走行安全性確保を優先させることができる。   Since this driving support device includes voice acquisition means for acquiring the voice of the dialogue between the driver and the passenger, whether or not the passenger is present and whether the driver in the conversation is in a speech state or listening state Can be clearly distinguished. There is an alarm level changing means for lowering the alarm level by the alarm means when the driver is speaking to the passenger to be lower than the alarm level by the alarm means when the driver is listening to the passenger's speech. When the driver is in an utterance state where the attention level (cognitiveness) is higher than the listening state, the warning level can be lowered to prioritize the dialogue between the passengers, and the driver has a higher attention level than the utterance state. In a low listening state, priority can be given to ensuring driving safety by raising the alarm level.

請求項2の発明は、請求項1の発明において、前記警報レベル変更手段は、運転者が同乗者に発話しているときの前記判定閾値を運転者が同乗者の発話を傾聴しているときの前記判定閾値よりも大きくすることを特徴としている。
この構成によれば、安全性低下判定手段の判定閾値の調整という簡単な構成で走行安全性確保と乗員間の対話阻害防止とを両立することができる。
According to a second aspect of the present invention, in the first aspect of the invention, the warning level changing means is configured such that the driver listens to the passenger's utterance with respect to the determination threshold value when the driver is speaking to the passenger. It is characterized by being larger than the determination threshold value.
According to this configuration, it is possible to achieve both driving safety and prevention of interference between passengers with a simple configuration of adjusting the determination threshold value of the safety decrease determination unit.

請求項3の発明は、請求項2の発明において、前記警報レベル変更手段は、前記運転者が同乗者に発話しているときの判定閾値を運転者が同乗者と対話していないときの判定閾値よりも大きくすることを特徴としている。
この構成によれば、警報による煩わしさを一層軽減することができる。
According to a third aspect of the present invention, in the second aspect of the invention, the alarm level changing means determines when the driver is not interacting with the fellow passenger as to a judgment threshold value when the driver is speaking to the fellow passenger. It is characterized by being larger than the threshold value.
According to this configuration, it is possible to further reduce the troublesomeness caused by the alarm.

請求項4の発明は、請求項2又は3の発明において、対話中の運転者及び同乗者の音声に含まれたワードに基づいて運転者の対話に対する熱中度を判定する熱中度判定手段を備え、前記熱中度判定手段により運転者の対話に対する熱中度が高いと判定されたとき、前記判定閾値を小さくすることを特徴としている。
この構成によれば、運転者の注意力レベルの低下を熱中度によって判定することができ、対話に熱中した運転者の走行安全性を確保することができる。
According to a fourth aspect of the present invention, in the second or third aspect of the invention, there is provided a degree of heat determination means for determining a degree of heat for the driver's dialogue based on words included in the voices of the driver and the passenger during the dialogue. The determination threshold value is reduced when it is determined by the heat degree determination means that the heat degree with respect to the driver's dialogue is high.
According to this configuration, it is possible to determine a decrease in the driver's attention level based on the degree of heat, and it is possible to ensure the driving safety of the driver who is enthusiastic about the conversation.

本発明の運転支援装置によれば、複数の乗員が乗車したときの走行安全性確保と乗員間の対話阻害防止とを両立させることができる。   According to the driving support device of the present invention, it is possible to achieve both driving safety when a plurality of passengers get on and prevention of dialogue inhibition between passengers.

実施例1に係る運転支援装置の機能ブロック図である。1 is a functional block diagram of a driving support apparatus according to Embodiment 1. FIG. 音声対話装置の機能ブロック図である。It is a functional block diagram of a voice interactive apparatus. 興味度テーブルの一例を示す図である。It is a figure which shows an example of an interest degree table. 体調度テーブルの一例を示す図である。It is a figure which shows an example of a physical condition table. 運転支援処理のフローチャートである。It is a flowchart of a driving assistance process. 判定閾値設定処理のフローチャートである。It is a flowchart of a determination threshold value setting process. 対話と速度特性との関連性を示すグラフである。It is a graph which shows the relationship between a dialog and a speed characteristic. 対話と操舵特性との関連性を示すグラフである。It is a graph which shows the relationship between a dialog and a steering characteristic. 対話のない通常時と発話時と傾聴時の各々の操作特性を示すグラフである。It is a graph which shows each operation characteristic at the time of normal time without speech, at the time of speech, and listening.

以下、本発明の実施形態を図面に基づいて詳細に説明する。
以下の説明は、本発明を車両に適用したものを例示したものであり、本発明、その適用物、或いは、その用途を制限するものではない。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
The following description exemplifies a case where the present invention is applied to a vehicle, and does not limit the present invention, its application, or its use.

以下、本発明の実施例1について図1〜図6に基づいて説明する。
運転支援装置1は、車両の走行状態に基づいて車両の安全性の低下を判定し、この判定値が判定閾値Tを超えたとき、例えば、自車両が走行している走行車線上の白線(区分線)と自車両との接近度合が所定の判定閾値Tを超えて接近したとき、運転者に対して警報するように構成されている。
Embodiment 1 of the present invention will be described below with reference to FIGS.
The driving support device 1 determines a decrease in the safety of the vehicle based on the traveling state of the vehicle, and when this determination value exceeds the determination threshold T, for example, a white line ( When the degree of approach between the lane marking) and the host vehicle approaches a predetermined determination threshold T, the driver is warned.

図1に示すように、運転支援装置1は、走行状態検出手段としてのCCD(Charge Coupled Device)カメラ2と、運転者の生体情報取得部3と、音声対話装置10(音声取得手段)と、ECU(Electronic Control Unit)20と、警報装置4等を備えている。
CCDカメラ2は、車室内のルーフ前端部(図示略)又は左右のドアミラー(図示略)に配設されている。このCCDカメラ2は、自車両が走行している走行車線上の白線を撮像している。尚、CCDカメラ2に代えてCMOS(Complementary Metal Oxide Semiconductor)カメラを用いても良く、光電変換素子により入射した光を輝度に応じて輝度階調のデジタル画像に変換できる手段であれば代替可能である。
As shown in FIG. 1, the driving support device 1 includes a CCD (Charge Coupled Device) camera 2 as a running state detection unit, a driver's biological information acquisition unit 3, a voice interaction device 10 (voice acquisition unit), An ECU (Electronic Control Unit) 20 and an alarm device 4 are provided.
The CCD camera 2 is disposed on a roof front end (not shown) or left and right door mirrors (not shown) in the vehicle interior. The CCD camera 2 images a white line on a traveling lane in which the host vehicle is traveling. A CMOS (Complementary Metal Oxide Semiconductor) camera may be used in place of the CCD camera 2, and any means can be used as long as it can convert the light incident by the photoelectric conversion element into a digital image of luminance gradation according to the luminance. is there.

生体情報取得部3は、運転者の生体情報に基づいて運転者の感情や疲れ具合を検出可能に構成されている。この生体情報取得部3は、例えば、ステアリングホイールに設けられた発汗計(図示略)によって検出された運転者の手の発汗度合い、運転席に内蔵された心拍センサ(図示略)によって検出された運転者の心拍数、車室内に配設された室内カメラ(図示略)によって撮像された運転者の瞳孔径や視線方向等を取得している。
発汗度合いや心拍数は、運転者の活性度と相関関係があり、瞳孔径や視線方向は、運転者の快度と相関関係があるため、運転者のストレス等精神状態を推定することができる。
これらの検出結果と運転者の体調(良、普通、不良)との相関関係は、予め実験等によって準備されている。
The biometric information acquisition unit 3 is configured to be able to detect the driver's emotion and fatigue based on the driver's biometric information. The biometric information acquisition unit 3 is detected by, for example, the degree of sweating of the driver's hand detected by a sweat meter (not shown) provided on the steering wheel, and a heart rate sensor (not shown) built in the driver's seat. The driver's heart rate, the driver's pupil diameter, line-of-sight direction, and the like captured by an indoor camera (not shown) disposed in the passenger compartment are acquired.
Since the degree of sweating and heart rate correlate with the driver's activity, and the pupil diameter and line-of-sight direction correlate with the driver's pleasure, it is possible to estimate the mental state such as the driver's stress. .
The correlation between these detection results and the driver's physical condition (good, normal, bad) is prepared in advance by experiments or the like.

次に、音声対話装置10について説明する。
音声対話装置10は、運転者及び1又は複数の同乗者(以下、乗員と総称する)の発する音声を夫々取得し、乗員からの音声入力に対応して各乗員に対して対話制御可能に構成されている。この音声対話装置10は、1の例では、スマートフォン等の携帯型端末装置であり、他の例では、車両に搭載された通信機能を有する車載PC(ナビゲーション機能等を備えても良い)である。また、携帯型端末装置と車載PCとが協調制御を行う場合には、これら携帯型端末装置及び車載PCが音声対話装置10に相当している。
Next, the voice interaction device 10 will be described.
The voice interaction device 10 is configured to acquire voices generated by the driver and one or more passengers (hereinafter collectively referred to as passengers) and to control each passenger in response to voice input from the passengers. Has been. In one example, the voice interactive apparatus 10 is a portable terminal device such as a smartphone, and in another example, the voice interactive apparatus 10 is an in-vehicle PC having a communication function mounted on a vehicle (may include a navigation function or the like). . Further, when the portable terminal device and the in-vehicle PC perform cooperative control, the portable terminal device and the in-vehicle PC correspond to the voice interaction device 10.

図2に示すように、音声対話装置10は、マイク5及びスピーカ6と電気的に接続され、サーバ7と種々の情報について相互に送受信可能に構成されている。
マイク5は、乗員各々の音声が入力されるものであり、車室内の所定位置に設置されている。このマイク5は、乗員の音声及び同乗者の音声を何れかの乗員からの音声入力開始時から取得することができる。
スピーカ6は、音声合成部13で変換された発音データを出力している。
As shown in FIG. 2, the voice interaction device 10 is electrically connected to a microphone 5 and a speaker 6 and configured to be able to transmit and receive various information to and from the server 7.
The microphone 5 is used to input the voice of each occupant and is installed at a predetermined position in the passenger compartment. The microphone 5 can acquire the passenger's voice and the passenger's voice from the start of voice input from any of the passengers.
The speaker 6 outputs the sound production data converted by the speech synthesizer 13.

サーバ7は、別途設置された情報センタ(図示略)に配設されている。
このサーバ7は、大量のデータ処理能力及び大量のデータ容量を有する大型計算機によって形成され、音声対話装置10との間で種々の情報について相互に送受信を行っている。
ここで、情報センタについて簡単に説明する。
情報センタは、抽出された概念が車両内で処理できない操作タスクの応答用テキスト、乗員同士の対話への割込用テキスト等を生成可能に構成されている。この情報センタは、サーバ7と、通信部(図示略)等を備え、音声対話装置10と通信可能に形成されている。
サーバ7は、対話管理部と、情報データベースと、語彙文法データベース等を備えている(何れも図示略)。対話管理部は、情報データベースやインターネットを検索すると共に、語彙文法データベースに基づいて検索結果を組み込んだ応答用テキスト等を生成可能に構成されている。生成された応答用テキスト等は、所定のフォーマットに変換されて通信部から音声対話装置10に送信される。
The server 7 is disposed in a separately installed information center (not shown).
The server 7 is formed by a large computer having a large amount of data processing capability and a large amount of data capacity, and transmits and receives various kinds of information to and from the voice interaction device 10.
Here, the information center will be briefly described.
The information center is configured to be able to generate a text for responding to an operation task in which the extracted concept cannot be processed in the vehicle, a text for interrupting a conversation between passengers, and the like. The information center includes a server 7, a communication unit (not shown), and the like, and is configured to be communicable with the voice interaction apparatus 10.
The server 7 includes a dialogue management unit, an information database, a vocabulary grammar database, and the like (all not shown). The dialogue management unit is configured to search the information database and the Internet, and to generate a response text incorporating the search result based on the vocabulary grammar database. The generated response text or the like is converted into a predetermined format and transmitted from the communication unit to the voice interaction apparatus 10.

図2に示すように、音声対話装置10は、音声認識部11と、対話処理部12と、音声合成部13等を備えている。
音声認識部11は、マイク4に入力された運転者の音声をA/Dコンバータによってデジタル信号として取り込み、このデジタル信号を波形データに変換した後、周波数分析して特徴ベクトルを抽出する。この音声認識部11は、記憶部15に記憶された言語モデルと乗員の音声との一致度を演算し、入力された音声を認識した後、ワード列で表現されたテキストとして対話処理部12に出力している。
As shown in FIG. 2, the voice interaction device 10 includes a voice recognition unit 11, a dialogue processing unit 12, a voice synthesis unit 13, and the like.
The voice recognition unit 11 takes in the driver's voice input to the microphone 4 as a digital signal by an A / D converter, converts this digital signal into waveform data, and then performs frequency analysis to extract a feature vector. The speech recognition unit 11 calculates the degree of coincidence between the language model stored in the storage unit 15 and the occupant's speech, recognizes the input speech, and then sends it to the dialogue processing unit 12 as text expressed in a word string. Output.

次に、対話処理部12について説明する。
対話処理部12は、乗員(運転者)から音声対話装置10への操作タスクに対する完了報告や各種問い合わせに対する回答に関する応答用テキストを生成可能に構成されている。
更に、この対話処理部12は、運転者と同乗者との対話の有無、現在行われている対話の主体(運転者又は同乗者)、現在行われている対話中に含まれたワードに対する運転者の興味度f1,f2をECU20に対して出力可能に形成されている。
Next, the dialogue processing unit 12 will be described.
The dialogue processing unit 12 is configured to be able to generate a response text relating to a completion report for an operation task from the occupant (driver) to the voice dialogue device 10 and responses to various inquiries.
Further, the dialog processing unit 12 is configured to display the presence / absence of a dialog between the driver and the passenger, the subject of the current dialog (driver or passenger), and driving for the word included in the current dialog. The user's interests f1 and f2 can be output to the ECU 20.

図2に示すように、対話処理部12は、制御部14と、記憶部15等を備えている。
制御部14は、乗員と音声対話装置10との応答規則を記述した対話シナリオを用いて対話が成立するように車載機器(図示略)を含めて各機能部を協調制御している。
制御部14は、音声認識部11によって認識されたテキストから概念(発話意図)を抽出し、その概念を音声対話装置10が取扱可能な形式で出力する意図理解機能と、この意図理解機能の出力結果に基づき音声対話装置10が応答する概念を決定する対話制御機能と、この対話制御機能から出力された概念に基づき応答用テキストを生成する応答生成機能と、応答用テキストを発話するタイミングを設定する発話タイミング設定機能とを備え、主に運転者との対話内容や対話タイミング全般を管理可能に構成されている。
As shown in FIG. 2, the dialogue processing unit 12 includes a control unit 14, a storage unit 15, and the like.
The control unit 14 cooperatively controls each function unit including on-vehicle devices (not shown) so that a dialogue is established using a dialogue scenario describing a response rule between the occupant and the voice dialogue device 10.
The control unit 14 extracts a concept (intention to speak) from the text recognized by the speech recognition unit 11, outputs the concept in a format that can be handled by the voice interaction device 10, and outputs the intention understanding function. A dialog control function for determining a concept to which the voice interaction device 10 responds based on the result, a response generation function for generating a response text based on the concept output from the dialog control function, and a timing for uttering the response text are set. Utterance timing setting function, and is configured to be able to manage mainly the content of dialogue with the driver and the overall dialogue timing.

制御部14は、抽出された概念が、乗員(運転者)による車載機器の操作のように車両内で処理できる操作タスクの場合、サーバ7への通信を行うことなく、所定の車載機器に対して操作指令を出力すると共に車両内にて応答用テキストを生成する。
制御部14は、発話から抽出された概念が、車両内で処理できないタスクの場合や乗員同士の対話である場合、ワード列で表現された乗員の音声に基づくテキストを情報検索コマンドとしてURLのフォーマットに変換して情報センタに送信する。
In the case where the extracted concept is an operation task that can be processed in the vehicle like an operation of the in-vehicle device by the occupant (driver), the control unit 14 does not communicate with the server 7 for the predetermined in-vehicle device. To output an operation command and generate a response text in the vehicle.
When the concept extracted from the utterance is a task that cannot be processed in the vehicle or a dialogue between passengers, the control unit 14 formats the URL based on the text based on the voice of the passenger expressed as a word string as an information search command. To be sent to the information center.

記憶部15には、言語モデルデータベース、意図理解モデルデータベース、課題解決知識データベース、対話シナリオデータベース、興味判定ワードデータベース(何れも図示略)、及び興味度テーブル31等が格納されている。
言語モデルデータベースは、入力された音声と一致度が比較されるワードモデルが記憶されている。意図理解モデルデータベースは、各々のワードと表現パターンと抽出された概念との相関関係が記憶されている。
課題解決知識データベースは、抽出された概念が課題の表明であるとき、その課題の解決策を提案するときの概念作成に利用される。対話シナリオデータベースは、応答用テキストの作成ルールが記憶されている。
The storage unit 15 stores a language model database, an intention understanding model database, a problem solving knowledge database, a dialogue scenario database, an interest determination word database (all not shown), an interest degree table 31, and the like.
The language model database stores a word model whose degree of coincidence is compared with the input speech. The intention understanding model database stores the correlation between each word, the expression pattern, and the extracted concept.
The problem solving knowledge database is used to create a concept when a solution to the problem is proposed when the extracted concept is a statement of the problem. The dialog scenario database stores response text creation rules.

興味判定ワードデータベースは、乗員同士の対話に含まれる各々の対象について運転者の興味(嗜好)に基づき興味大、興味中、興味小の3グループに分類して記憶している。
図3に示すように、興味度テーブル31は、乗員間の対話に含まれたワードについて、興味判定ワードデータベースを用いて分類されたグループに夫々対応するように、運転者が対話主体(運転者発話)のときの運転者の興味度f1と、同乗者が対話主体(運転者傾聴)のときの運転者の興味度f2とが予め設定されている。
The interest determination word database classifies and stores each target included in the dialogue between the passengers into three groups of high interest, middle interest, and low interest based on the interest (preference) of the driver.
As shown in FIG. 3, the interest level table 31 indicates that the driver includes a dialogue subject (driver) so that the words included in the dialogue between passengers correspond to the groups classified using the interest determination word database. The interest level f1 of the driver at the time of utterance) and the interest level f2 of the driver when the passenger is the conversation subject (driver listening) are preset.

次に、音声合成部13について説明する。
音声合成部13は、対話処理部12で決定された応答用テキスト又は情報センタから受信した応答用テキスト等を音声出力に適した表現に正規化し、この正規化したテキストの各ワードと記憶部15内に記憶された言語モデルを用いて発音データに変換する。そして、音声合成部13は、発音データをD/Aコンバータによってデジタル信号による波形データに変換し、スピーカ6に出力している。
Next, the speech synthesizer 13 will be described.
The speech synthesis unit 13 normalizes the response text determined by the dialogue processing unit 12 or the response text received from the information center into an expression suitable for speech output, and each word of the normalized text and the storage unit 15. It is converted into pronunciation data using the language model stored inside. The voice synthesizer 13 converts the sound generation data into waveform data based on a digital signal by a D / A converter and outputs the waveform data to the speaker 6.

次に、ECU20について説明する。
ECU20は、プログラムを実行するCPU、プログラムを記憶したROM、データやプログラムを一時的に記憶するRAM、EEPROM(electronically Erasable and Programmable Read Only Memory)、データを入出力する入出力インターフェイス等を備え、他のECUと通信する通信部がバスを介して接続されたマイコンとして構成されている。このECU20は、CPUがプログラムを実行することで、乗員(運転者)に注意を促す警報が実現される。
Next, the ECU 20 will be described.
The ECU 20 includes a CPU that executes programs, a ROM that stores programs, a RAM that temporarily stores data and programs, an EEPROM (electronically erasable and programmable read only memory), an input / output interface that inputs and outputs data, and the like. A communication unit that communicates with the ECU is configured as a microcomputer connected via a bus. As for this ECU20, the warning which calls a passenger | crew (driver | operator) attention is implement | achieved because CPU runs a program.

図1に示すように、ECU20は、走行車線認識部21と、逸脱判定部22(安全性低下判定手段)と、判定閾値設定部23(警報レベル変更手段)と、熱中度判定部24(熱中度判定手段)等を備えている。
走行車線認識部21は、CCDカメラ2が撮像した前方画像の輝度を水平方向に微分処理することにより、白線の両端部に高周波成分となるエッジが発生することを利用して走行車線の白線部分を推定し、この推定された白線部分について輝度及び路面とのコントラストから定められる閾値や白線幅の閾値等に基づいて白線を抽出している。
この走行車線認識部21は、抽出した白線情報と、この白線と自車両との離隔距離とを算出している。
As shown in FIG. 1, the ECU 20 includes a travel lane recognition unit 21, a departure determination unit 22 (safety reduction determination unit), a determination threshold setting unit 23 (alarm level change unit), and a heat degree determination unit 24 (hot). Degree determination means) and the like.
The traveling lane recognition unit 21 differentiates the luminance of the front image captured by the CCD camera 2 in the horizontal direction to generate edges that become high frequency components at both ends of the white line, thereby utilizing the white line portion of the traveling lane. The white line is extracted from the estimated white line portion based on the threshold value determined from the brightness and the contrast with the road surface, the threshold value of the white line width, and the like.
The traveling lane recognition unit 21 calculates the extracted white line information and the separation distance between the white line and the host vehicle.

逸脱判定部22は、走行車線認識部21による算出結果に基づいて、白線と自車両との接近度合が判定閾値Tを超えて接近したとき、自車両が走行車線を逸脱する可能性があると判定し、警報装置4に対して作動指令を出力可能に構成されている。
この逸脱判定部22は、判定閾値Tが大きい場合、自車両による白線への接近が許容されるため、白線と自車両との離隔距離が小さくなるまで逸脱可能性ありと判定されない。また、判定閾値Tが小さい場合、自車両による白線への接近が制限されるため、白線と自車両との離隔距離がある程度大きな値であっても逸脱可能性ありと判定される。
尚、運転者が同乗者と対話していないときの判定閾値Tは、通常時使用される基準判定閾値T1として予め設定されている。
Based on the calculation result by the traveling lane recognition unit 21, the departure determination unit 22 may deviate from the traveling lane when the degree of approach between the white line and the own vehicle approaches the determination threshold T. The operation command can be output to the alarm device 4 by determining.
When the determination threshold value T is large, the departure determination unit 22 is allowed to approach the white line by the own vehicle, and thus is not determined to have a possibility of departure until the separation distance between the white line and the own vehicle becomes small. In addition, when the determination threshold T is small, the approach to the white line by the own vehicle is limited, and therefore it is determined that there is a possibility of departure even if the separation distance between the white line and the own vehicle is a certain large value.
Note that the determination threshold T when the driver is not interacting with the passenger is set in advance as a reference determination threshold T1 that is normally used.

判定閾値設定部23は、逸脱判定部22の判定閾値Tを運転者の運転状況、所謂体調、対話の有無、対話に対する興味度等に基づいて変更・設定可能に構成されている。
この判定閾値設定部23は、運転者が所定状態のとき、運転者が同乗者に発話している(運転者が対話の主体である)ときの判定閾値Tを運転者が同乗者の発話を傾聴している(同乗者が対話の主体である)ときの判定閾値Tよりも大きくしている。
運転者が同乗者に発話しているときの運転者の認知性(注意力レベル)は、運転者が同乗者の発話を傾聴しているときの運転者の認知性よりも高いからである。
The determination threshold value setting unit 23 is configured to be able to change / set the determination threshold value T of the departure determination unit 22 based on the driving situation of the driver, so-called physical condition, presence / absence of dialogue, degree of interest in dialogue, and the like.
The determination threshold value setting unit 23 sets a determination threshold value T when the driver is speaking to the passenger when the driver is in a predetermined state (the driver is the subject of the dialogue). It is larger than the determination threshold value T when listening (the passenger is the subject of the dialogue).
This is because the driver's cognition (attention level) when the driver is speaking to the passenger is higher than the driver's cognition when the driver is listening to the passenger's speech.

また、判定閾値設定部23は、運転者の体調が不良状態のときを除いて、運転者が同乗者に発話しているときの判定閾値Tを運転者が同乗者と対話していないときの判定閾値T(基準判定閾値T1)よりも大きくするように構成されている。
運転者が同乗者に発話しているときの意識は、基本的に活性化しているからである。
運転者が同乗者に発話しているときの判定閾値Tを第1判定閾値T2、運転者が同乗者の発話を傾聴しているときの判定閾値Tを第2判定閾値T3としたとき、第1,第2判定閾値T2,T3は、次式によって夫々表すことができる。
T2=T1+k1×α
T3=T1+k2×β …(1)
尚、k1,k2は、夫々運転者が同乗者に発話しているときの熱中度係数と運転者が同乗者の発話を傾聴しているときの熱中度係数であり、α,βは、0<β<αの関係式を満たしている。
In addition, the determination threshold setting unit 23 is configured to determine the determination threshold T when the driver is speaking to the passenger except when the driver's physical condition is in a poor state when the driver is not interacting with the passenger. It is configured to be larger than the determination threshold T (reference determination threshold T1).
This is because the consciousness when the driver speaks to the passenger is basically activated.
When the determination threshold T when the driver is speaking to the passenger is the first determination threshold T2, and the determination threshold T when the driver is listening to the passenger's utterance is the second determination threshold T3, The first and second determination threshold values T2 and T3 can be expressed by the following equations, respectively.
T2 = T1 + k1 × α
T3 = T1 + k2 × β (1)
Here, k1 and k2 are a heat intensity coefficient when the driver is speaking to the passenger and a heat intensity coefficient when the driver is listening to the passenger's speech, and α and β are 0, respectively. <Β <α is satisfied.

熱中度判定部24は、生体情報取得部3の検出結果に基づき運転者の体調度g1,g2を判定すると共に運転者の対話に対する熱中度に相当する熱中度係数k1,k2を判定可能に構成されている。
この熱中度判定部24には、体調度テーブル32が設けられている。
図4に示すように、体調度テーブル32は、運転者の体調(良、普通、不良)に夫々対応するように、運転者が対話主体(運転者発話)のときの運転者の体調度g1と、同乗者が対話主体(運転者傾聴)のときの運転者の体調度g2とが予め設定されている。
The heat degree determination unit 24 is configured to determine the driver's physical condition g1, g2 based on the detection result of the biometric information acquisition unit 3, and to determine the heat degree coefficients k1, k2 corresponding to the heat degree with respect to the driver's dialogue. Has been.
The heat degree determination unit 24 is provided with a physical condition table 32.
As shown in FIG. 4, the physical condition table 32 indicates that the physical condition g1 of the driver when the driver is a subject of dialogue (driver's utterance) so as to correspond to the physical condition (good, normal, bad) of the driver. And the physical condition g2 of the driver when the passenger is the main subject of dialogue (listening to the driver).

運転者の対話に対する熱中度は、対話に含まれたワードに基づく運転者の対話に対する興味度f1,f2と、運転者の体調度g1,g2とを用いて、運転者が同乗者に発話しているときの熱中度係数k1と、運転者が同乗者の発話を傾聴しているときの熱中度係数k2とによって夫々表すことができる。
これは、運転者にとって同じ興味度の対話であっても、体調度が低い場合には、体調度が高い場合よりも熱中度が低くなるからである。
The degree of enthusiasm for the driver's dialogue is that the driver speaks to the passenger using the interests f1, f2 for the driver's dialogue based on the words included in the dialogue and the driver's physical condition g1, g2. The heat intensity coefficient k1 when the driver is listening and the heat intensity coefficient k2 when the driver is listening to the passenger's speech can be expressed respectively.
This is because even if the conversation has the same degree of interest for the driver, when the physical condition is low, the degree of heat is lower than when the physical condition is high.

熱中度係数k1,k2は、次式によって夫々表すことができる。
k1=f1+g1
k2=f2+g2 …(2)
上記式(2)によって求められた熱中度係数k1,k2が、判定閾値設定部23に出力された後、式(1)に夫々代入され、第1,第2判定閾値T2,T3が求められる。
The thermal intermediate coefficients k1 and k2 can be expressed by the following equations, respectively.
k1 = f1 + g1
k2 = f2 + g2 (2)
The thermal intensity coefficients k1 and k2 obtained by the above equation (2) are output to the determination threshold value setting unit 23 and then substituted into the equation (1), respectively, to obtain the first and second determination threshold values T2 and T3. .

警報装置4は、自車両が走行車線を逸脱する可能性があると判定されたとき、逸脱判定部22からの作動指令に基づき運転者への注意喚起を行う。
警報装置4は、例えばスピーカ、ブザー、ディスプレイのうち少なくとも1つが警報手段に相当している。
The warning device 4 alerts the driver based on the operation command from the departure determination unit 22 when it is determined that the host vehicle may deviate from the traveling lane.
In the alarm device 4, for example, at least one of a speaker, a buzzer, and a display corresponds to the alarm means.

次に、図5,図6のフローチャートに基づき、運転支援装置1による運転支援処理手順について説明する。
尚、Si(i=1,2,…)は、各処理のためのステップを示している。
まず、各種情報を読み込み(S1)、S2へ移行する。
S2では、接近度合と比較するための判定閾値Tを設定する判定閾値設定処理を行っている。
Next, a driving support processing procedure by the driving support device 1 will be described based on the flowcharts of FIGS.
Si (i = 1, 2,...) Indicates steps for each process.
First, various information is read (S1), and the process proceeds to S2.
In S2, a determination threshold value setting process for setting a determination threshold value T for comparison with the degree of approach is performed.

S2で判定閾値Tを設定した後、S3に移行し、自車両と白線との接近度合が判定閾値Tを超えたか否か判定している。
S3の判定の結果、接近度合が判定閾値Tを超えた場合、運転者に注意喚起させるためにS4に移行して警報装置4を作動させた後、リターンする。
S3の判定の結果、接近度合が判定閾値Tを超えていない場合、安全性が低下していないため、警報装置4を作動させることなくリターンする。
After the determination threshold T is set in S2, the process proceeds to S3, where it is determined whether or not the degree of approach between the host vehicle and the white line exceeds the determination threshold T.
As a result of the determination in S3, if the degree of approach exceeds the determination threshold value T, the process proceeds to S4 in order to alert the driver, the alarm device 4 is activated, and then the process returns.
As a result of the determination in S3, when the degree of approach does not exceed the determination threshold T, the safety is not deteriorated, and the process returns without operating the alarm device 4.

次に、S2で行われる判定閾値設定処理について詳細に説明する。
図6に示すように、まず、音声対話装置10からの情報に基づき乗員間の対話が行われているか否かを判定する(S11)。
S11の判定の結果、乗員間の対話が行われている場合、S12に移行し、乗員間の対話が運転者と同乗者との対話か否か判定する。
S12の判定の結果、乗員間の対話が運転者と同乗者との対話である場合、S13に移行し、運転者が対話の主体、所謂発話しているか否か判定する。
Next, the determination threshold value setting process performed in S2 will be described in detail.
As shown in FIG. 6, first, it is determined based on information from the voice interaction device 10 whether or not a conversation between passengers is being performed (S11).
As a result of the determination in S11, when a conversation between the passengers is performed, the process proceeds to S12, and it is determined whether or not the conversation between the passengers is a conversation between the driver and the passenger.
As a result of the determination in S12, when the dialogue between the passengers is a dialogue between the driver and the passenger, the process proceeds to S13, and it is determined whether or not the driver is the subject of the dialogue, so-called speech.

S13の判定の結果、運転者が発話している場合、運転者が対話の主体であるため、S14に移行し、第1判定閾値T2を設定する。
S14では、興味度及び体調度に基づいて式(2)によって熱中度係数k1を演算し、式(1)に熱中度係数k1を代入して第1判定閾値T2を算出する。
例えば、運転者の状態が、興味度小、体調度良の場合、熱中度係数k1=1.2であるため、T2=T1+1.2αとなり、興味度中、体調度普通の場合、熱中度係数k1=1.0であるため、T2=T1+1.0αとなり、興味度大、体調度不良の場合、熱中度係数k1=−0.3であるため、T2=T1−0.3αとなる。
S14で算出された第1判定閾値T2を判定閾値Tに設定し(S15)、終了する。
If the driver is speaking as a result of the determination in S13, the driver is the subject of the dialogue, so the process proceeds to S14, and the first determination threshold T2 is set.
In S14, the heat degree coefficient k1 is calculated by Expression (2) based on the degree of interest and the physical condition, and the first determination threshold value T2 is calculated by substituting the heat degree coefficient k1 into Expression (1).
For example, when the driver's state is low interest level and good physical condition, the heat intensity coefficient k1 = 1.2, so T2 = T1 + 1.2α, and when the interest level is normal and the physical condition is normal, the heat intensity coefficient Since k1 = 1.0, T2 = T1 + 1.0α. When the degree of interest is high and the physical condition is poor, the thermal intermediate coefficient k1 = −0.3, so T2 = T1−0.3α.
The first determination threshold T2 calculated in S14 is set as the determination threshold T (S15), and the process ends.

S13の判定の結果、運転者が発話していない場合、同乗者が対話の主体であり、運転者が傾聴状態であるため、S16に移行し、第2判定閾値T3を設定する。
S16では、興味度及び体調度に基づいて式(2)によって熱中度係数k2を演算し、式(1)に熱中度係数k2を代入して第2判定閾値T3を算出する。
例えば、運転者の状態が、興味度小、体調度良の場合、熱中度係数k2=1.0であるため、T3=T1+1.0βとなり、興味度中、体調度普通の場合、熱中度係数k2=−0.3であるため、T3=T1−0.3βとなり、興味度大、体調度不良の場合、熱中度係数k2=−0.5であるため、T3=T1−0.5βとなる。
S16で算出された第2判定閾値T3を判定閾値Tに設定し(S17)、終了する。
As a result of the determination in S13, if the driver is not speaking, the passenger is the subject of the conversation and the driver is in the listening state, so the process proceeds to S16, and the second determination threshold T3 is set.
In S16, the heat degree coefficient k2 is calculated by Expression (2) based on the degree of interest and physical condition, and the second determination threshold value T3 is calculated by substituting the heat degree coefficient k2 into Expression (1).
For example, when the driver's state is low interest level and good physical condition, the heat intensity coefficient k2 = 1.0, so T3 = T1 + 1.0β. Since k2 = −0.3, T3 = T1−0.3β. When the degree of interest is high and the physical condition is poor, the thermal intermediate coefficient k2 = −0.5, so T3 = T1−0.5β. Become.
The second determination threshold T3 calculated in S16 is set as the determination threshold T (S17), and the process ends.

S11の判定の結果、乗員間の対話が行われていない場合、及び、S12の判定の結果、乗員間の対話が運転者と同乗者との対話ではない(同乗者間の対話である)場合、運転者は通常時の注意力レベルと通常時の操作特性とを維持しているため、基準判定閾値T1を判定閾値Tに設定し(S18)、終了する。   As a result of the determination of S11, when the conversation between the passengers is not performed, and as a result of the determination of S12, when the conversation between the passengers is not a conversation between the driver and the passenger (a conversation between the passengers) Since the driver maintains the normal attention level and the normal operation characteristics, the reference determination threshold T1 is set to the determination threshold T (S18), and the process ends.

次に、上記運転支援装置1の作用、効果について説明する。
本運転支援装置1によれば、運転者と同乗者との対話の音声を取得する音声対話装置10を備えているため、同乗者の有無、及び対話中の運転者が発話状態であるか傾聴状態であるかについて明確に判別することができる。運転者が同乗者に発話しているときの警報装置4による警報レベルを運転者が同乗者の発話を傾聴しているときの警報装置4による警報レベルよりも低くする判定閾値設定部23を備えているため、運転者が傾聴状態よりも注意力レベル(認知性)が高い発話状態のとき、警報レベルを低くして乗員間の対話を優先させることができ、運転者が発話状態よりも注意力レベルが低い傾聴状態のとき、警報レベルを高くして走行安全性確保を優先させることができる。
Next, the operation and effect of the driving support device 1 will be described.
According to the present driving support device 1, since the voice dialogue device 10 that acquires the voice of the dialogue between the driver and the passenger is provided, the presence / absence of the passenger and whether the driver in the dialogue is in an utterance state is listened to. It is possible to clearly determine whether the state is present. A determination threshold setting unit 23 is provided for lowering the alarm level by the alarm device 4 when the driver is speaking to the passenger to be lower than the alarm level by the alarm device 4 when the driver is listening to the passenger's speech. Therefore, when the driver is in an utterance state where the attention level (cognitiveness) is higher than the listening state, the warning level can be lowered to give priority to dialogue between passengers, and the driver is more careful than the utterance state. When listening at a low power level, priority can be given to ensuring driving safety by raising the alarm level.

判定閾値設定部23は、運転者が同乗者に発話しているときの判定閾値T(T2)を運転者が同乗者の発話を傾聴しているときの判定閾値T(T3)よりも大きくするため、逸脱判定部22の判定閾値Tの調整という簡単な構成で走行安全性確保と乗員間の対話阻害防止とを両立することができる。   The determination threshold setting unit 23 sets the determination threshold T (T2) when the driver is speaking to the passenger to be larger than the determination threshold T (T3) when the driver is listening to the passenger's speech. For this reason, it is possible to achieve both driving safety and prevention of interference between passengers with a simple configuration of adjusting the determination threshold T of the departure determination unit 22.

判定閾値設定部23は、運転者が同乗者に発話しているときの判定閾値T(T2)を運転者が同乗者と対話していないときの判定閾値T(T1)よりも大きくするため、車線逸脱警報による煩わしさを一層軽減することができる。   Since the determination threshold value setting unit 23 makes the determination threshold value T (T2) when the driver is speaking to the fellow passenger larger than the determination threshold value T (T1) when the driver is not interacting with the fellow passenger, The troublesomeness caused by the lane departure warning can be further reduced.

対話中の運転者及び同乗者の音声に含まれたワードに基づいて運転者の対話に対する熱中度(熱中度係数k1,k2)を判定する熱中度判定部24を備え、熱中度判定部24により運転者の対話に対する熱中度が高いと判定されたとき、判定閾値T(T2,T3)を小さくするため、運転者の注意力レベルの低下を熱中度によって判定することができ、対話に熱中した運転者の走行安全性を確保することができる。   A heat degree determination unit 24 for determining a heat degree (heat degree coefficient k1, k2) for the driver's conversation based on words included in the voices of the driver and the passengers in the conversation is provided. When it is determined that the degree of enthusiasm for the driver's dialogue is high, in order to reduce the determination threshold T (T2, T3), a decrease in the driver's attention level can be determined by the degree of enthusiasm, and the enthusiasm for the dialogue The driving safety of the driver can be ensured.

次に、前記実施形態を部分的に変更した変形例について説明する。
1〕前記実施形態においては、安全性低下判定手段として車両による走行車線の逸脱判定を行う逸脱判定部を前提技術とした例を説明したが、少なくとも車両の安全性の低下を判定できれば良く、所定の制限速度に対する速度超過判定部や信号機の変化に対する反応時間判定部を前提技術としても良い。
Next, a modified example in which the embodiment is partially changed will be described.
1) In the above-described embodiment, the example in which the departure determination unit that performs the departure determination of the driving lane by the vehicle is used as the prerequisite technology has been described as the safety decrease determination unit. An overspeed determination unit for the speed limit and a reaction time determination unit for a change in the traffic light may be used as a prerequisite technology.

2〕前記実施形態においては、運転者の発話状態と傾聴状態とに基づき接近度合の判定閾値を変更して警報レベルを制御する例を説明したが、接近度合の判定閾値を一定に維持しつつ、運転者の発話状態と傾聴状態とに基づき警報レベルの強さを制御しても良い。
具体的には、運転者の発話状態のときの音量を運転者の傾聴状態のときの音量よりも小さくする、或いは運転者の発話状態のときのディスプレイの輝度や色彩を運転者の傾聴状態のときの輝度や色彩よりも抑制することも可能である。
2) In the above embodiment, the example in which the approach level determination threshold is changed based on the driver's utterance state and listening state to control the alarm level has been described, but the approach degree determination threshold value is maintained constant. The intensity of the alarm level may be controlled based on the driver's utterance state and listening state.
Specifically, the volume when the driver is speaking is lower than the volume when the driver is listening, or the brightness and color of the display when the driver is speaking are It is also possible to suppress more than the brightness and color at the time.

3〕前記実施形態においては、音声取得手段として乗員と対話可能な音声対話装置の例を説明したが、少なくとも乗員間対話における運転者の発話、傾聴を判定できれば良く、各乗員に対応した音声取得専用装置、例えば指向性マイクでも良く、或いは同乗者検出装置と運転者専用マイクとを設けることも可能である。 3] In the above-described embodiment, an example of a voice interactive device capable of interacting with an occupant has been described as a voice acquisition unit. A dedicated device such as a directional microphone may be used, or a passenger detection device and a driver dedicated microphone may be provided.

4〕前記実施形態においては、熱中度係数を興味度と体調度とを和算して設定した例を説明したが、興味度のみ、或いは体調度のみによって設定しても良い。
また、判定閾値が規定されたマップを設け、発話、傾聴、興味度、体調度等の判定要素に基づきマップから随時判定閾値を抽出することも可能である。
4] In the above-described embodiment, an example has been described in which the heat intensity coefficient is set by adding the degree of interest and the degree of physical condition. However, it may be set only by the degree of interest or only by the degree of physical condition.
It is also possible to provide a map in which a determination threshold is defined and extract the determination threshold from the map as needed based on determination elements such as speech, listening, interest, and physical condition.

5〕その他、当業者であれば、本発明の趣旨を逸脱することなく、前記実施形態に種々の変更を付加した形態で実施可能であり、本発明はそのような変更形態も包含するものである。 5] In addition, those skilled in the art can implement the present invention with various modifications added without departing from the spirit of the present invention, and the present invention includes such modifications. is there.

1 運転支援装置
4 警報装置
10 音声対話装置
22 逸脱判定装置
23 判定閾値設定部
24 熱中度判定部

DESCRIPTION OF SYMBOLS 1 Driving assistance device 4 Alarm device 10 Voice dialogue device 22 Deviation determination device 23 Determination threshold value setting part 24 Heat degree determination part

Claims (4)

車両の走行状態に基づいて車両の安全性の低下を判定する安全性低下判定手段と、この安全性低下判定手段の判定値が判定閾値を超えたときに運転者に警報を行う警報手段とを備えた運転支援装置において、
運転者と同乗者との対話の音声を取得する音声取得手段と、
運転者が同乗者に発話しているときの前記警報手段による警報レベルを運転者が同乗者の発話を傾聴しているときの前記警報手段による警報レベルよりも低くする警報レベル変更手段と、
を備えたことを特徴とする運転支援装置。
Safety reduction determination means for determining a reduction in vehicle safety based on the running state of the vehicle, and alarm means for warning the driver when the determination value of the safety reduction determination means exceeds a determination threshold value In the driving support device provided,
Voice acquisition means for acquiring voice of dialogue between the driver and passenger,
An alarm level changing means for lowering an alarm level by the alarm means when the driver is speaking to the passenger lower than an alarm level by the alarm means when the driver is listening to the passenger's speech; and
A driving support apparatus comprising:
前記警報レベル変更手段は、運転者が同乗者に発話しているときの前記判定閾値を運転者が同乗者の発話を傾聴しているときの前記判定閾値よりも大きくすることを特徴とする請求項1に記載の運転支援装置。   The warning level changing means makes the determination threshold when the driver is speaking to the passenger larger than the determination threshold when the driver is listening to the passenger's speech. Item 2. The driving support device according to Item 1. 前記警報レベル変更手段は、前記運転者が同乗者に発話しているときの判定閾値を運転者が同乗者と対話していないときの判定閾値よりも大きくすることを特徴とする請求項2に記載の運転支援装置。   The warning level changing means makes the determination threshold value when the driver is speaking to the passenger larger than the determination threshold value when the driver is not interacting with the passenger. The driving assistance apparatus as described. 対話中の運転者及び同乗者の音声に含まれたワードに基づいて運転者の対話に対する熱中度を判定する熱中度判定手段を備え、
前記熱中度判定手段により運転者の対話に対する熱中度が高いと判定されたとき、前記判定閾値を小さくすることを特徴とする請求項2又は3に記載の運転支援装置。
A degree of heat determination means for determining a degree of heat for the driver's dialogue based on words included in the voices of the driver and the passenger during the conversation,
4. The driving support apparatus according to claim 2, wherein the determination threshold value is reduced when it is determined by the heat degree determination unit that the heat degree with respect to the driver's dialogue is high.
JP2015089032A 2015-04-24 2015-04-24 Driving assistance device Active JP6075577B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2015089032A JP6075577B2 (en) 2015-04-24 2015-04-24 Driving assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015089032A JP6075577B2 (en) 2015-04-24 2015-04-24 Driving assistance device

Publications (2)

Publication Number Publication Date
JP2016207001A true JP2016207001A (en) 2016-12-08
JP6075577B2 JP6075577B2 (en) 2017-02-08

Family

ID=57487126

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015089032A Active JP6075577B2 (en) 2015-04-24 2015-04-24 Driving assistance device

Country Status (1)

Country Link
JP (1) JP6075577B2 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2563123A (en) * 2017-03-30 2018-12-05 Ford Global Tech Llc Adaptive occupancy conversational awareness system
CN109410981A (en) * 2018-09-28 2019-03-01 苏州车萝卜汽车电子科技有限公司 The method and device of detection vehicle safety for net about vehicle
CN110136464A (en) * 2019-04-18 2019-08-16 深圳市宏电技术股份有限公司 A kind of method, device and equipment that auxiliary drives
JP2020071561A (en) * 2018-10-30 2020-05-07 本田技研工業株式会社 Emotion estimation device
CN112017667A (en) * 2020-09-04 2020-12-01 华人运通(上海)云计算科技有限公司 Voice interaction method, vehicle and computer storage medium
US20220034674A1 (en) * 2020-07-28 2022-02-03 Toyota Jidosha Kabushiki Kaisha Interaction device, interaction method, and storage medium storing program

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1194942A (en) * 1997-09-17 1999-04-09 Nissan Motor Co Ltd Rear-end collision alarm for vehicle
JP2010015027A (en) * 2008-07-04 2010-01-21 Nissan Motor Co Ltd Drinking detection device for vehicles, and drinking detecting method for vehicles
WO2014054153A1 (en) * 2012-10-04 2014-04-10 三菱電機株式会社 Vehicle-mounted information processing device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1194942A (en) * 1997-09-17 1999-04-09 Nissan Motor Co Ltd Rear-end collision alarm for vehicle
JP2010015027A (en) * 2008-07-04 2010-01-21 Nissan Motor Co Ltd Drinking detection device for vehicles, and drinking detecting method for vehicles
WO2014054153A1 (en) * 2012-10-04 2014-04-10 三菱電機株式会社 Vehicle-mounted information processing device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2563123A (en) * 2017-03-30 2018-12-05 Ford Global Tech Llc Adaptive occupancy conversational awareness system
US10155523B2 (en) 2017-03-30 2018-12-18 Ford Global Technologies, Llc Adaptive occupancy conversational awareness system
RU2704663C2 (en) * 2017-03-30 2019-10-30 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Dynamic information system on conversations (versions)
GB2563123B (en) * 2017-03-30 2022-02-16 Ford Global Tech Llc Adaptive occupancy conversational awareness system
CN109410981A (en) * 2018-09-28 2019-03-01 苏州车萝卜汽车电子科技有限公司 The method and device of detection vehicle safety for net about vehicle
JP2020071561A (en) * 2018-10-30 2020-05-07 本田技研工業株式会社 Emotion estimation device
JP7076357B2 (en) 2018-10-30 2022-05-27 本田技研工業株式会社 Emotion estimator
CN110136464A (en) * 2019-04-18 2019-08-16 深圳市宏电技术股份有限公司 A kind of method, device and equipment that auxiliary drives
US20220034674A1 (en) * 2020-07-28 2022-02-03 Toyota Jidosha Kabushiki Kaisha Interaction device, interaction method, and storage medium storing program
US11668578B2 (en) * 2020-07-28 2023-06-06 Toyota Jidosha Kabushiki Kaisha Interaction device, interaction method, and storage medium storing program
CN112017667A (en) * 2020-09-04 2020-12-01 华人运通(上海)云计算科技有限公司 Voice interaction method, vehicle and computer storage medium
CN112017667B (en) * 2020-09-04 2024-03-15 华人运通(上海)云计算科技有限公司 Voice interaction method, vehicle and computer storage medium

Also Published As

Publication number Publication date
JP6075577B2 (en) 2017-02-08

Similar Documents

Publication Publication Date Title
JP6075577B2 (en) Driving assistance device
EP3384475B1 (en) System and method of conversational adjustment based on user&#39;s cognitive state
US10908677B2 (en) Vehicle system for providing driver feedback in response to an occupant&#39;s emotion
US20170217445A1 (en) System for intelligent passenger-vehicle interactions
EP3675121B1 (en) Computer-implemented interaction with a user
JP6513069B2 (en) Driving support device and driving support method
US20180174457A1 (en) Method and system using machine learning to determine an automotive driver&#39;s emotional state
US9539944B2 (en) Systems and methods of improving driver experience
JP4534925B2 (en) Vehicle information providing device
WO2017047176A1 (en) Information processing device, information processing method, and program
US11685390B2 (en) Assistance method and assistance system and assistance device using assistance method that execute processing relating to a behavior model
JP2016007989A (en) Vehicle control system and vehicle control method
JP2006350567A (en) Interactive system
US20180096699A1 (en) Information-providing device
JP2018041328A (en) Information presentation device for vehicle
JP6677126B2 (en) Interactive control device for vehicles
JP2016016853A (en) Drive support system and drive support method
JP2008070966A (en) Vehicle control device and vehicle control method
WO2019069731A1 (en) Information processing device, information processing method, program, and moving body
JP7107157B2 (en) Operation support method and operation support device
JP7390329B2 (en) Recognition index setting device
JP6596771B2 (en) Information providing apparatus and information providing method
WO2022239642A1 (en) Information providing device for vehicle, information providing method for vehicle, and information providing program for vehicle
US20230063708A1 (en) Systems and methods for testing driver awareness within a vehicle and/or intervening during a possible crisis
JP6374834B2 (en) Vehicle information providing device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20161208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161227

R150 Certificate of patent or registration of utility model

Ref document number: 6075577

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150