JP2015185088A - Information presentation device and information presentation method - Google Patents

Information presentation device and information presentation method Download PDF

Info

Publication number
JP2015185088A
JP2015185088A JP2014063327A JP2014063327A JP2015185088A JP 2015185088 A JP2015185088 A JP 2015185088A JP 2014063327 A JP2014063327 A JP 2014063327A JP 2014063327 A JP2014063327 A JP 2014063327A JP 2015185088 A JP2015185088 A JP 2015185088A
Authority
JP
Japan
Prior art keywords
driver
visual
control
vehicle
visual recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014063327A
Other languages
Japanese (ja)
Other versions
JP6330411B2 (en
Inventor
政美 舟川
Masami Funekawa
政美 舟川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2014063327A priority Critical patent/JP6330411B2/en
Publication of JP2015185088A publication Critical patent/JP2015185088A/en
Application granted granted Critical
Publication of JP6330411B2 publication Critical patent/JP6330411B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

PROBLEM TO BE SOLVED: To enable a driver to confirm a vehicle is in a state of being capable of switching an automated drive control to a manual drive control.SOLUTION: An information presentation device 1 of the present invention is for use in an automated travel vehicle that can switch over between an automated drive control and a manual drive control, comprises: a visual-recognition-behavior determination unit 7 determining a visual recognition behavior for causing a driver to confirm that the vehicle is in a state of being capable of switching the automated drive control to the manual drive control; a visual-recognition-behavior control unit 9 controlling the driver to execute the determined visual recognition behavior; and a drive analysis unit 3 detecting the visual recognition behavior executed by the driver.

Description

本発明は、車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置及びその方法に関する。   The present invention relates to an information presentation apparatus and method used for an automatic traveling vehicle capable of switching between automatic driving control for automatically controlling traveling of the vehicle and manual driving control by a driver.

近年では、自動運転システムによって車両の走行制御を自動的に行う自動走行車両が開発されている。このような自動走行車両では、自動運転制御時に運転者の意識をテストして意識レベルを判定することが行われており、従来では自動走行制御可能な車両におけるドライバの意識レベル判定方法として特許文献1が開示されている。   In recent years, an automatic traveling vehicle has been developed that automatically performs vehicle traveling control by an automatic driving system. In such an automatic traveling vehicle, a driver's consciousness is tested to determine a consciousness level during automatic driving control. Conventionally, as a method for determining a driver's consciousness level in a vehicle capable of automatic traveling control, Patent Literature 1 is disclosed.

特許文献1に開示されたドライバの意識レベル判定方法では、所定の運転時間が経過すると運転者に対してテスト事項を与え、その応答を評価して運転者の意識レベルを判定していた。   In the driver awareness level determination method disclosed in Patent Document 1, a test item is given to the driver when a predetermined driving time has elapsed, and the response is evaluated to determine the driver awareness level.

ここで、自動走行車両の運転者は、自動運転制御時には自動運転システムに運転を任せているので、手動運転時では当たり前に行われていた周囲環境への認識や自車両の状態把握を欠いている可能性が高い。ところが、運転者がこのような状態であるにも関わらず、自動走行車両では自動運転制御から手動運転制御へ切り替わることがあるので、運転者は自動運転システムに代わっていつでも運転を引き継げる状態であることが要求されている。   Here, since the driver of the autonomous vehicle leaves the operation to the automatic driving system at the time of automatic driving control, it lacks the recognition of the surrounding environment and the grasp of the state of the own vehicle that were taken for granted at the time of manual driving. There is a high possibility. However, despite the fact that the driver is in this state, the automatic driving vehicle may switch from automatic driving control to manual driving control, so the driver can take over driving at any time instead of the automatic driving system. It is requested.

特開平11−185200号公報JP-A-11-185200

しかしながら、上述した従来のドライバの意識レベル判定方法では、運転者の意識の有無を判定しているだけなので、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であるか否かを確認することはできないという問題点があった。   However, since the conventional driver awareness level determination method described above only determines whether or not the driver is aware, it is confirmed whether the driver can take over from automatic driving control to manual driving control. There was a problem that it was not possible.

そこで、本発明は、上述した実情に鑑みて提案されたものであり、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認することのできる情報呈示装置及びその方法を提供することを目的とする。   Therefore, the present invention has been proposed in view of the above-described circumstances, and provides an information presentation apparatus and method for confirming that the driver can take over from automatic driving control to manual driving control. The purpose is to provide.

上述した課題を解決するために、本発明の一態様に係る情報呈示装置は、自動運転制御と手動運転制御とを切り換え可能な自動走行車両に用いられるものである。この情報呈示装置は、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための運転者による視認行為を決定し、決定された視認行為を運転者に実行させるための制御を行い、運転者によって実行された視認行為を検出する。   In order to solve the above-described problem, an information presentation apparatus according to an aspect of the present invention is used for an automatic traveling vehicle capable of switching between automatic driving control and manual driving control. This information presentation device determines a visual act by the driver for confirming that the driver can take over from the automatic operation control to the manual operation control, and causes the driver to execute the determined visual act. The visual act performed by the driver is detected.

本発明によれば、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認できるので、自動走行車両において自動運転制御から手動運転制御へ切り替えられても安全に走行を継続することができる。   According to the present invention, since it is possible to confirm that the driver can take over from the automatic driving control to the manual driving control, even if the automatic driving vehicle is switched from the automatic driving control to the manual driving control, the driving continues safely. can do.

図1は、本発明の一実施形態に係る情報呈示装置の構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of an information presentation apparatus according to an embodiment of the present invention. 図2は、本発明の一実施形態に係る情報呈示装置による視認行為制御ループの処理手順を示すフローチャートである。FIG. 2 is a flowchart illustrating a processing procedure of a visual recognition action control loop by the information presentation device according to the embodiment of the present invention. 図3は、本発明の一実施形態に係る情報呈示装置による視認行為の実行判定処理の処理手順を示すフローチャートである。FIG. 3 is a flowchart showing the processing procedure of the visual action execution determination process by the information presenting apparatus according to the embodiment of the present invention. 図4は、本発明の一実施形態に係る情報呈示装置による自動運転制御ループの処理手順を示すフローチャートである。FIG. 4 is a flowchart showing a processing procedure of an automatic driving control loop by the information presenting apparatus according to the embodiment of the present invention.

以下、本発明を適用した一実施形態について図面を参照して説明する。   Hereinafter, an embodiment to which the present invention is applied will be described with reference to the drawings.

[情報呈示装置の構成]
図1は本実施形態に係る情報呈示装置の構成を示すブロック図である。図1に示すように、本実施形態に係る情報呈示装置1は、運転者解析部3と、運転者反応記録部5と、視認行為決定部7と、視認行為制御部9と、タスク入力部11と、表示イメージ生成部13と、警報制御部15と、音声生成部17とを備えている。さらに、情報呈示装置1は、周囲環境認識部21と、旅程制御部23と、自車挙動生成部25と、自車挙動決定部27と、車両挙動制御部29と、視覚行動計測部31とを備えている。
[Configuration of information presentation device]
FIG. 1 is a block diagram showing the configuration of the information presentation apparatus according to the present embodiment. As shown in FIG. 1, the information presentation device 1 according to the present embodiment includes a driver analysis unit 3, a driver reaction recording unit 5, a visual act determination unit 7, a visual act control unit 9, and a task input unit. 11, a display image generation unit 13, an alarm control unit 15, and a sound generation unit 17. Furthermore, the information presenting apparatus 1 includes an ambient environment recognition unit 21, an itinerary control unit 23, a host vehicle behavior generation unit 25, a host vehicle behavior determination unit 27, a vehicle behavior control unit 29, and a visual behavior measurement unit 31. It has.

本実施形態に係る情報呈示装置1は、車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両(以下、車両という)に搭載されている。また、車両には自動運転システムが搭載されており、この自動運転システムが車両の走行状態及び外部環境に基づいて車両の走行制御を自動的に行っている。そして、自動運転システムは、所定のタイミングや必要に応じて自動運転制御から手動運転制御へ切り替える。   The information presentation apparatus 1 according to the present embodiment is mounted on an automatic traveling vehicle (hereinafter referred to as a vehicle) that can switch between automatic driving control that automatically performs driving control of the vehicle and manual driving control by a driver. In addition, an automatic driving system is mounted on the vehicle, and the automatic driving system automatically performs driving control of the vehicle based on the driving state of the vehicle and the external environment. Then, the automatic driving system switches from automatic driving control to manual driving control at a predetermined timing or as necessary.

運転者解析部3は、車両に搭載されている各装置から運転者の状態及び動作を検出するとともに車両の操作状況等の情報を取得して、運転者がどのような状態で、どのような動作や運転操作を行ったかを解析する。特に、本実施形態では、視覚行動計測部31で計測された情報を取得して運転者の視覚行動を解析し、運転者によって実行された視認行為を検出する。   The driver analysis unit 3 detects the driver's state and operation from each device mounted on the vehicle and acquires information such as the operation status of the vehicle so that the driver is in what state and in what state. Analyzes whether the operation or driving operation has been performed. In particular, in this embodiment, the information measured by the visual behavior measuring unit 31 is acquired, the visual behavior of the driver is analyzed, and the visual recognition performed by the driver is detected.

また、運転者解析部3は、運転者の生体信号を解析して運転者の覚醒水準や疲労度、運転精度、運転安定度等を推定することも可能である。運転者解析部3は、生理情報として脳波のα波、θ波、心拍数、心拍波形の周波数分析、呼吸数、眼球運動頻度、閉眼時間、頭部姿勢、唾液のコルチゾール及びアミラーゼを取得する。また、運転者解析部3は、車両情報として車両横位置変動量と、行動情報として操舵パターン、操舵波形の周波数分析等を取得し、これらの情報に基づいて覚醒水準や疲労度、運転精度、運転安定度を推定する。   The driver analysis unit 3 can also analyze the driver's biological signal to estimate the driver's arousal level, fatigue level, driving accuracy, driving stability, and the like. The driver analysis unit 3 acquires brain wave α wave, θ wave, heart rate, frequency analysis of heart rate waveform, respiratory rate, eye movement frequency, closed eye time, head posture, salivary cortisol and amylase as physiological information. Further, the driver analysis unit 3 acquires vehicle lateral position fluctuation amount as vehicle information, steering pattern, frequency analysis of steering waveform, etc. as behavior information, and based on these information, the arousal level, fatigue level, driving accuracy, Estimate driving stability.

運転者反応記録部5は、運転者の状態や運転者が行った動作及び運転操作等の運転者が行った反応を記録する。具体的に、運転者反応記録部5は、運転者解析部3で解析された結果やタスク入力部11から入力されたタスク、視認行為の実行の有無等の情報を記録する。   The driver reaction recording unit 5 records the reaction performed by the driver such as the state of the driver, the operation performed by the driver, and the driving operation. Specifically, the driver reaction recording unit 5 records information such as a result analyzed by the driver analysis unit 3, a task input from the task input unit 11, and whether or not a visual recognition action is performed.

視認行為決定部7は、車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための運転者による視認行為を決定する。ここで、本実施形態の視認行為とは、運転者が手動運転時に行う認知のプロセスを実行できることを確認するためのものである。通常、運転者が手動運転を行う場合には、車両の周囲の状況を「認知」して、どのような操作を行うべきかを「判断」し、その判断に基づいて車両を「操作」するというプロセスが実行されている。そこで、本実施形態では、これらのプロセスのうち特に認知のプロセスを運転者が実行できることを確認するための視認行為を設定し、この視認行為を運転者に実行させることで、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認する。   The visual recognition action determination unit 7 determines the visual action by the driver for confirming that the driver of the vehicle can take over from the automatic driving control to the manual driving control. Here, the visual recognition action of this embodiment is for confirming that the process of recognition performed by the driver during manual driving can be executed. Normally, when a driver performs manual driving, he / she “recognizes” the situation around the vehicle, “determines” what operation should be performed, and “operates” the vehicle based on that determination. The process is executed. Therefore, in this embodiment, a visual recognition action for confirming that the driver can execute a recognition process among these processes is set, and the driver performs the visual recognition action so that the driver can drive automatically. Check that it is possible to take over from control to manual operation control.

具体的に、視認行為決定部7は、自車挙動生成部25で生成された自車挙動の候補を複数取得するとともに、自車挙動生成部25から周囲環境における安全走行可能領域情報と障害物配置情報とを取得する。そして、視認行為決定部7は、これらの情報に基づいて、運転者の視覚行動がどのような行動をした場合に自動運転制御から手動運転制御へ引き継ぎ可能な状態であるかを判断して視認行為を決定する。例えば、視認行為決定部7は、障害物配置情報から車両前方の障害物の位置を特定し、運転者が障害物を認知していることを確認するため、前方に視線を向けることを視認行為として決定する。この他にも、視認行為決定部7は運転者が表示メーター等の車載表示器や信号等の外部環境を認知していることを確認するため、車載表示機や信号等の表示内容の一部について、運転者に注意を喚起することを視認行為として決定してもよい。   Specifically, the visual recognition action determination unit 7 acquires a plurality of candidates for the vehicle behavior generated by the vehicle behavior generation unit 25, and also allows safe driving area information and obstacles in the surrounding environment from the vehicle behavior generation unit 25. Get placement information. Based on these pieces of information, the visual recognition action determination unit 7 determines whether the visual behavior of the driver is in a state where it can be taken over from automatic driving control to manual driving control. Determine the action. For example, the visual recognition action determination unit 7 identifies the position of the obstacle in front of the vehicle from the obstacle arrangement information, and confirms that the driver recognizes the obstacle in order to turn his gaze forward. Determine as. In addition to this, in order to confirm that the driver recognizes the external environment such as an on-vehicle display device such as a display meter and a signal, the visual recognition determination unit 7 is a part of the display contents such as the on-vehicle display device and the signal. In regard to, it may be determined to call the driver attention as a visual act.

視認行為制御部9は、視認行為決定部7で決定された視認行為を運転者に実行させるための制御を行う。具体的に、視認行為制御部9は、運転者に視認行為の実行を要求するタイミングを決定したり、運転者が視認行為を実行したか否かを判定して承認フラグを設定したりする。   The visual act control unit 9 performs control for causing the driver to execute the visual act determined by the visual act determining unit 7. Specifically, the visual recognition action control unit 9 determines the timing for requesting the driver to execute the visual recognition action, determines whether the driver has executed the visual recognition action, and sets an approval flag.

タスク入力部11は、自車挙動生成部25で生成された自車挙動の候補を取得し、この自車挙動の候補を表示装置33にタスクとして表示する。運転者は、表示されたタスクの中から選択して入力することで、車両を操作することができる。ここで、タスクとは、直進、右左折、左右への車線変更、停車、発進、加速、減速等の運転操作の最小単位であり、運転者に提供される表示画面には、直進や右左折等のタスクを表すピクトグラムが表示される。尚、タスクを表示する際に、タスク入力部11は、自動運転システムが選択したタスク、運転者が選択可能なタスク、運転者が選択できないタスクのいずれであるかを識別できるように表示する。したがって、運転者は、選択可能なタスクの中から自動運転システムが選択しなかったタスクを選ぶことによって、タスクを変更することが可能となる。最終的な車両の挙動は自車挙動決定部27によって決定されるが、タスク入力部11から入力されたタスクが優先して自車挙動に決定される。   The task input unit 11 acquires a candidate for own vehicle behavior generated by the own vehicle behavior generation unit 25 and displays the candidate for own vehicle behavior on the display device 33 as a task. The driver can operate the vehicle by selecting and inputting from the displayed tasks. Here, the task is the minimum unit of driving operations such as straight ahead, right / left turn, left / right lane change, stop, start, acceleration, deceleration, etc., and the display screen provided to the driver shows straight forward or right / left turn A pictogram representing the task is displayed. When displaying the task, the task input unit 11 displays the task selected by the automatic driving system, the task that can be selected by the driver, or the task that cannot be selected by the driver. Therefore, the driver can change the task by selecting a task that the automatic driving system has not selected from the selectable tasks. Although the final vehicle behavior is determined by the own vehicle behavior determining unit 27, the task input from the task input unit 11 is preferentially determined as the own vehicle behavior.

表示イメージ生成部13は、表示装置33に接続されており、運転者に視認行為の実行を要求する場合やタスクを表示する場合等に、運転者に提示する表示イメージを生成して表示装置33に出力する。表示装置33は、液晶ディスプレイ等で構成され、例えば運転者の正面の下方に角度10度、視距離90cmの位置に配置されている。   The display image generation unit 13 is connected to the display device 33 and generates a display image to be presented to the driver when the driver is requested to perform a visual act or when a task is displayed. Output to. The display device 33 is configured by a liquid crystal display or the like, and is disposed, for example, at a position with an angle of 10 degrees and a viewing distance of 90 cm below the front of the driver.

警報制御部15は、警報音発生部35に接続され、視認行為制御部9からの情報を取得して警報が必要と判断した場合には、適切な警報音を設定して警報音発生部35に信号を出力する。また、警報制御部15は、警報が必要な場合に、表示イメージ生成部13に対しても信号を出力して表示装置33に警報イメージが表示されるようにする。同様に、警報制御部15は、音声生成部17に対しても信号を出力してスピーカ37から警報メッセージが出力されるようにする。   The alarm control unit 15 is connected to the alarm sound generation unit 35. When the alarm control unit 15 acquires information from the visual action control unit 9 and determines that an alarm is necessary, the alarm control unit 15 sets an appropriate alarm sound and generates the alarm sound generation unit 35. To output a signal. The alarm control unit 15 also outputs a signal to the display image generation unit 13 so that an alarm image is displayed on the display device 33 when an alarm is required. Similarly, the alarm control unit 15 outputs a signal to the sound generation unit 17 so that an alarm message is output from the speaker 37.

音声生成部17は、スピーカ37に接続されており、運転者に視認行為の実行を要求する場合等に適切なメッセージを生成してスピーカ37に出力する。   The sound generation unit 17 is connected to the speaker 37, and generates an appropriate message and outputs it to the speaker 37 when requesting the driver to perform the visual recognition action.

周囲環境認識部21は、カメラやレーダー、GPS等の自車両に搭載されたセンサ群41から自車両の周囲環境の情報を取得するとともに、データベース43から地図データと自車両の現在位置情報を取得する。そして、これらの情報に基づいて、周囲環境認識部21は自車両の周囲環境を認識して周囲環境情報を生成する。   The ambient environment recognition unit 21 acquires information on the surrounding environment of the host vehicle from a sensor group 41 mounted on the host vehicle such as a camera, a radar, and a GPS, and acquires map data and current position information of the host vehicle from the database 43. To do. Based on these pieces of information, the surrounding environment recognition unit 21 recognizes the surrounding environment of the host vehicle and generates surrounding environment information.

旅程制御部23は、データベース43に格納されている地図データと自車両の現在位置情報を取得して、自車両の現在位置から目的地までの移動経路全体を管理する。また、旅程制御部23は、自車両の移動経路全体の計画を記録した旅程計画情報を生成する。   The itinerary control unit 23 acquires the map data stored in the database 43 and the current position information of the host vehicle, and manages the entire travel route from the current position of the host vehicle to the destination. The itinerary control unit 23 generates itinerary plan information in which a plan for the entire travel route of the host vehicle is recorded.

自車挙動生成部25は、周囲環境認識部21から周囲環境情報を取得して自車両の周囲環境を認識し、旅程制御部23から旅程計画情報を取得して自車両の移動経路を把握する。そして、これらの情報に基づいて、自車挙動生成部25は、現時点における自車両の安全走行可能領域情報と障害物配置情報とを求め、自車両が安全走行可能領域内で走行し得る複数の自車挙動の候補(走行軌道と速度プロファイル)を算出する。   The own vehicle behavior generation unit 25 acquires the surrounding environment information from the surrounding environment recognition unit 21 to recognize the surrounding environment of the host vehicle, acquires the itinerary plan information from the itinerary control unit 23, and grasps the travel route of the host vehicle. . And based on these information, the own vehicle behavior production | generation part 25 calculates | requires the safe driving | running | working possible area | region information and obstacle arrangement | positioning information of the own vehicle in the present time, and the some vehicle which can drive | work the own vehicle in a safe driving | running | working possible area | region. The candidate of the own vehicle behavior (running track and speed profile) is calculated.

自車挙動決定部27は、周囲環境認識部21から周囲環境情報を取得して自車両の周囲環境を認識し、旅程制御部23から旅程計画情報を取得して自車両の移動経路を把握する。そして、これらの情報に基づいて、自車挙動決定部27は、自車挙動生成部25で生成された自車挙動の候補の中から自車挙動を決定して車両挙動制御部29へ出力する。尚、運転者が視認行為を実行する場合には、自車挙動決定部27は、視認行為が周囲環境の現状に照らして有効か否かを逐一評価する。さらに、運転者によってタスク入力部11からタスクが入力されると、自車挙動決定部27は入力されたタスクを優先して自車挙動に決定する。   The own vehicle behavior determination unit 27 acquires the surrounding environment information from the surrounding environment recognition unit 21 to recognize the surrounding environment of the host vehicle, acquires the itinerary plan information from the itinerary control unit 23, and grasps the travel route of the host vehicle. . Based on the information, the host vehicle behavior determining unit 27 determines the host vehicle behavior from the host vehicle behavior candidates generated by the host vehicle behavior generating unit 25 and outputs the determined host vehicle behavior to the vehicle behavior control unit 29. . In addition, when a driver | operator performs a visual recognition action, the own vehicle behavior determination part 27 evaluates one by one whether the visual recognition action is effective in light of the present conditions of surrounding environment. Further, when a task is input from the task input unit 11 by the driver, the host vehicle behavior determination unit 27 preferentially determines the host vehicle behavior by giving priority to the input task.

車両挙動制御部29は、自車挙動決定部27で決定された自車挙動を実行するために、自車両に搭載されている各アクチュエータ45に対して制御信号を出力する。このとき、車両挙動制御部29は、制御結果となる自車挙動を運転者解析部3に出力する。   The vehicle behavior control unit 29 outputs a control signal to each actuator 45 mounted on the host vehicle in order to execute the host vehicle behavior determined by the host vehicle behavior determination unit 27. At this time, the vehicle behavior control unit 29 outputs the own vehicle behavior as a control result to the driver analysis unit 3.

視覚行動計測部31は、運転者による視認行為を検出するために、運転者の視覚行動(注視、追視、走査、瞬目、閉眼等)を計測して運転者の視線方向情報を出力する。特に、視覚行動計測部31は、運転者の視覚行動のうち、自車両の周囲環境及び車載表示を監視する視覚行動を計測する。例えば、視覚行動計測部31は、運転者の眼球運動、頭部運動、上体運動、全身運動を計測し、自己中心座標系における視線方向と俯角を算出して運転者解析部3に出力する。   The visual behavior measuring unit 31 measures the driver's visual behavior (gazing, tracking, scanning, blinking, closed eyes, etc.) and outputs the driver's gaze direction information in order to detect the visual action by the driver. . In particular, the visual behavior measuring unit 31 measures the visual behavior of monitoring the surrounding environment of the host vehicle and the vehicle-mounted display among the visual behavior of the driver. For example, the visual behavior measurement unit 31 measures the driver's eye movement, head movement, upper body movement, and whole body movement, calculates the gaze direction and depression angle in the self-centered coordinate system, and outputs the calculated gaze direction and depression angle to the driver analysis unit 3. .

尚、情報呈示装置1は、マイクロコンピュータ、マイクロプロセッサ、CPUを含む汎用の電子回路と周辺機器から構成されており、特定のプログラムを実行することにより、上述した各部として動作する。   The information presentation device 1 includes a general-purpose electronic circuit including a microcomputer, a microprocessor, and a CPU and peripheral devices, and operates as the above-described units by executing a specific program.

[視認行為制御ループの処理手順]
次に、本実施形態に係る情報呈示装置1による視認行為制御ループの処理手順を図2のフローチャートを参照して説明する。
[Processing procedure of visual recognition control loop]
Next, the processing procedure of the visual recognition control loop by the information presentation apparatus 1 according to the present embodiment will be described with reference to the flowchart of FIG.

図2に示すように、まずステップS101において、視認行為制御部9は、視認行為制御ループの処理に必要となるデータを読み込む。具体的に、視認行為制御部9は、運転者解析部3から視覚行動計測部31の視線方向情報を読み込み、周囲環境認識部21から周囲環境情報を読み込み、旅程制御部23から旅程計画情報を読み込む。また、視認行為制御部9は、運転者反応記録部5に記録されている運転者の反応履歴についても読み込む。   As shown in FIG. 2, first, in step S <b> 101, the visual recognition action control unit 9 reads data necessary for processing of the visual recognition action control loop. Specifically, the visual recognition action control unit 9 reads the gaze direction information of the visual behavior measurement unit 31 from the driver analysis unit 3, reads the ambient environment information from the ambient environment recognition unit 21, and the itinerary plan information from the itinerary control unit 23. Read. Further, the visual recognition action control unit 9 also reads the driver reaction history recorded in the driver reaction recording unit 5.

ステップS102において、視認行為制御部9は、読み込んだデータに基づいて、運転者に要求された視認行為とその視認行為に対する運転者の反応履歴を解析する。   In step S102, the visual recognition action control unit 9 analyzes the visual recognition action requested by the driver and the driver's reaction history with respect to the visual recognition action based on the read data.

そして、ステップS103において、視認行為制御部9は、視認行為の不実行回数が基準値以上であるか否かを判定する。ただし、視認行為の不実行には、運転者が視認行為の実行要求に対して無反応の場合や不適切な反応をした場合等が含まれている。そして、視認行為制御部9は、視認行為の不実行回数が基準値以上である場合にはステップS104に進み、視認行為の不実行回数が基準値未満である場合にはステップS105に進む。   In step S103, the visual recognition action control unit 9 determines whether or not the visual action non-execution count is equal to or greater than a reference value. However, the non-execution of the visual act includes a case where the driver does not respond to the visual act execution request or an inappropriate reaction. And the visual recognition action control part 9 progresses to step S104, when the frequency | count of non-execution of visual recognition is more than a reference value, and when the frequency | count of non-execution of visual recognition is less than a reference value, it progresses to step S105.

ステップS104において、視認行為制御部9は、視認行為の不実行回数が基準値以上なので、承認フラグを「false」に設定する。これにより、視認行為制御部9は、運転者が自動運転制御を承認していないと判定して、自動運転制御を中断するように制御する。また、視認行為制御部9は、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。さらに、視認行為制御部9は、承認フラグが「false」に設定されたことを自車挙動決定部27に入力する。   In step S104, the visual recognition action control unit 9 sets the approval flag to “false” because the number of non-execution of the visual action is equal to or greater than the reference value. Thereby, the visual recognition action control unit 9 determines that the driver does not approve the automatic driving control, and controls the automatic driving control to be interrupted. In addition, the visual recognition action control unit 9 determines that the driver is not in a state in which the driver can take over from the automatic driving control to the manual driving control. Furthermore, the visual recognition action control unit 9 inputs to the host vehicle behavior determination unit 27 that the approval flag is set to “false”.

こうして、承認フラグが「false」に設定されると、本実施形態に係る情報呈示装置1は視認行為制御ループを終了する。   Thus, when the approval flag is set to “false”, the information presentation apparatus 1 according to the present embodiment ends the visual recognition action control loop.

一方、ステップS105では、視認行為決定部7が、運転者に要求する視認行為を決定する。具体的に、視認行為決定部7は、自車挙動生成部25から自車挙動の候補を複数取得するとともに、安全走行可能領域情報と障害物配置情報を取得する。そして、視認行為決定部7は、これらの情報に基づいて、運転者の視覚行動がどのような行動をした場合に自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認できるか判断して視認行為を決定する。例えば、視認行為決定部7は、障害物配置情報から車両前方の障害物の位置を特定し、運転者が障害物に視線を向けることを視認行為として決定する。あるいは、視認行為決定部7は、自動運転システムが選択した自車挙動の走行軌道に運転者が視線を向けることを視認行為として決定してもよい。この他にも、視認行為決定部7は表示メーター等の車載表示器や信号等の外部環境の一部に運転者が視線を向けることを視認行為として決定してもよい。   On the other hand, in step S105, the visual recognition action determination unit 7 determines the visual recognition action requested from the driver. Specifically, the visual recognition action determination unit 7 acquires a plurality of candidates for own vehicle behavior from the own vehicle behavior generation unit 25, and acquires safe driving possible region information and obstacle arrangement information. Based on these pieces of information, the visual recognition action determination unit 7 determines whether the driver's visual behavior can be confirmed to be a state that can be taken over from automatic driving control to manual driving control. To determine the visual act. For example, the visual recognition action determination unit 7 specifies the position of the obstacle in front of the vehicle from the obstacle arrangement information, and determines that the driver turns his / her line of sight on the obstacle as the visual recognition action. Or the visual recognition action determination part 7 may determine that a driver | operator turns a line of sight to the driving | running | working track | truck of the own vehicle behavior which the automatic driving system selected. In addition to this, the visual recognition action determination unit 7 may determine that the driver directs his / her line of sight to a part of the external environment such as an in-vehicle display such as a display meter or a signal.

次に、ステップS106において、視認行為制御部9は、視認行為を運転者に要求するタイミングを決定する。具体的に、視認行為制御部9は、運転者解析部3から運転者の状態の解析結果や視線方向情報を取得し、運転者反応記録部5から前回の視認行為が実行されたタイミングや経過時間の情報を取得する。また、視認行為制御部9は、視認行為決定部7から安全走行可能領域情報と障害物配置情報を取得し、自車両の自動運転システムから走行制御に関する情報を取得する。そして、これらの情報に基づいて、視認行為制御部9は視認行為を運転者に要求するタイミングを決定する。   Next, in step S <b> 106, the visual act control unit 9 determines the timing for requesting the driver to perform the visual act. Specifically, the visual recognition action control unit 9 acquires the analysis result of the driver's state and the line-of-sight direction information from the driver analysis unit 3, and the timing and progress of the previous visual recognition action executed from the driver reaction recording unit 5. Get time information. Moreover, the visual recognition action control part 9 acquires safe driving | running | working possible area | region information and obstacle arrangement | positioning information from the visual recognition action determination part 7, and acquires the information regarding driving control from the automatic driving system of the own vehicle. And based on such information, the visual recognition action control part 9 determines the timing which requests | requires a visual recognition action from a driver | operator.

例えば、視認行為制御部9は、所定時間の経過毎、あるいは自車両が所定回数の走行制御を行う毎に視認行為の実行を運転者に要求する。また、視認行為制御部9は、運転者の状態に基づいて視認行為を運転者に要求するタイミングを設定してもよい。例えば、視認行為制御部9は、運転者が覚醒していないことを検出した場合、あるいは運転者が前方を監視していないことを検出した場合に視認行為の実行を運転者に要求する。さらに、運転者の覚醒水準や運転精度、運転安定度が高ければ視認行為を要求するまでの時間を長く設定し、運転者の覚醒水準や運転精度、運転安定度が低ければ視認行為を要求するまでの時間を短く設定してもよい。同様に、運転者の疲労度が高ければ視認行為を要求までの時間を短く設定し、運転者の疲労度が低ければ長く設定する。   For example, the visual recognition action control unit 9 requests the driver to execute the visual recognition action every time a predetermined time elapses or every time the host vehicle performs a predetermined number of times of traveling control. Moreover, the visual recognition action control part 9 may set the timing which requests | requires a visual action from a driver | operator based on a driver | operator's state. For example, the visual recognition action control unit 9 requests the driver to execute the visual recognition action when detecting that the driver is not awake or detecting that the driver is not monitoring the front. In addition, if the driver's arousal level, driving accuracy, and driving stability are high, the time until the visual action is requested is set longer, and if the driver's arousal level, driving accuracy, and driving stability are low, the visual act is required. You may set short time until. Similarly, if the driver's fatigue level is high, the time until the visual action is requested is set short, and if the driver's fatigue level is low, the time is set long.

さらに、視認行為制御部9は、自車両の走行状態及び外部状況に基づいて視認行為を運転者に要求するタイミングを設定してもよい。例えば、自車両の速度や渋滞状況、高速道路を走行しているか否か等に応じて視認行為を要求するタイミングを設定する。ただし、運転者が手動運転制御を行った場合には、視認行為制御部9は、視認行為を運転者に要求するタイミングを遅らせるように制御する。   Furthermore, the visual recognition action control unit 9 may set a timing for requesting the visual action from the driver based on the traveling state of the host vehicle and the external situation. For example, the timing for requesting the visual recognition action is set according to the speed of the host vehicle, the traffic jam condition, whether or not the vehicle is traveling on an expressway, and the like. However, when the driver performs manual driving control, the visual recognition action control unit 9 performs control so as to delay the timing of requesting the visual recognition action from the driver.

尚、視認行為制御部9は、自動運転制御から手動運転制御へ引き継ぎが行われるタイミングが予め設定されている場合には、そのタイミングが近づくにしたがって視認行為の実行を運転者に要求する間隔を短くする。例えば、自動車専用道路から一般道へ降りるときに自動運転制御から手動運転制御へ引き継ぎが行われる場合には、一般道へ降りるタイミングが近づくにしたがって視認行為を運転者に要求する間隔を短くする。   In addition, when the timing at which takeover from automatic operation control to manual operation control is set in advance, the visual act control unit 9 sets an interval for requesting the driver to execute the visual act as the timing approaches. shorten. For example, when the automatic driving control is handed over to the manual driving control when getting off from the automobile exclusive road to the general road, the interval for requesting the driver to perform the visual recognition action is shortened as the timing of getting off the general road approaches.

ステップS107において、視認行為制御部9は、ステップS106で決定した視認行為を要求するタイミングであるか否かを判定し、視認行為を要求するタイミングになっていない場合には継続して視認行為を要求するタイミングであるか否かを判定する。そして、視認行為を要求するタイミングになると、ステップS108に進む。   In step S107, the visual recognition action control unit 9 determines whether or not it is the timing for requesting the visual recognition action determined in step S106. It is determined whether it is a request timing. Then, when it is time to request a visual recognition action, the process proceeds to step S108.

ステップS108において、視認行為制御部9は、運転者に対して視認行為の実行を要求する。具体的に、視認行為制御部9は、自車両の周囲環境及び車載表示を運転者が監視するように促す監視情報を運転者に提供して視認行為の実行を要求する。例えば、視認行為制御部9は、表示イメージ生成部13と音声生成部17に対して、視認行為の実行を要求するための音声メッセージや表示イメージを生成するように指示する。これにより、表示装置33には周囲環境を監視するように促す表示イメージが表示され、スピーカ37からは音声メッセージが出力される。   In step S108, the visual recognition action control unit 9 requests the driver to execute the visual recognition action. Specifically, the visual recognition action control unit 9 provides the driver with monitoring information that prompts the driver to monitor the surrounding environment of the host vehicle and the in-vehicle display, and requests the driver to execute the visual recognition action. For example, the visual recognition action control unit 9 instructs the display image generation unit 13 and the audio generation unit 17 to generate an audio message and a display image for requesting execution of the visual recognition action. As a result, a display image that prompts the user to monitor the surrounding environment is displayed on the display device 33, and a voice message is output from the speaker 37.

ただし、提供される表示イメージや音声メッセージは、運転者の視線を直接誘導するものではなく、運転者の視線が障害物や車載表示に向くように促すものである。例えば、車両前方に障害物がある場合には、「右前方に障害物があります」というメッセージを出力して運転者の視線を直接誘導するのではなく、「車両前方は安全ですか」というメッセージを出力して運転者が車両の前方を監視するように促すものにする。また、車載表示に視線を向けるために、「スピードメーターを確認してください」というメッセージを出力するのではなく、「速度は適正ですか」というメッセージを出力して運転者が車載表示を監視するように促すものにする。   However, the provided display image or voice message does not directly guide the driver's line of sight, but encourages the driver's line of sight to face obstacles or in-vehicle displays. For example, if there is an obstacle in front of the vehicle, the message “Is the vehicle in front of the vehicle safe?” Is output instead of directing the driver ’s line of sight with the message “There is an obstacle in front of the right”. To prompt the driver to monitor the front of the vehicle. Also, instead of outputting the message “Please check the speedometer” to direct the line of sight to the in-vehicle display, the driver monitors the in-vehicle display by outputting the message “Is the speed appropriate?” To encourage.

尚、このとき、視認行為制御部9は、監視情報として、輝度エッジを有しない空間周波数及び時間周波数のパターンを表示装置33に表示させるようにしてもよい。例えば、視認行為制御部9は、空間周波数が1CPD(Cycle Per Degree)以下で時間周波数が1〜7Hzを主成分とするパターンを表示装置33に表示する。これにより、運転者は視線を表示装置33に向けなくても周辺視で監視情報を認識することができる。   At this time, the visual recognition action control unit 9 may cause the display device 33 to display a spatial frequency and temporal frequency pattern having no luminance edge as the monitoring information. For example, the visual act control unit 9 displays a pattern whose main component is a spatial frequency of 1 CPD (Cycle Per Degree) or less and a temporal frequency of 1 to 7 Hz on the display device 33. Accordingly, the driver can recognize the monitoring information through peripheral vision without directing his / her line of sight toward the display device 33.

さらに、視認行為制御部9は、監視情報に同期させて感覚刺激を運転者に提供してもよい。例えば、ステアリング等を通じて振動刺激を運転者に与えてもよいし、効果音を提供してもよい。これにより、運転者は監視情報が提供されていることを確実に感じることができる。   Further, the visual recognition control unit 9 may provide sensory stimulation to the driver in synchronization with the monitoring information. For example, a vibration stimulus may be given to the driver through steering or the like, or a sound effect may be provided. Thus, the driver can surely feel that the monitoring information is provided.

ステップS109において、視認行為制御部9は、視覚行動計測部31による計測結果と自車両の走行状態及び外部状況との整合性を評価して運転者が視認行為を実行したか否かを判定する。具体的な視認行為の実行判定処理については、図3を参照して後述する。そして、運転者が視認行為を実行しなかった場合にはステップS110に進む。ステップS110では、視認行為制御部9が視認行為の不実行を運転者反応記録部5に入力してステップS101に戻る。   In step S109, the visual recognition action control unit 9 evaluates the consistency between the measurement result of the visual behavior measurement unit 31, the traveling state of the host vehicle, and the external situation, and determines whether the driver has performed the visual recognition action. . The specific visual action execution determination process will be described later with reference to FIG. And when a driver | operator does not perform a visual recognition act, it progresses to step S110. In step S110, the visual recognition action control unit 9 inputs non-execution of the visual recognition action to the driver reaction recording unit 5 and returns to step S101.

一方、ステップS109において、運転者が視認行為を実行した場合にはステップS111に進む。ステップS111では、視認行為制御部9が視認行為の実行を運転者反応記録部5に入力してステップS112へ進む。   On the other hand, in step S109, when the driver performs a visual recognition action, the process proceeds to step S111. In step S111, the visual recognition action control unit 9 inputs execution of the visual recognition action to the driver reaction recording unit 5, and proceeds to step S112.

ステップS112において、視認行為制御部9は承認フラグを「true」に設定する。これにより、視認行為制御部9は、運転者が自動運転制御を承認していると判定して、自動運転制御を継続するように制御する。また、視認行為制御部9は、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であると判定する。さらに、視認行為制御部9は、承認フラグが「true」に設定されたことを自車挙動決定部27に入力する。   In step S112, the visual recognition action control unit 9 sets the approval flag to “true”. Thereby, the visual recognition action control unit 9 determines that the driver has approved the automatic driving control, and performs control so as to continue the automatic driving control. The visual recognition action control unit 9 determines that the driver can take over from automatic driving control to manual driving control. Further, the visual recognition action control unit 9 inputs to the host vehicle behavior determination unit 27 that the approval flag is set to “true”.

こうして、承認フラグが「true」に設定されると、本実施形態に係る情報呈示装置1は視認行為制御ループを終了する。   Thus, when the approval flag is set to “true”, the information presentation apparatus 1 according to the present embodiment ends the visual recognition action control loop.

[視認行為の実行判定処理の手順]
次に、上述した視認行為制御ループのステップS109で実行される視認行為の実行判定処理の処理手順を、図3のフローチャートを参照して説明する。
[Procedure for visual recognition execution determination processing]
Next, the processing procedure of the visual action execution determination process executed in step S109 of the visual action control loop described above will be described with reference to the flowchart of FIG.

図3に示すように、まずステップS201において、視認行為制御部9は、視認行為の実行判定処理に必要となるデータを読み込む。具体的に、視認行為制御部9は、周囲環境認識部21から周囲環境情報を読み込み、視認行為決定部7から安全走行可能領域情報や障害物配置情報等のデータを読み込む。これにより、視認行為制御部9は、自車両周囲の道路レイアウトや障害物の有無、障害物までの距離等を認識することができる。   As shown in FIG. 3, first, in step S <b> 201, the visual recognition action control unit 9 reads data necessary for visual recognition action execution determination processing. Specifically, the visual recognition action control unit 9 reads the ambient environment information from the ambient environment recognition unit 21, and reads data such as safe driving possible area information and obstacle arrangement information from the visual activity determination unit 7. Thereby, the visual recognition action control part 9 can recognize the road layout around the own vehicle, the presence or absence of an obstacle, the distance to the obstacle, and the like.

ステップS202において、視認行為制御部9は、視覚行動計測部31によって計測された視線方向情報のデータを、運転者解析部3から読み込む。これにより、視認行為制御部9は、自車中心座標系における運転者の視線停留点の方位や俯角を認識することができる。   In step S <b> 202, the visual recognition action control unit 9 reads gaze direction information data measured by the visual behavior measurement unit 31 from the driver analysis unit 3. Thereby, the visual recognition action control part 9 can recognize the azimuth | direction and depression angle of a driver | operator's gaze stop point in the own vehicle center coordinate system.

ステップS203において、視認行為制御部9は、視覚行動計測部31による計測結果と自車両の走行状態及び外部状況とを比較して、運転者の視覚行動が自車両の周囲環境と整合しているか否かを判定する。例えば、視認行為制御部9は、自車両を中心とした各方位の障害物の有無と自車中心座標系における視線停留点(方位)とを比較する。   In step S203, the visual activity control unit 9 compares the measurement result of the visual behavior measurement unit 31 with the traveling state and the external situation of the host vehicle, and whether the driver's visual behavior is consistent with the surrounding environment of the host vehicle. Determine whether or not. For example, the visual recognition action control unit 9 compares the presence / absence of an obstacle in each direction centered on the host vehicle and the line-of-sight stop point (direction) in the host vehicle central coordinate system.

そして、視認行為制御部9は、運転者の視覚行動が自車両の周囲環境と整合している場合にはステップS204に進む。ステップS204では、視認行為制御部9は、視認行為の実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であると判定する。   And the visual recognition action control part 9 progresses to step S204, when a driver | operator's visual action is consistent with the surrounding environment of the own vehicle. In step S204, the visual recognition action control unit 9 outputs the execution of the visual recognition action and determines that the driver can take over from the automatic driving control to the manual driving control.

一方、ステップS203において、運転者の視覚行動が自車両の周囲環境と整合していない場合にはステップS205に進む。ステップS205では、視認行為制御部9は、視認行為の不実行を出力して運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態ではないと判定する。   On the other hand, if the driver's visual behavior is not consistent with the surrounding environment of the host vehicle in step S203, the process proceeds to step S205. In step S <b> 205, the visual recognition action control unit 9 outputs a non-execution of visual recognition action and determines that the driver is not in a state where it can take over from automatic driving control to manual driving control.

こうして視認行為の実行または不実行が出力されると、視認行為の実行判定処理を終了して視認行為制御ループのステップS109へ戻る。   When the execution or non-execution of the visual action is thus output, the visual action execution determination process is terminated and the process returns to step S109 of the visual action control loop.

[自動運転制御ループの処理手順]
次に、本実施形態に係る情報呈示装置1による自動運転制御ループの処理手順を図4のフローチャートを参照して説明する。
[Processing procedure of automatic operation control loop]
Next, the processing procedure of the automatic driving control loop by the information presentation apparatus 1 according to the present embodiment will be described with reference to the flowchart of FIG.

図4に示すように、まずステップS301において、自車挙動生成部25は、周囲環境認識部21から周囲環境情報を読み込み、旅程制御部23から旅程計画情報を読み込む。   As shown in FIG. 4, first, in step S <b> 301, the own vehicle behavior generation unit 25 reads the surrounding environment information from the surrounding environment recognition unit 21 and reads the itinerary plan information from the itinerary control unit 23.

ステップS302において、自車挙動生成部25は、通常の自動運転システムのシステム論理にしたがって自車挙動の候補を生成する。この自車挙動の候補は複数生成され、自車両の走行軌道と速度プロファイルの情報を含んでいる。   In step S302, the vehicle behavior generation unit 25 generates a vehicle behavior candidate according to the system logic of a normal automatic driving system. A plurality of candidates for the own vehicle behavior are generated and include information on the traveling track and speed profile of the own vehicle.

ここで、自動運転システムのシステム論理とは、運転効率と安全性を考慮して自車挙動を決定するための論理である。例えば、目的地までの最短ルートを優先して自車挙動を決定したり、渋滞区間では距離よりも時間を優先して自車挙動を決定したりする。また、ルート上では、必要となる車線変更は行うものの安全性を優先して無駄な車線変更は行わないようにする。   Here, the system logic of the automatic driving system is a logic for determining the own vehicle behavior in consideration of driving efficiency and safety. For example, the vehicle behavior is determined with priority on the shortest route to the destination, or the vehicle behavior is determined with priority over time over the distance in a traffic jam section. On the route, although necessary lane changes are made, priority is given to safety so that unnecessary lane changes are not made.

このようなシステム論理にしたがって、自車挙動生成部25は、右折や左折、直進等の走行軌道と、そのときの速度プロファイルを自車挙動の候補として複数生成する。   In accordance with such a system logic, the host vehicle behavior generation unit 25 generates a plurality of traveling tracks such as a right turn, a left turn, and a straight travel, and speed profiles at that time as candidates for the host vehicle behavior.

ステップS303において、自車挙動決定部27は、視認行為制御部9からの入力に基づいて承認フラグが「true」であるか否かを判定する。そして、自車挙動決定部27は、承認フラグが「true」である場合には自動運転の継続が承認されているものと判断してステップS304に進み、承認フラグが「true」でない場合にはステップS301に戻る。   In step S <b> 303, the host vehicle behavior determination unit 27 determines whether the approval flag is “true” based on the input from the visual recognition action control unit 9. If the approval flag is “true”, the host vehicle behavior determination unit 27 determines that the continuation of automatic driving is approved, and proceeds to step S304. If the approval flag is not “true” The process returns to step S301.

ステップS304において、自車挙動決定部27は、タスク入力部11を介して運転者からタスクの入力があったか否かを判定し、タスクの入力がない場合にはステップS305に進み、タスクの入力があった場合にはステップS306に進む。   In step S304, the host vehicle behavior determination unit 27 determines whether or not there is a task input from the driver via the task input unit 11. If there is no task input, the process proceeds to step S305, where the task input is performed. If there is, the process proceeds to step S306.

ステップS305において、自車挙動決定部27は、運転者からのタスク入力がないので、自動運転システムのシステム論理にしたがって自車挙動を決定する。自車挙動決定部27は、自車挙動生成部25によって自車挙動の候補が複数生成されているので、これらの候補の中からシステム論理にしたがって自車挙動を決定する。   In step S305, the host vehicle behavior determination unit 27 determines the host vehicle behavior according to the system logic of the automatic driving system because there is no task input from the driver. Since the vehicle behavior generation unit 25 generates a plurality of candidates for the vehicle behavior, the vehicle behavior determination unit 27 determines the vehicle behavior according to the system logic from these candidates.

例えば、自動運転システムのシステム論理では、運転効率と安全性を考慮して自車挙動を決定するので、渋滞がない場合には目的地までの最短ルートを優先して自車挙動を決定する。一方、渋滞がある場合には距離よりも時間を優先して自車挙動を決定する。   For example, in the system logic of the automatic driving system, the own vehicle behavior is determined in consideration of driving efficiency and safety. Therefore, when there is no traffic jam, the own vehicle behavior is determined by giving priority to the shortest route to the destination. On the other hand, when there is a traffic jam, the vehicle behavior is determined by giving priority to time over distance.

このようにして自車挙動決定部27は、右折や左折、直進等の走行軌道と、そのときの速度プロファイルを自車挙動に決定してステップS307へ進む。   In this way, the own vehicle behavior determining unit 27 determines the traveling trajectory such as right turn, left turn, straight traveling, and the speed profile at that time as the own vehicle behavior, and proceeds to step S307.

一方、ステップS306において、自車挙動決定部27は、タスク入力部11を介して運転者から入力されたタスクを自車挙動に決定する。そして、自車挙動決定部27は、運転者から入力されたタスクを自車挙動に決定したことを、運転者反応記録部5に記録してステップS307に進む。   On the other hand, in step S <b> 306, the host vehicle behavior determination unit 27 determines the task input from the driver via the task input unit 11 as the host vehicle behavior. Then, the host vehicle behavior determining unit 27 records in the driver reaction recording unit 5 that the task input from the driver has been determined as the host vehicle behavior, and proceeds to step S307.

ステップS307において、車両挙動制御部29は、ステップS305またはステップS306で決定された自車挙動を実行する。すなわち、車両挙動制御部29は、ステップS305でシステム論理にしたがって決定された自車挙動か、またはステップS306で決定された運転者からの入力タスクのいずれかを実行する。このとき、車両挙動制御部29は、自車挙動を実行するために必要となる制御信号をアクチュエータ45に出力して自車挙動を実行する。また、車両挙動制御部29は、実行した自車挙動を運転者解析部3に入力する。   In step S307, the vehicle behavior control unit 29 executes the host vehicle behavior determined in step S305 or step S306. That is, the vehicle behavior control unit 29 executes either the own vehicle behavior determined according to the system logic in step S305 or the input task from the driver determined in step S306. At this time, the vehicle behavior control unit 29 outputs a control signal necessary for executing the own vehicle behavior to the actuator 45 to execute the own vehicle behavior. Further, the vehicle behavior control unit 29 inputs the executed own vehicle behavior to the driver analysis unit 3.

こうして自車挙動が実行されると、本実施形態に係る情報呈示装置1は自動運転制御ループを終了する。   When the vehicle behavior is thus executed, the information presentation device 1 according to the present embodiment ends the automatic driving control loop.

[実施形態の効果]
以上詳細に説明したように、本実施形態に係る情報呈示装置1では、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するために、運転者に視認行為を実行させる。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認できるので、自動走行車両において自動運転制御から手動運転制御へ切り替えられても安全に走行を継続することができる。
[Effect of the embodiment]
As described above in detail, in the information presentation device 1 according to the present embodiment, the driver performs a visual recognition action to confirm that the driver can take over from the automatic driving control to the manual driving control. Let As a result, it can be confirmed that the driver can take over from the automatic driving control to the manual driving control, so that it is possible to continue traveling safely even if the automatic driving control is switched from the automatic driving control to the manual driving control. it can.

また、本実施形態に係る情報呈示装置1では、運転者による視認行為を検出するために、運転者の視覚行動を計測する視覚行動計測部31を備えている。これにより、運転者の視覚行動の計測結果に基づいて、運転者による視認行為を検出することができる。   In addition, the information presentation device 1 according to the present embodiment includes a visual behavior measuring unit 31 that measures the visual behavior of the driver in order to detect a visual recognition action by the driver. Thereby, the visual recognition action by the driver can be detected based on the measurement result of the driver's visual behavior.

さらに、本実施形態に係る情報呈示装置1では、運転者の視覚行動のうち、自動走行車両の周囲環境及び車載表示を監視するための視覚行動を計測する。これにより、運転者の視覚行動に基づいて、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であるか否かを正確に判定することができる。   Furthermore, in the information presentation apparatus 1 according to the present embodiment, the visual behavior for monitoring the surrounding environment and the vehicle-mounted display of the autonomous vehicle is measured among the visual behavior of the driver. Accordingly, it is possible to accurately determine whether or not the driver can take over from the automatic driving control to the manual driving control based on the visual behavior of the driver.

また、本実施形態に係る情報呈示装置1によれば、運転者の眼球運動、頭部運動、上体運動、全身運動を計測するので、運転者の視覚行動を正確に計測することができる。   Further, according to the information presentation device 1 according to the present embodiment, the driver's eye movement, head movement, upper body movement, and whole body movement are measured, so that the driver's visual behavior can be accurately measured.

さらに、本実施形態に係る情報呈示装置1では、視覚行動計測部31による計測結果と自動走行車両の走行状態及び外部状況とを比較して、視認行為が実行されたか否かを判定する。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であるか否かを正確に判定することができる。   Furthermore, in the information presentation device 1 according to the present embodiment, the measurement result by the visual behavior measurement unit 31 is compared with the traveling state and the external situation of the autonomous vehicle, and it is determined whether the visual recognition action has been executed. Thereby, it is possible to accurately determine whether or not the driver can take over from the automatic operation control to the manual operation control.

また、本実施形態に係る情報呈示装置1では、自動走行車両を中心とした各方位の障害物の有無と自己中心座標系における視線停留点とを比較して、視認行為が実行されたか否かを判定する。これにより、運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であるか否かを正確に判定することができる。   Moreover, in the information presentation apparatus 1 according to the present embodiment, whether or not the visual recognition action is executed by comparing the presence / absence of the obstacle in each direction with the self-traveling vehicle as the center and the gaze stop point in the self-centered coordinate system Determine. Thereby, it is possible to accurately determine whether or not the driver can take over from the automatic operation control to the manual operation control.

さらに、本実施形態に係る情報呈示装置1によれば、運転者が視認行為を実行しなかった場合には自動運転制御を中断するので、自動走行車両において安全性を確保することができる。   Furthermore, according to the information presenting apparatus 1 according to the present embodiment, since the automatic driving control is interrupted when the driver does not execute the visual recognition action, safety can be ensured in the automatic traveling vehicle.

また、本実施形態に係る情報呈示装置1では、所定時間の経過毎、あるいは自動走行車両による所定回数の走行制御が行われる毎に視認行為の実行を要求する。これにより、運転者に対して定期的に視認行為の実行を要求できるので、自動運転制御において安全性を向上させることができる。   Moreover, in the information presentation apparatus 1 which concerns on this embodiment, execution of a visual recognition action is requested | required every time progress of predetermined time, or whenever driving | running control of the predetermined number of times by an autonomous vehicle is performed. Thereby, since execution of a visual recognition act can be requested | required with respect to a driver | operator regularly, safety | security can be improved in automatic operation control.

さらに、本実施形態に係る情報呈示装置1では、運転者が覚醒していないことを検出した場合、あるいは運転者が前方を監視していないことを検出した場合に視認行為の実行を運転者に要求する。これにより、運転者の意識レベルが低下しているときに、運転者に視認行為の実行を要求できるので、自動走行車両において安全性を向上させることができる。   Furthermore, in the information presentation apparatus 1 according to the present embodiment, when the driver detects that the driver is not awakened or when the driver detects that the driver is not monitoring the front, the visual presentation action is performed to the driver. Request. As a result, when the driver's consciousness level is lowered, the driver can be requested to perform the visual recognition action, so safety can be improved in the automatic traveling vehicle.

また、本実施形態に係る情報呈示装置1では、運転者の状態と自動走行車両の走行状態及び外部状況とに基づいて、視認行為の実行を運転者に要求するタイミングを設定する。これにより、運転者の状態や自動走行車両の走行状態及び外部状況に応じて、適切なタイミングで視認行為の実行を運転者に要求することができる。   Moreover, in the information presentation apparatus 1 which concerns on this embodiment, the timing which requests | requires a driver | operator to perform a visual recognition action is set based on a driver | operator's state, the driving | running | working state of an autonomous vehicle, and an external condition. Thereby, according to a driver | operator's state, the driving | running | working state of an autonomous vehicle, and an external condition, execution of a visual recognition act can be requested | required of a driver at an appropriate timing.

さらに、本実施形態に係る情報呈示装置1では、自動運転制御から手動運転制御へ引き継ぎが行われるタイミングが予め設定されている場合に、そのタイミングが近づくにしたがって視認行為の実行を要求する間隔を短くする。これにより、自動運転制御から手動運転制御へ引き継ぎが行われるときに、運転者を確実に引き継ぎ可能な状態にすることができる。   Furthermore, in the information presentation apparatus 1 according to the present embodiment, when the timing at which the automatic operation control is transferred to the manual operation control is set in advance, the interval for requesting the execution of the visual action as the timing approaches is set. shorten. Thereby, when handing over from automatic driving | operation control to manual driving | operation control is performed, a driver | operator can be made into the state which can be handed over reliably.

また、本実施形態に係る情報呈示装置1では、運転者が手動運転制御を行った場合には運転者に視認行為の実行を要求するタイミングを遅らせる。これにより、視認行為を要求する回数を減らすことができるので、システムの負荷や運転者の煩わしさを低減することができる。   Moreover, in the information presentation apparatus 1 according to the present embodiment, when the driver performs manual driving control, the timing for requesting the driver to perform the visual act is delayed. Thereby, since the frequency | count of request | requiring a visual act can be reduced, the load of a system and a driver | operator's troublesomeness can be reduced.

さらに、本実施形態に係る情報呈示装置1では、自動走行車両の周囲環境及び車載表示を運転者が監視するように促す監視情報を運転者に提供する。これにより、運転者は監視情報に促されて、スムーズに周囲環境や車載表示の監視へ移行することができる。   Furthermore, the information presentation apparatus 1 according to the present embodiment provides the driver with monitoring information that prompts the driver to monitor the surrounding environment of the automatic traveling vehicle and the vehicle-mounted display. Accordingly, the driver is prompted by the monitoring information, and can smoothly shift to monitoring of the surrounding environment and the vehicle-mounted display.

また、本実施形態に係る情報呈示装置1によれば、監視情報として輝度エッジを有しない空間周波数及び時間周波数のパターンを表示させるので、運転者は視線を表示装置33に向けることなく、周辺視で監視情報を認識することができる。   Further, according to the information presenting apparatus 1 according to the present embodiment, the pattern of spatial frequency and time frequency that does not have the luminance edge is displayed as the monitoring information. Can recognize monitoring information.

さらに、本実施形態に係る情報呈示装置1によれば、監視情報に同期させて感覚刺激を運転者に提供するので、運転者は監視情報が提供されていることを確実に認識することができる。   Furthermore, according to the information presentation device 1 according to the present embodiment, the sensory stimulus is provided to the driver in synchronization with the monitoring information, so that the driver can surely recognize that the monitoring information is provided. .

なお、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。   The above-described embodiment is an example of the present invention. For this reason, the present invention is not limited to the above-described embodiment, and even if it is a form other than this embodiment, as long as it does not depart from the technical idea of the present invention, it depends on the design and the like. Of course, various modifications are possible.

1 情報呈示装置
3 運転者解析部
5 運転者反応記録部
7 視認行為決定部
9 視認行為制御部
11 タスク入力部
13 表示イメージ生成部
15 警報制御部
17 音声生成部
21 周囲環境認識部
23 旅程制御部
25 自車挙動生成部
27 自車挙動決定部
29 車両挙動制御部
31 視覚行動計測部
33 表示装置
35 警報音発生部
37 スピーカ
41 センサ群
43 データベース
45 アクチュエータ
DESCRIPTION OF SYMBOLS 1 Information presentation apparatus 3 Driver analysis part 5 Driver reaction recording part 7 Visual action determination part 9 Visual action control part 11 Task input part 13 Display image generation part 15 Alarm control part 17 Voice generation part 21 Ambient environment recognition part 23 Itinerary control Unit 25 vehicle behavior generation unit 27 vehicle behavior determination unit 29 vehicle behavior control unit 31 visual behavior measurement unit 33 display device 35 alarm sound generation unit 37 speaker 41 sensor group 43 database 45 actuator

Claims (16)

車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置であって、
前記自動走行車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための運転者による視認行為を決定する視認行為決定部と、
前記視認行為決定部で決定された視認行為を運転者に実行させるための制御を行う視認行為制御部と、
運転者によって実行された前記視認行為を検出する運転者解析部と
を備えたことを特徴とする情報呈示装置。
An information presentation device used for an automatic traveling vehicle capable of switching between automatic driving control for automatically controlling driving of a vehicle and manual driving control by a driver,
A visual act determining unit for determining a visual act by the driver for confirming that the driver of the automatic traveling vehicle is in a state that can be handed over from automatic driving control to manual driving control;
A visual act control unit that performs control for causing the driver to execute the visual act determined by the visual act determining unit;
An information presentation apparatus comprising: a driver analysis unit that detects the visual recognition action performed by the driver.
前記視認行為を検出するために、運転者の視覚行動を計測する視覚行動計測部をさらに備えたことを特徴とする請求項1に記載の情報呈示装置。   The information presentation device according to claim 1, further comprising a visual behavior measuring unit that measures a driver's visual behavior in order to detect the visual recognition behavior. 前記視覚行動計測部は、前記運転者の視覚行動のうち、前記自動走行車両の周囲環境及び車載表示を監視する視覚行動を計測することを特徴とする請求項2に記載の情報呈示装置。   The information presentation device according to claim 2, wherein the visual behavior measuring unit measures a visual behavior of monitoring a surrounding environment and a vehicle-mounted display of the automatic traveling vehicle among the visual behavior of the driver. 前記視覚行動計測部は、運転者の眼球運動、頭部運動、上体運動、全身運動を計測することを特徴とする請求項2または3に記載の情報呈示装置。   The information presentation apparatus according to claim 2, wherein the visual behavior measuring unit measures a driver's eye movement, head movement, upper body movement, and whole body movement. 前記視認行為制御部は、前記視覚行動計測部による計測結果と前記自動走行車両の走行状態及び外部状況とを比較して、前記視認行為が実行されたか否かを判定することを特徴とする請求項2〜4のいずれか1項に記載の情報呈示装置。   The visual recognition action control unit compares a measurement result of the visual behavior measurement unit with a traveling state and an external situation of the automatic traveling vehicle to determine whether or not the visual recognition action has been executed. Item 5. The information presentation device according to any one of Items 2 to 4. 前記視認行為制御部は、前記自動走行車両を中心とした各方位の障害物の有無と前記視覚行動計測部によって計測された自己中心座標系における視線停留点とを比較して、前記視認行為が実行されたか否かを判定することを特徴とする請求項5に記載の情報呈示装置。   The visual act control unit compares the presence / absence of an obstacle in each direction centering on the autonomous vehicle and the gaze stop point in the self-centered coordinate system measured by the visual behavior measurement unit, 6. The information presenting apparatus according to claim 5, wherein it is determined whether or not it has been executed. 前記視認行為制御部は、運転者が前記視認行為を実行しなかった場合には、前記自動走行車両の自動運転制御を中断することを特徴とする請求項1〜6のいずれか1項に記載の情報呈示装置。   The said visual recognition action control part interrupts the automatic driving | operation control of the said automatic travel vehicle, when a driver | operator does not perform the said visual recognition action. Information presentation device. 前記視認行為制御部は、所定時間の経過毎、あるいは前記自動走行車両による所定回数の走行制御が行われる毎に、前記視認行為の実行を運転者に要求することを特徴とする請求項1〜7のいずれか1項に記載の情報呈示装置。   The said visual act control part requests | requires execution of the said visual act to a driver | operator every time progress of predetermined time or the driving | running | working control of the predetermined number of times by the said automatic traveling vehicle is performed. 8. The information presentation device according to any one of items 7. 前記視認行為制御部は、運転者が覚醒していないことを検出した場合、あるいは運転者が前方を監視していないことを検出した場合に、前記視認行為の実行を運転者に要求することを特徴とする請求項1〜8のいずれか1項に記載の情報呈示装置。   When the visual act control unit detects that the driver is not awake, or detects that the driver is not monitoring the front, the visual act control unit requests the driver to perform the visual act. The information presentation device according to any one of claims 1 to 8, wherein 前記視認行為制御部は、運転者の状態と前記自動走行車両の走行状態及び外部状況とに基づいて、前記視認行為の実行を運転者に要求するタイミングを設定することを特徴とする請求項1〜9のいずれか1項に記載の情報呈示装置。   The said visual act control part sets the timing which requests | requires a driver | operator to perform the said visual act based on a driver | operator's state, the driving | running | working state of the said autonomous vehicle, and the external condition. The information presentation apparatus according to any one of? 9. 前記視認行為制御部は、自動運転制御から手動運転制御へ引き継ぎが行われるタイミングが予め設定されている場合には、そのタイミングが近づくにしたがって前記視認行為の実行を運転者に要求する間隔を短くすることを特徴とする請求項1〜10のいずれか1項に記載の情報呈示装置。   When the timing for taking over from automatic driving control to manual driving control is set in advance, the visual act control unit shortens the interval for requesting the driver to execute the visual act as the timing approaches. The information presenting apparatus according to claim 1, wherein the information presenting apparatus is an information presenting apparatus. 前記視認行為制御部は、運転者が手動運転制御を行った場合には、前記視認行為の実行を運転者に要求するタイミングを遅らせることを特徴とする請求項1〜11のいずれか1項に記載の情報呈示装置。   The said visual recognition action control part delays the timing which requests | requires a driver | operator to perform the said visual recognition action, when a driver | operator performs manual driving | operation control. The information presentation device described. 前記視認行為制御部は、前記自動走行車両の周囲環境及び車載表示を運転者が監視するように促す監視情報を運転者に提供することを特徴とする請求項1〜12のいずれか1項に記載の情報呈示装置。   The said visual recognition action control part provides the driver | operator with the monitoring information which urges | urges a driver | operator to monitor the surrounding environment and the vehicle-mounted display of the said automatic traveling vehicle, In any one of Claims 1-12 characterized by the above-mentioned. The information presentation device described. 前記視認行為制御部は、前記監視情報として、輝度エッジを有しない空間周波数及び時間周波数のパターンを表示させることを特徴とする請求項13に記載の情報呈示装置。   The information presentation apparatus according to claim 13, wherein the visual recognition control unit displays a pattern of a spatial frequency and a temporal frequency that does not have a luminance edge as the monitoring information. 前記視認行為制御部は、前記監視情報に同期させて感覚刺激を運転者に提供することを特徴とする請求項13または14に記載の情報呈示装置。   The information presentation device according to claim 13 or 14, wherein the visual act control unit provides a driver with a sensory stimulus in synchronization with the monitoring information. 車両の走行制御を自動的に行う自動運転制御と運転者による手動運転制御とを切り換え可能な自動走行車両に用いる情報呈示装置の情報呈示方法であって、
前記自動走行車両の運転者が自動運転制御から手動運転制御へ引き継ぎ可能な状態であることを確認するための運転者による視認行為を決定し、
決定された前記視認行為を運転者に実行させるための制御を行い、
運転者によって実行された前記視認行為を検出することを特徴とする情報呈示方法。
An information presenting method for an information presenting device used for an automatic traveling vehicle capable of switching between automatic driving control for automatically performing vehicle driving control and manual driving control by a driver,
Determining the visual act by the driver to confirm that the driver of the autonomous vehicle is in a state that can be handed over from automatic driving control to manual driving control;
Perform control for causing the driver to execute the determined visual act,
An information presentation method, wherein the visual recognition action executed by a driver is detected.
JP2014063327A 2014-03-26 2014-03-26 Information presentation device and information presentation method Active JP6330411B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014063327A JP6330411B2 (en) 2014-03-26 2014-03-26 Information presentation device and information presentation method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014063327A JP6330411B2 (en) 2014-03-26 2014-03-26 Information presentation device and information presentation method

Publications (2)

Publication Number Publication Date
JP2015185088A true JP2015185088A (en) 2015-10-22
JP6330411B2 JP6330411B2 (en) 2018-05-30

Family

ID=54351500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014063327A Active JP6330411B2 (en) 2014-03-26 2014-03-26 Information presentation device and information presentation method

Country Status (1)

Country Link
JP (1) JP6330411B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017068880A1 (en) * 2015-10-19 2017-04-27 株式会社デンソー Motion estimation system, motion estimation method, and wearable device
JP2018133031A (en) * 2017-02-17 2018-08-23 オムロン株式会社 Driving switching support device and driving switching support method
WO2018150677A1 (en) * 2017-02-17 2018-08-23 オムロン株式会社 Driving switching assist device, and driving switching assist method
WO2018163535A1 (en) * 2017-03-10 2018-09-13 オムロン株式会社 Alarm device, alarm system, alarm method and alarm control program
WO2018163811A1 (en) * 2017-03-07 2018-09-13 ソニー株式会社 Information processing device, information processing method and program
WO2020067009A1 (en) * 2018-09-28 2020-04-02 株式会社Jvcケンウッド Business support system and business support method
WO2020225970A1 (en) * 2019-05-09 2020-11-12 国立研究開発法人産業技術総合研究所 Disease condition determination device, disease condition determination method, program for disease condition determination device, and disease condition determination system

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (en) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd Display device for vehicle
JPH11185200A (en) * 1997-12-22 1999-07-09 Mitsubishi Motors Corp Method for judging conscious level of driver in automatic traveling controllable vehicle
US20060259206A1 (en) * 2005-05-16 2006-11-16 Smith Matthew R Vehicle operator monitoring system and method
JP2006327310A (en) * 2005-05-24 2006-12-07 Nissan Motor Co Ltd Information display method for vehicle and information display for vehicle
JP2009069885A (en) * 2007-09-10 2009-04-02 Denso Corp State determination device and program
US20130058529A1 (en) * 2011-09-02 2013-03-07 Volvo Technology Corporation Visual input of vehicle operator
JP2013097677A (en) * 2011-11-02 2013-05-20 Daimler Ag Driving management system
JP2014021873A (en) * 2012-07-20 2014-02-03 Pioneer Electronic Corp Doze prevention device, doze prevention method, doze prevention program, and recording media
JP2015011457A (en) * 2013-06-27 2015-01-19 株式会社デンソー Vehicle information provision device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (en) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd Display device for vehicle
JPH11185200A (en) * 1997-12-22 1999-07-09 Mitsubishi Motors Corp Method for judging conscious level of driver in automatic traveling controllable vehicle
US20060259206A1 (en) * 2005-05-16 2006-11-16 Smith Matthew R Vehicle operator monitoring system and method
JP2006327310A (en) * 2005-05-24 2006-12-07 Nissan Motor Co Ltd Information display method for vehicle and information display for vehicle
JP2009069885A (en) * 2007-09-10 2009-04-02 Denso Corp State determination device and program
US20130058529A1 (en) * 2011-09-02 2013-03-07 Volvo Technology Corporation Visual input of vehicle operator
JP2013097677A (en) * 2011-11-02 2013-05-20 Daimler Ag Driving management system
JP2014021873A (en) * 2012-07-20 2014-02-03 Pioneer Electronic Corp Doze prevention device, doze prevention method, doze prevention program, and recording media
JP2015011457A (en) * 2013-06-27 2015-01-19 株式会社デンソー Vehicle information provision device

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017068880A1 (en) * 2015-10-19 2017-04-27 株式会社デンソー Motion estimation system, motion estimation method, and wearable device
JP2018133031A (en) * 2017-02-17 2018-08-23 オムロン株式会社 Driving switching support device and driving switching support method
WO2018150677A1 (en) * 2017-02-17 2018-08-23 オムロン株式会社 Driving switching assist device, and driving switching assist method
WO2018150676A1 (en) * 2017-02-17 2018-08-23 オムロン株式会社 Driving switching assist device, and driving switching assist method
JPWO2018163811A1 (en) * 2017-03-07 2020-01-09 ソニー株式会社 Information processing apparatus, information processing method, and program
JP7092110B2 (en) 2017-03-07 2022-06-28 ソニーグループ株式会社 Information processing equipment, information processing methods, and programs
WO2018163811A1 (en) * 2017-03-07 2018-09-13 ソニー株式会社 Information processing device, information processing method and program
JP2018151763A (en) * 2017-03-10 2018-09-27 オムロン株式会社 Notification device, notification system, notification method, and notification control program
WO2018163535A1 (en) * 2017-03-10 2018-09-13 オムロン株式会社 Alarm device, alarm system, alarm method and alarm control program
WO2020067009A1 (en) * 2018-09-28 2020-04-02 株式会社Jvcケンウッド Business support system and business support method
JP2020050324A (en) * 2018-09-28 2020-04-02 株式会社Jvcケンウッド Business support system and business support method
JP7070298B2 (en) 2018-09-28 2022-05-18 株式会社Jvcケンウッド Business support system and business support method
WO2020225970A1 (en) * 2019-05-09 2020-11-12 国立研究開発法人産業技術総合研究所 Disease condition determination device, disease condition determination method, program for disease condition determination device, and disease condition determination system

Also Published As

Publication number Publication date
JP6330411B2 (en) 2018-05-30

Similar Documents

Publication Publication Date Title
JP6330411B2 (en) Information presentation device and information presentation method
JP6315082B2 (en) Information presentation device and information presentation method
US11151876B2 (en) Apparatus and method of safety support for vehicle
JP6299323B2 (en) Information presentation device and information presentation method
US20200231182A1 (en) Vehicle control device and vehicle control method
JP6291787B2 (en) Vehicle display device
JP6497915B2 (en) Driving support system
JP2016115356A (en) Automatic drive control device, automatic drive control method, and program
KR101459908B1 (en) Apparatus and method for safe drive inducing game
KR20200108827A (en) Method and system for switching driving mode based on self-awareness parameters in hybrid driving
US10710590B2 (en) Method and system for risk based driving mode switching in hybrid driving
CN110914884A (en) Vehicle controller and vehicle control method
US10406978B2 (en) Method and system for adapting augmented switching warning
US20200342756A1 (en) Apparatus and method of safety support for vehicle
WO2020100539A1 (en) Information processing device, moving device, method, and program
KR20200113202A (en) Information processing device, mobile device, and method, and program
JP2006043429A (en) Apparatus for judging load of visual recognition
JP4760113B2 (en) Driver state estimation device
WO2020213280A1 (en) Information processing device, mobile device, method, and program
WO2019208450A1 (en) Driving assistance device, driving assistance method, and program
JP6582799B2 (en) Support apparatus and support method
EP3727984A1 (en) Method and system for risk based driving mode switching in hybrid driving
JP7043726B2 (en) Appropriate state judgment method and proper state judgment device
KR20150076797A (en) A Detection System for Dozing at the Vehicle and the Method Of
JP2022111156A (en) Vehicle control device and vehicle control method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180327

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180409

R151 Written notification of patent or utility model registration

Ref document number: 6330411

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151