JP2015081057A - Display device for vehicle - Google Patents
Display device for vehicle Download PDFInfo
- Publication number
- JP2015081057A JP2015081057A JP2013221036A JP2013221036A JP2015081057A JP 2015081057 A JP2015081057 A JP 2015081057A JP 2013221036 A JP2013221036 A JP 2013221036A JP 2013221036 A JP2013221036 A JP 2013221036A JP 2015081057 A JP2015081057 A JP 2015081057A
- Authority
- JP
- Japan
- Prior art keywords
- occupant
- timing
- task
- vehicle
- decision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000011156 evaluation Methods 0.000 claims abstract description 64
- 210000005252 bulbus oculi Anatomy 0.000 claims description 43
- 230000004459 microsaccades Effects 0.000 claims description 37
- 230000004424 eye movement Effects 0.000 claims description 30
- 238000013459 approach Methods 0.000 claims description 2
- 238000009795 derivation Methods 0.000 abstract description 4
- 230000006870 function Effects 0.000 description 36
- 238000000034 method Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 20
- 210000001508 eye Anatomy 0.000 description 10
- 230000007423 decrease Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 4
- 206010044565 Tremor Diseases 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- 210000005036 nerve Anatomy 0.000 description 4
- 230000002889 sympathetic effect Effects 0.000 description 4
- 210000003403 autonomic nervous system Anatomy 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 210000005037 parasympathetic nerve Anatomy 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 235000002673 Dioscorea communis Nutrition 0.000 description 1
- 241000544230 Dioscorea communis Species 0.000 description 1
- 208000035753 Periorbital contusion Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000012905 input function Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000005240 left ventricle Anatomy 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 210000004165 myocardium Anatomy 0.000 description 1
- 230000001734 parasympathetic effect Effects 0.000 description 1
- 210000001002 parasympathetic nervous system Anatomy 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010183 spectrum analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Navigation (AREA)
- Instrument Panels (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
本発明は、推測された乗員の意図に応じた進行方向へ車両が移動することを乗員に提示する車両用表示装置に関する。 The present invention relates to a display device for a vehicle that presents to the occupant that the vehicle is moving in a traveling direction according to the estimated occupant's intention.
この種の装置に関し、経路を走行中の車が右左折する交差点を検出し、その交差点から所定距離手前の地点でウィンカ操作がされない場合には、自車両のウィンカを自動的に動作させる運転支援装置が知られている(特許文献1)。 With this type of device, driving assistance that detects the intersection where the car traveling on the route turns right and left and automatically operates the blinker of the host vehicle when the blinker operation is not performed at a predetermined distance from the intersection. An apparatus is known (Patent Document 1).
しかしながら、従来の車載システムは、交差点から所定距離手前の地点でウィンカの操作がされ無い場合に、乗員の意思とは関係なく、一律にウィンカを動作させるので、乗員が車載システムの動作に対して違和感を感じるという問題がある。 However, the conventional vehicle-mounted system operates the blinker uniformly regardless of the occupant's intention when the blinker is not operated at a point a predetermined distance before the intersection. There is a problem of feeling uncomfortable.
本発明が解決しようとする課題は、車載システムの動作に対して乗員が違和感を感じないようにすることである。 The problem to be solved by the present invention is to prevent the occupant from feeling uncomfortable with the operation of the in-vehicle system.
本発明は、自車両を操作する乗員の生体情報を検出し、検出された生体情報の評価値と予め設定された乗員の意思決定状態を評価する評価基準値との結果から乗員が意思決定を行ったタイミングを判断し、自車両が走行する経路上に検出された分岐地点に所定距離以下に接近した場合において、推定された進行方向が自車両の現在の進行方向と異なる場合には、乗員の意思決定のタイミングとして判断されたタイミングで、推定された進行方向を実行タスクとして提示することにより、上記課題を解決する。 The present invention detects the biological information of an occupant who operates the host vehicle, and the occupant makes a decision from the result of the evaluation value of the detected biological information and the evaluation reference value that evaluates the predetermined decision-making state of the occupant. If the estimated direction of travel differs from the current direction of travel of the host vehicle when the travel timing is determined and the estimated travel direction is different from the current travel direction of the host vehicle when approaching a predetermined distance or less to the branch point detected on the route traveled by the host vehicle The above problem is solved by presenting the estimated traveling direction as an execution task at the timing determined as the decision-making timing.
本発明によれば、乗員の意思を考慮し、乗員の意思が決定されたタイミングで、自動運転制御に係る制御内容を、実行タスクとして提示するので、車載システムの動作に対して乗員が違和感を感じないようにすることができる。これにより、車載システムが実行する自動運転制御に対する乗員の信頼度を高めることができる。 According to the present invention, the control content related to the automatic driving control is presented as an execution task at the timing when the occupant's intention is determined in consideration of the occupant's intention, so the occupant feels uncomfortable with the operation of the in-vehicle system. You can avoid feeling. Thereby, the reliability of the passenger | crew with respect to the automatic driving | running control which an in-vehicle system performs can be raised.
以下、本発明の実施形態を図面に基づいて説明する。本実施形態では、本発明に係る自動運転情報提供装置を車載の走行制御システム1000に適用した場合を例にして説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings. In the present embodiment, a case where the automatic driving information providing apparatus according to the present invention is applied to an in-vehicle travel control system 1000 will be described as an example.
図1は、本実施形態に係る自動運転情報提供装置100を含む走行制御システム1000のブロック構成図である。図1に示すように、本実施形態の走行支援システム1000は、自車両の自動運転を制御する自動運転制御装置200と、自動運転に関する情報を提示する自動運転情報提供装置100と、車両の動作全般を制御するECUなどの車両コントローラ60と、現在位置から目的地に至る経路を地図情報71に基づいて探索するナビゲーション装置70と、車両が通常備えるウィンカ装置81、車速センサ82、加速度センサ83などを含む各種装置80と、を備える。これらの各装置は、CAN(Controller Area Network)その他の車載LANによって接続され、相互に情報の授受を行う。 FIG. 1 is a block configuration diagram of a travel control system 1000 including an automatic driving information providing apparatus 100 according to the present embodiment. As shown in FIG. 1, a driving support system 1000 according to this embodiment includes an automatic driving control device 200 that controls automatic driving of the host vehicle, an automatic driving information providing device 100 that presents information related to automatic driving, and the operation of the vehicle. A vehicle controller 60 such as an ECU that controls the whole, a navigation device 70 that searches a route from the current position to the destination based on the map information 71, a winker device 81, a vehicle speed sensor 82, an acceleration sensor 83, etc. Including various devices 80. Each of these devices is connected by a CAN (Controller Area Network) or other in-vehicle LAN, and exchanges information with each other.
本実施形態の自動運転制御装置200、車両コントローラ60、ナビゲーション装置70、車載の各種装置80は、本願出願時に知られた自動運転制御装置、車両コントローラ、ナビゲーション装置、各種の車載装置を適宜に利用することができる。 As the automatic driving control device 200, the vehicle controller 60, the navigation device 70, and the various in-vehicle devices 80 according to the present embodiment, the automatic driving control device, the vehicle controller, the navigation device, and various in-vehicle devices known at the time of filing the present application are appropriately used. can do.
本実施形態の自動運転制御装置200は、車両を自動的に走行させる装置である。車両を走行させる経路は特に限定されず、現在位置から乗員が指定する目的地に至る経路であってもよいし、予め設定された自動運転区間であってもよい。本実施形態では、車載のナビゲーション装置70などを介して乗員により入力された目的地までの経路を認識し、その経路上を車両を走行させる駆動制御を行う。併せて、各種センサやカメラの撮像画像から取得した周囲の障害物情報、信号などの交通規則、などを考慮して、自車両の走行を制御する。 The automatic driving control device 200 of the present embodiment is a device that automatically drives the vehicle. The route on which the vehicle travels is not particularly limited, and may be a route from the current position to the destination designated by the occupant, or may be a preset automatic driving section. In the present embodiment, the route to the destination input by the occupant via the vehicle-mounted navigation device 70 or the like is recognized, and drive control is performed to drive the vehicle on the route. In addition, the traveling of the host vehicle is controlled in consideration of surrounding obstacle information acquired from various sensors and images captured by cameras, traffic rules such as signals, and the like.
図1に示すように、本実施形態の自動運転情報提供装置100は、制御装置10と、生体情報検出装置20と、提示装置30とを備える。 As shown in FIG. 1, the automatic driving information providing apparatus 100 according to the present embodiment includes a control device 10, a biological information detection device 20, and a presentation device 30.
以下、各装置について説明する。
まず、提示装置30について説明する。本実施形態の提示装置30は、情報入力機能を備えたタッチパネル式のディスプレイ31と、スピーカ32とを備える。本実施形態の提示装置30は、自車両の進行方向など、走行に関する情報を提示できればよく、ライトやウィンカなどの既存の車両設備を用いることもできる。また、本例ではタッチパネル式の入力情報を受け付けるディスプレイ31を採用するが、ステアリング周辺に別途入力装置33を備えてもよい。入力装置33は、マイクを備える音声入力装置であってもよい。
Hereinafter, each device will be described.
First, the presentation device 30 will be described. The presentation device 30 of this embodiment includes a touch panel display 31 having an information input function and a speaker 32. The presentation device 30 of the present embodiment only needs to be able to present information related to traveling, such as the traveling direction of the host vehicle, and can also use existing vehicle equipment such as lights and blinkers. Further, in this example, the display 31 that accepts touch panel type input information is adopted, but a separate input device 33 may be provided around the steering wheel. The input device 33 may be a voice input device including a microphone.
本実施形態の提示装置30は、自車両が備える自動運転制御装置200の自動運転機能が動作しているときに、自動運転機能のタスク情報を提示する。本実施形態におけるタスク情報とは、自動制御装置200の制御装置(コンピュータ)の自動運転機能が実行中乃至実行しようとする仕事(制御内容)の情報である。タスク情報は、仕事(制御内容)ごとに定義される。本実施形態のタスク情報は、発進、加速、減速、停止などのタスク(制御内容)、右折、左折、右レーンへの車線変更、左レーンへの車線変更などのタスク(制御内容)、追い越しなどのタスクを含む。 The presentation device 30 of the present embodiment presents task information of the automatic driving function when the automatic driving function of the automatic driving control device 200 included in the host vehicle is operating. The task information in the present embodiment is information on work (control contents) being executed or about to be executed by the automatic operation function of the control device (computer) of the automatic control device 200. The task information is defined for each job (control content). Task information of this embodiment includes tasks such as start, acceleration, deceleration, and stop (control contents), right turn, left turn, lane change to the right lane, lane change to the left lane (control contents), overtaking, etc. Includes tasks.
本実施形態の提示装置30は、自車両が走行する経路上に検出された分岐路の手前、つまり自車両の現在位置と分岐地点との距離が所定距離以下に接近した場合において、分岐路において自車両を操作する乗員が意図すると推測された進行方向へ自車両を移動させるタスクを提示する。 In the present embodiment, the presentation device 30 is located on the branch road before the branch road detected on the route traveled by the host vehicle, that is, when the distance between the current position of the host vehicle and the branch point approaches a predetermined distance or less. A task for moving the host vehicle in a traveling direction presumed to be intended by a passenger operating the host vehicle is presented.
乗員が意図すると推測された進行方向とは、乗員が運転する車両の進行方向である。乗員が意図すると推測された進行方向の求め方は特に限定されないが、例えば、乗員が入力した目的地等に基づいてナビゲーション装置70が算出した現在位置における進行方向であってもよい。また、乗員が過去に走行した道路(リンク)ごとに記憶された走行履歴回数(又は走行履歴頻度)に基づいて、走行履歴回数(又は走行履歴頻度)が高い経路へ向かう際の進行方向であってもよい。 The traveling direction estimated to be intended by the occupant is the traveling direction of the vehicle driven by the occupant. There is no particular limitation on the method of obtaining the traveling direction estimated to be intended by the occupant. For example, the traveling direction at the current position calculated by the navigation device 70 based on the destination input by the occupant may be used. Further, based on the number of travel histories (or travel history frequencies) stored for each road (link) that the occupant has traveled in the past, the traveling direction when traveling toward a route with a higher number of travel histories (or travel history frequencies) May be.
本実施形態の提示装置30は、ナビゲーション装置70の地図情報71を参照し、現在位置から推測された目的地に至るまでの経路上に存在する分岐地点を抽出し、その分岐地点に所定距離以内に接近したときに、進行方向へ自車両を移動させるタスクを提示する。本実施形態の提示装置30は、これから自車両を移動させる進行方向を示すことにより、進行方向へ自車両を移動させるタスクを提示する。車両運転中の乗員に進行方向を示せば、乗員は、これから車両がその方向に移動するであろうことを理解できるからである。 The presentation device 30 according to the present embodiment refers to the map information 71 of the navigation device 70, extracts a branch point that exists on the route from the current position to the estimated destination, and is within a predetermined distance from the branch point. When approaching, the task to move the vehicle in the direction of travel is presented. The presentation device 30 according to the present embodiment presents a task for moving the host vehicle in the traveling direction by indicating the traveling direction in which the host vehicle is to be moved. This is because if the direction of travel is shown to the occupant who is driving the vehicle, the occupant can understand that the vehicle will move in that direction.
本実施形態における「進行方向へ自車両を移動させるタスク」の提示態様の例を図2A〜図2Eに基づいて説明する。 The example of the presentation aspect of "the task which moves the own vehicle to the advancing direction" in this embodiment is demonstrated based on FIG. 2A-FIG. 2E.
図2Aに示すように、本実施形態の提示装置30は、6つの矢印によって「所定の進行方向へ自車両を移動させるタスク」を示す。1の符号が付された矢印は、自車両を直進させるタスクを示す。2の符号が付された矢印は、自車両を右レーンに車線変更させるタスクを示す。3の符号が付された矢印は、自車両を左レーンに車線変更させるタスクを示す。4の符号が付された矢印は、自車両を次の交差点で右折させるタスクを示す。5の符号が付された矢印は、自車両を次の交差点で左折させるタスクを示す。6の符号が付された矢印は、自車両を一時停止させるタスクを示す。本実施形態の提示装置30は、実行されるタスクに応じて1〜6の符号が付された矢印が識別できるように表示する。表示の態様は特に限定されず、各矢印が識別できればよい。 As shown in FIG. 2A, the presentation device 30 of the present embodiment indicates a “task for moving the host vehicle in a predetermined traveling direction” by six arrows. An arrow with a symbol of 1 indicates a task for moving the host vehicle straight. The arrow with the symbol 2 indicates a task for changing the vehicle to the right lane. An arrow marked with 3 indicates a task for changing the vehicle to the left lane. An arrow marked with 4 indicates a task for turning the host vehicle to the right at the next intersection. An arrow with a symbol of 5 indicates a task of turning the host vehicle to the left at the next intersection. An arrow with a reference numeral 6 indicates a task for temporarily stopping the host vehicle. The presentation device 30 of the present embodiment displays so that the arrows with the symbols 1 to 6 can be identified according to the task to be executed. The display mode is not particularly limited as long as each arrow can be identified.
図2Bに示すように、本実施形態の提示装置30は、「直後に実行する実行タスク」を強調して表示する。「直後に実行する実行タスク」の情報は、自動運転制御装置200が現時点で実行しているタスクとは異なるタスクであって、現時点の直後に実行されるタスクである。つまり、「実行タスク」は、現時点において自動運転制御装置200が実行している制御内容ではなく、これから実行される制御内容である。
本例では、実行タスクに応じた符号2の矢印を他の矢印に比べて相対的に強調して表示する。併せて、実行タスクの次に実行するタスクを表示してもよい。符号2に対応する矢印が示す「右レーンへの車線変更」の後に、符号4に対応する矢印が示す「右折」を実行する場合には、図2Bに示すように、符号2の矢印を強調表示するとともに、符号4の矢印を識別可能なように表示する。同図に示すように、符号4の矢印の表示は、符号2の矢印の表示とは異なる態様である。本実施形態において、実行中のタスクとして表示される符号4の矢印は、実行タスクの次に実行されるタスクとして表示される符号2の矢印よりも相対的に目立つように強調して表示する。
As illustrated in FIG. 2B, the presentation device 30 according to the present embodiment highlights and displays “Execution task to be executed immediately after”. The information of “execution task executed immediately after” is a task that is different from the task currently executed by the automatic driving control apparatus 200 and is executed immediately after the current time. That is, the “execution task” is not the control content currently executed by the automatic driving control apparatus 200 but the control content to be executed from now.
In this example, the arrow of reference numeral 2 corresponding to the execution task is displayed in a relatively emphasized manner compared to other arrows. In addition, a task to be executed next to the execution task may be displayed. When the “turn right” indicated by the arrow corresponding to the reference numeral 4 is executed after the “lane change to the right lane” indicated by the arrow corresponding to the reference numeral 2, the arrow indicated by the reference numeral 2 is emphasized as shown in FIG. 2B. While displaying, the arrow of the code | symbol 4 is displayed so that identification is possible. As shown in the figure, the display of the arrow 4 is different from the display of the arrow 2. In the present embodiment, the arrow 4 indicated as a task being executed is highlighted so as to be relatively conspicuous relative to the arrow 2 indicated as a task executed next to the execution task.
また、図2Cに示すように、本実施形態の提示装置30は、現在実行されているタスク(符号1)、直後に実行するタスク(符号2)、次に実行するタスク(符号4)以外のタスク(符号3,5,6)に応じた矢印をグレーアウトして表示(非表示)してもよい。 Also, as shown in FIG. 2C, the presentation device 30 of the present embodiment has a task other than the currently executed task (reference numeral 1), the task to be executed immediately (reference numeral 2), and the task to be executed next (reference numeral 4). The arrows corresponding to the tasks (reference numerals 3, 5, 6) may be grayed out and displayed (not displayed).
さらに、図2Dに示すように、本実施形態の提示装置30は、直進状態から、右レーンへ車線変更(符号2)後に、右折する(符号4)というタスクが表示された場合に、乗員は、その自動運転の方針を拒否して、直進を選択することができる。この場合は、直進するタスクを示す符号1の矢印にタッチすることにより、直進を指示することができる。この指示情報は、自動運転制御装置200へ送出される。自動運転制御装置200は、乗員の意図である直進指令に従い、直進の走行制御を車両コントローラ60に実行させる。 Furthermore, as shown in FIG. 2D, the presentation device 30 according to the present embodiment displays the task of turning right (reference 4) after changing the lane (reference 2) to the right lane from the straight traveling state. You can choose to go straight, rejecting the policy of automatic driving. In this case, it is possible to instruct a straight advance by touching the arrow of reference numeral 1 indicating a task going straight ahead. This instruction information is sent to the automatic operation control device 200. The automatic driving control device 200 causes the vehicle controller 60 to execute a straight traveling control in accordance with a straight traveling command intended by the occupant.
図2Eに示すように、本実施形態の提示装置30は、直進状態から右折する(符号4)というタスクが表示された場合に、乗員は、視認により自らの周囲の状況を確認し、対向車が存在する場合には、一時停止を選択することができる。この場合は、一時停止のタスクを示す符号6の矢印にタッチすることにより、右折のタスクの実行を一時的に停止させることができる。この一時停止の指示情報は、自動運転制御装置200へ送出される。自動運転制御装置200は、乗員の意図である一時停止指令に従い、減速乃至停止の走行制御を車両コントローラ60に実行させる。 As shown in FIG. 2E, when the task of turning right from the straight traveling state (reference numeral 4) is displayed, the occupant checks the situation of his / her surroundings by visual recognition, and the oncoming vehicle 30 Can be selected. In this case, the right turn task can be temporarily stopped by touching the arrow 6 indicating the task to be paused. This temporary stop instruction information is sent to the automatic operation control apparatus 200. The automatic driving control device 200 causes the vehicle controller 60 to execute travel control for deceleration or stop according to a temporary stop command that is intended by the occupant.
次に、生体情報検出装置20について説明する。本実施形態の生体情報検出装置20は、自車両を操作する乗員の生体情報を検出する。本実施形態の生体情報検出装置20は、乗員(人間)の眼球運動の一つである固視微動に関する情報を検出する。本実施形態の生体情報検出装置20は、乗員(人間)の心臓(心筋)の運動に伴う電気的情報である心電情報を検出する。具体的に、生体情報検出装置20は、乗員の眼球運動を計測する眼球運動測定装置21と、乗員の心電情報を計測する心電系22とを備える。 Next, the biological information detection apparatus 20 will be described. The biological information detection apparatus 20 of the present embodiment detects biological information of an occupant who operates the host vehicle. The biological information detection apparatus 20 according to the present embodiment detects information on fixation micromotion that is one of the eye movements of an occupant (human). The biological information detection apparatus 20 according to the present embodiment detects electrocardiographic information, which is electrical information associated with the motion of the occupant (human) heart (myocardium). Specifically, the biological information detection device 20 includes an eye movement measurement device 21 that measures the eye movement of the occupant and an electrocardiographic system 22 that measures the electrocardiogram information of the occupant.
眼球運動測定装置21について説明する。眼球運動測定装置21は、乗員の眼球の固視微動、特にマイクロサッケード(microsaccade)運動を検出する。人間の眼球は、視線が同じ場所に向けられている場合に、絶え間なく微小に動き続けていることが知られている。これは、固視微動と呼ばれる。一般に、固視微動は、トレモア(tremor)運動、ドリフト(drift)運動、マイクロサッケード(microsaccade)運動(フリック(flick)運動とも呼ばれる)を含む。このうち、マイクロサッケード運動は、人間の意思決定活動に密接な関わりを有することが知られている。 The eye movement measuring device 21 will be described. The eye movement measuring device 21 detects fixation micromotion of the occupant's eye, particularly microsaccade movement. It is known that the human eyeball keeps moving minutely continuously when the line of sight is directed to the same place. This is called fixation micromotion. In general, fixation microtremor includes tremor movement, drift movement, microsaccade movement (also called flick movement). Of these, the micro saccade movement is known to have a close relationship with human decision-making activities.
本実施形態の生体情報検出装置20の眼球運動測定装置21は、乗員の眼球を撮像し、その経時的な動きの情報を取得する。眼球運動測定装置21は、CCD(Charge Coupled Device)イメージセンサー、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサー等を有するカメラを備える。カメラは、乗員の眼球を経時的に撮像する。本実施形態の生体情報検出装置20は、カメラの撮像画像から眼球の動きに関する生体情報を検出し、検出した情報を後述する制御装置10へ送出する。本実施形態の眼球運動測定装置21の構成は特に限定されず、出願時に知られた眼球運動測定装置を用いることができる。 The eye movement measurement device 21 of the biological information detection device 20 of the present embodiment images the occupant's eye and acquires information on its movement over time. The eye movement measuring device 21 includes a camera having a CCD (Charge Coupled Device) image sensor, a CMOS (Complementary Metal Oxide Semiconductor) image sensor, and the like. The camera images the occupant's eyeball over time. The biological information detection apparatus 20 according to the present embodiment detects biological information related to the movement of the eyeball from the captured image of the camera, and sends the detected information to the control apparatus 10 described later. The configuration of the eye movement measurement device 21 of the present embodiment is not particularly limited, and an eye movement measurement device known at the time of filing can be used.
本実施形態の心電計22について説明する。心電計22は、乗員の心臓の電気的な活動状況を示す心電情報(例えば心電図)を検出する。本実施形態の心電計22の構成は特に限定されず、出願時に知られた心電計を用いることができる。 The electrocardiograph 22 of this embodiment will be described. The electrocardiograph 22 detects electrocardiogram information (for example, an electrocardiogram) indicating the electrical activity status of the occupant's heart. The configuration of the electrocardiograph 22 of the present embodiment is not particularly limited, and an electrocardiograph known at the time of filing can be used.
最後に、本実施形態の自動運転情報提供装置100の制御装置10について説明する。本実施形態の制御装置10は、自動運転機能のタスク情報を所定のタイミングで提示させるプログラムが格納されたROM(Read Only Memory)12と、このROM12に格納されたプログラムを実行することで、自動運転情報提供装置100として機能させる動作回路としてのCPU(Central Processing Unit)11と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)13と、を備えている。 Finally, the control device 10 of the automatic driving information providing device 100 of the present embodiment will be described. The control device 10 according to the present embodiment automatically executes a ROM (Read Only Memory) 12 in which a program for presenting task information of the automatic driving function at a predetermined timing is stored, and a program stored in the ROM 12. A CPU (Central Processing Unit) 11 as an operation circuit that functions as the driving information providing device 100 and a RAM (Random Access Memory) 13 that functions as an accessible storage device are provided.
本実施形態に係る自動運転情報提供装置100の制御装置10は、生体情報取得機能と、評価値導出機能と、意思決定タイミング判断機能と、提示制御機能とを備えている。本実施形態の制御装置10は、上記機能を実現するためのソフトウェアと、上述したハードウェアの協働により各機能を実行するコンピュータである。 The control device 10 of the automatic driving information providing apparatus 100 according to the present embodiment includes a biological information acquisition function, an evaluation value derivation function, a decision making timing determination function, and a presentation control function. The control device 10 of the present embodiment is a computer that executes each function by cooperation of software for realizing the above function and the above-described hardware.
以下に、自動運転情報提供装置100の制御装置10が実現する各機能についてそれぞれ説明する。 Below, each function which the control apparatus 10 of the automatic driving information provision apparatus 100 implement | achieves is each demonstrated.
まず、制御装置10の生体情報取得機能について説明する。本実施形態の制御装置10は、生体情報検出装置20の生体情報検出装置21により検出された、自車両を操作する乗員の眼球運動の情報を生体情報として取得する。本実施形態の制御装置10は、生体情報検出装置20の心電計22により検出された、乗員(人間)の心電情報を生体情報として取得する。 First, the biological information acquisition function of the control device 10 will be described. The control device 10 of the present embodiment acquires, as biological information, information on the eye movements of the occupant operating the host vehicle detected by the biological information detecting device 21 of the biological information detecting device 20. The control device 10 of the present embodiment acquires the occupant (human) electrocardiographic information detected by the electrocardiograph 22 of the biological information detection device 20 as biological information.
次に、制御装置10の評価値導出機能について説明する。制御装置10は、取得した生体情報から、生体情報の評価値を算出する。
本実施形態において、制御手段10は、乗員の眼球運動の情報を生体情報から、マイクロサッケードに関する眼球の動きの生体情報の評価値を導出する。具体的に、制御装置10は、マイクロサッケード運動に関する生体情報から、乗員の眼球のマイクロサッケードの大きさ(眼球の動きの振幅)、乗員の眼球のマイクロサッケードの発生頻度、及び乗員の眼球のマイクロサッケードが現れる時間の長さのうちの一つ以上を、眼球に関する生体情報の評価値として導出する。
Next, the evaluation value derivation function of the control device 10 will be described. The control device 10 calculates an evaluation value of the biological information from the acquired biological information.
In this embodiment, the control means 10 derives the evaluation value of the biological information on the movement of the eyeball related to the microsaccade from the biological information on the information on the eye movement of the occupant. Specifically, the control device 10 determines the size of the microsaccade of the occupant's eyeball (the amplitude of the movement of the eyeball), the occurrence frequency of the microsaccade of the occupant's eyeball, and the microsaccade of the occupant's eyeball from the biological information related to the microsaccade movement. One or more of the lengths of time for which a saccade appears is derived as an evaluation value of biological information regarding the eyeball.
先に、眼球の動きに関する生体情報の評価値について説明する。
図3Aに人間の目EYを示す。先述したように、人間の眼球は常に動き続けている。人間の目は一つの注視点を見ているときに、微小な反復運動をする。人間の目を経時的に観察すると、眼球は観察点oなどの所定位置を基準として移動角θの微小範囲で反復運動をする。図3Bは、眼球の瞳の中央部分(黒目の部分)などの基準ポイントの経時的な動きの情報である。図3Bに示す眼球に関する生体情報は、注視点を見ているときの眼球の動きのデータMS1〜MS6を含む。
First, the evaluation value of the biological information related to the movement of the eyeball will be described.
FIG. 3A shows the human eye EY. As mentioned earlier, the human eyeball is constantly moving. When the human eye looks at a single gazing point, it makes minute repetitive movements. When the human eye is observed over time, the eyeball repeatedly moves in a minute range of the movement angle θ with reference to a predetermined position such as the observation point o. FIG. 3B shows information on the movement of the reference point over time, such as the central part (black eye part) of the pupil of the eyeball. The biological information related to the eyeball shown in FIG. 3B includes eyeball movement data MS1 to MS6 when viewing the gazing point.
先述したように、眼球の動きの一つである固視微動には、トレモア(tremor)運動、ドリフト(drift)運動、マイクロサッケード(microsaccade)運動が含まれる。トレモア(tremor)運動は、高頻度(90Hz程度)で小振幅(<1 min of arc)の運動であり、ドリフト(drift)運動は、低速度(〜6 min of arc / sec)の運動であり、マイクロサッケード(microsaccade)運動は、高速度(1〜10 deg / sec)の跳躍的運動である。「一定角度以下の高速微小不随意眼球運動」の一つである眼球のマイクロサッケード運動は、角度1deg以下、角速度0.1〜10deg/secの運動とする。トレモア(tremor)運動はマイクロサッケード運動よりも振幅が小さいという特徴があり、ドリフト(drift)運動は、マイクロサッケード運動よりも角速度が低い(ゆっくり動く)という特徴がある。このため、図3Bに示すような眼球の動きに関する生体情報から、振幅が所定の閾値1よりも小さいデータMS4〜M6を除外し、振幅が所定の閾値2(閾値1と同値でもよい)以上のデータMS1〜MS3を、眼球のマイクロサッケード運動の情報として抽出できる。同様に、図3Bに示すような眼球の動きに関する生体情報から、角速度が所定の閾値3よりも小さいデータMS4〜M6を除外し、角速度が所定の閾値4(閾値3と同値でもよい)以上のデータMS1〜MS3を、眼球のマイクロサッケード運動の情報として抽出できる。 As described above, fixation microtremor which is one of eye movements includes tremor motion, drift motion, and microsaccade motion. Tremor movement is high frequency (about 90Hz) and small amplitude (<1 min of arc), drift movement is low speed (~ 6 min of arc / sec) movement The microsaccade motion is a high-speed (1-10 deg / sec) jumping motion. The micro saccade movement of the eyeball, which is one of the “high-speed involuntary eye movements of a certain angle or less”, is a movement with an angle of 1 deg or less and an angular velocity of 0.1 to 10 deg / sec. The tremor motion is characterized by a smaller amplitude than the micro saccade motion, and the drift motion is characterized by a lower angular velocity (moves slowly) than the micro saccade motion. For this reason, the data MS4 to M6 whose amplitude is smaller than the predetermined threshold 1 is excluded from the biological information regarding the movement of the eyeball as shown in FIG. 3B, and the amplitude is equal to or larger than the predetermined threshold 2 (may be equal to the threshold 1). Data MS1 to MS3 can be extracted as information on the microsaccade movement of the eyeball. Similarly, the data MS4 to M6 whose angular velocity is smaller than the predetermined threshold 3 are excluded from the biological information relating to the movement of the eyeball as shown in FIG. 3B, and the angular velocity is equal to or higher than the predetermined threshold 4 (may be equal to the threshold 3). Data MS1 to MS3 can be extracted as information on the microsaccade movement of the eyeball.
このように抽出されたマイクロサッケード運動の情報について、制御装置10は、図3Bに示す取得した眼球の動きの情報から、同図における眼球の動きの移動角θの大きさ(振幅θ)、同じ注視点に視線が滞留する滞留時間T、「一定角度以下の高速微小不随意眼球運動」と判断されるマイクロサッケードが発生する頻度(回数/時間)を算出する。眼球の動きの移動角θの大きさ、滞留時間T、マイクロサッケードが発生する頻度は、乗員の意思決定のタイミングの算出処理に用いられる。これらの生体情報の評価値の導出手法は特に限定されず、出願時に知られた手法を適宜に用いることができる。 Regarding the information of the micro saccade movement extracted in this manner, the control device 10 uses the same information on the movement of the eyeball shown in FIG. 3B as the magnitude (amplitude θ) of the movement angle θ of the movement of the eyeball in FIG. The residence time T during which the line of sight stays at the gazing point, and the frequency (number of times / hour) at which microsaccades determined as “high-speed minute involuntary eye movements below a certain angle” are calculated. The magnitude of the movement angle θ of the eyeball movement, the residence time T, and the frequency of occurrence of the microsaccade are used for the calculation process of the timing of decision of the occupant. The method for deriving evaluation values of these biological information is not particularly limited, and a method known at the time of filing can be used as appropriate.
次に、心臓の動きに関する生体情報の評価値について説明する。
本実施形態において、制御装置10は、取得した心電情報から、図4Aに示す心拍(R)の間隔(RRI:R−R Interval)を評価値として導出する。RRIは、心電図信号で最大振幅を持っているR波(左心室収縮時の心臓の心電図)の間隔である。制御装置10は、この変動時系列データ(心電図)から心拍(R)の間隔(RRI:R−R Interval)、及び/又は心拍の間隔(RRI)とRRIの分散値(RRV)をRRIで割った変動率を表すCVRR(下記式:数1)を、心臓に関する生体情報の評価値として導出する。RRI及びその平均値を図4Bの上側に示す。RRIを実線で示し、その平均値を破線で示す。RRIの分散値(RRV)をRRIで割った変動率を表すCVRR(下記式:数1)及びその平均値を、図4Bの上側に示す。CVRRを実線で示し、その平均値を破線で示す。これら心拍(R)の間隔(RRI:R−R Interval)、及びRRIの分散値である(RRV)は、乗員の意思決定のタイミングの算出処理に用いられる。
In the present embodiment, the control device 10 derives the heart rate (R) interval (RRI: RR Interval) shown in FIG. 4A as an evaluation value from the acquired electrocardiogram information. RRI is an interval between R waves (electrocardiograms of the heart when the left ventricle contracts) having the maximum amplitude in the electrocardiogram signal. The control device 10 divides the heartbeat (R) interval (RRI: R-R Interval) and / or the heartbeat interval (RRI) and the variance value (RRV) of the RRI from the fluctuation time series data (electrocardiogram) by the RRI. CVRR (the following formula: Formula 1) representing the fluctuation rate is derived as an evaluation value of biological information related to the heart. RRI and its average value are shown on the upper side of FIG. 4B. RRI is indicated by a solid line, and the average value is indicated by a broken line. CVRR (the following formula: Formula 1) representing a variation rate obtained by dividing the RRI dispersion value (RRV) by RRI and the average value thereof are shown on the upper side of FIG. 4B. CVRR is indicated by a solid line, and the average value is indicated by a broken line. The interval between heartbeats (R) (RRI: R-R Interval) and the RRI variance (RRV) are used for the calculation process of the occupant's decision making timing.
続いて、本実施形態の制御装置10の意思決定タイミング判断機能について説明する。
本実施形態の制御装置10は、導出された生体情報の評価値と、予め設定された乗員の意思決定状態を評価するための評価基準値とを比較し、比較の結果から乗員が意思決定を行ったタイミングを判断する。
Subsequently, the decision making timing determination function of the control device 10 of the present embodiment will be described.
The control device 10 according to the present embodiment compares the derived evaluation value of the biological information with a preset evaluation reference value for evaluating the decision-making state of the occupant, and the occupant makes a decision based on the comparison result. Determine the timing of the visit.
まず、眼球の動きに関する生体情報を用いて、乗員が意思決定を行ったタイミングを判断する手法について説明する。 First, a method for determining the timing at which an occupant made a decision using biological information relating to the movement of the eyeball will be described.
ところで、人間が選択課題に対して自ら意思決定を行うときに、眼球の固視微動に特徴的な変化が起きることが知られている。通常、視線の移動前後におけるマイクロサッケード運動の振幅や頻度に大きな変化はないが、選択課題に対する意思決定が行われると、マイクロサッケードの振幅と頻度に変化が生じることが知られている。また、人間が複数の候補の中からいずれか一つを選ぶという選択課題に対して意思決定を行なうときには、自身が選ぼうとしている候補へ向けた視線の滞留時間は、他の候補(選ばない候補)へ向けた視線の滞留時間よりも長くなる傾向があることが知られている。たとえば、乗員が一の注視点に向けた視線の滞留時間が所定値よりも長い場合には、乗員の脳内においてその注視点に対応する候補を選択していることが分かる。 By the way, it is known that when humans make their own decisions on a selection task, a characteristic change occurs in eyeball fixation micromotion. Usually, there is no significant change in the amplitude and frequency of the microsaccade movement before and after the movement of the line of sight, but it is known that when the decision on the selection task is made, the amplitude and frequency of the microsaccade change. In addition, when making a decision for a selection task in which a human selects one of a plurality of candidates, the dwell time of the line of sight toward the candidate that he / she wants to select is not selected. It is known that it tends to be longer than the dwell time of the line of sight toward (candidate). For example, if the occupant's gaze dwell time toward one gaze point is longer than a predetermined value, it can be seen that the candidate corresponding to that gaze point is selected in the occupant's brain.
以上のように、乗員の眼球のマイクロサッケードの振幅、頻度が所定値よりも減少するタイミング、乗員の視線の滞留時間が所定値よりも長いと評価されたタイミングは、乗員が意思決定をしたタイミングであると判断できる。 As described above, the timing at which the amplitude and frequency of the micro saccade of the occupant's eyeball are reduced below a predetermined value, and the timing at which the occupant's gaze retention time is evaluated to be longer than the predetermined value are the timing at which the occupant made a decision. It can be judged that.
このため、本実施形態の制御装置10は、乗員の眼球のマイクロサッケードの発生頻度が予め設定された発生頻度の評価基準値よりも低い値に変化したタイミング、乗員の眼球の移動角の大きさが予め設定された移動角の評価基準値よりも低い値に変化したタイミング、又は同じ注視点に視線が滞留する滞留時間が予め設定された滞留時間の評価基準値よりも長いと評価されたタイミングを、乗員が意思決定を行ったタイミングであると判断する。本実施形態の評価基準値は、乗員の眼球のマイクロサッケードの発生頻度が有意に減少する変化点、乗員の眼球の移動角の大きさが有意に減少する変化点を抽出可能なように設定することが好ましい。また、注視点に視線が滞留する滞留時間の基準評価値は、意思決定が行われているか否かが判断できる時間として設定することが好ましい。特に限定されないが、発明者らの「意思選択課題」についての実験結果によれば、意思決定時には視線の滞留時間が1.2〜1.5秒以上となることが導かれている。特に限定されないが、本実施形態における滞留時間の基準評価値は、1.0〜1.7秒程度に設定する。 For this reason, the control apparatus 10 of this embodiment is the timing when the occurrence frequency of the micro saccade of the occupant's eyeball changes to a value lower than the preset evaluation reference value of the occurrence frequency, and the magnitude of the movement angle of the occupant's eyeball. Is a timing at which the movement angle is changed to a value lower than a preset evaluation reference value of the moving angle, or a timing at which the dwell time at which the line of sight stays at the same gaze point is evaluated to be longer than a preset dwell time evaluation reference value Is determined to be the timing when the occupant makes a decision. The evaluation reference value of the present embodiment is set so that a change point where the occurrence frequency of the micro saccade of the occupant's eyeball is significantly reduced and a change point where the magnitude of the movement angle of the occupant's eyeball is significantly reduced can be extracted. It is preferable. Moreover, it is preferable to set the reference evaluation value of the staying time during which the line of sight stays at the gazing point as a time during which it can be determined whether or not the decision is made. Although not particularly limited, according to the experimental results of the “intention selection task” by the inventors, it is derived that the staying time of the line of sight becomes 1.2 to 1.5 seconds or more when making a decision. Although not particularly limited, the reference evaluation value of the residence time in the present embodiment is set to about 1.0 to 1.7 seconds.
なお、評価基準値は、生体情報検出装置20の検出精度、自動運転制御装置200の制御内容、運転操作における乗員の意思決定をする対象の難易度などの影響もあるため、実験的に定義することが好ましい。具体的には、実験的に求めた乗員の眼球のマイクロサッケードの発生頻度、乗員の眼球の移動角の大きさ、注視点に視線が滞留する滞留時間の平均値、ピーク値、中央値などの代表値を基準評価値として定義してもよい。 Note that the evaluation reference value is experimentally defined because it has influences such as the detection accuracy of the biological information detection device 20, the control content of the automatic driving control device 200, and the level of difficulty of an occupant's decision in driving operation. It is preferable. Specifically, the frequency of microsaccades of the occupant's eye obtained experimentally, the size of the movement angle of the occupant's eye, the average value, the peak value, the median value of the dwell time when the line of sight stays at the gazing point, etc. A representative value may be defined as a reference evaluation value.
図3Bに示す眼球の動きに関する生体情報に基づいて、乗員が意思決定を行ったタイミングの判断手法を説明する。 Based on the biological information relating to the movement of the eyeball shown in FIG. 3B, a method for determining the timing at which the occupant made a decision will be described.
第1に、眼球の動きの移動角θに基づく判断手法を説明する。ここでは、説明の便宜のために、図3Bに示す眼球の動きのデータMS1〜MS6のすべてがマイクロサッケード運動の定義条件を満たすと仮定する。眼球の動きのデータMS1〜MS3に示される眼球の動きの移動角θ1の最大幅は、眼球の動きのデータMS4〜MS6に示される眼球の動きの移動角θ2の最大幅よりも大きい。移動角の評価基準値θTHが、θ2<θTH<θ1の条件を満たすように定義されているとする。データMS1〜MS3に示される眼球の動きの移動角θ1は評価基準値θTHよりも高いが、データMS4〜MS6に示される眼球の動きの移動角θ2は評価基準値θTHよりも低い。制御装置10は、各乗員の眼球の移動角の大きさが、評価基準値θTHよりも高いデータMS1〜3から評価基準値θTHよりも低いデータMS4〜6へ変化したタイミングTdを、乗員が意思決定を行ったタイミングであると判断する。 First, a determination method based on the movement angle θ of the eyeball movement will be described. Here, for convenience of explanation, it is assumed that all of the eye movement data MS1 to MS6 shown in FIG. 3B satisfy the definition conditions of the microsaccade movement. The maximum width of the movement angle θ1 of the eyeball movement shown in the eyeball movement data MS1 to MS3 is larger than the maximum width of the movement angle θ2 of the eyeball movement shown in the eyeball movement data MS4 to MS6. Assume that the evaluation reference value θTH of the moving angle is defined so as to satisfy the condition of θ2 <θTH <θ1. The movement angle θ1 of the eye movement shown in the data MS1 to MS3 is higher than the evaluation reference value θTH, but the movement angle θ2 of the eye movement shown in the data MS4 to MS6 is lower than the evaluation reference value θTH. The control device 10 allows the occupant to determine the timing Td when the movement angle of each occupant's eyeball changes from the data MS1 to MS3 higher than the evaluation reference value θTH to the data MS4 to 6 lower than the evaluation reference value θTH. It is determined that it is time to make a decision.
第2に、マイクロサッケードの発生頻度に基づく判断手法を説明する。ここでは、説明の便宜のために、図3Bに示す眼球の動きのデータMS1〜MS3はマイクロサッケードの定義条件を満たし、眼球の動きのデータMS4〜MS6はマイクロサッケードの定義条件を満たさないと仮定する。眼球の動きのデータMS1〜MS3が検出された時間Tと、眼球の動きのデータMS4〜MS6が検出された時間Tは、ほぼ同じである。つまり、開始のタイミングT0からタイミングTdまでの時間Tにおけるマイクロサッケードの発生頻度は3/時間Tであるのに対し、TdからデータMS6の検出が完了するまでの時間Teにおける、マイクロサッケードの発生頻度は0/時間Tである。制御装置10は、マイクロサッケードの発生頻度が、評価基準値KTHよりも高いデータMS1〜3から、評価基準値KTHよりも低いデータMS4〜6へ変化したタイミングTdを、乗員が意思決定を行ったタイミングであると判断する。 Second, a determination method based on the occurrence frequency of microsaccades will be described. Here, for convenience of explanation, it is assumed that the eye movement data MS1 to MS3 shown in FIG. 3B satisfy the micro saccade definition conditions, and the eye movement data MS4 to MS6 do not satisfy the micro saccade definition conditions. To do. The time T when the eye movement data MS1 to MS3 is detected is substantially the same as the time T when the eye movement data MS4 to MS6 are detected. That is, the occurrence frequency of the micro saccade at the time T from the start timing T0 to the timing Td is 3 / hour T, whereas the occurrence frequency of the micro saccade at the time Te from the time Td until the detection of the data MS6 is completed. Is 0 / hour T. In the control device 10, the occupant made a decision at the timing Td at which the occurrence frequency of the microsaccade changed from the data MS1 to MS3 higher than the evaluation reference value KTH to the data MS4 to 6 lower than the evaluation reference value KTH. Judge that it is timing.
第3に、視線の滞留時間に基づく意思決定のタイミングの判断手法を説明する。図3Bに示す眼球の動きのデータMS1〜MS6は、異なる注視点に視線が向けられたときの眼球の動きである。なお、視線の滞留時間に基づく意思決定のタイミングの判断手法においては、判断のソースとなるデータMS1〜MS6をマイクロサッケード運動のデータに限定しなくてもよい。眼球の動きのデータMS1における視線の滞留時間時間Ts1と、眼球の動きのデータMS2における視線の滞留時間時間Ts2と、眼球の動きのデータMS3における視線の滞留時間時間Ts3とを比較すると、滞留時間時間Ts1と滞留時間時間Ts2とはほぼ等しい時間であるが、滞留時間時間Ts3はTs1及びTs2よりも有意に長い。制御装置10は、順次発生するデータMSの滞留時間を計測し、その滞留時間の長さを評価基準値と比較する。制御装置10は、乗員の視線の滞留時間時間Ts3が評価基準値よりも長いと判断されたとき、つまり、眼球の動きのデータMS3の検出が完了したタイミングTdを、乗員が意思決定を行ったタイミングであると判断する。 Third, a method for determining the timing of decision making based on the dwell time of the line of sight will be described. The eye movement data MS1 to MS6 shown in FIG. 3B are eye movements when the line of sight is directed to different gazing points. In the determination method of the decision making timing based on the staying time of the line of sight, the data MS1 to MS6 that are the source of the determination may not be limited to the data of the micro saccade movement. When the eye gaze dwell time Ts1 in the eye movement data MS1, the gaze dwell time Ts2 in the eye movement data MS2, and the gaze dwell time Ts3 in the eye movement data MS3 are compared, the dwell time Although the time Ts1 and the residence time Ts2 are substantially equal, the residence time Ts3 is significantly longer than Ts1 and Ts2. The control device 10 measures the residence time of the data MS that is sequentially generated, and compares the length of the residence time with the evaluation reference value. When it is determined that the occupant's line-of-sight dwell time Ts3 is longer than the evaluation reference value, the control device 10 makes a decision at the timing Td when the detection of the eye movement data MS3 is completed. Judge that it is timing.
次に、心臓の心電情報に関する生体情報を用いて、乗員が意思決定を行ったタイミングを判断する手法について説明する。 Next, a method for determining the timing at which the occupant made a decision using biometric information related to the electrocardiogram information of the heart will be described.
先に、図4A,図4Bを参照して、心拍の間隔(RRI)、RRIの分散値(RRV)、及びRRIの分散値(RRV)をRRIで割った変動率を表すCVRRを説明した。 The heart rate interval (RRI), the RRI variance value (RRV), and the CVRR representing the rate of change obtained by dividing the RRI variance value (RRV) by the RRI have been described with reference to FIGS. 4A and 4B.
心臓の心電情報に関する生体情報の特徴量には、自律神経系の交感神経と副交感神経のバランスの状態が反映されている。人間が選択課題を遂行しているとき、つまり考査中には、交感神経が優位になり、交差の結果に基づく意思決定が行われるときには副交感神経系が優位になることが知られている。つまり、この交感神経優位から副交感神経優位への変化に伴い、RRIが増加(心拍数が減少)し、CVRRが減少する。本実施形態では、このRRIの増加又はCVRRの減少を継続的に監視することで、自律神経系の活動変化に基づく意思決定タイミングを判断できる。 The balance of the sympathetic nerve and the parasympathetic nerve of the autonomic nervous system is reflected in the feature amount of the biological information related to the electrocardiographic information of the heart. It is known that the sympathetic nerve dominates when a human is performing a selection task, that is, during an examination, and the parasympathetic nervous system dominates when making a decision based on the result of the intersection. That is, with this change from sympathetic nerve dominance to parasympathetic dominance, RRI increases (heart rate decreases) and CVRR decreases. In this embodiment, the decision timing based on the activity change of the autonomic nervous system can be determined by continuously monitoring the increase in RRI or the decrease in CVRR.
特に限定されないが、本実施形態では、RRI、CVRRともに、現在から数秒前(3〜5秒程度、最大30秒)の移動平均を算出し、その値の増減率が閾値(平均する長さに応じて設定する)を超えたら、増加・減少に転じたと評価する。図4Bに示す例では、RRIの移動平均が増加するタイミングTdにおいて意思決定がされたと判断できる。同様に、図4Bに示す例では、CVRRの移動平均が減少するタイミングTdにおいて意思決定がされたと判断できる。なお、RRIとCVRRの変化は意思決定より早めに起きると言われているので、極大・極小として現れるのは意思決定完了後になる。 Although not particularly limited, in this embodiment, both RRI and CVRR calculate a moving average several seconds before (approximately 3 to 5 seconds, a maximum of 30 seconds) from the present, and the increase / decrease rate of the value is a threshold value (the average length). If it exceeds (set accordingly), it is evaluated that it has started to increase or decrease. In the example shown in FIG. 4B, it can be determined that the decision has been made at the timing Td when the moving average of the RRI increases. Similarly, in the example shown in FIG. 4B, it can be determined that a decision has been made at timing Td when the moving average of CVRR decreases. Note that changes in RRI and CVRR are said to occur earlier than decision making, so that the maximum and minimum appear after decision making.
また、心電の周波数解析からパワースペクトルを求め、その高周波成分(HF:0.15〜0.4Hz)と低周波成分(0.05〜0.15Hz)のバランスから、自律神経系の活動状態を知ることができることが知られている。本実施形態では、RRI(心拍変動時系列)データを取得し、パワースペクトル解析を行う。その結果を0.05〜0.15Hz(LF)、0.15〜0.40Hz(HF)の区間で積分し、その積分値をそれぞれLF、HFとする。LF/HFの値を評価値とする。LF/HFの値が評価基準値よりも大きいと交感神経が優位と判断でき、LF/HFの値が評価基準値よりも小さいと副交感神経が優位と判断できる。この手法によっても、乗員の意思決定タイミングを推定できる。 In addition, the power spectrum is obtained from the frequency analysis of the electrocardiogram, and the activity state of the autonomic nervous system can be known from the balance between the high frequency component (HF: 0.15 to 0.4 Hz) and the low frequency component (0.05 to 0.15 Hz). Are known. In the present embodiment, RRI (heart rate variability time series) data is acquired and power spectrum analysis is performed. The result is integrated in a section of 0.05 to 0.15 Hz (LF) and 0.15 to 0.40 Hz (HF), and the integrated values are set to LF and HF, respectively. The value of LF / HF is used as the evaluation value. If the value of LF / HF is larger than the evaluation reference value, it can be determined that the sympathetic nerve is dominant, and if the value of LF / HF is smaller than the evaluation reference value, it can be determined that the parasympathetic nerve is dominant. This method can also estimate the passenger's decision making timing.
最後に、本実施形態の自動運転情報提供装置100の制御装置10の提示制御機能について説明する。 Finally, the presentation control function of the control device 10 of the automatic driving information providing device 100 of this embodiment will be described.
本実施形態の制御装置10は、乗員が意図すると推定された進行方向が自車両の現在の進行方向と異なる場合、つまり、自車両が右左折や車線変更の運転制御をする場面を抽出する。そして、制御装置10は、乗員が意思決定を行ったと判断されたタイミングで、乗員が意図すると推定された進行方向へ自車両を移動させる制御内容を、自動運転機能が実行する実行タスクとして提示装置30に提示させる。提示の手法は、画像による出力であってもよいし、音声による出力であってもよい。 The control device 10 of the present embodiment extracts a scene in which the traveling direction estimated to be intended by the occupant is different from the current traveling direction of the host vehicle, that is, the scene in which the host vehicle performs right / left turn or lane change operation control. Then, the control device 10 presents, as an execution task executed by the automatic driving function, the control contents for moving the host vehicle in the traveling direction estimated to be intended by the occupant at the timing when the occupant is determined to have made a decision. 30. The presentation method may be an output by an image or an output by sound.
続いて、図5に基づいて、本実施形態の自動運転情報提供装置100のタスク情報の表示手法を具体的に説明する。図5は、実施形態に係る走行制御システム1000の制御手順を示すフローチャートである。本処理は、自動運転機能が動作しているときに実行される。 Next, a task information display method of the automatic driving information providing apparatus 100 according to the present embodiment will be specifically described with reference to FIG. FIG. 5 is a flowchart illustrating a control procedure of the travel control system 1000 according to the embodiment. This process is executed when the automatic driving function is operating.
図8に示すように、まず、ステップS10において、制御装置10は、自車両が走行する経路上に検出された分岐地点に所定距離以下に接近したか否かを判断する。分岐地点に接近した場合には本処理を実行する。ステップS11において、制御装置10は、分岐地点において自車両を操作する乗員が意図すると推測された進行方向をナビゲーション装置70から取得する。制御装置10は、生体情報検出装置20から自車両を操作する乗員の生体情報を取得する。 As shown in FIG. 8, first, in step S <b> 10, the control device 10 determines whether or not the branch point detected on the route traveled by the host vehicle has approached a predetermined distance or less. This process is executed when a branch point is approached. In step S <b> 11, the control device 10 acquires from the navigation device 70 the traveling direction estimated to be intended by the occupant operating the host vehicle at the branch point. The control device 10 acquires the biological information of the occupant who operates the host vehicle from the biological information detection device 20.
ステップS12において、制御装置10は、生体情報から評価値を導出する。ステップS13において、制御装置10は、生体情報の評価値と、予め設定された乗員の意思決定状態を評価するための評価基準値とを比較し、比較の結果から乗員が意思決定を行ったタイミングを判断する。 In step S12, the control device 10 derives an evaluation value from the biological information. In step S13, the control device 10 compares the evaluation value of the biometric information with a preset evaluation reference value for evaluating the occupant's decision-making state, and the timing at which the occupant makes a decision based on the comparison result. Judging.
ステップS14において、制御装置10は、実行タスクの提示タイミングであるか否かを判断する。具体的に、制御装置10は、乗員が意図すると推定された進行方向が自車両の現在の進行方向と異なる場面であるか否かを判断する。つまり、自動運転制御装置200が車両を予測された経路に沿って進行させようとするときに、接近している分岐点において右左折や走行レーン変更が必要であるか否かを判断する。現在、車両が直進しているが、接近中の分岐点において右左折や走行レーン変更が必要である場合には、実行タスクが直進から右左折等に変更されるので、変更後の実行タスクの提示が必要である。このため、制御装置10は、分岐地点において、乗員が意図すると推定された進行方向が、自車両の現在の進行方向と異なる場面である場合には、実行タスクの提示タイミングであると判断する。 In step S14, the control device 10 determines whether or not it is the execution task presentation timing. Specifically, the control device 10 determines whether or not the traveling direction estimated to be intended by the occupant is a scene different from the current traveling direction of the host vehicle. That is, when the automatic driving control apparatus 200 tries to advance the vehicle along the predicted route, it is determined whether a right / left turn or a traveling lane change is necessary at the approaching branch point. Currently, the vehicle is going straight, but if it is necessary to turn left or right or change the driving lane at the approaching branch point, the execution task will be changed from straight ahead to right or left turn, etc. Presentation is required. For this reason, the control apparatus 10 determines that it is the execution task presentation timing when the traveling direction estimated by the occupant is different from the current traveling direction of the host vehicle at the branch point.
ステップS15において、制御装置10は、意思決定タイミング判断機能により判断されたタイミングで、乗員が意図すると推定された進行方向へ自車両を移動させる制御内容を、自動運転機能が実行する実行タスクとして提示装置30に提示させる。 In step S <b> 15, the control device 10 presents the control contents for moving the host vehicle in the traveling direction estimated to be intended by the occupant at the timing determined by the decision making timing determination function as an execution task executed by the automatic driving function. Let the device 30 present it.
ステップS16において、実行タスクは乗員により容認されたか否かを判断する。実行タスクが容認されない場合には、ステップS18へ進み、制御装置10は、提示した実行タスクに対するユーザからの変更入力又は一時停止入力を受け付ける。ユーザは、図2D、図2Eに示すように、提示された実行タスクを容認しない場合には、意図する進行方向や一時停止を入力できる。 In step S16, it is determined whether the execution task has been accepted by the occupant. When the execution task is not accepted, the process proceeds to step S18, and the control device 10 receives a change input or a pause input from the user for the presented execution task. As shown in FIGS. 2D and 2E, the user can input an intended traveling direction and pause when the presented execution task is not accepted.
提示した実行タスクが容認された場合には、ステップS17に進み、自動運転制御装置200は、タスクを実際に実行できる環境であるか否かを判断する。具体的に、自動運転制御装置200は、先行車両との間隔、対向車両の有無などを判断する。ステップS19において、自動運転制御装置200は、容認された実行タスク又はユーザが変更した実行タスクを実行する。 If the presented execution task is accepted, the process proceeds to step S17, and the automatic driving control apparatus 200 determines whether or not the environment is such that the task can actually be executed. Specifically, the automatic driving control device 200 determines an interval from the preceding vehicle, the presence / absence of an oncoming vehicle, and the like. In step S19, the automatic driving control apparatus 200 executes the accepted execution task or the execution task changed by the user.
本実施形態の自動運転情報提供装置100は、自動運転機能が次に行う「実行タスク」を、この「実行タスク」が実際に行われるよりも前のタイミングであって、かつ、乗員の生体情報から乗員が意思決定を行ったと判断されたタイミングにおいて、現時点から近い将来(数秒以内)に行われる「実行タスク」として表示する。人間が行動をする場合には、実際に行動するよりも前のタイミングで行動に関する意思決定をしている事実に倣い、本実施形態の自動運転情報提供装置100は、自動運転機能による自車両の動作内容を、その動作が実際に行われる要理も前のタイミングの意思決定のタイミングにおいて提示する。 The automatic driving information providing apparatus 100 according to the present embodiment performs the “execution task” to be performed next by the automatic driving function at a timing before the “execution task” is actually performed, and the biological information of the occupant Is displayed as an “execution task” to be performed in the near future (within several seconds) from the present time at the timing when it is determined that the occupant has made a decision. When humans act, the automatic driving information providing apparatus 100 according to the present embodiment is based on the fact that a decision on behavior is made at a timing prior to actual behavior. The contents of the operation are presented at the timing of decision making at the previous timing, as well as the reason why the operation is actually performed.
これにより、乗員は、乗員とは別の判断系統(制御装置)を持つ自動運転制御装置200の制御による車両操作を、あたかも自己の決定に基づく操作のように感じることができる。これにより、乗員は自車両の自動走行制御に対して違和感を感じることがない。さらには、乗員に自動運転機能を有する自車両との一体感を感じさせることができる。 Thus, the occupant can feel the vehicle operation under the control of the automatic driving control device 200 having a determination system (control device) different from the occupant as if it were an operation based on his / her own determination. Thereby, a passenger | crew does not feel discomfort with respect to the automatic traveling control of the own vehicle. Furthermore, it is possible to make the passenger feel a sense of unity with the host vehicle having an automatic driving function.
続いて、図6〜8に基づいて、本実施形態の自動運転情報提供動作を説明する。
図6は、自車両Vが、自車両の走行する経路上の分岐地点である交差点Qに至るまでに表示されるタスク情報を、自車両が通過する順に従い、地点P1〜P4ごとに示す図である。分岐地点において自車両を操作する乗員が意図すると推測された進行方向を実線で示す。自車両が走行可能な経路であって、推測された進行方向以外の経路を破線で示す。本処理において、乗員の意思決定のタイミングを判断する場面は、現在の走行状態(直進状態)から車両挙動が変化する(旋回タスク:右折・左折・車線変更・停車)場合のみとする。つまり、車両が旋回状態から直進状態に戻る場合には、乗員の意思決定タイミングの判断は行わずに、車両挙動のタイミングに合わせて実行タスクを提示する。
Then, based on FIGS. 6-8, the automatic driving | operation information provision operation | movement of this embodiment is demonstrated.
FIG. 6 is a diagram showing task information displayed until the host vehicle V reaches the intersection Q, which is a branch point on the route on which the host vehicle travels, for each of the points P1 to P4 according to the order in which the host vehicle passes. It is. The direction of travel presumed to be intended by the occupant operating the vehicle at the branch point is indicated by a solid line. A route on which the host vehicle can travel, and a route other than the estimated traveling direction is indicated by a broken line. In this process, the timing for determining the decision of the occupant is only when the vehicle behavior changes from the current running state (straight-ahead state) (turning task: right turn / left turn / lane change / stop). That is, when the vehicle returns from the turning state to the straight traveling state, the execution task is presented in accordance with the timing of the vehicle behavior without making a determination of the occupant's decision making timing.
乗員の意思決定のタイミングを推定する処理は、現在時速から算出される先行車両と自車両の距離に対応する車間時間:THW(Time head way)を用い、分岐地点などので車両挙動が変化するタイミング(自動走行によって車載システムが右折又は左折のために自動運転を行う車載システムがステアリングを旋回させ始めるタイミング)の7秒前から1.2秒前の区間とする。1.2秒前までに意思決定のタイミングが判断できなかった場合には、タスク変更指示がない限り、その時点(1.2秒前)に実行タスクの表示に切り替える。 The process of estimating the timing of occupant decision-making is performed using a time headway (THW) corresponding to the distance between the preceding vehicle and the host vehicle calculated from the current speed, and the timing at which the vehicle behavior changes at a branch point or the like. A period from 7 seconds before to 1.2 seconds before (the timing at which the vehicle-mounted system that performs automatic driving for turning right or left by automatic traveling starts turning the steering wheel). If the timing of decision making cannot be determined before 1.2 seconds, unless there is a task change instruction, the display is switched to the execution task display at that time (1.2 seconds before).
交差点Qに到着する7〜10秒前の地点P1の手前においては、タスク情報TK1が提示される。実行中のタスクは直進走行であり、現時点では右左折等をする必要がないため、タスク情報T1に次のタスクは表示されていない。タスク情報TK1は、選択の可能性がある右側走行レーンへの車線変更のタスクと一時停止のタスクを含む。なお、交差点Qへ至る時間は、現在位置と交差点Qの位置(地図情報71から取得)との距離と、自車両の車速(車速センサ82から取得)により算出できる。 Task information TK1 is presented before point P1 7 to 10 seconds before arrival at intersection Q. Since the task being executed is straight running and there is no need to make a right or left turn at this time, the next task is not displayed in the task information T1. The task information TK1 includes a task for changing the lane to the right lane that may be selected and a task for pause. The time to the intersection Q can be calculated from the distance between the current position and the position of the intersection Q (obtained from the map information 71) and the vehicle speed of the own vehicle (obtained from the vehicle speed sensor 82).
地点P1を通過後、交差点Qに到着する右折操作が限界となる地点P2の手前においては、タスク情報TK2が提示される。実行中のタスクは直進走行であり、現時点では右左折等をする必要がないため、タスク情報TK2に次のタスクは表示されていない。タスク情報TK2は、選択の可能性がある右側走行レーンへの車線変更のタスクと、右左折のタスクと、一時停止のタスクを含む。 The task information TK2 is presented in front of the point P2 where the right turn operation arriving at the intersection Q becomes a limit after passing the point P1. Since the task being executed is straight running and there is no need to make a right or left turn at this time, the next task is not displayed in the task information TK2. The task information TK2 includes a task for changing lanes to the right lane that may be selected, a task for turning right and left, and a task for pause.
地点P2を通過後、交差点Qに到着する左折開始5〜7秒前の地点P3の手前においては、タスク情報TK3が提示される。実行中のタスクは直進走行であり、現時点では右左折等をする必要がないため、タスク情報TK3に次のタスクは表示されていない。タスク情報TK3は、選択の可能性がある右側走行レーンへの車線変更のタスクと、右左折のタスクと、一時停止のタスクを含む。 The task information TK3 is presented in front of the point P3 5 to 7 seconds before the left turn starting to arrive at the intersection Q after passing through the point P2. Since the task being executed is straight running and there is no need to make a right or left turn at this time, the next task is not displayed in the task information TK3. The task information TK3 includes a task for changing the lane to the right lane that may be selected, a task for turning right and left, and a task for pause.
地点P3を通過後、交差点Qに到着する左折開始1.2〜3秒前の地点P4の手前においては、タスク情報TK4が提示される。実行中のタスクは直進走行であり、次のタスクは左折(斜線を付した矢印で示す)である。タスク情報TK4は、選択の可能性がある右側走行レーンへの車線変更のタスクと、一時停止のタスクを含む。 After passing through the point P3, task information TK4 is presented in front of the point P4 1.2 to 3 seconds before the left turn starting to arrive at the intersection Q. The task being executed is straight running, and the next task is a left turn (indicated by a hatched arrow). The task information TK4 includes a task for changing the lane to the right lane where there is a possibility of selection, and a task for pause.
地点P4を通過後、交差点Qに到着する手前においては、タスク情報TK5が提示される。実行中のタスクは左折であり、次のタスクは直進走行(斜線を付した矢印で示す)である。タスク情報TK5は、選択の可能性がある右側走行レーンへの車線変更のタスクと、一時停止のタスクを含む。 Before passing through the point P4 and before arriving at the intersection Q, task information TK5 is presented. The task being executed is a left turn, and the next task is a straight run (indicated by a hatched arrow). The task information TK5 includes a task for changing the lane to the right lane where there is a possibility of selection, and a task for pause.
交差点Qを左側に旋回後、地点Rの手前においては、タスク情報TK6が提示される。実行中のタスクは直進走行であり、次のタスクは無いので表示されない。タスク情報TK6は、選択の可能性がある一時停止のタスクを含む。 The task information TK6 is presented in front of the point R after turning the intersection Q to the left. The task being executed is straight running and there is no next task, so it is not displayed. The task information TK6 includes a suspended task that may be selected.
図7は、車両の挙動と、乗員の意思決定のタイミング、次のタスクの表示のタイミングと実行タスクの表示のタイミングを示すタイムチャートである。図7に示すように、乗員が意図する経路に沿って車両を移動させようとするとき、車両の挙動が直進から左折に切り替わるタイミングT2よりも、乗員の意思が直進から左折へ切り替わるタイミングT1の方が早い。本実施形態では、実際の車両の挙動のタイミングで、実行タスクと次のタスクに表示を切り替える。つまり、直進から左折へ乗員の意思が決定されるタイミングに合わせて、左折タスクを実行する実行タスクとして提示する。ちなみに、直進から左折へ乗員の意思が決定される前においては、左折タスクが次のタスクとして表示されているが、意思決定のタイミングにおいて、左折タスクは直後に行われる実行タスクの表示として切り替えられる。つまり、自動運転制御装置200が現在の制御内容(例えば直進)とは異なる制御内容(例えば右左折)を実行させるタスクを、乗員の意思が決定されるタイミングにおいて、その直後に実行される実行タスクとして乗員に提示する。 FIG. 7 is a time chart showing the behavior of the vehicle, the timing of the occupant's decision making, the display timing of the next task, and the display timing of the execution task. As shown in FIG. 7, when trying to move the vehicle along the route intended by the occupant, the timing of T1 at which the occupant's intention switches from straight travel to left turn than the timing T2 at which the vehicle behavior switches from straight travel to left turn. Faster. In the present embodiment, the display is switched between the execution task and the next task at the timing of actual vehicle behavior. That is, it is presented as an execution task for executing the left turn task in accordance with the timing when the occupant's intention is determined from going straight to turning left. By the way, the left turn task is displayed as the next task before the occupant's intention is decided from straight ahead to left turn, but at the timing of decision making, the left turn task is switched as the display of the execution task to be performed immediately after . In other words, a task for causing the automatic driving control device 200 to execute a control content (for example, right / left turn) different from the current control content (for example, straight travel) is executed immediately after the occupant's intention is determined. To present to the crew.
切り替え後に新たに表示された実行タスクの表示内容と、乗員の意思決定内容とが、乗員の意思決定タイミングにおいて合致することにより、乗員は意思決定をしたタイミングで、自身の意思が自動運転制御に反映されていることを確認できる。このように、意思決定のタイミングで、自己の意思に従った自動運転制御が行われることを確認できることにより、自動運転制御装置200に対する乗員の信頼を高めることができる。 The contents of the execution task newly displayed after switching and the occupant's decision-making contents match at the occupant's decision-making timing. You can confirm that it is reflected. As described above, it is possible to confirm that the automatic driving control according to the user's own intention is performed at the timing of the decision making, so that the occupant's confidence in the automatic driving control device 200 can be increased.
図7に示すように、生体情報を用いて乗員の意思決定タイミングを推定し、意思決定が行われたと判断されたタイミングで、実行タスクの表示を切り替える。このように、自動運転制御装置200が実際に左折タスクが実行されるのはタイミングT2であるが、本実施形態の自動運転情報提供装置100は、これに先んじて、乗員の意思決定のタイミングT1において、左折タスクを乗員に提示する。これにより、乗員が左折をする意思を決定したタイミングと、左折タスクが実行される旨の提示タイミングとを一致させることができるので、乗員は自動運転制御装置200が実行する動作を自らの意思決定のタイミングにおいて認知することが可能となり、実際に実行されたときに違和感を感じない。 As shown in FIG. 7, the occupant's decision making timing is estimated using the biological information, and the execution task display is switched at the timing when the decision making is determined. As described above, the automatic driving control apparatus 200 actually executes the left turn task at the timing T2, but the automatic driving information providing apparatus 100 according to the present embodiment prior to this, the occupant's decision making timing T1. The left turn task is presented to the occupant. Thus, the timing at which the occupant decides to make a left turn can be matched with the presentation timing to the effect that the left turn task is executed. It becomes possible to recognize at the timing of, and does not feel strange when actually executed.
図8は、従来の自動運転情報の提示手法と、本実施形態の自動運転情報の提示手法との差を示す図である。 FIG. 8 is a diagram illustrating a difference between a conventional automatic driving information presentation method and the automatic driving information presentation method of the present embodiment.
図8に示すように、従来の技術による比較例1では、車両が直進状態であるときには、B3に示すように、実行されている動作を示す直進方向の矢印が提示される。そして、車両が左折状態に遷移したときには、B2に示すように、実行されている動作を示す左方向の矢印が提示される。さらに、車両が左折後に直進状態に遷移したときには、B1に示すように、実行されている動作を示す直進方向の矢印が提示される。 As shown in FIG. 8, in Comparative Example 1 according to the conventional technique, when the vehicle is in a straight traveling state, an arrow in a straight traveling direction indicating the operation being performed is presented as shown in B3. When the vehicle transitions to the left turn state, as shown in B2, a left arrow indicating the operation being performed is presented. Furthermore, when the vehicle changes to a straight-ahead state after turning left, an arrow in a straight-ahead direction indicating the operation being performed is presented as shown in B1.
これに対し、本実施形態の実施例1では、車両が直進状態であるときには、A3に示すように、実行されている動作を示す直進方向の矢印が提示される。比較例1と異なるのは、実施例1では、左折の実行タスクが実際に車両が旋回動作を開始する数秒前(1.0〜2.0秒程度)に、A2に示すように、実行タスクを示す左方向の矢印が事前に提示される。そして、車両が左折後に直進状態に遷移したときには、A1に示すように、実行されている動作を示す直進方向の矢印が提示される。 On the other hand, in Example 1 of the present embodiment, when the vehicle is in a straight traveling state, an arrow in a straight traveling direction indicating the operation being performed is presented as indicated by A3. The difference from the first comparative example is that in the first example, the execution task for the left turn is the execution task as shown in A2 several seconds before the vehicle actually starts turning (about 1.0 to 2.0 seconds). A left-pointing arrow indicating is shown in advance. When the vehicle transitions to a straight-ahead state after a left turn, an arrow in a straight-ahead direction indicating the operation being performed is presented as indicated by A1.
自動運転動作が実行される場合において、乗員は、車載の自動運転制御装置200が行おうとしているタスクが自分の意図と合っているかどうかを監視する。人間が自らの意思決定に基づきあるタスクを実行する場合には、その意思決定はタスクの実行開始前に行われている。意思決定からタスク実行開始までの時間は、一般的に1.2秒以上といわれている。同様に、自動運転制御装置200が搭載された車両の乗員は、自動運転制御装置200がタスクを実行する前に、そのタスクを実行する意図が決定されている。本実施形態では、乗員が自車両の走行に関する意思を決定するタイミングに合わせて、実行中タスクの表示を切り替える。これにより、乗員が実行するタスクを決定するタイミングと、実行タスクの表示タイミングとが一致するので、乗員のタスクの監視負担を軽減できる。 When the automatic driving operation is executed, the occupant monitors whether or not the task that the in-vehicle automatic driving control device 200 is going to meet his / her intention. When a human executes a task based on his / her own decision, the decision is made before the start of task execution. The time from decision making to the start of task execution is generally said to be 1.2 seconds or longer. Similarly, the occupant of the vehicle on which the automatic driving control device 200 is mounted is determined to perform the task before the automatic driving control device 200 executes the task. In the present embodiment, the display of the running task is switched in accordance with the timing at which the occupant determines the intention regarding the traveling of the host vehicle. Thereby, since the timing which determines the task which a passenger | crew performs, and the display timing of an execution task correspond, the monitoring burden of a passenger | crew's task can be reduced.
本発明は以上のように構成され、以上のように作用するので、以下の効果を奏する。 Since this invention is comprised as mentioned above and acts as mentioned above, there exist the following effects.
[1]本発明に係る本実施形態の自動運転情報提供装置100によれば、乗員の意思決定のタイミングを考慮して自動運転制御に係る情報を事前に提示するので、自動運転制御が行われる際の車両の動作に対して乗員が違和感を感じないようにすることができる。これにより、車載システムが実行する自動運転制御に対する乗員の信頼度を高めることができる。 [1] According to the automatic driving information providing apparatus 100 of the present embodiment of the present invention, information related to automatic driving control is presented in advance in consideration of the timing of occupant decision-making, so automatic driving control is performed. It is possible to prevent the passenger from feeling uncomfortable with the operation of the vehicle at the time. Thereby, the reliability of the passenger | crew with respect to the automatic driving | running control which an in-vehicle system performs can be raised.
[2]本発明に係る本実施形態の自動運転情報提供装置100によれば、生体情報の評価値を乗員の眼球の動きの移動角の大きさ、乗員の眼球のマイクロサッケードの発生頻度とし、これらの評価値から乗員の意思が決定されたタイミングを適切に判断できる。。 [2] According to the automatic driving information providing apparatus 100 of the present embodiment according to the present invention, the evaluation value of the biological information is set as the magnitude of the movement angle of the movement of the occupant's eyeball, the occurrence frequency of the micro saccade of the occupant's eyeball, The timing at which the occupant's intention is determined can be appropriately determined from these evaluation values. .
[3]本発明に係る本実施形態の自動運転情報提供装置100によれば、生体情報の評価値が評価基準値よりも低い値に変化したタイミングを乗員の意思決定のタイミングとして判断する。これにより、乗員の眼球のマイクロサッケードの発生頻度が予め設定された発生頻度の評価基準値よりも低い値に変化したタイミング、乗員の眼球の移動角の大きさが予め設定された移動角の評価基準値よりも低い値に変化したタイミングから、乗員が意思決定を行ったタイミングを適切に判断できる。 [3] According to the automatic driving information providing apparatus 100 of the present embodiment according to the present invention, the timing at which the evaluation value of the biological information is changed to a value lower than the evaluation reference value is determined as the timing for occupant decision making. Thus, the timing at which the occurrence frequency of the micro saccade of the occupant's eyeball changes to a value lower than the preset evaluation frequency evaluation value, the evaluation of the movement angle at which the magnitude of the movement angle of the occupant's eyeball is set in advance. The timing at which the occupant makes a decision can be appropriately determined from the timing at which the value changes to a value lower than the reference value.
[4]本発明に係る本実施形態の自動運転情報提供装置100によれば、同じ注視点に視線が滞留する滞留時間とし、これらの評価値から乗員の意思が決定されたタイミングを適切に判断できる。 [4] According to the automatic driving information providing apparatus 100 of the present embodiment according to the present invention, the residence time in which the line of sight stays at the same gazing point is set, and the timing at which the occupant's intention is determined from these evaluation values is appropriately determined. it can.
[5]本発明に係る本実施形態の自動運転情報提供装置100によれば、生体情報の評価値が評価基準値よりも大きい値に変化したタイミングを乗員の意思決定のタイミングとして判断する。これにより、同じ注視点に視線が滞留する滞留時間が予め設定された滞留時間の評価基準値よりも長いと評価されたタイミングから、乗員が意思決定を行ったタイミングを適切に判断できる。 [5] According to the automatic driving information providing apparatus 100 of the present embodiment of the present invention, the timing at which the evaluation value of the biological information is changed to a value larger than the evaluation reference value is determined as the timing for occupant decision making. Accordingly, it is possible to appropriately determine the timing at which the occupant made a decision from the timing at which the staying time during which the line of sight stays at the same gazing point is longer than the preset evaluation reference value of the staying time.
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。 The embodiment described above is described for facilitating the understanding of the present invention, and is not described for limiting the present invention. Therefore, each element disclosed in the above embodiment is intended to include all design changes and equivalents belonging to the technical scope of the present invention.
すなわち、本明細書では、本発明に係る自動運転情報提供装置の一態様として自動運転情報提供装置100を例にして説明するが、本発明はこれに限定されるものではない。 That is, in the present specification, the automatic driving information providing apparatus 100 will be described as an example of the automatic driving information providing apparatus according to the present invention, but the present invention is not limited to this.
また、本明細書では、本発明に係る自動運転情報提供装置の一態様として、CPU11、ROM12、RAM13を含む制御装置10と、生体情報検出装置20と、提示装置30とを備える自動運転情報提供装置100を一例として説明するが、本発明はこれに限定されるものではない。 Further, in this specification, as one aspect of the automatic driving information providing apparatus according to the present invention, automatic driving information provision including a control device 10 including a CPU 11, a ROM 12, and a RAM 13, a biological information detection device 20, and a presentation device 30 is provided. The apparatus 100 will be described as an example, but the present invention is not limited to this.
また、本明細書では、本願発明に係る提示手段と、生体情報取得手段と、評価値導出手段と、意思決定タイミング判断手段と、提示制御手段とを有する自動運転情報提供装置の一態様として、生体情報取得機能と、評価値導出機能と、意思決定タイミング判断機能と、提示制御機能とを実行させる制御装置10と、提示機能を備えた提示装置30と、制御装置10が取得する生体情報を検出する生体情報検出装置20とを備える自動運転情報提供装置100を例にして説明するが、本発明はこれに限定されるものではない。 Further, in the present specification, as one aspect of the automatic driving information providing apparatus having the presenting means, the biological information acquiring means, the evaluation value deriving means, the decision making timing determining means, and the presentation control means according to the present invention, A control device 10 that executes a biometric information acquisition function, an evaluation value derivation function, a decision determination timing determination function, and a presentation control function, a presentation device 30 that includes the presentation function, and biological information that the control device 10 acquires. The automatic driving information providing apparatus 100 including the biological information detecting apparatus 20 to be detected will be described as an example, but the present invention is not limited to this.
また、本明細書では、本発明に係る自動運転情報提供装置の一態様である自動運転情報提供装置100と、自動運転制御装置200と、車両コントローラ60と、ナビゲーション装置70と、各種装置80とを備える走行支援システム1000を一例にして説明するが、本発明はこれに限定されるものではない。 Moreover, in this specification, the automatic driving information provision apparatus 100 which is one aspect | mode of the automatic driving information provision apparatus which concerns on this invention, the automatic driving control apparatus 200, the vehicle controller 60, the navigation apparatus 70, various apparatuses 80, and The driving support system 1000 including the above will be described as an example, but the present invention is not limited to this.
1000…走行制御システム
100…自動運転情報提供装置
10…制御装置
20…生体情報検出装置
21…眼球運動測定装置
22…心電計
30…提示装置
31…ディスプレイ
32…スピーカ
33…入力装置
60…車両コントローラ
70…ナビゲーション装置
71…地図情報
80…各種装置
DESCRIPTION OF SYMBOLS 1000 ... Driving control system 100 ... Automatic driving | operation information provision apparatus 10 ... Control apparatus 20 ... Biological information detection apparatus 21 ... Eye movement measuring apparatus 22 ... Electrocardiograph 30 ... Presentation apparatus 31 ... Display 32 ... Speaker 33 ... Input device 60 ... Vehicle Controller 70 ... Navigation device 71 ... Map information 80 ... Various devices
Claims (5)
前記自車両を操作する乗員の生体情報を取得する生体情報取得手段と、
前記生体情報の評価値を導出する評価値導出手段と、
前記生体情報の評価値と、予め設定された前記乗員の意思決定状態を評価するための評価基準値とを比較し、前記比較の結果から前記乗員が意思決定を行った意思決定タイミングを判断する意思決定タイミング判断手段と、
前記乗員が意図すると推定された進行方向が前記自車両の現在の進行方向と異なる場合には、前記判断された意思決定タイミングで、前記乗員が意図すると推定された進行方向を、前記提示手段に前記自動運転機能が実行する実行タスクとして提示させる提示制御手段と、を有することを特徴とする自動運転情報提供装置。 An occupant who operates the host vehicle at the branch point when an automatic driving function of the host vehicle is operating and the vehicle approaches a branch point detected on a route traveled by the host vehicle within a predetermined distance. Presenting means for presenting the direction of travel estimated to be intended as task information of the automatic driving function;
Biometric information acquisition means for acquiring biometric information of an occupant operating the host vehicle;
Evaluation value deriving means for deriving an evaluation value of the biological information;
The evaluation value of the biometric information is compared with a preset evaluation reference value for evaluating the occupant's decision-making state, and the decision timing at which the occupant made a decision is determined from the comparison result. A decision timing judgment means,
If the direction of travel estimated to be intended by the occupant is different from the current direction of travel of the host vehicle, the direction of travel estimated to be intended by the occupant at the determined decision timing is sent to the presenting means. An automatic driving information providing apparatus, comprising: presentation control means for presenting as an execution task executed by the automatic driving function.
前記生体情報の評価値は、前記乗員の眼球の動きの移動角の大きさ、前記乗員の眼球のマイクロサッケードの発生頻度であることを特徴とする、請求項1に記載の自動運転情報提供装置。 The biological information is eye movement,
2. The automatic driving information providing apparatus according to claim 1, wherein the evaluation value of the biological information is a magnitude of a movement angle of movement of the occupant's eyeball and a frequency of occurrence of micro saccades of the occupant's eyeball. .
前記生体情報の評価値が、前記予め設定された前記評価基準値よりも低い値に変化したタイミングを、前記乗員が意思決定を行ったタイミングであると判断することを特徴とする請求項2に記載の情報提供装置。 The decision timing judgment means is
3. The timing at which the evaluation value of the biological information changes to a value lower than the preset evaluation reference value is determined as the timing at which the occupant makes a decision. The information providing apparatus according to the description.
前記生体情報の評価値は、同じ注視点に視線が滞留する滞留時間であることを特徴とする請求項1に記載の自動運転情報提供装置。 The biological information is eye movement,
The automatic driving information providing apparatus according to claim 1, wherein the evaluation value of the biological information is a residence time in which the line of sight stays at the same point of sight.
前記生体情報の評価値が、前記予め設定された前記評価基準値よりも大きいと評価されたタイミングを、前記乗員が意思決定を行ったタイミングであると判断することを特徴とする請求項4に記載の情報提供装置。 The decision timing judgment means is
The timing at which the evaluation value of the biological information is evaluated to be greater than the preset evaluation reference value is determined to be the timing at which the occupant has made a decision. The information providing apparatus according to the description.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013221036A JP6291787B2 (en) | 2013-10-24 | 2013-10-24 | Vehicle display device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013221036A JP6291787B2 (en) | 2013-10-24 | 2013-10-24 | Vehicle display device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015081057A true JP2015081057A (en) | 2015-04-27 |
JP6291787B2 JP6291787B2 (en) | 2018-03-14 |
Family
ID=53011897
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013221036A Active JP6291787B2 (en) | 2013-10-24 | 2013-10-24 | Vehicle display device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6291787B2 (en) |
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5945999B1 (en) * | 2015-07-31 | 2016-07-05 | パナソニックIpマネジメント株式会社 | Driving support device, driving support system, driving support method, driving support program, and autonomous driving vehicle |
JP2016141220A (en) * | 2015-01-30 | 2016-08-08 | 富士通テン株式会社 | Information providing method, information providing device, information providing system, and vehicle |
US9460616B1 (en) | 2015-12-16 | 2016-10-04 | International Business Machines Corporation | Management of mobile objects and service platform for mobile objects |
US9467839B1 (en) | 2015-12-16 | 2016-10-11 | International Business Machines Corporation | Management of dynamic events and moving objects |
WO2016170763A1 (en) * | 2015-04-21 | 2016-10-27 | パナソニックIpマネジメント株式会社 | Driving assistance method, driving assistance device using same, automatic driving control device, vehicle, and driving assistance program |
US9497590B1 (en) | 2015-06-19 | 2016-11-15 | International Business Machines Corporation | Management of moving objects |
US9513134B1 (en) | 2015-12-16 | 2016-12-06 | International Business Machines Corporation | Management of evacuation with mobile objects |
JP2016216021A (en) * | 2015-04-21 | 2016-12-22 | パナソニックIpマネジメント株式会社 | Driving support method, and driving support device, automatic driving control device, vehicle and program utilizing the same |
US9562775B2 (en) | 2015-06-19 | 2017-02-07 | International Business Machines Corporation | Geographic space management |
JP2017030727A (en) * | 2016-05-18 | 2017-02-09 | パナソニックIpマネジメント株式会社 | Drive assist device, drive assist system, drive assist method, drive assist program and automatic operation vehicle |
JP2017033533A (en) * | 2016-03-16 | 2017-02-09 | パナソニックIpマネジメント株式会社 | Drive assist device, drive assist system, drive assist method, drive assist program and automatic operation vehicle |
JP2017033539A (en) * | 2016-05-31 | 2017-02-09 | パナソニックIpマネジメント株式会社 | Drive assist device, drive assist system, drive assist method, drive assist program and automatic operation vehicle |
US9576482B2 (en) | 2015-06-19 | 2017-02-21 | International Business Machines Corporation | Management of moving objects |
US9578093B1 (en) | 2015-12-16 | 2017-02-21 | International Business Machines Corporation | Geographic space management |
JP2017061191A (en) * | 2015-09-24 | 2017-03-30 | 日産自動車株式会社 | Support apparatus and support method |
US9638533B2 (en) | 2015-06-19 | 2017-05-02 | International Business Machines Corporation | Geographic space management |
JP2017091093A (en) * | 2015-11-06 | 2017-05-25 | トヨタ自動車株式会社 | Information display device |
US9792288B2 (en) | 2015-06-19 | 2017-10-17 | International Business Machines Corporation | Geographic space management |
US9805598B2 (en) | 2015-12-16 | 2017-10-31 | International Business Machines Corporation | Management of mobile objects |
US9865163B2 (en) | 2015-12-16 | 2018-01-09 | International Business Machines Corporation | Management of mobile objects |
JP2018047737A (en) * | 2016-09-20 | 2018-03-29 | 日産自動車株式会社 | Driver intention identification method and driver intention identification apparatus |
US10169400B2 (en) | 2015-06-19 | 2019-01-01 | International Business Machines Corporation | Geographic space management |
US10168424B1 (en) | 2017-06-21 | 2019-01-01 | International Business Machines Corporation | Management of mobile objects |
US10339810B2 (en) | 2017-06-21 | 2019-07-02 | International Business Machines Corporation | Management of mobile objects |
US10435033B2 (en) | 2015-07-31 | 2019-10-08 | Panasonic Intellectual Property Management Co., Ltd. | Driving support device, driving support system, driving support method, and automatic drive vehicle |
US10504368B2 (en) | 2017-06-21 | 2019-12-10 | International Business Machines Corporation | Management of mobile objects |
US10540895B2 (en) | 2017-06-21 | 2020-01-21 | International Business Machines Corporation | Management of mobile objects |
US10546488B2 (en) | 2017-06-21 | 2020-01-28 | International Business Machines Corporation | Management of mobile objects |
US10594806B2 (en) | 2015-12-16 | 2020-03-17 | International Business Machines Corporation | Management of mobile objects and resources |
US10600322B2 (en) | 2017-06-21 | 2020-03-24 | International Business Machines Corporation | Management of mobile objects |
US10742479B2 (en) | 2015-07-07 | 2020-08-11 | International Business Machines Corporation | Management of events and moving objects |
US10913462B2 (en) | 2015-12-02 | 2021-02-09 | Denso Corporation | Vehicle control device |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10105885A (en) * | 1996-09-27 | 1998-04-24 | Honda Motor Co Ltd | Self-traveling vehicle |
JPH11276461A (en) * | 1998-03-27 | 1999-10-12 | Suzuki Motor Corp | Attention measuring device and information presenting device using the same |
JP2004252849A (en) * | 2003-02-21 | 2004-09-09 | Seiko Epson Corp | User interface device and intention transmission method |
JP2007283933A (en) * | 2006-04-18 | 2007-11-01 | Nissan Motor Co Ltd | Operation support device, automobile, and operation support method |
JP2008299666A (en) * | 2007-05-31 | 2008-12-11 | Sumitomo Electric Ind Ltd | Vehicle driving support system, driving support device, vehicle and vehicle driving support method |
JP2010097335A (en) * | 2008-10-15 | 2010-04-30 | Toyota Motor Corp | Driving intention estimating device |
JP2010198578A (en) * | 2009-02-27 | 2010-09-09 | Toyota Motor Corp | Movement locus generating device |
JP2012016964A (en) * | 2010-07-06 | 2012-01-26 | Nissan Motor Co Ltd | Steering control apparatus for vehicle |
JP2012085746A (en) * | 2010-10-18 | 2012-05-10 | Panasonic Corp | Attentional state determination system, method, computer program, and attentional state determination device |
-
2013
- 2013-10-24 JP JP2013221036A patent/JP6291787B2/en active Active
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10105885A (en) * | 1996-09-27 | 1998-04-24 | Honda Motor Co Ltd | Self-traveling vehicle |
JPH11276461A (en) * | 1998-03-27 | 1999-10-12 | Suzuki Motor Corp | Attention measuring device and information presenting device using the same |
JP2004252849A (en) * | 2003-02-21 | 2004-09-09 | Seiko Epson Corp | User interface device and intention transmission method |
JP2007283933A (en) * | 2006-04-18 | 2007-11-01 | Nissan Motor Co Ltd | Operation support device, automobile, and operation support method |
JP2008299666A (en) * | 2007-05-31 | 2008-12-11 | Sumitomo Electric Ind Ltd | Vehicle driving support system, driving support device, vehicle and vehicle driving support method |
JP2010097335A (en) * | 2008-10-15 | 2010-04-30 | Toyota Motor Corp | Driving intention estimating device |
JP2010198578A (en) * | 2009-02-27 | 2010-09-09 | Toyota Motor Corp | Movement locus generating device |
JP2012016964A (en) * | 2010-07-06 | 2012-01-26 | Nissan Motor Co Ltd | Steering control apparatus for vehicle |
JP2012085746A (en) * | 2010-10-18 | 2012-05-10 | Panasonic Corp | Attentional state determination system, method, computer program, and attentional state determination device |
Cited By (67)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016141220A (en) * | 2015-01-30 | 2016-08-08 | 富士通テン株式会社 | Information providing method, information providing device, information providing system, and vehicle |
WO2016170763A1 (en) * | 2015-04-21 | 2016-10-27 | パナソニックIpマネジメント株式会社 | Driving assistance method, driving assistance device using same, automatic driving control device, vehicle, and driving assistance program |
JP2016216021A (en) * | 2015-04-21 | 2016-12-22 | パナソニックIpマネジメント株式会社 | Driving support method, and driving support device, automatic driving control device, vehicle and program utilizing the same |
US9584977B2 (en) | 2015-06-19 | 2017-02-28 | International Business Machines Corporation | Management of moving objects |
US9562775B2 (en) | 2015-06-19 | 2017-02-07 | International Business Machines Corporation | Geographic space management |
US9497590B1 (en) | 2015-06-19 | 2016-11-15 | International Business Machines Corporation | Management of moving objects |
US9497591B1 (en) | 2015-06-19 | 2016-11-15 | International Business Machines Corporation | Management of moving objects |
US10019446B2 (en) | 2015-06-19 | 2018-07-10 | International Business Machines Corporation | Geographic space management |
US10878022B2 (en) | 2015-06-19 | 2020-12-29 | International Business Machines Corporation | Geographic space management |
US9538327B1 (en) | 2015-06-19 | 2017-01-03 | International Business Machines Corporation | Management of moving objects |
US9638533B2 (en) | 2015-06-19 | 2017-05-02 | International Business Machines Corporation | Geographic space management |
US10169400B2 (en) | 2015-06-19 | 2019-01-01 | International Business Machines Corporation | Geographic space management |
US9639537B2 (en) | 2015-06-19 | 2017-05-02 | International Business Machines Corporation | Geographic space management |
US9875247B2 (en) | 2015-06-19 | 2018-01-23 | International Business Machines Corporation | Geographic space management |
US10169403B2 (en) | 2015-06-19 | 2019-01-01 | International Business Machines Corporation | Geographic space management |
US9857196B2 (en) | 2015-06-19 | 2018-01-02 | International Business Machinces Corporation | Geographic space management |
US9576482B2 (en) | 2015-06-19 | 2017-02-21 | International Business Machines Corporation | Management of moving objects |
US10169402B2 (en) | 2015-06-19 | 2019-01-01 | International Business Machines Corporation | Geographic space management |
US10001377B2 (en) | 2015-06-19 | 2018-06-19 | International Business Machines Corporation | Geographic space management |
US9792288B2 (en) | 2015-06-19 | 2017-10-17 | International Business Machines Corporation | Geographic space management |
US9784584B2 (en) | 2015-06-19 | 2017-10-10 | International Business Machines Corporation | Geographic space management |
US10215570B2 (en) | 2015-06-19 | 2019-02-26 | International Business Machines Corporation | Geographic space management |
US9646493B2 (en) | 2015-06-19 | 2017-05-09 | International Business Machines Corporation | Management of moving objects |
US9646402B2 (en) | 2015-06-19 | 2017-05-09 | International Business Machines Corporation | Geographic space management |
US9659016B2 (en) | 2015-06-19 | 2017-05-23 | International Business Machines Corporation | Geographic space management |
US10262529B2 (en) | 2015-06-19 | 2019-04-16 | International Business Machines Corporation | Management of moving objects |
US10742479B2 (en) | 2015-07-07 | 2020-08-11 | International Business Machines Corporation | Management of events and moving objects |
US10749734B2 (en) | 2015-07-07 | 2020-08-18 | International Business Machines Corporation | Management of events and moving objects |
US10742478B2 (en) | 2015-07-07 | 2020-08-11 | International Business Machines Corporation | Management of events and moving objects |
US10435033B2 (en) | 2015-07-31 | 2019-10-08 | Panasonic Intellectual Property Management Co., Ltd. | Driving support device, driving support system, driving support method, and automatic drive vehicle |
WO2017022197A1 (en) * | 2015-07-31 | 2017-02-09 | パナソニックIpマネジメント株式会社 | Driving assistance device, driving assistance system, driving assistance method, driving assistance program, and automatically driven vehicle |
JP5945999B1 (en) * | 2015-07-31 | 2016-07-05 | パナソニックIpマネジメント株式会社 | Driving support device, driving support system, driving support method, driving support program, and autonomous driving vehicle |
US10604158B2 (en) | 2015-07-31 | 2020-03-31 | Panasonic Intellectual Property Management Co., Ltd. | Driving support device, driving support system and driving support method |
JP2017030572A (en) * | 2015-07-31 | 2017-02-09 | パナソニックIpマネジメント株式会社 | Drive assist device, drive assist system, drive assist method, drive assist program and automatic operation vehicle |
CN107848540A (en) * | 2015-07-31 | 2018-03-27 | 松下知识产权经营株式会社 | Drive assistance device, drive assist system, driving assistance method, driving auxiliary program and automatic driving vehicle |
US9944298B2 (en) | 2015-07-31 | 2018-04-17 | Panasonic Intellectual Property Management Co., Ltd. | Driving support device, driving support system and driving support method |
JP2017061191A (en) * | 2015-09-24 | 2017-03-30 | 日産自動車株式会社 | Support apparatus and support method |
US10452930B2 (en) | 2015-11-06 | 2019-10-22 | Toyota Jidosha Kabushiki Kaisha | Information display device mounted in vehicle including detector |
JP2017091093A (en) * | 2015-11-06 | 2017-05-25 | トヨタ自動車株式会社 | Information display device |
US11597396B2 (en) | 2015-12-02 | 2023-03-07 | Denso Corporation | Vehicle control device |
US10913462B2 (en) | 2015-12-02 | 2021-02-09 | Denso Corporation | Vehicle control device |
US9513134B1 (en) | 2015-12-16 | 2016-12-06 | International Business Machines Corporation | Management of evacuation with mobile objects |
US9467839B1 (en) | 2015-12-16 | 2016-10-11 | International Business Machines Corporation | Management of dynamic events and moving objects |
US9865163B2 (en) | 2015-12-16 | 2018-01-09 | International Business Machines Corporation | Management of mobile objects |
US9805598B2 (en) | 2015-12-16 | 2017-10-31 | International Business Machines Corporation | Management of mobile objects |
US9699622B1 (en) | 2015-12-16 | 2017-07-04 | International Business Machines Corporation | Management of dynamic events and moving objects |
US9930509B2 (en) | 2015-12-16 | 2018-03-27 | International Business Machines Corporation | Management of dynamic events and moving objects |
US10032367B2 (en) | 2015-12-16 | 2018-07-24 | International Business Machines Corporation | Management of mobile objects and service platform for mobile objects |
US9578093B1 (en) | 2015-12-16 | 2017-02-21 | International Business Machines Corporation | Geographic space management |
US10043384B2 (en) | 2015-12-16 | 2018-08-07 | International Business Machines Corporation | Management of mobile objects and service platform for mobile objects |
US9460616B1 (en) | 2015-12-16 | 2016-10-04 | International Business Machines Corporation | Management of mobile objects and service platform for mobile objects |
US10594806B2 (en) | 2015-12-16 | 2020-03-17 | International Business Machines Corporation | Management of mobile objects and resources |
JP2017033533A (en) * | 2016-03-16 | 2017-02-09 | パナソニックIpマネジメント株式会社 | Drive assist device, drive assist system, drive assist method, drive assist program and automatic operation vehicle |
JP2017030727A (en) * | 2016-05-18 | 2017-02-09 | パナソニックIpマネジメント株式会社 | Drive assist device, drive assist system, drive assist method, drive assist program and automatic operation vehicle |
JP2017033539A (en) * | 2016-05-31 | 2017-02-09 | パナソニックIpマネジメント株式会社 | Drive assist device, drive assist system, drive assist method, drive assist program and automatic operation vehicle |
JP2018047737A (en) * | 2016-09-20 | 2018-03-29 | 日産自動車株式会社 | Driver intention identification method and driver intention identification apparatus |
US10535266B2 (en) | 2017-06-21 | 2020-01-14 | International Business Machines Corporation | Management of mobile objects |
US10600322B2 (en) | 2017-06-21 | 2020-03-24 | International Business Machines Corporation | Management of mobile objects |
US10540895B2 (en) | 2017-06-21 | 2020-01-21 | International Business Machines Corporation | Management of mobile objects |
US10585180B2 (en) | 2017-06-21 | 2020-03-10 | International Business Machines Corporation | Management of mobile objects |
US10168424B1 (en) | 2017-06-21 | 2019-01-01 | International Business Machines Corporation | Management of mobile objects |
US10504368B2 (en) | 2017-06-21 | 2019-12-10 | International Business Machines Corporation | Management of mobile objects |
US10546488B2 (en) | 2017-06-21 | 2020-01-28 | International Business Machines Corporation | Management of mobile objects |
US11024161B2 (en) | 2017-06-21 | 2021-06-01 | International Business Machines Corporation | Management of mobile objects |
US11315428B2 (en) | 2017-06-21 | 2022-04-26 | International Business Machines Corporation | Management of mobile objects |
US11386785B2 (en) | 2017-06-21 | 2022-07-12 | International Business Machines Corporation | Management of mobile objects |
US10339810B2 (en) | 2017-06-21 | 2019-07-02 | International Business Machines Corporation | Management of mobile objects |
Also Published As
Publication number | Publication date |
---|---|
JP6291787B2 (en) | 2018-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6291787B2 (en) | Vehicle display device | |
JP7226479B2 (en) | Image processing device, image processing method, and moving object | |
JP7288911B2 (en) | Information processing device, mobile device, method, and program | |
US10572746B2 (en) | Apparatus detecting driving incapability state of driver | |
JP6191633B2 (en) | Driving assistance device | |
JP7299840B2 (en) | Information processing device and information processing method | |
JP7324716B2 (en) | Information processing device, mobile device, method, and program | |
JP7203035B2 (en) | Information processing device and information processing method | |
JP6699831B2 (en) | Driving awareness estimation device | |
JP6287728B2 (en) | In-vehicle system, vehicle control device, and program for vehicle control device | |
JP6299323B2 (en) | Information presentation device and information presentation method | |
JP6369487B2 (en) | Display device | |
JP6330411B2 (en) | Information presentation device and information presentation method | |
JPWO2019017216A1 (en) | Vehicle control device and vehicle control method | |
CN106133806A (en) | Information presentation device and information cuing method | |
CN110641468A (en) | Controlling autonomous vehicles based on passenger behavior | |
WO2020145161A1 (en) | Information processing device, mobile device, method, and program | |
JP6707829B2 (en) | Information presentation device, driving support system, and information presentation method | |
JP2006043429A (en) | Apparatus for judging load of visual recognition | |
JP7342637B2 (en) | Vehicle control device and driver condition determination method | |
JP7342636B2 (en) | Vehicle control device and driver condition determination method | |
JP2017204301A (en) | Drive support method and drive support device | |
JP6579183B2 (en) | Driving assistance device | |
WO2022172724A1 (en) | Information processing device, information processing method, and information processing program | |
JP6582799B2 (en) | Support apparatus and support method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170413 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170418 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170608 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170803 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170905 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20171205 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20171221 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180129 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6291787 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |