JP2019124892A - Operating information processing device and operating information processing program - Google Patents
Operating information processing device and operating information processing program Download PDFInfo
- Publication number
- JP2019124892A JP2019124892A JP2018007279A JP2018007279A JP2019124892A JP 2019124892 A JP2019124892 A JP 2019124892A JP 2018007279 A JP2018007279 A JP 2018007279A JP 2018007279 A JP2018007279 A JP 2018007279A JP 2019124892 A JP2019124892 A JP 2019124892A
- Authority
- JP
- Japan
- Prior art keywords
- driving
- range
- specific
- driver
- gaze
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 90
- 238000004088 simulation Methods 0.000 claims abstract description 236
- 238000001514 detection method Methods 0.000 claims abstract description 35
- 238000000034 method Methods 0.000 claims description 52
- 230000000007 visual effect Effects 0.000 claims description 8
- 238000012790 confirmation Methods 0.000 abstract description 13
- 238000004891 communication Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000004519 manufacturing process Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Eye Examination Apparatus (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、車両の運転のための情報処理を実行する運転用情報処理装置および運転用情報処理プログラムに関する。 The present invention relates to a driving information processing apparatus and a driving information processing program that execute information processing for driving a vehicle.
従来、車両の運転のための情報処理を実行する運転用情報処理装置として、車両の運転のシミュレーションを実行する視線検出機能付ヘッドマウントディスプレイシステムが知られている(例えば、特許文献1参照。)。この視線検出機能付ヘッドマウントディスプレイシステムは、運転のシミュレーションの実行中に車両の運転者の視線を検出し、検出した視線の位置を運転のシミュレーションの画像に同期して記憶装置に記憶することによって、運転のシミュレーションの終了後に、記憶装置から読み出した視線の位置と、運転のシミュレーションの画像とを重畳してモニターに表示させることができる。 Conventionally, as a driving information processing apparatus for executing information processing for driving a vehicle, there is known a head mounted display system with a line-of-sight detection function for executing simulation of driving of the vehicle (see, for example, Patent Document 1). . This head-mounted display system with gaze detection function detects the gaze of the driver of the vehicle during execution of driving simulation, and stores the detected gaze position in the storage device in synchronization with the image of the driving simulation. After completion of the driving simulation, the position of the line of sight read from the storage device and the image of the driving simulation can be superimposed and displayed on the monitor.
しかしながら、従来の運転用情報処理装置においては、車両の運転者の視線が運転のシミュレーションの終了後に確認されるだけであるので、車両の運転のための情報処理において車両の運転者の視線が十分に活用されていないという問題がある。 However, in the conventional information processing apparatus for driving, the line of sight of the driver of the vehicle is only confirmed after the end of the driving simulation, so that the line of sight of the driver of the vehicle is sufficient in the information processing for driving the vehicle. There is a problem that it is not used by
そこで、本発明は、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる運転用情報処理装置および運転用情報処理プログラムを提供することを目的とする。 Then, this invention aims at providing the information processing apparatus for driving | operation, and the information processing program for driving which can utilize the gaze of the driver | operator of a vehicle more effectively than before in the information processing for the driving | operation of a vehicle. .
本発明の運転用情報処理装置は、車両の運転のための情報処理を実行する運転用情報処理装置であって、前記車両の運転者の視線を検出する視線検出部と、特定の範囲に対する注視が前記運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段とを備え、前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して0秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする。 An information processing apparatus for driving according to the present invention is an information processing apparatus for driving which executes information processing for driving a vehicle, and a gaze detection unit for detecting a gaze of a driver of the vehicle, and gaze at a specific range Specific in the information processing when a specific condition is satisfied, including one of the condition that is performed by the driver and the condition that a gaze for the specific range is not performed by the driver And a specific process execution means for executing a process, wherein the specific process execution means continues the time for which the visual axis detected by the visual axis detection unit exceeds a specific time exceeding 0 seconds with respect to the specific range. Treating the presence as a gaze for the particular range, the time when the sight line detected by the sight detection unit is less than or equal to the particular time with respect to the particular range And be present continue to, and that the sight line detected by the sight line detecting unit does not exist for the specific range, characterized in that it does not treated as sight for the particular range.
この構成により、本発明の運転用情報処理装置は、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、車両の運転のための情報処理において特定の処理を実行するので、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる。 According to this configuration, the driver's information processing apparatus of the present invention is either one of the condition that the driver's gaze was performed for the specific range and the condition that the driver's gaze for the specific range was not performed. In the case where the specific condition including one is satisfied, the specific process is executed in the information processing for driving the vehicle, so that the line of sight of the driver of the vehicle is more effectively utilized in the information processing for driving the vehicle. be able to.
本発明の運転用情報処理装置において、前記特定の範囲は、前記車両のバックミラーの鏡面の範囲、前記車両のドアミラーの鏡面の範囲、および、前記車両の左右の外側の、前記ドアミラー以外の範囲のいずれか1つであり、前記特定の条件は、前記車両が進行方向を変更する直前の特定の期間において前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件を含んでも良い。 In the information processing apparatus for driving according to the present invention, the specific range is a range of a mirror surface of a rear view mirror of the vehicle, a range of a mirror surface of a door mirror of the vehicle, and a range other than the door mirror outside the left and right sides of the vehicle. The specific condition may include a condition that a gaze on the specific range is not performed by the driver in a specific period immediately before the vehicle changes the traveling direction.
この構成により、本発明の運転用情報処理装置は、車両の進行方向を変更する場合の運転者の安全確認の意識を向上することができる。 According to this configuration, the driving information processing apparatus of the present invention can improve the driver's awareness of safety confirmation when changing the traveling direction of the vehicle.
本発明の運転用情報処理装置において、前記特定の範囲は、前記運転に関する情報の通知部の範囲であり、前記通知部は、前記車両以外の部分に設置されており、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含んでも良い。 In the information processing apparatus for driving according to the present invention, the specific range is a range of a notification unit of the information on the driving, the notification unit is installed in a portion other than the vehicle, and the specific condition is It may include a condition that a gaze on the specific range is performed by the driver.
この構成により、本発明の運転用情報処理装置は、運転に関する情報の通知部を確認することに対する運転者の意識を向上することができる。 According to this configuration, the information processing apparatus for driving of the present invention can improve the driver's awareness of confirming the notification unit of the information on driving.
本発明の運転用情報処理装置において、前記特定の範囲は、前記運転者によって注視されるとわき見運転となる範囲であり、前記特定の条件は、前記車両が前記運転によって移動させられている最中に前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含んでも良い。 In the information processing apparatus for driving according to the present invention, the specific range is a range in which the driver gazes at the driver's gaze and becomes a side-by-side driving, and the specific condition is a maximum of the vehicle being moved by the driving. The condition that the gaze for the specific range is performed by the driver may be included therein.
この構成により、本発明の運転用情報処理装置は、わき見運転をしないことに対する運転者の意識を向上することができる。 According to this configuration, the driving information processing apparatus of the present invention can improve the driver's awareness of not performing side-by-side driving.
本発明の運転用情報処理装置において、前記特定の範囲は、前記車両のミラーによる鏡像における特定の対象の範囲であり、前記特定の条件は、前記運転者によって注視が実行された前記特定の範囲の数の条件を含んでも良い。 In the information processing apparatus for driving according to the present invention, the specific range is a range of a specific target in a mirror image of a mirror of the vehicle, and the specific condition is the specific range in which gaze is performed by the driver. You may include the condition of the number of.
この構成により、本発明の運転用情報処理装置は、車両のミラーによる鏡像における対象に対する運転者の意識を向上することができる。 According to this configuration, the information processing apparatus for driving of the present invention can improve the driver's awareness of the object in the mirror image of the mirror of the vehicle.
本発明の運転用情報処理装置において、前記特定の処理は、前記運転の安全性に関する通知を実行する処理であっても良い。 In the information processing apparatus for driving according to the present invention, the specific processing may be processing of executing a notification regarding the safety of the driving.
この構成により、本発明の運転用情報処理装置は、安全な運転に対する運転者の意識を向上することができる。 According to this configuration, the driving information processing apparatus of the present invention can improve the driver's awareness of safe driving.
本発明の運転用情報処理装置において、前記情報処理は、前記運転のシミュレーションであり、前記運転用情報処理装置は、前記シミュレーションの画像を表示する表示デバイスを備え、前記特定の範囲は、前記表示デバイスに表示された前記画像における範囲であり、前記特定の処理は、前記シミュレーションにおいて特定の事態を前記車両に対して発生させる処理であっても良い。 In the information processing apparatus for driving of the present invention, the information processing is a simulation of the driving, and the information processing apparatus for driving includes a display device for displaying an image of the simulation, and the specific range is the display The specific process may be a process for causing the vehicle to generate a specific situation in the simulation.
この構成により、本発明の運転用情報処理装置は、効果的なシミュレーションを実行することができる。 According to this configuration, the driving information processing apparatus of the present invention can execute effective simulation.
本発明の運転用情報処理装置において、前記特定の範囲は、場所を示す範囲であり、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、前記特定の処理は、前記特定の範囲によって示される前記場所を前記運転の目的地として決定する処理であっても良い。 In the information processing apparatus for driving according to the present invention, the specific range is a range indicating a place, and the specific condition includes a condition that a gaze on the specific range is performed by the driver. The process of may be a process of determining the place indicated by the specific range as the destination of the driving.
この構成により、本発明の運転用情報処理装置は、車両の運転者の視線を活用して運転の目的地を決定するので、利便性を向上することができる。 With this configuration, the driving information processing apparatus according to the present invention determines the driving destination by utilizing the line of sight of the driver of the vehicle, so that the convenience can be improved.
本発明の運転用情報処理装置において、前記特定の範囲は、交通規制に関する情報の通知部の範囲であり、前記通知部は、前記車両以外の部分に設置されており、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、前記特定の処理は、前記特定の範囲に含まれる前記情報に基づいて前記運転のルートを決定する処理であっても良い。 In the information processing apparatus for driving according to the present invention, the specific range is a range of a notification unit of information on traffic regulation, the notification unit is installed in a portion other than the vehicle, and the specific condition is The specific process may be a process of determining the driving route based on the information included in the specific range, including a condition that a gaze for the specific range is performed by the driver. .
この構成により、本発明の運転用情報処理装置は、車両の運転者の視線を活用して運転のルートを決定するので、利便性を向上することができる。 With this configuration, the driving information processing apparatus of the present invention determines the driving route by utilizing the line of sight of the driver of the vehicle, so that the convenience can be improved.
本発明の運転用情報処理装置において、前記情報処理は、前記車両の自動運転に関する処理であり、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、前記特定の処理は、前記特定の範囲を前記自動運転における回避の対象として決定する処理であっても良い。 In the information processing apparatus for driving according to the present invention, the information processing is processing related to automatic driving of the vehicle, and the specific condition includes a condition that a gaze on the specific range is executed by the driver. The specific process may be a process of determining the specific range as an avoidance target in the automatic driving.
この構成により、本発明の運転用情報処理装置は、車両の運転者の視線を活用して自動運転における回避の対象を決定するので、利便性を向上することができる。 With this configuration, the information processing apparatus for driving of the present invention determines the target of avoidance in automatic driving by utilizing the line of sight of the driver of the vehicle, so that convenience can be improved.
本発明の運転用情報処理プログラムは、車両の運転のための情報処理を実行するための運転用情報処理プログラムであって、特定の範囲に対する注視が前記車両の運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段としてコンピューターを機能させ、前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して0秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする。 The driving information processing program according to the present invention is a driving information processing program for executing information processing for driving a vehicle, and the condition that the driver of the vehicle executes a gaze for a specific range. And the computer as specific processing execution means for executing a specific processing in the information processing when a specific condition including any one of the conditions that the gaze for the specific range is not performed by the driver is satisfied. The specific process execution means causes the specific process execution means to continuously exist for a time exceeding a specific time exceeding 0 seconds with respect to the specific range with respect to the specific range. And the time when the sight line detected by the sight detection unit is less than the specific time with respect to the specific range And be present continue to, and that the sight line detected by the sight line detecting unit does not exist for the specific range, characterized in that it does not treated as sight for the particular range.
この構成により、本発明の運転用情報処理プログラムを実行するコンピューターは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、車両の運転のための情報処理において特定の処理を実行するので、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる。 According to this configuration, the computer executing the driving information processing program of the present invention has a condition that a gaze to a specific range is executed by the driver and a condition that a gaze to the specific range is not executed by the driver. Since the specific processing is executed in the information processing for driving the vehicle when the specific condition including any one of the above is performed, the line of sight of the driver of the vehicle is conventionally compared in the information processing for driving the vehicle It can be used effectively.
本発明の運転用情報処理装置および運転用情報処理プログラムは、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる。 The information processing apparatus for driving and the information processing program for driving of the present invention can more effectively utilize the line of sight of the driver of the vehicle in the information processing for driving the vehicle.
以下、本発明の実施の形態について、図面を用いて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.
(第1の実施の形態)
まず、本発明の第1の実施の形態に係る運転用情報処理装置としてのドライビングシミュレーターの構成について説明する。
First Embodiment
First, the configuration of a driving simulator as a driving information processing apparatus according to the first embodiment of the present invention will be described.
図1は、本実施の形態に係るドライビングシミュレーターのブロック図である。 FIG. 1 is a block diagram of a driving simulator according to the present embodiment.
図1に示すドライビングシミュレーター10は、車両としての自動車の運転のための情報処理として、自動車の運転のシミュレーションを実行する装置である。ドライビングシミュレーター10は、シミュレーションの対象の自動車(以下「シミュレーション対象車」という。)を操作するための自動車操作装置20と、シミュレーション対象車の運転者の頭部に装着されるヘッドマウントディスプレイ30と、自動車操作装置20およびヘッドマウントディスプレイ30と通信可能なコンピューター40とを備えている。
The driving simulator 10 shown in FIG. 1 is a device that executes driving simulation of a vehicle as information processing for driving the vehicle as a vehicle. The driving simulator 10 includes an
自動車操作装置20は、例えば、操舵用のハンドルと、クラッチペダルと、アクセルペダルと、ブレーキペダルと、パーキングブレーキと、変速機の操作レバーと、方向指示器の操作装置とを備えている。
The
ヘッドマウントディスプレイ30は、運転のシミュレーションの画像(以下「シミュレーション画像」という。)を表示するLCD(Liquid Crystal Display)などの表示デバイスとしての表示部31と、表示部31に表示されたシミュレーション画像における運転者の視線を検出する視線検出部32とを備えている。ヘッドマウントディスプレイ30としては、例えば、FOVE社の「FOVE 0」が採用されても良い。シミュレーション画像は、VR(Virtual Reality)、AR(Augmented Reality)およびMR(Mixed Reality)のいずれで表現されても良い。なお、シミュレーション画像がARおよびMRのいずれかで表現される場合、ヘッドマウントディスプレイ30は、運転者の顔の前方を撮影するためのカメラを備える必要がある。
The head mounted display 30 is a
視線検出部32による視線の検出の方法としては、視線を検出するための公知のいずれの方法が採用されても良い。
As a method of detecting the line of sight by the line of
図2は、コンピューター40のブロック図である。
FIG. 2 is a block diagram of the
図2に示すように、コンピューター40は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部41と、マイクロフォン42と、LAN(Local Area Network)、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部43と、各種の情報を記憶する半導体メモリー、HDD(Hard Disk Drive)などの不揮発性の記憶デバイスである記憶部44と、コンピューター40全体を制御する制御部45とを備えている。コンピューター40は、例えば、PC(Personal Computer)によって構成されても良い。
As shown in FIG. 2, the
記憶部44は、自動車の運転のシミュレーションを実行するための運転用情報処理プログラムとしての運転シミュレーションプログラム44aを記憶している。運転シミュレーションプログラム44aは、例えば、コンピューター40の製造段階でコンピューター40にインストールされていても良いし、USB(Universal Serial Bus)メモリー、CD(Compact Disk)、DVD(Digital Versatile Disk)などの外部の記憶媒体からコンピューター40に追加でインストールされても良いし、ネットワーク上からコンピューター40に追加でインストールされても良い。
The storage unit 44 stores a driving
制御部45は、例えば、CPU(Central Processing Unit)と、プログラムおよび各種のデータを記憶しているROM(Read Only Memory)と、CPUの作業領域として用いられるRAM(Random Access Memory)とを備えている。CPUは、ROMまたは記憶部44に記憶されているプログラムを実行する。 The control unit 45 includes, for example, a central processing unit (CPU), a read only memory (ROM) storing programs and various data, and a random access memory (RAM) used as a work area of the CPU. There is. The CPU executes a program stored in the ROM or the storage unit 44.
制御部45は、運転シミュレーションプログラム44aを実行することによって、運転シミュレーション手段45aを実現する。運転シミュレーション手段45aは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、シミュレーションにおいて特定の処理を実行するので、本発明の特定処理実行手段を構成している。
The control unit 45 implements the driving simulation means 45a by executing the driving
なお、シミュレーション画像における注視の対象の候補の範囲は、注視の対象の候補毎に運転シミュレーションプログラム44aにおいて事前に設定されている。
Note that the range of the gaze target candidates in the simulation image is set in advance in the driving
次に、ドライビングシミュレーター10の動作について説明する。 Next, the operation of the driving simulator 10 will be described.
運転シミュレーション手段45aは、シミュレーション画像を表示部31に表示するとともに、自動車操作装置20に対する操作と、視線検出部32によって検出された視線とをシミュレーションに反映する。また、運転シミュレーション手段45aは、現実の自動車の運転において運転者の顔の向きに応じて運転者の視界が変化することと同様に、運転者の顔の向きに応じて表示部31に表示するシミュレーション画像を変化させる。
The driving simulation means 45 a displays the simulation image on the
以下、視線検出部32によって検出された視線がシミュレーションに反映される例について説明する。
Hereinafter, an example in which the gaze detected by the
まず、シミュレーション対象車が車線変更、左折、右折などのために進行方向を変更する場合のドライビングシミュレーター10の動作について説明する。 First, the operation of the driving simulator 10 in the case where the vehicle to be simulated changes the traveling direction for lane change, left turn, right turn, etc. will be described.
図3は、シミュレーション対象車が進行方向を変更する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。 FIG. 3 is a flowchart showing an example of the operation of the driving simulator 10 when the simulation target vehicle changes the traveling direction.
運転シミュレーション手段45aは、自動車操作装置20に対する操作に応じてシミュレーション対象車が進行方向を変更する場合に、図3に示す動作を実行する。なお、運転シミュレーション手段45aは、例えば、シミュレーション対象車が進行方向を変更する方向を方向指示器に指示させる操作が自動車操作装置20に対して実行された場合に、図3に示す動作を実行しても良いし、シミュレーション対象車が進行方向を変更する方向を方向指示器に指示させる操作が自動車操作装置20に対して実行された後、シミュレーション対象車が進行方向の変更を実際に開始した場合に、図3に示す動作を実行しても良い。
The driving simulation means 45a executes the operation shown in FIG. 3 when the simulation target vehicle changes the traveling direction according to the operation on the
図3に示すように、運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、シミュレーション対象車のバックミラーの鏡面の範囲に対する注視が運転者によって実行されたか否かを判断する(S101)。 As shown in FIG. 3, the driving simulation means 45a determines whether the driver has performed a gaze at the mirror surface range of the rearview mirror of the simulation target vehicle in a specific period immediately before the simulation target vehicle changes the traveling direction. Is determined (S101).
図4は、特定の範囲に対する注視が運転者によって実行されたと判断する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。 FIG. 4 is a flow chart showing an example of the operation of the driving simulator 10 when it is determined that the driver's gaze was performed on a specific range.
運転シミュレーション手段45aは、シミュレーション画像における注視の対象の候補のうち、視線検出部32によって検出された視線が候補自身の範囲に存在するものが変更される度に、図4に示す動作を実行する。
The driving simulation means 45a executes the operation shown in FIG. 4 each time the sight line detected by the sight
図4に示すように、運転シミュレーション手段45aは、シミュレーション画像における注視の対象の候補のうち、視線検出部32によって検出された視線が候補自身の範囲に存在するものを、現在の候補として特定する(S111)。
As shown in FIG. 4, the driving simulation means 45 a specifies, as the current candidate, among the candidates of the gaze target in the simulation image, the line of sight detected by the line-of-
次いで、運転シミュレーション手段45aは、視線検出部32によって検出された視線が存在する範囲が現在の候補の範囲から変更されたか否かを判断する(S112)。
Next, the driving simulation means 45a determines whether the range in which the line of sight detected by the line of
運転シミュレーション手段45aは、視線検出部32によって検出された視線が存在する範囲が現在の候補の範囲から変更されていないとS112において判断すると、視線検出部32によって検出された視線が現在の候補の範囲に対して継続して存在する時間を取得する(S113)。
If the driving simulation means 45a determines in S112 that the range in which the line of sight detected by the line of
次いで、運転シミュレーション手段45aは、S113において取得した時間が0秒を超える例えば1秒間などの特定の時間(以下「閾値時間」という。)を超えるか否かを判断する(S114)。 Next, the driving simulation means 45a determines whether the time acquired in S113 exceeds 0 seconds, for example, a specific time such as 1 second (hereinafter referred to as "threshold time") (S114).
運転シミュレーション手段45aは、S113において取得した時間が閾値時間を超えないとS114において判断すると、S112の処理を実行する。 If the driving simulation means 45a determines in S114 that the time acquired in S113 does not exceed the threshold time, it executes the processing of S112.
運転シミュレーション手段45aは、S113において取得した時間が閾値時間を超えるとS114において判断すると、現在の候補の範囲に対する注視が運転者によって実行されたと判断する(S115)。 If it is determined in S114 that the time acquired in S113 exceeds the threshold time, the driving simulation means 45a determines that the driver has performed a gaze at the current candidate range (S115).
運転シミュレーション手段45aは、視線検出部32によって検出された視線が存在する範囲が現在の候補の範囲から変更されたとS112において判断するか、S115の処理を実行すると、図4に示す動作を終了する。
If the driving simulation means 45a determines in S112 that the range in which the line of sight detected by the line of
運転シミュレーション手段45aは、図4に示す動作を実行するので、視線検出部32によって検出された視線が特定の範囲に対して閾値時間を超える時間継続して存在することを、この範囲に対する注視として扱い、視線検出部32によって検出された視線がこの範囲に対して閾値時間以下の時間継続して存在することと、視線検出部32によって検出された視線がこの範囲に対して存在しないこととを、この範囲に対する注視として扱わない。
Since the driving simulation means 45a executes the operation shown in FIG. 4, as the gaze for this range, the visual axis detected by the visual
図3に示すように、運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されたとS101において判断すると、図3に示す動作を終了する。 As shown in FIG. 3, the driving simulation means 45a determines that the driver's attention to the range of the mirror surface of the rearview mirror has been performed by the driver in the specific period immediately before the simulation target vehicle changes the traveling direction. The operation shown in 3 is ended.
運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されなかったとS101において判断すると、バックミラーによる安全確認を行っていないことを注意する通知を表示部31によって実行して(S102)、図3に示す動作を終了する。
The driving simulation means 45a performs safety confirmation by the rearview mirror when judging in S101 that the driver does not perform gaze at the range of the mirror surface of the rearview mirror in a specific period immediately before the simulation target vehicle changes the traveling direction. The
運転シミュレーション手段45aは、図3に示す動作に代えて、図5に示す動作を実行しても良い。 The driving simulation means 45a may execute the operation shown in FIG. 5 instead of the operation shown in FIG.
図5は、シミュレーション対象車が進行方向を変更する場合のドライビングシミュレーター10の動作の、図3に示す例とは異なる一例を示すフローチャートである。 FIG. 5 is a flowchart showing an example different from the example shown in FIG. 3 of the operation of the driving simulator 10 when the simulation target vehicle changes the traveling direction.
図5に示すように、運転シミュレーション手段45aは、S101の処理と同様の処理を実行する(S121)。 As shown in FIG. 5, the driving simulation means 45a executes the same process as the process of S101 (S121).
運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されなかったとS121において判断すると、シミュレーション対象車の後部または側部でシミュレーション対象車が他の車両と衝突するという事態をシミュレーションにおいてシミュレーション対象車に対して発生させて(S122)、図5に示す動作を終了する。ここで、他の車両としては、例えば、自転車や、オートバイなどの自動車などが考えられる。 If it is determined in S121 that the driver's gaze on the range of the mirror surface of the rearview mirror was not performed by the driver in the specific period immediately before the simulation target vehicle changes the traveling direction, the driving simulation means 45a determines the rear or side of the simulation target car In the simulation, a situation where the simulation target vehicle collides with another vehicle is generated in the simulation with respect to the simulation target vehicle (S122), and the operation shown in FIG. 5 is ended. Here, as other vehicles, for example, bicycles, automobiles such as motorcycles, etc. can be considered.
図5に示す動作においては、運転シミュレーション手段45aは、シミュレーション対象車が他の車両と衝突するという事態を発生させる。しかしながら、運転シミュレーション手段45aは、シミュレーション対象車が他の車両と衝突するという事態ではなく、シミュレーション対象車が他の車両と衝突しそうになるという事態を発生させても良い。 In the operation shown in FIG. 5, the driving simulation means 45a causes the simulation target vehicle to collide with another vehicle. However, the driving simulation means 45a may cause a situation where the simulation target vehicle is likely to collide with another vehicle, not a situation where the simulation target vehicle collides with another vehicle.
運転シミュレーション手段45aは、図5に示す動作において、図3に示す動作と同様に、バックミラーによる安全確認を行っていないことを注意する通知を更に実行しても良い。 In the operation shown in FIG. 5, the operation simulation means 45a may further execute a notification to warn that safety confirmation has not been performed by the rearview mirror, similarly to the operation shown in FIG.
図3および図5に示す動作においては、運転シミュレーション手段45aは、バックミラーの鏡面の範囲に対する注視が実行されたか否に基づいて図3または図5に示す動作を実行する。同様に、運転シミュレーション手段45aは、シミュレーション対象車の左右のドアミラーのうち、シミュレーション対象車が進行方向を変更する方のドアミラーの鏡面の範囲に対する注視が実行されたか否に基づいて、図3または図5に示す動作と同様な動作を実行しても良いし、シミュレーション対象車の左右の外側のうち、シミュレーション対象車が進行方向を変更する方の外側の、ドアミラー以外の範囲に対する注視が実行されたか否に基づいて、図3または図5に示す動作と同様な動作を実行しても良い。ここで、運転シミュレーション手段45aは、バックミラーの鏡面の範囲に対する注視と、ドアミラーの鏡面の範囲に対する注視と、シミュレーション対象車の左右の外側の、ドアミラー以外の範囲に対する注視とにおいて、閾値時間を異ならせても良い。 In the operation shown in FIG. 3 and FIG. 5, the driving simulation means 45a executes the operation shown in FIG. 3 or FIG. 5 based on whether the gaze on the range of the mirror surface of the rearview mirror is performed. Similarly, the driving simulation means 45a determines whether the gaze on the mirror surface range of the door mirror of the simulation target vehicle whose traveling direction is to be changed among the left and right door mirrors of the simulation target vehicle is executed as shown in FIG. Operation similar to the operation shown in 5 may be executed, or, of the left and right outsides of the simulation target vehicle, whether the gaze at a range other than the door mirror outside the one where the simulation target vehicle changes the traveling direction was executed An operation similar to the operation shown in FIG. 3 or 5 may be performed based on the failure. Here, if the driving simulation means 45a has different threshold times in the gaze with respect to the range of the mirror surface of the back mirror, the gaze with respect to the range of the mirror surface of the door mirror, and the gaze with respect to the range other than the door mirror outside the left and right of the simulation target vehicle. You may
次に、運転に関する情報の通知部としての道路標識に対するドライビングシミュレーター10の動作について説明する。 Next, the operation of the driving simulator 10 for a road sign as a notification unit of information on driving will be described.
図6は、最高速度を制限する道路標識に対するドライビングシミュレーター10の動作の一例を示すフローチャートである。 FIG. 6 is a flow chart showing an example of the operation of the driving simulator 10 for a road sign that limits the maximum speed.
運転シミュレーション手段45aは、シミュレーション対象車が移動する場合に、図6に示す動作を実行する。 The driving simulation means 45a executes the operation shown in FIG. 6 when the simulation target vehicle moves.
図6に示すように、運転シミュレーション手段45aは、シミュレーション対象車が停止したか否かを判断する(S131)。 As shown in FIG. 6, the driving simulation means 45a determines whether the simulation target vehicle has stopped (S131).
運転シミュレーション手段45aは、シミュレーション対象車が停止していないとS131において判断すると、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過したか否かを判断する(S132)。ここで、道路標識は、シミュレーション対象車以外の部分、例えば、シミュレーション対象車の運転のルートにおける道路の近傍に設置されている。 If it is determined in S131 that the simulation target vehicle is not stopped, the driving simulation means 45a determines whether the simulation target vehicle has passed in the vicinity of the road sign for limiting the maximum speed (S132). Here, the road sign is installed in a portion other than the simulation target vehicle, for example, in the vicinity of the road in the driving route of the simulation target vehicle.
運転シミュレーション手段45aは、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過したとS132において判断すると、この道路標識に示される最高速度を現在の制限速度として特定する(S133)。 If it is determined in S132 that the simulation target vehicle has passed the vicinity of the road sign for which the maximum speed is limited, the driving simulation means 45a specifies the maximum speed indicated on the road sign as the current speed limit (S133).
運転シミュレーション手段45aは、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過しなかったとS132において判断するか、S133の処理を実行すると、現在の制限速度を超える速度でシミュレーション対象車が走行しているか否かを判断する(S134)。 If the simulation target vehicle does not pass the vicinity of the road sign that limits the maximum speed in S132, or if the processing of S133 is executed, the simulation target vehicle travels at a speed exceeding the current speed limit. It is determined whether or not (S134).
運転シミュレーション手段45aは、現在の制限速度を超える速度でシミュレーション対象車が走行しているとS134において判断すると、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていたか否かを判断する(S135)。 If the driving simulation means 45a determines in S134 that the simulation target vehicle is traveling at a speed exceeding the current speed limit, the driver may have performed a gaze at the range of the road sign indicating the current speed limit. It is determined whether or not it is (S135).
運転シミュレーション手段45aは、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていたとS135において判断すると、速度違反を注意する通知を表示部31によって実行する(S136)。
If the driving simulation means 45a determines in S135 that the driver is executing gaze at the range of the road sign indicating the current speed limit, the driving simulation means 45a causes the
運転シミュレーション手段45aは、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていなかったとS135において判断すると、速度違反と、道路標識の確認を行っていないこととを注意する通知を表示部31によって実行する(S137)。 If the driving simulation means 45a determines in S135 that the driver has not performed a fixation on the range of the road sign indicating the current speed limit, the driving simulation means 45a notes that the speeding and the confirmation of the road sign are not performed. The notification to be made is executed by the display unit 31 (S137).
運転シミュレーション手段45aは、現在の制限速度を超える速度でシミュレーション対象車が走行していないとS134において判断するか、S136またはS137の処理を実行すると、S131の処理を実行する。 The driving simulation means 45a executes the processing of S131 when judging in S134 that the vehicle under simulation does not travel at a speed exceeding the current speed limit, or when executing the processing of S136 or S137.
運転シミュレーション手段45aは、シミュレーション対象車が停止したとS131において判断すると、図6に示す動作を終了する。 If the driving simulation means 45a determines in S131 that the simulation target vehicle has stopped, the operation shown in FIG. 6 ends.
運転シミュレーション手段45aは、図6に示す動作において、道路標識の範囲に対する注視が運転者によって実行されなかった場合(S135でNO)に、運転の安全性に関する通知を実行する(S134)。しかしながら、運転シミュレーション手段45aは、道路標識の範囲に対する注視が運転者によって実行されなかった場合に、図5に示す動作のように、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させても良い。 In the operation shown in FIG. 6, the driving simulation means 45a executes the notification regarding the driving safety (S134) when the driver does not execute gaze at the range of the road sign (NO in S135). However, even if the driver does not perform gaze at the range of the road sign, the driving simulation means 45a causes a specific situation to occur in the simulation target vehicle in the simulation as in the operation shown in FIG. good.
なお、図6に示す動作は、運転に関する情報の通知部が、最高速度を制限する道路標識である場合の動作である。しかしながら、運転に関する情報の通知部は、シミュレーション対象車以外の部分に設置されているものであれば、最高速度を制限する道路標識以外の道路標識でも良いし、例えば、マラソン大会の開催などに伴う交通規制を知らせる看板など、道路標識以外のものでも良い。 In addition, the operation | movement shown in FIG. 6 is operation | movement in case the notification part of the information regarding driving | operation is a road sign which restrict | limits maximum speed. However, the notification unit of the information on driving may be a road sign other than the road sign that limits the maximum speed, as long as it is installed in a part other than the simulation target vehicle, for example, along with the marathon event etc. It may be something other than a road sign, such as a signboard notifying traffic regulation.
運転シミュレーション手段45aは、運転に関する情報の通知部の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。 The driving simulation means 45a may make the threshold time of the gaze with respect to the range of the notification unit of the information related to the driving different from the threshold time of any of the gazes described above, such as a gaze with respect to the range of the mirror surface of the rearview mirror.
次に、わき見運転に対するドライビングシミュレーター10の動作について説明する。 Next, the operation of the driving simulator 10 with respect to the side view operation will be described.
図7は、わき見運転に対するドライビングシミュレーター10の動作の一例を示すフローチャートである。 FIG. 7 is a flowchart showing an example of the operation of the driving simulator 10 with respect to the side-by-side driving.
運転シミュレーション手段45aは、シミュレーション対象車が移動する場合に、図7に示す動作を実行する。 The driving simulation means 45a executes the operation shown in FIG. 7 when the simulation target vehicle moves.
図7に示すように、運転シミュレーション手段45aは、シミュレーション対象車が停止したか否かを判断する(S141)。 As shown in FIG. 7, the driving simulation means 45a determines whether the simulation target vehicle has stopped (S141).
運転シミュレーション手段45aは、シミュレーション対象車が停止していないとS141において判断すると、運転者によって注視されるとわき見運転となる範囲(以下「わき見範囲」という。)に対する注視が運転者によって実行されたか否かを判断する(S142)。ここで、わき見範囲としては、例えば、シミュレーション対象車の内部のカーナビゲーションシステムの範囲、シミュレーション対象車の内部の携帯端末の範囲などが考えられる。 If the driving simulation means 45a determines in S141 that the simulation target vehicle is not stopped, the driver may have performed a gaze at a range (hereinafter referred to as a “side-viewing range”) in which the driver looks at the side It is determined whether or not it is (S142). Here, as the side view range, for example, the range of the car navigation system inside the simulation target vehicle, the range of the portable terminal inside the simulation target vehicle, and the like can be considered.
運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行されたとS142において判断すると、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる(S143)。例えば、運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行された場合に、シミュレーション対象車が他の車両など、シミュレーション対象車以外の物と衝突するという事態をシミュレーションにおいてシミュレーション対象車に対して発生させても良いし、シミュレーション対象車の前方への歩行者の飛び出しなど、シミュレーション対象車がシミュレーション対象車以外の物と衝突しそうになるという事態をシミュレーションにおいてシミュレーション対象車に対して発生させても良い。 If the driving simulation means 45a determines in S142 that the driver's gaze on the side view range is performed by the driver, the driving simulation means 45a causes the simulation to generate a specific situation for the simulation target vehicle (S143). For example, the driving simulation means 45a causes the simulation target vehicle to simulate a situation where the simulation target vehicle collides with an object other than the simulation target vehicle, such as another vehicle, when the driver performs gaze at the side view range. The simulation target vehicle may be caused to collide with an object other than the simulation target vehicle, such as jumping out of a pedestrian ahead of the simulation target vehicle. Also good.
運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行されなかったとS142において判断するか、S143の処理が終了すると、S141の処理を実行する。 The driving simulation means 45a executes the processing of S141 when judging in S142 that the driver has not performed gaze at the side view area or when the processing of S143 is completed.
運転シミュレーション手段45aは、シミュレーション対象車が停止したとS141において判断すると、図7に示す動作を終了する。 If the driving simulation means 45a determines in S141 that the simulation target vehicle has stopped, the operation shown in FIG. 7 ends.
運転シミュレーション手段45aは、図7に示す動作において、わき見範囲に対する注視が運転者によって実行された場合(S142でYES)に、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる(S143)。しかしながら、運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行された場合に、図3に示す動作のように、わき見運転を注意する通知など、運転の安全性に関する通知を実行しても良い。 In the operation shown in FIG. 7, the driving simulation means 45a causes the simulation target vehicle to generate a specific situation in the simulation (S143) when the driver performs a gaze on the side view range (YES in S142). However, even if the driving simulation means 45a performs a notice on driving safety such as a notice for watching driving as in the operation shown in FIG. good.
運転シミュレーション手段45aは、わき見範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。 The driving simulation means 45a may make the threshold time of the gaze with respect to the side view range different from the threshold time of any of the gazes described above, for example, the gaze with respect to the range of the mirror surface of the rearview mirror.
次に、バックミラー、ドアミラーなど、シミュレーション対象車のミラーによる鏡像の確認に対するドライビングシミュレーター10の動作について説明する。 Next, the operation of the driving simulator 10 with respect to the confirmation of the mirror image by the mirror of the simulation target vehicle, such as a rear view mirror, a door mirror, etc. will be described.
図8は、ミラーによる鏡像の確認に対するドライビングシミュレーター10の動作の一例を示すフローチャートである。 FIG. 8 is a flow chart showing an example of the operation of the driving simulator 10 with respect to the confirmation of the mirror image by the mirror.
運転シミュレーション手段45aは、運転者によるシミュレーション対象車の運転が開始された場合に、図8に示す動作を実行する。 The driving simulation means 45a executes the operation shown in FIG. 8 when the driving of the simulation target vehicle by the driver is started.
図8に示すように、運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したか否かを判断する(S151)。 As shown in FIG. 8, the driving simulation means 45a determines whether the driving of the simulation target vehicle has ended (S151).
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了していないとS151において判断すると、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されたか否かを判断する(S152)。ここで、ミラーによる鏡像において注視すべき対象としては、例えば、シミュレーション対象車以外の車両などが考えられる。 If the driving simulation means 45a determines in S151 that the driving of the simulation target vehicle is not finished, the driving simulation means 45a determines whether or not the driver has performed gaze at the range of the target to be gazed in the mirror image by mirror (S152). Here, for example, a vehicle other than the simulation target vehicle may be considered as an object to be focused on in the mirror image of the mirror.
運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されたとS152において判断すると、この対象に関連付けて管理するフラグを立った状態にする(S153)。ここで、運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象毎にフラグを関連付けて管理する。ミラーによる鏡像において注視すべき対象に関連付けて管理されるフラグは、デフォルトでは倒れた状態である。 If it is determined in S152 that the driver's gaze on the range of the target to be watched in the mirror image by the mirror is performed by the driver, the driving simulation means 45a sets a flag associated with the target and managed (S153). Here, the driving simulation means 45a associates and manages a flag for each target to be focused on in the mirror image by the mirror. The flag managed in association with the object to be focused on in the mirror image by mirror is in the collapsed state by default.
運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されなかったとS152において判断するか、S153の処理が終了すると、S151の処理を実行する。 The driving simulation means 45a executes the processing of S151 when judging in S152 that the driver does not execute gaze at the target range to be gazed in the mirror image by mirror or when the processing of S153 is completed.
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したとS151において判断すると、今回のシミュレーションにおいてミラーによる鏡像において注視すべき対象のうち、立った状態のフラグが関連付けられているものの数を数える(S154)。 If the driving simulation means 45a determines in S151 that the driving of the simulation target car is finished, the driving simulation means 45a counts the number of targets to be watched in the mirror image by the mirror in the current simulation that are associated with the standing flag ( S154).
次いで、運転シミュレーション手段45aは、S154において数えた数に応じた、運転の安全性に関する通知を表示部31によって実行する(S155)。例えば、運転シミュレーション手段45aは、今回のシミュレーションにおいてミラーによる鏡像における、注視すべき対象のうち、幾つの対象を注視したかを通知しても良い。
Next, the driving simulation means 45a causes the
運転シミュレーション手段45aは、S155の処理の後、図8に示す動作を終了する。 The operation simulation means 45a ends the operation shown in FIG. 8 after the process of S155.
運転シミュレーション手段45aは、図8に示す動作において、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて運転の安全性に関する通知を実行する(S155)。しかしながら、運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて、図5に示す動作のように、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させても良い。 In the operation shown in FIG. 8, the driving simulation means 45a executes the notification regarding the driving safety according to the number of eyes on which the driver has performed a gaze within the range of the target to be gazed in the mirror image by mirror (S155) ). However, the driving simulation means 45a performs a specific situation in the simulation as in the operation shown in FIG. 5 according to the number of gazes performed by the driver out of the range of the target to be gazed in the mirror image by the mirror. It may be generated for a simulation target vehicle.
運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。 The driving simulation means 45a may make the threshold time of the gaze for the range of the target to be gazed in the mirror image by mirror different from the threshold time of any gaze described above, for example, the gaze for the range of the mirror surface of the rearview mirror. .
次に、運転の目的地を決定する処理を実行する場合のドライビングシミュレーター10の動作について説明する。 Next, the operation of the driving simulator 10 in the case of executing the process of determining the driving destination will be described.
図9は、運転の目的地を決定する処理を実行する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。 FIG. 9 is a flowchart showing an example of the operation of the driving simulator 10 when the process of determining the destination of driving is performed.
運転シミュレーション手段45aは、運転者によるシミュレーション対象車の運転が開始された場合に、図9に示す動作を実行する。 The driving simulation means 45a executes the operation shown in FIG. 9 when the driving of the simulation target vehicle is started by the driver.
図9に示すように、運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したか否かを判断する(S161)。 As shown in FIG. 9, the driving simulation means 45a determines whether the driving of the simulation target vehicle has ended (S161).
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了していないとS161において判断すると、場所を示す範囲に対する注視が運転者によって実行されたか否かを判断する(S162)。ここで、場所を示す範囲としては、例えば、シミュレーション対象車から離れた場所に描かれているテレビ塔など、シミュレーション画像において風景として描かれているランドマークなどが考えられる。また、場所を示す範囲としては、例えば、シミュレーション対象車以外の部分に設置されている、例えば道路標識などの通知部に記載されている地名などが考えられる。 If the driving simulation means 45a determines in S161 that the driving of the simulation target vehicle is not finished, the driving simulation means 45a determines whether the driver has performed a gaze at the range indicating the place (S162). Here, as a range which shows a place, the landmark etc. which are drawn as scenery in a simulation image etc. can be considered, for example, the television tower drawn in the place away from simulation object vehicles. Moreover, as a range which shows a place, the place name etc. which are installed in parts other than simulation object vehicles, for example, described in the notification parts, such as a road sign, etc. can be considered, for example.
運転シミュレーション手段45aは、場所を示す範囲に対する注視が運転者によって実行されたとS162において判断すると、この範囲によって示される場所を運転の目的地として決定するための条件(以下「目的地決定条件」という。)を満たしたか否かを判断する(S163)。ここで、目的地決定条件としては、例えば、場所を示す範囲に対する注視が例えば5秒間などの特定の時間を超えて運転者によって実行されること、目的地を決定するための特定の操作が操作部41に入力されること、「目的地を決定する」などの特定の言葉がマイクロフォン42に入力されることなどが考えられる。
The driving simulation means 45a determines that the location indicated by the range is determined as the destination of the driving (hereinafter referred to as "destination determination condition") when it is determined in S162 that the gaze to the range indicating the location is performed by the driver. It is determined whether or not (S163). Here, as the destination determination condition, for example, the driver's attention to a range indicating a place is performed by a driver over a specific time such as 5 seconds, and a specific operation for determining a destination is operated. It may be considered that a specific word such as “determine the destination” is input to the
運転シミュレーション手段45aは、目的地決定条件を満たしたとS163において判断すると、運転者によって注視が実行されたとS162において判断した範囲によって示される場所を運転の目的地として決定する(S164)。 If it is determined in S163 that the destination determination condition is satisfied, the driving simulation means 45a determines a place indicated by the range determined in S162 that the driver has performed gaze as a destination of the driving (S164).
運転シミュレーション手段45aは、場所を示す範囲に対する注視が運転者によって実行されなかったとS162において判断するか、目的地決定条件を満たしていないとS163において判断するか、S164の処理を実行すると、S161の処理を実行する。 If the driving simulation means 45a judges in S162 that the gaze to the range indicating the place is not executed by the driver, or judges in S163 that the destination determination condition is not satisfied, or if the processing of S164 is executed, Execute the process
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したとS161において判断すると、図9に示す動作を終了する。 If the driving simulation means 45a determines in S161 that the driving of the simulation target vehicle is ended, the operation shown in FIG. 9 is ended.
運転シミュレーション手段45aは、場所を示す範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。 The driving simulation means 45a may make the threshold time of the gaze with respect to the range indicating the place different from the threshold time of any gaze described above, such as the gaze with respect to the range of the mirror surface of the rearview mirror, for example.
次に、運転のルートを決定する処理を実行する場合のドライビングシミュレーター10の動作について説明する。 Next, the operation of the driving simulator 10 when executing the process of determining the driving route will be described.
図10は、運転のルートを決定する処理を実行する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。 FIG. 10 is a flowchart showing an example of the operation of the driving simulator 10 in the case of executing the process of determining the driving route.
運転シミュレーション手段45aは、運転者によるシミュレーション対象車の運転が開始された場合に、図10に示す動作を実行する。 The driving simulation means 45a executes the operation shown in FIG. 10 when the driving of the simulation target vehicle is started by the driver.
図10に示すように、運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したか否かを判断する(S171)。 As shown in FIG. 10, the driving simulation means 45a determines whether the driving of the simulation target vehicle has ended (S171).
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了していないとS171において判断すると、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されたか否かを判断する(S172)。ここで、交通規制に関する情報の通知部は、シミュレーション対象車以外の部分、例えば、シミュレーション対象車の運転のルートにおける道路の近傍に設置されている。交通規制に関する情報の通知部としては、例えば、マラソン大会の開催などに伴う交通規制を知らせる看板などが考えられる。 If it is determined in S171 that the driving of the simulation target vehicle is not finished, the driving simulation means 45a determines whether the driver has performed a gaze at the range of the notification unit of information on traffic regulation (S172). Here, the notification unit of information on traffic regulation is installed in a portion other than the simulation target vehicle, for example, in the vicinity of the road in the driving route of the simulation target vehicle. As a notification unit of information on traffic regulation, for example, a signboard or the like for informing traffic regulation accompanying the holding of a marathon event may be considered.
運転シミュレーション手段45aは、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されたとS172において判断すると、この範囲に含まれる情報に基づいて運転のルートを表示部31によって提案する(S173)。例えば、運転シミュレーション手段45aは、標準のルートではなく、交通規制によって予測される渋滞を考慮した迂回ルートを提案する。
The driving simulation means 45a, when judging in S172 that the driver's gaze on the range of the notification unit of the information on traffic regulation is executed, proposes the driving route by the
次いで、運転シミュレーション手段45aは、S173において提案したルートを運転のルートとして決定するための条件(以下「ルート決定条件」という。)を満たしたか否かを判断する(S174)。ここで、ルート決定条件としては、例えば、ルートを決定するための特定の操作が操作部41に入力されること、「ルートを決定する」などの特定の言葉がマイクロフォン42に入力されることなどが考えられる。
Next, the driving simulation means 45a determines whether the condition for determining the route proposed in S173 as the driving route (hereinafter referred to as "route determination condition") is satisfied (S174). Here, as the route determination condition, for example, a specific operation for determining a route is input to the
運転シミュレーション手段45aは、ルート決定条件を満たしたとS174において判断すると、S173において提案したルートを運転のルートとして決定する(S175)。 If it is determined in S174 that the route determination condition is satisfied, the driving simulation means 45a determines the route proposed in S173 as the driving route (S175).
運転シミュレーション手段45aは、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されなかったとS172において判断するか、ルート決定条件を満たしていないとS174において判断するか、S175の処理を実行すると、S171の処理を実行する。 The driving simulation means 45a determines in S172 that the driver has not performed gaze at the range of the notification unit of the information on traffic regulation, or determines in S174 that the route determination condition is not satisfied, or executes S175. Then, the process of S171 is performed.
運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したとS171において判断すると、図10に示す動作を終了する。 If the driving simulation means 45a determines in S171 that the driving of the simulation target vehicle is ended, the operation shown in FIG. 10 is ended.
なお、運転シミュレーション手段45aは、図10に示す動作において、運転のルートを運転者の指示に応じて決定する(S173〜S175)。しかしながら、運転シミュレーション手段45aは、運転者によって注視が実行されたとS172において判断した範囲に含まれる情報に基づいて運転のルートを自動で決定しても良い。 In the operation shown in FIG. 10, the driving simulation means 45a determines the driving route according to the driver's instruction (S173 to S175). However, the driving simulation means 45a may automatically determine the driving route based on the information included in the range determined in S172 that the driver has performed gaze.
運転シミュレーション手段45aは、交通規制に関する情報の通知部の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。 The driving simulation means 45a may make the threshold time of the gaze with respect to the range of the notification unit of the information on traffic regulation different from the threshold time of any of the gazes described above, such as the gaze with respect to the range of the mirror surface of the rearview mirror.
以上に説明したように、ドライビングシミュレーター10は、特定の範囲に対する注視が運転者によって実行されなかったという条件を含む特定の条件を満たす場合(S101でNO、S121でNO、または、S135でNO)に、自動車の運転のシミュレーションにおいて特定の処理を実行する(S102、S122またはS137)。また、ドライビングシミュレーター10は、特定の範囲に対する注視が運転者によって実行されたという条件を含む特定の条件を満たす場合(S142でYES、S152でYES、S162でYES、または、S172でYES)に、自動車の運転のシミュレーションにおいて特定の処理を実行する(S143、S155、S164またはS175)。したがって、ドライビングシミュレーター10は、自動車の運転のシミュレーションにおいて運転者の視線を従来より有効に活用することができる。 As described above, the driving simulator 10 satisfies the specific condition including the condition that the driver does not execute the gaze for the specific range (NO in S101, NO in S121, or NO in S135). Then, a specific process is executed in the simulation of the driving of the vehicle (S102, S122 or S137). In addition, when the driving simulator 10 satisfies a specific condition including the condition that the driver's gaze is performed for the specific range (YES in S142, YES in S152, YES in S162, or YES in S172), A specific process is executed in the driving simulation of the vehicle (S143, S155, S164 or S175). Therefore, the driving simulator 10 can more effectively utilize the driver's line of sight in simulation of driving of the vehicle.
ドライビングシミュレーター10は、図3に示す動作を実行する場合、シミュレーション対象車が進行方向を変更する直前の特定の期間において、特定の範囲に対する注視が運転者によって実行されなかったとき(S101でNO)に、運転の安全性に関する通知を実行する(S102)ので、シミュレーション対象車の進行方向を変更する場合の運転者の安全確認の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。例えば、運転者がシミュレーション対象車を左折させしようとしてバックミラーによる安全確認を行い、シミュレーション対象車を減速し、シミュレーション対象車の左の外側の、ドアミラー以外の範囲の安全確認を行ったものの、左のドアミラーによる安全確認を怠ったために、シミュレーション対象車の左後方からシミュレーション対象車に接近したオートバイに気付かずに、シミュレーション対象車の左折をハンドルによって操作した場合に、シミュレーション対象車がこのオートバイと衝突するという事態が発生したとき、ドライビングシミュレーター10は、左のドアミラーによる安全確認を行っていないことを注意する通知を表示部31によって実行することによって、シミュレーション対象車を左折する場合の運転者の安全確認の意識を向上することができる。
When the driving simulator 10 executes the operation shown in FIG. 3, when the driver does not perform gaze at a specific range during a specific period immediately before the simulation target vehicle changes the traveling direction (NO in S101) Since the notification on the driving safety is executed (S102), the driver's awareness of safety confirmation when changing the traveling direction of the simulation target vehicle, that is, the driver's awareness of safe driving can be improved. it can. For example, the driver performs a safety check using a rearview mirror to turn left on the simulation target vehicle, decelerates the simulation target vehicle, and performs safety check on the outside of the left side of the simulation target vehicle except for the door mirror. When the left corner of the simulation target vehicle is operated by the steering wheel without being aware of the motorcycle approaching the simulation target vehicle from the left rear of the simulation target vehicle because the safety confirmation by the door mirror is neglected, the simulation target vehicle collides with this motorcycle If the driving simulator 10 notices that the safety confirmation by the left door mirror is not performed by the
ドライビングシミュレーター10は、図5に示す動作を実行する場合、シミュレーション対象車が進行方向を変更する直前の特定の期間において、特定の範囲に対する注視が運転者によって実行されなかったとき(S121でNO)に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させる(S122)ので、効果的なシミュレーションを実行することができるとともに、シミュレーション対象車の進行方向を変更する場合の運転者の安全確認の意識を向上することができる。 When the driving simulator 10 executes the operation shown in FIG. 5, when the driver does not perform gaze at a specific range during a specific period immediately before the simulation target vehicle changes the traveling direction (NO at S121) In the simulation, a specific situation is generated for the simulation target vehicle (S122), so that effective simulation can be executed and the driver's safety confirmation when changing the traveling direction of the simulation target vehicle I can improve my consciousness.
ドライビングシミュレーター10は、図6に示す動作を実行する場合、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかったとき(S135でNO)に、運転の安全性に関する通知を実行する(S137)ので、運転に関する情報の通知部を確認することに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。例えば、最高速度が時速60kmであった状態において、最高速度を時速50kmに制限する道路標識の近傍をシミュレーション対象車が通過した場合に運転者が時速50kmを超える速度でシミュレーション対象車を走行させ続けたとき、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていなければ、ドライビングシミュレーター10は、道路標識の確認を行っていないことを注意する通知を実行する。 When the driving simulator 10 executes the operation shown in FIG. 6, when driving is not performed by the driver with respect to the range of the notification unit of the information on driving (NO in S135), the driving simulator 10 performs notification on driving safety. (S137), it is possible to improve the driver's awareness of confirming the notification part of the information related to driving, that is, the driver's awareness of safe driving. For example, when the simulation target vehicle passes the vicinity of a road sign that limits the maximum speed to 50 km / h while the maximum speed is 60 km / h, the driver keeps the simulation target vehicle traveling at a speed exceeding 50 km / hour When driving, if the driver is not performing a gaze on the range of the road sign indicating the current speed limit, the driving simulator 10 executes a notification to warn that the road sign has not been confirmed.
ドライビングシミュレーター10は、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかった場合に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させるとき、効果的なシミュレーションを実行することができるとともに、運転に関する情報の通知部を確認することに対する運転者の意識を向上することができる。 The driving simulator 10 executes an effective simulation when generating a specific situation for the simulation target vehicle in the simulation, when the driver does not perform gaze at the range of the notification unit of the information on driving. As a result, it is possible to improve the driver's awareness of checking the notification section of the information on driving.
ドライビングシミュレーター10は、図7に示す動作を実行する場合、わき見範囲に対する注視が運転者によって実行されたとき(S142でYES)に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させる(S143)ので、効果的なシミュレーションを実行することができるとともに、わき見運転をしないことに対する運転者の意識を向上することができる。例えば、ドライビングシミュレーター10は、シミュレーション対象車の計器類の近傍に設置されている携帯ホルダーに置いてある携帯端末にメッセージを受信させ、このメッセージを運転者が見た場合に、メッセージを運転者が見た瞬間にシミュレーション対象車の前方への歩行者の飛び出しを発生させることによって、リアルな体験として運転者をひやりとさせることができ、わき見運転をしないことに対する運転者の意識を向上することができる。 When the driving simulator 10 executes the operation shown in FIG. 7 and causes the driver to execute a gaze at the side view (YES in S142), the driving simulator 10 causes the simulation target vehicle to generate a specific situation (S143). Therefore, it is possible to execute an effective simulation and to improve the driver's awareness of not driving while looking aside. For example, the driving simulator 10 causes a portable terminal placed in a portable holder installed near the instruments of the simulation target vehicle to receive a message, and when the driver sees this message, the driver can use the message. By generating a pedestrian's jump out to the front of the simulation target vehicle at the moment when it sees, it is possible to make the driver cool as a realistic experience, and to improve the driver's awareness of not doing a side view driving .
ドライビングシミュレーター10は、わき見範囲に対する注視が運転者によって実行された場合に、運転の安全性に関する通知を実行するとき、わき見運転をしないことに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。 When the driving simulator 10 executes the notification on driving safety when the driver gazes at the watching area, the driving simulator 10 recognizes the driver's awareness for not driving while watching, that is, the driver's awareness of safe driving. I can improve my consciousness.
ドライビングシミュレーター10は、図8に示す動作を実行する場合、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて運転の安全性に関する通知を実行する(S155)ので、運転中の運転者の通常の視界内で運転者が自動車のミラーを介さずに直接見ることができる対象ではなく、ミラーによる鏡像における対象に対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。 When executing the operation shown in FIG. 8, the driving simulator 10 executes the notification regarding the safety of the driving according to the number of gazes executed by the driver within the range of the target to be gazed in the mirror image by the mirror. (S155), so that the driver's awareness of the subject in the mirror image of the mirror, ie the safety, is not a subject that the driver can see directly without passing through the car mirror within the normal view of the driver while driving This can improve the driver's awareness of driving.
ドライビングシミュレーター10は、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる場合、効果的なシミュレーションを実行することができるとともに、通常視界外の対象に対する運転者の意識を向上することができる。 The driving simulator 10 is effective in the case of causing a specific situation in the simulation to the simulation target vehicle according to the number of targets for which the driver has performed gaze within the range of the target to be gazed in the mirror image of the mirror. Simulation can be performed, and the driver's awareness of objects outside the normal view can be improved.
ドライビングシミュレーター10は、運転者の視線を活用して運転の目的地を決定したり(S164)、運転のルートを決定したり(S175)するので、利便性を向上することができる。 Since the driving simulator 10 determines the driving destination using the driver's line of sight (S164) or determines the driving route (S175), the convenience can be improved.
なお、シミュレーション画像を表示する表示デバイスは、本実施の形態においてヘッドマウントディスプレイによって実現されているが、ヘッドマウントディスプレイ以外のデバイスによって実現されても良い。 In addition, although the display device which displays a simulation image is implement | achieved by the head mounted display in this Embodiment, you may implement | achieve by devices other than a head mounted display.
シミュレーション画像における運転者の視線を検出する視線検出部は、本実施の形態においてヘッドマウントディスプレイによって実現されているが、ヘッドマウントディスプレイ以外のデバイスによって実現されても良い。 The line-of-sight detection unit for detecting the line of sight of the driver in the simulation image is realized by the head mounted display in the present embodiment, but may be realized by a device other than the head mounted display.
(第2の実施の形態)
まず、本発明の第2の実施の形態に係る運転用情報処理装置としての手動運転支援装置の構成について説明する。
Second Embodiment
First, the configuration of a manual driving support apparatus as a driving information processing apparatus according to a second embodiment of the present invention will be described.
図11は、本実施の形態に係る手動運転支援装置210のブロック図である。 FIG. 11 is a block diagram of a manual driving support device 210 according to the present embodiment.
図11に示す手動運転支援装置210は、運転手によって運転される図示していない自動車に搭載されて、運転手による自動車の運転を支援する装置である。手動運転支援装置210は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部211と、種々の情報を表示するLCDなどの表示デバイスである表示部212と、運転者の顔の前方を撮影するためのカメラ213と、運転者の視線を検出する視線検出部214と、マイクロフォン215と、LAN、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部216と、各種の情報を記憶する半導体メモリー、HDDなどの不揮発性の記憶デバイスである記憶部217と、手動運転支援装置210全体を制御する制御部218とを備えている。手動運転支援装置210は、手動運転支援装置210を搭載する自動車などの外部の装置と通信部216を介して通信可能である。
A manual driving support device 210 shown in FIG. 11 is a device mounted on a motor vehicle (not shown) driven by a driver to support the driving of the motor vehicle by the driver. The manual driving support device 210 includes an
表示部212、カメラ213および視線検出部214は、第1の実施の形態と同様にヘッドマウントディスプレイによって実現されても良い。ただし、表示部212、カメラ213および視線検出部214がヘッドマウントディスプレイによって実現される場合、表示部212に表示される画像は、ARおよびMRのいずれかで表現される。
The
記憶部217は、運転者による自動車の運転の支援のための情報処理を実行するための運転用情報処理プログラムとしての手動運転支援プログラム217aを記憶している。手動運転支援プログラム217aは、例えば、手動運転支援装置210の製造段階で手動運転支援装置210にインストールされていても良いし、USBメモリー、CD、DVDなどの外部の記憶媒体から手動運転支援装置210に追加でインストールされても良いし、ネットワーク上から手動運転支援装置210に追加でインストールされても良い。
The storage unit 217 stores a manual
制御部218は、例えば、CPUと、プログラムおよび各種のデータを記憶しているROMと、CPUの作業領域として用いられるRAMとを備えている。CPUは、ROMまたは記憶部217に記憶されているプログラムを実行する。すなわち、手動運転支援装置210は、コンピューターである。 The control unit 218 includes, for example, a CPU, a ROM storing programs and various data, and a RAM used as a work area of the CPU. The CPU executes a program stored in the ROM or the storage unit 217. That is, the manual driving support device 210 is a computer.
制御部218は、手動運転支援プログラム217aを実行することによって、手動運転支援手段218aを実現する。手動運転支援手段218aは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、運転者による自動車の運転の支援のための情報処理において特定の処理を実行するので、本発明の特定処理実行手段を構成している。
The control unit 218 implements the manual
なお、手動運転支援手段218aは、カメラ213によって撮影された画像に対して特定の基準で画像処理を実行することによって、カメラ213によって撮影された画像における注視の対象の候補の範囲を特定する。
The manual driving support means 218a performs image processing on the image captured by the
次に、手動運転支援装置210の動作について説明する。 Next, the operation of the manual driving support device 210 will be described.
手動運転支援手段218aは、運転シミュレーション手段45a(図2参照。)と同様に、自動車が進行方向を変更する直前の特定の期間において、自動車のバックミラーの鏡面の範囲、自動車のドアミラーの鏡面の範囲、自動車の左右の外側の、ドアミラー以外の範囲など、特定の範囲に対する注視が運転者によって実行されなかった場合に、運転の安全性に関する通知を表示部212によって実行することによって、自動車の進行方向を変更する場合の運転者の安全確認の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。
The manual driving support means 218a, like the driving simulation means 45a (see FIG. 2), covers the range of the mirror surface of the rear mirror of the vehicle and the mirror surface of the door mirror of the vehicle in a specific period immediately before the vehicle changes its traveling direction. When the driver does not perform a gaze on a specific range, such as a range, a range outside the left and right sides of the vehicle, and the like, other than the door mirror, the progress on the vehicle is performed by the
手動運転支援手段218aは、運転シミュレーション手段45aと同様に、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかった場合に、運転の安全性に関する通知を表示部212によって実行することによって、自動車以外の部分に設置されている、運転に関する情報の通知部を確認することに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。
Similar to the driving
手動運転支援手段218aは、運転シミュレーション手段45aと同様に、わき見範囲に対する注視が運転者によって実行された場合に、運転の安全性に関する通知を表示部212によって実行することによって、わき見運転をしないことに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。
Similar to the driving
手動運転支援手段218aは、運転シミュレーション手段45aと同様に、運転者の視線を活用して運転の目的地を決定したり、運転のルートを決定したりすることによって、利便性を向上することができる。手動運転支援手段218aは、決定した目的地およびルートを、自動車の内部のカーナビゲーションシステムに入力する。
Similar to the driving
手動運転支援手段218aは、場所を示す範囲に対する注視が運転者によって実行された場合に、運転者によって注視が実行された範囲によって示される場所までのルートにおける渋滞情報を通信部216を介してインターネット上から検索して検索結果を表示部212に表示したり、運転者によって注視が実行された範囲によって示される場所に存在するレストランの情報など、運転者によって注視が実行された範囲によって示される場所に関する情報を通信部216を介してインターネット上から検索して検索結果を表示部212に表示したりしても良い。
The manual driving support means 218a uses the
手動運転支援手段218aは、カメラ213によって撮影された画像のうち、運転者によって注視が実行された範囲の画像を保存しても良い。例えば、手動運転支援手段218aは、運転者によって注視が実行された4点で囲まれた範囲を保存しても良い。
The manual driving support means 218a may store an image of a range in which the driver has performed a gaze, among the images captured by the
(第3の実施の形態)
まず、本発明の第3の実施の形態に係る運転用情報処理装置としての自動運転支援装置の構成について説明する。
Third Embodiment
First, the configuration of an automatic driving support apparatus as a driving information processing apparatus according to a third embodiment of the present invention will be described.
図12は、本実施の形態に係る自動運転支援装置310のブロック図である。 FIG. 12 is a block diagram of an automatic driving support device 310 according to the present embodiment.
図12に示す自動運転支援装置310は、自動運転を実行する図示していない自動車に搭載されて、自動車による自動運転を支援する装置である。自動運転支援装置310は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部311と、種々の情報を表示するLCDなどの表示デバイスである表示部312と、運転者の顔の前方を撮影するためのカメラ313と、運転者の視線を検出する視線検出部314と、マイクロフォン315と、LAN、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部316と、各種の情報を記憶する半導体メモリー、HDDなどの不揮発性の記憶デバイスである記憶部317と、自動運転支援装置310全体を制御する制御部318とを備えている。自動運転支援装置310は、自動運転支援装置310を搭載する自動車などの外部の装置と通信部316を介して通信可能である。
An automatic driving support device 310 shown in FIG. 12 is a device that is mounted on a vehicle (not shown) that executes automatic driving and supports automatic driving by the vehicle. The automatic driving support apparatus 310 includes an
表示部312、カメラ313および視線検出部314は、第1の実施の形態と同様にヘッドマウントディスプレイによって実現されても良い。ただし、表示部312、カメラ313および視線検出部314がヘッドマウントディスプレイによって実現される場合、表示部312に表示される画像は、ARおよびMRのいずれかで表現される。
The
記憶部317は、自動車による自動運転の支援のための情報処理を実行するための運転用情報処理プログラムとしての自動運転支援プログラム317aを記憶している。自動運転支援プログラム317aは、例えば、自動運転支援装置310の製造段階で自動運転支援装置310にインストールされていても良いし、USBメモリー、CD、DVDなどの外部の記憶媒体から自動運転支援装置310に追加でインストールされても良いし、ネットワーク上から自動運転支援装置310に追加でインストールされても良い。
The storage unit 317 stores an automatic
制御部318は、例えば、CPUと、プログラムおよび各種のデータを記憶しているROMと、CPUの作業領域として用いられるRAMとを備えている。CPUは、ROMまたは記憶部317に記憶されているプログラムを実行する。すなわち、自動運転支援装置310は、コンピューターである。 The control unit 318 includes, for example, a CPU, a ROM storing programs and various data, and a RAM used as a work area of the CPU. The CPU executes a program stored in the ROM or the storage unit 317. That is, the automatic driving support device 310 is a computer.
制御部318は、自動運転支援プログラム317aを実行することによって、自動運転支援手段318aを実現する。自動運転支援手段318aは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、自動車による自動運転の支援のための情報処理において特定の処理を実行するので、本発明の特定処理実行手段を構成している。
The control unit 318 implements the automatic
なお、自動運転支援手段318aは、カメラ313によって撮影された画像に対して特定の基準で画像処理を実行することによって、カメラ313によって撮影された画像における注視の対象の候補の範囲を特定する。
The automatic driving support means 318 a performs image processing on an image captured by the
次に、自動運転支援装置310の動作について説明する。 Next, the operation of the automatic driving support device 310 will be described.
自動運転支援装置310は、自動運転における回避の対象を決定することができる。以下、自動運転における回避の対象を決定する処理を実行する場合の自動運転支援装置310の動作について説明する。 The automatic driving support device 310 can determine an avoidance target in automatic driving. Hereinafter, an operation of the automatic driving support device 310 in the case of executing a process of determining an avoidance target in automatic driving will be described.
図13は、自動運転における回避の対象を決定する処理を実行する場合の自動運転支援装置310の動作の一例を示すフローチャートである。 FIG. 13 is a flowchart showing an example of the operation of the automatic driving support device 310 in the case of executing the process of determining an avoidance target in automatic driving.
自動運転支援手段318aは、自動車による自動運転が開始された場合に、図13に示す動作を実行する。 The automatic driving support means 318a executes the operation shown in FIG. 13 when the automatic driving by the vehicle is started.
図13に示すように、自動運転支援手段318aは、自動運転が終了したか否かを判断する(S321)。 As shown in FIG. 13, the automatic driving support means 318a determines whether the automatic driving has ended (S321).
自動運転支援手段318aは、自動運転が終了していないとS321において判断すると、特定の範囲に対する注視が運転者によって実行されたか否かを判断する(S322)。 If it is determined in S321 that the automatic driving has not ended, the automatic driving support means 318a determines whether the driver has performed a gaze on a specific range (S322).
自動運転支援手段318aは、特定の範囲に対する注視が運転者によって実行されたとS322において判断すると、この範囲を自動運転における回避の対象として決定し(S323)、S323において決定した対象を、自動運転における回避の対象として自動車の自動運転システムに入力する(S324)。 The automatic driving support means 318a, when judging in S322 that the gaze for a specific range has been executed by the driver, determines this range as an avoidance target in automatic driving (S323), and determines the target determined in S323 in automatic driving. It inputs into the automatic driving system of a car as a target of avoidance (S324).
自動運転支援手段318aは、特定の範囲に対する注視が運転者によって実行されなかったとS322において判断するか、S324の処理が終了すると、S321の処理を実行する。 The automatic driving support means 318a executes the processing of S321 when judging in S322 that the driver has not performed gaze at a specific range or when the processing of S324 is completed.
自動運転支援手段318aは、自動運転が終了したとS321において判断すると、図13に示す動作を終了する。 If the automatic driving support means 318a determines in S321 that the automatic driving has ended, the operation shown in FIG. 13 ends.
以上に説明したように、自動運転支援装置310は、自動車の運転者の視線を活用して自動運転における回避の対象を決定する(S323)ので、利便性を向上することができる。 As described above, the automatic driving support device 310 determines the target of avoidance in automatic driving by utilizing the line of sight of the driver of the vehicle (S323), and therefore the convenience can be improved.
自動運転支援手段318aは、手動運転支援手段218a(図11参照。)と同様に、運転者の視線を活用して運転の目的地を決定したり、運転のルートを決定したりすることによって、利便性を向上することができる。自動運転支援手段318aは、決定した目的地およびルートを、自動車の自動運転システムに入力する。 Like the manual driving support means 218a (see FIG. 11), the automatic driving support means 318a uses the sight of the driver to determine the driving destination or determines the driving route. Convenience can be improved. The autonomous driving support means 318a inputs the determined destination and route into the autonomous driving system of the vehicle.
自動運転支援手段318aは、手動運転支援手段218aと同様に、場所を示す範囲に対する注視が運転者によって実行された場合に、運転者によって注視が実行された範囲によって示される場所までのルートにおける渋滞情報を通信部316を介してインターネット上から検索して検索結果を表示部312に表示したり、運転者によって注視が実行された範囲によって示される場所に存在するレストランの情報など、運転者によって注視が実行された範囲によって示される場所に関する情報を通信部316を介してインターネット上から検索して検索結果を表示部312に表示したりしても良い。
The automatic driving support means 318a, like the manual driving support means 218a, congestion on the route to the location indicated by the range where the gaze was performed by the driver when the gaze to the range indicating the location is performed by the driver. Information is searched from the Internet via the
自動運転支援手段318aは、手動運転支援手段218aと同様に、カメラ313によって撮影された画像のうち、運転者によって注視が実行された範囲の画像を保存しても良い。
The automatic driving support means 318a may store an image of a range in which the driver has performed a gaze, among the images taken by the
上述した各実施の形態においては、車両の運転について説明している。しかしながら、本発明は、船舶の操縦、航空機の操縦など、車両以外の乗物の操作についても応用可能である。 In each of the above-described embodiments, the operation of the vehicle is described. However, the present invention is also applicable to the operation of vehicles other than vehicles, such as the operation of a ship and the operation of an aircraft.
なお、本発明は、VR(Virtual Reality)、AR(Augmented Reality)、MR(Mixed Reality)およびSR(Substitutional Reality)といった任意の現実感技術の総称であるxR技術に応用することができるように構成されても良い。 The present invention is configured to be applicable to xR technology, which is a generic name for any reality technology such as VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality) and SR (Substitutional Reality). It may be done.
10 ドライビングシミュレーター(運転用情報処理装置)
31 表示部(表示デバイス)
32 視線検出部
40 コンピューター
44a 運転シミュレーションプログラム(運転用情報処理プログラム)
45a 運転シミュレーション手段(特定処理実行手段)
210 手動運転支援装置(運転用情報処理装置、コンピューター)
214 視線検出部
217a 手動運転支援プログラム(運転用情報処理プログラム)
218a 手動運転支援手段(特定処理実行手段)
310 自動運転支援装置(運転用情報処理装置、コンピューター)
314 視線検出部
317a 自動運転支援プログラム(運転用情報処理プログラム)
318a 自動運転支援手段(特定処理実行手段)
10 Driving simulator (information processing device for driving)
31 Display (Display Device)
32
45a Driving simulation means (specific processing execution means)
210 Manual Driving Support Device (Driving Information Processing Device, Computer)
214 Line of
218a Manual operation support means (specific process execution means)
310 Automatic Driving Support Device (Driving Information Processing Device, Computer)
314 Line of
318a Automatic driving support means (specific processing execution means)
Claims (11)
前記車両の運転者の視線を検出する視線検出部と、
特定の範囲に対する注視が前記運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段と
を備え、
前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して0秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする運転用情報処理装置。 A driving information processing apparatus that executes information processing for driving a vehicle.
A gaze detection unit that detects a gaze of a driver of the vehicle.
The condition that a gaze for a particular range has been performed by the driver, and a particular condition including any one of the conditions that a gaze for the particular range has not been performed by the driver Specific processing execution means for executing specific processing in information processing;
The specific process execution means, as a gaze for the specific range, indicates that the visual axis detected by the visual axis detection unit continuously exists for a specific time exceeding 0 seconds with respect to the specific area. And the line of sight detected by the line of sight detecting unit continues to be present for a specific time or less for the specific range, and the line of sight detected by the line of sight detecting unit is the specific range The information processing apparatus for operation which does not treat that it does not exist with respect to as a gaze with respect to the said specific range.
前記特定の条件は、前記車両が進行方向を変更する直前の特定の期間において前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件を含むことを特徴とする請求項1に記載の運転用情報処理装置。 The specific range is any one of a range of a mirror surface of a rear mirror of the vehicle, a range of a mirror surface of a door mirror of the vehicle, and a range other than the door mirror outside the left and right of the vehicle.
The said specific conditions include the conditions that the gaze with respect to the said specific range was not performed by the said driver | operator in the specific period just before the said vehicle changes a advancing direction. Information processing device for driving.
前記通知部は、前記車両以外の部分に設置されており、
前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含むことを特徴とする請求項1に記載の運転用情報処理装置。 The specific range is a range of a notification unit of information on the driving,
The said notification part is installed in parts other than the said vehicle,
The driving information processing apparatus according to claim 1, wherein the specific condition includes a condition that a gaze on the specific range is performed by the driver.
前記特定の条件は、前記車両が前記運転によって移動させられている最中に前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含むことを特徴とする請求項1に記載の運転用情報処理装置。 The specific range is a range in which the driver looks at the driver when he or she gazes.
The driving according to claim 1, wherein the specific condition includes a condition that a gaze on the specific range is performed by the driver while the vehicle is being moved by the driving. Information processing device.
前記特定の条件は、前記運転者によって注視が実行された前記特定の範囲の数の条件を含むことを特徴とする請求項1に記載の運転用情報処理装置。 The particular range is the range of a particular object in the mirror image of the vehicle mirror,
The driving information processing apparatus according to claim 1, wherein the specific condition includes the condition of the number of the specific range in which the driver performs the gaze.
前記運転用情報処理装置は、前記シミュレーションの画像を表示する表示デバイスを備え、
前記特定の範囲は、前記表示デバイスに表示された前記画像における範囲であり、
前記特定の処理は、前記シミュレーションにおいて特定の事態を前記車両に対して発生させる処理であることを特徴とする請求項1から請求項5までのいずれかに記載の運転用情報処理装置。 The information processing is a simulation of the driving,
The driving information processing apparatus includes a display device for displaying an image of the simulation.
The specific range is a range in the image displayed on the display device,
The driving information processing apparatus according to any one of claims 1 to 5, wherein the specific process is a process of causing a specific situation in the simulation to occur to the vehicle.
前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、
前記特定の処理は、前記特定の範囲によって示される前記場所を前記運転の目的地として決定する処理であることを特徴とする請求項1に記載の運転用情報処理装置。 The said specific range is a range which shows a place,
The particular condition includes the condition that a gaze for the particular range is performed by the driver,
The driving information processing apparatus according to claim 1, wherein the specific process is a process of determining the place indicated by the specific range as a destination of the driving.
前記通知部は、前記車両以外の部分に設置されており、
前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、
前記特定の処理は、前記特定の範囲に含まれる前記情報に基づいて前記運転のルートを決定する処理であることを特徴とする請求項1に記載の運転用情報処理装置。 The said specific range is the range of the notification part of the information regarding traffic regulation,
The said notification part is installed in parts other than the said vehicle,
The particular condition includes the condition that a gaze for the particular range is performed by the driver,
The driving information processing apparatus according to claim 1, wherein the specific process is a process of determining the driving route based on the information included in the specific range.
前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、
前記特定の処理は、前記特定の範囲を前記自動運転における回避の対象として決定する処理であることを特徴とする請求項1に記載の運転用情報処理装置。 The information processing is processing related to automatic driving of the vehicle,
The particular condition includes the condition that a gaze for the particular range is performed by the driver,
The driving information processing apparatus according to claim 1, wherein the specific process is a process of determining the specific range as an avoidance target in the automatic driving.
特定の範囲に対する注視が前記車両の運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段としてコンピューターを機能させ、
前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して0秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする運転用情報処理プログラム。 A driving information processing program for executing information processing for driving a vehicle,
Under certain conditions, including a condition that a gaze for a particular range has been performed by the driver of the vehicle and a condition that a gaze for the particular range has not been performed by the driver Causing the computer to function as specific processing execution means for executing specific processing in the information processing,
The specific process execution means, as a gaze for the specific range, indicates that the visual axis detected by the visual axis detection unit continuously exists for a specific time exceeding 0 seconds with respect to the specific area. And the line of sight detected by the line of sight detecting unit continues to be present for a specific time or less for the specific range, and the line of sight detected by the line of sight detecting unit is the specific range A driving information processing program characterized by not treating the absence of the condition as a gaze for the specific range.
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018007279A JP7185251B2 (en) | 2018-01-19 | 2018-01-19 | Driving information processing device and driving information processing program |
JP2022020516A JP7260207B2 (en) | 2018-01-19 | 2022-02-14 | Driving information processing device and driving information processing program |
JP2022127377A JP7352990B2 (en) | 2018-01-19 | 2022-08-09 | Driving information processing device and driving information processing program |
JP2022127376A JP7352989B2 (en) | 2018-01-19 | 2022-08-09 | Driving information processing device and driving information processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018007279A JP7185251B2 (en) | 2018-01-19 | 2018-01-19 | Driving information processing device and driving information processing program |
Related Child Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022020516A Division JP7260207B2 (en) | 2018-01-19 | 2022-02-14 | Driving information processing device and driving information processing program |
JP2022127377A Division JP7352990B2 (en) | 2018-01-19 | 2022-08-09 | Driving information processing device and driving information processing program |
JP2022127376A Division JP7352989B2 (en) | 2018-01-19 | 2022-08-09 | Driving information processing device and driving information processing program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019124892A true JP2019124892A (en) | 2019-07-25 |
JP7185251B2 JP7185251B2 (en) | 2022-12-07 |
Family
ID=67398568
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018007279A Active JP7185251B2 (en) | 2018-01-19 | 2018-01-19 | Driving information processing device and driving information processing program |
JP2022127376A Active JP7352989B2 (en) | 2018-01-19 | 2022-08-09 | Driving information processing device and driving information processing program |
JP2022127377A Active JP7352990B2 (en) | 2018-01-19 | 2022-08-09 | Driving information processing device and driving information processing program |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022127376A Active JP7352989B2 (en) | 2018-01-19 | 2022-08-09 | Driving information processing device and driving information processing program |
JP2022127377A Active JP7352990B2 (en) | 2018-01-19 | 2022-08-09 | Driving information processing device and driving information processing program |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP7185251B2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021169025A (en) * | 2019-11-28 | 2021-10-28 | 株式会社カプコン | Game program, computer and game system |
Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002148067A (en) * | 2000-11-13 | 2002-05-22 | Nec Corp | System and method for navigation |
JP2003263099A (en) * | 2002-03-07 | 2003-09-19 | Honda Motor Co Ltd | Driving training system using driving simulator |
JP2004037152A (en) * | 2002-07-01 | 2004-02-05 | Mazda Motor Corp | Apparatus and method for guiding path, and program for guiding path |
JP2006184106A (en) * | 2004-12-27 | 2006-07-13 | Aisin Aw Co Ltd | On-vehicle navigation device |
JP2009031943A (en) * | 2007-07-25 | 2009-02-12 | Aisin Aw Co Ltd | Facility specification device, facility specification method, and computer program |
JP2009042435A (en) * | 2007-08-08 | 2009-02-26 | Toyota Central R&D Labs Inc | Device and program for safe driving education |
WO2010140215A1 (en) * | 2009-06-02 | 2010-12-09 | トヨタ自動車株式会社 | Vehicular peripheral surveillance device |
US20110076649A1 (en) * | 2009-09-29 | 2011-03-31 | Advanced Training System Llc | System, Method and Apparatus for Adaptive Driver Training |
JP2012247871A (en) * | 2011-05-25 | 2012-12-13 | Fujitsu Ltd | Driving skill discrimination device, and driving skill discrimination program |
JP2015026185A (en) * | 2013-07-25 | 2015-02-05 | 三菱電機株式会社 | Driving support device |
JP2015127937A (en) * | 2013-11-29 | 2015-07-09 | 富士通株式会社 | Driving support device, method, and program |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5513353B2 (en) | 2010-12-01 | 2014-06-04 | 本田技研工業株式会社 | Alarm device |
JP6136238B2 (en) | 2012-12-19 | 2017-05-31 | アイシン・エィ・ダブリュ株式会社 | Driving support system, driving support method, and computer program |
US9481287B2 (en) | 2014-01-21 | 2016-11-01 | Harman International Industries, Inc. | Roadway projection system |
JP6319349B2 (en) | 2015-04-03 | 2018-05-09 | 株式会社デンソー | Information presentation device |
JP2017111469A (en) | 2015-12-14 | 2017-06-22 | 富士通株式会社 | Road sign visual recognition determination system, road sign visual recognition determination method, and program |
JP2017122640A (en) | 2016-01-07 | 2017-07-13 | トヨタ自動車株式会社 | Information control device |
-
2018
- 2018-01-19 JP JP2018007279A patent/JP7185251B2/en active Active
-
2022
- 2022-08-09 JP JP2022127376A patent/JP7352989B2/en active Active
- 2022-08-09 JP JP2022127377A patent/JP7352990B2/en active Active
Patent Citations (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002148067A (en) * | 2000-11-13 | 2002-05-22 | Nec Corp | System and method for navigation |
JP2003263099A (en) * | 2002-03-07 | 2003-09-19 | Honda Motor Co Ltd | Driving training system using driving simulator |
JP2004037152A (en) * | 2002-07-01 | 2004-02-05 | Mazda Motor Corp | Apparatus and method for guiding path, and program for guiding path |
JP2006184106A (en) * | 2004-12-27 | 2006-07-13 | Aisin Aw Co Ltd | On-vehicle navigation device |
JP2009031943A (en) * | 2007-07-25 | 2009-02-12 | Aisin Aw Co Ltd | Facility specification device, facility specification method, and computer program |
JP2009042435A (en) * | 2007-08-08 | 2009-02-26 | Toyota Central R&D Labs Inc | Device and program for safe driving education |
WO2010140215A1 (en) * | 2009-06-02 | 2010-12-09 | トヨタ自動車株式会社 | Vehicular peripheral surveillance device |
US20110076649A1 (en) * | 2009-09-29 | 2011-03-31 | Advanced Training System Llc | System, Method and Apparatus for Adaptive Driver Training |
JP2012247871A (en) * | 2011-05-25 | 2012-12-13 | Fujitsu Ltd | Driving skill discrimination device, and driving skill discrimination program |
JP2015026185A (en) * | 2013-07-25 | 2015-02-05 | 三菱電機株式会社 | Driving support device |
JP2015127937A (en) * | 2013-11-29 | 2015-07-09 | 富士通株式会社 | Driving support device, method, and program |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2021169025A (en) * | 2019-11-28 | 2021-10-28 | 株式会社カプコン | Game program, computer and game system |
JP7332925B2 (en) | 2019-11-28 | 2023-08-24 | 株式会社カプコン | Game programs, computers, and game systems |
Also Published As
Publication number | Publication date |
---|---|
JP7352989B2 (en) | 2023-09-29 |
JP2022167920A (en) | 2022-11-04 |
JP7185251B2 (en) | 2022-12-07 |
JP7352990B2 (en) | 2023-09-29 |
JP2022174052A (en) | 2022-11-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10391406B2 (en) | Apparatus and method for safe drive inducing game | |
JP6611957B2 (en) | Information output control device and information output control method | |
JP2024063147A (en) | On-vehicle device | |
JP6107590B2 (en) | Head-up display device | |
US11130502B2 (en) | Method for assisting a driver with regard to traffic-situation-relevant objects and motor vehicle | |
WO2018078732A1 (en) | Display control apparatus, display apparatus, and display control method | |
US11535260B2 (en) | Attention-based notifications | |
JP6653439B2 (en) | Display control device, projection device, display control program, and recording medium | |
JP6396672B2 (en) | Information display device and information display method | |
JP2011028415A (en) | Driving support device | |
WO2020105685A1 (en) | Display control device, method, and computer program | |
JP2007286959A (en) | Operation support device | |
JP7352990B2 (en) | Driving information processing device and driving information processing program | |
JP2017129973A (en) | Driving support apparatus and driving support method | |
JP7424327B2 (en) | Vehicle display control device, vehicle display control system, and vehicle display control method | |
JP2023138849A (en) | Presentation control device and presentation control program | |
JP2015228203A (en) | Display control unit, projector, display control program and recording medium | |
JP5257600B2 (en) | Display control system and display control program | |
JP7167812B2 (en) | VEHICLE CONTROL DEVICE, METHOD, PROGRAM AND VEHICLE DISPLAY DEVICE | |
JP7260207B2 (en) | Driving information processing device and driving information processing program | |
JP2019144971A (en) | Control system and control method for moving body | |
JP2018088119A (en) | Control device, control method, and program | |
JP2018169945A (en) | Driving support apparatus, driving support method, and driving support program | |
JP2022041286A (en) | Display control device, display control method, and display control program | |
JP2021148506A (en) | Display control device, display control method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201207 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211215 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220615 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220809 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7185251 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |