JP2019124892A - Operating information processing device and operating information processing program - Google Patents

Operating information processing device and operating information processing program Download PDF

Info

Publication number
JP2019124892A
JP2019124892A JP2018007279A JP2018007279A JP2019124892A JP 2019124892 A JP2019124892 A JP 2019124892A JP 2018007279 A JP2018007279 A JP 2018007279A JP 2018007279 A JP2018007279 A JP 2018007279A JP 2019124892 A JP2019124892 A JP 2019124892A
Authority
JP
Japan
Prior art keywords
driving
range
specific
driver
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018007279A
Other languages
Japanese (ja)
Other versions
JP7185251B2 (en
Inventor
広貴 槙
Hiroki Maki
広貴 槙
幸二 熊谷
Koji Kumagai
幸二 熊谷
哲也 杉本
Tetsuya Sugimoto
哲也 杉本
伊原 正典
Masanori Ihara
正典 伊原
高木 宏昌
Hiromasa Takagi
宏昌 高木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai Denshi Inc
Original Assignee
Tokai Denshi Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai Denshi Inc filed Critical Tokai Denshi Inc
Priority to JP2018007279A priority Critical patent/JP7185251B2/en
Publication of JP2019124892A publication Critical patent/JP2019124892A/en
Priority to JP2022020516A priority patent/JP7260207B2/en
Priority to JP2022127377A priority patent/JP7352990B2/en
Priority to JP2022127376A priority patent/JP7352989B2/en
Application granted granted Critical
Publication of JP7185251B2 publication Critical patent/JP7185251B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Eye Examination Apparatus (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

To provide an operating information processing device and an operating information processing program capable of utilizing a line of sight of a driver of a vehicle in information processing for vehicle driving more effectively than conventional ones.SOLUTION: A driving simulator executes a notification that safety confirmation by a back mirror is not performed (S102) in the case that a driver does not execute a gaze into the range of the mirror surface of the back mirror in a specific period just before a simulation object vehicle changes a direction of travel (NO in S101). The driving simulator regards the continuation of the existence of the line of sight of the driver detected by a line of sight detection part in a specific range for a threshold time as gaze at the specific range, and does not regard the continuation of the existence of the line of sight of the driver detected by the line of sight detection part in the specific range for a time of the threshold time or below and the nonexistence of the line of sight detected by the line of sight detection part in the specific range as a gaze at the specific range.SELECTED DRAWING: Figure 3

Description

本発明は、車両の運転のための情報処理を実行する運転用情報処理装置および運転用情報処理プログラムに関する。   The present invention relates to a driving information processing apparatus and a driving information processing program that execute information processing for driving a vehicle.

従来、車両の運転のための情報処理を実行する運転用情報処理装置として、車両の運転のシミュレーションを実行する視線検出機能付ヘッドマウントディスプレイシステムが知られている(例えば、特許文献1参照。)。この視線検出機能付ヘッドマウントディスプレイシステムは、運転のシミュレーションの実行中に車両の運転者の視線を検出し、検出した視線の位置を運転のシミュレーションの画像に同期して記憶装置に記憶することによって、運転のシミュレーションの終了後に、記憶装置から読み出した視線の位置と、運転のシミュレーションの画像とを重畳してモニターに表示させることができる。   Conventionally, as a driving information processing apparatus for executing information processing for driving a vehicle, there is known a head mounted display system with a line-of-sight detection function for executing simulation of driving of the vehicle (see, for example, Patent Document 1). . This head-mounted display system with gaze detection function detects the gaze of the driver of the vehicle during execution of driving simulation, and stores the detected gaze position in the storage device in synchronization with the image of the driving simulation. After completion of the driving simulation, the position of the line of sight read from the storage device and the image of the driving simulation can be superimposed and displayed on the monitor.

特開2001−117046号公報JP 2001-117046 A

しかしながら、従来の運転用情報処理装置においては、車両の運転者の視線が運転のシミュレーションの終了後に確認されるだけであるので、車両の運転のための情報処理において車両の運転者の視線が十分に活用されていないという問題がある。   However, in the conventional information processing apparatus for driving, the line of sight of the driver of the vehicle is only confirmed after the end of the driving simulation, so that the line of sight of the driver of the vehicle is sufficient in the information processing for driving the vehicle. There is a problem that it is not used by

そこで、本発明は、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる運転用情報処理装置および運転用情報処理プログラムを提供することを目的とする。   Then, this invention aims at providing the information processing apparatus for driving | operation, and the information processing program for driving which can utilize the gaze of the driver | operator of a vehicle more effectively than before in the information processing for the driving | operation of a vehicle. .

本発明の運転用情報処理装置は、車両の運転のための情報処理を実行する運転用情報処理装置であって、前記車両の運転者の視線を検出する視線検出部と、特定の範囲に対する注視が前記運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段とを備え、前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して0秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする。   An information processing apparatus for driving according to the present invention is an information processing apparatus for driving which executes information processing for driving a vehicle, and a gaze detection unit for detecting a gaze of a driver of the vehicle, and gaze at a specific range Specific in the information processing when a specific condition is satisfied, including one of the condition that is performed by the driver and the condition that a gaze for the specific range is not performed by the driver And a specific process execution means for executing a process, wherein the specific process execution means continues the time for which the visual axis detected by the visual axis detection unit exceeds a specific time exceeding 0 seconds with respect to the specific range. Treating the presence as a gaze for the particular range, the time when the sight line detected by the sight detection unit is less than or equal to the particular time with respect to the particular range And be present continue to, and that the sight line detected by the sight line detecting unit does not exist for the specific range, characterized in that it does not treated as sight for the particular range.

この構成により、本発明の運転用情報処理装置は、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、車両の運転のための情報処理において特定の処理を実行するので、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる。   According to this configuration, the driver's information processing apparatus of the present invention is either one of the condition that the driver's gaze was performed for the specific range and the condition that the driver's gaze for the specific range was not performed. In the case where the specific condition including one is satisfied, the specific process is executed in the information processing for driving the vehicle, so that the line of sight of the driver of the vehicle is more effectively utilized in the information processing for driving the vehicle. be able to.

本発明の運転用情報処理装置において、前記特定の範囲は、前記車両のバックミラーの鏡面の範囲、前記車両のドアミラーの鏡面の範囲、および、前記車両の左右の外側の、前記ドアミラー以外の範囲のいずれか1つであり、前記特定の条件は、前記車両が進行方向を変更する直前の特定の期間において前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件を含んでも良い。   In the information processing apparatus for driving according to the present invention, the specific range is a range of a mirror surface of a rear view mirror of the vehicle, a range of a mirror surface of a door mirror of the vehicle, and a range other than the door mirror outside the left and right sides of the vehicle. The specific condition may include a condition that a gaze on the specific range is not performed by the driver in a specific period immediately before the vehicle changes the traveling direction.

この構成により、本発明の運転用情報処理装置は、車両の進行方向を変更する場合の運転者の安全確認の意識を向上することができる。   According to this configuration, the driving information processing apparatus of the present invention can improve the driver's awareness of safety confirmation when changing the traveling direction of the vehicle.

本発明の運転用情報処理装置において、前記特定の範囲は、前記運転に関する情報の通知部の範囲であり、前記通知部は、前記車両以外の部分に設置されており、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含んでも良い。   In the information processing apparatus for driving according to the present invention, the specific range is a range of a notification unit of the information on the driving, the notification unit is installed in a portion other than the vehicle, and the specific condition is It may include a condition that a gaze on the specific range is performed by the driver.

この構成により、本発明の運転用情報処理装置は、運転に関する情報の通知部を確認することに対する運転者の意識を向上することができる。   According to this configuration, the information processing apparatus for driving of the present invention can improve the driver's awareness of confirming the notification unit of the information on driving.

本発明の運転用情報処理装置において、前記特定の範囲は、前記運転者によって注視されるとわき見運転となる範囲であり、前記特定の条件は、前記車両が前記運転によって移動させられている最中に前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含んでも良い。   In the information processing apparatus for driving according to the present invention, the specific range is a range in which the driver gazes at the driver's gaze and becomes a side-by-side driving, and the specific condition is a maximum of the vehicle being moved by the driving. The condition that the gaze for the specific range is performed by the driver may be included therein.

この構成により、本発明の運転用情報処理装置は、わき見運転をしないことに対する運転者の意識を向上することができる。   According to this configuration, the driving information processing apparatus of the present invention can improve the driver's awareness of not performing side-by-side driving.

本発明の運転用情報処理装置において、前記特定の範囲は、前記車両のミラーによる鏡像における特定の対象の範囲であり、前記特定の条件は、前記運転者によって注視が実行された前記特定の範囲の数の条件を含んでも良い。   In the information processing apparatus for driving according to the present invention, the specific range is a range of a specific target in a mirror image of a mirror of the vehicle, and the specific condition is the specific range in which gaze is performed by the driver. You may include the condition of the number of.

この構成により、本発明の運転用情報処理装置は、車両のミラーによる鏡像における対象に対する運転者の意識を向上することができる。   According to this configuration, the information processing apparatus for driving of the present invention can improve the driver's awareness of the object in the mirror image of the mirror of the vehicle.

本発明の運転用情報処理装置において、前記特定の処理は、前記運転の安全性に関する通知を実行する処理であっても良い。   In the information processing apparatus for driving according to the present invention, the specific processing may be processing of executing a notification regarding the safety of the driving.

この構成により、本発明の運転用情報処理装置は、安全な運転に対する運転者の意識を向上することができる。   According to this configuration, the driving information processing apparatus of the present invention can improve the driver's awareness of safe driving.

本発明の運転用情報処理装置において、前記情報処理は、前記運転のシミュレーションであり、前記運転用情報処理装置は、前記シミュレーションの画像を表示する表示デバイスを備え、前記特定の範囲は、前記表示デバイスに表示された前記画像における範囲であり、前記特定の処理は、前記シミュレーションにおいて特定の事態を前記車両に対して発生させる処理であっても良い。   In the information processing apparatus for driving of the present invention, the information processing is a simulation of the driving, and the information processing apparatus for driving includes a display device for displaying an image of the simulation, and the specific range is the display The specific process may be a process for causing the vehicle to generate a specific situation in the simulation.

この構成により、本発明の運転用情報処理装置は、効果的なシミュレーションを実行することができる。   According to this configuration, the driving information processing apparatus of the present invention can execute effective simulation.

本発明の運転用情報処理装置において、前記特定の範囲は、場所を示す範囲であり、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、前記特定の処理は、前記特定の範囲によって示される前記場所を前記運転の目的地として決定する処理であっても良い。   In the information processing apparatus for driving according to the present invention, the specific range is a range indicating a place, and the specific condition includes a condition that a gaze on the specific range is performed by the driver. The process of may be a process of determining the place indicated by the specific range as the destination of the driving.

この構成により、本発明の運転用情報処理装置は、車両の運転者の視線を活用して運転の目的地を決定するので、利便性を向上することができる。   With this configuration, the driving information processing apparatus according to the present invention determines the driving destination by utilizing the line of sight of the driver of the vehicle, so that the convenience can be improved.

本発明の運転用情報処理装置において、前記特定の範囲は、交通規制に関する情報の通知部の範囲であり、前記通知部は、前記車両以外の部分に設置されており、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、前記特定の処理は、前記特定の範囲に含まれる前記情報に基づいて前記運転のルートを決定する処理であっても良い。   In the information processing apparatus for driving according to the present invention, the specific range is a range of a notification unit of information on traffic regulation, the notification unit is installed in a portion other than the vehicle, and the specific condition is The specific process may be a process of determining the driving route based on the information included in the specific range, including a condition that a gaze for the specific range is performed by the driver. .

この構成により、本発明の運転用情報処理装置は、車両の運転者の視線を活用して運転のルートを決定するので、利便性を向上することができる。   With this configuration, the driving information processing apparatus of the present invention determines the driving route by utilizing the line of sight of the driver of the vehicle, so that the convenience can be improved.

本発明の運転用情報処理装置において、前記情報処理は、前記車両の自動運転に関する処理であり、前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、前記特定の処理は、前記特定の範囲を前記自動運転における回避の対象として決定する処理であっても良い。   In the information processing apparatus for driving according to the present invention, the information processing is processing related to automatic driving of the vehicle, and the specific condition includes a condition that a gaze on the specific range is executed by the driver. The specific process may be a process of determining the specific range as an avoidance target in the automatic driving.

この構成により、本発明の運転用情報処理装置は、車両の運転者の視線を活用して自動運転における回避の対象を決定するので、利便性を向上することができる。   With this configuration, the information processing apparatus for driving of the present invention determines the target of avoidance in automatic driving by utilizing the line of sight of the driver of the vehicle, so that convenience can be improved.

本発明の運転用情報処理プログラムは、車両の運転のための情報処理を実行するための運転用情報処理プログラムであって、特定の範囲に対する注視が前記車両の運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段としてコンピューターを機能させ、前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して0秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする。   The driving information processing program according to the present invention is a driving information processing program for executing information processing for driving a vehicle, and the condition that the driver of the vehicle executes a gaze for a specific range. And the computer as specific processing execution means for executing a specific processing in the information processing when a specific condition including any one of the conditions that the gaze for the specific range is not performed by the driver is satisfied. The specific process execution means causes the specific process execution means to continuously exist for a time exceeding a specific time exceeding 0 seconds with respect to the specific range with respect to the specific range. And the time when the sight line detected by the sight detection unit is less than the specific time with respect to the specific range And be present continue to, and that the sight line detected by the sight line detecting unit does not exist for the specific range, characterized in that it does not treated as sight for the particular range.

この構成により、本発明の運転用情報処理プログラムを実行するコンピューターは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、車両の運転のための情報処理において特定の処理を実行するので、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる。   According to this configuration, the computer executing the driving information processing program of the present invention has a condition that a gaze to a specific range is executed by the driver and a condition that a gaze to the specific range is not executed by the driver. Since the specific processing is executed in the information processing for driving the vehicle when the specific condition including any one of the above is performed, the line of sight of the driver of the vehicle is conventionally compared in the information processing for driving the vehicle It can be used effectively.

本発明の運転用情報処理装置および運転用情報処理プログラムは、車両の運転のための情報処理において車両の運転者の視線を従来より有効に活用することができる。   The information processing apparatus for driving and the information processing program for driving of the present invention can more effectively utilize the line of sight of the driver of the vehicle in the information processing for driving the vehicle.

本発明の第1の実施の形態に係るドライビングシミュレーターのブロック図である。FIG. 1 is a block diagram of a driving simulator according to a first embodiment of the present invention. 図1に示すコンピューターのブロック図である。It is a block diagram of a computer shown in FIG. シミュレーション対象車が進行方向を変更する場合の図1に示すドライビングシミュレーターの動作の一例を示すフローチャートである。It is a flow chart which shows an example of operation of a driving simulator shown in Drawing 1 in case a simulation object car changes a direction of movement. 特定の範囲に対する注視が運転者によって実行されたと判断する場合の図1に示すドライビングシミュレーターの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of a driving simulator shown in FIG. 1 in the case of judging that the gaze with respect to a specific range was performed by the driver. シミュレーション対象車が進行方向を変更する場合の図1に示すドライビングシミュレーターの動作の、図3に示す例とは異なる一例を示すフローチャートである。It is a flowchart which shows an example different from the example shown in FIG. 3 of operation | movement of a driving simulator shown in FIG. 1 in case a simulation object vehicle changes a advancing direction. 最高速度を制限する道路標識に対する図1に示すドライビングシミュレーターの動作の一例を示すフローチャートである。It is a flow chart which shows an example of operation of a driving simulator shown in Drawing 1 to a road sign which limits maximum speed. わき見運転に対する図1に示すドライビングシミュレーターの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of a driving simulator shown in FIG. 1 with respect to a side view driving | operation. ミラーによる鏡像の確認に対する図1に示すドライビングシミュレーターの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the driving simulator shown in FIG. 1 with respect to confirmation of the mirror image by a mirror. 運転の目的地を決定する処理を実行する場合の図1に示すドライビングシミュレーターの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of a driving simulator shown in FIG. 1 in the case of performing the process which determines the destination of driving | operation. 運転のルートを決定する処理を実行する場合の図1に示すドライビングシミュレーターの動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of a driving simulator shown in FIG. 1 in the case of performing the process which determines the driving | operation route. 本発明の第2の実施の形態に係る手動運転支援装置のブロック図である。It is a block diagram of a manual operation support device concerning a 2nd embodiment of the present invention. 本発明の第3の実施の形態に係る自動運転支援装置のブロック図である。It is a block diagram of the automatic driving | operation assistance apparatus which concerns on the 3rd Embodiment of this invention. 自動運転における回避の対象を決定する処理を実行する場合の図12に示す自動運転支援装置の動作の一例を示すフローチャートである。It is a flowchart which shows an example of operation | movement of the automatic driving | operation assistance apparatus shown in FIG. 12 in the case of performing the process which determines the object of avoidance in automatic driving | operation.

以下、本発明の実施の形態について、図面を用いて説明する。   Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(第1の実施の形態)
まず、本発明の第1の実施の形態に係る運転用情報処理装置としてのドライビングシミュレーターの構成について説明する。
First Embodiment
First, the configuration of a driving simulator as a driving information processing apparatus according to the first embodiment of the present invention will be described.

図1は、本実施の形態に係るドライビングシミュレーターのブロック図である。   FIG. 1 is a block diagram of a driving simulator according to the present embodiment.

図1に示すドライビングシミュレーター10は、車両としての自動車の運転のための情報処理として、自動車の運転のシミュレーションを実行する装置である。ドライビングシミュレーター10は、シミュレーションの対象の自動車(以下「シミュレーション対象車」という。)を操作するための自動車操作装置20と、シミュレーション対象車の運転者の頭部に装着されるヘッドマウントディスプレイ30と、自動車操作装置20およびヘッドマウントディスプレイ30と通信可能なコンピューター40とを備えている。   The driving simulator 10 shown in FIG. 1 is a device that executes driving simulation of a vehicle as information processing for driving the vehicle as a vehicle. The driving simulator 10 includes an automobile operating device 20 for operating a car to be simulated (hereinafter referred to as "simulation target car"), and a head mount display 30 mounted on the head of a driver of the simulation target car. A computer 40 capable of communicating with the vehicle operating device 20 and the head mounted display 30 is provided.

自動車操作装置20は、例えば、操舵用のハンドルと、クラッチペダルと、アクセルペダルと、ブレーキペダルと、パーキングブレーキと、変速機の操作レバーと、方向指示器の操作装置とを備えている。   The vehicle operating device 20 includes, for example, a steering wheel, a clutch pedal, an accelerator pedal, a brake pedal, a parking brake, an operation lever of a transmission, and an operation device of a direction indicator.

ヘッドマウントディスプレイ30は、運転のシミュレーションの画像(以下「シミュレーション画像」という。)を表示するLCD(Liquid Crystal Display)などの表示デバイスとしての表示部31と、表示部31に表示されたシミュレーション画像における運転者の視線を検出する視線検出部32とを備えている。ヘッドマウントディスプレイ30としては、例えば、FOVE社の「FOVE 0」が採用されても良い。シミュレーション画像は、VR(Virtual Reality)、AR(Augmented Reality)およびMR(Mixed Reality)のいずれで表現されても良い。なお、シミュレーション画像がARおよびMRのいずれかで表現される場合、ヘッドマウントディスプレイ30は、運転者の顔の前方を撮影するためのカメラを備える必要がある。   The head mounted display 30 is a display unit 31 as a display device such as an LCD (Liquid Crystal Display) for displaying an image of simulation of driving (hereinafter referred to as “simulation image”), and a simulation image displayed on the display unit 31. A gaze detection unit 32 for detecting the gaze of the driver is provided. As the head mounted display 30, for example, "FOVE 0" of FOVE company may be adopted. The simulation image may be represented by any of VR (Virtual Reality), AR (Augmented Reality) and MR (Mixed Reality). In addition, when a simulation image is expressed by either AR or MR, the head mounted display 30 needs to be equipped with the camera for imaging | photography ahead of a driver | operator's face.

視線検出部32による視線の検出の方法としては、視線を検出するための公知のいずれの方法が採用されても良い。   As a method of detecting the line of sight by the line of sight detection unit 32, any known method for detecting the line of sight may be adopted.

図2は、コンピューター40のブロック図である。   FIG. 2 is a block diagram of the computer 40.

図2に示すように、コンピューター40は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部41と、マイクロフォン42と、LAN(Local Area Network)、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部43と、各種の情報を記憶する半導体メモリー、HDD(Hard Disk Drive)などの不揮発性の記憶デバイスである記憶部44と、コンピューター40全体を制御する制御部45とを備えている。コンピューター40は、例えば、PC(Personal Computer)によって構成されても良い。   As shown in FIG. 2, the computer 40 is connected via an operation unit 41 which is an input device such as a keyboard and a mouse to which various operations are input, a microphone 42, and a network such as a LAN (Local Area Network) or the Internet. Alternatively, the communication unit 43, which is a communication device that communicates with an external device directly by wire or wireless without passing through a network, a semiconductor memory for storing various types of information, and a nonvolatile device such as an HDD (Hard Disk Drive) A storage unit 44, which is a storage device, and a control unit 45 that controls the entire computer 40 are provided. The computer 40 may be configured by, for example, a PC (Personal Computer).

記憶部44は、自動車の運転のシミュレーションを実行するための運転用情報処理プログラムとしての運転シミュレーションプログラム44aを記憶している。運転シミュレーションプログラム44aは、例えば、コンピューター40の製造段階でコンピューター40にインストールされていても良いし、USB(Universal Serial Bus)メモリー、CD(Compact Disk)、DVD(Digital Versatile Disk)などの外部の記憶媒体からコンピューター40に追加でインストールされても良いし、ネットワーク上からコンピューター40に追加でインストールされても良い。   The storage unit 44 stores a driving simulation program 44a as a driving information processing program for executing a driving simulation of a vehicle. The operation simulation program 44a may be installed in the computer 40 at the manufacturing stage of the computer 40, for example, or may be an external storage such as a USB (Universal Serial Bus) memory, a CD (Compact Disk), a DVD (Digital Versatile Disk) The program may be additionally installed from the medium to the computer 40, or may be additionally installed from the network to the computer 40.

制御部45は、例えば、CPU(Central Processing Unit)と、プログラムおよび各種のデータを記憶しているROM(Read Only Memory)と、CPUの作業領域として用いられるRAM(Random Access Memory)とを備えている。CPUは、ROMまたは記憶部44に記憶されているプログラムを実行する。   The control unit 45 includes, for example, a central processing unit (CPU), a read only memory (ROM) storing programs and various data, and a random access memory (RAM) used as a work area of the CPU. There is. The CPU executes a program stored in the ROM or the storage unit 44.

制御部45は、運転シミュレーションプログラム44aを実行することによって、運転シミュレーション手段45aを実現する。運転シミュレーション手段45aは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、シミュレーションにおいて特定の処理を実行するので、本発明の特定処理実行手段を構成している。   The control unit 45 implements the driving simulation means 45a by executing the driving simulation program 44a. The driving simulation means 45a satisfies a specific condition including a condition that a gaze to a specific range is performed by the driver and a condition that a gaze to a specific range is not performed by the driver. In this case, since the specific process is executed in the simulation, the specific process execution means of the present invention is configured.

なお、シミュレーション画像における注視の対象の候補の範囲は、注視の対象の候補毎に運転シミュレーションプログラム44aにおいて事前に設定されている。   Note that the range of the gaze target candidates in the simulation image is set in advance in the driving simulation program 44 a for each gaze target candidate.

次に、ドライビングシミュレーター10の動作について説明する。   Next, the operation of the driving simulator 10 will be described.

運転シミュレーション手段45aは、シミュレーション画像を表示部31に表示するとともに、自動車操作装置20に対する操作と、視線検出部32によって検出された視線とをシミュレーションに反映する。また、運転シミュレーション手段45aは、現実の自動車の運転において運転者の顔の向きに応じて運転者の視界が変化することと同様に、運転者の顔の向きに応じて表示部31に表示するシミュレーション画像を変化させる。   The driving simulation means 45 a displays the simulation image on the display unit 31 and reflects the operation on the car operating device 20 and the line of sight detected by the line of sight detection unit 32 in the simulation. Further, the driving simulation means 45a displays on the display unit 31 according to the direction of the driver's face in the same manner as the driver's field of vision changes in accordance with the direction of the driver's face in actual driving of the vehicle. Change the simulation image.

以下、視線検出部32によって検出された視線がシミュレーションに反映される例について説明する。   Hereinafter, an example in which the gaze detected by the gaze detection unit 32 is reflected in the simulation will be described.

まず、シミュレーション対象車が車線変更、左折、右折などのために進行方向を変更する場合のドライビングシミュレーター10の動作について説明する。   First, the operation of the driving simulator 10 in the case where the vehicle to be simulated changes the traveling direction for lane change, left turn, right turn, etc. will be described.

図3は、シミュレーション対象車が進行方向を変更する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。   FIG. 3 is a flowchart showing an example of the operation of the driving simulator 10 when the simulation target vehicle changes the traveling direction.

運転シミュレーション手段45aは、自動車操作装置20に対する操作に応じてシミュレーション対象車が進行方向を変更する場合に、図3に示す動作を実行する。なお、運転シミュレーション手段45aは、例えば、シミュレーション対象車が進行方向を変更する方向を方向指示器に指示させる操作が自動車操作装置20に対して実行された場合に、図3に示す動作を実行しても良いし、シミュレーション対象車が進行方向を変更する方向を方向指示器に指示させる操作が自動車操作装置20に対して実行された後、シミュレーション対象車が進行方向の変更を実際に開始した場合に、図3に示す動作を実行しても良い。   The driving simulation means 45a executes the operation shown in FIG. 3 when the simulation target vehicle changes the traveling direction according to the operation on the vehicle operating device 20. The driving simulation means 45a executes the operation shown in FIG. 3 when, for example, an operation that instructs the direction indicator to change the traveling direction of the simulation target vehicle is performed on the vehicle operating device 20. In the case where the simulation target vehicle actually starts to change the traveling direction after an operation that instructs the direction indicator to instruct the direction in which the simulation target vehicle changes the traveling direction is performed on the car operating device 20 Alternatively, the operation shown in FIG. 3 may be performed.

図3に示すように、運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、シミュレーション対象車のバックミラーの鏡面の範囲に対する注視が運転者によって実行されたか否かを判断する(S101)。   As shown in FIG. 3, the driving simulation means 45a determines whether the driver has performed a gaze at the mirror surface range of the rearview mirror of the simulation target vehicle in a specific period immediately before the simulation target vehicle changes the traveling direction. Is determined (S101).

図4は、特定の範囲に対する注視が運転者によって実行されたと判断する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。   FIG. 4 is a flow chart showing an example of the operation of the driving simulator 10 when it is determined that the driver's gaze was performed on a specific range.

運転シミュレーション手段45aは、シミュレーション画像における注視の対象の候補のうち、視線検出部32によって検出された視線が候補自身の範囲に存在するものが変更される度に、図4に示す動作を実行する。   The driving simulation means 45a executes the operation shown in FIG. 4 each time the sight line detected by the sight line detection unit 32 among the candidates of the gaze target in the simulation image is changed in the range of the candidate itself. .

図4に示すように、運転シミュレーション手段45aは、シミュレーション画像における注視の対象の候補のうち、視線検出部32によって検出された視線が候補自身の範囲に存在するものを、現在の候補として特定する(S111)。   As shown in FIG. 4, the driving simulation means 45 a specifies, as the current candidate, among the candidates of the gaze target in the simulation image, the line of sight detected by the line-of-sight detection unit 32 exists in the range of the candidate itself. (S111).

次いで、運転シミュレーション手段45aは、視線検出部32によって検出された視線が存在する範囲が現在の候補の範囲から変更されたか否かを判断する(S112)。   Next, the driving simulation means 45a determines whether the range in which the line of sight detected by the line of sight detection unit 32 is present has been changed from the range of the current candidate (S112).

運転シミュレーション手段45aは、視線検出部32によって検出された視線が存在する範囲が現在の候補の範囲から変更されていないとS112において判断すると、視線検出部32によって検出された視線が現在の候補の範囲に対して継続して存在する時間を取得する(S113)。   If the driving simulation means 45a determines in S112 that the range in which the line of sight detected by the line of sight detection unit 32 is not changed from the range of the current candidate, the line of sight detected by the gaze detection unit 32 is the current candidate The time which exists continuously with respect to the range is acquired (S113).

次いで、運転シミュレーション手段45aは、S113において取得した時間が0秒を超える例えば1秒間などの特定の時間(以下「閾値時間」という。)を超えるか否かを判断する(S114)。   Next, the driving simulation means 45a determines whether the time acquired in S113 exceeds 0 seconds, for example, a specific time such as 1 second (hereinafter referred to as "threshold time") (S114).

運転シミュレーション手段45aは、S113において取得した時間が閾値時間を超えないとS114において判断すると、S112の処理を実行する。   If the driving simulation means 45a determines in S114 that the time acquired in S113 does not exceed the threshold time, it executes the processing of S112.

運転シミュレーション手段45aは、S113において取得した時間が閾値時間を超えるとS114において判断すると、現在の候補の範囲に対する注視が運転者によって実行されたと判断する(S115)。   If it is determined in S114 that the time acquired in S113 exceeds the threshold time, the driving simulation means 45a determines that the driver has performed a gaze at the current candidate range (S115).

運転シミュレーション手段45aは、視線検出部32によって検出された視線が存在する範囲が現在の候補の範囲から変更されたとS112において判断するか、S115の処理を実行すると、図4に示す動作を終了する。   If the driving simulation means 45a determines in S112 that the range in which the line of sight detected by the line of sight detection unit 32 is present has been changed from the current candidate range or executes the process of S115, the operation shown in FIG. .

運転シミュレーション手段45aは、図4に示す動作を実行するので、視線検出部32によって検出された視線が特定の範囲に対して閾値時間を超える時間継続して存在することを、この範囲に対する注視として扱い、視線検出部32によって検出された視線がこの範囲に対して閾値時間以下の時間継続して存在することと、視線検出部32によって検出された視線がこの範囲に対して存在しないこととを、この範囲に対する注視として扱わない。   Since the driving simulation means 45a executes the operation shown in FIG. 4, as the gaze for this range, the visual axis detected by the visual axis detection unit 32 continuously exists for a certain range of time exceeding the threshold time. If the line of sight detected by the line-of-sight detection unit 32 continues to be present for a time equal to or less than the threshold time with respect to this range, the line of sight detected by the gaze detection unit 32 does not exist in this range. Do not treat as a gaze on this range.

図3に示すように、運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されたとS101において判断すると、図3に示す動作を終了する。   As shown in FIG. 3, the driving simulation means 45a determines that the driver's attention to the range of the mirror surface of the rearview mirror has been performed by the driver in the specific period immediately before the simulation target vehicle changes the traveling direction. The operation shown in 3 is ended.

運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されなかったとS101において判断すると、バックミラーによる安全確認を行っていないことを注意する通知を表示部31によって実行して(S102)、図3に示す動作を終了する。   The driving simulation means 45a performs safety confirmation by the rearview mirror when judging in S101 that the driver does not perform gaze at the range of the mirror surface of the rearview mirror in a specific period immediately before the simulation target vehicle changes the traveling direction. The display unit 31 executes a notification to warn that the user is not (S102), and the operation shown in FIG. 3 is ended.

運転シミュレーション手段45aは、図3に示す動作に代えて、図5に示す動作を実行しても良い。   The driving simulation means 45a may execute the operation shown in FIG. 5 instead of the operation shown in FIG.

図5は、シミュレーション対象車が進行方向を変更する場合のドライビングシミュレーター10の動作の、図3に示す例とは異なる一例を示すフローチャートである。   FIG. 5 is a flowchart showing an example different from the example shown in FIG. 3 of the operation of the driving simulator 10 when the simulation target vehicle changes the traveling direction.

図5に示すように、運転シミュレーション手段45aは、S101の処理と同様の処理を実行する(S121)。   As shown in FIG. 5, the driving simulation means 45a executes the same process as the process of S101 (S121).

運転シミュレーション手段45aは、シミュレーション対象車が進行方向を変更する直前の特定の期間において、バックミラーの鏡面の範囲に対する注視が運転者によって実行されなかったとS121において判断すると、シミュレーション対象車の後部または側部でシミュレーション対象車が他の車両と衝突するという事態をシミュレーションにおいてシミュレーション対象車に対して発生させて(S122)、図5に示す動作を終了する。ここで、他の車両としては、例えば、自転車や、オートバイなどの自動車などが考えられる。   If it is determined in S121 that the driver's gaze on the range of the mirror surface of the rearview mirror was not performed by the driver in the specific period immediately before the simulation target vehicle changes the traveling direction, the driving simulation means 45a determines the rear or side of the simulation target car In the simulation, a situation where the simulation target vehicle collides with another vehicle is generated in the simulation with respect to the simulation target vehicle (S122), and the operation shown in FIG. 5 is ended. Here, as other vehicles, for example, bicycles, automobiles such as motorcycles, etc. can be considered.

図5に示す動作においては、運転シミュレーション手段45aは、シミュレーション対象車が他の車両と衝突するという事態を発生させる。しかしながら、運転シミュレーション手段45aは、シミュレーション対象車が他の車両と衝突するという事態ではなく、シミュレーション対象車が他の車両と衝突しそうになるという事態を発生させても良い。   In the operation shown in FIG. 5, the driving simulation means 45a causes the simulation target vehicle to collide with another vehicle. However, the driving simulation means 45a may cause a situation where the simulation target vehicle is likely to collide with another vehicle, not a situation where the simulation target vehicle collides with another vehicle.

運転シミュレーション手段45aは、図5に示す動作において、図3に示す動作と同様に、バックミラーによる安全確認を行っていないことを注意する通知を更に実行しても良い。   In the operation shown in FIG. 5, the operation simulation means 45a may further execute a notification to warn that safety confirmation has not been performed by the rearview mirror, similarly to the operation shown in FIG.

図3および図5に示す動作においては、運転シミュレーション手段45aは、バックミラーの鏡面の範囲に対する注視が実行されたか否に基づいて図3または図5に示す動作を実行する。同様に、運転シミュレーション手段45aは、シミュレーション対象車の左右のドアミラーのうち、シミュレーション対象車が進行方向を変更する方のドアミラーの鏡面の範囲に対する注視が実行されたか否に基づいて、図3または図5に示す動作と同様な動作を実行しても良いし、シミュレーション対象車の左右の外側のうち、シミュレーション対象車が進行方向を変更する方の外側の、ドアミラー以外の範囲に対する注視が実行されたか否に基づいて、図3または図5に示す動作と同様な動作を実行しても良い。ここで、運転シミュレーション手段45aは、バックミラーの鏡面の範囲に対する注視と、ドアミラーの鏡面の範囲に対する注視と、シミュレーション対象車の左右の外側の、ドアミラー以外の範囲に対する注視とにおいて、閾値時間を異ならせても良い。   In the operation shown in FIG. 3 and FIG. 5, the driving simulation means 45a executes the operation shown in FIG. 3 or FIG. 5 based on whether the gaze on the range of the mirror surface of the rearview mirror is performed. Similarly, the driving simulation means 45a determines whether the gaze on the mirror surface range of the door mirror of the simulation target vehicle whose traveling direction is to be changed among the left and right door mirrors of the simulation target vehicle is executed as shown in FIG. Operation similar to the operation shown in 5 may be executed, or, of the left and right outsides of the simulation target vehicle, whether the gaze at a range other than the door mirror outside the one where the simulation target vehicle changes the traveling direction was executed An operation similar to the operation shown in FIG. 3 or 5 may be performed based on the failure. Here, if the driving simulation means 45a has different threshold times in the gaze with respect to the range of the mirror surface of the back mirror, the gaze with respect to the range of the mirror surface of the door mirror, and the gaze with respect to the range other than the door mirror outside the left and right of the simulation target vehicle. You may

次に、運転に関する情報の通知部としての道路標識に対するドライビングシミュレーター10の動作について説明する。   Next, the operation of the driving simulator 10 for a road sign as a notification unit of information on driving will be described.

図6は、最高速度を制限する道路標識に対するドライビングシミュレーター10の動作の一例を示すフローチャートである。   FIG. 6 is a flow chart showing an example of the operation of the driving simulator 10 for a road sign that limits the maximum speed.

運転シミュレーション手段45aは、シミュレーション対象車が移動する場合に、図6に示す動作を実行する。   The driving simulation means 45a executes the operation shown in FIG. 6 when the simulation target vehicle moves.

図6に示すように、運転シミュレーション手段45aは、シミュレーション対象車が停止したか否かを判断する(S131)。   As shown in FIG. 6, the driving simulation means 45a determines whether the simulation target vehicle has stopped (S131).

運転シミュレーション手段45aは、シミュレーション対象車が停止していないとS131において判断すると、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過したか否かを判断する(S132)。ここで、道路標識は、シミュレーション対象車以外の部分、例えば、シミュレーション対象車の運転のルートにおける道路の近傍に設置されている。   If it is determined in S131 that the simulation target vehicle is not stopped, the driving simulation means 45a determines whether the simulation target vehicle has passed in the vicinity of the road sign for limiting the maximum speed (S132). Here, the road sign is installed in a portion other than the simulation target vehicle, for example, in the vicinity of the road in the driving route of the simulation target vehicle.

運転シミュレーション手段45aは、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過したとS132において判断すると、この道路標識に示される最高速度を現在の制限速度として特定する(S133)。   If it is determined in S132 that the simulation target vehicle has passed the vicinity of the road sign for which the maximum speed is limited, the driving simulation means 45a specifies the maximum speed indicated on the road sign as the current speed limit (S133).

運転シミュレーション手段45aは、最高速度を制限する道路標識の近傍をシミュレーション対象車が通過しなかったとS132において判断するか、S133の処理を実行すると、現在の制限速度を超える速度でシミュレーション対象車が走行しているか否かを判断する(S134)。   If the simulation target vehicle does not pass the vicinity of the road sign that limits the maximum speed in S132, or if the processing of S133 is executed, the simulation target vehicle travels at a speed exceeding the current speed limit. It is determined whether or not (S134).

運転シミュレーション手段45aは、現在の制限速度を超える速度でシミュレーション対象車が走行しているとS134において判断すると、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていたか否かを判断する(S135)。   If the driving simulation means 45a determines in S134 that the simulation target vehicle is traveling at a speed exceeding the current speed limit, the driver may have performed a gaze at the range of the road sign indicating the current speed limit. It is determined whether or not it is (S135).

運転シミュレーション手段45aは、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていたとS135において判断すると、速度違反を注意する通知を表示部31によって実行する(S136)。   If the driving simulation means 45a determines in S135 that the driver is executing gaze at the range of the road sign indicating the current speed limit, the driving simulation means 45a causes the display unit 31 to issue a notice of speed violation (S136).

運転シミュレーション手段45aは、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていなかったとS135において判断すると、速度違反と、道路標識の確認を行っていないこととを注意する通知を表示部31によって実行する(S137)。   If the driving simulation means 45a determines in S135 that the driver has not performed a fixation on the range of the road sign indicating the current speed limit, the driving simulation means 45a notes that the speeding and the confirmation of the road sign are not performed. The notification to be made is executed by the display unit 31 (S137).

運転シミュレーション手段45aは、現在の制限速度を超える速度でシミュレーション対象車が走行していないとS134において判断するか、S136またはS137の処理を実行すると、S131の処理を実行する。   The driving simulation means 45a executes the processing of S131 when judging in S134 that the vehicle under simulation does not travel at a speed exceeding the current speed limit, or when executing the processing of S136 or S137.

運転シミュレーション手段45aは、シミュレーション対象車が停止したとS131において判断すると、図6に示す動作を終了する。   If the driving simulation means 45a determines in S131 that the simulation target vehicle has stopped, the operation shown in FIG. 6 ends.

運転シミュレーション手段45aは、図6に示す動作において、道路標識の範囲に対する注視が運転者によって実行されなかった場合(S135でNO)に、運転の安全性に関する通知を実行する(S134)。しかしながら、運転シミュレーション手段45aは、道路標識の範囲に対する注視が運転者によって実行されなかった場合に、図5に示す動作のように、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させても良い。   In the operation shown in FIG. 6, the driving simulation means 45a executes the notification regarding the driving safety (S134) when the driver does not execute gaze at the range of the road sign (NO in S135). However, even if the driver does not perform gaze at the range of the road sign, the driving simulation means 45a causes a specific situation to occur in the simulation target vehicle in the simulation as in the operation shown in FIG. good.

なお、図6に示す動作は、運転に関する情報の通知部が、最高速度を制限する道路標識である場合の動作である。しかしながら、運転に関する情報の通知部は、シミュレーション対象車以外の部分に設置されているものであれば、最高速度を制限する道路標識以外の道路標識でも良いし、例えば、マラソン大会の開催などに伴う交通規制を知らせる看板など、道路標識以外のものでも良い。   In addition, the operation | movement shown in FIG. 6 is operation | movement in case the notification part of the information regarding driving | operation is a road sign which restrict | limits maximum speed. However, the notification unit of the information on driving may be a road sign other than the road sign that limits the maximum speed, as long as it is installed in a part other than the simulation target vehicle, for example, along with the marathon event etc. It may be something other than a road sign, such as a signboard notifying traffic regulation.

運転シミュレーション手段45aは、運転に関する情報の通知部の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。   The driving simulation means 45a may make the threshold time of the gaze with respect to the range of the notification unit of the information related to the driving different from the threshold time of any of the gazes described above, such as a gaze with respect to the range of the mirror surface of the rearview mirror.

次に、わき見運転に対するドライビングシミュレーター10の動作について説明する。   Next, the operation of the driving simulator 10 with respect to the side view operation will be described.

図7は、わき見運転に対するドライビングシミュレーター10の動作の一例を示すフローチャートである。   FIG. 7 is a flowchart showing an example of the operation of the driving simulator 10 with respect to the side-by-side driving.

運転シミュレーション手段45aは、シミュレーション対象車が移動する場合に、図7に示す動作を実行する。   The driving simulation means 45a executes the operation shown in FIG. 7 when the simulation target vehicle moves.

図7に示すように、運転シミュレーション手段45aは、シミュレーション対象車が停止したか否かを判断する(S141)。   As shown in FIG. 7, the driving simulation means 45a determines whether the simulation target vehicle has stopped (S141).

運転シミュレーション手段45aは、シミュレーション対象車が停止していないとS141において判断すると、運転者によって注視されるとわき見運転となる範囲(以下「わき見範囲」という。)に対する注視が運転者によって実行されたか否かを判断する(S142)。ここで、わき見範囲としては、例えば、シミュレーション対象車の内部のカーナビゲーションシステムの範囲、シミュレーション対象車の内部の携帯端末の範囲などが考えられる。   If the driving simulation means 45a determines in S141 that the simulation target vehicle is not stopped, the driver may have performed a gaze at a range (hereinafter referred to as a “side-viewing range”) in which the driver looks at the side It is determined whether or not it is (S142). Here, as the side view range, for example, the range of the car navigation system inside the simulation target vehicle, the range of the portable terminal inside the simulation target vehicle, and the like can be considered.

運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行されたとS142において判断すると、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる(S143)。例えば、運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行された場合に、シミュレーション対象車が他の車両など、シミュレーション対象車以外の物と衝突するという事態をシミュレーションにおいてシミュレーション対象車に対して発生させても良いし、シミュレーション対象車の前方への歩行者の飛び出しなど、シミュレーション対象車がシミュレーション対象車以外の物と衝突しそうになるという事態をシミュレーションにおいてシミュレーション対象車に対して発生させても良い。   If the driving simulation means 45a determines in S142 that the driver's gaze on the side view range is performed by the driver, the driving simulation means 45a causes the simulation to generate a specific situation for the simulation target vehicle (S143). For example, the driving simulation means 45a causes the simulation target vehicle to simulate a situation where the simulation target vehicle collides with an object other than the simulation target vehicle, such as another vehicle, when the driver performs gaze at the side view range. The simulation target vehicle may be caused to collide with an object other than the simulation target vehicle, such as jumping out of a pedestrian ahead of the simulation target vehicle. Also good.

運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行されなかったとS142において判断するか、S143の処理が終了すると、S141の処理を実行する。   The driving simulation means 45a executes the processing of S141 when judging in S142 that the driver has not performed gaze at the side view area or when the processing of S143 is completed.

運転シミュレーション手段45aは、シミュレーション対象車が停止したとS141において判断すると、図7に示す動作を終了する。   If the driving simulation means 45a determines in S141 that the simulation target vehicle has stopped, the operation shown in FIG. 7 ends.

運転シミュレーション手段45aは、図7に示す動作において、わき見範囲に対する注視が運転者によって実行された場合(S142でYES)に、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる(S143)。しかしながら、運転シミュレーション手段45aは、わき見範囲に対する注視が運転者によって実行された場合に、図3に示す動作のように、わき見運転を注意する通知など、運転の安全性に関する通知を実行しても良い。   In the operation shown in FIG. 7, the driving simulation means 45a causes the simulation target vehicle to generate a specific situation in the simulation (S143) when the driver performs a gaze on the side view range (YES in S142). However, even if the driving simulation means 45a performs a notice on driving safety such as a notice for watching driving as in the operation shown in FIG. good.

運転シミュレーション手段45aは、わき見範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。   The driving simulation means 45a may make the threshold time of the gaze with respect to the side view range different from the threshold time of any of the gazes described above, for example, the gaze with respect to the range of the mirror surface of the rearview mirror.

次に、バックミラー、ドアミラーなど、シミュレーション対象車のミラーによる鏡像の確認に対するドライビングシミュレーター10の動作について説明する。   Next, the operation of the driving simulator 10 with respect to the confirmation of the mirror image by the mirror of the simulation target vehicle, such as a rear view mirror, a door mirror, etc. will be described.

図8は、ミラーによる鏡像の確認に対するドライビングシミュレーター10の動作の一例を示すフローチャートである。   FIG. 8 is a flow chart showing an example of the operation of the driving simulator 10 with respect to the confirmation of the mirror image by the mirror.

運転シミュレーション手段45aは、運転者によるシミュレーション対象車の運転が開始された場合に、図8に示す動作を実行する。   The driving simulation means 45a executes the operation shown in FIG. 8 when the driving of the simulation target vehicle by the driver is started.

図8に示すように、運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したか否かを判断する(S151)。   As shown in FIG. 8, the driving simulation means 45a determines whether the driving of the simulation target vehicle has ended (S151).

運転シミュレーション手段45aは、シミュレーション対象車の運転が終了していないとS151において判断すると、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されたか否かを判断する(S152)。ここで、ミラーによる鏡像において注視すべき対象としては、例えば、シミュレーション対象車以外の車両などが考えられる。   If the driving simulation means 45a determines in S151 that the driving of the simulation target vehicle is not finished, the driving simulation means 45a determines whether or not the driver has performed gaze at the range of the target to be gazed in the mirror image by mirror (S152). Here, for example, a vehicle other than the simulation target vehicle may be considered as an object to be focused on in the mirror image of the mirror.

運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されたとS152において判断すると、この対象に関連付けて管理するフラグを立った状態にする(S153)。ここで、運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象毎にフラグを関連付けて管理する。ミラーによる鏡像において注視すべき対象に関連付けて管理されるフラグは、デフォルトでは倒れた状態である。   If it is determined in S152 that the driver's gaze on the range of the target to be watched in the mirror image by the mirror is performed by the driver, the driving simulation means 45a sets a flag associated with the target and managed (S153). Here, the driving simulation means 45a associates and manages a flag for each target to be focused on in the mirror image by the mirror. The flag managed in association with the object to be focused on in the mirror image by mirror is in the collapsed state by default.

運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲に対する注視が運転者によって実行されなかったとS152において判断するか、S153の処理が終了すると、S151の処理を実行する。   The driving simulation means 45a executes the processing of S151 when judging in S152 that the driver does not execute gaze at the target range to be gazed in the mirror image by mirror or when the processing of S153 is completed.

運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したとS151において判断すると、今回のシミュレーションにおいてミラーによる鏡像において注視すべき対象のうち、立った状態のフラグが関連付けられているものの数を数える(S154)。   If the driving simulation means 45a determines in S151 that the driving of the simulation target car is finished, the driving simulation means 45a counts the number of targets to be watched in the mirror image by the mirror in the current simulation that are associated with the standing flag ( S154).

次いで、運転シミュレーション手段45aは、S154において数えた数に応じた、運転の安全性に関する通知を表示部31によって実行する(S155)。例えば、運転シミュレーション手段45aは、今回のシミュレーションにおいてミラーによる鏡像における、注視すべき対象のうち、幾つの対象を注視したかを通知しても良い。   Next, the driving simulation means 45a causes the display unit 31 to execute notification on driving safety according to the number counted in S154 (S155). For example, the driving simulation means 45a may notify how many targets among the targets to be watched in the mirror image by the mirror in the current simulation.

運転シミュレーション手段45aは、S155の処理の後、図8に示す動作を終了する。   The operation simulation means 45a ends the operation shown in FIG. 8 after the process of S155.

運転シミュレーション手段45aは、図8に示す動作において、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて運転の安全性に関する通知を実行する(S155)。しかしながら、運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて、図5に示す動作のように、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させても良い。   In the operation shown in FIG. 8, the driving simulation means 45a executes the notification regarding the driving safety according to the number of eyes on which the driver has performed a gaze within the range of the target to be gazed in the mirror image by mirror (S155) ). However, the driving simulation means 45a performs a specific situation in the simulation as in the operation shown in FIG. 5 according to the number of gazes performed by the driver out of the range of the target to be gazed in the mirror image by the mirror. It may be generated for a simulation target vehicle.

運転シミュレーション手段45aは、ミラーによる鏡像において注視すべき対象の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。   The driving simulation means 45a may make the threshold time of the gaze for the range of the target to be gazed in the mirror image by mirror different from the threshold time of any gaze described above, for example, the gaze for the range of the mirror surface of the rearview mirror. .

次に、運転の目的地を決定する処理を実行する場合のドライビングシミュレーター10の動作について説明する。   Next, the operation of the driving simulator 10 in the case of executing the process of determining the driving destination will be described.

図9は、運転の目的地を決定する処理を実行する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。   FIG. 9 is a flowchart showing an example of the operation of the driving simulator 10 when the process of determining the destination of driving is performed.

運転シミュレーション手段45aは、運転者によるシミュレーション対象車の運転が開始された場合に、図9に示す動作を実行する。   The driving simulation means 45a executes the operation shown in FIG. 9 when the driving of the simulation target vehicle is started by the driver.

図9に示すように、運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したか否かを判断する(S161)。   As shown in FIG. 9, the driving simulation means 45a determines whether the driving of the simulation target vehicle has ended (S161).

運転シミュレーション手段45aは、シミュレーション対象車の運転が終了していないとS161において判断すると、場所を示す範囲に対する注視が運転者によって実行されたか否かを判断する(S162)。ここで、場所を示す範囲としては、例えば、シミュレーション対象車から離れた場所に描かれているテレビ塔など、シミュレーション画像において風景として描かれているランドマークなどが考えられる。また、場所を示す範囲としては、例えば、シミュレーション対象車以外の部分に設置されている、例えば道路標識などの通知部に記載されている地名などが考えられる。   If the driving simulation means 45a determines in S161 that the driving of the simulation target vehicle is not finished, the driving simulation means 45a determines whether the driver has performed a gaze at the range indicating the place (S162). Here, as a range which shows a place, the landmark etc. which are drawn as scenery in a simulation image etc. can be considered, for example, the television tower drawn in the place away from simulation object vehicles. Moreover, as a range which shows a place, the place name etc. which are installed in parts other than simulation object vehicles, for example, described in the notification parts, such as a road sign, etc. can be considered, for example.

運転シミュレーション手段45aは、場所を示す範囲に対する注視が運転者によって実行されたとS162において判断すると、この範囲によって示される場所を運転の目的地として決定するための条件(以下「目的地決定条件」という。)を満たしたか否かを判断する(S163)。ここで、目的地決定条件としては、例えば、場所を示す範囲に対する注視が例えば5秒間などの特定の時間を超えて運転者によって実行されること、目的地を決定するための特定の操作が操作部41に入力されること、「目的地を決定する」などの特定の言葉がマイクロフォン42に入力されることなどが考えられる。   The driving simulation means 45a determines that the location indicated by the range is determined as the destination of the driving (hereinafter referred to as "destination determination condition") when it is determined in S162 that the gaze to the range indicating the location is performed by the driver. It is determined whether or not (S163). Here, as the destination determination condition, for example, the driver's attention to a range indicating a place is performed by a driver over a specific time such as 5 seconds, and a specific operation for determining a destination is operated. It may be considered that a specific word such as “determine the destination” is input to the microphone 42 or the like.

運転シミュレーション手段45aは、目的地決定条件を満たしたとS163において判断すると、運転者によって注視が実行されたとS162において判断した範囲によって示される場所を運転の目的地として決定する(S164)。   If it is determined in S163 that the destination determination condition is satisfied, the driving simulation means 45a determines a place indicated by the range determined in S162 that the driver has performed gaze as a destination of the driving (S164).

運転シミュレーション手段45aは、場所を示す範囲に対する注視が運転者によって実行されなかったとS162において判断するか、目的地決定条件を満たしていないとS163において判断するか、S164の処理を実行すると、S161の処理を実行する。   If the driving simulation means 45a judges in S162 that the gaze to the range indicating the place is not executed by the driver, or judges in S163 that the destination determination condition is not satisfied, or if the processing of S164 is executed, Execute the process

運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したとS161において判断すると、図9に示す動作を終了する。   If the driving simulation means 45a determines in S161 that the driving of the simulation target vehicle is ended, the operation shown in FIG. 9 is ended.

運転シミュレーション手段45aは、場所を示す範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。   The driving simulation means 45a may make the threshold time of the gaze with respect to the range indicating the place different from the threshold time of any gaze described above, such as the gaze with respect to the range of the mirror surface of the rearview mirror, for example.

次に、運転のルートを決定する処理を実行する場合のドライビングシミュレーター10の動作について説明する。   Next, the operation of the driving simulator 10 when executing the process of determining the driving route will be described.

図10は、運転のルートを決定する処理を実行する場合のドライビングシミュレーター10の動作の一例を示すフローチャートである。   FIG. 10 is a flowchart showing an example of the operation of the driving simulator 10 in the case of executing the process of determining the driving route.

運転シミュレーション手段45aは、運転者によるシミュレーション対象車の運転が開始された場合に、図10に示す動作を実行する。   The driving simulation means 45a executes the operation shown in FIG. 10 when the driving of the simulation target vehicle is started by the driver.

図10に示すように、運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したか否かを判断する(S171)。   As shown in FIG. 10, the driving simulation means 45a determines whether the driving of the simulation target vehicle has ended (S171).

運転シミュレーション手段45aは、シミュレーション対象車の運転が終了していないとS171において判断すると、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されたか否かを判断する(S172)。ここで、交通規制に関する情報の通知部は、シミュレーション対象車以外の部分、例えば、シミュレーション対象車の運転のルートにおける道路の近傍に設置されている。交通規制に関する情報の通知部としては、例えば、マラソン大会の開催などに伴う交通規制を知らせる看板などが考えられる。   If it is determined in S171 that the driving of the simulation target vehicle is not finished, the driving simulation means 45a determines whether the driver has performed a gaze at the range of the notification unit of information on traffic regulation (S172). Here, the notification unit of information on traffic regulation is installed in a portion other than the simulation target vehicle, for example, in the vicinity of the road in the driving route of the simulation target vehicle. As a notification unit of information on traffic regulation, for example, a signboard or the like for informing traffic regulation accompanying the holding of a marathon event may be considered.

運転シミュレーション手段45aは、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されたとS172において判断すると、この範囲に含まれる情報に基づいて運転のルートを表示部31によって提案する(S173)。例えば、運転シミュレーション手段45aは、標準のルートではなく、交通規制によって予測される渋滞を考慮した迂回ルートを提案する。   The driving simulation means 45a, when judging in S172 that the driver's gaze on the range of the notification unit of the information on traffic regulation is executed, proposes the driving route by the display unit 31 based on the information included in this range (S173) ). For example, the driving simulation means 45a proposes not a standard route but a detour route taking into consideration traffic congestion predicted by traffic regulation.

次いで、運転シミュレーション手段45aは、S173において提案したルートを運転のルートとして決定するための条件(以下「ルート決定条件」という。)を満たしたか否かを判断する(S174)。ここで、ルート決定条件としては、例えば、ルートを決定するための特定の操作が操作部41に入力されること、「ルートを決定する」などの特定の言葉がマイクロフォン42に入力されることなどが考えられる。   Next, the driving simulation means 45a determines whether the condition for determining the route proposed in S173 as the driving route (hereinafter referred to as "route determination condition") is satisfied (S174). Here, as the route determination condition, for example, a specific operation for determining a route is input to the operation unit 41, a specific word such as “determine a route” is input to the microphone 42, etc. Is considered.

運転シミュレーション手段45aは、ルート決定条件を満たしたとS174において判断すると、S173において提案したルートを運転のルートとして決定する(S175)。   If it is determined in S174 that the route determination condition is satisfied, the driving simulation means 45a determines the route proposed in S173 as the driving route (S175).

運転シミュレーション手段45aは、交通規制に関する情報の通知部の範囲に対する注視が運転者によって実行されなかったとS172において判断するか、ルート決定条件を満たしていないとS174において判断するか、S175の処理を実行すると、S171の処理を実行する。   The driving simulation means 45a determines in S172 that the driver has not performed gaze at the range of the notification unit of the information on traffic regulation, or determines in S174 that the route determination condition is not satisfied, or executes S175. Then, the process of S171 is performed.

運転シミュレーション手段45aは、シミュレーション対象車の運転が終了したとS171において判断すると、図10に示す動作を終了する。   If the driving simulation means 45a determines in S171 that the driving of the simulation target vehicle is ended, the operation shown in FIG. 10 is ended.

なお、運転シミュレーション手段45aは、図10に示す動作において、運転のルートを運転者の指示に応じて決定する(S173〜S175)。しかしながら、運転シミュレーション手段45aは、運転者によって注視が実行されたとS172において判断した範囲に含まれる情報に基づいて運転のルートを自動で決定しても良い。   In the operation shown in FIG. 10, the driving simulation means 45a determines the driving route according to the driver's instruction (S173 to S175). However, the driving simulation means 45a may automatically determine the driving route based on the information included in the range determined in S172 that the driver has performed gaze.

運転シミュレーション手段45aは、交通規制に関する情報の通知部の範囲に対する注視の閾値時間を、例えば、バックミラーの鏡面の範囲に対する注視など、上述したいずれかの注視の閾値時間と異ならせても良い。   The driving simulation means 45a may make the threshold time of the gaze with respect to the range of the notification unit of the information on traffic regulation different from the threshold time of any of the gazes described above, such as the gaze with respect to the range of the mirror surface of the rearview mirror.

以上に説明したように、ドライビングシミュレーター10は、特定の範囲に対する注視が運転者によって実行されなかったという条件を含む特定の条件を満たす場合(S101でNO、S121でNO、または、S135でNO)に、自動車の運転のシミュレーションにおいて特定の処理を実行する(S102、S122またはS137)。また、ドライビングシミュレーター10は、特定の範囲に対する注視が運転者によって実行されたという条件を含む特定の条件を満たす場合(S142でYES、S152でYES、S162でYES、または、S172でYES)に、自動車の運転のシミュレーションにおいて特定の処理を実行する(S143、S155、S164またはS175)。したがって、ドライビングシミュレーター10は、自動車の運転のシミュレーションにおいて運転者の視線を従来より有効に活用することができる。   As described above, the driving simulator 10 satisfies the specific condition including the condition that the driver does not execute the gaze for the specific range (NO in S101, NO in S121, or NO in S135). Then, a specific process is executed in the simulation of the driving of the vehicle (S102, S122 or S137). In addition, when the driving simulator 10 satisfies a specific condition including the condition that the driver's gaze is performed for the specific range (YES in S142, YES in S152, YES in S162, or YES in S172), A specific process is executed in the driving simulation of the vehicle (S143, S155, S164 or S175). Therefore, the driving simulator 10 can more effectively utilize the driver's line of sight in simulation of driving of the vehicle.

ドライビングシミュレーター10は、図3に示す動作を実行する場合、シミュレーション対象車が進行方向を変更する直前の特定の期間において、特定の範囲に対する注視が運転者によって実行されなかったとき(S101でNO)に、運転の安全性に関する通知を実行する(S102)ので、シミュレーション対象車の進行方向を変更する場合の運転者の安全確認の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。例えば、運転者がシミュレーション対象車を左折させしようとしてバックミラーによる安全確認を行い、シミュレーション対象車を減速し、シミュレーション対象車の左の外側の、ドアミラー以外の範囲の安全確認を行ったものの、左のドアミラーによる安全確認を怠ったために、シミュレーション対象車の左後方からシミュレーション対象車に接近したオートバイに気付かずに、シミュレーション対象車の左折をハンドルによって操作した場合に、シミュレーション対象車がこのオートバイと衝突するという事態が発生したとき、ドライビングシミュレーター10は、左のドアミラーによる安全確認を行っていないことを注意する通知を表示部31によって実行することによって、シミュレーション対象車を左折する場合の運転者の安全確認の意識を向上することができる。   When the driving simulator 10 executes the operation shown in FIG. 3, when the driver does not perform gaze at a specific range during a specific period immediately before the simulation target vehicle changes the traveling direction (NO in S101) Since the notification on the driving safety is executed (S102), the driver's awareness of safety confirmation when changing the traveling direction of the simulation target vehicle, that is, the driver's awareness of safe driving can be improved. it can. For example, the driver performs a safety check using a rearview mirror to turn left on the simulation target vehicle, decelerates the simulation target vehicle, and performs safety check on the outside of the left side of the simulation target vehicle except for the door mirror. When the left corner of the simulation target vehicle is operated by the steering wheel without being aware of the motorcycle approaching the simulation target vehicle from the left rear of the simulation target vehicle because the safety confirmation by the door mirror is neglected, the simulation target vehicle collides with this motorcycle If the driving simulator 10 notices that the safety confirmation by the left door mirror is not performed by the display unit 31, the driver's safety in the case of turning left the simulation target vehicle Sure It is possible to improve the awareness.

ドライビングシミュレーター10は、図5に示す動作を実行する場合、シミュレーション対象車が進行方向を変更する直前の特定の期間において、特定の範囲に対する注視が運転者によって実行されなかったとき(S121でNO)に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させる(S122)ので、効果的なシミュレーションを実行することができるとともに、シミュレーション対象車の進行方向を変更する場合の運転者の安全確認の意識を向上することができる。   When the driving simulator 10 executes the operation shown in FIG. 5, when the driver does not perform gaze at a specific range during a specific period immediately before the simulation target vehicle changes the traveling direction (NO at S121) In the simulation, a specific situation is generated for the simulation target vehicle (S122), so that effective simulation can be executed and the driver's safety confirmation when changing the traveling direction of the simulation target vehicle I can improve my consciousness.

ドライビングシミュレーター10は、図6に示す動作を実行する場合、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかったとき(S135でNO)に、運転の安全性に関する通知を実行する(S137)ので、運転に関する情報の通知部を確認することに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。例えば、最高速度が時速60kmであった状態において、最高速度を時速50kmに制限する道路標識の近傍をシミュレーション対象車が通過した場合に運転者が時速50kmを超える速度でシミュレーション対象車を走行させ続けたとき、現在の制限速度を示していた道路標識の範囲に対する注視が運転者によって実行されていなければ、ドライビングシミュレーター10は、道路標識の確認を行っていないことを注意する通知を実行する。   When the driving simulator 10 executes the operation shown in FIG. 6, when driving is not performed by the driver with respect to the range of the notification unit of the information on driving (NO in S135), the driving simulator 10 performs notification on driving safety. (S137), it is possible to improve the driver's awareness of confirming the notification part of the information related to driving, that is, the driver's awareness of safe driving. For example, when the simulation target vehicle passes the vicinity of a road sign that limits the maximum speed to 50 km / h while the maximum speed is 60 km / h, the driver keeps the simulation target vehicle traveling at a speed exceeding 50 km / hour When driving, if the driver is not performing a gaze on the range of the road sign indicating the current speed limit, the driving simulator 10 executes a notification to warn that the road sign has not been confirmed.

ドライビングシミュレーター10は、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかった場合に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させるとき、効果的なシミュレーションを実行することができるとともに、運転に関する情報の通知部を確認することに対する運転者の意識を向上することができる。   The driving simulator 10 executes an effective simulation when generating a specific situation for the simulation target vehicle in the simulation, when the driver does not perform gaze at the range of the notification unit of the information on driving. As a result, it is possible to improve the driver's awareness of checking the notification section of the information on driving.

ドライビングシミュレーター10は、図7に示す動作を実行する場合、わき見範囲に対する注視が運転者によって実行されたとき(S142でYES)に、シミュレーションにおいてシミュレーション対象車に対して特定の事態を発生させる(S143)ので、効果的なシミュレーションを実行することができるとともに、わき見運転をしないことに対する運転者の意識を向上することができる。例えば、ドライビングシミュレーター10は、シミュレーション対象車の計器類の近傍に設置されている携帯ホルダーに置いてある携帯端末にメッセージを受信させ、このメッセージを運転者が見た場合に、メッセージを運転者が見た瞬間にシミュレーション対象車の前方への歩行者の飛び出しを発生させることによって、リアルな体験として運転者をひやりとさせることができ、わき見運転をしないことに対する運転者の意識を向上することができる。   When the driving simulator 10 executes the operation shown in FIG. 7 and causes the driver to execute a gaze at the side view (YES in S142), the driving simulator 10 causes the simulation target vehicle to generate a specific situation (S143). Therefore, it is possible to execute an effective simulation and to improve the driver's awareness of not driving while looking aside. For example, the driving simulator 10 causes a portable terminal placed in a portable holder installed near the instruments of the simulation target vehicle to receive a message, and when the driver sees this message, the driver can use the message. By generating a pedestrian's jump out to the front of the simulation target vehicle at the moment when it sees, it is possible to make the driver cool as a realistic experience, and to improve the driver's awareness of not doing a side view driving .

ドライビングシミュレーター10は、わき見範囲に対する注視が運転者によって実行された場合に、運転の安全性に関する通知を実行するとき、わき見運転をしないことに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。   When the driving simulator 10 executes the notification on driving safety when the driver gazes at the watching area, the driving simulator 10 recognizes the driver's awareness for not driving while watching, that is, the driver's awareness of safe driving. I can improve my consciousness.

ドライビングシミュレーター10は、図8に示す動作を実行する場合、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて運転の安全性に関する通知を実行する(S155)ので、運転中の運転者の通常の視界内で運転者が自動車のミラーを介さずに直接見ることができる対象ではなく、ミラーによる鏡像における対象に対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。   When executing the operation shown in FIG. 8, the driving simulator 10 executes the notification regarding the safety of the driving according to the number of gazes executed by the driver within the range of the target to be gazed in the mirror image by the mirror. (S155), so that the driver's awareness of the subject in the mirror image of the mirror, ie the safety, is not a subject that the driver can see directly without passing through the car mirror within the normal view of the driver while driving This can improve the driver's awareness of driving.

ドライビングシミュレーター10は、ミラーによる鏡像において注視すべき対象の範囲のうち、運転者によって注視が実行されたものの数に応じて、シミュレーションにおいて特定の事態をシミュレーション対象車に対して発生させる場合、効果的なシミュレーションを実行することができるとともに、通常視界外の対象に対する運転者の意識を向上することができる。   The driving simulator 10 is effective in the case of causing a specific situation in the simulation to the simulation target vehicle according to the number of targets for which the driver has performed gaze within the range of the target to be gazed in the mirror image of the mirror. Simulation can be performed, and the driver's awareness of objects outside the normal view can be improved.

ドライビングシミュレーター10は、運転者の視線を活用して運転の目的地を決定したり(S164)、運転のルートを決定したり(S175)するので、利便性を向上することができる。   Since the driving simulator 10 determines the driving destination using the driver's line of sight (S164) or determines the driving route (S175), the convenience can be improved.

なお、シミュレーション画像を表示する表示デバイスは、本実施の形態においてヘッドマウントディスプレイによって実現されているが、ヘッドマウントディスプレイ以外のデバイスによって実現されても良い。   In addition, although the display device which displays a simulation image is implement | achieved by the head mounted display in this Embodiment, you may implement | achieve by devices other than a head mounted display.

シミュレーション画像における運転者の視線を検出する視線検出部は、本実施の形態においてヘッドマウントディスプレイによって実現されているが、ヘッドマウントディスプレイ以外のデバイスによって実現されても良い。   The line-of-sight detection unit for detecting the line of sight of the driver in the simulation image is realized by the head mounted display in the present embodiment, but may be realized by a device other than the head mounted display.

(第2の実施の形態)
まず、本発明の第2の実施の形態に係る運転用情報処理装置としての手動運転支援装置の構成について説明する。
Second Embodiment
First, the configuration of a manual driving support apparatus as a driving information processing apparatus according to a second embodiment of the present invention will be described.

図11は、本実施の形態に係る手動運転支援装置210のブロック図である。   FIG. 11 is a block diagram of a manual driving support device 210 according to the present embodiment.

図11に示す手動運転支援装置210は、運転手によって運転される図示していない自動車に搭載されて、運転手による自動車の運転を支援する装置である。手動運転支援装置210は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部211と、種々の情報を表示するLCDなどの表示デバイスである表示部212と、運転者の顔の前方を撮影するためのカメラ213と、運転者の視線を検出する視線検出部214と、マイクロフォン215と、LAN、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部216と、各種の情報を記憶する半導体メモリー、HDDなどの不揮発性の記憶デバイスである記憶部217と、手動運転支援装置210全体を制御する制御部218とを備えている。手動運転支援装置210は、手動運転支援装置210を搭載する自動車などの外部の装置と通信部216を介して通信可能である。   A manual driving support device 210 shown in FIG. 11 is a device mounted on a motor vehicle (not shown) driven by a driver to support the driving of the motor vehicle by the driver. The manual driving support device 210 includes an operation unit 211 which is an input device such as a keyboard and a mouse to which various operations are input, a display unit 212 which is a display device such as an LCD to display various information, and a driver's face. The camera 213 for capturing the front of the camera, the gaze detection unit 214 that detects the driver's gaze, the microphone 215, and a network such as a LAN or the Internet, or directly via a wired or wireless network. , A communication unit 216 that is a communication device that communicates with an external device, a semiconductor memory that stores various types of information, a storage unit 217 that is a non-volatile storage device such as an HDD, and the entire manual driving support device 210 And a control unit 218. The manual driving support device 210 can communicate with an external device such as a car equipped with the manual driving support device 210 via the communication unit 216.

表示部212、カメラ213および視線検出部214は、第1の実施の形態と同様にヘッドマウントディスプレイによって実現されても良い。ただし、表示部212、カメラ213および視線検出部214がヘッドマウントディスプレイによって実現される場合、表示部212に表示される画像は、ARおよびMRのいずれかで表現される。   The display unit 212, the camera 213, and the sight line detection unit 214 may be realized by a head mounted display as in the first embodiment. However, when the display unit 212, the camera 213, and the gaze detection unit 214 are realized by a head mounted display, the image displayed on the display unit 212 is expressed by either AR or MR.

記憶部217は、運転者による自動車の運転の支援のための情報処理を実行するための運転用情報処理プログラムとしての手動運転支援プログラム217aを記憶している。手動運転支援プログラム217aは、例えば、手動運転支援装置210の製造段階で手動運転支援装置210にインストールされていても良いし、USBメモリー、CD、DVDなどの外部の記憶媒体から手動運転支援装置210に追加でインストールされても良いし、ネットワーク上から手動運転支援装置210に追加でインストールされても良い。   The storage unit 217 stores a manual driving support program 217a as a driving information processing program for executing information processing for supporting the driving of the vehicle by the driver. The manual driving support program 217a may be installed in the manual driving support device 210, for example, at the manufacturing stage of the manual driving support device 210, or may be installed from an external storage medium such as a USB memory, a CD, or a DVD. In addition, it may be additionally installed in the manual driving support device 210 from the network.

制御部218は、例えば、CPUと、プログラムおよび各種のデータを記憶しているROMと、CPUの作業領域として用いられるRAMとを備えている。CPUは、ROMまたは記憶部217に記憶されているプログラムを実行する。すなわち、手動運転支援装置210は、コンピューターである。   The control unit 218 includes, for example, a CPU, a ROM storing programs and various data, and a RAM used as a work area of the CPU. The CPU executes a program stored in the ROM or the storage unit 217. That is, the manual driving support device 210 is a computer.

制御部218は、手動運転支援プログラム217aを実行することによって、手動運転支援手段218aを実現する。手動運転支援手段218aは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、運転者による自動車の運転の支援のための情報処理において特定の処理を実行するので、本発明の特定処理実行手段を構成している。   The control unit 218 implements the manual driving support means 218a by executing the manual driving support program 217a. The manual driving support means 218a performs a specific condition including a condition that a gaze for a specific range is performed by the driver and a condition that a gaze for the specific range is not performed by the driver. Since the specific process is executed in the information processing for supporting the driving of the vehicle by the driver when it is satisfied, the specific process execution means of the present invention is configured.

なお、手動運転支援手段218aは、カメラ213によって撮影された画像に対して特定の基準で画像処理を実行することによって、カメラ213によって撮影された画像における注視の対象の候補の範囲を特定する。   The manual driving support means 218a performs image processing on the image captured by the camera 213 based on a specific criterion, thereby specifying the range of the candidate for the gaze target in the image captured by the camera 213.

次に、手動運転支援装置210の動作について説明する。   Next, the operation of the manual driving support device 210 will be described.

手動運転支援手段218aは、運転シミュレーション手段45a(図2参照。)と同様に、自動車が進行方向を変更する直前の特定の期間において、自動車のバックミラーの鏡面の範囲、自動車のドアミラーの鏡面の範囲、自動車の左右の外側の、ドアミラー以外の範囲など、特定の範囲に対する注視が運転者によって実行されなかった場合に、運転の安全性に関する通知を表示部212によって実行することによって、自動車の進行方向を変更する場合の運転者の安全確認の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。   The manual driving support means 218a, like the driving simulation means 45a (see FIG. 2), covers the range of the mirror surface of the rear mirror of the vehicle and the mirror surface of the door mirror of the vehicle in a specific period immediately before the vehicle changes its traveling direction. When the driver does not perform a gaze on a specific range, such as a range, a range outside the left and right sides of the vehicle, and the like, other than the door mirror, the progress on the vehicle is performed by the display 212 It is possible to improve the driver's awareness of safety confirmation when changing the direction, that is, the driver's awareness of safe driving.

手動運転支援手段218aは、運転シミュレーション手段45aと同様に、運転に関する情報の通知部の範囲に対する注視が運転者によって実行されなかった場合に、運転の安全性に関する通知を表示部212によって実行することによって、自動車以外の部分に設置されている、運転に関する情報の通知部を確認することに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。   Similar to the driving simulation unit 45a, the manual driving support unit 218a executes the notification related to the driving safety by the display unit 212 when the driver does not perform a gaze on the range of the notification unit of the information related to the driving. As a result, it is possible to improve the driver's awareness for confirming the notification part of the information on driving, which is installed in a part other than the car, that is, the driver's awareness for safe driving.

手動運転支援手段218aは、運転シミュレーション手段45aと同様に、わき見範囲に対する注視が運転者によって実行された場合に、運転の安全性に関する通知を表示部212によって実行することによって、わき見運転をしないことに対する運転者の意識、すなわち、安全な運転に対する運転者の意識を向上することができる。   Similar to the driving simulation unit 45a, the manual driving support unit 218a does not perform a side driving by performing notification on the driving safety by using the display unit 212 when the driver's gaze on the looking area is performed. The driver's awareness of the driver, that is, the driver's awareness of safe driving can be improved.

手動運転支援手段218aは、運転シミュレーション手段45aと同様に、運転者の視線を活用して運転の目的地を決定したり、運転のルートを決定したりすることによって、利便性を向上することができる。手動運転支援手段218aは、決定した目的地およびルートを、自動車の内部のカーナビゲーションシステムに入力する。   Similar to the driving simulation unit 45a, the manual driving support unit 218a may improve convenience by determining the driving destination or determining the driving route by utilizing the driver's gaze. it can. The manual driving support means 218a inputs the determined destination and route into the car navigation system inside the car.

手動運転支援手段218aは、場所を示す範囲に対する注視が運転者によって実行された場合に、運転者によって注視が実行された範囲によって示される場所までのルートにおける渋滞情報を通信部216を介してインターネット上から検索して検索結果を表示部212に表示したり、運転者によって注視が実行された範囲によって示される場所に存在するレストランの情報など、運転者によって注視が実行された範囲によって示される場所に関する情報を通信部216を介してインターネット上から検索して検索結果を表示部212に表示したりしても良い。   The manual driving support means 218a uses the communication unit 216 to communicate congestion information on the route to the location indicated by the range where the gaze was performed by the driver, when the gaze to the range indicating the location is performed by the driver. A place indicated by a range where gaze was performed by the driver, such as searching from above and displaying a search result on the display unit 212 or information of a restaurant present at a place indicated by the range where the gaze was performed by the driver May be searched from the Internet via the communication unit 216 and the search result may be displayed on the display unit 212.

手動運転支援手段218aは、カメラ213によって撮影された画像のうち、運転者によって注視が実行された範囲の画像を保存しても良い。例えば、手動運転支援手段218aは、運転者によって注視が実行された4点で囲まれた範囲を保存しても良い。   The manual driving support means 218a may store an image of a range in which the driver has performed a gaze, among the images captured by the camera 213. For example, the manual driving support means 218a may store the range surrounded by four points at which the driver performed a gaze.

(第3の実施の形態)
まず、本発明の第3の実施の形態に係る運転用情報処理装置としての自動運転支援装置の構成について説明する。
Third Embodiment
First, the configuration of an automatic driving support apparatus as a driving information processing apparatus according to a third embodiment of the present invention will be described.

図12は、本実施の形態に係る自動運転支援装置310のブロック図である。   FIG. 12 is a block diagram of an automatic driving support device 310 according to the present embodiment.

図12に示す自動運転支援装置310は、自動運転を実行する図示していない自動車に搭載されて、自動車による自動運転を支援する装置である。自動運転支援装置310は、種々の操作が入力されるキーボード、マウスなどの入力デバイスである操作部311と、種々の情報を表示するLCDなどの表示デバイスである表示部312と、運転者の顔の前方を撮影するためのカメラ313と、運転者の視線を検出する視線検出部314と、マイクロフォン315と、LAN、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部316と、各種の情報を記憶する半導体メモリー、HDDなどの不揮発性の記憶デバイスである記憶部317と、自動運転支援装置310全体を制御する制御部318とを備えている。自動運転支援装置310は、自動運転支援装置310を搭載する自動車などの外部の装置と通信部316を介して通信可能である。   An automatic driving support device 310 shown in FIG. 12 is a device that is mounted on a vehicle (not shown) that executes automatic driving and supports automatic driving by the vehicle. The automatic driving support apparatus 310 includes an operation unit 311 which is an input device such as a keyboard and a mouse to which various operations are input, a display unit 312 which is a display device such as an LCD to display various information, and a driver's face. The camera 313 for capturing the front of the camera, the gaze detection unit 314 that detects the driver's gaze, the microphone 315, and a network such as a LAN or the Internet, or directly via a wired or wireless network. , A communication unit 316 that is a communication device that communicates with an external device, a semiconductor memory that stores various types of information, a storage unit 317 that is a non-volatile storage device such as an HDD, and the entire automatic driving support device 310 And a control unit 318. The automatic driving support device 310 can communicate with an external device such as a car equipped with the automatic driving support device 310 via the communication unit 316.

表示部312、カメラ313および視線検出部314は、第1の実施の形態と同様にヘッドマウントディスプレイによって実現されても良い。ただし、表示部312、カメラ313および視線検出部314がヘッドマウントディスプレイによって実現される場合、表示部312に表示される画像は、ARおよびMRのいずれかで表現される。   The display unit 312, the camera 313, and the gaze detection unit 314 may be realized by a head mounted display as in the first embodiment. However, when the display unit 312, the camera 313, and the gaze detection unit 314 are realized by a head mounted display, the image displayed on the display unit 312 is expressed by either AR or MR.

記憶部317は、自動車による自動運転の支援のための情報処理を実行するための運転用情報処理プログラムとしての自動運転支援プログラム317aを記憶している。自動運転支援プログラム317aは、例えば、自動運転支援装置310の製造段階で自動運転支援装置310にインストールされていても良いし、USBメモリー、CD、DVDなどの外部の記憶媒体から自動運転支援装置310に追加でインストールされても良いし、ネットワーク上から自動運転支援装置310に追加でインストールされても良い。   The storage unit 317 stores an automatic driving support program 317a as a driving information processing program for executing information processing for supporting automatic driving by a car. The automatic driving support program 317a may be installed in the automatic driving support device 310, for example, at the manufacturing stage of the automatic driving support device 310, or from an external storage medium such as a USB memory, a CD, or a DVD. In addition, it may be additionally installed on the automatic driving assistance apparatus 310 from the network.

制御部318は、例えば、CPUと、プログラムおよび各種のデータを記憶しているROMと、CPUの作業領域として用いられるRAMとを備えている。CPUは、ROMまたは記憶部317に記憶されているプログラムを実行する。すなわち、自動運転支援装置310は、コンピューターである。   The control unit 318 includes, for example, a CPU, a ROM storing programs and various data, and a RAM used as a work area of the CPU. The CPU executes a program stored in the ROM or the storage unit 317. That is, the automatic driving support device 310 is a computer.

制御部318は、自動運転支援プログラム317aを実行することによって、自動運転支援手段318aを実現する。自動運転支援手段318aは、特定の範囲に対する注視が運転者によって実行されたという条件、および、特定の範囲に対する注視が運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に、自動車による自動運転の支援のための情報処理において特定の処理を実行するので、本発明の特定処理実行手段を構成している。   The control unit 318 implements the automatic driving support means 318a by executing the automatic driving support program 317a. The autonomous driving support means 318a performs the specific condition including the condition that the gaze for the specific range is performed by the driver and the condition that the gaze for the specific range is not performed by the driver. Since the specific process is executed in the information processing for supporting the automatic driving by the vehicle when the vehicle is satisfied, the specific process execution means of the present invention is configured.

なお、自動運転支援手段318aは、カメラ313によって撮影された画像に対して特定の基準で画像処理を実行することによって、カメラ313によって撮影された画像における注視の対象の候補の範囲を特定する。   The automatic driving support means 318 a performs image processing on an image captured by the camera 313 based on a specific criterion, thereby specifying the range of candidate targets of gaze in the image captured by the camera 313.

次に、自動運転支援装置310の動作について説明する。   Next, the operation of the automatic driving support device 310 will be described.

自動運転支援装置310は、自動運転における回避の対象を決定することができる。以下、自動運転における回避の対象を決定する処理を実行する場合の自動運転支援装置310の動作について説明する。   The automatic driving support device 310 can determine an avoidance target in automatic driving. Hereinafter, an operation of the automatic driving support device 310 in the case of executing a process of determining an avoidance target in automatic driving will be described.

図13は、自動運転における回避の対象を決定する処理を実行する場合の自動運転支援装置310の動作の一例を示すフローチャートである。   FIG. 13 is a flowchart showing an example of the operation of the automatic driving support device 310 in the case of executing the process of determining an avoidance target in automatic driving.

自動運転支援手段318aは、自動車による自動運転が開始された場合に、図13に示す動作を実行する。   The automatic driving support means 318a executes the operation shown in FIG. 13 when the automatic driving by the vehicle is started.

図13に示すように、自動運転支援手段318aは、自動運転が終了したか否かを判断する(S321)。   As shown in FIG. 13, the automatic driving support means 318a determines whether the automatic driving has ended (S321).

自動運転支援手段318aは、自動運転が終了していないとS321において判断すると、特定の範囲に対する注視が運転者によって実行されたか否かを判断する(S322)。   If it is determined in S321 that the automatic driving has not ended, the automatic driving support means 318a determines whether the driver has performed a gaze on a specific range (S322).

自動運転支援手段318aは、特定の範囲に対する注視が運転者によって実行されたとS322において判断すると、この範囲を自動運転における回避の対象として決定し(S323)、S323において決定した対象を、自動運転における回避の対象として自動車の自動運転システムに入力する(S324)。   The automatic driving support means 318a, when judging in S322 that the gaze for a specific range has been executed by the driver, determines this range as an avoidance target in automatic driving (S323), and determines the target determined in S323 in automatic driving. It inputs into the automatic driving system of a car as a target of avoidance (S324).

自動運転支援手段318aは、特定の範囲に対する注視が運転者によって実行されなかったとS322において判断するか、S324の処理が終了すると、S321の処理を実行する。   The automatic driving support means 318a executes the processing of S321 when judging in S322 that the driver has not performed gaze at a specific range or when the processing of S324 is completed.

自動運転支援手段318aは、自動運転が終了したとS321において判断すると、図13に示す動作を終了する。   If the automatic driving support means 318a determines in S321 that the automatic driving has ended, the operation shown in FIG. 13 ends.

以上に説明したように、自動運転支援装置310は、自動車の運転者の視線を活用して自動運転における回避の対象を決定する(S323)ので、利便性を向上することができる。   As described above, the automatic driving support device 310 determines the target of avoidance in automatic driving by utilizing the line of sight of the driver of the vehicle (S323), and therefore the convenience can be improved.

自動運転支援手段318aは、手動運転支援手段218a(図11参照。)と同様に、運転者の視線を活用して運転の目的地を決定したり、運転のルートを決定したりすることによって、利便性を向上することができる。自動運転支援手段318aは、決定した目的地およびルートを、自動車の自動運転システムに入力する。   Like the manual driving support means 218a (see FIG. 11), the automatic driving support means 318a uses the sight of the driver to determine the driving destination or determines the driving route. Convenience can be improved. The autonomous driving support means 318a inputs the determined destination and route into the autonomous driving system of the vehicle.

自動運転支援手段318aは、手動運転支援手段218aと同様に、場所を示す範囲に対する注視が運転者によって実行された場合に、運転者によって注視が実行された範囲によって示される場所までのルートにおける渋滞情報を通信部316を介してインターネット上から検索して検索結果を表示部312に表示したり、運転者によって注視が実行された範囲によって示される場所に存在するレストランの情報など、運転者によって注視が実行された範囲によって示される場所に関する情報を通信部316を介してインターネット上から検索して検索結果を表示部312に表示したりしても良い。   The automatic driving support means 318a, like the manual driving support means 218a, congestion on the route to the location indicated by the range where the gaze was performed by the driver when the gaze to the range indicating the location is performed by the driver. Information is searched from the Internet via the communication unit 316 and the search result is displayed on the display unit 312, or the driver gazes at the driver such as information on a restaurant present at a place indicated by the range where the gaze is executed. The information on the place indicated by the range in which the program is executed may be searched from the Internet via the communication unit 316 and the search result may be displayed on the display unit 312.

自動運転支援手段318aは、手動運転支援手段218aと同様に、カメラ313によって撮影された画像のうち、運転者によって注視が実行された範囲の画像を保存しても良い。   The automatic driving support means 318a may store an image of a range in which the driver has performed a gaze, among the images taken by the camera 313, similarly to the manual driving support means 218a.

上述した各実施の形態においては、車両の運転について説明している。しかしながら、本発明は、船舶の操縦、航空機の操縦など、車両以外の乗物の操作についても応用可能である。   In each of the above-described embodiments, the operation of the vehicle is described. However, the present invention is also applicable to the operation of vehicles other than vehicles, such as the operation of a ship and the operation of an aircraft.

なお、本発明は、VR(Virtual Reality)、AR(Augmented Reality)、MR(Mixed Reality)およびSR(Substitutional Reality)といった任意の現実感技術の総称であるxR技術に応用することができるように構成されても良い。   The present invention is configured to be applicable to xR technology, which is a generic name for any reality technology such as VR (Virtual Reality), AR (Augmented Reality), MR (Mixed Reality) and SR (Substitutional Reality). It may be done.

10 ドライビングシミュレーター(運転用情報処理装置)
31 表示部(表示デバイス)
32 視線検出部
40 コンピューター
44a 運転シミュレーションプログラム(運転用情報処理プログラム)
45a 運転シミュレーション手段(特定処理実行手段)
210 手動運転支援装置(運転用情報処理装置、コンピューター)
214 視線検出部
217a 手動運転支援プログラム(運転用情報処理プログラム)
218a 手動運転支援手段(特定処理実行手段)
310 自動運転支援装置(運転用情報処理装置、コンピューター)
314 視線検出部
317a 自動運転支援プログラム(運転用情報処理プログラム)
318a 自動運転支援手段(特定処理実行手段)
10 Driving simulator (information processing device for driving)
31 Display (Display Device)
32 gaze detection unit 40 computer 44a driving simulation program (information processing program for driving)
45a Driving simulation means (specific processing execution means)
210 Manual Driving Support Device (Driving Information Processing Device, Computer)
214 Line of sight detection unit 217a Manual driving support program (information processing program for driving)
218a Manual operation support means (specific process execution means)
310 Automatic Driving Support Device (Driving Information Processing Device, Computer)
314 Line of sight detection unit 317a Automatic driving support program (information processing program for driving)
318a Automatic driving support means (specific processing execution means)

Claims (11)

車両の運転のための情報処理を実行する運転用情報処理装置であって、
前記車両の運転者の視線を検出する視線検出部と、
特定の範囲に対する注視が前記運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段と
を備え、
前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して0秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする運転用情報処理装置。
A driving information processing apparatus that executes information processing for driving a vehicle.
A gaze detection unit that detects a gaze of a driver of the vehicle.
The condition that a gaze for a particular range has been performed by the driver, and a particular condition including any one of the conditions that a gaze for the particular range has not been performed by the driver Specific processing execution means for executing specific processing in information processing;
The specific process execution means, as a gaze for the specific range, indicates that the visual axis detected by the visual axis detection unit continuously exists for a specific time exceeding 0 seconds with respect to the specific area. And the line of sight detected by the line of sight detecting unit continues to be present for a specific time or less for the specific range, and the line of sight detected by the line of sight detecting unit is the specific range The information processing apparatus for operation which does not treat that it does not exist with respect to as a gaze with respect to the said specific range.
前記特定の範囲は、前記車両のバックミラーの鏡面の範囲、前記車両のドアミラーの鏡面の範囲、および、前記車両の左右の外側の、前記ドアミラー以外の範囲のいずれか1つであり、
前記特定の条件は、前記車両が進行方向を変更する直前の特定の期間において前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件を含むことを特徴とする請求項1に記載の運転用情報処理装置。
The specific range is any one of a range of a mirror surface of a rear mirror of the vehicle, a range of a mirror surface of a door mirror of the vehicle, and a range other than the door mirror outside the left and right of the vehicle.
The said specific conditions include the conditions that the gaze with respect to the said specific range was not performed by the said driver | operator in the specific period just before the said vehicle changes a advancing direction. Information processing device for driving.
前記特定の範囲は、前記運転に関する情報の通知部の範囲であり、
前記通知部は、前記車両以外の部分に設置されており、
前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含むことを特徴とする請求項1に記載の運転用情報処理装置。
The specific range is a range of a notification unit of information on the driving,
The said notification part is installed in parts other than the said vehicle,
The driving information processing apparatus according to claim 1, wherein the specific condition includes a condition that a gaze on the specific range is performed by the driver.
前記特定の範囲は、前記運転者によって注視されるとわき見運転となる範囲であり、
前記特定の条件は、前記車両が前記運転によって移動させられている最中に前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含むことを特徴とする請求項1に記載の運転用情報処理装置。
The specific range is a range in which the driver looks at the driver when he or she gazes.
The driving according to claim 1, wherein the specific condition includes a condition that a gaze on the specific range is performed by the driver while the vehicle is being moved by the driving. Information processing device.
前記特定の範囲は、前記車両のミラーによる鏡像における特定の対象の範囲であり、
前記特定の条件は、前記運転者によって注視が実行された前記特定の範囲の数の条件を含むことを特徴とする請求項1に記載の運転用情報処理装置。
The particular range is the range of a particular object in the mirror image of the vehicle mirror,
The driving information processing apparatus according to claim 1, wherein the specific condition includes the condition of the number of the specific range in which the driver performs the gaze.
前記特定の処理は、前記運転の安全性に関する通知を実行する処理であることを特徴とする請求項1から請求項5までのいずれかに記載の運転用情報処理装置。   The driving information processing apparatus according to any one of claims 1 to 5, wherein the specific process is a process of executing a notification regarding the safety of the driving. 前記情報処理は、前記運転のシミュレーションであり、
前記運転用情報処理装置は、前記シミュレーションの画像を表示する表示デバイスを備え、
前記特定の範囲は、前記表示デバイスに表示された前記画像における範囲であり、
前記特定の処理は、前記シミュレーションにおいて特定の事態を前記車両に対して発生させる処理であることを特徴とする請求項1から請求項5までのいずれかに記載の運転用情報処理装置。
The information processing is a simulation of the driving,
The driving information processing apparatus includes a display device for displaying an image of the simulation.
The specific range is a range in the image displayed on the display device,
The driving information processing apparatus according to any one of claims 1 to 5, wherein the specific process is a process of causing a specific situation in the simulation to occur to the vehicle.
前記特定の範囲は、場所を示す範囲であり、
前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、
前記特定の処理は、前記特定の範囲によって示される前記場所を前記運転の目的地として決定する処理であることを特徴とする請求項1に記載の運転用情報処理装置。
The said specific range is a range which shows a place,
The particular condition includes the condition that a gaze for the particular range is performed by the driver,
The driving information processing apparatus according to claim 1, wherein the specific process is a process of determining the place indicated by the specific range as a destination of the driving.
前記特定の範囲は、交通規制に関する情報の通知部の範囲であり、
前記通知部は、前記車両以外の部分に設置されており、
前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、
前記特定の処理は、前記特定の範囲に含まれる前記情報に基づいて前記運転のルートを決定する処理であることを特徴とする請求項1に記載の運転用情報処理装置。
The said specific range is the range of the notification part of the information regarding traffic regulation,
The said notification part is installed in parts other than the said vehicle,
The particular condition includes the condition that a gaze for the particular range is performed by the driver,
The driving information processing apparatus according to claim 1, wherein the specific process is a process of determining the driving route based on the information included in the specific range.
前記情報処理は、前記車両の自動運転に関する処理であり、
前記特定の条件は、前記特定の範囲に対する注視が前記運転者によって実行されたという条件を含み、
前記特定の処理は、前記特定の範囲を前記自動運転における回避の対象として決定する処理であることを特徴とする請求項1に記載の運転用情報処理装置。
The information processing is processing related to automatic driving of the vehicle,
The particular condition includes the condition that a gaze for the particular range is performed by the driver,
The driving information processing apparatus according to claim 1, wherein the specific process is a process of determining the specific range as an avoidance target in the automatic driving.
車両の運転のための情報処理を実行するための運転用情報処理プログラムであって、
特定の範囲に対する注視が前記車両の運転者によって実行されたという条件、および、前記特定の範囲に対する注視が前記運転者によって実行されなかったという条件のいずれか1つを含む特定の条件を満たす場合に前記情報処理において特定の処理を実行する特定処理実行手段としてコンピューターを機能させ、
前記特定処理実行手段は、前記視線検出部によって検出された前記視線が前記特定の範囲に対して0秒を超える特定の時間を超える時間継続して存在することを、前記特定の範囲に対する注視として扱い、前記視線検出部によって検出された前記視線が前記特定の範囲に対して前記特定の時間以下の時間継続して存在することと、前記視線検出部によって検出された前記視線が前記特定の範囲に対して存在しないこととを、前記特定の範囲に対する注視として扱わないことを特徴とする運転用情報処理プログラム。
A driving information processing program for executing information processing for driving a vehicle,
Under certain conditions, including a condition that a gaze for a particular range has been performed by the driver of the vehicle and a condition that a gaze for the particular range has not been performed by the driver Causing the computer to function as specific processing execution means for executing specific processing in the information processing,
The specific process execution means, as a gaze for the specific range, indicates that the visual axis detected by the visual axis detection unit continuously exists for a specific time exceeding 0 seconds with respect to the specific area. And the line of sight detected by the line of sight detecting unit continues to be present for a specific time or less for the specific range, and the line of sight detected by the line of sight detecting unit is the specific range A driving information processing program characterized by not treating the absence of the condition as a gaze for the specific range.
JP2018007279A 2018-01-19 2018-01-19 Driving information processing device and driving information processing program Active JP7185251B2 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018007279A JP7185251B2 (en) 2018-01-19 2018-01-19 Driving information processing device and driving information processing program
JP2022020516A JP7260207B2 (en) 2018-01-19 2022-02-14 Driving information processing device and driving information processing program
JP2022127377A JP7352990B2 (en) 2018-01-19 2022-08-09 Driving information processing device and driving information processing program
JP2022127376A JP7352989B2 (en) 2018-01-19 2022-08-09 Driving information processing device and driving information processing program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018007279A JP7185251B2 (en) 2018-01-19 2018-01-19 Driving information processing device and driving information processing program

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2022020516A Division JP7260207B2 (en) 2018-01-19 2022-02-14 Driving information processing device and driving information processing program
JP2022127377A Division JP7352990B2 (en) 2018-01-19 2022-08-09 Driving information processing device and driving information processing program
JP2022127376A Division JP7352989B2 (en) 2018-01-19 2022-08-09 Driving information processing device and driving information processing program

Publications (2)

Publication Number Publication Date
JP2019124892A true JP2019124892A (en) 2019-07-25
JP7185251B2 JP7185251B2 (en) 2022-12-07

Family

ID=67398568

Family Applications (3)

Application Number Title Priority Date Filing Date
JP2018007279A Active JP7185251B2 (en) 2018-01-19 2018-01-19 Driving information processing device and driving information processing program
JP2022127376A Active JP7352989B2 (en) 2018-01-19 2022-08-09 Driving information processing device and driving information processing program
JP2022127377A Active JP7352990B2 (en) 2018-01-19 2022-08-09 Driving information processing device and driving information processing program

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022127376A Active JP7352989B2 (en) 2018-01-19 2022-08-09 Driving information processing device and driving information processing program
JP2022127377A Active JP7352990B2 (en) 2018-01-19 2022-08-09 Driving information processing device and driving information processing program

Country Status (1)

Country Link
JP (3) JP7185251B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021169025A (en) * 2019-11-28 2021-10-28 株式会社カプコン Game program, computer and game system

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002148067A (en) * 2000-11-13 2002-05-22 Nec Corp System and method for navigation
JP2003263099A (en) * 2002-03-07 2003-09-19 Honda Motor Co Ltd Driving training system using driving simulator
JP2004037152A (en) * 2002-07-01 2004-02-05 Mazda Motor Corp Apparatus and method for guiding path, and program for guiding path
JP2006184106A (en) * 2004-12-27 2006-07-13 Aisin Aw Co Ltd On-vehicle navigation device
JP2009031943A (en) * 2007-07-25 2009-02-12 Aisin Aw Co Ltd Facility specification device, facility specification method, and computer program
JP2009042435A (en) * 2007-08-08 2009-02-26 Toyota Central R&D Labs Inc Device and program for safe driving education
WO2010140215A1 (en) * 2009-06-02 2010-12-09 トヨタ自動車株式会社 Vehicular peripheral surveillance device
US20110076649A1 (en) * 2009-09-29 2011-03-31 Advanced Training System Llc System, Method and Apparatus for Adaptive Driver Training
JP2012247871A (en) * 2011-05-25 2012-12-13 Fujitsu Ltd Driving skill discrimination device, and driving skill discrimination program
JP2015026185A (en) * 2013-07-25 2015-02-05 三菱電機株式会社 Driving support device
JP2015127937A (en) * 2013-11-29 2015-07-09 富士通株式会社 Driving support device, method, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5513353B2 (en) 2010-12-01 2014-06-04 本田技研工業株式会社 Alarm device
JP6136238B2 (en) 2012-12-19 2017-05-31 アイシン・エィ・ダブリュ株式会社 Driving support system, driving support method, and computer program
US9481287B2 (en) 2014-01-21 2016-11-01 Harman International Industries, Inc. Roadway projection system
JP6319349B2 (en) 2015-04-03 2018-05-09 株式会社デンソー Information presentation device
JP2017111469A (en) 2015-12-14 2017-06-22 富士通株式会社 Road sign visual recognition determination system, road sign visual recognition determination method, and program
JP2017122640A (en) 2016-01-07 2017-07-13 トヨタ自動車株式会社 Information control device

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002148067A (en) * 2000-11-13 2002-05-22 Nec Corp System and method for navigation
JP2003263099A (en) * 2002-03-07 2003-09-19 Honda Motor Co Ltd Driving training system using driving simulator
JP2004037152A (en) * 2002-07-01 2004-02-05 Mazda Motor Corp Apparatus and method for guiding path, and program for guiding path
JP2006184106A (en) * 2004-12-27 2006-07-13 Aisin Aw Co Ltd On-vehicle navigation device
JP2009031943A (en) * 2007-07-25 2009-02-12 Aisin Aw Co Ltd Facility specification device, facility specification method, and computer program
JP2009042435A (en) * 2007-08-08 2009-02-26 Toyota Central R&D Labs Inc Device and program for safe driving education
WO2010140215A1 (en) * 2009-06-02 2010-12-09 トヨタ自動車株式会社 Vehicular peripheral surveillance device
US20110076649A1 (en) * 2009-09-29 2011-03-31 Advanced Training System Llc System, Method and Apparatus for Adaptive Driver Training
JP2012247871A (en) * 2011-05-25 2012-12-13 Fujitsu Ltd Driving skill discrimination device, and driving skill discrimination program
JP2015026185A (en) * 2013-07-25 2015-02-05 三菱電機株式会社 Driving support device
JP2015127937A (en) * 2013-11-29 2015-07-09 富士通株式会社 Driving support device, method, and program

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021169025A (en) * 2019-11-28 2021-10-28 株式会社カプコン Game program, computer and game system
JP7332925B2 (en) 2019-11-28 2023-08-24 株式会社カプコン Game programs, computers, and game systems

Also Published As

Publication number Publication date
JP7352989B2 (en) 2023-09-29
JP2022167920A (en) 2022-11-04
JP7185251B2 (en) 2022-12-07
JP7352990B2 (en) 2023-09-29
JP2022174052A (en) 2022-11-22

Similar Documents

Publication Publication Date Title
US10391406B2 (en) Apparatus and method for safe drive inducing game
JP6611957B2 (en) Information output control device and information output control method
JP2024063147A (en) On-vehicle device
JP6107590B2 (en) Head-up display device
US11130502B2 (en) Method for assisting a driver with regard to traffic-situation-relevant objects and motor vehicle
WO2018078732A1 (en) Display control apparatus, display apparatus, and display control method
US11535260B2 (en) Attention-based notifications
JP6653439B2 (en) Display control device, projection device, display control program, and recording medium
JP6396672B2 (en) Information display device and information display method
JP2011028415A (en) Driving support device
WO2020105685A1 (en) Display control device, method, and computer program
JP2007286959A (en) Operation support device
JP7352990B2 (en) Driving information processing device and driving information processing program
JP2017129973A (en) Driving support apparatus and driving support method
JP7424327B2 (en) Vehicle display control device, vehicle display control system, and vehicle display control method
JP2023138849A (en) Presentation control device and presentation control program
JP2015228203A (en) Display control unit, projector, display control program and recording medium
JP5257600B2 (en) Display control system and display control program
JP7167812B2 (en) VEHICLE CONTROL DEVICE, METHOD, PROGRAM AND VEHICLE DISPLAY DEVICE
JP7260207B2 (en) Driving information processing device and driving information processing program
JP2019144971A (en) Control system and control method for moving body
JP2018088119A (en) Control device, control method, and program
JP2018169945A (en) Driving support apparatus, driving support method, and driving support program
JP2022041286A (en) Display control device, display control method, and display control program
JP2021148506A (en) Display control device, display control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211215

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220809

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221117

R150 Certificate of patent or registration of utility model

Ref document number: 7185251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150