JP2018147481A - Display controller, display control method, and display control program - Google Patents

Display controller, display control method, and display control program Download PDF

Info

Publication number
JP2018147481A
JP2018147481A JP2018034335A JP2018034335A JP2018147481A JP 2018147481 A JP2018147481 A JP 2018147481A JP 2018034335 A JP2018034335 A JP 2018034335A JP 2018034335 A JP2018034335 A JP 2018034335A JP 2018147481 A JP2018147481 A JP 2018147481A
Authority
JP
Japan
Prior art keywords
display control
range
information
vision
central vision
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018034335A
Other languages
Japanese (ja)
Other versions
JP7067116B2 (en
Inventor
洋平 國近
Yohei Kunichika
洋平 國近
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to EP18159476.3A priority Critical patent/EP3369602A1/en
Priority to US15/908,928 priority patent/US10354153B2/en
Publication of JP2018147481A publication Critical patent/JP2018147481A/en
Application granted granted Critical
Publication of JP7067116B2 publication Critical patent/JP7067116B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a display controller capable of quickly corresponding to a dangerous object existing in a peripheral vision.SOLUTION: A display controller 100 receives: foreground information that exists in front of an advancing direction of a vehicle and can recognize an object; and visual line information that can acquire a visual line of a driver. The display controller comprises: an object recognizing part 101 that recognizes a predetermined object from the foreground information; an object determination part (e.g., a dangerous prediction part 102) that determines whether the recognized predetermined object satisfies a specific condition; a center view/peripheral view determination part 103 that determines a range of the center view and a range of the peripheral view with respect to the foreground information by using the visual line information; and a display control part 105 that determines whether the object determined to satisfy the specified condition by the object determination part exists in any one of the range of the center view and the range of the peripheral view, and controls that a different notification material is displayed in accordance with a determination result.SELECTED DRAWING: Figure 1

Description

本発明は、表示制御装置、表示制御方法および表示制御プログラムに関する。   The present invention relates to a display control device, a display control method, and a display control program.

近年、車載装置において、フロントガラスに画像を表示し、運転者向けに交通情報や危険物情報を提供するヘッドアップディスプレイが搭載されてきている。また人間の視野の性質として、中心視と周辺視がある。中心視は空間分解能が高く、物体の認知に優れており、周辺視は物体の動きや位置の補足に優れている。この視野の性質を考慮して、周辺視に存在する物体に視線を向けなくても物体が何であるか認知する(周辺視に存在する物体の詳細情報を導出して中心視に表示する)仕組みが既に知られている。   In recent years, in-vehicle devices have been equipped with a head-up display that displays an image on a windshield and provides traffic information and dangerous goods information to the driver. Moreover, there are central vision and peripheral vision as the nature of the human visual field. Central vision has high spatial resolution and is excellent in object recognition, and peripheral vision is excellent in capturing movement and position of objects. Considering the nature of this field of view, it is possible to recognize what an object is even without directing the line of sight to the object existing in peripheral vision (derived from the detailed information of the object present in peripheral vision and displaying it in central vision) Is already known.

しかし、今までの仕組みでは、周辺視に危険物が存在した場合、詳細情報を導出して中心視に表示された情報を認知してから運転者が対応するという性質上、素早く対応して危険を回避することが困難であるという問題があった。   However, according to the mechanism so far, if there is a dangerous object in the peripheral vision, the driver will respond quickly after the detailed information is derived and the information displayed in the central vision is recognized. There was a problem that it was difficult to avoid.

例えば、特許文献1には、車両の運転者の物体認識率を高める目的で、運転者が周辺視野に存在する対象に視線を向けることなく、その対象の種別を認識することができる表示制御プログラム、表示制御装置、および表示装置が開示されている。特許文献1の技術では、周辺視の性質を考慮し、ヘッドアップディスプレイなどの表示媒体に情報を表示する。しかし、周辺視に存在する危険物に対して、素早く対応して危険を回避するという問題は解消できていない。   For example, in Patent Document 1, for the purpose of increasing the object recognition rate of a driver of a vehicle, a display control program that allows the driver to recognize the type of the target without directing his / her line of sight to the target existing in the peripheral visual field. A display control device and a display device are disclosed. In the technique of Patent Document 1, information is displayed on a display medium such as a head-up display in consideration of the nature of peripheral vision. However, the problem of avoiding danger by responding quickly to dangerous objects in peripheral vision has not been solved.

本発明は、周辺視に存在する危険物に素早く対応することができる表示制御装置を提供することを目的とする。   An object of this invention is to provide the display control apparatus which can respond rapidly to the dangerous goods which exist in peripheral vision.

上述した課題を解決するために、本発明の表示制御装置は、車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置であって、前記前景情報から所定の物体を認識する物体認識部と、認識した所定の物体が特定の条件を満たすか否かを判定する物体判定部と、前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定する中心視/周辺視判定部と、前記物体判定部によって前記特定の条件を満たすと判定された物体が前記中心視の範囲と前記周辺視の範囲とのどちらに存在するかを判定し、判定結果に応じて異なる通知物を表示させる制御を行う表示制御部と、を備えることを特徴とする。   In order to solve the above-described problem, a display control apparatus according to the present invention receives foreground information that can recognize an object that exists in front of the traveling direction of a vehicle and line-of-sight information that can acquire a driver's line of sight An object recognition unit that recognizes a predetermined object from the foreground information, an object determination unit that determines whether or not the recognized predetermined object satisfies a specific condition, and the foreground information using the line-of-sight information A central vision / peripheral vision determination unit that determines a central vision range and a peripheral vision range for information, and an object that is determined to satisfy the specific condition by the object determination unit is the central vision range and the peripheral vision A display control unit that performs control to determine which of the visual range is present and to display different notification objects according to the determination result.

本発明によれば、周辺視に存在する危険物に素早く対応することができる表示制御装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the display control apparatus which can respond quickly to dangerous goods which exist in peripheral vision can be provided.

一実施形態に係る表示制御装置のシステム構成例について説明する図である。It is a figure explaining the system configuration example of the display control apparatus which concerns on one Embodiment. 1つの前景画像に対して危険通知物を表示する処理フローについて説明するフローチャートである。It is a flowchart explaining the processing flow which displays a danger notification thing with respect to one foreground image. 前景画像と視線とを説明する画像例である。It is an example of an image explaining a foreground image and a gaze. 中心視の範囲と周辺視の範囲とを判定する処理を説明する画像例である。It is an image example explaining the process which determines the range of central vision, and the range of peripheral vision. 中心視用の危険通知物の一例を説明する画像である。It is an image explaining an example of the danger notice thing for central vision. 中心視用の危険通知物の他の例を説明する画像である。It is an image explaining the other example of the danger notice thing for central vision. 周辺視用の危険通知物の一例を説明する画像である。It is an image explaining an example of the danger notice thing for peripheral vision. 1つの前景画像に対して危険通知物を表示する別の処理フローについて説明するフローチャートである。It is a flowchart explaining another process flow which displays a danger notice thing with respect to one foreground image. 一実施形態に係る表示制御装置のハードウェアの構成例について説明する図である。It is a figure explaining the structural example of the hardware of the display control apparatus which concerns on one Embodiment. 本発明の一実施形態に係るシステム全体のハードウェアの構成例を説明する図である。It is a figure explaining the structural example of the hardware of the whole system which concerns on one Embodiment of this invention.

以下、実施形態について、図面を参照しながら説明する。説明の明確化のため、以下の記載および図面は、適宜、省略または簡略化がなされている。各図面において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付し、その説明を省略する。
本発明の表示制御装置の一態様は、車両の進行方向の前景情報に対して、特定の条件を満たす物体、および、運転者の視線から中心視の範囲と周辺視の範囲を判定し、特定の条件を満たす物体が中心視の範囲と周辺視の範囲とのどちらに存在するかに応じて異なる通知物を表示させる制御を行う。
例えば、本発明の表示制御装置は、車両の進行方向の前景情報に対して、運転者の視線から中心視の範囲と周辺視の範囲とを判定し、周辺視に存在する危険物には、中心視に存在する危険物とは異なる危険通知物(例えば、動きのある通知物)を作成し、危険通知物を危険物に重ねて表示することによって、危険物の存在を早く気付かせる。前景情報は、車両の進行方向の前方に存在する物体を認識(検知)することが可能な情報であり、例えば、車両の進行方向の前方を撮影した画像情報や、レーダーやセンサーなどの感知器により検出した物体の感知情報などである。以下、図面を用いて各実施形態を詳細に解説する。
Hereinafter, embodiments will be described with reference to the drawings. For clarity of explanation, the following description and drawings are omitted or simplified as appropriate. In the drawings, components having the same configuration or function and corresponding parts are denoted by the same reference numerals, and description thereof is omitted.
One aspect of the display control device of the present invention determines an object satisfying a specific condition with respect to foreground information in a traveling direction of a vehicle, and determines a range of central vision and a range of peripheral vision from a driver's line of sight. Control is performed to display different notification objects depending on whether an object satisfying the above condition exists in the central vision range or the peripheral vision range.
For example, the display control device of the present invention determines the range of the central vision and the range of the peripheral vision from the driver's line of sight with respect to the foreground information in the traveling direction of the vehicle. By creating a danger notice (for example, a notice with movement) that is different from the dangerous goods present in the central vision, the danger notice is displayed on top of the dangerous goods to quickly notice the presence of the dangerous goods. Foreground information is information capable of recognizing (detecting) an object existing in front of the traveling direction of the vehicle. For example, image information obtained by photographing the front of the traveling direction of the vehicle, or a sensor such as a radar or a sensor. The sensing information of the object detected by. Hereinafter, each embodiment will be described in detail with reference to the drawings.

実施形態1.
実施形態1では、画像情報として、車両の進行方向の前方を撮影した前景画像を用いる場合を一例として説明する。
図10は、本発明の一実施形態に係るシステム全体のハードウェアの構成例を説明する図である。本システムは表示制御装置100、フロントガラス200、前方撮影カメラ201、視線認識カメラ202、ミラー203、レーザー光源204からなっている。
レーザー光源204は内部に発光素子を有し、各発光素子は点灯タイミングや発光強度が表示制御装置100によって制御される表示装置である。
前方撮影カメラ201は、フロントガラス200を通して前方を撮影する。
視線撮影カメラ202は、運転者の目の周辺を含む領域を撮影する。
ミラー203はレーザー光源から出力されたレーザー光を反射してフロントガラス200に照射する。
Embodiment 1. FIG.
Embodiment 1 demonstrates as an example the case where the foreground image which image | photographed the front of the advancing direction of a vehicle is used as image information.
FIG. 10 is a diagram illustrating a hardware configuration example of the entire system according to an embodiment of the present invention. This system includes a display control device 100, a windshield 200, a front photographing camera 201, a line-of-sight recognition camera 202, a mirror 203, and a laser light source 204.
The laser light source 204 has a light emitting element inside, and each light emitting element is a display device in which lighting timing and light emission intensity are controlled by the display control device 100.
The front photographing camera 201 photographs the front through the windshield 200.
The line-of-sight camera 202 captures an area including the periphery of the driver's eyes.
The mirror 203 reflects the laser beam output from the laser light source and irradiates the windshield 200.

図1は、表示制御装置100のシステム構成について説明する図である。
表示制御装置100は、物体認識部101、危険予測部102、中心視/周辺視判定部103、危険通知物作成部104、および表示制御部105を備える。表示制御装置100は、前景画像と、運転者の視線を取得できる視線情報とを受け取るように構成されている。
FIG. 1 is a diagram for explaining the system configuration of the display control apparatus 100.
The display control apparatus 100 includes an object recognition unit 101, a risk prediction unit 102, a central vision / peripheral vision determination unit 103, a danger notification object creation unit 104, and a display control unit 105. The display control apparatus 100 is configured to receive a foreground image and line-of-sight information that can acquire the driver's line of sight.

物体認識部101は、前景画像を受け取り、車両の進行方向の前景画像から所定の物体を認識する。所定の物体の情報(以降適宜、「対象物体情報」と記載する)は、予め定められ、物体認識部101内、または物体認識部101が参照可能な表示制御装置100内の記憶領域に保存される。加えて、物体認識部101は、認識した物体の位置や相対速度を特定する。   The object recognition unit 101 receives a foreground image and recognizes a predetermined object from the foreground image in the traveling direction of the vehicle. Information on a predetermined object (hereinafter referred to as “target object information” as appropriate) is determined in advance and stored in the object recognition unit 101 or a storage area in the display control apparatus 100 that can be referred to by the object recognition unit 101. The In addition, the object recognition unit 101 identifies the position and relative speed of the recognized object.

危険予測部102は、物体認識部101で認識した物体が危険であるかどうかを、危険であると定めた情報に基づいて予測する。危険予測部102は、物体認識部101で認識した所定の物体が特定の条件を満たすか否かを判定する物体判定部の一例である。
本発明の一実施形態における“予測”とは、危険であると定めた情報に基づいて特定の条件を満たすか否かを判定することを意味する。危険であると定めた情報(以降適宜、「危険物定義情報」と記載する)は、特定の条件の一例であり、予め定められ、危険予測部102内、または危険予測部102が参照可能な表示制御装置100内の記憶領域に保存される。危険であると定めた情報には、例えば、認識した物体の位置(車両との距離)や相対速度に基づいて、危険であるか否かの判定に用いる情報(閾値など)を含む。また、物体の種類によって、優先度を変えるように設定する情報(車両より人の優先度が高い、など)を含んでいてもよい。
The danger prediction unit 102 predicts whether or not the object recognized by the object recognition unit 101 is dangerous based on information determined to be dangerous. The danger prediction unit 102 is an example of an object determination unit that determines whether a predetermined object recognized by the object recognition unit 101 satisfies a specific condition.
“Prediction” in one embodiment of the present invention means determining whether or not a specific condition is satisfied based on information determined to be dangerous. Information determined to be dangerous (hereinafter referred to as “dangerous substance definition information” as appropriate) is an example of a specific condition, and is predetermined and can be referred to in the risk prediction unit 102 or the risk prediction unit 102. The data is stored in a storage area in the display control device 100. The information determined to be dangerous includes, for example, information (threshold value or the like) used for determining whether or not it is dangerous based on the position of the recognized object (distance from the vehicle) and the relative speed. Moreover, the information which sets so that a priority may be changed with the kind of object (a person's priority is higher than a vehicle etc.) may be included.

中心視/周辺視判定部103は、視線情報と前景画像とを受け取り、運転者の視線から前景画像に対して中心視の範囲および周辺視の範囲を判定する。危険通知物作成部104は、危険予測部102で危険と予測した物体が、中心視/周辺視判定部103で判定した中心視の範囲、周辺視の範囲のどちらに存在するかに応じて危険通知物を作成する。表示制御部105は、危険通知物作成部104で作成した危険通知物が表示されるよう、レーザー光源を制御する。   The central vision / peripheral vision determination unit 103 receives the visual line information and the foreground image, and determines the central vision range and the peripheral vision range with respect to the foreground image from the driver's visual line. The danger notice creation unit 104 creates a danger depending on whether the object predicted to be dangerous by the danger prediction unit 102 exists in the central vision range or the peripheral vision range determined by the central vision / peripheral vision determination unit 103. Create a notification. The display control unit 105 controls the laser light source so that the danger notification material created by the danger notification material creation unit 104 is displayed.

図2は、1つの前景画像に対して危険通知物を表示する処理フローについて説明するフローチャートである。表示制御装置100は、処理を開始した後、前方撮影カメラ201によって撮影された前景画像を読み取る(S101)。一方で視線カメラ202によって撮影された運転者の視線情報を読み取る(S102)。読み取った前景画像および視線情報が、物体認識部101または中心視/周辺視判定部103へ入力されると、物体認識部101または中心視/周辺視判定部103は処理を開始する。   FIG. 2 is a flowchart for explaining a processing flow for displaying a danger notice for one foreground image. The display control apparatus 100 reads the foreground image photographed by the front photographing camera 201 after starting the processing (S101). On the other hand, the driver's line-of-sight information photographed by the line-of-sight camera 202 is read (S102). When the read foreground image and line-of-sight information are input to the object recognition unit 101 or the central vision / peripheral vision determination unit 103, the object recognition unit 101 or the central vision / peripheral vision determination unit 103 starts processing.

中心視/周辺視判定部103は、ステップS102で取得した運転者の視線情報から、運転者の視線がステップS101で取得した前景画像のどこに向けられているかを特定し、前景画像の中心視の範囲と周辺視の範囲とを判定し、判定した結果を危険通知物作成部104へ出力する(S103)。物体認識部101は、対象物体情報を参照して、ステップS101で取得した前景画像の中に、あらかじめ定めた物体が存在しているかを認識し(S104)、物体が存在する場合には(S104でYES)、認識した物体の情報を危険予測部102へ出力する。   The central vision / peripheral vision determination unit 103 identifies where the driver's line of sight is directed in the foreground image acquired in step S101 from the driver's line of sight information acquired in step S102, and determines the central vision of the foreground image. The range and the range of peripheral vision are determined, and the determined result is output to the danger notice creation unit 104 (S103). The object recognizing unit 101 refers to the target object information and recognizes whether a predetermined object exists in the foreground image acquired in step S101 (S104). If an object exists (S104) YES), the information of the recognized object is output to the danger prediction unit 102.

危険予測部102は、物体認識部101から認識した物体の情報を受け取り、危険物定義情報を参照して、認識した物体が危険であるか否かを予測し(S105)、認識した物体の内少なくとも1つ以上が車両にとって危険であると予測した場合には(S105でYES)、危険である物体(以降適宜、「危険物」と記載する)に関する情報を危険通知物作成部104へ出力する。危険通知物作成部104は、前景画像の中心視の範囲と周辺視の範囲とに基づいて、危険物が中心視の範囲に存在するか周辺視の範囲に存在するかを判定する(S106)。危険通知物作成部104は、危険物が中心視の範囲に存在した場合には(S106でYES)、中心視用の危険通知物を作成し(S107)、周辺視の範囲に存在した場合には(S106でNO)、周辺視用の危険通知物を作成し(S108)、作成した危険通知物がフロントガラス上の所定の位置に表示されるように、表示制御部105はレーザー光源204を制御する(S109)。一度出力した通知物に対しては視野が移動した際に変更しないものであっても良い。なお、危険予測部102が予測した危険物が複数ある場合には、危険通知物作成部104は、ステップS106から108の処理を、危険物の数、繰り返す。表示制御部105は、ステップS107またはステップS108で作成した危険通知物を前景の危険物に重なるようにレーザー光源204を制御して(S109)、処理を終了する。   The danger prediction unit 102 receives information on the recognized object from the object recognition unit 101, refers to the dangerous object definition information, predicts whether or not the recognized object is dangerous (S105), When it is predicted that at least one or more vehicles are dangerous for the vehicle (YES in S105), information related to the dangerous object (hereinafter referred to as “dangerous material” as appropriate) is output to the danger notification material creation unit 104. . The danger notification object creation unit 104 determines whether the dangerous object exists in the central vision range or the peripheral vision range based on the central vision range and the peripheral vision range of the foreground image (S106). . The danger notice creation unit 104 creates a danger notice object for central vision (S107) when the dangerous substance exists in the central vision range (YES in S106), and (NO in S106), a danger notice for peripheral vision is created (S108), and the display control unit 105 sets the laser light source 204 so that the created danger notice is displayed at a predetermined position on the windshield. Control is performed (S109). A notification that has been output once may not be changed when the field of view moves. If there are a plurality of dangerous materials predicted by the risk prediction unit 102, the danger notification material creation unit 104 repeats the processing of steps S106 to S108 for the number of dangerous materials. The display control unit 105 controls the laser light source 204 so that the danger notification object created in step S107 or step S108 overlaps the foreground danger object (S109), and ends the process.

また、表示制御装置は、物体認識部101が前景画像の中にあらかじめ定めた物体を認識しなかった場合(S104でNO)、または危険予測部102が危険物を予測した結果、物体に車両にとって危険物が全くなかった場合(S105でNO)には、その時点で処理を終了する。なお、図2は1つの前景画像に対する処理を表しており、連続する複数の前景画像に対する処理を行う場合には、表示制御装置100は、ステップS109処理後に終了せず開始に戻る。   In addition, the display control apparatus determines that the object is not recognized by the vehicle as a result of the object recognizing unit 101 not recognizing a predetermined object in the foreground image (NO in S104) or the risk predicting unit 102 predicting the dangerous object. If there is no dangerous substance (NO in S105), the process is terminated at that time. Note that FIG. 2 shows processing for one foreground image. When processing for a plurality of continuous foreground images is performed, the display control apparatus 100 returns to the start without finishing after step S109.

また、複数の前景画像を処理するため、表示制御装置は、前景画像を複数受け取った場合には、各前景画像と、各前景画像を受け取ったときの、直近(最新)の視線情報とを用いて処理し、危険通知物が作成・表示されるように構成される。例えば、連続する複数の前景画像に対して処理を行う場合、表示制御装置100は、変化する視線の位置に対応して、同じ危険物であっても、中心視の範囲または周辺視の範囲に応じて異なる危険通知物を作成して表示する。詳細には、中心視/周辺視判定部103は、前景画像と直近の視線情報とを用いて、視線情報が示す運転者の視線から前景画像に対して中心視または周辺視の範囲を判定する。表示制御装置は、新たな視線情報を受け取るまで、前に受け取った視線情報(直近の視線情報)を記憶領域に保持するように構成されることが好ましい。   Further, in order to process a plurality of foreground images, the display control device uses each foreground image and the latest (latest) line-of-sight information when each foreground image is received. And a danger notice is created and displayed. For example, when performing processing on a plurality of continuous foreground images, the display control device 100 corresponds to the position of the line of sight that changes, even in the same dangerous object, in the range of central vision or the range of peripheral vision. Create and display different danger notices accordingly. Specifically, the central vision / peripheral vision determination unit 103 determines the range of central vision or peripheral vision for the foreground image from the driver's gaze indicated by the gaze information using the foreground image and the latest gaze information. . The display control device is preferably configured to hold the previously received line-of-sight information (most recent line-of-sight information) in the storage area until new line-of-sight information is received.

従って、視線の位置が変化して中心視と周辺視との範囲が変わったときに、同じ危険物であってもその時の中心視、周辺視のどちらに存在するかによって危険通知物を変えて表示することができる。これにより、視線が変わった場合にも危険物に対して適切な判断を行うことの一助となる。また、危険物の移動や、運転者の視線の移動に応じて、危険物の存在が中心視と周辺視との間で変わる場合であっても、変化に対応して異なる危険通知物を作成するため、運転者は前景全体に存在する危険物を素早く把握し対処して、危険を回避することができる。   Therefore, when the position of the line of sight changes and the range of central vision and peripheral vision changes, the danger notification object is changed depending on whether the same dangerous object exists in the central vision or peripheral vision at that time. Can be displayed. Thereby, even when the line of sight changes, it helps to make an appropriate determination for the dangerous goods. Also, even if the presence of dangerous goods changes between central vision and peripheral vision according to the movement of dangerous goods or the driver's line of sight, different danger notices are created corresponding to the changes. Therefore, the driver can quickly grasp and deal with dangerous objects existing in the entire foreground to avoid danger.

図3、4は、具体的な中心視の範囲と周辺視の範囲の判定例について説明する図である。
車両の前景として図3の画像が取得でき、かつ運転者の視線が×印を付した位置に向けられている場合、中心視の範囲と周辺視の範囲は図4のように判定される。中心視は一般的に、視線位置から上下方向および左右方向に約20度、周辺視野は上下方向に約130度、左右方向に約180度ということが知られているため、中心視/周辺視判定部103は、視線位置が分かれば範囲を特定できる。次に、図5乃至7を参照して危険通知物の具体例を説明する。ここでは、危険物として、人間と車両が危険物定義情報に予め定められていることを前提とする。
3 and 4 are diagrams for explaining a specific example of determining the range of central vision and the range of peripheral vision.
When the image of FIG. 3 can be acquired as the foreground of the vehicle and the driver's line of sight is directed to the position marked with a cross, the range of central vision and the range of peripheral vision are determined as shown in FIG. Central vision is generally known to be about 20 degrees in the vertical and horizontal directions from the line of sight, and the peripheral visual field is about 130 degrees in the vertical direction and about 180 degrees in the horizontal direction. The determination unit 103 can identify the range if the line-of-sight position is known. Next, a specific example of the danger notification object will be described with reference to FIGS. Here, it is assumed that humans and vehicles are predetermined in the dangerous substance definition information as dangerous goods.

図5、6は、具体的な中心視用の危険通知物について説明する図である。図5は人間や車両などの危険物の種類を表現した例である。白色の鎖線の丸印内が中心視の範囲である場合、中心視に存在する危険物(対象は人間と車両とする)に対して、例えば、「人間は赤色の矩形」、「車両は黄色の丸」を危険通知物として作成する。中心視は物体の認知に優れている性質を、考慮し、危険通知物の形状や色によって、危険物の詳細な情報を表現する。   5 and 6 are diagrams for explaining specific danger notification objects for central vision. FIG. 5 is an example expressing the types of dangerous materials such as humans and vehicles. When the circle in the white chain line is within the range of central vision, for example, “human is a red rectangle” or “vehicle is yellow” "Nomaru" is created as a danger notice. The central vision takes into account the property of recognizing an object, and expresses detailed information on the dangerous object by the shape and color of the danger notification object.

図6は危険物の危険度の種類を表現した例である。白色の鎖線の丸印内が中心視の範囲である場合、中心視に存在する危険物に対して、例えば、危険度が高い物体(ここでは、人間とする)を「赤色丸」で囲み、危険度の低い物体を「黄色の丸」で囲むことにより、危険通知物を作成する。また、危険通知物作成部104は、危険物の種類および危険度に応じて、形状や色が異なる危険通知物を作成してもよい。例えば、同じ種類の危険物の中でも危険度を分け、人間のうち、バイクや自転車などの車両を運転している人間と、それ以外とを区別してもよい。図5、6に一例として表すように、危険物に対する付加情報を表示することで、運転者がより適切な判断をすることの一助となる。   FIG. 6 is an example expressing the types of danger levels of dangerous goods. When the circle in the white chain line is within the range of central vision, for example, a dangerous object existing in central vision is surrounded by a “red circle” with a high-risk object (here, a human being) A danger notice object is created by enclosing a low-risk object with a “yellow circle”. Further, the danger notification material creating unit 104 may create a danger notification material having a different shape or color depending on the type and the degree of danger of the dangerous material. For example, the degree of danger may be divided among the same types of dangerous goods, and among humans, a person driving a vehicle such as a motorcycle or a bicycle may be distinguished from other persons. As shown as an example in FIGS. 5 and 6, the additional information for the dangerous goods is displayed to help the driver make a more appropriate determination.

図7は、具体的な周辺視用の危険通知物について説明する図である。白色の丸印内が中心視の範囲である場合、外側の周辺視に存在する危険物(対象は人間と車両とする)に対して「丸から矩形(に形状が変わる)」を危険通知物として作成する。図7では、バイクに乗った人間について、左側の画像に丸を、右側の画像に矩形を表示した場合を示している。周辺視は動きと位置の補足に優れているという性質を考慮し、危険通知物の動きによって、どこに危険が存在するかを表現する。危険通知物の他の例として、大きさの変化や点滅などで動きを表現することも考えられる。また、危険通知物作成部104は、動きのある危険通知物として、形状の変化、大きさの変化、点滅などの一つまたは複数の組み合わせにより危険通知物を作成してもよい。図7に一例と表すように、周辺視の範囲にある危険物の位置に、動きのある危険通知物を表示することで、運転者が素早い危険回避を行うことの一助となる。   FIG. 7 is a diagram for explaining a specific danger notice object for peripheral vision. When the inside of the white circle is the range of central vision, the danger notification object is "Round to rectangle (changes shape) from round to rectangular" for the dangerous objects (targets are human and vehicle) in the outer peripheral vision Create as. FIG. 7 shows a case where a person on a motorcycle displays a circle on the left image and a rectangle on the right image. Considering the nature that peripheral vision is excellent in capturing movement and position, it expresses where the danger exists by the movement of the danger notification object. As another example of the danger notification object, it may be possible to express a movement by a change in size or blinking. In addition, the danger notification object creation unit 104 may create a danger notification object as a moving danger notification object by one or a plurality of combinations such as a change in shape, a change in size, and blinking. As shown as an example in FIG. 7, by displaying a moving danger notification object at the position of the dangerous object in the range of peripheral vision, it helps the driver to quickly avoid danger.

運転手の視野が移動する場合、危険通知物もそれに合わせて切り替わると、運転者の視界の中での表示が頻繁に切り替わることになり、運転者の認識に悪影響を与える可能性がある。そこで、周辺視用の危険通知物か中心視用の危険通知物のいずれかを作成する別の方法について説明する。   When the driver's field of view moves, if the danger notice is switched accordingly, the display in the driver's field of view is frequently switched, which may adversely affect the driver's recognition. Therefore, another method for creating either a peripheral vision danger notification object or a central vision danger notification object will be described.

図8は1つの前景画像に対して危険通知物を表示する別の処理フローについて説明するフローチャートである。危険予測部102は、物体認識部101から認識した物体の情報を受け取り、危険物定義情報を参照して、認識した物体が危険であるか否かを予測する(S201)。認識した物体の内少なくとも1つ以上が車両にとって危険であると認識された場合には(S201)、危険通知物作成部104は、認識された危険物が周辺視と中心視のいずれの範囲にいるかに関わらず、危険物に対して中心視用の危険通知物を作成し、表示制御部105は、危険通知物の表示を制御する(S202)。次に、対象となる危険物が所定時間連続して周辺視に存在している場合には(S203でYES)、表示制御部105は、対象となる危険物に対する危険通知物を、中心視用の危険通知物から周辺視用の危険通知物に切り替える(S204)。対象となる危険物が所定時間連続して周辺視に存在していない場合には(S203でNO)、表示制御部105は、中心視用の危険通知物を切り替えることなく、処理を終了する。   FIG. 8 is a flowchart for explaining another processing flow for displaying a danger notice for one foreground image. The danger prediction unit 102 receives the information of the recognized object from the object recognition unit 101, refers to the dangerous object definition information, and predicts whether or not the recognized object is dangerous (S201). If at least one of the recognized objects is recognized as dangerous for the vehicle (S201), the danger notification object creating unit 104 determines whether the recognized dangerous object is in the range of peripheral vision or central vision. Regardless of whether or not a danger notification object for central vision is created for the dangerous object, the display control unit 105 controls the display of the danger notification object (S202). Next, when the target dangerous object is present in the peripheral vision for a predetermined time (YES in S203), the display control unit 105 displays the danger notification object for the target dangerous object for central vision. The danger notification object is switched to the danger notification object for peripheral vision (S204). If the target dangerous object does not exist in the peripheral vision for a predetermined period of time (NO in S203), the display control unit 105 ends the process without switching the danger notification object for central vision.

このフローにおいて、周辺視用の危険通知物に切り替えられた危険物については、運転者の視野が移動して中心視の範囲に移動された場合であっても、周辺視用の危険通知物のまま中心視用の危険通知物には切り替えない。これにより、運転者の視野が移動する場合であっても中心視と周辺視の切り替えが頻繁に起こることは無く、それによって生じる運転者の認識への悪影響を減らすことが出来る。   In this flow, for dangerous goods that have been switched to peripheral vision danger notices, even if the driver's field of view has moved and moved to the central vision range, Do not switch to the danger notice for central vision. Thus, even when the driver's field of view moves, switching between central vision and peripheral vision does not occur frequently, and the adverse effects on the driver's recognition caused thereby can be reduced.

図9は、一実施形態の表示制御装置のハードウェアの構成例を説明する図である。表示制御装置100は、CPU(Central Processing Unit)111、RAM(Random Access Memory)112、ROM(Read Only Memory)113、読取装置114、記憶装置115、外部インタフェース(外部I/F)116、入力インタフェース(入力I/F)117、および出力インタフェース(出力I/F)118を備える。各部は、バス119に接続している。   FIG. 9 is a diagram illustrating a hardware configuration example of a display control apparatus according to an embodiment. The display control device 100 includes a CPU (Central Processing Unit) 111, a RAM (Random Access Memory) 112, a ROM (Read Only Memory) 113, a reading device 114, a storage device 115, an external interface (external I / F) 116, and an input interface. (Input I / F) 117 and an output interface (output I / F) 118 are provided. Each unit is connected to the bus 119.

CPU111は、各種のプログラムを実行し、演算処理や、制御プログラムに基づいて表示制御装置の全体を制御する。また、CPU111は、図10に図示されているレーザー光源204の制御を行う。RAM112は、情報を高速で読み書きするための揮発性の記憶媒体であり、CPU111がプログラムを実行する際のワークエリアとして機能する。 ROM113は、各種プログラムや制御プログラムが記憶されている読み出し専用の不揮発性の記憶媒体である。読取装置114は、図10に図示されている前方撮影カメラ201または視線撮影カメラ202により撮影された画像を読み取る(受け取る)手段である。読取装置1141は、読み取った画像や視線情報を物体認識部101または中心視/周辺視判定部103へ出力する。なお、表示制御装置が前景情報として感知情報を用いる場合には(実施形態2で後述する)、読取装置114は、前方撮影カメラ201に替えて感知器から情報を取得するように構成される。   The CPU 111 executes various programs and controls the entire display control device based on arithmetic processing and a control program. Further, the CPU 111 controls the laser light source 204 illustrated in FIG. The RAM 112 is a volatile storage medium for reading and writing information at high speed, and functions as a work area when the CPU 111 executes a program. The ROM 113 is a read-only nonvolatile storage medium in which various programs and control programs are stored. The reading device 114 is a means for reading (receiving) an image photographed by the front photographing camera 201 or the line-of-sight photographing camera 202 shown in FIG. The reading device 1141 outputs the read image and line-of-sight information to the object recognition unit 101 or the central vision / periphery vision determination unit 103. When the display control device uses the sensing information as foreground information (described later in Embodiment 2), the reading device 114 is configured to acquire information from the sensor instead of the front photographing camera 201.

記憶装置115は、各種プログラム、入力画像データ、および処理を施す各種のデジタルデータを格納する記憶手段であり、ハードディスクドライブ(HDD)やフラッシュメモリなどにより構成される。外部I/F116は、外部機器との接続やデータの送受信を制御するインタフェース(通信インタフェース)であり、イーサネット(登録商標)やUSB(Universal Serial Bus)を通じて外部機器との通信を行う。入力I/F117は、ユーザから表示制御装置の操作指示を受け付ける操作手段であり、例えば、タッチパネル、入力ボタンである。出力I/F118は、ユーザへの各種情報を表示する表示手段であり、例えば、ディスプレイ装置である。   The storage device 115 is a storage unit that stores various programs, input image data, and various digital data to be processed, and includes a hard disk drive (HDD), a flash memory, and the like. The external I / F 116 is an interface (communication interface) that controls connection with an external device and data transmission / reception, and performs communication with the external device through Ethernet (registered trademark) or USB (Universal Serial Bus). The input I / F 117 is an operation unit that receives an operation instruction of the display control apparatus from the user, and is, for example, a touch panel or an input button. The output I / F 118 is a display unit that displays various types of information to the user, and is, for example, a display device.

上述した表示制御装置の各機能をプログラムにより実現する場合には、図9の表示制御装置100において、記憶媒体(ROM113または記憶装置115など)に格納したプログラムをRAM112に読み出し、CPU111にプログラムの命令群を実行させる。また、図1に示す各機能ブロックは、その一部あるいは全部をハードウェアにより構成してもよい。例えば、組み込みシステムのように、ハードウェアとソフトウェアとの組合せにより実現してもよく、ハードウェア、ファームウェア、ソフトウェアのいずれか、あるいは、これらの二つ以上の組合せで構成してもよい。   When the functions of the above-described display control device are realized by a program, the display control device 100 in FIG. 9 reads a program stored in a storage medium (such as the ROM 113 or the storage device 115) into the RAM 112, and sends a program command to the CPU 111. Let the group run. In addition, some or all of the functional blocks shown in FIG. 1 may be configured by hardware. For example, as in an embedded system, it may be realized by a combination of hardware and software, or may be configured by either hardware, firmware, software, or a combination of two or more of these.

表示制御装置100の全部またはその一部をプログラムで実現する場合、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、および電磁波を含む。一時的なコンピュータ可読媒体は、電線および光ファイバ等の有線通信路、または無線通信路を介して、プログラムをコンピュータに供給できる。   When all or part of the display control device 100 is realized by a program, the program is stored using various types of non-transitory computer readable media and supplied to the computer. Can do. Non-transitory computer readable media include various types of tangible storage media. Examples of non-transitory computer readable media include magnetic recording media and magneto-optical recording media. The program may also be supplied to the computer by various types of transitory computer readable media. Examples of transitory computer readable media include electrical signals, optical signals, and electromagnetic waves. The transitory computer readable medium can supply the program to a computer via a wired communication path such as an electric wire and an optical fiber, or a wireless communication path.

また、表示制御装置100は、予め定める対象物体情報や危険物定義情報を、外部の記録媒体またはネットワークから外部I/F116を介して入手するように構成することや、入力I/F117を介して利用者が変更するように構成することができる。
本発明において表示装置はフロントガラス上に表示する機能を有するものであればレーザー光源を用いて通知物を表示する装置に限定されない。例えば透過型のディスプレイであっても良い。表示制御部105は、透過型のディスプレイに通知物を表示する制御を行う。
The display control apparatus 100 is configured to obtain predetermined target object information and dangerous substance definition information from an external recording medium or network via the external I / F 116, or via the input I / F 117. It can be configured to be changed by the user.
In the present invention, the display device is not limited to a device that displays a notification object using a laser light source as long as it has a function of displaying on a windshield. For example, a transmissive display may be used. The display control unit 105 performs control to display a notification object on a transmissive display.

実施形態2.
実施形態1では、前景情報として、カメラなどにより撮影された前景画像を用いる場合を説明したが、本実施形態では感知情報を用いる場合を説明する。感知情報は、物体認識に用いるレーダー(例えば、ミリ波レーダー、レーザー)、カメラ、光センサーなどの感知器によって検出・取得した情報である。例えば、レーダーを用いる場合には、物体に衝突して反射した電波によって物体を検出する。
Embodiment 2. FIG.
In the first embodiment, the case where a foreground image taken by a camera or the like is used as the foreground information has been described. In the present embodiment, a case where sensing information is used will be described. The sensing information is information detected and acquired by a detector such as a radar (for example, millimeter wave radar, laser), a camera, or an optical sensor used for object recognition. For example, when a radar is used, the object is detected by radio waves that have been reflected by colliding with the object.

表示制御装置が感知情報を受け取る場合には、物体認識部101は、感知情報に基づいて、物体の存在を認識するとともに、物体の位置や相対速度などの情報を取得する。また、中心視/周辺視判定部103は、感知情報に基づいて、物体の位置を取得できるため、視線情報を用いて、当該物体が、中心視/周辺視のいずれの範囲であるかを判定することができる。さらに、危険予測部102は、感知情報から取得される物体の位置に基づいて、危険であるか否かを予測することができる。表示制御装置100の各機能ブロックの基本的な動作は、実施形態1と同様である。また、前景情報は、上記以外でも、物体の存在を認識でき、物体の位置などを取得可能な情報であればよい。   When the display control apparatus receives the sensing information, the object recognition unit 101 recognizes the presence of the object based on the sensing information and acquires information such as the position and relative speed of the object. Further, since the central vision / peripheral vision determination unit 103 can acquire the position of the object based on the sensing information, the central vision / peripheral vision determination unit 103 determines whether the object is in the central vision / peripheral vision range using the gaze information. can do. Further, the danger prediction unit 102 can predict whether or not there is a danger based on the position of the object acquired from the sensing information. The basic operation of each functional block of the display control apparatus 100 is the same as that of the first embodiment. In addition to the above, the foreground information may be any information that can recognize the presence of the object and acquire the position of the object.

実施形態3.
図1では、表示制御装置100は、物体判定部として、危険予測部102を備える構成例を説明したが、これに限られることはない。物体判定部は、特定の条件として、例えば、危険物であると予想されるか否かにかかわらず、予め定めた条件を満たす物体を判定(選択・抽出)するように構成されていてもよい。特定の条件は、実施形態1と同様に、物体判定部内、または物体判定部が参照可能な記憶領域に保存されることが好ましい。
Embodiment 3. FIG.
In FIG. 1, the display control apparatus 100 has been described with the example of the configuration including the danger prediction unit 102 as the object determination unit, but the configuration is not limited thereto. The object determination unit may be configured to determine (select / extract) an object that satisfies a predetermined condition as a specific condition, for example, regardless of whether the object is expected to be a dangerous substance. . The specific condition is preferably stored in the object determination unit or in a storage area that can be referred to by the object determination unit, as in the first embodiment.

また、図1の表示制御装置100は、危険通知物作成部104と表示制御部105とを備える構成例を示しているが、危険通知物作成部104を設けない構成であってもよい。または、表示制御部105が危険通知物作成部104の機能を含めて実行するように構成してもよい。
例えば、表示制御部は、物体判定部によって特定の条件を満たすと判定された物体(以降適宜「特定の物体」ともいう)が、中心視の範囲と周辺視の範囲とのどちらに存在するかを判定した判定結果に応じて異なる通知物を表示させる制御するように構成される。このとき、通知物に関して、例えば、表示制御部105は、判定結果に応じた通知物を予め設定・保持するように構成され、判定結果に応じて異なる通知物を選択して表示させる制御を行ってもよい。あるいは、表示制御部105は、判定結果に応じた通知物を作成する機能(例えば危険通知物作成部104の機能)を有してもよい。
In addition, the display control apparatus 100 of FIG. 1 shows a configuration example including the danger notification object creation unit 104 and the display control unit 105, but may be configured such that the danger notification object creation unit 104 is not provided. Or you may comprise so that the display control part 105 may be performed including the function of the danger notification thing preparation part 104. FIG.
For example, the display control unit determines whether an object determined to satisfy a specific condition by the object determination unit (hereinafter also referred to as “specific object” as appropriate) exists in the central vision range or the peripheral vision range. It is configured to control to display different notification objects in accordance with the determination result. At this time, for the notification object, for example, the display control unit 105 is configured to set and hold a notification object corresponding to the determination result in advance, and performs control to select and display a different notification object depending on the determination result. May be. Or display control part 105 may have a function (for example, function of danger notice thing creation part 104) which creates a notice thing according to a judgment result.

また、図8に示すフローチャートの動作例では、次のように動作してもよい。例えば、ステップS202において、特定の物体が周辺視と中心視のいずれの範囲かに関わらず、中心視用の通知物を表示する制御を行うときに、表示制御部は、特定の物体に応じて通知物を作成してもよいし、予め保持する通知物の一つ以上を選択して用いてもよい。
ステップS204において、特定の物体に対する通知物を、中心視用の通知物から周辺視用の通知物に切り替えるときに、表示制御部は、通知物を作成してもよいし、予め保持する通知物の一つ以上を選択して用いてもよいし、表示中の通知物の属性(例えば、色、線種、点滅の有無)を変更するように制御してもよい。
Further, the operation example of the flowchart shown in FIG. 8 may be operated as follows. For example, in step S202, when performing control to display a notification object for central vision, regardless of whether the specific object is in the range of peripheral vision or central vision, the display control unit responds to the specific object. Notification materials may be created, or one or more notification materials stored in advance may be selected and used.
In step S204, when the notification object for the specific object is switched from the notification object for central vision to the notification object for peripheral vision, the display control unit may create the notification object or may hold the notification object in advance. One or more of these may be selected and used, or control may be performed so as to change the attributes (for example, color, line type, presence / absence of blinking) of the notification object being displayed.

以上のように、本発明に係る好適な実施形態では、「周辺視は動きと位置の補足に優れている」という性質を考慮し、周辺視に存在する危険物に対して動きを付けた危険通知物を重ねて表示する。例えば、表示制御装置は、中心視に存在する危険物には形状や色が異なる危険通知物を重ねて表示し、周辺視に存在する危険物には動きのある危険通知物を重ねて表示する。これにより、周辺視の状態で危険がどこにあるかを察知することができるようになるため、周辺視に存在する危険物に素早く対応して危険を回避することを可能にする。
以上、本発明者によってなされた発明を実施形態に基づき具体的に説明したが、本発明は前記実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。
As described above, in a preferred embodiment according to the present invention, in consideration of the property that “peripheral vision is excellent in capturing movement and position”, there is a danger of adding motion to dangerous objects existing in peripheral vision. Display notifications in layers. For example, the display control device displays a dangerous notification object having a different shape or color on the dangerous object present in the central vision, and displays a dangerous notification object in motion on the dangerous object present in the peripheral vision. . Accordingly, it is possible to detect where the danger is in the peripheral vision state, and thus it is possible to quickly respond to the dangerous object existing in the peripheral vision and avoid the danger.
As mentioned above, the invention made by the present inventor has been specifically described based on the embodiment. However, the present invention is not limited to the embodiment, and various modifications can be made without departing from the scope of the invention. Not too long.

100 表示制御装置
101 物体認識部
102 危険予測部
103 中心視/周辺視判定部
104 危険通知物作成部
105 表示制御部
DESCRIPTION OF SYMBOLS 100 Display control apparatus 101 Object recognition part 102 Risk prediction part 103 Central vision / peripheral vision determination part 104 Risk notification thing preparation part 105 Display control part

特開2015‐180037号公報Japanese Patent Laid-Open No. 2015-180037

Claims (8)

車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置であって、
前記前景情報から所定の物体を認識する物体認識部と、
認識した所定の物体が特定の条件を満たすか否かを判定する物体判定部と、
前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定する中心視/周辺視判定部と、
前記物体判定部によって前記特定の条件を満たすと判定された物体が前記中心視の範囲と前記周辺視の範囲とのどちらに存在するかを判定し、判定結果に応じて異なる通知物を表示させる制御を行う表示制御部と、
を備える表示制御装置。
A display control device that receives foreground information capable of recognizing an object existing in front of a traveling direction of a vehicle and line-of-sight information capable of acquiring a driver's line-of-sight,
An object recognition unit for recognizing a predetermined object from the foreground information;
An object determination unit that determines whether or not the recognized predetermined object satisfies a specific condition;
A central vision / peripheral vision determination unit that determines a range of central vision and a range of peripheral vision for the foreground information using the line-of-sight information;
It is determined whether the object determined to satisfy the specific condition by the object determination unit is in the central vision range or the peripheral vision range, and different notification objects are displayed according to the determination result. A display control unit for controlling,
A display control device.
前記表示制御部は、
前記物体判定部によって前記特定の条件を満たすと判定された物体に対して、前記中心視用の通知物を作成し、
前記物体判定部によって前記特定の条件を満たすと判定された物体が前記周辺視の範囲に所定時間以上存在する場合、該物体に対して前記周辺視用の通知物を作成する請求項1に記載の表示制御装置。
The display control unit
For the object determined to satisfy the specific condition by the object determination unit, create a notification object for central vision,
The notification object for the peripheral vision is created for the object when the object determined to satisfy the specific condition by the object determination unit exists in the peripheral vision range for a predetermined time or more. Display controller.
前記表示制御部は、前記特定の条件を満たすと判定された物体が前記中心視の範囲に存在する場合には、前記特定の条件を満たすと判定された物体の種類によって形状と色との少なくとも一方が異なる通知物を作成することを特徴とする請求項1又は2に記載の表示制御装置。   When the object determined to satisfy the specific condition is present in the range of the central vision, the display control unit may include at least a shape and a color depending on the type of the object determined to satisfy the specific condition. The display control apparatus according to claim 1, wherein one of the notification objects is different. 前記表示制御部は、前記特定の条件を満たすと判定された物体が前記中心視の範囲に存在する場合には、前記特定の条件を満たすと判定された物体の危険度に応じて形状と色との少なくとも一方が異なる通知物を作成することを特徴とする請求項1乃至3のいずれか一項に記載の表示制御装置。   When the object determined to satisfy the specific condition is present in the central vision range, the display control unit determines the shape and color according to the risk level of the object determined to satisfy the specific condition. The display control apparatus according to any one of claims 1 to 3, wherein a notification object is created in which at least one of the notification object is different. 前記中心視/周辺視判定部は、前景情報を複数受け取ると、各前景画像を受け取ったときの、直近の視線情報を用いて、前記中心視の範囲と前記周辺視の範囲とを判定することを特徴とする請求項1乃至4のいずれか一項に記載の表示制御装置。   When receiving a plurality of foreground information, the central vision / peripheral vision determination unit determines the range of the central vision and the range of the peripheral vision using the latest gaze information when each foreground image is received. The display control apparatus according to claim 1, wherein the display control apparatus is a display controller. 前記前景情報は、車両の進行方向の前方を撮影した画像情報と、感知器により検出した物体の感知情報との少なくとも一方を含むことを特徴とする請求項1乃至5のいずれか一項に記載の表示制御装置。   The said foreground information contains at least one of the image information which image | photographed the front of the advancing direction of a vehicle, and the sensing information of the object detected by the sensor, The Claim 1 thru | or 5 characterized by the above-mentioned. Display controller. 車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置の表示制御方法であって、
前記前景情報から所定の物体を認識し、
認識した所定の物体が特定の条件を満たすか否かを判定し、
前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定し、
前記特定の条件を満たすと判定された物体が前記中心視の範囲と前記周辺視の範囲とのどちらに存在するかを判定し、判定結果に応じて異なる通知物を表示させる制御を行う表示制御方法。
A display control method for a display control device that receives foreground information capable of recognizing an object existing in front of a traveling direction of a vehicle and line-of-sight information capable of acquiring a driver's line-of-sight,
Recognizing a predetermined object from the foreground information,
Determine whether the recognized object meets certain conditions,
Using the line-of-sight information, determining the range of central vision and the range of peripheral vision for the foreground information,
Display control for determining whether an object determined to satisfy the specific condition exists in the central vision range or the peripheral vision range, and displaying different notification objects according to the determination result Method.
車両の進行方向の前方に存在する物体を認識可能な前景情報と、運転者の視線を取得できる視線情報とを受け取る表示制御装置に、
前記前景情報から所定の物体を認識する物体認識処理と、
認識した所定の物体が特定の条件を満たすか否かを判定する特定の条件を満たすか否かを判定する物体判定処理と、
前記視線情報を用いて、前記前景情報について、中心視の範囲と周辺視の範囲とを判定する中心視/周辺視判定処理と、
前記特定の条件を満たすと判定された物体が前記中心視の範囲と前記周辺視の範囲とのどちらに存在するかを判定し、判定結果に応じて異なる通知物を表示させる制御を行う表示制御処理と、
を実行させる表示制御プログラム。

In a display control device that receives foreground information capable of recognizing an object existing in front of the traveling direction of the vehicle and line-of-sight information capable of acquiring a driver's line of sight,
An object recognition process for recognizing a predetermined object from the foreground information;
An object determination process for determining whether or not a recognized predetermined object satisfies a specific condition for determining whether or not a predetermined condition is satisfied;
A central vision / peripheral vision determination process for determining a range of central vision and a range of peripheral vision for the foreground information using the line-of-sight information;
Display control for determining whether an object determined to satisfy the specific condition exists in the central vision range or the peripheral vision range, and displaying different notification objects according to the determination result Processing,
Display control program to execute.

JP2018034335A 2017-03-02 2018-02-28 Display control device, display control method and display control program Active JP7067116B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP18159476.3A EP3369602A1 (en) 2017-03-02 2018-03-01 Display controller, display control method, and carrier means
US15/908,928 US10354153B2 (en) 2017-03-02 2018-03-01 Display controller, display control method, and recording medium storing program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017039123 2017-03-02
JP2017039123 2017-03-02

Publications (2)

Publication Number Publication Date
JP2018147481A true JP2018147481A (en) 2018-09-20
JP7067116B2 JP7067116B2 (en) 2022-05-16

Family

ID=63591443

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018034335A Active JP7067116B2 (en) 2017-03-02 2018-02-28 Display control device, display control method and display control program

Country Status (1)

Country Link
JP (1) JP7067116B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7446605B2 (en) 2020-03-31 2024-03-11 株式会社ユピテル Systems, programs, trained models, learning model generation methods, generation devices, etc.

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012148710A (en) * 2011-01-20 2012-08-09 Toyota Motor Corp Image display apparatus
WO2015037117A1 (en) * 2013-09-13 2015-03-19 日立マクセル株式会社 Information display system, and information display device
JP2015141490A (en) * 2014-01-28 2015-08-03 三菱電機株式会社 Vehicle information display control device and vehicle information display control method
JP2017170949A (en) * 2016-03-18 2017-09-28 トヨタ自動車株式会社 Vehicular display device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012148710A (en) * 2011-01-20 2012-08-09 Toyota Motor Corp Image display apparatus
WO2015037117A1 (en) * 2013-09-13 2015-03-19 日立マクセル株式会社 Information display system, and information display device
JP2015141490A (en) * 2014-01-28 2015-08-03 三菱電機株式会社 Vehicle information display control device and vehicle information display control method
JP2017170949A (en) * 2016-03-18 2017-09-28 トヨタ自動車株式会社 Vehicular display device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7446605B2 (en) 2020-03-31 2024-03-11 株式会社ユピテル Systems, programs, trained models, learning model generation methods, generation devices, etc.

Also Published As

Publication number Publication date
JP7067116B2 (en) 2022-05-16

Similar Documents

Publication Publication Date Title
US20200317190A1 (en) Collision Control Method, Electronic Device and Storage Medium
US10013951B2 (en) Display control device, display device, display control program, display control method, and recording medium
JP6461318B2 (en) Apparatus, method, and computer program for controlling indicating that road user has been recognized
CN107077013B (en) System, method and computer program product for hands-free configuration of lighting distribution
EP3385776B1 (en) Head-up display
US20240029553A1 (en) Notifying device and notifying system
US20180334099A1 (en) Vehicle environment imaging systems and methods
JP6375816B2 (en) Vehicle peripheral information display system and display device
JP2018155807A (en) Display system in vehicle and method for controlling display system in vehicle
JP2015055999A (en) Information processing device, gesture detection method, and gesture detection program
JP2015092237A (en) Display control apparatus, display control method, display control program, and projecting apparatus
WO2016147584A1 (en) Vehicle monitoring device, vehicle monitoring method, and vehicle monitoring program
WO2016143306A1 (en) Alert device, alert method, and alert program
US10821886B1 (en) Sensor-based acknowledgments between road traffic participants
US11325472B2 (en) Line-of-sight guidance device
JP2018088118A (en) Display control device, control method, program and storage media
JP2017055181A (en) Driving support method and driving support device using the same
JP2017071284A (en) Display control device, projection device, and display control program
US10354153B2 (en) Display controller, display control method, and recording medium storing program
JP7216898B2 (en) Display control method, display control device and head-up display device
US20190322210A1 (en) Apparatus and method for notifying expected motion of vehicle
JP2018147481A (en) Display controller, display control method, and display control program
JP5192007B2 (en) Vehicle periphery monitoring device
JP2019188855A (en) Visual confirmation device for vehicle
JP4701961B2 (en) Pedestrian detection device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220310

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220411

R151 Written notification of patent or utility model registration

Ref document number: 7067116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151