JP2008162550A - External environment display device - Google Patents

External environment display device Download PDF

Info

Publication number
JP2008162550A
JP2008162550A JP2007000232A JP2007000232A JP2008162550A JP 2008162550 A JP2008162550 A JP 2008162550A JP 2007000232 A JP2007000232 A JP 2007000232A JP 2007000232 A JP2007000232 A JP 2007000232A JP 2008162550 A JP2008162550 A JP 2008162550A
Authority
JP
Japan
Prior art keywords
display
driver
sight
line
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2007000232A
Other languages
Japanese (ja)
Inventor
Takeshi Matsumura
健 松村
Original Assignee
Toyota Motor Corp
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp, トヨタ自動車株式会社 filed Critical Toyota Motor Corp
Priority to JP2007000232A priority Critical patent/JP2008162550A/en
Publication of JP2008162550A publication Critical patent/JP2008162550A/en
Pending legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an external environment display device capable of making a driver grasp an external environment to be recognized in an early time even in the case wherein eyes of a driver are not directed to an appropriate direction. <P>SOLUTION: This external environment display device 1 comprises an eyes detecting means for detecting eyes a driver, an image pick-up means for picking up images of external environment of the vehicle, a determining means for determining whether the eyes detected by the eyes detecting means exist within a predetermined range or not, and a display position control means for displaying images of the external environment projected to the eyes of the driver on the supposition that the eyes of the driver exist within the predetermined range in a direction corresponding to the eyes of the driver by using the images picked up by the image pick-up means when the determining means determines that the eyes of the driver do not exists within the predetermined range. <P>COPYRIGHT: (C)2008,JPO&INPIT

Description

本発明は、運転者の視覚を補助するために適切な位置に外部環境の画像を表示する外部環境表示装置に関する。   The present invention relates to an external environment display device that displays an image of an external environment at an appropriate position to assist a driver's vision.
従来から、運転者の視線方向を検出する視線方向検出手段を更に備え、視線方向検出手段により検出された運転者の視線方向が脇見時における視線方向である場合に、視線方向検出手段により検出された視線方向近傍に表示領域を有する表示手段に、車両乗員の視線を表示手段の表示領域外に誘導する矢印のような誘導情報を表示させる車両用表示装置が知られている(例えば、特許文献1参照)。
特開2005−59660号公報
Conventionally, a gaze direction detection unit that detects the gaze direction of the driver is further provided, and is detected by the gaze direction detection unit when the gaze direction of the driver detected by the gaze direction detection unit is the gaze direction when looking aside. There is known a vehicle display device that displays guidance information such as an arrow for guiding a vehicle occupant's line of sight outside the display area of the display means on a display means having a display area in the vicinity of the sight line direction (for example, Patent Documents). 1).
JP-A-2005-59660
しかしながら、上記の特許文献1に記載の発明では、運転者が、誘導情報としての矢印の気付き、当該矢印の方向に従って視線を変化させるまでのタイムラグについて考慮されていない。即ち、上記の特許文献1に記載の発明では、誘導情報を表示してから、運転者が矢印の気付き当該矢印の方向に従って視線を変化させるまでの間、運転者が、認識すべき外部環境を把握できないという問題点がある。   However, in the invention described in Patent Document 1, the driver does not consider the time lag until the driver notices an arrow as guidance information and changes the line of sight according to the direction of the arrow. That is, in the invention described in Patent Document 1, the external environment to be recognized by the driver after the guidance information is displayed until the driver notices the arrow and changes the line of sight according to the direction of the arrow. There is a problem that it cannot be grasped.
そこで、本発明は、運転者の視線方向が不適切な方向である場合にも、運転者に、認識すべき外部環境を早期に把握させることができる外部環境表示装置の提供を目的とする。   Therefore, an object of the present invention is to provide an external environment display device that allows a driver to quickly recognize an external environment to be recognized even when the driver's line-of-sight direction is an inappropriate direction.
上記目的を達成するため、第1の発明に係る外部環境表示装置は、運転者の視線方向を検知する視線方向検知手段と、
車両の外部環境を撮像する撮像手段と、
前記視線方向検知手段により検知された視線方向が所定範囲内にあるか否かを判定する判定手段と、
前記判定手段により運転者の視線方向が所定範囲内に無いと判定された場合に、前記撮像手段が撮像した画像を用いて、運転者の視線方向が前記所定範囲であると仮定したときに運転者の目に映る外部環境の画像を、運転者の視線方向に応じた方向に表示する表示位置制御手段とを備えることを特徴とする。
In order to achieve the above object, an external environment display device according to a first aspect of the present invention includes gaze direction detection means for detecting the gaze direction of a driver,
Imaging means for imaging the external environment of the vehicle;
Determining means for determining whether or not the line-of-sight direction detected by the line-of-sight direction detecting means is within a predetermined range;
When it is determined by the determination means that the driver's line-of-sight direction is not within a predetermined range, driving is performed when it is assumed that the driver's line-of-sight direction is within the predetermined range using an image captured by the imaging unit. Display position control means for displaying an image of the external environment seen by the driver's eyes in a direction corresponding to the driver's line-of-sight direction.
第2の発明は、第1の発明に係る外部環境表示装置において、
前記表示位置制御手段は、運転者の視線方向の先に、前記外部環境の画像を表示することを特徴とする。
A second invention is the external environment display device according to the first invention,
The display position control means displays the image of the external environment ahead of the driver's line-of-sight direction.
第2の発明は、第1の発明に係る外部環境表示装置において、
前記表示位置制御手段は、運転者の視線方向近辺で前記所定範囲側の方向に、前記外部環境の画像を表示することを特徴とする。
A second invention is the external environment display device according to the first invention,
The display position control means displays the image of the external environment in the vicinity of the driver's line of sight in the direction of the predetermined range.
本発明によれば、運転者の視線方向が不適切な方向である場合にも、運転者に、認識すべき外部環境を早期に把握させることができる外部環境表示装置が得られる。   ADVANTAGE OF THE INVENTION According to this invention, even when a driver | operator's gaze direction is an unsuitable direction, the external environment display apparatus which can make a driver | operator grasp | ascertain the external environment which should be recognized early is obtained.
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。   The best mode for carrying out the present invention will be described below with reference to the drawings.
図1は、本発明の実施例1による外部環境表示装置1の主要構成を示す図である。図2は、表示制御装置10Aの主要構成を示すブロック図である。   FIG. 1 is a diagram showing a main configuration of an external environment display device 1 according to a first embodiment of the present invention. FIG. 2 is a block diagram showing the main configuration of the display control apparatus 10A.
外部環境表示装置1は、表示制御装置10Aを中心に構成されている。表示制御装置10Aは、ハードウェア構成としては、適切なプロセッサないしマイクロコンピューターを中心に構成され、以下で説明する各種処理を行うCPUや、以下で説明する各種処理を行うために用いられるプログラム及びデータが格納されたROM、演算結果等を格納する読書き可能なRAM、タイマ、カウンタ、入力インターフェイス、及び出力インターフェイス等を有する。   The external environment display device 1 is configured around a display control device 10A. The display control apparatus 10A has a hardware configuration mainly composed of an appropriate processor or microcomputer, a CPU that performs various processes described below, and a program and data used to perform various processes described below. Includes a ROM in which is stored, a readable / writable RAM for storing operation results, a timer, a counter, an input interface, an output interface, and the like.
表示制御装置10Aには、外部環境を撮像するカメラ30,31,32を備える。各カメラ30,31,32は、ルームミラー等の適切な位置に適切な視線方向(光軸方向)で配置され、CCD(charge-coupled device)やCMOS(complementary metal oxide semiconductor)等の撮像素子により、外部環境を撮像する。カメラ30は、車両左側側方の外部環境を撮像する。カメラ31は、車両前方正面の外部環境を撮像する。カメラ32は、車両右側側方の外部環境を撮像する。カメラ30,31,32は、車両走行中にリアルタイムに外部環境画像を取得し、所定のフレーム周期のストリーム形式で表示制御装置10Aに供給するものであってよい。尚、カメラ30,31,32は、魚眼レンズを備える1つの広角カメラにより置換されてもよいし、光軸方向が可変の1つのカメラにより置換されてもよい。また、車両後方の外部環境を撮像する第4のカメラを有してもよい。   The display control apparatus 10A includes cameras 30, 31, and 32 that image the external environment. Each camera 30, 31 and 32 is arranged in an appropriate line-of-sight direction (optical axis direction) at an appropriate position such as a rearview mirror, and is provided by an image sensor such as a charge-coupled device (CCD) or a complementary metal oxide semiconductor (CMOS). , Image the external environment. The camera 30 images the external environment on the left side of the vehicle. The camera 31 images the external environment in front of the vehicle. The camera 32 images the external environment on the right side of the vehicle. The cameras 30, 31, and 32 may acquire an external environment image in real time while the vehicle is traveling and supply the images to the display control apparatus 10 </ b> A in a stream format with a predetermined frame period. The cameras 30, 31, and 32 may be replaced with one wide-angle camera having a fisheye lens, or may be replaced with one camera whose optical axis direction is variable. Moreover, you may have a 4th camera which images the external environment behind a vehicle.
表示制御装置10Aには、ドライバモニターECU42が接続される。ドライバモニターECU42には、ドライバモニターカメラ40が接続される。ドライバモニターカメラ40は、例えばカラー又は赤外線感応CCDセンサアレイを備える。ドライバモニターカメラ40は、運転者の前面(例えば運転者の顔部を前方から)を捕捉可能なように、車両の適切な箇所に設けられる。例えば、ドライバモニターカメラ40は、車両のインストルメントパネルのダッシュボード、ステアリングコラムやルームミラー等に設置される。ドライバモニターカメラ40は、車両走行中にリアルタイムに運転者の顔部の画像(以下、「顔画像」という。)を取得し、典型的には30fps(frame per second)のストリーム形式で、ドライバモニターECU42に供給するものであってよい。   A driver monitor ECU 42 is connected to the display control apparatus 10A. A driver monitor camera 40 is connected to the driver monitor ECU 42. The driver monitor camera 40 includes, for example, a color or infrared sensitive CCD sensor array. The driver monitor camera 40 is provided at an appropriate location of the vehicle so that the front surface of the driver (for example, the driver's face from the front) can be captured. For example, the driver monitor camera 40 is installed on a dashboard of a vehicle instrument panel, a steering column, a room mirror, or the like. The driver monitor camera 40 obtains an image of the driver's face (hereinafter referred to as “face image”) in real time while the vehicle is running, and is typically in a stream format of 30 fps (frame per second). The ECU 42 may be supplied.
ドライバモニターECU42は、ドライバモニターカメラ40により取得された顔画像に対する画像処理により、運転者の顔の向きを認識し、当該認識した顔の向きに基づいて運転者の視線の向きに関する情報(以下、「視線情報」ともいう。)を生成する。ドライバモニターECU42は、車両走行中にリアルタイムに視線情報を生成し、生成した視線情報を表示制御装置10Aに供給する。   The driver monitor ECU 42 recognizes the direction of the driver's face by image processing on the face image acquired by the driver monitor camera 40, and information on the direction of the driver's line of sight based on the recognized face direction (hereinafter, referred to as the driver's face direction). Also referred to as “line-of-sight information”). The driver monitor ECU 42 generates line-of-sight information in real time while the vehicle is traveling, and supplies the generated line-of-sight information to the display control apparatus 10A.
例えば、ドライバモニターECU42は、先ず、ドライバモニターカメラ40により取得された顔画像から、顔の代表的なポイント(特徴点)を抽出する。この特徴抽出方法は、適切な任意の方法であってよく、例えばActive Appearance Model(AAM)をベースにした技術が用いられてよい。次いで、適切なエッジ検出アルゴリズム(例えばSobelのエッジ検出アルゴリズム)を適用して、顔と顔の特徴の境界を抽出する。次いで、上述の如く抽出されるエッジ及び特徴点を用いて、図3に示すように、顔のパーツが分離され、顔のパーツの形状を抽出する。尚、図3は、顔の一部のみを代表して示しており、顔の眉と目の部分がパーツとして抽出された画像を示している。ドライバモニターECU42は、抽出した顔のパーツの位置又は向きと、予め記憶しておいた各姿勢(例えば表示装置21を注視しているときの姿勢や、左右前後を見ている姿勢等)における同パーツの位置又は向きとのマッチング度合いを比較することにより、現在の姿勢(顔の向き)を検出する。顔の向きは、例えば正規の姿勢であるときの顔の正面方向を1軸とする3軸まわりの回転角度で表されてよい。ドライバモニターECU42は、運転者の顔の向きが運転者の視線の向き(視線方向)に対応しているとの仮定の下で、運転者の視線方向を決定して視線情報を生成する。尚、ドライバモニターECU42における画像認識処理による視線方法検出方法は、多種多様でありえ、本発明は、上述したものに限定されることは無い。例えば、ドライバモニターECU42は、顔のパーツとして眼球の輪郭線を抽出し、目の輪郭内における眼球の位置と、上述の如く認識した運転者の顔向きとに基づいて、運転者の視線の向きを検出してもよい。   For example, the driver monitor ECU 42 first extracts representative points (feature points) of the face from the face image acquired by the driver monitor camera 40. This feature extraction method may be any appropriate method, and for example, a technique based on Active Appearance Model (AAM) may be used. An appropriate edge detection algorithm (eg, Sobel's edge detection algorithm) is then applied to extract the boundary between the face and facial features. Next, using the edges and feature points extracted as described above, the facial parts are separated as shown in FIG. 3, and the shape of the facial parts is extracted. FIG. 3 shows only a part of the face as a representative, and shows an image in which the eyebrows and eyes are extracted as parts. The driver monitor ECU 42 matches the position or orientation of the extracted facial parts with each of the pre-stored postures (for example, the posture when the display device 21 is watched, the posture when looking right and left, right and left, etc.). The current posture (face orientation) is detected by comparing the degree of matching with the position or orientation of the part. The orientation of the face may be represented by, for example, a rotation angle about three axes with the front direction of the face in a normal posture as one axis. The driver monitor ECU 42 generates line-of-sight information by determining the driver's line-of-sight direction under the assumption that the driver's face direction corresponds to the driver's line-of-sight direction (line-of-sight direction). Note that the gaze method detection method by the image recognition process in the driver monitor ECU 42 may be various, and the present invention is not limited to the above-described one. For example, the driver monitor ECU 42 extracts the outline of the eyeball as a face part, and based on the position of the eyeball within the eye outline and the driver's face orientation recognized as described above, the driver's line-of-sight direction May be detected.
表示制御装置10Aには、表示装置群20が接続される。表示装置群20は、一例として、4つの表示装置21乃至26を含む。表示装置21は、インパネ等に配置されるナビゲーション装置のディスプレイである。表示装置22,23は、左右のサイドミラーにそれぞれ設けられ、表示装置24は、ルームミラーに設けられ、表示装置25,26は、左右の窓(サイドガラス)にそれぞれ設けられる。表示装置22乃至26は、ヘッドアップディスプレイ(HUD)のような形態で、対応するミラーないしガラスに、映像(画像)を投影するものであってもよいし、又は、対応するミラーないしガラスに設けられ、画像非表示時に光透過性を有するタイプの表示体から構成されてもよく、或いは、対応するミラーないしガラスに設けられる透過型液晶表示パネルから構成されてもよい。尚、表示装置群20は、例えばメーターに設けられる表示装置のような、第5の表示装置を含んでもよい。   A display device group 20 is connected to the display control device 10A. The display device group 20 includes four display devices 21 to 26 as an example. The display device 21 is a display of a navigation device arranged on the instrument panel or the like. The display devices 22 and 23 are provided on the left and right side mirrors, the display device 24 is provided on the rearview mirror, and the display devices 25 and 26 are provided on the left and right windows (side glasses), respectively. The display devices 22 to 26 may project a video (image) onto a corresponding mirror or glass in the form of a head-up display (HUD), or may be provided on the corresponding mirror or glass. In addition, it may be constituted by a display body of a type having optical transparency when no image is displayed, or may be constituted by a transmissive liquid crystal display panel provided on a corresponding mirror or glass. The display device group 20 may include a fifth display device such as a display device provided in a meter.
表示制御装置10Aは、図2に示すように、その主要な機能を実現する機能ブロックとして、注意喚起方向決定部12A、視線方向評価部14A、表示位置決定部16A、表示画像生成部18A、及び、表示制御部19Aを備える。表示制御装置10Aの各部の機能は、図4を参照して、説明する。   As shown in FIG. 2, the display control device 10 </ b> A includes, as function blocks that realize its main functions, a warning direction determination unit 12 </ b> A, a gaze direction evaluation unit 14 </ b> A, a display position determination unit 16 </ b> A, a display image generation unit 18 </ b> A, and The display control unit 19A is provided. The function of each part of the display control apparatus 10A will be described with reference to FIG.
図4は、本実施例による表示制御装置10Aに実現される主要処理の流れを示すフローチャートである。図4に示す処理は、イグニッションスイッチがオンとされた後、イグニッションスイッチがオフにされるまでの間、車両の走行中に繰り返し実行されるものであってよい。   FIG. 4 is a flowchart showing a flow of main processing realized in the display control apparatus 10A according to the present embodiment. The process shown in FIG. 4 may be repeatedly executed while the vehicle is running until the ignition switch is turned off after the ignition switch is turned on.
ステップ100では、注意喚起方向決定部12Aは、カメラ30,31,32から得られる各外部環境画像に基づいて、運転者に注意を喚起すべき状況が検出されたか否かを判定する。運転者に注意を喚起すべき状況とは、例えば車両前方を横断しようとする歩行者が存在する状況や、車両前方の他車両が急減速等して車間距離が急減する状況等である。この種の状況は、カメラ30,31,32から得られる各外部環境画像に代えて、若しくは、それに加えて、レーダー等の監視結果に基づいて検出されてもよい。運転者に注意を喚起すべき状況が検出された場合には、ステップ102に進み、それ以外の場合には、今回周期の処理ルーチンはそのまま終了する。   In step 100, the alerting direction determination unit 12A determines whether or not a situation that should alert the driver has been detected based on the external environment images obtained from the cameras 30, 31, and 32. The situation that should alert the driver is, for example, a situation where there is a pedestrian trying to cross the front of the vehicle, a situation where the other vehicle in front of the vehicle suddenly decelerates, and the distance between the vehicles suddenly decreases. This type of situation may be detected based on the monitoring result of a radar or the like instead of or in addition to each external environment image obtained from the cameras 30, 31, and 32. If a situation that should alert the driver is detected, the process proceeds to step 102; otherwise, the processing routine of the current cycle ends.
ステップ102では、注意喚起方向決定部12Aは、カメラ30,31,32から得られる各外部環境画像に基づいて、運転者に注意を喚起すべき方向を決定する。即ち、注意喚起方向決定部12Aは、運転者の注意を喚起すべき物体が存在する方向を検出・決定する。例えば、注意喚起方向決定部12Aは、車両前方を横断しようとする歩行者が存在する状況では、歩行者が存在する方向を注意喚起方向として検出・決定し、車両前方の他車両が急減速等して車間距離が急減する状況では、当該他車両が存在する方向を注意喚起方向として検出・決定する。   In step 102, the alerting direction determination unit 12A determines a direction to alert the driver based on each external environment image obtained from the cameras 30, 31, and 32. That is, the alerting direction determination unit 12A detects and determines the direction in which an object that should alert the driver exists. For example, in a situation where there is a pedestrian who tries to cross the front of the vehicle, the attention direction determination unit 12A detects and determines the direction in which the pedestrian exists as the attention direction, and other vehicles in front of the vehicle suddenly decelerate, etc. In a situation where the inter-vehicle distance rapidly decreases, the direction in which the other vehicle exists is detected and determined as the alerting direction.
ステップ104では、視線方向評価部14Aは、上記のステップ102で注意喚起方向決定部12Aにより決定された注意喚起方向に基づいて、運転者の視線方向として望ましい範囲(以下、「適正範囲」という。)を設定する。この視線方向の適正範囲は、注意喚起方向を中心とした所定範囲として設定されてよく、その範囲内に運転者の視線方向がある場合に、運転者が注意すべき外部環境(外部物体)を認識できるような範囲に設定される。   In step 104, the line-of-sight direction evaluation unit 14 </ b> A is a desirable range as the driver's line-of-sight direction (hereinafter referred to as “appropriate range”) based on the attention direction determined by the attention direction determination unit 12 </ b> A in step 102. ) Is set. The appropriate range of the line-of-sight direction may be set as a predetermined range centered on the alerting direction, and when the driver's line-of-sight direction is within that range, the external environment (external object) that the driver should be aware of It is set to a range that can be recognized.
ステップ106では、視線方向評価部14Aは、ドライバモニターECU42からの視線情報を取得して、現在の運転者の視線方向を把握する。   In step 106, the line-of-sight direction evaluation unit 14A obtains line-of-sight information from the driver monitor ECU 42 and grasps the current line-of-sight direction of the driver.
ステップ108では、視線方向評価部14Aは、上記のステップ104で設定した適正範囲内に、上記のステップ106で得た現在の運転者の視線方向があるか否かを判定する。適正範囲内に運転者の視線方向がある場合には、特に運転者に注意を喚起すべき必要がないので、今回周期の処理ルーチンはそのまま終了する。一方、適正範囲内に運転者の視線方向が無い場合には、ステップ110に進む。   In step 108, the line-of-sight direction evaluation unit 14A determines whether or not the current driver's line-of-sight direction obtained in step 106 is within the appropriate range set in step 104 above. If the driver's line-of-sight direction is within the appropriate range, it is not necessary to alert the driver in particular, so the processing routine for the current cycle ends as it is. On the other hand, if the driver's line-of-sight direction is not within the appropriate range, the process proceeds to step 110.
ステップ110では、表示位置決定部16Aは、上記のステップ106で得た現在の運転者の視線方向に基づいて、表示装置群20の中から、運転者の視線方向の先にある一の表示装置を、出力対象の表示装置として選択する。ここで、運転者の視線方向の先の表示装置は、典型的には、運転者の視線方向に一致した方向にある表示装置である。この場合、運転者の視線方向は、水平面内の方向のみを考慮しても良く(図6(A)参考)、或いは、鉛直面内の方向を補助的に考慮してもよい(図6(B)参考)。或いは、運転者の視線方向の先の表示装置は、運転者が現在の運転者の視線方向を維持した場合にも目視できる方向にある表示装置を含んでよい。尚、いずれの場合であっても、運転者の視線方向に一致した方向に表示装置が存在しない場合には、表示装置群20の中から、運転者の視線方向に最も近い方向に存在する一の表示装置が、出力対象の表示装置として選択されてよい。本ステップ110において、例えば、運転者の視線方向の先に左のサイドミラーが存在する場合には、表示位置決定部16Aは、左のサイドミラーに設けられる表示装置22を、出力対象の表示装置として選択する。   In step 110, the display position determination unit 16 </ b> A is based on the current driver's line-of-sight direction obtained in step 106, and is one display device ahead of the driver's line-of-sight direction from the display device group 20. Are selected as output target display devices. Here, the display device ahead of the driver's line-of-sight direction is typically a display device in a direction that matches the driver's line-of-sight direction. In this case, the driver's line-of-sight direction may consider only the direction in the horizontal plane (see FIG. 6A), or may consider the direction in the vertical plane as an auxiliary (see FIG. B) Reference). Alternatively, the previous display device in the driver's line-of-sight direction may include a display device in a direction that can be seen even when the driver maintains the current driver's line-of-sight direction. In any case, if there is no display device in the direction that matches the driver's line-of-sight direction, one of the display devices 20 that is present in the direction closest to the driver's line-of-sight direction. The display device may be selected as a display device to be output. In this step 110, for example, when the left side mirror exists ahead of the driver's line of sight, the display position determination unit 16A uses the display device 22 provided in the left side mirror as the output target display device. Choose as.
ステップ120では、表示画像生成部18Aは、カメラ30,31,32から得られる各外部環境画像の中から、上記のステップ102で決定された注意喚起方向の外部環境画像を選択し、表示画像を生成する。即ち、注意喚起方向を運転者が見た際に運転者の目に映るだろう表示画像を生成する。例えば、注意喚起方向が正面方向である場合、表示画像生成部18Aは、カメラ31が撮像した外部環境画像に基づいて、表示画像を生成する。この際、カメラ31からの外部環境画像をそのまま表示画像としてしてもよいし、カメラ31からの外部環境画像に適当な補正を加えて表示画像を生成してもよい。後者の場合、例えばカメラ31からの外部環境画像を、運転者の目で見える風景のように補正して表示画像を生成してもよく、或いは、注意喚起すべき物体を含む一部画像(例えば、歩行者周辺の画像、信号機付近の画像、前方の他車両のブレーキランプ付近の画像)を切り出して、表示画像を生成してもよい。また、カメラ31からの外部環境画像に、強調効果や色味等を重畳して、表示画像を生成してもよい。更に、カメラ31からの外部環境画像に、「歩行者注意」といったようなメッセージを重畳して、表示画像を生成してもよい。更に、カメラ31からの外部環境画像に、注意喚起すべき物体が存在する方向を表す矢印図形表示又はメッセージを重畳して、表示画像を生成してもよい。いずれにしても、表示画像は、注意喚起すべき物体を運転者が直ぐに把握できるような画像として生成され、カメラ30,31及び/又は32から得られる各外部環境画像をベースに生成される。   In step 120, the display image generation unit 18A selects the external environment image in the alerting direction determined in step 102 from the external environment images obtained from the cameras 30, 31, and 32, and displays the display image. Generate. That is, a display image that will appear to the driver's eyes when the driver sees the alerting direction is generated. For example, when the alerting direction is the front direction, the display image generation unit 18A generates a display image based on the external environment image captured by the camera 31. At this time, the external environment image from the camera 31 may be used as a display image as it is, or a display image may be generated by appropriately correcting the external environment image from the camera 31. In the latter case, for example, a display image may be generated by correcting the external environment image from the camera 31 like a landscape that can be seen by the driver's eyes, or a partial image including an object to be alerted (for example, The image around the pedestrian, the image near the traffic light, the image near the brake lamp of the other vehicle ahead) may be cut out to generate the display image. In addition, a display image may be generated by superimposing an emphasis effect or color on the external environment image from the camera 31. Further, a display image may be generated by superimposing a message such as “pedestrian attention” on the external environment image from the camera 31. Furthermore, a display image may be generated by superimposing an arrow graphic display or a message indicating a direction in which an object to be alerted exists on the external environment image from the camera 31. In any case, the display image is generated as an image that allows the driver to immediately grasp the object to be alerted, and is generated based on each external environment image obtained from the cameras 30, 31, and / or 32.
ステップ122では、表示制御部19Aは、上記のステップ120にて表示画像生成部18Aにより生成された表示画像を、上記のステップ110にて選択された表示装置(表示装置21乃至26のうちの選択されたいずれか1つ)に出力する。これにより、運転者は、その視線方向の先にある表示装置に表示画像が出力されることに反応して、当該表示画像を見ることで、その視線方向を注意喚起方向に変化させる前に、注意喚起方向に存在する状況を把握することができる。   In step 122, the display control unit 19 </ b> A selects the display image generated by the display image generation unit 18 </ b> A in step 120 above from the display device selected in the above step 110 (selection from among the display devices 21 to 26). Any one of them). Thereby, the driver reacts to the display image being output to the display device ahead of the line-of-sight direction and looks at the display image before changing the line-of-sight direction to the alerting direction. It is possible to grasp the situation that exists in the alert direction.
続くステップ130では、視線方向評価部14Aは、上記のステップ122で表示画像を出力した後の運転者の視線方向を監視し、運転者の視線方向が適性範囲内に変化したか否かを判定する。運転者の視線方向が適性範囲内に変化した場合には、ステップ140に進み、それ以外の場合には、ステップ110に戻る。この場合、ステップ110乃至122の処理が繰り返され、最新の運転者の視線方向に応じて選択された表示装置に、最新の外部環境画像に基づいて生成された表示画像が出力されることになる。   In subsequent step 130, the line-of-sight direction evaluation unit 14A monitors the driver's line-of-sight direction after outputting the display image in step 122, and determines whether or not the driver's line-of-sight direction has changed within the appropriate range. To do. If the driver's line-of-sight direction has changed within the appropriate range, the process proceeds to step 140; otherwise, the process returns to step 110. In this case, the processing of steps 110 to 122 is repeated, and the display image generated based on the latest external environment image is output to the display device selected according to the latest driver's line-of-sight direction. .
ステップ140では、表示制御部19Aは、上記のステップ122で実行した表示装置上の表示画像の出力を停止する。従って、運転者の視線方向が適性範囲内に変化するまで、外部環境画像に基づいて生成された表示画像が所定の表示装置上に出力され続けることになる。尚、表示制御部19Aは、車両の走行等に伴う環境変化により上記のステップ100にて検出された状況が検出されなくなった場合にも、上記のステップ122で実行した表示装置上の表示画像の出力を停止する。   In step 140, the display control unit 19A stops outputting the display image on the display device executed in step 122 described above. Therefore, the display image generated based on the external environment image is continuously output on the predetermined display device until the driver's line-of-sight direction changes within the appropriate range. The display control unit 19A also displays the display image on the display device executed in step 122 even when the situation detected in step 100 is no longer detected due to an environmental change associated with traveling of the vehicle. Stop output.
以上説明した本実施例によれば、運転者の視線方向が、注意すべき環境に向けられていない場合でも、運転者の視線方向の先にある表示装置に、注意すべき環境を撮像した画像が出力されるので、運転者は、その視線方向を、注意すべき環境の存在する方向(即ち注意喚起方向)に変化させる前に、当該出力された表示画像を見ることで、当該注意すべき環境を把握することができる。即ち、運転者は、タイムラグ無しに、注意すべき環境を把握することができる。   According to the present embodiment described above, even when the driver's line-of-sight direction is not directed to the environment to which attention should be paid, the image obtained by capturing the environment to be noted on the display device ahead of the driver's line-of-sight direction. Therefore, the driver should be careful by looking at the output display image before changing the direction of the line of sight to the direction in which the environment to be noted exists (that is, the alerting direction). It is possible to grasp the environment. That is, the driver can grasp the environment to be noted without time lag.
尚、本実施例においては、各種の変形例や追加的構成が考えられる。   In this embodiment, various modifications and additional configurations are possible.
例えば、上述の実施例においては、例えば交差点での出会い頭衝突等に備えて、注意すべき環境が、車両側方側にも存在することを考慮して、車両側方側を監視するカメラ30,32を設けているが、簡易的に、車両正面を監視するカメラ31のみを設定してもよい。この場合、運転者の視線方向の望ましい範囲(=適正範囲)は、正面方向を中心として設定された固定範囲であってよい。即ち、視線方向評価部14Aは、運転者の顔向きが正面を向いているか否かを検出する。そして、正面を向いていない場合には(即ち脇見をしている場合には)、表示制御部19Aは、表示位置決定部16Aにより同様に選択された運転者の視線方向の先の表示装置に、表示画像生成部18Aにより同様に生成された表示画像を出力することとしてよい。   For example, in the above-described embodiment, the camera 30 that monitors the side of the vehicle in consideration of the fact that an environment to be watched also exists on the side of the vehicle in preparation for an encounter collision at an intersection, for example. 32 is provided, but only the camera 31 for monitoring the front of the vehicle may be set simply. In this case, a desirable range (= appropriate range) in the driver's line-of-sight direction may be a fixed range set around the front direction. That is, the line-of-sight direction evaluation unit 14A detects whether or not the driver's face is facing the front. And when it is not facing the front (that is, when looking aside), the display control unit 19A displays the display device in the direction of the driver's line of sight similarly selected by the display position determination unit 16A. The display image similarly generated by the display image generation unit 18A may be output.
また、上述の実施例において、運転者の視線方向が適性範囲内に無い場合に、追加的に、各種警報を前出しすること(通常時よりも早めに警報を出力すること)や、衝突予知制御やブレーキアシスト制御の実行用閾値を低めに設定することや、ブレーキアシスト量を通常時よりも増加させること等により、他の観点から安全を確保してもよい。その他、運転者の視線方向が適性範囲内に無い場合に、追加的に、ナビゲーション装置の音声案内の音量を大きくしたり、オーディオの音量を変化させること等により、必要な情報を提供しやすくしてもよい。   In addition, in the above-described embodiment, when the driver's line-of-sight direction is not within the appropriate range, various warnings are additionally issued (alarms are output earlier than usual), or collision prediction is performed. Safety may be ensured from other viewpoints by setting a threshold value for execution of control or brake assist control to be lower, or by increasing the brake assist amount than usual. In addition, when the driver's line-of-sight direction is not within the appropriate range, the necessary information can be easily provided by additionally increasing the volume of the voice guidance of the navigation device or changing the volume of the audio. May be.
また、上述の実施例において、運転者の視線方向が適性範囲内に無い場合に、追加的に、自動的に車両を減速させる減速制御を実行してもよい。この場合、例えば後方からの追突回避の目的で、後続車両を検出し、後続車両と自車との相対距離や相対速度差又は相対化速度の差に応じて必要と判断できる場合には、ストップランプを点灯させることとしてよい。また、この場合、運転者の視線方向が適性範囲内に戻った時点で、減速を解除することとしてよく、運転者の視線方向が適性範囲内に戻らない場合には、危険状態(居眠りや急病等)と判断して、最終的には停止まで減速し(また、必要に応じて安全な路肩まで自動操舵制御を実行し)、ハザードランプを点滅させることとしてもよい。   In the above-described embodiment, when the driver's line-of-sight direction is not within the appropriate range, a deceleration control for automatically decelerating the vehicle may be additionally executed. In this case, for example, for the purpose of avoiding a rear-end collision from the rear, if the following vehicle is detected and it can be determined that it is necessary according to the relative distance, relative speed difference or relative speed difference between the following vehicle and the host vehicle, stop The lamp may be turned on. In this case, the deceleration may be canceled when the driver's line-of-sight direction returns to the appropriate range. If the driver's line-of-sight direction does not return within the appropriate range, a dangerous state (sleeping or sudden illness) may occur. Etc.), and finally, the vehicle is decelerated to a stop (and automatic steering control is executed to a safe road shoulder if necessary), and the hazard lamp may be blinked.
実施例2は、上述した実施例1に対して、表示画像の表示位置の決定方法が主に異なる。その他の構成は、上述した実施例1と同様であって良く、以下では、実施例2に特有の構成について重点的に説明する。   The second embodiment is mainly different from the first embodiment described above in the method for determining the display position of the display image. Other configurations may be the same as those of the first embodiment described above, and the configuration peculiar to the second embodiment will be mainly described below.
図5は、本実施例による表示制御装置10Bに実現される主要処理の流れを示すフローチャートである。尚、図5の説明に関して、上述の実施例1に係る図4と同様の処理については、同一の参照符号を付して説明を省略する。図5に示す処理は、イグニッションスイッチがオンとされた後、イグニッションスイッチがオフにされるまでの間、車両の走行中に繰り返し実行されるものであってよい。   FIG. 5 is a flowchart showing the flow of main processing realized in the display control apparatus 10B according to the present embodiment. Regarding the description of FIG. 5, the same processes as those in FIG. 4 according to the first embodiment are denoted by the same reference numerals and the description thereof is omitted. The process shown in FIG. 5 may be repeatedly executed while the vehicle is running after the ignition switch is turned on until the ignition switch is turned off.
ステップ112では、表示位置決定部16Bは、上記のステップ106で得た現在の運転者の視線方向に基づいて、表示装置群20の中から、現在の運転者の視線方向の近傍の適正範囲側の方向にある表示装置を、出力対象の表示装置として選択する。例えば、図6(A)に示すように、運転者の視線方向の適正範囲が右斜め前方方向であるが、運転者の視線方向が助手席側のダッシュボードに向かう方向である場合を想定する。この場合、当該視線方向近傍に、左のサイドミラーに設けられる表示装置22と、インパネ等に配置されるナビゲーション装置のディスプレイとしての表示装置21と、ルームミラーに設けられる表示装置24とが存在し、表示装置22の方が他の表示装置21,24よりも運転者の視線方向に近いにも拘らず、表示位置決定部16Bは、表示装置21,22,24のうち、適正範囲側に存在する表示装置21及び24を、出力対象の表示装置として選択する。尚、図6(A)に示す例のように、水平面内で見て、表示装置21及び24の方向に差異が実質的にない場合には、表示位置決定部16Bは、表示装置21及び24の双方を選択してもよい。或いは、水平面に対する運転者の視線方向を考慮して、表示装置21及び24の何れか一方を選択してもよい。例えば、図6(B)に示す例のように、鉛直面内で見て、運転者の視線方向に近い方の表示装置21が、出力対象の表示装置として選択されてよい。   In step 112, the display position determination unit 16B determines, based on the current driver's line-of-sight direction obtained in step 106, an appropriate range side in the vicinity of the current driver's line-of-sight direction from the display device group 20. Is selected as the output target display device. For example, as shown in FIG. 6A, it is assumed that the appropriate range of the driver's line-of-sight direction is the diagonally forward right direction, but the driver's line-of-sight direction is the direction toward the passenger side dashboard. . In this case, a display device 22 provided in the left side mirror, a display device 21 as a display of a navigation device arranged in an instrument panel, and a display device 24 provided in the room mirror exist in the vicinity of the line-of-sight direction. Although the display device 22 is closer to the driver's line-of-sight direction than the other display devices 21 and 24, the display position determining unit 16B exists on the appropriate range side of the display devices 21, 22, and 24. The display devices 21 and 24 to be selected are selected as display devices to be output. Note that, as in the example shown in FIG. 6A, when there is substantially no difference in the directions of the display devices 21 and 24 when viewed in the horizontal plane, the display position determination unit 16B displays the display devices 21 and 24. Both may be selected. Alternatively, one of the display devices 21 and 24 may be selected in consideration of the driver's line-of-sight direction with respect to the horizontal plane. For example, as in the example illustrated in FIG. 6B, the display device 21 closer to the driver's line-of-sight direction as viewed in the vertical plane may be selected as the output target display device.
ステップ122では、表示制御部19Bは、上記のステップ120にて表示画像生成部18Bにより生成された表示画像を、上記のステップ110にて選択された表示装置に出力する。これにより、運転者は、その視線方向の先にある表示装置に表示画像が出力されることに反応して、当該表示画像を見ることで、その視線方向を注意喚起方向に変化させる前に、注意喚起方向に存在する状況を把握することができる。   In step 122, the display control unit 19B outputs the display image generated by the display image generation unit 18B in step 120 to the display device selected in step 110. Thereby, the driver reacts to the display image being output to the display device ahead of the line-of-sight direction and looks at the display image before changing the line-of-sight direction to the alerting direction. It is possible to grasp the situation that exists in the alert direction.
以上説明した本実施例によれば、運転者の視線方向が、注意すべき環境に向けられていない場合でも、運転者の視線方向近傍の表示装置に、注意すべき環境を撮像した画像が出力されるので、運転者は、その視線方向を、注意すべき環境の存在する方向(即ち注意喚起方向)に変化させる前に、当該出力された表示画像を見ることで、当該注意すべき環境を把握することができる。   According to the present embodiment described above, even when the driver's line-of-sight direction is not directed to the environment to be watched, an image of the environment to be watched is output to the display device in the vicinity of the driver's line-of-sight direction. Therefore, the driver changes the line-of-sight direction by looking at the output display image before changing the line-of-sight direction to the direction in which the environment to be noted exists (that is, the direction to call attention). I can grasp it.
特に、本実施例によれば、上述の如く、運転者の視線方向近傍で適性範囲側の方向にある表示装置に、注意すべき環境を撮像した画像が出力されるので、運転者の視線方向近傍で適性範囲とは反対側の方向にある表示装置(図6(A)の例では表示装置22)に、注意すべき環境を撮像した画像が出力される比較構成に比べて、運転者は、当該出力された表示画像を見てから、短時間で、その視線方向を、注意すべき環境を実際に目視できる方向(即ち適性範囲内)に変化させることができる。他言すると、運転者は、当該出力された表示画像を見る際に、視線方向を僅かに変化させるが、その変化方向と同一の方向に更に連続的に視線方向を変化させることで、注意すべき環境を実際に目視できる方向(即ち適性範囲内)に視線方向を変化させることができる。更に他言すると、運転者は、自然な流れで、表示画像を見る視線方向から、注意すべき環境を実際に目視できる視線方向へと視線方向を変化させることができる。これにより、注意すべき環境を実際に目視できる視線方向へと運転者の視線方向を効果的に誘導することができる。   In particular, according to the present embodiment, as described above, an image that captures the environment to which attention should be paid is output to the display device in the direction of the aptitude range in the vicinity of the driver's line-of-sight direction. Compared to a comparative configuration in which an image that captures an environment to be watched is output to a display device (display device 22 in the example of FIG. 6A) in the direction opposite to the aptitude range in the vicinity, In a short time after viewing the output display image, the direction of the line of sight can be changed to a direction in which the environment to be watched can be actually visually observed (that is, within an appropriate range). In other words, the driver changes the line-of-sight direction slightly when viewing the output display image, but is careful to change the line-of-sight direction continuously in the same direction as the change direction. The line-of-sight direction can be changed in a direction in which the power environment can be actually seen (that is, within the appropriate range). In other words, the driver can change the line-of-sight direction from the line-of-sight direction in which the displayed image is viewed to the line-of-sight direction in which the environment to be watched can be actually visually observed in a natural flow. Thereby, a driver | operator's gaze direction can be guide | induced effectively to the gaze direction which can actually visually observe the environment which should be careful.
尚、本実施例においても、上述の実施例1に関連して上述したような追加的構成の他、各種の変形例が考えられる。   In the present embodiment, various modifications can be considered in addition to the additional configuration described above in connection with the first embodiment.
例えば、出力対象の表示装置を選択する際に、運転者の特性を考慮してもよい。これは、上述の如く運転者の視線方向から適正範囲側にずらした方向の表示装置を選択する場合に、そのずらし量が大きいと、運転者によっては気が付かない場合が考えられるからである。運転者の特性は、過去の表示画像出力時の反応(例えば、視線方向の適正範囲への移動の有無、表示画像出力時から移動までの時間、表示画像出力時の視線方向の変化等)に基づいて判断され、かかる運転者の特性の表すデータは、例えば運転者データベースに運転者毎に蓄積されてもよい。かかる変形例では、例えば、図6に示す例で、運転者の特性上、表示装置21を選択すると却って反応が遅くなる場合には、表示位置決定部16Bは、表示装置24を、出力対象の表示装置として選択することとしてもよい。   For example, when selecting a display device to be output, driver characteristics may be taken into consideration. This is because, as described above, when selecting a display device in a direction shifted from the driver's line-of-sight direction to the appropriate range side, if the shift amount is large, some drivers may not notice. The characteristics of the driver depend on the response at the time of past display image output (for example, presence or absence of movement to an appropriate range of the line-of-sight direction, time from display image output to movement, change of line-of-sight direction at the time of display image output, etc.) Data that is determined based on the characteristics of the driver and may be accumulated for each driver in a driver database, for example. In such a modification, for example, in the example illustrated in FIG. 6, when the display device 21 is selected and the reaction is delayed due to the characteristics of the driver, the display position determination unit 16B causes the display device 24 to be the output target. It is good also as selecting as a display apparatus.
実施例3は、上述した実施例1に対して、適正範囲へと運転者の視線方向を誘導する方向に表示画像の表示位置を徐々に変化させる点が、主に異なる。その他の構成は、上述した実施例1と同様であって良く、以下では、実施例3に特有の構成について重点的に説明する。   The third embodiment is mainly different from the first embodiment described above in that the display position of the display image is gradually changed in a direction in which the driver's line-of-sight direction is guided to an appropriate range. Other configurations may be the same as those of the first embodiment described above, and the configuration unique to the third embodiment will be mainly described below.
本実施例3では、表示装置群20Cは、上述の表示装置21乃至26に代えて、若しくはそれら全て又はそれらのうちの任意の表示装置に加えて、ウインドシールドガラス(フロントガラス)に設けられる表示装置27を含む。表示装置27は、図7に概略的に示すように、ウインドシールドガラス上に車両幅方向に沿って複数の表示領域27a〜27hを有する。この表示領域27a〜27hには、通常時には画像は表示されず、透明のままである。この表示領域27a〜27hにおける画像の表示は、例えば各表示領域27a〜27hに対応してそれぞれ設けられる複数個のヘッドアップディスプレイ装置により実現されてもよいし、或いは、表示領域27a〜27hをそれぞれ透過型液晶により構成することにより実現されてもよい。   In the third embodiment, the display device group 20 </ b> C is a display provided on a windshield glass (front glass) instead of the above-described display devices 21 to 26, or in addition to all or any of them. Device 27 is included. As schematically shown in FIG. 7, the display device 27 has a plurality of display areas 27 a to 27 h on the windshield glass along the vehicle width direction. In the display areas 27a to 27h, an image is not normally displayed and remains transparent. The display of images in the display areas 27a to 27h may be realized by, for example, a plurality of head-up display devices provided corresponding to the display areas 27a to 27h, or the display areas 27a to 27h may be respectively displayed. You may implement | achieve by comprising with a transmissive liquid crystal.
図8は、本実施例による表示制御装置10Cに実現される主要処理の流れを示すフローチャートである。尚、図8の説明に関して、上述の実施例1に係る図4と同様の処理については、同一の参照符号を付して説明を省略する。図8に示す処理は、イグニッションスイッチがオンとされた後、イグニッションスイッチがオフにされるまでの間、車両の走行中に繰り返し実行されるものであってよい。   FIG. 8 is a flowchart showing the flow of main processing realized in the display control apparatus 10C according to the present embodiment. In addition, regarding the description of FIG. 8, the same processes as those of FIG. 4 according to the first embodiment described above are denoted by the same reference numerals, and the description thereof is omitted. The process shown in FIG. 8 may be repeatedly executed while the vehicle is running after the ignition switch is turned on until the ignition switch is turned off.
ステップ116では、表示位置決定部16Cは、上記のステップ106で得た現在の運転者の視線方向に基づいて、表示装置27の表示領域27a〜27hのうち、現在の運転者の視線方向の近傍の適正範囲側の方向にある表示領域を、出力対象の表示領域として選択する。例えば、図9に示す例では、注意喚起方向が表示装置27の領域27gの方向に対応し、それに伴い適正範囲が表示装置27の領域27f〜27hの方向に対応する一方で、運転者の視線方向は、適正範囲から大きく逸脱した左のサイドミラー方向である。この場合、表示位置決定部16Cは、現在の運転者の視線方向の近傍の適正範囲側の方向にある表示領域27aを、出力対象の表示領域として選択する。   In step 116, the display position determination unit 16C is based on the current driver's line-of-sight direction obtained in step 106, and is near the current driver's line-of-sight direction among the display areas 27a to 27h of the display device 27. The display area in the direction of the appropriate range is selected as the display area to be output. For example, in the example illustrated in FIG. 9, the alerting direction corresponds to the direction of the region 27 g of the display device 27, and accordingly, the appropriate range corresponds to the directions of the regions 27 f to 27 h of the display device 27, while The direction is the left side mirror direction that deviates greatly from the appropriate range. In this case, the display position determination unit 16C selects the display area 27a in the direction of the appropriate range near the current driver's line-of-sight direction as the display area to be output.
ステップ123では、表示制御部19Cは、上記のステップ120にて表示画像生成部18Cにより生成された表示画像を、上記のステップ110にて選択された表示装置27の表示領域に出力する。これにより、運転者は、その視線方向近傍にある表示装置27の表示領域に表示画像が出力されることに反応して、当該表示画像を見ることで、その視線方向を注意喚起方向に変化させる前に、注意喚起方向に存在する状況を把握することができる。   In step 123, the display control unit 19C outputs the display image generated by the display image generation unit 18C in step 120 to the display area of the display device 27 selected in step 110. Thus, the driver reacts to the display image being output to the display area of the display device 27 in the vicinity of the line-of-sight direction, and changes the line-of-sight direction to the alerting direction by viewing the display image. Before, it is possible to grasp the situation that exists in the alert direction.
ステップ130では、視線方向評価部14Cは、上記のステップ123で表示画像を出力した後の運転者の視線方向を監視し、運転者の視線方向が適性範囲内に変化したか否かを判定する。運転者の視線方向が適性範囲内に変化した場合には、ステップ140に進み、それ以外の場合には、ステップ132に進む。   In step 130, the line-of-sight direction evaluation unit 14C monitors the driver's line-of-sight direction after outputting the display image in step 123, and determines whether or not the driver's line-of-sight direction has changed within the appropriate range. . If the driver's line-of-sight direction changes within the appropriate range, the process proceeds to step 140; otherwise, the process proceeds to step 132.
ステップ132では、視線方向評価部14Cは、上記のステップ123で表示画像を出力した後の運転者の視線方向を監視し、運転者の視線方向が、表示画像が出力された表示装置27の表示領域の方向に変化したか否かを判定する。運転者の視線方向が、表示画像が出力された表示装置27の表示領域の方向に変化した場合には、ステップ134に進み、それ以外の場合には、ステップ116に戻る。ステップ116に戻る場合には、続くステップ120及び123において、最新の運転者の視線方向に応じて選択された表示装置の領域に、最新の外部環境画像に基づいて生成された表示画像が出力されることになる。   In step 132, the line-of-sight direction evaluation unit 14C monitors the driver's line-of-sight direction after outputting the display image in step 123, and the driver's line-of-sight direction is displayed on the display device 27 on which the display image is output. It is determined whether or not it has changed in the direction of the area. If the driver's line-of-sight direction has changed to the direction of the display area of the display device 27 from which the display image has been output, the process proceeds to step 134; otherwise, the process returns to step 116. In the case of returning to step 116, in the subsequent steps 120 and 123, the display image generated based on the latest external environment image is output to the region of the display device selected according to the latest driver's line-of-sight direction. Will be.
ステップ134では、表示位置決定部16Cは、現在の表示装置27の表示領域よりも更に適正範囲側の方向にある表示領域を、出力対象の表示領域として選択する。例えば、図9に示す例で、現在の表示装置27の表示領域が表示領域27aの場合、表示領域27aの近傍の適正範囲側の方向にある表示領域27bを、出力対象の表示領域として選択する。このようにして、運転者の視線方向が適性範囲内に変化するまで(ステップ130の肯定判定まで)、出力対象の表示装置27の表示領域が、適正範囲に向けて徐々に変更される。即ち、図9に示す例では、出力対象の表示装置27の表示領域が、表示領域27aから27b、27c、27d、27eの順に徐々に変更される。   In step 134, the display position determination unit 16 </ b> C selects a display area in a direction closer to the appropriate range than the display area of the current display device 27 as a display area to be output. For example, in the example shown in FIG. 9, when the display area of the current display device 27 is the display area 27a, the display area 27b in the direction of the appropriate range near the display area 27a is selected as the display area to be output. . In this way, the display area of the display device 27 to be output is gradually changed toward the appropriate range until the driver's line-of-sight direction changes within the appropriate range (until affirmative determination in step 130). That is, in the example shown in FIG. 9, the display area of the display device 27 to be output is gradually changed in the order of the display areas 27a to 27b, 27c, 27d, and 27e.
以上説明した本実施例によれば、運転者の視線方向が、注意すべき環境に向けられていない場合でも、運転者の視線方向近傍の表示装置27の表示領域に、注意すべき環境を撮像した画像が出力されるので、運転者は、その視線方向を、注意すべき環境の存在する方向(即ち注意喚起方向)に変化させる前に、当該出力された表示画像を見ることで、当該注意すべき環境を把握することができる。   According to the present embodiment described above, even when the driver's line-of-sight direction is not directed to the environment where attention should be paid, the environment where attention should be paid is captured in the display area of the display device 27 in the vicinity of the driver's line-of-sight direction. The driver can view the displayed image before changing the direction of the line of sight to the direction in which the environment to be noted exists (that is, the direction of alerting). The environment that should be understood.
また、本実施例によれば、上述の如く、運転者の視線方向近傍で適性範囲側の方向にある表示装置27の表示領域に、注意すべき環境を撮像した画像が出力されるので、運転者の視線方向近傍で適性範囲とは反対側の方向にある表示装置27の表示領域に、注意すべき環境を撮像した画像が出力される比較構成に比べて、運転者は、当該出力された表示画像を見てから、短時間で、その視線方向を、注意すべき環境を実際に目視できる方向(即ち適性範囲内)に変化させることができる。   In addition, according to the present embodiment, as described above, an image that captures the environment to which attention should be paid is output to the display area of the display device 27 in the direction of the aptitude range in the vicinity of the driver's line of sight. Compared with a comparative configuration in which an image of the environment to be watched is output to the display area of the display device 27 in the direction opposite to the aptitude range in the vicinity of the visual line direction of the driver, the driver has output the output. In a short time after viewing the display image, the direction of the line of sight can be changed to a direction in which the environment to be watched can be actually visually observed (that is, within the appropriate range).
特に、本実施例によれば、上述の如く、表示画像が出力される表示装置27の表示領域が、適性範囲側の方向に徐々に変化されるので、適性範囲内へと運転者の視線方向を効果的に誘導することができる。   In particular, according to the present embodiment, as described above, the display area of the display device 27 where the display image is output is gradually changed in the direction toward the aptitude range, so that the driver's line-of-sight direction is within the aptitude range. Can be effectively induced.
尚、本実施例においても、上述の実施例1に関連して上述したような追加的構成の他、各種の変形例が考えられる。   In the present embodiment, various modifications can be considered in addition to the additional configuration described above in connection with the first embodiment.
例えば、本実施例では、最初の表示対象の表示装置27の表示領域を、上述の実施例2の決定方法に従って、運転者の視線方向近傍で適性範囲側の方向にある表示装置27の表示領域に設定しているが、上述の実施例1の決定方法に従って、運転者の視線方向の先にある表示装置27の表示領域(又はその他の表示装置)に設定してもよい。例えば、図9に示す例で、最初の表示対象の表示装置は、運転者の視線方向の先にある表示装置22(左のサイドミラーに設けられる表示装置)に設定されてもよい。この場合、出力対象の表示装置及び表示装置27の表示領域が、表示装置22から、表示装置27の表示領域27a、27b、27c、27d、27eの順に徐々に変更される。   For example, in the present embodiment, the display area of the display device 27 that is the first display target is the display area of the display device 27 that is in the direction of the aptitude range near the driver's line-of-sight direction according to the determination method of the second embodiment described above. However, according to the determination method of the first embodiment, the display area (or other display device) of the display device 27 ahead of the driver's line of sight may be set. For example, in the example illustrated in FIG. 9, the first display target display device may be set to the display device 22 (display device provided in the left side mirror) that is ahead of the driver's line of sight. In this case, the display device of the output target and the display area of the display device 27 are gradually changed from the display device 22 in the order of the display areas 27a, 27b, 27c, 27d, and 27e of the display device 27.
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。   The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to the above-described embodiments, and various modifications and substitutions can be made to the above-described embodiments without departing from the scope of the present invention. Can be added.
例えば、上述した実施例では、表示画像は、所定位置に配置される表示装置上に表示されているが、例えばホログラフィ技術を用いて、任意の空間位置に結像させることにより出力されてもよい。この場合、運転者の視線方向の先に、表示画像を結像させる際には、運転者の見易さを考慮し(即ち焦点位置を変更が最小限に抑えられるように)、ある程度運転者の目の位置から遠い位置に、表示画像を結合させることしてもよい。   For example, in the above-described embodiment, the display image is displayed on a display device arranged at a predetermined position, but may be output by forming an image at an arbitrary spatial position using, for example, holography technology. . In this case, when the display image is formed ahead of the driver's line of sight, the driver's visibility is taken into consideration (that is, the focal position can be changed to a minimum), and the driver is to some extent. The display image may be combined at a position far from the eye position.
実施例1による外部環境表示装置1の主要構成を示す図である。It is a figure which shows the main structures of the external environment display apparatus 1 by Example 1. FIG. 表示制御装置10Aの主要構成を示すブロック図である。It is a block diagram which shows the main structures of display control apparatus 10A. 顔の眉と目の部分がパーツとして抽出された画像を示す図である。It is a figure which shows the image from which the eyebrows and eye part of the face were extracted as parts. 実施例1による表示制御装置10Aに実現される主要処理の流れを示すフローチャートである。6 is a flowchart illustrating a flow of main processing realized in the display control apparatus 10A according to the first embodiment. 実施例2による表示制御装置10Bに実現される主要処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the main processes implement | achieved by the display control apparatus 10B by Example 2. FIG. 図6(A)は、水平面内における運転者の視線方向と適正範囲との関係を概略的に示す図であり、図6(B)は、鉛直面内における運転者の視線方向と適正範囲との関係を概略的に示す図である。FIG. 6 (A) is a diagram schematically showing the relationship between the driver's line-of-sight direction and the appropriate range in the horizontal plane, and FIG. 6 (B) shows the driver's line-of-sight direction and the appropriate range in the vertical plane. FIG. ウインドシールドガラス上に設けられる複数の表示領域27a〜27hを概略的に示す図である。It is a figure which shows roughly the some display area 27a-27h provided on a windshield glass. 実施例3による表示制御装置10Cに実現される主要処理の流れを示すフローチャートである。It is a flowchart which shows the flow of the main processes implement | achieved by 10 C of display control apparatuses by Example 3. FIG. 、水平面内における運転者の視線方向と適正範囲と表示領域27a〜27hとの関係を概略的に示す図である。It is a figure which shows roughly the relationship between the driver | operator's eyes | visual_axis direction in a horizontal surface, an appropriate range, and display area 27a-27h.
符号の説明Explanation of symbols
1 外部環境表示装置
10A 表示制御装置
12A 注意喚起方向決定部
14A 視線方向評価部
16A 表示位置決定部
18A 表示画像生成部
19A 表示制御部
20 表示装置群
22乃至27 表示装置
30,31,32 カメラ
40 ドライバモニターカメラ
42 ドライバモニターECU
DESCRIPTION OF SYMBOLS 1 External environment display apparatus 10A Display control apparatus 12A Attention direction determination part 14A Gaze direction evaluation part 16A Display position determination part 18A Display image generation part 19A Display control part 20 Display apparatus group 22 thru | or 27 Display apparatus 30, 31, 32 Camera 40 Driver monitor camera 42 Driver monitor ECU

Claims (3)

  1. 運転者の視線方向を検知する視線方向検知手段と、
    車両の外部環境を撮像する撮像手段と、
    前記視線方向検知手段により検知された視線方向が所定範囲内にあるか否かを判定する判定手段と、
    前記判定手段により運転者の視線方向が所定範囲内に無いと判定された場合に、前記撮像手段が撮像した画像を用いて、運転者の視線方向が前記所定範囲であると仮定したときに運転者の目に映る外部環境の画像を、運転者の視線方向に応じた方向に表示する表示位置制御手段とを備えることを特徴とする、外部環境表示装置。
    Gaze direction detection means for detecting the driver's gaze direction;
    Imaging means for imaging the external environment of the vehicle;
    Determining means for determining whether or not the line-of-sight direction detected by the line-of-sight direction detecting means is within a predetermined range;
    When it is determined by the determination means that the driver's line-of-sight direction is not within a predetermined range, driving is performed when it is assumed that the driver's line-of-sight direction is within the predetermined range using an image captured by the imaging unit. An external environment display device comprising: display position control means for displaying an image of the external environment that is visible to the driver's eyes in a direction corresponding to the driver's line-of-sight direction.
  2. 前記表示位置制御手段は、運転者の視線方向の先に、前記外部環境の画像を表示する、請求項1に記載の外部環境表示装置。   The external environment display device according to claim 1, wherein the display position control unit displays an image of the external environment ahead of a driver's line of sight.
  3. 前記表示位置制御手段は、運転者の視線方向近辺で前記所定範囲側の方向に、前記外部環境の画像を表示する、請求項1に記載の外部環境表示装置。   The external environment display device according to claim 1, wherein the display position control unit displays an image of the external environment in a direction in the predetermined range side in the vicinity of the driver's line of sight.
JP2007000232A 2007-01-04 2007-01-04 External environment display device Pending JP2008162550A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007000232A JP2008162550A (en) 2007-01-04 2007-01-04 External environment display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007000232A JP2008162550A (en) 2007-01-04 2007-01-04 External environment display device

Publications (1)

Publication Number Publication Date
JP2008162550A true JP2008162550A (en) 2008-07-17

Family

ID=39692574

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007000232A Pending JP2008162550A (en) 2007-01-04 2007-01-04 External environment display device

Country Status (1)

Country Link
JP (1) JP2008162550A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011116210A (en) * 2009-12-02 2011-06-16 Honda Motor Co Ltd Gaze determination device
JP2015134521A (en) * 2014-01-16 2015-07-27 三菱電機株式会社 vehicle information display control device
JP2016060225A (en) * 2014-09-12 2016-04-25 アイシン精機株式会社 Parking support device, parking support method and control program
JP2018173716A (en) * 2017-03-31 2018-11-08 株式会社Subaru Information output device

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011116210A (en) * 2009-12-02 2011-06-16 Honda Motor Co Ltd Gaze determination device
JP2015134521A (en) * 2014-01-16 2015-07-27 三菱電機株式会社 vehicle information display control device
JP2016060225A (en) * 2014-09-12 2016-04-25 アイシン精機株式会社 Parking support device, parking support method and control program
JP2018173716A (en) * 2017-03-31 2018-11-08 株式会社Subaru Information output device

Similar Documents

Publication Publication Date Title
US8405491B2 (en) Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
JP5099451B2 (en) Vehicle periphery confirmation device
JP4683192B2 (en) Vehicle blind spot monitoring device and vehicle driving support system
JP4872245B2 (en) Pedestrian recognition device
JP2007087336A (en) Vehicle peripheral information display device
JP2005067514A (en) Vehicular display device
WO2017145549A1 (en) Looking aside and oversight warning system and computer program
JP5093611B2 (en) Vehicle periphery confirmation device
WO2017056401A1 (en) Control device, control method, and program
JP2009269551A (en) Display for vehicle
JP4970379B2 (en) Vehicle display device
CN107284356B (en) Vehicle mirror alternative system
JP5402047B2 (en) Blind spot display device
JP2018182646A (en) Image display device
JP2008162550A (en) External environment display device
JP4337130B2 (en) Control device for driving device
JP5855206B1 (en) Transmission display device for vehicle
JP2016055801A (en) On-vehicle display device
KR101209796B1 (en) Display device for vehicle with foreground penetration function and display method of the same
JP4033170B2 (en) Vehicle display device
WO2013065122A1 (en) Obstacle alert device
KR102130059B1 (en) Digital rearview mirror control unit and method
JP2019180075A (en) Operation support system, image processing system, and image processing method
WO2013114871A1 (en) Driving assistance device and driving assistance method
JP5289920B2 (en) Vehicle alarm device