JP2001023091A - Picture display device for vehicle - Google Patents

Picture display device for vehicle

Info

Publication number
JP2001023091A
JP2001023091A JP19243399A JP19243399A JP2001023091A JP 2001023091 A JP2001023091 A JP 2001023091A JP 19243399 A JP19243399 A JP 19243399A JP 19243399 A JP19243399 A JP 19243399A JP 2001023091 A JP2001023091 A JP 2001023091A
Authority
JP
Grant status
Application
Patent type
Prior art keywords
object
vehicle
display
region
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP19243399A
Other languages
Japanese (ja)
Other versions
JP4334686B2 (en )
Inventor
Hiroshi Hattori
Shinji Nagaoka
Takayuki Tsuji
Masato Watanabe
弘 服部
正人 渡辺
孝之 辻
伸治 長岡
Original Assignee
Honda Motor Co Ltd
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date

Links

Abstract

PROBLEM TO BE SOLVED: To provide a picture display device for detecting an object existing in the traveling direction of a vehicle, and for allowing a driver to easily and accurately capture the peripheral situation.
SOLUTION: An object existing in the traveling direction of a vehicle is extracted from a picture obtained by a camera loaded on a vehicle, and the position is detected. A display screen 41 of a head-up display is divided into three regions, and a picture obtained by the camera and the emphasized picture of an object existing in an approach deciding region set in the traveling direction of the vehicle are displayed in a central region 41a. Also, icons ICR and ICL corresponding to objects existing in intrusion deciding regions set outside the approach judging region are displayed in a right region 41b and left region 41c.
COPYRIGHT: (C)2001,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、撮像装置などにより車両の進行方向に存在する対象物を検出して、ヘッドアップディスプレイに表示する車両の画像表示装置に関する。 The present invention relates detects the object existing in the traveling direction of the vehicle by an imaging apparatus, an image display device for a vehicle to be displayed on the head-up display.

【0002】 [0002]

【従来の技術】車両の前方に存在する障害物を検出し、 Detecting an obstacle existing in front of the Related Art vehicle,
その障害物の危険度が高いときは、ヘッドアップディスプレイによりその障害物を赤枠で囲む表示をすることにより、運転者に確実に危険を知らせるようにした危険情報警報装置が従来より知られている(特開平6−215 At high risk of the obstacle, the obstacle by the head-up display by the display surrounded by a red frame, the danger information warning apparatus that inform the reliable danger to the driver is conventionally known It is (JP-A-6-215
300号公報)。 300 JP).

【0003】 [0003]

【発明が解決しようとする課題】しかしながら、上記従来の装置では、検出した障害物の実物の像と表示される赤枠とがフロントウインドウ上で重畳して示されるように赤枠の表示位置の計算を行い、ヘッドアップディスプレイの表示制御を行うようにしているので、表示制御が複雑化するという問題や、遠方に存在する障害物の実物像は小さいので運転者が容易に視認できないという問題がある。 However [0006], the above-described conventional device, a red frame that appears as real image of the detected obstacle is the display position of the red frame as shown superimposed on the front window perform calculations, since to perform the display control of the head-up display, or a problem that the display control complex, a problem that the driver because the real image is small obstacles existing in distant is not readily visible is there.

【0004】本発明はこのような点に着目してなされたものであり、車両の進行方向に存在する対象物を検出し、運転者が容易且つ確実に周辺状況を把握できるようにした画像表示装置を提供することを目的とする。 [0004] The present invention has been made in view of such points, and detects the object existing in the traveling direction of the vehicle, the driver can easily and reliably image display so as to grasp the situation around and to provide a device.

【0005】 [0005]

【課題を解決するための手段】上記目的を達成するため請求項1に記載の発明は、車両の進行方向に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の表示を行うヘッドアップディスプレイとを備えた車両の画像表示装置において、前記対象物検出手段により、当該車両の進行方向に設定される接近判定領域内で対象物が検出されたときは、その対象物の位置に応じた表示を行うように前記ヘッドアップディスプレイを制御し、前記対象物検出手段により、前記接近判定領域の外側に設定される侵入判定領域内で対象物が検出されたときは、その対象物が存在することを示す情報を表示するように前記ヘッドアップディスプレイを制御する表示制御手段とを備えることを特徴とする。 Means for Solving the Problems The invention described in claim 1 for achieving the above object, the object detecting means for detecting an object existing in the traveling direction of the vehicle, is detected by the object detecting means in the image display device for the vehicle with a head-up display for displaying the object was, by the object detecting means, when the object in approach determination region set in the traveling direction of the vehicle is detected the controls the head up display to perform display in accordance with the position of the object by the object detecting means, the object is detected in the approach determination intrusion determination area set outside the region time, characterized by comprising a display control means for controlling said head-up display to display information indicating that the object is present.

【0006】この構成によれば、当該車両の進行方向に設定される接近判定領域内で対象物が検出されたときは、ヘッドアップディスプレイにその対象物の位置に応じた表示が行われ、接近判定領域の外側に設定される侵入判定領域内で対象物が検出されたときは、その対象物が存在することを示す情報がヘッドアップディスプレイに表示されるので、接近判定領域内あるいは侵入判定領域内に対象物が存在するか否かを運転者が容易に視認することができ、さらに接近判定領域内に存在する対象物についてはその位置についての認識も容易に得ることが可能となる。 [0006] According to this arrangement, when the object in approach determination region set in the traveling direction of the vehicle is detected, the display corresponding to the position of the object on the head-up display is performed, approaching when the object intrusion judging area set outside the determination area is detected, information indicating that the object is present is displayed on the head-up display, approach determination area or intrusion determination area whether the object is present can the driver to easily view within, for the object existing in the further approach determination area can be obtained easily recognition of the location.

【0007】前記ヘッドアップディスプレイの表示画面は、水平方向に3分割されており、中央の領域に前記接近判定領域内で検出された対象物に対応する表示が行われ、前記中央の領域を挟む左右の領域には、前記侵入判定領域内で検出された対象物に対応する表示が行われることが望ましい。 [0007] The display screen of the head-up display is divided into three parts in the horizontal direction, display corresponding to objects detected in the central area in the approach determination region is made, sandwiching the central region the left and right regions, display corresponding to the object detected by the intrusion determination area is desirably carried out. さらに前記中央の領域には、撮像手段により得られる画像を表示して、検出した対象物の強調表示を行ったり、あるいは検出した対象物に対応するアイコンを表示して、当該車両とその対象物との距離が近いほどそのアイコンが大きくなるように制御することが望ましい。 Furthermore wherein the central area, and displaying the image obtained by the imaging unit, and go highlighting detected object, or to display the icon corresponding to the detected object, the vehicle and the object it is desirable to control so that the distance is more the icon becomes large near the.

【0008】また前記左右の領域に検出した対象物に対応するアイコンを表示し、当該車両とその対象物との距離が近いほどそのアイコンが大きくなるように制御するようにしてもよい。 [0008] and displays icons corresponding to the detected object to the left and right regions, may be as the distance between the vehicle and the object is near its icon is controlled to be increased. 本発明の他の特徴は、車両の進行方向に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の表示を行うヘッドアップディスプレイとを備えた車両の画像表示装置において、前記対象物検出手段により、当該車両の進行方向に対象物が検出されたときは、その対象物の位置に応じたアイコンを表示するように前記ヘッドアップディスプレイを制御する表示制御手段を備えることである。 Another feature of the present invention, the object detecting means for detecting an object existing in the traveling direction of the vehicle, the vehicle having a head up display for displaying an object detected by the object detecting means in the image display device, by the object detecting means, when the object in the traveling direction of the vehicle is detected, the display control for controlling the head-up display to display an icon corresponding to the position of the object it is to comprise means.

【0009】 [0009]

【発明の実施の形態】以下本発明の実施の形態を図面を参照して説明する。 DETAILED DESCRIPTION OF THE INVENTION be described with reference to the drawings showing an embodiment invention. 図1は本発明の一実施形態にかかる画像表示装置を含む、車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な2つの赤外線カメラ1R,1Lと、当該車両のヨーレートを検出するヨーレートセンサ5と、当該車両の走行速度(車速)VCARを検出する車速センサ6と、ブレーキの操作量を検出するためのブレーキセンサ7と、これらのカメラ1R,1Lによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット2と、音声で警報を発するためのスピーカ3と、カメラ1Rまたは1L Figure 1 includes an image display apparatus according to an embodiment of the present invention is a diagram showing a structure of a periphery monitoring apparatus of a vehicle, the apparatus, far infrared capable of detecting two infrared cameras 1R, and 1L, the obtained a yaw rate sensor 5 for detecting a yaw rate of the vehicle, a vehicle speed sensor 6 which detects the traveling speed (vehicle speed) VCAR of the vehicle, a brake sensor 7 for detecting an operation amount of the brake, by these cameras 1R, 1L detecting an object such as an animal in front of the vehicle on the basis of image data to be an image processing unit 2 for issuing an alarm when there is a high possibility of a collision, a speaker 3 for issuing a warning voice, the camera 1R or 1L
によって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ(以下「HUD」という)4とを備えている。 It displays an image obtained by, and a head-up display (hereinafter referred to as "HUD") 4 for recognizing the likely target of the collision to the driver.

【0010】カメラ1R、1Lは、図2に示すように車両10の前部に、車両10の横方向の中心軸に対してほぼ対象な位置に配置されており、2つのカメラ1R、1 [0010] The camera 1R, 1L is the front of the vehicle 10 as shown in FIG. 2, are arranged in substantially symmetrical positions with respect to the longitudinal central axis of the vehicle 10, two cameras 1R, 1
Lの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。 L of the optical axis are parallel to each other, heights from the road surface is fixed to be equal. 赤外線カメラ1R、 Infrared cameras 1R,
1Lは、対象物の温度が高いほど、その出力信号レベルが高くなる(輝度が増加する)特性を有している。 1L, the higher the temperature of the object is high, its output signal level becomes (brightness increases) high has a characteristic.

【0011】画像処理ユニット2は、入力アナログ信号をディジタル信号に変換するA/D変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うCPU(Central Processing Unit)、CPUが演算途中のデータを記憶するために使用するRAM(Ra [0011] The image processing unit 2, A / D converter circuit for converting an input analog signal into a digital signal, an image memory for storing the image signal obtained by digitizing, CPU for performing various computations (Central Processing Unit), CPU is operational RAM used to store data during (Ra
ndom Access Memory)、CPUが実行するプログラムやテーブル、マップなどを記憶するROM(Read Only Me ndom Access Memory), a program executed by the CPU, tables, ROM that stores a map (Read Only Me
mory)、スピーカ3の駆動信号、HUD4の表示信号などを出力する出力回路などを備えており、カメラ1R, Mory), the drive signal of the speaker 3, and an output circuit for outputting the like display signal HUD 4, the camera 1R,
1L及びセンサ5〜7の出力信号は、ディジタル信号に変換されて、CPUに入力されるように構成されている。 The output signal of 1L and the sensor 5-7 is converted into a digital signal, and is configured to be inputted to the CPU. HUD4は、図2に示すように、車両10のフロントウインドウの、運転者の前方位置に画面41が表示されるように設けられている。 HUD4, as shown in FIG. 2, the front window of the vehicle 10, the screen 41 in a forward position of the driver is provided so as to be displayed.

【0012】図3は画像処理ユニット2における対象物の位置検出処理の手順を示すフローチャートであり、先ずカメラ1R、1Lの出力信号をA/D変換して画像メモリに格納する(ステップS11,S12,S13)。 [0012] Figure 3 is a flow chart showing the procedure of position detection processing of the object in the image processing unit 2, first camera 1R, it stores the output signal of 1L A / D-converts the image memory (step S11, S12 , S13).
画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。 Images stored in the image memory is a gray-scale images including luminance information. 図5(a)(b)は、それぞれはカメラ1R,1Lによって得られるグレースケール画像(カメラ1Rにより右画像が得られ、カメラ1Lにより左画像が得られる)を説明するための図であり、ハッチングを付した領域は、中間階調(グレー)の領域であり、太い実線で囲んだ領域が、輝度レベルが高く(高温で)、画面上に白色として表示される対象物の領域(以下「高輝度領域」という)である。 Figure 5 (a) (b), the cameras 1R, respectively, (the right image is obtained by the camera 1R, the left image is obtained by the camera 1L) grayscale image obtained by 1L are views for explaining, the hatched region is the region of the intermediate gradation (gray), surrounded by a thick solid line region (high temperature) luminance level is high, the area of ​​the object to be displayed in white on the screen (hereinafter " is high as luminance region "). 右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ(視差)によりその対象物までの距離を算出することができる。 In the right image and the left image, since the horizontal position on the screen of the same object is misaligned, this displacement (parallax) can be calculated the distance to the object.

【0013】図3のステップS14では、右画像を基準画像とし、その画像信号の2値化、すなわち、実験的に決定される輝度閾値ITHより明るい領域を「1」 [0013] At step S14 in FIG. 3, the right image as a reference image, binarizing the image signal, i.e., "1" brighter than the brightness threshold value ITH, which is determined experimentally region
(白)とし、暗い領域を「0」(黒)とする処理を行う。 (White), and performs processing to "0" (black) dark areas. 図6に図5(a)の画像を2値化した画像を示す。 It shows an image which the image has been binarized shown in FIG. 5 (a) in FIG. 6.
この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。 This figure is an area hatched black, indicating that the high luminance region surrounded by a thick solid line is white.

【0014】続くステップS15では、2値化した画像データをランレングスデータに変換する処理を行う。 [0014] In step S15, it performs a process of converting the binary image data into run length data. 図7(a)はこれを説明するための図であり、この図では2値化により白となった領域を画素レベルでラインL1 7 (a) is a diagram for explaining this, the line L1 of the areas set to white by binarization in this figure at the pixel level
〜L8として示している。 It is shown as ~L8. ラインL1〜L8は、いずれもy方向には1画素の幅を有しており、実際にはy方向には隙間なく並んでいるが、説明のために離間して示している。 Line L1~L8 are both have a width of one pixel in the y direction, but in practice are arranged without any gaps in the y direction is shown spaced for illustration. またラインL1〜L8は、x方向にはそれぞれ2画素、2画素、3画素、8画素、7画素、8画素、8 The line L1~L8 each two pixels in the x direction, two pixels, three pixels, 8 pixels, seven pixels, eight pixels, 8
画素、8画素の長さを有している。 Pixels, and has a length of eight pixels. ランレングスデータは、ラインL1〜L8を各ラインの開始点(各ラインの左端の点)の座標と、開始点から終了点(各ラインの右端の点)までの長さ(画素数)とで示したものである。 Run-length data, the lines L1~L8 de the coordinates of the starting point of each line (the point at the left end of each line), the length from the start point to the end point (point of the right end of each line) and (number of pixels) there is shown.
例えばラインL3は、(x3,y5)、(x4,y5) For example line L3 is, (x3, y5), (x4, y5)
及び(x5,y5)の3画素からなるので、ランレングスデータとしては、(x3,y5,3)となる。 And since the three pixels (x5, y5), as the run-length data, a (x3, y5,3).

【0015】ステップS16、S17では、図7(b) [0015] At step S16, S17, FIG. 7 (b)
に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。 By labeling the object as shown in, processing to extract the object. すなわち、ランレングスデータ化したラインL1〜L8のうち、y方向に重なる部分のあるラインL1〜L3を1つの対象物1とみなし、 That is, of the run-length data with lines L1 to L8, line L1~L3 with portions overlapping in the y-direction one to the object 1 is regarded,
ラインL4〜L8を1つの対象物2とみなし、ランレングスデータに対象物ラベル1,2を付加する。 Line L4~L8 regarded as one object 2, adds an object labels 1 and 2 to the run length data. この処理により、例えば図6に示す高輝度領域が、それぞれ対象物1から4として把握されることになる。 This process, for example, high luminance region shown in FIG. 6, it will be grasped as 4 from the object 1, respectively. なお以上説明した図3のステップS14〜S17の処理は、2値化した基準画像(本実施形態では、右画像)ついて実行する。 Processing in step S14~S17 of Figure 3 that should be noted as described above, (in this embodiment, the right image) binarized reference image to perform with it.

【0016】図3のステップS18では、図8に示すように右画像に含まれる対象物像R1に対応する左画像中の対象物像R2を求め、右画像のx方向の中心線LCT [0016] At step S18 in FIG. 3, obtains an object image R2 in the left image corresponding to the object image R1 included in the right image as shown in FIG. 8, in the x-direction of the right image center line LCT
Rと対象物像R1の重心との距離ΔdR、及び左画像の中心線LCTRと対象物像R2の重心との距離ΔdLを算出し、下記式(1)にこれらを適用して自車両10からその対象物までの距離zを算出する。 Distance between the center of gravity of the R and the object image R1? DR, and calculates the distance ΔdL between the center line the center of gravity of LCTR and the object image R2 of the left image, from the vehicle 10 by applying them to the following equation (1) to calculate the distance z to the object.

【数1】 [Number 1]

【0017】ここで、Bは基線長、すなわち図9に示すようにカメラ1Rの撮像素子11Rの中心位置と、カメラ1Lの撮像素子11Lの中心位置との水平方向(x方向)の距離(両カメラの光軸の間隔)、Fはレンズ12 [0017] Here, B is the base length, i.e. the distance in the horizontal direction (x-direction) of the center position of the imaging devices 11R camera 1R as shown in FIG. 9, the center position of the image sensor 11L of the camera 1L (both spacing of the optical axis of the camera), F is the lens 12
R、12Lの焦点距離、pは、撮像素子11R、11L R, the focal length of 12L, p is an imaging element 11R, 11L
内の画素間隔であり、Δd(=dR+dL)が視差量である。 A pixel spacing of the inner, Δd (= dR + dL) is the amount of parallax. またfは、焦点距離Fと画素間隔pの比である。 The f is the ratio of the focal length F and the pixel spacing p.

【0018】ステップS19では、画像内の座標(x, [0018] In the step S19, the coordinates in the image (x,
y)及び式(1)により算出した距離zを下記式(2) y) and the following equation the distance z calculated by the equation (1) (2)
に適用し、実空間座標(X,Y,Z)に変換する。 It was applied to and converted into real space coordinates (X, Y, Z). ここで、実空間座標(X,Y,Z)は、図10(a)に示すように、カメラ1R、1Lの取り付け位置の中点の位置(自車両10に固定された位置)を原点Oとして、図示のように定め、画像内の座標は同図(b)に示すように、画像の中心を原点として水平方向をx、垂直方向をyと定めている。 Here, the real space coordinates (X, Y, Z) is 10 (a), the camera 1R, origin position of the midpoint of the mounting position of 1L (fixed to the vehicle 10 position) O as, defined as shown, the coordinates in the image as shown in FIG. (b), and x the horizontal center of the image as the origin, the vertical direction determined as y.

【数2】 [Number 2]

【0019】ここで、(xc,yc)は、右画像上の座標(x,y)を、カメラ1Rの取り付け位置と、実空間原点Oとの相対位置関係に基づいて、実空間原点Oと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。 [0019] Here, (xc, yc) are the coordinates on the right image (x, y), and the mounting position of the camera 1R, based on the relative positional relationship between the real space origin O, and the real space origin O it is obtained by converting the coordinates of the virtual in an image that is matched with the center of the image. またfは、焦点距離Fと画素間隔pとの比である。 The f is the ratio between the focal length F and the pixel spacing p. 図3のステップS20では、図4に示す表示制御処理を実行する。 In step S20 of FIG. 3, to perform the display control process shown in FIG. この処理は、検出した対象物の位置に応じてHUD4の画面41の表示状態を制御するものである。 This process is for controlling the display state of the screen 41 of HUD4 according to the position of the detected object.

【0020】図11は、カメラ1R、1Lで監視可能な領域を、太い実線で示す外側の三角形の領域AR0で示し、さらに領域AR0内の、自車両10に近い領域AR [0020] Figure 11, the camera 1R, can be monitored region 1L, shown in the area AR0 outside the triangle indicated by a thick solid line, the more the area AR0, region AR is close to the vehicle 10
1,AR2,AR3を、警報判定領域としている。 The 1, AR2, AR3, and a warning determination region. ここで領域AR1は、自車両10の進行方向に、車幅αの両側に余裕β(例えば50〜100cm程度とする)を加えた範囲に対応する領域、換言すれば自車両10の横方向の中心軸の両側に(α/2+β)の幅を有する領域であって、対象物がそのままの存在し続ければ衝突の可能性がきわめて高いので、接近判定領域と呼ぶ。 Here area AR1, in the traveling direction of the vehicle 10, on either side of the vehicle width α margin beta (e.g. 50~100cm about to) the region corresponding to the range of plus, in other words of the vehicle 10 in the transverse direction a region having on either side of the central axis width (α / 2 + β), because the very high possibility of a collision if you keep there object of it, called the approach determination region. 領域AR Area AR
2,AR3は、接近判定領域よりX座標の絶対値が大きい(接近判定領域の横方向外側の)領域であり、この領域内にある対象物でも車両10の進行方向と垂直の方向に進行して車両10に接近してくる対象物は衝突の可能性が高いので侵入判定領域と呼ぶ。 2, AR3 is an area (lateral outer approach determination region) a large absolute value of the X coordinate from the approach determination region, also travels in the direction of the traveling direction and the vertical of the vehicle 10 by the object in this area object approaching the vehicle 10 Te is referred to as intrusion determination areas there is a high possibility of a collision. 接近判定領域AR1 Approach determination area AR1
及び侵入判定領域AR2,AR3内で検出された対象物については、図4の処理によりHUD4に表示するとともに、図示しない処理により衝突の可能性の判定を行い、可能性が高いときはスピーカ3を介して音声と、H And for intrusion determination area AR2, the detected object in the AR3, and displays the HUD4 by the process of FIG. 4, a determination of possibility of a collision by a not-shown processing, when it is likely the speaker 3 and voice through, H
UD4の画面41の表示とより運転者に警報を発する。 Issue a warning to the more driver and the display of the screen 41 of the UD4.

【0021】図4のステップS41では、検出された対象物が接近判定領域AR1内にあるか否かを判別し、接近判定領域AR1内にあるときは、図12に示すように画面41の中央領域41aにカメラ1Rにより撮像されている画像を表示するとともに、検出した対象物OBJ [0021] At step S41 in FIG. 4, the detected object to determine whether it is within the approach determination area AR1, when in the approach determination area AR1, the center of the screen 41 as shown in FIG. 12 displays an image being captured by the camera 1R in the region 41a, detected object OBJ
1の強調表示(例えば枠で囲んで示す)を行う(ステップS42)。 1 highlighting (e.g. shown enclosed by the frame) (step S42). このように画面の中央領域41aには、カメラ1Rで実際に撮像された対象物像が表示されるので、遠くに存在するものほど表示像が小さくなり、表示像の大きさにより運転者は対象物までの距離を視覚的に容易に認識することができる。 The central region 41a of such the screen, since the actual object image captured by the camera 1R is displayed, as the display image is reduced to be present in the distance, the driver according to the size of the display image object it is possible to visually easily recognize the distance to the object.

【0022】また接近判定領域AR1内に対象物がないときは、侵入判定領域AR2,AR3内に存在する対象物があるか否かを判別し(ステップS43)、図12に示すように侵入判定領域AR2内で対象物OBJ2が検出されているときは、画面41の右領域41bに対象物OBJ2に対応したアイコンICRを表示し、侵入判定領域AR3内で対象物OBJ3が検出されているときは、画面41の左領域41cに対象物OBJ3に対応したアイコンICLを表示する(ステップS44)。 [0022] When there is no object within the approach determination area AR1, it is determined whether there is an object present in the intrusion determination area AR2, the AR3 (step S43), entering the determination as shown in FIG. 12 when the object OBJ2 is detected in the area AR2, to display the icon ICR corresponding to the object OBJ2 in the right region 41b of the screen 41, when the object OBJ3 is detected in the intrusion determination areas AR3 is , an icon ICL corresponding to the object OBJ3 left region 41c of the screen 41 (step S44). アイコンICR,ICLは、例えば歩行者の外形に似たものを予め容易しておき、該当する対象物を検出したときに実際に表示されるように制御する。 Icon ICR, ICL, for example pre facilitate something similar to the outer shape of the pedestrian advance is controlled so as to be actually displayed when it detects the appropriate object.

【0023】侵入判定領域内に存在する対象物のうち衝突の可能性の高い対象物は、車両10から見た対象物の方向がほぼ一定となる傾向があり、カメラ1Rまたは1 The high target potential collision of the object existing intrusion determination area tends to the direction of the object as viewed from the vehicle 10 is substantially constant, the camera 1R or 1
Lにより得られる画像内での動きがほとんどない状態となるので、画面上にアイコン表示することにより、その存在を運転者に明確に知らせることができる。 Since movement within the image obtained by the L becomes almost no by icons displayed on the screen, it is possible to clearly notify its presence to the driver. すなわち、運転者はそのような対象物の存在を容易に視認することができる。 That is, the driver can easily recognize the existence of such objects.

【0024】なお、接近判定領域AR1内で検出された対象物OBJ1との衝突の可能性が高いと判定されたときは、強調表示の枠を点滅させたり、表示色を一定周期で変化させるなどの制御を行い、また侵入判定領域AR [0024] Incidentally, when it is determined that there is a high possibility of collision between the approach determination area AR1 detected object within OBJ1 is or flashes the highlighted frame, such as changing the display color at a predetermined period and it controls the, also intrusion determination area AR
2,AR3内で検出された対象物OBJ2,OBJ3との衝突の可能性が高いと判定されたときは、アイコンを点滅させたり、あるいは表示色を一定周期で変化させたりするなどの制御を行う。 2, the objects detected in the AR3 OBJ2, when the probability of collision between the OBJ3 is determined to be high, performs control such or or blink the icon, or the display color is changed at a constant period .

【0025】以上のように本実施形態では、車両10の進行方向に設定される接近判定領域AR1内で対象物が検出されたときは、カメラ1Rにより得られる画像、すなわち対象物の位置に応じた表示を行うようにHUD4 [0025] In this embodiment as described above, when the object is detected in the approach determination area AR1 is set in the traveling direction of the vehicle 10, the image obtained by the camera 1R, i.e. depending on the position of the object It was to perform the display HUD4
を制御し、接近判定領域の外側に設定される侵入判定領域AR2,AR3内で対象物が検出されたときは、その対象物に対応するアイコンICR,ICL、すなわちその対象物が存在することを示す情報を表示するようにH Controls, when the object is detected in the approach determination intrusion determination area AR2 is set outside the region, AR3, icon ICR corresponding to the object, ICL, namely the presence of the object H to display the information indicating
UD4を制御するようにしたので、接近判定領域内あるいは侵入判定領域内に対象物が存在するか否かを運転者が容易に視認することができ、さらに接近判定領域内に存在する対象物についてはその位置についての認識も容易に得ることが可能となる。 Since so as to control the UD4, the approach determination in or intrusion determination area region whether the object is present can the driver to easily view the subject that is present further approach determination region it becomes possible to easily obtain also aware of its location.

【0026】本実施形態では、画像処理ユニット2及びHUD4により画像表示装置が構成される。 [0026] In this embodiment, the image display apparatus is constituted by the image processing unit 2 and HUD 4. より具体的には、カメラ1R、1L及び図3のステップS11〜S More specifically, the step of cameras 1R, 1L and FIG 3 S11~S
19が対象物検出手段に相当し、図4の処理が表示制御手段に相当する。 19 corresponds to the object detecting means, the process of FIG. 4 correspond to the display control unit. なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。 The present invention is not limited to the embodiments described above, various modifications are possible. 例えば、上述した実施形態では、HUD4の画面の中央領域には、カメラ1Rにより得られる画像を表示するようにしたが、 For example, in the above embodiment, the center area of ​​the screen of the HUD 4, has been adapted to display the image obtained by the camera 1R,
中央領域41aにも図13に示すようにアイコンICC Icon ICC As shown in FIG. 13 in the central region 41a
を表示するようにしてもよい。 It may be displayed. この場合、検出した対象物の位置に応じて中央領域41a内のアイコン表示位置を制御し、さらに自車両10に近い対象物ほど大きいアイコンで表示するようにして、対象物の距離(Z座標) In this case, so as to control the icon display position in the central region 41a, it is displayed in large icons as further objects close to the vehicle 10 in response to the detected position of the object, the distance of the object (Z-coordinate)
に応じた表示を行う。 The display corresponding to do. すなわち、図13に示す例では、 That is, in the example shown in FIG. 13,
アイコンICC1に対応する対象物が最も近くに存在し、次いでアイコンICC2に対応する対象物が存在し、アイコンICC3に対応する対象物が最も遠くに存在することを示している。 Object corresponding to the icon ICC1 is present closest, then there is the object that corresponds to the icon ICC2, the object corresponding to the icon ICC3 indicates that there farthest.

【0027】また、同図に示すように右領域41b及び左領域42cに表示する侵入判定領域にある対象物についても、その距離Zが近いほど大きいアイコンを表示するようにしてもよい。 [0027] As for the object at a penetration determination area to be displayed in the right region 41b and the left area 42c as shown in the figure, it may be the distance Z to display large icons closer. また対象物の検出は、赤外線カメラに限るものではなく、可視光を検出するCCDカメラ、あるいはレーザなどにより行うようにしてもよい。 The detection of the object is not limited to the infrared camera may be performed by a CCD camera or a laser, to detect the visible light.

【0028】 [0028]

【発明の効果】以上詳述したように本発明によれば、当該車両の進行方向に設定される接近判定領域内で対象物が検出されたときは、ヘッドアップディスプレイにその対象物の位置に応じた表示が行われ、接近判定領域の外側に設定されている侵入判定領域内で対象物が検出されたときは、その対象物が存在することを示す情報がヘッドアップディスプレイに表示されるので、接近判定領域内あるいは侵入判定領域内に対象物が存在するか否かを運転者が容易に視認することができ、さらに接近判定領域内に存在する対象物についてはその位置についての認識も容易に得ることが可能となる。 According to the present invention as described in detail above, when the object in approach determination region set in the traveling direction of the vehicle is detected, the position of the object in the head-up display display depending was is performed and when the object is detected in the intrusion determination area set outside the approach determination region, the information indicating that the object is present is displayed on the head-up display , approach determination in or intrusion determination area region whether the object is present can the driver to easily view, for the object existing in the further approach determination region easy recognition of the location it is possible to get to.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の一実施形態にかかる画像表示装置を含む、車両の周辺監視装置の構成を示す図である。 [1] including the image display apparatus according to an embodiment of the present invention, is a diagram showing a configuration of a vehicle surroundings monitoring apparatus.

【図2】赤外線カメラの取り付け位置を説明するための図である。 2 is a diagram for explaining a mounting position of the infrared camera.

【図3】図1の画像処理ユニットにおける処理の手順を示すフローチャートである。 3 is a flowchart showing a procedure of processing in the image processing unit in FIG.

【図4】図3の表示制御処理を詳細に示すフローチャートである。 4 is a flowchart showing in detail a display control process of FIG.

【図5】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。 For Figure 5 illustrating a grayscale image obtained by the infrared camera is a diagram showing hatched halftone portion.

【図6】グレースケール画像を2値化した画像を説明するために、黒の領域をハッチングを付して示す図である。 [6] The grayscale image in order to explain the binarized image, a diagram illustrating with hatching the black areas.

【図7】ランレングスデータへの変換処理及びラベリングを説明するための図である。 7 is a diagram for explaining a conversion processing and labeling the run-length data.

【図8】視差の算出方法を説明するための図である。 8 is a diagram for explaining a method of calculating the parallax.

【図9】視差から距離を算出する手法を説明するための図である。 9 is a diagram for explaining a method of calculating the distance from the parallax.

【図10】本実施形態における座標系を示す図である。 It is a diagram illustrating a coordinate system in Figure 10 embodiment.

【図11】車両前方の領域区分を説明するための図である。 11 is a diagram for explaining a vehicle front area segment.

【図12】ヘッドアップディスプレイ上の表示を説明するための図である。 12 is a diagram for explaining a display on the head-up display.

【図13】ヘッドアップディスプレイ上の表示の変形例を説明するための図である。 13 is a diagram for explaining a modified example of the display on the head-up display.

【符号の説明】 DESCRIPTION OF SYMBOLS

1R、1L 赤外線カメラ(対象物検出手段) 2 画像処理ユニット(対象物検出手段、表示制御手段) 4 ヘッドアップディスプレイ 41 表示画面 41a 中央領域 41b 右領域 41c 左領域 1R, 1L infrared camera (object detecting means) 2 image processing unit (object detecting means, display control means) 4 head-up display 41 display screen 41a the central region 41b right region 41c left area

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 正人 埼玉県和光市中央1丁目4番1号 株式会 社本田技術研究所内 (72)発明者 長岡 伸治 埼玉県和光市中央1丁目4番1号 株式会 社本田技術研究所内 Fターム(参考) 5C054 AA01 CA05 EB05 EG01 FC05 FC12 FC15 FE09 FE16 FE28 GA04 GB01 HA30 5H180 AA01 CC04 LL01 LL08 ────────────────────────────────────────────────── ─── of the front page continued (72) inventor Masato Watanabe, Wako, Saitama central 1-chome No. 4 No. 1 stock company Honda intra-technology Research Institute (72) inventor Shinji Nagaoka Wako, Saitama central 1-chome No. 4 No. 1 stock Company Honda technical Research Institute in the F-term (reference) 5C054 AA01 CA05 EB05 EG01 FC05 FC12 FC15 FE09 FE16 FE28 GA04 GB01 HA30 5H180 AA01 CC04 LL01 LL08

Claims (1)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 車両の進行方向に存在する対象物を検出する対象物検出手段と、該対象物検出手段により検出された対象物の表示を行うヘッドアップディスプレイとを備えた車両の画像表示装置において、 前記対象物検出手段により、当該車両の進行方向に設定される接近判定領域内で対象物が検出されたときは、その対象物の位置に応じた表示を行うように前記ヘッドアップディスプレイを制御し、前記対象物検出手段により、前記接近判定領域の外側に設定される侵入判定領域内で対象物が検出されたときは、その対象物が存在することを示す情報を表示するように前記ヘッドアップディスプレイを制御する表示制御手段とを備えることを特徴とする車両の画像表示装置。 1. A and object detecting means for detecting an object existing in the traveling direction of the vehicle, an image display device for the vehicle with a head-up display for displaying an object detected by the object detecting means in, by the object detecting unit, the head-up display as when the object in approach determination region set in the traveling direction of the vehicle is detected, performs display in accordance with the position of the object controlling, by said object detecting means, wherein when the object intrusion judging area set outside the approach determination region is detected, the to display information indicating that the object is present the image display apparatus for a vehicle, characterized in that it comprises a display control means for controlling the head-up display.
JP19243399A 1999-07-07 1999-07-07 Image display apparatus for a vehicle Expired - Fee Related JP4334686B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP19243399A JP4334686B2 (en) 1999-07-07 1999-07-07 Image display apparatus for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP19243399A JP4334686B2 (en) 1999-07-07 1999-07-07 Image display apparatus for a vehicle

Publications (2)

Publication Number Publication Date
JP2001023091A true true JP2001023091A (en) 2001-01-26
JP4334686B2 JP4334686B2 (en) 2009-09-30

Family

ID=16291237

Family Applications (1)

Application Number Title Priority Date Filing Date
JP19243399A Expired - Fee Related JP4334686B2 (en) 1999-07-07 1999-07-07 Image display apparatus for a vehicle

Country Status (1)

Country Link
JP (1) JP4334686B2 (en)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087781A (en) * 2001-06-29 2003-03-20 Honda Motor Co Ltd Vehicle peripheral environment display device
JP2006327319A (en) * 2005-05-24 2006-12-07 Honda Motor Co Ltd Image displaying device for vehicle
JP2007102577A (en) * 2005-10-05 2007-04-19 Kawasaki Heavy Ind Ltd Information providing device and traveling support system using the same
JP2009196630A (en) * 2008-01-25 2009-09-03 Denso Corp Display device
JP2009248721A (en) * 2008-04-04 2009-10-29 Calsonic Kansei Corp Information display device for vehicle
JP2010064691A (en) * 2008-09-12 2010-03-25 Panasonic Corp System, method and program for supporting vehicle driving
JP2010168042A (en) * 2010-02-18 2010-08-05 Toyota Motor Corp Auxiliary visibility device
JP2011076631A (en) * 2005-08-19 2011-04-14 Adc Technology Inc On-board image display device
JP2012162111A (en) * 2011-02-03 2012-08-30 Denso Corp Vehicle display device
CN102783144A (en) * 2010-03-01 2012-11-14 本田技研工业株式会社 Vehicle perimeter monitoring device
JP2013191050A (en) * 2012-03-14 2013-09-26 Toyota Motor Corp Vehicle periphery monitoring device
JP2014044458A (en) * 2012-08-24 2014-03-13 Jvc Kenwood Corp On-vehicle device and danger notification method
WO2014199574A1 (en) * 2013-06-14 2014-12-18 株式会社デンソー Vehicle-mounted display device and program product
JP2016013888A (en) * 2014-07-01 2016-01-28 株式会社タダノ Obstacle notification system of crane vehicle
US9321399B2 (en) 2010-03-01 2016-04-26 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
WO2017069037A1 (en) * 2015-10-20 2017-04-27 日本精機株式会社 Head-up display device

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102010003850A1 (en) * 2010-04-12 2011-10-13 Robert Bosch Gmbh Method for adjusting position of marked object for marking object on display unit of vehicle, involves determining position of marked object corresponding to surrounding information

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003087781A (en) * 2001-06-29 2003-03-20 Honda Motor Co Ltd Vehicle peripheral environment display device
JP4713033B2 (en) * 2001-06-29 2011-06-29 本田技研工業株式会社 Vehicle surrounding environment display device
JP4566822B2 (en) * 2005-05-24 2010-10-20 本田技研工業株式会社 Image display apparatus for a vehicle
JP2006327319A (en) * 2005-05-24 2006-12-07 Honda Motor Co Ltd Image displaying device for vehicle
US8384779B2 (en) 2005-05-24 2013-02-26 Honda Motor Co., Ltd. Display device for vehicle
JP2011076631A (en) * 2005-08-19 2011-04-14 Adc Technology Inc On-board image display device
JP2011181110A (en) * 2005-08-19 2011-09-15 Adc Technology Inc On-board image display device
JP2007102577A (en) * 2005-10-05 2007-04-19 Kawasaki Heavy Ind Ltd Information providing device and traveling support system using the same
JP2009196630A (en) * 2008-01-25 2009-09-03 Denso Corp Display device
JP2009248721A (en) * 2008-04-04 2009-10-29 Calsonic Kansei Corp Information display device for vehicle
JP2010064691A (en) * 2008-09-12 2010-03-25 Panasonic Corp System, method and program for supporting vehicle driving
JP2010168042A (en) * 2010-02-18 2010-08-05 Toyota Motor Corp Auxiliary visibility device
CN102783144A (en) * 2010-03-01 2012-11-14 本田技研工业株式会社 Vehicle perimeter monitoring device
US9321399B2 (en) 2010-03-01 2016-04-26 Honda Motor Co., Ltd. Surrounding area monitoring device for vehicle
JP2012162111A (en) * 2011-02-03 2012-08-30 Denso Corp Vehicle display device
JP2013191050A (en) * 2012-03-14 2013-09-26 Toyota Motor Corp Vehicle periphery monitoring device
JP2014044458A (en) * 2012-08-24 2014-03-13 Jvc Kenwood Corp On-vehicle device and danger notification method
WO2014199574A1 (en) * 2013-06-14 2014-12-18 株式会社デンソー Vehicle-mounted display device and program product
JP2015000630A (en) * 2013-06-14 2015-01-05 株式会社デンソー Onboard display device and program
US9878667B2 (en) 2013-06-14 2018-01-30 Denso Corporation In-vehicle display apparatus and program product
JP2016013888A (en) * 2014-07-01 2016-01-28 株式会社タダノ Obstacle notification system of crane vehicle
WO2017069037A1 (en) * 2015-10-20 2017-04-27 日本精機株式会社 Head-up display device

Also Published As

Publication number Publication date Type
JP4334686B2 (en) 2009-09-30 grant

Similar Documents

Publication Publication Date Title
US6789015B2 (en) Vehicle environment monitoring system
US20030007074A1 (en) Vehicle zone monitoring apparatus
US6327536B1 (en) Vehicle environment monitoring system
US6531959B1 (en) Position detecting device
US20070291987A1 (en) Vehicle surroundings monitoring apparatus
JP2008227646A (en) Obstacle detector
US20110228980A1 (en) Control apparatus and vehicle surrounding monitoring apparatus
JP2007213561A (en) Vehicle periphery supervisory unit
US7671725B2 (en) Vehicle surroundings monitoring apparatus, vehicle surroundings monitoring method, and vehicle surroundings monitoring program
JP2004173048A (en) Onboard camera system
US20110293145A1 (en) Driving support device, driving support method, and program
JP2003329439A (en) Distance detecting device
JPH06107096A (en) Forward monitoring method for vehicle
US7949151B2 (en) Vehicle surroundings monitoring apparatus
US20140285667A1 (en) Vehicle periphery monitoring device
US7158664B2 (en) Image recognition apparatus
JP2002298299A (en) Driving support device for vehicle
KR100879623B1 (en) Automated wide area surveillance system using ptz camera and method therefor
JP2003061075A (en) Object-tracking device, object-tracking method and intruder monitor system
JP2005024463A (en) Stereo wide visual field image processing apparatus
JP2001169310A (en) Distance detector
US20120314074A1 (en) Surrounding area monitoring device for vehicle
JP2008269139A (en) Drive support system and vehicle
US20070269079A1 (en) Vehicle surroundings monitoring apparatus
US7418112B2 (en) Pedestrian detection apparatus

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051205

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080205

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080325

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080715

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090609

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090624

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140703

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees