JP2012188058A - Display device - Google Patents

Display device Download PDF

Info

Publication number
JP2012188058A
JP2012188058A JP2011055125A JP2011055125A JP2012188058A JP 2012188058 A JP2012188058 A JP 2012188058A JP 2011055125 A JP2011055125 A JP 2011055125A JP 2011055125 A JP2011055125 A JP 2011055125A JP 2012188058 A JP2012188058 A JP 2012188058A
Authority
JP
Japan
Prior art keywords
vehicle
host vehicle
guide
processing unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2011055125A
Other languages
Japanese (ja)
Inventor
Kenji Yoshioka
健司 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Priority to JP2011055125A priority Critical patent/JP2012188058A/en
Publication of JP2012188058A publication Critical patent/JP2012188058A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide a display device which intuitively indicates the presence of an obstacle to a user in correspondence to the obstacle's level from a road surface, thereby prevents his/her own vehicle from coming in contact with the obstacle.SOLUTION: The display device includes an image-capturing means 1 which captures an image of the surroundings of a user's vehicle, a sensor 4 which detects an obstacle at the side of the user's vehicle, an image processing unit 2 which makes an overlooking image based on a taken image obtained from the image-capturing means 1 and superposes graphic on the overlooking image based on information obtained from the sensor 4, and a display means 3 which displays an image on which graphic is superposed by the image processing unit 2. When the sensor 4 detects the obstacle at the side of the user's vehicle, the image processing unit 2 superposes a boundary guide for an area ranging vertically from a road surface to a door mirror at the side where the obstacle is detected.

Description

本発明はディスプレイに車両の境界を表示する表示装置に関するものである。   The present invention relates to a display device that displays a vehicle boundary on a display.

従来、車載カメラによる撮像映像を路面投影モデルに投影して俯瞰映像を作成する全周囲撮像手段システムが知られている(例えば特許文献1を参照)。この路面投影モデルを用いた俯瞰映像では、車両などの立体物が倒れこんだ平面形状に映っている。   2. Description of the Related Art Conventionally, there has been known an all-around imaging means system that creates a bird's-eye view image by projecting an image captured by an in-vehicle camera onto a road projection model (see, for example, Patent Document 1). In the bird's-eye view image using the road surface projection model, a three-dimensional object such as a vehicle is reflected in a planar shape.

特開2005−12465号公報JP 2005-12465 A

しかし、路面投影モデルを用いた俯瞰映像で表示される立体物と、実際の立体物との位置には乖離が生じる。このため、ユーザは俯瞰映像上で立体物と自車両が重ならないように運転しても、自車両と立体物とが衝突する可能性がある。これについて、図面を用いて具体的に説明する。   However, there is a discrepancy between the position of the three-dimensional object displayed in the overhead view image using the road surface projection model and the actual three-dimensional object. For this reason, even if a user drives so that a solid thing and a self-vehicle may not overlap on a bird's-eye view picture, a self-vehicle and a solid thing may collide. This will be specifically described with reference to the drawings.

図6は、駐車操作時の自車両周囲の状況をイメージで説明する図である。図6に示すように、自車両100の右側方に車両101が駐車している。この車両101は、駐車枠線102、103の間に駐車している。自車両100の車体には図示しない撮像手段が設けられている。この撮像手段が自車両周囲を撮像する。特に、この撮像手段のうち自車両100の右側方に設けられた撮像手段は、撮像範囲104で示される。   FIG. 6 is a diagram illustrating an image of the situation around the host vehicle during a parking operation. As shown in FIG. 6, the vehicle 101 is parked on the right side of the host vehicle 100. The vehicle 101 is parked between the parking frame lines 102 and 103. The vehicle body of the host vehicle 100 is provided with imaging means (not shown). This imaging means images the surroundings of the own vehicle. In particular, the imaging means provided on the right side of the host vehicle 100 among the imaging means is indicated by an imaging range 104.

図7は、図6の車両101の周辺を上から見た状態をイメージで説明する図である。図7に示すように、車両101の周辺を上から見たとき、車両101の側端は、駐車枠線102、103上に位置している。特に、車両101の左側端は、駐車枠線102の内側の境界よりも外側に延出している。さらに、車両101左方のドアミラー103は駐車枠線102の外側の境界よりも車幅方向外側に突出している。   FIG. 7 is a diagram for explaining the state of the periphery of the vehicle 101 in FIG. 6 as viewed from above. As shown in FIG. 7, when the periphery of the vehicle 101 is viewed from above, the side ends of the vehicle 101 are located on the parking frame lines 102 and 103. In particular, the left end of the vehicle 101 extends outward from the inner boundary of the parking frame line 102. Furthermore, the door mirror 103 on the left side of the vehicle 101 protrudes outward in the vehicle width direction from the outer boundary of the parking frame line 102.

図8は、図6の自車両100の周辺の俯瞰画像をイメージで説明する図である。図8に示すように、自車両100の真上から路面投影モデルを用いた俯瞰映像をイメージで説明する図である。図8に示すように、自車両100の右側方に車両101が駐車している。車両101は、画面上方に倒れこんだ形状で表示される。そして、車両101のタイヤ下に駐車枠線102が表示される。   FIG. 8 is a diagram illustrating an overhead view image around the host vehicle 100 in FIG. 6 as an image. As shown in FIG. 8, it is a figure explaining the bird's-eye view image | video using the road surface projection model from right above the own vehicle 100 by an image. As shown in FIG. 8, the vehicle 101 is parked on the right side of the host vehicle 100. The vehicle 101 is displayed in a shape that collapses in the upper part of the screen. A parking frame line 102 is displayed under the tire of the vehicle 101.

ここで、自車両100のユーザが画面上の駐車枠線102を境界線と判断して自車両100を駐車枠線102に重ならせないように運転することが想定される。しかし、駐車枠線102を境界線として自車両100を運転すると、実際には駐車枠線102外に位置する車両101の左方のドアミラーが自車両100の右側端に衝突する場合が生じる。また、自車両100の右方のドアミラーが駐車枠線102上に位置する車両101の左側端に衝突する場合が生じる。図8に示されるように自車両100の真上から路面投影モデルを用いた俯瞰映像を作成すると、車両101と駐車枠線102との位置関係の表示は、図7に示される車両101と駐車枠線102との実際の位置関係の表示と異なるものとなってしまう。そして、図8の表示によって、自車両100が車両101と接触する可能性が生じてしまう。特に、ドアミラーのように、車両100の高さに応じて側端位置が変わる場
合にいっそう衝突の可能性が高まる。
Here, it is assumed that the user of the host vehicle 100 determines that the parking frame line 102 on the screen is a boundary line and drives the host vehicle 100 so as not to overlap the parking frame line 102. However, when the host vehicle 100 is driven with the parking frame line 102 as a boundary line, the left door mirror of the vehicle 101 actually located outside the parking frame line 102 may collide with the right end of the host vehicle 100. In addition, the right door mirror of the host vehicle 100 may collide with the left end of the vehicle 101 located on the parking frame line 102. When a bird's-eye view image using a road projection model is created from directly above the host vehicle 100 as shown in FIG. 8, the display of the positional relationship between the vehicle 101 and the parking frame line 102 is shown in FIG. This is different from the display of the actual positional relationship with the frame line 102. Then, the display in FIG. 8 may cause the host vehicle 100 to come into contact with the vehicle 101. In particular, when the side end position changes according to the height of the vehicle 100, such as a door mirror, the possibility of a collision is further increased.

そこで、本発明は、路面からの高さに応じた障害物の存在をユーザに直感的に示して自車両と障害物との接触を防止することを目的とする。   Therefore, an object of the present invention is to prevent the contact between the host vehicle and the obstacle by intuitively showing the user the presence of the obstacle according to the height from the road surface.

上記目的を達成するため、本発明の画像処理ユニットは、センサが側方の障害物を検知した場合に、この障害物を検知した側の側方に、路面からドアミラーまでの高さの境界ガイドを示すグラフィックを重畳することを特徴とする。   In order to achieve the above object, when the sensor detects a side obstacle, the image processing unit according to the present invention has a height boundary guide from the road surface to the door mirror on the side where the obstacle is detected. It is characterized by superimposing a graphic indicating.

本発明によれば、路面からの高さに応じた障害物の存在をユーザに直感的に示して自車両と障害物との接触を防止することができるという効果を奏する。   According to the present invention, it is possible to intuitively show the presence of an obstacle according to the height from the road surface to the user and to prevent contact between the host vehicle and the obstacle.

本発明の実施形態における表示装置の構成を示すブロック図The block diagram which shows the structure of the display apparatus in embodiment of this invention 同図1の要部であるCPUによる処理を説明するフローチャート図The flowchart figure explaining the process by CPU which is the principal part of the same FIG. 同図1の要部である信号処理部によるグラフィック重畳処理を説明するフローチャート図The flowchart figure explaining the graphic superimposition process by the signal processing part which is the principal part of the same FIG. 同図1の要部である信号処理部が境界ガイドを重畳した状態をイメージで説明する図The figure explaining the state which the signal processing part which is the principal part of the same FIG. 同図4の別な状態をイメージで説明する図The figure explaining the other state of the same figure 4 with the image 駐車操作時の自車両周囲の状況をイメージで説明する図A diagram explaining the situation around the host vehicle when parking 同図6の車両の周辺を上から見た状態をイメージで説明する図The figure explaining the state which looked at the circumference of the vehicles of Drawing 6 from the top with an image 同図6の自車両の周辺の俯瞰画像をイメージで説明する図The figure explaining the bird's-eye view image of the periphery of the own vehicle of FIG.

以下、本発明の実施形態における表示装置について図面を参照しながら説明する。なお、本実施形態では、車両の後退時における表示装置について説明する。   Hereinafter, a display device according to an embodiment of the present invention will be described with reference to the drawings. In the present embodiment, a display device when the vehicle is moving backward will be described.

図1は本発明の実施形態における表示装置の構成を示すブロック図である。   FIG. 1 is a block diagram showing a configuration of a display device according to an embodiment of the present invention.

図1に示すように、表示装置は、車体に取り付けられて自車両周囲を撮像する撮像手段1と、この撮像手段1から入力した撮像画像を画像処理する画像処理ユニット2と、画像処理ユニット2から入力された表示画像を表示する表示手段3と、車体に設けられて車外の障害物を検知するセンサ4と、ユーザが情報を入力する入力手段5とを備える。   As shown in FIG. 1, the display device includes an image pickup unit 1 that is attached to a vehicle body and picks up an image of the periphery of the host vehicle, an image processing unit 2 that performs image processing on a picked-up image input from the image pickup unit 1, and an image processing unit 2. Display means 3 for displaying the display image inputted from the vehicle, a sensor 4 provided on the vehicle body for detecting an obstacle outside the vehicle, and an input means 5 for the user to input information.

撮像手段1は複数のカメラで構成され、自車両周囲を撮像する。例えば、車体には前方、後方、左右の側方にそれぞれ1つずつカメラが設けられて自車両の全周囲を撮像する。撮像手段1は、撮像画像を電気信号に変換して画像処理ユニット2に入力する。   The image pickup means 1 is composed of a plurality of cameras and picks up an image around the host vehicle. For example, the vehicle body is provided with one camera on each of the front, rear, and left and right sides to capture the entire periphery of the host vehicle. The imaging means 1 converts the captured image into an electrical signal and inputs it to the image processing unit 2.

画像処理ユニット2は、ECU(Electric Control Unit)で構成され、車室内に設けられる。画像処理ユニット2は、撮像手段1から入力された撮像画像のレンズ歪みを補正する。画像処理ユニット2は、この補正した画像に視点変換を施した視点変換画像を生成する。また、画像処理ユニット2は、この俯瞰画像にガイドラインや自車両などのグラフィックを重畳する。なお、グラフィックが重畳された部分の撮像画像を視認可能にするため、画像処理ユニット2は、各グラフィックにαブレンディングを施したうえで撮像画像に重畳することが望ましい。   The image processing unit 2 is configured by an ECU (Electric Control Unit) and is provided in the vehicle interior. The image processing unit 2 corrects the lens distortion of the captured image input from the imaging unit 1. The image processing unit 2 generates a viewpoint converted image obtained by performing viewpoint conversion on the corrected image. Further, the image processing unit 2 superimposes a graphic such as a guideline or the own vehicle on the overhead image. In order to make the captured image of the portion where the graphic is superimposed visible, it is desirable that the image processing unit 2 performs α blending on each graphic and then superimposes the captured image on the captured image.

表示手段3は、ユーザに視認可能な車内に設けられる。例えば、表示手段3は、インス
ツルメントパネル内の設けられたナビゲーション装置のディスプレイと兼用される。表示手段3は画像処理ユニット2から入力された映像信号を表示する。例えば、表示手段3は、撮像画像や、この撮像画像に重畳された各種グラフィックを表示する。
The display means 3 is provided in a vehicle that is visible to the user. For example, the display means 3 is also used as a display of a navigation device provided in the instrument panel. The display means 3 displays the video signal input from the image processing unit 2. For example, the display unit 3 displays a captured image and various graphics superimposed on the captured image.

センサ4は、複数の超音波ソナーで構成され、車体の前方、後方、側方、コーナ等に設けられる。少なくとも、前後左右の側方にそれぞれ2つずつソナーが設けられる。センサ4は、超音波を放射し、障害物からの反射信号を取得する。これによってセンサ4は自車両に接近する障害物を検知する。そして、センサ4は、この障害物からの反射信号を画像処理ユニット2に入力する。   The sensor 4 is composed of a plurality of ultrasonic sonars, and is provided at the front, rear, side, corner, etc. of the vehicle body. At least two sonars are provided on each of the front, rear, left and right sides. The sensor 4 emits ultrasonic waves and acquires a reflection signal from an obstacle. As a result, the sensor 4 detects an obstacle approaching the host vehicle. The sensor 4 inputs the reflection signal from the obstacle to the image processing unit 2.

入力手段5は、例えばスイッチやボタン、タッチパネルの少なくとも一つで構成される。ユーザは、入力手段5を操作して、画像処理ユニット2への各種指示を行う。   The input means 5 is composed of at least one of a switch, a button, and a touch panel, for example. The user operates the input unit 5 to give various instructions to the image processing unit 2.

画像処理ユニット2は、ADコンバータ21と、信号処理部22と、ビデオメモリ23と、不揮発性メモリ24と、CPU25と、DAコンバータ26とを有する。   The image processing unit 2 includes an AD converter 21, a signal processing unit 22, a video memory 23, a nonvolatile memory 24, a CPU 25, and a DA converter 26.

ADコンバータ21は、複数のADコンバータで構成され、撮像手段1を構成する各カメラにそれぞれ接続される。ADコンバータ21は、撮像手段1の各カメラからそれぞれ撮像画像を取得してアナログデジタル変換を行い、この変換した撮像画像を信号処理部22に出力する。   The AD converter 21 is composed of a plurality of AD converters, and is connected to each camera constituting the imaging means 1. The AD converter 21 acquires a captured image from each camera of the imaging unit 1 and performs analog-digital conversion, and outputs the converted captured image to the signal processing unit 22.

信号処理部22は、ADコンバータ21から入力された撮像画像にレンズ歪み補正処理を行う。そして、信号処理部22は、この補正した画像に視点変換処理、グラフィックの重畳処理を行う。例えば、信号処理部22は、自車両上方から路面投影モデルを用いた俯瞰画像に視点変換する。   The signal processing unit 22 performs lens distortion correction processing on the captured image input from the AD converter 21. Then, the signal processing unit 22 performs viewpoint conversion processing and graphic superimposition processing on the corrected image. For example, the signal processing unit 22 converts the viewpoint from an upper side of the host vehicle into an overhead image using a road surface projection model.

ビデオメモリ23は、信号処理部22に入力された撮像画像や信号処理部22による処理結果を一時記憶する。   The video memory 23 temporarily stores the captured image input to the signal processing unit 22 and the processing result by the signal processing unit 22.

不揮発性メモリ24は、レンズ歪み補正処理に必要な補正データテーブル、視点変換処理に必要なマッピングテーブル等のデータテーブルや、自車両のグラフィックデータ、路面からドアミラーまでの高さの境界ガイドを示すグラフィックデータを格納する。   The nonvolatile memory 24 includes a correction data table necessary for lens distortion correction processing, a data table such as a mapping table necessary for viewpoint conversion processing, graphic data of the host vehicle, and a graphic indicating a boundary guide of the height from the road surface to the door mirror. Store the data.

CPU25は、画像処理ユニット2全体の制御を行う。例えば、CPU25は、センサ4から入力された反射信号に基づいて、自車両と障害物間の距離を算出する。CPU25は、自車両と障害物間の距離の情報に基づいて、路面からドアミラーまでの高さの境界ガイドを示すグラフィックの重畳処理を信号処理部22に命令する。例えば、CPU25は、自車両と障害物間の距離が所定の閾値以下になったと判定したとき、信号処理部22に境界ガイドを示すグラフィックを重畳させる。   The CPU 25 controls the entire image processing unit 2. For example, the CPU 25 calculates the distance between the host vehicle and the obstacle based on the reflection signal input from the sensor 4. The CPU 25 instructs the signal processing unit 22 to perform graphic superimposition processing indicating the boundary guide of the height from the road surface to the door mirror based on the information on the distance between the host vehicle and the obstacle. For example, when the CPU 25 determines that the distance between the host vehicle and the obstacle is equal to or less than a predetermined threshold, the CPU 25 superimposes a graphic indicating the boundary guide on the signal processing unit 22.

次に、CPU25が信号処理部に行う処理を説明する。図2は、CPU25が信号処理部22に行う処理を説明するフローチャート図である。   Next, processing performed by the CPU 25 on the signal processing unit will be described. FIG. 2 is a flowchart illustrating processing performed by the CPU 25 on the signal processing unit 22.

ステップS1に示すように、まずCPU25は、センサ4の各ソナーによって自車両側方の障害物を検知する。例えば、CPU25は、センサ4の各ソナーに対して超音波の出力を指示する。そして、CPU25は、各ソナーから障害物からの音波反射情報を取得する。この取得情報に基づいて、CPU25は、路面からの高さに応じた自車両と障害物との距離情報を所定の高さ毎に取得する。   As shown in step S <b> 1, the CPU 25 first detects an obstacle on the side of the host vehicle using each sonar of the sensor 4. For example, the CPU 25 instructs each sonar of the sensor 4 to output an ultrasonic wave. Then, the CPU 25 acquires sound wave reflection information from the obstacle from each sonar. Based on this acquired information, the CPU 25 acquires distance information between the host vehicle and the obstacle according to the height from the road surface for each predetermined height.

次に、ステップS2に示すように、CPU25は、センサ4の各ソナーから取得した情
報に基づいて自車両側方に障害物を検知した場合に、不揮発性メモリ24から読み出すアドレス情報を決定する。例えば、CPU25は、センサ4の少なくとも一つのソナーから取得した距離情報が所定の閾値以下である場合に自車両側方に障害物を検知したと判定する。一方、CPU25は、センサ4のいずれのソナーから取得した距離情報も所定の閾値より大きいときは自車両周辺に障害物を検知しないと判定する。この場合、CPU25は、所定時間後に再度ステップS1からの処理を繰り返す。そして、CPU25は、自車両側方に障害物が存在すると判定したとき、不揮発性メモリ24において路面からドアミラーまでの高さの境界ガイドのグラフィックデータが格納されているアドレスを、読み出すアドレス情報として決定する。
Next, as shown in step S <b> 2, the CPU 25 determines address information to be read from the nonvolatile memory 24 when an obstacle is detected on the side of the host vehicle based on information acquired from each sonar of the sensor 4. For example, the CPU 25 determines that an obstacle has been detected on the side of the host vehicle when the distance information acquired from at least one sonar of the sensor 4 is equal to or less than a predetermined threshold. On the other hand, when the distance information acquired from any sonar of the sensor 4 is larger than the predetermined threshold, the CPU 25 determines that no obstacle is detected around the host vehicle. In this case, the CPU 25 repeats the processing from step S1 again after a predetermined time. When the CPU 25 determines that there is an obstacle on the side of the host vehicle, the CPU 25 determines the address where the graphic data of the boundary guide of the height from the road surface to the door mirror is stored in the nonvolatile memory 24 as the address information to be read. To do.

そして、ステップS3に示すように、CPU25は、信号処理部22に対してステップS2で決定したアドレス情報を出力する。   Then, as shown in step S <b> 3, the CPU 25 outputs the address information determined in step S <b> 2 to the signal processing unit 22.

次に、信号処理部22によるグラフィック重畳処理について説明する。   Next, graphic superimposition processing by the signal processing unit 22 will be described.

図3は、信号処理部22によるグラフィック重畳処理を説明するフローチャート図である。   FIG. 3 is a flowchart for explaining graphic superimposition processing by the signal processing unit 22.

ステップS11に示すように、信号処理部22は、ADコンバータ21から入力された撮像画像をビデオメモリ23に一時的に格納する。   As shown in step S <b> 11, the signal processing unit 22 temporarily stores the captured image input from the AD converter 21 in the video memory 23.

ステップS12に示すように、信号処理部22は、ビデオメモリ23からステップS11で一時的に格納された撮像画像を取り出す。信号処理部22は、不揮発性メモリ24に記憶されている補正データテーブルに基づきこの撮像画像に歪み補正処理を行う。そして、信号処理部22は、この歪み補正処理を行った処理画像から表示手段3に出力するための表示映像を作成する。   As shown in step S <b> 12, the signal processing unit 22 takes out the captured image temporarily stored in step S <b> 11 from the video memory 23. The signal processing unit 22 performs distortion correction processing on the captured image based on the correction data table stored in the nonvolatile memory 24. Then, the signal processing unit 22 creates a display video to be output to the display unit 3 from the processed image that has been subjected to the distortion correction processing.

次に、ステップS13に示すように、信号処理部22は、不揮発性メモリ24から読み出したガイドライン等のグラフィックをステップS12の表示映像に重畳する。   Next, as shown in step S13, the signal processing unit 22 superimposes a graphic such as a guideline read from the nonvolatile memory 24 on the display image in step S12.

次に、ステップS14に示すように、信号処理部22は、S3でCPU25から入力されたアドレス情報に基づいて、不揮発性メモリ24から境界ガイドのグラフィックデータを読み出してステップS12の表示映像に重畳する。   Next, as shown in step S14, the signal processing unit 22 reads the boundary guide graphic data from the non-volatile memory 24 based on the address information input from the CPU 25 in S3 and superimposes it on the display image in step S12. .

次に、ステップS15に示すように、信号処理部22は、表示映像にステップS13とステップS14において重畳した重畳映像をDAコンバータ26に出力する。表示手段3は、DAコンバータ26から入力されたこの重畳映像を表示する。   Next, as shown in step S <b> 15, the signal processing unit 22 outputs the superimposed video that is superimposed on the display video in steps S <b> 13 and S <b> 14 to the DA converter 26. The display means 3 displays this superimposed video input from the DA converter 26.

次に、ステップS14で重畳される境界ガイドのグラフィックについて説明する。   Next, the boundary guide graphic superimposed in step S14 will be described.

図4は、信号処理部22が境界ガイドを重畳した状態をイメージで説明する図である。図4では、自車両40の左側方に障害物であるガードレール50が存在する状態を自車両40の前方から見たイメージと、このときに信号処理部22によって作成される俯瞰映像のイメージとが示される。   FIG. 4 is a diagram illustrating the state in which the signal processing unit 22 overlaps the boundary guide. In FIG. 4, an image of a state in which the guard rail 50 that is an obstacle exists on the left side of the host vehicle 40 is viewed from the front of the host vehicle 40, and an image of an overhead view image created by the signal processing unit 22 at this time is shown. Indicated.

センサ4がガードレール50を検知したとき、図4の俯瞰映像には、自車両のグラフィック43、自車両のグラフィック43から離れる方向に倒れこんだ形状のガードレール51が重畳される。さらに自車両のグラフィック43の左方(図4では自車両のグラフィック43の右方)には、境界ガイド44が重畳される。図4に示すように、境界ガイド44は、台形形状で構成されている。境界ガイド44の辺44aは、自車両のグラフィック4
3側の辺である。この辺44aの位置は、センサ4が検知した自車両40とガードレール50との距離に応じて一意に定められる。境界ガイド44の辺44aは、俯瞰映像上でガードレール50の位置を示す。ユーザは、俯瞰映像上で自車両のグラフィック43が境界ガイド44の辺44aを超えないように自車両40を運転することでガードレール50との衝突を回避することができる。
When the sensor 4 detects the guard rail 50, the overhead image of FIG. 4 is superimposed with a graphic 43 of the host vehicle and a guard rail 51 having a shape falling down in a direction away from the graphic 43 of the host vehicle. Further, a boundary guide 44 is superimposed on the left side of the own vehicle graphic 43 (to the right of the own vehicle graphic 43 in FIG. 4). As shown in FIG. 4, the boundary guide 44 has a trapezoidal shape. The side 44a of the boundary guide 44 is a graphic 4 of the host vehicle.
3 side. The position of the side 44 a is uniquely determined according to the distance between the host vehicle 40 and the guard rail 50 detected by the sensor 4. A side 44a of the boundary guide 44 indicates the position of the guardrail 50 on the overhead view video. The user can avoid a collision with the guardrail 50 by driving the host vehicle 40 so that the graphic 43 of the host vehicle does not exceed the side 44a of the boundary guide 44 on the overhead view video.

一方、境界ガイド44の辺44bは自車両40の路面からドアミラー41までの高さを示す。ユーザは、図4に示されるように俯瞰映像上でガードレール51の右端よりも境界ガイド44の辺44bが右に位置するときにドアミラー41よりもガードレール50が低いことを認識することができる。このとき、ユーザはドアミラー41とガードレール50とが衝突しないことを認識することができる。また、ユーザは自車両40の左端42がガードレール50と衝突しないように自車両40を運転すればよいことを認識することができる。このとき、ユーザは、俯瞰映像上で自車両のグラフィック43のドアミラー45が境界ガイド44の辺44aを超えても車体左側端46が辺44aを超えないように運転することで自車両40とガードレール50の衝突を防止することができる。   On the other hand, the side 44 b of the boundary guide 44 indicates the height from the road surface of the host vehicle 40 to the door mirror 41. As shown in FIG. 4, the user can recognize that the guard rail 50 is lower than the door mirror 41 when the side 44 b of the boundary guide 44 is positioned to the right of the right end of the guard rail 51 on the overhead view image. At this time, the user can recognize that the door mirror 41 and the guard rail 50 do not collide. Further, the user can recognize that the host vehicle 40 may be driven so that the left end 42 of the host vehicle 40 does not collide with the guard rail 50. At this time, the user operates the vehicle 40 and the guardrail by driving so that the vehicle body left end 46 does not exceed the side 44a even if the door mirror 45 of the graphic 43 of the vehicle exceeds the side 44a of the boundary guide 44 on the overhead view video. 50 collisions can be prevented.

図4に示されるように、信号処理部22は、俯瞰映像上に車体左側端46に沿って延びる第1のガイド線47を重畳する。この第1のガイド線47は車体左側端46を示す指標線となるため、ユーザは、車体左側端46が境界ガイド44の辺44aを超えないように運転しやすくなる。また、信号処理部22は、さらに境界ガイド44の辺44aよりも左方にガイドマーク48を重畳してもよい。このガイドマーク48は、境界ガイド44の辺44aに余裕値を持たせたものを意味する。ガイドマーク48は、境界ガイド44の自車両40側端部である辺44aよりもさらに自車両40側に位置する。そして、ガイドマーク48は、第1のガイド線47が接するまで自車両が移動可能であることを示す。ユーザが第1のガイド線47をガイドマーク48に合致するまで運転することを認識できるので自車両40とガードレール50の衝突をより確実に防止することができる。   As shown in FIG. 4, the signal processing unit 22 superimposes a first guide line 47 extending along the vehicle body left end 46 on the overhead view video. Since the first guide line 47 serves as an index line indicating the vehicle body left end 46, the user can easily drive the vehicle so that the vehicle left end 46 does not exceed the side 44a of the boundary guide 44. Further, the signal processing unit 22 may further superimpose the guide mark 48 on the left side of the side 44 a of the boundary guide 44. This guide mark 48 means that the side 44a of the boundary guide 44 has a margin value. The guide mark 48 is located further on the side of the host vehicle 40 than the side 44a that is the end of the boundary guide 44 on the side of the host vehicle 40. The guide mark 48 indicates that the host vehicle can move until the first guide line 47 comes into contact. Since the user can recognize that the first driving line 47 is driven until it matches the guide mark 48, the collision between the host vehicle 40 and the guard rail 50 can be prevented more reliably.

信号処理部22は、さらに高さ指標線49を重畳してもよい。この高さ指標線49は複数の指標線49a〜49cで構成される。信号処理部22は、各指標線49a〜49cに距離数値を付加してもよい。これにより、境界ガイド44が高さを示すグラフィックであることをユーザは直感的に認識しやすくなる。   The signal processing unit 22 may further superimpose a height index line 49. The height index line 49 includes a plurality of index lines 49a to 49c. The signal processing unit 22 may add a distance numerical value to each of the index lines 49a to 49c. This makes it easier for the user to intuitively recognize that the boundary guide 44 is a graphic indicating the height.

なお、図4に示されるように、ガイドマーク48、高さ指標線49は、自車両のグラフィック43の前方側に重畳されている。図示しない進行方向検出手段から取得した自車両の進行方向の情報に基づいて、信号処理部22はガイドマーク48、高さ指標線49を重畳する前後の位置を決定する。例えば、信号処理部22は、図示しないシフトレバーからドライブのポジション情報を得たとき、図4に示すように自車両のグラフィック43の前方にガイドマーク48、高さ指標線49を重畳する。これによって、障害物と衝突しやすい自車両40の進行方向について衝突を防止することと、ガイドマーク48と高さ指標線49の重畳エリアを少なくして境界ガイド44の視認性を維持することとを両立することができる。   As shown in FIG. 4, the guide mark 48 and the height index line 49 are superimposed on the front side of the graphic 43 of the host vehicle. The signal processing unit 22 determines positions before and after the guide mark 48 and the height index line 49 are superimposed on the basis of information on the traveling direction of the host vehicle acquired from a traveling direction detection unit (not shown). For example, when the signal processing unit 22 obtains drive position information from a shift lever (not shown), the guide mark 48 and the height index line 49 are superimposed in front of the graphic 43 of the host vehicle as shown in FIG. This prevents a collision in the traveling direction of the host vehicle 40 that easily collides with an obstacle, reduces the overlapping area of the guide mark 48 and the height index line 49, and maintains the visibility of the boundary guide 44. Can be compatible.

次に、ステップS14で重畳される境界ガイドのグラフィックの別な状態について説明する。図5は、図4の別な状態をイメージで説明する図である。図5では、自車両40の左側方に障害物である壁52が存在する状態を自車両40の前方から見たイメージと、このときに信号処理部22によって作成される俯瞰映像のイメージとが示される。なお、図5において図4と同様の構成については同じ符号を付し、詳細な説明を省略する。   Next, another state of the boundary guide graphic superimposed in step S14 will be described. FIG. 5 is a diagram for explaining another state of FIG. 4 with an image. In FIG. 5, an image of a state in which a wall 52 that is an obstacle exists on the left side of the host vehicle 40 is viewed from the front of the host vehicle 40, and an image of an overhead view image created by the signal processing unit 22 at this time Indicated. In FIG. 5, the same components as those in FIG. 4 are denoted by the same reference numerals, and detailed description thereof is omitted.

センサ4が壁52を検知したとき、図5の俯瞰映像には、自車両のグラフィック43、自車両のグラフィック43から離れる方向に倒れこんだ形状の壁53が重畳される。さら
に自車両のグラフィック43の左方には、境界ガイド44が重畳される。図5に示すように、境界ガイド44は、図4と同様の台形形状で構成されている。この境界ガイド44の辺44aの位置は、センサ4が検知した自車両40と壁52との距離に応じて一意に定められる。境界ガイド44の辺44aは、俯瞰映像上で壁53の位置を示す。ユーザは、俯瞰映像上で自車両のグラフィック43が境界ガイド44の辺44aを超えないように自車両40を運転することで壁52との衝突を回避することができる。
When the sensor 4 detects the wall 52, the overhead image of FIG. 5 is superimposed with the graphic 43 of the host vehicle and the wall 53 having a shape that falls down in a direction away from the graphic 43 of the host vehicle. Further, a boundary guide 44 is superimposed on the left side of the graphic 43 of the host vehicle. As shown in FIG. 5, the boundary guide 44 has a trapezoidal shape similar to that in FIG. 4. The position of the side 44 a of the boundary guide 44 is uniquely determined according to the distance between the vehicle 40 and the wall 52 detected by the sensor 4. A side 44a of the boundary guide 44 indicates the position of the wall 53 on the overhead view video. The user can avoid a collision with the wall 52 by driving the host vehicle 40 so that the graphic 43 of the host vehicle does not exceed the side 44a of the boundary guide 44 on the overhead view video.

一方、図5の俯瞰映像上で、境界ガイド44の辺44bは壁53の右端よりも左に位置する。このとき、ユーザはドアミラー41よりも壁52が高いことを認識することができる。そして、ユーザはドアミラー41と壁52とが衝突する可能性があることを認識することができる。そして、ユーザはドアミラー41が壁52と衝突しないように自車両40を運転すればよいことを認識することができる。このとき、ユーザは、俯瞰映像上で自車両のグラフィック43のドアミラー45が境界ガイド44の辺44aを超えないように運転することで自車両40とガードレール50の衝突を防止することができる。   On the other hand, the side 44 b of the boundary guide 44 is positioned to the left of the right end of the wall 53 on the overhead view image of FIG. At this time, the user can recognize that the wall 52 is higher than the door mirror 41. Then, the user can recognize that the door mirror 41 and the wall 52 may collide. Then, the user can recognize that it is only necessary to drive the host vehicle 40 so that the door mirror 41 does not collide with the wall 52. At this time, the user can prevent the collision between the host vehicle 40 and the guardrail 50 by driving so that the door mirror 45 of the graphic 43 of the host vehicle does not exceed the side 44a of the boundary guide 44 on the overhead view video.

図5に示されるように、信号処理部22は、俯瞰映像上にドアミラーの側端45に沿って延びる第2のガイド線54を重畳する。この第2のガイド線54はドアミラーの側端45を示す指標線となるため、ユーザは、ドアミラーの側端45が境界ガイド44の辺44aを超えないように運転しやすくなる。また、信号処理部22は、さらに境界ガイド44の辺44aよりも左方にガイドマーク55を重畳してもよい。ユーザが第2のガイド線54をガイドマーク55に合致するまで運転することを認識できるので自車両40とガードレール50の衝突をより確実に防止することができる。なお、信号処理部22は、さらに高さ指標線56を重畳してもよい。この高さ指標線56は複数の指標線56a〜56cで構成される。信号処理部22は、各指標線56a〜56cに距離数値を付加してもよい。これにより、境界ガイド44が高さを示すグラフィックであることをユーザは直感的に認識しやすくなる。   As illustrated in FIG. 5, the signal processing unit 22 superimposes a second guide line 54 extending along the side edge 45 of the door mirror on the overhead view video. Since the second guide line 54 serves as an index line indicating the side end 45 of the door mirror, the user can easily drive so that the side end 45 of the door mirror does not exceed the side 44 a of the boundary guide 44. Further, the signal processing unit 22 may further superimpose the guide mark 55 on the left side of the side 44 a of the boundary guide 44. Since it can be recognized that the user drives the second guide line 54 until it matches the guide mark 55, the collision between the host vehicle 40 and the guard rail 50 can be prevented more reliably. Note that the signal processing unit 22 may further superimpose the height index line 56. The height index line 56 includes a plurality of index lines 56a to 56c. The signal processing unit 22 may add a distance numerical value to each of the index lines 56a to 56c. This makes it easier for the user to intuitively recognize that the boundary guide 44 is a graphic indicating the height.

なお、図5に示されるように、ガイドマーク55、高さ指標線56は、自車両のグラフィック43の後方側に重畳されている。信号処理部22は、図示しないシフトレバーからリバースのポジション情報を得たとき、自車両のグラフィック43の後方にガイドマーク55、高さ指標線56を重畳する。これによって、後退時に障害物と衝突しやすい自車両40の後退方向について衝突を防止することと、ガイドマーク55と高さ指標線56の重畳エリアを少なくして境界ガイド44の視認性を維持することとを両立することができる。   As shown in FIG. 5, the guide mark 55 and the height index line 56 are superimposed on the rear side of the graphic 43 of the host vehicle. When the signal processing unit 22 obtains reverse position information from a shift lever (not shown), the signal processing unit 22 superimposes the guide mark 55 and the height index line 56 behind the graphic 43 of the host vehicle. This prevents a collision in the backward direction of the host vehicle 40 that easily collides with an obstacle when moving backward, and reduces the overlapping area of the guide mark 55 and the height index line 56 to maintain the visibility of the boundary guide 44. Both.

なお、図4と図5で示されるように、俯瞰画像上に境界ガイド44が重畳された場合、入力手段5によって、第1のガイド線47と第2のガイド線54のいずれかが選択される。ユーザは、境界ガイド44の辺44bと障害物との位置関係を視認する。そして、入力手段5によって、自車両の車体側端46またはドアミラー側端45のいずれを通るかを入力する。これによって、ユーザは、第1のガイド線47と第2のガイド線54のうち案内に適したガイド線を選択することができる。信号処理部22は、入力手段5からの入力結果に基づいて俯瞰映像上に第1のガイド線47と第2のガイド線54のいずれかを重畳する。これによって、障害物の高さに応じた衝突防止のガイドをすることができる。   As shown in FIGS. 4 and 5, when the boundary guide 44 is superimposed on the overhead view image, either the first guide line 47 or the second guide line 54 is selected by the input unit 5. The The user visually recognizes the positional relationship between the side 44b of the boundary guide 44 and the obstacle. Then, the input means 5 inputs which of the vehicle body side end 46 or the door mirror side end 45 of the host vehicle is passed. Thus, the user can select a guide line suitable for guidance from the first guide line 47 and the second guide line 54. The signal processing unit 22 superimposes either the first guide line 47 or the second guide line 54 on the overhead view video based on the input result from the input unit 5. As a result, it is possible to guide collision prevention according to the height of the obstacle.

なお、図4、図5では、自車両40の左側方でセンサ4が障害物を検知した場合について述べたが、自車両40の右側方でセンサ4が障害物を検知した場合、境界ガイド44は、自車両の右側方に重畳される。すなわち、境界ガイド44は、センサ4が障害物を検知した側の自車両40の側方に重畳される。   4 and 5, the case where the sensor 4 detects an obstacle on the left side of the host vehicle 40 has been described. However, when the sensor 4 detects an obstacle on the right side of the host vehicle 40, the boundary guide 44. Is superimposed on the right side of the vehicle. That is, the boundary guide 44 is superimposed on the side of the host vehicle 40 on the side where the sensor 4 detects the obstacle.

以上のように、本発明によれば、路面からの高さに応じた障害物の存在をユーザに直感
的に示して自車両と障害物との接触を防止することができる。
As described above, according to the present invention, the presence of an obstacle according to the height from the road surface can be intuitively shown to the user to prevent contact between the host vehicle and the obstacle.

本発明は、路面投影モデルを用いた俯瞰映像において車両などの立体物が倒れこんだ平面形状で表示されても、この立体物と自車両との衝突を防止する点で有用である。   The present invention is useful in preventing a collision between a three-dimensional object and the host vehicle even when the three-dimensional object such as a vehicle is displayed in a planar shape collapsed in an overhead view image using a road surface projection model.

1 撮像手段
2 画像処理ユニット
3 表示手段
4 センサ
5 入力手段
DESCRIPTION OF SYMBOLS 1 Imaging means 2 Image processing unit 3 Display means 4 Sensor 5 Input means

Claims (6)

自車両周囲を撮像する撮像手段と、
自車両側方の障害物を検知するセンサと、
前記撮像手段から取得した撮像映像に基づいて俯瞰映像を作成し、この俯瞰映像に前記センサから取得した情報に基づいてグラフィックを重畳する画像処理ユニットと、
この画像処理ユニットによってグラフィックが重畳された重畳映像を表示する表示手段とを備え、
前記画像処理ユニットは、前記センサが側方の障害物を検知した場合に、この障害物を検知した側の側方に、路面からドアミラーまでの高さの境界ガイドを重畳することを特徴とする表示装置。
Imaging means for imaging the surroundings of the vehicle;
A sensor for detecting obstacles on the side of the vehicle,
An image processing unit that creates an overhead video based on the captured video acquired from the imaging means and superimposes a graphic on the overhead video based on information acquired from the sensor;
Display means for displaying a superimposed video on which graphics are superimposed by the image processing unit,
When the sensor detects a side obstacle, the image processing unit superimposes a boundary guide having a height from a road surface to a door mirror on the side where the obstacle is detected. Display device.
前記画像処理ユニットは、自車両の車体側端またはドアミラー側端のいずれかを通り車長方向に沿って延び、前記境界ガイドの自車両側端部と接するまで移動可能であることを示すガイド線を前記俯瞰映像にさらに重畳することを特徴とする請求項1に記載の表示装置。   A guide line indicating that the image processing unit extends along the vehicle length direction through either the vehicle body side end or the door mirror side end of the host vehicle and is movable until it contacts the host vehicle side end of the boundary guide. The display device according to claim 1, further superimposing on the overhead view video. 前記境界ガイドは、台形形状で構成され、この境界ガイドの自車両側の辺は前記センサが検出した障害物の位置を示し、前記境界ガイドの他方の辺はドアミラーまでの高さを示すことを特徴とする請求項2に記載の表示装置。   The boundary guide is formed in a trapezoidal shape, the side of the boundary guide on the own vehicle side indicates the position of the obstacle detected by the sensor, and the other side of the boundary guide indicates the height to the door mirror. The display device according to claim 2, wherein the display device is characterized. 前記境界ガイドの自車両側端部よりもさらに自車両側に位置して、前記ガイド線が接するまで自車両が移動可能であることを示すガイドマークをさらに有したことを特徴とする請求項3に記載の表示装置。   4. A guide mark located further on the host vehicle side than the end of the boundary guide on the host vehicle side and indicating that the host vehicle can move until the guide line comes into contact with the boundary guide. The display device described in 1. 前記画像処理ユニットは、自車両が前進しているとき前方側に前記ガイドマークを重畳し、自車両が後退しているとき後方側に前記ガイドマークを重畳することを特徴とする請求項4に記載の表示装置。   The image processing unit superimposes the guide mark on the front side when the host vehicle is moving forward, and superimposes the guide mark on the rear side when the host vehicle is moving backward. The display device described. 前記ガイドマークが自車両の車体側端またはドアミラー側端のいずれを通るかを入力する入力手段をさらに備えたことを特徴とする請求項2から請求項5のいずれかに記載の表示装置。   6. The display device according to claim 2, further comprising input means for inputting whether the guide mark passes through a vehicle body side end or a door mirror side end of the host vehicle.
JP2011055125A 2011-03-14 2011-03-14 Display device Withdrawn JP2012188058A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011055125A JP2012188058A (en) 2011-03-14 2011-03-14 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011055125A JP2012188058A (en) 2011-03-14 2011-03-14 Display device

Publications (1)

Publication Number Publication Date
JP2012188058A true JP2012188058A (en) 2012-10-04

Family

ID=47081688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011055125A Withdrawn JP2012188058A (en) 2011-03-14 2011-03-14 Display device

Country Status (1)

Country Link
JP (1) JP2012188058A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017013784A (en) * 2015-06-23 2017-01-19 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG On-board display system for vehicles such as commercial vehicles
WO2018003188A1 (en) * 2016-06-30 2018-01-04 アイシン精機株式会社 Periphery monitoring device
JP7477015B1 (en) 2023-05-29 2024-05-01 いすゞ自動車株式会社 Display control device and display control method

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017013784A (en) * 2015-06-23 2017-01-19 メクラ・ラング・ゲーエムベーハー・ウント・コー・カーゲーMEKRA Lang GmbH & Co. KG On-board display system for vehicles such as commercial vehicles
WO2018003188A1 (en) * 2016-06-30 2018-01-04 アイシン精機株式会社 Periphery monitoring device
JP2018001899A (en) * 2016-06-30 2018-01-11 アイシン精機株式会社 Periphery monitoring device
CN109314770A (en) * 2016-06-30 2019-02-05 爱信精机株式会社 Periphery monitoring apparatus
JP7477015B1 (en) 2023-05-29 2024-05-01 いすゞ自動車株式会社 Display control device and display control method

Similar Documents

Publication Publication Date Title
US20210192230A1 (en) Display apparatus
JP4687160B2 (en) Perimeter monitoring device
JP4760831B2 (en) Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method
JP5068779B2 (en) Vehicle surroundings overhead image display apparatus and method
JP5454934B2 (en) Driving assistance device
JP3945467B2 (en) Vehicle retraction support apparatus and method
US9697735B2 (en) Drive assistance device
JP5182137B2 (en) Vehicle periphery display device
JP2008007090A (en) Parking assist method and parking assist apparatus
JP2012071635A5 (en)
JP5776995B2 (en) Vehicle periphery monitoring device
WO2017154787A1 (en) Parking area display system, and automatic parking system using same
JP2009143410A (en) Parking supporting device and method
JP2010028432A (en) Parking support system and image display method
WO2010134240A1 (en) Parking assistance device, parking assistance method, and parking assistance program
JP4595902B2 (en) Vehicle periphery image display system and vehicle periphery image display method
JP2007124097A (en) Apparatus for visually recognizing surrounding of vehicle
JP2012023505A (en) Driving support device
JP2012001126A (en) Vehicle surroundings monitoring device
JP2012188058A (en) Display device
JP4677820B2 (en) Predicted course display device and predicted course display method
JP2012166689A (en) Driving assistance apparatus
JP2012090087A (en) Driving assist apparatus using vehicle periphery image
JP2007176256A (en) Image display method and driving support device
JP2017171128A (en) Parking support device and parking support method

Legal Events

Date Code Title Description
A300 Withdrawal of application because of no request for examination

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140603