JP2009040272A - Vehicle periphery monitoring device - Google Patents

Vehicle periphery monitoring device Download PDF

Info

Publication number
JP2009040272A
JP2009040272A JP2007208373A JP2007208373A JP2009040272A JP 2009040272 A JP2009040272 A JP 2009040272A JP 2007208373 A JP2007208373 A JP 2007208373A JP 2007208373 A JP2007208373 A JP 2007208373A JP 2009040272 A JP2009040272 A JP 2009040272A
Authority
JP
Japan
Prior art keywords
obstacle
vehicle
mask pattern
shielding
vehicle periphery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2007208373A
Other languages
Japanese (ja)
Inventor
Mitsuaki Watanabe
光章 渡邉
Takehiko Sakagami
武彦 阪上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2007208373A priority Critical patent/JP2009040272A/en
Publication of JP2009040272A publication Critical patent/JP2009040272A/en
Withdrawn legal-status Critical Current

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide "a vehicle periphery monitoring device" previously avoiding a collision with an obstacle existing at the periphery of one's own vehicle when a peripheral image of the one's own vehicle is displayed. <P>SOLUTION: This vehicle periphery monitoring device has an obstacle detection means for detecting the obstacle at the periphery of the one's own vehicle; a photographing means for photographing the periphery of the one's own vehicle; a display means for displaying a top view image T at the periphery of the one's own vehicle photographed by the photographing means on a display; and an obstacle shielding means for shielding at least a part of the obstacle 14 included in the top view image displayed by the display means by a mask pattern 142 when the obstacle is detected by the obstacle detection means. <P>COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、撮像カメラ等によって自車周辺を撮像し、自車周辺の画像を表示する機能を備えた車両周辺監視装置に関し、特に、自車周辺に障害物を検出したときの障害物の表示方法に関する。   The present invention relates to a vehicle periphery monitoring device having a function of capturing an image of the periphery of the vehicle with an imaging camera or the like and displaying an image of the periphery of the vehicle, and in particular, displaying an obstacle when an obstacle is detected around the vehicle. Regarding the method.

車両周辺監視装置は、車両の前後左右等に複数の撮像カメラを搭載し、撮像カメラによって撮像された自車周辺の画像をディスプレイに表示する。これにより、ユーザに自車周辺に存在する自動車や人その他の障害物等の危険を察知することができる。特に、狭い駐車場や車庫、または道幅の狭い道路を走行するとき、運転者の支援をすることができる。   The vehicle periphery monitoring device has a plurality of imaging cameras mounted on the front, rear, left, and right sides of the vehicle, and displays an image of the periphery of the vehicle captured by the imaging camera on a display. As a result, the user can be aware of the dangers of automobiles, people, and other obstacles around the vehicle. In particular, when driving on a narrow parking lot, a garage, or a narrow road, the driver can be supported.

撮像カメラは、一般に広角レンズを用いるため、レンズ周縁部の画像に歪等が含まれ、そこに映し出された障害物との距離感を掴みにくいことがある。これを補うため、障害物までの距離を測定する距離センサを車両に取り付けることが提案されている。例えば、車両の複数のコーナー部分に超音波ソナーを取り付け、その反射波により障害物までの距離を測定するものである。   Since an imaging camera generally uses a wide-angle lens, distortion or the like is included in the peripheral image of the lens, and it may be difficult to grasp a sense of distance from an obstacle displayed there. In order to compensate for this, it has been proposed to attach a distance sensor for measuring the distance to an obstacle to the vehicle. For example, ultrasonic sonar is attached to a plurality of corner portions of a vehicle, and the distance to an obstacle is measured by reflected waves.

特許文献1は、このような超音波ソナーによる障害物を検出する技術を開示している。特許文献1は、車両に複数のソナーを搭載したとき、いずれのソナーが障害物を検出しているのかをユーザが特定できるようにするため、自車周辺画像に、障害物探知範囲を示す画像を併せて表示している。   Patent Document 1 discloses a technique for detecting an obstacle using such an ultrasonic sonar. Patent Document 1 discloses an image showing an obstacle detection range in the vehicle periphery image so that the user can specify which sonar detects an obstacle when a plurality of sonars are mounted on the vehicle. Is also displayed.

特開2006−352368号JP 2006-352368 A

撮像カメラにより撮像された自車周辺画像をディスプレイに表示するとき、撮像データを視点変換し、自車の真上から見下ろすような画像(以下、トップビュー画像という)を表示することが実用化されている。トップビュー画像は、例えば図1に示すように、自車10の前方画像F、左右の画像SR、SL、および後方画像Rを鳥瞰的に見下ろした投影画像である。   When displaying the surrounding image of the vehicle captured by the imaging camera on the display, it is practical to convert the viewpoint of the captured image and display an image that looks down from directly above the vehicle (hereinafter referred to as a top view image). ing. For example, as shown in FIG. 1, the top view image is a projected image obtained by looking down at the front image F, the left and right images SR and SL, and the rear image R of the host vehicle 10 in a bird's eye view.

トップビュー画像Tは、自車周辺の全体を見渡せるため、ユーザにとって死角となり得るような位置の障害物であっても容易に認識することができるという利点がある。他方、トップビュー画像Tは、撮像データを自車の真上から地面方向に投影するため、自車に近い障害物ほど、および地面から高さのある障害物ほど、障害物の映像が間延びし、あるいは大きく歪んでしまうという短所がある。トップビュー画像において障害物の画像に大きな歪みがあると、自車と障害物との間の距離感を誤ることがある。例えば、ユーザがトップビュー画像を頼りに駐車するとき、ユーザは、目視で運転するときよりも自車を障害物に近づけてしまい、障害物に接触させてしまうことがある。   The top-view image T has an advantage that it can be easily recognized even if it is an obstacle at a position that can be a blind spot for the user because the entire view around the host vehicle can be seen. On the other hand, in the top view image T, since the imaged data is projected from directly above the own vehicle to the ground, the obstacle images closer to the own vehicle and the obstacles that are higher from the ground have a longer image of the obstacle. There is a disadvantage that it is distorted greatly. If the obstacle image in the top view image is largely distorted, the sense of distance between the vehicle and the obstacle may be mistaken. For example, when the user parks relying on the top view image, the user may bring his / her vehicle closer to the obstacle and contact the obstacle than when driving visually.

図2は、自車が右後方の障害物と衝突するときの例である。図2(a)は衝突前、図2(b)は衝突直前、図2(c)は衝突時を表し、ディスプレイには、トップビュー画像Tと自車の後方を側方から映すサイドビューSの2画面が表示されている。サイドビューSおよびトップビューTには、自車10と自車10の走行軌跡を示す予測線12が併せて表示されている。図2(a)のサイドビューSに示すように、自車の後方には障害物14が存在するが、トップビュー画像Tでは、障害物14が間延びし、歪んだ画像(図には、簡略化したハッチングで表示)14aとして表示される。ユーザがトップビュー画像Tを見ながら自車を後進させたとき、図2(b)に示すように障害物14との間には一定の距離があるように見えるが、実際には、障害物には非常に接近している。さらに後進を続けると、図2(c)に示すように、障害物14に接触させてしまう。   FIG. 2 is an example when the vehicle collides with an obstacle on the right rear side. 2A shows the state before the collision, FIG. 2B shows the state immediately before the collision, and FIG. 2C shows the time of the collision, and the display shows the top view image T and the side view S that reflects the rear of the vehicle from the side. 2 screens are displayed. In the side view S and the top view T, the prediction line 12 indicating the own vehicle 10 and the traveling locus of the own vehicle 10 is also displayed. As shown in the side view S of FIG. 2A, there is an obstacle 14 behind the host vehicle. In the top view image T, the obstacle 14 extends and is distorted. 14a). When the user reverses the vehicle while looking at the top view image T, it appears that there is a certain distance from the obstacle 14 as shown in FIG. Is very close. If the vehicle continues to move backward, it will come into contact with the obstacle 14 as shown in FIG.

図3は、自車が前方の障害物が衝突するときの例である。図3(a)は衝突前、図3(b)は衝突直前、図3(C)は衝突時を表している。前進で駐車位置から退去するときにも、ディスプレイには、トップビュー画像Tと自車の前方を側方から映すサイドビューSが表示される。サイドビュー画像Sには、自車10と自車の外形を示す車枠13が表示されている。図3(a)に示すように、自車の前方には障害物14が存在するが、図2のときと同様に、トップビュー画像Tでは、障害物14が間延びし、歪んだ画像14aとして表示される。ユーザがトップビュー画像Tを見ながら自車を前進させたとき、図3(b)に示すように障害物14との間には一定の距離が存在するように見えるが、実際には、障害物には非常に接近している。さらに前進を続けると、図3(c)に示すように、障害物14に接触させてしまう。   FIG. 3 shows an example when the vehicle collides with an obstacle ahead. 3A shows the state before the collision, FIG. 3B shows the state immediately before the collision, and FIG. 3C shows the time of the collision. Even when the vehicle moves away from the parking position in the forward direction, the top view image T and the side view S that reflects the front of the host vehicle from the side are displayed on the display. In the side view image S, a host vehicle 10 and a vehicle frame 13 showing the outer shape of the host vehicle are displayed. As shown in FIG. 3A, an obstacle 14 is present in front of the host vehicle. Similar to the case of FIG. 2, in the top view image T, the obstacle 14 extends and becomes a distorted image 14a. Is displayed. When the user moves the vehicle forward while looking at the top view image T, it appears that a certain distance exists between the obstacle 14 and the obstacle 14 as shown in FIG. Things are very close. If the vehicle continues to move forward, it will come into contact with the obstacle 14 as shown in FIG.

本発明は、このような上記課題を解決するものであり、自車周辺画像を表示するとき自車周辺に存在する障害物との衝突を未然に回避させる車両周辺監視装置を提供することを目的とする。   The present invention solves the above-described problems, and an object of the present invention is to provide a vehicle periphery monitoring device that avoids a collision with an obstacle existing around the vehicle when displaying the vehicle periphery image. And

本発明に係る車両周辺監視装置は、自車周辺の障害物を検出する障害物検出手段と、自車周辺を撮像する撮像手段と、撮像手段によって撮像された自車周辺画像をディスプレイに表示する表示手段と、前記障害物検出手段によって障害物が検出されたとき、前記表示手段によって表示された前記自車周辺画像に含まれる障害物の少なくとも一部をマスクパターンによって遮蔽する障害物遮蔽手段とを有する。   The vehicle periphery monitoring device according to the present invention displays on the display an obstacle detection unit that detects an obstacle around the host vehicle, an imaging unit that captures an image of the periphery of the host vehicle, and an image of the vehicle periphery captured by the imaging unit. A display means, and an obstacle shielding means for shielding at least a part of the obstacles included in the vehicle periphery image displayed by the display means with a mask pattern when an obstacle is detected by the obstacle detection means. Have

好ましくは表示手段は、車両の真上から見下ろすような自車周辺画像を表示する。車両周辺監視装置はさらに、自車位置から障害物までの距離を測定する距離測定手段を含み、前記障害物遮蔽手段は、前記距離測定手段により測定された障害物までの距離が第1のしきい値以下になったとき第1のマスクパターンによる遮蔽を行う。さらに障害物遮蔽手段は、障害物までの距離が第1のしきい値よりも小さい第2のしきい値以下になったとき、第1のマスクパターンと異なる第2のマスクパターンよる遮蔽を行うことができる。例えば、第2のマスクパターンは、第1のマスクパターンよりも遮蔽領域が大きい。また、第1および第2のマスクパターンは、自車位置から障害物までの距離表示を含むことができる。   Preferably, the display means displays an image around the host vehicle as if looking down from directly above the vehicle. The vehicle periphery monitoring device further includes distance measuring means for measuring a distance from the vehicle position to the obstacle, and the obstacle shielding means has a first distance to the obstacle measured by the distance measuring means. When the threshold value is below the threshold value, the first mask pattern is used for shielding. Further, the obstacle shielding means performs shielding with a second mask pattern different from the first mask pattern when the distance to the obstacle is equal to or smaller than a second threshold value that is smaller than the first threshold value. be able to. For example, the second mask pattern has a larger shielding area than the first mask pattern. Further, the first and second mask patterns can include a distance display from the vehicle position to the obstacle.

好ましくは、車両周辺監視装置はさらに、自車の進行方向を判別する進行方向判別手段を含み、前記障害物遮蔽手段は、前記進行方向判別手段によって判別された進行方向に応じたマスクパターンによる遮蔽を行う。また、車両周辺監視装置はさらに、複数のマスクパターンを記憶する記憶手段を含み、前記障害物遮蔽手段は、前記記憶手段に記憶された複数のマスクパターンから所定のマスクパターンを選択することができる。   Preferably, the vehicle periphery monitoring device further includes a traveling direction determining unit that determines a traveling direction of the host vehicle, and the obstacle shielding unit is shielded by a mask pattern corresponding to the traveling direction determined by the traveling direction determining unit. I do. The vehicle periphery monitoring apparatus further includes a storage unit that stores a plurality of mask patterns, and the obstacle shielding unit can select a predetermined mask pattern from the plurality of mask patterns stored in the storage unit. .

本発明に係る自車周辺画像を表示する機能を備えた車両周辺監視方法またはプログラムは、自車周辺を撮像し、撮像した自車周辺画像を自車の真上か見下ろすようにディスプレイに表示するステップと、自車周辺の障害物を検出するステップと、検出された障害物までの距離を測定するステップと、障害物までの距離が第1のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第1のマスクパターンによって遮蔽するステップと、障害物までの距離が第1のしきい値より小さい第2のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第2のマスクパターンによって遮蔽するステップと、を有する。好ましくは、第1または第2のマスクパターンによる遮蔽を行うとき、障害物に関する音声案内を行う。   A vehicle periphery monitoring method or program having a function of displaying a vehicle periphery image according to the present invention images a vehicle periphery and displays the captured vehicle periphery image on a display so as to look down on the vehicle. A step, a step of detecting an obstacle around the vehicle, a step of measuring a distance to the detected obstacle, and a display on the display when the distance to the obstacle is equal to or less than a first threshold value. Shielding at least a part of the obstacle included in the surrounding image of the subject vehicle with the first mask pattern, and the distance to the obstacle is equal to or smaller than a second threshold value which is smaller than the first threshold value. And blocking at least a part of the obstacle included in the vehicle periphery image displayed on the display with the second mask pattern. Preferably, when performing shielding with the first or second mask pattern, voice guidance regarding the obstacle is performed.

本発明によれば、自車周辺に障害物を検出したとき、障害物の表示を遮蔽するようにしたので、ユーザは、自車周辺画像を見て自車から障害物への距離感を把握することができなくなり、障害物の目視を余儀なくされ、誤った距離感に基づき自車を走行することがなくなり、また、しきい値の設定によりマスクパターンを変えることで、衝突寸前まで接近していることを把握でき、障害物への衝突や接触を未然に回避することができる。   According to the present invention, when an obstacle is detected around the vehicle, the display of the obstacle is shielded, so the user can see the distance from the vehicle to the obstacle by looking at the image around the vehicle. You will not be able to see the obstacles, you will not be able to drive your vehicle based on the wrong sense of distance, and by changing the mask pattern by setting the threshold, And can avoid collisions and contact with obstacles.

本発明の最良の実施の形態について図面を参照して詳細に説明する。   The best mode for carrying out the present invention will be described in detail with reference to the drawings.

図4(a)は、本発明の実施例に係る車両周辺監視装置100の構成を示すブロック図である。車両周辺監視装置100は、自車周辺を撮像する複数の撮像カメラ20と、自車周辺の障害物を検出する障害物検出センサ30と、自車のハンドル舵角、車速、ギアポジション等を検出する車両状態センサ40と、ディスプレイ52の表示を制御する表示制御部50と、スピーカ62への音声データを出力する音声出力部60と、障害物遮蔽プログラム72や視点変換処理プログラム74を格納したプログラムメモリ70と、障害物検出センサ30によって検出された障害物に関する障害物データ82や障害物の表示を遮蔽するためのマスクパターンデータ84を格納するデータメモリ80と、制御部90とを含んで構成される。   FIG. 4A is a block diagram illustrating a configuration of the vehicle periphery monitoring apparatus 100 according to the embodiment of the present invention. The vehicle periphery monitoring device 100 detects a plurality of imaging cameras 20 that image the periphery of the vehicle, an obstacle detection sensor 30 that detects an obstacle around the vehicle, a steering angle of the vehicle, a vehicle speed, a gear position, and the like. A vehicle state sensor 40 that performs display, a display control unit 50 that controls display on the display 52, a sound output unit 60 that outputs sound data to the speaker 62, an obstacle shielding program 72, and a viewpoint conversion processing program 74. It includes a memory 70, a data memory 80 for storing obstacle data 82 relating to obstacles detected by the obstacle detection sensor 30, mask pattern data 84 for shielding the display of obstacles, and a control unit 90. Is done.

撮像カメラ20は、例えばCCD撮像素子とレンズを含む光学系により構成され、例えば、車両の前方バンパー、後方バンパー、左右のドアミラー取り付けられる。撮像カメラ20の取り付け位置や数は、特に制限されないが、好ましくは、自車周辺の360度の範囲を撮像できるようにする。撮像カメラ20によって撮像された画像データは、視点変換処理プログラム74により視点変換され、ディスプレイ52上にトップビュー画像Tとして表示される(図1を参照)。また、サイドビュー画像Sを表示する場合には、車両状態センサ40からの出力信号に基づき自車の進行方向およびハンドル舵角に応じた撮像カメラの撮像データがサイドビュー画像に用いられる。例えば、自車が後方に右旋回する場合には、自車の左側の後方を映し出す撮像カメラの撮像データが利用される。   The imaging camera 20 is configured by an optical system including, for example, a CCD imaging device and a lens, and is attached to, for example, a vehicle front bumper, a rear bumper, and left and right door mirrors. The mounting position and number of the imaging camera 20 are not particularly limited, but preferably, a 360-degree range around the host vehicle can be captured. The image data captured by the imaging camera 20 is subjected to viewpoint conversion by the viewpoint conversion processing program 74 and displayed as a top view image T on the display 52 (see FIG. 1). Further, when the side view image S is displayed, imaging data of the imaging camera corresponding to the traveling direction of the host vehicle and the steering angle of the vehicle based on the output signal from the vehicle state sensor 40 is used for the side view image. For example, when the host vehicle turns rightward, imaging data of an imaging camera that projects the left side of the host vehicle is used.

障害物検出センサ30は、公知の検出手段を利用することができる。例えば、ミリ波レーダ、超音波、または赤外線等を照射し、照射された障害物からの反射波を受け取ることにより障害物を検出する。例えば、図4(b)に示すように、自車の前方バンパーの左右、および後方バンパーの左右の複数の位置に、超音波を照射する超音波ソナー32a、32b、32c、32dと、超音波ソナー32a〜32dによって照射され障害物によって反射された超音波を受け取る超音波ソナー受信部34とを取り付ける。超音波ソナー32a〜32dは、各々が一定の検出範囲を有し、好ましくは、超音波ソナー32a〜32dによる検出範囲は、撮像カメラ20の撮像領域に対応する。つまり、撮像範囲が自車周辺の360度であれば、障害物の検出範囲も360度であることが望ましい。また、障害物検出センサは、撮像カメラの撮像データを利用し、撮像データ内に存在する障害物を画像認識処理等によって検出するようにしてもよい。   The obstacle detection sensor 30 can use known detection means. For example, an obstacle is detected by irradiating millimeter wave radar, ultrasonic waves, infrared rays, or the like and receiving a reflected wave from the irradiated obstacle. For example, as shown in FIG. 4B, ultrasonic sonar 32a, 32b, 32c, and 32d for irradiating ultrasonic waves to the left and right positions of the front bumper and the left and right positions of the rear bumper, and ultrasonic waves An ultrasonic sonar receiver 34 that receives ultrasonic waves irradiated by the sonars 32a to 32d and reflected by the obstacle is attached. Each of the ultrasonic sonars 32 a to 32 d has a certain detection range, and preferably, the detection range by the ultrasonic sonars 32 a to 32 d corresponds to the imaging region of the imaging camera 20. In other words, if the imaging range is 360 degrees around the vehicle, the obstacle detection range is preferably 360 degrees. The obstacle detection sensor may detect the obstacle existing in the imaging data by image recognition processing or the like using the imaging data of the imaging camera.

図5は、障害物遮蔽プログラム72の機能ブロック図である。同図に示すように、障害物遮蔽プログラム72は、障害物検出センサ30からの出力信号に基づき障害物までの距離を測定する距離測定部110と、同じく出力信号に基づき障害物の位置を判別する位置判別部112と、車両状態センサ40からの出力信号に基づき自車の進行方向を判別する進行方向判別部114と、自車周辺画像に映された障害物を遮蔽するか否かを判定する遮蔽判定部116と、遮蔽判定部116の判定結果に基づき障害物を遮蔽するためのマスクパターンを選択するマスクパターン選択部118と、選択されたマスクパターンを出力するマスクパターン出力部120とを備えている。   FIG. 5 is a functional block diagram of the obstacle shielding program 72. As shown in the figure, the obstacle shielding program 72 determines the position of the obstacle based on the output signal from the distance measuring unit 110 that measures the distance to the obstacle based on the output signal from the obstacle detection sensor 30. A position determination unit 112 that performs determination, a traveling direction determination unit 114 that determines a traveling direction of the host vehicle based on an output signal from the vehicle state sensor 40, and a determination as to whether or not to block an obstacle reflected in the surrounding image of the host vehicle. And a mask pattern selection unit 118 that selects a mask pattern for shielding an obstacle based on the determination result of the shielding determination unit 116, and a mask pattern output unit 120 that outputs the selected mask pattern. I have.

距離測定部110は、例えば、超音波やレーダ等の照射波が障害物に当たってそこから戻ってくるまでの時間から障害物の距離を測定することができる。位置判別部112は、超音波やレーダ等の照射波を照射したときの角度または障害物からの反射波の入射角度によって障害物の位置を判別することができる。勿論、これ以外の方法により障害物までの距離や位置を測定し、判別するようにしてもよい。進行方向判別部114は、ハンドル舵角の大きさおよびギアポジションから自車の進行方向を判別する。例えば、自車の進行方向を、自車位置を中心に、自車の前右、前左、前方、左、右、後右、後左、後方の8方位に分類し、そのいずれかの方位を進行方向とするようにしてもよい。   The distance measuring unit 110 can measure the distance of the obstacle from the time until an irradiation wave such as an ultrasonic wave or a radar hits the obstacle and returns from there. The position discriminating unit 112 can discriminate the position of the obstacle based on the angle when the irradiation wave such as the ultrasonic wave or the radar is irradiated or the incident angle of the reflected wave from the obstacle. Of course, the distance and position to the obstacle may be measured and discriminated by other methods. The traveling direction discriminating unit 114 discriminates the traveling direction of the host vehicle from the steering wheel steering angle and the gear position. For example, the traveling direction of the own vehicle is classified into eight directions of the front right, front left, front, left, right, rear right, rear left, and rear of the own vehicle, centered on the position of the own vehicle. May be the traveling direction.

遮蔽判定部116は、自車周辺画像を遮蔽する必要があるか否か、すなわち画像歪みが発生している可能性がある障害物か否かの判定を行う。上記したように、トップビュー画像は、自車に障害物が近いほど、および地面から障害物が高いほど、障害物の画像に歪みが生じ易い。本実施例では、遮蔽判定部116は、障害物までの距離に基づき障害物の画像を遮蔽すべきか否かを判定する。   The occlusion determination unit 116 determines whether or not it is necessary to occlude the surrounding image of the host vehicle, that is, whether or not there is an obstacle that may cause image distortion. As described above, in the top view image, the closer the obstacle is to the host vehicle and the higher the obstacle from the ground, the more likely the distortion image is distorted. In the present embodiment, the shielding determination unit 116 determines whether or not the obstacle image should be shielded based on the distance to the obstacle.

マスクパターン選択部118は、予めデータメモリに用意された複数のマスクパターンから所望のマスクパターンを選択する。本実施例では、ディスプレイが2画面表示をするとき、すなわちサイドビュー画像とトップビュー画像が表示されるとき、それぞれの画像をマスクパターンにより遮蔽することを可能にする。このため、サイドビュー画像用とトップビュー画像用のそれぞれのマスクパターンを複数用意してある。   The mask pattern selection unit 118 selects a desired mask pattern from a plurality of mask patterns prepared in advance in the data memory. In the present embodiment, when the display performs two-screen display, that is, when the side view image and the top view image are displayed, the respective images can be shielded by the mask pattern. For this reason, a plurality of mask patterns for the side view image and the top view image are prepared.

サイドビュー用マスクパターン130は、図6に示すように、サイドビュー画面の全体を遮蔽する画面遮蔽マスク132と、画面遮蔽マスク132上に合成される車枠134と、障害物が存在する方向を示す障害物方向表示136と、画面遮蔽マスク132上に合成されるテキストデータ138とを含んでいる。これらの詳細な例は、後述する。また、トップビュー用マスクパターン140は、トップビュー画像に含まれる障害物を遮蔽する領域マスク142と、領域マスク142に合成される障害物までの距離を示す距離表示144とを含む。   As shown in FIG. 6, the side view mask pattern 130 indicates a screen shielding mask 132 that shields the entire side view screen, a car frame 134 that is synthesized on the screen shielding mask 132, and a direction in which an obstacle exists. An obstacle direction display 136 and text data 138 synthesized on the screen shielding mask 132 are included. These detailed examples will be described later. The top-view mask pattern 140 includes a region mask 142 that blocks an obstacle included in the top-view image, and a distance display 144 that indicates a distance to the obstacle combined with the region mask 142.

図7に、マスクパターンの具体的な例を示す。図7(a)に示すマスクパターンは、自車の右前方に障害物があるときのマスクパターンの例である。サイドビュー用マスクパターン130は、サイドビュー画面全体を遮蔽する矩形状の画面遮蔽マスク132と、その中央に表示される矩形状の車枠134と、車枠134の右前方に障害物が存在することを示す障害物方向表示136と、画面遮蔽マスク132上に表示されるテキストデータ(「右前に注意」)138とを含んでいる。トップビュー用マスク140は、トップビュー画像に含まれる右前方の障害物を遮蔽する円形状の領域マスク142と、領域マスク142内に表示される障害物までの距離表示(この例では、50cm)144とを含んでいる。なお、一点鎖線で示す矩形状の枠146は、トップビュー画像の画面サイズに対応し、領域マスク142は、画面サイズとの相対的な位置関係を含み、トップビュー画像の右上に合成して表示されることを示している。同様に、図7(b)ないし(h)は、障害物が左前方、右後方、左後方、前方正面、後方正面、右側面、および左側面にあるときの例である。   FIG. 7 shows a specific example of the mask pattern. The mask pattern shown in FIG. 7A is an example of a mask pattern when there is an obstacle on the right front side of the host vehicle. The side view mask pattern 130 includes a rectangular screen shielding mask 132 that shields the entire side view screen, a rectangular vehicle frame 134 displayed at the center thereof, and an obstacle on the right front of the vehicle frame 134. An obstacle direction display 136 shown, and text data (“note right front”) 138 displayed on the screen shielding mask 132 are included. The top view mask 140 includes a circular area mask 142 that shields an obstacle on the right front included in the top view image, and a distance display to the obstacle displayed in the area mask 142 (in this example, 50 cm). 144. Note that the rectangular frame 146 indicated by the alternate long and short dash line corresponds to the screen size of the top view image, and the area mask 142 includes a relative positional relationship with the screen size, and is combined and displayed on the upper right of the top view image. It is shown that. Similarly, FIGS. 7B to 7H are examples when the obstacle is on the left front, right rear, left rear, front front, rear front, right side, and left side.

さらに本実施例において、マスクパターンは、注意用と警告用の2種類を有する。注意用マスクパターンと警告用マスクパターンは、基本的な構成は同様であるが、唯一の差異は、ユーザに対する注意喚起のレベルである。図8は、右前方に障害物が存在するときの注意用マスクパターンと警告用マスクパターンの例である。例えば、注意用マスクパターンが黄色で表示されるのに対し、警告用マスクパターンが赤色で表示される。あるいは、トップビュー用マスクパターンの領域マスク142は、注意用よりも警告用のサイズを大きくし、すなわち遮蔽領域を大きくする。また、障害物までの距離表示144は、注意用が50cmであるのに対し、警告用が例えば30cmとなる。   Furthermore, in the present embodiment, the mask pattern has two types for caution and warning. The basic structure of the attention mask pattern and the warning mask pattern is the same, but the only difference is the level of alerting the user. FIG. 8 is an example of a caution mask pattern and a warning mask pattern when there is an obstacle on the right front side. For example, the warning mask pattern is displayed in red while the warning mask pattern is displayed in yellow. Alternatively, the area mask 142 of the top view mask pattern has a larger warning size than that for caution, that is, a larger shielding area. The distance display 144 to the obstacle is, for example, 30 cm for warning while it is 50 cm for warning.

マスクパターン出力部120は、マスクパターン選択部118によって選択されたマスクパターンを出力する。選択されたサイドビュー用マスクパターン130は、サイドビュー画面の全体を遮蔽するため、特に、サイドビュー画像のどの位置を遮蔽するかという位置情報を必ずしも必要としない。他方、トップビュー用マスクパターン140は、上記したように領域マスク142がトップビュー画像との相対的な位置情報を含んでいる。例えば、右前方に障害物があるマスクパターンが選択されれば、領域マスク142は右前方の位置に表示されるという位置情報を含んでいる。従って、表示制御部50は、マスクパターン出力部120から出力されたマスクパターンをサイドビュー画像およびトップビュー画像にそのまま合成することで、サイドビュー画像全体の遮蔽およびトップビュー画像の障害物の遮蔽を行うことができる。   The mask pattern output unit 120 outputs the mask pattern selected by the mask pattern selection unit 118. Since the selected side view mask pattern 130 blocks the entire side view screen, it does not necessarily require position information on which position of the side view image is to be blocked. On the other hand, in the top view mask pattern 140, as described above, the area mask 142 includes positional information relative to the top view image. For example, if a mask pattern with an obstacle on the right front is selected, the area mask 142 includes position information that is displayed at a position on the right front. Accordingly, the display control unit 50 combines the mask pattern output from the mask pattern output unit 120 with the side view image and the top view image as they are, thereby blocking the entire side view image and blocking the obstacles in the top view image. It can be carried out.

仮に、マスクパターンが遮蔽する画像についての相対的な位置情報を含んでいない場合には、マスクパターン出力部120は、そのような位置情報を付加することができる。位置情報は、例えば、図4(b)に示すように、障害物を検出した超音波ソナー32a〜32dのいずれかを識別する情報であってもよいし、あるいは、自車位置を中心にしたときの障害物のxy平面における座標(x、y)であってもよい。位置情報が付加された場合、表示制御部50は、位置情報に基づき、領域マスク142をトップビュー画像上に合成する。   If the mask pattern does not include relative position information about the image to be shielded, the mask pattern output unit 120 can add such position information. For example, as shown in FIG. 4B, the position information may be information for identifying any of the ultrasonic sonars 32a to 32d that detected the obstacle, or centered on the position of the vehicle. The coordinates (x, y) on the xy plane of the obstacle may be used. When the position information is added, the display control unit 50 synthesizes the area mask 142 on the top view image based on the position information.

次に、本実施例に係る車両周辺監視装置の動作について図9のフローチャートを参照して説明する。好ましくは、制御部90は、車両状態センサ40からの出力に基づき自車の車速が一定以下のとき、ギア位置が後進のとき、ナビゲーション装置との連動により駐車場や車庫入れが認識できるとき、あるいはユーザからの指示があったとき、車両周辺監視モードを開始し、障害物遮蔽プログラム72および視点変換処理プログラム74を実行する。勿論、これ以外のときに車両周辺監視モードが起動されてもよい。   Next, the operation of the vehicle periphery monitoring apparatus according to the present embodiment will be described with reference to the flowchart of FIG. Preferably, when the vehicle speed of the host vehicle is below a certain level based on the output from the vehicle state sensor 40, when the gear position is reverse, the control unit 90 can recognize a parking lot or garage entry in conjunction with the navigation device, Alternatively, when there is an instruction from the user, the vehicle periphery monitoring mode is started, and the obstacle shielding program 72 and the viewpoint conversion processing program 74 are executed. Of course, the vehicle periphery monitoring mode may be activated at other times.

先ず、撮像カメラ20による撮像データを受け取り、自車周辺画像が表示される。自車周辺画像は、トップビュー画像Tと、ギアポジションに応じて前方または後方を映すサイドビュー画像Sとがディスプレイに表示される。さらに、障害物検出センサ30により自車周辺の障害物の検出が行われ、自車周辺の監視が開始される(ステップS100)。   First, image data obtained by the imaging camera 20 is received, and the vehicle surrounding image is displayed. As the own vehicle periphery image, a top view image T and a side view image S showing the front or the rear according to the gear position are displayed on the display. Further, the obstacle detection sensor 30 detects obstacles around the own vehicle, and monitoring of the vicinity of the own vehicle is started (step S100).

次に、距離測定部110は、障害物検出センサ30からの出力信号により障害物までの距離を測定し(ステップS101)、位置判別部112は、障害物の位置を判別する(ステップS102)。例えば、図4(b)に示すように複数の超音波ソナーが搭載されている場合には、全ての超音波ソナーから受信された信号に基づき障害物までの距離および位置を測定する。   Next, the distance measurement unit 110 measures the distance to the obstacle based on the output signal from the obstacle detection sensor 30 (step S101), and the position determination unit 112 determines the position of the obstacle (step S102). For example, when a plurality of ultrasonic sonars are mounted as shown in FIG. 4B, the distance and the position to the obstacle are measured based on signals received from all the ultrasonic sonars.

次に、進行方向判別部114は、車両状態センサ40からの出力信号に基づき自車の進行方向を判別する(ステップS103)。好ましくは、ギアポジションおよびハンドル舵角に基づき、自車を8方位(前右、前左、前方、左、右、後右、後左、後方)のいずれに該当するかを判別する。   Next, the traveling direction determination unit 114 determines the traveling direction of the host vehicle based on the output signal from the vehicle state sensor 40 (step S103). Preferably, based on the gear position and the steering angle of the steering wheel, it is determined whether the vehicle corresponds to one of eight directions (front right, front left, front, left, right, rear right, rear left, rear).

次に、遮蔽判定部116は、マスクパターンによる遮蔽が必要な距離であるか否かを判定する(ステップS104)。この距離は、例えば自車から障害物までの距離が50cmであり、障害物の画像に歪みが生じ得る距離である。遮蔽が必要であると判定すると、次に、注意用マスクパターンか警告用マスクパターンかのいずれの遮蔽が必要かを判定する(ステップS105)。障害物までの距離が例えば50cm以下であれば、注意用マスクパターンによる遮蔽が必要であると判定し、障害物までの距離が30cm以下であれば、警告用マスクパターンによる遮蔽が必要であると判定する。   Next, the shielding determination unit 116 determines whether or not the distance is necessary to be shielded by the mask pattern (step S104). This distance is, for example, a distance from the vehicle to the obstacle that is 50 cm, and the image of the obstacle can be distorted. If it is determined that shielding is necessary, it is next determined whether shielding is necessary between the caution mask pattern and the warning mask pattern (step S105). If the distance to the obstacle is, for example, 50 cm or less, it is determined that shielding with a caution mask pattern is necessary. If the distance to the obstacle is 30 cm or less, shielding with a warning mask pattern is necessary. judge.

マスクパターン選択部118は、進行方向判別部114の判別結果および遮蔽判定部116の判定結果に基づき注意用マスクパターンまたは警告用のマスクパターンを選択する(ステップS106、S107))。例えば、障害物までの距離が注意レベルであり、かつ障害物が右前方にあれば、図7(a)または図8(a)に示すマスクパターンが選択され、それが警告レベルであれば、図8(b)に示すマスクパターンが選択される。   The mask pattern selection unit 118 selects a caution mask pattern or a warning mask pattern based on the determination result of the traveling direction determination unit 114 and the determination result of the shielding determination unit 116 (steps S106 and S107). For example, if the distance to the obstacle is a caution level and the obstacle is in the right front, the mask pattern shown in FIG. 7A or FIG. 8A is selected, and if it is a warning level, The mask pattern shown in FIG. 8B is selected.

選択されたマスクパターンは、マスクパターン出力部120によって表示制御部50へ出力され(ステップS108)、表示制御部50は、ディスプレイに表示されているサイドビュー画像Sとトップビュー画像Tをマスクパターンにより遮蔽する(ステップS109)。なお、マスクパターンにより画像を遮蔽するとき、同時にテキスト情報を音声により出力するようにしてもよい。   The selected mask pattern is output to the display control unit 50 by the mask pattern output unit 120 (step S108), and the display control unit 50 uses the mask pattern to display the side view image S and the top view image T displayed on the display. Shield (step S109). In addition, when shielding an image with a mask pattern, you may make it output text information with an audio | voice simultaneously.

このように、トップビュー画像に含まれる障害物の画像の歪みを遮蔽することで、ユーザは、トップビュー画像から障害物までの距離感を認識して走行をすることができなくなり、実際の障害物の目視を余儀なくされる。   In this way, by blocking the distortion of the image of the obstacle included in the top view image, the user can not travel by recognizing the sense of distance from the top view image to the obstacle. You will be forced to see things.

図10は、サイドビュー画像Sとトップビュー画像Tの2画面がディスプレイに表示され、自車が後方に走行して駐車するとき、右後ろに障害物14が検出され、注意用マスクパターンによる遮蔽が行われる状態を示している。   In FIG. 10, two screens of a side view image S and a top view image T are displayed on the display, and when the vehicle travels backward and parks, an obstacle 14 is detected on the right rear side and is blocked by a caution mask pattern. Shows the state in which is performed.

サイドビュー画面Sは、画面遮蔽マスク132によって全体が遮蔽され、画面遮蔽マスク132上には、車枠134と、右後ろに障害物が存在することを示す障害物方向表示136と、「右後ろに注意」のテキスト136が表示される。また、画面遮蔽マスク132は、例えば黒や灰色で表示されるが、車枠134、障害物方向表示136およびテキスト138は、目立つように黄色で表示される。トップビュー画像Tは、円形状の領域遮蔽マスク142が合成され、領域遮蔽マスク142によって障害物14の一部が遮蔽されている。また、領域遮蔽マスク142には、障害物までの距離、ここでは50cmが表示されている。同様に、領域遮蔽マスク142は、黄色で表示される。   The entire side view screen S is shielded by the screen shielding mask 132. On the screen shielding mask 132, a car frame 134, an obstacle direction display 136 indicating that there is an obstacle on the right rear, The “Caution” text 136 is displayed. Further, the screen shielding mask 132 is displayed in, for example, black or gray, but the vehicle frame 134, the obstacle direction display 136, and the text 138 are displayed in yellow so as to stand out. In the top view image T, a circular area shielding mask 142 is synthesized, and a part of the obstacle 14 is shielded by the area shielding mask 142. The area shielding mask 142 displays a distance to the obstacle, here 50 cm. Similarly, the area shielding mask 142 is displayed in yellow.

注意用マスクパターンによる遮蔽が行われると、サイドビュー画像Sには、側部から後方を映し出す映像がすべて遮蔽され、そこには注意を喚起する情報が表示される。また、トップビュー画像Tには、自車10の全体の画像は表示されつつも、障害物14の少なくとも一部が遮蔽されてしまうため、ユーザは、トップビュー画像のみを頼りにして後進することができなくなり、障害物を目視して距離感を把握することになる。   When the masking by the attention mask pattern is performed, the side view image S is shielded from all images projected from the side, and information for calling attention is displayed there. In addition, while the entire image of the host vehicle 10 is displayed in the top view image T, at least a part of the obstacle 14 is shielded, so the user can go backward by relying only on the top view image. It becomes impossible to grasp the sense of distance by visually checking the obstacle.

図11は、図10の状態から障害物にさらに接近したときの警告用マスクパターンによる遮蔽の例を示す図である。ここでは、サイドビュー画像Sの車枠134、障害物方向表示136およびテキスト138を赤色で表示し、トップビュー画像Tの領域遮蔽マスク142を赤色で表示し、領域遮蔽マスク142内に障害物までの距離、30cmを表示している。なお、領域遮蔽マスク142は、図10のときと同一サイズであるが、このサイズを大きくすることができる。警告用のマスクパターンによる障害物の遮蔽により、ユーザは、障害物への注意をより喚起されることになる。   FIG. 11 is a diagram illustrating an example of shielding by the warning mask pattern when the obstacle is further approached from the state of FIG. Here, the car frame 134, the obstacle direction display 136, and the text 138 of the side view image S are displayed in red, the area shielding mask 142 of the top view image T is displayed in red, and the area shielding mask 142 is displayed up to the obstacle. The distance, 30 cm, is displayed. Note that the area shielding mask 142 has the same size as that in FIG. 10, but this size can be increased. By shielding the obstacle by the warning mask pattern, the user is more alerted to the obstacle.

上記実施例では、サイドビュー画像とトップビュー画像の2画面表示を例示したが、必ずしも2画面表示である必要はなく、トップビュー表示だけであってもよい。また、トップビュー画像は、自車の全周囲を表示したが、自車周辺の一部の表示であってもよい。   In the above embodiment, the two-screen display of the side view image and the top view image is illustrated, but the two-screen display is not necessarily required, and only the top view display may be used. Moreover, although the top view image displayed the entire periphery of the own vehicle, a part of the periphery of the own vehicle may be displayed.

さらに上記実施例では、トップビュー画像において障害物を遮蔽する領域遮蔽マスクを円形としたが、これ以外の形状であってもよい。例えば、領域遮蔽マスクの形状は、障害物が存在する位置に応じて変更するようにしてもよい。例えば、図12(a)に示すように、自車を中心に8方位(前右、前左、前方、左、右、後右、後左、後方)に分割し、その方位に対応する領域遮蔽マスク200〜214を用意し、検出された障害物の位置に応じた領域遮蔽マスクを選択するようにしてもよい。   Further, in the above-described embodiment, the area shielding mask that shields the obstacle in the top view image is circular, but may have other shapes. For example, the shape of the area shielding mask may be changed according to the position where the obstacle exists. For example, as shown in FIG. 12 (a), the vehicle is divided into eight directions (front right, front left, front, left, right, rear right, rear left, rear) about the host vehicle, and the area corresponding to the direction. Shielding masks 200 to 214 may be prepared, and an area shielding mask corresponding to the detected position of the obstacle may be selected.

さらに上記実施例では、自車周辺に障害物が1つ検出された例を示したが、複数の障害物を検出した場合にも、同様に画像の遮蔽が行われる。また、上記実施例では、複数のマスクパターンを用意しておき、そこから所望のマスクパターンを選択するようにしたが、これに限らず、障害物を検出したとき、障害物の位置と距離に応じて、さらには自車の進行方向に応じてマスクパターンをリアルタイムで生成し、生成したマスクパターンにより画像を遮蔽するようにしてもよい。   Further, in the above-described embodiment, an example in which one obstacle is detected around the own vehicle is shown. However, when a plurality of obstacles are detected, the image is similarly shielded. In the above embodiment, a plurality of mask patterns are prepared and a desired mask pattern is selected therefrom. However, the present invention is not limited to this, and when an obstacle is detected, the position and distance of the obstacle are determined. Accordingly, a mask pattern may be generated in real time according to the traveling direction of the host vehicle, and the image may be blocked by the generated mask pattern.

さらに上記実施例では、障害物が一定の距離以下となれば、自動的に領域遮蔽マスクにより障害物の画像を遮蔽したが、トップビュー画像が有する本来の画像の歪みを考慮しても良い。トップビュー画像は、図1に示すように、前方画像F、左右画像SL、SRおよび後方画像Rとの間の合成位置11a、11bにおいて特に歪みが生じる。従って、検出された障害物の位置が、合成位置11a、11bに重複する場合には、障害物までの距離に無関係に合成位置11a、11bを含む領域を領域遮蔽マスクにより遮蔽するようにしてもよい。   Further, in the above embodiment, when the obstacle is less than a certain distance, the image of the obstacle is automatically shielded by the area shielding mask. However, the original image distortion of the top view image may be considered. As shown in FIG. 1, the top view image is particularly distorted at the synthesis positions 11a and 11b between the front image F, the left and right images SL and SR, and the rear image R. Therefore, if the detected position of the obstacle overlaps with the combined positions 11a and 11b, the area including the combined positions 11a and 11b may be shielded by the area shielding mask regardless of the distance to the obstacle. Good.

さらにトップビュー画像において、障害物の画像の歪みは、障害物の高さに依存する。従って、障害物検出センサにより障害物の地面からの高さを検出することが可能であれば、障害物が一定の高さを有するときに、障害物の画像を遮蔽するようにしてもよい。さらに、上記実施例では、注意用と警告用のマスクパターンにおいて、領域遮蔽マスクの大きさや色彩を異ならせるようにしたが、これ以外にも、領域遮蔽マスクの形状を変更したり、音声ガイドの内容を異ならせるようにしてもよい。   Further, in the top view image, the distortion of the image of the obstacle depends on the height of the obstacle. Therefore, as long as the obstacle detection sensor can detect the height of the obstacle from the ground, the obstacle image may be shielded when the obstacle has a certain height. Furthermore, in the above embodiment, the size and color of the area shielding mask are made different between the caution and warning mask patterns. However, in addition to this, the shape of the area shielding mask can be changed, the voice guide The contents may be different.

以上、本発明の好ましい実施の形態について詳述したが、本発明に係わる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to specific embodiments according to the present invention, and various modifications can be made within the scope of the gist of the present invention described in the claims. Deformation / change is possible.

自車周辺のトップビュー画像を示す図である。It is a figure which shows the top view image around the own vehicle. 自車が右後方と障害物と衝突するときの例であり、図2(a)は衝突前、図2(b)は衝突直前、図2(c)は衝突時の様子を示している。This is an example when the vehicle collides with the right rear and an obstacle. FIG. 2A shows the state before the collision, FIG. 2B shows the state immediately before the collision, and FIG. 2C shows the state at the time of the collision. 自車が前方の障害物と衝突するときの例であり、図3(a)は衝突前、図3(b)は衝突直前、図3(c)は衝突時の様子を示している。FIGS. 3A and 3B show examples when the own vehicle collides with an obstacle ahead, FIG. 3A shows the state before the collision, FIG. 3B shows the state immediately before the collision, and FIG. 図4(a)は本発明の実施例に係る車両周辺監視装置の構成を示すブロック図、図4(b)は障害物検出センサの一例を示す図である。FIG. 4A is a block diagram showing a configuration of the vehicle periphery monitoring device according to the embodiment of the present invention, and FIG. 4B is a diagram showing an example of an obstacle detection sensor. 本実施例の障害物遮蔽プログラムの機能ブロック図である。It is a functional block diagram of the obstacle shielding program of a present Example. 本実施例におけるサイドビュー画像およびトップビュー画像用のマスクパターンの例である。It is an example of the mask pattern for the side view image and top view image in a present Example. サイドビュー用マスクパターンとトップビュー用マスクパターンの具体的な例を示す図である。It is a figure which shows the specific example of the mask pattern for side views, and the mask pattern for top views. 注意用マスクパターンと警告用マスクパターンの例を示す図である。It is a figure which shows the example of a caution mask pattern and a warning mask pattern. 本実施例の車両周辺視装置の動作を説明するフローチャートである。It is a flowchart explaining operation | movement of the vehicle peripheral vision apparatus of a present Example. 本実施例による注意用マスクパターンによる画像の遮蔽例を示す図である。It is a figure which shows the example of shielding of the image by the caution mask pattern by a present Example. 本実施例における警告用マスクパターンによる画像の遮蔽例を示す図である。It is a figure which shows the example of the shielding of the image by the mask pattern for warning in a present Example. マスクパターンの変形例を示す図である。It is a figure which shows the modification of a mask pattern.

符号の説明Explanation of symbols

F:前方画像 SL、SR:左右画像
R:後方画像 S:サイドビュー画像
T:トップビュー画像 10:自車
11a、11b:合成位置 12:予測線
14:障害物 14a:障害物の間延びした画像
16:車枠
130:サイドビュー用マスクパターン
132:画面遮蔽マスク 134:車枠
136:障害物方向表示 138:テキストデータ
140:トップビュー用マスクパターン 142:領域遮蔽マスク
144:距離表示
F: Front image SL, SR: Left and right image R: Rear image S: Side view image T: Top view image 10: Own vehicle 11a, 11b: Composite position 12: Prediction line 14: Obstacle 14a: Image extending between obstacles 16: Vehicle frame
130: Side view mask pattern 132: Screen shielding mask 134: Car frame 136: Obstacle direction display 138: Text data 140: Top view mask pattern 142: Area shielding mask 144: Distance display

Claims (12)

自車周辺の障害物を検出する障害物検出手段と、
自車周辺を撮像する撮像手段と、
撮像手段によって撮像された自車周辺画像をディスプレイに表示する表示手段と、
前記障害物検出手段によって障害物が検出されたとき、前記表示手段によって表示された前記自車周辺画像に含まれる障害物の少なくとも一部をマスクパターンによって遮蔽する障害物遮蔽手段と、
を有する車両周辺監視装置。
Obstacle detection means for detecting obstacles around the vehicle;
Imaging means for imaging the periphery of the vehicle;
Display means for displaying on the display a surrounding image of the vehicle imaged by the imaging means;
When an obstacle is detected by the obstacle detection means, an obstacle shielding means for shielding at least a part of the obstacle included in the vehicle periphery image displayed by the display means with a mask pattern;
A vehicle periphery monitoring device.
前記表示手段は、自車の真上から見下ろすような自車周辺画像を表示する、請求項1に記載の車両周辺監視装置。 The vehicle periphery monitoring device according to claim 1, wherein the display means displays a vehicle periphery image as if looking down from directly above the vehicle. 車両周辺監視装置はさらに、自車位置から障害物までの距離を測定する距離測定手段を含み、前記障害物遮蔽手段は、前記距離測定手段により測定された障害物までの距離が第1のしきい値以下になったとき第1のマスクパターンによる遮蔽を行う、請求項1に記載の車両周辺監視装置。 The vehicle periphery monitoring device further includes distance measuring means for measuring a distance from the vehicle position to the obstacle, and the obstacle shielding means has a first distance to the obstacle measured by the distance measuring means. The vehicle periphery monitoring apparatus according to claim 1, wherein shielding with the first mask pattern is performed when the threshold value is not more than a threshold value. 前記障害物遮蔽手段は、障害物までの距離が第1のしきい値よりも小さい第2のしきい値以下になったとき、第1のマスクパターンと異なる第2のマスクパターンよる遮蔽を行う、請求項3に記載の車両周辺監視装置。 The obstacle shielding means performs shielding with a second mask pattern different from the first mask pattern when the distance to the obstacle is equal to or smaller than a second threshold value that is smaller than the first threshold value. The vehicle periphery monitoring device according to claim 3. 第2のマスクパターンは、第1のマスクパターンよりも遮蔽領域が大きい、請求項4に記載の車両周辺監視装置。 The vehicle periphery monitoring device according to claim 4, wherein the second mask pattern has a larger shielding area than the first mask pattern. 第1および第2のマスクパターンは、自車位置から障害物までの距離表示を含む、請求項3または4に記載の車両周辺監視装置。 The vehicle periphery monitoring device according to claim 3 or 4, wherein the first and second mask patterns include a distance display from the vehicle position to the obstacle. 車両周辺監視装置はさらに、自車の進行方向を判別する進行方向判別手段を含み、前記障害物遮蔽手段は、前記進行方向判別手段によって判別された進行方向に応じたマスクパターンによる遮蔽を行う、請求項1に記載の車両周辺監視装置。 The vehicle periphery monitoring device further includes a traveling direction determination unit that determines a traveling direction of the host vehicle, and the obstacle shielding unit performs shielding with a mask pattern corresponding to the traveling direction determined by the traveling direction determination unit. The vehicle periphery monitoring apparatus according to claim 1. 車両周辺監視装置はさらに、複数のマスクパターンを記憶する記憶手段を含み、前記障害物遮蔽手段は、前記記憶手段に記憶された複数のマスクパターンから所定のマスクパターンを選択する、請求項1ないし7いずれか1つに記載の車両周辺監視装置。 The vehicle periphery monitoring device further includes storage means for storing a plurality of mask patterns, and the obstacle shielding means selects a predetermined mask pattern from the plurality of mask patterns stored in the storage means. 7. The vehicle periphery monitoring device according to any one of 7 above. 自車周辺画像を表示する機能を備えた車両周辺監視方法であって、
自車周辺を撮像し、撮像した自車周辺画像を自車の真上から見下ろすようにディスプレイに表示するステップと、
自車周辺の障害物を検出するステップと、
検出された障害物までの距離を測定するステップと、
障害物までの距離が第1のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第1のマスクパターンによって遮蔽するステップと、
障害物までの距離が第1のしきい値より小さい第2のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第2のマスクパターンによって遮蔽するステップと、
を有する車両周辺監視方法。
A vehicle periphery monitoring method having a function of displaying a surrounding image of the own vehicle,
Imaging the vicinity of the vehicle and displaying the captured image of the vehicle periphery on the display so that the vehicle is viewed from directly above the vehicle;
Detecting obstacles around the vehicle,
Measuring the distance to the detected obstacle;
When the distance to the obstacle is equal to or less than the first threshold, shielding at least a part of the obstacle included in the vehicle periphery image displayed on the display with the first mask pattern;
When the distance to the obstacle is equal to or smaller than the second threshold value, which is smaller than the first threshold value, at least a part of the obstacle included in the vehicle surrounding image displayed on the display is set to the second mask pattern. A step of shielding by,
A vehicle periphery monitoring method comprising:
第2のマスクパターンは、第1のマスクパターンよりも遮蔽領域が大きい、請求項9に記載の車両周辺監視方法。 The vehicle periphery monitoring method according to claim 9, wherein the second mask pattern has a larger shielding area than the first mask pattern. 車両周辺監視方法はさらに、第1または第2のマスクパターンによる遮蔽を行うとき、障害物に関する音声案内を行うステップを含む、請求項9に記載の車両周辺監視方法。 The vehicle periphery monitoring method according to claim 9, further comprising the step of performing voice guidance regarding an obstacle when performing shielding with the first or second mask pattern. 自車周辺画像を表示する機能を備えた車両周辺監視プログラムであって、
自車周辺を撮像し、撮像した自車周辺画像を自車の真上から見下ろすようにディスプレイに表示するステップと、
自車周辺の障害物を検出するステップと、
検出された障害物までの距離を測定するステップと、
障害物までの距離が第1のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第1のマスクパターンによって遮蔽するステップと、
障害物までの距離が第1のしきい値より小さい第2のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第2のマスクパターンによって遮蔽するステップと、
を有する車両周辺監視プログラム。
A vehicle periphery monitoring program having a function of displaying a vehicle periphery image,
Imaging the vicinity of the vehicle and displaying the captured image of the vehicle periphery on the display so that the vehicle is viewed from directly above the vehicle;
Detecting obstacles around the vehicle,
Measuring the distance to the detected obstacle;
When the distance to the obstacle is equal to or less than the first threshold, shielding at least a part of the obstacle included in the vehicle periphery image displayed on the display with the first mask pattern;
When the distance to the obstacle is equal to or smaller than the second threshold value, which is smaller than the first threshold value, at least a part of the obstacle included in the vehicle surrounding image displayed on the display is set to the second mask pattern. A step of shielding by,
A vehicle periphery monitoring program.
JP2007208373A 2007-08-09 2007-08-09 Vehicle periphery monitoring device Withdrawn JP2009040272A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007208373A JP2009040272A (en) 2007-08-09 2007-08-09 Vehicle periphery monitoring device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007208373A JP2009040272A (en) 2007-08-09 2007-08-09 Vehicle periphery monitoring device

Publications (1)

Publication Number Publication Date
JP2009040272A true JP2009040272A (en) 2009-02-26

Family

ID=40441496

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007208373A Withdrawn JP2009040272A (en) 2007-08-09 2007-08-09 Vehicle periphery monitoring device

Country Status (1)

Country Link
JP (1) JP2009040272A (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010212857A (en) * 2009-03-09 2010-09-24 Denso Corp Image display device for vehicle
EP2272730A1 (en) * 2009-07-07 2011-01-12 HI-KEY Limited Method and apparatus for displaying distance data in a parking distance control system
JP2011173585A (en) * 2010-01-27 2011-09-08 Denso It Laboratory Inc Parking assist system
KR20110121941A (en) * 2010-05-03 2011-11-09 현대모비스 주식회사 A warning apparatus for a vehicle
JP2012001126A (en) * 2010-06-18 2012-01-05 Clarion Co Ltd Vehicle surroundings monitoring device
WO2012056528A1 (en) * 2010-10-27 2012-05-03 トヨタ自動車株式会社 Driving assist device
JP2012216991A (en) * 2011-03-31 2012-11-08 Fujitsu Ten Ltd Image display system
WO2013065122A1 (en) * 2011-11-01 2013-05-10 アイシン精機株式会社 Obstacle alert device
WO2013065123A1 (en) * 2011-11-01 2013-05-10 アイシン精機株式会社 Obstacle alert device
WO2013065119A1 (en) * 2011-11-01 2013-05-10 アイシン精機株式会社 Obstacle alert device
WO2013065121A1 (en) * 2011-11-01 2013-05-10 アイシン精機株式会社 Obstacle alert device
WO2013168230A1 (en) * 2012-05-08 2013-11-14 トヨタ自動車株式会社 Overhead view image display device
JP2015501470A (en) * 2011-10-19 2015-01-15 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング Method and apparatus for determining the position of an object in a surrounding area of a vehicle
JP5674071B2 (en) * 2011-11-01 2015-02-25 アイシン精機株式会社 Obstacle alarm device
JP2016024673A (en) * 2014-07-22 2016-02-08 株式会社デンソー Vehicle display control unit
KR20160068409A (en) * 2014-12-05 2016-06-15 주식회사 유라코퍼레이션 Around view monitoring system and method for vehicle
US9396401B2 (en) 2011-11-01 2016-07-19 Aisin Seiki Kabushiki Kaisha Obstacle alarm device
KR20170100897A (en) * 2016-02-26 2017-09-05 한화지상방산 주식회사 The Apparatus For Around View Monitoring
JP2018207289A (en) * 2017-06-02 2018-12-27 アイシン精機株式会社 Peripheral display device
CN110626265A (en) * 2018-06-21 2019-12-31 丰田自动车株式会社 Periphery monitoring device

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010212857A (en) * 2009-03-09 2010-09-24 Denso Corp Image display device for vehicle
EP2272730A1 (en) * 2009-07-07 2011-01-12 HI-KEY Limited Method and apparatus for displaying distance data in a parking distance control system
JP2011173585A (en) * 2010-01-27 2011-09-08 Denso It Laboratory Inc Parking assist system
KR20110121941A (en) * 2010-05-03 2011-11-09 현대모비스 주식회사 A warning apparatus for a vehicle
KR101681577B1 (en) 2010-05-03 2016-12-01 현대모비스 주식회사 A warning apparatus for a vehicle
JP2012001126A (en) * 2010-06-18 2012-01-05 Clarion Co Ltd Vehicle surroundings monitoring device
WO2012056528A1 (en) * 2010-10-27 2012-05-03 トヨタ自動車株式会社 Driving assist device
JP2012216991A (en) * 2011-03-31 2012-11-08 Fujitsu Ten Ltd Image display system
JP2015501470A (en) * 2011-10-19 2015-01-15 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング Method and apparatus for determining the position of an object in a surrounding area of a vehicle
WO2013065123A1 (en) * 2011-11-01 2013-05-10 アイシン精機株式会社 Obstacle alert device
US9691283B2 (en) 2011-11-01 2017-06-27 Aisin Seiki Kabushiki Kaisha Obstacle alert device
WO2013065121A1 (en) * 2011-11-01 2013-05-10 アイシン精機株式会社 Obstacle alert device
US9773172B2 (en) 2011-11-01 2017-09-26 Aisin Seiki Kabushiki Kaisha Obstacle alert device
WO2013065119A1 (en) * 2011-11-01 2013-05-10 アイシン精機株式会社 Obstacle alert device
JP5674071B2 (en) * 2011-11-01 2015-02-25 アイシン精機株式会社 Obstacle alarm device
JPWO2013065121A1 (en) * 2011-11-01 2015-04-02 アイシン精機株式会社 Obstacle alarm device
JPWO2013065119A1 (en) * 2011-11-01 2015-04-02 アイシン精機株式会社 Obstacle alarm device
WO2013065325A1 (en) * 2011-11-01 2013-05-10 アイシン精機株式会社 Obstacle alert device
US9082021B2 (en) 2011-11-01 2015-07-14 Aisin Seiki Kabushiki Kaisha Obstacle alert device
WO2013065122A1 (en) * 2011-11-01 2013-05-10 アイシン精機株式会社 Obstacle alert device
US9396401B2 (en) 2011-11-01 2016-07-19 Aisin Seiki Kabushiki Kaisha Obstacle alarm device
JPWO2013168230A1 (en) * 2012-05-08 2015-12-24 トヨタ自動車株式会社 Overhead image display device
US20150116494A1 (en) * 2012-05-08 2015-04-30 Toyota Jidosha Kabushiki Kaisha Overhead view image display device
WO2013168230A1 (en) * 2012-05-08 2013-11-14 トヨタ自動車株式会社 Overhead view image display device
JP2016024673A (en) * 2014-07-22 2016-02-08 株式会社デンソー Vehicle display control unit
KR20160068409A (en) * 2014-12-05 2016-06-15 주식회사 유라코퍼레이션 Around view monitoring system and method for vehicle
KR101664297B1 (en) * 2014-12-05 2016-10-10 주식회사 유라코퍼레이션 Around view monitoring system and method for vehicle
KR20170100897A (en) * 2016-02-26 2017-09-05 한화지상방산 주식회사 The Apparatus For Around View Monitoring
KR102153581B1 (en) 2016-02-26 2020-09-08 한화디펜스 주식회사 The Apparatus For Around View Monitoring
JP2018207289A (en) * 2017-06-02 2018-12-27 アイシン精機株式会社 Peripheral display device
CN110626265A (en) * 2018-06-21 2019-12-31 丰田自动车株式会社 Periphery monitoring device
CN110626265B (en) * 2018-06-21 2023-02-28 丰田自动车株式会社 Periphery monitoring device

Similar Documents

Publication Publication Date Title
JP2009040272A (en) Vehicle periphery monitoring device
JP4883977B2 (en) Image display device for vehicle
JP4687160B2 (en) Perimeter monitoring device
JP4846426B2 (en) Vehicle perimeter monitoring device
US8089512B2 (en) Driving support device, driving support method and computer program
US9139135B2 (en) System and method that minimizes hazards of blind spots while driving
KR100481248B1 (en) Picture synthesizing apparatus for presenting circumferencial images to driver, and display apparatus, warning apparatus and position recognition apparatus using it
JP4809019B2 (en) Obstacle detection device for vehicle
WO2019044185A1 (en) Video output device, video generation program, and non-transitory tangible computer-readable medium
US20080198226A1 (en) Image Processing Device
JP3822154B2 (en) Vehicle detection device
JP2012071635A (en) Parking assistance device
JP2012071635A5 (en)
JP2010183170A (en) Display apparatus for vehicle
JP2009081666A (en) Vehicle periphery monitoring apparatus and image displaying method
JPWO2007015446A1 (en) Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method
JP2007223338A (en) Display system, moving body, display method, display program and storage medium thereof
JP5708669B2 (en) Vehicle display device
JP2009040319A (en) Driving assistant device
JP2005025692A (en) Vehicle information provision apparatus
JP2007124097A (en) Apparatus for visually recognizing surrounding of vehicle
JP4600999B2 (en) Vehicle perimeter monitoring device
JP2013053962A (en) Camera system, collision prediction system, and parking guide system
JP2007030603A (en) Vehicle travel assisting device
JP2004056219A (en) Vehicle surroundings monitoring apparatus

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20101102