JP2009040272A - Vehicle periphery monitoring device - Google Patents
Vehicle periphery monitoring device Download PDFInfo
- Publication number
- JP2009040272A JP2009040272A JP2007208373A JP2007208373A JP2009040272A JP 2009040272 A JP2009040272 A JP 2009040272A JP 2007208373 A JP2007208373 A JP 2007208373A JP 2007208373 A JP2007208373 A JP 2007208373A JP 2009040272 A JP2009040272 A JP 2009040272A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- vehicle
- mask pattern
- shielding
- vehicle periphery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Abstract
Description
本発明は、撮像カメラ等によって自車周辺を撮像し、自車周辺の画像を表示する機能を備えた車両周辺監視装置に関し、特に、自車周辺に障害物を検出したときの障害物の表示方法に関する。 The present invention relates to a vehicle periphery monitoring device having a function of capturing an image of the periphery of the vehicle with an imaging camera or the like and displaying an image of the periphery of the vehicle, and in particular, displaying an obstacle when an obstacle is detected around the vehicle. Regarding the method.
車両周辺監視装置は、車両の前後左右等に複数の撮像カメラを搭載し、撮像カメラによって撮像された自車周辺の画像をディスプレイに表示する。これにより、ユーザに自車周辺に存在する自動車や人その他の障害物等の危険を察知することができる。特に、狭い駐車場や車庫、または道幅の狭い道路を走行するとき、運転者の支援をすることができる。 The vehicle periphery monitoring device has a plurality of imaging cameras mounted on the front, rear, left, and right sides of the vehicle, and displays an image of the periphery of the vehicle captured by the imaging camera on a display. As a result, the user can be aware of the dangers of automobiles, people, and other obstacles around the vehicle. In particular, when driving on a narrow parking lot, a garage, or a narrow road, the driver can be supported.
撮像カメラは、一般に広角レンズを用いるため、レンズ周縁部の画像に歪等が含まれ、そこに映し出された障害物との距離感を掴みにくいことがある。これを補うため、障害物までの距離を測定する距離センサを車両に取り付けることが提案されている。例えば、車両の複数のコーナー部分に超音波ソナーを取り付け、その反射波により障害物までの距離を測定するものである。 Since an imaging camera generally uses a wide-angle lens, distortion or the like is included in the peripheral image of the lens, and it may be difficult to grasp a sense of distance from an obstacle displayed there. In order to compensate for this, it has been proposed to attach a distance sensor for measuring the distance to an obstacle to the vehicle. For example, ultrasonic sonar is attached to a plurality of corner portions of a vehicle, and the distance to an obstacle is measured by reflected waves.
特許文献1は、このような超音波ソナーによる障害物を検出する技術を開示している。特許文献1は、車両に複数のソナーを搭載したとき、いずれのソナーが障害物を検出しているのかをユーザが特定できるようにするため、自車周辺画像に、障害物探知範囲を示す画像を併せて表示している。 Patent Document 1 discloses a technique for detecting an obstacle using such an ultrasonic sonar. Patent Document 1 discloses an image showing an obstacle detection range in the vehicle periphery image so that the user can specify which sonar detects an obstacle when a plurality of sonars are mounted on the vehicle. Is also displayed.
撮像カメラにより撮像された自車周辺画像をディスプレイに表示するとき、撮像データを視点変換し、自車の真上から見下ろすような画像(以下、トップビュー画像という)を表示することが実用化されている。トップビュー画像は、例えば図1に示すように、自車10の前方画像F、左右の画像SR、SL、および後方画像Rを鳥瞰的に見下ろした投影画像である。
When displaying the surrounding image of the vehicle captured by the imaging camera on the display, it is practical to convert the viewpoint of the captured image and display an image that looks down from directly above the vehicle (hereinafter referred to as a top view image). ing. For example, as shown in FIG. 1, the top view image is a projected image obtained by looking down at the front image F, the left and right images SR and SL, and the rear image R of the
トップビュー画像Tは、自車周辺の全体を見渡せるため、ユーザにとって死角となり得るような位置の障害物であっても容易に認識することができるという利点がある。他方、トップビュー画像Tは、撮像データを自車の真上から地面方向に投影するため、自車に近い障害物ほど、および地面から高さのある障害物ほど、障害物の映像が間延びし、あるいは大きく歪んでしまうという短所がある。トップビュー画像において障害物の画像に大きな歪みがあると、自車と障害物との間の距離感を誤ることがある。例えば、ユーザがトップビュー画像を頼りに駐車するとき、ユーザは、目視で運転するときよりも自車を障害物に近づけてしまい、障害物に接触させてしまうことがある。 The top-view image T has an advantage that it can be easily recognized even if it is an obstacle at a position that can be a blind spot for the user because the entire view around the host vehicle can be seen. On the other hand, in the top view image T, since the imaged data is projected from directly above the own vehicle to the ground, the obstacle images closer to the own vehicle and the obstacles that are higher from the ground have a longer image of the obstacle. There is a disadvantage that it is distorted greatly. If the obstacle image in the top view image is largely distorted, the sense of distance between the vehicle and the obstacle may be mistaken. For example, when the user parks relying on the top view image, the user may bring his / her vehicle closer to the obstacle and contact the obstacle than when driving visually.
図2は、自車が右後方の障害物と衝突するときの例である。図2(a)は衝突前、図2(b)は衝突直前、図2(c)は衝突時を表し、ディスプレイには、トップビュー画像Tと自車の後方を側方から映すサイドビューSの2画面が表示されている。サイドビューSおよびトップビューTには、自車10と自車10の走行軌跡を示す予測線12が併せて表示されている。図2(a)のサイドビューSに示すように、自車の後方には障害物14が存在するが、トップビュー画像Tでは、障害物14が間延びし、歪んだ画像(図には、簡略化したハッチングで表示)14aとして表示される。ユーザがトップビュー画像Tを見ながら自車を後進させたとき、図2(b)に示すように障害物14との間には一定の距離があるように見えるが、実際には、障害物には非常に接近している。さらに後進を続けると、図2(c)に示すように、障害物14に接触させてしまう。
FIG. 2 is an example when the vehicle collides with an obstacle on the right rear side. 2A shows the state before the collision, FIG. 2B shows the state immediately before the collision, and FIG. 2C shows the time of the collision, and the display shows the top view image T and the side view S that reflects the rear of the vehicle from the side. 2 screens are displayed. In the side view S and the top view T, the
図3は、自車が前方の障害物が衝突するときの例である。図3(a)は衝突前、図3(b)は衝突直前、図3(C)は衝突時を表している。前進で駐車位置から退去するときにも、ディスプレイには、トップビュー画像Tと自車の前方を側方から映すサイドビューSが表示される。サイドビュー画像Sには、自車10と自車の外形を示す車枠13が表示されている。図3(a)に示すように、自車の前方には障害物14が存在するが、図2のときと同様に、トップビュー画像Tでは、障害物14が間延びし、歪んだ画像14aとして表示される。ユーザがトップビュー画像Tを見ながら自車を前進させたとき、図3(b)に示すように障害物14との間には一定の距離が存在するように見えるが、実際には、障害物には非常に接近している。さらに前進を続けると、図3(c)に示すように、障害物14に接触させてしまう。
FIG. 3 shows an example when the vehicle collides with an obstacle ahead. 3A shows the state before the collision, FIG. 3B shows the state immediately before the collision, and FIG. 3C shows the time of the collision. Even when the vehicle moves away from the parking position in the forward direction, the top view image T and the side view S that reflects the front of the host vehicle from the side are displayed on the display. In the side view image S, a
本発明は、このような上記課題を解決するものであり、自車周辺画像を表示するとき自車周辺に存在する障害物との衝突を未然に回避させる車両周辺監視装置を提供することを目的とする。 The present invention solves the above-described problems, and an object of the present invention is to provide a vehicle periphery monitoring device that avoids a collision with an obstacle existing around the vehicle when displaying the vehicle periphery image. And
本発明に係る車両周辺監視装置は、自車周辺の障害物を検出する障害物検出手段と、自車周辺を撮像する撮像手段と、撮像手段によって撮像された自車周辺画像をディスプレイに表示する表示手段と、前記障害物検出手段によって障害物が検出されたとき、前記表示手段によって表示された前記自車周辺画像に含まれる障害物の少なくとも一部をマスクパターンによって遮蔽する障害物遮蔽手段とを有する。 The vehicle periphery monitoring device according to the present invention displays on the display an obstacle detection unit that detects an obstacle around the host vehicle, an imaging unit that captures an image of the periphery of the host vehicle, and an image of the vehicle periphery captured by the imaging unit. A display means, and an obstacle shielding means for shielding at least a part of the obstacles included in the vehicle periphery image displayed by the display means with a mask pattern when an obstacle is detected by the obstacle detection means. Have
好ましくは表示手段は、車両の真上から見下ろすような自車周辺画像を表示する。車両周辺監視装置はさらに、自車位置から障害物までの距離を測定する距離測定手段を含み、前記障害物遮蔽手段は、前記距離測定手段により測定された障害物までの距離が第1のしきい値以下になったとき第1のマスクパターンによる遮蔽を行う。さらに障害物遮蔽手段は、障害物までの距離が第1のしきい値よりも小さい第2のしきい値以下になったとき、第1のマスクパターンと異なる第2のマスクパターンよる遮蔽を行うことができる。例えば、第2のマスクパターンは、第1のマスクパターンよりも遮蔽領域が大きい。また、第1および第2のマスクパターンは、自車位置から障害物までの距離表示を含むことができる。 Preferably, the display means displays an image around the host vehicle as if looking down from directly above the vehicle. The vehicle periphery monitoring device further includes distance measuring means for measuring a distance from the vehicle position to the obstacle, and the obstacle shielding means has a first distance to the obstacle measured by the distance measuring means. When the threshold value is below the threshold value, the first mask pattern is used for shielding. Further, the obstacle shielding means performs shielding with a second mask pattern different from the first mask pattern when the distance to the obstacle is equal to or smaller than a second threshold value that is smaller than the first threshold value. be able to. For example, the second mask pattern has a larger shielding area than the first mask pattern. Further, the first and second mask patterns can include a distance display from the vehicle position to the obstacle.
好ましくは、車両周辺監視装置はさらに、自車の進行方向を判別する進行方向判別手段を含み、前記障害物遮蔽手段は、前記進行方向判別手段によって判別された進行方向に応じたマスクパターンによる遮蔽を行う。また、車両周辺監視装置はさらに、複数のマスクパターンを記憶する記憶手段を含み、前記障害物遮蔽手段は、前記記憶手段に記憶された複数のマスクパターンから所定のマスクパターンを選択することができる。 Preferably, the vehicle periphery monitoring device further includes a traveling direction determining unit that determines a traveling direction of the host vehicle, and the obstacle shielding unit is shielded by a mask pattern corresponding to the traveling direction determined by the traveling direction determining unit. I do. The vehicle periphery monitoring apparatus further includes a storage unit that stores a plurality of mask patterns, and the obstacle shielding unit can select a predetermined mask pattern from the plurality of mask patterns stored in the storage unit. .
本発明に係る自車周辺画像を表示する機能を備えた車両周辺監視方法またはプログラムは、自車周辺を撮像し、撮像した自車周辺画像を自車の真上か見下ろすようにディスプレイに表示するステップと、自車周辺の障害物を検出するステップと、検出された障害物までの距離を測定するステップと、障害物までの距離が第1のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第1のマスクパターンによって遮蔽するステップと、障害物までの距離が第1のしきい値より小さい第2のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第2のマスクパターンによって遮蔽するステップと、を有する。好ましくは、第1または第2のマスクパターンによる遮蔽を行うとき、障害物に関する音声案内を行う。 A vehicle periphery monitoring method or program having a function of displaying a vehicle periphery image according to the present invention images a vehicle periphery and displays the captured vehicle periphery image on a display so as to look down on the vehicle. A step, a step of detecting an obstacle around the vehicle, a step of measuring a distance to the detected obstacle, and a display on the display when the distance to the obstacle is equal to or less than a first threshold value. Shielding at least a part of the obstacle included in the surrounding image of the subject vehicle with the first mask pattern, and the distance to the obstacle is equal to or smaller than a second threshold value which is smaller than the first threshold value. And blocking at least a part of the obstacle included in the vehicle periphery image displayed on the display with the second mask pattern. Preferably, when performing shielding with the first or second mask pattern, voice guidance regarding the obstacle is performed.
本発明によれば、自車周辺に障害物を検出したとき、障害物の表示を遮蔽するようにしたので、ユーザは、自車周辺画像を見て自車から障害物への距離感を把握することができなくなり、障害物の目視を余儀なくされ、誤った距離感に基づき自車を走行することがなくなり、また、しきい値の設定によりマスクパターンを変えることで、衝突寸前まで接近していることを把握でき、障害物への衝突や接触を未然に回避することができる。 According to the present invention, when an obstacle is detected around the vehicle, the display of the obstacle is shielded, so the user can see the distance from the vehicle to the obstacle by looking at the image around the vehicle. You will not be able to see the obstacles, you will not be able to drive your vehicle based on the wrong sense of distance, and by changing the mask pattern by setting the threshold, And can avoid collisions and contact with obstacles.
本発明の最良の実施の形態について図面を参照して詳細に説明する。 The best mode for carrying out the present invention will be described in detail with reference to the drawings.
図4(a)は、本発明の実施例に係る車両周辺監視装置100の構成を示すブロック図である。車両周辺監視装置100は、自車周辺を撮像する複数の撮像カメラ20と、自車周辺の障害物を検出する障害物検出センサ30と、自車のハンドル舵角、車速、ギアポジション等を検出する車両状態センサ40と、ディスプレイ52の表示を制御する表示制御部50と、スピーカ62への音声データを出力する音声出力部60と、障害物遮蔽プログラム72や視点変換処理プログラム74を格納したプログラムメモリ70と、障害物検出センサ30によって検出された障害物に関する障害物データ82や障害物の表示を遮蔽するためのマスクパターンデータ84を格納するデータメモリ80と、制御部90とを含んで構成される。
FIG. 4A is a block diagram illustrating a configuration of the vehicle periphery monitoring apparatus 100 according to the embodiment of the present invention. The vehicle periphery monitoring device 100 detects a plurality of
撮像カメラ20は、例えばCCD撮像素子とレンズを含む光学系により構成され、例えば、車両の前方バンパー、後方バンパー、左右のドアミラー取り付けられる。撮像カメラ20の取り付け位置や数は、特に制限されないが、好ましくは、自車周辺の360度の範囲を撮像できるようにする。撮像カメラ20によって撮像された画像データは、視点変換処理プログラム74により視点変換され、ディスプレイ52上にトップビュー画像Tとして表示される(図1を参照)。また、サイドビュー画像Sを表示する場合には、車両状態センサ40からの出力信号に基づき自車の進行方向およびハンドル舵角に応じた撮像カメラの撮像データがサイドビュー画像に用いられる。例えば、自車が後方に右旋回する場合には、自車の左側の後方を映し出す撮像カメラの撮像データが利用される。
The
障害物検出センサ30は、公知の検出手段を利用することができる。例えば、ミリ波レーダ、超音波、または赤外線等を照射し、照射された障害物からの反射波を受け取ることにより障害物を検出する。例えば、図4(b)に示すように、自車の前方バンパーの左右、および後方バンパーの左右の複数の位置に、超音波を照射する超音波ソナー32a、32b、32c、32dと、超音波ソナー32a〜32dによって照射され障害物によって反射された超音波を受け取る超音波ソナー受信部34とを取り付ける。超音波ソナー32a〜32dは、各々が一定の検出範囲を有し、好ましくは、超音波ソナー32a〜32dによる検出範囲は、撮像カメラ20の撮像領域に対応する。つまり、撮像範囲が自車周辺の360度であれば、障害物の検出範囲も360度であることが望ましい。また、障害物検出センサは、撮像カメラの撮像データを利用し、撮像データ内に存在する障害物を画像認識処理等によって検出するようにしてもよい。
The
図5は、障害物遮蔽プログラム72の機能ブロック図である。同図に示すように、障害物遮蔽プログラム72は、障害物検出センサ30からの出力信号に基づき障害物までの距離を測定する距離測定部110と、同じく出力信号に基づき障害物の位置を判別する位置判別部112と、車両状態センサ40からの出力信号に基づき自車の進行方向を判別する進行方向判別部114と、自車周辺画像に映された障害物を遮蔽するか否かを判定する遮蔽判定部116と、遮蔽判定部116の判定結果に基づき障害物を遮蔽するためのマスクパターンを選択するマスクパターン選択部118と、選択されたマスクパターンを出力するマスクパターン出力部120とを備えている。
FIG. 5 is a functional block diagram of the
距離測定部110は、例えば、超音波やレーダ等の照射波が障害物に当たってそこから戻ってくるまでの時間から障害物の距離を測定することができる。位置判別部112は、超音波やレーダ等の照射波を照射したときの角度または障害物からの反射波の入射角度によって障害物の位置を判別することができる。勿論、これ以外の方法により障害物までの距離や位置を測定し、判別するようにしてもよい。進行方向判別部114は、ハンドル舵角の大きさおよびギアポジションから自車の進行方向を判別する。例えば、自車の進行方向を、自車位置を中心に、自車の前右、前左、前方、左、右、後右、後左、後方の8方位に分類し、そのいずれかの方位を進行方向とするようにしてもよい。
The
遮蔽判定部116は、自車周辺画像を遮蔽する必要があるか否か、すなわち画像歪みが発生している可能性がある障害物か否かの判定を行う。上記したように、トップビュー画像は、自車に障害物が近いほど、および地面から障害物が高いほど、障害物の画像に歪みが生じ易い。本実施例では、遮蔽判定部116は、障害物までの距離に基づき障害物の画像を遮蔽すべきか否かを判定する。
The
マスクパターン選択部118は、予めデータメモリに用意された複数のマスクパターンから所望のマスクパターンを選択する。本実施例では、ディスプレイが2画面表示をするとき、すなわちサイドビュー画像とトップビュー画像が表示されるとき、それぞれの画像をマスクパターンにより遮蔽することを可能にする。このため、サイドビュー画像用とトップビュー画像用のそれぞれのマスクパターンを複数用意してある。
The mask
サイドビュー用マスクパターン130は、図6に示すように、サイドビュー画面の全体を遮蔽する画面遮蔽マスク132と、画面遮蔽マスク132上に合成される車枠134と、障害物が存在する方向を示す障害物方向表示136と、画面遮蔽マスク132上に合成されるテキストデータ138とを含んでいる。これらの詳細な例は、後述する。また、トップビュー用マスクパターン140は、トップビュー画像に含まれる障害物を遮蔽する領域マスク142と、領域マスク142に合成される障害物までの距離を示す距離表示144とを含む。
As shown in FIG. 6, the side
図7に、マスクパターンの具体的な例を示す。図7(a)に示すマスクパターンは、自車の右前方に障害物があるときのマスクパターンの例である。サイドビュー用マスクパターン130は、サイドビュー画面全体を遮蔽する矩形状の画面遮蔽マスク132と、その中央に表示される矩形状の車枠134と、車枠134の右前方に障害物が存在することを示す障害物方向表示136と、画面遮蔽マスク132上に表示されるテキストデータ(「右前に注意」)138とを含んでいる。トップビュー用マスク140は、トップビュー画像に含まれる右前方の障害物を遮蔽する円形状の領域マスク142と、領域マスク142内に表示される障害物までの距離表示(この例では、50cm)144とを含んでいる。なお、一点鎖線で示す矩形状の枠146は、トップビュー画像の画面サイズに対応し、領域マスク142は、画面サイズとの相対的な位置関係を含み、トップビュー画像の右上に合成して表示されることを示している。同様に、図7(b)ないし(h)は、障害物が左前方、右後方、左後方、前方正面、後方正面、右側面、および左側面にあるときの例である。
FIG. 7 shows a specific example of the mask pattern. The mask pattern shown in FIG. 7A is an example of a mask pattern when there is an obstacle on the right front side of the host vehicle. The side
さらに本実施例において、マスクパターンは、注意用と警告用の2種類を有する。注意用マスクパターンと警告用マスクパターンは、基本的な構成は同様であるが、唯一の差異は、ユーザに対する注意喚起のレベルである。図8は、右前方に障害物が存在するときの注意用マスクパターンと警告用マスクパターンの例である。例えば、注意用マスクパターンが黄色で表示されるのに対し、警告用マスクパターンが赤色で表示される。あるいは、トップビュー用マスクパターンの領域マスク142は、注意用よりも警告用のサイズを大きくし、すなわち遮蔽領域を大きくする。また、障害物までの距離表示144は、注意用が50cmであるのに対し、警告用が例えば30cmとなる。
Furthermore, in the present embodiment, the mask pattern has two types for caution and warning. The basic structure of the attention mask pattern and the warning mask pattern is the same, but the only difference is the level of alerting the user. FIG. 8 is an example of a caution mask pattern and a warning mask pattern when there is an obstacle on the right front side. For example, the warning mask pattern is displayed in red while the warning mask pattern is displayed in yellow. Alternatively, the
マスクパターン出力部120は、マスクパターン選択部118によって選択されたマスクパターンを出力する。選択されたサイドビュー用マスクパターン130は、サイドビュー画面の全体を遮蔽するため、特に、サイドビュー画像のどの位置を遮蔽するかという位置情報を必ずしも必要としない。他方、トップビュー用マスクパターン140は、上記したように領域マスク142がトップビュー画像との相対的な位置情報を含んでいる。例えば、右前方に障害物があるマスクパターンが選択されれば、領域マスク142は右前方の位置に表示されるという位置情報を含んでいる。従って、表示制御部50は、マスクパターン出力部120から出力されたマスクパターンをサイドビュー画像およびトップビュー画像にそのまま合成することで、サイドビュー画像全体の遮蔽およびトップビュー画像の障害物の遮蔽を行うことができる。
The mask
仮に、マスクパターンが遮蔽する画像についての相対的な位置情報を含んでいない場合には、マスクパターン出力部120は、そのような位置情報を付加することができる。位置情報は、例えば、図4(b)に示すように、障害物を検出した超音波ソナー32a〜32dのいずれかを識別する情報であってもよいし、あるいは、自車位置を中心にしたときの障害物のxy平面における座標(x、y)であってもよい。位置情報が付加された場合、表示制御部50は、位置情報に基づき、領域マスク142をトップビュー画像上に合成する。
If the mask pattern does not include relative position information about the image to be shielded, the mask
次に、本実施例に係る車両周辺監視装置の動作について図9のフローチャートを参照して説明する。好ましくは、制御部90は、車両状態センサ40からの出力に基づき自車の車速が一定以下のとき、ギア位置が後進のとき、ナビゲーション装置との連動により駐車場や車庫入れが認識できるとき、あるいはユーザからの指示があったとき、車両周辺監視モードを開始し、障害物遮蔽プログラム72および視点変換処理プログラム74を実行する。勿論、これ以外のときに車両周辺監視モードが起動されてもよい。
Next, the operation of the vehicle periphery monitoring apparatus according to the present embodiment will be described with reference to the flowchart of FIG. Preferably, when the vehicle speed of the host vehicle is below a certain level based on the output from the
先ず、撮像カメラ20による撮像データを受け取り、自車周辺画像が表示される。自車周辺画像は、トップビュー画像Tと、ギアポジションに応じて前方または後方を映すサイドビュー画像Sとがディスプレイに表示される。さらに、障害物検出センサ30により自車周辺の障害物の検出が行われ、自車周辺の監視が開始される(ステップS100)。
First, image data obtained by the
次に、距離測定部110は、障害物検出センサ30からの出力信号により障害物までの距離を測定し(ステップS101)、位置判別部112は、障害物の位置を判別する(ステップS102)。例えば、図4(b)に示すように複数の超音波ソナーが搭載されている場合には、全ての超音波ソナーから受信された信号に基づき障害物までの距離および位置を測定する。
Next, the
次に、進行方向判別部114は、車両状態センサ40からの出力信号に基づき自車の進行方向を判別する(ステップS103)。好ましくは、ギアポジションおよびハンドル舵角に基づき、自車を8方位(前右、前左、前方、左、右、後右、後左、後方)のいずれに該当するかを判別する。
Next, the traveling
次に、遮蔽判定部116は、マスクパターンによる遮蔽が必要な距離であるか否かを判定する(ステップS104)。この距離は、例えば自車から障害物までの距離が50cmであり、障害物の画像に歪みが生じ得る距離である。遮蔽が必要であると判定すると、次に、注意用マスクパターンか警告用マスクパターンかのいずれの遮蔽が必要かを判定する(ステップS105)。障害物までの距離が例えば50cm以下であれば、注意用マスクパターンによる遮蔽が必要であると判定し、障害物までの距離が30cm以下であれば、警告用マスクパターンによる遮蔽が必要であると判定する。
Next, the shielding
マスクパターン選択部118は、進行方向判別部114の判別結果および遮蔽判定部116の判定結果に基づき注意用マスクパターンまたは警告用のマスクパターンを選択する(ステップS106、S107))。例えば、障害物までの距離が注意レベルであり、かつ障害物が右前方にあれば、図7(a)または図8(a)に示すマスクパターンが選択され、それが警告レベルであれば、図8(b)に示すマスクパターンが選択される。
The mask
選択されたマスクパターンは、マスクパターン出力部120によって表示制御部50へ出力され(ステップS108)、表示制御部50は、ディスプレイに表示されているサイドビュー画像Sとトップビュー画像Tをマスクパターンにより遮蔽する(ステップS109)。なお、マスクパターンにより画像を遮蔽するとき、同時にテキスト情報を音声により出力するようにしてもよい。
The selected mask pattern is output to the
このように、トップビュー画像に含まれる障害物の画像の歪みを遮蔽することで、ユーザは、トップビュー画像から障害物までの距離感を認識して走行をすることができなくなり、実際の障害物の目視を余儀なくされる。 In this way, by blocking the distortion of the image of the obstacle included in the top view image, the user can not travel by recognizing the sense of distance from the top view image to the obstacle. You will be forced to see things.
図10は、サイドビュー画像Sとトップビュー画像Tの2画面がディスプレイに表示され、自車が後方に走行して駐車するとき、右後ろに障害物14が検出され、注意用マスクパターンによる遮蔽が行われる状態を示している。 In FIG. 10, two screens of a side view image S and a top view image T are displayed on the display, and when the vehicle travels backward and parks, an obstacle 14 is detected on the right rear side and is blocked by a caution mask pattern. Shows the state in which is performed.
サイドビュー画面Sは、画面遮蔽マスク132によって全体が遮蔽され、画面遮蔽マスク132上には、車枠134と、右後ろに障害物が存在することを示す障害物方向表示136と、「右後ろに注意」のテキスト136が表示される。また、画面遮蔽マスク132は、例えば黒や灰色で表示されるが、車枠134、障害物方向表示136およびテキスト138は、目立つように黄色で表示される。トップビュー画像Tは、円形状の領域遮蔽マスク142が合成され、領域遮蔽マスク142によって障害物14の一部が遮蔽されている。また、領域遮蔽マスク142には、障害物までの距離、ここでは50cmが表示されている。同様に、領域遮蔽マスク142は、黄色で表示される。
The entire side view screen S is shielded by the
注意用マスクパターンによる遮蔽が行われると、サイドビュー画像Sには、側部から後方を映し出す映像がすべて遮蔽され、そこには注意を喚起する情報が表示される。また、トップビュー画像Tには、自車10の全体の画像は表示されつつも、障害物14の少なくとも一部が遮蔽されてしまうため、ユーザは、トップビュー画像のみを頼りにして後進することができなくなり、障害物を目視して距離感を把握することになる。
When the masking by the attention mask pattern is performed, the side view image S is shielded from all images projected from the side, and information for calling attention is displayed there. In addition, while the entire image of the
図11は、図10の状態から障害物にさらに接近したときの警告用マスクパターンによる遮蔽の例を示す図である。ここでは、サイドビュー画像Sの車枠134、障害物方向表示136およびテキスト138を赤色で表示し、トップビュー画像Tの領域遮蔽マスク142を赤色で表示し、領域遮蔽マスク142内に障害物までの距離、30cmを表示している。なお、領域遮蔽マスク142は、図10のときと同一サイズであるが、このサイズを大きくすることができる。警告用のマスクパターンによる障害物の遮蔽により、ユーザは、障害物への注意をより喚起されることになる。
FIG. 11 is a diagram illustrating an example of shielding by the warning mask pattern when the obstacle is further approached from the state of FIG. Here, the
上記実施例では、サイドビュー画像とトップビュー画像の2画面表示を例示したが、必ずしも2画面表示である必要はなく、トップビュー表示だけであってもよい。また、トップビュー画像は、自車の全周囲を表示したが、自車周辺の一部の表示であってもよい。 In the above embodiment, the two-screen display of the side view image and the top view image is illustrated, but the two-screen display is not necessarily required, and only the top view display may be used. Moreover, although the top view image displayed the entire periphery of the own vehicle, a part of the periphery of the own vehicle may be displayed.
さらに上記実施例では、トップビュー画像において障害物を遮蔽する領域遮蔽マスクを円形としたが、これ以外の形状であってもよい。例えば、領域遮蔽マスクの形状は、障害物が存在する位置に応じて変更するようにしてもよい。例えば、図12(a)に示すように、自車を中心に8方位(前右、前左、前方、左、右、後右、後左、後方)に分割し、その方位に対応する領域遮蔽マスク200〜214を用意し、検出された障害物の位置に応じた領域遮蔽マスクを選択するようにしてもよい。
Further, in the above-described embodiment, the area shielding mask that shields the obstacle in the top view image is circular, but may have other shapes. For example, the shape of the area shielding mask may be changed according to the position where the obstacle exists. For example, as shown in FIG. 12 (a), the vehicle is divided into eight directions (front right, front left, front, left, right, rear right, rear left, rear) about the host vehicle, and the area corresponding to the direction. Shielding
さらに上記実施例では、自車周辺に障害物が1つ検出された例を示したが、複数の障害物を検出した場合にも、同様に画像の遮蔽が行われる。また、上記実施例では、複数のマスクパターンを用意しておき、そこから所望のマスクパターンを選択するようにしたが、これに限らず、障害物を検出したとき、障害物の位置と距離に応じて、さらには自車の進行方向に応じてマスクパターンをリアルタイムで生成し、生成したマスクパターンにより画像を遮蔽するようにしてもよい。 Further, in the above-described embodiment, an example in which one obstacle is detected around the own vehicle is shown. However, when a plurality of obstacles are detected, the image is similarly shielded. In the above embodiment, a plurality of mask patterns are prepared and a desired mask pattern is selected therefrom. However, the present invention is not limited to this, and when an obstacle is detected, the position and distance of the obstacle are determined. Accordingly, a mask pattern may be generated in real time according to the traveling direction of the host vehicle, and the image may be blocked by the generated mask pattern.
さらに上記実施例では、障害物が一定の距離以下となれば、自動的に領域遮蔽マスクにより障害物の画像を遮蔽したが、トップビュー画像が有する本来の画像の歪みを考慮しても良い。トップビュー画像は、図1に示すように、前方画像F、左右画像SL、SRおよび後方画像Rとの間の合成位置11a、11bにおいて特に歪みが生じる。従って、検出された障害物の位置が、合成位置11a、11bに重複する場合には、障害物までの距離に無関係に合成位置11a、11bを含む領域を領域遮蔽マスクにより遮蔽するようにしてもよい。
Further, in the above embodiment, when the obstacle is less than a certain distance, the image of the obstacle is automatically shielded by the area shielding mask. However, the original image distortion of the top view image may be considered. As shown in FIG. 1, the top view image is particularly distorted at the
さらにトップビュー画像において、障害物の画像の歪みは、障害物の高さに依存する。従って、障害物検出センサにより障害物の地面からの高さを検出することが可能であれば、障害物が一定の高さを有するときに、障害物の画像を遮蔽するようにしてもよい。さらに、上記実施例では、注意用と警告用のマスクパターンにおいて、領域遮蔽マスクの大きさや色彩を異ならせるようにしたが、これ以外にも、領域遮蔽マスクの形状を変更したり、音声ガイドの内容を異ならせるようにしてもよい。 Further, in the top view image, the distortion of the image of the obstacle depends on the height of the obstacle. Therefore, as long as the obstacle detection sensor can detect the height of the obstacle from the ground, the obstacle image may be shielded when the obstacle has a certain height. Furthermore, in the above embodiment, the size and color of the area shielding mask are made different between the caution and warning mask patterns. However, in addition to this, the shape of the area shielding mask can be changed, the voice guide The contents may be different.
以上、本発明の好ましい実施の形態について詳述したが、本発明に係わる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 The preferred embodiments of the present invention have been described in detail above. However, the present invention is not limited to specific embodiments according to the present invention, and various modifications can be made within the scope of the gist of the present invention described in the claims. Deformation / change is possible.
F:前方画像 SL、SR:左右画像
R:後方画像 S:サイドビュー画像
T:トップビュー画像 10:自車
11a、11b:合成位置 12:予測線
14:障害物 14a:障害物の間延びした画像
16:車枠
130:サイドビュー用マスクパターン
132:画面遮蔽マスク 134:車枠
136:障害物方向表示 138:テキストデータ
140:トップビュー用マスクパターン 142:領域遮蔽マスク
144:距離表示
F: Front image SL, SR: Left and right image R: Rear image S: Side view image T: Top view image 10:
130: Side view mask pattern 132: Screen shielding mask 134: Car frame 136: Obstacle direction display 138: Text data 140: Top view mask pattern 142: Area shielding mask 144: Distance display
Claims (12)
自車周辺を撮像する撮像手段と、
撮像手段によって撮像された自車周辺画像をディスプレイに表示する表示手段と、
前記障害物検出手段によって障害物が検出されたとき、前記表示手段によって表示された前記自車周辺画像に含まれる障害物の少なくとも一部をマスクパターンによって遮蔽する障害物遮蔽手段と、
を有する車両周辺監視装置。 Obstacle detection means for detecting obstacles around the vehicle;
Imaging means for imaging the periphery of the vehicle;
Display means for displaying on the display a surrounding image of the vehicle imaged by the imaging means;
When an obstacle is detected by the obstacle detection means, an obstacle shielding means for shielding at least a part of the obstacle included in the vehicle periphery image displayed by the display means with a mask pattern;
A vehicle periphery monitoring device.
自車周辺を撮像し、撮像した自車周辺画像を自車の真上から見下ろすようにディスプレイに表示するステップと、
自車周辺の障害物を検出するステップと、
検出された障害物までの距離を測定するステップと、
障害物までの距離が第1のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第1のマスクパターンによって遮蔽するステップと、
障害物までの距離が第1のしきい値より小さい第2のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第2のマスクパターンによって遮蔽するステップと、
を有する車両周辺監視方法。 A vehicle periphery monitoring method having a function of displaying a surrounding image of the own vehicle,
Imaging the vicinity of the vehicle and displaying the captured image of the vehicle periphery on the display so that the vehicle is viewed from directly above the vehicle;
Detecting obstacles around the vehicle,
Measuring the distance to the detected obstacle;
When the distance to the obstacle is equal to or less than the first threshold, shielding at least a part of the obstacle included in the vehicle periphery image displayed on the display with the first mask pattern;
When the distance to the obstacle is equal to or smaller than the second threshold value, which is smaller than the first threshold value, at least a part of the obstacle included in the vehicle surrounding image displayed on the display is set to the second mask pattern. A step of shielding by,
A vehicle periphery monitoring method comprising:
自車周辺を撮像し、撮像した自車周辺画像を自車の真上から見下ろすようにディスプレイに表示するステップと、
自車周辺の障害物を検出するステップと、
検出された障害物までの距離を測定するステップと、
障害物までの距離が第1のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第1のマスクパターンによって遮蔽するステップと、
障害物までの距離が第1のしきい値より小さい第2のしきい値以下となったとき、ディスプレイに表示された自車周辺画像に含まれる障害物の少なくとも一部を第2のマスクパターンによって遮蔽するステップと、
を有する車両周辺監視プログラム。 A vehicle periphery monitoring program having a function of displaying a vehicle periphery image,
Imaging the vicinity of the vehicle and displaying the captured image of the vehicle periphery on the display so that the vehicle is viewed from directly above the vehicle;
Detecting obstacles around the vehicle,
Measuring the distance to the detected obstacle;
When the distance to the obstacle is equal to or less than the first threshold, shielding at least a part of the obstacle included in the vehicle periphery image displayed on the display with the first mask pattern;
When the distance to the obstacle is equal to or smaller than the second threshold value, which is smaller than the first threshold value, at least a part of the obstacle included in the vehicle surrounding image displayed on the display is set to the second mask pattern. A step of shielding by,
A vehicle periphery monitoring program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007208373A JP2009040272A (en) | 2007-08-09 | 2007-08-09 | Vehicle periphery monitoring device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007208373A JP2009040272A (en) | 2007-08-09 | 2007-08-09 | Vehicle periphery monitoring device |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009040272A true JP2009040272A (en) | 2009-02-26 |
Family
ID=40441496
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007208373A Withdrawn JP2009040272A (en) | 2007-08-09 | 2007-08-09 | Vehicle periphery monitoring device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009040272A (en) |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010212857A (en) * | 2009-03-09 | 2010-09-24 | Denso Corp | Image display device for vehicle |
EP2272730A1 (en) * | 2009-07-07 | 2011-01-12 | HI-KEY Limited | Method and apparatus for displaying distance data in a parking distance control system |
JP2011173585A (en) * | 2010-01-27 | 2011-09-08 | Denso It Laboratory Inc | Parking assist system |
KR20110121941A (en) * | 2010-05-03 | 2011-11-09 | 현대모비스 주식회사 | A warning apparatus for a vehicle |
JP2012001126A (en) * | 2010-06-18 | 2012-01-05 | Clarion Co Ltd | Vehicle surroundings monitoring device |
WO2012056528A1 (en) * | 2010-10-27 | 2012-05-03 | トヨタ自動車株式会社 | Driving assist device |
JP2012216991A (en) * | 2011-03-31 | 2012-11-08 | Fujitsu Ten Ltd | Image display system |
WO2013065122A1 (en) * | 2011-11-01 | 2013-05-10 | アイシン精機株式会社 | Obstacle alert device |
WO2013065123A1 (en) * | 2011-11-01 | 2013-05-10 | アイシン精機株式会社 | Obstacle alert device |
WO2013065119A1 (en) * | 2011-11-01 | 2013-05-10 | アイシン精機株式会社 | Obstacle alert device |
WO2013065121A1 (en) * | 2011-11-01 | 2013-05-10 | アイシン精機株式会社 | Obstacle alert device |
WO2013168230A1 (en) * | 2012-05-08 | 2013-11-14 | トヨタ自動車株式会社 | Overhead view image display device |
JP2015501470A (en) * | 2011-10-19 | 2015-01-15 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Method and apparatus for determining the position of an object in a surrounding area of a vehicle |
JP5674071B2 (en) * | 2011-11-01 | 2015-02-25 | アイシン精機株式会社 | Obstacle alarm device |
JP2016024673A (en) * | 2014-07-22 | 2016-02-08 | 株式会社デンソー | Vehicle display control unit |
KR20160068409A (en) * | 2014-12-05 | 2016-06-15 | 주식회사 유라코퍼레이션 | Around view monitoring system and method for vehicle |
US9396401B2 (en) | 2011-11-01 | 2016-07-19 | Aisin Seiki Kabushiki Kaisha | Obstacle alarm device |
KR20170100897A (en) * | 2016-02-26 | 2017-09-05 | 한화지상방산 주식회사 | The Apparatus For Around View Monitoring |
JP2018207289A (en) * | 2017-06-02 | 2018-12-27 | アイシン精機株式会社 | Peripheral display device |
CN110626265A (en) * | 2018-06-21 | 2019-12-31 | 丰田自动车株式会社 | Periphery monitoring device |
-
2007
- 2007-08-09 JP JP2007208373A patent/JP2009040272A/en not_active Withdrawn
Cited By (32)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010212857A (en) * | 2009-03-09 | 2010-09-24 | Denso Corp | Image display device for vehicle |
EP2272730A1 (en) * | 2009-07-07 | 2011-01-12 | HI-KEY Limited | Method and apparatus for displaying distance data in a parking distance control system |
JP2011173585A (en) * | 2010-01-27 | 2011-09-08 | Denso It Laboratory Inc | Parking assist system |
KR20110121941A (en) * | 2010-05-03 | 2011-11-09 | 현대모비스 주식회사 | A warning apparatus for a vehicle |
KR101681577B1 (en) | 2010-05-03 | 2016-12-01 | 현대모비스 주식회사 | A warning apparatus for a vehicle |
JP2012001126A (en) * | 2010-06-18 | 2012-01-05 | Clarion Co Ltd | Vehicle surroundings monitoring device |
WO2012056528A1 (en) * | 2010-10-27 | 2012-05-03 | トヨタ自動車株式会社 | Driving assist device |
JP2012216991A (en) * | 2011-03-31 | 2012-11-08 | Fujitsu Ten Ltd | Image display system |
JP2015501470A (en) * | 2011-10-19 | 2015-01-15 | ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング | Method and apparatus for determining the position of an object in a surrounding area of a vehicle |
WO2013065123A1 (en) * | 2011-11-01 | 2013-05-10 | アイシン精機株式会社 | Obstacle alert device |
US9691283B2 (en) | 2011-11-01 | 2017-06-27 | Aisin Seiki Kabushiki Kaisha | Obstacle alert device |
WO2013065121A1 (en) * | 2011-11-01 | 2013-05-10 | アイシン精機株式会社 | Obstacle alert device |
US9773172B2 (en) | 2011-11-01 | 2017-09-26 | Aisin Seiki Kabushiki Kaisha | Obstacle alert device |
WO2013065119A1 (en) * | 2011-11-01 | 2013-05-10 | アイシン精機株式会社 | Obstacle alert device |
JP5674071B2 (en) * | 2011-11-01 | 2015-02-25 | アイシン精機株式会社 | Obstacle alarm device |
JPWO2013065121A1 (en) * | 2011-11-01 | 2015-04-02 | アイシン精機株式会社 | Obstacle alarm device |
JPWO2013065119A1 (en) * | 2011-11-01 | 2015-04-02 | アイシン精機株式会社 | Obstacle alarm device |
WO2013065325A1 (en) * | 2011-11-01 | 2013-05-10 | アイシン精機株式会社 | Obstacle alert device |
US9082021B2 (en) | 2011-11-01 | 2015-07-14 | Aisin Seiki Kabushiki Kaisha | Obstacle alert device |
WO2013065122A1 (en) * | 2011-11-01 | 2013-05-10 | アイシン精機株式会社 | Obstacle alert device |
US9396401B2 (en) | 2011-11-01 | 2016-07-19 | Aisin Seiki Kabushiki Kaisha | Obstacle alarm device |
JPWO2013168230A1 (en) * | 2012-05-08 | 2015-12-24 | トヨタ自動車株式会社 | Overhead image display device |
US20150116494A1 (en) * | 2012-05-08 | 2015-04-30 | Toyota Jidosha Kabushiki Kaisha | Overhead view image display device |
WO2013168230A1 (en) * | 2012-05-08 | 2013-11-14 | トヨタ自動車株式会社 | Overhead view image display device |
JP2016024673A (en) * | 2014-07-22 | 2016-02-08 | 株式会社デンソー | Vehicle display control unit |
KR20160068409A (en) * | 2014-12-05 | 2016-06-15 | 주식회사 유라코퍼레이션 | Around view monitoring system and method for vehicle |
KR101664297B1 (en) * | 2014-12-05 | 2016-10-10 | 주식회사 유라코퍼레이션 | Around view monitoring system and method for vehicle |
KR20170100897A (en) * | 2016-02-26 | 2017-09-05 | 한화지상방산 주식회사 | The Apparatus For Around View Monitoring |
KR102153581B1 (en) | 2016-02-26 | 2020-09-08 | 한화디펜스 주식회사 | The Apparatus For Around View Monitoring |
JP2018207289A (en) * | 2017-06-02 | 2018-12-27 | アイシン精機株式会社 | Peripheral display device |
CN110626265A (en) * | 2018-06-21 | 2019-12-31 | 丰田自动车株式会社 | Periphery monitoring device |
CN110626265B (en) * | 2018-06-21 | 2023-02-28 | 丰田自动车株式会社 | Periphery monitoring device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2009040272A (en) | Vehicle periphery monitoring device | |
JP4883977B2 (en) | Image display device for vehicle | |
JP4687160B2 (en) | Perimeter monitoring device | |
JP4846426B2 (en) | Vehicle perimeter monitoring device | |
US8089512B2 (en) | Driving support device, driving support method and computer program | |
US9139135B2 (en) | System and method that minimizes hazards of blind spots while driving | |
KR100481248B1 (en) | Picture synthesizing apparatus for presenting circumferencial images to driver, and display apparatus, warning apparatus and position recognition apparatus using it | |
JP4809019B2 (en) | Obstacle detection device for vehicle | |
WO2019044185A1 (en) | Video output device, video generation program, and non-transitory tangible computer-readable medium | |
US20080198226A1 (en) | Image Processing Device | |
JP3822154B2 (en) | Vehicle detection device | |
JP2012071635A (en) | Parking assistance device | |
JP2012071635A5 (en) | ||
JP2010183170A (en) | Display apparatus for vehicle | |
JP2009081666A (en) | Vehicle periphery monitoring apparatus and image displaying method | |
JPWO2007015446A1 (en) | Vehicle perimeter monitoring apparatus and vehicle perimeter monitoring method | |
JP2007223338A (en) | Display system, moving body, display method, display program and storage medium thereof | |
JP5708669B2 (en) | Vehicle display device | |
JP2009040319A (en) | Driving assistant device | |
JP2005025692A (en) | Vehicle information provision apparatus | |
JP2007124097A (en) | Apparatus for visually recognizing surrounding of vehicle | |
JP4600999B2 (en) | Vehicle perimeter monitoring device | |
JP2013053962A (en) | Camera system, collision prediction system, and parking guide system | |
JP2007030603A (en) | Vehicle travel assisting device | |
JP2004056219A (en) | Vehicle surroundings monitoring apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20101102 |