JP2007235529A - Vehicle surroundings monitoring system and image display method - Google Patents
Vehicle surroundings monitoring system and image display method Download PDFInfo
- Publication number
- JP2007235529A JP2007235529A JP2006054593A JP2006054593A JP2007235529A JP 2007235529 A JP2007235529 A JP 2007235529A JP 2006054593 A JP2006054593 A JP 2006054593A JP 2006054593 A JP2006054593 A JP 2006054593A JP 2007235529 A JP2007235529 A JP 2007235529A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- obstacle
- cameras
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
本発明は、複数の車載カメラの撮影画像を用いて作成した俯瞰表示画像を表示装置に表示して、車両乗員に車両周囲の様子を認識させる車両周囲監視システム及び画像表示方法に関する。 The present invention relates to a vehicle surroundings monitoring system and an image display method for displaying a bird's-eye view display image created using images taken by a plurality of in-vehicle cameras on a display device and allowing a vehicle occupant to recognize the situation around the vehicle.
従来、車両の死角となる領域の画像を車載カメラで撮影し、この車載カメラで撮影された原画像を車両上方の仮想視点から見下ろした俯瞰画像に変換して表示装置に表示する技術が知られており、車両の駐車時や狭い道路の通行時などにおいて運転者の視界を補助する目的で利用されている。また、近年では、車両前方、後方、左右両側方の全ての領域を例えば４台の車載カメラで撮影し、これら車載カメラで撮影された原画像をそれぞれ俯瞰画像に変換して繋ぎ合わせ、車両周囲全域を表す１つの連続した俯瞰表示画像として表示装置に表示することで、車両周囲全域の様子を車両乗員が一目で認識できるようにした車両周囲監視システムが提案されている。 Conventionally, a technique is known in which an image of an area that becomes a blind spot of a vehicle is captured by a vehicle-mounted camera, and an original image captured by the vehicle-mounted camera is converted into a bird's-eye view image looking down from a virtual viewpoint above the vehicle and displayed on a display device. It is used for the purpose of assisting the driver's view when the vehicle is parked or when the road is narrow. Further, in recent years, all areas on the front, rear, and left and right sides of the vehicle are photographed by, for example, four on-vehicle cameras, and the original images photographed by these on-vehicle cameras are converted into overhead images and connected to each other to A vehicle periphery monitoring system has been proposed in which a vehicle occupant can recognize at a glance the state of the entire vehicle periphery by displaying it on the display device as one continuous overhead view display image representing the entire region.
ところで、この種の車両周囲監視システムでは、通常、隣り合う車載カメラが撮影する領域は、その端部において互いに重複しており、この重複した領域に対応する画像部分で、隣り合う車載カメラの原画像を変換した俯瞰画像を合成することにより、表示装置に表示する俯瞰表示画像に連続性を持たせるようにしている。このため、隣り合う車載カメラで重複して撮影される重複領域に車両の走行を妨げるような立体物（障害物）が存在する場合、この障害物は俯瞰表示画像では鮮明に表示されず、車両乗員は、俯瞰表示画像を見ただけでは障害物の存在自体は認識できるものの、その障害物が何であるかを特定できず、最適な対応を瞬時に判断することが難しいという問題が指摘されている。 By the way, in this type of vehicle surrounding monitoring system, the areas photographed by the adjacent in-vehicle cameras usually overlap each other at the end portions, and the original in-vehicle camera in the image portion corresponding to the overlapped area. By combining the overhead image obtained by converting the images, the overhead view image displayed on the display device is made continuous. For this reason, when there is a three-dimensional object (obstacle) that hinders driving of the vehicle in the overlapping area that is captured by the adjacent in-vehicle cameras, the obstacle is not clearly displayed in the overhead view display image. Although the occupant can recognize the presence of an obstacle just by looking at the bird's-eye view image, it cannot identify what the obstacle is, and it is difficult to determine the optimum response instantly. Yes.
このような問題への対応策として、例えば特許文献１には、車両周囲全域を表す上述した俯瞰表示画像を表示装置に表示する通常モードのほかに例外モードを設け、例外モード選択時には、隣り合う車載カメラで重複して撮影される重複領域に対応する画像部分を合成せずに、各車載カメラ毎に個別に表示することで、重複領域に存在する障害物を認識しや易くするという技術が開示されている。特に、この特許文献１には、重複領域に存在する障害物を物体検知センサで検知したときに、その障害物が存在する重複領域を撮影する２つの車載カメラの原画像から重複領域に対応する画像部分を切り出して、俯瞰表示画像上に貼り付けた状態で表示装置に表示するという例が記載されている。
しかしながら、上述した特許文献１にて開示される技術では、障害物が存在する重複領域を撮影する２つの車載カメラの原画像の一部を切り出して俯瞰表示画像上に貼り付けて表示するようにしているため、画像全体としての違和感が大きく、表示されている画像を見た車両乗員が、その画像から障害物の種類などを直感的且つ瞬時に特定することが困難で、迅速な回避操作などの妨げになるといった問題が懸念される。 However, in the technique disclosed in Patent Document 1 described above, a part of the original images of the two in-vehicle cameras that capture the overlapping area where the obstacle exists is cut out and pasted on the overhead view display image for display. Therefore, it is difficult for the vehicle occupant who has seen the displayed image to identify the type of obstacle intuitively and instantaneously from the image. There is a concern that it will interfere with the problem.
本発明は、以上のような従来の実情に鑑みて創案されたものであって、俯瞰表示画像の表示中に、隣り合う車載カメラで重複して撮影される重複領域に障害物が存在することを検知したときに、その障害物の種類などを車両乗員が直感的且つ瞬時に特定できるような画像に表示画像を切り替えて、迅速な回避動作などを適切に支援できるようにした車両周囲監視システム及び画像表示方法を提供することを目的としている。 The present invention was devised in view of the conventional situation as described above, and there is an obstacle in an overlapping region that is photographed redundantly by an adjacent in-vehicle camera while displaying an overhead view display image. When a vehicle is detected, the vehicle surroundings monitoring system can appropriately support quick avoidance operation by switching the display image to an image that allows the vehicle occupant to intuitively and instantaneously specify the type of obstacle. And an image display method.
本発明は、前記目的を達成するために、複数の車載カメラで撮影された原画像をもとに作成した俯瞰表示画像の表示中に、複数の車載カメラで重複して撮影される重複領域内に存在する障害物を障害物検知装置が検知したときに、表示装置に表示させる画像を、俯瞰表示画像から、重複領域を撮影する複数の車載カメラの原画像へと切り替えるようにした。 In order to achieve the above object, the present invention provides an overlapping area in which a plurality of in-vehicle cameras are overlapped during display of an overhead view display image created based on original images captured by a plurality of in-vehicle cameras. When the obstacle detection device detects an obstacle existing in the image, the image to be displayed on the display device is switched from the overhead view display image to the original images of a plurality of in-vehicle cameras that capture the overlapping area.
本発明によれば、複数の車載カメラで重複して撮影される重複領域内に障害物が存在する場合に、表示装置に表示される画像が俯瞰表示画像から重複領域を撮影する複数の車載カメラの原画像に切り替えられるので、車両乗員は、この表示装置に表示される画像から、重複領域に存在する障害物の種類などを直感的且つ瞬時に特定することができ、この障害物を回避する操作などを迅速に行うことができる。 According to the present invention, when there is an obstacle in an overlapping area that is captured by a plurality of in-vehicle cameras, the plurality of in-vehicle cameras that capture the overlapping area from the overhead display image is displayed on the display device. Therefore, the vehicle occupant can intuitively and instantaneously specify the type of obstacle existing in the overlapping area from the image displayed on the display device, and avoid this obstacle. Operations can be performed quickly.
以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。なお、ここでは、車両前方、後方、左右両側方の各領域を４つの車載カメラでそれぞれ撮影し、これら４つの車載カメラで撮影された原画像を用いて車両周囲全域を表す１つの連続した俯瞰表示画像を作成して表示する車両周囲監視システムに本発明を適用した例について説明するが、本発明は、ここで挙げる例に限らず、一部が重複する車両周囲の領域を複数の車載カメラで撮影して、これら複数の車載カメラの原画像から１つの俯瞰表示画像を作成して表示する機能を持った各種システムに対して広く適用可能である。 Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. Here, one continuous bird's-eye view representing the entire area around the vehicle using the original images taken by the four in-vehicle cameras, each of the vehicle front, rear, and left and right sides being photographed. An example in which the present invention is applied to a vehicle surroundings monitoring system that creates and displays a display image will be described. However, the present invention is not limited to the example given here, and a plurality of in-vehicle cameras are used in a region around a partially overlapping vehicle. And can be widely applied to various systems having a function of creating and displaying one bird's-eye view display image from the original images of the plurality of in-vehicle cameras.
本発明を適用した車両周囲監視システムの概略構成を図１に示す。この車両周囲監視システムは、図１に示すように、フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラと、第１のソナー２１、第２のソナー２２、第３のソナー２３、第４のソナー２４の４つの障害物検知用ソナーとが画像処理ユニット３０にそれぞれ接続され、この画像処理ユニット３０の出力側に、車室内に設置された液晶ディスプレイ等の表示装置４０が接続された構成とされる。また、画像処理ユニット３０には、例えば車両のシフトレバーの位置などを表す各種車両信号を取得する車両信号取得装置５０も接続されている。
A schematic configuration of a vehicle periphery monitoring system to which the present invention is applied is shown in FIG. As shown in FIG. 1, the vehicle surrounding monitoring system includes four vehicle-mounted cameras including a front camera 11, a
フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラは、例えば１８０度程度の画角を有する広角カメラよりなり、これら４つの車載カメラで車両周囲を囲む全ての領域の映像を撮影できるように、車両の適所に搭載されている。具体的には、フロントカメラ１１は、図２に示すように、車両前方のフロントバンパーなどに設置され、車両前方の所定領域Ａ１を撮影範囲として、この領域Ａ１の映像を地面に対して斜めに見下ろす方向で撮影する。また、リアカメラ２２は、車両後方のリアバンパーなどに設置され、車両後方の所定領域Ａ２を撮影範囲として、この領域Ａ２の画像を地面に対して斜めに見下ろす方向で撮影する。また、右サイドカメラ２３は、車両右側のサイドミラーなどに設置され、車両右側方の所定領域Ａ３を撮影範囲として、この領域Ａ３の画像を地面に対して斜めに見下ろす方向で撮影する。さらに、左サイドカメラ２４は、車両左側のサイドミラーなどに設置され、車両左側方の所定領域Ａ４を撮影範囲として、この領域Ａ４の画像を地面に対して斜めに見下ろす方向で撮影する。そして、これら４つの車載カメラ１１，１２，１３，１４は、それぞれ画像処理ユニット３０からの指令に応じて車両周囲の所定領域Ａ１，Ａ２，Ａ３，Ａ４の画像を撮影し、撮影した画像を電気信号に変換して、例えば、コンポジット信号（アナログ形式の画像信号）として、所定のアナログ通信線を介して画像処理ユニット３０に出力する。
The four in-vehicle cameras, that is, the front camera 11, the
これら４つの車載カメラ１１，１２，１３，１４が撮影する領域Ａ１，Ａ２，Ａ３，Ａ４は、それぞれ端部において、隣り合う他の車載カメラが撮影する領域と互いに重複している。すなわち、フロントカメラ１１が撮影する領域Ａ１と右サイドカメラ１３が撮影する領域Ａ３とは車両右前方の重複領域ＯＡ１において重複し、フロントカメラ１１が撮影する領域Ａ１と左サイドカメラ１４が撮影する領域Ａ４とは車両左前方の重複領域ＯＡ２において重複する。また、リアカメラ１２が撮影する領域Ａ２と右サイドカメラ１３が撮影する領域Ａ３とは車両右後方の重複領域ＯＡ３において重複し、リアカメラ１２が撮影する領域Ａ２と左サイドカメラ１４が撮影する領域Ａ４とは車両左後方の重複領域ＯＡ４において重複する。言い換えると、重複領域ＯＡ１の画像はフロントカメラ１１と右サイドカメラ１３の何れでも撮影可能であり、重複領域ＯＡ２の画像はフロントカメラ１１と左サイドカメラ１４の何れでも撮影可能である。また、重複領域ＯＡ３の画像はリアカメラ１２と右サイドカメラ１３の何れでも撮影可能であり、重複領域ＯＡ４の画像はリアカメラ１２と左サイドカメラ１４の何れでも撮影可能である。
The areas A1, A2, A3, and A4 photographed by these four vehicle-mounted
本発明を適用した車両周囲監視システムでは、以上の４つの車載カメラ１１，１２，１３，１４で撮影した領域Ａ１，Ａ２，Ａ３，Ａ４の画像（原画像）をそれぞれ画像処理ユニット３０に取り込み、画像処理ユニット３０においてこれらの原画像をそれぞれ俯瞰画像に変換すると共に、これら俯瞰画像を各重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に対応する画像部分で合成して、車両周囲全域を表す１つの連続した俯瞰表示画像を作成するようにしている。そして、この画像処理ユニット３０で作成した俯瞰表示画像を表示装置４０に表示させるようにしている。
In the vehicle surrounding monitoring system to which the present invention is applied, the images (original images) of the regions A1, A2, A3, and A4 captured by the above four on-
ところで、このような俯瞰表示画像は、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に対応する画像部分で俯瞰画像が合成された画像であるため、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に障害物が存在する場合、この障害物が画像上で鮮明に映し出されず、その障害物が、例えば、路上に設置されたポールのような構造物であるのか、或いは人などの動く物体であるのかといった特定をすることができず、最適な対応を瞬時に判断することが難しいという問題がある。そこで、本発明を適用した車両周囲監視システムでは、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在する場合には、表示装置４０に表示する画像を、上述した俯瞰表示画像から、その障害物が存在する重複領域を撮影する２つの車載カメラの原画像で構成する警報画像に切り替えることで、車両乗員が障害物の種類などを直感的且つ瞬時に特定できるようにしている。そして、本発明を適用した車両周囲監視システムでは、これら重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に存在する障害物を検知する手段として、第１乃至第４の４つのソナー２１，２２，２３，２４を用いている。
By the way, since such a bird's-eye view display image is an image in which the bird's-eye view image is synthesized with the image portions corresponding to the overlapping areas OA1, OA2, OA3, OA4, there are obstacles in the overlapping areas OA1, OA2, OA3, OA4. If the obstacle is not clearly displayed on the image, it is specified whether the obstacle is a structure such as a pole installed on the road or a moving object such as a person. There is a problem that it is difficult to instantly determine the optimum response. Therefore, in the vehicle surroundings monitoring system to which the present invention is applied, when an obstacle exists in any of the overlapping areas OA1, OA2, OA3, OA4, an image displayed on the
第１のソナー２１は、図２に示すように、その検知範囲ＳＡ１が車両右前方の重複領域ＯＡ１と重なるように、車両右前方の所定の位置に設置され、車両右前方の重複領域ＯＡ１内に存在する障害物を検知する。また、第２のソナー２２は、その検知範囲ＳＡ２が車両左前方の重複領域ＯＡ２と重なるように、車両左前方の所定の位置に設置され、車両左前方の重複領域ＯＡ２内に存在する障害物を検知する。また、第３のソナー２３は、その検知範囲ＳＡ３が車両右後方の重複領域ＯＡ３と重なるように、車両右後方の所定の位置に設置され、車両右後方の重複領域ＯＡ３内に存在する障害物を検知する。また、第４のソナー２４は、その検知範囲ＳＡ４が車両左後方の重複領域ＯＡ４と重なるように、車両左後方の所定の位置に設置され、車両左後方の重複領域ＯＡ４内に存在する障害物を検知する。そして、これら第１乃至第４のソナー２１，２２，２３，２４は、それぞれ検知範囲とする重複領域に存在する障害物を検知した場合に、その旨を示す障害物検知信号を所定のアナログ通信線を介して画像処理ユニット３０に出力する。
As shown in FIG. 2, the
画像処理ユニット３０は、フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラで撮影された原画像を用い、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像を作成して表示装置４０に表示させると共に、第１乃至第４のソナーによって重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在することが検知された場合は、障害物が存在する重複領域を撮影する２つの車載カメラの原画像で構成された警報画像を作成して表示装置４０に表示させるものであり、例えば、各種の電気・電子素子によって構成された映像処理回路や、半導体チップによって構成されたデジタル画像処理回路などによって構成されている。
The
特に、この画像処理ユニット３０は、本発明に関わる部分として、図３に示すように、４つの車載カメラ１１，１２，１３，１４から画像信号として入力された原画像のデータをフレーム毎に一時的に保持する４つの入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄと、入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに保持された車載カメラ１１，１２，１３，１４の原映像を用いて俯瞰表示画像を作成する俯瞰表示画像作成部３２と、第１乃至第４のソナー２１，２２，２３，２４から入力された障害物検知信号に基づいて重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４内の障害物の有無を判定するとともに、車両から障害物までの距離や車両信号取得装置５０から入力された車両信号などに基づいて警報の対象とすべき重複領域を特定する警報判定部３３と、警報判定部３３で警報の対象として特定された重複領域の画像を撮影する２つの車載カメラの原画像を用いて警報画像を作成する警報画像作成部３４と、警報判定部３３での判定結果に従って表示装置４０に出力する画像を切り替える出力画像切替部３５と、表示装置４０に対して出力する表示対象となる画像のデータをフレーム毎に一時的に保持する出力フレームバッファ３６とを備える。
In particular, as shown in FIG. 3, the
フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラから出力された画像信号は、それぞれＡ/Ｄ変換されてＲＧＢ信号にデコードされた上で、各車載カメラ１１，１２，１３，１４が撮影した原画像のフレームを構成するフレームデータとして、画像処理ユニット３０の入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄにそれぞれ格納される。そして、画像処理ユニット３０の俯瞰表示画像作成部３２は、内蔵する所定の変換アルゴリズムに従って、これら入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに格納されている各車載カメラ１１，１２，１３，１４の原画像を、それぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換する処理を行なうと共に、これら俯瞰画像を重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に対応する画像部分で合成して、車両周囲全域を表す一連の俯瞰表示画像を作成する。
Image signals output from the four in-vehicle cameras of the front camera 11, the
このとき、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれにも障害物が存在しておらず、第１乃至第４のソナー２１，２２，２３，２４のいずれのソナーも障害物検知信号を出力していなければ、警報判定部３３は障害物が存在していない旨の判定し、この警報判定部３３の判定結果に従って、出力画像切替部３５が、表示装置４０に出力する画像として俯瞰表示画像作成部３２で作成された俯瞰表示画像を選択する。その結果、俯瞰表示画像作成部３２で作成された俯瞰表示画像の画像データが、フレームデータとして出力フレームバッファ３６に格納される。
At this time, no obstacle exists in any of the overlapping areas OA1, OA2, OA3, OA4, and any one of the first to
出力フレームバッファ３６に格納された俯瞰表示画像の画像データ（ＲＧＢ信号）は、各車載カメラ１１，１２，１３，１４の撮影周期に同期したタイミングで、コンポジット信号にエンコードされてＤ／Ａ変換された上で画像処理ユニット３０から出力され、所定のアナログ通信線を介して表示装置４０に出力される。そして、表示装置４０がこの画像処理ユニット３０からの画像信号に基づいて表示動作を行うことで、表示装置４０の表示画面に、例えば図４に示すように、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像が表示されることになる。
The image data (RGB signal) of the overhead view display image stored in the
なお、この図４に例示した俯瞰表示画像において、画像領域Ｂ１がフロントカメラ１１の原画像を視点変換した俯瞰画像であり、画像領域Ｂ２がリアカメラ１２の原画像を視点変換した俯瞰画像であり、画像領域Ｂ３が右サイドカメラ１３の原画像を視点変換した俯瞰画像であり、画像領域Ｂ４が左サイドカメラ１４の原画像を視点変換した俯瞰画像である。また、この図４に例示した俯瞰表示画像において、画像領域Ｂ１３がフロントカメラ１１の原画像を視点変換した俯瞰画像と右サイドカメラ１３の原画像を視点変換した俯瞰画像とを合成した合成画像であり、画像領域Ｂ１４がフロントカメラ１１の原画像を視点変換した俯瞰画像と左サイドカメラ１４の原画像を視点変換した俯瞰画像とを合成した合成画像であり、画像領域Ｂ２３がリアカメラ１２の原画像を視点変換した俯瞰画像と右サイドカメラ１３の原画像を視点変換した俯瞰画像とを合成した合成画像であり、画像領域Ｂ２４がリアカメラ１２の原画像を視点変換した俯瞰画像と左サイドカメラ１４の原画像を視点変換した俯瞰画像とを合成した合成画像である。また、画像中央部に表示される画像Ｃは車両の位置を表す自車画像であり、コンピュータグラフィックス等で作成されて俯瞰表示画像上に重畳されている。
In the overhead view display image illustrated in FIG. 4, the image area B <b> 1 is an overhead image obtained by converting the viewpoint of the original image of the front camera 11, and the image area B <b> 2 is an overhead image obtained by converting the viewpoint of the original image of the
一方、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在し、第１乃至第４のソナー２１，２２，２３，２４のいずれのソナーが障害物検知信号を出力した場合には、警報判定部３３は、障害物が存在する旨の判定をして警報対象とする重複領域を特定する。そして、警報画像作成部３４が、４つの車載カメラ１１，１２，１３，１４で撮影されて入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに各々格納されている原画像のうちで、警報判定部３３で警報対象として特定された重複領域の画像を撮影する２つの車載カメラの原画像を用いて、警報画像を作成する。この警報画像は、２つの車載カメラの原画像を視点変換することなく、少なくとも障害物が存在する重複領域とその近傍の領域を切り出して、或いは原画像をそのまま並べた画像である。
On the other hand, when there is an obstacle in any of the overlapping areas OA1, OA2, OA3, OA4 and any one of the first to
また、第１乃至第４のソナー２１，２２，２３，２４のいずれのソナーが障害物検知信号を出力し、警報判定部３３が重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在する旨の判定をした場合には、出力画像切替部３５が、この警報判定部３３の判定結果に従って、表示装置４０に出力する画像を俯瞰表示画像作成部３２で作成された俯瞰表示画像から警報画像作成部３４で作成された警報画像へと切り替える。その結果、警報画像作成部３４で作成された警報画像の画像データが、フレームデータとして出力フレームバッファ３６に格納される。
In addition, any of the first to
出力フレームバッファ３６に格納された警報画像の画像データは、各車載カメラ１１，１２，１３，１４の撮影周期に同期したタイミングで、コンポジット信号にエンコードされてＤ／Ａ変換された上で画像処理ユニット３０から出力され、所定のアナログ通信線を介して表示装置４０に出力される。そして、表示装置４０がこの画像処理ユニット３０からの画像信号に基づいて表示動作を行うことで、表示装置４０の表示画面に、障害物が存在する重複領域を撮影する２つの車載カメラの原画像を並べた警報画像が表示されることになる。
The image data of the alarm image stored in the
具体的には、重複領域ＯＡ１に障害物（棒状の立体物）が存在することが第１のソナー２１により検出され、警報判定部３３により重複領域ＯＡ１が警報対象の重複領域として特定された場合、警報画像作成部３４は、例えば図５に示すように、フロントカメラ１１で撮影された原画像と、右サイドカメラ１３で撮影された原画像とを並べた構成の警報画像を作成し、この図５のような警報画像が、表示装置４０の表示画面に表示されることになる。なお、この図５に例示した警報画像では、フロントカメラ１１の原画像はそのまま画面左側に表示し、右サイドカメラ１３の原画像は重複領域ＯＡ１とその近傍に対応する画像部分を切り出して画面右側に表示している。また、この図５に例示した警報画像において、画像中のハッチング部分は車体の一部（フロントバンパーと右前方のフェンダーなど）が映りこんでいる部分である。
Specifically, when the
また、重複領域ＯＡ２に障害物（棒状の立体物）が存在することが第２のソナー２２により検出され、警報判定部３３により重複領域ＯＡ２が警報対象の重複領域として特定された場合、警報画像作成部３４は、例えば図６に示すように、フロントカメラ１１で撮影された原画像と、左サイドカメラ１４で撮影された原画像とを並べた構成の警報画像を作成し、この図６のような警報画像が、表示装置４０の表示画面に表示されることになる。なお、この図６に例示した警報画像では、フロントカメラ１１の原画像はそのまま画面右側に表示し、左サイドカメラ１４の原画像は重複領域ＯＡ２とその近傍に対応する画像部分を切り出して画面左側に表示している。また、この図６に例示した警報画像において、画像中のハッチング部分は車体の一部（フロントバンパーと左前方のフェンダーなど）が映りこんでいる部分である。
In addition, when the
また、重複領域ＯＡ３に障害物（棒状の立体物）が存在することが第３のソナー２３により検出され、警報判定部３３により重複領域ＯＡ３が警報対象の重複領域として特定された場合、警報画像作成部３４は、例えば図７に示すように、リアカメラ１２で撮影された原画像と、右サイドカメラ１３で撮影された原画像とを並べた構成の警報画像を作成し、この図７のような警報画像が、表示装置４０の表示画面に表示されることになる。なお、この図７に例示した警報画像では、リアカメラ１２の原画像はそのまま画面右側に表示し、右サイドカメラ１３の原画像は重複領域ＯＡ３とその近傍に対応する画像部分を切り出して画面左側に表示している。また、この図７に例示した警報画像において、画像中のハッチング部分は車体の一部（リアバンパーと右後方のフェンダーなど）が映りこんでいる部分である。
Further, when the
また、重複領域ＯＡ４に障害物（棒状の立体物）が存在することが第４のソナー２４により検出され、警報判定部３３により重複領域ＯＡ４が警報対象の重複領域として特定された場合、警報画像作成部３４は、例えば図８に示すように、リアカメラ１２で撮影された原画像と、左サイドカメラ１４で撮影された原画像とを並べた構成の警報画像を作成し、この図８のような警報画像が、表示装置４０の表示画面に表示されることになる。なお、この図８に例示した警報画像では、リアカメラ１２の原画像はそのまま画面左側に表示し、左サイドカメラ１４の原画像は重複領域ＯＡ４とその近傍に対応する画像部分を切り出して画面右側に表示している。また、この図８に例示した警報画像において、画像中のハッチング部分は車体の一部（リアバンパーと左後方のフェンダーなど）が映りこんでいる部分である。
In addition, when the
以上のように、本発明を適用した車両周囲監視システムにおいては、隣り合う車載カメラで重複して撮影される重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれにも障害物が存在していない間は、表示装置４０の表示画面に車両周囲全域を表す俯瞰表示画像を表示して、車両の乗員が、この俯瞰表示画像を見て車両周囲全域の様子を一目で認識できるようにしている。そして、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれかに障害物が存在することが検知された場合には、その障害物が検知された重複領域を撮影する２つの車載カメラの原画像を警報画像として表示装置４０の表示画面に表示することで、特に注目すべき領域の画像を違和感のない状態で車両の乗員に提示して、車両乗員が、この警報画像を見て障害物の種類などを直感的且つ瞬時に特定して回避操作などを迅速に行えるようにしている。
As described above, in the vehicle surrounding monitoring system to which the present invention is applied, while there are no obstacles in any of the overlapping areas OA1, OA2, OA3, and OA4 that are photographed redundantly by adjacent in-vehicle cameras. The bird's-eye view display image representing the entire vehicle surrounding area is displayed on the display screen of the
なお、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれかに存在する障害物が検知され、表示装置４０の表示画面に表示される画像が上述した俯瞰表示画像から警報画像へと切り替わった直後は、車両の乗員が、警報画像として表示されている原画像がどの車載カメラで撮影された原画像であるかを瞬時に認識できないことも想定される。そこで、表示装置４０の表示画面に警報画像を表示させるときは、警報画像として表示されている原画像を撮影した車載カメラの撮影領域を認識させるための画像、具体的には、例えば図９に示すように、俯瞰表示画像を縮小した表示形態で原画像の対象となる領域を明示した画像などを、表示画面の一部に合わせて表示させるようにすることが望ましい。これにより車両の乗員は、警報画像として表示されている原画像がどの車載カメラで撮影された原画像であるかを瞬時に認識することが可能となり、障害物の位置などを瞬時に判断できるようになる。なお、以上のような車載カメラの撮影領域を認識させるための画像は、警報画像の表示中に常に表示させるようにしてもよいが、警報画像の表示を開始してから所定時間が経過するまでの間だけ表示するようにしてもよい。
Immediately after an obstacle present in any of the overlapping areas OA1, OA2, OA3, OA4 is detected and the image displayed on the display screen of the
また、警報画像は、上述したように障害物が存在する重複領域を撮影する２つの車載カメラの原画像を表示したものであるので、障害部が実際の形に近く違和感の少ない状態で表示されるが、警報画像の中で障害物が存在する位置をより迅速に車両乗員に判断させる上では、警報画像を表示する際に、例えば図１０に示すように、各車載カメラの原画像上にソナーの検知範囲を認識させるための画像を重畳して表示させることも有効である。なお、図１０に例示した警報画像においては、図中の網掛け部分がソナーの検知範囲であることを示している。 Moreover, since the alarm image is an original image of the two in-vehicle cameras that captures the overlapping area where the obstacle exists as described above, the alarm part is displayed in a state where the obstacle part is close to the actual shape and there is little discomfort. However, in order to make a vehicle occupant more quickly determine the position where an obstacle exists in the alarm image, when displaying the alarm image, for example, as shown in FIG. It is also effective to superimpose and display an image for recognizing the sonar detection range. In the alarm image illustrated in FIG. 10, the shaded portion in the figure indicates the sonar detection range.
ところで、以上の説明では、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれか１つの重複領域で障害物が検知され、警報対象とする重複領域が一意に特定される場合を想定して説明したが、実際には、複数の重複領域でそれぞれ障害物が検知される場合もある。このような場合、本発明を適用した車両周囲監視システムでは、警報判定部３３が以下のロジックに従って、警報対象とする重複領域を特定する。
By the way, in the above description, an explanation has been given on the assumption that an obstacle is detected in any one of the overlapping areas OA1, OA2, OA3, and OA4, and the overlapping area to be alarmed is uniquely identified. Actually, an obstacle may be detected in each of a plurality of overlapping areas. In such a case, in the vehicle surrounding monitoring system to which the present invention is applied, the
・２つの重複領域で障害物が検知された場合
車両前方の２つの重複領域ＯＡ１，ＯＡ２、または車両後方の２つの重複領域ＯＡ３，ＯＡ４でそれぞれ障害物が検知された場合、警報判定部３３は、各重複領域で障害物を検知したソナーの障害物検知信号から、各障害物が存在する位置までの車両からの距離を求める。そして、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。したがって、この場合には、車両からの距離が近い障害物が存在する重複領域を撮影する２つの車載カメラの原画像が、警報画像として表示装置４０の表示画面に表示される。なお、車両前方の２つの重複領域ＯＡ１，ＯＡ２、または車両後方の２つの重複領域ＯＡ３，ＯＡ４でそれぞれ障害物が検知された場合であって、これら２つの重複領域で検出された障害物の車両からの距離が等しい場合は、フロントカメラ１１の原画像、またはリアカメラ１２の原画像のみを警報画像として表示装置４０に表示させるようにていもよい。
When an obstacle is detected in two overlapping areas When an obstacle is detected in two overlapping areas OA1 and OA2 in the front of the vehicle or in two overlapping areas OA3 and OA4 in the rear of the vehicle, the
また、重複領域ＯＡ１と重複領域ＯＡ３、重複領域ＯＡ１と重複領域ＯＡ４、重複領域ＯＡ２と重複領域ＯＡ３、重複領域ＯＡ２と重複領域ＯＡ４といったように、車両前方の１つの重複領域と車両後方の１つの重複領域とでそれぞれ障害物が検知された場合には、警報判定部３３は、車両信号取得装置５０で取得された車両信号から、車両のシフトレバーがリバースを選択しているか否かを判断する。そして、車両のシフトレバーがリバースを選択している場合には、車両後方の重複領域を警報対象として特定し、車両のシフトレバーがリバース以外を選択している場合には、車両前方の重複領域を警報対象として特定する。したがって、この場合には、車両のシフトレバーがリバースであれば車両後方の重複領域を撮影する２つの車載カメラの原画像、車両のシフトレバーがリバース以外であれば車両前方の重複領域を撮影する２つの車載カメラの原画像が、警報画像として表示装置４０の表示画面に表示される。
Also, one overlap area in front of the vehicle and one in the rear of the vehicle, such as overlap area OA1 and overlap area OA3, overlap area OA1 and overlap area OA4, overlap area OA2 and overlap area OA3, overlap area OA2 and overlap area OA4, etc. When an obstacle is detected in each of the overlapping areas, the
・３つの重複領域で障害物が検知された場合
車両前方の２つの重複領域ＯＡ１，ＯＡ２と車両後方の１つの重複領域（ＯＡ３またはＯＡ４）、または車両後方の２つの重複領域ＯＡ３，ＯＡ４と車両前方の１つの重複領域（ＯＡ１またはＯＡ２）といったように、３つの重複領域でそれぞれ障害物が検知された場合には、警報判定部３３は、まず、車両のシフトレバーがリバースを選択しているか否かを判断する。そして、車両のシフトレバーがリバースを選択している場合で、障害物が検知された車両後方の重複領域が１つであれば、その車両後方の重複領域を警報対象として特定する。また、車両のシフトレバーがリバースを選択している場合で、障害物が検知された車両後方の重複領域が２つであれば、これら２つの車両後方の重複領域のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。一方、車両のシフトレバーがリバース以外を選択している場合で、障害物が検知された車両前方の重複領域が１つであれば、その車両前方の重複領域を警報対象として特定する。また、車両のシフトレバーがリバース以外を選択している場合で、障害物が検知された車両前方の重複領域が２つであれば、これら２つの車両前方の重複領域のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。
When an obstacle is detected in three overlapping areas Two overlapping areas OA1, OA2 in front of the vehicle and one overlapping area (OA3 or OA4) in the rear of the vehicle, or two overlapping areas OA3, OA4 in the rear of the vehicle and the vehicle When an obstacle is detected in each of the three overlapping areas, such as one overlapping area (OA1 or OA2) in front, the
・４つの全ての重複領域で障害物が検知された場合
４つの重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の全てで障害物が検知された場合には、警報判定部３３は、まず、車両のシフトレバーがリバースを選択しているか否かを判断する。そして、車両のシフトレバーがリバースを選択している場合は、２つの車両後方の重複領域ＯＡ３，ＯＡ４のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。一方、車両のシフトレバーがリバース以外を選択している場合は、２つの車両前方の重複領域ＯＡ１，ＯＡ２のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。
When an obstacle is detected in all four overlapping areas When an obstacle is detected in all four overlapping areas OA1, OA2, OA3, and OA4, the
ここで、本発明を適用した車両周囲監視システムにおける一連の処理の流れについて、図１１のフローチャートに沿って説明する。この図１１の処理フローは、例えば車両乗員によるスイッチ操作などにより、当該車両周囲監視システムが起動されたときに開始される。 Here, a flow of a series of processes in the vehicle periphery monitoring system to which the present invention is applied will be described along the flowchart of FIG. The processing flow of FIG. 11 is started when the vehicle surrounding monitoring system is started, for example, by a switch operation by a vehicle occupant.
図１１の処理フローが開始されると、まず、ステップＳ１において、フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラにより、車両周囲の領域の画像がそれぞれ撮影される。そして、各車載カメラ１１，１２，１３，１４で撮影された原画像の画像信号が画像処理ユニット３０にそれぞれ入力され、画像処理ユニット３０の入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに、フレームデータとしてそれぞれ格納される。
When the processing flow of FIG. 11 is started, first, in step S1, images of areas around the vehicle are respectively captured by the four on-vehicle cameras of the front camera 11, the
次に、ステップＳ２において、画像処理ユニット３０の俯瞰表示画像作成部３２が、所定の変換アルゴリズムに従って、入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに格納された各車載カメラ１１，１２，１３，１４の原画像を俯瞰画像に変換すると共に、これら俯瞰画像を重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に対応する画像部分で合成して、俯瞰表示画像を作成する。そして、この俯瞰表示画像の画像データを出力フレームバッファ３６に格納する。
Next, in step S2, the bird's-eye view display
次に、ステップＳ３において、出力フレームバッファ３２に保持された俯瞰表示画像の画像データが、画像信号として画像処理ユニット３０から表示装置４０へと出力される。そして、表示装置４０が、この画像処理ユニット３０からの画像信号に基づいて表示動作を行うことにより、表示装置４０の表示画面には、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像が表示される。
Next, in step S3, the image data of the overhead view display image held in the
以上のステップＳ１〜ステップＳ３の処理は、次のステップＳ４で第１乃至第４のソナー２１，２２，２３，２４が障害物を検知するまで、車載カメラ１１，１２，１３，１４の撮影周期に同期して繰り返し行われる。これにより、表示装置４０の表示画面には、上述した俯瞰表示画像が動画として表示されることになる。
The processing of the above-described steps S1 to S3 is performed in the following steps S4 until the first to
ステップＳ４では、画像処理ユニット３０の警報判定部３３が、第１乃至第４のソナー２１，２２，２３，２４からの障害物検知信号に基づいて、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在するか否かを判定する。そして、重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４の何れかに障害物が存在すると判定した場合、ステップＳ５に進んで、警報判定部３３は、警報対象とする重複領域を特定する。このとき、警報判定部３３は、障害物を検知したソナーが１つであれば、そのソナーの検知範囲となる重複領域を警報対象の重複領域として特定する。また、障害物を検知したソナーが複数ある場合には、上述したロジックに従って警報対象の重複領域を特定する。
In step S4, the
次に、ステップＳ６において、上述したステップＳ１と同様、４つの車載カメラ１１，１２，１３，１４により車両周囲の領域の画像がそれぞれ撮影され、各車載カメラ１１，１２，１３，１４で撮影された原画像の画像信号が画像処理ユニット３０にそれぞれ入力されて、画像処理ユニット３０の入力フレームバッファ３１ａ，３１ｂ，３１ｃ，３１ｄに、フレームデータとしてそれぞれ格納される。
Next, in step S6, as in step S1 described above, images of the area around the vehicle are respectively taken by the four in-
次に、ステップＳ７において、画像処理ユニット３０の警報画像作成部３４が、警報判定部３３で警報対象として特定された重複領域を撮影した２つの車載カメラの原画像を用いて、警報画像を作成する。そして、この警報画像の画像データを出力フレームバッファ３６に格納する。
Next, in step S <b> 7, the alarm
次に、ステップＳ８において、出力フレームバッファ３２に保持された警報画像の画像データが、画像信号として画像処理ユニット３０から表示装置４０へと出力される。そして、表示装置４０が、この画像処理ユニット３０からの画像信号に基づいて表示動作を行うことにより、表示装置４０の表示画面には、障害物が存在する重複領域を撮影した２つの車載カメラの原画像で構成された警報画像が表示される。
Next, in step S8, the image data of the alarm image held in the
以上のステップＳ６〜ステップＳ８の処理は、次のステップＳ９で第１乃至第４のソナー２１，２２，２３，２４からの障害物検知信号が途絶えるまで、車載カメラ１１，１２，１３，１４の撮影周期に同期して繰り返し行われる。これにより、表示装置４０の表示画面には、上述した警報画像が動画として表示されることになる。
The processes in steps S6 to S8 described above are performed by the in-
ステップＳ９では、画像処理ユニット３０の警報判定部３３が、第１乃至第４のソナー２１，２２，２３，２４からの障害物検知信号が途絶えたか、すなわち第１乃至第４のソナー２１，２２，２３，２４が障害物を検知しなくなったか否かを判断し、第１乃至第４のソナー２１，２２，２３，２４が障害物を検知しなくなった段階で次のステップＳ１０に進む。そして、ステップＳ１０において、例えば車両乗員によるスイッチ操作などにより、当該車両周囲監視システムの動作を停止する旨の指示が入力されたか否かが判定され、動作停止の指示入力がなければステップＳ１に戻って、ステップＳ１以降の処理が繰り返される。一方、動作停止の指示入力があった場合には、一連の処理を終了する。
In step S9, the
以上、具体的な例を挙げて詳細に説明したように、本発明を適用した車両周囲監視システムでは、４つの車載カメラ１１，１２，１３，１４のうちの隣り合う２つの車載カメラで重複して撮影される重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４のいずれにも障害物が存在していない間は、表示装置４０の表示画面に、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像を表示し、いずれかの重複領域ＯＡ１，ＯＡ２，ＯＡ３，ＯＡ４に障害物が存在することが、第１乃至第４のソナー２１，２２，２３，２４の何れかで検知された場合には、この障害物が検知された重複領域を撮影する２つの車載カメラの原画像で構成される警報画像を作成し、表示装置４０の表示画面に表示する画像を、俯瞰表示画像から警報画像へと切り替えるようにしている。したがって、この車両周囲監視システムによれば、特に注目すべき障害物が存在する領域の画像を、違和感の少ない見やすい画像として車両乗員に提示することができ、車両乗員は、表示装置４０の表示画面を参照することで、障害物の種類などを直感的且つ瞬時に特定して、障害物を回避するための操作などを迅速に行うことが可能となる。
As described above in detail with a specific example, in the vehicle surrounding monitoring system to which the present invention is applied, two adjacent in-vehicle cameras out of the four in-
なお、以上説明した車両周囲監視システムは、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。例えば、上述した車両周囲監視システムでは、障害物を検知する手段として第１乃至第４のソナー２１，２２，２３，２４を用いているが、障害物を検知する手段としては、これらソナー２１，２２，２３，２４以外にも、レーザレーダや、カメラで撮影した画像を画像処理する手法など、既知の障害物検知装置が何れも採用可能である。また、上述した車両周囲監視システムでは、フロントカメラ１１、リアカメラ１２、右サイドカメラ１３、左サイドカメラ１４の４つの車載カメラを用いているが、車載カメラの数は４つに限定されるものではなく、一部が重複する車両周囲の領域の画像を各々撮影する複数の車載カメラを備えた車両周囲監視システムに対して、本発明は広く適用可能である。
The vehicle surrounding monitoring system described above exemplifies an application example of the present invention, and the technical scope of the present invention is not limited to the contents disclosed in the description of the above embodiments. Of course, various alternative techniques that can be easily derived from these disclosures are also included. For example, in the vehicle surrounding monitoring system described above, the first to
１１ フロントカメラ
１２ リアカメラ
１３ 右サイドカメラ
１４ 左サイドカメラ
２１ 第１のソナー
２２ 第２のソナー
２３ 第３のソナー
２４ 第４のソナー
３０ 画像処理ユニット
３２ 俯瞰表示画像作成部
３３ 警報判定部
３４ 警報画像作成部
４０ 表示装置
DESCRIPTION OF SYMBOLS 11
Claims (11)
前記複数の車載カメラで撮影された原画像をそれぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換すると共に、これら俯瞰画像を前記複数の車載カメラで重複して撮影される重複領域に対応する画像部分で合成して、１つの連続した俯瞰表示画像を作成する俯瞰表示画像作成手段と、
前記俯瞰表示画像作成手段で作成された俯瞰表示画像を表示する表示装置とを有する車両周囲監視システムにおいて、
前記複数の車載カメラで重複して撮影される重複領域を検知範囲とし、当該重複領域内に存在する障害物を検知する障害物検知装置と、
前記障害物検知装置が前記重複領域内に存在する障害物を検知したときに、前記表示装置に表示させる画像を、前記俯瞰表示画像から、前記重複領域を撮影する複数の車載カメラの原画像へと切り替える表示制御手段とを備えることを特徴とする車両周囲監視システム。 A plurality of in-vehicle cameras that respectively capture images of a plurality of regions around a partially overlapping vehicle;
An image corresponding to an overlapping area in which the original images captured by the plurality of in-vehicle cameras are converted into overhead images viewed from a virtual viewpoint above the vehicle, and the overhead images are captured by the plurality of in-vehicle cameras. A bird's-eye view display image creating means for creating a continuous bird's-eye view display image by combining the parts;
In a vehicle surroundings monitoring system having a display device that displays the overhead view display image created by the overhead view display image creation means,
An obstacle detection device that detects an obstacle existing in the overlap area, with an overlap area photographed by the plurality of in-vehicle cameras overlappingly,
When the obstacle detection device detects an obstacle present in the overlap region, an image to be displayed on the display device is changed from the overhead view display image to an original image of a plurality of in-vehicle cameras that capture the overlap region. A vehicle surroundings monitoring system comprising display control means for switching between
前記表示制御手段は、前記障害物検知装置が複数の重複領域でそれぞれ障害物を検知した場合には、車両からの距離が近い障害物が存在する重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。 The obstacle detection device has a plurality of overlapping areas as detection ranges,
When the obstacle detection device detects an obstacle in a plurality of overlapping areas, the display control means displays an original image of a plurality of cameras that captures an overlapping area where an obstacle with a short distance from the vehicle exists. The vehicle surroundings monitoring system according to claim 1, wherein the vehicle periphery monitoring system is displayed on the display device.
前記表示制御手段は、前記障害物検知装置が車両前方の重複領域と車両後方の重複領域とでそれぞれ障害物を検知した場合には、車両のシフトレバーがリバースを選択している場合は車両後方の重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させ、車両のシフトレバーがリバース以外を選択している場合は車両前方の重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。 The obstacle detection device has an overlapping area in front of the vehicle and an overlapping area in the rear of the vehicle as detection ranges,
When the obstacle detection device detects an obstacle in the overlap area in front of the vehicle and in the overlap area in the rear of the vehicle, the display control means is located in the rear of the vehicle when the shift lever of the vehicle selects reverse. Original images of a plurality of cameras that capture the overlapping area of the vehicle are displayed on the display device, and when the shift lever of the vehicle selects other than reverse, the original images of the plurality of cameras that capture the overlapping area in front of the vehicle are displayed. The vehicle surrounding monitoring system according to claim 1, wherein the vehicle surrounding monitoring system is displayed on a display device.
前記表示制御手段は、前記障害物検知装置が３つ以上の重複領域でそれぞれ障害物を検知した場合には、車両のシフトレバーがリバースを選択している場合は車両後方の重複領域であって車両からの距離が近い障害物が存在する重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させ、車両のシフトレバーがリバース以外を選択している場合は車両前方の重複領域であって車両からの距離が近い障害物が存在する重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。 The obstacle detection device has a plurality of overlapping areas in front of the vehicle and a plurality of overlapping areas in the rear of the vehicle as detection ranges,
When the obstacle detection device detects an obstacle in each of three or more overlapping areas, the display control means is an overlapping area in the rear of the vehicle when the shift lever of the vehicle selects reverse. If the display device displays original images of a plurality of cameras that capture an overlapping area where an obstacle with a short distance from the vehicle is present, and the vehicle shift lever is selected other than reverse, the overlapping area in front of the vehicle The vehicle surroundings monitoring system according to claim 1, wherein original images of a plurality of cameras that capture an overlapping area where an obstacle with a short distance from the vehicle is present are displayed on the display device.
前記障害物検知装置は、前記フロントカメラと前記右サイドカメラとで重複して撮影される車両右前方の重複領域を検知範囲とし、
前記表示制御手段は、前記障害物検知装置が車両右前方の重複領域で障害物を検知したときに、前記フロントカメラの原画像と前記右サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。 As the plurality of in-vehicle cameras, a front camera that captures an image of a vehicle front region, and a right side camera that captures an image of a vehicle right side region,
The obstacle detection device uses a duplication area on the right front side of the vehicle, which is taken by the front camera and the right side camera, as a detection range,
The display control means causes the display device to display the original image of the front camera and the original image of the right side camera when the obstacle detection device detects an obstacle in the overlapping area on the right front side of the vehicle. The vehicle surrounding monitoring system according to claim 1.
前記障害物検知装置は、前記フロントカメラと前記左サイドカメラとで重複して撮影される車両左前方の重複領域を検知範囲とし、
前記表示制御手段は、前記障害物検知装置が車両左前方の重複領域で障害物を検知したときに、前記フロントカメラの原画像と前記左サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。 As the plurality of in-vehicle cameras, a front camera that captures an image of a vehicle front area, and a left side camera that captures an image of a left side area of the vehicle,
The obstacle detection device has a detection range of an overlapping area on the left front of the vehicle that is photographed by the front camera and the left side camera,
The display control means causes the display device to display the original image of the front camera and the original image of the left side camera when the obstacle detection device detects an obstacle in the overlapping area on the left front side of the vehicle. The vehicle surrounding monitoring system according to claim 1.
前記障害物検知装置は、前記リアカメラと前記右サイドカメラとで重複して撮影される車両右後方の重複領域を検知範囲とし、
前記表示制御手段は、前記障害物検知装置が車両右後方の重複領域で障害物を検知したときに、前記リアカメラの原画像と前記右サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。 As the plurality of in-vehicle cameras, a rear camera that captures an image of a vehicle rear region, and a right side camera that captures an image of a vehicle right side region,
The obstacle detection device has a detection range of an overlapping area on the right rear side of the vehicle, which is taken by the rear camera and the right side camera.
The display control means causes the display device to display the original image of the rear camera and the original image of the right side camera when the obstacle detection device detects an obstacle in the overlapping area on the right rear side of the vehicle. The vehicle surrounding monitoring system according to claim 1.
前記障害物検知装置は、前記リアカメラと前記左サイドカメラとで重複して撮影される車両左後方の重複領域を検知範囲とし、
前記表示制御手段は、前記障害物検知装置が車両左後方の重複領域で障害物を検知したときに、前記リアカメラの原画像と前記左サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項１に記載の車両周囲監視システム。 As the plurality of in-vehicle cameras, a rear camera that captures an image of a vehicle rear region, and a left side camera that captures an image of a left side region of the vehicle,
The obstacle detection device has a detection range of an overlapping area on the left rear side of the vehicle, which is captured by the rear camera and the left side camera,
The display control means causes the display device to display the original image of the rear camera and the original image of the left side camera when the obstacle detection device detects an obstacle in the overlapping area on the left rear side of the vehicle. The vehicle surrounding monitoring system according to claim 1.
前記表示装置に前記俯瞰表示画像を表示するステップと、
前駆俯瞰表示画像の表示中に、前記複数の車載カメラで重複して撮影される重複領域内に存在する障害物を、障害物検知装置を用いて検知するステップと、
前記障害物検知装置が前記重複領域内に存在する障害物を検知したときに、前記表示装置に表示させる画像を、前記俯瞰表示画像から、前記重複領域を撮影する複数の車載カメラの原画像へと切り替えるステップとを有することを特徴とする画像表示方法。 While images of a plurality of areas around the vehicle partially overlapping each other are photographed by a plurality of vehicle-mounted cameras, the original images photographed by the plurality of vehicle-mounted cameras are converted into overhead images viewed from a virtual viewpoint above the vehicle, respectively. In the image display method of combining these overhead images with image portions corresponding to overlapping regions captured by the plurality of in-vehicle cameras, creating one continuous overhead image and displaying it on the display device,
Displaying the overhead view display image on the display device;
Detecting an obstacle present in an overlapping area captured by the plurality of in-vehicle cameras during the display of the precursor overhead display image using an obstacle detection device;
When the obstacle detection device detects an obstacle present in the overlap region, an image to be displayed on the display device is changed from the overhead view display image to an original image of a plurality of in-vehicle cameras that capture the overlap region. And a step of switching between.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006054593A JP4807104B2 (en) | 2006-03-01 | 2006-03-01 | Vehicle surrounding monitoring system and image display method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006054593A JP4807104B2 (en) | 2006-03-01 | 2006-03-01 | Vehicle surrounding monitoring system and image display method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2007235529A true JP2007235529A (en) | 2007-09-13 |
| JP4807104B2 JP4807104B2 (en) | 2011-11-02 |
Family
ID=38555661
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006054593A Active JP4807104B2 (en) | 2006-03-01 | 2006-03-01 | Vehicle surrounding monitoring system and image display method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4807104B2 (en) |
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009100095A (en) * | 2007-10-15 | 2009-05-07 | Alpine Electronics Inc | Image processing apparatus and image processing method |
| DE102010001441A1 (en) | 2009-02-03 | 2010-08-26 | Denso Corporation, Kariya-City | Display device for a vehicle |
| WO2010143600A1 (en) | 2009-06-08 | 2010-12-16 | 国立大学法人名古屋工業大学 | Three-dimensional information displaying device |
| WO2011118260A1 (en) * | 2010-03-26 | 2011-09-29 | アイシン精機株式会社 | Vehicle periphery monitoring device |
| WO2011118261A1 (en) * | 2010-03-26 | 2011-09-29 | アイシン精機株式会社 | Vehicle periphery monitoring device |
| JP2012176748A (en) * | 2011-02-02 | 2012-09-13 | Nissan Motor Co Ltd | Parking assisting system |
| WO2012169361A1 (en) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | Work vehicle vicinity monitoring device |
| WO2012169352A1 (en) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | Work vehicle vicinity monitoring device |
| US8446471B2 (en) | 2009-12-31 | 2013-05-21 | Industrial Technology Research Institute | Method and system for generating surrounding seamless bird-view image with distance interface |
| CN103827943A (en) * | 2012-09-20 | 2014-05-28 | 株式会社小松制作所 | Work vehicle vicinity monitoring system and work vehicle |
| JP2014183497A (en) * | 2013-03-19 | 2014-09-29 | Sumitomo Heavy Ind Ltd | Periphery monitoring apparatus for working machine |
| JP2016113892A (en) * | 2015-12-28 | 2016-06-23 | 住友重機械工業株式会社 | Shovel |
| KR20160089222A (en) * | 2015-01-19 | 2016-07-27 | 현대모비스 주식회사 | vehicle and control method thereof |
| US9467679B2 (en) | 2011-09-27 | 2016-10-11 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
| JP2016219025A (en) * | 2011-08-26 | 2016-12-22 | パナソニックＩｐマネジメント株式会社 | Drive assist apparatus |
| JP2017069846A (en) * | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | Display control device |
| JP2019084899A (en) * | 2017-11-03 | 2019-06-06 | アルパイン株式会社 | Rear image display device for vehicle |
| JP2020175890A (en) * | 2020-06-30 | 2020-10-29 | 株式会社クボタ | Work vehicle |
| CN112272946A (en) * | 2018-06-14 | 2021-01-26 | 日立汽车系统株式会社 | Vehicle control device |
| JP7392753B2 (en) | 2022-03-23 | 2023-12-06 | いすゞ自動車株式会社 | Vehicle rear monitoring system and vehicle rear monitoring method |
| JP7392754B2 (en) | 2022-03-23 | 2023-12-06 | いすゞ自動車株式会社 | Vehicle rear monitoring system and vehicle rear monitoring method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7065068B2 (en) | 2019-12-13 | 2022-05-11 | 本田技研工業株式会社 | Vehicle surroundings monitoring device, vehicle, vehicle surroundings monitoring method and program |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1148828A (en) * | 1997-07-31 | 1999-02-23 | Isuzu Motors Ltd | Vehicle circumference monitoring device |
| JP2002019556A (en) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | Monitoring system |
| JP2003252151A (en) * | 2002-03-06 | 2003-09-10 | Auto Network Gijutsu Kenkyusho:Kk | Parking support system |
| JP2004291784A (en) * | 2003-03-26 | 2004-10-21 | Matsushita Electric Works Ltd | In-vehicle view field monitoring system |
| JP2005159541A (en) * | 2003-11-21 | 2005-06-16 | Sanyo Electric Co Ltd | On-vehicle imaging apparatus |
| JP2006027556A (en) * | 2004-07-21 | 2006-02-02 | Nissan Motor Co Ltd | Periphery monitor for vehicle |
-
2006
- 2006-03-01 JP JP2006054593A patent/JP4807104B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH1148828A (en) * | 1997-07-31 | 1999-02-23 | Isuzu Motors Ltd | Vehicle circumference monitoring device |
| JP2002019556A (en) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | Monitoring system |
| JP2003252151A (en) * | 2002-03-06 | 2003-09-10 | Auto Network Gijutsu Kenkyusho:Kk | Parking support system |
| JP2004291784A (en) * | 2003-03-26 | 2004-10-21 | Matsushita Electric Works Ltd | In-vehicle view field monitoring system |
| JP2005159541A (en) * | 2003-11-21 | 2005-06-16 | Sanyo Electric Co Ltd | On-vehicle imaging apparatus |
| JP2006027556A (en) * | 2004-07-21 | 2006-02-02 | Nissan Motor Co Ltd | Periphery monitor for vehicle |
Cited By (48)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009100095A (en) * | 2007-10-15 | 2009-05-07 | Alpine Electronics Inc | Image processing apparatus and image processing method |
| DE102010001441A1 (en) | 2009-02-03 | 2010-08-26 | Denso Corporation, Kariya-City | Display device for a vehicle |
| US8717196B2 (en) | 2009-02-03 | 2014-05-06 | Denso Corporation | Display apparatus for vehicle |
| WO2010143600A1 (en) | 2009-06-08 | 2010-12-16 | 国立大学法人名古屋工業大学 | Three-dimensional information displaying device |
| US8807810B2 (en) | 2009-06-08 | 2014-08-19 | National University Corporation Nagoya Institute Of Technology | Three-dimensional information presentation device |
| US8446471B2 (en) | 2009-12-31 | 2013-05-21 | Industrial Technology Research Institute | Method and system for generating surrounding seamless bird-view image with distance interface |
| WO2011118261A1 (en) * | 2010-03-26 | 2011-09-29 | アイシン精機株式会社 | Vehicle periphery monitoring device |
| US10479275B2 (en) | 2010-03-26 | 2019-11-19 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device |
| US9919650B2 (en) | 2010-03-26 | 2018-03-20 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device |
| US9862319B2 (en) | 2010-03-26 | 2018-01-09 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device using cameras and an emphasized frame |
| US9403481B2 (en) | 2010-03-26 | 2016-08-02 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device using multiple cameras and enlarging an image |
| JP2011205514A (en) * | 2010-03-26 | 2011-10-13 | Aisin Seiki Co Ltd | Vehicle periphery monitoring device |
| JP2011205513A (en) * | 2010-03-26 | 2011-10-13 | Aisin Seiki Co Ltd | Vehicle periphery monitoring device |
| WO2011118260A1 (en) * | 2010-03-26 | 2011-09-29 | アイシン精機株式会社 | Vehicle periphery monitoring device |
| US9308863B2 (en) | 2010-03-26 | 2016-04-12 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device |
| JP2012176748A (en) * | 2011-02-02 | 2012-09-13 | Nissan Motor Co Ltd | Parking assisting system |
| CN103098112A (en) * | 2011-06-07 | 2013-05-08 | 株式会社小松制作所 | Work vehicle vicinity monitoring device |
| CN103098112B (en) * | 2011-06-07 | 2016-10-12 | 株式会社小松制作所 | The periphery monitoring apparatus of working truck |
| JP5587499B2 (en) * | 2011-06-07 | 2014-09-10 | 株式会社小松製作所 | Work vehicle perimeter monitoring device |
| WO2012169361A1 (en) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | Work vehicle vicinity monitoring device |
| JPWO2012169352A1 (en) * | 2011-06-07 | 2015-02-23 | 株式会社小松製作所 | Work vehicle perimeter monitoring device |
| US10321097B2 (en) | 2011-06-07 | 2019-06-11 | Komatsu Ltd. | Perimeter monitoring device for work vehicle |
| JP2016035791A (en) * | 2011-06-07 | 2016-03-17 | 株式会社小松製作所 | Device for monitoring periphery of work vehicle |
| AU2012268476B2 (en) * | 2011-06-07 | 2014-05-15 | Komatsu Ltd. | Perimeter monitoring device for work vehicle |
| WO2012169352A1 (en) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | Work vehicle vicinity monitoring device |
| JP2012256113A (en) * | 2011-06-07 | 2012-12-27 | Komatsu Ltd | Periphery monitoring device for work vehicle |
| US9597997B2 (en) | 2011-06-07 | 2017-03-21 | Komatsu Ltd. | Work vehicle periphery monitoring apparatus |
| CN103080990A (en) * | 2011-06-07 | 2013-05-01 | 株式会社小松制作所 | Work vehicle vicinity monitoring device |
| US9497422B2 (en) | 2011-06-07 | 2016-11-15 | Komatsu Ltd. | Perimeter monitoring device for work vehicle |
| JP2016219025A (en) * | 2011-08-26 | 2016-12-22 | パナソニックＩｐマネジメント株式会社 | Drive assist apparatus |
| JP2018034794A (en) * | 2011-08-26 | 2018-03-08 | パナソニックＩｐマネジメント株式会社 | Drive assist apparatus |
| US9467679B2 (en) | 2011-09-27 | 2016-10-11 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
| US9333915B2 (en) | 2012-09-20 | 2016-05-10 | Komatsu Ltd. | Work vehicle periphery monitoring system and work vehicle |
| CN103827943A (en) * | 2012-09-20 | 2014-05-28 | 株式会社小松制作所 | Work vehicle vicinity monitoring system and work vehicle |
| CN103827943B (en) * | 2012-09-20 | 2015-06-10 | 株式会社小松制作所 | Work vehicle vicinity monitoring system and work vehicle |
| JP2014183497A (en) * | 2013-03-19 | 2014-09-29 | Sumitomo Heavy Ind Ltd | Periphery monitoring apparatus for working machine |
| KR102300652B1 (en) * | 2015-01-19 | 2021-09-10 | 현대모비스 주식회사 | vehicle and control method thereof |
| KR20160089222A (en) * | 2015-01-19 | 2016-07-27 | 현대모비스 주식회사 | vehicle and control method thereof |
| JP2017069846A (en) * | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | Display control device |
| JP2016113892A (en) * | 2015-12-28 | 2016-06-23 | 住友重機械工業株式会社 | Shovel |
| JP2019084899A (en) * | 2017-11-03 | 2019-06-06 | アルパイン株式会社 | Rear image display device for vehicle |
| CN112272946A (en) * | 2018-06-14 | 2021-01-26 | 日立汽车系统株式会社 | Vehicle control device |
| US11276309B2 (en) | 2018-06-14 | 2022-03-15 | Hitachi Astemo, Ltd. | Vehicle control device |
| CN112272946B (en) * | 2018-06-14 | 2023-06-09 | 日立安斯泰莫株式会社 | Vehicle control device |
| JP2020175890A (en) * | 2020-06-30 | 2020-10-29 | 株式会社クボタ | Work vehicle |
| JP7076501B2 (en) | 2020-06-30 | 2022-05-27 | 株式会社クボタ | Work vehicle |
| JP7392753B2 (en) | 2022-03-23 | 2023-12-06 | いすゞ自動車株式会社 | Vehicle rear monitoring system and vehicle rear monitoring method |
| JP7392754B2 (en) | 2022-03-23 | 2023-12-06 | いすゞ自動車株式会社 | Vehicle rear monitoring system and vehicle rear monitoring method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4807104B2 (en) | 2011-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4807104B2 (en) | Vehicle surrounding monitoring system and image display method | |
| JP4907883B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
| JP5099451B2 (en) | Vehicle periphery confirmation device | |
| JP4254887B2 (en) | Image display system for vehicles | |
| US8330816B2 (en) | Image processing device | |
| KR101354068B1 (en) | Vehicle peripheral image generation device | |
| JP4883977B2 (en) | Image display device for vehicle | |
| EP2739050B1 (en) | Vehicle surroundings monitoring system | |
| JP5500877B2 (en) | In-vehicle image display device and image trimming method | |
| EP2723069B1 (en) | Vehicle periphery monitoring device | |
| JP2009081666A (en) | Vehicle periphery monitoring apparatus and image displaying method | |
| JP5495071B2 (en) | Vehicle periphery monitoring device | |
| KR102045088B1 (en) | Image displaying Method and Apparatus therefor | |
| JP5776995B2 (en) | Vehicle periphery monitoring device | |
| JP2003219413A (en) | Vehicle rearward monitoring system and monitoring apparatus | |
| JP2007041791A (en) | Bird's-eye image display system and bird's-eye image display method | |
| JP2007230371A (en) | Parking assisting device and parking assisting method | |
| KR20200047257A (en) | Device and a method for displaying aerial view images of a vehicle | |
| JP2011155651A (en) | Apparatus and method for displaying vehicle perimeter image | |
| JP2010264945A (en) | Parking support device, parking support method and parking support program | |
| JP2012001126A (en) | Vehicle surroundings monitoring device | |
| JP5500392B2 (en) | Vehicle periphery monitoring device | |
| JP2007290433A (en) | Parking support system | |
| JP2012166689A (en) | Driving assistance apparatus | |
| JP2007096496A (en) | Vehicle periphery display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090204 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110502 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110628 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110801 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4807104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |