JP2007235529A - Vehicle surroundings monitoring system and image display method - Google Patents
Vehicle surroundings monitoring system and image display method Download PDFInfo
- Publication number
- JP2007235529A JP2007235529A JP2006054593A JP2006054593A JP2007235529A JP 2007235529 A JP2007235529 A JP 2007235529A JP 2006054593 A JP2006054593 A JP 2006054593A JP 2006054593 A JP2006054593 A JP 2006054593A JP 2007235529 A JP2007235529 A JP 2007235529A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- image
- obstacle
- cameras
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、複数の車載カメラの撮影画像を用いて作成した俯瞰表示画像を表示装置に表示して、車両乗員に車両周囲の様子を認識させる車両周囲監視システム及び画像表示方法に関する。 The present invention relates to a vehicle surroundings monitoring system and an image display method for displaying a bird's-eye view display image created using images taken by a plurality of in-vehicle cameras on a display device and allowing a vehicle occupant to recognize the situation around the vehicle.
従来、車両の死角となる領域の画像を車載カメラで撮影し、この車載カメラで撮影された原画像を車両上方の仮想視点から見下ろした俯瞰画像に変換して表示装置に表示する技術が知られており、車両の駐車時や狭い道路の通行時などにおいて運転者の視界を補助する目的で利用されている。また、近年では、車両前方、後方、左右両側方の全ての領域を例えば4台の車載カメラで撮影し、これら車載カメラで撮影された原画像をそれぞれ俯瞰画像に変換して繋ぎ合わせ、車両周囲全域を表す1つの連続した俯瞰表示画像として表示装置に表示することで、車両周囲全域の様子を車両乗員が一目で認識できるようにした車両周囲監視システムが提案されている。 Conventionally, a technique is known in which an image of an area that becomes a blind spot of a vehicle is captured by a vehicle-mounted camera, and an original image captured by the vehicle-mounted camera is converted into a bird's-eye view image looking down from a virtual viewpoint above the vehicle and displayed on a display device. It is used for the purpose of assisting the driver's view when the vehicle is parked or when the road is narrow. Further, in recent years, all areas on the front, rear, and left and right sides of the vehicle are photographed by, for example, four on-vehicle cameras, and the original images photographed by these on-vehicle cameras are converted into overhead images and connected to each other to A vehicle periphery monitoring system has been proposed in which a vehicle occupant can recognize at a glance the state of the entire vehicle periphery by displaying it on the display device as one continuous overhead view display image representing the entire region.
ところで、この種の車両周囲監視システムでは、通常、隣り合う車載カメラが撮影する領域は、その端部において互いに重複しており、この重複した領域に対応する画像部分で、隣り合う車載カメラの原画像を変換した俯瞰画像を合成することにより、表示装置に表示する俯瞰表示画像に連続性を持たせるようにしている。このため、隣り合う車載カメラで重複して撮影される重複領域に車両の走行を妨げるような立体物(障害物)が存在する場合、この障害物は俯瞰表示画像では鮮明に表示されず、車両乗員は、俯瞰表示画像を見ただけでは障害物の存在自体は認識できるものの、その障害物が何であるかを特定できず、最適な対応を瞬時に判断することが難しいという問題が指摘されている。 By the way, in this type of vehicle surrounding monitoring system, the areas photographed by the adjacent in-vehicle cameras usually overlap each other at the end portions, and the original in-vehicle camera in the image portion corresponding to the overlapped area. By combining the overhead image obtained by converting the images, the overhead view image displayed on the display device is made continuous. For this reason, when there is a three-dimensional object (obstacle) that hinders driving of the vehicle in the overlapping area that is captured by the adjacent in-vehicle cameras, the obstacle is not clearly displayed in the overhead view display image. Although the occupant can recognize the presence of an obstacle just by looking at the bird's-eye view image, it cannot identify what the obstacle is, and it is difficult to determine the optimum response instantly. Yes.
このような問題への対応策として、例えば特許文献1には、車両周囲全域を表す上述した俯瞰表示画像を表示装置に表示する通常モードのほかに例外モードを設け、例外モード選択時には、隣り合う車載カメラで重複して撮影される重複領域に対応する画像部分を合成せずに、各車載カメラ毎に個別に表示することで、重複領域に存在する障害物を認識しや易くするという技術が開示されている。特に、この特許文献1には、重複領域に存在する障害物を物体検知センサで検知したときに、その障害物が存在する重複領域を撮影する2つの車載カメラの原画像から重複領域に対応する画像部分を切り出して、俯瞰表示画像上に貼り付けた状態で表示装置に表示するという例が記載されている。
しかしながら、上述した特許文献1にて開示される技術では、障害物が存在する重複領域を撮影する2つの車載カメラの原画像の一部を切り出して俯瞰表示画像上に貼り付けて表示するようにしているため、画像全体としての違和感が大きく、表示されている画像を見た車両乗員が、その画像から障害物の種類などを直感的且つ瞬時に特定することが困難で、迅速な回避操作などの妨げになるといった問題が懸念される。 However, in the technique disclosed in Patent Document 1 described above, a part of the original images of the two in-vehicle cameras that capture the overlapping area where the obstacle exists is cut out and pasted on the overhead view display image for display. Therefore, it is difficult for the vehicle occupant who has seen the displayed image to identify the type of obstacle intuitively and instantaneously from the image. There is a concern that it will interfere with the problem.
本発明は、以上のような従来の実情に鑑みて創案されたものであって、俯瞰表示画像の表示中に、隣り合う車載カメラで重複して撮影される重複領域に障害物が存在することを検知したときに、その障害物の種類などを車両乗員が直感的且つ瞬時に特定できるような画像に表示画像を切り替えて、迅速な回避動作などを適切に支援できるようにした車両周囲監視システム及び画像表示方法を提供することを目的としている。 The present invention was devised in view of the conventional situation as described above, and there is an obstacle in an overlapping region that is photographed redundantly by an adjacent in-vehicle camera while displaying an overhead view display image. When a vehicle is detected, the vehicle surroundings monitoring system can appropriately support quick avoidance operation by switching the display image to an image that allows the vehicle occupant to intuitively and instantaneously specify the type of obstacle. And an image display method.
本発明は、前記目的を達成するために、複数の車載カメラで撮影された原画像をもとに作成した俯瞰表示画像の表示中に、複数の車載カメラで重複して撮影される重複領域内に存在する障害物を障害物検知装置が検知したときに、表示装置に表示させる画像を、俯瞰表示画像から、重複領域を撮影する複数の車載カメラの原画像へと切り替えるようにした。 In order to achieve the above object, the present invention provides an overlapping area in which a plurality of in-vehicle cameras are overlapped during display of an overhead view display image created based on original images captured by a plurality of in-vehicle cameras. When the obstacle detection device detects an obstacle existing in the image, the image to be displayed on the display device is switched from the overhead view display image to the original images of a plurality of in-vehicle cameras that capture the overlapping area.
本発明によれば、複数の車載カメラで重複して撮影される重複領域内に障害物が存在する場合に、表示装置に表示される画像が俯瞰表示画像から重複領域を撮影する複数の車載カメラの原画像に切り替えられるので、車両乗員は、この表示装置に表示される画像から、重複領域に存在する障害物の種類などを直感的且つ瞬時に特定することができ、この障害物を回避する操作などを迅速に行うことができる。 According to the present invention, when there is an obstacle in an overlapping area that is captured by a plurality of in-vehicle cameras, the plurality of in-vehicle cameras that capture the overlapping area from the overhead display image is displayed on the display device. Therefore, the vehicle occupant can intuitively and instantaneously specify the type of obstacle existing in the overlapping area from the image displayed on the display device, and avoid this obstacle. Operations can be performed quickly.
以下、本発明の具体的な実施形態について、図面を参照しながら詳細に説明する。なお、ここでは、車両前方、後方、左右両側方の各領域を4つの車載カメラでそれぞれ撮影し、これら4つの車載カメラで撮影された原画像を用いて車両周囲全域を表す1つの連続した俯瞰表示画像を作成して表示する車両周囲監視システムに本発明を適用した例について説明するが、本発明は、ここで挙げる例に限らず、一部が重複する車両周囲の領域を複数の車載カメラで撮影して、これら複数の車載カメラの原画像から1つの俯瞰表示画像を作成して表示する機能を持った各種システムに対して広く適用可能である。 Hereinafter, specific embodiments of the present invention will be described in detail with reference to the drawings. Here, one continuous bird's-eye view representing the entire area around the vehicle using the original images taken by the four in-vehicle cameras, each of the vehicle front, rear, and left and right sides being photographed. An example in which the present invention is applied to a vehicle surroundings monitoring system that creates and displays a display image will be described. However, the present invention is not limited to the example given here, and a plurality of in-vehicle cameras are used in a region around a partially overlapping vehicle. And can be widely applied to various systems having a function of creating and displaying one bird's-eye view display image from the original images of the plurality of in-vehicle cameras.
本発明を適用した車両周囲監視システムの概略構成を図1に示す。この車両周囲監視システムは、図1に示すように、フロントカメラ11、リアカメラ12、右サイドカメラ13、左サイドカメラ14の4つの車載カメラと、第1のソナー21、第2のソナー22、第3のソナー23、第4のソナー24の4つの障害物検知用ソナーとが画像処理ユニット30にそれぞれ接続され、この画像処理ユニット30の出力側に、車室内に設置された液晶ディスプレイ等の表示装置40が接続された構成とされる。また、画像処理ユニット30には、例えば車両のシフトレバーの位置などを表す各種車両信号を取得する車両信号取得装置50も接続されている。
A schematic configuration of a vehicle periphery monitoring system to which the present invention is applied is shown in FIG. As shown in FIG. 1, the vehicle surrounding monitoring system includes four vehicle-mounted cameras including a front camera 11, a
フロントカメラ11、リアカメラ12、右サイドカメラ13、左サイドカメラ14の4つの車載カメラは、例えば180度程度の画角を有する広角カメラよりなり、これら4つの車載カメラで車両周囲を囲む全ての領域の映像を撮影できるように、車両の適所に搭載されている。具体的には、フロントカメラ11は、図2に示すように、車両前方のフロントバンパーなどに設置され、車両前方の所定領域A1を撮影範囲として、この領域A1の映像を地面に対して斜めに見下ろす方向で撮影する。また、リアカメラ22は、車両後方のリアバンパーなどに設置され、車両後方の所定領域A2を撮影範囲として、この領域A2の画像を地面に対して斜めに見下ろす方向で撮影する。また、右サイドカメラ23は、車両右側のサイドミラーなどに設置され、車両右側方の所定領域A3を撮影範囲として、この領域A3の画像を地面に対して斜めに見下ろす方向で撮影する。さらに、左サイドカメラ24は、車両左側のサイドミラーなどに設置され、車両左側方の所定領域A4を撮影範囲として、この領域A4の画像を地面に対して斜めに見下ろす方向で撮影する。そして、これら4つの車載カメラ11,12,13,14は、それぞれ画像処理ユニット30からの指令に応じて車両周囲の所定領域A1,A2,A3,A4の画像を撮影し、撮影した画像を電気信号に変換して、例えば、コンポジット信号(アナログ形式の画像信号)として、所定のアナログ通信線を介して画像処理ユニット30に出力する。
The four in-vehicle cameras, that is, the front camera 11, the
これら4つの車載カメラ11,12,13,14が撮影する領域A1,A2,A3,A4は、それぞれ端部において、隣り合う他の車載カメラが撮影する領域と互いに重複している。すなわち、フロントカメラ11が撮影する領域A1と右サイドカメラ13が撮影する領域A3とは車両右前方の重複領域OA1において重複し、フロントカメラ11が撮影する領域A1と左サイドカメラ14が撮影する領域A4とは車両左前方の重複領域OA2において重複する。また、リアカメラ12が撮影する領域A2と右サイドカメラ13が撮影する領域A3とは車両右後方の重複領域OA3において重複し、リアカメラ12が撮影する領域A2と左サイドカメラ14が撮影する領域A4とは車両左後方の重複領域OA4において重複する。言い換えると、重複領域OA1の画像はフロントカメラ11と右サイドカメラ13の何れでも撮影可能であり、重複領域OA2の画像はフロントカメラ11と左サイドカメラ14の何れでも撮影可能である。また、重複領域OA3の画像はリアカメラ12と右サイドカメラ13の何れでも撮影可能であり、重複領域OA4の画像はリアカメラ12と左サイドカメラ14の何れでも撮影可能である。
The areas A1, A2, A3, and A4 photographed by these four vehicle-mounted
本発明を適用した車両周囲監視システムでは、以上の4つの車載カメラ11,12,13,14で撮影した領域A1,A2,A3,A4の画像(原画像)をそれぞれ画像処理ユニット30に取り込み、画像処理ユニット30においてこれらの原画像をそれぞれ俯瞰画像に変換すると共に、これら俯瞰画像を各重複領域OA1,OA2,OA3,OA4に対応する画像部分で合成して、車両周囲全域を表す1つの連続した俯瞰表示画像を作成するようにしている。そして、この画像処理ユニット30で作成した俯瞰表示画像を表示装置40に表示させるようにしている。
In the vehicle surrounding monitoring system to which the present invention is applied, the images (original images) of the regions A1, A2, A3, and A4 captured by the above four on-
ところで、このような俯瞰表示画像は、重複領域OA1,OA2,OA3,OA4に対応する画像部分で俯瞰画像が合成された画像であるため、重複領域OA1,OA2,OA3,OA4に障害物が存在する場合、この障害物が画像上で鮮明に映し出されず、その障害物が、例えば、路上に設置されたポールのような構造物であるのか、或いは人などの動く物体であるのかといった特定をすることができず、最適な対応を瞬時に判断することが難しいという問題がある。そこで、本発明を適用した車両周囲監視システムでは、重複領域OA1,OA2,OA3,OA4の何れかに障害物が存在する場合には、表示装置40に表示する画像を、上述した俯瞰表示画像から、その障害物が存在する重複領域を撮影する2つの車載カメラの原画像で構成する警報画像に切り替えることで、車両乗員が障害物の種類などを直感的且つ瞬時に特定できるようにしている。そして、本発明を適用した車両周囲監視システムでは、これら重複領域OA1,OA2,OA3,OA4に存在する障害物を検知する手段として、第1乃至第4の4つのソナー21,22,23,24を用いている。
By the way, since such a bird's-eye view display image is an image in which the bird's-eye view image is synthesized with the image portions corresponding to the overlapping areas OA1, OA2, OA3, OA4, there are obstacles in the overlapping areas OA1, OA2, OA3, OA4. If the obstacle is not clearly displayed on the image, it is specified whether the obstacle is a structure such as a pole installed on the road or a moving object such as a person. There is a problem that it is difficult to instantly determine the optimum response. Therefore, in the vehicle surroundings monitoring system to which the present invention is applied, when an obstacle exists in any of the overlapping areas OA1, OA2, OA3, OA4, an image displayed on the
第1のソナー21は、図2に示すように、その検知範囲SA1が車両右前方の重複領域OA1と重なるように、車両右前方の所定の位置に設置され、車両右前方の重複領域OA1内に存在する障害物を検知する。また、第2のソナー22は、その検知範囲SA2が車両左前方の重複領域OA2と重なるように、車両左前方の所定の位置に設置され、車両左前方の重複領域OA2内に存在する障害物を検知する。また、第3のソナー23は、その検知範囲SA3が車両右後方の重複領域OA3と重なるように、車両右後方の所定の位置に設置され、車両右後方の重複領域OA3内に存在する障害物を検知する。また、第4のソナー24は、その検知範囲SA4が車両左後方の重複領域OA4と重なるように、車両左後方の所定の位置に設置され、車両左後方の重複領域OA4内に存在する障害物を検知する。そして、これら第1乃至第4のソナー21,22,23,24は、それぞれ検知範囲とする重複領域に存在する障害物を検知した場合に、その旨を示す障害物検知信号を所定のアナログ通信線を介して画像処理ユニット30に出力する。
As shown in FIG. 2, the
画像処理ユニット30は、フロントカメラ11、リアカメラ12、右サイドカメラ13、左サイドカメラ14の4つの車載カメラで撮影された原画像を用い、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像を作成して表示装置40に表示させると共に、第1乃至第4のソナーによって重複領域OA1,OA2,OA3,OA4の何れかに障害物が存在することが検知された場合は、障害物が存在する重複領域を撮影する2つの車載カメラの原画像で構成された警報画像を作成して表示装置40に表示させるものであり、例えば、各種の電気・電子素子によって構成された映像処理回路や、半導体チップによって構成されたデジタル画像処理回路などによって構成されている。
The
特に、この画像処理ユニット30は、本発明に関わる部分として、図3に示すように、4つの車載カメラ11,12,13,14から画像信号として入力された原画像のデータをフレーム毎に一時的に保持する4つの入力フレームバッファ31a,31b,31c,31dと、入力フレームバッファ31a,31b,31c,31dに保持された車載カメラ11,12,13,14の原映像を用いて俯瞰表示画像を作成する俯瞰表示画像作成部32と、第1乃至第4のソナー21,22,23,24から入力された障害物検知信号に基づいて重複領域OA1,OA2,OA3,OA4内の障害物の有無を判定するとともに、車両から障害物までの距離や車両信号取得装置50から入力された車両信号などに基づいて警報の対象とすべき重複領域を特定する警報判定部33と、警報判定部33で警報の対象として特定された重複領域の画像を撮影する2つの車載カメラの原画像を用いて警報画像を作成する警報画像作成部34と、警報判定部33での判定結果に従って表示装置40に出力する画像を切り替える出力画像切替部35と、表示装置40に対して出力する表示対象となる画像のデータをフレーム毎に一時的に保持する出力フレームバッファ36とを備える。
In particular, as shown in FIG. 3, the
フロントカメラ11、リアカメラ12、右サイドカメラ13、左サイドカメラ14の4つの車載カメラから出力された画像信号は、それぞれA/D変換されてRGB信号にデコードされた上で、各車載カメラ11,12,13,14が撮影した原画像のフレームを構成するフレームデータとして、画像処理ユニット30の入力フレームバッファ31a,31b,31c,31dにそれぞれ格納される。そして、画像処理ユニット30の俯瞰表示画像作成部32は、内蔵する所定の変換アルゴリズムに従って、これら入力フレームバッファ31a,31b,31c,31dに格納されている各車載カメラ11,12,13,14の原画像を、それぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換する処理を行なうと共に、これら俯瞰画像を重複領域OA1,OA2,OA3,OA4に対応する画像部分で合成して、車両周囲全域を表す一連の俯瞰表示画像を作成する。
Image signals output from the four in-vehicle cameras of the front camera 11, the
このとき、重複領域OA1,OA2,OA3,OA4のいずれにも障害物が存在しておらず、第1乃至第4のソナー21,22,23,24のいずれのソナーも障害物検知信号を出力していなければ、警報判定部33は障害物が存在していない旨の判定し、この警報判定部33の判定結果に従って、出力画像切替部35が、表示装置40に出力する画像として俯瞰表示画像作成部32で作成された俯瞰表示画像を選択する。その結果、俯瞰表示画像作成部32で作成された俯瞰表示画像の画像データが、フレームデータとして出力フレームバッファ36に格納される。
At this time, no obstacle exists in any of the overlapping areas OA1, OA2, OA3, OA4, and any one of the first to
出力フレームバッファ36に格納された俯瞰表示画像の画像データ(RGB信号)は、各車載カメラ11,12,13,14の撮影周期に同期したタイミングで、コンポジット信号にエンコードされてD/A変換された上で画像処理ユニット30から出力され、所定のアナログ通信線を介して表示装置40に出力される。そして、表示装置40がこの画像処理ユニット30からの画像信号に基づいて表示動作を行うことで、表示装置40の表示画面に、例えば図4に示すように、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像が表示されることになる。
The image data (RGB signal) of the overhead view display image stored in the
なお、この図4に例示した俯瞰表示画像において、画像領域B1がフロントカメラ11の原画像を視点変換した俯瞰画像であり、画像領域B2がリアカメラ12の原画像を視点変換した俯瞰画像であり、画像領域B3が右サイドカメラ13の原画像を視点変換した俯瞰画像であり、画像領域B4が左サイドカメラ14の原画像を視点変換した俯瞰画像である。また、この図4に例示した俯瞰表示画像において、画像領域B13がフロントカメラ11の原画像を視点変換した俯瞰画像と右サイドカメラ13の原画像を視点変換した俯瞰画像とを合成した合成画像であり、画像領域B14がフロントカメラ11の原画像を視点変換した俯瞰画像と左サイドカメラ14の原画像を視点変換した俯瞰画像とを合成した合成画像であり、画像領域B23がリアカメラ12の原画像を視点変換した俯瞰画像と右サイドカメラ13の原画像を視点変換した俯瞰画像とを合成した合成画像であり、画像領域B24がリアカメラ12の原画像を視点変換した俯瞰画像と左サイドカメラ14の原画像を視点変換した俯瞰画像とを合成した合成画像である。また、画像中央部に表示される画像Cは車両の位置を表す自車画像であり、コンピュータグラフィックス等で作成されて俯瞰表示画像上に重畳されている。
In the overhead view display image illustrated in FIG. 4, the image area B <b> 1 is an overhead image obtained by converting the viewpoint of the original image of the front camera 11, and the image area B <b> 2 is an overhead image obtained by converting the viewpoint of the original image of the
一方、重複領域OA1,OA2,OA3,OA4の何れかに障害物が存在し、第1乃至第4のソナー21,22,23,24のいずれのソナーが障害物検知信号を出力した場合には、警報判定部33は、障害物が存在する旨の判定をして警報対象とする重複領域を特定する。そして、警報画像作成部34が、4つの車載カメラ11,12,13,14で撮影されて入力フレームバッファ31a,31b,31c,31dに各々格納されている原画像のうちで、警報判定部33で警報対象として特定された重複領域の画像を撮影する2つの車載カメラの原画像を用いて、警報画像を作成する。この警報画像は、2つの車載カメラの原画像を視点変換することなく、少なくとも障害物が存在する重複領域とその近傍の領域を切り出して、或いは原画像をそのまま並べた画像である。
On the other hand, when there is an obstacle in any of the overlapping areas OA1, OA2, OA3, OA4 and any one of the first to
また、第1乃至第4のソナー21,22,23,24のいずれのソナーが障害物検知信号を出力し、警報判定部33が重複領域OA1,OA2,OA3,OA4の何れかに障害物が存在する旨の判定をした場合には、出力画像切替部35が、この警報判定部33の判定結果に従って、表示装置40に出力する画像を俯瞰表示画像作成部32で作成された俯瞰表示画像から警報画像作成部34で作成された警報画像へと切り替える。その結果、警報画像作成部34で作成された警報画像の画像データが、フレームデータとして出力フレームバッファ36に格納される。
In addition, any of the first to
出力フレームバッファ36に格納された警報画像の画像データは、各車載カメラ11,12,13,14の撮影周期に同期したタイミングで、コンポジット信号にエンコードされてD/A変換された上で画像処理ユニット30から出力され、所定のアナログ通信線を介して表示装置40に出力される。そして、表示装置40がこの画像処理ユニット30からの画像信号に基づいて表示動作を行うことで、表示装置40の表示画面に、障害物が存在する重複領域を撮影する2つの車載カメラの原画像を並べた警報画像が表示されることになる。
The image data of the alarm image stored in the
具体的には、重複領域OA1に障害物(棒状の立体物)が存在することが第1のソナー21により検出され、警報判定部33により重複領域OA1が警報対象の重複領域として特定された場合、警報画像作成部34は、例えば図5に示すように、フロントカメラ11で撮影された原画像と、右サイドカメラ13で撮影された原画像とを並べた構成の警報画像を作成し、この図5のような警報画像が、表示装置40の表示画面に表示されることになる。なお、この図5に例示した警報画像では、フロントカメラ11の原画像はそのまま画面左側に表示し、右サイドカメラ13の原画像は重複領域OA1とその近傍に対応する画像部分を切り出して画面右側に表示している。また、この図5に例示した警報画像において、画像中のハッチング部分は車体の一部(フロントバンパーと右前方のフェンダーなど)が映りこんでいる部分である。
Specifically, when the
また、重複領域OA2に障害物(棒状の立体物)が存在することが第2のソナー22により検出され、警報判定部33により重複領域OA2が警報対象の重複領域として特定された場合、警報画像作成部34は、例えば図6に示すように、フロントカメラ11で撮影された原画像と、左サイドカメラ14で撮影された原画像とを並べた構成の警報画像を作成し、この図6のような警報画像が、表示装置40の表示画面に表示されることになる。なお、この図6に例示した警報画像では、フロントカメラ11の原画像はそのまま画面右側に表示し、左サイドカメラ14の原画像は重複領域OA2とその近傍に対応する画像部分を切り出して画面左側に表示している。また、この図6に例示した警報画像において、画像中のハッチング部分は車体の一部(フロントバンパーと左前方のフェンダーなど)が映りこんでいる部分である。
In addition, when the
また、重複領域OA3に障害物(棒状の立体物)が存在することが第3のソナー23により検出され、警報判定部33により重複領域OA3が警報対象の重複領域として特定された場合、警報画像作成部34は、例えば図7に示すように、リアカメラ12で撮影された原画像と、右サイドカメラ13で撮影された原画像とを並べた構成の警報画像を作成し、この図7のような警報画像が、表示装置40の表示画面に表示されることになる。なお、この図7に例示した警報画像では、リアカメラ12の原画像はそのまま画面右側に表示し、右サイドカメラ13の原画像は重複領域OA3とその近傍に対応する画像部分を切り出して画面左側に表示している。また、この図7に例示した警報画像において、画像中のハッチング部分は車体の一部(リアバンパーと右後方のフェンダーなど)が映りこんでいる部分である。
Further, when the
また、重複領域OA4に障害物(棒状の立体物)が存在することが第4のソナー24により検出され、警報判定部33により重複領域OA4が警報対象の重複領域として特定された場合、警報画像作成部34は、例えば図8に示すように、リアカメラ12で撮影された原画像と、左サイドカメラ14で撮影された原画像とを並べた構成の警報画像を作成し、この図8のような警報画像が、表示装置40の表示画面に表示されることになる。なお、この図8に例示した警報画像では、リアカメラ12の原画像はそのまま画面左側に表示し、左サイドカメラ14の原画像は重複領域OA4とその近傍に対応する画像部分を切り出して画面右側に表示している。また、この図8に例示した警報画像において、画像中のハッチング部分は車体の一部(リアバンパーと左後方のフェンダーなど)が映りこんでいる部分である。
In addition, when the
以上のように、本発明を適用した車両周囲監視システムにおいては、隣り合う車載カメラで重複して撮影される重複領域OA1,OA2,OA3,OA4のいずれにも障害物が存在していない間は、表示装置40の表示画面に車両周囲全域を表す俯瞰表示画像を表示して、車両の乗員が、この俯瞰表示画像を見て車両周囲全域の様子を一目で認識できるようにしている。そして、重複領域OA1,OA2,OA3,OA4のいずれかに障害物が存在することが検知された場合には、その障害物が検知された重複領域を撮影する2つの車載カメラの原画像を警報画像として表示装置40の表示画面に表示することで、特に注目すべき領域の画像を違和感のない状態で車両の乗員に提示して、車両乗員が、この警報画像を見て障害物の種類などを直感的且つ瞬時に特定して回避操作などを迅速に行えるようにしている。
As described above, in the vehicle surrounding monitoring system to which the present invention is applied, while there are no obstacles in any of the overlapping areas OA1, OA2, OA3, and OA4 that are photographed redundantly by adjacent in-vehicle cameras. The bird's-eye view display image representing the entire vehicle surrounding area is displayed on the display screen of the
なお、重複領域OA1,OA2,OA3,OA4のいずれかに存在する障害物が検知され、表示装置40の表示画面に表示される画像が上述した俯瞰表示画像から警報画像へと切り替わった直後は、車両の乗員が、警報画像として表示されている原画像がどの車載カメラで撮影された原画像であるかを瞬時に認識できないことも想定される。そこで、表示装置40の表示画面に警報画像を表示させるときは、警報画像として表示されている原画像を撮影した車載カメラの撮影領域を認識させるための画像、具体的には、例えば図9に示すように、俯瞰表示画像を縮小した表示形態で原画像の対象となる領域を明示した画像などを、表示画面の一部に合わせて表示させるようにすることが望ましい。これにより車両の乗員は、警報画像として表示されている原画像がどの車載カメラで撮影された原画像であるかを瞬時に認識することが可能となり、障害物の位置などを瞬時に判断できるようになる。なお、以上のような車載カメラの撮影領域を認識させるための画像は、警報画像の表示中に常に表示させるようにしてもよいが、警報画像の表示を開始してから所定時間が経過するまでの間だけ表示するようにしてもよい。
Immediately after an obstacle present in any of the overlapping areas OA1, OA2, OA3, OA4 is detected and the image displayed on the display screen of the
また、警報画像は、上述したように障害物が存在する重複領域を撮影する2つの車載カメラの原画像を表示したものであるので、障害部が実際の形に近く違和感の少ない状態で表示されるが、警報画像の中で障害物が存在する位置をより迅速に車両乗員に判断させる上では、警報画像を表示する際に、例えば図10に示すように、各車載カメラの原画像上にソナーの検知範囲を認識させるための画像を重畳して表示させることも有効である。なお、図10に例示した警報画像においては、図中の網掛け部分がソナーの検知範囲であることを示している。 Moreover, since the alarm image is an original image of the two in-vehicle cameras that captures the overlapping area where the obstacle exists as described above, the alarm part is displayed in a state where the obstacle part is close to the actual shape and there is little discomfort. However, in order to make a vehicle occupant more quickly determine the position where an obstacle exists in the alarm image, when displaying the alarm image, for example, as shown in FIG. It is also effective to superimpose and display an image for recognizing the sonar detection range. In the alarm image illustrated in FIG. 10, the shaded portion in the figure indicates the sonar detection range.
ところで、以上の説明では、重複領域OA1,OA2,OA3,OA4のいずれか1つの重複領域で障害物が検知され、警報対象とする重複領域が一意に特定される場合を想定して説明したが、実際には、複数の重複領域でそれぞれ障害物が検知される場合もある。このような場合、本発明を適用した車両周囲監視システムでは、警報判定部33が以下のロジックに従って、警報対象とする重複領域を特定する。
By the way, in the above description, an explanation has been given on the assumption that an obstacle is detected in any one of the overlapping areas OA1, OA2, OA3, and OA4, and the overlapping area to be alarmed is uniquely identified. Actually, an obstacle may be detected in each of a plurality of overlapping areas. In such a case, in the vehicle surrounding monitoring system to which the present invention is applied, the
・2つの重複領域で障害物が検知された場合
車両前方の2つの重複領域OA1,OA2、または車両後方の2つの重複領域OA3,OA4でそれぞれ障害物が検知された場合、警報判定部33は、各重複領域で障害物を検知したソナーの障害物検知信号から、各障害物が存在する位置までの車両からの距離を求める。そして、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。したがって、この場合には、車両からの距離が近い障害物が存在する重複領域を撮影する2つの車載カメラの原画像が、警報画像として表示装置40の表示画面に表示される。なお、車両前方の2つの重複領域OA1,OA2、または車両後方の2つの重複領域OA3,OA4でそれぞれ障害物が検知された場合であって、これら2つの重複領域で検出された障害物の車両からの距離が等しい場合は、フロントカメラ11の原画像、またはリアカメラ12の原画像のみを警報画像として表示装置40に表示させるようにていもよい。
When an obstacle is detected in two overlapping areas When an obstacle is detected in two overlapping areas OA1 and OA2 in the front of the vehicle or in two overlapping areas OA3 and OA4 in the rear of the vehicle, the
また、重複領域OA1と重複領域OA3、重複領域OA1と重複領域OA4、重複領域OA2と重複領域OA3、重複領域OA2と重複領域OA4といったように、車両前方の1つの重複領域と車両後方の1つの重複領域とでそれぞれ障害物が検知された場合には、警報判定部33は、車両信号取得装置50で取得された車両信号から、車両のシフトレバーがリバースを選択しているか否かを判断する。そして、車両のシフトレバーがリバースを選択している場合には、車両後方の重複領域を警報対象として特定し、車両のシフトレバーがリバース以外を選択している場合には、車両前方の重複領域を警報対象として特定する。したがって、この場合には、車両のシフトレバーがリバースであれば車両後方の重複領域を撮影する2つの車載カメラの原画像、車両のシフトレバーがリバース以外であれば車両前方の重複領域を撮影する2つの車載カメラの原画像が、警報画像として表示装置40の表示画面に表示される。
Also, one overlap area in front of the vehicle and one in the rear of the vehicle, such as overlap area OA1 and overlap area OA3, overlap area OA1 and overlap area OA4, overlap area OA2 and overlap area OA3, overlap area OA2 and overlap area OA4, etc. When an obstacle is detected in each of the overlapping areas, the
・3つの重複領域で障害物が検知された場合
車両前方の2つの重複領域OA1,OA2と車両後方の1つの重複領域(OA3またはOA4)、または車両後方の2つの重複領域OA3,OA4と車両前方の1つの重複領域(OA1またはOA2)といったように、3つの重複領域でそれぞれ障害物が検知された場合には、警報判定部33は、まず、車両のシフトレバーがリバースを選択しているか否かを判断する。そして、車両のシフトレバーがリバースを選択している場合で、障害物が検知された車両後方の重複領域が1つであれば、その車両後方の重複領域を警報対象として特定する。また、車両のシフトレバーがリバースを選択している場合で、障害物が検知された車両後方の重複領域が2つであれば、これら2つの車両後方の重複領域のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。一方、車両のシフトレバーがリバース以外を選択している場合で、障害物が検知された車両前方の重複領域が1つであれば、その車両前方の重複領域を警報対象として特定する。また、車両のシフトレバーがリバース以外を選択している場合で、障害物が検知された車両前方の重複領域が2つであれば、これら2つの車両前方の重複領域のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。
When an obstacle is detected in three overlapping areas Two overlapping areas OA1, OA2 in front of the vehicle and one overlapping area (OA3 or OA4) in the rear of the vehicle, or two overlapping areas OA3, OA4 in the rear of the vehicle and the vehicle When an obstacle is detected in each of the three overlapping areas, such as one overlapping area (OA1 or OA2) in front, the
・4つの全ての重複領域で障害物が検知された場合
4つの重複領域OA1,OA2,OA3,OA4の全てで障害物が検知された場合には、警報判定部33は、まず、車両のシフトレバーがリバースを選択しているか否かを判断する。そして、車両のシフトレバーがリバースを選択している場合は、2つの車両後方の重複領域OA3,OA4のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。一方、車両のシフトレバーがリバース以外を選択している場合は、2つの車両前方の重複領域OA1,OA2のうちで、車両からの距離が短い障害物が存在する重複領域を警報対象として特定する。
When an obstacle is detected in all four overlapping areas When an obstacle is detected in all four overlapping areas OA1, OA2, OA3, and OA4, the
ここで、本発明を適用した車両周囲監視システムにおける一連の処理の流れについて、図11のフローチャートに沿って説明する。この図11の処理フローは、例えば車両乗員によるスイッチ操作などにより、当該車両周囲監視システムが起動されたときに開始される。 Here, a flow of a series of processes in the vehicle periphery monitoring system to which the present invention is applied will be described along the flowchart of FIG. The processing flow of FIG. 11 is started when the vehicle surrounding monitoring system is started, for example, by a switch operation by a vehicle occupant.
図11の処理フローが開始されると、まず、ステップS1において、フロントカメラ11、リアカメラ12、右サイドカメラ13、左サイドカメラ14の4つの車載カメラにより、車両周囲の領域の画像がそれぞれ撮影される。そして、各車載カメラ11,12,13,14で撮影された原画像の画像信号が画像処理ユニット30にそれぞれ入力され、画像処理ユニット30の入力フレームバッファ31a,31b,31c,31dに、フレームデータとしてそれぞれ格納される。
When the processing flow of FIG. 11 is started, first, in step S1, images of areas around the vehicle are respectively captured by the four on-vehicle cameras of the front camera 11, the
次に、ステップS2において、画像処理ユニット30の俯瞰表示画像作成部32が、所定の変換アルゴリズムに従って、入力フレームバッファ31a,31b,31c,31dに格納された各車載カメラ11,12,13,14の原画像を俯瞰画像に変換すると共に、これら俯瞰画像を重複領域OA1,OA2,OA3,OA4に対応する画像部分で合成して、俯瞰表示画像を作成する。そして、この俯瞰表示画像の画像データを出力フレームバッファ36に格納する。
Next, in step S2, the bird's-eye view display
次に、ステップS3において、出力フレームバッファ32に保持された俯瞰表示画像の画像データが、画像信号として画像処理ユニット30から表示装置40へと出力される。そして、表示装置40が、この画像処理ユニット30からの画像信号に基づいて表示動作を行うことにより、表示装置40の表示画面には、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像が表示される。
Next, in step S3, the image data of the overhead view display image held in the
以上のステップS1〜ステップS3の処理は、次のステップS4で第1乃至第4のソナー21,22,23,24が障害物を検知するまで、車載カメラ11,12,13,14の撮影周期に同期して繰り返し行われる。これにより、表示装置40の表示画面には、上述した俯瞰表示画像が動画として表示されることになる。
The processing of the above-described steps S1 to S3 is performed in the following steps S4 until the first to
ステップS4では、画像処理ユニット30の警報判定部33が、第1乃至第4のソナー21,22,23,24からの障害物検知信号に基づいて、重複領域OA1,OA2,OA3,OA4の何れかに障害物が存在するか否かを判定する。そして、重複領域OA1,OA2,OA3,OA4の何れかに障害物が存在すると判定した場合、ステップS5に進んで、警報判定部33は、警報対象とする重複領域を特定する。このとき、警報判定部33は、障害物を検知したソナーが1つであれば、そのソナーの検知範囲となる重複領域を警報対象の重複領域として特定する。また、障害物を検知したソナーが複数ある場合には、上述したロジックに従って警報対象の重複領域を特定する。
In step S4, the
次に、ステップS6において、上述したステップS1と同様、4つの車載カメラ11,12,13,14により車両周囲の領域の画像がそれぞれ撮影され、各車載カメラ11,12,13,14で撮影された原画像の画像信号が画像処理ユニット30にそれぞれ入力されて、画像処理ユニット30の入力フレームバッファ31a,31b,31c,31dに、フレームデータとしてそれぞれ格納される。
Next, in step S6, as in step S1 described above, images of the area around the vehicle are respectively taken by the four in-
次に、ステップS7において、画像処理ユニット30の警報画像作成部34が、警報判定部33で警報対象として特定された重複領域を撮影した2つの車載カメラの原画像を用いて、警報画像を作成する。そして、この警報画像の画像データを出力フレームバッファ36に格納する。
Next, in step S <b> 7, the alarm
次に、ステップS8において、出力フレームバッファ32に保持された警報画像の画像データが、画像信号として画像処理ユニット30から表示装置40へと出力される。そして、表示装置40が、この画像処理ユニット30からの画像信号に基づいて表示動作を行うことにより、表示装置40の表示画面には、障害物が存在する重複領域を撮影した2つの車載カメラの原画像で構成された警報画像が表示される。
Next, in step S8, the image data of the alarm image held in the
以上のステップS6〜ステップS8の処理は、次のステップS9で第1乃至第4のソナー21,22,23,24からの障害物検知信号が途絶えるまで、車載カメラ11,12,13,14の撮影周期に同期して繰り返し行われる。これにより、表示装置40の表示画面には、上述した警報画像が動画として表示されることになる。
The processes in steps S6 to S8 described above are performed by the in-
ステップS9では、画像処理ユニット30の警報判定部33が、第1乃至第4のソナー21,22,23,24からの障害物検知信号が途絶えたか、すなわち第1乃至第4のソナー21,22,23,24が障害物を検知しなくなったか否かを判断し、第1乃至第4のソナー21,22,23,24が障害物を検知しなくなった段階で次のステップS10に進む。そして、ステップS10において、例えば車両乗員によるスイッチ操作などにより、当該車両周囲監視システムの動作を停止する旨の指示が入力されたか否かが判定され、動作停止の指示入力がなければステップS1に戻って、ステップS1以降の処理が繰り返される。一方、動作停止の指示入力があった場合には、一連の処理を終了する。
In step S9, the
以上、具体的な例を挙げて詳細に説明したように、本発明を適用した車両周囲監視システムでは、4つの車載カメラ11,12,13,14のうちの隣り合う2つの車載カメラで重複して撮影される重複領域OA1,OA2,OA3,OA4のいずれにも障害物が存在していない間は、表示装置40の表示画面に、車両周囲全域を車両上方の仮想視点から見下ろした様子を表す俯瞰表示画像を表示し、いずれかの重複領域OA1,OA2,OA3,OA4に障害物が存在することが、第1乃至第4のソナー21,22,23,24の何れかで検知された場合には、この障害物が検知された重複領域を撮影する2つの車載カメラの原画像で構成される警報画像を作成し、表示装置40の表示画面に表示する画像を、俯瞰表示画像から警報画像へと切り替えるようにしている。したがって、この車両周囲監視システムによれば、特に注目すべき障害物が存在する領域の画像を、違和感の少ない見やすい画像として車両乗員に提示することができ、車両乗員は、表示装置40の表示画面を参照することで、障害物の種類などを直感的且つ瞬時に特定して、障害物を回避するための操作などを迅速に行うことが可能となる。
As described above in detail with a specific example, in the vehicle surrounding monitoring system to which the present invention is applied, two adjacent in-vehicle cameras out of the four in-
なお、以上説明した車両周囲監視システムは、本発明の一適用例を例示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。例えば、上述した車両周囲監視システムでは、障害物を検知する手段として第1乃至第4のソナー21,22,23,24を用いているが、障害物を検知する手段としては、これらソナー21,22,23,24以外にも、レーザレーダや、カメラで撮影した画像を画像処理する手法など、既知の障害物検知装置が何れも採用可能である。また、上述した車両周囲監視システムでは、フロントカメラ11、リアカメラ12、右サイドカメラ13、左サイドカメラ14の4つの車載カメラを用いているが、車載カメラの数は4つに限定されるものではなく、一部が重複する車両周囲の領域の画像を各々撮影する複数の車載カメラを備えた車両周囲監視システムに対して、本発明は広く適用可能である。
The vehicle surrounding monitoring system described above exemplifies an application example of the present invention, and the technical scope of the present invention is not limited to the contents disclosed in the description of the above embodiments. Of course, various alternative techniques that can be easily derived from these disclosures are also included. For example, in the vehicle surrounding monitoring system described above, the first to
11 フロントカメラ
12 リアカメラ
13 右サイドカメラ
14 左サイドカメラ
21 第1のソナー
22 第2のソナー
23 第3のソナー
24 第4のソナー
30 画像処理ユニット
32 俯瞰表示画像作成部
33 警報判定部
34 警報画像作成部
40 表示装置
DESCRIPTION OF SYMBOLS 11
Claims (11)
前記複数の車載カメラで撮影された原画像をそれぞれ車両上方の仮想視点から見下ろした俯瞰画像に変換すると共に、これら俯瞰画像を前記複数の車載カメラで重複して撮影される重複領域に対応する画像部分で合成して、1つの連続した俯瞰表示画像を作成する俯瞰表示画像作成手段と、
前記俯瞰表示画像作成手段で作成された俯瞰表示画像を表示する表示装置とを有する車両周囲監視システムにおいて、
前記複数の車載カメラで重複して撮影される重複領域を検知範囲とし、当該重複領域内に存在する障害物を検知する障害物検知装置と、
前記障害物検知装置が前記重複領域内に存在する障害物を検知したときに、前記表示装置に表示させる画像を、前記俯瞰表示画像から、前記重複領域を撮影する複数の車載カメラの原画像へと切り替える表示制御手段とを備えることを特徴とする車両周囲監視システム。 A plurality of in-vehicle cameras that respectively capture images of a plurality of regions around a partially overlapping vehicle;
An image corresponding to an overlapping area in which the original images captured by the plurality of in-vehicle cameras are converted into overhead images viewed from a virtual viewpoint above the vehicle, and the overhead images are captured by the plurality of in-vehicle cameras. A bird's-eye view display image creating means for creating a continuous bird's-eye view display image by combining the parts;
In a vehicle surroundings monitoring system having a display device that displays the overhead view display image created by the overhead view display image creation means,
An obstacle detection device that detects an obstacle existing in the overlap area, with an overlap area photographed by the plurality of in-vehicle cameras overlappingly,
When the obstacle detection device detects an obstacle present in the overlap region, an image to be displayed on the display device is changed from the overhead view display image to an original image of a plurality of in-vehicle cameras that capture the overlap region. A vehicle surroundings monitoring system comprising display control means for switching between
前記表示制御手段は、前記障害物検知装置が複数の重複領域でそれぞれ障害物を検知した場合には、車両からの距離が近い障害物が存在する重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させることを特徴とする請求項1に記載の車両周囲監視システム。 The obstacle detection device has a plurality of overlapping areas as detection ranges,
When the obstacle detection device detects an obstacle in a plurality of overlapping areas, the display control means displays an original image of a plurality of cameras that captures an overlapping area where an obstacle with a short distance from the vehicle exists. The vehicle surroundings monitoring system according to claim 1, wherein the vehicle periphery monitoring system is displayed on the display device.
前記表示制御手段は、前記障害物検知装置が車両前方の重複領域と車両後方の重複領域とでそれぞれ障害物を検知した場合には、車両のシフトレバーがリバースを選択している場合は車両後方の重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させ、車両のシフトレバーがリバース以外を選択している場合は車両前方の重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させることを特徴とする請求項1に記載の車両周囲監視システム。 The obstacle detection device has an overlapping area in front of the vehicle and an overlapping area in the rear of the vehicle as detection ranges,
When the obstacle detection device detects an obstacle in the overlap area in front of the vehicle and in the overlap area in the rear of the vehicle, the display control means is located in the rear of the vehicle when the shift lever of the vehicle selects reverse. Original images of a plurality of cameras that capture the overlapping area of the vehicle are displayed on the display device, and when the shift lever of the vehicle selects other than reverse, the original images of the plurality of cameras that capture the overlapping area in front of the vehicle are displayed. The vehicle surrounding monitoring system according to claim 1, wherein the vehicle surrounding monitoring system is displayed on a display device.
前記表示制御手段は、前記障害物検知装置が3つ以上の重複領域でそれぞれ障害物を検知した場合には、車両のシフトレバーがリバースを選択している場合は車両後方の重複領域であって車両からの距離が近い障害物が存在する重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させ、車両のシフトレバーがリバース以外を選択している場合は車両前方の重複領域であって車両からの距離が近い障害物が存在する重複領域を撮影する複数のカメラの原画像を前記表示装置に表示させることを特徴とする請求項1に記載の車両周囲監視システム。 The obstacle detection device has a plurality of overlapping areas in front of the vehicle and a plurality of overlapping areas in the rear of the vehicle as detection ranges,
When the obstacle detection device detects an obstacle in each of three or more overlapping areas, the display control means is an overlapping area in the rear of the vehicle when the shift lever of the vehicle selects reverse. If the display device displays original images of a plurality of cameras that capture an overlapping area where an obstacle with a short distance from the vehicle is present, and the vehicle shift lever is selected other than reverse, the overlapping area in front of the vehicle The vehicle surroundings monitoring system according to claim 1, wherein original images of a plurality of cameras that capture an overlapping area where an obstacle with a short distance from the vehicle is present are displayed on the display device.
前記障害物検知装置は、前記フロントカメラと前記右サイドカメラとで重複して撮影される車両右前方の重複領域を検知範囲とし、
前記表示制御手段は、前記障害物検知装置が車両右前方の重複領域で障害物を検知したときに、前記フロントカメラの原画像と前記右サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項1に記載の車両周囲監視システム。 As the plurality of in-vehicle cameras, a front camera that captures an image of a vehicle front region, and a right side camera that captures an image of a vehicle right side region,
The obstacle detection device uses a duplication area on the right front side of the vehicle, which is taken by the front camera and the right side camera, as a detection range,
The display control means causes the display device to display the original image of the front camera and the original image of the right side camera when the obstacle detection device detects an obstacle in the overlapping area on the right front side of the vehicle. The vehicle surrounding monitoring system according to claim 1.
前記障害物検知装置は、前記フロントカメラと前記左サイドカメラとで重複して撮影される車両左前方の重複領域を検知範囲とし、
前記表示制御手段は、前記障害物検知装置が車両左前方の重複領域で障害物を検知したときに、前記フロントカメラの原画像と前記左サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項1に記載の車両周囲監視システム。 As the plurality of in-vehicle cameras, a front camera that captures an image of a vehicle front area, and a left side camera that captures an image of a left side area of the vehicle,
The obstacle detection device has a detection range of an overlapping area on the left front of the vehicle that is photographed by the front camera and the left side camera,
The display control means causes the display device to display the original image of the front camera and the original image of the left side camera when the obstacle detection device detects an obstacle in the overlapping area on the left front side of the vehicle. The vehicle surrounding monitoring system according to claim 1.
前記障害物検知装置は、前記リアカメラと前記右サイドカメラとで重複して撮影される車両右後方の重複領域を検知範囲とし、
前記表示制御手段は、前記障害物検知装置が車両右後方の重複領域で障害物を検知したときに、前記リアカメラの原画像と前記右サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項1に記載の車両周囲監視システム。 As the plurality of in-vehicle cameras, a rear camera that captures an image of a vehicle rear region, and a right side camera that captures an image of a vehicle right side region,
The obstacle detection device has a detection range of an overlapping area on the right rear side of the vehicle, which is taken by the rear camera and the right side camera.
The display control means causes the display device to display the original image of the rear camera and the original image of the right side camera when the obstacle detection device detects an obstacle in the overlapping area on the right rear side of the vehicle. The vehicle surrounding monitoring system according to claim 1.
前記障害物検知装置は、前記リアカメラと前記左サイドカメラとで重複して撮影される車両左後方の重複領域を検知範囲とし、
前記表示制御手段は、前記障害物検知装置が車両左後方の重複領域で障害物を検知したときに、前記リアカメラの原画像と前記左サイドカメラの原画像とを前記表示装置に表示させることを特徴とする請求項1に記載の車両周囲監視システム。 As the plurality of in-vehicle cameras, a rear camera that captures an image of a vehicle rear region, and a left side camera that captures an image of a left side region of the vehicle,
The obstacle detection device has a detection range of an overlapping area on the left rear side of the vehicle, which is captured by the rear camera and the left side camera,
The display control means causes the display device to display the original image of the rear camera and the original image of the left side camera when the obstacle detection device detects an obstacle in the overlapping area on the left rear side of the vehicle. The vehicle surrounding monitoring system according to claim 1.
前記表示装置に前記俯瞰表示画像を表示するステップと、
前駆俯瞰表示画像の表示中に、前記複数の車載カメラで重複して撮影される重複領域内に存在する障害物を、障害物検知装置を用いて検知するステップと、
前記障害物検知装置が前記重複領域内に存在する障害物を検知したときに、前記表示装置に表示させる画像を、前記俯瞰表示画像から、前記重複領域を撮影する複数の車載カメラの原画像へと切り替えるステップとを有することを特徴とする画像表示方法。 While images of a plurality of areas around the vehicle partially overlapping each other are photographed by a plurality of vehicle-mounted cameras, the original images photographed by the plurality of vehicle-mounted cameras are converted into overhead images viewed from a virtual viewpoint above the vehicle, respectively. In the image display method of combining these overhead images with image portions corresponding to overlapping regions captured by the plurality of in-vehicle cameras, creating one continuous overhead image and displaying it on the display device,
Displaying the overhead view display image on the display device;
Detecting an obstacle present in an overlapping area captured by the plurality of in-vehicle cameras during the display of the precursor overhead display image using an obstacle detection device;
When the obstacle detection device detects an obstacle present in the overlap region, an image to be displayed on the display device is changed from the overhead view display image to an original image of a plurality of in-vehicle cameras that capture the overlap region. And a step of switching between.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006054593A JP4807104B2 (en) | 2006-03-01 | 2006-03-01 | Vehicle surrounding monitoring system and image display method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006054593A JP4807104B2 (en) | 2006-03-01 | 2006-03-01 | Vehicle surrounding monitoring system and image display method |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2007235529A true JP2007235529A (en) | 2007-09-13 |
JP4807104B2 JP4807104B2 (en) | 2011-11-02 |
Family
ID=38555661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006054593A Active JP4807104B2 (en) | 2006-03-01 | 2006-03-01 | Vehicle surrounding monitoring system and image display method |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4807104B2 (en) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009100095A (en) * | 2007-10-15 | 2009-05-07 | Alpine Electronics Inc | Image processing apparatus and image processing method |
DE102010001441A1 (en) | 2009-02-03 | 2010-08-26 | Denso Corporation, Kariya-City | Display device for a vehicle |
WO2010143600A1 (en) | 2009-06-08 | 2010-12-16 | 国立大学法人名古屋工業大学 | Three-dimensional information displaying device |
WO2011118261A1 (en) * | 2010-03-26 | 2011-09-29 | アイシン精機株式会社 | Vehicle periphery monitoring device |
WO2011118260A1 (en) * | 2010-03-26 | 2011-09-29 | アイシン精機株式会社 | Vehicle periphery monitoring device |
JP2012176748A (en) * | 2011-02-02 | 2012-09-13 | Nissan Motor Co Ltd | Parking assisting system |
WO2012169361A1 (en) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | Work vehicle vicinity monitoring device |
WO2012169352A1 (en) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | Work vehicle vicinity monitoring device |
US8446471B2 (en) | 2009-12-31 | 2013-05-21 | Industrial Technology Research Institute | Method and system for generating surrounding seamless bird-view image with distance interface |
CN103827943A (en) * | 2012-09-20 | 2014-05-28 | 株式会社小松制作所 | Work vehicle vicinity monitoring system and work vehicle |
JP2014183497A (en) * | 2013-03-19 | 2014-09-29 | Sumitomo Heavy Ind Ltd | Periphery monitoring apparatus for working machine |
JP2016113892A (en) * | 2015-12-28 | 2016-06-23 | 住友重機械工業株式会社 | Shovel |
KR20160089222A (en) * | 2015-01-19 | 2016-07-27 | 현대모비스 주식회사 | vehicle and control method thereof |
US9467679B2 (en) | 2011-09-27 | 2016-10-11 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
JP2016219025A (en) * | 2011-08-26 | 2016-12-22 | パナソニックIpマネジメント株式会社 | Drive assist apparatus |
JP2017069846A (en) * | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | Display control device |
JP2019084899A (en) * | 2017-11-03 | 2019-06-06 | アルパイン株式会社 | Rear image display device for vehicle |
JP2020175890A (en) * | 2020-06-30 | 2020-10-29 | 株式会社クボタ | Work vehicle |
CN112272946A (en) * | 2018-06-14 | 2021-01-26 | 日立汽车系统株式会社 | Vehicle control device |
JP2023140692A (en) * | 2022-03-23 | 2023-10-05 | いすゞ自動車株式会社 | Vehicle rear side monitoring system and vehicle rear side monitoring method |
JP2023140691A (en) * | 2022-03-23 | 2023-10-05 | いすゞ自動車株式会社 | Vehicle rear side monitoring system and vehicle rear side monitoring method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7065068B2 (en) | 2019-12-13 | 2022-05-11 | 本田技研工業株式会社 | Vehicle surroundings monitoring device, vehicle, vehicle surroundings monitoring method and program |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1148828A (en) * | 1997-07-31 | 1999-02-23 | Isuzu Motors Ltd | Vehicle circumference monitoring device |
JP2002019556A (en) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | Monitoring system |
JP2003252151A (en) * | 2002-03-06 | 2003-09-10 | Auto Network Gijutsu Kenkyusho:Kk | Parking support system |
JP2004291784A (en) * | 2003-03-26 | 2004-10-21 | Matsushita Electric Works Ltd | In-vehicle view field monitoring system |
JP2005159541A (en) * | 2003-11-21 | 2005-06-16 | Sanyo Electric Co Ltd | On-vehicle imaging apparatus |
JP2006027556A (en) * | 2004-07-21 | 2006-02-02 | Nissan Motor Co Ltd | Periphery monitor for vehicle |
-
2006
- 2006-03-01 JP JP2006054593A patent/JP4807104B2/en active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH1148828A (en) * | 1997-07-31 | 1999-02-23 | Isuzu Motors Ltd | Vehicle circumference monitoring device |
JP2002019556A (en) * | 2000-07-04 | 2002-01-23 | Matsushita Electric Ind Co Ltd | Monitoring system |
JP2003252151A (en) * | 2002-03-06 | 2003-09-10 | Auto Network Gijutsu Kenkyusho:Kk | Parking support system |
JP2004291784A (en) * | 2003-03-26 | 2004-10-21 | Matsushita Electric Works Ltd | In-vehicle view field monitoring system |
JP2005159541A (en) * | 2003-11-21 | 2005-06-16 | Sanyo Electric Co Ltd | On-vehicle imaging apparatus |
JP2006027556A (en) * | 2004-07-21 | 2006-02-02 | Nissan Motor Co Ltd | Periphery monitor for vehicle |
Cited By (50)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009100095A (en) * | 2007-10-15 | 2009-05-07 | Alpine Electronics Inc | Image processing apparatus and image processing method |
DE102010001441A1 (en) | 2009-02-03 | 2010-08-26 | Denso Corporation, Kariya-City | Display device for a vehicle |
US8717196B2 (en) | 2009-02-03 | 2014-05-06 | Denso Corporation | Display apparatus for vehicle |
WO2010143600A1 (en) | 2009-06-08 | 2010-12-16 | 国立大学法人名古屋工業大学 | Three-dimensional information displaying device |
US8807810B2 (en) | 2009-06-08 | 2014-08-19 | National University Corporation Nagoya Institute Of Technology | Three-dimensional information presentation device |
US8446471B2 (en) | 2009-12-31 | 2013-05-21 | Industrial Technology Research Institute | Method and system for generating surrounding seamless bird-view image with distance interface |
US9919650B2 (en) | 2010-03-26 | 2018-03-20 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device |
US10479275B2 (en) | 2010-03-26 | 2019-11-19 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device |
US9403481B2 (en) | 2010-03-26 | 2016-08-02 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device using multiple cameras and enlarging an image |
US9862319B2 (en) | 2010-03-26 | 2018-01-09 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device using cameras and an emphasized frame |
WO2011118261A1 (en) * | 2010-03-26 | 2011-09-29 | アイシン精機株式会社 | Vehicle periphery monitoring device |
US9308863B2 (en) | 2010-03-26 | 2016-04-12 | Aisin Seiki Kabushiki Kaisha | Vehicle peripheral observation device |
JP2011205514A (en) * | 2010-03-26 | 2011-10-13 | Aisin Seiki Co Ltd | Vehicle periphery monitoring device |
JP2011205513A (en) * | 2010-03-26 | 2011-10-13 | Aisin Seiki Co Ltd | Vehicle periphery monitoring device |
WO2011118260A1 (en) * | 2010-03-26 | 2011-09-29 | アイシン精機株式会社 | Vehicle periphery monitoring device |
JP2012176748A (en) * | 2011-02-02 | 2012-09-13 | Nissan Motor Co Ltd | Parking assisting system |
CN103098112A (en) * | 2011-06-07 | 2013-05-08 | 株式会社小松制作所 | Work vehicle vicinity monitoring device |
AU2012268476B2 (en) * | 2011-06-07 | 2014-05-15 | Komatsu Ltd. | Perimeter monitoring device for work vehicle |
JP5587499B2 (en) * | 2011-06-07 | 2014-09-10 | 株式会社小松製作所 | Work vehicle perimeter monitoring device |
US10321097B2 (en) | 2011-06-07 | 2019-06-11 | Komatsu Ltd. | Perimeter monitoring device for work vehicle |
JPWO2012169352A1 (en) * | 2011-06-07 | 2015-02-23 | 株式会社小松製作所 | Work vehicle perimeter monitoring device |
CN103098112B (en) * | 2011-06-07 | 2016-10-12 | 株式会社小松制作所 | The periphery monitoring apparatus of working truck |
JP2016035791A (en) * | 2011-06-07 | 2016-03-17 | 株式会社小松製作所 | Device for monitoring periphery of work vehicle |
CN103080990A (en) * | 2011-06-07 | 2013-05-01 | 株式会社小松制作所 | Work vehicle vicinity monitoring device |
JP2012256113A (en) * | 2011-06-07 | 2012-12-27 | Komatsu Ltd | Periphery monitoring device for work vehicle |
WO2012169352A1 (en) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | Work vehicle vicinity monitoring device |
US9597997B2 (en) | 2011-06-07 | 2017-03-21 | Komatsu Ltd. | Work vehicle periphery monitoring apparatus |
WO2012169361A1 (en) * | 2011-06-07 | 2012-12-13 | 株式会社小松製作所 | Work vehicle vicinity monitoring device |
US9497422B2 (en) | 2011-06-07 | 2016-11-15 | Komatsu Ltd. | Perimeter monitoring device for work vehicle |
JP2018034794A (en) * | 2011-08-26 | 2018-03-08 | パナソニックIpマネジメント株式会社 | Drive assist apparatus |
JP2016219025A (en) * | 2011-08-26 | 2016-12-22 | パナソニックIpマネジメント株式会社 | Drive assist apparatus |
US9467679B2 (en) | 2011-09-27 | 2016-10-11 | Aisin Seiki Kabushiki Kaisha | Vehicle periphery monitoring device |
US9333915B2 (en) | 2012-09-20 | 2016-05-10 | Komatsu Ltd. | Work vehicle periphery monitoring system and work vehicle |
CN103827943B (en) * | 2012-09-20 | 2015-06-10 | 株式会社小松制作所 | Work vehicle vicinity monitoring system and work vehicle |
CN103827943A (en) * | 2012-09-20 | 2014-05-28 | 株式会社小松制作所 | Work vehicle vicinity monitoring system and work vehicle |
JP2014183497A (en) * | 2013-03-19 | 2014-09-29 | Sumitomo Heavy Ind Ltd | Periphery monitoring apparatus for working machine |
KR102300652B1 (en) * | 2015-01-19 | 2021-09-10 | 현대모비스 주식회사 | vehicle and control method thereof |
KR20160089222A (en) * | 2015-01-19 | 2016-07-27 | 현대모비스 주식회사 | vehicle and control method thereof |
JP2017069846A (en) * | 2015-09-30 | 2017-04-06 | アイシン精機株式会社 | Display control device |
JP2016113892A (en) * | 2015-12-28 | 2016-06-23 | 住友重機械工業株式会社 | Shovel |
JP2019084899A (en) * | 2017-11-03 | 2019-06-06 | アルパイン株式会社 | Rear image display device for vehicle |
CN112272946B (en) * | 2018-06-14 | 2023-06-09 | 日立安斯泰莫株式会社 | Vehicle control device |
CN112272946A (en) * | 2018-06-14 | 2021-01-26 | 日立汽车系统株式会社 | Vehicle control device |
US11276309B2 (en) | 2018-06-14 | 2022-03-15 | Hitachi Astemo, Ltd. | Vehicle control device |
JP7076501B2 (en) | 2020-06-30 | 2022-05-27 | 株式会社クボタ | Work vehicle |
JP2020175890A (en) * | 2020-06-30 | 2020-10-29 | 株式会社クボタ | Work vehicle |
JP2023140692A (en) * | 2022-03-23 | 2023-10-05 | いすゞ自動車株式会社 | Vehicle rear side monitoring system and vehicle rear side monitoring method |
JP2023140691A (en) * | 2022-03-23 | 2023-10-05 | いすゞ自動車株式会社 | Vehicle rear side monitoring system and vehicle rear side monitoring method |
JP7392753B2 (en) | 2022-03-23 | 2023-12-06 | いすゞ自動車株式会社 | Vehicle rear monitoring system and vehicle rear monitoring method |
JP7392754B2 (en) | 2022-03-23 | 2023-12-06 | いすゞ自動車株式会社 | Vehicle rear monitoring system and vehicle rear monitoring method |
Also Published As
Publication number | Publication date |
---|---|
JP4807104B2 (en) | 2011-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4807104B2 (en) | Vehicle surrounding monitoring system and image display method | |
JP4907883B2 (en) | Vehicle periphery image display device and vehicle periphery image display method | |
JP5099451B2 (en) | Vehicle periphery confirmation device | |
JP4254887B2 (en) | Image display system for vehicles | |
US8330816B2 (en) | Image processing device | |
KR101354068B1 (en) | Vehicle peripheral image generation device | |
JP4883977B2 (en) | Image display device for vehicle | |
EP2739050B1 (en) | Vehicle surroundings monitoring system | |
JP5500877B2 (en) | In-vehicle image display device and image trimming method | |
EP2723069B1 (en) | Vehicle periphery monitoring device | |
JP2009081666A (en) | Vehicle periphery monitoring apparatus and image displaying method | |
JP5495071B2 (en) | Vehicle periphery monitoring device | |
KR102045088B1 (en) | Image displaying Method and Apparatus therefor | |
JP5776995B2 (en) | Vehicle periphery monitoring device | |
JP2003219413A (en) | Vehicle rearward monitoring system and monitoring apparatus | |
JP2007041791A (en) | Bird's-eye image display system and bird's-eye image display method | |
JP2007230371A (en) | Parking assisting device and parking assisting method | |
KR20200047257A (en) | Device and a method for displaying aerial view images of a vehicle | |
JP2011155651A (en) | Apparatus and method for displaying vehicle perimeter image | |
JP2010264945A (en) | Parking support device, parking support method and parking support program | |
JP2012001126A (en) | Vehicle surroundings monitoring device | |
JP5500392B2 (en) | Vehicle periphery monitoring device | |
JP2007290433A (en) | Parking support system | |
JP2012166689A (en) | Driving assistance apparatus | |
JP2007096496A (en) | Vehicle periphery display system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110502 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110719 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110801 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140826 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4807104 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |