JP4606322B2 - Vehicle driving support device - Google Patents

Vehicle driving support device Download PDF

Info

Publication number
JP4606322B2
JP4606322B2 JP2005374699A JP2005374699A JP4606322B2 JP 4606322 B2 JP4606322 B2 JP 4606322B2 JP 2005374699 A JP2005374699 A JP 2005374699A JP 2005374699 A JP2005374699 A JP 2005374699A JP 4606322 B2 JP4606322 B2 JP 4606322B2
Authority
JP
Japan
Prior art keywords
image
images
cameras
top view
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2005374699A
Other languages
Japanese (ja)
Other versions
JP2007180720A (en
Inventor
正一 坪井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2005374699A priority Critical patent/JP4606322B2/en
Publication of JP2007180720A publication Critical patent/JP2007180720A/en
Application granted granted Critical
Publication of JP4606322B2 publication Critical patent/JP4606322B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、魚眼レンズが取り付けられたカメラを用いて車両周辺を撮影して画面に表示することにより車両の運転を支援する車両運転支援装置に関する。   The present invention relates to a vehicle driving support device that supports driving of a vehicle by photographing the periphery of the vehicle using a camera with a fisheye lens attached and displaying it on a screen.

従来から、複数台のカメラを用いて車両周辺を撮影して車内に設けられた表示装置に撮影画像を表示するようにした車両周辺監視装置が知られている（例えば、特許文献１参照。）。この装置では、隣接する２台のカメラによって撮影された画像の境界と、これら２台のカメラの撮影方向とがほぼ一致するように各カメラの設置位置が工夫されており、境界近傍において撮影された物体の画像が表示の際に消失することを防止している。
特開２００３−２０４５４７号公報（第４−１２頁、図１−１８） 2. Description of the Related Art Conventionally, a vehicle periphery monitoring device that captures a vehicle periphery using a plurality of cameras and displays a captured image on a display device provided in the vehicle is known (for example, see Patent Document 1). . In this device, the installation position of each camera is devised so that the boundary between the images taken by two adjacent cameras and the shooting direction of these two cameras are almost the same, and the image is shot near the boundary. The object image is prevented from disappearing during display.
JP 2003-204547 A (page 4-12, FIG. 1-18)

ところで、上述した特許文献１に開示された装置では、画像の境界とカメラの撮影方向とをほぼ一致させる必要があるため、カメラ設置の自由度が少ないという問題があった。例えば、車両周辺を撮影しようとした場合には、必ず車体の四隅にカメラを設置する必要があるが、車両の四隅部分は車庫入れなどにおいて壁等に最も接触しやすい場所でもあり、他の場所にカメラを設置することができるのであればその方が望ましい。   By the way, in the apparatus disclosed in Patent Document 1 described above, there is a problem that the degree of freedom of camera installation is small because it is necessary to substantially match the boundary between the images and the shooting direction of the camera. For example, when shooting the surroundings of a vehicle, it is necessary to install cameras at the four corners of the vehicle body, but the four corners of the vehicle are also the places where they are most likely to come into contact with walls, etc. If it is possible to install a camera, it is preferable.

本発明は、このような点に鑑みて創作されたものであり、その目的は、カメラ設置の自由度を確保することができ、撮影された物体の画像が表示の際に消失することを防止することができる車両運転支援装置を提供することにある。   The present invention was created in view of the above points, and its purpose is to ensure the degree of freedom of camera installation and to prevent a photographed object image from disappearing during display. It is in providing the vehicle driving assistance device which can do.

上述した課題を解決するために、本発明の車両運転支援装置は、自車両から路面を含む周辺を撮影する複数のカメラと、複数のカメラによって撮影された第１の画像のそれぞれに基づいて路面投影を行って路面に投影された複数の第２の画像を生成する路面投影処理手段と、路面投影処理手段によって生成された複数のカメラのそれぞれに対応する複数の第２の画像を合成する画像合成手段と、画像合成手段によって合成された第２の画像を表示する表示手段と、２台のカメラの撮影範囲の一部が重複する場合に、この重複領域に対応する第２の画像の内容に基づいて、画像合成手段によって第２の画像を合成する際の重複領域における境界位置を可変に設定する合成境界設定手段とを備えている。これにより、路面投影された画像を合成する際に、合成対象となる一方の画像のみに含まれる物体の画像を確実に合成後の画像に含ませることが可能であり、撮影された物体の画像が表示の際に消失することを防止することができる。また、合成対象となる画像が部分的に重複するように複数のカメラの設置位置を決めればよいため、カメラ設置の自由度を確保することができる。   In order to solve the above-described problem, the vehicle driving support device according to the present invention provides a road surface based on each of a plurality of cameras that capture the periphery including the road surface from the host vehicle and a first image that is captured by the plurality of cameras. An image that combines a plurality of second images corresponding to each of a road surface projection processing unit that performs projection and generates a plurality of second images projected on the road surface, and a plurality of cameras generated by the road surface projection processing unit. The contents of the second image corresponding to the overlapping area when the combining means, the display means for displaying the second image synthesized by the image synthesizing means, and a part of the shooting range of the two cameras overlap. And a synthesis boundary setting means for variably setting the boundary position in the overlapping region when the second image is synthesized by the image synthesis means. As a result, when compositing road projected images, it is possible to reliably include the image of the object included in only one of the images to be combined in the combined image, and the captured image of the object Can be prevented from disappearing during display. In addition, since it is only necessary to determine the installation positions of a plurality of cameras so that the images to be combined partially overlap, it is possible to ensure the degree of freedom of camera installation.

また、上述した重複領域に対応する２つの第２の画像において特徴抽出を行う特徴抽出手段をさらに備え、合成境界設定手段は、重複領域に対応して特徴抽出手段によって抽出された特徴に基づいて境界位置を設定する。具体的には、上述した特徴抽出手段は、重複領域に対応する２つの第２の画像においてエッジ抽出を行い、抽出されたエッジ形状およびこのエッジ形状で区画される部分画像を構成する画素データの少なくとも一方を特徴として抽出することが望ましい。これにより、重複領域における一方の画像のみに物体の画像が含まれていることを容易かつ確実に検出することができる。 Further, the image processing apparatus further includes a feature extraction unit that performs feature extraction on the two second images corresponding to the overlap region, and the synthesis boundary setting unit is based on the feature extracted by the feature extraction unit corresponding to the overlap region. Set the boundary position . Specifically, the feature extraction unit described above performs edge extraction on the two second images corresponding to the overlap region, and extracts the edge shape and the pixel data constituting the partial image partitioned by the edge shape. It is desirable to extract at least one as a feature. Thereby, it can be detected easily and reliably that the image of the object is included in only one image in the overlapping region.

また、上述した合成境界設定手段は、特徴抽出手段によって抽出された特徴で特定される複数の部分画像が、重複領域に対応する２つの第２の画像の一方のみであってそれぞれの第２の画像に分散して含まれる場合に、画像合成手段によって合成された後の第２の画像にこれらの部分画像が含まれる割合（例えば部分画像の面積比）が等しくなるように境界位置を設定する。このように合成の境界を設定することにより、一方の画像のみに含まれる物体の部分画像を最大限表示に含ませることが可能になり、境界近傍に存在する物体の視認性を向上させることができる。 In the above-described synthesis boundary setting unit, the plurality of partial images specified by the features extracted by the feature extraction unit are only one of the two second images corresponding to the overlapping area, and each of the second images When included in an image, the boundary position is set so that the ratio (for example, the area ratio of the partial images) that these partial images are included in the second image combined by the image combining means is equal. . By setting the composition boundary in this way, it becomes possible to include the partial image of the object included in only one image in the display to the maximum, and the visibility of the object existing in the vicinity of the boundary can be improved. it can.

以下、本発明を適用した一実施形態の車両運転支援装置について、図面を参照しながら説明する。図１は、一実施形態の車両運転支援装置の構成を示す図である。図１に示す車両運転支援装置１００は、カメラ１０ａ〜１０ｄ、撮影画像格納部１２ａ〜１２ｄ、トップビュー画像変換部２０、トップビュー画像格納部２２、特徴抽出部３０、合成境界設定部３２、画像合成部４０、表示処理部４２、表示装置４４を含んで構成されている。   Hereinafter, a vehicle driving support apparatus according to an embodiment to which the present invention is applied will be described with reference to the drawings. FIG. 1 is a diagram illustrating a configuration of a vehicle driving support device according to an embodiment. A vehicle driving support apparatus 100 shown in FIG. 1 includes cameras 10a to 10d, captured image storage units 12a to 12d, a top view image conversion unit 20, a top view image storage unit 22, a feature extraction unit 30, a composite boundary setting unit 32, and an image. The composition unit 40 includes a display processing unit 42 and a display device 44.

カメラ１０ａ〜１０ｄは、自車両の周囲を広角レンズとしての魚眼レンズを通して撮影する。図２は、４台のカメラ１０ａ〜１０ｄの設置位置を示す図である。自車両である車両２００の右側のドアミラーにカメラ１０ａが設置されている。また、左側のドアミラーにカメラ１０ｂが設置されている。後部のトランクドアにカメラ１０ｃが設置されている。前部のバンパー近傍にカメラ１０ｄが設置されている。これらのカメラ１０ａ〜１０ｄのそれぞれは、１８０度の視野角を有する魚眼レンズを通して車両２００の周辺を撮影する。したがって、隣接した２台のカメラ（例えばカメラ１０ａとカメラ１０ｄ）の撮影範囲の一部が重複しており、本実施形態ではこの重複領域における画像合成時の境界位置が可変に設定される。これらのカメラ１０ａ〜１０ｄによって、車両２００に対して地面を含む水平方向のサイドビュー画像（第１の画像）が得られる。カメラ１０ａ〜１０ｄのそれぞれから出力されるサイドビュー画像データは、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納される。   The cameras 10a to 10d photograph the surroundings of the host vehicle through a fisheye lens as a wide angle lens. FIG. 2 is a diagram illustrating the installation positions of the four cameras 10a to 10d. The camera 10a is installed in the door mirror on the right side of the vehicle 200 that is the host vehicle. A camera 10b is installed on the left door mirror. A camera 10c is installed in the rear trunk door. A camera 10d is installed in the vicinity of the front bumper. Each of these cameras 10a to 10d photographs the periphery of the vehicle 200 through a fisheye lens having a viewing angle of 180 degrees. Accordingly, a part of the shooting range of two adjacent cameras (for example, the camera 10a and the camera 10d) overlaps, and in this embodiment, the boundary position at the time of image composition in this overlapping region is variably set. By these cameras 10a to 10d, a horizontal side view image (first image) including the ground is obtained with respect to the vehicle 200. The side view image data output from each of the cameras 10a to 10d is stored in each of the captured image storage units 12a to 12d.

トップビュー画像変換部２０は、撮影画像格納部１２ａ〜１２ｄのそれぞれに格納されたサイドビュー画像に基づいて、視点位置を車両上空に設定して路面投影処理を行ってトップビュー画像（第２の画像）を生成する。上述したように、カメラ１０ａ〜１０ｄのそれぞれは１８０度の視野角を有するため、それぞれのサイドビュー画像に対応するトップビュー画像にも部分的に互いに重複した領域が存在する。トップビュー画像変換部２０によって生成されたカメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像は、トップビュー画像格納部２２に格納される。   Based on the side view images stored in each of the captured image storage units 12a to 12d, the top view image conversion unit 20 sets the viewpoint position above the vehicle and performs road surface projection processing to perform the top view image (second view). Image). As described above, since each of the cameras 10a to 10d has a viewing angle of 180 degrees, there are regions that partially overlap each other in the top view image corresponding to each side view image. The top view images corresponding to each of the cameras 10 a to 10 d generated by the top view image conversion unit 20 are stored in the top view image storage unit 22.

特徴抽出部３０は、トップビュー画像格納部２２に格納された４台のカメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像の重複領域を用いて特徴抽出を行う。具体的には、特徴抽出部３０は、重複領域に対応する２つのトップビュー画像においてエッジ抽出を行い、抽出されたエッジ形状およびこのエッジ形状で区画される部分画像を構成する画素データの少なくとも一方を特徴として抽出する。これにより、撮影範囲に含まれる物体（この物体には立体物だけでなく路面に描かれた道路標識等の平面的な模様等も含まれる）に対応する部分画像がこの重複領域に含まれる場合に、エッジ形状あるいはエッジ形状で区画される部分の色や輝度等を示す画素データの少なくとも一方を用いてこの部分画像を認識することが可能となる。   The feature extraction unit 30 performs feature extraction using overlapping regions of the top view images corresponding to the four cameras 10 a to 10 d stored in the top view image storage unit 22. Specifically, the feature extraction unit 30 performs edge extraction on the two top view images corresponding to the overlapping region, and at least one of the extracted edge shape and the pixel data constituting the partial image partitioned by the edge shape Are extracted as features. As a result, a partial image corresponding to an object included in the shooting range (this object includes not only a three-dimensional object but also a planar pattern such as a road sign drawn on a road surface) is included in this overlapping region. In addition, it is possible to recognize this partial image using at least one of pixel data indicating the color, luminance, and the like of the edge shape or the portion partitioned by the edge shape.

合成境界設定部３２は、重複領域に対応して特徴抽出部３０によって抽出された特徴、すなわちこの特徴によって識別される部分画像に基づいて、カメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像を合成する際の重複領域における境界位置を可変に設定する。   The synthesis boundary setting unit 32 synthesizes the top view images corresponding to the respective cameras 10a to 10d based on the feature extracted by the feature extraction unit 30 corresponding to the overlapping region, that is, the partial image identified by this feature. The boundary position in the overlapping area is set to be variable.

図３は、境界位置設定の具体例を示す図である。合成境界設定部３２は、特徴抽出部３０による特徴抽出によって特定された部分画像が、重複領域に対応する一方のトップビュー画像のみに含まれる場合に、合成後のトップビュー画像にこの部分画像が含まれるように重複領域における境界位置を設定する。図３に示す例では、カメラ１０ａに対応するトップビュー画像のみに部分画像Ａ１が含まれており、カメラ１０ｄに対応するトップビュー画像にはこの部分画像Ａ１が含まれていない。したがって、合成境界設定部３２は、合成後の画像にこの部分画像Ａ１が含まれるように境界Ｂの角度θを設定する。なお、このようにして設定された角度θが基準値以下になる場合には、予め決められている固定値を用いて角度θを設定するようにしてもよい。例えば、部分画像が含まれるように設定された角度θが４５度未満の場合にこの角度θを可変設定する代わりに固定値としての４５度に設定するようにしてもよい。また、重複領域に対応する２つのトップビュー画像のいずれにも部分画像が含まれない場合も固定値を用いて角度θが設定される。また、図３では（以下で示す図４についても同様）、重複領域に対応する両方のトップビュー画像に含まれる共通の部分画像（同じ物体を２つのカメラのそれぞれを用いて撮影して得られたと考えられる部分画像）には特に言及しなかったが、このような部分画像は境界設定の判断対象から除外される。   FIG. 3 is a diagram illustrating a specific example of the boundary position setting. When the partial image specified by the feature extraction by the feature extraction unit 30 is included only in one top view image corresponding to the overlapping region, the synthesis boundary setting unit 32 includes the partial image in the top view image after synthesis. The boundary position in the overlapping area is set so as to be included. In the example shown in FIG. 3, the partial image A1 is included only in the top view image corresponding to the camera 10a, and the partial image A1 is not included in the top view image corresponding to the camera 10d. Therefore, the composite boundary setting unit 32 sets the angle θ of the boundary B so that the partial image A1 is included in the composited image. When the angle θ set in this way is equal to or smaller than the reference value, the angle θ may be set using a predetermined fixed value. For example, when the angle θ set to include a partial image is less than 45 degrees, the angle θ may be set to 45 degrees as a fixed value instead of being variably set. In addition, even when a partial image is not included in any of the two top view images corresponding to the overlapping area, the angle θ is set using a fixed value. In FIG. 3 (the same applies to FIG. 4 shown below), a common partial image (obtained by photographing the same object using each of the two cameras) included in both top view images corresponding to the overlapping region. However, such partial images are excluded from the determination targets of the boundary setting.

図４は、境界位置設定の他の具体例を示す図である。合成境界設定部３２は、特徴抽出部３０による特徴抽出によって特定された複数の部分画像のそれぞれが、重複領域における一方のトップビュー画像のみであってそれぞれのトップビュー画像に分散して含まれる場合に、合成後のトップビュー画像にこれらの部分画像が含まれる割合（例えば重複領域における面積比）が等しくなるように重複領域における境界位置を設定する。図４に示す例では、カメラ１０ａに対応するトップビュー画像のみに部分画像Ａ１が含まれ、カメラ１０ｄに対応するトップビュー画像のみに部分画像Ａ２が含まれている。したがって、合成境界設定部３２は、合成後の画像にこれらの部分画像Ａ１、Ａ２が含まれる割合が等しくなるように境界Ｂの角度θを設定する。   FIG. 4 is a diagram illustrating another specific example of the boundary position setting. The synthesis boundary setting unit 32 includes a case where each of the plurality of partial images specified by the feature extraction by the feature extraction unit 30 is only one of the top view images in the overlapping region and is dispersedly included in each top view image. In addition, the boundary position in the overlapping region is set so that the ratio (for example, the area ratio in the overlapping region) that these partial images are included in the combined top view image is equal. In the example shown in FIG. 4, the partial image A1 is included only in the top view image corresponding to the camera 10a, and the partial image A2 is included only in the top view image corresponding to the camera 10d. Therefore, the composite boundary setting unit 32 sets the angle θ of the boundary B so that the ratios in which the partial images A1 and A2 are included in the composite image are equal.

画像合成部４０は、トップビュー画像格納部２２に格納された４つのカメラ１０ａ〜１０ｄのそれぞれに対応する４つのトップビュー画像を、合成境界設定部３２で設定された境界として合成する。４つのトップビュー画像は、互いに重複領域を有しているが、合成境界設定部３２によって設定された境界を境としていずれか一方のトップビュー画像のみが用いられる。合成後の画像を構成する各画素データは、表示処理部４２内のＶＲＡＭ（ビデオＲＡＭ）に書き込まれる。このＶＲＡＭは、表示用のメモリであり、格納位置と表示位置とが対応付けられている。表示処理部４２は、ＶＲＡＭに格納されたデータを読み出して、所定形式の映像信号（例えばＮＴＳＣ方式の映像信号）に変換する。この映像信号は表示装置４４に向けて出力され、その画面上に路面投影された画像が表示される。表示装置４４は、例えば液晶表示装置（ＬＣＤ）を用いて構成されており、運転者が容易に目視可能な車室内位置に設置されている。   The image synthesis unit 40 synthesizes the four top view images corresponding to the four cameras 10 a to 10 d stored in the top view image storage unit 22 as the boundaries set by the synthesis boundary setting unit 32. The four top view images have mutually overlapping areas, but only one of the top view images is used with the boundary set by the synthesis boundary setting unit 32 as a boundary. Each pixel data constituting the combined image is written in a VRAM (video RAM) in the display processing unit 42. The VRAM is a display memory, and a storage position and a display position are associated with each other. The display processing unit 42 reads the data stored in the VRAM and converts it into a predetermined format video signal (for example, an NTSC video signal). This video signal is output to the display device 44, and an image projected on the road surface is displayed on the screen. The display device 44 is configured by using, for example, a liquid crystal display device (LCD), and is installed at a vehicle interior position where the driver can easily see.

図５は、合成後のトップビュー画像の表示例を示す図である。図４に示した部分画像Ａ１、Ａ２が含まれるトップビュー画像が境界Ｂで合成された場合の部分的な表示例が示されている。   FIG. 5 is a diagram illustrating a display example of the top view image after synthesis. 4 shows a partial display example when the top view image including the partial images A1 and A2 shown in FIG.

上述したトップビュー画像変換部２０が路面投影処理手段に、画像合成部４０が画像合成手段に、表示処理部４２、表示装置４４が表示手段に、合成境界設定部３２が合成境界設定手段に、特徴抽出部３０が特徴抽出手段にそれぞれ対応する。   The above-described top view image conversion unit 20 is the road surface projection processing unit, the image synthesis unit 40 is the image synthesis unit, the display processing unit 42 and the display device 44 are the display unit, the synthesis boundary setting unit 32 is the synthesis boundary setting unit, The feature extraction unit 30 corresponds to feature extraction means.

本実施形態の車両運転支援装置はこのような構成を有しており、次にその動作を説明する。図６は、重複領域における境界位置を可変設定する場合の動作手順を示す流れ図である。カメラ１０ａ〜１０ｄによって所定の時間間隔で車両２００の周辺が撮影される（ステップ１００）。この撮影によって得られたサイドビュー画像は撮影画像格納部１２ａ〜１２ｄに格納される。次に、トップビュー画像変換部２２は、撮影画像格納部１２ａ〜１２ｄに格納されているサイドビュー画像に基づいてトップビュー画像を生成する（ステップ１０１）。   The vehicle driving support apparatus of this embodiment has such a configuration, and the operation thereof will be described next. FIG. 6 is a flowchart showing an operation procedure when the boundary position in the overlapping region is variably set. The surroundings of the vehicle 200 are photographed at predetermined time intervals by the cameras 10a to 10d (step 100). The side view images obtained by this photographing are stored in the photographed image storage units 12a to 12d. Next, the top view image conversion unit 22 generates a top view image based on the side view images stored in the captured image storage units 12a to 12d (step 101).

また、特徴抽出部３０は、トップビュー画像格納部２２に格納された４台のカメラ１０ａ〜１０ｄのそれぞれに対応するトップビュー画像の重複領域を用いてエッジ抽出（特徴抽出）を行う（ステップ１０２）。抽出されたエッジによって部分画像が特定される。次に、合成境界設定部３２は、重複領域の一方のトップビュー画像のみに部分画像が含まれるか否かを判定する（ステップ１０３）。ここで、一方のトップビュー画像のみに部分画像が含まれる場合とは、図３に示したように、重複領域における一方のトップビュー画像のみに部分画像が含まれており、他方のトップビュー画像にはこの部分画像以外に他の部分画像が含まれていない場合と、図４に示したように、重複領域における一方のトップビュー画像のみに第１の部分画像が含まれるとともに、他方のトップビュー画像のみに別の第２の部分画像が含まれている場合の両方が該当する。これらのいずれかの場合にはステップ１０３において肯定判断が行われ、合成境界設定部３２は、重複領域におけるトップビュー画像の内容（部分画像の配置や面積）に基づいて合成の境界を設定する（ステップ１０４）。なお、重複領域の２つのトップビュー画像のいずれにも部分画像が含まれない場合にはステップ１０３の判定において否定判断が行われ、予め決められた固定の境界が用いられる。   Further, the feature extraction unit 30 performs edge extraction (feature extraction) using the overlapping regions of the top view images corresponding to the four cameras 10a to 10d stored in the top view image storage unit 22 (step 102). ). The partial image is specified by the extracted edge. Next, the composite boundary setting unit 32 determines whether or not a partial image is included only in one top view image of the overlapping region (step 103). Here, the case where the partial image is included only in one top view image means that the partial image is included only in one top view image in the overlapping region as shown in FIG. Includes no partial image other than this partial image, and, as shown in FIG. 4, only one top view image in the overlapping region includes the first partial image and the other top image. Both cases where only the view image includes another second partial image are applicable. In any of these cases, an affirmative determination is made in step 103, and the composition boundary setting unit 32 sets a composition boundary based on the content of the top view image (partial image arrangement and area) in the overlapping region ( Step 104). If no partial image is included in any of the two top view images in the overlapping area, a negative determination is made in the determination in step 103, and a predetermined fixed boundary is used.

その後、画像合成部４０は、４つのカメラ１０ａ〜１０ｄのそれぞれに対応する４つのトップビュー画像を、設定された境界を用いて合成し（ステップ１０５）、表示処理部４２は、合成された画像を表示装置４４の画面上に表示する（ステップ１０６）。   Thereafter, the image composition unit 40 composes the four top view images corresponding to the four cameras 10a to 10d using the set boundaries (step 105), and the display processing unit 42 composes the synthesized images. Is displayed on the screen of the display device 44 (step 106).

このように、本実施形態の車両運転支援装置１００では、路面投影されたトップビュー画像を合成する際に、重複領域において合成対象となる一方のトップビュー画像のみに含まれる部分画像を確実に合成後のトップビュー画像に含ませることが可能であり、撮影された物体の画像が表示の際に消失することを防止することができる。また、合成対象となる画像が部分的に重複するように複数のカメラ１０ａ〜１０ｄの設置位置を決めればよいため、カメラ設置の自由度を確保することができる。   As described above, in the vehicle driving assistance device 100 according to the present embodiment, when the top view image projected on the road surface is combined, the partial images included only in one of the top view images to be combined in the overlapping region are surely combined. It can be included in a later top view image, and it is possible to prevent the image of the photographed object from disappearing during display. In addition, since it is only necessary to determine the installation positions of the plurality of cameras 10a to 10d so that the images to be combined partially overlap, the degree of freedom of camera installation can be ensured.

特に、一方のトップビュー画像のみに部分画像が含まれる場合にはこの部分画像が含まれるように境界を設定し、両方のトップビュー画像に別々の部分画像が含まれる場合にはそれぞれの部分画像の割合（例えば面積比）が等しくなるように境界を設定することにより、一方のトップビュー画像のみに含まれる部分画像を最大限画像合成後の表示に含ませることが可能になり、境界近傍に存在する物体の視認性を向上させることができる。   In particular, when a partial image is included only in one top-view image, a boundary is set so that this partial image is included. When separate partial images are included in both top-view images, each partial image is set. By setting the boundary so that the ratio (for example, the area ratio) becomes equal, it becomes possible to include the partial image included only in one top view image in the display after the image composition as much as possible, and in the vicinity of the boundary. The visibility of an existing object can be improved.

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、図３および図４に示したように、重複領域における境界Ｂを直線形状としたが、直線形状以外の形状を有する境界を設定してもよい。例えば、図７に示すように、重複領域における一方のトップビュー画像のみに含まれる部分画像Ａ１と他方のトップビュー画像のみに含まれる部分画像Ａ３の表示位置（描画位置）が重複しない場合には、これらの部分画像Ａ１、Ａ３のいずれもが含まれるように変形した複雑な形状を有する境界Ｂを設定するようにしてもよい。   In addition, this invention is not limited to the said embodiment, A various deformation | transformation implementation is possible within the range of the summary of this invention. In the above-described embodiment, as shown in FIGS. 3 and 4, the boundary B in the overlapping region has a linear shape, but a boundary having a shape other than the linear shape may be set. For example, as shown in FIG. 7, when the display position (drawing position) of the partial image A1 included only in one top view image and the partial image A3 included only in the other top view image in the overlapping region does not overlap. The boundary B having a complex shape deformed so as to include both the partial images A1 and A3 may be set.

一実施形態の車両運転支援装置の構成を示す図である。It is a figure which shows the structure of the vehicle driving assistance device of one Embodiment. ４台のカメラの設置位置を示す図である。It is a figure which shows the installation position of four cameras. 境界位置設定の具体例を示す図である。It is a figure which shows the specific example of boundary position setting. 境界位置設定の他の具体例を示す図である。It is a figure which shows the other specific example of a boundary position setting. 合成後のトップビュー画像の表示例を示す図である。It is a figure which shows the example of a display of the top view image after a synthesis | combination. 重複領域における境界位置を可変設定する場合の動作手順を示す流れ図である。It is a flowchart which shows the operation | movement procedure in the case of variably setting the boundary position in an overlap area | region. 直線形状以外の境界の例を示す図である。It is a figure which shows the example of a boundary other than a linear shape.

符号の説明Explanation of symbols

１０ａ〜１０ｄ カメラ
１２ａ〜１２ｄ 撮影画像格納部
２０ トップビュー画像変換部
２２ トップビュー画像格納部
３０ 特徴抽出部
３２ 合成境界設定部
４０ 画像合成部
４２ 表示処理部
４４ 表示装置
１００ 車両運転支援装置 10a to 10d Cameras 12a to 12d Captured image storage unit 20 Top view image conversion unit 22 Top view image storage unit 30 Feature extraction unit 32 Composition boundary setting unit 40 Image composition unit 42 Display processing unit 44 Display device 100 Vehicle driving support device

Claims (3)

自車両から路面を含む周辺を撮影する複数のカメラと、
前記複数のカメラによって撮影された第１の画像のそれぞれに基づいて路面投影を行って路面に投影された複数の第２の画像を生成する路面投影処理手段と、
前記路面投影処理手段によって生成された前記複数のカメラのそれぞれに対応する複数の前記第２の画像を合成する画像合成手段と、
前記画像合成手段によって合成された前記第２の画像を表示する表示手段と、
２台の前記カメラの撮影範囲の一部が重複する場合に、この重複領域に対応する前記第２の画像の内容に基づいて、前記画像合成手段によって前記第２の画像を合成する際の前記重複領域における境界位置を可変に設定する合成境界設定手段と、
前記重複領域に対応する２つの前記第２の画像において特徴抽出を行う特徴抽出手段と、
を備え、前記特徴抽出手段によって抽出された特徴で特定される複数の部分画像が、前記重複領域に対応する２つの前記第２の画像の一方のみであってそれぞれの前記第２の画像に分散して含まれる場合に、前記画像合成手段によって合成された後の前記第２の画像にこれらの部分画像が含まれる割合が等しくなるように前記境界位置を設定することを特徴とする車両運転支援装置。 A plurality of cameras for photographing the surrounding area including the road surface from the own vehicle;
Road surface projection processing means for performing road surface projection based on each of the first images photographed by the plurality of cameras and generating a plurality of second images projected on the road surface;
Image combining means for combining a plurality of the second images corresponding to each of the plurality of cameras generated by the road surface projection processing means;
Display means for displaying the second image synthesized by the image synthesis means;
When a part of the imaging range of the two cameras overlaps, the second image is synthesized by the image synthesizing unit based on the content of the second image corresponding to the overlapping area. Synthetic boundary setting means for variably setting the boundary position in the overlapping region;
Feature extraction means for performing feature extraction on the two second images corresponding to the overlapping region;
And the plurality of partial images specified by the features extracted by the feature extraction means are only one of the two second images corresponding to the overlapping region and are distributed to the second images. when included in a vehicle driving, characterized in that you set the boundary position as the percentage that contain these partial images is equal to said second image after being synthesized by the image synthesizing means Support device. 請求項１において、
前記特徴抽出手段は、前記重複領域に対応する２つの前記第２の画像においてエッジ抽出を行い、抽出されたエッジ形状およびこのエッジ形状で区画される部分画像を構成する画素データの少なくとも一方を特徴として抽出することを特徴とする車両運転支援装置。 In claim 1,
The feature extraction unit performs edge extraction on the two second images corresponding to the overlap region, and features at least one of the extracted edge shape and pixel data constituting a partial image partitioned by the edge shape. A vehicle driving support device characterized by being extracted as: 請求項１または２において、
前記割合は、前記部分画像の面積比であることを特徴とする車両運転支援装置。 In claim 1 or 2,
The vehicle driving support device according to claim 1, wherein the ratio is an area ratio of the partial images.
JP2005374699A 2005-12-27 2005-12-27 Vehicle driving support device Active JP4606322B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2005374699A JP4606322B2 (en) 2005-12-27 2005-12-27 Vehicle driving support device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005374699A JP4606322B2 (en) 2005-12-27 2005-12-27 Vehicle driving support device

Publications (2)

Publication Number Publication Date
JP2007180720A JP2007180720A (en) 2007-07-12
JP4606322B2 true JP4606322B2 (en) 2011-01-05

Family

ID=38305472

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005374699A Active JP4606322B2 (en) 2005-12-27 2005-12-27 Vehicle driving support device

Country Status (1)

Country Link
JP (1) JP4606322B2 (en)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100955889B1 (en) * 2008-01-08 2010-05-03 고려대학교 산학협력단 Apparatus And Method For Generating Panorama Image And Apparatus For Monitoring Rear View Of Vehicle Based On Panorama Image
JP5182042B2 (en) 2008-11-28 2013-04-10 富士通株式会社 Image processing apparatus, image processing method, and computer program
JP5439890B2 (en) 2009-03-25 2014-03-12 富士通株式会社 Image processing method, image processing apparatus, and program
DE102009036200A1 (en) 2009-08-05 2010-05-06 Daimler Ag Method for monitoring surrounding area of vehicle utilized for transport of e.g. goods, involves generating entire image, where course of boundary lines is given such that lines run away from objects depending on positions of objects
WO2011036892A1 (en) * 2009-09-24 2011-03-31 パナソニック株式会社 Driving support display device
KR101077584B1 (en) * 2009-12-14 2011-10-27 (주) 에투시스템 Apparatus and method for processing images obtained by a plurality of cameras
JP5479956B2 (en) * 2010-03-10 2014-04-23 クラリオン株式会社 Ambient monitoring device for vehicles
JP5476216B2 (en) * 2010-06-01 2014-04-23 クラリオン株式会社 Ambient monitoring device for vehicles
JP6411100B2 (en) * 2014-07-08 2018-10-24 アルパイン株式会社 Vehicle surrounding image generation apparatus and vehicle surrounding image generation method
JP6662762B2 (en) * 2016-12-19 2020-03-11 株式会社クボタ Work vehicle
JP6939580B2 (en) * 2018-01-10 2021-09-22 株式会社デンソー Image synthesizer for vehicles
WO2022074848A1 (en) * 2020-10-09 2022-04-14 株式会社ソシオネクスト Image processing device, image processing method, and image processing program

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198794A (en) * 1997-01-10 1998-07-31 Omron Corp Object recognizer
JP2002166802A (en) * 2000-11-30 2002-06-11 Toyota Motor Corp Device for monitoring around vehicle
JP2003044996A (en) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd Obstacle detecting device
JP2003204547A (en) * 2001-10-15 2003-07-18 Matsushita Electric Ind Co Ltd Vehicle surrounding monitoring system and method for adjusting the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10198794A (en) * 1997-01-10 1998-07-31 Omron Corp Object recognizer
JP2002166802A (en) * 2000-11-30 2002-06-11 Toyota Motor Corp Device for monitoring around vehicle
JP2003044996A (en) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd Obstacle detecting device
JP2003204547A (en) * 2001-10-15 2003-07-18 Matsushita Electric Ind Co Ltd Vehicle surrounding monitoring system and method for adjusting the same

Also Published As

Publication number Publication date
JP2007180720A (en) 2007-07-12

Similar Documents

Publication Publication Date Title
JP4606322B2 (en) Vehicle driving support device
JP5194679B2 (en) Vehicle periphery monitoring device and video display method
JP5159070B2 (en) Vehicle periphery image display device and display method
US7825953B2 (en) Vehicular image display apparatus
JP5321711B2 (en) Vehicle periphery monitoring device and video display method
JP4248570B2 (en) Image processing apparatus and visibility support apparatus and method
US9087256B2 (en) Dynamic image processing method and system for processing vehicular image
JP4315968B2 (en) Image processing apparatus and visibility support apparatus and method
JP2002019556A (en) Monitoring system
JP2008077628A (en) Image processor and vehicle surrounding visual field support device and method
JP4718347B2 (en) Vehicle driving support device
JP2009524171A (en) How to combine multiple images into a bird's eye view image
JP2009100095A (en) Image processing apparatus and image processing method
JP2009017020A (en) Image processor and method for generating display image
JP5404932B2 (en) Method and apparatus for visually displaying combined video data and interval data of traffic conditions
JP2016168877A (en) Visual recognition device for vehicle
JP2007172501A (en) Vehicle driving support apparatus
JP2006254318A (en) Vehicle-mounted camera, vehicle-mounted monitor and forward road area imaging method
KR101614247B1 (en) Apparatus for displaying image matching region of panorama image
JP3446277B2 (en) Ambient situation display device for vehicles
JP6293089B2 (en) Rear monitor
JP4679260B2 (en) Vehicle driving support device
JP2007180719A (en) Vehicle drive support apparatus
JP2006080626A (en) Method of correcting wide angle image and method of monitoring vehicle periphery
CN110576796A (en) Standard-definition 360-panorama system UI layout method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080325

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101005

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101005

R150 Certificate of patent or registration of utility model

Ref document number: 4606322

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131015

Year of fee payment: 3