JP2021024443A - Image processing device - Google Patents
Image processing device Download PDFInfo
- Publication number
- JP2021024443A JP2021024443A JP2019144106A JP2019144106A JP2021024443A JP 2021024443 A JP2021024443 A JP 2021024443A JP 2019144106 A JP2019144106 A JP 2019144106A JP 2019144106 A JP2019144106 A JP 2019144106A JP 2021024443 A JP2021024443 A JP 2021024443A
- Authority
- JP
- Japan
- Prior art keywords
- image
- vehicle
- camera
- view
- captured
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 27
- 210000000746 body region Anatomy 0.000 claims abstract description 10
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000002194 synthesizing effect Effects 0.000 claims description 8
- 239000000203 mixture Substances 0.000 abstract description 3
- 238000000034 method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 6
- 239000002131 composite material Substances 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Description
本発明は、車載カメラで撮像された画像を処理する画像処理装置に関し、特に、サイドカメラで撮像された画像にリアカメラで撮像された画像を合成する方法に関する。 The present invention relates to an image processing device that processes an image captured by an in-vehicle camera, and more particularly to a method of synthesizing an image captured by a rear camera with an image captured by a side camera.
運転者の運転支援や視認性の向上を図るため、車載カメラで撮像された画像をディスプレイに表示するＣＭＳ（Camera Monitor System）が車両に搭載されている。例えば、サイドミラーの代替手段としてサイドカメラが車両の側部に取り付けられ、サイドカメラで撮像された車両の側部後方の画像がディスプレイに表示される。サイドカメラで撮像された画像には、光学式のサイドミラーの画像と同様に自車の車体の一部が含まれるが、この車体により死角となる領域を、リアカメラの画像と合成して、車体が透けているように見せる手法がある（以後、これをシースルービューと呼ぶ）。図３（Ａ）は、後方車両１０が存在するときのシースルービューの一例である。Ｒは、車体の境界であり、その境界Ｒの左側には、リアカメラで撮像された後方車両の画像１２が合成される。 A CMS (Camera Monitor System) that displays an image captured by an in-vehicle camera on a display is installed in the vehicle in order to assist the driver in driving and improve visibility. For example, as an alternative to the side mirrors, a side camera is attached to the side of the vehicle, and an image of the rear side of the vehicle captured by the side camera is displayed on the display. The image captured by the side camera includes a part of the vehicle body of the own vehicle as in the image of the optical side mirror, but the area that becomes a blind spot due to this vehicle body is combined with the image of the rear camera. There is a method to make the car body look transparent (hereinafter referred to as see-through view). FIG. 3A is an example of a see-through view when the rear vehicle 10 is present. R is the boundary of the vehicle body, and the image 12 of the rear vehicle captured by the rear camera is synthesized on the left side of the boundary R.
特許文献１は、図１に示すように、サイドカメラの画像とリアカメラの画像とを合成するに際して、右カメラ３Ｒにより撮像された右カメラ画像と右カメラ３Ｒの基準車体マスク画像とを第１視野変換処理して視野変換画像Ｒと視野変換した車体マスク画像を生成し、後方カメラ３Ｂで撮像された後方カメラ画像を第２視野変換処理して視野変換画像ＢＲを生成し、視野変換した車体マスク画像の画素値に基づいて、視野変換画像Ｒと視野変換画像ＢＲとを合成する。こうして、視野変換画像Ｒの車体領域に後方カメラ３Ｂで撮像された後方カメラ画像が合成され、車体による死角を補完するシースルービューが生成される。
なお、特許文献１では、超音波やレーザー等の距離センサを用いて自車後方の投影面の位置を算出し、その投影面で画像の合成を行っている。
As shown in FIG. 1, Patent Document 1 first combines a right camera image captured by the right camera 3R and a reference vehicle body mask image of the right camera 3R when synthesizing a side camera image and a rear camera image. The field of view conversion processing was performed to generate the field view conversion image R and the vehicle body mask image of the field size conversion, and the rear camera image captured by the rear camera 3B was subjected to the second field size conversion processing to generate the field view conversion image BR , and the field size was converted. based on the pixel values of the vehicle body mask image, it synthesizes the view transformation image R and the viewing transform image B R. In this way, the rear camera image captured by the rear camera 3B is combined with the vehicle body region of the field of view conversion image R, and a see-through view that complements the blind spot caused by the vehicle body is generated.
In Patent Document 1, the position of the projection surface behind the own vehicle is calculated by using a distance sensor such as an ultrasonic wave or a laser, and the image is synthesized on the projection surface.
従来のシースルービューの生成方法の概略工程を図２に示す。図２（Ａ）は、サイドカメラで車両の側部後方の画像が撮像されることを示し、図２（Ｂ）は、魚眼レンズのリアカメラで車両の後方の画像が撮像されることを示し、図２（Ｃ）は、リアカメラで撮像された画像の認識処理により後方車両を検出し、後方車両までの距離を算出することを示し、図２（Ｄ）は、算出された距離に従いバーチャルプレーンをセットし、かつバーチャルプレーン上にリアカメラで撮像された画像を投影することを示し、図２（Ｅ）は、サイドカメラの画像と投影された画像との合成を示している。 FIG. 2 shows a schematic process of a conventional see-through view generation method. FIG. 2A shows that the side camera captures an image of the rear side of the vehicle, and FIG. 2B shows that the rear camera of the fisheye lens captures an image of the rear of the vehicle. FIG. 2C shows that the vehicle behind is detected by the recognition process of the image captured by the rear camera and the distance to the vehicle behind is calculated, and FIG. 2D shows a virtual plane according to the calculated distance. Is set and the image captured by the rear camera is projected on the virtual plane, and FIG. 2 (E) shows the composition of the image of the side camera and the projected image.
図３（Ａ）、（Ｂ）は、後方車両を含むシースルービューの表示例であり、図３（Ａ）は、車体の死角領域に、リアカメラで撮像された後方車両の画像１２が綺麗に合成された例を示しているが、図３（Ｂ）は、リアカメラで撮像された後方車両の画像１４が綺麗に合成されていない例を示している。Ｒは、自車の車体の境界である。 3 (A) and 3 (B) are display examples of the see-through view including the rear vehicle, and FIG. 3 (A) shows a beautiful image 12 of the rear vehicle captured by the rear camera in the blind spot area of the vehicle body. Although a composite example is shown, FIG. 3B shows an example in which the image 14 of the rear vehicle captured by the rear camera is not neatly composited. R is the boundary of the vehicle body of the own vehicle.
リアカメラは、通常、車両後部に取り付けられ、リアカメラで撮像された後方画像は、自車が後進するときの駐車支援や障害物検知等に利用される。このため、リアカメラは、自車の後端付近の路面を撮像することができるように、画角の大きな魚眼レンズを用いている（例えば、画角は１８０度かそれ以上）。一方、サイドカメラは、ドアミラー近傍の車両側部に取り付けられ、車両の側部後方の遠方まで撮像することができるように、その画角はリアカメラの画角よりも小さい（例えば、９０度以下）。 The rear camera is usually attached to the rear of the vehicle, and the rear image captured by the rear camera is used for parking assistance and obstacle detection when the vehicle moves backward. Therefore, the rear camera uses a fisheye lens having a large angle of view (for example, an angle of view of 180 degrees or more) so that the road surface near the rear end of the vehicle can be imaged. On the other hand, the side camera is attached to the side of the vehicle near the door mirror, and its angle of view is smaller than the angle of view of the rear camera (for example, 90 degrees or less) so that the image can be taken far behind the side of the vehicle. ).
シースルービューを生成するに際し、サイドカメラとリアカメラとの取り付け位置が異なり、かつリアカメラの解像度が低いため、単純にリアカメラで撮像された画像を拡張または縮小しても、サイドカメラで撮像した画像のようにはならない。その結果、図３（Ｂ）のようにリアカメラで撮像された画像１４の大きさがサイドカメラで撮像された画像の大きさに一致しなかったり、あるいは画像の合成位置がずれたりして、綺麗なシースルービューが生成されない。 When generating the see-through view, the mounting positions of the side camera and the rear camera are different, and the resolution of the rear camera is low. Therefore, even if the image captured by the rear camera is simply enlarged or reduced, the image is captured by the side camera. It doesn't look like the image. As a result, as shown in FIG. 3B, the size of the image 14 captured by the rear camera does not match the size of the image captured by the side camera, or the composite position of the image shifts. A clean see-through view is not generated.
一方、図３（Ａ）のように、綺麗なシースルービューを生成するためには、車両後方の３次元環境をより正確に認識し、この画像をサイドカメラで撮像された画像の車体領域にマッピングする必要がある。例えば、図４に示すように、自車Ｍの後方に後方車両１０が存在する場合には、自車Ｍから後方車両１０までの距離Ｌを正確に計測し、距離Ｌの面に後方車両１０の形状Ｓ（太線で表される形状）を表すリアカメラの画像を正確に投影する必要がある。 On the other hand, as shown in FIG. 3A, in order to generate a beautiful see-through view, the three-dimensional environment behind the vehicle is recognized more accurately, and this image is mapped to the vehicle body area of the image captured by the side camera. There is a need to. For example, as shown in FIG. 4, when the rear vehicle 10 is behind the own vehicle M, the distance L from the own vehicle M to the rear vehicle 10 is accurately measured, and the rear vehicle 10 is on the surface of the distance L. It is necessary to accurately project the image of the rear camera representing the shape S (shape represented by the thick line) of.
こうした空間認識をするには様々な手法があるが、例えば、図２（Ｃ）に示すように単眼のリアカメラで撮像された画像の認識処理により後方車両１０の距離を推定してもその距離は不正確であり、そうすると、図３（Ｂ）に示すように綺麗なシースルービューを生成することができなくなる。また、特許文献１のようにレーダーやLiDARのような距離センサを用いると、シースルービューの生成システムのコストが高くなってしまう。 There are various methods for such spatial recognition. For example, as shown in FIG. 2C, even if the distance of the rear vehicle 10 is estimated by the recognition process of the image captured by the monocular rear camera, the distance is the distance. Is inaccurate, which makes it impossible to generate a clean see-through view as shown in FIG. 3 (B). Further, if a distance sensor such as a radar or LiDAR is used as in Patent Document 1, the cost of the see-through view generation system becomes high.
本発明は、このような従来の課題を解決し、複数の撮像手段で撮像された画像の合成を高品質で行うことができる画像処理装置を提供することを目的とする。 An object of the present invention is to solve such a conventional problem and to provide an image processing apparatus capable of synthesizing images captured by a plurality of imaging means with high quality.
本発明に係る画像処理装置は、車両の側部に取り付けられ、車体領域を含む側部後方を撮像した第１の画像を提供する第１の撮像手段と、車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段と、第２の画像と第３の画像とを用いて車両後方の３次元環境を認識可能な第４の画像を生成する生成手段と、第１の画像の車体領域に第４の画像の対応する画像を合成する合成手段とを有する。 The image processing apparatus according to the present invention is attached to a side portion of a vehicle and is attached to a first imaging means for providing a first image of an image of the rear side portion including a vehicle body region and a rear portion of the vehicle. A second imaging means that provides a second image including the rear of the vehicle captured at the same angle of view, and a vehicle mounted at the rear of the vehicle and captured at a second angle of view narrower than the first angle of view. A third imaging means that provides a third image including the rear, and a generation means that uses the second image and the third image to generate a fourth image that can recognize the three-dimensional environment behind the vehicle. The body region of the first image is provided with a compositing means for synthesizing the corresponding image of the fourth image.
ある実施態様では、前記生成手段は、第２の画像を第３の画像に対応するように変換する変換手段と、変換された第２の画像と第３の画像とのステレオ視により視差を算出する算出手段とを有し、前記生成手段は、算出された視差に基づき車両後方の３次元環境を認識可能な第４の画像を生成する。ある実施態様では、前記第２の画像は、車両が後進するときのリアビュー用の画像として利用可能であり、前記第３の画像は、ルームミラー用の画像として利用可能である。ある実施態様では、前記第２の撮像手段および前記第３の撮像手段は、同じ高さに取り付けられる。ある実施態様では、画像処理装置はさらに、前記合成手段によって合成された画像を表示する第１の表示手段を含む。ある実施態様では、画像処理装置はさらに、前記第２の画像を表示する第２の表示手段、前記第３の画像を表示する第３の表示手段を含む。 In one embodiment, the generation means calculates parallax by a conversion means that converts a second image so as to correspond to a third image and a stereoscopic view of the converted second image and the third image. The generation means generates a fourth image capable of recognizing the three-dimensional environment behind the vehicle based on the calculated parallax. In certain embodiments, the second image is available as a rear-view image when the vehicle is moving backwards, and the third image is available as an image for a rear-view mirror. In certain embodiments, the second imaging means and the third imaging means are mounted at the same height. In certain embodiments, the image processing apparatus further includes a first display means for displaying the image synthesized by the compositing means. In certain embodiments, the image processing apparatus further includes a second display means for displaying the second image, a third display means for displaying the third image.
本発明によれば、第２の撮像手段および第３の撮像手段により撮像された第２の画像および第３の画像を用いて第１の画像の車体領域に対応する画像を生成するようにしたので、従来と比較して、低コストでありながら綺麗な合成画像を得ることができる。 According to the present invention, the second image and the third image captured by the second imaging means and the third imaging means are used to generate an image corresponding to the vehicle body region of the first image. Therefore, it is possible to obtain a beautiful composite image at a low cost as compared with the conventional one.
本発明に係る画像処理装置は、移動体等に取り付けられた撮像カメラで撮像された画像を合成する機能を有する。合成された画像は、ＣＭＳ(Camera Monitor System)に用いられ、ディスプレイに表示される。１つの好ましい態様では、画像処理装置は、サイドカメラで撮像された画像に含まれる車体の死角となる領域に、リアカメラで撮像された画像を合成し、シースルービューを生成する。 The image processing apparatus according to the present invention has a function of synthesizing images captured by an imaging camera attached to a moving body or the like. The combined image is used in a CMS (Camera Monitor System) and displayed on a display. In one preferred embodiment, the image processing apparatus synthesizes the image captured by the rear camera with the area of the vehicle body that becomes the blind spot included in the image captured by the side camera to generate a see-through view.
図５は、本発明の実施例に係る画像処理装置の構成を示すブロック図である。本実施例の画像処理装置１００は、車両に取り付けられた複数の撮像カメラ１１０Ｌ、１１０Ｒ、１２０、１３０と、これら撮像カメラで撮像された画像を受け取り、画像処理等を含む種々の制御を行う制御部１４０と、画像処理された画像を表示する表示部１５０とを備えている。本実施例の画像処理装置は、車両に搭載された車載装置（例えば、オーディオ・ビジュアル・ナビゲーション機能等を備えた電子装置）と連携した動作をすることも可能である。 FIG. 5 is a block diagram showing a configuration of an image processing device according to an embodiment of the present invention. The image processing device 100 of this embodiment receives a plurality of image pickup cameras 110L, 110R, 120, 130 mounted on the vehicle and images captured by these image pickup cameras, and controls various controls including image processing and the like. A unit 140 and a display unit 150 for displaying an image-processed image are provided. The image processing device of this embodiment can also operate in cooperation with an in-vehicle device (for example, an electronic device having an audio / visual / navigation function or the like) mounted on a vehicle.
図６は、撮像カメラの取り付け例を示す車両の平面図である。撮像カメラ１１０〜１３０は、例えば、ＣＣＤセンサやＣＭＯＳセンサ等の撮像素子と撮像レンズとを含む。撮像カメラ１１０Ｌ、１１０Ｒは、サイドミラーを代替するサイドカメラであり、車両Ｍの左右のサイドミラー内またはその近傍にそれぞれ取り付けられ、あるいはサイドミラーに置換される（以後、サイドカメラ１１０Ｌ、１１０Ｒという）。サイドカメラ１１０Ｌ、１１０Ｒの撮像レンズの画角θ１、すなわち撮像範囲は、例えば光軸から９０度かそれ以下である。光学式のサイドミラーに映される画像には、車両Ｍの周辺物体との位置関係を把握し易くするため車体の側部が映される。このため、サイドカメラ１１０Ｌ、１１０Ｒの光軸は、少なくとも光学式のサイドミラーと同様に、車体の側部の一部が撮像されるように調整される。 FIG. 6 is a plan view of a vehicle showing an example of mounting an imaging camera. The image pickup cameras 110 to 130 include, for example, an image pickup element such as a CCD sensor or a CMOS sensor and an image pickup lens. The imaging cameras 110L and 110R are side cameras that replace the side mirrors, and are mounted in or near the left and right side mirrors of the vehicle M, respectively, or replaced with side mirrors (hereinafter referred to as side cameras 110L and 110R). .. The angle of view θ1 of the image pickup lenses of the side cameras 110L and 110R, that is, the image pickup range is, for example, 90 degrees or less from the optical axis. In the image projected on the optical side mirror, the side portion of the vehicle body is projected in order to make it easy to grasp the positional relationship of the vehicle M with the peripheral objects. Therefore, the optical axes of the side cameras 110L and 110R are adjusted so that at least a part of the side portion of the vehicle body is imaged, similarly to the optical side mirror.
車両Ｍの後部には、２つの撮像カメラ１２０、１３０が取り付けられる。撮像カメラ１２０は、車両Ｍの後部の左右のほぼ中央であって、例えば、ナンバープレートやバンパーの高さ近傍に取り付けられる。撮像カメラ１２０は、広い視野角の魚眼レンズを含み、その画角θ２は、約１８０度かそれよりも大きい（以後、魚眼カメラという）。魚眼カメラ１２０は、車両Ｍの後方を広範囲で撮像し、撮像された画像は、車両Ｍの後端の路面を含む。魚眼レンズ１２０で撮像された画像は、車両Ｍが後進するとき（つまり、ギアポジションがバックのとき）、表示部１５０にリアビューとして表示される。運転者は、リアビューを視認しながら後方の障害物を確認したり、駐車を行う。また、魚眼カメラ１２０で撮像された画像は、後述するように、サイドカメラ１１０Ｌ、１１０Ｒで撮像された画像の合成にも利用される。 Two imaging cameras 120 and 130 are attached to the rear portion of the vehicle M. The image pickup camera 120 is mounted substantially at the center of the left and right sides of the rear portion of the vehicle M, for example, near the height of a license plate or a bumper. The imaging camera 120 includes a fish-eye lens having a wide viewing angle, and its field angle θ2 is about 180 degrees or larger (hereinafter referred to as a fish-eye camera). The fisheye camera 120 captures a wide range of images behind the vehicle M, and the captured image includes the road surface at the rear end of the vehicle M. The image captured by the fisheye lens 120 is displayed as a rear view on the display unit 150 when the vehicle M moves backward (that is, when the gear position is back). The driver checks the obstacles behind and parks while visually recognizing the rear view. Further, the image captured by the fisheye camera 120 is also used for synthesizing the images captured by the side cameras 110L and 110R, as will be described later.
もう１つの撮像カメラ１３０は、車両Ｍの後部の魚眼カメラ１２０とほぼ同じ高さに、魚眼カメラ１２０から一定距離だけ離れた位置に取り付けられる。撮像カメラ１３０は、魚眼レンズよりも画角が小さい撮像レンズを含み、その画角θ３は、約９０度かそれ以下である（以下、挟角カメラという）。挟角カメラ１３０は、ルームミラーの代替として利用され、ルームミラーで映される画像と同様の撮像範囲で車両Ｍの後方を撮像する。挟角カメラ１３０で撮像された画像は、車両が前進するときなどに表示部１５０にリアビューとして表示される。また、挟角カメラ１３０は、魚眼カメラ１２０とともに、サイドカメラ１１０Ｌ、１１０Ｒで撮像された画像の合成にも利用される。 The other imaging camera 130 is attached at a position substantially the same height as the fisheye camera 120 at the rear of the vehicle M and at a position separated from the fisheye camera 120 by a certain distance. The image pickup camera 130 includes an image pickup lens having an angle of view smaller than that of a fisheye lens, and the angle of view θ3 is about 90 degrees or less (hereinafter, referred to as a narrow angle camera). The narrow angle camera 130 is used as an alternative to the rear-view mirror, and images the rear of the vehicle M in the same imaging range as the image projected by the rear-view mirror. The image captured by the narrow angle camera 130 is displayed as a rear view on the display unit 150 when the vehicle moves forward. The narrow-angle camera 130 is also used together with the fisheye camera 120 for synthesizing images captured by the side cameras 110L and 110R.
制御部１４０は、サイドカメラ１１０Ｌ、１１０Ｒ、魚眼カメラ１２０、挟角カメラ１３０で撮像された画像を受け取り、受け取った画像を処理し、表示部１５０にシースルービューを表示させたり、リアビューを表示させる。制御部１４０は、後述するように魚眼カメラ１２０の画像と挟角カメラ１３０の画像を用いて後方の対象物までの距離を算出し、算出した距離に基づきバーチャルプレーン（図２（Ｄ）を参照）を設定し、バーチャルプレーン上に、それぞれ取り付け位置や画角が異なる各カメラ１１０〜１３０で撮像された画像を投影するように、これらの画像の座標変換を行う。制御部１４０は、バーチャルプレーンにおいて、サイドカメラ１１０Ｌ、１１０Ｒ、魚眼カメラ１２０、挟角カメラ１３０の変換された各画像の画素間の対応関係を算出する。シースルービューを生成する場合、制御部１４０は、バーチャルプレーン上のサイドカメラ１１０Ｌ、１１０Ｒの画像において、車体領域の画像に対応する魚眼カメラ１２０および挟角カメラ１３０の画像を識別または抽出し、識別または抽出した画像を車体領域に合成する。さらに、制御部１４０は、サイドカメラの取り付け位置、光軸の方向、撮像範囲、車体形状等から、バーチャルプレーン上のサイドカメラ１１０Ｌ、１１０Ｒの画像において、どの領域が車体領域に対応するかを算出する。制御部１４０は、例えば、画像処理を行うためのプロセッサ、マイクロコンピュータ、ＲＯＭ、ＲＡＭ等を含み、これらハードウエアおよび／またはソフトウエアを用いて画像処理に必要な動作を行う。 The control unit 140 receives images captured by the side cameras 110L and 110R, the fisheye camera 120, and the narrow angle camera 130, processes the received images, and causes the display unit 150 to display a see-through view or display a rear view. .. As will be described later, the control unit 140 calculates the distance to the object behind by using the image of the fisheye camera 120 and the image of the angle-of-view camera 130, and based on the calculated distance, creates a virtual plane (FIG. 2 (D)). (See) is set, and the coordinate conversion of these images is performed so that the images captured by the cameras 110 to 130 having different mounting positions and angles of view are projected on the virtual plane. The control unit 140 calculates the correspondence between the pixels of the converted images of the side cameras 110L and 110R, the fisheye camera 120, and the narrow angle camera 130 in the virtual plane. When generating the see-through view, the control unit 140 identifies or extracts and identifies the images of the fisheye camera 120 and the narrow angle camera 130 corresponding to the image of the vehicle body region in the images of the side cameras 110L and 110R on the virtual plane. Alternatively, the extracted image is combined with the vehicle body area. Further, the control unit 140 calculates which region corresponds to the vehicle body region in the images of the side cameras 110L and 110R on the virtual plane from the mounting position of the side camera, the direction of the optical axis, the imaging range, the vehicle body shape, and the like. To do. The control unit 140 includes, for example, a processor, a microcomputer, a ROM, a RAM, and the like for performing image processing, and performs operations necessary for image processing using these hardware and / or software.
表示部１５０は、制御部１４０で処理された画像データを受け取り、これを表示する。表示部１５０は、液晶ディスプレイ、有機ＥＬディスプレイ、投射装置（ＨＵＤ）等の表示媒体を１つまたは複数含む。表示部１５０の取り付け位置は特に限定されないが、例えば、インスツルメンツパネル内の液晶表示モジュールであったり、車載装置用のディスプレイであったり、フロントガラス等への投射画像である。１つの好ましい例では、表示部１５０は、サイドミラー１１０Ｌ、１１０Ｒで撮像された車両の側部後方の画像を表示（シースルービュー表示）したり、魚眼カメラ１２０で撮像された車両の後方画像を表示（リアビュー表示）したり、挟角カメラ１３０で撮像された車両の後方画像を表示（ルームミラービュー表示）する。 The display unit 150 receives the image data processed by the control unit 140 and displays it. The display unit 150 includes one or more display media such as a liquid crystal display, an organic EL display, and a projection device (HUD). The mounting position of the display unit 150 is not particularly limited, but is, for example, a liquid crystal display module in the instruments panel, a display for an in-vehicle device, a projected image on a windshield or the like. In one preferred example, the display unit 150 displays an image of the rear side of the vehicle captured by the side mirrors 110L and 110R (see-through view display), or displays a rear image of the vehicle captured by the fisheye camera 120. It is displayed (rear view display) or the rear image of the vehicle captured by the narrow angle camera 130 is displayed (room mirror view display).
次に、本実施例のシースルービューの生成について説明する。図７は、本実施例によるシースルービューの生成動作を説明するフローである。シースルービューの生成は、サイドカメラ１１０Ｌ、１１０Ｒに共通に行われるので、ここでは、サイドカメラ１１０Ｌについて説明する。 Next, the generation of the see-through view of this embodiment will be described. FIG. 7 is a flow for explaining the operation of generating the see-through view according to the present embodiment. Since the see-through view is generated in common for the side cameras 110L and 110R, the side camera 110L will be described here.
制御部１４０は、サイドカメラ１１０Ｌで撮像された画像、魚眼カメラ１２０で撮像された画像、および挟角カメラ１３０で撮像された画像を受け取る（Ｓ１００）。これらの画像は、同期したタイミングで撮像された画像である。魚眼カメラおよび挟角カメラで撮像された画像の例を図８Ａに示す。魚眼カメラ１２０は、画角θ２が非常に大きいため車両の後部を広範囲に撮像する。これに対し、挟角カメラ１３０は、画角θ３が画角θ２よりも小さいため、車両の後部の撮像範囲は狭いが遠方の後方車両をより正確に映すことができる。 The control unit 140 receives the image captured by the side camera 110L, the image captured by the fisheye camera 120, and the image captured by the narrow angle camera 130 (S100). These images are images taken at the synchronized timing. An example of an image captured by a fisheye camera and a narrow angle camera is shown in FIG. 8A. Since the fisheye camera 120 has a very large angle of view θ2, it captures a wide range of the rear part of the vehicle. On the other hand, since the angle of view θ3 of the narrow angle camera 130 is smaller than the angle of view θ2, the imaging range at the rear of the vehicle is narrow, but a distant rear vehicle can be projected more accurately.
次に、制御部１４０は、魚眼カメラ１２０の画角θ２で撮像された画像が、挟角カメラ１３０の画角θ３で撮像された画像に対応するように、魚眼カメラ１２０で撮像された画像の変換を行う（Ｓ１１０）。例えば、魚眼カメラの座標系を世界座標系に変換し、これを透視投影画像の座標系に変換し、挟角カメラの画像に対応させる。魚眼カメラ１２０の画像の変換例を図８Ｂに示す。 Next, the control unit 140 was captured by the fisheye camera 120 so that the image captured by the angle of view θ2 of the fisheye camera 120 corresponds to the image captured by the angle of view θ3 of the narrow angle camera 130. Image conversion is performed (S110). For example, the coordinate system of the fisheye camera is converted into the world coordinate system, which is converted into the coordinate system of the perspective projection image, and is made to correspond to the image of the narrow angle camera. An example of image conversion of the fisheye camera 120 is shown in FIG. 8B.
次に、制御部１４０は、魚眼カメラ１２０の変換された画像と挟角カメラ１３０の画像の平行化を行う（Ｓ１２０）。平行化とは、２つの画像間のある点が同一行になるような画像変換である。平行化は、２つの画像をステレオ視するときの視差の計算を容易にする。平行化の例を図８Ｃに示す。 Next, the control unit 140 parallelizes the converted image of the fisheye camera 120 with the image of the narrow angle camera 130 (S120). Parallelization is an image transformation in which a certain point between two images is on the same line. Parallelization facilitates the calculation of parallax when viewing two images in stereo. An example of parallelization is shown in FIG. 8C.
次に、制御部１４０は、平行化された２つの画像の視差を計算する（Ｓ１３０）。視差の計算は、例えば一方の画像のある点に注目し、その周囲の数ピクセルの矩形をブロックとし、他方の画像からそのブロックと最も相関のあるブロックの位置を探し出す。この際、２つの画像は平行化されているため、ブロックの相関を検索する対象は、同じＹの位置においてブロックをＸ方向にのみずらしていけばよい。例えば、後方車両が撮像されている場合には、後方車両の画像を含むブロックの相関が検索される。後方車両が撮像されていない場合には、白線等の特徴のある部分の画像を含むブロックの相関が検索される。 Next, the control unit 140 calculates the parallax of the two parallelized images (S130). In the calculation of parallax, for example, attention is paid to a certain point in one image, a rectangle of several pixels around the block is used as a block, and the position of the block most correlated with the block is found from the other image. At this time, since the two images are parallelized, the target for searching the correlation of the blocks may shift the blocks in the X direction at the same Y position. For example, when the rear vehicle is imaged, the correlation of the blocks including the image of the rear vehicle is searched. When the vehicle behind is not imaged, the correlation of blocks including images of characteristic parts such as white lines is searched.
次に、制御部１４０は、計算された視差から三角測量の原理により対象物までの距離を算出する。ここでは、対象物として後方車両までの距離が算出される。視差が大きければ対象物までの距離は小さく、視差が小さければ対象物までの距離は大きくなる。制御部１４０は、各ピクセル毎に算出された距離に基づき、後方車両の位置と３次元形状を認識し、これに基づき魚眼カメラの画像と挟角カメラの画像をそれぞれバーチャルプレーン上の投影画像となるように座標を変換する（Ｓ１４０）。 Next, the control unit 140 calculates the distance to the object from the calculated parallax by the principle of triangulation. Here, the distance to the vehicle behind is calculated as the object. If the parallax is large, the distance to the object is small, and if the parallax is small, the distance to the object is large. The control unit 140 recognizes the position and three-dimensional shape of the vehicle behind based on the distance calculated for each pixel, and based on this, the fisheye camera image and the narrow angle camera image are projected images on the virtual plane. The coordinates are converted so as to be (S140).
次に、制御部１４０は、サイドカメラの画像と認識された３次元形状の画像とを合成し、シースルービューを生成する（Ｓ１５０）。画像の合成は、サイドカメラの画像に含まれる車体により隠された死角領域が、認識された３次元形状の画像に置き換えられる。この合成例を図９Ｅに示す。こうして合成されたシースルービューは、表示部１５０によって表示される。図７に示すステップは、車両の走行中（前進や後進）あるいは停車中に繰り返し実行され、つまり、制御部１４０は、一定の周期または間隔で画像の視差を計算し、後方の対象物の距離を推定し、魚眼カメラの画像と挟角カメラの画像を変換し、シースルービューを連続的に生成する。 Next, the control unit 140 synthesizes the image of the side camera and the recognized three-dimensional shape image to generate a see-through view (S150). In the image composition, the blind spot region hidden by the vehicle body included in the side camera image is replaced with the recognized three-dimensional shape image. An example of this synthesis is shown in FIG. 9E. The see-through view synthesized in this way is displayed by the display unit 150. The steps shown in FIG. 7 are repeatedly executed while the vehicle is running (forward or backward) or stopped, that is, the control unit 140 calculates the parallax of the image at regular intervals or intervals, and the distance to the object behind. Is estimated, the image of the fisheye camera and the image of the parallax camera are converted, and a see-through view is continuously generated.
このように本実施例によれば、ルームミラーの代替である挟角カメラの画像とリアビューに利用される魚眼カメラの画像とのステレオ視により自車後方の対象物までの距離を算出するようにしたので、従来のように単眼カメラの画像から対象物までの距離を推定する場合と比較して、対象物までの距離を正確に得ることができる。これにより、自車後方の空間認識または３次元環境を正確に認識することが可能となり、サイドカメラの画像とリアカメラの画像との合成を高品位に行うことができ、図３（Ａ）に示すような、綺麗なシースルービューを生成することができる。また、ルームミラーの代替である既存の挟角カメラを利用するため、コストを抑えることができる。 As described above, according to the present embodiment, the distance to the object behind the vehicle is calculated by stereoscopic viewing of the image of the narrow-angle camera, which is an alternative to the rear-view mirror, and the image of the fisheye camera used for the rear view. Therefore, the distance to the object can be accurately obtained as compared with the case of estimating the distance to the object from the image of the monocular camera as in the conventional case. This makes it possible to accurately recognize the space behind the vehicle or the three-dimensional environment, and it is possible to combine the image of the side camera and the image of the rear camera with high quality, as shown in FIG. 3 (A). It is possible to generate a beautiful see-through view as shown. In addition, since an existing narrow-angle camera that replaces the rear-view mirror is used, the cost can be suppressed.
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific embodiments, and various modifications and modifications are made within the scope of the gist of the invention described in the claims. It can be changed.
１００：画像処理装置
１１０Ｌ、１１０Ｒ：撮像カメラ（サイドカメラ）
１２０：撮像カメラ（魚眼カメラ）
１３０：撮像カメラ（挟角カメラ）
１４０：制御部
１５０：表示部
100: Image processing device 110L, 110R: Imaging camera (side camera)
120: Imaging camera (fisheye camera)
130: Imaging camera (narrow angle camera)
140: Control unit 150: Display unit
Claims (6)
車両の後部に取り付けられ、第１の画角で撮像された車両後方を含む第２の画像を提供する第２の撮像手段と、
車両の後部に取り付けられ、第１の画角よりも狭い第２の画角で撮像された車両後方を含む第３の画像を提供する第３の撮像手段と、
第２の画像と第３の画像とを用いて車両後方の３次元環境を認識可能な第４の画像を生成する生成手段と、
第１の画像の車体領域に第４の画像の対応する画像を合成する合成手段と、
を有する画像処理装置。 A first imaging means, which is attached to the side of the vehicle and provides a first image of the rear of the side including the vehicle body region.
A second imaging means, which is attached to the rear of the vehicle and provides a second image including the rear of the vehicle captured at the first angle of view.
A third imaging means, which is attached to the rear of the vehicle and provides a third image including the rear of the vehicle, which is mounted at the rear of the vehicle and captured at a second angle of view narrower than the first angle of view.
A generation means for generating a fourth image capable of recognizing the three-dimensional environment behind the vehicle using the second image and the third image, and
A compositing means for synthesizing the corresponding image of the fourth image with the vehicle body region of the first image,
An image processing device having.
前記生成手段は、算出された視差に基づき車両後方の３次元環境を認識可能な第４の画像を生成する、請求項１に記載の画像処理装置。 The generation means includes a conversion means for converting the second image so as to correspond to the third image, and a calculation means for calculating the parallax by stereoscopic viewing of the converted second image and the third image. Have and
The image processing apparatus according to claim 1, wherein the generation means generates a fourth image capable of recognizing a three-dimensional environment behind the vehicle based on the calculated parallax.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019144106A JP7301476B2 (en) | 2019-08-06 | 2019-08-06 | Image processing device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019144106A JP7301476B2 (en) | 2019-08-06 | 2019-08-06 | Image processing device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021024443A true JP2021024443A (en) | 2021-02-22 |
| JP7301476B2 JP7301476B2 (en) | 2023-07-03 |
Family
ID=74662773
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019144106A Active JP7301476B2 (en) | 2019-08-06 | 2019-08-06 | Image processing device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7301476B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014235640A (en) * | 2013-06-04 | 2014-12-15 | 日産自動車株式会社 | Vehicle display device |
| JP2015074436A (en) * | 2013-10-11 | 2015-04-20 | 富士通株式会社 | Image processing device, image processing method, and program |
| JP2017220051A (en) * | 2016-06-08 | 2017-12-14 | ソニー株式会社 | Image processing device, image processing method and vehicle |
| WO2018123474A1 (en) * | 2016-12-28 | 2018-07-05 | 株式会社小糸製作所 | Integrated lamp-and-camera module |
| JP2019102888A (en) * | 2017-11-29 | 2019-06-24 | 株式会社デンソー | Camera module |
-
2019
- 2019-08-06 JP JP2019144106A patent/JP7301476B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014235640A (en) * | 2013-06-04 | 2014-12-15 | 日産自動車株式会社 | Vehicle display device |
| JP2015074436A (en) * | 2013-10-11 | 2015-04-20 | 富士通株式会社 | Image processing device, image processing method, and program |
| JP2017220051A (en) * | 2016-06-08 | 2017-12-14 | ソニー株式会社 | Image processing device, image processing method and vehicle |
| WO2018123474A1 (en) * | 2016-12-28 | 2018-07-05 | 株式会社小糸製作所 | Integrated lamp-and-camera module |
| JP2019102888A (en) * | 2017-11-29 | 2019-06-24 | 株式会社デンソー | Camera module |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7301476B2 (en) | 2023-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6091586B1 (en) | VEHICLE IMAGE PROCESSING DEVICE AND VEHICLE IMAGE PROCESSING SYSTEM | |
| JP4596978B2 (en) | Driving support system | |
| US8201199B2 (en) | Monitoring system | |
| WO2019192359A1 (en) | Vehicle panoramic video display system and method, and vehicle controller | |
| JP5444338B2 (en) | Vehicle perimeter monitoring device | |
| JP5953824B2 (en) | Vehicle rear view support apparatus and vehicle rear view support method | |
| JP5321711B2 (en) | Vehicle periphery monitoring device and video display method | |
| JP4248570B2 (en) | Image processing apparatus and visibility support apparatus and method | |
| JP3663801B2 (en) | Vehicle rear view support device | |
| JP2009081664A (en) | Vehicle periphery monitoring apparatus and image display method | |
| JP6392693B2 (en) | Vehicle periphery monitoring device, vehicle periphery monitoring method, and program | |
| JP4315968B2 (en) | Image processing apparatus and visibility support apparatus and method | |
| JP7247173B2 (en) | Image processing method and apparatus | |
| EP3772719B1 (en) | Image processing apparatus, image processing method, and image processing program | |
| JP2009206747A (en) | Ambient condition monitoring system for vehicle, and video display method | |
| CN110651295B (en) | Image processing apparatus, image processing method, and program | |
| US20160037154A1 (en) | Image processing system and method | |
| JP2010003014A (en) | Vehicle surroundings display apparatus and display method thereof | |
| JP7301476B2 (en) | Image processing device | |
| US12080075B2 (en) | Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings | |
| JP6274936B2 (en) | Driving assistance device | |
| TW201739648A (en) | Method for superposing images reducing a driver's blind corners to improve driving safety. | |
| KR20110082873A (en) | Image processing apparatus providing distacnce information in a composite image obtained from a plurality of image and method using the same | |
| JP2017117357A (en) | Three-dimensional object detection device | |
| WO2023095340A1 (en) | Image processing method, image displaying method, image processing device, and image displaying device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220617 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230306 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230427 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230620 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7301476 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |