JP2018081591A - Image synthesizing device and image synthesizing method - Google Patents
Image synthesizing device and image synthesizing method Download PDFInfo
- Publication number
- JP2018081591A JP2018081591A JP2016224499A JP2016224499A JP2018081591A JP 2018081591 A JP2018081591 A JP 2018081591A JP 2016224499 A JP2016224499 A JP 2016224499A JP 2016224499 A JP2016224499 A JP 2016224499A JP 2018081591 A JP2018081591 A JP 2018081591A
- Authority
- JP
- Japan
- Prior art keywords
- image
- projection
- projected
- projection plane
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000002194 synthesizing effect Effects 0.000 title claims abstract description 49
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims abstract description 41
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 9
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 9
- 239000000203 mixture Substances 0.000 claims description 43
- 230000007704 transition Effects 0.000 claims description 19
- 230000009466 transformation Effects 0.000 claims description 11
- 238000001308 synthesis method Methods 0.000 claims description 3
- 239000002131 composite material Substances 0.000 description 25
- 238000012545 processing Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
Abstract
Description
本発明は、画像合成装置及び画像合成方法に関する。詳しくは、車両の後方及び側方の複数のカメラによって得られる映像を合成する画像合成装置及び画像合成方法に関する。 The present invention relates to an image composition device and an image composition method. Specifically, the present invention relates to an image composition apparatus and an image composition method for compositing videos obtained by a plurality of cameras at the rear and side of a vehicle.
従来、車両のバックミラーの代わりに、車両の後方をカメラで撮影して、路面や接近する物体等を画面に表示する後方モニタが種々実用化されている。通常、後方モニタに用いられるカメラは広範囲を撮影するために、撮影される画像が大きく歪み、そのまま表示すると見づらいという問題がある。このため、補正テーブル等を用いて撮影された画像の歪をなくす手法が知られている（例えば、特許文献１を参照）。また、近年では、車両に複数のカメラを備え、各カメラを用いて得られる２次元画像データを１つの３次元投影面形状に合成する方法等を用いて、視認性を高めた画像処理装置が開発されている（例えば、特許文献２を参照）。
複数のカメラで撮影した画像を合成する場合、各画像の境界付近に同じ物体が位置すると、撮影位置が異なるために、合成画像には異なる見え方の物体が混じって表示される等の問題が生じる。このような問題を解消するため、例えば特許文献２に記載されている画像処理装置は、３次元投影面形状として、車両が配置される矩形の配置面から延設された平面と、平面から延設された曲面とからなり、各カメラで撮像して得られた複数の２次元画像データを１つの３次元投影面形状に合成している。
Conventionally, instead of a vehicle rearview mirror, various rear monitors have been put into practical use in which the rear of a vehicle is photographed with a camera and road surfaces and approaching objects are displayed on a screen. Usually, since a camera used for a rear monitor captures a wide area, there is a problem that an image to be captured is greatly distorted and is difficult to see if displayed as it is. For this reason, a technique for eliminating distortion of an image taken using a correction table or the like is known (see, for example, Patent Document 1). Further, in recent years, an image processing apparatus having a plurality of cameras in a vehicle and using a method of combining two-dimensional image data obtained by using each camera into one three-dimensional projection surface shape has improved visibility. It has been developed (see, for example, Patent Document 2).
When compositing images taken by multiple cameras, if the same object is located in the vicinity of the boundary between the images, the shooting position will be different. Arise. In order to solve such a problem, for example, the image processing apparatus described in Patent Document 2 has a three-dimensional projection surface shape, a plane extending from a rectangular arrangement surface on which a vehicle is arranged, and a plane extending from the plane. A plurality of two-dimensional image data obtained by imaging with each camera are combined into one three-dimensional projection surface shape.
複数のカメラにより車両の後方を撮影すれば、死角を減らすことができる。しかし、前記のように、複数のカメラにより撮影した画像を合成して表示等する場合に、各カメラで撮影された画像の境界付近に位置する物体の全てを継ぎ目がなく、全体として歪みが少なく自然に見えるように表示することは困難である。例えば、各カメラで撮像して得られた複数の２次元画像を１つの３次元投影面上で合成するとしても、１つの物体の継ぎ目がなくなるように合成すると、カメラとの距離が異なる他の物体に不自然な継ぎ目や歪みが生じたり、物体が投影範囲から外れて表示されなくなったりする問題が生じる。
また、車両後方の映像をバックミラーのように表示等する用途においては、複数のカメラによって撮影された画像を処理して高速に合成することが必要とされる。更に、運転者が注意すべき後方の物体等を含む車両後方の映像を見易く表示することが求められる。
If the rear of the vehicle is photographed with a plurality of cameras, the blind spots can be reduced. However, as described above, when images captured by a plurality of cameras are combined and displayed, all objects located near the boundaries of the images captured by the cameras are seamless, and the overall distortion is small. It is difficult to display so that it looks natural. For example, even if a plurality of two-dimensional images obtained by imaging with each camera are synthesized on one three-dimensional projection plane, if the synthesis is performed so that there is no joint of one object, the distance from the camera is different. There are problems that an unnatural seam or distortion occurs in the object, or the object is not displayed outside the projection range.
Further, in applications such as displaying a rear image of a vehicle like a rearview mirror, it is necessary to process images taken by a plurality of cameras and combine them at high speed. Furthermore, it is required to display the rear image of the vehicle including the rear object and the like that the driver should be aware of in an easy-to-see manner.
本発明は、上記実情に鑑みてなされたものであり、車両の後方及び側方の複数のカメラによって得られる映像を合成する画像合成装置及び画像合成方法を提供することを目的とする。 The present invention has been made in view of the above circumstances, and an object of the present invention is to provide an image composition device and an image composition method for compositing images obtained by a plurality of cameras at the rear and side of a vehicle.
１．車両の後方、右側後方及び左側後方における路面及び路上の映像を合成する画像合成装置であって、
前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得手段と、
前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換手段と、
前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成手段と、
を備え、
前記所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、
前記座標変換手段は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影することを特徴とする画像合成装置。
２．前記仮想視点は、前記３次元座標空間において前記車両よりも前にあり、
前記楕円筒投影面は、水平断面において前記仮想視点から前記車両の後方を中心として所定角度の範囲内であり、
前記地面投影面は、前記楕円筒投影面に接する範囲内である前記１．記載の画像合成装置。
３．前記座標変換手段は、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像における上方領域を前記楕円筒投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する前記１．又は２．に記載の画像合成装置。
４．前記画像合成手段は、それぞれ遷移領域を挟んで前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成した前記後方合成画像を生成する前記１．乃至３．のいずれかに記載の画像合成装置。
５．前記座標変換手段は、前記遷移領域において前記楕円筒投影面上の投影座標が前記地面投影面より下に位置する場合には、
前記後方カメラと前記右側後方カメラ又は左側後方カメラとを結ぶ線分上に基点を設定し、前記基点と前記楕円筒投影面上の前記投影座標とを結ぶ線分が前記地面投影面と交わる点を前記地面投影面上の投影座標とするように変換する前記４．記載の画像合成装置。
６．前記画像合成手段は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する前記５．記載の画像合成装置。
７．車両の後方、右側後方及び左側後方における路面及び路上の映像を合成する画像合成方法であって、
前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得工程と、
前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換工程と、
前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成工程と、
を備え、
前記所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、
前記座標変換工程は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影することを特徴とする画像合成方法。
８．前記仮想視点は、前記３次元座標空間において前記車両よりも前にあり、
前記楕円筒投影面は、水平断面において前記仮想視点から前記車両の後方を中心として所定角度の範囲内であり、
前記地面投影面は、前記楕円筒投影面に接する範囲内である前記７．記載の画像合成方法。
９．前記座標変換工程は、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像における上方領域を前記楕円筒投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する前記７．又は８．に記載の画像合成方法。
１０．前記画像合成工程は、それぞれ遷移領域を挟んで前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成した前記後方合成画像を生成する前記７．乃至９．のいずれかに記載の画像合成方法。
１１．前記座標変換手段は、前記遷移領域において前記楕円筒投影面上の投影座標が前記地面投影面より下に位置する場合には、
前記後方カメラと前記右側後方カメラ又は左側後方カメラとを結ぶ線分上に基点を設定し、前記基点と前記楕円筒投影面上の前記投影座標とを結ぶ線分が前記地面投影面と交わる点を前記地面投影面上の投影座標とするように変換する前記１０．に記載の画像合成方法。
１２．前記画像合成工程は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する前記１１．記載の画像合成方法。
1. An image composition device for synthesizing images on the road surface and road on the rear, right rear and left rear of the vehicle,
Images for obtaining a rear image, a right rear image, and a left rear image, respectively, from images captured by a rear camera that captures the rear of the vehicle, a right rear camera that captures the right rear, and a left rear camera that captures the left rear. Acquisition means;
Coordinate conversion means for converting the rear image, the right rear image, and the left rear image into a projected rear image, a projected right rear image, and a projected left rear image, respectively, projected on a predetermined projection plane;
Image synthesizing means for obtaining a rear synthesized image by synthesizing the projected rear image, the projected right rear image and the projected left rear image;
With
The predetermined projection plane is a cylindrical elliptic cylinder projection plane whose horizontal cross-sectional shape is an ellipse centered on a predetermined virtual viewpoint in a three-dimensional coordinate space having a predetermined position as an origin, and a ground corresponding to the ground Consisting of a projection plane,
The coordinate transformation means converts the rear image, the right rear image, and the left rear image from the positions of the rear camera, the right rear camera, and the left rear camera in the three-dimensional coordinate space, respectively, An image synthesizing apparatus that projects onto the ground projection surface.
2. The virtual viewpoint is in front of the vehicle in the three-dimensional coordinate space;
The elliptical cylinder projection plane is within a range of a predetermined angle centered on the rear of the vehicle from the virtual viewpoint in a horizontal section,
The ground projection plane is within a range in contact with the elliptic cylinder projection plane. The image composition apparatus described.
3. The coordinate conversion unit generates an upper region in the projection rear image, the projection right rear image, and the projection left rear image from a projection image on the elliptic cylinder projection surface, and a lower region on the ground projection surface. Generated from 1. Or 2. The image composition device described in 1.
4). The image synthesizing unit generates the rear synthesized image obtained by synthesizing the projection rear image, the projection right rear image, and the projection left rear image with a transition region interposed therebetween. To 3. The image synthesis apparatus according to any one of the above.
5. In the transition area, the coordinate conversion means is located below the ground projection plane when the projection coordinates on the elliptic cylinder projection plane are
A base point is set on a line segment connecting the rear camera and the right rear camera or the left rear camera, and a line segment connecting the base point and the projection coordinates on the elliptic cylinder projection plane intersects the ground projection plane. Is converted into the projection coordinates on the ground projection plane. The image composition apparatus described.
6). The image synthesizing means is arranged so that the projected rear image spreads downward in a lower region in the rear synthesized image. The image composition apparatus described.
7). An image synthesis method for synthesizing a road surface and a video on the road at the rear, right rear and left rear of the vehicle,
Images for obtaining a rear image, a right rear image, and a left rear image, respectively, from images captured by a rear camera that captures the rear of the vehicle, a right rear camera that captures the right rear, and a left rear camera that captures the left rear. Acquisition process;
A coordinate conversion step of converting the rear image, the right rear image, and the left rear image into a projected rear image, a projected right rear image, and a projected left rear image, respectively, projected on a predetermined projection plane;
An image synthesis step of obtaining a rear synthesized image by synthesizing the projected rear image, the projected right rear image, and the projected left rear image;
With
The predetermined projection plane is a cylindrical elliptic cylinder projection plane whose horizontal cross-sectional shape is an ellipse centered on a predetermined virtual viewpoint in a three-dimensional coordinate space having a predetermined position as an origin, and a ground corresponding to the ground Consisting of a projection plane,
In the coordinate transformation step, the rear image, the right rear image, and the left rear image are respectively converted from the position of the rear camera, the right rear camera, and the left rear camera in the three-dimensional coordinate space, An image composition method, wherein the image is projected onto the ground projection surface.
8). The virtual viewpoint is in front of the vehicle in the three-dimensional coordinate space;
The elliptical cylinder projection plane is within a range of a predetermined angle centered on the rear of the vehicle from the virtual viewpoint in a horizontal section,
The ground projection plane is within a range in contact with the elliptic cylinder projection plane. The image composition method described.
9. In the coordinate transformation step, an upper area in the projection rear image, the projection right rear image, and the projection left rear image is generated from a projection image on the elliptic cylinder projection plane, and a lower area is projected on the ground projection plane. Generated from the above 7. Or 8. The image composition method described in 1.
10. The image synthesis step generates the rear synthesized image obtained by synthesizing the projection rear image, the projection right rear image, and the projection left rear image with the transition region interposed therebetween, respectively. Thru 9. The image composition method according to any one of the above.
11. In the transition area, the coordinate conversion means is located below the ground projection plane when the projection coordinates on the elliptic cylinder projection plane are
A base point is set on a line segment connecting the rear camera and the right rear camera or the left rear camera, and a line segment connecting the base point and the projection coordinates on the elliptic cylinder projection plane intersects the ground projection plane. Is converted to the projected coordinates on the ground projection plane. The image composition method described in 1.
12 The image synthesizing step is arranged so that the projected rear image spreads downward in a lower region of the rear synthesized image. The image composition method described.
本発明によれば、前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得手段と、前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換手段と、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成手段と、を備えるため、３つのカメラで撮影される画像によって車両後方の広い視野を確保し、死角を低減することができる。前記所定の投影面は、３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、前記座標変換手段は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影するため、仮想視点の位置及び楕円筒投影面の形状を適宜設定することにより、最も自然に見える各投影画像を得ることができる。また、各投影画像を合成するため、合成時の各画像の境界部の処理により、違和感のない合成画像を生成することができる。
また、投影面として楕円筒投影面及び地面投影面を備えているため、車両後方の画像が占める広さと、車両左右側後方の画像が占める広さとの比率を楕円筒の楕円の楕円率に従って変えることにより、目的に応じて着目すべき画像の占める広さの割合を大きくするなどして、視認性を高めることが可能になる。
According to the present invention, a rear image, a right rear image, and a left side are respectively captured from images captured by a rear camera that captures the rear of the vehicle, a right rear camera that captures the right rear, and a left rear camera that captures the left rear. Image acquisition means for acquiring a rear image, and coordinate conversion for converting the rear image, the right rear image, and the left rear image into a projected rear image, a projected right rear image, and a projected left rear image, respectively, projected on a predetermined projection plane. And an image composition means for obtaining a rear synthesized image by synthesizing the projected rear image, the projected right rear image, and the projected left rear image. A wide field of view can be secured and blind spots can be reduced. The predetermined projection plane includes, in a three-dimensional coordinate space, a cylindrical elliptic cylinder projection plane whose horizontal cross-sectional shape is an ellipse centered on a predetermined virtual viewpoint, and a ground projection plane corresponding to the ground. The converting means converts the rear image, the right rear image, and the left rear image from the positions of the rear camera, the right rear camera, and the left rear camera in the three-dimensional coordinate space, respectively, to the elliptical cylinder projection plane and the ground. Since the projection is performed on the projection plane, the most natural projection images can be obtained by appropriately setting the position of the virtual viewpoint and the shape of the elliptical cylinder projection plane. In addition, since the projected images are synthesized, a synthesized image having no sense of incongruity can be generated by processing the boundary portion of the images at the time of synthesis.
Further, since the projection plane includes the elliptic cylinder projection plane and the ground projection plane, the ratio of the area occupied by the image behind the vehicle and the area occupied by the image on the left and right sides of the vehicle is changed according to the ellipticity of the ellipse of the elliptic cylinder. Accordingly, it is possible to increase the visibility by increasing the ratio of the area occupied by the image to be noticed according to the purpose.
前記仮想視点は、前記３次元座標空間において前記車両よりも前にあり、前記楕円筒投影面は、水平断面において前記仮想視点から前記車両の後方を中心として所定角度の範囲内であり、前記地面投影面は、前記楕円筒投影面に接する範囲内である場合には、仮想視点が車両の位置又は車両より後ろの位置にあるときよりも各投影画像の歪みを軽減し、視認性に優れた画像を得ることができる。 The virtual viewpoint is in front of the vehicle in the three-dimensional coordinate space, and the elliptic cylinder projection plane is within a range of a predetermined angle centered on the rear of the vehicle from the virtual viewpoint in a horizontal section, and the ground When the projection plane is within the range in contact with the elliptical cylinder projection plane, the distortion of each projection image is reduced and the visibility is excellent compared to when the virtual viewpoint is at the position of the vehicle or the position behind the vehicle. An image can be obtained.
前記座標変換手段は、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像における上方領域を前記楕円筒投影面への投影画像から生成し、下方領域を前記地面投影面への投影画像から生成する場合には、各投影画像における上方領域と下方領域とをそれぞれの変換により形成することができる。 The coordinate conversion unit generates an upper region in the projection rear image, the projection right rear image, and the projection left rear image from a projection image on the elliptic cylinder projection surface, and a lower region on the ground projection surface. In the case of generating from the above, the upper area and the lower area in each projection image can be formed by respective conversion.
前記画像合成手段は、それぞれ遷移領域を挟んで前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成した前記後方合成画像を生成する場合には、後方合成画像に占める各投影画像の配分を最適にすることができ、各投影画像間の境界部分を滑らかにすることができる。
前記座標変換手段は、前記遷移領域において前記楕円筒投影面上の投影座標が前記地面投影面より下に位置する場合には、前記後方カメラと前記右側後方カメラ又は左側後方カメラとを結ぶ線分上に基点を設定し、前記基点と前記楕円筒投影面上の前記投影座標とを結ぶ線分が前記地面投影面と交わる点を前記地面投影面上の投影座標とするように変換する場合は、遷移領域の地面投影面において後方カメラの投影画像の投影を行う位置と、右側後方カメラ又は左側後方カメラの投影を行う位置と、を揃えることができる。これによって、遷移領域の地面部分の各路上物の位置がずれることなく重なった合成画像を得ることができる。
前記画像合成手段は、前記後方合成画像における下方領域において、前記投影後方画像が下方に向けて広がるように配する場合は、後方合成画像において車両後端付近の地面投影画像が広くなるように合成され、車両後部付近の状況を広く表示することができる。これにより、車両を後退等させるとき等に必要な車両後部付近の識別性を向上させることができる。
When the image composition unit generates the rear composite image obtained by compositing the projection rear image, the projection right rear image, and the projection left rear image across the transition region, each projection image occupying the rear composite image Can be optimized, and the boundary portion between the projection images can be smoothed.
The coordinate transformation means connects a line segment connecting the rear camera and the right rear camera or the left rear camera when projection coordinates on the elliptic cylinder projection plane are located below the ground projection plane in the transition region. When a base point is set above and a point where a line segment connecting the base point and the projection coordinate on the elliptic cylinder projection plane intersects the ground projection plane is converted to be a projection coordinate on the ground projection plane The position where the projection image of the rear camera is projected on the ground projection surface of the transition area can be aligned with the position where the right rear camera or the left rear camera is projected. As a result, it is possible to obtain a composite image in which the positions of the objects on the road in the ground portion of the transition area are overlapped without shifting.
In the lower region of the rear synthesized image, the image synthesizing unit synthesizes the ground projected image near the rear end of the vehicle in the rear synthesized image so that the projected rear image spreads downward. Thus, the situation near the rear of the vehicle can be displayed widely. Thereby, the discriminability in the vicinity of the rear part of the vehicle, which is necessary when the vehicle is moved backward, etc., can be improved.
以上は、本発明が装置として実現される場合について説明したが、かかる装置を実現する方法やプログラム、当該プログラムを記録した媒体としても発明は実現可能である。また、以上のような画像合成装置は単独で実現される場合もあるし、ある方法に適用され、あるいは同方法が他の機器に組み込まれた状態で利用されることもあるなど、発明の思想としてはこれに限らず、各種の態様を含むものである。したがって、ソフトウェアであったりハードウェアであったりするなど、適宜、変更可能である。 Although the case where the present invention is realized as an apparatus has been described above, the present invention can be realized as a method and program for realizing the apparatus and a medium recording the program. In addition, the image synthesizer as described above may be realized alone, applied to a certain method, or used in a state where the method is incorporated in another device. However, the present invention is not limited to this and includes various modes. Therefore, it can be changed as appropriate, such as software or hardware.
ここで示される事項は例示的なもの及び本発明の実施形態を例示的に説明するためのものであり、本発明の原理と概念的な特徴とを最も有効に且つ難なく理解できる説明であると思われるものを提供する目的で述べたものである。この点で、本発明の根本的な理解のために必要である程度以上に本発明の構造的な詳細を示すことを意図してはおらず、図面と合わせた説明によって本発明の幾つかの形態が実際にどのように具現化されるかを当業者に明らかにするものである。 The items shown here are for illustrative purposes and exemplary embodiments of the present invention, and are the most effective and easy-to-understand explanations of the principles and conceptual features of the present invention. It is stated for the purpose of providing what seems to be. In this respect, it is not intended to illustrate the structural details of the present invention beyond what is necessary for a fundamental understanding of the present invention. It will be clear to those skilled in the art how it is actually implemented.
本実施形態に係る画像合成装置（１）の構成例を図１に示す。画像合成装置（１）は自車両の後方、右側後方及び左側後方における路面及び路上の映像を合成する画像合成装置であって、車両（９１）の後方を撮影する後方カメラ（２１）、右側後方を撮影する右側後方カメラ（２２）、及び左側後方を撮影する左側後方カメラ（２３）によって撮影された映像から画像を取得する画像取得手段（３）と、座標変換手段（４）と、画像合成手段（７）と、を備える。
画像合成装置（１）を適用する車両の種類は特に限定されず、例えば、自動車、列車、自転車、自走式ロボット、遠隔操作式のロボット等を挙げることができる。また、車両の走行方法としてタイヤや車輪の他、無限軌道等も含めることができる。
A configuration example of the image composition device (1) according to the present embodiment is shown in FIG. The image composition device (1) is an image composition device for compositing images of the road surface and road on the rear, right rear and left rear of the host vehicle, a rear camera (21) for photographing the rear of the vehicle (91), and the right rear An image acquisition means (3) for acquiring an image from a video imaged by a right rear camera (22) for photographing the left side and a left rear camera (23) for photographing the left rear side, a coordinate conversion means (4), and an image composition Means (7).
The type of vehicle to which the image synthesizing apparatus (1) is applied is not particularly limited, and examples thereof include automobiles, trains, bicycles, self-propelled robots, remote-controlled robots, and the like. In addition to tires and wheels, the vehicle traveling method may include an endless track.
画像取得手段（３）は、後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）によって撮影された映像（ａ、ｂ、ｃ）をキャプチャして、それぞれ後方画像（ａ’）、右側後方画像（ｂ’）及び左側後方画像（ｃ’）を取得する手段である。
座標変換手段（４）は、後方画像（ａ’）、右側後方画像（ｂ’）及び左側後方画像（ｃ’）をそれぞれ所定の投影面（Ｑ）に投影した投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）に変換する手段である。
画像合成手段（７）は、投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）を合成して、１つの後方合成画像を作成する手段である。
後方合成画像は、別途設けられる表示手段（８）により表示装置に表示することができる。
The image acquisition means (3) captures the images (a, b, c) taken by the rear camera (21), the right rear camera (22), and the left rear camera (23), respectively, ), A right rear image (b ′) and a left rear image (c ′).
The coordinate conversion means (4) is a projected rear image (a ″) obtained by projecting the rear image (a ′), the right rear image (b ′), and the left rear image (c ′) on a predetermined projection plane (Q), respectively. It is a means for converting into a projected right rear image (b ″) and a projected left rear image (c ″).
The image synthesizing means (7) is a means for synthesizing the projected rear image (a ″), the projected right rear image (b ″), and the projected left rear image (c ″) to create one rear synthesized image.
The rear composite image can be displayed on the display device by display means (8) provided separately.
後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）は、それぞれ車両（９１）の後方、右側後方及び左側後方における路面及び路上の映像を取得することができればよく、その種類や設置位置を問わない。例えば、図２及び３に示すように、後方カメラ（２１）は車両（９１）の後面に固定して設けられる。また、右側後方カメラ（２２）及び左側後方カメラ（２３）（以下、側後方カメラと略す）は、車両（９１）の右側面及び左側面に固定して配設されている。具体的には、ドアミラー等の車両（９１）側方から突出する部位に配設することができる。
また、各カメラ（２１、２２、２３）は、それぞれ撮影する範囲（９２ａ、９３ａ、９４ａ）の一部が、隣のカメラの撮影する範囲の一部と重複するように配設される。それぞれ広範囲の映像を得るために、各カメラ（２１、２２、２３）には魚眼レンズ等が用いられることが好ましい。
The rear camera (21), the right rear camera (22), and the left rear camera (23) only need to be able to acquire images of the road surface and road on the rear, right rear, and left rear of the vehicle (91), respectively. Or any installation location. For example, as shown in FIGS. 2 and 3, the rear camera (21) is fixed to the rear surface of the vehicle (91). The right rear camera (22) and the left rear camera (23) (hereinafter abbreviated as the side rear camera) are fixedly disposed on the right side surface and the left side surface of the vehicle (91). Specifically, it can arrange | position in the site | part which protrudes from vehicle (91) side sides, such as a door mirror.
Each camera (21, 22, 23) is arranged so that a part of the range (92a, 93a, 94a) to be photographed overlaps with a part of the range to be photographed by the adjacent camera. In order to obtain a wide range of images, a fisheye lens or the like is preferably used for each camera (21, 22, 23).
図２は、車両に設けられている各カメラの位置及び撮影範囲を模式的に表している。後方カメラ（２１）は車両（９１）の後面部、側後方カメラ（２２、２３）は車両（９１）のドアミラー部に設けられている。本例では、右側後方カメラ（２２）の撮影範囲（９３ａ）と左側後方カメラ（２３）の撮影範囲（９４ａ）とは、車両後方で重なるようにされている。しかし、左右の側後方カメラのみを使用する場合には車両後方に死角が生じるため、車両の後方は後方カメラ（２１）の撮影範囲（９２ａ）によってカバーされている。尚、３つのカメラ（２１、２２、２３）によって車両の後方及び左右後方がカバーされればよく、右側後方カメラ（２２）の撮影範囲（９３ａ）と左側後方カメラ（２３）の撮影範囲（９４ａ）とは重ならないようにされていてもよい。 FIG. 2 schematically shows the position and photographing range of each camera provided in the vehicle. The rear camera (21) is provided on the rear surface portion of the vehicle (91), and the side rear cameras (22, 23) are provided on the door mirror portion of the vehicle (91). In this example, the shooting range (93a) of the right rear camera (22) and the shooting range (94a) of the left rear camera (23) overlap with each other at the rear of the vehicle. However, when only the left and right side rear cameras are used, a blind spot occurs behind the vehicle, so that the rear of the vehicle is covered by the photographing range (92a) of the rear camera (21). It should be noted that the rear and left and right rear of the vehicle need only be covered by the three cameras (21, 22, 23), and the shooting range (93a) of the right rear camera (22) and the shooting range (94a) of the left rear camera (23). ) May not be overlapped.
画像合成装置（１）は自車両の後方、左右側後方の路面及び路上の映像を合成するものであるが、「路面」は実際の道路の路面を意図するものではなく、車両が地面に接している平面上の車両周辺部をいう。各カメラ（２１、２２、２３）により撮影される映像に含まれる路面領域の割合（即ち各カメラの上下方向の向き）は適宜選択されればよい。また、後方合成画像における下方領域（路面領域）の画像は、主として後方カメラ（２１）によって得られる画像（ａ）から抽出するように構成されてもよい。 The image composition device (1) synthesizes the rear and left and right side road surfaces of the host vehicle and the images on the road, but the “road surface” is not intended to be an actual road surface, and the vehicle touches the ground. Refers to the vehicle periphery on a flat surface. The ratio of the road surface area included in the video imaged by each camera (21, 22, 23) (that is, the vertical direction of each camera) may be selected as appropriate. Further, the image of the lower region (road surface region) in the rear composite image may be configured to be extracted mainly from the image (a) obtained by the rear camera (21).
画像取得手段（３）は、各カメラ（２１、２２、２３）により撮影された映像をキャプチャして、それぞれの画像（ａ，ｂ，ｃ）を取得する（図４参照）。
レンズによって生じる画像の歪の補正は、その後適宜の段階で行うことができる。例えば、画像取得手段（３）により、画像（ａ，ｂ，ｃ）を球面画像（ａ’、ｂ’、ｃ’）に変換するように構成することができる。また、座標変換手段（４）により、各投影画像（ａ"、ｂ"、ｃ"）への変換と合わせて歪を補正するようにすることができる。
The image acquisition means (3) captures images taken by the cameras (21, 22, 23) and acquires the images (a, b, c) (see FIG. 4).
Correction of image distortion caused by the lens can be performed at an appropriate stage thereafter. For example, the image acquisition means (3) can be configured to convert the image (a, b, c) into a spherical image (a ′, b ′, c ′). Further, the coordinate conversion means (4) can correct the distortion together with the conversion to each projection image (a ", b", c ").
座標変換手段（４）は、後方画像（ａ）、右側後方画像（ｂ）及び左側後方画像（ｃ）を、それぞれ３次元座標空間における後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）の位置から所定の投影面（Ｑ）に投影するように座標変換を行う。
基準となる３次元座標系は任意に設定することができるが、以下の説明では、車両（９１）の左右方向をＸ軸、高さ方向をＹ軸、前後方向をＺ軸とする３次元直交座標（Ｘ，Ｙ，Ｚ）とする（図２、３を参照）。また、３次元座標の原点も任意に設定することができるが、以下の説明では、原点（０，０，０）を後方カメラ（２１）の位置とする。
この３次元直交座標において、車両（９１）の前方（例えば、側後方カメラの位置よりも前、後方合成画像が表示される位置よりも前等とすることができる。）であって、適宜の高さ（Ｐｘ，Ｐｙ，Ｐｚ）に、仮想視点（６５）を設定する。そして、水平（ＸＺ）断面の形状が仮想視点（６５）を中心とする楕円形状である筒状の楕円筒投影面（６３）、及び地面に対応する地面投影面（６２）を設定する。上記所定の投影面（Ｑ）は、楕円筒投影面（６３）及び地面投影面（６２）からなる（図５、６を参照）。仮想視点（６５）を通るＹ軸方向の直線を、楕円筒投影面（６３）の中心軸（６６）と呼ぶ。
The coordinate conversion means (4) converts the rear image (a), the right rear image (b), and the left rear image (c) into the rear camera (21), the right rear camera (22), and the left rear in the three-dimensional coordinate space, respectively. Coordinate conversion is performed so as to project from the position of the camera (23) onto a predetermined projection plane (Q).
The reference three-dimensional coordinate system can be arbitrarily set, but in the following description, the vehicle (91) is three-dimensional orthogonal with the left-right direction as the X-axis, the height direction as the Y-axis, and the front-rear direction as the Z-axis. The coordinates are (X, Y, Z) (see FIGS. 2 and 3). Although the origin of the three-dimensional coordinates can also be set arbitrarily, in the following description, the origin (0, 0, 0) is the position of the rear camera (21).
In this three-dimensional Cartesian coordinate, it is in front of the vehicle (91) (for example, before the position of the side rear camera, before the position where the rear composite image is displayed, etc.). A virtual viewpoint (65) is set to the height (Px, Py, Pz). Then, a cylindrical elliptic cylinder projection surface (63) whose horizontal (XZ) cross-sectional shape is an ellipse centered on the virtual viewpoint (65) and a ground projection surface (62) corresponding to the ground are set. The predetermined projection plane (Q) includes an elliptic cylinder projection plane (63) and a ground projection plane (62) (see FIGS. 5 and 6). A straight line in the Y-axis direction passing through the virtual viewpoint (65) is referred to as a central axis (66) of the elliptical cylinder projection surface (63).
投影面を楕円形状とすることにより、各カメラにより得られる画像中の路面領域以外の物体等が、投影面において滑らかに接合される。投影面（Ｑ）を構成する楕円筒投影面（６３）の長軸及び短軸の長さ、並びに筒の高さは、地面投影面（６２）との関係や合成する画像の大きさ等に応じて適宜設定される。
また、楕円筒投影面（６３）における楕円の長軸は、車両（９１）の前後方向とすることができる。そうすれば、自車両の側方の投影面（ｒ）が後方の投影面（ｔ）よりも近いこととなるため、後方から自車両に近づき、自車両の横を追い越していく他車両の軌道に対し適した投影面となる（図６、７を参照）。
By making the projection plane into an elliptical shape, objects other than the road surface area in the image obtained by each camera are smoothly joined on the projection plane. The lengths of the major and minor axes of the elliptic cylinder projection surface (63) constituting the projection surface (Q) and the height of the cylinder depend on the relationship with the ground projection surface (62), the size of the image to be synthesized, and the like. It is set accordingly.
The major axis of the ellipse on the elliptic cylinder projection surface (63) can be the front-rear direction of the vehicle (91). Then, since the side projection surface (r) of the own vehicle is closer to the rear projection surface (t), the track of the other vehicle approaching the own vehicle from behind and overtaking the side of the own vehicle. (See FIGS. 6 and 7).
楕円筒投影面（６３）は、水平断面において仮想視点（６５）から車両（９１）の後方を中心として所定角度（φ）の範囲内であり、地面投影面（６２）は、楕円筒投影面（６３）に接する範囲内であるように構成することができる（図６を参照）。上記所定角度（φ）は、必要な後方合成画像の範囲に応じて適宜決められればよい。また、楕円筒投影面（６３）の高さも任意に設定できる。
上記により、投影面（Ｑ）は、図５において実線により表された形状となる。すなわち、投影面（Ｑ）を構成する楕円筒投影面（６３）は、地面から一定の高さの範囲で、所定角度（φ）に含まれる楕円筒の範囲とすることができる。また、投影面（Ｑ）を構成する地面投影面（６２）は、仮想視点（６５）を中心とし所定角度（φ）に含まれる地面が楕円筒投影面（６３）に接するまでの区画とすることができる。
The elliptical cylinder projection plane (63) is within a predetermined angle (φ) centered on the rear of the vehicle (91) from the virtual viewpoint (65) in the horizontal section, and the ground projection plane (62) is the elliptical cylinder projection plane. It can be configured to be within a range in contact with (63) (see FIG. 6). The predetermined angle (φ) may be appropriately determined according to the necessary range of the backward composite image. Also, the height of the elliptical cylinder projection surface (63) can be set arbitrarily.
As described above, the projection surface (Q) has a shape represented by a solid line in FIG. That is, the elliptic cylinder projection plane (63) constituting the projection plane (Q) can be a range of an elliptic cylinder included in the predetermined angle (φ) within a certain height range from the ground. The ground projection plane (62) constituting the projection plane (Q) is a section until the ground included in the predetermined angle (φ) is in contact with the elliptic cylinder projection plane (63) with the virtual viewpoint (65) as the center. be able to.
座標変換手段（４）は、後方画像（ａ）、右側後方画像（ｂ）及び左側後方画像（ｃ）を、それぞれ３次元座標空間における後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）の位置から投影面（Ｑ）に投影するように座標変換を行う。それにより、投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）を生成する。この座標変換は、投影と同時にカメラによる画像の歪みを補正するように構成することができる。また、投影と同時に画像の左右反転を行うように構成することができる。
各画像（ａ、ｂ、ｃ）を各投影面（６２、６３）に投影する具体的な手段は任意に選択することができ、例えば、予め座標変換の計算を行い、画像の各画素と投影面の各画素の対応表となるルックアップテーブル（４１）を参照することにより、画像変換を行うことができる。また、ルックアップテーブル（４１）は、座標変換計算、及びカメラによる画像の歪み補正計算が含まれた画像の各画素と投影面の各画素の対応表であってもよい。更に、ルックアップテーブル（４１）は、座標変換計算、カメラによる画像の歪み補正計算、及び画像の左右反転計算が含まれた画像の各画素と投影面の各画素の対応表であってもよい。
The coordinate conversion means (4) converts the rear image (a), the right rear image (b), and the left rear image (c) into the rear camera (21), the right rear camera (22), and the left rear in the three-dimensional coordinate space, respectively. Coordinate conversion is performed so as to project from the position of the camera (23) onto the projection plane (Q). Thereby, a projected rear image (a ″), a projected right rear image (b ″), and a projected left rear image (c ″) are generated. This coordinate transformation is performed so as to correct image distortion caused by the camera simultaneously with the projection. In addition, the image can be horizontally reversed at the same time as the projection.
Specific means for projecting each image (a, b, c) onto each projection plane (62, 63) can be arbitrarily selected. For example, coordinate conversion calculation is performed in advance, and each pixel of the image is projected. Image conversion can be performed by referring to the lookup table (41) which is a correspondence table of each pixel of the surface. Further, the lookup table (41) may be a correspondence table between each pixel of the image and each pixel of the projection plane including coordinate transformation calculation and image distortion correction calculation by the camera. Further, the look-up table (41) may be a correspondence table between each pixel of the image and each pixel of the projection plane including coordinate conversion calculation, image distortion correction calculation by the camera, and image horizontal reversal calculation. .
上記座標変換においては、楕円筒投影面（６３）上の投影座標（Ｕ）が地面投影面（６２）より下に位置する場合が生じる。この場合には、座標変換手段（４）は、後方カメラ（２１）と投影座標（Ｕ）とを結ぶ線分（Ｌ１、Ｌ５）が地面投影面（６２）と交わる点の座標（Ｐ１、Ｐ５）、若しくは右側後方カメラ（２２）又は左側後方カメラ（２３）と投影座標（Ｕ）とを結ぶ線分（Ｌ２、Ｌ６）が地面投影面（６２）と交わる点の座標（Ｐ２、Ｐ６）に変換するようにすることができる（図３を参照）。
後方画像（ａ）、右側後方画像（ｂ）及び左側後方画像（ｃ）を、後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）の配設位置の座標（（０，０，０）、（ＳＲｘ，ＳＲｙ，ＳＲｚ）、（ＳＬｘ，ＳＬｙ，ＳＬｚ））から投影することにより、カメラ（２１、２２、２３）間の位置や向きが異なっていても画像（ａ、ｂ、ｃ）間の縮尺や傾き等のずれが少ない楕円筒投影面（６３）及び地面投影面（６２）上の投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）が得られる。
In the coordinate conversion, there are cases where the projected coordinates (U) on the elliptical cylinder projection plane (63) are located below the ground projection plane (62). In this case, the coordinate conversion means (4) has coordinates (P1, P5) of points where line segments (L1, L5) connecting the rear camera (21) and the projected coordinates (U) intersect with the ground projection plane (62). ), Or the line segment (L2, L6) connecting the right rear camera (22) or the left rear camera (23) and the projection coordinate (U) to the coordinates (P2, P6) of the point where the ground projection plane (62) intersects. Conversion can be made (see FIG. 3).
The rear image (a), the right rear image (b), and the left rear image (c) are converted into the coordinates of the rear camera (21), the right rear camera (22), and the left rear camera (23) ((0, 0, 0), (SRx, SRy, SRz), (SLx, SLy, SLz)), the images (a, b) even if the positions and orientations between the cameras (21, 22, 23) are different. C) Projected rear image (a ″), projected right rear image (b ″), and projected left rear image on the elliptical cylinder projection plane (63) and the ground projection plane (62) with little deviation between scale, inclination, etc. (C ") is obtained.
座標変換手段（４）は、投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）における上方領域を、楕円筒投影面（６３）への投影画像から生成し、下方領域を地面投影面（６２）への投影画像から生成するようにすることができる。このようにすれば、その後、各投影画像（ａ"、ｂ"、ｃ"）を合成することにより生成される後方合成画像において、上方領域は楕円筒投影面（６３）へ投影した画像に相当し、下方領域は地面投影面（６２）へ投影した画像に相当することとなる。 The coordinate conversion means (4) converts the upper region in the projection rear image (a "), the projection right rear image (b"), and the projection left rear image (c ") from the projection image onto the elliptic cylinder projection plane (63). The lower region can be generated from the projection image on the ground projection plane 62. In this way, each projection image (a ", b", c ") is then synthesized. In the rear composite image generated by this, the upper area corresponds to an image projected onto the elliptical cylinder projection plane (63), and the lower area corresponds to an image projected onto the ground projection plane (62).
画像合成手段（７）は、座標変換手段（４）で投影面（Ｑ）に投影された投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）を合成することにより、１つの後方合成画像を作成する。
具体的には、投影後方画像（ａ"）を中央（ｔ）に配し、その左右（ｒ）に投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）を配する。各投影画像（ａ"、ｂ"、ｃ"）からは、合成に必要な範囲が抽出される。後方合成画像において各投影画像（ａ"、ｂ"、ｃ"）が占める比率は、任意に設定することができる。
画像合成手段（７）は、それぞれ遷移領域（ｂ１、ｂ２）を挟んで、投影後方画像（ａ"）、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）を合成した前記後方合成画像を生成するようにすることができる（図６（ｂ）を参照）。
The image synthesizing means (7) outputs the projected rear image (a "), the projected right rear image (b") and the projected left rear image (c ") projected onto the projection plane (Q) by the coordinate converting means (4). By synthesizing, one backward synthesized image is created.
Specifically, the projection rear image (a ″) is arranged at the center (t), and the projection right rear image (b ″) and the projection left rear image (c ″) are arranged on the left and right (r) thereof. A range necessary for synthesis is extracted from the images (a ″, b ″, c ″). The ratio occupied by each projection image (a ″, b ″, c ″) in the rear composite image can be arbitrarily set.
The image composition means (7) synthesizes the projected rear image (a "), the projected right rear image (b"), and the projected left rear image (c ") with the transition regions (b1, b2) interposed therebetween. A composite image can be generated (see FIG. 6B).
隣り合う画像の境目となる遷移領域は、境目部分の違和感をなくすように差異を低減する処理を施すことができる。例えば、境目を含む一定幅（ｂ１、ｂ２）において、所定の混合比率で各画像を混合することを挙げることができる。また、所定の混合比率は、一様の混合比率であってもよいし、漸次変化させてもよい。 The transition region that becomes the boundary between adjacent images can be subjected to processing for reducing the difference so as to eliminate the uncomfortable feeling at the boundary. For example, each image can be mixed at a predetermined mixing ratio in a certain width (b1, b2) including the boundary. Further, the predetermined mixing ratio may be a uniform mixing ratio or may be gradually changed.
遷移領域（ｂ１、ｂ２）において、楕円筒投影面（６３）上の投影座標（Ｕ）が地面投影面（６２）より下に位置する領域がある（図３を参照）。この領域において、後方カメラ（２１）、右側後方カメラ（２２）及び左側後方カメラ（２３）の後方画像（ａ）、右側後方画像（ｂ）及び左側後方画像（ｃ）を、座標変換手段（４）により変換すると、同じ地面の位置の画素が異なる地面投影面（６２）上の位置（図３に示すＰ１、Ｐ５、及びＰ２、Ｐ６を参照）に投影された各投影画像（ａ"、ｂ"、ｃ"）となる。そして、各投影画像（ａ"、ｂ"、ｃ"）を画像合成手段（７）により合成すると、異なる地面の位置の画素が重なった合成画像となるため、視認性が低下する。
そこで、座標変換手段（４）は、後方カメラ（２１）と右側後方カメラ（２２）又は左側後方カメラ（２３）とを結ぶ線分（Ｌ４、Ｌ８）上に基点（Ｐ４、Ｐ８）を設定し、基点（Ｐ４、Ｐ８）と楕円筒投影面（６３）上の投影座標（Ｕ）とを結ぶ線分（Ｌ３、Ｌ７）が地面投影面（６２）と交わる点（Ｕ’）を地面投影面（６２）上の投影座標とするように変換することができる。このように、後方画像（ａ）及び右側後方画像（ｂ）の投影座標、並びに後方画像（ａ）及び左側後方画像（ｃ）の投影座標を所定の点（Ｕ’）に揃えることにより、各画像上の各路上物の位置がずれることなく重なって合成された合成画像を得ることができる。
また、基点（Ｐ４、Ｐ８）を投影座標（Ｕ）の楕円筒投影面の周方向（Ｗ方向）に対応して漸次変化させることによって、遷移領域（ｂ１、ｂ２）内の合成画像の違和感を抑制することができる。即ち、投影座標（Ｕ）が後方画像（ａ）の右又は左端側に近づくに従い、基点（Ｐ４、Ｐ８）が右側後方カメラ（２２）又は左側後方カメラ（２３）側に近づくように漸次変化させる。
尚、前記地面投影面（６２）上の点（Ｕ’）は、後方カメラ（２１）と投影座標（Ｕ）とを結ぶ線分（Ｌ１、Ｌ５）が地面投影面（６２）と交わる点（Ｐ１、Ｐ５）と、右側後方カメラ（２２）又は左側後方カメラ（２３）と投影座標（Ｕ）とを結ぶ線分（Ｌ２、Ｌ６）が地面投影面（６２）と交わる点（Ｐ２、Ｐ６）と、の２点を結ぶ線分（Ｐ１−Ｐ２、Ｐ５−Ｐ６）上の点として求めても同じ点（Ｕ’）を求めることができる。
In the transition region (b1, b2), there is a region where the projection coordinates (U) on the elliptical cylinder projection surface (63) are located below the ground projection surface (62) (see FIG. 3). In this area, the rear image (a), the right rear image (b), and the left rear image (c) of the rear camera (21), the right rear camera (22), and the left rear camera (23) are converted into coordinate transformation means (4). ), The projected images (a ", b) in which pixels at the same ground position are projected at different positions on the ground projection plane (62) (see P1, P5, and P2, P6 shown in FIG. 3). ", C"). When the projected images (a ", b", c ") are synthesized by the image synthesizing means (7), the synthesized image is formed by overlapping pixels at different ground positions. Sexuality decreases.
Therefore, the coordinate conversion means (4) sets the base point (P4, P8) on the line segment (L4, L8) connecting the rear camera (21) and the right rear camera (22) or the left rear camera (23). The point (U ′) where the line segment (L3, L7) connecting the base point (P4, P8) and the projection coordinate (U) on the elliptical cylinder projection plane (63) intersects the ground projection plane (62) is the ground projection plane. (62) The projection coordinates can be converted to the above. Thus, by aligning the projection coordinates of the rear image (a) and the right rear image (b) and the projection coordinates of the rear image (a) and the left rear image (c) to a predetermined point (U ′), It is possible to obtain a synthesized image that is synthesized without overlapping the positions of the objects on the road on the image.
Further, by gradually changing the base points (P4, P8) corresponding to the circumferential direction (W direction) of the elliptical cylinder projection surface of the projection coordinates (U), the sense of discomfort of the composite image in the transition region (b1, b2) is felt. Can be suppressed. That is, as the projected coordinate (U) approaches the right or left end of the rear image (a), the base point (P4, P8) is gradually changed so as to approach the right rear camera (22) or the left rear camera (23). .
The point (U ′) on the ground projection plane (62) is a point (L1, L5) connecting the rear camera (21) and the projection coordinates (U) intersects the ground projection plane (62) ( The points (P2, P6) where the line segments (L2, L6) connecting P1, P5) and the right rear camera (22) or left rear camera (23) and the projection coordinates (U) intersect the ground projection plane (62). The same point (U ′) can be obtained even if it is obtained as a point on a line segment (P1-P2, P5-P6) connecting the two points.
後方合成画像において各投影画像（ａ"、ｂ"、ｃ"）を配分する形態は、限定されない。例えば、後方合成画像を横方向に適宜の比率で３分割し、それぞれ投影画像（ａ"、ｂ"、ｃ"）を配置することができる。
また、画像合成手段（７）は、後方合成画像を上下方向に適宜の比率で２分割し、その上方領域（７１）と下方領域（７２）とで各投影画像（ａ"、ｂ"、ｃ"）の配分形態を変更することができる。例えば、後方合成画像の上方領域（７１）には適宜の比率により各投影画像（ａ"、ｂ"、ｃ"）の上方領域を配し、後方合成画像の下方領域（７２）には、上方領域（７１）と画像が連続し、且つ中央の投影後方画像（ａ"）の領域が下方に向けて広がる台形状に配することができる（図６（ｂ）を参照）。これにより、後方合成画像の下方領域（７２）においては、左右の投影画像（ｂ"、ｃ"）はそれぞれ下方に向けて狭まる台形状に配されることになる。
The form of allocating each projection image (a ″, b ″, c ″) in the rear composite image is not limited. For example, the rear composite image is divided into three at an appropriate ratio in the horizontal direction, and each projection image (a ″, b ", c") can be arranged.
The image synthesizing means (7) divides the rear synthesized image into two in the vertical direction at an appropriate ratio, and each projected image (a ", b", c) is divided into its upper area (71) and lower area (72). The distribution form of “) can be changed. For example, the upper area (71) of the rear composite image is provided with the upper area of each projection image (a ″, b ″, c ″) at an appropriate ratio, and the rear The lower area (72) of the composite image can be arranged in a trapezoidal shape in which the upper area (71) and the image are continuous and the area of the central projected rear image (a ") extends downward (see FIG. 6 (b)) With this, in the lower region (72) of the rear composite image, the left and right projection images (b ″, c ″) are each arranged in a trapezoidal shape that narrows downward. .
図６（ｂ）に示すように、後方合成画像の下方領域（７２）において、投影後方画像（ａ"）を下方に向けて広がる台形状（７６）に配するときは、その上底が投影後方画像（ａ"）の上方領域（７１）の下辺と同じ長さであり、下底の長さは少なくとも車両（９１）の車幅以上に対応させることが好ましい。車幅以上とすることで車両後方の路上物の画像が境界を越えて変形しにくくなり、車両（９１）が後進するときの視認性が高まるからである。尚、後方合成画像の下方領域（７２）において、投影右側後方画像（ｂ"）及び投影左側後方画像（ｃ"）は、それぞれ投影後方画像部（７６）の右左の残部分（７７、７８）に配される。
上記後方合成画像は、表示手段（８）により液晶ディスプレイ等の表示装置に表示するように出力される。
As shown in FIG. 6B, when the projected rear image (a ″) is arranged in a trapezoidal shape (76) that extends downward in the lower region (72) of the rear synthesized image, the upper base is projected. It is preferably the same length as the lower side of the upper region (71) of the rear image (a "), and the length of the lower base corresponds to at least the vehicle width of the vehicle (91). This is because by setting the vehicle width to be greater than or equal to the vehicle width, an image of an object on the road behind the vehicle is hard to be deformed beyond the boundary, and visibility when the vehicle (91) moves backward is increased. In the lower region (72) of the rear composite image, the projected right rear image (b ") and the projected left rear image (c") are the left and right remaining portions (77, 78) of the projected rear image portion (76), respectively. Arranged.
The rear composite image is output to be displayed on a display device such as a liquid crystal display by the display means (8).
以上の画像取得手段（３）、座標変換手段（４）、画像合成手段（７）は、ハードウェア、ソフトウェアのいずれによって実現されてもよく、具体的な構成は問わない。例えば、図示しないＣＰＵ、メモリ（ＲＯＭ、ＲＡＭ等）、入出力回路等を備えるマイクロコントローラ（マイクロコンピュータ）を中心に、入出力インターフェース等周辺回路を備えることにより構成することができる。マイクロコントローラとして、画像処理に向いたプロセッサを使用することができる。また、プログラム可能な論理回路、ゲートアレーその他の論理回路を用いて構成されてもよい。 The above image acquisition means (3), coordinate conversion means (4), and image composition means (7) may be realized by either hardware or software, and their specific configurations are not limited. For example, it can be configured by including peripheral circuits such as an input / output interface around a microcontroller (microcomputer) including a CPU, memory (ROM, RAM, etc.), input / output circuits, etc. (not shown). As the microcontroller, a processor suitable for image processing can be used. Alternatively, a programmable logic circuit, a gate array, or other logic circuit may be used.
本実施形態に係る画像合成装置１はバックミラーの代わりに用いられる後方モニタであり、図１に示すように、後方カメラ２１、２つの側後方カメラ２２及び２３からそれぞれ後方画像、右側後方画像及び左側後方画像を取得する、画像取得手段３、座標変換手段（４）、画像合成手段（７）等を備えて構成されている。
図２は、各カメラ２１〜２３とその画角（撮影範囲）の例を示している。各カメラ２１〜２３は、いずれも魚眼レンズを用いたカメラである。後方カメラ２１は、図２、３に示すように、車両９１の後端であるバックドアのドアノブ付近に設けられ、車両９１の後方の範囲９２ａを撮影する。側後方カメラ２２、２３は、それぞれ車両９１の側面から延出するドアミラー部に設けられており、車両９１の後方を含む左右の範囲９３ａ、９４ａを撮影する。
The image synthesizer 1 according to the present embodiment is a rear monitor used in place of a rearview mirror. As shown in FIG. 1, a rear image, a right rear image, and a rear rear camera 21 and two side rear cameras 22 and 23, respectively. The image acquisition means 3, the coordinate conversion means (4), the image composition means (7), etc. are provided for acquiring the left rear image.
FIG. 2 shows an example of each camera 21 to 23 and its angle of view (shooting range). Each of the cameras 21 to 23 is a camera using a fisheye lens. As shown in FIGS. 2 and 3, the rear camera 21 is provided in the vicinity of the door knob of the back door, which is the rear end of the vehicle 91, and photographs a range 92 a behind the vehicle 91. The side rear cameras 22 and 23 are provided in door mirror portions extending from the side surfaces of the vehicle 91, respectively, and shoot the left and right ranges 93 a and 94 a including the rear of the vehicle 91.
画像合成装置１における情報処理方法及び動作を、図１１に示すフローチャートに基づき説明する。本発明は、車両の後方、右側後方及び左側後方における路面及び路上の映像を合成する画像合成方法としても実現可能である。本画像合成方法は、前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得工程と、前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換工程と、前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成工程と、を備え、前記所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、前記座標変換工程は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影することを特徴とする。
上記画像取得工程は主として画像取得手段３により行われる。また、上記座標変換工程は主として座標変換手段４により、上記画像合成工程は主として画像合成手段７により行われる。
The information processing method and operation in the image composition device 1 will be described based on the flowchart shown in FIG. The present invention can also be realized as an image composition method for compositing images on the road surface and road on the rear, right rear and left rear of the vehicle. The image composition method includes a rear image, a right rear image, and a left side image captured by a rear camera that captures the rear of the vehicle, a right rear camera that captures the right rear, and a left rear camera that captures the left rear, respectively. An image acquisition step for acquiring a rear image, and coordinate conversion for converting the rear image, the right rear image, and the left rear image into a projected rear image, a projected right rear image, and a projected left rear image, respectively, projected onto a predetermined projection plane. And a step of synthesizing the projection rear image, the projection right rear image, and the projection left rear image to obtain a rear composite image, and the predetermined projection plane has a predetermined position as an origin. In a three-dimensional coordinate space, a cylindrical elliptic cylinder projection surface whose horizontal cross-sectional shape is an ellipse centered on a predetermined virtual viewpoint, and a ground corresponding to the ground The coordinate transformation step includes the rear image, the right rear image, and the left rear image from the positions of the rear camera, the right rear camera, and the left rear camera in the three-dimensional coordinate space, respectively. Projecting to an elliptic cylinder projection surface and the ground projection surface is characterized.
The image acquisition process is mainly performed by the image acquisition means 3. The coordinate conversion process is mainly performed by the coordinate conversion means 4, and the image composition process is mainly performed by the image composition means 7.
まず、画像取得工程において、後方カメラ２１、側後方カメラ２２及び２３によって撮影される映像をキャプチャすることによって、それぞれ画像（ａ、ｂ、ｃ）を取得する（ステップＳ１）。取得される各画像（ａ、ｂ、ｃ）は、例えば、図４に示すように魚眼レンズによる円形の画像となる。
画像取得工程において、各画像（ａ、ｂ、ｃ）をそれぞれ球面座標に変換して歪みを補正し、後方画像（ａ’）、右側後方画像（ｂ’）及び左側後方画像を生成するようにしてもよい。
First, in the image acquisition process, images (a, b, c) are acquired by capturing images captured by the rear camera 21 and the side rear cameras 22 and 23 (step S1). Each acquired image (a, b, c) is, for example, a circular image by a fisheye lens as shown in FIG.
In the image acquisition step, each image (a, b, c) is converted into spherical coordinates to correct distortion, and a rear image (a ′), a right rear image (b ′), and a left rear image are generated. May be.
次に、座標変換工程において、後方画像（ａ）、右側後方画像（ｂ）及び左側後方画像（ｃ）が、それぞれ図５に示した投影面Ｑに投影した画像（ａ"、ｂ"、ｃ"）に変換される（ステップＳ２）。投影面Ｑは、仮想視点６５を基準として設定されており、楕円筒投影面６３及び地面投影面６２から構成されている。また、後方モニタとして適した向きとなるよう、変換時に各画像の左右反転も同時に行われる。
各投影画像（ａ"、ｂ"、ｃ"）は、それぞれ３次元座標空間における後方カメラ２１、右側後方カメラ２２及び左側後方カメラ２３の位置から、楕円筒投影面６３及び地面投影面６２に投影される画像である。
投影画像への座標変換においては、図３に示すように、楕円筒投影面６３上の投影座標Ｕが地面投影面６２より下に位置する場合が生じる。この場合には、座標変換工程において、後方カメラ２１と投影座標Ｕとを結ぶ線分Ｌ１、Ｌ５、右側後方カメラ２２と投影座標Ｕとを結ぶ線分Ｌ６、及び左側後方カメラ２３と投影座標Ｕとを結ぶ線分Ｌ２が地面投影面６２と交わる点の地面投影面６２上の座標Ｐ１、Ｐ５、Ｐ６、Ｐ２に変換する。
また、遷移領域ｂ１、ｂ２において、楕円筒投影面６３上の投影座標Ｕが地面投影面６２より下に位置する場合は、後方カメラ２１と右側後方カメラ２２又は左側後方カメラ２３とを結ぶ線分Ｌ４、Ｌ８上に、遷移領域ｂ１、ｂ２のＷ方向の位置に比例する基点Ｐ４、Ｐ８を設定し、その基点Ｐ４、Ｐ８と楕円筒投影面６３上の投影座標Ｕとを結ぶ線分Ｌ３、Ｌ７が地面投影面６２と交わる点Ｕ’を地面投影面６２上の投影座標とするように変換する。
Next, in the coordinate conversion step, the rear image (a), the right rear image (b), and the left rear image (c) are respectively images (a ", b", c) projected onto the projection plane Q shown in FIG. (Step S2) The projection plane Q is set with the virtual viewpoint 65 as a reference, and is composed of an elliptical cylinder projection plane 63 and a ground projection plane 62. Also suitable as a rear monitor. In order to be oriented, each image is also reversed at the same time during conversion.
Each projection image (a ″, b ″, c ″) is projected onto the elliptic cylinder projection plane 63 and the ground projection plane 62 from the positions of the rear camera 21, the right rear camera 22, and the left rear camera 23 in the three-dimensional coordinate space, respectively. It is an image to be.
In coordinate conversion to a projected image, as shown in FIG. 3, there are cases where the projection coordinates U on the elliptical cylinder projection surface 63 are located below the ground projection surface 62. In this case, in the coordinate conversion step, line segments L1 and L5 connecting the rear camera 21 and the projected coordinate U, line segment L6 connecting the right rear camera 22 and the projected coordinate U, and the left rear camera 23 and the projected coordinate U Are converted into coordinates P1, P5, P6, and P2 on the ground projection surface 62 at the point where the line segment L2 that intersects the ground projection surface 62 intersects.
Further, in the transition areas b1 and b2, when the projection coordinates U on the elliptical cylinder projection plane 63 are located below the ground projection plane 62, a line segment connecting the rear camera 21 and the right rear camera 22 or the left rear camera 23. On L4 and L8, base points P4 and P8 proportional to the position in the W direction of the transition regions b1 and b2 are set, and a line segment L3 connecting the base points P4 and P8 and the projection coordinates U on the elliptic cylinder projection surface 63, The point U ′ where L7 intersects the ground projection plane 62 is converted to be the projection coordinates on the ground projection plane 62.
次に、画像合成工程において、投影後方画像、投影右側後方画像及び投影左側後方画像（ａ"、ｂ"、ｃ"）を合成することにより後方合成画像を生成する（ステップＳ３）。画像の合成は、図６（ｂ）に例示したように、各投影画像（ａ"、ｂ"、ｃ"）から合成に用いる所定の区画を切り出し、その境界が所定の幅で重なるように配置することによって行う。各投影画像から切り出した画像の境界部（遷移領域ｂ１、ｂ２）は、隣り合う画像の混合比率を幅方向で漸次変化させて各画像を混合することにより、画像間の継ぎ目の不自然さを軽減する。
これによって、図８に示すような後方合成画像が作成される。
Next, in the image synthesizing step, a rear synthesized image is generated by synthesizing the projected rear image, the projected right rear image, and the projected left rear image (a ″, b ″, c ″) (step S3). As illustrated in FIG. 6B, by cutting out a predetermined section used for composition from each projection image (a ″, b ″, c ″) and arranging the boundaries so as to overlap with a predetermined width. Do. The boundary portions (transition regions b1 and b2) of the images cut out from the projection images are mixed with each other by gradually changing the mixing ratio of the adjacent images in the width direction, thereby reducing the unnaturalness of the seams between the images. Reduce.
As a result, a backward composite image as shown in FIG. 8 is created.
後方合成画像の作成においては、その上下方向に適宜の比率で上方領域７１と下方領域７２に区分し、上方と下方とで各投影画像から切り出す割合を変えることができる。すなわち、図６（ｂ）に示したように、後方合成画像の下方領域７２においては、投影後方画像ａ"が下方に向けて広くなる台形状に切り出し、残る左右の領域に投影右側後方画像及び投影左側後方画像（ｂ"、ｃ"）から切り出した画像を配置することができる。図９は、このような方法で作成した後方合成画像の例である。一方、図１０は、後方合成画像の上下領域で各投影画像から切り出す割合を変えないで、各投影画像（ａ"、ｂ"、ｃ"）を配した例である。図９のように、後方合成画像における下方領域において投影後方画像ａ"を下方に広がるように配することによって、車両後部付近の路上が広く視認されるようにすることができる。
後方合成画像は、別途設けられる表示装置に出力して表示するようにすることができる（ステップＳ４、表示工程）。
In the creation of the rear composite image, the upper region 71 and the lower region 72 can be divided at an appropriate ratio in the vertical direction, and the ratio of clipping from each projection image can be changed between the upper and lower regions. That is, as shown in FIG. 6B, in the lower region 72 of the rear composite image, the projected rear image a ″ is cut out in a trapezoidal shape that expands downward, and the projected right rear image and the left and right regions are left. An image cut out from the projected left rear image (b ″, c ″) can be arranged. FIG. 9 is an example of a rear composite image created by such a method. In this example, the projection images (a ″, b ″, c ″) are arranged without changing the ratio of cutting out from each projection image in the upper and lower regions. As shown in FIG. 9, by disposing the projected rear image a ″ so as to spread downward in the lower region of the rear composite image, the road near the rear of the vehicle can be viewed widely.
The rear composite image can be output and displayed on a separately provided display device (step S4, display step).
尚、本発明においては、以上に示した実施形態に限られず、目的、用途に応じて本発明の範囲内で種々変更した態様とすることができる。 The present invention is not limited to the embodiment described above, and various modifications can be made within the scope of the present invention depending on the purpose and application.
１；画像合成装置、２１；後方カメラ、２２；右側後方カメラ、２３；左側後方カメラ、３；画像取得手段、４；座標変換手段、６２；地面投影面、６３；楕円筒投影面、６５；仮想視点、６６；中心軸、７；画像合成手段、８；表示手段、９１；車両。 DESCRIPTION OF SYMBOLS 1; Image composition apparatus, 21; Rear camera, 22; Right rear camera, 23; Left rear camera, 3; Image acquisition means, 4; Coordinate conversion means, 62; Ground projection surface, 63; Virtual viewpoint, 66; central axis, 7; image composition means, 8; display means, 91; vehicle.
Claims (12)
前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得手段と、
前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換手段と、
前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成手段と、
を備え、
前記所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、
前記座標変換手段は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影することを特徴とする画像合成装置。 An image composition device for synthesizing images on the road surface and road on the rear, right rear and left rear of the vehicle,
Images for obtaining a rear image, a right rear image, and a left rear image, respectively, from images captured by a rear camera that captures the rear of the vehicle, a right rear camera that captures the right rear, and a left rear camera that captures the left rear. Acquisition means;
Coordinate conversion means for converting the rear image, the right rear image, and the left rear image into a projected rear image, a projected right rear image, and a projected left rear image, respectively, projected on a predetermined projection plane;
Image synthesizing means for obtaining a rear synthesized image by synthesizing the projected rear image, the projected right rear image and the projected left rear image;
With
The predetermined projection plane is a cylindrical elliptic cylinder projection plane whose horizontal cross-sectional shape is an ellipse centered on a predetermined virtual viewpoint in a three-dimensional coordinate space having a predetermined position as an origin, and a ground corresponding to the ground Consisting of a projection plane,
The coordinate transformation means converts the rear image, the right rear image, and the left rear image from the positions of the rear camera, the right rear camera, and the left rear camera in the three-dimensional coordinate space, respectively, An image synthesizing apparatus that projects onto the ground projection surface.
前記楕円筒投影面は、水平断面において前記仮想視点から前記車両の後方を中心として所定角度の範囲内であり、
前記地面投影面は、前記楕円筒投影面に接する範囲内である請求項１記載の画像合成装置。 The virtual viewpoint is in front of the vehicle in the three-dimensional coordinate space;
The elliptical cylinder projection plane is within a range of a predetermined angle centered on the rear of the vehicle from the virtual viewpoint in a horizontal section,
The image synthesizing apparatus according to claim 1, wherein the ground projection plane is within a range in contact with the elliptic cylinder projection plane.
前記後方カメラと前記右側後方カメラ又は左側後方カメラとを結ぶ線分上に基点を設定し、前記基点と前記楕円筒投影面上の前記投影座標とを結ぶ線分が前記地面投影面と交わる点を前記地面投影面上の投影座標とするように変換する請求項４に記載の画像合成装置。 In the transition area, the coordinate conversion means is located below the ground projection plane when the projection coordinates on the elliptic cylinder projection plane are
A base point is set on a line segment connecting the rear camera and the right rear camera or the left rear camera, and a line segment connecting the base point and the projection coordinates on the elliptic cylinder projection plane intersects the ground projection plane. The image synthesizing apparatus according to claim 4, wherein the image is converted to be a projection coordinate on the ground projection plane.
前記車両の後方を撮影する後方カメラ、右側後方を撮影する右側後方カメラ、及び左側後方を撮影する左側後方カメラによって撮影された映像から、それぞれ後方画像、右側後方画像及び左側後方画像を取得する画像取得工程と、
前記後方画像、前記右側後方画像及び前記左側後方画像をそれぞれ所定の投影面に投影した投影後方画像、投影右側後方画像及び投影左側後方画像に変換する座標変換工程と、
前記投影後方画像、前記投影右側後方画像及び前記投影左側後方画像を合成することにより後方合成画像を得る画像合成工程と、
を備え、
前記所定の投影面は、所定の位置を原点とする３次元座標空間において、水平断面形状が所定の仮想視点を中心とする楕円形状である筒状の楕円筒投影面、及び地面に対応する地面投影面からなり、
前記座標変換工程は、前記後方画像、前記右側後方画像及び前記左側後方画像を、それぞれ前記３次元座標空間における前記後方カメラ、前記右側後方カメラ及び前記左側後方カメラの位置から前記楕円筒投影面及び前記地面投影面に投影することを特徴とする画像合成方法。 An image synthesis method for synthesizing a road surface and a video on the road at the rear, right rear and left rear of the vehicle,
Images for obtaining a rear image, a right rear image, and a left rear image, respectively, from images captured by a rear camera that captures the rear of the vehicle, a right rear camera that captures the right rear, and a left rear camera that captures the left rear. Acquisition process;
A coordinate conversion step of converting the rear image, the right rear image, and the left rear image into a projected rear image, a projected right rear image, and a projected left rear image, respectively, projected on a predetermined projection plane;
An image synthesis step of obtaining a rear synthesized image by synthesizing the projected rear image, the projected right rear image, and the projected left rear image;
With
The predetermined projection plane is a cylindrical elliptic cylinder projection plane whose horizontal cross-sectional shape is an ellipse centered on a predetermined virtual viewpoint in a three-dimensional coordinate space having a predetermined position as an origin, and a ground corresponding to the ground Consisting of a projection plane,
In the coordinate transformation step, the rear image, the right rear image, and the left rear image are respectively converted from the position of the rear camera, the right rear camera, and the left rear camera in the three-dimensional coordinate space, An image composition method, wherein the image is projected onto the ground projection surface.
前記楕円筒投影面は、水平断面において前記仮想視点から前記車両の後方を中心として所定角度の範囲内であり、
前記地面投影面は、前記楕円筒投影面に接する範囲内である請求項７載の画像合成方法。 The virtual viewpoint is in front of the vehicle in the three-dimensional coordinate space;
The elliptical cylinder projection plane is within a range of a predetermined angle centered on the rear of the vehicle from the virtual viewpoint in a horizontal section,
The image composition method according to claim 7, wherein the ground projection plane is within a range in contact with the elliptic cylinder projection plane.
前記後方カメラと前記右側後方カメラ又は左側後方カメラとを結ぶ線分上に基点を設定し、前記基点と前記楕円筒投影面上の前記投影座標とを結ぶ線分が前記地面投影面と交わる点を前記地面投影面上の投影座標とするように変換する請求項１０に記載の画像合成方法。 In the transition area, the coordinate conversion means is located below the ground projection plane when the projection coordinates on the elliptic cylinder projection plane are
A base point is set on a line segment connecting the rear camera and the right rear camera or the left rear camera, and a line segment connecting the base point and the projection coordinates on the elliptic cylinder projection plane intersects the ground projection plane. The image synthesizing method according to claim 10, wherein the image is converted to be a projection coordinate on the ground projection plane.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016224499A JP6827302B2 (en) | 2016-11-17 | 2016-11-17 | Image compositing device and image compositing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016224499A JP6827302B2 (en) | 2016-11-17 | 2016-11-17 | Image compositing device and image compositing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2018081591A true JP2018081591A (en) | 2018-05-24 |
| JP6827302B2 JP6827302B2 (en) | 2021-02-10 |
Family
ID=62199046
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016224499A Active JP6827302B2 (en) | 2016-11-17 | 2016-11-17 | Image compositing device and image compositing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6827302B2 (en) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002135765A (en) * | 1998-07-31 | 2002-05-10 | Matsushita Electric Ind Co Ltd | Camera calibration instruction device and camera calibration device |
| JP2011087319A (en) * | 2010-12-06 | 2011-04-28 | Sanyo Electric Co Ltd | In-vehicle panorama camera system |
| JP2012138876A (en) * | 2010-12-28 | 2012-07-19 | Fujitsu Ten Ltd | Image generating apparatus, image display system, and image display method |
| JP2013118508A (en) * | 2011-12-02 | 2013-06-13 | Toyota Motor Corp | Image processing apparatus and image processing method |
| JP2014090315A (en) * | 2012-10-30 | 2014-05-15 | Denso Corp | On-vehicle image generation apparatus |
| JP2015097335A (en) * | 2013-11-15 | 2015-05-21 | スズキ株式会社 | Bird's-eye image generating apparatus |
-
2016
- 2016-11-17 JP JP2016224499A patent/JP6827302B2/en active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002135765A (en) * | 1998-07-31 | 2002-05-10 | Matsushita Electric Ind Co Ltd | Camera calibration instruction device and camera calibration device |
| JP2011087319A (en) * | 2010-12-06 | 2011-04-28 | Sanyo Electric Co Ltd | In-vehicle panorama camera system |
| JP2012138876A (en) * | 2010-12-28 | 2012-07-19 | Fujitsu Ten Ltd | Image generating apparatus, image display system, and image display method |
| JP2013118508A (en) * | 2011-12-02 | 2013-06-13 | Toyota Motor Corp | Image processing apparatus and image processing method |
| JP2014090315A (en) * | 2012-10-30 | 2014-05-15 | Denso Corp | On-vehicle image generation apparatus |
| JP2015097335A (en) * | 2013-11-15 | 2015-05-21 | スズキ株式会社 | Bird's-eye image generating apparatus |
Non-Patent Citations (1)
| Title |
|---|
| 三木洋平, 外２名: ""映像合成技術"", 三菱電機技報, vol. 第８８巻, 第７号, JPN6020040925, 20 July 2014 (2014-07-20), pages 31 - 34, ISSN: 0004374518 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6827302B2 (en) | 2021-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7054293B2 (en) | Rear-stitched view panorama for rear-view visualization | |
| JP3300334B2 (en) | Image processing device and monitoring system | |
| JP4560716B2 (en) | Vehicle periphery monitoring system | |
| KR100937750B1 (en) | Drive assisting system | |
| US7974444B2 (en) | Image processor and vehicle surrounding visual field support device | |
| TWI578271B (en) | Dynamic image processing method and dynamic image processing system | |
| JP4786076B2 (en) | Driving support display device | |
| JP4248570B2 (en) | Image processing apparatus and visibility support apparatus and method | |
| US9255364B2 (en) | Image generating apparatus for paving machine and operation support system for paving machine | |
| EP2642754B1 (en) | Image generating device and operation assistance system | |
| JP4902368B2 (en) | Image processing apparatus and image processing method | |
| JP2008085446A (en) | Image generator and image generation method | |
| JP2008048317A (en) | Image processing unit, and sight support device and method | |
| WO2014033886A1 (en) | Image processing apparatus, image processing method, and program | |
| US11140364B2 (en) | Sensor fusion based perceptually enhanced surround view | |
| JP2006515128A (en) | Stereo panoramic image capturing device | |
| JP4679293B2 (en) | In-vehicle panoramic camera system | |
| JP6073182B2 (en) | Image generator for paving machine and operation support system for paving machine | |
| JP6930935B2 (en) | Image compositing device and image compositing method | |
| Thomas et al. | Development of a cost effective bird's eye view parking assistance system | |
| JP6293089B2 (en) | Rear monitor | |
| JP2011087319A (en) | In-vehicle panorama camera system | |
| JP6827302B2 (en) | Image compositing device and image compositing method | |
| JP5917371B2 (en) | Image generator for paving machine and operation support system for paving machine | |
| JP2006080626A (en) | Method of correcting wide angle image and method of monitoring vehicle periphery |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190905 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201016 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201027 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201224 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210119 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6827302 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |