CN106855999A - 汽车环视图像的生成方法及装置 - Google Patents
汽车环视图像的生成方法及装置 Download PDFInfo
- Publication number
- CN106855999A CN106855999A CN201510901018.3A CN201510901018A CN106855999A CN 106855999 A CN106855999 A CN 106855999A CN 201510901018 A CN201510901018 A CN 201510901018A CN 106855999 A CN106855999 A CN 106855999A
- Authority
- CN
- China
- Prior art keywords
- image
- spliced
- overhead view
- automobile panoramic
- automobile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 46
- 238000006243 chemical reaction Methods 0.000 claims abstract description 26
- 238000013507 mapping Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 description 7
- 230000004927 fusion Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 241000251468 Actinopterygii Species 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- PCTMTFRHKVHKIS-BMFZQQSSSA-N (1s,3r,4e,6e,8e,10e,12e,14e,16e,18s,19r,20r,21s,25r,27r,30r,31r,33s,35r,37s,38r)-3-[(2r,3s,4s,5s,6r)-4-amino-3,5-dihydroxy-6-methyloxan-2-yl]oxy-19,25,27,30,31,33,35,37-octahydroxy-18,20,21-trimethyl-23-oxo-22,39-dioxabicyclo[33.3.1]nonatriaconta-4,6,8,10 Chemical compound C1C=C2C[C@@H](OS(O)(=O)=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H]([C@H](C)CCCC(C)C)[C@@]1(C)CC2.O[C@H]1[C@@H](N)[C@H](O)[C@@H](C)O[C@H]1O[C@H]1/C=C/C=C/C=C/C=C/C=C/C=C/C=C/[C@H](C)[C@@H](O)[C@@H](C)[C@H](C)OC(=O)C[C@H](O)C[C@H](O)CC[C@@H](O)[C@H](O)C[C@H](O)C[C@](O)(C[C@H](O)[C@H]2C(O)=O)O[C@H]2C1 PCTMTFRHKVHKIS-BMFZQQSSSA-N 0.000 description 1
- 241000208340 Araliaceae Species 0.000 description 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 description 1
- 235000003140 Panax quinquefolius Nutrition 0.000 description 1
- 235000008434 ginseng Nutrition 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
- B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
- B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Image Processing (AREA)
Abstract
一种汽车环视图像的生成方法及装置，所述方法包括：接收多个摄像头采集的汽车车身周围4个方位的侧视图像，所述4个方位为汽车车身前方、后方、左方和右方；分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像；将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像；对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。上述方案可以减小汽车环视图像的失真程度。
Description
技术领域
本发明涉及汽车技术领域，特别是涉及一种汽车环视图像的生成方法及装置。
背景技术
车辆在行驶过程中，驾驶员只能通过车窗、后视镜及外界的声音等判断车辆行驶的环境，这会产生很多安全隐患，例如行驶时前方近车身处位置或者路面低矮处可能有异物，车辆倒车时车后挡风玻璃以下位置可能有小孩或其他物体等，为了解决行驶过程中的盲区带来的安全隐患，辅助驾驶的汽车全景视觉系统应运而生。
汽车全景视觉系统通过生成汽车环视图像，显示该图像给驾驶员以辅助其了解车身周围的情况，进而采取措施避免发生交通事故。
目前，汽车环视图像的生成存在图像失真的问题。
发明内容
本发明解决的技术问题是如何减小生成的汽车环视图像的失真度。
为解决上述问题，本发明提供一种汽车环视图像生成方法，包括：
接收多个摄像头采集的汽车车身周围4个方位的侧视图像，所述4个方位为汽车车身前方、后方、左方和右方；
分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像；
将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像；
对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。
可选地，所述将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，包括：
使用公式f(x′,y′)＝k1*f(x1,y1)+k2*f(x2,y2)，将相邻2个方位的待拼接的俯视图像上重叠的两个像素点进行融合得到融合后的像素点(x′,y′)的像素值f(x′,y′)；其中，k1和k2为预设的权重系数，f(x1,y1)和f(x2,y2)分别为原待拼接的俯视图像的像素点(x1，y1)和(x2，y2)对应的像素值。
可选地，所述待拼接的俯视图像的形状为矩形，所述汽车车身前方和后方的俯视图像的长度大于汽车车身宽度，所述汽车车身左方和右方的俯视图像的长度大于汽车车身长度。
可选地，对所述4幅待拼接的俯视图像进行拼接时，在进行融合之前还包括：
根据所述4幅待拼接的俯视图像像素点到所述汽车环视图像的映射关系，得到所述4幅待拼接的俯视图像的像素点在所述汽车环视图像中的坐标位置。
可选地，所述多个摄像头均为无线摄像头。
可选地，所述俯视变换采用棋盘标定变换法。
可选地，所述多个摄像头均为鱼眼摄像头，数量为4个。
可选地，所述汽车环视图像的生成方法，在进行俯视变换前，还包括：对所述侧视图像进行畸变矫正。
本发明实施例还提供一种汽车环视图像的生成装置，包括：
接收单元，适于接收多个摄像头采集的汽车车身周围4个方位的侧视图像，所述4个方位为汽车车身前方、后方、左方和右方；
俯视变换单元，适于分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像；
图像标定单元，适于将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像；
拼接单元，适于对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。
可选地，所述拼接单元适于：
使用公式f(x′,y′)＝k1*f(x1,y1)+k2*f(x2,y2)，将相邻2个方位的待拼接的俯视图像上重叠的两个像素点进行融合得到融合后的像素点(x′,y′)的像素值f(x′,y′)；其中，k1和k2为预设的权重系数，f(x1,y1)和f(x2,y2)分别为原待拼接的俯视图像的像素点(x1，y1)和(x2，y2)对应的像素值。
可选地，所述待拼接的俯视图像的形状为矩形，所述汽车车身前方和后方的俯视图像的长度大于汽车车身宽度，所述汽车车身左方和右方的俯视图像的长度大于汽车车身长度。
可选地，所述拼接单元还适于：在进行融合之前，根据所述4幅待拼接的俯视图像像素点到所述汽车环视图像的映射关系，得到所述4幅待拼接的俯视图像的像素点在所述汽车环视图像中的坐标位置。
可选地，所述多个摄像头均为无线摄像头。
可选地，所述俯视变换采用棋盘标定变换法。
可选地，所述多个摄像头均为鱼眼摄像头，数量为4个。
可选地，所述汽车环视图像的生成装置，还包括：
校正单元，适于在进行俯视变换前，对所述侧视图像进行畸变矫正。
与现有技术相比，本发明实施例的技术方案具有以下有益效果：
本发明实施例通过接收多个摄像头采集的汽车车身周围4个方位的侧视图像，分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像，将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像，对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。由于在拼接4个方位的俯视图像时对重叠区域进行融合，相比不存在重叠区域而直接拼接的方法，拼接处的图像的失真程度减小，进而减小汽车环视图像的失真程度。
进一步地，本发明实施例通过设置待拼接的俯视图像为矩形，并且汽车车身前方和后方的俯视图像的长度大于汽车车身宽度，所述汽车车身左方和右方的俯视图像的长度大于汽车车身长度，从而使得相邻的待拼接的俯视图像的重叠区域面积较大，进而可以通过融合得到更接近真实的图像。
进一步地，本发明实施例通过采用无线摄像头，减少了汽车上线束的数量，安装比较容易。
附图说明
图1是现有技术中的一种汽车环视图像的拼接示意图；
图2是本发明实施例中的一种汽车环视图像的生成方法的流程图；
图3是本发明实施例中的另一种汽车环视图像的生成方法的流程图；
图4是本发明实施例中的一种用于畸变图像校正的球面坐标定位法的示意图；
图5是本发明实施例中的一种汽车环视图像的拼接示意图；
图6是本发明实施例中的一种汽车环视图像的生成装置的结构示意图；
图7是本发明实施例中的另一种汽车环视图像的生成装置的结构示意图。
具体实施方式
如前所述，汽车全景视觉系统通过生成汽车环视图像，显示该图像给驾驶员以辅助其了解车身周围的情况，进而采取措施避免发生交通事故。但是现有技术中汽车环视图像的生成存在图像失真的问题。
具体请参照图1，图1中阴影部分为汽车车身，4个方位的待拼接的图像11、12、13和14为梯形，现有技术中将相邻区域的2个梯形的相邻边在拼接时直接相接，但是拼接部位的图像失真程度较大。
本发明实施例通过接收多个摄像头采集的汽车车身周围4个方位的侧视图像，分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像，将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像，对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。由于在拼接4个方位的俯视图像时对重叠区域进行融合，相比不存在重叠区域而直接拼接的方法，拼接处的图像的失真程度减小。
为使本发明的上述目的、特征和优点能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。
图2是本发明实施例中的一种图像生成方法的流程图。如图2所示的图像生成方法，可以包括以下步骤：
步骤S201：接收多个摄像头采集的汽车车身周围4个方位的侧视图像，所述4个方位为汽车车身前方、后方、左方和右方；
步骤S202：分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像；
步骤S203：将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像；
步骤S204：对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。
在步骤S201的具体实施中，所述摄像头可以是无线或有线摄像头，所述摄像头可以是鱼眼摄像头或其他广角镜头。
由于所述4个方位的侧视图像是从车身上的摄像头角度采集到的，为了最终得到在同一平面的俯视图像，需要对所述侧视图像进行俯视变换，得到侧视图对应的俯视图。在本发明的一实施例中，步骤S202可以采用棋盘标定变换法将所述侧视图像转换为俯视图像，需要说明的是，可以在步骤S202的其他实施例中通过采用其他方法计算得到相应的逆透视投影变换矩阵来实现所述俯视变换，在此不做限制。
在实际应用中，在车身安装摄像头时，摄像头所处的高度和摄像头的拍摄角度不同，需要将经所述俯视变换后的图像进行标定，得到处于同一参考坐标系下的待拼接的俯视图像。在步骤S203具体实施中，对所选择的同一参考坐标系并不做限制。
步骤S204的具体实施中，可使用公式f(x′,y′)＝k1*f(x1,y1)+k2*f(x2,y2)，将相邻2个方位的待拼接的俯视图像上重叠的两个像素点进行融合得到融合后的像素点(x′,y′)的像素值f(x′,y′)；其中，k1和k2为预设的权重系数，f(x1,y1)和f(x2,y2)分别为原待拼接的俯视图像的像素点(x1，y1)和(x2，y2)对应的像素值。
本实施例通过接收多个摄像头采集的汽车车身周围4个方位的侧视图像，分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像，将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像，对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。由于在拼接4个方位的俯视图像时对重叠区域进行融合，相比不存在重叠区域而直接拼接的方法，拼接处的图像的失真程度减小。
图3是本发明实施例中的另一种汽车环视图像的生成方法的流程图。所述汽车环视图像的生成方法可以包括以下步骤。
步骤S301：接收多个摄像头采集的汽车车身周围4个方位的侧视图像，所述4个方位为汽车车身前方、后方、左方和右方。
在本实施例中，所述多个摄像头为无线鱼眼摄像头，数量为4个，分别安装于所述车身前方、后方、左方以及右方。在本步骤的一实例中，所述鱼眼摄像头的水平方向视场角度为170°，垂直方向的视场角度为135°，以保证摄像头能覆盖车身周围360°的区域。
步骤S302：对所述俯视图像进行畸变矫正。
在本实施例中，由于采用鱼眼摄像头，采集到的图像发生畸变比较严重，因此需要对采集到的4幅侧视图像进行校正。
本实施例采用球面坐标定位法对采集到的侧视图进行畸变校正。参照图4，当球面上的每条经线经过拉伸即可变为校正后图像中的竖直线，经线拉直的过程就是鱼眼图像校正的过程。
鱼眼侧视图像的畸变像素可以用球面中的经线表示，h和k为位于同一经线上的两点，h点位于x轴上，通过公式可以计算出经线上的点转换成理想无畸变图像后的x坐标，其中，R为采集到的鱼眼侧视图像半径，Xh为h点与原点O在x轴方向上的差，Yi为K点与原点O在y轴方向上的差，由于处于x轴上的h点没有发生畸变，Xh与畸变前的x坐标相同。k点的y坐标在畸变前后不变。通过以上计算过程可得到k点校正后的坐标值。
同样地，位于其他经线上的像素点可以通过位于x轴上的像素点使用上述公式来计算x坐标，而y坐标保持不变，从而可获得校正后的像素坐标。当所有经线上的像素坐标都转换之后，完成鱼眼图像的校正过程。
步骤S303：分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像。
在本步骤的一实例中，可以采用棋盘标定法进行俯视变换。通过选取待考察点，然后拍摄棋盘格的侧视图像和俯视图像并得到考察点坐标值来计算俯视变换矩阵，通过俯视变换矩阵，建立侧视图像上点到器俯视图的映射关系，完成侧视图转换为俯视图的过程。
在本步骤的其他实施例中，也可以采用三角形线性法、基于SVM校正法、函数校正法或球面等效法来进行俯视变换。
步骤S304：将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像。
本实施例中步骤S304的实施可参照图2中的步骤S203的相关描述，不再赘述。
步骤S305：根据所述4幅待拼接的俯视图像像素点到所述汽车环视图像的映射关系，得到所述4幅待拼接的俯视图像的像素点在所述汽车环视图像中的坐标位置。
在具体实施中，建立汽车环视图像坐标系，将4幅待拼接的俯视图像像素点映射到所述汽车环视图像坐标系下的汽车环视图像上，得到汽车环视图像中像素点的具体坐标位置。
步骤S306：对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。
在具体实施中，可以使用公式f(x′,y′)＝k1*f(x1,y1)+k2*f(x2,y2)，将相邻2个方位的待拼接的俯视图像上重叠的两个像素点进行融合得到融合后的像素点(x′,y′)的像素值f(x′,y′)；其中，k1和k2为预设的权重系数，f(x1,y1)和f(x2,y2)分别为原待拼接的俯视图像的像素点(x1，y1)和(x2，y2)对应的像素值。
在具体实施中，对于非重叠区域的像素点，已经在步骤S205中拼接完成。本步骤处理的是相邻待拼接俯视图间存在重叠的处于同一坐标值像素点。
在具体实施中，参照图5，所述待拼接的俯视图像的形状为矩形，图5中待拼接图像分别为EFML、ESJG、PQHG和FKTH界定的矩形。所述汽车车身ABCD前方和后方的俯视图像的长度ML和HG大于汽车车身宽度AB和JT，所述汽车车身左方和右方的俯视图像的长度EG和FH大于汽车车身长度LP和MQ，从而使相邻的2个区域的俯视图像无缝拼接。
例如前方待拼接俯视图像EFML和左方待拼接俯视图像ESJG的重叠区域为ESAL，在ESLA区域内的像素点采用公式f(x′,y′)＝k1*f(x1,y1)+k2*f(x2,y2)进行融合，其中，融合后的ESAL区域内的像素点的像素值为f(x′,y′)，f(x1,y1)为左方待拼接俯视图像ESJG在重叠区域ESAL内的像素点(x1，y1)的像素值，f(x2,y2)为前方待拼接俯视图像EFML在重叠区域ESAL内的像素点(x2，y2)的像素值，从而使融合后的图像的失真度较小。同时，由于待拼接图像设置为矩形，使得相邻的待拼接的俯视图像的重叠区域面积较大，进而可以通过融合得到更接近真实的图像。
进一步地，本发明实施例通过采用无线摄像头，安装比较容易，减少了汽车上线束的数量。
图6是本发明实施例中的一种汽车环视图像的生成装置的结构示意图。如图所示的汽车环视图像的生成装置60，可以包括：接收单元601、俯视变换单元602、图像标定单元603和拼接单元604。其中：
接收单元601，适于接收多个摄像头采集的汽车车身周围4个方位的侧视图像，所述4个方位为汽车车身前方、后方、左方和右方；
俯视变换单元602，适于分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像；
图像标定单元603，适于将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像；
拼接单元604，适于对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。
具体实施中，拼接单元604适于使用公式f(x′,y′)＝k1*f(x1,y1)+k2*f(x2,y2)，将相邻2个方位的待拼接的俯视图像上重叠的两个像素点进行融合得到融合后的像素点(x′,y′)的像素值f(x′,y′)；其中，k1和k2为预设的权重系数，f(x1,y1)和f(x2,y2)分别为原待拼接的俯视图像的像素点(x1，y1)和(x2，y2)对应的像素值。
在具体实施中，所述摄像头可以是无线或有线摄像头，所述摄像头可以是鱼眼摄像头或其他广角镜头。
所述待拼接的俯视图像的形状为矩形，所述汽车车身前方和后方的俯视图像的长度大于汽车车身宽度，所述汽车车身左方和右方的俯视图像的长度大于汽车车身长度，进而可以通过融合得到更接近真实的图像。
本实施例通过接收多个摄像头采集的汽车车身周围4个方位的侧视图像，分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像，将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像，对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。由于在拼接4个方位的俯视图像时对重叠区域进行融合，相比不存在重叠区域而直接拼接的方法，拼接处的图像的失真程度减小。
本实施例通过设置待拼接的俯视图像为矩形，并且汽车车身前方和后方的俯视图像的长度大于汽车车身宽度，所述汽车车身左方和右方的俯视图像的长度大于汽车车身长度，从而使得相邻的待拼接的俯视图像的重叠区域面积较大，进而可以通过融合得到更接近真实的图像。
图7是本发明实施例中的另一种汽车环视图像的生成装置的结构示意图。如图所示的汽车环视图像的生成装置70，可以包括：接收单元701、俯视变换单元702、图像标定单元703和拼接单元704。
所述接收单元701、俯视变换单元702和图像标定单元703的详细描述可分别参照图6中的接收单元601、俯视变换单元602和图像标定单元603，不再赘述。
在具体实施中，所述拼接单元704适于对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。
在具体实施中，所述拼接单元704还适于在进行融合之前，根据所述4幅待拼接的俯视图像像素点到所述汽车环视图像的映射关系，得到所述4幅待拼接的俯视图像的像素点在所述汽车环视图像中的坐标位置，进而实现在同一环视图像坐标系下进行拼接，加快了拼接的运算速度。
在具体实施中，所述汽车环视图像的生成装置70，还可以包括校正单元705，适于在进行俯视变换前，对所述侧视图像进行畸变矫正。
本实施例在采用鱼眼摄像头时，在进行俯视变换前对所述侧视图像进行畸变矫正从而减小鱼眼摄像头采集图像造成的失真。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于以计算机可读存储介质中，存储介质可以包括：ROM、RAM、磁盘或光盘等。
虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。
Claims (16)
1.一种汽车环视图像的生成方法，其特征在于，包括：
接收多个摄像头采集的汽车车身周围4个方位的侧视图像，所述4个方位为汽车车身前方、后方、左方和右方；
分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像；
将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像；
对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。
2.根据权利要求1所述的汽车环视图像的生成方法，其特征在于，所述将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，包括：
使用公式f(x′,y′)＝k1*f(x1,y1)+k2*f(x2,y2)，将相邻2个方位的待拼接的俯视图像上重叠的两个像素点进行融合得到融合后的像素点(x′,y′)的像素值f(x′,y′)；其中，k1和k2为预设的权重系数，f(x1,y1)和f(x2,y2)分别为原待拼接的俯视图像的像素点(x1，y1)和(x2，y2)对应的像素值。
3.根据权利要求1所述的汽车环视图像的生成方法，其特征在于，所述待拼接的俯视图像的形状为矩形，所述汽车车身前方和后方的俯视图像的长度大于汽车车身宽度，所述汽车车身左方和右方的俯视图像的长度大于汽车车身长度。
4.根据权利要求1所述的汽车环视图像的生成方法，其特征在于，对所述4幅待拼接的俯视图像进行拼接时，在进行融合之前还包括：
根据所述4幅待拼接的俯视图像像素点到所述汽车环视图像的映射关系，得到所述4幅待拼接的俯视图像的像素点在所述汽车环视图像中的坐标位置。
5.根据权利要求1所述的汽车环视图像的生成方法，其特征在于，所述多个摄像头均为无线摄像头。
6.根据权利要求1所述的汽车环视图像的生成方法，其特征在于，所述俯视变换采用棋盘标定变换法。
7.根据权利要求1所述的汽车环视图像的生成方法，其特征在于，所述多个摄像头均为鱼眼摄像头，数量为4个。
8.根据权利要求1所述的汽车环视图像的生成方法，其特征在于，在进行俯视变换前，还包括：对所述侧视图像进行畸变矫正。
9.一种汽车环视图像的生成装置，其特征在于，包括：
接收单元，适于接收多个摄像头采集的汽车车身周围4个方位的侧视图像，所述4个方位为汽车车身前方、后方、左方和右方；
俯视变换单元，适于分别将4幅所述侧视图像进行俯视变换，得到所述侧视图像对应的4幅俯视图像；
图像标定单元，适于将所述4幅俯视图像进行图像标定，得到4幅待拼接的俯视图像；
拼接单元，适于对所述4幅待拼接的俯视图像进行拼接，在拼接时将相邻的2个方位的待拼接的俯视图像的重叠区域进行融合，得到拼接后的汽车环视图像。
10.根据权利要求9所述的汽车环视图像的生成装置，其特征在于，所述拼接单元适于：
使用公式f(x′,y′)＝k1*f(x1,y1)+k2*f(x2,y2)，将相邻2个方位的待拼接的俯视图像上重叠的两个像素点进行融合得到融合后的像素点(x′,y′)的像素值f(x′,y′)；其中，k1和k2为预设的权重系数，f(x1,y1)和f(x2,y2)分别为原待拼接的俯视图像的像素点(x1，y1)和(x2，y2)对应的像素值。
11.根据权利要求9所述的汽车环视图像的生成装置，其特征在于，所述待拼接的俯视图像的形状为矩形，所述汽车车身前方和后方的俯视图像的长度大于汽车车身宽度，所述汽车车身左方和右方的俯视图像的长度大于汽车车身长度。
12.根据权利要求9所述的汽车环视图像的生成装置，其特征在于，所述拼接单元还适于：在进行融合之前，根据所述4幅待拼接的俯视图像像素点到所述汽车环视图像的映射关系，得到所述4幅待拼接的俯视图像的像素点在所述汽车环视图像中的坐标位置。
13.根据权利要求9所述的汽车环视图像的生成装置，其特征在于，所述多个摄像头均为无线摄像头。
14.根据权利要求9所述的汽车环视图像的生成装置，其特征在于，所述俯视变换采用棋盘标定变换法。
15.根据权利要求9所述的汽车环视图像的生成装置，其特征在于，所述多个摄像头均为鱼眼摄像头，数量为4个。
16.根据权利要求9所述的汽车环视图像的生成装置，其特征在于，还包括校正单元，适于在进行俯视变换前，对所述侧视图像进行畸变矫正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510901018.3A CN106855999A (zh) | 2015-12-09 | 2015-12-09 | 汽车环视图像的生成方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510901018.3A CN106855999A (zh) | 2015-12-09 | 2015-12-09 | 汽车环视图像的生成方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106855999A true CN106855999A (zh) | 2017-06-16 |
Family
ID=59132893
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510901018.3A Pending CN106855999A (zh) | 2015-12-09 | 2015-12-09 | 汽车环视图像的生成方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106855999A (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330872A (zh) * | 2017-06-29 | 2017-11-07 | 无锡维森智能传感技术有限公司 | 用于车载环视系统的亮度均衡方法和装置 |
| CN107492125A (zh) * | 2017-07-28 | 2017-12-19 | 哈尔滨工业大学深圳研究生院 | 汽车鱼眼镜头环视图像的处理方法 |
| CN107729824A (zh) * | 2017-09-28 | 2018-02-23 | 湖北工业大学 | 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法 |
| CN109544460A (zh) * | 2017-09-22 | 2019-03-29 | 宝沃汽车（中国）有限公司 | 图像矫正方法、装置及车辆 |
| CN110341597A (zh) * | 2018-04-02 | 2019-10-18 | 杭州海康威视数字技术股份有限公司 | 一种车载全景视频显示系统、方法及车载控制器 |
| CN110428361A (zh) * | 2019-07-25 | 2019-11-08 | 北京麒麟智能科技有限公司 | 一种基于人工智能的多路图像采集方法 |
| CN112224132A (zh) * | 2020-10-28 | 2021-01-15 | 武汉极目智能技术有限公司 | 一种车用全景环视障碍物预警方法 |
| CN112347825A (zh) * | 2019-08-09 | 2021-02-09 | 杭州海康威视数字技术股份有限公司 | 车身环视模型的调整方法及其系统 |
| CN113592949A (zh) * | 2021-07-01 | 2021-11-02 | 广东工业大学 | 用于车辆无线泊车影像的控制系统及方法 |
| WO2021226772A1 (zh) * | 2020-05-11 | 2021-11-18 | 上海欧菲智能车联科技有限公司 | 环视图显示方法、装置、计算机设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020005896A1 (en) * | 2000-05-23 | 2002-01-17 | Kiyoshi Kumata | Surround surveillance system for mobile body, and mobile body, car, and train using the same |
| CN102158684A (zh) * | 2010-02-12 | 2011-08-17 | 王炳立 | 具有图像增强功能的自适应场景图像辅助系统 |
| CN102510475A (zh) * | 2011-10-21 | 2012-06-20 | 上海交通大学 | 基于红外标定的汽车全景成像装置及方法 |
| CN104851076A (zh) * | 2015-05-27 | 2015-08-19 | 武汉理工大学 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
-
2015
- 2015-12-09 CN CN201510901018.3A patent/CN106855999A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020005896A1 (en) * | 2000-05-23 | 2002-01-17 | Kiyoshi Kumata | Surround surveillance system for mobile body, and mobile body, car, and train using the same |
| CN102158684A (zh) * | 2010-02-12 | 2011-08-17 | 王炳立 | 具有图像增强功能的自适应场景图像辅助系统 |
| CN102510475A (zh) * | 2011-10-21 | 2012-06-20 | 上海交通大学 | 基于红外标定的汽车全景成像装置及方法 |
| CN104851076A (zh) * | 2015-05-27 | 2015-08-19 | 武汉理工大学 | 用于商用车的全景环视泊车辅助系统及摄像头安装方法 |
Non-Patent Citations (1)
| Title |
|---|
| 陈明伟 等: "球面坐标定位校正鱼眼图片并合成全景图的方法", 《云南民族大学学报(自然科学版)》 * |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107330872A (zh) * | 2017-06-29 | 2017-11-07 | 无锡维森智能传感技术有限公司 | 用于车载环视系统的亮度均衡方法和装置 |
| CN107492125A (zh) * | 2017-07-28 | 2017-12-19 | 哈尔滨工业大学深圳研究生院 | 汽车鱼眼镜头环视图像的处理方法 |
| CN109544460A (zh) * | 2017-09-22 | 2019-03-29 | 宝沃汽车（中国）有限公司 | 图像矫正方法、装置及车辆 |
| CN107729824A (zh) * | 2017-09-28 | 2018-02-23 | 湖北工业大学 | 一种用于中餐宴会台面摆台智能评分的单目视觉定位方法 |
| CN110341597B (zh) * | 2018-04-02 | 2020-11-27 | 杭州海康威视数字技术股份有限公司 | 一种车载全景视频显示系统、方法及车载控制器 |
| CN110341597A (zh) * | 2018-04-02 | 2019-10-18 | 杭州海康威视数字技术股份有限公司 | 一种车载全景视频显示系统、方法及车载控制器 |
| CN110428361A (zh) * | 2019-07-25 | 2019-11-08 | 北京麒麟智能科技有限公司 | 一种基于人工智能的多路图像采集方法 |
| CN112347825A (zh) * | 2019-08-09 | 2021-02-09 | 杭州海康威视数字技术股份有限公司 | 车身环视模型的调整方法及其系统 |
| CN112347825B (zh) * | 2019-08-09 | 2023-08-22 | 杭州海康威视数字技术股份有限公司 | 车身环视模型的调整方法及其系统 |
| WO2021226772A1 (zh) * | 2020-05-11 | 2021-11-18 | 上海欧菲智能车联科技有限公司 | 环视图显示方法、装置、计算机设备和存储介质 |
| CN112224132A (zh) * | 2020-10-28 | 2021-01-15 | 武汉极目智能技术有限公司 | 一种车用全景环视障碍物预警方法 |
| CN112224132B (zh) * | 2020-10-28 | 2022-04-19 | 武汉极目智能技术有限公司 | 一种车用全景环视障碍物预警方法 |
| CN113592949A (zh) * | 2021-07-01 | 2021-11-02 | 广东工业大学 | 用于车辆无线泊车影像的控制系统及方法 |
| CN113592949B (zh) * | 2021-07-01 | 2024-03-29 | 广东工业大学 | 用于车辆无线泊车影像的控制系统及方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106855999A (zh) | 汽车环视图像的生成方法及装置 | |
| JP7245295B2 (ja) | 車両・被牽引車両コンビの周辺シーンを表示するための方法、並びに、装置 | |
| CN107021015B (zh) | 用于图像处理的系统及方法 | |
| CN102045546B (zh) | 一种全景泊车辅助系统 | |
| US9269124B2 (en) | Image processing device, image processing method, program for image processing device, recording medium, and image display device | |
| CN105306805B (zh) | 用于校正车辆用相机的影像失真的装置和方法 | |
| JP3871614B2 (ja) | 運転支援装置 | |
| JP5108605B2 (ja) | 運転支援システム及び車両 | |
| CN102629372A (zh) | 一种用于辅助车辆驾驶的360度全景鸟瞰图生成方法 | |
| KR20090109583A (ko) | 차량의 주변감시장치 | |
| JP2008077628A (ja) | 画像処理装置並びに車両周辺視界支援装置及び方法 | |
| CN103247030A (zh) | 基于球面投影模型和逆变换模型的车辆全景显示系统鱼眼图像校正方法 | |
| CN103366339A (zh) | 车载多广角摄像头图像合成处理装置及方法 | |
| EP3633598B1 (en) | Image processing device, image processing method, and program | |
| CN112224132A (zh) | 一种车用全景环视障碍物预警方法 | |
| CN105321160B (zh) | 三维立体全景泊车的多摄像头标定方法 | |
| CN112348741A (zh) | 全景图像拼接方法、设备及存储介质和显示方法及系统 | |
| CN108174089B (zh) | 基于双目摄像头的倒车影像拼接方法和装置 | |
| CN107209930B (zh) | 环视图像稳定方法和装置 | |
| EP3326146B1 (en) | Rear cross traffic - quick looks | |
| US20170024851A1 (en) | Panel transform | |
| US11377027B2 (en) | Image processing apparatus, imaging apparatus, driving assistance apparatus, mobile body, and image processing method | |
| CN108701349B (zh) | 显示车辆周围环境前视图的方法和装置及相应车辆 | |
| JP5305750B2 (ja) | 車両周辺表示装置およびその表示方法 | |
| JP6293089B2 (ja) | 後方モニタ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20170616 |
|
| RJ01 | Rejection of invention patent application after publication |