CN112308987B - 车载图像拼接方法、系统以及装置 - Google Patents
车载图像拼接方法、系统以及装置 Download PDFInfo
- Publication number
- CN112308987B CN112308987B CN202011212535.7A CN202011212535A CN112308987B CN 112308987 B CN112308987 B CN 112308987B CN 202011212535 A CN202011212535 A CN 202011212535A CN 112308987 B CN112308987 B CN 112308987B
- Authority
- CN
- China
- Prior art keywords
- image
- points
- feature
- initial
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000005070 sampling Methods 0.000 claims abstract description 108
- 238000013178 mathematical model Methods 0.000 claims abstract description 38
- 238000013507 mapping Methods 0.000 claims abstract description 17
- 239000011159 matrix material Substances 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 17
- 238000006243 chemical reaction Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000010276 construction Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 4
- 238000012216 screening Methods 0.000 claims description 4
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000000605 extraction Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 241000283070 Equus zebra Species 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000012821 model calculation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种车载图像拼接方法、车载图像拼接系统以及车载图像拼接装置，其通过将获取的初始图像映射到三维数学模型中以形成转化图像，并使相邻的第一转化图像的第一重叠区和第二转化图像的第二重叠区重叠且图像内容相同，根据位于第一重叠区上的多个第一采样点的位置，计算多个第一目标图像对应的图案，在第二转化图像的第二重叠区的位置以记作多个第二采样点，根据多个第二采样点获得多个第二目标图像。如此以使第一目标图像和第二目标图像的图像内容相同，进而在融合具有相同图像内容的第一目标图像和第二目标图像时不会产生重影的问题。
Description
技术领域
本发明涉及图像拼接领域，特别涉及一种车载图像拼接方法、系统以及装置。
背景技术
随着汽车的普及，越来越多的汽车进入千家万户，人民生活消费水平的不断提高，汽车的数量也不断的增多，大家对车内电器的智能化要求越来越高，智能汽车中ADAS、车载360全景影像都成为高配车型的重要配置。车载3D环视系统利用安装在车辆四周的广角摄像头重构车辆以及周围场景，生成车载环视全景图像。驾驶员可以通过观察全景图像安全泊车、避开障碍物和消除视觉盲区，达到安全行车的目的。
车载环视系统的概念由k.kato等人于2006年首先提出。之后，各种主动安全技术如行车线检测、停车位检测跟踪和辅助泊车、运动物体检测被应用在车载环视系统上。Byeongchaen Jeon等人于2015年提出了高分辨率全景环视系统的解决方案。这些方案的特点都是使用多路相机来完成实际场景的建模，产生包括2D和伪3D的视觉效果。其中相机的个数根据实际车型来确定，一般家用轿车都是采用4路鱼眼相机来就行建模的，最终的目的就是将多路相机的图像统一到同一个视觉坐标系下，形成一个完整的视场供驾驶员来观察车辆周围的情况。
但是现有的车载环视系统中相邻图像拼接处通常会出现重影的问题。
发明内容
本发明的目的在于提供车载图像拼接方法、系统以及装置，以解决现有的车载环视系统中进行图像拼接时，相邻图像的拼接处产生重影的问题。
为解决上述问题，本发明提供一种车载图像拼接方法，包括：
使用至少两个图像获取设备以获取至少两个初始图像，所述至少两个图像获取设备包括相邻设置的第一图像获取设备和第二图像获取设备，所述第一图像获取设备获取第一初始图像，所述第二图像获取设备获取第二初始图像，所述第一初始图像具有第一初始重叠区，所述第二初始图像具有第二初始重叠区，且所述第一初始重叠区和所述第二初始重叠区的图像内容相同；
构建三维数学模型，将至少两个所述初始图像映射到所述三维数学模型中以形成至少两个转化图像，其中所述第一初始图像映射后形成第一转化图像，所述第二初始图像映射后形成第二转化图像，且所述第一转化图像的第一重叠区和所述第二转化图像的第二重叠区对应重叠且图像内容相同，以及所述第一转化图像的第一重叠区具有多个第一采样点，每个所述第一采样点对应一个第一目标图像；
根据多个所述第一采样点的位置，计算多个所述第一目标图像对应的图案；在所述第二转化图像的第二重叠区的位置并记作多个第二采样点，并根据多个所述第二采样点获得多个第二目标图像；
将多个所述第一目标图像和多个所述第二目标图像一一对应融合，以融合所述第一转化图像和所述第二转化图像的重叠区以生成拼接图像。
可选的，提取位于所述第一转化图像上的所述第一采样点对应的多个第一特征点；
提取位于所述第二转化图像上，且与所述第一采样点坐标相同的初始第二采样点对应的多个第二特征点；
对多个所述第一特征点和多个所述第二特征点进行特征匹配，以获得多个匹配特征点对；
根据所述匹配特征点对计算获得单应性矩阵；
根据所述单应性矩阵计算获得所述第二采样点的坐标，通过所述第二采样点的坐标获得所述第二采样点。
可选的，提取所述多个第一特征点和多个所述第二特征点之后，所述方法还包括：
根据多个所述第一特征点计算得到多个第一特征描述子；
根据多个所述第二特征点计算得到多个第二特征描述子；
对多个所述第一特征点和多个所述第二特征点进行匹配的方法包括：
度量多个所述第一特征描述子和多个所述第二特征描述子的相似度，并根据相似度对多个所述第一特征点和多个所述第二特征点进行特征匹配。
可选的，将所述第一转化图像和所述第二转化图像分别进行映射，以得到第一俯视图像和第二俯视图像；
其中，所述第一俯视图像具有对应于多个所述第一采样点的多个第一俯视点；所述第二俯视图像具有对应于多个所述初始第二采样点的多个第二俯视点；
提取所述第一俯视点的多个第一特征点和所述第二俯视点的多个第二特征点。
可选的，根据所述单应性矩阵计算得到逆矩阵；
根据所述逆矩阵和所述第一俯视点计算得到第二俯视点的坐标；
根据所述三维数学模型的母线方程和所述第二俯视点的坐标计算得到所述第二采样点的坐标。
可选的，根据所述匹配特征点对计算单应性矩阵之前，所述方法还包括：筛除误匹配的匹配特征点对。
可选的，将所述第一目标图像和所述第二目标图像融合之前，所述方法还包括：
评价融合质量以得到评价质量值；
若所述评价质量值小于预设阈值时，结束图像拼接过程；
若所述评价质量值大于所述预设阈值时，对所述第一目标图像和所述第二目标图像进行融合。
可选的，使用所述单应性矩阵对所述第一目标图像和所述第二目标图像进行预融合；
对所述预融合图像的融合质量进行结构相似性评价，并得到评价质量值。
可选的，将所述第二采样点映射到拍照设备坐标系中，以获取第二纹理坐标；
根据所述第二纹理坐标得到所述第二目标图像。
为解决上述问题，本发明还提供一种车载图像拼接系统，包括：
图像获取模块，包括至少两个图像获取设备，所述图像获取设备用于获取初始图像，所述至少两个图像获取设备包括相邻设置的第一图像获取设备和第二图像获取设备，所述第一图像获取设备获取的第一初始图像和所述第二图像获取设备获取的第二初始图像具有图像内容相同的区域，所述图像内容相同的区域为初始重叠区；
三维数学模型构建模块，用于构建三维数学模型，将至少两个所述初始图像映射到所述三维数学模型中以形成至少两个转化图像；其中，所述初始重叠区经映射后形成重叠区，所述第一初始图像映射后形成第一转化图像，所述第二转化图像映射后形成第二转化图像，且所述第一转化图像的第一重叠区和所述第二转化图像的第二重叠区对应重叠且图像内容相同，所述第一转化图像的重叠区具有多个第一采样点，每个所述第一采样点对应一个第一目标图像；
数据处理模块，用于根据多个所述第一采样点的位置，计算多个所述第一目标图像对应的图案在所述第二转化图像的第二重叠区的位置并记作多个第二采样点，并根据多个所述第二采样点获得多个第二目标图像；
图像拼接模块，用于将多个所述第一目标图像和多个所述第二目标图像一一对应融合，以融合所述第一转化图像和所述第二转化图像的重叠区以生成拼接图像。
为解决上述问题，本发明还提供一种车载图像拼接装置，包括中控主机和上述所述的车载图像拼接系统；
其中，所述图像获取设备与中控主机相连接，并将所获取的初始图像传输至所述中控主机进行图像处理从而完成图像拼接；
所述三维数学模型构建模块、所述数据处理模块以及所述图像拼接模块设置于所述中控主机中。
本发明的一种图像拼接方法，本发明提供一种车载图像拼接方法、车载图像拼接系统以及车载图像拼接装置，其通过将获取的初始图像映射到三维数学模型中以形成转化图像，并使相邻的第一转化图像的第一重叠区和第二转化图像的第二重叠区重叠且图像内容相同，根据位于第一重叠区上的多个第一采样点的位置，计算多个第一目标图像对应的图案，在第二转化图像的第二重叠区的位置以记作多个第二采样点，根据多个第二采样点获得多个第二目标图像，最后将多个第一目标图像和多个第二目标图像一一对应融合。如此以使第一目标图像和第二目标图像的图像内容相同，进而在融合具有相同图像内容的第一目标图像和第二目标图像时不会产生重影的问题。
附图说明
图1是本发明一实施例中的车载图像拼接方法的流程图；
图2为本发明一实施例中的车载图像拼接方法中建立的的三维数学模型的构建方程示意图；
图3为本发明一实施例中的车载图像拼接方法中建立的的三维数学模型的模型示意图；
图4是本发明一实施例中的车载图像拼接系统的示意图；
图5是本发明一实施例中的车载图像拼接装置的示意图；
附图标记
A1-碗沿； A2-碗底；
B1-第一转化图像；
B11-第一重叠区； B12-第一非重叠区；
B2-第二转化图像；
B21-第二重叠区； B22-第二非重叠区；
V1-第一采样点； V2-第二采样点；
V2’-第二初始采样点；
1-图像获取模块； 2-三维数学模型构建模块；
3-数据处理模块； 4-图像拼接模块；
100-中控主机。
具体实施方式
以下结合附图和具体实施例对本发明提出的车载图像拼接方法、系统以及装置作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需说明的是，附图均采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。此外，附图所展示的结构往往是实际结构的一部分。特别的，各附图需要展示的侧重点不同，有时会采用不同的比例。
图1是本发明一实施例中的车载图像拼接方法的流程示意图。在本实施例中，如图1所示本实施例的车载图像拼接方法包括如下步骤S10～S40。
在步骤S10中，使用至少两个图像获取设备以获取车辆周围的至少两个初始图像，至少两个图像获取设备包括相邻设置的第一图像获取设备和第二图像获取设备，所述第一图像获取设备获取第一初始图像，所述第二图像获取设备获取第二初始图像，所述第一初始图像具有第一初始重叠区，所述第二初始图像具有第二初始重叠区，所述第一初始重叠区和所述第二初始重叠区的图像内容相同。
其中，所述至少两个图像获取设备可以为鱼眼摄像头，具体的实施例中例如可设置有四个所述鱼眼摄像头，并将四个所述鱼眼摄像头分别设置在车身的前、后、左、右的位置，例如设置在车辆车身的车头、车尾、左后视镜以及右后视镜以实时获取车辆周围区域的图像。其中，通过至少两个图像获取设备获取的车辆周围的至少两个初始图像的图像内容可以包括地面部分和空中部分，地面部分的图像可以包括地面的人行道斑马线、马路路沿等，空中部分的图像可以包括行人，周围车辆，红绿灯等。
图2为本发明一实施例中的车载图像拼接方法中建立的的三维数学模型的构建方程示意图。图3为本发明一实施例中的车载图像拼接方法中建立的的三维数学模型的模型示意图。
在步骤S20中，如图2和图3所示，构建三维数学模型，将至少两个所述初始图像映射到所述三维数学模型中以形成至少两个转化图像，其中所述第一初始图像映射后形成第一转化图像B1，所述第二初始图像映射后形成第二转化图像B2，并且所述第一转化图像B1的第一重叠区B11和所述第二转化图像B2的第二重叠区B21对应重叠且图像内容相同，以及所述第一转化图像B1的重叠区B11具有多个第一采样点V1，每个所述第一采样点V1对应一个第一目标图像。
其中，在本实施例中，如图2和图3所示，所述三维数学模型为三维碗状数学模型，构建所述三维碗状数学模型的构建方程如图2所示，X、Y、Z为世界坐标系，其中X0Y表示地面地面，0表示车辆在地面投影的几何中心，0Y表示汽车前进方向，0Z表示旋转轴，0R0P表示母线，碗型曲面由母线绕旋转轴旋转而成，以及构建三维碗状模型的母线方程公式如公式(1)所示。
其中，R0表示碗底A2的半径，所述碗底A2的半径R0与车辆尺寸相关，所述碗底A2的半径R0的尺寸通常比车辆尺寸的二分之一大100cm左右，在本实施例中，所述碗底A2的半径R0的尺寸为250cm～350cm，较佳的，所述碗底A2的半径R0的尺寸300cm；其中，相机坐标系和世界坐标系的单位均为cm。
以及，k为碗沿A1的调节系数，在本实施例中，通过所述碗沿A1的调节系数K调节所述碗沿A1与所述碗底A2之间的相对大小，即K值越大，所述碗沿A1对应的区域越大。而不论所述碗沿A1的区域过大，所述碗底A2的区域过小，还是所述碗底A2的区域过小，所述碗沿A1的区域过大，均会导致拼接效果不佳，故需给所述碗沿A1的调节系数k赋予合适范围的值。在本实施例中，k值的范围为0.1～0.2。较佳的，本实施例中，K值的范围为0.15。
继续参图3所示，在本实施例中，所述第一转化图像B1包括第一非重叠区B12和第一重叠区B11，所述第二转化图像B2包括第二非重叠区B22和第二重叠区B21。其中，所述第一重叠区B11和所述第二重叠区B21重叠且图像内容相同，例如，所述第一重叠区B11和所述第二重叠区B21均可以为所述第一图像获取器和所述第二图像获取器获取的包括红绿灯和红绿灯下的行人的图像。以及，从所述第一转化图像B1的第一重叠区B11获取的具有明显特征的图像，比如同一人眼图像，并将所述具有明显特征的图像称为第一目标图像。所述第一目标图像对应到三维碗状数学模型中的位置为第一采样点V1。
在步骤S30中，继续参图3所示，根据多个所述第一采样点V1的位置，计算多个所述第一目标图像对应的图案在所述第二转化图像B2的第二重叠区B21上的位置并记作多个第二采样点V2，并根据多个所述第二采样点V2获得多个第二目标图像。其中，在本实施例中，通过上述方法获得的所述第二目标图像和所述第一目标图像对应的图像相同。
继续参图3所示，在本实施例中，根据多个所述第一采样点V1的位置，计算多个所述第一目标图像对应的图案在所述第二转化图像B2的第二重叠区B21上的位置并记作多个第二采样点V2的方法包括如下步骤一到步骤四。
在步骤一中，根据特征提取算法进行计算以提取位于所述第一转化图像B1上的所述第一采样点V1对应的多个第一特征点，并提取位于所述第二转化图像B2上，且与所述第一采样点V1坐标相同的初始第二采样点V2'对应的多个第二特征点。
其中，提取多个所述第一特征点和多个所述第二特征点的方法包括如下第一步骤到第二步骤。
在第一步骤中，继续参图3所示，将所述第一转化图像B1和所述第二转化图像B2分别进行映射，以得到第一俯视图像和第二俯视图像，其中，所述第一俯视图像具有对应于多个所述第一采样点V1的多个第一俯视点Pt，以及，所述第二俯视图像具有对应于多个所述初始第二采样点V2'的多个第二俯视点Pt'。
在本实施例中，以计算得到第一俯视图像的方法为例说明本实施例中映射得到第一俯视图像和第二俯视图像的方法。本实施例中计算得到第一俯视图像的方法包括如下步骤。
首先，计算所述第一转化图像B1映射后形成的第一初始俯视投影图像的尺寸。其中，计算所述第一转化图像B1的初始俯视投影尺寸的公式如公式(2)所示。
Width＝Height＝2R0×Scale——公式(2)
其中，R0表示碗底A2的半径，Scale表示尺度系数，即表示每1cm对应于所述初始俯视投影图像中的像素个数，在本实施例中，所述Scale的值为5。
其次，计算出所述初始俯视投影图上的每一个第一采样点V1在世界坐标系X0Y的平面上的第一俯视点Pt，并得到所述第一俯视点Pt对应的坐标Pt(x，y)，根据所述第一俯视点Pt对应的坐标Pt(x，y)计算得到所述第一采样点V1在z方向上的坐标，最终以得到所述第一采样点V1的坐标V1(x，y，z)。
在本实施例中，所述第一采样点V1在z方向上的坐标可通过三维碗状数学模型的母线方程计算得到，即根据公式(1)计算得出。可选的，根据本领域技术人员研究可知，在进行图像拼接时，位于碗底A2的部分拼接产生重影的程度以及概率比较小，故为了简化计算过程，可以不对所述碗底A2的图像数据进行计算。因此，当R<R0时，可不计算所述第一采样点V1的坐标。
再次，根据多个第一采样点V1的坐标V1(x，y，z)，计算出所述第一采样点V1对应的第一纹理坐标Te(u,v)，最终生成第一查找表(LUT1)。在本实施例中，所述第一纹理坐标Te(u,v)表示，在世界坐标系中，将一个所述第一采样点V1转化到图像获取设备坐标系中时，对应于所述图像获取设备坐标系中的点的坐标。
继续参图1所示，计算所述第一采样点V1对应的所述第一纹理坐标Te(u,v)的方法包括如下步骤一到步骤二。
在步骤一中，通过标定可以得到所述第一图像获取设备的内外参信息。对于世界坐标系中的第一采样点V1(x,y,z)来说，其在所述图像获取设备的坐标系中对应的第一初始采样点Vc的坐标可以通过公式(3)计算得到。
Vc＝RV1+T——公式(3)
其中，R和T分别为图像获取设备外参信息中的旋转矩阵和平移矩阵。
在步骤二中，根据图像获取设备的成像模型计算出所述第一纹理坐标Te(u,v)。
在本实施例中，所述图像获取设备为鱼眼相机，则根据鱼眼相机的成像模型计算出所述第一纹理坐标Te(u,v)。其中，所述成像模型计算公式如下公式(4)所示。
θd＝θ(1+k1θ2+k2θ4+k3θ6+k4θ8)
其中，k1,k2,k3,k4为鱼眼相机内参信息中的畸变系数，fx,fy为鱼眼相机焦距，cx,cy为鱼眼相机光心位置。
最后，根据所述第一查找表(LUT1)进行查找，以得到所述第一初始俯视投影图像上每一个所述第一俯视点Pt所对应的图像内容，最终得到所述第一俯视图像。
此外，将所述第二转化图像映射后的倒第二俯视图像的方法与上述得到所述第一俯视图像的方法相同，在此不做过多赘述。
在第二步骤中，采用特征提取算法以提取所述第一俯视点Pt的多个第一特征点和所述第二俯视点Pt'的多个第二特征点。
在本实施例中，所述第一特征点和所述第二特征点分别指所述第一俯视图像和所述第二俯视图像上含有丰富局部信息的点或块，其经常出现在所述第一俯视图像和所述第二俯视图像中的拐角、纹理剧烈变化的区域等地方。其中，所述特征提取算法有SIFT、SURF、ORB、AKAZE等。
以及，在本实施例中，提取所述多个第一特征点和多个第二特征点之后，所述方法还包括：根据多个所述第一特征点以计算得到多个第一特征描述子，并根据多个所述第二特征点以计算得到多个第二特征描述子。即，提取多个所述第一特征点和多个所述第二特征点之后，根据一定规则进行编码以得到所述第一特征描述子和所述第二特征描述子，使提取的所述第一特征点和所述第二特征点具备光照、旋转、尺寸等不变性。其中，在本实施例中，所述第一特征描述子和所述第二特征描述子的计算方法可以使用AKAZE算法。
在第三步骤中，对多个所述第一特征点和多个所述第二特征点进行特征匹配，以获得多个匹配特征点对(P1，P2)。其中，对多个所述第一特征点和多个所述第二特征点进行匹配的方法包括：度量多个所述第一特征描述子和多个所述第二特征描述子的相似度，并根据所述相似度对多个所述第一特征点和多个所述第二特征点进行特征匹配。
在本实施例中，采用特征向量之间的距离来度量多个所述第一特征描述子和多个所述第二特征描述子的相似度。其中，若进行特征提取时采用的SIFT和SURF算法，则使用L1或L2距离算法进行多个所述第一特征描述子和多个所述第二特征描述子的相似度的度量；若进行特征提取时采用的是ORB和AKAZE算法则使用汉明距离算法进行多个所述第一特征描述子和多个所述第二特征描述子的相似度的度量。
以及，在本实施例中，根据所述相似度对多个所述第一特征点和多个所述第二特征点进行特征匹配的方法包括：暴力搜索方法或邻近搜索方法。
此外，在本实施例中，在对多个所述第一特征点和多个所述第二特征点进行特征匹配之后，以及根据所述匹配特征点对计算单应性矩阵之前，所述方法还包括：筛除误匹配的匹配特征点对。其中，筛除误匹配的匹配特征点对的方法为：使用RANSAC算法以筛除误匹配的匹配特征点对。
在第四步骤中，根据所述匹配特征点对(P1，P2)计算单应性矩阵。其中，计算所述单应性矩阵的公式如下公式(5)所示。
应用上述公式(5)以建立关于多个匹配特征点对(P1，P2)的线性方程组，再使用最小二乘法求解出单应性矩阵。
在第五步骤中，根据所述单应性矩阵计算获得所述第二采样点V2的坐标，通过所述第二采样点V2的坐标以获得所述第二采样点V2。
其中，在本实施例中，根据所述单应性矩阵计算以获取所述第二采样点V2的坐标的方法包括如下步骤。
首先，根据所述单应性矩阵H以计算得到逆矩阵H-1。
其次，根据所述逆矩阵和所述第一俯视点Pt的坐标Pt(x，y)计算得到所述第二俯视点Pt'的坐标Pt'(x',y')。
在本实施例中，对于第一采样点V1(x，y，z)，其对应于第一俯视图像上的第一俯视点的坐标为Pt(x，y)，根据公式Pt'(x',y')＝H-1Pt(x,y)计算以得到第二俯视点的坐标Pt'(x',y')。
最后，根据所述三维数学模型的母线映射方程(公式(1))和所述第二俯视点Pt'的坐标Pt'(x',y')计算得到所述第二采样点V2的坐标。
进一步的，在本实施例中，根据多个所述第二采样点V2获得多个第二目标图像的方法包括：首先，将所述第二采样点V2映射到拍照设备坐标系中，以获取第二纹理坐标Te'(u',v')。之后，根据所述第二纹理坐标Te'(u',v')得到所述第二纹理坐标Te'(u',v')对应的图像，所述图像即为所述第二采样点V2所对应的所述第二目标图像。其中，根据第二采样点V2获取第二纹理坐标Te'(u',v')的方法与上述计算所述第一采样点V1对应的所述第一纹理坐标Te(u,v)的方法相同，在此不做具体赘述。
在步骤S50中，将多个所述第一目标图像和多个所述第二目标图像一一对应融合，以融合所述第一转化图像和所述第二转化图像的重叠区以生成拼接图像。
在本实施例中，将多个所述第一目标图像和多个所述第二目标图像一一对应融合的方法包括：对所述第一目标图像和所述第二目标图像分别乘以融合系数，按照融合系数配比以进行加权融合。具体的，可通过如下公式(6)进行计算，即融合时所述第一目标图像和所述第二目标图像的融合系数均为0.5。
Imagedst＝0.5×Image1+0.5×H×Image2——公式(6)
其中，Image1表示第一目标图像；Image2表示第二目标图像；Imagedst表示融合后的图像。
此外，在本实施例中，将所述第一目标图像和所述第二目标图像融合之前，所述方法还包括：评价融合质量以得到评价质量值；若所述评价质量值小于预设阈值时，结束图像拼接过程；若在所述评价质量值大于所述预设阈值时，对所述第一目标图像和所述第二目标图像进行融合。在本实施例中，所述融合质量阈值为0.85。
其中，获取所述融合质量的方法包括如下步骤。
首先，使用所述单应性矩阵对所述第一目标图像和所述第二目标图像进行预融合；其中，进行预融合的公式可使用如上公式(6)。
其次，对所述预融合图像的融合质量进行结构相似性(SSIM)评价，并得到评价质量值。
在本实施例中，通过构建三维数学模型，将通过图像获取设备获取的初始图像映射到三维数学模型中以形成转化图像，并使相邻的第一转化图像的第一重叠区和第二转化图像的第二重叠区重叠且图像内容相同，根据位于第一重叠区上的多个第一采样点V1的位置，计算多个第一采样点V1对应的多个第一目标图像对应的图案，在第二重叠区的位置以记作多个第二采样点V2，根据多个第二采样点V2获得第二目标图像，最后融合第一目标图像和第二目标图像以得到拼接图像。如此使第一目标图像和第二目标图像对应的图像内容相同，进行在融合具有相同图像的第一目标图像和第二目标图像时不会产生重影的问题。
图4是本发明一实施例中的车载图像拼接系统的示意图；进一步的，如图4并结合图3所示，本实施例还公开一种车载图像拼接系统，所述车载图像拼接系统包括：
图像获取模块1，使用至少两个图像获取设备以获取至少两个初始图像，所述至少两个图像获取设备包括相邻设置的第一图像获取设备和第二图像获取设备，所述第一图像获取设备获取第一初始图像，所述第二图像获取设备获取第二初始图像，所述第一初始图像具有第一初始重叠区，所述第二初始图像具有第二初始重叠区，所述第一初始重叠区和所述第二初始重叠区的图像内容相同。
在本实施例中，至少两个图像获取设备为鱼眼摄像头，本实施例中共设置四个所述鱼眼摄像头，并将四个所述鱼眼摄像头设置在车身的前、后、左、右的位置，例如设置在车辆车身的车头、车尾、左后视镜以及右后视镜以实时获取车辆周围区域的图像。其中，通过至少两个图像获取设备获取的车辆周围的至少两个初始图像的图像内容可以包括地面和空中部分，地面部分的图像可以包括地面的人行道斑马线、马路路沿等，空中部分的图像可以包括行人，周围车辆，红绿灯等。
三维数学模型构建模块2，用于构建三维数学模型，以将至少两个所述初始图像映射到所述三维数学模型中以形成至少两个转化图像，其中，所述初始重叠区经映射后形成重叠区，所述第一初始图像映射后形成第一转化图像，所述第二转化图像映射后形成第二转化图像，并且所述第一转化图像的第一重叠区和所述第二转化图像的第二重叠区对应重叠且图像内容相同，以及，所述第一转化图像的重叠区具有多个第一采样点V1，每个所述第一采样点V1对应一个第一目标图像。在本实施例中，所述三维数学模型为如图3所示的三维碗状数学模型。
数据处理模块3，所述图像处理模块3用于根据多个所述第一采样点V1的位置，计算多个所述第一目标图像对应的图案在所述第二转化图像的第二重叠区的位置并记作多个第二采样点V2，并根据多个所述第二采样点V2获得多个第二目标图像；
图像拼接模块4，用于将多个所述第一目标图像和多个所述第二目标图像一一对应融合，以融合所述第一转化图像和所述第二转化图像的重叠区以生成拼接图像。
图5是本发明一实施例中的车载图像拼接装置的示意图。
进一步的，如图5所示，在本实施例中，还提供一种车载图像拼接装置，所述车载图像拼接装置包括中控主机100和上述车载图像拼接系统；其中，所述图像获取设备与中控主机100相连接，并将所获取的初始图像传输至所述中控主机100进行图像处理从而完成图像拼接。且所述三维数学模型构建模块2、所述数据处理模块3以及所述图像拼接模块4位于所述中控主机100中。
在本实施例中，所述图像获取设备1安装于车辆周围，所述图像获取设备1可以为鱼眼相机，所述鱼眼相机的数量为4个，其中，4个所述图像获取设备1分别安装于车身的前、后、左、右的位置。
需要说明的是，本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可，此外，各个实施例之间不同的部分也可互相组合使用，本发明对此不作限定。
上述描述仅是对本发明较佳实施例的描述，并非对本发明范围的任何限定，本发明领域的普通技术人员根据上述揭示内容做的任何变更、修饰，均属于权利要求书的保护范围。
Claims (7)
1.一种车载图像拼接方法，其特征在于，包括：
使用至少两个图像获取设备以获取至少两个初始图像，所述至少两个图像获取设备包括相邻设置的第一图像获取设备和第二图像获取设备，所述第一图像获取设备获取第一初始图像，所述第二图像获取设备获取第二初始图像，所述第一初始图像具有第一初始重叠区，所述第二初始图像具有第二初始重叠区，且所述第一初始重叠区和所述第二初始重叠区的图像内容相同；
构建三维数学模型，将至少两个所述初始图像映射到所述三维数学模型中以形成至少两个转化图像，其中所述第一初始图像映射后形成第一转化图像，所述第二初始图像映射后形成第二转化图像，且所述第一转化图像的第一重叠区和所述第二转化图像的第二重叠区对应重叠且图像内容相同，以及所述第一转化图像的第一重叠区具有多个第一采样点，每个所述第一采样点对应一个第一目标图像；
根据多个所述第一采样点的位置，计算多个所述第一目标图像对应的图案在所述第二转化图像的第二重叠区的位置并记作多个第二采样点，并根据多个所述第二采样点获得多个第二目标图像；
将多个所述第一目标图像和多个所述第二目标图像一一对应融合，以融合所述第一转化图像和所述第二转化图像的重叠区以生成拼接图像；
其中，根据多个所述第一采样点的位置，计算多个所述第一目标图像对应的图案在所述第二转化图像的第二重叠区的位置并记作多个第二采样点的方法包括：
提取位于所述第一转化图像上的所述第一采样点对应的多个第一特征点；
提取位于所述第二转化图像上，且与所述第一采样点坐标相同的初始第二采样点对应的多个第二特征点；
对多个所述第一特征点和多个所述第二特征点进行特征匹配，以获得多个匹配特征点对；
根据所述匹配特征点对计算获得单应性矩阵；
根据所述单应性矩阵计算获得所述第二采样点的坐标，通过所述第二采样点的坐标获得所述第二采样点；
提取所述多个第一特征点和多个所述第二特征点之后，所述方法还包括：
根据多个所述第一特征点计算得到多个第一特征描述子；
根据多个所述第二特征点计算得到多个第二特征描述子；
对多个所述第一特征点和多个所述第二特征点进行匹配的方法包括：
度量多个所述第一特征描述子和多个所述第二特征描述子的相似度，并根据相似度对多个所述第一特征点和多个所述第二特征点进行特征匹配；
提取所述多个第一特征点和多个所述第二特征点的方法包括：
将所述第一转化图像和所述第二转化图像分别进行映射，以得到第一俯视图像和第二俯视图像；
其中，所述第一俯视图像具有对应于多个所述第一采样点的多个第一俯视点；所述第二俯视图像具有对应于多个所述初始第二采样点的多个第二俯视点；
提取所述第一俯视点的多个第一特征点和所述第二俯视点的多个第二特征点；
根据所述单应性矩阵计算获得所述第二采样点的坐标的方法包括：
根据所述单应性矩阵计算得到逆矩阵；
根据所述逆矩阵和所述第一俯视点计算得到第二俯视点的坐标；
根据所述三维数学模型的母线方程和所述第二俯视点的坐标计算得到所述第二采样点的坐标。
2.如权利要求1所述的车载图像拼接方法，其特征在于，根据所述匹配特征点对计算单应性矩阵之前，所述方法还包括：筛除误匹配的匹配特征点对。
3.如权利要求1所述的车载图像拼接方法，其特征在于，将所述第一目标图像和所述第二目标图像融合之前，所述方法还包括：
评价融合质量以得到评价质量值；
若所述评价质量值小于预设阈值时，结束图像拼接过程；
若所述评价质量值大于所述预设阈值时，对所述第一目标图像和所述第二目标图像进行融合。
4.如权利要求3所述的车载图像拼接方法，其特征在于，
使用所述单应性矩阵对所述第一目标图像和所述第二目标图像进行预融合；
对所述预融合图像的融合质量进行结构相似性评价，并得到评价质量值。
5.如权利要求1所述的车载图像拼接方法，其特征在于，
将所述第二采样点映射到拍照设备坐标系中，以获取第二纹理坐标；
根据所述第二纹理坐标得到所述第二目标图像。
6.一种车载图像拼接系统，其特征在于，包括：
图像获取模块，包括至少两个图像获取设备，所述图像获取设备用于获取初始图像，所述至少两个图像获取设备包括相邻设置的第一图像获取设备和第二图像获取设备，所述第一图像获取设备获取的第一初始图像和所述第二图像获取设备获取的第二初始图像具有图像内容相同的区域，所述图像内容相同的区域为初始重叠区；
三维数学模型构建模块，用于构建三维数学模型，将至少两个所述初始图像映射到所述三维数学模型中以形成至少两个转化图像；其中，所述初始重叠区经映射后形成重叠区，所述第一初始图像映射后形成第一转化图像，所述第二初始图像映射后形成第二转化图像，且所述第一转化图像的第一重叠区和所述第二转化图像的第二重叠区对应重叠且图像内容相同，所述第一转化图像的重叠区具有多个第一采样点，每个所述第一采样点对应一个第一目标图像；
数据处理模块，用于根据多个所述第一采样点的位置，计算多个所述第一目标图像对应的图案在所述第二转化图像的第二重叠区的位置并记作多个第二采样点，并根据多个所述第二采样点获得多个第二目标图像；
图像拼接模块，用于将多个所述第一目标图像和多个所述第二目标图像一一对应融合，以融合所述第一转化图像和所述第二转化图像的重叠区以生成拼接图像；
其中，所述数据处理模块根据多个所述第一采样点的位置，计算多个所述第一目标图像对应的图案在所述第二转化图像的第二重叠区的位置并记作多个第二采样点的方法包括：
提取位于所述第一转化图像上的所述第一采样点对应的多个第一特征点；
提取位于所述第二转化图像上，且与所述第一采样点坐标相同的初始第二采样点对应的多个第二特征点；
对多个所述第一特征点和多个所述第二特征点进行特征匹配，以获得多个匹配特征点对；
根据所述匹配特征点对计算获得单应性矩阵；
根据所述单应性矩阵计算获得所述第二采样点的坐标，通过所述第二采样点的坐标获得所述第二采样点；
提取所述多个第一特征点和多个所述第二特征点之后，所述方法还包括：
根据多个所述第一特征点计算得到多个第一特征描述子；
根据多个所述第二特征点计算得到多个第二特征描述子；
对多个所述第一特征点和多个所述第二特征点进行匹配的方法包括：
度量多个所述第一特征描述子和多个所述第二特征描述子的相似度，并根据相似度对多个所述第一特征点和多个所述第二特征点进行特征匹配；
提取所述多个第一特征点和多个所述第二特征点的方法包括：
将所述第一转化图像和所述第二转化图像分别进行映射，以得到第一俯视图像和第二俯视图像；
其中，所述第一俯视图像具有对应于多个所述第一采样点的多个第一俯视点；所述第二俯视图像具有对应于多个所述初始第二采样点的多个第二俯视点；
提取所述第一俯视点的多个第一特征点和所述第二俯视点的多个第二特征点；
根据所述单应性矩阵计算获得所述第二采样点的坐标的方法包括：
根据所述单应性矩阵计算得到逆矩阵；
根据所述逆矩阵和所述第一俯视点计算得到第二俯视点的坐标；
根据所述三维数学模型的母线方程和所述第二俯视点的坐标计算得到所述第二采样点的坐标。
7.一种车载图像拼接装置，其特征在于，包括中控主机和如权利要求6所述的车载图像拼接系统；
其中，所述图像获取设备与中控主机相连接，并将所获取的初始图像传输至所述中控主机进行图像处理从而完成图像拼接；
所述三维数学模型构建模块、所述数据处理模块以及所述图像拼接模块设置于所述中控主机中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011212535.7A CN112308987B (zh) | 2020-11-03 | 2020-11-03 | 车载图像拼接方法、系统以及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011212535.7A CN112308987B (zh) | 2020-11-03 | 2020-11-03 | 车载图像拼接方法、系统以及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112308987A CN112308987A (zh) | 2021-02-02 |
| CN112308987B true CN112308987B (zh) | 2024-02-02 |
Family
ID=74333930
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011212535.7A Active CN112308987B (zh) | 2020-11-03 | 2020-11-03 | 车载图像拼接方法、系统以及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112308987B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113194309B (zh) * | 2021-06-02 | 2022-11-08 | 重庆渝微电子技术研究院有限公司 | 一种360度全景环视设备成像质量评估方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517317A (zh) * | 2015-01-08 | 2015-04-15 | 东华大学 | 一种车载红外图像三维重建方法 |
| CN109035145A (zh) * | 2018-08-02 | 2018-12-18 | 广州市鑫广飞信息科技有限公司 | 基于视频帧匹配信息的视频图像自适应拼接方法及装置 |
| CN111461989A (zh) * | 2020-04-02 | 2020-07-28 | 深圳普捷利科技有限公司 | 车载图像像素调整方法、装置、设备及可读存储介质 |
| CN111626971A (zh) * | 2020-05-26 | 2020-09-04 | 南阳师范学院 | 具有图像语义感知的智慧城市cim实时成像方法 |
| CN111768332A (zh) * | 2019-03-26 | 2020-10-13 | 深圳市航盛电子股份有限公司 | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 |
| CN111798375A (zh) * | 2020-07-07 | 2020-10-20 | 三一专用汽车有限责任公司 | 环视图像拼接方法、系统、装置、存储介质和搅拌车 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101673395B (zh) * | 2008-09-10 | 2012-09-05 | 华为终端有限公司 | 图像拼接方法及装置 |
| CN101984463A (zh) * | 2010-11-02 | 2011-03-09 | 中兴通讯股份有限公司 | 全景图合成方法及装置 |
| CN103971399B (zh) * | 2013-01-30 | 2018-07-24 | 深圳市腾讯计算机系统有限公司 | 街景图像过渡方法和装置 |
| CN104680501B (zh) * | 2013-12-03 | 2018-12-07 | 华为技术有限公司 | 图像拼接的方法及装置 |
| US10089538B2 (en) * | 2015-04-10 | 2018-10-02 | Bendix Commercial Vehicle Systems Llc | Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof |
| US20160307350A1 (en) * | 2015-04-14 | 2016-10-20 | Magor Communications Corporation | View synthesis - panorama |
| US10313584B2 (en) * | 2017-01-04 | 2019-06-04 | Texas Instruments Incorporated | Rear-stitched view panorama for rear-view visualization |
| US10482626B2 (en) * | 2018-01-08 | 2019-11-19 | Mediatek Inc. | Around view monitoring systems for vehicle and calibration methods for calibrating image capture devices of an around view monitoring system using the same |
-
2020
- 2020-11-03 CN CN202011212535.7A patent/CN112308987B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104517317A (zh) * | 2015-01-08 | 2015-04-15 | 东华大学 | 一种车载红外图像三维重建方法 |
| CN109035145A (zh) * | 2018-08-02 | 2018-12-18 | 广州市鑫广飞信息科技有限公司 | 基于视频帧匹配信息的视频图像自适应拼接方法及装置 |
| CN111768332A (zh) * | 2019-03-26 | 2020-10-13 | 深圳市航盛电子股份有限公司 | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 |
| CN111461989A (zh) * | 2020-04-02 | 2020-07-28 | 深圳普捷利科技有限公司 | 车载图像像素调整方法、装置、设备及可读存储介质 |
| CN111626971A (zh) * | 2020-05-26 | 2020-09-04 | 南阳师范学院 | 具有图像语义感知的智慧城市cim实时成像方法 |
| CN111798375A (zh) * | 2020-07-07 | 2020-10-20 | 三一专用汽车有限责任公司 | 环视图像拼接方法、系统、装置、存储介质和搅拌车 |
Non-Patent Citations (4)
| Title |
|---|
| Towards the automatic selection of optimal seam line locations when merging optical remote-sensing images;Le Yu;Journal of remote sensing;第33卷(第4期);第1000-1014页 * |
| 全景泊车辅助系统的关键技术;钱峰;李勇;文淑容;;湖北工业大学学报(第05期);第15-18+63页 * |
| 全景视图泊车辅助系统中的多视点视频拼接;卢官明;陈浩;肖鲁宁;苏昊;钟锐;;南京邮电大学学报(自然科学版)(第03期);全文 * |
| 基于车载多视角的鱼眼图像拼接算法;周芳;杨鸣;王益平;;数据通信(第05期);第33-38页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112308987A (zh) | 2021-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Pass: Panoramic annular semantic segmentation | |
| WO2021004312A1 (zh) | 一种基于双目立体视觉系统的车辆智能测轨迹方法 | |
| JP5739584B2 (ja) | 車両周辺視角化のための３次元映像合成装置およびその方法 | |
| Li et al. | Easy calibration of a blind-spot-free fisheye camera system using a scene of a parking space | |
| CN113689540B (zh) | 基于rgb视频的物体重建方法和装置 | |
| CN111448478A (zh) | 用于基于障碍物检测校正高清地图的系统和方法 | |
| CN105006175B (zh) | 主动识别交通参与者的动作的方法和系统及相应的机动车 | |
| CN111178122B (zh) | 道路场景中三维车道的检测及平面表示 | |
| CN109741241B (zh) | 鱼眼图像的处理方法、装置、设备和存储介质 | |
| JP4344860B2 (ja) | ステレオ画像を用いた道路平面領域並びに障害物検出方法 | |
| CN114913506A (zh) | 一种基于多视角融合的3d目标检测方法及装置 | |
| CN112801880B (zh) | 一种车载全景图像成像与目标检测融合显示的方法 | |
| CN114339185A (zh) | 用于车辆相机图像的图像彩色化 | |
| CN110736472A (zh) | 一种基于车载环视图像与毫米波雷达融合的室内高精地图表征方法 | |
| WO2021110497A1 (en) | Estimating a three-dimensional position of an object | |
| CN107220632B (zh) | 一种基于法向特征的路面图像分割方法 | |
| CN112308987B (zh) | 车载图像拼接方法、系统以及装置 | |
| Raguraman et al. | Intelligent drivable area detection system using camera and LiDAR sensor for autonomous vehicle | |
| CN116935281A (zh) | 基于雷达和视频的机动车道异常行为在线监测方法及设备 | |
| CN111447431A (zh) | 一种应用于车载环视摄像的裸眼3d显示方法及系统 | |
| CN110738696B (zh) | 行车盲区透视视频的生成方法及行车盲区视野透视系统 | |
| Condat et al. | Gfd-retina: Gated fusion double retinanet for multimodal 2d road object detection | |
| Samani et al. | F2BEV: Bird's Eye View Generation from Surround-View Fisheye Camera Images for Automated Driving | |
| CN111738061A (zh) | 基于区域特征提取的双目视觉立体匹配方法及存储介质 | |
| CN112308986B (zh) | 车载图像拼接方法、系统以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |