CN117649341A - 一种无线分布式图像拼接方法及系统 - Google Patents
一种无线分布式图像拼接方法及系统 Download PDFInfo
- Publication number
- CN117649341A CN117649341A CN202410121795.5A CN202410121795A CN117649341A CN 117649341 A CN117649341 A CN 117649341A CN 202410121795 A CN202410121795 A CN 202410121795A CN 117649341 A CN117649341 A CN 117649341A
- Authority
- CN
- China
- Prior art keywords
- image
- module
- algorithm
- feature
- distortion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 238000012545 processing Methods 0.000 claims abstract description 51
- 230000004927 fusion Effects 0.000 claims abstract description 28
- 238000007781 pre-processing Methods 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 20
- 238000003709 image segmentation Methods 0.000 claims abstract description 19
- 238000004422 calculation algorithm Methods 0.000 claims description 62
- 238000012937 correction Methods 0.000 claims description 25
- 230000008569 process Effects 0.000 claims description 20
- 230000009466 transformation Effects 0.000 claims description 20
- 238000013507 mapping Methods 0.000 claims description 11
- 230000005540 biological transmission Effects 0.000 claims description 6
- 238000004364 calculation method Methods 0.000 claims description 5
- RZVAJINKPMORJF-UHFFFAOYSA-N Acetaminophen Chemical compound CC(=O)NC1=CC=C(O)C=C1 RZVAJINKPMORJF-UHFFFAOYSA-N 0.000 claims description 4
- 208000029618 autoimmune pulmonary alveolar proteinosis Diseases 0.000 claims description 4
- 239000000284 extract Substances 0.000 claims description 4
- 238000007500 overflow downdraw method Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 abstract 1
- 239000003086 colorant Substances 0.000 description 7
- 230000000694 effects Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 206010039203 Road traffic accident Diseases 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000013179 statistical model Methods 0.000 description 1
- 239000013598 vector Substances 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提出了一种无线分布式图像拼接方法和系统,适用于在汽车或其他移动设备上进行实时全景图像的生成。系统包括多个无线摄像设备,接收处理模块,图像预处理模块,图像分割和特征提取模块,处理图像失真模块,图像融合模块,以及输出模块。在各模块的协同工作下,通过右图像获取、预处理、分割、特征提取、失真处理、融合等步骤,实现图像的无线采集、无缝拼接和输出显示,提高了图像处理效率,降低了失真,达到了实时高质量的全景图像生成的目标。此外,本发明的方法和系统增加了系统的鲁棒性和处理质量,可广泛应用于智能汽车、无人驾驶、机器视觉等领域。
Description
技术领域
本发明属于图像处理领域,更具体的说涉及一种无线分布式图像拼接方法及系统。
背景技术
随着信息技术和汽车工业的快速发展,车载360°全景驾驶辅助系统应运而生,其通过在汽车周围安装摄像头,实时采集汽车周围的高清视频画面,经过图像处理器中的处理,最终合成车身周围的360°的鸟瞰全景画面。这样的系统对于大巴、卡车等商用车及工程车、特种车辆等有着重要的使用价值,既可以帮助驾驶人员消除车身周围的视觉盲区,降低交通事故的发生概率,同时还具备录像功能,能为交通事故、突发事件等提供有效证据和事故真相。
虽然车载360°全景驾驶辅助系统对于现代交通安全有着重要的压力,但是其面临着一些挑战和问题。首先,摄像头获取的图像受到安装位置、角度、光线等多重因素影响,可能存在大量噪声和误差,使得图像拼接的难度加大。此外,图像拼接涉及到的图像处理,如图像畸变矫正、透视变换等,需要大量的计算资源和时间,而现有的处理方法往往无法在满足效率和质量之间找到一个理想的平衡。
其次,对于图像的拼接,还需要同时处理图像的曝光、亮度等特性,使得拼接出来的全景图像在视觉上可以连续自然,现有技术往往在这一点上处理不够完美,无法达到良好的用户体验。另外,对于车辆在行驶过程中,摄像头采集的图像会因为车辆振动、转向等因素产生失真,现有技术的图像失真处理技术并不完善,也会导致全景图像的质量下降。
再者,现有的车载360全景系统大多还存在着稳定性和可靠性问题,特别是在应对复杂的交通环境和恶劣的天气条件时,表现得尤其明显。综上所述,当前的车载360°全景驾驶辅助系统技术仍存在许多问题和挑战,需要更进一步的研发和改善。
发明内容
本发明正是针对现有技术的这些问题和不足,提出一种无线分布式图像拼接方法和系统,以提高全景图像的生成质量和效率。
为了实现上述目的,本发明是采用以下技术方案实现的:所述的方法包括:
步骤1:图像获取模块,将装在汽车各位置的摄像设备采集到的视频图像信号无线传送至接收处理模块;
步骤2:图像预处理,对从四个摄像头接受的图像进行预处理;
步骤3:图像分割和特征提取,将校正后的图像进行分割,得到图像块,并在图像块中提取特征点;
步骤4:对图像失真进行处理,对相邻的图像块进行匹配,计算出最佳的拼接模型参数;
步骤5、图像融合,对配准后的图像进行融合。
进一步地,所述的步骤2图像预处理包括灰度校正和几何校正;
所述的几何校正包括图像空间坐标变换和灰度内插运算;所述的灰度校正采用Gamma算法;所述的空间坐标变换采用向后映射法;所述的灰度内插运算采用双线性插值法。
进一步地,所述的步骤3:图像分割和特征提取具体如下:通过特征增加模块改进GMS算法,将得到的特征点集将用作处理图像失真算法的输入。
进一步地,所述的步骤4:对图像失真进行处理,采用SPW算法对图像失真进行处理;将APAP算法和QHW算法相结合,引入相交线特征,通过相交线限制图像翘曲后的形变程度,从而减少非重叠区域的失真。
进一步地,所述的步骤5图像融合,采用加权拼接融合方法。
进一步地,所述的步骤3具体算法流程如下:
使用具有高鲁棒性和密集特征点的ORB作为检测器,BF算法用
于初步匹配,GMS算法细化来区分正确匹配和错误匹配;
假设设分别是ORB+BF之后输入图像对/>的特征点的数量;是从图像/>到/>的所有特征匹配邻域;通过GMS算法测量每个匹配对的局部支持度,可以将/>分类为真或假;/>是所有图像的子集;/>是邻域支持,表示如下:
如果运动在一个区域中是平滑的,则正确的匹配在多个邻域对上具有相同的空间位置,而错误的匹配则在多个邻居对上具有不同的相对空间位置;上述公式可改写成如下形式
其中K是预测随特征匹配一起移动的小邻域的数量;是预测区域对,属于的/>是特征匹配子集;−1的含义是从总和中删除原始匹配;
设和/>分别是区域/>的相同和不同位置;/>是区域b中与区域a中的特征之一最近的相邻特征;
和;假设每个区域对/>具有/>个特征点,则有:
其中是调整因子;因此,/>是/>附近的匹配数,其分布遵循如下公式中的二项式分布:
其中K是匹配i预测一起移动的不相交区域的数量
为了更有效地计算,将图像划分为20×20个网格单元,每个单元对/>的得分计算如下:
其中是以特征点为中心的九宫格中的特征匹配的数量;得分阈值τ用于区分特征匹配是否正确;如果/>,则网格/>处的匹配/>是正确匹配;否则,/>是错误匹配。
进一步地,所述的SPW算法具体如下:
假设是目标图像中对应于参照图像中通过点/>且斜率为k的线的斜率,/>是翘曲后的水平线,/>是最接近重叠区域与非重叠区域边界的竖直线;
如果给定单应翘曲变换,则有一组唯一的平行线与之对应;翘曲前后的平行线斜率如下:
因此,可以将设置为斜率为/>最接近重叠区域与非重叠区域的边界分割线,并且/>可以设置为与/>正交:
。
进一步地,所述的加权拼接融合方法如下:
加权平均融合算法需要在进行运算前先设定好两幅图像的重叠区在最终图像中所占有的比例,即权值情况,之后再将像素值与权值相乘得到最终的融合图像;
设定重叠区间是,加权函数为/>和/>,
式中,/>,所以融合后图像像素值
。
再一方面,一种无线分布式图像拼接系统,所述的系统适用于上所述的方法,所述的系统包括:
图像获取设备:接收处理模块:图像预处理模块:图像分割和特征提取模块:处理图像失真模块:图像融合模块:输出模块:
多个无线摄像设备作为图像获取设备,负责从不同视角捕获图像,然后通过无线传输,把图像信号发送给接收处理模块;接收处理模块负责解码和转换这些图像信号,并将其转发到图像预处理模块;图像预处理模块对接收到的图像进行灰度和几何校正,然后将预处理后的图像传送至图像分割和特征提取模块;图像分割和特征提取模块对预处理后的图像进行分割,并提取出图像块中的特征点,然后将结果输出到处理图像失真模块;处理图像失真模块使用SPW算法处理图像失真,然后将处理后的图像传送至图像融合模块;图像融合模块将处理过的图像进行加权拼接融合,经过图像融合后,生成的最终拼接图像会由输出模块进行输出和显示。
本发明有益效果:
本发明采用无线分布式策略,能够实现高效的图像采集和处理,减少传统有线连接的复杂性和不便性,增强了系统的便捷性和实用性。
通过对图像进行有效的预处理和特征提取,降低了图像噪声和无效信息的影响,增强了图像质量,提升了图像拼接的精度。
采用优化的处理图像失真算法,减少了图像拼接过程中的失真,提升了图像拼接的效果,使拼接后的图像连续性和自然性得到了显著提升。
该方法和系统具有广泛的应用价值,可以广泛应用于商用车、特种车辆等车辆的全景驾驶辅助系统,提高驾驶的安全性和便捷性。同时,也可以以此为基础,发展和应用于其他图像处理和分析的领域。
附图说明
图1为本发明流程图;
图2为本发明不同的 Gamma 值对应的输入输出灰度关系图;
图3为本发明后映像算法原理图;
图4为本发明全局单应变换与 SPW 算法比较图;
具体实施方式
为了便于理解本发明,下面将参照相关附图对本发明进行更全面的描述。附图中给出了本发明的典型实施例。但是,本发明可以以许多不同的形式来实现,并不限于本发明所描述的实施例。相反地,提供这些实施例的目的是使对本发明的公开内容更加透彻全面。
除非另有定义,本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明中在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
如图1所示,所述的方法包括:
步骤1:图像获取模块,将装在汽车各位置的摄像设备采集到的视频图像信号无线传送至接收处理模块。
图像获取模块主要是由装在汽车各个位置的摄像设备负责捕获图像。这些摄像设备可以设在汽车的前后、左右四个方向,以获得全方位的视野。同时,这些摄像设备也可以安装在汽车的顶部或底部,以获取更多的图像信息。
在获得图像后,这些摄像设备将图像信号通过无线传输技术发送出去。无线传输技术可以包括Wi-Fi、蓝牙等无线通讯技术,这些技术可以使图像信号在没有物理连接的情况下被传送。
接收处理模块负责接收这些无线传输来的图像信号。这个模块包含一个无线接收器,可以接收各个摄像设备发送过来的图像信号,并将这些信号解码和转换成可以被计算机处理的数据格式。
总的来说,步骤1的实现过程主要包括图像捕获、无线传输、信号接收和解码转换四个部分。通过这个步骤,可以实现从汽车各个位置捕获图像,并将图像信息无线传输到接收处理模块,为后续的图像处理提供数据。
步骤2:图像预处理,对从四个摄像头接受的图像进行预处理;图像预处理包括灰度校正和几何校正;
如图2所示,所述的灰度校正采用Gamma算法如下:
由于图像采集过程中光照角度可能不同,因此会存在灰度上的偏差,这对于其他的图像处理过程会有这很大的影响,所以需要对采集后的图像进行灰度校正,使全部图像的灰度值达到人眼最为适应的值。这里对灰度校正算法中的Gamma算法进行,Gamma算法的主要优点是效果好且易于实现。
Gamma值是一个非常重要的性能指标,它代表着输出图像的灰度值与输入图像的灰度值之间的关系,一般通过Gamma函数将图像中的像素点的像素值转换成亮度指标。当取值为1时表示的是恒等颜色变换,即不进行亮度调整,取值小于1时是调节灰度值使得图像更暗,大于1时是调节灰度值使得图像更亮。具体对应关系如图2所示。
实际生活中有很多种颜色,这些颜色可以通过不同的颜色组合得
到,对于这些颜色组合的方式没有明确的指标,组合中颜色的个数可各不相同,但是每个颜色组合中各个颜色是相互是独立的。我们常用到RGB这种组合,此组合存在三个原色:红色(R)绿色(G)蓝色(B),通过这三种原色的不同配比组合方式,可以得到所有颜色。Gamma校正采用的是独立通道的方式即对RGB各分量值分别进行Gamma校正,校正公式为:
。
所述的几何校正包括图像空间坐标变换和灰度内插运算;所述的空间坐标变换采用向后映射法;所述的灰度内插运算采用双线性插值法。
向后映射法如下:
设输出像素为已知量并将其映射回输入图像中来确定灰度级的过程称之为向后映射法。若待映射的输出像素并不是在已有像素点上,而是在一个空白区中,则其灰度值需要对离它最近的4个像素点进行灰度级插值计算来获得。向后映射法的具体原理如下:首先确定输出像素点A,最后映射到输入图像中的B点,如图3所示。
向后映射方法的输出像素的灰度值,是唯一一个由四像素的插值确定的。由于任意进行输入图像的访问,因此空间变换的方式相对可能性较多,但是由于其输出像素点的灰度值只需运算一次,运算量较少,所以向后映射算法对一般的图像处理过程有着更好的可行性。
双线性插值法如下:
双线性插值的运算过程与最邻近插值相比有一定的复杂度,带来的缺点是相对运算时间较长,但是就结果而言其平滑效果更好,会改进最邻近插值可能产生的处理痕迹的问题。
(1)
(2)
(3)
(4)
将公式(2)(3)(4)带入到式(1)中得到
(5)
步骤3:图像分割和特征提取,将校正后的图像进行分割,得到图像块,并在图像块中提取特征点;通过特征增加模块改进GMS算法,将得到的特征点集将用作处理图像失真算法的输入。
尽管特征点检测与匹配算法已经能很好地描述图像并将其映射为特征向量但是自然图像中往往有一些明显的线段结构,而特征点检测算法是全局算法,可能忽略局部线段结构产生的特征,从而在图像翘曲后明显的线段结构会被弯曲导致失真。因此,本发明采用一种线段检测器(LineSegmentDetector,LSD)来检测图像中的线段特征,丰富特征类型,强化结构保护,提出以点为主,线段为辅的点线双特征匹配对应方法,保证对齐的准确性,进一步保护结构,减少失真。
所述的步骤3具体算法流程如下:
目前的特征匹配在慢且鲁棒和快但不稳定的矛盾问题之间存在很大的性能间隙。在图像匹配中核心的问题是一致性问题,一致性是一个强大的限制,但是稀疏特征缺少易定义的邻居,这导致基于一致性的特征对应计算复杂而且难以实现。GMS算法在一定程度上解决了上述问题,在区域对之间有一定数量的特征匹配,可以迅速且区分正确和错误匹配,达成高质量匹配。GMS算法的思想是基于运动的平滑性假设,即图像中相邻较近的属于同一个物体的特征点在运动时也会一起运动。因此,正确匹配点的领域范围内应该还包含许多其他
的匹配点,而误匹配点对应的位置可能是随机的,附近不会有很多的相邻匹配点。
本发明将特征增加模块整合到图像拼接过程中,代替传统的SIFT+RANSAC的模式,以解决重叠区域中低纹理区域的特征对应不足的问题。与一步RANSAC相比,尝试在低纹理或重复纹理区域中获得更正确的匹配,以满足局部扭曲模型对重叠区域中足够特征点的需求,从而实现更精确的对齐。这里使用具有高鲁棒性和密集特征点的ORB作为检测器,BF算法用于初步匹配,GMS算法细化来区分正确匹配和错误匹配。
GMS算法认为在正确匹配的邻域中有几个特征与匹配关系相匹配,而在错误匹配的邻域几乎没有特征。根据该特征,GMS算法统计匹配匹配关系的特征数量,以区分正确匹配和错误匹配。假设设分别是ORB+BF之后输入图像对/>的特征点的数量;是从图像/>到/>的所有特征匹配邻域;通过GMS算法测量每个匹配对的局部支持度,可以将/>分类为真或假;/>是所有图像的子集;/>是邻域支持,表示如下:
(6)
如果运动在一个区域中是平滑的,则正确的匹配在多个邻域对上具有相同的空间位置,而错误的匹配则在多个邻居对上具有不同的相对空间位置;公式(7)可改写成如下形式
(7)
其中K是预测随特征匹配一起移动的小邻域的数量;是预测区域对,属于的/>是特征匹配子集;−1的含义是从总和中删除原始匹配;
设和/>分别是区域/>的相同和不同位置;/>是区域b中与区域a中的特征之一最近的相邻特征;
(8)
和;假设每个区域对/>具有/>个特征点,则有:
(9)
其中是调整因子;因此,/>是/>附近的匹配数,其分布遵循公式(10)中的二项式分布:
(10)
其中K是匹配i预测一起移动的不相交区域的数量
为了更有效地计算,将图像划分为20×20个网格单元,每个单元对/>的得分计算如下:
(11)
其中是以特征点为中心的九宫格中的特征匹配的数量;得分阈值τ用于区分特征匹配是否正确;如果/>,则网格/>处的匹配/>是正确匹配;否则,/>是错误匹配。
在这种方式下,特征点集根据运动统计模型得到。特征点的数量和质量严重影响图像匹配的结果。与传统的 SIFT+RANSAC 模式相比,新的特征点集的数量更多,质量更高,对于低纹理区域的适应性更好。通过创新的 GMS 算法得到的特征点集将用作后续图像失真算法的输入。
步骤4:对图像失真进行处理,对相邻的图像块进行匹配,计算出最佳的拼接模型参数;采用SPW算法对图像失真进行处理;将APAP算法和QHW算法相结合,引入相交线特征,通过相交线限制图像翘曲后的形变程度,从而减少非重叠区域的失真。
如图4所示,水平的线和竖直的线表示与图像翘曲变换趋势相同的相交线,它们被视为图像的内在结构,用来描述目标图像的整体翘曲程度。图4 中的(a)展示了全局单应变换后图像的翘曲程度,图4中的(b)是 SPW 中使用相交线结构限制后图像的翘曲结果。相比之下。SPW 在使用了相交线结构后在非重叠区域的失真明显减少,图像的拉伸程度小于全局单应变换。并且,相交线与图像变换的内在结构与几何意义直接相关,反映在竖直线的斜率上。可以明显地看到,SPW 中竖直线斜率明显更大。换句话说,目标图像在翘曲后形变越小且越近似于矩形,说明图像拼接的二维重现的效果越好,失真越小。
所述的SPW算法具体如下:
假设是目标图像中对应于参照图像中通过点/>且斜率为k的线的斜率,/>是翘曲后的水平线,/>是最接近重叠区域与非重叠区域边界的竖直线;
如果给定单应翘曲变换,则有一组唯一的平行线与之对应;翘曲前后的平行线斜率如下:
(12)
因此,可以将设置为斜率为/>最接近重叠区域与非重叠区域的边界分割线,并且/>可以设置为与/>正交:
(13)。
步骤5、图像融合,对配准后的图像进行融合。
所述的步骤5图像融合,采用加权拼接融合方法。加权拼接融合方法如下:
加权平均融合算法需要在进行运算前先设定好两幅图像的重叠区在最终图像中所占有的比例,即权值情况,之后再将像素值与权值相乘得到最终的融合图像;
设定重叠区间是,加权函数为/>和/>,
(14)
式中,/>,所以融合后图像像素值
(15)。
实施例二
一种无线分布式图像拼接系统,所述的系统适用于上所述的方法,所述的系统包括:
图像获取设备:接收处理模块:图像预处理模块:图像分割和特征提取模块:处理图像失真模块:图像融合模块:输出模块:
多个无线摄像设备作为图像获取设备,负责从不同视角捕获图像,然后通过无线传输,把图像信号发送给接收处理模块;接收处理模块负责解码和转换这些图像信号,并将其转发到图像预处理模块;图像预处理模块对接收到的图像进行灰度和几何校正,然后将预处理后的图像传送至图像分割和特征提取模块;图像分割和特征提取模块对预处理后的图像进行分割,并提取出图像块中的特征点,然后将结果输出到处理图像失真模块;处理图像失真模块使用SPW算法处理图像失真,然后将处理后的图像传送至图像融合模块;图像融合模块将处理过的图像进行加权拼接融合,经过图像融合后,生成的最终拼接图像会由输出模块进行输出和显示。
图像获取设备:这个设备通常为无线摄像设备,安装在汽车的不同位置以捕获不同角度的图像。这是图像拼接流程的起点,获取高质量清晰的图像是后续画质拼接的基础。
接收处理模块:这个模块的主要功能是接收并解码图像获取设备传送过来的无线信号。利用无线接收技术(例如Wi-Fi、蓝牙)来接收信号,然后通过解码算法将接收到的信号解码为可被计算机所理解和处理的数据。
图像预处理模块:这个模块对接收到的图像进行预处理,包括灰度校正和几何校正,以使用Gamma算法对亮度进行平衡,使用向后映射法对图像进行坐标变换,使用双线性插值法进行灰度内插运算,从而减少图像在成像过程中的各种失真和噪声。
图像分割和特征提取模块:这个模块的主要任务是通过图像分割得到图像块,并在图像块中提取特征点。这是通过一种改进的GMS算法实现的。
处理图像失真模块:这个模块使用SPW算法对图像中的失真进行处理,再通过APAP和QHW算法结合引入相交线特征来限制图像的形变程度,从而减少非重叠区域的失真。
图像融合模块:在这个模块中,将处理过的图像进行加权拼接融合。这是通过一种加权融合算法实现的,该算法能够在最终的图像中保持每个源图像的特点,以生成更好的全景图像。
输出模块:这个模块负责输出和显示拼接合成后的全景图像。这将使用户或其他系统可以直观地看到大范围内的场景,从而中断获得更全面的信息。
本系统工作流程:图像获取设备首先进行工作,它们装在汽车的不同位置,从不同的视角拍摄摄像,然后通过无线网络把图像信号发送出去。这是整个系统的第一步,图像的质量和完整性在很大程度上决定了图像拼接的效果。
接收处理模块接收从无线摄像设备传来的图像信号,然后进行解码和转换,得到可以供图像处理模块使用的图像数据。
图像预处理模块接收来自接收处理模块的图像数据,并进行灰度校正和几何校正,以消除图像在拍摄和传输过程中可能产生的失真和偏差。
图像分割和特征提取模块对预处理过的图像进行分割,把较大的图像划分为若干个小块,并在这些小块中提取图像的特征点。这些特征点将被用于图像匹配和图像融合过程。
处理图像失真模块接收图像分割和特征提取模块提取出的特征点,并运用特定的几何变换算法对图像进行失真处理,这使得图像在拼接过程中能够更好的匹配,减少失真区域。
图像融合模块接收处理过的图像数据,并利用一种加权拼接融合方法对这些数据进行融合,得到一个大范围且连续的拼接图像。
输出模块将融合后的拼接图像进行输出和显示,供用户或其他系统使用。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(ReadOnlyMemory,ROM)或随机存储记忆体(RandomABBessMemory,RAM)等。
应当理解,以上借助优选实施例对本发明的技术方案进行的详细说明是示意性的而非限制性的。本领域的普通技术人员在阅读本发明说明书的基础上可以对各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (9)
1.一种无线分布式图像拼接方法,其特征在于:所述的方法包括:
步骤1:图像获取模块,将装在汽车各位置的摄像设备采集到的视频图像信号无线传送至接收处理模块;
步骤2:图像预处理,对从四个摄像头接受的图像进行预处理;
步骤3:图像分割和特征提取,将校正后的图像进行分割,得到图像块,并在图像块中提取特征点;
步骤4:对图像失真进行处理,对相邻的图像块进行匹配,计算出最佳的拼接模型参数;
步骤5、图像融合,对配准后的图像进行融合。
2.根据权利要求1所述的一种无线分布式图像拼接方法,其特征在于:所述的步骤2图像预处理包括灰度校正和几何校正;
所述的几何校正包括图像空间坐标变换和灰度内插运算;所述的灰度校正采用Gamma算法;所述的空间坐标变换采用向后映射法;所述的灰度内插运算采用双线性插值法。
3.根据权利要求1所述的一种无线分布式图像拼接方法,其特征在于:所述的步骤3图像分割和特征提取具体如下:通过特征增加模块改进GMS算法,将得到的特征点集将用作处理图像失真算法的输入。
4.根据权利要求1所述的一种无线分布式图像拼接方法,其特征在于:所述的步骤4对图像失真进行处理,采用SPW算法对图像失真进行处理;将APAP算法和QHW算法相结合,引入相交线特征,通过相交线限制图像翘曲后的形变程度,减少非重叠区域的失真。
5.根据权利要求1所述的一种无线分布式图像拼接方法,其特征在于:所述的步骤5图像融合采用加权拼接融合方法。
6.根据权利要求3所述的一种无线分布式图像拼接方法,其特征在于:所述的步骤3具体算法流程如下:
使用具有高鲁棒性和密集特征点的ORB作为检测器,BF算法用
于初步匹配,GMS算法细化来区分正确匹配和错误匹配;
假设设分别是ORB+BF之后输入图像对/>的特征点的数量;是从图像/>到/>的所有特征匹配邻域;通过GMS算法测量每个匹配对的局部支持度,将/>分类为真或假;/>是所有图像的子集;/>是邻域支持,表示如下:
如果运动在一个区域中是平滑的,则正确的匹配在多个邻域对上具有相同的空间位置,而错误的匹配则在多个邻居对上具有不同的相对空间位置;上述公式改写成如下形式
其中K是预测随特征匹配一起移动的小邻域的数量;是预测区域对,属于/>的是特征匹配子集;−1的含义是从总和中删除原始匹配;
设和/>分别是区域/>的相同和不同位置;/>是区域b中与区域a中的特征之一最近的相邻特征;/>和/>;假设每个区域对/>具有/>个特征点,则有:
其中是调整因子;因此,/>是/>附近的匹配数,其分布遵循如下公式中的二项式分布:
其中K是匹配i预测一起移动的不相交区域的数量;
为了更有效地计算,将图像划分为20×20个网格单元,每个单元对/>的得分/>计算如下:
其中是以特征点为中心的九宫格中的特征匹配的数量;得分阈值τ用于区分特征匹配是否正确;如果/>,则网格/>处的匹配/>是正确匹配;否则,/>是错误匹配。
7.根据权利要求4所述的一种无线分布式图像拼接方法,其特征在于:所述的SPW算法具体如下:
假设是目标图像中对应于参照图像中通过点/>且斜率为k的线的斜率,/>是翘曲后的水平线,/>是最接近重叠区域与非重叠区域边界的竖直线;
如果给定单应翘曲变换,则有一组唯一的平行线与之对应;翘曲前后的平行线斜率如下:
因此,将设置为斜率为/>最接近重叠区域与非重叠区域的边界分割线,并且/>设置为与/>正交:
。
8.根据权利要求5所述的一种无线分布式图像拼接方法,其特征在于:所述的加权拼接融合方法如下:
加权平均融合算法需要在进行运算前先设定好两幅图像的重叠区在最终图像中所占有的比例,即权值情况,之后再将像素值与权值相乘得到最终的融合图像;
设定重叠区间是,加权函数为/>和/>,
式中,/>,所以融合后图像像素值
。
9.一种无线分布式图像拼接系统,所述的系统适用于权利要求1-8中任一一项权利要求所述的方法,其特征在于:所述的系统包括:
图像获取设备:接收处理模块:图像预处理模块:图像分割和特征提取模块:处理图像失真模块:图像融合模块:输出模块:
多个无线摄像设备作为图像获取设备,负责从不同视角捕获图像,然后通过无线传输,把图像信号发送给接收处理模块;接收处理模块负责解码和转换这些图像信号,并将其转发到图像预处理模块;图像预处理模块对接收到的图像进行灰度和几何校正,然后将预处理后的图像传送至图像分割和特征提取模块;图像分割和特征提取模块对预处理后的图像进行分割,并提取出图像块中的特征点,然后将结果输出到处理图像失真模块;处理图像失真模块使用SPW算法处理图像失真,然后将处理后的图像传送至图像融合模块;图像融合模块将处理过的图像进行加权拼接融合,经过图像融合后,生成的最终拼接图像会由输出模块进行输出和显示。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410121795.5A CN117649341A (zh) | 2024-01-30 | 2024-01-30 | 一种无线分布式图像拼接方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410121795.5A CN117649341A (zh) | 2024-01-30 | 2024-01-30 | 一种无线分布式图像拼接方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117649341A true CN117649341A (zh) | 2024-03-05 |
Family
ID=90046376
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410121795.5A Pending CN117649341A (zh) | 2024-01-30 | 2024-01-30 | 一种无线分布式图像拼接方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117649341A (zh) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064409A (zh) * | 2018-10-19 | 2018-12-21 | 广西师范大学 | 一种移动机器人的视觉图像拼接系统及方法 |
CN116245722A (zh) * | 2022-12-28 | 2023-06-09 | 西安中科立德红外科技有限公司 | 一种应用于重高型车辆的全景影像拼接系统及方法 |
-
2024
- 2024-01-30 CN CN202410121795.5A patent/CN117649341A/zh active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064409A (zh) * | 2018-10-19 | 2018-12-21 | 广西师范大学 | 一种移动机器人的视觉图像拼接系统及方法 |
CN116245722A (zh) * | 2022-12-28 | 2023-06-09 | 西安中科立德红外科技有限公司 | 一种应用于重高型车辆的全景影像拼接系统及方法 |
Non-Patent Citations (3)
Title |
---|
YIZHI CONG等: "Feature Correspondences Increase and Hybrid Terms OptimizationWarp for Image Stitching", MDPI, 4 January 2023 (2023-01-04), pages 1 - 22 * |
丛一之: "基于特征增加和多项优化的图像拼接方法", 万方, 28 August 2023 (2023-08-28), pages 1 - 4 * |
胡玉: "车载图像系统中的全景影像的校正与拼接", 中国优秀硕士学位论文全文数据库工程科技Ⅱ辑, 30 September 2016 (2016-09-30), pages 1 - 4 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103400150B (zh) | 一种基于移动平台进行道路边缘识别的方法及装置 | |
EP2437494B1 (en) | Device for monitoring area around vehicle | |
US8780172B2 (en) | Depth and video co-processing | |
JP4861574B2 (ja) | 運転支援装置 | |
CN111768332B (zh) | 一种车载环视实时3d全景图像的拼接方法及图形采集装置 | |
US20070086645A1 (en) | Method for synthesizing intermediate image using mesh based on multi-view square camera structure and device using the same and computer-readable medium having thereon program performing function embodying the same | |
US20100123792A1 (en) | Image processing device, image processing method and program | |
CN112731436B (zh) | 基于点云上采样的多模态数据融合可行驶区域检测方法 | |
CN111027415B (zh) | 一种基于偏振图像的车辆检测方法 | |
CN110889809B (zh) | 图像处理方法及装置、电子设备、存储介质 | |
CN114339185A (zh) | 用于车辆相机图像的图像彩色化 | |
JP2018044943A (ja) | カメラパラメタセット算出装置、カメラパラメタセット算出方法、および、プログラム | |
CN115376028A (zh) | 基于稠密特征点拼接和改进型yolov 5的目标检测方法 | |
CN116245722A (zh) | 一种应用于重高型车辆的全景影像拼接系统及方法 | |
US8600157B2 (en) | Method, system and computer program product for object color correction | |
CN113344820A (zh) | 图像处理方法及装置、计算机可读介质、电子设备 | |
US11044399B2 (en) | Video surveillance system | |
CN113076953A (zh) | 一种黑色车检测方法、系统、装置以及存储介质 | |
CN117496319A (zh) | 基于未配准双模态图像融合的全天候目标检测系统及方法 | |
CN117649341A (zh) | 一种无线分布式图像拼接方法及系统 | |
CN115965531A (zh) | 模型训练方法及图像生成方法、装置、设备和存储介质 | |
Liang et al. | Multi-scale and multi-patch transformer for sandstorm image enhancement | |
CN115278189A (zh) | 图像色调映射方法及装置、计算机可读介质和电子设备 | |
CN112017128B (zh) | 一种图像自适应去雾方法 | |
CN111145219B (zh) | 一种基于Codebook原理的高效视频移动目标检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |