CN117635421A - 图像拼接融合的方法及装置 - Google Patents
图像拼接融合的方法及装置 Download PDFInfo
- Publication number
- CN117635421A CN117635421A CN202311597813.9A CN202311597813A CN117635421A CN 117635421 A CN117635421 A CN 117635421A CN 202311597813 A CN202311597813 A CN 202311597813A CN 117635421 A CN117635421 A CN 117635421A
- Authority
- CN
- China
- Prior art keywords
- image
- matching
- sub
- images
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims description 10
- 238000000034 method Methods 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 238000005457 optimization Methods 0.000 claims abstract description 14
- 230000004927 fusion Effects 0.000 claims description 23
- 238000007781 pre-processing Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 13
- 238000000605 extraction Methods 0.000 claims description 7
- 230000001131 transforming effect Effects 0.000 claims description 3
- 238000007499 fusion processing Methods 0.000 abstract description 3
- 238000005259 measurement Methods 0.000 description 9
- 238000001514 detection method Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明图像拼接融合的方法及装置，涉及图像拼接技术领域，通过高清工业摄像机采集子图像序列，对子图像进行预处理，获得子图像数据集，从中选出待待拼接的两个子图像，获得图像对，在图像对的重合区域中提取特征点，对提取的特征点进行初始匹配和匹配优化，获得排序后的匹配对，选取前K个匹配对，采用RANSAC方法基于选定的K个匹配对拟合出图像的刚性变换模型，所述刚性变化模型指子图像进行平移和平面内旋转，以其中一个图像为基准图像，将另一个图像根据刚性变换模型进行变换，并与基准图像拼接融合，获得新的图像，直至将所有子图像拼接融合为一张整图，解决了图像拼接融合过程中出现图像形变的问题，本发明适用于图像拼接。
Description
技术领域
本发明涉及图像拼接技术领域，特别涉及图像拼接融合的方法及装置。
背景技术
在工业视觉检测及测量领域，往往存在因为摄像机成像视野、分辨率及景深的原因，造成一个尺寸较大的待测量产品不能完全呈现在一张图像中，需要拍摄一组图像序列才能呈现产品的全局图像。然而，这会在产品的检测及测量领域造成不利的影响，例如，测量某一部位的共面度或正位度，这就需要所有待测部位处于同一张图中，一方面有利于利用同一个基准面或基准点，另一方面也有利于最终测量结果的显示，因此，通常会用到图像拼接。
图像拼接技术经过几十年的发展，已经取得了长足进步，但大多数拼接是基于两张图像间的配准，多张图像的整体拼接并未引起足够的重视，面对多张图像拼接时，采用按照既定顺序直接与上一张图像进行拼接，随着待拼接图像的增加，会导致累计误差越来越大。目前的图像拼接技术更多关注于主观的拼接效果，如，是否有拼接痕迹，很少关注图像是否发生形变，像素间的相对距离是否发生了变化，这种由于拼接过程中形变引入的误差会导致测量的精准度下降，特别是对有高精度测量要求的产品。
发明内容
本发明所解决的技术问题：提供一种图像拼接融合的方法及装置，解决图像拼接融合过程中出现图像形变的问题。
本发明解决上述技术问题采用的技术方案：图像拼接融合的方法，包括以下步骤：
S1、通过高清工业摄像机以设定的步长和路线依次拍摄图像，获得子图像序列，所述设定的步长满足在空间位置上相邻的两张子图像有一定范围的重合区域；
S2、对所有子图像进行预处理，获得子图像数据集；
S3、从子图像数据集中选取待拼接的两个子图像，获得图像对；
S4、在图像对的重合区域中提取特征点；
S5、对提取的特征点进行初始匹配和匹配优化，所述初始匹配为随机匹配，获得匹配对，所述匹配优化包括使用KNN算法计算匹配对的两个特征点间的欧氏距离，为每个特征点寻找最好的匹配点，根据欧式距离衡量匹配对的相似度，判断这个匹配是否可靠，并对匹配对进行可靠性由高到低排序，还包括剔除水平位置相差大于预设像素的匹配对；
S6、选取前K个匹配对，采用RANSAC方法基于选定的K个匹配对拟合出图像的刚性变换模型，所述刚性变化模型指子图像进行平移和平面内旋转；
S7、以其中一个图像为基准图像，将另一个图像根据刚性变换模型进行变换，并与基准图像拼接融合，获得新的图像；
S8、重复S3-S7，直至将所有子图像拼接融合为一张整图。
进一步的，S1中，所述路线包括从左至右、从上之下、顺时针方向和逆时针方向，所述一定范围为重合区域的一个边长等于子图像的一个边长，重合区域的另一个边长为子图像的另一个边长的十分之一。
进一步的，S2中，所述预处理包括去噪、增强、颜色转换、通道变换和图像旋转矫正。
进一步的，S4中，提取的特征点包括SIFT特征点、SURF特征点和Harris特征点，还包括根据先验知识预设的标定点或固有的特征点。
进一步的，S7中，还包括将拼缝左右10个像素进行加权平均。
图像拼接融合的装置，应用于上述图像拼接融合的方法，包括图像数据采集模块、图像预处理模块、特征点提取模块、特征点匹配模块和图像拼接融合模块；
所述图像数据采集模块通过自动化设备控制工业摄像机以设定的步长和路线采集子图像序列；
所述图像预处理模块用于对子图像进行预处理；
所述特征点提取模块用于从子图像数据集中选取待拼接的两个子图像，获得图像对，在图像对的重合区域中提取特征点；
所述特征点匹配模块用于对提取的特征点进行初匹配及匹配优化，所述初始匹配为随机匹配，获得匹配对，所述匹配优化包括使用KNN算法计算匹配对的两个特征点间的欧氏距离，为每个特征点寻找最好的匹配点，根据欧式距离衡量匹配对的相似度，判断这个匹配是否可靠，并对匹配对进行可靠性由高到低排序，还包括剔除水平位置相差大于预设像素的匹配对；
所述图像拼接融合模块用于选取前K个匹配对，采用RANSAC方法基于选定的K个匹配对拟合出图像的刚性变换模型，所述刚性变化模型指子图像进行平移和平面内旋转，以其中一个图像为基准图像，将另一个图像根据刚性变换模型进行变换，并与基准图像拼接融合，获得新的图像，直至将所有子图像拼接融合为一张整图。
进一步的，所述路线包括从左至右、从上之下、顺时针方向和逆时针方向，所述一定范围为重合区域的一个边长等于子图像的一个边长，重合区域的另一个边长为子图像的另一个边长的十分之一。
进一步的，所述预处理包括去噪、增强、颜色转换、通道变换和图像旋转矫正。
进一步的，提取的特征点包括SIFT特征点、SURF特征点和Harris特征点，还包括根据先验知识预设的标定点或固有的特征点。
进一步的，所述图像拼接融合模块还用于将拼缝左右10个像素进行加权平均。
本发明的有益效果：本发明图像拼接融合的方法及装置，通过高清工业摄像机采集子图像序列，对子图像进行预处理，获得子图像数据集，从中选出待待拼接的两个子图像，获得图像对，在图像对的重合区域中提取特征点，对提取的特征点进行初始匹配和匹配优化，获得排序后的匹配对，选取前K个匹配对，采用RANSAC方法基于选定的K个匹配对拟合出图像的刚性变换模型，所述刚性变化模型指子图像进行平移和平面内旋转，以其中一个图像为基准图像，将另一个图像根据刚性变换模型进行变换，并与基准图像拼接融合，获得新的图像，直至将所有子图像拼接融合为一张整图，以此，在图像拼接融合时采用的是刚性变换模型进行变化，不会存在图像变形，解决了图像拼接融合过程中出现图像形变的问题，从而为高精度测量打下了基础。
附图说明
图1是本发明图像拼接融合的方法的流程示意图；
图2是本发明图像拼接融合的方法中相邻的两张子图像的重合区域示意图，其中阴影部分表示重合区域，a表示子图像的一个边长，b表示子图像的另一个边长，c表示融合区域的一个边长；
图3是本发明图像拼接融合的装置结构示意图。
具体实施方式
本发明图像拼接融合的方法，如图1所示，包括以下步骤：
S1、通过高清工业摄像机以设定的步长和路线依次拍摄图像，获得子图像序列，所述设定的步长满足在空间位置上相邻的两张子图像有一定范围的重合区域；
具体的，所述路线包括从左至右、从上之下、顺时针方向和逆时针方向，例如，先以设定步长横向移动，拍摄工件上半部分，再以设定的步长纵向移动，改变纵向拍摄位置，再次横向以固定步长移动，直至整个工件拍摄完成；所述固定步长需要满足在空间位置上相邻的两张子图像有一定范围的重合区域，所述一定范围为重合区域的一个边长等于子图像的一个边长，重合区域的另一个边长为子图像的另一个边长的十分之一，所述重合区域，如图2所示，重合区域的一个边长等于子图像的一个边长b，重合区域的另一个边长c，c的取值范围为0至a，优选为a的十分之一，例如子图一个边长为2000像素，另外一个边长为1000像素，若重合区域为左右方向，可选择重合区域的一个边长为1000像素，另外一个边长为200像素。
S2、对所有子图像进行预处理，获得子图像数据集；
具体的，所述预处理包括去噪、增强、颜色转换、通道变换和图像旋转矫正；对子图像的去噪和增强目的是为了后续特征点的提取更加精准，某些特征点的计算是以灰度单通道图像为基础的，因此要对图像做颜色转换。
S3、从子图像数据集中选取待拼接的两个子图像，获得图像对；
具体的，所述图像对是根据拍摄实物本身的结构及子图像顺序选取待拼接的两个子图像组合。
S4、在图像对的重合区域中提取特征点；
具体的，提取的特征点包括SIFT特征点、SURF特征点和Harris特征点，由于待匹配图像对的正确匹配点仅可能出现在两张图像的重合部分，因此，选择重合区域提取特征点能够提高匹配的准确度，相比于在整张子图上提取特征减小了计算量；例如：SIFT特征点的提取，第一阶段是确定潜在的兴趣点，它使用高斯函数的差异来搜索所有比例和图像位置，确定在第一阶段中找到的所有兴趣点的位置和比例，并根据稳定性选择特征点，稳定的特征点可以抵抗图像失真，在方向分配链路中，SIFT算法计算稳定特征点周围的梯度方向，根据局部图像的梯度方向，为每个关键点分配一个或多个方向，最终成为128维的SIFT特征向量。SIFT算法具有旋转不变性和尺度不变性非常适合高分辨率图像中的目标检测。它是一种强大的图像比较算法，但速度较慢，因此采用在局部重合区域提取特征点来提升速度。为了保证匹配精度，特征点还包括根据先验知识预先设定标定点或固有的特征点等，进一步提升匹配的精确度。
S5、对提取的特征点进行初始匹配和匹配优化，所述初始匹配为随机匹配，获得匹配对，所述匹配优化包括使用KNN算法计算匹配对的两个特征点间的欧氏距离，为每个特征点寻找最好的匹配点，根据欧式距离衡量匹配对的相似度，判断这个匹配是否可靠，并对匹配对进行可靠性由高到低排序，还包括剔除水平位置相差大于预设像素的匹配对；
具体的，所述剔除水平位置相差大于预设像素的匹配对的目的是减小错误匹配点，以保证剩余的匹配点处于近似同一水平位置，所述预设预设像素可以为10个像素点，以此，近似同一水平位置为竖直方向上像素坐标不超过10个像素点的区域，特别的，对于预先设定标定点或固有的特征点，在排序时将其排在优先位置，即靠前位置，以确保下一步选择前K个匹配对时选中预先设定标定点和固有的特征点的匹配对。
S6、选取前K个匹配对，采用RANSAC方法基于选定的K个匹配对拟合出图像的刚性变换模型，所述刚性变化模型指子图像进行平移和平面内旋转；
具体的，k为根据经验设定的值，可以选择50，所述刚性变化模型指子图像进行平移和平面内旋转，避免因图像形变引入误差。
S7、以其中一个图像为基准图像，将另一个图像根据刚性变换模型进行变换，并与基准图像拼接融合，获得新的图像；
具体的，在获得新的图像后，还包括将拼缝左右10个像素进行加权平均，以消除拼接缝。
S8、重复S3-S7，直至将所有子图像拼接融合为一张整图。
具体的，重复S3-S7，将子图像数据集中所有子图像拼接融合为一张整图，为为高精度测量提供无形变误差的整体。
基于以上图像拼接融合的方法，本发明还提供一种图像拼接融合的装置，如图3所示，包括图像数据采集模块、图像预处理模块、特征点提取模块、特征点匹配模块和图像拼接融合模块；
所述图像数据采集模块通过自动化设备控制工业摄像机以设定的步长和路线采集子图像序列；
具体的，所述路线包括从左至右、从上之下、顺时针方向和逆时针方向，所述一定范围为重合区域的一个边长等于子图像的一个边长，重合区域的另一个边长为子图像的另一个边长的十分之一。
所述图像预处理模块用于对子图像进行预处理；
具体的，所述预处理包括去噪、增强、颜色转换、通道变换和图像旋转矫正。
所述特征点提取模块用于从子图像数据集中选取待拼接的两个子图像，获得图像对，在图像对的重合区域中提取特征点；
具体的，提取的特征点包括SIFT特征点、SURF特征点和Harris特征点，还包括根据先验知识预设的标定点或固有的特征点。
所述特征点匹配模块用于对提取的特征点进行初匹配及匹配优化，所述初始匹配为随机匹配，获得匹配对，所述匹配优化包括包括使用KNN算法计算匹配对的两个特征点间的欧氏距离，为每个特征点寻找最好的匹配点，根据欧式距离衡量匹配对的相似度，判断这个匹配是否可靠，并对匹配对进行可靠性由高到低排序，还包括剔除水平位置相差大于预设像素的匹配对；
所述图像拼接融合模块用于选取前K个匹配对，采用RANSAC方法基于选定的K个匹配对拟合出图像的刚性变换模型，所述刚性变化模型指子图像进行平移和平面内旋转，以其中一个图像为基准图像，将另一个图像根据刚性变换模型进行变换，并与基准图像拼接融合，获得新的图像，直至将所有子图像拼接融合为一张整图。
具体的，所述图像拼接融合模块还用于将拼缝左右10个像素进行加权平均，以消除拼接缝。
在本发明中，可以将精度控制在一个像素内，而且采用刚性变化模型不会出现图像形变的问题，为高精度测量打下基础。
本领域普通技术人员可以理解，实现上述实施例方法中的全部或部分流程是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，所述程序在执行时，可包括本发明图像拼接融合的方法中的部分或全部步骤。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-OnlyMemory,ROM)或随机存储记忆体(RandomAccess Memory,RAM)等。
Claims (10)
1.图像拼接融合的方法，其特征在于，包括以下步骤：
S1、通过高清工业摄像机以设定的步长和路线依次拍摄图像，获得子图像序列，所述设定的步长满足在空间位置上相邻的两张子图像有一定范围的重合区域；
S2、对所有子图像进行预处理，获得子图像数据集；
S3、从子图像数据集中选取待拼接的两个子图像，获得图像对；
S4、在图像对的重合区域中提取特征点；
S5、对提取的特征点进行初始匹配和匹配优化，所述初始匹配为随机匹配，获得匹配对，所述匹配优化包括使用KNN算法计算匹配对的两个特征点间的欧氏距离，为每个特征点寻找最好的匹配点，根据欧式距离衡量匹配对的相似度，判断这个匹配是否可靠，并对匹配对进行可靠性由高到低排序，还包括剔除水平位置相差大于预设像素的匹配对；
S6、选取前K个匹配对，采用RANSAC方法基于选定的K个匹配对拟合出图像的刚性变换模型，所述刚性变化模型指子图像进行平移和平面内旋转；
S7、以其中一个图像为基准图像，将另一个图像根据刚性变换模型进行变换，并与基准图像拼接融合，获得新的图像；
S8、重复S3-S7，直至将所有子图像拼接融合为一张整图。
2.根据权利要求1所述的图像拼接融合的方法，其特征在于，S1中，所述路线包括从左至右、从上之下、顺时针方向和逆时针方向，所述一定范围为重合区域的一个边长等于子图像的一个边长，重合区域的另一个边长为子图像的另一个边长的十分之一。
3.根据权利要求1所述的图像拼接融合的方法，其特征在于，S2中，所述预处理包括去噪、增强、颜色转换、通道变换和图像旋转矫正。
4.根据权利要求1所述的图像拼接融合的方法，其特征在于，S4中，提取的特征点包括SIFT特征点、SURF特征点和Harris特征点，还包括根据先验知识预设的标定点或固有的特征点。
5.根据权利要求1所述的图像拼接融合的方法，其特征在于，S7中，还包括将拼缝左右10个像素进行加权平均。
6.图像拼接融合的装置，应用于权利要求1所述的图像拼接融合的方法，其特征在于，包括图像数据采集模块、图像预处理模块、特征点提取模块、特征点匹配模块和图像拼接融合模块；
所述图像数据采集模块通过自动化设备控制工业摄像机以设定的步长和路线采集子图像序列；
所述图像预处理模块用于对子图像进行预处理；
所述特征点提取模块用于从子图像数据集中选取待拼接的两个子图像，获得图像对，在图像对的重合区域中提取特征点；
所述特征点匹配模块用于对提取的特征点进行初匹配及匹配优化，所述初始匹配为随机匹配，获得匹配对，所述匹配优化包括使用KNN算法计算匹配对的两个特征点间的欧氏距离，为每个特征点寻找最好的匹配点，根据欧式距离衡量匹配对的相似度，判断这个匹配是否可靠，并对匹配对进行可靠性由高到低排序，还包括剔除水平位置相差大于预设像素的匹配对。
所述图像拼接融合模块用于选取前K个匹配对，采用RANSAC方法基于选定的K个匹配对拟合出图像的刚性变换模型，所述刚性变化模型指子图像进行平移和平面内旋转，以其中一个图像为基准图像，将另一个图像根据刚性变换模型进行变换，并与基准图像拼接融合，获得新的图像，直至将所有子图像拼接融合为一张整图。
7.根据权利要求6所述的图像拼接融合的装置，其特征在于，所述路线包括从左至右、从上之下、顺时针方向和逆时针方向，所述一定范围为重合区域的一个边长等于子图像的一个边长，重合区域的另一个边长为子图像的另一个边长的十分之一。
8.根据权利要求6所述的图像拼接融合的装置，其特征在于，所述预处理包括去噪、增强、颜色转换、通道变换和图像旋转矫正。
9.根据权利要求6所述的图像拼接融合的装置，其特征在于，提取的特征点包括SIFT特征点、SURF特征点和Harris特征点，还包括根据先验知识预设的标定点或固有的特征点。
10.根据权利要求6所述的图像拼接融合的装置，其特征在于，所述图像拼接融合模块还用于将拼缝左右10个像素进行加权平均。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311597813.9A CN117635421A (zh) | 2023-11-28 | 2023-11-28 | 图像拼接融合的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311597813.9A CN117635421A (zh) | 2023-11-28 | 2023-11-28 | 图像拼接融合的方法及装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117635421A true CN117635421A (zh) | 2024-03-01 |
Family
ID=90022807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311597813.9A Pending CN117635421A (zh) | 2023-11-28 | 2023-11-28 | 图像拼接融合的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117635421A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118037999A (zh) * | 2024-04-10 | 2024-05-14 | 时代新媒体出版社有限责任公司 | 一种基于vr思政教学的交互场景构建方法及系统 |
-
2023
- 2023-11-28 CN CN202311597813.9A patent/CN117635421A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118037999A (zh) * | 2024-04-10 | 2024-05-14 | 时代新媒体出版社有限责任公司 | 一种基于vr思政教学的交互场景构建方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111340701B (zh) | 一种基于聚类法筛选匹配点的电路板图像拼接方法 | |
| US20130195351A1 (en) | Image processor, image processing method, learning device, learning method and program | |
| CN103902953B (zh) | 一种屏幕检测系统及方法 | |
| CN113920205B (zh) | 一种非同轴相机的标定方法 | |
| CN107240130B (zh) | 遥感影像配准方法、装置及系统 | |
| CN117635421A (zh) | 图像拼接融合的方法及装置 | |
| CN109671109B (zh) | 密集点云生成方法及系统 | |
| CN108470356A (zh) | 一种基于双目视觉的目标对象快速测距方法 | |
| CN110598795A (zh) | 图像差异检测方法及装置、存储介质、终端 | |
| CN110544202A (zh) | 一种基于模板匹配与特征聚类的视差图像拼接方法及系统 | |
| JP4296617B2 (ja) | 画像処理装置および画像処理方法、並びに記録媒体 | |
| CN117570881A (zh) | 一种国土资源调查用土地面积测量系统及测量方法 | |
| CN113808103A (zh) | 基于图像处理的路面坑洼自动检测方法、设备和存储介质 | |
| CN110120012A (zh) | 基于双目摄像头的同步关键帧提取的视频拼接方法 | |
| CN114897676A (zh) | 一种无人机遥感多光谱图像拼接方法、设备及介质 | |
| JPH10240934A (ja) | 被写体抽出装置 | |
| CN113642397A (zh) | 一种基于手机视频的物体长度测量方法 | |
| CN104700359A (zh) | 像平面不同极轴方向图像序列进行超分辨率重建的方法 | |
| CN109598675B (zh) | 多重复纹理图像的拼接方法 | |
| CN110148205B (zh) | 一种基于众包影像的三维重建的方法和装置 | |
| CN111047513A (zh) | 一种用于柱面全景拼接的鲁棒性图像对齐方法及装置 | |
| CN110555385A (zh) | 一种基于变步长曲率滤波的焊缝特征点求取方法 | |
| CN116385477A (zh) | 一种基于图像分割的杆塔图像配准方法 | |
| JP2981382B2 (ja) | パターンマッチング方法 | |
| CN116128919A (zh) | 基于极线约束的多时相图像异动目标检测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |