CN109949227A - 图像拼接方法、系统及电子设备 - Google Patents
图像拼接方法、系统及电子设备 Download PDFInfo
- Publication number
- CN109949227A CN109949227A CN201910186690.7A CN201910186690A CN109949227A CN 109949227 A CN109949227 A CN 109949227A CN 201910186690 A CN201910186690 A CN 201910186690A CN 109949227 A CN109949227 A CN 109949227A
- Authority
- CN
- China
- Prior art keywords
- point
- image
- feature
- target feature
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 65
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 52
- 238000000605 extraction Methods 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 19
- 238000012937 correction Methods 0.000 claims description 7
- 238000004590 computer program Methods 0.000 claims description 6
- 230000006870 function Effects 0.000 claims description 5
- 230000004927 fusion Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 4
- 230000000694 effects Effects 0.000 abstract description 21
- 238000003466 welding Methods 0.000 description 24
- 238000001514 detection method Methods 0.000 description 14
- 230000008901 benefit Effects 0.000 description 10
- 238000007667 floating Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000003860 storage Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000003064 k means clustering Methods 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 230000004069 differentiation Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012271 agricultural production Methods 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 229910002056 binary alloy Inorganic materials 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000035800 maturation Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 208000011580 syndromic disease Diseases 0.000 description 1
Landscapes
- Image Processing (AREA)
Abstract
本发明提供了一种图像拼接方法、系统及电子设备，涉及图像识别技术领域，该方法包括：获取多张待拼接的原始图像；利用特征提取算法对原始图像进行特征定位，得到目标特征点；利用局部差分二进制算法得到目标特征点对应的描述子；基于描述子对不同原始图像的局部特征点进行匹配，得到匹配结果；根据匹配结果对多张原始图像进行拼接。该方法通过局部结构信息进行多特征点同时匹配代替现有技术中的单一特征点匹配，提高了图像的匹配准确率，使得最终的图片拼接成功率得到提高，从而解决了现有技术存在着管道焊缝图像拼接效果较差的问题。
Description
技术领域
本发明涉及图像识别技术领域，尤其是涉及一种图像拼接方法、系统及电子设备。
背景技术
目前，在工业和农业生产中存在大量的管道设施，管道的焊接质量是管道安全性的重要指标，对管道焊接区域进行缺陷检测是确保管道质量的关键。随着技术的进步，运用计算机视觉对焊接表面检测已成为主流检测技术。检测过程中，使用相机对焊接区域进行图像采集，然后通过图像匹配算法进行检测。由于管道焊接区域较长，相机的成像视角有限，需要沿着管道焊接区域拍照，再将所得图像进行拼接融合后提供给检测设备，因此高效稳定的焊接图像拼接技术对于管道焊接检测至关重要，快速准确的对焊接图像之间的特征提取与匹配是拼接效率的关键。
现有的图像匹配方法主要分为基于图像灰度信息匹配和基于特征的方法两类，基于特征的方法具有计算量小、对几何畸变有良好适应能力等优点，已成为当前主流的匹配方法。匹配算法主要由特征点检测、特征点区域描述、特征点匹配三部分构成。常见的匹配算法有尺度不变特征变换算法(Scale Invariant Feature Transform，SIFT)和快速鲁棒特征提取算法 (Speeded Up Robust Features，SURF)。尺度不变特征变换算法通过下采样和差分构建金字塔，提取特征的时间较长，而且采用的浮点型描述子会导致计算量较大；快速鲁棒特征提取算法采用积分图像，在特征提取效率上有了很大提高，但仍然采用浮点型的描述子。高维度的浮点型描述子匹配速度较慢，并且在处理过程中消耗较多的资源。为了解决这个问题，目前通常采用二值特征描述子，由于只涉及到像素点之间的灰度关系比较，因此二值特征描述匹配效率很高，但二值特征描述子的区分性能要弱于浮点型描述子。局部差分二进制(Local Difference Binary，LDB)描述子采用特征邻域灰度和梯度信息生成二进制特征描述，具有浮点型描述子的鉴别能力强和二进制描述子匹配效率高的特点。LDB算法通过汉明距离度量关键点的距离，采用K-均值聚类算法(k-means clusteringalgorithm，k-means)对两幅图像间的特征匹配进行判定。但由于管道焊缝中存在大量的相似区域，导致局部差分二进制算子会存在较多的误配，最终导致焊接图像拼接效果较差。
因此现有技术存在着管道焊缝图像拼接效果较差的问题。
发明内容
有鉴于此，本发明的目的在于提供一种图像拼接方法、系统及电子设备，以解决现有技术存在着管道焊缝图像拼接效果较差的问题。
第一方面，本发明实施例提供了一种图像拼接方法，其中，该方法包括：
获取多张待拼接的原始图像；
利用特征提取算法对原始图像进行特征定位，得到目标特征点；
利用局部差分二进制算法得到目标特征点对应的描述子；
基于描述子对不同原始图像的局部特征点进行匹配，得到匹配结果；其中，局部特征点包括目标特征点和目标特征点周围指定区域的至少一个其它特征点；
根据匹配结果对多张原始图像进行拼接。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，利用特征提取算法对输入原始图像进行快速特征定位，得到目标特征点的步骤，包括：
对各原始图像中的像素点构建海森矩阵；
通过不同尺寸的盒子滤波器对海森矩阵进行滤波处理，生成海森行列式图像，并根据海森行列式图像构成图像金字塔；
将经过海森矩阵处理后的每个像素点分别与图像金字塔中指定空间内的多个像素点进行比较，确定初步特征点；
通过特征阈值判定在初步特征点中筛选目标特征点。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，利用局部差分二进制算法得到目标特征点对应的描述子的步骤，包括：
获取目标特征点所在的区域图像块；
利用图像灰度质心法对区域图像块进行方向校正；
将矫正后的区域图像块划分成多个相同大小的网格，计算每个网格的网格信息；其中网格信息包括网格内所有像素平均灰度信息和方向梯度信息；
通过比较算式对网格信息进行比较，得到每个网格的初始特征；
利用AdaBoost算法对初始特征进行筛选，得到目标特征点对应的描述子。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，比较算式为：
其中，Γ为伽马函数，F(i)为网格信息三元组；
网格信息三元组的定义如下所示：
F(i)∈{Iavg(i),dx(i),dy(i)}
其中，Iavg(i)为网格内所有像素平均灰度信息，dx(i)为x方向梯度，dy(i) 为y方向梯度。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，基于描述子对不同原始图像的局部特征点进行匹配，得到匹配结果，包括：
将两张不同原始图像中的局部特征点分别确定为第一待匹配局部特征点和第二待匹配局部特征点；其中，第一待匹配局部特征点包括第一目标特征点和第一目标特征点周围指定区域的至少一个第一邻近特征点；第二待匹配局部特征点包括第二目标特征点和第二目标特征点周围指定区域的至少一个第二邻近特征点；
根据第一邻近特征点对应的描述子和第二邻近特征点对应的描述子判断第一邻近特征点和第二邻近特征点是否特征匹配；
如果是，根据第一目标特征点对应的描述子和第二目标特征点对应的描述子判断第一目标特征点和第二目标特征点是否特征匹配；
如果是，判断第一目标特征点与第一邻近特征点之间的夹角以及第二目标特征点与第二邻近特征点之间的夹角是否满足预设的角度阈值；
如果是，确定第一目标特征点与第二目标特征点匹配。
结合第一方面的第四种可能的实施方式，本发明实施例提供了第一方面的第五种可能的实施方式，其中，判断第一目标特征点与第一邻近特征点之间的夹角以及第二目标特征点与第二邻近特征点之间的夹角是否满足预设的角度阈值，包括：
根据判别算式断第一目标特征点与第一邻近特征点之间的夹角以及第二目标特征点与第二邻近特征点之间的夹角是否满足预设的角度阈值；其中，判别算式为：
min(π-|β1-β2|,|β1-β2|)≤δ
其中，β1为第一目标特征点与第一邻近特征点之间的夹角；β2为第二目标特征点与第二邻近特征点之间的夹角，δ为角度阈值。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，根据匹配结果对多张原始图像进行拼接的步骤，包括：
根据匹配结果得到待拼接的原始图像中匹配点集的信息；
根据匹配点集的信息，将待拼接的原始图像转换为同一坐标系后进行图像配准；
将经过图像配准的不同原始图像的重叠区域进行加权融合，得到拼接后的图像。
第二方面，本发明实施例提供了一种图像拼接系统，其中，该系统包括：
图像获取单元，用于获取多张待拼接的原始图像；
特征提取单元，用于利用特征提取算法对原始图像进行特征定位，得到目标特征点；
计算单元，用于利用局部差分二进制算法得到目标特征点对应的描述子；
匹配单元，用于基于描述子对不同原始图像的局部特征点进行匹配，得到匹配结果；其中，局部特征点包括目标特征点和目标特征点周围指定区域的至少一个其它特征点；
拼接单元，用于根据匹配结果对多张原始图像进行拼接。
第三方面，本发明实施例还提供一种电子设备，包括存储器、处理器，存储器中存储有可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述如第一方面的方法的步骤。
第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行如第一方面的方法。
本发明实施例带来了以下有益效果：
本发明实施例提供的图像拼接方法、系统及电子设备，包括：首先获取多张待拼接的原始图像；然后利用特征提取算法对原始图像进行特征定位，得到目标特征点；再通过局部差分二进制算法得到目标特征点对应的描述子；基于描述子对不同原始图像的局部特征点进行匹配，得到匹配结果；其中，局部特征点包括目标特征点和目标特征点周围指定区域的至少一个其它特征点；最后根据匹配结果对多张原始图像进行拼接。通过采用 SURF方法进行快速特征定位，再采用LDB算法描述特征点区域，最后结合LDB描述子提出一种利用局部结构信息进行多特征点同时匹配，代替现有技术中的单一特征点匹配，保留了SURF特征提取算法特征定位快的特点，还继承了LDB算子高鉴别性和快速性的优点，同时使用局部结构多特征点匹配提高了匹配准确率，使得最终的图片拼接成功率得到提高，从而解决了现有技术存在着管道焊缝图像拼接效果较差的问题。
本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其它优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例提供的图像拼接方法流程图；
图2为本发明实施例提供的管道焊缝图像采集装置示意图；
图3为本发明实施例提供的匹配效果对比图；
图4为本发明实施例提供的管道焊缝图像拼接效果对比图；
图5为本发明实施例提供的多张管道焊缝图像拼接效果图；
图6为本发明实施例提供的图像拼接系统结构示意图；
图7为本发明实施例提供的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
目前，在工业和农业生产中存在大量的管道设施，管道的焊接质量是管道安全性的重要指标，对管道焊接区域进行缺陷检测是确保管道质量的关键。随着技术的进步，运用计算机视觉对焊接表面检测已成为主流检测技术。检测过程中，使用相机对焊接区域进行图像采集，然后通过图像匹配算法进行检测。由于管道焊接区域较长，相机的成像视角有限，需要沿着管道焊接区域拍照，再将所得图像进行拼接融合后提供给检测设备，因此高效稳定的焊接图像拼接技术对于管道焊接检测至关重要，快速准确的对焊接图像之间的特征提取与匹配是拼接效率的关键。
现有的图像匹配方法主要分为基于图像灰度信息匹配和基于特征的方法两类，基于特征的方法具有计算量小、对几何畸变有良好适应能力等优点，已成为当前主流的匹配方法。匹配算法主要由特征点检测、特征点区域描述、特征点匹配三部分构成。常见的匹配算法有尺度不变特征变换算法(Scale Invariant Feature Transform，SIFT)和快速鲁棒特征提取算法 (Speeded Up Robust Features，SURF)。尺度不变特征变换算法通过下采样和差分构建金字塔，提取特征的时间较长，而且采用的浮点型描述子会导致计算量较大；快速鲁棒特征提取算法采用积分图像，在特征提取效率上有了很大提高，但仍然采用浮点型的描述子。高维度的浮点型描述子匹配速度较慢，并且在处理过程中消耗较多的资源。为了解决这个问题，目前通常采用二值特征描述子，由于只涉及到像素点之间的灰度关系比较，因此二值特征描述匹配效率很高，但二值特征描述子的区分性能要弱于浮点型描述子。局部差分二进制(Local Difference Binary，LDB)描述子采用特征邻域灰度和梯度信息生成二进制特征描述，具有浮点型描述子的鉴别能力强和二进制描述子匹配效率高的特点。LDB算法通过汉明距离度量关键点的距离，采用K-均值聚类算法(k-means clusteringalgorithm，k-means)对两幅图像间的特征匹配进行判定。但由于管道焊缝中存在大量的相似区域，导致局部差分二进制算子会存在较多的误配，最终导致焊接图像拼接效果较差。基于此，本发明实施例提供的一种图像拼接方法、系统及电子设备，可以解决现有技术存在着管道焊缝图像拼接效果较差的问题。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种图像拼接方法、系统及电子设备进行详细介绍。
实施例一：
本发明实施例提供一种图像拼接方法，应用于管道设施焊缝检测中，如图1所示，该方法包括：
步骤S100，获取多张待拼接的原始图像。
具体的，图2所示的管道焊缝图像采集装置中，原始图像通过设置在小车220上的图像采集装置230进行获取，图像采集装置230为CCD相机和搭配使用的镜头构成。由于管道表面的亮度差异较大，并且图像采集装置230采集的原始图像会产生畸变，导致图像边缘的焊接区域成像效果较差，影响后续拼接工作，因此将相机采集的图像进行裁切处理，保留中间位置的图像，舍去边缘成像质量较差的图像。
根据预设的拍照位置和拍照时机，使得小车220沿着管道210进行移动并拍照，获得多张待拼接的原始图像，如图3(A)所示。
步骤S200，利用特征提取算法对原始图像进行特征定位，得到目标特征点。
具体的，特征点提取过程采用SURF算法来实现，包括以下步骤：
对各原始图像中的像素点构建海森矩阵；
通过不同尺寸的盒子滤波器，对海森矩阵进行滤波处理，生成海森行列式图像，并根据生成的海森行列式图像构成图像金字塔；
将经过海森矩阵处理后的每个像素点分别与图像金字塔中指定空间内的多个像素点进行比较得到运算结果，根据运算结果确定初步特征点；
在初步特征点中进行特征阈值判定，筛选得到目标特征点。
Hessian矩阵是SURF算法的核心，将Hessian矩阵记为H。假设焊缝图像中像素点为f(x,y)，则Hessian矩阵H由其像素点的函数、偏导数组成，如下式所示：
由于特征点需要尺度无关性，因而需要先对其进行高斯滤波，经过滤波后的Hessian矩阵表示为：
H矩阵判别式为：
判别式的值是H矩阵的特征值，可以根据判别式取值的正负来判断该点是否是极值点，若det(H)<0则可判断(x,y)不是局部极值点；若det(H)>0 则可判断(x,y)是局部极值点。
在图像中，尺度为σ时，其像素点的Hessian矩阵定义如下：
上式中，Lxx(x,σ)是高斯滤波二阶倒数同f(x,y)卷积的结果，其中Lxy(x,σ)和Lyy(x,σ)的形式与Lxx(x,σ)相同。
通过计算每个点的Hessian矩阵行列式，再经盒型滤波器建立金字塔图像，完成特征点的粗略定位。Hessian矩阵行列式的近似计算算式为：
det(Happrox)＝DxxDyy-(0.9Dxy)2
上式中在Dxy上乘了个加权系数0.9，是为了降低因使用盒型滤波器近似替代高斯滤波器所导致的误差。
在金字塔图像构建不同层的时候，不同层之间使用相同尺寸的滤波器，但是滤波器的模糊系数是逐渐增大的，通过采用依次增大的盒型滤波器(9 ×9，15×15，21×21，27×27)从金字塔低层依次作用于上层，构建金字塔模型。将经过Hessian矩阵处理后的每个像素点分别与二位图像空间的8 个点以及尺度空间临域内的18个点进行比较，如果该像素点的特征值大于周围像素，则初步定义为特征点，然后采用二元三次拟合函数去除不稳定点和边缘相应点，同时也去除掉特征值小于一定阈值的点，使得检测到的特征点数量减少，最终筛选出稳定的特征点。
步骤S300，利用局部差分二进制算法得到目标特征点对应的描述子。该步骤包括：
获取目标特征点所在的区域图像块；
利用图像灰度质心法对区域图像块进行方向校正；
将矫正后的区域图像块划分成多个相同大小的网格，计算每个网格的网格信息；其中网格信息包括网格内所有像素平均灰度信息和方向梯度信息；
通过比较算式对网格信息进行比较，得到每个网格的初始特征；
利用AdaBoost算法对初始特征进行筛选，得到目标特征点对应的描述子。
具体的，在金字塔各层图像中确定特征点后，LDB算法利用灰度质心法确定特征点区域图像块的方向，把质心和中心点的连接方向作为参考，对图像区域进行方向校正，从而保证旋转不变性。然后对图像进行特征描述，将特征点临域划分成n×n(共采用2×2，3×3，4×4，5×5四种划分) 个相同大小的网格进行多重采样，计算每个网格所有像素的平均灰度信息以及x、y方向的梯度信息。灰度计算算式为：
上式中，mi为像素数量，I(k)为k点灰度值。
每个网格信息用平均灰度信息、x方向、y方向的梯度信息三个特征信息来表示，定义网格信息三元组为：
Fi∈{Iavg(i),dx(i),dy(i)}
其中，dx(i)为x方向梯度，dy(i)为y方向梯度。然后在网格间比较测试，确定每个网格的二进制描述，所用的测试算式如下所示：
每种规格网格划分产生的二进制位数为上述4种划分方式中，产生的初始二值特征位数为：
最后用基于改进的AdaBoost学习方法对1386位初始特征进行筛选，选择显著的二进制位，得到最终的LDB描述子。
步骤S400，基于描述子对不同原始图像的局部特征点进行匹配，得到匹配结果；其中，局部特征点包括目标特征点和目标特征点周围指定区域的至少一个其它特征点。该步骤包括：
将两张不同原始图像中的局部特征点分别确定为第一待匹配局部特征点和第二待匹配局部特征点；其中，第一待匹配局部特征点包括第一目标特征点和第一目标特征点周围指定区域的至少一个第一邻近特征点；第二待匹配局部特征点包括第二目标特征点和第二目标特征点周围指定区域的至少一个第二邻近特征点；
根据第一邻近特征点对应的描述子和第二邻近特征点对应的描述子判断第一邻近特征点和第二邻近特征点是否特征匹配；
如果是，根据第一目标特征点对应的描述子和第二目标特征点对应的描述子判断第一目标特征点和第二目标特征点是否特征匹配；
如果是，判断第一目标特征点与第一邻近特征点之间的夹角以及第二目标特征点与第二邻近特征点之间的夹角是否满足预设的角度阈值；采用如下判别算式进行判断：
min(π-|β1-β2|,|β1-β2|)≤δ
其中，β1为第一目标特征点与第一邻近特征点之间的夹角；β2为第二目标特征点与第二邻近特征点之间的夹角，δ为角度阈值。
如果满足预设的角度阈值，则确定第一目标特征点与第二目标特征点匹配。
具体的，在焊缝图像中，由于存在大量的局部相似结构，运用LDB算子进行匹配时，会产生较多的误配点。为了减少误配点，提高匹配正确率，采用局部结构中的多特征点同时匹配，代替单特征点匹配。定义图像一个特征点p与多个近邻特征点q的局部结构信息为
其中，S(p)为图像的特征点p与i个近邻特征点q的局部结构信息；为特征点qi的描述特征；为特征点p与特征点qi的方向夹角；C 为选取的特征点p周边近邻候选匹配特征点数量。
通过比较两幅图片局部结构信息，来匹配正确的特征点，去除误配点。假如点p1、p2分别为焊缝图片I1、I2中匹配到的关键点，在点p1、p2周围分别找到各自近邻特征点q1、q2，验证特征点q1、q2是否局部结构相似，若相似，则特征点p1、p2匹配正确。具体步骤：
1.判断点p1、p2是否满足LDB特征匹配，如果满足，则分别在点p1、 p2周围的C个近邻候选点钟分别搜索其近邻点q1、q2。
2.判断近邻点q1、q2是否满足LDB特征匹配。
3.是否满足判别算式。判别算式如下所示
min(π-|β1-β2|,|β1-β2|)≤δ
式中，β1为特征点p1、q1所成的夹角；β2为特征点p2、q2所成的夹角；δ为设定的角度阈值。当C为2，δ为π/6时能够达到良好的检测效果。
为了验证局部结构中多特征点匹配效果，首先对步骤S100中获得的待拼接原始图像图3(A)进行SURF特征点定位，再采用LDB描述特征方法得到特征点匹配效果图，匹配结果如图3(B)所示。可以看出，有一些特征点匹配完成后的匹配线与焊缝不平行，表明这是错误的匹配点，通过分析，共得到了165对匹配点，出现了3对错误的匹配点。
通过步骤S100-S400描述的方法，对待拼接原始图像图3(A)进行匹配，匹配效果如图3(C)所示，共得到了176对匹配点，没有出现错误的匹配点。匹配点的数量有了较大的提升，匹配错误的数量也明显降低，表明采用局部结构中的多特征点同时匹配代替单特征点匹配的做法，可有效提升特征点匹配准确性。
步骤S500，根据匹配结果对多张原始图像进行拼接。该步骤包括：
根据匹配结果得到待拼接的原始图像中匹配点集的信息；
根据匹配点集的信息，将待拼接的原始图像转换为同一坐标系后进行图像配准；
将经过图像配准的不同原始图像的重叠区域进行加权融合，得到拼接后的图像。
拼接过程的效果图见图4，其中图4(A)为待拼接的两张焊接图片，图 4(B)为经过上述步骤后完成的焊接图片拼接效果图。
在通过步骤S100至S400后，由于特征点匹配准确性得到了有效提升，在图像拼接时效果更好，进行多张图片拼接时出现的图像失真的情况就会降低。将图3(A)中的6张图片进行拼接的效果见图5所示，可以发现，图像连接区域无明显畸变和失真，焊接区域的特征清晰。
使用本实施例提供的图像拼接方法，对50张与图3(A)类似焊缝图像，分别使用SURF算法、LDB算法、SURF+LDB算法进行焊缝图像的拼接，根据连接区域有无明显畸变和失真作为判定标准。结果表明，其它三种算法的正确拼接数量分别有39、43、45，拼接成功率分别为78％、86％、90％；本实施例提供的图像拼接方法，正确拼接数量为50，成功率达到了100％。因此使用本实施例提供的方法，可解决现有技术中管道焊缝图像拼接效果较差的问题。
实施例二：
本发明实施例提供一种图像拼接系统，其结构示意图见图6所示，其中，该系统包括：
图像获取单元610，用于获取多张待拼接的原始图像；
特征提取单元620，用于利用特征提取算法对原始图像进行特征定位，得到目标特征点；
计算单元630，用于利用局部差分二进制算法得到目标特征点对应的描述子；
匹配单元640，用于基于描述子对不同原始图像的局部特征点进行匹配，得到匹配结果；其中，局部特征点包括目标特征点和目标特征点周围指定区域的至少一个其它特征点；
拼接单元650，用于根据匹配结果对多张原始图像进行拼接。
本发明实施例提供的图像拼接系统，与上述实施例提供的图像拼接方法具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。
实施例三：
本发明实施例提供的一种电子设备，图7为该电子设备的结构示意图，电子设备700包括存储器701和处理器702，其中存储器701用于存储有可在处理器701上运行的计算机程序；处理器702执行计算机程序时，实现实施例一中图像拼接方法的步骤；电子设备还包括总线703和通讯接口704，存储器701和通信接口704通过总线703连接。
其中，存储器701可能包含高速随机存取存储器(RAM，Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口704(可以是有线或者无线)实现该系统网元与至少一个其它网元之间的通信连接，可以使用互联网，广域网，本地网，城域网等。
总线703可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器701用于存储程序，所述处理器702在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器702中，或者由处理器702实现。
处理器702可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器702中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器702可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DigitalSignal Processing，简称DSP)、专用集成电路(Application Specific IntegratedCircuit，简称 ASIC)、现成可编程门阵列(Field-Programmable Gate Array，简称FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器 701，处理器702读取存储器701中的信息，结合其硬件完成上述方法的步骤。
实施例四：
本发明实施例提供的一种具有处理器可执行的非易失的程序代码的计算机可读介质，所述程序代码使所述处理器执行上述实施例提供的图像拼接方法。
本发明实施例提供的具有处理器可执行的非易失的程序代码的计算机可读介质，与上述实施例提供的图像拼接方法、系统及电子设备具有相同的技术特征，所以也能解决相同的技术问题，达到相同的技术效果。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
本发明实施例所提供的进行图像拼接方法、系统及电子设备的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称 RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种图像拼接方法，其特征在于，所述方法包括：
获取多张待拼接的原始图像；
利用特征提取算法对所述原始图像进行特征定位，得到目标特征点；
利用局部差分二进制算法得到所述目标特征点对应的描述子；
基于所述描述子对不同所述原始图像的局部特征点进行匹配，得到匹配结果；其中，所述局部特征点包括所述目标特征点和所述目标特征点周围指定区域的至少一个其它特征点；
根据所述匹配结果对多张所述原始图像进行拼接。
2.根据权利要求1所述的方法，其特征在于，所述利用特征提取算法对输入所述原始图像进行快速特征定位，得到目标特征点的步骤，包括：
对各所述原始图像中的像素点构建海森矩阵；
通过不同尺寸的盒子滤波器对所述海森矩阵进行滤波处理，生成海森行列式图像，并根据所述海森行列式图像构成图像金字塔；
将经过海森矩阵处理后的每个像素点分别与图像金字塔中指定空间内的多个像素点进行比较，确定初步特征点；
通过特征阈值判定在所述初步特征点中筛选目标特征点。
3.根据权利要求1所述的方法，其特征在于，所述利用局部差分二进制算法得到所述目标特征点对应的描述子的步骤，包括：
获取所述目标特征点所在的区域图像块；
利用图像灰度质心法对所述区域图像块进行方向校正；
将矫正后的区域图像块划分成多个相同大小的网格，计算每个网格的网格信息；其中所述网格信息包括所述网格内所有像素平均灰度信息和方向梯度信息；
通过比较算式对所述网格信息进行比较，得到每个所述网格的初始特征；
利用AdaBoost算法对所述初始特征进行筛选，得到所述目标特征点对应的描述子。
4.根据权利要求3所述的方法，其特征在于，所述比较算式为：
其中，Γ为伽马函数，F(i)为网格信息三元组；
所述网格信息三元组的定义如下所示：
F(i)∈{Iavg(i),dx(i),dy(i)}
其中，Iavg(i)为所述网格内所有像素平均灰度信息，dx(i)为x方向梯度，dy(i)为y方向梯度。
5.根据权利要求1所述的方法，其特征在于，所述基于所述描述子对不同所述原始图像的局部特征点进行匹配，得到匹配结果，包括：
将两张不同原始图像中的局部特征点分别确定为第一待匹配局部特征点和第二待匹配局部特征点；其中，所述第一待匹配局部特征点包括第一目标特征点和所述第一目标特征点周围指定区域的至少一个第一邻近特征点；所述第二待匹配局部特征点包括第二目标特征点和所述第二目标特征点周围指定区域的至少一个第二邻近特征点；
根据所述第一邻近特征点对应的描述子和所述第二邻近特征点对应的描述子判断所述第一邻近特征点和所述第二邻近特征点是否特征匹配；
如果是，根据所述第一目标特征点对应的描述子和所述第二目标特征点对应的描述子判断所述第一目标特征点和所述第二目标特征点是否特征匹配；
如果是，判断所述第一目标特征点与所述第一邻近特征点之间的夹角以及所述第二目标特征点与所述第二邻近特征点之间的夹角是否满足预设的角度阈值；
如果是，确定所述第一目标特征点与所述第二目标特征点匹配。
6.根据权利要求5所述的方法，其特征在于，所述判断所述第一目标特征点与所述第一邻近特征点之间的夹角以及所述第二目标特征点与所述第二邻近特征点之间的夹角是否满足预设的角度阈值，包括：
根据判别算式断所述第一目标特征点与所述第一邻近特征点之间的夹角以及所述第二目标特征点与所述第二邻近特征点之间的夹角是否满足预设的角度阈值；其中，所述判别算式为：
min(π-|β1-β2|,|β1-β2|)≤δ
其中，β1为所述第一目标特征点与所述第一邻近特征点之间的夹角；β2为所述第二目标特征点与所述第二邻近特征点之间的夹角，δ为角度阈值。
7.根据权利要求1所述的方法，其特征在于，所述根据所述匹配结果对多张所述原始图像进行拼接的步骤，包括：
根据所述匹配结果得到待拼接的原始图像中匹配点集的信息；
根据所述匹配点集的信息，将所述待拼接的原始图像转换为同一坐标系后进行图像配准；
将经过所述图像配准的不同原始图像的重叠区域进行加权融合，得到拼接后的图像。
8.一种图像拼接系统，其特征在于，该系统包括：
图像获取单元，用于获取多张待拼接的原始图像；
特征提取单元，用于利用特征提取算法对所述原始图像进行特征定位，得到目标特征点；
计算单元，用于利用局部差分二进制算法得到所述目标特征点对应的描述子；
匹配单元，用于基于所述描述子对不同所述原始图像的局部特征点进行匹配，得到匹配结果；其中，所述局部特征点包括所述目标特征点和所述目标特征点周围指定区域的至少一个其它特征点；
拼接单元，用于根据所述匹配结果对多张所述原始图像进行拼接。
9.一种电子设备，包括存储器、处理器，所述存储器中存储有可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述权利要求1至7任一项所述的方法的步骤。
10.一种具有处理器可执行的非易失的程序代码的计算机可读介质，其特征在于，所述程序代码使所述处理器执行所述权利要求1至7任一所述方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910186690.7A CN109949227A (zh) | 2019-03-12 | 2019-03-12 | 图像拼接方法、系统及电子设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910186690.7A CN109949227A (zh) | 2019-03-12 | 2019-03-12 | 图像拼接方法、系统及电子设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109949227A true CN109949227A (zh) | 2019-06-28 |
Family
ID=67009781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910186690.7A Pending CN109949227A (zh) | 2019-03-12 | 2019-03-12 | 图像拼接方法、系统及电子设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109949227A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490582A (zh) * | 2019-07-18 | 2019-11-22 | 同济大学 | 一种信用卡交易异常检测方法及装置 |
| CN110706284A (zh) * | 2019-09-11 | 2020-01-17 | 鲁班嫡系机器人（深圳）有限公司 | 一种焊接控制方法、装置及系统 |
| CN110781911A (zh) * | 2019-08-15 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法、装置、设备及存储介质 |
| CN110956586A (zh) * | 2019-12-17 | 2020-04-03 | 北京金山安全软件有限公司 | 图片拼接处理方法、装置、终端设备和存储介质 |
| CN111553233A (zh) * | 2020-04-22 | 2020-08-18 | 广东电网有限责任公司 | 一种智慧车辆管理方法 |
| CN112419375A (zh) * | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | 特征点的匹配方法及装置、存储介质、电子装置 |
| CN112686302A (zh) * | 2020-12-29 | 2021-04-20 | 科大讯飞股份有限公司 | 图像特征点匹配方法、计算机设备及存储装置 |
| CN115861162A (zh) * | 2022-08-26 | 2023-03-28 | 宁德时代新能源科技股份有限公司 | 定位目标区域的方法、装置及计算机可读存储介质 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945111A (zh) * | 2017-11-17 | 2018-04-20 | 中国矿业大学 | 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法 |
-
2019
- 2019-03-12 CN CN201910186690.7A patent/CN109949227A/zh active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107945111A (zh) * | 2017-11-17 | 2018-04-20 | 中国矿业大学 | 一种基于surf特征提取结合cs‑lbp描述符的图像拼接方法 |
Non-Patent Citations (2)
| Title |
|---|
| 余淮等: "一种无人机航拍影像快速特征提取与匹配算法", 《电子与信息学报》 * |
| 张东波等: "基于LDB描述子和局部空间结构匹配的快速场景辨识", 《山东大学学报(工学版)》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110490582A (zh) * | 2019-07-18 | 2019-11-22 | 同济大学 | 一种信用卡交易异常检测方法及装置 |
| CN110781911A (zh) * | 2019-08-15 | 2020-02-11 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法、装置、设备及存储介质 |
| CN110781911B (zh) * | 2019-08-15 | 2022-08-19 | 腾讯科技（深圳）有限公司 | 一种图像匹配方法、装置、设备及存储介质 |
| CN110706284A (zh) * | 2019-09-11 | 2020-01-17 | 鲁班嫡系机器人（深圳）有限公司 | 一种焊接控制方法、装置及系统 |
| CN110956586A (zh) * | 2019-12-17 | 2020-04-03 | 北京金山安全软件有限公司 | 图片拼接处理方法、装置、终端设备和存储介质 |
| CN110956586B (zh) * | 2019-12-17 | 2023-09-29 | 北京金山安全软件有限公司 | 图片拼接处理方法、装置、终端设备和存储介质 |
| CN111553233A (zh) * | 2020-04-22 | 2020-08-18 | 广东电网有限责任公司 | 一种智慧车辆管理方法 |
| CN112419375A (zh) * | 2020-11-18 | 2021-02-26 | 青岛海尔科技有限公司 | 特征点的匹配方法及装置、存储介质、电子装置 |
| CN112686302A (zh) * | 2020-12-29 | 2021-04-20 | 科大讯飞股份有限公司 | 图像特征点匹配方法、计算机设备及存储装置 |
| CN112686302B (zh) * | 2020-12-29 | 2024-02-13 | 科大讯飞股份有限公司 | 图像特征点匹配方法、计算机设备及存储装置 |
| CN115861162A (zh) * | 2022-08-26 | 2023-03-28 | 宁德时代新能源科技股份有限公司 | 定位目标区域的方法、装置及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109949227A (zh) | 图像拼接方法、系统及电子设备 | |
| CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
| CN111667520B (zh) | 红外图像和可见光图像的配准方法、装置及可读存储介质 | |
| CN111680690B (zh) | 一种文字识别方法及装置 | |
| CN110309687A (zh) | 一种二维码图像的校正方法及校正装置 | |
| CN103679636A (zh) | 基于点、线双重特征的快速图像拼接方法 | |
| CN107203990A (zh) | 一种基于模板匹配与图像质量评估的标贴破损检测方法 | |
| CN105184225B (zh) | 一种多国纸币图像识别方法和装置 | |
| CN108550166B (zh) | 一种空间目标图像匹配方法 | |
| JP2009086926A (ja) | 画像認識方法および装置 | |
| CN109447117A (zh) | 双层车牌识别方法、装置、计算机设备及存储介质 | |
| CN113158895A (zh) | 票据识别方法、装置、电子设备及存储介质 | |
| CN109815823A (zh) | 数据处理方法及相关产品 | |
| CN116205876A (zh) | 基于多尺度标准化流的无监督笔记本外观缺陷检测方法 | |
| CN114494751A (zh) | 证照信息识别方法、装置、设备及介质 | |
| CN114004858A (zh) | 基于机器视觉识别航空线缆表面编码的方法及装置 | |
| CN112329845A (zh) | 更换纸币的方法、装置、终端设备及计算机可读存储介质 | |
| CN103955929B (zh) | 图像局部边缘模式与非边缘模式判断方法及判断装置 | |
| CN116563306A (zh) | 自适应火灾痕迹光谱图像分割方法及系统 | |
| CN111178398A (zh) | 检测身份证图像信息篡改的方法、系统、存储介质及装置 | |
| CN108304838B (zh) | 一种图片信息识别方法及终端 | |
| WO2022121858A1 (zh) | 图像处理方法、指纹信息提取方法、装置、设备、产品及介质 | |
| CN113409375B (zh) | 图像处理方法、装置以及非易失性存储介质 | |
| CN112986329B (zh) | 大尺寸非平面试件超高速撞击损伤的红外热成像检测方法 | |
| CN113591548B (zh) | 靶环识别方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20190628 |
|
| RJ01 | Rejection of invention patent application after publication |