CN115082314A - 一种自适应特征提取的光学表面缺陷图像分步拼接的方法 - Google Patents
一种自适应特征提取的光学表面缺陷图像分步拼接的方法 Download PDFInfo
- Publication number
- CN115082314A CN115082314A CN202210744926.6A CN202210744926A CN115082314A CN 115082314 A CN115082314 A CN 115082314A CN 202210744926 A CN202210744926 A CN 202210744926A CN 115082314 A CN115082314 A CN 115082314A
- Authority
- CN
- China
- Prior art keywords
- points
- image
- value
- splicing
- sub
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 65
- 230000003287 optical effect Effects 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000000605 extraction Methods 0.000 title claims abstract description 19
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- 230000009466 transformation Effects 0.000 claims abstract description 14
- 238000007526 fusion splicing Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 14
- 230000003044 adaptive effect Effects 0.000 claims description 10
- 238000001514 detection method Methods 0.000 claims description 8
- 238000007670 refining Methods 0.000 claims description 5
- 230000002950 deficient Effects 0.000 claims description 4
- 238000010276 construction Methods 0.000 claims description 3
- 230000004044 response Effects 0.000 claims description 3
- 238000011524 similarity measure Methods 0.000 claims description 2
- 102000048176 Prostaglandin-D synthases Human genes 0.000 claims 1
- 108030003866 Prostaglandin-D synthases Proteins 0.000 claims 1
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 abstract description 3
- 230000009467 reduction Effects 0.000 abstract description 3
- 238000012216 screening Methods 0.000 abstract 1
- 238000005516 engineering process Methods 0.000 description 3
- 238000000399 optical microscopy Methods 0.000 description 3
- 241000282320 Panthera leo Species 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000000149 argon plasma sintering Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004377 microelectronic Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011158 quantitative evaluation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Image Processing (AREA)
Abstract
本发明提供一种自适应特征提取的光学表面缺陷图像分步拼接的方法，包括：子图像的特征提取、子图像的标记与分类、图像的分类融合与拼接，子图像的重叠区域分别用SIFT算法进行特征提取，重叠区域有缺陷记为1，否则为0；标记为1的区域采用SIFT算法拼接，对缺陷特征点的描述子进行自适应降维改进，采用RANSAC算法对特征匹配点进行筛选，求取单一性矩阵，通过仿射变换实现融合拼接，拼接时优先对四位关系的图像拼接，其次对三位和二位的图像拼接。标记为0的区域根据坐标相对位置拼接，对重叠区域分类并采用两种方法进行融合拼接，将所得的几个大块图像实现光学元件表面缺陷的全景拼接。本发明为光学表面缺陷图像的全景拼接提供了一种高效快速的拼接手段。
Description
技术领域
本发明属于光学检测领域，特别涉及一种自适应特征提取的光学表面缺陷图像分步拼接的方法。
背景技术
随着先进光学制造技术不断发展，超精密光学元件广泛应用在航空航天、微电子设备、光学精密测量等领域，由于元件表面上的缺陷如划痕和麻点等会造成光的散射从而影响光学系统性能，因此对光学表面缺陷的检测至关重要。
光学显微暗场成像是光学元件表面缺陷检测的一种有效方法，其中缺陷图像拼接是其中的关键技术。光学元件表面显微散射暗场图像拼接是把同一光学元件表面的多个暗场子图像拼接成全景图像，以便后续对光学元件表面缺陷进行分析与评估。近年来，图像拼接技术发展迅速，比较火热的是基于特征匹配的图像拼接方法，包括图像预处理、图像配准、图像融合。应用最广的是SIFT、SURF、Harris算法，Harris角点检测算法窗口阈值需要先验知识，且不具有尺度旋转不变性，SURF速度快，实时性好，鲁棒性强，但在尺度不变性、旋转不变性等性能上的表现并不理想，不太适合颜色光照变换等场合。SIFT最初是由DavidG.Lowe提出的一种算法(David G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision,2004,60(2):91-110)，它几乎不受图像光照、仿射变化(图像旋转角度，缩放大小等)和噪音等因素变化的影响，抗干扰性强。但采集的子图像并不是每张都有缺陷，单纯用特征提取拼接算法无法完成全景图像的拼接，需要对图像分类分步处理。
发明内容
本发明的目的在于提供一种自适应特征提取的光学表面缺陷图像分步拼接的方法，用于拼接光学显微方法下采集的具有划痕或麻点等缺陷的子图像，实现光学元件表面缺陷全景图的拼接，克服现有拼接方法耗时长拼接不准确及鲁棒性差等问题。
为了实现所述目的，本发明采用的技术方案为：一种自适应特征提取的光学表面缺陷图像分步拼接的方法，步骤如下：
步骤S1：面阵相机沿着指定路径“S”型拍摄多张光学元件表面显微散射暗场图像，每张光学元件表面显微散射暗场图像作为一张子图像，并记录每张子图像的起始坐标，要求任意两张子图像具有重叠区域。
步骤S2：输入子图像，并将每张子图像的起始坐标转换成像素起始坐标，然后对每张子图像的重叠区域采用SIFT算法进行特征点提取，得到粗匹配特征点，统计特征点数量；
步骤S3：记录数量若重叠区域特征点个数，用k(i，m)对重叠区域进行标记，其中i表示子图像序列，m＝1，2，3，4分别代表子图像i的上、右、下、左四个区域，若重叠区域m特征点个数大于阈值T0，则k(i，m)＝1，否则k(i，m)＝0；
步骤S4：若子图像i满足∑k(i，m)＝4，则子图像i满足四位关系，即子图像i与上下左右相邻子图像的重叠区域都有明显缺陷特征，同理若∑k(i，m)＝3，则子图像i满足三位关系，若∑k(i，m)＝2，则子图像i满足二位关系；拼接时优先采用特征提取匹配的方法拼接四位关系的子图像，其次再拼接满足三位关系和二位关系的子图像，最后拼接相邻两幅有特征的缺陷图：将相邻两张图像都为1的重叠区域用RANSAC方法对变换矩阵进行求解与精练，剔除错误匹配点，然后根据计算出的变换矩阵进行图像融合与拼接；
步骤S5：k(i，m)＝0的区域根据坐标相对位置移动Δx，Δy，使之与邻域重叠区域重合，然后对重叠区域进行融合拼接；
步骤S6：重复步骤S3～S5，直至所有子图像拼接得到全景图像。
进一步地，步骤S2中，采用SIFT特征点提取的步骤如下：
S2.1建立子图像尺度空间，用图像高斯金字塔表示
子图像中某一尺度的空间函数L(x，y，σ)由可变参数的高斯函数G(x，y，σ)和原输入子图像I(x，y)卷积得出：
L(x，y，σ)＝G(x，y，σ)*I(x，y)
其中，σ表示为尺度空间因子，σ越小，子图像越清晰，表示子图像的细节，σ越大，子图像越模糊，表示子图像的概貌；
S2.2构建高斯差分函数DOG算子
在不同尺度参数的组数中，每一组内的相邻层相减可以得到高斯差分金字塔，高斯差分函数DOG表示为：
D(x，y，σ)＝[G(x，y，kσ)-G(x，y，σ)]*I(x，y)＝L(x，y，kσ)-L(x，y，σ)
特征点是由DOG空间的局部极值点组成的，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的18点共26个点比较，得到的极值点作为候选特征点，候选特征点的DOG函数D(x)的主曲率与Hessian矩阵H的特征值成正比：
Dxx(x，y)表示对候选特征点邻域对应位置求x方向二阶偏导；Dxy(x，y)表示对候选特征点邻域对应位置求x和y方向偏导；Dyy(x，y)表示对候选特征点邻域对应位置求y方向二阶偏导；
设α＝λmax＝Dxx(x，y)为H的最大特征值，β＝λmin＝Dyy(x，y)为H的最小特征值，其中α＝γβ，则有：
Det(H)＝αβ
Trace(H)＝α+β
Trace(H)为矩阵H的迹，Det(H)为矩阵H的行列式，当两个特征值相等时其值最小，检测比值γ与阈值T的大小关系，从而过滤不稳定的边缘响应点；
S2.3特征点主方向的确定
赋予特征点方向参数，使特征点具有旋转不变性，用直方图统计特征点邻域像素梯度方向分布特性，梯度值大小m(x，y)和方向角θ(x，y)如下所示：
其中，m(x，y)为梯度值大小，θ(x，y)为方向角；L(x+1，y)为像素点(x+1，y)所在的尺度空间值，L(x-1，y)为像素点(x-1，y)所在的尺度空间值，L(x，y+1)为像素点(x，y+1)所在的尺度空间值，L(x，y-1)为像素点(x，y-1)所在的尺度空间值；
S2.4建立特征点描述符
对原本128维的描述子进行降维改进，采用自适应维度N的描述子，描述子的相似度量采用加权欧氏距离dij表示为：
其中，rij表示模板图像中的特征点，sij表示匹配图像中的特征点，ωij代表权值，N为描述子维度；
离特征点越近，权值越大，最终留下来的配对的关键点描述子，需要满足欧氏距离小于阈值；
融合拼接，采用RANSAC方法对变换矩阵进行求解与精练，剔除错误匹配点，然后根据计算出的变换矩阵进行图像融合与拼接。
进一步地，步骤S5中，融合分为两种情况，若重叠区域完全没有缺陷特征，对两个重叠区域的对应像素求平均值；若重叠区域有缺陷但由于缺陷太微弱，无法提取足够有效的特征点进行匹配，采用缺陷梯度均值进行融合；
假设重叠区域的缺陷区域中点起始位置a的灰度值为L1，缺陷径向最远距离的中点末端位置b的灰度值为L2，则中线上每个像素的灰度值AB(x，y)可重新表示为：
其中，K1(x，y)为沿ab方向上像素的灰度值，M为沿ab方向上的像素数个数；
然后修正垂直于ab方向的cd方向上的每个缺陷像素的灰度值K2(x，y)，首先对整个重叠区域面求像素平均值，此时得到中线ab上的像素点灰度记为A1B1(x，y)，对于ab上的每个像素点都有一个垂直方向cd，每个cd方向的像素J修正为：
即得到整个缺陷区域的梯度均值融合图。
进一步地，自适应维度的描述子由缺陷特征点及邻域像素决定，假设特征点到邻域像素灰度值为0的最远的点的像素个数为P，当P大于阈值T1，维度不变，生成16个种子点；当T2＜P＜T1，生成8个种子点，维度将为64维；当0＜P＜T2，生成四个种子点，维度将为32维，特征点匹配时，若相邻两幅图一对特征点描述维度不同，则选取其中最大值作为共同维度。
本发明与现有技术相比的有点在于：
a.本发明的方法实现了光学元件表面显微暗场缺陷图像的全景拼接，还原光学元件表面缺陷的真实情况，有助于后续对元件表面缺陷进行定量评估。
b.本发明采用分类分步拼接法，把显微镜采集的子图像分为两类，一是具有缺陷并且能够进行特征提取的图像，二是没有缺陷或缺陷几乎不明显不足以提取特征点的图像，两类图片分别处理，有效解决了大口径光学元件表面缺陷拼接慢的问题，极大的降低了拼接误差，提高了拼接速度。
c.本发明能将贯穿多幅子图的划痕进行有效拼接，减少由导轨运动误差导致拼接错位的影响。
d.本发明在对满足四位、三位、二位关系的重叠区域采用自适应降维的SIFT特征提取算法结合RANCS剔除错误匹配点，再用单一性矩阵变换拼接图像，减小了拼接误差，鲁棒性高。
附图说明
图1为本发明一种自适应特征提取的光学表面缺陷图像分步拼接的方法流程图；
图2为本发明中四位特征拼接示意图；
图3为像素梯度均值的示意图；
图4为本发明中实验测试图，其中图4(a)为相机采集的16张子图，图4(b)为分步拼接得到4个大块，图4(c)为拼接的显微暗场全景图。
具体实施方式
为进一步阐述本发明的特点，以下结合具体实施例子，并结合附图具体说明。
图1所示是本发明的一种自适应特征提取的光学表面缺陷图像分步拼接的方法的流程图，包括如下步骤：
步骤a：相机沿着指定路径“S”型拍摄多张光学元件表面显微散射暗场图像，每张光学元件表面显微散射暗场图像作为一张子图像，并记录每张子图像的起始坐标，要求任意相邻两张子图像具有重叠区域。
步骤b：输入子图像，并将每张子图像的起始坐标转换成像素起始坐标，然后对每张子图像的重叠区域采用SIFT算法进行特征点提取，得到粗匹配特征点，并记录数量。具体用k(i，m)对重叠区域进行标记，其中i表示子图像序列，m＝1，2，3，4分别代表子图像i的上、右、下、左四个区域。若重叠区域m特征点个数大于阈值T0，则k(i，m)＝1，否则k(i，m)＝0。
如图2所示，共采集12张子图像，每张子图像与相邻子图像都有部分重叠区域，即子图像边界和虚线包含的区域，重叠区域的弯曲实线表示缺陷，若子图像A7满足∑k(i，m)＝4，则子图像满足四位关系，则优先采用特征提取匹配的方法与上下左右相邻子图像进行拼接，保证缺陷信息不丢失，再拼接其他关系的子图像。
步骤c：将相邻两张子图像都为1的重叠区域在步骤b的基础上用RANSAC方法对变换矩阵进行求解与精练，剔除错误匹配点，然后根据计算出的变换矩阵进行子图像融合与拼接。
步骤d：将步骤b中k(i，m)＝0的区域根据坐标相对位置移动Δx，Δy，并对重叠区域进行融合拼接。
步骤e：重复步骤b、c、d，直至完成对所有子图像的拼接得到全景图像。
进一步的，步骤b提取子图像重叠区域SIFT特征点包括以下几个步骤：
2.1建立子图像尺度空间(用图像高斯金字塔表示)
子图像中某一尺度的空间函数L(x，y，σ)由可变参数的高斯函数G(x，y，σ)和原输入子图像I(x，y)卷积得出：
L(x，y，σ)＝G(x，y，σ)*I(x，y)
其中，σ表示为尺度空间因子，σ越小，反应的局部点越清晰。反之σ越大，子图像越模糊，越不能反映出子图像的细节。
2.2构建高斯差分函数DOG算子
在不同尺度参数的组数中，每一组内的相邻层相减可以得到高斯差分金字塔，高斯差分函数DOG表示为：
D(x，y，σ)＝[G(x，y，kσ)-G(x，y，σ)]*I(x，y)＝L(x，y，kσ)-L(x，y，σ)
特征点是由DOG空间的局部极值点组成的，中间的检测点与其周围26个点值相比，如果是最大值或最小值则为极值点，否则不是。部分极值点位于子图像边缘位置需要进行去除。候选特征点的DOG函数D(x)的主曲率可以由Hessian矩阵H得到：
Dxx(x，y)表示对候选特征点邻域对应位置求x方向二阶偏导；Dxy(x，y)表示对候选特征点邻域对应位置求x和y方向偏导；Dyy(x，y)表示对候选特征点邻域对应位置求y方向二阶偏导；
设该矩阵H两个特征值分别为α和β，其中α＝γβ，
Det(H)＝αβ
Trace(H)＝α+β
Trace(H)为矩阵H的迹，Det(H)为矩阵H的行列式。
当两个特征值相等时其值最小，比值γ越大该点越有可能在边缘。检测上述比值γ与阈值T的大小关系，从而过滤不稳定的边缘响应点。
2.3特征点主方向的确定
梯度值大小m(x，y)和方向角θ(x，y)如下所示：
其中，m(x，y)为梯度大小值，θ(x，y)为方向角，L(x+1，y)为L(x+1，y)为像素点(x+1，y)所在的尺度空间值，L(x-1，y)为像素点(x-1，y)所在的尺度空间值，L(x，y+1)为像素点(x，y+1)所在的尺度空间值，L(x，y-1)为像素点(x，y-1)所在的尺度空间值。
2.4建立特征点描述符
对原本128维的描述子进行改进降维，采用自适应维度的描述子。自适应维度的描述子由缺陷特征点及邻域像素决定，假设特征点到邻域像素灰度值为0的最远的点的像素个数为P，当P大于阈值T1，维度不变，生成16个种子点；当T2＜P＜T1，生成8个种子点，维度将为64维；当0＜P＜T2，生成四个种子点，维度将为32维。特征点匹配时，若相邻两幅子图像一对特征点描述维度不同，则选取其中最大值作为共同维度。
特征点的匹配是通过两点集合内关键点描述子的比对来完成，描述子的相似度量采用加权欧氏距离
rij表示模板图像中的特征点，sij表示匹配图像中的特征点，ωij代表权值，N为描述子维度。
进一步地，步骤c对SIFT算法产生的特征描述符进行剔除误匹配点，通过随机抽样一致RANSAC算法找出特征点之间的映射关系，每次从所有的匹配点中选出4对，然后选出内点个数最多的作为最终的结果，计算单应性矩阵，通过仿射变换对子图像进行融合拼接。
进一步地，步骤d采用坐标拼接时，融合分为两种情况，若重叠区域完全没有缺陷特征，对两个重叠区域的对应像素求平均值；若重叠区域有缺陷但由于缺陷太微弱，无法提取足够有效的特征点进行匹配，采用缺陷梯度进行融合。
如图3所示：假设重叠区域的缺陷区域中点起始位置a灰度值为L1，缺陷径向最远距离的中点末端位置b灰度值为L2，则中线上每个像素的灰度值AB(x，y)可重新表示为：
其中，K1(x，y)为沿ab方向上像素的灰度值，M为沿ab方向上的像素数个数。然后修正垂直于ab方向的每个cd方向上缺陷像素的灰度值K2(x，y)。对整个重叠区域面求像素平均值，此时得到中线ab上的像素点灰度记为A1B1(x，y)，对于ab上的每个像素点都有一个垂直方向cd，每个cd方向的像素
即得到整个缺陷区域的梯度均值融合图。
本发明提出的方法具体效果如图4，图4(a)为显微镜采集的16张子图像，缺陷通过显微暗场成像得到缺陷亮像，通过对每张子图像进行特征提取，从而标记上下左右四个重叠区域，然后按照本发明所述的分步拼接方法最终得到四个大块，如图4中图4(b)所示，其中最后一张子图像上没有任何特征，只能作为独立的一块，采用坐标拼接，最后再拼接图图4(b)的四张子图像得到最后的全景图图4(c)。
上述检测方法不仅可以用于光学显微暗场散射平面元件的缺陷拼接；也可用于光学显微暗场散射曲面元件的缺陷拼接。
以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。
Claims (4)
1.一种自适应特征提取的光学表面缺陷图像分步拼接的方法，其特征在于：包括如下步骤：
步骤S1：相机沿着指定路径“S”型拍摄多张光学元件表面显微散射暗场图像，每张光学元件表面显微散射暗场图像作为一张子图像，并记录每张子图像的起始坐标X和Y，要求任意相邻两张子图像具有重叠区域；
步骤S2：输入子图像，并将每张子图像的起始坐标转换成像素起始坐标，然后对每张子图像的重叠区域采用SIFT算法进行特征点提取，得到粗匹配特征点，统计特征点数量；
步骤S3：记录数量，用k(i，m)对重叠区域进行标记，其中i表示子图像序列，m＝1，2，3，4分别代表子图像i的上、右、下、左四个区域，若重叠区域m特征点个数大于阈值T0，则k(i，m)＝1，否则k(i，m)＝0；
步骤S4：若子图像i满足∑k(i，m)＝4，则子图像i满足四位关系，即子图像i与上下左右相邻图像的重叠区域都有明显缺陷特征，同理若∑k(i，m)＝3，则子图像i满足三位关系，若∑k(i，m)＝2，则子图像i满足二位关系，拼接时优先采用特征提取匹配的方法拼接四位关系的子图像，其次再拼接满足三位关系和二位关系的子图像，最后拼接相邻两幅有特征的缺陷图：将相邻两张图像都为1的重叠区域用RANSAC方法对变换矩阵进行求解与精练，剔除错误匹配点，然后根据计算出的变换矩阵进行图像融合与拼接；
步骤S5：k(i，m)＝0的区域，根据坐标相对位置移动Δx，Δy，使之与邻域重叠区域重合，然后对重叠区域进行融合拼接；
步骤S6：重复步骤S3～S5，直至所有子图像拼接得到全景图像。
2.根据权利要求1所述的自适应特征提取的光学表面缺陷图像分步拼接的方法，其特征在于，步骤S2中，采用SIFT特征点提取的步骤如下：
S2.1建立子图像尺度空间，用图像高斯金字塔表示
子图像中某一尺度的空间函数L(x，y，σ)由可变参数的高斯函数G(x，y，σ)和原输入子图像I(x，y)卷积得出：
L(x，y，σ)＝G(x，y，σ)*I(x，y)
其中，σ表示为尺度空间因子，σ越小，子图像越清晰，表示子图像的细节，σ越大，子图像越模糊，表示子图像的概貌；
S2.2构建高斯差分函数DOG算子
在不同尺度参数的组数中，每一组内的相邻层相减可以得到高斯差分金字塔，高斯差分函数DOG表示为：
D(x，y，σ)＝[G(x，y，kσ)-G(x，y，σ)]*I(x，y)
＝L(x，y，kσ)-L(x，y，σ)
特征点是由DOG空间的局部极值点组成的，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的18点共26个点比较，得到的极值点作为候选特征点，候选特征点的DOG函数D(x)的主曲率与Hessian矩阵H的特征值成正比：
Dxx(x，y)表示对候选特征点邻域对应位置求x方向二阶偏导；Dxy(x，y)表示对候选特征点邻域对应位置求x和y方向偏导；Dyy(x，y)表示对候选特征点邻域对应位置求y方向二阶偏导；
设α＝λmax＝Dxx(x，y)为H的最大特征值，β＝λmin＝Dyy(x，y)为H的最小特征值，其中α＝γβ，则有：
Det(H)＝αβ
Trace(H)＝α+β
Trace(H)为矩阵H的迹，Det(H)为矩阵H的行列式，当两个特征值相等时其值最小，检测比值γ与阈值T的大小关系，从而过滤不稳定的边缘响应点；
S2.3特征点主方向的确定
赋予特征点方向参数，使特征点具有旋转不变性，用直方图统计特征点邻域像素梯度方向分布特性，梯度值大小m(x，y)和方向角θ(x，y)如下所示：
其中，m(x，y)为梯度值大小，θ(x，y)为方向角；L(x+1，y)为像素点(x+1，y)所在的尺度空间值，L(x-1，y)为像素点(x-1，y)所在的尺度空间值，L(x，y+1)为像素点(x，y+1)所在的尺度空间值，L(x，y-1)为像素点(x+1，y)所在的尺度空间值；
S2.4建立特征点描述符
对原本128维的描述子进行降维改进，采用自适应维度的描述子，描述子的相似度量采用加权欧氏距离dij表示为：
其中，rij表示模板图像中的特征点，sij表示匹配图像中的特征点，ωij代表权值，N为描述子维度；
离特征点越近，权值越大，最终留下来的配对的关键点描述子，需要满足欧氏距离小于阈值；
融合拼接，采用RANSAC方法对变换矩阵进行求解与精练，剔除错误匹配点，然后根据计算出的变换矩阵进行图像融合与拼接。
3.根据权利要求1所述自适应特征提取的光学表面缺陷图像分步拼接的方法，其特征在于，步骤S5中，融合分为两种情况，若重叠区域完全没有缺陷特征，对两个重叠区域的对应像素求平均值；若重叠区域有缺陷但由于缺陷太微弱，无法提取足够有效的特征点进行匹配，采用缺陷梯度均值进行融合；
假设重叠区域的缺陷区域中点起始位置a的灰度值为L1，缺陷径向最远距离的中点末端位置b的灰度值为L2，则中线上每个像素的灰度值AB(x，y)可重新表示为：
其中，K1(x，y)为沿ab方向上像素的灰度值，M为沿ab方向上的像素数个数；
然后修正垂直于ab方向的cd方向上的每个缺陷像素的灰度值K2(x，y)，首先对整个重叠区域面求像素平均值，此时得到中线ab上的像素点灰度记为A1B1(x，y)，对于ab上的每个像素点都有一个垂直方向cd，每个cd方向的像素J修正为：
即得到整个缺陷区域的梯度均值融合图。
4.根据权利要求2所述自适应特征提取的光学表面缺陷图像分步拼接的方法，其特征在于，自适应维度的描述子由缺陷特征点及邻域像素决定，假设特征点到邻域像素灰度值为0的最远的点的像素个数为P，当P大于阈值T1，维度不变，生成16个种子点；当T2＜P＜T1，生成8个种子点，维度将为64维；当0＜P＜T2，生成四个种子点，维度将为32维，特征点匹配时，若相邻两幅图一对特征点描述维度不同，则选取其中最大值作为共同维度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210744926.6A CN115082314A (zh) | 2022-06-28 | 2022-06-28 | 一种自适应特征提取的光学表面缺陷图像分步拼接的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210744926.6A CN115082314A (zh) | 2022-06-28 | 2022-06-28 | 一种自适应特征提取的光学表面缺陷图像分步拼接的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115082314A true CN115082314A (zh) | 2022-09-20 |
Family
ID=83255240
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210744926.6A Pending CN115082314A (zh) | 2022-06-28 | 2022-06-28 | 一种自适应特征提取的光学表面缺陷图像分步拼接的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115082314A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393196A (zh) * | 2022-10-25 | 2022-11-25 | 之江实验室 | 一种无人机面阵摆扫的红外多序列影像无缝拼接方法 |
-
2022
- 2022-06-28 CN CN202210744926.6A patent/CN115082314A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115393196A (zh) * | 2022-10-25 | 2022-11-25 | 之江实验室 | 一种无人机面阵摆扫的红外多序列影像无缝拼接方法 |
| CN115393196B (zh) * | 2022-10-25 | 2023-03-24 | 之江实验室 | 一种无人机面阵摆扫的红外多序列影像无缝拼接方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111080529A (zh) | 一种加强鲁棒性的无人机航拍图像拼接方法 | |
| CN113592845A (zh) | 一种电池涂布的缺陷检测方法及装置、存储介质 | |
| CN110246168A (zh) | 一种移动巡检机器人双目图像拼接的特征匹配方法 | |
| CN107945111B (zh) | 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法 | |
| CN111340701A (zh) | 一种基于聚类法筛选匹配点的电路板图像拼接方法 | |
| CN110020995B (zh) | 针对复杂图像的图像拼接方法 | |
| CN109598681B (zh) | 一种对称唐卡修复后图像的无参考质量评价方法 | |
| CN109949227A (zh) | 图像拼接方法、系统及电子设备 | |
| CN112215925A (zh) | 自适应采煤机随动跟踪多摄像头视频拼接方法 | |
| CN113688846B (zh) | 物体尺寸识别方法、可读存储介质及物体尺寸识别系统 | |
| CN111967337A (zh) | 一种基于深度学习和无人机影像的管道线变化检测方法 | |
| CN111192194A (zh) | 一种针对幕墙建筑立面的全景图像拼接方法 | |
| CN115830004A (zh) | 表面缺陷检测方法、装置、计算机设备和存储介质 | |
| CN112614167A (zh) | 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法 | |
| CN110348307B (zh) | 一种起重机金属结构攀爬机器人的路径边缘识别方法及系统 | |
| CN106897723B (zh) | 基于特征匹配的目标实时识别方法 | |
| CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
| CN115082314A (zh) | 一种自适应特征提取的光学表面缺陷图像分步拼接的方法 | |
| CN114241372A (zh) | 一种应用于扇扫拼接的目标识别方法 | |
| CN114170168A (zh) | 显示模组缺陷检测方法、系统及计算机可读存储介质 | |
| CN104268550A (zh) | 特征提取方法及装置 | |
| CN116977316A (zh) | 一种复杂外形构件损伤缺陷全场检测与量化评估方法 | |
| CN115131355B (zh) | 利用电子设备数据检测防水布异常的智能方法 | |
| CN115035281B (zh) | 一种快速的红外全景图像拼接方法 | |
| CN114219802B (zh) | 一种基于图像处理的蒙皮连接孔孔位检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |