CN112102381A - 一种基于r-sift的硬件木马图像配准方法、存储介质及设备 - Google Patents
一种基于r-sift的硬件木马图像配准方法、存储介质及设备 Download PDFInfo
- Publication number
- CN112102381A CN112102381A CN202010954726.4A CN202010954726A CN112102381A CN 112102381 A CN112102381 A CN 112102381A CN 202010954726 A CN202010954726 A CN 202010954726A CN 112102381 A CN112102381 A CN 112102381A
- Authority
- CN
- China
- Prior art keywords
- matching
- point
- image
- points
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 56
- ZXQYGBMAQZUVMI-GCMPRSNUSA-N gamma-cyhalothrin Chemical compound CC1(C)[C@@H](\C=C(/Cl)C(F)(F)F)[C@H]1C(=O)O[C@H](C#N)C1=CC=CC(OC=2C=CC=CC=2)=C1 ZXQYGBMAQZUVMI-GCMPRSNUSA-N 0.000 title claims abstract description 11
- 239000011159 matrix material Substances 0.000 claims abstract description 23
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 18
- 230000009466 transformation Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims abstract description 16
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 12
- 238000001914 filtration Methods 0.000 claims abstract description 7
- 230000006870 function Effects 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000005070 sampling Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 7
- 238000001514 detection method Methods 0.000 description 7
- 238000002474 experimental method Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000000354 decomposition reaction Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
- G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/757—Matching configurations of points or features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20224—Image subtraction
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于R‑SIFT的硬件木马图像配准方法、存储介质及设备，对输入图像进行高斯滤波和下采样处理，构造多尺度空间；在构造的多尺度空间中检测图像的极值点；对得到的极值点方向进行赋值，得到对应点的位置，尺度和方向信息，生成特征描述子；利用生成的特征描述子，使用距离匹配方法，初步生成预匹配点对，并用匹配矩阵C表示；确定预匹配矩阵C之后，使用RANSAC算法进行校正，去除多余匹配点，完成图像配准。本发明有效解决图像配准中仿射变换的问题，并且可以更灵活的避免噪声点带来的干扰，进而提升图像配准方法的稳定性和精确度。
Description
技术领域
本发明属于图像识别技术领域，具体涉及一种基于R-SIFT的硬件木马图像配准方法、存储介质及设备。
背景技术
图像匹配是图像识别领域的一个经典问题。在实际应用中，图像匹配也是一项极为常见的图像处理需求，比如例如在内容复杂的图像中找到我们需要的目标位置。在图像识别领域，一般的匹配方法采用基于灰度匹配的方法，使用空间二维滑动模板进行图像匹配，通过两幅图像的平均绝对差值判定其相似度。这种方法思想简单，且具有比较高的匹配精度，但是这种方法运算量非常大，而且对于噪声极为敏感。
近几年，基于特征匹配的图像匹配方法，在实际中应用越来越广泛，由于先提取特征匹配，再由特征进行匹配，而不是直接用原图像中的像素点匹配，所以大大减少了计算量。但是在特征提取时，对角点和边缘点的检测，以及对噪声干扰的处理仍然是一个难以解决的问题。且由于图像的尺度变化以及仿射变化，特征提取的方法的效果成为了目前图像匹配方法的主要因素。因此，如何有效的提取到图像不同尺度，不同角度，不同光线下的关键特征点，并且对噪声的干扰进行抑制成为了当前提高图像匹配算法性能的关键。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足，提供一种基于R-SIFT的硬件木马图像配准方法、存储介质及设备，通过高斯金字塔引入多尺度分析特性，通过方向特征描述子提取特征的方向信息，增强特征匹配点的稳定性。最后通过RANSAC方法可以有效地去除错误匹配点的个数，从而降低正题匹配结果的误差，使得匹配结果更为准确。
本发明采用以下技术方案：
一种基于R-SIFT的硬件木马图像配准方法，包括以下步骤：
S1、对输入图像进行高斯滤波和下采样处理，构造多尺度空间；
S2、在步骤S1构造的多尺度空间中检测图像的极值点；
S3、对步骤S2得到的极值点方向进行赋值，得到对应点的位置，尺度和方向信息，生成特征描述子；
S4、利用步骤S3生成的特征描述子，使用距离匹配方法，初步生成预匹配点对，并用匹配矩阵C表示；
S5、确定预匹配矩阵C之后，使用RANSAC算法进行校正，去除多余匹配点，完成图像配准。
具体的，步骤S1具体为：
S101、将输入图像I先转换为灰度图像，然后再放大为原来的两倍；
S102、将图像I′中的像素逐个与高斯核函数G(x,y,σ)进行如下卷积操作便可得到该像素点在尺度σ上的表示L(x,y,σ)；
S103、通过将步骤S102得到的高斯金字塔相邻尺度的图像相减，得到高斯差分相应图像D(x,y,σ)。
进一步的，步骤S101中，灰度化处理之后的图像I′在点(x,y)处的像素值I′(x,y)表示为：
其中，IR(x,y)，IG(x,y)，IB(x,y)分别表示原图像I在点(x,y)处RGB三个通道分别的像素值大小。
具体的，步骤S2具体为：
S201、在高斯差分金字塔空间中检测图像中的极值点，以当前点为中心，当前点同一平面周围8个点，当前点上一层对应点及周围点共9个点，当前点下一层对应点及周围点共9个点，总共26个点为邻域点检测是否为极值点；
S202、将步骤S201得到的差值点的值带入泰勒展开式中，去除不稳定的边缘响应点；
S203、采用指数加权平均比率获取梯度值，假设f(σ,x)和f(σ,y)分别是在尺度σ下的x方向和y方向的一阶导数，计算梯度大小f(σ,N)和方向f(σ,T)。
进一步的，步骤S203中，梯度大小f(σ,N)和方向f(σ,T)为：
具体的，步骤S3具体为：
S301、以特征点为中心，将特征点附近方形邻域内的图像梯度位置和方向旋转一个角度θ，即将原图像x轴旋转至与主方向相同，旋转后重新选定方形邻域区域，并等间隔划分为4×4个子区域；
S302、在每一个子区域内计算8个方向的梯度方向直方图，即每个方向范围为0°～360°，间隔大小为45°，一个特征点的特征描述子共有4×4×8＝128个数据。
具体的，步骤S4具体为：
S401、两个图像中的特征向量按照距离匹配，使用最近邻与次近邻特征距离比策略进行预匹配，分别使用图像二中与图像一中的最近邻点的欧氏距离和次近邻点欧氏距离的比值作为所采用的距离dratio，将小于设定阈值的点保留，按照距离选取预匹配点
并进行排序；
S402、通过将步骤S401得到的点按距离排序得到匹配矩阵C如下：
其中，第一列元素来自于第一幅图像中的特征点，其余列元素来自于第二幅图像的特征点。M表示经过预匹配阶段可以获得的匹配点对的数目，n表示预匹配后保留的候选匹配点数目。
具体的，步骤S5具体为：
S501、选用矩阵C中左上角大小为(p·M)×2的子矩阵，记为C1，p为超参数；
S502、在矩阵C1中，随机选择三组匹配对，计算器仿射变换参数Tθ，然后通过参数Tθ计算其余点对预测匹配点与实际匹配点之间的均方根误差，并保留均方根误差小于RMSEth1的匹配对，记录此次保留的匹配对数目；
S503、重复步骤S502，在迭代Iter次之后，选取保留匹配对数目最多的一组匹配对，并计算再次组匹配对下的仿射变换参数
S504、对于第一幅图像中的每一个特征点L1j，j＝1,2,…,M，通过仿射变换参数
从匹配矩阵中匹配到的n个候选点中选取均方根误差最小且小于RMSEth1的候选点，作为候选点的最终匹配点，更新并计算最终匹配结果的仿射变换参数
和总体的均方根误差RMSE1。
本发明的另一技术方案是，一种存储一个或多个程序的计算机可读存储介质，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据所述的方法中的任一方法。
本发明的另一技术方案是，一种计算设备，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行所述的方法中的任一方法的指令。
与现有技术相比，本发明至少具有以下有益效果：
本发明是一种基于R-SIFT的硬件木马图像配准方法，引入了多尺度特性和旋转不变性，由于在不同尺度空间进行特征点检测，所以在匹配过程中可以匹配到不同尺度空间的特征点，其次旋转不变性可以在图像进行仿射变换时，仍然能够精准的匹配到对应的特征点，从而使得匹配结果更加精确。引入指数加权平均比率(Roewa)，可以进一步减少噪声点的干扰，提升算法的稳定性。本发明可以精准的匹配到两幅图像中的对应目标。
进一步的，高斯核是唯一的线性核，具有旋转对称性，所以使用高斯滤波器对图像进行模糊滤波不会引入其他噪声，可以完美分离图像的高低频分量。进而使用高斯金字塔能够更准确更平滑的表示的图像的多尺度特性。
进一步的，对原始图像进行多尺度分解，可以在不同尺度上进行特征点的检测，提高了检测的准确度，且多尺度方法的引入也会降低因为两个图像尺度差距较大对于检测结果带来的影响，提升图像配准的稳定性。
进一步的，使用极值点作为特征点，可以选择出图像中变化最剧烈的点，也是特征最明显的点，同时去低对比度点和边缘影响，可以在保证在特征点数目一定的情况下，尽可能提升特征点的代表性和稳定性。同时，使用指数加权平均率代替导数的方法计算梯度，可以避免噪声点的干扰，进一步提升方法的稳定性。
进一步的，对于每一个特征点，在不同方向上构成不同的梯度值，可以使得特征点具有方向不变性，生成包含有尺度，位置，方向信息的特征描述子，可以满足图像在一定的仿射变换下特征的不变性，提升方法的配准能力。
进一步的，使用最近邻与次近邻特征距离比作为两个特征点的相似度衡量策略，可以通过超参数控制预匹配过程中匹配点的数目，更灵活的控制匹配点数目与匹配精度之间的权衡。通过最后的RANSAC算法的引入，进一步控制算法整体匹配结果的均方误差，可以更有效地提升算法的准确度和稳定性。
综上所述，本发明有效解决图像配准中仿射变换的问题，并且可以更灵活的避免噪声点带来的干扰，进而提升图像配准方法的稳定性和精确度。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
图1为本发明的基本流程图；
图2为本发明的实验结果对比图。
具体实施方式
本发明提供了一种基于R-SIFT的硬件木马图像配准方法、存储介质及设备，首先对两幅带配准图像构造不同的尺度空间，然后通过在不同尺度空间检测极值点得到关键特征点，通过特征点邻域关系寻找特征点的方向信息，此时特征点包含三个信息：位置，尺度，方向。通过特征点所包含的信息构成特征点的特征描述子，并进行归一化得到特征描述向量。通过对特征点的描述向量进行匹配在两幅图上得到匹配点对。最后，通过RANSAC算法筛选掉冗余的点，便得到最终的匹配结果。
请参阅图1，本发明一种基于R-SIFT的硬件木马图像配准方法，包括以下步骤：
S1、对输入图像进行高斯滤波和下采样处理，构造多尺度空间；
S101、为了避免输入图像在下采样和高斯滤波时损失信息，对于输入图像I，先转换为灰度图像，然后再将其放大为原来的两倍。在进行灰度处理时，按下式对图像进行处理：
其中，I′(x,y)表示灰度化处理之后的图像I′在点(x,y)处的像素值，IR(x,y)，IG(x,y)，IB(x,y)分别表示原图像I在点(x,y)处RGB三个通道分别的像素值大小。
S102、将图像I′中的像素逐个与高斯核函数G(x,y,σ)进行如下卷积操作便可得到该像素点在尺度σ上的表示L(x,y,σ)：
L(x,y,σ)＝G(x,y,σ)*I′(x,y)
其中，高斯核函数如下式：
通过上式对原始数图像用不同尺度大小的卷积核做卷积操作，便可以得到图像在不同尺度上的表示。用这种方式逐层进行高斯滤波就可以将得到的不同尺度图像可以构成高斯金字塔。
S103、通过将上一部得到的高斯金字塔相邻尺度的图像相减，得到高斯差分相应图像D(x,y,σ)。即：
D(x,y,σ)＝(L(x,y,kσ)-L(x,y,σ))
＝(G(x,y,σ)-G(x,y,σ))*I′(x,y)
其中，k表示相邻尺度空间的倍数，k为一个常数，本实验中取k＝2。
通过上述公式，便可以有原图像I得到其在不同尺度大小下的响应值图像。这些响应值图像拥有不同的尺度σ，通过将不同尺度的图像逐层排列，便可以得到原图像的高斯差分金字塔，即是原图像在不同尺度空间的表示。
S2、在不同尺度空间中检测图像的极值点；
S201、在高斯差分金字塔空间中检测图像中的极值点。以当前点为中心，其同一平面周围8个点，其上一层对应点及其周围点共9个点，其下一层对应点及其周围点共9个点，总共能26个点为其邻域点检测其是否为极值点。由于离散空间中的极值点检测不够精确，进一步通过插值法精确定位极值点。
对于上一步提取到的差分图像D(x,y,σ)，令z＝(x,y,σ)T，则在极值点处的泰勒展开式为：
其中，D为极值点处的值。对上式求导，并令导数为0。结果如下式：
其中，
即为真正极值点偏离差值点的大小，所以最终的差值点为
通过多次迭代可以提高极值点的定位精确度。
S202、进一步的，去除一些特征不够明显的点，比如对比度不够高的点，将上述差值点的值带入泰勒展开式中：
其中，
小于一定阈值的点便被去除，本实验中阈值设定为0.03。
由于差分高斯金字塔会产生较强的边缘相应，因此要进一步去除不稳定的边缘响应点。
S203、不同于SIFT算法中使用差分梯度计算的方式，只用指数加权平均比率(Roewa)获取梯度值，可以避免异常噪声点的影响。假设f(σ,x)和f(σ,y)分别是在尺度σ下的x方向和y方向的一阶导数：
其中，M1(σ,x)，M2(σ,x)，M1(σ,y)和M2(σ,y)分别由指数加权平均比率计算，在像素点I(a,b)处，M1(σ,x)，M2(σ,x)，M1(σ,y)和M2(σ,y)计算方式如下：
其中，R表示加权平均时的邻域范围。则梯度大小f(σ,N)和方向f(σ,T)为：
S3、对步骤S2中得到的特征点方向进行赋值，得到该点的位置，尺度，方向信息,并生成特征描述子；
S301、为了保持特征矢量具有旋转不变性，需要以特征点为中心，将其附近一定方形邻域内的图像梯度位置和方向旋转一个角度θ，即将原图像x轴旋转至与主方向相同：
在进行旋转之后，重新选定方形邻域区域，并将其等间隔划分为4×4个子区域。
S302、在每一个子区域内计算8个方向的梯度方向直方图，即每个方向范围为0°～360°，间隔大小为45°。所以对一个特征点而言，其特征描述子共有4×4×8＝128个数据。
对于特征描述子进行高斯加权处理，使得距离中心点进的子区域能得到更多权重，距离中心点远的区域赋予较小的权重。
S4、使用距离匹配方法，初步生成预匹配点对，并用匹配矩阵表示；
S401、两个图像中的特征向量按照距离匹配，使用最近邻与次近邻特征距离比策略进行预匹配，分别使用图像二中与图像一中的最近邻点的欧氏距离和次近邻点欧氏距离的比值作为所采用的距离dratio，小于一定阈值的点保留，本实验中阈值设置为1.0。
按照距离选取预匹配点
并对其进行排序，即：
n表示预匹配后保留的候选匹配点数目。
S402、通过将步骤S401得到的点按距离排序可以得到匹配矩阵C：
其中，第一列元素来自于第一幅图像中的特征点，其余列元素来自于第二幅图像的特征点。M表示经过预匹配阶段，可以获得的匹配点对的数目，n表示预匹配后保留的候选匹配点数目。
S5、确定预匹配矩阵C之后，使用RANSAC算法进行校正，去除多余匹配点。
S501、选用矩阵C中左上角大小为(p·M)×2的子矩阵，记为C1，p为超参数，本实验中p＝0.5；
S502、在矩阵C1中，随机选择三组匹配对，计算器仿射变换参数Tθ，然后通过该放射参数计算其余点对预测匹配点与实际匹配点之间的均方根误差，并保留均方根误差小于RMSEth1的匹配对，本实验中RMSEth1＝1.0，记录此次保留的匹配对数目；
S503、重复步骤S502，在迭代Iter次之后(本实验中Iter＝5000)，选取保留匹配对数目最多的一组匹配对，并计算再次组匹配对下的仿射变换参数
S504、对于第一幅图像中的每一个特征点L1j(j＝1,2,…,M)，通过仿射变换参数
从匹配矩阵中匹配到的n个候选点中选取均方根误差最小且小于RMSEth1的候选点，作为该点的最终匹配点。最后更新并计算最终匹配结果的仿射变换参数
和总体的均方根误差RMSE1。
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参阅图2，本发明的确能够准确地匹配到不同图像中相应的特征位置，上方两张图像为包含相同内容但是在不同尺度下的两张图像，下方图像为两幅图像对应特征点的匹配结果，每条线的两端即是一对互相匹配的特征点。可以看到我们的方法在处理具有特殊结构的电路板图像时，能够发现很多特征点并准确匹配。
综上所述，本发明一种基于R-SIFT的硬件木马图像配准方法、存储介质及设备，本发明通过提取图像不同尺度，不同方向，不同位置的特征进行图像匹配任务，构建了一种基于R-SIFT的图像匹配方法。通过多尺度分解，极值点检测，求取方向梯度可以对特征点生成包含尺度，位置，方向信息的特征描述子，最后通过相似度策略和RANSAC算法进行匹配和筛选，可以有效地解决图像配准中仿射变换的问题，并且可以更灵活的避免噪声点带来的干扰，进而提升图像配准方法的稳定性和精确度。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上内容仅为说明本发明的技术思想，不能以此限定本发明的保护范围，凡是按照本发明提出的技术思想，在技术方案基础上所做的任何改动，均落入本发明权利要求书的保护范围之内。
Claims (10)
1.一种基于R-SIFT的硬件木马图像配准方法，其特征在于，包括以下步骤：
S1、对输入图像进行高斯滤波和下采样处理，构造多尺度空间；
S2、在步骤S1构造的多尺度空间中检测图像的极值点；
S3、对步骤S2得到的极值点方向进行赋值，得到对应点的位置，尺度和方向信息，生成特征描述子；
S4、利用步骤S3生成的特征描述子，使用距离匹配方法，初步生成预匹配点对，并用匹配矩阵C表示；
S5、确定预匹配矩阵C之后，使用RANSAC算法进行校正，去除多余匹配点，完成图像配准。
2.根据权利要求1所述的方法，其特征在于，步骤S1具体为：
S101、将输入图像I先转换为灰度图像，然后再放大为原来的两倍；
S102、将图像I′中的像素逐个与高斯核函数G(x,y,σ)进行如下卷积操作便可得到该像素点在尺度σ上的表示L(x,y,σ)；
S103、通过将步骤S102得到的高斯金字塔相邻尺度的图像相减，得到高斯差分相应图像D(x,y,σ)。
3.根据权利要求2所述的方法，其特征在于，步骤S101中，灰度化处理之后的图像I′在点(x,y)处的像素值I′(x,y)表示为：
其中，IR(x,y)，IG(x,y)，IB(x,y)分别表示原图像I在点(x,y)处RGB三个通道分别的像素值大小。
4.根据权利要求1所述的方法，其特征在于，步骤S2具体为：
S201、在高斯差分金字塔空间中检测图像中的极值点，以当前点为中心，当前点同一平面周围8个点，当前点上一层对应点及周围点共9个点，当前点下一层对应点及周围点共9个点，总共26个点为邻域点检测是否为极值点；
S202、将步骤S201得到的差值点的值带入泰勒展开式中，去除不稳定的边缘响应点；
S203、采用指数加权平均比率获取梯度值，假设f(σ,x)和f(σ,y)分别是在尺度σ下的x方向和y方向的一阶导数，计算梯度大小f(σ,N)和方向f(σ,T)。
5.根据权利要求4所述的方法，其特征在于，步骤S203中，梯度大小f(σ,N)和方向f(σ,T)为：
6.根据权利要求1所述的方法，其特征在于，步骤S3具体为：
S301、以特征点为中心，将特征点附近方形邻域内的图像梯度位置和方向旋转一个角度θ，即将原图像x轴旋转至与主方向相同，旋转后重新选定方形邻域区域，并等间隔划分为4×4个子区域；
S302、在每一个子区域内计算8个方向的梯度方向直方图，即每个方向范围为0°～360°，间隔大小为45°，一个特征点的特征描述子共有4×4×8＝128个数据。
7.根据权利要求1所述的方法，其特征在于，步骤S4具体为：
S401、两个图像中的特征向量按照距离匹配，使用最近邻与次近邻特征距离比策略进行预匹配，分别使用图像二中与图像一中的最近邻点的欧氏距离和次近邻点欧氏距离的比值作为所采用的距离dratio，将小于设定阈值的点保留，按照距离选取预匹配点
并进行排序；
S402、通过将步骤S401得到的点按距离排序得到匹配矩阵C如下：
其中，第一列元素来自于第一幅图像中的特征点，其余列元素来自于第二幅图像的特征点，M表示经过预匹配阶段可以获得的匹配点对的数目，n表示预匹配后保留的候选匹配点数目。
8.根据权利要求1所述的方法，其特征在于，步骤S5具体为：
S501、选用矩阵C中左上角大小为(p·M)×2的子矩阵，记为C1，p为超参数；
S502、在矩阵C1中，随机选择三组匹配对，计算器仿射变换参数Tθ，然后通过参数Tθ计算其余点对预测匹配点与实际匹配点之间的均方根误差，并保留均方根误差小于RMSEth1的匹配对，记录此次保留的匹配对数目；
S503、重复步骤S502，在迭代Iter次之后，选取保留匹配对数目最多的一组匹配对，并计算再次组匹配对下的仿射变换参数
S504、对于第一幅图像中的每一个特征点L1j，j＝1,2,...,M，通过仿射变换参数
从匹配矩阵中匹配到的n个候选点中选取均方根误差最小且小于RMSEth1的候选点，作为候选点的最终匹配点，更新并计算最终匹配结果的仿射变换参数
和总体的均方根误差RMSE1。
9.一种存储一个或多个程序的计算机可读存储介质，其特征在于，所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至8所述的方法中的任一方法。
10.一种计算设备，其特征在于，包括：
一个或多个处理器、存储器及一个或多个程序，其中一个或多个程序存储在所述存储器中并被配置为所述一个或多个处理器执行，所述一个或多个程序包括用于执行根据权利要求1至8所述的方法中的任一方法的指令。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010954726.4A CN112102381A (zh) | 2020-09-11 | 2020-09-11 | 一种基于r-sift的硬件木马图像配准方法、存储介质及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010954726.4A CN112102381A (zh) | 2020-09-11 | 2020-09-11 | 一种基于r-sift的硬件木马图像配准方法、存储介质及设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112102381A true CN112102381A (zh) | 2020-12-18 |
Family
ID=73750901
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010954726.4A Pending CN112102381A (zh) | 2020-09-11 | 2020-09-11 | 一种基于r-sift的硬件木马图像配准方法、存储介质及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102381A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033578A (zh) * | 2021-03-30 | 2021-06-25 | 上海星定方信息科技有限公司 | 基于多尺度特征匹配的图像校准方法、系统、终端及介质 |
| CN113221921A (zh) * | 2021-05-21 | 2021-08-06 | 吉林大学 | 基于优选空间的sift特征快速提取方法 |
| CN113869414A (zh) * | 2021-09-28 | 2021-12-31 | 埃洛克航空科技（北京）有限公司 | 用于稀疏重建的匹配方法及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729654A (zh) * | 2014-01-22 | 2014-04-16 | 青岛新比特电子科技有限公司 | 基于改进sift算法的图像匹配检索系统 |
| CN103839265A (zh) * | 2014-02-26 | 2014-06-04 | 西安电子科技大学 | 基于sift和归一化互信息的sar图像配准方法 |
| CN105913083A (zh) * | 2016-04-08 | 2016-08-31 | 西安电子科技大学 | 基于稠密sar-sift和稀疏编码的sar分类方法 |
| CN105930848A (zh) * | 2016-04-08 | 2016-09-07 | 西安电子科技大学 | 基于sar-sift特征的sar图像目标识别方法 |
| CN106408597A (zh) * | 2016-09-08 | 2017-02-15 | 西安电子科技大学 | 基于邻域熵和一致性检测的sar图像配准方法 |
| CN108304883A (zh) * | 2018-02-12 | 2018-07-20 | 西安电子科技大学 | 基于改进sift的sar图像匹配方法 |
| CN109272515A (zh) * | 2018-08-17 | 2019-01-25 | 西安电子科技大学 | 基于高阶多尺度crf无监督的sar图像分割方法 |
| CN110111372A (zh) * | 2019-04-16 | 2019-08-09 | 昆明理工大学 | 基于sift+ransac算法的医学图像配准和融合方法 |
-
2020
- 2020-09-11 CN CN202010954726.4A patent/CN112102381A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103729654A (zh) * | 2014-01-22 | 2014-04-16 | 青岛新比特电子科技有限公司 | 基于改进sift算法的图像匹配检索系统 |
| CN103839265A (zh) * | 2014-02-26 | 2014-06-04 | 西安电子科技大学 | 基于sift和归一化互信息的sar图像配准方法 |
| CN105913083A (zh) * | 2016-04-08 | 2016-08-31 | 西安电子科技大学 | 基于稠密sar-sift和稀疏编码的sar分类方法 |
| CN105930848A (zh) * | 2016-04-08 | 2016-09-07 | 西安电子科技大学 | 基于sar-sift特征的sar图像目标识别方法 |
| CN106408597A (zh) * | 2016-09-08 | 2017-02-15 | 西安电子科技大学 | 基于邻域熵和一致性检测的sar图像配准方法 |
| CN108304883A (zh) * | 2018-02-12 | 2018-07-20 | 西安电子科技大学 | 基于改进sift的sar图像匹配方法 |
| CN109272515A (zh) * | 2018-08-17 | 2019-01-25 | 西安电子科技大学 | 基于高阶多尺度crf无监督的sar图像分割方法 |
| CN110111372A (zh) * | 2019-04-16 | 2019-08-09 | 昆明理工大学 | 基于sift+ransac算法的医学图像配准和融合方法 |
Non-Patent Citations (3)
| Title |
|---|
| FLORA DELLINGER 等: "SAR-SIFT: A SIFT-Like Algorithm for SAR Images", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 * |
| 吴丹力 等: "一种基于仿射变换的SIFT误匹配剔除方法", 《福州大学学报(自然科学版)》 * |
| 李冲 著: "《测绘地理信息成果信息化质检平台构建技术研究》", 31 March 2019, 武汉：武汉大学出版社 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113033578A (zh) * | 2021-03-30 | 2021-06-25 | 上海星定方信息科技有限公司 | 基于多尺度特征匹配的图像校准方法、系统、终端及介质 |
| CN113221921A (zh) * | 2021-05-21 | 2021-08-06 | 吉林大学 | 基于优选空间的sift特征快速提取方法 |
| CN113869414A (zh) * | 2021-09-28 | 2021-12-31 | 埃洛克航空科技（北京）有限公司 | 用于稀疏重建的匹配方法及装置 |
| CN113869414B (zh) * | 2021-09-28 | 2022-11-08 | 埃洛克航空科技（北京）有限公司 | 用于稀疏重建的匹配方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102381A (zh) | 一种基于r-sift的硬件木马图像配准方法、存储介质及设备 | |
| CN108304883B (zh) | 基于改进sift的sar图像匹配方法 | |
| CN108345827B (zh) | 识别文档方向的方法、系统和神经网络 | |
| US9619733B2 (en) | Method for generating a hierarchical structured pattern based descriptor and method and device for recognizing object using the same | |
| CN110852349B (zh) | 一种图像处理方法、检测方法、相关设备及存储介质 | |
| EP2534612B1 (en) | Efficient scale-space extraction and description of interest points | |
| CN109740606B (zh) | 一种图像识别方法及装置 | |
| JP2007128195A (ja) | 画像処理システム | |
| CN108537832B (zh) | 基于局部不变灰度特征的图像配准方法、图像处理系统 | |
| CN111444948B (zh) | 一种图像特征提取与匹配方法 | |
| CN112836820B (zh) | 用于图像分类任务的深度卷积网络训练方法、装置及系统 | |
| CN111260694B (zh) | 卫星遥感视频目标跟踪方法及装置 | |
| CN112288009A (zh) | 一种基于模板匹配的r-sift芯片硬件木马图像配准方法 | |
| CN113269201A (zh) | 一种基于潜在特征融合的高光谱影像波段选择方法及系统 | |
| CN115375917B (zh) | 一种目标边缘特征提取方法、装置、终端及存储介质 | |
| CN111311593B (zh) | 一种多椭圆检测和评估算法、装置及终端 | |
| CN113298146A (zh) | 一种基于特征检测的图像匹配方法、装置、设备及介质 | |
| CN117131376A (zh) | 一种基于视变换结合生成对抗网络进行持续学习的高光谱跨域鲁棒异常检测方法、系统、设备及介质 | |
| Lyu et al. | Probabilistic object detection via deep ensembles | |
| CN107993230B (zh) | 基于三角网格综合特征的图像篡改检测方法 | |
| Fursov et al. | Thematic classification with support subspaces in hyperspectral images | |
| Sadeghi et al. | A local image descriptor based on radial and angular gradient intensity histogram for blurred image matching | |
| CN113128614B (zh) | 基于图像梯度的卷积方法、基于方向卷积的神经网络及分类方法 | |
| Zhang et al. | A spatial–spectral adaptive learning model for textile defect images recognition with few labeled data | |
| CN113409369A (zh) | 基于改进rift的多模遥感图像配准方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |