CN113344994B - 图像配准方法、装置、电子设备及存储介质 - Google Patents

图像配准方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113344994B
CN113344994B CN202110686599.9A CN202110686599A CN113344994B CN 113344994 B CN113344994 B CN 113344994B CN 202110686599 A CN202110686599 A CN 202110686599A CN 113344994 B CN113344994 B CN 113344994B
Authority
CN
China
Prior art keywords
matching
image
matching point
points
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110686599.9A
Other languages
English (en)
Other versions
CN113344994A (zh
Inventor
郑少杰
于伟
王林芳
梅涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jingdong Technology Information Technology Co Ltd
Original Assignee
Jingdong Technology Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jingdong Technology Information Technology Co Ltd filed Critical Jingdong Technology Information Technology Co Ltd
Priority to CN202110686599.9A priority Critical patent/CN113344994B/zh
Publication of CN113344994A publication Critical patent/CN113344994A/zh
Application granted granted Critical
Publication of CN113344994B publication Critical patent/CN113344994B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像配准方法、装置、电子设备及存储介质，属于图像处理技术领域。该方法包括：匹配待配准图像和模板图像的特征点，得到第一匹配点集；根据物体结构先验信息，调整第一匹配点集的目标权重，得到第二匹配点集；根据第二匹配点集，对待配准图像和模板图像进行图像对齐，得到配准结果；其中，目标权重为单应性矩阵估计时，图像中物体的不同结构部位的影响权重。通过本公开实施例的技术方案，可以解决工业场景下配准失败率高的问题。

Description

图像配准方法、装置、电子设备及存储介质
技术领域
本公开属于图像处理技术领域，具体涉及一种图像配准方法、装置、电子设备及存储介质。
背景技术
随着图像处理技术的发展，可以利用图像处理技术实现越来越多的功能。例如可以通过图像处理技术进行缺陷检测。
通常，在工业质检场景中，首先可以基于SIFT(Scale Invariant FeatureTransform)配准算法，利用特征相似度进行图像配准(Images Registration)，即将待测图像和模板图像对齐，然后再进行后续的图像分析进行缺陷检测。
然而，工业场景下物体特征纹理信息较少，而在图像配准过程中单应性矩阵估计时，偏向拟合出击中(fit)最多特征点数量的变换模型，可能导致配准失败。
发明内容
本公开实施例的目的是提供一种图像配准方法、装置、电子设备及存储介质，能够解决工业场景下配准失败率高的问题。
为了解决上述技术问题，本公开是这样实现的：
第一方面，本公开实施例提供了一种图像配准方法，该方法包括：匹配待配准图像和模板图像的特征点，得到第一匹配点集；根据物体结构先验信息，调整第一匹配点集的目标权重，得到第二匹配点集；根据第二匹配点集，对待配准图像和模板图像进行图像对齐，得到配准结果；其中，目标权重为单应性矩阵估计时，图像中物体的不同结构部位的影响权重。
第二方面，本公开实施例提供了一种图像配准装置，该图像配准装置包括：匹配模块、调整模块和对齐模块；匹配模块，用于匹配待配准图像和模板图像的特征点，得到第一匹配点集；调整模块，用于根据物体结构先验信息，调整第一匹配点集的目标权重，得到第二匹配点集；对齐模块，用于根据第二匹配点集，对待配准图像和目标图像进行图像对齐，得到配准结果；其中，目标权重为单应性矩阵估计时，图像中物体的不同结构部位的影响权重。
第三方面，本公开实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
第四方面，本公开实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
第五方面，本公开实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。
在本公开实施例中，首先，电子设备先匹配待配准图像的特征点和模板图像的特征点，得到第一匹配点集；然后，电子设备可以基于物体结构先验信息，调整第一匹配点集的目标权重，得到第二匹配点集；最后，电子设备根据调整目标权重后得到的第二匹配点集，对待配准图像和模板图像进行图像对齐，得到配准结果。由于在图像对齐之前，可以先通过物体结构先验信息，对图像中的物体的不同结构的部位在单应性矩阵估计时进行了影响权重的调整，从而可以在配准的过程中兼顾物体的各个部位，从而可以避免在图像配准过程中，物体的一部分结构对齐精确，一部分部位严重偏离导致物体严重变形，最终导致配准失败的问题，提高了图像配准的准确性。
附图说明
图1为本公开实施例提供的图像配准方法的流程示意图之一；
图2为本公开实施例提供的图像配准方法的流程示意图之二；
图3为本公开实施例提供的图像配准方法的流程示意图之三；
图4为本公开实施例提供的图像配准方法的流程示意图之四；
图5为本公开实施例提供的图像配准方法的流程示意图之五；
图6为本公开实施例提供的图像配准方法的流程示意图之六；
图7为本公开实施例提供的图像配准方法的流程示意图之七；
图8为本公开实施例提供的一种图像配准装置可能的结构示意图；
图9为本公开实施例提供的一种电子设备可能的结构示意图；
图10为本公开实施例提供的一种电子设备的硬件示意图。
具体实施方式
首先对于本公开实施例中涉及的专用名字进行解释。
1、图像配准
图像配准是图像处理领域的一项重要技术，图像配准是取不同时间、不同传感器或者不同视角的同一场景的两幅或多幅图像进行空间几何变换，使图像内容在拓扑上相对应，在几何上相对齐。
2、SIFT算法是传统特征匹配算法中的代表性的算法。
SIFT特征匹配算法可以处理两幅图像之间发生平移、旋转、缩放、仿射变换下的匹配问题。具体可以包括如下主要步骤：检测尺度空间极值点、定位关键点、指定关键点方向参数、生成关键点描述符(特征描述)和匹配关键点。
3、随机抽样一致算法(Random Sample Consensus，RANSAC)
RANSAC算法采用迭代的方式，从一组包含离群的被观测数据中估算出数学模型的参数。RANSAC算法在SIFT特征筛选中的主要步骤：从样本点集中随机抽选一个RANSAC样本，即4个匹配点对；根据该4个匹配点对计算变换矩阵；根据该变换矩阵和误差度量函数计算满足误差阈值的一致点集，并返回一致点集中元素个数；根据当前一致点集中元素个数判断是否最优(最大)一致点集，若是则更新当前最优一致点集；重复上述步骤进行迭代，直到找到支持点集个数最多的那个变换矩阵模型。
下面将结合本公开实施例中的附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本公开一部分实施例，而不是全部的实施例。基于本公开中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本公开保护的范围。
本公开的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本公开实施例提供的图像配准方法进行详细地说明。
图1为本公开实施例提供的一种图像配准方法的流程示意图，如图1中所示，该方法可以包括下述的S101至S103：
S101、电子设备匹配待配准图像和模板图像的特征点，得到第一匹配点集。
需要说明的是，在S101之前，电子设备可以分别提取待配准图像的特征点和模板图像的特征点，每个特征点包括特征描述子和空间位置信息。
其中，特征描述子通常用于描述特征点，在不同的特征提取算法中，特征描述子的具体内容可以相同也可以不同。示例性地，在sift算法中，特征描述子是Patch网格内梯度方向的描述，旋转网格到主方向，插值得到网格处梯度值。
通常，特征描述子可以为32维的特征向量，也可以为128维的特征向量。
在本公开实施例中，可以采用常规的匹配策略进行特征点匹配，本公开实施例对于特征点的匹配策略不作具体限定。
例如可以采用Brute-Force匹配器、基于FLANN匹配器的匹配策略进行待配准图像和模板图像的特征点的匹配。
需要说明的是，一个匹配点也可以称为匹配点对，包括两个特征点，分别为待配准图像中的一个特征点和模板图像中的一个特征点。
S102、电子设备根据物体结构先验信息，调整第一匹配点集的目标权重，得到第二匹配点集。
其中，目标权重为单应性矩阵估计时，图像中物体的不同结构部位的影响权重。
通常，在图像对齐过程中，需要基于单应性矩阵进行图像对齐。若待配准物体的不同部位的特征点数量分布不均时，会造成特征点数量较多的部位在单应性矩阵估计时被赋予更大的权重，导致配准结果趋向局部配准，其他部位偏离严重，物体变形，最终配准失败。
在本公开实施例中，物体结构先验信息可以指示图像中的物体结构。
需要说明的是，物体结构先验信息可以为用户在电子设备执行图像对准之前输入的。
S103、电子设备根据第二匹配点集，对待配准图像和模板图像进行图像对齐，得到配准结果。
示例性地，在单应性矩阵估计过程中，在利用RANSAC算法拟合之前，根据待配准的物体的结构先验信息，对物体不同结构部位在单应性矩阵估计时的权重进行重新平衡(re-balance)，即在单应性矩阵估计中增加了物体结构信息的约束。
示例性地，在本公开实施例中，上述的S103中图像对齐的方式可以采用常规的图像对齐方式。
本公开实施例提供一种图像配准方法，首先，电子设备先匹配待配准图像的特征点和模板图像的特征点，得到第一匹配点集；然后，电子设备可以基于物体结构先验信息，调整第一匹配点集的目标权重，得到第二匹配点集；最后，电子设备根据调整目标权重后得到的第二匹配点集，对待配准图像和模板图像进行图像对齐，得到配准结果。由于在图像对齐之前，可以先通过物体结构先验信息，对图像中的物体的不同结构的部位在单应性矩阵估计时进行了权重的调整，从而可以在配准的过程中兼顾物体的各个部位，从而可以避免在图像配准过程中，物体的一部分结构对齐精确，一部分部位严重偏离导致物体严重变形，最终导致配准失败的问题，提高了图像配准的准确性。
可选地，结合图2，本公开实施例提供的图像配准方法中，在上述的S102之前，还可以包括下述的S104：
S104、电子设备剔除第一匹配点集中，空间距离大于阈值的匹配点，得到第三匹配点集。
进而，上述S102中调整目标权重的匹配点集为第三匹配点集。
需要说明的是，待配准图像中的第一特征点与模板图像中的第二特征点匹配，该匹配点(即，第一特征点和第二特征点)的空间距离为第一特征点在待配准图像中的空间位置和第二特征点在模板图像中的空间位置的空间距离。
通常，可以采用像素位置表征空间位置。
示例性地，在实际的配准过程中，电子设备可以剔除第一匹配点集中，特征距离大于第一阈值，且空间距离大于第二阈值的匹配点。
其中，特征距离可以表征匹配点中的两个特征点的相似度。
需要说明的是，相关技术中，在特征点匹配时，仅考虑特征相似度量，并未考虑实际物体空间位置约束，而在工业场景下，流水线上的产品通常采集到的图像空间位置差异不大，纹理信息也较少，特征点的特征区别较少，一些场景中还呈现对称性，在仅考虑特征相似度的情况下，容易造成大量的空间位置差异过大的误匹配。
在本公开实施例中，在特征点匹配后，即在根据特征相似度确定匹配点后，还可以加入空间位置约束，通过剔除匹配点集中空间距离大于阈值的匹配点，即剔除特征相似度高，但实际空间位置差异较大的匹配点，可以减少由于空间位置产生的误匹配点对配准结果的不良影响。
基于该方案，在图像配准过程中，可以在匹配待配准图像和模板图像的特征点之后，先通过匹配点的空间距离，剔除匹配点集中空间距离大于阈值的匹配点，可以减少误匹配点的数量，在工业质检场景下，由于采集到的图像空间位置差异不大，因此通过空间距离剔除部分匹配点，可以提高图像配准的精度。
可选地，结合图3，本公开实施例提供的图像配准方法中，上述的S102具体可以通过S102a至S102d执行：
S102a、电子设备根据物体结构关键部位的数量K和匹配点的空间位置信息，将第一匹配点集聚类为K簇匹配点子集。
其中，K为大于1的整数。
其中，匹配点的空间位置信息指示的匹配点对应的两个特征点的空间位置。
在本公开实施例中，可以采用传统的聚类算法，基于K和匹配点的空间位置信息，将第一匹配点集聚类为K簇匹配点子集。
示例性地，可以采用K-means聚类算法实现上述的S102a。
需要说明的是，若在S102之前还执行上述的S104，则S102a中，电子设备采用上述方式将第三匹配点集进行聚类。
S102b、电子设备基于K簇匹配点子集，确定平衡匹配点数量参考值。
S102c、电子设备将K簇匹配点子集中的每簇匹配点子集的匹配点数量调整为平衡匹配点数量参考值。
S102d、电子设备合并调整后的K簇匹配点子集为第四匹配点集。
其中，S102d得到的第四匹配点集为上述S103使用的第二匹配点集。
可以理解，可以根据物体结构先验信息，例如根据物体结构关键部位数量，平衡物体各部位的特征点的分布数量。
基于该方案，根据物体结构关键部位的数量和匹配点的空间位置信息，可以通过聚类的方式将匹配点集中的匹配点按照物体结构进行聚类，然后根据聚类得到的匹配点子集可以确定平衡匹配点数量参考值，然后平衡每簇中的匹配点的数量均为平衡匹配点数量参考值，即最终合并平衡后的匹配点集中，每个部位的匹配点分部是相同的，从而可以使得在单应性矩阵估计时可以兼顾图像中的各个部位。
可选地，结合图4，本公开实施例提供的图像配准方法中，上述的S102b可以通过下述的A1和A2实现：
A1、电子设备确定K簇匹配点子集中，匹配点数量的最大值。
示例性性的，假设聚类分为4簇匹配点子集，四个子集中的匹配点数量为N1、N2、N3和N4，则确定这四个数值中值最大的值。
A2、电子设备根据匹配点数量的最大值和结构平衡因子，确定平衡匹配点数量参考值。
示例性地，结构平衡因子的取值范围可以为(0,1]。
基于该方案，提供了一种平衡匹配点数量参考值的确定方式，基于K簇匹配点子集中匹配点数量的最大值确定的平衡匹配点数量参考值，可以更加符合待配准图像的特征点的分布情况。
可选地，本公开实施例提供的图像配准方法中，上述步骤A2可以基于下述的方式a执行：
方式a：电子设备基于预设公式，根据匹配点数量的最大值和结构平衡因子，确定平衡匹配点数量参考值。
其中，预设公式为下述的公式(1)。
Fγ＝Fmax＊γ公式(1)
其中，Fγ为平衡匹配点数量参考值，Fmax为匹配点数量的最大值，γ为结构平衡因子。
基于该方案，可以通过对匹配点数量的最大值乘以结构平衡因子的方式，准确确定平衡匹配点数量参考值。
需要说明的是，上述仅为一种示例性说明，在实际应用中，还可以为采用其他运算方式确定平衡匹配点数量参考值。
可选地，结合图4，本公开实施例提供的图像配准方法中，上述的S102c可以通过下述的A3实现：
A3、电子设备基于匹配点的特征相似度，将K簇匹配点子集中的每簇匹配点子集的匹配点数量调整为平衡匹配点数量参考值。
需要说明的是，在执行A3之前，可以计算每个匹配点的特征相似度(即特征距离)。
示例性地，可以根据每簇中的匹配点的特征相似度，确定使用哪些匹配点调整每簇中的匹配点数量。
基于该方案，在基于匹配得到的匹配点的特征相似度，平衡各个簇中的匹配点数量的情况下，可以采用匹配效果佳的匹配点进行后续的处理，可以提高处理的准确性。
可选地，本公开实施例提供的图像配准方法中，上述步骤A3具体可以通过下述的方式1或方式2实现：
方式1：
若目标匹配点子集的匹配点数量小于平衡匹配点数量参考值，则电子设备基于匹配点的特征相似度，补齐目标匹配点子集的匹配点数量为平衡匹配点数量参考值。
其中，目标匹配点子集为K簇匹配点子集中的任意一簇。
可以理解的是，在一簇匹配点子集中，若匹配点数量过少，则可以通过增加匹配点的方式达到平衡匹配点数量参考值。
方式2：
若目标匹配点子集的匹配点数量大于平衡匹配点数量参考值，则电子设备基于匹配点的特征相似度，减少目标匹配点子集的匹配点数量为平衡匹配点数量参考值。
可以理解的，在一簇匹配点子集中，若匹配点数量过多，则可以通过剔除匹配点的方式达到平衡匹配点数量参考值。
具体地，可以先根据每簇匹配点子集中的特征相似度排序该簇中的匹配点。可以采用相似度高的匹配点，补齐该簇的匹配点数量到平衡匹配点数量参考值；可以剔除相似度低的匹配点，减少该簇的匹配点数量到平衡匹配点数量参考值。
示例性地，针对补齐的方式，可以采用一个簇中特征相似度最高的匹配点补齐；也可以采用一个簇中特征相似度从高到低排序的多个匹配点补齐；也可以从采用一个簇中特征相似度大于特征相似度阈值的多个匹配点补齐。针对剔除的方式，可以剔除一个簇中特征相似度最低的多个匹配点。
例如，对于一个簇中需要增加P个匹配点，可以采用下述示例选择增加的P个匹配点。
示例1：重复P次使用该簇中特征相似度最大的匹配点。
示例2：使用该簇中特征相似度从高到低排序前P个匹配点。
示例3：使用该簇中特征相似度大于特征相似度阈值的P个匹配点。
需要说明的是，在示例3中，若特征相似度大于特征相似度阈值的匹配点的数量大于或等于P，则可以选择其中P个使用；若特征相似度大于特征相似度阈值的匹配点的数量小于P，则可以重复使用其中的部分匹配点。
例如，对于一个簇中需要剔除P个匹配点，则可以剔除特征相似度从低到高排序的前P个匹配点。
基于该方案，可以在一个匹配点子集的匹配点数量较少的情况下，基于匹配点的特征相似度，为该匹配点子集增加匹配点；可以在一个匹配点子集的匹配点数量较多的情况下，基于匹配点的特征相似度，为该匹配点子集减少匹配点；从而可以灵活根据匹配点的特征相似度，平衡每个结构部位在单应性矩阵估计中的权重。
可选地，结合图5，本公开实施例提供的图像配准方法中，上述的S103之前，还可以包括下述的S105和S106：
S105、电子设备针对M个结构平衡因子值中的每个结构平衡因子值，确定待配准图像和模板图像对应的M个相似度。
其中，M为大于1的整数。
S106、电子设备确定该M个相似度中，相似度最高对应的结构平衡因子值为目标结构因子值。
需要说明的是，在图像配准中，通常需要获取最佳参数，在本公开实施例中，在开始图像配准之前，可以对结构平衡因子的取值范围内的每个取值，确定每个结构平衡因子值对应的待配准图像和模板图像对应的相似度，根据相似度筛选出结构平衡因子的最佳值。
示例性的，可以采用网格搜索(Grid Search)的方式确定本公开实施例中图配准中的参数值，在所有候选的参数选择找那个，通过遍历循环，尝试每一种可能性，表现最好的参数为最终的结果。
基于该方案，在图像配准过程中，可以通过预配准，确定每个参数值的配准结果的性能，从而可以实现自动搜索到本次图像配准应该使用的最优参数，可以避免人工调整参数困难的问题。
可选地，结合图6，本公开实施例提供的图像配准方法中，上述的S105具体可以通过S105a至S105c实现：
S105a、电子设备根据目标匹配点集进行单应性矩阵估计，得到目标匹配点集的单应性矩阵。
其中，目标匹配点集为根据第一结构平衡因子值调整目标权重后得到的匹配点集，第一结构平衡因子值为M个结构平衡因子值中的任意一个值。
S105b、电子设备基于目标匹配点集的单应性矩阵，将待配准图像向模块图像对齐。
S105c、电子设备确定对齐后的待配准图像和模板图像的相似度。
需要说明的是，可以采用不同参数确定两张图像的相似度。
示例性地，可以采用差分值或结构相似度(Structural Similarity IndexMeasurement，SSIM)值，表征待配准图像和模板图像的相似度。
在本公开实施例中，可以将S105a至S105c的过程称为图像预配准过程，可以通过图像预配准过程获取到最佳参数值。
具体地，可以先根据结构平衡因子值调整匹配点集(第一匹配点集或第三匹配点集)的目标权重，得到调整目标权重后的匹配点集，再根据调整目标权重后的匹配点集进行单应性矩阵估计，再根据得到的单应性矩阵，将待配准图像向模板图像对齐，得到的对齐后的待配准图像和模板图像的相似度，最后搜索出不同的结构平衡因子值对应的对齐后的待配准图像和模板图像的相似度中相似度最高的结构平衡因子值。
基于该方案，可以对每个结构平衡因子平衡得到的匹配点集进行单应性矩阵估计，确定基于每个单应性矩阵对齐的待配准图像和模板图像的相似度，即进行图像的预配准，便于获取到最佳的结构平衡因子值。
可选地，结合图5，本公开实施例提供的图像配准方法中，上述的S103具体可以通过下述的S103a和S103b实现：
S103a、电子设备对基于目标结构平衡因子值调整目标权重后的第二匹配点集，进行单应性矩阵估计得到目标单应性矩阵。
可以理解的是，结合上述的实施例，可以基于目标结构平衡因子值调整第一匹配点集的目标权重值得到第二匹配点集。也可以基于目标结构平衡因子值调整第三匹配点集的目标权重值得到第二匹配点集，即先基于空间结构信息剔除误匹配点，然后再进行单应性矩阵权重的调整。
S103b、电子设备根据目标单应性矩阵，将待配准图像向模板图像对齐，得到配准结果。
可以理解的是，若在预配准的过程中，保存了最佳参数对应的图像对准结果，也可以不执行S103a和S103b，在确定了最佳参数之后，可以直接读取最佳参数对应的图像对准结果为最终的对准结果。
基于该方案，在通过预配准之后，可以根据预配准得到的目标结构平衡因子进行图像配准，即根据参数表现最优的结构平衡因子进行单应性矩阵估计得到最优的单应性矩阵，然后再根据该单应性矩阵进行图像对齐，从而可以使得图像配准的准确率更高。
示例性地，图7为本公开实施例提供的一种图像配准方法的流程示意图，可以包括下述的S201至S209：
S201、输入待配准图像和模板图像，结构平衡因子γ、单应性矩阵估计投影误差值δ、物体关键部位数量k。
其中，γ、δ为参数待搜索列表。
S202、分别对待配准图像和模板图像进行特征提取。
其中，提取到的每一个特征点包含空间坐标信息以及特征描述子。
S203、匹配待配准图像的特征点和模板图像的特征点。
在S203之后，可得到一个原始匹配点集。
S204、根据特征相似度和空间距离筛选匹配点。
即，将原始匹配点集中，特征距离大于第一阈值、且空间距离大于第二阈值的特征点筛除，剔除原始匹配点集的误匹配点。
S205、根据物体结构先验信息，对物体不同结构部位在单应性矩阵估计是的权重做重新平衡。
在S205之后，对剔除了误匹配点的原始匹配点集进行权重平衡，得到平衡权重后的匹配点集。
S206、采用RANSAC算法进行单应性矩阵估计。
采用S205得到的平衡权重后的匹配点集作为RANSAC过程的输入，得到对应的单应性矩阵。
S207、采用单应性矩阵对待配准图像向模板图像对齐，并确定对齐后两张图像相似度。
S208、将对齐后的两张图像相似度作为优化目标，重复执行S201至S208，对参数γ和进行搜索，确定γ和δ的最佳参数。
S209、以最佳参数为S201的参数输入，重复执行S201至S207，得到最优的单应性矩阵，然后采用最优的单应性矩阵，对待准备图像向模块图像对齐，得到最终配准结果。
基于该方案，在图像配准过程中，在特征匹配之后，增加了物体空间位置信息的约束，筛除了特征相似度高，但空间位置差异明显的误匹配点，减少了误匹配点的数量，在单应性矩阵估计之前，增加了物体结构信息的约束，对物体不同结构部位在单应性矩阵估计时的权重进行重新平衡，使其兼顾物体的各个部位，从而避免，仅在一些部位对齐准，一些部位偏离严重，导致对齐的物体变形，配准失败的问题，提高了配准的精度。
需要说明的是，本公开实施例提供的图像配准方法，执行主体可以为图像配准装置，或者该图像配准装置中的用于执行图像配准的方法的控制模块。本公开实施例中以图像配准装置执行图像配准的方法为例，说明本公开实施例提供的图像配准的装置。
图8为本公开实施例提供的一种图像配准装置的结构示意图，如图8中所示，该图像配准装置800包括：匹配模块801、调整模块802和对齐模块803；匹配模块801，用于匹配待配准图像和模板图像的特征点，得到第一匹配点集；调整模块802，用于根据物体结构先验信息，调整匹配模块801得到的第一匹配点集的目标权重，得到第二匹配点集；对齐模块803，用于根据调整模块802调整得到的第二匹配点集，对待配准图像和模板图像进行图像对齐，得到配准结果；其中，目标权重为单应性矩阵估计时，图像中物体的不同结构部位的影响权重。
可选地，图像配准装置还包括：剔除模块；剔除模块，用于在调整模块根据物体结构鲜艳信息，调整第一匹配点集对应的目标权重之前，剔除第一匹配点集中，空间距离大于阈值的匹配点，得到第三匹配点集；其中，调整目标权重的匹配点集为第三匹配点集。
可选地，调整模块具体用于：根据物体结构关键部位的数量K和匹配点的空间位置信息，将第一匹配点集聚类为K簇匹配点子集，K为大于1的整数；基于K簇匹配点子集，确定平衡匹配点数量参考值；将K簇匹配点子集中的每簇匹配点子集的匹配点数量调整为平衡匹配点数量参考值；合并调整后的K簇匹配点子集为第四匹配点集；其中，第四匹配点集为第二匹配点集
可选地，调整模块具体用于：确定K簇匹配点子集中，匹配点数量的最大值；根据匹配点数量的最大值和结构平衡因子，确定平衡匹配点数量参考值。
可选地，调整模块具体用于：基于匹配点的特征相似度，将K簇匹配点子集中的每簇匹配点子集的匹配点数量调整为平衡匹配点数量参考值。
可选地，调整模块具体用于：若目标匹配点子集的匹配点数量小于平衡匹配点数量参考值，则基于匹配点的特征相似度，补齐目标匹配点子集的匹配点数量为平衡匹配点数量参考值；或者，若目标匹配点子集的匹配点数量大于平衡匹配点数量参考值，则基于匹配点的特征相似度，减少目标匹配点子集的匹配点数量为平衡匹配点数量参考值；其中，目标匹配点子集为K簇匹配点子集中的任意一簇。
可选地，调整模块具体用于：基于预设公式，根据匹配点数量的最大值和结构平衡因子，确定平衡匹配点数量参考值；预设公式为：Fγ＝Fmax＊γ；其中，Fγ为平衡匹配点数量参考值，Fmax为匹配点数量的最大值，γ为结构平衡因子。
可选地，图像配准装置还包括：确定模块；确定模块，用于在对齐模块根据第二匹配点集，对待配准图像和模板图像进行图像对齐之前，针对M个结构平衡因子值中的每个结构平衡因子值，确定待配准图像和模板图像对应的M个相似度，M为大于1的整数；确定M个相似度中，相似度最高对应的结构平衡因子值为第一结构因子值。
可选地，确定模块具体用于：根据目标匹配点集进行单应性矩阵估计，得到目标匹配点集的单应性矩阵；基于目标匹配点集的单应性矩阵，将待配准图像向模板图像对齐；确定对齐后的待配准图像和模板图像的相似度；其中，目标匹配点集为根据第二结构平衡因子值调整目标权重后得到的匹配点集，第二结构平衡因子值为M个结构平衡因子值中的任意一个值。
可选地，对齐模块具体用于：对基于第一结构平衡因子值调整目标权重后的第二匹配点集，进行单应性矩阵估计得到目标单应性矩阵；根据目标单应性矩阵，将待配准图像向模板图像对齐，得到配准结果
本公开实施例提供一种图像配准装置，首先，图像配准装置先匹配待配准图像的特征点和模板图像的特征点，得到第一匹配点集；然后，图像配准装置可以基于物体结构先验信息，调整第一匹配点集的目标权重，得到第二匹配点集；最后，图像配准装置根据调整目标权重后得到的第二匹配点集，对待配准图像和模板图像进行图像对齐，得到配准结果。由于在图像对齐之前，可以先通过物体结构先验信息，对图像中的物体的不同结构的部位在单应性矩阵估计时进行了影响权重的调整，从而可以在配准的过程中兼顾物体的各个部位，从而可以避免在图像配准过程中，物体的一部分结构对齐精确，一部分部位严重偏离导致物体严重变形，最终导致配准失败的问题，提高了图像配准的准确性。
本公开实施例中的图像配准装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personaldigital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(NetworkAttached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本公开实施例不作具体限定。
本公开实施例中的图像配准装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本公开实施例不作具体限定。
本公开实施例提供的图像配准装置能够实现图1至图8的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图9所示，本公开实施例还提供一种电子设备900，包括处理器901，存储器902，存储在存储器902上并可在所述处理器901上运行的程序或指令，该程序或指令被处理器901执行时实现上述图像配准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本公开实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图10为实现本公开实施例的一种电子设备的硬件结构示意图。
该电子设备1000包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。
本公开实施例提供一种终端设备，首先，电子设备先匹配待配准图像的特征点和模板图像的特征点，得到第一匹配点集；然后，电子设备可以基于物体结构先验信息，调整第一匹配点集的目标权重，得到第二匹配点集；最后，电子设备根据调整目标权重后得到的第二匹配点集，对待配准图像和模板图像进行图像对齐，得到配准结果。由于在图像对齐之前，可以先通过物体结构先验信息，对图像中的物体的不同结构的部位在单应性矩阵估计时进行了影响权重的调整，从而可以在配准的过程中兼顾物体的各个部位，从而可以避免在图像配准过程中，物体的一部分结构对齐精确，一部分部位严重偏离导致物体严重变形，最终导致配准失败的问题，提高了图像配准的准确性。
本领域技术人员可以理解，电子设备1000还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器1010逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图10中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
应理解的是，本公开实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)1041和麦克风1042，图形处理器1041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板1061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板1061。用户输入单元1007包括触控面板1071以及其他输入设备1072。触控面板1071，也称为触摸屏。触控面板1071可包括触摸检测装置和触摸控制器两个部分。其他输入设备1072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器1009可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器1010可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。
本公开实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像配准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
本公开实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像配准方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本公开实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本公开实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本公开各个实施例所述的方法。
上面结合附图对本公开的实施例进行了描述，但是本公开并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本公开的启示下，在不脱离本公开宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本公开的保护之内。

Claims (13)

1.一种图像配准方法，其特征在于，所述方法包括：
匹配待配准图像和模板图像的特征点，得到第一匹配点集；
根据物体结构先验信息，调整所述第一匹配点集的目标权重，得到第二匹配点集；其中，所述物体结构先验信息包括物体结构关键部位的数量和匹配点的空间位置信息；所述根据物体结构先验信息，调整所述第一匹配点集的目标权重，包括：根据所述物体结构关键部位的数量和所述匹配点的空间位置信息，对所述第一匹配点集中的匹配点进行聚类，根据聚类得到的匹配点集对所述目标权重进行调整；
根据所述第二匹配点集，对所述待配准图像和所述模板图像进行图像对齐，得到配准结果；
其中，所述目标权重为单应性矩阵估计时，图像中物体的不同结构部位的影响权重。
2.根据权利要求1所述的方法，其特征在于，所述根据物体结构先验信息，调整所述第一匹配点集对应的目标权重之前，所述方法还包括：
剔除所述第一匹配点集中，空间距离大于阈值的匹配点，得到第三匹配点集；
其中，调整目标权重的匹配点集为所述第三匹配点集。
3.根据权利要求1或2所述的方法，其特征在于，所述根据物体结构先验信息，调整所述第一匹配点集的目标权重，得到第二匹配点集，包括：
根据物体结构关键部位的数量K和匹配点的空间位置信息，将所述第一匹配点集聚类为K簇匹配点子集，K为大于1的整数；
基于所述K簇匹配点子集，确定平衡匹配点数量参考值；
将所述K簇匹配点子集中的每簇匹配点子集的匹配点数量调整为平衡匹配点数量参考值；
合并调整后的K簇匹配点子集为第四匹配点集；
其中，所述第四匹配点集为所述第二匹配点集。
4.根据权利要求3所述的方法，其特征在于，所述确定平衡匹配点数量参考值，包括：
确定所述K簇匹配点子集中，匹配点数量的最大值；
根据所述匹配点数量的最大值和结构平衡因子，确定平衡匹配点数量参考值。
5.根据权利要求4所述的方法，其特征在于，所述将所述K簇匹配点子集中的每簇匹配点子集的匹配点数量调整为平衡匹配点数量参考值，包括：
基于匹配点的特征相似度，将所述K簇匹配点子集中的每簇匹配点子集的匹配点数量调整为平衡匹配点数量参考值。
6.根据权利要求5所述的方法，其特征在于，所述基于匹配点的特征相似度，将所述K簇匹配点子集中的每簇匹配点子集的匹配点数量调整为平衡匹配点数量参考值，包括：
若目标匹配点子集的匹配点数量小于平衡匹配点数量参考值，则基于匹配点的特征相似度，补齐所述目标匹配点子集的匹配点数量为所述平衡匹配点数量参考值；或者，
若目标匹配点子集的匹配点数量大于平衡匹配点数量参考值，则基于匹配点的特征相似度，减少所述目标匹配点子集的匹配点数量为所述平衡匹配点数量参考值；
其中，所述目标匹配点子集为所述K簇匹配点子集中的任意一簇。
7.根据权利要求4所述的方法，其特征在于，所述根据所述匹配点数量的最大值和结构平衡因子，确定平衡匹配点数量参考值，包括：
基于预设公式，根据所述匹配点数量的最大值和结构平衡因子，确定平衡匹配点数量参考值；
所述预设公式为：Fγ＝Fmax*γ；
其中，Fγ为平衡匹配点数量参考值，Fmax为所述匹配点数量的最大值，γ为结构平衡因子。
8.根据权利要求4至7中任一项所述的方法，其特征在于，所述根据所述第二匹配点集，对所述待配准图像和所述模板图像进行图像对齐之前，所述方法还包括：
针对M个结构平衡因子值中的每个结构平衡因子值，确定所述待配准图像和所述模板图像对应的M个相似度，M为大于1的整数；
确定所述M个相似度中，相似度最高对应的结构平衡因子值为第一结构因子值。
9.根据权利要求8所述的方法，其特征在于，所述针对M个结构平衡因子值中的每个结构平衡因子值，确定所述待配准图像和所述模板图像对应的M个相似度，包括：
根据目标匹配点集进行单应性矩阵估计，得到所述目标匹配点集的单应性矩阵；
基于所述目标匹配点集的单应性矩阵，将所述待配准图像向所述模板图像对齐；
确定对齐后的所述待配准图像和所述模板图像的相似度；
其中，所述目标匹配点集为根据第二结构平衡因子值调整目标权重后得到的匹配点集，所述第二结构平衡因子值为所述M个结构平衡因子值中的任意一个值。
10.根据权利要求8所述的方法，其特征在于，所述根据所述第二匹配点集，对所述待配准图像和所述模板图像进行图像对齐，得到配准结果，包括：
对基于第一结构平衡因子值调整目标权重后的所述第二匹配点集，进行单应性矩阵估计得到目标单应性矩阵；
根据所述目标单应性矩阵，将所述待配准图像向所述模板图像对齐，得到配准结果。
11.一种图像配准装置，其特征在于，所述图像配准装置包括：匹配模块、调整模块和对齐模块；
所述匹配模块，用于匹配待配准图像和模板图像的特征点，得到第一匹配点集；
所述调整模块，用于根据物体结构先验信息，调整所述第一匹配点集的目标权重，得到第二匹配点集；其中，所述物体结构先验信息包括物体结构关键部位的数量和匹配点的空间位置信息；所述根据物体结构先验信息，调整所述第一匹配点集的目标权重，包括：根据所述物体结构关键部位的数量和所述匹配点的空间位置信息，对所述第一匹配点集中的匹配点进行聚类，根据聚类得到的匹配点集对所述目标权重进行调整；
所述对齐模块，用于根据所述第二匹配点集，对所述待配准图像和所述模板图像进行图像对齐，得到配准结果；
其中，所述目标权重为单应性矩阵估计时，图像中物体的不同结构部位的影响权重。
12.一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至10中任一项所述的图像配准方法的步骤。
13.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1至10中任一项所述的图像配准方法的步骤。
CN202110686599.9A 2021-06-21 2021-06-21 图像配准方法、装置、电子设备及存储介质 Active CN113344994B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110686599.9A CN113344994B (zh) 2021-06-21 2021-06-21 图像配准方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110686599.9A CN113344994B (zh) 2021-06-21 2021-06-21 图像配准方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113344994A CN113344994A (zh) 2021-09-03
CN113344994B true CN113344994B (zh) 2024-04-16

Family

ID=77478338

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110686599.9A Active CN113344994B (zh) 2021-06-21 2021-06-21 图像配准方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113344994B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170306B (zh) * 2021-11-17 2022-11-04 埃洛克航空科技（北京）有限公司 图像的姿态估计方法、装置、终端及存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6597801B1 (en) * 1999-09-16 2003-07-22 Hewlett-Packard Development Company L.P. Method for object registration via selection of models with dynamically ordered features
WO2012015732A1 (en) * 2010-07-26 2012-02-02 Siemens Corporation Global error minimization in image mosaicking using graph laplacians and its applications in microscopy
WO2015049233A1 (en) * 2013-10-01 2015-04-09 Ventana Medical Systems, Inc. Line-based image registration and cross-image annotation devices, systems and methods
CN104978742A (zh) * 2015-06-12 2015-10-14 北京邮电大学 基于级联结构的图像配准方法及装置
CN107578376A (zh) * 2017-08-29 2018-01-12 北京邮电大学 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN109509193A (zh) * 2018-10-19 2019-03-22 中南民族大学 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN109816706A (zh) * 2019-02-01 2019-05-28 辽宁工程技术大学 一种平滑约束与三角网等比例剖分像对稠密匹配方法
CN110766719A (zh) * 2019-09-21 2020-02-07 北醒（北京）光子科技有限公司 一种目标跟踪方法、设备及存储介质
CN111260786A (zh) * 2020-01-06 2020-06-09 南京航空航天大学 一种智能超声多模态导航系统及方法
CN112102383A (zh) * 2020-09-18 2020-12-18 深圳市赛为智能股份有限公司 图像配准方法、装置、计算机设备及存储介质
CN112837217A (zh) * 2021-01-12 2021-05-25 南京航空航天大学 一种基于特征筛选的室外场景图像拼接方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6597801B1 (en) * 1999-09-16 2003-07-22 Hewlett-Packard Development Company L.P. Method for object registration via selection of models with dynamically ordered features
WO2012015732A1 (en) * 2010-07-26 2012-02-02 Siemens Corporation Global error minimization in image mosaicking using graph laplacians and its applications in microscopy
WO2015049233A1 (en) * 2013-10-01 2015-04-09 Ventana Medical Systems, Inc. Line-based image registration and cross-image annotation devices, systems and methods
CN104978742A (zh) * 2015-06-12 2015-10-14 北京邮电大学 基于级联结构的图像配准方法及装置
CN107578376A (zh) * 2017-08-29 2018-01-12 北京邮电大学 基于特征点聚类四叉划分和局部变换矩阵的图像拼接方法
CN109509193A (zh) * 2018-10-19 2019-03-22 中南民族大学 一种基于高精度配准的肝脏ct图谱分割方法及系统
CN109816706A (zh) * 2019-02-01 2019-05-28 辽宁工程技术大学 一种平滑约束与三角网等比例剖分像对稠密匹配方法
CN110766719A (zh) * 2019-09-21 2020-02-07 北醒（北京）光子科技有限公司 一种目标跟踪方法、设备及存储介质
CN111260786A (zh) * 2020-01-06 2020-06-09 南京航空航天大学 一种智能超声多模态导航系统及方法
CN112102383A (zh) * 2020-09-18 2020-12-18 深圳市赛为智能股份有限公司 图像配准方法、装置、计算机设备及存储介质
CN112837217A (zh) * 2021-01-12 2021-05-25 南京航空航天大学 一种基于特征筛选的室外场景图像拼接方法

Also Published As

Publication number Publication date
CN113344994A (zh) 2021-09-03

Similar Documents

Publication Publication Date Title
US9665789B2 (en) Device and method for analyzing the correlation between an image and another image or between an image and a video
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN102509118B (zh) 一种监控视频检索方法
EP2668618A1 (en) Method and system for comparing images
CN106503656A (zh) 一种图像分类方法、装置和计算设备
US9025863B2 (en) Depth camera system with machine learning for recognition of patches within a structured light pattern
US10573040B2 (en) Image modification using detected symmetry
US20240153240A1 (en) Image processing method, apparatus, computing device, and medium
TWI701608B (zh) 用於圖片匹配定位的神經網路系統、方法及裝置
US20200005078A1 (en) Content aware forensic detection of image manipulations
WO2023221790A1 (zh) 图像编码器的训练方法、装置、设备及介质
CN111144215B (zh) 图像处理方法、装置、电子设备及存储介质
CN113344994B (zh) 图像配准方法、装置、电子设备及存储介质
US10089764B2 (en) Variable patch shape synthesis
CN110956131B (zh) 单目标追踪方法、装置及系统
CN111027551B (zh) 图像处理方法、设备和介质
CN108694411A (zh) 一种识别相似图像的方法
CN116091998A (zh) 图像处理方法、装置、计算机设备和存储介质
CN116977250A (zh) 一种工业零件的缺陷检测方法、装置和计算机设备
CN114418969A (zh) 缺陷检测方法、装置、设备及存储介质
Huo et al. Application of an improved fast corner detection algorithm in orb-slam2
CN111401383A (zh) 基于图像检测的目标框预估方法、系统、设备及介质
CN110991543B (zh) 图像感兴趣区聚类方法和装置、计算设备、和存储介质
CN117372685B (zh) 目标检测方法、装置、电子设备及存储介质
CN116109991B (zh) 模型的约束参数确定方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant after: Jingdong Technology Information Technology Co.,Ltd.

Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176

Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant