CN112102383A - 图像配准方法、装置、计算机设备及存储介质 - Google Patents
图像配准方法、装置、计算机设备及存储介质 Download PDFInfo
- Publication number
- CN112102383A CN112102383A CN202010985283.5A CN202010985283A CN112102383A CN 112102383 A CN112102383 A CN 112102383A CN 202010985283 A CN202010985283 A CN 202010985283A CN 112102383 A CN112102383 A CN 112102383A
- Authority
- CN
- China
- Prior art keywords
- feature points
- image
- registered
- matching result
- matching
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 70
- 239000011159 matrix material Substances 0.000 claims abstract description 95
- 230000009466 transformation Effects 0.000 claims abstract description 47
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 46
- 238000004590 computer program Methods 0.000 claims description 23
- 230000004044 response Effects 0.000 claims description 23
- 230000002776 aggregation Effects 0.000 claims description 13
- 238000004220 aggregation Methods 0.000 claims description 13
- 230000000750 progressive effect Effects 0.000 claims description 11
- 238000005070 sampling Methods 0.000 claims description 11
- 238000012216 screening Methods 0.000 claims description 11
- 238000012163 sequencing technique Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 4
- 230000008030 elimination Effects 0.000 description 4
- 238000003379 elimination reaction Methods 0.000 description 4
- 230000001629 suppression Effects 0.000 description 4
- 230000000903 blocking effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000019771 cognition Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及图像配准方法、装置、计算机设备及存储介质，该方法包括获取待配准图像；在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点；剔除聚集的特征点，以得到非聚集特征点；对非聚集特征点进行特征描述；对非聚集特征点进行特征匹配，以得到匹配结果；剔除匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵；反馈最优矩阵至终端。本发明实现能得到更多的分布均匀的特征点，可以满足较高配准需求，可适用于大尺寸、高分辨率的无人机航拍图像的拼接。
Description
技术领域
本发明涉及图像处理方法，更具体地说是指图像配准方法、装置、计算机设备及存储介质。
背景技术
无人机受飞行高度和相机焦距等限制，单张航拍图像的视野范围较小，难以形成对现场情况的整体认知，因此需要将多张航拍图像拼接成一幅视野范围更广、信息更丰富的全景图像。图像配准是图像拼接的核心步骤，直接导致最终图像拼接质量的好坏，因此快速准确地进行图像配准对无人机图像识别至关重要。ORB(特征提取，Oriented Fast andRotated Brief)算法可以应用于无人机实时图像拼接，但是这种方法对于图像中没有检测到特征点的部分效果不佳。图像特征点在整副图像中规则并均匀地分布时，可以得到更好的匹配结果，而ORB特征点分布不均匀，且容易出现特征点聚集的现象，对于大尺寸、高分辨率的无人机航拍图像，无法满足较高的配准需求。
因此，有必要设计一种新的方法，实现能得到更多的分布均匀的特征点，可以满足较高配准需求。
发明内容
本发明的目的在于克服现有技术的缺陷，提供图像配准方法、装置、计算机设备及存储介质。
为实现上述目的，本发明采用以下技术方案：图像配准方法，包括：
获取待配准图像；
在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点；
剔除聚集的特征点，以得到非聚集特征点；
对非聚集特征点进行特征描述；
对非聚集特征点进行特征匹配，以得到匹配结果；
剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵；
反馈所述最优矩阵至终端。
其进一步技术方案为：所述在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点，包括：
在待配准图像中构建掩模；
使用掩模在待配准图像中平滑移动，且利用ORB算法检测每个掩模中的特征点，以得到特征点。
其进一步技术方案为：所述剔除聚集的特征点，以得到非聚集特征点，包括：
寻找每个特征点的邻域内的所有其它特征点；
获取ORB算法检测每个掩模中的特征点时所得到的角点响应值；
根据角点响应值对每个特征点的邻域内的所有其它特征点进行排序，并筛选每个特征点的邻域内角点响应值最大的其它特征点，以得到非聚集特征点。
其进一步技术方案为：所述对非聚集特征点进行特征描述，包括：
对非聚集特征点计算主方向，并使用ORB描述子进行特征描述。
其进一步技术方案为：所述对非聚集特征点进行特征匹配，以得到匹配结果，包括：
使用汉明距离对非聚集特征点进行特征匹配，以得到匹配结果。
其进一步技术方案为：所述剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵，包括：
采用渐进一致采样法剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵。
其进一步技术方案为：所述采用渐进一致采样法剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵，包括：
按照最短与次最短汉明距离的比值从小到大对匹配结果中的匹配对进行排序，筛选符合要求的匹配对；
根据筛选的匹配对进行计算不同待配准图像之间的变换矩阵；
根据变换矩阵确定最优矩阵。
本发明还提供了图像配准装置，包括：
图像获取单元，用于获取待配准图像；
特征点获取单元，用于在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点；
聚集剔除单元，用于剔除聚集的特征点，以得到非聚集特征点；
特征描述单元，用于对非聚集特征点进行特征描述；
特征匹配单元，用于对非聚集特征点进行特征匹配，以得到匹配结果；
误匹配剔除单元，用于剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵；
反馈单元，用于反馈所述最优矩阵至终端。
本发明还提供了一种计算机设备，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现上述的方法。
本发明还提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述的方法。
本发明与现有技术相比的有益效果是：本发明通过获取待配准图像，并掩模构建，借助掩模以及ORB算法检测特征点，对ORB算法检测过程中产生的聚集特征点进行剔除，对剔除后留下的特征点进行特征描述，使用汉明距离进行特征匹配，最后利用PROSAC算法剔除误匹配，且确认最优变换矩阵，实现能得到更多的分布均匀的特征点，可以满足较高配准需求，可适用于大尺寸、高分辨率的无人机航拍图像的拼接。
下面结合附图和具体实施例对本发明作进一步描述。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的图像配准方法的应用场景示意图；
图2为本发明实施例提供的图像配准方法的流程示意图；
图3为本发明实施例提供的图像配准方法的子流程示意图；
图4为本发明实施例提供的图像配准方法的子流程示意图；
图5为本发明实施例提供的图像配准方法的子流程示意图；
图6为本发明实施例提供的图像配准装置的示意性框图；
图7为本发明实施例提供的图像配准装置的特征点获取单元的示意性框图；
图8为本发明实施例提供的图像配准装置的聚集剔除单元的示意性框图；
图9为本发明实施例提供的图像配准装置的误匹配剔除单元的示意性框图；
图10为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1和图2，图1为本发明实施例提供的图像配准方法的应用场景示意图。图2为本发明实施例提供的图像配准方法的示意性流程图。该图像配准方法应用于服务器中。该服务器与带摄像功能的无人机以及终端进行数据交互，从无人机处获取到待配准图像后，由服务器结合ORB算法等进行配准，并得到最优矩阵，反馈至终端。
图2是本发明实施例提供的图像配准方法的流程示意图。如图2所示，该方法包括以下步骤S110至S170。
S110、获取待配准图像。
在本实施例中，待配准图像是指单张航拍的图像，也就是拼接成全景图像的单个图像。
S120、在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点。
在本实施例中，特征点是指待配准图像的图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点(即两个边缘的交点)。
在一实施例中，请参阅图3，上述的步骤S120可包括步骤S121～S122。
S121、在待配准图像中构建掩模。
在本实施例中，先在M×N的待配准图像中构造一个m×n的掩模，其中m和n的取值由M和N决定，在本实施例中，取m＝M/4，n＝N/4，这样至少可以得到16个图像块，M和N为大于1的自然数。
S122、使用掩模在待配准图像中平滑移动，且利用ORB算法检测每个掩模中的特征点，以得到特征点。
在整幅待配准图像中逐步移动掩模，并在每个掩模中分别使用ORB算法检测特征点，以确保检测出的特征点均匀地分布在整幅图像中。当掩模沿水平方向移动时，在本实施例中，选取移动步长为m的3/4。同样地，在竖直方向，移动步长取n的3/4。该方法可以确保在图像中检测出更多、分布更均匀的特征点。
借鉴图像分块的思想，并针对图像分块存在的问题做出一些改进。由于ORB检测到的特征点一般都位于图像的中心部位，图像的四周分布很少。因此采用图像分块的方法时，各图像块之间的间隙会出现无特征点的现象。这样检测出的特征点也不能均匀地分布在图像中，有可能会忽略图像中部分重要的信息。所以采用掩模来进行移动，并结合ORB算法进行特征点检测。
S130、剔除聚集的特征点，以得到非聚集特征点。
在本实施例中，非聚集特征点是指均匀分布的特征点，即非聚集的特征点。
ORB算法检测的特征点容易出现聚集的现象，而使用掩模之后聚集现象仍然存在，这样会造成计算量大、容易出现误匹配等问题。因此，采用非极大值抑制方法进行剔除聚集的特征点。非极大值抑制方法由两个嵌套的循环组成，其中外循环遍历图像中所有的像素，内循环对其邻域内的所有候选点进行测算。
在一实施例中，请参阅图4，上述的步骤S130可包括步骤S131～S133。
S131、寻找每个特征点的邻域内的所有其它特征点。
S132、获取ORB算法检测每个掩模中的特征点时所得到的角点响应值；
S133、根据角点响应值对每个特征点的邻域内的所有其它特征点进行排序，并筛选每个特征点的邻域内角点响应值最大的其它特征点，以得到非聚集特征点。
首先，对于每个特征点，寻找其邻域内的所有其它特征点。考虑到ORB算法在检测特征点时已经计算出Harris角点响应值，因此根据该Harris角点响应值对这些特征点进行排序，最后只保留邻域内响应值最大的特征点。该步骤没有增加不必要的计算量，保留了原有ORB算法的速度的优越性。使用该方法后，检测出的特征点不仅均匀地分布在图像中各个部分，而且减轻了聚集的现象。
S140、对非聚集特征点进行特征描述。
在本实施例中，对非聚集特征点计算主方向，并使用ORB描述子进行特征描述。
具体地，通过移动掩模检测特征点以及使用非极大值抑制方法剔除聚集的特征点，此时得到足够多的分布均匀的特征点，然后对这些特征点计算其主方向，并使用ORB描述子进行特征描述。
S150、对非聚集特征点进行特征匹配，以得到匹配结果。
在本实施例中，匹配结果是指图像中的每个特征点在其它待配准图像上寻找相对应的特征点所构成的一对特征点，即是匹配对。
具体地，使用汉明距离对非聚集特征点进行特征匹配，以得到匹配结果。
通常将与之距离最近的点作为匹配点，二进制描述符之间的距离一般使用汉明距离表示，汉明距离越短，表示两个二进制描述符越相似，对每个特征点查找与其汉明距离最短和次最短的匹配点，并计算两个距离的比值，在本实施例中，当最短汉明距离小于50且两个距离的比值小于0.7时，两个特征点是匹配的。
S160、剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵。
在本实施例中，最优矩阵是指两个不同待配准图像之间的最佳变换矩阵。具体地，采用渐进一致采样法剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵。
具体地，渐进一致采样法即RANSAC算法是一种经典的消除误匹配的方法，通过多次随机抽取一定数量的样本对模型参数进行估计，从而剔除错误的匹配点对，得到最优的数据。
在一实施例中，请参阅图5，上述的步骤S160可包括步骤S161～S163。
S161、按照最短与次最短汉明距离的比值从小到大对匹配结果中的匹配对进行排序，筛选符合要求的匹配对；
S162、根据筛选的匹配对进行计算不同待配准图像之间的变换矩阵；
S163、根据变换矩阵确定最优矩阵。
RANSAC算法使用单应性矩阵H即变换矩阵H表示两幅图像坐标之间的变换关系，包括平移、旋转和缩放等关系。假设待配准图像1和待配准图像2中的一对匹配点p1(x,u)、p2(x′,y′)，它们之间的变换关系表示为：
PROSAC算法是对RANSAC算法的改进，相比较来说，RANSAC是从所有数据中随机抽取样本，PROSAC则是先将数据排序，再抽取出质量较好的数据，因此鲁棒性和计算效率均有提高。
具体地，采用PROSAC算法，并将匹配对的最短与次最短汉明距离的比值作为样本质量的定量表示，比值越小，样本的质量越好。首先将特征匹配得到的匹配对按照最短与次最短汉明距离的比值从小到大排序，并选取前p个质量较高的匹配对，再从p个匹配对中随机选择4对，计算变换矩阵H的8个参数，其中，p为不小于4的自然数，然后通过变换矩阵H确定其余特征点的误差，其余特征点的误差与误差阈值比较后判定其余特征点为内点或外点，如果内点数量超过设定阈值，则变换矩阵H为当前最优矩阵，否则，再从p个匹配对中随机选择4对，进行下一轮迭代。如果达到最大迭代次数，则返回内点数量最多的一组模型，从而得到最优的变换矩阵。
S170、反馈所述最优矩阵至终端。
在本实施例中，将最优矩阵反馈至终端，便可使得终端根据该最优矩阵进行全景图像的拼接。
本实施例首先在待配准图像中构造一个掩模，在待配准图像中逐步移动该掩模，并在每个掩模中使用ORB算法检测特征点。然后采用非极大值抑制方法剔除聚集的特征点，并对保留下的特征点进行ORB特征描述，遍历整个图像，从而得到更多的分布均匀的特征点，然后使用汉明距离进行特征匹配，最后利用PROSAC算法剔除误匹配，并计算图像间的变换矩阵，即最优变换矩阵。
上述的图像配准方法，通过获取待配准图像，并掩模构建，借助掩模以及ORB算法检测特征点，对ORB算法检测过程中产生的聚集特征点进行剔除，对剔除后留下的特征点进行特征描述，使用汉明距离进行特征匹配，最后利用PROSAC算法剔除误匹配，且确认最优变换矩阵，实现能得到更多的分布均匀的特征点，可以满足较高配准需求，可适用于大尺寸、高分辨率的无人机航拍图像的拼接。
图6是本发明实施例提供的一种图像配准装置300的示意性框图。如图6所示，对应于以上图像配准方法，本发明还提供一种图像配准装置300。该图像配准装置300包括用于执行上述图像配准方法的单元，该装置可以被配置于服务器中。具体地，请参阅图6，该图像配准装置300包括图像获取单元301、特征点获取单元302、聚集剔除单元303、特征描述单元304、特征匹配单元305、误匹配剔除单元306以及反馈单元307。
图像获取单元301，用于获取待配准图像；特征点获取单元302，用于在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点；聚集剔除单元303，用于剔除聚集的特征点，以得到非聚集特征点；特征描述单元304，用于对非聚集特征点进行特征描述；特征匹配单元305，用于对非聚集特征点进行特征匹配，以得到匹配结果；误匹配剔除单元306，用于剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵；反馈单元307，用于反馈所述最优矩阵至终端。
在一实施例中，如图7所示，所述特征点获取单元302包括掩模构建子单元3021以及检测子单元3022。
掩模构建子单元3021，用于在待配准图像中构建掩模；检测子单元3022，用于使用掩模在待配准图像中平滑移动，且利用ORB算法检测每个掩模中的特征点，以得到特征点。
在一实施例中，如图8所示，所述聚集剔除单元303包括特征点寻找子单元3031、响应值获取子单元3032以及排序子单元3033。
特征点寻找子单元3031，用于寻找每个特征点的邻域内的所有其它特征点；响应值获取子单元3032，用于获取ORB算法检测每个掩模中的特征点时所得到的角点响应值；排序子单元3033，用于根据角点响应值对每个特征点的邻域内的所有其它特征点进行排序，并筛选每个特征点的邻域内角点响应值最大的其它特征点，以得到非聚集特征点。
在一实施例中，所述特征描述单元304，用于对非聚集特征点计算主方向，并使用ORB描述子进行特征描述。
在一实施例中，所述特征匹配单元305，用于使用汉明距离对非聚集特征点进行特征匹配，以得到匹配结果。
在一实施例中，所述误匹配剔除单元306，用于采用渐进一致采样法剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵。
在一实施例中，请参阅图9，所述误匹配剔除单元306包括匹配对筛选子单元3061、矩阵计算子单元3062以及最优矩阵确认子单元3063。
匹配对筛选子单元3061，用于按照最短与次最短汉明距离的比值从小到大对匹配结果中的匹配对进行排序，筛选符合要求的匹配对；矩阵计算子单元3062，用于根据筛选的匹配对进行计算不同待配准图像之间的变换矩阵；最优矩阵确认子单元3063，用于根据变换矩阵确定最优矩阵。
需要说明的是，所属领域的技术人员可以清楚地了解到，上述图像配准装置300和各单元的具体实现过程，可以参考前述方法实施例中的相应描述，为了描述的方便和简洁，在此不再赘述。
上述图像配准装置300可以实现为一种计算机程序的形式，该计算机程序可以在如图10所示的计算机设备上运行。
请参阅图10，图10是本申请实施例提供的一种计算机设备的示意性框图。该计算机设备500可以是服务器，其中，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图10，该计算机设备500包括通过系统总线501连接的处理器502、存储器和网络接口505，其中，存储器可以包括非易失性存储介质503和内存储器504。
该非易失性存储介质503可存储操作系统5031和计算机程序5032。该计算机程序5032包括程序指令，该程序指令被执行时，可使得处理器502执行一种图像配准方法。
该处理器502用于提供计算和控制能力，以支撑整个计算机设备500的运行。
该内存储器504为非易失性存储介质503中的计算机程序5032的运行提供环境，该计算机程序5032被处理器502执行时，可使得处理器502执行一种图像配准方法。
该网络接口505用于与其它设备进行网络通信。本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备500的限定，具体的计算机设备500可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
其中，所述处理器502用于运行存储在存储器中的计算机程序5032，以实现如下步骤：
获取待配准图像；在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点；剔除聚集的特征点，以得到非聚集特征点；对非聚集特征点进行特征描述；对非聚集特征点进行特征匹配，以得到匹配结果；剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵；反馈所述最优矩阵至终端。
在一实施例中，处理器502在实现所述在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点步骤时，具体实现如下步骤：
在待配准图像中构建掩模；使用掩模在待配准图像中平滑移动，且利用ORB算法检测每个掩模中的特征点，以得到特征点。
在一实施例中，处理器502在实现所述剔除聚集的特征点，以得到非聚集特征点步骤时，具体实现如下步骤：
寻找每个特征点的邻域内的所有其它特征点；获取ORB算法检测每个掩模中的特征点时所得到的角点响应值；根据角点响应值对每个特征点的邻域内的所有其它特征点进行排序，并筛选每个特征点的邻域内角点响应值最大的其它特征点，以得到非聚集特征点。
在一实施例中，处理器502在实现所述对非聚集特征点进行特征描述步骤时，具体实现如下步骤：
对非聚集特征点计算主方向，并使用ORB描述子进行特征描述。
在一实施例中，处理器502在实现所述对非聚集特征点进行特征匹配，以得到匹配结果步骤时，具体实现如下步骤：
使用汉明距离对非聚集特征点进行特征匹配，以得到匹配结果。
在一实施例中，处理器502在实现所述剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵步骤时，具体实现如下步骤：
采用渐进一致采样法剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵。
在一实施例中，处理器502在实现所述采用渐进一致采样法剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵步骤时，具体实现如下步骤：
按照最短与次最短汉明距离的比值从小到大对匹配结果中的匹配对进行排序，筛选符合要求的匹配对；根据筛选的匹配对进行计算不同待配准图像之间的变换矩阵；根据变换矩阵确定最优矩阵。
应当理解，在本申请实施例中，处理器502可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器502还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
本领域普通技术人员可以理解的是实现上述实施例的方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成。该计算机程序包括程序指令，计算机程序可存储于一存储介质中，该存储介质为计算机可读存储介质。该程序指令被该计算机系统中的至少一个处理器执行，以实现上述方法的实施例的流程步骤。
因此，本发明还提供一种存储介质。该存储介质可以为计算机可读存储介质。该存储介质存储有计算机程序，其中该计算机程序被处理器执行时使处理器执行如下步骤：
获取待配准图像；在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点；剔除聚集的特征点，以得到非聚集特征点；对非聚集特征点进行特征描述；对非聚集特征点进行特征匹配，以得到匹配结果；剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵；反馈所述最优矩阵至终端。
在一实施例中，所述处理器在执行所述计算机程序而实现所述在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点步骤时，具体实现如下步骤：
在待配准图像中构建掩模；使用掩模在待配准图像中平滑移动，且利用ORB算法检测每个掩模中的特征点，以得到特征点。
在一实施例中，所述处理器在执行所述计算机程序而实现所述剔除聚集的特征点，以得到非聚集特征点步骤时，具体实现如下步骤：
寻找每个特征点的邻域内的所有其它特征点；获取ORB算法检测每个掩模中的特征点时所得到的角点响应值；根据角点响应值对每个特征点的邻域内的所有其它特征点进行排序，并筛选每个特征点的邻域内角点响应值最大的其它特征点，以得到非聚集特征点。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对非聚集特征点进行特征描述步骤时，具体实现如下步骤：
对非聚集特征点计算主方向，并使用ORB描述子进行特征描述。
在一实施例中，所述处理器在执行所述计算机程序而实现所述对非聚集特征点进行特征匹配，以得到匹配结果步骤时，具体实现如下步骤：
使用汉明距离对非聚集特征点进行特征匹配，以得到匹配结果。
在一实施例中，所述处理器在执行所述计算机程序而实现所述剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵步骤时，具体实现如下步骤：
采用渐进一致采样法剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵。
在一实施例中，所述处理器在执行所述计算机程序而实现所述采用渐进一致采样法剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵步骤时，具体实现如下步骤：
按照最短与次最短汉明距离的比值从小到大对匹配结果中的匹配对进行排序，筛选符合要求的匹配对；根据筛选的匹配对进行计算不同待配准图像之间的变换矩阵；根据变换矩阵确定最优矩阵。
所述存储介质可以是U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、磁碟或者光盘等各种可以存储程序代码的计算机可读存储介质。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的。例如，各个单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
本发明实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。本发明实施例装置中的单元可以根据实际需要进行合并、划分和删减。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。
该集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，终端，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.图像配准方法，其特征在于，包括：
获取待配准图像；
在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点；
剔除聚集的特征点，以得到非聚集特征点；
对非聚集特征点进行特征描述；
对非聚集特征点进行特征匹配，以得到匹配结果；
剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵；
反馈所述最优矩阵至终端。
2.根据权利要求1所述的图像配准方法，其特征在于，所述在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点，包括：
在待配准图像中构建掩模；
使用掩模在待配准图像中平滑移动，且利用ORB算法检测每个掩模中的特征点，以得到特征点。
3.根据权利要求1所述的图像配准方法，其特征在于，所述剔除聚集的特征点，以得到非聚集特征点，包括：
寻找每个特征点的邻域内的所有其它特征点；
获取ORB算法检测每个掩模中的特征点时所得到的角点响应值；
根据角点响应值对每个特征点的邻域内的所有其它特征点进行排序，并筛选每个特征点的邻域内角点响应值最大的其它特征点，以得到非聚集特征点。
4.根据权利要求3所述的图像配准方法，其特征在于，所述对非聚集特征点进行特征描述，包括：
对非聚集特征点计算主方向，并使用ORB描述子进行特征描述。
5.根据权利要求4所述的图像配准方法，其特征在于，所述对非聚集特征点进行特征匹配，以得到匹配结果，包括：
使用汉明距离对非聚集特征点进行特征匹配，以得到匹配结果。
6.根据权利要求1所述的图像配准方法，其特征在于，所述剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵，包括：
采用渐进一致采样法剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵。
7.根据权利要求1所述的图像配准方法，其特征在于，所述采用渐进一致采样法剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵，包括：
按照最短与次最短汉明距离的比值从小到大对匹配结果中的匹配对进行排序，筛选符合要求的匹配对；
根据筛选的匹配对进行计算不同待配准图像之间的变换矩阵；
根据变换矩阵确定最优矩阵。
8.图像配准装置，其特征在于，包括：
图像获取单元，用于获取待配准图像；
特征点获取单元，用于在待配准图像中构建掩模，且并利用ORB算法检测每个掩模中的特征点，以得到特征点；
聚集剔除单元，用于剔除聚集的特征点，以得到非聚集特征点；
特征描述单元，用于对非聚集特征点进行特征描述；
特征匹配单元，用于对非聚集特征点进行特征匹配，以得到匹配结果；
误匹配剔除单元，用于剔除所述匹配结果中误匹配，根据剔除后的匹配结果计算不同待配准图像之间的变换矩阵，并确定最优矩阵；
反馈单元，用于反馈所述最优矩阵至终端。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器及处理器，所述存储器上存储有计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010985283.5A CN112102383A (zh) | 2020-09-18 | 2020-09-18 | 图像配准方法、装置、计算机设备及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010985283.5A CN112102383A (zh) | 2020-09-18 | 2020-09-18 | 图像配准方法、装置、计算机设备及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112102383A true CN112102383A (zh) | 2020-12-18 |
Family
ID=73759710
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010985283.5A Pending CN112102383A (zh) | 2020-09-18 | 2020-09-18 | 图像配准方法、装置、计算机设备及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112102383A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344994A (zh) * | 2021-06-21 | 2021-09-03 | 京东数科海益信息科技有限公司 | 图像配准方法、装置、电子设备及存储介质 |
| WO2022267287A1 (zh) * | 2021-06-25 | 2022-12-29 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备和存储介质 |
| CN116309741A (zh) * | 2023-05-22 | 2023-06-23 | 中南大学 | Tvds图像配准方法、分割方法、设备及介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102714694A (zh) * | 2010-06-04 | 2012-10-03 | 松下电器产业株式会社 | 图像处理装置、图像处理方法、集成电路、程序 |
| CN109344846A (zh) * | 2018-09-26 | 2019-02-15 | 联想(北京)有限公司 | 图像特征提取方法和装置 |
| WO2019128507A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110555804A (zh) * | 2018-05-31 | 2019-12-10 | 清华大学 | 高分遥感数据的纠正方法、装置、计算机设备及可读存储介质 |
-
2020
- 2020-09-18 CN CN202010985283.5A patent/CN112102383A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102714694A (zh) * | 2010-06-04 | 2012-10-03 | 松下电器产业株式会社 | 图像处理装置、图像处理方法、集成电路、程序 |
| WO2019128507A1 (zh) * | 2017-12-28 | 2019-07-04 | Oppo广东移动通信有限公司 | 图像处理方法、装置、存储介质及电子设备 |
| CN110555804A (zh) * | 2018-05-31 | 2019-12-10 | 清华大学 | 高分遥感数据的纠正方法、装置、计算机设备及可读存储介质 |
| CN109344846A (zh) * | 2018-09-26 | 2019-02-15 | 联想(北京)有限公司 | 图像特征提取方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王文爽等: "基于改进ORB的警用无人机图像配准方法", 《计算机工程与设计》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113344994A (zh) * | 2021-06-21 | 2021-09-03 | 京东数科海益信息科技有限公司 | 图像配准方法、装置、电子设备及存储介质 |
| CN113344994B (zh) * | 2021-06-21 | 2024-04-16 | 京东科技信息技术有限公司 | 图像配准方法、装置、电子设备及存储介质 |
| WO2022267287A1 (zh) * | 2021-06-25 | 2022-12-29 | 浙江商汤科技开发有限公司 | 图像配准方法及相关装置、设备和存储介质 |
| CN116309741A (zh) * | 2023-05-22 | 2023-06-23 | 中南大学 | Tvds图像配准方法、分割方法、设备及介质 |
| CN116309741B (zh) * | 2023-05-22 | 2023-08-11 | 中南大学 | Tvds图像配准方法、分割方法、设备及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112102383A (zh) | 图像配准方法、装置、计算机设备及存储介质 | |
| US20200356818A1 (en) | Logo detection | |
| US8843424B2 (en) | Device and method for multiclass object detection | |
| CN110826519A (zh) | 人脸遮挡检测方法、装置、计算机设备及存储介质 | |
| US7792382B2 (en) | Method and apparatus for filtering, clustering, and region fitting by mean shift of images using kernel function values | |
| Sulaiman et al. | Denoising-based clustering algorithms for segmentation of low level salt-and-pepper noise-corrupted images | |
| WO2022095907A1 (en) | Associating method for detecting blocks of multiple parts of human body, apparatus, electronic device, and storage medium | |
| CN110517262B (zh) | 目标检测方法、装置、设备及存储介质 | |
| JP2014215852A (ja) | 画像処理装置、プログラム及び画像処理方法 | |
| CN109389105B (zh) | 一种基于多任务的虹膜检测和视角分类方法 | |
| CN109949227A (zh) | 图像拼接方法、系统及电子设备 | |
| CN113095333B (zh) | 无监督特征点检测方法及装置 | |
| CN112883940A (zh) | 静默活体检测方法、装置、计算机设备及存储介质 | |
| Joo et al. | Real-time depth-based hand detection and tracking | |
| CN113052245A (zh) | 图像聚类方法和装置、电子设备及存储介质 | |
| CN110472640B (zh) | 一种目标检测模型预测框处理方法及装置 | |
| CN110516731B (zh) | 一种基于深度学习的视觉里程计特征点检测方法及系统 | |
| CN110147837B (zh) | 基于特征聚焦的任意方向密集目标检测方法、系统及设备 | |
| CN112784854B (zh) | 基于数理统计的服装颜色分割提取方法、装置和设备 | |
| CN113918744A (zh) | 相似图像检索方法、装置、存储介质及计算机程序产品 | |
| CN113728357B (zh) | 图像处理方法、图像处理装置以及图像处理系统 | |
| CN112465050A (zh) | 一种图像模板选择方法、装置、设备及存储介质 | |
| CN112015935A (zh) | 图像搜索方法、装置、电子设备及存储介质 | |
| CN111178200A (zh) | 一种仪表盘指示灯的识别方法及计算设备 | |
| CN116468947A (zh) | 刀具图像识别方法、装置、计算机设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |