CN112233153A - 图像匹配方法、装置、电子设备及存储介质 - Google Patents

图像匹配方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN112233153A
CN112233153A CN202011036436.8A CN202011036436A CN112233153A CN 112233153 A CN112233153 A CN 112233153A CN 202011036436 A CN202011036436 A CN 202011036436A CN 112233153 A CN112233153 A CN 112233153A
Authority
CN
China
Prior art keywords
pyramid
pixel
image
point
matching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011036436.8A
Other languages
English (en)
Inventor
王鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Megvii Technology Co Ltd
Original Assignee
Beijing Megvii Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Megvii Technology Co Ltd filed Critical Beijing Megvii Technology Co Ltd
Priority to CN202011036436.8A priority Critical patent/CN112233153A/zh
Publication of CN112233153A publication Critical patent/CN112233153A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Abstract

本申请提供了一种图像匹配方法、装置、电子设备及存储介质。该方法，包括：分别构建第一图像的第一金字塔及第二图像的第二金字塔；对第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；将第一匹配关系映射到第一金字塔及第二金字塔的第二层图像，并根据第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；根据第一初始偏移量获得第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；将第二匹配关系映射到第一金字塔及第二金字塔的第一层图像，并在第二金字塔的第一层图像进行搜索，以获取第一图像的每一第一像素点在第二图像中的匹配的第二像素点。

Description

图像匹配方法、装置、电子设备及存储介质
技术领域
本申请涉及计算机网络技术领域，具体而言，涉及一种图像匹配方法、装置、电子设备及存储介质。
背景技术
图像匹配技术是计算机视觉等领域的热点领域，并在图像融合(image fusion)，图像超分辨率(image super resolution)，立体视觉(stereo vision)等邻域中广泛应用。如何快速且高质量的完成两幅图像之间的图像块最相似块匹配，是图像匹配技术的研究重点。
现有图像块主流技术主要包括PatchMatch、TreeCANN、PAKT等。PatchMatch是一种迭代非建树的方法，没有数据降维和建立树结构的过程，通过随机初始化和邻域块相似性传播的方式，提高匹配效率。但直接采用原始图像块进行对比，匹配过程非常耗时，随着图像块尺寸的增加，图像块的对比耗时呈二次曲线增长。
针对上述问题，目前尚未有有效的技术解决方案。
发明内容
本申请实施例的目的在于提供一种图像匹配方法、装置、电子设备及存储介质，可以提高图像匹配效率。
第一方面，本申请实施例提供了种图像匹配方法，所述方法包括：
分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的越接近第一层图像的层级的图像的分辨率越大；
对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；
将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；
根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；
将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点。
可选地，在本申请实施例所述的图像匹配方法中，所述分别构建第一图像的第一金字塔及第二图像的第二金字塔，包括：
对第一图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第一图像的第一金字塔；
对第二图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第二图像的第二金字塔。
可选地，在本申请实施例所述的图像匹配方法中，所述对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系，包括：
对所述第一金字塔的第三层图像进行ORB特征点检测，以得到第一特征点集，所述第一特征点集包括多个第一特征点；
对所述第二金字塔的第三层图像进行ORB特征点检测，以得到第二特征点集，所述第二特征点集包括多个第二特征点；
基于欧式距离对所述第一特征点集与所述第二特征点集进行匹配，以得到第一匹配关系；所述第一匹配关系包括多个匹配特征点对，每一匹配特征点对包括一第一特征点以及一与该第一特征点匹配的第二特征点。
可选地，在本申请实施例所述的图像匹配方法中，所述基于欧式距离对所述第一特征点集与所述第二特征点集进行匹配，以得到第一匹配关系，包括：
给所述第一特征点集中的每一第一特征点选取一个欧式距离最小的第二特征点，以得到多个初始匹配特征点对；
将所述多个初始匹配特征点对中的离群点以及噪声点删除，以得到第一匹配关系。
可选地，在本申请实施例所述的图像匹配方法中，所述第一初始偏移量包括第一偏移量以及随机偏移量；
所述将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔及第二金字塔在第二层图像的第一初始偏移量，包括：
在第一金字塔的第二层图像确定出每一第一特征点以及每一第一特征点对应的第三像素块，每一所述第一特征点位于对应第三像素块的中心；
在第二金字塔的第二层图像确定出每一第二特征点以及每一第二特征点对应的第四像素块，每一所述第二特征点位于对应第四像素块的中心；
根据所述第一匹配关系确认出相互匹配的第三像素块与第四像素块的第一偏移量；
将所述第一金字塔的第二层图像中的第三像素点关于第二金字塔的第二层图像的第四像素点的偏移量进行随机分配，得到随机偏移量，所述第三像素点为所述第一金字塔的第二层图像中的第三像素块以外的像素点，所述第四像素点为所述第二金字塔的第二层图像中的第四像素块以外的像素点。
可选地，在本申请实施例所述的图像匹配方法中，根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系，包括：
采用ORB特征点四邻域传播的方式对所述第一初始偏移量进行更新，并基于更新后的第一初始偏移量计算所述第一金字塔与所述第二金字塔的在第二层图像的第二匹配关系。
可选地，在本申请实施例所述的图像匹配方法中，所述采用ORB特征点四邻域传播的方式对所述第一初始偏移量进行更新，并基于更新后的第一初始偏移量计算所述第一金字塔与所述第二金字塔的在第二层图像的第二匹配关系，包括：
根据每一第三像素点的随机偏移量确定其对应的第四像素点；
计算每一第三像素点的区域块与对应的第四像素点的区域块的初始相似度；其中，区域块为以对应像素点为中心的预设范围区域；
计算每一所述第三像素点的各个四邻域像素点的区域块与对应所述第四像素点的区域块的第一相似度；
根据每一所述第三像素点对应的初始相似度以及多个第一相似度，对每一所述随机偏移量进行更新，得到对应的第二偏移量；
根据所述第一偏移量以及所述第二偏移量获取所述第一金字塔以及第二金字塔在第二层图像的第二匹配关系。
可选地，在本申请实施例所述的图像匹配方法中，所述根据每一所述第五特征点的初始相似度以及多个第一相似度，对每一所述随机偏移量进行更新，得到对应的第二偏移量，包括：
若一所述第三像素点对应的初始相似度大于其每一四邻域像素点对应的第一相似度，则将对应第三像素点的第一初始偏移量设置为其第二偏移量；
若一所述第三像素点对应的初始相似度不大于其每一四邻域像素点对应的第一相似度，则根据其各个四邻域像素点中对应第一相似度最大的四邻域像素点对所述第一初始偏移量进行更新，得到第二偏移量。
可选地，在本申请实施例所述的图像匹配方法中，所述第一像素点包括多个第五像素点以及多个第七像素点；
所述将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一图层，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的相似度最大的第二像素点，包括：
在第一金字塔和第二金字塔的第一层图像分别确定出每一第一特征点对应的第五像素块以及每一第二特征点对应的第六像素块；每一所述第一特征点位于对应第五像素块的中心，每一所述第五像素块包括多个第五像素点；每一所述第二特征点位于对应第六像素块的中心，每一所述第六像素块包括多个第六像素点；
根据所述第二匹配关系确定出每一第五像素点匹配的第六像素点；
在第一金字塔和第二金字塔的第一层图像确定出每一第三像素点对应的第七像素块以及每一第四像素点对应的第八像素块；每一所述第五像素块包括多个第七像素点；每一所述第八像素块包括多个第八像素点；
在所述第八像素块所在的区域搜索与每一所述第七像素点匹配的第八像素点。
可选地，在本申请实施例所述的图像匹配方法中，所述在所述第八像素块所在的区域搜索与每一所述第七像素点匹配的第八像素点，包括：
将多个第七像素点中的一个未搜索到匹配点的第七像素点作为当前第七像素点；
获取与所述当前第七像素点对应的第八像素点最接近的第二特征点的欧式距离r，并以对应的第八像素点作为搜索中心、以欧式距离r作为搜索半径设定预设搜索范围；
在所述预设搜索范围内搜索出的预设数量的第八像素点，并从所述预设数量的第八像素点中筛选出与所述当前第七像素点的相似度最大的第八像素点；
判断是否完成预设次搜索；
若未完成，则以所述相似度最大的第八像素点作为搜索中心，并减小搜索半径以得到新的预设搜索范围，然后返回至所述在预设搜索范围内随机搜索出的预设数量的第八像素点的步骤；
若完成，则以所述相似度最大的第八像素点作为所述当前第七像素点的匹配点；并判断所述多个第七像素点是否均搜索到匹配点；
若存在未搜索到匹配点的第七像素点，则返回至将多个第七像素点中的一个未搜索到匹配点的第七像素点作为当前第七像素点的步骤；
若不存在未搜索到匹配点的第七像素点，则结束搜索。
第二方面，本申请实施例提供了一种图像匹配装置，用于将第一图像与第二图像进行匹配，所述装置包括：
构建模块，用于分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的越接近第一层图像的层级的图像的分辨率越大；
第一匹配模块，用于对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；
第一获取模块，用于将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；
第二获取模块，用于根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；
搜索模块，用于将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点。
本申请实施例提供的图像匹配方法及装置通过分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的越接近第一层图像的层级的图像的分辨率越大；对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点；从而实现图像匹配，由于采用特征点匹配的方式提供较多像素点的准确的匹配关系，降低了需要进行搜索的匹配点的数量，从而提高了效率。
本申请的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请实施例了解。本申请的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例中的图像匹配方法的一种流程图。
图2为本申请实施例中的图像匹配方法的匹配点搜索方法的流程图。
图3为本申请实施例中的图像匹配装置的一种结构示意图。
图4为本申请实施例中的图像匹配装置的搜索单元的结构示意图。
图5为本申请实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
请参照图1，图1是本申请一些实施例中的一种图像匹配方法的流程图。该方法包括以下步骤：
S101、分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的各层图像的分辨率随着层级增大而减小。
S102、对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，并得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系。
S103、将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量。
S104、根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系。
S105、将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点。
其中，在该步骤S101中，在该第一金字塔以及第二金字塔中，越接近第一层图像的层级的图像的分辨率越大。本申请中可以采用现有技术中常用的方法来构建该第一图像的第一金字塔以及第二图像的第二金字塔。其中，该第一金字塔以及该第二金字塔均包括三层图像，该三层图像分别为分辨率依次降低的第一层图像、第二层图像以及第三层图像。当然，可以理解地，在一些实施例中，也可以设置四层图像或者更多层图像。其中，在一些实施例中，该第一金字塔和第二金字塔的第一层图像到第二层图像的下采样率相同，第一金字塔和第二金字塔的第二层图像到第三层图像的下采样率相同。
具体地，在一些实施例中，该步骤S101包括以下子步骤：S1011、对第一图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第一图像的第一金字塔；S1012、对第二图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第二图像的第二金字塔。
其中，在该步骤S1011中，可以采用边长为3*3的正方形来对第一图像进行均值模糊，当然，也可以选择其他规格的正方形。该第一图像作为该第一金字塔的第一层图像。在对该第一图像进行第一轮均值模糊以及第一轮降采样后，得到该第一金字塔的第二层图像。对第二层图像进行第二轮均值模糊以及第二轮降采样后，得到该第一金字塔的第三层图像。在该步骤S1012中，可以采用边长为3*3的正方形对第二图像进行均值模糊，当然，也可以选择其他规格的正方形。但是，必须保证第一图像以及第二图像采用正方形规格相同。该第二图像作为该第二金字塔的第一层图像。在对该第二图像进行第一轮均值模糊以及第一轮降采样后，得到该第二金字塔的第二层图像。在对第二层图像进行第二轮均值模糊以及第二轮降采样后，得到该第二金字塔的第三层图像。当然，可以理解地，如果金字塔的层数为其他数量，则对应的均值模糊以及降采样的轮数也对应调整。
其中，在该步骤S102中，可以通过ORB特征点提取的方法来提取第一金字塔及第二金字塔的第三层图像的特征点，然后进行特征匹配，即可求出第一金字塔相对于第二金字塔的在第三层图像的第一匹配关系。
具体地，在一些实施例中，该步骤S102包括以下子步骤：S1021、对所述第一金字塔的第三层图像进行ORB特征点检测，以得到第一特征点集；S1022、对所述第二金字塔的第三层图像进行ORB特征点检测，以得到第二特征点集；S1023、基于欧式距离对所述第一特征点集与所述第二特征点集进行匹配，以得到第一匹配关系；所述第一匹配关系包括多个匹配特征点对，每一所述匹配特征点对包括第一特征点集中的一个第一特征点以及第二特征点集中的一个第二特征点。
其中，在该步骤S1021中，图像的ORB特征点可以简单的理解为图像中比较显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。ORB特征点检测可以采用FAST(features from accelerated segment test)算法。该第一特征点集包括多个第一特征点。在该步骤S1022中，可以采用与步骤S1021相同的方法进行ORB特征点采集。该第二特征点集包括多个第二特征点。ORB特征点包括第一特征点以及第二特征点。
其中，在该步骤S1023中，可以通过计算某一第一特征点与其他每一第二特征点的欧式距离的方式，找出与该第一特征点相似度满足预设条件的第二特征点作为其匹配特征点，进而采用该第一特征点以及与其匹配的第二特征点组成一个匹配特征点对。
具体地，在一些实施例中，该步骤S1023具体可包括以下步骤：S10231、给所述第一特征点集中的每一第一特征点选取一个欧式距离最小的第二特征点，以得到多个初始匹配特征点对；S10232、将所述多个初始匹配特征点对中的离群点以及噪声点删除，以得到第一匹配关系。其中，在该步骤S10231中，欧式距离的计算属于现有技术，无需过多描述。而如果遇到两个第一特征点与一个第二特征点的欧式距离相同，则随机选取其中一个第一特征点与该第二特征点构成初始匹配特征点对。其中，在该步骤S10232中，通过将欧式距离大于预设阈值的初始匹配特征点对作为离群点进行删除，可以通过将相似度大于该多个初始匹配特征点对的平均相似度的三倍的初始匹配特征点对作为噪声点进行删除，当然，也可以采用其他方式来删除离群点和噪声点。
其中，在该步骤S103中，该第一初始偏移量包括第一偏移量以及随机偏移量。其中，该第一偏移量是根据该第一匹配关系计算得出，该随机偏移量是对第一匹配关系以外的像素点采用随机赋值的方式设定的偏移量。由于该初始偏移量中包括许多正确率较高的第一偏移量，因此，在后续进行特征点更新时，所需要四邻域传播的像素点数量大大降低，减小了计算量，从而显著提高了运行效率。
其中，在一些实施例中，该步骤S103包括以下子步骤：S1031、在第一金字塔的第二层图像确定出每一第一特征点以及每一第一特征点对应的第三像素块，每一所述第一特征点位于对应第三像素块的中心。S1032、在第二金字塔的第二层图像确定出每一第二特征点以及每一第二特征点对应的第四像素块，每一所述第二特征点位于对应第四像素块的中心；S1033、根据所述第一匹配关系确认出相互匹配的第三像素块与第四像素块的第一偏移量；S1034、将所述第一金字塔的第二层图像中的第三像素点关于第二金字塔的第二层图像的第四像素点的偏移量进行随机分配，得到随机偏移量，所述第三像素点为所述第一金字塔的第二层图像中的第三像素块以外的像素点，所述第四像素点为所述第二金字塔的第二层图像中的第四像素块以外的像素点。
其中，在该步骤S1031中，该第三像素块一般为以该第一特征点为中心的预设正方形区域。该第一特征点可以以投影的方式映射到该第一金字塔的第二图层。其中，该第一像素块的尺寸与第三层图像与第二层图像之间的尺度比例相关，如果第三层图像相对于该第二层图像的缩放比例越大，该第三像素块的尺寸越大。在该步骤S1032中，第四像素块一般为以该第二特征点为中心的预设正方形区域。该第二特征点可以以投影的方式映射到该第二金字塔的第二图层。当然，该第三像素块以及该第四像素块的尺寸以及形状相同，也即是该第三像素块以及该第四像素块具有相同数量的像素点。在该步骤S1033中，可以根据该第一特征点相对于该第二特征点的匹配关系的到该第一特征点相对于该第二特征点的偏移量，也即是可以根据第一特征点在该第一金字塔的第二层图像中的坐标以及该第二特征点在该第二金字塔的第二层图像中的坐标计算出该偏移量。该偏移量即为该第三像素块相对于第四像素块的第一偏移量。在该步骤S1034中，可以采用以下随机公式来随机分配第三像素点以及第四像素点的随机偏移量。计算公式如下：δx＝random(wb)；δy＝random(hb)，其中，random(wb)是指在wb的范围内取随机值的意思，random(hb)是指在hb的范围内取随机值的意思。其中，该wb以及hb分别为该第二金字塔的第二层图像的宽度以及高度。当然，该随机偏移量的水平分量不能超出该第二金字塔的第二层图像的宽度，该随机偏移量的竖直分量不能超出该第二金字塔的第二层图像的高度。
其中，在该步骤S104中，可以采用对该第一初始偏移量中的随机偏移量进行校正，然后得到第三像素块以及第四像素块之外的像素点的正确偏移量。在一些实施例中，可以采用特征点的四邻域传播的方式，来对该随机偏移量进行更新，从而得到正确的第二匹配关系。
具体地，在一些实施例中，该步骤S104包括以下子步骤：S1041、根据每一第三像素点的随机偏移量确定其对应的第四像素点；S1042、计算每一第三像素点的区域块与对应的第四像素点的区域块的初始相似度；其中，区域块为以对应像素点为中心的预设范围区域；S1043、计算每一所述第三像素点的各个四邻域像素点的区域块与对应所述第四像素点的区域块的第一相似度；S1044、根据每一所述第三像素点对应的初始相似度以及多个第一相似度，对每一所述随机偏移量进行更新，得到对应的第二偏移量；S1045、根据所述第一偏移量以及所述第二偏移量获取所述第一金字塔以及第二金字塔在第二层图像的第二匹配关系。
其中，在该步骤S1041中，将该第三像素点的坐标加上其被分配的随机偏移量即可得到与其对应的第四像素点的坐标。其中，在该步骤S1042中，该区域块一般为正方形块，每一个四邻域像素点对应一个区域块，各个区域块的尺寸及形状相同。其中，像素点A的四邻域像素点可以为该像素点A的四邻域内的各个像素点中一个。计算该初始相似度时可以采用计算欧式距离的方式来计算两个区域块的相似度。其中，在该步骤S1043中，对应所述第四像素点是指通过该随机偏移量与该第三像素点关联的第四像素点。同样在该步骤中也可以采用计算欧式距离的方式来计算两个区域块的相似度。当然，也可以采用其他常见算法来计算两个区域块的相似度。在该步骤S1044中，以该第四像素点为基准，选择与该第四像素点对应的区域块相似度最大的区域块来生成该第二偏移量。其中，在该步骤S1045中，该第二匹配关系基于该第一偏移量以及第二偏移量生成。其中，该第二匹配关系是指第一金字塔的第二层图像与第二金字塔的第二层图像的像素点之间的对应关系，也即是根据该第二匹配关系，第一金字塔的第二层图像的一个像素点可以在该第二金字塔的第二层图像中找到一个匹配的像素点。
具体地，在一些实施例中，该步骤S1044具体包括以下子步骤：S10441、若一所述第三像素点对应的初始相似度大于其每一四邻域像素点对应的第一相似度，则将对应第三像素点的第一初始偏移量设置为其第二偏移量；S10442、若一所述第三像素点对应的初始相似度不大于其每一四邻域像素点对应的第一相似度，则根据其各个四邻域像素点中对应第一相似度最大的四邻域像素点对所述随机偏移量进行更新，得到第二偏移量。
例如，该第三像素点对应的相似度为a1，其各个四邻域像素点对应的第一相似度分别为a2、a3、a4、a5以及a6。其中，该四邻域像素点对应的相似度是指该四邻域像素点对应的区域块与该第三像素点对应的区域块之间的相似度。如果该a1大于该a2、a3、a4、a5以及a6，则以该第三像素点的第一初始偏移量中对应的随机偏移量作为该第二偏移量。如果该a1不大于该a2、a3、a4、a5以及a6，则将a2、a3、a4、a5以及a6中的最大值对应的四邻域像素点更新为该第四像素点的匹配点，根据该最大值对应的四邻域像素点的坐标以及该第四像素点的坐标计算得到该第二偏移量。
其中，在该步骤S105中，可以将第二匹配关系映射到第一金字塔的第一层图像以及第二金字塔的第二层图像，然后进行迭代优化，从而查找出第一图像的每一像素点在该第二图像中的最大相似度的像素点，也即是匹配的像素点。
具体地，在一些实施例中，该第一图像的第一像素点包括多个第五像素点以及多个第七像素点，该第二图像的第二像素点包括多个第六像素点以及多个第八像素点。该步骤S105可以包括以下子步骤：
S1051、在第一金字塔和第二金字塔的第一层图像分别确定出每一第一特征点对应的第五像素块以及每一第二特征点对应的第六像素块；每一所述第一特征点位于对应第五像素块的中心，每一所述第五像素块包括多个第五像素点；每一所述第二特征点位于对应第六像素块的中心，每一所述第六像素块包括多个第六像素点；S1052、根据所述第二匹配关系确定出每一第五像素点匹配的第六像素点；S1053、在第一金字塔和第二金字塔的第一层图像确定出每一第三像素点对应的第七像素块以及每一第四像素点对应的第八像素块；每一所述第七像素块包括多个第七像素点；每一所述第八像素块包括多个第八像素点；S1054、在所述第八像素块所在的区域搜索与每一所述第七像素点匹配的第八像素点。
也即是其中，多个第一像素点中的第五像素点通过第一特征点与第二特征点的匹配关系的到了多个第二像素点中的第六像素点。而多个第一像素点中的第七像素点是通过搜索的方式得到的多个第二像素点中的第八像素点。由于通过特征点匹配的方式已经找到了第一图像的部分第五像素点在第二图像中最相似的第六像素点，因此，需要进行搜索得到匹配点的第七像素点的数量大大减少，从而提高了运算效率。
其中，在该步骤S1051中，该第一特征点对应的第五像素块的尺寸比该第一特征点在该第二层图像对应的第三像素块的尺寸大。第五像素块的尺寸与该第三层图像相对于该第二层图像的缩放比例正相关。该第五像素块包括多个第五像素点。该第一特征点位于该第五像素块的中心处。该第五像素块呈正方形状或者圆形状。该第二特征点对应的第六像素块的尺寸大于该第二特征点在该第二层图像所对应的第四像素块的尺寸。当然，该第五像素块的尺寸与该第六像素块的尺寸相同。
其中，在该步骤S1052中，先根据该第二匹配关系中的第一偏移量确定出相互匹配的第五像素块以及第六像素块。相互匹配的第五像素块与该第六像素块中的像素点也是一一对应且匹配的。因此，也可以根据该第一偏移量确定出每一第五像素块中的第五像素点匹配的第六像素块中的第六像素点。
其中，在该步骤S1053中，第七像素块的尺寸与第八像素块的尺寸及形状相等，并且也与第五像素块以及第六像素块的尺寸及形状相等。先将每一第三像素点映射到第一金字塔的第一层图像，将每一第四像素点映射到第二金字塔的第二层图像。映射时，可以根据该第二层图像与该第一层图像的尺度的比例关系，将第三像素点的坐标等比例放大，即可得到该第三像素点在该第一层图像上的映射点，然后基于该映射点得到对应的第七像素块。可以根据该第二层图像与该第一层图像的尺度的比例关系，将第四像素点的坐标等比例放大，即可得到该第四像素点在该第一层图像上的映射点，然后基于该映射点得到对应的第八像素块。其中，该第七像素块是以对应映射点为中心的正方形像素块。该第八像素块是以对应映射点为中心的正方形像素块。
其中，在该步骤S1054中，可以采用依次逐一搜索的方式来得到第七像素点的相似度最大的第八像素点作为该第七像素点的匹配点，当然为了提高效率，也可以在一定范围内进行搜索。
在一些实施例中，如图2所示，该步骤S1054可以包括：
S10541、将多个第七像素点中的一个未搜索到匹配点的第七像素点作为当前第七像素点。S10542、获取与所述当前第七像素点对应的第八像素点最接近的第二特征点的欧式距离r，并以该对应的第八像素点作为搜索中心、以欧式距离r作为搜索半径设定预设搜索范围。S10543、在所述预设搜索范围内搜索出的预设数量的第八像素点，并从所述预设数量的第八像素点中筛选出与所述当前第七像素点的相似度最大的第八像素点。S10544、判断是否完成预设次搜索。S10545、若未完成，则以所述相似度最大的第八像素点作为搜索中心，并减小搜索半径以得到新的预设搜索范围，然后返回至所述在预设搜索范围内随机搜索出的预设数量的第八像素点的步骤。S10546、若完成，则以所述相似度最大的第八像素点作为所述当前第七像素点的匹配点；并判断所述多个第七像素点是否均搜索到匹配点。S10547、若存在未搜索到匹配点的第七像素点，则返回至将多个第七像素点中的一个未搜索到匹配点的第七像素点作为当前第七像素点的步骤。S10548、若不存在，则结束搜索。
其中，在该步骤S10541中，可以基于各个第七像素点的坐标来进行依次选取，得到该当前第七像素点。当然，也可以采用其他方式，只要最终完成对每一第七像素点在第二图像中的匹配点的搜索即可。其中，在该步骤S10542中，该欧式距离r采用现有技术中的计算方法即可计算得到。当然，可以理解地，该预设搜索范围还可以采用其他方式来设定。在该预设搜索范围内可以采用随机搜索的方式来得到该预设数量的第八像素点。该预设数量可以为100或者200，当然，其也可以根据该预设搜索范围的第八像素点的总数量来进行设定，例如，如果总数量为x个，则可以随机搜索0.1x个第八像素点。其中，在该步骤S10543中，该预设次的具体数量可以根据实际情况进行设定，也可以是经过多次试验得到的经验值。其中，在该步骤S10544中，可以每次减小为当前搜索半径的一半，当然，缩小为其他比例也可，例如，1/3。其中，在该步骤S10545中，该相似度最大的第八像素点就是该当前第七像素点的匹配点。当然，也许该第八像素点不是最佳的，但是经过多次迭代，其为匹配点的概率已经满足需求。当然，如果需要精确度更高，可以采用逐一匹配的方式，只不过这样会增加计算量。其中，在该步骤S10546中，如果存在则说明书第七像素点的搜索工作未完成，需要重复执行上述步骤S10541-S10545，直至对每一第七像素点的匹配点搜索完成。
由上可知，本申请实施例提供的图像匹配方法通过分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的越接近第一层图像的层级的图像的分辨率越大；对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点；从而实现图像匹配，由于采用特征点匹配的方式提供较多像素点的准确的匹配点，降低了需要进行搜索的匹配点的数量，从而提高了效率。
请参照图3，图3是本申请一些实施例中的一种图像匹配装置的结构示意图，用于将第一图像与第二图像进行匹配，该图像匹配装置包括：构建模块201、第一匹配模块202、第一获取模块203、第二获取模块204以及搜索模块205。
其中，该构建模块201用于分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的各层图像的分辨率随着层级增大而减小。其中，在该第一金字塔以及第二金字塔中，越接近第一层图像的层级的图像的分辨率越大。本申请中可以采用现有技术中常用的方法来构建该第一图像的第一金字塔以及第二图像的第二金字塔。其中，该第一金字塔以及该第二金字塔均包括三层图像，该三层图像分别为分辨率依次降低的第一层图像、第二层图像以及第三层图像。当然，可以理解地，在一些实施例中，也可以设置四层图像或者更多层图像。其中，在一些实施例中，该第一金字塔和第二金字塔的第一层图像到第二层图像的下采样率相同，第一金字塔和第二金字塔的第二层图像到第三层图像的下采样率相同。
具体地，在一些实施例中，该构建模块201具体用于：对第一图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第一图像的第一金字塔；对第二图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第二图像的第二金字塔。
其中，该构建模块201可以采用边长为3*3的正方形来对第一图像进行均值模糊，当然，也可以选择其他规格的正方形。该第一图像作为该第一金字塔的第一层图像。在对该第一图像进行第一轮均值模糊以及第一轮降采样后，得到该第一金字塔的第二层图像。对第二层图像进行第二轮均值模糊以及第二轮降采样后，得到该第一金字塔的第三层图像。在该步骤该构建模块201可以采用边长为3*3的正方形对第二图像进行均值模糊，当然，也可以选择其他规格的正方形。但是，必须保证第一图像以及第二图像采用正方形规格相同。该第二图像作为该第二金字塔的第一层图像。在对该第二图像进行第一轮均值模糊以及第一轮降采样后，得到该第二金字塔的第二层图像。在对第二层图像进行第二轮均值模糊以及第二轮降采样后，得到该第二金字塔的第三层图像。当然，可以理解地，如果金字塔的层数为其他数量，则对应的均值模糊以及降采样的轮数也对应调整。
其中，该第一匹配模块202用于对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，并得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系。该第一匹配模块202可以通过ORB特征点提取的方法来提取第一金字塔及第二金字塔的第三层图像的特征点，然后进行特征匹配，即可求出第一金字塔相对于第二金字塔的在第三层图像的第一匹配关系。
具体地，在一些实施例中，该第一匹配模块202具体用于：对所述第一金字塔的第三层图像进行ORB特征点检测，以得到第一特征点集；对所述第二金字塔的第三层图像进行ORB特征点检测，以得到第二特征点集；基于欧式距离对所述第一特征点集与所述第二特征点集进行匹配，以得到第一匹配关系；所述第一匹配关系包括多个匹配特征点对，每一所述匹配特征点对包括第一特征点集中的一个第一特征点以及第二特征点集中的一个第二特征点。其中，图像的ORB特征点可以简单的理解为图像中比较显著的点，如轮廓点，较暗区域中的亮点，较亮区域中的暗点等。ORB特征点检测可以采用FAST(features fromaccelerated segment test)算法。该第一特征点集包括多个第一特征点。该第二特征点集包括多个第二特征点。ORB特征点包括第一特征点以及第二特征点。
其中，该第一匹配模块202可以通过计算某一第一特征点与其他每一第二特征点的欧式距离的方式，找出与该第一特征点相似度满足预设条件的第二特征点作为其匹配特征点，进而采用该第一特征点以及与其匹配的第二特征点组成一个匹配特征点对。
具体地，在一些实施例中，该第一匹配模块202具体用于：给所述第一特征点集中的每一第一特征点选取一个欧式距离最小的第二特征点，以得到多个初始匹配特征点对；将所述多个初始匹配特征点对中的离群点以及噪声点删除，以得到第一匹配关系。欧式距离的计算属于现有技术，无需过多描述。而如果遇到两个第一特征点与一个第二特征点的欧式距离相同，则随机选取其中一个第一特征点与该第二特征点构成初始匹配特征点对。其中，通过将欧式距离大于预设阈值的初始匹配特征点对作为离群点进行删除，可以通过将相似度大于该多个初始匹配特征点对的平均相似度的三倍的初始匹配特征点对作为噪声点进行删除，当然，也可以采用其他方式来删除离群点和噪声点。
其中，第一获取模块203，用于该将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量。该第一初始偏移量包括第一偏移量以及随机偏移量。其中，该第一偏移量是根据该第一匹配关系计算得出，该随机偏移量是对第一匹配关系以外的像素点采用随机赋值的方式设定的偏移量。由于该初始偏移量中包括许多正确率较高的第一偏移量，因此，在后续进行特征点更新时，所需要四邻域传播的像素点数量大大降低，减小了计算量，从而显著提高了运行效率。
其中，在一些实施例中，该第一获取模块203具体用于：在第一金字塔的第二层图像确定出每一第一特征点以及每一第一特征点对应的第三像素块，每一所述第一特征点位于对应第三像素块的中心。在第二金字塔的第二层图像确定出每一第二特征点以及每一第二特征点对应的第四像素块，每一所述第二特征点位于对应第四像素块的中心；根据所述第一匹配关系确认出相互匹配的第三像素块与第四像素块的第一偏移量；将所述第一金字塔的第二层图像中的第三像素点关于第二金字塔的第二层图像的第四像素点的偏移量进行随机分配，得到随机偏移量，所述第三像素点为所述第一金字塔的第二层图像中的第三像素块以外的像素点，所述第四像素点为所述第二金字塔的第二层图像中的第四像素块以外的像素点。其中，第三像素块一般为以该第一特征点为中心的预设正方形区域。该第一特征点可以以投影的方式映射到该第一金字塔的第二图层。其中，该第一像素块的尺寸与第三层图像与第二层图像之间的尺度比例相关，如果第三层图像相对于该第二层图像的缩放比例越大，该第三像素块的尺寸越大。第四像素块一般为以该第二特征点为中心的预设正方形区域。该第二特征点可以以投影的方式映射到该第二金字塔的第二图层。当然，该第三像素块以及该第四像素块的尺寸以及形状相同，也即是该第三像素块以及该第四像素块具有相同数量的像素点。可以根据该第一特征点相对于该第二特征点的匹配关系的到该第一特征点相对于该第二特征点的偏移量，也即是可以根据第一特征点在该第一金字塔的第二层图像中的坐标以及该第二特征点在该第二金字塔的第二层图像中的坐标计算出该偏移量。该偏移量即为该第三像素块相对于第四像素块的第一偏移量。可以采用以下随机公式来随机分配第三像素点以及第四像素点的随机偏移量。计算公式如下：δx＝random(wb)；δy＝random(hb)，其中，random(wb)是指在wb的范围内取随机值的意思，random(hb)是指在hb的范围内取随机值的意思。其中，该wb以及hb分别为该第二金字塔的第二层图像的宽度以及高度。当然，该随机偏移量的水平分量不能超出该第二金字塔的第二层图像的宽度，该随机偏移量的竖直分量不能超出该第二金字塔的第二层图像的高度。
其中，该第二获取模块204用于根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系。可以采用对该第一初始偏移量中的随机偏移量进行校正，然后得到第三像素块以及第四像素块之外的像素点的正确偏移量。在一些实施例中，可以采用特征点的四邻域传播的方式，来对该随机偏移量进行更新，从而得到正确的第二匹配关系。
具体地，在一些实施例中，该第二获取模块204具体用于：根据每一第三像素点的随机偏移量确定其对应的第四像素点；计算每一第三像素点的区域块与对应的第四像素点的区域块的初始相似度；其中，区域块为以对应像素点为中心的预设范围区域；计算每一所述第三像素点的各个四邻域像素点的区域块与对应所述第四像素点的区域块的第一相似度；根据每一所述第三像素点对应的初始相似度以及多个第一相似度，对每一所述随机偏移量进行更新，得到对应的第二偏移量；根据所述第一偏移量以及所述第二偏移量获取所述第一金字塔以及第二金字塔在第二层图像的第二匹配关系。其中，将该第三像素点的坐标加上其被分配的随机偏移量即可得到与其对应的第四像素点的坐标。该区域块一般为正方形块，每一个四邻域像素点对应一个区域块，各个区域块的尺寸及形状相同。其中，像素点A的四邻域像素点可以为该像素点A的四邻域内的各个像素点中一个。计算该初始相似度时可以采用计算欧式距离的方式来计算两个区域块的相似度。对应所述第四像素点是指通过该随机偏移量与该第三像素点关联的第四像素点。同样在该步骤中也可以采用计算欧式距离的方式来计算两个区域块的相似度。当然，也可以采用其他常见算法来计算两个区域块的相似度。以该第四像素点为基准，选择与该第四像素点对应的区域块相似度最大的区域块来生成该第二偏移量。该第二匹配关系基于该第一偏移量以及第二偏移量生成。其中，该第二匹配关系是指第一金字塔的第二层图像与第二金字塔的第二层图像的像素点之间的对应关系，也即是根据该第二匹配关系，第一金字塔的第二层图像的一个像素点可以在该第二金字塔的第二层图像中找到一个匹配的像素点。
具体地，在一些实施例中，该第二获取模块204可以用于：若一所述第三像素点对应的初始相似度大于其每一四邻域像素点对应的第一相似度，则将对应第三像素点的第一初始偏移量设置为其第二偏移量；若一所述第三像素点对应的初始相似度不大于其每一四邻域像素点对应的第一相似度，则根据其各个四邻域像素点中对应第一相似度最大的四邻域像素点对所述随机偏移量进行更新，得到第二偏移量。
例如，该第三像素点对应的相似度为a1，其各个四邻域像素点对应的第一相似度分别为a2、a3、a4、a5以及a6。其中，该四邻域像素点对应的相似度是指该四邻域像素点对应的区域块与该第三像素点对应的区域块之间的相似度。如果该a1大于该a2、a3、a4、a5以及a6，则以该第三像素点的第一初始偏移量中对应的随机偏移量作为该第二偏移量。如果该a1不大于该a2、a3、a4、a5以及a6，则将a2、a3、a4、a5以及a6中的最大值对应的四邻域像素点更新为该第四像素点的匹配点，根据该最大值对应的四邻域像素点的坐标以及该第四像素点的坐标计算得到该第二偏移量。
其中，该搜索模块205用于该将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点。该搜索模块205可以将第二匹配关系映射到第一金字塔的第一层图像以及第二金字塔的第二层图像，然后进行迭代优化，从而查找出第一图像的每一像素点在该第二图像中的最大相似度的像素点，也即是匹配的像素点。
具体地，在一些实施例中，该第一图像的第一像素点包括多个第五像素点以及多个第七像素点，该第二图像的第二像素点包括多个第六像素点以及多个第八像素点。
如图4所示，该搜索模块205具体包括：第一确定单元2051、第二确定单元2052、第三确定单元2053以及搜索单元2054。
其中，该第一确定单元2051，用于在第一金字塔和第二金字塔的第一层图像分别确定出每一第一特征点对应的第五像素块以及每一第二特征点对应的第六像素块；每一所述第一特征点位于对应第五像素块的中心，每一所述第五像素块包括多个第五像素点；每一所述第二特征点位于对应第六像素块的中心，每一所述第六像素块包括多个第六像素点。其中，该第一特征点对应的第五像素块的尺寸比该第一特征点在该第二层图像对应的第三像素块的尺寸大。第五像素块的尺寸与该第三层图像相对于该第二层图像的缩放比例正相关。该第五像素块包括多个第五像素点。该第一特征点位于该第五像素块的中心处。该第五像素块呈正方形状或者圆形状。该第二特征点对应的第六像素块的尺寸大于该第二特征点在该第二层图像所对应的第四像素块的尺寸。当然，该第五像素块的尺寸与该第六像素块的尺寸相同。
其中，该第二确定单元2052，用于根据所述第二匹配关系确定出每一第五像素点匹配的第六像素点。该第二确定单元2052先根据该第二匹配关系中的第一偏移量确定出相互匹配的第五像素块以及第六像素块。相互匹配的第五像素块与该第六像素块中的像素点也是一一对应且匹配的。因此，也可以根据该第一偏移量确定出每一第五像素块中的第五像素点匹配的第六像素块中的第六像素点。
其中，该第三确定单元2053，用于在第一金字塔和第二金字塔的第一层图像确定出每一第三像素点对应的第七像素块以及每一第四像素点对应的第八像素块；每一所述第七像素块包括多个第七像素点；每一所述第八像素块包括多个第八像素点。第七像素块的尺寸与第八像素块的尺寸及形状相等，并且也与第五像素块以及第六像素块的尺寸及形状相等。先将每一第三像素点映射到第一金字塔的第一层图像，将每一第四像素点映射到第二金字塔的第二层图像。映射时，可以根据该第二层图像与该第一层图像的尺度的比例关系，将第三像素点的坐标等比例放大，即可得到该第三像素点在该第一层图像上的映射点，然后基于该映射点得到对应的第七像素块。可以根据该第二层图像与该第一层图像的尺度的比例关系，将第四像素点的坐标等比例放大，即可得到该第四像素点在该第一层图像上的映射点，然后基于该映射点得到对应的第八像素块。其中，该第七像素块是以对应映射点为中心的正方形像素块。该第八像素块是以对应映射点为中心的正方形像素块。
其中，该搜索单元2054，用于在所述第八像素块所在的区域搜索与每一所述第七像素点匹配的第八像素点。可以采用依次逐一搜索的方式来得到第七像素点的相似度最大的第八像素点作为该第七像素点的匹配点，当然为了提高效率，也可以在一定范围内进行搜索。
在本实施例中，多个第一像素点中的第五像素点通过第一特征点与第二特征点的匹配关系的到了多个第二像素点中的第六像素点。而多个第一像素点中的第七像素点是通过搜索的方式得到的多个第二像素点中的第八像素点。由于通过特征点匹配的方式已经找到了第一图像的部分第五像素点在第二图像中最相似的第六像素点，因此，需要进行搜索得到匹配点的第七像素点的数量大大减少，从而提高了运算效率。
在一些实施例中，该搜索单元2054可以用于：将多个第七像素点中的一个未搜索到匹配点的第七像素点作为当前第七像素点。获取与所述当前第七像素点对应的第八像素点最接近的第二特征点的欧式距离r，并以该对应的第八像素点作为搜索中心、以欧式距离r作为搜索半径设定预设搜索范围。在所述预设搜索范围内搜索出的预设数量的第八像素点，并从所述预设数量的第八像素点中筛选出与所述当前第七像素点的相似度最大的第八像素点。判断是否完成预设次搜索。若未完成，则以所述相似度最大的第八像素点作为搜索中心，并减小搜索半径以得到新的预设搜索范围，然后返回至所述在预设搜索范围内随机搜索出的预设数量的第八像素点的步骤。若完成，则以所述相似度最大的第八像素点作为所述当前第七像素点的匹配点；并判断所述多个第七像素点是否均搜索到匹配点。若存在未搜索到匹配点的第七像素点，则返回至将多个第七像素点中的一个未搜索到匹配点的第七像素点作为当前第七像素点的步骤。若不存在，则结束搜索。
其中，搜索单元2054可以基于各个第七像素点的坐标来进行依次选取，得到该当前第七像素点。当然，也可以采用其他方式，只要最终完成对每一第七像素点在第二图像中的匹配点的搜索即可。其中，在该步骤该欧式距离r采用现有技术中的计算方法即可计算得到。当然，可以理解地，该预设搜索范围还可以采用其他方式来设定。在该预设搜索范围内可以采用随机搜索的方式来得到该预设数量的第八像素点。该预设数量可以为100或者200，当然，其也可以根据该预设搜索范围的第八像素点的总数量来进行设定，例如，如果总数量为x个，则可以随机搜索0.1x个第八像素点。其中，该预设次的具体数量可以根据实际情况进行设定，也可以是经过多次试验得到的经验值。其中，可以每次减小为当前搜索半径的一半，当然，缩小为其他比例也可，例如，1/3。其中，该相似度最大的第八像素点就是该当前第七像素点的匹配点。当然，也许该第八像素点不是最佳的，但是经过多次迭代，其为匹配点的概率已经满足需求。当然，如果需要精确度更高，可以采用逐一匹配的方式，只不过这样会增加计算量。
由上可知，本申请实施例提供的图像匹配装置通过分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的越接近第一层图像的层级的图像的分辨率越大；对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点；从而实现图像匹配，由于采用特征点匹配的方式提供较多像素点的准确的匹配关系，降低了需要进行搜索的匹配点的数量，从而提高了效率。
请参照图5，图5为本申请实施例提供的一种电子设备的结构示意图，本申请提供一种电子设备3，包括：处理器301和存储器302，处理器401和存储器302通过通信总线303和/或其他形式的连接机构(未标出)互连并相互通讯，存储器302存储有处理器301可执行的计算机程序，当计算设备运行时，处理器301执行该计算机程序，以执行时执行上述实施例的任一可选的实现方式中的方法。
本申请实施例提供一种存储介质，所述计算机程序被处理器执行时，执行上述实施例的任一可选的实现方式中的方法。其中，存储介质可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(Static Random AccessMemory,简称SRAM)，电可擦除可编程只读存储器(Electrically Erasable ProgrammableRead-Only Memory,简称EEPROM)，可擦除可编程只读存储器(Erasable ProgrammableRead Only Memory,简称EPROM)，可编程只读存储器(Programmable Red-Only Memory,简称PROM)，只读存储器(Read-Only Memory,简称ROM)，磁存储器，快闪存储器，磁盘或光盘。
在本申请所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
再者，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (13)

1.一种图像匹配方法，其特征在于，所述方法包括：
分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的越接近第一层图像的层级的图像的分辨率越大；
对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；
将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；
根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；
将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点。
2.根据权利要求1所述的图像匹配方法，其特征在于，所述分别构建第一图像的第一金字塔及第二图像的第二金字塔，包括：
对第一图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第一图像的第一金字塔；
对第二图像交替执行至少两次均值模糊处理以及降采样处理，以构建所述第二图像的第二金字塔。
3.根据权利要求1或2所述的图像匹配方法，其特征在于，所述对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系，包括：
对所述第一金字塔的第三层图像进行ORB特征点检测，以得到第一特征点集，所述第一特征点集包括多个第一特征点；
对所述第二金字塔的第三层图像进行ORB特征点检测，以得到第二特征点集，所述第二特征点集包括多个第二特征点；
基于欧式距离对所述第一特征点集与所述第二特征点集进行匹配，以得到第一匹配关系；所述第一匹配关系包括多个匹配特征点对，每一匹配特征点对包括一第一特征点以及一与该第一特征点匹配的第二特征点。
4.根据权利要求3所述的图像匹配方法，其特征在于，所述基于欧式距离对所述第一特征点集与所述第二特征点集进行匹配，以得到第一匹配关系，包括：
给所述第一特征点集中的每一第一特征点选取一个欧式距离最小的第二特征点，以得到多个初始匹配特征点对；
将所述多个初始匹配特征点对中的离群点以及噪声点删除，以得到第一匹配关系。
5.根据权利要求3所述的图像匹配方法，其特征在于，所述第一初始偏移量包括第一偏移量以及随机偏移量；
所述将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔及第二金字塔在第二层图像的第一初始偏移量，包括：
在第一金字塔的第二层图像确定出每一第一特征点以及每一第一特征点对应的第三像素块，每一所述第一特征点位于对应第三像素块的中心；
在第二金字塔的第二层图像确定出每一第二特征点以及每一第二特征点对应的第四像素块，每一所述第二特征点位于对应第四像素块的中心；
根据所述第一匹配关系确认出相互匹配的第三像素块与第四像素块的第一偏移量；
将所述第一金字塔的第二层图像中的第三像素点关于第二金字塔的第二层图像的第四像素点的偏移量进行随机分配，得到随机偏移量，所述第三像素点为所述第一金字塔的第二层图像中的第三像素块以外的像素点，所述第四像素点为所述第二金字塔的第二层图像中的第四像素块以外的像素点。
6.根据权利要求5所述的图像匹配方法，其特征在于，根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系，包括：
采用ORB特征点四邻域传播的方式对所述第一初始偏移量进行更新，并基于更新后的第一初始偏移量计算所述第一金字塔与所述第二金字塔的在第二层图像的第二匹配关系。
7.根据权利要求6所述的图像匹配方法，其特征在于，所述采用ORB特征点四邻域传播的方式对所述第一初始偏移量进行更新，并基于更新后的第一初始偏移量计算所述第一金字塔与所述第二金字塔的在第二层图像的第二匹配关系，包括：
根据每一第三像素点的随机偏移量确定其对应的第四像素点；
计算每一第三像素点的区域块与对应的第四像素点的区域块的初始相似度；其中，区域块为以对应像素点为中心的预设范围区域；
计算每一所述第三像素点的各个四邻域像素点的区域块与对应所述第四像素点的区域块的第一相似度；
根据每一所述第三像素点对应的初始相似度以及多个第一相似度，对每一所述随机偏移量进行更新，得到对应的第二偏移量；
根据所述第一偏移量以及所述第二偏移量获取所述第一金字塔以及第二金字塔在第二层图像的第二匹配关系。
8.根据权利要求7所述的图像匹配方法，其特征在于，所述根据每一所述第五特征点的初始相似度以及多个第一相似度，对每一所述随机偏移量进行更新，得到对应的第二偏移量，包括：
若一所述第三像素点对应的初始相似度大于其每一四邻域像素点对应的第一相似度，则将对应第三像素点的第一初始偏移量设置为其第二偏移量；
若一所述第三像素点对应的初始相似度不大于其每一四邻域像素点对应的第一相似度，则根据其各个四邻域像素点中对应第一相似度最大的四邻域像素点对所述第一初始偏移量进行更新，得到第二偏移量。
9.根据权利要求7所述的图像匹配方法，其特征在于，所述第一像素点包括多个第五像素点以及多个第七像素点；
所述将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一图层，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的相似度最大的第二像素点，包括：
在第一金字塔和第二金字塔的第一层图像分别确定出每一第一特征点对应的第五像素块以及每一第二特征点对应的第六像素块；每一所述第一特征点位于对应第五像素块的中心，每一所述第五像素块包括多个第五像素点；每一所述第二特征点位于对应第六像素块的中心，每一所述第六像素块包括多个第六像素点；
根据所述第二匹配关系确定出每一第五像素点匹配的第六像素点；
在第一金字塔和第二金字塔的第一层图像确定出每一第三像素点对应的第七像素块以及每一第四像素点对应的第八像素块；每一所述第五像素块包括多个第七像素点；每一所述第八像素块包括多个第八像素点；
在所述第八像素块所在的区域搜索与每一所述第七像素点匹配的第八像素点。
10.根据权利要求9所述的图像匹配方法，其特征在于，所述在所述第八像素块所在的区域搜索与每一所述第七像素点匹配的第八像素点，包括：
将多个第七像素点中的一个未搜索到匹配点的第七像素点作为当前第七像素点；
获取与所述当前第七像素点对应的第八像素点最接近的第二特征点的欧式距离r，并以对应的第八像素点作为搜索中心、以欧式距离r作为搜索半径设定预设搜索范围；
在所述预设搜索范围内搜索出的预设数量的第八像素点，并从所述预设数量的第八像素点中筛选出与所述当前第七像素点的相似度最大的第八像素点；
判断是否完成预设次搜索；
若未完成，则以所述相似度最大的第八像素点作为搜索中心，并减小搜索半径以得到新的预设搜索范围，然后返回至所述在所述预设搜索范围内随机搜索出的预设数量的第八像素点的步骤；
若完成，则以所述相似度最大的第八像素点作为所述当前第七像素点的匹配点，并判断所述多个第七像素点是否均搜索到匹配点；
若存在未搜索到匹配点的第七像素点，则返回至将多个第七像素点中的一个未搜索到匹配点的第七像素点作为当前第七像素点的步骤；
若不存在未搜索到匹配点的第七像素点，则结束搜索。
11.一种图像匹配装置，用于将第一图像与第二图像进行匹配，其特征在于，所述装置包括：
构建模块，用于分别构建第一图像的第一金字塔及第二图像的第二金字塔，所述第一金字塔及所述第二金字塔均分别包括三层图像，其中，第一金字塔以及第二金字塔的第一层图像分别为第一图像及第二图像，第一金字塔及第二金字塔的越接近第一层图像的层级的图像的分辨率越大；
第一匹配模块，用于对所述第一金字塔及第二金字塔的第三层图像进行特征点匹配，以得到第一金字塔相对于第二金字塔在第三层图像的第一匹配关系；
第一获取模块，用于将所述第一匹配关系映射到所述第一金字塔及第二金字塔的第二层图像，并根据所述第一匹配关系获取第一金字塔相对于第二金字塔在第二层图像的第一初始偏移量；
第二获取模块，用于根据所述第一初始偏移量获得所述第一金字塔相对于第二金字塔在第二层图像的第二匹配关系；
搜索模块，用于将所述第二匹配关系映射到所述第一金字塔及第二金字塔的第一层图像，并在所述第二金字塔的第一层图像进行搜索，以获取所述第一图像的每一第一像素点在所述第二图像中的匹配的第二像素点。
12.一种电子设备，其特征在于，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如权利要求1-10任一项所述的方法。
13.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时运行如权利要求1-10任一项所述的方法。
CN202011036436.8A 2020-09-27 2020-09-27 图像匹配方法、装置、电子设备及存储介质 Pending CN112233153A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011036436.8A CN112233153A (zh) 2020-09-27 2020-09-27 图像匹配方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011036436.8A CN112233153A (zh) 2020-09-27 2020-09-27 图像匹配方法、装置、电子设备及存储介质

Publications (1)

Publication Number Publication Date
CN112233153A true CN112233153A (zh) 2021-01-15

Family

ID=74119402

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011036436.8A Pending CN112233153A (zh) 2020-09-27 2020-09-27 图像匹配方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN112233153A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205145A (zh) * 2021-05-18 2021-08-03 广州大学 基于归一化互相关的模板匹配方法、系统、装置及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146190A (ja) * 2007-12-14 2009-07-02 Konica Minolta Holdings Inc 画像処理装置
US20160275367A1 (en) * 2015-03-17 2016-09-22 Teledyne Scientific & Imaging, Llc Multi-Scale Correspondence Point Matching Using Constellation of Image Chips
CN108573269A (zh) * 2017-10-24 2018-09-25 北京金山云网络技术有限公司 图像特征点匹配方法、匹配装置、电子设备及存储介质
CN109242769A (zh) * 2018-12-13 2019-01-18 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN110210565A (zh) * 2019-06-05 2019-09-06 中科新松有限公司 归一化互相关图像模板匹配实现方法
CN110326027A (zh) * 2017-01-24 2019-10-11 深圳市大疆创新科技有限公司 使用图像金字塔进行特征跟踪的方法和系统
CN111292364A (zh) * 2020-01-21 2020-06-16 天目爱视（北京）科技有限公司 一种三维模型构建过程中图像快速匹配的方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009146190A (ja) * 2007-12-14 2009-07-02 Konica Minolta Holdings Inc 画像処理装置
US20160275367A1 (en) * 2015-03-17 2016-09-22 Teledyne Scientific & Imaging, Llc Multi-Scale Correspondence Point Matching Using Constellation of Image Chips
CN110326027A (zh) * 2017-01-24 2019-10-11 深圳市大疆创新科技有限公司 使用图像金字塔进行特征跟踪的方法和系统
CN108573269A (zh) * 2017-10-24 2018-09-25 北京金山云网络技术有限公司 图像特征点匹配方法、匹配装置、电子设备及存储介质
CN109242769A (zh) * 2018-12-13 2019-01-18 腾讯科技（深圳）有限公司 一种图像处理方法和装置
CN110210565A (zh) * 2019-06-05 2019-09-06 中科新松有限公司 归一化互相关图像模板匹配实现方法
CN111292364A (zh) * 2020-01-21 2020-06-16 天目爱视（北京）科技有限公司 一种三维模型构建过程中图像快速匹配的方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
刘红梅;: "图像精准匹配技术的研究与仿真", 计算机仿真, no. 05, 15 May 2013 (2013-05-15) *
吴鹏;徐洪玲;宋文龙;: "结合小波金字塔的快速NCC图像匹配算法", 哈尔滨工程大学学报, no. 05, 26 April 2017 (2017-04-26) *
齐美彬;王宝;蒋建国;: "基于图像金字塔分解的快速全局运动估计", 合肥工业大学学报(自然科学版), no. 09, 28 September 2011 (2011-09-28) *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113205145A (zh) * 2021-05-18 2021-08-03 广州大学 基于归一化互相关的模板匹配方法、系统、装置及介质
CN113205145B (zh) * 2021-05-18 2022-08-16 广州大学 基于归一化互相关的模板匹配方法、系统、装置及介质

Similar Documents

Publication Publication Date Title
JP7350893B2 (ja) パノラマ画像、ビデオ合成方法、コンピュータ読み取り可能な記録媒体及びパノラマカメラ
CN109117825B (zh) 车道线处理方法和装置
CN108875511B (zh) 图像生成的方法、装置、系统及计算机存储介质
WO2020181872A1 (zh) 一种物体检测方法、装置及电子设备
CN109117854B (zh) 关键点匹配方法、装置、电子设备以及存储介质
CN110443159A (zh) 数字识别方法、装置、电子设备及存储介质
CN107564077B (zh) 一种绘制道路网的方法及装置
CN108122280A (zh) 一种三维点云的重建方法及装置
CN111091572A (zh) 一种图像处理方法、装置、电子设备及存储介质
CN111915657A (zh) 一种点云配准方法、装置、电子设备及存储介质
CN109978903B (zh) 一种标识点识别方法、装置、电子设备及存储介质
CN112233153A (zh) 图像匹配方法、装置、电子设备及存储介质
CN108197531B (zh) 一种道路曲线检测方法、装置和终端
CN111027551B (zh) 图像处理方法、设备和介质
CN110084157B (zh) 图像重识别的数据处理方法及装置
CN111768345A (zh) 身份证背面图像的校正方法、装置、设备及存储介质
CN106651803A (zh) 户型数据的识别方法及装置
CN113903016B (zh) 分岔点检测方法、装置、计算机设备和存储介质
CN111091022A (zh) 机器视觉的效能评估方法与系统
CN108805903B (zh) 一种基于ar引擎的多标记点识别方法和装置
CN111429399B (zh) 一种直线检测方法及装置
CN111753723A (zh) 一种基于密度校准的指纹识别方法及装置
US10796197B2 (en) Automatic method and system for similar images and image fragments detection basing on image content
CN110188818A (zh) 热点区域聚类方法、装置及电子设备
CN116579960B (zh) 一种地理空间数据融合方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination