CN107369170A - 图像配准处理方法和装置 - Google Patents
图像配准处理方法和装置 Download PDFInfo
- Publication number
- CN107369170A CN107369170A CN201710537033.3A CN201710537033A CN107369170A CN 107369170 A CN107369170 A CN 107369170A CN 201710537033 A CN201710537033 A CN 201710537033A CN 107369170 A CN107369170 A CN 107369170A
- Authority
- CN
- China
- Prior art keywords
- image
- point
- sampled point
- sampled
- registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本申请实施方式提供了一种图像配准处理方法和装置,其中,该方法包括:获取第一图像和第二图像;通过加速分割特征算法,获取第一图像和第二图像的第一采样点;利用哈里斯算法过滤,筛选出第一图像和第二图像的第二采样点;利用快速视网膜关键点描述子对第一图像和第二图像的第二采样点进行描述,根据描述结果确定匹配点对;根据匹配点对,确定配准参数;根据配准参数,将第二图像与第一图像进行配准。由于该方案将计算速率更高的加速分割特征算法和识别匹配点对的精度更高的快速视网膜关键点描述子相结合,确定不同图像的匹配点对,进而进行图像配准,因此,可以达到提供配准精度、提高处理速度的技术效果。
Description
技术领域
本申请涉及计算机视觉技术领域,特别涉及一种图像配准处理方法和装置。
背景技术
在计算机视觉领域,常常需要进行图像配准。具体的,例如,获取了某区域的多个不同图像,根据各个图像中像素点信息,确定不同图像中的相同物体,进而建立不同图像中表征相同图像特征的区域的映射关系,即不同图像间的映射关系。根据这种映射关系将不同的图像进行匹配、叠加等处理。继而可以根据配准的结果,进行图像的拼接、三维重建或目标识别等等。
目前,为了进行图像配准,常采用基于图像特征的配准方法进行具体的图像配准。但是,上述的图像配准处理方法,由于原理上大多都是简单地根据像素点的灰度值确定图像特征,进而根据图像特征进行图像配准。因此,具体实施时,确定的图像特征的准确度不高,图像配准的误差相对较大。此外,上述方法通常是利用SIFT(Scale invariant featuretransform)算法、PCA-SIFT(Principle Component Analysis Scale invariant featuretransform)算法、SURF(Speeded Up Robust Features)算法等具体实现的。上述算法虽然配准精度较高,但是,计算量相对较为庞大,导致图像配准的速度较慢。尤其在进行图像拼接时,往往需要处理大量的图片,这种缺点尤为明显。综上可知,现有的图像配准处理方法,具体实施时,往往存在不能同时兼顾处理速度和配准精度的技术问题。
针对上述问题,目前尚未提出有效的解决方案。
发明内容
本申请实施方式提供了一种图像配准处理方法和装置,以达到可以提高配准精度、提高处理速度的技术效果。
本申请实施方式提供了一种图像配准处理方法,包括:
获取第一图像和第二图像;
通过加速分割特征算法,获取第一图像的第一采样点和第二图像的第一采样点;
利用哈里斯算法从所述第一图像的第一采样点中筛选出第一图像的第二采样点,从所述第二图像的第一采样点中筛选出第二图像的第二采样点;
利用快速视网膜关键点描述子对所述第一图像的第二采样点和所述第二图像的第二采样点进行描述,根据描述结果确定匹配点对;
根据所述匹配点对,确定配准参数,并根据所述配准参数,将所述第一图像与所述第二图像进行配准。
在一个实施方式中,所述通过加速分割特征算法,获取第一图像的第一采样点和第二图像的第一采样点,包括:
通过影像金字塔,分别建立第一图像的尺度空间、第二图像的尺度空间;
通过加速分割特征算法,从所述第一图像的尺度空间中获取所述第一图像的第一采样点,从所述第二图像的尺度空间中获取所述第二图像的第一采样点。
在一个实施方式中,所述通过哈里斯算法过滤,从所述第一图像的第一采样点中筛选出第一图像的第二采样点,从所述第二图像的第一采样点中筛选出第二图像的第二采样点,包括:
求取第一图像的第一采样点的哈里斯角点响应值和第二图像的第一采样点的哈里斯角点响应值;
根据所述第一图像的第一采样点的哈里斯角点响应值,建立第一图像的第一点列,根据所述第二图像的第一采样点的哈里斯角点响应值,建立第二图像的第一点列;
从所述第一图像的第一点列中确定出第一图像的强角点作为所述第一图像的第二采样点;
从所述第二图像的第一点列中确定出第二图像的强角点作为所述第二图像的第二采样点。
在一个实施方式中,利用快速视网膜关键点描述子对所述第一图像的第二采样点和所述第二图像的第二采样点进行描述,根据描述结果确定匹配点对,包括:
按照预设规则,从所述第一图像的第二采样点中确定出第一图像的特征点,从所述第二图像的第二采样点中确定出第二图像的特征点;
根据所述第一图像的特征点和所述第二图像的特征点,建立对应的快速视网膜关键点描述子;
利用所述快速视网膜关键点描述子,对所述第一图像的特征点和所述第二图像的特征点进行描述,根据描述结果确定所述匹配点对。
在一个实施方式中,按照以下公式,建立所述快速视网膜关键点描述子:
上式中,Fa为第二图像中编号为a的第二图像的特征点的快速视网膜关键点描述子,T(Pa,i)为编号为a的第二图像的特征点与第一图像中编号为i的第一图像的特征点的灰度值关系函数,i的取值为1至N,N为第一图像中的第一图像的特征点的个数。
在一个实施方式中,按照以下公式,建立所述编号为a的第二图像的特征点与第一图像中编号为i的第一图像的特征点的灰度值关系函数:
上式中,I(Pa A)为第二图像中编号为a的第二图像的特征点的灰度值,I(Pi B)为第一图像中编号为i的第一图像的特征点的灰度值。
在一个实施方式中,所述利用所述快速视网膜关键点描述子,对所述第一图像的特征点和所述第二图像的特征点进行描述,根据描述结果确定所述匹配点对,包括:
通过所述快速视网膜关键点描述子,确定第二图像的特征点与第一图像的特征点的汉明距离;
根据所述第二图像的特征点与第一图像的特征点的汉明距离,确定匹配点对,其中,所述匹配点对包括两个特征点:第二图像的特征点和第一图像的特征点。
在一个实施方式中,根据所述匹配点对,确定配准参数,包括:
根据所述匹配点对,建立映射关系矩阵;
根据所述映射关系矩阵和所述匹配点对,确定映射关系矩阵的变换参数;
利用所述映射关系矩阵的变换参数,确定所述配准参数。
在一个实施方式中,在将所述第一图像与所述第二图像进行配准后,所述方法还包括:
根据配准结果,进行以下至少之一:三维重建、图像拼接、目标识别。
本申请实施方式还提供了一种图像配准处理装置,包括:
第一获取模块,用于获取第一图像和第二图像;
第二获取模块,用于通过加速分割特征算法,获取第一图像的第一采样点和第二图像的第一采样点;
筛选模块,用于利用哈里斯算法从所述第一图像的第一采样点中筛选出第一图像的第二采样点,从所述第二图像的第一采样点中筛选出第二图像的第二采样点;
确定模块,用于利用快速视网膜关键点描述子对所述第一图像的第二采样点和所述第二图像的第二采样点进行描述,根据描述结果确定匹配点对;
配准模块,用于根据所述匹配点对,确定配准参数,并根据所述配准参数,将所述第一图像与所述第二图像进行配准。
在本申请实施方式中,通过将计算速率更高的加速分割特征算法和识别匹配点对的精度更高的快速视网膜关键点描述子相结合,确定不同图像的匹配点对,进而进行图像配准。因此,解决了现有方法中存在的不能同时兼顾处理速度和配准精度的技术问题,达到更加快速、更加准确地进行图像配准的技术效果。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1是根据本申请实施方式提供的图像配准处理方法的处理流程图;
图2是根据本申请实施方式提供的图像配准处理装置的组成结构图;
图3是在一个场景示例中应用本申请实施方式提供图像配准处理方法/装置获取第一采样点的过程示意图;
图4是在一个场景示例中应用本申请实施方式提供图像配准处理方法/装置获得的图像配准结果示意图;
图5是在一个场景示例中应用本申请实施方式提供图像配准处理方法/装置获得的图像拼接结果示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请中的技术方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。
考虑到现有的图像配准处理方法往往是简单地基于图像像素灰度确定图像特征,根据图像特征进行相关图像配准,导致图像配准误差较大、精度不高。此外,现有的图像配准处理方法大多是通过SIFT算法、PCA-SIFT算法、SURF算法等具体实现。由于,上述算法虽然能达到施工所要求的精度,但是,计算量相对较为庞大,导致图像配准的速度很慢。综上可知,现有的图像配准处理方法具体实施时,往往存在不能同时兼顾处理速度和配准精度的技术问题。针对产生上述技术问题的根本原因,本申请考虑可以应用一种综合多种算法优势的图像配准处理方案,以精确且快速的确定不同图像的匹配点对。具体的,可以通过引入快速视网膜关键点描述子,并利用快速视网膜关键点描述子确定匹配点对,再根据匹配点对进行更加准确的图像配准。同时,还通过引入运算效率较高的加速分割特征算法来快速获取采样点,提高整体配准速度。从而解决了现有的图像配准处理方法中存在的不能同时兼顾处理速度和配准精度的技术问题,达到更加快速、更加准确地进行图像配准的技术效果。
基于上述思考思路,本申请提供了一种图像配准处理方法的实施方式。请参阅图1所示的根据本申请实施方式提供的图像配准处理方法的处理流程图。本申请实施方式提供的图像配准处理方法,具体可以包括以下步骤。
在本实施方式中,所述图像配准具体可以包括:获取不同图像的图像特征,例如,特征点;根据不同图像的图像特征,确定不同图像中的同一个对象,例如,第一图像和第二图像中的同个建筑物,建立匹配点对;根据匹配点对建立不同图像之间对应的映射关系,根据这种映射关系将不同的图像进行匹配、叠加等处理;进而可以进行不同图像的拼接、目标识别、三维重建等等具体施工。
S101:获取第一图像和第二图像。
在本实施方式中,具体实施时,可以根据具体情况,选择某区域的多个图像,将多个图像进行图像配准。在本实施方式中,仅以上述多个图像包括两个图像,即包括第一图像和第二图像的情况为例,说明如何将第一图像和第二图像进行具体的图像配准处理。对于其他数量的多个图像的配准,例如,3个图像的配准,或者106个图像的配准,本申请实施方式提供的图像配准处理方法同样适用,具体可以参照对两个图像进行配准处理的过程进行相应的配准处理。对于除两个图像以外,其他个数的多个图像的配准处理,本申请实施方式在此不再赘述。
在本实施方式中,再对两个图像进行配准时,具体实施时可以将第二图像作为基准图像,将第一图像作为待配准图像,确定以第二图像为基准的快速视网膜关键点描述子,进行具体的图像配准。当然,具体实施时,也可以将第一图像作为基准图像,将第二图像作为待配准图像,确定以第一图像为基准的快速视网膜关键点描述子,进行具体的图像配准。对此,本申请不作限定。
S102:通过加速分割特征算法,获取第一图像的第一采样点和第二图像的第一采样点。
在一个实施方式中,为了获取不同尺度下具有代表性的像素点作为第一采样点,具体实施时,可以按照以下方式,分别获取第一图像的第一采样点和第二图像的第一采样点。
S102-1:通过影像金字塔,分别建立第一图像的尺度空间、第二图像的尺度空间。
在一个实施方式中,为了充分考虑到不同尺度下图像的具体情况,需要通过影像金字塔,建立图像的尺度空间。为了建立第一图像的尺度空间,具体实施时,可以按照以下步骤执行。
S102-1-1:根据第一图像的大小,确定第一图像的影像金字塔,即第一图像的尺度空间的预设层数和第一图像的影像金字塔的顶层的图层,即八度的维数。
在一个实施方式中,为了确定第一图像的影像金字塔,即第一图像的尺度空间的预设层数,具体实施时,可以按照以下公式确定所述影像金字塔的预设层数:
n=log2{min(M,N)}-t,t∈[0,log2{min(M,N)}]
上式中,n为影像金字塔的预设层数,(M,N)为所述目标图像的大小,其中,M为目标图像中的行号,N为目标图像中的列号,t为常数,取值为3。
S102-1-2:根据第一图像的影像金字塔的预设层数和第一图像的影像金字塔的顶层的图层的维数,建立第一图像的影像金字塔,即第一图像的尺度空间,其中,第一图像的尺度空间包括有预设层数个八度,即预设层数个图层。
在一个实施方式中,为了建立第一图像的影像金字塔,具体实施时,可以按照以下方式处理。
S102-1-2-1:对第一图像进行多次降采样,得到预设层数个不同分辨率的图像。
S102-1-2-2:对上述预设层数个图像分别进行高斯模糊,获得预设层数个图层图像,即预设层数个八度。
S102-1-2-3:将上述预设层数个图层图像按照分辨率由大到小的顺序,从影像金字塔的底层依次排列到顶层,即可以得到第一图像的影像金字塔,即第一图像的尺度空间。
在本实施方式,需要说明的是,第一图像的影像金字塔的每一层的图层图像都是以第一图像作为原始图像获得的,其中,每一层的图层图像的尺度不同,分辨率也不同。其中,最底层的图像分辨率最高、尺度最大,最顶层的图像分辨率最低、尺度最小。因此,通过建立第一图像的影像金字塔,分别获取每层图层图像中的像素点作为第一采样点,得到第一采样点更具有代表性,也更加稳定,用于后续具体的图像配准时,配准的精度也相对更高一些。
在本实施方式中,建立第二图像的尺度空间的过程与建立第一图像的尺度空间相似,具体实施时,可以参照建立第一图像的尺度空间的实施方式。在此不作赘述。
S102-2:通过加速分割特征算法,从所述第一图像的尺度空间中获取所述第一图像的第一采样点,从所述第二图像的尺度空间中获取所述第二图像的第一采样点。
在一个实施方式中,为了提高获取采样点的速度,以提高图像配准的整体效率,具体实施时,可以通过加速分割特征算法,从所述第一图像的尺度空间中的各个图层图像(即各个八度)中获取像素点作为所述第一图像的第一采样点。同样,可以通过加速分割特征算法,从所述第二图像的尺度空间中获取各个图层图像(即各个八度)中获取像素点作为所述第二图像的第一采样点。
在一个实施方式中,为了选择效果较好的像素点作为上述第一图像的第一采样点或者第二图像的第一采样点,具体实施时,可以按照以下方式,对所获取的各个像素点分别进行判断,将符合预设要求的像素点作为第一图像或第二图像的第一采样点。
S102-2-1:根据所述像素点,建立以所述像素点为圆心的离散化的检测圆。其中,所述检测圆具体可以为Bresenham圆(布氏圆),即半径为3像素,且沿圆周分布有多个检测点的离散圆。具体的,对于半径为3像素的检测圆,沿圆周分布有16个检测点。
S102-2-2:沿所述检测圆的圆周,依次获取连续的多个检测点。
S102-2-3:判断所述多个检测点是否满足预设要求,在所述多个检测点满足所述预设要求的情况下,将该检测圆的圆心,即该像素点确定为第一采样点。
在一个实施方式中,所述多个检测点满足所述预设要求,具体可以包括:多个检测点中连续的预设个数检测点的灰度值满足以下关系:
上式中,Ip为检测圆的圆心,即待确定的像素点p的灰度值,为多个检测点中标号为i的检测点相对于像素点p的灰度值,xi为多个检测点中编号为i的检测点,t′为第一阈值。
在本实施方式中,需要说明的是,第一阈值的具体数值可以是1至255之间的整数。通常第一阈值取值较小时,所确定的第一采样点相对较多,可获取的信息相对越丰富,但计算效率相对较低;反之,第一阈值取值较大时,所确定的第一采样点相对较少。优选地,可以将第一阈值的数值设为40,检测效果相对较好,整体的效率相对较高。当然,具体实施时,可以根据具体情况以及相应的施工要求,确定第一阈值的具体取值。
在本实施方式中,上述预设个数的数值具体可以是以下之一:8、9、10、11、12。优选地,可以在检测到连续9个检测点的灰度值满足上述关系时,确定该检测圆的圆心像素点为第一采样点。
S103:利用哈里斯算法从所述第一图像的第一采样点中筛选出第一图像的第二采样点,从所述第二图像的第一采样点中筛选出第二图像的第二采样点。
在一个实施方式中,为了从第一图像采样点和第二图像采样点中删除效果较差的采样点,具体实施时,可以按照以下方式,进行筛选,以获取第一图像的第二采样点和第二图像的第二采样点。
S103-1:求取第一图像的第一采样点的哈里斯角点响应值和第二图像的第一采样点的哈里斯角点响应值。
S103-2:根据所述第一图像的第一采样点的哈里斯角点响应值,建立第一图像的第一点列,根据所述第二图像的第一采样点的哈里斯角点响应值,建立第二图像的第一点列。
S103-3:从所述第一图像的第一点列中确定出第一图像的强角点作为所述第一图像的第二采样点。
S103-4:从所述第二图像的第一点列中确定出第二图像的强角点作为所述第二图像的第二采样点。
在一个实施方式中,为了筛选出效果较好的第一图像的第二采样点以及第二图像的第二采样点,优选地,可以将根据所述第一图像的第一采样点的哈里斯角点响应值,建立第一图像的第一点列,其中,所述第一图像的第一点列按照哈里斯角点响应值从大到小的顺序排列。从所述第一图像的第一点列中确定该点列前30%的点作为第一图像的强角点,即所述第一图像的第二采样点。同样,按照相似的方法,从所述第二图像的第一采样点中确定出第二图像的第二采样点。对此,本申请不再赘述。
S104:利用快速视网膜关键点描述子对所述第一图像的第二采样点和所述第二图像的第二采样点进行描述,根据描述结果确定匹配点对。
在本实施方式中,以第二图像作为基准图像,可以利用快速视网膜关键点描述子描述第二图像中任意一个采样点与第一图像中的所有采样点的关系;根据快速视网膜关键点描述子所描述关系,从第一图像的采样点中选择出较为合适的采样点与第二图像中的采样点构成匹配点对。
在本实施方式中,所述快速视网膜关键点描述子是一种基于模拟人视网膜识别物体的一种计算机视觉识别方式。相对于其他类型的计算机识别方式,快速视网膜关键点描述子可以模拟人眼识别物体的模式,具有较高的识别精度。具体实施时,可以模拟人眼获取不同图像中的特征点信息,进而可以根据这些特征点的信息建立对应关系,例如将不同图像中标征同一对象的像素点组成一个匹配对。如此,可以较为精确地确定不同图像中哪些特征点是对应于同一个对象物体,进而建立不同图像间的映射关系,实现对不同图像的精确配准。
在一个实施方式中,为了较准确地从第一图像和第二图像中分别选出对应的采样点作为匹配点对,具体实施时,可以按照以下步骤执行。
S104-1:按照预设规则,从所述第一图像的第二采样点中确定出第一图像的特征点,从所述第二图像的第二采样点中确定出第二图像的特征点。
在一个实施方式中,为了从第一图像和第二图像的第二采样点中选择精度相对较好的采样点作为第一图像的特征点或第二图像的特征点,以确定后续的匹配点对,具体实施时,可以按照以下方式,确定第一图像的第二采样点中确定出第一图像的特征点,或从第二图像的采样点中确定出第二图像的特征点。
S104-1-1:以第一图像或第二图像的第二采样点为圆心,做多个第二采样点的同心圆。其中,所述第二采样点的多个同心圆的各个同心圆以该第二采样点为圆心,并根据不同的同心圆圆层设定不同层的采样点的尺度σ,根据不同层的采样点的尺度确定各个同心圆的具体半径。
S104-1-2:对第二采样点的多个同心圆中的各个同心圆进行高斯平滑处理,去除图像噪声。其中,所述高斯平滑处理中的高斯核与同心圆的半径成正比。
S104-1-3:确定不同第二采样点的各个同心圆之间的重叠区域,并搜索所述重叠区域以外的第二采样点作为所述特征点。
S104-2:根据所述第一图像的特征点和所述第二图像的特征点,建立对应的快速视网膜关键点描述子。
在一个实施方式中,在以第二图像为基准图像的情况下,为了描述第二图像的一个特征点与第一图像中各个特征点的关系,具体实施时,可以按照以下公式,建立对应的快速视网膜关键点描述子对上述关系进行具体描述:
上式中,Fa为第二图像中编号为a的第二图像的特征点的快速视网膜关键点描述子,T(Pa,i)为编号为a的第二图像的特征点与第一图像中编号为i的第一图像的特征点的灰度值关系函数,i的取值为1至N,N为第一图像中的第一图像的特征点的个数。
在一个实施方式中,为了表征第二图像中的某个特征点与第一图像中各个特征点的灰度值的关系,具体实施时,可以按照以下公式,建立所述编号为a的第二图像的特征点与第一图像中编号为i的第一图像的特征点的灰度值关系函数:
上式中,I(Pa A)为第二图像中编号为a的第二图像的特征点的灰度值,I(Pi B)为第一图像中编号为i的第一图像的特征点的灰度值。
S104-3:利用所述快速视网膜关键点描述子,对所述第一图像的特征点和所述第二图像的特征点进行描述,根据描述结果确定所述匹配点对。
在一个实施方式中,为了利用所述快速视网膜关键点描述子,对所述第一图像的特征点和所述第二图像的特征点进行描述,并根据描述结果确定出较为准确的匹配点对,具体实施时,可以按照以下方式执行。
S104-3-1:通过所述快速视网膜关键点描述子,确定第二图像的特征点与第一图像的特征点的汉明距离。
S104-3-2:根据所述第二图像的特征点与第一图像的特征点的汉明距离,确定匹配点对,其中,所述匹配点对包括两个特征点:第二图像的特征点和第一图像的特征点。
在本实施方式中,上述汉明距离的数值可以用于表征第二图像的特征点与第一图像的各个特征点的相似性。通常,汉明距离的值越小代表两个特征点的相似程度越高,反之,则相似程度越低。在本实施方式中,可以根据快速视网膜关键点描述子,选择与第二图像的特征点的汉明距离最小的第一图像的特征点作为匹配点,将该第一图像特征点与第二图像的特征点组成一个匹配点对。
S105:根据所述匹配点对,确定配准参数,并根据所述配准参数,将所述第一图像与所述第二图像进行配准。
在一个实施方式中,为了将第一图像和第二图像进行较为准确的配准,具体实施时,可以按照以下方式执行,以确定较为准确的配准参数。
在本实施方式中,所述配准具体可以包括建立第一图像、第二图像之间的映射关系,根据该映射关系,将第一图像、第二图像进行匹配等处理,以备后续使用。
S105-1:根据所述匹配点对,建立映射关系矩阵。
在一个实施方式中,所述映射关系矩阵具体可以表示为:
在以第二图像为基准图像的情况下,上式中(x,y)可以是第二图像的特征点的坐标,(u,v)则为与上述第二图像的特征点构造匹配点对的第一图像的特征点的坐标,和可以整理为矩阵(M,T),记为变换参数。
S105-2:根据所述映射关系矩阵和所述匹配点对,确定映射关系矩阵的变换参数。
在一个实施方式中,为确定出较为准确的映射关系矩阵的变换参数,具体实施时,可以通过随机抽样一致性算法随机抽取多组匹配对,利用上述映射关系矩阵,剔除误匹配点,得到较为准确的匹配点对;进而可以根据较为准确的匹配点对,确定出精度较高的映射关系矩阵的变换参数。具体实施时,可以从多个匹配点对中任取3个匹配点对作为一组,分别在上述映射关系矩阵中代入每组中的三个匹配点对,以确定出每组对应的变换参数,得到多组变换参数;从所述多组变换参数中选择效果较好的变换参数作为所述映射关系矩阵的变换参数。
在一个实施方式中,为了从多组变换参数中选择效果较好的变换参数,具体实施时,可以利用所确定的每组变换参数,代入上述映射关系矩阵,得到检验矩阵;将其他的第二图像的特征点代入上述检验矩阵,得到第一图像的特征点的近似点(u′,v′);比较该近似点与第二图像的特征点成匹配点对的第一图像的特征点(u,v)的近似情况。具体的,如果|u-u′|<ε(其中,ε为一个精度值,具体可以根据施工要求,灵活确定),且|v-v′|<ε,则认为该对匹配点对在该组变换参数确定的检验矩阵下,近似度较高,将该组变换参数的准确次数加1。按照上述方法,将其他各个匹配点对分别代入各组变换参数所确定的检验矩阵,统计各组变换的准确次数。将准确次数最高的变换参数确定为上述映射关系矩阵的变换参数。
S105-3:利用所述映射关系矩阵的变换参数,确定所述配准参数。
在一个实施方式中,为了确定较为准确的配准参数,具体实施时,可以根据所述变换参数,通过最小二乘法,确定目标图像间的空间变换关系,进而可以根据空间变换关系,确定图像的配准参数。
在一个实施方式中,在确定出第一图像与第二图像的配准参数后,可以根据配准参数对所述第一图像和所述第二图像进行具体配准。
在本申请实施例中,相较于现有技术,通过将计算速率更高的加速分割特征算法和识别匹配点对的精度更高的快速视网膜关键点描述子相结合,确定不同图像的匹配点对,进而进行图像配准。因此,解决了现有方法中存在的不能同时兼顾处理速度和配准精度的技术问题,达到更加快速、更加准确地进行图像配准的技术效果。
在一个实施方式中,在获取第一图像和第二图像的匹配点对后,在确定上述映射矩阵的变换参数前,为了初步排除匹配点对中的误匹配点对,得到较为准确的匹配点对,可以通过快速最近邻域算法对所确定的匹配点对进行初步筛选,以排除无匹配点对。具体实施时,可以按照以下方式分别对每个匹配点对进行筛选。
S104-4-1:通过快速最近邻域算法搜索与一个匹配点对的邻近的两个校正匹配点对,分别记为:第一近似点对、第二近似点对。其中,所述第一近似点对具体可以是与原匹配点对最接近的匹配点对,所述第二近似点对具体可以是与原匹配点次接近的匹配点对。
S104-4-2:在以第二图像为基准图像的情况,分别获取第一近似点对中的第一图像的特征点,记为第一近似点B1,获取第二近似点对中的第一图像的特征点,记为第二近似点B2,将原匹配点对中的第一图像的特征点记为B。
S104-4-3:将原匹配点中的第二图像的特征点记为a,分别计算a到B1的汉明距离,记为a到B2的汉明距离,记为
S104-4-4:根据上述两个汉明距离按照以下公式确定匹配率:
上式中R为匹配率,为第二图像的特征点到第一近似点的汉明距离,为第二图像的特征点到第二近似点的汉明距离。
S104-4-5:将匹配率与第二阈值进行比较,在匹配率小于等于第二阈值的情况下,将第一近似点作为新的匹配点,在匹配率大于第二阈值的情况下,将第二近似点作为新的匹配点。其中,上述第二阈值具体可以根据施工要求的具体精度确定,通常可以记为TR。
S104-4-6:比较新的匹配点与原匹配点对中的第一图像的特征点分别到第二图像的特征点的汉明距离,选择汉明距离较小的点作为同第二图像的特征点构成匹配点对所对应的第一图像的特征点。从而,可以排除误匹配,筛选得到较为准确的匹配点对,以备后续使用。
在一个实施方式中,在将所述第一图像与所述第二图像进行配准后,为了进行具体的图像处理,所述方法具体还可以包括:根据配准结果,进行以下至少之一:三维重建、图像拼接、目标识别。即可以根据配准结果进行三维重建,也可以根据配准结果进行图像拼接,还可以根据配准结果进行目标识别。当然,具体实施时,还可以根据具体情况,利用所述配准结果,进行除上述所列举处理外的其他的图像处理。
从以上的描述中,可以看出,本申请实施方式提供的图像配准处理方法,通过将计算速率更高的加速分割特征算法和识别匹配点对的精度更高的快速视网膜关键点描述子相结合,确定不同图像的匹配点对,进而进行图像配准。因此,解决了现有方法中存在的不能同时兼顾处理速度和配准精度的技术问题,达到更加快速、更加准确地进行图像配准处理的技术效果;还利用哈里斯算法筛选精度较高的采样点,去除一些误差较大的采样点,进一步地改善了图像配准的准确度;还利用随机抽样一致性算法剔除误匹配点对,进一步提高了所确定的配准参数的准确度。
基于同一发明构思,本发明实施方式中还提供了一种图像配准处理装置,如下面的实施方式所述。由于装置解决问题的原理与图像配准处理方法相似,因此图像配准处理装置的实施可以参见图像配准处理方法的实施,重复之处不再赘述。以下所使用的,术语“单元”或者“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。请参阅图2,是本申请实施方式的图像配准处理装置的一种组成结构图,该装置可以包括:第一获取模块201、第二获取模块202、筛选模块203、确定模块204、配准模块205,下面对该结构进行具体说明。
第一获取模块201,具体可以用于获取第一图像和第二图像。
第二获取模块202,具体可以用于通过加速分割特征算法,获取第一图像的第一采样点和第二图像的第一采样点。
筛选模块203,具体可以用于通过哈里斯算法过滤,从所述第一图像的第一采样点中筛选出第一图像的第二采样点,从所述第二图像的第一采样点中筛选出第二图像的第二采样点。
确定模块204,具体可以用于利用快速视网膜关键点描述子对所述第一图像的第二采样点和所述第二图像的第二采样点进行描述,根据描述结果确定匹配点对。
配准模块205,具体可以用于根据所述匹配点对,确定配准参数,并根据所述配准参数,将所述第一图像与所述第二图像进行配准。
在一个实施方式中,为了可以通过加速分割特征算法,获取第一图像的第一采样点和第二图像的第一采样点,所述第二获取模块202具体可以包括:
第一建立单元,用于通过影像金字塔,分别建立第一图像的尺度空间、第二图像的尺度空间;
第一获取单元,用于通过加速分割特征算法,从所述第一图像的尺度空间中获取所述第一图像的第一采样点,从所述第二图像的尺度空间中获取所述第二图像的第一采样点。
在一个实施方式中,为了可以通过哈里斯算法过滤,从所述第一图像的第一采样点中筛选出第一图像的第二采样点,从所述第二图像的第一采样点中筛选出第二图像的第二采样点,所述筛选模块203具体可以包括:
求取单元,具体可以求取第一图像的第一采样点的哈里斯角点响应值和第二图像的第一采样点的哈里斯角点响应值;
第二建立单元,具体可以根据所述第一图像的第一采样点的哈里斯角点响应值,建立第一图像的第一点列,根据所述第二图像的第一采样点的哈里斯角点响应值,建立第二图像的第一点列;
第一确定单元,具体用于从所述第一图像的第一点列中确定出第一图像的强角点作为所述第一图像的第二采样点;从所述第二图像的第一点列中确定出第二图像的强角点作为所述第二图像的第二采样点。
在一个实施方式中,为了可以利用快速视网膜关键点描述子对所述第一图像的第二采样点和所述第二图像的第二采样点进行描述,根据描述结果确定匹配点对,确定模块205具体可以包括:
第二确定单元,具体用于按照预设规则,从所述第一图像的第二采样点中确定出第一图像的特征点,从所述第二图像的第二采样点中确定出第二图像的特征点;
第三建立单元,具体用于根据所述第一图像的特征点和所述第二图像的特征点,建立对应的快速视网膜关键点描述子;
描述单元,具体用于利用所述快速视网膜关键点描述子,对所述第一图像的特征点和所述第二图像的特征点进行描述,根据描述结果确定所述匹配点对。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于系统实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
需要说明的是,上述实施方式阐明的系统、装置、模块或单元,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述的方便,在本说明书中,描述以上装置时以功能分为各种单元分别描述。当然,在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。
此外,在本说明书中,诸如第一和第二这样的形容词仅可以用于将一个元素或动作与另一元素或动作进行区分,而不必要求或暗示任何实际的这种关系或顺序。在环境允许的情况下,参照元素或部件或步骤(等)不应解释为局限于仅元素、部件、或步骤中的一个,而可以是元素、部件、或步骤中的一个或多个等。
从以上的描述中,可以看出,本申请实施方式提供的图像配准处理装置,通过第二获取模块202利用计算速度更快的加速分割特征算法快速获取采样点,通过确定模块204利用识别精度更高的快速视网膜关键点描述子对采样点进行描述以确定出较为准确的匹配点对,进而利用匹配点对进行图像配准。因此,解决了现有的图像配准处理方法中存在的不能同时兼顾处理速度和配准精度的技术问题,达到更加快速、更加准确地进行图像配准的技术效果。
在一个具体实施场景中,应用本申请提供的图像配准处理方法/装置,将某区域的航拍图像进行配准和拼接。具体实施过程,可以参照以下步骤执行。
S1:构建研究区域图像的尺度空间。主要过程是:对原始图像通过降采样得到一组从上至下,由大到小的图像形成的塔状模型。具体实施时,可以:
S1-1:以Visual Studio 2012为开发平台,采用C++编程语言和OpenCV2.4.9计算机视觉库为本专利方法实施平台,将获取得到的某区域的航拍原始图像扩大一倍,在扩大的图像的基础之上构建高斯金字塔。
S1-2:将每次图像降采样后所得到的新图像为金字塔的一层,其中,每个金字塔共分为8层。
S1-3:对该尺寸下分的第8层图像分别进行高斯模糊,将模糊之后的图像集合构成了一个八度。
S2:根据所构建的图像高斯金字塔,获取第一采样点。具体可以包括:
在本实施方式中,从所构建的高斯金字塔图像中选取一个像素点P,判断它是否是一第一采样点。具体判断时,可以:
S2-1:确定像素点p的亮度值设Ip。
S2-2:设定一个合适的阈值t(阈值范围设置为:0~100的整数)。通过多次试验,优选地将阈值设置为40时,检测效果最为明显。
S2-3:以该像素点P为中心的作一个半径等于3像素的离散化的Bresenham圆,作为检测圆。其中,这个圆的边界上有16个检测点。具体可以参阅图3所示的在一个场景示例中应用本申请实施方式提供图像配准处理方法/装置获取第一采样点的过程示意图。
S2-4:对于检测圆圆心处的待确定是否是第一采样点的像素点p邻域范围内的16个像素点(即检测点),记每个像素点为xi(i=1,2,…,16),将各个点的图像灰度值与待确定的像素点p的灰度值按照以下公式进行对比,根据对比结果,分为3种不同的状态(记作p→x),即“更暗”、“相似”、“更亮”:
S2-5:如果圆周上的16个像素点中,存在连续多个像素点的灰度值都满足CRFp→x=d,或CRFp→x=b,则可以判断待确定像素点p为第一采样点并将其保留。通过多次试验,优选地,当连续像素点个数为9个时检测出的第一采样点可靠且稳定。
S3:对检测获得的第一采样点进行过滤处理,保留强角点,作为第二采样点。具体实施时,可以包括:
S3-1:确定第一采样点的哈里斯角点响应值。
S3-2:按照哈里斯角点响应值由大到小进行排列第一采样点,根据施工要求,选择响应值较大的前30%的第一采样点作为待匹配点,即强角点(第二采样点)。
S4:根据所保留的强角点(即第二采样点),利用快速视网膜关键点描述子进行描述,进而匹配,确定匹配点对。具体实施时,可以包括:
S4-1:首先设定第二采样点的同心圆层数为K,并根据不同的同心圆层设定特征点的尺度σ,进而可以确定每一层的同心圆的半径为M1σ,M2σ,…,MKσ,以第二采样点为圆心做K个同心圆。
S4-2:每个采样点在采样前为了避免图像噪声,可以先通过高斯平滑处理去除噪声。其中,高斯核的大小与第二采样点的同心圆的半径成正比。
S4-3:确定各个第二采样点的同心圆之间的重叠区域,搜索不在重叠区域内的第二采样点作为特征点。
S4-4:利用快速视网膜关键点描述子按照以下公式对特征点进行描述:
上式中,Fa为特征点a与待配准图像B中各个特征点的关系描述,T(Pi)为特征点a与图像B中的编号为i的特征点的灰度值关系函数,i为图像B中的编号为i的特征点,N为图像B中特征点的总数。
按照以下方式确定灰度值关系函数:
上式中,T(Pi)为特征点a与图像B中的编号为i的特征点的灰度值关系函数,I(Pa A)为图像A中a特征点的灰度值,I(Pi B)为图像B中编号为i的特征点的灰度值,i的取值为1至N,N为图像B中特征点总数。
S4-5:根据上述描述,通过计算汉明距离的大小来判断两个二进制比特串的相似性。选择汉明距离最小的第一图像的特征点和第二图形的特征点组成匹配点对。
具体比较时,例如可以使用“512”位二进制比特串,则“512”为两个二进制比特串之间的最大汉明距离,“0”为两个二进制比特串之间的最小汉明距离。
S5:对上述确定的匹对进行误差去除校正。具体可以包括:
S5-1:利用快速最近邻域算法搜索特征点对间的最近邻点对与次近邻点对。确定出原始图像中特征点k(第二图像的特征点)的最近邻点(第一近似点)与次近邻点(第二近似点)分别是待配准图像(第一图像)中的特征点m和n。确定特征点m,n与特征点k的汉明距离,并分别记为:Dkm、Dkn。
S5-2:通过对匹配比率的计算,根据匹配率确定相对较准确的第一图像的点与点k构造匹配点对。其中,计算匹配比率公式为:R=Dkm/Dkn。具体实施时,如果R小于设定的阈值TR(其中,该阈值可根据匹配需要在0~100内自行设定),则特征点k与特征点m作为一个匹配点对。
S5-3:为了更进一步精炼匹配对,还可以通过随机采样一致性算法从匹配点对中筛选出精度较好的匹配点,以便后续使用。
S6:计算图像配准参数。具体实施时利用单应性矩阵计算图像间的配准参数。
S7:根据配准参数,进行具体的图像配准,得到图像配准结果。具体可以参阅图4所示的在一个场景示例中应用本申请实施方式提供图像配准处理方法/装置获得的图像配准结果示意图。
S8:根据图像配准结果,进行具体的图像拼接处理。具体可以参阅图5所示的在一个场景示例中应用本申请实施方式提供图像配准处理方法/装置获得的图像拼接结果示意图。
利用基于二进制鲁棒独立的基本特征算法(Binary Robust IndependentElementary Features,简称BRIEF)的现有配准方法作为对比方法,对两种方法所获得的结果进行比较分析,发现:利用本申请实施方式提供的图像配准处理方法得到的计算配准精度、配准效率,均明显高于现有的配准方法;此外,利用本申请实施方法提供图像配准处理方法进行图像配准的适用范围更广,对于旋转变换、尺度变换、光照变换、视角变换等不同形式下的配准都能较好适用,且都具备较好的适应性与稳定性。
通过上述场景示例,验证了本申请实施方式提供的图像配准处理方法/装置,确实可以解决现有的图像配准处理方法中存在的不能同时兼顾处理速度和配准精度的技术问题,达到更加快速、更加准确地进行图像配准的技术效果。
尽管本申请内容中提到不同的具体实施方式,但是,本申请并不局限于必须是行业标准或实施例所描述的情况等,某些行业标准或者使用自定义方式或实施例描述的实施基础上略加修改后的实施方案也可以实现上述实施例相同、等同或相近、或变形后可预料的实施效果。应用这些修改或变形后的数据获取、处理、输出、判断方式等的实施例,仍然可以属于本申请的可选实施方案范围之内。
虽然本申请提供了如实施例或流程图所述的方法操作步骤,但基于常规或者无创造性的手段可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式,不代表唯一的执行顺序。在实际中的装置或客户端产品执行时,可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境,甚至为分布式数据处理环境)。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、产品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、产品或者设备所固有的要素。在没有更多限制的情况下,并不排除在包括所述要素的过程、方法、产品或者设备中还存在另外的相同或等同要素。
上述实施例阐明的装置或模块等,具体可以由计算机芯片或实体实现,或者由具有某种功能的产品来实现。为了描述的方便,描述以上装置时以功能分为各种模块分别描述。当然,在实施本申请时可以把各模块的功能在同一个或多个软件和/或硬件中实现,也可以将实现同一功能的模块由多个子模块的组合实现等。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
本领域技术人员也知道,除了以纯计算机可读程序代码方式实现控制器以外,完全可以通过将方法步骤进行逻辑编程来使得控制器以逻辑门、开关、专用集成电路、可编程逻辑控制器和嵌入微控制器等的形式来实现相同功能。因此这种控制器可以被认为是一种硬件部件,而对其内部包括的用于实现各种功能的装置也可以视为硬件部件内的结构。或者甚至,可以将用于实现各种功能的装置视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构、类等等。也可以在分布式计算环境中实践本申请,在这些分布式计算环境中,由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
通过以上的实施方式的描述可知,本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在存储介质中,如ROM/RAM、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,移动终端,服务器,或者网络设备等)执行本申请各个实施例或者实施例的某些部分所述的方法。
本说明书中的各个实施例采用递进的方式描述,各个实施例之间相同或相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。本申请可用于众多通用或专用的计算机系统环境或配置中。例如:个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的电子设备、网络PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。
虽然通过实施例描绘了本申请,本领域普通技术人员知道,本申请有许多变形和变化而不脱离本申请的精神,希望所附的权利要求包括这些变形和变化而不脱离本申请。
Claims (10)
1.一种图像配准处理方法,其特征在于,包括:
获取第一图像和第二图像;
通过加速分割特征算法,获取第一图像的第一采样点和第二图像的第一采样点;
利用哈里斯算法从所述第一图像的第一采样点中筛选出第一图像的第二采样点,从所述第二图像的第一采样点中筛选出第二图像的第二采样点;
利用快速视网膜关键点描述子对所述第一图像的第二采样点和所述第二图像的第二采样点进行描述,根据描述结果确定匹配点对;
根据所述匹配点对,确定配准参数,并根据所述配准参数,将所述第一图像与所述第二图像进行配准。
2.根据权利要求1所述的方法,其特征在于,所述通过加速分割特征算法,获取第一图像的第一采样点和第二图像的第一采样点,包括:
通过影像金字塔,分别建立第一图像的尺度空间、第二图像的尺度空间;
通过加速分割特征算法,从所述第一图像的尺度空间中获取所述第一图像的第一采样点,从所述第二图像的尺度空间中获取所述第二图像的第一采样点。
3.根据权利要求1所述的方法,其特征在于,所述利用哈里斯算法从所述第一图像的第一采样点中筛选出第一图像的第二采样点,从所述第二图像的第一采样点中筛选出第二图像的第二采样点,包括:
求取第一图像的第一采样点的哈里斯角点响应值和第二图像的第一采样点的哈里斯角点响应值;
根据所述第一图像的第一采样点的哈里斯角点响应值,建立第一图像的第一点列,根据所述第二图像的第一采样点的哈里斯角点响应值,建立第二图像的第一点列;
从所述第一图像的第一点列中确定出第一图像的强角点作为所述第一图像的第二采样点;
从所述第二图像的第一点列中确定出第二图像的强角点作为所述第二图像的第二采样点。
4.根据权利要求1所述的方法,其特征在于,利用快速视网膜关键点描述子对所述第一图像的第二采样点和所述第二图像的第二采样点进行描述,根据描述结果确定匹配点对,包括:
按照预设规则,从所述第一图像的第二采样点中确定出第一图像的特征点,从所述第二图像的第二采样点中确定出第二图像的特征点;
根据所述第一图像的特征点和所述第二图像的特征点,建立对应的快速视网膜关键点描述子;
利用所述快速视网膜关键点描述子,对所述第一图像的特征点和所述第二图像的特征点进行描述,根据描述结果确定所述匹配点对。
5.根据权利要求4所述的方法,其特征在于,按照以下公式,建立所述快速视网膜关键点描述子:
<mrow>
<msub>
<mi>F</mi>
<mi>a</mi>
</msub>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mrow>
<mn>1</mn>
<mo>&le;</mo>
<mi>i</mi>
<mo>&le;</mo>
<mi>N</mi>
</mrow>
</munder>
<msup>
<mn>2</mn>
<mi>i</mi>
</msup>
<mi>T</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>a</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
</mrow>
上式中,Fa为第二图像中编号为a的第二图像的特征点的快速视网膜关键点描述子,T(Pa,i)为编号为a的第二图像的特征点与第一图像中编号为i的第一图像的特征点的灰度值关系函数,i的取值为1至N,N为第一图像中的第一图像的特征点的个数。
6.根据权利要求5所述的方法,其特征在于,按照以下公式,建立所述编号为a的第二图像的特征点与第一图像中编号为i的第一图像的特征点的灰度值关系函数:
<mrow>
<mi>T</mi>
<mrow>
<mo>(</mo>
<msub>
<mi>P</mi>
<mrow>
<mi>a</mi>
<mo>,</mo>
<mi>i</mi>
</mrow>
</msub>
<mo>)</mo>
</mrow>
<mo>=</mo>
<mfenced open = "{" close = "">
<mtable>
<mtr>
<mtd>
<mrow>
<mn>1</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mo>(</mo>
<mi>I</mi>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>a</mi>
<mi>A</mi>
</msubsup>
<mo>)</mo>
<mo>-</mo>
<mi>I</mi>
<mo>(</mo>
<msubsup>
<mi>P</mi>
<mi>i</mi>
<mi>B</mi>
</msubsup>
<mo>)</mo>
<mo>></mo>
<mn>0</mn>
<mo>)</mo>
</mrow>
</mtd>
</mtr>
<mtr>
<mtd>
<mrow>
<mn>0</mn>
<mo>,</mo>
</mrow>
</mtd>
<mtd>
<mrow>
<mi>o</mi>
<mi>t</mi>
<mi>h</mi>
<mi>e</mi>
<mi>r</mi>
<mi>s</mi>
</mrow>
</mtd>
</mtr>
</mtable>
</mfenced>
</mrow>
上式中,I(Pa A)为第二图像中编号为a的第二图像的特征点的灰度值,I(Pi B)为第一图像中编号为i的第一图像的特征点的灰度值。
7.根据权利要求4所述的方法,其特征在于,所述利用所述快速视网膜关键点描述子,对所述第一图像的特征点和所述第二图像的特征点进行描述,根据描述结果确定所述匹配点对,包括:
通过所述快速视网膜关键点描述子,确定第二图像的特征点与第一图像的特征点的汉明距离;
根据所述第二图像的特征点与第一图像的特征点的汉明距离,确定匹配点对,其中,所述匹配点对包括两个特征点:第二图像的特征点和第一图像的特征点。
8.根据权利要求1所述的方法,其特征在于,根据所述匹配点对,确定配准参数,包括:
根据所述匹配点对,建立映射关系矩阵;
根据所述映射关系矩阵和所述匹配点对,确定映射关系矩阵的变换参数;
利用所述映射关系矩阵的变换参数,确定所述配准参数。
9.根据权利要求1所述的方法,其特征在于,在将所述第一图像与所述第二图像进行配准后,所述方法还包括:
根据配准结果,进行以下至少之一:三维重建、图像拼接、目标识别。
10.一种图像配准处理装置,其特征在于,包括:
第一获取模块,用于获取第一图像和第二图像;
第二获取模块,用于通过加速分割特征算法,获取第一图像的第一采样点和第二图像的第一采样点;
筛选模块,用于利用哈里斯算法从所述第一图像的第一采样点中筛选出第一图像的第二采样点,从所述第二图像的第一采样点中筛选出第二图像的第二采样点;
确定模块,用于利用快速视网膜关键点描述子对所述第一图像的第二采样点和所述第二图像的第二采样点进行描述,根据描述结果确定匹配点对;
配准模块,用于根据所述匹配点对,确定配准参数,并根据所述配准参数,将所述第一图像与所述第二图像进行配准。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710537033.3A CN107369170A (zh) | 2017-07-04 | 2017-07-04 | 图像配准处理方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710537033.3A CN107369170A (zh) | 2017-07-04 | 2017-07-04 | 图像配准处理方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN107369170A true CN107369170A (zh) | 2017-11-21 |
Family
ID=60306262
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710537033.3A Pending CN107369170A (zh) | 2017-07-04 | 2017-07-04 | 图像配准处理方法和装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN107369170A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064504A (zh) * | 2018-08-24 | 2018-12-21 | 深圳市商汤科技有限公司 | 图像处理方法、装置和计算机存储介质 |
CN111026641A (zh) * | 2019-11-14 | 2020-04-17 | 北京云聚智慧科技有限公司 | 一种图片比较方法和电子设备 |
CN111047600A (zh) * | 2019-11-22 | 2020-04-21 | 深圳大学 | 一种多维图像分割方法和装置 |
CN113096170A (zh) * | 2021-06-09 | 2021-07-09 | 北京世纪好未来教育科技有限公司 | 文本图像配准方法、装置、设备、存储介质,及程序产品 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679193A (zh) * | 2013-11-12 | 2014-03-26 | 华南理工大学 | 一种基于freak的高速高密度封装元器件快速定位方法 |
CN106384383A (zh) * | 2016-09-08 | 2017-02-08 | 哈尔滨工程大学 | 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法 |
CN106683046A (zh) * | 2016-10-27 | 2017-05-17 | 山东省科学院情报研究所 | 用于警用无人机侦察取证的图像实时拼接方法 |
-
2017
- 2017-07-04 CN CN201710537033.3A patent/CN107369170A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103679193A (zh) * | 2013-11-12 | 2014-03-26 | 华南理工大学 | 一种基于freak的高速高密度封装元器件快速定位方法 |
CN106384383A (zh) * | 2016-09-08 | 2017-02-08 | 哈尔滨工程大学 | 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法 |
CN106683046A (zh) * | 2016-10-27 | 2017-05-17 | 山东省科学院情报研究所 | 用于警用无人机侦察取证的图像实时拼接方法 |
Non-Patent Citations (2)
Title |
---|
FENG LIU等: "An image registration algorithm based on FREAK-FAST for visual SLAM", 《PROCEEDINGS OF THE 35TH CHINESE CONTROL CONFERENCE》 * |
曾庆化等: "惯性信息辅助的大视角目标快速精确定位", 《航空学报》 * |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109064504A (zh) * | 2018-08-24 | 2018-12-21 | 深圳市商汤科技有限公司 | 图像处理方法、装置和计算机存储介质 |
CN111026641A (zh) * | 2019-11-14 | 2020-04-17 | 北京云聚智慧科技有限公司 | 一种图片比较方法和电子设备 |
CN111047600A (zh) * | 2019-11-22 | 2020-04-21 | 深圳大学 | 一种多维图像分割方法和装置 |
CN111047600B (zh) * | 2019-11-22 | 2023-04-28 | 深圳大学 | 一种多维图像分割方法和装置 |
CN113096170A (zh) * | 2021-06-09 | 2021-07-09 | 北京世纪好未来教育科技有限公司 | 文本图像配准方法、装置、设备、存储介质,及程序产品 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2020169043A1 (zh) | 一种密集人群计数的方法、装置、设备以及存储介质 | |
CN107369170A (zh) | 图像配准处理方法和装置 | |
CN104866868B (zh) | 基于深度神经网络的金属币识别方法和装置 | |
CN104700099B (zh) | 识别交通标志的方法和装置 | |
CN109325464A (zh) | 一种基于人工智能的手指点读文字识别方法及翻译方法 | |
CN108010045A (zh) | 基于orb的视觉图像特征点误匹配提纯方法 | |
CN105426919B (zh) | 基于显著性指导非监督特征学习的图像分类方法 | |
CN108038853A (zh) | 一种基于卷积神经网络和主动学习的瓷砖表面缺陷识别方法 | |
Stahl et al. | Edge grouping combining boundary and region information | |
CN106650740B (zh) | 一种车牌识别方法及终端 | |
JP2019514123A (ja) | 地理的領域におけるコンテナ内に格納された量の遠隔決定 | |
CN109086652A (zh) | 手写字模型训练方法、汉字识别方法、装置、设备及介质 | |
CN108830294A (zh) | 一种图像数据的增广方法 | |
Hong et al. | Robust palmprint recognition based on the fast variation Vese–Osher model | |
CN105069774B (zh) | 基于多示例学习与图割优化的目标分割方法 | |
CN107103613A (zh) | 一种三维手势姿态估计方法 | |
CN101923702A (zh) | 一种图片验证码的生成方法 | |
CN108596338A (zh) | 一种神经网络训练集的获取方法及其系统 | |
CN108108731A (zh) | 基于合成数据的文本检测方法及装置 | |
CN108550166B (zh) | 一种空间目标图像匹配方法 | |
CN106228528A (zh) | 一种基于决策图与稀疏表示的多聚焦图像融合方法 | |
CN108985337A (zh) | 一种基于图像深度学习的产品表面划痕检测方法 | |
CN108268865A (zh) | 一种基于级联卷积网络的自然场景下车牌识别方法及系统 | |
CN109615604A (zh) | 基于图像重构卷积神经网络的零件外观瑕疵检测方法 | |
CN106372630A (zh) | 一种基于深度学习的人脸方向检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20171121 |