CN108537832B - 基于局部不变灰度特征的图像配准方法、图像处理系统 - Google Patents

基于局部不变灰度特征的图像配准方法、图像处理系统 Download PDF

Info

Publication number
CN108537832B
CN108537832B CN201810316415.8A CN201810316415A CN108537832B CN 108537832 B CN108537832 B CN 108537832B CN 201810316415 A CN201810316415 A CN 201810316415A CN 108537832 B CN108537832 B CN 108537832B
Authority
CN
China
Prior art keywords
descriptor
image
points
point
local
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201810316415.8A
Other languages
English (en)
Other versions
CN108537832A (zh
Inventor
卢一相
陈帅
高清维
孙冬
彭学明
鲍华
夏懿
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201810316415.8A priority Critical patent/CN108537832B/zh
Publication of CN108537832A publication Critical patent/CN108537832A/zh
Application granted granted Critical
Publication of CN108537832B publication Critical patent/CN108537832B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation

Abstract

本发明属于数据识别及数据表示技术领域,公开了一种基于局部不变灰度特征的图像配准方法、图像处理系统,所述基于局部不变灰度特征的图像配准方法构建特征提取描述子;通过寻找配准图像间的特征点,采用最近邻法则寻找相匹配的关键点;计算配准图像间的仿射变换变换矩阵H,通过奇异值分解求出其6个参数。构建描述子,将采样点分为奇偶两部分,使得构造描述子时维度显著降低,减少了运行时间,提高了配准时的精度与准确度;构造描述子向量时,根据灰度值大小进行排序,具有旋转不变性。本发明的检测精度较高,具有较好的噪声鲁棒性和较低的计算复杂度,主要得益于较大程度上降低原描述子的维度,对光照变换不敏感。

Description

基于局部不变灰度特征的图像配准方法、图像处理系统
技术领域
本发明属于数据识别及数据表示技术领域,尤其涉及一种基于局部不变灰度特征的图像配准方法、图像处理系统。
背景技术
目前,业内常用的现有技术是这样的:图像局部特征广泛应用于计算机视觉与模式识别中,这主要包括两个方面:从关注的图像中检测感兴趣点或者感兴趣区域,并计算他们的不变特征。目前已经提出许多检测感兴趣点的方法,例如SIFT,GLOH,IWCS-LTP等等。它们通过构建梯度方向和位置信息直方图去构建描述子,可以获得令人满意的效果。然而这些方法不能应对更为复杂的方向变化和光照变换。现有技术一局部灰度排序模式,局部灰度排序模式(LIOP)是通过计算每一个感兴趣区域中的元素的局部坐标构造描述子,从而具有方向不变性和光照不变性。缺点,局部灰度排序模式的维度会随着采样点的变大而变大,影响计算效率。现有技术二SIFT,SIFT算法广泛应用于特征提取领域,具有较高的利用价值。通过建立高斯金字塔,寻找尺度不变特征点,具有仿射不变性。SIFT算法在寻找不变特征时,需要建立坐标系,为每一个关键点分配主方向,然而方向评估容易受到噪声干扰,影响匹配精确性。基于特征的配准方法是目前较为常用的配准方法之一,该算法只需要利用提取到的待配准图像中的点、线、边缘等特征信息,而并不需要任何辅助信息,不仅可以减少计算量、提高效率,同时,能够对图像的灰度变化具有鲁棒性。根据选取的特征信息的不同,基于特征的图像配准基本可分为三类,即基于特征点、特征区域、特征边缘。在图像配准中,基于特征点的匹配广为使用。SIFT算法是在空间尺度中寻找极值点,并提取出其位置、尺度、旋转不变量,此算法由David Lowe在1999年所发表,2004年完善总结。SIFT特征是图像的局部特征,其对旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变换、噪声变换也保持一定程度的稳定性,其实质是在不同的尺度空间上查找关键点(特征点),并计算出关键点的方向。但是,该方法在构建特征描述子时,需要为每一个关键点分配主方向,方向的确定容易受到噪声的干扰,同时SIFT方法在提取特征时,对边缘光滑的目标无法准确地提取特征点,对模糊的图像和边缘光滑的图像,检测到的特征点很少,尤其难以处理圆形区域。LIOP是一种用来刻画图像局部亮度顺序信息的特征描述方法。该方法利用图像(块)整体的亮度顺序信息将图像块分割成若干个局部子区域,一次来加快计算速度,同时,整个图像块的整体和局部亮度顺序信息被提取出来,可以构成LIOP特征。该方法对光照变换不敏感,同时对视角变换,图像模糊,图像有损压缩等也同样不敏感。然而该方法在构建特征向量时,由于对图像局部块中某个点进行采样,得到若干采样点,随着采样点的增多,特征的维度越来越高,影响计算速度与实验效率。CS-LBP是利用中心对称的局部二值模型LBP(local binary pattern)构造描述子,由于利用中心对称的采样点,可以避免描述子维度过大,HRI-CSLTP是将CS-LBP进行扩展,得到三值编码,得到的描述子具有更强的辨别能力。利用各种特征提取算法找到的特征点,进行特征点初始匹配后,所选定的点对不一定就是全部正确的点,也可能有误点,因此常用RANSAC对特征点进行提纯,然而利用此法找到的点对,可能还是不够准确,极大的影响了后续图像的配准。
综上所述,现有技术存在的问题是:
(1)SIFT算法在寻找不变特征时,需要建立坐标系,为每一个关键点分配主方向,方向评估容易受到噪声干扰,影响匹配精确性。
(2)局部灰度排序模式的维度会随着采样点的变大而变大,影响计算效率。
(3)利用RANSAC提纯匹配点对后,可能还有误匹配点,需要进行精提纯,以消除误差,同时在求取仿射变换矩阵H时,利用三对匹配点一次性计算出所有的仿射变换参数,容易引入参数估计误差。
解决上述技术问题的难度和意义:
针对SIFT描述子构建时需要为特征点估计主方向,而主方向容易受到噪声的干扰,影响图像的特征配准,以及LIOP描述子维度相对较高的问题,本发明基于LIOP,利用局部亮度顺序排序模式,构造一种新的描述子,不仅可以避免评估主方向,防止受到噪声的干扰,而且对光照变化具有较强的不变性,同时,维度相比LIOP降低许多,大大减少了计算量。
利用新方法找到的特征点,利用对RANSAC提纯后的匹配点对进行最小二乘法,完成一次精提纯,通过此法可以使得参数误差进一步降低。在进行特征匹配完成图像配准时,采用分步求解六参数仿射模型,即先求解4参数,再求解剩余参数,以及进行优化算法设计来删除外点,可以有效去除误匹配点,提纯匹配点对。为图像配准过程中的仿射不变特征提取、变换模型的参数估计等关键问题开展提供了更精准的算法设计。
发明内容
针对现有技术存在的问题,本发明提供了一种基于局部不变灰度特征的图像配准方法、图像处理系统。
本发明是这样实现的,一种基于局部不变灰度特征的图像配准方法,所述基于局部不变灰度特征的图像配准方法构建特征提取描述子;通过寻找配准图像间的特征点,采用最近邻法则寻找相匹配的关键点;计算配准图像间的仿射变换变换矩阵H,通过奇异值分解求出其6个参数。
进一步,所述构建特征提取描述子之前需要:
(1)图像预处理和检测感兴趣区域:利用标准差为σ1高斯滤波器去除噪声,利用具有仿射协变性的检测器检测感兴趣区域;再采用标准差为σ2的高斯滤波器移除在插值化过程中插值所引入的噪声。
(2)感兴趣区域分割:根据图像块中像素的灰度值排序,将局部图像块分割成许多子区域:局部块中的所有像素根据灰度值大小按照非降序顺序排列;根据灰度值排序,将局部块分成B个子区域。
进一步,所述构建特征提取描述子具体包括:
(1)构建坐标系:局部块中的中心设为O,定义一个点P,则设
Figure GDA0003216156700000041
为y轴,x轴则为y轴顺时针旋转90度方向;在局部坐标系中,设置中心点为P,半径为R,N为在子区域中临近P点的个数;OP方向远离P点的一个点为第一个点,其余N-1点按照顺时针方向排列,得到像素点集合{X1,X2,…,XN},通过线性插值得到灰度值{I(X1),I(X2),…,I(XN)};N为偶数,采样点根据奇偶性分为如下两列:
P(1)(x)={I(X1),I(X3),…,I(XN-1)}
P(2)(x)={I(X2),I(X4),…,I(XN)};
比较相邻像素的灰度值,得到两个新的向量(k=1,2),且维度为N/2,最后一个像素与第一个像素作比较作为向量组的最后一个成分,得到的向量表达式如下为:
vector(1)=(sign(I(X1)-I(X3)),sign(I(X3)-I(X5)),…,sign(I(XN-3)-I(XN-1)),sign(I(XN-1)-I(X1)));
vector(2)=(sign(I(X2)-I(X4)),sign(I(X4)-I(X6)),…,sign(I(XN-2)-I(XN)),sign(I(XN)-I(X2)));
其中
Figure GDA0003216156700000042
vectors(k)是只有一个像素为1,其它均为0的向量,转化为向量:
Figure GDA0003216156700000043
其中
Figure GDA0003216156700000044
采样点映射为两个维度为2N/2的向量组D(P(k)),k=1,2,其中只有一个元素为1,其它均为0,将这两个向量组连接作为一个完整的向量,并且维度为2×2N2,指向点P的向量,其表达式如下:
D(P)=(D(P(1)),D(P(2)));
(2)将区域R分割为B个子区域,R={R1,R2,…,RB},将所有子区域向量相加:
Figure GDA0003216156700000045
通过连接每个子区域的描述子,得到一个特征描述子:
descriptor=(des1,des2,…,desB);
最终构造的描述子维度为2B×2N2
进一步,所述配准图像的配准方法包括:利用欧氏距离计算一幅图像中关键点描述子到另一幅图像关键点描述子的距离;对距离按从小到大排序,排序后数据的第一项与第二项的比值小于某个阈值,第一项数据所对应的关键点相对应匹配,否则不匹配;重复上述步骤直到遍历图中所有关键点。
进一步,所述通过奇异值分解求出其6个参数的具体步骤为:
(a)参数估计的数学表达,六参数的仿射变换模型为:
Figure GDA0003216156700000051
其中
Figure GDA0003216156700000052
(x,y)T和(x',y')T分别表示参考图像和待配准图像中的匹配点,采用分步估计的方法,先估计A中的四个参数,再估计B中的两个参数;设
Figure GDA0003216156700000053
是三对匹配的点对,将三对点对带入上式并两两相减,得到:
Figure GDA0003216156700000054
Figure GDA0003216156700000055
采用式(5)估计e和f:
Figure GDA0003216156700000056
优化问题:
minimize
Figure GDA0003216156700000057
subject to|r1|≤|r2|≤...≤|rh|≤...≤|rn| (5)
其中
Figure GDA0003216156700000061
是残差,|r1|≤|r2|≤...≤|rh|≤...≤|rn|是残差的一个升序排列;
(b)优化算法设计及删除外点,将匹配的点对数据2n对分为两组,每组n对,在每组中拟采用如下实现步骤:
步骤一,对数据进行J次随机采样,每次随机选取m(m≥3)组数据,利用式(2)-(3)构造方程组,当k>3时,将式(3)-(4)改成超定方程组,求解式(2)-(4)得
Figure GDA0003216156700000062
Figure GDA0003216156700000063
的估计值;
步骤二,将求得的
Figure GDA0003216156700000064
Figure GDA0003216156700000065
作为初始值,利用式(5)对每组数据优化求解,将最优值对应的h个配对点组成一个新的集合S,在S上使用式(2)-(4)的最小二乘形式求解
Figure GDA0003216156700000066
Figure GDA0003216156700000067
然后在n个数据上使用
Figure GDA0003216156700000068
Figure GDA0003216156700000069
和式(5)进行求解;
步骤三,重复步骤二3-4次,取每组中使式(5)最小的前5个采样所对应的估计参数,将这10组参数估计值分别作为初始值,对全体数据(2n个)使用式(5)优化求解;用10组优化值中使式(5)最小的参数
Figure GDA00032161567000000610
Figure GDA00032161567000000611
作为参数的优化初值,并用
Figure GDA00032161567000000612
Figure GDA00032161567000000613
计算2n个残差|rp1|≤|rp2|≤...≤|rp2n|;
步骤四,计算rp1,rp2,...,rp2n的标准差σ,将残差|rpi|>kσ的点(外点)删除,k的取值根据实际的实验确定;
步骤五,对步骤四中得到的内点使用LS算法估计最终的参数。
本发明的另一目的在于提供一种应用所述基于局部不变灰度特征的图像配准方法的图像处理系统。
综上所述,本发明的优点及积极效果为:构建描述子,将采样点分为奇偶两部分,使得构造描述子时维度显著降低,减少了运行时间,提高了配准时的精度与准确度;构造描述子向量时,根据灰度值大小进行排序,具有旋转不变性。本发明的检测精度较高,具有较好的噪声鲁棒性和较低的计算复杂度,主要得益于较大程度上降低原描述子的维度,对光照变换不敏感。
附图说明
图1是本发明实施例提供的基于局部不变灰度特征的图像配准方法流程图。
图2是本发明实施例提供的原图和分割后的子图;
图中:(a)标准化区域;(b)-(g)分割后的图像。
图3是本发明实施例提供的局部坐标系示意图。
图4是本发明实施例提供的不同光照条件下实验图像(Desktop);
图中:(a)原图;(b)平方根图;(c)平方图。
图5是本发明实施例提供的不同光照条件下各描述子性能测试结果(采用recall与1-precsion曲线);
图中:(a)原图实验结果;(b)平方根图实验结果;(c)平方图实验结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
本发明的基于局部灰度不变的描述子特征检测方法,使其具有仿射不变性的同时,可以做到旋转不变性和光照不变性,有效地提取特征,做到图像配准。
如图1所示,本发明实施例提供的基于局部不变灰度特征的图像配准方法包括以下步骤:
S101:构建特征提取描述子;
S102:通过寻找配准图像间的特征点,采用最近邻法则寻找相匹配的关键点;
S103:计算配准图像间的仿射变换变换矩阵H,通过奇异值分解求出其6个参数。
本发明实施例提供的基于局部不变灰度特征的图像配准方法具体包括以下步骤:通过寻找配准图像间的特征点,采用最近邻法则寻找相匹配的关键点;计算配准图像间的仿射变换变换矩阵H,通过奇异值分解求出其6个参数。然而,为提高参数估计的精度、稳健性和运算的速度,拟采用先使用LTS(Least Trimmed Squares)算法获得参数的优化初值,然后删除外点,再使用LS(Least Squares)算法在内点上获得参数值的优化估计策略。
具体求解步骤为:
(a)参数估计的数学表达
设六参数的仿射变换模型为:
Figure GDA0003216156700000081
其中
Figure GDA0003216156700000082
(x,y)T和(x',y')T分别表示参考图像和待配准图像中的匹配点。理论上,通过三个匹配点对就可以一次计算出所有的参数,但是这样做将产生较大的误差。因此,我们拟采用分步估计的方法,即先估计A中的四个参数,再估计B中的两个参数。设
Figure GDA0003216156700000083
Figure GDA0003216156700000084
是三对匹配的点对,将三对点对带入上式并两两相减,可得到:
Figure GDA0003216156700000085
Figure GDA0003216156700000086
为了减小e和f的估计误差,拟采用式(5)估计e和f:
Figure GDA0003216156700000087
LTS算法可以描述为下述的优化问题,即:
minimize
Figure GDA0003216156700000088
subject to|r1|≤|r2|≤...≤|rh|≤...≤|rn| (5)
其中
Figure GDA0003216156700000089
是残差,|r1|≤|r2|≤...≤|rh|≤...≤|rn|是残差的一个升序排列。
(b)优化算法设计及删除外点
为实现双重回归参数估计算法,首先将匹配的点对数据(2n对)分为两组(每组n对),在每组中拟采用如下实现步骤:
步骤一,对数据进行J次随机采样,每次随机选取m(m≥3)组数据,利用式(2)-(3)构造方程组,当k>3时,将式(3)-(4)改成超定方程组,求解式(2)-(4)得
Figure GDA0003216156700000091
Figure GDA0003216156700000092
的估计值;
步骤二,将求得的
Figure GDA0003216156700000093
Figure GDA0003216156700000094
作为初始值,利用式(5)对每组数据优化求解,将最优值对应的h个配对点组成一个新的集合S,在S上使用式(2)-(4)的最小二乘形式求解
Figure GDA0003216156700000095
Figure GDA0003216156700000096
然后在n个数据上使用
Figure GDA0003216156700000097
Figure GDA0003216156700000098
和式(5)进行求解。
步骤三,重复步骤二3-4次,取每组中使式(5)最小的前5个采样所对应的估计参数,将这10组参数估计值分别作为初始值,对全体数据(2n个)使用式(5)优化求解。用10组优化值中使式(5)最小的参数
Figure GDA0003216156700000099
Figure GDA00032161567000000910
作为参数的优化初值,并用
Figure GDA00032161567000000911
Figure GDA00032161567000000912
计算2n个残差|rp1|≤|rp2|≤...≤|rp2n|。
步骤四,计算rp1,rp2,...,rp2n的标准差σ,将残差|rpi|>kσ的点(外点)删除,k的取值根据实际的实验确定;
步骤五,对步骤四中得到的内点使用LS算法估计最终的参数。
下面结合附图对本发明的应用原理作进一步的描述。
本发明实施例提供的基于局部不变灰度特征的图像配准方法包括以下步骤:
1)图像预处理和检测感兴趣区域:首先利用标准差为σ1高斯滤波器去除噪声,然后利用具有仿射协变性的检测器检测感兴趣区域,通常所检测区域为椭圆形,为了以后计算方便,将其标准化为一个固定半径的圆形区域。最终,再采用标准差为σ2的高斯滤波器移除在插值化过程中插值所引入的噪声。
2)感兴趣区域分割:为了使得描述子包含全局信息,根据图像块中像素的灰度值排序,将局部图像块分割成许多子区域。为了实现这个目标,需执行如下两步:(1)局部块中的所有像素根据灰度值大小按照非降序顺序排列;(2)根据灰度值排序,将局部块分成B个子区域。每一个子区域含有相同数量的像素,子区域中的像素并不是一定要与其他的像素相邻。这种方法保证了提议的描述子对于灰度单调变化具有不变性。如图2所示。
3)特征描述子
(1)定义描述子
对于特征描述,有许多构建描述子的合理算法。尽管这些算法是不尽相同的,但是它们的相同点是都需要构建局部坐标系。构建如下坐标系:局部块中的中心设为O,如果定义一个点P,则设
Figure GDA0003216156700000101
为y轴,x轴则为y轴顺时针旋转90度方向,如图3所示。
在局部坐标系中,设置中心点为P,半径为R,N为在子区域中临近P点的个数。设置OP方向远离P点的一个点为第一个点,其余N-1点按照顺时针方向排列。最后,得到像素点集合{X1,X2,…,XN},并且通过线性插值得到它们的灰度值{I(X1),I(X2),…,I(XN)}。通常,设置N为偶数,并且描述子的维度随着N的增加而增加。为了降低描述子的维度,将采样点根据奇偶性分为如下两列:
P(1)(x)={I(X1),I(X3),…,I(XN-1)}
P(2)(x)={I(X2),I(X4),…,I(XN)} ⑴
比较相邻像素的灰度值(比如I(Xi)和I(Xi+2)),可以得到两个新的向量(k=1,2),且维度为N/2,最后一个像素与第一个像素作比较作为向量组的最后一个成分。得到的向量表达式如下为:
vector(1)=(sign(I(X1)-I(X3)),sign(I(X3)-I(X5)),…,sign(I(XN-3)-I(XN-1)),sign(I(XN-1)-I(X1))) ⑵
vector(2)=(sign(I(X2)-I(X4)),sign(I(X4)-I(X6)),…,sign(I(XN-2)-I(XN)),sign(I(XN)-I(X2))) ⑶
其中
Figure GDA0003216156700000102
vectors(k)是只有一个像素为1,其它均为0的向量。为了增强其鲁棒性,将其转化为向量:
Figure GDA0003216156700000103
其中
Figure GDA0003216156700000104
采样点映射为两个维度为2N/2的向量组D(P(k)),k=1,2。其中只有一个元素为1,其它均为0。最终,将这两个向量组连接作为一个完整的向量,并且维度为2×2N2,指向点P的向量,其表达式如下:
D(P)=(D(P(1)),D(P(2))) ⑸
(2)描述子结构
在前文,将区域R分割为B个子区域,R={R1,R2,…,RB}。将所有子区域向量相加:
Figure GDA0003216156700000111
然后通过连接每个子区域的描述子,可以得到一个更为复杂的特征区域的特征描述子:
descriptor=(des1,des2,…,desB) ⑺
最终构造的描述子维度为2B×2N/2
(3)图像配准
利用欧氏距离计算一幅图像中关键点描述子到另一幅图像关键点描述子的距离;然后,对这些距离按从小到大排序,如果排序后数据的第一项与第二项的比值小于某个阈值,则第一项数据所对应的关键点相对应匹配,否则不匹配;最后,重复上述步骤直到遍历图中所有关键点。用匹配算法对两幅图像进行匹配实验,然而有部分匹配点是错误的。这些误匹配点会对求取H矩阵带来很大的误差,所以在求取变换矩阵前利用RANSAC算法和最小二乘法消去误差。
下面结合实验对本发明的应用原理作进一步的描述。
在实验中,采用表1如下参数,可得到最优的实验效果,表2展示了各描述子的维度与实验运行时间
表1实验参数设置
Figure GDA0003216156700000112
表2各描述子维数及运行时间
Figure GDA0003216156700000113
Figure GDA0003216156700000121
为了进一步证明该方法具有较高的光照不变性,测试一组光照变换实验,下面分别为实验原图与实验结果,实验测试图为”Desktop”,从左到右分别为原图以及平方图和平方根图像。这些非线性变换使图像的强度单调变化。实验结果采用“查准率”(precsion)和“查全率”(recall)来评估描述子的性能。
Figure GDA0003216156700000122
式中“correct matches””表示正确配对的个数,“false matches”为错误匹配的个数,“correspondence”为实际参加匹配的点对,“all matches”为所有的匹配点。
以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于局部不变灰度特征的图像配准方法,其特征在于,所述基于局部不变灰度特征的图像配准方法构建特征提取描述子;通过寻找配准图像间的特征点,采用最近邻法则寻找相匹配的关键点;计算配准图像间的仿射变换变换矩阵H,通过奇异值分解求出其6个参数;
所述构建特征提取描述子具体包括:
(1)构建坐标系:局部块中的中心设为O,定义一个点P,则设
Figure FDA0003267396320000011
为y轴,x轴则为y轴顺时针旋转90度方向;在局部坐标系中,设置中心点为P,半径为R,N为在子区域中临近P点的个数;OP方向远离P点的一个点为第一个点,其余N-1点按照顺时针方向排列,得到像素点集合{X1,X2,…,XN},通过线性插值得到灰度值{I(X1),I(X2),…,I(XN)};N为偶数,采样点根据奇偶性分为如下两列:
P(1)(x)={I(X1),I(X3),…,I(XN-1)}
P(2)(x)={I(X2),I(X4),…,I(XN)};
比较相邻像素的灰度值,得到两个新的向量,k=1,2,且维度为N/2,最后一个像素与第一个像素作比较作为向量组的最后一个成分,得到的向量表达式如下为:
vector(1)=(sign(I(X1)-I(X3)),sign(I(X3)-I(X5)),…,sign(I(XN-3)-I(XN-1)),sign(I(XN-1)-I(X1)));
vector(2)=(sign(I(X2)-I(X4)),sign(I(X4)-I(X6)),…,sign(I(XN-2)-I(XN)),sign(I(XN)-I(X2)));
其中
Figure FDA0003267396320000012
vectors(k)是只有一个像素为1,其它均为0的向量,转化为向量:
Figure FDA0003267396320000013
其中
Figure FDA0003267396320000014
采样点映射为两个维度为2N/2的向量组D(P(k)),k=1,2,其中只有一个元素为1,其它均为0,将这两个向量组连接作为一个完整的向量,并且维度为2×2N/2,指向点P的向量,其表达式如下:
D(P)=(D(P(1)),D(P(2)));
(2)将区域R分割为B个子区域,R={R1,R2,…,RB},将所有子区域向量相加:
Figure FDA0003267396320000021
通过连接每个子区域的描述子,得到一个特征描述子:
descriptor=(des1,des2,…,desB);
最终构造的描述子维度为2B×2N/2
2.如权利要求1所述的基于局部不变灰度特征的图像配准方法,其特征在于,所述构建特征提取描述子之前需要:
(1)图像预处理和检测感兴趣区域:利用标准差为σ1高斯滤波器去除噪声,利用具有仿射协变性的检测器检测感兴趣区域;再采用标准差为σ2的高斯滤波器移除在插值化过程中插值所引入的噪声;
(2)感兴趣区域分割:根据图像块中像素的灰度值排序,将局部图像块分割成许多子区域:局部块中的所有像素根据灰度值大小按照非降序顺序排列;根据灰度值排序,将局部块分成B个子区域。
3.如权利要求1所述的基于局部不变灰度特征的图像配准方法,其特征在于,所述配准图像的配准方法包括:利用欧氏距离计算一幅图像中关键点描述子到另一幅图像关键点描述子的距离;对距离按从小到大排序,排序后数据的第一项与第二项的比值小于某个阈值,第一项数据所对应的关键点相对应匹配,否则不匹配;重复上述步骤直到遍历图中所有关键点。
4.如权利要求1所述的基于局部不变灰度特征的图像配准方法,其特征在于,所述通过奇异值分解求出其6个参数的具体步骤为:
(a)参数估计的数学表达,六参数的仿射变换模型为:
Figure FDA0003267396320000031
其中
Figure FDA0003267396320000032
(x,y)T和(x',y')T分别表示参考图像和待配准图像中的匹配点,采用分步估计的方法,先估计A中的四个参数,再估计B中的两个参数;设
Figure FDA0003267396320000033
是三对匹配的点对,将三对点对带入上式并两两相减,得到:
Figure FDA0003267396320000034
Figure FDA0003267396320000035
采用式(4)估计e和f:
Figure FDA0003267396320000036
优化问题:
Figure FDA0003267396320000037
subject to|r1|≤|r2|≤…≤|rh|≤…≤|rn| (5)
其中
Figure FDA0003267396320000038
是残差,|r1|≤|r2|≤…≤|rh|≤…≤|rn|是残差的一个升序排列;
(b)优化算法设计及删除外点,将匹配的点对数据2n对分为两组,每组n对,在每组中拟采用如下实现步骤:
步骤一,对数据进行J次随机采样,每次随机选取m组数据,m≥3,利用式(2)-(3)构造方程组,当k>3时,将式(3)-(4)改成超定方程组,求解式(2)-(4)得
Figure FDA0003267396320000039
Figure FDA00032673963200000310
的估计值;
步骤二,将求得的
Figure FDA00032673963200000311
Figure FDA00032673963200000312
作为初始值,利用式(5)对每组数据优化求解,将最优值对应的h个配对点组成一个新的集合S,在S上使用式(2)-(4)的最小二乘形式求解
Figure FDA00032673963200000313
Figure FDA00032673963200000314
然后在n个数据上使用
Figure FDA00032673963200000315
和式(5)进行求解;
步骤三,重复步骤二3-4次,取每组中使式(5)最小的前5个采样所对应的估计参数,将这10组参数估计值分别作为初始值,对全体数据使用式(5)优化求解;用10组优化值中使式(5)最小的参数
Figure FDA0003267396320000041
Figure FDA0003267396320000042
作为参数的优化初值,并用
Figure FDA0003267396320000043
Figure FDA0003267396320000044
计算2n个残差|rp1|≤|rp2|≤...≤|rp2n|;
步骤四,计算rp1,rp2,...,rp2n的标准差σ,将残差|rpi|>kσ的点删除,k的取值根据实际的实验确定;
步骤五,对步骤四中得到的内点使用LS算法估计最终的参数。
5.一种应用权利要求1~4任意一项所述基于局部不变灰度特征的图像配准方法的图像处理系统。
CN201810316415.8A 2018-04-10 2018-04-10 基于局部不变灰度特征的图像配准方法、图像处理系统 Expired - Fee Related CN108537832B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810316415.8A CN108537832B (zh) 2018-04-10 2018-04-10 基于局部不变灰度特征的图像配准方法、图像处理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810316415.8A CN108537832B (zh) 2018-04-10 2018-04-10 基于局部不变灰度特征的图像配准方法、图像处理系统

Publications (2)

Publication Number Publication Date
CN108537832A CN108537832A (zh) 2018-09-14
CN108537832B true CN108537832B (zh) 2021-11-26

Family

ID=63479838

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810316415.8A Expired - Fee Related CN108537832B (zh) 2018-04-10 2018-04-10 基于局部不变灰度特征的图像配准方法、图像处理系统

Country Status (1)

Country Link
CN (1) CN108537832B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325215B (zh) * 2018-12-14 2024-03-19 中国移动通信集团安徽有限公司 图像局部特征描述方法、装置、设备及介质
CN110390653B (zh) * 2019-07-24 2023-03-31 易诚高科(大连)科技有限公司 一种针对OLED屏的高鲁棒性DeMURA方法
CN110428457B (zh) * 2019-08-08 2022-02-22 苏州中科全象智能科技有限公司 一种视觉定位中的点集仿射变换算法
CN111310107A (zh) * 2020-01-19 2020-06-19 武汉轻工大学 矩阵提取装置及方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103841298A (zh) * 2014-02-25 2014-06-04 浙江理工大学 一种基于颜色恒量和几何不变特征的视频稳像方法
CN104167000A (zh) * 2014-08-25 2014-11-26 同济大学 一种仿射不变的宽基线图像密集匹配方法
CN104200481A (zh) * 2014-09-17 2014-12-10 中国科学院深圳先进技术研究院 弥散张量图像配准方法及系统
CN104616280A (zh) * 2014-11-26 2015-05-13 西安电子科技大学 基于最大稳定极值区域和相位一致性的图像配准方法
CN105046684A (zh) * 2015-06-15 2015-11-11 华中科技大学 一种基于多边形广义霍夫变换的图像匹配方法
CN107146244A (zh) * 2017-04-11 2017-09-08 西安电子科技大学 基于pbil算法的图像配准方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10753881B2 (en) * 2016-05-27 2020-08-25 Purdue Research Foundation Methods and systems for crack detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103841298A (zh) * 2014-02-25 2014-06-04 浙江理工大学 一种基于颜色恒量和几何不变特征的视频稳像方法
CN104167000A (zh) * 2014-08-25 2014-11-26 同济大学 一种仿射不变的宽基线图像密集匹配方法
CN104200481A (zh) * 2014-09-17 2014-12-10 中国科学院深圳先进技术研究院 弥散张量图像配准方法及系统
CN104616280A (zh) * 2014-11-26 2015-05-13 西安电子科技大学 基于最大稳定极值区域和相位一致性的图像配准方法
CN105046684A (zh) * 2015-06-15 2015-11-11 华中科技大学 一种基于多边形广义霍夫变换的图像匹配方法
CN107146244A (zh) * 2017-04-11 2017-09-08 西安电子科技大学 基于pbil算法的图像配准方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
基于改进SIFT的SAR图像配准方法;张雄美 等;《计算机工程》;20180131;正文223页 *
改进的图像局部特征区域描述方法;朱仁欢 等;《通信学报》;20180430;正文1-3页 *

Also Published As

Publication number Publication date
CN108537832A (zh) 2018-09-14

Similar Documents

Publication Publication Date Title
CN108537832B (zh) 基于局部不变灰度特征的图像配准方法、图像处理系统
CN110097093B (zh) 一种异源图像精确匹配方法
US9418313B2 (en) Method for searching for a similar image in an image database based on a reference image
CN109697692B (zh) 一种基于局部结构相似的特征匹配方法
CN108830279B (zh) 一种图像特征提取与匹配方法
CN110084830B (zh) 一种视频运动目标检测与跟踪方法
CN107862319B (zh) 一种基于邻域投票的异源高分光学影像匹配误差剔除方法
Wang et al. An improved ORB image feature matching algorithm based on SURF
CN114743259A (zh) 位姿估计方法、位姿估计系统、终端、存储介质及应用
JP2018142189A (ja) プログラム、測距方法、及び測距装置
CN112364881B (zh) 一种进阶采样一致性图像匹配方法
CN111753119A (zh) 一种图像搜索方法、装置、电子设备及存储介质
CN110942473A (zh) 一种基于特征点网格化匹配的运动目标跟踪检测方法
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN111199558A (zh) 一种基于深度学习的图像匹配方法
Zhang et al. Robust corner finding based on multi-scale K-cosine angle detection
CN111898589B (zh) 一种基于gpu+特征识别的无人机影像快速配准方法
CN109871779B (zh) 掌纹识别的方法及电子设备
CN111340134A (zh) 一种基于局部动态规整的快速模板匹配方法
US8958651B2 (en) Tree-model-based stereo matching
CN113221914B (zh) 一种基于杰卡德距离的图像特征点匹配和误匹配剔除方法
Dai et al. An Improved ORB Feature Extraction Algorithm Based on Enhanced Image and Truncated Adaptive Threshold
Liu et al. A new ORB feature matching image algorithm based on non-maximum suppression method and Retinal sampling model
Li et al. Unmanned aerial vehicle image matching based on improved RANSAC algorithm and SURF algorithm
Koutaki et al. Fast and high accuracy pattern matching using multi-stage refining eigen template

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20211126

CF01 Termination of patent right due to non-payment of annual fee