CN105938615B - 基于特征导向gmm和边缘图像的图像配准方法及系统 - Google Patents
基于特征导向gmm和边缘图像的图像配准方法及系统 Download PDFInfo
- Publication number
- CN105938615B CN105938615B CN201610201334.4A CN201610201334A CN105938615B CN 105938615 B CN105938615 B CN 105938615B CN 201610201334 A CN201610201334 A CN 201610201334A CN 105938615 B CN105938615 B CN 105938615B
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- parameter
- posterior probability
- point set
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000013598 vector Substances 0.000 claims abstract description 73
- 230000009466 transformation Effects 0.000 claims abstract description 27
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims abstract description 21
- 239000011159 matrix material Substances 0.000 claims description 41
- 238000013178 mathematical model Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000013519 translation Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 abstract description 4
- 230000015556 catabolic process Effects 0.000 abstract description 3
- 238000006731 degradation reaction Methods 0.000 abstract description 3
- 239000012141 concentrate Substances 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000007792 addition Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000000465 moulding Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011524 similarity measure Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
- G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
一种基于特征导向GMM和边缘图像的图像配准方法及系统，包括计算待匹配的两幅图像的边缘图像，提取边缘图像的特征点集，根据特征描述向量集设定GMM模型的隶属度建立待匹配图像间几何变换相应的模型，通过最优化方法求解模型参数；重新计算特征点集中特征点另一特征点集中特征点的匹配点的后验概率，并根据阈值判断二者是否互为匹配点。本发明针对待匹配图像之间存在仿射变换的情况进行了建模，相较于之前最优的方法鲁棒性、准确性更佳，尤其在数据退化严重的情况下表现稳定。
Description
技术领域
本发明涉及图像特征匹配技术领域，具体地说，本发明涉及基于特征导向高斯混合模型(GMM)和边缘图像的图像配准技术方案。
背景技术
图像匹配的基本目标是将使用不同传感器在不同的时间和视角下获得的同一个场景的两幅图像的相同部位进行对应。在很多匹配场景中，受限于所使用的图像传感器和成像技术、图像获取的环境条件、场景本身随时间的变化等因素，匹配用的图像往往会出现退化严重、细节改变等问题，使具有一致性的特征减少，对于此类图像的配准问题是一个很具有挑战性的问题。在本发明中，我们聚焦于退化较为严重的图像的配准问题，在配准中具有不同的状态的相似的场景的两幅或多幅图像是必须的，这些图像被配准到一个共同的空间坐标中。如何寻找两幅图像中对应的匹配点，形成匹配点对，并确保匹配点对的正确性是图像匹配方法的关键。
在最近的几十年，针对严重退化图像的配准技术大量涌现。这些技术大致上可以分为两类：基于区域的和基于特征的。前者是通过两幅图像重叠区域的原始像素来寻找匹配信息，匹配两幅图像中的特定的相似性度量标准，例如，互相关，相位相关，公共信息等。后者则是寻找特征描述子之间的相似性或空间几何约束条件下局部特征的一致性。基于区域的方法适用于由像素的亮度而不是局部结构和特征提供信息或者图像具有少量突出细节的情况下。但是其具有很大的计算复杂度，受图像失真和照明亮度改变的影响比较大。相对的，基于特征的方法更快，具有更好的鲁棒性，可以配准具有更少共同特征的图像并能够解决复杂的图像失真问题，因此其应用更为广泛。这些方法中使用的特征可以是分支点，边缘线条，斑块突出区域等，利用相应的特征检测器进行特征提取。对于图像品质退化较为严重的图像，很难提取出可靠的区域类的特征。
发明内容
针对现有技术缺陷，本发明提出了一种基于特征导向高斯混合模型(GMM)和边缘图像的图像配准技术方案。
本发明的技术方案提出一种基于特征导向GMM和边缘图像的图像配准方法，包括以下步骤，
步骤1，计算待匹配的两幅图像A和B的边缘图像，得到边缘图像A'和B'；
步骤2，提取边缘图像A'和B'的特征点集，得到特征点集N、M分别为图像A'和B'中找到的特征点的数目，为特征点集相对应的特征描述向量集；
步骤3，根据特征描述向量集Sx、Ry设定GMM模型的隶属度πmn，实现方式如下，
计算Sx中每一个特征描述向量sn与Ry中每一个特征描述向量rm的欧氏距离；对于Sx中任一个特征描述向量sn，分别寻找Ry中与其欧氏距离最近的两个的特征描述向量，求取这两个特征描述向量到sn欧氏距离之比；设Ry中与sn最近的一个特征描述向量为ri，如果所求比值小于等于预设的阈值T，则设定πin＝τ，πmn＝(1-τ)/(N-1)，其中m＝1,2,...,M且m≠i；如果欧氏距离之比大于预设的阈值T，则设定πmn＝1/N，其中m＝1,2,...,M；
步骤4，建立待匹配图像间几何变换相应的模型，实现如下，
针对待匹配图像间的仿射变换，建立变换数学模型如下，
y＝t(x)＝Ax+o
其中，x和y分别是图像A和图像B上像素的坐标向量，t(x)表示仿射变换关系，A是一个2×2的仿射矩阵，o是一个2×1的矩阵，表示待匹配图像间的平移；
特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn有如下后验概率数学模型，
其中，γ和σ均为模型参数，e为数学常量，a为图像的像素总数；
步骤5，通过最优化方法求解模型参数A、o、γ、σ，包括以下子步骤，
步骤5.1，初始化，包括令参数γ＝0.9，A＝I2×2，o＝0，pmn＝πmn，m＝1,2,...,M，n＝1,2,...,N，令当前迭代次数J＝1，采用下述模型参数公式计算σ，
其中，全部后验概率的总和
步骤5.2，根据当前的模型参数A、o、γ、σ，更新矩阵P，包括定义矩阵P为一个M×N的矩阵，采用步骤4中所述后验概率数学模型，计算P矩阵中的每个元素pmn，m＝1,2,...,M，n＝1,2,...,N；
步骤5.3，计算参数A、o、γ、σ，如下，
采用下述公式计算参数A，
其中，矩阵tr(.)为矩阵的迹，d(.)表示将向量转化为对角线矩阵；IN×1、IM×1都是元素全为1的向量；
采用下述公式计算参数o，
o＝μy-Aμx
采用下述公式计算参数σ2，
采用下述公式计算参数γ，
γ＝1-MP/M
采用步骤5.1中模型参数公式计算σ；
步骤5.4，判别收敛条件，包括计算当前的参数L，当满足J＝Jmax或者(L-Lold)/Lold≤ε时，结束迭代，进入步骤6，其中Jmax为预设的最大迭代次数，ε是收敛阈值；否则，J＝J+1，返回步骤5.2；
所述参数L的计算公式如下，
其中，Lold表示上一次计算得到的L；
步骤6，重新计算特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn，并根据阈值判断二者是否互为匹配点，实现如下，
将所述步骤5中求解的模型参数代入步骤4中所述后验概率数学模型，计算得到特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn；当pmn≥threshold时，则认为ym与xn互为匹配点；当pmn<threshold时，则认为ym与xn不互为匹配点，其中threshold为预设的判断阈值。
而且，步骤1的实现方式为，通过基础的直方图均衡算法对图像A和B进行直方图均衡，然后利用Sobel算子对直方图均衡后的图像进行边缘提取，最后采用对比度限制直方图均衡算法对边缘提取后的图像进行图像增强，得到图像A和B的边缘图像A'和B'。
本发明还相应提出一种基于特征导向GMM和边缘图像的图像配准系统，包括以下模块，
第一模块，用于计算待匹配的两幅图像A和B的边缘图像，得到边缘图像A'和B'；
第二模块，用于提取边缘图像A'和B'的特征点集，得到特征点集N、M分别为图像A'和B'中找到的特征点的数目，为特征点集相对应的特征描述向量集；
第三模块，用于根据特征描述向量集Sx、Ry设定GMM模型的隶属度πmn，实现方式如下，
计算Sx中每一个特征描述向量sn与Ry中每一个特征描述向量rm的欧氏距离；对于Sx中任一个特征描述向量sn，分别寻找Ry中与其欧氏距离最近的两个的特征描述向量，求取这两个特征描述向量到sn欧氏距离之比；设Ry中与sn最近的一个特征描述向量为ri，如果所求比值小于等于预设的阈值T，则设定πin＝τ，πmn＝(1-τ)/(N-1)，其中m＝1,2,...,M且m≠i；如果欧氏距离之比大于预设的阈值T，则设定πmn＝1/N，其中m＝1,2,...,M；
第四模块，用于建立待匹配图像间几何变换相应的模型，实现如下，
针对待匹配图像间的仿射变换，建立变换数学模型如下，
y＝t(x)＝Ax+o
其中，x和y分别是图像A和图像B上像素的坐标向量，t(x)表示仿射变换关系，A是一个2×2的仿射矩阵，o是一个2×1的矩阵，表示待匹配图像间的平移；
特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn有如下后验概率数学模型，
其中，γ和σ均为模型参数，e为数学常量，a为图像的像素总数；
第五模块，用于通过最优化方法求解模型参数A、o、γ、σ，包括以下子模块，
第一子模块，用于初始化，包括令参数γ＝0.9，A＝I2×2，o＝0，pmn＝πmn，m＝1,2,...,M，n＝1,2,...,N，令当前迭代次数J＝1，采用下述模型参数公式计算σ，
其中，全部后验概率的总和
第二子模块，用于根据当前的模型参数A、o、γ、σ，更新矩阵P，包括定义矩阵P为一个M×N的矩阵，采用后验概率数学模型，计算P矩阵中的每个元素pmn，m＝1,2,...,M，n＝1,2,...,N；
第三子模块，用于计算参数A、o、γ、σ，如下，
采用下述公式计算参数A，
其中，矩阵tr(.)为矩阵的迹，d(.)表示将向量转化为对角线矩阵；IN×1、IM×1都是元素全为1的向量；
采用下述公式计算参数o，
o＝μy-Aμx
采用下述公式计算参数σ2，
采用下述公式计算参数γ，
γ＝1-MP/M
采用模型参数公式计算σ；
第四子模块，用于判别收敛条件，包括计算当前的参数L，当满足J＝Jmax或者(L-Lold)/Lold≤ε时，结束迭代，命令第六模块工作，其中Jmax为预设的最大迭代次数，ε是收敛阈值；否则，J＝J+1，命令第二子模块工作；
所述参数L的计算公式如下，
其中，Lold表示上一次计算得到的L；
第六模块，用于重新计算特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn，并根据阈值判断二者是否互为匹配点，实现如下，
将第五模块中求解的模型参数代入后验概率数学模型，计算得到特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn；当pmn≥threshold时，则认为ym与xn互为匹配点；当pmn<threshold时，则认为ym与xn不互为匹配点，其中threshold为预设的判断阈值。
而且，第一模块的工作方式为，通过基础的直方图均衡算法对图像A和B进行直方图均衡，然后利用Sobel算子对直方图均衡后的图像进行边缘提取，最后采用对比度限制直方图均衡算法对边缘提取后的图像进行图像增强，得到图像A和B的边缘图像A'和B'。
本发明提出了一种基于特征导向高斯混合模型和边缘图像的图像配准技术方案。该技术方案首先提取两幅待匹配图像的边缘图像，然后对边缘图像分别提取相应的特征点集，对其中的一个特征点集应用高斯混合模型，并约束模型中各高斯分布的中心和局部特征与另一个特征点集相适应。该技术方案利用一个统一的最大似然估计框架和迭代期望最大化(EM)算法进行求解，并利用相对确信的特征对应关系进行初始化。本技术方案针对待匹配图像之间存在仿射变换的情况进行了建模，相较于之前最优的方法鲁棒性、准确性更佳，尤其在数据退化严重的情况下表现稳定。
具体实施方式
下面通过实施例对本发明的技术方案作进一步具体的说明。
本发明注意到，点匹配作为基于特征的方法的基础，其应用是非常广泛的，线和区域可以看作是点的集合。本发明运用基于特征点匹配的方法来实现图像的配准。基于点特征的匹配方法最关键的部分是特征匹配，它包括建立可靠一致的特征点对应关系和寻找特征点集之间的的空间变换关系。
在本发明中提出用于图像精确配准的特征导向的高斯混合模型。这种新的构建方式能够充分利用图像特征点的相似度信息和局部特征信息。该方法首先提取两幅待匹配视网膜图像的边缘图像，然后对边缘图像分别提取相应的特征点集，对其中的一个特征点集应用高斯混合模型，并约束模型中各高斯分布的中心和局部特征与另一个特征点集相适应。该方法利用一个统一的最大似然估计框架和迭代期望最大化(EM)算法进行求解，并利用相对确信的特征对应关系进行初始化，求解过程中使用的图像映射方法为仿射映射。
本发明提出了一种基于特征导向高斯混合模型和边缘图像的图像配准方法，包括以下步骤：
步骤1，计算待匹配的两幅图像A和B的边缘图像，实现如下：
通过基础的直方图均衡算法对图像A和B进行直方图均衡，建议均衡为均值μ0＝128、方差σ0＝60的高斯分布；然后利用Sobel算子对直方图均衡后的图像进行边缘提取，最后采用对比度限制直方图均衡算法(CLAHE)对边缘提取后的图像进行图像增强，得到图像A和B的边缘图像A'和B'；基础的直方图均衡算法(即一般的普通直方图均衡算法)和对比度限制直方图均衡算法为现有技术，本发明不予赘述。
步骤2，提取边缘图像A'和B'的特征点集，实现如下：
利用SIFT(尺度不变特征转换)算法对边缘图像A'和B'进行特征点提取，分别得到特征点集{X,Sx}，{Y,Ry}。其中为特征点的坐标集，为便于表达起见，后续步骤直接用X、Y表示特征点集，N、M分别为图像A'和B'中找到的特征点的数目，为特征点集相对应的特征描述向量集，n＝1,2,...,N，m＝1,2,...,M；
步骤3，根据特征描述向量集Sx、Ry设定GMM模型的隶属度πmn，实现如下：
计算Sx中每一个特征描述向量sn与Ry中每一个特征描述向量rm的欧氏距离；对于Sx中任一个特征描述向量sn，分别寻找Ry中与其欧氏距离最近的两个的特征描述向量(设Ry中与sn最近的一个特征描述向量为ri)，求取这两个特征描述向量到sn欧氏距离之比，如果该比值小于等于预设的阈值T，则设定πin＝τ，πmn＝(1-τ)/(N-1)，其中m＝1,2,...,M且m≠i；如果欧氏距离之比大于预设的阈值T，则设定πmn＝1/N，其中m＝1,2,...,M；
πmn是GMM模型的隶属度，指Ry中第m个特征描述向量与Sx中第n个特征描述向量的隶属度，τ是算法的参数。
这样通过欧氏距离比判断某个特征向量与另一个集合里所有特征向量匹配的可能性，可能性足够高的把其隶属度设为τ，其余的设为(1-τ)/(N-1)，如果不能肯定，则平均处理，取隶属度1/N。
步骤4，建立待匹配图像间几何变换相应的模型，实现如下，
针对待匹配图像间的仿射变换，建立变换数学模型如下，
y＝t(x)＝Ax+o
其中，x和y分别是图像A和图像B上像素的坐标向量，t(x)表示仿射变换关系，A是一个2×2的仿射矩阵，o是一个2×1的矩阵，表示待匹配图像间的平移；
根据以上模型，特征点集Y中特征描述向量ym是特征点集X中特征描述向量xn的匹配点的后验概率pmn有如下后验概率数学模型：
其中，γ和σ均为模型参数，e为数学常量，a为图像的像素总数，πmk为隶属度，k＝1,2,...,N；
步骤5，通过最优化方法求解步骤4中的模型参数A、o、γ、σ，包括以下子步骤，
步骤5.1，初始化，包括令参数γ＝0.9，A＝I2×2，o＝0，pmn＝πmn(m＝1,2,...,M；n＝1,2,...,N)，令当前迭代次数J＝1，采用下述模型参数公式计算σ，
其中，全部后验概率的总和
步骤5.2，根据当前的模型参数A、o、γ、σ，更新矩阵P，包括定义矩阵P为一个M×N的矩阵，采用步骤4中所述后验概率数学模型，计算P矩阵中的每个元素pmn(m＝1,2,...,M；n＝1,2,...,N)；第一次执行步骤5.2根据初始化的参数初值更新，后续执行步骤5.2时根据上一次迭代时所得参数更新；
步骤5.3，计算参数A、o、γ、σ，如下，
采用下述公式计算参数A，
其中，矩阵tr(.)为矩阵的迹，d(.)表示将向量转化为对角线矩阵；IN×1、IM×1都是元素全为1的向量。
采用下述公式计算参数o，
o＝μy-Aμx
采用下述公式计算参数σ2，
采用下述公式计算参数γ，
γ＝1-MP/M
步骤5.4，判别收敛条件，包括计算当前的参数L，当满足J＝Jmax或者(L-Lold)/Lold≤ε时，结束迭代，进入步骤6，Jmax为预设的最大迭代次数，ε是收敛阈值，具体实施时，本领域技术人员可自行预设Jmax和ε取值；否则，J＝J+1，返回步骤5.2；所述参数L的计算公式如下，
其中，Lold表示上一次计算得到的L；
步骤6，重新计算特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn，并根据阈值判断二者是否互为匹配点，实现如下，
将所述步骤5中求解的模型参数代入步骤4中所述后验概率数学模型，计算得到特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn；当pmn≥threshold时，则认为ym与xn互为匹配点；当pmn<threshold时，则认为ym与xn不互为匹配点，其中threshold为预设的判断阈值。具体实施时，本领域技术人员可自行预设阈值取值。
具体实施时，本发明所提供方法可基于软件技术实现自动运行流程，也可采用模块化方式实现相应系统。本发明实施例还相应提出一种基于特征导向GMM和边缘图像的图像配准系统，包括以下模块，
第一模块，用于计算待匹配的两幅图像A和B的边缘图像，得到边缘图像A'和B'；
第二模块，用于提取边缘图像A'和B'的特征点集，得到特征点集N、M分别为图像A'和B'中找到的特征点的数目，为特征点集相对应的特征描述向量集；
第三模块，用于根据特征描述向量集Sx、Ry设定GMM模型的隶属度πmn，实现方式如下，
计算Sx中每一个特征描述向量sn与Ry中每一个特征描述向量rm的欧氏距离；对于Sx中任一个特征描述向量sn，分别寻找Ry中与其欧氏距离最近的两个的特征描述向量，求取这两个特征描述向量到sn欧氏距离之比；设Ry中与sn最近的一个特征描述向量为ri，如果所求比值小于等于预设的阈值T，则设定πin＝τ，πmn＝(1-τ)/(N-1)，其中m＝1,2,...,M且m≠i；如果欧氏距离之比大于预设的阈值T，则设定πmn＝1/N，其中m＝1,2,...,M；
第四模块，用于建立待匹配图像间几何变换相应的模型，实现如下，
针对待匹配图像间的仿射变换，建立变换数学模型如下，
y＝t(x)＝Ax+o
其中，x和y分别是图像A和图像B上像素的坐标向量，t(x)表示仿射变换关系，A是一个2×2的仿射矩阵，o是一个2×1的矩阵，表示待匹配图像间的平移；
特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn有如下后验概率数学模型，
其中，γ和σ均为模型参数，e为数学常量，a为图像的像素总数；
第五模块，用于通过最优化方法求解模型参数A、o、γ、σ，包括以下子模块，
第一子模块，用于初始化，包括令参数γ＝0.9，A＝I2×2，o＝0，pmn＝πmn，m＝1,2,...,M，n＝1,2,...,N，令当前迭代次数J＝1，采用下述模型参数公式计算σ，
其中，全部后验概率的总和
第二子模块，用于根据当前的模型参数A、o、γ、σ，更新矩阵P，包括定义矩阵P为一个M×N的矩阵，采用后验概率数学模型，计算P矩阵中的每个元素pmn，m＝1,2,...,M，n＝1,2,...,N；
第三子模块，用于计算参数A、o、γ、σ，如下，
采用下述公式计算参数A，
其中，矩阵tr(.)为矩阵的迹，d(.)表示将向量转化为对角线矩阵；IN×1、IM×1都是元素全为1的向量；
采用下述公式计算参数o，
o＝μy-Aμx
采用下述公式计算参数σ2，
采用下述公式计算参数γ，
γ＝1-MP/M
采用模型参数公式计算σ；
第四子模块，用于判别收敛条件，包括计算当前的参数L，当满足J＝Jmax或者(L-Lold)/Lold≤ε时，结束迭代，命令第六模块工作，其中Jmax为预设的最大迭代次数，ε是收敛阈值；否则，J＝J+1，命令第二子模块工作；
所述参数L的计算公式如下，
其中，Lold表示上一次计算得到的L；
第六模块，用于重新计算特征点集Y中特征点ym是特征点集X中特征点xn的匹配点的后验概率pmn，并根据阈值判断二者是否互为匹配点，实现如下，
将第五模块中求解的模型参数代入后验概率数学模型，计算得到特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn；当pmn≥threshold时，则认为ym与xn互为匹配点；当pmn<threshold时，则认为ym与xn不互为匹配点，其中threshold为预设的判断阈值。
各模块具体实现可参见相应步骤，本发明不予赘述。
选取RANSAC、VFC、CPD方法与本发明进行图像匹配效果的对比，选取了512×640分辨率下的120对图像进行匹配。对比结果如下表，其中平均正确匹配数是指该方法在多个实验中给出的正确匹配点对数目的平均值，平均正确率是指该方法多个实验中给出的匹配点对中是正确匹配点对的比例；可以看到本方法在发现的正确匹配点数最多的情况下同时也保证了最高的正确率。
方法效果对比表
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似方式替代，但并不会偏离本发明的精神或超越所附权利要求书所定义的范围。
Claims (4)
1.一种基于特征导向GMM和边缘图像的图像配准方法，其特征在于：包括以下步骤，
步骤1，计算待匹配的两幅图像A和B的边缘图像，得到边缘图像A'和B'；
步骤2，提取边缘图像A'和B'的特征点集，得到特征点集N、M分别为图像A'和B'中找到的特征点的数目，为特征点集相对应的特征描述向量集；
步骤3，根据特征描述向量集Sx、Ry设定GMM模型的隶属度πmn，实现方式如下，
计算Sx中每一个特征描述向量sn与Ry中每一个特征描述向量rm的欧氏距离；对于Sx中任一个特征描述向量sn，分别寻找Ry中与其欧氏距离最近的两个的特征描述向量，求取这两个特征描述向量到sn欧氏距离之比；设Ry中与sn最近的一个特征描述向量为ri，如果所求比值小于等于预设的阈值T，则设定ri相应隶属度πin＝τ，其他隶属度πmn＝(1-τ)/(N-1)，其中m＝1,2,...,M且m≠i；如果欧氏距离之比大于预设的阈值T，则平均设定所有隶属度πmn＝1/N，其中m＝1,2,...,M；
步骤4，建立待匹配图像间几何变换相应的模型，实现如下，
针对待匹配图像间的仿射变换，建立变换数学模型如下，
y＝t(x)＝Ax+o
其中，x和y分别是图像A和图像B上像素的坐标向量，t(x)表示仿射变换关系，A是一个2×2的仿射矩阵，o是一个2×1的矩阵，表示待匹配图像间的平移；
特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn有如下后验概率数学模型，
其中，γ和σ均为模型参数，e为数学常量，a为图像的像素总数；
步骤5，通过最优化方法求解模型参数A、o、γ、σ，包括以下子步骤，
步骤5.1，初始化，包括令参数γ＝0.9，A＝I2×2，o＝0，pmn＝πmn，m＝1,2,...,M，n＝1,2,...,N，令当前迭代次数J＝1，采用下述模型参数公式计算σ，
其中，全部后验概率的总和
步骤5.2，根据当前的模型参数A、o、γ、σ，更新矩阵P，包括定义矩阵P为一个M×N的矩阵，采用步骤4中所述后验概率数学模型，计算P矩阵中的每个元素pmn，m＝1,2,...,M，n＝1,2,...,N；
步骤5.3，计算参数A、o、γ、σ，如下，
采用下述公式计算参数A，
其中，矩阵tr(.)为矩阵的迹，d(.)表示将向量转化为对角线矩阵；IN×1、IM×1都是元素全为1的向量；
采用下述公式计算参数o，
o＝μy-Aμx
采用下述公式计算参数σ2，
采用下述公式计算参数γ，
γ＝1-MP/M
采用步骤5.1中模型参数公式计算σ；
步骤5.4，判别收敛条件，包括计算当前的参数L，当满足J＝Jmax或者(L-Lold)/Lold≤ε时，结束迭代，进入步骤6，其中Jmax为预设的最大迭代次数，ε是收敛阈值；否则，J＝J+1，返回步骤5.2；
所述参数L的计算公式如下，
其中，Lold表示上一次计算得到的L；
步骤6，重新计算特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn，并根据阈值判断二者是否互为匹配点，实现如下，
将所述步骤5中求解的模型参数代入步骤4中所述后验概率数学模型，计算得到特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn；当pmn≥threshold时，则认为ym与xn互为匹配点；当pmn<threshold时，则认为ym与xn不互为匹配点，其中threshold为预设的判断阈值。
2.根据权利要求1所述基于特征导向GMM和边缘图像的图像配准方法，其特征在于：步骤1的实现方式为，通过基础的直方图均衡算法对图像A和B进行直方图均衡，然后利用Sobel算子对直方图均衡后的图像进行边缘提取，最后采用对比度限制直方图均衡算法对边缘提取后的图像进行图像增强，得到图像A和B的边缘图像A'和B'。
3.一种基于特征导向GMM和边缘图像的图像配准系统，其特征在于：包括以下模块，
第一模块，用于计算待匹配的两幅图像A和B的边缘图像，得到边缘图像A'和B'；
第二模块，用于提取边缘图像A'和B'的特征点集，得到特征点集N、M分别为图像A'和B'中找到的特征点的数目，为特征点集相对应的特征描述向量集；
第三模块，用于根据特征描述向量集Sx、Ry设定GMM模型的隶属度πmn，实现方式如下，
计算Sx中每一个特征描述向量sn与Ry中每一个特征描述向量rm的欧氏距离；对于Sx中任一个特征描述向量sn，分别寻找Ry中与其欧氏距离最近的两个的特征描述向量，求取这两个特征描述向量到sn欧氏距离之比；设Ry中与sn最近的一个特征描述向量为ri，如果所求比值小于等于预设的阈值T，则设定ri相应隶属度πin＝τ，其他隶属度πmn＝(1-τ)/(N-1)，其中m＝1,2,...,M且m≠i；如果欧氏距离之比大于预设的阈值T，则平均设定所有隶属度πmn＝1/N，其中m＝1,2,...,M；
第四模块，用于建立待匹配图像间几何变换相应的模型，实现如下，
针对待匹配图像间的仿射变换，建立变换数学模型如下，
y＝t(x)＝Ax+o
其中，x和y分别是图像A和图像B上像素的坐标向量，t(x)表示仿射变换关系，A是一个2×2的仿射矩阵，o是一个2×1的矩阵，表示待匹配图像间的平移；
特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn有如下后验概率数学模型，
其中，γ和σ均为模型参数，e为数学常量，a为图像的像素总数；
第五模块，用于通过最优化方法求解模型参数A、o、γ、σ，包括以下子模块，
第一子模块，用于初始化，包括令参数γ＝0.9，A＝I2×2，o＝0，pmn＝πmn，m＝1,2,...,M，n＝1,2,...,N，令当前迭代次数J＝1，采用下述模型参数公式计算σ，
其中，全部后验概率的总和
第二子模块，用于根据当前的模型参数A、o、γ、σ，更新矩阵P，包括定义矩阵P为一个M×N的矩阵，采用后验概率数学模型，计算P矩阵中的每个元素pmn，m＝1,2,...,M，n＝1,2,...,N；
第三子模块，用于计算参数A、o、γ、σ，如下，
采用下述公式计算参数A，
其中，矩阵tr(.)为矩阵的迹，d(.)表示将向量转化为对角线矩阵；IN×1、IM×1都是元素全为1的向量；
采用下述公式计算参数o，
o＝μy-Aμx
采用下述公式计算参数σ2，
采用下述公式计算参数γ，
γ＝1-MP/M
采用模型参数公式计算σ；
第四子模块，用于判别收敛条件，包括计算当前的参数L，当满足J＝Jmax或者(L-Lold)/Lold≤ε时，结束迭代，命令第六模块工作，其中Jmax为预设的最大迭代次数，ε是收敛阈值；否则，J＝J+1，命令第二子模块工作；
所述参数L的计算公式如下，
其中，Lold表示上一次计算得到的L；
第六模块，用于重新计算特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn，并根据阈值判断二者是否互为匹配点，实现如下，
将第五模块中求解的模型参数代入后验概率数学模型，计算得到特征点集Y中ym是特征点集X中xn的匹配点的后验概率pmn；当pmn≥threshold时，则认为ym与xn互为匹配点；当pmn<threshold时，则认为ym与xn不互为匹配点，其中threshold为预设的判断阈值。
4.根据权利要求3所述基于特征导向GMM和边缘图像的图像配准系统，其特征在于：第一模块的工作方式为，通过基础的直方图均衡算法对图像A和B进行直方图均衡，然后利用Sobel算子对直方图均衡后的图像进行边缘提取，最后采用对比度限制直方图均衡算法对边缘提取后的图像进行图像增强，得到图像A和B的边缘图像A'和B'。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610201334.4A CN105938615B (zh) | 2016-04-01 | 2016-04-01 | 基于特征导向gmm和边缘图像的图像配准方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610201334.4A CN105938615B (zh) | 2016-04-01 | 2016-04-01 | 基于特征导向gmm和边缘图像的图像配准方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105938615A CN105938615A (zh) | 2016-09-14 |
| CN105938615B true CN105938615B (zh) | 2018-10-26 |
Family
ID=57151299
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610201334.4A Active CN105938615B (zh) | 2016-04-01 | 2016-04-01 | 基于特征导向gmm和边缘图像的图像配准方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105938615B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109544610A (zh) * | 2018-10-15 | 2019-03-29 | 天津大学 | 一种基于卷积神经网络的图像配准方法 |
| CN109886293B (zh) * | 2019-01-10 | 2020-09-08 | 华中科技大学 | 一种基于融合空间和特征信息的均匀gmm的图像匹配方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679713A (zh) * | 2013-12-04 | 2014-03-26 | 华南理工大学 | 一种针对部分匹配图像的二维图像配准方法 |
| CN103679636A (zh) * | 2013-12-23 | 2014-03-26 | 江苏物联网研究发展中心 | 基于点、线双重特征的快速图像拼接方法 |
| CN104504723A (zh) * | 2015-01-14 | 2015-04-08 | 西安电子科技大学 | 基于视觉显著特征的图像配准方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8160364B2 (en) * | 2007-02-16 | 2012-04-17 | Raytheon Company | System and method for image registration based on variable region of interest |
| JP5495934B2 (ja) * | 2010-05-18 | 2014-05-21 | キヤノン株式会社 | 画像処理装置、その処理方法及びプログラム |
-
2016
- 2016-04-01 CN CN201610201334.4A patent/CN105938615B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103679713A (zh) * | 2013-12-04 | 2014-03-26 | 华南理工大学 | 一种针对部分匹配图像的二维图像配准方法 |
| CN103679636A (zh) * | 2013-12-23 | 2014-03-26 | 江苏物联网研究发展中心 | 基于点、线双重特征的快速图像拼接方法 |
| CN104504723A (zh) * | 2015-01-14 | 2015-04-08 | 西安电子科技大学 | 基于视觉显著特征的图像配准方法 |
Non-Patent Citations (4)
| Title |
|---|
| Local registration and deformation of a road cartographic database on a SPOT satellite image;GuillaumeRellierXavierDescombesJosianeZerubia;《PATTERN RECOGNITION 》;20121030;第33卷(第10期);第 2213-2221 页 * |
| 一种基于结构特征边缘的多传感器图像配准方法;苏娟林行刚刘代志;《自动化学报》;20090315;第35卷(第3期);第251-257页 * |
| 一种基于边缘的图像配准方法;谌安军 陈炜 毛士艺;《电子与信息学报》;20040702;第26卷(第5期);第679-684页 * |
| 基于边缘角点的SIFT图像配准算法;赵萌萌 曹建秋;《重庆交通大学学报（自然科学版）》;20130924(第4期);第721-724页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105938615A (zh) | 2016-09-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Ma et al. | Robust feature matching for remote sensing image registration via locally linear transforming | |
| CN104008538B (zh) | 基于单张图像超分辨率方法 | |
| WO2019007004A1 (zh) | 用于行人重识别的图像特征提取方法 | |
| CN103310453B (zh) | 一种基于子图像角点特征的快速图像配准方法 | |
| US9767383B2 (en) | Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image | |
| CN111709980A (zh) | 基于深度学习的多尺度图像配准方法和装置 | |
| Liao et al. | A deep ordinal distortion estimation approach for distortion rectification | |
| KR101753360B1 (ko) | 시점 변화에 강인한 특징점 정합 방법 | |
| CN105938615B (zh) | 基于特征导向gmm和边缘图像的图像配准方法及系统 | |
| Hovhannisyan et al. | AED-Net: A single image dehazing | |
| CN109711420B (zh) | 基于人类视觉注意机制的多仿射目标的检测与识别方法 | |
| CN107392211A (zh) | 基于视觉稀疏认知的显著目标检测方法 | |
| Kim et al. | Adversarial confidence estimation networks for robust stereo matching | |
| JPH1091782A (ja) | 濃淡画像用特定部位抽出方法 | |
| Tian et al. | Automatic visible and infrared face registration based on silhouette matching and robust transformation estimation | |
| CN107358635B (zh) | 一种基于模糊相似性的彩色形态学图像处理方法 | |
| CN111311657B (zh) | 一种基于改进角点主方向分配的红外图像同源配准方法 | |
| CN104123719B (zh) | 一种用主动轮廓进行红外图像分割的方法 | |
| Miao et al. | Robust monocular 3D car shape estimation from 2D landmarks | |
| Yang et al. | Robust template matching with angle location using dynamic feature pairs updating | |
| CN115294371A (zh) | 基于深度学习的互补特征可靠描述与匹配方法 | |
| Jatmiko et al. | Study and performance evaluation binary robust invariant scalable keypoints (BRISK) for underwater image stitching | |
| Wang et al. | Deep homography estimation based on attention mechanism | |
| He et al. | Darkfeat: noise-robust feature detector and descriptor for extremely low-light raw images | |
| CN111461139A (zh) | 一种复杂场景下的多目标视觉显著性分层检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20220623 Address after: Unit a0289, block a, entrepreneurship building, Tsinghua Science Park (Zhuhai), No. 101, University Road, Tangjiawan Town, high tech Zone, Zhuhai, Guangdong 519082 Patentee after: Zhuhai Chuangqi Technology Co.,Ltd. Address before: 430071 No. 1, 4th floor, East 21 building, No. 9, Xiaohong East District, guoguohu street, Wuchang District, Wuhan City, Hubei Province Patentee before: WUHAN XIGUANG TECHNOLOGY CO.,LTD. |
|
| TR01 | Transfer of patent right |