CN112329848B - 一种基于平流矢量场聚类的图像空间映射方法 - Google Patents

一种基于平流矢量场聚类的图像空间映射方法 Download PDF

Info

Publication number
CN112329848B
CN112329848B CN202011215079.1A CN202011215079A CN112329848B CN 112329848 B CN112329848 B CN 112329848B CN 202011215079 A CN202011215079 A CN 202011215079A CN 112329848 B CN112329848 B CN 112329848B
Authority
CN
China
Prior art keywords
vector field
clustering
image
advection
vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011215079.1A
Other languages
English (en)
Other versions
CN112329848A (zh
Inventor
王蒙
喻国斌
马意
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kunming University of Science and Technology
Original Assignee
Kunming University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kunming University of Science and Technology filed Critical Kunming University of Science and Technology
Priority to CN202011215079.1A priority Critical patent/CN112329848B/zh
Publication of CN112329848A publication Critical patent/CN112329848A/zh
Application granted granted Critical
Publication of CN112329848B publication Critical patent/CN112329848B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本发明公开了一种基于平流矢量场聚类的图像空间映射方法，包括Step1：特征点观测；Step2：平流矢量场聚类的实现；Step3：在平流矢量场驱动下，完成图像空间映射。本发明通过特征点观测聚类得到二维平流矢量场；利用鲁棒估计器嵌入最小二乘迭代以解决特征点误匹配问题；依据散度度量消除映射流在奇异点处的输出强度不连续；该方法有效地减小了复杂形变情况下图像序列的映射误差，可用于复杂形变下的图像配准、拼接等任务。

Description

一种基于平流矢量场聚类的图像空间映射方法
技术领域
本发明涉及一种基于平流矢量场聚类的图像空间映射方法，属于计算机视觉和图像处理领域。
背景技术
目前，估计空间映射需要建立全局或局部变换模型。其中，全局模型假设空间变换一致，因而采用同一变换函数作用于整个图像域，但当实际变换存在空间不一致时会产生较大误差；为此，局部模型方法将图像划分为更小的子区域，对每块子区域独立优化同构变换参数。
上述方法均采用显式模型求解，以逼近未知的配准变换。然而，同一场景中两幅关联图像之间，常存在显式模型无法描述的复杂映射关系。这些复杂映射来源于空间点的运动弥散，可由非刚体自发行为引起，如生物细胞游动、体内器官搏动等。若采用传统方法，将无法消除模型固有误差。为减小模型误差，建立更为复杂的显示变换，则会带来高维参数非全局优化、数值解不稳定的问题。因此，研究关联图像间无模型约束的隐式映射是解决困难的一个重要途径。
假设配准时空间映射f不受任何变换模型的约束，仅需保持映射的空间连续。若将映射f看作图像空间点在一个二维矢量场X作用下经过时间Δt的平流输运f(·,X,Δt)，那么建立该矢量场即生成了图像隐式映射fX(·)。过去二十年来，为提供高效的数据接口，矢量场可视化技术研究如何由有限运动观测直接生成连续或规则化的2D/3D矢量场，并可根据后续任务调整输出分辨率(X维数)。近年来，为获取复杂矢量场的详细表示，一类矢量场聚类(VectorFieldClustering，VFC)方法在先验约束下采用基于误差度量的层次分组技术，得到多个局部或全局的矢量场层(类型)来共同描述该数据样本。然而，这类技术尚未被推广到图像配准等视觉任务，困难在于如何根据任务选择有效先验及观测来优化聚类参数，并提高运算的数值鲁棒性。
矢量场的表示分为规则和不规则两类。采用规则网格表示的数据格式简单便于计算，并且规则网格表示将有利于空间一致的矢量场度量，从而构造标准的性能评估嵌入优化函数。此外，矢量场上常存在奇异点，从散度符号可判定为汇聚点和发散点。在奇异点上空间映射函数不连续，会造成输出值的突变。考虑计算流体力学(CFD)，若在图像平面将空间灰度映射转化为二维矢量场作用下的时间输运，可平均流量来消除输出灰度突变。
本发明的方法是矢量场聚类方法在图像配准任务上的推广，通过选择特征点运动观测，在加权最小二乘框架下无监督学习得到像素输运矢量场，并消除奇异点的灰度突变，最后通过像素输运方案生成配准图像。
发明内容
本发明提供了一种基于平流矢量场聚类的图像空间映射方法，以用于实现图像空间映射。
本发明的技术方案是：一种基于平流矢量场聚类的图像空间映射方法，所述方法步骤如下：
Step1：特征点观测；
Step2：平流矢量场聚类的实现；
Step3：在平流矢量场驱动下，完成图像空间映射。
所述Step1具体为：根据SIFT特征及其相应点检测器分别得到参考、输入图像的局部特征集合。
所述Step2具体为：
Step2.1、获取位移观测矢量b；
Step2.2、生成平滑矩阵L；
Step2.3、生成插值矩阵C；
Step2.4、计算权值向量，加权得到Cw和bw；其中，权值采用M估计器更新；
Step2.5、通过Cw来替换正则方程中的插值矩阵C，通过bw来替换正则方程中的位移观测矢量b，得到加权正则方程
Figure BDA0002760061710000021
更新
Figure BDA0002760061710000022
其中，
Figure BDA0002760061710000023
是规则网格矩阵按词典序排列的列向量；
Step2.6、计算误差，若误差大于阈值则转Step2.4。
所述Step3具体为：
对Step2得到的二维网格平流矢量场线性插值可得到像素矢量，利用该像素矢量场对输入图像像素进行输运，得到输出像素位置；最后，直接用平均流量密度替换相应输出像素灰度值实现图像的映射。
本发明的有益效果是：本发明提出了一种基于平流矢量场聚类的图像空间映射方法，该方法通过特征点观测聚类得到二维平流矢量场；利用鲁棒估计器嵌入最小二乘迭代以解决特征点误匹配问题；依据散度度量消除映射流在奇异点处的输出强度不连续；该方法有效地减小了复杂形变情况下图像序列的映射误差，可用于复杂形变下的图像配准、拼接等任务。
附图说明
图1是本发明的流程图；
图2是本发明在摄像头固定下细胞旋转任务上基于观测的矢量场聚类及映射输出图；
图3是本发明在摄像头移动下细胞游动任务上基于观测的矢量场聚类及映射输出图；
图4是本发明在外部特征点下人脸配准任务上基于观测的矢量场聚类及映射输出图；
图5是本发明实验一的配准输出图像的均方根误差(RMSE)-运动时间参数(Δt)曲线；
图6是本发明实验二的配准输出图像的均方根误差(RMSE)-运动时间参数(Δt)曲线。
具体实施方式
实施例1：如图1-6所示，一种基于平流矢量场聚类的图像空间映射方法，所述方法步骤如下：Step1：特征点观测；Step2：平流矢量场聚类的实现；Step3：在平流矢量场驱动下，完成图像空间映射。
进一步地，可以设置所述Step1具体为：根据SIFT特征及其相应点检测器分别得到参考、输入图像的局部特征集合。
进一步地，可以设置所述Step2具体为：Step2.1、获取位移观测矢量b；Step2.2、生成平滑矩阵L；Step2.3、生成插值矩阵C；Step2.4、计算权值向量，加权得到Cw和bw；其中，权值采用M估计器更新；Step2.5、通过Cw来替换正则方程中的插值矩阵C，通过bw来替换正则方程中的位移观测矢量b，得到加权正则方程
Figure BDA0002760061710000031
更新
Figure BDA0002760061710000032
其中，
Figure BDA0002760061710000033
是规则网格矩阵按词典序排列的列向量；Step2.6、计算误差，若误差大于阈值则转Step2.4。
进一步地，可以设置所述Step3具体为：对Step2得到的二维网格平流矢量场线性插值可得到像素矢量，利用该像素矢量场对输入图像像素进行输运，得到输出像素位置；最后，直接用平均流量密度替换相应输出像素灰度值实现图像的映射。
通过本发明的方法给出如下三组实验数据：
实验一：摄像头固定下细胞旋转。
如图实验结果如图2所示。其中a)为匹配点的运动矢量观测；b)为按照提出方法聚类得到的输运矢量场，矢量场用尺寸为38×64均匀网格表示，可以看出细胞区域力场与旋转运动相吻合，这是公式(2)第二项最小化结果；而背景区域力场强度呈衰减趋势，原因在于(2)式第一项的平滑作用；c)和d)分别为不同运动时间生成的映射图像；c)在矢量场中运动时间较d)短，而误差评估曲线图5证明图2中c)所用参数(Δt＝20ms)的配准结果最优。
实验二：摄像头移动下细胞游动。
实验结果如图3所示。其中a)为匹配点的运动矢量观测；b)为按照提出方法聚类得到的输运矢量场，矢量场网格尺寸与前一实验相同，可以发现聚类矢量场包含了摄像头移动产生的全局平移矢量，以及描述细胞游动的局部运动矢量；c)和d)分别为不同运动时间生成的映射图像。c)在矢量场中运动时间较d)短。为评估输运时间，图6误差评估曲线证明了图3中c)所用参数(Δt＝20ms)的配准结果最优。
表1为配准结果的平均均方误差(RMSE)评估对比。比较了三类不同变换模型约束下的图像配准结果：包括仿射、投影和多项式变换。由表1可见，本发明方法对两次实验素材的配准误差均为最小，配准精度提升显著，证明了提出的隐式映射在表示复杂运动方面的优越性。
表1不同配准方法输出图像均方根误差
Figure BDA0002760061710000041
实验三：外部特征点下人脸配准。
实验结果如图4所示。其中，a)为匹配点转化为的运动矢量观测；将该观测输入本文提出方法，聚类得到b)所示输运矢量场，矢量场用尺寸均匀网格表示，可以发现聚类矢量场包含了描述人脸表面形变的局部运动矢量；c)和d)分别为不同运动时间生成的映射图像，c)在矢量场中运动时间较d)短，相应人脸形变程度较轻。
实验证明提出方法有效提高了模型约束方法的空间分辨率及配准精度，实现了基于像素的非线性隐式图像变换。
本发明的工作原理是：
所述Step1的工作原理如下：
具体公式为：
Figure BDA0002760061710000051
这里每个特征点用中心像素坐标
Figure BDA0002760061710000052
表示。并且，按最短欧式距离在两个集合间匹配这些特征，得到匹配点对集合
Figure BDA0002760061710000053
针对图像配准问题，对得到的匹配特征点坐标求差分，即可构成特征点运动矢量用于后续高层处理，表示为B＝{bi|bi＝[Δxi,Δyi],i＝1,2,…,N}。
所述Step2的具体原理如下：
本方明的方法在二范数平滑约束下求解一个最小二乘下的最优矢量场。
用拉格朗日法构造矢量场的能量函数并使用矩阵表达形式：
Figure BDA0002760061710000054
其中，
Figure BDA0002760061710000055
是规则网格矩阵X按词典序排列的列向量；L为平滑矩阵，对X邻接位置元素按模板
Figure BDA0002760061710000056
进行平滑；C为插值矩阵，根据观测bi在网格X中四个邻近网格点矢量对该观测坐标进行双线性插值；λ为平滑项系数，与第二项系数之和为1。采用最小二乘优化能量函数E，即(2)式对
Figure BDA0002760061710000057
求偏导得到正则方程：
Figure BDA0002760061710000058
数值实现时为避免矩阵求逆，采用共轭梯度迭代求解即可得到聚类向量场。
特征点位移观测作为矢量场聚类输入。由于特征点运动观测会引入误匹配，这些值对结果影响很大。在实际聚类过程中，我们采用加权最小二乘算法框架，并基于M估计器(M-estimator)更新权值。因此，改写(3)式矩阵为：
Figure BDA0002760061710000059
其中wi初值为1并用M估计器更新：
Figure BDA00027600617100000510
这里ψ为Huber影响函数，残差
Figure BDA00027600617100000511
类似(2)式，最终的加权正则方程表示为：
Figure BDA00027600617100000512
最终实现平流矢量场的聚类。
所述Step3的具体原理如下：
对上节得到的二维网格矢量场X线性插值可得到像素矢量场Xp，利用该矢量场可对输入图像像素进行输运：
Figure BDA0002760061710000061
得到输出像素位置
Figure BDA0002760061710000062
其中Δt表示输运时间，若对均匀网格的线性插值图像缩放因子为μ则有数值对应关系Δt*＝μ。
设矢量场Xp包含有限个奇点pk(或奇异区域P＝{pk,k＝1,2,…,T})，且可被划分为汇聚点
Figure BDA0002760061710000063
和扩散点
Figure BDA0002760061710000064
其中，汇聚点构成图像点运动汇聚的闭区域P+，扩散点则构成运动扩散的闭区域P-。对一个给定的二维矢量场X，在输入图像向参考图像映射时，需要考虑离散像素点的汇聚和扩散效应。为保证映射后输出图像的拓扑连续及灰度平滑，假设汇聚与扩散区域的图像强度为其相应散度的平均流量密度：
Figure BDA0002760061710000065
其中，
Figure BDA0002760061710000066
表示该区域像素位置集合的势，Ik为像素k的图像强度。这样，在计算得到区域平均流量密度后，可直接用于修正输出像素强度。
实际图像映射操作中需要首先判断该像素是否为奇点。离散像素点的汇聚点
Figure BDA0002760061710000067
定义为在输出图像该像素栅格中有多于一个被映射像素，即
Figure BDA0002760061710000068
而扩散点
Figure BDA0002760061710000069
定义为在该像素栅格中无被映射像素，即
Figure BDA00027600617100000610
因此，根据输出像素栅格中被映射像素数目Nk，可判断出该像素类型。然后，按(9)式计算汇聚点和扩散点像素的平均流量密度：
Figure BDA00027600617100000611
其中Ij,k表示从奇点k流入或流出的像素灰度。最后，直接用平均流量密度Qk替换相应输出像素灰度值Ik即可完成图像的空间映射。
上面结合附图对本发明的具体实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

Claims (3)

1.一种基于平流矢量场聚类的图像空间映射方法，其特征在于：所述方法步骤如下：
Step1：特征点观测；
Step2：平流矢量场聚类的实现；
Step3：在平流矢量场驱动下，完成图像空间映射；
所述Step2具体为：
Step2.1、获取位移观测矢量b；
Step2.2、生成平滑矩阵L；
Step2.3、生成插值矩阵C；
Step2.4、计算权值向量，加权得到Cw和bw；其中，权值采用M估计器更新；
Step2.5、通过Cw来替换正则方程中的插值矩阵C，通过bw来替换正则方程中的位移观测矢量b，得到加权正则方程
Figure FDA0003665542610000011
更新
Figure FDA0003665542610000012
其中，
Figure FDA0003665542610000013
是规则网格矩阵按词典序排列的列向量；
Step2.6、计算误差，若误差大于阈值则转Step2.4。
2.根据权利要求1所述的基于平流矢量场聚类的图像空间映射方法，其特征在于：所述Step1具体为：根据SIFT特征及其相应点检测器分别得到参考、输入图像的局部特征集合。
3.根据权利要求1所述的基于平流矢量场聚类的图像空间映射方法，其特征在于：所述Step3具体为：
对Step2得到的二维网格平流矢量场线性插值可得到像素矢量场，利用该像素矢量场对输入图像像素进行输运，得到输出像素位置；最后，直接用平均流量密度替换相应输出像素灰度值实现图像的映射。
CN202011215079.1A 2020-11-04 2020-11-04 一种基于平流矢量场聚类的图像空间映射方法 Active CN112329848B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011215079.1A CN112329848B (zh) 2020-11-04 2020-11-04 一种基于平流矢量场聚类的图像空间映射方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011215079.1A CN112329848B (zh) 2020-11-04 2020-11-04 一种基于平流矢量场聚类的图像空间映射方法

Publications (2)

Publication Number Publication Date
CN112329848A CN112329848A (zh) 2021-02-05
CN112329848B true CN112329848B (zh) 2022-07-29

Family

ID=74323612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011215079.1A Active CN112329848B (zh) 2020-11-04 2020-11-04 一种基于平流矢量场聚类的图像空间映射方法

Country Status (1)

Country Link
CN (1) CN112329848B (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005200713A1 (en) * 2005-02-17 2006-08-31 Canon Kabushiki Kaisha Motion estimation in a video sequence
CN103150901A (zh) * 2013-02-05 2013-06-12 长安大学 一种基于车辆运动矢量场分析的异常交通状况检测方法
CN107240127A (zh) * 2017-04-19 2017-10-10 中国航空无线电电子研究所 基于特征点映射的图像配准评估方法
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN108717705A (zh) * 2018-03-29 2018-10-30 南京理工大学 基于静止矢量场的微分同胚图像配准方法
CN110536142A (zh) * 2019-08-30 2019-12-03 天津大学 一种针对非刚性图像序列的帧间插值方法
CN111062866A (zh) * 2019-11-07 2020-04-24 广西科技大学鹿山学院 一种基于变换矩阵的全景图像拼接的方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542529B2 (en) * 2013-10-31 2017-01-10 Toshiba Medical Systems Corporation Medical image data processing apparatus and method
US10062167B2 (en) * 2014-08-15 2018-08-28 Toshiba Medical Systems Corporation Estimated local rigid regions from dense deformation in subtraction

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2005200713A1 (en) * 2005-02-17 2006-08-31 Canon Kabushiki Kaisha Motion estimation in a video sequence
CN103150901A (zh) * 2013-02-05 2013-06-12 长安大学 一种基于车辆运动矢量场分析的异常交通状况检测方法
CN107403446A (zh) * 2016-05-18 2017-11-28 西门子保健有限责任公司 用于使用智能人工代理的图像配准的方法和系统
CN107240127A (zh) * 2017-04-19 2017-10-10 中国航空无线电电子研究所 基于特征点映射的图像配准评估方法
CN108717705A (zh) * 2018-03-29 2018-10-30 南京理工大学 基于静止矢量场的微分同胚图像配准方法
CN110536142A (zh) * 2019-08-30 2019-12-03 天津大学 一种针对非刚性图像序列的帧间插值方法
CN111062866A (zh) * 2019-11-07 2020-04-24 广西科技大学鹿山学院 一种基于变换矩阵的全景图像拼接的方法

Non-Patent Citations (6)

* Cited by examiner, † Cited by third party
Title
The processing of vectors field for image registration;BENES RADEK 等;《Recent Researches in Circuits, Systems, Electronics, Control & Signal Processing》;20100131;28-33 *
Vector Field k-Means: Clustering Trajectories by Fitting Multiple Vector Fields;Nivan Ferreira 等;《arXiv》;20120831;第1-30页，正文摘要 *
基于分块一空问聚类的图像配准算法;龚咏喜 等;《计算机工程与应用》;20071011;第43卷(第29期);53-55 *
基于向导矢量场的图像镶嵌算法研究;张焕龙 等;《中国图象图形学报》;20061130;第11卷(第11期);1665-1668 *
基于平流矢量场聚类的图像复杂空间映射配准;喻国斌 等;《信息技术》;20220225(第2期);41-47 *
基于海冰图像互相关分析矢量场的聚类分析;刘煌 等;《中国水运》;20151130;第15卷(第11期);43-45 *

Also Published As

Publication number Publication date
CN112329848A (zh) 2021-02-05

Similar Documents

Publication Publication Date Title
Reddy et al. Im2vec: Synthesizing vector graphics without vector supervision
US11210803B2 (en) Method for 3D scene dense reconstruction based on monocular visual slam
Qian et al. PUGeo-Net: A geometry-centric network for 3D point cloud upsampling
Umetani et al. Learning three-dimensional flow for interactive aerodynamic design
Xiao et al. Recurrent 3d-2d dual learning for large-pose facial landmark detection
WO2015154601A1 (zh) 一种基于无特征提取的紧致sfm三维重建方法
Jambon et al. Nerfshop: Interactive editing of neural radiance fields
Lin et al. Parallel inversion of neural radiance fields for robust pose estimation
CN113450396B (zh) 基于骨骼特征的三维/二维图像配准方法及装置
CN107862707A (zh) 一种基于卢卡斯‑卡纳德图像对齐的图像配准方法
CN113205609A (zh) 变形基础学习
Zhou et al. Improvement of normal estimation for point clouds via simplifying surface fitting
Roberts et al. Deformation transfer survey
CN112329848B (zh) 一种基于平流矢量场聚类的图像空间映射方法
Proszewska et al. Hypercube: Implicit field representations of voxelized 3d models
CN111460741A (zh) 一种基于数据驱动的流体模拟方法
CN111724428A (zh) 基于图上信号模型的深度图采样与重构方法
CN112508007B (zh) 基于图像分割Mask和神经渲染的空间目标6D姿态估计方法
CN106600629B (zh) 一种面向大尺度运动的光流估计方法
Kim et al. Geometry image super-resolution with AnisoCBConvNet architecture for efficient cloth modeling
Yang et al. Finite element mesh deformation with the skeleton-section template
Zhou et al. Non-rigid image deformation algorithm based on MRLS-TPS
CN113269815A (zh) 一种基于深度学习的医学图像配准方法及终端
de Goes et al. A simple and flexible framework to adapt dynamic meshes
CN114219900B (zh) 基于混合现实眼镜的三维场景重建方法、重建系统和应用

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant