CN106530338B - 生物组织非线性形变前后mr影像特征点匹配方法及系统 - Google Patents
生物组织非线性形变前后mr影像特征点匹配方法及系统 Download PDFInfo
- Publication number
- CN106530338B CN106530338B CN201610929394.8A CN201610929394A CN106530338B CN 106530338 B CN106530338 B CN 106530338B CN 201610929394 A CN201610929394 A CN 201610929394A CN 106530338 B CN106530338 B CN 106530338B
- Authority
- CN
- China
- Prior art keywords
- point
- points
- matching
- image
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000008569 process Effects 0.000 title abstract description 8
- 238000005481 NMR spectroscopy Methods 0.000 claims abstract description 26
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 12
- 239000011159 matrix material Substances 0.000 claims description 26
- 238000013507 mapping Methods 0.000 claims description 17
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000005259 measurement Methods 0.000 abstract description 4
- 238000012360 testing method Methods 0.000 abstract 1
- 238000012795 verification Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 38
- 210000001519 tissue Anatomy 0.000 description 18
- 238000001514 detection method Methods 0.000 description 14
- 230000009466 transformation Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 244000309466 calf Species 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 241000282320 Panthera leo Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013529 biological neural network Methods 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 210000000282 nail Anatomy 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000003491 skin Anatomy 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000001835 viscera Anatomy 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及生物组织非线性形变前后MR影像特征点匹配方法及系统。本发明提出基于深度级联卷积神经网络的特征点自动检测方法。首先，通过第一层的深度卷积网络获得特征点的大致区域，然后在第二层和第三层的级联卷积网络中逐步逼近目标特征点位置，从而进一步提高特征点的检测率。针对现有特征点描述符在影像非线性形变时，对特征点区分能力下降的问题，本发明采用黎曼流形结合核方法，构建非线性形变鲁棒性特征点描述符。本发明将核磁共振影像中的三维特征点映射到四维黎曼流形空间，采用核方法继续映射到更高维的希尔伯特空间从而获得更丰富的数据分布的描述，同时获得特征点之间的真正的几何距离，从而对特征点进行匹配。
Description
技术领域
本发明涉及三维核磁共振影像中非均质生物组织特征点的匹配，具体涉及生物组织非线性形变前后MR影像特征点匹配方法及系统。
背景技术
在非均质体变形场测量研究中，关键问题在于如何能够提取大量的特征点，如何能实现特征点对之间的正确匹配。基于特征点的匹配与计算具有速度快，能处理大的变形等优点，但是大量特征点的正确匹配成为制约变形场高精度测量的瓶颈，亟需寻求相应的解决途径。下面针对特征点检测与描述，以及非刚性点集匹配算法的研究现状进行阐述。
一、特征点的检测与描述符
特征点的检测可以追溯到Moravec角点检测器，其检测影像灰度强度的局部极值点，具有各向异性，但是对噪声和边缘敏感。著名的Harris角点检测器通过一个二阶矩阵的特征值检测兴趣点，在一定程度上克服了Moravec算法的缺点，但是其无法处理影像尺度变化。1998年Lindeberg采用Hessian矩阵的行列式与拉普拉斯算子检测斑状结构(blob-likestructure)，并引入自动尺度选择的概念，可以检测影像中具有自身特征尺度的兴趣点，具有尺度不变性。2001年Mikolajczyk和Schmid提出了Harris-Laplace和Hessian-Laplace，两种算子分别使用自适应尺度的Harris函数和Hessian矩阵的行列式确定兴趣点位置，并采用拉普拉斯算子选择尺度，均具有尺度不变性(scale-invariant)。高键等采用高斯差分结合Harris算子，增强对尺度选择的鲁棒性。Lowe采用DoG(Difference of Gaussians)近似LOG(Laplacian of Gaussians)检测局部极值点。Bay采用箱式滤波器来近似高斯二阶差分实现特征点检测。
最早特征点描述符为局部微分算子。Florack等组合了一系列算子构建了具有旋转不变性的微分不变式描述符。Schmid和Mohr发展了局部微分算子，使其对灰度值具有不变性并应用于影像检索。Freeman和Adelson通过线性组合一些列基本滤波器，构成一个稳定滤波器，并用于影像处理的方向、尺度选择任务中。另外Gabor滤波器和小波变换也可以用于在频域描述影像的局部纹理特征。而SIFT(Scale Invariant Feature Transform)描述符具有尺度不变性，很强的鲁棒性，在光照变化、尺度变化、噪声和遮挡等因素的影响时对局部特征的描述仍有出色的表现。基于SIFT的改进描述符PCA-SIFT(PrincipalComponent Analysis SIFT)算子将SIFT的128维特征向量降低到36维，加快了匹配速度，但性能逊于SIFT算法；GLOH(Gradient Location-Orientation Histogram)算子其独特性要优于SIFT，但是计算复杂度更大。Bay提出的SURF(Speeded Up Robust Features)描述符计算Haar小波在特征点局部邻域积分影像的高斯加权的响应，获得64/128维的特征描述符。该算法在独特性和鲁棒性上优于SIFT算法。唐永鹤等提出带符号对比上下文直方图(SCCH)的特征描述符，对灰度变化、尺度缩放、模糊有较好的鲁棒性，并具有较快的匹配速度。
尽管SIFT、SURF等描述符在模式识别、目标检测等视觉计算领域获得了很大的成功，但是它们所固有的对局部邻域的描述方法，无法解决影像存在较大变形时的描述问题，在影像中存在多个相似的局部区域时易发生错误。针对局部邻域描述符存在的问题，也出现了一些变形特征点描述符，譬如，Ling所提出的基于测量距离的GIH算法，该方法假设影像在不同方向上产生的变形是同方性的，然而实际情况并非总是如此。Tian基于Hilbert扫描提出了一种低复杂度的变形描述符，但是，如果兴趣点处于Hilbert扫描线分支上时，该算法将失效。Chen提出了变形局部描述模型LGS(Local-to-Global Similarity)，对一个兴趣点采用多尺度的支持域，从全局到局部对兴趣点进行描述。该模型并非直接描述可能存在的形变，其采用的尺度支持域以兴趣点为中心，不能正确表现所发生的形变，且计算复杂度较大。
二、非刚性特征点的匹配算法
相对于比较成熟的刚性特征点匹配算法而言，非刚性特征点的匹配因为其在模式识别、目标检测、运动跟踪、医学影像配准等实际应用领域的重要用途，逐渐引起研究人员的关注。被广泛采用的ICP(Iterative Closest Point)算法主要用于刚性变换的特征点集之间的配准，相对较早的非刚性点特征匹配算法为Chui所提出的著名的TPS-RPM(ThinPlate Spline Robust Point Matching)算法，该算法在匹配点集之间定义一个对应矩阵，采用TPS变换来模拟变形，通过不断松弛迭代使定义的目标函数值达到最小，来实现点集之间对应关系与TPS变换的同时优化。但是在应用该算法之前，若匹配对象未能近似对准，那么目标函数的优化过程很容易陷入局部极值。最近几年出现的一些非刚性点集的匹配算法，主要有以下几类：
第一类是以拓扑结构为基本理论基础的算法，如2006年Zheng提出的TPS-LNS(Robust Point Matching-preserving Local Neighborhood Structures)算法；2011年Lee进一步改进了TPS-LNS的理论，提出了TPRL(Topology Preserving RelaxationLabeling)算法。该算法将特征点之间的距离和角度在极坐标下进行了更为精确的描述，取得了优于TPS-LNS等算法的实验结果。
第二类是形状上下文描述方法，典型的算法为Belongie提出的SC(ShapeContext)算法，其针对每个特征点，将其与周围的特征点的距离与方向关系表示成为一个直方图，并以此作为该特征点在形变状态下的描述符。
第三类是基于运动一致性理论的方法，典型的算法为Myronenko提出的CPD(Coherent Point Drift)算法。该算法基于运动一致性理论(Motion Coherence Theory)，认为在发生形变时，相近点之间的运动方向和速度是一致的，非刚性点集的匹配过程被看作在点运动速度场的运动一致性约束条件下，高斯混合模型的最大似然概率计算问题。
第四类是基于核相关性的方法，典型的算法为Tsin提出的KC(KernelCorrelation)算法。该算法将点集之间的相关性进行概念扩展，以每个点为中心建立高斯核函数，同样采用高斯混合模型表示两个匹配点集，匹配过程转换为两个点集的核密度相关系数的计算。该算法的匹配误差被证明要大于TPS-RPM，TPS-LNS，CPD，SC等算法。
第五类算法是基于局部几何特征保持理论的算法，如Choi在文献中采用的局部几何一致性的点匹配算法。该算法认为在影像差别较大的情况下，局部邻域特征点之间的方向和距离并不总能保持一致，但是在非刚性形变状态下，影像的局部区域基于仿射变换保持一致。在该理论假设基础上，基于一对一的点对应约束，采用松弛算法最大化目标函数获得匹配结果。
上述现有技术的主要缺点在于：
(1)尽管SIFT、SURF等特征点描述符，具有尺度、光照、仿射变换、透视变换等不变性的良好性能，但是他们所固有的对局部邻域的描述方法，无法解决影像存在较大变形时的特征描述问题。而GIH、LGS等特征点描述符还存在描述过于理想化、在一些情况下算法失效、复杂度过高等问题，且实际上未能对一般的变形进行确切的描述。
(2)非刚性点集匹配算法的问题主要有两点，1、点集匹配方法，主要利用了点集内部的点之间的相互关系，是针对图形的特征分析，未能利用影像的灰度、纹理等信息。2、采用标签松弛法迭代全局目标函数，往往容易陷入局部极值。实际上，在特征点数量较大的情况下，很可能存在少量特征点针对这种目标函数表现出与整体不一致的异向性，采用一个全局的目标进行优化，将导致错误的匹配。三、在误匹配概率存在的情况下，缺乏相应的误匹配剔除策略，而在体变形场测量的研究中，误匹配点对将导致在局部不能获得准确的弹性模量与泊松系数等物理参数。
基于三维核磁共振影像中特征点检测与精确匹配的研究方法是非均质生物组织内部变形场测量的重要研究发展方向。人体生物组织中的骨骼、肌肉、脂肪、皮肤、内脏器官、血管、指甲等结构，具有不同的物理模型参数，在受力相等的条件下，所产生内部变形场是非线性的。为精确实现生物组织建模与仿真、外科手术的模拟、及机器人设计，需要能够精确测量形变核磁共振影像中大量特征点甚至所有像元的位移场。从以上国内外研究现状分析中可以看出，基于灰度和基于曲线、曲面特征的非线性影像配准方法，本质上难以实现非均质组织变形测量的目标。
发明内容
本发明所要解决的技术问题是提供生物组织非线性形变前后MR影像特征点匹配方法及系统，MR影像，即核磁共振影像。
本发明解决上述技术问题的技术方案如下：
生物组织非线性形变前后MR影像特征点匹配方法，包括以下步骤：
步骤S1：非均质生物组织非线性形变前得到的原始核磁共振影像photo和形变后得到的变形核磁共振影像photo'分别输入深度级联卷积神经网络，深度级联卷积神经网络对photo和photo'分别进行特征点检测，得到photo的特征点集合Z＝[Z1,Z2,……Zk]和photo'的特征点集合Z'＝[Z1',Z2',……Zk']，k为自然数；
步骤S2、分别将Z中的每一个特征点与Z'中的相应特征点进行匹配，得到匹配结果。
进一步的，所述步骤S1具体包括以下步骤:
步骤S1.1、第一层网络对输入的核磁共振影像进行第一次特征点预测，得到第一级预测点集合，并将包含第一级预测点的影像块输入第二层网络；
步骤S1.2、第二层网络对包含第一级预测点的影像块进行第二次特征点预测，得到第二级预测点集合，并将包含第二级预测点的影像块输入第三层网络；
步骤S1.3、第三层网络对包含第二级预测点的影像块进行第三次特征点预测，得到第三级预测点集合。
本发明的有益效果是：卷积神经网络是人工神经网络的一种，已成为当前影像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络，降低了网络模型的复杂度，减少了权值的数量。该优点在网络的输入是多维影像时表现的更为明显，使影像可以直接作为网络的输入，避免了传统识别算法中复杂的特征提取和数据重建过程。卷积网络是一个多层感知器，这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。鉴于传统的非刚性特征点检测算法的局限，本发明提出基于深度级联卷积神经网络的特征点自动检测方法。首先，通过第一层的深度卷积网络获得特征点的大致区域，然后在第二层和第三层的级联卷积网络中逐步逼近目标特征点位置，从而进一步提高特征点的检测率。
进一步的，所述步骤S1.2得到的第二级预测点集合需要经过修正后，再将包含修正后的第二级预测点的影像块输入第三层网络；
所述步骤S1.3得到的第三级预测点集合需要经过修正后，再得到photo的特征点集合Z和photo'的特征点集合为Z'。
采用上述进一步方案的有益效果为：通过对特征点的修正，可以进一步改进检测的准确性和可靠性。
进一步的，所述步骤S2是采用黎曼流形结合核方法，对Z和Z'中的特征点构建非线性形变鲁棒性特征点描述符，并利用特征点描述符将Z中的特征点与Z'中的对应特征点进行匹配，得到匹配结果。
进一步的，所述步骤S2具体包括以下步骤：
步骤S2.1、将photo中包含Z中的所有特征点的影像块P和photo'中包含Z'中的所有特征点的影像块P'分别映射到四维黎曼流形空间M，利用公式f:Xb→(xb,yb,zb,αP(Fb))，即点Xb(xb,yb,zb)映射到四维黎曼流形空间M后得到的新坐标为(xb,yb,zb，αP(Fb))，其中，P(Fb)表示点F＝Xb T处的像素灰度值,αP(Fb)表示点Xb(xb,yb,zb)对应的控制灰度值，最终得到影像块P中所有点对应的控制灰度值集合αP(F)＝[αP(F1),αP(F2)……αP(Fj)]和影像块P'中所有点对应的控制灰度值集合α'P(F')＝[αP(F1'),αP(F2')……αP(FL')]，j和L均为自然数，α和α'为控制参数；
步骤S2.2、利用αP(F)和α'P(F')分别计算Z中所有特征点对应的协方差矩阵集合C＝[C1,C2……Ck]和Z'中所有特征点对应的协方差矩阵集合C'＝[C1',C2'……Ck']，其中，Ck为Zk的描述符，Ck'为Zk'的描述符；
步骤S3.3、利用核函数分别计算C中每一个协方差矩阵和C'中所有协方差矩阵的距离，假设Ck和CT'，T∈(1，k)的距离最小，则Ck对应的特征点Zk与CT'对应的特征点ZT'匹配，重复上述步骤，直到C中所有协方差矩阵均在C'中找到对应协方差矩阵，即相应的Z中所有的特征点均在Z'中找到对应的匹配点，匹配结束。
采用上述进一步方案的有益效果为：针对现有特征点描述符在影像非线性形变时，对特征点区分能力下降的问题，本发明采用黎曼流形结合核方法，构建非线性形变鲁棒性特征点描述符。黎曼流形可在非欧氏空间中描述形变几何形体，一般的流形通过把许多平直的片折弯并粘连而成；可以把流形视作无穷小的结构是硬的，而整体结构是软的；这样，流形的硬度使它能够容纳微分结构，而它的软度使得它可以作为很多独立的局部扰动的数学和物理上的模型，从而能够模拟目标的变形。本发明将核磁共振影像中的三维特征点映射到四维黎曼流形空间，采用核方法继续映射到更高维的希尔伯特空间从而获得更丰富的数据分布的描述，同时获得特征点之间的真正的几何距离，从而对特征点进行匹配。
生物组织非线性形变前后MR影像特征点匹配系统，包括以下部分：
深度级联卷积神经网络，用于对输入的非均质生物组织非线性形变前得到的原始核磁共振影像photo和形变后得到的变形核磁共振影像photo'分别进行特征点检测，得到photo的特征点集合Z＝[Z1,Z2,……Zk]和photo'的特征点集合Z'＝[Z1',Z2',……Zk']，k为自然数；
特征点匹配模块，用于将Z中的特征点分别与Z'中的相应特征点进行匹配，得到匹配结果。
进一步的，所述深度级联卷积神经网络包括以下卷积层：
第一层网络，用于对输入的核磁共振影像进行第一次特征点预测，得到第一级预测点集合，并将包含第一级预测点的影像块输入第二层网络；
第二层网络，用于对包含第一级预测点的影像块进行第二次特征点预测，得到第二级预测点集合，并将包含第二级预测点的影像块输入第三层网络；
第三层网络，用于对包含第二级预测点的影像块进行第三次特征点预测，得到第三级预测点集合。
进一步的，所述第二层网络得到的第二级预测点集合需要经过修正后，再将包含修正后的第二级预测点的影像块输入第三层网络；
所述第三层网络得到的第三级预测点集合需要经过修正后，得到photo的特征点集合Z和photo'的特征点集合为Z'。
进一步的，特征点匹配模块是采用黎曼流形结合核方法，对Z和Z'中的特征点构建非线性形变鲁棒性特征点描述符，并利用特征点描述符将Z中的特征点与Z'中的对应特征点进行匹配，得到匹配结果。
进一步的，所述特征点匹配模块具体包括以下单元：
映射单元，用于将photo中包含Z中的所有特征点的影像块P和photo'中包含Z'中的所有特征点的影像块P'分别映射到四维黎曼流形空间M，利用公式f:Xb→(xb,yb,zb,αP(Fb))，得到点Xb(xb,yb,zb)映射到四维黎曼流形空间M后的新坐标为(xb,yb,zb，αP(Fb))，其中，P(Fb)表示点F＝Xb T处的像素灰度值,αP(Fb)表示点Xb(xb,yb,zb)对应的控制灰度值，最终得到影像块P中所有点对应的控制灰度值集合αP(F)＝[αP(F1),αP(F2)……αP(Fj)]和影像块P'中所有点对应的控制灰度值集合α'P(F')＝[αP(F1'),αP(F2')……αP(FL')]，j和L均为自然数，α和α'为控制参数；
描述符计算单元，用于利用αP(F)和α'P(F')分别计算Z中所有特征点对应的协方差矩阵集合C＝[C1,C2……Ck]和Z'中所有特征点对应的协方差矩阵集合C'＝[C1',C2'……Ck']，其中，Ck为Zk的描述符，Ck'为Zk'的描述符；
距离计算及匹配单元，用于利用核函数分别计算C中每一个协方差矩阵和C'中所有协方差矩阵的距离，假设Ck和CT'，T∈(1，k)的距离最小，则Ck对应的特征点Zk与CT'对应的特征点ZT'匹配，重复上述步骤，直到C中所有协方差矩阵均在C'中找到对应协方差矩阵，即相应的Z中所有的特征点均在Z'中找到对应的匹配点，匹配结束。
附图说明
图1为本发明的方法流程图；
图2为深度级联卷积神经网络的预测流程图；
图3为深度级联卷积神经网络架构图；
图4为深度级联卷积神经网络中第一层网络的F1部分的深度级联卷积神经网络结构图；
图5为协方差描述子组件图；
图6为志愿者的小腿肚的原始核磁共振影像(即photo)和受推力变形后的变形核磁共振影像(即photo')；
图7为将photo和photo'上匹配的特征点用连线连接后的示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1所示，生物组织非线性形变前后MR影像特征点匹配方法，包括以下步骤：
步骤S1：非均质生物组织非线性形变前得到的原始核磁共振影像photo和形变后得到的变形核磁共振影像photo'分别输入深度级联卷积神经网络，深度级联卷积神经网络对photo和photo'分别进行特征点检测，得到photo的特征点集合Z＝[Z1,Z2,……Zk]和photo'的特征点集合Z'＝[Z1',Z2',……Zk']，k为自然数；
步骤S2、将Z中的特征点分别与Z'中的相应特征点进行匹配，得到匹配结果。
如图2所示，所述步骤S1具体包括以下步骤:
步骤S1.1、第一层网络对输入的核磁共振影像进行第一次特征点预测，得到第一级预测点集合，并将包含第一级预测点的影像块输入第二层网络；
步骤S1.2、第二层网络对包含第一级预测点的影像块进行第二次特征点预测，得到第二级预测点集合，并将包含第二级预测点的影像块输入第三层网络；
步骤S1.3、第三层网络对包含第二级预测点的影像块进行第三次特征点预测，得到第三级预测点集合。
所述步骤S1.2得到的第二级预测点集合需要经过修正后，再输入第三层网络；
所述步骤S1.3得到的第三级预测点集合需要经过修正后，再得到photo的特征点集合Z和photo'的特征点集合为Z'。
所述步骤S2是采用黎曼流形结合核方法，对Z和Z'中的特征点构建非线性形变鲁棒性特征点描述符，并利用特征点描述符将Z中的特征点与Z'中的对应特征点进行匹配，得到匹配结果。
所述步骤S2具体包括以下步骤：
步骤S2.1、将photo中包含Z中的所有特征点的影像块P和photo'中包含Z'中的所有特征点的影像块P'分别映射到四维黎曼流形空间M，利用公式f:Xb→(xb,yb,zb,αP(Fb))，即点Xb(xb,yb,zb)映射到四维黎曼流形空间M后得到的新坐标为(xb,yb,zb，αP(Fb))，其中，P(Fb)表示点F＝Xb T处的像素灰度值,αP(Fb)表示点Xb(xb,yb,zb)对应的控制灰度值，最终得到影像块P中所有点对应的控制灰度值集合αP(F)＝[αP(F1),αP(F2)……αP(Fj)]和影像块P'中所有点对应的控制灰度值集合α'P(F')＝[αP(F1'),αP(F2')……αP(FL')]，j和L均为自然数，α和α'为控制参数；
步骤S2.2、利用αP(F)和α'P(F')分别计算Z中所有特征点对应的协方差矩阵集合C＝[C1,C2……Ck]和Z'中所有特征点对应的协方差矩阵集合C'＝[C1',C2'……Ck']，其中，Ck作为Zk的描述符，Ck'作为Zk'的描述符；
步骤S3.3、利用核函数分别计算C中每一个协方差矩阵和C'中所有协方差矩阵的距离，假设Ck和CT'，T∈(1，k)的距离最小，则Ck对应的特征点Zk与CT'对应的特征点ZT'匹配，重复上述步骤，直到C中所有协方差矩阵均在C'中找到对应协方差矩阵，即相应的Z中所有的特征点均在Z'中找到对应的匹配点，匹配结束。
生物组织非线性形变前后MR影像特征点匹配系统，包括以下部分：
深度级联卷积神经网络，用于对输入的非均质生物组织非线性形变前得到的原始核磁共振影像photo和形变后得到的变形核磁共振影像photo'分别进行特征点检测，得到photo的特征点集合Z＝[Z1,Z2,……Zk]和photo'的特征点集合Z'＝[Z1',Z2',……Zk']，k为自然数；
特征点匹配模块，用于将Z中的特征点分别与Z'中的相应特征点进行匹配，得到匹配结果。
所述深度级联卷积神经网络包括以下卷积层：
第一层网络，用于对输入的核磁共振影像进行第一次特征点预测，得到第一级预测点集合，并将包含第一级预测点的影像块输入第二层网络；
第二层网络，用于对包含第一级预测点的影像块进行第二次特征点预测，得到第二级预测点集合，并将包含第二级预测点的影像块输入第三层网络；
第三层网络，用于对包含第二级预测点的影像块进行第三次特征点预测，得到第三级预测点集合。
所述第二层网络得到的第二级预测点集合需要经过修正后，再输入第三层网络；
所述第三层网络得到的第三级预测点集合需要经过修正后，得到photo的特征点集合Z和photo'的特征点集合为Z'。
特征点匹配模块是采用黎曼流形结合核方法，对Z和Z'中的特征点构建非线性形变鲁棒性特征点描述符，并利用特征点描述符将Z中的特征点与Z'中的对应特征点进行匹配，得到匹配结果。
所述特征点匹配模块具体包括以下单元：
映射单元，用于将photo中包含Z中的所有特征点的影像块P和photo'中包含Z'中的所有特征点的影像块P'分别映射到四维黎曼流形空间M，利用公式f:Xb→(xb,yb,zb,αP(Fb))，得到点Xb(xb,yb,zb)映射到四维黎曼流形空间M后得到的新坐标为(xb,yb,zb，αP(Fb))，其中，P(Fb)表示点F＝Xb T处的像素灰度值,αP(Fb)表示点Xb(xb,yb,zb)对应的控制灰度值，最终得到影像块P中所有点对应的控制灰度值集合αP(F)＝[αP(F1),αP(F2)……αP(Fj)]和影像块P'中所有点对应的控制灰度值集合α'P(F')＝[αP(F1'),αP(F2')……αP(FL')]，j和L均为自然数，α和α'为控制参数；
描述符计算单元，用于利用αP(F)和α'P(F')分别计算Z中所有特征点对应的协方差矩阵集合C＝[C1,C2……Ck]和Z'中所有特征点对应的协方差矩阵集合C'＝[C1',C2'……Ck']，其中，Ck作为Zk的描述符，Ck'作为Zk'的描述符；
距离计算及匹配单元，用于利用核函数分别计算C中每一个协方差矩阵和C'中所有协方差矩阵的距离，假设Ck和CT'，T∈(1，k)的距离最小，则Ck对应的特征点Zk与CT'对应的特征点ZT'匹配，重复上述步骤，直到C中所有协方差矩阵均在C'中找到对应协方差矩阵，即相应的Z中所有的特征点均在Z'中找到对应的匹配点，匹配结束。
如图3所示为所述深度级联卷积神经网络架构，所述深度级联CNN架构包含3个深度卷积层，第一层网络包含4个深度卷积网：F1、B2、R3和L4。F1输入区域为输入影像的上半区域，B2输入区域为输入影像的下半区域，R3输入区域为输入影像的右半区域，L4输入区域为输入影像的左半区域。每个网络同时预测结果，通过求平均值的方法提高每个特征点的精度；
第二层网络和第三层网络分别将上层输出作为输入，包含预测点的影像块为特征点周围的影像块，影像块大小和搜索范围随层数上升而逐级减小，假设第一层输出4个预测点位置，那么对每个预测点随机选取以该点为中心的周围的影像块n块，可以取n＝2,如图2所示，如果每个预测点随机选择以该点为中心的影像块2块，则第二层网络的输入的影像块数量则为4*2＝8块，然后第二层网络对8个影像块并行处理，但输出仍为修正后的4个预测点的位置。最后两层预测点的位置由选择不同影像块大小计算后均值产生。第一层网络的作用是稳健地预测结果，不允许出现重大误差；第二、三层网络的作用是精确化特征点所在位置。所有网络最后两层为全连接。
由于生物组织非线性形变导致核磁共振影像局部尺度缩放、灰度变化、并受到噪声干扰，在第一层卷积神经网络的输入区域较大，因此会覆盖很多种可能的预测。由于检测区域过于广泛，很多不相干的区域也被包含进去，从而导致不准确的检测。但是第一层的卷积网络的输出却给出了很强的指导方向，比如，真正的特征点应该在第一层检测出来的特征点周围。因此，在第二层卷积神经网络中，我们缩小搜索范围，并重复第一层的工作，第三层进一步修正上一层的输出结果。
如图4所示为F1的深度级联卷积神经网络结构(B2、R3和L4采用相同的深度结构)，图中1为输入层，2为卷积层，3为下采样层，4为全连接层，5为输出层。第一层是输入层，输入层是直接输入一幅影像，卷积层是由输入层的影像经过四个能提取不同纹理细节特征的卷积核对输入影像进行卷积得到四个特征映射，因此也称为特征映射层。该层把一个单一的输入影像通过多个5×5的卷积核得出多个卷积影像，卷积核能保持特定局部纹理信息。该层利用影像局部相关性的原理对影像进行子抽样，可以减少数据处理量，同时保留影像的整体结构信息。最后靠近输出的层是全连接层，功能与BP神经网络一样。对一维特征进行最后的分类识别。
如图2所示，为了进一步改进检测的准确性和可靠性，第二级预测点集合需要经过修正后，再将包含修正后的第二级预测点的影像块输入第三层网络；第三级预测点集合需要经过修正后，再得到photo的特征点集合Z和photo'的特征点集合Z'。
设第二级预测点集合中有预测点A1(x1,y1,z1),则对A1进行修正得到预测点Ai(xi,yi,zi)的公式为
公式(1)中,对于一个n层的网络，li表示特征点A1在第i层的预测个数(比如，A1在第一层最终被预测后，到第二层则根据以该点为中心随机选取影像块，如选择2块，则第2层li值为2)，表示第li个预测点相对上一层最后输出的偏移量。
同理，第二级预测点集合中的所有预测点都按公式(1)进行修正后，得到修正后的第二级预测点集合。第三级预测点集合中的所有预测点都按公式(1)进行修正后，再得到photo的特征点集合Z和photo'的特征点集合Z'。
通过上述措施，我们在核磁共振影像中生物组织解剖结构的内部、突起、边缘、分界处，检测到较多的呈均匀分布的特征点。
针对现有特征点描述符在影像非线性形变时，对特征点区分能力下降的问题，我们采用黎曼流形结合核方法，构建非线性形变鲁棒性特征点描述符。黎曼流形可在非欧氏空间中描述形变几何形体，一般的流形通过把许多平直的片折弯并粘连而成；可以把流形视作无穷小的结构是硬的，而整体结构是软的；这样，流形的硬度使它能够容纳微分结构，而它的软度使得它可以作为很多独立的局部扰动的数学和物理上的模型，从而能够模拟目标的变形。
另外，核方法在高维目标识别上被用于描述目标对象的形变，本申请的步骤S2采用黎曼流形结合核方法来研究三维影像上的非线性形变。步骤S2主要采用三个阶段：
第一阶段，步骤S2.1、将photo中包含Z中的所有特征点的影像块P和photo'中包含Z'中的所有特征点的影像块P'分别映射到四维黎曼流形空间M，利用公式f:Xb→(xb,yb,zb,αP(Fb))，即点Xb(xb,yb,zb)映射到四维黎曼流形空间M后得到的新坐标为(xb,yb,zb，αP(Fb))，其中，P(Fb)表示点F＝Xb T处的像素灰度值,αP(Fb)表示点Xb(xb,yb,zb)对应的控制灰度值，最终得到影像块P中所有点对应的控制灰度值集合αP(F)＝[αP(F1),αP(F2)……αP(Fj)]和影像块P'中所有点对应的控制灰度值集合α'P(F')＝[αP(F1'),αP(F2')……αP(FL')]，j和L均为自然数，α和α'为控制参数；
实际操作中，α和α'由经验确定，一般医学影像的α和α'范围为1000-2000，且一般令α＝α'，便于计算；
第二阶段，构建协方差描述子。首先，对于特征点Z1，如图5所示，构建描述子的区域选定为以特征点为中心的6*6矩形，并分别向8个方向各取样n个邻域点，图中实心黑点为特征点，周围空心点为邻域点，然后，分别计算特征点Z1以及Z1的n个邻域点的特征值，设点Z1(x1,y1,z1)处的特征值为J1，该特征值J1由7维特征向量组成，具体计算方法如公式(2)所示：
其中，αP(F1)表示点Z1对应的控制灰度值，利用公式(2)对特征点Z1和Z1的n个领域点的特征值分别进行计算，得到共N＝n+1个特征值，分别为J1，J2……JN,根据这些特征值，计算特征点Z1的协方差矩阵C1，并将C1作为特征点Z1的特征描述符，C1的计算方法如公式(3)所示：
其中，u＝(J1+J2……+JN)/N。
根据上述计算方法，计算出Z中所有特征点对应的协方差矩阵集合为C＝[C1,C2……Ck]和Z'中所有特征点对应的协方差矩阵集合为C'＝[C1',C2'……Ck']；
第三阶段，距离计算。由于协方差矩阵在计算测度时不位于欧式空间，不能直接使用常用的欧式空间距离进行计算。因此，通过核函数来计算协方差矩阵之间的距离。实际上，这是将特征点映射到更加高维的希尔伯特空间(Hilbert Space)，从而获得更加丰富的数据特征描述以及特征点之间的相似性。对于X和Y的距离计算，这里采用的核函数kR(X,Y)来表示二者之间的的距离，kR(X,Y)的计算方法如公式(4)：
kR(X,Y)＝exp{-σ-1dG(X,Y)} (4)
其中，G(X；p,ω)·G(Y；p,β)分别为X与Y对于标准差ω和β的二维高斯函数。
利用核函数kR(X,Y)分别计算C中每一个协方差矩阵和C'中所有协方差矩阵的距离，示例，首先分别计算C1和C1'，C1和C2'……C1和Ck'的距离，假设Ck和CT'，T∈(1，k)的距离最小，则Ck对应的特征点Zk与CT'对应的特征点ZT'匹配，再计算C2和C1'、C2和C2'……C2和Ck'的距离，重复上述步骤，直到Z中所有的特征点均在Z'中找到对应的匹配点，匹配结束。
医学影像
图6为真实的志愿者的小腿肚的原始核磁共振影像(即photo)和受推力变形后的变形核磁共振影像(即photo')。左图原始自然姿势所得MRI，右图为小腿肚受推力形变后的MRI，所用设备是0.5T的开放式MRI设备，FOV(扫描范围)是24*24CM，切片间距是2mm。图上白点为深度级联卷积神经网络预测得到的特征点；
如图7所示为将photo和photo'上匹配的特征点用连线连接后的示意图。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (6)
1.生物组织非线性形变前后MR影像特征点匹配方法，其特征在于，包括以下步骤：
步骤S1：生物组织非线性形变前得到的原始核磁共振影像photo和形变后得到的变形核磁共振影像photo'分别输入深度级联卷积神经网络，深度级联卷积神经网络对photo和photo'分别进行特征点检测，得到photo的特征点集合Z＝[Z1,Z2,……Zk]和photo'的特征点集合Z'＝[Z1',Z2',……Zk']，k为自然数；
步骤S2、分别将Z中的每一个特征点与Z'中的相应特征点进行匹配，得到匹配结果；
所述步骤S2是采用黎曼流形结合核方法，对Z和Z'中的特征点构建非线性形变鲁棒性特征点描述符，并利用特征点描述符将Z中的特征点与Z'中的对应特征点进行匹配，得到匹配结果；
所述步骤S2具体包括以下步骤：
步骤S2.1、将photo中包含Z中的所有特征点的影像块P和photo'中包含Z'中的所有特征点的影像块P'分别映射到四维黎曼流形空间M，利用公式f:Xb→(xb,yb,zb,αP(Fb))，得到点Xb(xb,yb,zb)映射到四维黎曼流形空间M后的新坐标为(xb,yb,zb，αP(Fb))，其中，P(Fb)表示点F＝Xb T处的像素灰度值,αP(Fb)表示点Xb(xb,yb,zb)对应的控制灰度值，最终得到影像块P中所有点对应的控制灰度值集合αP(F)＝[αP(F1),αP(F2)……αP(Fj)]和影像块P'中所有点对应的控制灰度值集合α'P(F')＝[αP(F1'),αP(F2')……αP(FL')]，j和L均为自然数，α和α'为控制参数；
步骤S2.2、利用αP(F)和α'P(F')分别计算Z中所有特征点对应的协方差矩阵集合C＝[C1,C2……Ck]和Z'中所有特征点对应的协方差矩阵集合C'＝[C1',C2'……Ck']，其中，Ck为Zk的描述符，Ck'为Zk'的描述符；
步骤S3.3、利用核函数分别计算C中每一个协方差矩阵和C'中所有协方差矩阵的距离，若Ck和CT'，T∈(1，k)的距离最小，则Ck对应的特征点Zk与CT'对应的特征点ZT'匹配，直到C中所有协方差矩阵均在C'中找到对应协方差矩阵，即相应的Z中所有的特征点均在Z'中找到对应的匹配点，匹配结束。
2.根据权利要求1所述的生物组织非线性形变前后MR影像特征点匹配方法，其特征在于，所述步骤S1具体包括以下步骤:
步骤S1.1、第一层网络对输入的核磁共振影像进行第一次特征点预测，得到第一级预测点集合，并将包含第一级预测点的影像块输入第二层网络；
步骤S1.2、第二层网络对包含第一级预测点的影像块进行第二次特征点预测，得到第二级预测点集合，并将包含第二级预测点的影像块输入第三层网络；
步骤S1.3、第三层网络对包含第二级预测点的影像块进行第三次特征点预测，得到第三级预测点集合。
3.根据权利要求2所述的生物组织非线性形变前后MR影像特征点匹配方法，其特征在于，所述步骤S1.2得到的第二级预测点集合需要经过修正后，再将包含修正后的第二级预测点的影像块输入第三层网络；
所述步骤S1.3得到的第三级预测点集合需要经过修正后，再得到photo的特征点集合Z和photo'的特征点集合Z'。
4.生物组织非线性形变前后MR影像特征点匹配系统，其特征在于，包括以下部分：
深度级联卷积神经网络，用于对输入的非均质生物组织非线性形变前得到的原始核磁共振影像photo和形变后得到的变形核磁共振影像photo'分别进行特征点检测，得到photo的特征点集合Z＝[Z1,Z2,……Zk]和photo'的特征点集合Z'＝[Z1',Z2',……Zk']，k为自然数；
特征点匹配模块，用于将Z中的每一个特征点分别与Z'中的相应特征点进行匹配，得到匹配结果；
特征点匹配模块是采用黎曼流形结合核方法，对Z和Z'中的特征点构建非线性形变鲁棒性特征点描述符，并利用特征点描述符将Z中的特征点与Z'中的对应特征点进行匹配，得到匹配结果；
所述特征点匹配模块具体包括以下单元：
映射单元，用于将photo中包含Z中的所有特征点的影像块P和photo'中包含Z'中的所有特征点的影像块P'分别映射到四维黎曼流形空间M，利用公式f:Xb→(xb,yb,zb,αP(Fb))，得到点Xb(xb,yb,zb)映射到四维黎曼流形空间M后得到的新坐标为(xb,yb,zb，αP(Fb))，其中，P(Fb)表示点F＝Xb T处的像素灰度值,αP(Fb)表示点Xb(xb,yb,zb)对应的控制灰度值，最终得到影像块P中所有点对应的控制灰度值集合αP(F)＝[αP(F1),αP(F2)……αP(Fj)]和影像块P'中所有点对应的控制灰度值集合α'P(F')＝[αP(F1'),αP(F2')……αP(FL')]，j和L均为自然数，α和α'为控制参数；
描述符计算单元，用于利用αP(F)和α'P(F')分别计算Z中所有特征点对应的协方差矩阵集合C＝[C1,C2……Ck]和Z'中所有特征点对应的协方差矩阵集合C'＝[C1',C2'……Ck']，其中，Ck为Zk的描述符，Ck'为Zk'的描述符；
距离计算及匹配单元，用于利用核函数分别计算C中每一个协方差矩阵和C'中所有协方差矩阵的距离，若Ck和CT'，T∈(1，k)的距离最小，则Ck对应的特征点Zk与CT'对应的特征点ZT'匹配，直到C中所有协方差矩阵均在C'中找到对应协方差矩阵，即相应的Z中所有的特征点均在Z'中找到对应的匹配点，匹配结束。
5.根据权利要求4所述的生物组织非线性形变前后MR影像特征点匹配系统，其特征在于，所述深度级联卷积神经网络包括以下网络：
第一层网络，用于对输入的核磁共振影像进行第一次特征点预测，得到第一级预测点集合，并将包含第一级预测点的影像块输入第二层网络；
第二层网络，用于对包含第一级预测点的影像块进行第二次特征点预测，得到第二级预测点集合，并将包含第二级预测点的影像块输入第三层网络；
第三层网络，用于对包含第二级预测点的影像块进行第三次特征点预测，得到第三级预测点集合。
6.根据权利要求5所述的生物组织非线性形变前后MR影像特征点匹配系统，其特征在于，所述第二层网络得到的第二级预测点集合需要经过修正后，再将包含修正后的第二级预测点的影像块输入第三层网络；
所述第三层网络得到的第三级预测点集合需要经过修正后，得到photo的特征点集合Z和photo'的特征点集合为Z'。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610929394.8A CN106530338B (zh) | 2016-10-31 | 2016-10-31 | 生物组织非线性形变前后mr影像特征点匹配方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610929394.8A CN106530338B (zh) | 2016-10-31 | 2016-10-31 | 生物组织非线性形变前后mr影像特征点匹配方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN106530338A CN106530338A (zh) | 2017-03-22 |
| CN106530338B true CN106530338B (zh) | 2019-02-05 |
Family
ID=58291545
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610929394.8A Expired - Fee Related CN106530338B (zh) | 2016-10-31 | 2016-10-31 | 生物组织非线性形变前后mr影像特征点匹配方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106530338B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107194933A (zh) * | 2017-04-24 | 2017-09-22 | 天津大学 | 结合卷积神经网络和模糊推理的脑肿瘤分割方法和装置 |
| CN107748871B (zh) * | 2017-10-27 | 2021-04-06 | 东南大学 | 一种基于多尺度协方差描述子与局部敏感黎曼核稀疏分类的三维人脸识别方法 |
| CN108053430A (zh) * | 2017-12-20 | 2018-05-18 | 中国地质大学（武汉） | 基于黎曼流形的非线性形变影像特征点匹配方法及系统 |
| CN108280805B (zh) * | 2018-01-30 | 2021-07-20 | 北京理工大学 | 一种基于流形优化的图像拼接方法 |
| CN108764249B (zh) * | 2018-04-23 | 2021-07-09 | 云南民族大学 | 一种旋转不变多源影像局部特征描述方法、系统和装置 |
| KR102035172B1 (ko) * | 2018-06-28 | 2019-10-22 | 계명대학교 산학협력단 | 사용자의 신원 파악이 가능한 혈중 산소포화도 모니터링 방법 및 시스템 |
| CN109035316B (zh) * | 2018-08-28 | 2020-12-18 | 北京安德医智科技有限公司 | 核磁共振图像序列的配准方法及设备 |
| CN109919162B (zh) * | 2019-01-25 | 2021-08-10 | 武汉纺织大学 | 用于输出mr图像特征点描述向量符的模型及其建立方法 |
| CN110322491B (zh) * | 2019-06-11 | 2022-03-04 | 大连理工大学 | 一种可变形小鼠全身图谱与小鼠影像配准的算法 |
| CN110717297B (zh) * | 2019-10-12 | 2022-07-12 | 武汉纺织大学 | 织物仿真模型的建立方法、系统、存储介质及电子设备 |
| CN110910492B (zh) * | 2019-11-29 | 2021-02-02 | 中南大学 | 非刚性三维模型之间点点匹配的方法 |
| CN111401385B (zh) * | 2020-03-19 | 2022-06-17 | 成都理工大学 | 一种图像局部拓扑结构特征描述符的相似度计算方法 |
| CN112802178B (zh) * | 2021-01-15 | 2024-06-11 | 浙江华云信息科技有限公司 | 一种基于泊松曲面重建算法修复三维模型缺失信息的方法 |
| CN113159098B (zh) * | 2021-02-08 | 2024-03-29 | 北京工商大学 | 基于密度一致性和相关性的营养食品聚类方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103778620A (zh) * | 2012-10-23 | 2014-05-07 | 上海联影医疗科技有限公司 | 医学图像的处理方法和装置 |
| CN105678689A (zh) * | 2015-12-31 | 2016-06-15 | 百度在线网络技术（北京）有限公司 | 高精地图数据配准关系确定方法及装置 |
| CN106295526A (zh) * | 2016-07-28 | 2017-01-04 | 浙江宇视科技有限公司 | 车辆图像匹配的方法及装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9430829B2 (en) * | 2014-01-30 | 2016-08-30 | Case Western Reserve University | Automatic detection of mitosis using handcrafted and convolutional neural network features |
-
2016
- 2016-10-31 CN CN201610929394.8A patent/CN106530338B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103778620A (zh) * | 2012-10-23 | 2014-05-07 | 上海联影医疗科技有限公司 | 医学图像的处理方法和装置 |
| CN105678689A (zh) * | 2015-12-31 | 2016-06-15 | 百度在线网络技术（北京）有限公司 | 高精地图数据配准关系确定方法及装置 |
| CN106295526A (zh) * | 2016-07-28 | 2017-01-04 | 浙江宇视科技有限公司 | 车辆图像匹配的方法及装置 |
Non-Patent Citations (4)
| Title |
|---|
| Region Covariance for Deformation Measurement of Non-rigid Biological Tissues from MR images;Jun Bai 等;《2015 8th International Symposium on Computational Intelligence and Design》;20151231;摘要，第I-IV节、图1-3 |
| 基于卷积神经网络的遥感图像配准方法;吴航;《中国优秀硕士学位论文数据库 信息科技辑》;20160315;第2016年卷(第03期);第4.2.2节、图4.3-4.4 |
| 基于并行卷积神经网络的人脸关键点定位方法研究;杨海燕 等;《计算机应用研究》;20150831;第32卷(第8期);第1-2节 |
| 黎曼流形上的保局投影在图像集匹配中的应用;曾青松;《中国图象图形学报》;20141231;第19卷(第3期);摘要、第1-2节 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN106530338A (zh) | 2017-03-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106530338B (zh) | 生物组织非线性形变前后mr影像特征点匹配方法及系统 | |
| CN111795704B (zh) | 一种视觉点云地图的构建方法、装置 | |
| Tam et al. | Registration of 3D point clouds and meshes: A survey from rigid to nonrigid | |
| JP6216508B2 (ja) | ３ｄシーンにおける３ｄ物体の認識および姿勢決定のための方法 | |
| CN113012208B (zh) | 多视角遥感图像配准方法及系统 | |
| CN104392223A (zh) | 二维视频图像中的人体姿态识别方法 | |
| CN109272577B (zh) | 一种基于Kinect的视觉SLAM方法 | |
| Debayle et al. | Rigid image registration by general adaptive neighborhood matching | |
| Hua et al. | Geodesic distance-weighted shape vector image diffusion | |
| Srivastava et al. | Drought stress classification using 3D plant models | |
| Bronstein et al. | Feature-based methods in 3D shape analysis | |
| Hsu | A hybrid approach for brain image registration with local constraints | |
| Ma et al. | SC-PROSAC: An improved progressive sample consensus algorithm based on spectral clustering | |
| CN109785340A (zh) | 基于多图谱的心脏磁共振图像右心室分割计算设备及方法 | |
| da Silva Tavares | Image processing and analysis: applications and trends | |
| Jain et al. | Overview on image registration | |
| Mhamdi et al. | A local approach for 3D object recognition through a set of size functions | |
| CN113780102B (zh) | 智能机器人视觉slam闭环检测方法、装置及存储介质 | |
| Ali et al. | A Comparative Survey on 3D Models Retrieval Methods | |
| CN118447016B (zh) | 基于自监督学习和几何约束的脑mri标志点检测方法 | |
| Zhang et al. | TPS-SURF-SAC matching approach of feature point applied to deformation measurement of nonrigid tissues from MR images | |
| US20240346684A1 (en) | Systems and methods for multi-person pose estimation | |
| Zhao et al. | A method of sift feature points matching for image mosaic | |
| Chen et al. | SIFT and preserving topology structures of local neighborhood: Matching feature point in deformation measurement of nonrigid biological tissues from magnetic resonance images | |
| Chen et al. | RAPID: Measuring Deformation of Biological Tissues from MR Images Through the Riemannian Pseudo Kernel |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20190205 |