CN113643336A - 基于球极坐标系深度神经网络的三维图像刚性匹配方法 - Google Patents

基于球极坐标系深度神经网络的三维图像刚性匹配方法 Download PDF

Info

Publication number
CN113643336A
CN113643336A CN202110844296.5A CN202110844296A CN113643336A CN 113643336 A CN113643336 A CN 113643336A CN 202110844296 A CN202110844296 A CN 202110844296A CN 113643336 A CN113643336 A CN 113643336A
Authority
CN
China
Prior art keywords
coordinate system
neural network
polar coordinate
dimensional
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110844296.5A
Other languages
English (en)
Other versions
CN113643336B (zh
Inventor
张楚杰
王俊彦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lab
Original Assignee
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lab filed Critical Zhejiang Lab
Priority to CN202110844296.5A priority Critical patent/CN113643336B/zh
Publication of CN113643336A publication Critical patent/CN113643336A/zh
Application granted granted Critical
Publication of CN113643336B publication Critical patent/CN113643336B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了基于球极坐标系深度神经网络的三维图像刚性匹配方法，包括如下步骤：S1，构建球极坐标三维图像；S11，将医学影像的三维直角坐标系转换到球极坐标系；S12，以球极坐标系为轴建立三维直角坐标系；S2，对公开的数据集进行预处理，S3，构建卷积神经网络模型并且基于数据集训练网络模型；S31，构建球极坐标三维卷积神经网络模型，输出得到特定的特征空间；S32，基于数据集训练球极坐标三维卷积神经网络模型；S33，对卷积神经网络输出的角变量特征图做插值处理；S4，评估模型的性能；使用卷积神经网络提取三维医学影像中核磁共振影像的低维配准特征用于快速配准，与传统方法对比，减少了时间成本。

Description

基于球极坐标系深度神经网络的三维图像刚性匹配方法
技术领域
本发明涉及计算机技术和医学影像配准的交叉技术领域，尤其是涉及基于球极坐标系深度神经网络的三维图像刚性匹配方法。
背景技术
医学图像配准分为传统方法和深度学习方法。传统方法的主要思想是直接定义一个相似性指标，采用迭代优化方法寻找相似度最大点，确定参考图像和待配准图像之间的最优几何变换参数。目前基于传统方法的医学图像配准技术已经趋于完善，配准度高。但传统方法仍然存在一些问题，每一对待配准图像，都需按照特定的优化算法在形变空间搜索最优变换直至相似性度量函数收敛；该优化过程非常耗时且容易陷入局部极值，无法满足医学图像配准在实时性和精度方面的要求；而且传统方法不具有学习能力，每一对图像都需要进行重复的优化工作。
传统方法又分为刚性配准和非刚性配准，刚性配准主要解决的是图像整体移动的问题如平移，旋转等。基于深度学习的配准方法优点在于利用卷积神经网络的局部特征提取能力和学习能力，在图像数据中提取图像的高阶抽象特征，训练后的深度学习模型能够在极短的时间内完成图像对的配准任务。
深度学习模型源于对人工神经网络的研究，是机器学习的分支，是一种以人工神经网络为架构，对资料进行表征学习的算法。
本发明主要用的深度学习算法是卷积神经网络(CNN)，CNN是由卷积(convolution)，激活(activation)，池化(pooling)三种结构组成。卷积层是CNN算法中的核心部分，通过多个滤波器提取图像的局部信息，生成特征图(feature map)，卷积之后，通常会加入偏置(bias)，并引入非线性激活函数，增加模型的表达能力。池化层是一种降采样操作，主要目标是降低特征图(feature maps)的特征空间，因为特征图(feature maps)的参数太多，而图像细节不利于高层特征的抽取。CNN输出的结果是每幅图像的特定特征空间。
在CNN的发展历程中，在1998年LeNet最先被提出，它定义了CNN中的卷积层、池化层、全连接层的基本结构。接下来是在2002年AlexNet，这个网络模型中率先使用ReLu作为激活函数，并提出了Dropout来避免模型过拟合。之后在2014年被提出的VGG，通过反复堆叠3*3的卷积核和2*2的池化层来构筑了16-19层深的CNN。同年的GooleNet，通过引入了Inception结构，并将最后的全连接层全部替换为简单的全局平均池化层来改进模型。在2015年，ResNet被提出来，它在VGGNet和MSRANet的基础上进一步加深网络，并通过引入残差单元来解决网络过深引起的退化问题，此时神经网络的层数已经达到了数百层。
发明内容
为解决现有技术的不足，针对医学影响配准，实现降低计算量，减少数据配准时间，提升运行效率的目的，本发明采用如下的技术方案：
基于球极坐标系深度神经网络的三维图像刚性匹配方法，包括如下步骤：
S1，构建球极坐标三维图像，包括如下步骤：
S11，将医学影像的三维直角坐标系(x,y,z)转换到球极坐标系
Figure BDA0003179933900000021
Figure BDA0003179933900000022
Figure BDA0003179933900000023
Figure BDA0003179933900000024
S12，以球极坐标系中的г，
Figure BDA0003179933900000025
和θ为轴建立三维直角坐标系：
Figure BDA0003179933900000026
Figure BDA0003179933900000027
z＝гcosθ
其中г为像素点到原点的距离，
Figure BDA0003179933900000028
为方位角，是原点到极坐标点的连线，在xy平面的投影线与正x轴的夹角，θ为仰角，是极坐标点到原点的线段与z轴正方向的夹角；
S2，对公开的数据集进行预处理，包括如下步骤：
S21，数据增强，将原始数据集，使用基于torchvision框架中的数据扩增库，用增加
噪声、平移、旋转方法扩充数据集；
S22，数据清洗，在三维直角坐标系转换到球极坐标系后，填补缺失值，处理异常值；
S23，数据归一化，将像素值归一化到(0,1)之间，且将溢出值取边界值；
S24，在扩充后的数据中随机划分70％为训练集，30％为测试集；
S3，构建卷积神经网络模型并且基于数据集训练网络模型，包括如下步骤：
S31，构建球极坐标三维卷积神经网络模型，输出得到特定的特征空间，所述卷积神经网络模型，包括输入层、卷积层、降采样层，输入层输入г，
Figure BDA0003179933900000029
θ三个维度到卷积层，卷积层后的降采样层进行下采样，通过编码的方式，将r轴方向数据维度降低，得到
Figure BDA00031799339000000210
和θ的角变量特征图
Figure BDA00031799339000000211
和
Figure BDA00031799339000000212
对
Figure BDA00031799339000000213
和
Figure BDA00031799339000000214
采用损失函数计算loss，反向传
播计算梯度，使用自适应矩估计Adam优化器更新权重；
S32，基于数据集训练球极坐标三维卷积神经网络模型，将输入的数据分为正样本和负样本，正样本包含目标图像和已配准图像，负样本包含目标图像和未配准图像，得到两组角变量特征图分别为：正样本目标图像角变量特征图f1 +、正样本已配准图像角变量特征图f2 +，以及负样本目标图像角变量特征图f1 -、负样本未配准图像角变量特征图f2 -，利用卷积的特性，学习各组中两个图像的局部特征并且计算损失函数，通过不断的反向
传播计算梯度，调整权重，不断降低损失函数，直至模型收敛；
S33，对卷积神经网络输出的角变量特征图做插值处理，增加角变量特征图的清晰度。
S4，评估模型的性能，将一组图像输入球极坐标三维卷积神经网络模型，得到一组角变量特征图
Figure BDA0003179933900000031
和
Figure BDA0003179933900000032
通过旋转匹配计算得到旋转参数，比较旋转参数与已配准图像角变量特征图的旋转参数的相关性来评估模型，所述旋转匹配，是将
Figure BDA0003179933900000033
中的
Figure BDA0003179933900000034
和θ经过角度变换后可以得到与
Figure BDA0003179933900000035
近似或相等的值，即旋转匹配成功，变换公式如下：
Figure BDA0003179933900000036
其中p和q为旋转参数。
进一步地，所述S32中，损失函数是均方误差损失函数，对于正样本，计算得到特征图参数f1 +与真值f2 +的均方误差，对于负样本，计算得到的特征图参数f1 -与f2 -的均方误差，乘以符号为负的系数，将这两个损失函数综合相加成一个损失函数：
Loss＝∑∑(y+(fi +-fj +)2+y-(fi --fj -)2)/total_number
其中y+为符号为正的系数，y-为符号为负的系数，fi +、fj +、fi -、fj -分别为f1 +、f2 +、f1 -、f2 -中的值，total_number是样本的数量。
进一步地，所述S31中的卷积层，包括依次连接的三维卷积核卷积、批归一化和激活函数。
进一步地，所述S31中，采用三维的滑动窗口，并采用均值池化的方法，进行下采样。
进一步地，所述S31中，将r轴方向数据维度降低。
进一步地，所述S1中，在生成以г，
Figure BDA0003179933900000037
θ为三维直角坐标轴的三维图像时，在г小于等于第一长度阈值时，对应
Figure BDA0003179933900000038
θ的所有网格点的原始三维图像的体素点过少，无法形成在角度
Figure BDA0003179933900000039
θ上的密集网络，因此需要对形成的三维图像进行插值处理；在г大于等于第二长度阈值时，体素点过多，需要对形成的三维图像进行下采样平滑处理。
进一步地，所述插值处理时，采用线性、双线性或样条插值等方法；所述下采样平滑处理，采用均值滤波或自适应滤波等方法。
进一步地，所述S1中，在球极坐标系的表示中，г的单位是毫米，取值范围为[0,n]，其中n为最远体素点到中心点的距离，θ的取值范围为[0,2Π)和
Figure BDA00031799339000000310
的取值范围为[0,2Π)。
本发明的优势和有益效果在于：
本发明通过坐标系转换，获得三维笛卡尔坐标系体素数据的球极坐标表示，避免了使用多次仿射变换或者几何变换，仅仅将卷积神经网络预测出的低维角变量特征图，经过最邻近算法匹配，来获得旋转参数，极大的降低了计算量，在保持配准精度的情况下减少了时间成本。
附图说明
图1为本发明中的卷积神经网络训练阶段流程图。
图2为本发明中的卷积神经网络测试阶段流程图。
图3为本发明中的卷积神经网络流程图。
图4为本发明中的坐标系变换流程图。
图5为本发明中的三维笛卡尔坐标系变换为球极坐标系的第一展示图。
图6为本发明中的三维笛卡尔坐标系变换为球极坐标系的第二展示图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本发明，并不用于限制本发明。
本实施例采用的是公开的HCP数据，数据格式为nii.gz，其中包含着4D数据，其维度为(145，174，145，288)。数据维度分别是x、y、空间轴和三维volume的数量。本实施例将详细的描述如何构建球极坐标系并利用深度学习对医学图像刚性配准。数据集按7：3的比例划分未训练集和测试集。输入的数据分为正样本和负样本，正样本包含目标图像(fixedimage)和已配准图像(ground truth)，负样本包含未配准图像(moving image)和目标图像(fixed image)。实现样本数据由三维笛卡尔坐标系体素数据到极坐标表示后，输入到卷积神经网络模型中，输出得到
Figure BDA0003179933900000041
和θ的角变量特征图。目的是做目标图像和已配准图像的配准。其中已配准图像是经过基于fsl的eddy配准后的图像。Fsl的全称是FMRIB SoftwareLibrary，它是功能磁共振成像(FMRI)、核磁共振成像(MRI)和扩散张量成像(DTI)脑成像数据分析工具的综合库，eddy是基于fsl的一个项目，主要是处理涡流和主体运动导致的失真。FMRIB的全称是多学科神经影像研究设备(multi-disciplinary neuroimagingresearch facility)。未配准图像是没有经过eddy配准的图像。目标图像是原始的HCP数据中要去做配准的图像。
针对以上问题，本实施例使用一种基于3D CNN的模型，提取角变量特征图，用于快速旋转匹配，该方法的具体步骤如下。
步骤(a)，构建球极坐标三维图像；
步骤(b)，对公开的数据集进行预处理；
步骤(c)，构建卷积神经网络模型并且基于数据集训练网络模型；
步骤(d)，评估模型的性能。
进一步的，在上述方法中，步骤(a)包括：
(a1)医学影像数据的表示从三维笛卡尔坐标系体素数据到极坐标表示，首先计算出笛卡尔坐标系的中心点，以此点为中心进行笛卡尔坐标系转换，如图5所示，分为两次，第一次是将医学影像的三维直角坐标系(x，y，z)转换到球极坐标系(г，
Figure BDA0003179933900000051
θ)，第二次是以球极坐标系中的г，
Figure BDA0003179933900000052
和θ这三个为轴建立三维直角坐标系。其中г代表像素点到原点的距离，
Figure BDA0003179933900000053
为方位角，是原点到极坐标点的连线，在xy平面的投影线与正x轴的夹角，θ为仰角，是极坐标点到原点的线段与z轴正方向的夹角，结果如图5、6所示。
(a2)在仅有一次的坐标系转换中，三维直角坐标系和球极坐标系的对应关系如下：
直角坐标转球坐标：
Figure BDA0003179933900000054
Figure BDA0003179933900000055
Figure BDA0003179933900000056
球坐标转直角坐标：
Figure BDA0003179933900000057
Figure BDA0003179933900000058
z＝гcosθ
(a3)在生成以г，
Figure BDA0003179933900000059
θ为三维直角坐标轴的三维图像时，如图4所示，在г小于等于5时，对应
Figure BDA00031799339000000510
θ所有网格点的原始三维图像的体素点过少，无法形成在角度
Figure BDA00031799339000000511
θ上的密集网络，因此需要插值处理；在г大于等于80时，体素点过多，需要下采样平滑处理。
(a4)在球极坐标系的表示中，г的单位是毫米(mm)，取值范围为(0，n)，其中n为最远体素点到中心点的距离，θ的取值范围为(0，Π)和
Figure BDA00031799339000000512
的取值范围为(0，2Π)。
进一步的，在上述方法中，步骤(a3)包括：
插值处理时，选择双线性插值方法。在做下采样平滑处理时，选择均值滤波方法。
进一步的，在上述方法中，步骤(b)包括：
(b1)数据增强，将原始数据集用增加噪声、平移、旋转等方法扩充数据库。
(b2)数据清洗，在第一次坐标系转换后，填补缺失值，处理异常值。
(b3)数据归一化，将像素值归一化到(0，1)之间，且将溢出值取边界值。
(b4)在扩充后的数据中随机划分70％为训练集，30％为测试集。
进一步的，在上述方法中，步骤(b1)包括：
使用基于torchvision、keras或opencv等框架中的数据扩增库，用平移、旋转的方法，扩充正负样本的数量。
进一步的，在上述方法中，步骤(c)包括：
(c1)构建球极坐标三维卷积神经网络，输出得到特定的特征空间。
(c2)基于以上所述的数据集训练卷积神经网络模型。
(c3)对卷积神经网络输出的角变量特征图做插值处理。
进一步的，在上述方法中，步骤(c1)包括：
角变量特征图网络结构可以基于VGG-16、GooleNet、ResNet等构建而成，以基于VGG-16构建为例，网络的训练和测试阶段如图1、2所示。整个神经网络由一个输入层，七个卷积层，七个降采样层构建而成，输入层由大小为(275，60，60)，该三维输入的三个维度分别为г，
Figure BDA0003179933900000061
θ，在图3所示中。卷积层包含三个7*1*3的卷积核，之后是批归一化(BatchNormalization)和激活函数Leak ReLu。网络中可采用Dropout、early stop等方式解决过拟合问题。卷积层后的池化步骤，在г轴方向使用2*1*1的三维的滑动窗口并采用均值池化的方法，进行下采样，通过编码的方式，将г轴方向数据维度显著降低，在此实施例中维度降为1，详细的每层中的输入输出的大小如图3所示，该图只显示了整个流程的前两个卷积层和池化层。
进一步的，在上述方法中，步骤(c2)包括：
网络训练：输入的数据分为正样本和负样本，正样本包含目标图像(fixed image)和已配准图像(ground truth)，负样本包含目标图像(fixed image)和未配准图像(movingimage)。其中已配准图像是利用传统整幅3D图像的匹配算法如ANTs工具中的对称归一化算法(SyN)，根据经验定义的匹配损失函数如最小均方误差或最大信息熵得到的配准结果作为真值(ground truth)。实现样本数据由三维笛卡尔坐标系体素数据到球极坐标系表示后，输入到卷积神经网络模型中。
数据输入到卷积层中，应用7*1*3的三维卷积核卷积，得到的结果经过激活函数Leak ReLu后作为输入，在池化层(下采样层)中，用2*1*1的三维的滑动窗口进行下采样。循环七次经过七个卷积层、七个激活函数、七个池化层后，得到
Figure BDA0003179933900000062
和θ的角变量特征图
Figure BDA0003179933900000063
和
Figure BDA0003179933900000064
分别对应输入样本中的两个图像。对f1和f2选用均方误差(MSE)、或交叉熵等损失函数计算loss，反向传播计算梯度，使用自适应矩估计Adam优化器更新权重。
这个模型算法的训练原理是学习两幅相关图像局部特征的相关性，正样本和负样本通过将笛卡尔坐标系转换为球极坐标系，在经过3D CNN模型后，可以得到四个角变量特征图分别记为
Figure BDA0003179933900000065
和
Figure BDA0003179933900000066
利用卷积的特性，学习样本中两个图像的局部特征并且计算损失函数，对于正样本来说，目标函数就是计算得到的特征图参数与真值(ground truth)的均方误差(MSE)，对于负样本来说，计算得到的MSE需要乘以符号为负的系数，这里选择-1，将这两个损失函数综合相加成一个损失函数：
Loss＝∑∑(y+(fi +-fj +)2+y-(fi --fj -)2)/total_number
其中y+和y-分别为1和-1，
Figure BDA0003179933900000072
fj +，
Figure BDA0003179933900000073
fj -分别属于
Figure BDA0003179933900000074
中的值，total_number是样本总量。
通过不断的反向传播计算梯度，调整权重等，不断降低损失函数，当模型收敛时，损失函数减小到某个阈值区间并保持平稳。
进一步的，在上述方法中，步骤(c3)包括：
对卷积神经网络输出的结果使用双线性插值方法，增加角变量特征图的清晰度，使得(60，60)的分辨率变为(720，720)。
进一步的，在上述方法中，步骤(d)包括：
角变量特征图的快速匹配：如图2所示，将两幅3D图像经过神经网络输出并经过插值处理得到的各自的角变量特征图
Figure BDA0003179933900000071
再通过旋转匹配计算得到旋转参数，最终通过比较这两个旋转参数与Ground Truth的两个旋转参数的相关性来评估模型。
其中的旋转匹配，对于输出的两个角变量特征图f1和f2，如果f1中的φ和θ经过一定的角度变换后可以得到与f2近似或相等的值，即旋转匹配成功。φ和θ分别进行的两个变换的角度为两个旋转参数。公式如下所示：
F1(φ+p，θ+q)＝F2(φ，θ)
其中p和q为两个要计算的旋转参数。
综上所述，本发明通过坐标系转换，获得三维笛卡尔坐标系体素数据的球极坐标表示，利用卷积神经网络预测出的低维角变量特征图经过最近邻(k-NN)算法匹配来获得旋转参数，在保持配准精度的情况下减少了时间成本。
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.基于球极坐标系深度神经网络的三维图像刚性匹配方法，其特征在于包括如下步骤：
S1，构建球极坐标三维图像，包括如下步骤：
S11，将医学影像的三维直角坐标系(x,y,z)转换到球极坐标系(г,
Figure FDA0003179933890000011
θ)：
Figure FDA0003179933890000012
Figure FDA0003179933890000013
Figure FDA0003179933890000014
S12，以球极坐标系中的г，
Figure FDA0003179933890000015
和θ为轴建立三维直角坐标系：
Figure FDA0003179933890000016
Figure FDA0003179933890000017
z＝гcosθ
其中г为像素点到原点的距离，
Figure FDA0003179933890000018
为方位角，是原点到极坐标点的连线，在xy平面的投影线与正x轴的夹角，θ为仰角，是极坐标点到原点的线段与z轴正方向的夹角；
S3，构建卷积神经网络模型并且基于数据集训练网络模型，包括如下步骤：
S31，构建球极坐标三维卷积神经网络模型，输出得到特定的特征空间，所述卷积神经网络模型，包括输入层、卷积层、降采样层，输入层输入г，
Figure FDA0003179933890000019
θ三个维度到卷积层，卷积层后的降采样层进行下采样，通过编码的方式，将r轴方向数据维度降低，得到
Figure FDA00031799338900000110
和θ的角变量特征图
Figure FDA00031799338900000111
和
Figure FDA00031799338900000112
对
Figure FDA00031799338900000113
和
Figure FDA00031799338900000114
采用损失函数计算loss，反向传播计算梯度，更新权重；
S32，基于数据集训练球极坐标三维卷积神经网络模型，将输入的数据分为正样本和负样本，正样本包含目标图像和已配准图像，负样本包含目标图像和未配准图像，得到两组角变量特征图分别为：正样本目标图像角变量特征图f1 +、正样本已配准图像角变量特征图f2 +，以及负样本目标图像角变量特征图f1 -、负样本未配准图像角变量特征图f2 -，通过不断的反向传播计算梯度，调整权重，不断降低损失函数，直至模型收敛；
S33，对卷积神经网络输出的角变量特征图做插值处理。
2.根据权利要求1所述的基于球极坐标系深度神经网络的三维图像刚性匹配方法，其特征在于还包括S4，评估模型的性能，将一组图像输入球极坐标三维卷积神经网络模型，得到一组角变量特征图
Figure FDA00031799338900000115
和
Figure FDA00031799338900000116
通过旋转匹配计算得到旋转参数，比较旋转参数与已配准图像角变量特征图的旋转参数的相关性来评估模型，所述旋转匹配，是将
Figure FDA00031799338900000117
中的
Figure FDA00031799338900000118
和θ经过角度变换后可以得到与
Figure FDA00031799338900000119
近似或相等的值，即旋转匹配成功，变换公式如下：
Figure FDA0003179933890000021
其中p和q为旋转参数。
3.根据权利要求1所述的基于球极坐标系深度神经网络的三维图像刚性匹配方法，其特征在于所述S32中，损失函数是均方误差损失函数，对于正样本，计算得到特征图参数f1 +与真值f2 +的均方误差，对于负样本，计算得到的特征图参数f1 -与f2 -的均方误差，乘以符号为负的系数，将这两个损失函数综合相加成一个损失函数：
Loss＝∑∑(y+(fi +-fj +)2+y-(fi --fj -)2)/total_number
其中y+为符号为正的系数，y-为符号为负的系数，fi +、fj +、fi -、fj -分别为f1 +、f2 +、f1 -、f2 -中的值，total_number是样本的数量。
4.根据权利要求1所述的基于球极坐标系深度神经网络的三维图像刚性匹配方法，其特征在于所述S31中的卷积层，包括依次连接的三维卷积核卷积、批归一化和激活函数。
5.根据权利要求1所述的基于球极坐标系深度神经网络的三维图像刚性匹配方法，其特征在于所述S31中，采用三维的滑动窗口，并采用均值池化的方法，进行下采样。
6.根据权利要求1所述的基于球极坐标系深度神经网络的三维图像刚性匹配方法，其特征在于所述S31中，将r轴方向数据维度降低。
7.根据权利要求1所述的基于球极坐标系深度神经网络的三维图像刚性匹配方法，其特征在于所述S1中，在生成以г，
Figure FDA0003179933890000022
θ为三维直角坐标轴的三维图像时，在г小于等于第一长度阈值时，对形成的三维图像进行插值处理；在г大于等于第二长度阈值时，对形成的三维图像进行下采样平滑处理。
8.根据权利要求7所述的基于球极坐标系深度神经网络的三维图像刚性匹配方法，其特征在于所述插值处理时，采用线性、双线性和/或样条插值方法；所述下采样平滑处理，采用均值滤波和/或自适应滤波方法。
9.根据权利要求1所述的基于球极坐标系深度神经网络的三维图像刚性匹配方法，其特征在于所述S1中，在球极坐标系的表示中，г的单位是毫米，取值范围为[0,n]，其中n为最远体素点到中心点的距离，θ的取值范围为[0,2Π)和
Figure FDA0003179933890000023
的取值范围为[0,2Π)。
10.根据权利要求1所述的基于球极坐标系深度神经网络的三维图像刚性匹配方法，其特征在于还包括S2，对公开的数据集进行预处理，包括如下步骤：
S21，数据增强，将原始数据集，用增加噪声、平移、旋转方法扩充数据集；
S22，数据清洗，在三维直角坐标系转换到球极坐标系后，填补缺失值，处理异常值；
S23，数据归一化，将像素值归一化到(0,1)之间，且将溢出值取边界值；
S24，在扩充后的数据中随机划分70％为训练集，30％为测试集。
CN202110844296.5A 2021-07-26 2021-07-26 基于球极坐标系深度神经网络的三维图像刚性匹配方法 Active CN113643336B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110844296.5A CN113643336B (zh) 2021-07-26 2021-07-26 基于球极坐标系深度神经网络的三维图像刚性匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110844296.5A CN113643336B (zh) 2021-07-26 2021-07-26 基于球极坐标系深度神经网络的三维图像刚性匹配方法

Publications (2)

Publication Number Publication Date
CN113643336A true CN113643336A (zh) 2021-11-12
CN113643336B CN113643336B (zh) 2024-03-15

Family

ID=78418373

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110844296.5A Active CN113643336B (zh) 2021-07-26 2021-07-26 基于球极坐标系深度神经网络的三维图像刚性匹配方法

Country Status (1)

Country Link
CN (1) CN113643336B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511932A (zh) * 2022-09-29 2022-12-23 北京银河方圆科技有限公司 基于医学影像图像的配准方法、可读存储介质及电子设备
CN115994942A (zh) * 2023-03-23 2023-04-21 武汉大势智慧科技有限公司 三维模型的对称提取方法、装置、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092859A (zh) * 2017-03-14 2017-08-25 佛山科学技术学院 一种三维模型的深度特征提取方法
CN108717568A (zh) * 2018-05-16 2018-10-30 陕西师范大学 一种基于三维卷积神经网络的图像特征提取与训练方法
WO2020224123A1 (zh) * 2019-06-24 2020-11-12 浙江大学 一种基于深度学习的致痫灶三维自动定位系统
CN112614226A (zh) * 2020-12-07 2021-04-06 深兰人工智能(深圳)有限公司 点云多视角特征融合方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107092859A (zh) * 2017-03-14 2017-08-25 佛山科学技术学院 一种三维模型的深度特征提取方法
CN108717568A (zh) * 2018-05-16 2018-10-30 陕西师范大学 一种基于三维卷积神经网络的图像特征提取与训练方法
WO2020224123A1 (zh) * 2019-06-24 2020-11-12 浙江大学 一种基于深度学习的致痫灶三维自动定位系统
CN112614226A (zh) * 2020-12-07 2021-04-06 深兰人工智能(深圳)有限公司 点云多视角特征融合方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
白洁;张金松;刘倩宇;: "基于卷积网络特征迁移的小样本物体图像识别", 计算机仿真, no. 05, 15 May 2020 (2020-05-15) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115511932A (zh) * 2022-09-29 2022-12-23 北京银河方圆科技有限公司 基于医学影像图像的配准方法、可读存储介质及电子设备
CN115511932B (zh) * 2022-09-29 2024-02-13 北京银河方圆科技有限公司 基于医学影像图像的配准方法、可读存储介质及电子设备
CN115994942A (zh) * 2023-03-23 2023-04-21 武汉大势智慧科技有限公司 三维模型的对称提取方法、装置、设备及存储介质
CN115994942B (zh) * 2023-03-23 2023-06-27 武汉大势智慧科技有限公司 三维模型的对称提取方法、装置、设备及存储介质

Also Published As

Publication number Publication date
CN113643336B (zh) 2024-03-15

Similar Documents

Publication Publication Date Title
CN111754403B (zh) 一种基于残差学习的图像超分辨率重构方法
CN107610194B (zh) 基于多尺度融合cnn的磁共振图像超分辨率重建方法
CN108665491B (zh) 一种基于局部参考点的快速点云配准方法
CN113436211B (zh) 一种基于深度学习的医学图像活动轮廓分割方法
CN112634149B (zh) 一种基于图卷积网络的点云去噪方法
CN113643336B (zh) 基于球极坐标系深度神经网络的三维图像刚性匹配方法
CN111626927B (zh) 采用视差约束的双目图像超分辨率方法、系统及装置
CN111968138A (zh) 基于3d动态边缘不敏感性损失函数的医学图像分割方法
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN114091628B (zh) 基于双分支网络的三维点云上采样方法及系统
CN112967210B (zh) 一种基于全卷积孪生网络的无人机图像去噪方法
CN111861886B (zh) 一种基于多尺度反馈网络的图像超分辨率重建方法
CN112561807B (zh) 一种基于卷积神经网络的端到端径向畸变校正方法
CN114119689A (zh) 基于深度学习的多模态医学图像无监督配准方法及系统
CN113486963A (zh) 一种密度自适应的点云端到端采样方法
CN111461976A (zh) 基于高效轻量级坐标神经网络的图像超分辨率方法
CN112581626B (zh) 一种基于非参数化和多注意力机制的复杂曲面测量系统
CN114005046A (zh) 基于Gabor滤波器和协方差池化的遥感场景分类方法
CN111724423B (zh) 基于流体散度损失的微分同胚的非刚体配准方法
CN117541632A (zh) 一种基于特征增强及多尺度相关的多模态图像配准方法
CN116883467A (zh) 一种医学图像的非刚性配准方法
CN111696167A (zh) 自范例学习引导的单张影像超分辨率重构方法
Zhou et al. Unsupervised deformable medical image registration via pyramidal residual deformation fields estimation
CN116486273A (zh) 一种小样本遥感图像水体信息提取方法
CN112991257B (zh) 基于半监督孪生网络的异质遥感图像变化快速检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant