CN112598649B - 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 - Google Patents

基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 Download PDF

Info

Publication number
CN112598649B
CN112598649B CN202011551523.7A CN202011551523A CN112598649B CN 112598649 B CN112598649 B CN 112598649B CN 202011551523 A CN202011551523 A CN 202011551523A CN 112598649 B CN112598649 B CN 112598649B
Authority
CN
China
Prior art keywords
layer
image
representing
parameter
registration
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011551523.7A
Other languages
English (en)
Other versions
CN112598649A (zh
Inventor
杨波
颜立祥
郑文锋
刘珊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202011551523.7A priority Critical patent/CN112598649B/zh
Publication of CN112598649A publication Critical patent/CN112598649A/zh
Application granted granted Critical
Publication of CN112598649B publication Critical patent/CN112598649B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Optimization (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Molecular Biology (AREA)
  • Pure & Applied Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Algebra (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成对抗网络的2D/3D脊椎CT非刚性配准方法，先下载2D/3D图像，用于训练搭建的生成对抗网络，然后在训练过程中，通过生成对抗网络来训练一个能保证符合人体关节约束的相对形变参数，并通过迭代优化来求最优配准形变参数，最后将术前待配准3D图像经过最优配准形变参数后得到的3D图像作为最终的配准结果，进而实现配准过程。

Description

基于生成对抗网络的2D/3D脊椎CT非刚性配准方法
技术领域
本发明属于图像处理技术领域，更为具体地讲，涉及一种基于生成对抗网络的2D/3D脊椎CT非刚性配准方法。
背景技术
影像导航手术的关键是2D/3D图像配准技术，它是将来自不同成像设备、成像时间以及成像目标的多幅图像经过一定的空间变换后，处于同一参考系下达到同一解剖结构的图像像素对应匹配的目的，实现精确跟踪与校正手术器械与病人病灶间的相对位置关系完成影像导航手术，手术的关键就在于准确的建立术前3D图像和术中2D图像之间的空间位置关系，即配准术前3D图像和术中2D图像。
目前采用深度学习进行医学图像配准的方法大致有：深度迭代学习，监督学习和无监督学习。
深度迭代学习的基本配准思想还是传统的，只是在传统方法中嵌入了神经网络用来提取特征，或者学习相似性测度等，与其他两种方法的最直观的区别在于这种方法每配准一对图像都要迭代优化去寻找最优解，深度迭代学习的一大缺点就是速度很慢，无法满足实时配准的需求。
监督学习直接通过一个神经网络来回归变换参数(可以是变换矩阵的参数，也可以是一个形变场)，相应的标签就是真实的变换参数，可以通过手工配准得到，也可以通过其他配准方法得到，此方法的弊端主要在于标签不易获取。
最后，相较于监督学习，基于无监督学习的配准方法就是在训练学习网络时，只需要提供配准对，不需要标签，因此该方法在训练与测试阶段，均不依靠传统的配准方法。
发明内容
本发明的目的在于克服现有技术的不足，提供一种基于生成对抗网络的2D/3D脊椎CT非刚性配准方法，通过生成式对抗网络来训练一个能保证符合人体关节约束的相对形变参数，再通过迭代优化来求最优参数，进而实现配准。
为实现上述发明目的，本发明一种基于生成对抗网络的2D/3D脊椎CT非刚性配准方法，其特征在于，包括以下步骤：
(1)、获取2D和3D医学图像
获取X射线图像作为配准过程的术中2D参考图像，获取医学3D CT序列作为训练过程的术前3D图像序列；
(2)、搭建生成对抗网络
生成对抗网络包括生成器G和判别器D；
所述生成器G由全连接层网络构成，用于输出相对的形变参数；
生成器G采用3层全连接层结构，具体为：第一层为第一层全连接层，包含12个节点；第二层为第二层全连接层，包含24个节点；第三层为第三层全连接层，包含12个节点；
所述判别器D由卷积神经网络组合而成，输出二分类结果；
卷积神经网络的具体结构为：
第一层为第一卷积层，卷积核大小为3*3*3，输出通道数32，填充方式为same，步长2，输出分辨率为32*32*32；
第二层为第二卷积层，卷积核大小为3*3*3，输出通道数64，填充方式为same，步长2，输出分辨率为16*16*16；
第三层为第三卷积层，卷积核大小为3*3*3，输出通道数128，填充方式为same，步长2，输出分辨率为8*8*8；
第四层为第四卷积层，卷积核大小为3*3*3，输出通道数256，填充方式为same，步长2，输出分辨率为4*4*4；
第五层是全连接层，输出为一个0或1，其中，0代表假，1代表真，激活函数采用sigmoid；
(3)、训练生成对抗网络
(3.1)、将随机噪声Z输入至生成器G，输出一个相对形变参数，然后将术前3D图像序列经过相对形变参数的变形，产生形变后的3D图像序列，将其作为负样本序列，将术前3D图像序列作为正样本序列；
(3.2)、将每一组正、负样本一起输入判别器D，通过判别器D判别每个正、负样本中各个关节之间的形变是否符合人体椎骨关节间的约束，如果满足约束，则输出样本标签值1，如果不满足约束，则输出样本标签值0，完成正、负样本的二分类判别；
(3.3)、计算二分类交叉熵LBCE；
Figure BDA0002857200840000031
其中，yi表示样本i的标签值，Pi表示样本i输出样本标签值为1的概率；
(3.4)、经过多轮训练后，判断二分类交叉熵LBCE是否小于预设阈值，如果小于，则训练结束，得到训练完成的生成对抗网络；否则，继续输入下一组正、负样本，进行下一轮的训练，直至二分类交叉熵LBCE小于预设阈值；
(4)、2D/3D配准
(4.1)、生成配准形变参数；
将随机噪声Z0输入至训练完成的生成对抗网络，通过生成器G生成的相对形变参数T0＝(px,py,pz,qx,qy,qz)，其中，px表示相对刚体在X轴上的平移参数，py表示在Y轴上的平移参数，pz表示在Z轴上的平移参数，qx表示沿X轴的旋转参数，qy表示沿Y轴的旋转参数，qz表示沿Z轴的旋转参数；
根据经验值设置绝对刚体变换参数初始值R0＝(tx,ty,tz,rx,ry,rz)，其中，tx表示绝对刚体在X轴上的平移参数，ty表示在Y轴上的平移参数，tz表示在Z轴上的平移参数，rx表示沿X轴的旋转参数，ry表示沿Y轴的旋转参数，rz表示沿Z轴的旋转参数；
将形变参数T0＝(px,py,pz,qx,qy,qz)与刚体变换参数R0＝(tx,ty,tz,rx,ry,rz)共同构成2D/3D配准的形变参数T＝{T0,R0}；
(4.2)、利用配准形变参数对术前待配准3D图像进行形变处理，得到形变后的3D图像，然后再通过X射线成像计算模型进行投影，从而生成2D的DRR图像；
(4.3)、将2D的DRR图像作为浮动图像，然后计算浮动图像与术中2D参考图像之间对应像素点的像素差值平方的和，并作为损失值；
(4.4)、判断损失值是否小于预设阈值，如果小于，则迭代停止，得到最优配准形变参数，然后进入步骤(5)；否则，重复步骤(4.1)～(4.3)，并利用梯度下降算法迭代优化求解，找出一组最优配准形变参数T＝{T0,R0}，然后再进入步骤(5)；
(5)、输出术前待配准3D图像经过最优配准形变参数后得到的3D图像，并作为最终的配准结果。
本发明的发明目的是这样实现的：
本发明基于生成对抗网络的2D/3D脊椎CT非刚性配准方法，先下载2D/3D图像，用于训练搭建的生成对抗网络，然后在训练过程中，通过生成对抗网络来训练一个能保证符合人体关节约束的相对形变参数，并通过迭代优化来求最优配准形变参数，最后将术前待配准3D图像经过最优配准形变参数后得到的3D图像作为最终的配准结果，进而实现配准过程。
同时，本发明基于生成对抗网络的2D/3D脊椎CT非刚性配准方法还具有以下有益效果：
(1)、本发明采用生成对抗学习来训练一个生成器，且能保证其输出是符合关节约束的形变参数，这种方法得到的12维形变参数可以不用难以具体表示的数学关系式来反应关节之间的形变和约束；
(2)、本发明采用GAN网络来生成形变参数，模拟真实形变，与基于卷积神经网络输出的形变参数不同，后者是未知形变参数而直接回归形变参数，而本发明的是假设已知符合约束的形变参数而对形变参数进行迭代优化；
(3)、配准的常规方法是刚性配准，计算6个刚体形变参数，本发明除计算6个刚性参数外，还用生成对抗网络训练非刚性的关节间相对形变参数，使得多块椎骨之间既包含刚体形变参数，也包含非刚性形变参数。
附图说明
图1是本发明基于生成对抗网络的2D/3D脊椎CT非刚性配准方法流程图；
图2是生成式对抗训练流程图；
图3是迭代配准流程图；
图4是X射线成像计算模型。
具体实施方式
下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。
实施例
为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：
GAN(Generative Adversarial Networks)：生成式对抗网络；
GPU(Graphics Processing Unit)：图形处理器；
DRR(Digitally reconstructed radiographs)：数字重建放射影像；
BCE(Binary Cross Entropy)：二分类交叉熵.
图1是本发明基于生成对抗网络的2D/3D脊椎CT非刚性配准方法流程图。
在本实施例中，如图1所示，本发明一种基于生成对抗网络的2D/3D脊椎CT非刚性配准方法，包括以下步骤：
S1、获取2D和3D医学图像
获取X射线图像作为配准过程的术中2D参考图像，获取医学3D CT序列作为训练过程的术前3D图像序列；
S2、搭建生成对抗网络
生成对抗网络包括生成器G和判别器D；
所述生成器G由全连接层网络构成，用于输出相对的形变参数；
生成器G采用3层全连接层结构，具体为：第一层为第一层全连接层，包含12个节点；第二层为第二层全连接层，包含24个节点；第三层为第三层全连接层，包含12个节点；
所述判别器D由卷积神经网络组合而成，输出二分类结果；
卷积神经网络的具体结构为：
第一层为第一卷积层，卷积核大小为3*3*3，输出通道数32，填充方式为same，步长2，输出分辨率为32*32*32；
第二层为第二卷积层，卷积核大小为3*3*3，输出通道数64，填充方式为same，步长2，输出分辨率为16*16*16；
第三层为第三卷积层，卷积核大小为3*3*3，输出通道数128，填充方式为same，步长2，输出分辨率为8*8*8；
第四层为第四卷积层，卷积核大小为3*3*3，输出通道数256，填充方式为same，步长2，输出分辨率为4*4*4；
第五层是全连接层，输出为一个0或1，其中，0代表假，1代表真，激活函数采用sigmoid；
S3、训练生成对抗网络；
S3.1、如图2所示，将随机噪声Z输入至生成器G，输出一个相对形变参数，然后将术前3D图像序列经过相对形变参数的变形，产生形变后的3D图像序列，将其作为负样本序列，将术前3D图像序列作为正样本序列；
S3.2、将每一组正、负样本一起输入判别器D，通过判别器D判别每个正、负样本中各个关节之间的形变是否符合人体椎骨关节间的约束，如果满足约束，则输出样本标签值1，如果不满足约束，则输出样本标签值0，完成正、负样本的二分类判别；
S3.3、计算二分类交叉熵LBCE；
Figure BDA0002857200840000061
其中，yi表示样本i的标签值，Pi表示样本i输出样本标签值为1的概率；
S3.4、经过多轮训练后，判断二分类交叉熵LBCE是否小于预设阈值，如果小于，则训练结束，得到训练完成的生成对抗网络；否则，继续输入下一组正、负样本，进行下一轮的训练，直至二分类交叉熵LBCE小于预设阈值；
S4、2D/3D图像配准；
S4.1、生成配准形变参数；
如图3所示，将随机噪声Z0输入至训练完成的生成对抗网络，通过生成器G生成的相对形变参数T0＝(px,py,pz,qx,qy,qz)，其中，px表示相对刚体在X轴上的平移参数，py表示在Y轴上的平移参数，pz表示在Z轴上的平移参数，qx表示沿X轴的旋转参数，qy表示沿Y轴的旋转参数，qz表示沿Z轴的旋转参数；
根据经验值设置绝对刚体变换参数初始值R0＝(tx,ty,tz,rx,ry,rz)，其中，tx表示绝对刚体在X轴上的平移参数，ty表示在Y轴上的平移参数，tz表示在Z轴上的平移参数，rx表示沿X轴的旋转参数，ry表示沿Y轴的旋转参数，rz表示沿Z轴的旋转参数；
将相对形变参数T0＝(px,py,pz,qx,qy,qz)与绝对刚体变换参数R0＝(tx,ty,tz,rx,ry,rz)，共同构成2D/3D配准的形变参数T＝{T0,R0}；
S4.2、利用配准形变参数对术前待配准3D图像进行形变处理，得到形变后的3D图像，然后再通过X射线成像计算模型进行投影，从而生成2D的DRR图像；
在本实施例中，绝对刚体变换绕X轴、Y轴、Z轴的旋转矩阵可分别用以下公式表示：
Figure BDA0002857200840000072
Figure BDA0002857200840000073
Figure BDA0002857200840000074
平移矩阵表示为：Tl(tx,ty,tz)T；
若图像先依次绕X轴、Y轴、Z轴旋转，最后进行平移，则刚体变换前后的像素坐标可表示为：
Figure BDA0002857200840000075
其中，(x,y,z)T表示浮动图像中某一像素点的空间坐标，
Figure BDA0002857200840000076
表示该像素点经过刚体变换后的空间坐标；
相对形变是基于一块刚体所做的形变，例如两块椎骨，以其中一块为主，相对形变参数是对第二块进行基于第一块位置的相对变换，相对刚体的变换矩阵与上述公式类似，在此不再赘述。
在本实施例中，如图4所示，X射线成像计算模型可以采用基于GPU的Ray-Casting算法实现，模型具体为：
Figure BDA0002857200840000081
其中，I表示X射线经过衰减后的能量，可归一化为DRR图像相应点的像素值，I0表示X射线初始能量，μi表示第i个体素组织的线性衰减系数，di表示射线在第i个体素组织中经过的距离；
S4.3、将2D的DRR图像作为浮动图像，然后计算浮动图像与术中2D参考图像之间对应像素点的像素差值平方的和，并作为损失值；
S4.4、判断损失值是否小于预设阈值，如果小于，则迭代停止，得到最优配准形变参数，然后进入步骤S5；否则，重复步骤S4.1～S4.3，并利用梯度下降算法迭代优化求解，找出一组最优配准形变参数T＝{T0,R0}，然后再进入步骤S5；
S5、输出术前待配准3D图像经过最优配准形变参数后得到的3D图像，并作为最终的配准结果。
尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (1)

1.一种基于生成对抗网络的2D/3D脊椎CT非刚性配准方法，其特征在于，包括以下步骤：
(1)、获取2D和3D医学图像
获取X射线图像作为配准过程的术中2D参考图像，获取医学3D CT序列作为训练过程的术前3D图像序列；
(2)、搭建生成对抗网络
生成对抗网络包括生成器G和判别器D；
所述生成器G由全连接层网络构成，用于输出相对的形变参数；
生成器G采用3层全连接层结构，具体为：第一层为第一层全连接层，包含12个节点；第二层为第二层全连接层，包含24个节点；第三层为第三层全连接层，包含12个节点；
所述判别器D由卷积神经网络组合而成，输出二分类结果；
卷积神经网络的具体结构为：
第一层为第一卷积层，卷积核大小为3*3*3，输出通道数32，填充方式为same，步长2，输出分辨率为32*32*32；
第二层为第二卷积层，卷积核大小为3*3*3，输出通道数64，填充方式为same，步长2，输出分辨率为16*16*16；
第三层为第三卷积层，卷积核大小为3*3*3，输出通道数128，填充方式为same，步长2，输出分辨率为8*8*8；
第四层为第四卷积层，卷积核大小为3*3*3，输出通道数256，填充方式为same，步长2，输出分辨率为4*4*4；
第五层是全连接层，输出为一个0或1，其中，0代表假，1代表真，激活函数采用sigmoid；
(3)、训练生成对抗网络
(3.1)、将随机噪声Z输入至生成器G，输出一个相对形变参数，然后将术前3D图像序列经过相对形变参数的变形，产生形变后的3D图像序列，将其作为负样本序列，将术前3D图像序列作为正样本序列；
(3.2)、将每一组正、负样本一起输入判别器D，通过判别器D判别每个正、负样本中各个关节之间的形变是否符合人体椎骨关节间的约束，如果满足约束，则输出样本标签值1，如果不满足约束，则输出样本标签值0，完成正、负样本的二分类判别；
(3.3)、计算二分类交叉熵LBCE；
Figure FDA0002857200830000021
其中，yi表示样本i的标签值，Pi表示样本i输出样本标签值为1的概率；
(3.4)、经过多轮训练后，判断二分类交叉熵LBCE是否小于预设阈值，如果小于，则训练结束，得到训练完成的生成对抗网络；否则，继续输入下一组正、负样本，进行下一轮的训练，直至二分类交叉熵LBCE小于预设阈值；
(4)、2D/3D配准
(4.1)、生成配准形变参数；
将随机噪声Z0输入至训练完成的生成对抗网络，通过生成器G生成的相对形变参数T0＝(px,py,pz,qx,qy,qz)，其中，px表示相对刚体在X轴上的平移参数，py表示在Y轴上的平移参数，pz表示在Z轴上的平移参数，qx表示沿X轴的旋转参数，qy表示沿Y轴的旋转参数，qz表示沿Z轴的旋转参数；
根据经验值设置绝对刚体变换参数初始值R0＝(tx,ty,tz,rx,ry,rz)，其中，tx表示绝对刚体在X轴上的平移参数，ty表示在Y轴上的平移参数，tz表示在Z轴上的平移参数，rx表示沿X轴的旋转参数，ry表示沿Y轴的旋转参数，rz表示沿Z轴的旋转参数；
将形变参数T0＝(px,py,pz,qx,qy,qz)与刚体变换参数R0＝(tx,ty,tz,rx,ry,rz)共同构成2D/3D配准的形变参数T＝{T0,R0}；
(4.2)、利用配准形变参数对术前待配准3D图像进行形变处理，得到形变后的3D图像，然后再通过X射线成像计算模型进行投影，从而生成2D的DRR图像；
(4.3)、将2D的DRR图像作为浮动图像，然后计算浮动图像与术中2D参考图像之间对应像素点的像素差值平方的和，并作为损失值；
(4.4)、判断损失值是否小于预设阈值，如果小于，则迭代停止，得到最优配准形变参数，然后进入步骤(5)；否则，重复步骤(4.1)～(4.3)，并利用梯度下降算法迭代优化求解，找出一组最优配准形变参数T＝{T0,R0}，然后再进入步骤(5)；
(5)、输出术前待配准3D图像经过最优配准形变参数后得到的3D图像，并作为最终的配准结果。
CN202011551523.7A 2020-12-24 2020-12-24 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法 Active CN112598649B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011551523.7A CN112598649B (zh) 2020-12-24 2020-12-24 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011551523.7A CN112598649B (zh) 2020-12-24 2020-12-24 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法

Publications (2)

Publication Number Publication Date
CN112598649A CN112598649A (zh) 2021-04-02
CN112598649B true CN112598649B (zh) 2022-04-19

Family

ID=75201916

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011551523.7A Active CN112598649B (zh) 2020-12-24 2020-12-24 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法

Country Status (1)

Country Link
CN (1) CN112598649B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113112534B (zh) * 2021-04-20 2022-10-18 安徽大学 一种基于迭代式自监督的三维生物医学图像配准方法
CN113538533B (zh) * 2021-06-22 2023-04-18 南方医科大学 一种脊柱配准方法、装置、设备及计算机存储介质
CN113610825B (zh) * 2021-08-13 2022-03-29 推想医疗科技股份有限公司 术中影像的肋骨识别方法及系统
CN117237426B (zh) * 2023-09-18 2024-03-22 北京大学第三医院（北京大学第三临床医学院） 一种基于腰椎双斜位x光片的椎骨配准方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN111080681A (zh) * 2019-12-16 2020-04-28 电子科技大学 一种基于LoG算子的3D/2D医学图像配准方法
CN111091624A (zh) * 2019-12-19 2020-05-01 南京大学 一种从单张图片生成高精度可驱动人脸三维模型的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101664159B1 (ko) * 2011-11-11 2016-10-12 한국전자통신연구원 병변 특성 계산 장치 및 그 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110021037A (zh) * 2019-04-17 2019-07-16 南昌航空大学 一种基于生成对抗网络的图像非刚性配准方法及系统
CN111080681A (zh) * 2019-12-16 2020-04-28 电子科技大学 一种基于LoG算子的3D/2D医学图像配准方法
CN111091624A (zh) * 2019-12-19 2020-05-01 南京大学 一种从单张图片生成高精度可驱动人脸三维模型的方法

Also Published As

Publication number Publication date
CN112598649A (zh) 2021-04-02

Similar Documents

Publication Publication Date Title
CN112598649B (zh) 基于生成对抗网络的2d/3d脊椎ct非刚性配准方法
EP3525171B1 (en) Method and system for 3d reconstruction of x-ray ct volume and segmentation mask from a few x-ray radiographs
CN110009669B (zh) 一种基于深度强化学习的3d/2d医学图像配准方法
US20190057521A1 (en) Topogram Prediction from Surface Data in Medical Imaging
CN108921851B (zh) 一种基于3d对抗网络的医学ct图像分割方法
CN112614169B (zh) 基于深度学习网络的2d/3d脊椎ct层级配准方法
JP2019114262A (ja) 医用画像処理装置、医用画像処理プログラム、学習装置及び学習プログラム
CN113554742B (zh) 一种三维图像的重建方法、装置、设备及存储介质
CN112634283A (zh) 使用小样本图像训练的髋关节分割模型建立方法及其应用
CN112785609B (zh) 一种基于深度学习的cbct牙齿分割方法
CN111739614A (zh) 医学图像增强
CN114792326A (zh) 一种基于结构光的手术导航点云分割与配准方法
CN112488971A (zh) 基于空间注意力机制和深度卷积生成对抗网络的医学图像融合方法
Poonkodi et al. 3d-medtrancsgan: 3d medical image transformation using csgan
CN117392312A (zh) 基于可变形神经辐射场的单目内窥镜新视角图像生成方法
Danilov et al. Boosting segmentation accuracy of the deep learning models based on the synthetic data generation
CN116363248A (zh) 单平面X-Ray影像合成CT影像的方法、系统、设备和介质
Oulbacha et al. MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms
CN113657420A (zh) 身体表示
CN112330603A (zh) 基于软组织表面形变估计组织内部目标运动的系统与方法
CN112561972B (zh) 医学图像配准方法
Alam et al. Generalizable cone beam ct esophagus segmentation using in silico data augmentation
CN115035121B (zh) 一种基于vr的x光肺图像的模拟生成系统
WO2023276810A1 (ja) 疾患ラベル作成装置、方法及びプログラム並びに学習装置及び疾患検出モデル
WO2023131061A1 (en) Systems and methods for positron emission computed tomography image reconstruction

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant