CN112435341A - 三维重建网络的训练方法及装置、三维重建方法及装置 - Google Patents

三维重建网络的训练方法及装置、三维重建方法及装置 Download PDF

Info

Publication number
CN112435341A
CN112435341A CN202011321648.0A CN202011321648A CN112435341A CN 112435341 A CN112435341 A CN 112435341A CN 202011321648 A CN202011321648 A CN 202011321648A CN 112435341 A CN112435341 A CN 112435341A
Authority
CN
China
Prior art keywords
dimensional
medical image
network
segmentation
dimensional reconstruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011321648.0A
Other languages
English (en)
Other versions
CN112435341B (zh
Inventor
尹思源
李玉才
余航
张欢
王瑜
王少康
陈宽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Infervision Medical Technology Co Ltd
Original Assignee
Infervision Medical Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Infervision Medical Technology Co Ltd filed Critical Infervision Medical Technology Co Ltd
Priority to CN202011321648.0A priority Critical patent/CN112435341B/zh
Publication of CN112435341A publication Critical patent/CN112435341A/zh
Application granted granted Critical
Publication of CN112435341B publication Critical patent/CN112435341B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明提供了一种三维重建网络的训练方法及装置、三维重建方法及装置。三维重建网络的训练方法包括：获取三维医学图像样本对应的二维医学图像样本；将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像；基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络进行训练，能够可以使训练得到的三维重建网络为医生提供更丰富、更直观的三维信息，帮助医生诊断更精确，减少医生的漏诊、误诊，提高医生的工作效率。

Description

三维重建网络的训练方法及装置、三维重建方法及装置
技术领域
本发明涉及三维重建技术领域，具体涉及一种三维重建网络的训练方法及装置、三维重建方法及装置。
背景技术
三维重建是指通过二维图像获得人体器官全方位的三维图像，可为医生提供病变位置、空间结构及形态、容积等信息，为制定手术方案、术后个体化重建及术后效果评估等提供帮助，也有助于提高手术的准确率和安全性。
例如，影像科医生在查看二维DR肋骨图像的时候，由于存在身体组织叠加的问题，导致看起来并不是很直观，对于细小的病灶(例如骨折、骨裂等)，不一定能看清，易发生漏诊；若想看到三维的效果，需要病人重新拍一次三维CT图像才行，费时费力。如果可以直接从二维DR图像数据上重建出三维肋骨数据，则可以节省比较多的时间和精力，同时也可以方便医生诊断，减少漏诊、误诊的风险。
但是，目前重建后的三维图像中，各个身体组织结构的区分依然依赖于医生的临床经验，给医生带来了不便。
发明内容
有鉴于此，本发明实施例提供了一种三维重建网络的训练方法及装置、三维重建方法及装置，能够为医生提供更丰富、更直观的三维信息，帮助医生诊断更精确，减少医生的漏诊、误诊，提高医生的工作效率。
根据本发明实施例的第一方面，提供一种三维重建网络的训练方法，包括：获取三维医学图像样本对应的二维医学图像样本；将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像；基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络进行训练。
在本发明的一个实施例中，上述基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络进行训练，包括：将三维医学图像样本上标记的三维分割数据作为三维分割标签，根据三维重建分割图像和三维分割标签的差异，训练三维重建网络。
在本发明的一个实施例中，上述基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络进行训练，包括：基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络和鉴别网络进行交替对抗训练。
在本发明的一个实施例中，上述基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络和鉴别网络进行交替对抗训练，包括：将三维重建网络生成的三维重建分割图像输入鉴别网络，获得第一损失值，其中，三维重建分割图像的真伪标签设置为假；将三维医学图像样本上标记的三维分割数据输入鉴别网络，获得第二损失值，其中，三维医学图像样本上标记的三维分割数据的真伪标签设置为真；根据第一损失值和第二损失值，训练鉴别网络；将三维重建网络生成的三维重建分割图像输入鉴别网络，获得第三损失值，其中，三维重建分割图像的真伪标签设置为真；根据第三损失值，训练三维重建网络。
在本发明的一个实施例中，三维重建网络包括编码网络、转换网络和解码网络，上述将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像，包括：利用编码网络提取二维医学图像样本的二维特征；利用转换网络将二维医学图像样本的二维特征转换为三维特征；利用解码网络将三维特征转换为二维医学图像样本对应的三维重建分割图像。
在本发明的一个实施例中，三维医学图像样本为三维CT肋骨图像，二维医学图像样本为二维DR肋骨图像，三维重建分割图像为重建的分割后的三维CT肋骨图像。
根据本发明实施例的第二方面，提供一种三维重建方法，包括：获取待重建的二维医学图像；将待重建的二维医学图像输入根据上述任一的三维重建网络的训练方法训练得到的三维重建网络，获得待重建的二维医学图像对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像。
根据本发明实施例的第三方面，提供一种三维重建网络的训练装置，包括：获取模块，用于获取三维医学图像样本对应的二维医学图像样本；重建模块，用于将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像；训练模块，用于基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络进行训练。
根据本发明实施例的第四方面，提供一种三维重建装置，包括：获取模块，用于获取待重建的二维医学图像；重建模块，用于将待重建的二维医学图像输入根据上述任一的三维重建网络的训练方法训练得到的三维重建网络，获得待重建的二维医学图像对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像。
根据本发明实施例的第五方面，提供一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述任一所述的方法。
根据本发明实施例的第六方面，提供一种电子设备，其特征在于，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于执行上述任一所述的方法。
根据本发明实施例提供的技术方案，通过获取三维医学图像样本对应的二维医学图像样本；将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像；基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络进行训练，可以使训练得到的三维重建网络直接将二维医学图像重建为分割后的三维医学图像，能够使医生从3D角度诊断的同时，提供分割结果，从而为医生提供更丰富、更直观的三维信息，帮助医生诊断更精确，减少医生的漏诊、误诊，提高医生的工作效率。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为本发明一实施例提供三维重建网络的训练方法的流程示意图。
图2所示为本发明一实施例提供三维重建网络的结构示意图。
图3所示为本发明一实施例提供编码网络的处理方式示意图。
图4所示为本发明一实施例提供的转换网络的处理方式示意图。
图5所示为本发明一实施例提供的解码网络的处理方式示意图。
图6所示为本发明另一实施例提供的三维重建网络的训练方法的流程示意图。
图7所示为本发明一实施例提供的三维重建网络的训练方法的处理方式示意图。
图8所示为本发明另一实施例提供的三维重建网络的训练方法的流程示意图。
图9所示为本发明另一实施例提供的三维重建网络的训练方法的处理方式示意图。
图10所示为本发明另一实施例提供的三维重建网络的训练方法的流程示意图。
图11所示为本发明一实施例提供的三维重建方法的流程示意图。
图12所示为本发明一实施例提供的三维重建网络的训练装置的框图。
图13所示为本发明一实施例提供的三维重建装置的框图。
图14所示为本发明一实施例提供的电子设备的框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为了便于理解，下面先对本申请实施例可能涉及的相关术语及相关概念进行简单介绍。
(1)三维重建
三维重建是指通过二维图像获得人体器官全方位的三维图像，可为医生提供更直观、精确的病变位置、空间结构及形态、容积等信息，为制定手术方案、术后个体化重建及术后效果评估等提供帮助，也有助于提高手术的准确率和安全性。
(2)生成式对抗网络(GAN)
生成式对抗网络是非监督式学习的一种方法，通过让两个神经网络相互博弈的方式进行学习。生成式对抗网络由一个生成网络与一个判别网络组成。生成网络从潜在空间中随机取样作为输入，其输出结果需要尽量模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出，其目的是将生成网络的输出从真实样本中尽可能分辨出来。而生成网络则要尽可能地欺骗判别网络。两个网络相互对抗、不断调整参数，直到达到训练效果。
图1所示为本发明一实施例提供三维重建网络的训练方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图1所示，该方法包括如下内容。
S110：获取三维医学图像样本对应的二维医学图像样本。
上述二维医学图像样本可以为二维投影医学图像，三维医学图像样本可以为显示人体器官的空间结构、形态、容积等信息的图像。
应当理解，二维医学图像样本可以为磁共振图像(MRI)，数字化摄影图像(DR)等医学图像，本发明对二维医学图像的具体模态不作限定。
三维医学图像样本和二维医学图像样本可以是相同模态，也可以是不同模态，本发明对此不作具体限定。例如，三维医学图像样本可以为三维CT肋骨图像，二维医学图像样本可以为二维DR肋骨图像。
需要说明的是，上述二维医学图像样本可以是通过三维医学图像生成的，例如，可以通过医疗影像软件，利用三维CT图像生成二维DR图像；也可以是拍摄得到的真实的二维医学图像样本，本发明对此不作具体限定。
另外，获取到的二维医学图像样本可以为一张，也可以为多张。也就是说，可以根据单张二维医学图像进行三维重建，也可以根据多张二维医学图像进行三维重建，本发明对此不作具体限定。例如，可以通过单张二维DR肋骨图像重建三维CT肋骨图像；也可以通过多张二维DR肋骨图像重建三维CT肋骨图像，比如，从正面拍摄一张二维DR图像，再从侧面拍摄一张二维DR图像。
S120：将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像。
上述三维重建网络可用于将二维医学图像样本重建为分割后的三维医学图像，因此，三维重建网络也可以称为三维重建分割网络。例如，将二维DR肋骨图像输入三维重建网络，可以获得重建的分割后的三维CT肋骨图像。
需要说明的是，本发明对三维重建网络的结构不作具体限定。只要可以将二维图像重建为三维分割图像即可。
S130：基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络进行训练。
具体地，可以采用有监督学习、无监督学习或半监督学习等训练方法对三维重建网络进行训练，本发明对三维重建网络的训练方法不作具体限定。
根据本发明实施例提供的技术方案，通过获取三维医学图像样本对应的二维医学图像样本；将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像；基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络进行训练，可以使训练得到的三维重建网络直接将二维医学图像重建为分割后的三维医学图像，能够使医生从3D角度诊断的同时，提供分割结果，从而为医生提供更丰富、更直观的三维信息，帮助医生诊断更精确，减少医生的漏诊、误诊，提高医生的工作效率。
在本发明的另一个实施例中，在将二维医学图像样本输入三维重建网络之前，还包括：对二维医学图像样本进行预处理，例如，对二维医学图像样本进行窗宽窗位、归一化等处理。
由于不同厂家、不同仪器的硬件不同、参数不同等，导致医学图像的成像差异很大，直接将医学图像用于训练，会使得模型的鲁棒性不稳定，效果不好，因此需要对不同的医学图像进行窗宽窗位和归一化等处理，以使得模型效果表现比较统一。
在本发明的另一个实施例中，该三维重建网络可以为编码器-解码器结构。例如，如图2所示，三维重建网络包括编码网络、转换网络和解码网络。具体地，编码网络用于可以提取二维医学图像样本的二维特征，例如器官位置、大小等；转换网络用于将二维医学图像样本的二维特征转换为三维特征；解码网络用于将三维特征转换为二维医学图像样本对应的三维重建分割图像。
具体地，编码网络可以由5个2D卷积残差块连接而成。例如，如图3所示，每个2D卷积残差块的组成可以为：2D卷积层(4×4卷积核，步长为2)→2D批标准化层→ReLU(Rectified Linear Unit，线性整流函数)层→2D卷积层(3×3卷积核，步长为1)→2D批标准化层→ReLU层，其中，第一个ReLU层的输出与第二个ReLU层的输出进行跨层连接，得到最终输出。例如，以重建3D肋骨分割图像为例，将一张尺寸为1×512×512(其中，1表示通道的层数)DR图像输入第一个2D卷积残差块，可以得到尺寸为512×256×256的输出。之后，再经过四个2D卷积残差块，得到的输出尺寸可以分别为1024×128×128，2048×64×64，4096×32×32，8192×16×16。
转换网络用于将数据从2D扩展到3D。如图4所示，可以采用3×3卷积核和ReLU激活函数的卷积运算，学习2D特征的转换。然后，将8192×16×16重塑为4096×2×16×16。然后，采用1×1×1卷积核和步长为1的3D反卷积层学习3D特征的转换，同时保持特征尺寸不变。
解码网络用于将三维特征转换为三维分割图像。如图5所示，可以采用3D反卷积层不断将通道数减小，将尺寸增大，然后经过1×1×1卷积核和步长为1的3D卷积层，最终得到25×256×256×256的3D分割结果(其中，25表示24根肋骨+背景)。具体地，可以对图像进行像素级别的分类，并采用onehot的形式表示分割结果。
在本发明的另一个实施例中，还可以在上述25×256×256×256的3D分割结果的基础上，在batch维度求一次argmax，并进行后处理操作(例如，3D连通域降噪、平滑等)，得到1×256×256×256的分割数据用于渲染，以便进行更好的3D展示。
根据本发明上述实施例提供的三维重建网络的结构，可以将一张DR二维医学图像样本重建为三维肋骨分割CT图像。应当理解，上述描述仅为示例性描述，本发明对三维重建网络的具体结构、尺寸、通道数等不作具体限定。
在本发明的另一个实施例中，还包括：基于二维医学图像样本，对病灶检出模型进行训练。
具体地，在训练阶段，可以将二维医学图像样本输入病灶检出模型，得到检出结果；根据检出结果与病灶检出模型的训练标签计算损失值，其中，训练标签为在二维医学图像样本上的病灶处标记的框以及病灶的类别；将损失值反向传播，更新病灶检出模型的参数，直到病灶检出模型达到训练效果。
在推理阶段，将待检测的二维医学图像输入训练好的病灶检出模型，可以得到检出结果，即在二维医学图像上将病灶框出，并给出病灶类别，可以帮助医生进行病灶判别，提高医生的工作效率。
需要说明的是，病灶检出模型也可以称为目标检测模型。病灶检出模型可以为单次多框检测器(Single Shot MultiBox Detector，SSD)、全卷积一阶段目标检测模型(Fully Convolutional One-Stage Object Detection，FCOS)等模型，本发明对病灶检出模型的具体类型不作具体限定。
图6所示为本发明另一实施例提供三维重建网络的训练方法的流程示意图。在本发明图1所示实施例的基础上延伸出本发明图6所示实施例，下面结合图7对图6中的各个步骤进行描述。
该训练方法为有监督学习的训练方法，如图6所示，该训练方法包括如下内容。
S210：获取三维医学图像样本对应的二维医学图像样本。
例如，可以通过医疗影像软件，利用三维CT图像样本生成二维DR图像样本。
S220：将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像。
例如，将三维CT图像样本生成的二维DR图像样本作为三维重建网络的输入，输入三维重建网络；可以得到三维重建网络输出的预测值，即，三维CT分割图像。
S230：将三维医学图像样本上标记的三维分割数据作为三维分割标签，根据三维重建分割图像和三维分割标签的差异，训练三维重建网络。
例如，将三维CT图像样本上标记的3D分割数据(例如24根肋骨的分割数据以及背景)作为三维分割标签，即，三维重建网络的真实值(Ground Truth)。根据预测值与真实值计算获得损失值；将损失值反向传播，更新三维重建网络的参数，即，对三维重建网络进行训练，直到三维重建网络达到训练效果。
根据本发明实施例提供的技术方案，通过获取三维医学图像样本对应的二维医学图像样本；将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像；将三维医学图像样本上标记的三维分割数据作为三维分割标签，根据三维重建分割图像和三维分割标签的差异，训练三维重建网络，可以对三维重建网络进行有监督学习训练。
在本发明的另一个实施例中，上述三维重建网络的训练方法采用的是逐像素损失函数，用于度量三维重建分割图像和三维分割标签的像素级的差异。具体地，可以针对每个像素得到一个损失，然后将每个损失进行加权相加，得到最终的损失值。
在本发明的另一个实施例中，由于病灶处的分割要求更高，针对有病灶的三维CT图像，在进行三维分割标签的标记时，还可以标记出病灶，例如，可以在病灶的位置标记一个3D的框，或者标记病灶的分割标签。在采用逐像素损失函数进行三维重建网络的训练时，可以提高病灶处的损失权重，从而可以使得有病灶的图像的分割效果更好。
图8所示为本发明另一实施例提供三维重建网络的训练方法的流程示意图。在本发明图1所示实施例的基础上延伸出本发明图8所示实施例，下面结合图9对图8中的各个步骤进行描述。
该训练方法为利用生成式对抗网络进行对抗训练，其中，该生成式对抗网络包括三维重建网络和鉴别网络。如图8所示，该训练方法包括如下内容。
S310：获取三维医学图像样本对应的二维医学图像样本。
S320：将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像。
例如，可以将拍摄得到的真实的二维DR图像作为三维重建网络的训练样本。
S330：基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络和鉴别网络进行交替对抗训练。
具体地，可以将三维重建网络生成的分割结果输入鉴别网络，鉴别网络判断其分割结果是三维重建网络生成出来的，还是真实的三维医学图像样本上分割出来的，并将损失值反向传播给三维重建网络，以更新三维重建网络的参数。
根据本发明实施例提供的技术方案，通过获取三维医学图像样本对应的二维医学图像样本；将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像；基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络和鉴别网络进行交替对抗训练，可以在没有分割标签的情况下，对三维重建网络进行训练。
具体地，上述步骤S330可以包括步骤S331至步骤S335。
S331：将三维重建网络生成的三维重建分割图像输入鉴别网络，获得第一损失值，其中，三维重建分割图像的真伪标签设置为假。
例如，将三维重建网络生成的分割数据(即三维重建分割图像)的真伪标签设置为fake，输入鉴别网络计算第一损失值loss_fake。
S332：将三维医学图像样本上标记的三维分割数据输入鉴别网络，获得第二损失值，其中，三维医学图像样本上标记的三维分割数据的真伪标签设置为真。
将三维医学图像样本上标记的三维分割数据(即，训练用的真实分割数据)的真伪标签设置为real，输入鉴别网络计算第二损失值loss_real。
S333：根据第一损失值和第二损失值，训练鉴别网络。
具体地，可以将第一损失值loss_fake和第二损失值loss_real相加后，进行反向传播，更新鉴别网络的参数。
需要说明的是，第一损失值和第二损失值可以直接相加，也可以加权相加，本发明对此不作具体限定。
S334：将三维重建网络生成的三维重建分割图像输入鉴别网络，获得第三损失值，其中，三维重建分割图像的真伪标签设置为真。
也就是说，将二维医学图像样本输入三维重建网络，获得三维重建网络的预测结果(即三维重建分割图像)；将三维重建网络的预测结果的真伪标签设置为real，并输入鉴别网络进行预测；根据鉴别网络的预测值与标签real的差异，获得第三损失值。
S335：根据第三损失值，训练三维重建网络。
具体地，将第三损失值进行反向传播，更新三维重建网络的参数。
在本发明实施例中，将三维重建网络生成的分割数据的真伪标签设置为real是为了可以朝着欺骗鉴别网络的方向训练，能够让鉴别网络以为三维重建网络生成的分割数据是真的。
需要说明的是，上述步骤S331至S335是先将三维重建网络的参数固定，对鉴别网络的参数进行更新；然后将鉴别网络的参数固定，对三维重建网络的参数进行更新。两个网络相互对抗，不断调整参数。
应当理解，本发明对三维重建网络和鉴别网络的先后训练顺序不作限定，还可以先将鉴别网络的参数固定，对三维重建网络的参数进行更新；然后将三维重建网络的参数固定，对鉴别网络的参数进行更新。
上述图6和图8分别为采用有监督学习的训练方法和对抗训练方法对三维重建网络进行训练，应当理解，还可以将有监督学习的训练方法和对抗训练方法进行结合，以获得更好的训练效果，下面结合图10进行详细描述。
首先，对三维重建网络进行有监督学习的训练方法。
由于二维DR图像没有对应的三维DR图像，因而也没有对应的3D的DR肋骨分割标记数据。因此，在本发明实施例中，可以通过利用三维CT肋骨图像生成二维DR肋骨图像，将生成的二维DR肋骨图像作为三维重建网络的输入，将三维CT肋骨图像上标记的3D肋骨分割数据作为训练标签(即，三维分割标签)对三维重建网络进行训练。具体地，三维重建网络的有监督学习的训练方法包括以下内容。
S410：通过医疗影像软件，利用三维CT肋骨图像生成二维DR肋骨图像。
S420：将生成的二维DR肋骨图像输入三维重建网络，生成三维CT肋骨分割图像。
S430：根据三维CT肋骨分割图像与三维分割标签的差异，更新三维重建网络的参数。
具体地，采用逐像素损失函数，针对每个像素得到一个损失，然后将每个损失进行加权相加，得到最终的损失值。其中，由于病灶处的分割要求更高，因此，在本发明实施例中，可以提高病灶处的损失权重，从而使得病灶处的分割效果更好。
但是，仅仅使用三维CT图像生成的二维DR图像进行有监督学习训练会导致三维重建网络在真实的二维DR图像上的重建分割效果不是特别好，因此，在本发明实施例中，使用基于GAN的对抗训练方法对其进行辅助训练，训练方式是输入真实的二维DR图像给三维重建网络，将其生成的分割结果输入给鉴别网络，鉴别网络判断其输入是三维重建网络生成出来的还是基于三维CT图像直接分割出来的，并将损失值回传给三维重建网络，更新三维重建网络的参数。
具体地，三维重建网络的基于GAN的对抗训练方法包括以下内容。
S440：将真实的二维DR图像输入三维重建网络。
S450：将三维重建网络生成的分割数据(即三维CT分割图像)的真伪标签设置为假(fake)，输入鉴别网络，获得第一损失值loss_fake。
S460：将训练用的真实分割数据(即，三维CT图像上标记的三维分割数据)的真伪标签设置为真(real)，输入鉴别网络，获得第二损失值loss_real。
S470：将第一损失值loss_fake和第二损失值loss_real相加后，进行反向传播，更新鉴别网络的参数。
S480：将三维重建网络生成的分割数据(即三维CT分割图像)的真伪标签设置为真(real)，输入鉴别网络，获得第三损失值。
S490：将第三损失值进行反向传播，更新三维重建网络的参数。
根据本发明实施例提供的技术方案，通过利用三维CT肋骨图像生成二维DR肋骨图像，将生成的二维DR肋骨图像作为三维重建网络的输入，将三维CT肋骨图像上标记的3D肋骨分割数据作为训练标签，可以对三维重建网络进行有监督学习。另外，基于GAN的对抗训练方法可以利用真实的二维DR数据作为三维重建网络的输入，将三维重建网络生成的三维CT分割结果输入给鉴别网络，鉴别网络判断其输入是三维重建网络生成出来的还是基于三维CT图像直接分割出来的，并将损失值回传给重建网络，可以使用真实的二维DR图像对三维重建网络进行辅助训练。此外，利用有监督学习的训练方法和基于GAN的对抗训练方法结合的方式，能够使得三维重建网络的训练效果更好，鲁棒性更好。而且，相较于直接重建三维CT图像，再追加一个分割网络对重建后的三维CT图像进行分割，本申请实施例训练得到的三维重建网络的鲁棒性和分割效果更好。因为重建的CT图像和真实的CT图像还是存在差异的，如果追加的分割网络没有基于重建后的CT图像进行训练的话，其鲁棒性和分割性则得不到保证。
图11所示为本发明一实施例提供三维重建方法的流程示意图。该方法可以由计算机设备(例如，服务器)执行。如图11所示，该方法包括如下内容。
S510：获取待重建的二维医学图像。
S520：将待重建的二维医学图像输入根据上述任一实施例提供的三维重建网络的训练方法训练得到的三维重建网络，获得待重建的二维医学图像对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像。
根据本发明实施例提供的技术方案，通过利用上述任一实施例提供的三维重建网络的训练方法训练得到的三维重建网络对待重建的二维医学图像进行三维重建，可以直接将二维医学图像重建为分割后的三维医学图像，能够使医生从3D角度诊断的同时，提供分割结果，从而为医生提供更丰富、更直观的三维信息，帮助医生诊断更精确，减少医生的漏诊、误诊，提高医生的工作效率。
上述所有可选技术方案，可以采用任意结合形成本发明的可选实施例，在此不再一一赘述。
下述为本发明装置实施例，可以用于执行本发明方法实施例。对于本发明装置实施例中未披露的细节，请参照本发明方法实施例。
图12所示为本发明一实施例提供的三维重建网络的训练装置的框图。如图12所示，该三维重建网络的训练装置1200包括：
获取模块1210，用于获取三维医学图像样本对应的二维医学图像样本；
重建模块1220，用于将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像；
训练模块1230，用于基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络进行训练。
根据本发明实施例提供的技术方案，通过获取三维医学图像样本对应的二维医学图像样本；将二维医学图像样本输入三维重建网络，获得二维医学图像样本对应的三维重建分割图像；基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络进行训练，可以使训练得到的三维重建网络直接将二维医学图像重建为分割后的三维医学图像，能够使医生从3D角度诊断的同时，提供分割结果，从而为医生提供更丰富、更直观的三维信息，帮助医生诊断更精确，减少医生的漏诊、误诊，提高医生的工作效率。
在本发明的另一个实施例中，训练模块1230还用于将三维医学图像样本上标记的三维分割数据作为三维分割标签，根据三维重建分割图像和三维分割标签的差异，训练三维重建网络。
在本发明的另一个实施例中，训练模块1230还用于基于三维重建分割图像和三维医学图像样本上标记的三维分割数据，对三维重建网络和鉴别网络进行交替对抗训练。
在本发明的另一个实施例中，训练模块1230还用于将三维重建网络生成的三维重建分割图像输入鉴别网络，获得第一损失值，其中，三维重建分割图像的真伪标签设置为假；将三维医学图像样本上标记的三维分割数据输入鉴别网络，获得第二损失值，其中，三维医学图像样本上标记的三维分割数据的真伪标签设置为真；根据第一损失值和第二损失值，训练鉴别网络；将三维重建网络生成的三维重建分割图像输入鉴别网络，获得第三损失值，其中，三维重建分割图像的真伪标签设置为真；根据第三损失值，训练三维重建网络。
在本发明的另一个实施例中，三维重建网络包括编码网络、转换网络和解码网络，重建模块还用于利用编码网络提取二维医学图像样本的二维特征；利用转换网络将二维医学图像样本的二维特征转换为三维特征；利用解码网络将三维特征转换为二维医学图像样本对应的三维重建分割图像。
在本发明的另一个实施例中，三维医学图像样本为三维CT肋骨图像，二维医学图像样本为二维DR肋骨图像，三维重建分割图像为重建的分割后的三维CT肋骨图像。
图13所示为本发明一实施例提供的三维重建装置的框图。如图13所示，该三维重建装置1300包括：
获取模块1310，用于获取待重建的二维医学图像；
重建模块1320，用于将待重建的二维医学图像输入根据上述任一实施例提供的的三维重建网络的训练方法训练得到的三维重建网络，获得待重建的二维医学图像对应的三维重建分割图像，其中，三维重建分割图像为重建的分割后的三维医学图像。
根据本发明实施例提供的技术方案，通过利用上述任一实施例提供的三维重建网络的训练方法训练得到的三维重建网络对待重建的二维医学图像进行三维重建，可以直接将二维医学图像重建为分割后的三维医学图像，能够使医生从3D角度诊断的同时，提供分割结果，从而为医生提供更丰富、更直观的三维信息，帮助医生诊断更精确，减少医生的漏诊、误诊，提高医生的工作效率。
上述装置中各个模块的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
图14所示为本发明一实施例提供的电子设备1400的框图。
参照图14，电子设备1400包括处理组件1410，其进一步包括一个或多个处理器，以及由存储器1420所代表的存储器资源，用于存储可由处理组件1410的执行的指令，例如应用程序。存储器1420中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1410被配置为执行指令，以执行上述三维重建网络的训练方法及三维重建方法。
电子设备1400还可以包括一个电源组件被配置为执行电子设备1400的电源管理，一个有线或无线网络接口被配置为将电子设备1400连接到网络，和一个输入输出(I/O)接口。电子设备1400可以操作基于存储在存储器1420的操作系统，例如Windows ServerTM，MacOS XTM，UnixTM，LinuxTM，FreeBSDTM或类似。
一种非临时性计算机可读存储介质，当存储介质中的指令由上述电子设备1400的处理器执行时，使得上述电子设备1400能够执行一种三维重建网络的训练方法及三维重建方法。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序校验码的介质。
另外，还需要说明的是，本案中各技术特征的组合方式并不限本案权利要求中所记载的组合方式或是具体实施例所记载的组合方式，本案所记载的所有技术特征可以以任何方式进行自由组合或结合，除非相互之间产生矛盾。
需要注意的是，以上列举的仅为本发明的具体实施例，显然本发明不限于以上实施例，随之有着许多的类似变化。本领域的技术人员如果从本发明公开的内容直接导出或联想到的所有变形，均应属于本发明的保护范围。
应当理解，本发明实施例中提到的第一、第二等限定词，仅仅为了更清楚地描述本发明实施例的技术方案使用，并不能用以限制本发明的保护范围。
以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种三维重建网络的训练方法，其特征在于，包括：
获取三维医学图像样本对应的二维医学图像样本；
将所述二维医学图像样本输入三维重建网络，获得所述二维医学图像样本对应的三维重建分割图像，其中，所述三维重建分割图像为重建的分割后的三维医学图像；
基于所述三维重建分割图像和所述三维医学图像样本上标记的三维分割数据，对所述三维重建网络进行训练。
2.根据权利要求1所述的方法，其特征在于，所述基于所述三维重建分割图像和所述三维医学图像样本上标记的三维分割数据，对所述三维重建网络进行训练，包括：
将所述三维医学图像样本上标记的三维分割数据作为三维分割标签，根据所述三维重建分割图像和所述三维分割标签的差异，训练所述三维重建网络。
3.根据权利要求1所述的方法，其特征在于，所述基于所述三维重建分割图像和所述三维医学图像样本上标记的三维分割数据，对所述三维重建网络进行训练，包括：
基于三维重建分割图像和所述三维医学图像样本上标记的三维分割数据，对所述三维重建网络和鉴别网络进行交替对抗训练。
4.根据权利要求3所述的方法，其特征在于，所述基于三维重建分割图像和所述三维医学图像样本上标记的三维分割数据，对所述三维重建网络和鉴别网络进行交替对抗训练，包括：
将所述三维重建网络生成的所述三维重建分割图像输入所述鉴别网络，获得第一损失值，其中，所述三维重建分割图像的真伪标签设置为假；
将所述三维医学图像样本上标记的三维分割数据输入所述鉴别网络，获得第二损失值，其中，所述三维医学图像样本上标记的三维分割数据的真伪标签设置为真；
根据所述第一损失值和所述第二损失值，训练所述鉴别网络；
将所述三维重建网络生成的所述三维重建分割图像输入所述鉴别网络，获得第三损失值，其中，所述三维重建分割图像的真伪标签设置为真；
根据所述第三损失值，训练所述三维重建网络。
5.根据权利要求1至4中任一项所述的方法，其特征在于，所述三维重建网络包括编码网络、转换网络和解码网络，所述将所述二维医学图像样本输入三维重建网络，获得所述二维医学图像样本对应的三维重建分割图像，包括：
利用所述编码网络提取所述二维医学图像样本的二维特征；
利用所述转换网络将所述二维医学图像样本的二维特征转换为三维特征；
利用所述解码网络将所述三维特征转换为所述二维医学图像样本对应的三维重建分割图像。
6.根据权利要求1至4中任一项所述的方法，其特征在于，所述三维医学图像样本为三维CT肋骨图像，所述二维医学图像样本为二维DR肋骨图像，所述三维重建分割图像为重建的分割后的三维CT肋骨图像。
7.一种三维重建方法，其特征在于，包括：
获取待重建的二维医学图像；
将所述待重建的二维医学图像输入根据权利要求1至6中任一项所述的三维重建网络的训练方法训练得到的三维重建网络，获得所述待重建的二维医学图像对应的三维重建分割图像，其中，所述三维重建分割图像为重建的分割后的三维医学图像。
8.一种三维重建网络的训练装置，其特征在于，包括：
获取模块，用于获取三维医学图像样本对应的二维医学图像样本；
重建模块，用于将所述二维医学图像样本输入三维重建网络，获得所述二维医学图像样本对应的三维重建分割图像，其中，所述三维重建分割图像为重建的分割后的三维医学图像；
训练模块，用于基于所述三维重建分割图像和所述三维医学图像样本上标记的三维分割数据，对所述三维重建网络进行训练。
9.一种三维重建装置，其特征在于，包括：
获取模块，用于获取待重建的二维医学图像；
重建模块，用于将所述待重建的二维医学图像输入根据权利要求1至6中任一项所述的三维重建网络的训练方法训练得到的三维重建网络，获得所述待重建的二维医学图像对应的三维重建分割图像，其中，所述三维重建分割图像为重建的分割后的三维医学图像。
10.一种计算机可读存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序用于执行上述权利要求1至7中任一项所述的方法。
CN202011321648.0A 2020-11-23 2020-11-23 三维重建网络的训练方法及装置、三维重建方法及装置 Active CN112435341B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011321648.0A CN112435341B (zh) 2020-11-23 2020-11-23 三维重建网络的训练方法及装置、三维重建方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011321648.0A CN112435341B (zh) 2020-11-23 2020-11-23 三维重建网络的训练方法及装置、三维重建方法及装置

Publications (2)

Publication Number Publication Date
CN112435341A true CN112435341A (zh) 2021-03-02
CN112435341B CN112435341B (zh) 2022-08-19

Family

ID=74693661

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011321648.0A Active CN112435341B (zh) 2020-11-23 2020-11-23 三维重建网络的训练方法及装置、三维重建方法及装置

Country Status (1)

Country Link
CN (1) CN112435341B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113041516A (zh) * 2021-03-25 2021-06-29 中国科学院近代物理研究所 三维图像引导摆位的方法、系统及存储介质
CN113041515A (zh) * 2021-03-25 2021-06-29 中国科学院近代物理研究所 三维图像引导运动器官定位方法、系统及存储介质
CN113506334A (zh) * 2021-06-07 2021-10-15 刘星宇 基于深度学习的多模态医学图像融合方法及系统
CN113628216A (zh) * 2021-08-11 2021-11-09 北京百度网讯科技有限公司 模型训练方法、图像分割方法、装置及相关产品
CN113808111A (zh) * 2021-09-18 2021-12-17 广州幻境科技有限公司 一种医学影像的三维虚拟重构方法和系统
WO2023142781A1 (zh) * 2022-01-28 2023-08-03 中国科学院深圳先进技术研究院 图像三维重建方法、装置、电子设备及存储介质
CN117679160A (zh) * 2023-12-26 2024-03-12 北京长木谷医疗科技股份有限公司 创伤骨折复位方法、装置、设备及可读存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3417787A1 (en) * 2017-06-21 2018-12-26 Elekta AB (PUBL) Analysis of medical images
CN110070612A (zh) * 2019-04-25 2019-07-30 东北大学 一种基于生成对抗网络的ct图像层间插值方法
CN110544245A (zh) * 2019-08-30 2019-12-06 北京推想科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN110660123A (zh) * 2018-06-29 2020-01-07 清华大学 基于神经网络的三维ct图像重建方法和设备以及存储介质
CN110659134A (zh) * 2019-09-04 2020-01-07 腾讯云计算（北京）有限责任公司 一种应用于人工智能平台的数据处理方法及装置
CN111063018A (zh) * 2019-11-08 2020-04-24 山东大学 一种基于深度学习的血管内超声图像三维重建方法及系统
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN111105475A (zh) * 2019-12-24 2020-05-05 电子科技大学 一种基于正交角度x光的骨骼三维重建方法
WO2020144483A1 (en) * 2019-01-11 2020-07-16 Axial Medical Printing Limited Method for generating a 3d printable model of a patient specific anatomy
CN111882509A (zh) * 2020-06-04 2020-11-03 江苏大学 一种基于生成对抗网络的医学图像数据生成与检测方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3417787A1 (en) * 2017-06-21 2018-12-26 Elekta AB (PUBL) Analysis of medical images
CN110660123A (zh) * 2018-06-29 2020-01-07 清华大学 基于神经网络的三维ct图像重建方法和设备以及存储介质
WO2020144483A1 (en) * 2019-01-11 2020-07-16 Axial Medical Printing Limited Method for generating a 3d printable model of a patient specific anatomy
CN110070612A (zh) * 2019-04-25 2019-07-30 东北大学 一种基于生成对抗网络的ct图像层间插值方法
CN110544245A (zh) * 2019-08-30 2019-12-06 北京推想科技有限公司 图像处理方法、装置、计算机可读存储介质及电子设备
CN110659134A (zh) * 2019-09-04 2020-01-07 腾讯云计算（北京）有限责任公司 一种应用于人工智能平台的数据处理方法及装置
CN111063018A (zh) * 2019-11-08 2020-04-24 山东大学 一种基于深度学习的血管内超声图像三维重建方法及系统
CN111063021A (zh) * 2019-11-21 2020-04-24 西北工业大学 一种空间运动目标的三维重建模型建立方法及装置
CN111105475A (zh) * 2019-12-24 2020-05-05 电子科技大学 一种基于正交角度x光的骨骼三维重建方法
CN111882509A (zh) * 2020-06-04 2020-11-03 江苏大学 一种基于生成对抗网络的医学图像数据生成与检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DONG NIE .ETC: ""Medical Image Synthesis with Context-Aware Generative Adversarial Networks"", 《MICCAI 2017:MEDICAL IMAGE COMPUTING AND COMPUTER ASSISTED INTERVENTION》 *
张天麒等: ""基于 U-Net的颅内出血识别算法"", 《北京邮电大学学报》 *
杨尚文等: ""CT图像分辨率对人工智能肺结节辅助诊断系统诊断准确性的影响"", 《医学影像学杂志》 *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113041516A (zh) * 2021-03-25 2021-06-29 中国科学院近代物理研究所 三维图像引导摆位的方法、系统及存储介质
CN113041515A (zh) * 2021-03-25 2021-06-29 中国科学院近代物理研究所 三维图像引导运动器官定位方法、系统及存储介质
CN113041516B (zh) * 2021-03-25 2022-07-19 中国科学院近代物理研究所 三维图像引导摆位的方法、系统、处理设备及存储介质
CN113506334A (zh) * 2021-06-07 2021-10-15 刘星宇 基于深度学习的多模态医学图像融合方法及系统
CN113506334B (zh) * 2021-06-07 2023-12-15 刘星宇 基于深度学习的多模态医学图像融合方法及系统
CN113628216A (zh) * 2021-08-11 2021-11-09 北京百度网讯科技有限公司 模型训练方法、图像分割方法、装置及相关产品
CN113808111A (zh) * 2021-09-18 2021-12-17 广州幻境科技有限公司 一种医学影像的三维虚拟重构方法和系统
WO2023142781A1 (zh) * 2022-01-28 2023-08-03 中国科学院深圳先进技术研究院 图像三维重建方法、装置、电子设备及存储介质
CN117679160A (zh) * 2023-12-26 2024-03-12 北京长木谷医疗科技股份有限公司 创伤骨折复位方法、装置、设备及可读存储介质
CN117679160B (zh) * 2023-12-26 2024-06-11 北京长木谷医疗科技股份有限公司 创伤骨折复位方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN112435341B (zh) 2022-08-19

Similar Documents

Publication Publication Date Title
CN112435341B (zh) 三维重建网络的训练方法及装置、三维重建方法及装置
US11610313B2 (en) Systems and methods for generating normative imaging data for medical image processing using deep learning
US9968257B1 (en) Volumetric quantification of cardiovascular structures from medical imaging
CN110414631B (zh) 基于医学图像的病灶检测方法、模型训练的方法及装置
US8165361B2 (en) System and method for image based multiple-modality cardiac image alignment
JP6885517B1 (ja) 診断支援装置及びモデル生成装置
US8958614B2 (en) Image-based detection using hierarchical learning
US9361686B2 (en) Method and apparatus for the assessment of medical images
Tanno et al. Uncertainty quantification in deep learning for safer neuroimage enhancement
US20210374948A1 (en) Method for reconstructing series of slice images and apparatus using same
KR102202398B1 (ko) 영상처리장치 및 그의 영상처리방법
US11449210B2 (en) Method for providing an image base on a reconstructed image group and an apparatus using the same
WO2021184195A1 (zh) 医学图像重建方法、医学图像重建网络训练方法和装置
CN118247284B (zh) 图像处理模型的训练方法、图像处理方法
Marin et al. Numerical surrogates for human observers in myocardial motion evaluation from SPECT images
CN115131290A (zh) 图像处理方法
CN113724185B (zh) 用于图像分类的模型处理方法、装置及存储介质
Poonkodi et al. 3D-MedTranCSGAN: 3D medical image transformation using CSGAN
CN110852993B (zh) 一种造影剂作用下的成像方法与设备
CN116580819B (zh) 用于自动化地确定图像序列中的检查结果的方法和系统
US11138736B2 (en) Information processing apparatus and information processing method
KR101948701B1 (ko) 피검체의 뇌 구조를 기술하는 잠재 변수에 기반하여 상기 피검체의 뇌질환을 판정하는 방법 및 이를 이용한 장치
KR20230049589A (ko) 혈액 유속 결정 방법, 장치, 컴퓨팅 디바이스 및 저장 매체
US20210407674A1 (en) Method and arrangement for identifying similar pre-stored medical datasets
US20230360366A1 (en) Visual Explanation of Classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant