CN116797726B - 器官三维重建方法、装置、电子设备和存储介质 - Google Patents
器官三维重建方法、装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN116797726B CN116797726B CN202310574463.8A CN202310574463A CN116797726B CN 116797726 B CN116797726 B CN 116797726B CN 202310574463 A CN202310574463 A CN 202310574463A CN 116797726 B CN116797726 B CN 116797726B
- Authority
- CN
- China
- Prior art keywords
- dimensional
- layer
- dimensional reconstruction
- feature extraction
- geometric
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000000056 organ Anatomy 0.000 title claims abstract description 172
- 238000000034 method Methods 0.000 title claims abstract description 105
- 238000002595 magnetic resonance imaging Methods 0.000 claims abstract description 167
- 238000000605 extraction Methods 0.000 claims description 227
- 230000004927 fusion Effects 0.000 claims description 121
- 238000013507 mapping Methods 0.000 claims description 36
- 238000011176 pooling Methods 0.000 claims description 30
- 238000003709 image segmentation Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 10
- 238000004590 computer program Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 abstract description 27
- 230000000694 effects Effects 0.000 abstract description 25
- 230000006870 function Effects 0.000 description 25
- 238000012545 processing Methods 0.000 description 25
- 238000013527 convolutional neural network Methods 0.000 description 11
- 238000005070 sampling Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000009901 attention process Effects 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000004195 computer-aided diagnosis Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011158 quantitative evaluation Methods 0.000 description 2
- 230000008439 repair process Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000007499 fusion processing Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 210000003932 urinary bladder Anatomy 0.000 description 1
- 210000004291 uterus Anatomy 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/30—Assessment of water resources
Landscapes
- Image Processing (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
Abstract
本发明提供一种器官三维重建方法、装置、电子设备和存储介质，涉及三维重建技术领域。其中方法包括：获取待重建器官的三维磁共振成像MRI，以及预设三维几何形状数据，所述三维MRI包括至少两张二维磁共振MR图像；将所述三维MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果。本发明自动基于三维MRI重建得到三维重建结果，实现器官三维重建全流程的自动化，即实现端到端的器官三维重建，从而节省时间且降低成本，并提高器官三维重建的准确性，提高器官的三维重建效果。
Description
技术领域
本发明涉及三维重建技术领域，尤其涉及一种器官三维重建方法、装置、电子设备和存储介质。
背景技术
随着科技的迅速发展，三维重建技术的应用领域越来越广泛。其中，对器官进行三维重建在众多场景中都是至关重要的，如生物力学数值模拟、计算机辅助诊断和虚拟手术规划等场景。
目前，首先对三维MRI(Magnetic Resonance Imaging，磁共振成像)中各MR(Magnetic Resonance，磁共振)图像逐一进行分割，然后逐层叠加得到器官的三维体素模型，进而使用三维软件进行复杂的人工处理和几何修复，最终形成与真实器官相匹配的三维重建模型。然而，目前的三维重建方式仍需要人工处理，十分耗时且成本高；且上述方式容错率较低，一旦图像分割出现错误，整个三维重建模型就会发生明显的变化，影响器官的三维重建效果。
发明内容
本发明提供一种器官三维重建方法、装置、电子设备和存储介质，用以解决现有技术中人工进行三维重建费时费力且重建效果差的缺陷，实现高准确性的自动三维重建。
本发明提供一种器官三维重建方法，包括：
获取待重建器官的三维磁共振成像MRI，以及预设三维几何形状数据，所述三维MRI包括至少两张二维磁共振MR图像；
将所述三维MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果；
其中，所述三维重建模型是基于三维MRI样本、所述预设三维几何形状数据和所述三维MRI样本对应的三维重建结果标签训练得到的。
根据本发明提供的一种器官三维重建方法，所述将所述三维MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果，包括：
基于所述三维MRI，构建所述待重建器官的三维点云轮廓；
将所述三维MRI、所述三维点云轮廓和所述预设三维几何形状数据输入至所述三维重建模型，得到所述三维重建模型输出的所述三维重建结果。
根据本发明提供的一种器官三维重建方法，所述将所述三维MRI、所述三维点云轮廓和所述预设三维几何形状数据输入至所述三维重建模型，得到所述三维重建模型输出的所述三维重建结果，包括：
将所述三维MRI输入至所述三维重建模型的图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果；
将所述三维点云轮廓输入至所述三维重建模型的第一几何特征提取层，得到所述第一几何特征提取层输出的几何特征提取结果；
将所述图像特征提取结果和所述几何特征提取结果输入至所述三维重建模型的第一特征融合层，得到所述第一特征融合层输出的特征融合结果；
将所述特征融合结果和所述预设三维几何形状数据输入至所述三维重建模型的三维重建层，得到所述三维重建层输出的所述三维重建结果。
根据本发明提供的一种器官三维重建方法，所述将所述特征融合结果和所述预设三维几何形状数据输入至所述三维重建模型的三维重建层，得到所述三维重建层输出的所述三维重建结果，包括：
将所述特征融合结果和所述预设三维几何形状数据输入至所述三维重建层的特征映射层，得到所述特征映射层输出的第一几何特征数据，所述特征映射层用于将所述特征融合结果的高维特征映射至所述预设三维几何形状数据对应的三维几何形状；
将所述预设三维几何形状数据输入至所述三维重建层的第二几何特征提取层，得到所述第二几何特征提取层输出的第二几何特征数据；
将所述第一几何特征数据和所述第二几何特征数据输入至所述三维重建层的第二特征融合层，得到所述第二特征融合层输出的融合几何特征数据；
将所述融合几何特征数据输入至所述三维重建层的预测层，得到所述预测层输出的所述三维重建结果。
根据本发明提供的一种器官三维重建方法，所述特征映射层是基于如下方式得到所述第一几何特征数据：
将所述特征融合结果的高维特征映射至预设点云数据，得到映射后的第一点云数据，并基于所述预设三维几何形状数据，构建第二点云数据；
对所述第一点云数据和所述第二点云数据进行融合，得到第三点云数据；
基于所述第三点云数据，构建图结构；
对所述图结构进行特征提取，得到所述第二点云数据对应的所述第一几何特征数据，以使所述第一点云数据的高维特征映射至所述第二点云数据对应的三维几何形状。
根据本发明提供的一种器官三维重建方法，所述将所述图像特征提取结果和所述几何特征提取结果输入至所述三维重建模型的第一特征融合层，得到所述第一特征融合层输出的特征融合结果，包括：
将所述图像特征提取结果和所述几何特征提取结果输入至所述第一特征融合层的多头注意力层，得到所述多头注意力层输出的特征融合结果；
其中，所述图像特征提取结果作为查询输入，所述几何特征提取结果作为键和值输入。
根据本发明提供的一种器官三维重建方法，所述将所述三维MRI输入至所述三维重建模型的图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果，包括：
确定所述三维MRI中各二维MR图像的图像分割结果的置信度；
基于各所述置信度分别对各所述二维MR图像进行更新，得到更新后的三维MRI；
将所述更新后的三维MRI输入至所述图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果。
根据本发明提供的一种器官三维重建方法，所述将所述更新后的三维MRI输入至所述图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果，包括：
将所述更新后的三维MRI输入至所述图像特征提取层的三维卷积层，得到所述三维卷积层输出的第一图像特征数据；
将所述第一图像特征数据输入至所述图像特征提取层的注意力层，得到所述注意力层输出的第二图像特征数据；
将所述第二图像特征数据输入至所述图像特征提取层的池化层，得到所述池化层输出的图像特征提取结果。
根据本发明提供的一种器官三维重建方法，所述基于所述三维MRI，构建所述待重建器官的三维点云轮廓，包括：
分别对所述三维MRI中各二维MR图像进行图像分割，得到多个分割后的二维MR图像；
分别对各所述分割后的二维MR图像进行图像轮廓提取，得到所述待重建器官对应的多个分割轮廓；
基于所述多个分割轮廓，构建所述待重建器官的三维点云轮廓。
本发明还提供一种器官三维重建装置，包括：
获取模块，用于获取待重建器官的三维磁共振成像MRI，以及预设三维几何形状数据，所述三维MRI包括至少两张二维磁共振MR图像；
重建模块，用于将所述三维MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果；
其中，所述三维重建模型是基于三维MRI样本、所述预设三维几何形状数据和所述三维MRI样本对应的三维重建结果标签训练得到的。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述器官三维重建方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述器官三维重建方法。
本发明提供的器官三维重建方法、装置、电子设备和存储介质，获取待重建器官的三维MRI，以及预设三维几何形状数据，将三维MRI和预设三维几何形状数据输入至三维重建模型，得到三维重建模型输出的待重建器官对应的三维重建结果，从而自动基于三维MRI重建得到三维重建结果，实现器官三维重建全流程的自动化，从而节省时间且降低成本，并提高器官三维重建的准确性，提高器官的三维重建效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的器官三维重建方法的流程示意图之一；
图2为本发明提供的器官三维重建方法的流程示意图之二；
图3为本发明提供的器官三维重建方法的流程示意图之三；
图4为本发明提供的图像特征提取的流程示意图；
图5为本发明提供的器官三维重建方法的流程示意图之四；
图6为本发明提供的器官三维重建方法的流程示意图之五；
图7为本发明提供的三维重建结果的效果示意图；
图8为本发明提供的器官三维重建装置的结构示意图；
图9为本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
随着科技的迅速发展，三维重建技术的应用领域越来越广泛。其中，对器官进行三维重建在众多场景中都是至关重要的，如生物力学数值模拟、计算机辅助诊断和虚拟手术规划等场景。高质量的三维重建模型可以显示器官的空间结构，帮助医生直观地了解器官的具体形状，分析病因，并为后续的有限元分析或者手术规划奠定良好的基础。因此，需要对器官进行高质量的三维重建。然而，许多器官的形状复杂多样，往往需要大量的工作来制作高质量的三维几何模型，操作复杂繁琐，工作量大，时间长。
目前，首先对三维MRI中各二维MR图像逐一进行人工或自动分割，如使用深度学习方式自动分割二维MR图像，然后逐层叠加得到器官的三维体素模型，进而形成对应的三维点云，然后使用三维软件进行复杂的人工处理和几何修复，最终形成与真实器官相匹配的三维重建模型；如分别对三维MRI中各二维MR图像进行二维分割，进而基于各分割结果形成三维点云，进而基于三维点云进行三维几何重建得到三维表面几何模型。然而，目前的三维重建方式仍需要人工处理，才能获得与真实器官相符合的三维几何模型，十分耗时且成本高；且上述方式容错率较低，一旦图像分割出现错误，整个三维重建模型就会发生明显的变化，影响器官的三维重建效果，如自动对二维MR图像进行分割的容错率较低，对应形状复杂的器官，一旦在一个切片中出现分割错误误差，整个三维重建模型就会发生明显的变化，严重影响三维重建效果。
针对上述问题，本发明提出以下各实施例。图1为本发明提供的器官三维重建方法的流程示意图之一，如图1所示，该器官三维重建方法包括：
步骤110，获取待重建器官的三维磁共振成像MRI，以及预设三维几何形状数据，所述三维MRI包括至少两张二维磁共振MR图像。
此处，待重建器官为待三维重建的器官，即待构建三维几何模型的器官。该待重建器官可以包括但不限于：膀胱、子宫、大脑等等。
此处，三维MRI为3D MR数据集，其包括的至少两张二维MR图像可以用于表征该待重建器官。例如，待重建器官为人体膀胱器官，三维MRI包括20张二维MR图像，即一组切片的数量为20；进一步的，各二维MR图像间距可以为2mm，切片厚度可以为2mm；进一步的，各二维MR图像的分辨率可以为300*300。
此处，预设三维几何形状数据用于表征三维几何形状，其可以仅仅表征三维几何形状，可以不涵盖任何具体的特征信息；其可以为三维点云数据、三维体素数据、三维网格数据、深度图数据等等，本发明实施例对其数据形式不做具体限定。在一实施例中，可以先获取obj文件或stl文件，再基于obj文件或stl文件获得预设三维几何形状数据。进一步地，可以将三维几何形状归一化为直径为1的三维几何形状。如该预设三维几何形状数据的尺寸为(3380，3)，3为特征维度数。
需要说明的是，不同器官可以对应不同的预设三维几何形状数据，即不同器官可以对应不同的三维几何形状。例如，膀胱器官可以对应球形几何形状。
步骤120，将所述三维MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果。
此处，三维重建模型用于基于三维MRI重建待重建器官对应的三维重建结果，即基于三维重建模型预测待重建器官对应的三维重建结果，从而实现端到端的深度学习，以直接学习从三维MRI到三维重建结果的过程，进而跳过分割、重建、几何修复等处理环节，一步到位完成整个过程，实现器官三维重建全流程的自动化，且可以关注三维几何的全局结构信息，从而具有更高的容错率和更真实的三维重建结果。
在一些实施例中，将三维MRI输入至三维重建模型的图像特征提取层，得到图像特征提取层输出的图像特征提取结果，将图像特征提取结果和预设三维几何形状数据输入至三维重建模型的三维重建层，得到三维重建层输出的三维重建结果。其中，通过图像特征提取层对三维MRI进行图像特征提取的具体过程可以参照下述实施例，此处不再一一赘述。
在一实施例中，将图像特征提取结果和预设三维几何形状数据输入至三维重建层的特征映射层，得到特征映射层输出的第一几何特征数据，该特征映射层用于将图像特征提取结果的高维特征映射至预设三维几何形状数据对应的三维几何形状，将第一几何特征数据输入至三维重建层的预测层，得到预测层输出的三维重建结果，该预测层用于对第一几何特征数据对应的三维几何形状进行变形。
在另一实施例中，将图像特征提取结果和预设三维几何形状数据输入至三维重建层的特征映射层，得到特征映射层输出的第一几何特征数据，该特征映射层用于将图像特征提取结果的高维特征映射至预设三维几何形状数据对应的三维几何形状；将预设三维几何形状数据输入至三维重建层的第二几何特征提取层，得到第二几何特征提取层输出的第二几何特征数据；将第一几何特征数据和第二几何特征数据输入至三维重建层的第二特征融合层，得到第二特征融合层输出的融合几何特征数据；将融合几何特征数据输入至三维重建层的预测层，得到预测层输出的三维重建结果，预测层用于对融合几何特征数据对应的三维几何形状进行变形。
其中，通过特征映射层得到第一几何特征数据的具体过程可以参照下述实施例，通过第二几何特征提取层得到第二几何特征数据的具体过程可以参照下述实施例，通过第二特征融合层得到融合几何特征数据的具体过程可以参照下述实施例，通过预测层得到三维重建结果的具体过程可以参照下述实施例，此处不再一一赘述。
此处，三维重建结果可以为三维重建模型，其可以表征待重建器官对应的三维几何形状；该三维重建结果可以为三维网格模型、三维点云模型、三维体素模型等等，本发明实施例对其数据形式不做具体限定。进一步地，可以将重建后的三维重建结果保存为obj文件或stl文件。
其中，所述三维重建模型是基于三维MRI样本、所述预设三维几何形状数据和所述三维MRI样本对应的三维重建结果标签训练得到的。
此处，三维MRI样本为3D MR数据集。例如，待重建器官为人体膀胱器官，三维MRI样本包括51组三维MRI，每一组三维MRI样本包括20张MR样本图像，即一组切片的数量为20；进一步的，各MR样本图像间距可以为2mm，切片厚度可以为2mm；进一步的，各MR样本图像的分辨率可以为300*300；进一步的，该MR样本图像为受试者静息态矢状位的T2加权二维MR图像。其中，每一组三维MRI样本是基于一个人体的器官得到的。
此处，三维重建结果标签可以为三维重建模型标签，其可以表征待重建器官对应的真实三维几何形状；该三维重建结果标签可以为三维网格模型、三维点云模型、三维体素模型等等，本发明实施例对其数据形式不做具体限定。进一步地，该三维重建结果标签可以由人为手工重建完成，从而提高其真实性，进而提高三维重建模型的训练效果，最终提高器官三维重建效果。进一步地，可以将三维重建结果标签保存为obj文件或stl文件。
具体地，基于三维MRI样本、预设三维几何形状数据和三维MRI样本对应的三维重建结果标签，以及损失函数，对三维重建模型进行训练。该损失函数可以包括但不限于以下至少一种：CD(Chamfer Distance，倒角距离)损失函数、NL(Normal Loss，法线损失)损失函数、EL(Edge Loss，边缘损失)损失函数、LL(Laplacian Loss，拉普拉斯损失)损失函数等等。
考虑到为了缩小预测的三维重建结果与三维重建结果标签(真实三维重建结果)的距离，以提高三维重建模型的重建效果，基于此，设定CD损失函数进行模型训练。该CD损失函数主要用于计算预测几何顶点与真实几何顶点之间的总距离。示例性的，CD损失函数如下所示：
式中，LCD表示CD损失函数，S1表示预测的三维重建结果，p表示S1中任一预测曲面几何的顶点，S2表示三维重建结果标签，q表示S2中任一真实曲面几何的顶点，表示二者顶点的距离。
考虑到为了保证三维重建结果对应的几何表面的局部法线尽可能一致，确保几何表面的合理性，基于此，设定NL损失函数进行模型训练。示例性的，NL损失函数如下所示：
式中，Lnormal表示NL损失函数，p表示预测曲面几何的顶点，q表示真实曲面几何的顶点，k表示p的邻居点，ng表示真实曲面几何的表面法向量，<·,·>表示两个向量的内积。
考虑到三维重建结果对应的几何顶点可能会有太远的邻居点，为了确保几何的合理性，防止产生离群点，即防止几何顶点间偏差过大，以约束几何顶点间边长，基于此，设定EL损失函数进行模型训练。示例性的，EL损失函数如下所示：
式中，Ledge表示EL损失函数，p表示预测曲面几何的顶点，k表示p的邻居点，N(p)表示p的所有邻居点，表示二者顶点的距离。
考虑到三维重建结果对应的几何表面会因几何顶点移动过于自由而出现几何自交的问题，为了使相邻顶点的位移即可能相似，保持变形过程中相邻顶点之间的相对位置，基于此，设定LL损失函数进行模型训练。示例性的，LL损失函数如下所示：
式中，LLap表示LL损失函数，p表示预测曲面几何的顶点，δp表示p变形前的拉普拉斯坐标，k表示p的邻居点，N(p)表示p的所有邻居点，δp ′表示p变形后的拉普拉斯坐标，/>表示二者的距离。
在一实施例中，该损失函数包括CD损失函数、NL损失函数、EL损失函数、LL损失函数，该总损失是所有损失的加权和。示例性的，总损失如下所示：
L＝λ1LCD+λ2Lnormal+λ3Ledge+λ4LLap；
式中，L表示总损失，LCD表示CD损失，Lnormal表示NL损失，Ledge表示EL损失，LLap表示LL损失；λ1、λ2、λ3、λ4为用于平衡各项损失的权重(超参数)。其中，λ1、λ2、λ3、λ4可以根据实际情况设定，优选地，λ1＝1、λ2＝1、λ3＝0.01、λ4＝0.1。
需要说明的是，训练三维重建模型的样本集可以随机划分为训练样本集和测试样本集。例如，三维MRI样本包括51组三维MRI，训练样本集可以包括45组三维MRI，测试样本集可以包括6组三维MRI。
进一步地，为了使三维重建模型的变形过程更加合理，可以将三维重建结果标签对应的真实器官几何的每个坐标值归一化到0-1的范围内，并将预设三维几何形状数据对应的三维几何的几何中心移动到原点(0，0，0)，以及将归一化后的真实器官几何的几何中心移动到原点。
本发明实施例提供的器官三维重建方法，获取待重建器官的三维MRI，以及预设三维几何形状数据，将三维MRI和预设三维几何形状数据输入至三维重建模型，得到三维重建模型输出的待重建器官对应的三维重建结果，从而自动基于三维MRI重建得到三维重建结果，实现器官三维重建全流程的自动化，即实现端到端的器官三维重建，从而节省时间且降低成本，并提高器官三维重建的准确性，提高器官的三维重建效果。
基于上述实施例，图2为本发明提供的器官三维重建方法的流程示意图之二，如图2所示，上述步骤120包括：
步骤121，基于所述三维MRI，构建所述待重建器官的三维点云轮廓。
此处，三维点云轮廓为点云数据，其用于表征待重建器官的轮廓。如该三维点云轮廓的尺寸为(3380，3)，3为特征维度数。
具体地，基于该三维MRI中各二维MR图像，确定待重建器官对应的多个轮廓，一个二维MR图像确定一个轮廓；基于多个轮廓，构建待重建器官的三维点云轮廓。
在一实施例中，分别对三维MRI中各二维MR图像进行图像分割，得到多个分割后的二维MR图像；分别对各分割后的二维MR图像进行图像轮廓提取，得到待重建器官对应的多个分割轮廓；基于多个分割轮廓，构建待重建器官的三维点云轮廓。该实施例的具体流程参照下述实施例，此处不再一一赘述。
在另一实施例中，分别对三维MRI中各二维MR图像进行目标检测，得到多个仅包括待重建器官的目标二维MR图像；分别对各目标二维MR图像进行图像轮廓提取，得到待重建器官对应的多个轮廓；基于多个轮廓，构建待重建器官的三维点云轮廓。
在一实施例中，分别对各轮廓进行采样，得到各二维MR图像对应的采样结果；基于三维MRI中各二维MR图像的堆叠顺序，将多个采样结果沿Z方向堆叠，得到待重建器官的三维点云轮廓。进一步地，采样方式可以为均匀采样。
在另一实施例中，基于三维MRI中各二维MR图像的堆叠顺序，将多个轮廓沿Z方向堆叠，得到待重建器官的三维点云轮廓。
步骤122，将所述三维MRI、所述三维点云轮廓和所述预设三维几何形状数据输入至所述三维重建模型，得到所述三维重建模型输出的所述三维重建结果。
在本发明实施例中，该三维重建模型是基于如下方式训练：基于三维MRI样本，构建三维点云轮廓样本；基于三维MRI样本、三维点云轮廓样本、预设三维几何形状数据和三维MRI样本对应的三维重建结果标签，以及损失函数，对三维重建模型进行训练。该三维点云轮廓样本的构建方式与上述三维点云轮廓的构建方式基本相同，此处不再赘述。可以理解的是，构建三维点云轮廓样本或三维点云轮廓的模型，可以不需要进行新的参数学习和梯度更新，即不需要进行模型训练。
本发明实施例提供的器官三维重建方法，基于三维MRI，构建待重建器官的三维点云轮廓，从而将该三维点云轮廓作为三维重建模型的额外输入，以便三维重建模型更好地提取待重建器官的三维结构信息，从而基于三维结构信息更好地重建三维重建结果，进而提高器官三维重建的准确性，最终提高器官的三维重建效果。
基于上述任一实施例，图3为本发明提供的器官三维重建方法的流程示意图之三，如图3所示，上述步骤122包括：
步骤1221，将所述三维MRI输入至所述三维重建模型的图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果。
此处，图像特征提取层用于对三维MRI进行图像特征提取。在一实施例中，该图像特征提取层可以包括CNN(Convolutional Neural Network，卷积神经网络)层，以对三维MRI进行卷积处理。
此处，图像特征提取结果为含高维特征的三维图像特征。例如，该图像特征提取结果的尺寸为13×13×20×1024，分别代表x，y，z三个方向的尺寸及特征维度数，即x方向的尺寸为13，y方向的尺寸为13，z方向的尺寸为20，特征维度数为1024。该图像特征提取结果可以通过立方体空间来表征。
在一实施例中，将三维MRI输入至图像特征提取层的三维卷积层，得到三维卷积层输出的图像特征提取结果。该三维卷积层用于进行3D卷积处理提取图像特征，该三维卷积层可以为多层三维卷积层，多个三维卷积层依次连接，从而依次进行3D卷积处理。其层数可以根据实际需要进行设定，优选为5层。
在另一实施例中，将三维MRI输入至图像特征提取层的三维卷积层，得到三维卷积层输出的第一图像特征数据；将第一图像特征数据输入至图像特征提取层的注意力层，得到注意力层输出的图像特征提取结果。基于此，通过注意力层使三维重建模型关注更重要的特征，从而高效提取特征，进而提高三维重建的准确性。进一步地，可以将三维卷积层和注意力层连接构成一层特征提取层，从而依次进行3D卷积处理和注意力加权处理。其层数可以根据实际需要进行设定，优选为5层。
在另一实施例中，将三维MRI输入至图像特征提取层的三维卷积层，得到三维卷积层输出的第一图像特征数据；将第一图像特征数据输入至图像特征提取层的池化层，得到池化层输出的图像特征提取结果。基于此，通过池化层压缩特征尺寸，以去除冗余信息并扩大感受野，进而提高三维重建的准确性。进一步地，可以将三维卷积层和池化层连接构成一层特征提取层，从而依次进行3D卷积处理和池化处理。其层数可以根据实际需要进行设定，优选为5层。
在另一实施例中，将三维MRI输入至图像特征提取层的三维卷积层，得到三维卷积层输出的第一图像特征数据；将第一图像特征数据输入至图像特征提取层的注意力层，得到注意力层输出的第二图像特征数据；将第二图像特征数据输入至图像特征提取层的池化层，得到池化层输出的图像特征提取结果。进一步地，可以将三维卷积层、注意力层和池化层连接构成一层特征提取层，从而依次进行3D卷积处理、注意力加权处理和池化处理。其层数可以根据实际需要进行设定，优选为5层。
其中，通过三维卷积层得到第一图像特征数据的具体流程参照下述实施例，该注意力层的具体流程参照下述实施例，通过池化层得到图像特征提取结果的具体流程参照下述实施例，此处不再一一赘述。
步骤1222，将所述三维点云轮廓输入至所述三维重建模型的第一几何特征提取层，得到所述第一几何特征提取层输出的几何特征提取结果。
此处，第一几何特征提取层用于对三维点云轮廓进行几何特征提取。该几何特征提取结果为含高维特征的几何特征。例如，该几何特征提取结果的尺寸为(3380，1024)，1024为特征维度数。
具体地，基于第一几何特征提取层，将三维点云轮廓构建为图结构，对该图结构进行几何特征提取。
在一实施例中，通过聚类算法将三维点云轮廓构建为图结构。例如，该聚类算法为KNN(K-NearestNeighbor，K邻近)算法，即利用KNN算法选取三维点云轮廓中每个点的n个邻居点(如n＝27)，将每个点作为图的节点，每个点与其邻居点的连线作为图的边来构造图结构。
在一实施例中，第一几何特征提取层包括GCN(Graph Convolutional Network，图卷积神经网络)层，以基于GCN层提取图结构的几何特征，得到几何特征提取结果。进一步地，该GCN层可以为多层GCN层，即依次连接GCN层，以提取图结构的复杂几何特征。其层数可以根据实际需要进行设定，优选为6层。本发明考虑到GCN是一种用于图数据结构的特征提取器，其可以在相邻节点之间交换特征，并将特征返回到每个节点，形成消息在节点之间不断传递、聚合再更新的过程，从而利用GCN进行几何特征提取。
步骤1223，将所述图像特征提取结果和所述几何特征提取结果输入至所述三维重建模型的第一特征融合层，得到所述第一特征融合层输出的特征融合结果。
此处，第一特征融合层用于对图像特征提取结果和几何特征提取结果进行特征融合。特征融合结果为含高维特征的三维图像特征。例如，该特征融合结果的尺寸为13×13×20×1024，分别代表x，y，z三个方向的尺寸及特征维度数，即x方向的尺寸为13，y方向的尺寸为13，z方向的尺寸为20，特征维度数为1024。该特征融合结果可以通过立方体空间来表征。
在一些实施例中，将图像特征提取结果输入至第一特征融合层的第一注意力层，得到第一注意力层输出的第一特征数据；并将几何特征提取结果输入至第一特征融合层的第二注意力层，得到第二注意力层输出的第二特征数据；将第一特征数据和第二特征数据输入至第一特征融合层的特征融合层，得到特征融合层输出的特征融合结果。
在另一些实施例中，将图像特征提取结果输入至第一特征融合层的第一注意力层，得到第一注意力层输出的第一特征数据；将第一特征数据和几何特征提取结果输入至第一特征融合层的特征融合层，得到特征融合层输出的特征融合结果。
在另一些实施例中，将几何特征提取结果输入至第一特征融合层的第二注意力层，得到第二注意力层输出的第二特征数据；将图像特征提取结果和第二特征数据输入至第一特征融合层的特征融合层，得到特征融合层输出的特征融合结果。
可以理解的是，通过注意力层提高特征提取的准确性，进而提高三维重建效果。该注意力层可以为自注意力层或多头注意力层等等。
在一实施例中，特征融合层可以为多头注意力层，图像特征提取结果或第一特征数据可以作为查询(query)输入，几何特征提取结果或第二特征数据可以作为键(key)和值(value)输入。基于此，通过多头注意力层融合两种不同模态的特征，从而提高特征融合结果的准确性，进而提高三维重建效果。
进一步地，为了使图像特征提取结果和几何特征提取结果更好地融合，可以对图像特征提取结果和几何特征提取结果进行尺寸变更处理，以得到统一尺寸的特征。例如，对图像特征提取结果进行压缩，如将尺寸为13×13×20×1024的图像特征提取结果压缩为尺寸为(3380，1024)的结果。且特征融合结果可以将融合后的新特征进行还原得到。
步骤1224，将所述特征融合结果和所述预设三维几何形状数据输入至所述三维重建模型的三维重建层，得到所述三维重建层输出的所述三维重建结果。
此处，三维重建层用于基于特征融合结果和预设三维几何形状数据进行三维重建。
本发明实施例提供的器官三维重建方法，将三维MRI输入至三维重建模型的图像特征提取层，得到图像特征提取层输出的图像特征提取结果；并将三维点云轮廓输入至三维重建模型的第一几何特征提取层，得到第一几何特征提取层输出的几何特征提取结果；从而将图像特征提取结果和几何特征提取结果输入至三维重建模型的第一特征融合层，得到第一特征融合层输出的特征融合结果；进而将特征融合结果和预设三维几何形状数据输入至三维重建模型的三维重建层，得到三维重建层输出的三维重建结果，进而不仅关注三维MRI的图像特征，还关注三维几何的几何特征，即关注三维几何的全局结构信息，从而基于图像特征和几何特征更好地重建三维重建结果，进而提高器官三维重建的准确性，最终提高器官的三维重建效果。
基于上述任一实施例，该方法中，上述步骤1224包括：步骤12241、步骤12242、步骤12243、步骤12244。
步骤12241，将所述特征融合结果和所述预设三维几何形状数据输入至所述三维重建层的特征映射层，得到所述特征映射层输出的第一几何特征数据，所述特征映射层用于将所述特征融合结果的高维特征映射至所述预设三维几何形状数据对应的三维几何形状。
此处，第一几何特征数据为含高维特征的几何特征。例如，该第一几何特征数据的尺寸为(3380，1024)，1024为特征维度数。
步骤12242，将所述预设三维几何形状数据输入至所述三维重建层的第二几何特征提取层，得到所述第二几何特征提取层输出的第二几何特征数据。
此处，第二几何特征提取层用于对预设三维几何形状数据进行几何特征提取。该第二几何特征数据为含高维特征的几何特征。例如，该第二几何特征数据的尺寸为(3380，1024)，1024为特征维度数。
具体地，基于第二几何特征提取层，将预设三维几何形状数据构建为图结构，对该图结构进行几何特征提取。
在一实施例中，通过聚类算法将预设三维几何形状数据构建为图结构。例如，该聚类算法为KNN算法，即利用KNN算法选取预设三维几何形状数据(如三维点云数据)中每个点的n个邻居点(如n＝27)，将每个点作为图的节点，每个点与其邻居点的连线作为图的边来构造图结构。
在一实施例中，第二几何特征提取层包括GCN层，以基于GCN层提取图结构的几何特征，得到第二几何特征数据。进一步地，该GCN层可以为多层GCN层，即依次连接GCN层，以提取图结构的复杂几何特征。其层数可以根据实际需要进行设定，优选为6层。
步骤12243，将所述第一几何特征数据和所述第二几何特征数据输入至所述三维重建层的第二特征融合层，得到所述第二特征融合层输出的融合几何特征数据。
此处，第二特征融合层用于对第一几何特征数据和第二几何特征数据进行特征融合。融合几何特征数据为含高维特征的几何特征。该第二特征融合层的特征融合方式可以包括但不限于：相加处理、加权处理、多头注意力机制的融合处理、拼接处理等等。
在一具体实施例中，基于第二特征融合层，将第一几何特征数据和第二几何特征数据进行相加，得到融合几何特征数据。
步骤12244，将所述融合几何特征数据输入至所述三维重建层的预测层，得到所述预测层输出的所述三维重建结果。
此处，预测层用于对融合几何特征数据对应的三维几何形状进行变形。
具体地，基于预测层，对融合几何特征数据进行几何特征提取，并基于几何特征提取结果，逐步动态变形使融合几何特征数据对应的三维几何形状一步步逼近待重建器官的真实几何形状。
在一实施例中，预测层包括EdgeConv(动态图边卷积网络)层，基于EdgeConv层，对融合几何特征数据进行几何特征提取，并基于几何特征提取结果，逐步动态变形使融合几何特征数据对应的三维几何形状一步步逼近待重建器官的真实几何形状。进一步地，该EdgeConv层可以为多层EdgeConv层，即EdgeConv层依次连接。本发明实施例考虑到EdgeConv层是一种擅长提取点云特征信息的动态图边卷积层，其通过构造一个局部邻居图来动态维护局部几何信息，然后对节点与其邻居连接的边应用类卷积操作，其改变了各层固定节点的邻居，使图结构不断更新，进而让算法具有非局部扩散的性质，从而可以帮助点云更好地变形，基于此，本发明使用EdgeConv层。
本发明实施例提供的器官三维重建方法，将特征融合结果和预设三维几何形状数据输入至三维重建层的特征映射层，得到特征映射层输出的第一几何特征数据；并将预设三维几何形状数据输入至三维重建层的第二几何特征提取层，得到第二几何特征提取层输出的第二几何特征数据；从而将第一几何特征数据和第二几何特征数据输入至三维重建层的第二特征融合层，得到第二特征融合层输出的融合几何特征数据；进而将融合几何特征数据输入至三维重建层的预测层，得到预测层输出的三维重建结果。通过上述方式，本发明实施例可以更好地将预设三维几何形状数据对应的三维几何形状逐步动态变形至逼近待重建器官的真实几何形状，从而提高器官的三维重建效果。
基于上述任一实施例，该方法中，所述特征映射层是基于如下方式得到所述第一几何特征数据：
将所述特征融合结果的高维特征映射至预设点云数据，得到映射后的第一点云数据，并基于所述预设三维几何形状数据，构建第二点云数据；
对所述第一点云数据和所述第二点云数据进行融合，得到第三点云数据；
基于所述第三点云数据，构建图结构；
对所述图结构进行特征提取，得到所述第二点云数据对应的所述第一几何特征数据，以使所述第一点云数据的高维特征映射至所述第二点云数据对应的三维几何形状。
此处，预设点云数据为提前设定的点云数据，其可以根据特征融合结果的尺寸进行设定，该预设点云数据可以不携带特征信息，只需将特征融合结果中各点的高维特征映射至预设点云数据中对应的各点中即可。
此处，第一点云数据为涵盖特征融合结果的高维特征的点云数据。第二点云数据可以为不涵盖特征信息的点云数据，也可以为涵盖随机特征信息的点云数据。
此处，第三点云数据可以为第一点云数据和第二点云数据放在同一空间后形成的点云数据。如第一点云数据的尺寸为(3380，1024)，第二点云数据的尺寸为(3380，3)，则第三点云数据的尺寸为(6760，1024)。
具体地，将第三点云数据构建为图结构，并对该图结构进行几何特征提取，得到第二点云数据对应的第一几何特征数据。即最终只需得到第二点云数据对应的几何特征数据即可，无需得到第一点云数据对应的几何特征数据。如第一点云数据的尺寸为(3380，1024)，第二点云数据的尺寸为(3380，3)，则第三点云数据的尺寸为(6760，1024)，则第一几何特征数据的尺寸可以为(3380，1024)。
在一实施例中，通过聚类算法将第三点云数据构建为图结构。例如，该聚类算法为KNN算法，即利用KNN算法选取第三点云数据中每个点的n个邻居点(如n＝27)，将每个点作为图的节点，每个点与其邻居点的连线作为图的边来构造图结构。
在一实施例中，基于GCN层提取图结构的几何特征，得到几何特征数据，进而对几何特征数据进行筛选得到第二点云数据对应的第一几何特征数据。进一步地，该GCN层可以为多层GCN层，即依次连接GCN层，以提取图结构的复杂几何特征。其层数可以根据实际需要进行设定，优选为6层。本发明考虑到GCN是一种用于图数据结构的特征提取器，其可以在相邻节点之间交换特征，并将特征返回到每个节点，形成消息在节点之间不断传递、聚合再更新的过程，从而利用GCN对该图结构进行内部信息传递，使第一点云数据的高维特征按空间距离远近的不同程度映射到第二点云数据对应的三维几何形状。
为便于理解，换言之，将预设三维几何形状数据对应的三维几何形状放入该特征融合结果对应的立方体空间中，以将其构建新的图结构，使立方体空间的高维特征按空间距离远近的不同程度映射到三维几何形状中，最后将传递到三维几何形状的高维信息截取出来，作为三维几何形状的新特征(即第一几何特征数据)。
本发明实施例提供的器官三维重建方法，通过上述方式，为特征映射层输出第一几何特征数据提供支持，且可以更好地将特征融合结果的高维特征映射至预设三维几何形状数据对应的三维几何形状，从而更好地将预设三维几何形状数据对应的三维几何形状逐步动态变形至逼近待重建器官的真实几何形状，从而提高器官的三维重建效果。
基于上述任一实施例，该方法中，上述步骤1223包括：
将所述图像特征提取结果和所述几何特征提取结果输入至所述第一特征融合层的多头注意力层，得到所述多头注意力层输出的特征融合结果；
其中，所述图像特征提取结果作为查询输入，所述几何特征提取结果作为键和值输入。
此处，多头注意力层是利用多头注意力机制构建的。基于此，通过多头注意力层融合两种不同模态的特征，从而提高特征融合结果的准确性，进而提高三维重建效果。
进一步地，将图像特征提取结果输入至第一特征融合层的第一多头注意力层，得到第一多头注意力层输出的第一特征数据；并将几何特征提取结果输入至第一特征融合层的第二多头注意力层，得到第二多头注意力层输出的第二特征数据；将第一特征数据和第二特征数据输入至第一特征融合层的第三多头注意力层，得到第三多头注意力层输出的特征融合结果。其中，第一特征数据作为第三多头注意力层的查询(query)输入，第二特征数据分别作为第三多头注意力层的键(key)和值(value)输入。
可以理解的是，通过第一多头注意力层和第二多头注意力层，捕捉图像特征提取结果和几何特征提取结果内部各点的依赖关系，从而提高特征提取的准确性，进而提高三维重建效果。
本发明实施例提供的器官三维重建方法，通过多头注意力层融合两种不同模态的特征，从而提高特征融合结果的准确性，从而基于特征融合结果更好地重建三维重建结果，进而提高器官三维重建的准确性，最终提高器官的三维重建效果。
基于上述任一实施例，该方法中，上述步骤1221包括：
确定所述三维MRI中各二维MR图像的图像分割结果的置信度；
基于各所述置信度分别对各所述二维MR图像进行更新，得到更新后的三维MRI；
将所述更新后的三维MRI输入至所述图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果。
具体地，分别对三维MRI中各二维MR图像进行图像分割，得到多个图像分割结果，并获取各图像分割结果的置信度。在一具体实施例中，可以通过图像分割模型进行图像分割，该图像分割模型可以为二维分割模型，如2D U-net。
更为具体地，对于任一二维MR图像而言，将二维MR图像的图像分割结果的置信度与该二维MR图像相乘，得到更专注所分割器官区域(待重建器官区域)的二维MR图像(更新后的二维MR图像)。例如，将置信度与二维MR图像的像素值相乘，该像素值可以为灰度值等等。
在一实施例中，将更新后的三维MRI输入至图像特征提取层的三维卷积层，得到三维卷积层输出的图像特征提取结果。该三维卷积层用于进行3D卷积处理提取图像特征，该三维卷积层可以为多层三维卷积层，多个三维卷积层依次连接，从而依次进行3D卷积处理。其层数可以根据实际需要进行设定，优选为5层。
在另一实施例中，将更新后的三维MRI输入至图像特征提取层的三维卷积层，得到三维卷积层输出的第一图像特征数据；将第一图像特征数据输入至图像特征提取层的注意力层，得到注意力层输出的图像特征提取结果。基于此，通过注意力层使三维重建模型关注更重要的特征，从而高效提取特征，进而提高三维重建的准确性。进一步地，可以将三维卷积层和注意力层连接构成一层特征提取层，从而依次进行3D卷积处理和注意力加权处理。其层数可以根据实际需要进行设定，优选为5层。
在另一实施例中，将更新后的三维MRI输入至图像特征提取层的三维卷积层，得到三维卷积层输出的第一图像特征数据；将第一图像特征数据输入至图像特征提取层的池化层，得到池化层输出的图像特征提取结果。基于此，通过池化层压缩特征尺寸，以去除冗余信息并扩大感受野，进而提高三维重建的准确性。进一步地，可以将三维卷积层和池化层连接构成一层特征提取层，从而依次进行3D卷积处理和池化处理。其层数可以根据实际需要进行设定，优选为5层。
其中，通过三维卷积层得到第一图像特征数据的具体流程参照下述实施例，该注意力层的具体流程参照下述实施例，通过池化层得到图像特征提取结果的具体流程参照下述实施例，此处不再一一赘述。
本发明实施例提供的器官三维重建方法，基于三维MRI中各二维MR图像的图像分割结果的置信度分别对各二维MR图像进行更新，得到更新后的三维MRI，并将更新后的三维MRI输入至图像特征提取层，得到图像特征提取层输出的图像特征提取结果，从而使图像特征提取层更专注待重建器官区域的特征，进而提高图像特征提取结果的准确性，最终提高器官三维重建效果。
基于上述任一实施例，该方法中，所述将所述更新后的三维MRI输入至所述图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果，包括：
将所述更新后的三维MRI输入至所述图像特征提取层的三维卷积层，得到所述三维卷积层输出的第一图像特征数据；
将所述第一图像特征数据输入至所述图像特征提取层的注意力层，得到所述注意力层输出的第二图像特征数据；
将所述第二图像特征数据输入至所述图像特征提取层的池化层，得到所述池化层输出的图像特征提取结果。
此处，三维卷积层用于进行3D卷积处理提取图像特征。第一图像特征数据用于表征三维图像特征。例如，该第一图像特征数据的尺寸为13×13×20×64，分别代表x，y，z三个方向的尺寸及特征维度数，即x方向的尺寸为13，y方向的尺寸为13，z方向的尺寸为20，特征维度数为64。
此处，注意力层用于使三维重建模型关注第一图像特征数据中更重要的特征，从而高效提取特征，进而提高三维重建的准确性。该注意力层的注意力加权处理方式可以包括但不限于：通道维度的注意力处理、空间维度的注意力处理、自注意力处理、多头注意力处理等等。
在一实施例中，基于注意力层，对第一图像特征数据进行通道维度的注意力处理和空间维度的注意力处理，得到第二图像特征数据。即对第一图像特征数据进行注意力处理的方式可以为CBAM(Convolutional Block Attention Module，卷积注意力机制模块)方式。
在另一实施例中，基于注意力层，对第一图像特征数据进行通道维度的注意力处理，得到第二图像特征数据。基于此，使三维重建模型关注第一图像特征数据中更重要的特征维度，从而高效提取特征，进而提高三维重建的准确性。
在另一实施例中，基于注意力层，对第一图像特征数据进行空间维度的注意力处理，得到第二图像特征数据。基于此，使三维重建模型关注第一图像特征数据中更重要的空间位置，从而高效提取特征，进而提高三维重建的准确性。
此处，池化层用于压缩第二图像特征数据的尺寸，以去除冗余信息，并扩大感受野，进而提高三维重建的准确性。该池化层的池化方式可以包括但不限于：最大池化、平均池化等等。
进一步地，该图像特征提取层可以包括CNN层，该CNN层可以为多层CNN层，每一CNN层依次连接。其层数可以根据实际需要进行设定，优选为5层。每一CNN层可以包括依次连接的三维卷积层、注意力层、池化层。即通过多组CNN层逐步提取更新后的三维MRI的图像特征。
为便于理解，参照图4，以第一组CNN层为例进行说明。如更新后的三维MRI的尺寸为(300，300，20，1)，其分别表示x，y，z三个方向的尺寸及特征维度数；首先，利用三维卷积(3D Conv)对更新后的三维MRI初步提取图像特征，得到尺寸为(300，300，20，64)的第一图像特征数据；然后，将第一图像特征数据依次经过通道注意力模块(Channel attentionMoudle)和空间注意力模块(Spatial attention Moudle)进行注意力处理，得到尺寸为(300，300，20，64)的第二图像特征数据；最后，利用三维最大池化(3D Maxpooling)压缩第二图像特征数据，得到尺寸为(150，150，20，64)的第三图像特征数据。
本发明实施例提供的器官三维重建方法，通过上述方式，为图像特征提取层输出图像特征提取结果提供支持，且通过注意力层使三维重建模型关注第一图像特征数据中更重要的特征，从而高效提取特征，进而提高器官三维重建的准确性，且通过池化层压缩第二图像特征数据的尺寸，以去除冗余信息，并扩大感受野，进而提高器官三维重建的准确性。综上，最终提高器官三维重建效果。
基于上述任一实施例，该方法中，上述步骤121包括：步骤1211、步骤1212、步骤1213。
步骤1211，分别对所述三维MRI中各二维MR图像进行图像分割，得到多个分割后的二维MR图像。
具体地，通过图像分割模型，对输入的各二维MR图像进行逐张分割，得到多个分割后的二维MR图像。在一实施例中，该图像分割模型可以为已训练好的二维分割模型(如2D-Unet)。
步骤1212，分别对各所述分割后的二维MR图像进行图像轮廓提取，得到所述待重建器官对应的多个分割轮廓。
具体地，通过图像轮廓提取算法，分别对各分割后的二维MR图像进行图像轮廓提取，得到待重建器官对应的多个分割轮廓。
步骤1213，基于所述多个分割轮廓，构建所述待重建器官的三维点云轮廓。
在一实施例中，分别对各分割轮廓进行采样，得到各分割轮廓对应的采样结果；基于三维MRI中各二维MR图像的堆叠顺序，将多个采样结果沿Z方向堆叠，得到待重建器官的三维点云轮廓。进一步地，采样方式可以为均匀采样。
在另一实施例中，基于三维MRI中各二维MR图像的堆叠顺序，将多个分割轮廓沿Z方向堆叠，得到待重建器官的三维点云轮廓。
本发明实施例提供的器官三维重建方法，通过上述方式，为三维点云轮廓的构建提供支持，从而将该三维点云轮廓作为三维重建模型的额外输入，以便三维重建模型更好地提取待重建器官的三维结构信息，从而基于三维结构信息更好地重建三维重建结果，进而提高器官三维重建的准确性，最终提高器官的三维重建效果。
为便于理解以上各实施例，此处以一特定实施例进行说明。参照图5，首先，基于三维MRI(Input MRI)，构建待重建器官的三维点云轮廓(Point Clouds)；并确定三维MRI中各二维MR图像的图像分割结果的置信度；基于各置信度分别对各二维MR图像进行更新，得到更新后的三维MRI；然后，将更新后的三维MRI输入至三维重建模型的图像特征提取层(3DCNN)，得到图像特征提取层输出的图像特征提取结果；并将三维点云轮廓输入至三维重建模型的第一几何特征提取层，得到第一几何特征提取层输出的几何特征提取结果，该第一几何特征提取层先基于三维点云轮廓构建图结构，再通过GCN进行几何特征提取；之后，将图像特征提取结果和几何特征提取结果输入至多头注意力层(Multi-head Cross-attention)，得到多头注意力层输出的特征融合结果；之后，将特征融合结果和预设三维几何形状数据(Template)输入至三维重建层的特征映射层(Spherical feature mapper)，得到特征映射层输出的第一几何特征数据，即将特征融合结果的高维特征映射至预设点云数据，得到映射后的第一点云数据，并基于预设三维几何形状数据，构建第二点云数据，对第一点云数据和第二点云数据进行融合，得到第三点云数据，基于第三点云数据，构建图结构，通过GCN对图结构进行特征提取，得到第二点云数据对应的第一几何特征数据；并将预设三维几何形状数据输入至三维重建层的第二几何特征提取层，得到第二几何特征提取层输出的第二几何特征数据，即基于预设三维几何形状数据，构建图结构，通过GCN对图结构进行特征提取，得到第二几何特征数据；将第一几何特征数据和第二几何特征数据进行相加得到融合几何特征数据；最终，通过预测层(EdgeConv)对融合几何特征数据进行特征提取和逐步动态变形处理，得到三维重建结果(Output mesh)。
为便于理解以上各实施例，此处以一特定实施例进行说明。参照图6，首先，通过2DU-net分别对三维MRI(Input MRI)中各二维MR图像进行图像分割，得到多个分割后的二维MR图像，分别对各分割后的二维MR图像进行图像轮廓提取(即Find Contours)，得到待重建器官对应的多个分割轮廓，分别对多个分割轮廓进行采样(Sampling)，并将采样结果沿Z方向堆叠得到待重建器官的三维点云轮廓(Point Clouds)，该三维点云轮廓的尺寸为(3380，3)；确定三维MRI中各二维MR图像的图像分割结果的置信度，将各置信度分别与各二维MR图像进行相乘，得到更新后的三维MRI，该更新后的三维MRI的尺寸为(300，300，20，1)；然后，将更新后的三维MRI输入至三维重建模型的图像特征提取层，得到图像特征提取层输出的图像特征提取结果，该图像特征提取结果的尺寸为(13，13，20，1024)，该图像特征提取层包括5组CNN层，每一CNN层可以包括依次连接的三维卷积层(3D Convolution)、注意力层(3DCBAM)、池化层(3D Maxpooling)；并先采用KNN算法将三维点云轮廓构建为图结构，再通过6层GCN进行几何特征提取，得到几何特征提取结果，该图结构的尺寸为(3380，3)，该几何特征提取结果的尺寸为(3380，1024)；之后，将压缩(Flatten)后的图像特征提取结果和几何特征提取结果分别输入至多头注意力层(Multi-head Cross-attention)，再输入至多头注意力层(Multi-head Cross-attention)，最终得到特征融合结果，图像特征作为查询(Query)输入，几何特征提取结果分别作为键(Key)和值(Value)输入，该特征融合结果的尺寸为(3380，1024)，可以将其还原为(13，13，20，1024)的特征融合结果；之后，将特征融合结果和预设三维几何形状数据(Template)输入至三维重建层的特征映射层(Sphericalfeature mapper)，得到特征映射层输出的第一几何特征数据，即将特征融合结果的高维特征映射至预设点云数据，得到映射后的第一点云数据，并基于预设三维几何形状数据，构建第二点云数据，对第一点云数据和第二点云数据进行融合，得到第三点云数据，采用KNN将第三点云数据构建为图结构，通过6层GCN对图结构进行特征提取，得到第二点云数据对应的第一几何特征数据，该图结构的尺寸为(6760，1024)，该第一几何特征数据的尺寸为(3380，10024)；并将预设三维几何形状数据输入至三维重建层的第二几何特征提取层，得到第二几何特征提取层输出的第二几何特征数据，即采用KNN将预设三维几何形状数据构建为图结构，通过6层GCN对图结构进行特征提取，得到第二几何特征数据，该图结构和第二几何特征数据的尺寸均为(3380，10024)；之后，将第一几何特征数据和第二几何特征数据进行相加得到融合几何特征数据；最终，通过预测层(6层EdgeConv)对融合几何特征数据进行特征提取和逐步动态变形处理，得到三维重建结果(Out mesh)，该三维重建结果的尺寸为(3380，1024)。
此外，将本发明与Pixel2mesh和Pixel2mesh++这两种自然物体三维重建方式进行了比较。具体地，对三维重建结果进行了定量评估，该定量评估的指标包括但不限于以下至少一种：Chamfer Distance(CD)、Earth Mover’s Distance(EMD)、PC-to-PC L2距离(L2)、PC-to-PC L1距离(L1)。其中CD和EMD对点云的顺序没有要求。本发明的任一定量评估指标均明显优于Pixel2mesh和Pixel2mesh++。其中，EMD用于测量预测的三维几何的顶点与真实的三维几何顶点之间的推土机距离；L2用于测量预测的三维几何的顶点与真实的三维几何顶点之间按相应顺序的L2距离之和；L1用于测量预测的三维几何的顶点与真实的三维几何顶点之间按相应顺序的L1距离之和。
此外，为便于理解本发明的三维重建效果，如图7所示，展示了测试集中三组三维MRI样本(Subject 1、Subject 2、Subject 3)的三维重建结果的可视化结果。从主视图(Front View)、左视图(Left View)、后视图(Back View)、顶视图(Top side View)来看，预测的三维几何(Predicted)均接近于真实的三维几何(Ground-truth)。
通过上述各实施例，本发明可以避免传统方法中复杂繁琐的中间过程，大大缩短三维重建所需的时间。此外，该三维重建模型是通用的，这也为重建其他个体特异性较大的器官提供了一个思路。与Pixel2mesh等方法不同，该模型更好地融合图像和几何信息，有效地提高了变形的准确性。
最后，基于上述各实施例，本发明提供了一种基于深度学习的端到端重建技术，来简化从磁共振影像重建器官三维几何的过程。该技术使用卷积神经网络和图卷积神经网络的组合来提取图像和三维结构信息，使用交叉注意力机制来融合特征，并利用新设计的“球面特征映射模块”将高维信息传递到球形几何中，最后利用EdgeConv实现从球体模型到任意器官三维几何的渐进变形过程。整个重建过程所需时间缩短到3秒，并在重建人体膀胱三维几何的测试任务中取得了不错的效果。该技术可以应用于临床实践，从而提高诊疗效率。
下面对本发明提供的器官三维重建装置进行描述，下文描述的器官三维重建装置与上文描述的器官三维重建方法可相互对应参照。
图8为本发明提供的器官三维重建装置的结构示意图，如图8所示，该器官三维重建装置，包括：
获取模块810，用于获取待重建器官的三维磁共振成像MRI，以及预设三维几何形状数据，所述三维MRI包括至少两张二维磁共振MR图像；
重建模块820，用于将所述三维MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果；
其中，所述三维重建模型是基于三维MRI样本、所述预设三维几何形状数据和所述三维MRI样本对应的三维重建结果标签训练得到的。
图9示例了一种电子设备的实体结构示意图，如图9所示，该电子设备可以包括：处理器(processor)910、通信接口(Communications Interface)920、存储器(memory)930和通信总线940，其中，处理器910，通信接口920，存储器930通过通信总线940完成相互间的通信。处理器910可以调用存储器930中的逻辑指令，以执行器官三维重建方法，该方法包括：获取待重建器官的三维磁共振成像MRI，以及预设三维几何形状数据，所述三维MRI包括至少两张二维磁共振MR图像；将所述三维MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果；其中，所述三维重建模型是基于三维MRI样本、所述预设三维几何形状数据和所述三维MRI样本对应的三维重建结果标签训练得到的。
此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的器官三维重建方法，该方法包括：获取待重建器官的三维磁共振成像MRI，以及预设三维几何形状数据，所述三维MRI包括至少两张二维磁共振MR图像；将所述三维MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果；其中，所述三维重建模型是基于三维MRI样本、所述预设三维几何形状数据和所述三维MRI样本对应的三维重建结果标签训练得到的。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种器官三维重建方法，其特征在于，包括：
获取待重建器官的三维磁共振成像MRI，以及预设三维几何形状数据，所述三维磁共振成像MRI包括至少两张二维磁共振MR图像；
将所述三维磁共振成像MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果；
其中，所述三维重建模型是基于三维MRI样本、所述预设三维几何形状数据和所述三维MRI样本对应的三维重建结果标签训练得到的；
所述将所述三维磁共振成像MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果，包括：
基于所述三维磁共振成像MRI，构建所述待重建器官的三维点云轮廓；
将所述三维磁共振成像MRI、所述三维点云轮廓和所述预设三维几何形状数据输入至所述三维重建模型，得到所述三维重建模型输出的所述三维重建结果；
所述将所述三维磁共振成像MRI、所述三维点云轮廓和所述预设三维几何形状数据输入至所述三维重建模型，得到所述三维重建模型输出的所述三维重建结果，包括：
将所述三维磁共振成像MRI输入至所述三维重建模型的图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果；
将所述三维点云轮廓输入至所述三维重建模型的第一几何特征提取层，得到所述第一几何特征提取层输出的几何特征提取结果；
将所述图像特征提取结果和所述几何特征提取结果输入至所述三维重建模型的第一特征融合层，得到所述第一特征融合层输出的特征融合结果；
将所述特征融合结果和所述预设三维几何形状数据输入至所述三维重建模型的三维重建层，得到所述三维重建层输出的所述三维重建结果。
2.根据权利要求1所述的器官三维重建方法，其特征在于，所述将所述特征融合结果和所述预设三维几何形状数据输入至所述三维重建模型的三维重建层，得到所述三维重建层输出的所述三维重建结果，包括：
将所述特征融合结果和所述预设三维几何形状数据输入至所述三维重建层的特征映射层，得到所述特征映射层输出的第一几何特征数据，所述特征映射层用于将所述特征融合结果的高维特征映射至所述预设三维几何形状数据对应的三维几何形状；
将所述预设三维几何形状数据输入至所述三维重建层的第二几何特征提取层，得到所述第二几何特征提取层输出的第二几何特征数据；
将所述第一几何特征数据和所述第二几何特征数据输入至所述三维重建层的第二特征融合层，得到所述第二特征融合层输出的融合几何特征数据；
将所述融合几何特征数据输入至所述三维重建层的预测层，得到所述预测层输出的所述三维重建结果。
3.根据权利要求2所述的器官三维重建方法，其特征在于，所述特征映射层是基于如下方式得到所述第一几何特征数据：
将所述特征融合结果的高维特征映射至预设点云数据，得到映射后的第一点云数据，并基于所述预设三维几何形状数据，构建第二点云数据；
对所述第一点云数据和所述第二点云数据进行融合，得到第三点云数据；
基于所述第三点云数据，构建图结构；
对所述图结构进行特征提取，得到所述第二点云数据对应的所述第一几何特征数据，以使所述第一点云数据的高维特征映射至所述第二点云数据对应的三维几何形状。
4.根据权利要求1所述的器官三维重建方法，其特征在于，所述将所述图像特征提取结果和所述几何特征提取结果输入至所述三维重建模型的第一特征融合层，得到所述第一特征融合层输出的特征融合结果，包括：
将所述图像特征提取结果和所述几何特征提取结果输入至所述第一特征融合层的多头注意力层，得到所述多头注意力层输出的特征融合结果；
其中，所述图像特征提取结果作为查询输入，所述几何特征提取结果作为键和值输入。
5.根据权利要求1所述的器官三维重建方法，其特征在于，所述将所述三维磁共振成像MRI输入至所述三维重建模型的图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果，包括：
确定所述三维磁共振成像MRI中各二维MR图像的图像分割结果的置信度；
基于各所述置信度分别对各所述二维MR图像进行更新，得到更新后的三维MRI；
将所述更新后的三维MRI输入至所述图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果。
6.根据权利要求5所述的器官三维重建方法，其特征在于，所述将所述更新后的三维MRI输入至所述图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果，包括：
将所述更新后的三维MRI输入至所述图像特征提取层的三维卷积层，得到所述三维卷积层输出的第一图像特征数据；
将所述第一图像特征数据输入至所述图像特征提取层的注意力层，得到所述注意力层输出的第二图像特征数据；
将所述第二图像特征数据输入至所述图像特征提取层的池化层，得到所述池化层输出的图像特征提取结果。
7.根据权利要求1所述的器官三维重建方法，其特征在于，所述基于所述三维磁共振成像MRI，构建所述待重建器官的三维点云轮廓，包括：
分别对所述三维磁共振成像MRI中各二维MR图像进行图像分割，得到多个分割后的二维MR图像；
分别对各所述分割后的二维MR图像进行图像轮廓提取，得到所述待重建器官对应的多个分割轮廓；
基于所述多个分割轮廓，构建所述待重建器官的三维点云轮廓。
8.一种器官三维重建装置，其特征在于，包括：
获取模块，用于获取待重建器官的三维磁共振成像MRI，以及预设三维几何形状数据，所述三维磁共振成像MRI包括至少两张二维磁共振MR图像；
重建模块，用于将所述三维磁共振成像MRI和所述预设三维几何形状数据输入至三维重建模型，得到所述三维重建模型输出的所述待重建器官对应的三维重建结果；
其中，所述三维重建模型是基于三维MRI样本、所述预设三维几何形状数据和所述三维MRI样本对应的三维重建结果标签训练得到的；
所述重建模块还用于：
基于所述三维磁共振成像MRI，构建所述待重建器官的三维点云轮廓；
将所述三维磁共振成像MRI、所述三维点云轮廓和所述预设三维几何形状数据输入至所述三维重建模型，得到所述三维重建模型输出的所述三维重建结果；
所述重建模块还用于：
将所述三维磁共振成像MRI输入至所述三维重建模型的图像特征提取层，得到所述图像特征提取层输出的图像特征提取结果；
将所述三维点云轮廓输入至所述三维重建模型的第一几何特征提取层，得到所述第一几何特征提取层输出的几何特征提取结果；
将所述图像特征提取结果和所述几何特征提取结果输入至所述三维重建模型的第一特征融合层，得到所述第一特征融合层输出的特征融合结果；
将所述特征融合结果和所述预设三维几何形状数据输入至所述三维重建模型的三维重建层，得到所述三维重建层输出的所述三维重建结果。
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述器官三维重建方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述器官三维重建方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310574463.8A CN116797726B (zh) | 2023-05-20 | 2023-05-20 | 器官三维重建方法、装置、电子设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310574463.8A CN116797726B (zh) | 2023-05-20 | 2023-05-20 | 器官三维重建方法、装置、电子设备和存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116797726A CN116797726A (zh) | 2023-09-22 |
| CN116797726B true CN116797726B (zh) | 2024-05-07 |
Family
ID=88033781
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310574463.8A Active CN116797726B (zh) | 2023-05-20 | 2023-05-20 | 器官三维重建方法、装置、电子设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116797726B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118229913A (zh) * | 2024-03-29 | 2024-06-21 | 北京大希科技有限公司 | 基于特征描述符的室内三维重建方法 |
| CN118037994B (zh) * | 2024-04-15 | 2024-06-21 | 法琛堂(昆明)医疗科技有限公司 | 心脏三维结构重建方法及系统 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949404A (zh) * | 2019-01-16 | 2019-06-28 | 深圳市旭东数字医学影像技术有限公司 | 基于数字人与ct和/或mri图像融合的三维重建方法及系统 |
| CN110930424A (zh) * | 2019-12-06 | 2020-03-27 | 深圳大学 | 器官轮廓分析方法及装置 |
| CN113160380A (zh) * | 2021-03-04 | 2021-07-23 | 北京大学 | 三维磁共振影像超分辨重建方法、电子设备和存储介质 |
| CN113554742A (zh) * | 2020-04-26 | 2021-10-26 | 上海联影医疗科技股份有限公司 | 一种三维图像的重建方法、装置、设备及存储介质 |
| CN113781659A (zh) * | 2021-08-18 | 2021-12-10 | 深圳先进技术研究院 | 一种三维重建方法、装置、电子设备及可读存储介质 |
| CN113936090A (zh) * | 2021-06-18 | 2022-01-14 | 中国科学院自动化研究所 | 三维人体重建的方法、装置、电子设备及存储介质 |
| CN114092332A (zh) * | 2021-11-29 | 2022-02-25 | 桂林电子科技大学 | 一种头部三维mri超分辨率重建方法 |
| CN114299252A (zh) * | 2021-12-30 | 2022-04-08 | 中国电信股份有限公司 | 通用三维模型重建方法及装置、存储介质及电子设备 |
| CN115187640A (zh) * | 2022-03-15 | 2022-10-14 | 中国人民解放军联勤保障部队第九二〇医院 | 一种基于点云的ct与mri 3d/3d图像配准方法 |
| WO2022257345A1 (zh) * | 2021-06-07 | 2022-12-15 | 刘星宇 | 医学图像融合方法及系统、模型训练方法及存储介质 |
| CN115731365A (zh) * | 2022-11-22 | 2023-03-03 | 广州极点三维信息科技有限公司 | 基于二维图像的网格模型重建方法、系统、装置及介质 |
-
2023
- 2023-05-20 CN CN202310574463.8A patent/CN116797726B/zh active Active
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109949404A (zh) * | 2019-01-16 | 2019-06-28 | 深圳市旭东数字医学影像技术有限公司 | 基于数字人与ct和/或mri图像融合的三维重建方法及系统 |
| CN110930424A (zh) * | 2019-12-06 | 2020-03-27 | 深圳大学 | 器官轮廓分析方法及装置 |
| CN113554742A (zh) * | 2020-04-26 | 2021-10-26 | 上海联影医疗科技股份有限公司 | 一种三维图像的重建方法、装置、设备及存储介质 |
| CN113160380A (zh) * | 2021-03-04 | 2021-07-23 | 北京大学 | 三维磁共振影像超分辨重建方法、电子设备和存储介质 |
| WO2022257345A1 (zh) * | 2021-06-07 | 2022-12-15 | 刘星宇 | 医学图像融合方法及系统、模型训练方法及存储介质 |
| CN113936090A (zh) * | 2021-06-18 | 2022-01-14 | 中国科学院自动化研究所 | 三维人体重建的方法、装置、电子设备及存储介质 |
| CN113781659A (zh) * | 2021-08-18 | 2021-12-10 | 深圳先进技术研究院 | 一种三维重建方法、装置、电子设备及可读存储介质 |
| CN114092332A (zh) * | 2021-11-29 | 2022-02-25 | 桂林电子科技大学 | 一种头部三维mri超分辨率重建方法 |
| CN114299252A (zh) * | 2021-12-30 | 2022-04-08 | 中国电信股份有限公司 | 通用三维模型重建方法及装置、存储介质及电子设备 |
| CN115187640A (zh) * | 2022-03-15 | 2022-10-14 | 中国人民解放军联勤保障部队第九二〇医院 | 一种基于点云的ct与mri 3d/3d图像配准方法 |
| CN115731365A (zh) * | 2022-11-22 | 2023-03-03 | 广州极点三维信息科技有限公司 | 基于二维图像的网格模型重建方法、系统、装置及介质 |
Non-Patent Citations (3)
| Title |
|---|
| Three-dimensional self super-resolution for pelvic floor MRI using a convolutional neural network with multi-orientation data training;Feng F;Med Phys;20220118;第49卷(第2期);1083-1096 * |
| 基于MRI数据的人体器官三维重建;江贵平, 张煜, 陈武凡, 李树祥;第一军医大学学报;20050130(01);15-17 * |
| 基于卷积神经网络和多视图训练的磁共振影像三维自超分辨;冯飞等;医学生物力学;20210815;第36卷;464 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116797726A (zh) | 2023-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116797726B (zh) | 器官三维重建方法、装置、电子设备和存储介质 | |
| CN112927357B (zh) | 一种基于动态图网络的3d物体重建方法 | |
| Yifan et al. | Patch-based progressive 3d point set upsampling | |
| CN110599528A (zh) | 一种基于神经网络的无监督三维医学图像配准方法及系统 | |
| CN111968138B (zh) | 基于3d动态边缘不敏感性损失函数的医学图像分割方法 | |
| JP7135659B2 (ja) | 形状補完装置、形状補完学習装置、方法、及びプログラム | |
| CN111046855A (zh) | 图片识别方法、识别模型训练方法、装置及电子装置 | |
| CN110929736A (zh) | 多特征级联rgb-d显著性目标检测方法 | |
| CN115439694A (zh) | 一种基于深度学习的高精度点云补全方法及装置 | |
| CN111369564B (zh) | 一种图像处理的方法、模型训练的方法及装置 | |
| CN114419412A (zh) | 一种用于点云配准的多模态特征融合方法与系统 | |
| CN112132878A (zh) | 基于卷积神经网络的端到端大脑核磁共振图像配准方法 | |
| CN114972366A (zh) | 基于图网络的大脑皮层表面全自动分割方法及系统 | |
| Gharleghi et al. | Deep learning for time averaged wall shear stress prediction in left main coronary bifurcations | |
| CN115147426B (zh) | 基于半监督学习的模型训练与图像分割方法和系统 | |
| CN114565738A (zh) | 一种基于局部几何一致性与特征一致性的点云补全方法 | |
| Van Nguyen et al. | Geometric modeling: background for processing the 3d objects | |
| CN113593037A (zh) | 一种德劳内三角化表面重建模型的建立方法及其应用 | |
| CN115546270A (zh) | 多尺度特征融合的图像配准方法、模型训练方法及设备 | |
| CN113724185A (zh) | 用于图像分类的模型处理方法、装置及存储介质 | |
| CN112488996A (zh) | 非齐次三维食管癌能谱ct弱监督自动标注方法与系统 | |
| Gao et al. | Tetgan: A convolutional neural network for tetrahedral mesh generation | |
| CN111369662A (zh) | Ct图像中血管的三维模型重建方法及系统 | |
| CN112489048B (zh) | 一种基于深度网络的视神经自动分割方法 | |
| CN112750110A (zh) | 基于神经网络对肺部病灶区进行评估的评估系统和相关产品 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |