CN112598790A - 脑结构三维重建方法、装置及终端设备 - Google Patents
脑结构三维重建方法、装置及终端设备 Download PDFInfo
- Publication number
- CN112598790A CN112598790A CN202110026316.8A CN202110026316A CN112598790A CN 112598790 A CN112598790 A CN 112598790A CN 202110026316 A CN202110026316 A CN 202110026316A CN 112598790 A CN112598790 A CN 112598790A
- Authority
- CN
- China
- Prior art keywords
- brain
- point cloud
- image
- sample
- neural network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 210000004556 brain Anatomy 0.000 title claims abstract description 163
- 238000000034 method Methods 0.000 title claims abstract description 61
- 238000013528 artificial neural network Methods 0.000 claims abstract description 49
- 239000013598 vector Substances 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims abstract description 11
- 238000012549 training Methods 0.000 claims description 60
- 230000006870 function Effects 0.000 claims description 27
- 238000004590 computer program Methods 0.000 claims description 14
- 238000009826 distribution Methods 0.000 claims description 12
- 230000015654 memory Effects 0.000 claims description 12
- 238000003062 neural network model Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000001537 neural effect Effects 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 11
- 238000003745 diagnosis Methods 0.000 abstract description 7
- 239000000523 sample Substances 0.000 description 65
- 230000008569 process Effects 0.000 description 10
- 238000002595 magnetic resonance imaging Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 238000001356 surgical procedure Methods 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 4
- 210000000988 bone and bone Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000002599 functional magnetic resonance imaging Methods 0.000 description 2
- 238000002324 minimally invasive surgery Methods 0.000 description 2
- 230000036285 pathological change Effects 0.000 description 2
- 231100000915 pathological change Toxicity 0.000 description 2
- 210000003625 skull Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000000056 organ Anatomy 0.000 description 1
- 238000002600 positron emission tomography Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种脑结构三维重建方法、装置及终端设备。该方法包括：获取脑部的2D图像，将所述脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到所述脑部的3D点云；所述3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，所述ResNet编码器用于提取所述脑部的2D图像的编码特征向量，所述图卷积神经网络用于根据所述编码特征向量构建所述脑部的3D点云。基于本申请提供的脑结构三维重建方法可以将脑部的2D图像转化成脑部的3D点云，为医生提供更多的视觉信息，便于医生更好地进行诊疗。
Description
技术领域
本申请属于人工智能技术领域，尤其涉及一种脑结构三维重建方法、装置及终端设备。
背景技术
近年来，随着医学手术方法的不断发展，微创手术和机器人导航手术已逐渐应用于脑外科手术，医生可以通过微型探头对手术部位进行观察，但是微型探头的视角有限，且微型探头采集的图像属于二维(Second Dimension，2D)图像，无法为医生提供更多的视觉信息，不利用医生对病变部位进行精确的诊断和分析。与2D图像的扁平空间相比，三维(Three Dimensional，3D)点云数据包含有更多的空间结构信息，可以为医生提供更多的视觉信息，从而辅助医生更好地进行诊疗。因此，将2D图像重建为准确且清晰的3D点云具有重要意义。
发明内容
本申请实施例提供了一种脑结构三维重建方法、装置及终端设备，可以将脑部的2D图像转化成3D点云，为医生提供更多的视觉信息。
第一方面，本申请实施例提供了一种脑结构三维重建方法，该方法包括：获取脑部的2D图像，将脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到脑部的3D点云；3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，ResNet编码器用于提取脑部的2D图像的编码特征向量，图卷积神经网络用于根据编码特征向量构建脑部的3D点云。
基于本申请提供的一种脑结构三维重建方法，通过ResNet编码器可以有效地提取图像的编码特征信息，编码特征信息可以引导图卷积神经网络精准地构建3D点云，该方法可以将包含有限信息的2D图像重建成信息更加丰富、更加准确的3D点云，在诊疗的过程中可以针对病变部位为医生提供更多、更加准确地视觉信息，从而辅助医生更好地决策。
可选地，图卷积神经网络包括：多组交替设置的图卷积模块和分支模块，图卷积模块用于调整点云的位置坐标，分支模块用于扩充点云的个数。
基于上述可选方式，分支模块可以将点云的个数扩充至目标个数，图卷积模块可以调整点云的位置坐标并将坐标的维度降低至3维，使其可以正确地描述目标特征。通过交替使用图卷积模块和分支模块可以自顶向下生成3D点云，在保留祖先点云位置信息的情况下，充分利用点云相对位置，从而提高了重建的3D点云的准确性。
可选地，3D脑部点云重建模型是基于获取的训练样本集和对应的判别器训练得到的，训练样本集中包括多个训练样本，每个训练样本中包括2D脑部图像样本和2D脑部图像样本对应的脑部的3D点云样本。
可选地，3D脑部点云重建模型的训练方法包括：对于每个训练样本，将训练样本中的2D脑部图像样本输入到初始神经网络模型中，得到预测的3D点云；将预测的3D点云与训练样本中的3D点云样本输入到判别器中，得到训练样本判别结果；根据每个训练样本的判别结果、3D脑部点云重建模型的损失函数和判别器的损失函数进行迭代训练，得到3D脑部点云重建模型。
基于上述可选方式，神经网络模型中的图卷积神经网络和判别器构成生成对抗网络，在训练的过程中无需进行监督学习，降低了模型的训练复杂度，提高模型的泛化能力。
可选地，训练样本的获取方法包括：获取脑部的3D图像；对脑部的3D图像进行图像预处理后进行切片，得到2D脑部图像样本；根据3D图像得到脑部的3D点云样本。
基于上述可选方式，对获取的3D点云图像进行预处理去除噪声后，便于后续的图像处理，在不同方向上对预处理后的3D点云图像进行切割，并选取最清晰的一张2D图像作为ResNet编码器的输入，可以提高3D脑部点云重建的准确度。
可选地，3D脑部点云重建模型对应的损失函数为LE,G＝λ1LKL+λ2LCD+Ez～Z[D(G(z))]；
其中，LE,G表示3D脑部点云重建模型对应的损失值；λ1和λ2为常数；LKL表示KL散度；Z为所述ResNet编码器生成的编码特征向量的分布；z为编码特征向量；G(·)表示图卷积神经网络的输出，D(·)表示判别器，E(·)表示期望；LCD为所述初始神经网络模型预测的3D点云与3D点云样本之间的倒角距离。
可选地，判别器对应的损失函数为：
其中，
表示3D点云样本与所述初始神经网络模型预测的3D点云之间线性分割的采样，
E(·)为期望；G(·)表示图卷积神经网络的输出，D(·)表示判别器；Y表示3D点云样本，R表示3D点云样本分布；λgp为常数；
为梯度算子。
基于上述可选方式，融合倒角距离损失函数和推土机距离损失函数构建3D脑部点云重建模型的损失函数，比现有的仅通过倒角距离作为损失函数进行训练得到的模型的分类准确率更高，可以提高网络的精度，同时可以避免3D点云的边缘失真，提高点云图像的生成质量。
第二方面，本申请实施例提供了一种3D点云重建装置，该装置包括：获取单元，用于获取脑部的2D图像；重建单元，用于将所述脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到所述脑部的3D点云；所述3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，所述ResNet编码器用于提取所述脑部的2D图像的编码特征向量，所述图卷积神经网络用于根据所述编码特征向量构建所述脑部的3D点云。
第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行所述计算机程序时实现第一方面中的任意一种方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现第一方面中的任意一种方法。
第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在处理器上运行时，使得处理器执行上述第一方面中任一项所述的方法
可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请提供的一种3D脑部点云重建模型的结构示意图；
图2是本申请提供的一种脑结构三维重建方法的流程示意图；
图3是本申请提供的一种3D脑部点云重建训练模型的结构示意图；
图4是本申请提供的一种3D脑部点云重建模型的训练流程示意图；
图5是本申请提供的一种脑结构三维重建装置的结构示意图；
图6是本申请提供的一种终端设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
近年来，随着医学手术方法的不断发展，微创手术和机器人导航手术已逐渐应用于脑外科手术，医生可以通过微型探头对手术部位进行观察，但是微型探头的视角有限，微型探头采集的图像属于2D图像，无法为医生提供更多的视觉信息，不利用医生对病变部位进行精确的诊断和分析。
点云是一种描述三维空间中特定对象形状结构的一种数据结构，具有空间复杂度小、储存形式简单和计算性能高等优点。与2D图像的扁平空间相比，3D点云数据包含有更多的空间结构信息，可以为医生提供更多的视觉信息，从而辅助医生更好地进行诊疗。因此，将2D图像重建为准确且清晰的3D点云具有重要意义。
为此，本申请提供了一种脑结构三维重建方法、装置及终端设备。可以将脑部的2D图像转化成3D点云，为医生提供更好的视觉信息，从而可以更好地进行诊疗。
下面结合附图对本申请提供的3D脑部点云重建模型及其训练方法，和脑结构三维重建方法进行详细介绍。
图1是本申请提供的一种3D脑部点云重建模型。该模型包括：ResNet(残差网络)编码器和图卷积神经网络(Graph Convolutional Network，GCN)。其中，图卷积神经网络作为3D脑部点云重建模型的生成器，包括多组交替设置的分支模块和图卷积模块。
在本实施例中，将脑部的2D图像输入到ResNet编码器中，ResNet编码器可以提取2D图像的编码特征向量。ResNet编码器先将2D图像量化成具有一定均值和方差的且服从高斯分布的特征向量，再从特征向量中随机抽取预设维度的高维编码特征向量(例如，96维的编码特征向量)，并将编码特征向量传递给图卷积神经网络。该编码特征向量即为输入图卷积神经网络的一个初始点云，坐标维度为96。
图卷积神经网络中，分支模块用于扩充点云的个数，图卷积模块用于调整每个点云的位置坐标，交替使用分支模块和图卷积模块可以精准地重建出脑部的3D点云。
在一个实施例中，脑部的2D图像可以是以任意角度拍摄的MRI(MagneticResonance Imaging)、CT(Computed Tomography)、PET(Positron Emission ComputedTomography)、DTI(Diffusion Tensor Imaging)或FMRI(Functional Magnetic ResonanceImaging)等图像。
图2为本申请提供的一种脑结构三维重建方法的一个实施例的流程图，该方法的执行主体可以是影像数据采集设备，例如正电子发射型计算机断层显像PET设备、CT设备或者MRI设备等终端设备。还可以是影像数据采集设备的控制设备、计算机、机器人、移动终端等终端设备。如图2所示，该方法包括：
S201，获取脑部的2D图像。
该2D图像的大小满足ResNet编码器的输入要求。2D图像可以是以任意角度拍摄的MRI、CT、PET、DTI或者fMRI等脑部影像。当然，为了得到更精确的3D点云，可以选择具有更多脑部特征的角度拍摄得到2D图像。
S202，将脑部的2D图像输入到ResNet编码器中，得到编码特征向量。
在本实施例中，ResNet编码器先将脑部的2D图像量化成具有一定均值μ和方差σ的且服从高斯分布的特征向量，再从特征向量中随机抽取96维的编码特征向量z，并将编码特征向量z传递给图卷积神经网络。该编码特征向量作为输入图卷积神经网络的初始点云，数量为1，坐标维度为96。
S203，图卷积神经网络根据编码特征向量构建脑部的3D点云。
如图1所示，图卷积神经网络包括多个交替设置的分支模块和图卷积模块，其中，分支模块可以将一个点云映射成多个点云，那么，通过多个分支模块可以将1个初始点云逐渐扩充到目标个数的点云。图卷积模块用于调整各个点云的位置坐标，通过多个图卷积模块对输入的每个点云的坐标维度进行升维或者降维，以逐渐将点云的坐标维度从96维降为3维。因此，通过交替设置的多个图卷积模块和分支模块，使得图卷积神经网络最终生成一个具有特定点云个数的3D点云，每个点云具有3维的位置坐标。
其中，分支模块服从公式(1)：
公式(1)中，
表示图卷积神经网络第l层网络中的第i个点云；
表示图卷积神经网络第l+1层网络中的第i个点云；
表示图卷积神经网络第l+1层网络中的第i+1个点云；
表示图卷积神经网络第l+1层网络中的第i+n个点云。
也就是说，在本实施例中，分支模块可以将上层中的每个点云的坐标分别复制成n个。若上层有a(i∈a)个点云，将每个点云的坐标复制成n个，则本层的分支模块可以将点云的个数扩充为a×n个，并将所述a×n个点云坐标传递给下一层。若图卷积神经网络中包括b(l∈b，且b≥1，b为正整数)b个分支模块，且每个分支模块的扩展倍数相同，均为n，则ResNet编码器将一个初始点云输入到图卷积神经网络中后，图卷积神经网络中的每个分支模块将每个点云的坐标复制成n个，则图卷积神经网络最终生成的预测的3D点云中包含nb个点云。
当然，每个分支模块的扩展倍数也可以不同。比如说第一层分支模块的扩展倍数是5，可以将ResNet编码器将输入的一个初始点云扩充为5个点云。第二层分支模块的扩展倍数是10，则第二层接收到5个点云后即可将5个点云扩充为50个点云。
图卷积模块服从公式(2)：
公式(2)中，
表示第l层中的K个感知机；
为全连接层，表示第l层节点与第l+1层节点之间的映射关系；
表示与第l层中第i个节点
对应的第1至l-1层的所有节点(即祖先节点)的合集；
为稀疏矩阵；
表示第l层节点的各祖先节点到第l+1层节点的特征分布；bl为偏置参数；σ(·)表示激活函数。
基于本申请提供的一种3D点云重建方法，通过ResNet编码器可以有效地提取图像的编码特征信息，编码特征信息可以引导图卷积神经网络精准地构建3D点云，该方法可以将包含有限信息的2D图像重建成信息更加丰富、更加准确的3D点云，在诊疗的过程中可以针对病变部位为医生提供更多、更加准确地视觉信息，从而辅助医生更好地决策。
当然，除了重建3D脑部点云以外，本申请提供的3D脑部点云模型也可以重建医学领域中其它各个器官的3D点云，还可以应用于建筑、制造业等领域，例如重建房屋、工艺品等的3D点云。
图3是本申请提供的一种3D脑部点云重建训练模型。该模型包括：ResNet编码器、图卷积神经网络和判别器。其中，图卷积神经网络和判别器构成生成对抗生成网络。将图卷积神经网络预测的3D点云和3D点云样本输入到判别器中，得到判别结果。根据判别结果、3D脑部点云重建模型的损失函数和判别器的损失函数进行迭代训练，得到3D脑部点云重建模型。训练好的3D脑部点云重建模型可用于构建脑部的2D图像对应的3D点云。
3D脑部点云重建模型的训练流程图如图4所示。训练过程如下：
S401，获取训练样本集。
训练样本集中包括多个训练样本，每个训练样本包括2D脑部图像样本和与2D脑部图像样本对应的脑部的3D点云样本。首先获取脑部的3D图像，然后对脑部的3D图像进行图像预处理后进行切片，得到对应2D脑部图像样本，根据脑部的3D图像还可以得到对应脑部的3D点云样本，脑部的3D点云样本为真实的3D脑部点云图像。
示例性的，以3D脑部MRI图像为例。首先获取真实的3D脑部MRI图像，在对真实的3D脑部MRI图像进行预处理后，从不同方向上对3D脑部MRI图像进行切片，选取最佳平面附近的2D切片图像作为训练样本中的2D脑部图像样本。并且，基于第一3D脑部MRI图像获取3D点云样本。
在一个实施例中，对真实的3D脑部MRI图像进行预处理包括：清洗去噪、去除颅骨和去除脖骨。
在一个实施例中，最佳平面附近的2D切片图像可以通过人为的选取最清晰且最大的2D切片图像，或者选取中间几层的2D切片图像作为2D脑部图像样本。
S402，通过ResNet编码器提取训练样本集的编码特征向量。
在一种可能的实现方式中，一个2D样本图像可以表示为IH×W，其中H和W分别表示图像的长度和宽度。将IH×W输入到ResNet编码器中，ResNet可以将输入图像IH×W的特征量化成一个具有特定均值μ和方差σ的高斯分布向量，并从向量中随机抽取96维的编码特征向量z～N(μ,σ2)，并将编码特征向量z传递给图卷积神经网络。ResNet可以通过公式(3)计算KL散度。
公式(3)中，LKL为KL散度；X为Q值或P值的总个数；Q(x)为编码器根据编码特征向量z得到的第x个概率分布；P(x)为预设的第x个概率分布。
S403，将编码特征向量输入到图卷积神经网络中，得到预测的3D点云。
该步骤具体地实现方式如上述S203所述，此处不再赘述。
S404，将预测的3D点云与3D点云样本输入到判别器中进行训练。
在本实施例中，如图3所示，判别器包括多个全连接层。判别器的输入为预测的3D点云与3D点云样本，判别器可以判断预测的3D脑部点云中每个点云的真假概率，一定为真则概率为1，一定为假则概率为0。并根据点云的实际真假情况计算预测的3D点云G(z)与3D点云样本Y之间差值，差值可以表示为公式G(z)-Y。
在训练的过程中，ResNet编码器和图卷积神经网络使用相同的损失函数并一同训练，判别器则单独训练。ResNet编码器和图卷积神经网络损失函数为公式(4)：
LE,G＝λ1LKL+λ2LCD+Ez～Z[D(G(z))] (4)
公式(4)中，LE,G为ResNet编码器和图卷积神经网络的损失函数；λ1和λ2为常数；LKL为公式(1)中的KL散度；Z为所述ResNet编码器生成的编码特征向量的分布；z表示所述编码特征向量，相当于Q(x)；G(z)为图卷积神经网络预测的3D点云；D(G(z))表示图卷积神经网络预测的3D点云输入到判别器后得到的值；E(·)表示期望；LCD为图卷积神经网络预测的3D点云与3D点云样本之间的倒角距离(Chamfer Distance，CD)，该倒角距离可以表示为公式(5)：
在公式(5)中，Y为真实的所有3D点云坐标矩阵，y为矩阵Y中的一个点云坐标向量；Y′为图卷积神经网络得到的预测的所有3D点云坐标矩阵，y′为矩阵Y′中的一个点云坐标向量。示例性的，若Y为由m个点云坐标组成的m×3的矩阵，则y为Y中一个点云对应的大小为1×3的坐标向量。
判别器的损失函数由推土机距离(Earth Mover Distance，EMD)损失函数推导而成，具体可以表示为公式(6)：
在公式(6)中，
表示3D点云样本与预测的3D点云之间线性分割的采样，即3D点云样本与预测的3D点云之间的差值，
E(·)为期望；D(G(z))表示图卷积神经网络预测的3D点云G(z)输入到判别器后得到的值；D(Y)表示3D点云样本Y输入到判别器后得到的值；R为3D点云样本分布；λgp为常数；
为梯度算子。
当判别其的损失函数和3D脑部点云重建模型的损失函数同时满足要求时，表示模型已经收敛，初始3D脑部点云重建模型已经完成训练，得到训练好的3D脑部点云重建模型。
训练好的3D脑部点云重建模型可以用于构建2D图像对应的3D点云。本申请实施例提供的3D脑部点云重建模型融合了ResNet编码器和图卷积神经网络。在训练模型中融入判别器，使图卷积神经网络和判别器构成生成对抗生成网络。ResNet编码器可以有效提取输入图像的编码信息特征向量，为生成对抗网络的训练提供了先验指导，使生成对看网络的训练过程更加简便。且本申请通过交替使用图卷积模块和分支模块扩充点云的个数以及调整点云的位置坐标，使得图卷积神经网络预测的3D点云更加精确。在训练的过程中，将倒角距离损失函数与推土机距离损失函数进行融合对模型进行训练，比现有的仅通过倒角距离损失函数进行训练得到的模型的分类准确率更高。
表1为本申请提供的3D脑部点云重建模型与PointOutNet模型(一种3D点云重建模型)在倒角距离、点到点误差和分类准确率等指标上的一些对比结果。从表1中可以看出，本申请提供的3D脑部点云重建模型在这三种指标上都优于PointOutNet模型。
表1
图5是本申请提供的一种脑结构三维重建装置的结构示意图。该脑结构三维重建装置500包括：获取单元501和重建单元504和存储单元505。获取单元501用于获取脑部的2D图像。存储单元505用于存储已训练的3D脑部点云重建模型。重建单元504用于将脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到脑部的3D点云；已训练的3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，ResNet编码器用于提取脑部的2D图像的编码特征向量，图卷积神经网络用于根据编码特征向量构建脑部的3D点云。
在一个实施例中，获取单元501还用于获取脑部的3D图像，存储单元505用于存储训练样本集。
在一种可能的实现方式中，脑结构三维重建装置还包括图像处理单元502和训练单元503。
其中，图像处理单元502用于对获取单元501获取到的脑部的3D图像进行预处理和切片，得到训练样本集，训练样本集中包括多个训练样本，每个训练样本包括2D脑部图像样本和与2D脑部图像样本对应的脑部的3D点云样本。预处理包括清洗去噪、去除颅骨和去除脖骨，从不同角度对预处理后的脑部的3D图像进行切片，选取最佳平面附近的2D切片图像作为训练样本中的2D样本图像。
训练单元503用于训练3D脑部点云重建模型。对于每个训练样本，将训练样本中的2D脑部图像样本输入到初始神经网络模型中，得到预测的脑部的3D点云。将预测的脑部的3D点云与训练样本中的脑部的3D点云样本输入到判别器中，得到判别结果。根据判别结果、3D脑部点云重建模型的损失函数和判别器的损失函数进行迭代训练，得到3D脑部点云重建模型。
图6是本申请提供的一种3D点云重建设备的结构示意图。设备600可以是终端设备或服务器或芯片。设备600包括一个或多个处理器601，该一个或多个处理器601可支持设备600实现上述方法实施例中描述的方法。处理器601可以是通用处理器或者专用处理器。例如，处理器601可以是中央处理器(central processing unit，CPU)。CPU可以用于对设备600进行控制，执行软件程序，处理软件程序的数据。
在一个是实施例中，设备600可以包括通信单元605，用以实现信号的输入(接收)和输出(发送)。例如，设备600可以是芯片，通信单元605可以是该芯片的输入和/或输出电路，或者，通信单元605可以是该芯片的通信接口，该芯片可以作为终端设备或网络设备或其它电子设备的组成部分。又例如，设备600可以是终端设备或服务器，通信单元605可以是该终端设备或该服务器的收发器，或者，通信单元605可以是该终端设备或该服务器的收发电路。
在另一个实施例中，设备600中可以包括一个或多个存储器602，其上存有程序604，程序604可被处理器601运行，生成指令603，使得处理器601根据指令603执行上述方法实施例中描述的方法。
在其它实施例中，存储器602中还可以存储有数据(例如3D点云重建模型)。可选地，处理器601还可以读取存储器602中存储的数据，该数据可以与程序604存储在相同的存储地址，该数据也可以与程序604存储在不同的存储地址。
处理器601和存储器602可以单独设置，也可以集成在一起，例如，集成在终端设备的系统级芯片(system on chip，SOC)上。
处理器601执行3D点云重建方法的具体方式可以参见上述实施例中的相关描述。
应理解，上述方法实施例的各步骤可以通过处理器601中的硬件形式的逻辑电路或者软件形式的指令完成。处理器601可以是CPU、数字信号处理器(digital signalprocessor，DSP)、专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field programmable gate array，FPGA)或者其它可编程逻辑器件，例如，分立门、晶体管逻辑器件或分立硬件组件。
本申请实施例还提供了一种网络设备，该网络设备包括：至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在清洁机器人上运行时，使得清洁机器人执行时实现可实现上述各个方法实施例中的步骤。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种脑结构三维重建方法，其特征在于，所述方法包括：
获取脑部的2D图像，将所述脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到所述脑部的3D点云；
所述3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，所述ResNet编码器用于提取所述脑部的2D图像的编码特征向量，所述图卷积神经网络用于根据所述编码特征向量构建所述脑部的3D点云。
2.根据权利要求1所述的方法，其特征在于，所述图卷积神经网络包括：多组交替设置的图卷积模块和分支模块，所述图卷积模块用于调整点云的位置坐标，所述分支模块用于扩充点云的个数。
3.根据权利要求1或2所述的方法，其特征在于，所述3D脑部点云重建模型是基于获取的训练样本集和对应的判别器训练得到的，所述训练样本集中包括多个训练样本，每个训练样本中包括的2D脑部图像样本和所述2D脑部图像样本对应的脑部的3D点云样本。
4.根据权利要求3所述的方法，其特征在于，所述3D脑部点云重建模型的训练方法包括：
对于每个训练样本，将所述训练样本中的2D脑部图像样本输入到初始神经网络模型中，得到预测的3D点云；
将所述预测的3D点云与所述训练样本中的3D点云样本输入到所述判别器中处理，得到所述训练样本的判别结果；
根据每个训练样本的判别结果、所述3D脑部点云重建模型的损失函数和所述判别器的损失函数进行迭代训练，得到所述3D脑部点云重建模型。
5.根据权利要求4所述的方法，其特征在于，所述3D脑部点云重建模型的损失函数为：LE,G＝λ1LKL+λ2LCD+Ez～Z[D(G(z))]；
其中，LE,G表示3D脑部点云重建模型对应的损失值；λ1和λ2为常数；LKL表示KL散度；Z为所述ResNet编码器生成的编码特征向量的分布；z表示所述编码特征向量；G(·)表示图卷积神经网络的输出，D(·)表示判别器，E(·)表示期望；LCD为所述初始神经网络模型预测的3D点云与3D点云样本之间的倒角距离。
6.根据权利要求4所述的方法，其特征在于，所述判别器的损失函数为：
其中，
表示3D点云样本与所述初始神经网络模型预测的3D点云之间线性分割的采样，
E(·)为期望；G(·)表示图卷积神经网络的输出，D(·)表示判别器；Y表示3D点云样本，R表示3D点云样本分布；λgp为常数；
为梯度算子。
7.根据权利要求3所述的方法，其特征在于，训练样本的获取方法包括：
获取脑部的3D图像；
对所述脑部的3D图像进行图像预处理后进行切片，得到2D脑部图像样本；
根据所述3D图像得到所述脑部的3D点云样本。
8.一种脑结构三维重建装置，其特征在于，包括：
获取单元，用于获取脑部的2D图像；
重建单元，用于将所述脑部的2D图像输入到已训练的3D脑部点云重建模型中进行处理，输出得到所述脑部的3D点云；所述3D脑部点云重建模型包括：ResNet编码器和图卷积神经网络，所述ResNet编码器用于提取所述脑部的2D图像的编码特征向量，所述图卷积神经网络用于根据所述编码特征向量构建所述脑部的3D点云。
9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至9任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至9任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110026316.8A CN112598790A (zh) | 2021-01-08 | 2021-01-08 | 脑结构三维重建方法、装置及终端设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110026316.8A CN112598790A (zh) | 2021-01-08 | 2021-01-08 | 脑结构三维重建方法、装置及终端设备 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112598790A true CN112598790A (zh) | 2021-04-02 |
Family
ID=75207318
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110026316.8A Pending CN112598790A (zh) | 2021-01-08 | 2021-01-08 | 脑结构三维重建方法、装置及终端设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112598790A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642712A (zh) * | 2021-08-17 | 2021-11-12 | 成都视海芯图微电子有限公司 | 一种基于深度学习的点云数据处理器及方法 |
| CN114092653A (zh) * | 2022-01-11 | 2022-02-25 | 深圳先进技术研究院 | 基于2d图像重建3d图像方法、装置、设备及存储介质 |
| WO2023044605A1 (zh) * | 2021-09-22 | 2023-03-30 | 深圳先进技术研究院 | 极端环境下脑结构的三维重建方法、装置及可读存储介质 |
| WO2023133675A1 (zh) * | 2022-01-11 | 2023-07-20 | 深圳先进技术研究院 | 基于2d图像重建3d图像方法、装置、设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109389671A (zh) * | 2018-09-25 | 2019-02-26 | 南京大学 | 一种基于多阶段神经网络的单图像三维重建方法 |
| US20190130562A1 (en) * | 2017-11-02 | 2019-05-02 | Siemens Healthcare Gmbh | 3D Anisotropic Hybrid Network: Transferring Convolutional Features from 2D Images to 3D Anisotropic Volumes |
| CN111462264A (zh) * | 2020-03-17 | 2020-07-28 | 中国科学院深圳先进技术研究院 | 医学图像重建方法、医学图像重建网络训练方法和装置 |
| CN111598998A (zh) * | 2020-05-13 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 三维虚拟模型重建方法、装置、计算机设备和存储介质 |
| CN111657935A (zh) * | 2020-05-11 | 2020-09-15 | 浙江大学 | 一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质 |
| CN112150608A (zh) * | 2020-09-07 | 2020-12-29 | 鹏城实验室 | 一种基于图卷积神经网络的三维人脸重建方法 |
-
2021
- 2021-01-08 CN CN202110026316.8A patent/CN112598790A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20190130562A1 (en) * | 2017-11-02 | 2019-05-02 | Siemens Healthcare Gmbh | 3D Anisotropic Hybrid Network: Transferring Convolutional Features from 2D Images to 3D Anisotropic Volumes |
| CN109389671A (zh) * | 2018-09-25 | 2019-02-26 | 南京大学 | 一种基于多阶段神经网络的单图像三维重建方法 |
| CN111462264A (zh) * | 2020-03-17 | 2020-07-28 | 中国科学院深圳先进技术研究院 | 医学图像重建方法、医学图像重建网络训练方法和装置 |
| CN111657935A (zh) * | 2020-05-11 | 2020-09-15 | 浙江大学 | 一种基于层次图卷积神经网络的癫痫脑电识别系统、终端及存储介质 |
| CN111598998A (zh) * | 2020-05-13 | 2020-08-28 | 腾讯科技（深圳）有限公司 | 三维虚拟模型重建方法、装置、计算机设备和存储介质 |
| CN112150608A (zh) * | 2020-09-07 | 2020-12-29 | 鹏城实验室 | 一种基于图卷积神经网络的三维人脸重建方法 |
Non-Patent Citations (3)
| Title |
|---|
| DONG WOOK SHU 等: "3D Point Cloud Generative Adversarial Network Based on Tree Structured Graph Convolutions", 2019 IEEE/CVF INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), 27 February 2020 (2020-02-27), pages 3859 - 3868 * |
| RICK GROENENDIJK 等: "MULTI-LOSS WEIGHTING WITH COEFFICIENT OF VARIATIONS", ARXIV:2009.01717V2, 11 November 2020 (2020-11-11), pages 1 - 11 * |
| XIAO YUN ZHOU 等: "One-stage Shape Instantiation from a Single 2D Image to 3D Point Cloud", ARXIV:1907.10763V1, 24 July 2019 (2019-07-24), pages 1 - 9 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113642712A (zh) * | 2021-08-17 | 2021-11-12 | 成都视海芯图微电子有限公司 | 一种基于深度学习的点云数据处理器及方法 |
| CN113642712B (zh) * | 2021-08-17 | 2023-08-08 | 成都视海芯图微电子有限公司 | 一种基于深度学习的点云数据处理器及方法 |
| WO2023044605A1 (zh) * | 2021-09-22 | 2023-03-30 | 深圳先进技术研究院 | 极端环境下脑结构的三维重建方法、装置及可读存储介质 |
| CN114092653A (zh) * | 2022-01-11 | 2022-02-25 | 深圳先进技术研究院 | 基于2d图像重建3d图像方法、装置、设备及存储介质 |
| WO2023133675A1 (zh) * | 2022-01-11 | 2023-07-20 | 深圳先进技术研究院 | 基于2d图像重建3d图像方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112598790A (zh) | 脑结构三维重建方法、装置及终端设备 | |
| CN109658419B (zh) | 一种医学图像中小器官的分割方法 | |
| Davies et al. | A minimum description length approach to statistical shape modeling | |
| CN110009669B (zh) | 一种基于深度强化学习的3d/2d医学图像配准方法 | |
| US20180225847A1 (en) | Systems and methods for data and model-driven image reconstruction and enhancement | |
| JP2023550844A (ja) | 深層形状学習に基づく肝臓ｃｔ自動分割方法 | |
| CN112614169B (zh) | 基于深度学习网络的2d/3d脊椎ct层级配准方法 | |
| CN112862813A (zh) | 标记点提取方法、装置、电子设备及计算机存储介质 | |
| CN111226258A (zh) | 信号转换系统和信号转换方法 | |
| CN113936090A (zh) | 三维人体重建的方法、装置、电子设备及存储介质 | |
| CN112884819A (zh) | 一种影像配准及神经网络的训练方法、装置和设备 | |
| CN111968137A (zh) | 头部ct图像分割方法、装置、电子设备及存储介质 | |
| CN114298997A (zh) | 一种伪造图片检测方法、装置及存储介质 | |
| CN108596900B (zh) | 甲状腺相关性眼病医学影像数据处理装置、方法、计算机可读存储介质及终端设备 | |
| Oulbacha et al. | MRI to C‐arm spine registration through Pseudo‐3D CycleGANs with differentiable histograms | |
| US20230410315A1 (en) | Deep magnetic resonance fingerprinting auto-segmentation | |
| WO2022147783A1 (zh) | 脑结构三维重建方法、装置及终端设备 | |
| CN113920243A (zh) | 极端环境下脑结构的三维重建方法、装置及可读存储介质 | |
| Lou et al. | Self-supervised surgical instrument 3D reconstruction from a single camera image | |
| CN113327221A (zh) | 融合roi区域的图像合成方法、装置、电子设备及介质 | |
| CN114693753B (zh) | 基于纹理保持约束的三维超声弹性配准方法及装置 | |
| WO2024055493A1 (zh) | 基于深度相位相关的异构三维观测配准方法、介质及设备 | |
| CN115409952B (zh) | 一种结核性脑膜脑炎重建系统、方法及存储器 | |
| Göbl et al. | Redefining ultrasound compounding: Computational sonography | |
| Joseph et al. | Three dimensional reconstruction of brain tumours from 2D MRI scans: optimised curve fitting process |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |