CN113706695A - 深度学习进行3d股骨头建模的系统及方法、存储介质 - Google Patents

Abstract

本发明提出一种使用深度学习神经网络辅助股骨模型化的方案，所构建的三维卷积神经网络封装有第一模块DDC：将一个输入进行反卷积，通过上采样，使原图的长、宽、高各变成了输入的两倍后，再进行3D空洞采样操作得到8个与输入相同大小的特征图，与原图进行拼接得到9个特征图，使得该第一模块DDC输出拼接成为了输入通道9倍的一个特征图；第二模块CBM：将一个输入进行3D卷积之后，增加BN层然后适用mish激活函数，输出特征图；第三模块DCM2：先进行DDC操作，接着进行两次CBM操作后池化，输出特征图；和第四模块DCM3：先进行DDC操作，接着进行三次CBM操作后池化，输出特征图。如此，可节约开发时间，在将复杂的结构进封装之后，操作更加简单，可解释性更强。

Description

深度学习进行3D股骨头建模的系统及方法、存储介质

技术领域

本发明涉及图像数据处理技术领域，更具体地说，涉及一种通过深度学习进行3D股骨头建模识别的方法、系统以及存储介质。

背景技术

随着现代社会的飞速发展，各行各业都开始与IT行业产生密不可分的联系，医疗行业也是如此。

众所周知，在传统的骨科手术中，对于骨骼的建模是需要使用人工进行手工绘制的，非常地费时。

其次，人工进行绘制有可能受到绘图人员精神状态的影响，并且在很多特殊情况，比如深夜、节假日、以及相关工作人员恰巧不在岗位，便容易造成事故。

而且，绘制骨骼模型需要相当的经验，培养所需资源也并不廉价。

发明内容

为了解决上述技术问题，本发明提出了一种使用深度学习神经网络进行图像数据处理，从而辅助骨骼模型化的绘制方案。

根据本发明的实施方式，提供一种3D股骨头建模系统，通过使计算机执行程序来构成了神经网络，所述神经网络包括：

DCM2模块，其进行如下DCM2操作，所述DCM2操作为：进行DDC操作，之后，进行两次CBM操作后，最大池化得到特征图；和

DCM3模块，其进行如下DCM3操作，所述DCM3操作为：进行DDC操作，之后，进行三次CBM操作后，最大池化得到特征图，

所述DDC操作为：将输入进行反卷积后，再进行完3D空洞采样操作后得到8个特征图，对所得的的8个特征图和原图进行concat拼接，组成了一个特征图，

所述CBM操作为：将输入进行卷积、归一化、激活的一个串联过程，

所述神经网络构成为：

对输入使用一次所述DCM2模块的操作来得到特征图feature map1，对特征图feature map1使用一次所述DCM2模块的操作来得到特征图feature map2，对特征图feature map2使用一次所述DCM3模块的操作来得到特征图feature map3，对特征图feature map3使用一次所述DCM3模块的操作来得到特征图feature map4，

将特征图feature map4进行2倍的反卷积后与特征图feature map3进行concat拼接，之后进行4倍的反卷积来得到结果dec1，

将特征图feature map4进行4倍的反卷积后与特征图feature map2进行concat拼接，之后，进行两倍的反卷积来得到结果dec2，

将特征图feature map4进行8倍的反卷积，之后与特征图feature map1进行concat拼接来得到结果dec3，

将结果dec1、dec2、dec3进行concat拼接，对所得到的特征图进行反卷积来得到特征图feature map，

对特征图feature map使用sigmoid激活函数来进行输出。

在上述3D股骨头建模系统中，也可以为：使用CT图片来作为所述神经网络的输入，将所述CT图片的CT值的窗宽、窗位调整到窗位300Hu、窗宽500Hu来进行输入。

在上述3D股骨头建模系统中，也可以为：针对所述神经网络，作为输入，将左右股骨分为两个模型来进行了训练。

在上述3D股骨头建模系统中，也可以为：所述神经网络的输入尺寸为64×64×64以上、且为2的n次方，其中，n为自然数。

根据本发明的另一实施方式，提供一种非瞬时性的存储介质，能够由计算机进行读取，存储有程序，所述程序通过被计算机执行来实现上述神经网络。

根据本发明的又一实施方式，提供3D股骨头建模方法，使用上述神经网络来进行3D股骨头建模。

在上述方法中，可以包括如下步骤：

S21：首先对输入连续使用两个DCM2模块的操作，得到特征图分别为feature map1与feature map2，

S22：对feature map2连续使用2次DCM3模块的操作，得到特征图分别为featuremap3与feature map4，此时feature map4的每一维度都缩减到了原图的十六分之一，

S23：对输入开始上采样，上采样使用反卷积，其中，

S231：首先将feature map4层进行2倍的反卷积，之后与feature map3进行concat拼接，再进行4倍的反卷积，结果记作dec1。

S232：之后将feature map4层进行4倍反卷积，之后与feature map2进行concat拼接，再进行两倍的反卷积，结果记作dec2。

S233：之后将feature map4层进行8倍的反卷积，之后与feature map1进行concat拼接，结果记作dec3，

S234：然后将dec1与dec2与dec3进行concat拼接，得到新的特征图，

S24：对该新的特征图进行反卷积，

S25：之后使用sigmoid激活函数进行输出。

根据本发明，可以快速高效地，仅仅需要数秒甚至毫秒级别的时间便可以通过图像数据处理，来完成骨骼的绘制与识别，并且不会受到外界的影响。同时本发明提出了一种全新的卷积模式，训练完成之后操作简单，任何人都可以使用。

附图说明

图1示出根据本发明实施例的网络主体结构图。

图2示出根据本发明实施例的网络内部结构图。

图3示出根据本发明实施例的分割效果图。

具体实施方式

下面结合附图详细描述本发明的示例性实施例。下文描述的和附图示出的示例性实施例旨在教导本发明的原理，使本领域技术人员能够在若干不同环境中和对于若干不同应用实施和使用本发明。因此，本发明的保护范围由所附的权利要求来限定，示例性实施例并不意在、并且不应该被认为是对本发明保护的范围的限制性描述。

本发明人通过对股骨头进行3D建模的研究，提出一种主要使用3D卷积神经网络进行股骨头的建模的方案。

<系统组成>

本系统可以通过使计算机执行程序来实现。具体而言，例如使用的编程语言为Python3.6，集成框架TensorFlow2.5，其他组件：cuda11.1，vtk9.0+。

<训练过程>

本方案使用了经典的神经网络训练过程：特征工程、训练、评估、测试。

输入方面将左右股骨分为两个模型进行训练，使左右两个股骨在训练过程中互不干扰，这样能够进一步提高建模的精度。

首先，进行数据归一化。

目前最常用的CT格式有两种：(1)dicom序列，这是一种二维CT图像格式，一个序列中的每一个文件都可以视作一张2D图片，一个序列中所有的文件组成一张3D图像；(2)nii文件，一个文件便是一张3D图像。上述两种格式可以通过程序互相转换。如果输入图像是dicom序列，为了使用三维卷积神经网络，需要将dicom序列转化为nii图像(对应于原图)来进行输入。

众所周知，CT图片的CT值是在-1024～3071之间，单位为Hu(Heat Unit，简称HU，为DR、CT等医疗设备中球管的热容量单位。)，-1000Hu代表空气，0Hu代表纯水，1000Hu为致密骨骼，大部分骨骼的密度依照以往经验，大约在400Hu左右。而从可视化的角度去思考，正常情况下的图片的像素区间是在0-255之间的256个像素值，而如果直接将作为4096(|-1024|+1+3071)个像素值的像素区间转化到0-255之间会造成大量的数据丢失，并且可读性差，因为很多数值都是不需要的，比如说内脏的CT值较低，那较高的值，如骨骼在针对内脏的诊断中就显得不是那么必要，反之亦然。所以，为了方便训练，引入两个概念，分别是窗宽、窗位，窗宽的意思是可显示CT值的最大数量，窗位的意思是所显示CT值的中值，举个例子，窗宽200、窗位300的情况下，所显示区间的中值是300，所显示的阈值是以300为中值的200个CT值，便是200至400之间，之后将这200个像素值归一化到0-255之间，小于200则为0，大于400则为255，极大地优化了可视化方式。所以为了训练时拥有更好的针对性以及更直观的可视化方式，需要将窗宽、窗位调整到一个容易辨别的数值。

本发明人经过多次的实验得出，在窗位300Hu、窗宽500Hu的情况下对于股骨效果较好。

也即是，将窗宽、窗位调整到窗位300Hu、窗宽500Hu，此数值是本发明人在经验性的数值上进行微调并且量化后得到的最佳结果，如果不量化到整百数非常不利于计算，并且对于图片效果的增益微乎其微。

之后需要将这个区间的像素归一化，上文也提到，正常的图片的像素值是在0～255之间，虽然此处使用的是3D卷积，但是为了使数据可视化以及使训练变得更加精确、高效，依旧需要归一化，根据下式(1)即可，

w＝(v+1024)÷4096×256， 式(1)，

其中，w指代像素值，v指代CT值。

由此将CT图像的像素值归一化到方便人类可视化的像素范围。

特征工程使用传统的数据增强，将数据进行随机的剔除、翻转、镜像、缩放，此步骤是为了提高数据的多样性、抗干扰性、以及最终结果的泛用性。

同时，作为三维分割方案，对特征尺寸不进行约束，因为在此所采用的神经网络的本质是一个全卷积的分割网络，所以输入与输出是一样大小，且没有全连接层，对于参数的具体数量没有严格的限制，故不需要对输入尺寸进行限制，但基于网络结构的合理性考虑，输入尺寸最小应在64×64×64以上并且为2的n次方，其中，n为自然数。

也即是，该神经网络会将图片的长宽高最终缩减到原图的十六分之一，本发明人经过多次试验，发现最终保留4×4×4的特征图后再上采样的效果最好。

在此，如图1所示，本发明人提出一种新颖的神经网络。

本网络结构基于unet++创建，但与unet++相比，对于骨科的适用效果要好一些，同时在此网络中为了增加可解释性与可读性，封装了四个功能模块，其中较为新颖的是第一与第二模块，第三与第四模块是为了节省开发工时与提高代码的严谨性而进行的封装。

在解释网络(图1)之前先对图2中模块的内容说明如下：

<第一模块>

第一模块(图2的左上部分)的功能是：首先对输入(input)进行上采样，长、宽、高各变成了输入的两倍(2X×2Y×2Z)，之后使用空洞采样(dilated)，将特征图分成8个与输入相同大小的特征图(X×Y×Z×8)，与原图进行concat拼接，这是一种前所未有的全新思路，摒弃了传统理念上的原图方法论，相当于在原图的基础上构建了一个全新的图片，但是它的通道数为原有大小的9倍(原图加新出现的8个空洞后的3D图片，原有的X×Y×Z×1的图片变成了X×Y×Z×9的特征图)，极大地放大了原有的特征值。

这种结构在这里被全世界首次使用，因为本发明人研究发现，在unet++中无需采样到底即可反卷积，因此提出了无需先下采样便可上采样的技术思想，这么做的基本原理是使用原图直接进行上采样时可以放大原图的特征，并且经过空洞采样，以确保新生成的图片的所有特征与原位置接近。

空洞采样的特征提取方式与空洞卷积相同，但是此处只进行特征提取，却不进行卷积，之后将提取出来的数个特征图进行堆叠，与YOLOv2的传递层完全相同。

上采样的方式也有很多种方案，经过经验性的构思，得到了3种候选方案，分别是：使用三维线性插值、使用填鸭式插值、使用反卷积。经过实验得出结论，反卷积的效果要好于前两种。

之后与原图进行拼接，拼接方式是concat。

目前最主流的拼接方式有两种，concat与add，两者的优缺点是concat相对于特征提取的效果非常优秀，但是增加了数倍参数量，导致运行速度变慢，但是此系统旨在进行手术导航，强大的硬件系统可以弥补运行速度的减慢，而add正好相反，所有特征进行累加，特征提取的效果增加得远不如concat明显，但是参数量没有增加，速度没有减慢。

于是结合此处场景分析，首先前文提到，此系统拥有强大的硬件支撑，并不需要特别在意速度的快慢，但是由于是医疗系统，所以对精度的要求非常高，并且在手术准备初期也并不是一个需要争分夺秒的阶段，因为建模的速度永远要比准备手术器材以及手术环境的速度要快上千倍的。手术提前的各种准备可能需要半小时甚至一两个小时来准备器械，手术的无菌环境，人员的无菌处理等等，并且如果不是紧急情况，髋关节手术患者都会被要求提前一天拍摄CT，所以此处采用concat进行拼接。

这便是第一模块的全部内容，这种操作在此称作DDC(deconvolution+dilated+concat，反卷积+空洞采样+拼接)，参照图2左上部分，将输入进行反卷积后，将所有的特征图包括原图concat拼接，由于是3D卷积，在进行完空洞操作后得到8个特征图，加上原图正好是9个特征图，组成了一个x×y×z×9的特征图。

也即是，第一模块DDC为：将输入进行反卷积后，再进行完3D空洞采样操作后得到8个特征图，加上原图正好是9个特征图，之后将他们进行concat拼接，组成了一个x×y×z×9的特征图，摒弃了不在原图直接上采样的情况，对原图的特征直接进行放大之后再提取。

<第二模块>

第二模块(见图2右上部分)的功能是：

将一个输入(input)进行3D卷积(conv3d)之后，增加BN(Batch Normalization)层，然后，对特征图适用mish激活函数，通过此操作，将卷积以及激活函数、BN共同封装，在开发层面上提高了大量的效率。

此处使用BN的目的是为了将数据的分布控制在一个相同分布的范围内，并且由于人类骨骼的结构非常接近，并不像街景，交通这样复杂，所以仅适用BN而不再增加其他专门用来正则化的trick，同时激活函数适用mish，为了防止deae relu以及后期模型不收敛的问题，激活函数没有选择普通的relu或者leaky relu。

这便是第二模块的全部功能，图2中用CBM(conv3d+batch normalization+mish)表示，如图2右上部分，即是将输入进行卷积、归一化、激活的一个串联过程。

将两个模块整合之后：

首先，进行DDC操作，之后，进行数次CBM操作后，最大池化得到特征图(featuremap)。

在这个网络中整合了两个结构，一种进行两次CBM操作(CBM*2)后池化，一种进行三次CBM操作(CBM*3)后池化，即是图2中下半部分的左右两个模块，即第三模块DCM2、第四模块DCM3。

如此，在开发过程中非常方便，至少节约了20％的开发时间，将复杂的结构进封装之后，操作更加简单，可解释性更强。

此步骤叫做DCM2(DDC+CBM*2+max pool)与DCM3(DDC+CBM3+max pool)，如图2下半部分所示，首先进行DDC操作，紧接着加入数个CBM操作(具体数量为模块后的数字)，之后进行最大池化(max pool)。

将此结构带入网络结构便完成了全部的网络架构，那么它的前向推导过程(见图1)就是首先连续使用两个DCM2模块，即串联连接两个DCM2模块，从该两个DCM2模块得到的特征图分别为feature map1与feature map2，保存这两个结果以便之后对feature map2连续使用2次DCM3模块的操作，同样地保存这两个操作的结果feature map3与feature map4，此时feature map4的每一维度都缩减到了原图的十六分之一(0.0625x×0.0625y×0.0625z×512)。

开始上采样，上采样使用反卷积(deconvolution)。

首先将feature map4层进行2倍的反卷积后与feature map3层进行concat拼接，之后进行4倍的反卷积，结果记作dec1。

之后将feature map4层进行4倍反卷积与feature map2层进行concat拼接后，再进行两倍的反卷积，记作dec2。

同理，将feature map4层进行8倍的反卷积，之后与feature map1层进行concat拼接，记作dec3。

后将dec1与dec2与dec3进行concat拼接，对得到的新的特征图进行反卷积，使用concat的原因依旧是为了通过特征融合使精度更进一步提高，并且此处网络的推导过程已经接近尾声，不会再给网络增加明显的负担，而之所以适用此种方式进行上采样是因为如果直接上采样便会导致精度很差，所以此处设计了3种不同尺寸的上采样方式，并且将之融合，进一步提高精度。

此举不仅将前后层的特征进行了融合，保留了原图的部分信息，同时还使用了级联的思想，将后层的预测结果分别进行了提取，并且进行了特征融合，极大地提高了预测结果的精度。

之后使用sigmoid激活函数进行输出(output)，损失函数采用二分类最标准的二元交叉熵。此时，通过用交叉熵函数配合输出层的sigmoid激活函数，能更快地加速深度学习的训练速度，可以得到简洁的结果。

在经过了100000次迭代之后得到的分类结果基本上已经与label非常接近，accuracy也已经达到了99.9％以上。

此时进行测试，与验证集上结果相差无几，说明此方案是可行的并且已经制作成功，如此在手术过程中可以极大地节约前期准备工作上的时间成本，并且相较于原来的模型绘制方案更加地精确可靠，如图3，拟合出了一个基本完美的股骨头模型，并且是直接生成了3D模型，无需在2D与3D之间切换，与传统的2D分割网络(如unet、unet++)相比，不会因为反复量化而导致精度降低。

之后我们按照此步骤对于两组数据分别进行了测试，两组数据的差异为数据量，使用相同的方案观察效果以此来推测本方案的泛用性，首先对数据进行处理，调整窗位、窗宽，之后进行数据强化对提前标注好的数据进行处理，进行随机的镜像、反转、旋转、缩放、加噪、dropout之后，进行数据归一化，将数据的分布规范在同一分布之内，便可以输入网络，进行权重文件的训练，整个训练过程大约需要进行15天，训练结束之后使用完成的权重文件进行验证。

验证结果发现在大数据量的训练之下准确率可以达到98％以上，接近训练过程中达到99.9％以上的accuracy，并且在极小数据的情况下依旧能够达到95％以上的精度。

与作为借鉴的unet++相比，更加明显的特征强化极大地加强了神经网络的语义信息，提高了预测结果的精度，同时与其他的2D网络相比，无需进行反复转换维度的操作，无需量化，不会丢失精度，而且网络结构简单，逻辑清晰，并且进行了模块封装，进一步提高了可解释性的同时，保证了网络的优美，不会像20层以上的网络(如resnet的各种版本)那样显得臃肿。

综上，根据本发明，提供了一种通过深度学习进行3D股骨头建模、识别的方法，其中包括如下步骤：

S1：获取股骨头的原图，

S2：对所获取的原图进行数据归一化，

S3：对归一化后的数据进行数据增强、三维分割，作为三维卷积神经网络的输入，进行权重文件的训练，

S4：训练结束之后使用完成的权重文件进行验证，完成股骨头的识别，

所述三维卷积神经网络封装有第一模块DDC，其中，将一个输入进行反卷积，通过进行上采样，使原图的长、宽、高各变成了输入的两倍后，再进行3D空洞采样操作得到8个与输入相同大小的特征图，与原图进行拼接得到9个特征图，使得该第一模块DDC输出拼接成为了输入通道9倍的一个特征图。

在此，得到9个特征图之后会进行拼接，就变成了9通道的1个特征图，所以DDC输出变成了输入通道9倍的一个特征图。原图1通道的原因是因为它是灰度图片而不是3通道的彩色图片，所以是1通道变成了9通道，实际上后面如果是10通道，它就会变成90通道，因此，该第一模块DDC输出的通道数变成了9倍。

由此，摒弃了不在原图直接上采样的情况，对原图的特征直接进行放大之后再提取。

可选地，所述三维卷积神经网络还封装有第二模块CBM，其中，将一个输入进行3D卷积之后，增加BN层然后适用mish激活函数，输出特征图。

由此，通过第二模块CBM实现了将输入进行卷积、归一化、激活的一个串联过程。

可选地，所述三维卷积神经网络还封装有第三模块DCM2(DDC+CBM*2+max pool)，其中，首先进行DDC操作，接着进行两次CBM操作后池化，输出(out)特征图；和/或

所述三维卷积神经网络还封装有第四模块DCM3(DDC+CBM*3+max pool)，其中，首先进行DDC操作，接着进行三次CBM操作后池化，输出特征图。由此，可将上述模块进行组合生成一个全新的神经网络。

可选地，根据本发明的方法包括如下步骤：

S21：首先对输入连续使用两个DCM2模块的操作，得到特征图分别为feature map1与feature map2，

S22：对feature map2连续使用2次DCM3模块的操作，得到特征图分别为featuremap3与feature map4，此时feature map4的每一维度都缩减到了原图的十六分之一，

S23：对输入开始上采样，上采样使用反卷积，其中，

S231：首先将feature map4层进行2倍的反卷积，之后与feature map3层进行concat拼接，再进行4倍的反卷积，结果记作dec1。

S232：之后将feature map4层进行4倍反卷积，之后与feature map2层进行concat拼接，再进行两倍的反卷积，结果记作dec2。

S233：之后将feature map4层进行8倍的反卷积，之后与feature map1层进行concat拼接，结果记作dec3，

S234：然后将dec1与dec2与dec3进行concat拼接，得到新的特征图，

S24：对该新的特征图进行反卷积，

S25：之后使用sigmoid激活函数进行输出，损失函数采用二分类最标准的二元交叉熵。

可选地，所述原图为股骨的CT图片，将窗宽、窗位调整到窗位300Hu、窗宽500Hu，此数值是本发明人在经验性的数值上进行微调并且量化后得到的最佳结果，如果不量化到整百数非常不利于计算，并且对于图片效果的增益微乎其微。

可选地，据下式进行CT图片显示区间的像素归一化，

w＝(v+1024)÷4096×256， 式(1)，

即可，其中，w指代像素值，v指代CT值。

可选地，进行三维分割的输入尺寸最小值为64×64×64像素以上并且为2的n次方，n为自然数。

在此，输入尺寸最小应在64×64×64以上并且为2的n次方，因为本发明人经过多次试验，发现最终保留4×4×4的特征图后再上采样的效果最好(此神经网络会将图片的长宽高最终缩减到原图的十六分之一)。

可选地，作为输入，将左右股骨分为两个模型进行训练，是为了将两个股骨分开训练从而不会导致互相干扰。

根据本发明，还提供了一种通过深度学习进行3D股骨头建模、识别的系统，包括如下组件：

第一组件：用于获取股骨头的原图，

第二组件：用于对所获取的原图进行数据归一化，

第三组件：用于对归一化后的数据进行数据增强、三维分割，作为三维卷积神经网络的输入，进行权重文件的训练，

第四组件：用于训练结束之后使用完成的权重文件进行验证，完成股骨头的识别，

所述三维卷积神经网络封装有第一模块DDC，其中，将一个输入进行反卷积，通过进行上采样，使原图的长、宽、高各变成了输入的两倍后，再进行3D空洞采样操作得到8个与输入相同大小的特征图，与原图进行拼接得到9个特征图，使得该第一模块DDC输出拼接成为了输入通道9倍的一个特征图。

以上以示例的方式对用于实施本发明的方法或系统进行说明。由此，根据本发明的实施例，可提供一种电子设备，其包括处理器以及存储器，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，运行如上所述的方法的全部或部分步骤。

此外，还可提供一种可读存储介质，如移动磁盘、硬盘等，其上存储有计算机程序，计算机程序被处理器执行时，执行包括如图2所示方法的实施例中电子设备所执行的方法的步骤。

另外，在本申请提供的实施例中的各功能组件或模块或单元可以集成在一个功能部中，也可以是各个部单独物理存在，也可以两个或两个以上功能部集成在一起。

本发明中所公开的实施例描述的各示例的方法步骤及模块等组成，能够以电子硬件、计算机软件或者二者的结合来实现，可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的。

本发明中，术语“第一”、“第二”、“第三”和“第四”等仅用于区分描述目的，仅用于区分两个不同的对象特征，并不用于表示排列顺序、相对重要性或者隐含指明所指示的技术特征的数量。

尽管已经参考各种具体实施例描述了本发明，但是应当理解，可以在所描述的发明构思的精神和范围内做出变形。因此，意图是本发明不限于所描述的实施例，而是将具有由所附权利要求的语言所定义的全部范围。

Claims (8)

1.一种3D股骨头建模系统，通过使计算机执行程序来构成了神经网络，其特征在于，所述神经网络包括：

DCM2模块，其进行如下DCM2操作，所述DCM2操作为：进行DDC操作，之后，进行两次CBM操作后，最大池化得到特征图；和

DCM3模块，其进行如下DCM3操作，所述DCM3操作为：进行DDC操作，之后，进行三次CBM操作后，最大池化得到特征图，

所述DDC操作为：将输入进行反卷积后，再进行完3D空洞采样操作后得到8个特征图，对所得的的8个特征图和原图进行concat拼接，组成了一个特征图，

所述CBM操作为：将输入进行卷积、归一化、激活的一个串联过程，

所述神经网络构成为：

对输入使用一次所述DCM2模块的操作来得到特征图feature map1，对特征图featuremap1使用一次所述DCM2模块的操作来得到特征图feature map2，对特征图feature map2使用一次所述DCM3模块的操作来得到特征图feature map3，对特征图feature map3使用一次所述DCM3模块的操作来得到特征图feature map4，

将特征图feature map4进行2倍的反卷积后与特征图feature map3进行concat拼接，之后进行4倍的反卷积来得到结果dec1，

将特征图feature map4进行4倍的反卷积后与特征图feature map2进行concat拼接，之后，进行两倍的反卷积来得到结果dec2，

将特征图feature map4进行8倍的反卷积，之后与特征图feature map1进行concat拼接来得到结果dec3，

将结果dec1、dec2、dec3进行concat拼接，对所得到的特征图进行反卷积来得到特征图feature map，

对特征图feature map使用sigmoid激活函数来进行输出。

2.根据权利要求1所述的3D股骨头建模系统，其特征在于，

使用CT图片来作为所述神经网络的输入，

将所述CT图片的CT值的窗宽、窗位调整到窗位300Hu、窗宽500Hu来进行输入。

3.根据权利要求2所述的3D股骨头建模系统，其特征在于，

针对所述神经网络，作为输入，将左右股骨分为两个模型来进行了训练。

4.根据权利要求1～3中任一项所述的3D股骨头建模系统，其特征在于，

所述神经网络的输入尺寸为64×64×64以上、且为2的n次方，其中，n为自然数。

5.一种非瞬时性的存储介质，能够由计算机读取，存储有程序，所述程序通过被计算机执行来实现权利要求1～4中任一项所述的神经网络。

6.一种3D股骨头建模方法，使用权利要求1～4中任一项所述神经网络来进行3D股骨头建模。

7.根据权利要求6所述的方法，其特征在于，包括如下步骤：

S21：首先对输入连续使用两次所述DCM2模块的操作，得到特征图分别为feature map1与feature map2，

S22：对feature map2连续使用2次所述DCM3模块的操作，得到特征图分别为featuremap3与feature map4，此时feature map4的每一维度都缩减到了原图的十六分之一，

S23：对输入开始上采样，上采样使用反卷积，其中，

S231：首先将feature map4层进行2倍的反卷积，之后与featuremap3进行concat拼接，再进行4倍的反卷积，结果记作dec1，

S232：之后将feature map4层进行4倍反卷积，之后与featuremap2进行concat拼接，再进行两倍的反卷积，结果记作dec2，

S233：之后将feature map4层进行8倍的反卷积，之后与feature

map1进行concat拼接，结果记作dec3，

S234：然后将dec1与dec2与dec3进行concat拼接，得到新的特征图，

S24：对该新的特征图进行反卷积，

S25：之后使用sigmoid激活函数进行输出。

8.一种计算机程序产品，包括计算机程序，其特征在于，该程序被计算机执行时实现权利要求6或7所述方法的步骤。

Images