CN113781636B - 盆骨建模方法与系统、存储介质、计算机程序产品 - Google Patents

盆骨建模方法与系统、存储介质、计算机程序产品 Download PDF

Info

Publication number
CN113781636B
CN113781636B CN202111072997.8A CN202111072997A CN113781636B CN 113781636 B CN113781636 B CN 113781636B CN 202111072997 A CN202111072997 A CN 202111072997A CN 113781636 B CN113781636 B CN 113781636B
Authority
CN
China
Prior art keywords
layer
pelvic
input
feature map
cpld
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111072997.8A
Other languages
English (en)
Other versions
CN113781636A (zh
Inventor
刘金勇
黄志俊
钱坤
张有健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lancet Robotics Co Ltd
Original Assignee
Lancet Robotics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lancet Robotics Co Ltd filed Critical Lancet Robotics Co Ltd
Priority to CN202111072997.8A priority Critical patent/CN113781636B/zh
Publication of CN113781636A publication Critical patent/CN113781636A/zh
Application granted granted Critical
Publication of CN113781636B publication Critical patent/CN113781636B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种盆骨建模方法与系统、存储介质、计算机程序产品，能够快速精准地实现盆骨建模，降低手术的风险性。其由Unet网络作为基本的神经网络架构，其第一部分为卷积层用于特征提取，第二部分为上采样部分，每采样一次将与特征提取部分对应的下采样通道进行concat特征融合，第三部分为注意力机制模块，在输入层到输出层之间加入SENet模块，得到新的输出同时concat拼接到输出层，能够增加有效特征提取，抑制无效特征。在特征提取时，进行在每个卷积层增加edge‑spatial dropout层策略训练的CPLD操作，可以有效地减少过拟合的问题。

Description

盆骨建模方法与系统、存储介质、计算机程序产品
技术领域
本发明涉及图像数据处理技术领域，更具体地说，涉及一种基于改进Unet的盆骨建模方法、系统、存储介质以及计算机程序产品。
背景技术
随着老龄化社会的形成，越来越多的人存在着盆骨疾患，如盆骨骨折，盆骨缺损等问题，若处理不当，将导致患肢短缩、畸形愈合等严重并发症，极大影响了患者的正常生活和工作。
现代的医疗手段往往要通过3D打印、假体填充等方法来解决盆骨疾患。传统的盆骨手术的盆骨建模往往需要通过手工建模的方式，这种方法既费时费力，同时由于盆骨的复杂性，手工建模的方式难以做到精准，这大大地增加了手术的风险。
发明内容
为了解决手工建模不精准的问题，本发明提出了一种基于改进Unet的盆骨分割方法，使用盆骨CT(Computed Tomography，计算机断层扫描)数据集对Unet深度神经网络进行训练，训练后的神经网络可以快速精准地对盆骨进行建模。对于医护人员，可以简单快速地实现操作，大大提高了盆骨建模的效率和准确率。
根据本发明的一方面提供一种盆骨建模系统，通过使计算机执行程序来构成了神经网络，所述神经网络包括：
CPLD层，其将图像通过3*3卷积核的3个卷积层来生成特征图，再通过最大池化层减小特征图大小，并使用LeakyReLU作为激活函数进行输出，并通过edge-spatial dropout层来减少参数量，该edge-spatial dropout层是对特征图的边缘层和中心层分别进行权重化的层；
SENet层，其包括一层卷积层Conv、全局平均池化层global average pooling、两层全连接层FCN以及一层sigmoid层；以及
sigmoid激活函数层，
所述神经网络构成为：
将原始图像输入到CPLD层后得到特征通道扩大一倍的特征图CPLD1，将CPLD1作为输入再经过第2层CPLD层后得到特征通道再扩大一倍的特征图CPLD2，将CPLD2作为输入再经过第3层CPLD层后得到特征通道再扩大一倍的特征图CPLD3，将CPLD3作为输入再经过第4层CPLD层后得到特征通道再扩大一倍的特征图CPLD4，将CPLD4作为输入再经过第5层CPLD层后得到特征通道再扩大一倍的特征图CPLD5；
将特征图CPLD5通过2倍的反卷积操作后与CPLD4进行Concat特征融合输入，得到输出特征图decCONV1，将decCONV1作为输入，再经过4倍反卷积并与CPLD3进行进行Concat特征融合而得到输出特征图decCONV2，再将decCONV2作为输入，再经过8倍反卷积并与CPLD2进行Concat特征融合而得到输出特征图decCONV3，将decCONV3作为输入，再经过16倍反卷积后并与CPLD1、SENet进行Concat特征融合得到输出特征图MULConcat，该SENet是将CPLD1作为输入来通过SENet层而得到的；
通过sigmoid激活函数层来进行输出。
根据上述盆骨建模系统，能够有效地减少过拟合的问题，能够加强神经网络对图像中有效特征的提取，并抑制无效特征的提取，从而提高盆骨分割的精度。
进一步，在上述盆骨建模系统中，所述CPLD层构成为：三个卷积层的每个卷积核均为3*3大小，步长为1，填充方式为same填充方式，其中，第一层的卷积核数、第二层和第三层的卷积核数之比为1:2:2。优选地，在第一次适用CPLD层时，第一层的卷积核数为32(初始值)，第二层和第三层的卷积核数为64。可选地，作为上述初始值，也可将第一层的卷积核数设置为16。
进一步，在上述盆骨建模系统中，优选反卷积的卷积核为2*2。
进一步，在上述盆骨建模系统中，优选edge-spatialdropout层对于noise_shape参数的边缘列和中心列分别将权重设置为0.2和0.8，并按照该权重随机置0。
根据本发明的另一方面，提供一种非瞬时性的存储介质，能够由计算机读取，存储有程序，所述程序通过被计算机执行来实现上述神经网络。
根据本发明的再一方面，提供一种盆骨建模方法，使用上述神经网络来进行盆骨建模。
根据本发明的又一方面，提供一种计算机程序产品，包括计算机程序，其特征在于，该程序被计算机执行时实现上述盆骨建模方法。
根据本发明，所采用的深度学习技术能够快速精准地实现盆骨建模，降低手术的风险性。
附图说明
图1示意性地示出根据本发明实施例的部分原始数据集。
图2示意性地示出根据本发明实施例的训练过程。
图3示意性地示出根据本发明实施例的CPLD层的结构图。
图4示意性地示出根据本发明实施例的改进Unet的网络结构图。
图5示意性地示出根据本发明实施例的盆骨分割效果图。
具体实施方式
下面结合附图详细描述本发明的示例性实施例。下文描述的和附图示出的示例性实施例旨在教导本发明的原理，使本领域技术人员能够在若干不同环境中和对于若干不同应用实施和使用本发明。因此，本发明的保护范围由所附的权利要求来限定，示例性实施例并不意在、并且不应该被认为是对本发明保护的范围的限制性描述。
<系统组成>
本发明公开了一种基于改进Unet的盆骨识别方法及系统，其以Unet网络作为基本的神经网络架构，整个网络分为三部分，第一部分为用于特征提取的卷积层，第二部分为上采样部分，每采样一次将与特征提取部分对应的下采样通道进行concat特征融合。第三部分为注意力机制模块，在输入层到输出层之间加入SENet模块，得到新的输出同时concat拼接到输出层，能够增加有效特征的提取，抑制无效特征。
本系统可以通过使计算机执行程序来实现。具体而言，使用的编程语言为Python3.6，集成框架TensorFlow2.5，其他组件：cuda11.1，vtk9.0+。实验环境为Windows10，RTX3090显卡。
<训练过程>
本方案使用的训练过程分为以下几步：数据预处理(步骤S01)、神经网络训练(S02)、评估和测试(S03)。
数据预处理(S01)：由于盆骨的CT图像为dicom(Digital Imaging andCommunications in Medicine，医学数字成像与通信)格式的3维数据，第1步首先将3维数据转换为jpg格式的2维图像数据(S11)。第2步将jpg图像数据裁剪至尺寸大小为512*512(S12)，单位为像素。第3步，为了能够更好地进行特征处理，将训练数据集进行翻转、镜像、缩放、滤波等数据增强操作(S13)。部分原始数据集例如如图1所示。其中，训练数据集为5000张已转换后的jpg图像，标签数据集为对应的5000张手工标出盆骨的jpg图像。1000张盆骨图像作为测试集。
神经网络训练(S02)：Unet网络是卷积神经网络的一种，其采用对称的U型网络架构，由于网络结构简单，可适用于不同分辨率图像，并且使用了不同层级特征拼接的方法，融合了低级特征的完整性与高级特征的强语义性，能够有效分割出目标区域。与其他网络相比，Unet网络的分割效果好、更加轻量级。因此，本发明选择Unet网络作为基础网络。
但由于训练集样本较少，使用Unet神经网络训练容易过拟合，因此，本发明在每个卷积层及Concat层增加一种新的空间dropout层策略训练，这里称作edge-spatialdropout层。
传统的dropout层采用随机丢弃参数的方法，有可能造成有效特征的丢失，与此不同，本发明提出的edge-spatial dropout层，对特征图的边缘层和中心层分别进行权重化。即，例如有时80％参数丢弃处在特征图的边缘，20％参数丢弃位于特征图的中心。这是因为重要的特征基本位于图像的正中央，而特征图的边缘基本为无效信息，通过这种dropout方法，可以有效地丢弃无效参数，更多地保留有效特征。尤其在Concat层由于多特征通道的融合而参数较多时，加入edge-spatial dropout可以有效地丢弃无效参数，从而减少过拟合的问题。具体的实现方法上、即定义edge-spatialdropout层时，对于noise_shape参数的边缘列和中心列分别将权重设置为例如0.2和0.8，并按照该权重随机置0。
而且，为了加强神经网络对CT图像中有效特征的提取，并抑制无效特征的提取，从而提高盆骨分割的精度，本发明在Unet网络结构中嵌入注意力机制模块--SENetSqueeze-and-Excitation，首次在Unet层中将输入层直接通过SENet层连接到输出层。
参见图2，该神经网络训练的训练过程如下：
1.特征提取步骤或模块(S21)：
(1)准备若干数据用于训练，采用例如约共5000张原始图像及5000张标签作为训练集输入，batch_size(批大小)大小为512、即每次读取512张图像输入(S211)。
(2)将图像依次通过3*3卷积核的3个卷积层来生成特征图，再通过最大池化层减小特征图大小，来扩大卷积核的视野。并使用LeakyReLU作为激活函数进行输出，并通过edge-spatial dropout减少参数量，这一系列操作这里简称为CPLD(Conv-Pool-LeakyReLU-edge-Spatial Droupout)，将进行这一系列操作的结构简称为CPLD层。
其中，例如如图3所示，CPLD层可以构成为：三个卷积层的每个卷积核均为3*3大小，步长为1，填充方式为same填充方式。其中，CPLD1层的第一层的卷积核数为32，通过该第一层的卷积层得到32个特征图，第二层和第三层的卷积核数为64，通过该第二层和第三层的卷积层时分别得到64个特征图。通过多次实验，以此种方式获取的特征较为充分。
当原始图像输入经过CPLD层后得到特征通道扩大一倍的特征图，记为CPLD1(S212)，CPLD1作为输入再经过第2层的CPLD层后得到特征通道再扩大一倍的特征图，记为CPLD2(S213)。以此类推(S214、S215)，共经过5层CPLD层的操作，分别得到特征通道数为64、128、256、512、1024的特征图CPLD1～CPLD5(S212～S216)。
特征提取网络结构如图4的左半部分所示。
2.上采样操作及嵌入注意力机制步骤或模块(S22)：
在特征提取(S21)后，由于经过5层CPLD操作(S212～S216)后将输出的特征通道数不断扩大，因此，需要通过反卷积操作将特征图还原后进行输出，首先将输入特征图CPLD5通过2倍的反卷积操作后与CPLD4进行Concat特征融合输入，得到输出特征图，并记作decCONV1，反卷积的卷积核为2*2(S221)。将decCONV1作为输入，再经过4倍反卷积并与CPLD3进行进行Concat特征融合而得到输出特征图，记作decCONV2(S222)，再将decCONV2作为输入，再经过8倍反卷积并与CPLD2进行Concat特征融合而得到输出特征图，记作decCONV3(S223)，将decCONV3作为输入，再经过16倍反卷积后并与CPLD1、SENet进行Concat特征融合得到输出特征图，记作MULConcat(S224)。
上采样操作如图4的右半部分所示。
其中，本发明提出了在输入层与输出层之间直接加入SENet模块。即，如上面的S224所述，首先将CPLD1作为输入来通过SENet层，并将CPLD1层、SENet层以及decCONV3经过16倍反卷积后的输出进行Concat多通道特征融合。SENet层包括一层卷积层Conv、全局平均池化层global average pooling、两层全连接层FCN以及一层sigmoid层。
相对于传统的SENet，本发明加入一层Conv层，进行降维操作，减少初始参数，其次利用全局平均池化层将每一个通道上的空间特征编码为一个全局特征、即进行Squeeze操作，再利用两个全连接层将特征映射到样本空间，最后通过一层sigmoid激活函数,来获取通道之间的相关性，即进行Excitation操作。最后通过scale来缩放有效特征，即提高了原始输入的有效特征获取。
3.激活函数层输出步骤或模块(S23)
最后通过sigmoid激活函数层来进行输出(S23)，损失函数使用二元交叉熵作为评估，梯度优化方法使用Adam，学习率为0.001。
经过50000次epoch后，损失函数小于1.6*10-4，准确率大于99.9％。
针对训练后的神经网络进行评估和测试。具体而言，使用测试数据集输入至训练好的网络结构，得到的分割结果或分割效果如图5所示。尤其是从图5右下角的显示可知，本发明至少在盆骨图像分割应用场景下达到了非常好的效果。
综上，根据本发明，提供了一种基于改进Unet的盆骨分割方法，通过以Unet网络作为基础网络的神经网络架构进行如下训练过程，使用测试数据集输入至训练好的网络结构得到盆骨的分割结果，其中，训练过程包括如下步骤：数据预处理，神经网络训练，评估和测试，其中，
所述数据预处理用于获得jpg格式的训练数据集与标签数据集，包括如下步骤：将盆骨CT图像的3维数据转换为jpg格式的2维图像数据，
神经网络训练包括如下步骤：特征提取、上采样操作、嵌入注意力机制操作以及通过sigmoid激活函数层输出，
在特征提取步骤中，进行在每个卷积层及Concat层增加edge-spatial dropout层策略训练的CPLD操作，即，将输入的图像通过3*3卷积核的3个卷积层生成特征图，再通过最大池化层减小特征图大小，并使用LeakyReLU作为激活函数进行输出，再通过edge-spatialdropout减少参数量，其中，在定义dropout层时，将noise_shape参数的边缘列随机置0。
由此，可以有效地减少过拟合的问题。
根据本发明，还提供了一种基于改进Unet的盆骨分割系统，通过以Unet网络作为基础网络的神经网络架构进行如下训练过程，使用测试数据集输入至训练好的网络结构得到盆骨的分割结果，其中，
训练过程包括如下组件：数据预处理组件，神经网络训练组件，评估和测试组件，其中，
数据预处理组件用于获得jpg格式的训练数据集与标签数据集，包括如下第十单元：将盆骨CT图像的3维数据转换为jpg格式的2维图像数据，
神经网络训练组件包括如下模块：特征提取模块、上采样操作及嵌入注意力机制模块以及通过sigmoid激活函数层输出模块，
特征提取模块用于进行在每个卷积层增加edge-spatial dropout层策略训练的CPLD操作，即，将输入的图像通过3*3卷积核的3个卷积层生成特征图，再通过最大池化层减小特征图大小，并使用LeakyReLU作为激活函数进行输出，再通过edge-spatial dropout减少参数量，其中，在定义dropout层时，将noise_shape参数的边缘列随机置0。
优选地，特征提取模块包括如下单元：
第一单元，用于当原始图像输入经过CPLD层后得到特征通道扩大一倍的特征图，记为CPLD1；
第二单元，用于CPLD1作为输入再经过第2层CPLD后得到特征通道再扩大一倍的特征图，记为CPLD2；
第三单元，用于CPLD2作为输入再经过第3层CPLD后得到特征通道再扩大一倍的特征图，记为CPLD3；
第四单元，用于CPLD3作为输入再经过第4层CPLD后得到特征通道再扩大一倍的特征图，记为CPLD4；和
第五单元，用于CPLD4作为输入再经过第5层CPLD后得到特征通道再扩大一倍的特征图，记为CPLD5。
优选地，上采样操作及嵌入注意力机制模块包括如下单元：
第六单元，用于将CPLD5作为输入特征图通过2倍的反卷积操作后与CPLD4进行Concat特征融合输入，得到输出特征图，并记作decCONV1，反卷积的卷积核为2*2；
第七单元，用于将decCONV1作为输入，再经过4倍反卷积并与CPLD3进行进行Concat特征融合得到输出特征图，记作decCONV2；
第八单元，用于再将decCONV2作为输入，再经过8倍反卷积并与CPLD2进行Concat特征融合得到输出特征图，记作decCONV3；和
第九单元，用于将decCONV3再经过16倍反卷积后与CPLD1、SENet进行Concat特征融合得到输出特征图，记作MULConcat，该SENet是将CPLD1作为输入来通过SENet层而得到的，该SENet层包括：一层卷积层Conv、全局平均池化层global average pooling、两层全连接层FCN以及一层sigmoid层。
以上以示例的方式对用于实施本发明的方法或系统进行说明。由此，根据本发明的实施例，可提供一种电子设备，其包括处理器以及存储器，存储器存储有计算机可读取指令，当计算机可读取指令由处理器执行时，运行如上所述的方法的全部或部分步骤。例如可以为一种计算机设备，其还包括供处理器与所述存储器之间通信的总线。
此外，还可提供一种可读存储介质，如移动磁盘、硬盘等，其上存储有计算机程序，计算机程序被处理器执行时，执行包括如图2所示方法的实施例中电子设备所执行的方法的步骤。
本发明的实施例中，术语“一”、“二”、“第一”和“第二”等仅用于区分描述目的，仅用于区分两个不同的对象特征，并不用于表示排列顺序、相对重要性或者隐含指明所指示的技术特征的数量。
另外，在本申请提供的实施例中的各功能组件或模块或单元可以集成在一个功能部中，也可以是各个部单独物理存在，也可以两个或两个以上功能部集成在一起。
本发明中所公开的实施例描述的各示例的方法步骤及模块等组成，能够以电子硬件、计算机软件或者二者的结合来实现，可以根据实际的需要选择其中的部分或者全部来实现本实施例方案的目的。
尽管已经参考各种具体实施例描述了本发明，但是应当理解，可以在所描述的发明构思的精神和范围内做出变形，例如对上述实施例所记载的技术方案进行修改、变化或者替换组合。因此，意图是本发明不限于所描述的实施例，而是将具有由所附权利要求的语言所定义的全部范围。

Claims (7)

1.一种盆骨建模系统，通过使计算机执行程序来构成了神经网络，其特征在于，所述神经网络包括：
CPLD层，其将图像依次通过3*3卷积核的3个卷积层来生成特征图，再通过最大池化层减小特征图大小，并使用LeakyReLU作为激活函数进行输出，并通过edge-spatial dropout层来减少参数量，该edge-spatial dropout层是对特征图的边缘层和中心层分别进行权重化的层；
SENet层，其包括一层卷积层Conv、全局平均池化层global average pooling、两层全连接层FCN以及一层sigmoid层；以及
sigmoid激活函数层，
所述神经网络构成为：将盆骨的CT图像作为原始图像，
将原始图像输入到CPLD层后得到特征通道扩大一倍的特征图CPLD1，将CPLD1作为输入再经过第2层CPLD层后得到特征通道再扩大一倍的特征图CPLD2，将CPLD2作为输入再经过第3层CPLD层后得到特征通道再扩大一倍的特征图CPLD3，将CPLD3作为输入再经过第4层CPLD层后得到特征通道再扩大一倍的特征图CPLD4，将CPLD4作为输入再经过第5层CPLD层后得到特征通道再扩大一倍的特征图CPLD5；
将特征图CPLD5通过2倍的反卷积操作后与CPLD4进行Concat特征融合输入，得到输出特征图decCONV1，将decCONV1作为输入，再经过4倍反卷积并与CPLD3进行进行Concat特征融合而得到输出特征图decCONV2，再将decCONV2作为输入，再经过8倍反卷积并与CPLD2进行Concat特征融合而得到输出特征图decCONV3，将decCONV3作为输入，再经过16倍反卷积后并与CPLD1、SENet进行Concat特征融合得到输出特征图MULConcat，该SENet是将CPLD1作为输入来通过SENet层而得到的；
通过sigmoid激活函数层来进行输出。
2.根据权利要求1所述的盆骨建模系统，其特征在于，
所述CPLD层构成为：三个卷积层的每个卷积核均为3*3大小，步长为1，填充方式为same填充方式，其中，第一层的卷积核数、第二层和第三层的卷积核数之比为1:2:2。
3.根据权利要求1所述的盆骨建模系统，其特征在于，
所述反卷积的卷积核为2*2。
4.根据权利要求1~3中任一项所述的盆骨建模系统，其特征在于，
所述edge-spatialdropout层对于noise_shape参数的边缘列和中心列分别将权重设置为0.2和0.8，并按照该权重随机置0。
5.根据权利要求1~3中任一项所述的盆骨建模系统，其特征在于，使用盆骨CT数据集对所述神经网络进行训练，训练过程包括用于获得jpg格式的训练数据集与标签数据集的数据预处理步骤，该数据预处理步骤包括：将盆骨CT图像的3维数据转换为jpg格式的2维图像数据。
6.一种非瞬时性的存储介质，能够由计算机读取，存储有程序，其特征在于，所述程序通过被计算机执行来实现权利要求1~4中任一项所述的盆骨建模系统中记载的神经网络。
7.一种盆骨建模方法，其特征在于，使用权利要求1~4中任一项所述的盆骨建模系统中记载的神经网络来进行盆骨建模。
CN202111072997.8A 2021-09-14 2021-09-14 盆骨建模方法与系统、存储介质、计算机程序产品 Active CN113781636B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111072997.8A CN113781636B (zh) 2021-09-14 2021-09-14 盆骨建模方法与系统、存储介质、计算机程序产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111072997.8A CN113781636B (zh) 2021-09-14 2021-09-14 盆骨建模方法与系统、存储介质、计算机程序产品

Publications (2)

Publication Number Publication Date
CN113781636A CN113781636A (zh) 2021-12-10
CN113781636B true CN113781636B (zh) 2023-06-20

Family

ID=78843392

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111072997.8A Active CN113781636B (zh) 2021-09-14 2021-09-14 盆骨建模方法与系统、存储介质、计算机程序产品

Country Status (1)

Country Link
CN (1) CN113781636B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3085441A1 (en) * 2018-01-08 2019-07-11 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
CN110490082A (zh) * 2019-07-23 2019-11-22 浙江科技学院 一种有效融合神经网络特征的道路场景语义分割方法
CN110598714A (zh) * 2019-08-19 2019-12-20 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
WO2021017481A1 (zh) * 2019-07-29 2021-02-04 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN112418027A (zh) * 2020-11-11 2021-02-26 青岛科技大学 一种改进U-Net网络的遥感影像道路提取方法
CN112489047A (zh) * 2021-02-05 2021-03-12 四川大学 一种基于深度学习的盆骨及其动脉血管的多层级分割方法
WO2021082517A1 (zh) * 2019-10-31 2021-05-06 上海商汤智能科技有限公司 神经网络训练及图像分割方法、装置、设备、介质和程序
CN112782973A (zh) * 2019-11-07 2021-05-11 四川省桑瑞光辉标识系统股份有限公司 基于双智能体协作博弈的双足机器人行走控制方法和系统
WO2021139439A1 (zh) * 2020-01-07 2021-07-15 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN113298828A (zh) * 2021-06-11 2021-08-24 上海交通大学医学院附属第九人民医院 一种基于卷积神经网络的颌骨自动分割方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA3085441A1 (en) * 2018-01-08 2019-07-11 Progenics Pharmaceuticals, Inc. Systems and methods for rapid neural network-based image segmentation and radiopharmaceutical uptake determination
CN110490082A (zh) * 2019-07-23 2019-11-22 浙江科技学院 一种有效融合神经网络特征的道路场景语义分割方法
WO2021017481A1 (zh) * 2019-07-29 2021-02-04 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN110598714A (zh) * 2019-08-19 2019-12-20 中国科学院深圳先进技术研究院 一种软骨图像分割方法、装置、可读存储介质及终端设备
WO2021082517A1 (zh) * 2019-10-31 2021-05-06 上海商汤智能科技有限公司 神经网络训练及图像分割方法、装置、设备、介质和程序
CN112782973A (zh) * 2019-11-07 2021-05-11 四川省桑瑞光辉标识系统股份有限公司 基于双智能体协作博弈的双足机器人行走控制方法和系统
WO2021139439A1 (zh) * 2020-01-07 2021-07-15 苏州瑞派宁科技有限公司 图像重建方法、装置、设备、系统及计算机可读存储介质
CN112418027A (zh) * 2020-11-11 2021-02-26 青岛科技大学 一种改进U-Net网络的遥感影像道路提取方法
CN112489047A (zh) * 2021-02-05 2021-03-12 四川大学 一种基于深度学习的盆骨及其动脉血管的多层级分割方法
CN113298828A (zh) * 2021-06-11 2021-08-24 上海交通大学医学院附属第九人民医院 一种基于卷积神经网络的颌骨自动分割方法

Also Published As

Publication number Publication date
CN113781636A (zh) 2021-12-10

Similar Documents

Publication Publication Date Title
WO2022037696A1 (zh) 基于深度学习的骨骼分割方法和系统
CN112614145B (zh) 一种基于深度学习的颅内出血ct图像分割方法
CN115187540B (zh) 一种人体三维椎体松质骨图像的自动分割方法及系统
CN111369574B (zh) 一种胸腔器官的分割方法及装置
CN116188479B (zh) 基于深度学习的髋关节图像分割方法及系统
TW202221568A (zh) 圖像識別方法、電子設備、電腦可讀儲存介質
CN113506308A (zh) 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
CN113539402B (zh) 多模态影像自动勾画模型迁移方法
CN111951219B (zh) 基于眼眶ct图像的甲状腺眼病筛查方法、系统及设备
CN115471470A (zh) 一种食管癌ct图像分割方法
CN114399510B (zh) 结合图像和临床元数据的皮肤病灶分割和分类方法及系统
CN117523204A (zh) 面向医疗场景的肝脏肿瘤图像分割方法、装置和可读存储介质
CN113781636B (zh) 盆骨建模方法与系统、存储介质、计算机程序产品
CN116402954A (zh) 一种基于深度学习的脊柱三维结构的重建方法
CN115311311B (zh) 一种面向腰椎间盘的图像描述方法及其应用
CN114049315B (zh) 关节识别方法、电子设备、存储介质及计算机程序产品
CN115294023A (zh) 肝脏肿瘤自动分割方法及装置
Xu et al. An intelligent system for craniomaxillofacial defecting reconstruction
CN114037665A (zh) 下颌神经管的分割方法、装置、电子设备及存储介质
CN113689454A (zh) 基于卷积神经网络的3d ct椎体分割算法
US20240071052A1 (en) Method and system for removing foreign material from images
Khan et al. Detection of kidney stone using digital image processing: a holistic approach
EP4328859A1 (en) Method and system for removing foreign material from images
CN116071372B (zh) 膝关节分割方法、装置、电子设备及存储介质
Janane et al. Deep Learning with Images using Tensorflow

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant