CN111275714A - 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法 - Google Patents

一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法 Download PDF

Info

Publication number
CN111275714A
CN111275714A CN202010030052.9A CN202010030052A CN111275714A CN 111275714 A CN111275714 A CN 111275714A CN 202010030052 A CN202010030052 A CN 202010030052A CN 111275714 A CN111275714 A CN 111275714A
Authority
CN
China
Prior art keywords
prostate
image
network
convolutional neural
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010030052.9A
Other languages
English (en)
Other versions
CN111275714B (zh
Inventor
杜博
苏成伟
朱其奎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010030052.9A priority Critical patent/CN111275714B/zh
Publication of CN111275714A publication Critical patent/CN111275714A/zh
Application granted granted Critical
Publication of CN111275714B publication Critical patent/CN111275714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法，包括数据预处理阶段、网络训练阶段和网络推理阶段。数据预处理阶段包括前列腺MR图像格式统一、像素值范围裁剪、图像重采样。网络训练阶段包括基于注意力机制的卷积神经网络设计、过采样策略平衡正负样本比例和网络训练。网络推理阶段包括滑动窗口取样前列腺MR子图像、网络预测子图像分割图和加权融合子图像分割图。

Description

一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割 方法
技术领域
本发明属于医学图像处理技术领域，尤其涉及一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法。
背景技术
前列腺疾病(比如前列腺癌、前列腺炎，前列腺肥大等)在男性中非常常见，通常这需要根据病人的前列腺MR图像来判断。因此，精确地从前列腺MR图像中分割出前列腺是下一步的临床诊断和治疗的关键。在临床实践中，由医生手动地分割是非常耗时且代价昂贵的，同时伴随着医生的主观性和有限的可复现性。从这个角度看，临床上是非常需要高精度的全自动前列腺MR图像分割算法的。
前列腺MR图像分割实际上是一个二分类任务，其目的是将前列腺MR图像中的前列腺区域分割出来，可用于识别感兴趣区域、研究解剖结构、测量组织体积、观察肿瘤生长或治疗中肿瘤体积的减少、为治疗前的计划和治疗中提供帮助、计算辐射剂量等。如何快速精确地分割出前列腺区域是前列腺MR图像分割的难点问题。
针对前列腺MR图像分割问题，国内外学者提出了很多方法。传统的前列腺MR图像分割方法主要分为基于边缘的分割方法、基于阈值的分割方法和基于区域的分割方法。基于边缘的分割方法假设分割目标的边缘灰度不连续，这种不连续性可以使用一阶和二阶导数来检测，通过建立特定的滤波器和阈值，对整幅图像应用该滤波器来寻找响应高于阈值的地方，作为图像的边缘，然而这种方法对噪声比较敏感、同时滤波器只能检测特定方向的边缘，且不能保证边缘的连续性和封闭性，因此这类方法不能取得很好的分割效果。基于阈值的分割方法假设图像的像素性质分布是有规律的，通过设定阈值来对像素进行分类，在二分类问题上，阈值的设定等价于求解满足类间方差最大化和类内方差最小化的方程，这种方法效率比较高，然而只考虑到像素本身的特征，没有考虑到空间特征，因此鲁棒性较差，只适用于一些图像像素性质分布有规律的简单场景。基于区域的分割方法是一种直接寻找区域的分割方法，通常从一组“种子”点开始，将与种子性质相似的那些领域像素附加到每个种子上来形成这些生长区域，通过分离与聚合区域完成分割，这种方法需要设定区域生长和停止的条件和规则，计算量较大，较前两种方法有更好的鲁棒性，可以适用于较复杂的场景。
近年来，随着深度学习的发展，深度学习已经在图像分类领域取得了重大的进展，其表现已经超过传统方法。而前列腺MR图像分割问题本质上也是一个二分类问题，将图像分为前列腺区域和非前列腺区域两个类别。目前已有将深度学医应用在前列腺MR图像分割上的例子，但是受限于训练样本过少，类别不平衡的问题，导致训练过程不稳定，并且设计的网络没有针对前列腺MR图像进行优化，导致精度不够高，同时缺少针对前列腺MR图像的预处理步骤，给在前列腺MR图像分割使用深度学习这样一种提取特征的强大工具也带来了困难。
发明内容
针对现有技术存在的不足，本发明提供了一种高内聚低耦合、高精度的基于注意力机制的卷积神经网络的前列腺MR图像分割方法。
为解决上述技术问题，本发明采用的技术方案为一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法，包括数据预处理阶段、网络训练阶段和网络推理阶段。数据预处理阶段包括前列腺MR图像格式统一、像素值范围裁剪、图像重采样。网络训练阶段包括基于注意力机制的卷积神经网络设计、过采样策略平衡正负样本比例和网络训练。网络推理阶段包括滑动窗口取样前列腺MR子图像、网络预测子图像分割图和加权融合子图像分割图。具体包括如下步骤：
步骤(1)，将不同格式的前列腺MR图像进行格式统一；
步骤(2)，对图像的像素值范围进行裁剪，去除掉异常点；
步骤(3)，计算所有图像的平均体素间距，将所有图像重采样为该平均体素间距；
步骤(4)，设计带有注意力机制的3D卷积神经网络；
该网络的结构包括5个卷积层、4个下采样层、4个上采样层、4个注意力模块，前4个卷积层后面分别连接1个下采样层，第5个卷积层后面连接4个上采样层，每个上采样层后面连接1个注意力模块，所述卷积层均为3D卷积层；该网络的输入为前列腺MR图像，输出为预测分割图；
步骤(5)，构建网络的输入时，使用过采样策略平衡正负样本的比例，训练网络；
步骤(6)，使用滑动窗口策略对前列腺MR图像取样，输入训练好的卷积神经网络，输出子图像分割图；
步骤(7)，将所有子图像分割图加权融合获得完整的前列腺MR图像分割图。
进一步的，步骤(1)的具体实现方式如下，
调用医学图像读取函数，输入前列腺MR图像文件名和该图像对应的分割图文件名，分别读入大小为H×W×D的矩阵X和Y中，矩阵X中各元素为前列腺MR图像的像素值，矩阵Y中各元素为该元素对应的类别，H为前列腺MR图像的长，W为前列腺MR图像的宽，D为前列腺MR图像的切片数；然后将矩阵X和Y存储在HDF5文件中，同时使用SimpleITK读取该图像的模态、尺寸、体素间距、分割类别数，并根据矩阵Y，使用SimpleITK计算出该图像的前列腺区域坐标，将这些属性一并存入HDF5文件中。
进一步的，步骤(2)中，将图像的像素值按从小到大进行排序，计算其在0.5％处和99.5％处的像素值X0.5和X99.5，将图像的所有像素值中低于X0.5像素值置为X0.5，高于X99.5的像素值置为X99.5，从而去除掉异常点，使图像维持高的对比度。
进一步的，步骤(5)中，先读取步骤(1)中获取的HDF5文件中的矩阵X、Y和前列腺区域坐标，然后设定过采样概率P，同时使用一个产生0-1范围的随机数生成函数，若生成的随机数大于P，则根据前列腺区域坐标，在矩阵X和Y的前列腺区域进行采样；若生成的随机数小于P，则在矩阵X和Y中随机取样。
进一步的，步骤(4)中5个卷积层的卷积核个数设置为30、60、90、120、150，卷积核的大小为3×3×3。
进一步的，步骤(4)中注意力模块接受来自下采样层的低级特征和相应尺度上采样层的高级特征，先对上采样层的高级特征进行卷积和批归一化，然后将它和下采样层的低级特征串联得到特征图，最后使用全局池化层、全连接层、线性整流函数、全连接层和激活函数输出权重向量，并使用该权重向量和一个卷积层重新加权特征图。
进一步的，训练网络时，图像的前列腺区域赋予标签1，非前列腺区域赋予标签0，使用交叉熵损失函数进行训练，网络每次输入若干个样本，每轮训练m次，共训练n轮，学习率大小设置为10e-4。
进一步的，步骤(6)中，滑动窗口大小等于网络输入图像的尺寸，滑动窗口步长设置为网络输入图像尺寸的一半，将该滑动窗口内的子图像输入训练好的网络，获得子图像分割图，使用加权平均的方法融合所有子图像的分割图，获得该前列腺MR图像完整的分割图。
本发明的有益效果为：
(1)本发明提出了一种针对前列腺MR图像的预处理策略，能够将不同格式的前列腺MR图像统一格式存储，对图像的像素值范围进行裁剪，去除掉异常点，根据平均体素间距对所有图像重采样。
(2)本发明提出了一个基于注意力机制的3D卷积神经网络，通过在上采样路径中加入注意力模块，能够自适应地调节网络中特征图的权重，强调有用的信息，抑制无用的信息，高效地实现前列腺区域的分割。
(3)本发明提出了一种在训练网络过程中选取样本的过采样策略，解决了训练过程中正负样本的比例不平衡的问题，稳定了训练过程。
(4)本发明提出了一种在网络推理阶段使用的滑动窗口策略，使用滑动窗口策略对前列腺MR图像进行取样，将该滑动窗口内的子图像输入训练好的网络，获得子图像分割图，使用加权平均的方法融合所有子图像的分割图，获得该前列腺MR图像完整的分割图。
附图说明
图1为本发明的基于注意力机制的3D卷积神经网络结构图；
图2为本发明的注意力模块结构图。
具体实施方式
为了便于本领域普通技术人员理解和实施本发明技术方案，下面结合附图和实施例对本发明作进一步的详细描述，应当理解，此处所描述的实施示例仅用于说明和解释本发明，并不用于限定本发明。
本发明公开了一种基于注意力机制的卷积神经网络的前列腺MR图像分割方法，包括数据预处理阶段、网络训练阶段和网络推理阶段。在数据预处理阶段，将不同格式的前列腺MR图像统一存储为HDF5文件，对图像的像素值范围进行裁剪，去除掉异常点，计算所有图像的平均体素间距，将所有图像重采样为该平均体素间距。在网络训练阶段，设计带有注意力机制的3D卷积神经网络，构建网络的输入时，使用过采样策略平衡正负样本的比例，训练网络。在网络推理阶段，使用滑动窗口策略对前列腺MR图像取样，输入训练好的卷积神经网络，输出子图像分割图，将所有子图像分割图加权融合获得完整的前列腺MR图像分割图。
实施例采用Python平台基于Pytorch库实现，SimpleITK医学图像处理库为实施基础。调用医学图像读取函数，输入前列腺MR图像文件名和该图像对应的分割图文件名，分别读入大小为H×W×D的矩阵X和Y中，矩阵X中各元素为前列腺MR图像的像素值，矩阵Y中各元素为该元素对应的类别，H为前列腺MR图像的长，W为前列腺MR图像的宽，D为前列腺MR图像的切片数。SimpleITK医学图像处理库为本技术领域的公知技术，在此不作赘述。
实施例中，基于矩阵X对前列腺MR图像进行如下操作：
(1)：将不同格式的前列腺MR图像统一存储为HDF5文件；
步骤(1)的具体操作为：新建一个HDF5文件，将矩阵X和Y存储在其中，同时使用SimpleITK读取该图像的模态、尺寸、体素间距、分割类别数，并根据矩阵Y，使用SimpleITK计算出该图像的前列腺区域坐标，将这些属性一并存入HDF5文件中。
(2)：对图像的像素值范围进行裁剪；
实施例中，步骤(2)的具体操作为：使用步骤(1)中获取的HDF5文件，将其中的矩阵X的像素值按从小到大进行排序，计算其在0.5％处和99.5％处的像素值X0.5和X99.5，将矩阵X中低于X0.5像素值置为X0.5，高于X99.5的像素值置为X99.5。
(3)：对图像进行重采样；
实施例中，步骤(3)的具体操作为：使用步骤(1)中获取的HDF5文件，统计所有HDF5文件中的体素间距属性，计算出平均体素间距，根据平均体素间距和HDF5文件中的尺寸属性，计算出所有图像重采样后的尺寸，对所有图像重采样，并将图像新的尺寸和平均体素间距存入HDF5文件。
(4)：设计带有注意力机制的3D卷积神经网络；
实施例中，步骤(4)的具体操作为：使用U-Net型网络作为基本骨架，将其中的2D卷积层替换为3D卷积层，并在每个卷积层后加入批归一化层，同时去掉网络中的丢弃层，并在网络的上采样路径中加入注意力模块。设计的带有注意力机制的3D卷积神经网络如图1所示，设计的注意力模块如图2所示。网络接收前列腺MR图像的输入，，输出为预测分割图；该网络的结构包括5个卷积层、4个下采样层、4个上采样层、4个注意力模块，前4个卷积层后面分别连接1个下采样层，第5个卷积层后面连接4个上采样层，每个上采样层后面连接1个注意力模块；其中5个卷积层的卷积核个数优先设置为30、60、90、120、150，卷积核的大小为3×3×3。
为了强调有用的信息，抑制无用的信息，在每一个上采样层后使用一个注意力模块对特征图重新加权。注意力模块接受来自下采样层的低级特征和相应尺度上采样层的高级特征(如图1所示，将相同大小的特征图进行串联)，先对上采样层的高级特征进行卷积和批归一化，然后将它和下采样层的低级特征串联得到特征图，最后使用全局池化层、全连接层、线性整流函数、全连接层和激活函数输出权重向量，并使用该权重向量和一个卷积层重新加权特征图。
(5)使用过采样策略构建网络的输入，训练网络；
实施例中，步骤(5)的具体操作为：读取步骤(1)中获取的HDF5文件中的矩阵X、Y和前列腺区域坐标，设定过采样概率P，同时使用一个产生0-1范围的随机数生成函数，若生成的随机数大于P，则根据前列腺区域坐标，在矩阵X和Y的前列腺区域进行采样；若生成的随机数小于P，则在矩阵X和Y中随机取样。通过上述方式构建好网络的输入后，输入设计好的网络，训练网络，其中图像的前列腺区域赋予标签1，非前列腺区域赋予标签0，使用交叉熵损失函数进行训练，网络每次输入8个样本，每轮训练250次，共训练200轮，学习率大小设置为10e-4。
(6)：使用训练好的网络对待预测的前列腺MR图像进行推理，得到分割图；
步骤(6)的具体操作为：对待预测的前列腺MR图像，先使用滑动窗口策略对其进行取样，滑动窗口大小等于网络输入图像的尺寸，滑动窗口步长设置为网络输入图像尺寸的一半，将该滑动窗口内的子图像输入训练好的网络，获得子图像分割图，使用加权平均的方法融合所有子图像的分割图，获得待预测前列腺MR图像完整的分割图。
具体实施时，可采用软件方式实现流程的自动运行。运行流程的装置也应当在本发明的保护范围内。
以下通过对比试验来验证本发明的有益效果。
本试验采用的数据集为Promise 12数据集，Promise 12数据集有50份前列腺MR图像作训练集，30份前列腺MR图像作测试集，这些前列腺MR图像采集于不同的医院、不同的设备、使用了不同的协议，图像的长宽有512×512、384×384、320×320、256×256四个类别，切片数从17到54不等，体素间距从0.27×0.27×2.2(mm)到0.75×0.75×4(mm)不等，包含了各种情况下产生的前列腺MR图像。分别采用经典的凸优化方法(方法1)、基于区域的分层分割(方法2)、2D卷积神经网络U-Net(方法3)、3D卷积神经网络V-Net(方法4)、3D残差体积卷积神经网络(方法5)和本发明方法进行目标检测，本发明方法以具体实施方式的方法为例。
前列腺MR图像分割方法评价指标：Dice系数。
Dice系数是一种集合相似度度量函数，用于衡量预测的分割图和真实的分割图之间的重叠度，其范围为0-1，0表示预测的分割图和真实的分割图之间完全没有重叠，1表示预测的分割图和真实的分割图完全重叠。
表1对比试验结果
本发明方法 方法1 方法2 方法3 方法4 方法5
Promise 12 0.91 0.86 0.86 0.87 0.88 0.89
从表1可见，本发明方法在试验的数据集上能获得更高的Dice系数，表明本发明方法具有更强的分割能力。与基本的传统方法如方法1和2相比，本发明方法的Dice系数有大幅度的提高，表明本发明方法比传统方法的分割能力强很多；而与现有的基于深度学习的方法如方法3、4和5相比，本发明方法的Dice系数也更高，同时本发明的推理速度在所有方法中也是最快的。
由此可得出结论，与已有前列腺MR图像分割方法相比，本发明方法拥有更高的分割精度。本发明提出的前列腺MR图像预处理步骤有效地利用了图像的各种属性，为后续的各种操作奠定了基础，同时为处理这一类图像提供了一个统一的接口。本发明通过采用一种过采样策略解决了网络训练阶段类别不平衡而导致网络训练不稳定的问题，通过基于注意力机制的3D卷积神经网络提取前列腺MR图像的特征，使用注意力模块重新调整网络中特征图的权重，强调有用的信息，抑制无用的信息，从而实现前列腺区域和非前列腺区域的分类，增强前列腺区域分割的效果。
应当理解的是，本说明书未详细阐述的部分均属于现有技术。
应当理解的是，上述针对较佳实施例的描述较为详细，并不能因此而认为是对本发明专利保护范围的限制，本领域的普通技术人员在本发明的启示下，在不脱离本发明权利要求所保护的范围情况下，还可以做出替换或变形，均落入本发明的保护范围之内，本发明的请求保护范围应以所附权利要求为准。

Claims (8)

1.一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法，其特征在于，包括如下步骤：
步骤(1)，将不同格式的前列腺MR图像进行格式统一；
步骤(2)，对图像的像素值范围进行裁剪，去除掉异常点；
步骤(3)，计算所有图像的平均体素间距，将所有图像重采样为该平均体素间距；
步骤(4)，设计带有注意力机制的3D卷积神经网络；
该网络的结构包括5个卷积层、4个下采样层、4个上采样层、4个注意力模块，前4个卷积层后面分别连接1个下采样层，第5个卷积层后面连接4个上采样层，每个上采样层后面连接1个注意力模块，所述卷积层均为3D卷积层；该网络的输入为前列腺MR图像，输出为预测分割图；
步骤(5)，构建网络的输入时，使用过采样策略平衡正负样本的比例，训练网络；
步骤(6)，使用滑动窗口策略对前列腺MR图像取样，输入训练好的卷积神经网络，输出子图像分割图；
步骤(7)，将所有子图像分割图加权融合获得完整的前列腺MR图像分割图。
2.如权利要求1所述的一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法，其特征在于：步骤(1)的具体实现方式如下，
调用医学图像读取函数，输入前列腺MR图像文件名和该图像对应的分割图文件名，分别读入大小为H×W×D的矩阵X和Y中，矩阵X中各元素为前列腺MR图像的像素值，矩阵Y中各元素为该元素对应的类别，H为前列腺MR图像的长，W为前列腺MR图像的宽，D为前列腺MR图像的切片数；然后将矩阵X和Y存储在HDF5文件中，同时使用SimpleITK读取该图像的模态、尺寸、体素间距、分割类别数，并根据矩阵Y，使用SimpleITK计算出该图像的前列腺区域坐标，将这些属性一并存入HDF5文件中。
3.如权利要求1所述的一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法，其特征在于：步骤(2)中，将图像的像素值按从小到大进行排序，计算其在0.5％处和99.5％处的像素值X0.5和X99.5，将图像的所有像素值中低于X0.5像素值置为X0.5，高于X99.5的像素值置为X99.5，从而去除掉异常点，使图像维持高的对比度。
4.如权利要求2所述的一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法，其特征在于：步骤(5)中，先读取步骤(1)中获取的HDF5文件中的矩阵X、Y和前列腺区域坐标，然后设定过采样概率P，同时使用一个产生0-1范围的随机数生成函数，若生成的随机数大于P，则根据前列腺区域坐标，在矩阵X和Y的前列腺区域进行采样；若生成的随机数小于P，则在矩阵X和Y中随机取样。
5.如权利要求1所述的一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法，其特征在于：步骤(4)中5个卷积层的卷积核个数设置为30、60、90、120、150，卷积核的大小为3×3×3。
6.如权利要求1所述的一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法，其特征在于：步骤(4)中注意力模块接受来自下采样层的低级特征和相应尺度上采样层的高级特征，先对上采样层的高级特征进行卷积和批归一化，然后将它和下采样层的低级特征串联得到特征图，最后使用全局池化层、全连接层、线性整流函数、全连接层和激活函数输出权重向量，并使用该权重向量和一个卷积层重新加权特征图。
7.如权利要求1所述的一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法，其特征在于：训练网络时，图像的前列腺区域赋予标签1，非前列腺区域赋予标签0，使用交叉熵损失函数进行训练，网络每次输入若干个样本，每轮训练m次，共训练n轮，学习率大小设置为10e-4。
8.如权利要求1所述的一种基于注意力机制的3D卷积神经网络的前列腺MR图像分割方法，其特征在于：步骤(6)中，滑动窗口大小等于网络输入图像的尺寸，滑动窗口步长设置为网络输入图像尺寸的一半，将该滑动窗口内的子图像输入训练好的网络，获得子图像分割图，使用加权平均的方法融合所有子图像的分割图，获得该前列腺MR图像完整的分割图。
CN202010030052.9A 2020-01-13 2020-01-13 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法 Active CN111275714B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010030052.9A CN111275714B (zh) 2020-01-13 2020-01-13 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010030052.9A CN111275714B (zh) 2020-01-13 2020-01-13 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法

Publications (2)

Publication Number Publication Date
CN111275714A true CN111275714A (zh) 2020-06-12
CN111275714B CN111275714B (zh) 2022-02-01

Family

ID=71000129

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010030052.9A Active CN111275714B (zh) 2020-01-13 2020-01-13 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法

Country Status (1)

Country Link
CN (1) CN111275714B (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798426A (zh) * 2020-06-30 2020-10-20 天津大学 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统
CN112190250A (zh) * 2020-09-01 2021-01-08 中山大学肿瘤防治中心 垂体瘤影像分类方法、系统及电子设备
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112434723A (zh) * 2020-07-23 2021-03-02 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN112508848A (zh) * 2020-11-06 2021-03-16 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN113140291A (zh) * 2020-12-17 2021-07-20 慧影医疗科技（北京）有限公司 图像分割方法、装置、模型训练方法及电子设备
CN113205509A (zh) * 2021-05-24 2021-08-03 山东省人工智能研究院 一种基于位置卷积注意力网络的血管斑块ct影像分割方法
CN113205096A (zh) * 2021-04-26 2021-08-03 武汉大学 一种基于注意力的联合图像与特征自适应的语义分割方法
CN113592794A (zh) * 2021-07-16 2021-11-02 华中科技大学 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN113610085A (zh) * 2021-10-10 2021-11-05 成都千嘉科技有限公司 基于注意力机制的字轮图像识别方法
CN114399501A (zh) * 2022-01-27 2022-04-26 中国医学科学院北京协和医院 基于深度学习卷积神经网络的自动分割前列腺全腺体方法
CN114445421A (zh) * 2021-12-31 2022-05-06 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种鼻咽癌淋巴结区域的识别分割方法、装置及系统
WO2022227108A1 (zh) * 2021-04-25 2022-11-03 华中科技大学 基于中央凹残差网络的前列腺多模mr图像分类方法和系统
CN116664846A (zh) * 2023-07-31 2023-08-29 华东交通大学 基于语义分割实现3d打印桥面施工质量监测方法及系统

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544682A (zh) * 2013-09-17 2014-01-29 华中科技大学 一种三维超声图像非局部均值滤波方法
CN105718942A (zh) * 2016-01-19 2016-06-29 重庆邮电大学 基于均值漂移和过采样的高光谱图像不平衡分类方法
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107886510A (zh) * 2017-11-27 2018-04-06 杭州电子科技大学 一种基于三维全卷积神经网络的前列腺mri分割方法
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108710830A (zh) * 2018-04-20 2018-10-26 浙江工商大学 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN108765427A (zh) * 2018-05-17 2018-11-06 北京龙慧珩医疗科技发展有限公司 一种前列腺图像分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN109906470A (zh) * 2016-08-26 2019-06-18 医科达有限公司 使用神经网络方法的图像分割
CN110059662A (zh) * 2019-04-26 2019-07-26 山东大学 一种深度视频行为识别方法及系统
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103544682A (zh) * 2013-09-17 2014-01-29 华中科技大学 一种三维超声图像非局部均值滤波方法
CN105718942A (zh) * 2016-01-19 2016-06-29 重庆邮电大学 基于均值漂移和过采样的高光谱图像不平衡分类方法
CN106250931A (zh) * 2016-08-03 2016-12-21 武汉大学 一种基于随机卷积神经网络的高分辨率图像场景分类方法
CN109906470A (zh) * 2016-08-26 2019-06-18 医科达有限公司 使用神经网络方法的图像分割
CN107240102A (zh) * 2017-04-20 2017-10-10 合肥工业大学 基于深度学习算法的恶性肿瘤计算机辅助早期诊断方法
CN107886510A (zh) * 2017-11-27 2018-04-06 杭州电子科技大学 一种基于三维全卷积神经网络的前列腺mri分割方法
CN108021916A (zh) * 2017-12-31 2018-05-11 南京航空航天大学 基于注意力机制的深度学习糖尿病视网膜病变分类方法
CN108710830A (zh) * 2018-04-20 2018-10-26 浙江工商大学 一种结合密集连接注意力金字塔残差网络和等距限制的人体3d姿势估计方法
CN108765427A (zh) * 2018-05-17 2018-11-06 北京龙慧珩医疗科技发展有限公司 一种前列腺图像分割方法
US10304193B1 (en) * 2018-08-17 2019-05-28 12 Sigma Technologies Image segmentation and object detection using fully convolutional neural network
CN109886971A (zh) * 2019-01-24 2019-06-14 西安交通大学 一种基于卷积神经网络的图像分割方法及系统
CN109903292A (zh) * 2019-01-24 2019-06-18 西安交通大学 一种基于全卷积神经网络的三维图像分割方法及系统
CN110059662A (zh) * 2019-04-26 2019-07-26 山东大学 一种深度视频行为识别方法及系统
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CHENGWEI SU 等: "Prostate MR Image Segmentation With Self-Attention Adversarial Training Based on Wasserstein Distance:webofscience,prostate and MR and segmentation and attention", 《SPECIAL SECTION ON ADVANCED DATA MINING METHODS FOR SOCIAL COMPUTING》 *
蔡雨 等: "基于特征融合的实时语义分割算法", 《激光与光电子学进展》 *

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111798426A (zh) * 2020-06-30 2020-10-20 天津大学 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统
CN111798426B (zh) * 2020-06-30 2022-09-06 天津大学 用于移动端的胃肠道间质瘤中核分裂象深度学习检测系统
CN112434723A (zh) * 2020-07-23 2021-03-02 之江实验室 一种基于注意力网络的日/夜间图像分类及物体检测方法
CN112190250B (zh) * 2020-09-01 2023-10-03 中山大学肿瘤防治中心 垂体瘤影像分类方法、系统及电子设备
CN112190250A (zh) * 2020-09-01 2021-01-08 中山大学肿瘤防治中心 垂体瘤影像分类方法、系统及电子设备
CN112241766A (zh) * 2020-10-27 2021-01-19 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112508848A (zh) * 2020-11-06 2021-03-16 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN112508848B (zh) * 2020-11-06 2024-03-26 上海亨临光电科技有限公司 一种基于深度学习多任务端到端的遥感图像船舶旋转目标检测方法
CN113140291B (zh) * 2020-12-17 2022-05-10 慧影医疗科技(北京)股份有限公司 图像分割方法、装置、模型训练方法及电子设备
CN113140291A (zh) * 2020-12-17 2021-07-20 慧影医疗科技（北京）有限公司 图像分割方法、装置、模型训练方法及电子设备
WO2022227108A1 (zh) * 2021-04-25 2022-11-03 华中科技大学 基于中央凹残差网络的前列腺多模mr图像分类方法和系统
CN113205096A (zh) * 2021-04-26 2021-08-03 武汉大学 一种基于注意力的联合图像与特征自适应的语义分割方法
US11790534B2 (en) 2021-04-26 2023-10-17 Wuhan University Attention-based joint image and feature adaptive semantic segmentation method
CN113205096B (zh) * 2021-04-26 2022-04-15 武汉大学 一种基于注意力的联合图像与特征自适应的语义分割方法
CN113205509A (zh) * 2021-05-24 2021-08-03 山东省人工智能研究院 一种基于位置卷积注意力网络的血管斑块ct影像分割方法
CN113205509B (zh) * 2021-05-24 2021-11-09 山东省人工智能研究院 一种基于位置卷积注意力网络的血管斑块ct影像分割方法
CN113592794B (zh) * 2021-07-16 2024-02-13 华中科技大学 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN113592794A (zh) * 2021-07-16 2021-11-02 华中科技大学 基于混合注意力机制的2d卷积神经网络的脊椎图分割方法
CN113610085B (zh) * 2021-10-10 2021-12-07 成都千嘉科技有限公司 基于注意力机制的字轮图像识别方法
CN113610085A (zh) * 2021-10-10 2021-11-05 成都千嘉科技有限公司 基于注意力机制的字轮图像识别方法
CN114445421A (zh) * 2021-12-31 2022-05-06 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种鼻咽癌淋巴结区域的识别分割方法、装置及系统
CN114445421B (zh) * 2021-12-31 2023-09-29 中山大学肿瘤防治中心（中山大学附属肿瘤医院、中山大学肿瘤研究所） 一种鼻咽癌淋巴结区域的识别分割方法、装置及系统
CN114399501A (zh) * 2022-01-27 2022-04-26 中国医学科学院北京协和医院 基于深度学习卷积神经网络的自动分割前列腺全腺体方法
CN116664846A (zh) * 2023-07-31 2023-08-29 华东交通大学 基于语义分割实现3d打印桥面施工质量监测方法及系统
CN116664846B (zh) * 2023-07-31 2023-10-13 华东交通大学 基于语义分割实现3d打印桥面施工质量监测方法及系统

Also Published As

Publication number Publication date
CN111275714B (zh) 2022-02-01

Similar Documents

Publication Publication Date Title
CN111275714B (zh) 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
US20230186476A1 (en) Object detection and instance segmentation of 3d point clouds based on deep learning
Nie et al. Automatic detection of melanoma with yolo deep convolutional neural networks
CN107784647B (zh) 基于多任务深度卷积网络的肝脏及其肿瘤分割方法及系统
CN109410219B (zh) 一种基于金字塔融合学习的图像分割方法、装置和计算机可读存储介质
CN106056595B (zh) 基于深度卷积神经网络自动识别甲状腺结节良恶性的辅助诊断系统
CN109949276B (zh) 一种于改进SegNet分割网络的淋巴结检测方法
CN109658419B (zh) 一种医学图像中小器官的分割方法
WO2021203795A1 (zh) 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
JP2023550844A (ja) 深層形状学習に基づく肝臓ｃｔ自動分割方法
CN112001218A (zh) 一种基于卷积神经网络的三维颗粒类别检测方法及系统
Duan et al. A novel GA-based optimized approach for regional multimodal medical image fusion with superpixel segmentation
Liu et al. IOUC-3DSFCNN: Segmentation of brain tumors via IOU constraint 3D symmetric full convolution network with multimodal auto-context
CN112819831B (zh) 基于卷积Lstm及多模型融合的分割模型生成方法及装置
CN112381164A (zh) 一种基于多分支注意力机制的超声图像分类方法和装置
US11227387B2 (en) Multi-stage brain tumor image processing method and system
CN112330701A (zh) 基于极坐标表示的组织病理图像细胞核分割方法及系统
Shan et al. SCA-Net: A spatial and channel attention network for medical image segmentation
CN113793357A (zh) 一种基于深度学习的支气管肺段图像分割方法及系统
Tan et al. Automatic prostate segmentation based on fusion between deep network and variational methods
CN117078692B (zh) 一种基于自适应特征融合的医疗超声图像分割方法及系统
CN112017161A (zh) 一种基于中心点回归的肺结节检测方法和检测装置
CN116309640A (zh) 一种基于多层级多注意力MLMA-UNet网络的图像自动分割方法
CN114677516B (zh) 一种基于深度神经网络的口腔下颌管自动分割方法
CN111126424A (zh) 一种基于卷积神经网络的超声图像分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant