CN110890143B - 一种引入空间信息的2d卷积方法 - Google Patents

一种引入空间信息的2d卷积方法 Download PDF

Info

Publication number
CN110890143B
CN110890143B CN201911148868.5A CN201911148868A CN110890143B CN 110890143 B CN110890143 B CN 110890143B CN 201911148868 A CN201911148868 A CN 201911148868A CN 110890143 B CN110890143 B CN 110890143B
Authority
CN
China
Prior art keywords
convolution
image
spatial information
axis
multiplied
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911148868.5A
Other languages
English (en)
Other versions
CN110890143A (zh
Inventor
栾晓
郑鑫宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chongqing University of Post and Telecommunications
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201911148868.5A priority Critical patent/CN110890143B/zh
Publication of CN110890143A publication Critical patent/CN110890143A/zh
Application granted granted Critical
Publication of CN110890143B publication Critical patent/CN110890143B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Abstract

本发明涉及一种引入空间信息的2D卷积方法，属于数字图像处理和模式识别领域，包括以下步骤：S1：数据准备阶段：从三维医学图像中截取一个64×64×64大小的图像切块；S2：特征提取阶段：通过2D卷积提取图像切块三个轴面的特征；S3：特征融合阶段：把三个轴面的特征图相加，实现不同轴面特征的融合，引入空间信息。本发明方法能够在2D卷积中引入空间信息，应用在2D神经网络中可以更好的帮助网络学习医学图像切片之间的空间信息。同时与其他在2D卷积中引入空间信息的方法相比本方法构建的模型拥有更小的参数，更高的精确度。最后，本方法可以简单的添加到现有的模型中，方便对模型进行改进。

Description

一种引入空间信息的2D卷积方法
技术领域
本发明属于数字图像处理和模式识别领域，涉及一种引入空间信息的2D卷积方法。
背景技术
U-net被证明在医学图像处理任务上十分有效，但对于U-net的2D卷积来说，每张切片的处理都是独立，没有考虑切片间的关系。而基于3D卷积的V-net，能够很好的提取空间信息，在基于深度学习的医学图像处理的任务上取得很好的效果。许多研究者基于3D的全卷积网络，结合密连接块或者在网络中加入全局的信息，增强特征在网络中的复用，提高学习的效率，在医学图像处理任务上也取得了很好的效果。但是，3D网络存在计算资源要求较高，网络训练周期长，预测时间长等问题。
对于2D网络来说，要更精确的去处理医学图像，比如进行分割任务，原始的U-net已经不能胜任。因此，需要在2D网络中引入空间的信息，让网络能够学习到切片间的信息。有研究者提出将三张连续的切片堆叠成一张3通道的切片，输入到神经网络中进行训练，输出中间切片的分割结果。但是，这种方法提供的空间信息有限，同时多张输入预测单张切片在一定程度上造成资源的浪费。另一种更常用的方法是对目标的三个轴面同时做模型训练，生成3个模型分别提取每一个轴面的特征，最后将3个模型的结果融合起来。这种方法需要训练三个相同的模型，网络的训练过程中不同轴面的信息依然是独立的，没有考虑到不同轴面切片间特征信息的融合，只在最后将结果进行了融合，同时训练3个模型也造成了计算资源的浪费。
发明内容
有鉴于此，本发明的目的在于更有效的在2D卷积中引入空间信息的卷积机制，能够通过旋转一组连续切片的轴，让2D卷积核能够同时卷积每一个轴面提取特征，最后将不同轴面卷积得到的特征图旋转后相加实现多维度信息的融合，提供一种引入空间信息的2D卷积方法。
为达到上述目的，本发明提供如下技术方案：
一种引入空间信息的2D卷积方法，包括以下步骤：
S1：数据准备阶段：从三维医学图像中截取一个64×64×64大小的图像切块；
S2：特征提取阶段：通过2D卷积提取图像切块三个轴面的特征；
S3：特征融合阶段：把三个轴面的特征图相加，实现不同轴面特征的融合，引入空间信息。
进一步，所述步骤S1包括以下步骤：
S11：对整个三维医学图像进行归一化，让整个图像的均值为0，标准差为1，即使图像灰度分布服从正态分布；转换公式为：
Figure BDA0002282982460000021
S12：从三维医学图像中截取一个64×64×64大小的图像切块，此操作是为了保证卷积输入的64张64×64大小的数据切片之间存在空间信息。
进一步，所述步骤S2包括以下步骤：
S21：使用2D卷积提取图像切块水平轴(Vertical)面的特征得到一个大小为64×64×64的特征图；
S22：将原始图像切块绕额状轴(Frontal)顺时针旋转90°，然后使用2D卷积提取图像切块矢状轴(Sagittal)面的特征得到一个大小为64×64×64的特征图；
S23：将原始图像切块绕矢状轴(Sagittal)逆时针旋转90°，然后使用2D卷积提取图像切块额状轴(Frontal)面的特征得到一个大小为64×64×64的特征图。
进一步，所述步骤S3具体包括以下步骤：
S31：将S22得到的特征图绕额状轴(Frontal)逆时针旋转90°，S23得到的特征图绕矢状轴(Sagittal)顺时针旋转90°；
S32：将三个特征图对位相加，得到一个64×64×64的特征图，即为完成空间信息引入的特征图，此特征图融合了三个轴面的特征，很好的引入了切片之间的空间信息。
进一步，整个卷积机制流程可以用如下的公式表示：
Figure BDA0002282982460000022
其中f表示2D卷积，RF和
Figure BDA0002282982460000023
分别表示绕额状轴顺时针旋转90°和绕额状轴逆时针旋转90°，RS和
Figure BDA0002282982460000024
分别表示绕矢状轴顺时针旋转90°和绕矢状轴逆时针旋转90°，x是输入图像，y输出图像。
本发明的有益效果在于：能够通过2D卷积，在特征图中引入空间信息，使神经网络能够学习到切片之间的信息，提高网络的性能。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明所述引入空间信息的2D卷积方法示意图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
其中，附图仅用于示例性说明，表示的仅是示意图，而非实物图，不能理解为对本发明的限制；为了更好地说明本发明的实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；对本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。
本发明实施例的附图中相同或相似的标号对应相同或相似的部件；在本发明的描述中，需要理解的是，若有术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此附图中描述位置关系的用语仅用于示例性说明，不能理解为对本发明的限制，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
本发明为一种引入空间信息的2D卷积机制，该方法包含如下步骤：
步骤1：数据准备阶段：从三维医学图像中截取一个64×64×64大小的图像切块；
步骤101：对整个三维医学图像进行归一化，让整个图像的均值为0，标准差为1，即使图像灰度分布服从正态分布。转换公式为：
Figure BDA0002282982460000031
其中x是待处理像素的灰度值，μ是整个三维医学图像的平均灰度值，σ是整个三维医学图像的标准差，z是归一化后像素的灰度值。
步骤102：从归一化后的三维图像中截取一个64×64×64大小的图像切块，此操作是为了保证卷积输入的64张64×64大小的数据切片之间存在空间信息。
步骤2：特征提取阶段：通过2D卷积提取数据立方提三个轴面的特征。
步骤201：使用2D卷积提取图像切块水平轴(Vertical)面的特征得到一个大小为64×64×64的特征图。
步骤202：将原始图像切块绕额状轴(Frontal)顺时针旋转90°，然后使用2D卷积提取图像切块矢状轴(Sagittal)面的特征得到一个大小为64×64×64的特征图。
步骤203：将原始图像切块绕矢状轴(Sagittal)逆时针旋转90°，然后使用2D卷积提取图像切块额状轴(Frontal)面的特征得到一个大小为64×64×64的特征图。
步骤3：特征融合阶段：把3个轴面的特征图相加，实现不同轴面特征的融合，引入空间信息。
步骤301：将步骤202得到的特征图绕额状轴(Frontal)逆时针旋转90°，步骤203得到的特征图绕矢状轴(Sagittal)顺时针旋转90°。
步:302：将步骤201、步骤301得到的三个特征图对位相加，得到一个64×64×64的特征图，即为完成空间信息引入的特征图。
整个卷积机制流程可以用如下的公式表示：
Figure BDA0002282982460000041
其中f表示2D卷积，RF和
Figure BDA0002282982460000042
分别表示绕额状轴顺时针旋转90°和绕额状轴逆时针旋转90°，RS和
Figure BDA0002282982460000043
分别表示绕矢状轴顺时针旋转90°和绕矢状轴逆时针旋转90°，x是输入图像，y输出图像。
为了验证本发明的效果，进行了以下实验：
基于此种2D卷积机制，构建了一个2D神经网络，在iSeg数据集上进行了测试。从iSeg数据集选择了10个样本进行实验，数据集的目标是将婴儿大脑组织分割成脑脊髓(CSF)、灰质(GM)和白质(WM)。采用9个大脑样本对神经网络进行训练，剩下一个样本进行测试，实验采用了10折交叉验证的方式。同时对比了U-net的方法1、采用堆叠3张切片的U-net的方法2、训练3个U-net模型的方法3以及采用本发明的方法4，采用Dice系数作为评价指标：
Figure BDA0002282982460000044
其中A代表网络分割的结果，B代表数据集给出的金标准。
表1给出了数据库上测试的结果，可以看到在Dice系数上，基于本发明的神经网络在每个分割结果上都表现更加优秀。
表1数据库测试结果(％)
CSF GM WM AVG
方法1 91.22 88.21 87.90 89.11
方法2 92.95 89.59 89.50 90.47
方法3 93.16 90.07 90.06 91.10
方法4 95.24 91.62 90.92 92.60
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (2)

1.一种引入空间信息的2D卷积方法，其特征在于：包括以下步骤：
S1：数据准备阶段：从三维医学图像中截取一个64×64×64大小的图像切块；
S2：特征提取阶段：通过2D卷积提取图像切块三个轴面的特征；所述步骤S2包括以下步骤：
S21：使用2D卷积提取图像切块水平轴面的特征得到一个大小为64×64×64的特征图；
S22：将原始图像切块绕额状轴顺时针旋转90°，然后使用2D卷积提取图像切块矢状轴面的特征得到一个大小为64×64×64的特征图；
S23：将原始图像切块绕矢状轴逆时针旋转90°，然后使用2D卷积提取图像切块额状轴面的特征得到一个大小为64×64×64的特征图；
S3：特征融合阶段：把三个轴面的特征图相加，实现不同轴面特征的融合，引入空间信息；所述步骤S3具体包括以下步骤：
S31：将S22得到的特征图绕额状轴逆时针旋转90°，S23得到的特征图绕矢状轴顺时针旋转90°；
S32：将三个特征图对位相加，得到一个64×64×64的特征图，即为完成空间信息引入的特征图；
整个卷积机制流程用如下的公式表示：
Figure FDA0003476112600000011
其中f表示2D卷积，RF和
Figure FDA0003476112600000012
分别表示绕额状轴顺时针旋转90°和绕额状轴逆时针旋转90°，RS和
Figure FDA0003476112600000013
分别表示绕矢状轴顺时针旋转90°和绕矢状轴逆时针旋转90°，x是输入图像，y输出图像。
2.根据权利要求1所述的引入空间信息的2D卷积方法，其特征在于：所述步骤S1包括以下步骤：
S11：对整个三维医学图像进行归一化，让整个图像的均值为0，标准差为1，即使图像灰度分布服从正态分布；转换公式为：
Figure FDA0003476112600000014
S12：从三维医学图像中截取一个64×64×64大小的图像切块。
CN201911148868.5A 2019-11-21 2019-11-21 一种引入空间信息的2d卷积方法 Active CN110890143B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911148868.5A CN110890143B (zh) 2019-11-21 2019-11-21 一种引入空间信息的2d卷积方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911148868.5A CN110890143B (zh) 2019-11-21 2019-11-21 一种引入空间信息的2d卷积方法

Publications (2)

Publication Number Publication Date
CN110890143A CN110890143A (zh) 2020-03-17
CN110890143B true CN110890143B (zh) 2022-03-08

Family

ID=69748255

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911148868.5A Active CN110890143B (zh) 2019-11-21 2019-11-21 一种引入空间信息的2d卷积方法

Country Status (1)

Country Link
CN (1) CN110890143B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667488B (zh) * 2020-04-20 2023-07-28 浙江工业大学 一种基于多角度U-Net的医学图像分割方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107909015A (zh) * 2017-10-27 2018-04-13 广东省智能制造研究所 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110310281A (zh) * 2019-07-10 2019-10-08 重庆邮电大学 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法
CN110321922A (zh) * 2019-05-09 2019-10-11 济南浪潮高新科技投资发展有限公司 一种基于空间相关区分卷积神经网络的ct图像分类方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10402697B2 (en) * 2016-08-01 2019-09-03 Nvidia Corporation Fusing multilayer and multimodal deep neural networks for video classification

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016665A (zh) * 2017-02-16 2017-08-04 浙江大学 一种基于深度卷积神经网络的ct肺结节检测方法
CN107909015A (zh) * 2017-10-27 2018-04-13 广东省智能制造研究所 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN110321922A (zh) * 2019-05-09 2019-10-11 济南浪潮高新科技投资发展有限公司 一种基于空间相关区分卷积神经网络的ct图像分类方法
CN110189334A (zh) * 2019-05-28 2019-08-30 南京邮电大学 基于注意力机制的残差型全卷积神经网络的医学图像分割方法
CN110310281A (zh) * 2019-07-10 2019-10-08 重庆邮电大学 一种基于Mask-RCNN深度学习的虚拟医疗中肺结节检测与分割方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
INFINET: FULLY CONVOLUTIONAL NETWORKS FOR INFANT BRAIN MRI SEGMENTATION;Shubham Kumar等;《2018 IEEE 15th International Symposium on Biomedical Imaging (ISBI 2018)》;20180524;第145-148页 *
RP-NET:a 3D convolutional neural network for brain segmentation from magnetic resonance imaging;liansheng wang等;《IEEE access》;20190326;第7卷;第39670-39679页 *
V-Net: Fully Convolutional Neural Networks for Volumetric Medical Image Segmentation;Fausto Milletari等;《2016 fourth international conference on 3D vision(3DV)》;20161219;第1-11页 *

Also Published As

Publication number Publication date
CN110890143A (zh) 2020-03-17

Similar Documents

Publication Publication Date Title
CN108492286B (zh) 一种基于双通路u型卷积神经网络的医学图像分割方法
CN113159051B (zh) 一种基于边缘解耦的遥感图像轻量化语义分割方法
CN110889852B (zh) 基于残差-注意力深度神经网络的肝脏分割方法
CN112508850B (zh) 基于深度学习的甲状腺细胞病理切片恶性区域的检测方法
CN109063710A (zh) 基于多尺度特征金字塔的3d cnn鼻咽癌分割方法
CN102096819B (zh) 利用稀疏表示与字典学习进行图像分割的方法
CN110889853A (zh) 基于残差-注意力深度神经网络的肿瘤分割方法
CN113239954B (zh) 基于注意力机制的图像语义分割特征融合方法
CN105956560A (zh) 一种基于池化多尺度深度卷积特征的车型识别方法
CN104143101A (zh) 一种基于超声图像的乳腺肿瘤区域自动识别方法
CN110059656B (zh) 基于卷积对抗生成神经网络的白细胞分类方法及系统
CN101551854B (zh) 不平衡医学影像处理系统及其处理方法
CN110245657A (zh) 病理图像相似性检测方法及检测装置
CN113361636B (zh) 一种图像分类方法、系统、介质及电子设备
CN112001218A (zh) 一种基于卷积神经网络的三维颗粒类别检测方法及系统
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN103679719A (zh) 一种图像分割方法
CN110890143B (zh) 一种引入空间信息的2d卷积方法
CN114913327A (zh) 一种基于改进U-Net的下肢骨骼CT图像分割算法
CN110349170A (zh) 一种全连接crf级联fcn和k均值脑肿瘤分割算法
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
CN110136113B (zh) 一种基于卷积神经网络的阴道病理图像分类方法
CN109409413B (zh) X射线乳腺肿块影像自动分类方法
CN108256423A (zh) 基于总体相关系数的阿尔茨海默症特征提取方法及系统
CN103745473A (zh) 一种脑组织提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant