CN106683104B - 基于集成深度卷积神经网络的前列腺磁共振图像分割方法 - Google Patents

基于集成深度卷积神经网络的前列腺磁共振图像分割方法 Download PDF

Info

Publication number
CN106683104B
CN106683104B CN201710008778.0A CN201710008778A CN106683104B CN 106683104 B CN106683104 B CN 106683104B CN 201710008778 A CN201710008778 A CN 201710008778A CN 106683104 B CN106683104 B CN 106683104B
Authority
CN
China
Prior art keywords
image
prostate
segmentation
dcnn
carried out
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710008778.0A
Other languages
English (en)
Other versions
CN106683104A (zh
Inventor
夏勇
贾灏哲
张艳宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN201710008778.0A priority Critical patent/CN106683104B/zh
Publication of CN106683104A publication Critical patent/CN106683104A/zh
Application granted granted Critical
Publication of CN106683104B publication Critical patent/CN106683104B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于集成深度卷积神经网络的前列腺磁共振图像分割方法，分为粗略分割两部分，先对数据进行预处理归一化并依据有无直肠线圈将图像分为两类；然后进行基于特征匹配和相关显著性加权的非刚性配准；最后根据配准结果以及多数投票的算法进行二值标注图像融合从而获得初步的前列腺粗略分割结果。

Description

基于集成深度卷积神经网络的前列腺磁共振图像分割方法
技术领域
本发明属于图像处理和医学领域，具体涉及一种在前列腺磁共振图像中进行前列腺分割的方法，此方法利用了集成的深度卷积神经网络来完成图像的分割。
背景技术
近年来，前列腺疾病，如前列腺癌，已经成为危害我国男性健康的主要疾病之一。对前列腺腺体的有效测定能够极大地促进对前列腺疾病的评估，有效地预测前列腺疾病的病理阶段以及治疗响应。然而，由于前列腺组织所具有的：个体差异性较大，与邻近组织相似度较高等困难，使得前列腺图像的自动分割始终存在较大挑战。与此同时，深度学习的迅猛发展使其被广泛地应用于计算机视觉等一系列问题上。其中，深度学习的典型代表：深度卷积神经网络(Deep Convolutional Neural Networks，DCNN)也被逐渐地应用于医学图像处理领域之中。如Dvorak等人利用DCNN模型在处理特征间关系的优越能力来学习预测脑肿瘤的结构，从而对磁共振图片中的脑肿瘤组织进行有效的分割。
发明内容
要解决的技术问题
为了避免现有技术的不足之处，本发明提出一种
技术方案
一种基于集成深度卷积神经网络的前列腺磁共振图像分割方法，其特征在于步骤如下：
步骤1：对无直肠线圈图像和直肠线圈图像两类图像进行预处理：
对无直肠线圈图像按照公式1进行归一化：
其中Ix和I′x分别为位归一化前后像素x的像素值，Imax和Imin分别代表图像中的最大最小像素值，τ是根据图像的灰度值变化情况确定的阈值；
对直肠线圈图像先进行泊松融合，然后再利用公式1对其进行归一化；
步骤2：利用图谱库中的全部图谱对归一化后的目标图像P进行基于特征匹配与显著性加权的非刚性配准处理，得到与图谱中每个真实图像Ai相对应的坐标变换Ti，再分别将真实图像Ai对应的二值标注图像Li按照Ti进行坐标变换，得到一系列的形变的二值分割图像Li⊙Ti；使用多数投票的方法对所有的二值分割图像Li⊙Ti进行阈值处理，从而获得最终的粗分割结果：
其中A(s)为最终的粗分割结果，为各个图谱对于带分割图像的配准得到的分割结果；
步骤3：在前列腺边界两侧的给定区域内，给定区域的半径取图像块边长大小，提取大量的n×n大小的图像块，根据中心像素是否为前列腺像素将这些图像块标注为前列腺与非前列腺两类图像块一起作为输入数据输入到多个DCNN中，训练得到多个具有分类两类图像块的网络模型；所述的DCNN包括3组卷积、池化、激活层以及两层全连接层和一层softmax-loss层；
步骤4：利用所有的DCNN对待检测区域B(V)内的所有像素点V进行分割，V∈B(V)，并对分割结果进行集成判别：
其中mk是第K个DCNN模型，p(x＝yi|mj)是在第mj个DCNN网络模型中输入图像块x被分为类别yi的概率；
步骤5：使用MATLAB的二值图像处理函数对步骤4的分割结果进行处理，去除了空洞和毛刺；再检测出边界曲线中异常值存在的区域，利用B样条曲线来拟合边界曲线，得到最终的分割结果。
步骤3中的n为24。
有益效果
现有的前列腺分割方法普遍是由有经验的医师手工标注分割的，这种方法费时费力，很难快速地获取大量的分割结果。现有的很多分割方法受制于前文提到的种种困难，分割效果往往并不尽如人意。本方面所提出的基于集成深度卷积神经网络的前列腺磁共振图像分割方法，综合了基于图谱配准的粗略分割和基于深度卷积神经网络的精细分割，并引入了集成学习分别对两类前列腺磁共振图像进行分割，从而得到了较为理想的分割结果。
附图说明
图1非刚性配准流程
图2CNN的网络结构
具体实施方式
为了有效准确地对磁共振图像中的前列腺组织进行分割，我们提出了一种由粗到细的两步分割框架来解决前列腺磁共振图像分割问题。其中粗略分割部分基于配准的方法来实现，首先我们先对数据进行预处理归一化并依据有无直肠线圈将图像分为两类；然后进行基于特征匹配和相关显著性加权的非刚性配准；最后根据配准结果以及多数投票的算法进行二值标注图像融合从而获得初步的前列腺粗略分割结果。精细分割部分，事先我们在训练样例的真是边界两侧一定范围内采样提取大量的二维图像块，利用得到的大量图像块来训练多个两种类别的DCNN像素分类器模型，使其具有区分前列腺图像块以及非前列腺图像块的能力。在分割过程中，我们首先从粗略分割得到的待定边界扩展一个待测区域，并以区域内部每个像素点内中心提取与训练模型输入大小相匹配的图像块；然后将其输入到对应的多个DCNN模型中得到多个预测结果，并利用集成学习策略得到待测区域中每一像素的最终预测结果。最后对预测得到的前列腺图像进行后期处理以去除毛刺和异常点，从而得到最终的分类结果。
现结合实施例、附图对本发明作进一步描述：
具体步骤如下：
1.粗略分割
首先对两类图像进行预处理，其中无直肠线圈的图像按照公式(1)进行归一化，其中Ix和I′x分别为位归一化前后像素x的像素值，Imax和Imin分别代表图像中的最大最小像素值，τ是根据图像的灰度值变化情况确定的阈值。对于直肠线圈图像，我们先对其进行泊松融合，使得直肠线圈周围异常偏高的像素灰度值与背景相适应，增强图像的区分度。然后再利用公式(1)对其进行归一化。
接下来，利用图谱库中的全部图谱对归一化后的目标图像P进行基于特征匹配与显著性加权的非刚性配准处理。这里先引入一个图谱这个概念，图谱即包含了大量真实图像Ai以及与其相对应的二值标注图像Li。本发明中的Ai即为大量前列腺磁共振图像，Li为每个Ai对应的由医生手工标注的分割结果。
在针对目标图像P得到一系列配准结果后，得到与图谱中每个真实图像Ai相对应的坐标变换Ti。再分别将对应的二值标注图像Li按照Ti进行坐标变换，最后可以得到一系列的形变的二值分割图像Li⊙Ti。
为了获得粗略的分割结果，这里我们使用经典的多数投票的方法对所有的二值分割图像Li⊙Ti进行阈值处理，从而获得最终的粗分割结果，如公式2所示，其中A(S)为最终的粗分割结果，为各个图谱对于带分割图像的配准得到的分割结果。
2.精准分割
这里我们训练DCNN作为像素分类器对前一步粗分割部分得到的待分割区域内的所有像素点进行分割，判断其是否为前列腺像素。如公式3所示，任意像素点V是否在带分割区域B(V)中由V的粗分割最终结身的大小确定。
在DCNN的训练过程中，我们首先在训练样例中，在前列腺边界两侧的给定区域内，提取大量的24×24大小的图像块，这里给定区域的半径取图像块边长大小，根据中心像素是否为前列腺像素将这些图像块标注为前列腺与非前列腺两类图像块一起作为输入数据输入到DCNN中，训练得到具有分类两类图像块的网络模型。这里DCNN的网络结构如图1所示。其中包括3组卷积+池化+激活层以及两层全连接层和一层softmax-loss层。其中卷积层的核大小为5×5，滑动步长为1，并采用补0的方式使得卷积得到的特征尺寸保持不变。池化层采用最大池化的方式，滑动窗的大小为2×2，步长为2。激活函数统一使用修正线性单元激活函数(ReLU)，作用效果如公式4所示。
f(x)＝max(0，x) (4)
Softmaxloss层作用是将全连接层输出的线性预测值转化为与输出类别对应的后验概率。其中，与此同时，我们在网络中还引入了Dropout层用以提高网络的分类性能。
本发明在训练DCNN预测前列腺像素的时，还进一步引入了集成学习来提高像素的预测正确率。具体来说，我们利用测试数据集训练多个独立的DCNN模型，在对待预测区域内的像素进行预测时，利用所有的DCNN对图像块进行预测，并对预测结果进行集成判别，具体实现如公式5所示。
其中mk是第K个DCNN模型，p(x＝yi|mj)是在第mj个DCNN网络模型中输入图像块x被分为类别yi的概率。
最后，我们对集成学习得到的分割结果进行后处理。由于我们训练的DCNN是作为像素分类器来对像素进行分类，因此一些分类误差是在所难免的，这些分类误差有可能造成最终的分割结果存在异常值，如毛刺和不规则凹凸部分。这里我们先使用MATLAB的二值图像处理函数对分割结果图像进行处理，去除了空洞和毛刺。再检测出边界曲线中异常值存在的区域，利用B样条曲线来拟合边界曲线，得到最终的分割结果。

Claims (2)

1.一种基于集成深度卷积神经网络的前列腺磁共振图像分割方法，其特征在于步骤如下：
步骤1：对无直肠线圈图像和直肠线圈图像两类图像进行预处理：
对无直肠线圈图像按照公式(1)进行归一化：
其中Ix和I′x分别为位归一化前后像素x的像素值，Imax和Imin分别代表图像中的最大最小像素值，τ是根据图像的灰度值变化情况确定的阈值；
对直肠线圈图像先进行泊松融合，然后再利用公式(1)对其进行归一化；
步骤2：利用图谱库中的全部图谱对归一化后的目标图像P进行基于特征匹配与显著性加权的非刚性配准处理，得到与图谱中每个真实图像Ai相对应的坐标变换Ti，再分别将真实图像Ai对应的二值标注图像Li按照Ti进行坐标变换，得到一系列的形变的二值分割图像Li⊙Ti；使用多数投票的方法对所有的二值分割图像Li⊙Ti进行阈值处理，从而获得最终的粗分割结果：
其中A(S)为最终的粗分割结果，为各个图谱配准到待分割图像后得到的分割结果；
步骤3：在前列腺边界两侧的给定区域内，给定区域的半径取图像块边长大小，提取大量的n×n大小的图像块，根据中心像素是否为前列腺像素将这些图像块标注为前列腺与非前列腺两类图像块一起作为输入数据输入到多个DCNN中，训练得到多个具有分类两类图像块的网络模型；所述的DCNN包括3组卷积、池化、激活层以及两层全连接层和一层softmax-loss层；
步骤4：利用所有的DCNN对待分割区域B(V)内的所有像素点V进行分割，V∈B(V),并对分割结果进行集成判别：
其中mk是第k个DCNN模型，p(x＝yi|mj)是在第mj个DCNN网络模型中输入图像块x被分为类别yi的概率；
步骤5：使用MATLAB的二值图像处理函数对步骤4的分割结果进行处理，去除了空洞和毛刺；再检测出边界曲线中异常值存在的区域，利用B样条曲线来拟合边界曲线，得到最终的分割结果。
2.根据权利要求1所述的一种基于集成深度卷积神经网络的前列腺磁共振图像分割方法，其特征在于步骤3中的n为24。
CN201710008778.0A 2017-01-06 2017-01-06 基于集成深度卷积神经网络的前列腺磁共振图像分割方法 Active CN106683104B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710008778.0A CN106683104B (zh) 2017-01-06 2017-01-06 基于集成深度卷积神经网络的前列腺磁共振图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710008778.0A CN106683104B (zh) 2017-01-06 2017-01-06 基于集成深度卷积神经网络的前列腺磁共振图像分割方法

Publications (2)

Publication Number Publication Date
CN106683104A CN106683104A (zh) 2017-05-17
CN106683104B true CN106683104B (zh) 2019-07-05

Family

ID=58849345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710008778.0A Active CN106683104B (zh) 2017-01-06 2017-01-06 基于集成深度卷积神经网络的前列腺磁共振图像分割方法

Country Status (1)

Country Link
CN (1) CN106683104B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107064845B (zh) * 2017-06-06 2019-07-30 深圳先进技术研究院 基于深度卷积网的一维部分傅里叶并行磁共振成像方法
CN108305241B (zh) * 2017-09-06 2021-12-28 南京理工大学 基于深度投票模型的sd-oct图像ga病变分割方法
CN108922602A (zh) * 2018-05-28 2018-11-30 中山大学附属第六医院 基于大数据分析mri图像的直肠癌术前同期新辅助放化疗疗效评估系统和方法
CN109754403A (zh) * 2018-11-29 2019-05-14 中国科学院深圳先进技术研究院 一种ct图像内的肿瘤自动分割方法及系统
US11922629B2 (en) 2018-12-21 2024-03-05 Nova Scotia Health Authority Systems and methods for generating cancer prediction maps from multiparametric magnetic resonance images using deep learning
CN111652238B (zh) * 2019-04-16 2023-06-02 上海铼锶信息技术有限公司 一种多模型集成方法及系统
CN110599499B (zh) * 2019-08-22 2022-04-19 四川大学 基于多路卷积神经网络的mri图像心脏结构分割方法
CN110705352A (zh) * 2019-08-29 2020-01-17 杭州晟元数据安全技术股份有限公司 基于深度学习的指纹图像检测方法
CN111080658A (zh) * 2019-12-16 2020-04-28 中南民族大学 基于可形变配准和dcnn的宫颈mri图像分割方法
CN113436139A (zh) * 2021-05-10 2021-09-24 上海大学 一种基于深度学习的小肠核磁共振影像图像识别和生理学信息提取系统及方法
CN114925802A (zh) * 2021-12-27 2022-08-19 天翼数字生活科技有限公司 一种基于深度特征映射的集成迁移学习方法和系统
CN115619810B (zh) * 2022-12-19 2023-10-03 中国医学科学院北京协和医院 一种前列腺分区分割方法、系统及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013503A (zh) * 2007-01-26 2007-08-08 清华大学 一种医学图像中腹部器官分割方法
CN103020969A (zh) * 2012-12-25 2013-04-03 中国科学院深圳先进技术研究院 一种ct图像肝脏分割的处理方法及系统
WO2014036487A1 (en) * 2012-08-31 2014-03-06 Intermune, Inc. Methods of administering pirfenidone therapy
CN104160424A (zh) * 2012-03-08 2014-11-19 皇家飞利浦有限公司 用于改进多模态图像融合中的配准准确度的智能标志选择
CN105719303A (zh) * 2016-01-25 2016-06-29 杭州职业技术学院 基于多深度信念网络的磁共振前列腺3d图像分割方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101013503A (zh) * 2007-01-26 2007-08-08 清华大学 一种医学图像中腹部器官分割方法
CN104160424A (zh) * 2012-03-08 2014-11-19 皇家飞利浦有限公司 用于改进多模态图像融合中的配准准确度的智能标志选择
WO2014036487A1 (en) * 2012-08-31 2014-03-06 Intermune, Inc. Methods of administering pirfenidone therapy
CN103020969A (zh) * 2012-12-25 2013-04-03 中国科学院深圳先进技术研究院 一种ct图像肝脏分割的处理方法及系统
CN105719303A (zh) * 2016-01-25 2016-06-29 杭州职业技术学院 基于多深度信念网络的磁共振前列腺3d图像分割方法

Also Published As

Publication number Publication date
CN106683104A (zh) 2017-05-17

Similar Documents

Publication Publication Date Title
CN106683104B (zh) 基于集成深度卷积神经网络的前列腺磁共振图像分割方法
Birenbaum et al. Multi-view longitudinal CNN for multiple sclerosis lesion segmentation
CN111798462B (zh) 一种基于ct图像的鼻咽癌放疗靶区自动勾画方法
Işın et al. Review of MRI-based brain tumor image segmentation using deep learning methods
CN107464250B (zh) 基于三维mri图像的乳腺肿瘤自动分割方法
CN112270660B (zh) 基于深度神经网络的鼻咽癌放疗靶区自动分割方法
CN104933711B (zh) 一种肿瘤病理图像自动快速分割方法
CN108921019B (zh) 一种基于GEI和TripletLoss-DenseNet的步态识别方法
CN105005714A (zh) 一种基于肿瘤表型特征的非小细胞肺癌预后方法
CN112150428A (zh) 一种基于深度学习的医学图像分割方法
CN105389811A (zh) 一种基于多级阈值分割的多模态医学图像处理方法
CN102737382B (zh) 一种前列腺超声图像自动精确分割方法
CN107680107B (zh) 一种基于多图谱的扩散张量磁共振图像的自动分割方法
CN108053398A (zh) 一种半监督特征学习的黑色素瘤自动检测方法
CN107403438A (zh) 改进模糊聚类算法的超声图像病灶区分割方法
Skeika et al. Convolutional neural network to detect and measure fetal skull circumference in ultrasound imaging
CN103942780A (zh) 基于改进模糊连接度算法的丘脑及其子结构分割方法
Yonekura et al. Improving the generalization of disease stage classification with deep CNN for glioma histopathological images
CN111080658A (zh) 基于可形变配准和dcnn的宫颈mri图像分割方法
CN112907581A (zh) 一种基于深度学习的mri多类脊髓肿瘤分割方法
Debnath et al. Brain tumour segmentation using memory based learning method
Singh et al. An efficient combined approach for medical brain tumour segmentation
CN104463885A (zh) 一种多发性硬化损伤区域分割方法
Zhang et al. Segmentation of brain tumor MRI image based on improved attention module Unet network
CN109829885A (zh) 一种基于深度语义分割网络的自动识别鼻咽癌原发肿瘤方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant