CN111161284B - 一种基于PSPNet与HED相结合的医学图像骨骼分割方法 - Google Patents

一种基于PSPNet与HED相结合的医学图像骨骼分割方法 Download PDF

Info

Publication number
CN111161284B
CN111161284B CN201911405782.6A CN201911405782A CN111161284B CN 111161284 B CN111161284 B CN 111161284B CN 201911405782 A CN201911405782 A CN 201911405782A CN 111161284 B CN111161284 B CN 111161284B
Authority
CN
China
Prior art keywords
pspnet
hed
network
neural network
bone segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911405782.6A
Other languages
English (en)
Other versions
CN111161284A (zh
Inventor
陈阳
宋晓伟
高大志
陈吉瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xingaoyi Medical Equipment Co ltd
Original Assignee
Southeast University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Southeast University filed Critical Southeast University
Priority to CN201911405782.6A priority Critical patent/CN111161284B/zh
Publication of CN111161284A publication Critical patent/CN111161284A/zh
Application granted granted Critical
Publication of CN111161284B publication Critical patent/CN111161284B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

本发明公开了一种基于PSPNet与HED相结合的医学图像骨骼分割方法，将PSPNet与HED相结合组成新的网络结构，利用有限的医学图像进行训练，将胸部图像中的肋骨与脊柱标识并进行提取。本发明使用新型神经网络结构并实现对复杂医学图像的骨骼分割。

Description

一种基于PSPNet与HED相结合的医学图像骨骼分割方法
技术领域
本发明涉及一种基于PSPNet与HED相结合的医学图像骨骼分割方法，属于计算机图像处理领域。
背景技术
目前传统的医学图像分割方法主要包括基于阈值特性分割和基于区域特性分割等。阈值分割是最常见的直接检测目标区域的分割方法，阈值分割又可以分为单阈值分割方式和多阈值分割方式。单阈值分割只需要选取一个阈值将图像简单的分为背景部分与目标部分，多阈值分割需要设置多个阈值将图像分割为多个目标位置，为了区分不同阈值得到的目标，需要对各个区域进行标记。区域分割的效果取决于阈值的选择，相对于其他分割方法，阈值分割的速度较快、计算简单、效率高。但是这种方法没有充分考虑空间特性，只关注像素的灰度特征，对于噪声图像效果不够理想。
随着深度学习在各个领域的不断发展与应用，卷积神经网络也逐渐应用在图像处理领域中。卷积神经网络在图像分类与图像特征的提取方面有着很好的效果，相对于传统图像分割方法卷积神经网络在分割准确率与精细度上有大幅的提升，凭借着其优秀的效果，卷积神经网络以及一些优秀的神经网络也逐渐应用于医学图像分割中，其中PSPNet就是其中一个优秀的神经网络。PSPNet相对于传统卷积神经网络的改动主要是在语义分割过程中添加了更多的上下文信息(Context Information)。PSPNet通过全局均值池化以及特征融合在FCN的基础上引入更多的上下文信息，提高了复杂场景解析的能力。HED是一个端到端的边缘检测方法，该网络能够得到较好的图像边缘分割结果。
发明内容
为提高现有神经网络在医学图像分割中的分割能力，本发明利用已经提出的性能优异的神经网络来搭建新型神经网络，提供一种一种基于PSPNet与HED相结合的医学图像骨骼分割方法，提高医学图像骨骼分割方面的性能。
本发明为解决上述技术问题采用以下技术方案：
本发明提供一种基于PSPNet与HED相结合的医学图像骨骼分割方法，具体步骤如下：
步骤1，将HED网络与PSPNet网络组合起来搭建新的神经网络：
以HED网络的输出特征替换PSPNet网络中采用空洞卷积策略所提取feature map、与PSPNet网络的金字塔池化模块输出的上采样结果组合后作为PSPNet网络的卷积层的输入；
步骤2，采用现有医学图像作为训练样本，对步骤1中搭建的新的神经网络进行训练；
步骤3，采用步骤2中完成训练的新的神经网络进行骨骼分割。
作为本发明的进一步技术方案，PSPNet网络使用预训练的ResNet模型来进行初始特征图的生成。
作为本发明的进一步技术方案，PSPNet网络的金字塔池化模块为四层金字塔结构。
作为本发明的进一步技术方案，步骤2中的训练样本为若干胸部CT图像及其对应的骨骼分割结果。
本发明采用以上技术方案与现有技术相比，具有以下技术效果：本发明利用现有的神经网络PSPNet与HED来搭建新的神经网络，PSPNet的优势在于金字塔池化层得到的上下文信息能够使网络能够更多的考虑上下文信息；HED的优势在于利用多尺度多层级学习能够很好的实现图像的边缘检测。为了充分结合两者的优势，新的神经网络结构保留了金字塔池化模块并将HED的输出引入到新的神经网络中。本发明相对于PSPNet在分割效果以及各项性能度量值中都有一定的提升。
附图说明
图1为PSPNet与HED网络结构，其中，(a)是PSPNet网络结构，(b)是HED网络结构；
图2为本发明的神经网络结构；
图3为本发明的训练数据与标签，其中(a)为训练数据，(b)为标签；
图4为本发明实施例的待分割的医学图像；
图5为本发明实施例的神经网络与PSPNet网络性能对比，其中(a)为两种网络的预测准确率对比，(b)为两种网络的预测精度对比，(c)为两种网络的回调率对比；
图6为本发明实施例的分割结果，其中(a)是本发明方案的分割结果，(b)为手动分割结果。
具体实施方式
下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。
如图1中的(a)所示，PSPNet使用预训练的ResNet模型来进行初始特征图的生成，之后通过金字塔池化模块来整合上下文信息，使用四层金字塔结构来得到全局特征，之后将全局特征与原始特征图连接起来之后通过卷积层来生成最终的预测图。
如图1中的(b)所示，HED在VGG网络的基础上添加了5个侧输出层得到不同尺度的边缘映射，最终通过融合不同尺度的侧输出得到最终的预测结果。
本发明一种基于PSPNet与HED相结合的医学图像骨骼分割方法，具体步骤如下：
步骤1：使用PSPNet与HED两个网络搭建新的神经网络，将HED网络的输出特征与PSPNet在金字塔池化模块得到的高级特征进行组合再对特征进行后续处理。
本发明在PSPNet的金字塔层池化的最后阶段进行更改，在进入最后的卷积层时，将原始特征图feature map替换为由HED预测得到的特征图，即将PSPNet中上采样得到的全局特征与HED得到的特征图进行融合，然后经过PSPNet中的4个卷积层得到最后的结果，并且保持输出尺度与输入图像的尺度相同。最终得到的神经网络结构如图2所示。
步骤2：对训练数据进行采集与勾画，使用医学CT图像用于训练与测试，对于训练数据做归一化处理。本发明中数据包括1020张CT胸部医学数据，其中训练集包括825张胸部CT数据，测试集包括195张胸部CT数据。训练数据示例为图3中的(a)，标签示例为图3中的(b)所示。
步骤3：在相同的训练与测试数据以及相同的训练参数情况下对图4数据集进行分割，将本方法中使用的神经网络分割效果与PSPNet分割效果进行对比与分析，比较两种网络的准确率、查准率、查全率以及损失函数值，如图5所示，图中可以看出使用本发明中的新型神经网络的准确率、查全率与查准率三种衡量方式的值都比单独使用PSPNet的训练时要高。
效果评估
基于新型神经网络的分割结果与手动分割结果对比如图6所示，图中可以看出使用神经网络有效的分割出了目标区域，同时新型神经网络与PSPNet的性能对比如图5所示，可以看到使用新型神经网络的准确率、查全率与查准率三种衡量方式的值都比单独使用PSPNet的训练时要高，说明新型神经网络在性能上相对于PSPNet有一定的提升。

Claims (4)

1.一种基于PSPNet与HED相结合的医学图像骨骼分割方法，其特征在于，具体步骤如下：
步骤1，将HED网络与PSPNet网络组合起来搭建新的神经网络：
以HED网络的输出特征替换PSPNet网络中采用空洞卷积策略所提取feature map、与PSPNet网络的金字塔池化模块输出的上采样结果组合后作为PSPNet网络的卷积层的输入；
步骤2，采用现有医学图像作为训练样本，对步骤1中搭建的新的神经网络进行训练；
步骤3，采用步骤2中完成训练的新的神经网络进行骨骼分割。
2.根据权利要求1所述的一种基于PSPNet与HED相结合的医学图像骨骼分割方法，其特征在于，PSPNet网络使用预训练的ResNet模型来进行初始特征图的生成。
3.根据权利要求1所述的一种基于PSPNet与HED相结合的医学图像骨骼分割方法，其特征在于，PSPNet网络的金字塔池化模块为四层金字塔结构。
4.根据权利要求1所述的一种基于PSPNet与HED相结合的医学图像骨骼分割方法，其特征在于，步骤2中的训练样本为若干胸部CT图像及其对应的骨骼分割结果。
CN201911405782.6A 2019-12-31 2019-12-31 一种基于PSPNet与HED相结合的医学图像骨骼分割方法 Active CN111161284B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911405782.6A CN111161284B (zh) 2019-12-31 2019-12-31 一种基于PSPNet与HED相结合的医学图像骨骼分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911405782.6A CN111161284B (zh) 2019-12-31 2019-12-31 一种基于PSPNet与HED相结合的医学图像骨骼分割方法

Publications (2)

Publication Number Publication Date
CN111161284A CN111161284A (zh) 2020-05-15
CN111161284B true CN111161284B (zh) 2022-02-11

Family

ID=70559817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911405782.6A Active CN111161284B (zh) 2019-12-31 2019-12-31 一种基于PSPNet与HED相结合的医学图像骨骼分割方法

Country Status (1)

Country Link
CN (1) CN111161284B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170128B (zh) * 2020-08-21 2023-05-30 张逸凌 基于深度学习的骨骼分割方法和系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090904A (zh) * 2018-01-03 2018-05-29 深圳北航新兴产业技术研究院 一种医学图像实例分割方法和装置
CN108614994A (zh) * 2018-03-27 2018-10-02 深圳市智能机器人研究院 一种基于深度学习的人头部图像提取方法和装置
CN108829826A (zh) * 2018-06-14 2018-11-16 清华大学深圳研究生院 一种基于深度学习和语义分割的图像检索方法
CN109345609A (zh) * 2018-08-31 2019-02-15 天津大学 基于卷积神经网络进行壁画图像去噪和线描画生成的方法
CN110276354A (zh) * 2019-05-27 2019-09-24 东南大学 一种高分辨率街景图片语义分割训练与实时分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018225145B2 (en) * 2017-02-22 2023-01-19 The United States Of America, As Represented By The Secretary, Department Of Health And Human Services Detection of prostate cancer in multi-parametric MRI using random forest with instance weighting and MR prostate segmentation by deep learning with holistically-nested networks

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108090904A (zh) * 2018-01-03 2018-05-29 深圳北航新兴产业技术研究院 一种医学图像实例分割方法和装置
CN108614994A (zh) * 2018-03-27 2018-10-02 深圳市智能机器人研究院 一种基于深度学习的人头部图像提取方法和装置
CN108829826A (zh) * 2018-06-14 2018-11-16 清华大学深圳研究生院 一种基于深度学习和语义分割的图像检索方法
CN109345609A (zh) * 2018-08-31 2019-02-15 天津大学 基于卷积神经网络进行壁画图像去噪和线描画生成的方法
CN110276354A (zh) * 2019-05-27 2019-09-24 东南大学 一种高分辨率街景图片语义分割训练与实时分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Pyramid Scene Parsing Network;Hengshuang Zhao等;《Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR)》;20171231;第2881-2890页 *
一种改进的HED网络及其在边缘检测中的应用;焦安波等;《红外技术》;20190131;第41卷(第1期);第72-77页 *

Also Published As

Publication number Publication date
CN111161284A (zh) 2020-05-15

Similar Documents

Publication Publication Date Title
CN107506761B (zh) 基于显著性学习卷积神经网络的脑部图像分割方法及系统
CN114120102A (zh) 边界优化的遥感图像语义分割方法、装置、设备及介质
CN110766051A (zh) 一种基于神经网络的肺结节形态学分类方法
CN111325750B (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN112183635A (zh) 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法
CN112767417B (zh) 一种基于级联U-Net网络的多模态图像分割方法
CN112541532B (zh) 基于密集连接结构的目标检测方法
CN108734200B (zh) 基于bing特征的人体目标视觉检测方法和装置
CN108629772A (zh) 图像处理方法及装置、计算机设备和计算机存储介质
CN114758137B (zh) 超声图像分割方法、装置及计算机可读存储介质
CN111639697B (zh) 基于非重复采样与原型网络的高光谱图像分类方法
CN113269799A (zh) 一种基于深度学习的宫颈细胞分割方法
CN112927237A (zh) 基于改进SCB-Unet网络的蜂窝肺病灶分割方法
CN116630971A (zh) 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法
CN115439654A (zh) 动态约束下的弱监督农田地块精细化分割方法及系统
CN116342894A (zh) 基于改进YOLOv5的GIS红外特征识别系统及方法
CN111161284B (zh) 一种基于PSPNet与HED相结合的医学图像骨骼分割方法
CN112528058B (zh) 基于图像属性主动学习的细粒度图像分类方法
CN114140437A (zh) 一种基于深度学习的眼底硬渗出物分割方法
CN110659724B (zh) 基于目标尺度的目标检测深度卷积神经网络构建方法
CN117173595A (zh) 基于改进YOLOv7的无人机航拍图像目标检测方法
CN116189130A (zh) 基于图像标注模型的车道线分割方法及装置
Feng et al. Improved deep fully convolutional network with superpixel-based conditional random fields for building extraction
Zhai et al. Automatic white blood cell classification based on whole-slide images with a deeply aggregated neural network
CN114565753A (zh) 一种基于改进YOLOv4网络的无人机小目标识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220928

Address after: 555 Yeshan Road, Yuyao City, Ningbo City, Zhejiang Province, 315400

Patentee after: XINGAOYI MEDICAL EQUIPMENT Co.,Ltd.

Address before: 210096 No. four archway, 2, Jiangsu, Nanjing

Patentee before: SOUTHEAST University