CN112215814A - 基于3dhog辅助卷积神经网络的前列腺图像分割方法 - Google Patents

基于3dhog辅助卷积神经网络的前列腺图像分割方法 Download PDF

Info

Publication number
CN112215814A
CN112215814A CN202011084213.9A CN202011084213A CN112215814A CN 112215814 A CN112215814 A CN 112215814A CN 202011084213 A CN202011084213 A CN 202011084213A CN 112215814 A CN112215814 A CN 112215814A
Authority
CN
China
Prior art keywords
convolution
feature map
prostate
relu
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011084213.9A
Other languages
English (en)
Other versions
CN112215814B (zh
Inventor
黄梦醒
李玉春
冯思玲
冯文龙
张雨
吴迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hainan University
Original Assignee
Hainan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hainan University filed Critical Hainan University
Priority to CN202011084213.9A priority Critical patent/CN112215814B/zh
Publication of CN112215814A publication Critical patent/CN112215814A/zh
Application granted granted Critical
Publication of CN112215814B publication Critical patent/CN112215814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507—Summing image-intensity values; Histogram projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30081—Prostate
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，包括：S1、获取并分析前列腺MRI图像信息，对3D前列腺MRI图像进行预处理；S2、将预处理后的3D前列腺MRI图像的2D HOG特征扩展为3D HOG特征，并进行特征提取；S3、将3D前列腺MRI图像输入卷积神经网络获取深度特征图；S4、将步骤S2获得的3D HOG特征和步骤S3获得的深度特征进行融合，训练得到最终分割模型；S5、通过最终分割模型对测试图像进行处理，获取前列腺MRI分割概率图。本发明可以有效缓解MRI中前列腺边界模糊不清带来的问题，并有效提高分割的准确率。

Description

基于3DHOG辅助卷积神经网络的前列腺图像分割方法
技术领域
本发明涉及医学图像处理技术领域，尤其涉及一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法。
背景技术
前列腺疾病的诊断通常是通过医学图像观察研究来进行的，前列腺体积(PV)的定量估计在前列腺疾病的诊断中起着重要作用。最近，MRI提供的高分辨率和软组织对比度使其成为获得PV的最准确方法。MRI定位和对前列腺癌进行分级的潜力相结合，其使用率迅速增加，越来越多的研究学者将其用于疾病研究中。MRI由于具有多参数成像，高对比度成像和多方向成像的特点，被广泛用于前列腺的检测和分割中。MRI在前列腺疾病的诊断和评估中起着重要作用。因此，MRI中前列腺区域的准确、自动分割已逐渐引起研究人员的广泛关注。现有的对前列腺图像自动分割方法主要分为2类，传统机器学习基于特征的方法或者基于深度学习自动分割方法。前者基于传统特征对前列腺MRI进行分割难以实现高精度，并且该方法的可重复性受到限制，不能快速应用于医疗系统。后者仅基于卷积神经网络的特征训练来对前列腺MRI进行分割，不能针对性地选择合适的特征，这将导致对前列腺边界进行精确分割存在问题。
发明内容
本发明的目的在于提供一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，解决前列腺MRI分割中边界模糊不清、分割精度较低的问题，提高分割的准确率。
本发明第一方面提供一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，包括以下步骤：
S1、获取并分析前列腺MRI图像信息，对3D前列腺MRI图像进行预处理；
S2、将预处理后的3D前列腺MRI图像的2D HOG特征扩展为3D HOG特征，并进行特征提取；
S3、将3D前列腺MRI图像输入卷积神经网络获取深度特征图；
S4、将步骤S2获得的3D HOG特征和步骤S3获得的深度特征图进行融合，通过训练得到最终分割模型；
S5、通过最终分割模型对测试图像进行处理，获取前列腺MRI分割概率图。
进一步的，所述步骤S1具体包括：
S11、获取一组前列腺MRI图像数据集，并划分为训练集和测试集，所述训练集各个图像的不同区域设有相应标签；
S12、对训练集图像和对应的标签数据进行切块处理，用于3D HOG特征提取；
S13、对训练集图像和对应的标签数据进行翻转处理。
进一步的，所述步骤S2具体包括：
S21、对预处理后的3D前列腺MRI图像使用1D[-1,0,1]滤波进行卷积操作，通过式(1)计算图像中的梯度，
Figure BDA0002719782720000021
其中G(x,y,z)表示图像在坐标位置(x,y,z)处的像素值；
S22、通过式(2)将每个梯度转换为3D球坐标，并根据其方向将其转换为二进制，
Figure BDA0002719782720000031
其中r表示3D球半径，方位角θ∈[0,2π)，
Figure BDA0002719782720000032
S23、构造直方图网格，将单位中的每个像素分级以获得梯度直方图；
S24、将直方图单元格本身组织成重叠的矩形块，并连接一个矩形块中所有单元格的直方图值以形成矢量；
S25、将每个矩形块的向量归一化，进行级联以产生最终的3D HOG特征向量。
进一步的，所述步骤S3具体包括：
S31、将3D前列腺MRI图像输入神经网络第一层做卷积操作2次，在每个卷积层后进行BN操作和ReLU操作；
S32、将步骤S31得到的特征图输入到最大池化层做下采样操作；
S33、将步骤S32得到的特征图重复3次步骤S31和2次步骤S32获得新的特征图；
S34、将步骤S33得到的特征图做卷积操作，卷积层后进行BN操作和ReLU操作；
S35、将步骤S34得到的特征图输入到最大池化层做上采样操作，获得的特征图记为A；
S36、将步骤S31获得的特征图输入最大池化层做2次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为B；
S37、将步骤S33中第1次重复步骤S31获得的特征图输入最大池化层做1次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为C；
S38、将步骤S33中第2次重复步骤3-1获得的特征图做卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为D；
S39、将特征图A、B、C、D进行特征融合操作，并做卷积操作，卷积层后进行BN操作和ReLU操作。
进一步的，所述步骤S39后还包括：
S310、将步骤S39中获得的特征图做卷积操作2次，在每个卷积层后进行BN操作和ReLU操作；
S311、将步骤S310中获得的特征图做卷积操作，在卷积层后进行BN操作和ReLU操作；
S312、将步骤S311中获得的特征图输入到最大池化层做上采样操作，获得的特征图记为E；
S313、将步骤S31获得的特征图输入最大池化层做1次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为F；
S314、将步骤S33中第1次重复步骤S31获得的特征图做卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为G；
S315、将步骤S33中第3次重复步骤S31获得的特征图输入最大池化层做1次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为H；
S316、将特征图E、F、G、H进行特征融合操作，并做卷积操作，卷积层后进行BN和ReLU操作。
进一步的，所述步骤S316后还包括：
S317、将步骤S316中获得的特征图做卷积操作2次，在每个卷积层后进行BN和ReLU操作；
S318、将步骤S317中获得的特征图做卷积操作，在卷积层后进行BN和ReLU操作；
S319、将步骤S318中获得的特征图输入到最大池化层做上采样操作，获得的特征图记为I；
S320、将步骤S33中第1次重复步骤S31获得的特征图做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为J；
S321、将步骤S33中第3次重复步骤S31获得的特征图输入最大池化层做2次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为K；
S322、将步骤S317中获得的特征图输入最大池化层做1次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为L；
S323、将特征图I、J、K、L进行特征融合操作，并做卷积操作，卷积层后进行BN和ReLU操作；
S324、将步骤S323中获得的特征图做卷积操作2次，在每个卷积层后进行BN和ReLU操作。
进一步的，所述卷积操作为3×3×3卷积操作。
进一步的，所述步骤S4具体包括：
S41、将步骤S2中获得的3D HOG特征图做3×3×3卷积操作2次，在每个卷积层后进行BN和ReLU操作，获得的特征图记为F1；
S42、将步骤S3中获得的深度特征图做3×3×3卷积操作2次，在每个卷积层后进行BN和ReLU操作，获得的特征图记为F2；
S43、将特征图F1和F2做特征融合，获得新的特征图；
S44、将步骤S43中获得的特征做3×3×3卷积操作多次，在每个卷积层后进行BN和ReLU操作；
S45、将步骤4-4最后一层做1×1×1卷积操作，作为softmax激活层的输入，获得最终分割模型。
本发明第二方面提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述第一方面所述的方法。
与现有技术相比，本发明的有益效果是：
(1)通过3D HOG辅助卷积神经网络在3D前列腺MRI图像分割过程中难以区分的边界问题上可以实现与专家标注结果高度一致；
(2)将2D HOG扩展到3D-HOG，可以有效保留3D前列腺MRI图像边界的空间信息；
(3)将传统3D HOG特征和卷积神经网络深度特征融合学习，相比于其他方法，分割精度更高，解决了边界分割模糊的问题。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的优选实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的前列腺图像分割方法整体流程示意图。
图2是本发明实施例提供的3D HOG特征提取流程示意图。
图3是本发明实施例提供的卷积神经网络结构原理示意图。
图4是本发明实施例提供的特征融合原理示意图。
具体实施方式
以下结合附图对本发明的原理和特征进行描述，所列举实施例只用于解释本发明，并非用于限定本发明的范围。
参照图1，本发明提供一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，该方法包括以下步骤：
S1、获取并分析前列腺MRI图像信息，对3D前列腺MRI图像进行预处理。
S2、将预处理后的3D前列腺MRI图像的2D HOG特征扩展为3D HOG特征，并进行特征提取。
S3、将3D前列腺MRI图像输入卷积神经网络获取深度特征图。
S4、将步骤S2获得的3D HOG特征和步骤S3获得的深度特征进行融合，训练得到最终分割模型。
S5、通过最终分割模型对测试图像进行处理，获取前列腺MRI分割概率图。
其中，步骤S1所获取的前列腺MRI图像信息可以是从医院数据库中获取，步骤S1具体包括以下步骤：
S11、获取一组前列腺MRI图像数据集，并按照一定比例划分为训练集和测试集，所述训练集的不同区域设有相应标签。
具体的，所述标签可以是由专家手动标注，训练集图像的背景标注为0，前列腺区域标注为1。
S12、对训练集图像和对应的标签数据进行切块处理，用于3D HOG特征提取。
一些实施方式中，所述切块处理可以是将训练集图像和对应的标签数据切分成大小为N×N×M的的图像块，其中N的值为64，M的值为图像总数。
S13、对训练集图像和对应的标签数据进行翻转处理。
所述翻转处理的目的在于为训练深度学习模型提供充足数据，一些实施方式中，所述翻转处理可以是将训练集图像和对应的标签数据从左到右、由上至下翻转，并将图像分别旋转90°、180°和270°，从而在为训练深度学习模型提供充足数据的基础上保留图像的视觉结构。
如图2所示，所述步骤S2具体包括以下步骤：
S21、对预处理后的3D前列腺MRI图像使用1D[-1,0,1]滤波进行卷积操作，通过式(1)计算图像中的梯度，
Figure BDA0002719782720000071
其中G(x,y,z)表示图像在坐标位置(x,y,z)处的像素值。
S22、通过式(2)将每个梯度转换为3D球坐标，并根据其方向将其转换为二进制，
Figure BDA0002719782720000081
其中r表示3D球半径，方位角θ∈[0,2π)，
Figure BDA0002719782720000082
S23、构造直方图网格，将单位中的每个像素分级以获得梯度直方图。所述分级具体可以是将像素映射到固定角度范围。
S24、将直方图单元格本身组织成重叠的矩形块，并连接一个矩形块中所有单元格的直方图值以形成矢量。
S25、将每个矩形块的向量归一化，进行级联以产生最终的3D HOG特征向量。
所述步骤S3具体包括：
S31、将3D前列腺MRI图像输入神经网络第一层做卷积操作2次，在每个卷积层后进行BN(批量归一化)操作和ReLU(修正线性激活)操作。
S32、将步骤S31得到的特征图输入到最大池化层做下采样操作。
S33、将步骤S32得到的特征图重复3次步骤S31和2次步骤S32获得新的特征图。
S34、将步骤S33得到的特征图做卷积操作，卷积层后进行BN操作和ReLU操作。
S35、将步骤S34得到的特征图输入到最大池化层做上采样操作，获得的特征图记为A。
S36、将步骤S31获得的特征图输入最大池化层做2次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为B。
S37、将步骤S33中第1次重复步骤S31获得的特征图输入最大池化层做1次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为C。
S38、将步骤S33中第2次重复步骤3-1获得的特征图做卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为D。
S39、将特征图A、B、C、D进行特征融合操作，并做卷积操作，卷积层后进行BN操作和ReLU操作。
作为一个优选的示例，所述步骤S39后还包括：
S310、将步骤S39中获得的特征图做卷积操作2次，在每个卷积层后进行BN操作和ReLU操作。
S311、将步骤S310中获得的特征图做卷积操作，在卷积层后进行BN操作和ReLU操作。
S312、将步骤S311中获得的特征图输入到最大池化层做上采样操作，获得的特征图记为E。
S313、将步骤S31获得的特征图输入最大池化层做1次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为F。
S314、将步骤S33中第1次重复步骤S31获得的特征图做卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为G。
S315、将步骤S33中第3次重复步骤S31获得的特征图输入最大池化层做1次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为H。
S316、将特征图E、F、G、H进行特征融合操作，并做卷积操作，卷积层后进行BN和ReLU操作。
作为一个优选的示例，所述步骤S316后还包括：
S317、将步骤S316中获得的特征图做卷积操作2次，在每个卷积层后进行BN和ReLU操作；
S318、将步骤S317中获得的特征图做卷积操作，在卷积层后进行BN和ReLU操作；
S319、将步骤S318中获得的特征图输入到最大池化层做上采样操作，获得的特征图记为I；
S320、将步骤S33中第1次重复步骤S31获得的特征图做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为J；
S321、将步骤S33中第3次重复步骤S31获得的特征图输入最大池化层做2次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为K；
S322、将步骤S317中获得的特征图输入最大池化层做1次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为L；
S323、将特征图I、J、K、L进行特征融合操作，并做卷积操作，卷积层后进行BN和ReLU操作；
S324、将步骤S323中获得的特征图做卷积操作2次，在每个卷积层后进行BN和ReLU操作。
上述实施例中，所述卷积操作为3×3×3卷积操作，在其他实施方式中，也可以采用不同的卷积操作。最终形成的3D CNN原理图如图3所示。
如图4所示，所述步骤S4具体包括：
S41、将步骤S2中获得的3D HOG特征图做3×3×3卷积操作2次，在每个卷积层后进行BN和ReLU操作，获得的特征图记为F1。
S42、将步骤S3中获得的深度特征图做3×3×3卷积操作2次，在每个卷积层后进行BN和ReLU操作，获得的特征图记为F2。
S43、将特征图F1和F2做特征融合，获得新的特征图。
S44、将步骤S43中获得的特征做3×3×3卷积操作多次，在每个卷积层后进行BN和ReLU操作。
S45、将步骤4-4最后一层做1×1×1卷积操作，作为softmax激活层的输入，获得最终分割模型。
MRI(磁共振成像)由于具有多参数成像，高对比度成像和多方向成像的特点，被广泛用于前列腺的检测和分割中。前列腺体积(PV)的定量估计在前列腺疾病的诊断中起着重要作用，因此MRI中前列腺区域的准确，自动分割已逐渐引起研究人员的广泛关注。然而，由于前列腺MRI的复杂性，准确的前列腺分割仍然是一个具有挑战性的问题。针对前列腺边界模糊问题，3D HOG特征的主要思想是通过梯度或边缘的方向密度分布来描述局部对象。本发明通过计算3D前列腺边缘梯度的方向密度(HOG特征)来提供边界信息。改进的3D CNN卷积神经网络在跳跃连接上与其他方法不同，跳跃连接使每个解码器层合并编码器的较小和相同比例的特征图以及解码器的较大比例的特征图。通过将3D HOG特征和3D CNN深度特征图相结合，最终提高前列腺MRI的分割精度。
在本发明的一个实施例中，获取了78例患者的3D前列腺MRI图像数据，每例均具有多个随访时间的3DMRI，在2015年1月至2019年1月之间，所有连续的患者都接受了MP-MRI检查，然后进行了系统的前列腺穿刺活检以确认前列腺癌。其中，将50个患者图像数据用作训练集，将12个患者图像数据用作验证集，将16个患者图像数据用作测试集。所有检查均使用32通道相控阵线圈在3T扫描仪上进行。前列腺的MRI由高级专家独立手动注释，以验证实验。该实施例分别计算了本发明所提供的方法(3D HaCNN)和其他的前列腺分割方法(HDnet和Patch-wise DeeplabV3+)以及其他改进的3D CNN方法(2D and 3D U-net-generated)对实验数据进行处理的评价指标，所述评价指标包括骰子相似度系数(DSC)、体积重叠误差(VOE)和相对体积差(RVD)。
骰子相似度系数(DSC)用于度量A、B两个集合的相似性，是医学图像分割中最常用的评估方法之一，定义如下:
Figure BDA0002719782720000111
体积重叠误差(VOE)是相应的误差量度，定义如下:
Figure BDA0002719782720000121
相对体积差(RVD)是两个对象之间相对体积差的量度，定义如下：
Figure BDA0002719782720000122
表1为测试集数据分别通过上述方法进行处理后相应评价指标的平均值。
表1
DSC(％) VOE(％) RVD(％)
2D and 3D U-net-generated 84±5.13 7.56±1.83 2.68±0.33
HD Net 87±3.68 7.03±1.25 2.17±0.37
Patch-wise DeeplabV3+ 88±4.26 6.34±1.19 1.85±0.27
3D HaCNN 91±3.27 5.65±0.94 1.72±0.18
从表1中3个评价指标的对比可以看出，本发明所提供的方法(3D HaCNN)显然优于现有的前列腺分割方法，本发明不仅可以分割出前列腺的整体区域，还可以做到模糊边界的精确分割。
本发明另一实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现前述方法实施例所述的方法。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，其特征在于，所述方法包括以下步骤：
S1、获取并分析前列腺MRI图像信息，对3D前列腺MRI图像进行预处理；
S2、将预处理后的3D前列腺MRI图像的2D HOG特征扩展为3D HOG特征，并进行特征提取；
S3、将3D前列腺MRI图像输入卷积神经网络获取深度特征图；
S4、将步骤S2获得的3D HOG特征和步骤S3获得的深度特征图进行融合，通过训练得到最终分割模型；
S5、通过最终分割模型对测试图像进行处理，获取前列腺MRI分割概率图。
2.根据权利要求1所述的一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，其特征在于，所述步骤S1具体包括：
S11、获取一组前列腺MRI图像数据集，并划分为训练集和测试集，所述训练集各个图像的不同区域设有相应标签；
S12、对训练集图像和对应的标签数据进行切块处理，用于3D HOG特征提取；
S13、对训练集图像和对应的标签数据进行翻转处理。
3.根据权利要求1所述的一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，其特征在于，所述步骤S2具体包括：
S21、对预处理后的3D前列腺MRI图像使用1D[-1,0,1]滤波进行卷积操作，通过式(1)计算图像中的梯度，
Figure FDA0002719782710000011
其中G(x,y,z)表示图像在坐标位置(x,y,z)处的像素值；
S22、通过式(2)将每个梯度转换为3D球坐标，并根据其方向将其转换为二进制，
Figure FDA0002719782710000021
其中r表示3D球半径，方位角θ∈[0,2π)，
Figure FDA0002719782710000022
S23、构造直方图网格，将单位中的每个像素分级以获得梯度直方图；
S24、将直方图单元格本身组织成重叠的矩形块，并连接一个矩形块中所有单元格的直方图值以形成矢量；
S25、将每个矩形块的向量归一化，进行级联以产生最终的3D HOG特征向量。
4.根据权利要求1所述的一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，其特征在于，所述步骤S3具体包括：
S31、将3D前列腺MRI图像输入神经网络第一层做卷积操作2次，在每个卷积层后进行BN操作和ReLU操作；
S32、将步骤S31得到的特征图输入到最大池化层做下采样操作；
S33、将步骤S32得到的特征图重复3次步骤S31和2次步骤S32获得新的特征图；
S34、将步骤S33得到的特征图做卷积操作，卷积层后进行BN操作和ReLU操作；
S35、将步骤S34得到的特征图输入到最大池化层做上采样操作，获得的特征图记为A；
S36、将步骤S31获得的特征图输入最大池化层做2次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为B；
S37、将步骤S33中第1次重复步骤S31获得的特征图输入最大池化层做1次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为C；
S38、将步骤S33中第2次重复步骤3-1获得的特征图做卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为D；
S39、将特征图A、B、C、D进行特征融合操作，并做卷积操作，卷积层后进行BN操作和ReLU操作。
5.根据权利要求4所述的一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，其特征在于，所述步骤S39后还包括：
S310、将步骤S39中获得的特征图做卷积操作2次，在每个卷积层后进行BN操作和ReLU操作；
S311、将步骤S310中获得的特征图做卷积操作，在卷积层后进行BN操作和ReLU操作；
S312、将步骤S311中获得的特征图输入到最大池化层做上采样操作，获得的特征图记为E；
S313、将步骤S31获得的特征图输入最大池化层做1次下采样操作和卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为F；
S314、将步骤S33中第1次重复步骤S31获得的特征图做卷积操作，卷积层后进行BN操作和ReLU操作，获得的特征图记为G；
S315、将步骤S33中第3次重复步骤S31获得的特征图输入最大池化层做1次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为H；
S316、将特征图E、F、G、H进行特征融合操作，并做卷积操作，卷积层后进行BN和ReLU操作。
6.根据权利要求5所述的一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，其特征在于，所述步骤S316后还包括：
S317、将步骤S316中获得的特征图做卷积操作2次，在每个卷积层后进行BN和ReLU操作；
S318、将步骤S317中获得的特征图做卷积操作，在卷积层后进行BN和ReLU操作；
S319、将步骤S318中获得的特征图输入到最大池化层做上采样操作，获得的特征图记为I；
S320、将步骤S33中第1次重复步骤S31获得的特征图做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为J；
S321、将步骤S33中第3次重复步骤S31获得的特征图输入最大池化层做2次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为K；
S322、将步骤S317中获得的特征图输入最大池化层做1次上采样操作，并且做卷积操作，卷积层后进行BN和ReLU操作，获得的特征图记为L；
S323、将特征图I、J、K、L进行特征融合操作，并做卷积操作，卷积层后进行BN和ReLU操作；
S324、将步骤S323中获得的特征图做卷积操作2次，在每个卷积层后进行BN和ReLU操作。
7.根据权利要求4-5任一项所述的一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，其特征在于，所述卷积操作为3×3×3卷积操作。
8.根据权利要求1所述的一种基于3DHOG辅助卷积神经网络的前列腺图像分割方法，其特征在于，所述步骤S4具体包括：
S41、将步骤S2中获得的3D HOG特征图做3×3×3卷积操作2次，在每个卷积层后进行BN和ReLU操作，获得的特征图记为F1；
S42、将步骤S3中获得的深度特征图做3×3×3卷积操作2次，在每个卷积层后进行BN和ReLU操作，获得的特征图记为F2；
S43、将特征图F1和F2做特征融合，获得新的特征图；
S44、将步骤S43中获得的特征做3×3×3卷积操作多次，在每个卷积层后进行BN和ReLU操作；
S45、将步骤4-4最后一层做1×1×1卷积操作，作为softmax激活层的输入，获得最终分割模型。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，实现权利要求1-8任一项所述的方法。
CN202011084213.9A 2020-10-12 2020-10-12 基于3dhog辅助卷积神经网络的前列腺图像分割方法 Active CN112215814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011084213.9A CN112215814B (zh) 2020-10-12 2020-10-12 基于3dhog辅助卷积神经网络的前列腺图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011084213.9A CN112215814B (zh) 2020-10-12 2020-10-12 基于3dhog辅助卷积神经网络的前列腺图像分割方法

Publications (2)

Publication Number Publication Date
CN112215814A true CN112215814A (zh) 2021-01-12
CN112215814B CN112215814B (zh) 2023-12-22

Family

ID=74054487

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011084213.9A Active CN112215814B (zh) 2020-10-12 2020-10-12 基于3dhog辅助卷积神经网络的前列腺图像分割方法

Country Status (1)

Country Link
CN (1) CN112215814B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765427A (zh) * 2018-05-17 2018-11-06 北京龙慧珩医疗科技发展有限公司 一种前列腺图像分割方法
CN110188792A (zh) * 2019-04-18 2019-08-30 万达信息股份有限公司 前列腺mri三维图像的图像特征获取方法
CN110930416A (zh) * 2019-11-25 2020-03-27 宁波大学 一种基于u型网络的mri图像前列腺分割方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108765427A (zh) * 2018-05-17 2018-11-06 北京龙慧珩医疗科技发展有限公司 一种前列腺图像分割方法
CN110188792A (zh) * 2019-04-18 2019-08-30 万达信息股份有限公司 前列腺mri三维图像的图像特征获取方法
CN110930416A (zh) * 2019-11-25 2020-03-27 宁波大学 一种基于u型网络的mri图像前列腺分割方法

Also Published As

Publication number Publication date
CN112215814B (zh) 2023-12-22

Similar Documents

Publication Publication Date Title
CN110458813B (zh) 图像区域定位方法、装置和医学图像处理设备
CN109523521B (zh) 基于多切片ct图像的肺结节分类和病灶定位方法和系统
CN110176012B (zh) 图像中的目标分割方法、池化方法、装置及存储介质
CN111275714B (zh) 一种基于注意力机制的3d卷积神经网络的前列腺mr图像分割方法
CN111445478B (zh) 一种用于cta图像的颅内动脉瘤区域自动检测系统和检测方法
US20080161687A1 (en) Repeat biopsy system
CN112862824A (zh) 新型冠状病毒肺炎病灶检测方法、系统、装置和存储介质
CN111291825A (zh) 病灶分类模型训练方法、装置、计算机设备和存储介质
CN113506308B (zh) 一种医学图像中基于深度学习的椎骨定位与脊柱分割方法
CN109584201A (zh) 医学图像配准方法、配准系统、存储介质、及电子设备
CN113223004A (zh) 一种基于深度学习的肝脏图像分割方法
CN115035089A (zh) 适用于二维脑图像数据的脑解剖结构定位方法
Tong et al. Registration of histopathology images using self supervised fine grained feature maps
CN114494289A (zh) 一种基于局部线性嵌入的插值神经网络的胰腺肿瘤图像分割处理方法
CN116664590B (zh) 基于动态对比增强磁共振图像的自动分割方法及装置
CN112149728B (zh) 一种快速的多模态图像模板匹配方法
CN112215814B (zh) 基于3dhog辅助卷积神经网络的前列腺图像分割方法
CN116645380A (zh) 基于两阶段渐进式信息融合的食管癌ct图像肿瘤区自动分割方法
CN116128895A (zh) 医学图像分割方法、装置和计算机可读存储介质
Samudrala et al. Semantic Segmentation in Medical Image Based on Hybrid Dlinknet and Unet
Marti et al. Two-dimensional–three-dimensional correspondence in mammography
CN114387308A (zh) 一种机器视觉特征跟踪系统
CN113362350A (zh) 癌症病历图像的分割方法、装置、终端设备和存储介质
Wichakam et al. Deep multi-label 3D ConvNet for breast cancer diagnosis in DBT with inversion augmentation
CN111428812A (zh) 医学图像数据的构造方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant