CN109447998B - 基于PCANet深度学习模型下的自动分割方法 - Google Patents

基于PCANet深度学习模型下的自动分割方法 Download PDF

Info

Publication number
CN109447998B
CN109447998B CN201811148093.7A CN201811148093A CN109447998B CN 109447998 B CN109447998 B CN 109447998B CN 201811148093 A CN201811148093 A CN 201811148093A CN 109447998 B CN109447998 B CN 109447998B
Authority
CN
China
Prior art keywords
image
network
pcanet
segmentation
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811148093.7A
Other languages
English (en)
Other versions
CN109447998A (zh
Inventor
张旭明
周琳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201811148093.7A priority Critical patent/CN109447998B/zh
Publication of CN109447998A publication Critical patent/CN109447998A/zh
Application granted granted Critical
Publication of CN109447998B publication Critical patent/CN109447998B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30068Mammography; Breast
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30096Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于PCANet深度学习模型下的图像自动分割方法,该方法具体包括以下步骤:(1)将待分割的图像依次经过预处理、超像素聚类处理、第一PCANet网络的处理、以及第一SVM分类器的处理后得到粗分割后的图像;粗分割后的图像即二值化的预分割图像;(2)将步骤(1)得到的粗分割后的图像依次经过第二PCANet网络的处理、以及第二SVM分类器的处理后得到精分割后的图像,精分割后的图像即二值化的最终分割图像,由此完成图像的自动分割。本发明通过对该自动分割方法的整体数据处理流程、以及相应自动分割系统的框架结构进行控制,将超像素与PCANet网络结合实现图像的自动分割,可大大提高诸如钼靶肿块的分割精度与鲁棒性。

Description

基于PCANet深度学习模型下的自动分割方法
技术领域
本发明属于图像处理与分析中的图像分割领域,更具体地,涉及一种基于PCANet深度学习模型下的自动分割方法(具体是基于两级PCANet深度学习模型的钼靶肿块的自动分割方法),相应的,也可以得到基于PCANet深度学习模型下的自动分割系统,尤其适用于钼靶肿块的自动分割。
背景技术
医学影像技术是现代医学中的重要组成部分,对疾病的诊断和治疗有着革命性的意义。以乳腺癌为例,乳腺癌一直以来是威胁全球女性身心健康的恶性疾病之一,因此对乳腺组织进行早期异常组织的检测与筛排十分的重要。在诊断技术上,乳腺钼靶X摄影技术具有检测空间分辨率高,对肿块组织灵敏度高,并且具有无创、微辐射等特点,是目前公认的检测乳腺癌最有效的手段之一。但乳腺组织中存在的腺体、结缔组织、脂肪等密度相似的软组织往往使得钼靶图像中的病灶区隐匿其中难以辨别,加之人工阅片具有一定的主观性、随机性,因此乳腺肿块检测的准确率低一直是医学诊断中的难题。随着计算机视觉的迅速发展与大数据共享的产生,利用计算机为辅助诊断工具,给放射医师提供一定的参考诊断信息,帮助甚至代劳手动勾画影像中发生病理变化的组织,有效地减少诊断中因为视觉疲劳和疏忽造成的漏诊与误诊。当然,除了上述在疾病诊断上的关键应用外,医学影像技术也存在非疾病诊断方面的应用,如科学研究等方面的应用等。
图像分割的目标是在对待分割区域内部,根据一定特征准则,对其进行类别划分以得到分割的结果。基于计算机辅助检测系统大体上分为四部分:预处理,提取感兴趣区域,特征提取,区域分类。
目前,用于图像分割领域的方法大体上分为以下几种:第一类是基于灰度阈值的方法,根据目标图像的直方图将图像划分为前景区与背景区,接下来再根据提取出区域的圆形度、面积、标准差等特征来去除假阳性区域,然而这类方法特征指标较少,过分依赖初始的灰度信息,当环境与不同病人的图像灰度信息出现较大变化时,分割效果往往很差,因此不具有较强的鲁棒性,目前多应用在图像的预处理部分。第二类是基于边缘的方法,以水平集分割为代表,该方法计算图像中的梯度信息来构建能量泛函数,建立与曲线收缩与扩充强度的一定关系,曲线在演变过程中与变化剧烈的边界贴合得到最终的分割结果,但该法往往对图像中的突变干扰信息十分敏感并且难以检测出边界模糊不清的肿块区域,此外该法初始化区域的选取十分关键,往往需要人为干预,不能达到真正意义上的自动分割。第三类是基于聚类的方法,它是首先指定多个聚类中心,在一定范围下将图像中所有的点归入其中,重新计算新的聚类中心,重复迭代直到满足某个准则的最优则达到最终的结果,但由于乳腺肿块的大小与形态差异很大,单一地使用聚类的方法无法达到理想的分割精度。第四类是基于深度学习的分割方法,最典型是使用卷积神经网络对输入图像进行特征提取最终达到分割的效果,但卷积神经网络常常面临巨大调参工作与冗余数据量的难题,且过于深的网络存在梯度消失的缺陷,故不利于实现精准的图像分割。
发明内容
针对现有技术的以上缺陷或改进需求,本发明的目的在于提供一种基于PCANet深度学习模型下的钼靶肿块的自动分割方法,其中通过对该自动分割方法的整体数据处理流程、以及相应自动分割系统的框架结构进行控制,将超像素与PCANet网络结合实现图像的自动分割,并对自动分割方法中各个关键处理步骤(包括预处理、超像素聚类处理、PCANet网络的处理、SVM分类器的处理步骤等)细节数据处理过程等进行优选控制,可大大提高诸如钼靶肿块的分割精度与鲁棒性。
为实现上述目的,按照本发明的一个方面,提供了一种基于PCANet深度学习模型下的图像自动分割方法,其特征在于,包括以下步骤:
(1)将待分割的图像依次经过预处理、超像素聚类处理、第一PCANet网络的处理、以及第一SVM分类器的处理后得到粗分割后的图像;其中,所述超像素聚类处理是用于对预处理得到的图像进行超像素分割,得到多个超像素块;所述第一PCANet网络的处理用于提取各个超像素块的特征向量,所述第一SVM分类器的处理则用于根据这些特征向量对各个超像素块进行二分类;所述粗分割后的图像即二值化的预分割图像;
(2)将所述步骤(1)得到的所述粗分割后的图像依次经过第二PCANet网络的处理、以及第二SVM分类器的处理后得到精分割后的图像,由此完成图像的自动分割;其中,所述第二PCANet网络的处理基于所述粗分割后的图像上的各个像素点重新选取对应的图像块并进行特征向量的提取,所述第二SVM分类器的处理则用于根据这些特征向量对各个像素点进行二分类;所述精分割后的图像即二值化的最终分割图像。
作为本发明的进一步优选,所述步骤(1)具体包括以下步骤:
(1-1)预处理步骤:
对待分割的图像I,采用高斯降采样金字塔,并利用顶帽变换,获得预处理后的图像I1
(1-2)超像素聚类处理:
根据预处理后的图像I1采用线性迭代聚类的方法,由该预处理后的图像I1中各点的空间信息与灰度信息,对其进行聚类分割,得到一组含有k个形状不规则的超像素块
Figure BDA0001817279130000031
(1-3)第一PCANet网络的处理:
根据所述超像素块
Figure BDA0001817279130000041
计算每一个的聚类中心坐标,根据超像素块的面积大小,以聚类中心点为中心重新取一组尺寸为r1×r1的图像块
Figure BDA0001817279130000042
取得对应的灰度信息,r1为预先设定的、且与超像素块面积大小相关的值;将所述图像块
Figure BDA0001817279130000043
输入到第一PCANet网络中,该第一PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块
Figure BDA0001817279130000044
进行卷积运算得到一组
Figure BDA0001817279130000045
所述
Figure BDA0001817279130000046
经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到一组
Figure BDA0001817279130000047
再对
Figure BDA0001817279130000048
进行直方图统计得到表征图像块的特征向量
Figure BDA0001817279130000049
并且,
Figure BDA00018172791300000410
中的l取值由1到该第一PCANet网络中第一级滤波器的总个数,
Figure BDA00018172791300000411
中的l取值由1到该第一PCANet网络中第一级滤波器的总个数;
(1-4)第一SVM分类器的处理:
将所述特征向量
Figure BDA00018172791300000412
输入到第一SVM分类器中,该第一SVM分类器为SVM的二分类器,获得图像块的分类标签值,并反填充至对应的超像素块,获得所述二值化的预分割图像M1
作为本发明的进一步优选,所述步骤(1-1)中,所述高斯降采样和所述顶帽变换具体如下:
记所述待分割的图像I中的一个初始图像块为I,所述高斯降采样得到的图像块为Ids,所述顶帽变换得到的图像块为I1,则I、Ids、I1满足:
Ids=I*T'
Figure BDA00018172791300000413
其中,T’为预先设定的二维高斯卷积模板,优选的,T’的标准差为0.5,维度大小3×3;*为二维卷积运算符;
Figure BDA0001817279130000051
为形态学开运算符;E为预先设定的、平坦的圆形结构元素,大小优选为25~100个像素点,更优选为45个像素点;
对所述待分割的图像I中的每个初始图像块进行所述高斯降采样和所述顶帽变换,由此得到预处理后的图像I1
所述步骤(1-2)具体包括以下步骤:
(1-2-1)以步长为S的网格中心初始化聚类中心点Ck=[g,x,y]T,其中g为该点的灰度值,x与y表征中心点的位置;其中,步长S是预先设定的;
(1-2-2)在聚类中心的3像素点×3像素点邻域计算所有像素点的梯度值,将中心点移动至该范围下梯度值最低的位置;
(1-2-3)在中心点周围的S×S的区域分配类标签值,以中心点周围的2S×2S的区域作为中心点的待定区域,计算该待定区域内各像素点与包含该超像素块与相邻超像素块的多个中心点之间的距离尺度,并该像素点分配给距离尺度最近的中心点,直到所有像素点均被重新分配后再根据形心计算新的聚类中心点,重复该步骤直到所有的聚类中心点不再发生变化为止;
其中,第i个像素点与第j个超像素块的中心点之间的距离尺度Mi,j的计算公式如下:
Figure BDA0001817279130000052
其中,所述第i个像素点与第j个超像素块相邻,dg和dp分别为第i个像素点与第j个超像素块的中心点之间的灰度距离度量和空间距离度量;w和s分别为控制dg和dp的预先设定的权重因子;优选的,s为搜索区域边长归一化后的值;
所述步骤(1-3)中,记所述一组
Figure BDA0001817279130000053
Figure BDA0001817279130000054
所述一组
Figure BDA0001817279130000055
Figure BDA0001817279130000061
Figure BDA0001817279130000062
分别满足:
Figure BDA0001817279130000063
Figure BDA0001817279130000064
其中,W1与W2分别表示所述第一PCANet网络中第一级与第二级的卷积模板,L1为第一级的卷积模板个数,L1满足8~20,L2为第二级的卷积模板个数,L2满足8~20;优选的,L1=20,L2=10;
优选的,训练过程得到的卷积模板W1,W2的计算方法如下:
Figure BDA0001817279130000065
Figure BDA0001817279130000066
xi,j为第i个图像块中第j个像素点的灰度值,
Figure BDA0001817279130000067
Figure BDA0001817279130000068
Figure BDA0001817279130000069
其中,r=r1,Rrr×Bk表示rr×Bk的矩阵,B为训练集图像的张数;qL表示取前L个特征值对应的特征向量,matr,r(ν)表示将特征向量排成r×r的矩阵,
Figure BDA00018172791300000610
并且,当L=L1时,得到的WL即为W1;当L=L2时,得到的WL即为W2
作为本发明的进一步优选,所述步骤(2)具体包括以下步骤:
(2-1)第二PCANet网络的处理:
根据所述二值化的预分割图像,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块
Figure BDA00018172791300000611
取得对应的灰度信息,r2为预先设定的、与预分割模板相关的值;将所述图像块
Figure BDA0001817279130000071
输入到第二PCANet网络中,该第二PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块
Figure BDA0001817279130000072
进行卷积运算得到
Figure BDA0001817279130000073
经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到
Figure BDA0001817279130000074
Figure BDA0001817279130000075
进行直方图统计得到表征图像块的特征向量
Figure BDA0001817279130000076
(2-2)第二SVM分类器的处理:
将所述特征向量
Figure BDA0001817279130000077
输入到第二SVM分类器中,该第二SVM分类器为SVM的二分类器,获得图像块的分类标签值,并反填充至对应的像素点,获得所述二值化的最终分割图像。
作为本发明的进一步优选,所述步骤(2-1)中,
Figure BDA0001817279130000078
Figure BDA0001817279130000079
分别满足:
Figure BDA00018172791300000710
Figure BDA00018172791300000711
其中,W1与W2分别表示所述第二PCANet网络中第一级与第二级的卷积模板,L1为所述第二PCANet网络中第一级的卷积模板个数,L1满足8~20,L2为所述第二PCANet网络中第二级的卷积模板个数,L2满足8~20;优选的,L1=8,L2=8;
优选的,训练过程得到的卷积模板W1,W2的计算方法如下:
Figure BDA00018172791300000712
Figure BDA00018172791300000713
xi,j为第i个图像块中第j个像素点的灰度值,
Figure BDA00018172791300000714
Figure BDA00018172791300000715
Figure BDA0001817279130000081
其中,r=r2,Rrr×Bk'表示rr×Bk'的矩阵,B为训练集图像的张数;ql表示取前L个特征值对应的特征向量,matr,r(ν)表示将特征向量排成r×r的矩阵,
Figure BDA0001817279130000082
并且,当L=L1时,得到的WL即为W1;当L=L2时,得到的WL即为W2
作为本发明的进一步优选,所述步骤(1)中,所述待分割的图像为待分割的钼靶图像。
按照本发明的另一方面,本发明提供了一种基于PCANet深度学习模型下的图像自动分割系统,其特征在于,包括:
第一级粗分割网络,该第一级粗分割网络用于将待分割的图像依次经过预处理模块、超像素聚类处理模块、第一PCANet网络、以及第一SVM分类器后得到粗分割后的图像;其中,所述超像素聚类处理模块是用于对预处理得到的图像进行超像素分割,得到多个超像素块;所述第一PCANet网络用于提取各个超像素块的特征向量,所述第一SVM分类器则用于根据这些特征向量对各个超像素块进行二分类;所述粗分割后的图像即二值化的预分割图像;
第二级精分割网络,该第二级精分割网络用于将得到的所述粗分割后的图像依次经过第二PCANet网络、以及第二SVM分类器后得到精分割后的图像,完成图像的自动分割;其中,所述第二PCANet网络用于基于所述粗分割后的图像上的各个像素点重新选取对应的图像块并进行特征向量的提取,所述第二SVM分类器则用于根据这些特征向量对各个像素点进行二分类;所述精分割后的图像即二值化的最终分割图像。
作为本发明的进一步优选,所述第一级粗分割网络具体包括:
预处理模块,用于对待分割的图像I,采用高斯降采样金字塔,并利用顶帽变换,获得预处理后的图像I1
超像素聚类处理模块,用于根据预处理后的图像I1采用线性迭代聚类的方法,由该预处理后的图像I1中各点的空间信息与灰度信息,对其进行聚类分割,得到一组含有k个形状不规则的超像素块
Figure BDA0001817279130000091
第一PCANet网络,用于根据所述超像素块
Figure BDA0001817279130000092
计算每一个的聚类中心坐标,根据超像素块的面积大小,以聚类中心点为中心重新取一组尺寸为r1×r1的图像块
Figure BDA0001817279130000093
取得对应的灰度信息,r1为预先设定的、且与超像素块面积大小相关的值;将所述图像块
Figure BDA0001817279130000094
输入到第一PCANet网络中,该第一PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块
Figure BDA0001817279130000095
进行卷积运算得到一组
Figure BDA0001817279130000096
所述
Figure BDA0001817279130000097
经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到一组
Figure BDA0001817279130000098
再对
Figure BDA0001817279130000099
进行直方图统计得到表征图像块的特征向量
Figure BDA00018172791300000910
并且,
Figure BDA00018172791300000911
中的l取值由1到该第一PCANet网络中第一级滤波器的总个数,
Figure BDA00018172791300000912
中的l取值由1到该第一PCANet网络中第一级滤波器的总个数;
第一SVM分类器,用于将所述特征向量
Figure BDA00018172791300000913
输入到第一SVM分类器中,该第一SVM分类器为SVM的二分类器,获得图像块的分类标签值,并反填充至对应的超像素块,获得所述二值化的预分割图像M1
作为本发明的进一步优选,所述第二级精分割网络具体包括:
第二PCANet网络,用于根据所述二值化的预分割图像,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块
Figure BDA0001817279130000101
取得对应的灰度信息,r2为预先设定的、与预分割模板相关的值;将所述图像块
Figure BDA0001817279130000102
输入到第二PCANet网络中,该第二PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块
Figure BDA0001817279130000103
进行卷积运算得到
Figure BDA0001817279130000104
经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到
Figure BDA0001817279130000105
Figure BDA0001817279130000106
进行直方图统计得到表征图像块的特征向量
Figure BDA0001817279130000107
第二SVM分类器,用于将所述特征向量
Figure BDA0001817279130000108
输入到第二SVM分类器中,该第二SVM分类器为SVM的二分类器,获得图像块的分类标签值,并反填充至对应的像素点,获得所述二值化的最终分割图像。
通过本发明所构思的以上技术方案,与现有技术相比,由于是基于两级PCANet深度学习模型构建图像自动分割方法及相应系统,具体采用粗分割步骤和与之配合的细分割步骤,并通过控制粗分割步骤、细分割步骤两者的具体处理流程,使粗分割步骤由前至后依次包括预处理、超像素聚类处理、第一PCANet网络的处理、以及第一SVM分类器的处理,细分割步骤由前至后依次包括第二PCANet网络的处理、以及第二SVM分类器的处理,利用各个细节步骤及相应功能模块的整体配合,可最终得到精分割后的图像。
本发明利用顶帽变换这一形态学变换配合高斯降采样金字塔对图像进行预处理,能够在保留图像结构信息最大程度的情况下减少期像素点个数,可有效简化后续处理的难度,并提高后续处理的效率。
本发明通过优选控制各个细节处理步骤之间的数据传递,使超像素块
Figure BDA0001817279130000109
特征向量
Figure BDA00018172791300001010
分别作为粗分割步骤中超像素聚类处理模块向第一PCANet网络、第一PCANet网络向第一SVM分类器的传递数据,特征向量
Figure BDA0001817279130000111
作为精分割步骤中第二PCANet网络向第二SVM分类器的传递数据,能够确保整体图像自动分割方法的有效作用。本发明由于对待分割图像(尤其是钼靶图像)进行了从大范围至小范围,浅层提取到深层挖掘特征信息,并且利用了PCANet网络高效的特征提取手段,可以简化神经网络的冗余构架,克服一定的背景干扰,有效地提取出复杂医学图像的局部结构特征,为图像的精准分割领域提供了新方向。
本发明解决了由于网络过深而导致的梯度消失的弊端,使用的双阶网络根据两个阶段的不同需求进行了超像素到像素级别的分割解决了基于区域的传统分割算法中存在的冗余信息量过大的问题,减轻了经典卷积神经网络中由于层数过深而导致的梯度消失的弊端,加快了经典PCANet用于图像逐点分割的速度。
本发明尤其通过控制第一PCANet网络、第二PCANet网络的具体结构,将第一PCANet网络中第一级滤波器优选控制为20个、第二级滤波器优选控制为10个,将第二PCANet网络中第一级滤波器优选控制为8个、第二级滤波器优选控制为8个,既简化神经网络的冗余构架,又能够有效地提取出复杂医学图像的局部结构特征。本发明利用了PCANet结构简明,少参量易调的优势,搭建的双级网络达到了学习中深层次信息挖掘的要求,更有效地减少了深度网络普遍存在的梯度消失问题,引入的超像素模块改进了原有PCANet网络分割速度过慢的缺陷,完成了基于深度学习模型下的语义分割任务。另外,对于本发明粗分割网络和精分割网络中的两级SVM分类器,惩罚参数c与核函数参数g设定均可优选采用交叉验证法寻优。
综上,本发明将医学图像的分割问题转换为分类问题,结合超像素与PCANet网络实现钼靶肿块的自动分割,与现有的几类分割方法相比,本专利提出的方法可大大提高例如钼靶肿块等的分割精度与鲁棒性。
附图说明
图1为本发明基于PCANet深度学习模型下的钼靶肿块的自动分割模型的结构示意图。
图2为本发明中PCANet与SVM分类实现对超像素块分类的网络结构图。
图3为实施例1基于PCANet深度学习模型下的钼靶肿块的自动分割模型的流程图。
图4a为本发明实施例1方法待分割的测试图像1;
图4b为本发明实施例1方法医师给出的金标准;
图4c为本发明对比例1方法得到的分割结果;
图4d为本发明对比例2方法得到的分割结果;
图4e为本发明对比例3方法得到的分割结果;
图4f为本发明实施例1方法得到的分割结果。
图5a为本发明实施例1方法待分割的测试图像2;
图5b为本发明实施例1方法医师给出的金标准;
图5c为本发明对比例1方法得到的分割结果;
图5d为本发明对比例2方法得到的分割结果;
图5e为本发明对比例3方法得到的分割结果;
图5f为本发明实施例1方法得到的分割结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种基于PCANet深度学习模型下的钼靶肿块的自动分割模型,包括第一级的粗分割网络、第二级的精分割网络,如图1所示,其中第一级网络又包含预处理模块、超像素聚类模块(如,基于简单线性迭代聚类下的超像素聚类模块)、PCANet网络模块、SVM分类器模块,第二级网络包含了PCANet网络模块、SVM分类器模块。可以预先通过两组独立的医学数据,分别对级联的两级神经网络进行训练,可在给定的医学数据与标签值下,对已搭建好的双级神经网络模型进行反复地学习与纠错,自动调整网络内部权值以适应与匹配训练集,最终实现了对测试集图像的精准分割。
测试阶段下,将测试图像(即,待分割的图像)输入到第一级粗分割网络中,输出得到超像素预分割的模板图;然后将第一级模板图所选中的区域输入到第二级精分割网络中,获得测试图像的二值分割模板。
以乳腺钼靶图像作为待分割的图像为例,该系统中各个模块的功能及对应的具体处理过程可以如下:
所述第一级中的预处理模块用于对输入的乳腺图像的感兴趣区域进行高斯降采样、乳腺背景组织的去除的预处理;所述第一级中的超像素聚类模块用于对前一模块输出的预处理后的图像进行聚类划分成多个超像素块
Figure BDA0001817279130000131
(k即超像素块的总个数),并计算各个超像素块的聚类中心点,然后以此为中心重新取得大小相似的矩形图像块
Figure BDA0001817279130000132
所述第一级中的PCANet模块经过训练后,用于提取每个矩形图像块的深层次特征信息,并输出表征该图像块的特征向量
Figure BDA0001817279130000133
所述第一级中的SVM分类器模块经过训练后,用于根据前一步得到的
Figure BDA0001817279130000134
进行标签值的判决;标签值反填充回该中心点对应的原超像素块得到第一级的粗分割结果;所述第二级中的PCANet模块用于在对第一级粗分割所选中的区域进行逐点取块的操作,得到多个图像块
Figure BDA0001817279130000135
(k’即该区域内像素点的总个数),再对各个图像块
Figure BDA0001817279130000136
的深层次特征信息进行提出,从而输出表征该图像块的特征向量
Figure BDA0001817279130000137
所述第二级中的SVM分类器模块经过训练后,用于根据前一步得到的
Figure BDA0001817279130000141
进行标签值的判决。
具体地,该分割模型进行乳腺肿块图像的分割包括以下步骤:
步骤1将测试图像输入到已训练的网络模型的第一级粗分割网络中,获得一组所述测试图像超像素块的图像分类的标签值,标签值反填充回对应的位置,得到二值化的预分割模板图;具体步骤可以如下:
步骤1-1用于粗分割网络内部获得预处理后的图像I1,方法为:首先根据测试图像I,对其采用降采样高斯金字塔,达到在保留图像结构信息最大程度的情况下减少其像素点个数目标,再针对目标肿块的结构特征进行图像进行一种形态学变换—顶帽变换,获得预处理后的图像I1
计算方法如下:
Ids=I*T' (1)
Figure BDA0001817279130000142
其中,T’为标准差为0.5,大小3×3的二维高斯卷积模板,*为二维卷积运算符,
Figure BDA0001817279130000143
为形态学开运算符,E为预先设定的、平坦的圆形结构元素,大小可以为25~100个像素点(尤其是45个像素点);
步骤1-2用于粗分割网络内部,根据预处理后的图像I1采用简单线性迭代聚类的方法,由目标图像中各点的空间信息与灰度信息,对其进行聚类分割,获得一组含有k个形状不规则的超像素块
Figure BDA0001817279130000144
其算法步骤为首先以步长为S(S的具体取值可预先设定)的网格中心初始化聚类中心点Ck=[g,x,y]T,其中g为该点的灰度值,x与y表征中心点的位置;然后再在聚类中心的3×3邻域计算所有像素点的梯度值,将中心点移动至该范围下梯度值最低的位置;接着在中心点周围的S×S的区域分配类标签值(S即步长S),2S×2S的区域计算距离尺度,分配最近的像素点直到所有点均被重新分配后再计算新的聚类中心,重复该步骤直到所有的聚类中心点不再发生变化为止,距离尺度Mi,k的计算公式如下:
Figure BDA0001817279130000151
其中,dg和dp分别为灰度距离度量和空间距离度量,s为搜索区域边长归一化后的值,w和s为控制dg和dp的权重因子;
步骤1-3用于粗分割网络内部,根据上述获得的超像素块
Figure BDA0001817279130000152
计算每一个的聚类中心坐标,根据超像素块的面积S×S,以聚类中心点为中心重新取一组尺寸为r1×r1的图像块
Figure BDA0001817279130000153
(r1可预先设定,例如可以约等于2.5S),取得对应的灰度信息,将其输入到两阶主成分分析网络PCANet中,利用该网络中第一阶的20个滤波器(第一阶滤波器的个数也可以是8~20的其他数量),分别与之进行卷积运算,得到一组
Figure BDA0001817279130000154
(l为1,2,……,L1;L1为该网络中第一阶滤波器的总个数,如20),经过与该网络的第二阶的8个滤波器(第二阶滤波器的个数也可以是8~20的其他数量)分别卷积与哈希编码得到
Figure BDA0001817279130000155
(l为1,2,……,L1;L1为该网络中第一阶滤波器的总个数,如20),对其进行直方图统计得到表征图像块的特征向量
Figure BDA0001817279130000156
送入到SVM的二分类器中获得图像块的分类标签值,并反填充至对应的超像素块,获得所述的预分割模板图M1,其中
Figure BDA0001817279130000157
的计算方法如下:
Figure BDA0001817279130000158
Figure BDA0001817279130000159
其中,W1与W2分别表示第一阶与第二阶的卷积模板,L1=20为第一阶卷积模板的个数,L2=10为第二阶卷积模板的个数;
步骤2根据上述的预分割模板图获取测试图中由模板图所选中的对应区域,输入到以训练的网络模型的第二级精分割网络(即,第二级细分割网络)中,获得每个像素点的分类标签值,得到二值化的最终分割模板图;具体步骤可以如下:
步骤2-1用于细分割网络内部,根据步骤1中所获得的预分割区域,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块
Figure BDA0001817279130000161
(r2可预先设定);
步骤2-2用于细分割网络内部,将上述的图像块
Figure BDA0001817279130000162
输入到两阶PCANet进行第一次卷积运算得到
Figure BDA0001817279130000163
第二次卷积运算与哈希编码得到
Figure BDA0001817279130000164
经直方图统计后得到表征图像块的特征向量
Figure BDA0001817279130000165
送入到SVM的二分类器中获得图像块的分类标签值。该两阶PCANet优选具有8个第一阶滤波器(即L1=8),8个第二阶滤波器(即L2=8)。
实施例1
本实施例提供了一种基于PCANet深度学习模型下的钼靶肿块的自动分割技术,包括以下步骤,如图1所示:
步骤1将测试图像输入到已训练的网络模型的第一级粗分割网络中,获得一组所述测试图像超像素块的图像分类的标签值,标签值反填充回对应的位置,得到二值化的预分割模板图;
步骤1-1计算用于粗分割网络内部获得预处理后的图像I1,根据公式(1)和(2),获得降低乳腺组织背景干扰后的图像其中个顶帽变换中结构元素的大小约取35个像素点;
步骤1-2计算用于粗分割网络内部采用简单线性迭代聚类的方法获取超像素块
Figure BDA0001817279130000166
根据公式(3)中迭代收敛的准则,由目标图像中各点的空间信息与灰度信息,对其进行聚类分割;
步骤1-3用于粗分割网络内部获取图像块
Figure BDA0001817279130000167
是否为肿块的标签值,将其输入到两阶主成分分析网络PCANet,根据公式(4)、(5)和直方图统计后最终得到表征该区域的特征向量
Figure BDA0001817279130000171
经过SVM的二分类器中获得图像块的分类标签值,获得所述的粗分割模板图;
步骤2-1用于细分割网络内部,进步一地根据粗分割的结果图对区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块
Figure BDA0001817279130000172
步骤2-2用于细分割网络内部,将上述的图像块
Figure BDA0001817279130000173
输入到两阶PCANet进行第一次卷积运算得到
Figure BDA0001817279130000174
第二次卷积运算与哈希编码得到
Figure BDA0001817279130000175
经直方图统计后得到表征图像块的特征向量
Figure BDA0001817279130000176
送入到SVM的二分类器中获得图像块的分类标签值,并最终完成图像分割。
对比例1
按照(Image Processing.International Society for Optics and Photonics,1999,3661:490-499)里的Level Set方法实现分割。
对比例2
按照(IEEE Transactions on Image Processing,2015,24(12):5017-5032.)里的PCANet方法实现分割。
对比例3
按照(IEEE Trans Pattern Anal Mach Intell,2012,34(11):2274-2282.)里的方法结合PCANet网络结构实现分割。
实验结果分析
为了进一步体现本发明的优点,我们将实施例1与对比例1-4的分割结果进行了多参数的评估比较。分割精度采用Accuracy、specificity、sensitivity、recall和测试时间进行了评价,这里Accuracy、specificity、sensitivity、recall四个指标的定义为:
Acc=(tpn+tnn)/(tpn+fnn+tnn+fpn)
Sen=tpn/(tpn+fpn)
Spe=tnn/(tnn+fpn)
Rec=tpn/(tpn+fnn)
其中tpn代表真阳性的像素点个数,fpn代表假阳性的像素点个数,tnn代表真阴性的像素点个数,fnn代表假阴性的像素点个数。
采用公开的乳腺数据源DDSM进行网络的训练与测试,表1显示了四种分割方法的四种指标的统计平均值。从表1中我们可以看出,与其他分割方法相比,本例在Accuracy(表示的是正负所有样本被正确归类的比例),Sensitivity(预测正样本中正确的比例),Specificity(真实负样本中被找全的比例),Recall(真实正样本中被找全的比例),测试时间综合指标较佳,对比例1中recall值较低,对比例2中recall值较低并且测试时间过长,对比例3虽效果也不错,但由于实例1是在对比例3的基础上改进,各项指标均有所提升。综上所述,本发明提出的方法在钼靶肿块分割上较对比例的算法具有更高的分割精度。
表1 各方法在钼靶肿块分割图像中的多参数对比
Figure BDA0001817279130000181
为了更直观地显示本发明相对于其余方法的优越性,我们提供了两组实施例1与对比例1-3对应配准图像的视觉效果图,测试数据均来自于网络公开数据源DDSM。如图4所示。图4a为待分割的测试图像1,图4b为医师给出的金标准,图4c为对比例1分割的结果,图4d为对比例2分割的结果,图4e为对比例3分割的结果,图4f为实施例1分割的结果;图5a为待分割的测试图像2,图5b为医师给出的金标准,图5c为对比例1分割的结果,图5d为对比例2分割的结果,图5e为对比例3分割的结果,图5f为实施例2分割的结果。
除了对钼靶图像外,本发明也可以应用于其他类型的医学影像图像,如超声图像、MRI图像等。
关于本发明所利用的超像素聚类处理,PCANet网络的构建及训练过程等,本发明未详细说明的地方可参考相关现有技术;例如,超像素聚类处理可参考Achanta,Radhakrishna,et al."SLIC superpixels compared to state-of-the-art superpixelmethods."IEEE transactions on pattern analysis and machine intelligence 34.11(2012):2274-2282.等;PCANet网络构建及训练可参考Chan,Tsung-Han,et al."PCANet:Asimple deep learning baseline for image classification?."IEEE Transactions onImage Processing 24.12(2015):5017-5032.等。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (11)

1.一种基于PCANet深度学习模型下的图像自动分割方法,其特征在于,包括以下步骤:
(1)将待分割的图像依次经过预处理、超像素聚类处理、第一PCANet网络的处理、以及第一SVM分类器的处理后得到粗分割后的图像;其中,所述超像素聚类处理是用于对预处理得到的图像进行超像素分割,得到多个超像素块;所述第一PCANet网络的处理用于提取各个超像素块的特征向量,所述第一SVM分类器的处理则用于根据这些特征向量对各个超像素块进行二分类;所述粗分割后的图像即二值化的预分割图像;
(2)将所述步骤(1)得到的所述粗分割后的图像依次经过第二PCANet网络的处理、以及第二SVM分类器的处理后得到精分割后的图像,由此完成图像的自动分割;其中,所述第二PCANet网络的处理基于所述粗分割后的图像上的各个像素点重新选取对应的图像块并进行特征向量的提取,所述第二SVM分类器的处理则用于根据这些特征向量对各个像素点进行二分类;所述精分割后的图像即二值化的最终分割图像。
2.如权利要求1所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(1)具体包括以下步骤:
(1-1)预处理步骤:
对待分割的图像I,采用高斯降采样金字塔,并利用顶帽变换,获得预处理后的图像I1
(1-2)超像素聚类处理:
根据预处理后的图像I1采用线性迭代聚类的方法,由该预处理后的图像I1中各点的空间信息与灰度信息,对其进行聚类分割,得到一组含有k个形状不规则的超像素块
Figure FDA0002636955520000011
(1-3)第一PCANet网络的处理:
根据所述超像素块
Figure FDA0002636955520000021
计算每一个的聚类中心坐标,根据超像素块的面积大小,以聚类中心点为中心重新取一组尺寸为r1×r1的图像块
Figure FDA0002636955520000022
取得对应的灰度信息,r1为预先设定的、且与超像素块面积大小相关的值;将所述图像块
Figure FDA0002636955520000023
输入到第一PCANet网络中,该第一PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块
Figure FDA0002636955520000024
进行卷积运算得到一组
Figure FDA0002636955520000025
所述
Figure FDA0002636955520000026
经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到一组
Figure FDA0002636955520000027
再对
Figure FDA0002636955520000028
进行直方图统计得到表征图像块的特征向量
Figure FDA0002636955520000029
并且,
Figure FDA00026369555200000210
中的l取值由1到该第一PCANet网络中第一级滤波器的总个数,
Figure FDA00026369555200000211
中的l取值由1到该第一PCANet网络中第一级滤波器的总个数;
(1-4)第一SVM分类器的处理:
将所述特征向量
Figure FDA00026369555200000212
输入到第一SVM分类器中,该第一SVM分类器为SVM的二分类器,获得图像块的分类标签值,并反填充至对应的超像素块,获得所述二值化的预分割图像M1
3.如权利要求2所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(1-1)中,所述高斯降采样和所述顶帽变换具体如下:
记所述待分割的图像I中的一个初始图像块为I,所述高斯降采样得到的图像块为Ids,所述顶帽变换得到的图像块为I1,则I、Ids、I1满足:
Ids=I*T'
Figure FDA00026369555200000213
其中,T’为预先设定的二维高斯卷积模板,维度大小3×3;*为二维卷积运算符;
Figure FDA0002636955520000031
为形态学开运算符;E为预先设定的、平坦的圆形结构元素,大小为25~100个像素点;
对所述待分割的图像I中的每个初始图像块进行所述高斯降采样和所述顶帽变换,由此得到预处理后的图像I1
所述步骤(1-2)具体包括以下步骤:
(1-2-1)以步长为S的网格中心初始化聚类中心点Ck=[g,x,y]T,其中g为该点的灰度值,x与y表征中心点的位置;其中,步长S是预先设定的;
(1-2-2)在聚类中心的3像素点×3像素点邻域计算所有像素点的梯度值,将中心点移动至所述3像素点×3像素点邻域中梯度值最低的位置;
(1-2-3)在中心点周围的S×S的区域分配类标签值,以中心点周围的2S×2S的区域作为中心点的待定区域,计算该待定区域内各像素点与包含该超像素块与相邻超像素块的多个中心点之间的距离尺度,并该像素点分配给距离尺度最近的中心点,直到所有像素点均被重新分配后再根据形心计算新的聚类中心点,重复该步骤直到所有的聚类中心点不再发生变化为止;
其中,第i个像素点与第j个超像素块的中心点之间的距离尺度Mi,j的计算公式如下:
Figure FDA0002636955520000032
其中,所述第i个像素点与第j个超像素块相邻,dg和dp分别为第i个像素点与第j个超像素块的中心点之间的灰度距离度量和空间距离度量;w和s分别为控制dg和dp的预先设定的权重因子;
所述步骤(1-3)中,记所述一组
Figure FDA0002636955520000033
Figure FDA0002636955520000034
所述一组
Figure FDA0002636955520000035
Figure FDA0002636955520000036
Figure FDA0002636955520000037
分别满足:
Figure FDA0002636955520000041
Figure FDA0002636955520000042
其中,W1与W2分别表示所述第一PCANet网络中第一级与第二级的卷积模板,L1为第一级的卷积模板个数,L1满足8~20,L2为第二级的卷积模板个数,L2满足8~20;
训练过程得到的卷积模板W1,W2的计算方法如下:
Figure FDA0002636955520000043
Figure FDA0002636955520000044
xi,j为第i个图像块中第j个像素点的灰度值,
Figure FDA0002636955520000045
j=1,2,…,r×r;
Figure FDA0002636955520000046
Figure FDA0002636955520000047
其中,r=r1,Rrr×Bk表示rr×Bk的矩阵,B为训练集图像的张数;qL表示取前L个特征值对应的特征向量,matr,r(ν)表示将特征向量排成r×r的矩阵,
Figure FDA0002636955520000048
并且,当L=L1时,得到的WL即为W1;当L=L2时,得到的WL即为W2
4.如权利要求3所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(1-1)中,T’的标准差为0.5,E大小为45个像素点;
所述步骤(1-2)中,s为搜索区域边长归一化后的值;
所述步骤(1-3)中,L1=20,L2=10。
5.如权利要求1所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(2)具体包括以下步骤:
(2-1)第二PCANet网络的处理:
根据所述二值化的预分割图像,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块
Figure FDA0002636955520000051
取得对应的灰度信息,r2为预先设定的、与预分割模板相关的值;将所述图像块
Figure FDA0002636955520000052
输入到第二PCANet网络中,该第二PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块
Figure FDA0002636955520000053
进行卷积运算得到
Figure FDA0002636955520000054
经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到
Figure FDA0002636955520000055
Figure FDA0002636955520000056
进行直方图统计得到表征图像块的特征向量
Figure FDA0002636955520000057
(2-2)第二SVM分类器的处理:
将所述特征向量
Figure FDA0002636955520000058
输入到第二SVM分类器中,该第二SVM分类器为SVM的二分类器,获得图像块的分类标签值,并反填充至对应的像素点,获得所述二值化的最终分割图像。
6.如权利要求5所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(2-1)中,
Figure FDA0002636955520000059
Figure FDA00026369555200000510
分别满足:
Figure FDA00026369555200000511
Figure FDA00026369555200000512
其中,W1与W2分别表示所述第二PCANet网络中第一级与第二级的卷积模板,L1为所述第二PCANet网络中第一级的卷积模板个数,L1满足8~20,L2为所述第二PCANet网络中第二级的卷积模板个数,L2满足8~20;
训练过程得到的卷积模板W1,W2的计算方法如下:
Figure FDA0002636955520000061
Figure FDA0002636955520000062
为第i个图像块中第j个像素点的灰度值,
Figure FDA0002636955520000063
j=1,2,…,r×r;
Figure FDA0002636955520000064
Figure FDA0002636955520000065
其中,r=r2,Rrr×Bk'表示rr×Bk'的矩阵,B为训练集图像的张数;ql表示取前L个特征值对应的特征向量,matr,r(ν)表示将特征向量排成r×r的矩阵,
Figure FDA0002636955520000066
并且,当L=L1时,得到的WL即为W1;当L=L2时,得到的WL即为W2
7.如权利要求6所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(2-1)中,L1=8,L2=8。
8.如权利要求1所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(1)中,所述待分割的图像为待分割的钼靶图像。
9.一种基于PCANet深度学习模型下的图像自动分割系统,其特征在于,包括:
第一级粗分割网络,该第一级粗分割网络用于将待分割的图像依次经过预处理模块、超像素聚类处理模块、第一PCANet网络、以及第一SVM分类器后得到粗分割后的图像;其中,所述超像素聚类处理模块是用于对预处理得到的图像进行超像素分割,得到多个超像素块;所述第一PCANet网络用于提取各个超像素块的特征向量,所述第一SVM分类器则用于根据这些特征向量对各个超像素块进行二分类;所述粗分割后的图像即二值化的预分割图像;
第二级精分割网络,该第二级精分割网络用于将得到的所述粗分割后的图像依次经过第二PCANet网络、以及第二SVM分类器后得到精分割后的图像,完成图像的自动分割;其中,所述第二PCANet网络用于基于所述粗分割后的图像上的各个像素点重新选取对应的图像块并进行特征向量的提取,所述第二SVM分类器则用于根据这些特征向量对各个像素点进行二分类;所述精分割后的图像即二值化的最终分割图像。
10.如权利要求9所述基于PCANet深度学习模型下的图像自动分割系统,其特征在于,所述第一级粗分割网络具体包括:
预处理模块,用于对待分割的图像I,采用高斯降采样金字塔,并利用顶帽变换,获得预处理后的图像I1
超像素聚类处理模块,用于根据预处理后的图像I1采用线性迭代聚类的方法,由该预处理后的图像I1中各点的空间信息与灰度信息,对其进行聚类分割,得到一组含有k个形状不规则的超像素块
Figure FDA0002636955520000071
第一PCANet网络,用于根据所述超像素块
Figure FDA0002636955520000072
计算每一个的聚类中心坐标,根据超像素块的面积大小,以聚类中心点为中心重新取一组尺寸为r1×r1的图像块
Figure FDA0002636955520000073
取得对应的灰度信息,r1为预先设定的、且与超像素块面积大小相关的值;将所述图像块
Figure FDA0002636955520000074
输入到第一PCANet网络中,该第一PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块
Figure FDA0002636955520000075
进行卷积运算得到一组
Figure FDA0002636955520000076
所述
Figure FDA0002636955520000077
经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到一组
Figure FDA0002636955520000078
再对
Figure FDA0002636955520000079
进行直方图统计得到表征图像块的特征向量
Figure FDA00026369555200000710
并且,
Figure FDA00026369555200000711
中的l取值由1到该第一PCANet网络中第一级滤波器的总个数,
Figure FDA00026369555200000712
中的l取值由1到该第一PCANet网络中第一级滤波器的总个数;
第一SVM分类器,用于将所述特征向量
Figure FDA0002636955520000081
输入到第一SVM分类器中,该第一SVM分类器为SVM的二分类器,获得图像块的分类标签值,并反填充至对应的超像素块,获得所述二值化的预分割图像M1
11.如权利要求9所述基于PCANet深度学习模型下的图像自动分割系统,其特征在于,所述第二级精分割网络具体包括:
第二PCANet网络,用于根据所述二值化的预分割图像,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块
Figure FDA0002636955520000082
取得对应的灰度信息,r2为预先设定的、与预分割模板相关的值;将所述图像块
Figure FDA0002636955520000083
输入到第二PCANet网络中,该第二PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块
Figure FDA0002636955520000084
进行卷积运算得到
Figure FDA0002636955520000085
经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到
Figure FDA0002636955520000086
Figure FDA0002636955520000087
进行直方图统计得到表征图像块的特征向量
Figure FDA0002636955520000088
第二SVM分类器,用于将所述特征向量
Figure FDA0002636955520000089
输入到第二SVM分类器中,该第二SVM分类器为SVM的二分类器,获得图像块的分类标签值,并反填充至对应的像素点,获得所述二值化的最终分割图像。
CN201811148093.7A 2018-09-29 2018-09-29 基于PCANet深度学习模型下的自动分割方法 Active CN109447998B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811148093.7A CN109447998B (zh) 2018-09-29 2018-09-29 基于PCANet深度学习模型下的自动分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811148093.7A CN109447998B (zh) 2018-09-29 2018-09-29 基于PCANet深度学习模型下的自动分割方法

Publications (2)

Publication Number Publication Date
CN109447998A CN109447998A (zh) 2019-03-08
CN109447998B true CN109447998B (zh) 2020-12-18

Family

ID=65544677

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811148093.7A Active CN109447998B (zh) 2018-09-29 2018-09-29 基于PCANet深度学习模型下的自动分割方法

Country Status (1)

Country Link
CN (1) CN109447998B (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109978863B (zh) * 2019-03-27 2021-10-08 北京青燕祥云科技有限公司 基于x射线图像的目标检测方法及计算机设备
CN110120054A (zh) * 2019-05-15 2019-08-13 深圳铂石空间科技有限公司 基于图像处理的自动计数方法及装置、介质、电子设备
CN110634129B (zh) * 2019-08-23 2022-08-23 首都医科大学宣武医院 一种基于dsa图像的定位方法及系统
CN110827311B (zh) * 2019-11-05 2023-07-21 中铁十一局集团电务工程有限公司 一种基于成像法的电缆导体截面积测量方法及系统
CN111640120B (zh) * 2020-04-09 2023-08-29 之江实验室 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法
CN112215852A (zh) * 2020-09-29 2021-01-12 忻州师范学院 基于聚类学习器集成的数字图像分割方法
CN112329596B (zh) * 2020-11-02 2021-08-24 中国平安财产保险股份有限公司 目标物定损方法、装置、电子设备及计算机可读存储介质
CN112365514A (zh) * 2020-12-09 2021-02-12 辽宁科技大学 基于改进PSPNet的语义分割方法
CN112633296A (zh) * 2020-12-28 2021-04-09 常州微亿智造科技有限公司 一种基于聚类分析的视觉工业零部件明暗等级划分方法
CN112489047B (zh) * 2021-02-05 2021-06-01 四川大学 一种基于深度学习的盆骨及其动脉血管的多层级分割方法
CN115578309A (zh) * 2022-08-04 2023-01-06 云南师范大学 肺癌特征信息获取的方法、系统、电子设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2362350A1 (en) * 2008-05-08 2011-08-31 Oslo Universitetssykehus HF Automated normalization of cerebral blood volume maps
CN105447473A (zh) * 2015-12-14 2016-03-30 江苏大学 一种基于PCANet-CNN的任意姿态人脸表情识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2362350A1 (en) * 2008-05-08 2011-08-31 Oslo Universitetssykehus HF Automated normalization of cerebral blood volume maps
CN105447473A (zh) * 2015-12-14 2016-03-30 江苏大学 一种基于PCANet-CNN的任意姿态人脸表情识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
PCANet: A Simple Deep Learning Baseline for Image Classification?;Tsung-Han Chan等;《IEEE Transactions on Image Processing》;20151231;第24卷(第12期);第5017-5030页 *

Also Published As

Publication number Publication date
CN109447998A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109447998B (zh) 基于PCANet深度学习模型下的自动分割方法
George et al. Remote computer-aided breast cancer detection and diagnosis system based on cytological images
Omonigho et al. Breast cancer: tumor detection in mammogram images using modified alexnet deep convolution neural network
CN110942446A (zh) 一种基于ct影像的肺结节自动检测方法
Zhang et al. Automated semantic segmentation of red blood cells for sickle cell disease
CN109635846A (zh) 一种多类医学图像判断方法和系统
CN108537751B (zh) 一种基于径向基神经网络的甲状腺超声图像自动分割方法
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
Pan et al. Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review
EP1324267A2 (en) Automatic detection of regions of interest in digital images of biological tissue
CN109363699A (zh) 一种乳腺影像病灶识别的方法及装置
Yao et al. Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN
CN109363697A (zh) 一种乳腺影像病灶识别的方法及装置
CN114332572B (zh) 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法
Vidyarthi et al. Classification of breast microscopic imaging using hybrid CLAHE-CNN deep architecture
CN115471701A (zh) 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法
Al-Hadidi et al. Glioblastomas brain tumour segmentation based on convolutional neural networks.
Pavithra et al. An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19
Zhang et al. Mammographic mass detection by bilateral analysis based on convolution neural network
CN111062909A (zh) 乳腺肿块良恶性判断方法及设备
Sertel et al. Computer-aided prognosis of neuroblastoma: classification of stromal development on whole-slide images
CN115880245A (zh) 一种基于自监督的乳腺癌疾病分类方法
Athinarayanan et al. Multi class cervical cancer classification by using ERSTCM, EMSD & CFE methods based texture features and fuzzy logic based hybrid kernel support vector machine classifier
Vivona et al. Unsupervised clustering method for pattern recognition in IIF images
Johny et al. Optimization of CNN model with hyper parameter tuning for enhancing sturdiness in classification of histopathological images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant