CN109447998B - 基于PCANet深度学习模型下的自动分割方法 - Google Patents
基于PCANet深度学习模型下的自动分割方法 Download PDFInfo
- Publication number
- CN109447998B CN109447998B CN201811148093.7A CN201811148093A CN109447998B CN 109447998 B CN109447998 B CN 109447998B CN 201811148093 A CN201811148093 A CN 201811148093A CN 109447998 B CN109447998 B CN 109447998B
- Authority
- CN
- China
- Prior art keywords
- image
- network
- pcanet
- segmentation
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30068—Mammography; Breast
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于PCANet深度学习模型下的图像自动分割方法,该方法具体包括以下步骤:(1)将待分割的图像依次经过预处理、超像素聚类处理、第一PCANet网络的处理、以及第一SVM分类器的处理后得到粗分割后的图像;粗分割后的图像即二值化的预分割图像;(2)将步骤(1)得到的粗分割后的图像依次经过第二PCANet网络的处理、以及第二SVM分类器的处理后得到精分割后的图像,精分割后的图像即二值化的最终分割图像,由此完成图像的自动分割。本发明通过对该自动分割方法的整体数据处理流程、以及相应自动分割系统的框架结构进行控制,将超像素与PCANet网络结合实现图像的自动分割,可大大提高诸如钼靶肿块的分割精度与鲁棒性。
Description
技术领域
本发明属于图像处理与分析中的图像分割领域,更具体地,涉及一种基于PCANet深度学习模型下的自动分割方法(具体是基于两级PCANet深度学习模型的钼靶肿块的自动分割方法),相应的,也可以得到基于PCANet深度学习模型下的自动分割系统,尤其适用于钼靶肿块的自动分割。
背景技术
医学影像技术是现代医学中的重要组成部分,对疾病的诊断和治疗有着革命性的意义。以乳腺癌为例,乳腺癌一直以来是威胁全球女性身心健康的恶性疾病之一,因此对乳腺组织进行早期异常组织的检测与筛排十分的重要。在诊断技术上,乳腺钼靶X摄影技术具有检测空间分辨率高,对肿块组织灵敏度高,并且具有无创、微辐射等特点,是目前公认的检测乳腺癌最有效的手段之一。但乳腺组织中存在的腺体、结缔组织、脂肪等密度相似的软组织往往使得钼靶图像中的病灶区隐匿其中难以辨别,加之人工阅片具有一定的主观性、随机性,因此乳腺肿块检测的准确率低一直是医学诊断中的难题。随着计算机视觉的迅速发展与大数据共享的产生,利用计算机为辅助诊断工具,给放射医师提供一定的参考诊断信息,帮助甚至代劳手动勾画影像中发生病理变化的组织,有效地减少诊断中因为视觉疲劳和疏忽造成的漏诊与误诊。当然,除了上述在疾病诊断上的关键应用外,医学影像技术也存在非疾病诊断方面的应用,如科学研究等方面的应用等。
图像分割的目标是在对待分割区域内部,根据一定特征准则,对其进行类别划分以得到分割的结果。基于计算机辅助检测系统大体上分为四部分:预处理,提取感兴趣区域,特征提取,区域分类。
目前,用于图像分割领域的方法大体上分为以下几种:第一类是基于灰度阈值的方法,根据目标图像的直方图将图像划分为前景区与背景区,接下来再根据提取出区域的圆形度、面积、标准差等特征来去除假阳性区域,然而这类方法特征指标较少,过分依赖初始的灰度信息,当环境与不同病人的图像灰度信息出现较大变化时,分割效果往往很差,因此不具有较强的鲁棒性,目前多应用在图像的预处理部分。第二类是基于边缘的方法,以水平集分割为代表,该方法计算图像中的梯度信息来构建能量泛函数,建立与曲线收缩与扩充强度的一定关系,曲线在演变过程中与变化剧烈的边界贴合得到最终的分割结果,但该法往往对图像中的突变干扰信息十分敏感并且难以检测出边界模糊不清的肿块区域,此外该法初始化区域的选取十分关键,往往需要人为干预,不能达到真正意义上的自动分割。第三类是基于聚类的方法,它是首先指定多个聚类中心,在一定范围下将图像中所有的点归入其中,重新计算新的聚类中心,重复迭代直到满足某个准则的最优则达到最终的结果,但由于乳腺肿块的大小与形态差异很大,单一地使用聚类的方法无法达到理想的分割精度。第四类是基于深度学习的分割方法,最典型是使用卷积神经网络对输入图像进行特征提取最终达到分割的效果,但卷积神经网络常常面临巨大调参工作与冗余数据量的难题,且过于深的网络存在梯度消失的缺陷,故不利于实现精准的图像分割。
发明内容
针对现有技术的以上缺陷或改进需求,本发明的目的在于提供一种基于PCANet深度学习模型下的钼靶肿块的自动分割方法,其中通过对该自动分割方法的整体数据处理流程、以及相应自动分割系统的框架结构进行控制,将超像素与PCANet网络结合实现图像的自动分割,并对自动分割方法中各个关键处理步骤(包括预处理、超像素聚类处理、PCANet网络的处理、SVM分类器的处理步骤等)细节数据处理过程等进行优选控制,可大大提高诸如钼靶肿块的分割精度与鲁棒性。
为实现上述目的,按照本发明的一个方面,提供了一种基于PCANet深度学习模型下的图像自动分割方法,其特征在于,包括以下步骤:
(1)将待分割的图像依次经过预处理、超像素聚类处理、第一PCANet网络的处理、以及第一SVM分类器的处理后得到粗分割后的图像;其中,所述超像素聚类处理是用于对预处理得到的图像进行超像素分割,得到多个超像素块;所述第一PCANet网络的处理用于提取各个超像素块的特征向量,所述第一SVM分类器的处理则用于根据这些特征向量对各个超像素块进行二分类;所述粗分割后的图像即二值化的预分割图像;
(2)将所述步骤(1)得到的所述粗分割后的图像依次经过第二PCANet网络的处理、以及第二SVM分类器的处理后得到精分割后的图像,由此完成图像的自动分割;其中,所述第二PCANet网络的处理基于所述粗分割后的图像上的各个像素点重新选取对应的图像块并进行特征向量的提取,所述第二SVM分类器的处理则用于根据这些特征向量对各个像素点进行二分类;所述精分割后的图像即二值化的最终分割图像。
作为本发明的进一步优选,所述步骤(1)具体包括以下步骤:
(1-1)预处理步骤:
对待分割的图像I,采用高斯降采样金字塔,并利用顶帽变换,获得预处理后的图像I1;
(1-2)超像素聚类处理:
(1-3)第一PCANet网络的处理:
根据所述超像素块计算每一个的聚类中心坐标,根据超像素块的面积大小,以聚类中心点为中心重新取一组尺寸为r1×r1的图像块取得对应的灰度信息,r1为预先设定的、且与超像素块面积大小相关的值;将所述图像块输入到第一PCANet网络中,该第一PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块进行卷积运算得到一组所述经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到一组再对进行直方图统计得到表征图像块的特征向量
(1-4)第一SVM分类器的处理:
作为本发明的进一步优选,所述步骤(1-1)中,所述高斯降采样和所述顶帽变换具体如下:
记所述待分割的图像I中的一个初始图像块为I,所述高斯降采样得到的图像块为Ids,所述顶帽变换得到的图像块为I1,则I、Ids、I1满足:
Ids=I*T'
其中,T’为预先设定的二维高斯卷积模板,优选的,T’的标准差为0.5,维度大小3×3;*为二维卷积运算符;为形态学开运算符;E为预先设定的、平坦的圆形结构元素,大小优选为25~100个像素点,更优选为45个像素点;
对所述待分割的图像I中的每个初始图像块进行所述高斯降采样和所述顶帽变换,由此得到预处理后的图像I1;
所述步骤(1-2)具体包括以下步骤:
(1-2-1)以步长为S的网格中心初始化聚类中心点Ck=[g,x,y]T,其中g为该点的灰度值,x与y表征中心点的位置;其中,步长S是预先设定的;
(1-2-2)在聚类中心的3像素点×3像素点邻域计算所有像素点的梯度值,将中心点移动至该范围下梯度值最低的位置;
(1-2-3)在中心点周围的S×S的区域分配类标签值,以中心点周围的2S×2S的区域作为中心点的待定区域,计算该待定区域内各像素点与包含该超像素块与相邻超像素块的多个中心点之间的距离尺度,并该像素点分配给距离尺度最近的中心点,直到所有像素点均被重新分配后再根据形心计算新的聚类中心点,重复该步骤直到所有的聚类中心点不再发生变化为止;
其中,第i个像素点与第j个超像素块的中心点之间的距离尺度Mi,j的计算公式如下:
其中,所述第i个像素点与第j个超像素块相邻,dg和dp分别为第i个像素点与第j个超像素块的中心点之间的灰度距离度量和空间距离度量;w和s分别为控制dg和dp的预先设定的权重因子;优选的,s为搜索区域边长归一化后的值;
其中,W1与W2分别表示所述第一PCANet网络中第一级与第二级的卷积模板,L1为第一级的卷积模板个数,L1满足8~20,L2为第二级的卷积模板个数,L2满足8~20;优选的,L1=20,L2=10;
优选的,训练过程得到的卷积模板W1,W2的计算方法如下:
其中,r=r1,Rrr×Bk表示rr×Bk的矩阵,B为训练集图像的张数;qL表示取前L个特征值对应的特征向量,matr,r(ν)表示将特征向量排成r×r的矩阵,并且,当L=L1时,得到的WL即为W1;当L=L2时,得到的WL即为W2。
作为本发明的进一步优选,所述步骤(2)具体包括以下步骤:
(2-1)第二PCANet网络的处理:
根据所述二值化的预分割图像,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块取得对应的灰度信息,r2为预先设定的、与预分割模板相关的值;将所述图像块输入到第二PCANet网络中,该第二PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块进行卷积运算得到经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到对进行直方图统计得到表征图像块的特征向量
(2-2)第二SVM分类器的处理:
其中,W1与W2分别表示所述第二PCANet网络中第一级与第二级的卷积模板,L1为所述第二PCANet网络中第一级的卷积模板个数,L1满足8~20,L2为所述第二PCANet网络中第二级的卷积模板个数,L2满足8~20;优选的,L1=8,L2=8;
优选的,训练过程得到的卷积模板W1,W2的计算方法如下:
其中,r=r2,Rrr×Bk'表示rr×Bk'的矩阵,B为训练集图像的张数;ql表示取前L个特征值对应的特征向量,matr,r(ν)表示将特征向量排成r×r的矩阵,并且,当L=L1时,得到的WL即为W1;当L=L2时,得到的WL即为W2。
作为本发明的进一步优选,所述步骤(1)中,所述待分割的图像为待分割的钼靶图像。
按照本发明的另一方面,本发明提供了一种基于PCANet深度学习模型下的图像自动分割系统,其特征在于,包括:
第一级粗分割网络,该第一级粗分割网络用于将待分割的图像依次经过预处理模块、超像素聚类处理模块、第一PCANet网络、以及第一SVM分类器后得到粗分割后的图像;其中,所述超像素聚类处理模块是用于对预处理得到的图像进行超像素分割,得到多个超像素块;所述第一PCANet网络用于提取各个超像素块的特征向量,所述第一SVM分类器则用于根据这些特征向量对各个超像素块进行二分类;所述粗分割后的图像即二值化的预分割图像;
第二级精分割网络,该第二级精分割网络用于将得到的所述粗分割后的图像依次经过第二PCANet网络、以及第二SVM分类器后得到精分割后的图像,完成图像的自动分割;其中,所述第二PCANet网络用于基于所述粗分割后的图像上的各个像素点重新选取对应的图像块并进行特征向量的提取,所述第二SVM分类器则用于根据这些特征向量对各个像素点进行二分类;所述精分割后的图像即二值化的最终分割图像。
作为本发明的进一步优选,所述第一级粗分割网络具体包括:
预处理模块,用于对待分割的图像I,采用高斯降采样金字塔,并利用顶帽变换,获得预处理后的图像I1;
第一PCANet网络,用于根据所述超像素块计算每一个的聚类中心坐标,根据超像素块的面积大小,以聚类中心点为中心重新取一组尺寸为r1×r1的图像块取得对应的灰度信息,r1为预先设定的、且与超像素块面积大小相关的值;将所述图像块输入到第一PCANet网络中,该第一PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块进行卷积运算得到一组所述经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到一组再对进行直方图统计得到表征图像块的特征向量
作为本发明的进一步优选,所述第二级精分割网络具体包括:
第二PCANet网络,用于根据所述二值化的预分割图像,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块取得对应的灰度信息,r2为预先设定的、与预分割模板相关的值;将所述图像块输入到第二PCANet网络中,该第二PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块进行卷积运算得到经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到对进行直方图统计得到表征图像块的特征向量
通过本发明所构思的以上技术方案,与现有技术相比,由于是基于两级PCANet深度学习模型构建图像自动分割方法及相应系统,具体采用粗分割步骤和与之配合的细分割步骤,并通过控制粗分割步骤、细分割步骤两者的具体处理流程,使粗分割步骤由前至后依次包括预处理、超像素聚类处理、第一PCANet网络的处理、以及第一SVM分类器的处理,细分割步骤由前至后依次包括第二PCANet网络的处理、以及第二SVM分类器的处理,利用各个细节步骤及相应功能模块的整体配合,可最终得到精分割后的图像。
本发明利用顶帽变换这一形态学变换配合高斯降采样金字塔对图像进行预处理,能够在保留图像结构信息最大程度的情况下减少期像素点个数,可有效简化后续处理的难度,并提高后续处理的效率。
本发明通过优选控制各个细节处理步骤之间的数据传递,使超像素块特征向量分别作为粗分割步骤中超像素聚类处理模块向第一PCANet网络、第一PCANet网络向第一SVM分类器的传递数据,特征向量作为精分割步骤中第二PCANet网络向第二SVM分类器的传递数据,能够确保整体图像自动分割方法的有效作用。本发明由于对待分割图像(尤其是钼靶图像)进行了从大范围至小范围,浅层提取到深层挖掘特征信息,并且利用了PCANet网络高效的特征提取手段,可以简化神经网络的冗余构架,克服一定的背景干扰,有效地提取出复杂医学图像的局部结构特征,为图像的精准分割领域提供了新方向。
本发明解决了由于网络过深而导致的梯度消失的弊端,使用的双阶网络根据两个阶段的不同需求进行了超像素到像素级别的分割解决了基于区域的传统分割算法中存在的冗余信息量过大的问题,减轻了经典卷积神经网络中由于层数过深而导致的梯度消失的弊端,加快了经典PCANet用于图像逐点分割的速度。
本发明尤其通过控制第一PCANet网络、第二PCANet网络的具体结构,将第一PCANet网络中第一级滤波器优选控制为20个、第二级滤波器优选控制为10个,将第二PCANet网络中第一级滤波器优选控制为8个、第二级滤波器优选控制为8个,既简化神经网络的冗余构架,又能够有效地提取出复杂医学图像的局部结构特征。本发明利用了PCANet结构简明,少参量易调的优势,搭建的双级网络达到了学习中深层次信息挖掘的要求,更有效地减少了深度网络普遍存在的梯度消失问题,引入的超像素模块改进了原有PCANet网络分割速度过慢的缺陷,完成了基于深度学习模型下的语义分割任务。另外,对于本发明粗分割网络和精分割网络中的两级SVM分类器,惩罚参数c与核函数参数g设定均可优选采用交叉验证法寻优。
综上,本发明将医学图像的分割问题转换为分类问题,结合超像素与PCANet网络实现钼靶肿块的自动分割,与现有的几类分割方法相比,本专利提出的方法可大大提高例如钼靶肿块等的分割精度与鲁棒性。
附图说明
图1为本发明基于PCANet深度学习模型下的钼靶肿块的自动分割模型的结构示意图。
图2为本发明中PCANet与SVM分类实现对超像素块分类的网络结构图。
图3为实施例1基于PCANet深度学习模型下的钼靶肿块的自动分割模型的流程图。
图4a为本发明实施例1方法待分割的测试图像1;
图4b为本发明实施例1方法医师给出的金标准;
图4c为本发明对比例1方法得到的分割结果;
图4d为本发明对比例2方法得到的分割结果;
图4e为本发明对比例3方法得到的分割结果;
图4f为本发明实施例1方法得到的分割结果。
图5a为本发明实施例1方法待分割的测试图像2;
图5b为本发明实施例1方法医师给出的金标准;
图5c为本发明对比例1方法得到的分割结果;
图5d为本发明对比例2方法得到的分割结果;
图5e为本发明对比例3方法得到的分割结果;
图5f为本发明实施例1方法得到的分割结果。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提供了一种基于PCANet深度学习模型下的钼靶肿块的自动分割模型,包括第一级的粗分割网络、第二级的精分割网络,如图1所示,其中第一级网络又包含预处理模块、超像素聚类模块(如,基于简单线性迭代聚类下的超像素聚类模块)、PCANet网络模块、SVM分类器模块,第二级网络包含了PCANet网络模块、SVM分类器模块。可以预先通过两组独立的医学数据,分别对级联的两级神经网络进行训练,可在给定的医学数据与标签值下,对已搭建好的双级神经网络模型进行反复地学习与纠错,自动调整网络内部权值以适应与匹配训练集,最终实现了对测试集图像的精准分割。
测试阶段下,将测试图像(即,待分割的图像)输入到第一级粗分割网络中,输出得到超像素预分割的模板图;然后将第一级模板图所选中的区域输入到第二级精分割网络中,获得测试图像的二值分割模板。
以乳腺钼靶图像作为待分割的图像为例,该系统中各个模块的功能及对应的具体处理过程可以如下:
所述第一级中的预处理模块用于对输入的乳腺图像的感兴趣区域进行高斯降采样、乳腺背景组织的去除的预处理;所述第一级中的超像素聚类模块用于对前一模块输出的预处理后的图像进行聚类划分成多个超像素块(k即超像素块的总个数),并计算各个超像素块的聚类中心点,然后以此为中心重新取得大小相似的矩形图像块所述第一级中的PCANet模块经过训练后,用于提取每个矩形图像块的深层次特征信息,并输出表征该图像块的特征向量所述第一级中的SVM分类器模块经过训练后,用于根据前一步得到的进行标签值的判决;标签值反填充回该中心点对应的原超像素块得到第一级的粗分割结果;所述第二级中的PCANet模块用于在对第一级粗分割所选中的区域进行逐点取块的操作,得到多个图像块(k’即该区域内像素点的总个数),再对各个图像块的深层次特征信息进行提出,从而输出表征该图像块的特征向量所述第二级中的SVM分类器模块经过训练后,用于根据前一步得到的进行标签值的判决。
具体地,该分割模型进行乳腺肿块图像的分割包括以下步骤:
步骤1将测试图像输入到已训练的网络模型的第一级粗分割网络中,获得一组所述测试图像超像素块的图像分类的标签值,标签值反填充回对应的位置,得到二值化的预分割模板图;具体步骤可以如下:
步骤1-1用于粗分割网络内部获得预处理后的图像I1,方法为:首先根据测试图像I,对其采用降采样高斯金字塔,达到在保留图像结构信息最大程度的情况下减少其像素点个数目标,再针对目标肿块的结构特征进行图像进行一种形态学变换—顶帽变换,获得预处理后的图像I1;
计算方法如下:
Ids=I*T' (1)
步骤1-2用于粗分割网络内部,根据预处理后的图像I1采用简单线性迭代聚类的方法,由目标图像中各点的空间信息与灰度信息,对其进行聚类分割,获得一组含有k个形状不规则的超像素块其算法步骤为首先以步长为S(S的具体取值可预先设定)的网格中心初始化聚类中心点Ck=[g,x,y]T,其中g为该点的灰度值,x与y表征中心点的位置;然后再在聚类中心的3×3邻域计算所有像素点的梯度值,将中心点移动至该范围下梯度值最低的位置;接着在中心点周围的S×S的区域分配类标签值(S即步长S),2S×2S的区域计算距离尺度,分配最近的像素点直到所有点均被重新分配后再计算新的聚类中心,重复该步骤直到所有的聚类中心点不再发生变化为止,距离尺度Mi,k的计算公式如下:
其中,dg和dp分别为灰度距离度量和空间距离度量,s为搜索区域边长归一化后的值,w和s为控制dg和dp的权重因子;
步骤1-3用于粗分割网络内部,根据上述获得的超像素块计算每一个的聚类中心坐标,根据超像素块的面积S×S,以聚类中心点为中心重新取一组尺寸为r1×r1的图像块(r1可预先设定,例如可以约等于2.5S),取得对应的灰度信息,将其输入到两阶主成分分析网络PCANet中,利用该网络中第一阶的20个滤波器(第一阶滤波器的个数也可以是8~20的其他数量),分别与之进行卷积运算,得到一组(l为1,2,……,L1;L1为该网络中第一阶滤波器的总个数,如20),经过与该网络的第二阶的8个滤波器(第二阶滤波器的个数也可以是8~20的其他数量)分别卷积与哈希编码得到(l为1,2,……,L1;L1为该网络中第一阶滤波器的总个数,如20),对其进行直方图统计得到表征图像块的特征向量送入到SVM的二分类器中获得图像块的分类标签值,并反填充至对应的超像素块,获得所述的预分割模板图M1,其中的计算方法如下:
其中,W1与W2分别表示第一阶与第二阶的卷积模板,L1=20为第一阶卷积模板的个数,L2=10为第二阶卷积模板的个数;
步骤2根据上述的预分割模板图获取测试图中由模板图所选中的对应区域,输入到以训练的网络模型的第二级精分割网络(即,第二级细分割网络)中,获得每个像素点的分类标签值,得到二值化的最终分割模板图;具体步骤可以如下:
步骤2-1用于细分割网络内部,根据步骤1中所获得的预分割区域,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块(r2可预先设定);
步骤2-2用于细分割网络内部,将上述的图像块输入到两阶PCANet进行第一次卷积运算得到第二次卷积运算与哈希编码得到经直方图统计后得到表征图像块的特征向量送入到SVM的二分类器中获得图像块的分类标签值。该两阶PCANet优选具有8个第一阶滤波器(即L1=8),8个第二阶滤波器(即L2=8)。
实施例1
本实施例提供了一种基于PCANet深度学习模型下的钼靶肿块的自动分割技术,包括以下步骤,如图1所示:
步骤1将测试图像输入到已训练的网络模型的第一级粗分割网络中,获得一组所述测试图像超像素块的图像分类的标签值,标签值反填充回对应的位置,得到二值化的预分割模板图;
步骤1-1计算用于粗分割网络内部获得预处理后的图像I1,根据公式(1)和(2),获得降低乳腺组织背景干扰后的图像其中个顶帽变换中结构元素的大小约取35个像素点;
步骤1-3用于粗分割网络内部获取图像块是否为肿块的标签值,将其输入到两阶主成分分析网络PCANet,根据公式(4)、(5)和直方图统计后最终得到表征该区域的特征向量经过SVM的二分类器中获得图像块的分类标签值,获得所述的粗分割模板图;
步骤2-2用于细分割网络内部,将上述的图像块输入到两阶PCANet进行第一次卷积运算得到第二次卷积运算与哈希编码得到经直方图统计后得到表征图像块的特征向量送入到SVM的二分类器中获得图像块的分类标签值,并最终完成图像分割。
对比例1
按照(Image Processing.International Society for Optics and Photonics,1999,3661:490-499)里的Level Set方法实现分割。
对比例2
按照(IEEE Transactions on Image Processing,2015,24(12):5017-5032.)里的PCANet方法实现分割。
对比例3
按照(IEEE Trans Pattern Anal Mach Intell,2012,34(11):2274-2282.)里的方法结合PCANet网络结构实现分割。
实验结果分析
为了进一步体现本发明的优点,我们将实施例1与对比例1-4的分割结果进行了多参数的评估比较。分割精度采用Accuracy、specificity、sensitivity、recall和测试时间进行了评价,这里Accuracy、specificity、sensitivity、recall四个指标的定义为:
Acc=(tpn+tnn)/(tpn+fnn+tnn+fpn)
Sen=tpn/(tpn+fpn)
Spe=tnn/(tnn+fpn)
Rec=tpn/(tpn+fnn)
其中tpn代表真阳性的像素点个数,fpn代表假阳性的像素点个数,tnn代表真阴性的像素点个数,fnn代表假阴性的像素点个数。
采用公开的乳腺数据源DDSM进行网络的训练与测试,表1显示了四种分割方法的四种指标的统计平均值。从表1中我们可以看出,与其他分割方法相比,本例在Accuracy(表示的是正负所有样本被正确归类的比例),Sensitivity(预测正样本中正确的比例),Specificity(真实负样本中被找全的比例),Recall(真实正样本中被找全的比例),测试时间综合指标较佳,对比例1中recall值较低,对比例2中recall值较低并且测试时间过长,对比例3虽效果也不错,但由于实例1是在对比例3的基础上改进,各项指标均有所提升。综上所述,本发明提出的方法在钼靶肿块分割上较对比例的算法具有更高的分割精度。
表1 各方法在钼靶肿块分割图像中的多参数对比
为了更直观地显示本发明相对于其余方法的优越性,我们提供了两组实施例1与对比例1-3对应配准图像的视觉效果图,测试数据均来自于网络公开数据源DDSM。如图4所示。图4a为待分割的测试图像1,图4b为医师给出的金标准,图4c为对比例1分割的结果,图4d为对比例2分割的结果,图4e为对比例3分割的结果,图4f为实施例1分割的结果;图5a为待分割的测试图像2,图5b为医师给出的金标准,图5c为对比例1分割的结果,图5d为对比例2分割的结果,图5e为对比例3分割的结果,图5f为实施例2分割的结果。
除了对钼靶图像外,本发明也可以应用于其他类型的医学影像图像,如超声图像、MRI图像等。
关于本发明所利用的超像素聚类处理,PCANet网络的构建及训练过程等,本发明未详细说明的地方可参考相关现有技术;例如,超像素聚类处理可参考Achanta,Radhakrishna,et al."SLIC superpixels compared to state-of-the-art superpixelmethods."IEEE transactions on pattern analysis and machine intelligence 34.11(2012):2274-2282.等;PCANet网络构建及训练可参考Chan,Tsung-Han,et al."PCANet:Asimple deep learning baseline for image classification?."IEEE Transactions onImage Processing 24.12(2015):5017-5032.等。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。
Claims (11)
1.一种基于PCANet深度学习模型下的图像自动分割方法,其特征在于,包括以下步骤:
(1)将待分割的图像依次经过预处理、超像素聚类处理、第一PCANet网络的处理、以及第一SVM分类器的处理后得到粗分割后的图像;其中,所述超像素聚类处理是用于对预处理得到的图像进行超像素分割,得到多个超像素块;所述第一PCANet网络的处理用于提取各个超像素块的特征向量,所述第一SVM分类器的处理则用于根据这些特征向量对各个超像素块进行二分类;所述粗分割后的图像即二值化的预分割图像;
(2)将所述步骤(1)得到的所述粗分割后的图像依次经过第二PCANet网络的处理、以及第二SVM分类器的处理后得到精分割后的图像,由此完成图像的自动分割;其中,所述第二PCANet网络的处理基于所述粗分割后的图像上的各个像素点重新选取对应的图像块并进行特征向量的提取,所述第二SVM分类器的处理则用于根据这些特征向量对各个像素点进行二分类;所述精分割后的图像即二值化的最终分割图像。
2.如权利要求1所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(1)具体包括以下步骤:
(1-1)预处理步骤:
对待分割的图像I,采用高斯降采样金字塔,并利用顶帽变换,获得预处理后的图像I1;
(1-2)超像素聚类处理:
(1-3)第一PCANet网络的处理:
根据所述超像素块计算每一个的聚类中心坐标,根据超像素块的面积大小,以聚类中心点为中心重新取一组尺寸为r1×r1的图像块取得对应的灰度信息,r1为预先设定的、且与超像素块面积大小相关的值;将所述图像块输入到第一PCANet网络中,该第一PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块进行卷积运算得到一组所述经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到一组再对进行直方图统计得到表征图像块的特征向量
(1-4)第一SVM分类器的处理:
3.如权利要求2所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(1-1)中,所述高斯降采样和所述顶帽变换具体如下:
记所述待分割的图像I中的一个初始图像块为I,所述高斯降采样得到的图像块为Ids,所述顶帽变换得到的图像块为I1,则I、Ids、I1满足:
Ids=I*T'
对所述待分割的图像I中的每个初始图像块进行所述高斯降采样和所述顶帽变换,由此得到预处理后的图像I1;
所述步骤(1-2)具体包括以下步骤:
(1-2-1)以步长为S的网格中心初始化聚类中心点Ck=[g,x,y]T,其中g为该点的灰度值,x与y表征中心点的位置;其中,步长S是预先设定的;
(1-2-2)在聚类中心的3像素点×3像素点邻域计算所有像素点的梯度值,将中心点移动至所述3像素点×3像素点邻域中梯度值最低的位置;
(1-2-3)在中心点周围的S×S的区域分配类标签值,以中心点周围的2S×2S的区域作为中心点的待定区域,计算该待定区域内各像素点与包含该超像素块与相邻超像素块的多个中心点之间的距离尺度,并该像素点分配给距离尺度最近的中心点,直到所有像素点均被重新分配后再根据形心计算新的聚类中心点,重复该步骤直到所有的聚类中心点不再发生变化为止;
其中,第i个像素点与第j个超像素块的中心点之间的距离尺度Mi,j的计算公式如下:
其中,所述第i个像素点与第j个超像素块相邻,dg和dp分别为第i个像素点与第j个超像素块的中心点之间的灰度距离度量和空间距离度量;w和s分别为控制dg和dp的预先设定的权重因子;
其中,W1与W2分别表示所述第一PCANet网络中第一级与第二级的卷积模板,L1为第一级的卷积模板个数,L1满足8~20,L2为第二级的卷积模板个数,L2满足8~20;
训练过程得到的卷积模板W1,W2的计算方法如下:
4.如权利要求3所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(1-1)中,T’的标准差为0.5,E大小为45个像素点;
所述步骤(1-2)中,s为搜索区域边长归一化后的值;
所述步骤(1-3)中,L1=20,L2=10。
5.如权利要求1所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(2)具体包括以下步骤:
(2-1)第二PCANet网络的处理:
根据所述二值化的预分割图像,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块取得对应的灰度信息,r2为预先设定的、与预分割模板相关的值;将所述图像块输入到第二PCANet网络中,该第二PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块进行卷积运算得到经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到对进行直方图统计得到表征图像块的特征向量
(2-2)第二SVM分类器的处理:
其中,W1与W2分别表示所述第二PCANet网络中第一级与第二级的卷积模板,L1为所述第二PCANet网络中第一级的卷积模板个数,L1满足8~20,L2为所述第二PCANet网络中第二级的卷积模板个数,L2满足8~20;
训练过程得到的卷积模板W1,W2的计算方法如下:
7.如权利要求6所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(2-1)中,L1=8,L2=8。
8.如权利要求1所述基于PCANet深度学习模型下的图像自动分割方法,其特征在于,所述步骤(1)中,所述待分割的图像为待分割的钼靶图像。
9.一种基于PCANet深度学习模型下的图像自动分割系统,其特征在于,包括:
第一级粗分割网络,该第一级粗分割网络用于将待分割的图像依次经过预处理模块、超像素聚类处理模块、第一PCANet网络、以及第一SVM分类器后得到粗分割后的图像;其中,所述超像素聚类处理模块是用于对预处理得到的图像进行超像素分割,得到多个超像素块;所述第一PCANet网络用于提取各个超像素块的特征向量,所述第一SVM分类器则用于根据这些特征向量对各个超像素块进行二分类;所述粗分割后的图像即二值化的预分割图像;
第二级精分割网络,该第二级精分割网络用于将得到的所述粗分割后的图像依次经过第二PCANet网络、以及第二SVM分类器后得到精分割后的图像,完成图像的自动分割;其中,所述第二PCANet网络用于基于所述粗分割后的图像上的各个像素点重新选取对应的图像块并进行特征向量的提取,所述第二SVM分类器则用于根据这些特征向量对各个像素点进行二分类;所述精分割后的图像即二值化的最终分割图像。
10.如权利要求9所述基于PCANet深度学习模型下的图像自动分割系统,其特征在于,所述第一级粗分割网络具体包括:
预处理模块,用于对待分割的图像I,采用高斯降采样金字塔,并利用顶帽变换,获得预处理后的图像I1;
第一PCANet网络,用于根据所述超像素块计算每一个的聚类中心坐标,根据超像素块的面积大小,以聚类中心点为中心重新取一组尺寸为r1×r1的图像块取得对应的灰度信息,r1为预先设定的、且与超像素块面积大小相关的值;将所述图像块输入到第一PCANet网络中,该第一PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块进行卷积运算得到一组所述经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到一组再对进行直方图统计得到表征图像块的特征向量并且,中的l取值由1到该第一PCANet网络中第一级滤波器的总个数,中的l取值由1到该第一PCANet网络中第一级滤波器的总个数;
11.如权利要求9所述基于PCANet深度学习模型下的图像自动分割系统,其特征在于,所述第二级精分割网络具体包括:
第二PCANet网络,用于根据所述二值化的预分割图像,选择并保留最大连通区域,对选定的单连通区域用3像素点×3像素点的模板进行边缘扩充,得到预分割模板,根据预分割模板对测试区域内的每一个像素点都无间隔地取一组r2×r2大小的图像块取得对应的灰度信息,r2为预先设定的、与预分割模板相关的值;将所述图像块输入到第二PCANet网络中,该第二PCANet网络为两级主成分分析网络PCANet,利用该网络中第一级的8~20个滤波器分别与图像块进行卷积运算得到经过与该网络的第二级的8~20个滤波器分别卷积与哈希编码得到对进行直方图统计得到表征图像块的特征向量
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811148093.7A CN109447998B (zh) | 2018-09-29 | 2018-09-29 | 基于PCANet深度学习模型下的自动分割方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811148093.7A CN109447998B (zh) | 2018-09-29 | 2018-09-29 | 基于PCANet深度学习模型下的自动分割方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN109447998A CN109447998A (zh) | 2019-03-08 |
CN109447998B true CN109447998B (zh) | 2020-12-18 |
Family
ID=65544677
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811148093.7A Active CN109447998B (zh) | 2018-09-29 | 2018-09-29 | 基于PCANet深度学习模型下的自动分割方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN109447998B (zh) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109978863B (zh) * | 2019-03-27 | 2021-10-08 | 北京青燕祥云科技有限公司 | 基于x射线图像的目标检测方法及计算机设备 |
CN110120054A (zh) * | 2019-05-15 | 2019-08-13 | 深圳铂石空间科技有限公司 | 基于图像处理的自动计数方法及装置、介质、电子设备 |
CN110634129B (zh) * | 2019-08-23 | 2022-08-23 | 首都医科大学宣武医院 | 一种基于dsa图像的定位方法及系统 |
CN110827311B (zh) * | 2019-11-05 | 2023-07-21 | 中铁十一局集团电务工程有限公司 | 一种基于成像法的电缆导体截面积测量方法及系统 |
CN111640120B (zh) * | 2020-04-09 | 2023-08-29 | 之江实验室 | 一种基于显著性密集连接扩张卷积网络的胰腺ct自动分割方法 |
CN112215852A (zh) * | 2020-09-29 | 2021-01-12 | 忻州师范学院 | 基于聚类学习器集成的数字图像分割方法 |
CN112329596B (zh) * | 2020-11-02 | 2021-08-24 | 中国平安财产保险股份有限公司 | 目标物定损方法、装置、电子设备及计算机可读存储介质 |
CN112365514A (zh) * | 2020-12-09 | 2021-02-12 | 辽宁科技大学 | 基于改进PSPNet的语义分割方法 |
CN112633296A (zh) * | 2020-12-28 | 2021-04-09 | 常州微亿智造科技有限公司 | 一种基于聚类分析的视觉工业零部件明暗等级划分方法 |
CN112489047B (zh) * | 2021-02-05 | 2021-06-01 | 四川大学 | 一种基于深度学习的盆骨及其动脉血管的多层级分割方法 |
CN115578309A (zh) * | 2022-08-04 | 2023-01-06 | 云南师范大学 | 肺癌特征信息获取的方法、系统、电子设备和存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2362350A1 (en) * | 2008-05-08 | 2011-08-31 | Oslo Universitetssykehus HF | Automated normalization of cerebral blood volume maps |
CN105447473A (zh) * | 2015-12-14 | 2016-03-30 | 江苏大学 | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 |
-
2018
- 2018-09-29 CN CN201811148093.7A patent/CN109447998B/zh active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2362350A1 (en) * | 2008-05-08 | 2011-08-31 | Oslo Universitetssykehus HF | Automated normalization of cerebral blood volume maps |
CN105447473A (zh) * | 2015-12-14 | 2016-03-30 | 江苏大学 | 一种基于PCANet-CNN的任意姿态人脸表情识别方法 |
Non-Patent Citations (1)
Title |
---|
PCANet: A Simple Deep Learning Baseline for Image Classification?;Tsung-Han Chan等;《IEEE Transactions on Image Processing》;20151231;第24卷(第12期);第5017-5030页 * |
Also Published As
Publication number | Publication date |
---|---|
CN109447998A (zh) | 2019-03-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109447998B (zh) | 基于PCANet深度学习模型下的自动分割方法 | |
George et al. | Remote computer-aided breast cancer detection and diagnosis system based on cytological images | |
Omonigho et al. | Breast cancer: tumor detection in mammogram images using modified alexnet deep convolution neural network | |
CN110942446A (zh) | 一种基于ct影像的肺结节自动检测方法 | |
Zhang et al. | Automated semantic segmentation of red blood cells for sickle cell disease | |
CN109635846A (zh) | 一种多类医学图像判断方法和系统 | |
CN108537751B (zh) | 一种基于径向基神经网络的甲状腺超声图像自动分割方法 | |
Pan et al. | Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks | |
Pan et al. | Mitosis detection techniques in H&E stained breast cancer pathological images: A comprehensive review | |
EP1324267A2 (en) | Automatic detection of regions of interest in digital images of biological tissue | |
CN109363699A (zh) | 一种乳腺影像病灶识别的方法及装置 | |
Yao et al. | Pneumonia Detection Using an Improved Algorithm Based on Faster R‐CNN | |
CN109363697A (zh) | 一种乳腺影像病灶识别的方法及装置 | |
CN114332572B (zh) | 基于显著图引导分层密集特征融合网络用于提取乳腺病变超声图像多尺度融合特征参数方法 | |
Vidyarthi et al. | Classification of breast microscopic imaging using hybrid CLAHE-CNN deep architecture | |
CN115471701A (zh) | 基于深度学习和迁移学习的肺腺癌组织学亚型分类方法 | |
Al-Hadidi et al. | Glioblastomas brain tumour segmentation based on convolutional neural networks. | |
Pavithra et al. | An Overview of Convolutional Neural Network Architecture and Its Variants in Medical Diagnostics of Cancer and Covid-19 | |
Zhang et al. | Mammographic mass detection by bilateral analysis based on convolution neural network | |
CN111062909A (zh) | 乳腺肿块良恶性判断方法及设备 | |
Sertel et al. | Computer-aided prognosis of neuroblastoma: classification of stromal development on whole-slide images | |
CN115880245A (zh) | 一种基于自监督的乳腺癌疾病分类方法 | |
Athinarayanan et al. | Multi class cervical cancer classification by using ERSTCM, EMSD & CFE methods based texture features and fuzzy logic based hybrid kernel support vector machine classifier | |
Vivona et al. | Unsupervised clustering method for pattern recognition in IIF images | |
Johny et al. | Optimization of CNN model with hyper parameter tuning for enhancing sturdiness in classification of histopathological images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |