CN105427296A - 一种基于超声图像低秩分析的甲状腺病灶图像识别方法 - Google Patents
一种基于超声图像低秩分析的甲状腺病灶图像识别方法 Download PDFInfo
- Publication number
- CN105427296A CN105427296A CN201510770183.XA CN201510770183A CN105427296A CN 105427296 A CN105427296 A CN 105427296A CN 201510770183 A CN201510770183 A CN 201510770183A CN 105427296 A CN105427296 A CN 105427296A
- Authority
- CN
- China
- Prior art keywords
- pixel
- super
- image
- rank
- low
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明提供一种基于超声图像低秩分析的甲状腺病灶图像识别方法,包括了三个步骤:基于超像素层次化分割的图像块状特征提取与描述,以超像素为单位、多尺度层次化提取图像特征,借助超像素去除图像的冗余信息,降低后续图像处理任务的复杂度,兼顾全局和局部信息的获取;基于特征空间低秩重构误差分析的甲状腺识别,根据图像结构信息的低秩性,通过优化最低秩的方式求解测试数据与词典之间的相似度,计算重构误差,结合graph-cut分割算法识别甲状腺区域;基于局部低秩分解的甲状腺病灶检测,采用低秩分解的方法,将数据矩阵分为具有低秩性的矩阵和具有稀疏性的误差矩阵两部分,计算稀疏误差,进行显著性检测,确定病灶区域。
Description
技术领域
本发明涉及一种基于超声图像低秩分析的甲状腺病灶图像识别方法。
背景技术
视觉是人类获取信息的重要来源,在计算机替代人类可重复性工作的信息时代,图像处理与模式识别无疑是目前研究和应用的一大热门。在今年的全国政协会议上,政协委员、百度公司CEO李彦宏建议设立“中国大脑”计划,推动人工智能跨越发展,抢占新一轮科技革命制高点;谷歌、微软亚洲研究院等世界著名研究机构成立有专门的计算机视觉小组。这表明人工智能的时代即将到来,而图像处理与模式识别作为人工智能中的一个重要组成部分,其研究与应用价值的重要性不言而喻。
目前图像处理与模式识别领域的研究热点主要集中于目标检测、图像分割、分类识别、目标跟踪、3D场景重建等方面,图像识别的重要目标是根据图像,分辨其中物体的类别,并做出相应的判断。其中图像识别是人类视觉认知的延伸,包含诸如条码识别、生物特征识别、手写识别等多个方面。因此,随着图像的广泛应用,利用计算机对图像提取特定类型的特征,通过融入先验知识对其建立分析处理模型,进而据此对兴趣目标进行自动、准确的识别,尽可能地降低手工劳动工作量,已经成为现在的发展趋势,并可为跟踪、分割、重建等后续应用提供必要的技术基础,具有重要的科学研究意义。
根据调研,目前尚不存在甲状腺病灶图像的识别方法。
发明内容
本发明解决的技术问题是:克服现有技术的不足,提供一种基于超声图像低秩分析的甲状腺病灶图像识别方法,实现对甲状腺区域图像自动和准确的识别,,为计算机辅助诊断提供新的方法。
本发明采用的技术方案为:一种基于超声图像低秩分析的甲状腺病灶图像识别方法,包括以下三个步骤:
步骤(一),采用聚类的方法,以位置相近、特征相似的像素聚为一类,将超声图像划分为若干个子区域组成超像素;按照每个超像素包含像素数量的大小,进行若干层次的超像素分割;以超像素为单位,提取超声图像的方向梯度直方图HOG特征和局部二值模式LBP特征,对于一个超像素,将其HOG特征与LBP特征串联,即得到一个列向量,用于表示该超像素的特征;超声图像分为训练图像和测试图像两类,训练图像含有医生标注信息,供训练词典时使用;测试图像不含医生标注信息,供测试方法的效果使用;
步骤(二),对于通过步骤(一)得到的训练图像特征,结合医生标定的甲状腺区域图像位置,将甲状腺区域图像位置的超像素的块状特征组成词典;对于通过步骤(一)得到的训练图像特征,利用图像特征数据之间的相关性和全局结构信息,通过低秩重构误差分析的方法,将与词典相似的图像特征数据重构出来,计算重构误差;使用graph-cut算法对测试图像进行分割处理,结合graph-cut分割结果,标定出甲状腺的位置区域,供步骤(三)使用;
步骤(三)通过步骤(一)计算得到甲状腺位置区域图像特征,将所有特征并联为一个矩阵,使用低秩分解的方法对该矩阵进行低秩分解,得到一个具有低秩性的矩阵和一个具有稀疏性的误差矩阵;计算误差矩阵中各列向量的范数,得到稀疏误差;设定一个阈值,根据误差矩阵,计算每个超像素的稀疏误差,稀疏误差大于该阈值的超像素即认为是病灶区域。
所述步骤(一)中的基于超像素层次化分割具体实现如下:
(1)给出一个超像素分割的数目n作为输入参数;
(2)根据给出的数目n,生成n个中心点,平均放置在超声图像中进行初始化;
(3)在Labxy五维向量空间中,根据第(2)步生成的中心点,对每个像素点进行聚类操作;
(4)所有像素点聚类完成后,将每一类中像素点平均值更新为新的中心点;
(5)根据第(4)步得到的新中心点,判断是否满足收敛条件,如果满足,则结束,返回超像素分割完成的标注图像和实际分割超像素数目,如果不满足,则回到第(3)步,继续对像素点进行聚类操作;
(6)设置多个超像素分割数目,重复(1)~(6)步,得到层次化分割结果。
所述步骤(一)中的以超像素为单位,提取图像的HOG特征和LBP特征的具体实现如下:
(1)遍历整幅图像,计算出每个像素点的梯度方向大小和与周围8个像素灰度值的大小关系,得到每个像素点的特征数值;
(2)结合超像素分割信息,根据第(1)步的每个像素的特征数值,将其统计到所在超像素中,形成统计直方图,提取HOG特征和LBP特征。
所述步骤(二)的低秩重构误差分析具体实现如下:
(1)将训练图像按照步骤(一)进行超像素层次化分割与特征提取,结合医生标注的甲状腺区域信息,将属于甲状腺区域的所有超像素的特征并联,得到词典;
(2)将测试图像按照步骤(一)进行超像素层次化分割与特征提取,将所有超像素的特征与第(1)步得到的词典并联,得到数据矩阵X;
(3)对第(2)步得到的数据矩阵X,用测试图像特征重构词典,使用增广拉格朗日乘子法求解公式:
得到系数矩阵Z,其中E为误差,λ为参数;
(4)根据第(3)步得到的系数矩阵Z,计算测试图像各超像素重构词典时的重构误差;
(5)对测试图像进行Graph-cut分割,根据第(4)步每个超像素的重构误差,对分割区域进行投票,得到平均重构误差最小的区域即认为是甲状腺区域。
所述步骤(三)的低秩分解的具体实现如下:
(1)根据步骤(二)得到的甲状腺区域图像,将其按照步骤(一)进行超像素层次化分割与特征提取,将所有超像素的特征并联,得到数据矩阵X;
(2)对第(1)步得到的数据矩阵X,求解公式:
得到误差矩阵E,其中A为低秩部分矩阵,λ为参数。
(3)根据第(2)步得到的误差矩阵E,计算甲状腺区域图像内各超像素特征的稀疏误差;设定一个阈值,稀疏误差大于该阈值的超像素即可认为属于病灶区域图像。
本发明的原理在于:
(1)通过基于线性迭代聚类的方法,根据像素位置的相近性和像素颜色的相似性,通过不断的简单线性聚类,将图像分割为多个子区域,组成超像素。首先遍历整幅图像,计算出每个像素点的梯度方向大小和与周围8个像素灰度值的大小关系;然后根据超像素分割得到的标注信息,将每个像素的特征数值统计到所在超像素中,形成统计直方图;最后把每个超像素的特征作为一个列向量,并联起所有列向量即构成词典,供后续工作使用。
(2)为了识别甲状腺区域,本发明通过低秩表示的方法,提出了一种通过利用数据之间的相关性和全局结构信息,将与训练词典相似的数据重构出来,且重构误差较小,并结合graph-cut分割出的区域,可以有效地识别甲状腺区域的方法。
(3)为了检测甲状腺病灶位置,本发明通过基于局部低秩分解的显著性检测的方法,甲状腺区域特征具有低秩性,而病灶的存在会破坏这种低秩性。对甲状腺区域精细化超像素分割进行低秩分解,通过稀疏误差矩阵可以对病灶进行有效地检测。
本发明与现有技术相比的优点在于:
(1)基于超像素提取图像特征可以有效降低数据规模,提高算法效率。相比于传统的基于像素的方法,超像素聚集特征、位置相似相近的像素,可以表示一个区域的特征,减少冗余计算量。多尺度层次化提取图像特征的方法,可以兼顾全局和局部信息的获取,有效地提高识别准确率。
(2)使用低秩重构误差分析的方法识别甲状腺,可以充分地利用医学先验知识,构建完备词典,通过约束低秩、计算重构误差,可以有效地对甲状腺区域进行识别,识别准确率高。与稀疏表示相比,具有两个明显的优点:第一,低秩表示可以更好地获取数据的全局结构;第二,低秩表示可以更好地处理受污染的数据,具有良好的鲁棒性。
(3)基于低秩分解的显著性检测技术,可以准确地在甲状腺区域中检测出甲状腺病灶的位置及大小,原理简单,求解算法时间效率较高。
附图说明
图1为本发明基于超声图像低秩分析的甲状腺病灶图像识别方法的流程示意图;
图2为本发明中超像素分割程序流程图;
图3为本发明中超像素分割效果图;
图4为侧视图像;
图5为graph-cut分割结果;
图6为大尺度分割下的重构误差;
图7为小尺度分割下的重构误差;
图8为甲状腺区域分割结果;
图9为甲状腺区域;
图10为稀疏误差分布图。
具体实施方式
图1给出了基于超声图像低秩分析的甲状腺病灶识别的总体处理流程,下面结合其他附图及具体实施方式进一步说明本发明。
本发明提供一种基于超声图像低秩分析的甲状腺病灶识别方法,主要步骤介绍如下:
1、基于超像素层次化分割的图像块状特征提取与描述
基于线性迭代聚类(SLIC:SimpleLinearIterativeClustering)的超像素分割,是根据像素位置的相近性和像素颜色的相似性,通过不断的简单线性聚类,将图像分割为多个子区域,组成超像素。线性迭代聚类是在五维空间(Labxy)中进行的。其中Lab是像素在CIELAB色彩空间中的颜色向量,xy是像素所在的位置坐标。总之,SLIC方法是在Labxy向量空间中,通过不断线性迭代,将颜色和空间位置相似的像素聚集在一起,以实现划分超像素的目的。
如图2,基于线性迭代聚类的层次化超像素分割的方法的具体实现过程如下:
(1)给出一个超像素分割的数目n作为输入参数。
(2)根据第(1)步给出的数目n,生成n个中心点,平均放置在图像中进行初始化。
(3)在Labxy五维向量空间中,根据第(2)步生成的中心点,对每个像素点进行聚类操作。
(4)所有像素点聚类完成后,将每一类中像素点平均值更新为新的中心点。
(5)根据第(4)步得到的新中心点,判断是否满足收敛条件,是则算法结束,返回超像素分割完成的标注图像和实际分割超像素数目,否则回到第(3)步,对像素点继续进行聚类操作。
(6)设置多个超像素分割数目,重复(1)~(6)步,得到层次化分割结果。
如图3所示,是超像素分割后的效果。红线即表示分割的边界,每个红线围成的封闭区域在图像处理中,往往会遇到整体信息与局部信息不可兼得以及算法时间效率问题。针对这两个问题,本发明提出了层次化分割的策略,将同一幅图像按照不同的超像素规模进行多次分割,得到不同超像素规模下的多幅分割图像,将这些图像由细致到粗糙排序,构成一组层次化的分割数据,在后续处理中选择应用或者综合应用。
本发明使用了方向梯度直方图(HOG)与局部二值模式(LBP)两种特征作为对图像的描述。HOG特征是提取一部分区域中各像素梯度方向与大小统计直方图,生成一个9维矩阵;LBP特征是提取一部分区域中各像素与周围像素灰度值大小关系的统计直方图,生成一个256维矩阵。两种特征对图像的变化特征和纹理特征有很好的描述,在本文使用的超声图像中,甲状腺区域、病灶区域与其他区域主要的不同点即是从图像表面的变化特点和纹理样式进行判断。
本发明以超像素为基本单位进行特征的提取。首先遍历整幅图像,计算出每个像素点的梯度方向大小和与周围8个像素灰度值的大小关系;然后根据超像素分割得到的标注信息,将每个像素的特征数值统计到所在超像素中,形成统计直方图,提取HOG特征和LBP特征;最后结合医生标定的甲状腺区域图像位置,把位于甲状腺区域图像位置中的每个超像素的特征作为一个列向量,并联起所有列向量即构成词典,供后续工作使用。
由图2可知,超像素分割耗费的时间极短,对于图像识别整个过程的时间耗费来说可以忽略不计。并且在超像素块不同,甚至增加了五倍时,精细比粗糙分割耗费的时间并没有明显的增加,说明层次化分割不会对算法时间造成明显影响。
表2层次化超像素分割耗时数据
2、基于特征空间低秩重构误差分析的甲状腺图像识别
图像识别、分类标注的问题,可以抽象地看做是子空间划分的问题。目标是将超声图像中的甲状腺区域标注、划分出来,在分割超像素并提取图像特征后,这个问题便成为一个数学问题,即将具备甲状腺区域特征的数据从所有数据中划分出来。其中所有具备甲状腺区域特征的数据是相似的,构成一个子空间,提取这部分数据的过程实际上便是划分子空间的过程。
1)问题描述
给出一组足够稠密的数据向量X=[x1,x2,…,xn](每一列是一个样本)这组向量来自于k个子空间的并集S,在D维欧式空间中,目标是将所有数据向量划分到各自的子空间中。
以超像素为单位提取HOG与LBP特征组成数据向量,每个超像素的特征即是一个样本。这些超像素部分属于甲状腺区域,是需要分割出来的样本,其他不属于甲状腺区域的超像素不需要进行分割。
2)低秩表示
一组D维数据向量X=[x1,x2,…,xn](每一列是一个样本)每一个向量都可以由字典A=[a1,a2,…,am]中的向量的线性组合表示出来:
X=AZ
其中,Z=[z1,z2,…,zn]是系数矩阵,每一个zi是xi的表示。词典是完备的,因此有多个可行的解决方法。显然稀疏表示在使用了合适的词典时可以显示出向量xi属于的子空间。然而,稀疏表示不能收集到数据集X的整体结构信息,低秩表示将是更适合的规则。通过如下公式可以得到系数矩阵Z:
数据集X关于词典A的最低秩表示的最优解为Z*。然而,求矩阵的秩是非凸的,是一个很难求解的优化问题,需要寻找求矩阵的秩的凸近似来近似它,可以使用如下近似公式来替代:
其中,||Z||*表示矩阵Z的核范数,即矩阵奇异值的和。
给出一组来自于k个子空间的并集S的数据向量X=[x1,x2,…,xn],Xi表示属于子空间Si的所有样本的集合,不失一般性的,有X=[X1,X2,…,Xk]。为了将数据分割到他们各自的子空间中,需要计算一个相关矩阵来给两两数据向量之间的相关性编码。于是使用数据集X本身作为词典,如此,问题变为:
由于使用数据集X本身作为词典,实际上问题转化成求矩阵X中各向量之间的线性相关性。这里,矩阵X由两部分构成,一部分是在训练阶段,利用医生标注好甲状腺区域的超声图像进行训练,划分超像素并提取块状特征得到的甲状腺区域超像素组成的词典;另一部分是在测试阶段,利用新的未标注的超声图像进行测试,划分超像素并提取块状特征得到的超像素组成的测试集。将两部分并联到一个矩阵中,约束系数矩阵Z的低秩性的方式,计算测试集部分每个向量与词典部分之间的线性相关性,为下面的重构误差的计算提供数据,完成对测试图像中各超像素是否属于甲状腺区域的判断,进而标定出测试图像的甲状腺区域的大致位置。
3)对于噪声和异常值的鲁棒性
在实际的图像处理中,总会存在噪声和异常值。由于图像在采集、存储等过程中会受到诸多因素干扰,最终展现在眼前的图像并不完全是真实物体的影像和数据,其中会包含有诸如高斯噪声、椒盐噪声等噪声和个别异常区域的异常数值,这些噪声和异常值均会对图像识别与分类造成很大的干扰,导致识别率下降,影响算法效率。在本发明中使用的超声图像中,由于采集设备是由医生手持并非固定,会有晃动、位置不准确的因素存在,造成图像不稳定;超声成像的原理的发射超声波,通过返回的声波数据呈现出人体内部组织结构的构造和状态,声音在空气和人体组织的传输过程中会受到其他声音干扰、空气密度不均、人体组织运动等各方面外界因素的影响,使返回的声波数据受到干扰,影响图像质量。
在本发明使用的低秩表示算法中,基本原理是利用图像的结构信息,通过约束低秩寻找与词典中相应数据线性相关的向量,来达到子空间划分的目的,进行图像的分类和识别。但是,噪声和异常值会破坏图像的结构,影响向量之间的线性相关性,对约束低秩的过程构成较为严重的影响。因此,需要一种策略,来减少噪声和异常值的影响。
对于高斯噪声等小噪声,一个合理的策略是简单的松弛约束条件。如果一部分数据被严重的污染,存在较大的噪声和异常值,为了减少噪声和异常值的影响,使算法对其具有鲁棒性,可以使用如下公式:
其中,||E||2,1是矩阵E的2,1范数,参数λ>0用来平衡||Z||*与||E||2,1两部分的影响效果,可以根据两种范数的特性或者经验取值。
需要同时对系数矩阵Z的低秩性和误差矩阵E的稀疏性进行求最小值运算。系数矩阵Z表示测试数据与词典之间的线性相关性,需要约束低秩来获取线性相关性信息;误差矩阵E表示数据中的噪声和异常值,在图像中,虽然噪声和异常值会对图像处理造成较为严重的影响,但是相对于正常值像素,噪声和异常值像素所占数量仍是很少的一部分,因此所构成的误差矩阵E具有稀疏性。
4)求解算法
实际上是一个求解约束优化问题,求解约束优化问题有多种解法,约束优化算法基本思想是:引入效用函数,首先把约束优化问题转化成无约束的优化问题,然后利用多次迭代更新效用函数,直到算法收敛。
在加速梯度下降法(APG)和增广拉格朗日乘子法(ALM)之间,选择了后者进行求解。ALM方法相比于APG方法更容易分析并且实现,由于多次迭代可以收敛到优化问题的最优解上,即使惩罚系数不趋近于无穷大,ALM方法也具有更高的准确性。相比较而言,APG只是通过解决一个松弛问题找到一个大致接近的解。ALM方法比APG方法使用了更少的存储资源,在大型应用中这一点将为ALM方法带来巨大的优势。综合以上分析,考虑准确性与资源消耗问题,本发明选择了ALM方法。
本发明中,约束优化问题可以写做为:
使用ALM算法求解:
其中,Y1和Y2是拉格朗日乘子,μ>0是一个惩罚参数。可以使用精确或不精确ALM算法求解。
5)子空间划分
通过算法二求解后,可以得到系数矩阵Z,利用最低秩表示Z去定义一个无向图的相似度矩阵。数据矩阵X中的每一条数据向量对应图中的一个顶点,向量与向量之间的相似度对应图中顶点之间的边,其中向量相似度可以由||Z*|ij|+||Z*|ji|来表示。这时可以通过谱聚类算法给出最后的分割结果。谱聚类是聚类的方法之一,是根据样本之间的相似度来建立矩阵,通过特征向量的计算来发现样本与样本之间的联系,可以将高维的数据结构映射为低维。谱聚类具有如下优点:第一,只需计算数据间的相似度构成的矩阵,不要求数据全部都要是N维空间中向量;第二,计算复杂度较小;第三,受不规则的噪声数据影响小。将谱聚类算法与低秩表示算法整合到一起有如下几个好处。第一,因为低秩表示算法在复杂应用中可能并不能得到一个区域对角化的表示,而谱聚类算法可以确保分割的鲁棒性。第二,通过定义这样一个无向图,可以方便地将最低值表示与其他信息整合到一起。举个例子,在一些诸如图像分割等特定的应用中,人们可能想要确保只有邻近的样本才能被边连接起来。
基于低秩表示的子空间划分算法步骤如下:
(1)求解得到最低秩表示
(2)构建一个无向图,使用最低秩表示定义图的相似度矩阵
(3)使用NCut算法将图的顶点分割到k个类中
6)重构误差的计算与分析
在词典与测试数据并联构成的数据矩阵X中,假设前N列为词典部分,后M列为测试数据,则可以根据计算得到的相似度矩阵Z,使用词典中的向量重构测试数据并计算重构误差。
使用词典重构测试数据即为:
xi≈Xzi
度量每一条测试数据向量与词典中向量的相似度,可以使用以下公式:
在相似度矩阵Z的第i列向量zi中,前N行中,第j行元素zji表示第i个测试数据向量与第j个词典中向量之间的相似度;第N+1到第N+M行是测试数据元素内部的相似度,在此不使用,记为零。最终可以得到列向量δ(zi)表示第i个测试数据与整个词典之间的相似度。
重构误差的计算可以由如下公式计算得到:
可以计算出第i个测试数据与词典之间的重构误差ri,可以根据实际的实验数据,设定一个阈值,重构误差低于此阈值的测试数据归入甲状腺区域内,重构误差高于此阈值的测试数据归入非甲状腺区域。最后将所有归入甲状腺区域内的测试数据对应的超像素标注出来,即为识别得到的甲状腺区域。
如图4所示,为测试图像。如图5所示,首先使用graphcut算法对测试图像进行一个粗略的分割,将图像分割成若干部分。如图6和图7所示,是由词典重构各个超像素得到的重构误差。越深的部分重构误差越小,是甲状腺区域的可能性就越高。其中图6是大尺度下分割的重构误差,图像共分割为200块;图7是小尺度下分割的重构误差,图像共分割为300块。如图8所示,将大小尺度下的重构误差加权得到总重构误差,代入到graph-cut算法的分割结果中,统计平均重构误差小于设定阈值的分割区域,即可认为是甲状腺区域。
训练得到的词典具有低秩性,向量之间线性相关;而测试图像中,向量多是线性无关。通过低秩表示算法,可以找到测试图像中与词典线性相关的向量,表现为重构误差小,即可认为是甲状腺区域。
3、基于局部低秩分解的甲状腺病灶图像检测
在上述中,通过基于特征空间低秩重构误差分析的甲状腺图像识别方法,得到了甲状腺区域的位置标定。本部分在上述的基础上,对甲状腺区域内的甲状腺病灶图像进行识别检测。
由于已经得到了甲状腺区域的位置标定,对超声图像的操作将在此区域内进行,是一个局部处理问题。在这个局部区域内,正常情况下应该都是甲状腺的图像,并且这个局部区域分割超像素提取特征组成的数据矩阵具有低秩性;当甲状腺内存在有病灶时,病灶区域的特征与甲状腺差异较大,会破坏这种低秩性。利用甲状腺病灶对甲状腺区域低秩性的破坏,本发明使用了低秩分解的方法,检测出破坏低秩性的超像素,结合起来便可以认为是病灶存在的位置。
在实际的图像中,给出的图像数据矩阵X往往是低秩或近似低秩的,但是存在随机幅值任意而分布稀疏的误差,会破坏原有数据的低秩性,为了恢复矩阵X的低秩结构,可以将X分解为两个矩阵之和,即X=A+E。其中A是低秩的,当E的元素服从独立同分布的高斯分布时,可以最小化A的秩和E的0范数,由如下公式进行求解:
其中λ为控制噪声E的影响效果的参数,求矩阵的秩是非凸的,是一个很难求解的优化问题,需要寻找求矩阵的秩的凸近似来近似它,优化问题等价于:
其中||A||*为核范数,表示A的奇异值之和。在一般情况下,只要保证E是稀疏的,A就能够从X中恢复出来。
经过低秩分解计算,可以求得局部区域内各超像素的稀疏误差。由于该局部区域大部分是甲状腺结构,由其组成的特征向量在数据矩阵中占大多数,且由于甲状腺结构是相似的,这些向量具有低秩性;非甲状腺结构(主要是病灶)其特征向量破坏了数据矩阵的低秩性。在低秩分解中,非甲状腺结构的向量会对应在稀疏误差矩阵中占据多数。因此,可以根据稀疏误差的大小,判断超像素是否属于甲状腺区域。稀疏误差大说明该向量不符合数据向量的低秩性,是病灶的可能性较大;反之则是甲状腺区域的可能性较大。本发明将稀疏误差大于设定阈值的超像素提取出来,便是该局部区域的显著性部分。
如图9所示,框定甲状腺区域作为局部区域,对该区域内的超像素进行低秩分解运算。
如图10所示,是经过低秩分解运算后得到的稀疏误差分布图,颜色越浅说明稀疏误差越大,即为检测出的病灶。
实验使用的硬件配置是Inteli3-2120处理器,英特尔HDGraphicsFamily显卡,4G内存。实验环境为matlabR2014b,运行在Windows764位系统上。
如表5所示,是本发明各部分程序的时间统计表。从中可以看到,整个程序的时间主要花费在低秩表示的计算部分,其他部分与之相比可以忽略不计。低秩表示部分将是在日后工作中优化算法、提高时间效率的突破点。
表5时间统计表
本发明未详细阐述的技术内容属于本领域技术人员的公知技术。
尽管上面对本发明说明性的具体实施方式进行了描述,以便于本技术领的技术人员理解本发明,但应该清楚,本发明不限于具体实施方式的范围,对本技术领域的普通技术人员来讲,只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内,这些变化是显而易见的,一切利用本发明构思的发明创造均在保护之列。
Claims (5)
1.一种基于超声图像低秩分析的甲状腺病灶图像识别方法,其特征在于包括以下三个步骤:
步骤(一),采用聚类的方法,以位置相近、特征相似的像素聚为一类,将超声图像划分为若干个子区域组成超像素;按照每个超像素包含像素数量的大小,进行若干层次的超像素分割;以超像素为单位,提取超声图像的方向梯度直方图HOG特征和局部二值模式LBP特征,对于一个超像素,将其HOG特征与LBP特征串联,即得到一个列向量,用于表示该超像素的特征;超声图像分为训练图像和测试图像两类,训练图像含有医生标注信息,供训练词典时使用;测试图像不含医生标注信息,供测试方法的效果使用;
步骤(二),对于通过步骤(一)得到的训练图像特征,结合医生标定的甲状腺区域图像位置,将甲状腺区域图像位置的超像素的块状特征组成词典;对于通过步骤(一)得到的训练图像特征,利用图像特征数据之间的相关性和全局结构信息,通过低秩重构误差分析的方法,将与词典相似的图像特征数据重构出来,计算重构误差;使用graph-cut算法对测试图像进行分割处理,结合graph-cut分割结果,标定出甲状腺的位置区域,供步骤(三)使用;
步骤(三)通过步骤(一)计算得到甲状腺位置区域图像特征,将所有特征并联为一个矩阵,使用低秩分解的方法对该矩阵进行低秩分解,得到一个具有低秩性的矩阵和一个具有稀疏性的误差矩阵;计算误差矩阵中各列向量的范数,得到稀疏误差;设定一个阈值,根据误差矩阵,计算每个超像素的稀疏误差,稀疏误差大于该阈值的超像素即认为是病灶区域。
2.根据权利要求1所述的基于超声图像低秩分析的甲状腺病灶图像识别方法,其特征在于:所述步骤(一)中的基于超像素层次化分割具体实现如下:
(1)给出一个超像素分割的数目n作为输入参数;
(2)根据给出的数目n,生成n个中心点,平均放置在超声图像中进行初始化;
(3)在Labxy五维向量空间中,根据第(2)步生成的中心点,对每个像素点进行聚类操作;
(4)所有像素点聚类完成后,将每一类中像素点平均值更新为新的中心点;
(5)根据第(4)步得到的新中心点,判断是否满足收敛条件,如果满足,则结束,返回超像素分割完成的标注图像和实际分割超像素数目,如果不满足,则回到第(3)步,继续对像素点进行聚类操作;
(6)设置多个超像素分割数目,重复(1)~(6)步,得到层次化分割结果。
3.根据权利要求1所述的基于超声图像低秩分析的甲状腺病灶图像识别方法,其特征在于:所述步骤(一)中的以超像素为单位,提取图像的HOG特征和LBP特征的具体实现如下:
(1)遍历整幅图像,计算出每个像素点的梯度方向大小和与周围8个像素灰度值的大小关系,得到每个像素点的特征数值;
(2)结合超像素分割信息,根据第(1)步的每个像素的特征数值,将其统计到所在超像素中,形成统计直方图,提取HOG特征和LBP特征。
4.根据权利要求1所述的基于超声图像低秩分析的甲状腺病灶图像识别方法,其特征在于:所述步骤(二)的低秩重构误差分析具体实现如下:
(1)将训练图像按照步骤(一)进行超像素层次化分割与特征提取,结合医生标注的甲状腺区域信息,将属于甲状腺区域的所有超像素的特征并联,得到词典;
(2)将测试图像按照步骤(一)进行超像素层次化分割与特征提取,将所有超像素的特征与第(1)步得到的词典并联,得到数据矩阵X;
(3)对第(2)步得到的数据矩阵X,用测试图像特征重构词典,使用增广拉格朗日乘子法求解公式:
得到系数矩阵Z,其中E为误差,λ为参数;
(4)根据第(3)步得到的系数矩阵Z,计算测试图像各超像素重构词典时的重构误差;
(5)对测试图像进行Graph-cut分割,根据第(4)步每个超像素的重构误差,对分割区域进行投票,得到平均重构误差最小的区域即认为是甲状腺区域。
5.根据权利要求1所述的基于超声图像低秩分析的甲状腺病灶图像识别方法,其特征在于:所述步骤(三)的低秩分解的具体实现如下:
(1)根据步骤(二)得到的甲状腺区域图像,将其按照步骤(一)进行超像素层次化分割与特征提取,将所有超像素的特征并联,得到数据矩阵X;
(2)对第(1)步得到的数据矩阵X,求解公式:
得到误差矩阵E,其中A为低秩部分矩阵,λ为参数;
(3)根据第(2)步得到的误差矩阵E,计算甲状腺区域图像内各超像素特征的稀疏误差;设定一个阈值,稀疏误差大于该阈值的超像素即可认为属于病灶区域图像。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510770183.XA CN105427296B (zh) | 2015-11-11 | 2015-11-11 | 一种基于超声图像低秩分析的甲状腺病灶图像识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510770183.XA CN105427296B (zh) | 2015-11-11 | 2015-11-11 | 一种基于超声图像低秩分析的甲状腺病灶图像识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN105427296A true CN105427296A (zh) | 2016-03-23 |
CN105427296B CN105427296B (zh) | 2018-04-06 |
Family
ID=55505477
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510770183.XA Active CN105427296B (zh) | 2015-11-11 | 2015-11-11 | 一种基于超声图像低秩分析的甲状腺病灶图像识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN105427296B (zh) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204613A (zh) * | 2016-07-20 | 2016-12-07 | 中国科学院自动化研究所 | 基于低秩矩阵表示的图像前景物体检测方法及检测系统 |
CN107437252A (zh) * | 2017-08-04 | 2017-12-05 | 山东师范大学 | 用于黄斑病变区域分割的分类模型构建方法和设备 |
CN107526946A (zh) * | 2016-12-23 | 2017-12-29 | 南京理工大学 | 融合自学习和低秩表示的基因表达数据癌症分类方法 |
CN107944444A (zh) * | 2017-11-21 | 2018-04-20 | 北京化工大学 | 一种瓶装液体异物检测方法及系统 |
CN108446589A (zh) * | 2018-02-07 | 2018-08-24 | 杭州电子科技大学 | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 |
CN108670297A (zh) * | 2018-04-19 | 2018-10-19 | 上海大学 | 基于多模态经颅超声的帕金森病辅助诊断系统及方法 |
CN108681731A (zh) * | 2018-04-03 | 2018-10-19 | 中山大学 | 一种甲状腺癌症超声图片自动标注方法及系统 |
CN109003269A (zh) * | 2018-07-19 | 2018-12-14 | 哈尔滨工业大学 | 一种能提高医生效率的医学影像病灶的标注提取方法 |
CN109325507A (zh) * | 2018-10-11 | 2019-02-12 | 湖北工业大学 | 一种结合超像素显著性特征与hog特征的图像分类算法和系统 |
CN109712143A (zh) * | 2018-12-27 | 2019-05-03 | 北京邮电大学世纪学院 | 一种基于超像素多特征融合的快速图像分割方法 |
CN109829921A (zh) * | 2018-12-14 | 2019-05-31 | 清影医疗科技(深圳)有限公司 | 一种头部的ct图像的处理方法及其系统、设备、存储介质 |
CN110264461A (zh) * | 2019-06-25 | 2019-09-20 | 南京工程学院 | 基于超声乳腺肿瘤图像的微小钙化点自动检测方法 |
CN111160397A (zh) * | 2019-12-06 | 2020-05-15 | 北京联合大学 | 一种多尺度的视觉词字典生成方法及系统 |
CN111178409A (zh) * | 2019-12-19 | 2020-05-19 | 浙大网新系统工程有限公司 | 基于大数据矩阵稳定性分析的图像匹配与识别系统 |
CN111166387A (zh) * | 2020-01-22 | 2020-05-19 | 无锡祥生医疗科技股份有限公司 | 甲状腺的超声成像方法和装置 |
CN112001895A (zh) * | 2020-08-03 | 2020-11-27 | 什维新智医疗科技(上海)有限公司 | 一种甲状腺钙化检测装置 |
US10993653B1 (en) | 2018-07-13 | 2021-05-04 | Johnson Thomas | Machine learning based non-invasive diagnosis of thyroid disease |
CN112927235A (zh) * | 2021-02-26 | 2021-06-08 | 南京理工大学 | 基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法 |
CN112950654A (zh) * | 2021-02-26 | 2021-06-11 | 南京理工大学 | 基于多核学习与超像素核低秩表示的脑肿瘤图像分割方法 |
CN114926486A (zh) * | 2022-05-12 | 2022-08-19 | 哈尔滨工业大学人工智能研究院有限公司 | 一种基于多层级改进的甲状腺超声图像智能分割方法 |
CN117152138A (zh) * | 2023-10-30 | 2023-12-01 | 陕西惠宾电子科技有限公司 | 一种基于无监督学习的医学图像肿瘤目标检测方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103390279A (zh) * | 2013-07-25 | 2013-11-13 | 中国科学院自动化研究所 | 联合显著性检测与判别式学习的目标前景协同分割方法 |
US8989465B2 (en) * | 2012-01-17 | 2015-03-24 | Mayo Foundation For Medical Education And Research | System and method for medical image reconstruction and image series denoising using local low rank promotion |
CN104599292A (zh) * | 2015-02-03 | 2015-05-06 | 中国人民解放军国防科学技术大学 | 一种基于低秩矩阵分解的抗噪运动目标检测算法 |
-
2015
- 2015-11-11 CN CN201510770183.XA patent/CN105427296B/zh active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8989465B2 (en) * | 2012-01-17 | 2015-03-24 | Mayo Foundation For Medical Education And Research | System and method for medical image reconstruction and image series denoising using local low rank promotion |
CN103390279A (zh) * | 2013-07-25 | 2013-11-13 | 中国科学院自动化研究所 | 联合显著性检测与判别式学习的目标前景协同分割方法 |
CN104599292A (zh) * | 2015-02-03 | 2015-05-06 | 中国人民解放军国防科学技术大学 | 一种基于低秩矩阵分解的抗噪运动目标检测算法 |
Cited By (35)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106204613B (zh) * | 2016-07-20 | 2019-09-24 | 中国科学院自动化研究所 | 基于低秩矩阵表示的图像前景物体检测方法及检测系统 |
CN106204613A (zh) * | 2016-07-20 | 2016-12-07 | 中国科学院自动化研究所 | 基于低秩矩阵表示的图像前景物体检测方法及检测系统 |
CN107526946A (zh) * | 2016-12-23 | 2017-12-29 | 南京理工大学 | 融合自学习和低秩表示的基因表达数据癌症分类方法 |
CN107526946B (zh) * | 2016-12-23 | 2021-07-06 | 南京理工大学 | 融合自学习和低秩表示的基因表达数据癌症分类方法 |
CN107437252A (zh) * | 2017-08-04 | 2017-12-05 | 山东师范大学 | 用于黄斑病变区域分割的分类模型构建方法和设备 |
CN107944444B (zh) * | 2017-11-21 | 2020-07-28 | 北京化工大学 | 一种瓶装液体异物检测方法及系统 |
CN107944444A (zh) * | 2017-11-21 | 2018-04-20 | 北京化工大学 | 一种瓶装液体异物检测方法及系统 |
CN108446589A (zh) * | 2018-02-07 | 2018-08-24 | 杭州电子科技大学 | 复杂环境下基于低秩分解和辅助字典的人脸识别方法 |
CN108681731A (zh) * | 2018-04-03 | 2018-10-19 | 中山大学 | 一种甲状腺癌症超声图片自动标注方法及系统 |
CN108670297A (zh) * | 2018-04-19 | 2018-10-19 | 上海大学 | 基于多模态经颅超声的帕金森病辅助诊断系统及方法 |
CN108670297B (zh) * | 2018-04-19 | 2021-10-12 | 上海大学 | 基于多模态经颅超声的帕金森病辅助分析系统及方法 |
US10993653B1 (en) | 2018-07-13 | 2021-05-04 | Johnson Thomas | Machine learning based non-invasive diagnosis of thyroid disease |
CN109003269A (zh) * | 2018-07-19 | 2018-12-14 | 哈尔滨工业大学 | 一种能提高医生效率的医学影像病灶的标注提取方法 |
CN109325507A (zh) * | 2018-10-11 | 2019-02-12 | 湖北工业大学 | 一种结合超像素显著性特征与hog特征的图像分类算法和系统 |
CN109325507B (zh) * | 2018-10-11 | 2020-10-16 | 湖北工业大学 | 结合超像素显著性特征与hog特征图像分类方法和系统 |
CN109829921B (zh) * | 2018-12-14 | 2023-10-31 | 清影医疗科技(深圳)有限公司 | 一种头部的ct图像的处理方法及其系统、设备、存储介质 |
CN109829921A (zh) * | 2018-12-14 | 2019-05-31 | 清影医疗科技(深圳)有限公司 | 一种头部的ct图像的处理方法及其系统、设备、存储介质 |
CN109712143B (zh) * | 2018-12-27 | 2021-01-26 | 北京邮电大学世纪学院 | 一种基于超像素多特征融合的快速图像分割方法 |
CN109712143A (zh) * | 2018-12-27 | 2019-05-03 | 北京邮电大学世纪学院 | 一种基于超像素多特征融合的快速图像分割方法 |
CN110264461A (zh) * | 2019-06-25 | 2019-09-20 | 南京工程学院 | 基于超声乳腺肿瘤图像的微小钙化点自动检测方法 |
CN111160397A (zh) * | 2019-12-06 | 2020-05-15 | 北京联合大学 | 一种多尺度的视觉词字典生成方法及系统 |
CN111178409A (zh) * | 2019-12-19 | 2020-05-19 | 浙大网新系统工程有限公司 | 基于大数据矩阵稳定性分析的图像匹配与识别系统 |
CN111178409B (zh) * | 2019-12-19 | 2021-11-16 | 浙大网新系统工程有限公司 | 基于大数据矩阵稳定性分析的图像匹配与识别系统 |
CN111166387A (zh) * | 2020-01-22 | 2020-05-19 | 无锡祥生医疗科技股份有限公司 | 甲状腺的超声成像方法和装置 |
CN111166387B (zh) * | 2020-01-22 | 2022-09-30 | 无锡祥生医疗科技股份有限公司 | 甲状腺的超声成像方法和装置 |
CN112001895B (zh) * | 2020-08-03 | 2021-04-02 | 什维新智医疗科技(上海)有限公司 | 一种甲状腺钙化检测装置 |
CN112001895A (zh) * | 2020-08-03 | 2020-11-27 | 什维新智医疗科技(上海)有限公司 | 一种甲状腺钙化检测装置 |
CN112950654A (zh) * | 2021-02-26 | 2021-06-11 | 南京理工大学 | 基于多核学习与超像素核低秩表示的脑肿瘤图像分割方法 |
CN112927235A (zh) * | 2021-02-26 | 2021-06-08 | 南京理工大学 | 基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法 |
CN112927235B (zh) * | 2021-02-26 | 2022-12-02 | 南京理工大学 | 基于多尺度超像素与核低秩表示的脑肿瘤图像分割方法 |
CN112950654B (zh) * | 2021-02-26 | 2022-12-06 | 南京理工大学 | 基于多核学习与超像素核低秩表示的脑肿瘤图像分割方法 |
CN114926486A (zh) * | 2022-05-12 | 2022-08-19 | 哈尔滨工业大学人工智能研究院有限公司 | 一种基于多层级改进的甲状腺超声图像智能分割方法 |
CN114926486B (zh) * | 2022-05-12 | 2023-02-07 | 哈尔滨工业大学人工智能研究院有限公司 | 一种基于多层级改进的甲状腺超声图像智能分割方法 |
CN117152138A (zh) * | 2023-10-30 | 2023-12-01 | 陕西惠宾电子科技有限公司 | 一种基于无监督学习的医学图像肿瘤目标检测方法 |
CN117152138B (zh) * | 2023-10-30 | 2024-01-16 | 陕西惠宾电子科技有限公司 | 一种基于无监督学习的医学图像肿瘤目标检测方法 |
Also Published As
Publication number | Publication date |
---|---|
CN105427296B (zh) | 2018-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105427296A (zh) | 一种基于超声图像低秩分析的甲状腺病灶图像识别方法 | |
JP7143008B2 (ja) | 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム | |
CN109034210B (zh) | 基于超特征融合与多尺度金字塔网络的目标检测方法 | |
CN104392223B (zh) | 二维视频图像中的人体姿态识别方法 | |
CN106778687A (zh) | 基于局部评估和全局优化的注视点检测方法 | |
Xiang et al. | Turbopixel segmentation using eigen-images | |
CN109063572A (zh) | 一种基于多尺度和多卷积层特征融合的指纹活性检测方法 | |
Hu et al. | Detection and recognition for life state of cell cancer using two-stage cascade CNNs | |
CN113096080B (zh) | 图像分析方法及系统 | |
CN111611851A (zh) | 模型生成方法、虹膜检测方法及装置 | |
Zhang et al. | Automatic detection of invasive ductal carcinoma based on the fusion of multi-scale residual convolutional neural network and SVM | |
CN106485750A (zh) | 一种基于监督局部子空间的人体姿态估计方法 | |
Gu et al. | Pulmonary nodules detection based on deformable convolution | |
CN115564756A (zh) | 医学图像病灶定位显示方法与系统 | |
Malibari et al. | Artificial intelligence based prostate cancer classification model using biomedical images | |
Hao et al. | Research on underwater object detection based on improved YOLOv4 | |
CN114358279A (zh) | 图像识别网络模型剪枝方法、装置、设备及存储介质 | |
Khan et al. | Deep learning based pashto characters recognition: LSTM-based handwritten pashto characters recognition system | |
Wei et al. | Multi-feature fusion for ultrasound breast image classification of benign and malignant | |
Kato et al. | Impact of large-scale penetration of photovoltaic power generation systems on fluctuation property of electricity load | |
CN113222989B (zh) | 一种图像分级方法、装置、存储介质及电子设备 | |
Zhao et al. | MSS-WISN: Multiscale multistaining WBCs instance segmentation network | |
Wang et al. | A MobileNet Based Model for Tongue Shape Classification | |
Chen et al. | Caf-yolo: A robust framework for multi-scale lesion detection in biomedical imagery | |
Wang et al. | Time efficient cell detection in histopathology images using convolutional regression networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |