CN104933723B - 基于稀疏表示的舌图像分割方法 - Google Patents

基于稀疏表示的舌图像分割方法 Download PDF

Info

Publication number
CN104933723B
CN104933723B CN201510369625.XA CN201510369625A CN104933723B CN 104933723 B CN104933723 B CN 104933723B CN 201510369625 A CN201510369625 A CN 201510369625A CN 104933723 B CN104933723 B CN 104933723B
Authority
CN
China
Prior art keywords
tongue
image
training image
rarefaction representation
dictionary
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510369625.XA
Other languages
English (en)
Other versions
CN104933723A (zh
Inventor
李佐勇
刘伟霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zhongke Xinjian Medical Technology Co., Ltd.
Original Assignee
Minjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minjiang University filed Critical Minjiang University
Priority to CN201510369625.XA priority Critical patent/CN104933723B/zh
Publication of CN104933723A publication Critical patent/CN104933723A/zh
Application granted granted Critical
Publication of CN104933723B publication Critical patent/CN104933723B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/155—Segmentation; Edge detection involving morphological operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/513—Sparse representations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于稀疏表示的舌图像分割方法。先定义一种基于颜色相似性的测度来度量测试像素点对应局部图像块和测试像素点邻域内训练图像上近邻点对应的局部图像块的相似性，利用相似性测度对训练图像块执行筛选，利用筛选后的训练图像块构建稀疏表示所需的字典；接着，利用字典中训练图像块稀疏表示测试图像块获得稀疏表示系数，进而根据稀疏表示系数和训练图像中相应像素点的分割标记来计算当前测试像素点属于目标(舌体)的概率；最后，利用最大后验概率准则获得当前测试像素点的分割标记，获得初始的舌图像分割结果，再利用形态学滤波方法进行分割结果的优化，获得最终的舌图像分割结果。本发明算法显著提高了舌象分割的准确性和鲁棒性。

Description

基于稀疏表示的舌图像分割方法
技术领域
本发明涉及属于图像处理技术领域，尤其是一种基于稀疏表示的舌图像分割方法，用于对中医自动化舌诊中采集到的舌图像进行分割，将舌体从面部等背景中提取出来，为中医自动化舌诊的后续识别工作提供依据。
背景技术
舌诊是传统中医“望诊”的主要内容之一，是具有中医特色的传统诊断方法之一。舌象是反映人体生理功能和病理变化最敏感的指标，在中医诊疗过程中具有重要的应用价值。应用图像处理技术，建立舌诊信息的客观量化、识别方法，实现中医舌诊的自动化，对中医现代化具有重要的现实意义。自动化舌诊系统中，病人的舌图像经过数字采集仪器（工业相机、摄像头等）获取后，必须首先对目标区域（舌体）进行自动的分割。因此，舌象分割成了连接图像采集和图像分析的重要纽带，分割质量将直接影响到后续工作。
相对于普通的图像分割问题，舌图像的分割存在更多的挑战和困难。这些困难源于舌图像自身的特性：1) 舌体的颜色与脸部的颜色特别是嘴唇的颜色很接近，容易混淆；2) 舌体作为一个软体，没有固定的形状，舌体形状的个体差异性大；3) 从医学病理学的角度来看，舌体不平滑，舌苔舌质因人而异，病理特征差异较大；4）舌体的裂纹、舌苔色块也会严重影响舌体的自动分割。
鉴于舌图像分割的困难和挑战，单一的图像分割技术并不能获得满意的分割效果。因此，人们开始研究多种分割技术的融合。在多种分割技术融合的框架下，国际主流的舌图像分割方法是基于主动轮廓模型(ACM, Active Contour Model)的方法。ACM又称为Snake模型，是一种流行的可变形状模型，广泛应用于轮廓提取中。给定一个初始轮廓曲线，主动轮廓模型在内外力的共同作用下将初始轮廓曲线朝真实目标轮廓处演化。基于ACM的分割方法研究主要集中在初始轮廓的获取和曲线演化上。比如，Pang等提出一种双椭圆形变轮廓模型方法BEDC[1]，其结合了双椭圆形变模板(BEDT)和主动轮廓模型。BEDC首先定义了一种称为BEDT的形变模板作为舌体的一种粗略描述，然后通过最小化BEDT能量函数来获得舌体初始轮廓，最后利用模板能量代替传统内能量的主动轮廓模型来演化舌体初始轮廓，进而获得最终的分割结果。Zhang等[2]提出了一种融合极坐标边缘检测和主动轮廓模型的方法。此方法先对原始图像进行极坐标转化，利用边缘检测算子获得极坐标边缘图像，同时从舌图像中提取边缘模板；然后，利用边缘模板过滤掉舌体内部纹理造成的虚假舌体边缘；接着，利用图像二值化技术结合形态学滤波进一步剔除舌体以外的虚假舌体边缘（比如，脸部褶皱引起的边缘）；最后，将边缘检测结果作为舌体的初始轮廓，运用主动轮廓模型方法对初始轮廓进行演化，进而获得最终的分割结果。此方法对舌体与近邻部分（嘴唇和脸部）颜色近似造成的弱轮廓提取效果欠佳，而且在舌体与嘴唇的空隙处以及舌尖部分容易发生误分割。Ning等[3]提出了一种融合梯度向量流(Gradient Vector Flow)、区域合并技术(Region Merging)和主动轮廓模型的方法，简称为GVF-RM。此方法先将传统的梯度向量流改造为标量扩散方程对舌图像进行扩散以期达到平滑图像，保留舌体轮廓结构的预处理目的；然后，利用分水岭算法将预处理过的舌图像分割成许多小区域；接着，运用基于最大相似性的区域合并算法结合目标、背景标记将小区域合并成大区域，从而形成舌体的初始轮廓；最后，利用主动轮廓模型对初始轮廓进行演化，得到最终的分割结果。当舌体靠近图像的边界时，错误的目标、背景标记可能造成错误的区域合并结果，从而导致误分割。此方法在舌体与嘴唇的空隙处以及颜色近似性造成的弱边缘处分割效果欠佳。
现有主流的基于主动轮廓模型的舌图像分割方法存在如下三个局限性：
(1) 现有的方法通常只使用单一的颜色分量对舌图像进行分割。比如，BEDC方法[1]在舌图像分割过程中仅使用了图像的红色分量。GVF-RM方法[3]在利用梯度向量流和分水岭分割算法获取舌体初始轮廓的过程中也仅使用了图像的红色分量。正如大多数舌图像分割文献中提及的那样，颜色通常是区分舌图像中舌体与背景最重要的特征。单一颜色分量不能充分利用图像的色彩信息，更不利于分辨舌体与其近邻组织尤其是嘴唇。这进一步增加了提取舌体与近邻组织之间颜色近似性而引起的弱轮廓的困难。
(2) 现有的方法在实现舌图像分割过程中通常采用了简单的先验知识。比如，BEDC方法[1]在构造BEDT模板时简单地假设舌体应该具有上宽下窄的形状，即舌根宽，舌尖窄。据此，利用两个具有不同长短轴的半椭圆作为舌体形状的初始模型，通过最小化BEDT能量函数来优化此模型，获得舌体初始轮廓。但是，舌体形状的巨大差异可能造成BEDC构造的舌体初始模型经过优化后所得的舌体初始轮廓包含了虚假的舌体强轮廓结构(比如脸部褶皱引起的舌体伪轮廓)，导致后续的主动轮廓模型算法对初始轮廓的演化无法收敛到舌体的真实轮廓处。另外，GVF-RM方法[3]简单地假设目标(舌体)应该处于舌图像的中间，背景则应当处于舌图像的四周。这种简单的先验假设被用来获得目标和背景标记，然后利用这些标记对分水岭分割所得区域进行基于最大相似性的区域合并，从而获得舌体的初始轮廓，为后续主动轮廓模型对初始轮廓的演化做准备。但是，一旦采集到的舌图像中舌体靠近图像四周时，上述先验假设会造成背景标记的错误，导致区域合并所得舌体初始轮廓发生大的偏差，从而导致严重的舌图像误分割。
(3) 现有的方法未能找到一种有效的方式来同时解决舌图像分割中的两个难题。一是如何提取由于颜色近似性造成的舌体弱轮廓；二是如何区分真实的舌体轮廓和由于舌体内部纹理、舌苔与舌质颜色差异以及脸部褶皱等造成的虚假舌体轮廓。比如，Zhang等的方法[2]在边缘滤波的过程中使用Sobel算子、高斯滤波、图像阈值分割和形态学操作来移除那些虚假的舌体轮廓。但这种简单的边缘滤除策略无法有效移除所有虚假舌体轮廓。此外，高斯滤波会弱化真实的舌体轮廓，不利于舌体真实轮廓的提取。GVF-RM方法[3]为了减轻分水岭分割算法对噪声敏感而容易产生严重过分割的问题，利用离散形式的梯度向量流来平滑噪声。但GVF-RM方法在平滑掉部分噪声和琐碎图像细节的同时，也会弱化真实的舌体轮廓，增大舌体真实轮廓提取的困难。
综上所述，现有的舌图像分割方法均存在一定的局限性，分割效果和鲁棒性都有待进一步提高。近年来，基于图像块的方法在计算机视觉和图像处理领域吸引了越来越多的关注，已经广泛应用于纹理合成、图像修复、图像去噪、超分辨图像重建，标记融合与分割等场合。信号稀疏表示是近年来信号处理界一个非常引人关注的研究领域，稀疏表示理论已经开始应用于人脸识别、图像去噪、图像复原等领域。有鉴于此，我们提出了一种局部图像块驱动的基于稀疏表示的舌图像分割方法。本发明方法显著地改善了图像分割的效果，且鲁棒性好。
[1] Pang B, Zhang D, Wang K. The Bi-elliptical deformable contour andits application to automated tongue segmentation in Chinese medicine [J].IEEE Transactions on Medical Imaging, 2005, 24(8): 946~956.
[2] Zhang H, Zuo W, Wang K, Zhang D. A snake-based approach toautomated segmentation of tongue image using polar edge detector [J].International Journal of Imaging Systems and Technology, 2006, 16(4): 103~112.
[3] Ning J, Zhang D, Wu C, Yue F. Automatic tongue image segmentationbased on gradient vector flow and region merging [J]. Neural Computing andApplications, 2012, 21 (8): 1819~1826.。
发明内容
本发明的目的在于提供一种基于稀疏表示的舌图像分割方法，显著提高了舌象分割的准确性和鲁棒性。
为实现上述目的，本发明的技术方案是：一种基于稀疏表示的舌图像分割方法，包括如下步骤：
S1：设计一相似性度量准则来度量测试图像块和训练图像块之间的相似性，并利用此相似性度量准则来对当前测试像素点邻域内训练图像上近邻点对应的局部图像块执行筛选，利用筛选后的训练图像块构建稀疏表示所需的字典；
S2：利用字典中的训练图像块稀疏表示测试图像块获得稀疏系数，进而根据稀疏表示系数和训练图像中相应像素点的分割标签来计算当前测试像素点属于目标即舌体的概率；
S3：利用最大后验概率准则获得当前测试像素点的分割标记，获得初始的舌图像分割结果，再利用形态学滤波方法进行分割结果的优化，获得最终的舌图像分割结果。
在本发明一实施例中，所述步骤S1的具体实现过程如下：
S11：设计一相似性度量准则，用来对字典构建过程中用到的训练图像块执行筛选，该相似性度量准则表示如下：
(1)
其中，S x 和P x 分别代表以像素点x位置为中心的测试图像块和训练图像块，c代表RGB颜色分量的编号，每个颜色分量用8个比特位表示，μ和σ表示对应颜色通道下图像块的亮度均值和标准偏差；SIM测度值越大意味着测试图像块S x 和训练图像块P x 越相似；
S12：运用上述相似性度量准则，通过如下公式(2)对训练图像块执行筛选后，留下的训练图像块用于构建稀疏表示所需的字典；
(2)
其中，1表示训练图像块P x 与测试图像块S x 相似度高，P x 应该被放入稀疏表示用到的完备字典中；相反地，0表示两个图像块P x 和S x 相似度低，P x 应该被排除在字典之外；参数th设置为0.95。
在本发明一实施例中，所述步骤S12的字典构建过程具体如下：
给定测试图像I中任意的一个像素点x，我们取以其为中心的w×w的RGB彩色图像块，将RGB彩色图像块的RGB分量亮度值转化为一个3w 2长度的列向量，最后利用此列向量的L2范数对自身进行归一化处理，记归一化后的列向量为m x ；
获取所有训练图像中像素点x位置为中心的w p ×w p 搜索邻域内每个近邻点为中心的w×w的RGB彩色图像块，对所有训练图像块执行公式(2)的筛选；然后，将筛选后保留的每个训练图像块y同样转化为一个3w 2长度的列向量，并利用其L2范数对自身进行归一化处理，归一化后的列向量记为m y ；最后，将筛选后保留下来的所有训练图像块对应的列向量m y 组织成一个3w 2 ×N的字典矩阵D x ，其中N表示筛选后保留的训练图像块总数。
在本发明一实施例中，所述步骤S2的具体实现过程如下：
根据稀疏表示理论，测试图像块归一化后的列向量m x 可以用训练图像块构建的字典矩阵D x 来表示，对应的稀疏系数向量通过如下最小化非负Elastic-Net问题来得到：
(3)
等式(3)中，第一项是数据拟合项，度量数据拟合的误差；第二项是L1规则化项，用来保证向量的稀疏性；最后一项是L2光滑项，用来促使相似的训练图像块具有相似的稀疏表示系数；向量中的元素反映了测试图像块m x 与字典D x 中的训练图像块之间的相似性；
稀疏表示理论认为相似的图像块应该拥有相似的分割标记，故而使用稀疏表示向量中的稀疏系数来估计测试像素点x属于图像目标的概率，即属于舌体的概率：
(4)
其中，
(5)
是一个归一化常数，表示字典中第i个训练图像块中心像素点对应的手动分割标记，目标和背景的分割标记分别为1和0；
通过上述方式计算测试图像中每个像素点属于舌体的概率后，所有测试像素点的概率形成一个概率分布图。
在本发明一实施例中，所述步骤S3的具体实现方式为：通过最大化后验概率的规则获得测试像素点x的分割标记，即若测试像素点x属于舌体的概率大于其属于背景的概率，则将x分类为目标像素点；否则，将x分类为背景像素点；如此即可将概率分布图转化为二值分割结果；并通过形态学滤波方法进行分割结果的矫正和修复，即可获得最终的舌图像分割结果。
相较于现有技术，本发明具有以下有益效果：本发明在分析现有舌图像分割算法缺陷的基础上，提出了一种基于稀疏表示的舌图像分割方法；该方法首先定义一种基于颜色相似性的测度来度量测试像素点对应局部图像块和测试像素点邻域内训练图像上近邻点对应的局部图像块的相似性，利用相似性测度对训练图像块执行筛选，利用筛选后的训练图像块构建稀疏表示所需的字典；接着，利用字典中训练图像块稀疏表示测试图像块获得稀疏表示系数，进而根据稀疏表示系数和训练图像中相应像素点的分割标记来计算当前测试像素点属于目标(舌体)的概率；最后，利用最大后验概率准则获得当前测试像素点的分割标记，获得初始的舌图像分割结果，再利用形态学滤波方法进行分割结果的优化，获得最终的舌图像分割结果。本发明算法显著提高了舌象分割的准确性和鲁棒性。
附图说明
图1为本发明算法流程图。
图2为八幅典型舌图像的概率分布图。
图3为分割示例图。
图4为10折交叉验证实验中不同参数组合下所有验证集合中所有图像的平均KI曲线图。
图5为三种算法在八幅典型的舌图像上分割结果比较图。
图6为三种算法在整个舌图像数据集上分割结果对应测度的箱线图。
具体实施方式
下面结合附图，对本发明的技术方案进行具体说明。
本发明的一种基于稀疏表示的舌图像分割方法，包括如下步骤：
S1：设计一相似性度量准则来度量测试图像块和训练图像块之间的相似性，并利用此相似性度量准则来对当前测试像素点邻域内训练图像上近邻点对应的局部图像块执行筛选，利用筛选后的训练图像块构建稀疏表示所需的字典；
S2：利用字典中的训练图像块稀疏表示测试图像块获得稀疏系数，进而根据稀疏表示系数和训练图像中相应像素点的分割标签来计算当前测试像素点属于目标即舌体的概率；
S3：利用最大后验概率准则获得当前测试像素点的分割标记，获得初始的舌图像分割结果，再利用形态学滤波方法进行分割结果的优化，获得最终的舌图像分割结果。
本发明方法的具体实现过程如下：
1字典构建
本发明算法将舌图像分割问题转化为像素点的分类问题，算法使用基于局部图像块的稀疏表示来计算测试图像中每个像素点属于舌体(目标)的概率，然后利用后续的形态学运算获得最终的舌图像分割结果。值得注意的是，在基于局部图像块的稀疏表示中，利用训练图像的局部图像块构建完备字典时，字典的大小将严重影响后续稀疏表示求解的速度。此外，字典中容易引起混淆的训练图像块也会影响稀疏表示的准确性和舌图像分割的最终效果。为了解决这个问题，我们设计了一种度量两个图像块相似性的准则，用来对字典构建过程中用到的训练图像块执行筛选。我们设计的相似性度量准则从著名的结构相似性测度(SSIM)演化而来，具体定义为：
(1)
其中，S x 和P x 分别代表以像素点x位置为中心的测试图像块和训练图像块，c代表RGB颜色分量的编号，每个颜色分量用8个比特位表示，μ和σ表示对应颜色通道下图像块的亮度均值和标准偏差。SIM测度值越大意味着测试图像块S x 和训练图像块P x 越相似。运用相似性准则SIM，我们通过如下方式对训练图像块执行筛选：
(2)
其中，1表示训练图像块P x 与测试图像块S x 相似度高，P x 应该被放入稀疏表示用到的完备字典中。相反地，0表示两个图像块P x 和S x 相似度低，P x 应该被排除在字典之外。参数th根据经验设置为0.95。注意，为了节省运算时间，确定完图像块的大小后，我们可以预先计算出每种颜色分量下每个图像块的亮度均值和方差，构成局部均值和局部方差矩阵，以避免重复计算。
给定测试图像I中任意的一个像素点x，我们取以其为中心的w×w的RGB彩色图像块，将图像块的RGB分量亮度值转化为一个3w 2长度的列向量，最后利用此列向量的L2范数对自身进行归一化处理，记归一化后的列向量为m x 。此外，测试像素点x对应的字典可以从带有手动分割结果的训练图像集中构建，具体构建过程为：获取所有训练图像中像素点x位置为中心的w p ×w p 搜索邻域内每个近邻点为中心的w×w彩色图像块，对所有训练图像块执行公式(2)所述的 基于相似性测度SIM的筛选。 然后，将筛选后保留的每个训练图像块y同样转化为一个3w 2长度的列向量，并利用其L2范数对自身进行归一化处理，归一化后的列向量记为m y 。最后，将筛选后保留下来的所有训练图像块对应的列向量m y 组织成一个3w 2 ×N的字典矩阵D x ，其中N表示筛选后保留的训练图像块总数。
稀疏表示
根据稀疏表示理论，测试图像块m x 可以用训练图像块构建的字典D x 来表示，对应的稀疏系数向量可以通过最小化如下的非负Elastic-Net问题来得到：
(3)
等式(3)中，第一项是数据拟合项，度量数据拟合的误差；第二项是L1规则化项，用来保证向量的稀疏性；最后一项是L2光滑项，用来促使相似的训练图像块具有相似的稀疏表示系数。等式(3)是一个典型L1 lasso和L2 ridge penalty的凸优化问题。实验过程中，我们采用著名的SPAMS工具箱提供的LARS算法来解Elastic-Net问题。向量中的元素反映了测试图像块m x 与字典D x 中的训练图像块之间的相似性。
稀疏表示理论认为相似的图像块应该拥有相似的分割标记，故我们使用稀疏表示向量中的稀疏系数来估计测试像素点x属于图像目标(舌体)的概率：
(4)
其中，
(5)
是一个归一化常数，表示字典中第i个训练图像块中心像素点对应的手动分割标记，目标和背景的分割标记分别为1和0。
根据上述思路计算出测试图像中每个像素点属于舌体(目标)的概率后，所有像素点的概率自然形成一个概率分布图。图2给出了本发明算法在八幅具有代表性的舌图像上获得的概率分布图，图中越亮的位置代表对应像素点属于舌体的概率越大。八幅舌图像分别表征了舌体在形状、大小、颜色、纹理以及舌苔上的巨大差异。图2 (a)和(b)展示了舌体形状的明显差异。图2 (c)和(d)展示了舌体大小的明显差异。图2 (e)和(f)展示了舌体颜色的明显差异。图2 (g)和(h)分别展示了舌体的强纹理和厚舌苔。从图2中我们可以观察到，本发明算法产生了能清晰分辨舌体的概率分布图。为了从概率分布图得到舌图像分割结果，我们通过最大化后验概率(MAP)的规则来获得测试像素点x的分割标记。确切地说，如果测试像素点x属于目标的概率大于其属于背景的概率，就将x分类为目标像素点；否则，将x分类为背景像素点。这样就可以把概率分布图转化为二值分割结果。图3给出了一个具体示例，其中，图3(c)即为图3(b)所示的概率分布图转化而来的二值分割结果。从概率分布图转化而来的二值分割结果有时可能存在一些细小的瑕疵。比如，图3(c)蓝色箭头指出了二值分割结果中存在的孤立的虚假舌体目标，红色箭头指出了舌体内部存在的小孔洞。幸运的是，这些瑕疵都可以很容易地通过数学形态学操作得以矫正和修复。比如，孤立的虚假目标区域可以通过开运算来移除，舌体内部孔洞可以通过形态学的闭运算来填充。图3 (d)给出了经过形态学运算后的最终分割结果。
实验验证
为了评价舌图像分割算法的准确性，我们在一个由290幅舌图像组成的数据集上进行了10折交叉验证实验。图像库中每幅图像的大小为160×120，每幅图像的手动理想分割结果由医院的专家给出。本发明算法首先与新近流行的舌图像分割算法GVF-RM以及流行的基于图像块的类标记融合方法Nonlocal-Means在八幅代表性的舌图像上进行了分割效果的定性比较。然后，这些算法在整个图像数据集上的分割性能通过四个常见的分类测度错分类误差(misclassification error, ME)、假正率/虚警率(false positive rate,FPR)、假负率(false negative rate, FNR)以及kappa指数(kappa index, KI) 来进行定量的比较。
(6)
(7)
(8)
(9)
其中， B m 和F m 表示手动标准分割结果的背景和目标，B a 和F a 代表自动分割算法对应分割结果中的背景和目标，|·|代表集合中元素的个数。四个测度的取值范围均为0~1。越低的ME、FPR和FNR值代表越好的分割效果，越高的KI值代表越好的分割效果。
实验中，我们将带有不同迭代次数的基于GVF的图像扩散预处理的GVF-RM算法运行在我们的图像库上，然后选择对应KI值最大的迭代次数下的GVF-RM算法分割结果作为它的最终分割结果。GVF-RM算法的其他参数参考其原始文献。Nonlocal-means算法采用了与本发明算法相同的训练图像块筛选方法以及10折交叉验证的程序。与本发明算法不同的是，Nonlocal-means 算法采用了带权类标记融合策略代替稀疏表示来计算每个像素点属于目标(舌体)的概率。
、参数对本发明算法的影响
本发明算法有两个重要的参数w和w p ，它们分别代表局部图像块的大小和邻域搜索范围。实验中，这两个参数通过10折交叉验证的方式自动地确定。此外，我们经验性固定另外两个参数λ1和λ2分别为0.1和0.01。为了观察参数w和w p 对本发明算法分割效果的影响，我们记录了参数w和w p 不同组合下各个验证集合中所有图像的平均KI值。
首先，我们研究了代表局部图像块大小的参数w对本发明算法分割性能的影响，实验中w的取值来自集合{3, 7, 11, 15, 19}。在图像数据集上测试所得的平均KI值如图4(a)所示。对于w p 的各种取值，最佳的平均KI值均出现在w=7时，其中w p =7、11、15和19对应的最佳KI值分别为0.961、0.964、0.967和0.969。局部图像块太小不足以体现舌体和背景的结构差异，太大又可能失去局部性。
我们也研究了代表邻域搜索范围的参数w p 对本发明算法分割性能的影响，实验中w p 的取值来自集合{7, 11, 15, 19}。在图像数据集上测试所得的平均KI值如图4(b)所示。对于w的各种取值，最佳的平均KI值均出现在w p =19时，其中w=3、7、11、15和19对应的最佳KI值分别为0.966、0.969、0.968、0.966和0.964。分割性能随w p 的增加而逐渐提高。
2、定性比较
为了定性地比较不同舌图像分割算法的分割效果，图5给出了这些算法在如图2所示的八幅代表性舌图像上的分割结果。从图5的第三列分割结果可以看到，GVF-RM方法仅仅在图5(e)上获得了满意的分割效果，在其他图像上产生了误分割，特别是在图5 (a)上产生了严重的误分割。详细地说，GVF-RM在图5(b)-(d)和(f)-(h)上产生了明显的欠分割，欠分割处的真实舌体轮廓用红色箭头指出。另一方面，GVF-RM方法在图5 (a)-(b)和(h)上产生了明显的过分割，过分割处的舌体真实轮廓用绿色箭头指出。类似地，Nonlocal-means方法在大部分图像上遭遇了误分割。比如，它在图5(b)-(c)和(e)-(f)上遭遇了欠分割，在图5(b)、(d)和(g)上遭遇了过分割，红色和绿色箭头指示了误分割处的舌体真实轮廓。就总体分割效果而言，Nonlocal-means方法好于GVF-RM，但次于本发明算法。与GVF-RM以及Nonlocal-means方法相比，本发明算法在八幅舌图像上均获得了更好的分割效果，分割所得舌体轮廓与舌体真实轮廓基本一致。实验证实了本发明算法在具有形状、大小、颜色、纹理和舌苔显著差异的舌图像上均获得了满意的分割效果。
定量比较
为了提供三种算法分割效果的定量比较，我们利用四种测度(ME、FPR、FNR以及KI)对它们在整个舌图像数据集上的平均分割性能进行了定量的评价。图6给出了四种测度的箱线图。此外，GVF-RM、Nonlocal-means以及本发明算法分割结果对应的ME测度值的均值和标准偏差分别为0.091 ± 0.091、0.044 ± 0.035和0.012 ± 0.010。三种方法分割结果对应的FPR测度值的均值和标准偏差分别为0.071 ± 0.105、0.029 ± 0.027和0.006 ±0.008。三种方法分割结果对应的FNR测度值的均值和标准偏差分别为0.153 ± 0.165、0.086 ± 0.093和0.031 ± 0.030。三种方法分割结果对应的KI测度值的均值和标准偏差分别为0.806 ± 0.162, 0.899 ± 0.078 and 0.972 ± 0.023。这些定量的数据表明本发明算法分割精度高、分割稳定性好。
以上是本发明的较佳实施例，凡依本发明技术方案所作的改变，所产生的功能作用未超出本发明技术方案的范围时，均属于本发明的保护范围。

Claims (4)

1.一种基于稀疏表示的舌图像分割方法，其特征在于：包括如下步骤：
S1：设计一相似性度量准则来度量测试图像块和训练图像块之间的相似性，并利用此相似性度量准则来对当前测试像素点邻域内训练图像上近邻点对应的局部图像块执行筛选，利用筛选后的训练图像块构建稀疏表示所需的字典；
S2：利用字典中的训练图像块稀疏表示测试图像块获得稀疏系数，进而根据稀疏表示系数和训练图像中相应像素点的分割标签来计算当前测试像素点属于目标即舌体的概率；
S3：利用最大后验概率准则获得当前测试像素点的分割标记，获得初始的舌图像分割结果，再利用形态学滤波方法进行分割结果的优化，获得最终的舌图像分割结果；
所述步骤S1的具体实现过程如下：
S11：设计一相似性度量准则，用来对字典构建过程中用到的训练图像块执行筛选，该相似性度量准则表示如下：
其中，Sx和Px分别代表以像素点x位置为中心的测试图像块和训练图像块，c代表RGB颜色分量的编号，每个颜色分量用8个比特位表示，μ和σ表示对应颜色通道下图像块的亮度均值和标准偏差；SIM测度值越大意味着测试图像块Sx和训练图像块Px越相似；
S12：运用上述相似性度量准则，通过如下公式(2)对训练图像块执行筛选后，留下的训练图像块用于构建稀疏表示所需的字典；
其中，1表示训练图像块Px与测试图像块Sx相似度高，Px应该被放入稀疏表示用到的完备字典中；相反地，0表示两个图像块Px和Sx相似度低，Px应该被排除在字典之外；参数th设置为0.95。
2.根据权利要求1所述的基于稀疏表示的舌图像分割方法，其特征在于：所述步骤S12的字典构建过程具体如下：
给定测试图像I中任意的一个像素点x，我们取以其为中心的w×w的RGB彩色图像块，将RGB彩色图像块的RGB分量亮度值转化为一个3w2长度的列向量，最后利用此列向量的L2范数对自身进行归一化处理，记归一化后的列向量为mx；
获取所有训练图像中像素点x位置为中心的wp×wp搜索邻域内每个近邻点为中心的w×w的RGB彩色图像块，对所有训练图像块执行公式(2)的筛选；然后，将筛选后保留的每个训练图像块y同样转化为一个3w2长度的列向量，并利用其L2范数对自身进行归一化处理，归一化后的列向量记为my；最后，将筛选后保留下来的所有训练图像块对应的列向量my组织成一个3w2×N的字典矩阵Dx，其中N表示筛选后保留的训练图像块总数。
3.根据权利要求2所述的基于稀疏表示的舌图像分割方法，其特征在于：所述步骤S2的具体实现过程如下：
根据稀疏表示理论，测试图像块归一化后的列向量mx可以用训练图像块构建的字典矩阵Dx来表示，对应的稀疏系数向量α通过如下最小化非负Elastic-Net问题来得到：
等式(3)中，第一项是数据拟合项，度量数据拟合的误差；第二项是L1规则化项，用来保证向量α的稀疏性；最后一项是L2光滑项，用来促使相似的训练图像块具有相似的稀疏表示系数；向量α中的元素αi反映了测试图像块mx与字典Dx中的训练图像块之间的相似性；
稀疏表示理论认为相似的图像块应该拥有相似的分割标记，故而使用稀疏表示向量α中的稀疏系数来估计测试像素点x属于图像目标的概率，即属于舌体的概率：
其中，
是一个归一化常数，表示字典中第i个训练图像块中心像素点对应的手动分割标记，目标和背景的分割标记分别为1和0；
通过上述方式计算测试图像中每个像素点属于舌体的概率后，所有测试像素点的概率形成一个概率分布图。
4.根据权利要求3所述的基于稀疏表示的舌图像分割方法，其特征在于：所述步骤S3的具体实现方式为：通过最大化后验概率的规则获得测试像素点x的分割标记，即若测试像素点x属于舌体的概率大于其属于背景的概率，则将x分类为目标像素点；否则，将x分类为背景像素点；如此即可将概率分布图转化为二值分割结果；并通过形态学滤波方法进行分割结果的矫正和修复，即可获得最终的舌图像分割结果。
CN201510369625.XA 2015-07-21 2015-07-21 基于稀疏表示的舌图像分割方法 Active CN104933723B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510369625.XA CN104933723B (zh) 2015-07-21 2015-07-21 基于稀疏表示的舌图像分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510369625.XA CN104933723B (zh) 2015-07-21 2015-07-21 基于稀疏表示的舌图像分割方法

Publications (2)

Publication Number Publication Date
CN104933723A CN104933723A (zh) 2015-09-23
CN104933723B true CN104933723B (zh) 2017-08-04

Family

ID=54120877

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510369625.XA Active CN104933723B (zh) 2015-07-21 2015-07-21 基于稀疏表示的舌图像分割方法

Country Status (1)

Country Link
CN (1) CN104933723B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023151B (zh) * 2016-05-09 2019-02-01 厦门大学 一种开放环境下中医舌象目标检测方法
CN108242057B (zh) * 2017-09-22 2020-04-07 西安电子科技大学 基于嵌入边界约束因子的局部主动轮廓图像分割方法
CN110619293A (zh) * 2019-09-06 2019-12-27 沈阳天眼智云信息科技有限公司 基于双目视觉的火焰探测方法
CN114596621B (zh) * 2022-05-10 2022-07-29 慧医谷中医药科技(天津)股份有限公司 一种基于机器视觉的舌象数据处理方法及系统
CN115035114B (zh) * 2022-08-11 2022-11-11 高密德隆汽车配件制造有限公司 基于图像处理的干草粉碎机状态监测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812698A (en) * 1995-05-12 1998-09-22 Synaptics, Inc. Handwriting recognition system and method
CN102831614A (zh) * 2012-09-10 2012-12-19 西安电子科技大学 基于交互式字典迁移的序列医学图像快速分割方法
CN104732552A (zh) * 2015-04-09 2015-06-24 西安电子科技大学 基于非平稳条件场的sar图像分割方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8290251B2 (en) * 2008-08-21 2012-10-16 Adobe Systems Incorporated Image stylization using sparse representation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5812698A (en) * 1995-05-12 1998-09-22 Synaptics, Inc. Handwriting recognition system and method
CN102831614A (zh) * 2012-09-10 2012-12-19 西安电子科技大学 基于交互式字典迁移的序列医学图像快速分割方法
CN104732552A (zh) * 2015-04-09 2015-06-24 西安电子科技大学 基于非平稳条件场的sar图像分割方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
Automatic Brain Tumor Segmentation from MR Images via a Multimodal Sparse Coding Based Probabilistic Model;Yuhong Li等;《2015 International Workshop on Pattern Recognition in NeuroImaging》;20150612;第I节、第II节 *
Nonlocal Patch-Based Label Fusion for Hippocampus Segmentation;Pierrick Coupe 等;《MICCAI 2010：Medical Image Computing and Computer-Assisted Intervention》;20100924;第2.4节 *
Segmentation of MR images via discriminative dictionary learning and sparse coding：Application to hippocampus labeling;TongTong 等;《NeuroImage》;20130321;第76卷(第1期);第11-23页 *
基于字典优化的稀疏表示人脸识别;熊承义 等;《中南民族大学学报（自然科学版）》;20140615;第33卷(第2期);第75-79页 *

Also Published As

Publication number Publication date
CN104933723A (zh) 2015-09-23

Similar Documents

Publication Publication Date Title
Zhang et al. Retinal vessel delineation using a brain-inspired wavelet transform and random forest
Bellver et al. Detection-aided liver lesion segmentation using deep learning
CN104933723B (zh) 基于稀疏表示的舌图像分割方法
Albayrak et al. Mitosis detection using convolutional neural network based features
CN109359569B (zh) 一种基于cnn的红细胞图像亚分类方法
CN109635846A (zh) 一种多类医学图像判断方法和系统
CN108027970A (zh) 用于分析血管的医学图像的方法、装置和系统
Qian et al. An integrated method for atherosclerotic carotid plaque segmentation in ultrasound image
CN104933711A (zh) 一种肿瘤病理图像自动快速分割方法
Pan et al. Cell detection in pathology and microscopy images with multi-scale fully convolutional neural networks
CN108053398A (zh) 一种半监督特征学习的黑色素瘤自动检测方法
Maiora et al. Abdominal CTA image analisys through active learning and decision random forests: Aplication to AAA segmentation
Cao et al. An automatic breast cancer grading method in histopathological images based on pixel-, object-, and semantic-level features
Zhang et al. Retinal vessel image segmentation based on correlational open active contours model
Meng et al. A framework for retinal vasculature segmentation based on matched filters
CN113450305B (zh) 医疗图像的处理方法、系统、设备及可读存储介质
Liu et al. Identification of sunflower leaf diseases based on random forest algorithm
Yang et al. Unsupervised domain adaptation for cross-device OCT lesion detection via learning adaptive features
CN113160120A (zh) 基于多模态融合与深度学习的肝脏血管分割方法及系统
Sitheswaran et al. An effective automated system in follicle identification for Polycystic Ovary Syndrome using ultrasound images
Nardelli et al. Deep-learning strategy for pulmonary artery-vein classification of non-contrast CT images
Deng et al. Age-related macular degeneration detection and stage classification using choroidal OCT images
Capdehourat et al. Pigmented skin lesions classification using dermatoscopic images
Ding et al. Classification of chromosome karyotype based on faster-rcnn with the segmatation and enhancement preprocessing model
Su et al. A novel method for dendritic spines detection based on directional morphological filter and shortest path

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20191012

Address after: 100744 room a-6934, building 3, No.20 Yong'an Road, Shilong Economic Development Zone, Mentougou District, Beijing

Patentee after: Beijing Zhongke Xinjian Medical Technology Co., Ltd.

Address before: Minhou County of Fuzhou City, Fujian province 350108 Street Town Road No. 1

Patentee before: Minjiang University

CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Wang Jianyu

Inventor after: Li Zuoyong

Inventor after: Liu Weixia

Inventor before: Li Zuoyong

Inventor before: Liu Weixia