CN114372926A - 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法 - Google Patents

一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法 Download PDF

Info

Publication number
CN114372926A
CN114372926A CN202111572065.XA CN202111572065A CN114372926A CN 114372926 A CN114372926 A CN 114372926A CN 202111572065 A CN202111572065 A CN 202111572065A CN 114372926 A CN114372926 A CN 114372926A
Authority
CN
China
Prior art keywords
tongue
image
tender
old
quality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111572065.XA
Other languages
English (en)
Inventor
颜建军
王忆勤
郭睿
燕海霞
曾梦浩
许朝霞
徐琎
郝一鸣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China University of Science and Technology
Shanghai University of Traditional Chinese Medicine
Original Assignee
East China University of Science and Technology
Shanghai University of Traditional Chinese Medicine
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China University of Science and Technology, Shanghai University of Traditional Chinese Medicine filed Critical East China University of Science and Technology
Priority to CN202111572065.XA priority Critical patent/CN114372926A/zh
Publication of CN114372926A publication Critical patent/CN114372926A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明公开了一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法，获取原始舌图像，采用舌体语义分割模型对舌图像进行舌体分割，得到舌体分割图像；采用高斯混合模型对舌体分割图像进行舌苔舌质分离；得到舌质图像；基于生成式图像修复网络建立舌质图像修复模型，利用舌质图像修复模型对舌质图像进行修复，获得纹理特征和颜色变化连续的舌质修复图像；采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提取并分类，建立舌质老嫩识别模型；利用舌质老嫩识别模型来对舌质老嫩进行识别。本发明可以避免舌苔对舌质老嫩识别的影响，通过自学习得到的特征可以反映更丰富的舌质颜色和纹理特征，取得了较好的舌质老嫩识别效果。

Description

一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法
技术领域
本发明涉及舌象分析诊断技术领域，具体为一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法。
背景技术
舌诊是传统中医的重要诊断手段之一，具有较高的临床价值[35]。其中舌质老嫩是舌诊的一个重要判断指标，老舌舌质纹理粗糙，坚敛苍老，主实证；嫩舌舌质纹理细腻，浮胖娇嫩，主虚证。但临床诊断上关于舌质老嫩的判断主要依靠医生的肉眼观察和主观判断，缺乏定量化、客观化的判断标准。因此应用现代计算机技术，进行舌质老嫩特征的识别方法研究，实现舌质老嫩特征识别的客观化是非常有必要的。
目前已经有一些学者进行了舌质老嫩特征识别方面的研究，其识别方法主要包括：采用灰度差分统计的方法来描述舌图像的纹理特征，根据纹理特征描述参数在老舌、舌质适中、嫩舌等三种舌象的变化趋势的不同来进行舌质老嫩特征识别；提取舌图像颜色与纹理融合特征，并基于k近邻分类器(k-Nearest Neighbor,KNN)的AdaBoost算法建立舌质老嫩识别模型进行分类[29]；构建多任务卷积神经网络，对包括舌色、苔色以及舌质老嫩在内的多项特征进行识别。
上述第一种方法首先只提取了描述纹理特征的特征值作为分类依据，而忽视了舌图像老嫩特征实质上包含颜色特征和纹理特征两部分，使得对于舌象老嫩的特征描述不够全面，而影响分类效果；其次由描述纹理特征的变化趋势划定判别阈值进行舌质老嫩分类的方法，易受人为主观因素影响；提取舌图像整体的纹理特征作为舌质老嫩的判别依据，易受到舌苔的干扰，且只实现了老舌与嫩舌的识别，忽略了舌质适中的情况。第二种方法融合了舌图像的颜色特征和纹理特征，再基于KNN的AdaBoost算法建立了舌质老嫩分类模型得了较好的分类效果。但是实验数据中老舌和嫩舌的样本很少，而且提取舌图像整体的颜色和纹理特征作为舌质老嫩的分类依据易受到舌苔的干扰。
随着卷积神经网络的不断发展，深度学习在图像分类领域的应用日益广泛，卷积神经网络通过模拟人脑神经系统结构，逐层传递信息并自动提取相应特征。相较于特定的颜色和纹理特征描述方法而言，卷积神经网络能够更加充分和完整地提取图像中的颜色和纹理信息，达到更好的分类效果。第三种方法虽然应用了卷积神经网络进行舌图像特征识别，但其使用整张舌图像对舌质老、嫩两类进行识别，也容易受到舌苔的干扰。因此我们提供一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法。
发明内容
为了解决上述技术问题，本发明提供了如下的技术方案：
本发明一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法，包括以下步骤，
步骤1、获取原始舌图像，采用舌体语义分割模型对舌图像进行舌体分割，得到舌体分割图像；
步骤2、采用高斯混合模型对舌体分割图像进行舌苔舌质分离；得到舌质图像；
步骤3、基于生成式图像修复网络建立舌质图像修复模型，利用舌质图像修复模型对舌质图像进行修复，获得纹理特征和颜色变化连续的舌质修复图像；
步骤4、采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提取并分类，建立舌质老嫩识别模型；利用舌质老嫩识别模型来对舌质老嫩进行识别。
作为本发明的一种优选技术方案，所述的高斯混合模型对舌体分割图像进行舌苔舌质分离的方法是，假设存在d维随机变量 x＝(x1，x2，......，xw)T，则包含K个组件的高斯混合模型可表示为公式，
Figure BDA0003424193700000031
式中N(x|μk，∑k)为高斯概率密度函数，ωk、μk、∑k分别为高斯混合模型中的第k个组件的权重、均值和协方差矩阵。
作为本发明的一种优选技术方案，所述建立舌质图像修复模型所需的训练数据的方法是，以N×N小块的方式遍历舌质图像,提取出舌质占比超过 80％的小块,作为建立舌质图像修复模型所需的训练数据；共得到M张舌质小块图像，通过镜像等方式将数据集扩增至H张，其中J张用作训练集， I张用作验证集。
作为本发明的一种优选技术方案，在所述生成图像修复网络后引入新的内容感知层CAL，其中新的内容感知层CAL用于学习从图像已知区域的某处借鉴特征信息，以此来生成缺失的斑块，且所述新的内容感知层CAL 是利用卷积计算得到前景补丁与背景补丁的匹配分数，然后应用softmax 函数进行比较并获得每个背景像素的注意力得分，最后通过对每一背景像素的,注意力得分进行反卷积来重建具有背景斑块的前景补丁。
作为本发明的一种优选技术方案，所述的采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提取并分类，建立舌质老嫩识别模型的方法是，首先输入的舌质修复图像进行补零，对补零后的舌质修复图像进行卷积
层，然后进行批量正则化处理，随后利用激活函数对正则化处理舌质修复图像进行激活，并对最大值进行池化；然后进行特征运算之后，将所得的特征向量进行平均值池化，再对多维特征向量进行一维化操作，得到一维的特征向量，然后将其输入全连接层得到输出，最后由softmax分类器计算各类别的概率，得到最终舌质老嫩分类结果，根据舌质老嫩分类结果建立舌质老嫩识别模型。
本发明的有益效果是：
该种基于图像修复与卷积神经网络的中医舌质老嫩识别方法通过获取原始舌图像，采用舌体语义分割模型对舌图像进行舌体分割，得到舌体分割图像，采用高斯混合模型对舌体分割图像进行舌苔舌质分离；得到舌质图像，基于生成式图像修复网络建立舌质图像修复模型，利用舌质图像修复模型对舌质图像进行修复，获得纹理特征和颜色变化连续的舌质修复图像，采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提取并分类，建立舌质老嫩识别模型；利用舌质老嫩识别模型来对舌质老嫩进行识别。本发明提出的方法相对于以往的舌质老嫩识别方法，可以避免舌苔对舌质老嫩识别的影响，通过自学习得到的特征可以反映更丰富的舌质颜色和纹理特征，取得了较好的舌质老嫩识别效果。
附图说明
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：
图1是本发明一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法的流程图；
图2为舌体分隔示意图；
图3为高斯混合模型示意图；
图4为舌苔分离效果图；
图5为舌质分离效果图；
图6为粗到精网络架构示意图；
图7是内容感知层示意图；
图8是基于粗略结果的并行编码器融合示意图；
图9是舌质图像结构示意图；
图10是舌质修复图像结构示意图；
图11是改进型残差网络性中的残缺块结构示意图；
图12是ResNet50与ResNet101性能比较示意图；
图13是ResNet101的结构示意图；
图14是不同网络的识别结果示意图；
图15是不同网络的识别结果示意图；
图16是不同预处理方式的分类结果示意图；
图17是不同识别方法的分类结果示意图。
具体实施方式
以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。
实施例：如图1所示，本发明一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法，包括以下步骤，
步骤1、获取原始舌图像，采用舌体语义分割模型对舌图像进行舌体分割，得到舌体分割图像；由于采集到的舌图像除了舌体之外还包含嘴唇以及周围的皮肤等背景，会对舌质老嫩识别造成干扰，因此需要对舌图像进行舌体分割。本文基于DeepLab v3+语义分割网络训练了舌体语义分割模型，实现了舌体的自动分割，使用DeepLab v3+舌体语义分割模型分割出的舌体轮廓清晰准确，能够较好地去除掉嘴唇、皮肤和其他背景，有利于后续的舌图像特征分析与识别。其中图2为舌体分隔示意图。
步骤2、采用高斯混合模型对舌体分割图像进行舌苔舌质分离；得到舌质图像；
步骤3、基于生成式图像修复网络建立舌质图像修复模型，利用舌质图像修复模型对舌质图像进行修复，获得纹理特征和颜色变化连续的舌质修复图像；
步骤4、采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提取并分类，建立舌质老嫩识别模型；利用舌质老嫩识别模型来对舌质老嫩进行识别。
所述的高斯混合模型对舌体分割图像进行舌苔舌质分离的方法是，假设存在d维随机变量x＝(x1，x2，......，xw)T，则包含K个组件的高斯混合模型可表示为公式，图3为高斯混合模型示意图；
Figure BDA0003424193700000061
式中N(x|μk，∑k)为高斯概率密度函数，ωk、μk、∑k分别为高斯混合模型中的第k个组件的权重、均值和协方差矩阵。
在舌质老嫩特征中，老舌指舌质纹理粗糙，形色坚敛苍老，多属实证；嫩舌指舌质纹理细腻，形色浮胖娇嫩，多属虚证。由此可知，舌质老嫩与舌质的纹理、形色关系密切，而舌苔的存在则会对舌质老嫩的识别造成干扰。因此，本文采用GMM算法实现舌苔舌质的分离，分别得到舌质和舌苔图像，为后续的舌质图像修复做准备。GMM是指多个高斯分布函数(正态分布)的线性组合，同时也是学习速度最快的概率模型，GMM试图找到能最佳模拟输入数据集的多维高斯分布的混合。
实践证明，许多数据集都符合高斯分布，即使原始数据集不符合高斯分布，但是随着样本的增多，根据中心极限定理，它会趋近于高斯分布。并且理论上通过增加模型的个数，GMM可以趋近于任何连续的概率密度分布，这使得它适用于更多十分灵活的类簇形状。GMM聚类在分类的过程中，训练后的输出不像K-Means聚类是一个具体的值，而是一组概率值(属于不同类别的概率)。通过属于不同类别的概率值大小来判定数据具体属于哪一类，要比直接将数据分配到某一类更加准确，特别是在聚类的不同类别之间存在重叠时，直接确定数据所属类别极易产生混淆，因此 GMM聚类的精度要高于K-Means聚类。图4为舌苔分离效果图；图5 为舌质分离效果图；
为了排除舌图像中舌苔对舌质老嫩特征识别的影响，同时维持舌质纹理和颜色变化的连续性，因此本文采用GIICA网络对舌质图像进行修复，以避免不连续的纹理与颜色变化对舌质老嫩的识别造成干扰。由于舌质老嫩与舌质颜色和纹理特征密切相关，而传统的图像修复算法对大范围破损区域的修复效果较差，不能较好地恢复细节纹理，而目前基于深度学习的图像修复方法已经在修复图像中大量缺失区域这类具有挑战性的任务中取得了较好的效果，所以本文采用深度学习的方法进行舌质图像的修复。一般的基于深度学习的图像修复方法虽然可以生成视觉上合理的图像结构和纹理，但由于卷积神经网络不能明确复制借用远处空间的某一位置的纹理，导致修复区域容易产生与周围区域不一致的模糊纹理或扭曲结构。针对这一问题，Yu等[47]提出了GIICA网络。GIICA网络在生成新的图像结构的同时，还可以在网络训练期间参考背景图像的特征，以便得到更好的预测结果。因而GIICA网络针对图像大范围缺损区域的修复有较好的效果，而且利用该网络建立的修复模型可用于任意分辨率图像的任何形状缺失区域的修复。因此，本文采用GIICA网络建立舌质图像修复模型，进行舌质图像的修复，得到与舌体图像形状大小相同的舌质图像。由于GIICA 网络训练需要全为舌质的图像作为数据集来建立舌质图像修复模型，而舌体图像基本都包含舌苔和舌质两部分，无法直接用作训练数据。因此，本文通过对老嫩舌图像进行苔质分离，以96×96小块的方式遍历舌质图像，提取出舌质占比超过80％的小块，作为建立舌质图像修复模型所需的训练数据，共得到222张舌质小块图像。通过镜像等方式将数据集扩增至444 张，其中396张用作训练集，48张用作验证集。
所述基于生成式图像修复网络建立舌质图像修复模型，利用舌质图像修复模型对舌质图像进行修复的方法是，首先建立舌质图像修复模型所需的训练数据，通过复制和改进基于全局和局部内容一致性的图像修复算法来构建其基础的生成图像修复网络，然后引入了由粗略到精细的网络架构其中第一个网络对缺失区域进行粗略预测，第二个网络将粗略预测结果作为输入并作出精细预测，最终完成图像缺失区域的修复。该结构又称作粗到精网络架构，具体如图6所示。
除此之外，因为卷积神经网络对具有局部卷积核的图像特征进行逐层处理，所以难以从远处空间位置获取特征。因此，在GIICA网络的下一部分，为了克服这个局限性，考虑了感知机制并在深度生成网络中引入了一个新的内容感知层(Contextual AttentionLayer,CAL)。CAL用于学习从图像已知区域的某处借鉴特征信息，以此来生成缺失的斑块。由于CAL 是可微的(differentiable)，所以可以在全卷积网络和深度模型中进行训练，并能在任意分辨率的图像上进行测试。CAL的工作过程图7所示。
为了集成改进的生成图像修复网络与内容感知模块，GIICA网络基于第一编码器-解码器的粗略预测结果，引入了两个并行编码器。图6中的 bottom编码器专门用于逐层(扩散)卷积的想象内容，而顶层编码器则尝试参加内容感知的功能，最终将来自两个编码器的输出特征聚合并输入单个解码器获得最终修复结果，如图8所示。
图8中对注意力图(Attention Map)进行了可视化，图中颜色表示前景中每个像素对应的最感兴趣的背景色块的相对位置。彩色编码图 (Attention Map Color Coding)各颜色所在的位置即代表注意力图中各颜色所在像素最感兴趣的背景色块的相对位置，例如白色表示最感兴趣区域在其自身上，粉红色表示对应前景区域最感兴趣的背景色块在左下方，绿色则表示在右上方舌质图像修复后原舌苔占有部分基本修补为舌质，且修复区域的细节纹理得到了较好的还原，有利于排除舌苔区域对于舌质老嫩识别的干扰以及后续舌质。其中修复效果图如图9和图10所示。
老嫩识别模型的建立。
其中基于残差网络的舌质老嫩识别，采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提取并分类，建立舌质老嫩识别模型的方法是，首先输入的舌质修复图像进行补零，对补零后的舌质修复图像进行卷积层，然后进行批量正则化处理，随后利用激活函数对正则化处理舌质修复图像进行激活，并对最大值进行池化；然后进行特征运算之后，将所得的特征向量进行平均值池化，再对多维特征向量进行一维化操作，得到一维的特征向量，然后将其输入全连接层得到输出，最后由softmax 分类器计算各类别的概率，得到最终舌质老嫩分类结果，根据舌质老嫩分类结果建立舌质老嫩识别模型。
卷积神经网络(Convolutional Neural Networks,CNN)[49]是一类包含卷积计算的深度神经网络，在图像识别方面应用广泛。卷积神经网络通常包括卷积层、池化层以及全连接层。
卷积层
卷积层主要由参数可学习的卷积核组成。卷积层通过卷积核之间局部连接和权值共享对输入数据进行卷积，以此对数据特征进行提取。首层卷积层会提取输入数据的一些初级特征，例如当输入数据为图像时，第一层卷积层首先会提取其边缘、轮廓和线条等初级信息。这些初级信息会形成多个特征图，然后作为下一卷积层的输入，以便提取更深层次的特征信息，卷积层的计算公式为
Figure BDA0003424193700000091
式中：“*”表示卷积运算，
Figure BDA0003424193700000092
表示第k层的第j个卷积核运算结果，也是第k+1层的输入；
Figure BDA0003424193700000093
表示第k层的第j个卷积核；
Figure BDA0003424193700000094
表示偏置值；f则代表激活函数。
池化层
经过卷积运算后特征向量维数增大，如果直接进行训练，需要的网络运算量和复杂度过大，所以要对卷积运算获得的特征图进行降维。而池化层可以通过对特征图的局部池化，不仅可以降低特征维数，还可以扩大感受野，实现非线性和不变性(平移不变性、旋转不变性和尺度不变性)，对减少网络的过拟合问题有一定帮助，增大网络的鲁棒性。
全连接层
全连接层(Fully Connected Layers,FC)一般处于深度学习网络的最后几层，在整个卷积神经网络中充当“分类器”。全连接层的每个节点都连接着前一层的全部节点，对之前的网络层提取的所有特征进行连接和学习，通过感知全局信息来完成指定分类目标的学习，最终得出分类结果。
残差网络(Residual Network,ResNet)既借鉴了传统深度学习网络的优点，又引入了残差学习方法，解决了信息在传递时的丢失和损耗等问题；使整个网络只需学习输入与输出的不同之处，简化了网络学习的目标和难度；有效解决了深层网络存在的梯度耗散和梯度爆炸问题，使网络能够尽可能的加深。
本发明改进型残差网络采用的是ResNet残差网络，其中ResNet在传统的卷积神经网络基础上，提出了恒等映射与残差映射。图11是一个典型的残差块(Residual Block)，恒等映射即为图中曲线(Short Connection, SC)所示的过程，是可以直接跳过2层权重层(层数不定，可以是3层、 4层)后将X送到ReLU层的映射。因为X直接跳过权重层，没有进行任何运算，所以称作恒等映射，即G(X)＝X。直线过程则表示残差映射，是输入与输出之差，即F(X)＝H(X)-X
通过SC过程使残差块的输入和输出能够进行element-wise运算，这个简单的运算并不会增加网络的参数和计算量，但可以极大提升模型的训练速度，增强训练效果。并且由于identity map，使梯度可以在反向传播时直接回到较浅的层，有效解决了网络加深时的模型退化问题。在传统卷积神经网络的基础上多次应用残差块，便构成了ResNet，让训练极深的深度学习神经网络成为可能。最常见的深层残差网络主要是ResNet50和 ResNet101。ResNet50和ResNet101在ImageNet validation dataset上的性能比较如图12所示，ImageNet图像分类大赛采用Top-1错误率或 Top-5错误率作为模型性能的评价标准，Top-1＝(正确标记与模型输出的最佳标记不同的样本数)/总样本数，Top-5＝(正确标记不在模型输出的前5个最佳标记中的样本数)/总样本数。图12所示表明在ImageNet validationdataset上ResNet101的Top-1错误率和Top-5错误率分别比ResNet50低0.87％和0.65％。由此可知，ResNet101相对于ResNet50 而言，在ImageNet validation dataset上拥有更好的图像分类效果。因此，本章选取ResNet101建立舌质老嫩识别模型
质老嫩识别模型。
ResNet101即具有101层网络结构的残差网络，包括100个卷积层和1个全连接层，其具体结构如图13所示
ZERO PAD表示对输入的舌质修复图像进行补零，stage1中的 CONV表示一层卷积层，Batch Norm表示批量正则化处理，ReLU表示激 活函数，MAX POOL表示最大值池化；stage2-5中CONV BLOCK表示 改变特征向量尺度的残差块，ID BLOCK×2表示2个不改变特征尺度的 残差块，ID BLOCK×3则表示3个不改变特征尺度的残差块(在ID BLOCK×N中，IDBLOCK表示不改变特征尺度的残差块，而N则表示 该残差块的个数)；而每个残差块又包括3个卷积层，由图13可知共有 1+3×(3+4+23+3)＝100个卷积层，经过stage1-5的特征运算之后，将 所得的特征向量进行AVG POOL(平均值池化)，再对多维特征向量进行 一维化(Flatten)操作，得到一维的特征向量，然后将其输入全连接层(FC)， 得到输出(output)，最后由softmax分类器计算各类别的概率，得到最 终舌质老嫩分类结果。
所述的采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提取并分类，建立舌质老嫩识别模型的方法是，首先输入的舌质修复图像进行补零，对补零后的舌质修复图像进行卷积层，然后进行批量正则化处理，随后利用激活函数对正则化处理舌质修复图像进行激活，并对最大值进行池化；然后进行特征运算之后，将所得的特征向量进行平均值池化，再对多维特征向量进行一维化操作，得到一维的特征向量，然后将其输入全连接层得到输出，最后由softmax分类器计算各类别的概率，得到最终舌质老嫩分类结果，根据舌质老嫩分类结果建立舌质老嫩识别模型。
本文采用舌质老嫩特征识别测试集的分类准确率(Accuracy,Ac)作为实验评价指标,其数学表达式为：
Figure BDA0003424193700000121
R表示测试集分类正确样本数量，S表示测试集总的样本数量。
本文通过keras框架实现ResNet101残差网络，设置参数为：训练轮数(epoch)1000轮，初始化学习率(learning rate,lr)0.001，批次尺寸(batch size)为10，需要降低学习率的训练步长为5轮，即当val_loss连续5轮不下降时，降低学习率，学习率衰减因子为0.1，即学习率以10倍的速度衰减，提前停止训练的步长为15轮，即当val_loss连续训练15轮不下降时，模型训练提前终止。本实验软件配置为Anaconda3.5、Python3.6，在此基础上搭建keras深度学习环境；硬件配置中CPU为Intel Core i5-10300H，内存为16GB，GPU显卡为NVIDIA GTX 1660Ti。为验证本文选用的ResNet101残差网络在舌质老嫩识别方面的有效性，采用舌质修复图像训练集分别建立ResNet50和ResNet101舌质老嫩识别模型，利用测试集对模型识别效果进行测试，测试结果如图14所示：
由图14可知，采用ResNet101建立的舌质老嫩识别模型与利用 ResNet50建立的模型相比，老舌、舌质适中、嫩舌识别准确率分别提升了 1.0％、2.0％、2.0％，总体识别准确率提升了1.7％。由此可知，在舌质老嫩识别方面，采用ResNet101建立的模型拥有更好的分类效果。将随机抽取的老舌、舌质适中、嫩舌舌图像各一张作为ResNet101舌质老嫩识别模型的输入，得到部分中间层的热力图，以分析卷积层自学习三类舌质图像特征的效果。老舌、舌质适中及嫩舌三类舌质修复图像与中医对舌质老嫩特征的色泽与纹理描述基本符合，老舌修复图像纹理较为粗糙、色泽较为暗淡，嫩舌修复图像的纹理比较细腻、形体略显浮胖。老舌舌图像热力图大部分呈橙红色，舌质适中舌图像热力图大部分呈淡青色，嫩舌舌图像热力图大部分呈黄绿色。通过三者的热力图可以反映出老舌、舌质适中与嫩舌在特征上有较明显的差异，说明ResNet101能较好地学习三类舌图像的特征，并建立分类效果较好的舌质老嫩识别模型采用GIICA舌质图像修复模型得到纹理与颜色变化连续的舌质修复图像，有利于避免舌苔对舌质老嫩识别的干扰，将舌体图像和舌质修复图像分别输入到ResNe101网络中建立舌质老嫩识别模型，测试结果如表图15 所示经过GIICA算法修复等预处理后的数据集建立的ResNet101舌质老嫩识别模型，老舌、舌质适中、嫩舌识别准确率分别为83.0％、98.0％、 92.0％，比利用原始舌体图像训练集建立模型的识别准确率提升了5.0％、 6.0％、4.0％，总体识别准确率为91.0％，提高了5.0％。实验说明基于GIICA 网络进行舌质图像修复，得到纹理及颜色变化连续的舌质图像，可以有效地排除舌苔对舌质老嫩识别的干扰，再结合ResNet101网络建立舌质老嫩识别模型，相较于采用原始舌图像作为训练集建立的模型，取得了更好的舌质老嫩识别效果。为进一步验证本文提出的舌质老嫩识别方法的效果，将该方法与灰度差分统计法、基于KNN的AdaBoost算法的舌质老嫩识别效果进行比较，分类结果如图16所示。
基于KNN的AdaBoost算法的舌质老嫩识别效果进行比较，分类结果如图17所示本文的分类方法与灰度差分统计法相比，在老舌、舌质适中、嫩舌识别准确率上分别提升了23.0％、26.0％、33.0％，总体识别准确率提升了27.3％；而和KNN+AdaBoost相比，老舌、舌质适中、嫩舌识别准确率则分别提升了14.0％、22.0％、25.0％，总体识别准确率提高了20.0％。由此可见，本文采用GIICA舌质图像修复模型得到具有连续的颜色与纹理变化的舌质图像，再利用ResNet101网络对舌质修复图像特征进行自学习，得到的特征相较于通过人工提取的舌质老嫩特征，更加全面地反映了老嫩不同舌质的颜色和纹理特征，最终建立的舌质老嫩识别模型取得了较满意的舌质老嫩识别效果。
综上所述，本文基于GMM聚类算法对舌质老嫩数据集进行苔质分离，再通过GIICA网络对舌质图像进行修复，然后利用舌质修复图像建立 ResNet101舌质老嫩识别模型相较于采用舌体图像建立的模型的分类效果更好；与灰度差分统计法和KNN+AdaBoost等已有方法相比，GIICA+ResNet101方法达到了更高的分类准确率，表明本文提出的方法在舌质老嫩识别中取得了较满意的识别效果。
最后应说明的是：以上仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法，其特征在于：包括以下步骤，
步骤1、获取原始舌图像，采用舌体语义分割模型对舌图像进行舌体分割，得到舌体分割图像；
步骤2、采用高斯混合模型对舌体分割图像进行舌苔舌质分离；得到舌质图像；
步骤3、基于生成式图像修复网络建立舌质图像修复模型，利用舌质图像修复模型对舌质图像进行修复，获得纹理特征和颜色变化连续的舌质修复图像；
步骤4、采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提取并分类，建立舌质老嫩识别模型；利用舌质老嫩识别模型来对舌质老嫩进行识别。
2.根据权利要求1所述的一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法，其特征在于，所述的高斯混合模型对舌体分割图像进行舌苔舌质分离的方法是，假设存在d 维随机变量
Figure DEST_PATH_IMAGE002
，则包含 K 个组件的高斯混合模型可表示为公式，
Figure DEST_PATH_IMAGE004
式中
Figure DEST_PATH_IMAGE006
为高斯概率密度函数，
Figure DEST_PATH_IMAGE008
、
Figure DEST_PATH_IMAGE010
、
Figure DEST_PATH_IMAGE012
分别为高斯混合模型中的第k 个组件的权重、均值和协方差矩阵。
3.根据权利要求1所述的一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法，其特征在于，所述基于生成式图像修复网络建立舌质图像修复模型，利用舌质图像修复模型对舌质图像进行修复的方法是，首先建立舌质图像修复模型所需的训练数据，通过复制和改进基于全局和局部内容一致性的图像修复算法来构建其基础的生成图像修复网络，然后引入了由粗略到精细的网络架构其中第一个网络对缺失区域进行粗略预测， 第二个网络将粗略预测结果作为输入并作出精细预测，最终完成图像缺失区域的修复。
4.根据权利要求2所述的一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法，其特征在于，所述建立舌质图像修复模型所需的训练数据的方法是，以 N×N 小块的方式遍历舌质图像,提取出舌质占比超过 80% 的小块,作为建立舌质图像修复模型所需的训练数据;共得到M张舌质小块图像，通过镜像等方式将数据集扩增至 H 张，其中 J张用作训练集，I 张用作验证集。
5.根据权利要求2所述的一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法，其特征在于，在所述生成图像修复网络后引入新的内容感知层CAL，其中新的内容感知层CAL 用于学习从图像已知区域的某处借鉴特征信息，以此来生成缺失的斑块，且所述新的内容感知层CAL是利用卷积计算得到前景补丁与背景补丁的匹配分数，然后应用softmax函数进行比较并获得每个背景像素的注意力得分，最后通过对每一背景像素的,注意力得分进行反卷积来重建具有背景斑块的前景补丁。
6.根据权利要求1所述的一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法，其特征在于，所述的采用改进型残差网络对修复后得到的舌质修复图像的数据集进行特征提取并分类，建立舌质老嫩识别模型的方法是，首先输入的舌质修复图像进行补零，对补零后的舌质修复图像进行卷积层，然后进行批量正则化处理，随后利用激活函数对正则化处理舌质修复图像进行激活，并对最大值进行池化；然后进行特征运算之后，将所得的特征向量进行平均值池化，再对多维特征向量进行一维化操作，得到一维的特征向量，然后将其输入全连接层得到输出，最后由 softmax 分类器计算各类别的概率，得到最终舌质老嫩分类结果，根据舌质老嫩分类结果建立舌质老嫩识别模型。
CN202111572065.XA 2021-12-21 2021-12-21 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法 Pending CN114372926A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111572065.XA CN114372926A (zh) 2021-12-21 2021-12-21 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111572065.XA CN114372926A (zh) 2021-12-21 2021-12-21 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法

Publications (1)

Publication Number Publication Date
CN114372926A true CN114372926A (zh) 2022-04-19

Family

ID=81140391

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111572065.XA Pending CN114372926A (zh) 2021-12-21 2021-12-21 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法

Country Status (1)

Country Link
CN (1) CN114372926A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511567A (zh) * 2022-04-20 2022-05-17 天中依脉(天津)智能科技有限公司 舌体与舌苔图像识别分离方法
CN117094966A (zh) * 2023-08-21 2023-11-21 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511567A (zh) * 2022-04-20 2022-05-17 天中依脉(天津)智能科技有限公司 舌体与舌苔图像识别分离方法
CN114511567B (zh) * 2022-04-20 2022-08-05 天中依脉(天津)智能科技有限公司 舌体与舌苔图像识别分离方法
CN117094966A (zh) * 2023-08-21 2023-11-21 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备
CN117094966B (zh) * 2023-08-21 2024-04-05 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备

Similar Documents

Publication Publication Date Title
CN108171209B (zh) 一种基于卷积神经网络进行度量学习的人脸年龄估计方法
CN106960202B (zh) 一种基于可见光与红外图像融合的笑脸识别方法
CN112132817B (zh) 一种混合注意力机制的眼底图像视网膜血管分割方法
CN109711283B (zh) 一种联合双字典和误差矩阵的遮挡表情识别方法
CN111797683A (zh) 一种基于深度残差注意力网络的视频表情识别方法
Lei et al. A skin segmentation algorithm based on stacked autoencoders
CN108830237B (zh) 一种人脸表情的识别方法
CN110276248B (zh) 一种基于样本权值分配和深度学习的人脸表情识别方法
CN110543906B (zh) 基于Mask R-CNN模型的肤质自动识别方法
Wang et al. GKFC-CNN: Modified Gaussian kernel fuzzy C-means and convolutional neural network for apple segmentation and recognition
CN111861945B (zh) 一种文本引导的图像修复方法和系统
CN114372926A (zh) 一种基于图像修复与卷积神经网络的中医舌质老嫩识别方法
CN110689526B (zh) 基于视网膜眼底图像的视网膜血管分割方法及系统
CN109903339B (zh) 一种基于多维融合特征的视频群体人物定位检测方法
CN110738663A (zh) 双域适应模块金字塔型网络及无监督域适应图像分割方法
WO2024109374A1 (zh) 换脸模型的训练方法、装置、设备、存储介质和程序产品
Sinha et al. Identity-preserving realistic talking face generation
Zhang et al. Feature-transfer network and local background suppression for microaneurysm detection
CN113011243A (zh) 基于胶囊网络的面部表情分析方法
CN113112416A (zh) 一种语义引导的人脸图像修复方法
CN113762117B (zh) 一种图像处理模型的训练方法、图像处理模型及计算机设备
Yan et al. Tongue image texture classification based on image inpainting and convolutional neural network
CN110598719A (zh) 一种依据视觉属性描述自动生成人脸图像的方法
CN116311387B (zh) 一种基于特征交集的跨模态行人重识别方法
Pakulich et al. Age recognition from facial images using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination