CN112529002B - 舌体图片分类方法、装置、计算机设备及存储介质 - Google Patents

舌体图片分类方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112529002B
CN112529002B CN202011255702.6A CN202011255702A CN112529002B CN 112529002 B CN112529002 B CN 112529002B CN 202011255702 A CN202011255702 A CN 202011255702A CN 112529002 B CN112529002 B CN 112529002B
Authority
CN
China
Prior art keywords
level semantic
tongue
semantic features
picture
tongue picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011255702.6A
Other languages
English (en)
Other versions
CN112529002A (zh
Inventor
王栋
刘伟华
邹智
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Athena Eyes Co Ltd
Original Assignee
Athena Eyes Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Athena Eyes Co Ltd filed Critical Athena Eyes Co Ltd
Priority to CN202011255702.6A priority Critical patent/CN112529002B/zh
Publication of CN112529002A publication Critical patent/CN112529002A/zh
Application granted granted Critical
Publication of CN112529002B publication Critical patent/CN112529002B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4854—Diagnosis based on concepts of traditional oriental medicine
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mathematical Physics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Computing Systems (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种舌体图片分类方法、装置、计算机设备和存储介质，应用于深度学习领域，用于中医舌诊。本发明提供的方法包括：对舌体图片进行特征提取得到第一高层语义特征；通过神经网络模型对舌体图片进行校正得到第二高层语义特征；通过合并第一高层语义特征和第二高层语义特征得到第三高层语义特征；对第三高层语义特征进行卷积运算和降维得到第四高层语义特征；对第四高层语义特征进行指数操作得到第五高层语义特征，对第四高层语义特征和第五高层语义特征进行点乘操作得到第六高层语义特征；通过全连接层对第六高层语义特征进行卷积运算，得到舌体图片分类结果。解决了舌体图片分类系统复杂性高、精度低的技术问题。

Description

舌体图片分类方法、装置、计算机设备及存储介质
技术领域
本发明涉及中医诊断领域，尤其涉及一种舌体图片分类方法、装置、计算机设备及存储介质
背景技术
传统中医包括望闻问切四种诊法，舌诊作为望诊的重要组成部分已得到了广泛应用。“舌为心之侯，苔乃胃之明徵”，中医学理论认为，人体是一个有机的整体，五脏肺腑通过经络与舌头相连接，人体的生理信息可以最直接地反映在舌象上，舌象更是蕴含了人体的机能变化信息。因此通过望舌可以了解肺腑虚实、病邪所在，以及病情变化。舌诊也被广泛应用于临床诊断，是中医诊疗的必选之项。舌诊时通过观察舌质和舌苔两部分的外在表现，综合舌象的多种属性信息对人体的健康状况进行评估及分析。正常人的舌象为舌色淡红、舌苔薄白均匀、舌质润泽、不老不嫩、不胖不瘦、舌体收缩自如、无异常形态。身体欠佳的人舌苔多表现为白苔、黄苔、灰黑苔等，舌苔由厚变薄表示病情减缓，而由薄转厚则表明身体病情加重。对人类个体而言，随着生活水平和生活质量的不断提高，人们对身体健康状况越来越重视，对疾病的预防及早期发现有更高要求的同时，也更关注疾病的无创、无痛检测。而舌诊通过观察病人舌象的方式完成诊断和分析，符合无痛、无创伤的诊断需求。
然而舌诊也有如下难以避免的弊端。首先，诊断过程中，医生在不同环境中观察舌体，由于舌体颜色存在偏差，对医生的临床判断容易造成影响。其次，医生诊断的结果是以人的主观性判断为标准，缺乏定量化和客观化的衡量。因此利用人工智能，图像处理等技术，实现临床舌诊的客观化和标准化，成为中医舌诊发展之路。
通常的舌诊系统的方法主要包括三个步骤，舌象颜色校正、舌体分割和舌象识别。这些步骤之间是分离的，后面的步骤依赖前面的步骤的结果。一般来说，根据所采用的技术进行区分，舌诊的方法分为两大类：传统图像处理技术和基于深度学习的技术。传统的图像处理技术是指，比如Canny检索算法和Sobel检测算法提取梯度编译，阈值法，主动轮廓模型。基于深度学习的技术，是指主要利用神经网络，训练出单独的分割模型或者分类模型。
由于舌象成像容易受环境影响，传统的图像处理技术由于需要大量的经验参数，不可避免地导致舌象识别的准确度不高。通常的技术由多个不同的模型组成，比如先分割后识别，这不仅带来了系统复杂性，而且降低了整体精度。
发明内容
本发明实施例提供一种舌体图片分类方法、装置、计算机设备及存储介质，以解决现有技术舌体图片分类系统复杂性高、精度低的技术问题。
一种舌体图片分类方法，包括：
对舌体图片进行特征提取，得到第一高层语义特征；
通过训练好的神经网络模型对所述舌体图片进行颜色校正，得到第二高层语义特征；
通过所述神经网络模型对所述第一高层语义特征和所述第二高层语义特征进行合并操作，得到第三高层语义特征；
通过所述神经网络模型对所述第三高层语义特征进行卷积运算，降维得到第四高层语义特征；
通过所述神经网络模型对所述第四高层语义特征进行指数操作，得到第五高层语义特征，其中，对所述第四高层语义特征和所述第五高层语义特征进行点乘操作，得到第六高层语义特征；
通过所述神经网络的全连接层对所述第六高层语义特征进行分类运算，得到所述舌体图片分类结果。
一种舌体图片分类装置，包括：
特征提取模块，用于通过对舌体图片进行特征提取，得到第一高层语义特征；
颜色校正模块，用于通过训练好的神经网络模型对所述舌体图片进行颜色校正，得到第二高层语义特征；
合并模块，用于通过所述神经网络模型对所述第一高层语义特征和所述第二高层语义特征进行合并操作，得到第三高层语义特征；
分割模块，用于通过所述神经网络模型对所述第三高层语义特征进行卷积运算，降维得到第四高层语义特征；
点乘模块，用于通过所述神经网络模型对所述第四高层语义特征进行指数操作，得到第五高层语义特征，其中，对所述第四高层语义特征和所述第五高层语义特征进行点乘操作，得到第六高层语义特征；
分类模块，用于通过所述神经网络的全连接层对所述第六高层语义特征进行分类运算，得到所述舌体图片分类结果。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述舌体图片分类方法的步骤。
一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述舌体图片分类方法的步骤。
本发明提供了一种舌体图片分类方法、装置、计算机设备和存储介质，通过训练统一的神经网络模型，将舌体图片特征提取、舌体图片颜色校正、舌体图片分割和舌体图片识别融合到一起，其中，所述舌体图片通过特征提取得到第一高层语义特征，所述舌体图片通过颜色校正，得到第二高层语义特征用于指导神经网络的后面的特征表达学习，提高了识别精度和环境适用性，通过所述第一高层语义特征与第二高层语义特征融合得到第三高层语义特征，所述第三高层语义特征通过卷积变换和降维得到舌体分割图，舌体分割图采用人的注意力机制，通过先定位后识别的直观思想，融合到后续网络特征学习中，这降低了神经网络模型的复杂性。最后对融合了颜色校正和分割信息的特征层进行全连接运算，输出了舌体图片识别分类结果。解决了舌体图片分类系统复杂性高、精度低的技术问题。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中舌体图片分类方法的一应用环境示意图；
图2是本发明一实施例中舌体图片分类方法的一流程图；
图3是本发明一实施例中舌体图片分类装置的结构示意图；
图4是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本申请提供的舌体图片分类方法，可应用在如图1的应用环境中，其中，计算机设备通过网络与计算机设备进行通信。其中，计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。在一实施例中，如图2所示，提供一种舌体图片分类方法，以该方法应用在图1中的客户端为例进行说明，包括如下步骤S101至S105
S101、对舌体图片进行特征提取，得到第一高层语义特征。
在该实施例中，所述舌体图片不要求在光照稳定的密闭空间中完成舌象采集，不需要特定的的采集设备，所述舌体图片可以是自然光下输入的图像。
在其中一个实施例中，该步骤S101进一步包括：
通过基于残差的U型网网络架构对所述第一高层语义特征进行特征提取。
在该实施例中，所述U型网网络架构包括编码网络和解码网络。其中，所述编码网络用于展现高层语义特征，所述解码网络通过结合解码网络采样的高层语义特征和解码网络进行还原，为均衡精度与速度，所述编码网络采用了5个卷积模块，所述解码网络采用了3个反卷积模块。所述编码网络和所述解码网络放大和/或缩小的因子为2。
S102、通过训练好的神经网络模型对所述舌体图片进行颜色校正，得到第二高层语义特征。
在该实施例中，由于舌体图片容易受环境影响，传统的图像处理技术由于需要大量的经验参数，不可避免地导致舌体校正准确度不高。而基于深度学习进行的技术，通常是指进行舌象识别或舌体分割，现有的技术通常忽略了舌象校正。所述颜色校正得到的第二高层语义特征，用于融合到后续网络的特征表达学习中，提高了环境适用性。
在其中一个实施例中，该步骤S102进一步包括了：
通过基于图像熵的灰度世界算法，对所述舌体图片进行颜色校正后生成目标图像进行训练；
对所述第二高层语义特征进行单通道卷积变换，得到颜色校正图。
在该实施例中，普通的颜色校正算法容易校正过度，因此，所述神经网络模型采用了基于图像熵的灰度世界算法，对所述舌体图片进行颜色校正进行训练，通过训练所述舌体图片生成目标图像进行监督学习，在颜色校正的模块的学习过程中，采用回归损失函数Smooth L1-Loss函数，得到所述第二高层语义特征，其中，所述回归损失函数Smooth L1-Loss函数就是学习目标，网络的参数的学习，采用所述回归损失函数Smooth L1-Loss，应用梯度下降法进行优化的，所述回归损失函数Smooth L1-Loss函数，能较好处理一些异常噪声点的干扰，防止校正过度。
在其中一个实施例中，该步骤S102进一步包括了：
计算所述舌体图片通道模块的一维离散相对熵；
计算所述通道模块的约束增益系数；
通过所述一维离散相对熵对所述约束增益系数进行约束，对所述舌体图片进行颜色校正。
在该实施例中，所述通道模块包括R通道、G通道、B通道，所述一维离散相对熵包括一维离散熵，所述一维离散熵是所述通道模块的分布特征统计；
在该实施例中，所述约束增益系数包括Kr约束增益系数，Kg约束增益系数，Kb约束增益系数，所述Kr约束增益系数为所述R通道的约束增益系数，所述Kg约束增益系数为所述G通道的约束增益系数，所述Kb约束增益系数为所述B通道的约束增益系数；
在该实施例中，所述舌体图片进行颜色校正后生成目标标签图像。
S103、通过所述神经网络模型对所述第一高层语义特征和所述第二高层语义特征进行合并操作，得到第三高层语义特征。
在该实施例中，所述第一高层语义特征包括若干个通道，所述第二高层语义特征包括一个通道，所述第三高层语义特征通过所述第一高层语义特征和所述第二高层语义特征进行通道的合并，所述合并过程采用1x1的卷积进行融合。
S104、通过所述神经网络模型对所述第三高层语义特征进行卷积运算，降维得到第四高层语义特征。
在该实施例中，所述第三高层语义特征包括若干个通道，进行卷积运算后，仍包括若干个通道，降维后所述第四高层语义特征只包括一个通道。
在其中一个实施例中，该步骤S104进一步包括：
对所述第四高层语义特征进行二值处理，得到舌体分割图。
在该实施例中，所述第四高层语义特征是用所述舌体分割图进行监督学习的。所述舌体分割图相当于人注意力机制中的掩模图。所述第四高层语义特征，是通过标注的舌体分割图和采用的交叉熵损失函数进行优化学习的，所述分割损失函数能较好处理目标区域的边缘。
S105、通过所述神经网络模型对所述第四高层语义特征进行指数操作，得到第五高层语义特征，其中，对所述第四高层语义特征和所述第五高层语义特征进行点乘操作，得到第六高层语义特征。
在该实施例中，所述融合过程利用生成的舌体分割特征图，融合到前面的第四高层语义特征，这便于后面分类。这过程模拟人视觉原理，先定位，再识别，所述第五层高层语义特征包括包括若干个通道，所述第六高层语义特征只包含一个通道，其中，通过所述指数操作高亮舌体区域，通过所述点乘操作对所述第五高层语义特征在空间维度上与所述第四高层语义特征进行融合，降低舌体分割边缘误差对后续分类识别的影响。
在该实施例中，所述指数操作和所述点乘操作，能模拟人的注意力机制，高亮舌体区域特征。
S106、通过所述神经网络的全连接层对所述第六高层语义特征进行分类运算，得到所述舌体图片分类结果。
在该实施例中，所述全连接层对所述第六高层语义特征进行分类运算，其中，所述分类运算是对所述第六高层语义特征进行特征压缩，所述通过所述神经网络的全连接层对所述第六高层语义特征进行分类运算，得到所述舌体图片分类结果，采用的损失函数为SoftmaxLoss损失函数，所述SoftmaxLoss分类损失函数，能较好处理区分多类问题，提高正确识别率。
在其中一个实施例中，所述S106进一步包括：
所述舌体图片分类结果包括舌色、苔色、苔质、舌形和/或舌象诊断结果。
在该实施例中，所述舌色包括舌淡红、舌淡、舌红、舌绛、舌暗红、舌淡紫、舌紫暗、舌边尖红(舌色局部特征)、瘀斑瘀点(舌色局部特征)。
在该实施例中，所述苔色包括苔白、苔黄白相兼、苔黄、苔灰黑。
在该实施例中，所述苔质包括苔薄、苔厚、苔腻、苔腐、苔少、苔无、苔剥。
在该实施例中，所述舌形包括苔薄、苔厚、苔腻、苔腐、苔少、苔无、苔剥。
在该实施例中，通过所述舌色、苔色、苔质、舌形，结合中医知识，给出所述舌象诊断结果。
上述实施例提供的舌体分类图片方法通过训练统一的神经网络模型，将舌体图片特征提取、舌体图片颜色校正、舌体图片分割和舌体图片识别融合到一起，其中，所述舌体图片通过特征提取得到第一高层语义特征，所述舌体图片通过颜色校正，得到第二高层语义特征用于指导神经网络的特征表达学习，提高了识别精度和环境适用性，通过所述第一高层语义特征与第二高层语义特征融合得到第三高层语义特征，所述第三高层语义特征通过后续卷积变换得到舌体分割图，舌体分割融合到后续分类特征中，这过程类似人的注意力机制，通过先定位后识别的直观思想，能降低了神经网络模型的复杂性。最后输出了舌体图片识别分类结果，解决了舌体图片分类系统复杂性高、精度低的技术问题。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种舌体图片分类装置，该舌体图片分类装置与上述实施例中舌体图片分类方法一一对应。如图3所示，该舌体图片分类装置包括特征提取模块11、颜色校正模块12、合并模块13、分割模块14、点乘模块15和分类模块16。各功能模块详细说明如下：
特征提取模块11，用于通过对舌体图片进行特征提取，得到第一高层语义特征。
第一特征单元，用于通过基于残差的U型网网络架构对所述第一高层语义特征进行特征提取。。
在该实施例中，所述第一特征单元包括编码网络和解码网络。其中，所述编码网络用于展现高层语义特征，所述解码网络通过结合解码网络采样的高层语义特征和解码网络进行还原，为均衡精度与速度，所述编码网络采用了5个卷积模块，所述解码网络采用了3个反卷积模块。所述编码网络和所述解码网络放大和/或缩小的因子为2。
颜色校正模块12，用于通过训练好的神经网络模型对所述舌体图片进行颜色校正，得到第二高层语义特征。
在其中一个实施例中，颜色校正模块12进一步包括：
训练单元，用于通过基于图像熵的灰度世界算法，对所述舌体图片进行颜色校正后生成目标图像进行训练；
第一图片输出单元，用于对所述第二高层语义特征进行单通道卷积变换，得到颜色校正图。
在该实施例中，所述训练单元是所述神经网络模型通过采用基于图像熵的灰度世界算法，对所述舌体图片进行颜色校正生成目标图像进行训练，在颜色校正模块的学习过程中，采用回归损失函数Smooth L1-Loss函数进行学习的。所述第一输出图片单元通过所述训练单元的所述第二高层语义特征进行卷积变换，得到颜色校正图。
在其中一个实施例中，颜色校正模块12进一步包括：
第一计算单元，用于计算所述舌体图片通道模块的一维离散相对熵；
第二计算单元，用于计算所述通道模块的约束增益系数；
校正单元，用于通过所述一维离散相对熵对所述约束增益系数进行约束，对所述舌体图片进行颜色校正。
在该实施例中，所述第一计算单元中所述通道模块包括R通道、G通道、B通道，所述一维离散相对熵包括一维离散熵，所述一维离散熵是所述通道模块的分布特征统计。
在该实施例中，所述第二计算单元中所述约束增益系数包括Kr约束增益系数，Kg约束增益系数，Kb约束增益系数，所述Kr约束增益系数为所述R通道的约束增益系数，所述Kg约束增益系数为所述G通道的约束增益系数，所述Kb约束增益系数为所述B通道的约束增益系数。
在该实施例中，所述校正单元通过所述第一计算单元计算得到的所述一维离散相对熵对所述第二计算单元计算得到的所述约束增益系数进行约束，对所述舌体图片生成颜色校正目标图像图。在颜色校正模块的过程中，采用回归损失函数Smooth L1-Loss函数，结合梯度下降法，进行网络的参数的学习。所述回归损失函数，能较好处理一些异常噪声点的干扰，防止校正过度。
合并模块13，用于通过所述神经网络模型对所述第一高层语义特征和所述第二高层语义特征进行合并操作，得到第三高层语义特征。
分割模块14，用于通过所述神经网络模型对所述第三高层语义特征进行卷积运算，降维得到第四高层语义特征。在其中一个实施例中，分割模块14进一步包括：
第二特征单元，用于通过所述神经网络模型对所述第三高层语义特征进行卷积运算，降维得到第四高层语义特征；
第二输出图片单元，用于对所述第四高层语义特征进行二值处理，得到舌体分割图。
在该实施例中，所述第二特征单元通过对所述第三高层语义特征进行卷积运算后，并降维得到第四高层语义特征，所述第二输出图片单元通过所述第二特征单元的所述第四高层语义特征进行二值处理得到舌体分割图。其中，所述分割模块的训练中，采用的损失函数为交叉熵损失函数，所述交叉熵损失函数能较好处理舌体边界的噪声。
点乘模块15，用于通过所述神经网络模型，对所述第四高层语义特征进行指数操作，得到第五高层语义特征，其中，对所述第四高层语义特征和所述第五高层语义特征进行点乘操作，得到第六高层语义特征。
分类模块16，用于通过所述神经网络的全连接层对所述第六高层语义特征进行分类运算，得到所述舌体图片分类结果。
在该实施例中，所述分类模块16，采用的损失函数为SoftmaxLoss损失函数，所述SoftmaxLoss分类损失函数，能较好处理区分多类问题，提高正确识别率。
在其中一个实施例中，分类模块16进一步包括：
舌色单元，用于对所述舌体图片的舌色特征进行分类；
苔色单元，用于对所述舌体图片的苔色特征进行分类；
苔质单元，用于对所述舌体图片的苔质特征进行分类；
舌形单元，用于对所述舌体图片的舌形特征进行分类；
诊断结果单元，用于对所述舌体图片识别分类进行结果诊断。
在该实施例中，所述舌色单元包括舌淡红、舌淡、舌红、舌绛、舌暗红、舌淡紫、舌紫暗、舌边尖红(舌色局部特征)、瘀斑瘀点(舌色局部特征)。所述苔色单元包括苔白、苔黄白相兼、苔黄、苔灰黑。所述苔质单元包括苔薄、苔厚、苔腻、苔腐、苔少、苔无、苔剥。所述舌形单元包括苔薄、苔厚、苔腻、苔腐、苔少、苔无、苔剥。所述诊断结果单元通过所述舌色单元、苔色单元、苔质单元、舌形单元，结合中医知识，给出所述舌象诊断结果。
其中上述模块/单元中的“第一”和“第二”的意义仅在于将不同的模块/单元加以区分，并不用于限定哪个模块/单元的优先级更高或者其它的限定意义。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或模块的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或模块，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或模块，本申请中所出现的模块的划分，仅仅是一种逻辑上的划分，实际应用中实现时可以有另外的划分方式。
关于舌体图片分类装置的具体限定可以参见上文中对于舌体图片分类方法的限定，在此不再赘述。上述舌体图片分类装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图4所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种舌体图片分类方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中舌体图片分类方法的步骤，例如图2所示的步骤S101至步骤S106及该方法的其它扩展和相关步骤的延伸。或者，处理器执行计算机程序时实现上述实施例中舌体图片分类装置的各模块/单元的功能，例如图3所示特征提取模块11、颜色校正模块12、合并模块13、分割模块14、点乘模块15和分类模块16的功能。为避免重复，这里不再赘述。
所述处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述计算机装置的控制中心，利用各种接口和线路连接整个计算机装置的各个部分。
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述计算机装置的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、视频数据等)等。
所述存储器可以集成在所述处理器中，也可以与所述处理器分开设置。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中舌体图片分类方法的步骤，例如图2所示的步骤S106至步骤S106及该方法的其它扩展和相关步骤的延伸。或者，计算机程序被处理器执行时实现上述实施例中舌体图片分类装置的各模块/单元的功能，例如图3所示特征提取模块11、颜色校正模块12、合并模块13、分割模块14、点乘模块15和分类模块16功能。为避免重复，这里不再赘述。
本实施例提供的计算机可读存储介质通过训练统一的神经网络模型，将舌体图片特征提取、舌体图片颜色校正、舌体图片分割和舌体图片识别融合到一起，其中，所述舌体图片通过特征提取得到第一高层语义特征，所述舌体图片通过颜色校正，得到第二高层语义特征用于指导神经网络的特征表达学习，提高了识别精度和环境适用性，通过所述第一高层语义特征与第二高层语义特征融合得到第三高层语义特征，所述第三高层语义特征通过卷积变换得到舌体分割信息，融合到后续高层特征，最后输出了舌体图片识别分类结果。舌体分割指导后续的过程，这采用人的注意力机制，通过先定位后识别的直观思想，降低了神经网络模型的复杂性，解决了舌体图片分类系统复杂性高、精度低的技术问题。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种舌体图片分类方法，其特征在于，所述方法包括以下步骤：
对舌体图片进行特征提取，得到第一高层语义特征；
通过训练好的神经网络模型对所述舌体图片进行颜色校正，得到第二高层语义特征；
通过所述神经网络模型对所述第一高层语义特征和所述第二高层语义特征进行合并操作，得到第三高层语义特征；
通过所述神经网络模型对所述第三高层语义特征进行卷积运算，降维得到第四高层语义特征；
通过所述神经网络模型对所述第四高层语义特征进行指数操作，得到第五高层语义特征，其中，对所述第四高层语义特征和所述第五高层语义特征进行点乘操作，得到第六高层语义特征；
通过所述神经网络的全连接层对所述第六高层语义特征进行分类运算，得到所述舌体图片分类结果。
2.根据权利要求1所述的舌体图片分类方法，其特征在于，所述对舌体图片进行特征提取，得到第一高层语义特征，还包括：
通过基于残差的U型网网络架构对所述第一高层语义特征进行特征提取。
3.根据权利要求1所述的舌体图片分类方法，其特征在于，所述通过训练好的神经网络模型，对所述舌体图片进行颜色校正，得到第二高层语义特征，所述方法还包括：
通过基于图像熵的灰度世界算法，对所述舌体图片进行颜色校正后生成目标图像进行训练；
对所述第二高层语义特征进行单通道卷积变换，得到颜色校正图。
4.根据权利要求3所述的舌体图片分类方法，其特征在于，所述基于图像熵的灰度世界算法，对所述舌体图片进行颜色校正后生成目标图像进行训练的步骤包括：
计算所述舌体图片通道模块的一维离散相对熵；
计算所述通道模块的约束增益系数；
通过所述一维离散相对熵对所述约束增益系数进行约束，对所述舌体图片进行颜色校正。
5.根据权利要求1所述的舌体图片分类方法，其特征在于，所述通过所述神经网络模型对所述第三高层语义特征进行卷积运算，降维得到第四高层语义特征的步骤包括：
对所述第四高层语义特征进行二值处理，得到舌体分割图。
6.根据权利要求1所述的舌体图片分类方法，其特征在于，所述舌体图片分类结果包括舌色、苔色、苔质、舌形和/或舌象诊断结果。
7.一种舌体图片分类装置，其特征在于，包括：
特征提取模块，用于通过对舌体图片进行特征提取，得到第一高层语义特征；
颜色校正模块，用于通过训练好的神经网络模型对所述舌体图片进行颜色校正，得到第二高层语义特征；
合并模块，用于通过所述神经网络模型对所述第一高层语义特征和所述第二高层语义特征进行合并操作，得到第三高层语义特征；
分割模块，用于通过所述神经网络模型对所述第三高层语义特征进行卷积运算，降维得到第四高层语义特征；
点乘模块，用于通过所述神经网络模型对所述第四高层语义特征进行指数操作，得到第五高层语义特征，其中，对所述第四高层语义特征和所述第五高层语义特征进行点乘操作，得到第六高层语义特征；
分类模块，用于通过所述神经网络的全连接层对所述第六高层语义特征进行分类运算，得到所述舌体图片分类结果。
8.根据权利要求7所述的舌体图片分类装置，其特征在于，所述颜色校正模块包括：
第一计算单元，用于计算所述舌体图片通道模块的一维离散相对熵；
第二计算单元，用于计算所述通道模块的约束增益系数；
校正单元，用于通过所述一维离散相对熵对所述约束增益系数进行约束，对所述舌体图片进行颜色校正。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6中任一项所述的舌体图片分类方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的舌体图片分类方法的步骤。
CN202011255702.6A 2020-11-11 2020-11-11 舌体图片分类方法、装置、计算机设备及存储介质 Active CN112529002B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011255702.6A CN112529002B (zh) 2020-11-11 2020-11-11 舌体图片分类方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011255702.6A CN112529002B (zh) 2020-11-11 2020-11-11 舌体图片分类方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112529002A CN112529002A (zh) 2021-03-19
CN112529002B true CN112529002B (zh) 2023-04-07

Family

ID=74980774

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011255702.6A Active CN112529002B (zh) 2020-11-11 2020-11-11 舌体图片分类方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112529002B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015060486A1 (ko) * 2013-10-25 2015-04-30 한국 한의학 연구원 영상 진단 장치 및 방법
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN111223553A (zh) * 2020-01-03 2020-06-02 大连理工大学 一种两阶段深度迁移学习中医舌诊模型
CN111524093A (zh) * 2020-03-23 2020-08-11 中润普达(十堰)大数据中心有限公司 一种异常舌象的智能筛查方法及其系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015060486A1 (ko) * 2013-10-25 2015-04-30 한국 한의학 연구원 영상 진단 장치 및 방법
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN111223553A (zh) * 2020-01-03 2020-06-02 大连理工大学 一种两阶段深度迁移学习中医舌诊模型
CN111524093A (zh) * 2020-03-23 2020-08-11 中润普达(十堰)大数据中心有限公司 一种异常舌象的智能筛查方法及其系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
肖庆新等.基于轻型卷积神经网络的舌苔颜色分类方法.《测控技术》.2019,第1-6页. *

Also Published As

Publication number Publication date
CN112529002A (zh) 2021-03-19

Similar Documents

Publication Publication Date Title
CN110504029B (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN110600122B (zh) 一种消化道影像的处理方法、装置、以及医疗系统
US20200364863A1 (en) Object recognition method and device, and storage medium
CN110288597B (zh) 基于注意力机制的无线胶囊内窥镜视频显著性检测方法
Playout et al. A multitask learning architecture for simultaneous segmentation of bright and red lesions in fundus images
US20220383661A1 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
US9750450B2 (en) Method, electronic apparatus, and computer readable medium of constructing classifier for skin-infection detection
WO2021057423A1 (zh) 图像处理方法、图像处理装置以及存储介质
CN110910351B (zh) 基于生成对抗网络的超声图像模态迁移、分类方法及终端
CN111325714B (zh) 感兴趣区域的处理方法、计算机设备和可读存储介质
CN113724228A (zh) 舌色苔色识别方法、装置、计算机设备及存储介质
CN109816666B (zh) 对称全卷积神经网络模型构建方法、眼底图像血管分割方法、装置、计算机设备及存储介质
Feng et al. Towards racially unbiased skin tone estimation via scene disambiguation
US20230058876A1 (en) Image processing method and apparatus based on image processing model, electronic device, storage medium, and computer program product
CN110974179A (zh) 一种基于深度学习的电子染色内镜下胃早癌的辅助诊断系统
CN111488912A (zh) 一种基于深度学习神经网络的喉部疾病诊断系统
CN113781488A (zh) 舌象图像的分割方法、装置及介质
CN110517771B (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN115775626A (zh) 多模态脑网络计算方法、装置、设备及存储介质
CN113889238B (zh) 一种图像识别方法、装置、电子设备及存储介质
CN112529002B (zh) 舌体图片分类方法、装置、计算机设备及存储介质
CN110110750B (zh) 一种原始图片的分类方法及装置
CN116453171A (zh) 白睛区域内血脉颜色的检测方法、装置、电子设备和介质
CN115547488A (zh) 基于vgg卷积神经网络和面部识别孤独症早筛系统及方法
WO2022012038A1 (zh) 图像处理方法及装置、电子设备、存储介质和程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 301, Building 14, Phase I, CEC Software Park, No. 39, Jianshan Road, High tech Development Zone, Changsha, Hunan 410205

Applicant after: Hunan Laolai Technology Co.,Ltd.

Address before: Room 401, building 14, phase I, Changsha Zhongdian Software Park, No. 39, Jianshan Road, high tech Development Zone, Changsha City, Hunan Province, 410205

Applicant before: Hunan laolaiwang Technology Development Co.,Ltd.

CB02 Change of applicant information
TA01 Transfer of patent application right

Effective date of registration: 20221102

Address after: 410205, Changsha high tech Zone, Hunan Province, China

Applicant after: Wisdom Eye Technology Co.,Ltd.

Address before: Room 301, Building 14, Phase I, CEC Software Park, No. 39, Jianshan Road, High tech Development Zone, Changsha, Hunan 410205

Applicant before: Hunan Laolai Technology Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant