CN116030961A - 一种基于多视图舌象特征融合的中医体质辨识方法及系统 - Google Patents

一种基于多视图舌象特征融合的中医体质辨识方法及系统 Download PDF

Info

Publication number
CN116030961A
CN116030961A CN202211668448.1A CN202211668448A CN116030961A CN 116030961 A CN116030961 A CN 116030961A CN 202211668448 A CN202211668448 A CN 202211668448A CN 116030961 A CN116030961 A CN 116030961A
Authority
CN
China
Prior art keywords
tongue
image
network
features
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211668448.1A
Other languages
English (en)
Inventor
钟利
张云
刘勇国
朱嘉静
李巧勤
兰刚
傅翀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202211668448.1A priority Critical patent/CN116030961A/zh
Publication of CN116030961A publication Critical patent/CN116030961A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Image Analysis (AREA)

Abstract

本发明涉及一种基于多视图舌象特征融合的中医体质辨识方法及系统，分别通过Mask RCNN和NanoDet网络分割出舌体，舌苔和舌下脉络区域，提取舌象的颜色、纹理和形状等特有特征；通过设计多层卷积隐藏特征提取网络，分别提取舌面和舌背的潜在特征；设计教师学生网络在不同路径特征融合时选取关键性特征，最后将提取特征用于体质分类。本发明可以针对复杂的舌象拍摄环境，准确的提取出舌象的特有特征，设计的多视图舌象特征提取模型能够融合舌面与舌下脉络关键特征，输出对应患者体质信息。本发明实现简单，体质辨识效率高，达到了应用的要求。

Description

一种基于多视图舌象特征融合的中医体质辨识方法及系统
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种基于多视图舌象特征融合的中医体质辨识方法及系统。
背景技术
舌诊作为望诊中的重要组成部分，通过观察舌的生理学和病理学形态来了解人的生理病理改变，从而对疾病做出诊断与评估；中医认为，体质决定了某些疾病的发生趋势和治疗效果。随着人工智能技术的发展及应用，基于《中医诊断学》、《舌诊学》等文献以及临床舌诊理论，将图像处理技术应用于中医舌诊，对舌象各类特征做出定性、定量、以及定位的客观化研究，将舌象特征用于体质识别具有重要的研究意义。
现有公开的中国专利“CN201811143472.7一种基于深度神经网络的舌象体质辨别方法及设备”提供了一种卷积神经网络结构，通过舌象图片识别模型识别待检测舌象图片，通过5个舌象特征模型分别计算待检测舌象图片表示的5种舌象特征的概率，将5种舌象特征通过组合确定特征组合对应的若干种体质；将若干种体质中概率最高的体质作为待检测舌象图片所对应的体质。
现有公开的中国专利“CN201910928674.0一种基于零样本学习的舌苔体质识别方法”将舌像的图像特征转化为图像语义向量，然后计算图像语义向量与每个体质类型对应的属性语义向量之间的相似度，最后输出最大相似度对应的体质类型作为所述输入舌头图像的体质类型。
但是现有公开的技术都是基于规范环境舌体图像数据，对于复杂背景舌象的特征提取能力不足，并且现有技术都是基于舌面特征信息，忽视了舌下脉络信息对于体质分类的贡献。
需要说明的是，在上述背景技术部分公开的信息只用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。
发明内容
本发明的目的在于克服现有技术的缺点，提供了一种基于多视图舌象特征融合的中医体质辨识方法及系统，解决了现有技术存在的缺陷。
本发明的目的通过以下技术方案来实现：一种基于多视图舌象特征融合的中医体质辨识方法，所述辨识方法包括：构建多视图舌象特征融合的中医体质辨识模型，其包括以下步骤：
舌象分割：将数据集中的舌面图像输入第一网络中分割提取舌体与舌苔区域，将数据集中的舌背图像输入第二网络中分割提取舌背区域；
舌象特征提取：通过多层卷积隐藏特征提取网络将原始舌面图像与分割后的舌背图像分别输入特征提取网络中，在进行图像转换后将舌面和舌背特征分别与多层卷积隐藏特征提取网络提取出的潜在特征组合，得到最终的舌面特征和舌背特征；
舌象特征融合与体质分类：将每个视图数据都经过全连接分类网络得到体质分类标签，计算多视图的分类损失，然后通过教师学生网络融合舌面特征和舌背特征关键特征，蒸馏非关键特征，计算每个视图的得分与总得分之间的蒸馏损失，最后通过随机梯度下降更新整个神经网络的参数得到最优模型，并通过该最优模型对输入的舌象图像的体质进行识别分类。
所述舌象分割具体包括以下内容：
将数据集D中的长宽分别为H1、W1的舌面图像I1输入Mask RCNN网络分割舌体与舌苔区域，其中通过多层卷积组成特征提取网络用于提取舌象潜在特征，针对特征图设定多个舌体候选框，通过二值分类和锚框回归过滤部分候选框，对齐剩余候选框形成舌体区域，最终将舌面分割为舌体区域I11和舌苔区域I12；
对于长宽分别为H2、W2的舌背图像I2，输入NanoDet网络提取舌背区域，通过特征提取网络降低图像分辨率，提高特征维度，特征金字塔网络将不同维度舌像特征输入，提取舌背高维特征和低维特征，最后将提取的多尺度特征通过边框回归和分类两个分支输出图像的舌背区域I2 ’。
所述舌象特征提取具体包括以下内容：
通过设计多层卷积隐藏特征提取网络将原始舌面图像I1与分割后的舌背图像I2 ’分别输入特征提取网络，网络结构中，每个卷积块的输入是来自两条路径的所有先前层的输出的串联，也就是密集连接不仅发生在同一路径内的层之间，而且还发生在不同路径的层之间，两条路径的特征计算公式为：
Figure BDA0004015391200000021
Figure BDA0004015391200000022
其中I表示网络中的舌象特征图，l表示网络的第l层，H为连接操作，通过最后一层网络分别得到舌面潜在特征
Figure BDA0004015391200000023
和舌背潜在特征
Figure BDA0004015391200000024
其中L表示网络的层数；
将舌面I11和I12转为HSV，计算出H、S、V通道总平均值作为颜色特征F1c，使用局部二值模式算法提取出舌体区域I11的形状特征F1b，使用Gabor滤波器提取舌苔区域I12的纹理特征F1t，对于舌背区域I2 ’，将图像转为HSV，计算出H、S、V通道平均值作为颜色特征F2c，使用局部二值模式和Gabor滤波器分别用于提取纹理特征F2b和形状特征F2t；
最后分别将舌面和舌背特征分别与多层卷积隐藏特征提取网络提取出的潜在特征组合，得到最终的舌面特征
Figure BDA0004015391200000031
和舌背特征
Figure BDA0004015391200000032
所述舌象特征融合与体质分类具体包括以下内容：
每个视图数据都经过全连接分类网络得到体质分类标签，然后计算多视图的分类损失
Figure BDA0004015391200000033
其中
Figure BDA0004015391200000034
分别表示舌面视图和舌背视图的分类损失，
Figure BDA0004015391200000035
表示舌面特征标签中推断为体质类别i的概率，
Figure BDA0004015391200000036
表示舌背特征标签中推断为体质类别i的概率，yi表示真实的体质类别标签，N表示体质类型的数量，综合两个视图的分数得到总的分类损失
Figure BDA0004015391200000037
通过教师学生网络融合舌面特征与舌背特征关键特征，蒸馏非关键特征，教师标签通过对各视图进行平局池化公式
Figure BDA0004015391200000038
获得；
分别计算学生软标签PS，V和教师软标签PT，其中向量PS，V与PT中的每个值的计算公式为
Figure BDA0004015391200000039
和
Figure BDA00040153912000000310
表示视图V属于体质类别i的概率标签，
Figure BDA00040153912000000311
表示融合标签中属于体质类别i的概率标签，
Figure BDA00040153912000000315
表示视图V属于体质类别i的特征标签，ft(Ii)表示教师标签ft(I)中属于体质类别i的特征标签，δ表示Softmax操作，τ为比例参数。
计算每个视图的得分与总得分的蒸馏损失
Figure BDA00040153912000000312
其中
Figure BDA00040153912000000313
分别表示舌面视图和舌背视图的蒸馏损失；
整体损失表示为
Figure BDA00040153912000000314
ρ，θ表示不同损失对应的权重参数，使用随机梯度下降来更新整个神经网络的参数，根据测试集选择最高的精确度的最优模型进行保存。
所述辨识方法还包括执行于所述构建多视图舌象特征融合的中医体质辨识模型步骤之前的原始舌象标注步骤和数据预处理步骤。
所述原始舌象标注步骤包括：针对初始舌像数据集，将同一患者的舌面与舌背图像放入同一文件夹，根据患者的不同体质将该患者的舌象文件夹按照平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质的类型放入不同文件夹，最后将数据按照7:3的比例分为训练集和测试集。
所述数据预处理步骤包括：采用改变舌象的对比度与亮度或者对训练舌体图像添加高斯噪声或者图像旋转的数据增强方法，通过这三种数据增强操作将数量低于平均类别数据1/2的舌象数量增加到1/2，得到增强数据集D。
一种基于多视图舌象特征融合的中医体质辨识系统，它包括多视图舌象特征融合的中医体质辨识模型构建模块，其包括舌象分割单元、舌象特征提取单元和舌象特征融合与体质分类单元；
所述舌象分割：用于将数据集中的舌面图像输入第一网络中分割提取舌体与舌苔区域，将数据集中的舌背图像输入第二网络中分割提取舌背区域；
所述舌象特征提取：用于通过多层卷积隐藏特征提取网络将原始舌面图像与分割后的舌背图像分别输入特征提取网络中，在进行图像转换后将舌面和舌背特征分别与多层卷积隐藏特征提取网络提取出的潜在特征组合，得到最终的舌面特征和舌背特征；
所述舌象特征融合与体质分类：用于将每个视图数据都经过全连接分类网络得到体质分类标签，计算多视图的分类损失，然后通过教师学生网络融合舌面特征和舌背特征关键特征，蒸馏非关键特征，计算每个视图的得分与总得分之间的蒸馏损失，最后通过随机梯度下降更新整个神经网络的参数得到最优模型，并通过该最优模型对输入的舌象图像的体质进行识别分类。
还包括执行于所述多视图舌象特征融合的中医体质辨识模型构建模块之前的原始舌象标注模块和数据预处理模块；
所述原始舌象标注模块：用于将同一患者的舌面与舌背图像放入同一文件夹，根据患者的不同体质将该患者的舌象文件夹按照平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质的类型放入不同文件夹，最后将数据按照7:3的比例分为训练集和测试集；
所述数据预处理模块：用于采用改变舌象的对比度与亮度或者对训练舌体图像添加高斯噪声或者图像旋转的数据增强方法，通过这三种数据增强操作将数量低于平均类别数据1/2的舌象数量增加到1/2，得到增强数据集D。
本发明具有以下优点：一种基于多视图舌象特征融合的中医体质辨识方法及系统，可以针对复杂的舌象拍摄环境，准确的提取出舌象的特有特征，设计的多视图舌象特征提取模型能够融合舌面与舌下脉络关键特征，输出对应患者体质信息。本发明实现简单，体质辨识效率高，达到了应用的要求。
附图说明
图1为本发明方法的流程示意图；
图2为SI-MTF网络结构示意图；
图3为MaskRCNN网络架构图；
图4为Nanodet网络架构图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本发明做进一步的描述。
本发明具体涉及一种基于多视图舌象特征融合的中医体质辨识方法，在多层卷积神经网络基础上，设计多路径密集连接神经网络提取舌面与舌背的隐藏特征，设计辅助特征提取模块分别提取舌面和舌下脉络的颜色、纹理、形状特征，将提取的特征通过教师学生网络实现不同路径特征融合，选取关键性特征。通过新的融合特征，构建分类器，实现中医体质辨识。
如图1所示，具体包括以下内容：
1、对于原始舌像进行人工标注：针对初始舌像数据集，将同一患者的舌面与舌背图像放入同一文件夹，根据患者的不同体质将该患者的舌象文件夹按照平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质的类型放入不同文件夹，最后将数据按照7:3的比例分为训练集和测试集。
2、针对初始舌像数据集中舌像的体质类别存在数据严重不平衡问题，通过如下三种数据增强操作将数量低于平均类别数1/2的舌像数量增加到1/2，得到增强数据集D。
(1)改变舌像的对比度与亮度：调整图像对比度，进行颜色的变化，模拟不同场景拍摄图像，变换过程如下：
g(i，j)＝αf(i，j)+β
f(i，j)表示输入像素值，g(i，j)表示输出像素值，其中α>0,用于控制对比度的强弱，值大于1表示对比度强，值小于1表示对比度弱；β是增益变量，表示亮度的强弱，值越大则亮度越高。
(2)对训练舌体图像添加高斯噪声，模拟舌象拍摄时场景较暗的场景，具体实现步骤如下：
A1、输入一张舌像Iin；
A2、根据高斯噪声的概率密度函数
Figure BDA0004015391200000061
其中，x表示图像像素的灰度值，μ表示生成图像像素值的平均值或期望值，决定整个图像的明暗程度，为随机生成；δ表示随机生成的像素的标准差，其值越大，数据越分散，噪声也就越多；图像中每个像素点都按公式
Figure BDA0004015391200000062
的方法计算，得到符合高斯分布并且大小与图像Iin相同的高斯噪声矩阵M。
A3、将原图像Iin和生成的矩阵M相加，得到添加高斯噪声之后的舌像：Iout＝Iin+M。
(3)图像旋转：具体的旋转映射步骤为：
B1、选取舌像中的像素点
Figure BDA0004015391200000063
其中x,y代表在该点像素在图像中的二维坐标，c表示属于图像R,G,B中的某层。
B2、随机生成旋转角度，生成旋转矩阵R，其中β表示旋转的角度。
Figure BDA0004015391200000064
B3、将像素点P乘以旋转矩阵得到在新图像中的位置坐标[x′,y′,c]。
Figure BDA0004015391200000065
3、多视图舌象特征融合的中医体质辨识模型(SI-MTF)构建，如图2所示，其主要分为舌象分割、特征提取、特征融合与体质分类三部分。
SI-MTF采用分层卷积神经网络进行舌面与舌背的特征提取，其中同一路径内的层对之间与不同路径的层之间可以进行特征的传递。每个视图的特征都经过自己的潜在特征提取模块，针对性的提取舌面和舌背的颜色，纹理，形状特征，使用SoftMax函数计算每个视图分支的概率，并计算视图分类损失。通过合并的2个视图计算教师软标签，使用学生软标签和教师软标签，融入一致性和互补性信息，计算视图蒸馏损失，最终提高最终体质识别准确度。具体实现过程如下：
(1)舌象分割：将数据集D中的长宽分别为H1、W1的舌面图像I1输入Mask RCNN网络分割舌体与舌苔区域，如图3所示，其中通过多层卷积组成特征提取网络用于提取舌象潜在特征，针对特征图设定多个舌体候选框，通过二值分类和锚框回归过滤部分候选框，对齐剩余候选框形成舌体区域，最终将舌面分割为舌体区域I11和舌苔区域I12；
对于长宽分别为H2、W2的舌背图像I2，输入NanoDet网络提取舌背区域，如图4所示，通过特征提取网络降低图像分辨率，提高特征维度，特征金字塔网络将不同维度舌像特征输入，提取舌背高维特征和低维特征，最后将提取的多尺度特征通过边框回归和分类两个分支输出图像的舌背区域I2’。
(2)舌象特征提取：通过设计多层卷积隐藏特征提取网络将原始舌面图像I1与分割后的舌背图像I2’分别输入特征提取网络，网络结构中，每个卷积块的输入是来自两条路径的所有先前层的输出的串联，也就是密集连接不仅发生在同一路径内的层之间，而且还发生在不同路径的层之间，两条路径的特征计算公式为：
Figure BDA0004015391200000071
Figure BDA0004015391200000072
其中I表示网络中的舌象特征图，l表示网络的第l层，H为连接操作，通过最后一层网络分别得到舌面潜在特征
Figure BDA0004015391200000073
和舌背潜在特征
Figure BDA0004015391200000074
其中L表示网络的层数；
将舌面I11和I12转为HSV，计算出H、S、V通道总平均值作为颜色特征F1c，使用局部二值模式算法提取出舌体区域I11的形状特征F1b，使用Gabor滤波器提取舌苔区域I12的纹理特征F1t，对于舌背区域I2’，将图像转为HSV，计算出H、S、V通道平均值作为颜色特征F2c，使用局部二值模式和Gabor滤波器分别用于提取纹理特征F2b和形状特征F2t；
最后分别将舌面和舌背特征分别与多层卷积隐藏特征提取网络提取出的潜在特征组合，得到最终的舌面特征
Figure BDA0004015391200000075
和舌背特征
Figure BDA0004015391200000076
(3)舌象特征融合与体质分类：每个视图数据都经过全连接分类网络得到体质分类标签，然后计算多视图的分类损失
Figure BDA0004015391200000077
其中
Figure BDA0004015391200000078
分别表示舌面视图和舌背视图的分类损失，
Figure BDA0004015391200000079
表示舌面特征标签中推断为体质类别i的概率，
Figure BDA00040153912000000711
表示舌背特征标签中推断为体质类别i的概率，yi表示真实的体质类别标签，N表示体质类型的数量，综合两个视图的分数得到总的分类损失
Figure BDA00040153912000000710
通过教师学生网络融合舌面特征与舌背特征关键特征，蒸馏非关键特征，教师标签通过对各视图进行平局池化公式
Figure BDA0004015391200000088
获得；
分别计算学生软标签PS，V和教师软标签PT，其中向量PS，V与PT中的每个值的计算公式为
Figure BDA0004015391200000081
和
Figure BDA0004015391200000082
表示视图V属于体质类别i的概率标签，
Figure BDA0004015391200000083
表示融合标签中属于体质类别i的概率标签，
Figure BDA0004015391200000084
表示视图V属于体质类别i的特征标签，ft(Ii)表示教师标签ft(I)中属于体质类别i的特征标签，δ表示Softmax操作，τ为比例参数。
计算每个视图的得分与总得分的蒸馏损失
Figure BDA0004015391200000085
其中
Figure BDA0004015391200000086
分别表示舌面视图和舌背视图的蒸馏损失；
整体损失表示为
Figure BDA0004015391200000087
ρ，θ表示不同损失对应的权重参数，使用随机梯度下降来更新整个神经网络的参数，根据测试集选择最高的精确度的最优模型进行保存。
4、模型使用；
将拍摄的单张或者多张舌体图像读入，加载已保存的最优模型，将图像送入模型，模型输出最终属于舌象的体质识别结果。
本发明提出了SI-MTF网络结构：1.分别通过Mask RCNN和NanoDet网络分割出舌体，舌苔和舌下脉络区域，提取舌象的颜色、纹理和形状等特有特征。2.通过设计多层卷积隐藏特征提取网络，分别提取舌面和舌背的潜在特征。3.设计教师学生网络在不同路径特征融合时选取关键性特征，最后将提取特征用于体质分类。
以上所述仅是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (9)

1.一种基于多视图舌象特征融合的中医体质辨识方法，其特征在于：所述辨识方法包括：构建多视图舌象特征融合的中医体质辨识模型，其包括以下步骤：
舌象分割：将数据集中的舌面图像输入第一网络中分割提取舌体与舌苔区域，将数据集中的舌背图像输入第二网络中分割提取舌背区域；
舌象特征提取：通过多层卷积隐藏特征提取网络将原始舌面图像与分割后的舌背图像分别输入特征提取网络中，在进行图像转换后将舌面和舌背特征分别与多层卷积隐藏特征提取网络提取出的潜在特征组合，得到最终的舌面特征和舌背特征；
舌象特征融合与体质分类：将每个视图数据都经过全连接分类网络得到体质分类标签，计算多视图的分类损失，然后通过教师学生网络融合舌面特征和舌背特征关键特征，蒸馏非关键特征，计算每个视图的得分与总得分之间的蒸馏损失，最后通过随机梯度下降更新整个神经网络的参数得到最优模型，并通过该最优模型对输入的舌象图像的体质进行识别分类。
2.根据权利要求1所述的一种基于多视图舌象特征融合的中医体质辨识方法，其特征在于：所述舌象分割具体包括以下内容：
将数据集D中的长宽分别为H1、W1的舌面图像I1输入Mask RCNN网络分割舌体与舌苔区域，其中通过多层卷积组成特征提取网络用于提取舌象潜在特征，针对特征图设定多个舌体候选框，通过二值分类和锚框回归过滤部分候选框，对齐剩余候选框形成舌体区域，最终将舌面分割为舌体区域I11和舌苔区域I12；
对于长宽分别为H2、W2的舌背图像I2，输入NanoDet网络提取舌背区域，通过特征提取网络降低图像分辨率，提高特征维度，特征金字塔网络将不同维度舌像特征输入，提取舌背高维特征和低维特征，最后将提取的多尺度特征通过边框回归和分类两个分支输出图像的舌背区域I2 ’。
3.根据权利要求2所述的一种基于多视图舌象特征融合的中医体质辨识方法，其特征在于：所述舌象特征提取具体包括以下内容：
通过设计多层卷积隐藏特征提取网络将原始舌面图像I1与分割后的舌背图像I2 ’分别输入特征提取网络，网络结构中，每个卷积块的输入是来自两条路径的所有先前层的输出的串联，也就是密集连接不仅发生在同一路径内的层之间，而且还发生在不同路径的层之间，两条路径的特征计算公式为：
Figure FDA0004015391190000011
Figure FDA0004015391190000012
其中I表示网络中的舌象特征图，l表示网络的第l层，H为连接操作，通过最后一层网络分别得到舌面潜在特征
Figure FDA0004015391190000021
和舌背潜在特征
Figure FDA0004015391190000022
其中L表示网络的层数；
将舌面I11和I12转为HSV，计算出H、S、V通道总平均值作为颜色特征F1c，使用局部二值模式算法提取出舌体区域I11的形状特征F1b，使用Gabor滤波器提取舌苔区域I12的纹理特征F1t，对于舌背区域I2’，将图像转为HSV，计算出H、S、V通道平均值作为颜色特征F2c，使用局部二值模式和Gabor滤波器分别用于提取纹理特征F2b和形状特征F2t；
最后分别将舌面和舌背特征分别与多层卷积隐藏特征提取网络提取出的潜在特征组合，得到最终的舌面特征
Figure FDA0004015391190000023
和舌背特征
Figure FDA0004015391190000024
4.根据权利要求3所述的一种基于多视图舌象特征融合的中医体质辨识方法，其特征在于：所述舌象特征融合与体质分类具体包括以下内容：
每个视图数据都经过全连接分类网络得到体质分类标签，然后计算多视图的分类损失
Figure FDA0004015391190000025
其中
Figure FDA0004015391190000026
分别表示舌面视图和舌背视图的分类损失，
Figure FDA0004015391190000027
表示舌面特征标签中推断为体质类别i的概率，
Figure FDA0004015391190000028
表示舌背特征标签中推断为体质类别i的概率，yi表示真实的体质类别标签，N表示体质类型的数量，综合两个视图的分数得到总的分类损失
Figure FDA0004015391190000029
通过教师学生网络融合舌面特征与舌背特征关键特征，蒸馏非关键特征，教师标签通过对各视图进行平局池化公式
Figure FDA00040153911900000210
获得；
分别计算学生软标签PS，V和教师软标签PT，其中向量PS，V与PT中的每个值的计算公式为
Figure FDA00040153911900000211
和
Figure FDA00040153911900000212
Figure FDA00040153911900000213
表示视图V属于体质类别i的概率标签，
Figure FDA00040153911900000214
表示融合标签中属于体质类别i的概率标签，
Figure FDA00040153911900000215
表示视图V属于体质类别i的特征标签，ft(Ii)表示教师标签ft(I)中属于体质类别i的特征标签，δ表示Softmax操作，τ为比例参数。
计算每个视图的得分与总得分的蒸馏损失
Figure FDA00040153911900000216
其中
Figure FDA00040153911900000217
分别表示舌面视图和舌背视图的蒸馏损失；
整体损失表示为
Figure FDA00040153911900000218
ρ，θ表示不同损失对应的权重参数，使用随机梯度下降来更新整个神经网络的参数，根据测试集选择最高的精确度的最优模型进行保存。
5.根据权利要求1-4中任意一项所述的一种基于多视图舌象特征融合的中医体质辨识方法，其特征在于：所述辨识方法还包括执行于所述构建多视图舌象特征融合的中医体质辨识模型步骤之前的原始舌象标注步骤和数据预处理步骤。
6.根据权利要求5所述的一种基于多视图舌象特征融合的中医体质辨识方法，其特征在于：所述原始舌象标注步骤包括：针对初始舌像数据集，将同一患者的舌面与舌背图像放入同一文件夹，根据患者的不同体质将该患者的舌象文件夹按照平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质的类型放入不同文件夹，最后将数据按照7:3的比例分为训练集和测试集。
7.根据权利要求5所述的一种基于多视图舌象特征融合的中医体质辨识方法，其特征在于：所述数据预处理步骤包括：采用改变舌象的对比度与亮度或者对训练舌体图像添加高斯噪声或者图像旋转的数据增强方法，通过这三种数据增强操作将数量低于平均类别数据1/2的舌象数量增加到1/2，得到增强数据集D。
8.一种基于多视图舌象特征融合的中医体质辨识系统，其特征在于：它包括多视图舌象特征融合的中医体质辨识模型构建模块，其包括舌象分割单元、舌象特征提取单元和舌象特征融合与体质分类单元；
所述舌象分割：用于将数据集中的舌面图像输入第一网络中分割提取舌体与舌苔区域，将数据集中的舌背图像输入第二网络中分割提取舌背区域；
所述舌象特征提取：用于通过多层卷积隐藏特征提取网络将原始舌面图像与分割后的舌背图像分别输入特征提取网络中，在进行图像转换后将舌面和舌背特征分别与多层卷积隐藏特征提取网络提取出的潜在特征组合，得到最终的舌面特征和舌背特征；
所述舌象特征融合与体质分类：用于将每个视图数据都经过全连接分类网络得到体质分类标签，计算多视图的分类损失，然后通过教师学生网络融合舌面特征和舌背特征关键特征，蒸馏非关键特征，计算每个视图的得分与总得分之间的蒸馏损失，最后通过随机梯度下降更新整个神经网络的参数得到最优模型，并通过该最优模型对输入的舌象图像的体质进行识别分类。
9.根据权利要求8所述的一种基于多视图舌象特征融合的中医体质辨识系统，其特征在于：还包括执行于所述多视图舌象特征融合的中医体质辨识模型构建模块之前的原始舌象标注模块和数据预处理模块；
所述原始舌象标注模块：用于将同一患者的舌面与舌背图像放入同一文件夹，根据患者的不同体质将该患者的舌象文件夹按照平和质、气虚质、阳虚质、阴虚质、痰湿质、湿热质、血瘀质、气郁质、特禀质的类型放入不同文件夹，最后将数据按照7:3的比例分为训练集和测试集；
所述数据预处理模块：用于采用改变舌象的对比度与亮度或者对训练舌体图像添加高斯噪声或者图像旋转的数据增强方法，通过这三种数据增强操作将数量低于平均类别数据1/2的舌象数量增加到1/2，得到增强数据集D。
CN202211668448.1A 2022-12-23 2022-12-23 一种基于多视图舌象特征融合的中医体质辨识方法及系统 Pending CN116030961A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211668448.1A CN116030961A (zh) 2022-12-23 2022-12-23 一种基于多视图舌象特征融合的中医体质辨识方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211668448.1A CN116030961A (zh) 2022-12-23 2022-12-23 一种基于多视图舌象特征融合的中医体质辨识方法及系统

Publications (1)

Publication Number Publication Date
CN116030961A true CN116030961A (zh) 2023-04-28

Family

ID=86077154

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211668448.1A Pending CN116030961A (zh) 2022-12-23 2022-12-23 一种基于多视图舌象特征融合的中医体质辨识方法及系统

Country Status (1)

Country Link
CN (1) CN116030961A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611581A (zh) * 2024-01-18 2024-02-27 之江实验室 一种基于多模态信息的舌象识别方法、装置及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117611581A (zh) * 2024-01-18 2024-02-27 之江实验室 一种基于多模态信息的舌象识别方法、装置及电子设备
CN117611581B (zh) * 2024-01-18 2024-05-14 之江实验室 一种基于多模态信息的舌象识别方法、装置及电子设备

Similar Documents

Publication Publication Date Title
CN107977671B (zh) 一种基于多任务卷积神经网络的舌象分类方法
CN111476292B (zh) 医学图像分类处理人工智能的小样本元学习训练方法
CN108182441B (zh) 平行多通道卷积神经网络、构建方法及图像特征提取方法
CN108615010B (zh) 基于平行卷积神经网络特征图融合的人脸表情识别方法
CN111612807B (zh) 一种基于尺度和边缘信息的小目标图像分割方法
CN111242841B (zh) 一种基于语义分割和深度学习的图片背景风格迁移方法
CN110599448A (zh) 基于MaskScoring R-CNN网络的迁移学习肺部病变组织检测系统
CN112529042B (zh) 一种基于双重注意力多示例深度学习的医学图像分类方法
CN107169974A (zh) 一种基于多监督全卷积神经网络的图像分割方法
CN109858466A (zh) 一种基于卷积神经网络的人脸关键点检测方法及装置
CN109711426A (zh) 一种基于gan和迁移学习的病理图片分类装置及方法
CN107844795A (zh) 基于主成分分析的卷积神经网络特征提取方法
WO2022127500A1 (zh) 基于多个神经网络的mri图像分割方法、装置及设备
CN111652273B (zh) 一种基于深度学习的rgb-d图像分类方法
CN111222519B (zh) 一种层次化彩绘文物线稿提取模型构建、方法及装置
CN107153840A (zh) 一种基于卷积神经的农作物害虫图像识别方法
CN111178121B (zh) 基于空间特征和深度特征强化技术的害虫图像定位识别方法
CN113610046B (zh) 一种基于深度视频联动特征的行为识别方法
CN110288613A (zh) 一种超高像素的组织病理图像分割方法
CN116030961A (zh) 一种基于多视图舌象特征融合的中医体质辨识方法及系统
Lin et al. Lateral refinement network for contour detection
CN113724354A (zh) 基于参考图颜色风格的灰度图像着色方法
CN116012922A (zh) 一种适于口罩佩戴状态的人脸图像性别识别方法
Mamdouh et al. A New Model for Image Segmentation Based on Deep Learning.
CN115035127A (zh) 一种基于生成式对抗网络的视网膜血管分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination