CN115937094A - 智能舌诊图像处理和识别方法及系统 - Google Patents

智能舌诊图像处理和识别方法及系统 Download PDF

Info

Publication number
CN115937094A
CN115937094A CN202211367338.1A CN202211367338A CN115937094A CN 115937094 A CN115937094 A CN 115937094A CN 202211367338 A CN202211367338 A CN 202211367338A CN 115937094 A CN115937094 A CN 115937094A
Authority
CN
China
Prior art keywords
tongue
detection result
intelligent
label
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211367338.1A
Other languages
English (en)
Inventor
唐飞
李游
徐志斌
吴呈彪
陈瑶
廖欣
甘元凯
郑州
周灿
张文凤
严旗
牟广
潘克
林海婷
陈君
林思晨
李兰雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Chunbo Vientiane Technology Co ltd
Original Assignee
Hunan Chunbo Vientiane Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan Chunbo Vientiane Technology Co ltd filed Critical Hunan Chunbo Vientiane Technology Co ltd
Priority to CN202211367338.1A priority Critical patent/CN115937094A/zh
Publication of CN115937094A publication Critical patent/CN115937094A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本发明公开了一种智能舌诊图像处理和识别方法及系统,通过获取体质辨识分享码传送过来的舌头图像,体质辨识分享码为云端给每个诊所生成的专属分享码;对获取的舌头图像进行分割处理得到舌体图像;对分割处理得到的舌体图像进行智能数据比对,生成智能舌诊报告单,智能舌诊报告单包括诊断结果与调理建议;根据生成的智能舌诊报告单,开具体质调理产品。本发明能够将各个舌体属性的特征值组合成一个多维的舌象特征向量,并通过输出单元将舌象特征向量输出,为患者的体质类型判别及开具调理产品提供参考依据,有利于为患者提供更适合的调理建议。

Description

智能舌诊图像处理和识别方法及系统
技术领域
本发明涉及图像处理技术领域,尤其公开了一种智能舌诊图像处理和识别方法及系统。
背景技术
舌诊是观察舌头的色泽、形态的变化来辅助诊断及鉴别的一个简单有效的方法。舌诊,诊断学名词。为望诊重点内容之一,观指标。
现有技术的舌诊流程主要是:医疗机构挂号——医生问询、患者主诉病情——医生凭经验对舌体情况进行辩别——直接根据症状开具处方。
在这一过程中,医生仅凭经验对舌体情况进行辨别,开具的调理处方没有规范的参考模板,且处方单及相关舌体情况单未留存,导致调理之后舌体变化情况仅靠医生记忆或患者叙述,不准确的可能性较大。
因此,现有舌诊流程中存在的上述缺陷,是目前亟待解决的技术问题。
发明内容
本发明提供了一种智能舌诊图像处理和识别方法及系统,旨在解决现有舌诊流程中存在的上述缺陷。
本发明的一方面涉及一种智能舌诊图像处理和识别方法,包括以下步骤:
获取体质辨识分享码传送过来的舌头图像,体质辨识分享码为云端给每个诊所生成的专属分享码;
对获取的舌头图像进行分割处理得到舌体图像;
对分割处理得到的舌体图像进行智能数据比对,生成智能舌诊报告单,智能舌诊报告单包括诊断结果与调理建议;
根据生成的智能舌诊报告单,开具体质调理产品。
进一步地,对获取的舌头图像进行分割处理得到舌体图像的步骤包括:
采用UNet训练模型对获取的舌头图像中的舌头进行分割处理得到舌象图片;
使用分类算法对分割处理得到的舌象图片中的舌象进行分类和体质判别;
根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数。
进一步地,根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数的步骤包括:
获取舌体图像的检测结果和真实标签,计算出初始的交叉熵;
对计算出的初始的交叉熵进行变换,获取检测结果与真实标签的等价取值函数关系式;
根据获取的检测结果与真实标签的等价取值函数关系式,得出对检测结果与真实标签进行交叉熵计算变换后的计算式;
根据得出的交叉熵计算变换后的计算式,计算出训练数据集中带有标签平滑的损失函数。
进一步地,计算出初始的交叉熵为:
Figure BDA0003923818320000021
其中,CE(p,y)是初始的交叉熵,p为检测结果,y为真实标签;
检测结果与真实标签的等价取值函数关系式为:
Figure BDA0003923818320000022
其中,Pt是检测结果与真实标签的等价取值函数关系式,p为检测结果,y为真实标签。
进一步地,交叉熵计算变换后的计算式为:
CE(p,y)=CE(pt)=-log(pt)
其中,-log(pt)是检测结果与真实标签进行交叉熵计算变换后的计算式,CE(p,y)是初始的交叉熵,Pt是检测结果与真实标签的等价取值函数关系式;
带有标签平滑的损失函数为:
Figure BDA0003923818320000031
其中,Lfocal为带有标签平滑的损失函数,Pt是检测结果与真实标签的等价取值函数关系式,γ为统计校正因数,0<γ<5。
本发明的另一方面涉及一种智能舌诊图像处理和识别系统,包括:
获取模块,用于获取体质辨识分享码传送过来的舌头图像,体质辨识分享码为云端给每个诊所生成的专属分享码;
处理模块,用于对获取的舌头图像进行分割处理得到舌体图像;
生成模块,用于对分割处理得到的舌体图像进行智能数据比对,生成智能舌诊报告单,智能舌诊报告单包括诊断结果与调理建议;
开具模块,用于根据生成的智能舌诊报告单,开具体质调理产品。
进一步地,处理模块包括:
分割处理单元,用于采用UNet训练模型对获取的舌头图像中的舌头进行分割处理得到舌象图片;
体质判别单元,用于使用分类算法对分割处理得到的舌象图片中的舌象进行分类和体质判别;
计算单元,用于根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数。
进一步地,计算单元包括:
第一计算子单元,用于获取舌体图像的检测结果和真实标签,计算出初始的交叉熵;
变换子单元,用于对计算出的初始的交叉熵进行变换,获取检测结果与真实标签的等价取值函数关系式;
第二计算子单元,用于根据获取的检测结果与真实标签的等价取值函数关系式,得出对检测结果与真实标签进行交叉熵计算变换后的计算式;
第三计算子单元,用于根据得出的交叉熵计算变换后的计算式,计算出训练数据集中带有标签平滑的损失函数。
进一步地,计算出初始的交叉熵为:
Figure BDA0003923818320000041
其中,CE(p,y)是初始的交叉熵,p为检测结果,y为真实标签;
检测结果与真实标签的等价取值函数关系式为:
Figure BDA0003923818320000042
其中,Pt是检测结果与真实标签的等价取值函数关系式,p为检测结果,y为真实标签。
进一步地,交叉熵计算变换后的计算式为:
CE(p,y)=CE(pt)=-log(pt)
其中,-log(pt)是检测结果与真实标签进行交叉熵计算变换后的计算式,CE(p,y)是初始的交叉熵,Pt是检测结果与真实标签的等价取值函数关系式;
带有标签平滑的损失函数为:
Figure BDA0003923818320000043
其中,Lfocal为带有标签平滑的损失函数,Pt是检测结果与真实标签的等价取值函数关系式,γ为统计校正因数,0<γ<5。
本发明所取得的有益效果为:
本发明提供一种智能舌诊图像处理和识别方法及系统,通过获取体质辨识分享码传送过来的舌头图像,体质辨识分享码为云端给每个诊所生成的专属分享码;对获取的舌头图像进行分割处理得到舌体图像;对分割处理得到的舌体图像进行智能数据比对,生成智能舌诊报告单,智能舌诊报告单包括诊断结果与调理建议;根据生成的智能舌诊报告单,开具体质调理产品。本发明提供的智能舌诊图像处理和识别方法及系统,能够从舌诊数据库中自动筛选出患者的舌头图像,从舌头图像中提取出舌体部分,从舌体图像中分析并识别出舌苔薄厚度、舌苔润燥度、舌苔腐腻状况、舌纹状况以及舌体胖瘦程度等舌体属性,将各个舌体属性的特征值组合成一个多维的舌象特征向量,并通过输出单元将舌象特征向量输出,为患者的体质类型判别及开具调理产品提供参考依据,有利于为患者提供更适合的调理建议。
附图说明
图1为本发明提供的智能舌诊图像处理和识别方法一实施例的流程示意图;
图2为本发明采用UNet训练模型对舌头进行分割的UNet网络结构图;
图3为本发明由舌头图像输入至舌象特征向量输出的特征图;
图4为图1中所示的对获取的舌头图像进行分割处理得到舌体图像的步骤中一实施例的细化流程示意图;
图5为图4中所示的根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数的步骤中一实施例的细化流程示意图;
图6本发明使用标签平滑建模与传统的one-hot类型标签的效果对比示意图;
图7为本发明提供的智能舌诊图像处理和识别系统一实施例的功能框图;
图8为图7中所示的处理模块一实施例的功能框图;
图9为图8中所示的计算单元一实施例的功能框图。
附图标号说明:
10、获取模块;20、处理模块;30、生成模块;40、开具模块;21、分割处理单元;22、体质判别单元;23、计算单元;231、第一计算子单元;232、变换子单元;233、第二计算子单元;234、第三计算子单元。
具体实施方式
为了更好的理解上述技术方案,下面将结合说明书附图以及具体的实施方式对上述技术方案做详细的说明。
如图1至图6所示,本发明第一实施例提出一种智能舌诊图像处理和识别方法,包括以下步骤:
步骤S100、获取体质辨识分享码传送过来的舌头图像,体质辨识分享码为云端给每个诊所生成的专属分享码。
云端给每个诊所生成专属的体质辨识分享码,该体质辨识分享码用于通过用户扫描该二维码获取用户个人信息,在该用户个人信息中包括舌头图像。体质辨识分享码将舌头图像传送给系统,系统获取体质辨识分享码传送过来的舌头图像。
步骤S200、对获取的舌头图像进行分割处理得到舌体图像。
系统将获取到的舌头图像进行分割处理,识别出舌头图像中的舌体,得到舌体图像。
步骤S300、对分割处理得到的舌体图像进行智能数据比对,生成智能舌诊报告单,智能舌诊报告单包括诊断结果与调理建议。
系统对分割处理得到舌体图像与预设在舌体图像数据库中的舌体图像一一进行对比,获取对比舌体图像结果,并将获取的对比舌体图像结果进行汇总,生成智能舌诊报告单,该智能舌诊报告单包括诊断结果与调理建议。
步骤S400、根据生成的智能舌诊报告单,开具体质调理产品。
系统根据生成的智能舌诊报告单中的诊断结果与调理建议,开具体质调理产品。
本实施例提供的智能舌诊图像处理和识别方法,同现有技术相比,通过获取体质辨识分享码传送过来的舌头图像,体质辨识分享码为云端给每个诊所生成的专属分享码;对获取的舌头图像进行分割处理得到舌体图像;对分割处理得到的舌体图像进行智能数据比对,生成智能舌诊报告单,智能舌诊报告单包括诊断结果与调理建议;根据生成的智能舌诊报告单,开具体质调理产品。本实施例提供的智能舌诊图像处理和识别方法,能够从舌诊数据库中自动筛选出患者的舌头图像,从舌头图像中提取出舌体部分,从舌体图像中分析并识别出舌苔薄厚度、舌苔润燥度、舌苔腐腻状况、舌纹状况以及舌体胖瘦程度等舌体属性,将各个舌体属性的特征值组合成一个多维的舌象特征向量,并通过输出单元将舌象特征向量输出,为患者的体质类型判别及开具调理产品提供参考依据,有利于为患者提供更适合的调理建议。
进一步地,请见图4,图4为图1中所示的对获取的舌头图像进行分割处理得到舌体图像的步骤中一实施例的细化流程示意图,在本实施例中,步骤S200包括:
步骤S210、采用UNet训练模型对获取的舌头图像中的舌头进行分割处理得到舌象图片。
采用UNet训练模型对获取的舌头图像进行卷积和池化,池化分4次,比方说一开始的图片是256x256的,那么就会变成128x128,64x64,32x32,16x16四个不同层级的特征图。然后对16x16的特征图做反卷积,得到32x32的特征图,这个32x32的特征图与之前的32x32的特征图进行通道上的拼接concat,然后再对拼接之后的特征图做卷积和上采样,得到64x64的特征图,再与之前的64x64的特征拼接、卷积,再上采样,经过四次上采样可以得到一个与输入图像尺寸相同的256x256的预测结果。
采用UNet训练模型中的U型结构可以用来获取上下文的信息和位置信息,相比传统的方法,采用不同尺度的特征融合来获取多维度的信息,对舌象图片不同通道数的拼接,形成更深层次的特征,这也使得提取出的特征更加符合真实场景,为下游任务打好基础。
步骤S220、使用分类算法对分割处理得到的舌象图片中的舌象进行分类和体质判别。
在对舌象分割出来后,使用分类算法对舌象图片中分割出来的舌象进行分类,进行体质的判别。使用ResNet50网络构建模型分类器,训练多分类模型。
步骤S230、根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数。
根据现有数据采集体量,使用labelsmooth(标签平滑)建模方式,计算出训练数据集中带有标签平滑的损失函数。
本实施例提供的智能舌诊图像处理和识别方法,同现有技术相比,通过采用UNet训练模型对获取的舌头图像中的舌头进行分割处理得到舌象图片;使用分类算法对分割处理得到的舌象图片中的舌象进行分类和体质判别;根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数。本实施例提供的智能舌诊图像处理和识别方法,能够从舌诊数据库中自动筛选出患者的舌头图像,从舌头图像中提取出舌体部分,从舌体图像中分析并识别出舌苔薄厚度、舌苔润燥度、舌苔腐腻状况、舌纹状况以及舌体胖瘦程度等舌体属性,将各个舌体属性的特征值组合成一个多维的舌象特征向量,并通过输出单元将舌象特征向量输出,为患者的体质类型判别及开具调理产品提供参考依据,有利于为患者提供更适合的调理建议。
优选地,请见图5,图5为图4中所示的步骤S230中一实施例的细化流程示意图,在本实施例中,步骤S230包括:
步骤S231、获取舌体图像的检测结果和真实标签,计算出初始的交叉熵。
计算出初始的交叉熵为:
Figure BDA0003923818320000081
在公式(1)中,CE(p,y)是初始的交叉熵,p为检测结果,y为真实标签。
步骤S232、对计算出的初始的交叉熵进行变换,获取检测结果与真实标签的等价取值函数关系式。
检测结果与真实标签的等价取值函数关系式为:
Figure BDA0003923818320000082
在公式(2)中,Pt是检测结果与真实标签的等价取值函数关系式,p为检测结果,y为真实标签。
步骤S233、根据获取的检测结果与真实标签的等价取值函数关系式,得出对检测结果与真实标签进行交叉熵计算变换后的计算式。
交叉熵计算变换后的计算式为:
CE(p,y)=CE(pt)=-log(pt)   (3)
在公式(3)中,-log(pt)是检测结果与真实标签进行交叉熵计算变换后的计算式,CE(p,y)是初始的交叉熵,Pt是检测结果与真实标签的等价取值函数关系式。
步骤S234、根据得出的交叉熵计算变换后的计算式,计算出训练数据集中带有标签平滑的损失函数。
带有标签平滑的损失函数为:
Figure BDA0003923818320000091
在公式(4)中,Lfocal为带有标签平滑的损失函数,Pt是检测结果与真实标签的等价取值函数关系式,γ为统计校正因数,0<γ<5。
在本实施例中,针对易分类样本和难分类样本可能导致的不平衡问题,加上一个统计校正因数γ。针对训练数据集可能存在的标签误差比较大的情况,训练数据不足以表征样本特征,使用label smooth,解决网络容易过拟合的情况。其通过“软化”传统的one-hot独热编码类型标签,使得在计算损失值时能够有效抑制过拟合现象。如下图所示,labelsmoothing相当于减少真实样本标签的类别在计算损失函数时的权重,最终起到抑制过拟合的效果。本实施例通过使用label smooth比传统的one-hot类型标签准确率提高了近二十个百分点。
本实施例提供一种智能舌诊图像处理和识别方法,同现有技术相比,通过获取舌体图像的检测结果和真实标签,计算出初始的交叉熵;对计算出的初始的交叉熵进行变换,获取检测结果与真实标签的等价取值函数关系式;根据获取的检测结果与真实标签的等价取值函数关系式,得出对检测结果与真实标签进行交叉熵计算变换后的计算式;根据得出的交叉熵计算变换后的计算式,计算出训练数据集中带有标签平滑的损失函数。本实施例提供的智能舌诊图像处理和识别方法,能够从舌诊数据库中自动筛选出患者的舌头图像,从舌头图像中提取出舌体部分,从舌体图像中分析并识别出舌苔薄厚度、舌苔润燥度、舌苔腐腻状况、舌纹状况以及舌体胖瘦程度等舌体属性,将各个舌体属性的特征值组合成一个多维的舌象特征向量,并通过输出单元将舌象特征向量输出,为患者的体质类型判别及开具调理产品提供参考依据,有利于为患者提供更适合的调理建议。
如图7所示,本发明还提供一种智能舌诊图像处理和识别系统,包括获取模块10、处理模块20、生成模块30和开具模块40,其中,获取模块10,用于获取体质辨识分享码传送过来的舌头图像,体质辨识分享码为云端给每个诊所生成的专属分享码;处理模块20,用于对获取的舌头图像进行分割处理得到舌体图像;生成模块30,用于对分割处理得到的舌体图像进行智能数据比对,生成智能舌诊报告单,智能舌诊报告单包括诊断结果与调理建议;开具模块40,用于根据生成的智能舌诊报告单,开具体质调理产品。
云端给每个诊所生成专属的体质辨识分享码,该体质辨识分享码用于通过用户扫描该二维码获取用户个人信息,在该用户个人信息中包括舌头图像。体质辨识分享码将舌头图像传送给系统,获取模块10获取体质辨识分享码传送过来的舌头图像。
处理模块20将获取到的舌头图像进行分割处理,识别出舌头图像中的舌体,得到舌体图像。
生成模块30对分割处理得到舌体图像与预设在舌体图像数据库中的舌体图像一一进行对比,获取对比舌体图像结果,并将获取的对比舌体图像结果进行汇总,生成智能舌诊报告单,该智能舌诊报告单包括诊断结果与调理建议。
开具模块40根据生成的智能舌诊报告单中的诊断结果与调理建议,开具体质调理产品。
本实施例提供的智能舌诊图像处理和识别系统,采用获取模块10、处理模块20、生成模块30和开具模块40,同现有技术相比,通过获取体质辨识分享码传送过来的舌头图像,体质辨识分享码为云端给每个诊所生成的专属分享码;对获取的舌头图像进行分割处理得到舌体图像;对分割处理得到的舌体图像进行智能数据比对,生成智能舌诊报告单,智能舌诊报告单包括诊断结果与调理建议;根据生成的智能舌诊报告单,开具体质调理产品。本实施例提供的智能舌诊图像处理和识别系统,能够从舌诊数据库中自动筛选出患者的舌头图像,从舌头图像中提取出舌体部分,从舌体图像中分析并识别出舌苔薄厚度、舌苔润燥度、舌苔腐腻状况、舌纹状况以及舌体胖瘦程度等舌体属性,将各个舌体属性的特征值组合成一个多维的舌象特征向量,并通过输出单元将舌象特征向量输出,为患者的体质类型判别及开具调理产品提供参考依据,有利于为患者提供更适合的调理建议。
进一步地,请见图8,图8为图7中所示的处理模块一实施例的功能框图,在本实施例中,处理模块20包括分割处理单元21、体质判别单元22和计算单元23,其中,分割处理单元21,用于采用UNet训练模型对获取的舌头图像中的舌头进行分割处理得到舌象图片;体质判别单元22,用于使用分类算法对分割处理得到的舌象图片中的舌象进行分类和体质判别;计算单元23,用于根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数。
分割处理单元21采用UNet训练模型对获取的舌头图像进行卷积和池化,池化分4次,比方说一开始的图片是256x256的,那么就会变成128x128,64x64,32x32,16x16四个不同层级的特征图。然后对16x16的特征图做反卷积,得到32x32的特征图,这个32x32的特征图与之前的32x32的特征图进行通道上的拼接concat,然后再对拼接之后的特征图做卷积和上采样,得到64x64的特征图,再与之前的64x64的特征拼接、卷积,再上采样,经过四次上采样可以得到一个与输入图像尺寸相同的256x256的预测结果。
采用UNet训练模型中的U型结构可以用来获取上下文的信息和位置信息,相比传统的方法,采用不同尺度的特征融合来获取多维度的信息,对舌象图片不同通道数的拼接,形成更深层次的特征,这也使得提取出的特征更加符合真实场景,为下游任务打好基础。
体质判别单元22在对舌象分割出来后,使用分类算法对舌象图片中分割出来的舌象进行分类,进行体质的判别。使用ResNet50网络构建模型分类器,训练多分类模型。
计算单元23根据现有数据采集体量,使用labelsmooth(标签平滑)建模方式,计算出训练数据集中带有标签平滑的损失函数。
本实施例提供的智能舌诊图像处理和识别系统,同现有技术相比,处理模块20采用分割处理单元21、体质判别单元22和计算单元23,通过采用UNet训练模型对获取的舌头图像中的舌头进行分割处理得到舌象图片;使用分类算法对分割处理得到的舌象图片中的舌象进行分类和体质判别;根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数。本实施例提供的智能舌诊图像处理和识别系统,能够从舌诊数据库中自动筛选出患者的舌头图像,从舌头图像中提取出舌体部分,从舌体图像中分析并识别出舌苔薄厚度、舌苔润燥度、舌苔腐腻状况、舌纹状况以及舌体胖瘦程度等舌体属性,将各个舌体属性的特征值组合成一个多维的舌象特征向量,并通过输出单元将舌象特征向量输出,为患者的体质类型判别及开具调理产品提供参考依据,有利于为患者提供更适合的调理建议。
优选地,参见图9,图9为图8中所示的计算单元一实施例的功能框图,在本实施例中,计算单元23包括第一计算子单元231、变换子单元232、第二计算子单元233和第三计算子单元234,其中,第一计算子单元231,用于获取舌体图像的检测结果和真实标签,计算出初始的交叉熵;变换子单元232,用于对计算出的初始的交叉熵进行变换,获取检测结果与真实标签的等价取值函数关系式;第二计算子单元233,用于根据获取的检测结果与真实标签的等价取值函数关系式,得出对检测结果与真实标签进行交叉熵计算变换后的计算式;第三计算子单元234,用于根据得出的交叉熵计算变换后的计算式,计算出训练数据集中带有标签平滑的损失函数。
计算出初始的交叉熵为:
Figure BDA0003923818320000131
在公式(5)中,CE(p,y)是初始的交叉熵,p为检测结果,y为真实标签。
检测结果与真实标签的等价取值函数关系式为:
Figure BDA0003923818320000132
在公式(6)中,Pt是检测结果与真实标签的等价取值函数关系式,p为检测结果,y为真实标签。
交叉熵计算变换后的计算式为:
CE(p,y)=CE(pt)=-log(pt)   (7)
在公式(7)中,-log(pt)是检测结果与真实标签进行交叉熵计算变换后的计算式,CE(p,y)是初始的交叉熵,Pt是检测结果与真实标签的等价取值函数关系式。
带有标签平滑的损失函数为:
Figure BDA0003923818320000133
在公式(8)中,Lfocal为带有标签平滑的损失函数,Pt是检测结果与真实标签的等价取值函数关系式,γ为统计校正因数,0<γ<5。
在本实施例中,针对易分类样本和难分类样本可能导致的不平衡问题,加上一个统计校正因数γ。针对训练数据集可能存在的标签误差比较大的情况,训练数据不足以表征样本特征,使用label smooth,解决网络容易过拟合的情况。其通过“软化”传统的one-hot独热编码类型标签,使得在计算损失值时能够有效抑制过拟合现象。如下图所示,labelsmoothing相当于减少真实样本标签的类别在计算损失函数时的权重,最终起到抑制过拟合的效果。本实施例通过使用label smooth比传统的one-hot类型标签准确率提高了近二十个百分点。
本实施例提供的智能舌诊图像处理和识别系统,同现有技术相比,采用第一计算子单元231、变换子单元232、第二计算子单元233和第三计算子单元234,通过获取舌体图像的检测结果和真实标签,计算出初始的交叉熵;对计算出的初始的交叉熵进行变换,获取检测结果与真实标签的等价取值函数关系式;根据获取的检测结果与真实标签的等价取值函数关系式,得出对检测结果与真实标签进行交叉熵计算变换后的计算式;根据得出的交叉熵计算变换后的计算式,计算出训练数据集中带有标签平滑的损失函数。本实施例提供的智能舌诊图像处理和识别系统,能够从舌诊数据库中自动筛选出患者的舌头图像,从舌头图像中提取出舌体部分,从舌体图像中分析并识别出舌苔薄厚度、舌苔润燥度、舌苔腐腻状况、舌纹状况以及舌体胖瘦程度等舌体属性,将各个舌体属性的特征值组合成一个多维的舌象特征向量,并通过输出单元将舌象特征向量输出,为患者的体质类型判别及开具调理产品提供参考依据,有利于为患者提供更适合的调理建议。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。

Claims (10)

1.一种智能舌诊图像处理和识别方法,其特征在于,包括以下步骤:
获取体质辨识分享码传送过来的舌头图像,所述体质辨识分享码为云端给每个诊所生成的专属分享码;
对获取的舌头图像进行分割处理得到舌体图像;
对分割处理得到的舌体图像进行智能数据比对,生成智能舌诊报告单,所述智能舌诊报告单包括诊断结果与调理建议;
根据生成的所述智能舌诊报告单,开具体质调理产品。
2.如权利要求1所述的智能舌诊图像处理和识别方法,其特征在于,所述对获取的舌头图像进行分割处理得到舌体图像的步骤包括:
采用UNet训练模型对获取的舌头图像中的舌头进行分割处理得到舌象图片;
使用分类算法对分割处理得到的舌象图片中的舌象进行分类和体质判别;
根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数。
3.如权利要求2所述的智能舌诊图像处理和识别方法,其特征在于,所述根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数的步骤包括:
获取舌体图像的检测结果和真实标签,计算出初始的交叉熵;
对计算出的初始的交叉熵进行变换,获取检测结果与真实标签的等价取值函数关系式;
根据获取的检测结果与真实标签的等价取值函数关系式,得出对检测结果与真实标签进行交叉熵计算变换后的计算式;
根据得出的交叉熵计算变换后的计算式,计算出训练数据集中带有标签平滑的损失函数。
4.如权利要求3所述的智能舌诊图像处理和识别方法,其特征在于,所述计算出初始的交叉熵为:
Figure FDA0003923818310000021
其中,CE(p,y)是初始的交叉熵,p为检测结果,y为真实标签;
所述检测结果与真实标签的等价取值函数关系式为:
Figure FDA0003923818310000022
其中,Pt是检测结果与真实标签的等价取值函数关系式,p为检测结果,y为真实标签。
5.如权利要求4所述的智能舌诊图像处理和识别方法,其特征在于,所述交叉熵计算变换后的计算式为:
CE(p,y)=CE(pt)=-log(pt)
其中,-log(pt)是检测结果与真实标签进行交叉熵计算变换后的计算式,CE(p,y)是初始的交叉熵,Pt是检测结果与真实标签的等价取值函数关系式;
所述带有标签平滑的损失函数为:
Figure FDA0003923818310000023
其中,Lfocal为带有标签平滑的损失函数,Pt是检测结果与真实标签的等价取值函数关系式,γ为统计校正因数,0<γ<5。
6.一种智能舌诊图像处理和识别系统,其特征在于,包括:
获取模块(10),用于获取体质辨识分享码传送过来的舌头图像,所述体质辨识分享码为云端给每个诊所生成的专属分享码;
处理模块(20),用于对获取的舌头图像进行分割处理得到舌体图像;
生成模块(30),用于对分割处理得到的舌体图像进行智能数据比对,生成智能舌诊报告单,所述智能舌诊报告单包括诊断结果与调理建议;
开具模块(40),用于根据生成的所述智能舌诊报告单,开具体质调理产品。
7.如权利要求6智能舌诊图像处理和识别系统,其特征在于,所述处理模块(20)包括:
分割处理单元(21),用于采用UNet训练模型对获取的舌头图像中的舌头进行分割处理得到舌象图片;
体质判别单元(22),用于使用分类算法对分割处理得到的舌象图片中的舌象进行分类和体质判别;
计算单元(23),用于根据现有数据采集体量,使用标签平滑建模方式,计算出训练数据集中带有标签平滑的损失函数。
8.如权利要求7智能舌诊图像处理和识别系统,其特征在于,所述计算单元(23)包括:
第一计算子单元(231),用于获取舌体图像的检测结果和真实标签,计算出初始的交叉熵;
变换子单元(232),用于对计算出的初始的交叉熵进行变换,获取检测结果与真实标签的等价取值函数关系式;
第二计算子单元(233),用于根据获取的检测结果与真实标签的等价取值函数关系式,得出对检测结果与真实标签进行交叉熵计算变换后的计算式;
第三计算子单元(234),用于根据得出的交叉熵计算变换后的计算式,计算出训练数据集中带有标签平滑的损失函数。
9.如权利要求8智能舌诊图像处理和识别系统,其特征在于,所述计算出初始的交叉熵为:
Figure FDA0003923818310000031
其中,CE(p,y)是初始的交叉熵,p为检测结果,y为真实标签;
所述检测结果与真实标签的等价取值函数关系式为:
Figure FDA0003923818310000041
其中,Pt是检测结果与真实标签的等价取值函数关系式,p为检测结果,y为真实标签。
10.如权利要求9智能舌诊图像处理和识别系统,其特征在于,所述交叉熵计算变换后的计算式为:
CE(p,y)=CE(pt)=-log(pt)
其中,-log(pt)是检测结果与真实标签进行交叉熵计算变换后的计算式,CE(p,y)是初始的交叉熵,Pt是检测结果与真实标签的等价取值函数关系式;
所述带有标签平滑的损失函数为:
Figure FDA0003923818310000042
其中,Lfocal为带有标签平滑的损失函数,Pt是检测结果与真实标签的等价取值函数关系式,γ为统计校正因数,0<γ<5。
CN202211367338.1A 2022-11-03 2022-11-03 智能舌诊图像处理和识别方法及系统 Pending CN115937094A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211367338.1A CN115937094A (zh) 2022-11-03 2022-11-03 智能舌诊图像处理和识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211367338.1A CN115937094A (zh) 2022-11-03 2022-11-03 智能舌诊图像处理和识别方法及系统

Publications (1)

Publication Number Publication Date
CN115937094A true CN115937094A (zh) 2023-04-07

Family

ID=86651720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211367338.1A Pending CN115937094A (zh) 2022-11-03 2022-11-03 智能舌诊图像处理和识别方法及系统

Country Status (1)

Country Link
CN (1) CN115937094A (zh)

Similar Documents

Publication Publication Date Title
CN110599528B (zh) 一种基于神经网络的无监督三维医学图像配准方法及系统
US10722181B2 (en) Systems, methods, and computer-readable media for using descriptors to identify when a subject is likely to have a dysmorphic feature
WO2018120942A1 (zh) 一种多模型融合自动检测医学图像中病变的系统及方法
CN110689025B (zh) 图像识别方法、装置、系统及内窥镜图像识别方法、装置
CN109389584A (zh) 基于cnn的多尺度鼻咽肿瘤分割方法
CN108256527A (zh) 一种基于端到端全卷积网络的皮肤病变多类语义分割方法
CN111681230A (zh) 脑白质高信号评分系统及其评分方法
CN113066093A (zh) 一种基于子宫内膜超声图像的自动分割分型及厚度测量方法
CN115393351B (zh) 一种基于朗格汉斯细胞判断角膜免疫状态的方法及装置
Wen et al. Grouping attributes zero-shot learning for tongue constitution recognition
CN113782184A (zh) 一种基于面部关键点与特征预学习的脑卒中辅助评估系统
CN113012093A (zh) 青光眼图像特征提取的训练方法及训练系统
CN115147636A (zh) 基于胸部x光图像肺部疾病识别和分类方法
Joshi et al. Graph deep network for optic disc and optic cup segmentation for glaucoma disease using retinal imaging
CN113822323A (zh) 脑部扫描图像的识别处理方法、装置、设备及存储介质
CN113610746A (zh) 一种图像处理方法、装置、计算机设备及存储介质
CN115690556B (zh) 一种基于多模态影像学特征的图像识别方法及系统
CN115937094A (zh) 智能舌诊图像处理和识别方法及系统
CN112651400B (zh) 一种立体内窥镜辅助检测方法、系统、装置及存储介质
CN112349429B (zh) 疾病预测方法、疾病预测模型训练方法及装置、存储介质
CN115100731A (zh) 一种质量评价模型训练方法、装置、电子设备及存储介质
CN117726822B (zh) 基于双分支特征融合的三维医学图像分类分割系统及方法
CN117975170B (zh) 基于大数据的医疗信息处理方法及系统
CN117496323B (zh) 基于Transformer的多尺度二阶病理图像分类方法及系统
Yue et al. KFS-Net: Key Features Sampling Network for Lung Nodule Segmentation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination