CN110363072A - 舌象识别方法、装置、计算机设备及计算机可读存储介质 - Google Patents

舌象识别方法、装置、计算机设备及计算机可读存储介质 Download PDF

Info

Publication number
CN110363072A
CN110363072A CN201910468444.0A CN201910468444A CN110363072A CN 110363072 A CN110363072 A CN 110363072A CN 201910468444 A CN201910468444 A CN 201910468444A CN 110363072 A CN110363072 A CN 110363072A
Authority
CN
China
Prior art keywords
tongue
layer
convolutional layer
convolutional
tongue image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910468444.0A
Other languages
English (en)
Other versions
CN110363072B (zh
Inventor
程涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhenghe Intelligent Network Technology (guangzhou) Co Ltd
Original Assignee
Zhenghe Intelligent Network Technology (guangzhou) Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhenghe Intelligent Network Technology (guangzhou) Co Ltd filed Critical Zhenghe Intelligent Network Technology (guangzhou) Co Ltd
Priority to CN201910468444.0A priority Critical patent/CN110363072B/zh
Publication of CN110363072A publication Critical patent/CN110363072A/zh
Application granted granted Critical
Publication of CN110363072B publication Critical patent/CN110363072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/20ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Abstract

本发明公开了一种舌象识别方法,包括:获取舌部图像;根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络;对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别;根据所述舌头图像识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络。本发明还公开了一种舌象识别装置、计算机设备及计算机可读存储介质。采用本发明,用户可随时随地进行舌象识别,流程操作简单,舌象识别准确。

Description

舌象识别方法、装置、计算机设备及计算机可读存储介质
技术领域
本发明涉及人工智能舌象识别领域,尤其涉及一种舌象识别方法、装置、计算机设备及计算机可读存储介质。
背景技术
舌象识别是中医中非常重要的诊断技术之一,可以通过舌象快速的了解身体状况。目前用户如果想要进行舌头诊断,都需要主动去找医生查看,而无法自己诊断,不利于病人及时了解自身身体状况,也不利于医生跟进病人的病情跟踪。同时社会上亚健康人群非常之多,很多重大疾病其实都是由于平时没有注意亚健康问题而最后引发了重大疾病的。传统的人工舌诊方式受制于地理位置,加上过去人工智能技术尚不发达,无法直接通过技术手段进行诊断识别。还有,传统舌象识别仪器,存在重量大、携带不便、单人无法操作、服务单一等问题。
发明内容
本发明所要解决的技术问题在于,提供舌象识别方法、装置、计算机设备及计算机可读存储介质,能够解决传统舌象仪器所存在的重量大、携带不便、单人无法操作、服务单一等问题,用户通过手机等移动端就能随时随地进行舌诊。
为了解决上述技术问题,本发明提供了一种舌象识别方法,包括:获取舌部图像;根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法;对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别;根据所述舌头图像识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法。
优选地,所述舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层,所述舌头检测模型采用随机梯度下降算法进行训练得到模型权重,并结合平滑的L1损失函数以及Sigmoid分类函数输出舌头图像,其中:所述第一卷积层的channel为16、kernel为7、stride为2;所述第一池化层的kernel为3、stride为2,最大池化;所述第一残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为32、kernel均为3、stride均为1,两个卷积层依次连接;所述第二残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为64、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为64、kernel为1、stride为2的卷积层;所述第三残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为128、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为128、kernel为1、stride为2的卷积层;所述第四残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为256、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为256、kernel为1、stride为2的卷积层;所有卷积层后均与激活函数连接;所述随机梯度下降算法的批量大小为32,总共训练40个epochs,初始学习率为0.01,每30个epochs学习率除以0。
优选地,所述损失函数为平滑的L1损失函数:f(x)=0.5*(sigma*x)^2,其中,如果|x|<1/sigma^2,那么f(x)=0.5*(sigma*x)^2,否则f(x)=|x|-0.5/sigma^2;所述Sigmoid分类函数为g(x)=1/(1+e^(-x)),其中,如果g(x)>0.5,认为是舌头区域,否则认为是非舌头区域。
优选地,所述根据HSL颜色空间划分方法对所述舌头图像进行颜色识别以获得舌色和舌苔色的步骤包括:计算所述舌头图像的HSL值;根据所述HSL值划分所述舌头图像的颜色空间,其中,事先通过对舌头图像样本集进行HSL值计算,获得各种舌色和舌苔色的颜色空间所对应的HSL值;计算每个颜色空间的像素比,取像素比最大的颜色空间作为舌色和舌苔色。
优选地,所述舌形识别模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层,所述舌形识别模型采用Adam优化算法进行训练,并结合设计好的双损失函数输出舌形,其中:所述第一上采样层、第二上采样层以及第三上采样层均采用双线性差值,上采样倍率均为2;所述第一卷积层、第九卷积层以及第十卷积层的channel均为64、kernel均为3、stride均为1,所述第二卷积层、第七卷积层以及第八卷积层的channel均为128、kernel均为3、stride均为1,所述第三卷积层、第五卷积层以及第六卷积层的channel均为256、kernel均为3、stride均为1,所述第四卷积层的channel为512、kernel为3、stride为1,所述第十一卷积层的channel为4、kernel为1、stride为1,所有卷积层后均与激活函数连接。所述第一池化层、第二池化层以及第三池化层的kernel和stride均为2;所述第一连接层按通道连接第三卷积层和第五卷积层,所述第二连接层按通道连接第二卷积层和第七卷积层,所述第三连接层按通道连接第一卷积层和第九卷积层;所述Adam优化算法的学习率为0.0001,一阶指数矩阵衰减率beta_1=0.9,二阶指数矩阵衰减率beta_2=0.99,共迭代20个epochs。
优选地,所述双损失函数包括交叉熵损失函数和IOU损失函数,其中:所述交叉熵损失函数为:fcross=-sum(y*log(p)),其中,当y为真值时,y=1,否则y=0;所述IOU损失函数为:fiou=1-2*(intersection+smooth)/(union+smooth),其中,intersection为预测的像素区域与真实区域的交集,union为预测的像素区域与真实区域的并集,smooth为平滑因子,取值为1;所述交叉熵损失函数和IOU损失函数按0.9和0.1的系数进行加权,即最终损失函数为f=0.9*fcross+0.1*fiou。
相应的,本发明还提供了一种舌象识别装置,包括:获取模块,用于获取舌部图像;检测模块,用于根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法;颜色识别模块,用于对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别;舌形识别模块,用于根据所述舌头图像输识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法。
优选地,所述检测模块中的舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层;所述舌形识别模块中的舌形识别模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层。
相应的,本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述舌象识别方法的步骤。
相应的,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述舌象识别方法的步骤。
实施本发明的有益效果在于:
本发明通过人工智能图像识别技术,通过将深度卷积神经网络模型引入舌头识别领域,用户通过移动端只需要拍张舌头照片,就可以知道舌头识别结果,解决了传统舌象仪器携带困难等难题,用户只需在对应网页或app,就可随时随地进行舌象识别,操作简单,识别准确,为用户提供全方位的健康服务。
附图说明
图1是本发明提供的舌象识别方法流程示意图;
图2是本发明提供的舌头检测模型示意图;
图3是本发明提供的舌形识别模型示意图。
图4是本发明提供的舌象识别装置示意图;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。仅此声明,本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词,仅以本发明的附图为基准,其并不是对本发明的具体限定。
如图1所示,本发明提供了一种舌象识别方法,包括:
S101,获取舌部图像。
需要说明的是,舌部图像可通过移动端(手机端或PC端)上的摄像头实时获取或者通过本地上传,获取舌部图像后,对舌部图像进行归一化处理。
具体地,通过摄像头实时获取舌部图像时,用户只需把舌部放入移动端显示的获取轮廓中,其中,为了更好的获取舌部图像,获取轮廓优先采用类抛物线轮廓。获取舌部图像后,需对舌部图像归一化处理,本发明优先选择图像尺寸归一化到300X300,像素值归一化到0~1区间。
S102,根据所述舌部图像检测舌头图像。
需要说明的是,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法。
具体的,所述舌头检测模型采用随机梯度下降算法进行训练得到模型权重,并结合平滑的L1损失函数以及Sigmoid分类函数输出舌头图像。其中;
所述随机梯度下降算法的批量大小为32,总共训练40个epochs,初始学习率为0.01,每30个epochs学习率除以0;
所述损失函数为平滑的L1损失函数:f(x)=0.5*(sigma*x)^2,其中,如果|x|<1/sigma^2,那么f(x)=0.5*(sigma*x)^2,否则f(x)=|x|-0.5/sigma^2。经过验证sigma取1.2收敛速度较快,效果较好。为了更好的收敛,舌头的位置信息均基于舌部图片归一化到0~1区域;
所述Sigmoid分类函数为g(x)=1/(1+e^(-x)),其中,如果g(x)>0.5,认为是舌头区域,否则认为是非舌头区域。因为只需要判断是否是舌头区域,本发明采用sigmoid分类函数只需要1个节点,而采用常用的softmax则需2个节点,因而,为了提高计算速度,减少cpu的运行负担,本发明优先选用Sigmoid分类函数,但不限于此。
如图2所示,所述舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层,其中:所述第一卷积层的channel为16、kernel为7、stride为2;所述第一池化层的kernel为3、stride为2,最大池化;所述第一残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为32、kernel均为3、stride均为1,两个卷积层依次连接;所述第二残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为64、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为64、kernel为1、stride为2的卷积层;所述第三残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为128、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为128、kernel为1、stride为2的卷积层;所述第四残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为256、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为256、kernel为1、stride为2的卷积层;所有卷积层后均与激活函数连接。
S103,对所述舌头图像进行颜色识别以获得舌色和舌苔色。
需要说明的是,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别。
具体的,所述根据HSL颜色空间划分方法对所述舌头图像进行颜色识别以获得舌色和舌苔色的步骤包括:计算所述舌头图像的HSL值;根据所述HSL值划分所述舌头图像的颜色空间,其中,事先通过对舌头图像样本集进行HSL值计算,获得各种舌色和舌苔色的颜色空间所对应的HSL值,例如:通过对大量的舌头图像样本进行HSL值计算并根据对应的颜色空间化分HSL阈值,得出各种颜色空间对应的HSL阈值范围,淡白色的HSL颜色空间对应的HSL阈值范围为色调H(0~12),饱和度S(48~100),亮度L(160——211),其他舌色和舌苔色对应的HSL值不在赘述;计算每个颜色空间的像素比,取像素比最大的颜色空间作为舌色和舌苔色,由于进行颜色识别处理后,会存在多个HSL值比较接近的颜色空间,此时需要选定像素比最大的颜色空间作为最后确定的颜色。
S104,根据所述舌头图像识别舌形。
需要说明的是,在上述步骤检测舌头图像后,需要将舌头图像进行归一化处理,图像尺寸归一化到256X256尺寸大小,并且像素值归一化到0~1区间。归一化处理后,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法。
具体的,所述舌形识别模型采用Adam优化算法进行训练,并结合设计好的双损失函数输出舌形,其中:
所述Adam优化算法的学习率为0.0001,一阶指数矩阵衰减率beta_1=0.9,二阶指数矩阵衰减率beta_2=0.99,共迭代20个epochs;
所述双损失函数包括交叉熵损失函数和IOU损失函数,其中:所述交叉熵损失函数为:fcross=-sum(y*log(p)),其中,当y为真值时,y=1,否则y=0;所述IOU损失函数为:fiou=1-2*(intersection+smooth)/(union+smooth),其中,intersection为预测的像素区域与真实区域的交集,union为预测的像素区域与真实区域的并集,smooth为平滑因子,取值为1;所述交叉熵损失函数和IOU损失函数按0.9和0.1的系数进行加权,即最终损失函数为f=0.9*fcross+0.1*fiou。
如图3所示,所述舌形识别模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层,其中:所述第一上采样层、第二上采样层以及第三上采样层均采用双线性差值,上采样倍率均为2;所述第一卷积层、第九卷积层以及第十卷积层的channel均为64、kernel均为3、stride均为1,所述第二卷积层、第七卷积层以及第八卷积层的channel均为128、kernel均为3、stride均为1,所述第三卷积层、第五卷积层以及第六卷积层的channel均为256、kernel均为3、stride均为1,所述第四卷积层的channel为512、kernel为3、stride为1,所述第十一卷积层的channel为4、kernel为1、stride为1,所有卷积层后均与激活函数连接。所述第一池化层、第二池化层以及第三池化层的kernel和stride均为2;所述第一连接层按通道连接第三卷积层和第五卷积层,所述第二连接层按通道连接第二卷积层和第七卷积层,所述第三连接层按通道连接第一卷积层和第九卷积层。
需要说明的是,舌形识别流程为:将检测出的舌头图像归一化后,送入设计好的卷积神经网络模型中,输出舌形特征图,通过人工设定的阈值,对舌形特征图进行二值化,即可输出舌形位置信息。基于此二值图像提取轮廓,从而可计算出舌形的数学特征(如裂纹的数量、长度、斑点、齿痕的数量等信息)。
如图4所示,本发明提供了一种舌象识别装置100,包括:
获取模块1,用于获取舌部图像,需要说明的是,舌部图像可通过移动端(手机端或PC端)上的摄像头实时获取或者通过本地上传,获取舌部图像后,对舌部图像进行归一化处理。具体地,通过摄像头实时获取舌部图像时,用户只需把舌部放入移动端显示的获取轮廓中,其中,为了更好的获取舌部图像,获取轮廓优先采用类抛物线轮廓。获取舌部图像后,需对舌部图像归一化处理,本发明优先选择图像尺寸归一化到300X300,像素值归一化到0~1区间。
检测模块2,用于根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法。具体的,所述检测模块中的舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层。所述舌头检测模型采用随机梯度下降算法进行训练得到模型权重,并结合平滑的L1损失函数以及Sigmoid分类函数输出舌头图像。
颜色识别模块3,用于对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别。
舌形识别模块4,用于根据所述舌头图像输识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法。具体的,所述舌形识别模块中的舌形识别模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层。所述舌形识别模型采用Adam优化算法进行训练,并结合设计好的双损失函数输出舌形。
相应的,本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述舌象识别方法的步骤。同时,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述舌象识别方法的步骤。
由上可知,本发明可用于对舌头的舌色、舌苔色以及舌形的识别处理,本发明通过人工智能图像识别技术,通过将深度卷积神经网络模型引入舌头识别领域,用户通过移动端只需要拍张舌头照片,就可以知道舌头识别结果,解决了传统舌诊仪器携带困难等难题,用户只需在对应网页或app,就可随时随地进行舌诊,操作简单,识别准确,为用户提供全方位的健康服务。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。

Claims (10)

1.一种舌象识别方法,其特征在于,包括:
获取舌部图像;
根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法;
对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别;
根据所述舌头图像识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法。
2.如权利要求1所述的舌象识别方法,其特征在于,所述舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层,所述舌头检测模型采用随机梯度下降算法进行训练得到模型权重,并结合损失函数以及分类函数输出舌头图像,其中:
所述第一卷积层的channel为16、kernel为7、stride为2;
所述第一池化层的kernel为3、stride为2,最大池化;
所述第一残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为32、kernel均为3、stride均为1,两个卷积层依次连接;
所述第二残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为64、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为64、kernel为1、stride为2的卷积层;
所述第三残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为128、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为128、kernel为1、stride为2的卷积层;
所述第四残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为256、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为256、kernel为1、stride为2的卷积层;
所有卷积层后均与激活函数连接;
所述随机梯度下降算法的批量大小为32,总共训练40个epochs,初始学习率为0.01,每30个epochs学习率除以0。
3.如权利要求2所述的舌象识别方法,其特征在于,
所述损失函数为平滑的L1损失函数:f(x)=0.5*(sigma*x)^2,
其中,如果|x|<1/sigma^2,那么f(x)=0.5*(sigma*x)^2,否则f(x)=|x|-0.5/sigma^2;
所述分类函数为Sigmoid函数:g(x)=1/(1+e^(-x)),
其中,如果g(x)>0.5,认为是舌头区域,否则认为是非舌头区域。
4.如权利要求1所述的舌象识别方法,其特征在于,所述根据HSL颜色空间划分方法对所述舌头图像进行颜色识别以获得舌色和舌苔色的步骤包括:
计算所述舌头图像的HSL值;
根据所述HSL值划分所述舌头图像的颜色空间,其中,事先通过对舌头图像样本集进行HSL值计算,获得各种舌色和舌苔色的颜色空间所对应的HSL值;
计算每个颜色空间的像素比,取像素比最大的颜色空间作为舌色和舌苔色。
5.如权利要求1所述的舌象识别方法,其特征在于,所述舌形识别模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层,所述舌形识别模型采用Adam优化算法进行训练,并结合设计好的双损失函数输出舌形,其中:
所述第一上采样层、第二上采样层以及第三上采样层均采用双线性差值,上采样倍率均为2;
所述第一卷积层、第九卷积层以及第十卷积层的channel均为64、kernel均为3、stride均为1,所述第二卷积层、第七卷积层以及第八卷积层的channel均为128、kernel均为3、stride均为1,所述第三卷积层、第五卷积层以及第六卷积层的channel均为256、kernel均为3、stride均为1,所述第四卷积层的channel为512、kernel为3、stride为1,所述第十一卷积层的channel为4、kernel为1、stride为1,所有卷积层后均与激活函数连接。
所述第一池化层、第二池化层以及第三池化层的kernel和stride均为2;
所述第一连接层按通道连接第三卷积层和第五卷积层,所述第二连接层按通道连接第二卷积层和第七卷积层,所述第三连接层按通道连接第一卷积层和第九卷积层;
所述Adam优化算法的学习率为0.0001,一阶指数矩阵衰减率beta_1=0.9,二阶指数矩阵衰减率beta_2=0.99,共迭代20个epochs。
6.如权利要求5所述的舌象识别方法,其特征在于,所述双损失函数包括交叉熵损失函数和IOU损失函数,其中:
所述交叉熵损失函数为:
fcross=-sum(y*log(p)),
其中,当y为真值时,y=1,否则y=0;
所述IOU损失函数为:
fiou=1-2*(intersection+smooth)/(union+smooth),
其中,intersection为预测的像素区域与真实区域的交集,union为预测的像素区域与真实区域的并集,smooth为平滑因子,取值为1;
所述交叉熵损失函数和IOU损失函数按0.9和0.1的系数进行加权,即最终损失函数为f=0.9*fcross+0.1*fiou。
7.一种舌象识别装置,其特征在于,包括:
获取模块,用于获取舌部图像;
检测模块,用于根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法;
颜色识别模块,用于对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别;
舌形识别模块,用于根据所述舌头图像输识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法。
8.如权利要求7所述的舌象识别装置,其特征在于,
所述检测模块中的舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层;
所述舌形识别模块中的舌形识别模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
CN201910468444.0A 2019-05-31 2019-05-31 舌象识别方法、装置、计算机设备及计算机可读存储介质 Active CN110363072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910468444.0A CN110363072B (zh) 2019-05-31 2019-05-31 舌象识别方法、装置、计算机设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910468444.0A CN110363072B (zh) 2019-05-31 2019-05-31 舌象识别方法、装置、计算机设备及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN110363072A true CN110363072A (zh) 2019-10-22
CN110363072B CN110363072B (zh) 2023-06-09

Family

ID=68215334

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910468444.0A Active CN110363072B (zh) 2019-05-31 2019-05-31 舌象识别方法、装置、计算机设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN110363072B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112184622A (zh) * 2020-08-31 2021-01-05 广东三和管桩股份有限公司 管桩外观质量检验方法、系统、计算机设备及存储介质
CN112763237A (zh) * 2020-12-31 2021-05-07 佛山市南海盐步康士柏机电有限公司 一种轮胎表面特征检测系统及方法
CN113033488A (zh) * 2021-04-22 2021-06-25 脉景(杭州)健康管理有限公司 医疗特征识别方法及装置、电子设备、存储介质
CN113362334A (zh) * 2020-03-04 2021-09-07 北京悦熙兴中科技有限公司 一种舌照处理方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1367454A (zh) * 2002-03-25 2002-09-04 北京工业大学 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法
CN1830380A (zh) * 2006-04-20 2006-09-13 上海交通大学 中医舌像分析与诊断系统
US20080139966A1 (en) * 2006-12-07 2008-06-12 The Hong Kong Polytechnic University Automatic tongue diagnosis based on chromatic and textural features classification using bayesian belief networks
CN105286768A (zh) * 2015-09-23 2016-02-03 江苏大学 基于手机平台下的人体健康状态的舌苔诊断装置
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN109635711A (zh) * 2018-12-07 2019-04-16 上海衡道医学病理诊断中心有限公司 一种基于深度学习网络的病理图像分割方法
CN109712707A (zh) * 2018-12-29 2019-05-03 深圳和而泰数据资源与云技术有限公司 一种舌诊方法、装置、计算设备及计算机存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1367454A (zh) * 2002-03-25 2002-09-04 北京工业大学 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法
CN1830380A (zh) * 2006-04-20 2006-09-13 上海交通大学 中医舌像分析与诊断系统
US20080139966A1 (en) * 2006-12-07 2008-06-12 The Hong Kong Polytechnic University Automatic tongue diagnosis based on chromatic and textural features classification using bayesian belief networks
CN105286768A (zh) * 2015-09-23 2016-02-03 江苏大学 基于手机平台下的人体健康状态的舌苔诊断装置
CN107977671A (zh) * 2017-10-27 2018-05-01 浙江工业大学 一种基于多任务卷积神经网络的舌象分类方法
CN109635711A (zh) * 2018-12-07 2019-04-16 上海衡道医学病理诊断中心有限公司 一种基于深度学习网络的病理图像分割方法
CN109712707A (zh) * 2018-12-29 2019-05-03 深圳和而泰数据资源与云技术有限公司 一种舌诊方法、装置、计算设备及计算机存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362334A (zh) * 2020-03-04 2021-09-07 北京悦熙兴中科技有限公司 一种舌照处理方法及装置
CN112184622A (zh) * 2020-08-31 2021-01-05 广东三和管桩股份有限公司 管桩外观质量检验方法、系统、计算机设备及存储介质
CN112763237A (zh) * 2020-12-31 2021-05-07 佛山市南海盐步康士柏机电有限公司 一种轮胎表面特征检测系统及方法
CN113033488A (zh) * 2021-04-22 2021-06-25 脉景(杭州)健康管理有限公司 医疗特征识别方法及装置、电子设备、存储介质
CN113033488B (zh) * 2021-04-22 2023-11-21 脉景(杭州)健康管理有限公司 医疗特征识别方法及装置、电子设备、存储介质

Also Published As

Publication number Publication date
CN110363072B (zh) 2023-06-09

Similar Documents

Publication Publication Date Title
CN110363072A (zh) 舌象识别方法、装置、计算机设备及计算机可读存储介质
CN109902546B (zh) 人脸识别方法、装置及计算机可读介质
WO2019100724A1 (zh) 训练多标签分类模型的方法和装置
CN111368672A (zh) 一种用于遗传病面部识别模型的构建方法及装置
CN113255915B (zh) 基于结构化实例图的知识蒸馏方法、装置、设备和介质
CN110222718B (zh) 图像处理的方法及装置
WO2021051987A1 (zh) 神经网络模型训练的方法和装置
CN112233798B (zh) 基于病理模式与注意力机制的可解释疾病风险分析系统
CN111401219B (zh) 一种手掌关键点检测方法和装置
CN110084238A (zh) 基于LadderNet网络的指静脉图像分割方法、装置和存储介质
CN108733801A (zh) 一种面向数字人文的移动视觉检索方法
CN112419326B (zh) 图像分割数据处理方法、装置、设备及存储介质
WO2022111387A1 (zh) 一种数据处理方法及相关装置
CN113191479A (zh) 联合学习的方法、系统、节点及存储介质
CN105868711A (zh) 一种基于稀疏低秩的人体行为识别方法
CN111178187A (zh) 一种基于卷积神经网络的人脸识别方法及装置
CN111814804B (zh) 基于ga-bp-mc神经网络的人体三维尺寸信息预测方法及装置
CN113554653A (zh) 基于互信息校准点云数据长尾分布的语义分割方法
CN113052236A (zh) 一种基于NASNet的肺炎图像分类方法
CN112651333A (zh) 静默活体检测方法、装置、终端设备和存储介质
CN114387524B (zh) 基于多层级二阶表征的小样本学习的图像识别方法和系统
CN110363073A (zh) 舌形识别方法、装置、计算机设备及计算机可读存储介质
CN113361494B (zh) 基于人脸识别的自助服务方法及自助服务系统
CN110363287B (zh) 一种面向内存计算和室内是否有人的神经网络设计方法
CN115457366A (zh) 基于图卷积神经网络的中草药多标签识别模型

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant