CN110363072B - 舌象识别方法、装置、计算机设备及计算机可读存储介质 - Google Patents
舌象识别方法、装置、计算机设备及计算机可读存储介质 Download PDFInfo
- Publication number
- CN110363072B CN110363072B CN201910468444.0A CN201910468444A CN110363072B CN 110363072 B CN110363072 B CN 110363072B CN 201910468444 A CN201910468444 A CN 201910468444A CN 110363072 B CN110363072 B CN 110363072B
- Authority
- CN
- China
- Prior art keywords
- tongue
- layer
- convolution
- convolution layer
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Primary Health Care (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Epidemiology (AREA)
- Pathology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种舌象识别方法,包括:获取舌部图像;根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络;对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别;根据所述舌头图像识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络。本发明还公开了一种舌象识别装置、计算机设备及计算机可读存储介质。采用本发明,用户可随时随地进行舌象识别,流程操作简单,舌象识别准确。
Description
技术领域
本发明涉及人工智能舌象识别领域,尤其涉及一种舌象识别方法、装置、计算机设备及计算机可读存储介质。
背景技术
舌象识别是中医中非常重要的诊断技术之一,可以通过舌象快速的了解身体状况。目前用户如果想要进行舌头诊断,都需要主动去找医生查看,而无法自己诊断,不利于病人及时了解自身身体状况,也不利于医生跟进病人的病情跟踪。同时社会上亚健康人群非常之多,很多重大疾病其实都是由于平时没有注意亚健康问题而最后引发了重大疾病的。传统的人工舌诊方式受制于地理位置,加上过去人工智能技术尚不发达,无法直接通过技术手段进行诊断识别。还有,传统舌象识别仪器,存在重量大、携带不便、单人无法操作、服务单一等问题。
发明内容
本发明所要解决的技术问题在于,提供舌象识别方法、装置、计算机设备及计算机可读存储介质,能够解决传统舌象仪器所存在的重量大、携带不便、单人无法操作、服务单一等问题,用户通过手机等移动端就能随时随地进行舌诊。
为了解决上述技术问题,本发明提供了一种舌象识别方法,包括:获取舌部图像;根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法;对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别;根据所述舌头图像识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法。
优选地,所述舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层,所述舌头检测模型采用随机梯度下降算法进行训练得到模型权重,并结合平滑的L1损失函数以及Sigmoid分类函数输出舌头图像,其中:所述第一卷积层的channel为16、kernel为7、stride为2;所述第一池化层的kernel为3、stride为2,最大池化;所述第一残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为32、kernel均为3、stride均为1,两个卷积层依次连接;所述第二残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为64、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为64、kernel为1、stride为2的卷积层;所述第三残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为128、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为128、kernel为1、stride为2的卷积层;所述第四残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为256、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为256、kernel为1、stride为2的卷积层;所有卷积层后均与激活函数连接。
优选地,所述损失函数为平滑的L1损失函数:f(x)=0.5*(sigma*x)^2,其中,如果|x|<1/sigma^2,那么f(x)=0.5*(sigma*x)^2,否则f(x)=|x|-0.5/sigma^2;所述Sigmoid分类函数为g(x)=1/(1+e^(-x)),其中,如果g(x)>0.5,认为是舌头区域,否则认为是非舌头区域。
优选地,所述根据HSL颜色空间划分方法对所述舌头图像进行颜色识别以获得舌色和舌苔色的步骤包括:计算所述舌头图像的HSL值;根据所述HSL值划分所述舌头图像的颜色空间,其中,事先通过对舌头图像样本集进行HSL值计算,获得各种舌色和舌苔色的颜色空间所对应的HSL值;计算每个颜色空间的像素比,取像素比最大的颜色空间作为舌色和舌苔色。
优选地,所述舌形识别模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层,所述舌形识别模型采用Adam优化算法进行训练,并结合设计好的双损失函数输出舌形,其中:所述第一上采样层、第二上采样层以及第三上采样层均采用双线性插值,上采样倍率均为2;所述第一卷积层、第九卷积层以及第十卷积层的channel均为64、kernel均为3、stride均为1,所述第二卷积层、第七卷积层以及第八卷积层的channel均为128、kernel均为3、stride均为1,所述第三卷积层、第五卷积层以及第六卷积层的channel均为256、kernel均为3、stride均为1,所述第四卷积层的channel为512、kernel为3、stride为1,所述第十一卷积层的channel为4、kernel为1、stride为1,所有卷积层后均与激活函数连接。所述第一池化层、第二池化层以及第三池化层的kernel和stride均为2;所述第一连接层按通道连接第三卷积层和第五卷积层,所述第二连接层按通道连接第二卷积层和第七卷积层,所述第三连接层按通道连接第一卷积层和第九卷积层;所述Adam优化算法的学习率为0.0001,一阶指数矩阵衰减率beta_1=0.9,二阶指数矩阵衰减率beta_2=0.99,共迭代20个epochs。
优选地,所述双损失函数包括交叉熵损失函数和IOU损失函数,其中:所述交叉熵损失函数为:fcross=-sum(y*log(p)),其中,当y为真值时,y=1,否则y=0;所述IOU损失函数为:fiou=1-2*(intersection+smooth)/(union+smooth),其中,intersection为预测的像素区域与真实区域的交集,union为预测的像素区域与真实区域的并集,smooth为平滑因子,取值为1;所述交叉熵损失函数和IOU损失函数按0.9和0.1的系数进行加权,即最终损失函数为f=0.9*fcross+0.1*fiou。
相应的,本发明还提供了一种舌象识别装置,包括:获取模块,用于获取舌部图像;检测模块,用于根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法;颜色识别模块,用于对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别;舌形识别模块,用于根据所述舌头图像输识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法。
优选地,所述检测模块中的舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层;所述舌形识别模块中的舌形识别模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层。
相应的,本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述舌象识别方法的步骤。
相应的,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述舌象识别方法的步骤。
实施本发明的有益效果在于:
本发明通过人工智能图像识别技术,通过将深度卷积神经网络模型引入舌头识别领域,用户通过移动端只需要拍张舌头照片,就可以知道舌头识别结果,解决了传统舌象仪器携带困难等难题,用户只需在对应网页或app,就可随时随地进行舌象识别,操作简单,识别准确,为用户提供全方位的健康服务。
附图说明
图1是本发明提供的舌象识别方法流程示意图;
图2是本发明提供的舌头检测模型示意图;
图3是本发明提供的舌形识别模型示意图。
图4是本发明提供的舌象识别装置示意图;
具体实施方式
为使本发明的目的、技术方案和优点更加清楚,下面将结合附图对本发明作进一步地详细描述。仅此声明,本发明在文中出现或即将出现的上、下、左、右、前、后、内、外等方位用词,仅以本发明的附图为基准,其并不是对本发明的具体限定。
如图1所示,本发明提供了一种舌象识别方法,包括:
S101,获取舌部图像。
需要说明的是,舌部图像可通过移动端(手机端或PC端)上的摄像头实时获取或者通过本地上传,获取舌部图像后,对舌部图像进行归一化处理。
具体地,通过摄像头实时获取舌部图像时,用户只需把舌部放入移动端显示的获取轮廓中,其中,为了更好的获取舌部图像,获取轮廓优先采用类抛物线轮廓。获取舌部图像后,需对舌部图像归一化处理,本发明优先选择图像尺寸归一化到300X300,像素值归一化到0~1区间。
S102,根据所述舌部图像检测舌头图像。
需要说明的是,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法。
具体的,所述舌头检测模型采用随机梯度下降算法进行训练得到模型权重,并结合平滑的L1损失函数以及Sigmoid分类函数输出舌头图像。其中;
所述随机梯度下降算法的批量大小为32,总共训练40个epochs,初始学习率为0.01;
所述损失函数为平滑的L1损失函数:f(x)=0.5*(sigma*x)^2,其中,如果|x|<1/sigma^2,那么f(x)=0.5*(sigma*x)^2,否则f(x)=|x|-0.5/sigma^2。经过验证sigma取1.2收敛速度较快,效果较好。为了更好的收敛,舌头的位置信息均基于舌部图片归一化到0~1区域;
所述Sigmoid分类函数为g(x)=1/(1+e^(-x)),其中,如果g(x)>0.5,认为是舌头区域,否则认为是非舌头区域。因为只需要判断是否是舌头区域,本发明采用sigmoid分类函数只需要1个节点,而采用常用的softmax则需2个节点,因而,为了提高计算速度,减少cpu的运行负担,本发明优先选用Sigmoid分类函数,但不限于此。
如图2所示,所述舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层,其中:所述第一卷积层的channel为16、kernel为7、stride为2;所述第一池化层的kernel为3、stride为2,最大池化;所述第一残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为32、kernel均为3、stride均为1,两个卷积层依次连接;所述第二残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为64、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为64、kernel为1、stride为2的卷积层;所述第三残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为128、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为128、kernel为1、stride为2的卷积层;所述第四残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为256、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为256、kernel为1、stride为2的卷积层;所有卷积层后均与激活函数连接。
S103,对所述舌头图像进行颜色识别以获得舌色和舌苔色。
需要说明的是,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别。
具体的,所述根据HSL颜色空间划分方法对所述舌头图像进行颜色识别以获得舌色和舌苔色的步骤包括:计算所述舌头图像的HSL值;根据所述HSL值划分所述舌头图像的颜色空间,其中,事先通过对舌头图像样本集进行HSL值计算,获得各种舌色和舌苔色的颜色空间所对应的HSL值,例如:通过对大量的舌头图像样本进行HSL值计算并根据对应的颜色空间化分HSL阈值,得出各种颜色空间对应的HSL阈值范围,淡白色的HSL颜色空间对应的HSL阈值范围为色调H(0~12),饱和度S(48~100),亮度L(160——211),其他舌色和舌苔色对应的HSL值不在赘述;计算每个颜色空间的像素比,取像素比最大的颜色空间作为舌色和舌苔色,由于进行颜色识别处理后,会存在多个HSL值比较接近的颜色空间,此时需要选定像素比最大的颜色空间作为最后确定的颜色。
S104,根据所述舌头图像识别舌形。
需要说明的是,在上述步骤检测舌头图像后,需要将舌头图像进行归一化处理,图像尺寸归一化到256X256尺寸大小,并且像素值归一化到0~1区间。归一化处理后,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法。
具体的,所述舌形识别模型采用Adam优化算法进行训练,并结合设计好的双损失函数输出舌形,其中:
所述Adam优化算法的学习率为0.0001,一阶指数矩阵衰减率beta_1=0.9,二阶指数矩阵衰减率beta_2=0.99,共迭代20个epochs;
所述双损失函数包括交叉熵损失函数和IOU损失函数,其中:所述交叉熵损失函数为:fcross=-sum(y*log(p)),其中,当y为真值时,y=1,否则y=0;所述IOU损失函数为:fiou=1-2*(intersection+smooth)/(union+smooth),其中,intersection为预测的像素区域与真实区域的交集,union为预测的像素区域与真实区域的并集,smooth为平滑因子,取值为1;所述交叉熵损失函数和IOU损失函数按0.9和0.1的系数进行加权,即最终损失函数为f=0.9*fcross+0.1*fiou。
如图3所示,所述舌形识别模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层,其中:所述第一上采样层、第二上采样层以及第三上采样层均采用双线性插值,上采样倍率均为2;所述第一卷积层、第九卷积层以及第十卷积层的channel均为64、kernel均为3、stride均为1,所述第二卷积层、第七卷积层以及第八卷积层的channel均为128、kernel均为3、stride均为1,所述第三卷积层、第五卷积层以及第六卷积层的channel均为256、kernel均为3、stride均为1,所述第四卷积层的channel为512、kernel为3、stride为1,所述第十一卷积层的channel为4、kernel为1、stride为1,所有卷积层后均与激活函数连接。所述第一池化层、第二池化层以及第三池化层的kernel和stride均为2;所述第一连接层按通道连接第三卷积层和第五卷积层,所述第二连接层按通道连接第二卷积层和第七卷积层,所述第三连接层按通道连接第一卷积层和第九卷积层。
需要说明的是,舌形识别流程为:将检测出的舌头图像归一化后,送入设计好的轻量级卷积神经网络中,输出舌形特征图,通过人工设定的阈值,对舌形特征图进行二值化,即可输出舌形位置信息。基于此二值图像提取轮廓,从而可计算出舌形的数学特征(如裂纹的数量、长度、斑点、齿痕的数量等信息)。
如图4所示,本发明提供了一种舌象识别装置100,包括:
获取模块1,用于获取舌部图像,需要说明的是,舌部图像可通过移动端(手机端或PC端)上的摄像头实时获取或者通过本地上传,获取舌部图像后,对舌部图像进行归一化处理。具体地,通过摄像头实时获取舌部图像时,用户只需把舌部放入移动端显示的获取轮廓中,其中,为了更好的获取舌部图像,获取轮廓优先采用类抛物线轮廓。获取舌部图像后,需对舌部图像归一化处理,本发明优先选择图像尺寸归一化到300X300,像素值归一化到0~1区间。
检测模块2,用于根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法。具体的,所述检测模块中的舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层。所述舌头检测模型采用随机梯度下降算法进行训练得到模型权重,并结合平滑的L1损失函数以及Sigmoid分类函数输出舌头图像。
颜色识别模块3,用于对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别。
舌形识别模块4,用于根据所述舌头图像输识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法。具体的,所述舌形识别模块中的舌形识别模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层。所述舌形识别模型采用Adam优化算法进行训练,并结合设计好的双损失函数输出舌形。
相应的,本发明还提供了一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述舌象识别方法的步骤。同时,本发明还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述舌象识别方法的步骤。
由上可知,本发明可用于对舌头的舌色、舌苔色以及舌形的识别处理,本发明通过人工智能图像识别技术,通过将深度卷积神经网络模型引入舌头识别领域,用户通过移动端只需要拍张舌头照片,就可以知道舌头识别结果,解决了传统舌诊仪器携带困难等难题,用户只需在对应网页或app,就可随时随地进行舌诊,操作简单,识别准确,为用户提供全方位的健康服务。
以上所述是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种舌象识别方法,其特征在于,包括:
获取舌部图像;
根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法;
对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别;
根据所述舌头图像识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法;
所述根据所述舌头图像识别舌形的步骤包括:将预处理后的舌头图像输入轻量级卷积神经网络中,输出舌形特征图;通过人工设定的阈值,对舌形特征图进行二值化,以输出舌形位置信息;基于二值图像提取轮廓,计算出舌形的数学特征,所述数学特征包括裂纹的数量、长度、斑点数量及齿痕数量;
所述舌形识别模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层,所述舌形识别模型采用Adam优化算法进行训练,并结合设计好的双损失函数输出舌形,所述双损失函数包括交叉熵损失函数和IOU损失函数,其中:所述第一上采样层、第二上采样层以及第三上采样层均采用双线性插值;所有卷积层后均与激活函数连接;所述第一连接层按通道连接第三卷积层和第五卷积层,所述第二连接层按通道连接第二卷积层和第七卷积层,所述第三连接层按通道连接第一卷积层和第九卷积层。
2.如权利要求1所述的舌象识别方法,其特征在于,所述舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层,所述舌头检测模型采用随机梯度下降算法进行训练得到模型权重,并结合损失函数以及分类函数输出舌头图像,其中:
所述第一卷积层的channel为16、kernel为7、stride为2;
所述第一池化层的kernel为3、stride为2,最大池化;
所述第一残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为32、kernel均为3、stride均为1,两个卷积层依次连接;
所述第二残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为64、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为64、kernel为1、stride为2的卷积层;
所述第三残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为128、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为128、kernel为1、stride为2的卷积层;
所述第四残差块包括两个卷积层和一个残差连接,其中两个卷积层的channel均为256、kernel均为3、stride分别为2和1,两个卷积层依次连接,残差连接包括一个channel为256、kernel为1、stride为2的卷积层;
所有卷积层后均与激活函数连接。
3.如权利要求2所述的舌象识别方法,其特征在于,
所述损失函数为平滑的L1损失函数:f(x)=0.5*(sigma*x)^2,sigma为收敛参数,
其中,如果|x|<1/sigma^2,那么f(x)=0.5*(sigma*x)^2,否则f(x)=|x|-0.5/sigma^2;
所述分类函数为Sigmoid函数:g(x)=1/(1+e^(-x)),
其中,如果g(x)>0.5,认为是舌头区域,否则认为是非舌头区域。
4.如权利要求1所述的舌象识别方法,其特征在于,所述根据HSL颜色空间划分方法对所述舌头图像进行颜色识别以获得舌色和舌苔色的步骤包括:
计算所述舌头图像的HSL值;
根据所述HSL值划分所述舌头图像的颜色空间,其中,事先通过对舌头图像样本集进行HSL值计算,获得各种舌色和舌苔色的颜色空间所对应的HSL值;
计算每个颜色空间的像素比,取像素比最大的颜色空间作为舌色和舌苔色。
5.如权利要求1所述的舌象识别方法,其特征在于,
所述第一上采样层、第二上采样层以及第三上采样层的上采样倍率均为2;
所述第一卷积层、第九卷积层以及第十卷积层的channel均为64、kernel均为3、stride均为1,所述第二卷积层、第七卷积层以及第八卷积层的channel均为128、kernel均为3、stride均为1,所述第三卷积层、第五卷积层以及第六卷积层的channel均为256、kernel均为3、stride均为1,所述第四卷积层的channel为512、kernel为3、stride为1,所述第十一卷积层的channel为4、kernel为1、stride为1;
所述第一池化层、第二池化层以及第三池化层的kernel和stride均为2;
所述Adam优化算法的学习率为0.0001,一阶指数矩阵衰减率beta_1=0.9,二阶指数矩阵衰减率beta_2=0.99,共迭代20个epochs。
6.如权利要求5所述的舌象识别方法,其特征在于,所述双损失函数包括交叉熵损失函数和IOU损失函数,其中:
所述交叉熵损失函数为:
fcross=-sum(y*log(p)),
其中,当y为真值时,y=1,否则y=0;
所述IOU损失函数为:
fiou=1-2*(intersection+smooth)/(union+smooth),
其中,intersection为预测的像素区域与真实区域的交集,union为预测的像素区域与真实区域的并集,smooth为平滑因子,取值为1;
所述交叉熵损失函数和IOU损失函数按0.9和0.1的系数进行加权,即最终损失函数为f=0.9*fcross+0.1*fiou。
7.一种舌象识别装置,其特征在于,包括:
获取模块,用于获取舌部图像;
检测模块,用于根据所述舌部图像检测舌头图像,其中,通过将所述舌部图像输入舌头检测模型以获得舌头图像,所述舌头检测模型为轻量级残差网络,所述轻量级残差网络采用基于深度卷积神经网络的目标检测算法;
颜色识别模块,用于对所述舌头图像进行颜色识别以获得舌色和舌苔色,其中,根据HSL颜色空间划分方法对所述舌头图像进行颜色识别;
舌形识别模块,用于根据所述舌头图像输识别舌形,其中,通过将所述舌头图像输入舌形识别模型以获得舌形,所述舌形识别模型为轻量级卷积神经网络,所述轻量级卷积神经网络采用基于深度卷积神经网络的语义分割方法;
所述根据所述舌头图像识别舌形的步骤包括:将预处理后的舌头图像输入轻量级卷积神经网络中,输出舌形特征图;通过人工设定的阈值,对舌形特征图进行二值化,以输出舌形位置信息;基于二值图像提取轮廓,计算出舌形的数学特征,所述数学特征包括裂纹的数量、长度、斑点数量及齿痕数量;
所述舌形识别模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第一上采样层、第五卷积层、第一连接层、第六卷积层、第二上采样层、第七卷积层、第二连接层、第八卷积层、第三上采样层、第九卷积层、第三连接层、第十卷积层以及第十一卷积层,所述舌形识别模型采用Adam优化算法进行训练,并结合设计好的双损失函数输出舌形,所述双损失函数包括交叉熵损失函数和IOU损失函数,其中:所述第一上采样层、第二上采样层以及第三上采样层均采用双线性插值;所有卷积层后均与激活函数连接;所述第一连接层按通道连接第三卷积层和第五卷积层,所述第二连接层按通道连接第二卷积层和第七卷积层,所述第三连接层按通道连接第一卷积层和第九卷积层。
8.如权利要求7所述的舌象识别装置,其特征在于,
所述检测模块中的舌头检测模型的网络架构模型包括依次连接的第一卷积层、第一池化层、第一残差块、第二残差块、第三残差块、第四残差块以及全局池化层。
9.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至8中任一项所述的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910468444.0A CN110363072B (zh) | 2019-05-31 | 2019-05-31 | 舌象识别方法、装置、计算机设备及计算机可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910468444.0A CN110363072B (zh) | 2019-05-31 | 2019-05-31 | 舌象识别方法、装置、计算机设备及计算机可读存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110363072A CN110363072A (zh) | 2019-10-22 |
CN110363072B true CN110363072B (zh) | 2023-06-09 |
Family
ID=68215334
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910468444.0A Active CN110363072B (zh) | 2019-05-31 | 2019-05-31 | 舌象识别方法、装置、计算机设备及计算机可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110363072B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113362334B (zh) * | 2020-03-04 | 2024-05-24 | 北京悦熙兴中科技有限公司 | 一种舌照处理方法及装置 |
CN112184622A (zh) * | 2020-08-31 | 2021-01-05 | 广东三和管桩股份有限公司 | 管桩外观质量检验方法、系统、计算机设备及存储介质 |
CN112763237A (zh) * | 2020-12-31 | 2021-05-07 | 佛山市南海盐步康士柏机电有限公司 | 一种轮胎表面特征检测系统及方法 |
CN113033488B (zh) * | 2021-04-22 | 2023-11-21 | 脉景(杭州)健康管理有限公司 | 医疗特征识别方法及装置、电子设备、存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1367454A (zh) * | 2002-03-25 | 2002-09-04 | 北京工业大学 | 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法 |
CN1830380A (zh) * | 2006-04-20 | 2006-09-13 | 上海交通大学 | 中医舌像分析与诊断系统 |
CN105286768A (zh) * | 2015-09-23 | 2016-02-03 | 江苏大学 | 基于手机平台下的人体健康状态的舌苔诊断装置 |
CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
CN109635711A (zh) * | 2018-12-07 | 2019-04-16 | 上海衡道医学病理诊断中心有限公司 | 一种基于深度学习网络的病理图像分割方法 |
CN109712707A (zh) * | 2018-12-29 | 2019-05-03 | 深圳和而泰数据资源与云技术有限公司 | 一种舌诊方法、装置、计算设备及计算机存储介质 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080139966A1 (en) * | 2006-12-07 | 2008-06-12 | The Hong Kong Polytechnic University | Automatic tongue diagnosis based on chromatic and textural features classification using bayesian belief networks |
-
2019
- 2019-05-31 CN CN201910468444.0A patent/CN110363072B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN1367454A (zh) * | 2002-03-25 | 2002-09-04 | 北京工业大学 | 基于多类支持向量机的中医舌色、苔色、舌苔厚度分析方法 |
CN1830380A (zh) * | 2006-04-20 | 2006-09-13 | 上海交通大学 | 中医舌像分析与诊断系统 |
CN105286768A (zh) * | 2015-09-23 | 2016-02-03 | 江苏大学 | 基于手机平台下的人体健康状态的舌苔诊断装置 |
CN107977671A (zh) * | 2017-10-27 | 2018-05-01 | 浙江工业大学 | 一种基于多任务卷积神经网络的舌象分类方法 |
CN109635711A (zh) * | 2018-12-07 | 2019-04-16 | 上海衡道医学病理诊断中心有限公司 | 一种基于深度学习网络的病理图像分割方法 |
CN109712707A (zh) * | 2018-12-29 | 2019-05-03 | 深圳和而泰数据资源与云技术有限公司 | 一种舌诊方法、装置、计算设备及计算机存储介质 |
Also Published As
Publication number | Publication date |
---|---|
CN110363072A (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110363072B (zh) | 舌象识别方法、装置、计算机设备及计算机可读存储介质 | |
US11967181B2 (en) | Method and device for retinal image recognition, electronic equipment, and storage medium | |
CN110930378B (zh) | 基于低数据需求的肺气肿影像处理方法及系统 | |
CN109685765A (zh) | 一种基于卷积神经网络的x光片肺炎结果预测装置 | |
CN112233798B (zh) | 基于病理模式与注意力机制的可解释疾病风险分析系统 | |
CN112651333B (zh) | 静默活体检测方法、装置、终端设备和存储介质 | |
CN111325709A (zh) | 无线胶囊内窥镜图像检测系统及检测方法 | |
CN115311186A (zh) | 一种红外与可见光图像跨尺度注意力对抗融合方法及终端 | |
CN110807409A (zh) | 人群密度检测模型训练方法和人群密度检测方法 | |
CN113781488A (zh) | 舌象图像的分割方法、装置及介质 | |
CN117975170B (zh) | 基于大数据的医疗信息处理方法及系统 | |
CN117274278B (zh) | 基于模拟感受野的视网膜图像病灶部位分割方法及系统 | |
CN111369494B (zh) | 冬小麦穗密度检测方法及装置 | |
CN117152179A (zh) | 基于U-Net和SENet实现直肠癌CT图像的分割与分类方法 | |
CN110363073B (zh) | 舌形识别方法、装置、计算机设备及计算机可读存储介质 | |
CN114463346B (zh) | 一种基于移动端的复杂环境快速舌分割装置 | |
CN112801238B (zh) | 一种图像分类方法、装置、电子设备及存储介质 | |
CN114565626A (zh) | 基于PSPNet改进的肺部CT图像分割算法 | |
CN113256556A (zh) | 一种图像选择方法及装置 | |
CN112001896A (zh) | 一种甲状腺边界不规则度检测装置 | |
CN116636660B (zh) | 一种电子烟烟油信息处理方法、系统及电子烟 | |
CN114255203B (zh) | 一种鱼苗数量估计方法及系统 | |
CN117197487B (zh) | 一种免疫胶体金诊断试纸条自动识别系统 | |
CN117765410B (zh) | 遥感影像双分支特征融合固废识别方法、系统及电子设备 | |
CN113298168B (zh) | 野外地质露头图像构造识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |