CN114842314A - 基于神经网络的舌象的识别方法、装置和计算机设备 - Google Patents

基于神经网络的舌象的识别方法、装置和计算机设备 Download PDF

Info

Publication number
CN114842314A
CN114842314A CN202210454499.8A CN202210454499A CN114842314A CN 114842314 A CN114842314 A CN 114842314A CN 202210454499 A CN202210454499 A CN 202210454499A CN 114842314 A CN114842314 A CN 114842314A
Authority
CN
China
Prior art keywords
tongue
thin
influence
gray scale
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210454499.8A
Other languages
English (en)
Inventor
王之纯
张世平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN202210454499.8A priority Critical patent/CN114842314A/zh
Publication of CN114842314A publication Critical patent/CN114842314A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/45For evaluating or diagnosing the musculoskeletal system or teeth
    • A61B5/4538Evaluating a particular part of the muscoloskeletal system or a particular medical condition
    • A61B5/4542Evaluating the mouth, e.g. the jaw
    • A61B5/4552Evaluating soft tissue within the mouth, e.g. gums or tongue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/48Other medical applications
    • A61B5/4854Diagnosis based on concepts of traditional oriental medicine
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/26Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/20ICT specially adapted for the handling or processing of patient-related medical or healthcare data for electronic clinical trials or questionnaires
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Primary Health Care (AREA)
  • Alternative & Traditional Medicine (AREA)
  • Software Systems (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Rheumatology (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明涉及图像处理领域,具体涉及基于神经网络的舌象的识别方法、装置和计算机设备,获取舌体灰度图像;对舌体灰度图像的各行像素点进行特征提取,得到舌体影响特征;基于各行像素点,确定对应的灰度曲线图,并获取灰度曲线图的所有波峰点和波谷点,并确定所有波峰的宽度和高度;将宽度和高度的乘积作为对应灰度曲线图的形态参数;提取各灰度曲线图的高亮区域,计算所述高亮区域的所有像素点的均值参数;根据舌体胖瘦影响特征和所有灰度曲线图的形态参数,得到舌体胖瘦特征;根据舌苔薄厚影响特征以及均值参数,得到舌苔薄厚特征;将舌体胖瘦特征和舌苔薄厚特征输入训练好的网络模型中,输出舌象的识别结果。即本发明的方案能够识别出舌象。

Description

基于神经网络的舌象的识别方法、装置和计算机设备
技术领域
本发明涉及图像处理领域,具体为基于神经网络的舌象的识别方法、装置和计算机设备。
背景技术
中医学在中国拥有数千年的历史,在治病、防病和养生领域有着非常丰富的临床经验。其中,中医的诊疗方法,以简单、方便、廉价著称。《黄帝内经》说:“有诸形于内,必形于外。”就是说人的身体内有了毛病,一定会在身体表面显现出来。中医通过望、闻、问、切的四诊方法,去采集疾病的表现,了解人体的健康。其中,舌诊和问诊,更是四诊的重要组成部分。而舌诊和问诊所得到的信息,有着一定的关联规律。
目前,依靠中医专业人员人工获得的、描述性的舌诊和问诊资料,缺乏客观性和量化性,这些资料对于受测个人来说,既难以理解又不知道怎么使用。同时,未经量化、质性的资料,也难以让一般人用于日常的自我保健。所以,亟需一个能够及时量化健康变化的手段,可以让一般人随时随地、方便地获得自己身体某些健康变化的资讯,从而让个体根据检测结果,作出有利于健康的行为调节,例如饮食和运动方面的调节。同时,这个手段也可以对使用者给予健康变化的反馈,以强化健康行为的自我实施。
因此,有必要将舌诊和问诊结合在一起,对舌象进行识别,进而对人的健康状态、中医证型进行更准确的判断,有利于对人的健康变化进行后续的饮食和运动方面的调节。
发明内容
为了解决上述技术问题,本发明的目的在于提供基于神经网络的舌象的识别方法、装置和计算机设备,所采用的技术方案具体如下:
本发明提供的提供基于神经网络的舌象的识别方法的技术方案,包括以下步骤:
获取舌象图像数据,对舌象图像数据进行图像分割和灰度化处理,得到舌体灰度图像;
对所述舌体灰度图像的各行像素点进行特征提取,得到舌体影响特征,所述舌体影响特征包括舌体胖瘦影响特征和舌苔薄厚影响特征;
基于各行像素点,确定对应的灰度曲线图,并获取所述灰度曲线图的所有波峰点和波谷点,基于所有波峰点和波谷点,确定所有波峰的宽度和高度;将所述宽度和高度的乘积作为对应灰度曲线图的形态参数;
提取各灰度曲线图的高亮区域,计算所述高亮区域的所有像素点的均值参数;
根据所述舌体胖瘦影响特征和所有灰度曲线图的形态参数,得到舌体胖瘦特征;根据舌苔薄厚影响特征以及均值参数,得到舌苔薄厚特征;
将所述舌体胖瘦特征和舌苔薄厚特征输入训练好的网络模型中,输出舌象的识别结果。
优选地,还包括获得用户的健康问答数据,提取健康问卷高维特征;
将所述健康问卷高维特征输入训练好的神经网络模型中,输出用户的分析结果;
基于所述分析结果和所述识别结果,获取用户的健康状态与中医证型状态。
优选地,所述中医证型状态包括气虚、阳虚、阴虚和血虚证。
优选地,所述舌体影响特征的获取过程为:
1)随机选取任一行中的任一像素点,并根据各行像素点的灰度序列确定灰度序列中的最小横坐标、最大横坐标以及最大纵坐标;
2)根据灰度序列中的任一像素点的横坐标和纵坐标、该像素点所在行中的最小横坐标、最大横坐标以及最大纵坐标分别确定舌体胖瘦影响特征和舌苔薄厚影响特征。
优选地,所述舌体胖瘦影响特征Q1和舌苔薄厚影响特征Q2分别为:
Figure BDA0003618287740000021
其中,γ1和γ2分别为两条曲线的超参数,xmin(y)为最小的x坐标,xmax(y)为最大的x坐标,像素点(x,y),ymax为像素点(x,y)所在行内的所有像素点中的像素点的纵坐标最大值。
优选地,所述舌体胖瘦特征λ1和舌苔薄厚特征λ2分别为:
Figure BDA0003618287740000022
其中,Q1i和Q2i为第i条灰度曲线的舌体胖瘦影响特征和舌苔薄厚影响特征,ρAi和ρAi分别为第i条灰度曲线的形态参数和均值参数,L为灰度曲线条数。
优选地,所述灰度曲线图是通过对舌体灰度图像的像素点逐点进行扫描,以行为单位提取舌体图像的灰度序列,建立的灰度曲线图。
本发明还提供了基于神经网络的舌象的识别装置,包括:
图像采集模块,获取舌象图像数据,对舌象图像数据进行图像分割和灰度化处理,得到舌体灰度图像;
图像处理模块,对所述舌体灰度图像的各行像素点进行特征提取,得到舌体影响特征,所述舌体影响特征包括舌体胖瘦影响特征和舌苔薄厚影响特征;
数据处理模块,基于各行像素点,确定对应的灰度曲线图,并获取所述灰度曲线图的所有波峰点和波谷点,基于所有波峰点和波谷点,确定所有波峰的宽度和高度;将所述宽度和高度的乘积作为对应灰度曲线图的形态参数;数据提取各灰度曲线图的高亮区域,计算所述高亮区域的所有像素点的均值参数;
计算模块,根据所述舌体胖瘦影响特征和所有灰度曲线图的形态参数,得到舌体胖瘦特征;根据舌苔薄厚影响特征以及均值参数,得到舌苔薄厚特征;
识别模块,将所述舌体胖瘦特征和舌苔薄厚特征输入训练好的网络模型中,输出舌象的识别结果。
本发明还提供了一种计算机设备,
一个或多个处理器;
和其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得运算设备执行上述的基于神经网络的舌象的识别方法的技术方案。
本发明的有益效果:
本发明提出的基于神经网络和的舌象的识别,通过设备获取舌象并对其进行图像分析提取图像特征,从舌体胖瘦和舌苔薄厚特征对舌象进行分析,能够得到舌象的数据信息,从而实现对舌象的识别。
同时,本发明还结合了用户的健康问答数据,识别目标检测用户的人体健康和中医证型状态,为后续的给予健康建议提供了一定的依据。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1是本发明的基于神经网络的舌象的识别方法的步骤流程图;
图2是舌体灰度图;
图3是本发明的舌体灰度图中各行像素点的舌体影响曲线图;
图4是本发明的各行像素点的灰度曲线图;
图5是舌苔灰度图;
图6是本发明的基于神经网络的舌象的识别装置的结构框图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明的方案,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
具体地,请参阅图1所示,本发明提供的基于神经网络的舌象的识别方法,包括以下步骤:
步骤1,获取正面的舌象图像数据。为了获得有可比性的灰度值,舌象图像数据的获取过程为拍摄距离和拍摄光线皆可控的过程。并对舌象图像数据进行图像分割和灰度化处理,得到舌体灰度图像。
本实施例中通过图像采集装置,获取人体的舌象图像数据,由于图像中存在人体整个舌体区域的所有图像(包括舌体、嘴唇以及其周围组织的图像),需要利用语义分割网络来进行舌体的识别和分割,将非舌体区域剔除,因此本发明采用DNN神经网络对舌像进行语义分割。
上述中的图像采集装置包括相机、支架和头部固定器,由于该图像采集装置为现有技术,此处不再赘述。作为其他实施方式,本实施例中还可以通过手机镜头、手机距离测量应用和舌象图像范围指示应用,进行舌象图像数据的采集,其采集图像的方式并不局限于上述手段。
具体地,采用的DNN网络的具体内容为:
进行语义分割的数据集为采集的标准舌体图像数据集。
图像数据集中需要识别分割得到两类像素,这两类像素分别为舌体类和背景类。采用对图像人工标注的方法,将舌体类标注为1,背景类(包括嘴唇以及除舌体之外的周围组织)标注为0。
本发明中DNN网络的任务是用于将舌体和其余非舌体区域分割开,该网络的loss函数采用交叉熵函数。
本实施例中,在进行图像分割之后,还对分割后的舌体图像进行灰度化处理,得到舌体灰度图像,如图2所示;由于灰度化处理为已知技术,此处不再赘述。
步骤2,对所述舌体灰度图像的各行像素点进行特征提取,得到舌体影响特征,所述舌体影响特征包括舌体胖瘦影响特征和舌苔薄厚影响特征。
本实施例中对舌体图像的像素点逐像素进行扫描,以行为单位提取舌体灰度图像的像素点的灰度序列,根据像素点的灰度序列,获取舌体影响曲线,如图3所示,并进行舌体影响特征的提取,具体地,如下:
1)随机选取任一行中的任一像素点,并根据各行像素点的灰度序列确定灰度序列中与该像素点纵坐标相等的其余像素点对应的最小横坐标、最大横坐标以及灰度序列中的最大纵坐标;
2)根据灰度序列中的任一像素点的横坐标和纵坐标最小横坐标、最大横坐标以及最大纵坐标分别确定舌体胖瘦影响特征和舌苔薄厚影响特征。
其中的舌体胖瘦影响特征和舌苔薄厚影响特征分别为:
Figure BDA0003618287740000051
其中,其中,γ1和γ2分别为两条曲线的超参数,xmin(y)为最小的x坐标,xmax(y)为最大的x坐标,像素点(x,y),ymax为像素点(x,y)所在行内的所有像素点中的像素点的纵坐标最大值。
上述中的γ1和γ2用于调整Q1和Q2整体的值,实施者可自行设定。上述舌体影响特征的计算是用于计算图像中所有像素点的位置影响系数值;其中,min(x-xmin(y),xmax(y)-x)表示像素点(x,y)与其同一行(即y都相等)的像素的离散情况,通过计算像素点(x,y)的x坐标与该像素集中最小的x坐标xmin(y)和最大的x坐标xmax(y)的差值,选出这两差值之间最小的那个值,用于表征该像素点距离舌体边缘的远近。min(x-xmin(y),xmax(y)-x)值越小,表明该像素点距离舌体边缘越近,则对于舌体胖瘦影响越大。
Figure BDA0003618287740000052
表示像素点(x,y)与其同一行(即y都相等)的像素集中,计算像素点(x,y)的x坐标与像素集中最小的x坐标xmin(y)和最大的x坐标xmax(y)的均值(即该像素点集中中间点)的差值,用于表征该像素点距离舌体中心区域的远近。
Figure BDA0003618287740000053
值越小,表明该点距离舌体中心区域越近,则对与舌苔薄厚影响越大。
Figure BDA0003618287740000054
中的ymax表示整个图像中所有像素点中最大的y坐标,
Figure BDA0003618287740000055
表明像素点(x,y)在整幅图像中的纵坐标方向上的位置。
Figure BDA0003618287740000061
越小,表明像素点(x,y)越靠近舌体图像的上半部分,则对于舌体胖瘦的影响越小。
Figure BDA0003618287740000062
Figure BDA0003618287740000063
越小,则
Figure BDA0003618287740000064
越大,表明像素点越靠近舌体图像的上半部分,则对于舌苔薄厚的影响越大。
需要说明的是,由于舌体胖瘦以及舌苔薄厚会在舌体的正面图像中表现出与周围区域产生光影差异(高亮区域),因此通过图像存在的光影差异特征对舌体的胖瘦和舌苔薄厚高维特征进行表征。然而由于影响的位置范围不同,即舌体胖瘦主要影响区域位于舌体的边缘,尤其是舌体的靠近舌尖的部分;舌苔的薄厚主要影响区域位于舌体远离舌尖靠近中间的部分。因此,本发明引入舌体影响曲线,并生成影响热力图,用于之后的分析。
本发明中舌体影响曲线主要分为两条:其中一条为Q1,表示舌体胖瘦影响曲线,主要表示舌体由于胖瘦不同产生的高亮区域的位置影响,若该高亮区域的位置越靠近舌尖位置(即舌体图像的下半部分),且若位于舌体两边边缘附近,则该区域受到的影响越大;另一条为Q2,表示舌苔薄厚影响曲线,主要表示舌苔位置的影响,若该区域越靠近舌体图像中间上半部分,则该区域受到的影响越大。
需要说明的是,本发明中构成的舌体影响曲线的坐标系为:三维坐标系,x轴为像素点横坐标,y轴为像素点纵坐标,z轴为Q1或Q2的值。
步骤3,基于各行像素点,确定对应的灰度曲线图,并获取所述灰度曲线图的所有波峰点和波谷点,基于所有波峰点和波谷点,确定所有波峰的宽度和高度;将所述宽度和高度的乘积作为对应灰度曲线图的形态参数;提取各灰度曲线图的高亮区域,计算所述高亮区域的所有像素点的均值参数。
本实施例中,对舌体图像进行自上而下逐行扫描,得到每一行的舌体图像灰度序列。根据得到的以行为单位的灰度序列分别建立灰度曲线图,如图4所示,灰度曲线图是以像素点(x,y)的x坐标为横坐标,以每个像素点的灰度值为纵坐标建立的。
其中,如图4所示,在获取灰度曲线之后,还需要对每条灰度曲线进行平滑,得到平滑后的灰度曲线图。通过建立舌体灰度图像的每一行的灰度曲线图,得到舌体灰度图像的灰度特性,用于计算舌体灰度图像的高维特征。
具体地,本实施例中获取的形态参数以及均值参数的步骤如下:
1)形态参数的获取为:
对得到的平滑后的灰度曲线图计算各个像素点的斜率,可以得到每行像素点之间的灰度空间邻域信息。通过使用曲线多项式拟合的方法,得到灰度曲线的多项式方程,因此就可以计算得到灰度曲线上每个像素点的斜率。
其中,通过曲线多项式拟合得到的曲线方程为:
y=Ax2+Bx+C
式中,A、B和C是通过多项式拟合得到的曲线参数。
通过计算每个像素点的曲线一阶导数,就可以得到每个像素点的斜率,其计算公式为:
Figure BDA0003618287740000071
Δkj=kj-kj-1
通过设置斜率阈值ΔkT,选取Δkj≥ΔkT的像素点,这些像素点j在图像表现为图像中灰度突变点,即这些点在灰度曲线中表现为波谷点。因此,通过以上步骤得到波谷点集合,按照该集合内像素点的横坐标对集合进行从小到大排序,得到波谷点序列:{(x1,y1),(x2,y2),(x3,y3),…,(xm,ym)}。通过对舌体图像分析可以得知,经过排序后的波谷点两两之间构成一个波峰,即(x1,y1)和(x2,y2)构成一个波峰,因此我们可以得到第
Figure BDA0003618287740000072
个波峰的宽度wm/2,其表达式为:
Figure BDA0003618287740000073
通过选取的两两波谷点构成一个波峰,通过计算得到对应的波峰的高度:通过选取两个波峰点xm和xm-1,则通过两个波峰点之间像素点的最大纵坐标值计算可以得知第
Figure BDA0003618287740000074
个波峰高度lm/2,其表达式为:
Figure BDA0003618287740000075
式中,ym~m-1为选取的两个波峰点的最大的纵坐标,ym和ym+1选取的两个波峰点的纵坐标。
其中,灰度曲线的特征即为:
Figure BDA0003618287740000076
式中,
Figure BDA0003618287740000077
Figure BDA0003618287740000078
为第
Figure BDA0003618287740000079
个波峰的宽度和长度。
依据上述公式,可以得到每条灰度曲线的形态参数ρA。其中ρA的表达式为:ρA=w×l
其中,波峰宽越大,波峰长越大,ρA则越大,表明舌体高亮区域范围越大,则表明光影差异范围越大,即舌体表面凸出部位越多,则表明舌体越胖。
2)均值参数的获取:
首先,由先验知识可以得知,舌苔所处的位置位于舌体的正中间,且透过舌苔可以看到红色舌质则舌苔较薄,若看不到则舌苔较厚,如图5所示。因此在舌体图像灰度表现为:图像中间靠上的区域存在高亮区域。舌苔越厚,舌苔区域的灰度值比周围舌质(舌体区域中除舌苔之外的区域)的灰度值差距越大,舌苔区域的像素点灰度值越大。
因此,本发明通过提取每条灰度曲线中间区域的灰度平均值,得到中间区域灰度均值序列,通过分析中间区域灰度均值序列得到舌苔的薄厚特征。
提取灰度曲线中间区域的灰度平均值,通过计算每条灰度曲线中间像素点的位置,向左向右两端各取一定的邻域范围α和β作为舌苔灰度平均值计算范围,其中计算公式为:
Figure BDA0003618287740000081
式中,
Figure BDA0003618287740000082
为区间[α,β]之间像素点的灰度值,m为该区间的像素点的数量。
上述中的邻域范围α和β是通过步骤上述中各个像素点的斜率得到的。通过寻找灰度曲线中间区域灰度突变点,即寻找灰度曲线中斜率突变点。确定α和β的具体方法为:
计算灰度曲线中间点坐标,
Figure BDA0003618287740000083
从中间点坐标xz向左向右寻找灰度第一个灰度突变点,两个突变点的坐标即为α和β的值。
需要说明的是,如图5所示,当舌体比较饱满时,舌体偏厚圆润,在图像中表现为高亮区域面积较多,高亮区域为舌体表面凸起部分,并且高亮区域距离舌头边缘较远。而舌苔所处的位置位于舌体的正中间,舌苔的薄厚也是通过舌体中间区域的灰度情况进行判别。
由上述得到舌体图像每行的灰度曲线图,提取的特征是对所有灰度曲线进行的。通过对大量的舌体图像进行分析,舌体的胖瘦、舌苔的薄厚在图像中均存在很大的灰度差异,因此通过计算灰度曲线的特征,来提取舌体图像的高亮区域变化情况,从而提取舌体图像的高维特征,判断舌体的胖瘦以及舌苔的薄厚。
本发明的方法,由于每张舌体图像的高亮区域灰度值的范围都不相同,无法界定阈值,因此采用确定斜率的方法表示相邻像素点的灰度差异,从而确定高亮区域的范围,提取高亮区域的特征,从而用于提取舌体的高维特征。
步骤4,根据所述舌体胖瘦影响特征和所有灰度曲线图的形态参数,得到舌体胖瘦特征;根据舌苔薄厚影响特征以及均值参数,得到舌苔薄厚特征。
本实施例中,舌体胖瘦特征和舌苔薄厚特征分别为:
Figure BDA0003618287740000091
其中,Q1i和Q2i为第i条灰度曲线的舌体胖瘦影响特征和舌苔薄厚影响特征,ρAi和ρAi分别为第i条灰度曲线的形态参数和均值参数,L为灰度曲线条数。
需要说明的是,由于图像是自上而下进行扫描,因此i通过图像从上到下进行依次赋值,即图像最上方i=1,当然作为其他实施方式,其中的i并不局限于上述中的设置,还可以是自下而上;其中i的设置并不影响舌体胖瘦特征和舌苔薄厚特征的计算。
步骤5,将所述舌体胖瘦特征和舌苔薄厚特征输入训练好的网络模型中,输出舌象的识别结果。
本实施例中,通过训练卷积神经网络,该网络的输入为步骤4中得到的舌体图像高维特征λ1和λ2,输出为识别结果(证型状态P2),卷积神经网络训练过程本发明不再赘述。需要说明的是,本实施例中的识别结果为初步确定的证型状态,如:
气虚:舌色淡白少华,甚者则舌色淡白胖嫩;
血虚:舌色淡白无华,血色几无;
阴虚:舌象为舌红少苔,剥苔亦是阴虚常见舌象;热重者,苔少而舌质红绛,阴液亏虚重,苔少而干燥;阴液干涸重症则见舌光红无苔,即镜面舌,气阴两虚则见舌淡苔少或苔剥等等;
阳虚:舌色淡白而苔白,若阳虚而水湿盛则舌色淡白胖嫩,苔白而多湿滑,若阳虚兼见气血不畅则舌淡紫而胖等等。
进一步地,本发明还包括获得用户的健康问答数据,提取健康问卷高维特征,并结合舌体高维特征数据共同构建人体证型的识别网络。
具体地,根据通过健康问卷调查表的得到的证型状态P1以及舌体图像得到的证型状态P2,计算目标检测人员的综合证型状态P,其表达式为:
Figure BDA0003618287740000092
根据P的评分对目标检测人员的证型状态进行评判。
上述方案能够根据得到的目标检测人员的证型状态,给出健康调理建议以及专家指导,实现提供个人体质-证型识别服务,给予健康建议的目的。
上述中体质状态P1的获取过程为:
构建数字孪生神经网络;
获取标签数据,通过人工标注的方式将对每个问卷调查的预设问题和答案、个人证型状态进行人工标注,如下表1所示,得到健康问卷数字化表。
其中,表中的“0”表示基本没有出现对应的症状,“1”表示偶尔出现对应的症状,“2”表示经常出现的症状。
表1
调查用户 腰腿酸痛 经常腹泻 怕冷 手脚经常冰凉 喜欢吃热的食物 黑眼圈 情绪低落 出汗 大便不畅 心烦急躁
1 3 0 0 1 2 3 1 0 1 1
2
3 0 2 1 0 0
4 1 1 2
5 2 2 1 2 1
6 1 2 1
7 2
8 1 2 3 2
9 3 3 1
10
11 2 2 0 1
12 3 0 2
13 1 1 1 1
14 1 3
15 0 3 1 1
16 2 2 3 1 1 1
17
18 1 0 0 1 1 2
19 0
20 0 1
21 0 3
22 1 2 2 3 1
23 2 2 1 1
24 1 3 2 1 2 1
需要说明的是,通过对健康问卷表内容的分析结果可知:
气虚:咳喘无力;动则汗出;脉虚无力;
血虚:头晕眼花,心悸失眠;
阴虚:五心烦热,小便短少,大便干燥,午后或入夜阵发性发热,盗汗;
阳虚:平素怕冷,四肢不温甚至寒凉,兼见神疲乏力,自汗。
在数据集中随机选择两个数字化后的健康问卷表以及相对应的证型状态P1,构建一个数字孪生神经网络,通过该数字孪生神经网络提取健康问卷调查表高维特征λ3和λ4,该高维特征对应着两个健康问卷对象的证型状态进行神经网络的训练。
其中的损失函数采用对比损失函数,其表达式为:
Figure BDA0003618287740000111
式中,d为两个样本之间的高维特征λ3和λ4的欧式距离,u代表两样本之间是否匹配,u=1代表两个样本相似,u=0代表两个样本不相似,T为设定的阈值对该卷积神经网络进行训练,通过比较两个样本的高维特征λ3和λ4的欧式距离大小,若欧式距离大,则说明该网络不好,继续训练,直到损失函数足够小时,停止训练。得到该网络的输出目标的证型状态P1
通过训练好的数字孪生神经网络,提取目标检测者的健康问卷调查表的高维特征λ3和λ4,并得到对应的证型状态P1
本实施例中由于不同的证型检测对象的问卷调查的数据存在差异,即两者均为同一证型的目标,但是两者的问卷调查数据存在差异,难以通过具体的数据进行推理,因此通过数据孪生网络实现健康问卷的高维特征λ3和λ4提取。
本发明通过设置问卷调查的模式,让使用者填写健康问卷,对使用者的证型状态进行判断。当目标用户经过舌体图像采集过后,对目标用户进行健康问卷调查,获得用户的健康问答数据,使得舌体图像与健康问卷调查数据进行结合,综合识别出用户的证型状态情况。
需要说明的是,健康问卷具体的包括:人体的病历数据,个人健康数据,人体的病情等。随后通过专家判读,判断该个体的个人证型状态(例如,气虚、阳虚、阴虚、血虚等证型状态,当然,本发明是以该四种证型为例进行说明的,其并不局限于这四种证型,具体可以有津液亏虚、气滞、血瘀、实寒等等)。
通过预设问诊问卷的问题,使得用户能够直接对应问诊问卷上的问题进行解答,进而获取到用户的问诊数据,有效提高问诊数据的获取效率和准确性。
如图6所示,本发明还提供了基于神经网络的舌象的识别装置,包括:
图像采集模块,获取舌象图像数据,对舌象图像数据进行图像分割和灰度化处理,得到舌体灰度图像;
图像处理模块,对所述舌体灰度图像的各行像素点进行特征提取,得到舌体影响特征,所述舌体影响特征包括舌体胖瘦影响特征和舌苔薄厚影响特征;
数据处理模块,基于各行像素点,确定对应的灰度曲线图,并获取所述灰度曲线图的所有波峰点和波谷点,基于所有波峰点和波谷点,确定所有波峰的宽度和高度;将所述宽度和高度的乘积作为对应灰度曲线图的形态参数;数据提取各灰度曲线图的高亮区域,计算所述高亮区域的所有像素点的均值参数;
计算模块,根据所述舌体胖瘦影响特征和所有灰度曲线图的形态参数,得到舌体胖瘦特征;根据舌苔薄厚影响特征以及均值参数,得到舌苔薄厚特征;
识别模块,将所述舌体胖瘦特征和舌苔薄厚特征输入训练好的网络模型中,输出舌象的识别结果。
由于本实施例中的基于神经网络的舌象的识别装置的具体实施过程与上述中的基于神经网络的舌象的识别方法的具体实施过程相同,此处不再过多赘述。
本发明还提供了一种计算机设备,包括一个或多个处理器;
和其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得运算设备执行上述的基于神经网络的舌象的识别方法的技术方案。
由于上述已对基于神经网络的舌象的识别方法进行了详细的介绍,此处不再进行过多赘述。
以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。

Claims (9)

1.基于神经网络的舌象的识别方法,其特征在于,包括以下步骤:
获取舌象图像数据,对舌象图像数据进行图像分割和灰度化处理,得到舌体灰度图像;
对所述舌体灰度图像的各行像素点进行特征提取,得到舌体影响特征,所述舌体影响特征包括舌体胖瘦影响特征和舌苔薄厚影响特征;
基于各行像素点,确定对应的灰度曲线图,并获取所述灰度曲线图的所有波峰点和波谷点,基于所有波峰点和波谷点,确定所有波峰的宽度和高度;将所述宽度和高度的乘积作为对应灰度曲线图的形态参数;提取各灰度曲线图的高亮区域,计算所述高亮区域的所有像素点的均值参数;
根据所述舌体胖瘦影响特征和所有灰度曲线图的形态参数,得到舌体胖瘦特征;根据舌苔薄厚影响特征以及均值参数,得到舌苔薄厚特征;
将所述舌体胖瘦特征和舌苔薄厚特征输入训练好的网络模型中,输出舌象的识别结果。
2.根据权利要求1所述的基于神经网络的舌象的识别方法,其特征在于,还包括获得用户的健康问答数据,提取健康问卷高维特征;
将所述健康问卷高维特征输入训练好的神经网络模型中,输出用户的分析结果;
基于所述分析结果和所述识别结果,获取用户的健康状态与中医证型状态。
3.根据权利要求1所述的基于神经网络的舌象的识别方法,其特征在于,所述中医证型状态包括气虚、阳虚、阴虚和血虚证。
4.根据权利要求1所述的基于神经网络的舌象的识别方法,其特征在于,所述舌体影响特征的获取过程为:
1)随机选取任一行中的任一像素点,并根据各行像素点的灰度序列确定灰度序列中的最小横坐标、最大横坐标以及最大纵坐标;
2)根据灰度序列中的任一像素点的横坐标和纵坐标、该像素点所在行中的最小横坐标、最大横坐标以及最大纵坐标分别确定舌体胖瘦影响特征和舌苔薄厚影响特征。
5.根据权利要求4所述的基于神经网络的舌象的识别方法,其特征在于,所述舌体胖瘦影响特征Q1和舌苔薄厚影响特征Q2分别为:
Figure FDA0003618287730000011
其中,γ1和γ2分别为两条曲线的超参数,xmin(y)为最小的x坐标,xmax(y)为最大的x坐标,像素点(x,y),ymax为像素点(x,y)所在行内的所有像素点中的像素点的纵坐标最大值。
6.根据权利要求1所述的基于神经网络的舌象的识别方法,其特征在于,所述舌体胖瘦特征λ1和舌苔薄厚特征λ2分别为:
Figure FDA0003618287730000021
其中,Q1i和Q2i为第i条灰度曲线的舌体胖瘦影响特征和舌苔薄厚影响特征,ρAi和ρAi分别为第i条灰度曲线的形态参数和均值参数,L为灰度曲线条数。
7.根据权利要求1所述的基于神经网络的舌象的识别方法,其特征在于,所述灰度曲线图是通过对舌体灰度图像的像素点逐点进行扫描,以行为单位提取舌体图像的灰度序列,建立的灰度曲线图。
8.基于神经网络的舌象的识别装置,其特征在于,包括:
图像采集模块,获取舌象图像数据,对舌象图像数据进行图像分割和灰度化处理,得到舌体灰度图像;
图像处理模块,对所述舌体灰度图像的各行像素点进行特征提取,得到舌体影响特征,所述舌体影响特征包括舌体胖瘦影响特征和舌苔薄厚影响特征;
数据处理模块,基于各行像素点,确定对应的灰度曲线图,并获取所述灰度曲线图的所有波峰点和波谷点,基于所有波峰点和波谷点,确定所有波峰的宽度和高度;将所述宽度和高度的乘积作为对应灰度曲线图的形态参数;数据提取各灰度曲线图的高亮区域,计算所述高亮区域的所有像素点的均值参数;
计算模块,根据所述舌体胖瘦影响特征和所有灰度曲线图的形态参数,得到舌体胖瘦特征;根据舌苔薄厚影响特征以及均值参数,得到舌苔薄厚特征;
识别模块,将所述舌体胖瘦特征和舌苔薄厚特征输入训练好的网络模型中,输出舌象的识别结果。
9.一种计算机设备,其特征在于,
一个或多个处理器;
和其上存储有指令的一个或多个机器可读介质,当所述一个或多个处理器执行时,使得运算设备执行如权利要求1-7任一项所述的基于神经网络的舌象的识别方法的程序。
CN202210454499.8A 2022-04-27 2022-04-27 基于神经网络的舌象的识别方法、装置和计算机设备 Pending CN114842314A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210454499.8A CN114842314A (zh) 2022-04-27 2022-04-27 基于神经网络的舌象的识别方法、装置和计算机设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210454499.8A CN114842314A (zh) 2022-04-27 2022-04-27 基于神经网络的舌象的识别方法、装置和计算机设备

Publications (1)

Publication Number Publication Date
CN114842314A true CN114842314A (zh) 2022-08-02

Family

ID=82567563

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210454499.8A Pending CN114842314A (zh) 2022-04-27 2022-04-27 基于神经网络的舌象的识别方法、装置和计算机设备

Country Status (1)

Country Link
CN (1) CN114842314A (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115830459A (zh) * 2023-02-14 2023-03-21 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 基于神经网络的山地林草生命共同体损毁程度检测方法
CN115937215A (zh) * 2023-03-08 2023-04-07 四川博瑞客信息技术有限公司 基于人工智能的津液分析苔质方法
TWI814521B (zh) * 2022-08-05 2023-09-01 大可特股份有限公司 舌相檢測系統及舌相檢測方法
CN116935493A (zh) * 2023-09-13 2023-10-24 成都市青羊大数据有限责任公司 一种教育管理系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106510636A (zh) * 2016-11-29 2017-03-22 深圳市易特科信息技术有限公司 中医舌像自动检测系统及方法
WO2020255517A1 (ja) * 2019-06-19 2020-12-24 国立大学法人信州大学 特徴量抽出装置、特徴量抽出方法、識別装置、識別方法及びプログラム
CN113160966A (zh) * 2021-02-25 2021-07-23 西安理工大学 一种基于多任务学习的舌象诊断方法及舌象诊断系统
CN113409304A (zh) * 2021-07-15 2021-09-17 深圳市圆道妙医科技有限公司 基于全息多维舌部图像分析方法、系统、设备和存储介质
CN114358195A (zh) * 2022-01-07 2022-04-15 南京市中西医结合医院 一种基于改进vgg16网络的中医复杂体质辨识方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106510636A (zh) * 2016-11-29 2017-03-22 深圳市易特科信息技术有限公司 中医舌像自动检测系统及方法
WO2020255517A1 (ja) * 2019-06-19 2020-12-24 国立大学法人信州大学 特徴量抽出装置、特徴量抽出方法、識別装置、識別方法及びプログラム
CN113160966A (zh) * 2021-02-25 2021-07-23 西安理工大学 一种基于多任务学习的舌象诊断方法及舌象诊断系统
CN113409304A (zh) * 2021-07-15 2021-09-17 深圳市圆道妙医科技有限公司 基于全息多维舌部图像分析方法、系统、设备和存储介质
CN114358195A (zh) * 2022-01-07 2022-04-15 南京市中西医结合医院 一种基于改进vgg16网络的中医复杂体质辨识方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
RONG CHEN: "Research on color correction algorithm for mobile-end tongue images", 《 2017 INTERNATIONAL SYMPOSIUM ON INTELLIGENT SIGNAL PROCESSING AND COMMUNICATION SYSTEMS (ISPACS)》, 22 January 2018 (2018-01-22) *
WEIXIA LIU: "Tongue Body Localization Based on Image Clustering and Gray Projection", 《SECOND INTERNATIONAL CONFERENCE ON SMART VEHICULAR TECHNOLOGY, TRANSPORTATION, COMMUNICATION AND APPLICATIONS》, 30 October 2020 (2020-10-30) *
商子梦: "舌诊信息数字化采集和特征分析的研究进展", 《中华中医药杂志》, 31 October 2019 (2019-10-31) *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI814521B (zh) * 2022-08-05 2023-09-01 大可特股份有限公司 舌相檢測系統及舌相檢測方法
CN115830459A (zh) * 2023-02-14 2023-03-21 山东省国土空间生态修复中心(山东省地质灾害防治技术指导中心、山东省土地储备中心) 基于神经网络的山地林草生命共同体损毁程度检测方法
CN115937215A (zh) * 2023-03-08 2023-04-07 四川博瑞客信息技术有限公司 基于人工智能的津液分析苔质方法
CN115937215B (zh) * 2023-03-08 2023-06-06 四川博瑞客信息技术有限公司 基于人工智能的津液分析苔质方法
CN116935493A (zh) * 2023-09-13 2023-10-24 成都市青羊大数据有限责任公司 一种教育管理系统
CN116935493B (zh) * 2023-09-13 2024-01-02 成都市青羊大数据有限责任公司 一种教育管理系统

Similar Documents

Publication Publication Date Title
CN114842314A (zh) 基于神经网络的舌象的识别方法、装置和计算机设备
Bercovich et al. Development of an automatic cow body condition scoring using body shape signature and Fourier descriptors
EP1450287B1 (en) Method of extracting region of interest from tongue image and health monitoring method and apparatus using the tongue image
Kawanabe et al. Quantification of tongue colour using machine learning in Kampo medicine
JP5400217B2 (ja) 伝統中国医学(tcm)の原理に基づいて肌組成を判定するコンピュータ援用診断システム
Chen et al. Examining palpebral conjunctiva for anemia assessment with image processing methods
Ahmed et al. Bem sex role inventory validation in the international mobility in aging study
WO2018098987A1 (zh) 中医舌诊图像处理系统及方法
CN110197236A (zh) 一种基于影像组学对糖皮质激素疗效的预测和验证方法
Im et al. The relationship between the presence of sulcal pits and intelligence in human brains
Oliveira et al. Towards an efficient and robust foot classification from pedobarographic images
Sevani et al. Detection anemia based on conjunctiva pallor level using k-means a lgorithm
JP4649965B2 (ja) 健康度判定装置、及びプログラム
Putra et al. Identification of heart disease with iridology using backpropagation neural network
CN116864062A (zh) 一种基于互联网的健康体检报告数据分析管理系统
Hui et al. Machine learning for tongue diagnosis
Nodari-Júnior et al. Dermatoglifos: correlación entre el método tradicional y el sistema informatizado para la aplicación en antropometría
Brazelle et al. Ridge Density as an Investigative Tool for Stature.
CN112086193A (zh) 一种基于物联网的人脸识别健康预测系统及方法
Jiang et al. Digital imaging system for physiological analysis by tongue colour inspection
Kim et al. Different trends of teeth marks according to qi blood yin yang deficiency pattern in patients with chronic fatigue
Joshi Manisha et al. Computerized pragmatic assessment of Prakriti Dosha using tongue images-Pilot study
Khalaf et al. Analysis of multimodal physiological signals within and across individuals to predict psychological threat vs. challenge
CN115607113B (zh) 基于深度学习模型的冠心病患者手诊数据处理方法及其系统
Mahmud et al. Anemia detection through non-invasive analysis of lip mucosa images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination