CN113362334B - 一种舌照处理方法及装置 - Google Patents

一种舌照处理方法及装置 Download PDF

Info

Publication number
CN113362334B
CN113362334B CN202010145031.1A CN202010145031A CN113362334B CN 113362334 B CN113362334 B CN 113362334B CN 202010145031 A CN202010145031 A CN 202010145031A CN 113362334 B CN113362334 B CN 113362334B
Authority
CN
China
Prior art keywords
tongue
image
picture
photo
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010145031.1A
Other languages
English (en)
Other versions
CN113362334A (zh
Inventor
徐忆苏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Yuexi Xingzhong Technology Co ltd
Original Assignee
Beijing Yuexi Xingzhong Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Yuexi Xingzhong Technology Co ltd filed Critical Beijing Yuexi Xingzhong Technology Co ltd
Priority to CN202010145031.1A priority Critical patent/CN113362334B/zh
Publication of CN113362334A publication Critical patent/CN113362334A/zh
Application granted granted Critical
Publication of CN113362334B publication Critical patent/CN113362334B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本发明提供了一种舌照处理方法及装置，属于计算机技术领域。该方法中，会获取用户输入的舌照，然后，根据舌照确定舌照中舌头的位置信息，并基于舌照中舌头的位置信息，提取舌照中舌头所占的区域，得到目标舌照，最后，根据预训练的舌象特征识别模型对目标舌照进行舌象识别，得到目标舌照中的舌象特征。这样，通过先确定舌照中舌头的位置信息，并提取得到目标舌照，可以避免因存在舌头区域之外图像，导致对识别过程带来干扰，也避免因存在舌头区域之外图像而导致处理资源的浪费，从而可以提高识别舌象特征的处理速度。且通过舌象特征识别模型识别舌象特征，可以使输入的不同舌照按照同一个识别标准进行处理，进而可以提高判别结果的可信度。

Description

一种舌照处理方法及装置
技术领域
本发明属于计算机技术领域，特别是涉及一种舌照处理方法及装置。
背景技术
随着个人意识的提高，人们对自己身体状态的重视程度越来越高。为了便捷的确定自己的身体状态，人们经常会将自己的舌照上传给专业人士，由专业人士对其进行分析判断，确定出舌照中的舌象特征，然后基于这些舌象特征进行状态判断。
现有技术中，确定舌象特征时，往往是由专业人士根据个人经验对舌照进行观察分析，以确定出舌照中的舌象特征。但是受到个人主观意识的影响，不同的专业人士对同一舌照分析，会得到不同的舌象特征，判断结果的可信度较低，且利用人工判断舌象特征费时费力，成本大。
发明内容
本发明实施例提供一种舌照处理方法及装置，以便解决处理舌照时可信度较低，且利用人工判断舌象特征费时费力，成本大的问题。
为了解决上述技术问题，本发明是这样实现的：
第一方面，本发明实施例提供了一种舌照处理方法，该方法包括：
获取用户输入的舌照；
根据所述舌照，确定所述舌照中舌头的位置信息；
基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域，得到目标舌照；
根据预训练的舌象特征识别模型对所述目标舌照进行舌象识别，得到所述目标舌照中的舌象特征。
第二方面，本发明实施例还提供了一种舌照处理装置，包括：
第一获取模块，用于获取用户输入的舌照；
第一确定模块，用于根据所述舌照，确定所述舌照中舌头的位置信息；
提取模块，用于基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域，得到目标舌照；
第二确定模块，根据预训练的舌象特征识别模型对所述目标舌照进行舌象识别，得到所述目标舌照中的舌象特征。
第三方面，本发明实施例提供了一种电子设备，其特征在于，包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的舌照处理程序，所述舌照处理程序被所述处理器执行时实现如第一方面所述的舌照处理方法的步骤。
第四方面，本发明实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储舌照处理程序，所述舌照处理程序被处理器执行时实现如第一方面所述的舌照处理方法的步骤。
综上所述，本发明实施例提供的舌照处理方法，会获取用户输入的舌照，然后，根据舌照确定舌照中舌头的位置信息，并基于舌照中舌头的位置信息，提取舌照中舌头所占的区域，得到目标舌照，最后，根据预训练的舌象特征识别模型对目标舌照进行舌象识别，得到目标舌照中的舌象特征。这样，通过先确定舌照中舌头的位置信息，并提取得到目标舌照，可以避免因存在舌头区域之外图像，导致对识别过程带来干扰，也避免因存在舌头区域之外图像而导致处理资源的浪费，从而可以提高识别舌象特征的处理速度。且通过舌象特征识别模型识别舌象特征，可以使输入的不同舌照按照同一个识别标准进行处理，进而可以提高判别结果的可信度。同时，由于无需人工进行确定，因此，可以节省处理成本。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1是本发明实施例提供的一种舌照处理方法的步骤流程图；
图2-1是本发明实施例提供的另一种舌照处理方法的步骤流程图；
图2-2是本发明实施例提供的一种模型结构图；
图3是本发明实施例还提供了一种舌照处理装置的结构框图；
图4表示本发明实施例的一种电子设备的硬件结构示意图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
图1是本发明实施例提供的一种舌照处理方法的步骤流程图，如图1所示，该方法可以包括：
步骤101、获取用户输入的舌照。
本发明实施例中，该方法可以应用于电子设备，该电子设备可以是电脑、服务器，等等。舌照可以为包含舌头的图像，具体的，该图像可以是用户通过摄像头采集到的图像，也可以是用户从已存储的图像中选定的。进一步地，用户可以在需要识别舌照的舌象特征时，通过网络向该电子设备上传舌照。相应地，电子设备可以获取该舌照。
步骤102、根据所述舌照，确定所述舌照中舌头的位置信息。
本发明实施例中，舌头的位置信息可以用于表示舌头在舌照中所处的具体位置，该位置信息可以是舌头的位置坐标。具体的，确定舌照中舌头的位置信息时，可以先检测舌照中是否包含舌头，如果包含舌头，再确定舌头在舌照中的位置坐标。由于受到外界因素的影响，舌照在采集的过程中可能没有完整的采集到舌头。这样，通过在确定位置信息过程中，先检测舌照中是否包含舌头，在之后对舌照中的舌头进行舌象识别时候，可以避免对不包含舌头的舌照进行舌象识别，导致处理资源浪费的问题，进而可以提高舌照处理的有效性。
进一步地，可以根据舌照中舌头所占的像素区域确定舌头在舌照中的位置坐标。具体的，可以根据舌头所占像素区域中最外围的一圈像素作为边缘区域像素，将边缘区域像素在舌照中对应的预设坐标系中的位置坐标作为舌头在舌照中的位置坐标。也可以通过边界框圈中舌头所占像素区域，将边界框在舌照中对应的位置坐标作为舌头在舌照中的位置坐标，该边界框的具体样式可以根据实际需求预先设定，本发明实施例对此不做限定。其中，预设坐标系可以是按照预设的坐标系建立方式预先建立的，具体建立方式本发明实施例对此不做限定。示例的，该预设建立方式可以为以左上角顶点为原点，水平方向为X轴，竖直方向为Y轴进行加建立。这样，通过预先建立坐标系使得舌照中的每个像素点都有唯一对应的位置坐标，进而方便确定位置坐标。
步骤103、基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域，得到目标舌照。
本发明实施例中，提取舌照中舌头所占的区域，可以是先根据舌头在舌照中的位置坐标确定舌头所占的像素区域，具体的，若位置坐标由边缘区域像素确定的，则可以将边缘区域像素所包围的像素区域作为舌照中舌头所占的像素区域，若位置坐标由边界框确定的，则可以将边界框所圈中的像素区域作为舌照中舌头所占的像素区域。然后，可以提取舌头所占的像素区域，将提取到的舌头所占的像素区域作为目标舌照。这样，可以确保得到的目标舌照中仅包含舌头，进而可以消除舌照中非舌头区域对后续的舌象特征识别过程的干扰，以及降低处理图像时的工作量，从而一定程度上提高处理速度。
需要说明的是，提取舌头所占的像素区域作为目标舌照时，可以是将舌头所占的像素区域从舌照中剪切出来，将剪切得到的舌照作为目标舌照，也可以是将舌头所占的像素区域复制到新建图像中，将新建图像作为目标舌照，本发明实施例对此不做限定。
步骤104、根据预训练的舌象特征识别模型对所述目标舌照进行舌象识别，得到所述目标舌照中的舌象特征。
本发明实施例中，预训练的舌象特征识别模型可以根据包含舌头的样本图像及该样本图像对应的真实舌象特征，对初始舌象特征识别模型进行迭代训练得到的。通过不断的迭代训练，使得舌象特征识别模型可以学习到正确预测图像中舌头所包含的舌象特征的能力。因此，本发明实施例中，可以利用训练得到的舌象特征识别模型对目标舌照进行舌象识别，确定目标舌照包含的舌象特征。
具体的，初始舌象特征识别模型可以是卷积神经网络(Convolutional NeuralNetwork,CNN)中处理效率更高的EfficientNet模型，示例的，由于EfficientNet模型中的EfficientNet-b3模型处理速度和检测准确率都更高，因此，以EfficientNet-b3模型作为初始舌象特征识别模型，可以提高检测舌照包含舌象特征的处理效率与准确率。进一步地，样本图像可以是包含舌头的图像，真实舌象特征可以是人工根据样本图像确定的舌象特征。初始舌象特征识别模型的训练过程可以包括：将样本图像与对应的真实舌象特征输入到初始舌象特征识别模型中，初始舌象特征识别模型对样本图像进行识别，基于该初始舌象特征识别模型识别出的舌象特征与真实舌象特征之间的偏差程度，确定该模型识别的正确率，在识别正确率未达到预设正确率的情况下，对该初始舌象特征识别模型中的参数进行调整，然后基于调整后的初始舌象特征识别模型继续进行迭代训练。通过不断的迭代训练，当初始舌象特征识别模型的识别正确率达到预设正确率，比如97％时，确定模型训练完成，将达到预设正确率的初始舌象特征识别模型作为预训练的舌象特征识别模型。
综上所述，本发明实施例提供的舌照处理方法，会获取用户输入的舌照，然后，根据舌照确定舌照中舌头的位置信息，并基于舌照中舌头的位置信息，提取舌照中舌头所占的区域，得到目标舌照，最后，根据预训练的舌象特征识别模型对目标舌照进行舌象识别，得到目标舌照中的舌象特征。这样，通过先确定舌照中舌头的位置信息，并提取得到目标舌照，可以避免因存在舌头区域之外图像，导致对识别过程带来干扰，也避免因存在舌头区域之外图像而导致处理资源的浪费，从而可以提高识别舌象特征的处理速度。且通过舌象特征识别模型识别舌象特征，可以使输入的不同舌照按照同一个识别标准进行处理，进而可以提高判别结果的可信度。同时，由于无需人工进行确定，因此，可以节省处理成本。
图2-1是本发明实施例提供的另一种舌照处理方法的步骤流程图，如图2-1所示，该方法可以包括：
步骤201、获取用户输入的舌照。
具体的，本步骤的实现方式可以参照前述步骤101，本发明实施例对此不作限定。
步骤202、根据预训练的舌头检测模型，检测所述舌照中是否包含舌头。
本发明实施例中，预训练的舌头检测模型可以根据样本数据对初始舌头检测模型进行迭代训练得到的，通过不断的迭代训练，使得舌头检测模型可以学习到正确预测图像中是否包含舌头的能力。因此，可以利用训练得到的舌头检测模型确定舌照中是否包含舌头。具体的，初始舌头检测模型可以是卷积神经网络中的目标检测模型，比如一步走(one-stage)算法中的YOLO系列(You Only Look Once)、多框预测算法(Single Shot MultiBoxDetector，SSD)和轻量化网络(MobileNet-V2)等，示例的，由于目标检测模型中的Yolov3模型其检测效率与准确率都相对更高，因此，以Yolov3模型作为初始舌头检测模型，可以提高检测舌照的效率以及检测的准确率。
进一步地，样本数据可以是通过对初始图像进行预设操作后得到的。其中，初始图像可以是包含舌头的图像，初始图像可以是从网上下载的，也可以是从用户之前上传的舌照中采集的，本发明实施例对此不做限定。预设操作可以是随机旋转、归一化处理及比例调整中的一种或多种操作。其中，随机旋转可以是将图像以随机的方向与角度进行旋转。归一化处理可以是将图像属性值调整为标准图像属性值，该标准图像属性值可以是预先根据实际需求设定的。该图像属性值可以包括图像的亮度值、曝光度值、对比度值等。比例调整可以是将图像以一定比例进行放大或缩小的调整。进一步地，对初始图像的预设操作还可以包括小波变换处理、锐化处理等操作方式，本发明实施例对此不做限定。
本发明实施例中，通过对初始图像进行预设操作，可以增加样本数据的数量与多样性，这样，无需获取大量的初始图像，即可得到充足的样本数据，进而一定程度上可以降低获取初始图像的工作量。同时，通过增加样本数据的数量与多样性，一定程度上可以提高样本数据的质量，进而提高基于该样本数据进行模型训练的训练效果。本发明实施例中，还可以对之前上传的舌照进行标注，并作为初始图像，以便用于训练卷积神经网络模型，进而使得训练得到的模型可以识别上传的舌照是否包含舌头，并且准确提取出舌头对应的图像区域，进而可以方便进行舌诊操作。其中，该标注操作可以是人工标注，也可以是使用标注软件标注出舌头的位置，即使用一个长方形区域、四个点位坐标进行标注舌头区域。示例的，标注的图像数据可以有七万多张，这七万多张图像可以为卷积神经网路进行深度学习训练所做的准备工作。
需要说明的是，由于用户拍摄舌照时，存在一定的倾斜角度，导致舌照中的舌头不是竖直的，这样，在利用舌头检测模型进行检测时可能会带来干扰，导致出现舌照中包含舌头，但模型检测结果为没有舌头的情况。因此，本发明实施例可以对样本数据进行随机角度的倾斜旋转，比如，随机旋转5°、10°、15°等，以增加样本数据的多样化，进而一定程度上可以排除由于舌照中舌头存在倾斜角度而带来的干扰，进而提高舌头检测模型的检测准确率及检测速率。
示例的，以选用Yolov3模型作为初始舌头检测模型为例，图2-2是本发明实施例提供的一种模型结构图，如图2-2所示，该选用的Yolov3模型可以是Darknet-19上升到Darknet-53的具有残差架构的模型，其主要组成单元可以包括：DBL模块、Upsample(上采样)模块、Shortcut(快捷函数)模块、Res(残差)模块及Route(路由)模块，这些模块可以基于从样本数据中提取到目标对象的特征进行处理，即该模型以舌头作为目标对象。其中，DBL模块可以为确定置信程度(Degrees of Belief)的模块，主要包括卷积、归一化以及批标准化(Batch Normalization，BN)、带泄露修正线性单元(Leaky ReLU)的激活函数，对于Yolov3来说，除最后一层卷积外，BN和Leaky ReLU已经是和卷积层不可分离的部分，因此DBL模块是Yolov3模型中最小的基本组件。Upsample模块主要利用上采样为模型提供更多的细粒度特征。Res模块中包含有Resn，n代表数字，例如有Res1，Res2，…，Res8等，表示这个Res模块里含有多少个单元(Res_unit)，该模块是Yolov3模型中的大组件。Res模块可以形成类似ResNet的残差结构，使用这种类似ResNet的残差结构可以让模型结构更深，进而一定程度上可以提高训练得到的舌头检测模型的效果。Route模块可以用于图像进行拼接，扩充张量维度。具体的，可以将Darknet中间层和后面的某一层的上采样进行张量拼接(Concat)，进而实现扩充张量的维度。需要说明的是，该拼接操作与残差架构中的残差层的add操作不同，通过该拼接操作可以实现扩充张量的维度，而add操作是实现直接相加，其并不会导致张量维度的改变。最后，根据DBL与conv确定模型检测结果，并输出3个不同尺度的特征图(feature map)，即y1、y2、y3。
进一步地，Yolov3模型输入图像的大小可以设置为416*416*channels，利用卷积层进行五次下采样、两次上采样和拼接后，可以输出三种尺寸的特征图。其中，channels(通道)可以为3，这三种尺寸的特征图y1、y2、y3可以分别为13*13*255，26*26*255以及52*52*255。为不同大小的目标对象输出特征图匹配不同大小的anchor(目标物体中心点)，每一个输出特征图对应三个大小不同的anchor，三个输出特征图共计9个anchor，anchor的尺寸由k均值聚类(K-means)得到。而输出的信道channels可以设置为：channel＝3*(x,y,w,h,confidence)+80＝255，其中，3代表anchor的个数，x，y，w，h代表预测出的目标坐标以及尺寸，confidence为置信度，80代表类别。其中，anchor的获取可以由k-means聚类得到，Yolov3的anchor尺寸是相对于原图大小的，其距离没有采用传统的欧氏距离，而是利用重叠度(Intersection over Union，IOU)计算距离，IOU越大，距离越小。k-means中的参数K代表聚类的类别数量，具体聚类步骤如下：1、针对目标物体选取K个中心点；2、预先对图像进行网格划分得到若干个单元格，计算图像中每个单元格的中心点到目标物体中心点的距离，将距离最近的单元格划分到该目标物体对应的类别中；3、所有单元格分类完成后，对目标物体选出新的中心点；4、如果目标物体新的中心点与原始中心点的距离小于预设阈值，则迭代终止；5、若不满足迭代终止条件，则重复上述2，3，4步骤。
具体的，将舌照输入舌头检测模型的检测过程是：将舌头作为目标物体，先对舌照进行网格划分，具体划分网格数可以根据实际需求预先设定，例如，可以先将舌照的大小调整为416*416，再对舌照进行网格划分，划分为416*416个单元格，然后对每个单元格进行检测，确定目标物体的中心点所位于的单元格，以该单元格为中心预测包含目标物体的多个边界框及对应的边界框参数，其中，边界框参数可以为该边界框含有目标物体的可能性大小和准确度，根据边界框参数确定该边界框中的图像是否为目标物体。当存在边界框参数满足出现目标物体的参数时，则认为该舌照中包含舌头；当边界框参数不满足预设参数，或者在单元格中未检测到目标物体的中心点，则认为该舌照中不包含舌头。最后，输出对舌照的检测结果，该结果包括用于表示该舌照是否包含舌头的布尔型变量(Bool)值。
需要说明的是，在对舌头检测模型进行训练之前，还可以对舌头检测模型的训练参数进行选取。具体的，可以是选取能够保证模型在训练时损失函数趋于稳定的同时，还可以提高模型的收敛速度的值设置为训练参数。具体的，这个值可以是通过预先进行多次实验得到的。示例的，该训练参数可以为学习率，初始学习率可以设置为中间值，例如，0.01。相较于以较大的值作为初始学习率，本发明实施例中，通过将初始学习率设置为中间值，可以避免模型在训练过程中因权重梯度较大，造成损失函数震荡较大，模型训练过程中可能出现很多运算不能执行的预测结果，即出现Nan的情况。相对地，相较于以较小的值作为初始学习率，本发明实施例中，通过将初始学习率设置为中间值，可以避免模型训练收敛速度太慢，以及由于学习率根据动态延迟率自适应的动态变化导致的问题。其中，该动态变化可以是在每2个迭代(epoch)之后进行的，动量延迟率可以为0.9。
需要说明的是，在对初始图像进行处理得到样本数据时，还可以删除初始图像中的脏数据，示例的，可以当初始图像中不包含舌头时，将该初始图像删除。也可以是初始图像中的舌头在整张图像中所占区域较小时，将该初始图像删除。示例的，当舌头在图像中所占区域小于图像的一半时，由于所占区域较小，往往会导致舌头的清晰度较差，进而会影响对图像的识别，且所占区域较小往往是由于采集图像时摄像头距离较远导致的，因此，本发明实施例中，还可以在拍摄获取舌照时，显示用于提醒用户将摄像头保持在预设距离的距离提醒信息，以尽可能避免出现舌头所占区域较小的舌照。本发明实施例中，通过预先删除初始图像中的脏数据，可以提高得到样本数据的质量，从而提高利用样本数据训练舌头检测模型的有效性。
步骤203、若所述舌照中包含舌头，则确定所述舌头在所述舌照中的位置信息。
具体的，本步骤的实现过程可以参照前述步骤102，本发明实施例对此不作限定。需要说明的是，上述步骤202中输出的Bool值可以是与本步骤中的位置信息，一起输出的。
步骤204、基于所述舌头在所述舌照中的位置信息，输出第一标记值及所述舌头的位置信息。
本发明实施例中，第一标记值可以为表示舌照中包含舌头的标记值，示例的，可以将“1”作为第一标记值，为包含舌头的舌照输出“1”。相应地，输出第一标记值及舌头的位置信息，可以是以提示信息的方式显示该第一标记值及舌头在舌照中的位置坐标。其中，该提示信息的方式可以是在舌照中添加标签显示提示信息，也可以是将提示信息与对应的舌照进行关联之后一起输出的，本发明实施例对此不作具体限制。
进一步地，本发明实施例中，还可以在舌照中不包含舌头时，输出第二标记值。示例的，可以将“0”作为第二标记值。相应地，可以在不包含舌头的情况下，向用户返回第二提醒信息。其中，第二提醒信息可以是提醒用户舌照中不包含舌头，需要重新上传舌照的信息。这样，通过返回第二提醒信息可以及时提醒用户上传符合要求的舌照，进而确保对舌照检测的有效性。
步骤205、基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域，得到目标舌照。
具体的，本步骤的实现方式可以参照前述步骤103，本发明实施例对此不作限定。需要说明的是，在执行步骤205之前还可以通过下述步骤A～步骤C实现确定舌照的图像质量信息。
步骤A、在检测到所述第一标记值的情况下，确定所述舌照的图像质量信息；所述图像质量信息至少包括清晰度值、亮度值及图像质量值中的一种或多种。
本发明实施例中，计算舌照的清晰度值具体可以包括：先将舌照转换为灰度图像，再通过拉普拉斯算子进行卷积运算，计算图像的标准差，将得到的标准差值作为舌照的清晰度值。其中，卷积运算使用的拉普拉斯算子的卷积核可以是[[0,1,0],[1,-4,1],[0,1,0]]组成的3*3的矩阵。
进一步地，计算舌照的亮度值，可以是获取舌照中每个像素点的亮度值，将亮度值的平均值作为该舌照的亮度值。也可以是对舌照中不同区域的像素点的亮度值设置不同的权重系数，比如，对舌照中舌头所占区域的像素点设置较高的权重系数，而非舌头区域的像素点设置较低的权重系数，通过对每个像素点的亮度值进行加权平均得到该舌照的亮度值。
进一步地，图像质量值可以是将会影响图像视觉感受的各类因素进行综合分析得到的，能够体现图像质量的值。示例的，这里可以根据舌照的亮度值及清晰度值来确定图像质量值。具体的，可以将较亮且清晰度较高的图片标记为1，而亮度较低且清晰度较差的图片标记为0，利用浅层神经网络进行二分类，比如神经网络VGG模型(Visual GeometryGroup Network)中的VGG16，得到预测图像的概率值结果，将得到的概率值结果作为该舌照的图像质量值。
需要说明的是，由于分别计算舌照的清晰度值与亮度值，以及计算舌照的图像质量值，可以对图像的质量进行量化，基于该量化结果可以更直观的体现图像的质量。
步骤B、若所述图像质量信息满足预设的图像质量条件，则执行所述基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域的操作。
本发明实施例中，可以预先设置图像质量条件，当舌照的质量信息满足条件时，执行步骤205。具体的，图像质量条件可以是各项图像质量信息均大于对应的预设阈值。其中，该预设阈值可以包括亮度值阈值、清晰度值阈值以及图像质量值阈值。示例的，预设阈值可以是：亮度值阈值50、清晰度值阈值50、图像质量值阈值80％。本发明实施例中，通过预先设定图像质量条件，可以挑选出满足预设图像质量条件的图像，保证舌照中的图像可以清晰显示，进而也提高了之后对舌照进行舌象识别的处理速度以及识别的准确率，避免因舌照中图像模糊不清而导致的处理速度慢或舌象识别错漏的问题。
步骤C、若所述图像质量信息不满足所述预设的图像质量条件，则向所述用户返回第一提醒信息。
本发明实施例中，第一提醒信息用于提醒用户舌照不符合预设的图像质量条件，需要重新上传舌照，第一提醒信息的内容至少可以包含舌照不满足预设的图像质量条件的原因。示例的，可以是舌照的亮度不符合要求、舌照的清晰度不符合要求等提示内容。具体的，该第一提醒信息可以以提示框的形式在终端的界面上显示，该提示框的具体样式及显示位置可以根据实际需求设定。
进一步地，本发明实施例中，还可以计算目标检测网络对该舌照的检测得分，并在预设的图像质量条件中增加得分大于预设得分阈值的内容，综合该检测得分以及图像质量信息，确定该舌照是否满足预设条件。其中，该目标检测网络可以是舌头检测模型。示例的，以'detec_score'表示得分，‘quality’表示舌照的图像质量值，'bright'表示舌照的亮度值，'clarity'表示舌照的清晰度值，labd，labq，labb，labc分别对应上述四项是否低于预设的图像质量条件中的预设阈值。并以1表示该项满足预设的图像质量条件，0表示该项不满足预设的图像质量条件。步骤B的实现逻辑可以通过下述逻辑公式体现：
labd＝tf.cond(output_dict['detec_score']<0.30,lambda:
tf.convert_to_tensor(0),lambda:tf.convert_to_tensor(1))
labq＝tf.cond(output_dict['quality']>0.85,lambda:
tf.convert_to_tensor(0),lambda:tf.convert_to_tensor(1))
labb＝tf.cond(output_dict['bright']<50,lambda:
tf.convert_to_tensor(0),lambda:tf.convert_to_tensor(1))
labc＝tf.cond(output_dict['clarity']<21,lambda:
tf.convert_to_tensor(0),lambda:tf.convert_to_tensor(1))；
进一步地，向所述用户返回第一提醒信息时，可以是根据上述的labd，labq，labb，labc标签，输出对应的内容。示例的，具体的输出逻辑可以如下：
if labd＝＝0:
print(‘没有舌头’)
elif labq＝＝0 and labb＝＝0:
print：(‘光线不足’)
elif labb＝＝0 and labc＝＝0:
print：(‘抖动模糊’)
elif labq＝＝0 and labc＝＝1 and labb＝＝1:
print：(‘图片模糊’)
步骤206、根据预训练的舌象特征识别模型对所述目标舌照进行舌象识别，得到所述目标舌照中的舌象特征。
具体的，可以通过下述子步骤(1)～子步骤(4)实现获取预训练的舌象特征识别模型：
子步骤(1)：获取多个包含舌头的样本图像。
本发明实施例中，样本图像可以是包含舌头的图像。该样本图像可以是获取用户上传的图像，将包含舌头的图像作为样本图像。也可以是直接获取对初始舌头检测模型进行训练的样本数据作为样本图像。样本图像的数量可以是根据实际需求确定的，示例的，该样本图像的数量可以为二十万张。
子步骤(2)：利用多个标注标准，确定所述样本图像在每个所述标注标准下对应的真实舌象特征。
本发明实施例中，标注标准可以为识别舌头所包含的舌象特征的标准，该标准可以是不同的医学流派识别舌象特征时所用的标准，不同医学流派的标准可以是不同的。确定样本图像在每个标注标准下对应的真实舌象特征，可以是对每个样本图像利用不同舌象识别标准进行舌象特征识别，将舌象特征识别结果作为该样本图像对应的真实舌象特征。示例的，可以通过专业医学人士对样本图像的舌象特征进行标注，这些专业医学人士可以是不同医学流派的。
本发明实施例中，对舌象特征主要标注常见的能反映出生理的16种特征。示例的，特征可以包括：舌色、舌紫、舌暗、老嫩、胖瘦、齿痕、裂纹、红点、瘀点、芒刺、苔量、润燥、腻腐和剥落、黄白、灰黑。其中，舌色、舌紫、舌暗三个特征可以属于舌色特征；老嫩、胖瘦、齿痕、裂纹、红点、瘀点、芒刺七个特征可以属于舌形特征；苔量、润燥、腻腐和剥落四个特征可以属于苔质特征；黄白和灰黑两个特征可以属于苔色特征。
需要说明的是，还可以对舌象特征进行更细致的程度划分。比如，舌色特征划分了四个阶段，淡白、淡红、红、绛，且这四个阶段中每两个阶段间有两阶，如，淡白，淡白+1，淡白+2，淡红；舌紫和舌暗都分为无、有点、比较重、很重四个阶段；舌形特征中，老嫩，划分为老、正常、嫩三个阶段，胖瘦划分为胖、正常、瘦三个阶段，齿痕和裂纹都划分为无、有点、比较重、很重四个阶段，红点、瘀点和芒刺都划分为无、有点、比较多、很多四个阶段；苔质特征中，苔量划分少苔、薄、有点薄和厚四个阶段，润燥划分润、燥和滑三个阶段，腻腐划分为腐、正常和腻三个阶段，剥落划分为无、有点、比较重和很重四个阶段；苔色特征中，黄白划分为白、有点黄、比较黄和很黄四个阶段，灰黑划分为无、有点、比较重和很重四个阶段。
子步骤(3)：若所述样本图像对应的真实舌象特征均相同，则将所述样本图像及所述真实舌象特征作为一个训练样本对。
示例的，将样本图像及真实舌象特征作为一个训练样本对，可以为将样本图像识别得到的16个舌象特征作为训练样本对。本发明实施例中，将样本图像与通过不同标注标准得到的相同的真实舌象特征，作为一个训练样本对，即，在多人对样本图像的舌象特征的标注结果一致的情况下，才保存该样本图像并作为训练样本对进行使用，可以确保信息的准确性，以及确保舌象特征识别模型以同一识别标准进行舌象特征识别，提高了舌象特征识别的准确率，也提高了舌象特征识别结果的可信度。需要说明的是，若样本图像对应的真实舌象特征中存在不相同的舌象特征，则可以删除该样本图像，以节省存储空间。
子步骤(4)：利用训练样本对初始舌象特征识别模型进行训练，以获取所述预训练的舌象特征识别模型。
本发明实施例中，在利用训练样本对初始舌象特征识别模型进行训练时，具体可以通过下述操作实现：
由于每个人舌头所包含的特征不同，因此，得到的舌照对应的真实舌象特征，可能仅包括部分类别的舌象特征，所以，可以先按照预设的舌象特征与舌象特征类别的对应关系，确定每个训练样本对中包含的真实舌象特征所属的舌象特征类别。具体的，可以预先确定舌象特征与舌象特征类别的对应关系，例如，针对每种舌象特征设置一个类别，如子步骤(2)中所述，可以设置16个舌象特征类别。然后可以根据每个训练样本对中包含的每个真实舌象特征，确定每个真实舌象特征所属的舌象特征类别。
接着，将包含的真实舌象特征属于相同舌象特征类别的训练样本对，划分至对应的舌象特征类别，得到多个包含训练样本对的舌象特征类别。具体的，可以依据每个真实舌象特征所属的舌象特征类别，将每个训练样本对分别划分至对应的舌象特征类别中，使得每个舌象特征类别中都包含有对应该类别的训练样本对。需要说明的是，由于训练样本对包含的舌象特征类别可能不同，因此，每个舌象特征类别得到的训练样本对的数量可能并不相同。
最后，利用多个舌象特征类别中的训练样本对，依次对初始舌象特征识别模型进行训练。具体的，可以单独对一个舌象特征类别的训练样本对进行训练，也可以选取若干个舌象特征类别的训练样本进行训练，这样，针对单个或若干个舌象特征类别的训练，在之后对剩余舌象特征类别的训练时，可以直接在之前训练得到的初始舌象特征识别模型的基础上进行训练，进而实现复用，使得模型可以多次逐步学习到对不同类别舌象特征的预测能力，进而使得对初始舌象特征识别模型训练的效率更高，训练结果更准确，避免由于舌照数据不平衡导致的差异性的问题
进一步地，本发明实施例中，还可以调整初始舌象特征识别模型的输入图片的大小，比如调整为448*448。在对初始舌象特征识别模型进行训练时，可以选取拟合能力好的交叉熵函数作为初始舌象特征识别模型的损失函数。例如，选取学习率初始化为0.01，动量为0.9，权重延迟为0.000005的随机梯度下降优化器(Stochastic Gradient Descent，SGD)，相较于选择Adam(随机一阶梯度)优化器的方式，本发明实施例中，通过选择SGD优化器，一定程度上可以避免损失函数陷入局部最优，进而有效收敛模型。进一步地，还可以选取泽维尔初始化(Xavier)方法对卷积神经网络，即，初始舌象特征识别模型的权重系数进行初始化，使得前向传播和反向传播时每一层输出的方差可以尽量相等，进而促使对初始舌象特征识别模型的训练可以快速收敛。进一步地，还可以对已经训练好的舌象特征识别模型进行预训练调整，修改深度神经网络的最后一层，将卷积神经网络中的全连接层的层数替换为划分得到的舌象特征的类别数。
需要说明的是，本发明实施例中，还可以根据每个舌象特征类别中包含的训练样本对的数量，对于包含的训练样本对数量小于预设数量阈值的舌象特征类别，将该舌象特征类别中包含的训练样本对合并至相邻舌象特征类别，也就是，对舌象特征类别中数量较少的训练样本合并到相邻舌象特征类别中。示例的，在舌色特征中，舌紫特征类别所包含的训练样本对的数量小于预设数量，比如预设数量为50个，舌紫特征类别所包含的训练样本对为39个，则可以将该舌紫特征类别所包含的训练样本对，合并到舌色特征中的相邻特征类别中，例如，合并到舌暗特征类别中。这样，可以避免训练样本数量不平衡的问题，进而确保对舌象特征识别模型训练的有效性，进一步提高舌象特征识别模型识别舌象特征的准确性。
进一步地，在对舌象特征识别模型进行训练时，还可以对样本图像进行再处理，比如，可以对样本图像进行随机选择，也可以将样本图像进行切割，并对切割的部分样本图像进行图像增强处理，作为新的样本图像，输入初始舌象特征识别模型中进行训练，这样，可以增加样本图像的多样性，也可以提高舌象特征识别模型识别的准确率。
进一步地，在对舌象特征识别模型进行训练之前，还可以对初始舌象特征识别模型进行改进。具体的，可以对初始舌象特征识别模型中的损失函数作改进，例如，可以使用Focal Loss损失函数替换常见的交叉熵函数，这样，一定程度上可以解决模型训练过程中样本图像数量不平衡的问题，进而可以避免因不同舌象特征类别所包含的样本图像的数量存在极大的不平衡，比如，一部分舌象特征类别所包含的样本图像的数量极多，而另一部分舌象特征类别所包含的样本图像的数量极少，而导致对不同舌象特征类别进行模型训练时得到的准确率相差较大的问题。
进一步地，本发明实施例中，可以设置舌象特征识别模型中卷积操作使用的步幅(stride)为2，以替代在模型最开始降采样时采用最大池化操作(maxpooling)。这样，与其他深度学习分类网络相比，由于舌象特征识别模型使用步幅(stride)为2的卷积操作，且没有在模型最开始降采样时采用最大池化操作(maxpooling)，因此，一定程度上可以减少信息的丢失，确保提取特征的完整性。尤其对规模小的模型来说，前期的底层特征提取更为重要，因此，通过减少信息的丢失，可以使得规模小的模型的处理效果更好。并且，该舌象特征识别模型可以利用复合缩放方法，使用一组固定的缩放系数统一缩放网络深度、宽度和分辨率，该复合缩放方法的第一步可以是执行图像中的网格搜索，寻找固定资源限制下基线模型不同缩放维度之间的关系，这样，可以决定每个维度的恰当缩放系数，可以通过这些系数，将基线网络扩展到目标模型的大小，进而实现统一缩放模型的所有维度。相较于人工设计的卷积神经网络仅缩放模型的单个维度的方式，由于本发明实施例中提供的模型可以实现统一缩放模型的所有维度，因此，可以达到人工设计的卷积神经网络很难做到的提高舌象特征识别模型的检测速度以及检测结果的准确率。
需要说明的是，在医疗服务技术领域，中医学是中华民族在生产、生活实践的过程中，不断与疾病进行斗争所积累、总结而形成的一门学科。在中医学体系中，“舌诊”，即，观察舌头的舌象特征，是极其重要的一环。它是中医学体系的基本知识、基本技能，通过观察舌象特征可准确的了解用户的身体状态。例如，通过观察舌象特征，了解舌的变化，能够得到脏腑、经络、气血津液的变化情况，进而可以了解人体的生理功能和病理变化。进一步地，在互联网背景下，中医师通常会要求用户上传舌头的照片以供医师进行观察。上传的舌照可能包含患者全面部，或是包含舌头的半身照，甚至可能不是舌照。在上传舌照的过程中，部分用户所上传的非舌照给医师的观察带来干扰，降低了医师的效率。在查看舌照的步骤中，医师需要先判别舌照是否包含了舌头。若否，则需要提示用户重新上传包含舌头的照片。若是，则需要在图片中定位舌头的位置。部分舌照由于拍摄器械、拍摄角度的原因，可能存在一定的倾斜角度，在此情况下，医师需要将舌照通过旋转、放大等手段以获取清晰的舌头图像。这为医师带来了额外的工作。因此，本发明实施例中，可以在将步骤205中得到的目标舌照发送给医师。由于该目标舌照是包含舌头且图像质量较高的图像，因此，通过将目标舌照发送给医师，可以确保医师能够基于该目标舌照进行舌象特征识别，进而提高医师的处理效率。
进一步地，在训练得到模型之后，还可以对模型的预测能力进行检验。通过对本发明实施例中训练得到的模型进行检验，以确定该训练得到的模型的预测准确率。示例的，通过检验可以得到该模型预测的结果为：对舌苔的十六个特征的预测准确率可以达到百分之七十以上。进一步地，可以在该预测准确率与人工标注、人工识别的准确率持平，或超过其准确率的情况下，认为该模型的能力的响应时长足够短，达到了可应用于实际的状态，进而可以将该模型投入使用。
综上所述，本发明实施例提供的舌照处理方法，先获取用户输入的舌照，然后，根据预训练的舌头检测模型，检测舌照中是否包含舌头，若舌照中包含舌头，则确定舌头在该舌照中的位置信息，基于舌头在该舌照中的位置，输出第一标记值及舌头的位置信息，然后，基于舌照中舌头的位置信息，提取舌照中舌头所占的区域，得到目标舌照，最后，根据预训练的舌象特征识别模型对目标舌照进行舌象识别，得到目标舌照中的舌象特征。这样，通过根据预训练的舌头检测模型检测舌照，可以提高舌照的质量，确保对舌照检测的有效性，并且通过确定舌照中舌头的位置信息，并提取得到目标舌照，可以避免因存在舌头区域之外图像，导致对识别过程带来干扰，也避免因存在舌头区域之外图像而导致处理资源的浪费，从而可以提高识别舌象特征的处理速度。且通过舌象特征识别模型识别舌象特征，可以使输入的不同舌照按照同一个识别标准进行处理，进而可以提高判别结果的可信度。同时，由于无需人工进行确定，因此，可以节省处理成本。且本发明实施例中，通过自动识别出舌象特征，可以实现统一规范的在线智能化识别舌象特征。同时，还可以抽取用户自述问诊单的关键信息，以结合该关键信息提供基础，进一步结构化用户的病历，为病历查找，以进行诊疗提供平台，进而使医师不受地域流派影响，从整体上为医师提供便利，进而提高医师的工作效果。
以上介绍了本发明实施例提供的舌照处理方法，下面将结合附图介绍本发明实施例提供的装置。
参见图3，本发明实施例还提供了一种舌照处理装置的结构框图，如图3所示，该装置30可以包括：
第一获取模块301，用于获取用户输入的舌照；
第一确定模块302，用于根据所述舌照，确定所述舌照中舌头的位置信息；
提取模块303，用于基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域，得到目标舌照；
第二确定模块304，根据预训练的舌象特征识别模型对所述目标舌照进行舌象识别，得到所述目标舌照中的舌象特征。
综上所述，本发明实施例提供的舌照处理装置，会获取用户输入的舌照，然后，根据舌照确定舌照中舌头的位置信息，并基于舌照中舌头的位置信息，提取舌照中舌头所占的区域，得到目标舌照，最后，根据预训练的舌象特征识别模型对目标舌照进行舌象识别，得到目标舌照中的舌象特征。这样，通过先确定舌照中舌头的位置信息，并提取得到目标舌照，可以避免因存在舌头区域之外图像，导致对识别过程带来干扰，也避免因存在舌头区域之外图像而导致处理资源的浪费，从而可以提高识别舌象特征的处理速度。且通过舌象特征识别模型识别舌象特征，可以使输入的不同舌照按照同一个识别标准进行处理，进而可以提高判别结果的可信度。同时，由于无需人工进行确定，因此，可以节省处理成本。
可选的，所述第一确定模块302，具体用于：
根据预训练的舌头检测模型，检测所述舌照中是否包含舌头；
若所述舌照中包含舌头，则确定所述舌头在所述舌照中的位置信息；
基于所述舌头在所述舌照中的位置信息，输出第一标记值及所述舌头的位置信息。
可选的，所述预训练的舌头检测模型为Yolov3模型；所述舌头检测模型是通过样本数据预先训练得到的，所述样本数据是通过对初始图像进行预设操作后得到；其中，所述预设操作至少包括随机旋转、归一化处理及比例调整中的一种或多种，所述初始图像为包含舌头的图像。
可选的，所述装置30还包括：
第三确定模块，用于在检测到所述第一标记值的情况下，确定所述舌照的图像质量信息；所述图像质量信息至少包括清晰度值、亮度值及图像质量值中的一种或多种；
执行模块，用于若所述图像质量信息满足预设的图像质量条件，则执行所述基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域的操作；
返回模块，用于若所述图像质量信息不满足所述预设的图像质量条件，则向所述用户返回第一提醒信息。
可选的，所述装置30还包括：
第二获取模块，用于获取多个包含舌头的样本图像；
第四确定模块，用于利用多个标注标准，确定所述样本图像在每个所述标注标准下对应的真实舌象特征；
第五确定模块，用于若所述样本图像对应的真实舌象特征均相同，则将所述样本图像及所述真实舌象特征作为一个训练样本对；
训练模块，用于利用训练样本对初始舌象特征识别模型进行训练，以获取所述预训练的舌象特征识别模型。
可选的，所述训练模块，具体用于：
按照预设的舌象特征与舌象特征类别的对应关系，确定每个训练样本对中包含的真实舌象特征所属的舌象特征类别；
将包含的真实舌象特征属于相同舌象特征类别的训练样本对，划分至所述舌象特征类别，得到多个包含训练样本对的舌象特征类别；
利用所述多个舌象特征类别中的训练样本对，依次对所述初始舌象特征识别模型进行训练。
可选的，所述装置30还包括：
第六确定模块，用于确定每个所述舌象特征类别中包含的训练样本对的数量。
合并模块，用于对于包含的训练样本对的数量小于预设数量阈值的舌象特征类别，将所述舌象特征类别中包含的训练样本对合并至相邻舌象特征类别。
可选的，所述装置30还包括：
丢弃模块，用于若所述样本图像对应的真实舌象特征中存在不相同的舌象特征，则丢弃所述样本图像。
综上所述，本发明实施例提供的舌照处理装置，先获取用户输入的舌照，然后，根据预训练的舌头检测模型，检测舌照中是否包含舌头，若舌照中包含舌头，则确定舌头在该舌照中的位置信息，基于舌头在该舌照中的位置，输出第一标记值及舌头的位置信息，然后，基于舌照中舌头的位置信息，提取舌照中舌头所占的区域，得到目标舌照，最后，根据预训练的舌象特征识别模型对目标舌照进行舌象识别，得到目标舌照中的舌象特征。这样，通过根据预训练的舌头检测模型检测舌照，可以提高舌照的质量，确保对舌照检测的有效性，并且通过确定舌照中舌头的位置信息，并提取得到目标舌照，可以避免因存在舌头区域之外图像，导致对识别过程带来干扰，也避免因存在舌头区域之外图像而导致处理资源的浪费，从而可以提高识别舌象特征的处理速度。且通过舌象特征识别模型识别舌象特征，可以使输入的不同舌照按照同一个识别标准进行处理，进而可以提高判别结果的可信度。同时，由于无需人工进行确定，因此，可以节省处理成本。
图4为实现本发明各个实施例的一种电子设备的硬件结构示意图；
该电子设备400包括但不限于：射频单元401、网络模块402、音频输出单元403、输入单元404、传感器405、显示单元406、用户输入单元407、接口单元408、存储器409、处理器410、以及电源411等部件。本领域技术人员可以理解，图4中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。在本发明实施例中，电子设备包括但不限于手机、平板电脑、笔记本电脑、掌上电脑、车载终端、可穿戴设备、以及计步器等。
其中，处理器410，用于获取用户输入的舌照。
处理器410，用于根据所述舌照，确定所述舌照中舌头的位置信息。
处理器410，用于基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域，得到目标舌照。
处理器410，用于根据预训练的舌象特征识别模型对所述目标舌照进行舌象识别，得到所述目标舌照中的舌象特征。
综上所述，本发明实施例提供的舌照处理方法，会获取用户输入的舌照，然后，根据舌照确定舌照中舌头的位置信息，并基于舌照中舌头的位置信息，提取舌照中舌头所占的区域，得到目标舌照，最后，根据预训练的舌象特征识别模型对目标舌照进行舌象识别，得到目标舌照中的舌象特征。这样，通过先确定舌照中舌头的位置信息，并提取得到目标舌照，可以避免因存在舌头区域之外图像，导致对识别过程带来干扰，也避免因存在舌头区域之外图像而导致处理资源的浪费，从而可以提高识别舌象特征的处理速度。且通过舌象特征识别模型识别舌象特征，可以使输入的不同舌照按照同一个识别标准进行处理，进而可以提高判别结果的可信度。同时，由于无需人工进行确定，因此，可以节省处理成本。
应理解的是，本发明实施例中，射频单元401可用于收发信息或通话过程中，信号的接收和发送，具体的，将来自基站的下行数据接收后，给处理器410处理；另外，将上行的数据发送给基站。通常，射频单元401包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器、双工器等。此外，射频单元401还可以通过无线通信系统与网络和其他设备通信。
电子设备通过网络模块402为用户提供了无线的宽带互联网访问，如帮助用户收发电子邮件、浏览网页和访问流式媒体等。
音频输出单元403可以将射频单元401或网络模块402接收的或者在存储器409中存储的音频数据转换成音频信号并且输出为声音。而且，音频输出单元403还可以提供与电子设备400执行的特定功能相关的音频输出(例如，呼叫信号接收声音、消息接收声音等等)。音频输出单元403包括扬声器、蜂鸣器以及受话器等。
输入单元404用于接收音频或视频信号。输入单元404可以包括图形处理器(Graphics Processing Unit，GPU)4041和麦克风4042，图形处理器4041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。处理后的图像帧可以显示在显示单元406上。经图形处理器4041处理后的图像帧可以存储在存储器409(或其它存储介质)中或者经由射频单元401或网络模块402进行发送。麦克风4042可以接收声音，并且能够将这样的声音处理为音频数据。处理后的音频数据可以在电话通话模式的情况下转换为可经由射频单元401发送到移动通信基站的格式输出。
电子设备400还包括至少一种传感器405，比如光传感器、运动传感器以及其他传感器。具体地，光传感器包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板4061的亮度，接近传感器可在电子设备400移动到耳边时，关闭显示面板4061和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别电子设备姿态(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；传感器405还可以包括指纹传感器、压力传感器、虹膜传感器、分子传感器、陀螺仪、气压计、湿度计、温度计、红外线传感器等，在此不再赘述。
显示单元406用于显示由用户输入的信息或提供给用户的信息。显示单元606可包括显示面板4061，可以采用液晶显示器(Liquid Crystal Display，LCD)、有机发光二极管(Organic Light-Emitting Diode，OLED)等形式来配置显示面板4061。
用户输入单元407可用于接收输入的数字或字符信息，以及产生与电子设备的用户设置以及功能控制有关的键信号输入。具体地，用户输入单元407包括触控面板4071以及其他输入设备4072。触控面板4071，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板4071上或在触控面板4071附近的操作)。触控面板4071可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器410，接收处理器410发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板4071。除了触控面板4071，用户输入单元407还可以包括其他输入设备4072。具体地，其他输入设备4072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
进一步的，触控面板4071可覆盖在显示面板4061上，当触控面板6071检测到在其上或附近的触摸操作后，传送给处理器410以确定触摸事件的类型，随后处理器410根据触摸事件的类型在显示面板4061上提供相应的视觉输出。虽然在图4中，触控面板4071与显示面板4061是作为两个独立的部件来实现电子设备的输入和输出功能，但是在某些实施例中，可以将触控面板4071与显示面板4061集成而实现电子设备的输入和输出功能，具体此处不做限定。
接口单元408为外部装置与电子设备400连接的接口。例如，外部装置可以包括有线或无线头戴式耳机端口、外部电源(或电池充电器)端口、有线或无线数据端口、存储卡端口、用于连接具有识别模块的装置的端口、音频输入/输出(I/O)端口、视频I/O端口、耳机端口等等。接口单元408可以用于接收来自外部装置的输入(例如，数据信息、电力等等)并且将接收到的输入传输到电子设备400内的一个或多个元件或者可以用于在电子设备400和外部装置之间传输数据。
存储器409可用于存储软件程序以及各种数据。存储器409可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器409可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
处理器410是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器409内的软件程序和/或模块，以及调用存储在存储器409内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器410可包括一个或多个处理单元；可选的，处理器410可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器410中。
电子设备400还可以包括给各个部件供电的电源411(比如电池)，可选的，电源611可以通过电源管理系统与处理器410逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
另外，电子设备400包括一些未示出的功能模块，在此不再赘述。
可选的，本发明实施例还提供一种电子设备，包括处理器410，存储器409，存储在存储器409上并可在所述处理器410上运行的舌照处理程序，该舌照处理程序被处理器410执行时实现上述舌照处理方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
本发明实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有舌照处理程序，该舌照处理程序被处理器执行时实现上述舌照处理实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。其中，所述的计算机可读存储介质，如只读存储器(Read-Only Memory，简称ROM)、随机存取存储器(Random Access Memory，简称RAM)、磁碟或者光盘等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
上面结合附图对本发明的实施例进行了描述，但是本发明并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本发明的启示下，在不脱离本发明宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本发明的保护之内。

Claims (12)

1.一种舌照处理方法，其特征在于，所述方法包括：
获取用户输入的舌照；
根据所述舌照，确定所述舌照中舌头的位置信息；所述位置信息为根据所述舌照中舌头所占的像素区域确定所述舌头在所述舌照中的位置坐标；
在检测到第一标记值且所述舌照的图像质量信息满足预设图像质量条件的情况下，基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域，得到目标舌照；所述第一标记值为表示舌照中包含舌头的标记值；
根据预训练的舌象特征识别模型对所述目标舌照进行舌象识别，得到所述目标舌照中的舌象特征；
所述方法还包括：
获取多个包含舌头的样本图像；
利用多个标注标准，确定所述样本图像在每个所述标注标准下对应的真实舌象特征；
若所述样本图像对应的真实舌象特征均相同，则将所述样本图像及所述真实舌象特征作为一个训练样本对；
按照预设的舌象特征与舌象特征类别的对应关系，确定每个训练样本对中包含的真实舌象特征所属的舌象特征类别；所述舌象特征类别包括舌色、舌紫、舌暗、老嫩、胖瘦、齿痕、裂纹、红点、瘀点、芒刺、苔量、润燥、腻腐、剥落、黄白、灰黑；
将包含的真实舌象特征属于相同舌象特征类别的训练样本对，划分至对应的所述舌象特征类别，得到多个包含训练样本对的舌象特征类别；
利用所述多个舌象特征类别中的训练样本对，依次对初始舌象特征识别模型进行训练，以获取所述预训练的舌象特征识别模型。
2.根据权利要求1所述的方法，其特征在于，所述根据所述舌照，确定所述舌照中舌头的位置信息，包括：
根据预训练的舌头检测模型，检测所述舌照中是否包含舌头；
若所述舌照中包含舌头，则确定所述舌头在所述舌照中的位置信息；
基于所述舌头在所述舌照中的位置信息，输出第一标记值及所述舌头的位置信息。
3.根据权利要求2所述的方法，其特征在于，所述预训练的舌头检测模型为Yolov3模型；所述舌头检测模型是通过样本数据预先训练得到的，所述样本数据是通过对初始图像进行预设操作后得到；其中，所述预设操作至少包括随机旋转、归一化处理及比例调整中的一种或多种，所述初始图像为包含舌头的图像。
4.根据权利要求2所述的方法，其特征在于，所述基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域之前，还包括：
在检测到所述第一标记值的情况下，确定所述舌照的图像质量信息；所述图像质量信息至少包括清晰度值、亮度值及图像质量值中的一种或多种；
若所述图像质量信息满足预设的图像质量条件，则执行所述基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域的操作；
若所述图像质量信息不满足所述预设的图像质量条件，则向所述用户返回第一提醒信息。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
确定每个所述舌象特征类别中包含的训练样本对的数量；
对于包含的训练样本对的数量小于预设数量阈值的舌象特征类别，将所述舌象特征类别中包含的训练样本对合并至相邻舌象特征类别。
6.根据权利要求1所述的方法，其特征在于，所述利用多个标注标准，确定所述样本图像在每个所述标注标准下对应的真实舌象特征之后，所述方法还包括：
若所述样本图像对应的真实舌象特征中存在不相同的舌象特征，则丢弃所述样本图像。
7.一种舌照处理装置，其特征在于，所述装置包括：
第一获取模块，用于获取用户输入的舌照；
第一确定模块，用于根据所述舌照，确定所述舌照中舌头的位置信息；所述位置信息为根据所述舌照中舌头所占的像素区域确定所述舌头在所述舌照中的位置坐标；
提取模块，用于在检测到第一标记值且所述舌照的图像质量信息满足预设图像质量条件的情况下，基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域，得到目标舌照；所述第一标记值为表示舌照中包含舌头的标记值；
第二确定模块，根据预训练的舌象特征识别模型对所述目标舌照进行舌象识别，得到所述目标舌照中的舌象特征；
所述装置还包括：
第二获取模块，用于获取多个包含舌头的样本图像；
第四确定模块，用于利用多个标注标准，确定所述样本图像在每个所述标注标准下对应的真实舌象特征；
第五确定模块，用于若所述样本图像对应的真实舌象特征均相同，则将所述样本图像及所述真实舌象特征作为一个训练样本对；
训练模块，用于按照预设的舌象特征与舌象特征类别的对应关系，确定每个训练样本对中包含的真实舌象特征所属的舌象特征类别；所述舌象特征类别包括舌色、舌紫、舌暗、老嫩、胖瘦、齿痕、裂纹、红点、瘀点、芒刺、苔量、润燥、腻腐、剥落、黄白、灰黑；将包含的真实舌象特征属于相同舌象特征类别的训练样本对，划分至所述舌象特征类别，得到多个包含训练样本对的舌象特征类别；利用所述多个舌象特征类别中的训练样本对，依次对初始舌象特征识别模型进行训练，以获取所述预训练的舌象特征识别模型。
8.根据权利要求7所述的装置，其特征在于，所述第一确定模块具体用于：
根据预训练的舌头检测模型，检测所述舌照中是否包含舌头；
若所述舌照中包含舌头，则确定所述舌头在所述舌照中的位置信息；
基于所述舌头在所述舌照中的位置信息，输出第一标记值及所述舌头的位置信息。
9.根据权利要求8所述的装置，其特征在于，所述预训练的舌头检测模型为Yolov3模型；所述舌头检测模型是通过样本数据预先训练得到的，所述样本数据是通过对初始图像进行预设操作后得到；其中，所述预设操作至少包括随机旋转、归一化处理及比例调整中的一种或多种，所述初始图像为包含舌头的图像。
10.根据权利要求8所述的装置，其特征在于，所述装置还包括：
第三确定模块，用于在检测到所述第一标记值的情况下，确定所述舌照的图像质量信息；所述图像质量信息至少包括清晰度值、亮度值及图像质量值中的一种或多种；
执行模块，用于若所述图像质量信息满足预设的图像质量条件，则执行所述基于所述舌照中所述舌头的位置信息，提取所述舌照中所述舌头所占的区域的操作；
返回模块，用于若所述图像质量信息不满足所述预设的图像质量条件，则向所述用户返回第一提醒信息。
11.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第六确定模块，用于确定每个所述舌象特征类别中包含的训练样本对的数量；
合并模块，用于对于包含的训练样本对的数量小于预设数量阈值的舌象特征类别，将所述舌象特征类别中包含的训练样本对合并至相邻舌象特征类别。
12.根据权利要求7所述的装置，其特征在于，所述装置还包括：
丢弃模块，用于若所述样本图像对应的真实舌象特征中存在不相同的舌象特征，则丢弃所述样本图像。
CN202010145031.1A 2020-03-04 2020-03-04 一种舌照处理方法及装置 Active CN113362334B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010145031.1A CN113362334B (zh) 2020-03-04 2020-03-04 一种舌照处理方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010145031.1A CN113362334B (zh) 2020-03-04 2020-03-04 一种舌照处理方法及装置

Publications (2)

Publication Number Publication Date
CN113362334A CN113362334A (zh) 2021-09-07
CN113362334B true CN113362334B (zh) 2024-05-24

Family

ID=77523501

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010145031.1A Active CN113362334B (zh) 2020-03-04 2020-03-04 一种舌照处理方法及装置

Country Status (1)

Country Link
CN (1) CN113362334B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114998220B (zh) * 2022-05-12 2023-06-13 湖南中医药大学 一种基于改进的Tiny-YOLO v4自然环境下舌像检测定位方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017148386A (ja) * 2016-02-26 2017-08-31 大日本印刷株式会社 舌画像処理装置、舌画像処理方法及び舌画像処理用プログラム
CN109472774A (zh) * 2018-10-11 2019-03-15 上海中医药大学 一种基于深度学习的舌象图像质量检测方法
CN109637660A (zh) * 2018-12-19 2019-04-16 新绎健康科技有限公司 一种基于深度卷积神经网络的舌诊分析方法及系统
CN109712707A (zh) * 2018-12-29 2019-05-03 深圳和而泰数据资源与云技术有限公司 一种舌诊方法、装置、计算设备及计算机存储介质
CN109785941A (zh) * 2019-01-11 2019-05-21 海东市平安正阳互联网中医医院有限公司 一种医生的推荐方法和装置
CN110363072A (zh) * 2019-05-31 2019-10-22 正和智能网络科技(广州)有限公司 舌象识别方法、装置、计算机设备及计算机可读存储介质
CN110378353A (zh) * 2019-06-06 2019-10-25 杭州云秒科技有限公司 一种舌象特征提取方法、系统和计算机可读存储介质
JP2019213652A (ja) * 2018-06-12 2019-12-19 国立大学法人山口大学 撮像装置と撮像プログラムと画像判定装置と画像判定プログラムと画像処理システム
WO2020029915A1 (zh) * 2018-08-06 2020-02-13 深圳市前海安测信息技术有限公司 基于人工智能的中医舌像分割装置、方法及存储介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017148386A (ja) * 2016-02-26 2017-08-31 大日本印刷株式会社 舌画像処理装置、舌画像処理方法及び舌画像処理用プログラム
JP2019213652A (ja) * 2018-06-12 2019-12-19 国立大学法人山口大学 撮像装置と撮像プログラムと画像判定装置と画像判定プログラムと画像処理システム
WO2020029915A1 (zh) * 2018-08-06 2020-02-13 深圳市前海安测信息技术有限公司 基于人工智能的中医舌像分割装置、方法及存储介质
CN109472774A (zh) * 2018-10-11 2019-03-15 上海中医药大学 一种基于深度学习的舌象图像质量检测方法
CN109637660A (zh) * 2018-12-19 2019-04-16 新绎健康科技有限公司 一种基于深度卷积神经网络的舌诊分析方法及系统
CN109712707A (zh) * 2018-12-29 2019-05-03 深圳和而泰数据资源与云技术有限公司 一种舌诊方法、装置、计算设备及计算机存储介质
CN109785941A (zh) * 2019-01-11 2019-05-21 海东市平安正阳互联网中医医院有限公司 一种医生的推荐方法和装置
CN110363072A (zh) * 2019-05-31 2019-10-22 正和智能网络科技(广州)有限公司 舌象识别方法、装置、计算机设备及计算机可读存储介质
CN110378353A (zh) * 2019-06-06 2019-10-25 杭州云秒科技有限公司 一种舌象特征提取方法、系统和计算机可读存储介质

Also Published As

Publication number Publication date
CN113362334A (zh) 2021-09-07

Similar Documents

Publication Publication Date Title
CN110504029B (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN110348543B (zh) 眼底图像识别方法、装置、计算机设备及存储介质
CN111260665B (zh) 图像分割模型训练方法和装置
CN107784282B (zh) 对象属性的识别方法、装置及系统
CN111862044B (zh) 超声图像处理方法、装置、计算机设备和存储介质
CN109002766B (zh) 一种表情识别方法及装置
CN107895369B (zh) 图像分类方法、装置、存储介质及设备
US11921278B2 (en) Image status determining method an apparatus, device, system, and computer storage medium
WO2018113512A1 (zh) 图像处理方法以及相关装置
CN111091127A (zh) 一种图像检测方法、网络模型训练方法以及相关装置
US11967181B2 (en) Method and device for retinal image recognition, electronic equipment, and storage medium
CN112419326B (zh) 图像分割数据处理方法、装置、设备及存储介质
US20240169518A1 (en) Method and apparatus for identifying body constitution in traditional chinese medicine, electronic device, storage medium and program
CN110796659B (zh) 一种目标检测结果的鉴别方法、装置、设备及存储介质
CN113516113A (zh) 一种图像内容识别方法、装置、设备及存储介质
CN107704514A (zh) 一种照片管理方法、装置及计算机可读存储介质
CN111084609A (zh) 基于舌象的健康诊断方法、装置、存储介质和电子设备
CN111598896B (zh) 图像检测方法、装置、设备及存储介质
CN111898561A (zh) 一种人脸认证方法、装置、设备及介质
CN110517771B (zh) 一种医学图像处理方法、医学图像识别方法及装置
CN115170464A (zh) 肺图像的处理方法、装置、电子设备和存储介质
WO2024074921A1 (en) Distinguishing a disease state from a non-disease state in an image
CN113362334B (zh) 一种舌照处理方法及装置
CN114332553A (zh) 图像处理方法、装置、设备以及存储介质
CN113762046A (zh) 图像识别方法、装置、设备以及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant