CN114820603B - 基于ai舌诊图像处理的智能健康管理方法及相关装置 - Google Patents

基于ai舌诊图像处理的智能健康管理方法及相关装置 Download PDF

Info

Publication number
CN114820603B
CN114820603B CN202210736274.1A CN202210736274A CN114820603B CN 114820603 B CN114820603 B CN 114820603B CN 202210736274 A CN202210736274 A CN 202210736274A CN 114820603 B CN114820603 B CN 114820603B
Authority
CN
China
Prior art keywords
tongue
image
color
preset
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210736274.1A
Other languages
English (en)
Other versions
CN114820603A (zh
Inventor
熊伟
刘远民
马志凌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Zhongyi Health Technology Co ltd
Original Assignee
Shenzhen Zhongyi Health Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Zhongyi Health Technology Co ltd filed Critical Shenzhen Zhongyi Health Technology Co ltd
Priority to CN202210736274.1A priority Critical patent/CN114820603B/zh
Publication of CN114820603A publication Critical patent/CN114820603A/zh
Application granted granted Critical
Publication of CN114820603B publication Critical patent/CN114820603B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Abstract

本发明涉及人工智能领域，公开了一种基于AI舌诊图像处理的智能健康管理方法及相关装置，用于提高舌诊的准确率。所述基于AI舌诊图像处理的智能健康管理方法包括：采集待诊断用户的初始舌头图像和初始面部图像并进行预处理，得到高清舌头图像和高清面部图像；对高清面部图像进行人脸识别，得到人脸识别结果，并根据人脸识别结果从数据库中查询个人信息；对高清舌头图像进行图像分割，得到舌尖区域图像、舌中区域图像和舌根区域图像；分别对舌尖区域图像、舌中区域图像和舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；根据舌尖颜色、舌中颜色和舌根颜色生成初始诊断结果；对初始诊断结果进行校正和整合，得到目标诊断结果。

Description

基于AI舌诊图像处理的智能健康管理方法及相关装置
技术领域
本发明涉及人工智能领域，尤其涉及一种基于AI舌诊图像处理的智能健康管理方法及相关装置。
背景技术
舌诊是我国传统医学四诊“望，闻，问，切”中的重要内容，舌诊是观察舌头的色泽、形态的变化来辅助诊断及鉴别的一个简单有效的方法。
现有的舌诊方案主要依靠医生目视，缺乏定量化的度量与分析手段。受到医生知识水平和经验的限制，诊断结果因人而异，主观性强，难以统一，可重复性差，从而导致现有方案的准确率低。
发明内容
本发明提供了一种基于AI舌诊图像处理的智能健康管理方法及相关装置，用于提高舌诊的准确率。
本发明第一方面提供了一种基于AI舌诊图像处理的智能健康管理方法，所述基于AI舌诊图像处理的智能健康管理方法包括：基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像；对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状；对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始诊断结果；根据所述用户性别、所述用户年龄和所述主诉症状对所述初始诊断结果进行校正和整合，得到目标诊断结果。
可选的，在本发明第一方面的第一种实现方式中，所述基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像，包括：通过预置的图像采集终端采集待诊断用户的初始面部图像，以及通过所述图像采集终端采集所述待诊断用户的舌头图像；计算所述舌头图像中舌头所占的比例值，并对所述比例值和预设目标值进行比较，得到比较结果，以及根据所述比较结果生成初始舌头图像；分别将所述初始舌头图像和所述初始面部图像输入预置EDSR模型中的卷积层进行特征提取，得到舌头特征图像和面部特征图像；分别将所述舌头特征图像和所述面部特征图像输入所述EDSR模型中的上采样层进行图像上采样处理，并生成高清舌头图像和高清面部图像。
可选的，在本发明第一方面的第二种实现方式中，所述对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状，包括：将所述高清面部图像输入预置的人脸识别模型进行面部特征点识别，得到所述高清面部图像中嘴部、鼻子和眼睛对应的多个特征点；根据所述多个特征点确定所述高清面部图像对应的人脸识别结果；根据所述人脸识别结果从预置的数据库中匹配所述待诊断用户对应的个人信息；分别提取所述个人信息中的性别信息、年龄信息和症状信息，得到用户性别、用户年龄和主诉症状。
可选的，在本发明第一方面的第三种实现方式中，所述对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像，包括：按照预置的图像尺寸对所述高清舌头图像进行图像归一化处理，得到归一化高清舌头图像；调用预置的图像分割算法对所述归一化高清舌头图像进行像素级分割，得到像素级分割后的图像；对所述像素级分割后的图像进行类别信息标注，并生成所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像。
可选的，在本发明第一方面的第四种实现方式中，所述调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色，包括：将所述舌尖区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌尖区域图像进行RGB数值计算，得到第一RGB数值，并将所述第一RGB数值和预置的24色卡进行比较，并生成所述舌尖区域图像对应的舌尖颜色；将所述舌中区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌中区域图像进行RGB数值计算，得到第二RGB数值，并将所述第二RGB数值和预置的24色卡进行比较，并生成所述舌中区域图像对应的舌中颜色；将所述舌根区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌根区域图像进行RGB数值计算，得到第三RGB数值，并将所述第三RGB数值和预置的24色卡进行比较，并生成所述舌根区域图像对应的舌根颜色。
可选的，在本发明第一方面的第五种实现方式中，所述根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始诊断结果，包括：调用预置的中医数据库并将所述舌尖颜色作为索引关键词查询所述中医数据库，并将查询结果作为舌尖诊断结果；将所述舌中颜色作为索引关键词检索所述中医数据库，并将检索结果作为舌中诊断结果；将所述舌根颜色作为索引关键词爬取所述中医数据库，并将爬取结果作为舌根诊断结果；将所述舌尖诊断结果、所述舌中诊断结果和所述舌根诊断结果进行特征筛选，并生成所述待诊断用户对应的初始诊断结果。
可选的，在本发明第一方面的第六种实现方式中，所述根据所述用户性别、所述用户年龄和所述主诉症状对所述初始诊断结果进行校正和整合，得到目标诊断结果，包括：基于所述用户性别和所述用户年龄将所述初始诊断结果中不符合所述用户性别和所述用户年龄的检测数据进行去除，得到标准诊断结果；计算所述主诉症状和所述标准诊断结果的相似度，并将所述相似度和预置的相似度阈值进行比较，得到比较结果；根据所述比较结果将所述标准诊断结果进行归一化整合处理，得到目标诊断结果。
本发明第二方面提供了一种基于AI舌诊图像处理的智能健康管理装置，所述基于AI舌诊图像处理的智能健康管理装置包括：采集模块，用于基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像；识别模块，用于对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状；分割模块，用于对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；检测模块，用于调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；生成模块，用于根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始诊断结果；校正模块，用于根据所述用户性别、所述用户年龄和所述主诉症状对所述初始诊断结果进行校正和整合，得到目标诊断结果。
可选的，在本发明第二方面的第一种实现方式中，所述采集模块具体用于：通过预置的图像采集终端采集待诊断用户的初始面部图像，以及通过所述图像采集终端采集所述待诊断用户的舌头图像；计算所述舌头图像中舌头所占的比例值，并对所述比例值和预设目标值进行比较，得到比较结果，以及根据所述比较结果生成初始舌头图像；分别将所述初始舌头图像和所述初始面部图像输入预置EDSR模型中的卷积层进行特征提取，得到舌头特征图像和面部特征图像；分别将所述舌头特征图像和所述面部特征图像输入所述EDSR模型中的上采样层进行图像上采样处理，并生成高清舌头图像和高清面部图像。
可选的，在本发明第二方面的第二种实现方式中，所述识别模块具体用于：将所述高清面部图像输入预置的人脸识别模型进行面部特征点识别，得到所述高清面部图像中嘴部、鼻子和眼睛对应的多个特征点；根据所述多个特征点确定所述高清面部图像对应的人脸识别结果；根据所述人脸识别结果从预置的数据库中匹配所述待诊断用户对应的个人信息；分别提取所述个人信息中的性别信息、年龄信息和症状信息，得到用户性别、用户年龄和主诉症状。
可选的，在本发明第二方面的第三种实现方式中，所述分割模块还包括：归一化单元，用于按照预置的图像尺寸对所述高清舌头图像进行图像归一化处理，得到归一化高清舌头图像；分割单元，用于调用预置的图像分割算法对所述归一化高清舌头图像进行像素级分割，得到像素级分割后的图像；标注单元，用于对所述像素级分割后的图像进行类别信息标注，并生成所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像。
可选的，在本发明第二方面的第四种实现方式中，所述检测模块具体用于：将所述舌尖区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌尖区域图像进行RGB数值计算，得到第一RGB数值，并将所述第一RGB数值和预置的24色卡进行比较，并生成所述舌尖区域图像对应的舌尖颜色；将所述舌中区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌中区域图像进行RGB数值计算，得到第二RGB数值，并将所述第二RGB数值和预置的24色卡进行比较，并生成所述舌中区域图像对应的舌中颜色；将所述舌根区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌根区域图像进行RGB数值计算，得到第三RGB数值，并将所述第三RGB数值和预置的24色卡进行比较，并生成所述舌根区域图像对应的舌根颜色。
可选的，在本发明第二方面的第五种实现方式中，所述生成模块具体用于：调用预置的中医数据库并将所述舌尖颜色作为索引关键词查询所述中医数据库，并将查询结果作为舌尖诊断结果；将所述舌中颜色作为索引关键词检索所述中医数据库，并将检索结果作为舌中诊断结果；将所述舌根颜色作为索引关键词爬取所述中医数据库，并将爬取结果作为舌根诊断结果；将所述舌尖诊断结果、所述舌中诊断结果和所述舌根诊断结果进行特征筛选，并生成所述待诊断用户对应的初始诊断结果。
可选的，在本发明第二方面的第六种实现方式中，所述校正模块具体用于：基于所述用户性别和所述用户年龄将所述初始诊断结果中不符合所述用户性别和所述用户年龄的检测数据进行去除，得到标准诊断结果；计算所述主诉症状和所述标准诊断结果的相似度，并将所述相似度和预置的相似度阈值进行比较，得到比较结果；根据所述比较结果将所述标准诊断结果进行归一化整合处理，得到目标诊断结果。
本发明第三方面提供了一种基于AI舌诊图像处理的智能健康管理设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于AI舌诊图像处理的智能健康管理设备执行上述的基于AI舌诊图像处理的智能健康管理方法。
本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的基于AI舌诊图像处理的智能健康管理方法。
本发明提供的技术方案中，基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像；对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状；对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始诊断结果；根据所述用户性别、所述用户年龄和所述主诉症状对所述初始诊断结果进行校正和整合，得到目标诊断结果。本发明通过对采集到的初始舌头图像和初始面部图像进行去噪，生成高清的舌头图像和高清面部图像，提高图像的清晰度有助于提高后续颜色检测的准确率，以及将舌头图像分为三个区域分别进行分析，相对于传统的方案只对舌头进行一体化分析具有更高的可靠性，进而提高了舌诊的准确率。
附图说明
图1为本发明实施例中基于AI舌诊图像处理的智能健康管理方法的一个实施例示意图；
图2为本发明实施例中基于AI舌诊图像处理的智能健康管理方法的另一个实施例示意图；
图3为本发明实施例中基于AI舌诊图像处理的智能健康管理装置的一个实施例示意图；
图4为本发明实施例中基于AI舌诊图像处理的智能健康管理装置的另一个实施例示意图；
图5为本发明实施例中基于AI舌诊图像处理的智能健康管理设备的一个实施例示意图；
图6为本发明实施例中舌头区域的实施例示意图。
具体实施方式
本发明实施例提供了一种基于AI舌诊图像处理的智能健康管理方法及相关装置，用于提高舌诊的准确率。本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中基于AI舌诊图像处理的智能健康管理方法的一个实施例包括：
101、基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对初始舌头图像和初始面部图像进行预处理，得到高清舌头图像和高清面部图像；
可以理解的是，本发明的执行主体可以为基于AI舌诊图像处理的智能健康管理装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
需要说明的是，本实施例通过智能舌诊设备中的图像采集终端采集待诊断用户的舌头和面部的图像，得到初始舌头图像和初始面部图像，通过图像采集终端的采集舌头部位的图像，通过图像处理得到该图像中舌头所占比例并根据该比例确定该图像是否达标，如果比例达标，则将比例达标的图像作为初始舌头图像，如果不达标则根据调整该图像采集终端的光源亮度并对该待诊断用户的舌头部位进行重新拍摄，以使该舌头部位的比例在图像中所占的比例达标。进一步地，将比例达标的阈值设置为85%。本实施例通过EDSR模型对初始舌头图像和初始面部图像进行降噪处理，生成高清舌头图像和高清面部图像。此外，本实施中还可以通过采集用户的多个日常生活中的舌头图像，然后对这些图像取平均图像，该平均图像用户对后续检测结果进行个体特异性校正，如果用户平时的舌头图像所呈现出的颜色比较淡，可以推理该用户的体质所导致的舌头颜色就是比较淡的，那么比较淡的舌头图像对于这个用户来说就是正常的舌头图像。
102、对高清面部图像进行人脸识别，得到人脸识别结果，并根据人脸识别结果从预置的数据库中查询待诊断用户对应的个人信息，其中，个人信息包括：用户性别、用户年龄和主诉症状；
具体的，在对该高清面部图像进行识别之前，需要提前对用户的面部图像进行采集和存储，并保存至数据库中，当接收到该智能舌诊设备输入的高清面部图像时，对该高清面部图像中的特征点进行提取，然后和数据库中提前保存的人脸数据进行匹配，得到该待诊断用户对应的目标数据，根据目标数据查询该待检测用户在线上输入的个人信息，该个人信息包括用户性别、用户年龄以及主诉症状。其中，该主诉症状例如：不喜欢吃东西、咳嗽痰多、津液多等。
103、对高清舌头图像进行图像分割，得到高清舌头图像对应的多个ROI区域图像，其中，多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；
具体的，因为舌头的颜色根据舌尖、舌中和舌根的部位不同，所呈现的颜色也会不同，所以本实施例通过对该高清舌头图像按照舌尖、舌中和舌根这3个部位进行图像分割，得到多个ROI区域图像，其中，ROI区域图像也就是高清舌头图像中的感兴趣区域图像，本实施例将感兴趣区域设置为舌尖区域、舌中区域和舌根区域，分割得到舌尖区域图像、舌中区域图像和舌根区域图像。图6是本实施例中舌头区域的示意图，以及每个区域对应的人体器官，其中，舌分为上、下两个面，上面称舌背（中医称为舌面），下面称舌底，舌体的前端渐细，称为舌尖，本实施所分割的舌尖区域图像即为此部分的图像；舌体的中部，称为舌中，本实施所分割的舌中区域图像即为此部分的图像；舌体的后部，人字形的界沟之前，称为舌根，本实施分割得到的舌根区域图像即为此部分的图像。此外，基于不同的疾病，采用不同的辨证方式，对舌头图像的划分是有所不同的。常用的有两种分法：1、以五脏分区。舌尖属心肺，舌边属肝胆，舌中属脾胃，舌根属肾；2、以三焦分区。舌尖为上焦，舌中为中焦，舌根为下焦，此方法主要在温病辨证中使用。
104、调用预置的颜色检测模型分别对舌尖区域图像、舌中区域图像和舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；
具体的，该颜色检测模型包括卷积层、上采样层和输出层，该卷积层分别对舌尖区域图像、舌中区域图像和舌根区域图像进行卷积操作，提取图像中的图像特征，然后将图像特征进行上采样操作，得到高维特征，根据高维特征通过输出层中的RGB空间转换函数计算得到RGB数值，然后根据RGB数值查询预置的24色卡，最终分别得到舌尖区域图像、舌中区域图像和舌根区域图像中对应的舌尖颜色、舌中颜色和舌根颜色。
105、根据舌尖颜色、舌中颜色和舌根颜色生成待诊断用户对应的初始诊断结果；
具体的，调用预置的中医数据库分别查询该舌尖颜色、舌中颜色和舌根颜色对应的诊断数据，该中医数据库中包括多个中医医学书籍数据，例如：《中医舌诊》、《中医诊断学》、《舌诊基本知识》等；基于该舌尖颜色、该舌中颜色和该舌根颜色从该中医数据库中匹配对应的诊断结果，最终生成该待诊断用户对应的初始诊断结果。
106、根据用户性别、用户年龄和主诉症状对初始诊断结果进行校正和整合，得到目标诊断结果。
具体的，该初始诊断结果中包括了数据库中呈现的所有可能的诊断结果，因此需要根据用户的性别、用户年龄以及主诉症状对该初始诊断结果进行一个筛选，将不符合该待诊断用户的初始诊断结果进行去除和筛选，然后对筛选完成的初始诊断结果进行整合，也就是将筛选后的初始诊断结果整合到一起发送至可视化界面，用户可通过该可视化界面查阅目标诊断结果。该目标诊断结果例如：正常舌象：舌体柔软，活动灵活，颜色淡红，舌苔薄白，干湿适中，正常舌象说明脏腑功能正常，脾胃气机旺盛，气血充盈。
本发明实施例中，基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对初始舌头图像和初始面部图像进行预处理，得到高清舌头图像和高清面部图像；对高清面部图像进行人脸识别，得到人脸识别结果，并根据人脸识别结果从预置的数据库中查询待诊断用户对应的个人信息，其中，个人信息包括：用户性别、用户年龄和主诉症状；对高清舌头图像进行图像分割，得到高清舌头图像对应的多个ROI区域图像，其中，多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；调用预置的颜色检测模型分别对舌尖区域图像、舌中区域图像和舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；根据舌尖颜色、舌中颜色和舌根颜色生成待诊断用户对应的初始诊断结果；根据用户性别、用户年龄和主诉症状对初始诊断结果进行校正和整合，得到目标诊断结果。本发明通过对采集到的初始舌头图像和初始面部图像进行去噪，生成高清的舌头图像和高清面部图像，提高图像的清晰度有助于提高后续颜色检测的准确率，以及将舌头图像分为三个区域分别进行分析，相对于传统的方案只对舌头进行一体化分析具有更高的可靠性，进而提高了舌诊的准确率。
请参阅图2，本发明实施例中基于AI舌诊图像处理的智能健康管理方法的另一个实施例包括：
201、基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对初始舌头图像和初始面部图像进行预处理，得到高清舌头图像和高清面部图像；
具体的，服务器通过预置的图像采集终端采集待诊断用户的初始面部图像，以及通过图像采集终端采集待诊断用户的舌头图像；服务器计算舌头图像中舌头所占的比例值，并对比例值和预设目标值进行比较，得到比较结果，以及根据比较结果生成初始舌头图像；服务器分别将初始舌头图像和初始面部图像输入预置EDSR模型中的卷积层进行特征提取，得到舌头特征图像和面部特征图像；服务器分别将舌头特征图像和面部特征图像输入EDSR模型中的上采样层进行图像上采样处理，并生成高清舌头图像和高清面部图像。具体的，初始舌头图像和初始面部图像输入该EDSR模型之后，会先进行卷积、激活、残差缩放，学习到图像的高频特征，之后再进行upsample上采样（上采样对应的是下采样池化，上采样是进行分辨力增加的步骤）进行图像的最终超清晰度重建。其中，该卷积层用于提取图像的特征，并且卷积核的权重是可以学习的，卷积操作能突破传统滤波器的限制，根据目标函数提取出想要的特征；激活层其实就是激活函数层，将上一步卷积出来的特征矩阵进行激活，形成新矩阵。残差层是图像扩大分辨率的模块，其功能是将输入图片按到一定规则rescale到一个想要的尺寸。此外，参数共享（一个卷积核用来滤整个图像，而不是很多个卷积核），降低了网络参数，提升训练效率。本实施例通过EDSR模型，去除噪音，并提高初始舌头图像中舌诊推理能力，最终提高舌诊的准确率。
202、对高清面部图像进行人脸识别，得到人脸识别结果，并根据人脸识别结果从预置的数据库中查询待诊断用户对应的个人信息，其中，个人信息包括：用户性别、用户年龄和主诉症状；
具体的，服务器将高清面部图像输入预置的人脸识别模型进行面部特征点识别，得到高清面部图像中嘴部、鼻子和眼睛对应的多个特征点；服务器根据多个特征点确定高清面部图像对应的人脸识别结果；服务器根据人脸识别结果从预置的数据库中匹配待诊断用户对应的个人信息；服务器分别提取个人信息中的性别信息、年龄信息和症状信息，得到用户性别、用户年龄和主诉症状。具体的，在对该高清面部图像进行识别之前，需要提前对用户的面部图像进行采集和存储，并保存至数据库中，当接收到该智能舌诊设备输入的高清面部图像时，对该高清面部图像中的特征点进行提取，然后和数据库中提前保存的人脸数据进行匹配，得到该待诊断用户对应的目标数据，根据目标数据查询该待检测用户在线上输入的个人信息，该个人信息包括用户性别、用户年龄以及主诉症状。其中，该主诉症状例如：不喜欢吃东西、咳嗽痰多、津液多等。此外，本实施例中还可以对该高清面部图像进行颜色检测，具体的检测过程通过本发明中的颜色检测模型对该高清面部图像进行处理，最终得到该高清面部图像对应的面部颜色，将该面部颜色作为诊断辅助的参考，有助于提高舌诊的准确率。
203、按照预置的图像尺寸对高清舌头图像进行图像归一化处理，得到归一化高清舌头图像；
具体的，图像归一化处理是将该高清舌头图像进行裁剪归一化操作，按照预设的图像大小裁剪该高清舌头图像，其中，该预设的图像大小可以设置为450*110大小，图像归一化处理之后得到归一化高清舌头图像。图像归一化处理的目的是将拍摄时大小不一的图像处理为统一规格的图像，方便后续像素级分割时图像分割的效率和准确率。
204、调用预置的图像分割算法对归一化高清舌头图像进行像素级分割，得到像素级分割后的图像；
其中，该图像分割算法采用区域生成算法，通过将该归一化高清舌头图像中具有相似性质的像素点连成合并在一起。每一个区域，要有一个种子点作为生长起点，然后将种子点周围所设置领域的像素点，按照生长规则进行生长合并，直到没有能满足生长点的像素为止，得到像素级分割后的图像。
205、对像素级分割后的图像进行类别信息标注，并生成高清舌头图像对应的多个ROI区域图像，其中，多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；
具体的，分割完成的图像需要对分割图像进行信息标注，将舌尖图像标注上舌尖区域信息，得到舌尖区域图像，并将舌中图像标注上舌中区域信息，得到舌中区域图像；以及将舌根图像标注上舌舌根区域信息，得到舌根区域图像。
206、调用预置的颜色检测模型分别对舌尖区域图像、舌中区域图像和舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；
具体的，服务器将舌尖区域图像输入预置的颜色检测模型，通过颜色检测模型对舌尖区域图像进行RGB数值计算，得到第一RGB数值，并将第一RGB数值和预置的24色卡进行比较，并生成舌尖区域图像对应的舌尖颜色；服务器将舌中区域图像输入预置的颜色检测模型，通过颜色检测模型对舌中区域图像进行RGB数值计算，得到第二RGB数值，并将第二RGB数值和预置的24色卡进行比较，并生成舌中区域图像对应的舌中颜色；服务器将舌根区域图像输入预置的颜色检测模型，通过颜色检测模型对舌根区域图像进行RGB数值计算，得到第三RGB数值，并将第三RGB数值和预置的24色卡进行比较，并生成舌根区域图像对应的舌根颜色。其中，该颜色检测模型包括卷积层、上采样层和输出层，该卷积层分别对舌尖区域图像、舌中区域图像和舌根区域图像进行卷积操作，提取图像中的图像特征，然后将图像特征进行上采样操作，得到高维特征，根据高维特征通过输出层中的RGB空间转换函数计算得到RGB数值，然后根据RGB数值查询预置的24色卡，最终分别得到舌尖区域图像、舌中区域图像和舌根区域图像中对应的舌尖颜色、舌中颜色和舌根颜色。需要说明的是，24色卡为国际标准24色卡，将RGB数值和24色卡进行比较，比较的过程也就是匹配的过程，将最相思的24色卡中的颜色作为对应区域的图像颜色。
207、根据舌尖颜色、舌中颜色和舌根颜色生成待诊断用户对应的初始诊断结果；
具体的，服务器调用预置的中医数据库并将舌尖颜色作为索引关键词查询中医数据库，并将查询结果作为舌尖诊断结果；服务器将舌中颜色作为索引关键词检索中医数据库，并将检索结果作为舌中诊断结果；服务器将舌根颜色作为索引关键词爬取中医数据库，并将爬取结果作为舌根诊断结果；服务器将舌尖诊断结果、舌中诊断结果和舌根诊断结果进行特征筛选，并生成待诊断用户对应的初始诊断结果，其中，特征筛选的过程是将该舌尖诊断结果、该舌中诊断结果和该舌根诊断结果中相同的诊断结果只保留一个诊断结果。进一步地，调用预置的中医数据库分别查询该舌尖颜色、舌中颜色和舌根颜色对应的诊断数据，该中医数据库中包括多个中医医学书籍数据，例如：《中医舌诊》、《中医诊断学》、《舌诊基本知识》等；基于该舌尖颜色、该舌中颜色和该舌根颜色从该中医数据库中匹配对应的诊断结果，最终生成该待诊断用户对应的初始诊断结果。
208、根据用户性别、用户年龄和主诉症状对初始诊断结果进行校正和整合，得到目标诊断结果。
具体的，服务器基于用户性别和用户年龄将初始诊断结果中不符合用户性别和用户年龄的检测数据进行去除，得到标准诊断结果；服务器计算主诉症状和标准诊断结果的相似度，并将相似度和预置的相似度阈值进行比较，得到比较结果；服务器根据比较结果将标准诊断结果进行归一化整合处理，得到目标诊断结果。其中，该初始诊断结果中包括了数据库中呈现的所有可能的诊断结果，因此需要根据用户的性别、用户年龄以及主诉症状对该初始诊断结果进行一个筛选，将不符合该待诊断用户的初始诊断结果进行去除和筛选，然后对筛选完成的初始诊断结果进行整合，也就是将筛选后的初始诊断结果整合到一起发送至可视化界面，用户可通过该可视化界面查阅目标诊断结果。
本发明实施例中，基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对初始舌头图像和初始面部图像进行预处理，得到高清舌头图像和高清面部图像；对高清面部图像进行人脸识别，得到人脸识别结果，并根据人脸识别结果从预置的数据库中查询待诊断用户对应的个人信息，其中，个人信息包括：用户性别、用户年龄和主诉症状；对高清舌头图像进行图像分割，得到高清舌头图像对应的多个ROI区域图像，其中，多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；调用预置的颜色检测模型分别对舌尖区域图像、舌中区域图像和舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；根据舌尖颜色、舌中颜色和舌根颜色生成待诊断用户对应的初始诊断结果；根据用户性别、用户年龄和主诉症状对初始诊断结果进行校正和整合，得到目标诊断结果。本发明通过对采集到的初始舌头图像和初始面部图像进行去噪，生成高清的舌头图像和高清面部图像，提高图像的清晰度有助于提高后续颜色检测的准确率，以及将舌头图像分为三个区域分别进行分析，相对于传统的方案只对舌头进行一体化分析具有更高的可靠性，进而提高了舌诊的准确率。
上面对本发明实施例中基于AI舌诊图像处理的智能健康管理方法进行了描述，下面对本发明实施例中基于AI舌诊图像处理的智能健康管理装置进行描述，请参阅图3，本发明实施例中基于AI舌诊图像处理的智能健康管理装置一个实施例包括：
采集模块301，用于基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像；
识别模块302，用于对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状；
分割模块303，用于对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；
检测模块304，用于调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；
生成模块305，用于根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始诊断结果；
校正模块306，用于根据所述用户性别、所述用户年龄和所述主诉症状对所述初始诊断结果进行校正和整合，得到目标诊断结果。
本发明实施例中，基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像；对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状；对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始诊断结果；根据所述用户性别、所述用户年龄和所述主诉症状对所述初始诊断结果进行校正和整合，得到目标诊断结果。本发明通过对采集到的初始舌头图像和初始面部图像进行去噪，生成高清的舌头图像和高清面部图像，提高图像的清晰度有助于提高后续颜色检测的准确率，以及将舌头图像分为三个区域分别进行分析，相对于传统的方案只对舌头进行一体化分析具有更高的可靠性，进而提高了舌诊的准确率。
请参阅图4，本发明实施例中基于AI舌诊图像处理的智能健康管理装置另一个实施例包括：
采集模块301，用于基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像；
识别模块302，用于对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状；
分割模块303，用于对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；
检测模块304，用于调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；
生成模块305，用于根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始诊断结果；
校正模块306，用于根据所述用户性别、所述用户年龄和所述主诉症状对所述初始诊断结果进行校正和整合，得到目标诊断结果。
可选的，所述采集模块301具体用于：通过预置的图像采集终端采集待诊断用户的初始面部图像，以及通过所述图像采集终端采集所述待诊断用户的舌头图像；计算所述舌头图像中舌头所占的比例值，并对所述比例值和预设目标值进行比较，得到比较结果，以及根据所述比较结果生成初始舌头图像；分别将所述初始舌头图像和所述初始面部图像输入预置EDSR模型中的卷积层进行特征提取，得到舌头特征图像和面部特征图像；分别将所述舌头特征图像和所述面部特征图像输入所述EDSR模型中的上采样层进行图像上采样处理，并生成高清舌头图像和高清面部图像。
可选的，所述识别模块302具体用于：将所述高清面部图像输入预置的人脸识别模型进行面部特征点识别，得到所述高清面部图像中嘴部、鼻子和眼睛对应的多个特征点；根据所述多个特征点确定所述高清面部图像对应的人脸识别结果；根据所述人脸识别结果从预置的数据库中匹配所述待诊断用户对应的个人信息；分别提取所述个人信息中的性别信息、年龄信息和症状信息，得到用户性别、用户年龄和主诉症状。
可选的，所述分割模块303还包括：
归一化单元3031，用于按照预置的图像尺寸对所述高清舌头图像进行图像归一化处理，得到归一化高清舌头图像；
分割单元3032，用于调用预置的图像分割算法对所述归一化高清舌头图像进行像素级分割，得到像素级分割后的图像；
标注单元3033，用于对所述像素级分割后的图像进行类别信息标注，并生成所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像。
可选的，所述检测模块304具体用于：将所述舌尖区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌尖区域图像进行RGB数值计算，得到第一RGB数值，并将所述第一RGB数值和预置的24色卡进行比较，并生成所述舌尖区域图像对应的舌尖颜色；将所述舌中区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌中区域图像进行RGB数值计算，得到第二RGB数值，并将所述第二RGB数值和预置的24色卡进行比较，并生成所述舌中区域图像对应的舌中颜色；将所述舌根区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌根区域图像进行RGB数值计算，得到第三RGB数值，并将所述第三RGB数值和预置的24色卡进行比较，并生成所述舌根区域图像对应的舌根颜色。
可选的，所述生成模块305具体用于：调用预置的中医数据库并将所述舌尖颜色作为索引关键词查询所述中医数据库，并将查询结果作为舌尖诊断结果；将所述舌中颜色作为索引关键词检索所述中医数据库，并将检索结果作为舌中诊断结果；将所述舌根颜色作为索引关键词爬取所述中医数据库，并将爬取结果作为舌根诊断结果；将所述舌尖诊断结果、所述舌中诊断结果和所述舌根诊断结果进行特征筛选，并生成所述待诊断用户对应的初始诊断结果。
可选的，所述校正模块306具体用于：基于所述用户性别和所述用户年龄将所述初始诊断结果中不符合所述用户性别和所述用户年龄的检测数据进行去除，得到标准诊断结果；计算所述主诉症状和所述标准诊断结果的相似度，并将所述相似度和预置的相似度阈值进行比较，得到比较结果；根据所述比较结果将所述标准诊断结果进行归一化整合处理，得到目标诊断结果。
本发明实施例中，基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像；对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状；对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始诊断结果；根据所述用户性别、所述用户年龄和所述主诉症状对所述初始诊断结果进行校正和整合，得到目标诊断结果。本发明通过对采集到的初始舌头图像和初始面部图像进行去噪，生成高清的舌头图像和高清面部图像，提高图像的清晰度有助于提高后续颜色检测的准确率，以及将舌头图像分为三个区域分别进行分析，相对于传统的方案只对舌头进行一体化分析具有更高的可靠性，进而提高了舌诊的准确率。
上面图3和图4从模块化功能实体的角度对本发明实施例中的基于AI舌诊图像处理的智能健康管理装置进行详细描述，下面从硬件处理的角度对本发明实施例中基于AI舌诊图像处理的智能健康管理设备进行详细描述。
图5是本发明实施例提供的一种基于AI舌诊图像处理的智能健康管理设备的结构示意图，该基于AI舌诊图像处理的智能健康管理设备500可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器（central processing units，CPU）510（例如，一个或一个以上处理器）和存储器520，一个或一个以上存储应用程序533或数据532的存储介质530（例如一个或一个以上海量存储设备）。其中，存储器520和存储介质530可以是短暂存储或持久存储。存储在存储介质530的程序可以包括一个或一个以上模块（图示没标出），每个模块可以包括对基于AI舌诊图像处理的智能健康管理设备500中的一系列指令操作。更进一步地，处理器510可以设置为与存储介质530通信，在基于AI舌诊图像处理的智能健康管理设备500上执行存储介质530中的一系列指令操作。
基于AI舌诊图像处理的智能健康管理设备500还可以包括一个或一个以上电源540，一个或一个以上有线或无线网络接口550，一个或一个以上输入输出接口560，和/或，一个或一个以上操作系统531，例如Windows Serve，Mac OS X，Unix，Linux，FreeBSD等等。本领域技术人员可以理解，图5示出的基于AI舌诊图像处理的智能健康管理设备结构并不构成对基于AI舌诊图像处理的智能健康管理设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
本发明还提供一种基于AI舌诊图像处理的智能健康管理设备，所述基于AI舌诊图像处理的智能健康管理设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述基于AI舌诊图像处理的智能健康管理方法的步骤。
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述基于AI舌诊图像处理的智能健康管理方法的步骤。
进一步地，计算机可读存储介质可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（read-only memory，ROM）、随机存取存储器（random access memory，RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (9)

1.一种基于AI舌诊图像处理的智能健康管理方法，其特征在于，所述基于AI舌诊图像处理的智能健康管理方法包括：
基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像；
对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状；
对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；
调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；其中，所述调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色，包括：将所述舌尖区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌尖区域图像进行RGB数值计算，得到第一RGB数值，并将所述第一RGB数值和预置的24色卡进行比较，并生成所述舌尖区域图像对应的舌尖颜色；将所述舌中区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌中区域图像进行RGB数值计算，得到第二RGB数值，并将所述第二RGB数值和预置的24色卡进行比较，并生成所述舌中区域图像对应的舌中颜色；将所述舌根区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌根区域图像进行RGB数值计算，得到第三RGB数值，并将所述第三RGB数值和预置的24色卡进行比较，并生成所述舌根区域图像对应的舌根颜色；具体的，所述颜色检测模型包括卷积层、上采样层和输出层，所述卷积层分别对舌尖区域图像、舌中区域图像和舌根区域图像进行卷积操作，提取图像中的图像特征，将图像特征进行上采样操作，得到高维特征，根据高维特征通过输出层中的RGB空间转换函数计算得到RGB数值，根据RGB数值查询预置的24色卡，分别得到舌尖区域图像、舌中区域图像和舌根区域图像中对应的舌尖颜色、舌中颜色和舌根颜色；
根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始判断结果；
根据所述用户性别、所述用户年龄和所述主诉症状对所述初始判断结果进行校正和整合，得到目标判断结果。
2.根据权利要求1所述的基于AI舌诊图像处理的智能健康管理方法，其特征在于，所述基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像，包括：
通过预置的图像采集终端采集待诊断用户的初始面部图像，以及通过所述图像采集终端采集所述待诊断用户的舌头图像；
计算所述舌头图像中舌头所占的比例值，并对所述比例值和预设目标值进行比较，得到比较结果，以及根据所述比较结果生成初始舌头图像；
分别将所述初始舌头图像和所述初始面部图像输入预置EDSR模型中的卷积层进行特征提取，得到舌头特征图像和面部特征图像；
分别将所述舌头特征图像和所述面部特征图像输入所述EDSR模型中的上采样层进行图像上采样处理，并生成高清舌头图像和高清面部图像。
3.根据权利要求1所述的基于AI舌诊图像处理的智能健康管理方法，其特征在于，所述对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状，包括：
将所述高清面部图像输入预置的人脸识别模型进行面部特征点识别，得到所述高清面部图像中嘴部、鼻子和眼睛对应的多个特征点；
根据所述多个特征点确定所述高清面部图像对应的人脸识别结果；
根据所述人脸识别结果从预置的数据库中匹配所述待诊断用户对应的个人信息；
分别提取所述个人信息中的性别信息、年龄信息和症状信息，得到用户性别、用户年龄和主诉症状。
4.根据权利要求1所述的基于AI舌诊图像处理的智能健康管理方法，其特征在于，所述对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像，包括：
按照预置的图像尺寸对所述高清舌头图像进行图像归一化处理，得到归一化高清舌头图像；
调用预置的图像分割算法对所述归一化高清舌头图像进行像素级分割，得到像素级分割后的图像；
对所述像素级分割后的图像进行类别信息标注，并生成所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像。
5.根据权利要求1所述的基于AI舌诊图像处理的智能健康管理方法，其特征在于，所述根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始判断结果，包括：
调用预置的中医数据库并将所述舌尖颜色作为索引关键词查询所述中医数据库，并将查询结果作为舌尖判断结果；
将所述舌中颜色作为索引关键词检索所述中医数据库，并将检索结果作为舌中判断结果；
将所述舌根颜色作为索引关键词爬取所述中医数据库，并将爬取结果作为舌根判断结果；
将所述舌尖判断结果、所述舌中判断结果和所述舌根判断结果进行特征筛选，并生成所述待诊断用户对应的初始判断结果。
6.根据权利要求1-5中任一项所述的基于AI舌诊图像处理的智能健康管理方法，其特征在于，所述根据所述用户性别、所述用户年龄和所述主诉症状对所述初始判断结果进行校正和整合，得到目标判断结果，包括：
基于所述用户性别和所述用户年龄将所述初始判断结果中不符合所述用户性别和所述用户年龄的检测数据进行去除，得到标准判断结果；
计算所述主诉症状和所述标准判断结果的相似度，并将所述相似度和预置的相似度阈值进行比较，得到比较结果；
根据所述比较结果将所述标准判断结果进行归一化整合处理，得到目标判断结果。
7.一种基于AI舌诊图像处理的智能健康管理装置，其特征在于，所述基于AI舌诊图像处理的智能健康管理装置包括：
采集模块，用于基于预置的图像采集终端采集待诊断用户的初始舌头图像和初始面部图像，并调用预置的EDSR模型分别对所述初始舌头图像和所述初始面部图像进行预处理，得到高清舌头图像和高清面部图像；
识别模块，用于对所述高清面部图像进行人脸识别，得到人脸识别结果，并根据所述人脸识别结果从预置的数据库中查询所述待诊断用户对应的个人信息，其中，所述个人信息包括：用户性别、用户年龄和主诉症状；
分割模块，用于对所述高清舌头图像进行图像分割，得到所述高清舌头图像对应的多个ROI区域图像，其中，所述多个ROI区域图像包括：舌尖区域图像、舌中区域图像和舌根区域图像；
检测模块，用于调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色；其中，所述调用预置的颜色检测模型分别对所述舌尖区域图像、所述舌中区域图像和所述舌根区域图像进行颜色检测，得到舌尖颜色、舌中颜色和舌根颜色，包括：将所述舌尖区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌尖区域图像进行RGB数值计算，得到第一RGB数值，并将所述第一RGB数值和预置的24色卡进行比较，并生成所述舌尖区域图像对应的舌尖颜色；将所述舌中区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌中区域图像进行RGB数值计算，得到第二RGB数值，并将所述第二RGB数值和预置的24色卡进行比较，并生成所述舌中区域图像对应的舌中颜色；将所述舌根区域图像输入预置的颜色检测模型，通过所述颜色检测模型对所述舌根区域图像进行RGB数值计算，得到第三RGB数值，并将所述第三RGB数值和预置的24色卡进行比较，并生成所述舌根区域图像对应的舌根颜色；具体的，所述颜色检测模型包括卷积层、上采样层和输出层，所述卷积层分别对舌尖区域图像、舌中区域图像和舌根区域图像进行卷积操作，提取图像中的图像特征，将图像特征进行上采样操作，得到高维特征，根据高维特征通过输出层中的RGB空间转换函数计算得到RGB数值，根据RGB数值查询预置的24色卡，分别得到舌尖区域图像、舌中区域图像和舌根区域图像中对应的舌尖颜色、舌中颜色和舌根颜色；
生成模块，用于根据所述舌尖颜色、所述舌中颜色和所述舌根颜色生成所述待诊断用户对应的初始判断结果；
校正模块，用于根据所述用户性别、所述用户年龄和所述主诉症状对所述初始判断结果进行校正和整合，得到目标判断结果。
8.一种基于AI舌诊图像处理的智能健康管理设备，其特征在于，所述基于AI舌诊图像处理的智能健康管理设备包括：存储器和至少一个处理器，所述存储器中存储有指令；
所述至少一个处理器调用所述存储器中的所述指令，以使得所述基于AI舌诊图像处理的智能健康管理设备执行如权利要求1-6中任一项所述的基于AI舌诊图像处理的智能健康管理方法。
9.一种计算机可读存储介质，所述计算机可读存储介质上存储有指令，其特征在于，所述指令被处理器执行时实现如权利要求1-6中任一项所述的基于AI舌诊图像处理的智能健康管理方法。
CN202210736274.1A 2022-06-27 2022-06-27 基于ai舌诊图像处理的智能健康管理方法及相关装置 Active CN114820603B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210736274.1A CN114820603B (zh) 2022-06-27 2022-06-27 基于ai舌诊图像处理的智能健康管理方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210736274.1A CN114820603B (zh) 2022-06-27 2022-06-27 基于ai舌诊图像处理的智能健康管理方法及相关装置

Publications (2)

Publication Number Publication Date
CN114820603A CN114820603A (zh) 2022-07-29
CN114820603B true CN114820603B (zh) 2022-09-16

Family

ID=82523049

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210736274.1A Active CN114820603B (zh) 2022-06-27 2022-06-27 基于ai舌诊图像处理的智能健康管理方法及相关装置

Country Status (1)

Country Link
CN (1) CN114820603B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117094966B (zh) * 2023-08-21 2024-04-05 青岛美迪康数字工程有限公司 基于图像扩增的舌图像识别方法、装置和计算机设备
CN117522865B (zh) * 2024-01-03 2024-03-22 长春中医药大学 一种基于图像识别技术的中医健康监测系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300123A (zh) * 2018-09-18 2019-02-01 天津大学 基于面部和舌部图像采集的体质分析方法
CN111368790A (zh) * 2020-03-18 2020-07-03 北京三快在线科技有限公司 细粒度人脸识别模型的构建方法、识别方法以及构建装置
CN112200091A (zh) * 2020-10-13 2021-01-08 深圳市悦动天下科技有限公司 舌头区域识别的方法、装置及计算机存储介质
CN112386245A (zh) * 2019-08-14 2021-02-23 林柏谚 从舌头分析身体状况的方法
CN112464871A (zh) * 2020-12-08 2021-03-09 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的中医舌部图像处理方法及系统
CN113706515A (zh) * 2021-08-31 2021-11-26 平安科技（深圳）有限公司 舌像异常确定方法、装置、计算机设备和存储介质
CN114240857A (zh) * 2021-12-02 2022-03-25 仙兔医疗科技(北京)有限责任公司 一种基于比色卡的舌诊图像校准方法及校准工具及校准工具

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111860538A (zh) * 2020-07-20 2020-10-30 河海大学常州校区 一种基于图像处理的舌体颜色鉴别方法和装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300123A (zh) * 2018-09-18 2019-02-01 天津大学 基于面部和舌部图像采集的体质分析方法
CN112386245A (zh) * 2019-08-14 2021-02-23 林柏谚 从舌头分析身体状况的方法
CN111368790A (zh) * 2020-03-18 2020-07-03 北京三快在线科技有限公司 细粒度人脸识别模型的构建方法、识别方法以及构建装置
CN112200091A (zh) * 2020-10-13 2021-01-08 深圳市悦动天下科技有限公司 舌头区域识别的方法、装置及计算机存储介质
CN112464871A (zh) * 2020-12-08 2021-03-09 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的中医舌部图像处理方法及系统
CN113706515A (zh) * 2021-08-31 2021-11-26 平安科技（深圳）有限公司 舌像异常确定方法、装置、计算机设备和存储介质
CN114240857A (zh) * 2021-12-02 2022-03-25 仙兔医疗科技(北京)有限责任公司 一种基于比色卡的舌诊图像校准方法及校准工具及校准工具

Also Published As

Publication number Publication date
CN114820603A (zh) 2022-07-29

Similar Documents

Publication Publication Date Title
CN114820603B (zh) 基于ai舌诊图像处理的智能健康管理方法及相关装置
CN111985536B (zh) 一种基于弱监督学习的胃镜病理图像分类方法
Chan et al. Texture-map-based branch-collaborative network for oral cancer detection
CN1830380A (zh) 中医舌像分析与诊断系统
US20060257031A1 (en) Automatic detection of red lesions in digital color fundus photographs
US20140316235A1 (en) Skin imaging and applications
Motta et al. Vessel optimal transport for automated alignment of retinal fundus images
WO2018098986A1 (zh) 中医舌像自动检测系统及方法
Wannous et al. Supervised tissue classification from color images for a complete wound assessment tool
WO2018098987A1 (zh) 中医舌诊图像处理系统及方法
CN111340773B (zh) 一种视网膜图像血管分割方法
Al Jannat et al. Detection of multiple sclerosis using deep learning
CN115496700A (zh) 一种基于眼部图像的疾病检测系统及方法
Mente et al. A review: Fingernail images for disease detection
CN112560911A (zh) 中医舌图像分类方法及系统
Kaur et al. Estimation of severity level of non-proliferative diabetic retinopathy for clinical aid
CN109711306B (zh) 一种基于深度卷积神经网络获取面部特征的方法及设备
WO2022252107A1 (zh) 一种基于眼部图像的疾病检测系统及方法
CN115937609A (zh) 基于局部和全局信息的角膜病图像检测分类方法及装置
Rajasekaran et al. Skin disease identification using image processing and machine learning techniques
Nithya et al. Nail based disease analysis at earlier stage using median filter in image processing
CN111178453B (zh) 一种基于svm的医疗图像智能化匹配方法及存储介质
Nazir et al. Diabetic Retinopathy Detection based on Hybrid Feature Extraction and SVM
Khan Frequency and spatial domain based saliency for pigmented skin lesion segmentation
Patil et al. Automated macula proximity diagnosis for early finding of diabetic macular edema

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant