CN113707305A - 基于深度学习的健康方案推荐方法、装置、设备及介质 - Google Patents

基于深度学习的健康方案推荐方法、装置、设备及介质 Download PDF

Info

Publication number
CN113707305A
CN113707305A CN202111005735.XA CN202111005735A CN113707305A CN 113707305 A CN113707305 A CN 113707305A CN 202111005735 A CN202111005735 A CN 202111005735A CN 113707305 A CN113707305 A CN 113707305A
Authority
CN
China
Prior art keywords
tongue
image
initial
health
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111005735.XA
Other languages
English (en)
Inventor
蓝龙辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kangjian Information Technology Shenzhen Co Ltd
Original Assignee
Kangjian Information Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kangjian Information Technology Shenzhen Co Ltd filed Critical Kangjian Information Technology Shenzhen Co Ltd
Priority to CN202111005735.XA priority Critical patent/CN113707305A/zh
Publication of CN113707305A publication Critical patent/CN113707305A/zh
Priority to PCT/CN2022/087522 priority patent/WO2023029500A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0633—Lists, e.g. purchase orders, compilation or processing
    • G06Q30/0635—Processing of requisition or of purchase orders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/60—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to nutrition control, e.g. diets
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Public Health (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Finance (AREA)
  • Primary Health Care (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Accounting & Taxation (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Epidemiology (AREA)
  • Databases & Information Systems (AREA)
  • Strategic Management (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Pathology (AREA)
  • General Business, Economics & Management (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Nutrition Science (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本发明涉及人工智能技术领域，提出一种基于深度学习的健康方案推荐方法、装置、设备及介质，该方法通过获取初始舌部图像与标准舌部图像的初始相似度，从初始舌部图像中分别提取初始舌苔图像和初始舌质图像，并输入到预设舌苔检测模型、预设舌质检测模型，得到舌苔状态、舌质状态，以确定舌部关联信息，进而确定若干个待选健康方案，通过确定用户精神状态以在待选健康方案中确定推荐健康方案。本发明还提出一种基于深度学习的健康方案推荐装置、设备及介质，通过预设舌苔检测模型和预设舌质检测模型得到舌质状态和舌苔状态，并结合用户的身体健康情况与精神状态两方面因素推荐合适的健康方案，考虑维度更加全面，提升用户满意度，简单可行。

Description

基于深度学习的健康方案推荐方法、装置、设备及介质
技术领域
本发明涉及人工智能技术领域，提供一种基于深度学习的健康方案推荐方法、装置、设备及介质。
背景技术
舌苔、舌质的颜色、形状等信息在一定程度上可以代表人当前的身体状态，传统的方式往往需要接受过专业培训的医生等专业人员，通过现场诊断等方式得到某个人的身体状态，并提出一些健康管理建议或处方。
由于专业人员数量精力有限，对于一些诸如上火等“小问题”，大家往往因种种原因而得不到专业人员的帮助，但随着大家对健康问题的不断关注，人们对于可行、方便的健康方案的需求越来越高。同时，人的心境、精神状态也可能会影响身体状态，传统的健康方案往往仅关注用户的身体基础检测数据本身如血压、心率、体重等，忽略了用户的精神状态，使得所提供的健康管理建议不够全面，针对性差，用户满意度差。
发明内容
本发明提供一种基于深度学习的健康方案推荐方法、装置、设备及介质，其主要目的在于通过舌部图像经预设舌苔检测模型和预设舌质检测模型得到舌质状态和舌苔状态，以确定待选健康方案，结合用户精神状态确定推荐健康方案，结合用户的身体健康情况与精神状态两方面因素推荐合适的健康方案，考虑维度更加全面，提升用户满意度，简单可行。
为实现上述目的，本发明提供一种基于深度学习的健康方案推荐方法，该方法包括：获取用户的初始舌部图像，并将所述初始舌部图像与标准舌部图像进行比对，得到初始相似度；
若所述初始相似度低于预设初始相似度阈值，从初始舌部图像中分别提取初始舌苔图像和初始舌质图像；
将所述初始舌苔图像输入到预设舌苔检测模型，得到舌苔状态，将所述初始舌质图像输入到预设舌质检测模型，得到舌质状态；
根据所述舌质状态和舌苔状态确定舌部关联信息，并确定若干个待选健康方案，所述待选健康方案包括建议食物及食用方法；
获取用户精神状态关联信息及预设时间段内若干张用户行为图像，并确定用户精神状态；
根据所述用户精神状态在所述待选健康方案中确定推荐健康方案。
可选的，从初始舌部图像中提取初始舌苔图像的方式包括：
将所述初始舌部图像划分为若干个初始图像块；
分别获取各所述初始图像块中像素点的RGB值，并确定各所述初始图像块的像素点平均RGB值；
根据所述像素点平均RGB值和预设舌苔RGB值范围从各所述初始图像块中确定疑似舌苔图像块；
获取所述疑似舌苔图像块的图像块位置信息，并确定可信图像块，所述可信图像块包括与至少一个其他所述疑似舌苔图像块的距离小于预设距离阈值的所述疑似舌苔图像块；
将所述可信图像块进行拼接，得到所述初始舌苔图像。
可选的，所述用户行为图像包括用户面部图像，用户精神状态关联信息包括信息内容和信息内容影响因子，所述用户精神状态的确定方式包括：
获取所述用户面部图像中目标面部关键点的关键点位置信息，所述目标面部关键点包括鼻尖关键点、嘴角关键点和眼角关键点；
分别获取各所述用户面部图像中所述眼角关键点与鼻尖关键点的第一距离，所述嘴角关键点与鼻尖关键点的第二距离，并分别确定若干个所述第一距离的第一平均值和第一中位数，分别确定若干个所述第二距离的第二平均值和第二中位数；
根据所述第一中位数、第一平均值、第二中位数和第二平均值确定第一精神状态得分；
根据所述信息内容和信息内容影像因子确定第二精神状态得分；
根据所述第一精神状态得分和第二精神状态得分确定用户精神状态。
可选的，所述待选健康方案还包括实施难度、用时时长、所述建议食物的推荐食用季节和推荐食用天气，所述根据所述用户精神状态在所述待选健康方案中确定推荐健康方案包括：
获取初始时间、初始季节、初始天气状况及各所述待选健康方案的所述实施难度和用时时长；
根据所述初始季节、初始天气状况、推荐食用天气和推荐食用季节从各待选健康方案中确定若干个第一备选健康方案；
根据所述初始时间及用时时长从各所述第一备选健康方案中确定若干个第二备选健康方案；
根据所述用户精神状态和实施难度从各所述第二备选健康方案中确定推荐健康方案。
可选的，所述根据所述用户精神状态在所述待选健康方案中确定推荐健康方案之后，所述方法还包括以下至少之一：
获取所述推荐健康方案中的建议食物及食用方法，根据所述食用方法确定所需辅助食材，并根据所述建议食物和辅助食材生成购买清单，获取到下单确认信息后，将所述购买清单发送至预设购物平台，生成订单；
将所述舌质状态、舌苔状态、用户精神状态关联信息、舌部关联信息和推荐健康方案发送给预设对象；
根据所述舌质状态、舌苔状态、用户精神状态关联信息和舌部关联信息确定用户健康状态，并提示。
可选的，所述根据所述用户精神状态在所述待选健康方案中确定推荐健康方案之后，所述方法还包括：
获取后续舌部图像，所述后续舌部图像的后续采集时间晚于所述初始舌部图像的初始采集时间；
将所述后续舌部图像与所述标准舌部图像进行比对，得到后续第一相似度；
若所述后续第一相似度低于所述预设初始相似度阈值，将所述后续舌部图像与所述初始舌部图像进行比对，得到后续第二相似度；
若所述后续第二相似度高于预设后续相似度阈值，获取所述后续采集时间与初始采集时间的历经时长；
若所述历经时长超过预设时间阈值，根据所述舌质状态、舌苔状态和舌部关联信息推荐适合的医生和/或药品。
可选的，所述获取用户的初始舌部图像，并将所述初始舌部图像与标准舌部图像进行比对，得到相似度之前，所述方法还包括：
获取用户的原始舌部图像，并识别得到所述原始舌部图像中的原始舌苔图像；
获取所述原始舌苔图像的色相；
若所述色相属于预设色相，则所述原始舌部图像合格，将所述原始舌部图像作为初始舌部图像；
若所述色相不属于预设色相，提示用户清洁舌部。
此外，为实现上述目的，本发明还提供一种基于深度学习的健康方案推荐装置，该装置包括：
图像获取模块，用于获取用户的初始舌部图像，并将所述初始舌部图像与标准舌部图像进行比对，得到初始相似度；
图像提取模块，用于若所述初始相似度低于预设初始相似度阈值，从初始舌部图像中分别提取初始舌苔图像和初始舌质图像；
检测模块，用于将所述初始舌苔图像输入到预设舌苔检测模型，得到舌苔状态，将所述初始舌质图像输入到预设舌质检测模型，得到舌质状态；
待选方案确定模块，用于根据所述舌质状态和舌苔状态确定舌部关联信息，并确定若干个待选健康方案，所述待选健康方案包括建议食物及食用方法；
精神状态确定模块，用于获取用户精神状态关联信息及预设时间段内若干张用户行为图像，并确定用户精神状态；
推荐模块，用于根据所述用户精神状态在所述待选健康方案中确定推荐健康方案。
此外，为实现上述目的，本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上任一项实施例所述方法的步骤。
此外，为实现上述目的，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项实施例所述方法的步骤。
本发明提出的基于深度学习的健康方案推荐方法、装置、设备及介质，该方法通过获取用户的初始舌部图像，并将初始舌部图像与标准舌部图像进行比对，得到初始相似度，若初始相似度低于预设初始相似度阈值，从初始舌部图像中分别提取初始舌苔图像和初始舌质图像，将初始舌苔图像输入到预设舌苔检测模型，得到舌苔状态，将初始舌质图像输入到预设舌质检测模型，得到舌质状态，根据舌质状态和舌苔状态确定舌部关联信息，并确定若干个待选健康方案，获取用户精神状态关联信息及预设时间段内若干张用户行为图像，并确定用户精神状态，根据用户精神状态在待选健康方案中确定推荐健康方案。通过舌部图像经预设舌苔检测模型和预设舌质检测模型得到舌质状态和舌苔状态，以确定待选健康方案，结合用户精神状态确定推荐健康方案，结合用户的身体健康情况与精神状态两方面因素推荐合适的健康方案，考虑维度更加全面，提升用户满意度，简单可行，针对性强。
附图说明
图1为本发明一个实施例中提供的基于深度学习的健康方案推荐方法的一种流程示意图；
图2为本发明一个实施例中提供的基于深度学习的健康方案推荐方法的另一种流程示意图；
图3为本发明一个实施例中提供的基于深度学习的健康方案推荐方法的另一种流程示意图；
图4为本发明一个实施例中提供的基于深度学习的健康方案推荐装置的一种结构示意图；
图5为本发明一个实施例中提供的舌苔提取模块的一种结构示意图；
图6为发明一个实施例中提供的计算机设备的一种结构示意图。
本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
在一个实施例中，提供一种基于深度学习的健康方案推荐方法，参照图1所示，该方法包括以下步骤：
步骤S101：获取用户的初始舌部图像，并将初始舌部图像与标准舌部图像进行比对，得到初始相似度。
在一些实施例中，初始舌部图像可以通过监控设备、手机、可穿戴设备或专业健康监测设备等设备来采集得到。
可选的，在采集初始舌部图像前，由于采集设备的图像采集效果可能受初始的光线、角度等影响，故采集设备可以先采集标准物品的图像，进行误差标定后，再采集初始舌苔图像。标注物品可以是预设选定并在系统中标定过的红色系的物品。这样，通过对标准物品的误差标定后，再采集初始舌部图像，可以根据上述标定的误差对初始舌部图像进行调整，以尽量消除由于光线、角度等因素所导致的误差。
可选的，标准舌部图像可以是该用户在健康状态下所拍摄的图像。针对具有慢性病的用户，由于其慢性病的状态将持续相当长的一段时间，且需要辅以专业的治疗手段，如高血压、糖尿病等，针对于这样的用户，标准舌部图像也可以是该用户在慢性病病情稳定状态下所拍摄的图像。
一种可选的将初始舌部图像与标准舌部图像进行比对的方式包括：
将初始舌部图像与标准舌部图像进行灰度化处理，并归一化为预设像素大小，得到灰度初始舌部图像与灰度标准舌部图像；
分别确定灰度初始舌部图像与灰度标准舌部图像中各像素点的灰度值的平均值，得到灰度初始舌部图像的第一平均灰度值和灰度标准舌部图像的第二平均灰度值；
将灰度初始舌部图像中各像素点的灰度值分别与第一平均灰度值进行比较，若某一像素点的灰度值大于第一平均灰度值则转化值记为N，否则转化值记为M，按照像素点在灰度初始舌部图像中的排列顺序形成初始编码；
将灰度标准舌部图像中各像素点的灰度值分别与第二平均灰度值进行比较，若某一像素点的灰度值大于第二平均灰度值则转化值记为N，否则转化值记为M，按照像素点在灰度标准舌部图像中的排列顺序形成标准编码；
对初始编码和标准编码进行比较，得到初始相似度。
其中，在确定第一平均灰度值、第二灰度值之前，可以将灰度初始舌部图像与灰度标准舌部图像中各像素点的灰度值同比例缩小一定系数，以减少后续计算量。若灰度初始舌部图像与灰度标准舌部图像为8*8尺寸的图像，初始编码和标准编码可以是64位2进制编码。N，M为不同的数字，比如N＝1，M＝0等。初始编码和标准编码的编码的排列顺序一致。
对初始编码和标准编码进行比较，得到初始相似度的方式包括分别比对初始编码和标准编码中处于相同排列位置的两个转化值是否相同，获取相同的转化值的数量，并以相同的转化值的数量占比初始编码(或标准编码)中所有转化值数量的比例作为初始相似度。以预设像素大小为8*8为例，则两个图像分别有8*8＝64个像素，则得到的初始编码和标准编码分别有64个转化值，经过比对得到有60个位置上的转化值相同，则初始相似度＝60/64*100％＝93.75％。
一种可选的将初始舌部图像与标准舌部图像进行比对的方式包括：
对初始舌部图像与标准舌部图像进行特征向量提取，得到初始舌部图像特征向量和标准舌部图像特征向量；
确定初始舌部图像特征向量和标准舌部图像特征向量之间的余弦相似度，作为初始相似度。
其中，将初始舌部图像与标准舌部图像进行比对的方式也可以采用本领域技术人员所知晓的其他方式，在此不做限定。
通过先将初始舌部图像与标准舌部图像进行比对，得到初始相似度，能够先对用户的初始舌部情况是否与历史舌部情况一致有一定认知，对该用户是否需要本实施例提供的健康方案推荐进行一个初步的筛选。若初始舌部图像与标准舌部图像相似(初始相似度高于预设初始相似度阈值)，则说明用户的健康状态较为稳定，仅需要保持原有的生活饮食等习惯即可。否则，始舌部图像与标准舌部图像不相似(初始相似度低于预设初始相似度阈值)，则说明用户的健康状态发生了变化，需要重新推荐健康方案。
在一些实施例中，在采集初始舌部图像时，用户可能之前食用了葡萄、火龙果、桑葚、含有色素的饮料等易将舌头染色的食物，若采用舌部染色后的图像进行判断，将导致判断不准确，可以对初始舌部图像进行初步筛选，以保证初始舌部图像是合格图像。获取用户的初始舌部图像，并将初始舌部图像与标准舌部图像进行比对，得到相似度之前，还包括对初始舌苔图像进行筛选，参见图2，该方法还包括：
S001：获取用户的原始舌部图像，并识别得到原始舌部图像中的原始舌苔图像；
S002：获取原始舌苔图像的色相；
S003：若色相属于预设色相，则原始舌部图像合格，将原始舌部图像作为初始舌部图像；
S004：若色相不属于预设色相，提示用户清洁舌部。
可选的，原始舌部图像也即采集设备所直接采集到的图像，或采集设备采集的图像经过上述误差调整后的图像。
原始舌苔图像的获取方法可以是通过预先训练的目标提取模型进行提取，也可以是与后续所述的初始舌苔图像的提取方式类似，还可以采用本领域技术人员所知晓的方式实现。
原始舌苔图像的色相的获取方式可以采用本领域技术人员所知晓的方式实现，包括但不限于通过肉眼识别、通过机器识别等。预设色相可以由本领域技术人员根据需要设定，该预设色相可以是固定不变的，也可以根据不同的季节进行调整，比如可以根据富含色素的水果的成熟期的不同设定不同的预设色相。
若发现舌苔的颜色是黑色、深紫色等异常颜色，可以及时的提醒用户进行舌部清洁，提升该方案的准确性。可以等用户完成舌部清洁后，再行采集新的初始舌部图像。
步骤S102：若初始相似度低于预设初始相似度阈值，从初始舌部图像中分别提取初始舌苔图像和初始舌质图像。
通过根据初始相似度，可以对初始舌部图像有一定的筛选，只有初始相似度低于预设初始相似度阈值的初始舌部图像，才会进行舌苔和舌质的提取，可以减少不必要的计算，节约算力。
预设初始相似度阈值可以是本领域技术人员根据需要所设定的阈值。
在一些实施例中，从初始舌部图像中提取初始舌苔图像和初始舌质图像可以通过预先训练好的预设图像提取模型来实现，该模型的训练可以采用本领域技术人员所知晓的方式实现。其中，预设图像提取模型可以通过预先对若干个样本图像进行人工标注，得到若干舌苔图像和舌质图像，作为训练集，对预设神经网络模型等进行训练，得到预设图像提取模型，将初始舌部图像输入到预设图像提取模型后，输出初始舌苔图像和初始设置图像。
在一些实施例中，参见图3，从初始舌部图像中提取初始舌苔图像的方式包括：
S301：将初始舌部图像划分为若干个初始图像块；
S302：分别获取各初始图像块中像素点的RGB值，并确定各初始图像块的像素点平均RGB值；
S303：根据像素点平均RGB值和预设舌苔RGB值范围从各初始图像块中确定疑似舌苔图像块；
S304：获取疑似舌苔图像块的图像块位置信息，并确定可信图像块，可信图像块包括与至少一个其他疑似舌苔图像块的距离小于预设距离阈值的疑似舌苔图像块；
S305：将可信图像块进行拼接，得到初始舌苔图像。
可以将初始舌部图像分割为若干个矩形区域，每个矩形区域的面积大小可以相同，也可以不同。或将初始舌部图像分割为圆形区域、矩形区域、不规则区域等。初始图像块的划分方式可以是取一定大小的方格或长方形格子的图像，也可以是按照其他本领域技术人员设定的方式进行划分。
初始图像块中各像素点的RGB(R(red)、G(green)、B(blue))值可以采用本领域技术人员所知晓的方式获取。
可选的，初始图像块的像素点平均RGB值＝初始图像块中各像素点RGB值的加和/初始图像块中包括有像素点的数量。
由于舌苔与舌质通常情况下是存在一定色差的，而舌苔本身的各部分颜色均比较接近，舌质本身各部分颜色也比较接近，故可以通过像素点平均RGB值从各个初始图像块中找到可能包括舌苔的疑似舌苔图像块。
在一些实施例中，预设舌苔RGB值范围可以由本领域技术人员根据需要设定，由于通常可能出现健康问题的舌质颜色一般为舌绛、舌暗红、舌红、舌淡红、舌淡紫、舌白，而可能出现健康问题的舌苔颜色一般为苔紫灰、苔黄白、苔黄、苔白。可见，通常来说，舌苔颜色与舌质颜色具有较大幅度的差异，故可以根据舌苔常见颜色，来设置预设舌苔RGB值范围。
在一些实施例中，预设舌苔RGB值范围也可以由像素点平均RGB值和其分布情况确定。例如，将位于初始舌部图像中部的初始图像块(除去分布在初始舌部图像边缘的若干个初始图像块外其他的初始图像块)的像素点平均RGB值中的最大值和最小值作为预设舌苔RGB值范围等。
由于舌苔往往附着在舌质上，舌苔的位置位于舌质边缘的内部，故若某一个初始图像块离散分布于其他初始图像块之外，则可能发生了误判，将该初始图像块排除，其余的初始图像块作为可信图像块。离散情况可以根据初始图像块之间的距离进行判断。
可选的，图像块位置信息可以是通过预先以初始舌部图像的某一点作为原点对初始舌部图像设定图像坐标系，将疑似舌苔图像块中的某一个或多个图像点的所在位置的坐标作为图像块位置信息。例如，疑似舌苔图像块为矩形，以矩形的四个顶点对应的图像点的坐标作为图像块位置信息。
可选的，图像块位置信息还可以是以当前显示初始舌部图像的显示空间的某一单作为原点，创立显示坐标系，初始舌部图像中每一个图像点在该显示坐标系中均对应有一个坐标，将疑似舌苔图像块中的某一个或多个图像点的所在位置的坐标作为图像块位置信息。
可选的，若初始图像块为矩形块，疑似舌苔图像块的至少一个图像块位置信息为矩形块的四个顶点位置信息，这样，相接的疑似舌苔图像块之间至少有一个顶点是重合的。若某一个疑似舌苔图像块的图像块位置信息与其他所有图像块位置信息图像块的图像块位置信息均不相同，也即可以表征该疑似舌苔图像块是离散的单一图像块，则可以将该图像块剔除，以保证初始舌苔图像的准确性。
应当知晓的，部分初始图像块中包括大量或少量舌体的像素点，本领域技术人员可以通过控制预设舌苔RGB值范围来减少包括大量舌体的像素点的初始图像块的影响，也可以通过控制初始图像块中所包括像素点的数量来避免上述影响。
可信图像块的拼接可以在保留其原有在初始舌部图像中的位置的基础上实现。
步骤S103：将初始舌苔图像输入到预设舌苔检测模型，得到舌苔状态，将初始舌质图像输入到预设舌质检测模型，得到舌质状态。
可选的，预设舌苔检测模型、预设舌质检测模型可以由本领域技术人员根据若干已标注好的舌苔图像及舌苔状态、舌质图像及舌质状态作为训练集对基础模型进行训练得到。
可选的，舌质状态包括但不限于舌绛、舌暗红、舌红、舌淡红、舌淡紫、舌白等。舌苔状态包括但不限于苔紫灰、苔黄白、苔黄、苔白等。
步骤S104：根据舌质状态和舌苔状态确定舌部关联信息，并确定若干个待选健康方案。
可选的，待选健康方案包括建议食物及食用方法。
可选的，舌部关联信息包括舌苔状态关联信息和舌质状态关联信息，以舌苔状态关联信息为例，如舌苔状态为舌苔厚白，需要了解用户的具体身体情况，比如平素进食情况、是否疲倦、乏力、大便黏腻不畅或者不成形，是否有恶心、呕吐症状，居住环境是否潮湿或者近日受潮湿，是否有食欲不振、倦怠乏力，发热的症状，所了解的上述信息均为舌苔状态相关信息。
可选的，可以预先设置预设关联信息问题库，该预设关联信息问题库中包括若干个预设关联信息问题，各预设关联信息问题均设置有舌质标签和舌苔标签，舌质标签对应舌质状态，舌苔标签对应舌苔状态。可以根据舌质状态和舌苔状态分别在预设关联信息问题库中查找到对应的若干个预设关联信息问题，并通过对用户询问预设关联信息问题，根据用户回答得到舌部关联信息。例如，舌部关联信息还可以通过根据舌质状态、舌苔状态确定预设问题清单，通过文字、语音等方式按照预设问题清单中的问题进行提问并获取用户回答，根据用户回答进行关键词提取，以得到上述问题答案作为舌部关联信息。
在一些实施例中，待选健康方案根据舌部关联信息、舌质状态、舌苔状态和健康相关信息确定，其中，健康相关信息包括性别、年龄、基础病症、生活环境气候、身高、体重、体温、睡眠型态、血压、血糖、心率、久坐状态等。可选的，可以根据身高和体重确定BMI(身体质量指数)，具体的，BMI＝体重(kg)÷身高^2(m)。该健康相关信息可以通过相关健康信息采集设备采集得到。例如通过体脂称、具有健康监测功能的手环等设备采集得到健康相关信息。
可选的，可以为各类别的健康相关信息分别赋予对应的信息影响因子，对于数值型健康相关信息如体重、身高等可以直接取其数值与信息影响因子的乘积作为中间值，对于非数值型健康相关新，如睡眠类型、久坐状态等，先将其转化为数值化表示，如久坐状态包括日均坐姿时长，将不同时长划分为对应的等级，再取所在等级与信息影响因子的乘积作为中间值，数值化表示的方式还可以采用本领域技术人员所知晓的方式实现。将各个健康相关信息所对应的中间值求和再取平均值，作为健康相关信息的标识数值，以实现健康相关信息的归一化表示，以便后续确定待选健康方案。
根据舌部关联信息、舌质状态、舌苔状态、健康相关信息中至少之一通过与包括若干个预设健康方案的预设健康方案库进行比对，以得到适合的待选健康方案，其中预设健康方案预设有其所适配的舌部关联信息标签、舌质状态标签、舌苔状态标签、健康相关信息标签中至少之一。通过舌部关联信息标签、舌质状态标签、舌苔状态标签、健康相关信息标签与舌部关联信息、舌质状态、舌苔状态、健康相关信息等进行比对，确定合适的预设健康方案作为待选健康方案。可选的，一个预设健康方案可以对应一个或多个舌部关联信息标签、健康相关信息标签。预设健康方案可以由医生、营养师等专业人士进行构建。
其中，建议食物可以是普通食物，也可以是药食兼用食物。通过食补来帮助用户解决或预防一些可能的健康问题。
对同一种食物可能有多种食用方法，比如直接生吃、过油、过水、雕花、烘焙、烧烤、做汤等。食用方法可以是菜谱或小贴士等形式呈现。食用方法还可以以视频连接的方式呈现，若用户选择了或者自动向用户推荐了该健康方案，则对应匹配合适的食用方法并播放制作过程视频。
可选的，可以根据用户由舌质、舌苔及舌部关联信息确定用户可能的健康问题，如上火等，并对应推荐包括适合食用的食物在内的健康方案，以便用户可以通过食疗的方式减轻或者解决健康问题。
可选的，根据用户的健康相关信息可以知晓用户是否存在偏胖、高血压、高血脂、尿酸高等问题，可以结合健康相关信息、舌苔状态、舌质状态、舌部关联信息综合确定待选健康方案，以避免待选健康方案中包括可能会对用户健康存在威胁的食物。如某患者尿酸过高，患有通风时，则避免不会将包括有高嘌呤含量食物如香菇等食物的健康方案确定为待选健康方案。
步骤S105：获取用户精神状态关联信息及预设时间段内若干张用户行为图像，并确定用户精神状态。
可选的，用户行为图像可以是通过摄像监控设备来采集，在用户预先知晓并同意进行图像采集的前提下，该采集行为的具体时间点和采集设备最好不被用户所知晓，以提升所采集的用户行为图像的可信度。
用户行为图像的获取也可以通过引导用户进行人脸精神状态采集实现。例如，首先记录用户三种状态的人脸(开心/伤心/正常)图像作为训练集对精神状态初始模型进行训练，得到用户精神状态模型。后续通过引导用户开启手机摄像头进行视频实时采集或通过其他图像采集设备采集用户人脸图像，输入到训练号的用户精神状态模型中，以得到用户精神状态。
可选的，用户精神状态关联信息包括但不限于用户工作(学习)时长、是否有发呆、哭泣、叹气等行为、非工作外出次数与时长等能够体现或反映用户精神状态的行为中至少之一。
可选的，可以通过对用户行为图像所分析得到第一用户心情得分，再根据用户精神状态关联信息得到第二用户心情得分，根据第一用户心情得分和第二用户心情得分得到用户心情总得分以表征用户的精神状态。例如，对开心/伤心/正常的用户精神状态分别赋予不同数值作为第一用户心情得分，对不同用户精神状态关联信息分别赋予合适的数值作为关联数值及其关联影响影子，根据关联数值及关联影响因子确定第二用户心情得分(取各用户精神状态关联信息的关联数值的加权平均数)。
用户行为图像可以是人体图像，基于包括用户的形体状态的人体图像也可以确定用户精神状态。例如，用户耸肩、驼背、低头、昂头等均可以反映用户精神状态。
在一些实施例中，用户行为图像包括用户面部图像，用户精神状态关联信息包括信息内容和信息内容影响因子，用户精神状态的确定方式包括：
获取用户面部图像中目标面部关键点的关键点位置信息，目标面部关键点包括鼻尖关键点、嘴角关键点和眼角关键点；
分别获取各用户面部图像中眼角关键点与鼻尖关键点的第一距离，嘴角关键点与鼻尖关键点的第二距离，并分别确定若干个第一距离的第一平均值和第一中位数，分别确定若干个第二距离的第二平均值和第二中位数；
根据第一中位数、第一平均值、第二中位数和第二平均值确定第一精神状态得分；
根据信息内容和信息内容影像因子确定第二精神状态得分；
根据第一精神状态得分和第二精神状态得分确定用户精神状态。
可选的，信息内容包括但不限于笑声次数、发呆次数、哭泣次数、叹气次数、工作时长、非工作外出时长中至少之一。
其中，目标面部关键点可以由本领域技术人员来确定，上述仅为一种示例，其他与当前所选定的目标面部关键点相邻的关键点(如眉毛处的关键点等)也可以作为目标面部关键点，其用户精神状态的确定方式与上述示例类似。
可选的，目标面部关键点的识别方式以及关键点位置信息的获取方式可以采用本领域技术人员所知晓的方式实现。
第一距离、第二距离可以是基于图像坐标系所得到的“虚拟距离”后，再根据图像与现实世界的比例转化关系转为现实世界坐标系下的实际距离，也可以关键点位置信息就是相对于现实世界坐标系下所得到的坐标数据，进而得到的第一距离、第二距离为实际距离。第一平均值、第二平均值为在不同用户面部图像中所拍摄到的用户的若干个第一距离的平均数、若干个第二距离的平均数。第一中位数、第二中位数分别为将第一距离和第二距离按照大小顺序排序所得到的。可选的，若第一距离和/或第二距离的数量为偶数时，取位于中间的两个数值的平均数作为第一中位数和/或第二中位数。
可选的，根据第一中位数、第一平均值、第二中位数和第二平均值确定第一精神状态得分包括：
若第一中位数小于第一平均值，且第二中位数小于第二平均值，则获取预设第一面部得分作为第一精神状态得分，否则获取预设第二面部得分作为第一精神状态得分。预设第一面部得分、预设第二面部得分可以由本领域技术人员预先设定。
可选的，人在开心时，嘴角往往会上扬，拉近嘴角与鼻尖的距离，若第二中位数小于第二平均值，则说明可能用户开心时所拍摄的用户面部图像比较多。人在开心时，由于肌肉由于拉伸，导致眼角会靠近鼻尖，拉近眼角与鼻尖的距离，若第一中位数小于第一平均值，则进一步说明可能用户处于开心时所拍摄的用户面部图像比较多，此时获取预设第一面部得分作为第一精神状态得分。其他情况则说明用户正常或不开心时所拍摄的用户面部图像比较多，则选用预设第二面部得分作为第一精神状态得分。
可选的，根据将不同的信息内容和对应的信息内容影响因子分别取乘积后求和，以确定第二精神状态得分。
取第一精神状态得分和第二精神状态得分之和作为精神状态总得分。通过精神状态总得分与预先设定好的各得分梯度所对应的精神状态之间的映射关系，确定该用户的精神状态。或者，取第一精神状态得分和第二精神状态得分的加权平均数作为精神状态总得分。
S106：根据用户精神状态在待选健康方案中确定推荐健康方案。
可选的，预先对预设健康方案标注所适合的精神状态，进而根据精神状态可以方便的选择合适的健康方案。
在一些实施例中，待选健康方案还包括实施难度、用时时长、建议食物的推荐食用季节和推荐食用天气，根据用户精神状态在待选健康方案中确定推荐健康方案包括：
获取初始时间、初始季节、初始天气状况及各待选健康方案的实施难度和用时时长；
根据初始季节、初始天气状况、推荐食用天气和推荐食用季节从各待选健康方案中确定若干个第一备选健康方案；
根据初始时间及用时时长从各第一备选健康方案中确定若干个第二备选健康方案；
根据用户精神状态和实施难度从各第二备选健康方案中确定推荐健康方案。
其中，初始时间、初始季节、初始天气状态可以根据当前时间、当前季节、当前天气状态确定，也可以是由本领域技术人员所指定的时期的相关信息确定，如未来一周或未来三天的对应信息确定。可选的，初始时间、初始季节、初始天气状态也可以根据初始舌部图像所采集时所对应的相关信息确定。
可以根据季节确定当季较为容易获得的食物，以提升健康方案的可执行度。如冬季则尽量不将包括多在夏季成熟的食物的健康方案作为第一备选健康方案，比如芒果等。根据天气状况可以选择适合的食物，如气温较低时，则可以确定包括如羊肉等温补的食材的健康方案作为第一备选健康方案。对于待选健康方案，可以根据其方案所包括的食物等信息预先标注好推荐食用天气和推荐食用季节，以便第一备选健康方案的选取。
有些食材的制作过程较为繁琐，用时较长，此时若时间过晚，则可能导致用户在根据健康方案的推荐食物以及推荐食用方式进行食材加工耗时过久，导致用户错过饭点，体验度不佳，故可以结合当前所在时间(初始时间)在第一备选健康方案中选择第二备选健康方案，以筛除那些耗时过久的健康方案，提升用户对于健康方案执行的可行性与满意度。
通过食材的加工与加工完成的满足感可以在一定程度上改善某些用户的心境，使其心情愉悦。但对于某些用户来说，其更接收简单的食物加工过程，复杂的食物加工将使其心境更差，故，可以根据每个用户的特质(复杂的食物加工是导致其心境更佳还是更差)以及实施难度从各第二备选健康方案中确定推荐健康方案。
可选的，健康方案包括但不限于实施难度、用时时长、建议食物及食用方法等，当确定了推荐健康方案后，可以将健康方案所包括的上述信息通过语音、视频、图片、文字等方式展示给用户。
在一些实施例中，根据用户精神状态在待选健康方案中确定推荐健康方案之后，该方法还包括以下至少之一：
获取推荐健康方案中的建议食物及食用方法，根据食用方法确定所需辅助食材，并根据建议食物和辅助食材生成购买清单，获取到下单确认信息后，将购买清单发送至预设购物平台，生成订单；
将舌质状态、舌苔状态、用户精神状态关联信息、舌部关联信息和推荐健康方案发送给预设对象；
根据舌质状态、舌苔状态、用户精神状态关联信息和舌部关联信息确定用户健康状态，并提示。
食用方法包括但不限于烹饪方式，根据烹饪方式可以得到所需的各种辅助食材，进而方便用户在网络购物平台下单购买。下单确认信息可以是将购买清单呈现给用户后，用户直接确定的信息也可以是用户对该购买清单进行修改后得到的新的包括修改后购买清单的确认信息。将该购买清单发送给到预设购物平台进行生成订单，当用户完成支付，则该健康方案所需要的的食材和工具均可以派送到指定地点，使得用户执行该健康方案更加方便。
有时，与用户有抚养、扶养或其他关系的人需要知晓用户的当前健康情况，则可以在用户知情同意的前提下将舌质状态、舌苔状态、用户精神状态关联信息、舌部关联信息和推荐健康方案通过短信、微信、邮件、语音电话等方式通知给到相关人员。例如，将舌质状态、舌苔状态、用户精神状态关联信息、舌部关联信息和推荐健康方案发送到指定邮箱地址等。
通过对不同的舌质状态、舌苔状态以及舌部关联信息可以得到用户当前的健康情况，如舌质、舌苔发生了异常(舌苔颜色不正常和/或舌质颜色不正常等)，则健康情况较差，同时通过用户精神状态关联信息确定用户精神状态，进而根据健康情况、用户精神状态得到用户健康状态，并通过不同颜色的标识或者不同文字以实现提示用户其当前用户健康状态。
可选的，根据所述舌质状态、舌苔状态、用户精神状态关联信息和舌部关联信息确定用户健康状态包括但不限于如下方式：
预先对各种舌质状态、舌苔状态、用户精神状态关联信息和舌部关联信息进行分级评分，得到分数比对表；
在该分数比对表中查找与用户当前的舌质状态、舌苔状态、用户精神状态关联信息和舌部关联信息各自的得分并加总，得到该用户的健康总得分；
根据健康总得分与预设用户健康状态的对应关系，确定用户健康状态。
例如，通过上述给到的确定精神状态总得分的方式确定该用户精神状态关联信息所对应的精神状态总得分，再根据该精神状态总得分在分数比对表中查找到对应的精神状态得分；根据舌部关联信息在分数比对表中查找各舌部关联子信息对应的评分，再进行加总，得到舌部关联得分；根据舌质状态在分数比对表中查找到舌质得分，根据舌苔状态在分数比对表中查找到舌苔得分，将精神状态得分、舌部关联得分、舌质得分和舌苔得分加总，得到健康总得分。再通过查找该健康总得分所对应的预设用户健康状态作为用户健康状态。如健康总得分为80分，所对应的预设用户健康状态为亚健康，健康总得分为60分，所对应的预设用户健康状态为较为不健康，健康总得分为30分，所对应的预设用户健康状态为非常不健康。具体的健康总得分与预设用户健康状态的映射关系可以由本领域技术人员根据需要进行设定。
可选的，另一种根据所述舌质状态、舌苔状态、用户精神状态关联信息和舌部关联信息确定用户健康状态包括但不限于如下方式：
根据达到预设条件的数量确定所述用户健康状态，所述预设条件包括以下至少之一：
舌质状态包括预设舌质状态；
舌苔状态包括预设舌苔状态；
舌部关联信息包括预设舌部关联信息；
用户精神状态关联信息所确定的精神状态得分达到预设精神状态得分。
其中，预设舌质状态、预设舌苔状态、预设舌部关联信息、预设精神状态得分可以由本领域技术人员进行设定。
可选的，若满足一个预设条件，用户健康状态包括亚健康，满足两个预设条件，用户健康包括较为不健康，满足三个及以上预设条件，用户健康状态包括非常不健康。
在一些实施例中，根据用户精神状态在待选健康方案中确定推荐健康方案之后，方法还包括：
获取后续舌部图像，后续舌部图像的后续采集时间晚于初始舌部图像的初始采集时间；
将后续舌部图像与标准舌部图像进行比对，得到后续第一相似度；
若后续第一相似度低于预设初始相似度阈值，将后续舌部图像与初始舌部图像进行比对，得到后续第二相似度；
若后续第二相似度高于预设后续相似度阈值，获取后续采集时间与初始采集时间的历经时长；
若历经时长超过预设时间阈值，根据舌质状态、舌苔状态和舌部关联信息推荐适合的医生和/或药品。
若对于某一健康问题，采用一段时间(历经时长大于预设时间阈值)的食疗(食用推荐方案中的食材)后，并没有良好的改善(后续第二相似度高于预设后续相似度阈值)，此时可以推荐对应的药物治疗或者医生，以帮助用户解决健康问题。
可选的，若后续舌部图像与标准舌部图像相似，则说明用户的身体状态恢复正常，否则，用户的身体状态仍然处于异常状态。
可选的，若后续舌部图像与初始舌部图像不相似，也即后续第二相似度低于预设后续相似度阈值，此时可以推荐适合的医生和/或药品，也可以重新根据新的后续舌部图像确定新的推荐健康方案。
通过上述实施方式，可以进一步跟进用户的健康状态变化，若健康状态发生改变，及时调整健康管理方案。若之前的健康管理方案并没有奏效，则需要及时辅助药物治疗。
本发明实施例提供了一种基于深度学习的健康方案推荐方法，该方法通过获取用户的初始舌部图像，并将初始舌部图像与标准舌部图像进行比对，得到初始相似度，若初始相似度低于预设初始相似度阈值，从初始舌部图像中分别提取初始舌苔图像和初始舌质图像，将初始舌苔图像输入到预设舌苔检测模型，得到舌苔状态，将初始舌质图像输入到预设舌质检测模型，得到舌质状态，根据舌质状态和舌苔状态确定舌部关联信息，并确定若干个待选健康方案，获取用户精神状态关联信息及预设时间段内若干张用户行为图像，并确定用户精神状态，根据用户精神状态在待选健康方案中确定推荐健康方案。通过舌部图像经预设舌苔检测模型和预设舌质检测模型得到舌质状态和舌苔状态，以确定待选健康方案，结合用户精神状态确定推荐健康方案，结合用户的身体健康情况与精神状态两方面因素推荐合适的健康方案，考虑维度更加全面，提升用户满意度，简单可行。
在一个实施例中，如图4所示，本发明实施例还提供一种基于深度学习的健康方案推荐装置400，该装置包括：
图像获取模块401，用于获取用户的初始舌部图像，并将初始舌部图像与标准舌部图像进行比对，得到初始相似度；
图像提取模块402，用于若初始相似度低于预设初始相似度阈值，从初始舌部图像中分别提取初始舌苔图像和初始舌质图像；
检测模块403，用于将初始舌苔图像输入到预设舌苔检测模型，得到舌苔状态，将初始舌质图像输入到预设舌质检测模型，得到舌质状态；
待选方案确定模块404，用于根据舌质状态和舌苔状态确定舌部关联信息，并确定若干个待选健康方案，待选健康方案包括建议食物及食用方法；
精神状态确定模块405，用于获取用户精神状态关联信息及预设时间段内若干张用户行为图像，并确定用户精神状态；
推荐模块406，用于根据用户精神状态在待选健康方案中确定推荐健康方案。
在一个实施例中，图像提取模块包括舌苔提取模块和舌质提取模块，其中，舌苔提取模块用于从初始舌部图像中提取初始舌苔图像，舌质提取模块用于从初始舌部图像中提取初始舌质图像。
参见图5，舌苔提取模块500包括：
图像划分模块501，用于将初始舌部图像划分为若干个初始图像块；
平均值确定模块502，用于分别获取各初始图像块中像素点的RGB值，并确定各初始图像块的像素点平均RGB值；
疑似舌苔图像块确定模块503，用于根据像素点平均RGB值和预设舌苔RGB值范围从各初始图像块中确定疑似舌苔图像块；
可信图像块确定模块504，用于获取疑似舌苔图像块的图像块位置信息，并确定可信图像块，可信图像块包括与至少一个其他疑似舌苔图像块的距离小于预设距离阈值的疑似舌苔图像块；
拼接模块505，用于将可信图像块进行拼接，得到初始舌苔图像。
在一个实施例中，用户行为图像包括用户面部图像，用户精神状态关联信息包括信息内容和信息内容影响因子，精神状态确定模块还包括：
位置信息获取模块，用于获取用户面部图像中目标面部关键点的关键点位置信息，目标面部关键点包括鼻尖关键点、嘴角关键点和眼角关键点；
距离确定模块，用于分别获取各用户面部图像中眼角关键点与鼻尖关键点的第一距离，嘴角关键点与鼻尖关键点的第二距离，并分别确定若干个第一距离的第一平均值和第一中位数，分别确定若干个第二距离的第二平均值和第二中位数；
第一精神状态得分确定模块，用于根据第一中位数、第一平均值、第二中位数和第二平均值确定第一精神状态得分；
第二精神状态得分确定模块，用于根据信息内容和信息内容影像因子确定第二精神状态得分；
用户精神状态确定模块，用于根据第一精神状态得分和第二精神状态得分确定用户精神状态。
在一个实施例中，待选健康方案还包括实施难度、用时时长、建议食物的推荐食用季节和推荐食用天气，推荐模块包括：
信息获取模块，用于获取初始时间、初始季节、初始天气状况及各待选健康方案的实施难度和用时时长；
第一备选健康方案确定模块，用于根据初始季节、初始天气状况、推荐食用天气和推荐食用季节从各待选健康方案中确定若干个第一备选健康方案；
第二备选健康方案确定模块，用于根据初始时间及用时时长从各第一备选健康方案中确定若干个第二备选健康方案；
推荐健康方案确定模块，用于根据用户精神状态和实施难度从各第二备选健康方案中确定推荐健康方案。
在一个实施例中，该基于深度学习的健康方案推荐装置还包括：
订单生成模块，用于获取推荐健康方案中的建议食物及食用方法，根据食用方法确定所需辅助食材，并根据建议食物和辅助食材生成购买清单，获取到下单确认信息后，将购买清单发送至预设购物平台，生成订单；
发送模块，用于将舌质状态、舌苔状态、用户精神状态关联信息、舌部关联信息和推荐健康方案发送给预设对象；
提示模块，用于根据舌质状态、舌苔状态、用户精神状态关联信息和舌部关联信息确定用户健康状态，并提示。
在一个实施例中，该基于深度学习的健康方案推荐装置还包括医生和/或药品推荐模块，该医生和/或药品推荐模块用于：
获取后续舌部图像，后续舌部图像的后续采集时间晚于初始舌部图像的初始采集时间；
将后续舌部图像与标准舌部图像进行比对，得到后续第一相似度；
若后续第一相似度低于预设初始相似度阈值，将后续舌部图像与初始舌部图像进行比对，得到后续第二相似度；
若后续第二相似度高于预设后续相似度阈值，获取后续采集时间与初始采集时间的历经时长；
若历经时长超过预设时间阈值，根据舌质状态、舌苔状态和舌部关联信息推荐适合的医生和/或药品。
在一个实施例中，该基于深度学习的健康方案推荐装置还包括预选模块，该预选模块用于在图像获取模块获取用户的初始舌部图像，并将初始舌部图像与标准舌部图像进行比对，得到相似度之前，执行以下步骤：
获取用户的原始舌部图像，并识别得到原始舌部图像中的原始舌苔图像；
获取原始舌苔图像的色相；
若色相属于预设色相，则原始舌部图像合格，将原始舌部图像作为初始舌部图像；
若色相不属于预设色相，提示用户清洁舌部。
本发明实施例提供了一种基于深度学习的健康方案推荐装置，通过舌部图像经预设舌苔检测模型和预设舌质检测模型得到舌质状态和舌苔状态，以确定待选健康方案，结合用户精神状态确定推荐健康方案，结合用户的身体健康情况与精神状态两方面因素推荐合适的健康方案，考虑维度更加全面，提升用户满意度，简单可行。
在本实施例中，该基于深度学习的健康方案推荐装置执行上述任一实施例所述的基于深度学习的健康方案推荐方法，具体功能和技术效果参照上述实施例即可，此处不再赘述。
在一个实施例中，参见图6，本实施例还提供了一种计算机设备600，包括存储器601、处理器602及存储在存储器上并可在处理器上运行的计算机程序，所述处理器602执行所述计算机程序时实现如上任一项实施例所述方法的步骤。
在一个实施例中，还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项实施例所述方法的步骤。
本申请实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种基于深度学习的健康方案推荐方法，其特征在于，所述方法包括：
获取用户的初始舌部图像，并将所述初始舌部图像与标准舌部图像进行比对，得到初始相似度；
若所述初始相似度低于预设初始相似度阈值，从初始舌部图像中分别提取初始舌苔图像和初始舌质图像；
将所述初始舌苔图像输入到预设舌苔检测模型，得到舌苔状态，将所述初始舌质图像输入到预设舌质检测模型，得到舌质状态；
根据所述舌质状态和舌苔状态确定舌部关联信息，并确定若干个待选健康方案，所述待选健康方案包括建议食物及食用方法；
获取用户精神状态关联信息及预设时间段内若干张用户行为图像，并确定用户精神状态；
根据所述用户精神状态在所述待选健康方案中确定推荐健康方案。
2.如权利要求1所述的健康方案推荐方法，其特征在于，从初始舌部图像中提取初始舌苔图像的方式包括：
将所述初始舌部图像划分为若干个初始图像块；
分别获取各所述初始图像块中像素点的RGB值，并确定各所述初始图像块的像素点平均RGB值；
根据所述像素点平均RGB值和预设舌苔RGB值范围从各所述初始图像块中确定疑似舌苔图像块；
获取所述疑似舌苔图像块的图像块位置信息，并确定可信图像块，所述可信图像块包括与至少一个其他所述疑似舌苔图像块的距离小于预设距离阈值的所述疑似舌苔图像块；
将所述可信图像块进行拼接，得到所述初始舌苔图像。
3.如权利要求1所述的健康方案推荐方法，其特征在于，所述用户行为图像包括用户面部图像，用户精神状态关联信息包括信息内容和信息内容影响因子，所述用户精神状态的确定方式包括：
获取所述用户面部图像中目标面部关键点的关键点位置信息，所述目标面部关键点包括鼻尖关键点、嘴角关键点和眼角关键点；
分别获取各所述用户面部图像中所述眼角关键点与鼻尖关键点的第一距离，所述嘴角关键点与鼻尖关键点的第二距离，并分别确定若干个所述第一距离的第一平均值和第一中位数，分别确定若干个所述第二距离的第二平均值和第二中位数；
根据所述第一中位数、第一平均值、第二中位数和第二平均值确定第一精神状态得分；
根据所述信息内容和信息内容影像因子确定第二精神状态得分；
根据所述第一精神状态得分和第二精神状态得分确定用户精神状态。
4.如权利要求1所述的健康方案推荐方法，其特征在于，所述待选健康方案还包括实施难度、用时时长、所述建议食物的推荐食用季节和推荐食用天气，所述根据所述用户精神状态在所述待选健康方案中确定推荐健康方案包括：
获取初始时间、初始季节、初始天气状况及各所述待选健康方案的所述实施难度和用时时长；
根据所述初始季节、初始天气状况、推荐食用天气和推荐食用季节从各待选健康方案中确定若干个第一备选健康方案；
根据所述初始时间及用时时长从各所述第一备选健康方案中确定若干个第二备选健康方案；
根据所述用户精神状态和实施难度从各所述第二备选健康方案中确定推荐健康方案。
5.如权利要求1所述的健康方案推荐方法，其特征在于，所述根据所述用户精神状态在所述待选健康方案中确定推荐健康方案之后，所述方法还包括以下至少之一：
获取所述推荐健康方案中的建议食物及食用方法，根据所述食用方法确定所需辅助食材，并根据所述建议食物和辅助食材生成购买清单，获取到下单确认信息后，将所述购买清单发送至预设购物平台，生成订单；
将所述舌质状态、舌苔状态、用户精神状态关联信息、舌部关联信息和推荐健康方案发送给预设对象；
根据所述舌质状态、舌苔状态、用户精神状态关联信息和舌部关联信息确定用户健康状态，并提示。
6.如权利要求1-5任一项所述的健康方案推荐方法，其特征在于，所述根据所述用户精神状态在所述待选健康方案中确定推荐健康方案之后，所述方法还包括：
获取后续舌部图像，所述后续舌部图像的后续采集时间晚于所述初始舌部图像的初始采集时间；
将所述后续舌部图像与所述标准舌部图像进行比对，得到后续第一相似度；
若所述后续第一相似度低于所述预设初始相似度阈值，将所述后续舌部图像与所述初始舌部图像进行比对，得到后续第二相似度；
若所述后续第二相似度高于预设后续相似度阈值，获取所述后续采集时间与初始采集时间的历经时长；
若所述历经时长超过预设时间阈值，根据所述舌质状态、舌苔状态和舌部关联信息推荐适合的医生和/或药品。
7.如权利要求1-5任一项所述的健康方案推荐方法，其特征在于，所述获取用户的初始舌部图像，并将所述初始舌部图像与标准舌部图像进行比对，得到相似度之前，所述方法还包括：
获取用户的原始舌部图像，并识别得到所述原始舌部图像中的原始舌苔图像；
获取所述原始舌苔图像的色相；
若所述色相属于预设色相，则所述原始舌部图像合格，将所述原始舌部图像作为初始舌部图像；
若所述色相不属于预设色相，提示用户清洁舌部。
8.一种基于深度学习的健康方案推荐装置，其特征在于，所述装置包括：
图像获取模块，用于获取用户的初始舌部图像，并将所述初始舌部图像与标准舌部图像进行比对，得到初始相似度；
图像提取模块，用于若所述初始相似度低于预设初始相似度阈值，从初始舌部图像中分别提取初始舌苔图像和初始舌质图像；
检测模块，用于将所述初始舌苔图像输入到预设舌苔检测模型，得到舌苔状态，将所述初始舌质图像输入到预设舌质检测模型，得到舌质状态；
待选方案确定模块，用于根据所述舌质状态和舌苔状态确定舌部关联信息，并确定若干个待选健康方案，所述待选健康方案包括建议食物及食用方法；
精神状态确定模块，用于获取用户精神状态关联信息及预设时间段内若干张用户行为图像，并确定用户精神状态；
推荐模块，用于根据所述用户精神状态在所述待选健康方案中确定推荐健康方案。
9.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5任一项所述的方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
CN202111005735.XA 2021-08-30 2021-08-30 基于深度学习的健康方案推荐方法、装置、设备及介质 Pending CN113707305A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202111005735.XA CN113707305A (zh) 2021-08-30 2021-08-30 基于深度学习的健康方案推荐方法、装置、设备及介质
PCT/CN2022/087522 WO2023029500A1 (zh) 2021-08-30 2022-04-18 基于深度学习的健康方案推荐方法、装置、设备及介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111005735.XA CN113707305A (zh) 2021-08-30 2021-08-30 基于深度学习的健康方案推荐方法、装置、设备及介质

Publications (1)

Publication Number Publication Date
CN113707305A true CN113707305A (zh) 2021-11-26

Family

ID=78656901

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111005735.XA Pending CN113707305A (zh) 2021-08-30 2021-08-30 基于深度学习的健康方案推荐方法、装置、设备及介质

Country Status (2)

Country Link
CN (1) CN113707305A (zh)
WO (1) WO2023029500A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114400071A (zh) * 2022-01-19 2022-04-26 平安国际智慧城市科技股份有限公司 饮食数据管理方法、相关设备及介质
CN114596593A (zh) * 2022-05-10 2022-06-07 慧医谷中医药科技(天津)股份有限公司 一种基于图像处理的养生数据推荐方法及系统
WO2023029500A1 (zh) * 2021-08-30 2023-03-09 康键信息技术（深圳）有限公司 基于深度学习的健康方案推荐方法、装置、设备及介质
CN117911722A (zh) * 2024-03-19 2024-04-19 陕西中医药大学 基于人工智能的糖尿病人舌象特征提取方法
CN117911722B (zh) * 2024-03-19 2024-06-04 陕西中医药大学 基于人工智能的糖尿病人舌象特征提取方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116912260B (zh) * 2023-09-15 2023-11-28 沂水友邦养殖服务有限公司 基于人工智能的肉鸡养殖健康状态检测方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038413A (zh) * 2017-03-08 2017-08-11 合肥华凌股份有限公司 食谱推荐方法、装置及冰箱
CN109147935A (zh) * 2018-07-19 2019-01-04 山东和合信息科技有限公司 基于人体特征采集识别技术的健康数据平台
CN110675389A (zh) * 2019-09-27 2020-01-10 珠海格力电器股份有限公司 一种食品推荐方法、存储介质以及智能家居设备
CN112259240A (zh) * 2020-10-23 2021-01-22 武汉未康未病医学有限公司 一种舌诊寒热虚实数学模型
CN112464871A (zh) * 2020-12-08 2021-03-09 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的中医舌部图像处理方法及系统
CN112820370A (zh) * 2021-02-09 2021-05-18 清华大学 基于舌象信息的健康管理系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6467966B2 (ja) * 2015-02-13 2019-02-13 オムロン株式会社 健康管理補助装置及び健康管理補助方法
CN106557746A (zh) * 2016-11-14 2017-04-05 福建北极光虚拟视觉展示科技有限公司 一种基于图像识别技术的舌像检测方法及系统
CN113707305A (zh) * 2021-08-30 2021-11-26 康键信息技术（深圳）有限公司 基于深度学习的健康方案推荐方法、装置、设备及介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107038413A (zh) * 2017-03-08 2017-08-11 合肥华凌股份有限公司 食谱推荐方法、装置及冰箱
CN109147935A (zh) * 2018-07-19 2019-01-04 山东和合信息科技有限公司 基于人体特征采集识别技术的健康数据平台
CN110675389A (zh) * 2019-09-27 2020-01-10 珠海格力电器股份有限公司 一种食品推荐方法、存储介质以及智能家居设备
CN112259240A (zh) * 2020-10-23 2021-01-22 武汉未康未病医学有限公司 一种舌诊寒热虚实数学模型
CN112464871A (zh) * 2020-12-08 2021-03-09 天津职业技术师范大学(中国职业培训指导教师进修中心) 一种基于深度学习的中医舌部图像处理方法及系统
CN112820370A (zh) * 2021-02-09 2021-05-18 清华大学 基于舌象信息的健康管理系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023029500A1 (zh) * 2021-08-30 2023-03-09 康键信息技术（深圳）有限公司 基于深度学习的健康方案推荐方法、装置、设备及介质
CN114400071A (zh) * 2022-01-19 2022-04-26 平安国际智慧城市科技股份有限公司 饮食数据管理方法、相关设备及介质
CN114400071B (zh) * 2022-01-19 2024-05-14 平安国际智慧城市科技股份有限公司 饮食数据管理方法、相关设备及介质
CN114596593A (zh) * 2022-05-10 2022-06-07 慧医谷中医药科技(天津)股份有限公司 一种基于图像处理的养生数据推荐方法及系统
CN114596593B (zh) * 2022-05-10 2022-07-29 慧医谷中医药科技(天津)股份有限公司 一种基于图像处理的养生数据推荐方法及系统
CN117911722A (zh) * 2024-03-19 2024-04-19 陕西中医药大学 基于人工智能的糖尿病人舌象特征提取方法
CN117911722B (zh) * 2024-03-19 2024-06-04 陕西中医药大学 基于人工智能的糖尿病人舌象特征提取方法

Also Published As

Publication number Publication date
WO2023029500A1 (zh) 2023-03-09

Similar Documents

Publication Publication Date Title
CN113707305A (zh) 基于深度学习的健康方案推荐方法、装置、设备及介质
CN114502061A (zh) 使用深度学习的基于图像的自动皮肤诊断
US9760935B2 (en) Method, system and computer program product for generating recommendations for products and treatments
CN105069294B (zh) 一种用于认知能力值测试的计算和分析方法
KR20200116129A (ko) 개인화된 피부 관리 제품을 제형화하기 위한 시스템 및 방법
CN104303185B (zh) 用于营养物摄取量的用户特定调节的系统和方法
CN109310196B (zh) 化妆辅助装置以及化妆辅助方法
CN109903836A (zh) 一种基于体质和大数据的饮食智能推荐和匹配系统及方法
KR102377561B1 (ko) 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법
CN106650215A (zh) 一种基于云平台的肤质检测及个性化评价系统及方法
KR102308894B1 (ko) Ai에 기반한 개인 맞춤형 건강기능식품을 제공하는 방법 및 그 장치
CN109147935A (zh) 基于人体特征采集识别技术的健康数据平台
US20210197022A1 (en) Evaluation method, model establishing method, teaching device, system, and electrical apparatus
CN108133055A (zh) 智能服饰存储装置及基于其的存储、推荐方法与装置
TW201116257A (en) System and method for analysis of facial defects and computer program product
US20140240339A1 (en) Personal visualization of health conditions
CN109008963A (zh) 基于移动终端的智能舌诊系统及方法
WO2020169214A1 (en) Machine-implemented beauty assistant for predicting face aging
CN114612960A (zh) 一种通过面部图像进行中医健康管理的方法及装置
KR20170090057A (ko) 화장품 테스트 시스템 및 방법
US10878942B2 (en) Perpetual bioinformatics and virtual colorimeter expert system
WO2022034771A1 (ja) プログラム、方法、情報処理装置
CN110443122A (zh) 信息处理方法及相关产品
CN110458076A (zh) 一种基于计算机视觉的教学方法及系统
KR102634820B1 (ko) 생체 기반 운동관리 애플리케이션의 제어 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination