CN114334151A - 基于头部图像对人体健康状态进行评估的方法和装置 - Google Patents

Abstract

本申请公开了一种基于头部图像对人体健康状态进行评估的方法和装置，包括：确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像；分别提取红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据；并分别输入训练得到的红外面诊评估模型、可见光面诊评估模型以及舌诊评估模型，并输出针对目标人体对象的红外面诊结果、可见光面诊结果以及舌诊结果；基于目标人体对象针对问诊库中预设问题输入的答案确定问诊结果；将红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据；并输入训练得到的综合评估模型，输出四诊合参评估结果。从而，提升健康评估的准确性以及可靠性。

Description

基于头部图像对人体健康状态进行评估的方法和装置

技术领域

本文件涉及健康产品技术领域，尤其涉及一种基于头部图像对人体健康状态进行评估的方法和装置。

背景技术

随着医疗水平的提升，及时准确的掌握人体的健康状态一直是人类梦寐以求的目标。“望而知之谓之神”，中医可以通过面诊对人的五脏六腑、气血津液、中医体质等情况作出评估。

现有的诊断断算法比较陈旧，且特征分析方法单一。且从单一方面分析病人的证候，往往对判断结果的正确性有很大的影响，所以可信度不高。而且诊断仪器要么判断依据单一片面、要么诊断结果模糊含蓄。因此，比较难辅助医生更好的对人体健康状态作出客观、真实、理性的评估。

发明内容

本说明书一个或多个实施例的目的是提供一种基于头部图像对人体健康状态进行评估的方法和装置，以提升对人体对象的健康状态评估的准确性、真实性以及可靠性。

为解决上述技术问题，本说明书一个或多个实施例是这样实现的：

第一方面，提出了一种基于头部图像对人体健康状态进行评估的方法，包括：

确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像；

分别对所述目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像进行图像处理，提取红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据；

将所述红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据分别输入训练得到的红外面诊评估模型、可见光面诊评估模型以及舌诊评估模型，并输出针对所述目标人体对象的红外面诊结果、可见光面诊结果以及舌诊结果；

基于所述目标人体对象针对问诊库中预设问题输入的答案确定问诊结果；

将所述红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据；

将所述综合特征数据输入训练得到的综合评估模型，输出针对所述目标人体对象的四诊合参评估结果。

第二方面，提出了一种基于头部图像对人体健康状态进行评估的装置，包括：

确定模块，用于确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像；

提取模块，用于分别对所述目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像进行图像处理，提取红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据；

检测模块，用于将所述红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据分别输入训练得到的红外面诊评估模型、可见光面诊评估模型以及舌诊评估模型，并输出针对所述目标人体对象的红外面诊结果、可见光面诊结果以及舌诊结果；

问诊模块，用于基于所述目标人体对象针对问诊库中预设问题输入的答案确定问诊结果；

整合模块，用于将所述红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据；

合参评估模块，用于将所述综合特征数据输入训练得到的综合评估模型，输出针对所述目标人体对象的四诊合参评估结果。

第三方面，提出了一种电子设备，包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第一方面所述基于头部图像对人体健康状态进行评估的方法。

第四方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第一方面所述基于头部图像对人体健康状态进行评估的方法

由以上本说明书一个或多个实施例提供的技术方案可见，确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像；分别提取红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据；并分别输入训练得到的红外面诊评估模型、可见光面诊评估模型以及舌诊评估模型，并输出针对所述目标人体对象的红外面诊结果、可见光面诊结果以及舌诊结果；基于所述目标人体对象针对问诊库中预设问题输入的答案确定问诊结果；将所述红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据；将所述综合特征数据输入训练得到的综合评估模型，输出针对所述目标人体对象的四诊合参评估结果。从而，提升健康评估的准确性以及可靠性。

附图说明

为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对一个或多个实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书实施例提供的一种基于头部图像对人体健康状态进行评估的方法的步骤示意图。

图2a-2d是本说明书实施例提供的采集方法采集的红外图像样例示意图。图3是本说明书实施例提供的舌诊图像示意图。

图4是本说明书实施例提供的合参流程示意图。

图5是本说明书实施例提供的合参评估方案调用方法函数的流程示意图。

图6是本说明书实施例提供的一种基于头部图像对人体健康状态进行评估的装置的结构示意图。

图7是本说明书的一个实施例提供的电子设备的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的一个或多个实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。

实施例一

参照图1所示，为本说明书实施例提供的一种基于头部图像对人体健康状态进行评估的方法的步骤示意图，该方法可以包括以下步骤：

步骤102：确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像。

可选地，实时采集或从图像数据库中获取目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像。

具体地，实时采集目标人体对象的脸部正面和侧面的红外图像，作为目标红外面诊图像。采集研究对象的红外热成像图像，检测方法应符合医学红外热成像检测标准。由中医专家根据四诊信息做出的中医证候分型结果，对红外热成像图像进行标注，注明本图像所对应的中医证候诊断结果，体质分类。依据热力学理论：人体属于非平衡热力体系，健康人为阴平阳秘，即耗散结构，人体红外热图上表现为体表温度分布高低有序，进行面部分区识别，使用人工智能识别模型进行自主学习或深度学习，以实现红外各种特征的AI识别和精确计算，提取头面分区热值的热秩序，协助判断分型。本发明采图体位除正面、后面外，增加了侧面左位、侧面右位，立体全方位收集红外信息。从而，更加全面的采集面部数据，可以增加后续分析范围，保证分析准确性。详见图2a-图2d。

在本说明书实施例中，实时采集目标人体对象的目标红外面诊图像，具体可以包括：实时分别从多个角度采集目标人体对象的红外图像；分别对采集的多个红外图像通过深度学习神经网络算法进行头面部图像分割，得到每个红外图像的面部分区；将面部分区重叠的每个红外图像对应的区域的温度加和求平均得到该重叠区域对应的面部分区的第一温度；将所述多个红外图像分割得到的所有重叠面部分区的第二温度以及所有不重叠面部分区的第二温度投影到所述目标人体对象的三维头部图像模型上，得到所述目标人体对象的目标红外面诊图像；

其中，在通过深度学习神经网络算法进行头面部图像分割时，设计神经网络算法模型，选取UNet网络，应用先编码再解码结构形成像素级分割网络；进行数据清洗、数据筛选并进行数据标注，用标注好的数据对模型进行训练；利用训练好对模型对目标红外面诊图像、目标可见光面诊图像进行推理运算，得到头面部图像各个区域对分割结果。

举例说明，首先进行神经网络算法模型设计，选取UNet网络，应用先编码(下采样)，再解码(上采样)结构，即encoder-decoder结构，形成像素级分割网络，然后进行数据清洗、数据筛选并进行数据标注，用标注好的数据对模型进行训练，最后利用训练好对模型对红外图像数据进行推理运算，得到头面部红外图像各个区域对分割结果，这样形成了红外头面图像分割的神经网络算法模型。

从多个角度拍摄红外图像，此处以三个角度拍摄红外图像为例，得到三个角度头面部的红外图像，计作pic1，pic2，pic3，分布将三张红外图像利用上述红外头面图像分割的神经网络算法模型进行图像分割算法推理计算，得到每张图像的面部分区。得到每张图像的面部分区有重叠有不重叠，我们将不重叠区域的平均温度代表该区域的温度，如果多张图片中有重叠区域，则将多个重叠区域的平均温作为该区域的温度。例如在三张图片上左右脸颊和额头的分割结果分别为pic1:sec1_1,sec1_2,sec1_3；pic2:sec2_1,sec2_3；pic3:sec3_2,sec3_3，即pic1中有左右脸颊和额头，pic2中只有左脸颊和额头，pic3中只有右脸颊和额头，则左脸颊温度表示为sec1_1、sec2_1的平均温，右脸颊温度表示为sec1_2、sec3_2的平均温，额头温度表示为sec1_3、sec2_3、sec3_3的平均温，以此方法将面部每个区域的平均温找到。3D模型设计时预设了每个区域的固定位置，将上述得到的每个区域的平均温投影到3D模型中对应的区域上，则形成了每个区域有温度表示的3D模型。该3D模型即为该目标人体对象的目标红外面诊图像。可见本申请实施例中采用机器学习算法以及红外图像分割方法，实现了将多个二维红外图像转换为三维红外图像的效果，保证红外图像的数据完整性以及可靠性，提升后续合参评估准确性。

舌诊图像的采集与可见光面诊图像类似，参照图3所示采集样例。

步骤104：分别对所述目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像进行图像处理，提取红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据。

应理解，本说明书所涉及的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像进行图像处理时，均可以按照现有的图像处理算法和逻辑进行去噪、边缘化处理、高斯算法等进行预处理，得到所需图像。进一步，还可以基于计算机自动识别以及全息技术，将所述目标红外面诊图像、目标可见光面诊图像分别划分为预设功能区域。具体地：

1面部分区：面部的各个区域进行全息划分。

将人面部图像分成十三个区域：压力区、心脏区、肺区、胸(乳)区、肝区、胆区、肾区、膀胱区、脾区、胃区、小肠区、大肠区、生殖系统区。

2实现计算机对高清面图的自动区域划分。

沿面部最高点及眉毛最高点做两条横线，画出额头区域；做区域在高度上的中线，分为额头上半区和下半区，上半区为“1压力区”，下半区为“2肺区”的一部分。

沿两侧眼角外沿分别做与额头下边线的垂线，延眼睛最低点做与额头下边线平行的线(眼睛下边线)，眼角外沿线向外与额头下边线、眼睛下边线围城的区域，为“3肝区”的一部分。眼角外眼线以外、眼睛下边线一下的脸部为“13肾区”的一部分。

沿两眉毛最内沿分别做与额头下底线的垂线，沿眉毛最下沿做与两垂线的垂线，画出的区域为“2肺区”的一部分。

沿眼睛内沿做两条眉毛下底线的垂线，其与眉毛下底线，眼睛下底线围成的区域，为“4心脏区”

沿嘴巴最低点做横线，横线一下部分为“13肾区”的一部分。

沿鼻子最低点做横线，嘴巴外沿做垂线，嘴巴上沿做切线；鼻子下沿线、眼角外沿线与嘴巴下沿线围成区域，去除掉鼻子下沿线、两嘴角外沿线及嘴巴上眼线围成区域外剩余，为“12生殖系统区”

沿鼻子左右外沿做垂直于鼻子下沿线的线，将鼻子分成三份并取其中三分之一。中三分之一的边线向下延长与鼻子下沿线，嘴巴上沿线相交，围成区域为“13肾区”的一部分。两侧嘴巴外沿线，嘴巴上沿线和鼻子下沿线相交区域的剩余部分为“11膀胱区”

眼角下沿线，两侧鼻子外沿线和鼻子下沿线围成鼻子区域。将鼻子区域横向纵向分别分成三份，左右侧两个上三分之一区域为“5胸(乳)区”的一部分；中三分之一为“6胆区”，下三分之一为“8胃区”。中间区域上三分之二为“3肝区”的一部分，下三分之一为“7脾区”。

将由眼睛下沿线，两次鼻子外沿线，和鼻子下沿线围成区域作为脸部，去纵向中点画横线将脸部分成上下两份，两侧的上面部分为“9小肠区”，下面部分有嘴巴两侧外沿线各分成两份，两侧靠外的一份为“10大肠区”，靠内侧的一份未“5胸(乳)区”的一部分。

在分区后，可以根据面部分区所对应的脏腑区域，匹配斑、痣、痘、血丝等人脸特征识别信息，依据中医理论，对相关古籍及现代研究进行分析，挖掘以上人脸特征的数量、大小、形态等信息所反应的脏腑功能状态及病理状态。

其实，部分人脸特征信息对应相关中医病症，可进行直接的辅助判断，例如：

在肺区若检测到有痣存在，患咽喉炎、扁桃体炎等肺脏功能相关疾病风险增加；在心区检测到特征皱纹，患心脏功能类疾病风险增加；在肾区检测到血丝，或痘，或有斑，肾脏功能异常风险增加。依据人脸特征的不同权重及组合方式，计算脏腑功能状态指数，形成不同脏腑功能的组合，判断相关疾病的风险，例如：肝区识别“斑”(5，1，2)，“痣”(1，2，1)，“痘”(0，0，0)，脾区识别“斑”(0，0，0)，“痣”(0，0，0)，“痘”(1，1，1)，辅助面诊结果为“肝郁脾虚”，其中(5,1,2)中，第一个数字5表示该特征的个数，数字越大则表示该特征个数越多；第二个数字1表示该特征的大小，数字越大表示该特征面积越大；第三个数字2表示该特征的形状，特征的形状有圆形、散点状、椭圆形、片状等，分别用1,2,3,4表示。

应理解，本说明书实施例中，在对目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像进行分别识别时，以及在后续综合评估时，都可以采用机器学习算法，例如神经网络模型来实现人工智能识别检测。其中，人工神经网络是一种通过模仿人类脑结构来优化计算、判断过程从而实现当前计算机无法实现的功能的技术。该技术涉及的学科很广，包含生物、数学、计算机等。人的大脑皮层的基本运算单元是神经元，而人工神经网络也正是通过在数学上模拟神经元之间的连接(同时对单个神经元赋予相应的计算或者输入，例如激活函数)进而构成了一个庞大的系统。

神经网络CNN的详细的概述是，将图像传递给一系列卷积，非线性，汇聚(下采样)和完全连接的图层，并获得输出。输出可以是一个类或者一个最能描述图像的类的概率。CNN有不同的网络层结构(Convolutional、Pooling、Activation，skip connect)等，通过这些网络会提取同一张图的不同维度的特征。Convolutional层：卷积运算的目的是提取输入图像的不同维度特征，提取不同区域的关键点组合，生成更高维度的特征层。Pooling层：Pooling在整体网络里的作用是增大感受野、增加平移不变性、使网络优化简单，从而降低了网络的特征维度，压缩了数据和参数的数量，减小了过拟合，同时提高模型的容错性。Activation层：激活函数其中一个重要的作用是加入非线性因素的，将特征映射到高维的非线性区间进行解释，解决线性模型所不能解决的问题。skip connect层：使网络越深表达能力越强，性能更好。

步骤106：将所述红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据分别输入训练得到的红外面诊评估模型、可见光面诊评估模型以及舌诊评估模型，并输出针对所述目标人体对象的红外面诊结果、可见光面诊结果以及舌诊结果。

所述红外面诊评估模型通过以下方式训练得到：

获取第一样本数据集，并对所述第一样本数据集中每个样本数据进行图像预处理操作，其中，所述第一样本数据集包含多个人体对象的红外面诊图像，且每个红外面诊图像均标注有体质证候；将进行图像预处理操作之后的第一样本数据集划分为第一训练集、第一验证集和第一测试集；基于所述第一训练集中每个样本数据以及其中标注的体质证候，对所述待训练的神经网络模型中的参数进行调整，得到训练后的第一神经网络模型；分别基于所述第一验证集和所述第一测试集对训练后的第一神经网络模型进行处理后，确定出最优神经网络模型作为红外面诊评估模型；

所述可见光面诊评估模型通过以下方式训练得到：

获取第二样本数据集，并对所述第二样本数据集中每个样本数据进行图像预处理操作，其中，所述第二样本数据集包含多个人体对象的可见光面诊图像，且每个可见光面诊图像均标注有体质证候；将进行图像预处理操作之后的第二样本数据集划分为第二训练集、第二验证集和第二测试集；基于所述第二训练集中每个样本数据以及其中标注的病灶的位置，对所述第二待训练的神经网络模型中的参数进行调整，得到训练后的第二神经网络模型；分别基于所述第二验证集和所述第二测试集对训练后的第二神经网络模型进行处理后，确定出最优神经网络模型作为可见光面诊评估模型；

所述舌诊评估模型通过以下方式训练得到：

获取第三样本数据集，并对所述第三样本数据集中每个样本数据进行图像预处理操作，其中，所述第三样本数据集包含多个人体对象的舌诊图像，且每个舌诊图像均标注有体质证候；将进行图像预处理操作之后的第三样本数据集划分为第三训练集、第三验证集和第三测试集；基于所述第三训练集中每个样本数据以及其中标注的体质证候，对所述第三待训练的神经网络模型中的参数进行调整，得到训练后的第三神经网络模型；分别基于所述第三验证集和所述第三测试集对训练后的第三神经网络模型进行处理后，确定出最优神经网络模型作为舌诊评估模型。

具体地，将所述红外面诊图像特征数据输入所述红外面诊评估模型，得到对应该目标红外面诊图像的红外面诊结果，其中，所述红外面诊结果为能够反映目标人体对象气血方面体质证候的评估数据；

将所述可见光面诊图像特征数据输入所述可见光面诊评估模型，得到对应该目标可见光面诊图像的可见光面诊结果，其中，所述可见光面诊结果为能够反映目标人体对象病灶感染证候的评估数据；

将所述舌诊图像特征数据输入所述舌诊评估模型，得到对应该目标舌诊图像的舌诊结果，其中，所述舌诊结果为能够反映目标人体对象舌象证候的评估数据。

步骤108：基于所述目标人体对象针对问诊库中预设问题输入的答案确定问诊结果。

具体可以使用国家《中医体质分类与判定》作为体质分类的标准，使用基于以上标准的《中医体质量表》对受试者进行体质分类。基于中医辨证论治十问歌等进行问诊，系统建立问诊库辅助支持合参诊断。

步骤110：将所述红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据。

方式一，根据所述目标人体对象的属性类别，选择匹配的权重组，对得到的各个结果进行整合得到所述目标人体对象的综合评估结果，并从所述综合评估结果中提取综合特征数据。

方式二，将所述红外面诊结果、可见光面诊结果中证候不明显的数据剔除，合并剩余数据作为面诊结果；

将面诊结果、舌诊结果和问诊结果按照预设加权平均值进行整合，并提取综合特征数据。

其中，合参权重占比可以设置为：红外热成像面诊40％-80％、可见光面诊20％-50％、舌诊30-60％、问诊10％-50％。

步骤112：将所述综合特征数据输入训练得到的综合评估模型，输出针对所述目标人体对象的四诊合参评估结果。

其中，综合评估模型是基于综合样本数据集和神经网络模型训练得到，其中，所述综合样本数据集中每个综合样本数据均包含红外面诊数据、可见光面诊数据、舌诊数据以及问诊数据。

本发明中多诊合参系统包括但不仅限于对红外面诊、可见光面诊、可见光舌诊、问诊四种诊断结果进行合参，可以对任意数量、任意形式的诊断结果进行合参，例如可加入脉诊诊断结果、眼诊诊断结果等。本发明中多诊合参系统以对红外面诊、可见光面诊、可见光舌诊、问诊的计算机诊断结果进行合参。详见图4所示合参流程图，本发明中的多诊合参系统，对多种诊断结果的诊断效果进行评估，对不同诊断结果给予不同对权重值，对诊断效果相对较好的诊断给予较高对权重值，对诊断效果相对较差的诊断结果给予较低的权重值。对每种诊断结果乘以相应的权重值，进行相加整合后，最后得到合参后的最终输出。对于每种诊断，输出结果类型可能不同，例如红外面诊输出中医证候与中医体质，可见光面诊输出中医证候与中医体质，可见光舌诊输出中医证候，问诊输出中医体质与病症风险提示，每种诊断输出结果类型不尽相同，合参时对相同类型的输出进行合成，不同类型的输出不进行合参，以上述为例，由红外面诊、可见光面诊、可见光舌诊合参得到最终的中医证候，由红外面诊、可将光面诊、问诊合参输出最终的中医体质，由问诊输出病症风险提示。上述各诊断方法输出类型仅为示例，并不代表每种诊断真实输出类型。

在合参时所调用的函数方法及流程可以根据实际需求进行灵活设计，具体可参考图5所示合参评估方法的调用流程图。

通过上述技术方案，确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像；分别提取红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据；并分别输入训练得到的红外面诊评估模型、可见光面诊评估模型以及舌诊评估模型，并输出针对所述目标人体对象的红外面诊结果、可见光面诊结果以及舌诊结果；基于所述目标人体对象针对问诊库中预设问题输入的答案确定问诊结果；将所述红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据；将所述综合特征数据输入训练得到的综合评估模型，输出针对所述目标人体对象的四诊合参评估结果。从而，提升健康评估的准确性以及可靠性。

实施例二

参照图6所示，为本说明书实施例提供的基于头部图像对人体健康状态进行评估的装置，该装置可以包括：

确定模块601，用于确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像；

提取模块602，用于分别对所述目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像进行图像处理，提取红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据；

检测模块603，用于将所述红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据分别输入训练得到的红外面诊评估模型、可见光面诊评估模型以及舌诊评估模型，并输出针对所述目标人体对象的红外面诊结果、可见光面诊结果以及舌诊结果；

问诊模块604，用于基于所述目标人体对象针对问诊库中预设问题输入的答案确定问诊结果；

整合模块605，用于将所述红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据；

合参评估模块606，用于将所述综合特征数据输入训练得到的综合评估模型，输出针对所述目标人体对象的四诊合参评估结果。

应理解，上述模块只是按照方法步骤适应性设计出的对应每个方法步骤实现的虚拟模块；在实际实现时，还可以根据功能分类或其它划分依据，将上述评估装置划分为：例如，包括多维信息采集模块、深度学习模块和结果决断模块，其中，所述多维信息采集模块包括头面前后左右立体红外成像及热结构标识单元、头面前后左右可见光斑疹痘标识单元、舌体可见光单元和问神单元，每个多维信息采集单元包含患者的头面舌图像和思维功能数据采集，以及按照中医定位的图像区域数据提取排序。深度学习模块包括：将各个单元采集的数据输入到深度学习模块中各个对应的子空间进行分型和辨识，将计算获得的各个输出数据输入到结果决断模块进行综合分析获得最终诊断结果。结果决断模块将综合人体的红外热成像、可见光、舌像、问诊等多方面特征信息，综合判断和自动化诊断，实现中医健康评估自动化，辅助人群更准确更快速的判断出人的体质、状态、脏腑功能状态。在本说明书实施例中，上述模块划分与图6中模块划分并不冲突，只是按照不同的模块需求进行了拆分或合并。

实施例三

图7是本说明书的一个实施例电子设备的结构示意图。请参考图7，在硬件层面，该电子设备包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该电子设备还可能包括其他业务所需要的硬件。

处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图7中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。

存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。

处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成相应装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：

上述如本说明书图1所示实施例揭示的装置执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书一个或多个实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书一个或多个实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

该电子设备还可执行图1的方法，并实现相应装置在图1所示实施例的功能，本说明书实施例在此不再赘述。

当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。

实施例四

本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1所示实施例的方法，并具体用于执行以下方法：

总之，以上所述仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。

上述一个或多个实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

Claims (10)

1.一种基于头部图像对人体健康状态进行评估的方法，其特征在于，包括：

确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像；

分别对所述目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像进行图像处理，提取红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据；

将所述红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据分别输入训练得到的红外面诊评估模型、可见光面诊评估模型以及舌诊评估模型，并输出针对所述目标人体对象的红外面诊结果、可见光面诊结果以及舌诊结果；

基于所述目标人体对象针对问诊库中预设问题输入的答案确定问诊结果；

将所述红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据；

将所述综合特征数据输入训练得到的综合评估模型，输出针对所述目标人体对象的四诊合参评估结果。

2.如权利要求1所述的基于头部图像对人体健康状态进行评估的方法，其特征在于，确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像，具体包括：

实时采集或从图像数据库中获取目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像。

3.如权利要求1或2所述的基于头部图像对人体健康状态进行评估的方法，其特征在于，实时采集目标人体对象的目标红外面诊图像，具体包括：

实时分别从多个角度采集目标人体对象的红外图像；

分别对采集的多个红外图像通过深度学习神经网络算法进行头面部图像分割，得到每个红外图像的面部分区；

将面部分区重叠的每个红外图像对应的区域的温度加和求平均得到该重叠区域对应的面部分区的第一温度；

将所述多个红外图像分割得到的所有重叠面部分区的第二温度以及所有不重叠面部分区的第二温度投影到所述目标人体对象的三维头部图像模型上，得到所述目标人体对象的目标红外面诊图像；

其中，在通过深度学习神经网络算法进行头面部图像分割时，设计神经网络算法模型，选取UNet网络，应用先编码再解码结构形成像素级分割网络；进行数据清洗、数据筛选并进行数据标注，用标注好的数据对模型进行训练；利用训练好对模型对目标红外面诊图像、目标可见光面诊图像进行推理运算，得到头面部图像各个区域对分割结果。

4.如权利要求1或2所述的基于头部图像对人体健康状态进行评估的方法，其特征在于，在确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像之后，所述方法还包括：

基于计算机自动识别以及全息技术，将所述目标红外面诊图像、目标可见光面诊图像分别划分为预设功能区域。

5.如权利要求1或2所述的基于头部图像对人体健康状态进行评估的方法，其特征在于，所述红外面诊评估模型通过以下方式训练得到：

获取第一样本数据集，并对所述第一样本数据集中每个样本数据进行图像预处理操作，其中，所述第一样本数据集包含多个人体对象的红外面诊图像，且每个红外面诊图像均标注有体质证候；将进行图像预处理操作之后的第一样本数据集划分为第一训练集、第一验证集和第一测试集；基于所述第一训练集中每个样本数据以及其中标注的体质证候，对所述待训练的神经网络模型中的参数进行调整，得到训练后的第一神经网络模型；分别基于所述第一验证集和所述第一测试集对训练后的第一神经网络模型进行处理后，确定出最优神经网络模型作为红外面诊评估模型；

所述可见光面诊评估模型通过以下方式训练得到：

获取第二样本数据集，并对所述第二样本数据集中每个样本数据进行图像预处理操作，其中，所述第二样本数据集包含多个人体对象的可见光面诊图像，且每个可见光面诊图像均标注有体质证候；将进行图像预处理操作之后的第二样本数据集划分为第二训练集、第二验证集和第二测试集；基于所述第二训练集中每个样本数据以及其中标注的病灶的位置，对所述第二待训练的神经网络模型中的参数进行调整，得到训练后的第二神经网络模型；分别基于所述第二验证集和所述第二测试集对训练后的第二神经网络模型进行处理后，确定出最优神经网络模型作为可见光面诊评估模型；

所述舌诊评估模型通过以下方式训练得到：

获取第三样本数据集，并对所述第三样本数据集中每个样本数据进行图像预处理操作，其中，所述第三样本数据集包含多个人体对象的舌诊图像，且每个舌诊图像均标注有体质证候；将进行图像预处理操作之后的第三样本数据集划分为第三训练集、第三验证集和第三测试集；基于所述第三训练集中每个样本数据以及其中标注的体质证候，对所述第三待训练的神经网络模型中的参数进行调整，得到训练后的第三神经网络模型；分别基于所述第三验证集和所述第三测试集对训练后的第三神经网络模型进行处理后，确定出最优神经网络模型作为舌诊评估模型。

6.如权利要求5所述的基于头部图像对人体健康状态进行评估的方法，其特征在于，将所述红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据分别输入训练得到的红外面诊评估模型、可见光面诊评估模型以及舌诊评估模型，并输出针对所述目标人体对象的红外面诊结果、可见光面诊结果以及舌诊结果，具体包括：

将所述红外面诊图像特征数据输入所述红外面诊评估模型，得到对应该目标红外面诊图像的红外面诊结果，其中，所述红外面诊结果为能够反映目标人体对象气血方面体质证候的评估数据；

将所述可见光面诊图像特征数据输入所述可见光面诊评估模型，得到对应该目标可见光面诊图像的可见光面诊结果，其中，所述可见光面诊结果为能够反映目标人体对象病灶感染证候的评估数据；

将所述舌诊图像特征数据输入所述舌诊评估模型，得到对应该目标舌诊图像的舌诊结果，其中，所述舌诊结果为能够反映目标人体对象舌象证候的评估数据。

7.如权利要求1所述的基于头部图像对人体健康状态进行评估的方法，其特征在于，将所述红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据，具体包括：

根据所述目标人体对象的属性类别，选择匹配的权重组，对得到的各个结果进行整合得到所述目标人体对象的综合评估结果，并从所述综合评估结果中提取综合特征数据。

8.如权利要求1所述的基于头部图像对人体健康状态进行评估的方法，其特征在于，将所述红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据，具体包括：

将所述红外面诊结果、可见光面诊结果中证候不明显的数据剔除，合并剩余数据作为面诊结果；

将面诊结果、舌诊结果和问诊结果按照预设加权平均值进行整合，并提取综合特征数据。

9.如权利要求7或8所述的基于头部图像对人体健康状态进行评估的方法，其特征在于，综合评估模型是基于综合样本数据集和神经网络模型训练得到，其中，所述综合样本数据集中每个综合样本数据均包含红外面诊数据、可见光面诊数据、舌诊数据以及问诊数据。

10.一种基于头部图像对人体健康状态进行评估的装置，其特征在于，包括：

确定模块，用于确定目标人体对象在同一检测时期的目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像；

提取模块，用于分别对所述目标红外面诊图像、目标可见光面诊图像以及目标舌诊图像进行图像处理，提取红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据；

检测模块，用于将所述红外面诊图像特征数据、可见光面诊图像特征数据以及舌诊图像特征数据分别输入训练得到的红外面诊评估模型、可见光面诊评估模型以及舌诊评估模型，并输出针对所述目标人体对象的红外面诊结果、可见光面诊结果以及舌诊结果；

问诊模块，用于基于所述目标人体对象针对问诊库中预设问题输入的答案确定问诊结果；

整合模块，用于将所述红外面诊结果、可见光面诊结果、舌诊结果以及问诊结果进行整合并提取综合特征数据；

合参评估模块，用于将所述综合特征数据输入训练得到的综合评估模型，输出针对所述目标人体对象的四诊合参评估结果。

Images