CN114612960A

CN114612960A - 一种通过面部图像进行中医健康管理的方法及装置

Info

Publication number: CN114612960A
Application number: CN202210134882.5A
Authority: CN
Inventors: 万治; 邹逊; 张家齐; 李纹婷; 张瑞霞
Original assignee: Guilin University of Electronic Technology
Current assignee: Guilin University of Electronic Technology
Priority date: 2022-02-14
Filing date: 2022-02-14
Publication date: 2022-06-10

Abstract

本发明实施例提供一种通过面部图像进行中医健康管理的方法及装置，包括：通过摄像头获取当前用户的面部图像；通过面部图像识别出当前用户的身份；调取当前用户的标准健康状况数据；调取当前用户的历史健康状况数据；根据面部图像得到当前用户的当前痤疮数量数据以及当前诊断肤色；根据当前痤疮数量数据、当前诊断肤色、标准健康状况数据、以及历史健康状况数据，确定出针对当前用户的中医健康状况建议。通过该技术方案，可以通过采集用户面部图像，快速的对用户的健康状态和疲劳状态进行分析，并通过显示设备提醒用户注意。

Description

一种通过面部图像进行中医健康管理的方法及装置

技术领域

本发明涉及智家居技术领域，尤其涉及一种通过面部图像进行中医健康管理的方法及装置。

背景技术

随着人工智能、物联网技术的进步，智能家居在现代时尚家具的基础上，将电子智能、机械智能、物联智能等巧妙地融入到家居产品中，使家居变得智能化、人性化，能够给用户带来更便捷舒适的使用体验。现有技术中，智能镜子作为智能家居的一种，应用越来越广泛，功能越来越多，很多智能镜子已经配置了摄像头等图像采集装置，并可实现联网，以用于实现用户人脸识别、拍照、虚拟换装等展示效果，极大地满足了用户的使用需求。

人们在使用智能镜子的时候，可通过其观察自己的容貌，并自我判断精神状态和状态，还可以通过智能镜子获取面部图像，如拍照或录取视频等，来实现一些便利性功能和应用。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

在使用智能镜子的过程中，尽管用户能够对自我状态进行一个初步评估，但由于无法与之前自我状态进行比较，以及缺乏相应的健康知识，用户并不能较准确地获知自己的身体健康状态。因此，如何使用户在照镜子或采集面部图像的同时，能够较准确地获知自身健康状态，是需要解决的问题。

发明内容

本发明实施例提供一种通过面部图像进行中医健康管理的方法及装置，以解决现有技术中用户在照镜子或采集面部图像时无法准确获知自身健康状态的问题。

为达上述目的，一方面，本发明实施例提供一种通过面部图像进行中医健康管理的方法，包括：

采集当前用户的面部图像；

将所述面部图像与预存的多个标准用户图像进行匹配，识别出当前用户的身份；

调取当前用户的标准健康状况数据，所述标准健康状况数据，包括标准痤疮数量数据和标准诊断肤色；

调取当前用户的历史健康状况数据，所述历史健康状况数据，包括历史痤疮数量数据以及历史诊断肤色；

根据所述面部图像得到当前用户的当前痤疮数量数据以及当前诊断肤色；

根据所述当前痤疮数量数据、所述当前诊断肤色、所述标准健康状况数据、以及所述历史健康状况数据，确定出针对当前用户的中医健康状况建议；

将所述中医健康状况建议展示给当前用户。

另一方面，本发明实施例提供一种通过面部图像进行中医健康管理的装置，包括：

图像采集模块，用于采集当前用户的面部图像；

身份识别模块，用于将所述面部图像与预存的多个标准用户图像进行匹配，识别出当前用户的身份；

数据调用模块，用于调取当前用户的标准健康状况数据，所述标准健康状况数据，包括标准痤疮数量数据和标准诊断肤色；调取当前用户的历史健康状况数据，所述历史健康状况数据，包括历史痤疮数量数据以及历史诊断肤色；

第一图像分析模块，用于根据所述面部图像得到当前用户的当前痤疮数量数据以及当前诊断肤色；

健康状况分析模块，用于根据所述当前痤疮数量数据、所述当前诊断肤色、所述标准健康状况数据、以及所述历史健康状况数据，确定出针对当前用户的中医健康状况建议；

显示模块，用于将所述中医健康状况建议展示给当前用户。

上述技术方案具有如下有益效果：

采用本发明的技术方案后，在用户使用智能镜子进行梳妆打扮或采集面部图像时，可以通过对面部图像的分析，并与历史数据进行比对，获知当前用户的健康状态和疲劳状况，进而通过显示装置推送给用户，使用户能够随时了解自身状况。同时，本发明中，参考传承自中国传统中医中看病的望闻问切中的望的思想，将预置算法采用基于中医思想的辩证算法进行设计。在使用时，首先判断用户面部的痤疮数量、以及对各器官所对应的面部ROI区域肤色进行量化，进而得出脸部的整体诊断肤色，将痤疮数量和整体诊断肤色代入算法模型，即可快速确定出用户各内脏器官的健康状况以及整体健康状况，给出针对用户的健康状况建议，解决用户的健康问题。同时，根据预置算法，还可以在使用户及时了解当前健康状态的情况下，向用户推送相关的养生知识，为用户带来极大的便利。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种通过面部图像进行中医健康管理的方法的流程图；

图2是本发明实施例一种通过面部图像进行中医健康管理的装置的结构图；

图3是本发明一个具体实施例一种智能镜子的结构示意图；

图4是本发明一个具体实施例一种智能镜子的电路连接示意图；；

图5是本发明一个具体实施例一种智能镜子进行中医健康管理的工作流程图；

图6是本发明实施例中的中医健康状况建议算法模型的结构示意图；

图7是本发明实施例中的嘴唇部分颜色划分规则示意；

图8是本发明实施例中的脸颊部分颜色划分规则示意；

图9是本发明实施例中的鼻子部分颜色划分规则示意。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例提供通过面部图像进行中医健康管理的方法，包括：

S101、采集当前用户的面部图像；

S102、将所述面部图像与预存的多个标准用户图像进行匹配，识别出当前用户的身份；

S103、调取当前用户的标准健康状况数据，所述标准健康状况数据，包括标准痤疮数量数据和标准诊断肤色；

S104、调取当前用户的历史健康状况数据，所述历史健康状况数据，包括历史痤疮数量数据以及历史诊断肤色；

S105、根据所述面部图像得到当前用户的当前痤疮数量数据以及当前诊断肤色；

S106、根据所述当前痤疮数量数据、所述当前诊断肤色、所述标准健康状况数据、以及所述历史健康状况数据，确定出针对当前用户的中医健康状况建议；

S107、将所述中医健康状况建议展示给当前用户。

皮肤痤疮可以在一定程度上反映一个人的当前健康状况，其生成的原因包括局部细菌感染、营养不良、内分泌失调等，相应的，面部痤疮数量越多，则表示当前皮肤状况越差、相应的健康状况更需要进行关注；同时，一个人的肤色也反映出一个人的健康状态，对每一个面部分区可以提取到不同的图像，再采用预制算法进行计算，就可以确定出每个区域的诊断肤色，也就是对相应的内脏健康状况进行分析。因此，本申请中，通过检测用户的皮肤痤疮数量，同时检测并量化用户的肤色状况，将二者综合后，与当前用户的历史数据和基准数据进行对比，可以确认处用户当前的健康状况是否距正常状态有差距，并确定是否较之前有改善，以及，确定出用户当前哪个器官可能存在问题或不健康状况。

要实现这一目的，需要先通过摄像头等装置采集用户的图像，包括静态图片或视频资料，之后从中选定可以用于判断健康状况的用户正面图像，之后以选定的图像与数据库中存储的标准图像进行比对，判断该图像来自哪一个用户，以便从所有使用过该装置的使用者中选定判定出当前用户的身份，并调取该用户之前的历史相关资料(历史数据可以本地存储，也可以采用网络存储的方式)。随后，以此图像为基准，确定出用户当前的痤疮数量和诊断肤色，并与标准图像和历史数据进行比对，确定该用户当前是否有痤疮，痤疮数量较之前是否有变化，以及当前肤色是否正常，若不正常的话，判断较之前的肤色是否有改善。将这些结果通过预置算法进行综合分析，可以得出关于用户当前健康状况的建议，并通过现场设置的显示装置展示给用户，或通过APP等方式在用户的移动终端等设备上进行展示。

除了对健康状态进行显示外，还可以根据判断结果对用户当前健康状态进行量化打分，并设定一个报警阈值，若当前得分高于设定报警阈值，可以发出警示，以提起用户注意。

为了准确的对用户实时的健康状态进行判断，可以进行多次图像采集，并结合多次检测结果的加权作为结果，计算用户单位时间的健康状态。

进一步的，所述方法还包括：

S108、根据所述面部图像确定当前用户的当前眼部形态数据，所述眼部形态数据是指眼长与眼宽的比值，所述眼长是指眼睛左右角点间的水平距离，所述眼宽是指眼睛上下眼睑点间的竖直距离；

S109、调取当前用户的标准眼部形态数据；

S110、计算所述当前眼部形态数据与所述标准眼部形态数据的差值；

S111、若所述差值超过预设阈值时，发出警报；

S112、根据所述差值确定出针对当前用户的疲劳状态建议；

S113、将所述疲劳状态建议展示给当前用户。

当人在疲劳状态下，眼睛的形态会发生变化，会不自觉的发生“眯眼”的动作，从而使眼睛左右角点间距离变长、同时使眼睛上下眼睑间距变小，即眼长与眼宽的比值变大。因此，除了前述健康状况所包含的痤疮数量和肤色状况外，本申请还通过对当前图像的分析，确定出人眼的长宽比，并且通过与用户预存的标准图像中(即正常状态下)的长宽比进行比较，来判断当前用户是否为疲劳状态。当这种长宽比的变化超过设定阈值时，即可认定当前用户处于疲劳状态，并及时地以声音、图像等警告方式通知用户。若用户处于非疲劳状态，也可通过显示装置告知用户。

为了准确的对用户实时的眼睛长宽比进行疲劳的非疲劳的两种状态的划分，可以进行多次图像采集，并结合多次检测结果的加权作为结果，计算用户单位时间的精神状态。

进一步的，在所述步骤S101之前，还包括：

S001、根据每个用户标准图像，确定相应用户的标准痤疮数量数据和标准诊断肤色；

S002、根据每个用户标准图像，确定相应用户的标准眼部形态数据；

在所述S102之前，还包括：

S1011、判断是否存在与所述面部图像相匹配的标准用户图像；

S1012、若不存在，则采集并存储当前用户的标准用户图像。

在新用户第一次使用时，由于没有基准数据，无法判别用户的身份，也就无法调出该用户的历史记录，因此先要根据提示录入标准用户图像，并以此图像的相关信息数据作为后续的比较基准(眼部形态数据的基准也是采用该标准用户图像来确定)。根据实际需要，可以将第一次采集的标准图像存在本地存储装置中，以便于后续操作时快速进行身份识别；同时可以将后续的采集图像和相关历史数据，存放于云端数据库，以节省本地存储器的空间占用。

进一步的，所述步骤S105还包括：

S1051、将所述面部图像输入到预先训练好的第一深度学习模型，从所述面部图像中识别出痤疮数量，并以所述识别出的痤疮数量作为当前痤疮数量数据；

S1052、将所述面部图像按预设划分规则划分为五个ROI区域，所述五个ROI区域分别为左脸颊ROI区域、右脸颊ROI区域、鼻子ROI区域、嘴唇ROI区域以及下巴ROI区域；

S1053、将所述面部图像输入到第二深度学习模型，确定出面部整体诊断肤色；

S1054、将左脸颊ROI区域的图像和右脸颊ROI区域的图像输入到第三深度学习模型，确定出脸颊ROI区域诊断肤色；

S1055、将鼻子ROI区域的图像输入到第四深度学习模型，确定出鼻子ROI区域诊断肤色；

S1056、将下巴ROI区域的图像输入到第五深度学习模型，确定出下巴ROI区域诊断肤色；

S1057、将嘴唇ROI区域的图像输入到第六深度学习模型，确定出嘴唇ROI区域诊断肤色；

S1058、根据预设的面部整体权重以及各ROI区域的权重，对所述面部整体诊断肤色、所述脸颊ROI区域诊断肤色、所述鼻子ROI区域诊断肤色、所述下巴ROI区域诊断肤色以及所述嘴唇ROI区域诊断肤色进行加权计算，并以加权计算的结果作为当前诊断肤色

对于识别痤疮和确定出诊断肤色，可以采用机器学习的方式来进行，通过预先构造深化学习模型并通过足够数量的数据样本的训练，使之能够准确识别目标。

根据中医的辨证思想，面部的每个分区的肤色可以反映不同的身体内脏的情况，例如，左、右脸颊对应于人的肠胃、鼻子对应于人的脾脏、下巴区域对应于人的肾脏；所以，对每一个面部ROI分区可以提取到不同的图像，再采用预制算法进行计算，就可以确定出每个ROI区域的诊断肤色，也就是对不同内脏进行分析。在采用算法模型进行计算的过程中，诊断肤色的确定规则是预先设计好的，例如本申请中，根据中医理论，可将脸颊、鼻子、下巴的诊断肤色分为青、黄、白、赤、黑五种，并将每种再分为亮色和暗色两级，即形成了亮青、亮白、暗赤等十个等级，将每个等级可以做一个量化打分，例如从0到9。根据每个区域的分值，即可判定当前ROI区域所对应的器官的健康状况，例如是否存在湿、热、血瘀、不和等症候。而嘴唇区域的诊断肤色可分为白，赤，青紫三色，并将每种再分为亮色和暗色两级。具体的嘴唇部分、脸颊(面)部分、鼻子部分的颜色划分可分别参照附图7、附图8和附图9。

需要强调的是：这只是中医辩证算法的部分而非全部，其中“主”代表该种颜色特征所主要代表的情况，其他的为该颜色特征代表的其他可能情况，需要注意的是这里所说的情况只是作为一种参数带入后续的辩证算法，而非诊断结果，具体的诊断的结果应由面色和其他各个ROI的所有情况并结合以往数据带入算法才可得出。

在应用时，将面部整体诊断肤色、各个ROI区域的诊断肤色分别代入到各自对应的算法模型中(其中，左右脸颊ROI区域的图像输入到一个共同的算法模型)，即可得到各模型对于输入的一个颜色的分类(即对应于上述十种肤色)。之后，结合中医辨证理论，对各个ROI区域及面部整体赋予特定的权重值，然后对各个ROI区域的诊断肤色和面部整体诊断肤色进行加权计算，即可得到当前诊断肤色，作为后续判断整体健康状况的输入值。

进一步的，所述步骤S106包括：

S1061、将所述当前痤疮数量数据、所述当前诊断肤色、所述标准健康状况数据及所述历史健康状况数据输入到中医健康状况建议算法模型，生成多个备选中医健康状况建议；

S1062、从所述多个备选中医健康状况建议中确定出相对权重最大的中医健康状况建议，作为针对当前用户的中医健康状况建议。

通过预制的结合中医辨证思维的算法模型，可以将当前检测得到的痤疮数量和量化的诊断肤色与基准数据和历史数据进行对比，可以确定当前用户健康状况的变化趋势，例如痤疮数量增加了还是减少了、整体面部诊断肤色是更健康了还是更需要关注了，各个ROI区域所对应的内脏是否存在健康问题等等，同时通过对这些变化趋势进行分析，可以得出针对当前用户的中医方面的健康建议。

在本申请中，参考传承自中国传统中医中看病的望闻问切中的望的思想，采用基于中医思想的辩证算法进行设计。在使用时，首先判断用户面部的痤疮数量、以及对各器官所对应的面部ROI区域肤色进行量化，进而得出脸部的整体诊断肤色，将痤疮数量和整体诊断肤色代入算法模型，即可快速确定出用户各内脏器官的健康状况以及整体健康状况，给出多个针对用户的中医健康状况建议，之后再根据计算，从多条健康状况建议中选取最优的建议显示给用户。

在生成健康建议前，先订立全面评价一位用户的几条准则，包括面色(诊断肤色)、脸部痤疮情况、用户历史数据等，并且确定各准则在给出中医合理化建议这个总目标中所占的权重，然后按照每一个准则对每位用户进行比较和判别，最后将准则的权重与比较、判别的结果加以综合，得到每个方案的最终排序，作为系统给出用户的建议。其中，所述中医健康状况建议算法模型的结构如图6所示，算法模型可自上而下地分为目标、准则、方案3个层次。

应用该算法模型进行求解的过程如下：确定以上3个准则脸部痤疮数量X₁、诊断肤色X₂、用户历史数据X₃对目标(基于中医学和保健建议)的权重时，需将X₁、X₂、X₃两两进行比较，按1-9尺度写出准则层对目标层的两两比较矩阵假设为：

其中，1-9尺度如下表：

表1、各标度的含义列表

基于矩阵A求出A的最大特征根λ_max(使用特征根法求出)。求出最大特征根λ_max后，可求相应的特征向量，接着通过一致性检验判断此特征向量能不能作为准则层对目标层的比较矩阵，具体做法如下：

1)、一致性指标：

2)、随机一致性指标RI，通常由实际经验给定，见下表；

表2、RI的取值表

3)、随机一致性比率：

当CR<0.1时，认为判定矩阵的一致性是可以接受的。

则λ_max对应的特征向量w_i可以作为排序的权重向量。

通过一致性检验后，将特征向量对应的特征值进行归一化，得到准则层对目标层的权重向量w1。假设w1＝(0.141,0.530,0.329)，即可说明诊断肤色最重要，其次为历史数据最后为面部痤疮情况。

之后，综合权重向量及排序结果：

用两两比较矩阵得到第2层3个准则对第1层目标的权重w之后，用同样的方法确定第3层n个方案(基于中医的不同保健方案)对第二层每一准则的权重。同样计算出每一个矩阵Bi(i＝1,2,3,....,n)的特征根并进行一致性检验，最终确定对第二层的权重向量w2。

最终将每一个矩阵Bi得到的权重向量的每一个指标与w1对应的相乘再求和，即可得到方案n对目标的权重。最后再从方案中选出权重最大的即为最佳方案(即针对当前用户的中医健康状况建议)并反馈给用户。

如图2所示，本发明实施例提供一种通过面部图像进行中医健康管理的装置，包括：

图像采集模块21，用于获取当前用户的面部图像；

身份识别模块22，用于将所述面部图像与预存的多个标准用户图像进行匹配，识别出当前用户的身份；

数据调用模块23，用于调取当前用户的标准健康状况数据，所述标准健康状况数据，包括标准痤疮数量数据和标准诊断肤色；调取当前用户的历史健康状况数据，所述历史健康状况数据，包括历史痤疮数量数据以及历史诊断肤色；

第一图像分析模块24，用于根据所述面部图像得到当前用户的当前痤疮数量数据以及当前诊断肤色；

健康状况分析模块25，用于根据所述当前痤疮数量数据、所述当前诊断肤色、所述标准健康状况数据、以及所述历史健康状况数据，确定出针对当前用户的中医健康状况建议；

显示模块26，用于将所述中医健康状况建议展示给当前用户。

进一步的，所述装置还包括：

第二图像分析模块27，用于根据所述面部图像确定当前用户的当前眼部形态数据，所述眼部形态数据是指眼长与眼宽的比值，所述眼长是指眼睛左右角点间的水平距离，所述眼宽是指眼睛上下眼睑点间的竖直距离；

疲劳状态报警模块28，用于计算所述当前眼部形态数据与所述标准眼部形态数据的差值；若所述差值超过预设阈值时，发出警报；

疲劳状况分析模块29，用于根据所述差值确定出针对当前用户的疲劳状态建议；

所述数据调用模块23还用于，调取当前用户的标准眼部形态数据；

所述显示模块26还用于，将所述疲劳状态建议展示给当前用户。

进一步的，所述装置还包括：

标准数据创建模块11，用于根据每个用户标准图像，确定相应用户的标准痤疮数量数据和标准诊断肤色；根据每个用户标准图像，确定相应用户的标准眼部形态数据；

用户创建模块12，用于判断是否存在与所述面部图像相匹配的标准用户图像；若不存在，则采集并存储当前用户的标准用户图像。

进一步的，所述第一图像分析模块24具体用于：将所述面部图像输入到预先训练好的第一深度学习模型，从所述面部图像中识别出痤疮数量，并以所述识别出的痤疮数量作为当前痤疮数量数据；将所述面部图像按预设划分规则划分为五个ROI区域，所述五个ROI区域分别为左脸颊ROI区域、右脸颊ROI区域、鼻子ROI区域、嘴唇ROI区域以及下巴ROI区域；将所述面部图像输入到第二深度学习模型，确定出面部整体诊断肤色；将左脸颊ROI区域的图像和右脸颊ROI区域的图像输入到第三深度学习模型，确定出脸颊ROI区域诊断肤色；将鼻子ROI区域的图像输入到第四深度学习模型，确定出鼻子ROI区域诊断肤色；将下巴ROI区域的图像输入到第五深度学习模型，确定出下巴ROI区域诊断肤色；将嘴唇ROI区域的图像输入到第六深度学习模型，确定出嘴唇ROI区域诊断肤色；根据预设的面部整体权重以及各ROI区域的权重，对所述面部整体诊断肤色、所述脸颊ROI区域诊断肤色、所述鼻子ROI区域诊断肤色、所述下巴ROI区域诊断肤色以及所述嘴唇ROI区域诊断肤色进行加权计算，并以加权计算的结果作为当前诊断肤色。

进一步的，所述健康状况分析模块25具体用于：将所述当前痤疮数量数据、所述当前诊断肤色、所述标准健康状况数据及所述历史健康状况数据输入到中医健康状况建议算法模型，生成多个备选中医健康状况建议；从所述多个备选中医健康状况建议中确定出相对权重最大的中医健康状况建议，作为针对当前用户的中医健康状况建议。

下面结合具体的应用实例对本发明实施例上述技术方案进行详细说明，实施过程中没有介绍到的技术细节，可以参考前文的相关描述。

如图3、图4所示，为发明一种通过面部图像进行中医健康管理的方法及装置的具体实施例，该具体实施例为一个智能镜子。在此要说明的是，搭载在智能镜子上的具体实施例只是该通过面部图像进行中医健康管理的方法及装置的一种实施例，通过面部图像进行中医健康管理的装置也可以独立于智能镜子之外而以其他形式单独存在。

图3、图4所示的智能镜子由多个单元或组件组成，包括镜框2、连接在镜框2内侧的原子镜1、设置于所述镜框2的上部的摄像头3(图形采集模块)，以及原子镜1上设置的显示屏4(即显示模块)、原子镜1上设置的触屏式的按键开关6(也可以在镜框侧方设置机械式按键开关)，在镜框上还设置有温度传感器31、湿度传感器32、亮度传感器33、发光组件28、以及接口单元34；在镜框内部，设置有电源21、处理器22、存储单元23、散热器24和蜂鸣器25、语音采集单元26、网络通讯单元27。作为数据处理和计算的核心部件，处理器22中又包括了视觉分析单元、身份识别模块、数据调用模块、第一图像分析模块、健康状况分析模块、第二图像分析模块、疲劳状态报警模块、疲劳状况分析模块、标准数据创建模块和用户创建模块等。在镜框2上还设置有摄像头挡板8，所述摄像头挡板8活动连接于所述镜框2；所述摄像头挡板8在闭合状态时能完全遮住所述摄像头3，以实现在用户无需调用摄像头3时，对摄像头3进行物理遮挡，从而避免用户隐私的意外泄露。

所述处理器22分别与其他电气部件电连接，显示屏4通过HDMI线连接到处理器22的视频信号输出端，显示屏4通过处理器22的USB接口进行供电；温度传感器31、湿度传感器32以及亮度传感器33分别通过GPIO接口连接到处理器22的信号输入端；摄像头3通过USB接口连接到处理器22的信号输入端；按键开关6通过GPIO接口连接到处理器22的信号输入端。该具体实施例中，处理器22采用Jetson Nano模块，电源21用于为处理器22提供DC12V或DC24V电压。存储单元23可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器，此外，存储单元23可进一步包括相对于处理器22远程设置的存储器，这些远程存储器可以通过网络连接至计算机终端。为了开启智能镜子，本具体实例在原子镜1上设置了触屏式的按键开关6，当其开启后会唤醒智能镜子并启动相关的检测程序，并且，触屏按键6的数量可以为多个，可以用来实现除智能镜子开关外的其他功能或设置。散热器24用于为处理器22及其他模块散热，解决设备长时间运行带来的温度上升所导致的设备的性能下降和设备容易损坏等问题，以保证其运行安全，该实施例中，散热器24选用jetson nano PWM调速散热风扇。当散热器24故障或处理器22等超温时，处理器22会向蜂鸣器25给出信号，使蜂鸣器25报警，以提醒用户注意。语音采集单元26用于采集用户的语音指令，从而根据语音指令执行相应的动作。网络通讯单元27可包括有线网络通讯单元和无线网络通讯单元，它们经由一个网络接收或者发送数据。对于无线网络模块来说，在一个实施例中，无线网络模块包括一个网络适配器(NetworkInterface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。无线网络模块还可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。发光组件28可设置于镜框2的左右两侧或其他位置，其根据亮度传感器33实时检测到的周围环境的光度来实时的调节所处环境的光度。

本具体实施例的智能镜子，可按前述的通过面部图像进行中医健康管理的方法，来通过摄像头3采集镜子前的当前用户的面部图像，之后通过处理器22进行相关的数据分析和计算，对图像中的肤色、痤疮数量、眼睛状态等进行关键数据提取，同时结合数据库中存储的历史数据和标准数据，根据预制算法进行分析，得出针对用户当前健康状态的建议和疲劳状态分析，并显示于显示屏4上，如图5所示，其典型的工作流程为：

步骤一，用户使用语音识别单元26或者按键开关6唤醒镜子的程序。

步骤二，接收摄像头3采集的目标对象的面部图像；其中，所述目标对象位于所述图像采集装置(摄像头3)的检测区域；

步骤三，对第一步的采集到的图像进行基于特征的人脸分析，与本地的图片数据(即预存的用户标准图像)进行特征对比，实现人脸识别的功能，并将识别的结果返回并保存在程序中。

步骤四，对第一步的采集到的图像进行基于深度学习算法的痤疮检测，并对所检测到的痤疮数量进行统计(通过多次检测然后将每次检测到的结果与合理范围的成功次数进行加权，得到最后一个检测到的数量的结果)即为痤疮的数量，显示在显示器(显示屏4)上，并且给出建议

步骤五，对第一步的采集的图像进行基于不同部位的分割，分割出不同的感兴趣区域(ROI)，将每个ROI返回并且保存。

步骤六，对于第五步的分割出的各个不同的ROI区域采用基于深度学习算法(使用不同的数据集训练出来的模型)进行对应的人脸肤色的识别，得到各个ROI区域所代表的值，返回并且保存。

步骤七，对于第三步所采集到的人脸所对应的身份，通过网络连接到对应用户的云端数据库，将云端数据库的各个参数指标(即历史健康状况数据)读取出来。

步骤八，对于第四步和第六步得到的数据，将他们进行汇总，并且使用基于中医思想的辩证算法，结合步骤七中所读取到的历史数据，进行整体的健康分析，并且将分析结果返回并且保存，显示在显示器上，并且给出建议。

步骤九，将第一步采集的图像进行基于特征分析的人眼的长宽比的计算，并通过预存的用户标准图像得到标准眼部形态数据值。对用户实时的眼睛长宽比进行疲劳的非疲劳的两种状态的划分，并结合多次检测结果的加权作为结果，计算用户单位时间的精神状态，对用户所处的精神状态进行判断。

步骤十，将第九步的检测结果显示在显示器上，如果用户的健康状态或者精神状态发生了较大的改变，超过设定阈值，则发出相关的警报和建议。

步骤十一，用户可以通过按键开关6或者语音识别单元26，实现是否将本次的检测结果数据上传到云端的用户个人数据库中，使得数据库更新。

步骤十二，数据库更新的同时，手机端的内容也实现了更新，并且实时地更新用户的个人健康，皮肤状况和精神状态的分析，同时给出相应的分析。

由于该智能镜子可以多人使用，因此该系统使用的基于人脸特征识别的匹配用户系统，需要在使用初期为用户分别录入人脸特征，并且为用户建立本地和云端的数据库，该过程的流程如下：

步骤1，用户使用语音识别单元或者按键开关唤醒智能镜子的程序。

步骤2，接收镜子发送的目标对象的面部图像；其中，所述目标对象位于所述图采集装置的检测区域，所述面部图像通过所述镜子上设置的图像采集装置采集到。

步骤3，用户使用语音指令或者按键指令操作是否将该条检测数据录入用户。

步骤4，将采集到的图像按照特定的顺序编号命名保存在本地。

步骤5，连接云端数据库，为用户创建个人的用户数据库用来保存后续的检测数据，同时步骤4保存的图像中的特征数据保存到数据库中作为用户基础数据。

此外，该实施例的智能镜子还可以实现对用户的整体形象打分、形象推荐、为用户提供虚拟穿衣功能，并且可以与各个网络商城实现互联实现实时购物加试衣功能。其过程如下：

步骤一，用户使用语音识别单元或按键开关唤醒镜子的程序；

步骤二，智能镜子对用户的面部和身体特征进行图像采集，自动提取用户的面部状态和身体特征，主要是检测面部的肤色。用户可选择容貌打分，虚拟穿衣，相似风格推荐和网上购物系统等不同功能；

步骤三，语音识别单元提醒用户选择相关功能，用户也可以使用语音识别单元或按键进行反馈；

步骤四，根据步骤二采集到的图像进行容貌打分，通过算法对人脸进行分割采集并分析用户数据，与产品的大数据库和用户存储数据进行对比分析，得出用户妆容的分数和用户在某个时间周期内面部皮肤变化情况的分析比对，以及给出相应各类妆容的推荐。智能镜子通过算法进行分析、采集数据，将结果与大数据库进行比对，让用户更好了解自身最近的状态；

步骤五，根据步骤四选取不同妆容，进行数据对比，可提供简单的护肤方式和面部活动，也可提供合适用户的并且不同种类的妆容建议，用户可以选择喜欢的类型，并且有教程耐心指导，让用户实现轻松上妆，在保持皮肤状态的同时也能追求美丽；

步骤六，根据步骤二采集到的图像进虚拟试衣，智能镜子会与本地数据库进行互联，用户可在镜子的显示装置中挑选以下载提供的衣物配饰等等，进行可视化穿戴效果体验。可以对用户衣着进行实时显示和打分并给出合理建议的内容确定系统，选择衣着实时显示功能，开始进行衣着效果分析显示。系统通过图像采集装置对用户挑选的衣着或用户本身的衣着进行具体数据采集分析；

步骤七，根据步骤二通过用户信息数据的反馈，给出相似风格推荐，系统通过相应算法对用户的衣着进行分析并针对其搭配进行打分，得到整体效果的呈现。系统通过数据采集装置采集到的数据进行用户衣着和妆容的实时显示，用户可得到一个最优的呈现效果；

步骤八，可进入网上购物系统，智能镜子还会根据用户的皮肤和身体特征进行产品智能推荐，推荐一些适于用户皮肤状态的美肤护肤的产品、化妆视频和适于用户身材的不同类型的服装，同时用户可以根据视频教学改变妆容以及护肤方法，还可以直接选择护肤化妆产品和服装配饰等等进行即时购买。并可以通过三维试穿，直接观察到衣服上身效果，用户可以了解是否符合自己的身高和体型，以及对衣服上身效果的评价，多次评分后得到适于用户的不同衣物不同尺寸的数据，让用户可以找到最适合自己的衣物。

在上述的详细描述中，各种特征一起组合在单个的实施方案中，以简化本公开。不应该将这种公开方法解释为反映了这样的意图，即，所要求保护的主题的实施方案需要比清楚地在每个权利要求中所陈述的特征更多的特征。相反，如所附的权利要求书所反映的那样，本发明处于比所公开的单个实施方案的全部特征少的状态。因此，所附的权利要求书特此清楚地被并入详细描述中，其中每项权利要求独自作为本发明单独的优选实施方案。

为使本领域内的任何技术人员能够实现或者使用本发明，上面对所公开实施例进行了描述。对于本领域技术人员来说；这些实施例的各种修改方式都是显而易见的，并且本文定义的一般原理也可以在不脱离本公开的精神和保护范围的基础上适用于其它实施例。因此，本公开并不限于本文给出的实施例，而是与本申请公开的原理和新颖性特征的最广范围相一致。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种通过面部图像进行中医健康管理的方法，其特征在于，包括：

采集当前用户的面部图像；

将所述中医健康状况建议展示给当前用户。

2.如权利要求1所述的通过面部图像进行中医健康管理的方法，其特征在于，还包括：

根据所述面部图像确定当前用户的当前眼部形态数据，所述眼部形态数据是指眼长与眼宽的比值，所述眼长是指眼睛左右角点间的水平距离，所述眼宽是指眼睛上下眼睑点间的竖直距离；

调取当前用户的标准眼部形态数据；

计算所述当前眼部形态数据与所述标准眼部形态数据的差值；

若所述差值超过预设阈值时，发出警报；

根据所述差值确定出针对当前用户的疲劳状态建议；

将所述疲劳状态建议展示给当前用户。

3.如权利要求1所述的通过面部图像进行中医健康管理的方法，其特征在于，在所述通过摄像头获取用户的面部图像之前，还包括：

根据每个用户标准图像，确定相应用户的标准痤疮数量数据和标准诊断肤色；

根据每个用户标准图像，确定相应用户的标准眼部形态数据；

在将所述面部图像与预存的多个标准用户图像进行匹配之前，还包括：

判断是否存在与所述面部图像相匹配的标准用户图像；

若不存在，则采集并存储当前用户的标准用户图像。

4.如权利要求1所述的通过面部图像进行中医健康管理的方法，其特征在于，所述根据所述面部图像得到当前用户的当前痤疮数量数据以及当前诊断肤色，包括：

将所述面部图像输入到预先训练好的第一深度学习模型，从所述面部图像中识别出痤疮数量，并以所述识别出的痤疮数量作为当前痤疮数量数据；

将所述面部图像划分为五个ROI区域，所述五个ROI区域分别为左脸颊ROI区域、右脸颊ROI区域、鼻子ROI区域、嘴唇ROI区域以及下巴ROI区域；

将所述面部图像输入到第二深度学习模型，确定出面部整体诊断肤色；

将左脸颊ROI区域的图像和右脸颊ROI区域的图像输入到第三深度学习模型，确定出脸颊ROI区域诊断肤色；

将鼻子ROI区域的图像输入到第四深度学习模型，确定出鼻子ROI区域诊断肤色；

将下巴ROI区域的图像输入到第五深度学习模型，确定出下巴ROI区域诊断肤色；

将嘴唇ROI区域的图像输入到第六深度学习模型，确定出嘴唇ROI区域诊断肤色；

根据预设的面部整体权重以及各ROI区域的权重，对所述面部整体诊断肤色、所述脸颊ROI区域诊断肤色、所述鼻子ROI区域诊断肤色、所述下巴ROI区域诊断肤色以及所述嘴唇ROI区域诊断肤色进行加权计算，并以加权计算的结果作为当前诊断肤色。

5.如权利要求4所述的通过面部图像进行中医健康管理的方法，其特征在于，所述根据所述当前痤疮数量数据、所述当前诊断肤色、所述标准健康状况数据、以及所述历史健康状况数据，确定出针对当前用户的中医健康状况建议，包括：

将所述当前痤疮数量数据、所述当前诊断肤色、所述标准健康状况数据及所述历史健康状况数据输入到中医健康状况建议算法模型，生成多个备选中医健康状况建议；

从所述多个备选中医健康状况建议中确定出相对权重最大的中医健康状况建议，作为针对当前用户的中医健康状况建议。

6.一种通过面部图像进行中医健康管理的装置，其特征在于，包括：

图像采集模块，用于采集当前用户的面部图像；

显示模块，用于将所述中医健康状况建议展示给当前用户。

7.如权利要求6所述的通过面部图像进行中医健康管理的装置，其特征在于，还包括：

第二图像分析模块，用于根据所述面部图像确定当前用户的当前眼部形态数据，所述眼部形态数据是指眼长与眼宽的比值，所述眼长是指眼睛左右角点间的水平距离，所述眼宽是指眼睛上下眼睑点间的竖直距离；

疲劳状态报警模块，用于计算所述当前眼部形态数据与所述标准眼部形态数据的差值；若所述差值超过预设阈值时，发出警报；

疲劳状况分析模块，用于根据所述差值确定出针对当前用户的疲劳状态建议；

所述数据调用模块还用于调取当前用户的标准眼部形态数据；

所述显示模块还用于将所述疲劳状态建议展示给当前用户。

8.如权利要求6所述的通过面部图像进行中医健康管理的装置，其特征在于，还包括：

标准数据创建模块，用于根据每个用户标准图像，确定相应用户的标准痤疮数量数据和标准诊断肤色；根据每个用户标准图像，确定相应用户的标准眼部形态数据；

用户创建模块，用于判断是否存在与所述面部图像相匹配的标准用户图像；若不存在，则采集并存储当前用户的标准用户图像。

9.如权利要求6所述的通过面部图像进行中医健康管理的装置，其特征在于，所述第一图像分析模块，具体用于：

将所述面部图像输入到预先训练好的第一深度学习模型，从所述面部图像中识别出痤疮数量，并以所述识别出的痤疮数量作为当前痤疮数量数据；将所述面部图像划分为五个ROI区域，所述五个ROI区域分别为左脸颊ROI区域、右脸颊ROI区域、鼻子ROI区域、嘴唇ROI区域以及下巴ROI区域；将所述面部图像输入到第二深度学习模型，确定出面部整体诊断肤色；将左脸颊ROI区域的图像和右脸颊ROI区域的图像输入到第三深度学习模型，确定出脸颊ROI区域诊断肤色；将鼻子ROI区域的图像输入到第四深度学习模型，确定出鼻子ROI区域诊断肤色；将下巴ROI区域的图像输入到第五深度学习模型，确定出下巴ROI区域诊断肤色；将嘴唇ROI区域的图像输入到第六深度学习模型，确定出嘴唇ROI区域诊断肤色；根据预设的面部整体权重以及各ROI区域的权重，对所述面部整体诊断肤色、所述脸颊ROI区域诊断肤色、所述鼻子ROI区域诊断肤色、所述下巴ROI区域诊断肤色以及所述嘴唇ROI区域诊断肤色进行加权计算，并以加权计算的结果作为当前诊断肤色。

10.如权利要求9所述的通过面部图像进行中医健康管理的装置，其特征在于，所述健康状况分析模块，具体用于：

将所述当前痤疮数量数据、所述当前诊断肤色、所述标准健康状况数据及所述历史健康状况数据输入到中医健康状况建议算法模型，生成多个备选中医健康状况建议；从所述多个备选中医健康状况建议中确定出相对权重最大的中医健康状况建议，作为针对当前用户的中医健康状况建议。