CN112000221A - 自动检测肌肤的方法、自动指导护肤化妆的方法及终端 - Google Patents

Abstract

一种自动检测肌肤的方法、自动指导护肤化妆的方法及终端，涉及智能设备领域，可以在用户照镜子或自拍的过程中自动开启测肤功能，有利于对用户肌肤状态的持续精细的跟踪，该方法具体包括：在用户使用电子设备照镜子或自拍的过程中，根据摄像头采集的图像的特征或者电子设备的状态或者用户执行的操作，自动开启肌肤检测功能和/或护肤化妆指导功能。

Description

自动检测肌肤的方法、自动指导护肤化妆的方法及终端

技术领域

本申请涉及智能设备领域，尤其涉及自动检测肌肤的方法、自动指导护肤化妆的方法及终端。

背景技术

在日常生活中，用户每天都会使用到镜子整理自己的仪容和装束，使用率高。随着科技的发展，目前已出现具备测肤功能的智能镜。在用户照镜子的过程中，可以通过主动开启智能镜的测肤功能，智能镜通过集成的摄像头采集用户的脸部图像，然后结合图像识别算法对用户的脸部的肌肤进行分析，给出分析报告，从而提升智能镜的智能化。

然后，在实际的使用过程中，用户时常忘记主动开启测肤功能，从而造成开启测肤功能的频率较低。如测肤App的统计数据显示，用户平均一个月主动开启测肤功能的次数不足2次。进而，低频率开启测肤功能无法支持对用户肌肤状态的持续精细跟踪，无法充分发挥肌肤检测和跟踪功能的价值。

发明内容

本申请提供的一种自动检测肌肤的方法、自动指导护肤化妆的方法，可以在用户照镜子或自拍的过程中自动开启测肤功能，有利于对用户肌肤状态的持续精细的跟踪，提升用户使用体验。

为了实现上述目的，本申请实施例提供了以下技术方案：

第一方面、提供一种自动检测方法，用于肌肤检测、和/或护肤化妆指导，该方法应用于具有摄像头的电子设备，该方法包括：电子设备检测到第一预设条件；响应于检测到第一预设条件，电子设备启动摄像头采集至少一个第一图像；当至少一个第一图像中包含人脸，且电子设备确定满足第二预设条件时，电子设备自动启动检测功能。

由此可见，电子设备在检测到第一预设条件后，自动开启摄像头采集第一图像，而后自动对第一图像进行分析。当第一图像包含人脸，且电子设备确定满足第二预设条件时，电子设备自动启动检测功能。可见，电子设备实现了用户无感知的启动检测功能。一方面，本申请的方法不会打扰到用户，用户可专注当前所做的事情，例如化妆、护肤、自拍等。另一方面，本申请的方法通过电子设备自动启动检测功能，能够避免用户忘记主动开启检测功能造成检测功能开启频率低的情况，能够实现对用户肌肤状态的持续精细跟踪。

在一种可能的实现方式中，电子设备是智能镜，智能镜具有镜面；电子设备检测到第一预设条件，包括：智能镜检测到开启摄像头的操作；或者，智能镜检测到用户与智能镜的距离小于第一阈值。

示例性的，用户也可以通过操作设置在智能镜上的开关按键(物体按键或虚拟按键)开启摄像头。或者，智能镜上设置距离传感器等，用于检测用户与智能镜的距离。

在一种可能的实现方式中，电子设备检测到第一预设条件，还包括：电子设备检测到开启第一应用的操作。

在一种可能的实现方式中，第一应用是镜子应用或相机应用。

也就是说，安装有镜子应用或相机应用的电子设备(例如手机、平板、电脑等)，可以通过摄像头实时显示取景画面，或捕捉用户脸部的图像实现镜子的功能。

在一种可能的实现方式中，第二预设条件包括：检测到用户与电子设备的距离小于或等于第二阈值；或者，检测到执行增大变焦倍率的操作；或者，检测到用户执行预定义的化妆动作。

可选的，第二预设条件还可以包括：检测到在第一预设时间段内所述用户与所述电子设备的距离小于或等于所述第二阈值；或者，检测到在所述用户与所述电子设备的距离小于或等于所述第二阈值，且所述用户看向所述电子设备，且所述用户的眼睛的上下眼皮的距离变大；或者，检测到在所述用户与所述电子设备的距离小于或等于所述第二阈值，且所述用户与所述电子设备的距离变小。

当电子设备满足上述第二预设条件时，可认为电子设备的摄像头能够拍摄到高质量的人脸图像，因此在此情况下自动启动肌肤检测功能。其中，高质量的人脸图像包括图像中人脸的占比达到预设阈值，图像中人脸为正面人脸或接近正面人脸等。可见，高质量的人脸图像是有利于检测用户的肌肤状态的。当然，也可以根据电子设备配置的组件，以及用户照镜子时的具体情景等设置其他的预设条件，本申请实施例对此不做限定。

在一种可能的实现方式中，至少一个第一图像包括预设数量个第一图像，检测到用户与电子设备的距离小于或等于第二阈值，包括：预设数量个第一图像中，人脸的面积或者人脸中特定五官占据整个图像的面积比例大于或等于第三阈值；或者，人脸的宽度或者人脸中特定五官之间的距离占据整个图像宽度的比例大于或等于第三阈值。

这是因为，一般人脸占据整个图像面积比例，与人脸的宽度占据整个图像宽度的比例等参数，可用于反映用户与电子设备(具体是成像的摄像头)之间的距离。具体的，人脸占据整个图像面积比例，与人脸的宽度占据整个图像宽度的比例均与用户与电子设备之间的距离成反比。

在另一些示例中，若电子设备配置有测距的传感器时，也可以直接根据测距传感器的数值确定用户与电子设备之间的距离是否小于或等于第二阈值。

在一种可能的实现方式中，在电子设备自动启动检测功能之后，该方法还包括：电子设备拍摄至少两张第二图像，并根据至少两张第二图像进行肌肤检测和/或用户动作识别；根据肌肤检测结果和/或用户动作识别的结果，生成肌肤检测报告和/或指导报告。

在一种可能的实现方式中，根据至少两张第二图像进行肌肤检测和/或用户动作识别，具体包括：根据至少两张第二图像中满足第三预设条件的图像进行肌肤检测和/或用户动作识别；其中，至少两张第二图像中满足第三预设条件的图像中，人脸的宽度或者人脸中特定五官的宽度或者人脸中特定五官的距离，占据整个图像宽度的比例位于预设区间；和/或，人脸向左或向后偏转的角度小于第二角度阈值；和/或，人脸抬头或低头的角度小于第三角度阈值；和/或，人脸上无遮挡物。

可选的，至少两张第二图像中满足第三预设条件的图像中，人脸的光照符合预设的关照条件，和/或，人脸无表情，和/或人脸为素颜。

通过第三预设条件的筛选，可以进一步筛选出更适合肌肤检测的图像用于肌肤检测，既有利于减少肌肤检测算法的处理量，又有利于提升肌肤检测算法的准确性。

第二方面、一种电子设备，包括：处理器、存储器、摄像头和显示屏，存储器、显示屏、摄像头与处理器耦合，存储器用于存储计算机程序代码，计算机程序代码包括计算机指令，当处理器从存储器中读取计算机指令，以使得电子设备执行如下操作：检测到第一预设条件；响应于检测到第一预设条件，启动摄像头采集至少一个第一图像；当至少一个第一图像中包含人脸，且电子设备确定满足第二预设条件时，电子设备自动启动肌肤检测功能和/或护肤化妆指导功能。

在一种可能的实现方式中，电子设备是智能镜，智能镜具有镜面；检测到第一预设条件，包括：检测到开启摄像头的操作；或者，检测到用户与智能镜的距离小于第一阈值。

在一种可能的实现方式中，电子设备检测到第一预设条件，还包括：电子设备检测到开启第一应用的操作。

在一种可能的实现方式中，第一应用是镜子应用或相机应用。

在一种可能的实现方式中，第二预设条件包括：检测到用户与电子设备的距离小于或等于第二阈值；或者，检测到执行增大变焦倍率的操作；或者，检测到用户执行预定义的化妆动作。

在一种可能的实现方式中，至少一个第一图像包括预设数量个第一图像，检测到用户与电子设备的距离小于或等于第二阈值，包括：预设数量个第一图像中，人脸的面积或者人脸中特定五官占据整个图像的面积比例大于或等于第三阈值；或者，人脸的宽度或者人脸中特定五官之间的距离占据整个图像宽度的比例大于或等于第三阈值。

在一种可能的实现方式中，在自动启动肌肤检测功能和/或护肤化妆指导功能之后，电子设备还执行如下操作：拍摄至少两张第二图像，并根据至少两张第二图像进行肌肤检测和/或用户动作识别；根据肌肤检测结果和/或用户动作识别的结果，生成肌肤检测报告和/或指导报告。

在一种可能的实现方式中，根据至少两张第二图像进行肌肤检测和/或用户动作识别，具体包括：根据至少两张第二图像中满足第三预设条件的图像进行肌肤检测和/或用户动作识别；其中，至少两张第二图像中满足第三预设条件的图像中，人脸的宽度或者人脸中特定五官的宽度或者人脸中特定五官的距离，占据整个图像宽度的比例位于预设区间；和/或，人脸向左或向后偏转的角度小于第二角度阈值；和/或，人脸抬头或低头的角度小于第三角度阈值；和/或，人脸上无遮挡物。

第三方面、提供一种装置，该装置包含在电子设备中，该装置具有实现上述方面及可能的实现方式中任一方法中电子设备行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，检测模块或单元、拍摄模块或单元、以及处理模块或单元等。

在一种可能的实现方式中，所述装置还包括镜面。

第四方面、提供一种计算机可读存储介质，包括计算机指令，当计算机指令在终端上运行时，使得终端执行如上述方面及其中任一种可能的实现方式中所述的方法。

第五方面、提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如上述方面中及其中任一种可能的实现方式中所述的方法。

第六方面、提供一种芯片系统，包括处理器，当处理器执行指令时，处理器执行如上述方面中及其中任一种可能的实现方式中所述的方法。

附图说明

图1为本申请实施例提供的一种电子设备的结构示意图；

图2为本申请实施例提供的又一种电子设备的结构示意图；

图3为本申请实施例提供的一种自动启动肌肤检测功能的方法的流程示意图；

图4为本申请实施例提供的用户和电子设备的相对位置，与人脸在电子设备采集图像中大小关系的示意图；

图5为本申请实施例提供的一种折叠屏电子设备的使用方法的示意图；

图6为本申请实施例提供的一种自动启动护肤化妆指导功能的流程示意图；

图7为本申请实施例提供的一种芯片系统的结构示意图。

具体实施方式

在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

在本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请实施例提供的自动检测肌肤的方法，电子设备可以在用户照镜子或自拍的过程中，检测电子设备是否满足自动启动肌肤检测的预设条件。当满足预设条件时，自动为用户开启检测肌肤功能。由于用户照镜子或自拍的频率较高，那么基于本申请实施例提到用户无感的开启肌肤检测功能的方法，可以采集到用户足够数量的肌肤状态数据，从而有利于实现对用户肌肤状态的持续精细跟踪。本申请实施例提供的指导护肤化妆的方法，可以在用户照镜子或自拍的过程中，可以自动识别出用户当前的护肤化妆的动作，并推送相关的护肤美妆的指导信息，提升用户使用体验。还可以在检测到用户完成特定化妆动作(例如涂粉底、涂口红)后，自动启动肌肤检测功能，可以将化妆后的肌肤状态与素颜时的肌肤状态进行比对，以评价本次化妆的化妆效果。

示例性的，本申请实施例中电子设备例如可以为具有摄像头的智能镜、手机、平板电脑、个人计算机(personal computer，PC)、个人数字助理(personal digitalassistant，PDA)、智能手表、上网本、增强现实技术(augmented reality，AR)设备、虚拟现实(virtual reality，VR)设备、车载设备、智慧屏等，本申请对该电子设备的具体形式不做特殊限制。

如图1所示，为本申请实施例提供的一种电子设备100的结构示意图。该电子设备100可以包括处理器110，存储器120，电源130，天线，无线通信模块140，传感器模块150，摄像头160以及显示屏170等。其中，电子设备100的各个器件之间可利用总线实现连接。

可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如：处理器110可以包括应用处理器(application processor，AP)，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，视频编解码器，数字信号处理器(digital signalprocessor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

例如，处理器110是一个中央处理器(central process ing unit，CPU)，也可以是特定集成电路(appl icat ion specific integrated circuit，ASIC)，或者是被配置成实施本申请实施例的一个或多个集成电路，例如：一个或多个微处理器，或，一个或者多个现场可编程门阵列(field programmable gate array，FPGA)。

其中，处理器110可以通过运行或执行存储在存储器120内的软件程序，以及调用存储在存储器120内的数据，执行电子设备100的各种功能。在具体的实现中，作为一种实施例，处理器110可以包括一个或多个CPU，例如处理器110包括CPU0和CPU1。在具体实现中，作为一种实施例，电子设备100可以包括多个处理器。这些处理器中的每一个可以是一个单核处理器(s ingle-CPU)，也可以是一个多核处理器(mult i-CPU)。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

在本申请的一些示例中，电子设备100为智能镜。在用户照镜子的过程中，当处理器110确定满足自动启动肌肤检测功能时，可以对摄像头160采集的用户的脸部图像执行肌肤检测算法，得到肌肤检测报告，和/或肌肤护理方案等。另外，处理器110还可以对摄像头160采集的用户的脸部图像执行动作识别算法，以识别出用户当前的护肤化妆的动作，并推送相关的护肤美妆的指导信息。

在本申请的另一些示例中，电子设备100为手机、平板等设备。当处理器110运行镜子应用时，可以调用摄像头160实时采集用户的脸部图像，并在显示屏170中实时预览，这样用户可以通过观看显示屏170中的图像，达到照镜子的功能。进一步的，当处理器110确定满足自动启动肌肤检测功能时，可以对摄像头160采集的用户的脸部图像执行肌肤检测算法，得到肌肤检测报告，和/或肌肤护理方案等。另外，处理器110还可以对摄像头160采集的用户的脸部图像执行动作识别算法，以识别出用户当前的护肤化妆的动作，并推送相关的护肤美妆的指导信息。

又一些示例中，电子设备100为手机、平板等设备。在用户自拍的过程中，当处理器110确定满足自动启动肌肤检测功能时，可以对摄像头160采集的用户的脸部图像执行肌肤检测算法，得到肌肤检测报告，和/或肌肤护理方案等。另外，处理器110还可以对摄像头160采集的用户的脸部图像执行动作识别算法，以识别出用户当前的护肤化妆的动作，并推送相关的护肤美妆的指导信息。

存储器120可以是随机存取存储器(random access memory，RAM)(如，图1中所示的双倍数据速率(double data rate，DDR))，图1中所示的闪存(flash)，只读存储器(Read-Only Memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrical lyerasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器120可以是独立存在，通过总线与处理器110相连接。存储器120也可以和处理器110集成在一起。其中，存储器120可用于存储执行本申请方案的软件程序，并由处理器110来控制执行。

例如，存储器120存储有人脸检测算法、肌肤检测算法、动作识别算法(护肤动作识别和化妆动作识别)等。存储器120还可以存储处理器110运算后的结果，例如肌肤检测报告，以及处理器110根据识别出的护肤动作、化妆动作匹配或搜索到的护肤或化妆指导方案等。

电子设备100可以通过ISP，摄像头160，视频编解码器，GPU以及应用处理器等实现拍摄功能。

其中，ISP用于处理摄像头160反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头160中。

摄像头160用于采集静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，电子设备100可以包括1个或N个摄像头160，N为大于1的正整数。

视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。

NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。

电子设备100通过GPU，显示屏170，以及应用处理器等实现显示功能。

其中，GPU为图像处理的微处理器，连接显示屏170和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏170用于显示图像，视频等。显示屏170包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备100可以包括1个或N个显示屏170，N为大于1的正整数。

电子设备100的无线通信功能可以通过天线，无线通信模块140等实现。

天线用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。在另外一些实施例中，天线可以和调谐开关结合使用。

无线通信模块140可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks，WLAN)(如无线保真(wireless fidel ity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satel l ite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块140可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块140经由天线接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块140还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线转为电磁波辐射出去。在一些实施例中，天线和无线通信模块140耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。

例如，电子设备100可以通过例如Wi-Fi网络与服务器通信，通过例如Wi-Fi网络或蓝牙与其他电子设备通信。比如，电子设备100为智能镜时，电子设备可以通过Wi-Fi网络与服务器通信，还可以通过Wi-Fi网络或蓝牙与手机等电子设备进行通信。

传感器模块150，可以包括距离传感器、接近光传感器、加速度传感器、陀螺仪传感器等。

距离传感器，用于测量距离。电子设备100可以通过红外或激光测量距离。在本申请的一些实施例中，电子设备100可以利用距离传感器检测用户与电子设备100之间的距离。当检测用户与电子设备100之间的距离小于阈值A(例如50cm)时，自动开启摄像头160采集用户图像。一些示例中，当检测到用户与电子设备之间的距离小于或等于阈值D(例如25cm)，自动开启肌肤检测功能，或者自动识别用户当前的护肤或化妆动作等。

接近光传感器可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定电子设备100附近有物体。当检测到不充分的反射光时，电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器检测用户是否靠近电子设备100，以便自动开启摄像头160拍摄用户图像。

加速度传感器可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。在一些示例中，电子设备为折叠屏手机时，可根据加速度传感器确定用户是否执行了折叠操作。若在折叠屏手机运行镜子应用时，检测到用户执行了折叠操作，则折叠屏手机可自动开启肌肤检测功能等。

陀螺仪传感器可以用于确定电子设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器确定电子设备100围绕三个轴(即，x，y和z轴)的角速度。例如，当电子设备100的显示屏170可以折叠为多个屏时，每个屏中可以包括陀螺仪传感器，用于测量对应屏的朝向(即朝向的方向向量)。比如，电子设备100的显示屏170经折叠可形成A屏和B屏，那么该A屏和该B屏中均包括陀螺仪传感器，分别用于测量A屏和B屏的朝向。电子设备100根据测量得到的每个屏的朝向的角度变化，可以确定出相邻屏的夹角，进而确定显示屏170的折叠状态。在一些示例中，电子设备为折叠屏手机时，可根据陀螺仪确定折叠屏手机屏幕的折叠状态。若在折叠屏手机运行镜子应用时，检测到折叠屏手机的两个屏幕之间的夹角达到预设角度，则折叠屏手机可自动开启肌肤检测功能等。

电源130，可用于为电子设备100的各个部件，如处理器110、存储器120等供电。

可选的，电子设备100还可以包括音频模块、扬声器、麦克风、耳机接口等，图中未示出。其中，音频模块用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块还可以用于对音频信号编码和解码。在一些实施例中，音频模块可以设置于处理器110中，或将音频模块的部分功能模块设置于处理器110中。扬声器，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器收听语音、音乐等。麦克风，也称“话筒”，“传声器”，用于将声音信号转换为电信号。电子设备100可以通过麦克风采集用户的声音信号。电子设备100可以设置至少一个麦克风。耳机接口用于连接有线耳机。耳机接口可以是USB接口，也可以是3.5mm的开放移动电子设备平台(openmobi le terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cel lulartelecommunications industry association of the USA，CTIA)标准接口。

作为举例，电子设备100具体可以是智能镜。如图2所示，为本申请实施例提供的一种智能镜200的结构示意图。该智能镜200可以包括：镜面201、LED灯202、摄像头203、接近光传感器204、显示屏205、按键206、底座207、支架208。智能镜还包括处理器、存储器、通信模块、电池和充电模块、音频模块等(图中未示出)。

其中，镜面201，例如为背面镀银的高清镜面，用于用户的日常照镜子。一些示例中，镜面201可以是椭圆、矩形以及其他不规则形状等。

LED灯202，用于提供不同光强、不同色温的照明，以模拟不同环境下呈现用户妆容的需求等。一些实施例中，LED灯202可以环绕在镜面的四周，以实现无死角照亮用户的脸部各个位置。

摄像头203，用于捕捉用户脸部图像，以便处理器可以针对用户脸部图像运行肌肤检测算法，以检测用户的肌肤状态；以及针对用户脸部图像运行动作识别算法，以识别用户的护肤动作或化妆动作，并针对性进行指导。一些实施例中，摄像头203可设置在镜面顶部位置(与支架208或底座207相对的另一侧位置)。可选的，摄像头203可以设置在镜面上，也可以不设置在镜面上，例如设置在智能镜的壳体上。摄像头203的数量可以为一个或多个。当摄像头203为多个时，可实现变焦功能。摄像头203可为RGB摄像头、红外摄像头、飞行时间(time of flight，TOF)摄像头、结构光摄像头、紫外摄像头中任一个或任几个。另一些实施例中，摄像头203为可升降的摄像头。

接近光传感器204，包括红外线发射装置和接收装置，可用于检测前方遮挡物的距离，以实现检测到人脸的遮挡物后，自动触发开启LED灯202，和/或开启摄像头203开始采集用户脸部图像。

显示屏205，可以位于镜面201下层。需要注意的是，显示屏205所在区域的镜面需要具有一定的透光率，使得亮屏时用户能透过镜面看到显示屏205上的信息。在息屏时，显示屏205所在区域的镜面能够正常反光，用于照镜子。显示屏205可以是较小的屏幕(例如3寸屏)，位于镜面例如靠上方或靠下方的位置。显示屏205也可以是较大的屏幕(例如8寸屏、10寸屏等)，位于镜面中央。即，显示屏205也可以覆盖大部分或整个镜面。在另一些实施例中，显示屏205与镜面201不重叠，本申请实施例对此不做限定。

按键206，包括开机键，音量键等。按键206可以是机械按键，也可以是触摸式按键。智能镜200可以接收按键输入，产生与智能镜200的用户设置以及功能控制有关的键信号输入。

另外，智能镜200还包括处理器和存储器。处理器用于运行上述肌肤检测算法、动作识别算法、人脸检测算法等。存储器，用于存储上述肌肤检测算法、动作识别算法、人脸检测算法等程序，以及存储摄像头203采集的人脸图像，以及处理运算后的结果(例如肌肤检测报告)等。此外，一些实施例中，智能镜200还包括通信模块，可用于与服务器或者与用户手机等设备进行通信。另一些实施例中，智能镜200还可以包括音频模块等，以提供采集用户语音，以及播放音乐或语音等。这些部件的详细描述可以参考图1中相关描述，这里不再赘述。

此外，智能镜200还包括底座207、支架208、壳体等。在另一些实施例中，智能镜200可折叠，便于携带。例如，智能镜200的底座207和支架208为可折叠或可伸缩。又例如，镜面201为可折叠。一些示例中，当智能镜200检测到从折叠状态切换到展开状态时，自动触发开启LED灯202，和/或开启摄像头203开始采集用户脸部图像。

以下实施例中所涉及的技术方案均可以在具有如图1所示硬件架构的电子设备100，或具有如图2所示硬件架构的智能镜200中实现。下面结合附图对本申请实施例提供的技术方案进行详细说明。

如图3所示，为本申请实施例提供的一种自动检测肌肤的方法流程示意图，该方法具体包括：

S301、电子设备启动摄像头，采集画面。

其中，电子设备为具有镜子功能的设备，例如配置有玻璃镜面的智能镜、美妆镜、以及安装有镜子应用或相机应用的电子设备(例如手机、平板、电脑等)。其中，安装有镜子应用或相机应用的电子设备，可以通过摄像头实时显示取景画面，或捕捉用户脸部的图像实现镜子的功能。

在一些实施例中，电子设备可以设置距离传感器，用于检测用户是否靠近电子设备。例如，当确定电子设备前方的物体距离电子设备的距离小于阈值A(例如30cm、40cm、或50cm)时，可以认为有物体靠近电子设备，自动开启摄像头采集画面。例如，电子设备为如图2所述的智能镜200时，当用户需要使用智能镜200时会靠近智能镜200，此时距离传感器检测到距离小于阈值A，则智能镜200可以自动开启摄像头203。可选的，智能镜200也可以自动点亮LED灯202。

在另一些实施例中，用户也可以通过操作设置在电子设备上的开关按键(物体按键或虚拟按键)开启摄像头。例如，电子设备为如图2所述的智能镜200时，当用户需要使用智能镜时，可以通过按压按键206，开启摄像头203以及点亮LED灯202。又例如，电子设备为可折叠的智能镜时，当用户展开智能镜时，智能镜自动开启摄像头203。可选的，智能镜200也可以自动点亮LED灯202。又例如，电子设备为手机时，用户在开启镜子应用或者开启相机应用时，电子设备启动摄像头。一些示例中，用户开启相机应用后，还需要切换到开启前置或后置摄像头。

在电子设备开启摄像头后，摄像头实时采集画面，即获取预览帧的视频数据。

S302、电子设备对摄像头采集的画面进行人脸识别。

一般，电子设备对摄像头采集的画面包括多张图像(或称至少两张图像)，分别针对每张图像执行人脸检测算法，以确定摄像头采集的画面中是否包含人脸，以及人脸在各个图像中位置。若在摄像头采集的画面中检测到人脸，则执行步骤S303。若摄像头采集的画面中不包含人脸时，在预设时间段A内继续执行步骤S302，即对摄像头新采集的画面执行人脸检测算法，以确定是否包含人脸。若在预设时间段A后仍然未检测到人脸，则可以认为用户未靠近电子设备或者用户已离开电子设备，可以停止执行人脸检测算法，和/或关闭摄像头。

一些实施例中，电子设备可以在预设数量张的图像中连续检测到人脸时，才能确定用户会持续照镜子，便于后续拍摄包含用户脸部的图像，用于分析用户肌肤状态等。避免在用户短暂靠近电子设备后又离开的情况下启动肌肤检测功能。

S303、电子设备确定是否满足自动启动肌肤检测功能的预设条件。

其中，预设条件包括检测到用户距离电子设备的距离小于或等于阈值D，检测到用户与电子设备之间距离小于或等于阈值D且保持了一段时间(例如预设时间段B)(即，用户在预设时间段B内与电子设备的距离一直小于或等于阈值D)，检测到用户距离电子设备的距离小于或等于阈值D且用户正在凝视电子设备，检测到用户距离电子设备的距离小于或等于阈值D时向电子设备靠近一段距离，检测到用户执行放大操作，检测到用户折叠电子设备显示屏且显示屏的角度为角度阈值A，检测到用户执行特定的动作(例如涂完口红)中任一项或任多项。当电子设备满足上述预设条件时，可认为电子设备的摄像头能够拍摄到高质量的人脸图像，因此在此情况下自动启动肌肤检测功能。其中，高质量的人脸图像包括图像中人脸的占比达到预设阈值，图像中人脸为正面人脸或接近正面人脸等。可见，高质量的人脸图像是有利于检测用户的肌肤状态的。当然，也可以根据电子设备配置的组件，以及用户照镜子时的具体情景等设置其他的预设条件，本申请实施例对此不做限定。

在具体实现中，在用户照镜子或者自拍的过程中，电子设备可以通过对摄像头采集的包含的人脸图像进行分析，当确定摄像头采集的包含的人脸图像满足上述任一预设条件时，自动启动肌肤检测功能。电子设备还可以根据用户执行的操作或电子设备的状态等，推断出电子设备可能会拍摄到高质量的人脸图像，因此也可以自动启动肌肤检测功能。电子设备还可以根据自身配置的传感器等的数据，确定满足上述任一预设条件时，自动启动肌肤检测功能。若电子设备确定不满足上述预设条件，则电子设备可以确定不启动肌肤检测功能，关闭摄像头。本申请实施例对此不做限定。

以下详细说明各个预设条件的含义，以及介绍各个预设条件的判断方法。

预设条件1、检测到用户与电子设备之间的距离小于或等于阈值D，例如距离电子设备25cm-45cm。在此情况下，可认为用户位于电子设备合适的距离内，可以拍摄到高质量的用户的人脸图像。

在一些示例中，检测到摄像头采集的包含的人脸图像(或者包含部分人脸的一部分的图像)中，人脸的面积(或者人脸中某个五官的面积)占据整个图像的面积的比例达到阈值B(例如1/2，3/4)，或者人脸的宽度(或者人脸中某些五官之间的距离)占据整个图像宽度的比例达到阈值C(例如3/4)。其中，人脸的面积可以是人脸检测算法识别出的人脸所占据的矩形的面积。人脸的宽度可以是通过人脸检测算法识别出的颧骨外侧的两个特征点之前的直线距离。当然，人脸的面积和宽度也可以采用其他方式定义，本申请实施例对此不做限定。

这是因为，一般人脸占据整个图像面积比例，与人脸的宽度占据整个图像宽度的比例等参数，可用于反映用户与电子设备(具体是成像的摄像头)之间的距离。具体的，人脸占据整个图像面积比例，与人脸的宽度占据整个图像宽度的比例均与用户与电子设备之间的距离成反比。比如，请参考图4中(1)所示的用户与电子设备之间位置关系示意图。当用户与电子设备为第一距离时(例如25cm)，如图4中(2)所示，摄像头采集的图像中，用户的人脸占据整个镜子或者整个图像的比例为第一比例(例如1/2)。当用户与电子设备为第二距离时(例如45cm)，如图4中(3)所示，摄像头采集的图像中，用户的人脸占据整个镜子或者整个图像的比例为第二比例(例如1/3)。其中，第二距离大于第一距离，第二比例小于第一比例。

当人脸的面积占据整个图像的面积的比例达到阈值B(例如1/2，3/4)，或者人脸的宽度占据整个图像宽度的比例达到阈值C(例如3/4)时，可认为用户与电子设备之间的距离小于或等于阈值D。

在另一些示例中，若电子设备配置有测距的传感器时，也可以直接根据测距传感器的数值确定用户与电子设备之间的距离是否小于或等于阈值D。例如，电子设备配置有距离传感器，距离传感器可以用于测量用户与电子设备之间的距离，当两者之间的距离小于或等于阈值D时，可认为电子设备满足自动启动肌肤检测功能的预设条件。又例如，电子设备配置的摄像头能够拍摄有深度(depth)图像时(例如配置有红外摄像头、TOF摄像头、结构光摄像头)，可以根据摄像头拍摄的深度图像确定用户与电子设备之间的距离。其中，深度图像类似于灰度图像，只是它的每个像素值是摄像头距离物体的实际距离。或者，当电子设备配置有两个以上摄像头时，可以根据两个摄像头拍摄的图像计算出用户与电子设备之间的距离，具体的计算方法可参考现有技术，这里不再赘述。当确定两者之间的距离小于或等于阈值D时，可认为电子设备满足自动启动肌肤检测功能的预设条件。

预设条件2、检测到用户与电子设备之间的距离小于或等于阈值D，且用户的位置保持了一段时间。在此情况下，可认为用户稳定地位于电子设备合适的距离内，那么后续可以拍摄到高质量的用户的人脸图像。

例如，在预设时间段B(例如1S)内，摄像头采集的包含的人脸图像中，人脸的面积占据整个图像的面积的比例达到阈值B(例如1/2，3/4)，或者人脸的宽度占据整个图像宽度的比例达到阈值C(例如3/4)。再例如，在预设时间段B内，电子设备配置的距离传感器测量到的用户与电子设备之间的距离均小于或等于阈值D。又例如，在预设时间段B内，摄像头拍摄的深度图像确定用户与电子设备之间的距离均小于或等于阈值D。

预设条件3、检测到用户与电子设备之间的距离小于或等于阈值D，且检测用户正在凝视电子设备。此时，用户很可能在仔细照镜子，可认为用户可能会持续位于电子设备合适的距离内，那么后续可以拍摄到高质量的用户的人脸图像。其中，检测用户正在凝视电子设备，可以通过检测到用户看向电子设备，且人脸图像中上下眼皮中心特征点之间的距离变大(例如超过阈值E)且保持了预设时间段C(例如1秒，0.5秒)。

预设条件4、检测到用户与电子设备之间的距离小于或等于阈值D，且用户向前移动了一段距离。在此情况下，可认为用户很可能在仔细照镜子，可认为用户可能会持续位于电子设备合适的距离内，那么后续可以拍摄到高质量的用户的人脸图像。

例如，检测到摄像头采集的包含的人脸图像中，人脸的面积占据整个图像的面积的比例达到阈值B(例如1/2，3/4)，或者人脸的宽度占据整个图像宽度的比例达到阈值C(例如3/4)。并且，检测到人脸的面积占据整个图像的面积的比例增大，或者人脸的宽度占据整个图像宽度的比例增大。再例如，电子设备配置的距离传感器测量到的用户与电子设备之间的距离小于或等于阈值D，而后又检测到用户与电子设备之间的距离变小。又例如，摄像头拍摄的深度图像确定用户与电子设备之间的距离均小于或等于阈值D，而后又检测到用户与电子设备之间的距离变小。

预设条件5、检测到用户执行预设操作，和/或，电子设备处于预设状态。需要注意的是，这里用户执行的预设操作原本的意图并不是指示电子设备开启肌肤检测功能，而在指示电子设备执行其他功能。也就是说，本申请实施例是在用户使用其他功能的过程中，根据用户的操作推断出电子设备可能会拍摄到高质量的人脸图像，于是自动启动肌肤检测功能。因此，对于肌肤检测功能来说，电子设备仍然是实现了用户无感知的启动肌肤检测功能。

例如，用户使用镜子应用的电子设备时，一些镜子应用能够通过调整摄像头的变焦倍率或者切换摄像头放大局部区域，即具有放大功能。那么，用户若希望查看到局部区域(例如眼睛周围、鼻翼区域、下颌区域)的细节时，可以操作放大控件，例如点击放大控件或拖拉放大标尺等，以放大局部区域。那么，在检查到用户操作放大控件时，电子设备自动启动肌肤检测功能，可以对用户关注的局部区域的肌肤进行检测。

又例如，用户在具有折叠屏(即显示屏能够折叠)的电子设备上开启镜子应用时，若检测到用户折叠显示屏的操作，或者检测到显示屏折叠的角度为角度阈值A时，电子设备自动开启肌肤检测功能。其中，在一些实施例中，角度阈值A大于90度(例如130度、145度)。比如，电子设备为如图5中(1)所述的折叠屏手机。当用户开启折叠屏手机上的镜子后，在一些场景中，用户需要较长时间使用镜子应用时或者需要腾出双手来护肤化妆等时，可以沿折叠边折叠显示屏到一定角度，然后将折叠屏手机放置在桌面上。比如，如图5中(2)所示，沿折叠边向内折叠(或向外折叠)显示屏，使得显示屏形成至少两个屏(例如A屏和B屏)。当A屏和B屏之间的夹角为角度阈值A(大于90度)时，如图5中(3)所示，用户可以直接将折叠屏手机放置在桌面上使用。在该场景下，会认为折叠屏手机与用户之间的距离在合适的范围内，折叠屏手机的前置摄像头能够捕捉到高质量的人脸图像，因此可自动开启肌肤检测功能。在另一些实施例中，角度阈值A小于90度(例如60度、45度)。比如，电子设备为具有向外折叠的显示屏或具有多个显示屏的折叠屏手机。如图5中(4)所示，在折叠的外侧有显示屏(例如C屏)。当检测到折叠屏手机折叠的角度为角度阈值A(小于90度)时，会认为折叠屏手机与用户之间的距离在合适的范围内，折叠屏手机的后置摄像头能够捕捉到高质量的人脸图像，因此可自动开启肌肤检测功能。

其中，折叠屏手机可以根据分别设置在A屏和B屏中的加速度传感器或陀螺仪来检测用户是否执行折叠操作。还可以根据分别设置在A屏和B屏中的陀螺仪，计算得到A屏和B屏之间形成的夹角，从而确定夹角是否为角度阈值A。

由上可见，一方面，由于电子设备在用户照镜子或者自拍过程中，自动分析摄像头采集的人脸图像或者根据用户使用其他功能时的操作或者电子设备自身的状态，自动启动肌肤检测功能，全程不需要用户进行额外操作。也就是说，电子设备实现用户无感的启动肌肤检测功能，不会打扰到用户，用户可专注当前所做的事情，例如化妆、护肤、自拍等。另一方面，又由于电子设备是在确定能够拍摄到高质量的人脸图像时，才启动肌肤检测功能。那么，针对高质量的人脸图像执行肌肤检测算法，有利于加快肌肤检测算法的运算效率，以及提升肌肤状态结果的准确性。

S304、若确定满足自动启动肌肤检测功能，则电子设备启动肌肤检测功能。

一些示例中，若确定满足自动启动肌肤检测功能，则电子设备启动肌肤检测功能，否则，一直判断是否满足自动启动肌肤检测功能。另一些示例中，若在预设时间段D内均未检测到满足自动启动肌肤检测功能的预设条件，则确定不启动肌肤检测功能。可选的，还可以停止执行人脸检测算法，和/或关闭摄像头。

S305、电子设备获取至少一张待分析的人脸图像，并对待分析的人脸图像进行肌肤检测，生成肌肤检测报告和/或肌肤护理方案。

在一些实施例中，在电子设备启动肌肤检测功能后，可连续拍摄多张包含人脸的图像或者录制一段包含人脸的视频，其中连续拍摄的多张包含人脸的图像或者录制的包含人脸的视频中的图像帧，即为待分析的人脸图像。在另一些实施例中，在电子设备连续拍摄多张包含人脸的图像后，还可以按照预设规则筛选出最适合进行肌肤检测的人脸图像，为待分析的人脸图像。或者，电子设备录制包含人脸的视频后，可以按照预设规则从视频中的图像帧中筛选出更适合肌肤检测的图像帧，确定为待分析的人脸图像。

其中，预设规则包括：筛选的待分析的人脸图像满足下述条件A至条件G中的一项或多项，如下：

条件A、图像中人脸的宽度(或者人脸中某五官的宽度，或人脸中某些五官的距离)占据整个图像宽度的比例位于第一范围内(例如，0.4至0.6)。其中，人脸的宽度可以是通过人脸检测算法识别出的颧骨外侧的两个特征点之前的直线距离。

条件B、图像中人脸向左或向右偏转的角度小于角度阈值B。其中，人脸向左或向右偏转的角度可以通过人脸检测算法识别出的人脸特征点连线的比例来判断。例如，使用人脸检测算法识别出的左侧颧骨特征点到鼻梁中间特征点的距离/右侧颧骨特征点到鼻梁中间特征点的距离的比值。若该比值小于阈值G，则认为人脸向左或向右偏转的角度小于角度阈值B。

条件C、图像中人脸抬头或低头的角度小于角度阈值C。其中，人脸抬头或低头的角度可以通过人脸检测算法识别出的人脸特征点连线的比例来判断。例如，使用人脸检测算法识别出的眉间特征点到鼻尖特征点的距离/鼻尖特征点到下嘴唇中间特征点的距离的比值。若该比值小于阈值H，则认为人脸抬头或低头的角度小于角度阈值C。

条件D、图像中人脸的光照符合预设的光照条件。示例性的，可以通过判断图像中人脸区域对应的灰度图中的亮度值。若图像中人脸区域对应的灰度图中的亮度值位于预设的亮度区间内，则认为图像中人脸的光照符合预设的光照条件。否则，认为图像中人脸的光照不符合预设的光照条件。

条件E、图像中的人脸无表情。可以采用表情识别算法识别出无表情的人脸图像，或者人脸面部变化较小的一些表情，例如微笑等。

条件F、图像中的人脸无遮挡物。可以采用目标检测算法识别面部是否有遮挡物，例如眼镜、刘海、手部、美容仪、面膜等。

条件G、图像中人脸为素颜。示例性的，可以将大量的素颜和带妆的人脸图像输入到深度学习算法中的二分类模型中训练，得到识别素颜和带妆的二分类模型。而后，可以采用训练后的二分类模型区分图像中的人脸是否为素颜。

在另一些示例中，还可以设置上述条件A至条件G分别对应一个参数值和权重值。例如，若某图像中人脸满足条件A，则该图像对应条件A的参数值为1，若不满足，则该图像对应条件A的参数值为0。依次类推，计算出该图像对应其他条件B至条件G的参数值，并按照各个条件对应的权重值进行加权，若加权后的值达到阈值F，则认为该图像满足预设规则，可以确定为待分析的人脸图像。本申请实施例对预设规则的具体设定不做限定。

由上述条件A至条件G的内容可见，通过预设规则的筛选，可以进一步筛选出更适合肌肤检测的图像用于肌肤检测，既有利于减少肌肤检测算法的处理量，又有利于提升肌肤检测算法的准确性。

在筛选出待分析的人脸图像后，将待分析的人脸图像输入到肌肤检测算法模型中运算，生成肌肤检测报告，和/或，进一步分解肌肤检测报告生成肌肤护理方案。

其中，肌肤检测算法可以对待分析的人脸图像进行各项皮肤参数的分析(例如肤质类型、毛孔、黑头、细纹、法令纹、色斑、红区、黑眼圈、眼袋、痘痘、光泽度等)，以获得各参数的量化数值(例如粗大毛孔个数、粗大毛孔面积占比，细纹条数、长短，痘痘类型、个数，色斑类型、个数等)。皮肤参数分析过程以毛孔检测为例进行说明：基于人脸检测算法识别出人脸特征点，确定出对待分析的人脸图像中毛孔的检测区域，例如主要包括脸颊、鼻梁、眉心区域。然后，基于确定的毛孔检测区域进行毛孔兴趣区域(region of interest，ROI)的定位，提取ROI区域内的图像，进行灰度变换、图像大小归一化、高斯差分滤波、对比度增强、去所有局部最小值并获取分割阈值、二值化处理、形态学腐蚀和膨胀处理、求近似圆形区域的中心位置及半径、根据尺寸筛除非毛孔区域、统计毛孔的数量、密度、位置坐标、大小、以及分布情况，并在图像上对毛孔进行标记。

因此，生成的肌肤检测报告中可以显示毛孔的数量，毛孔大小、毛孔位置、毛孔分布情况中的一项或多项，也可以显示根据毛孔的数量，毛孔大小、毛孔位置、毛孔分布情况等计算得到的得分，还可以在人脸图像中标记较大的毛孔，或者毛孔密集分布的区域。

此外，电子设备还可以用户的其他电子设备(例如穿戴设备等)获取用户的其他健康信息，如睡眠信息、运动信息、女性生理周期等(图3中步骤S306示出)。和/或，从服务器获取当时当地的天气信息，如紫外线、温度、湿度、空气质量等(图3中步骤S307示出)，从护理知识库匹配适合用户的肌肤护理方案。其中，护理知识库可以存储在电子设备的本地，也可以存储在云端的服务器。

在一些示例中，电子设备可以生成精简的肌肤检测报告和护理方案，例如显示用户肌肤问题严重的皮肤参数的部分信息，并可以通过电子设备的屏幕呈现。当然，用户也可以选择查看详细的肌肤检测报告和护理方案。例如，电子设备为智能镜时，智能镜的显示屏可以显示精简的肌肤检测报告和护理方案。用户可以通过在与智能镜关联的手机中对应App中查看详细的肌肤检测报告和护理方案。

由此可见，由于用户几乎每天都会使用镜子功能，那么采用上述实施例提供的方法，自动启动肌肤检测功能，能够保证电子设备收集到足够数量的用户肌肤状态的数据，便于对用户肌肤状态进行持续精细的跟踪，有利于及早发现肌肤中出现的问题，也有利于对用户使用的护肤品的效果进行跟踪。

在另一些实施例中，电子设备可以周期性的采用上述方法自动启动肌肤检测功能。例如，每天基于上述实施例提供的方法启动一次肌肤检测功能。这样，即能够保证至少每天一次启动肌肤检测功能，收集到足够数量的用户肌肤状态的数据，实现持续精细的跟踪，又能减少电子设备因执行判断是否满足自动启动肌肤检测功能而进行大量图像处理工作，降低电子设备的功耗。

进一步的，在确定电子设备确定满足自动启动肌肤检测功能的预设条件后，说明用户距离电子设备较近，且用户有意持续使用电子设备的镜子功能，那么本申请实施例还提出了在后续用户照镜子或自拍的过程中，自动识别用户当前的护肤动作或化妆动作，并基于识别识别出的护肤动作或化妆动作为用户推荐相关的指导。

如图6所示，为本申请实施例提供一种自动指导用户护肤化妆的方法流程图，具体包括：

S601、电子设备启动摄像头，采集画面。

示例性的，电子设备采集的画面可以为预览流中的图像，即取景器中实时显示图像，也可以电子设备拍摄得到的图像，本申请实施例对此不做限定。

S602、电子设备对摄像头采集的画面进行人脸识别。

若在摄像头采集的画面中检测到人脸，则执行步骤S603。若摄像头采集的画面中不包含人脸时，在预设时间段A内继续执行步骤S602，即对摄像头新采集的画面执行人脸检测算法，以确定是否包含人脸。若在预设时间段A后仍然未检测到人脸，则可以认为用户未靠近电子设备或者用户已离开电子设备，可以停止执行人脸检测算法，和/或关闭摄像头。

S603、电子设备确定是否满足自动启动护肤化妆指导功能的预设条件。

在本申请中，自动启动护肤化妆功能的预设条件可以参考上述步骤S303中自动启动肌肤检测功能的预设条件，可以与自动启动肌肤检测功能的预设相同或不同，这里不再赘述。步骤S601-步骤S603的其他内容可参考步骤S301-步骤S303中相关内容的描述。

S604、若确定满足自动护肤化妆指导功能，则电子设备启动护肤化妆指导功能。

一些示例中，若确定满足自动启动护肤化妆指导功能的预设条件，则自动启动护肤化妆指导功能。另一些示例中，若在预设时间段D内均未检测到满足自动启动护肤化妆指导功能的预设条件，则可以停止判断是否满足自动启动护肤化妆指导功能的预设条件。可选的，还可以停止执行人脸检测算法，和/或关闭摄像头。

S605、电子设备根据摄像头实时采集的画面识别用户的护肤动作或化妆动作。

S606、电子设备根据识别出用户的护肤动作或化妆动作推荐相关的指导方案。

其中，上述护肤动作包括：眼部护理动作、拍爽肤水/化妆水动作、涂乳液/霜动作、敷面膜动作、护肤按摩动作、使用美容仪的动作等。上述化妆动作包括：涂粉底动作、化眼妆动作、画美妆动作、涂口红动作、涂腮红动作。

在具体实现时，电子设备可通过手部特征点、脸部特征点的定位、跟踪和相对位置来判断动作类别(即属于护肤动作或化妆动作中的哪一项)，也可以通过特征点+深度神经网络的方式来实现动作分类。在识别出用户当前的护肤动作或化妆动作后，可以基于用户的护肤动作或化妆动作关联一些指导方案。例如，电子设备为智能镜时，可以在智能镜的显示屏中播放与当前护肤步骤或化妆步骤相关的视频。

一些示例中，如果检测到用户完成了某个护肤动作或化妆动作，则在软件层面可对该动作对应的护肤步骤进行自动打卡。如果完成化妆动作，还可以给予化妆效果评分、和软件上的化妆积分/激励措施。

另一些示例中，如果根据识别出的化妆动作确定用户完成预设的化妆步骤后，还可以自动启动肌肤检测功能，检测妆后的肌肤状态，与用户素颜的肌肤状态进行比对，以此评价用户的化妆效果。进一步的，如果此时评价效果较差时，还可以向用户推荐该化妆步骤相关的视频，以有针对性的指导用户化妆。

例如，如果识别出用户完成涂粉底动作后，自动启动肌肤检测功能，肌肤检测的步骤可以参考上述步骤S304和步骤S305中相关的内容。然后，基于此时完成涂粉底动作时的肌肤状态，与用户素颜时的肌肤状态进行比对，以评价用户涂完粉底后的效果。比如，电子设备显示提示信息或播放语音：“涂完粉底后，您的毛孔得分从75分提升至92分，黑头得分从80分提升至90分，色斑得分从88分提升至95分，遮瑕效果良好”。

又例如，如果识别出用户完成涂口红动作后，自动启动肌肤检测功能。基于此时完成涂粉底动作时的肌肤状态，与用户素颜时的肌肤状态进行比对，以评价用户涂完口红后的效果。一般，涂口红为化妆的最后流程，因此此时用户的肌肤状态可认为是用户完成化妆后妆容，此时的评价结果即为用户化妆后整体妆容的评价。比如，电子设备显示提示信息或播放语音：“化妆后，你的肌肤状态得分从80分提升到93分，化妆达人”。

由上可见，电子设备在用户照镜子或者自拍过程中，自动分析摄像头采集的人脸图像或者根据用户使用其他功能时的操作或者电子设备自身的状态，自动启动护肤化妆的指导功能，全程不需要用户进行额外操作。也就是说，电子设备实现用户无感的护肤化妆的指导功能，不会打扰到用户，用户可专注当前所做的事情，例如化妆、护肤、自拍等，提升用户的使用体验。另外，电子设备还可以在检测到用户完成部分化妆步骤后，自动启动肌肤检测功能，对当前化妆步骤完成的化妆效果进行评价，以便用户及时了解到化妆效果。

在又一些实施例中，电子设备还可以根据摄像头采集的人脸图像，进行人脸识别，自动为家庭中不同的用户建立不同的账号，并在不同的账号中记录各个用户的肌肤检测报告(例如肌肤日报、肌肤周报、肌肤年报等)，肌肤护理方案、指导方案等。

本申请实施例还提供一种芯片系统，如图7所示，该芯片系统包括至少一个处理器1101和至少一个接口电路1102。处理器1101和接口电路1102可通过线路互联。例如，接口电路1102可用于从其它装置(例如电子设备100的存储器)接收信号。又例如，接口电路1102可用于向其它装置(例如处理器1101)发送信号。示例性的，接口电路1102可读取存储器中存储的指令，并将该指令发送给处理器1101。当所述指令被处理器1101执行时，可使得电子设备执行上述实施例中的电子设备100(比如，手机)执行的各个步骤。当然，该芯片系统还可以包含其他分立器件，本申请实施例对此不作具体限定。

本申请实施例还提供一种装置，该装置包含在电子设备中，该装置具有实现上述实施例中任一方法中电子设备行为的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括至少一个与上述功能相对应的模块或单元。例如，检测模块或单元、显示模块或单元、处理模块或单元、以及拍摄模块或单元等。

本申请实施例还提供一种计算机存储介质，包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行如上述实施例中任一方法。

本申请实施例还提供一种计算机程序产品，当计算机程序产品在计算机上运行时，使得计算机执行如上述实施例中任一方法。

本申请实施例还提供一种电子设备上的图形用户界面，所述电子设备具有显示屏、摄像头、存储器、以及一个或多个处理器，所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序，所述图形用户界面包括所述电子设备执行如上述实施例中任一方法时显示的图形用户界面。

可以理解的是，上述终端等为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

本申请实施例可以根据上述方法示例对上述终端等进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本发明实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请实施例各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：快闪存储器、移动硬盘、只读存储器、随机存取存储器、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (18)

1.一种自动检测方法，用于肌肤检测、和/或护肤化妆指导，其特征在于，所述方法应用于具有摄像头的电子设备，所述方法包括：

所述电子设备检测到第一预设条件；

响应于检测到所述第一预设条件，所述电子设备启动所述摄像头采集至少一个第一图像；

当所述至少一个第一图像中包含人脸，且所述电子设备确定满足第二预设条件时，所述电子设备自动启动检测功能。

2.根据权利要求1所述的方法，其特征在于，所述电子设备是智能镜，所述智能镜具有镜面；

所述电子设备检测到第一预设条件，包括：所述智能镜检测到开启所述摄像头的操作；或者，所述智能镜检测到用户与所述智能镜的距离小于第一阈值。

3.根据权利要求1所述的方法，其特征在于，所述电子设备检测到第一预设条件，还包括：所述电子设备检测到开启第一应用的操作。

4.根据权利要求3所述的方法，其特征在于，所述第一应用是镜子应用或相机应用。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述第二预设条件包括：

检测到用户与所述电子设备的距离小于或等于第二阈值；或者，

检测到执行增大变焦倍率的操作；或者，

检测到所述用户执行预定义的化妆动作。

6.根据权利要求5所述的方法，其特征在于，所述至少一个第一图像包括预设数量个所述第一图像，所述检测到用户与所述电子设备的距离小于或等于第二阈值，包括：

所述预设数量个所述第一图像中，人脸的面积或者人脸中特定五官占据整个图像的面积比例大于或等于第三阈值；或者，人脸的宽度或者人脸中特定五官之间的距离占据整个图像宽度的比例大于或等于第三阈值。

7.根据权利要求1-6任一项所述的方法，其特征在于，在所述电子设备自动启动检测功能之后，所述方法还包括：

所述电子设备拍摄至少两张第二图像，并根据所述至少两张第二图像进行肌肤检测和/或用户动作识别；

根据肌肤检测结果和/或用户动作识别的结果，生成肌肤检测报告和/或指导报告。

8.根据权利要求7所述的方法，其特征在于，所述根据所述至少两张第二图像进行肌肤检测和/或用户动作识别，具体包括：

根据所述至少两张第二图像中满足第三预设条件的图像进行肌肤检测和/或用户动作识别；

其中，所述至少两张第二图像中满足所述第三预设条件的图像中，人脸的宽度或者人脸中特定五官的宽度或者人脸中特定五官的距离，占据整个图像宽度的比例位于预设区间；和/或，人脸向左或向后偏转的角度小于第二角度阈值；和/或，人脸抬头或低头的角度小于第三角度阈值；和/或，人脸上无遮挡物。

9.一种电子设备，其特征在于，包括：处理器、存储器、摄像头和显示屏，所述存储器、所述显示屏、所述摄像头与所述处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，当所述处理器从所述存储器中读取所述计算机指令，以使得所述电子设备执行如下操作：

检测到第一预设条件；

响应于检测到所述第一预设条件，启动所述摄像头采集至少一个第一图像；

当所述至少一个第一图像中包含人脸，且所述电子设备确定满足第二预设条件时，所述电子设备自动启动检测功能。

10.根据权利要求9所述的电子设备，其特征在于，所述电子设备是智能镜，所述智能镜具有镜面；

所述检测到第一预设条件，包括：检测到开启所述摄像头的操作；或者，检测到用户与所述智能镜的距离小于第一阈值。

11.根据权利要求9所述的电子设备，其特征在于，所述电子设备检测到第一预设条件，还包括：所述电子设备检测到开启第一应用的操作。

12.根据权利要求11所述的电子设备，其特征在于，所述第一应用是镜子应用或相机应用。

13.根据权利要求9-12任一项所述的电子设备，其特征在于，所述第二预设条件包括：

检测到用户与所述电子设备的距离小于或等于第二阈值；或者，

检测到执行增大变焦倍率的操作；或者，

检测到所述用户执行预定义的化妆动作。

14.根据权利要求13所述的电子设备，其特征在于，所述至少一个第一图像包括预设数量个所述第一图像，所述检测到用户与所述电子设备的距离小于或等于第二阈值，包括：

所述预设数量个所述第一图像中，人脸的面积或者人脸中特定五官占据整个图像的面积比例大于或等于第三阈值；或者，人脸的宽度或者人脸中特定五官之间的距离占据整个图像宽度的比例大于或等于第三阈值。

15.根据权利要求9-14任一项所述的电子设备，其特征在于，在自动启动检测功能之后，所述电子设备还执行如下操作：

拍摄至少两张第二图像，并根据所述至少两张第二图像进行肌肤检测和/或用户动作识别；

根据肌肤检测结果和/或用户动作识别的结果，生成肌肤检测报告和/或指导报告。

16.根据权利要求15所述的电子设备，其特征在于，所述根据所述至少两张第二图像进行肌肤检测和/或用户动作识别，具体包括：

根据所述至少两张第二图像中满足第三预设条件的图像进行肌肤检测和/或用户动作识别；

其中，所述至少两张第二图像中满足所述第三预设条件的图像中，人脸的宽度或者人脸中特定五官的宽度或者人脸中特定五官的距离，占据整个图像宽度的比例位于预设区间；和/或，人脸向左或向后偏转的角度小于第二角度阈值；和/或，人脸抬头或低头的角度小于第三角度阈值；和/或，人脸上无遮挡物。

17.一种计算机可读存储介质，其特征在于，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如权利要求1-8中任一项所述的自动检测方法。

18.一种芯片系统，其特征在于，包括一个或多个处理器，当所述一个或多个处理器执行指令时，所述一个或多个处理器执行如权利要求1-8中任一项所述的自动检测方法。

Images