CN114187649A - 护肤辅助方法、设备及存储介质 - Google Patents

护肤辅助方法、设备及存储介质 Download PDF

Info

Publication number
CN114187649A
CN114187649A CN202010857343.5A CN202010857343A CN114187649A CN 114187649 A CN114187649 A CN 114187649A CN 202010857343 A CN202010857343 A CN 202010857343A CN 114187649 A CN114187649 A CN 114187649A
Authority
CN
China
Prior art keywords
skin care
integrity
action
duration
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010857343.5A
Other languages
English (en)
Inventor
赵琳
卢曰万
姚钊盈
董辰
胡宏伟
郜文美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010857343.5A priority Critical patent/CN114187649A/zh
Priority to US18/042,702 priority patent/US20230334641A1/en
Priority to PCT/CN2021/109140 priority patent/WO2022042195A1/zh
Priority to EP21860035.1A priority patent/EP4191468A4/en
Publication of CN114187649A publication Critical patent/CN114187649A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30088—Skin; Dermal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Data Mining & Analysis (AREA)
  • Quality & Reliability (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

本申请提供一种护肤辅助方法、设备及存储介质，此方法包括：响应于作用于第一电子设备的第一操作，第一电子设备通过摄像头获取图像，图像中包含手部区域与面部区域，第一操作用于指示护肤过程的开始；在图像中提取目标图像特征，目标图像特征为与手部区域和面部区域相关的特征；根据多帧图像对应的目标图像特征，输出护肤过程的完整度，其中多帧图像为护肤过程中按时间顺序生成的图像。本申请通过输出护肤过程的完整度，可以帮助用户了解其在护肤过程中的护肤动作、护肤时间是否完整等，辅助用户护肤，进而为其提供指导。

Description

护肤辅助方法、设备及存储介质
技术领域
本申请涉及智能家居，尤其涉及一种护肤辅助方法、设备及存储介质。
背景技术
随着生活水平的不断提高，人们对护肤和化妆的要求也越来越高。因此，如何进行合理的护肤/化妆，以及找到适合自己的护肤、化妆产品，显得至关重要。
目前，为了帮助用户找到适合自己的化妆产品，通过分析采集的试妆人员的试妆图像，获得试妆人员的模拟的实际化妆过程的动作行为，对试妆图像进行图像处理，进行虚拟着妆，得到试妆人员的虚拟化妆效果，用户可根据虚拟化妆效果选择适合的化妆产品。但是该方案并不能对用户的日常护肤进行指导。
发明内容
本申请提供一种护肤辅助方法、设备及存储介质，以对用户的护肤进行指导。
第一方面，本申请实施例提供一种护肤辅助方法，应用于具有摄像头的第一电子设备，首先，响应于作用于第一电子设备的第一操作，第一电子设备通过摄像头获取图像，该图像包含手部区域与面部区域，第一操作用于指示护肤过程的开始；在图像中提取目标图像特征，目标图像特征为与手部区域和面部区域相关的特征；之后，根据多帧图像对应的目标图像特征，输出护肤过程的完整度，其中多帧图像为护肤过程中按时间顺序生成的图像。通过呈现护肤过程的完整度，可以帮助用户了解其在护肤过程中的护肤动作、护肤时间是否完整等，辅助用户护肤，为其提供指导。
一种可能的实施方式中，根据多帧图像对应的目标图像特征，输出护肤过程的完整度，可以包括：根据多帧图像对应的目标图像特征，确定多帧图像对应的护肤动作及每一护肤动作的持续时长；根据护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度。
上述过程中，首先根据目标图像特征确定护肤动作及其持续时长，进而根据护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度，提供一种具体的实现手段。
可选地，根据多帧图像对应的目标图像特征，确定多帧图像对应的护肤动作及每一护肤动作的持续时长，可以包括：根据多帧图像对应的目标图像特征和预先训练好的分类器，确定多帧图像对应的护肤动作；确定护肤动作的持续时长。
上述过程中，将目标图像特征作为预先训练好的分类器的输入参数，分类器的输出即输入的目标图像特征对应的护肤动作。在分类器识别到下一护肤动作时，可以理解，之前护肤动作结束，从初次识别待该护肤动作到识别到下一护肤动作，此段时间即该护肤动作的持续时长。
一种可能的实施方式中，确定护肤动作的持续时长之后，护肤辅助方法还可以包括：若护肤动作的持续时长大于预设时长，则提示用户进行下一护肤动作；或者，若护肤动作的持续时长小于预设时长，则提示用户继续进行护肤动作。
上述过程中，为每一护肤动作设置其应该持续的时长，也就是预设时长。小于该预设时长认为该护肤动作不完整，提示用户继续该护肤动作；大于该预设时长则认为该护肤动作已足够，提示用户进行下一护肤动作，从而可以使得用户明确后续动作，进一步提升用户体验。
一种可能的实施方式中，提示对应的时长为预设值，提示持续的时长大于预设值后，提示自动消失。在护肤过程中，用户关注于使用手部进行护肤，因此，对于提示等通过设置对应的时长等自动化手段，减少人为参与，进一步的提升用户体验。
一种可能的实施方式中，确定多帧图像对应的护肤动作之后，护肤辅助方法还包括：检测护肤动作是否规范；若护肤动作不规范，则提示护肤动作对应的规范动作。
在上述过程中，通过检测护肤动作的规范性，确定是否显示对应的规范动作，以在用户护肤出现问题时，对其进行指导。
一种可能的实施方式中，根据护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度，可以包括：根据护肤动作及每一护肤动作的持续时长、预设时长，确定护肤过程的完整度；输出护肤过程的完整度。
一种可能的实施方式中，在图像中提取目标图像特征，可以包括：若确定在不同帧图像之间手部相对面部存在位移，则在图像中提取目标图像特征。
上述过程中，在提取目标图像特征之前，首先判断图像中手部相对面部是否存在位移，只有在图像中手部相对面部存在位移时，才会在图像提取目标图像特征；否则，丢弃图像。
一种具体实现中，确定在不同帧图像之间手部相对面部存在位移，可以包括：提取图像中面部区域和手部区域的关键点信息；根据关键点信息，确定不同帧图像之间手部相对面部存在位移。
进一步地，根据关键点信息，确定不同帧图像之间手部相对面部存在位移，包括以下至少一种：
当不同帧图像之间手部关键点与面部关键点的相对位置距离改变，确定不同帧图像之间手部相对面部存在位移；
当不同帧图像之间手部关键点的位置信息改变，确定不同帧图像之间手部相对面部存在位移。
在上述过程中，提供两种具体的确定手部相对面部存在位移的实现方式：一种是通过手部关键点与面部关键点的相对位置距离改变；另一种是通过手部关键点的位置信息改变。
一种可能的实施方式中，输出护肤过程的完整度，可以包括：通过图表、图示和评分中的至少一种显示类型，显示护肤过程的完整度。这里，提供几种具体的完整度的显示类型。
可选地，图示包含不同护肤动作对应的圆环，其中圆环的完整程度用于指示对应护肤动作的完整度。
进一步地，护肤辅助方法还可以包括：响应于作用于圆环的第二操作，显示对应圆环的护肤详情。例如，用户点击或双击(即第二操作)圆环，电子设备对该点击或双击动作做出响应，显示对应圆环的护肤详情。
一种可能的实施方式中，护肤过程的完整度包含于分析报告中。此时，输出护肤过程的完整度，包括：显示虚拟按钮，该虚拟按钮用于指示分析报告；响应于作用于虚拟按钮的第三操作，显示分析报告的内容。
一种可能的实施方式中，输出护肤过程的完整度，包括：发送护肤过程的完整度给第二电子设备，由第二电子设备显示完整度。该实施方式是考虑到第一电子设备的显示限制，例如智能镜的显示屏较小，此时，通过将完整度发送给第二电子设备，例如手机等显示屏相对较大的电子设备，通过第二电子设备显示完整度；除显示屏面积的考量，另外，智能镜体相对固定，不方便携带，而手机等便携设备可以随身携带，这样用户可以随时随地查看护肤过程的完整度。
一种可能的实施方式中，根据多帧图像对应的目标图像特征，输出护肤过程的完整度之后，护肤辅助方法还包括：基于完整度，输出对用户进行护肤指导的策略。通过完整度，用户可以了解其该次护肤过程的详情，例如护肤过程是否存在的问题，进一步基于其中的问题输出相应策略，对用户进行护肤指导。
可选地，输出对用户进行护肤指导的策略，可以包括：通过图片和/或视频的形式，输出对用户进行护肤指导的策略。
一种可能的实施方式中，第一电子设备通过摄像头获取图像之后，护肤辅助方法还可以包括：对图像进行预处理，该预处理包括裁剪、缩放和旋转中的至少一种。相应地，在图像中提取目标图像特征，包括：在预处理后的图像中提取目标图像特征。
上述过程中，通过裁剪、缩放和旋转等预处理，降低护肤辅助方法的运行时间以及功耗。
第二方面，本申请实施例提供一种护肤辅助装置，应用于具有摄像头的第一电子设备。护肤辅助装置包括：
获取模块，用于响应于作用于第一电子设备的第一操作，通过第一电子设备的摄像头获取图像，图像中包含手部区域与面部区域，第一操作用于指示护肤过程的开始；
提取模块，用于在图像中提取目标图像特征，目标图像特征为与手部区域和面部区域相关的特征；
输出模块，用于根据多帧图像对应的目标图像特征，输出护肤过程的完整度，多帧图像为护肤过程中按时间顺序生成的图像。
该护肤辅助装置通过获取模块、提取模块和输出模块可以实现如上述任一实施方式中的方案，其实现原理和技术效果类似，此处不再赘述。
一些实施例中，输出模块，包括：
确定单元，用于根据多帧图像对应的目标图像特征，确定多帧图像对应的护肤动作及每一护肤动作的持续时长；
输出单元，用于根据护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度。
一些实施例中，确定单元具体用于：根据多帧图像对应的目标图像特征和预先训练好的分类器，确定多帧图像对应的护肤动作；以及，确定护肤动作的持续时长。
一些实施例中，输出单元还用于：在确定单元确定护肤动作的持续时长之后，若护肤动作的持续时长大于预设时长，则提示用户进行下一护肤动作；或者，若护肤动作的持续时长小于预设时长，则提示用户继续进行护肤动作。
一些实施例中，提示对应的时长为预设值，提示持续的时长大于预设值后，提示自动消失。
一些实施例中，输出单元还用于：在确定单元确定多帧图像对应的护肤动作之后，检测护肤动作是否规范；若护肤动作不规范，则提示护肤动作对应的规范动作。
一些实施例中，输出单元具体用于：根据护肤动作及每一护肤动作的持续时长、预设时长，确定护肤过程的完整度；输出护肤过程的完整度。
一些实施例中，提取模块具体用于：若确定在不同帧图像之间手部相对面部存在位移，则在图像中提取目标图像特征。
一些实施例中，提取模块在确定在不同帧图像之间手部相对面部存在位移时，具体用于：提取图像中面部区域和手部区域的关键点信息；根据关键点信息，确定不同帧图像之间手部相对面部存在位移。
一些实施例中，提取模块在根据关键点信息，确定不同帧图像之间手部相对面部存在位移时，包括以下至少一种：
当不同帧图像之间手部关键点与面部关键点的相对位置距离改变，确定不同帧图像之间手部相对面部存在位移；
当不同帧图像之间手部关键点的位置信息改变，确定不同帧图像之间手部相对面部存在位移。
一些实施例中，输出模块具体用于：通过图表、图示和评分中的至少一种显示类型，显示护肤过程的完整度。
一些实施例中，图示包含不同护肤动作对应的圆环，其中圆环的完整程度用于指示对应护肤动作的完整度。
一些实施例中，输出模块还用于：响应于作用于圆环的第二操作，显示对应圆环的护肤详情。
一些实施例中，护肤过程的完整度包含于分析报告中。此时，输出模块还用于：显示虚拟按钮，虚拟按钮关联于分析报告；响应于作用于虚拟按钮的第三操作，显示分析报告的内容。
一些实施例中，输出模块具体用于：发送护肤过程的完整度给第二电子设备，由第二电子设备显示完整度。
一些实施例中，输出模块还用于：基于完整度，输出对用户进行护肤指导的策略。
一些实施例中，输出模块在输出对用户进行护肤指导的策略时，具体用于：通过图片和/或视频的形式，输出对用户进行护肤指导的策略。
一些实施例中，提取模块还用于：对图像进行预处理，预处理包括裁剪、缩放和旋转中的至少一种。相应地，提取模块在图像中提取目标图像特征时，具体为：在预处理后的图像中提取目标图像特征。
在上述任一种可能的实施方式的基础上：
可选地，第一电子设备为智能镜。
其中，完整度可以包括护肤动作是否标准、护肤动作是否遗漏和护肤时间是否充足等中的至少一种。
可选地，上述提及的分类器可以包括以下分类器中的至少一种：
支持向量机、随机森林、决策树、神经网络和集成学习，等等。
可选地，目标图像特征包括以下特征中的至少一种：
手部关键点和面部关键点的欧氏距离；
手部关键点和面部关键点的曼哈顿距离；
手部关键点和面部关键点的相对位移；
光流特征；
等等。
第三方面，本申请实施例提供一种电子设备，包括：摄像头、存储器和处理器。其中，存储器上存储有可供处理器执行的计算机程序；当处理器读取并执行计算机程序时，使得处理器执行如上任一实施例中所述的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序包含至少一段代码，至少一段代码可由处理器执行，实现如上任一实施例中所述的方法。
第五方面，本申请实施例还提供了一种芯片，芯片包括可编程逻辑电路和输入接口。输入接口用于获取待处理的数据；逻辑电路用于对待处理的数据执行上述任一实施例所述的方法，其实现原理以及有益效果类似，此处不再进行赘述。
第六方面，本申请实施例还提供了一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行上述任一实施例所述的方法，其实现原理以及有益效果类似，此处不再进行赘述。
本申请的这些和其它方面在以下(多个)实施例的描述中会更加简明易懂。
附图说明
图1为美妆镜的一外部结构示例图；
图2a为本申请实施例提供的一美妆镜应用示意图；
图2b为本申请实施例提供的另一美妆镜应用示意图；
图3为本申请实施例提供的一通信系统的示例图；
图4为本申请一实施例提供的护肤辅助方法的流程图；
图5a为面部区域关键点的一示例图；
图5b为本申请实施例提供的手部区域关键点和面部区域关键点的一示例图；
图6为本申请另一实施例提供的护肤辅助方法的流程图；
图7a为本申请实施例提供的护肤过程的一界面示例图；
图7b为本申请实施例提供的护肤过程的另一界面示例图；
图8a为本申请实施例提供的护肤过程的又一界面示例图；
图8b为本申请实施例提供的护肤过程的又一界面示例图；
图8c为本申请实施例提供的护肤过程的又一界面示例图；
图8d为本申请实施例提供的护肤过程的又一界面示例图；
图9a为本申请实施例提供的护肤过程的完整度的一界面示例图；
图9b为本申请实施例提供的护肤过程的完整度的另一界面示例图；
图9c为本申请实施例提供的护肤过程的完整度的又一界面示例图；
图10a为本申请实施例提供的护肤过程的完整度的又一界面示例图；
图10b为本申请实施例提供的护肤过程的完整度的又一界面示例图；
图10c为本申请实施例提供的护肤过程的完整度的又一界面示例图；
图11a为本申请实施例提供的护肤过程的完整度的又一界面示例图；
图11b为本申请实施例提供的护肤过程的完整度的又一界面示例图；
图12为本申请一实施例提供的护肤指导的示例图；
图13为本申请又一实施例提供的护肤辅助方法的流程图；
图14为本申请一实施例提供的护肤辅助装置的结构示意图；
图15为本申请一实施例提供的电子设备的结构示意图；
图16为本申请另一实施例提供的电子设备的结构示意图。
具体实施方式
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。“/”表示“或”的关系。
智能镜，集镜面功能与信息显示功能于一体，通过内置的通信模块与电子设备进行交互，可以实现信息显示的功能。所述电子设备可以是手机、智能秤、服务器等。示例性地，智能镜与智能秤进行交互，智能秤将当前测量的体重数据发送至智能镜，由智能镜进行显示；或者，利用智能镜与电子设备的交互，用户可以利用早晚洗漱时间通过智能镜阅读新闻等，以充分利用碎片时间。美妆镜作为智能镜的一种具体实现方式，其主要的功能就是帮助用户进行日常的护肤和化妆。
其中，图1为美妆镜的一外部结构示例图。参考图1，美妆镜包括但不限于摄像头、镜面、显示屏和照明装置等。其中，通过摄像头可以获取用户在使用美妆镜过程中的视频流或图像；通过镜面，用户可以了解其在护肤过程中的镜像；通过显示屏可以进行信息的查收或查阅等；照明装置可以提供光照，以便用户可以更仔细的查看皮肤状况等。可选地，在不同模式下，美妆镜的镜子功能可以切换，例如，在镜像功能下为镜面，在显示功能下为显示屏。或者，显示屏为镜面的一部分，即所述美妆镜同时具备镜像功能和显示功能。
实际应用中，当用户坐/站在美妆镜前或者用户从美妆镜前经过时，美妆镜可以通过红外等技术实现自启动；或者，用户点击美妆镜上的启动按钮，启动美妆镜，如图2a所示。一种实现中，美妆镜从用户按下启动按钮开始，打开美妆镜上的摄像头，通过摄像头获取图像；或者，另一种实现中，美妆镜中安装有美妆应用程序(Appliction，以下简称APP)，用户打开该名称为“护肤”的美妆APP时，美妆镜默认打开摄像头开始获取图像，如图2b所示。
根据对用户的日常护肤过程调研，在清晨，用户在美妆镜前进行护肤的时长大约10分钟。由于用户清晨赶时间只追求基本步骤，没有时间多步骤的精细护肤，在上妆之前需要确认护肤品被充分吸收。另外，在晚间，用户在美妆镜前护肤的时长大约25分钟。由于用户晚间时间充裕，能够有大量的时间用在护肤过程中，例如确保面膜与面部足够贴合，配合手法确保更好效果。
基于上述调研结果，以及现有试妆方案不能对用户的护肤进行指导的缺陷，本申请实施例提供一种护肤辅助方法、设备及存储介质，通过呈现用户护肤过程的完整度，可以帮助用户了解其在护肤过程中的护肤动作、护肤时间是否完整等，辅助用户护肤，为其护肤提供指导。
需说明的是，对于本申请实施例提供的护肤辅助方案，其执行主体可以是智能镜，也可以是手机、计算机、服务器、服务器集群等具备一定算力的电子设备。
示例地，若以智能镜以外的电子设备作为执行主体，则智能镜将其获取的视频流或图像发送给执行主体，由执行主体对视频流或图像进行分析，执行护肤辅助方法，具体场景图如图3所示例。图3为本申请实施例提供的一通信系统的示例图。如图3所示，该通信系统包括手机和智能镜，手机和智能镜之间进行近场通信，以实施下述各本申请实施例提供的技术方案。该图例中，电子设备以手机为例进行说明，但本申请实施例不以此为限制。
或者，由智能镜作为执行主体。具体地，智能镜在获取用户在护肤过程中的视频流或图像后，对其进行分析，执行护肤辅助方法。
图4为本申请一实施例提供的护肤辅助方法的流程图。本申请实施例提供一种护肤辅助方法，应用于具有摄像头的第一电子设备，例如如上所述的智能镜。如图4所示，该护肤辅助方法包括：
S301、响应于作用于第一电子设备的第一操作，第一电子设备通过摄像头获取图像。
其中，图像中包含手部区域与面部区域。第一操作用于指示护肤过程的开始。参考图2a和图2b，智能镜检测到用户的第一操作，并对其进行响应，开始获取图像。其中，该第一操作可以是用户点击智能镜上启动按钮的操作；或者，该第一操作可以是用户点击或双击或长按智能镜上已安装的美妆APP的操作，等等。
实际应用中，智能镜在获取用户在护肤过程中的视频流和/或周期性获取图像之后，检测各帧图像中是否包含手部区域与面部区域，其中，视频流包含多帧图像。可以理解，护肤过程即用户使用手部区域对面部区域进行护理的操作，包括针对面部区域不同部位的护理操作，例如，针对额部、脸部、下巴等区域进行的水、乳、霜涂抹；以及，针对眼部的眼霜涂抹，等等。因此，首先需要检测图像中是否包含手部区域与面部区域，对不包含手部区域与面部区域的图像进行筛除。
具体地，智能镜可以通过人脸检测算法或人脸关键点检测算法检测图像中是否包含面部区域，通过手部检测算法或手部关键点检测算法检测图像中是否包含手部区域。至于人脸检测算法和手部关键点检测算法的具体描述可参考相关技术，此处不再赘述。其中，采用人脸关键点检测算法对图像进行检测，可以得到面部区域的关键点信息，例如图5a所示的面部区域的68个关键点的信息，包括眼周、嘴周、鼻翼、脸部轮廓这些位置的关键点，通过提取关键点，可以将面部轮廓勾勒出来。参考图5b，示出面部和手部的关键点。
S302、在图像中提取目标图像特征。
其中，目标图像特征为与手部区域和面部区域相关的特征。
对于包含手部区域与面部区域的图像，进一步提取图像中包含的目标图像特征，该目标图像特征为与手部区域和面部区域相关的特征。由于要分析手部区域相对面部区域的动作，因此这里提取的是与手部区域和面部区域相关的特征。
作为示例，目标图像特征可以包括以下特征中的至少一种：
手部关键点和面部关键点的欧氏距离；
手部关键点和面部关键点的曼哈顿距离；
手部关键点和面部关键点的相对位移；
光流特征；
等等。
关于欧氏距离、曼哈顿距离、相对位移和光流特征的说明，可参考相关技术，本申请实施例不予赘述。
仍以面部区域的68个关键点，以及手部区域的21个关键点(包括位于关节和指尖的关键点)为例，其中，欧氏距离可以是面部区域的预设关键点与手部区域的预设关键点之间的欧氏距离。至于预设关键点的选取，本申请实施例不予限制，具体可根据实际需求或历史经验进行选取。
S303、根据多帧图像对应的目标图像特征，输出护肤过程的完整度。
其中，多帧图像为护肤过程中按时间顺序生成的图像。
示例地，护肤过程对应有护肤动作，基于护肤过程中按时间顺序生成的多帧图像对应的目标图像特征，可以得到护肤动作等信息，这些信息可以在一定程度上反应护肤过程的完整度。例如，若用户忘记涂抹眼霜，输出的护肤过程的完整度中会指示这一护肤动作的遗漏；或者，输出的护肤过程的完整度不包含这一护肤动作，用户通过输出的完整度可以确定涂抹眼霜这一护肤动作的遗漏。例如，通常情况下，用户洗脸后要先通过用手拍/用化妆棉/用美妆蛋等在面部涂抹爽肤水/柔肤水进行清洁，然后用手指指腹在眼部下方、眼皮涂抹眼霜进行抗衰，最后涂抹面部精华、乳液、面霜、防晒和隔离等进行美白，其中，防晒和隔离的涂抹主要在日间。由于洗脸、涂抹爽肤水/柔肤水的动作与涂抹乳液或霜的动作类似，都是对面部区域的按摩，因此，这里可以将涂抹水乳霜的动作定义为护肤动作A，将涂抹眼霜的动作定义为护肤动作B，完整的护肤过程对应为：护肤动作A-护肤动作B-护肤动作A。
在一种具体的实现方式中，智能镜可以通过显示屏输出护肤过程的完整度，也即显示护肤过程的完整度，这样，用户可以基于该完整度了解其护肤过程，进而对其进行完善或改进。
在另一种具体的实现方式中，当智能镜不具备显示功能时，其可以通过与其通信的其他具备显示功能的电子设备显示护肤过程的完整度。此时，智能镜将输出的护肤过程的完整度发送给其他电子设备(即第二电子设备)，由其他电子设备进行显示。
其中，护肤过程的完整度是根据历史大数据或实际需求设置的，对其具体含义，本申请实施例不予限制。
本申请实施例提供的护肤辅助方法，首先，响应于作用于第一电子设备的第一操作，第一电子设备通过摄像头获取图像，图像中包含手部区域与面部区域，第一操作用于指示护肤过程的开始，并在图像中提取目标图像特征，目标图像特征为与手部区域和面部区域相关的特征；之后，根据多帧图像对应的目标图像特征，输出护肤过程的完整度，其中多帧图像为护肤过程中按时间顺序生成的图像。通过护肤过程的完整度的输出，可以帮助用户了解其在护肤过程中的护肤动作、护肤时间是否完整等，辅助用户护肤，为其提供指导。
考虑到用户在美妆镜前进行护肤时，正确的护肤动作可以大大促进肌肤对护肤品的吸收，因此，在上述实施例的基础上，完整度可以包括护肤动作是否标准、护肤动作是否遗漏和护肤时间是否充足中的至少一种。其中，对于护肤动作是否遗漏，其说明与上述实施例中S303的相关描述相同，此处不再赘述。另外，护肤动作是否标准和护肤时间是否充足，与护肤动作是否遗漏的相关描述类似，这里也不再赘述。
示例性地，由于电子设备输出的护肤过程的完整度是根据多帧图像对应的目标图像特征获得的，此多帧图像对应一时长，通过将该时长与总的预设护肤时长进行比较，可以反映护肤时间是否充足。该情况下，上述根据多帧图像对应的目标图像特征，输出护肤过程的完整度，可以包括：根据多帧图像对应的目标图像特征及护肤过程持续的时长，输出护肤过程的完整度。
另外，对于护肤动作是否标准，可以理解，在一护肤动作的持续时间内，该护肤动作所作用的面部区域及护肤手法是可以通过该持续时间内的图像获知的，基于该护肤动作所作用的面部区域及护肤手法，可以确定该护肤动作是否标准。该情况下，上述根据多帧图像对应的目标图像特征，输出护肤过程的完整度，可以包括：根据多帧图像对应的目标图像特征、护肤动作所作用的面部区域及护肤手法，输出护肤过程的完整度。
以下结合图6，对图4所示的S303进行进一步说明。参考图6，S303可以包括：
S3031、根据多帧图像对应的目标图像特征，确定多帧图像对应的护肤动作及每一护肤动作的持续时长。
一些实施例中，该步骤可以具体为：根据多帧图像对应的目标图像特征和预先训练好的分类器，确定多帧图像对应的护肤动作；确定护肤动作的持续时长。
其中，分类器是预先训练好的用于对护肤动作进行分类的模型，其具体可以包括以下分类器中的至少一种：支持向量机(support vector machine，SVM)、随机森林、决策树、神经网络和集成学习(adaboost)等。
具体地，将多帧图像对应的目标图像特征作为分类的输入参数，经分类器的处理，得到目标图像特征对应的护肤动作，也就是分类器的输出。作为一种示例，分类器可以区分护肤动作A、护肤动作B和护肤动作C。其中，护肤动作A和护肤动作B的相关描述如前所述，护肤动作C表示未进行护肤。
在确定护肤动作之后，基于该护肤动作对应的至少一帧图像，可以确定该护肤动作的持续时长。或者，将分类器第一次输出护肤动作作为该护肤动作对应的起始时刻，将分类器第一次输出下一护肤动作作为该护肤动作对应的结束时刻以及该下一护肤动作的起始时刻，以此类推，直至护肤过程的结束，从而得到每一护肤动作的持续时长。
具体应用中，可为每个护肤动作设置一预设时长，若护肤动作的持续时长大于其对应的预设时长，则提示用户进行下一步。例如，参考图7a，若美妆镜在启动后，在经历预设时长T1后仍没有检测到护肤动作，则提示用户进行第一步：清洁；在用户持续清洁的时长达到预设时长T2后，提示用户进行第二步：抗衰；在用户持续抗衰的时长达到预设时长T3后，提示用户进行第三步：美白。或者，参考图7b，若美妆镜在启动后，在经历时长T1后仍没有检测到护肤动作，则提示用户进行护肤动作A；在用户持续护肤动作A的时长达到预设时长T2后，提示用户进行护肤动作B；在用户持续护肤动作B的时长达到预设时长T3后，提示用户进行护肤动作A。
需说明的是，以上仅给出两种提示示例，但本申请不以此为限，还可以通过其他提示方式通知用户当前应进行的护肤动作。
进一步地，在护肤动作的持续时长小于预设时长时，可通过智能镜上的显示屏提示用户继续当前护肤动作。例如，参考图8a，用户正在进行第一步：清洁，由于清晨时间有限，用户进行第一步：清洁的持续时长可能较短，即开始第二步：抗衰，即用户持续清洁的时长t2小于预设时长T2，此时，显示屏显示类似“继续清洁”的提示内容，并在提示内容的显示时长达到预设时长T4后，自动消失，此时，(t2+T2)<T4，用户正在进行的护肤动作有两种情况：
①回到第一步：清洁；
②继续第二步：抗衰。
或者，若护肤动作的持续时长大于预设时长，则提示用户进行下一护肤动作。例如，参考图8b，用户正在进行第一步：清洁，用户进行第一步：清洁的持续时长t2大于预设时长T2，此时，显示屏显示“第二步：抗衰”的提示内容；用户进行第二步：抗衰的持续时长t3大于预设时长T3，此时，显示屏显示“第三步：美白”的提示内容。
一些实施例中，智能镜还可以检测护肤动作是否规范，并在护肤动作不规范时，提示该护肤操作对应的规范动作给用户。例如，如图8c所示，用户正在进行第一步：清洁，此时，智能镜检测到护肤动作不规范，通过显示屏提示类似“规范清洁动作”的提示内容给用户；当用户点击这一提示内容，智能镜显示规范清洁动作的详情给用户，例如这里所示的“指腹按摩脸部”或图中未示出的“手部拍打脸部”等；并在用户点击详情后，返回显示“第一步：清洁”。又例如，如图8d所示，用户正在进行第一步：清洁，此时，智能镜检测到护肤动作不规范，通过显示屏提示类似“规范清洁动作”的提示内容给用户；当用户点击这一提示内容，智能镜通过显示屏演示规范清洁动作给用户；并在用户再次点击显示屏后，返回显示“第一步：清洁”。
S3032、根据护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度。
智能镜根据护肤动作及其对应的时长、预设时长，可以得到护肤过程的完整度；然后，输出护肤过程的完整度。
需明确，预设护肤时长是指整个护肤过程持续的时长，预设时长是指一护肤动作持续的时长，两个为不同的概念，其中，预设护肤时长大于或等于预设时长。
在上述基础上，进一步地，在图像中提取目标图像特征，可以包括：若确定在不同帧图像之间手部相对面部存在位移，则提取目标图像特征。也就是说，只有在确定不同帧图像之间手部相对面部存在位移时，才会提取目标图像特征，以排除手部一直放到脸上没有进行任何动作的情况。
一些实施例中，上述确定在不同帧图像之间手部相对面部存在位移，可以包括：提取图像中面部区域和手部区域的关键点信息；根据关键点信息，确定不同帧图像之间手部相对面部存在位移。其中，根据关键点信息，确定不同帧图像之间手部相对面部存在位移，包括以下至少一种：
一种情况，当不同帧图像之间手部关键点与面部关键点的相对位置距离改变，确定不同帧图像之间手部相对面部存在位移。示例地，关键点可以具体为面部关键点与手部中心点。手部相对面部存在位移也就是在不同帧图像中，手部中心点与面部关键点的相对位置距离发生改变。进一步地，不同帧图像中，手部中心点与面部关键点的相对位置距离的改变值大于预设改变值时，确定不同帧图像之间手部相对面部存在位移；或者，不同帧图像中，手部中心点与面部关键点的相对位置距离的改变值小于预设改变值时，确定不同帧图像之间手部相对面部不存在位移。仍参考图5b，图5b示出了两帧时间相邻的图像。其中，箭头左边图像中用户的嘴部是闭合的，箭头右边图像中用户的嘴部是微张的，该情况下，仅是嘴部形状在改变，其中面部关键点与手部中心点相对位置距离改变很小，可以认为这两帧图像之间手部相对面部不存在位移。
另一种情况，当不同帧图像之间手部关键点的位置信息改变，确定不同帧图像之间手部相对面部存在位移。
以上实施例主要介绍了如何确定护肤过程的完整度，接下来介绍如何对其进行输出。
一种具体实现中，输出护肤过程的完整度，可以包括：通过图表、图示和评分中的至少一种显示类型，输出护肤过程的完整度。示例地，图9a和图9b以图示的形式输出护肤过程的完整度；图9c以图表的形式输出护肤过程的完整度。
参考图9a，其中，不同的圆环代表不同的护肤动作，整个圆环完全明显呈现，表示对应的护肤动作是完整的、充分的；若圆环仅部分明显呈现，表示对应的护肤动作的持续时长没有达到预设时长，是不完整或不充分的；若圆环全部不明显，表示对应的护肤动作遗漏。其中，图9a是以护肤动作A和护肤动作B为例进行说明的，但本申请实施例不以此为限制。例如，还可以将一个圆环进一步分为至少两个部分，每一部分分别用于表示不同的护肤动作。
参考图9b，其中，不同的圆环代表不同功能的护肤动作，整个圆环完全明显呈现，表示对应功能的护肤动作是完整的、充分的；若圆环仅部分明显呈现，表示对应功能的护肤动作的持续时长没有达到预设时长，是不完整或不充分的；若圆环全部不明显，表示对应功能的护肤动作遗漏。示例地，图9b是以抗衰、清洁和美白三种功能的护肤动作为例进行说明的，但本申请实施例不以此为限制。其中，抗衰可以表示为涂抹眼霜的护肤动作过程，例如，在整个护肤过程中，用户并未使用眼霜以及使用眼霜过程时间较短，那么在抗衰这一项上可通过环形的长度来表现；清洁可以表示为涂抹水乳的护肤动作过程，当用户未使用水乳或者使用水乳进行护肤的时长较短，则在该环形的长度上有一定的体现，环形越长，则说明完整度越高；美白可以体现在做面膜等护肤动作及时长上。
参考图9c，其中，100表示对应的护肤动作是完整的、充分的；大于0，且小于100的数值表示对应的护肤动作的持续时长没有达到预设时长，是不完整或不充分的；0表示对应的护肤动作遗漏。示例地，图9c是以护肤动作A和护肤动作B为例进行说明的，其中，护肤动作A的完整度为80，护肤动作B的完整度为97，但本申请实施例不以此为限制。
另外，通过评分的显示类型，输出护肤过程的完整度，示例如下：
护肤动作A：80分；
护肤动作B：100分。
其中，完整度对应的评分为0～100，其中，评分越高说明完整度越高。因此，在上述示例中，护肤动作A需进一步完善。
此外，还可以在用户指向或点击完整度时，显示对应区域的详情。以图9b为例，当用户点击“美白”对应的圆环时，智能镜通过显示屏显示美白详情(即智能镜响应于作用于圆环的第二操作，显示对应圆环的护肤详情)，如图10a所示：
美白详情：
时长：1分钟
动作：规范
完整度：80％，小于预设时长(1.5分钟)。
或者，当用户点击“抗衰”对应的圆环时，智能镜通过显示屏显示抗衰详情，如图10b所示：
抗衰详情：
时长：1分钟
动作：规范
完整度：100％
可选地，在完整度为100％时，显示表示“棒极了”的手势，例如图10c所示。
考虑到智能镜的显示屏限制，智能镜可以将完整度发送给与其进行通信的其他电子设备，例如图3所示的手机。示例地，参考图11a，用户点击或指向智能镜显示的图示形式的完整度，响应于这一动作，智能镜发送对应区域的详情给手机，这里以用户点击美白对应的圆环为例，发送美白详情给手机，由手机显示美白详情。或者，智能镜生成完整度的分析报告，在用户指向或点击标识有类似“分析报告”字样的虚拟按钮或区域时，智能镜发送分析报告给手机，由手机显示分析报告内容，如图11b所示。另需说明的是，分析报告可以是整个护肤过程对应的报告，也可以是其中某一护肤动作对应的分析报告，对此本申请不进行限制。
进一步地，在输出护肤过程的完整度之后，上述护肤辅助方法还可以包括：基于完整度，输出对用户进行护肤指导的策略。示例地，通过图片和/或视频的形式，输出对用户进行护肤指导的策略。
例如，当用户在清晨护肤过程中，忘记涂抹眼霜，这样在电子设备输出的护肤过程的完整度中指示该护肤操作的遗漏，并基于该护肤操作输出如何正确进行眼霜的涂抹，如图12所示，通过箭头或者手指等向上向下的图片指示或告诉用户应该在眼睛部位的上眼脸和下眼睑涂抹眼霜等，以及使用动画与用户进行互动指示用户正确和标准护肤动作。其中，虚线箭头用于表示护肤动作的承接。
或者，在分析报告或护肤动作对应的详情中，包含护肤指导的相关内容，示例地，如图11a和图11b所示。
该实施例通过输出护肤过程的完整度，可视化呈现对用户护肤过程的评价，并进一步基于完整度给出护肤指导的策略，能够提醒用户在护肤过程中遇到的问题并提供护肤建议，进一步帮助用户促进肌肤对护肤产品的吸收。
另外，考虑到电子设备的功耗问题，参考图13，该护肤辅助方法可以包括以下步骤：
S701、响应于作用于第一电子设备的第一操作，第一电子设备通过摄像头获取图像。
示例性地，实际应用中，用户在智能镜前进行护肤时，一般通过摄像头获取用户的护肤视频，由于需要降低电子设备的功耗，需要实时从护肤视频中提取部分关键图像帧作为后续要处理的图像。或者，电子设备可以基于预设算法，获取预设时间间隔的图像帧为关键图像帧。可选地，提取关键图像帧，可以具体为：检测图像中是否包含手部区域与面部区域，若图像中包含手部区域与面部区域，则保留，作为关键图像帧；若图像中不包含手部区域或面部区域，则丢弃。
S702、对图像进行预处理。
其中，预处理可以包括但不限于裁剪、缩放和旋转等中的至少一种。由于智能镜通过摄像头获取的图像尺寸比较大，为了降低护肤辅助方法的运行时间以及功耗，需要对图像进行裁切或缩放或旋转等处理。
S703、提取图像中面部区域和手部区域的关键点信息。
S704、根据关键点信息，确定不同帧图像之间手部相对面部是否存在位移。
若不同帧图像之间手部相对面部存在位移，则执行S705；所述不同帧图像可以是在时间上相邻的两帧图像，也可以为了节约电子设备的功耗，分析预定时间间隔的不同帧图像，该预定时间间隔大于摄像头的视频的帧间隔。若不同帧图像之间手部相对面部不存在位移，则返回S701。
S705、在图像中提取目标图像特征。
S706、根据多帧图像对应的目标图像特征，确定多帧图像对应的护肤动作及每一护肤动作的持续时长。
S707、根据护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度。
可选地，输出护肤过程的完整度，可以包括：显示护肤过程的完整度。其中，图像是由智能镜上的摄像头采集得到的。显示护肤过程的完整度，包括：在智能镜的显示屏上，显示护肤过程的完整度，即智能镜作为护肤辅助方法的执行主体。
或者，输出护肤过程的完整度，可以包括：发送护肤过程的完整度给第二电子设备，由第二电子设备显示护肤过程的完整度。
以上提供两种输出方案，分别由智能镜或第二电子设备呈现护肤过程的完整度。
需要说明的是，上述任一实施例可以单独实施，也可以是上述各实施例中至少两个任意结合来实施，对此不做限定。
可以理解的是，上述各个实施例中，由第一电子设备实现的操作和步骤也可以由可用于第一电子设备的部件(例如芯片或者电路)实现，本申请实施例对此不作限定。
图14为本申请一实施例提供的护肤辅助装置的结构示意图。该护肤辅助装置可以是第一电子设备，也可以是第一电子设备的部件(例如，集成电路，芯片等等)，或者可以是其他通信模块，用于实现上述任一实施例中对应于第一电子设备的操作。如图14所示，本实施例的护肤辅助装置70包括：获取模块71、提取模块72和输出模块73。本实施例的护肤辅助装置70通过获取模块71、提取模块72和输出模块73可以实现如上述任一实施例中的方案，其实现原理和技术效果类似，此处不再赘述。
图15为本申请一实施例提供的电子设备的结构示意图。如图15所示，本实施例所述的电子设备600可以是前述方法实施例中提到的第一电子设备(或者可用于第一电子设备的部件)。电子设备600可用于实现上述方法实施例中描述的对应于第一电子设备的方法，具体参见上述方法实施例中的说明。示例地，该电子设备为智能镜。
电子设备600包括：至少一个处理器601，至少一个网络接口604或者其他用户接口603，存储器605，至少一个通信总线602。通信总线602用于实现这些组件之间的连接通信。该电子设备600可选的包含用户接口603，包括显示器(例如，触摸屏等)。
存储器605可以包括只读存储器和随机存取存储器，并向处理器601提供指令和数据。存储器605的一部分还可以包括非易失性随机存取存储器(NVRAM)。
在一些实施方式中，存储器605存储了如下的元素，可执行模块或者数据结构，或者他们的子集，或者他们的扩展集：
操作系统6051，包含各种系统程序，用于实现各种基础业务以及处理基于硬件的任务；
应用程序模块6052，包含各种应用程序，例如如前所述的美妆APP、媒体播放器(Media Player)、浏览器(Browser)等，用于实现各种应用业务。
在本申请实施例中，通过调用存储器605存储的程序或指令，处理器601用于执行如上任一实施例中所述的方法，本申请实施例在此不再赘述。
可见，采用上述方案后，可以帮助用户了解其在护肤过程中的护肤动作、护肤时间是否完整等，辅助用户护肤，进而为其提供指导。
图16为本申请另一实施例提供的电子设备的结构示意图。请参见图16，电子设备20包括处理器21，以及与处理器21连接的存储器22、通信模块23、摄像头24、显示屏25和音视频模块26。
处理器21可以包括一个或多个处理单元，例如：处理器21可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processingunit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
在一些实施例中，处理器21中还可以设置存储器，用于存储指令和数据。例如，处理器21中的存储器为高速缓冲存储器。该存储器可以保存处理器21刚用过或循环使用的指令或数据。如果处理器21需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器21的等待时间，因而提高了系统的效率。
在一些实施例中，处理器21可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuitsound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purposeinput/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。I2S接口可以用于音频通信。在一些实施例中，处理器21可以包含多组I2S总线。处理器21可以通过I2S总线与音视频模块26耦合，实现处理器21与音视频模块26之间的通信。
存储器22可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。存储器22可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备20使用过程中所创建的数据(比如音频数据，电话本等)等。此外，存储器22可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器21通过运行存储在存储器22的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备20的各种功能应用以及数据处理。
通信模块23可以提供应用在电子设备20上的包括2G/3G/4G/5G等无线通信的解决方案。通信模块23可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noiseamplifier，LNA)等。通信模块23可以由天线接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器21进行解调。通信模块23还可以对经调制解调处理器21调制后的信号放大，经天线转为电磁波辐射出去。在一些实施例中，通信模块23的至少部分功能模块可以被设置于处理器21中。在一些实施例中，通信模块23的至少部分功能模块可以与处理器21的至少部分模块被设置在同一个器件中。例如，通信模块23可以接收本申请所示的视频，并将接收到的视频存储至存储器22。
摄像头24可以进行图像或者视频的拍摄。例如，摄像头24可以在处理器21的控制下拍摄本申请所示的视频，并将视频存储至存储器22。
显示屏25用于显示图像，视频等。显示屏25包括显示面板。显示面板可以采用液晶显示器(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备20可以包括1个或N个显示屏25，N为大于1的正整数。
音视频模块26可以播放存储器22中存储的视频，并通过显示屏25显示播放的视频。例如，音视频模块26用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音视频模块26还可以用于对音频信号编码和解码。在一些实施例中，音视频模块26可以设置于处理器21中，或将音视频模块26的部分功能模块设置于处理器21中。音视频模块26还可以用于对数字视频压缩或解压缩。电子设备20可以支持一种或多种视频编解码器。这样，电子设备20可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
本申请实施例还提供了一种芯片，所述芯片包括可编程逻辑电路和输入接口，所述输入接口用于获取待处理的数据，所述逻辑电路用于对待处理的数据执行上述任一实施例所述的方法，其实现原理以及有益效果类似，此处不再进行赘述。
本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由处理器执行，实现如上述任一实施例所述的方法，其实现原理以及有益效果类似，此处不再进行赘述。
本申请实施例还提供了一种计算机程序产品，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行上述任一实施例所述的方法，其实现原理以及有益效果类似，此处不再进行赘述。
实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储器中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储器(存储介质)包括：只读存储器(read-only memory，ROM)、RAM、快闪存储器、硬盘、固态硬盘、磁带(magnetic tape)、软盘(floppy disk)、光盘(optical disc)及其任意组合。
本申请实施例是参照根据本申请实施例的方法、设备、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理单元以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理单元执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
显然，本领域的技术人员可以对本申请实施例进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请实施例的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (25)

1.一种护肤辅助方法，应用于具有摄像头的第一电子设备，其特征在于，所述方法包括：
响应于作用于所述第一电子设备的第一操作，所述第一电子设备通过摄像头获取图像，所述图像中包含手部区域与面部区域，所述第一操作用于指示护肤过程的开始；
在所述图像中提取目标图像特征，所述目标图像特征为与所述手部区域和面部区域相关的特征；
根据多帧所述图像对应的目标图像特征，输出护肤过程的完整度，所述多帧图像为护肤过程中按时间顺序生成的图像。
2.根据权利要求1所述的方法，其特征在于，所述完整度包括护肤动作是否标准、护肤动作是否遗漏和护肤时间是否充足中的至少一种。
3.根据权利要求1或2所述的方法，其特征在于，所述根据多帧所述图像对应的目标图像特征，输出护肤过程的完整度，包括：
根据多帧所述图像对应的目标图像特征，确定多帧所述图像对应的护肤动作及每一护肤动作的持续时长；
根据所述护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度。
4.根据权利要求3所述的方法，其特征在于，所述根据多帧所述图像对应的目标图像特征，确定多帧所述图像对应的护肤动作及每一护肤动作的持续时长，包括：
根据多帧所述图像对应的目标图像特征和预先训练好的分类器，确定多帧所述图像对应的护肤动作；
确定所述护肤动作的持续时长。
5.根据权利要求4所述的方法，其特征在于，所述确定所述护肤动作的持续时长之后，所述方法还包括：
若所述护肤动作的持续时长大于预设时长，则提示用户进行下一护肤动作；
或者，若所述护肤动作的持续时长小于预设时长，则提示用户继续进行所述护肤动作。
6.根据权利要求5所述的方法，其特征在于，所述提示对应的时长为预设值，所述提示持续的时长大于所述预设值后，所述提示自动消失。
7.根据权利要求4至6中任一项所述的方法，其特征在于，所述确定多帧所述图像对应的护肤动作之后，所述方法还包括：
检测所述护肤动作是否规范；
若所述护肤动作不规范，则提示所述护肤动作对应的规范动作。
8.根据权利要求4至7中任一项所述的方法，其特征在于，所述分类器包括以下分类器中的至少一种：
支持向量机、随机森林、决策树、神经网络和集成学习。
9.根据权利要求3至8中任一项所述的方法，其特征在于，所述根据所述护肤动作及每一护肤动作的持续时长，输出护肤过程的完整度，包括：
根据所述护肤动作及每一护肤动作的持续时长、预设时长，确定护肤过程的完整度；
输出护肤过程的完整度。
10.根据权利要求3至9中任一项所述的方法，其特征在于，所述目标图像特征包括以下特征中的至少一种：
手部关键点和面部关键点的欧氏距离；
手部关键点和面部关键点的曼哈顿距离；
手部关键点和面部关键点的相对位移；
光流特征。
11.根据权利要求1至10中任一项所述的方法，其特征在于，所述在所述图像中提取目标图像特征，包括：
若确定在不同帧图像之间手部相对面部存在位移，则在所述图像中提取目标图像特征。
12.根据权利要求11所述的方法，其特征在于，所述确定在不同帧图像之间手部相对面部存在位移，包括：
提取所述图像中面部区域和手部区域的关键点信息；
根据所述关键点信息，确定不同帧图像之间手部相对面部存在位移。
13.根据权利要求12所述的方法，其特征在于，所述根据所述关键点信息，确定不同帧图像之间手部相对面部存在位移，包括以下至少一种：
当不同帧图像之间手部关键点与面部关键点的相对位置距离改变，确定不同帧图像之间手部相对面部存在位移；
当不同帧图像之间手部关键点的位置信息改变，确定不同帧图像之间手部相对面部存在位移。
14.根据权利要求1至13中任一项所述的方法，其特征在于，所述输出护肤过程的完整度，包括：
通过图表、图示和评分中的至少一种显示类型，显示护肤过程的完整度。
15.根据权利要求14所述的方法，其特征在于，所述图示包含不同护肤动作对应的圆环，其中圆环的完整程度用于指示对应护肤动作的完整度。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
响应于作用于所述圆环的第二操作，显示对应圆环的护肤详情。
17.根据权利要求1至16中任一项所述的方法，其特征在于，所述护肤过程的完整度包含于分析报告中，所述输出护肤过程的完整度，包括：
显示虚拟按钮，所述虚拟按钮用于指示所述分析报告；
响应于作用于所述虚拟按钮的第三操作，显示所述分析报告的内容。
18.根据权利要求1至17中任一项所述的方法，其特征在于，所述输出护肤过程的完整度，包括：
发送所述护肤过程的完整度给第二电子设备，由所述第二电子设备显示所述完整度。
19.根据权利要求1至18中任一项所述的方法，其特征在于，所述根据多帧所述图像对应的目标图像特征，输出护肤过程的完整度之后，所述方法还包括：
基于所述完整度，输出对用户进行护肤指导的策略。
20.根据权利要求19所述的方法，其特征在于，所述输出对用户进行护肤指导的策略，包括：
通过图片和/或视频的形式，输出对用户进行护肤指导的策略。
21.根据权利要求1至20中任一项所述的方法，其特征在于，所述第一电子设备通过摄像头获取图像之后，所述方法还包括：
对所述图像进行预处理，所述预处理包括裁剪、缩放和旋转中的至少一种；
所述在所述图像中提取目标图像特征，包括：在预处理后的图像中提取目标图像特征。
22.根据权利要求1至21中任一项所述的方法，其特征在于，所述第一电子设备为智能镜。
23.一种电子设备，其特征在于，包括：存储器和处理器；其中，所述存储器上存储有可供所述处理器执行的计算机程序；
当所述处理器读取并执行所述计算机程序时，使得所述处理器执行如权利要求1至22中任一项所述的方法。
24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包含至少一段代码，所述至少一段代码可由处理器执行，实现如权利要求1至22中任一项所述的方法。
25.一种程序产品，其特征在于，当所述程序产品在电子设备上运行时，使得所述电子设备执行如权利要求1至22中任一项所述的方法。
CN202010857343.5A 2020-08-24 2020-08-24 护肤辅助方法、设备及存储介质 Pending CN114187649A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010857343.5A CN114187649A (zh) 2020-08-24 2020-08-24 护肤辅助方法、设备及存储介质
US18/042,702 US20230334641A1 (en) 2020-08-24 2021-07-29 Skin Care Auxiliary Method, Device, and Storage Medium
PCT/CN2021/109140 WO2022042195A1 (zh) 2020-08-24 2021-07-29 护肤辅助方法、设备及存储介质
EP21860035.1A EP4191468A4 (en) 2020-08-24 2021-07-29 SKIN CARE AID METHOD, DEVICE AND STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010857343.5A CN114187649A (zh) 2020-08-24 2020-08-24 护肤辅助方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN114187649A true CN114187649A (zh) 2022-03-15

Family

ID=80354517

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010857343.5A Pending CN114187649A (zh) 2020-08-24 2020-08-24 护肤辅助方法、设备及存储介质

Country Status (4)

Country Link
US (1) US20230334641A1 (zh)
EP (1) EP4191468A4 (zh)
CN (1) CN114187649A (zh)
WO (1) WO2022042195A1 (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160142742A (ko) * 2015-06-03 2016-12-13 삼성전자주식회사 메이크업 거울을 제공하는 디바이스 및 방법
US20200250410A1 (en) * 2019-01-31 2020-08-06 Mona HOSSEINKHANI LOORAK Hand-over-face input sensing for interaction with a device having a built-in camera
CN111553220A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种智能设备及数据处理方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3399493A4 (en) * 2015-12-28 2018-12-05 Panasonic Intellectual Property Management Co., Ltd. Makeup simulation assistance device, makeup simulation assistance method, and makeup simulation assistance program
CN107820591A (zh) * 2017-06-12 2018-03-20 美的集团股份有限公司 控制方法、控制器、智能镜子和计算机可读存储介质
CN108171143A (zh) * 2017-12-25 2018-06-15 深圳市美丽控电子商务有限公司 美妆方法、智能镜及存储介质
CN108154121A (zh) * 2017-12-25 2018-06-12 深圳市美丽控电子商务有限公司 基于智能镜的化妆辅助方法、智能镜及存储介质
CN111539882A (zh) * 2020-04-17 2020-08-14 华为技术有限公司 辅助化妆的交互方法、终端、计算机存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160142742A (ko) * 2015-06-03 2016-12-13 삼성전자주식회사 메이크업 거울을 제공하는 디바이스 및 방법
US20200250410A1 (en) * 2019-01-31 2020-08-06 Mona HOSSEINKHANI LOORAK Hand-over-face input sensing for interaction with a device having a built-in camera
CN111553220A (zh) * 2020-04-21 2020-08-18 海信集团有限公司 一种智能设备及数据处理方法

Also Published As

Publication number Publication date
EP4191468A4 (en) 2023-12-20
WO2022042195A1 (zh) 2022-03-03
US20230334641A1 (en) 2023-10-19
EP4191468A1 (en) 2023-06-07

Similar Documents

Publication Publication Date Title
CN107894833B (zh) 基于虚拟人的多模态交互处理方法及系统
EP4145251A1 (en) Method for interacting with electronic device for skin inspection and electronic device
JP4384240B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
Gupta et al. Implementation of motorist weariness detection system using a conventional object recognition technique
Kurylyak et al. Detection of the eye blinks for human's fatigue monitoring
CN111898407B (zh) 一种基于人脸动作识别的人机交互操作系统
CN103885589A (zh) 眼动追踪方法及装置
Le et al. Eye blink detection for smart glasses
CN108153169A (zh) 导览模式切换方法、系统和导览机器人
Mohammed Efficient eye blink detection method for disabled-helping domain
CN111626113A (zh) 一种基于面部动作单元的面部表情识别方法和装置
CN111223549B (zh) 一种基于姿态矫正的疾病预防的移动端系统及方法
KR101939772B1 (ko) 얼굴 감정 추론 방법 및 장치, 얼굴 감정 추론 시스템 및 컴퓨터 프로그램 기록 매체
CN108628454B (zh) 基于虚拟人的视觉交互方法及系统
Bharath Controlling mouse and virtual keyboard using eye-tracking by computer vision
JP4945617B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム
Attivissimo et al. Performance evaluation of image processing algorithms for eye blinking detection
CN114187649A (zh) 护肤辅助方法、设备及存储介质
ATASOY et al. Real-Time motorized electrical hospital bed control with eye-gaze tracking
CN110765911A (zh) 闹钟关闭方法及装置
Rupanagudi et al. Design and implementation of a novel eye gaze recognition system based on scleral area for mnd patients using video processing
Kondo et al. Pupil center detection for infrared irradiation eye image using CNN
Elleuch et al. Unwearable multi-modal gestures recognition system for interaction with mobile devices in unexpected situations
CN108255308A (zh) 一种基于虚拟人的手势交互方法及系统
Anwar et al. Real Time Eye Blink Detection Method for Android Device Controlling

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination