CN113850708A - 交互方法、交互装置、智能镜子 - Google Patents

交互方法、交互装置、智能镜子 Download PDF

Info

Publication number
CN113850708A
CN113850708A CN202010599735.6A CN202010599735A CN113850708A CN 113850708 A CN113850708 A CN 113850708A CN 202010599735 A CN202010599735 A CN 202010599735A CN 113850708 A CN113850708 A CN 113850708A
Authority
CN
China
Prior art keywords
makeup
target
eyeliner
user
canthus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010599735.6A
Other languages
English (en)
Inventor
董辰
卢曰万
徐涵
赵学知
丁弦
郜文美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010599735.6A priority Critical patent/CN113850708A/zh
Priority to PCT/CN2021/088728 priority patent/WO2022001308A1/zh
Publication of CN113850708A publication Critical patent/CN113850708A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例提供一种交互方法、交互装置、智能镜子。本发明实施例提供的交互方法包括：确定目标妆容，所述目标妆容为一个或多个人脸局部妆容；提示关于所述目标妆容的操作步骤；以及在所述操作步骤的提示动作完成前，周期性执行以下调整操作：采集用户当前面部特征；以及计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤。通过上述技术方案可以针对关于一个或多个人脸局部特征的目标妆容的操作进行指导，细化在化妆过程中用户与相应化妆辅助设备之间交互的针对性并提高该交互方式的高效性与灵活性。

Description

交互方法、交互装置、智能镜子
技术领域
本发明涉及智能家居技术领域，尤其涉及一种交互方法、交互装置、智能镜子。
背景技术
随着人们生活水平的提高，越来越多的人士投入更多的精力在护肤和化妆上。目前有很多美妆类app，可以对拍照的照片进行美化，包括对眼妆的选型和美化。
现有技术中，关于妆容检测的技术方案均为对人脸全脸进行检测，并基于全脸检测的结果进行化妆指导。缺乏针对人脸局部特征的检测，不能提供有针对性的化妆指导服务。并且现有技术中在经过化妆指导后，用户并不能了解自己化妆后的量化结果。
发明内容
本发明实施例提供一种交互方法、交互装置、智能镜子，可以在针对关于一个或多个人脸局部特征的目标妆容的操作指导过程中，周期性的将用户当前面部特征与所确定的目标妆容中相应部位妆容进行相似度计算，并根据相似度计算结果实时调整后续需要提示的操作步骤。通过上述方法可以细化在化妆过程中用户与相应化妆辅助设备之间交互的针对性并提高该交互方式的高效性与灵活性。
本发明实施例提供一种基于智能镜子的交互方法，其特征在于，所述方法包括：
确定目标妆容，所述目标妆容为一个或多个人脸局部妆容；
提示关于所述目标妆容的操作步骤；以及
在所述操作步骤的提示动作完成前，周期性执行以下调整操作：
采集用户当前面部特征；以及
计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤。
进一步地，所述确定目标妆容包括：
确定是否接收到选择妆容指令；
其中，在接收到所述选择妆容指令的情况下，将所选择的妆容作为所述目标妆容；
在未接受到所述选择妆容指令的情况下，执行以下操作：
将所述用户当前面部特征分别与预存的多个妆容的进行比较，将其中最接近的妆容作为所述目标妆容。
进一步地，所述将所述用户当前面部特征分别与预存的多个妆容的进行比较，将其中最接近的妆容作为所述目标妆容的过程包括：
确定眼影涂抹边界；
获取所述眼影涂抹边界之内的皮肤颜色；
获取多个预存眼影妆容颜色；
将所述眼影涂抹边界之内的颜色分别与每个所述预存眼影妆容的颜色进行比较，将其中相似度高于眼影颜色预设值的最高相似度对应的预存眼影妆容作为目标眼影妆容；以及
触发提示关于所述目标眼影妆容的操作步骤。
进一步地，所述将所述用户当前面部特征分别与预存的多个妆容的进行比较，将其中最接近的妆容作为所述目标妆容的过程包括：
获取内眼角眼线、外侧上眼角眼线和外侧下眼角眼线，并根据所述内眼角眼线、所述外侧上眼角眼线和所述外侧下眼角眼线的眼线类型确定目标眼线妆容；以及
触发提示关于所述目标眼线妆容的操作步骤。
进一步地，所述根据所述内眼角眼线、所述外侧上眼角眼线和所述外侧下眼角眼线的眼线类型确定目标眼线妆容包括：
若未获取到内眼角眼线，且未获取到外侧下眼角眼线，则根据第一映射关系确定目标眼线妆容，所述第一映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系；
若获取到内眼角眼线，且未获取到外侧下眼角眼线，则根据第二映射关系确定目标眼线妆容，所述第二映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系；
若未获取到内眼角眼线，且获取到外侧下眼角眼线，则根据第三映射关系确定目标眼线妆容，所述第三映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系。
进一步地，所述计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤的过程包括：
确定脸部设定区域皮肤颜色；
确定眼影涂抹边界；
获取眼影涂抹边界之外的皮肤颜色，若眼影涂抹边界之外的皮肤颜色与所述脸部设定区域皮肤颜色之间的偏差大于颜色偏差预设值，则提示关于修复眼影涂抹过界的操作步骤。
进一步地，所述计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤的过程包括：
获取用户闭眼状态下的眼部图像；
确定关于所述眼部图像中实际眼线的拟合曲线；
确定所述实际眼线与所述拟合曲线的距离，若所述距离大于线条距离预设值，则提示关于提高眼线流畅度的操作步骤。
进一步地，所述计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤的过程包括：
确定用户闭眼状态下的以下用户睫毛特征中一者或多者：睫毛长度、睫毛卷翘度、睫毛疏密度以及睫毛粘连情况；
若所述用户睫毛特征中任一者不满足相应睫毛特征的预设条件，则提示修复睫毛的相应操作步骤。
进一步地，所述方法还包括：
在所述操作步骤的提示动作完成后，将所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度转换为相应数值，并控制显示端展示所述相应数值。
本发明实施例还提供一种交互装置，所述装置包括：
处理器、存储器和相机，所述相机用于采集用户当前面部信息，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现上述交互方法。
本发明实施例还提供一种智能镜子，所述智能镜子包括：
上述交互装置；以及
显示屏，所述显示屏与所述交互装置连接。
本发明实施例提供的交互方法、交互装置、智能镜子，通过上述技术方案可以在关于一个或多个人脸局部特征的目标妆容的操作指导过程中，周期性的将用户当前面部特征与所确定的目标妆容中相应部位妆容进行相似度计算，并根据相似度计算结果实时调整后续需要提示的操作步骤。通过上述方法可以细化在化妆过程中用户与相应化妆辅助设备之间交互的针对性并提高该交互方式的高效性与灵活性。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于智能镜子的交互方法的流程示意图；
图2A为本发明实施例提供的确定目标眼影妆容的流程示意图；
图2B为本发明实施例提供的眼影涂抹范围示意图；
图3A为本发明实施例提供的确定目标眼线妆容的流程示意图；
图3B为本发明实施例提供的眼线类型示意图；
图3C为本发明实施例提供的第一映射关系的示意图；
图3D为本发明实施例提供的第二映射关系的示意图；
图3E为本发明实施例提供的第三映射关系的示意图；
图4是本发明实施例提供的关于睫毛妆容的量化结果示意图；
图5是本发明实施例提供的基于智能镜子的交互装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的基于智能镜子的交互方法的流程示意图，如图1所示，基于智能镜子的交互方法包括：
步骤101确定目标妆容，所述目标妆容为一个或多个人脸局部妆容；
步骤102提示关于所述目标妆容的操作步骤；以及
步骤103采集用户当前面部特征；计算用户当前面部特征与目标妆容中相应部位妆容的相似度，根据相似度实时调整后续需要提示的关于目标妆容的操作步骤
步骤104确认操作步骤是否提示完毕，根据确认结果执行相应操作：
在所述操作步骤的提示动作完成前，周期性执行以下调整操作：
采集用户当前面部特征；以及
计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤。
下面采用具体的实施例，对图1所示方法实施例的技术方案进行详细说明。
关于确定目标妆容
该目标妆容可以为一个或多个人脸局部妆容，例如目标眼影妆容、目标眼线妆容、目标睫毛妆容等。
确定目标妆容的方式包括主动方式和被动方式，其中该主动方式即为用户选用预存的妆容作为目标妆容，具体地，在智能镜子的控制端接收到用户选择妆容指令的情况下，将该选择用户指令相对应的妆容作为目标妆容。
该被动方式则为确定智能镜子的控制端未接收到用户选择妆容指令的情况下，自动为用户匹配目标妆容。例如，可以在用户启动智能镜子的相应功能(例如辅助化妆功能)后，用户在设定时间(如30s)内用户未主动选择目标妆容的情况下，即，30s内智能镜子的控制端未接收到用户选择妆容指令的情况下，自动为用户匹配目标妆容。
上述自动为用户匹配目标妆容的操作可以为：将所述用户当前面部特征分别与预存的多个妆容的进行比较，将其中最接近的妆容作为所述目标妆容。
例如，图2A示出了本发明实施例提供的确定目标眼影妆容的流程示意图，如图2A所示，确定目标眼影妆容的流程可以为：
步骤201确定眼影涂抹边界；
步骤202获取所述眼影涂抹边界之内的皮肤颜色；
步骤203获取多个待确定的推荐眼影妆容颜色；
步骤204将所述眼影涂抹边界之内的颜色分别与每个所述待确定的推荐眼影妆容颜色进行比较，将其中相似度高于第二预设相似眼影预设值的最高相似度对应的待确定的推荐眼影妆容作为目标眼影妆容。
具体地，根据当前用户面部特征确定眼影涂抹边界，该眼影涂抹边界可以基于该用户的眉毛下边缘以及眼睛上下轮廓边缘通过预设算法计算并确定图2B中所示的第一虚线201，进而可以根据该第一虚线确定眼影涂抹范围(即，第一虚线内区域S1)。
在确定适用于当前用户的眼影涂抹范围的情况下，获取该眼影涂抹范围内皮肤颜色以及预存的多个眼影妆容颜色，并将眼影涂抹范围内皮肤颜色与多个眼影妆容颜色进行相似度比较，将其中与当前用户的眼影涂抹范围内皮肤颜色相似度最高的眼影妆容作为目标眼影妆容。
图3A示出了本发明实施例提供的确定目标眼线妆容的流程示意图，如图3A所示，确定目标眼线妆容的流程可以为将用户当前面部特征分别与预存的多个眼线妆容进行比较，将其中最接近的眼线妆容作为目标眼线妆容。
具体地，根据当前用户面部特征获取内眼角眼线、外侧上眼角眼线和外侧下眼角眼线，并根据内眼角眼线、外侧上眼角眼线和外侧下眼角眼线的眼线类型确定目标眼线妆容。上述根据所述内眼角眼线、所述外侧上眼角眼线和所述外侧下眼角眼线的眼线类型确定目标眼线妆容包括：若未获取到内眼角眼线，且未获取到外侧下眼角眼线，则根据第一映射关系确定目标眼线妆容，所述第一映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系；若获取到内眼角眼线，且未获取到外侧下眼角眼线，则根据第二映射关系确定目标眼线妆容，所述第二映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系；若未获取到内眼角眼线，且获取到外侧下眼角眼线，则根据第三映射关系确定目标眼线妆容，所述第三映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系。
如图3B所示的，预存的多种眼线妆容可以包括欧美眼线301、狗狗眼线302、上扬眼线303、下垂眼线304、心机眼线305以及平行眼线306。
根据内眼角眼线、外侧上眼角眼线和外侧下眼角眼线的眼线类型确定目标眼线妆容包括：根据如图3C所示的第一映射关系确定目标眼线妆容。具体地，第一映射为外侧上眼角眼线类型与目标眼线妆容的对应关系，因此，可以在未获取到内眼角眼线且未获取大外侧下眼角眼线的情况下，根据外侧上眼角眼线类型确定目标眼线妆容。
具体可以通过外侧上眼角眼线走向的扬抑情况以及长度确定外侧上眼角眼线的类型，在外侧上眼角眼线走向为向上的情况下，确定外侧上眼角眼线类型为向上，并将上扬眼线作为目标眼线妆容；在外侧上眼角眼线走向为向下的情况下，确定外侧上眼角眼线的类型为向下，并将下垂眼线作为目标眼线妆容；在外侧上眼角眼线走向为平行且外侧上眼角眼线小于第一设定长度的情况下，确定外侧上眼角眼线的类型为平行段，并将平行眼线作为目标眼线妆容；在外侧上眼角眼线小于第二设定长度的情况下，确定外侧上眼角眼线的类型为极短，并将心机眼线305作为目标眼线妆容，其中该第二设定长度小于第一设定长度。
进而可以根据图3C所示的第一映射关系确定目标眼线妆容，具体为：未获取到内眼角眼线且未获取大外侧下眼角眼线的情况下，向上类型的外侧上眼角眼线对应上扬眼线303、向下类型的外侧上眼角眼线对应下垂眼线304、极短类型的外侧上眼角眼线对应心机眼线305，以及平行短类型的外侧上眼角眼线对应平行眼线306。
根据内眼角眼线、外侧上眼角眼线和外侧下眼角眼线的眼线类型确定目标眼线妆容还包括：根据图3D所示的第二映射关系确定目标眼线妆容。其中，触发该第二映射关系确定目标眼线妆容的前置条件在于：获取到内眼角眼线，且未获取到外侧下眼角眼线。因此，若获取到内眼角眼线，且未获取到外侧下眼角眼线，则根据第二映射关系确定目标眼线妆容，该第二映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系。如图3D所示，获取到内眼角眼线，且未获取到外侧下眼角眼线的情况下，向上类型的外侧上眼角眼线对应欧美眼线301。
根据内眼角眼线、外侧上眼角眼线和外侧下眼角眼线的眼线类型确定目标眼线妆容还包括：根据图3E所示的第三映射关系确定目标眼线妆容。其中，触发该第三映射关系确定目标眼线妆容的前置条件在于：未获取到内眼角眼线，且获取到外侧下眼角眼线。因此，若未获取到内眼角眼线，且获取到外侧下眼角眼线，则根据第三映射关系确定目标眼线妆容，第三映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系。如图3E所示，未获取到内眼角眼线，且获取到外侧下眼角眼线的情况下，向下类型的外侧上眼角眼线对应狗狗眼线302。
需要说明的是，睫毛妆容可变化性较低，因此，可以仅预存通用的睫毛妆容及相应的操作步骤，在用户为主动选择该睫毛妆容的情况下，直接将预存的该睫毛妆容作为目标睫毛妆容。
其中，在用户未主动选择目标妆容的情况下，在经过用户面部特征与预存妆容的近似度比较后，选取人脸每个部位最相似妆容结合为目标妆容。例如，预存的妆容包括眼影妆容、眼线妆容以及睫毛妆容的情况下，若用户未主动选择目标妆容，将与用户相似度最接近的眼影妆容和眼线妆容分别作为目标眼影妆容和目标眼线妆容提供给用户，睫毛妆容不存在匹配动作，可以直接将预存的通用睫毛妆容作为目标睫毛妆容提供给用户，随后可以生成相应询问界面，以确定用户是否需要每个部位的妆容，进而根据用户的删减指令得到最终的目标妆容。
关于实现目标妆容的指导
在确定目标妆容的情况下，基于智能镜子的显示屏提示用户关于该目标妆容的操作步骤，并且在该操作步骤的提示动作完成前，周期性周期性执行以下调整操作：
采集用户当前面部特征；以及
计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤。
在目标妆容为目标眼影妆容的情况下，分步骤提示用户如何操作，可以在每个步骤提示完成后设定时间内(例如5s内)对用户脸部进行图像采集，将采集到的用户脸部图像中的经过用户涂抹的眼影与目标眼影妆容进行相似度计算，并根据相似度实时调整后续需要提示的关于所述目标妆容的操作步骤。
具体地，该相似度计算过程可以包括：
确定脸部设定区域皮肤颜色，该步骤可以与上述确定目标眼影妆容操作中颜色获取动作相同，即，可以获取用户额头颜色。
确定眼影涂抹边界，若在先的确定目标妆容操作中，已获取到眼影涂抹边界，则直接采用在先获取的该眼影涂抹边界，否则，执行类似确定眼影涂抹边界的操作以得到眼影涂抹边界。
获取眼影涂抹边界之外的皮肤颜色，若眼影涂抹边界之外的皮肤颜色与脸部设定区域皮肤(如额头)颜色之间的偏差大于颜色偏差预设值，判定眼影涂抹超范围，并通过智能镜子的显示屏将眼影涂抹超范围信息展示给用户，并提示关于修复眼影涂抹过界的操作步骤。
其中，在每次颜色偏差比较后，进行一次化妆结果量化操作，具体地，如图4所示，该关于眼影妆容结果量化项目包括：涂抹范围、颜色使用以及与目标眼影的契合程度及双眼眼影对称性。
涂抹范围结果量化
确定该涂抹边界外的皮肤颜色与设定区域皮肤颜色偏差大于颜色偏差预设值的面积大小，该面积为涂抹超范围面积，根据涂抹超范围面积与设定单位面积的关系进行量化数值处理，具体地，基于原始数值(例如40)，每单位面积的超范围涂抹，在原始数值中扣除1，最终得到涂抹范围结果量化值。
颜色使用结果量化
根据所确定的眼影涂抹范围进一步确定目标眼影妆容的颜色分布范围，由于预存的多个眼影中每种眼影的颜色分布是固定的，可以在眼影涂抹范围的基础上确定如图2B中所示的第二虚线202(用于确定眼影深色区域S2)和第三虚线203(用于确定眼影提亮色区域S3)，进一步地，确定该涂抹边界内皮肤颜色中是否存在彼此相对的浅色、深色、过渡色以及提亮色，根据确定结果并基于预设的颜色使用结果量化机制进行关于颜色使用的原始数值的数值处理，以得到颜色使用结果量化值。
契合程度及眼影对称性结果量化
根据拍摄得到的用户的眼部图像，确定双眼的眼影对称性以及与目标眼影的契合程度，并基于预设的契合度对称性结果量化机制进行关于契合程度及眼影对称性的原始数值的数值处理，以得到契合度对称性结果量化值。
眼影量化结果
关于眼影的综合量化结果为上述三者之和，即，眼影综合量化值＝涂抹范围结果量化值+颜色使用结果量化值+契合度对称性结果量化值。
在目标妆容为眼线妆容的情况下，将如何实现目标眼线妆容的操作分步骤提示用户，可以在每个步骤提示完成后设定时间内(例如5s内)对用户脸部进行图像采集，将采集到的用户脸部图像中的经过用户勾勒的眼线与目标眼线妆容进行相似度计算，并根据相似度实时调整后续需要提示的关于所述目标妆容的操作步骤。
具体地，该相似度计算过程可以包括：
获取用户闭眼状态的眼部图像；
确定关于眼部图像中实际眼线的拟合曲线；
根据预设算法计算该拟合曲线与实际曲线之间的距离，通过计算得到的该距离表征实际眼线的流畅度。其中，在该距离大于线条距离预设值的情况下，判定眼线流畅度低，并通过智能镜子的显示屏将眼线流畅度低的信息展示给用户，并提示关于提高眼线流畅度的操作步骤。
其中，在每次眼线流畅度计算后，进行一次结果量化，具体地，如图4所示，该关于眼线妆容的结果量化项目包括：与目标眼线的契合程度、双眼眼线对称性、眼线流畅度及整洁度。
同样的，关于眼线妆容的上述项目分别基于相应的机制进行数值处理，并将各项目的量化值求和得到眼线综合量化值。
在目标妆容为睫毛妆容的情况下，将如何实现目标睫毛妆容的操作分步骤提示用户，可以在每个步骤提示完成后设定时间内(例如5s内)对用户脸部进行图像采集，将采集到的用户脸部图像中的经过用户处理的睫毛与目标睫毛妆容进行相似度计算，并根据相似度实时调整后续需要提示的关于所述目标妆容的操作步骤。
具体地，该相似度计算过程可以包括：
确定用户闭眼状态下的以下用户睫毛特征中一者或多者：睫毛长度、睫毛卷翘度、睫毛疏密度以及睫毛粘连情况；
若所述用户睫毛特征中任一者不满足相应睫毛特征的预设条件，则提示修复睫毛的相应操作步骤。例如，确定睫毛存在粘连的情况下，将该结果通过显示屏告知用于，并提示用户如何修复睫毛，排除当前存在粘连的问题。
在完成提示的关于所述目标睫毛妆容的操作步骤后，对用户的睫毛妆容进行结果量化，如图4所示，关于睫毛妆容的量化项目包括：睫毛长度、睫毛卷翘度、睫毛疏密度以及睫毛粘连情况，基于相应的机制进行数值处理，并将各项目量化值求和得到睫毛综合量化值。
用户的眼部妆容的综合量化值为局部妆容量化值之和，例如，用户所选择的目标妆容包括眼影妆容、眼线妆容以及睫毛妆容的情况下，眼部妆容综合量化值＝眼影综合量化值+眼线综合量化值+睫毛综合量化值。在计算得到用户眼部妆容综合量化值后，可以通过智能镜子进行显示，以提示用户本次化妆结果相对应的量化值信息。
在实施例中，在智能镜子启动后，可以在显示屏上相应区域实时显示摄像头对用户头部的拍摄画面，具体可以显示用户的面部特写，在提示用户关于目标妆容的操作步骤时，可以通过AR技术将操作演示画面叠加在用户脸部的实时拍摄画面上，以使用户能够直观地感受关于目标妆容的操作步骤，增强用户的体验感。其中，关于用户脸部的实时拍摄画面可以进行相应画面处理以避免相应遮挡问题，例如，在用户手持眼线笔根据所提示的操作步骤勾勒眼线时，常出现眼线笔遮挡眼部画面的问题，因此，可以在出现此类或类似问题时，通过对遮挡物进行隐藏处理，避免出现遮挡问题影响用户对整体效果的查看。
图5示出了本发明实施例提供的基于智能镜子的交互装置的结构示意图，如图5所示，该装置可以包括处理器10、存储器20以及相机30，其中该相机30用于对用户头部拍照，以采集用户当前面部信息，该存储器20用于存储至少一条指令，所述指令由所述处理器10加载并执行时以实现如下基于智能镜子的交互方法：
确定目标妆容，所述目标妆容为一个或多个人脸局部妆容；
提示关于所述目标妆容的操作步骤；以及
在所述操作步骤的提示动作完成前，周期性执行以下调整操作：
采集用户当前面部特征；以及
计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤。
进一步地，所述确定目标妆容包括：
确定是否接收到选择妆容指令；
其中，在接收到所述选择妆容指令的情况下，将所选择的妆容作为所述目标妆容；
在未接受到所述选择妆容指令的情况下，执行以下操作：
将所述用户当前面部特征分别与预存的多个妆容的进行比较，将其中最接近的妆容作为所述目标妆容。
进一步地，所述将所述用户当前面部特征分别与预存的多个妆容的进行比较，将其中最接近的妆容作为所述目标妆容的过程包括：
确定眼影涂抹边界；
获取所述眼影涂抹边界之内的皮肤颜色；
获取多个预存眼影妆容颜色；
将所述眼影涂抹边界之内的颜色分别与每个所述预存眼影妆容的颜色进行比较，将其中相似度高于眼影颜色预设值的最高相似度对应的预存眼影妆容作为目标眼影妆容；以及
触发提示关于所述目标眼影妆容的操作步骤。
进一步地，所述将所述用户当前面部特征分别与预存的多个妆容的进行比较，将其中最接近的妆容作为所述目标妆容的过程包括：
获取内眼角眼线、外侧上眼角眼线和外侧下眼角眼线，并根据所述内眼角眼线、所述外侧上眼角眼线和所述外侧下眼角眼线的眼线类型确定目标眼线妆容；以及
触发提示关于所述目标眼线妆容的操作步骤。
进一步地，所述根据所述内眼角眼线、所述外侧上眼角眼线和所述外侧下眼角眼线的眼线类型确定目标眼线妆容包括：
若未获取到内眼角眼线，且未获取到外侧下眼角眼线，则根据第一映射关系确定目标眼线妆容，所述第一映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系；
若获取到内眼角眼线，且未获取到外侧下眼角眼线，则根据第二映射关系确定目标眼线妆容，所述第二映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系；
若未获取到内眼角眼线，且获取到外侧下眼角眼线，则根据第三映射关系确定目标眼线妆容，所述第三映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系。
进一步地，所述计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤的过程包括：
确定脸部设定区域皮肤颜色；
确定眼影涂抹边界；
获取眼影涂抹边界之外的皮肤颜色，若眼影涂抹边界之外的皮肤颜色与所述脸部设定区域皮肤颜色之间的偏差大于颜色偏差预设值，则提示关于修复眼影涂抹过界的操作步骤。
进一步地，所述计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤的过程包括：
获取用户闭眼状态下的眼部图像；
确定关于所述眼部图像中实际眼线的拟合曲线；
确定所述实际眼线与所述拟合曲线的距离，若所述距离大于线条距离预设值，则提示关于提高眼线流畅度的操作步骤。
进一步地，所述计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤的过程包括：
确定用户闭眼状态下的以下用户睫毛特征中一者或多者：睫毛长度、睫毛卷翘度、睫毛疏密度以及睫毛粘连情况；
若所述用户睫毛特征中任一者不满足相应睫毛特征的预设条件，则提示修复睫毛的相应操作步骤。
进一步地，所述方法还包括：
在所述操作步骤的提示动作完成后，将所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度转换为相应数值，并控制显示端展示所述相应数值。
本发明实施例还提供一种智能镜子，该智能镜子包括上述基于智能镜子的交互装置以及显示屏，显示屏与交互装置连接。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (11)

1.一种交互方法，其特征在于，所述方法包括：
确定目标妆容，所述目标妆容为一个或多个人脸局部妆容；
提示关于所述目标妆容的操作步骤；以及
在所述操作步骤的提示动作完成前，周期性执行以下调整操作：
采集用户当前面部特征；以及
计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤。
2.根据权利要求1所述的方法，其特征在于，所述确定目标妆容包括：
确定是否接收到选择妆容指令；
其中，在接收到所述选择妆容指令的情况下，将所选择的妆容作为所述目标妆容；
在未接受到所述选择妆容指令的情况下，执行以下操作：
将所述用户当前面部特征分别与预存的多个妆容的进行比较，将其中最接近的妆容作为所述目标妆容。
3.根据权利要求2所述的方法，其特征在于，所述将所述用户当前面部特征分别与预存的多个妆容的进行比较，将其中最接近的妆容作为所述目标妆容的过程包括：
确定眼影涂抹边界；
获取所述眼影涂抹边界之内的皮肤颜色；
获取多个预存眼影妆容颜色；
将所述眼影涂抹边界之内的颜色分别与每个所述预存眼影妆容的颜色进行比较，将其中相似度高于眼影颜色预设值的最高相似度对应的预存眼影妆容作为目标眼影妆容；以及
触发提示关于所述目标眼影妆容的操作步骤。
4.根据权利要求2所述的方法，其特征在于，所述将所述用户当前面部特征分别与预存的多个妆容的进行比较，将其中最接近的妆容作为所述目标妆容的过程包括：
获取内眼角眼线、外侧上眼角眼线和外侧下眼角眼线，并根据所述内眼角眼线、所述外侧上眼角眼线和所述外侧下眼角眼线的眼线类型确定目标眼线妆容；以及
触发提示关于所述目标眼线妆容的操作步骤。
5.根据权利要求4所述的方法，其特征在于，所述根据所述内眼角眼线、所述外侧上眼角眼线和所述外侧下眼角眼线的眼线类型确定目标眼线妆容包括：
若未获取到内眼角眼线，且未获取到外侧下眼角眼线，则根据第一映射关系确定目标眼线妆容，所述第一映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系；
若获取到内眼角眼线，且未获取到外侧下眼角眼线，则根据第二映射关系确定目标眼线妆容，所述第二映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系；
若未获取到内眼角眼线，且获取到外侧下眼角眼线，则根据第三映射关系确定目标眼线妆容，所述第三映射关系为外侧上眼角眼线的类型和目标眼线妆容之间的对应关系。
6.根据权利要求1所述的方法，其特征在于，所述计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤的过程包括：
确定脸部设定区域皮肤颜色；
确定眼影涂抹边界；
获取眼影涂抹边界之外的皮肤颜色，若眼影涂抹边界之外的皮肤颜色与所述脸部设定区域皮肤颜色之间的偏差大于颜色偏差预设值，则提示关于修复眼影涂抹过界的操作步骤。
7.根据权利要求1所述的方法，其特征在于，所述计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤的过程包括：
获取用户闭眼状态下的眼部图像；
确定关于所述眼部图像中实际眼线的拟合曲线；
确定所述实际眼线与所述拟合曲线的距离，若所述距离大于线条距离预设值，则提示关于提高眼线流畅度的操作步骤。
8.根据权利要求1所述的方法，其特征在于，所述计算所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度，根据所述相似度实时调整后续需要提示的关于所述目标妆容的操作步骤的过程包括：
确定用户闭眼状态下的以下用户睫毛特征中一者或多者：睫毛长度、睫毛卷翘度、睫毛疏密度以及睫毛粘连情况；
若所述用户睫毛特征中任一者不满足相应睫毛特征的预设条件，则提示修复睫毛的相应操作步骤。
9.根据权利要求1所述的方法，其特征在于，所述方法还包括：
在所述操作步骤的提示动作完成后，将所述用户当前面部特征与所述目标妆容中相应部位妆容的相似度转换为相应数值，并控制显示端展示所述相应数值。
10.一种交互装置，其特征在于，所述装置包括：
处理器、存储器和相机，所述相机用于采集用户当前面部信息，所述存储器用于存储至少一条指令，所述指令由所述处理器加载并执行时以实现如权利要求1-9中任意一项所述的交互方法。
11.一种智能镜子，其特征在于，所述智能镜子包括：
权利要求10所述的交互装置；以及
显示屏，所述显示屏与所述交互装置连接。
CN202010599735.6A 2020-06-28 2020-06-28 交互方法、交互装置、智能镜子 Pending CN113850708A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010599735.6A CN113850708A (zh) 2020-06-28 2020-06-28 交互方法、交互装置、智能镜子
PCT/CN2021/088728 WO2022001308A1 (zh) 2020-06-28 2021-04-21 交互方法、交互装置、智能镜子

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010599735.6A CN113850708A (zh) 2020-06-28 2020-06-28 交互方法、交互装置、智能镜子

Publications (1)

Publication Number Publication Date
CN113850708A true CN113850708A (zh) 2021-12-28

Family

ID=78972654

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010599735.6A Pending CN113850708A (zh) 2020-06-28 2020-06-28 交互方法、交互装置、智能镜子

Country Status (2)

Country Link
CN (1) CN113850708A (zh)
WO (1) WO2022001308A1 (zh)

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3408524B2 (ja) * 2001-02-06 2003-05-19 正 五井野 化粧アドバイス提供方法及び化粧アドバイス提供用プログラム
JP5231685B1 (ja) * 2011-07-07 2013-07-10 花王株式会社 顔印象分析方法、美容カウンセリング方法および顔画像生成方法
CN104834800A (zh) * 2015-06-03 2015-08-12 上海斐讯数据通信技术有限公司 一种美妆方法、系统及设备
JP7271432B2 (ja) * 2016-11-16 2023-05-11 ウィンク・ロボティクス 美容サロンのための機械
CN109426767A (zh) * 2017-08-24 2019-03-05 丽宝大数据股份有限公司 眼线描绘指引装置及其方法
CN109063671A (zh) * 2018-08-20 2018-12-21 三星电子（中国）研发中心 用于智能化妆的方法及装置
CN111339804A (zh) * 2018-12-19 2020-06-26 北京奇虎科技有限公司 一种自动化妆方法、装置和系统
CN110288621A (zh) * 2019-05-17 2019-09-27 北京达佳互联信息技术有限公司 基于b样条的唇线补全方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
WO2022001308A1 (zh) 2022-01-06

Similar Documents

Publication Publication Date Title
US9607347B1 (en) Systems and methods of 3D scanning and robotic application of cosmetics to human
US9846803B2 (en) Makeup supporting device, makeup supporting system, makeup supporting method, and non-transitory computer-readable recording medium
CN109310196B (zh) 化妆辅助装置以及化妆辅助方法
KR101664940B1 (ko) 가상현실을 이용한 헤어 스마트 미러 시스템
US9811717B2 (en) Systems and methods of robotic application of cosmetics
KR20150072463A (ko) 안면 영상을 이용하는 건강 상태 판단 장치 및 건강 상태 판단 방법
US20180137663A1 (en) System and method of augmenting images of a user
JP6753276B2 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR102301187B1 (ko) 피부관리 및 개선 시스템, 그리고 이를 이용한 피부관리 및 개선 방법
JP2011022733A (ja) メーキャップシミュレーション装置、メーキャップシミュレーションプログラム及び対面販売支援方法
WO2023273247A1 (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
TWI742173B (zh) 資訊處理裝置、程式及資訊處理方法
KR101719927B1 (ko) 립 모션을 이용한 실시간 메이크업 미러 시뮬레이션 장치
KR20150127898A (ko) 휴대용 피부상태 분석 장치 및 이를 이용한 피부 관리 서비스 방법
CN113850708A (zh) 交互方法、交互装置、智能镜子
KR102372524B1 (ko) 메이크업 이펙트의 선택적 적용과 코스메틱 오브젝트의 바잉 서비스 제공 시스템
CN111353931B (zh) 整形模拟方法、系统、可读存储介质和设备
WO2021108108A1 (en) System, devices, and methods for long lasting lip plumping
KR102372522B1 (ko) 코스메틱 오브젝트의 소싱을 통한 선택적 메이크업 이펙팅 적용 시스템
CN116755561A (zh) 一种美容美发个性化服务方法、装置、设备及存储介质
KR102372521B1 (ko) 유저의 페이셜 인식을 통한 커뮤니케이션 중 웨어링 이펙트 실시간 반영 시스템
US20220122354A1 (en) Skin tone determination and filtering
KR20220022431A (ko) 코스메틱 오브젝트의 레코멘딩을 통한 선택적 메이크업 이펙팅 적용 시스템
KR20220019610A (ko) 유저의 페이셜 인식을 통한 선택적 메이크업 이펙팅 적용 시스템
CN113450248A (zh) 基于图像的操作引导方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination