CN116486054B - 一种ar虚拟美妆镜及其工作方法 - Google Patents

一种ar虚拟美妆镜及其工作方法 Download PDF

Info

Publication number
CN116486054B
CN116486054B CN202310747135.3A CN202310747135A CN116486054B CN 116486054 B CN116486054 B CN 116486054B CN 202310747135 A CN202310747135 A CN 202310747135A CN 116486054 B CN116486054 B CN 116486054B
Authority
CN
China
Prior art keywords
data
dressing
area
analyzed
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310747135.3A
Other languages
English (en)
Other versions
CN116486054A (zh
Inventor
陈妙波
孙斌
李飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sichuan Yijing Intelligent Terminal Co ltd
Original Assignee
Sichuan Yijing Intelligent Terminal Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sichuan Yijing Intelligent Terminal Co ltd filed Critical Sichuan Yijing Intelligent Terminal Co ltd
Priority to CN202310747135.3A priority Critical patent/CN116486054B/zh
Publication of CN116486054A publication Critical patent/CN116486054A/zh
Application granted granted Critical
Publication of CN116486054B publication Critical patent/CN116486054B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A45—HAND OR TRAVELLING ARTICLES
    • A45D—HAIRDRESSING OR SHAVING EQUIPMENT; EQUIPMENT FOR COSMETICS OR COSMETIC TREATMENTS, e.g. FOR MANICURING OR PEDICURING
    • A45D42/00—Hand, pocket, or shaving mirrors
    • A45D42/08—Shaving mirrors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种AR虚拟美妆镜及其工作方法，其中，AR虚拟美妆镜，包括：通信设备、数据处理设备、展示设备和存储设备；通信设备：用于接收工作指令，将工作指令发送至数据处理设备；接收待分析数据，将待分析数据发送至数据处理设备；数据处理设备：用于接收工作指令，根据工作指令确定目标数据；接收待分析数据，对待分析数据进行处理，获得试用数据；将试用数据与目标数据进行融合，获得展示数据；接收根据展示数据发送的推送请求，获得推送数据；展示设备：用于显示展示数据；显示推送数据；存储设备：用于存储配置数据库。本申请能够对未知的妆容数据进行分析，实时构建出与用户脸部的各个五官的实际形状和面积相适配的妆容模板。

Description

一种AR虚拟美妆镜及其工作方法
技术领域
本申请涉及增强现实技术领域，尤其涉及一种AR虚拟美妆镜及其工作方法。
背景技术
增强现实（AugmentedReality，简称AR）技术是促使真实世界信息和虚拟世界信息内容之间综合在一起的较新的技术内容，其将原本在现实世界的空间范围中比较难以进行体验的实体信息在电脑等科学技术的基础上，实施模拟仿真处理，叠加将虚拟信息内容在真实世界中加以有效应用，并且在这一过程中能够被人类感官所感知，从而实现超越现实的感官体验。
当前，大部分美妆镜都可以根据AR效果在镜面或屏幕中显示妆容，但现有的美妆镜只能挑选已经构建好的美妆模板进行试妆，或者只能对已经录制好的美妆视频进行分解，获取相应的化妆流程，因此，存在以下问题：
1、已经构建好的美妆模板的妆容类型有限，且通常与当前用户脸部的各个器官的贴合度较低，现有的美妆镜无法对未知的妆容（即未预先构建的美妆模板，例如：用户任意浏览获取的图片或视频中展示的妆容）进行识别和分析，也无法根据用户脸部的各个五官的实际形状和面积实时构建出适配的妆容模板。
2、录制好的美妆视频通常化妆流程详细，且每一步所使用的化妆产品的信息明确，即；录制好的美妆视频中所展示的妆容为已知妆容。现有的美妆镜不具备对未知的妆容中所包含的色彩等特征进行分析，从而确定化妆产品信息的能力。
发明内容
本申请的目的在于提供一种AR虚拟美妆镜及其工作方法，能够对未知的妆容数据进行分析，实时构建出与用户脸部的各个五官的实际形状和面积相适配的妆容模板，并准确地根据未知的妆容数据获取到与之适配的推送数据。
为达到上述目的，本申请提供一种AR虚拟美妆镜，包括：通信设备、数据处理设备、展示设备和存储设备；其中，通信设备：用于接收工作指令，将工作指令发送至数据处理设备；接收待分析数据，将待分析数据发送至数据处理设备；数据处理设备：用于接收工作指令，根据工作指令确定目标数据；接收待分析数据，对待分析数据进行处理，获得试用数据；将试用数据与目标数据进行融合，获得展示数据；接收根据展示数据发送的推送请求，获得推送数据；展示设备：用于显示展示数据；显示推送数据；存储设备：用于存储配置数据库。
如上的，其中，数据处理设备至少包括：分析单元、处理单元、融合单元和推送单元；其中，分析单元：用于接收工作指令，根据工作指令确定目标数据；处理单元：用于接收待分析数据，对待分析数据进行处理，获得试用数据；融合单元：将试用数据与目标数据进行融合，获得展示数据，并将展示数据发至展示设备；推送单元：接收根据展示数据发送的推送请求，获得推送数据，并将推送数据发送至展示设备。
如上的，其中，分析单元至少包括：访问模型、判断模型、采集模块和构建模块；其中，访问模块：对工作指令中的登录对象进行初步分析，获得初步分析结果，其中，初步分析结果至少包括：有目标或无目标；判断模块：当初步分析结果为有目标时，对登录时间进行判断，若登录时间未到达更新时间节点，则直接获取配置模型作为目标数据；采集模块：当初步分析结果为有目标或登录时间到达或超过更新时间节点时，采集登录对象的实时数据，并将实时数据发送至构建模块；构建模块：根据实时数据构建目标数据。
本申请还提供一种AR虚拟美妆镜的工作方法，包括如下步骤：接收工作指令，根据工作指令确定目标数据，其中，工作指令至少包括：登录时间和登录对象；接收待分析数据，对待分析数据进行处理，获得试用数据，其中，待分析数据包括：至少一个参考对象的图像数据或视频数据；将试用数据与目标数据进行融合，获得展示数据；接收根据展示数据发送的推送请求，获得推送数据并展示。
如上的，其中，根据工作指令确定目标数据的子步骤如下：S2101：对工作指令中的登录对象进行初步分析，获得初步分析结果，其中，初步分析结果至少包括：有目标或无目标；当初步分析结果为有目标，则执行S2102；若当初步分析结果为无目标，则执行S2103；S2102：对登录时间进行判断，若登录时间未到达更新时间节点，则直接获取配置模型作为目标数据；若登录时间到达或超过更新时间节点，则执行S2103；S2103：获取登录对象的实时数据，根据实时数据构建目标数据，其中，实时数据包括：至少一个登录对象的图像数据或视频数据。
如上的，其中，根据实时数据构建目标数据的子步骤如下：对实时数据进行特征提取和分类标记，获得多个标记特征点；根据标记特征点构建脸部模型，并将脸部模型作为目标数据；获得目标数据后，将目标数据作为配置模型进行存储。
如上的，其中对待分析数据进行处理，获得试用数据的子步骤如下：对待分析数据进行区域分析，获得人脸区域；对人脸区域的五官部分进行关键点分析，获得五官覆盖区域；对人脸区域的妆容部分进行关键点分析，获得妆容覆盖区域；根据五官覆盖区域对妆容覆盖区域进行比例分析，获得覆盖参数；提取妆容覆盖区域的色彩特征，并将妆容覆盖区域、覆盖参数和色彩特征作为试用数据。
如上的，其中，覆盖参数的表达式如下：；其中，/>为参考对象的第/>种妆容覆盖参数；/>为参考对象的第/>种妆容覆盖区域的面积；/>为参考对象的第/>种五官覆盖区域的面积。
如上的，其中，将试用数据与目标数据进行融合，获得展示数据的子步骤如下：根据试用数据中的妆容覆盖区域和覆盖参数构建第一妆容模型；根据色彩特征对第一妆容模型进行渲染，获得第二妆容模型；将第二妆容模型融合至目标数据的相应位置，获得展示数据。
如上的，其中，接收根据展示数据发送的推送请求，获得推送数据的子步骤如下：接收到推送请求后，获取多个肤质数据，并对多个肤质数据进行分析，生成肤质结果，其中，肤质结果包括：多个属性数据，每个属性数据均包括：皮肤区域名称、敏感属性和干湿属性；根据肤质结果和色彩特征获得推送数据。
本申请能够对未知的妆容数据进行分析，实时构建出与用户脸部的各个五官的实际形状和面积相适配的妆容模板，并准确地根据未知的妆容数据获取到与之适配的推送数据。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的附图。
图1为AR虚拟美妆镜一种实施例的结构示意图；
图2为AR虚拟美妆镜的工作方法一种实施例的流程图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本申请提供一种AR虚拟美妆镜，包括：通信设备110、数据处理设备120、展示设备130和存储设备140。
其中，通信设备110：用于接收工作指令，将工作指令发送至数据处理设备；接收待分析数据，将待分析数据发送至数据处理设备。
数据处理设备120：用于接收工作指令，根据工作指令确定目标数据；接收待分析数据，对待分析数据进行处理，获得试用数据；将试用数据与目标数据进行融合，获得展示数据；接收根据展示数据发送的推送请求，获得推送数据。
展示设备130：用于显示展示数据；显示推送数据。
存储设备140：用于存储配置数据库。
进一步的，数据处理设备120至少包括：分析单元、处理单元、融合单元和推送单元。
其中，分析单元：用于接收工作指令，根据工作指令确定目标数据。
处理单元：用于接收待分析数据，对待分析数据进行处理，获得试用数据。
融合单元：将试用数据与目标数据进行融合，获得展示数据，并将展示数据发至展示设备。
推送单元：接收根据展示数据发送的推送请求，获得推送数据，并将推送数据发送至展示设备。
进一步的，分析单元至少包括：访问模型、判断模型、采集模块和构建模块。
其中，访问模块：对工作指令中的登录对象进行初步分析，获得初步分析结果，其中，初步分析结果至少包括：有目标或无目标。
判断模块：当初步分析结果为有目标时，对登录时间进行判断，若登录时间未到达更新时间节点，则直接获取配置模型作为目标数据。
采集模块：当初步分析结果为有目标或登录时间到达或超过更新时间节点时，采集登录对象的实时数据，并将实时数据发送至构建模块。
构建模块：根据实时数据构建目标数据。
如图2所示，本申请提供一种AR虚拟美妆镜的工作方法，包括如下步骤：
S210：接收工作指令，根据工作指令确定目标数据，其中，工作指令至少包括：登录时间和登录对象。
进一步的，根据工作指令确定目标数据的子步骤如下：
S2101：对工作指令中的登录对象进行初步分析，获得初步分析结果，其中，初步分析结果至少包括：有目标或无目标；当初步分析结果为有目标，则执行S2102；若当初步分析结果为无目标，则执行S2103。
具体的，作为一个实施例，登录对象为：名称或生物特征（例如：声纹特征、虹膜特征或指纹特征等）。分析单元根据登录对象对存储设备中的配置数据库进行访问，若配置数据库中具有与登录对象一致的配置对象，则生成的初步分析结果为有目标，执行S2102；若配置数据库中没有与登录对象一致的配置对象，则生成的初步分析结果为无目标，执行S2103。
配置数据库包括多个配置数据包，每个配置数据包至少包括：配置对象、配置模型和更新时间节点。
其中，配置对象为注册时设置的名称或生物特征，生物特征至少包括：声纹特征、虹膜特征或指纹特征中的任意一种。
配置模型为根据配置对象真实的头部数据预先构建的3D模型，3D模型至少包括：脸部模型。
更新时间节点为预先设置的更新配置模型的时间，每完成一次更新后，均需要根据预先设置的预设时间段生成一个新的更新时间节点，即：上一次更新配置模型的时间节点t1与下一次更新配置模型的时间节点t2之间间隔一个预设时间段，预设时间段可以为n天、n周、n月或n年。
S2102：对登录时间进行判断，若登录时间未到达更新时间节点，则直接获取配置模型作为目标数据；若登录时间到达或超过更新时间节点，则执行S2103。
S2103：获取登录对象的实时数据，根据实时数据构建目标数据，其中，实时数据包括：至少一个登录对象的图像数据或视频数据。
进一步的，根据实时数据构建目标数据的子步骤如下：
S21031：对实时数据进行特征提取和分类标记，获得多个标记特征点。
具体的，构建模块中设置有预先训练好的特征提取模型和特征分类模型；通过特征提取模型对登录对象的图像数据或视频数据中的人脸区域进行特征提取，获得多个特征点，通过特征分类模型对多个特征点进行标记，获得标记特征点。
作为一个实施例，脸部模型的标记特征点包括：下部轮廓特征点、额头轮廓特征点、眼部轮廓特征点、眉毛轮廓特征点、鼻子轮廓特征点和嘴巴轮廓特征点。
其中，下部轮廓特征点包括从脸部模型右耳上端经过下颚至左耳上端的下半脸部轮廓区域上的所有特征点；额头轮廓特征点包括额头区域上的所有特征点；眼部轮廓特征点包括左眼轮廓特征点和右眼特征轮廓点；眉毛轮廓特征点包括左眉毛轮廓特征点和右眉毛轮廓特征点。
S21032：根据标记特征点构建脸部模型，并将脸部模型作为目标数据。
具体的，构建模块中设置有预先训练好的3D构建模型，将标记特征点输入至3D构建模型中，生成脸部模型，并将脸部模型作为目标数据。
进一步的，还包括：S21033：获得目标数据后，将目标数据作为配置模型进行存储。
S220：接收待分析数据，对待分析数据进行处理，获得试用数据，其中，待分析数据包括：至少一个参考对象的图像数据或视频数据。
进一步的，对待分析数据进行处理，获得试用数据的子步骤如下：
S2201：对待分析数据进行区域分析，获得人脸区域。
具体的，对待分析数据中的图像数据或视频数据进行分析，通过现有的软件或模型提取图像数据或视频数据中的人脸区域。
S2202：对人脸区域的五官部分进行关键点分析，获得五官覆盖区域。
进一步的，对人脸区域的五官部分进行关键点分析，获得五官覆盖区域的子步骤如下：
S22021：对人脸区域的五官部分进行关键点测量，获得多个五官关键点和每个五官关键点的坐标。
具体的，通过预先训练好的人脸检测算法对人脸区域的五官部分进行检测，获得多个五官关键点，以及五官关键点的坐标，其中，坐标系为预先构建的，选取人脸中的特定特征点作为坐标原点，例如：鼻尖特征点或眉心特征点等，本申请中涉及的所有坐标均共用一个坐标系。
S22022：基于五官关键点的坐标对多个五官关键点进行迭代逼近处理，得到五官覆盖区域。
具体的，基于五官关键点的坐标对多个五官关键点进行迭代逼近处理，通过对多个五官关键点的坐标进行缩小处理，获得人脸的每个面部器官的边界，得到五官覆盖区域，其中，五官覆盖区域至少包括：下巴覆盖区域、额头覆盖区域、左眼覆盖区域、右眼覆盖区域、左眉毛覆盖区域、右眉毛覆盖区域、鼻子覆盖区域、嘴巴覆盖区域、左脸覆盖区域和右脸覆盖区域。
S2203：对人脸区域的妆容部分进行关键点分析，获得妆容覆盖区域。
S22031：对待分析数据中的人脸区域的妆容部分进行轮廓点测量，获得多个妆容轮廓点和每个妆容轮廓点的坐标。
具体的，通过预先训练好的人脸检测算法对人脸区域的妆容部分进行检测，获得多个妆容轮廓点，以及妆容轮廓点的坐标。
S22032：基于妆容轮廓点的坐标对多个妆容轮廓点进行迭代逼近处理，得到妆容覆盖区域。
具体的，基于妆容轮廓点的坐标对多个妆容轮廓点进行迭代逼近处理，通过对多个妆容轮廓点的坐标进行缩小处理，获得人脸的每个妆容区域的边界，得到妆容覆盖区域，其中，妆容覆盖区域至少包括：下巴妆容区域、额头妆容区域、左眼妆容区域、右眼妆容区域、左眉毛妆容区域、右眉毛妆容区域、鼻子妆容区域、嘴巴妆容区域、左脸妆容区域和右脸妆容区域。
S2204：根据五官覆盖区域对妆容覆盖区域进行比例分析，获得覆盖参数。
具体的，覆盖参数至少包括：下巴区域的妆容覆盖参数、额头区域的妆容覆盖参数、左眼区域的妆容覆盖参数、右眼区域的妆容覆盖参数、左眉毛区域的妆容覆盖参数、右眉毛区域的妆容覆盖参数、鼻子区域的妆容覆盖参数、嘴巴区域的妆容覆盖参数、左脸区域的妆容覆盖参数和右脸区域的妆容覆盖参数。
进一步的，覆盖参数的表达式如下：
；
其中，为参考对象的第/>种妆容覆盖参数；/>为参考对象的第/>种妆容覆盖区域的面积；/>为参考对象的第/>种五官覆盖区域的面积。
具体的，当第种妆容覆盖参数为左眼区域的妆容覆盖参数时，第/>种妆容覆盖区域的面积即为左眼妆容区域的面积；第/>种五官覆盖区域的面积即为左眼覆盖区域。
S2205：提取妆容覆盖区域的色彩特征，并将妆容覆盖区域、覆盖参数和色彩特征作为试用数据。
具体的，通过现有的软件（例如：Matlab软件等）获取妆容覆盖区域的所有像素点的RGB值，从而获得色彩特征，其中，色彩特征至少包括：下巴妆容区域的色彩特征、额头妆容区域的色彩特征、左眼妆容区域的色彩特征、右眼妆容区域的色彩特征、左眉毛妆容区域的色彩特征、右眉毛妆容区域的色彩特征、鼻子妆容区域的色彩特征、嘴巴妆容区域的色彩特征、左脸妆容区域的色彩特征和右脸妆容区域的色彩特征。
S230：将试用数据与目标数据进行融合，获得展示数据。
进一步的，将试用数据与目标数据进行融合，获得展示数据的子步骤如下：
S2301：根据试用数据中的妆容覆盖区域和覆盖参数构建第一妆容模型。
进一步的，根据试用数据中的妆容覆盖区域和覆盖参数构建第一妆容模型的子步骤如下：
S23011：获取目标数据中的五官覆盖区域，并根据覆盖参数获得缩放参数。
具体的，缩放参数至少包括：下巴妆容缩放参数、额头妆容缩放参数、左眼妆容缩放参数、右眼妆容缩放参数、左眉毛妆容缩放参数、右眉毛妆容缩放参数、鼻子妆容缩放参数、嘴巴妆容缩放参数、左脸妆容缩放参数和右脸妆容缩放参数。
其中，缩放参数的表达式为：
；
其中，为目标对象的第/>种妆容缩放参数；/>为参考对象的第/>种妆容覆盖参数；/>为目标对象的第/>种五官覆盖区域的面积。
具体的，目标对象的第种妆容缩放参数表示：需要融合至目标数据内的第/>种妆容区域的最佳面积。例如：当第/>种妆容缩放参数为左眼区域的妆容缩放参数时，/>为参考对象的左眼区域的妆容覆盖参数；/>为目标对象的左眼覆盖区域的面积。
S23011：根据缩放参数对妆容覆盖区域进行缩放调整，获得第一妆容模型。
具体的，第一妆容模型至少包括：第一下巴妆容模型、第一额头妆容模型、第一左眼妆容模型、第一右眼妆容模型、第一左眉毛妆容模型、第一右眉毛妆容模型、第一鼻子妆容模型、第一嘴巴妆容模型、第一左脸妆容模型和第一右脸妆容模型。
进一步的，第一妆容模型的覆盖面积；
其中，为根据缩放参数完成调整后获得的第/>种妆容模型的面积；/>为误差参数，具体值根据实际情况设定。
由于每个人的五感特征不同，且并不规则，因此无法保证在保留妆容区域的轮廓相似或相同的同时，也保证调整后的妆容模型的面积刚好等于目标对象的第种妆容缩放参数，故需要设定误差参数，只要调整后获得的第一妆容模型的覆盖面积，即表示获得的第一妆容模型与参考对象的妆容相符，且，当时，第一妆容模型与参考对象的妆容的最为相同，能够保证参考对象的妆容与目标对象的脸部特征更为适配。
S2302：根据色彩特征对第一妆容模型进行渲染，获得第二妆容模型。
具体的，第二妆容模型至少包括：第二下巴妆容模型、第二额头妆容模型、第二左眼妆容模型、第二右眼妆容模型、第二左眉毛妆容模型、第二右眉毛妆容模型、第二鼻子妆容模型、第二嘴巴妆容模型、第二左脸妆容模型和第二右脸妆容模型。根据色彩特征对第一妆容模型进行渲染，完成渲染后获得第二妆容模型，例如：根据左眼妆容区域的色彩特征对第一左眼妆容模型进行渲染，完成渲染后，获得第二左眼妆容模型。
S2303：将第二妆容模型融合至目标数据的相应位置，获得展示数据。
具体的，将第二妆容模型中的各个妆容模型分别融合至目标数据相应的五官区域内，例如：将第二左眼妆容模型融合至目标数据的左眼区域。完成所有妆容模型的融合后，获得展示数据，展示数据为用于展示目标对象化上参考对象的妆容后的试妆效果的3D模型。
S240：接收根据展示数据发送的推送请求，获得推送数据并展示。
具体的，通过展示设备显示展示数据，若目标对象对展示数据所显示的妆容效果满意，则发送推送请求，若不满意，则结束。
进一步的，接收根据展示数据发送的推送请求，获得推送数据的子步骤如下：
S2401：接收到推送请求后，获取多个肤质数据，并对多个肤质数据进行分析，生成肤质结果，其中，肤质结果包括：多个属性数据，每个属性数据均包括：皮肤区域名称、敏感属性和干湿属性。
具体的，一个皮肤区域名称对应一个敏感属性和一个干湿属性。
多个肤质数据分别为：下巴的肤质数据、额头的肤质数据、左眼的肤质数据、右眼的肤质数据、左眉毛的肤质数据、右眉毛的肤质数据、鼻子的肤质数据、嘴巴的肤质数据、左脸的肤质数据和右脸的肤质数据。肤质数据即目标对象的各皮肤区域在包含绿光和红光(例如：白光或红绿偏振光等)的照射下所采集的图像。
皮肤区域名称分别为：下巴的皮肤区域、额头的皮肤区域、左眼的皮肤区域、右眼的皮肤区域、左眉毛的皮肤区域、右眉毛的皮肤区域、鼻子的皮肤区域、嘴巴的皮肤区域、左脸的皮肤区域和右脸的皮肤区域。
进一步的，对多个肤质数据进行分析，生成肤质结果的子步骤如下：
S24011：分别对每个肤质数据进行敏感度分析，获得敏感属性，其中，敏感属性至少包括：敏感结果和敏感程度值。
具体的，敏感结果为：肤质敏感或肤质不敏感。敏感结果根据敏感程度值确定。预先设置敏感程度阈值，当敏感程度值大于敏感程度阈值，则敏感结果为肤质敏感，当敏感程度值小于或等于敏感程度阈值，则敏感结果为肤质不敏感。
进一步的，敏感程度值的表达式如下：
；
其中，为目标对象的第/>个肤质数据的敏感程度值；/>为第/>个肤质数据中的第/>个肤质像素点在红色通道的像素值；/>为第/>个肤质数据中的第/>个肤质像素点在绿色通道的像素值；/>为预设的第一参数；/>为预设的第二参数；/>为指数函数。
具体的，第一参数为预先设置的用于根据像素点对应的皮肤敏感度关联性调整像素值的常数，第一参数/>基于预设的像素映射关系确定。
第二参数为预先设置的用于根据像素点对应的皮肤敏感度关联性调整像素值的常数，第二参数/>基于预设的像素映射关系确定。第二参数/> 第一参数/>。
S24012：分别对每个肤质数据进行干湿度分析，获得干湿属性，其中，干湿属性至少包括：干湿结果和干湿程度。
其中，干湿结果包括：肤质干燥或肤质湿润。
具体的，通过预先训练好的算法或模型分别对每个肤质数据进行分析，获得每个肤质数据对应的皮肤区域的干湿程度，若干湿程度大于预设的湿度阈值，则干湿结果为肤质湿润，若干湿程度小于或等于预设的湿度阈值，则干湿结果为肤质干燥。
S24013：将皮肤区域名称、敏感属性和干湿属性作为属性数据，获得所有属性数据后，将所有的属性数据作为肤质结果。
S2402：根据肤质结果和色彩特征获得推送数据。
进一步的，根据肤质结果和色彩特征获得推送数据的子步骤如下：
U1：根据肤质结果中不同的皮肤区域名称和色彩特征获取多个用于该皮肤区域，且色号与色彩特征相同或相似的化妆品数据作为初选数据。
U2：根据肤质结果中的敏感属性对初选数据进行筛选处理，将不适用于该敏感属性的化妆品数据剔除，并将适用于该敏感属性的化妆品数据作为筛选数据。
U3：根据肤质结果中的干湿属性对筛选数据进行再次筛选，将不适用于该干湿属性的化妆品数据剔除，并将适用于该干湿属性的化妆品数据作为推送数据。
进一步的，对展示数据进行分类，并存储。
具体的，对展示数据所展示的妆容进行分类分析，确定妆容所属的类型，完成标记后进行存储。妆容所属的类型包括：日系风格、韩系风格、欧美风格、清纯风格、甜美风格和复古港风等风格。
本申请能够对未知的妆容数据进行分析，实时构建出与用户脸部的各个五官的实际形状和面积相适配的妆容模板，并准确地根据未知的妆容数据获取到与之适配的推送数据。
尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，本申请的保护范围意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请保护范围及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (7)

1.一种AR虚拟美妆镜，其特征在于，包括：通信设备、数据处理设备、展示设备和存储设备；
其中，通信设备：用于接收工作指令，将工作指令发送至数据处理设备；接收待分析数据，将待分析数据发送至数据处理设备；
数据处理设备：用于接收工作指令，根据工作指令确定目标数据；接收待分析数据，对待分析数据进行处理，获得试用数据；将试用数据与目标数据进行融合，获得展示数据；接收根据展示数据发送的推送请求，获得推送数据；待分析数据包括：至少一个参考对象的图像数据或视频数据；
展示设备：用于显示展示数据；显示推送数据；
存储设备：用于存储配置数据库；
对待分析数据进行处理，获得试用数据的子步骤如下：
对待分析数据进行区域分析，获得人脸区域；
对人脸区域的五官部分进行关键点分析，获得五官覆盖区域；
对人脸区域的妆容部分进行关键点分析，获得妆容覆盖区域；
根据五官覆盖区域对妆容覆盖区域进行比例分析，获得覆盖参数；
提取妆容覆盖区域的色彩特征，并将妆容覆盖区域、覆盖参数和色彩特征作为试用数据；
覆盖参数的表达式如下：
其中，fcsi为参考对象的第i种妆容覆盖参数；Szri为参考对象的第i种妆容覆盖区域的面积；Swgi为参考对象的第i种五官覆盖区域的面积；
将试用数据与目标数据进行融合，获得展示数据的子步骤如下：
根据试用数据中的妆容覆盖区域和覆盖参数构建第一妆容模型；
根据色彩特征对第一妆容模型进行渲染，获得第二妆容模型；
将第二妆容模型融合至目标数据的相应位置，获得展示数据。
2.根据权利要求1所述的AR虚拟美妆镜，其特征在于，数据处理设备至少包括：分析单元、处理单元、融合单元和推送单元；
其中，分析单元：用于接收工作指令，根据工作指令确定目标数据；
处理单元：用于接收待分析数据，对待分析数据进行处理，获得试用数据；
融合单元：将试用数据与目标数据进行融合，获得展示数据，并将展示数据发至展示设备；
推送单元：接收根据展示数据发送的推送请求，获得推送数据，并将推送数据发送至展示设备。
3.根据权利要求2所述的AR虚拟美妆镜，其特征在于，分析单元至少包括：访问模型、判断模型、采集模块和构建模块；
其中，访问模块：对工作指令中的登录对象进行初步分析，获得初步分析结果，其中，初步分析结果至少包括：有目标或无目标；
判断模块：当初步分析结果为有目标时，对登录时间进行判断，若登录时间未到达更新时间节点，则直接获取配置模型作为目标数据；
采集模块：当初步分析结果为有目标或登录时间到达或超过更新时间节点时，采集登录对象的实时数据，并将实时数据发送至构建模块；
构建模块：根据实时数据构建目标数据。
4.一种AR虚拟美妆镜的工作方法，其特征在于，包括如下步骤：
接收工作指令，根据工作指令确定目标数据，其中，工作指令至少包括：登录时间和登录对象；
接收待分析数据，对待分析数据进行处理，获得试用数据，其中，待分析数据包括：至少一个参考对象的图像数据或视频数据；
将试用数据与目标数据进行融合，获得展示数据；
接收根据展示数据发送的推送请求，获得推送数据并展示；
对待分析数据进行处理，获得试用数据的子步骤如下：
对待分析数据进行区域分析，获得人脸区域；
对人脸区域的五官部分进行关键点分析，获得五官覆盖区域；
对人脸区域的妆容部分进行关键点分析，获得妆容覆盖区域；
根据五官覆盖区域对妆容覆盖区域进行比例分析，获得覆盖参数；
提取妆容覆盖区域的色彩特征，并将妆容覆盖区域、覆盖参数和色彩特征作为试用数据；
覆盖参数的表达式如下：
其中，fcsi为参考对象的第i种妆容覆盖参数；Szri为参考对象的第i种妆容覆盖区域的面积；Swgi为参考对象的第i种五官覆盖区域的面积；
将试用数据与目标数据进行融合，获得展示数据的子步骤如下：
根据试用数据中的妆容覆盖区域和覆盖参数构建第一妆容模型；
根据色彩特征对第一妆容模型进行渲染，获得第二妆容模型；
将第二妆容模型融合至目标数据的相应位置，获得展示数据。
5.根据权利要求4所述的AR虚拟美妆镜的工作方法，其特征在于，根据工作指令确定目标数据的子步骤如下：
S2101：对工作指令中的登录对象进行初步分析，获得初步分析结果，其中，初步分析结果至少包括：有目标或无目标；当初步分析结果为有目标，则执行S2102；若当初步分析结果为无目标，则执行S2103；
S2102：对登录时间进行判断，若登录时间未到达更新时间节点，则直接获取配置模型作为目标数据；若登录时间到达或超过更新时间节点，则执行S2103；
S2103：获取登录对象的实时数据，根据实时数据构建目标数据，其中，实时数据包括：至少一个登录对象的图像数据或视频数据。
6.根据权利要求5所述的AR虚拟美妆镜的工作方法，其特征在于，根据实时数据构建目标数据的子步骤如下：
对实时数据进行特征提取和分类标记，获得多个标记特征点；
根据标记特征点构建脸部模型，并将脸部模型作为目标数据；
获得目标数据后，将目标数据作为配置模型进行存储。
7.根据权利要求4所述的AR虚拟美妆镜的工作方法，其特征在于，接收根据展示数据发送的推送请求，获得推送数据的子步骤如下：
接收到推送请求后，获取多个肤质数据，并对多个肤质数据进行分析，生成肤质结果，其中，肤质结果包括：多个属性数据，每个属性数据均包括：皮肤区域名称、敏感属性和干湿属性；根据肤质结果和色彩特征获得推送数据。
CN202310747135.3A 2023-06-25 2023-06-25 一种ar虚拟美妆镜及其工作方法 Active CN116486054B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310747135.3A CN116486054B (zh) 2023-06-25 2023-06-25 一种ar虚拟美妆镜及其工作方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310747135.3A CN116486054B (zh) 2023-06-25 2023-06-25 一种ar虚拟美妆镜及其工作方法

Publications (2)

Publication Number Publication Date
CN116486054A CN116486054A (zh) 2023-07-25
CN116486054B true CN116486054B (zh) 2023-09-12

Family

ID=87219944

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310747135.3A Active CN116486054B (zh) 2023-06-25 2023-06-25 一种ar虚拟美妆镜及其工作方法

Country Status (1)

Country Link
CN (1) CN116486054B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107361564A (zh) * 2017-07-17 2017-11-21 深圳前海维度新科有限公司 可自动虚拟上妆的智能镜系统
CN108937407A (zh) * 2018-05-25 2018-12-07 深圳市赛亿科技开发有限公司 一种智能镜子化妆指导方法及系统
CN109508620A (zh) * 2018-08-01 2019-03-22 上海晨鱼网络科技有限公司 基于增强现实的化妆方法、系统、电子终端及存储介质
CN111796662A (zh) * 2019-04-08 2020-10-20 美帕信息科技(上海)有限公司 一种基于ar技术的美妆方法及多功能美妆镜系统
CN112801734A (zh) * 2021-01-14 2021-05-14 深圳市鑫海创达科技有限公司 一种基于智能化妆镜的美妆推送方法及系统
CN113496459A (zh) * 2020-04-01 2021-10-12 华为技术有限公司 辅助化妆方法、终端设备、存储介质及程序产品

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160357578A1 (en) * 2015-06-03 2016-12-08 Samsung Electronics Co., Ltd. Method and device for providing makeup mirror
TWI708183B (zh) * 2019-03-29 2020-10-21 麗寶大數據股份有限公司 個人化化妝資訊推薦方法
CN115936796A (zh) * 2021-10-02 2023-04-07 北京陌陌信息技术有限公司 一种虚拟换妆方法、系统、设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107361564A (zh) * 2017-07-17 2017-11-21 深圳前海维度新科有限公司 可自动虚拟上妆的智能镜系统
CN108937407A (zh) * 2018-05-25 2018-12-07 深圳市赛亿科技开发有限公司 一种智能镜子化妆指导方法及系统
CN109508620A (zh) * 2018-08-01 2019-03-22 上海晨鱼网络科技有限公司 基于增强现实的化妆方法、系统、电子终端及存储介质
CN111796662A (zh) * 2019-04-08 2020-10-20 美帕信息科技(上海)有限公司 一种基于ar技术的美妆方法及多功能美妆镜系统
CN113496459A (zh) * 2020-04-01 2021-10-12 华为技术有限公司 辅助化妆方法、终端设备、存储介质及程序产品
CN112801734A (zh) * 2021-01-14 2021-05-14 深圳市鑫海创达科技有限公司 一种基于智能化妆镜的美妆推送方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Smart Mirror: Intelligent Makeup Recommendation and Synthesis;Tam V. Nguyen 等;Proceedings of the 25th ACM International conference on Multimedia;第1253-1254页 *

Also Published As

Publication number Publication date
CN116486054A (zh) 2023-07-25

Similar Documents

Publication Publication Date Title
US9142054B2 (en) System and method for changing hair color in digital images
JP4461789B2 (ja) 画像処理装置
TWI773096B (zh) 妝容處理方法、裝置、電子設備及儲存媒體
WO2021036314A1 (zh) 人脸图像处理方法及装置、图像设备及存储介质
CN110110118A (zh) 妆容推荐方法、装置、存储介质及移动终端
US11928766B2 (en) Personalized stylized avatars
CN108537126A (zh) 一种人脸图像处理系统及方法
US20200146622A1 (en) System and method for determining the effectiveness of a cosmetic skin treatment
CN108932654A (zh) 一种虚拟试妆指导方法及装置
CN110866139A (zh) 一种化妆处理方法、装置及设备
CN108197595A (zh) 一种获取评价信息的方法、装置、存储介质及计算机
CN103714225A (zh) 自动彩妆的信息系统及其进行上妆方法
WO2023143126A1 (zh) 图像处理方法、装置、电子设备及存储介质
WO2022257766A1 (zh) 图像处理方法、装置、设备及介质
CN113344837B (zh) 人脸图像处理方法及装置、计算机可读存储介质、终端
CN116486054B (zh) 一种ar虚拟美妆镜及其工作方法
WO2022066450A1 (en) Representation of users based on current user appearance
CN114743252B (zh) 用于头部模型的特征点筛选方法、设备和存储介质
JP2005242535A (ja) 画像補正装置
CN111062860B (zh) 基于场景的图像色彩调整方法、装置和计算机设备
JP2022078936A (ja) 肌画像分析方法
TW202122040A (zh) 臉部肌肉狀態分析與評價方法
TW201411506A (zh) 自動彩妝之資訊系統及其進行上妝方法
CN117389676B (zh) 一种基于显示界面的智能发型适配展示方法
CN117197541B (zh) 一种基于卷积神经网络的用户分类方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant