CN110400254A - 一种口红试妆方法及装置 - Google Patents

一种口红试妆方法及装置 Download PDF

Info

Publication number
CN110400254A
CN110400254A CN201910670521.0A CN201910670521A CN110400254A CN 110400254 A CN110400254 A CN 110400254A CN 201910670521 A CN201910670521 A CN 201910670521A CN 110400254 A CN110400254 A CN 110400254A
Authority
CN
China
Prior art keywords
image
lipstick
tried
adornment
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910670521.0A
Other languages
English (en)
Inventor
肖淋峰
吴志坚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Lexin Software Technology Co Ltd
Original Assignee
Shenzhen Lexin Software Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Lexin Software Technology Co Ltd filed Critical Shenzhen Lexin Software Technology Co Ltd
Priority to CN201910670521.0A priority Critical patent/CN110400254A/zh
Publication of CN110400254A publication Critical patent/CN110400254A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种口红试妆方法及装置，该方法包括：获取用户的待试妆人脸图像以及所述用户的待试口红色号；根据所述待试妆人脸图像、所述待试口红色号以及颜色透明度，确定所述用户的上妆图像，其中，所述颜色透明度包括口红色号的颜色透明度和/或嘴唇区域的颜色透明度；将与至少两个颜色透明度对应的上妆图像输入至预先训练完成的图像评分模型，得到与每个上妆图像对应的评分，确定出评分最高的上妆图像作为口红试妆图像。本发明实施例通过对调节透明度对上妆图像进行评分，解决了虚拟上妆的效果过于呆板的问题，使得口红试妆图像更接近于实际的上妆效果，提高了图像的自然度和美观度。

Description

一种口红试妆方法及装置
技术领域
本发明实施例涉及图像处理技术领域，尤其涉及一种口红试妆方法及装置。
背景技术
在社会的快速发展下,化妆作为一种美化人脸的方式越来越受到人们的重 视和倾爱。在互联网加速发展的当今社会,网购已经成为年轻女性购物的首选途 径，然而网购具有无法亲身体验效果的天然劣势。
为满足用户的购物需求，虚拟化妆技术开始发展起来，口红试妆软件是虚 拟化妆技术的一种实现方案，用户通过口红试妆软件上传人脸图像，并选定软 件中提供的口红型号后，得到口红上妆后的图像。现有的口红试妆软件在识别 出嘴唇位置后，直接根据用户选择的口红型号的颜色对人脸图像进行上妆，或 者是对人脸图像和口红颜色设置不同的透明度后，得到上妆后的图像。
由于不同用户上传的人脸图像会存在色彩、饱和度和分辨率等参数上的不 同，造成人脸图像的质量存在差异。基于上述现有的技术方案，上妆后的图像 对于美观的调优不够，颜色透明度设置不灵活，使得上妆后的图像效果不自然。
发明内容
本发明实施例提供一种口红试妆方法及装置，以实现对上妆图像进行调优 处理，提高图像的自然度和美观度。
第一方面，本发明实施例提供了一种口红试妆方法，该方法包括：
获取用户的待试妆人脸图像以及所述用户的待试口红色号；
根据所述待试妆人脸图像、所述待试口红色号以及颜色透明度，确定所述 用户的上妆图像，其中，所述颜色透明度包括口红色号的颜色透明度和/或嘴唇 区域的颜色透明度；
将与至少两个颜色透明度对应的上妆图像输入至预先训练完成的图像评分 模型，得到与每个上妆图像对应的评分，确定出评分最高的上妆图像作为口红 试妆图像。
第二方面，本发明实施例还提供了一种口红试妆装置，该装置包括：
待试妆人脸图像获取模块，用于获取用户的待试妆人脸图像以及所述用户 的待试口红色号；
上妆图像确定模块，用于根据所述待试妆人脸图像、所述待试口红色号以 及颜色透明度，确定所述用户的上妆图像，其中，所述颜色透明度包括口红色 号的颜色透明度和/或嘴唇区域的颜色透明度；
上妆图像评分模块，用于将与至少两个颜色透明度对应的上妆图像输入至 预先训练完成的图像评分模型，得到与每个上妆图像对应的评分，确定出评分 最高的上妆图像作为口红试妆图像。
第三方面，本发明实施例还提供了一种终端设备，该设备包括：
一个或多个处理器；
存储器，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或 多个处理器实现上述所涉及的任一所述的口红试妆方法。
第四方面，本发明实施例还提供了一种包含计算机可执行指令的存储介质， 所述计算机可执行指令在由计算机处理器执行时用于执行上述所涉及的任一所 述的口红试妆方法。
本发明实施例通过对调节透明度对上妆图像进行评分，解决了虚拟上妆的 效果过于呆板的问题，使得口红试妆图像更接近于实际的上妆效果，提高了图 像的自然度和美观度。
附图说明
图1是本发明实施例一提供的一种口红试妆方法的流程图。
图2是本发明实施例一提供的一种五官坐标点检测的流程图。
图3是本发明实施例一提供的一种双线性插值算法的示意图。
图4是本发明实施例二提供的一种口红试妆方法的流程图。
图5是本发明实施例二提供的一种口红色号列表录入的流程图。
图6是本发明实施例三提供的一种口红试妆装置的示意图。
图7是本发明实施例三提供的一种口红试妆装置的优选示例的示意图。
图8是本发明实施例四提供的一种终端设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此 处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需 要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结 构。
实施例一
图1为本发明实施例一提供的一种口红试妆方法的流程图，本实施例可适 用于虚拟化妆情况，该方法可以由口红试妆装置来执行，该装置可以由软件和/ 或硬件来实现。具体包括如下步骤：
S110、获取用户的待试妆人脸图像以及用户的待试口红色号。
在一个实施例中，待试妆人脸图像包括用户通过终端设备上传的图像，其 中上传的方式包括但不限于用户从相册中选择的图像上传、用户在一段视频中 截屏得到图像上传，用户使用终端设备拍摄得到的图像上传等等，此处对待试 妆人脸图像的获取方式不作限定。
在一个实施例中，待试妆的口红色号包括但不限于口红色号图像、口红色 号的颜色值、口红色号的品牌信息和口红色号的所属系列中的一种或多种信息。 此处对待试口红色号包含的信息不作限定。
S120、根据待试妆人脸图像、待试口红色号以及颜色透明度，确定用户的 上妆图像，其中，颜色透明度包括口红色号的颜色透明度和/或嘴唇区域的颜色 透明度。
在一个实施例中，待试口红色号的颜色值采用的颜色空间包括但不限于 RGB颜色空间、CMY颜色空间、HSV颜色空间和HIS颜色空间。示例性的， RGBA颜色空间属于RGB颜色空间，代表红色(Red)、绿色(Green)、蓝色(Blue) 和Alpha的色彩空间。其中，Alpha通道一般用作不透明度参数，如果一个像素 的Alpha通道数值为0％，那它就是完全透明的，而通道数值为100％则意味着 一个完全不透明的像素。Alpha通道值可以用百分比、整数或者类似RGB颜色 空间的0到1的实数表示。RGBA颜色空间有时也被写作ARGB颜色空间，其 中所有的参数都在0到255的范围内。
在一个实施例中，可选的，对待试妆人脸图像进行图像识别，确定待试妆 人脸图像中的嘴唇区域图像，将第一透明度的白底图像叠加到嘴唇区域图像上 得到叠加图像，将第二透明度的口红色号叠加到叠加图像上，得到用户的上妆 图像。示例性的，对待试妆人脸图像进行图像识别可以是在获取到用户上传的 待试妆人脸图像后进行图像识别，当然，也可以是在获取到用户待试妆人脸图 像和待试妆口红色号后进行图像识别。这样设置的好处在于，在获取到待试妆 人脸图像后就进行图像识别，从而在用户选定口红色号后直接对识别到嘴唇区 域图像进行上妆，有效的缩短响应的时间。而在获取到待试妆人脸图像和待试 妆口红色号之后进行图像识别和上妆，可以在用户上传图像后，不选定口红色 号就退出试妆时，避免运行图像识别程序，造成终端设备资源的浪费。此处对 图像识别的时机不作限定。
图2是本发明实施例一提供的一种五官坐标点检测流程图。在一个实施例 中，可选的，在对待试妆人脸图像进行图像识别之前，对待试妆人脸图像进行 压缩，其中，压缩算法包括双线性插值算法。在一个实施例中，压缩算法包括 但不限于双线性插值算法、小波变换图像压缩和分形图像压缩。其中，双线性 插值，又称为双线性内插。在数学上，双线性插值是有两个变量的插值函数的 线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。双线性插值 作为数值分析中的一种插值算法，广泛应用在信号处理，数字图像和视频处理 等方面。图3是本发明实施例一提供的一种双线性差值算法的示意图。如图3所示，P＝(x,y)的像素点由其周围4个已知点Q11、Q12、Q21和Q22共同决定。具 体而言，首先在x方向进行线性插值，得到R1和R2，然后在y方向进行线性插 值，得到像素点P。双线性插值不仅自带低通过滤的特性，还会损失低通精度， 使得嘴唇边缘模糊化，而此项“缺点”恰好适合嘴唇上色的嘴形边缘处理，故可 选用双线性插值算法进行图像压缩。在一个实施例中，可选的，在对待试妆人 脸图像进行压缩之前，将待试妆人脸图像进行base64编码生成编码图像，调用 fastdfs图片数据库对编码图像进行压缩。
在一个实施例中，可选的，基于深度学习人脸识别库对待试妆人脸图像进 行五官坐标点检测，得到待试妆人脸图像的上嘴唇坐标集合以及下嘴唇坐标集 合，根据上嘴唇坐标集合以及下嘴唇坐标集合，绘制待试妆人脸图像的嘴唇区 域图像。示例性的，可以采用基于dlib的深度学习人脸识别库的face_recognition 语句对待试妆人脸图像中进行五官坐标点检测。可选的，在进行五官坐标点检 测时，可以采用图形处理器(GraphicsProcessing Unit，GPU)并行计算，提高 检测的速度。
在一个实施例中，可选的，设置不同的颜色透明度对嘴唇区域图像进行上 妆，将第一透明度的白底图像叠加到嘴唇区域图像上得到叠加图像，将第二透 明度的口红色号叠加到叠加图像上，得到用户的上妆图像。示例性的，第一透 明度可以设置为50，第二透明度可以设置为110。这样设置的好处在于，可以 使上妆效果更加自然。
S130、将与至少两个颜色透明度对应的上妆图像输入至预先训练完成的图 像评分模型，得到与每个上妆图像对应的评分，确定出评分最高的上妆图像作 为口红试妆图像。
在一个实施例中，可选的，获取历史用户的上妆前图像和上妆后图像，对 历史用户的上妆后图像进行评分标注，将历史用户的上妆前图像和历史用户的 标注后的上妆后图像作为训练样本输入至初始评分模型中，根据输出结果对初 始评分模型的模型参数进行调整，以得到图像评分模型。其中，图像评分模型 包括但不限于XGBoosting模型、Logistic Regression模型和GBM模型。
在一个实施例中，确定口红试妆图像可以是用户综合所有的上妆图像及其 评分结果确定其中至少一张作为口红试妆图像，也可以是终端设备通过统计评 分结果选择评分最高的上妆图像作为口红试妆图像。在一个实施例中，图像评 分模型可以将当前用户选择确定的口红试妆图像设置为最高分，将当前用户上 传的待试妆人脸图像和用户确定的口红试妆图像作为新的训练数据对模型参数 进行调整，对图像评分模型进行实时更新。
在一个实施例中，颜色透明度包括口红色号颜色透明度，其中，获取至少 两个口红色号颜色透明度对应的上妆图像可以是在第二透明度的基础上对口红 色号颜色透明度进行调节得到至少两个上妆图像，示例性的，调整的方式包括 向上调节和/或向下调节。当然，也可以是根据预设的至少两个口红色号颜色透 明度得到至少两个上妆图像。举例而言，在第二透明度的基础上对口红色号颜 色透明度进行调节，如上下调节15个透明度，即得到31个不同口红色号颜色 透明度对应的上妆图像，通过并行或者串行的方式输入到图像评分模型中，得 到与每个上妆图像对应的评分，确定出评分最高的上妆图像作为口红试妆图像。 在一个实施例中，如果评分最高的上妆图像不止一个，可以任意择一作为口红 试妆图像，当然，也可以将不止一个上妆图像都作为口红试妆图像。
在一个实施例中，可选的，调用轻量级分布式文件系统的图片数据库将所 述上妆图像转换为统一资源定位符，以通过浏览器显示所述口红试妆图像。其 中，轻量级分布式文件系统(fastdfs)是一种开源的文件系统，能够实现文件存 储、文件同步、文件访问(文件上传、文件下载)等功能，解决了大容量存储 和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网 站等等。统一资源定位符(uniform resource location,url)是网络上用来描述信息 资源的字符串，主要用在各种WWW客户程序和服务器程序上，url链接是用一 种统一的格式来描述各种信息资源，如文件、服务器的地址和目录等等。
本实施例的技术方案，通过对调节透明度对上妆图像进行评分，解决了虚 拟上妆的效果过于呆板的问题，使得口红试妆图像更接近于实际的上妆效果， 提高了图像的自然度和美观度。
实施例二
图4是本发明实施例二提供的一种口红试妆方法的流程图，本实施例的技 术方案是上述实施例的基础上的进一步细化。可选的，所述获取用户的待试妆 人脸图像以及所述用户的待试口红色号，包括：获取用户上传的待试妆人脸图 像以及口红模特图像；识别出所述口红模特图像中的嘴唇区域图像作为所述用 户的口红色号图，根据所述口红色号图确定所述用户的待试口红色号。
如图4所示，本实施例的方法具体可包括如下步骤：
S210、获取用户上传的待试妆人脸图像以及口红模特图像。
其中，口红模特图像包括包含人脸特征的图像，该图像可以是用户的人脸 图像，也可以是其他人的人脸图像。
S220、识别出口红模特图像中的嘴唇区域图像作为用户的口红色号图，根 据口红色号图确定所述用户的待试口红色号。
在一个实施例中，可以采用确定待试妆人脸识别图像中的嘴唇区域图像的 方法对口红模特图像中的嘴唇区域图像进行识别，此处不再赘述。
在一个实施例中，还可以采用HSV颜色过滤的方式识别口红模特图像中的 嘴唇区域图像。HSV是一种将RGB颜色空间中的点在倒圆锥体中的表示方法， 代表色相(Hue)、饱和度(Saturation)和明度(Value)，又称HSB，其中B代 表亮度(Brightness)。色相是色彩的基本属性，就是平常说的颜色的名称，如 红色、黄色等。饱和度是指色彩的纯度，越高色彩越纯，越低色彩则逐渐变灰， 取0-100％的数值。明度是指颜色明亮的程度，取0-max的数值。对于光源色， 明度值与发光体的光亮度有关；对于物体色，此值和物体的透射比或反射比有 关，而在计算机中HSV取值范围和存储的长度有关。HSV颜色过滤的方式适 用于无标准色图。
可以理解的是，口红模特图像中的嘴唇区域图像识别方法包括但不限于上 述提出的嘴唇区域图像识别方法，此处对嘴唇区域图像识别的方法不作限定。
在一个实施例中，可选的，根据口红色号图确定用户的待试口红色号时， 可以选取口红色号图中的多个像素点，识别多个像素点的颜色值，将与多个像 素点对应的出现次数最多的颜色值作为待试口红颜色值，根据待试口红颜色值 从口红录入数据库中查找待试口红色号。其中，选取的方式可以有顺序的选取， 当然，也可以是随机选取。选取的像素点个数越多，识别的结果也就越准确， 示例性的，选取的像素点个数可以是10000个。在一个实施例中，颜色值可以 采用RGBA颜色空间表示，A值可以根据需要设置。采用上述颜色识别方法可 以有效的避免识别到的嘴唇区域图像中的背景黑色值对识别结果的干扰，提高待试口红颜色值识别的准确度。
S230、根据待试妆人脸图像、待试口红色号以及颜色透明度，确定用户的 上妆图像，其中，颜色透明度包括口红色号的颜色透明度和/或嘴唇区域的颜色 透明度。
S240、将与至少两个颜色透明度对应的上妆图像输入至预先训练完成的图 像评分模型，得到与每个上妆图像对应的评分，确定出评分最高的上妆图像作 为口红试妆图像。
本实施例的技术方案，通过对用户上传的口红模特图像进行识别，确定待 试口红色号，实现了对模特的口红色号进行推荐，增加了用户选取待试口红色 号的灵活性。对上妆图像进行评分，使得口红试妆图像更接近于实际的上妆效 果，提高了图像的自然度和美观度。
在上述技术方案的基础上，可选的，获取用户的待试妆人脸图像以及用户 的待试口红色号，包括：获取用户上传的待试妆人脸图像，并接收用户在口红 色号列表显示界面对口红色号图的选中操作，根据口红色号图确定用户的待试 口红色号。
在一个实施例中，确定用户的待试口红色号的方式与获取口红模特图像中 待试口红色号的方式类似，此处不再赘述。
在一个实施例中，可以理解的是，在用户选中操作之前，待试口红颜色值 已经被识别，且与口红色号图和待试口红色号对应存储在口红录入数据库中， 并生成口红色号列表。图5是本发明实施例二提供的一种口红色号列表录入的 流程图。举例而言，获取口红色号颜色文件，其中，口红色号颜色文件包括但 不限于口红色号名称和口红色号图，口红色号颜色文件可以下载或保存在终端 设备的预设文件夹中。选取口红色号颜色文件中的口红色号图中的多个像素点， 识别多个像素点的颜色值，将与多个像素点对应的出现次数最多的颜色值作为 待试口红颜色值。将口红色号图、口红色号名称和待试口红颜色值对应保存在 口红录入数据库中，并生成口红色号列表，其中，生成口红色号列表是由口红 管理模块的展示接口提供。其中，口红色号列表中的口红色号图通过fastdfs接 口将其转换成url链接，使其可以在前端直接展示。示例性地，口红色号列表中 可以对应存储有口红索引信息以及口红颜色值，进一步地，还可以与所述口红 索引信息对应存储有与所述口红图片url。其中，口红索引信息可包括口红品牌、 口红系列以及口红色号中的至少一项。在一个实施例中，以“口红品牌#系列@ 色号”为索引，将“口红品牌#系列@色号”、“图片url”、“待试口红颜色值”写入 配置文件中。
这样设置的好处在于，方便用户直接在口红色号列表中进行待试口红色号 的选择，简化了用户的操作步骤。
实施例三
图6是本发明实施例三提供的一种口红试妆装置的示意图。本发明实施例 所提供的口红试妆装置可执行本发明任意实施例所提供的口红试妆方法，本实 施例可适用于虚拟化妆的情况。该口红试妆装置包括：待试妆人脸图像获取模 块310、上妆图像确定模块320、上妆图像评分模块330。
待试妆人脸图像获取模块310，用于获取用户的待试妆人脸图像以及用户 的待试口红色号；
上妆图像确定模块320，用于根据待试妆人脸图像、待试口红色号以及颜 色透明度，确定用户的上妆图像，其中，颜色透明度包括口红色号的颜色透明 度和/或嘴唇区域的颜色透明度；
上妆图像评分模块330，用于将与至少两个颜色透明度对应的上妆图像输 入至预先训练完成的图像评分模型，得到与每个上妆图像对应的评分，确定出 评分最高的上妆图像作为口红试妆图像。
本实施例的技术方案，通过对调节透明度对上妆图像进行评分，解决了虚 拟上妆的效果过于呆板的问题，使得口红试妆图像更接近于实际的上妆效果， 提高了图像的自然度和美观度。
可选的，上妆图像评分模块330包括：
评分标注单元，用于获取历史用户的上妆前图像和上妆后图像，对历史用 户的上妆后图像进行评分标注；
图像评分模型单元，用于将历史用户的上妆前图像和历史用户的标注后的 上妆后图像作为训练样本输入至初始评分模型中，根据输出结果对初始评分模 型的模型参数进行调整，以得到图像评分模型。
可选的，上妆图像确定模块320包括：
嘴唇区域图像确定单元，用于对所述待试妆人脸图像进行图像识别，确定 所述待试妆人脸图像中的嘴唇区域图像；
上妆图像确定单元，用于将第一透明度的白底图像叠加到所述嘴唇区域图 像上得到叠加图像，将第二透明度的口红色号叠加到所述叠加图像上，得到用 户的上妆图像。
可选的，嘴唇区域图像确定单元包括：
五官坐标点检测子单元，用于基于深度学习人脸识别库对所述待试妆人脸 图像进行五官坐标点检测，得到所述待试妆人脸图像的上嘴唇坐标集合以及下 嘴唇坐标集合；
嘴唇区域图像绘制子单元，用于根据所述上嘴唇坐标集合以及所述下嘴唇 坐标集合，绘制所述待试妆人脸图像的嘴唇区域图像。
可选的，上妆图像确定模块320包括：
待试妆人脸图像压缩单元，用于对所述待试妆人脸图像进行压缩，其中， 所述压缩算法包括双线性插值算法。
可选的，待试妆人脸图像获取模块310包括：
口红模特图像获取单元，用于获取用户上传的待试妆人脸图像以及口红模 特图像；
待试口红色号获取单元，用于识别出所述口红模特图像中的嘴唇区域图像 作为所述用户的口红色号图；
待试口红色号确定单元，用于根据所述口红色号图确定所述用户的待试口 红色号。
可选的，待试妆人脸图像获取模块310包括：
选中操作接收单元，用于获取用户上传的待试妆人脸图像，并接收所述用 户在口红色号列表显示界面对口红色号图的选中操作；
待试口红色号确定单元，用于根据所述口红色号图确定所述用户的待试口 红色号。
可选的，待试口红色号确定单元包括：
颜色值识别子单元，用于选取所述口红色号图中的多个像素点，识别所述 多个像素点的颜色值；
待试口红色号查找单元，用于将与所述多个像素点对应的出现次数最多的 颜色值作为待试口红颜色值，根据所述待试口红颜色值从口红录入数据库中查 找待试口红色号。
可选的，该装置还包括：
口红试妆图像显示模块，用于调用轻量级分布式文件系统的图片数据库将 所述上妆图像转换为统一资源定位符，以通过浏览器显示所述口红试妆图像。
举例而言，该装置可分为后台模块和前端模块。后台模块程序接口主要由 计算机程序设计语言python-flask框架中的flask-restful，gunicorn，fastdfs组成， 其中，通过flask提供的http接口接收图像流和口红色号信息，并对待试妆人脸 图像以及口红色号进行一系列处理，将口红试妆图像通过前端模块进行显示。 后台模块的功能有图像接收、处理、上妆等程序的CentOS服务器集群。一方面 与面向用户操作的前端模块界面建立基于TCP/IP协议的连接，另一方面为图像 接收、上妆及结果返回等程序提供HTTP接口服务。前端模块程序完成云接入 功能，主要是由html(Hyper Text Markup Language，超文本标记语言)、css (Cascading Style Sheets，层叠样式表)、javascript(直译式脚本语言)及html5 相关应用接口组成。前端模块程序向后台模块程序传输用户上传的图像及操作 指令，接收后台模块程序的上妆结果和异常信息的应用程序。
图7是本发明实施例三提供的一种口红试妆装置的优选示例的示意图。具 体的，该装置的执行程序流程包括：后台模块程序通过接口模块获取前端请求， 并通过口红列表展示接口向前端显示口红色号列表。在接收到前端模块程序的 图片上传接口调用后，分配一个线程处理，调用fastdfs图片数据库将base64编 码的图片进行压缩后转换成浏览器可以打开的url链接，并将此url链接返回前 端。当接收到用户的对口红色号列表的选中操作后，后台模块程序分配线程将 上述url链接解析成图片，进行五官坐标点检测，得到上嘴唇坐标集合以及下嘴 唇坐标集合。同时，后台模块程序根据接收的口红色号信息，获取该色号口红 的颜色值。根据嘴唇坐标集合，对嘴唇区域进行区域描边并上色得到上妆图像。 将上妆图像调节透明度后输入到图像评分模型，将得到的口红试妆图像通过fastdfs图片数据库转换成url返回前端显示。
值得注意的是，上述口红试妆装置的实施例中，所包括的各个单元和模块 只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应 的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用 于限制本发明的保护范围。
本发明实施例所提供的口红试妆装置可以用于执行本发明实施例所提供的 口红试妆方法，具备执行方法相应的功能和有益效果。
实施例四
图8是本发明实施例四提供的一种终端设备的结构示意图，本发明实施例 四为本发明上述实施例的口红试妆方法的实现提供服务，可配置本发明实施例 中的口红试妆装置。图8示出了适于用来实现本发明实施方式的示例性终端设 备12的框图。图8显示的终端设备12仅仅是一个示例，不应对本发明实施例 的功能和使用范围带来任何限制。
如图8所示，终端设备12以通用计算设备的形式表现。终端设备12的组 件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28， 连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控 制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线 结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA) 总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA) 局域总线以及外围组件互连(PCI)总线。
终端设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能 够被终端设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不 可移动的介质。
系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随 机存取存储器(RAM)30和/或高速缓存存储器32。终端设备12可以进一步包 括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例， 存储系统34可以用于读写不可移动的、非易失性磁介质(图8未显示，通常称 为“硬盘驱动器”)。尽管图8中未示出，可以提供用于对可移动非易失性磁盘(例 如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM, DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器 可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少 一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模 块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如 存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用 程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包 括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/ 或方法。
终端设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显 示器24等)通信，还可与一个或者多个使得用户能与该终端设备12交互的设 备通信，和/或与使得该终端设备12能与一个或多个其它计算设备进行通信的 任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O) 接口22进行。并且，终端设备12还可以通过网络适配器20与一个或者多个网 络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。 如图8所示，网络适配器20通过总线18与终端设备12的其它模块通信。应当 明白，尽管图中未示出，可以结合终端设备12使用其它硬件和/或软件模块， 包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID 系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能 应用以及数据处理，例如实现本发明实施例所提供的口红试妆方法。
通过上述终端设备，对调节透明度对上妆图像进行评分，解决了虚拟上妆 的效果过于呆板的问题，使得口红试妆图像更接近于实际的上妆效果，提高了 图像的自然度和美观度。
实施例五
本发明实施例五还提供了一种包含计算机可执行指令的存储介质，计算机 可执行指令在由计算机处理器执行时用于执行一种口红试妆方法，该方法包括：
获取用户的待试妆人脸图像以及所述用户的待试口红色号；
根据所述待试妆人脸图像、所述待试口红色号以及颜色透明度，确定所述 用户的上妆图像，其中，所述颜色透明度包括口红色号的颜色透明度和/或嘴唇 区域的颜色透明度；
将与至少两个颜色透明度对应的上妆图像输入至预先训练完成的图像评分 模型，得到与每个上妆图像对应的评分，确定出评分最高的上妆图像作为口红 试妆图像。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质 的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储 介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、 或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的 更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式 计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可 编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器 (CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文 件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可 以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据 信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种 形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读 的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算 机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用 或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不 限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计 算机程序代码，程序设计语言包括面向对象的程序设计语言，诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程 序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机 上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机 上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中， 远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)， 连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供 商来通过因特网连接)。
当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计 算机可执行指令不限于如上的方法操作，还可以执行本发明任意实施例所提供 的口红试妆方法中的相关操作。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽 然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以 上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。

Claims (10)

1.一种口红试妆方法，其特征在于，包括：
获取用户的待试妆人脸图像以及所述用户的待试口红色号；
根据所述待试妆人脸图像、所述待试口红色号以及颜色透明度，确定所述用户的上妆图像，其中，所述颜色透明度包括口红色号的颜色透明度和/或嘴唇区域的颜色透明度；
将与至少两个颜色透明度对应的上妆图像输入至预先训练完成的图像评分模型，得到与每个上妆图像对应的评分，确定出评分最高的上妆图像作为口红试妆图像。
2.根据权利要求1所述的方法，其特征在于，还包括：
获取历史用户的上妆前图像和上妆后图像，对所述历史用户的上妆后图像进行评分标注；
将所述历史用户的上妆前图像和所述历史用户的标注后的所述上妆后图像作为训练样本输入至初始评分模型中，根据输出结果对所述初始评分模型的模型参数进行调整，以得到图像评分模型。
3.根据权利要求1所述的方法，其特征在于，还包括：
对所述待试妆人脸图像进行图像识别，确定所述待试妆人脸图像中的嘴唇区域图像；
将第一透明度的白底图像叠加到所述嘴唇区域图像上得到叠加图像，将第二透明度的口红色号叠加到所述叠加图像上，得到用户的上妆图像。
4.根据权利要求3所述的方法，其特征在于，所述对所述待试妆人脸图像进行图像识别，确定所述待试妆人脸图像中的嘴唇区域图像，包括：
基于深度学习人脸识别库对所述待试妆人脸图像进行五官坐标点检测，得到所述待试妆人脸图像的上嘴唇坐标集合以及下嘴唇坐标集合；
根据所述上嘴唇坐标集合以及所述下嘴唇坐标集合，绘制所述待试妆人脸图像的嘴唇区域图像。
5.根据权利要求3所述的方法，其特征在于，在对所述待试妆人脸图像进行图像识别之前，还包括：
对所述待试妆人脸图像进行压缩，其中，所述压缩算法包括双线性插值算法。
6.根据权利要求1所述的方法，其特征在于，所述获取用户的待试妆人脸图像以及所述用户的待试口红色号，包括：
获取用户上传的待试妆人脸图像以及口红模特图像；
识别出所述口红模特图像中的嘴唇区域图像作为所述用户的口红色号图，根据所述口红色号图确定所述用户的待试口红色号。
7.根据权利要求1所述的方法，其特征在于，所述获取用户的待试妆人脸图像以及所述用户的待试口红色号，包括：
获取用户上传的待试妆人脸图像，并接收所述用户在口红色号列表显示界面对口红色号图的选中操作，根据所述口红色号图确定所述用户的待试口红色号。
8.根据权利要求6或7所述的方法，其特征在于，所述根据所述口红色号图确定所述用户的待试口红色号，包括：
选取所述口红色号图中的多个像素点，识别所述多个像素点的颜色值；
将与所述多个像素点对应的出现次数最多的颜色值作为待试口红颜色值。根据所述待试口红颜色值从口红录入数据库中查找待试口红色号。
9.根据权利要求1所述的方法，其特征在于，还包括：
调用轻量级分布式文件系统的图片数据库将所述上妆图像转换为统一资源定位符，以通过浏览器显示所述口红试妆图像。
10.一种口红试妆装置，其特征在于，该装置包括：
待试妆人脸图像获取模块，用于获取用户的待试妆人脸图像以及所述用户的待试口红色号；
上妆图像确定模块，用于根据所述待试妆人脸图像、所述待试口红色号以及颜色透明度，确定所述用户的上妆图像，其中，所述颜色透明度包括口红色号的颜色透明度和/或嘴唇区域的颜色透明度；
上妆图像评分模块，用于将与至少两个颜色透明度对应的上妆图像输入至预先训练完成的图像评分模型，得到与每个上妆图像对应的评分，确定出评分最高的上妆图像作为口红试妆图像。
CN201910670521.0A 2019-07-24 2019-07-24 一种口红试妆方法及装置 Pending CN110400254A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910670521.0A CN110400254A (zh) 2019-07-24 2019-07-24 一种口红试妆方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910670521.0A CN110400254A (zh) 2019-07-24 2019-07-24 一种口红试妆方法及装置

Publications (1)

Publication Number Publication Date
CN110400254A true CN110400254A (zh) 2019-11-01

Family

ID=68325818

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910670521.0A Pending CN110400254A (zh) 2019-07-24 2019-07-24 一种口红试妆方法及装置

Country Status (1)

Country Link
CN (1) CN110400254A (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807114A (zh) * 2019-11-07 2020-02-18 北京无限光场科技有限公司 用于图片展示的方法、装置、终端及存储介质
CN111047511A (zh) * 2019-12-31 2020-04-21 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111815533A (zh) * 2020-07-14 2020-10-23 厦门美图之家科技有限公司 妆容处理方法、装置、电子设备和可读存储介质
CN111932332A (zh) * 2020-06-04 2020-11-13 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备和计算机可读介质
CN112819767A (zh) * 2021-01-26 2021-05-18 北京百度网讯科技有限公司 图像处理方法、装置、设备、存储介质以及程序产品
CN113763109A (zh) * 2021-02-03 2021-12-07 北京沃东天骏信息技术有限公司 物品推荐方法、装置、设备及存储介质
CN117710271A (zh) * 2024-02-06 2024-03-15 成都戎盛科技有限公司 一种基于海思2d加速平台的透明度处理方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945175A (zh) * 2017-12-12 2018-04-20 百度在线网络技术（北京）有限公司 图像的评价方法、装置、服务器及存储介质
CN109584180A (zh) * 2018-11-30 2019-04-05 深圳市脸萌科技有限公司 人脸图像处理方法、装置、电子设备及计算机存储介质
CN109685713A (zh) * 2018-11-13 2019-04-26 平安科技（深圳）有限公司 化妆模拟控制方法、装置、计算机设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107945175A (zh) * 2017-12-12 2018-04-20 百度在线网络技术（北京）有限公司 图像的评价方法、装置、服务器及存储介质
CN109685713A (zh) * 2018-11-13 2019-04-26 平安科技（深圳）有限公司 化妆模拟控制方法、装置、计算机设备及存储介质
CN109584180A (zh) * 2018-11-30 2019-04-05 深圳市脸萌科技有限公司 人脸图像处理方法、装置、电子设备及计算机存储介质

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110807114A (zh) * 2019-11-07 2020-02-18 北京无限光场科技有限公司 用于图片展示的方法、装置、终端及存储介质
CN110807114B (zh) * 2019-11-07 2024-01-30 北京有竹居网络技术有限公司 用于图片展示的方法、装置、终端及存储介质
CN111047511A (zh) * 2019-12-31 2020-04-21 维沃移动通信有限公司 一种图像处理方法及电子设备
CN111932332A (zh) * 2020-06-04 2020-11-13 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备和计算机可读介质
CN111932332B (zh) * 2020-06-04 2023-04-21 北京旷视科技有限公司 虚拟试妆方法、装置、电子设备和计算机可读介质
CN111815533A (zh) * 2020-07-14 2020-10-23 厦门美图之家科技有限公司 妆容处理方法、装置、电子设备和可读存储介质
CN111815533B (zh) * 2020-07-14 2024-01-19 厦门美图之家科技有限公司 妆容处理方法、装置、电子设备和可读存储介质
CN112819767A (zh) * 2021-01-26 2021-05-18 北京百度网讯科技有限公司 图像处理方法、装置、设备、存储介质以及程序产品
CN113763109A (zh) * 2021-02-03 2021-12-07 北京沃东天骏信息技术有限公司 物品推荐方法、装置、设备及存储介质
CN117710271A (zh) * 2024-02-06 2024-03-15 成都戎盛科技有限公司 一种基于海思2d加速平台的透明度处理方法及系统
CN117710271B (zh) * 2024-02-06 2024-04-19 成都戎盛科技有限公司 一种基于海思2d加速平台的透明度处理方法及系统

Similar Documents

Publication Publication Date Title
CN110400254A (zh) 一种口红试妆方法及装置
US20210241498A1 (en) Method and device for processing image, related electronic device and storage medium
CN111161137B (zh) 一种基于神经网络的多风格国画花生成方法
Li et al. Globally and locally semantic colorization via exemplar-based broad-GAN
JP2010507854A (ja) ビデオイメージシーケンスを仮想シミュレーションする方法及び装置
US11914841B2 (en) Automatic generation of stylized icons
CN111080806B (zh) 贴图处理方法及装置、电子设备、存储介质
KR102260628B1 (ko) 협력적 스타일 트랜스퍼 기술을 이용한 이미지 생성 시스템 및 방법
CN112995534B (zh) 视频生成方法、装置、设备及可读存储介质
JP2018197948A (ja) 線画自動着色プログラム、線画自動着色装置及びグラフィカルユーザインターフェース用プログラム
CN113362263A (zh) 变换虚拟偶像的形象的方法、设备、介质及程序产品
CN112102422B (zh) 图像处理方法及装置
CN113204658A (zh) 一种页面显示更新方法、装置、电子设备及存储介质
CN113453027A (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN114820292A (zh) 图像合成方法、装置、设备及存储介质
JP2024505713A (ja) 画像処理方法、装置、機器及び可読記憶媒体
CN115690281B (zh) 角色表情的驱动方法及装置、存储介质、电子装置
CN115063800B (zh) 文本识别方法和电子设备
WO2020188924A1 (ja) 情報処理装置、検索方法、及びプログラムが格納された非一時的なコンピュータ可読媒体
CN115953597B (zh) 图像处理方法、装置、设备及介质
CN114917583A (zh) 一种基于生成对抗网络的动漫风格游戏背景生成方法及平台
CN113538214A (zh) 一种妆容迁移的控制方法、系统和存储介质
CN106485206A (zh) 基于化妆的视频图片结合的教学方法及装置
CN111062862A (zh) 基于颜色的数据增强方法和系统及计算机设备和存储介质
CN117270721B (zh) 基于多用户交互xr场景的数字形象渲染方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191101

RJ01 Rejection of invention patent application after publication