CN111586424B - 一种实现化妆品多维动态展示的视频直播方法及装置 - Google Patents

一种实现化妆品多维动态展示的视频直播方法及装置 Download PDF

Info

Publication number
CN111586424B
CN111586424B CN202010348126.3A CN202010348126A CN111586424B CN 111586424 B CN111586424 B CN 111586424B CN 202010348126 A CN202010348126 A CN 202010348126A CN 111586424 B CN111586424 B CN 111586424B
Authority
CN
China
Prior art keywords
face
model
makeup
facial
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010348126.3A
Other languages
English (en)
Other versions
CN111586424A (zh
Inventor
刘谋容
王国强
王慧仙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan Real Media Co.,Ltd.
Original Assignee
Yongkang Jingxin Software Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yongkang Jingxin Software Development Co ltd filed Critical Yongkang Jingxin Software Development Co ltd
Priority to CN202010348126.3A priority Critical patent/CN111586424B/zh
Publication of CN111586424A publication Critical patent/CN111586424A/zh
Application granted granted Critical
Publication of CN111586424B publication Critical patent/CN111586424B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/441—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card
    • H04N21/4415—Acquiring end-user identification, e.g. using personal code sent by the remote control or by inserting a card using biometric characteristics of the user, e.g. by voice recognition or fingerprint scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Biology (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种实现化妆品多维动态展示的视频直播方法，首先从主播上传的上妆前面部图像中提取出妆前面部特征，将其与面部模型的面部特征进行匹配得到面部特征匹配关系，然后从主播上传的上妆后面部图像中提取出妆后面部特征，依据妆前面部特征和妆后面部特征算出反映上妆效果的面部特征变化量，然后依据面部特征匹配关系和面部特征变化量生成面部模型的妆后面部特征变化量，依据妆后面部特征变化量对相应的面部模型进行渲染生成面部模型的妆后虚拟面部图像或视频，之后将妆后虚拟面部图像或视频显示于主播实时上传直播的上妆后面部图像或视频中。该方法能在直播过程中直观地播放不同面部模型应用了化妆品的效果，利于用户选到合适的化妆品。

Description

一种实现化妆品多维动态展示的视频直播方法及装置
技术领域
本发明涉及一种视频直播技术领域，特别涉及一种实现化妆品多维动态展示的视频直播方法及装置。
背景技术
目前，通过网络短视频直播的社交方式越来越火爆，随着互联网建设的逐渐发达，越来越多的人类活动都借助互联网实现，通过抖音、快手等短视频软件进行网络直播来实现课程分享、物品展示。这其中，利用直播展示的方式进行化妆品带货销售非常热门，直播过程中主播一般会实际使用化妆品进行化妆，以展示出该化妆品对面部容貌提升的效果，包括使眼睛显得更大，使嘴唇的形态更为丰满、使面部轮廓更有紧致等等。
然而，利用直播展示的方式进行化妆品带货销售仍存在一个问题：直播画面上只有主播自己的化妆效果展示，而没有任何关于具有其他面容类型人脸的上妆效果展示图，观看直播的用户只能得知化妆品在主播面部所产生的上妆效果，而无法得知化妆品在不同用户自身的面部所产生的化妆效果，这使得上妆效果的展示维度很单一，也使得用户在决定是否购买化妆品时参考示例较少，增加了用户选到合适自己的化妆品的难度。
发明内容
(一)发明目的
为克服上述现有技术存在的缺陷，实现在主播进行化妆品试妆直播时，直播画面上还能显示具有其他面容形貌的面部模型的上妆效果，从而给客户带来直观的上妆效果感受，方便用户决断是否买商品，本申请提供了以下技术方案。
(二)技术方案
作为本发明的第一方面，本发明公开了一种实现化妆品多维动态展示的视频直播方法，包括：
从主播上传的上妆前的面部图像或视频中提取出妆前面部特征，将所述妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配，得到主播与所述面部模型的面部特征匹配关系；
从主播上传的上妆后的面部图像或视频中提取出妆后面部特征，依据所述妆前面部特征和所述妆后面部特征算出反映上妆效果的面部特征变化量；
依据所述面部特征匹配关系和所述面部特征变化量生成所述面部模型的妆后面部特征变化量；
依据所述妆后面部特征变化量对相应的面部模型进行渲染，生成所述面部模型的妆后虚拟面部图像或视频；
将所述妆后虚拟面部图像或视频显示于主播实时上传直播的上妆后面部图像或视频中。
在一种可能的实施方式中，所述提取出妆前面部特征和/或所述提取出妆后面部特征，包括：
利用积分图对主播上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar-like特征值；
将所述各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛选出面部区域图像；其中，
所述AdaBoost级联分类器包括多个串联的弱分类器，所述弱分类器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像。
在一种可能的实施方式中，所述提取出妆前面部特征和/或所述提取出妆后面部特征，还包括：
利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息；
将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息。
在一种可能的实施方式中，所述利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息，包括：
利用不同尺寸的方向梯度直方图特征滤波器对主播上传的图像进行滤波，得到各个预先训练好且相互关联的面部特征模板对应区域的相似度；
将得到的所述相似度与相似阈值进行比较，相似度大于相似阈值则判定为检测到面部，否则判定为未检测到面部。
在一种可能的实施方式中，所述将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息，包括：
建立形状模型以及纹理模型，并依据所述形状模型和所述纹理模型构建主动外观模型；
基于所述粗定位坐标信息，利用能量函数计算模型实例与待测图像之间的误差，利用该误差对模型进行优化，得到精定位的面部关键点。
在一种可能的实施方式中，所述上妆前的面部图像或视频的上传，以及所述上妆后的面部图像或视频的上传，均通过以下任一种方式进行：
通过按下图像采集上传设备的设备本体上设置的实体按键来触发上传动作；
通过点击图像采集上传设备的屏幕画面上显示的虚拟按钮来触发上传动作；
通过对实时上传的主播图像进行自动识别来选取上妆前/上妆后的图像或视频；
通过接收并识别主播的语音指令来触发上传动作。
在一种可能的实施方式中，在所述将所述妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配时，通过以下方式中的一种进行所述至少一种面部模型的选取：
当前直播的试用的化妆品所适用人群中，面容形貌类型的人数占比最多的前N个面部模型；
当前直播的试用的化妆品的使用人群中，面容形貌类型的人数占比最多的前N个面部模型；
通过预先统计的收看本次直播的人群中，面容形貌类型的人数占比最多的前N个面部模型。
作为本发明的第二方面，本发明还公开了一种实现化妆品多维动态展示的视频直播系统，包括：
面部特征匹配模块，用于从主播上传的上妆前的面部图像或视频中提取出妆前面部特征，将所述妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配，得到主播与所述面部模型的面部特征匹配关系；
上妆效果评估器，用于从主播上传的上妆后的面部图像或视频中提取出妆后面部特征，依据所述妆前面部特征和所述妆后面部特征算出反映上妆效果的面部特征变化量；
模型上妆关联模块，用于依据所述面部特征匹配关系和所述面部特征变化量生成所述面部模型的妆后面部特征变化量；
上妆效果渲染器，用于依据所述妆后面部特征变化量对相应的面部模型进行渲染，生成所述面部模型的妆后虚拟面部图像或视频；
视频图像添加模块，用于将所述妆后虚拟面部图像或视频显示于主播实时上传直播的上妆后面部图像或视频中。
在一种可能的实施方式中，所述面部特征匹配模块和/或所述上妆效果评估器，包括：
特征值计算单元，用于利用积分图对主播上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar-like特征值；
图像分类筛选单元，用于将所述各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛选出面部区域图像；其中，
所述AdaBoost级联分类器包括多个串联的弱分类器，所述弱分类器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像。
在一种可能的实施方式中，所述面部特征匹配模块和/或所述上妆效果评估器，还包括：
粗定位子模块，用于利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息；
精定位子模块，用于将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息。
在一种可能的实施方式中，所述粗定位子模块包括：
相似度计算单元，用于利用不同尺寸的方向梯度直方图特征滤波器对主播上传的图像进行滤波，得到各个预先训练好且相互关联的面部特征模板对应区域的相似度；
面部判定单元，用于将得到的所述相似度与相似阈值进行比较，相似度大于相似阈值则判定为检测到面部，否则判定为未检测到面部。
在一种可能的实施方式中，所述精定位子模块包括：
模型构建单元，用于建立形状模型以及纹理模型，并依据所述形状模型和所述纹理模型构建主动外观模型；
模型拟合单元，用于基于所述粗定位坐标信息，利用能量函数计算模型实例与待测图像之间的误差，利用该误差对模型进行优化，得到精定位的面部关键点。
在一种可能的实施方式中，所述面部特征匹配模块以及所述上妆效果评估器均通过以下任一种方式进行面部图像或视频的上传：
通过按下图像采集上传设备的设备本体上设置的实体按键来触发上传动作；
通过点击图像采集上传设备的屏幕画面上显示的虚拟按钮来触发上传动作；
通过对实时上传的主播图像进行自动识别来选取上妆前/上妆后的图像或视频；
通过接收并识别主播的语音指令来触发上传动作。
在一种可能的实施方式中，在所述面部特征匹配模块将所述妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配时，通过以下方式中的一种进行所述至少一种面部模型的选取：
当前直播的试用的化妆品所适用人群中，面容形貌类型的人数占比最多的前N个面部模型；
当前直播的试用的化妆品的使用人群中，面容形貌类型的人数占比最多的前N个面部模型；
通过预先统计的收看本次直播的人群中，面容形貌类型的人数占比最多的前N个面部模型。
(三)有益效果
本发明公开的一种实现化妆品多维动态展示的视频直播方法及装置，具有如下有益效果：
1、能在直播过程中直观地播放不同面部模型应用了化妆品的效果，从而给面部形貌不同的客户带来直观的上妆感受，方便用户决断是否买商品。
2、能在直播过程中多维度地展示不同面部模型的上妆效果，从而可以使用户在不同形貌模型的上妆效果之间进行横向比较，为用户提供了较多的参考示例，便于用户根据与自己面容形貌相同的模型的上妆效果来决定是否对该化妆品感兴趣，进而决定是否购买该化妆品，利于用户选到合适自己的化妆品。
3、能够在直播过程中动态展示上妆过程，从而给客户如何使用化妆品给予指导。
附图说明
以下参考附图描述的实施例是示例性的，旨在用于解释和说明本发明，而不能理解为对本发明的保护范围的限制。
图1是本发明公开的实现化妆品多维动态展示的视频直播方法的流程示意图；
图2是本发明公开的实现化妆品多维动态展示的视频直播装置的结构框图；
图3是图2中视频直播装置的实施架构图。
具体实施方式
为使本发明实施的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行更加详细的描述。
需要说明的是：在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本发明一部分实施例，而不是全部的实施例，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面参考图1详细描述本申请公开的实现化妆品多维动态展示的视频直播方法实施例。
如图1所示，本实施例公开了一种实现化妆品多维动态展示的视频直播方法，主要包括以下步骤：
步骤100、从主播上传的上妆前的面部图像或视频中提取出妆前面部特征，将妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配，得到主播与面部模型的面部特征匹配关系。
主播在直播中，在对某种化妆品进行上妆之前，先通过摄像头以某种角度拍摄自己上妆前的面部图像/视频，并上传到后台处理器，由后台处理器提取出妆前面部特征并得到面部特征匹配关系。
其中，“面部特征”中的“特征”具体可以是指由面部的多个关键点的特征所组成的“关键点特征组”。具体来说，提取面部特征的方式可以是从主播面部区域中确定出多个面部关键点(能够描述人脸轮廓及各面部器官轮廓的点)，通过检测出的面部关键点位置信息能够实现面部各子区域的划分。面部关键点可以包括主播面部的包括额头、面颊、下颚、眼睑、眉毛、眼皮、颧骨、鼻梁等可化妆区域，然后依据这些面部关键点的特征向量组成面部关键点特征组，作为上述妆前面部特征以及后续步骤中出现的妆后面部特征。
上述关键点特征向量用于描述该关键点具有的属性特征，例如颜色特征、亮度特征等等。
用于实施本方法的相应系统可以将实现本步骤的相应功能模块嵌入、集成到直播网站或直播APP的主播客户端中，例如作为客户端的一个插件功能。在主播通过该网站或该APP向外进行网络直播时，可以直接通过调用电脑外置摄像头或手机前置摄像头来进行图像/视频获取，并自动将拍摄到的视频图像上传到系统的后台服务器中进行图像处理。
实施本方法的相应系统可以设置有由预先采集的多种类型人脸数据形成的包含多种不同类型面部模型的模型库，模型库中包含尽量多的不同类型的面部模型，不同模型具有不同的面容形貌。当提取出主播的妆前面部特征之后，则与从模型库中的选出的一种或多种面部模型进行特征对比，建立起主播的面部与面部模型之间的计算关系，也就是面部特征匹配关系，其表达了主播的面部与面部模型之间匹配特征或者区别特征。
步骤200、从主播上传的上妆后的面部图像或视频中提取出妆后面部特征，依据妆前面部特征和妆后面部特征算出反映上妆效果的面部特征变化量。
妆后面部特征的提取方式与妆前面部特征的提取方式相类似，但妆后面部特征的提取中还会提取出化妆品产生的面容效果，以口红为例，则面容效果主要包括了口红产生的红唇色调、亮度等。通过对妆前、妆后的特征进行对比和计算，基于关键点特征向量的变化，提取出口红所产生面容效果的向量，也就是能够反映上妆效果的面部特征变化量。
步骤300、依据面部特征匹配关系和面部特征变化量生成面部模型的妆后面部特征变化量。
利用步骤100中算出的面部特征匹配关系，可以使主播的妆前面部与面部模型的面部之间产生联系和计算关系，而利用步骤200中算出的面部特征变化量，可以使主播的妆前面部与妆后面部产生联系和计算关系，因此在具备以上计算关系的情况下，本步骤利用该两个计算关系，以主播的妆前面部作为桥梁，将面部特征变化量应用到所有选中的面部模型上，推算出所有选中的面部模型的妆后面部特征变化量。例如主播试妆口红之后，主播的妆后面部特征为{A1,A2,…,An}，其中Ai为第i个关键点的特征向量，n为关键点数量。而对应到面部模型上时，面部模型1的面部特征为{B1,B2,…,Bn}，两者的匹配关系为{P1,P2,…,Pn},此时通过计算能够得知面部模型1的妆后面部特征变化量为{C1,C2,…,Cn}。
步骤400、依据妆后面部特征变化量对相应的面部模型进行渲染，生成面部模型的妆后虚拟面部图像或视频。
将选中的面部模型以及步骤300中推算出的关键点特征组的变化量输入上妆效果渲染器，该渲染器渲染出表示面部模型上妆后效果的面部图像或者视频。具体的，就是将上述面部模型1的妆后面部特征变化量{C1,C2,…,Cn}应用到面部模型1上，生成能够在面部模型上展现出该化妆品上妆效果的图像/视频。
步骤500、将妆后虚拟面部图像或视频显示于主播实时上传直播的上妆后面部图像或视频中。
将该渲染的模特面部图像或者视频，与主播实际拍摄的上妆后效果的面部图像或者视频，通过拼接显示、分屏显示、画中画显示等方式进行展现，共同在直播平台上进行播放，例如将主播的面部图像或视频显示于左侧，将各面部模型的上妆后图像竖向排列地显示于右侧。用户可以同时看到主播的上妆效果，以及相同化妆品在虚拟面部模型上的上妆效果，实现了上妆效果的横向对比。
通过本实施例公开的视频直播方法，能够在主播试妆的直播过程中展示具有不同面容形貌的面部模型应用了化妆品所产生的上妆效果，增加了上妆效果的展示维度，从而给面部形貌不同的用户带来直观的上妆感受，使用户能够在不同形貌模型的上妆效果之间进行横向比较，为用户提供了较多的参考示例，便于用户根据与自己面容形貌相同的模型的上妆效果来决定是否对该化妆品感兴趣，进而决定是否购买该化妆品，从而给客户如何使用化妆品给予指导，利于用户选到合适自己的化妆品。
在从图像或视频中提取主播的面部特征的过程中，可以先从图像中确定出面部区域图像，再从面部区域图像中进行妆前面部特征提取，但在确定面部区域图像的过程中，由于主播上传的图像(无论是妆前图像还是妆后图像)中面部区域可能存在表情变化幅度和面部偏转角度较大导致出现检测盲区的情况，这会导致提取过程中发生主播面部的错检和漏检，使得难以与面部模型的面部特征进行匹配，同时会降低面部特征的提取速度。因此，在一种实施方式中，提取出妆前面部特征的步骤和/或提取出妆后面部特征的步骤包括以下两个步骤A1和A2。。由于妆前特征提取和妆后特征提取均涉及了面部特征的提取，因此既可以只在进行主播妆前图像的面部特征提取时实施以下公开的面部特征提取方式，也可以只在进行主播妆后图像的面部特征提取时实施，还可以在进行两者面部特征提取时均采用以下提取方式。步骤A1，利用积分图对主播上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar-like特征值。
Haar-like特征是一种矩形特征，能够反映面部不同区域的灰度变化情况，包括了边缘、中心、对角线等。Haar-like特征通过矩形模板进行特征的提取，其矩形模板由黑色和白色两部分矩形组成，Harr-like特征值即为白色矩形区域内像素和与黑色矩形区域内像素和的差。
图像积分图中每个点的值是原图像中该点左上角的所有像素值之和。具体的，点(x,y)处的积分值为原点和点(x,y)构成的矩形区域内所有像素值的和，也就是说，通过对图像的行和列的像素值进行累加能够得到图像中任意像素点的积分图的值。
通过积分图对Haar-like特征值进行计算，能够加快图像特征值的计算速度，无需进行重复迭代并且只需一次遍历即可算出图像中各个区域的像素和。
步骤A2，用于将各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛选出面部区域图像。级联分类器由多个弱分类器分级串联组成，AdaBoost级联分类器包括多个串联的弱分类器。
每个Haar-like特征均为一个弱分类器，弱分类器可用以下表达式表示：
Figure GDA0002513356360000141
其中，h为弱分类器的检测值，f(x)为检测子窗口x的特征计算函数，θ为设定的分类器阈值，ρ表示不等号的方向。h的值为1时表示区域属于面部区域，值为0时表示区域属于非面部区域。
通过使检测错误率最小来对弱分类器进行训练，得到最小误差函数对应的弱分类器h并将其加入到强分类器中，当通过更新权重并循环遍历完训练样本之后，得到由多个弱分类器级联组成级联分类器。
弱分类器随着迭代次数的增多，在筛选过程中越来越严格，检测过程中非面部区域的图像不会通过当前分类器的筛选进入下一个弱分类器，而是被分类器拒绝，使得只有面部区域的图像才会通过所有分类器的筛选，最终筛选确定出整体的面部区域图像，作为之后提取主播妆前面部特征和/或妆后面部特征的依据。
弱分类器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像，使得分类器能够应对夸张表情和大角度偏转面部的检测，提高了分类器在人脸偏转时的检测性能，同时使用了基于Haar-like特征和AdaBoost级联分类器相结合的面部区域检测方法，提高了检测的准确率，同时保证了检测的速度。
可以理解的是，在提取主播面部的N个关键点之前，可以先调整主播面部图像或者视频的角度、大小，直至与标称角度、大小一致，然后再对调整后的图像提取关键点。具体试用的调整方法可以利用尺度不变特征变换(Scale Invariant Feature Transform，SIFT)实现图像中面部的对齐。
在一种实施方式中，提取出妆前面部特征的步骤和/或提取出妆后面部特征的步骤还可以包括以下步骤A3和A4。
步骤A3，利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息，从而降低可变形部件模型的时间复杂度。可变形部件模型(Deformable Part Model，DPM)，是基于混合多尺度可变形部件模型的目标检测框架，能够实现面部关键点大致位置的检测。
步骤A4，将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息。
主动外观模型(Active Appearance Model，AAM)是包含人脸的形状信息和纹理信息的统计模型，其同时利用了形状信息和纹理信息，将两者信息相结合，能够更加准确的定位关键点。
基于可变形部件模型能够较准确定位部分关键点，以及基于主动外观模型良好的拟合能力，因此采用两者模型相结合的方式对主播上传的图像/视频进行面部关键点(妆前面部特征和/或妆后面部特征)的获取。
首先是利用可变形部件模型对面部进行精度较低的关键点粗定位。在一种实施方式中，所述步骤A3包括以下步骤A31和A32。
步骤A31，利用不同尺寸的方向梯度直方图特征滤波器对主播上传的图像进行滤波，得到各个预先训练好且相互关联的面部特征模板对应区域的相似度。
步骤A32，将相似度与相似阈值进行比较，相似度大于相似阈值则判定为检测到面部，否则判定为未检测到面部。
可变形部件模型包括一个根滤波器以及多个相互关联的部件滤波器，这些滤波器均为线性滤波器。可变形部件模型可以用(F0,P1,...,Pk,b)表示，其中F0为根滤波器，b为实数偏移量，Pi为第i个部件模型，Pi＝(Fi,vi,di)，Fi为该部件的部件滤波器，vi为该部件相对于根部件锚定位置的二维向量，di为部件位置相对于根部件锚定位置偏移的四维向量。
滤波器在图像的细胞单元位置上进行滤波最终生成d维方向梯度直方图特征向量，图像中每个细胞单元均由对应的方向梯度直方图特征向量来进行表示。方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，通过计算和统计图像局部区域的梯度方向直方图来构成特征。
对于主播上传的图像，计算每个颜色图通道的梯度方向和梯度幅值，再计算每个像素位置在所有颜色通道中梯度最大的值对应的梯度方向，并在π和2π两种模式下将梯度方向离散化到p个通道上。设A1为将所有梯度方向投影到[0,π]均匀区间中，其梯度方向θ和θ+π在同一区间内，区间宽度较大，经离散化后得到的hog特征为不敏感特征。设A2为将所有梯度方向投影到[0,2π]均匀区间中，其梯度方向θ和θ+2π在同一区间内，区间宽度较小，经离散化后得到的hog特征为敏感特征。
由此构造出的具有p个通道的特征图像可表示为：
Figure GDA0002513356360000171
其中，r(x,y)为梯度幅度；b＝0,1,…,p-1；A为离散化模式A1或A2。
在滤波之前，可以先对上述构造的特征图像F(x,y)b进行空间压缩和归一化。
空间压缩具体为：设特征图像F的大小为l×h，则可以将特征图像F分割为n×n的细胞单元，对细胞单元的所有特征值求和，每个细胞单元映射成为一个数值，得到
Figure GDA0002513356360000172
的特征图像F’，减小了特征图像的尺寸，增加了鲁棒性。
通过计算邻域能量和并采用截取算子进行归一化后，假设通道数p＝9，细胞大小n×n＝8×8，截断因子α＝0.2，在A1模式下通过对9维梯度方向直方图利用4个不同的归一化因子进行归一化，最终算出HOG的特征维度为36维。
之后对原始方向梯度直方图特征进行主成分分析计算，得到各个主特征向量和对应的主特征值。主成分分析(Principal Components Analysis，PCA)用于把多指标转化为少数几个综合指标以实现降维。从各主方向中选择对特征影响最大的前m个主方向，并将特征投影到前m个主方向上，实现降维。例如通过实验发现前11个主方向对特征的影响是绝对性的，则将特征投影到前11个主方向，使用映射后的11维特征效果近似于使用36维特征。
为了能够在不同分辨率下实现对人脸更精确的检测，可变形部件模型采用了多层特征金字塔的形式表示方向梯度直方图特征，采用的金字塔包括：
1.将s的二分之一作为计算直方图特征时的小块大小，从原始图像开始，每一步对上一层图像进行2^(1/int)倍的下采样，直到经过int步达到原始图像尺寸的二分之一为止，共得到int层特征金字塔。其中，s表示训练模型中的小块的大小，int表示训练步长。
2.将s作为计算直方图特征时的小块大小，从原始图像开始，每一步对上一层图像进行2^(1/int)倍的下采样，直到经过int步达到原始图像尺寸的二分之一为止，共得到int层特征金字塔。
3.将s作为计算直方图特征时的小块大小，从原始图像的二分之一开始，每一步对上一层图像进行2^(1/int)倍的下采样，直到特征尺寸降到3*3为止。
其中，第1部分能够计算出部件滤波器的响应值，第2、3部分能够计算出根滤波器的响应值。通过使用金字塔结构能够保证可变形部件模型对于多角度目标的检测。由于可变形部件模型值负责粗定位，对检测精度要求不高但对检测速度要求较高，因此本实施例采用int＝1，s＝4的参数设置进行面部关键点初步检测。
可变形部件模型采用的滤波器相当于权重矩阵，且该权重矩阵中的每个元素均为一个d维的权向量，面部特征模板对应区域的相似度可表示为：
Figure GDA0002513356360000191
其中，φ[x’,y’]为在特征图相应位置的特征向量，F[x+x’,y+y’]为在特征图相应位置的权向量，两者的点积即为滤波器在该相应位置的相似度。
将所有部件滤波器在各自位置的得分之和与各个部件位置相对于各自锚定位置的形变惩罚参数做差，得到的差值即为该假设的得分，其中，得分指的就是前述的相似度。
由于部件滤波器的扫描分辨率越高，获得的信息越细节化，因此系统模型先利用根滤波器对低分辨率的图像进行扫描，得到主播的整体面部轮廓，然后再利用部件滤波器在提高分辨率的基础上对图像进行扫描，得到面部器官等细节信息，本实施例对面部图像样例进行检测，粗定位得到68个面部关键点。
可变形部件模型的训练过程包括以下步骤。首先初始化根滤波器：根据训练图片的标注信息对根滤波器的规模进行确定，然后再使用SVM对根滤波器进行训练操作。然后更新根滤波器：上一步骤中确定的根滤波器确定出每一个训练样本响应度最大并且和原有位置标注信息有明显覆盖的位置区域，并将此位置作为更新后的训练图片的框标注，使用标记了新位置的样本和随机选取的负样本更新根滤波器信息。之后初始化部件滤波器：在已经确定的根滤波器的位置上筛选出得分最大的区域，并将该区域设置为部件滤波器的位置。最后更新滤波器：确定新的正负训练样本，新的正样本为在训练过程中得分高的区域占到标注一半以上的样本，新的负样本为在旧滤波器检测中得分高的负样本，使用更新后的正负训练样本训练和更新滤波器。上述步骤不断的对隐支持向量机进行迭代，最终得到可变形部件面部检测模型。
在由可变形部件模型进行粗定位之后，确定出上述检测精度较低的68个面部关键点。此时可以利用主动外观模型来基于粗定位确定出的面部关键点进行精细定位，实现妆前面部关键点和/或妆后面部关键点的准确检测。在一种实施方式中，步骤A4包括以下步骤A41和A42。
步骤A41，建立形状模型以及纹理模型，并依据所述形状模型和所述纹理模型构建主动外观模型。
步骤A42，基于所述粗定位坐标信息，利用能量函数计算模型实例与待测图像之间的误差，利用该误差对模型进行优化，得到精定位的面部关键点。
模型构建单元建立形状模型的过程包括以下S11至S13三个步骤。
S11，对训练集进行面部关键点的标注，然后可以通过关键点的坐标集合来表达面部形状。具体的，假设有j个标注点，每个标注点通过一个二维坐标来表达，将所有的标注点坐标组成一个2j的向量，则面部形状S可以通过下式描述：S＝(x1,y1,x2,y2,…,xj,yj)T。
S12，对标注好的面部形状S进行归一化。具体的，选择一个形状作为基准形状，将其他形状进行适当的平移、旋转、缩放变换，使其他形状的整体位置与基准形状相接近。
S13，对归一化后的形状信息进行主成分分析变换操作，从而能够获得训练集的平均形状S0和前n个最大特征值对应的形状向量Si。由此通过下式描述面部形状S：
Figure GDA0002513356360000211
也就是说，依据一组形状参数p能够确定出一个相应的面部形状S，最终，依据训练集进行训练得到S0和Si来构建出形状模型。
模型构建单元建立纹理模型的过程包括以下S21至S23三个步骤。
S21，利用Delaunay三角剖分算法分别对训练集中的面部形状和平均面部形状进行Delaunay三角剖分，得到剖分后所有三角形网格的顶点集合，进而得到各自形状的三角网格图形，并将S0剖分后的三角网格作为分段线性映射的基准网格。
S22，为了应对训练集内的各面部形状的面积(也就是像素数量)可能有较大差异导致对应形状区域的纹理特征维数不同的问题，先将所有形状内的像素值映射到平均形状内，包括了通过将某个形状中的每个三角形映射到平均形状对应的三角形(基准三角形)从而得到将该形状向平均形状映射变形。这样能够消除因为形状差异而造成的纹理差异影响。通过将训练集内所有三角网格内的像素以分段线性映射的方式映射到基准网格的方式，来实现对纹理信息的归一化。
S23，对归一化之后的纹理信息进行主成分分析操作，得到平均纹理T0和前m个最大特征值对应的纹理特征向量Ti，通过下式来描述面部纹理：
Figure GDA0002513356360000221
在得到形状模型和纹理模型后，对这两个模型进行加权整合便得到主动外观模型，也就是说，通过一组特定的形状参数p和纹理参数λ能够生成任意一幅面部图像实例。
模型构建单元创建主动外观模型的过程包括以下S31至S33三个步骤。
S31，确定出一组主动外观模型的形状参数初始值p＝(p1,p2,...,pn)，将该初始值代入上述描述面部形状S的公式(1)，得到主动外观模型的形状实例S。
S32，确定出一组主动外观模型的纹理参数初始值λ＝(λ1,λ2,...,λm)，将该初始值代入上述描述面部形状S的公式(2)，得到主动外观模型的纹理实例T(x)。
S33，将纹理实例T(x)分段线性映射到当前形状实例S，生成主动外观模型的面部模型实例。
创建出主动外观模型之后，模型拟合单元开始进行模型的拟合工作，将合成的模型图像逼近待检测目标图像，利用差值对模型进行优化。
具体的，对于待测图像I，设有最小化模型实例与待测试图像的二阶范数为衡量两者之间匹配误差的能量函数：
argminp,c||I(W(x；p))-T0-Tc||2
W(x；p)为平均形状S0对应模型实例的像素x在I中的对应像素位置，I(W(x；p))为图像I中W(x；p)像素位置处的像素值，T(x)＝T0+Tc为平均形状S0对应模型实例中像素x的像素值，p为形状参数。
对p在两个坐标系中执行线性化，然后以高斯牛顿的方式迭代地优化。其中，在正向情况下，测试图像I在当前估计值p的周围被线性化，通过最小二乘法计算Δp，并以加性方式p←p+Δp来更新p。在反向情况下，当p＝0时，模型{T0,T}为线性，通过最小二乘法计算Δp，并以p←pοΔp-1来更新p，ο表示两种映射的组合操作。
先采用主成分分析方法来描述形状特征点的动态变化，形状特征点表明了人脸特征的位置，然后通过能量函数来评价主动外观模型的匹配程度，根据模型的线性表达式通过有效的匹配算法变化模型参数组，从而控制形状特征点的位置变化来生成当前新的主动外观模型实例，再利用当前得到的能量函数值来更新模型的参数，如此反复迭代以实现能量函数的最小化，从而达到模型实例与输入图像相匹配的目的，最终得到描述当前面部图像特征点位置的形状特征点位置。
通过首先使用简化后的可变形部件模型对面部关键点进行初定位，从而降低可变形部件模型的时间复杂度，然后将关键点的初定位信息赋值给主动外观模型并进行拟合，设定拟合次数为50次，通过不断的拟合修正保证了最终关键点定位的精确度，最终较为快速准确的检测出68个面部关键点，并且该方式即适用于主播妆前面部关键点的提取，也适用于主播妆后面部关键点的提取。
为了便于主播或后台掌控图像/视频的上传时机，提高上传图像/视频的面部清晰度、完整度、明亮度等参数的质量，以适宜之后对图像/视频进行关键点提取等处理，因此在一种实施方式中，上妆前的面部图像或视频的上传，以及上妆后的面部图像或视频的上传，均可以通过以下任一种方式进行。
第一种方式，通过按下图像采集上传设备的设备本体上设置的实体按键来触发上传动作。
实施本方法的系统可以配置有专属的图像采集上传设备，该设备用于录制主播的直播画面并广播到网上以实现网络直播，而该设备上可以设置实体按键作为上传面部图像并提取妆前面部特征的触发按键，主播按下该按键后，图像采集上传设备将按下时刻所上传的主播面部图像作为提取妆前面部特征的被实施图像。相应的，该设备上还可以设置另一实体按键，主播按下该另一按键后，图像采集上传设备将按下时刻所上传的主播面部图像作为提取妆后面部特征的被实施图像。
第二种方式，通过点击图像采集上传设备的屏幕画面上显示的虚拟按钮来触发上传动作。
上述图像采集上传设备可以配置有显示屏作为主播直播时的显示界面，显示界面上可以嵌入虚拟按钮。主播在通过实施本方法的系统进行网络直播时，通过点击虚拟按钮，同样能够起到将点击时刻所上传的主播面部图像作为提取妆前面部特征的被实施图像的作用。该显示界面还可以设置另一虚拟按钮，用于将点击该另一按钮时刻所上传的主播面部图像作为提取妆前面部特征的被实施图像的作用。
第三种方式，通过对实时上传的主播图像进行自动识别来选取上妆前/上妆后的图像或视频。
实施本方法的相应系统具有的后台服务器会在直播开始后实时检测主播上传的画面和声音，并通过主播的面部变化以及主播的语音介绍对画面进行自动判别，判断出主播当前处于上妆前状态还是上妆后状态，以及判别出上妆后状态对应试用的是何种化妆品，在判定之后，系统自动从中不同状态的画面中提取出相应的妆前/妆后面部特征。
第四种方式，通过接收并识别主播的语音指令来触发上传动作。可以理解的是，上述图像采集上传设备可以配置语音识别功能，当主播说出相应语音指令时，例如说出“请开始识别上妆前的妆前图像”，则表示当前时刻所实时上传的图像/视频即为上妆前的面部图像或视频，说出“请开始识别试妆后的妆后图像”则表示当前时刻所实时上传的图像/视频即为上妆后的面部图像或视频，系统的后台服务器则可以相应的将接收到的图像/视频标记为妆前/妆后的图像/视频，并进行后续的图像处理操作。
通过设置上述实体按键/虚拟按钮/语音识别的功能，使得主播能够对上传的时机进行自我把控，主播可以在即将开始对某种型号的口红进行试妆直播之前，先调整好自己的面部姿势并通过点击直播录制设备上的专设实体按键或虚拟按钮来进行时机、姿态可控的图像上传，利于后续图像处理步骤的实施。同时，设置上述自动画面识别/语音识别功能同样能够明确哪些图像/视频为相应的妆前/妆后的图像/视频，同样利于后续图像处理步骤的实施。
为了使直播画面显示出的虚拟面部模型能够满足更多的用户对自身上妆效果的直观感受需求，同时减少系统的运算量，因此在一种实施方式中，步骤100中，在将妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配时，需要先从模型库中选取出一部分面部模型出来作为展示上妆效果的模型，而不是将所有的面部模型都进行上妆效果的渲染和展示，进而实现减少运算量的目的。而具体是通过以下三种方式中的一种进行至少一种面部模型的选取。
方式一，当前直播的试用的化妆品所适用人群中，面容形貌类型的人数占比最多的前N个面部模型。
以某种色系的口红为例，该色系的口红主要适用于年龄段为18-40之间的女性用户，适用年龄段可以通过抽样调查等方式得出。女性的面容形貌可以预先划分出m个类型，这一年龄区间内的女性可以进行预先抽样统计，得出当前地域内(例如中国)这一年龄区间内的女性在各面容形貌的人数数量，假设统计结论表明形貌7的人数最多，形貌16的人数第二多，形貌10的人数第三多，等等。若本次直播对于该口红的需要展示出3个面部模型，也就是N＝3，则可以选取形貌7、16和10这三个面部模型。本方式能够较好的适用于针对新进产品或针对年龄段进行的化妆品直播推销。
方式二，当前直播的试用的化妆品的使用人群中，面容形貌类型的人数占比最多的前N个面部模型。
该方式与方式一的区别在于，该方式所基于的人群不是适用人群而是使用人群，因此无需考虑年龄段的限制，而是需要通过预先进行市场抽样调查来得到化妆品的使用人群的大致分布，然后基于大数据分析得知这些使用人群的面容形貌，并可以对面容形貌预先划分出m个类型，得出当前地域内(例如中国)这些使用人群在各面容形貌的人数数量。若本次直播对于该口红的需要展示出4个面部模型，也就是N＝4，则可以选取数量占比最多的前4个面部模型。本方式能够较好的适用于针对旧有型号且售卖情况较差的化妆品进行的化妆品直播推销。
方式三，通过预先统计的收看本次直播的人群中，面容形貌类型的人数占比最多的前N个面部模型。
本方式与方式二的区别在于，在直播之前，可以预先将直播所涉及的化妆品进行公布，并网上调查统计预定收看直播的观众数量及身份，然后基于大数据分析得知这些参与观众的面容形貌，并可以预先对面容形貌预先划分出m个类型，得出这些参与观众在各面容形貌的人数数量。若本次直播对于该口红的需要展示出5个面部模型，也就是N＝5，则可以选取数量占比最多的前5个面部模型。本方式能够较好的适用于针对收看观众最想看到的模型来进行直播展示和化妆品直播推销。
下面参考图2-图3详细描述本申请公开的实现化妆品多维动态展示的视频直播装置实施例，本实施例用于前述视频直播方法实施例的具体实施。
如图2及图3所示，本实施例公开了一种实现化妆品多维动态展示的视频直播装置，主要包括：面部特征匹配模块、上妆效果评估器、模型上妆关联模块、上妆效果渲染器和视频图像添加模块。
面部特征匹配模块用于从主播上传的上妆前的面部图像或视频中提取出妆前面部特征，将妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配，得到主播与面部模型的面部特征匹配关系。
上妆效果评估器用于从主播上传的上妆后的面部图像或视频中提取出妆后面部特征，依据妆前面部特征和妆后面部特征算出反映上妆效果的面部特征变化量。
模型上妆关联模块用于依据面部特征匹配关系和面部特征变化量生成面部模型的妆后面部特征变化量。
上妆效果渲染器用于依据妆后面部特征变化量对相应的面部模型进行渲染，生成面部模型的妆后虚拟面部图像或视频。
视频图像添加模块用于将妆后虚拟面部图像或视频显示于主播实时上传直播的上妆后面部图像或视频中。
妆后虚拟面部图像或视频，可以以围绕主播实时上传直播的上妆后面部图像或视频，也可以分别位列于主播实时上传直播的上妆后面部图像或视频的左侧或右侧。
如图3所示，上述装置内的各模块、评估器、渲染器等组成部分均可以内置于后台处理器101中，而摄像头102用于捕捉主播103的面部视频或图像。后台处理器101用于处理捕捉后的面部视频或图像，同时输出处理后的视频或图像给用户的直播播放器104。直播播放器104用于播放所述处理后的视频或图像给收看观众。
摄像头102和后台处理器101可以通过无线网或有线网络连接，直播播放器104与后台处理器101也可以通过无线网或有线网络连接。
其中，所述后台处理器利用摄像头拍摄并上传主播的上妆前和上妆后的面部图像或面部视频，并且将主播面部与各个类型的模特面部模型进行匹配；并且，通过利用主播上妆前、后的面部图像或面部视频分析上妆效果带来的变化量；推算各个模特面部模型的变化量；在各个模特面部模型基础上，利用推算的各个模特面部模型的变化量，渲染出表示模特面部模型上妆后效果的模特面部图像或者视频；将该渲染的模特面部图像或者视频，与主播实际拍摄的上妆后效果的面部图像或者视频，拼接在一起，作为处理后的视频或图像发送给直播播放器104。
在一种实施方式中，面部特征匹配模块和/或上妆效果评估器，包括：
特征值计算单元，用于利用积分图对主播上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar-like特征值；
图像分类筛选单元，用于将各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛选出面部区域图像；其中，
AdaBoost级联分类器包括多个串联的弱分类器，弱分类器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像。
在一种实施方式中，面部特征匹配模块和/或上妆效果评估器，还包括：
粗定位子模块，用于利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息；
精定位子模块，用于将粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息。
在一种实施方式中，粗定位子模块包括：
相似度计算单元，用于利用不同尺寸的方向梯度直方图特征滤波器对主播上传的图像进行滤波，得到各个预先训练好且相互关联的面部特征模板对应区域的相似度；
面部判定单元，用于将得到的相似度与相似阈值进行比较，相似度大于相似阈值则判定为检测到面部，否则判定为未检测到面部。
在一种实施方式中，精定位子模块包括：
模型构建单元，用于建立形状模型以及纹理模型，并依据形状模型和纹理模型构建主动外观模型；
模型拟合单元，用于基于粗定位坐标信息，利用能量函数计算模型实例与待测图像之间的误差，利用该误差对模型进行优化，得到精定位的面部关键点。
在一种实施方式中，面部特征匹配模块以及上妆效果评估器均通过以下任一种方式进行面部图像或视频的上传：
通过按下图像采集上传设备的设备本体上设置的实体按键来触发上传动作；
通过点击图像采集上传设备的屏幕画面上显示的虚拟按钮来触发上传动作；
通过对实时上传的主播图像进行自动识别来选取上妆前/上妆后的图像或视频；
通过接收并识别主播的语音指令来触发上传动作。
在一种实施方式中，在面部特征匹配模块将妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配时，通过以下方式中的一种进行至少一种面部模型的选取：
当前直播的试用的化妆品所适用人群中，面容形貌类型的人数占比最多的前N个面部模型；
当前直播的试用的化妆品的使用人群中，面容形貌类型的人数占比最多的前N个面部模型；
通过预先统计的收看本次直播的人群中，面容形貌类型的人数占比最多的前N个面部模型。
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (6)

1.一种实现化妆品多维动态展示的视频直播方法，其特征在于，包括：
从主播上传的上妆前的面部图像或视频中提取出妆前面部特征，将所述妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配，得到主播与所述面部模型的面部特征匹配关系；
所述预先建立的至少一种面部模型来源于预先采集的多种类型人脸数据形成的包含多种不同类型面部模型的模型库，所述模型库中包含尽量多的不同类型的面部模型，所述不同类型的面部模型具有不同的面容形貌；
从主播上传的上妆后的面部图像或视频中提取出妆后面部特征，依据所述妆前面部特征和所述妆后面部特征算出反映上妆效果的面部特征变化量；
所述提取出妆前面部特征和/或所述提取出妆后面部特征，包括：
利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息；
将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息；
所述将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息，包括：
建立形状模型以及纹理模型，并依据所述形状模型和所述纹理模型构建主动外观模型；
基于所述粗定位坐标信息，利用能量函数计算模型实例与待测图像之间的误差，利用该误差对模型进行优化，得到精定位的面部关键点；
依据所述面部特征匹配关系和所述面部特征变化量生成所述面部模型的妆后面部特征变化量；
依据所述妆后面部特征变化量对相应的面部模型进行渲染，生成所述面部模型的妆后虚拟面部图像或视频；
将所述妆后虚拟面部图像或视频显示于主播实时上传直播的上妆后面部图像或视频中。
2.根据权利要求1所述的方法，其特征在于，所述提取出妆前面部特征和/或所述提取出妆后面部特征，包括：
利用积分图对主播上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar-like特征值；
将所述各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛选出面部区域图像；其中，
所述AdaBoost级联分类器包括多个串联的弱分类器，所述弱分类器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像。
3.如权利要求1所述的方法，其特征在于，所述利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息，包括：
利用不同尺寸的方向梯度直方图特征滤波器对主播上传的图像进行滤波，得到各个预先训练好且相互关联的面部特征模板对应区域的相似度；
将得到的所述相似度与相似阈值进行比较，相似度大于相似阈值则判定为检测到面部，否则判定为未检测到面部。
4.一种实现化妆品多维动态展示的视频直播系统，其特征在于，包括：
面部特征匹配模块，用于从主播上传的上妆前的面部图像或视频中提取出妆前面部特征，将所述妆前面部特征与预先建立的至少一种面部模型的面部特征进行匹配，得到主播与所述面部模型的面部特征匹配关系；
所述预先建立的至少一种面部模型来源于预先采集的多种类型人脸数据形成的包含多种不同类型面部模型的模型库，所述模型库中包含尽量多的不同类型的面部模型，所述不同类型的面部模型具有不同的面容形貌；
上妆效果评估器，用于从主播上传的上妆后的面部图像或视频中提取出妆后面部特征，依据所述妆前面部特征和所述妆后面部特征算出反映上妆效果的面部特征变化量；
所述面部特征匹配模块和/或所述上妆效果评估器，还包括：
粗定位子模块，用于利用可变形部件模型对面部关键点进行粗定位，得到粗定位坐标信息；
精定位子模块，用于将所述粗定位坐标信息作为主动外观模型的初始位置信息，利用主动外观模型进行拟合，得到面部关键点的精定位信息；
所述精定位子模块包括：
模型构建单元，用于建立形状模型以及纹理模型，并依据所述形状模型和所述纹理模型构建主动外观模型；
模型拟合单元，用于基于所述粗定位坐标信息，利用能量函数计算模型实例与待测图像之间的误差，利用该误差对模型进行优化，得到精定位的面部关键点；
模型上妆关联模块，用于依据所述面部特征匹配关系和所述面部特征变化量生成所述面部模型的妆后面部特征变化量；
上妆效果渲染器，用于依据所述妆后面部特征变化量对相应的面部模型进行渲染，生成所述面部模型的妆后虚拟面部图像或视频；
视频图像添加模块，用于将所述妆后虚拟面部图像或视频显示于主播实时上传直播的上妆后面部图像或视频中。
5.根据权利要求4所述的系统，其特征在于，所述面部特征匹配模块和/或所述上妆效果评估器，包括：
特征值计算单元，用于利用积分图对主播上传的面部图像进行矩形区域遍历，计算出各个矩形区域的Haar-like特征值；
图像分类筛选单元，用于将所述各个矩形区域的Haar-like特征值输入预先训练好的AdaBoost级联分类器，筛选出面部区域图像；其中，
所述AdaBoost级联分类器包括多个串联的弱分类器，所述弱分类器的训练样本包括面部具有一定偏转角度的图像、面部被部分遮挡的图像以及面部具有表情的正样本图像。
6.如权利要求5所述的系统，其特征在于，所述粗定位子模块包括：
相似度计算单元，用于利用不同尺寸的方向梯度直方图特征滤波器对主播上传的图像进行滤波，得到各个预先训练好且相互关联的面部特征模板对应区域的相似度；
面部判定单元，用于将得到的所述相似度与相似阈值进行比较，相似度大于相似阈值则判定为检测到面部，否则判定为未检测到面部。
CN202010348126.3A 2020-04-28 2020-04-28 一种实现化妆品多维动态展示的视频直播方法及装置 Active CN111586424B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010348126.3A CN111586424B (zh) 2020-04-28 2020-04-28 一种实现化妆品多维动态展示的视频直播方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010348126.3A CN111586424B (zh) 2020-04-28 2020-04-28 一种实现化妆品多维动态展示的视频直播方法及装置

Publications (2)

Publication Number Publication Date
CN111586424A CN111586424A (zh) 2020-08-25
CN111586424B true CN111586424B (zh) 2022-05-31

Family

ID=72111782

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010348126.3A Active CN111586424B (zh) 2020-04-28 2020-04-28 一种实现化妆品多维动态展示的视频直播方法及装置

Country Status (1)

Country Link
CN (1) CN111586424B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986301A (zh) * 2020-09-04 2020-11-24 网易（杭州）网络有限公司 直播中数据处理的方法及装置、电子设备、存储介质
CN112218111A (zh) * 2020-09-30 2021-01-12 珠海格力电器股份有限公司 图像的显示方法和装置、存储介质和电子设备
CN113014934A (zh) * 2021-01-29 2021-06-22 腾讯科技（深圳）有限公司 产品展示方法、产品展示装置、计算机设备及存储介质
CN113837017B (zh) * 2021-08-31 2022-11-04 北京新氧科技有限公司 一种化妆进度检测方法、装置、设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143081A (zh) * 2014-07-07 2014-11-12 闻泰通讯股份有限公司 基于嘴部特征的笑脸识别系统及方法
CN105160312A (zh) * 2015-08-27 2015-12-16 南京信息工程大学 基于人脸相似度匹配的明星脸装扮推荐方法
CN105488472A (zh) * 2015-11-30 2016-04-13 华南理工大学 一种基于样本模板的数字化妆方法
CN109409979A (zh) * 2018-09-04 2019-03-01 阿里巴巴集团控股有限公司 虚拟化妆方法、装置及设备
CN110853119A (zh) * 2019-09-15 2020-02-28 北京航空航天大学 一种鲁棒的基于参考图片的妆容迁移方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101350102B (zh) * 2008-08-29 2012-10-10 北京中星微电子有限公司 一种化妆辅助方法及系统
US9542595B2 (en) * 2013-03-25 2017-01-10 Brightex Bio-Photonics Llc Systems and methods for recommending cosmetic products for users with mobile devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104143081A (zh) * 2014-07-07 2014-11-12 闻泰通讯股份有限公司 基于嘴部特征的笑脸识别系统及方法
CN105160312A (zh) * 2015-08-27 2015-12-16 南京信息工程大学 基于人脸相似度匹配的明星脸装扮推荐方法
CN105488472A (zh) * 2015-11-30 2016-04-13 华南理工大学 一种基于样本模板的数字化妆方法
CN109409979A (zh) * 2018-09-04 2019-03-01 阿里巴巴集团控股有限公司 虚拟化妆方法、装置及设备
CN110853119A (zh) * 2019-09-15 2020-02-28 北京航空航天大学 一种鲁棒的基于参考图片的妆容迁移方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Example-Based Cosmetic Transfer;Wai-sun Tong等;《Pacific Conference on Computer Graphics and Applications》;20071104(第15期);211-218 *
Wai-sun Tong等.Example-Based Cosmetic Transfer.《Pacific Conference on Computer Graphics and Applications》.2007,(第15期),211-218. *

Also Published As

Publication number Publication date
CN111586424A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111586424B (zh) 一种实现化妆品多维动态展示的视频直播方法及装置
US11344102B2 (en) Systems and methods for virtual facial makeup removal and simulation, fast facial detection and landmark tracking, reduction in input video lag and shaking, and a method for recommending makeup
CN109690617B (zh) 用于数字化妆镜的系统和方法
US11741639B2 (en) Locating and augmenting object features in images
JP7413400B2 (ja) 肌質測定方法、肌質等級分類方法、肌質測定装置、電子機器及び記憶媒体
WO2020000908A1 (zh) 一种人脸活体检测方法及装置
CN109952594B (zh) 图像处理方法、装置、终端及存储介质
US8836777B2 (en) Automatic detection of vertical gaze using an embedded imaging device
US6188777B1 (en) Method and apparatus for personnel detection and tracking
US7848548B1 (en) Method and system for robust demographic classification using pose independent model from sequence of face images
CN106056064B (zh) 一种人脸识别方法及人脸识别装置
CN110675487B (zh) 基于多角度二维人脸的三维人脸建模、识别方法及装置
CN104680121B (zh) 一种人脸图像的处理方法及装置
WO2022095721A1 (zh) 参数估算模型的训练方法、装置、设备和存储介质
CN109978884B (zh) 基于人脸分析的多人图像评分方法、系统、设备及介质
AU2012219026A1 (en) Image quality assessment
Collins et al. Full body image feature representations for gender profiling
CN108198130B (zh) 图像处理方法、装置、存储介质及电子设备
CN108197534A (zh) 一种人头部姿态检测方法、电子设备及存储介质
CN109190456B (zh) 基于聚合通道特征和灰度共生矩阵的多特征融合俯视行人检测方法
KR102198360B1 (ko) 얼굴 영상 기반의 시선 추적 시스템 및 방법
Yu et al. Improving person detection using synthetic training data
CN109410138B (zh) 修饰双下巴的方法、装置和系统
CN107153806B (zh) 一种人脸检测方法及装置
CN111586428A (zh) 具有虚拟人物上妆功能的化妆品直播系统及方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20221222

Address after: Room 402 and Room 403, Building 11, Xingong Science Park, No. 100 Luyun Road, Changsha Hi tech Development Zone, Changsha, Hunan 410000

Patentee after: Hunan Real Media Co.,Ltd.

Address before: 321306 3F, No. 159, Qianshan Yangshang nature village, Sizhi village, Zhiying Town, Yongkang City, Jinhua City, Zhejiang Province

Patentee before: Yongkang Jingxin Software Development Co.,Ltd.

TR01 Transfer of patent right