CN106231434A - 一种基于人脸检测的直播互动特效实现方法及系统 - Google Patents

一种基于人脸检测的直播互动特效实现方法及系统 Download PDF

Info

Publication number
CN106231434A
CN106231434A CN201610592350.0A CN201610592350A CN106231434A CN 106231434 A CN106231434 A CN 106231434A CN 201610592350 A CN201610592350 A CN 201610592350A CN 106231434 A CN106231434 A CN 106231434A
Authority
CN
China
Prior art keywords
special effect
face
live broadcast
anchor
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610592350.0A
Other languages
English (en)
Other versions
CN106231434B (zh
Inventor
赵连超
张朝兵
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Douyu Network Technology Co Ltd
Original Assignee
Wuhan Douyu Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Douyu Network Technology Co Ltd filed Critical Wuhan Douyu Network Technology Co Ltd
Priority to CN201610592350.0A priority Critical patent/CN106231434B/zh
Publication of CN106231434A publication Critical patent/CN106231434A/zh
Application granted granted Critical
Publication of CN106231434B publication Critical patent/CN106231434B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明公开了一种基于人脸检测的直播互动特效实现方法及系统，涉及直播特效技术领域。该方法包括：主播通过主播端将直播间设置为特效开启状态，用户通过用户端进入特效开启的直播间；当主播开始直播后，主播端启动音视频采样和编码，用户在用户端进行付费特效的购买；直播过程中，主播端进行实时的人脸检测并上报至直播服务器，用户端完成与主播的特效互动并上报至直播服务器；直播服务器根据收到的信息进行整合处理，并将处理后的数据分别发回至主播端、用户端；最后，分别在主播端、用户端的播放器中进行互动特效渲染。本发明能满足用户的多样化互动需求，使得用户体验更好。

Description

一种基于人脸检测的直播互动特效实现方法及系统
技术领域
本发明涉及直播特效技术领域，具体来讲是一种基于人脸检测的直播互动特效实现方法及系统。
背景技术
随着互联网技术的迅速发展，越来越多的用户可以使用电脑、手机等终端通过网络观看在线视频直播。在线视频直播是指利用互联网网络资源进行的现场视频直播服务，通过现场的视频拍摄同步发布到网络上，用户可以同一时间在网络上看到实时的现场情况。
目前，随着直播行业的快速发展，用户与自己喜爱的主播之间的互动需求越来越多，而现有的普遍使用的直播互动方式主要为传统的文字互动。但是，实际使用中，有的主播的忠实粉丝往往希望有更多样的互动方式，而且这部分用户的付费意愿高，更愿意尝试一些新的互动方式。
由于传统的文字互动已无法满足用户的多样化互动需求，因此，如何设计出更多样化的直播互动方式，是直播领域亟待解决的问题。
发明内容
本发明的目的是为了克服上述背景技术的不足，提供一种基于人脸检测的直播互动特效实现方法及系统，能满足用户的多样化互动需求，使得用户体验更好。
为达到以上目的，本发明提供一种基于人脸检测的直播互动特效实现方法，包括以下步骤：S1：主播通过主播端将直播间设置为特效开启状态；用户通过用户端进入特效开启的直播间，转入S2；S2：当主播开始直播后，主播端启动音视频采样和编码，用户在用户端进行付费特效的购买操作，转入S3；S3：直播过程中，主播端对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；用户端根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器，转入S4；S4：直播服务器根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端，转入S5；S5：主播端根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；用户端根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染，结束。
在上述技术方案的基础上，步骤S2中所述付费特效包括动画特效和文字特效；所述动画特效包括：脸部墨镜特效、脸部腮红特效、变脸特效、头部花环特效，所述文字特效包括：脸部文字特效、额头文字特效、头顶文字特效。
在上述技术方案的基础上，步骤S3中所述主播端对主播进行实时的人脸检测，具体包括以下步骤：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸；其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。
在上述技术方案的基础上，步骤S3中，在对主播进行实时的人脸检测之后还包括人脸关键部位检测操作：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位；其中，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征离线进行全局回归学习后训练得到的。
在上述技术方案的基础上，步骤S3中，在对主播进行实时的人脸检测之后还包括人脸校正操作，用于实现对人脸图像的校正调整。
本发明同时还提供一种基于人脸检测的直播互动特效实现系统，包括客户端和直播服务器，客户端分为主播端和用户端；主播端包括直播间设置模块、音视频采样模块、人脸检测模块和主播端渲染模块；用户端包括直播间进入模块、特效购买模块、特效使用模块、和用户端渲染模块；
其中，所述直播间设置模块用于：将直播间设置为特效开启状态；所述音视频采样模块用于：当主播开始直播后，启动音视频采样和编码；所述人脸检测模块用于：在直播过程中对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；所述主播端渲染模块用于：根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；所述直播间进入模块用于；根据用户的选择进入特效开启的直播间；所述特效购买模块用于：根据用户操作进行付费特效的购买；所述特效使用模块用于：根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器；所述用户端渲染模块用于：根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染；所述直播服务器用于：根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端。
在上述技术方案的基础上，所述付费特效包括动画特效和文字特效；所述动画特效包括：脸部墨镜特效、脸部腮红特效、变脸特效、头部花环特效，所述文字特效包括：脸部文字特效、额头文字特效、头顶文字特效。
在上述技术方案的基础上，所述人脸检测模块对主播进行实时的人脸检测的具体过程包括：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸；其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。
在上述技术方案的基础上，该系统还包括人脸关键部位检测模块，所述人脸关键部位检测模块进行关键部位检测的具体过程为：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位；其中，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征离线进行全局回归学习后训练得到的。
在上述技术方案的基础上，该系统还包括人脸校正模块，所述人脸校正模块用于实现对人脸图像的校正调整。
本发明的有益效果在于：
(1)本发明采用了一种基于人脸检测的直播互动特效实现方法，使得用户在用户端可以通过购买付费特效的方式，给主播的眼睛、耳朵、鼻子、头发等地方增加一些动画特效或者文字特效。与现有技术的单一文字互动相比，本发明增加了用户与主播之间的动画特效互动方式，使得用户与主播的互动更亲昵、更多样化。对主播来说，可有效增强粉丝的粘性；对用户来说，可得到更好更多元化的体验，用户体验佳。
(2)本发明中，主播端对主播进行实时的人脸检测之后，还会进行相应的人脸校正操作和人脸关键部位检测操作，能更好的实现人脸的检测，提高人脸检测质量。
附图说明
图1为本发明实施例中基于人脸检测的直播互动特效实现方法的流程图；
图2为本发明实施例中基于人脸检测的直播互动特效实现系统的结构框图。
具体实施方式
下面结合附图及具体实施例对本发明作进一步的详细描述。
参见图1所示，本发明实施例提供一种基于人脸检测的直播互动特效实现方法，包括以下步骤：
步骤S1：主播通过主播所在的客户端(以下简称：主播端)将直播间设置为特效开启状态；用户通过用户所在的客户端(以下简称：用户端)进入特效开启的直播间，转入步骤S2。
步骤S2：当主播开始直播后，主播端启动音视频采样和编码，用户在用户端进行付费特效的购买操作，转入步骤S3。
本实施例中，所述付费特效包括但不限于动画特效、文字特效。其中，动画特效包括但不限于：脸部墨镜特效、脸部腮红特效、变脸特效(将主播脸部变成可爱动物的脸型，如猪、兔子、猫等)、头部花环特效等；文字特效包括但不限于：脸部文字特效、额头文字特效、头顶文字特效等。
步骤S3：直播过程中，主播端对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；用户端根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器，转入步骤S4。
实际操作时，步骤S3中所述主播端对主播进行实时的人脸检测，具体包括以下步骤：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸。其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。本实施例中，具体是采用Adaboost的训练方法得到人脸模型。
进一步地，为了更好的实现人脸的检测，提高人脸检测质量，本实施例中，主播端对主播进行实时的人脸检测之后，还包括人脸关键部位检测操作和人脸校正操作。
其中，人脸关键部位检测操作具体包括以下步骤：利用已经预设好的人脸关键部位的特征映射(feature mapping)和线性投影(linear projection)，得到一个更新的关键部位的形状Shape；将关键部位的形状Shape与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位。可以理解的是，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征(LBF，LocalBinaryFeature)离线进行全局回归学习后训练得到的。其中，关键部位所对应的局部二值化特征是通过对关键部位的训练图片采用随机森林算法和形状索引特征计算得到的。该方法能取得一个较好的时间运行效率和准确率，在客户端能达到300fps的效率。
另外，实际操作中，现有的人脸校正操作的算法较多，本发明在此不赘述，也不做任何一种算法的限定，操作人员可根据实际需要进行自行选择。
步骤S4：直播服务器根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端，转入步骤S5。
具体来说，将特效添加到人脸检测后的相应部位，具体操作如下：若用户使用的是脸部墨镜特效，则根据人脸检测到的人眼位置，在人眼处添加一副墨镜；若用户使用的是头部花环特效，则根据人脸检测到的头顶位置，在头顶处添加一个发光的花环；若用户使用的是脸部腮红特效，则根据人脸检测到的脸颊位置，在脸颊处为主播添加腮红特效；若用户使用的是变脸特效，则根据人脸检测到的整个面部，将主播面部变成指定的动物脸型(如猪、兔子，猫等)。但可以理解的是，实际操作时可包括以上几种特效添加情况，但不限于以上几种。
步骤S5：主播端根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染(即在主播端显示特效)；用户端根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染(即在用户端显示特效)，结束。
参见图2所示，本发明实施例还提供一种基于人脸检测的直播互动特效实现系统。该系统包括客户端和直播服务器，客户端分为主播端(主播所在的客户端)和用户端(用户所在的客户端)。其中，主播端包括直播间设置模块、音视频采样模块、人脸检测模块和主播端渲染模块；用户端包括直播间进入模块、特效购买模块、特效使用模块、和用户端渲染模块。
直播间设置模块用于：将直播间设置为特效开启状态；
音视频采样模块用于：当主播开始直播后，启动音视频采样和编码；
人脸检测模块用于：在直播过程中对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；
主播端渲染模块用于：根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；
直播间进入模块用于；根据用户的选择进入特效开启的直播间；
特效购买模块用于：根据用户操作进行付费特效的购买；
特效使用模块用于：根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器；
用户端渲染模块用于：根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染；
直播服务器用于：根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端。
进一步地，所述人脸检测模块对主播进行实时的人脸检测的具体过程包括：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸。其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。本实施例中，具体是采用Adaboost的训练方法得到人脸模型。
更进一步地，为了更好的实现人脸的检测，提高人脸检测质量，本系统还包括用于对人脸图像进行校正的人脸校正模块和人脸关键部位检测模块。其中，人脸关键部位检测模块进行关键部位检测的具体过程为：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位。
需要说明的是：上述实施例提供的系统在进行操作时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
本发明不局限于上述实施方式，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围之内。
本说明书中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

Claims (10)

1.一种基于人脸检测的直播互动特效实现方法，其特征在于，该方法包括以下步骤：
S1：主播通过主播端将直播间设置为特效开启状态；用户通过用户端进入特效开启的直播间，转入S2；
S2：当主播开始直播后，主播端启动音视频采样和编码，用户在用户端进行付费特效的购买操作，转入S3；
S3：直播过程中，主播端对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；用户端根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器，转入S4；
S4：直播服务器根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端，转入S5；
S5：主播端根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；用户端根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染，结束。
2.如权利要求1所述的基于人脸检测的直播互动特效实现方法，其特征在于：步骤S2中所述付费特效包括动画特效和文字特效；所述动画特效包括：脸部墨镜特效、脸部腮红特效、变脸特效、头部花环特效，所述文字特效包括：脸部文字特效、额头文字特效、头顶文字特效。
3.如权利要求1所述的基于人脸检测的直播互动特效实现方法，其特征在于：步骤S3中所述主播端对主播进行实时的人脸检测，具体包括以下步骤：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸；其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。
4.如权利要求1所述的基于人脸检测的直播互动特效实现方法，其特征在于：步骤S3中，在对主播进行实时的人脸检测之后还包括人脸关键部位检测操作：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位；其中，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征离线进行全局回归学习后训练得到的。
5.如权利要求1所述的基于人脸检测的直播互动特效实现方法，其特征在于：步骤S3中，在对主播进行实时的人脸检测之后还包括人脸校正操作，用于实现对人脸图像的校正调整。
6.一种基于人脸检测的直播互动特效实现系统，包括客户端和直播服务器，客户端分为主播端和用户端，其特征在于：主播端包括直播间设置模块、音视频采样模块、人脸检测模块和主播端渲染模块；用户端包括直播间进入模块、特效购买模块、特效使用模块、和用户端渲染模块；其中，
所述直播间设置模块用于：将直播间设置为特效开启状态；
所述音视频采样模块用于：当主播开始直播后，启动音视频采样和编码；
所述人脸检测模块用于：在直播过程中对主播进行实时的人脸检测，并将人脸检测的数据上报至直播服务器；
所述主播端渲染模块用于：根据直播服务器整合处理后的数据，在主播端的播放器中进行互动特效的渲染；
所述直播间进入模块用于；根据用户的选择进入特效开启的直播间；
所述特效购买模块用于：根据用户操作进行付费特效的购买；
所述特效使用模块用于：根据用户选择使用的所述付费特效，完成与主播的特效互动，并将特效互动操作的信息上报至直播服务器；
所述用户端渲染模块用于：根据直播服务器整合处理后的数据，在用户端的播放器中进行互动特效的渲染；
所述直播服务器用于：根据收到的人脸检测的数据以及特效互动操作的信息进行整合处理，将特效添加到人脸检测后的相应部位；并将处理后的数据分别发送至主播端、用户端。
7.如权利要求6所述的基于人脸检测的直播互动特效实现系统，其特征在于：所述付费特效包括动画特效和文字特效；所述动画特效包括：脸部墨镜特效、脸部腮红特效、变脸特效、头部花环特效，所述文字特效包括：脸部文字特效、额头文字特效、头顶文字特效。
8.如权利要求6所述的基于人脸检测的直播互动特效实现系统，其特征在于：所述人脸检测模块对主播进行实时的人脸检测的具体过程包括：将已经预设好的人脸模型在实时的视频帧中滑动比对，依次判断每个滑窗中是否均存在人脸，若是，则检测出直播场景中有人脸；若否，则检测出直播场景中没有人脸；其中，所述已经预设好的人脸模型是采用离线的人脸数据集进行训练得到的。
9.如权利要求6所述的基于人脸检测的直播互动特效实现系统，其特征在于：该系统还包括人脸关键部位检测模块，所述人脸关键部位检测模块进行关键部位检测的具体过程为：利用已经预设好的人脸关键部位的特征映射和线性投影，得到一个更新的关键部位的形状；将关键部位的形状与检测到的人脸进行迭代，直至最终得到人脸关键部位的定位；其中，所述已经预设好的人脸关键部位的特征映射和线性投影是通过对每个关键部位所对应的局部二值化特征离线进行全局回归学习后训练得到的。
10.如权利要求6所述的基于人脸检测的直播互动特效实现系统，其特征在于：该系统还包括人脸校正模块，所述人脸校正模块用于实现对人脸图像的校正调整。
CN201610592350.0A 2016-07-25 2016-07-25 一种基于人脸检测的直播互动特效实现方法及系统 Expired - Fee Related CN106231434B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610592350.0A CN106231434B (zh) 2016-07-25 2016-07-25 一种基于人脸检测的直播互动特效实现方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610592350.0A CN106231434B (zh) 2016-07-25 2016-07-25 一种基于人脸检测的直播互动特效实现方法及系统

Publications (2)

Publication Number Publication Date
CN106231434A true CN106231434A (zh) 2016-12-14
CN106231434B CN106231434B (zh) 2019-09-10

Family

ID=57534073

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610592350.0A Expired - Fee Related CN106231434B (zh) 2016-07-25 2016-07-25 一种基于人脸检测的直播互动特效实现方法及系统

Country Status (1)

Country Link
CN (1) CN106231434B (zh)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107071580A (zh) * 2017-03-20 2017-08-18 北京潘达互娱科技有限公司 数据处理方法及装置
CN107124658A (zh) * 2017-05-02 2017-09-01 北京小米移动软件有限公司 视频直播方法及装置
CN107197370A (zh) * 2017-06-22 2017-09-22 北京密境和风科技有限公司 一种直播视频的场景检测方法和装置
CN107680157A (zh) * 2017-09-08 2018-02-09 广州华多网络科技有限公司 一种基于直播的互动方法及直播系统、电子设备
CN107682729A (zh) * 2017-09-08 2018-02-09 广州华多网络科技有限公司 一种基于直播的互动方法及直播系统、电子设备
CN107948667A (zh) * 2017-12-05 2018-04-20 广州酷狗计算机科技有限公司 在直播视频中添加显示特效的方法和装置
CN107968744A (zh) * 2017-12-20 2018-04-27 福建中金在线信息科技有限公司 文字直播内容的交互方法、装置及服务器
CN108122029A (zh) * 2017-12-29 2018-06-05 北京奇虎科技有限公司 一种相机特效的推荐方法及装置
CN108304753A (zh) * 2017-01-24 2018-07-20 腾讯科技（深圳）有限公司 视频通信方法及视频通信装置
CN108391139A (zh) * 2018-01-15 2018-08-10 上海掌门科技有限公司 一种用于视频直播中的视频增强方法、介质及设备
CN108462883A (zh) * 2018-01-08 2018-08-28 平安科技（深圳）有限公司 一种直播互动方法、装置、终端设备及存储介质
CN109963088A (zh) * 2017-12-14 2019-07-02 苏州梦想人软件科技有限公司 基于增强现实ar的网络直播方法、装置及系统
CN110072138A (zh) * 2019-04-26 2019-07-30 广州酷狗计算机科技有限公司 视频播放方法、设备及计算机可读存储介质
CN110189172A (zh) * 2019-05-28 2019-08-30 广州华多网络科技有限公司 一种网络直播间导购方法及系统
CN110211033A (zh) * 2019-06-28 2019-09-06 北京字节跳动网络技术有限公司 人脸图像处理方法、装置、介质及电子设备
CN110933452A (zh) * 2019-12-02 2020-03-27 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN112383788A (zh) * 2020-11-11 2021-02-19 成都威爱新经济技术研究院有限公司 一种基于智能ai技术的直播实时图像提取系统及方法
WO2021047094A1 (zh) * 2019-09-11 2021-03-18 广州华多网络科技有限公司 虚拟礼物特效的处理方法和装置、直播系统
WO2021047419A1 (zh) * 2019-09-12 2021-03-18 广州华多网络科技有限公司 直播交互方法、直播系统、电子设备及存储介质
CN112788359A (zh) * 2020-12-30 2021-05-11 北京达佳互联信息技术有限公司 直播处理方法、装置、电子设备及存储介质
CN112929681A (zh) * 2021-01-19 2021-06-08 广州虎牙科技有限公司 视频流图像渲染方法、装置、计算机设备及存储介质
CN113126629A (zh) * 2021-04-29 2021-07-16 清华大学深圳国际研究生院 一种机器人主动搜索目标的方法及智能机器人
CN115065835A (zh) * 2022-05-20 2022-09-16 广州方硅信息技术有限公司 直播的表情显示处理方法、服务器、电子设备及存储介质
WO2022199102A1 (zh) * 2021-03-26 2022-09-29 北京达佳互联信息技术有限公司 图像处理方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130235045A1 (en) * 2012-03-06 2013-09-12 Mixamo, Inc. Systems and methods for creating and distributing modifiable animated video messages
CN103955675A (zh) * 2014-04-30 2014-07-30 上海华博信息服务有限公司 一种人脸特征提取方法
CN104410923A (zh) * 2013-11-14 2015-03-11 贵阳朗玛信息技术股份有限公司 基于视频聊天室的动画呈现方法及装置
CN105334963A (zh) * 2015-10-29 2016-02-17 广州华多网络科技有限公司 一种虚拟物品展示方法及系统
CN105488456A (zh) * 2015-11-23 2016-04-13 中国科学院自动化研究所 基于自适应阈值调整拒识子空间学习的人脸检测方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130235045A1 (en) * 2012-03-06 2013-09-12 Mixamo, Inc. Systems and methods for creating and distributing modifiable animated video messages
CN104410923A (zh) * 2013-11-14 2015-03-11 贵阳朗玛信息技术股份有限公司 基于视频聊天室的动画呈现方法及装置
CN103955675A (zh) * 2014-04-30 2014-07-30 上海华博信息服务有限公司 一种人脸特征提取方法
CN105334963A (zh) * 2015-10-29 2016-02-17 广州华多网络科技有限公司 一种虚拟物品展示方法及系统
CN105488456A (zh) * 2015-11-23 2016-04-13 中国科学院自动化研究所 基于自适应阈值调整拒识子空间学习的人脸检测方法

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108304753A (zh) * 2017-01-24 2018-07-20 腾讯科技（深圳）有限公司 视频通信方法及视频通信装置
CN107071580A (zh) * 2017-03-20 2017-08-18 北京潘达互娱科技有限公司 数据处理方法及装置
CN107124658B (zh) * 2017-05-02 2019-10-11 北京小米移动软件有限公司 视频直播方法及装置
CN107124658A (zh) * 2017-05-02 2017-09-01 北京小米移动软件有限公司 视频直播方法及装置
CN107197370A (zh) * 2017-06-22 2017-09-22 北京密境和风科技有限公司 一种直播视频的场景检测方法和装置
CN107682729A (zh) * 2017-09-08 2018-02-09 广州华多网络科技有限公司 一种基于直播的互动方法及直播系统、电子设备
CN107680157B (zh) * 2017-09-08 2020-05-12 广州华多网络科技有限公司 一种基于直播的互动方法及直播系统、电子设备
CN107680157A (zh) * 2017-09-08 2018-02-09 广州华多网络科技有限公司 一种基于直播的互动方法及直播系统、电子设备
CN107948667A (zh) * 2017-12-05 2018-04-20 广州酷狗计算机科技有限公司 在直播视频中添加显示特效的方法和装置
CN109963088A (zh) * 2017-12-14 2019-07-02 苏州梦想人软件科技有限公司 基于增强现实ar的网络直播方法、装置及系统
CN107968744A (zh) * 2017-12-20 2018-04-27 福建中金在线信息科技有限公司 文字直播内容的交互方法、装置及服务器
CN108122029A (zh) * 2017-12-29 2018-06-05 北京奇虎科技有限公司 一种相机特效的推荐方法及装置
CN108462883A (zh) * 2018-01-08 2018-08-28 平安科技（深圳）有限公司 一种直播互动方法、装置、终端设备及存储介质
WO2019134235A1 (zh) * 2018-01-08 2019-07-11 平安科技（深圳）有限公司 一种直播互动方法、装置、终端设备及存储介质
CN108391139A (zh) * 2018-01-15 2018-08-10 上海掌门科技有限公司 一种用于视频直播中的视频增强方法、介质及设备
CN110072138B (zh) * 2019-04-26 2021-06-18 广州酷狗计算机科技有限公司 视频播放方法、设备及计算机可读存储介质
CN110072138A (zh) * 2019-04-26 2019-07-30 广州酷狗计算机科技有限公司 视频播放方法、设备及计算机可读存储介质
CN110189172B (zh) * 2019-05-28 2021-10-15 广州华多网络科技有限公司 一种网络直播间导购方法及系统
CN110189172A (zh) * 2019-05-28 2019-08-30 广州华多网络科技有限公司 一种网络直播间导购方法及系统
CN110211033A (zh) * 2019-06-28 2019-09-06 北京字节跳动网络技术有限公司 人脸图像处理方法、装置、介质及电子设备
WO2021047094A1 (zh) * 2019-09-11 2021-03-18 广州华多网络科技有限公司 虚拟礼物特效的处理方法和装置、直播系统
WO2021047419A1 (zh) * 2019-09-12 2021-03-18 广州华多网络科技有限公司 直播交互方法、直播系统、电子设备及存储介质
CN110933452B (zh) * 2019-12-02 2021-12-03 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN110933452A (zh) * 2019-12-02 2020-03-27 广州酷狗计算机科技有限公司 萌脸礼物显示方法、装置及存储介质
CN112383788A (zh) * 2020-11-11 2021-02-19 成都威爱新经济技术研究院有限公司 一种基于智能ai技术的直播实时图像提取系统及方法
CN112788359A (zh) * 2020-12-30 2021-05-11 北京达佳互联信息技术有限公司 直播处理方法、装置、电子设备及存储介质
CN112788359B (zh) * 2020-12-30 2023-05-09 北京达佳互联信息技术有限公司 直播处理方法、装置、电子设备及存储介质
CN112929681A (zh) * 2021-01-19 2021-06-08 广州虎牙科技有限公司 视频流图像渲染方法、装置、计算机设备及存储介质
CN112929681B (zh) * 2021-01-19 2023-09-05 广州虎牙科技有限公司 视频流图像渲染方法、装置、计算机设备及存储介质
WO2022199102A1 (zh) * 2021-03-26 2022-09-29 北京达佳互联信息技术有限公司 图像处理方法及装置
CN113126629A (zh) * 2021-04-29 2021-07-16 清华大学深圳国际研究生院 一种机器人主动搜索目标的方法及智能机器人
CN113126629B (zh) * 2021-04-29 2022-11-29 清华大学深圳国际研究生院 一种机器人主动搜索目标的方法及智能机器人
CN115065835A (zh) * 2022-05-20 2022-09-16 广州方硅信息技术有限公司 直播的表情显示处理方法、服务器、电子设备及存储介质

Also Published As

Publication number Publication date
CN106231434B (zh) 2019-09-10

Similar Documents

Publication Publication Date Title
CN106231434B (zh) 一种基于人脸检测的直播互动特效实现方法及系统
CN106303354B (zh) 一种脸部特效推荐方法及电子设备
US11451858B2 (en) Method and system of processing information flow and method of displaying comment information
CN113099298B (zh) 虚拟形象的改变方法、装置和终端设备
US11257293B2 (en) Augmented reality method and device fusing image-based target state data and sound-based target state data
CN108347578B (zh) 视频通话中视频图像的处理方法及装置
EP3913924B1 (en) 360-degree panoramic video playing method, apparatus, and system
WO2024078243A1 (zh) 视频生成模型的训练方法、装置、存储介质及计算机设备
CN110071938B (zh) 虚拟形象互动方法、装置、电子设备及可读存储介质
US11409794B2 (en) Image deformation control method and device and hardware device
CN111368796A (zh) 人脸图像的处理方法、装置、电子设备及存储介质
CN113781613A (zh) 表情驱动方法、系统及计算机设备
CN109862380A (zh) 视频数据处理方法、装置及服务器、电子设备和存储介质
CN114025219A (zh) 增强现实特效的渲染方法、装置、介质及设备
CN113453027B (zh) 直播视频、虚拟上妆的图像处理方法、装置及电子设备
CN111583415A (zh) 信息处理方法、装置和电子设备
CN111510769A (zh) 视频图像处理方法、装置及电子设备
KR20210083551A (ko) 실시간 적응형 동영상 가상 의류 피팅 방법, 장치, 시스템 및 컴퓨터 프로그램
CN114339393A (zh) 直播画面的显示处理方法、服务器、设备、系统及介质
CN112184540A (zh) 图像处理方法、装置、电子设备和存储介质
CN114170472A (zh) 图像处理方法、可读存储介质及计算机终端
CN113992927B (zh) 二次元虚拟礼物生成方法、装置、电子设备及存储介质
US11438551B2 (en) Virtual audience using low bitrate avatars and laughter detection
CN113408452A (zh) 表情重定向训练方法、装置、电子设备和可读存储介质
CN112449249A (zh) 视频流处理方法及装置、电子设备及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190910