CN105872442A - 一种基于人脸识别的即时弹幕礼物赠送方法及系统 - Google Patents

一种基于人脸识别的即时弹幕礼物赠送方法及系统 Download PDF

Info

Publication number
CN105872442A
CN105872442A CN201610189760.0A CN201610189760A CN105872442A CN 105872442 A CN105872442 A CN 105872442A CN 201610189760 A CN201610189760 A CN 201610189760A CN 105872442 A CN105872442 A CN 105872442A
Authority
CN
China
Prior art keywords
face
barrage
information
user
mood states
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610189760.0A
Other languages
English (en)
Inventor
何异
徐阿宏
杨柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO SANBO ELECTRONIC TECHNOLOGY Co Ltd
Original Assignee
NINGBO SANBO ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO SANBO ELECTRONIC TECHNOLOGY Co Ltd filed Critical NINGBO SANBO ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201610189760.0A priority Critical patent/CN105872442A/zh
Publication of CN105872442A publication Critical patent/CN105872442A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • G06V40/176Dynamic expression
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

一种基于人脸识别的即时弹幕礼物赠送方法,其包括如下步骤:S1、设置用于盛放弹幕的弹幕容器;预存渲染动态图像,将渲染动态图像划分为不同的应用场景;设置赠送虚拟礼物弹幕的通配符;S2、获取用户的文字输入信息;通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸;S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息;S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;在弹幕容器上的显示时长、进入位置、运动轨迹;跳转到步骤S2直至视频通信结束。

Description

一种基于人脸识别的即时弹幕礼物赠送方法及系统
技术领域
本发明涉及无线通信技术领域,特别涉及一种基于人脸识别的即时弹幕礼物赠送方法及系统。
背景技术
随着移动终端的普及、无线网络技术日益成熟,现有的语音通话和短信交流方式已经不能满足人们需求,视频语音聊天业务越来越被人们所青睐。然而,虽然无线互联网蓬勃发展,用户量与日剧增,但是移动通讯网络普及程度仍然不足,移动通讯网络速度较慢,费用较高,限制用户实时视频聊天应用的发展,此外,移动终端的性能还不高,特别是移动终端摄像头清晰度不高,也影响视频聊天业务的用户体验。
在现有移动终端即时通讯软件中,一般都实现了视频或语音聊天的功能。一般的实现方法是,把麦克风和摄像头录制语音和视频,及进行音视频数据压缩同步处理,通过网络传输后在另一客户端播放视频画面;还有一些采用虚拟摄像头的方式对视频图像进行实时转换,通过人脸识别技术显示成虚拟形象视频数据,将生成的视频数据通过网络传输后在另一客户端播放视频画面。
现有技术中视频通信方法,通常仅有双方摄像头拍摄的实景头像信息,即时存在能够在头像信息上叠加其他图片,叠加的效果不佳,并且叠加的图片事先固定,灵活程度不高。同时,现有的即时通信方式为划分一块文字聊天区域,另划分一块视频聊天区域,用户需要同时观看两个区域,用户体验度不高,并且用户聊天时的互动性不高。
发明内容
有鉴于此,本发明提出一种基于人脸识别的即时弹幕礼物赠送方法及系统。
一种基于人脸识别的即时弹幕礼物赠送方法,其包括如下步骤:
S1、设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
S2、获取用户的文字输入信息;通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,跳转到步骤S1;
S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;跳转到步骤S2直至视频通信结束。
在本发明所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S2包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,重复执行步骤S2。
在本发明所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S3包括:
S31、对检测到的人脸进行预处理;
S32、设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
在本发明所述的基于人脸识别的即时弹幕礼物赠送方法中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
在本发明所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系;
获取步骤S3中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;
根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;
根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;
跳转到步骤S2直至视频通信结束。
本发明还提供一种基于人脸识别的即时弹幕礼物赠送系统,其包括如下单元:
预存分类单元,用于设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
人脸检测单元,用于通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,跳转执行预存分类单元;
跟踪识别单元,用于获取用户的文字输入信息;对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
渲染单元,用于根据跟踪识别单元中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为点歌弹幕,在弹幕为点歌弹幕时,在显示弹幕同时调用播放器播放歌曲;跳转执行人脸检测单元直至视频通信结束。
在本发明所述的基于人脸识别的即时弹幕礼物赠送系统中,
所述人脸检测单元包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,重复执行人脸检测单元。
在本发明所述的基于人脸识别的即时弹幕礼物赠送系统中,
所述跟踪识别单元包括:
预处理子单元,用于对检测到的人脸进行预处理;
跟踪子单元,用于设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
区域计算子单元,用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
识别子单元,用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态,心情状态包括积极情绪、消极情绪、中立情绪任一种。
在本发明所述的基于人脸识别的即时弹幕礼物赠送系统中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
在本发明所述的基于人脸识别的即时弹幕礼物赠送系统中,
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系;
获取跟踪识别单元中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;
根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;
根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;
跳转执行人脸检测单元直至视频通信结束。
实施本发明提供的基于人脸识别的即时弹幕礼物赠送方法及系统与现有技术相比具有以下有益效果:首先预存了渲染动态图像,将渲染动态图像划分为不同的应用场景,并且通过人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种,根据心情状态来选择合适的渲染动态图像到人脸上,使得视频聊天过程中叠加的图片符合当时用户的心情状态,提高用户体验;此外,对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别,使得视频聊天过程中叠加的图片是实时可变的,灵活性高。此外,通过设置弹幕容器,将用户的文字输入信息通过弹幕形式显示在屏幕上的视频画面上,使得用户在观看视频图像的时候方便观看用户的文字信息,显示效果更好。通过设置赠送虚拟礼物弹幕的通配符,在用户的文字输入信息的格式为“&XXX&”时,则判断该弹幕为赠送礼物的弹幕,在对方的客户端上调用欲赠送礼物的名称,并根据名称与flash的映射关系调用并播放该虚拟礼物flash,使得聊天互动性更强。
附图说明
图1是本发明实施例的基于人脸识别的即时弹幕礼物赠送方法流程图;
图2是图1中步骤S3的子流程图;
图3是本发明实施例的基于人脸识别的即时弹幕礼物赠送系统结构框图;
图4是图3中跟踪识别单元的结构框图。
具体实施方式
如图1所示,一种基于人脸识别的即时弹幕礼物赠送方法,其包括如下步骤:
S1、设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景。
渲染动态图片可以包括各种头饰、耳钉、腮红、各种风格眼镜、大哭的特效、头像上黑线的特效图片等等。应用场景可以划分为高兴场景、忧伤场景以及中立场景。弹幕容器是一个用来装载并显示弹幕的布局,所有弹幕必须添加进容器后,才能显示在屏幕上。
赠送虚拟礼物弹幕的通配符可以事先灵活设置,比如“&XXX&”,其中的“XXX”为欲赠送的礼物名称。
S2、获取用户的文字输入信息;通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,跳转到步骤S1。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S2包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息。通过灰度化和直方图归一化处理,可以使得人脸特征更为突出。此外,优选地,还可以进行照度校正和光照校正处理,可以削弱侧面光源对人脸图像的干扰以及削弱正面光源对人脸图像的干扰。
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征。
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸。Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,重复执行步骤S2。
S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
通过对检测到的用户人脸进行动态跟踪,可以实时对用户此刻心情状态信息进行跟踪。
可选地,如图2所示,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S3包括:
S31、对检测到的人脸进行预处理。
S32、设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组。此外,通过设置人脸中心位置在水平方向、垂直方向、人脸尺度的变化阈值,限定了人脸跟踪区域的范围。
S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域。通过区域限制算法能够降低跟踪的运算量。
S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别。并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送方法中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组。
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型。
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
通过实施本实施例,建立心情状态判断模型,能够实时判断用户的心理状态。进而选择合适的渲染动态图像进行叠加。比如在判断为积极情绪时,可以叠加大笑的渲染动态图像,将龇压大笑的渲染动态图像替换用户的牙齿,使得聊天场景生动,用户体验度高。在判断为消极情绪时,可以叠加黑线的渲染动态图像,将黑线的渲染动态图像叠加用户的额头上。
S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为点歌弹幕,在弹幕为点歌弹幕时,在显示弹幕同时调用播放器播放歌曲;跳转到步骤S2直至视频通信结束。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送方法中,
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系。
获取步骤S3中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景。可选地,一种心情状态下可以对应多组应用场景下的图片信息,并且这些对应关系用户可灵活设置。
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;跳转到步骤S2直至视频通信结束。
在用户的文字输入信息的格式为“&XXX&”时,则判断该弹幕为赠送礼物的弹幕,在对方的客户端上调用欲赠送礼物的名称,并根据名称与flash的映射关系调用并播放该虚拟礼物flash,使得聊天互动性更强。
如图3所示,本发明实施例还提供一种基于人脸识别的即时弹幕礼物赠送系统,其包括如下单元:
预存分类单元,用于设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景。
人脸检测单元,用于通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,跳转执行预存分类单元。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送系统中,
所述人脸检测单元包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息。
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征。
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸。
如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,重复执行人脸检测单元。
跟踪识别单元,用于对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
可选地,如图4所示,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送系统中,
所述跟踪识别单元包括:
预处理子单元,用于对检测到的人脸进行预处理。
跟踪子单元,用于设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组。
区域计算子单元,用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域。
识别子单元,用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态,心情状态包括积极情绪、消极情绪、中立情绪任一种。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送系统中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组。
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型。
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
渲染单元,用于根据跟踪识别单元中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为点歌弹幕,在弹幕为点歌弹幕时,在显示弹幕同时调用播放器播放歌曲;跳转执行人脸检测单元直至视频通信结束。
可选地,在本发明实施例所述的基于人脸识别的即时弹幕礼物赠送系统中,
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系。
获取跟踪识别单元中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景。
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;跳转执行人脸检测单元直至视频通信结束。
实施本发明提供的基于人脸识别的即时弹幕礼物赠送方法及系统与现有技术相比具有以下有益效果:首先预存了渲染动态图像,将渲染动态图像划分为不同的应用场景,并且通过人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种,根据心情状态来选择合适的渲染动态图像到人脸上,使得视频聊天过程中叠加的图片符合当时用户的心情状态,提高用户体验;此外,对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别,使得视频聊天过程中叠加的图片是实时可变的,灵活性高。此外,通过设置弹幕容器,将用户的文字输入信息通过弹幕形式显示在屏幕上的视频画面上,使得用户在观看视频图像的时候方便观看用户的文字信息,显示效果更好。通过设置赠送虚拟礼物弹幕的通配符,在用户的文字输入信息的格式为“&XXX&”时,则判断该弹幕为赠送礼物的弹幕,在对方的客户端上调用欲赠送礼物的名称,并根据名称与flash的映射关系调用并播放该虚拟礼物flash,使得聊天互动性更强。
上述方法实施例与系统实施例是一一对应的,因此,方法实施例的扩展也可适用于上述系统实施例。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
可以理解的是,对于本领域的普通技术人员来说,可以根据本发明的技术构思做出其它各种相应的改变与变形,而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (10)

1.一种基于人脸识别的即时弹幕礼物赠送方法,其包括如下步骤:
S1、设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
S2、获取用户的文字输入信息;通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,跳转到步骤S1;
S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;跳转到步骤S2直至视频通信结束。
2.根据权利要求1所述的基于人脸识别的即时弹幕礼物赠送方法,其特征在于,
所述步骤S2包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,重复执行步骤S2。
3.根据权利要求2所述的基于人脸识别的即时弹幕礼物赠送方法,其特征在于,
所述步骤S3包括:
S31、对检测到的人脸进行预处理;
S32、设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
4.根据权利要求3所述的基于人脸识别的即时弹幕礼物赠送方法,其特征在于,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
5.根据权利要求4所述的基于人脸识别的即时弹幕礼物赠送方法,其特征在于,
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系;
获取步骤S3中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;
根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;
根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;
跳转到步骤S2直至视频通信结束。
6.一种基于人脸识别的即时弹幕礼物赠送系统,其包括如下单元:
预存分类单元,用于设置用于盛放弹幕的弹幕容器;配置弹幕载体的基础参数,基础参数包括显示时长、进入位置、运动轨迹;设置赠送虚拟礼物弹幕的通配符;预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
人脸检测单元,用于通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,跳转执行预存分类单元;
跟踪识别单元,用于获取用户的文字输入信息;对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
渲染单元,用于根据跟踪识别单元中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;跳转执行人脸检测单元直至视频通信结束。
7.根据权利要求6所述的基于人脸识别的即时弹幕礼物赠送系统,其特征在于,
所述人脸检测单元包括:
获取用户的文字输入信息;
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,重复执行人脸检测单元。
8.根据权利要求7所述的基于人脸识别的即时弹幕礼物赠送系统,其特征在于,
所述跟踪识别单元包括:
预处理子单元,用于对检测到的人脸进行预处理;
跟踪子单元,用于设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
区域计算子单元,用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
识别子单元,用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态,心情状态包括积极情绪、消极情绪、中立情绪任一种。
9.根据权利要求8所述的基于人脸识别的即时弹幕礼物赠送系统,其特征在于,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
10.根据权利要求9所述的基于人脸识别的即时弹幕礼物赠送系统,其特征在于,
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系;
获取跟踪识别单元中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;
根据弹幕载体的基础参数配置用户的文字输入信息在弹幕容器上的显示时长、进入位置、运动轨迹;
根据通配符判断弹幕是否为赠送虚拟礼物弹幕,在弹幕为赠送虚拟礼物弹幕时,在显示弹幕同时调用以及播放虚拟礼物flash;
跳转执行人脸检测单元直至视频通信结束。
CN201610189760.0A 2016-03-30 2016-03-30 一种基于人脸识别的即时弹幕礼物赠送方法及系统 Pending CN105872442A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610189760.0A CN105872442A (zh) 2016-03-30 2016-03-30 一种基于人脸识别的即时弹幕礼物赠送方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610189760.0A CN105872442A (zh) 2016-03-30 2016-03-30 一种基于人脸识别的即时弹幕礼物赠送方法及系统

Publications (1)

Publication Number Publication Date
CN105872442A true CN105872442A (zh) 2016-08-17

Family

ID=56627468

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610189760.0A Pending CN105872442A (zh) 2016-03-30 2016-03-30 一种基于人脸识别的即时弹幕礼物赠送方法及系统

Country Status (1)

Country Link
CN (1) CN105872442A (zh)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454481A (zh) * 2016-09-30 2017-02-22 广州华多网络科技有限公司 一种移动终端直播互动的方法及装置
CN106658035A (zh) * 2016-12-09 2017-05-10 武汉斗鱼网络科技有限公司 一种特效礼物动态展示方法及装置
CN107172497A (zh) * 2017-04-21 2017-09-15 北京小米移动软件有限公司 直播方法、装置及系统
CN107438200A (zh) * 2017-09-08 2017-12-05 广州酷狗计算机科技有限公司 直播间礼物展示的方法和装置
CN108399653A (zh) * 2018-01-24 2018-08-14 网宿科技股份有限公司 增强现实方法、终端设备及计算机可读存储介质
CN108540863A (zh) * 2018-03-29 2018-09-14 武汉斗鱼网络科技有限公司 基于人脸表情的弹幕设置方法、存储介质、设备及系统
CN108833989A (zh) * 2018-06-20 2018-11-16 聚好看科技股份有限公司 一种弹幕生成及展示的方法和装置
CN108965345A (zh) * 2018-09-30 2018-12-07 武汉斗鱼网络科技有限公司 一种小信令网络数据包的优化方法及装置
CN110062272A (zh) * 2019-04-30 2019-07-26 腾讯科技(深圳)有限公司 一种视频数据处理方法和相关装置
CN110568933A (zh) * 2019-09-16 2019-12-13 深圳市趣创科技有限公司 基于人脸识别的人机交互方法、装置和计算机设备
CN110636362A (zh) * 2019-09-04 2019-12-31 腾讯科技(深圳)有限公司 图像处理方法、装置、系统及电子设备
CN115706821A (zh) * 2021-08-17 2023-02-17 上海哔哩哔哩科技有限公司 虚拟礼物展示方法及装置
CN115706821B (zh) * 2021-08-17 2024-04-30 上海哔哩哔哩科技有限公司 虚拟礼物展示方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877056A (zh) * 2009-12-21 2010-11-03 北京中星微电子有限公司 人脸表情识别方法及系统、表情分类器的训练方法及系统
US20120069028A1 (en) * 2010-09-20 2012-03-22 Yahoo! Inc. Real-time animations of emoticons using facial recognition during a video chat
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备
CN105335051A (zh) * 2015-11-20 2016-02-17 珠海多玩信息技术有限公司 在视屏区域显示弹幕式礼物的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101877056A (zh) * 2009-12-21 2010-11-03 北京中星微电子有限公司 人脸表情识别方法及系统、表情分类器的训练方法及系统
US20120069028A1 (en) * 2010-09-20 2012-03-22 Yahoo! Inc. Real-time animations of emoticons using facial recognition during a video chat
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备
CN105335051A (zh) * 2015-11-20 2016-02-17 珠海多玩信息技术有限公司 在视屏区域显示弹幕式礼物的方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
皮卡: "《斗鱼直播怎么点歌 斗鱼弹幕点歌obs插件使用方法》", 《18183IPHONE 游戏频道》 *

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106454481A (zh) * 2016-09-30 2017-02-22 广州华多网络科技有限公司 一种移动终端直播互动的方法及装置
CN106658035A (zh) * 2016-12-09 2017-05-10 武汉斗鱼网络科技有限公司 一种特效礼物动态展示方法及装置
CN107172497B (zh) * 2017-04-21 2019-07-02 北京小米移动软件有限公司 直播方法、装置及系统
CN107172497A (zh) * 2017-04-21 2017-09-15 北京小米移动软件有限公司 直播方法、装置及系统
CN107438200A (zh) * 2017-09-08 2017-12-05 广州酷狗计算机科技有限公司 直播间礼物展示的方法和装置
CN108399653A (zh) * 2018-01-24 2018-08-14 网宿科技股份有限公司 增强现实方法、终端设备及计算机可读存储介质
CN108540863A (zh) * 2018-03-29 2018-09-14 武汉斗鱼网络科技有限公司 基于人脸表情的弹幕设置方法、存储介质、设备及系统
CN108540863B (zh) * 2018-03-29 2021-03-12 武汉斗鱼网络科技有限公司 基于人脸表情的弹幕设置方法、存储介质、设备及系统
CN108833989A (zh) * 2018-06-20 2018-11-16 聚好看科技股份有限公司 一种弹幕生成及展示的方法和装置
CN108965345A (zh) * 2018-09-30 2018-12-07 武汉斗鱼网络科技有限公司 一种小信令网络数据包的优化方法及装置
WO2020220968A1 (zh) * 2019-04-30 2020-11-05 腾讯科技(深圳)有限公司 一种视频数据处理方法和相关装置
CN110062272A (zh) * 2019-04-30 2019-07-26 腾讯科技(深圳)有限公司 一种视频数据处理方法和相关装置
CN110062272B (zh) * 2019-04-30 2021-09-28 腾讯科技(深圳)有限公司 一种视频数据处理方法和相关装置
US11900614B2 (en) 2019-04-30 2024-02-13 Tencent Technology (Shenzhen) Company Limited Video data processing method and related apparatus
CN110636362A (zh) * 2019-09-04 2019-12-31 腾讯科技(深圳)有限公司 图像处理方法、装置、系统及电子设备
CN110636362B (zh) * 2019-09-04 2022-05-24 腾讯科技(深圳)有限公司 图像处理方法、装置、系统及电子设备
CN110568933A (zh) * 2019-09-16 2019-12-13 深圳市趣创科技有限公司 基于人脸识别的人机交互方法、装置和计算机设备
CN115706821A (zh) * 2021-08-17 2023-02-17 上海哔哩哔哩科技有限公司 虚拟礼物展示方法及装置
CN115706821B (zh) * 2021-08-17 2024-04-30 上海哔哩哔哩科技有限公司 虚拟礼物展示方法及装置

Similar Documents

Publication Publication Date Title
CN105872442A (zh) 一种基于人脸识别的即时弹幕礼物赠送方法及系统
CN105847735A (zh) 一种基于人脸识别的即时弹幕视频通信方法及系统
CN105847734A (zh) 一种基于人脸识别的视频通信方法及系统
KR102292537B1 (ko) 이미지 처리 방법 및 장치, 및 저장 매체
US11094131B2 (en) Augmented reality apparatus and method
CN110557678B (zh) 视频处理方法、装置及设备
CN109872297A (zh) 图像处理方法及装置、电子设备和存储介质
CN109618184A (zh) 视频处理方法及装置、电子设备和存储介质
CN104853092A (zh) 一种拍照方法及装置
WO2017072534A2 (en) Communication system and method
US20150002690A1 (en) Image processing method and apparatus, and electronic device
CN108985176A (zh) 图像生成方法及装置
CN109474850A (zh) 运动像素视频特效添加方法、装置、终端设备及存储介质
CN105915673A (zh) 一种视频特效切换的方法和移动终端
CN109348277A (zh) 运动像素视频特效添加方法、装置、终端设备及存储介质
CN109862380A (zh) 视频数据处理方法、装置及服务器、电子设备和存储介质
CN110213486A (zh) 图像拍摄方法、终端及计算机可读存储介质
CN108122195A (zh) 图片处理方法及装置
CN114630057B (zh) 确定特效视频的方法、装置、电子设备及存储介质
CN113709545A (zh) 视频的处理方法、装置、计算机设备和存储介质
WO2020215776A1 (zh) 多媒体数据的处理方法以及装置
CN108965770A (zh) 图像处理模板生成方法、装置、存储介质及移动终端
CN114880062A (zh) 聊天表情展示方法、设备、电子设备及存储介质
CN112601120B (zh) 字幕显示方法及装置
CN106406527A (zh) 基于虚拟现实的输入方法、装置及虚拟现实装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160817

RJ01 Rejection of invention patent application after publication