CN105847734A - 一种基于人脸识别的视频通信方法及系统 - Google Patents

一种基于人脸识别的视频通信方法及系统 Download PDF

Info

Publication number
CN105847734A
CN105847734A CN201610189755.XA CN201610189755A CN105847734A CN 105847734 A CN105847734 A CN 105847734A CN 201610189755 A CN201610189755 A CN 201610189755A CN 105847734 A CN105847734 A CN 105847734A
Authority
CN
China
Prior art keywords
face
information
key point
mood states
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610189755.XA
Other languages
English (en)
Inventor
徐阿宏
何异
杨柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NINGBO SANBO ELECTRONIC TECHNOLOGY Co Ltd
Original Assignee
NINGBO SANBO ELECTRONIC TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NINGBO SANBO ELECTRONIC TECHNOLOGY Co Ltd filed Critical NINGBO SANBO ELECTRONIC TECHNOLOGY Co Ltd
Priority to CN201610189755.XA priority Critical patent/CN105847734A/zh
Publication of CN105847734A publication Critical patent/CN105847734A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/478Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting

Abstract

一种基于人脸识别的视频通信方法,其包括如下步骤:S1、预存渲染动态图像,将渲染动态图像划分为不同的应用场景;S2、通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,跳转到步骤S1;S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。

Description

一种基于人脸识别的视频通信方法及系统
技术领域
本发明涉及无线通信技术领域,特别涉及一种基于人脸识别的视频通信方法及系统。
背景技术
随着移动终端的普及、无线网络技术日益成熟,现有的语音通话和短信交流方式已经不能满足人们需求,视频语音聊天业务越来越被人们所青睐。然而,虽然无线互联网蓬勃发展,用户量与日剧增,但是移动通讯网络普及程度仍然不足,移动通讯网络速度较慢,费用较高,限制用户实时视频聊天应用的发展,此外,移动终端的性能还不高,特别是移动终端摄像头清晰度不高,也影响视频聊天业务的用户体验。
在现有移动终端即时通讯软件中,一般都实现了视频或语音聊天的功能。一般的实现方法是,把麦克风和摄像头录制语音和视频,及进行音视频数据压缩同步处理,通过网络传输后在另一客户端播放视频画面;还有一些采用虚拟摄像头的方式对视频图像进行实时转换,通过人脸识别技术显示成虚拟形象视频数据,将生成的视频数据通过网络传输后在另一客户端播放视频画面。
现有技术中视频通信方法,通常仅有双方摄像头拍摄的实景头像信息,即时存在能够在头像信息上叠加其他图片,叠加的效果不佳,并且叠加的图片事先固定,灵活程度不高。
发明内容
有鉴于此,本发明提出一种基于人脸识别的视频通信方法及系统。
一种基于人脸识别的视频通信方法,其包括如下步骤:
S1、预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
S2、通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,跳转到步骤S1;
S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。
在本发明所述的基于人脸识别的视频通信方法中,
所述步骤S2包括:
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,重复执行步骤S2。
在本发明所述的基于人脸识别的视频通信方法中,
所述步骤S3包括:
S31、对检测到的人脸进行预处理;
S32、设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
在本发明所述的基于人脸识别的视频通信方法中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
在本发明所述的基于人脸识别的视频通信方法中,
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系;
获取步骤S3中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。
本发明还提供一种基于人脸识别的视频通信系统,其包括如下单元:
预存分类单元,用于预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
人脸检测单元,用于通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,跳转执行预存分类单元;
跟踪识别单元,用于对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
渲染单元,用于根据跟踪识别单元中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。
在本发明所述的基于人脸识别的视频通信系统中,
所述人脸检测单元包括:
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,重复执行人脸检测单元。
在本发明所述的基于人脸识别的视频通信系统中,
所述跟踪识别单元包括:
预处理子单元,用于对检测到的人脸进行预处理;
跟踪子单元,用于设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
区域计算子单元,用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
识别子单元,用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态,心情状态包括积极情绪、消极情绪、中立情绪任一种。
在本发明所述的基于人脸识别的视频通信系统中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
在本发明所述的基于人脸识别的视频通信系统中,
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系;
获取跟踪识别单元中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。
实施本发明提供的基于人脸识别的视频通信方法及系统与现有技术相比具有以下有益效果:首先预存了渲染动态图像,将渲染动态图像划分为不同的应用场景,并且通过人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种,根据心情状态来选择合适的渲染动态图像到人脸上,使得视频聊天过程中叠加的图片符合当时用户的心情状态,提高用户体验;此外,对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别,使得视频聊天过程中叠加的图片是实时可变的,灵活性高。
附图说明
图1是本发明实施例的基于人脸识别的视频通信方法流程图;
图2是图1中步骤S3的子流程图;
图3是本发明实施例的基于人脸识别的视频通信系统结构框图;
图4是图3中跟踪识别单元的结构框图。
具体实施方式
如图1所示,一种基于人脸识别的视频通信方法,其包括如下步骤:
S1、预存渲染动态图像,将渲染动态图像划分为不同的应用场景。
渲染动态图片可以包括各种头饰、耳钉、腮红、各种风格眼镜、大哭的特效、头像上黑线的特效图片等等。应用场景可以划分为高兴场景、忧伤场景以及中立场景。
S2、通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,跳转到步骤S1。
可选地,在本发明实施例所述的基于人脸识别的视频通信方法中,
所述步骤S2包括:
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息。通过灰度化和直方图归一化处理,可以使得人脸特征更为突出。此外,优选地,还可以进行照度校正和光照校正处理,可以削弱侧面光源对人脸图像的干扰以及削弱正面光源对人脸图像的干扰。
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征。
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸。Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的分类器(弱分类器),然后把这些弱分类器集合起来,构成一个更强的最终分类器(强分类器)。
如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,重复执行步骤S2。
S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
通过对检测到的用户人脸进行动态跟踪,可以实时对用户此刻心情状态信息进行跟踪。
可选地,如图2所示,在本发明实施例所述的基于人脸识别的视频通信方法中,
所述步骤S3包括:
S31、对检测到的人脸进行预处理。
S32、设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组。此外,通过设置人脸中心位置在水平方向、垂直方向、人脸尺度的变化阈值,限定了人脸跟踪区域的范围。
S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域。通过区域限制算法能够降低跟踪的运算量。
S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别。并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
可选地,在本发明实施例所述的基于人脸识别的视频通信方法中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组。
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型。
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
通过实施本实施例,建立心情状态判断模型,能够实时判断用户的心理状态。进而选择合适的渲染动态图像进行叠加。比如在判断为积极情绪时,可以叠加大笑的渲染动态图像,将龇压大笑的渲染动态图像替换用户的牙齿,使得聊天场景生动,用户体验度高。在判断为消极情绪时,可以叠加黑线的渲染动态图像,将黑线的渲染动态图像叠加用户的额头上。
S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。
可选地,在本发明实施例所述的基于人脸识别的视频通信方法中,
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系。
获取步骤S3中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景。可选地,一种心情状态下可以对应多组应用场景下的图片信息,并且这些对应关系用户可灵活设置。
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。
如图3所示,本发明实施例还提供一种基于人脸识别的视频通信系统,其包括如下单元:
预存分类单元,用于预存渲染动态图像,将渲染动态图像划分为不同的应用场景。
人脸检测单元,用于通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,跳转执行预存分类单元。
可选地,在本发明实施例所述的基于人脸识别的视频通信系统中,
所述人脸检测单元包括:
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息。
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征。
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸。
如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,重复执行人脸检测单元。
跟踪识别单元,用于对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
可选地,如图4所示,在本发明实施例所述的基于人脸识别的视频通信系统中,
所述跟踪识别单元包括:
预处理子单元,用于对检测到的人脸进行预处理。
跟踪子单元,用于设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组。
区域计算子单元,用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域。
识别子单元,用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态,心情状态包括积极情绪、消极情绪、中立情绪任一种。
可选地,在本发明实施例所述的基于人脸识别的视频通信系统中,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息。
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组。
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型。
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
渲染单元,用于根据跟踪识别单元中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。
可选地,在本发明实施例所述的基于人脸识别的视频通信系统中,
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系。
获取跟踪识别单元中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景。
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。
实施本发明提供的基于人脸识别的视频通信方法及系统与现有技术相比具有以下有益效果:首先预存了渲染动态图像,将渲染动态图像划分为不同的应用场景,并且通过人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种,根据心情状态来选择合适的渲染动态图像到人脸上,使得视频聊天过程中叠加的图片符合当时用户的心情状态,提高用户体验;此外,对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别,使得视频聊天过程中叠加的图片是实时可变的,灵活性高。
上述方法实施例与系统实施例是一一对应的,因此,方法实施例的扩展也可适用于上述系统实施例。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机储存器、内存、只读存储器、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。
可以理解的是,对于本领域的普通技术人员来说,可以根据本发明的技术构思做出其它各种相应的改变与变形,而所有这些改变与变形都应属于本发明权利要求的保护范围。

Claims (10)

1.一种基于人脸识别的视频通信方法,其包括如下步骤:
S1、预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
S2、通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,跳转到步骤S1;
S3、对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
S4、根据步骤S3中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。
2.根据权利要求1所述的基于人脸识别的视频通信方法,其特征在于,
所述步骤S2包括:
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转到步骤S3;如果没有检测到人脸,重复执行步骤S2。
3.根据权利要求2所述的基于人脸识别的视频通信方法,其特征在于,
所述步骤S3包括:
S31、对检测到的人脸进行预处理;
S32、设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
S33、在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
S34、对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种。
4.根据权利要求3所述的基于人脸识别的视频通信方法,其特征在于,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
5.根据权利要求4所述的基于人脸识别的视频通信方法,其特征在于,
所述步骤S4包括:
建立心情状态信息与应用场景的映射关系;
获取步骤S3中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;跳转到步骤S2直至视频通信结束。
6.一种基于人脸识别的视频通信系统,其包括如下单元:
预存分类单元,用于预存渲染动态图像,将渲染动态图像划分为不同的应用场景;
人脸检测单元,用于通过摄像头获取视频图像信息;判断视频图像信息中是否包括用户人脸,如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,跳转执行预存分类单元;
跟踪识别单元,用于对检测到的用户人脸进行动态跟踪;对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态信息,心情状态包括积极情绪、消极情绪、中立情绪任一种;
渲染单元,用于根据跟踪识别单元中的心情状态信息选择相应的应用场景,从应用场景中获取渲染动态图像并将其叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。
7.根据权利要求6所述的基于人脸识别的视频通信系统,其特征在于,
所述人脸检测单元包括:
通过摄像头获取视频图像信息,对视频图像信息进行进行灰度化和直方图归一化处理得到处理后的视频图像信息;
加载特征训练文件,特征训练文件包括边缘特征、线性特征、中心特征和对角线特征;
通过adaboost算法以及特征训练文件判断处理后的视频图像信息中是否包括人脸;
如果检测到人脸,跳转执行跟踪识别单元;如果没有检测到人脸,重复执行人脸检测单元。
8.根据权利要求7所述的基于人脸识别的视频通信系统,其特征在于,
所述跟踪识别单元包括:
预处理子单元,用于对检测到的人脸进行预处理;
跟踪子单元,用于设置人脸跟踪区域,跟踪区域为包括了人脸中心位置在水平方向最大值、水平方向最小值、垂直方向最大值、垂直方向最小值、人脸尺度值的五元组;
区域计算子单元,用于在下一帧中通过区域限制算法确定该下一帧的跟踪区域;
识别子单元,用于对动态跟踪的用户人脸在面像库中进行目标搜索进行人脸识别;并通过利用自适应增强分类器AdaBoost检测人脸关键点;根据人脸关键点判断用户此刻心情状态,心情状态包括积极情绪、消极情绪、中立情绪任一种。
9.根据权利要求8所述的基于人脸识别的视频通信系统,其特征在于,所述人脸关键点包括眼角、眉毛的末端、嘴角、鼻尖位置信息;
根据人脸关键点判断用户此刻心情状态包括:
预先采样心情状态为积极情绪、消极情绪、中立情绪对应的人脸关键点的特征信息,特征信息为包括横向宽度、纵向高度、弯曲角度信息的三维数据组;
将采样的特征信息作为BP神经网络算法的输入值,通过BP神经网络对输入值进行训练获得心情状态判断模型;
获取检测的人脸关键点对应的特征信息,并通过心情状态判断模型判断用户此刻心情状态信息。
10.根据权利要求9所述的基于人脸识别的视频通信系统,其特征在于,
所述渲染单元包括:
建立心情状态信息与应用场景的映射关系;
获取跟踪识别单元中的心情状态信息,根据心情状态信息与应用场景的映射关系选择相应的应用场景;
在该应用场景中随机获取渲染动态图像,将渲染动态图像叠加到人脸关键点上;跳转执行人脸检测单元直至视频通信结束。
CN201610189755.XA 2016-03-30 2016-03-30 一种基于人脸识别的视频通信方法及系统 Pending CN105847734A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610189755.XA CN105847734A (zh) 2016-03-30 2016-03-30 一种基于人脸识别的视频通信方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610189755.XA CN105847734A (zh) 2016-03-30 2016-03-30 一种基于人脸识别的视频通信方法及系统

Publications (1)

Publication Number Publication Date
CN105847734A true CN105847734A (zh) 2016-08-10

Family

ID=56584210

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610189755.XA Pending CN105847734A (zh) 2016-03-30 2016-03-30 一种基于人脸识别的视频通信方法及系统

Country Status (1)

Country Link
CN (1) CN105847734A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303293A (zh) * 2016-08-15 2017-01-04 广东欧珀移动通信有限公司 视频处理方法、装置及移动终端
CN108154398A (zh) * 2017-12-27 2018-06-12 广东欧珀移动通信有限公司 信息显示方法、装置、终端及存储介质
CN108401129A (zh) * 2018-03-22 2018-08-14 广东小天才科技有限公司 基于穿戴式设备的视频通话方法、装置、终端及存储介质
CN109241890A (zh) * 2018-08-24 2019-01-18 北京字节跳动网络技术有限公司 面部图像校正方法、装置及存储介质
CN109447001A (zh) * 2018-10-31 2019-03-08 深圳市安视宝科技有限公司 一种动态情绪识别方法
CN110399837A (zh) * 2019-07-25 2019-11-01 深圳智慧林网络科技有限公司 用户情绪识别方法、装置以及计算机可读存储介质
CN110399836A (zh) * 2019-07-25 2019-11-01 深圳智慧林网络科技有限公司 用户情绪识别方法、装置以及计算机可读存储介质
CN111886595A (zh) * 2018-03-16 2020-11-03 三星电子株式会社 屏幕控制方法和支持屏幕控制方法的电子设备
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗(杭州)智能科技有限公司 一种人脸驱动动画的方法和装置
CN113646838A (zh) * 2019-04-05 2021-11-12 华为技术有限公司 在视频聊天过程中提供情绪修改的方法和系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140369A (ja) * 2007-12-07 2009-06-25 Sony Corp 集団学習装置及び集団学習方法、対象物検出装置及び対象物検出方法、並びにコンピュータ・プログラム
CN101777116A (zh) * 2009-12-23 2010-07-14 中国科学院自动化研究所 一种基于动作跟踪的脸部表情分析方法
TW201028934A (en) * 2009-01-21 2010-08-01 Univ Nat Cheng Kung Facial expression recognition method and system thereof
CN101877056A (zh) * 2009-12-21 2010-11-03 北京中星微电子有限公司 人脸表情识别方法及系统、表情分类器的训练方法及系统
CN103647922A (zh) * 2013-12-20 2014-03-19 百度在线网络技术(北京)有限公司 虚拟视频通话方法和终端
CN103916536A (zh) * 2013-01-07 2014-07-09 三星电子株式会社 用于移动终端中的用户界面方法和系统
CN103916621A (zh) * 2013-01-06 2014-07-09 腾讯科技(深圳)有限公司 视频通信方法及装置
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140369A (ja) * 2007-12-07 2009-06-25 Sony Corp 集団学習装置及び集団学習方法、対象物検出装置及び対象物検出方法、並びにコンピュータ・プログラム
TW201028934A (en) * 2009-01-21 2010-08-01 Univ Nat Cheng Kung Facial expression recognition method and system thereof
CN101877056A (zh) * 2009-12-21 2010-11-03 北京中星微电子有限公司 人脸表情识别方法及系统、表情分类器的训练方法及系统
CN101777116A (zh) * 2009-12-23 2010-07-14 中国科学院自动化研究所 一种基于动作跟踪的脸部表情分析方法
CN103916621A (zh) * 2013-01-06 2014-07-09 腾讯科技(深圳)有限公司 视频通信方法及装置
CN103916536A (zh) * 2013-01-07 2014-07-09 三星电子株式会社 用于移动终端中的用户界面方法和系统
CN103647922A (zh) * 2013-12-20 2014-03-19 百度在线网络技术(北京)有限公司 虚拟视频通话方法和终端
CN104780339A (zh) * 2015-04-16 2015-07-15 美国掌赢信息科技有限公司 一种即时视频中的表情特效动画加载方法和电子设备

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106303293A (zh) * 2016-08-15 2017-01-04 广东欧珀移动通信有限公司 视频处理方法、装置及移动终端
CN108154398B (zh) * 2017-12-27 2021-01-12 Oppo广东移动通信有限公司 信息显示方法、装置、终端及存储介质
CN108154398A (zh) * 2017-12-27 2018-06-12 广东欧珀移动通信有限公司 信息显示方法、装置、终端及存储介质
CN111886595A (zh) * 2018-03-16 2020-11-03 三星电子株式会社 屏幕控制方法和支持屏幕控制方法的电子设备
CN108401129A (zh) * 2018-03-22 2018-08-14 广东小天才科技有限公司 基于穿戴式设备的视频通话方法、装置、终端及存储介质
CN109241890A (zh) * 2018-08-24 2019-01-18 北京字节跳动网络技术有限公司 面部图像校正方法、装置及存储介质
CN109447001A (zh) * 2018-10-31 2019-03-08 深圳市安视宝科技有限公司 一种动态情绪识别方法
CN109447001B (zh) * 2018-10-31 2020-10-09 深圳市安视宝科技有限公司 一种动态情绪识别方法
CN113646838B (zh) * 2019-04-05 2022-10-11 华为技术有限公司 在视频聊天过程中提供情绪修改的方法和系统
CN113646838A (zh) * 2019-04-05 2021-11-12 华为技术有限公司 在视频聊天过程中提供情绪修改的方法和系统
CN111985268A (zh) * 2019-05-21 2020-11-24 搜狗(杭州)智能科技有限公司 一种人脸驱动动画的方法和装置
CN110399836A (zh) * 2019-07-25 2019-11-01 深圳智慧林网络科技有限公司 用户情绪识别方法、装置以及计算机可读存储介质
CN110399837A (zh) * 2019-07-25 2019-11-01 深圳智慧林网络科技有限公司 用户情绪识别方法、装置以及计算机可读存储介质
CN110399837B (zh) * 2019-07-25 2024-01-05 深圳智慧林网络科技有限公司 用户情绪识别方法、装置以及计算机可读存储介质

Similar Documents

Publication Publication Date Title
CN105847735A (zh) 一种基于人脸识别的即时弹幕视频通信方法及系统
CN105847734A (zh) 一种基于人脸识别的视频通信方法及系统
CN105872442A (zh) 一种基于人脸识别的即时弹幕礼物赠送方法及系统
KR102292537B1 (ko) 이미지 처리 방법 및 장치, 및 저장 매체
TWI564791B (zh) 播音控制系統、方法、電腦程式產品及電腦可讀取紀錄媒體
CN110557678B (zh) 视频处理方法、装置及设备
CN109872297A (zh) 图像处理方法及装置、电子设备和存储介质
US11132544B2 (en) Visual fatigue recognition method, visual fatigue recognition device, virtual reality apparatus and storage medium
CN100456804C (zh) 面部图像补偿设备和方法
KR20100062207A (ko) 화상통화 중 애니메이션 효과 제공 방법 및 장치
CN108259758B (zh) 图像处理方法、装置、存储介质和电子设备
US20150002690A1 (en) Image processing method and apparatus, and electronic device
WO2017072534A2 (en) Communication system and method
CN105243371A (zh) 一种人脸美颜程度的检测方法、系统及拍摄终端
CN108985176A (zh) 图像生成方法及装置
KR20120018479A (ko) 얼굴 표정 및 동작 인식을 이용한 아바타 제공 서버 및 그 방법
CN110213486A (zh) 图像拍摄方法、终端及计算机可读存储介质
WO2020215776A1 (zh) 多媒体数据的处理方法以及装置
CN108965770A (zh) 图像处理模板生成方法、装置、存储介质及移动终端
CN108171667A (zh) 一种图像处理方法、终端和计算机可读存储介质
CN113298723A (zh) 视频处理方法、装置、电子设备及计算机存储介质
KR101738580B1 (ko) 표정 인식 기반 음원 제공 시스템 및 서비스
CN105608469B (zh) 图像分辨率的确定方法及装置
CN105898182A (zh) 一种基于人脸识别的弹幕点歌方法及系统
CN112446243A (zh) 电子装置及基于情绪的内容推送方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20160810

RJ01 Rejection of invention patent application after publication