CN103634503A - 一种基于人脸识别和行为识别的视频制作方法及系统 - Google Patents
一种基于人脸识别和行为识别的视频制作方法及系统 Download PDFInfo
- Publication number
- CN103634503A CN103634503A CN201310688598.3A CN201310688598A CN103634503A CN 103634503 A CN103634503 A CN 103634503A CN 201310688598 A CN201310688598 A CN 201310688598A CN 103634503 A CN103634503 A CN 103634503A
- Authority
- CN
- China
- Prior art keywords
- face
- video
- identifier
- image processor
- behavior
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
一种基于人脸识别和行为识别的视频制作方法及系统，本发明方法包括以下步骤：S1、摄像头拍摄观众画面并将画面传送给识别器，所述识别器识别出画面中的人脸，并判断连续识别到人脸的时间是否达到预设时间。S2、若是，识别器通知图像处理器开始进行观众行为识别，同时识别器将识别到的人脸图像发送给所述图像处理器。S3、图像处理器将视频中的人脸替换为已接收的人脸图像，并将视频中人物行为替换为已识别的观众行为，并将替换后的新视频发送至服务器保存。
Description
技术领域
本发明属于人脸识别及行为识别领域，具体涉及一种基于人脸识别和行为识别的视频制作方法及系统。
背景技术
人脸识别是指利用分析比较人脸视觉特征信息，用以进行身份鉴别的计算机技术。目前属于比较热门的计算机技术研究领域，其应用在生活中也越来越广泛，包括数码相机人脸自动对焦、笑脸快门技术、公安刑侦破案、门禁系统、摄像监视系统和身份辨识等方面。
行为识别指人体行为分析技术，它有着广泛的应用背景,如智能监控、人机交互、运动员辅助训练、视频编码等。近年来,在这些应用的驱动之下,行为分析已经成为图像分析、心理学、神经生理学等相关领域的研究热点。常见的应用有视频的目标跟踪、检测和监控异常行为等。
在日常生活中，多媒体为我们的生活带来了许多便利与乐趣。在人们观看视频的时候，希望自己也能成功视频中的人物，以带来身临其境的体验。比如说，KTV是现代人闲余时间常去的娱乐场所，它不仅可以打发空余时间，更成为人们提升团队感情，休闲娱乐的地方。假设KTV能够拥有新的功能，使歌唱者不仅可以传统地看着屏幕MV唱歌，还可以使歌曲视频中动态播放歌唱者的行为，这样将给用户带来一种全新的乐趣。
目前存在一些视频角色互换的技术，在申请号为201110086617.6的专利中，公开了一种角色互动的视频播放方法，包括：步骤一、对准备播放的视频图像进行人脸检测,获得人脸区域；步骤二、对人脸区域进行姿态估计,获得姿态参数；步骤三、根据姿态参数,从数据库中查找匹配的观众人脸图像作为匹配图像；步骤四、用匹配图像替换人脸区域,获得新的视频图像。上述方法首先需要从数据库中查找观众人脸图像后，再与视频中的人脸图像互换。存在如下问题：一方面替换后的观众人脸表情会比较僵硬，观众体验不够生动；另一方面，仅将人脸进行角色互换，观众的肢体语言并没有融合到视频情境中，没有真正身临其境的感觉。
鉴于上述原因，本发明提供一种基于人脸识别和行为识别的视频制作方法及系统，以达到视频中可动态播放观众人脸和行为的效果。
发明内容
本发明提供一种基于人脸识别和行为识别的视频制作方法，包括以下步骤：
S1、摄像头拍摄观众画面并将画面传送给识别器，所述识别器识别出画面中的人脸，并判断连续识别到人脸的时间是否达到预设时间；
S2、若是，识别器通知图像处理器开始进行观众行为识别，同时识别器将识别到的人脸图像发送给所述图像处理器；
S3、图像处理器将视频中的人脸替换为已接收的人脸图像，并将视频中人物行为替换为已识别的观众行为，并将替换后的新视频发送至服务器保存。
优选的，在步骤S1中，若识别器判断连续识别到人脸的时间没有达到预设时间，则识别器不向图像处理器发送通知，也不将自身识别到的人脸图像发送给所述图像处理器。
优选的，在步骤S1中，识别器判断连续识别到人脸的时间是否达到预设时间，其中所述人脸为正脸。
优选的，步骤S3还包括：服务器还接收录音器提供的音频，并将所述音频与新视频合并保存。
优选的，本方法还包括步骤S4：观众通过客户端点播服务器合并保存的音频及新视频，服务器将所述合并保存的音频及新视频发送给客户端，由客户端播放。
本发明还提供一种基于人脸识别和行为识别的视频制作系统，包括摄像头、识别器、图像处理器及服务器，所述摄像头连接识别器，所述识别器连接图像处理器，所述图像处理器连接服务器。
优选的，所述系统还包括录音器，所述录音器与服务器连接。
优选的，所述摄像头、识别器、图像处理器及录音器内置在视频制作系统中。
根据本发明提供的基于人脸识别和行为识别的视频制作方法及系统，当识别器识别出观众人脸，并判断连续识别到人脸的时间达到预设时间时，图像处理器根据识别器的通知开始进行观众行为识别，避免了捕捉人脸持续时间短对系统造成的资源浪费。同时，图像处理器将视频中的人脸替换为识别器提供的人脸图像，并将视频中人物行为替换为已识别的观众行为，由此，实现了观众人脸和肢体行为与视频中的角色互换，给观众带来了良好的互动体验。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明较佳实施例提供的基于人脸识别和行为识别的视频制作方法流程图；
图2是本发明较佳实施例提供的基于人脸识别和行为识别的视频制作系统使用流程图；
图3是本发明较佳实施例提供的基于人脸识别和行为识别的视频制作系统结构示意图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
图1是本发明较佳实施例提供的基于人脸识别和行为识别的视频制作方法流程图。如图1所示，本发明较佳实施例提供的基于人脸识别和行为识别的视频制作方法包括步骤S1～S3。
步骤S1：摄像头拍摄观众画面并将画面传送给识别器，所述识别器识别出画面中的人脸，并判断连续识别到人脸的时间是否达到预设时间。
具体而言，在本步骤中，若识别器判断连续识别到人脸的时间没有达到预设时间，则识别器不向图像处理器发送通知，也不将自身识别到的人脸图像发送给所述图像处理器。
本实施例中，当识别器判断连续识别到的人脸为正脸，且连续识别到所述正脸的时间达到预设时间时做相应处理。
步骤S2：若是，识别器通知图像处理器开始进行观众行为识别，同时识别器将识别到的人脸图像发送给所述图像处理器。
具体而言，图像处理器接收到识别器的通知后，开始识别观众行为，即捕捉观众的肢体行为。于此，所述图像处理器将实时接收的人脸图像与自身识别的观众行为进行同步，以备后续处理。
在本实施例中，由于人脸识别及人体行为识别均为业界公知的技术，故上述两种识别方法的实现过程本发明不再详述。
步骤S3：图像处理器将视频中的人脸替换为已接收的人脸图像，并将视频中人物行为替换为已识别的观众行为，并将替换后的新视频发送至服务器保存。
具体而言，服务器保存系统为客户制作的视频以供客户观看。观众可以通过客户端点播服务器合并保存的音频及新视频，服务器将所述合并保存的音频及新视频发送给客户端，由客户端播放。于此，所述客户端可以是任意可显示的终端，并可与服务器建立连接。
此外，还可设置录音器，为观众录制与视频同步的声音，并且录音器与服务器连接。服务器接收录音器提供的音频后，将所述音频与新视频合并保存。
图2是本发明较佳实施例提供的基于人脸识别和行为识别的视频制作系统使用流程图。
结合图1及图2，举例而言，本发明提供的基于人脸识别和行为识别的视频制作方法可应用于KTV包厢中，当顾客在演唱MV歌曲时，将MV视频主角的人脸替换成捕捉到的观众人脸，将视频主角的动作替换成观众肢体动作，当服务器保存新视频后，再将录音器提供的音频与新视频合并成新的文件，以供顾客点播观看。
当顾客对由自身形象制作成的MV视频感兴趣时，可以向服务器发出购买请求，顾客可在支付后永久拥有量身定做的MV，从而提升了本发明方法的商业应用价值。
图3是本发明较佳实施例提供的基于人脸识别和行为识别的视频制作系统结构示意图。如图3所示，本发明较佳实施例提供的基于人脸识别和行为识别的视频制作系统包括摄像头1、识别器2、图像处理器3、服务器4及录音器5，摄像头1连接识别器2，识别器2连接图像处理器3，图像处理器3及录音器5分别连接服务器4。
本实施例中，所述摄像头、识别器、图像处理器及录音器内置在KTV唱歌系统中。
相应地，本发明提供的基于人脸识别和行为识别的视频制作系统还包括在线购买功能。当用户对服务器内保存的视频感兴趣时，可通过客户端向服务器发起购买请求，服务器将客户视频制作成光盘，从而使用户单独拥有个性化的MV。
综上所述，根据本发明较佳实施例提供的基于人脸识别和行为识别的视频制作方法及系统，当识别器识别出观众人脸，并判断连续识别到人脸的时间达到预设时间时，图像处理器根据识别器的通知开始进行观众行为识别，避免了捕捉人脸持续时间短对系统造成的资源浪费。同时，图像处理器将视频中的人脸替换为识别器提供的人脸图像，并将视频中人物行为替换为已识别的观众行为，由此，实现了观众人脸和肢体行为与视频中的角色互换，给观众带来了交互式的虚拟体验。
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
Claims (8)
1.一种基于人脸识别和行为识别的视频制作方法，其特征在于，包括以下步骤：
S1、摄像头拍摄观众画面并将画面传送给识别器，所述识别器识别出画面中的人脸，并判断连续识别到人脸的时间是否达到预设时间；
S2、若是，识别器通知图像处理器开始进行观众行为识别，同时识别器将识别到的人脸图像发送给所述图像处理器；
S3、图像处理器将视频中的人脸替换为已接收的人脸图像，并将视频中人物行为替换为已识别的观众行为，并将替换后的新视频发送至服务器保存。
2.根据权利要求1所述的方法，其特征在于，在步骤S1中，若识别器判断连续识别到人脸的时间没有达到预设时间，则识别器不向图像处理器发送通知，也不将自身识别到的人脸图像发送给所述图像处理器。
3.根据权利要求1所述的方法，其特征在于，在步骤S1中，识别器判断连续识别到人脸的时间是否达到预设时间，其中所述人脸为正脸。
4.根据权利要求1所述的方法，其特征在于，步骤S3还包括：服务器还接收录音器提供的音频，并将所述音频与新视频合并保存。
5.根据权利要求1～4所述的方法，其特征在于，还包括步骤S4：观众通过客户端点播服务器合并保存的音频及新视频，服务器将所述合并保存的音频及新视频发送给客户端，由客户端播放。
6.一种基于人脸识别和行为识别的视频制作系统，其特征在于，包括摄像头、识别器、图像处理器及服务器，所述摄像头连接识别器，所述识别器连接图像处理器，所述图像处理器连接服务器。
7.根据权利要求6所述的系统，其特征在于，所述系统还包括录音器，所述录音器与服务器连接。
8.根据权利要求6或7所述的系统，其特征在于，所述摄像头、识别器、图像处理器及录音器内置在视频制作系统中。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310688598.3A CN103634503A (zh) | 2013-12-16 | 2013-12-16 | 一种基于人脸识别和行为识别的视频制作方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310688598.3A CN103634503A (zh) | 2013-12-16 | 2013-12-16 | 一种基于人脸识别和行为识别的视频制作方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN103634503A true CN103634503A (zh) | 2014-03-12 |
Family
ID=50215102
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310688598.3A Pending CN103634503A (zh) | 2013-12-16 | 2013-12-16 | 一种基于人脸识别和行为识别的视频制作方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103634503A (zh) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376589A (zh) * | 2014-12-04 | 2015-02-25 | 青岛华通国有资本运营（集团）有限责任公司 | 一种替换影视剧人物的方法 |
| CN104883603A (zh) * | 2015-04-29 | 2015-09-02 | 小米科技有限责任公司 | 播放控制方法、系统及终端设备 |
| CN105163188A (zh) * | 2015-08-31 | 2015-12-16 | 小米科技有限责任公司 | 视频内容处理方法、装置及设备 |
| CN106454479A (zh) * | 2016-09-12 | 2017-02-22 | 深圳市九洲电器有限公司 | 一种电视节目观看方法及系统 |
| CN107463608A (zh) * | 2017-06-20 | 2017-12-12 | 上海汇尔通信息技术有限公司 | 一种基于人脸识别的信息推送方法及系统 |
| CN108200334A (zh) * | 2017-12-28 | 2018-06-22 | 广东欧珀移动通信有限公司 | 图像拍摄方法、装置、存储介质及电子设备 |
| CN108650555A (zh) * | 2018-05-15 | 2018-10-12 | 优酷网络技术（北京）有限公司 | 视频界面的展示、交互信息的生成方法、播放器及服务器 |
| CN109658570A (zh) * | 2018-12-19 | 2019-04-19 | 中新智擎科技有限公司 | 一种服务器、客户端、移动机器人、门禁控制系统及方法 |
| CN111047930A (zh) * | 2019-11-29 | 2020-04-21 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
| CN111083352A (zh) * | 2019-11-25 | 2020-04-28 | 广州富港万嘉智能科技有限公司 | 带隐私保护的摄像头工作控制方法、计算机可读存储介质及摄像终端 |
| CN111128355A (zh) * | 2019-12-20 | 2020-05-08 | 创业慧康科技股份有限公司 | 一种目标事件评估方法及装置 |
| CN112102157A (zh) * | 2020-09-09 | 2020-12-18 | 咪咕文化科技有限公司 | 视频换脸方法、电子设备和计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070237421A1 (en) * | 2006-03-29 | 2007-10-11 | Eastman Kodak Company | Recomposing photographs from multiple frames |
| CN101807393A (zh) * | 2010-03-12 | 2010-08-18 | 青岛海信电器股份有限公司 | Ktv系统及其实现方法、电视机 |
| CN102196245A (zh) * | 2011-04-07 | 2011-09-21 | 北京中星微电子有限公司 | 一种角色互动的视频播放方法和视频播放装置 |
| CN102609695A (zh) * | 2012-02-14 | 2012-07-25 | 上海博物馆 | 一种多角度人脸识别方法及系统 |
-
2013
- 2013-12-16 CN CN201310688598.3A patent/CN103634503A/zh active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070237421A1 (en) * | 2006-03-29 | 2007-10-11 | Eastman Kodak Company | Recomposing photographs from multiple frames |
| CN101807393A (zh) * | 2010-03-12 | 2010-08-18 | 青岛海信电器股份有限公司 | Ktv系统及其实现方法、电视机 |
| CN102196245A (zh) * | 2011-04-07 | 2011-09-21 | 北京中星微电子有限公司 | 一种角色互动的视频播放方法和视频播放装置 |
| CN102609695A (zh) * | 2012-02-14 | 2012-07-25 | 上海博物馆 | 一种多角度人脸识别方法及系统 |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104376589A (zh) * | 2014-12-04 | 2015-02-25 | 青岛华通国有资本运营（集团）有限责任公司 | 一种替换影视剧人物的方法 |
| CN104883603A (zh) * | 2015-04-29 | 2015-09-02 | 小米科技有限责任公司 | 播放控制方法、系统及终端设备 |
| CN104883603B (zh) * | 2015-04-29 | 2018-04-27 | 小米科技有限责任公司 | 播放控制方法、系统及终端设备 |
| CN105163188A (zh) * | 2015-08-31 | 2015-12-16 | 小米科技有限责任公司 | 视频内容处理方法、装置及设备 |
| CN106454479A (zh) * | 2016-09-12 | 2017-02-22 | 深圳市九洲电器有限公司 | 一种电视节目观看方法及系统 |
| WO2018045818A1 (zh) * | 2016-09-12 | 2018-03-15 | 深圳市九洲电器有限公司 | 一种电视节目观看方法及系统 |
| CN107463608A (zh) * | 2017-06-20 | 2017-12-12 | 上海汇尔通信息技术有限公司 | 一种基于人脸识别的信息推送方法及系统 |
| CN108200334A (zh) * | 2017-12-28 | 2018-06-22 | 广东欧珀移动通信有限公司 | 图像拍摄方法、装置、存储介质及电子设备 |
| CN108650555A (zh) * | 2018-05-15 | 2018-10-12 | 优酷网络技术（北京）有限公司 | 视频界面的展示、交互信息的生成方法、播放器及服务器 |
| CN108650555B (zh) * | 2018-05-15 | 2022-11-22 | 北京优酷科技有限公司 | 视频界面的展示、交互信息的生成方法、播放器及服务器 |
| CN109658570A (zh) * | 2018-12-19 | 2019-04-19 | 中新智擎科技有限公司 | 一种服务器、客户端、移动机器人、门禁控制系统及方法 |
| CN111083352A (zh) * | 2019-11-25 | 2020-04-28 | 广州富港万嘉智能科技有限公司 | 带隐私保护的摄像头工作控制方法、计算机可读存储介质及摄像终端 |
| CN111047930A (zh) * | 2019-11-29 | 2020-04-21 | 联想(北京)有限公司 | 一种处理方法、装置及电子设备 |
| CN111128355A (zh) * | 2019-12-20 | 2020-05-08 | 创业慧康科技股份有限公司 | 一种目标事件评估方法及装置 |
| CN111128355B (zh) * | 2019-12-20 | 2024-04-26 | 创业慧康科技股份有限公司 | 一种目标事件评估方法及装置 |
| CN112102157A (zh) * | 2020-09-09 | 2020-12-18 | 咪咕文化科技有限公司 | 视频换脸方法、电子设备和计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103634503A (zh) | 一种基于人脸识别和行为识别的视频制作方法及系统 | |
| US10987596B2 (en) | Spectator audio analysis in online gaming environments | |
| Chen et al. | What comprises a good talking-head video generation?: A survey and benchmark | |
| US11200028B2 (en) | Apparatus, systems and methods for presenting content reviews in a virtual world | |
| JP7231327B2 (ja) | ゲームシステムと観戦システムとの統合 | |
| KR101197978B1 (ko) | 웃음 탐지기 및 미디어 프리젠테이션에 대한 감정 반응을 추적하기 위한 시스템 및 방법 | |
| CN110505491B (zh) | 一种直播的处理方法、装置、电子设备及存储介质 | |
| US20210249012A1 (en) | Systems and methods for operating an output device | |
| JP6369462B2 (ja) | クライアント装置、制御方法、システム、およびプログラム | |
| US10293260B1 (en) | Player audio analysis in online gaming environments | |
| WO2022184117A1 (zh) | 基于深度学习的视频剪辑方法、相关设备及存储介质 | |
| CN102196245A (zh) | 一种角色互动的视频播放方法和视频播放装置 | |
| CN108922450B (zh) | 在房屋虚拟三维空间中讲房内容自动播放控制方法及装置 | |
| CN115039141A (zh) | 场景感知视频对话 | |
| US10864447B1 (en) | Highlight presentation interface in a game spectating system | |
| US10363488B1 (en) | Determining highlights in a game spectating system | |
| JP2006012171A (ja) | 生体認識を用いたレビュー管理システム及び管理方法 | |
| CN112437338B (zh) | 虚拟资源转移方法、装置、电子设备以及存储介质 | |
| CN110769279B (zh) | 视频处理方法和装置 | |
| CN112287848A (zh) | 基于直播的图像处理方法、装置、电子设备和存储介质 | |
| Liu et al. | Identifying turning points in animated cartoons | |
| WO2020215776A1 (zh) | 多媒体数据的处理方法以及装置 | |
| CN110225365A (zh) | 一种蒙版弹幕交互的方法、服务器及客户端 | |
| CN112423093A (zh) | 游戏视频生成方法、装置、服务器和存储介质 | |
| CN106113057A (zh) | 基于机器人的音视频宣传方法和系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20140312 |