CN114339398A - 一种在大型视频直播中实时特效处理的方法 - Google Patents
一种在大型视频直播中实时特效处理的方法 Download PDFInfo
- Publication number
- CN114339398A CN114339398A CN202111600706.8A CN202111600706A CN114339398A CN 114339398 A CN114339398 A CN 114339398A CN 202111600706 A CN202111600706 A CN 202111600706A CN 114339398 A CN114339398 A CN 114339398A
- Authority
- CN
- China
- Prior art keywords
- face
- video
- model
- real
- special effect
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000000694 effects Effects 0.000 title claims abstract description 30
- 238000000034 method Methods 0.000 title claims abstract description 26
- 238000012545 processing Methods 0.000 title claims abstract description 18
- 238000001914 filtration Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 4
- 238000012549 training Methods 0.000 claims description 4
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000010367 cloning Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 238000012795 verification Methods 0.000 claims description 3
- 230000000717 retained effect Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 5
- 230000002457 bidirectional effect Effects 0.000 abstract description 2
- 230000010354 integration Effects 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种在大型视频直播中实时特效处理的方法，视频流接入，先送入深度卷积网络对人脸进行识别，获得脸部缩略图；检测出人脸采用了卡尔曼滤波，在视频中同时检测和跟踪人脸并输出坐标；使用可调节效果的模糊模型对跟踪人脸根据坐标处理脸部缩略图；通过已训练模型获得特征标签，使用标签提取ip数据库中的最大匹配项，调用faceswap模块进行人脸替换覆盖，最终产生新的视频流。在大型多人出镜类直播视频中实现人脸检测、人脸追踪、人脸马赛克，替换流畅、用时短，在GPU配置下可以实现几乎实时的效果；结合现有ip资源，按照原始人脸数据的特征自动替换成热门ip的脸部特效，更有吸引力，实现双向引流、资源整合。
Description
技术领域
本发明涉及一种视频直播技术，特别涉及一种在大型视频直播中实时特效处理的方法。
背景技术
现在，视频直播业务正处在急剧扩张的过程中，在直播过程中许多普通人在视频直播中被曝光，导致个人隐私泄露，个人隐私保护也逐渐得到大众的关注。视频直播受到欢迎，是场面更贴近生活和大众，如何兼顾个人隐身和视频效果是需要解决的问题。
现有技术人脸处理耗时长，有些初始需要手动调节再进行跟踪马赛克处理，一些添加滤镜的聊天app等由于屏幕中人脸有限，可以达到实时效果，而在大型直播中，经常出现人群聚集，现有技术没有覆盖这一领域。
发明内容
针对视频直播个人隐私保护问题，提出了一种在大型视频直播中实时特效处理的方法，在维持直播质量不变的前提条件下，尽可能的保护直播中个人隐私、提升可观看性。
本发明的技术方案为：一种在大型视频直播中实时特效处理的方法，视频流接入，先送入深度卷积网络对人脸进行识别，获得脸部缩略图；检测出人脸送卷积网络模型，并采用了卡尔曼滤波，在视频中同时检测和跟踪人脸并输出坐标；使用可调节效果的模糊模型对跟踪人脸根据坐标处理脸部缩略图；通过已训练模型获得特征标签，使用标签提取ip数据库中的最大匹配项，调用faceswap模块进行人脸替换覆盖，最终产生新的视频流。
进一步，所述深度卷积网络选用dlib模型进行目标识别。
进一步，所述已训练模型获得特征标签具体方法：通过建立一个三层卷积、池化，二层卷积的神经网络，其中：一层使用7*7滤波器，步长4，输出96个滤波器；通过学习已标记人种、年龄、性别特征的数据库，对模型进行训练，验证集准确率超过90％为合格训练模型。
进一步，所述已训练模型所用数据还包括在不同光照、不同场景的数据。
进一步，所述在人脸替换时使用Delaunay三件剖分面部时，仅提取保留轮廓数据。
进一步，所述人脸替换提取眼鼻口特征点，将脸部微分至极小三角形，再使用Seamless Cloning函数仿射到需要处理的面部。
本发明的有益效果在于：本发明在大型视频直播中实时特效处理的方法，在大型多人出镜类直播视频中实现人脸检测、人脸追踪、人脸马赛克，替换流畅、用时短，在GPU配置下可以实现几乎实时的效果；结合现有ip资源，按照原始人脸数据的特征(年龄，性别等)自动替换成热门ip的脸部特效，更有吸引力，实现双向引流、资源整合。适用场景多，可移植性强，观看效果佳，用户体验好。
附图说明
图1为本发明在大型视频直播中实时特效处理的方法示意图；
图2为本发明人脸识别脸部缩略产生示意图；
图3为本发明方法在视频直播中产生的效果图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
视频流接入后，先使用深度卷积网络来获得脸部缩略图，区别与市面上多用的opencv等模型，使用更轻量更快的dlib模型进行目标识别；一旦检测出人脸，使用卡曼滤波追踪并输出坐标；使用可调节效果的模糊模型根据坐标处理脸部缩略图；通过建立一个三层卷积、池化，二层卷积的神经网络，其中：一层使用(7*7)滤波器，步长4，输出96个滤波器；通过学习已标记人种、年龄、性别等特征的数据库，达到验证集准确率超过90％；使用已训练模型获得特征标签，使用标签提取ip数据库中的最大匹配项，调用faceswap模块进行人脸替换覆盖，最终产生新的视频流。如图1所示在大型视频直播中实时特效处理的方法示意图。
如图2所示人脸识别脸部缩略产生示意图，使用深度卷积网络中机器学习方法找出脸部眼部坐标，模型筛选标准为高速，低配置，高检测率(在人工标记的试验视频中达到超过百分之九十实际检测率)。
在已有ip中选取热门人物的面部特征，不止记录例如：眼鼻口等特征点，将脸部微分至极小三角形，再使用Seamless Cloning函数仿射到需要处理的面部(直播中的人脸)。既保护了个人隐私，也给观众带来更有趣味的观看体验。
模糊技术是一项成熟的技术，在方法中可直接调用，但是在实际运用中比特效面更耗时，计算量更大。本发明方法采用经典的高斯模糊法，考虑到计算量大带来的延迟，会适当提示观众特效效果更优。
特效面具效果改进了，常见人脸替换(face swap)技术，区别于这个已经成熟的技术需要提取几十个人脸特征点，本发明方法在使用Delaunay三件剖分面部时，仅提取保留轮廓数据。大幅提升了速度。在训练模型时，考虑到平时的运用场景，主要准备了在不同光照，不同场景的数据。尽可能减少了因为颜色差别、灯光等问题造成轮廓提取失败或者不准确的问题。图3为本发明方法在视频直播中产生的效果图。
人脸追踪技术采用了卷积网络模型，采用了卡尔曼滤波，构建了一个损失函数，在试验视频中同时检测和跟踪，相互验证，再通过反复测算预测值和误差，调整参数以减小噪声。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
Claims (6)
1.一种在大型视频直播中实时特效处理的方法，其特征在于，视频流接入，先送入深度卷积网络对人脸进行识别，获得脸部缩略图；检测出人脸送卷积网络模型，并采用了卡尔曼滤波，在视频中同时检测和跟踪人脸并输出坐标；使用可调节效果的模糊模型对跟踪人脸根据坐标处理脸部缩略图；通过已训练模型获得特征标签，使用标签提取ip数据库中的最大匹配项，调用faceswap模块进行人脸替换覆盖，最终产生新的视频流。
2.根据权利要求1所述在大型视频直播中实时特效处理的方法，其特征在于，所述深度卷积网络选用dlib模型进行目标识别。
3.根据权利要求1所述在大型视频直播中实时特效处理的方法，其特征在于，所述已训练模型获得特征标签具体方法：通过建立一个三层卷积、池化，二层卷积的神经网络，其中：一层使用7*7滤波器，步长4，输出96个滤波器；通过学习已标记人种、年龄、性别特征的数据库，对模型进行训练，验证集准确率超过90％为合格训练模型。
4.根据权利要求3所述在大型视频直播中实时特效处理的方法，其特征在于，所述已训练模型所用数据还包括在不同光照、不同场景的数据。
5.根据权利要求4所述在大型视频直播中实时特效处理的方法，其特征在于，所述在人脸替换时使用Delaunay三件剖分面部时，仅提取保留轮廓数据。
6.根据权利要求1所述在大型视频直播中实时特效处理的方法，其特征在于，所述人脸替换提取眼鼻口特征点，将脸部微分至极小三角形，再使用Seamless Cloning函数仿射到需要处理的面部。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111600706.8A CN114339398A (zh) | 2021-12-24 | 2021-12-24 | 一种在大型视频直播中实时特效处理的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111600706.8A CN114339398A (zh) | 2021-12-24 | 2021-12-24 | 一种在大型视频直播中实时特效处理的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114339398A true CN114339398A (zh) | 2022-04-12 |
Family
ID=81012218
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111600706.8A Pending CN114339398A (zh) | 2021-12-24 | 2021-12-24 | 一种在大型视频直播中实时特效处理的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114339398A (zh) |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106231415A (zh) * | 2016-08-18 | 2016-12-14 | 北京奇虎科技有限公司 | 一种在视频直播中互动添加脸部特效的方法及装置 |
| CN108235054A (zh) * | 2017-12-15 | 2018-06-29 | 北京奇虎科技有限公司 | 一种直播视频数据的处理方法和装置 |
| CN108304800A (zh) * | 2018-01-30 | 2018-07-20 | 厦门启尚科技有限公司 | 一种人脸检测和人脸比对的方法 |
| CN108886607A (zh) * | 2016-03-29 | 2018-11-23 | 国际商业机器公司 | 视频流增强 |
| CN109284729A (zh) * | 2018-10-08 | 2019-01-29 | 北京影谱科技股份有限公司 | 基于视频获取人脸识别模型训练数据的方法、装置和介质 |
| CN110136229A (zh) * | 2019-05-27 | 2019-08-16 | 广州亮风台信息科技有限公司 | 一种用于实时虚拟换脸的方法与设备 |
| CN111241958A (zh) * | 2020-01-06 | 2020-06-05 | 电子科技大学 | 一种基于残差-胶囊网络的视频图像鉴别方法 |
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN112150352A (zh) * | 2020-09-29 | 2020-12-29 | 广州虎牙科技有限公司 | 图像处理方法、装置及电子设备 |
| CN112818390A (zh) * | 2021-01-26 | 2021-05-18 | 支付宝(杭州)信息技术有限公司 | 一种基于隐私保护的数据信息发布方法、装置及设备 |
| CN113361395A (zh) * | 2021-06-04 | 2021-09-07 | 中山大学 | 一种基于多任务学习模型的ai换脸视频检测方法 |
-
2021
- 2021-12-24 CN CN202111600706.8A patent/CN114339398A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108886607A (zh) * | 2016-03-29 | 2018-11-23 | 国际商业机器公司 | 视频流增强 |
| CN106231415A (zh) * | 2016-08-18 | 2016-12-14 | 北京奇虎科技有限公司 | 一种在视频直播中互动添加脸部特效的方法及装置 |
| CN108235054A (zh) * | 2017-12-15 | 2018-06-29 | 北京奇虎科技有限公司 | 一种直播视频数据的处理方法和装置 |
| CN108304800A (zh) * | 2018-01-30 | 2018-07-20 | 厦门启尚科技有限公司 | 一种人脸检测和人脸比对的方法 |
| CN109284729A (zh) * | 2018-10-08 | 2019-01-29 | 北京影谱科技股份有限公司 | 基于视频获取人脸识别模型训练数据的方法、装置和介质 |
| WO2020155873A1 (zh) * | 2019-02-02 | 2020-08-06 | 福州大学 | 一种基于深度表观特征和自适应聚合网络的多人脸跟踪方法 |
| CN110136229A (zh) * | 2019-05-27 | 2019-08-16 | 广州亮风台信息科技有限公司 | 一种用于实时虚拟换脸的方法与设备 |
| CN111241958A (zh) * | 2020-01-06 | 2020-06-05 | 电子科技大学 | 一种基于残差-胶囊网络的视频图像鉴别方法 |
| CN112150352A (zh) * | 2020-09-29 | 2020-12-29 | 广州虎牙科技有限公司 | 图像处理方法、装置及电子设备 |
| CN112818390A (zh) * | 2021-01-26 | 2021-05-18 | 支付宝(杭州)信息技术有限公司 | 一种基于隐私保护的数据信息发布方法、装置及设备 |
| CN113361395A (zh) * | 2021-06-04 | 2021-09-07 | 中山大学 | 一种基于多任务学习模型的ai换脸视频检测方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11321385B2 (en) | Visualization of image themes based on image content | |
| US20220067946A1 (en) | Video background subtraction using depth | |
| CN108520219B (zh) | 一种卷积神经网络特征融合的多尺度快速人脸检测方法 | |
| US8983152B2 (en) | Image masks for face-related selection and processing in images | |
| US20210158008A1 (en) | UAV Video Aesthetic Quality Evaluation Method Based On Multi-Modal Deep Learning | |
| CN108198130B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| CN103079034A (zh) | 一种感知拍摄方法及系统 | |
| CN104170374A (zh) | 在视频会议期间修改参与者的外观 | |
| CN112672090B (zh) | 一种云视频会议中优化音视频效果的方法 | |
| US11917158B2 (en) | Static video recognition | |
| CN110121103A (zh) | 视频自动剪辑合成的方法及装置 | |
| CN111476710A (zh) | 基于移动平台的视频换脸方法及系统 | |
| Gao et al. | Haze filtering with aerial perspective | |
| CN113657195A (zh) | 人脸图像识别方法、设备、电子装置和存储介质 | |
| CN112686965A (zh) | 一种肤色检测方法、装置、移动终端和存储介质 | |
| CN110266955A (zh) | 图像处理方法、装置、电子设备以及存储介质 | |
| CN112200008A (zh) | 一种社区监控场景下人脸属性识别方法 | |
| KR100439377B1 (ko) | 이동 통신 환경에서의 사람 영역 추출방법 | |
| CN115690280B (zh) | 一种三维形象发音口型模拟方法 | |
| CN114339398A (zh) | 一种在大型视频直播中实时特效处理的方法 | |
| CN113573044A (zh) | 视频数据处理方法、装置、计算机设备及可读存储介质 | |
| CN116229311B (zh) | 视频处理方法、装置及存储介质 | |
| KR100438303B1 (ko) | 객체 추출방법 | |
| US9959632B2 (en) | Object extraction from video images system and method | |
| CN116596752B (zh) | 脸部图像替换方法、装置、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |