CN103049755B - 一种实现动态视频马赛克的方法及装置 - Google Patents
一种实现动态视频马赛克的方法及装置 Download PDFInfo
- Publication number
- CN103049755B CN103049755B CN201210586717.XA CN201210586717A CN103049755B CN 103049755 B CN103049755 B CN 103049755B CN 201210586717 A CN201210586717 A CN 201210586717A CN 103049755 B CN103049755 B CN 103049755B
- Authority
- CN
- China
- Prior art keywords
- characteristic area
- image
- video
- training
- mosaic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种实现动态视频马赛克的方法及装置，主要包括以下步骤：S101：通过训练图集，创建特征训练数据库；S102：创建定时器，定时抓取视频图像帧数据；S103：对特征区域进行监测，并进行图像预处理；S104：将预处理的图像和所述训练数据库中的图像进行匹配，从而对特征区域进行识别；S105：将识别到的特征区域进行图像转换；S106：根据转换后的帧数据生成视频文件。采用本发明的技术方案，通过使用了GPU（图形处理器）来处理每帧视频图像，能够使得视频在加入马赛克后仍然流畅播放。
Description
技术领域
本发明涉及视频领域，尤其涉及视频动态马赛克处理领域。
背景技术
手机视频是通过手机上配置的摄像头进行拍摄而产生，由于手机的便携性，大大提高了用户使用的频度，所以有很大的市场空间。然而，拍摄后的视频往往都需要进一步的编辑、剪接或处理后方可进行合成回话。所以，用户对手机视频的再编辑有越来越多的要求。
目前存在一些视频中加入动态马赛克的技术，但大多针对计算机终端，在移动设置终端，尤其是手机终端还没有出现对视频动态马赛克处理技术，包括了：单点局部马赛克和多点局部马赛克处理技术以及整体马赛克处理技术。
发明内容
本发明是针对现有技术所存在的缺憾而提出的解决方案，能实现对视频画面任意特征点做马赛克效果。具有高效、智能、实时的特点。整个过程无需人为对视频进行二次干预。本发明基于人脸检测技术、GPU图像和视频处理技术实现。
具体而言，本发明提出了一种实现动态视频马赛克的方法，主要包括以下步骤：
S101、通过训练图集，创建特征训练数据库；
S102、创建定时器，定时抓取视频图像帧数据；
S103、对特征区域进行监测，并进行图像预处理；
S104、将预处理的图像和所述训练数据库中的图像进行匹配，从而对特征区域进行识别；
S105、将识别到的特征区域进行图像转换；
S106、根据转换后的帧数据生成视频文件。
根据本发明另一个方面，其中，在步骤S101中的所述创建特征训练数据库主要包括：先载入训练图片，并将训练图片转换为灰度图片，建立预定迭代标准，并进行PCA操作，并将操作后的训练图片都保存在向量组成的数组中，然后将每一个操作后的训练图片投影在PCA子空间上，并将结果保存在矩阵数组中，最后将训练结果保存在训练数据库中。
根据本发明另一个方面，其中，所述训练数据库为XML文件。
根据本发明另一个方面，其中，所述PCA操作进一步包括：将图像向量经过K-L变换后由高维向量转换为低维向量，并形成低维线性向量空间，然后将所述训练图片投影到该低维空间，用所得到的投影系数作为识别的特征向量。
根据本发明另一个方面，其中，步骤S103中所述图像预处理具体包括：先用边缘检测器对视频图像进行预处理，排除边缘很少或者很多的区域，因为这样的区域一般不含被检测目标。
根据本发明另一个方面，其中，步骤S104中其中将预处理的图像和训练数据库中的图像进行匹配进一步包括：在图像中移动搜索窗口，搜索窗口大小与训练图片尺寸相同，检测每一个位置来确定可能的目标；加载训练集结果XML文件，将视频图像映射至PCA子空间，利用最近距离匹配方法，来判断是否足够靠特征区域空间，从而确定是否找到所述特征区域，并得到特征区域的位置和尺寸大小。
根据本发明另一个方面，其中，步骤S105中识别到的特征区域进行图像转换进一步包括：识别到特征区域，获取特征区域的位置和尺寸，通过图形处理器渲染把所述特征区域的像素放大或者叠加一块大小相同的马赛克图层，从而实现了特征区域的马赛克效果。
此外，本发明还提出了一种实现动态视频马赛克的装置，主要包括：
视频捕获模块：用于获取视频信息；
音频捕获模块：用于获取音频信息；
数据显示模块：用于对手机终端的视频进行预览显示；
数据捕获处理模块：用于从所述视频捕获模块和音频捕获模块分别获取视频或音频信息，并对所述信息的特征区域进行识别，获取特征区域的位置和尺寸，通过图形处理器渲染，对特征区域进行马赛克处理；
视频输出模块：用于将数据捕获处理模块处理后的视频信息和音频捕获模块输出的音频信息进行合并并输出合并后的视频文件；
图像输出模块：用于输出数据捕获处理模块处理后的图片文件。
根据本发明另一个方面，其中对特征区域进行马赛克处理具体为通过图形处理器渲染把所述特征区域的像素放大或者叠加一块大小相同的马赛克图层，从而实现了特征区域的马赛克效果。
根据本发明另一个方面，其中对所述信息的特征区域进行识别具体为将预处理的图像和训练数据库中的图像进行匹配，从而对特征区域进行识别。
根据本发明另一个方面，其中将预处理的图像和训练数据库中的图像进行匹配具体为：在图像中移动搜索窗口，搜索窗口大小与训练图片尺寸相同，检测每一个位置来确定可能的目标；加载训练集结果XML文件，将视频图像映射至PCA子空间，利用最近距离匹配方法，来判断是否足够靠特征区域空间，从而确定是否找到所述特征区域，并得到特征区域的位置和尺寸大小。
本发明通过使用了GPU（图形处理器）来处理每帧视频图像，能够使得视频在加入马赛克后仍然流畅播放。有了本发明提出的技术方案，在处理视频动态多点特征马赛克的处理，并能保持流畅度，成为可能。
附图说明
下面结合附图及具体实施例对本发明再作进一步详细的说明：
附图1所示为本发明所提出的一种实现动态视频马赛克的方法流程图；
附图2所示为本发明所提出的一种实现动态视频马赛克的装置的方框图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
本发明通过构建特征数据（例如：人脸（正脸、侧脸），眼耳口鼻，上肢或者下肢等）识别系统，通过摄像头对视频数据进行采集，利用训练好的Haar分类器，对采集的视频图像进行匹配。通过GPU图像和视频处理技术，获取每帧视频图像，对匹配特征部分进行马赛克渲染处理，最终组合成完整流畅的特效视频。
参见图1，本发明的实现动态视频马赛克的方法主要包括以下步骤：
S101：通过训练图集，创建特征训练数据库；
S102：创建定时器，定时抓取视频图像帧数据；
S103：对特征区域进行监测，并进行图像预处理；
S104：将预处理的图像和训练数据库中的图像进行匹配，从而对特征区域识别；
S105：将识别到的特征区域进行图像转换。
S106：根据转换后的帧数据生成视频文件。
其中，在步骤S101中的所述创建特征训练数据库主要包括：先载入训练图片，并将训练图片转换为灰度图片，建立预定迭代标准，并进行PCA操作，并将操作后的训练图片都保存在向量组成的数组中，然后将每一个操作后的训练图片投影在PCA子空间上，并将结果保存在矩阵数组中，最后将训练结果保存在训练数据库中。
其中，PCA操作进一步包括：将图像向量经过K-L变换后由高维向量转换为低维向量，并形成低维线性向量空间，即特征子空间，然后将所述训练图片投影到该低维空间，用所得到的投影系数作为识别的特征向量。识别所述训练图片时，只需将待识别样本的投影系数与数据库中目标样本集的投影系数进行比对，以确定与哪一类最近似。
其中，S103中所述图像预处理具体包括：先用边缘检测器对视频图像进行预处理，排除边缘很少或者很多的区域，因为这样的区域一般不含被检测目标。
其中，步骤S104中其中将预处理的图像和训练数据库中的图像进行匹配进一步包括：为了检测视频图像的特征区域，可以在图像中移动搜索窗口，搜索窗口大小与训练图片尺寸相同，检测每一个位置来确定可能的目标。加载训练集结果XML文件，将视频图像映射至PCA子空间，利用最近距离匹配方法，来判断是否足够靠近人脸空间，从而确定是否找到人脸。得到特征区域的位置和尺寸大小。
其中，步骤S105中识别到的特征区域进行图像转换进一步包括：识别到特征区域（例如人脸），获取特征区域的位置和尺寸，通过GPU(图形处理器)渲染把所述特征区域的像素放大（或者叠加一块大小相同的马赛克图层），从而实现了特征区域的马赛克效果。
参加图2，本发明提出实现动态视频马赛克的装置20，主要包括：
视频捕获模块201：用于获取视频信息；
音频捕获模块202：用于获取音频信息；
数据显示模块203：用于对手机前端的视频进行预览显示；
数据捕获处理模块204：用于从所述视频捕获模块和音频捕获模块获取视频或音频信息，并对所述信息的对特征区域进行识别，获取特征区域的位置和尺寸，通过GPU渲染，对特征区域进行马赛克处理；
视频输出模块205：用于将数据捕获处理模块处理后的视频信息和音频捕获模块输出的音频信息进行合并并输出合并后的视频文件；
图像输出模块206：用于输出数据捕获处理模块处理后的图片文件。
采用本发明的技术方案，可以在爆料题材视频中，用手机拍摄一段爆料视频，可以保护爆料者的鲜明特征，比如脸、特殊的躯体特征等，实时对特征部位进行马赛克处理，可以把爆料视频在保护爆料者前提下发布出来。或者在搞笑视频中，用手机拍摄一段搞笑的视频，又不想暴露自己的容貌，可以将脸部打上马赛克。从而实现动态视频马赛克的方法。
在移动设备上，对于视频进行每帧图像马赛克处理，效率一直是个大问题。目前更多的应用是对单张图片进行局部特征检测，而对于视频的特征检测，需要非常高效的方法，因此我们使用了GPU（图形处理器）来处理每帧视频图像，能够使得视频在加入马赛克后仍然流畅播放。有了本发明提出的技术方案，在处理视频动态多点特征马赛克的处理，并能保持流畅度，才成为可能。
综上所述，虽然本发明已以优选实施例披露如上，然而其并非用以限定本发明。本发明所属技术领域的普通技术人员，在不脱离本发明的精神和范围内，可作各种变动与修饰。因此，本发明的保护范围当视所附的权利要求所界定的范围为准。
Claims (9)
1.一种实现动态视频马赛克的方法，主要包括以下步骤：
S101、通过训练图集，创建特征训练数据库；
S102、创建定时器，定时抓取视频图像帧数据；
S103、对特征区域进行监测，并进行图像预处理；
S104、将预处理的图像和所述训练数据库中的图像进行匹配，从而对特征区域进行识别；
S105、将识别到的特征区域进行图像转换；
S106、根据转换后的帧数据生成视频文件；
其中，在步骤S101中的所述创建特征训练数据库主要包括：载入训练图片，并将训练图片转换为灰度图片，建立预定迭代标准，并进行PCA操作，并将操作后的训练图片都保存在向量组成的数组中，然后将每个操作后训练图片投影在PCA子空间上，并将结果保存在矩阵数组中，最后将训练结果保存在训练数据库中。
2.如权利要求1所述的方法，其中，所述训练数据库为XML文件。
3.如权利要求1所述的方法，其中，所述PCA操作进一步包括：将图像向量经过K-L变换后由高维向量转换为低维向量，并形成低维线性向量空间，然后将所述训练图片投影到该低维线性向量空间，用所得到的投影系数作为识别的特征向量。
4.如权利要求1所述的方法，其中，步骤S103中所述图像预处理具体包括：先用边缘检测器对视频图像进行预处理，排除边缘很少或者很多的区域。
5.如权利要求1所述的方法，其中，步骤S104中其中将预处理的图像和训练数据库中的图像进行匹配进一步包括：在图像中移动搜索窗口，搜索窗口大小与训练图片尺寸相同，检测每一个位置来确定可能的目标；加载训练集结果XML文件，将视频图像映射至PCA子空间，利用最近距离匹配方法，来判断是否足够靠近特征区域空间，从而确定是否找到所述特征区域，并得到特征区域的位置和尺寸大小。
6.如权利要求1所述的方法，其中，步骤S105中识别到的特征区域进行图像转换进一步包括：识别到特征区域，获取特征区域的位置和尺寸，通过图形处理器渲染把所述特征区域的像素放大或者叠加一块大小相同的马赛克图层，从而实现了特征区域的马赛克效果。
7.一种实现动态视频马赛克的装置，主要包括：
视频捕获模块：用于获取视频信息；
音频捕获模块：用于获取音频信息；
数据显示模块：用于对手机终端的视频进行预览显示；
数据捕获处理模块：用于从所述视频捕获模块和音频捕获模块分别获取视频和音频信息，并对所述信息的特征区域进行识别，获取特征区域的位置和尺寸，通过图形处理器渲染，对特征区域进行马赛克处理；
视频输出模块：用于将数据捕获处理模块处理后的视频信息和音频捕获模块输出的音频信息进行合并并输出合并后的视频文件；
图像输出模块：用于输出数据捕获处理模块处理后的图片文件；
其中，将预处理的图像和训练数据库中的图像进行匹配具体为：在图像中移动搜索窗口，搜索窗口大小与训练图片尺寸相同，检测每一个位置来确定可能的目标，加载训练集结果XML文件，将视频图像映射至PCA子空间，利用最近距离匹配方法，来判断是否足够靠近特征区域空间，从而确定是否找到所述特征区域，并得到特征区域的位置和尺寸大小。
8.如权利要求7所述的装置，其中对特征区域进行马赛克处理具体为通过图形处理器渲染把所述特征区域的像素放大或者叠加一块大小相同的马赛克图层，从而实现了特征区域的马赛克效果。
9.如权利要求7所述的装置，其中对所述信息的特征区域进行识别具体为将预处理的图像和训练数据库中的图像进行匹配，从而对特征区域进行识别。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210586717.XA CN103049755B (zh) | 2012-12-28 | 2012-12-28 | 一种实现动态视频马赛克的方法及装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210586717.XA CN103049755B (zh) | 2012-12-28 | 2012-12-28 | 一种实现动态视频马赛克的方法及装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103049755A CN103049755A (zh) | 2013-04-17 |
| CN103049755B true CN103049755B (zh) | 2016-08-10 |
Family
ID=48062387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210586717.XA Active CN103049755B (zh) | 2012-12-28 | 2012-12-28 | 一种实现动态视频马赛克的方法及装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103049755B (zh) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104715449A (zh) * | 2015-03-31 | 2015-06-17 | 百度在线网络技术（北京）有限公司 | 生成马赛克图像的方法和装置 |
| CN105049911B (zh) * | 2015-07-10 | 2017-12-29 | 西安理工大学 | 一种基于人脸识别的视频特效处理方法 |
| KR102407133B1 (ko) * | 2015-08-21 | 2022-06-10 | 삼성전자주식회사 | 전자 장치 및 이의 콘텐트 변형 방법 |
| CN105120169B (zh) * | 2015-09-01 | 2019-10-29 | 联想(北京)有限公司 | 一种信息处理方法及电子设备 |
| CN105957001A (zh) * | 2016-04-18 | 2016-09-21 | 深圳感官密码科技有限公司 | 一种隐私保护方法及装置 |
| CN109427082A (zh) * | 2017-08-29 | 2019-03-05 | 杭州海康威视数字技术股份有限公司 | 一种图像遮蔽方法、装置、设备及系统 |
| WO2019175971A1 (ja) * | 2018-03-13 | 2019-09-19 | Ｎｅｃディスプレイソリューションズ株式会社 | 映像制御装置及び映像制御方法 |
| CN109493336B (zh) * | 2018-11-14 | 2022-03-04 | 上海艾策通讯科技股份有限公司 | 基于人工智能的视频马赛克识别自动学习的系统及方法 |
| CN109729286B (zh) * | 2019-01-28 | 2021-08-17 | 北京晶品特装科技股份有限公司 | 一种视频中叠加实现动态图形的方法 |
| CN111614973A (zh) * | 2019-02-26 | 2020-09-01 | 北京嘀嘀无限科技发展有限公司 | 视频打码方法、装置和电子设备 |
| CN110933049A (zh) * | 2019-11-16 | 2020-03-27 | 杭州安恒信息技术股份有限公司 | 一种基于视频捕获的网络非法信息监测方法及监测系统 |
| CN113905276B (zh) * | 2021-09-24 | 2023-11-14 | 威视芯半导体(杭州)有限公司 | 一种视频打码处理方法、系统、设备及存储介质 |
| CN115529460A (zh) * | 2021-10-29 | 2022-12-27 | 深圳小悠娱乐科技有限公司 | 一种基于内容编码的实现动态马赛克的方法 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1687957A (zh) * | 2005-06-02 | 2005-10-26 | 上海交通大学 | 结合局部搜索和活动外观模型的人脸特征点定位方法 |
| CN101742228A (zh) * | 2008-11-19 | 2010-06-16 | 新奥特硅谷视频技术有限责任公司 | 一种应用于数字法庭中的预处理方法和系统 |
| CN101739712A (zh) * | 2010-01-25 | 2010-06-16 | 四川大学 | 基于视频的3d人脸表情动画驱动方法 |
| CN102254151A (zh) * | 2011-06-16 | 2011-11-23 | 清华大学 | 一种基于面部视频分析的驾驶人疲劳检测方法 |
| CN102306290A (zh) * | 2011-10-14 | 2012-01-04 | 刘伟华 | 一种基于视频的人脸跟踪识别技术 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7835727B2 (en) * | 2007-01-22 | 2010-11-16 | Telefonaktiebolaget L M Ericsson (Publ) | Method and system for using user equipment to compose an ad-hoc mosaic |
-
2012
- 2012-12-28 CN CN201210586717.XA patent/CN103049755B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1687957A (zh) * | 2005-06-02 | 2005-10-26 | 上海交通大学 | 结合局部搜索和活动外观模型的人脸特征点定位方法 |
| CN101742228A (zh) * | 2008-11-19 | 2010-06-16 | 新奥特硅谷视频技术有限责任公司 | 一种应用于数字法庭中的预处理方法和系统 |
| CN101739712A (zh) * | 2010-01-25 | 2010-06-16 | 四川大学 | 基于视频的3d人脸表情动画驱动方法 |
| CN102254151A (zh) * | 2011-06-16 | 2011-11-23 | 清华大学 | 一种基于面部视频分析的驾驶人疲劳检测方法 |
| CN102306290A (zh) * | 2011-10-14 | 2012-01-04 | 刘伟华 | 一种基于视频的人脸跟踪识别技术 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103049755A (zh) | 2013-04-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103049755B (zh) | 一种实现动态视频马赛克的方法及装置 | |
| CN112165573B (zh) | 拍摄处理方法和装置、设备、存储介质 | |
| CN108470169A (zh) | 人脸识别系统及方法 | |
| US20090051787A1 (en) | Apparatus and method for photographing image using digital camera capable of providing preview images | |
| CN109344688A (zh) | 一种基于卷积神经网络的监控视频中人的自动识别方法 | |
| CN112347941B (zh) | 基于5g mec的运动视频集锦智能生成和分发方法 | |
| CN204483185U (zh) | 一种无线头盔面部表情捕捉装置 | |
| CN104881632A (zh) | 高光谱人脸识别方法 | |
| Tian et al. | Daxing smartphone identification dataset | |
| CN110569760B (zh) | 一种基于近红外和远程光电体积描记术的活体检测方法 | |
| CN105022999A (zh) | 一种人码伴随实时采集系统 | |
| CN107633232A (zh) | 一种基于深度学习的低维人脸模型训练方法 | |
| CN109977846B (zh) | 一种基于近红外单目摄像的活体检测方法及系统 | |
| CN208351494U (zh) | 人脸识别系统 | |
| CN108234879A (zh) | 一种获取滑动变焦视频的方法和装置 | |
| CN106407966B (zh) | 一种应用于考勤的人脸识别方法 | |
| WO2003030084A3 (en) | Face recognition from a temporal sequence of face images | |
| CN111710030A (zh) | 基于ai对抗深度伪造人像的系统及方法 | |
| CN110321782B (zh) | 一种检测人体特征信号的系统 | |
| CN104166840A (zh) | 一种基于视频会议系统的聚焦实现方法 | |
| CN204926129U (zh) | 指静脉识别装置 | |
| CN110366065A (zh) | 定向跟随人脸位置拾音的方法、装置、系统及存储介质 | |
| CN104063681B (zh) | 一种活动对象图像识别方法及装置 | |
| KR102012719B1 (ko) | 전방위 영상 기반 화상회의 발언자 인식 장치 및 방법 | |
| CN110737338A (zh) | 一种特效自动跟随角色的全息投影方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CP01 | Change in the name or title of a patent holder | ||
| CP01 | Change in the name or title of a patent holder |
Address after: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C Patentee after: Youku network technology (Beijing) Co.,Ltd. Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C Patentee before: 1VERGE INTERNET TECHNOLOGY (BEIJING) Co.,Ltd. |
|
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20200623 Address after: 310052 room 508, floor 5, building 4, No. 699, Wangshang Road, Changhe street, Binjiang District, Hangzhou City, Zhejiang Province Patentee after: Alibaba (China) Co.,Ltd. Address before: 100080 Beijing Haidian District city Haidian street A Sinosteel International Plaza No. 8 block 5 layer A, C Patentee before: Youku network technology (Beijing) Co.,Ltd. |