CN111368593A

CN111368593A - 一种马赛克处理方法、装置、电子设备及存储介质

Info

Publication number: CN111368593A
Application number: CN201811598519.9A
Authority: CN
Inventors: 邓学正; 侯明强
Original assignee: Beijing Youguan Network Technology Co ltd
Current assignee: Beijing Youguan Network Technology Co ltd
Priority date: 2018-12-25
Filing date: 2018-12-25
Publication date: 2020-07-03
Anticipated expiration: 2038-12-25
Also published as: CN111368593B

Abstract

本发明实施例公开了一种马赛克处理方法、装置、电子设备及存储介质；所述方法包括：获取待检测的视频图像帧序列；检测当前帧图像的运动向量，所述当前帧图像为所述图像帧序列中的任一帧图像；根据所述当前帧图像的运动向量和预存的前一帧图像人脸区域的位置坐标，预测出下一帧图像的人脸区域；在预测出的下一帧图像的人脸区域范围内检测人脸，并将检测到的人脸的位置坐标进行保存；在检测到的人脸的位置坐标区域进行马赛克处理。该方法能够在图像帧的预测人脸区域范围内检测人脸，从而减小人脸检测的搜索范围，大大减小计算量，提高视频的处理速度，实现视频的实时处理。

Description

一种马赛克处理方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理技术领域，尤其涉及一种马赛克处理方法、装置、电子设备及存储介质。

背景技术

随着移动互联网技术的发展，在不同地点/不同终端的用户进行视频采集、通信的需求越来越多。

目前在一些为了保护隐私的视频场景，在视频中往往将人脸打马赛克，而保留视频的其他信息。现有的马赛克处理方法，是基于深度学习算法，主要是通过人脸检测和人脸跟踪来实现视频人脸的识别，从而在识别出来的人脸区域加上预设的模糊图片，即打上马赛克。

在实现本发明的过程中，发明人发现现有技术中至少存在如下问题：

目前基于深度学习的人脸检测和人脸跟踪在实时检测视频中的人脸时，由于算法处理量大，速度慢，会造成视频中某些帧图像马赛克存在滞后的现象，因而马赛克的位置不准确，实时性较差。

发明内容

为解决上述技术问题，本发明实施例提供一种马赛克处理方法、装置、电子设备及存储介质，能够在图像帧的预测人脸区域范围内检测人脸，从而减小人脸检测的搜索范围，大大减小计算量，提高视频的处理速度，实现视频的实时处理。

为达到上述目的，本发明实施例的技术方案是这样实现的：

第一方面，本发明实施例提供了一种马赛克处理方法，所述方法包括：

获取待检测的视频图像帧序列；

检测当前帧图像的运动向量，所述当前帧图像为所述图像帧序列中的任一帧图像；

根据所述当前帧图像的运动向量和预存的前一帧图像人脸区域的位置坐标，预测出下一帧图像的人脸区域；

在预测出的下一帧图像的人脸区域范围内检测人脸，并将检测到的人脸的位置坐标进行保存；

在检测到的人脸的位置坐标区域进行马赛克处理。

在上述实施例中，所述检测当前帧图像的运动向量之前还包括：

检测第一帧图像的人脸位置坐标并保存，其中，所述第一帧图像包含人脸图像。

在上述实施例中，所述在预测出的下一帧图像的人脸区域范围内检测人脸包括：

对预测出的下一帧图像的人脸区域设置矩形检测区域，在所述矩形检测区域内检测人脸。

在上述实施例中，所述在检测到的人脸的位置坐标区域进行马赛克处理之后还包括：

对经过马赛克处理后的视频图像进行编码并保存。

在上述实施例中，所述获取待检测的视频图像帧序列包括：

获取待检测的视频图像帧序列；

对所述视频图像帧序列进行解码；

将解码后的图像帧序列转化为RGB图像。

第二方面，本发明实施例还提供一种马赛克处理装置，所述装置包括：

获取模块，用于获取待检测的视频图像帧序列；

第一检测模块，用于检测当前帧图像的运动向量，所述当前帧图像为所述图像帧序列中的任一帧图像；

预测模块，用于根据所述第一检测模块检测的所述当前帧图像的运动向量和预存的前一帧图像人脸区域的位置坐标，预测出下一帧图像的人脸区域；

第二检测模块，用于在所述预测模块预测出的下一帧图像的人脸区域范围内检测人脸；

保存模块，用于将所述第二检测模块检测到的人脸的位置坐标进行保存；

处理模块，用于在所述第二检测模块检测到的人脸的位置坐标区域进行马赛克处理。

在上述实施例中，所述第二检测模块还用于：

检测第一帧图像的人脸位置坐标；所述保存模块还用于保存所述第一帧图像的人脸位置坐标，其中，所述第一帧图像包含人脸图像。

在上述实施例中，所述第二检测模块具体用于：

在上述实施例中，所述装置还包括：

编码处理模块，用于对经过马赛克处理后的视频图像进行编码并保存。

在上述实施例中，所述获取模块具体包括：

获取单元，用于获取待检测的视频图像帧序列；

解码单元，用于对所述视频图像帧序列进行解码；

转化单元，用于将解码后的图像帧序列转化为RGB图像。

第三方面，本发明实施例提供了一种电子设备，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任意实施例所述的马赛克处理方法。

第四方面，本发明实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任意实施例所述的马赛克处理方法。

本发明实施例提出了一种马赛克处理方法、装置、电子设备及存储介质，通过获取视频图像帧序列中当前帧的运动向量以及前一帧的人脸位置坐标来估计下一帧图像的人脸位置坐标，依次类推，从而预测各个图像帧的人脸位置坐标，使得在对视频人脸进行马赛克处理时，能够在预测的图像帧的人脸区域范围内检测人脸，从而减小人脸检测的搜索范围，大大减小计算量，提高视频的处理速度，实现视频的实时处理。

附图说明

图1为本发明实施例一提供的马赛克处理方法的流程示意图；

图2为本发明实施例二提供的马赛克处理方法的流程示意图；

图3为本发明实施例三提供的马赛克处理装置的第一结构示意图；

图4为本发明实施例四提供的马赛克处理装置的第二结构示意图；

图5为本发明实施例五提供的马赛克处理装置的第三结构示意图；

图6为本发明实施例六提供的电子设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。

实施例一

图1为本发明实施例一提供的马赛克处理方法的流程示意图。如图1所示，马赛克处理方法可以包括以下步骤：

步骤101、获取待检测的视频图像帧序列。

在本步骤中，在待检测的视频中获取图像帧序列，该图像帧序列为按顺序保存的该视频拆分后的一帧帧的图像，其中，可以在预存的一段视频中获取，也可以在实时获取的视频中获取；具体获取方法可以利用现有的视频拆分算法来获取，也可以用现有的视频处理工具来获取。

需要注意的是，该视频中可能在某些帧中没有人脸图像，例如在前10帧没有人脸图像，或者在视频的中间某几帧中没有人脸图像，但在处理过程中，为了保证对人脸图像进行马赛克处理的完整性和连续性，在本步骤中获取的是所有帧图像。

步骤102、检测当前帧图像的运动向量，当前帧图像为图像帧序列中的任一帧图像。

检测当前处理的图像帧的运动向量，该图像帧为步骤101获取到的图像帧序列中的任一帧图像，具体是在解码视频图像帧序列过程中对视频帧进行运动向量提取处理，获得当前帧图像的运动向量，用于预测下一帧图像的人脸区域。

步骤103、根据当前帧图像的运动向量和预存的前一帧图像人脸区域的位置坐标，预测出下一帧图像的人脸区域。

在本步骤中，根据上一步骤102获的当前帧图像的运动向量和预先存储的前一帧图像的人脸区域的位置坐标，预测下一帧图像的人脸位置，该位置为预测的位置坐标，在实际处理过程中，会转化为一个人脸区域范围。预测算法为常规的迭代算法，且在本步骤中，需要获取到预先存储的前一帧图像的人脸区域。

步骤104、在预测出的下一帧图像的人脸区域范围内检测人脸，并将检测到的人脸的位置坐标进行保存。

在本步骤中，通过步骤103的计算和预测，会得到一个预测的人脸区域，在该区域内搜索人脸，会大大减小搜索的范围，从而减少运算量，提高处理速度，实现视频的实时处理。

可选的，该区域可以处理为一个矩形框区域，大于等于人脸的预测区域，然后在下一帧人脸位置检测的时候，可以在该矩形框区域中进行检测。或者该区域可以处理为其他形状的区域，以便在该区域中进行检测。

步骤105、在检测到的人脸的位置坐标区域进行马赛克处理。

在本步骤中，将检测到的人脸位置坐标区域进行马赛克处理，可以使用OpenGL算法对上述人脸位置区域进行马赛克处理。

本实施例中，通过获取视频图像帧序列中当前帧的运动向量以及前一帧的人脸位置坐标来估计下一帧图像的人脸位置坐标，依次类推，从而预测各个图像帧的人脸位置坐标，使得在对视频人脸进行马赛克处理时，能够在图像帧的预测人脸区域范围内检测人脸，从而减小人脸检测的搜索范围，大大减小计算量，提高视频的处理速度，实现视频的实时处理。

进一步的，该方法在检测当前帧图像的运动向量矩阵之前还包括以下步骤：

步骤1021、检测第一帧图像的人脸位置坐标并保存，其中，所述第一帧图像包含人脸图像。

在预测人脸位置之前，需要对视频图像帧序列进行初始化，获取包含人脸图像的第一帧图像帧，并检测出人脸位置坐标进行保存，从而在预测第三帧图像的人脸位置坐标时，根据第一帧图像的人脸位置坐标以及第二帧图像的运动向量，估计第三帧图像的人脸位置坐标，依次类推，来预测各个图像帧的人脸位置坐标。本步骤中检测人脸的算法可以为现有的人脸检测算法，例如基于LBP人脸检测识别算法，基于SVD的人脸检测识别算法等，基于DWT算法进行人脸检测与特征定位等，在检测出人脸图像的位置坐标后，将该人脸位置坐标进行保存，以便在计算后续帧人脸图像的位置坐标时使用。

本实施例中，首先对视频图像帧序列进行初始化，获取包含人脸图像的第一帧图像帧，并检测出人脸位置坐标进行保存，从而为后续人脸位置坐标的预测做准备。

可选的，所述在预测出的下一帧图像的人脸区域范围内检测人脸包括：

对预测出的下一帧图像的人脸区域设置矩形检测范围，在所述矩形检测范围内检测人脸。

设置矩形检测区域，能够便于进行坐标的遍历，从而减少人脸检测的算法复杂度，加快人脸检测的处理速度。

实施例二

图2为本发明实施例二提供的马赛克处理方法的流程示意图。如图2所示，步骤105在检测到的人脸的位置坐标区域进行马赛克处理之后还包括：

步骤106、对经过马赛克处理后的视频图像进行编码并保存。

在本发明的具体实施例中，对打了马赛克的视频进行编码，并保存为MP4文件，或其他格式的视频文件，以便进行视频播放。

本实施例中，上述处理后的视频图像，由于大大减少了人脸检测的搜索范围，减少算法运算量，提高视频的处理速度，因而可以在移动终端上进行播放，实时人脸检测，实现视频实时播放过程中对人脸打马赛克，保护隐私。

实施例三

图3为本发明实施例三提供的马赛克处理装置的第一结构示意图。如图3所示，本发明实施例所述的马赛克处理装置可以包括：获取模块301、第一检测模块302、预测模块303、第二检测模块304、保存模块305和处理模块306；其中，

获取模块301，用于获取待检测的视频图像帧序列；

第一检测模块302，用于检测当前帧图像的运动向量，所述当前帧图像为所述图像帧序列中的任一帧图像；

预测模块303，用于根据所述第一检测模块检测的所述当前帧图像的运动向量和预存的前一帧图像人脸区域的位置坐标，预测出下一帧图像的人脸区域；

第二检测模块304，用于在所述预测模块预测出的下一帧图像的人脸区域范围内检测人脸；

保存模块305，用于将所述第二检测模块检测到的人脸的位置坐标进行保存；

处理模块306，用于在所述第二检测模块检测到的人脸的位置坐标区域进行马赛克处理。

本实施例中，该马赛克处理装置通过获取视频图像帧序列中当前帧的运动向量以及前一帧的人脸位置坐标来估计下一帧图像的人脸位置坐标，依次类推，从而预测各个图像帧的人脸位置坐标，使得在对视频人脸进行马赛克处理时，能够在图像帧的预测人脸区域范围内检测人脸，从而减小人脸区域检测的图像范围，大大减小计算量，提高视频的处理速度，实现视频的实时处理。

进一步的，所述第二检测模块304还用于：

检测第一帧图像的人脸位置坐标；

所述保存模块305还用于保存所述第一帧图像的人脸位置坐标，其中，所述第一帧图像包含人脸图像。

进一步的，所述第二检测模块304具体用于：

实施例四

图4为本发明实施例四提供的马赛克处理装置的第二结构示意图。如图4所示，所述装置还包括：

编码处理模块307，用于对经过马赛克处理后的视频图像进行编码并保存。

实施例五

图5为本发明实施例五提供的马赛克处理装置的第三结构示意图。如图5所示，所述获取模块301具体包括：

获取单元3011，用于获取待检测的视频图像帧序列；

解码单元3012，用于对所述视频图像帧序列进行解码；

转化单元3013，用于将解码后的图像帧序列转化为RGB图像。

实施例六

图6为本发明实施例六提供的电子设备的结构示意图。图6示出了适于用来实现本发明实施方式的示例性电子设备的框图。图6显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图6所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。

电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM，DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。

电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该电子设备12交互的设备通信，和/或与使得该电子设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的马赛克处理方法。

实施例七

本发明实施例七提了一种计算机存储介质。

本发明实施例的计算机可读存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言-诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言-诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)-连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。

Claims

1.一种马赛克处理方法，其特征在于，所述方法包括：

获取待检测的视频图像帧序列；

在检测到的人脸的位置坐标区域进行马赛克处理。

2.根据权利要求1所述的方法，其特征在于，所述检测当前帧图像的运动向量之前还包括：

3.根据权利要求1所述的方法，其特征在于，所述在预测出的下一帧图像的人脸区域范围内检测人脸包括：

4.根据权利要求1所述的方法，其特征在于，所述在检测到的人脸的位置坐标区域进行马赛克处理之后还包括：

对经过马赛克处理后的视频图像进行编码并保存。

5.根据权利要求1所述的方法，其特征在于，所述获取待检测的视频图像帧序列包括：

获取待检测的视频图像帧序列；

对所述视频图像帧序列进行解码；

将解码后的图像帧序列转化为RGB图像。

6.一种马赛克处理装置，其特征在于，所述装置包括：

获取模块，用于获取待检测的视频图像帧序列；

7.根据权利要求6所述的装置，其特征在于，所述第二检测模块还用于：

8.根据权利要求6所述的装置，其特征在于，所述第二检测模块具体用于：

9.根据权利要求6所述的装置，其特征在于，所述装置还包括：

10.根据权利要求6所述的装置，其特征在于，所述获取模块具体包括：

获取单元，用于获取待检测的视频图像帧序列；

解码单元，用于对所述视频图像帧序列进行解码；

转化单元，用于将解码后的图像帧序列转化为RGB图像。

11.一种电子设备，其特征在于，包括：

一个或多个处理器；

存储器，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1至5中任一项所述的马赛克处理方法。

12.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至5中任一项所述的马赛克处理方法。