CN110660032A - 一种对象屏蔽方法、对象屏蔽装置及电子设备 - Google Patents

Abstract

本申请公开了一种对象屏蔽方法、对象屏蔽装置、电子设备及计算机可读存储介质，该方法包括：对采集到的视频流进行目标检测；若检测到一个以上目标，则将一个以上目标与预设的目标图像进行匹配；将无法与所述目标图像匹配的目标确定为待屏蔽对象；分别为各个待屏蔽对象生成对应的虚拟对象；在所述视频流中，将所述虚拟对象渲染至相关联的待屏蔽对象的位置，以通过所述虚拟对象实现对所述待屏蔽对象的屏蔽。在本申请方案中，通过在视频流中渲染虚拟对象，保障了普通用户的隐私，同时提升了视频的处理效率，不再需要用户后期手动对待屏蔽对象进行马赛克等处理。

Description

一种对象屏蔽方法、对象屏蔽装置及电子设备

技术领域

本申请属于视频处理技术领域，尤其涉及一种对象屏蔽方法、对象屏蔽装置、电子设备及计算机可读存储介质。

背景技术

当前，网络直播及视频博客等社交方式受到了年轻用户的热烈追捧。网络直播具体为利用视讯方式进行网上现场直播，将产品展示或在线培训等内容实时发布到互联网上；视频博客具体为通过手机或摄像机等电子设备拍摄视频后再进行后期剪辑等处理操作，并将处理后的视频发布至互联网。然而，在用户通过网络直播及视频博客进行社交时，或多或少的会在视频中拍摄到其他用户(例如偶尔入镜的普通路人)，这可能会侵犯到他人的隐私。

发明内容

本申请实施例提供了一种对象屏蔽方法、对象屏蔽装置、电子设备及计算机可读存储介质，可保障了普通用户的隐私，同时提升了视频的处理效率，不再需要用户后期手动对视频流中的待屏蔽对象进行马赛克等处理。

第一方面，本申请实施例提供了一种对象屏蔽方法，包括：

对采集到的视频流进行目标检测；

若检测到一个以上目标，则将一个以上目标与预设的目标图像进行匹配；

将无法与所述目标图像匹配的目标确定为待屏蔽对象；

分别为各个待屏蔽对象生成对应的虚拟对象；

在所述视频流中，将所述虚拟对象渲染至相关联的待屏蔽对象的位置，以通过所述虚拟对象实现对所述待屏蔽对象的屏蔽。

第二方面，本申请实施例提供了一种对象屏蔽装置，包括：

检测单元，用于对采集到的视频流进行目标检测；

匹配单元，用于若检测到一个以上目标，则将一个以上目标与预设的目标图像进行匹配；

确定单元，用于将无法与所述目标图像匹配的目标确定为待屏蔽对象；

生成单元，用于分别为各个待屏蔽对象生成对应的虚拟对象；

渲染单元，用于在所述视频流中，将所述虚拟对象渲染至相关联的待屏蔽对象的位置，以通过所述虚拟对象实现对所述待屏蔽对象的屏蔽。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的方法。

第五方面，本申请实施例还提供了一种计算机程序产品，当上述计算机程序产品在电子设备上运行时，实现如第一方面所述的方法。

由上可见，在本申请方案中，电子设备在采集到视频流后，将筛选出无法与预设的目标图像相匹配的目标作为待屏蔽对象，并为各个待屏蔽对象生成相应的虚拟对象，以实现对待屏蔽对象的屏蔽。上述过程通过在视频流中渲染虚拟对象，保障了普通用户的隐私，同时提升了视频的处理效率，不再需要用户后期手动对待屏蔽对象进行马赛克等处理。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供对象屏蔽方法所适用于的手机的结构示意图；

图2是本申请一实施例提供的对象屏蔽方法的流程示意图；

图3-1是本申请一实施例提供的对象屏蔽方法中，渲染虚拟对象之前的视频帧的示意图；

图3-2是本申请一实施例提供的对象屏蔽方法中，渲染虚拟对象之后的视频帧的示意图；

图3-3是本申请一实施例提供的对象屏蔽方法中，渲染虚拟对象之后的视频帧的另一示意图；

图4是本申请一实施例提供的对象屏蔽方法的另一流程示意图；

图5是本申请一实施例提供的对象屏蔽装置的结框图；

图6是本申请一实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

本申请实施例提供的植物信息检测方法可以应用于手机、平板电脑、可穿戴设备、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、个人数字助理(personaldigital assistant，PDA)等电子设备上，本申请实施例对电子设备的具体类型不作任何限制。

作为示例而非限定，当上述电子设备为可穿戴设备时，该可穿戴设备还可以是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。广义穿戴式智能设备包括功能全、尺寸大、可不依赖手机实现完整或者部分的功能，如智能手表或智能眼镜等，以及只专注于某一类应用功能，需要和其它设备如手机配合使用，如各类进行体征监测的智能手环、智能首饰等。

以上述电子设备为手机为例。图1示出的是与本申请实施例提供的手机的部分结构的框图。参考图1，手机包括：射频(Radio Frequency，RF)电路110、存储器120、输入单元130、显示单元140、传感器150、音频电路160、无线保真(wireless fidelity，WiFi)模块170、处理器180、以及电源190等部件。本领域技术人员可以理解，图1中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

下面结合图1对手机的各个构成部件进行具体的介绍：

RF电路110可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器180处理；另外，将设计上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(Low NoiseAmplifier，LNA)、双工器等。此外，RF电路110还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GlobalSystem of Mobile communication，GSM)、通用分组无线服务(General Packet RadioService，GPRS)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband Code Division Multiple Access,WCDMA)、长期演进(Long Term Evolution,LTE))、电子邮件、短消息服务(Short Messaging Service，SMS)等。

存储器120可用于存储软件程序以及模块，处理器180通过运行存储在存储器120的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器120可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器120可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元130可用于接收输入的数字或字符信息，以及产生与手机100的用户设置以及功能控制有关的键信号输入。具体地，输入单元130可包括触控面板131以及其他输入设备132。触控面板131，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板131上或在触控面板131附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板131可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器180，并能接收处理器180发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板131。除了触控面板131，输入单元130还可以包括其他输入设备132。具体地，其他输入设备132可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元140可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元140可包括显示面板141，可选的，可以采用液晶显示器(Liquid CrystalDisplay，LCD)、有机发光二极管(Organic Light-Emitting Diode,OLED)等形式来配置显示面板141。进一步的，触控面板131可覆盖显示面板141，当触控面板131检测到在其上或附近的触摸操作后，传送给处理器180以确定触摸事件的类型，随后处理器180根据触摸事件的类型在显示面板141上提供相应的视觉输出。虽然在图1中，触控面板131与显示面板141是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板131与显示面板141集成而实现手机的输入和输出功能。

手机100还可包括至少一种传感器150，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板141的亮度，接近传感器可在手机移动到耳边时，关闭显示面板141和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。

音频电路160、扬声器161，传声器162可提供用户与手机之间的音频接口。音频电路160可将接收到的音频数据转换后的电信号，传输到扬声器161，由扬声器161转换为声音信号输出；另一方面，传声器162将收集的声音信号转换为电信号，由音频电路160接收后转换为音频数据，再将音频数据输出处理器180处理后，经RF电路110以发送给比如另一手机，或者将音频数据输出至存储器120以便进一步处理。

WiFi属于短距离无线传输技术，手机通过WiFi模块170可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图1示出了WiFi模块170，但是可以理解的是，其并不属于手机100的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。

处理器180是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器120内的软件程序和/或模块，以及调用存储在存储器120内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器180可包括一个或多个处理单元；优选的，处理器180可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器180中。

手机100还包括给各个部件供电的电源190(比如电池)，优选的，电源可以通过电源管理系统与处理器180逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。

尽管未示出，手机100还可以包括摄像头。可选地，摄像头在手机100的上的位置可以为前置的，也可以为后置的，本申请实施例对此不作限定。

可选地，手机100可以包括单摄像头、双摄像头或三摄像头等，本申请实施例对此不作限定。

例如，手机100可以包括三摄像头，其中，一个为主摄像头、一个为广角摄像头、一个为长焦摄像头。

可选地，当手机100包括多个摄像头时，这多个摄像头可以全部前置，或者全部后置，或者一部分前置、另一部分后置，本申请实施例对此不作限定。

另外，尽管未示出，手机100还可以包括蓝牙模块等，在此不再赘述。

以下实施例可以在具有上述硬件结构/软件结构的手机100上实现。图2示出了本申请实施例提供的一种对象屏蔽方法的实现流程图，详述如下：

步骤201，对采集到的视频流进行目标检测；

在本申请实施例中，若电子设备配备有摄像头，则该电子设备可以通过摄像头实时采集得到视频流；或者，若上述电子设备具备联网功能，则该电子设备可以通过网络接收其它设备采集并发送的视频流，此处不对上述视频流的获取方式作出限定。当上述电子设备获取到视频流后，可以将上述视频流送入电子设备的视频处理系统。上述视频处理系统将对上述视频流中的各个视频帧进行目标检测，以获得上述视频流所包含的各个目标，具体地，上述目标可以包括人脸、动物、车牌等多种类型，此处不作限定。其中，为了提升本申请方案的应用灵活性，用户可以自主设定本步骤所要检测的目标的类型，例如，用户可以设定电子设备仅针对人脸及车牌进行目标检测，以筛选出视频流中所包含的所有人脸及所有车牌；则在后续步骤中，可以将某些人脸及车牌确定为待屏蔽对象，并通过虚拟对象实现对这些待屏蔽对象的屏蔽。具体地，当目标检测的目标类型为人脸时，本步骤即为对采集到的视频流进行人脸检测，可以是通过多任务卷积神经网络(Multi-task convolutionalneural network，MTCNN)技术对上述视频流中的各个视频帧进行人脸检测，当然，也可以通过其它的神经网络技术实现上述人脸检测操作，此处不作限定。

步骤202，若检测到一个以上目标，则将一个以上目标与预设的目标图像进行匹配；

在本申请实施例中，电子设备可以预先设定一个或多个目标图像，例如，可以在电子设备的本地离线采集一个以上目标图像；具体地，针对任一种目标的类型，均可以在电子设备的本地离线采集属于该类型的一个以上目标图像。随后，在通过上述步骤201检测到视频流中包含有一个以上目标时，可以针对检测到的任一目标，将上述目标分别与各个目标图像进行匹配。

具体地，以目标为人脸为例，可以先确定一个以上目标用户，并采集该一个以上目标用户的人脸图像，所得到的一个以上目标用户的人脸图像即为目标图像；在本例中，将上述目标图像记为目标人脸图像，若在视频流中检测到人脸图像A1及A2，同时预先设定有B1及B2这两个目标人脸图像，则针对人脸图像A1，可以将该A1分别与上述B1及B2进行匹配；针对人脸图像A2，也可以将该A2分别与上述B1及B2进行匹配。若出现某一人脸图像与各个目标人脸图像均匹配失败的情况，即可确定该人脸图像无法与上述目标人脸图像匹配；反之，当某一人脸图像与任一目标人脸图像匹配成功时，即可确定该人脸图像与上述目标人脸图像相匹配，也即，确认该人脸图像所代表的的用户为目标用户。上述目标用户的人脸识别操作可采用主成分分析(Principal Component Analysis，PCA)人脸识别技术，也可采用其他人脸识别技术，此处不作限定。具体地，可以在设定了目标人脸图像之后，提取各个目标人脸图像的特征信息；并在检测到人脸图像后，提取各个人脸图像的特征信息；则在将任一人脸图像与任一目标人脸图像进行匹配时，可以通过该人脸图像的特征信息与该目标人脸图像的特征信息检测二者是否匹配，此处不再赘述。

步骤203，将无法与上述目标图像匹配的目标确定为待屏蔽对象；

在本申请实施例中，若存在无法与任何目标图像相匹配的目标，则可将该目标确定为待屏蔽对象。需要注意的是，此处不对上述待屏蔽对象的数量作出限定，也即，若出现多个无法与任何目标图像匹配的目标，则可以将这些目标都确定为待屏蔽对象。

步骤204，分别为各个待屏蔽对象生成对应的虚拟对象；

在本申请实施例中，可以分别为各个待屏蔽对象生成对应的虚拟对象，其中，上述虚拟对象具体为非真实拍摄得到的图像，一般情况下，上述虚拟对象为动画形式；当在视频流中渲染该虚拟对象时，该虚拟对象将起到遮盖的作用，也即，虚拟对象所在位置处的原视频帧的图像信息将不再显示，而是显示上述虚拟对象的图像信息。可选地，不同的待屏蔽对象所对应的虚拟对象可以为相同样式，也可以为不同样式，此处不作限定。例如，若检测到视频流中有人脸图像A1、A2、A3及A4，并确定A3及A4无法与任一目标人脸图像相匹配，则上述A3及A4即为待屏蔽对象；可以为A3及A4生成相同的小猫样式的虚拟对象；或者，可以为A3生成小猫样式的虚拟对象，为A4生成小狗样式的虚拟对象，此处不作限定。可选地，可以在上述视频处理系统预先设定一虚拟对象库，并从该虚拟对象库中随机选择虚拟对象的样式。

步骤205，在上述视频流中，将上述虚拟对象渲染至相关联的待屏蔽对象的位置，以通过上述虚拟对象实现对上述待屏蔽对象的屏蔽。

在本申请实施例中，针对任一待屏蔽对象，获取上述待屏蔽对象在上述视频流中的各个视频帧中的位置，具体为获取上述待屏蔽对象在上述视频流的各个视频帧中的坐标；随后，基于上述待屏蔽对象在上述视频流的各个视频帧中的坐标，将与上述待屏蔽对象相关联的上述虚拟对象渲染至各个视频帧中，以通过上述虚拟对象完成在视频流中对上述待屏蔽对象的屏蔽，上述渲染操作由电子设备的图形处理器(Graphics Processing Unit，GPU)执行。上述获取到的坐标采用的是像素坐标系，又可被称为图像坐标系，是以视频帧的左上顶点为坐标系原点，以像素为单位构建的坐标系，像素的横坐标u与纵坐标v分别是在其视频帧的图像数组中所在的列数与所在行数。考虑到待屏蔽对象实际占据了上述视频帧的一小部分区域，因而，可以先确定上述待屏蔽对象的质心，并将上述待屏蔽对象的质心在各个视频帧中的坐标作为上述待屏蔽对象在各个视频帧中的坐标。

进一步地，当上述待屏蔽对象为人脸时，上述虚拟对象呈现面具的形式，可以理解为非目标用户的人脸(也即待屏蔽对象)虽然在现实中并未佩戴面具，但通过本申请方案，可在采集到的视频流中实时为该非目标用户的人脸佩戴上面具(也即在待屏蔽对象处渲染虚拟对象)，以实现对非目标用户的人脸的遮盖。

以上述步骤204所提出的例子作为示范，如图3-1所示，图3-1示出了视频流的一视频帧中所检测到的人脸图像A1、A2、A3及A4，其中A3及A4被确定为待屏蔽对象。可以通过渲染虚拟对象实现对上述A3及A4的屏蔽，其中，图3-2示出了为A3及A4生成并渲染相同样式的虚拟对象后，该视频帧所显示的内容；图3-3示出了为A3及A4生成并渲染不同样式的虚拟对象后，该视频帧所显示的内容。

可选地，当上述待屏蔽对象为人脸时，为了使得虚拟对象可以动态的表达待屏蔽对象的情绪，上述步骤步骤205包括：

A1、获取待屏蔽对象所包含的人脸框在上述视频流的各个视频帧中的坐标；

其中，针对任一视频帧，仍旧采用图像坐标系，先获取待屏蔽对象所包含的人脸框，随后确定该人脸框的质心，并以质心坐标作为待屏蔽对象所包含的人脸框在上述视频帧中的坐标。

A2、识别上述待屏蔽对象的眼睛及嘴巴；

其中，可以进一步对上述待屏蔽对象进行五官特征检测，以识别到上述待屏蔽对象的眼睛及嘴巴。考虑到人们的五官中，情绪往往反映在眼睛及嘴巴处，偶尔反映在眉毛处，基本不反映在耳朵及鼻子处；因而，在本步骤中，为了动态表达待屏蔽对象的情绪，可仅对上述待屏蔽对象的眼睛及嘴巴进行识别。

A3、在上述待屏蔽对象的眼睛及嘴巴中设定两个以上关键点；

其中，可以是在内眼角、外眼角、上眼睑中间点及下眼睑中间点设定眼睛的关键点；在两边嘴角、上唇中间点及下唇中间点设定嘴巴的关键点。当然，也可以通过其它方式在眼睛及嘴巴中设定多个关键点，此处不作限定。

A4、在上述视频流中，针对任意两帧相邻的视频帧，定位得到每一关键点在上述相邻的视频帧中的坐标；

其中，若在视频流中的任意两帧相邻的视频帧中均能够检测到同一待屏蔽对象，则可以分别在上述相邻的视频帧中，获取各个关键点的坐标。例如，假定视频帧F1及F2为相邻的两帧视频帧，且这两帧视频帧均包含待屏蔽对象A3，则针对待屏蔽对象A3的内眼角这一关键点，分别获取该关键点在F1中的坐标及该关键点在F2中的坐标，并以同样的方式获取其它各个关键点在F1中的坐标及在F2中的坐标。

A5、基于每一关键点在上述相邻的视频帧中的坐标，计算得到每一关键点的位移信息；

其中，针对任意两帧相邻的视频帧，基于每一关键点在上述相邻的视频帧中的坐标，即可计算得到每一关键点在上述相邻的视频帧的位移信息；以同样的方式，计算各个关键点在每两个相邻的视频帧中的位移情况，即可获知上述关键点在视频流中的连续位移，为每个关键点形成贯穿视频流的位移信息。

A6、通过各个关键点在相邻的视频帧中的位移信息，确定上述待屏蔽对象在各个视频帧中的眼睛及嘴巴的开合状态；

其中，通过眼睛及嘴巴在各个相邻的视频帧中的位移信息，即可确定待屏蔽对象的眼睛及嘴巴的开合状态，通过上述眼睛及嘴巴的开合状态，可获知待屏蔽对象的情绪。

A7、基于上述人脸框在上述视频流的各个视频帧中的坐标显示上述虚拟对象，并基于上述待屏蔽对象在各个视频帧中的眼睛及嘴巴的开合状态，对与上述眼睛及嘴巴相关联的虚拟对象的区域进行相应调整。

其中，虚拟对象可以被渲染至上述人脸框在各个视频帧中的坐标处，具体地，该虚拟对象的尺寸可以基于上述人脸框的尺寸进行调节，以避免出现虚拟对象无法将人脸遮盖完全或虚拟对象遮盖到其它区域的情况。同时，由于在待屏蔽对象为人脸时所生产的虚拟对象为面具的样式，为了通过虚拟对象表达待屏蔽对象的情绪，上述虚拟对象还可预先设定与待屏蔽对象的眼睛及嘴巴相关联的区域，并基于上述待屏蔽对象在各个视频帧中的眼睛及嘴巴的开合状态，对与上述眼睛及嘴巴相关联的虚拟对象的区域进行相应调整，也即，使得虚拟对象这一面具样式呈现与待屏蔽对象相同的表情。

需要注意的是，本申请方案是将视频流中无法与任何目标图像相匹配的目标确定为待屏蔽对象，并在待屏蔽对象的位置处渲染虚拟对象，以实现对待屏蔽对象的屏蔽，并不对能够与目标图像相匹配的目标作出任何处理。也即，通过本申请方案所得到的视频流中，由于能够与目标图像相匹配的目标并不存在隐私保护的需求，因而上述能够与目标图像相匹配的目标仍然是正常显示的。

可选地，在上述步骤205之后，上述对象屏蔽方法还包括：

对已渲染了上述虚拟对象的视频流进行压缩；

将压缩后的视频流传输至指定地址。

在本申请实施例中，针对网络直播这一应用场景，可以在对已渲染了上述虚拟对象的视频流进行压缩后，将上述压缩后的视频流传输至指定地址，上述指定地址具体为观看直播的各个客户端的地址。针对其它应用场景，例如拍摄视频博客等应用场景，可以将压缩后的视频流保存至本地，或传输至预设的云端服务器进行保存，此处不作限定。

由上可见，通过本申请实施例，在网络直播、视频博客、视频通话等场景中，电子设备在采集到视频流后，将筛选出无法与预设的目标图像相匹配的目标作为待屏蔽对象，并为各个待屏蔽对象生成相应的虚拟对象，以实现对待屏蔽对象的屏蔽。上述过程通过在视频流中渲染虚拟对象，保障了非目标用户的隐私，并且根据用户的需求，还可以实现对车牌等其它类型的目标的遮盖，同时提升了视频的处理效率，不再需要后期手动对待屏蔽对象进行马赛克等处理。

在前文提供的实施例的基础上，考虑到也可以通过人的声音对人进行识别，因而，为了进一步保障非目标用户的隐私，图4示出了本申请实施例提供的第二种对象屏蔽方法的流程示意图。上述对象屏蔽方法包括：

步骤401，获取视频流；

步骤402，对上述视频流进行目标检测；

在本申请实施例中，上述步骤401及402与上述步骤301相似，具体可查阅步骤301的实现流程，此处不再赘述。

步骤403，若检测到一个以上目标，则将一个以上目标与预设的目标图像进行匹配；

步骤404，将无法与上述目标图像匹配的目标确定为待屏蔽对象；

步骤405，分别为各个待屏蔽对象生成对应的虚拟对象；

步骤406，在上述视频流中，将上述虚拟对象渲染至相关联的待屏蔽对象的位置，以通过上述虚拟对象实现对上述待屏蔽对象的屏蔽；

在本申请实施例中，上述步骤403、404、405及406分别与上述步骤302、303、304及305相同，具体可查阅步骤302、303、304及305的实现流程，此处不再赘述。

步骤407，检测上述视频流中是否包含声音信号；

步骤408，若上述视频流中包含有声音信号，则将上述声音信号的声纹与预设的目标声纹进行匹配；

在本申请实施例中，当获取到视频流时，还可检测上述视频流中是否包含声音信号。具体地，上述声音信号指的是人声信号。考虑到同一时刻可能有多个用户在说话，因而，可以根据声纹将不同用户的声音信号区分开来，并将各个声音信号的声纹与预设的目标声纹进行匹配。具体地，可以是先离线采集一个以上目标用户的声音信号，并根据上述一个以上目标用户的声音信号，识别得到一个以上目标声纹。

步骤409，将无法与上述目标声纹匹配的声音信号确定为待屏蔽声音信号；

在本申请实施例中，若一声音信号的声纹无法与任一目标声纹相匹配，则可将该声音信号确定为待屏蔽声音信号。

步骤410，在上述视频流中，屏蔽上述待屏蔽声音信号。

在本申请实施例中，可以通过更改上述待屏蔽声音信号的音调及音色，以实现对上述待屏蔽声音信号的屏蔽；或者，消除上述待屏蔽声音信号，以实现对上述待屏蔽声音信号的屏蔽；或者，以预设的音频数据(例如“哔”声)替代上述待屏蔽声音信号，以实现对上述待屏蔽声音信号的屏蔽；

由上可见，通过本申请实施例，在网络直播、视频博客、视频通话等场景中，电子设备在采集到视频流后，将筛选出无法与预设的目标图像相匹配的目标作为待屏蔽对象，并为各个待屏蔽对象生成相应的虚拟对象，以实现对待屏蔽对象的屏蔽。上述过程通过在视频流中渲染虚拟对象，可以保障非目标用户的隐私，同时提升了视频的处理效率，不再需要后期手动对待屏蔽对象进行马赛克等处理。进一步地，还可实现对待屏蔽对象的声音的屏蔽，进一步保障了非目标用户的隐私。

图5示出了本申请实施例提供的一种对象屏蔽装置的结构框图，该对象屏蔽装置可应用于电子设备，为了便于说明，仅示出了与本申请实施例相关的部分。

该对象屏蔽装置5包括：检测单元501、匹配单元502、确定单元503、生成单元504及渲染单元505，其中：

检测单元501，用于对采集到的视频流进行目标检测；

匹配单元502，用于若检测到一个以上目标，则将一个以上目标与预设的目标图像进行匹配；

确定单元503，用于将无法与上述目标图像匹配的目标确定为待屏蔽对象；

生成单元504，用于分别为各个待屏蔽对象生成对应的虚拟对象；

渲染单元505，用于在上述视频流中，将上述虚拟对象渲染至相关联的待屏蔽对象的位置，以通过上述虚拟对象实现对上述待屏蔽对象的屏蔽。

可选地，上述对象屏蔽装置5还包括：

采集单元，用于离线采集一个以上目标图像；

相应地，上述匹配单元502，包括：

目标匹配子单元，用于针对检测到的任一目标，将上述目标分别与各个目标图像进行匹配；

目标确定子单元，用于若上述目标与各个目标图像均匹配失败，则确定上述目标无法与上述目标图像匹配。

可选地，上述渲染单元505，包括：

坐标获取子单元，用于获取上述待屏蔽对象在上述视频流的各个视频帧中的坐标；

对象渲染子单元，用于基于上述待屏蔽对象在上述视频流的各个视频帧中的坐标，将与上述待屏蔽对象相关联的上述虚拟对象渲染至各个视频帧中。

可选地，若上述待屏蔽对象为人脸，则上述坐标获取子单元，包括：

获取子单元，用于获取待屏蔽对象所包含的人脸框在上述视频流的各个视频帧中的坐标；

识别子单元，用于识别上述待屏蔽对象的眼睛及嘴巴；

设定子单元，用于在上述待屏蔽对象的眼睛及嘴巴中设定两个以上关键点；

定位子单元，用于在上述视频流中，针对任意两帧相邻的视频帧，定位得到每一关键点在上述相邻的视频帧中的坐标；

计算子单元，用于基于每一关键点在上述相邻的视频帧中的坐标，计算得到每一关键点的位移信息；

相应地，上述对象渲染子单元，包括：

状态确定子单元，用于通过各个关键点在相邻的视频帧中的位移信息，确定上述待屏蔽对象在各个视频帧中的眼睛及嘴巴的开合状态；

对象控制子单元，用于基于上述人脸框在上述视频流的各个视频帧中的坐标显示上述虚拟对象，并基于上述待屏蔽对象在各个视频帧中的眼睛及嘴巴的开合状态，对与上述眼睛及嘴巴相关联的虚拟对象的区域进行相应调整。

可选地，上述对象屏蔽装置5还包括：

压缩单元，用于对已渲染了上述虚拟对象的视频流进行压缩；

传输单元，用于将压缩后的视频流传输至指定地址。

可选地，上述对象屏蔽装置5还包括：

声纹匹配单元，用于将上述视频流所包含的声音信号的声纹与预设的目标声纹进行匹配；

待屏蔽声音信号确定单元，用于将无法与上述目标声纹匹配的声音信号确定为待屏蔽声音信号；

声音信号屏蔽单元，用于在上述视频流中，屏蔽上述待屏蔽声音信号。

可选地，上述声音信号屏蔽单元，具体用于更改上述待屏蔽声音信号的音调及音色，或者，消除上述待屏蔽声音信号，或者，以预设的音频数据替代上述待屏蔽声音信号。

由上可见，通过本申请实施例，在网络直播、视频博客、视频通话等场景中，电子设备在采集到视频流后，将筛选出无法与预设的目标图像相匹配的目标作为待屏蔽对象，并为各个待屏蔽对象生成相应的虚拟对象，以实现对待屏蔽对象的屏蔽。上述过程通过在视频流中渲染虚拟对象，保障了非目标用户的隐私，同时提升了视频的处理效率，不再需要后期手动对待屏蔽对象进行马赛克等处理。进一步地，还可实现对待屏蔽对象的声音的屏蔽，进一步保障了非目标用户的隐私。

本申请实施例还提供了一种电子设备，请参阅图6，本申请实施例中的电子设备6包括：存储器601，一个或多个处理器602(图6中仅示出一个)及存储在存储器601上并可在处理器上运行的计算机程序。其中：存储器601用于存储软件程序以及模块，处理器602通过运行存储在存储器601的软件程序以及单元，从而执行各种功能应用以及数据处理，以获取上述预设事件对应的资源。具体地，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：

对采集到的视频流进行目标检测；

若检测到一个以上目标，则将一个以上目标与预设的目标图像进行匹配；

将无法与上述目标图像匹配的目标确定为待屏蔽对象；

分别为各个待屏蔽对象生成对应的虚拟对象；

在上述视频流中，将上述虚拟对象渲染至相关联的待屏蔽对象的位置，以通过上述虚拟对象实现对上述待屏蔽对象的屏蔽。

假设上述为第一种可能的实施方式，则在第一种可能的实施方式作为基础而提供的第二种可能的实施方式中，在上述将一个以上目标与预设的目标图像进行匹配之前，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：

离线采集一个以上目标图像；

相应地，上述将一个以上目标与预设的目标图像进行匹配，包括：

针对检测到的任一目标，将上述目标分别与各个目标图像进行匹配；

若上述目标与各个目标图像均匹配失败，则确定上述目标无法与上述目标图像匹配。

在上述第一种可能的实施方式作为基础而提供的第三种可能的实施方式中，上述在上述视频流中，将上述虚拟对象渲染至相关联的待屏蔽对象的位置，包括：

获取上述待屏蔽对象在上述视频流的各个视频帧中的坐标；

基于上述待屏蔽对象在上述视频流的各个视频帧中的坐标，将与上述待屏蔽对象相关联的上述虚拟对象渲染至各个视频帧中。

在上述第三种可能的实施方式作为基础而提供的第四种可能的实施方式中，若上述待屏蔽对象为人脸，则上述获取上述待屏蔽对象在上述视频流的各个视频帧中的坐标，包括：

获取待屏蔽对象所包含的人脸框在上述视频流的各个视频帧中的坐标；

识别上述待屏蔽对象的眼睛及嘴巴；

在上述待屏蔽对象的眼睛及嘴巴中设定两个以上关键点；

在上述视频流中，针对任意两帧相邻的视频帧，定位得到每一关键点在上述相邻的视频帧中的坐标；

基于每一关键点在上述相邻的视频帧中的坐标，计算得到每一关键点的位移信息；

相应地，上述基于上述待屏蔽对象在上述视频流的各个视频帧中的坐标，将与上述待屏蔽对象相关联的上述虚拟对象渲染至各个视频帧中，包括：

通过各个关键点在相邻的视频帧中的位移信息，确定上述待屏蔽对象在各个视频帧中的眼睛及嘴巴的开合状态；

基于上述人脸框在上述视频流的各个视频帧中的坐标显示上述虚拟对象，并基于上述待屏蔽对象在各个视频帧中的眼睛及嘴巴的开合状态，对与上述眼睛及嘴巴相关联的虚拟对象的区域进行相应调整。

在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础而提供的第五种可能的实施方式中，在上述将上述虚拟对象渲染至相关联的待屏蔽对象的位置之后，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：

对已渲染了上述虚拟对象的视频流进行压缩；

将压缩后的视频流传输至指定地址。

在上述第一种可能的实施方式作为基础，或者上述第二种可能的实施方式作为基础，或者上述第三种可能的实施方式作为基础，或者上述第四种可能的实施方式作为基础而提供的第六种可能的实施方式中，处理器602通过运行存储在存储器601的上述计算机程序时实现以下步骤：

将上述视频流所包含的声音信号的声纹与预设的目标声纹进行匹配；

将无法与上述目标声纹匹配的声音信号确定为待屏蔽声音信号；

在上述视频流中，屏蔽上述待屏蔽声音信号。

在上述第六种可能的实施方式作为基础而提供的第七种可能的实施方式中，上述屏蔽上述声音信号，包括：

更改上述待屏蔽声音信号的音调及音色，或者，消除上述待屏蔽声音信号，或者，以预设的音频数据替代上述待屏蔽声音信号。

应当理解，在本申请实施例中，所称处理器602可以是中央处理单元(CentralProcessing Unit，CPU)，该处理器还可以是其他通用处理器、数字信号处理器(DigitalSignal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器601可以包括只读存储器和随机存取存储器，并向处理器602提供指令和数据。存储器601的一部分或全部还可以包括非易失性随机存取存储器。例如，存储器601还可以存储设备类型的信息。

由上可见，通过本申请实施例，在网络直播、视频博客、视频通话等场景中，电子设备在采集到视频流后，将筛选出无法与预设的目标图像相匹配的目标作为待屏蔽对象，并为各个待屏蔽对象生成相应的虚拟对象，以实现对待屏蔽对象的屏蔽。上述过程通过在视频流中渲染虚拟对象，保障了非目标用户的隐私，同时提升了视频的处理效率，不再需要后期手动对待屏蔽对象进行马赛克等处理。进一步地，还可实现对待屏蔽对象的声音的屏蔽，进一步保障了非目标用户的隐私。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将上述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行时实现可实现上述各个方法实施例中的步骤。

上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，上述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，上述计算机程序包括计算机程序代码，上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。上述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/电子设备的任何实体或装置、记录介质、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置、电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上上述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种对象屏蔽方法，其特征在于，包括：

对采集到的视频流进行目标检测；

若检测到一个以上目标，则将一个以上目标与预设的目标图像进行匹配；

将无法与所述目标图像匹配的目标确定为待屏蔽对象；

分别为各个待屏蔽对象生成对应的虚拟对象；

在所述视频流中，将所述虚拟对象渲染至相关联的待屏蔽对象的位置，以通过所述虚拟对象实现对所述待屏蔽对象的屏蔽。

2.如权利要求1所述的对象屏蔽方法，其特征在于，在所述将一个以上目标与预设的目标图像进行匹配之前，所述对象屏蔽方法还包括：

离线采集一个以上目标图像；

相应地，所述将一个以上目标与预设的目标图像进行匹配，包括：

针对检测到的任一目标，将所述目标分别与各个目标图像进行匹配；

若所述目标与各个目标图像均匹配失败，则确定所述目标无法与所述目标图像匹配。

3.如权利要求1所述的对象屏蔽方法，其特征在于，所述在所述视频流中，将所述虚拟对象渲染至相关联的待屏蔽对象的位置，包括：

获取所述待屏蔽对象在所述视频流的各个视频帧中的坐标；

基于所述待屏蔽对象在所述视频流的各个视频帧中的坐标，将与所述待屏蔽对象相关联的所述虚拟对象渲染至各个视频帧中。

4.如权利要求3所述的对象屏蔽方法，其特征在于，若所述待屏蔽对象为人脸，则所述获取所述待屏蔽对象在所述视频流的各个视频帧中的坐标，包括：

获取待屏蔽对象所包含的人脸框在所述视频流的各个视频帧中的坐标；

识别所述待屏蔽对象的眼睛及嘴巴；

在所述待屏蔽对象的眼睛及嘴巴中设定两个以上关键点；

在所述视频流中，针对任意两帧相邻的视频帧，定位得到每一关键点在所述相邻的视频帧中的坐标；

基于每一关键点在所述相邻的视频帧中的坐标，计算得到每一关键点的位移信息；

相应地，所述基于所述待屏蔽对象在所述视频流的各个视频帧中的坐标，将与所述待屏蔽对象相关联的所述虚拟对象渲染至各个视频帧中，包括：

通过各个关键点在相邻的视频帧中的位移信息，确定所述待屏蔽对象在各个视频帧中的眼睛及嘴巴的开合状态；

基于所述人脸框在所述视频流的各个视频帧中的坐标显示所述虚拟对象，并基于所述待屏蔽对象在各个视频帧中的眼睛及嘴巴的开合状态，对与所述眼睛及嘴巴相关联的虚拟对象的区域进行相应调整。

5.如权利要求1至4任一项所述的对象屏蔽方法，其特征在于，在所述将所述虚拟对象渲染至相关联的待屏蔽对象的位置之后，所述对象屏蔽方法还包括：

对已渲染了所述虚拟对象的视频流进行压缩；

将压缩后的视频流传输至指定地址。

6.如权利要求1至4任一项所述的对象屏蔽方法，其特征在于，所述对象屏蔽方法还包括：

将所述视频流所包含的声音信号的声纹与预设的目标声纹进行匹配；

将无法与所述目标声纹匹配的声音信号确定为待屏蔽声音信号；

在所述视频流中，屏蔽所述待屏蔽声音信号。

7.如权利要求6所述的对象屏蔽方法，其特征在于，所述屏蔽所述声音信号，包括：

更改所述待屏蔽声音信号的音调及音色，或者，消除所述待屏蔽声音信号，或者，以预设的音频数据替代所述待屏蔽声音信号。

8.一种对象屏蔽装置，其特征在于，包括：

检测单元，用于对采集到的视频流进行目标检测；

匹配单元，用于若检测到一个以上目标，则将一个以上目标与预设的目标图像进行匹配；

确定单元，用于将无法与所述目标图像匹配的目标确定为待屏蔽对象；

生成单元，用于分别为各个待屏蔽对象生成对应的虚拟对象；

渲染单元，用于在所述视频流中，将所述虚拟对象渲染至相关联的待屏蔽对象的位置，以通过所述虚拟对象实现对所述待屏蔽对象的屏蔽。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

Images