CN111355924B - 基于视频智能分析检测特殊人员脸部加扰编码的方法 - Google Patents

Abstract

本发明公开了一种基于视频智能分析检测特殊人员脸部加扰编码的方法。该方法包括：在摄像机前端完成视频加扰及编码处理，直接输出特殊人物人脸加扰视频流；以解析算法对特殊人物提取特征向量、并以特征向量形式下发至摄像机，不发送真实图片或视频；对特殊人物的人脸、人脸+人体的多种融合解析，提取融合特征向量；对视频采集中的特殊人物进行人脸、人脸+人体的多种融合解析识别；采用“软件定义”摄像机，提高前端摄像机对于解析系统的广泛适应性。本发明方法实现了对特殊人物参会录像/被报道过程的全流程保护，避免曝光及泄露。

Description

基于视频智能分析检测特殊人员脸部加扰编码的方法

技术领域

本发明属于电子监控技术领域，具体是视频智能识别与无线通讯的交叉技术领域，涉及一种基于视频智能分析检测特殊人员脸部加扰编码的方法。

背景技术

在某些涉及秘密或者涉及敏感的特殊人物的会议或者采访中，需要对特殊人物的人脸进行加扰处理，以避免被观众识别，但是又能使特殊人物的身体其他部位等与场景的真实体现。以前一般采用的方式是背对着镜头,或者给个侧脸采访，还有就是窗户旁边，给个轮廓，甚至在其前方设置一个花盆植物等进行遮挡方式处理。

也有一些场景是涉及个人隐私的，从法律上讲，隐私是个人不想让他人知道或者他人不便知道的信息；当事人不愿他人或者他人不便干涉的事，以及当事人不愿他人侵入或者他人不便侵入的个人领域。需要进行特殊人物的人脸视频加扰的场景主要有：实战一线的高危职业从业人员，不能暴露身份，对于这种特殊人物的处理除了视频加扰外，甚至需要进行音频加扰；在涉案新闻采访中，警方拘捕了嫌疑人员，但是由于涉及后续侦查、其他未到案嫌疑人的侦查，不能暴露该嫌疑人身份，或者仅有怀疑而尚未证实/未定罪的犯罪人员，临时拘捕防止潜逃；涉及未成年人、被害人员保护的情况；应采访要求提供对涉案现场、涉案人员的情况提供线索的人员，在采访中要求进行保护处理。

目前主要采用人脸马赛克或采用具有隐私遮挡功能的视频监控装置以及隐私遮挡方法，对特殊人物的人脸进行加扰处理。

人脸马赛克：一些使用场景中(如新闻、媒体爆料等)，有些不方便直接公开的人脸画像。可以通过后台服务器进行自动识别并且加上马赛克。打马赛克技术是利用对人脸进行检测、跟踪和识别技术，并对符合指定对象的人脸区域进行虚化处理。与传统的人员识别，手动添加马赛克相比，大大提高了工作效率。采用后台服务器的人脸检测识别的人脸马赛克处理方式，具有一定的市场，目前电视新闻视频编辑大多采用这种后期制作的视频处理技术，但是其存在的缺点包括：

(1).涉及特殊人物的原始视频的处理无法保证安全，在采集及后期制作的整个过程有时候并不是完全可控的，具有很大风险；

(2).现有单一人脸识别技术只能识别出正脸率较高的人脸(如需满足GB/T35678-2017《公共安全人脸识别应用图像技术要求》中规定：侧脸±30°、仰俯角度±20°、两眼间距≥30像素等条件)，当侧脸或非正常体位人脸将无法正确识别；

(3).对于人脸图像区域要求不遮挡眉毛、眼镜、嘴巴、鼻子及脸部轮廓，而且人脸区域无浓妆、无失真(几何失真应≤10％)、运动模糊(运动模糊≤0.20、高斯模糊应≤0.25)等，在实际场景中往往无法满足智能识别的必要条件。

具有隐私遮挡功能的视频监控装置以及隐私遮挡方法是近年发展起来的一种很实用的监控摄像机辅助功能。隐私遮挡功能是指用户在对某个区域进行视频监控时，监控摄像机对监控区域内用户设定的不应被监控的固定目标实施图像遮挡。例如对某栋建筑物进行视频监控时，建筑物的窗户是用户设定的隐私区域，那么用户最终在监视器上获得的是隐私区域被叠加了不透明电子遮挡块的图像。这样用户可以监控整栋楼的全貌，却不会看到窗户内的细节，既达到了监控的目的，又保护了被监控者的隐私。

早期的隐私遮挡功能只是对于搭载定焦镜头的摄像机来实现的，即遮挡块所遮挡的范围设定后就无需再改变。随着变焦镜头的应用越来越广泛，搭载变焦镜头的摄像机所摄取图像中的物体可以随着镜头焦距的变化而被放大或缩小，这也就要求遮挡块的范围要随着图像中物体大小的变化而变化，以保证物体始终处于遮挡块的遮挡范围内(该功能以下简称为“变焦联动”)。

在实际应用中，镜头和摄像机多数是安装在云台或球机等前端视频监控设备上(以下以“云台”为例)。云台在水平或俯仰方向上转动会导致摄像机的视场方向发生相应的变化，监视器中隐私区域的位置也就产生了变化，这就要求遮挡块在屏幕中的位置也要随之改变(该功能以下简称为“位置联动”)。一体化摄像机的镜头与摄像机封装在一起，摄像机可以直接获取镜头的焦距参数，能够很容易的独立实现变焦联动。对于位置联动则需要摄像机与云台时刻保持通讯，由云台计算遮挡块的坐标并发送给摄像机，摄像机根据接收到的坐标信息调整遮挡块的位置。

具有隐私遮挡功能的视频监控装置以及隐私遮挡方法采用的是对于摄像机视场范围内的固定区域进行视频图像遮挡处理，其缺点是：

(1).只能对固定区域进行遮挡处理，无法实时跟踪移动目标进行遮挡处理；

(2).遮挡区域的大小是固定的，无法实时跟踪目标大小动态变化调整遮挡区域大小；

(3).遮挡的是区域而不是目标对象，无法按需选择目标对象。

发明内容

本发明的目的就是针对现有技术的不足，提供一种基于视频智能分析检测特殊人员脸部加扰编码的方法。

在会议录像或视频采访存在特殊人物等时，必须对摄录过程的特殊人物进行全程的人脸遮挡或虚化，避免对特殊人物的曝光。同时必须避免由于原始摄录+后期编辑带来的原始视频泄露风险，要求从开始摄录时就必须进行全程防泄漏处理。本发明中，在会议或采访时，当存在特殊人物时，特定人物的照片由客户端后端上传并下发至对应摄像机，摄像机自动对该人物视频检测、识别和跟踪，并对检测到的特殊人物作脸部加扰后再编码输出视频流。

本发明方法具体步骤是：

(1).采集特殊人物的视频图像，包括特殊人物的多个人体全身、人脸特写的短视频和图片，组成比对基准视频图片；

(2).提取视频图像中的人像目标的特征向量：客户端汇聚采集到的特殊人物的短视频和图片，并以客户端调用AI算法，以基于深度学习的卷积神经网络训练模型提取特殊人物的人像的特征向量，包括人脸特征向量和人体特征向量；

(3).下发特征向量：通过客户端与前端摄像机的通信接口，将该特殊人物的视频图像的人脸或人脸+人体特征向量下发至前端摄像机；

(4).前端摄像机进行人脸检测与识别：前端摄像机调用人脸识别算法，对采集到的视频图像进行人脸识别、人体识别或者人脸+人体融合识别，并将检测识别出的人脸或人脸+人体提取相应的特征向量，与下发的特殊人物的特征向量进行比对；

(5).前端摄像机进行人脸或人脸+人体比对：前端摄像头调用比对函数，对采集到的人脸或人脸+人体相应的特征向量与下发的特殊人物的人脸或人脸+人体特征向量进行相似度比对，并进行相似性判别；当相似度大于等于阈值τ时，认为特殊人物，70≤τ≤80﹪；

(6).人脸区域视频加扰处理：根据检测出的特殊人物的人脸区域，调用视频加扰算法，对特殊人物的人脸区域进行视频加扰，视频加扰方法采用局部模糊化、局部替代覆盖、人脸马赛克处理，或采用特殊图案覆盖方式处理；

(7).加扰后的视频编码：前端摄像机将经过对特殊人物人脸区域视频加扰处理后的视频进行编码，形成有人脸加扰处理效果的视频流；

(8).视频编辑与播放：对外传播的部门收到经过对殊人物人脸区域视频加扰处理后的视频进行编辑和播放。

本发明有益效果包括：

1、本发明方法实现了对特殊人物参会录像/被报道过程的全流程保护，避免曝光及泄露；

2、本发明方法直接在摄像头采集原始视频时就实现了对特殊人物的人脸加扰处理，减少后续曝光及泄露的风险；

3、本发明方法发送给前端摄像机的基准信息是特殊人物的特征向量，无法解析还原，防止摄像人员的泄露风险。

具体实施方式

一种基于视频智能分析检测特殊人员脸部加扰编码的方法，该方法包括：

在摄像机前端完成视频加扰及编码处理，直接输出特殊人物人脸加扰视频流；

以解析算法对特殊人物提取特征向量、并以特征向量形式下发至摄像机，不发送真实图片或视频；

除了采集特殊人物的视图信息及会议现场可见特殊人物外，从摄像机采集视频流输出后的全流程均不可识别特殊人物；

对特殊人物的人脸、人脸+人体的多种融合解析，提取融合特征向量；

对视频采集中的特殊人物进行人脸、人脸+人体的多种融合解析识别，提高解析识别可信度；

采用“软件定义”摄像机，提高前端摄像机对于解析系统的广泛适应性；

若摄像机不支持人脸识别比对，则以人脸抠图+序列号的方式发送给服务器比对，服务器以序列号回复的方式告诉摄像机，摄像机进行跟踪加扰。

如果摄像机采用编码缓存的方式，则解码进行跟踪，若当前视频帧不存在特定新增人脸，则将原先已经编码的视频帧封装发送，否则加扰后再编码，替换原先的视频帧，封装发送。

该方法具体步骤是：

(1).采集特殊人物的视频图像(短视频、图片)：通过手机APP、数码相机、PC电脑的联机摄像头等装置采集特殊人物的人像图片，包含特殊人物的多个人体全身、人脸特写的短视频和图片，组成比对基准视频图片。

采集由指定的授权保密部门执行，为了增加比对效果，同时采集人体及行动的短视频。

(2).提取视频图像中的人像目标的特征向量：客户端汇聚采集到的特殊人物的短视频和图片，并以客户端调用AI算法，以基于深度学习的卷积神经网络训练模型提取特殊人物的人像的特征向量，包括人脸特征向量和人体特征向量。

提取特征向量的目的是为了防止正常下发比对基准图片后，图片可能被泄露与曝光。特征向量无法逆向还原出原始视频图像，但是能作为比对识别的基准信息，可以实现防止原始图片的意外泄露。

(3).下发特征向量：通过客户端与前端摄像机的通信接口(可采用GA/T1400-2017《公安视频图像信息应用系统》标准接口协议)，将该特殊人物的视频图像的人脸或人脸+人体特征向量下发至前端摄像机。

前端摄像机预装了视图智能算法，并以标准接口或私有定制接口进行基准特征向量的传输与检测识别。目前已经有大量的软件定义摄像机面市，可以对前端摄像机安装指定算法。

(4).前端摄像机进行人脸检测与识别：前端摄像机调用人脸识别算法，对采集到的视频图像进行人脸识别、人体识别或者人脸+人体融合识别，并将检测识别出的人脸或人脸+人体提取相应的特征向量，与下发的特殊人物的特征向量进行比对。

在前端摄像机实现比对识别和加扰，可以防止采集的原始视频在流转过程中的泄露风险。

(5).前端摄像机进行人脸或人脸+人体比对：前端摄像头调用比对函数，对采集到的人脸或人脸+人体相应的特征向量与下发的特殊人物的人脸或人脸+人体特征向量进行相似度比对，并进行相似性判别，当相似度大于等于阈值τ时认为是特殊人物，70≤τ≤80﹪。

在前端摄像机实现比对识别和加扰，就是为了防止采集的原始视频在流转过程中的泄露风险；为了防止人脸识别对于正脸率的要求，前摄像机同时采用了人脸+人体的融合识别方法，增加对严重侧脸、后脑勺的检测，一并进行头部加扰处理，减少任何可能暴露身份的头部特征。

(6).人脸区域视频加扰处理：根据检测出的特殊人物的人脸区域，调用视频加扰算法，对特殊人物的人脸区域进行视频加扰，视频加扰方法采用局部模糊化、局部替代覆盖、人脸马赛克处理，或采用特殊图案覆盖方式处理。

对特殊人物的人脸加扰处理以不能识别出原人员为最低标准。

(7).加扰后的视频编码：前端摄像机将经过对特殊人物人脸区域视频加扰处理后的视频进行编码，形成有人脸加扰处理效果的视频流。

前端摄像机直接对经过视频加扰处理的视频进行编码，形成特殊人物人脸区域人脸加扰处理效果的视频流，此后所有流转该视频流的人均无法看清特殊人物的真实人脸，实现全流程的安全管控。

(8).视频编辑与播放：对外传播的部门收到经过对殊人物人脸区域视频加扰处理后的视频进行编辑(按传播需要可以OSD叠加经过化名等处理的特殊人物标识)和播放。

传播部门的后期制作均无法看清特殊人物的人脸，对于传播效果需要可对特殊人物的姓名/单位等进行化名处理，以OSD或语音旁白的形式辅助说明。

OSD(On Screen Display)是应用在CRT/LCD显示器上，在显示器的荧幕中产生一些特殊的字形或图形，让使用者得到一些讯息。常见于家用电视机或个人PC电脑之显示荧幕上，当使用者操作电视机换台或调整音量、画质等，电视荧幕就会显示目前状态让使用者知道，此控制IC可在荧幕上的任何位置显示一些特殊字形与图形，成为人机界面上重要的讯息产生装置。作为一种视频字符叠加显示技术，将文字信息以悬浮的形式叠加在视频监控的图像中，在视频监控中，主要是指视频采集时间、点位位置属性信息、电围采集的手机号码等相关信息。

当摄像机不支持人脸识别比对，但支持从视频图像中检测并提取人脸小图时，采用如下方案。

(1).当摄像机采集的视频中存在人脸，或新增人脸，则停止编码，将视频图像的原图缓存在本地；或者先编码，将编码后的视频文件保存在本地，不发送；

(2).摄像机将新增的人脸检测并提取小图，若存在多张人脸，则分别进行标记(例如序号)，将标记附加在对应的人脸小图对应的文件上，发送给后端服务器；

(3).后端服务器收到人脸小图文件后，进行本地比对，若发现与特定的人脸匹配，则将对应人脸的标记发送给摄像机；

(4).摄像机收到人脸序号标记后，跟踪对应的人脸，并对该人脸(部位)进行加扰，然后再进行视频编码：

如果摄像机采用的是本地缓存原图方式，则直接在原图序列中跟踪人脸，加扰后编码；

如果摄像机采用的是编码后缓存的方式，则先解码，跟踪对应人脸；若当前视频帧不存在对应的人脸，则将已经编码后的视频帧封装发送，若遇到某一视频帧存在对应的人脸，则将该帧的人脸加扰后再编码，并将编码后的视频帧替换再封装发送。

Claims (1)

1.基于视频智能分析检测特殊人员脸部加扰编码的方法，其特征在于该方法具体步骤是：

(1).采集特殊人物的视频图像，包括特殊人物的多个人体全身、人脸特写的短视频和图片，组成比对基准视频图片；

(2).提取视频图像中的人像目标的特征向量：客户端汇聚采集到的特殊人物的短视频和图片，并以客户端调用AI算法，以基于深度学习的卷积神经网络训练模型提取特殊人物的人像的特征向量，包括人脸特征向量和人体特征向量；

(3).下发特征向量：通过客户端与前端摄像机的通信接口，将该特殊人物的视频图像的人脸或人脸+人体特征向量下发至前端摄像机；

(4).前端摄像机进行人脸检测与识别：前端摄像机调用人脸识别算法，对采集到的视频图像进行人脸识别、人体识别或者人脸+人体融合识别，并将检测识别出的人脸或人脸+人体提取相应的特征向量，与下发的特殊人物的特征向量进行比对；

(5).前端摄像机进行人脸或人脸+人体比对：前端摄像头调用比对函数，对采集到的人脸或人脸+人体相应的特征向量与下发的特殊人物的人脸或人脸+人体特征向量进行相似度比对，并进行相似性判别，当相似度大于等于阈值τ时，认为是特殊人物，70≤τ≤80﹪；

(6).人脸区域视频加扰处理：根据检测出的特殊人物的人脸区域，调用视频加扰算法，对特殊人物的人脸区域进行视频加扰，视频加扰方法采用局部模糊化、局部替代覆盖、人脸马赛克处理，或采用特殊图案覆盖方式处理；

(7).加扰后的视频编码：前端摄像机将经过对特殊人物人脸区域视频加扰处理后的视频进行编码，形成有人脸加扰处理效果的视频流；

(8).视频编辑与播放：对外传播的部门收到经过对殊人物人脸区域视频加扰处理后的视频进行编辑和播放；

当摄像机不支持人脸识别比对，但支持从视频图像中检测并提取人脸小图时，采用如下方案：

(i).当摄像机采集的视频中存在人脸，或新增人脸，则停止编码，将视频图像的原图缓存在本地；或者先编码，将编码后的视频文件保存在本地，不发送；

(ii).摄像机将新增的人脸检测并提取小图，若存在多张人脸，则分别进行标记，将标记附加在对应的人脸小图对应的文件上，发送给后端服务器；

(iii).后端服务器收到人脸小图文件后，进行本地比对，若发现与特定的人脸匹配，则将对应人脸的标记发送给摄像机；

(iv).摄像机收到人脸序号标记后，跟踪对应的人脸，并对该人脸进行加扰，然后再进行视频编码：

如果摄像机采用的是本地缓存原图方式，则直接在原图序列中跟踪人脸，加扰后编码；

如果摄像机采用的是编码后缓存的方式，则先解码，跟踪对应人脸；若当前视频帧不存在对应的人脸，则将已经编码后的视频帧封装发送，若遇到某一视频帧存在对应的人脸，则将该帧的人脸加扰后再编码，并将编码后的视频帧替换再封装发送。