CN108921104A - 基于人脸识别的流动人群视频监控方法 - Google Patents

Abstract

本发明提供一种基于人脸识别的流动人群视频监控方法，通过人脸识别监控摄像头采集到实时数字视频，对实时数字视频中的原始图像进行预处理，筛选出可用于比对识别的人脸的图像，将获得的可用于比对识别的人脸的图像通过电信网传送给控制平台；控制平台接入人脸服务器对这些人脸图像进行识别；本发明能够在超高分辨率的数字视频图像中，实时找出人脸图像，并控制摄像头光学镜头和云台跟踪放大有价值的人脸，进行最佳状态抓拍，为远方的后台人脸识别服务器或便携设备提供高价值的人脸图像，极大地降低所需传输的数据量，提高监控系统的人脸识别准确率和速度。

Description

基于人脸识别的流动人群视频监控方法

技术领域

本发明涉及一种基于人脸识别的流动人群视频监控方法。

背景技术

现有人脸识别服务器可以做到两张人脸图片的比对，通常是一张实时拍到的人脸图像，和一张数据库里的标准证件照片比较，找出现在这个人是谁，比如飞机场和高铁站，要求旅客正对安检摄像头足够长的时间拍照，然后和提交的身份证比对，确认是同一个人。

然而，在更多的应用场景，比如公共场所监控系统和执法仪等，不可能要求每一个路过的人都站到摄像头前面拍张标准照，然后等待几十秒让服务器识别。在监控系统和执法仪上，摄像头得到的图像错综复杂，瞬息万变，很多时候根本连人脸都看不见。而且摄像头安装的位置都远离控制平台，如何把高分辨率数字视频图像送到人脸识别服务器，以及如何获得人脸图像是监控系统实现人脸识别的瓶颈。

为解决高分辨率数字视频图像传输的问题，现在的做法有两种，一种是把人脸识别服务器放到摄像头安装的地方，摄像头的高分辨率视频图像直接接入服务器对图像进行处理和识别；另外一种方法是把摄像头的高清数字视频图像进过压缩处理后，通过专用有线高速通道送到远方的控制平台，再接入到人脸识别服务器进行处理和识别。

以上这两种方法都不能满足实际应用的要求。在前一种方案中，每个摄像头都在现场安装一台昂贵的服务器不现实，而且服务器中的数据库是保密性要求非常高的证件等信息，很容易造成泄密，再加上这些数据库的内容是由控制平台控制的，也就是说这些分布在各个摄像头的服务器必须和控制平台的内网连接，这不能满足网络安全的要求。在后一种方案中，由于数字视频图像的数据量极大，4K高分辨率视频图像大约有每秒12Gb的数据。这样大的数据量没法在现有的电信通道内传输，需要用H.265等压缩算法压缩到原来的千分之一以下，才能在专用有线通道里传输。但是，高分辨率视频图像经过压缩后，图像的细节大量被丢失，极大地降低了人脸识别的准确度，尤其是当图像中有多个人脸时，每个人脸的信息量被压缩后没办法识别。在执法仪等可穿戴设备中，由于传输方式只能是无线，而且只能是电池供电，图像传输问题更加严重，摄像头的视频图像需要万分之一以下才有可能传输。而且无线传输费用非常高，不能满足实用要求。

参考图1所示，图1为现有人脸识别系统的结构示意图，服务器和图像采集摄像头在同一个地方，服务器把摄像头采集到的图像进行滤波，物体分离，人脸检测等处理，把人脸分离出来后，与身份证的图片进行比较，确认是同一个人。这样的系统结构可用于机场和高铁等特制的安检卡口，因为这些地方属于专门的安全场所，有足够的空间，有专人看守，服务器和数据库都比较安全。但这样的系统不能用在公共场所监控系统，比如道路，广场，商场等地方，安装摄像头的地方没有地方放服务器。即使有地方放服务器，也存在很大的安全隐患，不能满足应用要求。尤其是服务器需要与远方的控制平台网络连接，这些网络上的证件等数据都属于保密数据，外部设备存取这些内网的数据会造成很多安全漏洞，违反数据安全规定。

参考图2所示，表示另一种现有人脸识别系统的结构示意图，图像采集摄像头通过专用电信网，把视频图像送到远方的控制平台，服务器把摄像头采集到的图像进行滤波，物体分离，人脸检测等处理，把人脸分离出来后，与身份证的图片进行比较，找出过往人的详细信息。但要把高分辨率的数字视频图像传输到远方，必须经过大量压缩，比如H.265等算法，把数据量压缩到原来的千分之一以下，结果是图像的大量细节被丢失，很多时候只能看到模糊的人影，对人脸识别的准确度别造成严重影响。而且这样的系统中图像的延迟很长，通常要几秒钟，等控制平台识别出人脸时，被检查的人都已经离开了现场，不能满足高要求的人脸识别应用。

在以上两种系统结构中，服务器花费大量的运算资源用来处理高分辨率数字视频，即使这样也只能处理一百二十分之一的图像，也就是说，检测到图像中人脸的可能性小于1%，所以要求人脸正对摄像头大于两秒的时间，才能找到一张有效的人脸图像。

人脸识别是一个非常复杂和耗时的过程，要求高性能的服务器硬件和人工智能软件。按现有的计算能力，处理一张4K分辨率的数字图像，确定是否有可识别的人脸存在，大概需要2秒，如果有可识别的人脸存在，把人脸分离出来，处理成为可以和证件照片进行比对的格式，每个人脸图像大概需要1秒。之后再经过复杂的人工智能算法与证件上的照片进行比对，确定是否一致。然而数字视频是每秒60幅图像，这就造成人脸识别服务器只能在每120幅图像中处理一幅图像。这一幅被处理的图像在视频流里面完全是随机的。也就是说为保证找到一张能够用于识别比对的人脸图像人必须保持脸正对摄像头2秒以上。然后经过几秒钟能够确定人脸是否和证件一致。这能够满足机场和高铁安检系统的应用，可以要求每个旅客正对摄像头几秒钟进行识别。但是在公众监控系统和执法仪等穿戴设备里，这样的要求满足不了。视频图像里有很多人，而且都在不停地移动，面对摄像头的机会很少时间很短。人脸识别服务器随机处理120幅图像中的一幅图像，能够找到可以识别的人脸的机会很小，而且浪费很多计算资源用于处理没有价值的图像。

上述问题是在流动人群的视频监控过程中应当予以考虑并解决的问题。

发明内容

本发明的目的是提供一种基于人脸识别的流动人群视频监控方法解决现有技术中存在的如何对流动人群进行快速准确的高分辨率视频监控的问题。

本发明的技术解决方案是：

一种基于人脸识别的流动人群视频监控方法，

通过人脸识别监控摄像头采集到实时数字视频，对实时数字视频中的原始图像进行预处理，筛选出可用于比对识别的人脸的图像；

人脸识别监控摄像头将获得的可用于比对识别的人脸的图像通过电信网传送给控制平台；

控制平台通过电信网接收前端监控设备传送的人脸图像，接入人脸服务器对这些人脸图像进行识别。

进一步地，人脸识别监控摄像头中，光学镜头与图像传感器采集到的实时数字视频通过高清数字视频控制器接入人脸图像预处理及抓拍模块；

人脸图像预处理及抓拍模块对实时数字视频预处理后，筛选出可用于比对识别的人脸的图像，或者通过控制云台和光学镜头跟踪抓拍最佳状态的人脸图像，然后人脸图像预处理及抓拍模块将筛选出的可用于比对识别的人脸的图像，通过图片缓存模块进行缓存并通过网络接口传送给控制平台。

进一步地，人脸图像预处理及抓拍模块对实时数字视频进行图像预处理，具体为，利用差分技术分离原始图像的前景和背景，将原始图像的中前景图像与背景图像进行分离，得到前景图像，对前景图像与高通滤波模板进行卷积运算找出物体的边界轮廓，根据轮廓的连续性与封闭性分离出独立的物体，对每个物体的图像进行归一化处理，再与人脸特征模板进行卷积运算，得到物体图像。

进一步地，人脸图像预处理及抓拍模块筛选出可用于比对识别的人脸的图像，具体为，在对实时数字视频进行图像预处理后，得到物体图像，判断该物体图像是否为正面人脸，如果是，再看人脸图像的清晰度，如果清晰度不低于设定值，则筛选出可用于比对识别的人脸的图像。

进一步地，人脸图像预处理及抓拍模块捕获最佳状态人脸图像，具体为，在对实时数字视频进行图像预处理后，得到物体图像，判断该物体图像是否为正面人脸，如果是，再看人脸图像的清晰度，如果清晰度低于设定值，控制云台对准该人脸位置，并控制光学镜头放大并聚焦到该人脸，然后根据人脸图像与正面睁眼人脸特征模板卷积的结果，捕获最佳状态的人脸图像。

进一步地，人脸图像预处理及抓拍模块中，对实时数字视频进行图像预处理后，得到物体图像，判断该物体图像是否为正面人脸，如果是该物体图像不是正面人脸，则删除该物体图像。

本发明的有益效果是：

一、该种基于人脸识别的流动人群视频监控方法，能够在超高分辨率的数字视频图像中，实时找出人脸图像，并控制摄像头云台和光学镜头跟踪放大有价值的人脸，进行最佳状态抓拍，为远方的后台人脸识别服务器或便携设备提供高价值的人脸图像，极大地降低所需传输的数据量，提高监控系统的人脸识别准确率和速度。

二、本发明利用高速数字图像处理技术，在人脸识别摄像头当地的实时数字视频中把人面图像从背景图像中分离出来，控制人脸识别摄像头跟踪并放大有价值的人面，当得到完整清晰的人面图像时，抓拍保存该人面图像，并通过手机无线网等通信网，把人面图像送到远方后台服务器进行识别，为人脸识别系统进行前端高速视频图像预处理，筛选并捕获清晰的人面图像，极大地提高后台人体识别服务器的效率，并滤除大约占视频数据总量99.99%的垃圾图像，很好地解决摄像头传输到远方后台服务器所需通信带宽与图像清晰度的矛盾。

三、本发明中，人脸识别监控摄像头采集到的数字视频接入预处理芯片，经过实时数字视频预处理后，筛选出有效的人脸图像，或者控制云台和光学镜头跟踪抓拍最佳人脸图像，然后把这些有效的图像，通过电信网传输到控制平台，接入人脸服务器对这些图像进行识别。数字视频图像经过筛选后，有效的人脸图像数据大约仅有原始视频数据量的万分之一，可以有效地利用现有的电信网络或者无线网络传输。而且由于摄像头完成了物体识别和人脸图像筛选等工作，人脸识别服务器可以把运算能力充分用于人脸比对识别等后续工作，一台服务器可以处理多个摄像头的输入图像，大大节省了昂贵的服务器的资金投入。

附图说明

图1是现有的人脸识别服务器在监控当地的系统的结构示意图。

图2是现有的人脸识别服务器在控制平台的系统的结构示意图。

图3是本发明人脸识别监控视频的图像预处理方法的流程示意图。

图4是本发明实施例中人脸图像预处理及抓拍模块对实时数字视频进行图像预处理的流程示意图。

图5是本发明实施例基于人脸识别的流动人群视频监控系统的说明框图。

图6是实施例中人脸识别监控摄像头的说明示意图。

具体实施方式

下面结合附图详细说明本发明的优选实施例。

实施例

实施例的一种基于人脸识别的流动人群视频监控方法，把人脸识别系统根据功能和复杂程度分为前端监控设备与控制平台两部分：前端监控设备进行高分辨率数字视频图像预处理与后台人脸识别控制平台，使得前端能够在图像产生的地方，在传输之前对视频图像处理，筛选出有价值的人脸图像，滤掉99.9%以上的无用数据，并控制云台及光学镜头，捕获高清晰度的人脸图像，仅仅把有价值的图像进过有线或无线通道送到远方的后台服务器，对人脸图像进行进一部处理和识别。

一种基于人脸识别的流动人群视频监控方法，如图3：

通过人脸识别监控摄像头采集到实时数字视频，对实时数字视频中的原始图像进行预处理，筛选出可用于比对识别的人脸的图像；

人脸识别监控摄像头将获得的可用于比对识别的人脸的图像通过电信网传送给控制平台；

控制平台通过电信网接收前端监控设备传送的人脸图像，接入人脸服务器对这些人脸图像进行识别。

该种基于人脸识别的流动人群视频监控方法，对实时数字视频的图像经过筛选后，可用于比对识别的人脸的图像数据大约仅有原始视频数据量的万分之一，可以有效地利用现有的电信网络或者无线网络传输。而且由于人脸识别监控摄像头完成了物体识别和人脸图像筛选等工作，人脸识别服务器可以把运算能力充分用于人脸比对识别等后续工作，一台服务器可以处理多个摄像头的输入图像，大大节省了昂贵的服务器的资金投入。该种基于人脸识别的流动人群视频监控方法，能够解决人脸识别中遇到的高分辨率视频图像传输问题和有效人脸图像捕获问题。

该种基于人脸识别的流动人群视频监控方法，能够在庞大的视频图像数据中找出并捕捉到对人脸识别有价值的人脸图像，从而筛选掉大量的重复、无用图像，为后台人脸识别服务器提供重要的清晰的图像，极大提高识别速度和准确度。

实施例中，如图5，人脸识别监控摄像头包括云台、光学镜头、图像传感器、高清数字视频控制器、人脸图像预处理及抓拍模块、图片缓存模块和网络接口。光学镜头与图像传感器采集到的实时数字视频通过高清数字视频控制器接入人脸图像预处理及抓拍模块。人脸图像预处理及抓拍模块对实时数字视频预处理后，筛选出可用于比对识别的人脸的图像，或者通过控制云台和光学镜头跟踪抓拍最佳状态的人脸图像，然后人脸图像预处理及抓拍模块将筛选出的可用于比对识别的人脸的图像，通过图片缓存模块进行缓存并通过网络接口传送给控制平台。

如图5，实施例把人脸图像预处理及抓拍模块与人脸识别监控摄像头集成一体。在这样的系统中，摄像头采集到的实时数字视频接入人脸图像预处理及抓拍模块，经过实时数字视频预处理后，筛选出可用于比对识别的人脸的图像，或者控制云台和光学镜头跟踪抓拍最佳人脸图像，然后把这些有效的图像，通过电信网传输到控制平台，接入人脸服务器对这些图像进行识别。

实施例中，光学镜头接入4K高分辨率图像传感器，图像传感器把光图像信号转换成电信号，经过高清数字视频控制器，把图像信号编码成为每秒50或者60幅数字视频，然后接入人脸图像预处理及抓拍模块。人脸图像预处理及抓拍模块搜索每一幅图像里的人脸，如果人脸足够清晰，有足够像素，就把该人脸送到后级的人脸图像缓存模块，然后经过网络接口送到控制平台。控制平台接入人脸识别服务器进行人脸比对。

实施例中，如图4，人脸图像预处理及抓拍模块对实时数字视频进行图像预处理，具体为，利用差分技术分离原始图像的前景和背景，将原始图像的中前景图像与背景图像进行分离，得到前景图像，对前景图像与高通滤波模板进行卷积运算找出物体的边界轮廓，根据轮廓的连续性与封闭性分离出独立的物体，对每个物体的图像进行归一化处理，再与人脸特征模板进行卷积运算，得到物体图像。

人脸图像预处理及抓拍模块筛选出可用于比对识别的人脸的图像，具体为，在对实时数字视频进行图像预处理后，得到物体图像，判断该物体图像是否为正面人脸，如果是，再看人脸图像的清晰度，如果清晰度不低于设定值，则筛选出可用于比对识别的人脸的图像。

人脸图像预处理及抓拍模块捕获最佳状态人脸图像，具体为，在对实时数字视频进行图像预处理后，得到物体图像，判断该物体图像是否为正面人脸，如果是，再看人脸图像的清晰度，如果清晰度低于设定值，控制云台对准该人脸位置，并控制光学镜头放大并聚焦到该人脸，然后根据人脸图像与正面睁眼人脸特征模板卷积的结果，捕获最佳状态的人脸图像。

人脸图像预处理及抓拍模块中，对实时数字视频进行图像预处理后，得到物体图像，判断该物体图像是否为正面人脸，如果是该物体图像不是正面人脸，则删除该物体图像。

实施例中，高分辨率视频图像进过前端的人脸图像预处理及抓拍模块后，滤掉大量的无关图像数据，仅筛选并捕获高分辨率的人脸图像送到远方控制平台，极大地降低了所需要传输的数据量，同时提供了高质量的人脸图像，减轻了后台服务器的负担，能够把计算处理资源用于人脸识别，提高识别效率和速度。

实施例中，人脸图像预处理及抓拍模块集成到人脸识别监控摄像头里，直接处理原始数字视频图像，利用差分技术分离图像的前景和背景，对前景图像与高通滤波模板进行卷积运算找出物体的边界轮廓，根据轮廓的连续性与封闭性分离出独立的物体，对每个物体的图像进行归一化处理，再与人脸特征模板进行卷积运算，判断该物体是否为正面人脸，如果是再看人脸图像的清晰度，如果清晰度不够，就控制云台对准该人脸位置，并控制光学镜头放大并聚焦到该人脸，然后根据人脸图像与正面睁眼人脸特征模板卷积的结果，捕获最佳状态人脸图像，然后送给远方后台服务器进一步识别处理。能够实现处理每秒60幅4K的高分辨率视频图像，实时处理每一幅图像，找到任何有用的人脸图像信息，而且能够在一幅图像多达80个人脸图像的情况下，快速控制云台和光学镜头分别捕捉每个有价值的人面图像。

实施例中，利用高速ASIC实现每秒实时处理60幅4K分辨率的高清数字图像，对图像进行差分运算滤除背景图像，然后进行卷积滤波提取物体轮廓，从图像中分离出多个物体，对分离出来的物体与人脸特征进行比对，排除非人脸的物体，从而把人面从视频图像中分离出来，能从每幅图像中辨出多达80个人面。

当人脸图像从视频中检测到并分离出来后，根据人脸特征判断人脸与摄像头的角度，挑选出正对摄像头方向的人脸，控制摄像头的云台跟踪，对准，并调整光学镜头聚焦，放大该人脸，在五官状态最佳的情况下抓拍该人脸图像。

实施例还提供一种基于人脸识别的流动人群视频监控系统，如图5，包括前端监控设备和控制平台。

前端监控设备：通过人脸识别监控摄像头采集到实时数字视频，对实时数字视频中的原始图像进行预处理，筛选出可用于比对识别的人脸的图像，将获得的可用于比对识别的人脸的图像通过电信网传送给控制平台。

控制平台：通过电信网接收前端监控设备传送的人脸图像，接入人脸服务器对这些人脸图像进行识别。

参考图5和图6所示，实施例针对新兴的人脸识别及人工智能视觉的需求，提出把人脸抓拍和数字图像视频预处理用专用芯片实现的方法，和把视频预处理集成到摄像头、执法仪和可穿戴设备里，然后把抓拍到的高质量人脸图像剪切后，经过有线或者无线网络送到远方控制平台对人脸图像进行比对识别的系统结构。在这样的系统中，光学系统和高分辨率图像传感采集到的数字视频图像经过实时处理，筛选出有价值的人脸图像，并控制光学镜头和云台，跟踪并抓拍高质量的人脸图像，极大地降低需要传输的数据量，分担远方控制平台的后台人脸识别服务器的视频处理负担，极大提高人脸图像识别速度，准确度和效率。

而除上述以外，还需要说明的是在本说明书中所谈到的“一个实施例”、“另一个实施例”、“实施例”等，指的是结合该实施例描述的具体特征、结构或者特点包括在本申请概括性描述的至少一个实施例中。在说明书中多个地方出现同种表述不是一定指的是同一个实施例。进一步来说，结合任一实施例描述一个具体特征、结构或者特点时，所要主张的是结合其他实施例来实现这种特征、结构或者特点也落在本发明的范围内。

尽管这里参照本发明的多个解释性实施例对本发明进行了描述，但是，应该理解，本领域技术人员可以设计出很多其他的修改和实施方式，这些修改和实施方式将落在本申请公开的原则范围和精神之内。更具体地说，在本申请公开、附图和权利要求的范围内，可以对主题组合布局的组成部件和/或布局进行多种变型和改进。除了对组成部件和/或布局进行的变型和改进外，对于本领域技术人员来说，其他的用途也将是明显的。

Claims (6)

1.一种基于人脸识别的流动人群视频监控方法，其特征在于：

通过人脸识别监控摄像头采集到实时数字视频，对实时数字视频中的原始图像进行预处理，筛选出可用于比对识别的人脸的图像；

人脸识别监控摄像头将获得的可用于比对识别的人脸的图像通过电信网传送给控制平台；

控制平台通过电信网接收前端监控设备传送的人脸图像，接入人脸服务器对这些人脸图像进行识别。

2.如权利要求1所述的基于人脸识别的流动人群视频监控方法，其特征在于，人脸识别监控摄像头中，光学镜头与图像传感器采集到的实时数字视频通过高清数字视频控制器接入人脸图像预处理及抓拍模块；

人脸图像预处理及抓拍模块对实时数字视频预处理后，筛选出可用于比对识别的人脸的图像，或者通过控制云台和光学镜头跟踪抓拍最佳状态的人脸图像，然后人脸图像预处理及抓拍模块将筛选出的可用于比对识别的人脸的图像，通过图片缓存模块进行缓存并通过网络接口传送给控制平台。

3.如权利要求2所述的基于人脸识别的流动人群视频监控方法，其特征在于：人脸图像预处理及抓拍模块对实时数字视频进行图像预处理，具体为，利用差分技术分离原始图像的前景和背景，将原始图像的中前景图像与背景图像进行分离，得到前景图像，对前景图像与高通滤波模板进行卷积运算找出物体的边界轮廓，根据轮廓的连续性与封闭性分离出独立的物体，对每个物体的图像进行归一化处理，再与人脸特征模板进行卷积运算，得到物体图像。

4.如权利要求2所述的基于人脸识别的流动人群视频监控方法，其特征在于：人脸图像预处理及抓拍模块筛选出可用于比对识别的人脸的图像，具体为，在对实时数字视频进行图像预处理后，得到物体图像，判断该物体图像是否为正面人脸，如果是，再看人脸图像的清晰度，如果清晰度不低于设定值，则筛选出可用于比对识别的人脸的图像。

5.如权利要求2-4任一项所述的基于人脸识别的流动人群视频监控方法，其特征在于：人脸图像预处理及抓拍模块捕获最佳状态人脸图像，具体为，在对实时数字视频进行图像预处理后，得到物体图像，判断该物体图像是否为正面人脸，如果是，再看人脸图像的清晰度，如果清晰度低于设定值，控制云台对准该人脸位置，并控制光学镜头放大并聚焦到该人脸，然后根据人脸图像与正面睁眼人脸特征模板卷积的结果，捕获最佳状态的人脸图像。

6.如权利要求2-4任一项所述的基于人脸识别的流动人群视频监控方法，其特征在于：人脸图像预处理及抓拍模块中，对实时数字视频进行图像预处理后，得到物体图像，判断该物体图像是否为正面人脸，如果是该物体图像不是正面人脸，则删除该物体图像。