CN109302586A - 一种结构化人脸抓拍相机及相应视频监控系统 - Google Patents

Abstract

本发明公开了一种结构化人脸抓拍相机及相应视频监控系统，相机包括依次连接的图像采集单元、结构化处理单元、数据提取单元和通信单元，数据提取单元还连接图像采集单元；图像采集单元采集图像数据，并从图像数据中提取出人脸图像；结构化处理单元对人脸图像进行结构化处理，得到结构化人脸数据；数据提取单元获取结构化人脸数据，还获取图像采集单元提取的人脸图像和相应的视频流数据；通信单元将数据提取单元获取的结构化人脸数据、人脸图像或视频流数据发送到后端服务器。系统包括后端服务器和其连接的至少一台相机，后端服务器用于在相机发送的数据中检索高位目标。本设计可快速、及时地输出高质量数据，节省后端存储空间。

Description

一种结构化人脸抓拍相机及相应视频监控系统

技术领域

本发明涉及安防领域，尤其是一种结构化人脸抓拍相机及相应视频监控系统。

背景技术

在安防领域，尤其是安防监控领域中，多采用人脸识别系统进行目标的统计、筛选和查找。

目前的基于人脸识别系统的安监系统多采用以下方式：设置前端图像采集设备和后端数据处理设备，前端设备仅采集图像，然后将采集的图像进行编码、压缩，通过网络（有线高带宽网络）将监控传输到后端处理设备，后端处理设备对接收的数据进行反向解压缩、解码后，进一步对图像数据进行处理。该方式存在如下问题：1、前端设备传输的数据为有损压缩，会造成图像质量的损失，这样会影响到后端输出结果的质量；2、后端处理设备需要先行对前端识别传输的数据进行缓存，再进一步解压、解码，才能对数据进行处理，处理速度慢，延时太高，不具备高实时性，同时由于需要先行存储前端传输的数据，则需要配置庞大的存储空间。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供一种将数据处理集成于前端的结构化人脸抓拍相机及相应的视频监控系统，以及时、快速地输出高质量图像数据。

本发明采用的技术方案如下：

一种结构化人脸抓拍相机，包括依次连接的图像采集单元、结构化处理单元、数据提取单元和通信单元，数据提取单元还连接图像采集单元，其中：

图像采集单元被配置为：通过摄像头采集图像数据，并从图像数据中提取出人脸图像；

结构化处理单元被配置为：对人脸图像进行结构化处理，得到结构化人脸数据；

数据提取单元被配置为：获取结构化处理单元输出的结构化人脸数据，还获取图像采集单元提取的人脸图像，并基于获取的人脸图像，在图像采集单元采集的图像数据中提取相应的视频流数据；

通信单元被配置为：将数据提取单元获取的结构化人脸数据、人脸图像或视频流数据中的至少一项数据发送到后端服务器。

进一步的，图像采集单元从图像数据中提取出人脸图像具体为：实时从每一帧图像中对人脸进行定位，并实时提取出定位区域的人脸图像；

或者为：从采集到的图像数据中依次获取帧图像，并依次从获取的每一帧帧图像中对人脸进行定位，并提取出定位区域的人脸图像。

进一步的，图像采集单元从图像数据中提取出人脸图像具体为：根据定位算法，提取不同帧中相同目标的人脸图像，并选取出的质量最好的人脸图像。

进一步的，数据提取单元提取的视频流数据开始时刻为提取到目标人脸图像的时刻，结束时刻为提取到人脸图像后的第N帧，其中，25≤N≤40。

进一步的，上述N=25。

进一步的，通信单元对所传输的各项数据设置有优先等级。

进一步的，通信单元优先传送结构化人脸数据。

为解决上述全部或部分问题，本发明提供了一种视频监控系统，包括至少一台上述结构化人脸抓拍相机，和通过网络连接每一台相机的后端服务器，后端服务器在接收到结构化人脸数据、人脸图像和视频流数据后，同预存的高危目标数据进行对比，在对比通过后，触发报警。

进一步的，后端服务器将接收的数据同预存的高危目标数据进行对比具体为：将结构化目标数据的各结构化标签同预设的高危目标数据进行对比检索，在检索到高危目标数据时，将结构化目标数据对应的人脸图像同检索到的高危目标数据进行相似度对比。

进一步的，后端服务器将接收的数据以该数据对应的目标出现的时间和结构化人脸数据的结构化标签分类进行目录式管理。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1、在前端直接处理所采集的图像数据，节省了压缩、编解码过程，避免了图像数据源的损耗，可以有效提高所提取的图像的质量，进而提高处理结果的数据质量。同时还节约了图像处理的流程，节省了数据提取时间，提高数据提取效率。

2、本设计相机采用前端图像处理方式，将所需要提取的数据均置于前端处理和提取，大幅度减小了通过网络传输的数据量，对网络传输带宽要求更低，不易造成网络拥塞，同时，因在前端对数据进行实时处理，实时保存有效数据，剔除无效数据，可以大幅度降低数据冗余，减少后端服务器为存储数据而配置的存储空间。

附图说明

本发明将通过例子并参照附图的方式说明，其中：

图1是结构化人脸抓拍相机构造图。

图2是视频监控系统的一个实施例。

图中，10为结构化人脸抓拍相机，20为网关设备，30为后端服务器。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

本说明书（包括任何附加权利要求、摘要）中公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。

如图1所示，本实施例公开了一种结构化人脸抓拍相机，该相机属于前端设备，包括依次连接的图像采集单元、结构化处理单元、数据提取单元和通信单元，数据提取单元还连接图像采集单元，其中：

图像采集单元被配置为：通过摄像头采集图像数据，该图像数据为摄像头采集的RAW格式数据经ISP处理后的RGB数据；并从图像数据中提取出人脸图像；需要注意的是，由于图像采集和人脸提取是在前端进行，该图像数据和提取的人脸图像都是基于未经压缩的无损图像数据，这样相较于传统方式，节省了压缩、编解码过程，避免了编解码造成的图像质量损耗，提高了所提取的图像的质量。对于从图像数据中提取出人脸图像，在一个实施例中，为实时从每一帧图像数据中对人脸进行定位，并实时提取出定位区域的人脸图像，即采集一帧，处理一帧。

结构化处理单元被配置为：对人脸图像进行结构化处理，得到结构化人脸数据；该结构化处理基于预设的结构化标签。所谓结构化处理，即通过结构化的标签对人脸图像进行描述，所描述的标签可以为性别、年龄、是否戴眼镜、是否戴帽子或是否戴口罩等。

数据提取单元被配置为：获取结构化处理单元输出的结构化人脸数据，还获取图像采集单元提取的人脸图像，并基于获取的人脸图像，在图像数据中提取相应的视频流数据；为节省传输的数据量和传输时间，所提取的视频流数据为压缩格式的数据。

通信单元被配置为：将数据提取单元获取的结构化人脸数据、人脸图像或视频流数据中的至少一项数据发送到后端服务器。优选的，为了避免因网络拥塞、带宽不足甚至异常断网等情况下，传输造成的数据延迟和异常，影响数据传输的准确性和及时性，通信单元对所传输的各项数据设置有优先等级，如设置优先传输结构化人脸数据。

本设计相机采用前端图像处理方式，将所需要提取的数据均置于前端处理和提取，大幅度减小了通过网络传输的数据量，对网络传输带宽要求更低，不易造成网络拥塞，同时，因在前端对数据进行实时处理，实时保存有效数据，剔除无效数据，可以大幅度降低数据冗余，减少后端服务器为存储数据而配置的存储空间。需要了解的是，目前通过后端服务器处理图像数据的方式需要先对前端传输的压缩数据流进行缓存，再进一步对压缩数据量进行解压、解码，进而进行处理，该方式会造成较大的网络延时和结果输出延时，而本设计的前端处理方式为实时处理方式，节省了网络传输、数据缓存、帧图像提取的步骤，可以极大地提高数据处理效率。

本实施例公开了另一种结构化人脸抓拍相机，该相机与上述实施例中的相机的区别仅在于从图像数据中提取出人脸图像的方式，在本实施例中，为：从图像数据中依次获取帧图像，并依次从获取的每一帧帧图像中对人脸进行定位，并提取出定位区域的人脸图像，即先缓存视频流后再依次处理。

优选的，图像采集单元从图像数据中提取出人脸图像具体为：根据跟踪算法，提取不同帧中相同目标的人脸图像，并选取出的质量最好的人脸图像。所谓的目标，即画面中出现的人，即：对帧图像中的每一个目标建立一个跟踪器，跟踪器对所述目标建立一个ID并预测目标在下一帧可能的位置，同时，跟踪器保存所述目标最近N帧的表观特征，具体为：

S1、进行人脸检测，同时，基于每一帧图像建立全局表观特征；

S2、根据每一帧的检测到的人脸的位置，在全局表观特征的对应位置提取该区域的特征作为人脸目标表观特征，这样可以降低跟踪所需要的时间，进而保证算法的实时性；

S3、使用当前帧的检测结果的全局表观特征与之前建立的所有跟踪器进行匹配，相似度匹配的度量标准为余弦距离。

匹配的时候为了减少匹配的计算量，如目标上一帧在某个位置，认为目标下一帧的位置应该就在该位置附近，我们会仅与附近的检测到的目标进行匹配。同时，基于表观特征匹配的方案可以对目标因为遮挡、转头等问题造成短暂丢失又重新出现的现象进行正确的跟踪。

S4、如果当前帧的检测检测结果与之前的跟踪器匹配成功，则更新目标对应的跟踪器（保存该目标的表观特征以及位置信息，位置信息用来进行下一帧的预测使用，表观特征作为下一帧的匹配时进行使用）。

S5、如果匹配失败，则认为当前目标是一个新的目标，则为该目标建立新的跟踪ID，同时保存当前检测结果为表观特征和位置信息。

本实施例公开了数据提取单元从图像数据中提取出视频流数据的方式： 从图像数据中，截取人脸图像所对应的目标出现（即首次定位到该目标的人脸）的时间点前后预定时间段（如前后5秒）内的视频流数据。如果在前或在后的视频长度不足，则截取到最长的时间点。或者，视频流数据开始时刻为提取到目标人脸图像的时刻，结束时刻为提取到人脸图像后的第N帧，其中，25≤N≤40。优选的，N=25。

如图2所示，本实施例公开了一种视频监控系统，包括至少一台上述结构化人脸抓拍相机和通过网络（通过如交换机、路由器等网络设备）连接每一台相机的后端服务器，后端服务器在接收到结构化人脸数据、人脸图像和视频流数据后，因已是提取的最终数据，则无需对接收的目标数据进行解码，可直接使用，如直接同预存的高危目标数据进行快速对比，以确定是否触发报警（对比通过即报警）：将结构化目标数据的各结构化标签同预设的高危目标数据进行对比检索，在检索到高危目标数据时，将该结构化目标数据对应的人脸图像同检索到的高危目标数据进行相似度对比，在对比通过时，触发报警，即表示在采集的图像数据中监控到高危目标。

为了便于进行分项对比，进而提高对比效率，后端服务器对接收的数据（即前端相机发送的结构化人脸数据、人脸图像和视频流数据）以该数据对应目标出现的时间和结构化人脸数据的结构化标签分类进行目录式管理。如以结构化便签分类进行分项存储。

本发明并不局限于前述的具体实施方式。本发明扩展到任何在本说明书中披露的新特征或任何新的组合，以及披露的任一新的方法或过程的步骤或任何新的组合。

Claims (10)

1.一种结构化人脸抓拍相机，其特征在于，包括依次连接的图像采集单元、结构化处理单元、数据提取单元和通信单元，所述数据提取单元还连接图像采集单元，其中：

所述图像采集单元被配置为 ：通过摄像头采集图像数据，并从所述图像数据中提取出人脸图像；

所述结构化处理单元被配置为：对人脸图像进行结构化处理，得到结构化人脸数据；

所述数据提取单元被配置为：获取结构化处理单元输出的结构化人脸数据，还获取图像采集单元提取的人脸图像，并基于获取的人脸图像，在图像采集单元采集的图像数据中提取相应的视频流数据；

所述通信单元被配置为：将数据提取单元获取的结构化人脸数据、人脸图像或视频流数据中的至少一项数据发送到后端服务器。

2.如权利要求1所述的相机，其特征在于，所述图像采集单元从所述图像数据中提取出人脸图像具体为：实时从每一帧图像中对人脸进行定位，并实时提取出定位区域的人脸图像；

或者为：从采集到的图像数据中依次获取帧图像，并依次从获取的每一帧帧图像中对人脸进行定位，并提取出定位区域的人脸图像。

3.如权利要求1或2所述的相机，其特征在于，所述图像采集单元从所述图像数据中提取出人脸图像具体为：根据跟踪算法，提取不同帧中相同目标的人脸图像，并选取出的质量最好的人脸图像。

4.如权利要求3所述的相机，其特征在于，所述数据提取单元提取的视频流数据开始时刻为提取到目标人脸图像的时刻，结束时刻为提取到人脸图像后的第N帧，其中，25≤N≤40。

5.如权利要求4所述的相机，其特征在于，所述N=25。

6.如权利要求1所述的相机，其特征在于，所述通信单元对所传输的各项数据设置有优先等级。

7.如权利要求6所述的相机，其特征在于，所述通信单元优先传送结构化人脸数据。

8.一种视频监控系统，其特征在于，包括至少一台如权利要求1-7之一的结构化人脸抓拍相机，和通过网络连接每一台相机的后端服务器，所述后端服务器在接收到结构化人脸数据、人脸图像和视频流数据后，同预存的高危目标数据进行对比，在对比通过后，触发报警。

9.如权利要求8所述的系统，其特征在于，所述后端服务器将接收的数据同预存的高危目标数据进行对比具体为：将结构化目标数据的各结构化标签同预设的高危目标数据进行对比检索，在检索到高危目标数据时，将所述结构化目标数据对应的人脸图像同检索到的高危目标数据进行相似度对比。

10.如权利要求8或9所述的系统，其特征在于，所述后端服务器将接收的数据以该数据对应的目标出现的时间和结构化人脸数据的结构化标签分类进行目录式管理。