CN111405249A - 监控方法、装置及服务器和计算机可读存储介质 - Google Patents

Abstract

本申请公开了一种监控方法、装置、系统及一种服务器和计算机可读存储介质，该方法包括：接收本次布控任务的布控规则和需要进行布控的摄像头列表；其中，摄像头列表包括多个目标摄像头，目标摄像头用于对目标对象进行图像采集；开启本次布控任务，若目标对象的待对比图像满足布控规则，则触发布控告警通知；其中，待对比图像的获取过程包括：利用目标摄像头获取目标对象的轨迹数据；其中，轨迹数据包括多张包含目标对象的目标图像；基于目标图像中目标对象的质量分数在轨迹数据中确定待对比图像。本申请提供的监控方法实现对目标对象的实时抓拍和布控，用户可以部署需要进行布控的摄像头列表、设置布控规则，满足灵活的布控需求。

Description

监控方法、装置及服务器和计算机可读存储介质

技术领域

本申请涉及人工智能技术领域，更具体地说，涉及监控方法、装置及服务器和计算机可读存储介质。

背景技术

随着人工智能技术的发展和社会各界对安防的强烈需求，传统简单被动的安防形式已无法满足日常多样化的生活和工作场景，在大数据、人工智能等技术的带动下，安防向城市化、综合化、主动安防方向发展，智能安防成为当前发展的主流趋势。其中，居民社区因其人群高度集中、人员结构复杂，是最需要提升安防强度的场景之一。随着时间推移，很多小区单元门禁系统故障频发，视频监控设备仍停留在传统监控的阶段，大多只具备事后取证的功能，对于发生的可疑和异常行为无法起到预防、预警的作用，普遍还处在一个只能“监”不能“控”的被动状态，已经很难满足对安全的实际需求。

因此，如何提高智能监控的实时性是本领域技术人员需要解决的技术问题。

发明内容

本申请的目的在于提供一种监控方法、装置及一种服务器和一种计算机可读存储介质，提高了智能监控的实时性。

为实现上述目的，本申请第一方面提供了一种监控方法，包括：

接收本次布控任务的布控规则和需要进行布控的摄像头列表；其中，所述摄像头列表包括多个目标摄像头，所述目标摄像头用于对目标对象进行图像采集；

开启所述本次布控任务，若所述目标对象的待对比图像满足所述布控规则，则触发布控告警通知；

其中，所述待对比图像的获取过程包括：利用所述目标摄像头获取所述目标对象的轨迹数据；其中，所述轨迹数据包括多张包含所述目标对象的目标图像；基于所述目标图像中所述目标对象的质量分数在所述轨迹数据中确定待对比图像。

为实现上述目的，本申请第二方面提供了一种监控装置，包括：

确定模块，用于接收本次布控任务的布控规则和需要进行布控的摄像头列表；其中，所述摄像头列表包括多个目标摄像头，所述目标摄像头用于对目标对象进行图像采集；

待对比图像获取模块，用于利用所述目标摄像头获取所述目标对象的轨迹数据；其中，所述轨迹数据包括多张包含所述目标对象的目标图像；基于所述目标图像中所述目标对象的质量分数在所述轨迹数据中确定待对比图像；

触发模块，用于开启所述本次布控任务，若所述目标对象的待对比图像满足所述布控规则，则触发布控告警通知。

为实现上述目的，本申请第三方面提供了一种服务器，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述监控方法的步骤。

为实现上述目的，本申请第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述监控方法的步骤。

通过以上方案可知，本申请提供的一种监控方法，包括：接收本次布控任务的布控规则和需要进行布控的摄像头列表；其中，所述摄像头列表包括多个目标摄像头，所述目标摄像头用于对目标对象进行图像采集；开启所述本次布控任务，若所述目标对象的待对比图像满足所述布控规则，则触发布控告警通知；其中，所述待对比图像的获取过程包括：利用所述目标摄像头获取所述目标对象的轨迹数据；其中，所述轨迹数据包括多张包含所述目标对象的目标图像；基于所述目标图像中所述目标对象的质量分数在所述轨迹数据中确定待对比图像。

本申请提供的监控方法实现对目标对象的实时抓拍和布控，用户可以部署需要进行布控的摄像头列表、设置布控规则，满足灵活的布控需求。同时，基于每张目标图像中目标对象的质量分数在轨迹数据中确定待对比图像，保证了布控准确度。另外，本申请不限定轨迹数据的来源，可以复用已部署的传统的安防摄像头或码流机，不需要额外的部署维护成本。由于视频流的来源不受限制，因此可以同时支持有感的门禁场景和无感的监控场景，全方位一体化满足智能安防的需求。本申请还公开了一种监控装置及一种服务器和一种计算机可读存储介质，同样能实现上述技术效果。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：

图1为本申请实施例提供的一种监控系统的架构图；

图2为本申请实施例提供的一种监控方法的流程图；

图3为本申请实施例提供的一种底库注册流程图；

图4为本申请实施例提供的另一种监控方法的流程图；

图5为本申请实施例提供的又一种监控方法的流程图；

图6为智能监控一体机与对外模块交互示意图；

图7为智能监控一体机内部的结构图；

图8为一种人脸功能交互界面的示意图；

图9为一种车辆功能交互界面的示意图；

图10为一种车辆功能交互界面的示意图；

图11为本申请实施例提供的一种监控装置的结构图；

图12为本申请实施例提供的一种服务器的结构图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

人脸一体机是一种将人脸检测、识别算法嵌入智能硬件的软硬一体化产品。其硬件内置图像采集摄像头、数据传输口、人脸识别芯片、指纹采集芯片以及交互展示屏等组件，主要用于1:1身份核验、人脸考勤、人脸门禁等，适合应用场景包括银行自助开户、乘车身份校验以及小区单元、写字楼宇、工地、酒店等依赖闸机的区域。

本申请的发明人经研究发现，在相关技术中，人脸一体机不能与传统的安防摄像头兼容，需要额外的部署和维护成本。同时，人脸一体机为有感的监控方式，即大多数需要用户主动配合，应用场景局限性较强。另外，人脸一体机支持的数据量级大多是小区级别，难以支持更大的规模，扩展局限性较强。可见，相关技术中的人脸一体机监控效率低、应用场景和扩展局限性较强。

因此，本申请利用人脸识别技术，提供集群化的社区场景AI一体机智能安防监控系统，主要功能包括对监控视频中的对象进行主动实时抓拍展示、及时对受控对象进行布控告警、动态轨迹检索等。在本申请中，可以复用已部署的传统的安防摄像头或码流机，即监控系统的输入视频流可以为传统的安防摄像头采集的视频，也可以为码流机中的视频流，不需要额外的部署维护成本。由于监控系统采用集群化的设计模式，只需增加新的服务接点，即可实现水平扩展，有利于监控数据量级的扩展，可以支持片区、市行政区甚至城市级别的安防需求。另外，由于视频流的来源不受限制，因此可以同时支持有感的门禁场景和无感的监控场景，全方位一体化满足智能安防的需求。由此可见，本申请可以面向公安、政府、物业、楼宇等最终用户提供人脸布控检索、车辆识别等业务能力，直接为用户提供楼宇、安防等场景下的AI一体机解决方案。

为了便于理解本申请提供的监控方法，下面对其使用的系统进行介绍。参见图1，其示出了本申请实施例提供的一种监控系统的架构图，如图1所示，包括目标摄像头100、服务器200和客户端300。目标摄像头100与服务器200、服务器200与客户端300之间通过网络连接。

在具体实施中，用户可以部署需要进行布控的摄像头列表，即部署目标摄像头100，其用于采集图像流和视频流，可以包括各种应用场景下的摄像头和码流机等，在此不进行具体限定，例如腾讯定制的人脸抓拍机。对于视频流，需要使用视频解码服务进行解码，以便服务器200对其中的目标对象进行识别。在进行监控点扩展时，只需要将新增监控点处的目标摄像头接入系统即可。

服务器200用于对目标摄像头100输入的图像或视频进行处理，识别其中的目标对象。服务器200可以为用户提供布控、检索等服务。可以理解的是，为了提高业务处理能力，服务器200可以采用集群化设计，利用LB(LoadBalance)技术，将网络服务、网络流量等任务分担给集群的多个网络节点设备或多条链路，从而保证了业务的高可靠性。在本实施例中，每个服务器节点可以负责某一个区域的监控任务，即负责某一个摄像头列表中的目标摄像头100采集到的图像。在对整个监控系统进行扩展时，只需要为新增区域设置对应的服务器节点即可，有利于监控数据量级的扩展。

客户端300可以为如手机等移动终端或如PC(中文全称：个人计算机，英文全称：personal computer)端等固定终端，可以实时显示目标摄像头100采集的抓拍图像，用户也可以通过客户端300部署布控规则、上传注册图像至布控图像库、输入检索项等。

本申请实施例公开了一种监控方法，提高了智能监控的实时性。

参见图2，本申请实施例提供的一种监控方法的流程图，如图2所示，包括：

S101：客户端向服务器发送本次布控任务的布控规则和需要进行布控的摄像头列表；其中，所述摄像头列表包括多个目标摄像头，所述目标摄像头用于对目标对象进行图像采集；

在具体实施中，用户可以通过客户端的交互界面设置本次布控任务的布控规则和需要进行布控的摄像头列表。此处的布控规则可以为抓拍图像中的目标对象为布控图像库中的对象。用户可以为不同类型的对象建立不同的布控图像库，并为本次监控任务选择对应的布控图像库。

若目标对象具体为车辆，则此处的布控规则可以基于布控项进行确定，即为抓拍图像中的车辆满足预先设置的布控项，此处的布控项可以包括抓拍位置、抓拍时间、车辆信息等。

S102：服务器开启所述本次布控任务；

S103：目标摄像头采集目标对象的轨迹数据；其中，所述轨迹数据包括多张包含所述目标对象的目标图像；

在本步骤中，目标摄像头采集包含目标对象的目标图像，多张目标图像组成该目标对象的轨迹数据。此处的目标对象可以包括人像、车辆等，在此不进行具体限定。以人像为例，行人在通过门禁的过程中，随着行人的移动，目标摄像头可以随着行人的移动不断的跟踪捕捉行人的人脸，以得到多张目标图像，形成该行人的轨迹数据。

对于人像，可以采用人脸检测算法(Face Detection)确定包含人脸的人脸框。人脸检测算法的输入是一张图片，输出是人脸框坐标序列。一般情况下，输出的人脸坐标框为一个正朝上的正方形，但也可以为正朝上的矩形或带旋转方向的矩形。

对于车辆，本实施例不对具体的识别算法进行限定，可以通过卷积神经网络提取目标图像中像素点的多重特征，基于所提取的特征对目标图像中的所有像素点进行分类，划分为车辆区域和背景区域，最终得到目标对象对应的区域。

S104：目标摄像头将所述轨迹数据发送至服务器；

S105：服务器基于所述目标图像中所述目标对象的质量分数在所述轨迹数据中确定待对比图像；

在本步骤中，服务器对各目标图像中的目标对象进行质量评估，基于各目标图像中目标对象的质量分数确定待对比图像，为了保证布控准确度，待对比图像中目标对象的质量分数需要大于设定的第一预设值，若轨迹数据中不存在质量分数大于或等于第一预设值的目标图像，则将质量分数最高的目标图像确定为待对比图像。

需要说明的是，本实施例不对质量分数的具体计算方式进行限定，例如可以根据目标对象的条件参数值和预设的质量确定函数进行计算。条件参数值为条件参数的值，条件参数可以包括人脸图像的模糊度、人脸的三维偏转角度、人脸图像的亮度或者人脸图像的面积。其中，人脸的三维偏转角度可以指人脸的俯仰角(pitch)、偏航角(yaw)和翻滚角(roll)等，则条件参数值可以包括模糊度值、三维偏转角度值、亮度值或者面积值等。质量确定函数是根据人脸图像的条件参数所对应的人脸识别准确率分布和/或置信度分布确定的。在具体实施中，可以对条件参数所对应的人脸识别准确率分布或置信度分布进行数据曲线拟合，得到拟合函数，进而根据拟合函数确定质量确定函数。条件参数所对应的识别准确率分布可以指识别准确率关于模糊度的分布、识别准确率关于三维偏转角度的分布、识别准确率关于亮度的分布或者识别准确率关于目标区域的面积的分布等；条件参数所对应的置信度分布可以指置信度关于模糊度的分布、置信度关于三维偏转角度的分布、置信度关于亮度的分布或者置信度关于目标区域的面积的分布等。

在具体实施中，可以计算轨迹数据中所有目标图像中目标对象的质量分数，选取质量分数最高的目标图像作为待对比图像。当然为了提高效率，可以依此计算各目标图像中目标对象的质量分数，只要存在质量分数需要大于设定的第一预设值的目标图像，即将其作为待对比图像，而不需要计算后续的目标图像。即本步骤可以包括：在所述轨迹数据中确定当前目标图像，计算所述当前目标图像中所述目标对象的质量分数；若所述质量分数大于或等于第一预设值，则将所述当前目标图像确定为待对比图像；若所述质量分数小于所述第一预设值，则重新进入在所述轨迹数据中确定当前目标图像的步骤；若所述轨迹数据中不存在质量分数大于或等于所述第一预设值的目标图像，则将质量分数最高的目标图像确定为待对比图像。可以理解的是，此处不对第一预设值进行具有限定，用户可以根据实际的监控情况，例如监控准确率等进行及时调节。

S106：若所述目标对象的待对比图像满足所述布控规则，则服务器向客户端触发布控告警通知；

在本步骤中，服务器在执行本次布控任务的过程中，判断待对比图像是否满足布控规则，若是，则向客户端触发布控告警通知。

示例性的，本步骤可以包括：将所述目标对象的待对比图像与布控图像库中的图像进行对比，若对比结果满足预设条件，则触发布控告警通知。在具体实施中，若目标对象具体为人像，人脸提取特征(Face Feature Extraction)算法可以将一张人脸图像转化为一串固定长度的数值，这个数值串被称为人脸特征(Face Feature)，其具有表征这个人脸特点的能力。人脸提取特征算法都会根据人脸五官关键点坐标将人脸对齐预定模式，然后计算特征。Face Recognition算法用于识别出输入人脸图对应身份，它的输入一个人脸特征，通过与布控图像库中N个图像对应的特征进行逐个比对，找出与输入特征相似度最高的特征。将这个最高相似度值和预设的阈值相比较，如果大于阈值，则返回该特征对应的图像。用户可以在布控规则中对本次布控任务的阈值进行设定。

若目标对象具体为车辆，支持车牌号码的模糊识别与布控，用户可以设置车牌号码的识别阈值。例如，对于用户输入布控图像库中的图像，设置车牌号码的识别阈值为90％，系统识别到车牌号码为“辽A2438E”的概率为92.5％，识别到车牌号码为“辽A2488E”的概率为95.5％，则对车牌号码为“辽A2438E”和“辽A2488E”的车辆进行同时布控。

可以理解的是，布控图像库包括多张图像，用户可以通过上传图像至布控图像库。即本实施例还可以包括：获取注册图像，并计算所述注册图像的质量分数；若所述注册图像的质量分数大于或等于第一预设值，则计算所述注册图像与所述布控图像库中所有图像的相似度；当所有所述相似度均小于第二预设值时，将所述注册图像保存至所述布控图像库。

在具体实施中，服务器接收到注册图像后，需要对图像质量进行判断，这样可以滤掉质量过低的图像，防止对布控产生干扰。对于通过质量分数筛选的图像，还需与布控图像库中已存在图像的特征进行相似度计算，过滤相似度过高的图像，防止重复注册。通过控制注册流程，保证了布控图像库的高质量，对提升布控的准确率具有极大帮助。同时，上述的第一预设值、相似度过滤数值都可以进行动态调整，以满足注重召回场景的业务需求。

本实施例可以应用于智慧安防领域的布控告警，利用人脸识别技术，直接从监控画面中抓拍人脸照片，并实时分析人脸特征、快速的完成的照片与人脸黑名单或白名单的比对和识别，计算当前人脸与人脸底库中的人脸模板相似度，并能进行报警提示，实现智能化、社会化、规模化的安防体系。在技术层面，布控告警包含两个主要流程：人脸注册和动态检索。注册人脸照片包括采集的生活照、证件照或从抓拍图像中提取的目标图片，检索请求则由实时监控中抓拍到的人脸组成。人脸布控任务支持设置用户、小区和摄像头，同时支持设置任务有效期。

如图3所示，接收到注册图片后，利用人脸特征微服务中的质量分接口对注册图片的质量进行判断，质量分低于阈值则终止注册，质量分该与阈值则调用特征接口提取注册图片的图像特征，利用人脸检索微服务中的检索接口在已注册的图片中进行1：N的特征检索，即计算注册图片的图像特征与N个已注册图片的图像特征之间的相似度，若相似度最大值(top1)低于阈值则调用注册接口进行注册，否则终止注册。通过控制注册流程，保证了已注册图片的高质量，对提升布控的准确率具有极大帮助。

为人脸布控任务的准确率和召回率，设计了两条检索算法流程：

A、每条轨迹的命中状态S初始化为false，对于接收到的每张图片，如果当前S为false且图片质量分数大于阈值T1，则调用检索接口，如果命中Top-1相似度高于T2，将命中状态S置为true，返回检索结果。通过控制检索图片的质量分数保证了人脸布控任务的准确率。

B、如果轨迹结束，轨迹中图片的最高质量分数Q小于T1，则采用轨迹中最高质量分数Q对应的图片进行一次检索，如果Top-1高于T2，将命中状态S置为true，返回检索结果。当轨迹中图片的质量分数普遍偏低时，采用质量分数最高的一张图片作为检索图片，保证了人脸布控任务的召回率。

本申请实施例提供的监控方法实现对目标对象的实时抓拍和布控，用户可以部署需要进行布控的摄像头列表、设置布控规则，满足灵活的布控需求。同时，基于每张目标图像中目标对象的质量分数在轨迹数据中确定待对比图像，保证了布控准确度。另外，本申请实施例不限定轨迹数据的来源，可以复用已部署的传统的安防摄像头或码流机，不需要额外的部署维护成本。由于视频流的来源不受限制，因此可以同时支持有感的门禁场景和无感的监控场景，全方位一体化满足智能安防的需求。

本实施例将详细介绍监控系统的实时抓拍功能，具体的：

参见图4，图4为本申请实施例提供的另一种监控方法的流程图，如图4所示，包括：

S201：获取目标对象的轨迹数据；其中，所述轨迹数据包括多张目标图像，每张所述目标图像均为对所述目标对象进行图像采集后得到的图像；

本实施例的执行主体为图1中的服务器200，目的为对目标对象进行实时抓拍。

S202：将所述轨迹数据中质量分数最高的目标图像确定为待提取图像，并获取所述待提取图像的抓拍信息；其中，所述抓拍信息至少包括抓拍位置和抓拍时间；

在本步骤中，选取质量分数最高的目标图像作为待提取图像，并在待提取图像中提取目标对象的抓拍信息，可以包括抓拍位置、抓拍时间等。若待提取图像中的目标对象为车辆，则抓拍信息还可以包括车辆信息。其中，车辆信息包括车牌缩略图、车牌号码、车身颜色、车辆类型、车辆品牌、车辆系统等，车牌缩略图具体为待提取图像中车牌号码对应的区域。

在具体实施中，可以通过卷积神经网络提取车辆区域的特征，将车辆区域划分为有车牌部和无车牌部，最终得到车牌缩略图。选取另一深度卷积神经网络对于车辆区域的特征进行处理，此处的卷积神经网络实现车牌类型特征提取时，可通过综合提取判定车辆内的颜色、形状、图案、文字分布等相关信息，得到判定区域内的像素的多重特征，基于所提取的特征识别其车牌号码、车身颜色、车辆类型、车辆品牌、车辆系统。

由于本步骤提取了目标对象的抓拍信息，因此在布控时可以对任一抓拍信息进行布控，即预设设定布控项，当抓拍信息满足布控项时触发告警提示。例如，布控项为车辆颜色为红色的车辆，在实时抓拍过程中，若抓拍信息中的车身颜色为红色，则触发告警提示。

S203：在所述待提取图像中提取所述目标对象对应的区域作为抓拍图像，并将所述抓拍图像和每个所述抓拍图像对应的抓拍信息保存至抓拍数据库中。

在本步骤中，将待提取图像中提取目标对象对应的区域作为抓拍图像，与上一步骤提取的抓拍信息一同保存至抓拍数据库中，实现实时抓拍功能。作为一种优选实施实施方式，本实施例还包括：显示所述抓拍数据库中的所有抓拍图像和每个所述抓拍图像对应的抓拍信息。在具体实施中，可以在客户端对抓拍图像和抓拍信息进行实时显示，方便人工监控。

可以理解的是，对于本实施例中的抓拍数据库和上一实施例中的布控图像库支持基本的管理操作，用户可以通过客户端的交互界面对其进行管理，例如增加图像、删除图像、刷新数据库、图像分类、上传或修改图像信息等。即本实施例还包括：当接收到操作命令时，确定所述操作命令对应的操作对象；其中，所述操作对象包括所述布控图像库或所述抓拍数据库；对所述操作对象执行所述操作命令对应的管理操作；其中，所述管理操作包括在所述操作对象中增加图像、从所述操作对象中删除图像、刷新所述操作对象、对所述操作对象中的所有图像进行分类、上传或修改所述操作对象中图像的图像信息中的任一项。

由此可见，本实施例实现了对目标对象的实时抓拍和显示，对于抓拍图像和抓拍信息建立抓拍数据库，有利于后续的检索和人工监控。

在上述实施例的基础上，本实施例将详细介绍监控系统的检索功能，具体的：

参见图5，图5为本申请实施例提供的又一种监控方法的流程图，如图5所示，包括：

S301：当接收到检索命令时，确定所述检索命令对应的检索项；其中，所述检索项包括待检索图像、所述抓拍信息中的任一项或任几项的组合；

本实施例的执行主体为图1中的服务器200，目的为对抓拍数据库进行检索。在本步骤中，用户可以通过客户端的交互界面设置检索项，可以包括待检索图像、抓拍信息等。

S302：在所述抓拍数据库中确定所述检索项对应的检索结果。

本步骤的检索结果为抓拍数据库中符合检索项的抓拍图像和其对应的抓拍信息。在具体实施中，若检索项包括待检索图像，则本步骤可以包括：确定所述待检索图像中的待检索对象；将所述待检索图像中所述待检索对象对应的区域与所述抓拍数据库中的图像进行对比，得到检索结果。例如，用户可以用某张人脸照片在抓拍数据库中进行以图搜人检索，服务器根据输入的待检索图像的人脸特征与抓拍数据库中的人脸特征进行对比，返回相似度大于阈值的top-N个抓拍图像和其对应的抓拍信息和相似度信息。

若检索项具体为目标车辆的车牌号码，则本实施例还包括：基于所述检索结果中的抓拍位置在地图中显示所述目标车辆的行驶轨迹。在具体实施中，由于检索结果中包括每张抓拍图像的抓拍信息，因此可以通过抓拍信息中的抓拍位置将车辆轨迹以地图的形式进行呈现，可以直观的查看车辆经过的位置信息。

由此可见，本实施例在抓拍数据库的基础上实现了监控系统的检索功能，用户可以通过设置检索项的方式部署检索规则，支持以图搜图业务功能。

为了便于理解，结合本申请的一种应用场景进行介绍。智能监控一体机为小区提供智能安防服务，实现人脸监控功能和车辆监控功能。参见图6和图7，图6为智能监控一体机与对外模块交互示意图，图7为智能监控一体机内部的结构图。

端侧用于人脸和车辆的实时抓拍，人脸和车辆抓拍支持图片流以及视频流。对于图片流，利用智能抓拍机内置的人脸、车辆算法，从实时监控视频中，对含人脸、车辆的图片进行检测跟踪以及上报。对于视频流，利用一体机节点部署的视频解码服务，针对输入的视频流进行解码，并按照人脸算法流程进行人脸检测、追踪优选。两者在数据流和算法逻辑上是完全对齐的，并输出算法结果到同一个应用层模块中，极大地提升了系统的一致性与可维护性。

一体机接入层提供请求转发功能，进行一体机端口收敛，统一对外服务。人脸轨迹服务为人脸业务相关的应用层，是整个一体机节点的逻辑控制核心，接收端侧推送的人脸算计结果，主要功能包括人脸轨迹数据收集、轨迹抓拍展示、人脸实时布控告警、路人库动态注册检索，同时提供布控任务管理、路人库及人脸底库检索、人脸底库代理接口。人脸轨迹服务与人脸SDK服务、人检索服务、存储层TDSQL进行交互。人脸SDK服务接收人脸图片输入，提供人脸检测、人脸关键点定位、人脸质量分计算、人脸特征提取接口等。人脸检索服务根据输入的人脸图片、人脸特征、待检索人脸库ID和相似度阈值，返回相应ID的人脸库中，相似度大于阈值的top-N个人脸ID和对应的相似度分数。

车辆抓拍服务用于接收端侧推送的车辆图片流，进行车辆属性计算。与车辆属性服务进行交互，并将计算结果进行上报。车辆属性服务接收输入车辆图片，提供车辆检测、车辆属性计算、车牌识别接口等。

心跳上报服务向Master中心节点进行心跳上报，通知本地节点的存活状态、负载能力，并向中心节点拉取为本机分配的抓拍机/码流机。当一体机集群化部署时，可以仅向用户暴露单一接口，隐藏一体机节点间的内部逻辑。Prometheus模块负责订阅接入层、计算层、存储层各模块的监控元数据。Grafana模块根据配置的dashboard，按指定规则从Prometheus获取元数据计算，在前端展示，并根据相应告警规则进行告警消息推送。

整套系统具备良好的可扩展性，图6中的心跳上报服务，会向集群的Master模块上报每台一体机节点的存活状态及负载。Master会根据上报信息，为每路接入的抓拍机或视频流自动分配对应的节点，进而对用户隐藏集群内部细节。理论支持无限水平扩展，可接入区域甚至城市级别的安防任务。

人脸功能主要包含智能抓拍机和人脸AI模块，并结合web后台及前端，主要提供实时抓拍上报、人脸布控、抓拍库检索等功能。图8为人脸功能的交互界面。

一体机对实时抓拍到的人脸图像质量进行评估，选取轨迹中人脸质量分数最高的一张人脸图像进行存储并输出人脸在整体画面中的坐标位置及图片，从而实现人脸的实时抓拍功能。

用户可以对不同类别的人脸图像进行建库及操作管理，支持新建、删除、更新数据库等一般管理操作，支持批量和单张人脸照片入库。用户还可以将重点人口库的信息导入照片库管理平台，上传重点人员信息，包括姓名、身份证号、地址和人脸照片等信息，对人像照片进行人脸检测、人脸特征提取，最终将相关特征在数据库中进行统一存储。

用户通过选择需要布控的人像库，选定需要布控的摄像头列表，输入布控任务名称并设定布控比对阈值。通过开启布控任务可以将抓拍图像与选择的布控人像库中的人脸图像进行比对，相似度大于布控比对阈值时进行布控告警通知，实现人像布控功能。

用户可以用某张人脸照片在抓拍数据库中进行以图搜人检索，输入比对待图片并设定比对相似度阈值后系统将返回比对结果超过阈值的抓拍图片及相似度信息，从而通过AI一体机实现以图搜图业务功能。

车辆功能包括车辆实时抓拍、车辆属性识别、车牌识别、车辆布控管理、车辆检索以及车辆轨迹分析。图9为车辆功能的交互界面。

一体机将车辆抓拍机上传的图片进行算法分析，形成结构化信息并呈现，相比单纯抓拍图片，更便于信息浏览，可以包括车牌缩略图、车牌号码、车身颜色、车辆类型、车辆品牌、车辆系列、卡口名称、通过卡口时间等。车牌缩略图展示抓拍车牌照片，方便查看车牌号，用户点击查看详情可以查看抓拍全景图，如图10所示，抓拍全景图展示车辆通过时的全景大图，方便查看整车照片。可以对车辆颜色、车辆品牌、车辆系列、车辆类型进行自动识别，并可以通过时间范围、地点、车辆属性进行搜索。

用户还可以输入车牌图像，对车辆号码(包括：省市+号码)进行识别，并提供车牌模糊检索功能。同时也提供可以通过抓拍数据并结合GIS(中文全称：地理信息系统，英文全称：Geographic Information System)，将车辆轨迹以地图的形式进行呈现，可以直观的查看车辆经过的位置信息。

用户还可以设置车辆布控规则，可以按照时间区间、车牌号码、地点进行布控任务建立。当布控任务生效后，系统结合抓拍数据和算法识别结果进行布控监控，一旦命中布控规则，则立刻产生告警信息。

下面对本申请实施例提供的一种监控装置进行介绍，下文描述的一种监控装置与上文描述的一种监控方法可以相互参照。

参见图11，本申请实施例提供的一种监控装置的结构图，如图11所示，包括：

确定模块201，用于接收本次布控任务的布控规则和需要进行布控的摄像头列表；其中，所述摄像头列表包括多个目标摄像头，所述目标摄像头用于对目标对象进行图像采集；

待对比图像获取模块202，用于利用所述目标摄像头获取所述目标对象的轨迹数据；其中，所述轨迹数据包括多张包含所述目标对象的目标图像；基于所述目标图像中所述目标对象的质量分数在所述轨迹数据中确定待对比图像；

触发模块203，用于开启所述本次布控任务，若所述目标对象的待对比图像满足所述布控规则，则触发布控告警通知。

本申请实施例提供的监控装置实现对目标对象的实时抓拍和布控，用户可以部署需要进行布控的摄像头列表、设置布控规则，满足灵活的布控需求。同时，基于每张目标图像中目标对象的质量分数在轨迹数据中确定待对比图像，保证了布控准确度。另外，本申请实施例不限定轨迹数据的来源，可以复用已部署的传统的安防摄像头或码流机，不需要额外的部署维护成本。由于视频流的来源不受限制，因此可以同时支持有感的门禁场景和无感的监控场景，全方位一体化满足智能安防的需求。

在上述实施例的基础上，作为一种优选实施方式，所述触发模块203具体为开启所述本次布控任务，将所述目标对象的待对比图像与布控图像库中的图像进行对比，若对比结果满足预设条件，则触发布控告警通知的模块。

在上述实施例的基础上，作为一种优选实施方式，还包括：

第一计算模块，用于获取注册图像，并计算所述注册图像的质量分数；

第二计算模块，用于若所述注册图像的质量分数大于或等于第一预设值，则计算所述注册图像与所述布控图像库中所有图像的相似度；

保存模块，用于当所有所述相似度均小于第二预设值时，将所述注册图像保存至所述布控图像库。

在上述实施例的基础上，作为一种优选实施方式，所述第一确定模块202包括：

计算单元，用于在所述轨迹数据中确定当前目标图像，计算所述当前目标图像中所述目标对象的质量分数；

第一确定单元，用于若所述质量分数大于或等于第一预设值，则将所述当前目标图像确定为待对比图像；

第二确定单元，用于若所述质量分数小于所述第一预设值，则重新进入在所述轨迹数据中确定当前目标图像的步骤；

第三确定单元，用于若所述轨迹数据中不存在质量分数大于或等于所述第一预设值的目标图像，则将质量分数最高的目标图像确定为待对比图像。

在上述实施例的基础上，作为一种优选实施方式，还包括：

第二获取模块，用于将所述轨迹数据中质量分数最高的目标图像确定为待提取图像，并获取所述待提取图像的抓拍信息；其中，所述抓拍信息至少包括抓拍位置和抓拍时间；

提取模块，用于在所述待提取图像中提取所述目标对象对应的区域作为抓拍图像，并将所述抓拍图像和每个所述抓拍图像对应的抓拍信息保存至抓拍数据库中。

在上述实施例的基础上，作为一种优选实施方式，还包括：

显示模块，用于显示所述抓拍数据库中的所有抓拍图像和每个所述抓拍图像对应的抓拍信息。

在上述实施例的基础上，作为一种优选实施方式，所述第二获取模块包括：

第四确定单元，用于将所述轨迹数据中质量分数最高的目标图像确定为待提取图像；

获取单元，用于若所述待提取图像中的所述目标对象包括车辆，则获取所述待提取图像的抓拍位置、抓拍时间以及所述待提取图像中的车辆信息，以得到所述待提取图像的抓拍信息；其中，所述车辆信息包括车牌缩略图、车牌号码、车身颜色、车辆类型、车辆品牌、车辆系统中任一项或任几项的组合，所述车牌缩略图具体为所述待提取图像中所述车牌号码对应的区域。

在上述实施例的基础上，作为一种优选实施方式，所述第一执行模块903包括：

第五确定单元，用于接收所述本次布控任务的布控项，并基于所述布控项确定所述布控规则，其中，所述布控项包括所述抓拍信息中的任一项或任几项的组合；

执行单元，用于通过判断所述待对比图像是否满足所述布控规则执行所述本次布控任务。

在上述实施例的基础上，作为一种优选实施方式，还包括：

第二确定模块，用于当接收到检索命令时，确定所述检索命令对应的检索项；其中，所述检索项包括待检索图像、所述抓拍信息中的任一项或任几项的组合；

第三确定模块，用于在所述抓拍数据库中确定所述检索项对应的检索结果。

在上述实施例的基础上，作为一种优选实施方式，所述检索项包括待检索图像，所述第三确定模块包括：

第六确定单元，用于确定所述待检索图像中的待检索对象；

对比单元，用于将所述待检索图像中所述待检索对象对应的区域与所述抓拍数据库中的图像进行对比，得到检索结果。

在上述实施例的基础上，作为一种优选实施方式，若所述检索项具体为目标车辆的车牌号码，则所述第三确定模块还包括：

显示单元，用于基于所述检索结果中的抓拍位置在地图中显示所述目标车辆的行驶轨迹。

在上述实施例的基础上，作为一种优选实施方式，还包括：

第四确定模块，用于当接收到操作命令时，确定所述操作命令对应的操作对象；其中，所述操作对象包括所述布控图像库或所述抓拍数据库；

第二执行模块，用于对所述操作对象执行所述操作命令对应的管理操作；其中，所述管理操作包括在所述操作对象中增加图像、从所述操作对象中删除图像、刷新所述操作对象、对所述操作对象中的所有图像进行分类、上传或修改所述操作对象中图像的图像信息中的任一项。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请还提供了一种服务器，参见图12，本申请实施例提供的一种服务器200的结构图，如图12所示，可以包括处理器21和存储器22。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器61可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器22可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器22还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器22至少用于存储以下计算机程序221，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的由服务器侧执行的监控方法中的相关步骤。另外，存储器22所存储的资源还可以包括操作系统222和数据223等，存储方式可以是短暂存储或者永久存储。其中，操作系统222可以包括Windows、Unix、Linux等。

在一些实施例中，服务器200还可包括有显示屏23、输入输出接口24、通信接口25、传感器26、电源27以及通信总线68。

当然，图10所示的服务器的结构并不构成对本申请实施例中服务器的限定，在实际应用中服务器可以包括比图10所示的更多或更少的部件，或者组合某些部件。

在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述任一实施例服务器所执行的监控方法的步骤。

说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以对本申请进行若干改进和修饰，这些改进和修饰也落入本申请权利要求的保护范围内。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

Claims (15)

1.一种基于人工智能的监控方法，其特征在于，包括：

接收本次布控任务的布控规则和需要进行布控的摄像头列表；其中，所述摄像头列表包括多个目标摄像头，所述目标摄像头用于对目标对象进行图像采集；

开启所述本次布控任务，若所述目标对象的待对比图像满足所述布控规则，则触发布控告警通知；

其中，所述待对比图像的获取过程包括：利用所述目标摄像头获取所述目标对象的轨迹数据；其中，所述轨迹数据包括多张包含所述目标对象的目标图像；基于所述目标图像中所述目标对象的质量分数在所述轨迹数据中确定待对比图像。

2.根据权利要求1所述监控方法，其特征在于，若所述目标对象的待对比图像满足所述布控规则，则触发布控告警通知，包括：

将所述目标对象的待对比图像与布控图像库中的图像进行对比，若对比结果满足预设条件，则触发布控告警通知。

3.根据权利要求2所述监控方法，其特征在于，还包括：

获取注册图像，并计算所述注册图像的质量分数；

若所述注册图像的质量分数大于或等于第一预设值，则计算所述注册图像与所述布控图像库中所有图像的相似度；

当所有所述相似度均小于第二预设值时，将所述注册图像保存至所述布控图像库。

4.根据权利要求1所述监控方法，其特征在于，所述基于所述目标图像中所述目标对象的质量分数在所述轨迹数据中确定待对比图像，包括：

在所述轨迹数据中确定当前目标图像，计算所述当前目标图像中所述目标对象的质量分数；

若所述质量分数大于或等于第一预设值，则将所述当前目标图像确定为待对比图像；

若所述质量分数小于所述第一预设值，则重新进入在所述轨迹数据中确定当前目标图像的步骤；

若所述轨迹数据中不存在质量分数大于或等于所述第一预设值的目标图像，则将质量分数最高的目标图像确定为待对比图像。

5.根据权利要求2至4中任一项所述监控方法，其特征在于，所述获取目标对象的轨迹数据之后，还包括：

将所述轨迹数据中质量分数最高的目标图像确定为待提取图像，并获取所述待提取图像的抓拍信息；其中，所述抓拍信息至少包括抓拍位置和抓拍时间；

在所述待提取图像中提取所述目标对象对应的区域作为抓拍图像，并将所述抓拍图像和每个所述抓拍图像对应的抓拍信息保存至抓拍数据库中。

6.根据权利要求5所述监控方法，其特征在于，还包括：

显示所述抓拍数据库中的所有抓拍图像和每个所述抓拍图像对应的抓拍信息。

7.根据权利要求5所述监控方法，其特征在于，所述获取所述待提取图像的抓拍信息，包括：

若所述待提取图像中的所述目标对象包括车辆，则获取所述待提取图像的抓拍位置、抓拍时间以及所述待提取图像中的车辆信息，以得到所述待提取图像的抓拍信息；

其中，所述车辆信息包括车牌缩略图、车牌号码、车身颜色、车辆类型、车辆品牌、车辆系统中任一项或任几项的组合，所述车牌缩略图具体为所述待提取图像中所述车牌号码对应的区域。

8.根据权利要求7所述监控方法，其特征在于，所述接收本次布控任务的布控规则，包括：

接收所述本次布控任务的布控项，并基于所述布控项确定所述布控规则，其中，所述布控项包括所述抓拍信息中的任一项或任几项的组合。

9.根据权利要求7所述监控方法，其特征在于，还包括：

当接收到检索命令时，确定所述检索命令对应的检索项；其中，所述检索项包括待检索图像、所述抓拍信息中的任一项或任几项的组合；

在所述抓拍数据库中确定所述检索项对应的检索结果。

10.根据权利要求9所述监控方法，其特征在于，所述检索项包括待检索图像，在所述抓拍数据库中确定所述检索项对应的检索结果，包括：

确定所述待检索图像中的待检索对象；

将所述待检索图像中所述待检索对象对应的区域与所述抓拍数据库中的图像进行对比，得到检索结果。

11.根据权利要求9所述监控方法，其特征在于，若所述检索项具体为目标车辆的车牌号码，则在所述抓拍数据库中确定所述检索项对应的检索结果之后，还包括：

基于所述检索结果中的抓拍位置在地图中显示所述目标车辆的行驶轨迹。

12.根据权利要求5所述监控方法，其特征在于，还包括：

当接收到操作命令时，确定所述操作命令对应的操作对象；其中，所述操作对象包括所述布控图像库或所述抓拍数据库；

对所述操作对象执行所述操作命令对应的管理操作；其中，所述管理操作包括在所述操作对象中增加图像、从所述操作对象中删除图像、刷新所述操作对象、对所述操作对象中的所有图像进行分类、上传或修改所述操作对象中图像的图像信息中的任一项。

13.一种基于人工智能的监控装置，其特征在于，包括：

确定模块，用于接收本次布控任务的布控规则和需要进行布控的摄像头列表；其中，所述摄像头列表包括多个目标摄像头，所述目标摄像头用于对目标对象进行图像采集；

待对比图像获取模块，用于利用所述目标摄像头获取所述目标对象的轨迹数据；其中，所述轨迹数据包括多张包含所述目标对象的目标图像；基于所述目标图像中所述目标对象的质量分数在所述轨迹数据中确定待对比图像；

触发模块，用于开启所述本次布控任务，若所述目标对象的待对比图像满足所述布控规则，则触发布控告警通知。

14.一种服务器，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至12任一项所述监控方法的步骤。

15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至12任一项所述监控方法的步骤。

Images