CN110008888B - 智能监控网络中的综合特征目标检测方法和系统 - Google Patents

Abstract

本发明提供了一种智能监控网络中的综合特征目标检测方法及系统，定义并提取监控网络中的与目标检测相关的多个特征信息；结合多个特征信息，对监控设备进行筛选，并进行任务发布，将监控设备的任务卸载至服务器；利用监控设备的特征信息进行判断，得到检测结果，并对检测结果进行信息融合。本发明通过利用检测目标的时间特征、监控设备的空间特征等综合特征，使得目标检测任务可以更好地分布执行在监控设备上，并利用这些特征和检测结果最终确定检测目标的空间范围，在保证较高准确率的同时，有效的减少了监控网络的资源使用。对于深度学习的目标检测任务，尤其是对视频内容的目标检测有良好的应用价值。

Description

智能监控网络中的综合特征目标检测方法和系统

技术领域

本发明涉及边缘计算技术领域和机器学习技术领域，具体地，涉及一种智能监控网络中的综合特征目标检测方法和系统。

背景技术

计算机相关领域技术的快速发展，使得视频监控应用已越来越广泛，与之相伴的便是监控网络的成长，如何使得越来越大的监控网络更为智能化是始终存在的关键问题。目标检测一直是监控网络的智能化应用之一，目标检测作为图像处理与计算机视觉的重要领域，在学术和实际中都有极为重要的影响。特别是随着近年来深度学习领域的迅猛发展，目标检测已然成为学术界的关注点。随着雪亮工程等国家重点工程的实施，智能监控网络呈现出网络规模越来越大，视频质量越来越高的趋势，而人们对目标检测的需求也越来越高。因此，智能监控网络中的目标检测变得非常具有挑战性，对网络带宽和计算能力都提出了很高的要求。

当下很多目标检测实现的方法原理是依靠后端计算能力强大的服务器进行全域视频数据分析而实现的，但是它们在高分辨率大规模的网络下是难以实现的。网络规模的增大和视频质量的提高使得原有方法中用来处理的服务器负荷超载，此外，高质量视频传输本身也会产生较大的网络延迟。

而目标检测的任务管理技术方案主要有基于监控设备间简单协作的方法，以及在监控设备本地进行优化的方法等。这些方法尽管可以减少负载提升性能，但在网络规模增大的情况下，其性能效率上仍显低效。有些方法侧重于监控设备彼此之间进行协作。Sanmiguel J C,Cavallaro A.在Energy Consumption Models for Smart CameraNetworks(TCSVT 2016)上提出了由本地处理的数据与邻居协作的监控设备组成的资源综合能耗模型方法，该方法通过多监控设备协作及本地优化使得资源成本降低，但是该方法并没有上层服务器设备的参与，缺乏统筹的任务调度与管理。Dao T,Khalil K,Roy-Chowdhury A K,et al.在Energy Efficient Object Detection in Camera SensorNetworks(ICDCS 2017)上提出了多监控设备协调工作的一个框架，该框架可以在捕获到目标的监控设备之间选择一个最佳的设备来进行处理，降低了能耗。但是其缺乏统一的管理设备来进行统一的调度与管理，这会使得精度降低。有些方法侧重于进行优化，例如PandaR,Das A,Roychowdhury A K.Video Summarization in a MultiView Camera Network(ICPR 2017).提出了一种基于学习嵌入的稀疏代表性选择方法来总结多视图视频，并且提出了一种通用框架，使得稀疏编码在概括单视频和多视图视频方面是可行的。其优点在于采用稀疏编码来减少存储空间和降低带宽。然而边缘设备的处理能力有限，将所有的任务放在边缘节点上来做效率比较低下。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种智能监控网络中的综合特征目标检测方法和系统。

根据本发明提供的一种智能监控网络中的综合特征目标检测方法，包括：

综合特征的提取与表示步骤：定义并提取监控网络中的与目标检测相关的多个特征信息；

目标检测任务的调度与管理步骤：结合多个特征信息，对监控设备进行筛选，并进行任务发布，将监控设备的任务卸载至服务器；

检测结果融合步骤：利用监控设备的特征信息进行判断，得到检测结果，并对检测结果进行信息融合。

优选地，所述多个特征信息包括监控设备的空间特征、检测目标的空间特征、检测目标的时间特征、检测目标的视觉特征中的任一种或任多种。

优选地，所述目标检测任务的调度与管理步骤包括：

监控设备筛选步骤：根据检测目标的时间特征，以及检测目标的空间特征的初始值，得出被测目标所存在区域的空间范围特征，将所述空间范围特征与监控设备的空间特征相结合，筛选出在监控覆盖范围内包含被测目标所存在区域的监控设备；

任务卸载步骤：根据任务在不同监控设备的执行情况，选择性地将不同监控设备的任务卸载至服务器端。

优选地，所述检测结果融合步骤包括：

粗粒度融合步骤：当多于两台数目的监控设备检测出被测目标时，采取凸包算法对检测结果进行融合；

细粒度融合步骤：当少于两台数目的监控设备检测出被测目标时，若仅有一台监控设备，即返回所述监控设备的检测结果；若有两台监控设备，则返回所述两台监控设备的监测区域的交集。

根据本发明提供的一种智能监控网络中的综合特征目标检测系统，包括：

综合特征的提取与表示模块：定义并提取监控网络中的与目标检测相关的多个特征信息；

目标检测任务的调度与管理模块：结合多个特征信息，对监控设备进行筛选，并进行任务发布，将监控设备的任务卸载至服务器；

检测结果融合模块：利用监控设备的特征信息进行判断，得到检测结果，并对检测结果进行信息融合。

优选地，所述多个特征信息包括监控设备的空间特征、检测目标的空间特征、检测目标的时间特征、检测目标的视觉特征中的任一种或任多种。

优选地，所述目标检测任务的调度与管理模块包括：

监控设备筛选模块：根据检测目标的时间特征，以及检测目标的空间特征的初始值，得出被测目标所存在区域的空间范围特征，将所述空间范围特征与监控设备的空间特征相结合，筛选出在监控覆盖范围内包含被测目标所存在区域的监控设备；

任务卸载模块：根据任务在不同监控设备的执行情况，选择性地将不同监控设备的任务卸载至服务器端。

优选地，所述检测结果融合模块包括：

粗粒度融合模块：当超过三台数目的监控设备检测出被测目标时，采取凸包算法对检测结果进行融合；

细粒度融合模块：当少于两台数目的监控设备检测出被测目标时，若仅有一台监控设备，即返回所述监控设备的检测结果；若有两台监控设备，则返回所述两台监控设备的监测区域的交集。

优选地，所述监控设备的空间特征包含监控设备ID号、监控设备坐标、监控设备视域的两个边界点坐标、监控设备可视距离、设备IP中的任一种或任多种；

所述检测目标的空间特征包括初始位置特征和当前位置范围，初始位置特征由初始位置的经纬度坐标组成，当前位置范围包含检测目标的初始位置特征、检测目标的时间特征以及表示速度的参数；

检测目标的时间特征包含检测目标的初始时间，以及当前时间；

检测目标的视觉特征是检测目标在监控设备中，已知检测目标初始位置和时刻的情况下捕捉到的视频画面。

与现有技术相比，本发明具有如下的有益效果：

1、本发明通过利用检测目标的时间特征、监控设备的空间特征等综合特征，使得目标检测任务可以更好地分布执行在监控设备上，并利用这些特征和检测结果最终确定检测目标的空间范围，保证较高准确率的同时，有效的减少了监控网络的资源使用。

2、本发明对于深度学习的目标检测任务，尤其是对视频内容的目标检测有良好的应用价值。在实际的应用场景中，在保证结果精确度的情况下，可以通过综合特征，提高在高分辨率大规模网络下目标检测的效率。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的架构示意图；

图2为检测目标当前范围示意图；

图3为监控设备筛选范围示意图；

图4为细粒度融合示意图；

图5为粗粒度融合示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

根据本发明提供的一种智能监控网络中的综合特征目标检测方法，包括：

综合特征的提取与表示步骤：定义并提取监控网络中的与目标检测相关的多个特征信息；

目标检测任务的调度与管理步骤：结合多个特征信息，对监控设备进行筛选，并进行任务发布，将监控设备的任务卸载至服务器；

检测结果融合步骤：利用监控设备的特征信息进行判断，得到检测结果，并对检测结果进行信息融合。优选地，对监控设备范围内的所有的个体检测结果进行融合，并依据监控设备的空间特征，剔除掉返回误检结果的监控设备，提高检测的健壮性和准确性。

具体地，所述多个特征信息包括监控设备的空间特征、检测目标的空间特征、检测目标的时间特征、检测目标的视觉特征中的任一种或任多种。

具体地，所述目标检测任务的调度与管理步骤包括：

监控设备筛选步骤：根据检测目标的时间特征，以及检测目标的空间特征的初始值，得出被测目标所存在区域的空间范围特征，将所述空间范围特征与监控设备的空间特征相结合，筛选出在监控覆盖范围内包含被测目标所存在区域的监控设备；

任务卸载步骤：根据任务在不同监控设备的执行情况，选择性地将不同监控设备的任务卸载至服务器端。

具体地，所述检测结果融合步骤包括：

粗粒度融合步骤：当多于两台数目的监控设备检测出被测目标时，采取凸包算法对检测结果进行融合；

细粒度融合步骤：当少于两台数目的监控设备检测出被测目标时，若仅有一台监控设备，即返回所述监控设备的检测结果；若有两台监控设备，则返回所述两台监控设备的监测区域的交集。

根据本发明提供的一种智能监控网络中的综合特征目标检测系统，包括：

综合特征的提取与表示模块：定义并提取监控网络中的与目标检测相关的多个特征信息；

目标检测任务的调度与管理模块：结合多个特征信息，对监控设备进行筛选，并进行任务发布，将监控设备的任务卸载至服务器；

检测结果融合模块：利用监控设备的特征信息进行判断，得到检测结果，并对检测结果进行信息融合。

具体地，所述多个特征信息包括监控设备的空间特征、检测目标的空间特征、检测目标的时间特征、检测目标的视觉特征中的任一种或任多种。

具体地，所述目标检测任务的调度与管理模块包括：

监控设备筛选模块：根据检测目标的时间特征，以及检测目标的空间特征的初始值，得出被测目标所存在区域的空间范围特征，将所述空间范围特征与监控设备的空间特征相结合，筛选出在监控覆盖范围内包含被测目标所存在区域的监控设备；优选地，根据监控设备的空间特征以及检测目标的时间特征等综合特征对监控设备进行筛选，从监控设备中剔除可以确定无法检测到该目标的监控设备；

任务卸载模块：根据任务在不同监控设备的执行情况，选择性地将不同监控设备的任务卸载至服务器端。

具体地，所述检测结果融合模块包括：

粗粒度融合模块：当超过三台数目的监控设备检测出被测目标时，采取凸包算法对检测结果进行融合；

细粒度融合模块：当少于两台数目的监控设备检测出被测目标时，若仅有一台监控设备，即返回所述监控设备的检测结果；若有两台监控设备，则返回所述两台监控设备的监测区域的交集。

具体地，所述监控设备的空间特征包含监控设备ID号、监控设备坐标、监控设备视域的两个边界点坐标、监控设备可视距离、设备IP中的任一种或任多种；

所述检测目标的空间特征包括初始位置特征和当前位置范围，初始位置特征由初始位置的经纬度坐标组成，当前位置范围包含检测目标的初始位置特征、检测目标的时间特征以及表示速度的参数；

检测目标的时间特征包含检测目标的初始时间，以及当前时间；

检测目标的视觉特征是检测目标在监控设备中，已知检测目标初始位置和时刻的情况下捕捉到的视频画面。

本发明提供的智能监控网络中的综合特征目标检测系统，可以通过智能监控网络中的综合特征目标检测方法的步骤流程实现。本领域技术人员可以将智能监控网络中的综合特征目标检测方法理解为所述智能监控网络中的综合特征目标检测系统的优选例。

如图1所示，本发明包括以下步骤：

综合特征的提取与表示步骤：定义并提取本技术中的各个特征信息，包含监控设备的空间特征及检测目标的时间特征等；

目标检测任务的调度与管理步骤：结合监控设备的空间特征和检测目标的时间特征等综合特征，对监控设备进行筛选并将任务发布，根据实际情况将监控设备的任务卸载至服务器；

检测结果融合步骤：利用监控设备的空间特征判断误检并对结果进行融合。

具体的，综合特征的提取与表示步骤包括：

提取目标检测过程中的综合特征，综合特征包括监控设备的位置特征、检测目标的位置特征、检测目标的时间特征、检测目标的视觉特征等。其中

监控设备的位置特征主要包含监控设备ID号、监控设备坐标、监控设备视域的两个边界点坐标、监控设备可视距离、设备IP等。

检测目标的时间特征包含检测目标的初始时间，以及当前时间。检测目标的位置特征分为初始位置特征和当前位置范围，初始位置特征由初始位置的经纬度坐标组成；当前位置范围包含检测目标的初始位置特征、检测目标的时间特征以及表示速度的参数。

检测目标的视觉特征指的是检测目标在监控设备中已知检测目标初始位置和时刻的情况下捕捉到的视频画面。

目标检测任务的调度与管理步骤包括：

监控设备筛选子步骤：根据检测目标的时间特征和初始空间特征，求出目标现在的可能存在区域的空间范围特征，将该特征与监控设备的空间特征结合，选择监控覆盖范围包含被测目标可能存在区域的监控设备，即筛选监控覆盖范围与被测目标范围在坐标轴中存在交集的监控设备；

任务卸载子步骤：根据任务的具体在不同监控设备的执行情况，选择性的将不同监控设备的任务卸载至服务器端。

检测结果融合步骤包括：利用检测结果融合方法对监控设备范围内的所有的个体检测结果进行融合，并利用监控设备的空间特征，剔除掉返回误检结果的监控设备，提高检测的健壮性和准确性。

检测结果融合方法包括：

粗粒度融合方法：该方法为检测结果融合的主要方法。当多于两台数目的监控设备检测出被测目标时采取的凸包策略对检测结果进行融合。具体的将这些监控设备的位置特征看做是一个坐标点，通过多个点的依照一定的规则连接，得到一个凸包，该凸包即为被测目标所在范围。

细粒度融合方法：针对不同于粗粒度融合方法的情况，当少于三台数目的监控设备检测出被测目标时，此时，如仅有一台设备，则结果即为该监控设备返回结果；如有两台监控设备则返回二者的监测区域的交集。

综合特征的提取与表示步骤中，通过提取一些基础特征诸如位置特征和时间特征，经过一系列规则运算可以进一步得到一些其他特征。在本例中，检测目标的空间特征中的当前范围，是由检测目标初始空间坐标、初始时间及当前时间的时间差(忽略了其他时间开销)、以及自行定义的速度参数三者得出的以检测目标初始位置为中心的圆形范围。监控设备的位置特征中的监控区域在本例中抽象成，由监控设备的坐标为圆心，可视距离为半径，可视角度为圆心角的扇形区域。

目标检测任务的调度与管理步骤中，为了更好的实现目标检测，对于目标检测模型，需要进行选择和裁剪，使目标检测模型适应于目标类型的同时使其轻量级化，能够提高检测的效率，降低能耗。

监控设备筛选子步骤在进行监控设备的筛选时,对于位置在检测目标当前范围内的监控设备，其监控区域必然与检测目标的当前范围有交集，应当纳入筛选出的监控设备集中。对于位置在检测目标当前范围之外的监控设备，其监控区域可能与检测目标的当前范围有交集，但其位置距离检测目标初始位置不应超过当前范围加上其可视距离之和。因此由上述两种情况可得监控设备筛选范围。筛选所得出的监控设备进行目标检测，根据当前设备的情况进行任务卸载，最终将检测结果返回。

检测结果融合步骤中，目标检测与特征对比环节均存在一定的误差，那么当监控设备误检出被测目标时，其仍将自身的空间特征用于结果融合，此时需要及时进行纠错。考虑到检测到目标的多个监控设备之间的距离最大为其可视距离和，此时目标恰在某些监控设备的可视距离边缘。当任意一个监控设备与超过一定比例的其他设备距离均超过该监控设备与其他设备的可视距离和时，则认定其为误检，需在进行结果融合之前将其剔除，这样不仅减少了结果融合过程中的开销，也提高了最终结果的准确度。

如图2所示，点O表示检测目标的初始位置，半径r是检测目标在初始时间至当前时间内移动的距离。该圆形区域表示检测目标的当前范围。

如图3所示，点O表示检测目标的初始位置，以r为半径的圆形区域表示上述所说的检测目标的当前范围。L表示监控设备的可视距离，以r+L为半径的圆形区域即为监控设备的筛选范围。

如图4所示，该图表示细粒度融合方法中，融合结果为检测到目标的两个监控设备的监控区域的交集。

如图5所示，P表示监控设备的位置，各个点相连成的凸包即为粗粒度融合方法的返回结果。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (8)

1.一种智能监控网络中的综合特征目标检测方法，其特征在于，包括：

综合特征的提取与表示步骤：定义并提取监控网络中的与目标检测相关的多个特征信息；

目标检测任务的调度与管理步骤：结合多个特征信息，对监控设备进行筛选，并进行任务发布，将监控设备的任务卸载至服务器；

检测结果融合步骤：利用监控设备的特征信息进行判断，得到检测结果，并对检测结果进行信息融合；

所述检测结果融合步骤包括：

粗粒度融合步骤：当多于两台数目的监控设备检测出被测目标时，采取凸包算法对检测结果进行融合；

细粒度融合步骤：当一台或两台数目的监控设备检测出被测目标时，若仅有一台监控设备，即返回所述监控设备的检测结果；若有两台监控设备，则返回所述两台监控设备的监测区域的交集。

2.根据权利要求1所述的智能监控网络中的综合特征目标检测方法，其特征在于，所述多个特征信息包括监控设备的空间特征、检测目标的空间特征、检测目标的时间特征、检测目标的视觉特征中的任一种或任多种。

3.根据权利要求2所述的智能监控网络中的综合特征目标检测方法，其特征在于，所述监控设备的空间特征包含监控设备ID号、监控设备坐标、监控设备视域的两个边界点坐标、监控设备可视距离、设备IP中的任一种或任多种；

所述检测目标的空间特征包括初始位置特征和当前位置范围，初始位置特征由初始位置的经纬度坐标组成，当前位置范围包含检测目标的初始位置特征、检测目标的时间特征以及表示速度的参数；

检测目标的时间特征包含检测目标的初始时间，以及当前时间；

检测目标的视觉特征是检测目标在监控设备中，已知检测目标初始位置和时刻的情况下捕捉到的视频画面。

4.根据权利要求2所述的智能监控网络中的综合特征目标检测方法，其特征在于，所述目标检测任务的调度与管理步骤包括：

监控设备筛选步骤：根据检测目标的时间特征，以及检测目标的空间特征的初始值，得出被测目标所存在区域的空间范围特征，将所述空间范围特征与监控设备的空间特征相结合，筛选出在监控覆盖范围内包含被测目标所存在区域的监控设备；

任务卸载步骤：根据任务在不同监控设备的执行情况，选择性地将不同监控设备的任务卸载至服务器端。

5.一种智能监控网络中的综合特征目标检测系统，其特征在于，包括：

综合特征的提取与表示模块：定义并提取监控网络中的与目标检测相关的多个特征信息；

目标检测任务的调度与管理模块：结合多个特征信息，对监控设备进行筛选，并进行任务发布，将监控设备的任务卸载至服务器；

检测结果融合模块：利用监控设备的特征信息进行判断，得到检测结果，并对检测结果进行信息融合；

所述检测结果融合模块包括：

粗粒度融合模块：当三台或超过三台数目的监控设备检测出被测目标时，采取凸包算法对检测结果进行融合；

细粒度融合模块：当一台或两台数目的监控设备检测出被测目标时，若仅有一台监控设备，即返回所述监控设备的检测结果；若有两台监控设备，则返回所述两台监控设备的监测区域的交集。

6.根据权利要求5所述的智能监控网络中的综合特征目标检测系统，其特征在于，所述多个特征信息包括监控设备的空间特征、检测目标的空间特征、检测目标的时间特征、检测目标的视觉特征中的任一种或任多种。

7.根据权利要求6所述的智能监控网络中的综合特征目标检测系统，其特征在于，所述目标检测任务的调度与管理模块包括：

监控设备筛选模块：根据检测目标的时间特征，以及检测目标的空间特征的初始值，得出被测目标所存在区域的空间范围特征，将所述空间范围特征与监控设备的空间特征相结合，筛选出在监控覆盖范围内包含被测目标所存在区域的监控设备；

任务卸载模块：根据任务在不同监控设备的执行情况，选择性地将不同监控设备的任务卸载至服务器端。

8.根据权利要求7所述的智能监控网络中的综合特征目标检测系统，其特征在于，所述监控设备的空间特征包含监控设备ID号、监控设备坐标、监控设备视域的两个边界点坐标、监控设备可视距离、设备IP中的任一种或任多种；

所述检测目标的空间特征包括初始位置特征和当前位置范围，初始位置特征由初始位置的经纬度坐标组成，当前位置范围包含检测目标的初始位置特征、检测目标的时间特征以及表示速度的参数；

检测目标的时间特征包含检测目标的初始时间，以及当前时间；

检测目标的视觉特征是检测目标在监控设备中，已知检测目标初始位置和时刻的情况下捕捉到的视频画面。

Images