CN117037045B - 基于融合聚类与深度学习的异常检测系统 - Google Patents

Abstract

本发明公开了基于融合聚类与深度学习的异常检测系统，包括：目标检测模块，设置为间隔获取监测图像，检测目标对象并输出第一目标对象列表；过滤模块，设置为对第一目标对象列表中的元素进行特征过滤，输出第二目标对象列表；跟踪模块，设置为对第二目标对象列表中的元素进行跟踪，输出不同时间段的跟踪对象列表；合框模块，设置为根据预设的合框规则对跟踪对象列表中的若干元素进行组合，输出合框对象列表；上报模块，设置为间隔上报合框对象。本发明实现了对城市监测环境中复杂场景的组合目标的检测，可以检测出目标间的关系，识别出特定的组合目标，提高了对环境的监测和理解能力，提高监测的准确率，并可以减少误报率，提高检测效果。

Description

基于融合聚类与深度学习的异常检测系统

技术领域

本发明涉及智慧城市管理技术领域，尤其涉及一种基于融合聚类与深度学习的异常检测系统。

背景技术

随着计算能力的提升和数据集规模的扩大，基于深度学习的目标检测技术已经能够实现对图像及视频中目标的检测和识别。当前的目标检测算法如YOLO、SSD等能够实现实时的多目标检测。但是，当目标之间存在遮挡或重叠时，这些算法往往难以识别。另外，针对特定目标行为模式的理解也是一个难点。在智慧城市建设等领域，利用深度学习技术对监控视频流中环境感知，可以感知到用户关注的对象的位置、大小等特征。虽在识别单一目标方面，深度学习表现出色，但对于复杂组合对象的感知尚存在挑战。例如：对于倾倒污水的人员、聚集的人群、拉横幅的人员等复杂场景，深度学习技术的应用受到限制。

为实现对复杂监测场景的理解，需要一种能够分析目标间关系的技术。将目标进行组合和分析，可以实现对特定行为模式的检测。因此，设计一种能够实现对组合目标检测的监测系统，对于提高对复杂场景的监测水平具有重要意义。

发明内容

为了解决上述技术问题，本发明提供了一种异常检测系统，旨在弥补深度学习技术在感知组合性对象方面的不足，本发明采用了一种综合性策略，将深度学习技术与聚类技术相结合，以增强对复杂组合对象的感知能力。

本发明的技术方案包括：

基于融合聚类与深度学习的异常检测系统，包括：

目标检测模块，设置为间隔获取监测图像，检测目标对象并输出第一目标对象列表；

过滤模块，设置为对所述第一目标对象列表中的元素进行特征过滤，输出满足指定特征的第二目标对象列表；

跟踪模块，设置为对所述第二目标对象列表中的元素进行跟踪，输出不同时间段的跟踪对象列表；

合框模块，设置为根据预设的合框规则对所述跟踪对象列表中的若干元素进行组合，输出合框对象列表；

上报模块，设置为间隔上报所述合框对象列表中的合框对象。

在一些较优的实施例中，所述过滤模块包括属性过滤单元和位置过滤单元；

所述属性过滤单元设置为按照设定的属性参数对所述第一目标对象列表进行过滤，筛选出满足属性的目标对象列表；

所述位置过滤单元设置为按照设定的位置参数，对满足属性的目标对象列表进行过滤，筛选出满足位置属性的第二目标列表。

在一些较优的实施例中，所述属性参数包括：标签组、目标大小和目标置信度阈值；

所述位置参数包括：检测区域、屏蔽区域、反置标志和目标对象在监测图像中的位置坐标信息。

在一些较优的实施例中，所述跟踪模块包括目标跟踪单元和时间过滤单元；

所述目标跟踪单元设置为对第二目标对象列表中的元素进行跟踪，检测不同时间段图像中的同一目标，作为跟踪对象；

所述时间过滤单元设置为对所述跟踪对象的出现时间进行过滤，筛选出满足预设出现时长的跟踪对象输出跟踪对象列表。

在一些较优的实施例中，所述预设的合框规则包括：

规则一：判断各元素检测矩形框在x、y方向上的距离是否均为负值，若是，则判定此类元素进行组合；若否，则进行规则二的判断；

规则二：判断各元素检测矩形框在x、y方向上的最大非负距离值，是否小于参与判断的元素检测矩形框最短边的指定倍数，若是，则判定此类元素进行组合。

在一些较优的实施例中，所述预设的合框规则还包括：

规则三：若元素检测矩形框未不满足所述规则一和规则二的要求，则将该类元素作为新组输出。

有益效果

本发明实现了对城市监测环境中复杂场景的组合目标的检测，通过引入聚类技术，可以检测出目标间的关系，识别出特定的组合目标，如人群聚集、倾倒垃圾等复杂情况。提高了对环境的监测和理解能力，提高监测的准确率，并可以减少误报率，提高检测效果。

附图说明

图1为本发明一种较优实施例中的基于融合聚类与深度学习的异常检测系统结构示意图；

图2为本发明一种较优实施例中的合框规则示意图；

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明作进一步阐述。在本发明的描述中，需要理解的是，术语“上”、“下”、“前”、“后”、“左”、“右”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

如图1所示，本实施例公开了一种基于融合聚类与深度学习的异常检测系统，其特征在于，包括：

目标检测模块，设置为间隔获取监测图像，检测目标对象并输出第一目标对象列表。

其中，所述目标对象为用户感兴趣的对象。目标检测模块通过接入图像设备获取实时的监测视频流，并根据预设的间隔时间抓取监测图像。通过预置的基于深度学习的目标检测模型识别并输出第一目标对象列表。在具体实现中，目标检测模块可以调用图形处理单元以加速计算，并可以采用多个目标检测模型进行集成，从而提高检测精度。

目标检测模型可以采用针对特定场景预训练的模型，如针对城市道路场景训练的yolov7等模型，以提高检测性能。目标检测模块输出的第一目标对象列表可以记录每一个目标出现的时间戳，以备后续处理模块使用。

目标检测是本系统的第一关键处理环节，其检测性能直接影响后续处理的效果。采用成熟的深度学习目标检测模型，并针对具体场景进行优化，可以最大限度地提高目标检测精度，为后续处理奠定基础。

进一步的，所述目标对象列表是指用户关注的目标对象集合，单个目标对象的包括但不限于以下信息：数据类型、图像唯一标识、目标标签、目标位置矩形、目标置信度、图像时间。

过滤模块，设置为对所述第一目标对象列表中的元素进行特征过滤，输出满足指定特征的第二目标对象列表。

过滤模块的作用是根据预设的条件筛选出需要关注的目标对象。所述筛选条件的设定取决于应用场景、需求和技术人员的经验。过滤模块可以采用规则引擎根据预设规则进行筛选。

例如，可以预设目标大小的范围，筛除过大或过小的检测结果；可以指定关注的目标类别，过滤掉无关类别；可以设置置信度阈值，去除置信度过低的结果。过滤模块还可以结合位置信息进行筛选，例如只保留或排除特定区域的目标。

过滤模块的设定需要考虑具体应用场景和需求，同时结合目标检测性能、环境复杂程度等因素，由技术人员根据经验确定最佳的参数。过滤过程应平衡漏检率和误检率，既减少无效目标，也避免过滤掉重要信息。

过滤模块输出符合条件的目标对象信息作为第二目标对象列表，供后续模块进行处理。过滤是提高系统精确度的关键环节之一。

在一些较优的实施例中，考虑从目标对象的属性和位置两方面来进行过滤。具体的，所述过滤模块包括属性过滤单元和位置过滤单元；

所述属性过滤单元设置为按照设定的属性参数对所述第一目标对象列表进行过滤，筛选出满足属性的目标对象列表。所述属性是指表征目标对象的基本属性，在一些较优的实施例中，所述属性参数包括：

标签组：预设需要关注的目标标签，过滤掉非关注标签的检测结果；

目标大小：设置目标的大小阈值，过滤过大或过小的检测结果。目标大小可以由其边界框长宽表示；

目标置信度阈值：设置检测结果的置信度下限，过滤出置信度大于阈值的结果。

应当理解的是，本领域技术人员也可以根据现场的实际需要设定其他属性作为过滤条件，如颜色、纹理等，本发明不作进一步限定。

属性过滤单元按照设定的标签组、目标大小、目标置信度阈值筛选出需要的目标，组成满足属性的目标对象列表。在此本发明给出一种属性过滤示例流程：

1、目标大小的过滤：关注最小目标[50,50](指最小目标的宽度为50，高度为50)，最大目标为[500,500]，检测到的目标大小为[objWidth,objHeight]，则该目标需满足：

50

2、目标置信度：预先设置好目标置信度阈值th，检测到目标的置信度为objTh，则保留的目标须满足：

objTh>=th；

3、目标标签组：设定关注的目标标签组labels，其检测到的目标存在标签类别label，其标签类别需属于预先设置的目标标签组：

label∈labels。

属性过滤可以有效去除大量无关目标，同时保证结果子集的准确性，是提升系统效率和效果的关键处理环节。后续模块可以基于滤过属性的高质量结果进行处理。

所述位置过滤单元设置为按照设定的位置参数，对满足属性的目标对象列表进行过滤，筛选出满足位置属性的第二目标列表。所述位置参数是指目标对象在图像中的位置特征，在一些较优的实施例中，所述位置参数包括：

检测区域area：预设需要关注的检测区域，过滤掉区域外的结果；

屏蔽区域shieldArea：预设的不关注区域，过滤掉区域内的结果；

反置标志：当标志为真时，检测区域和屏蔽区域的过滤逻辑对调；

目标对象在监测图像中的位置坐标信息：目标的边界框坐标(x,y)。

位置过滤单元按照设定的位置参数筛选出符合位置规则的目标，组成满足位置的第二目标对象列表。在此本发明给出一种位置过滤示例流程：

1、当反置标志为假时，其位置信息需满足：

(x,y)∈area&&(x,y)∉shieldArea；

2、当反置标志为真时，其位置信息需满足：

!((x,y)∈area&&(x,y)∉shieldArea)。

位置信息与环境场景和摄像头位置相关，位置过滤可以有效减小检测范围，避免无效计算。同时也可以方便设置对特定区域的关注或排除。

跟踪模块，设置为对所述第二目标对象列表中的元素进行跟踪，输出不同时间段的跟踪对象列表。该模块用于跟踪第二目标对象在不同时间段内的移动，并赋予每个目标唯一的跟踪ID，以建立起时间维度的数据关联。具体可采用以下方法实现：

1、卡尔曼滤波器：利用目标的运动模型，结合测量值，估计目标的当前状态。测量与预测结果的误差协方差矩阵反映目标位置确定性。

2、深度学习跟踪：采用Siamese网络等算法提取目标特征，在不同画面中进行特征匹配实现跟踪。

3、多个跟踪器集成：集成卡尔曼滤波器、深度学习等多个跟踪器，进行跟踪结果的聚合与解析。

4、数据关联：跟踪过程中，持续为每个目标分配唯一ID，记录目标的历史轨迹信息。

跟踪模块一方面为后续行为分析等处理建立数据基础，另一方面也是为了去除目标检测对象中一些误检目标。在一些较优的实施例中，所述跟踪对象列表具体包括但不限于以下内容：数据类型、图像唯一标识、目标标签、目标位置矩形、目标置信度、图像时间戳、持续时长、首次出现时间戳、历史位置列表、跟踪ID标识。

在一些较优的实施例中，考虑从目标对象跟踪和时间过滤两方面进行跟踪。具体的，所述跟踪模块包括目标跟踪单元和时间过滤单元；

所述目标跟踪单元设置为对第二目标对象列表中的元素进行跟踪，检测不同时间段图像中的同一目标，作为跟踪对象。具体的，采用卡尔曼滤波器估计目标的状态和误差协方差来进行跟踪，将不同时间段的画面目标赋予目标ID，感知不同时间段画面中同一对象。在此给出一种实现目标跟踪的方案示例：

1、输入为第二目标对象列表，包含各个时间点检测到的目标信息。

2、对每个新时间点的目标信息，提取目标的外观特征，如边界框大小、颜色histogram等。

3、在之前时间点跟踪的目标集合中，计算当前目标与每个历史目标的特征相似度。

4、如果存在高相似度的历史目标，则判定为同一目标，继承该历史目标的ID进行跟踪。

5、如果无高相似目标，则将当前目标设定为新的跟踪ID。

6、持续跟踪和更新每个目标，实时预测目标的当前状态。

7、输出包含目标ID和轨迹信息的跟踪对象列表。

所述时间过滤单元设置为对所述跟踪对象的出现时间进行过滤，筛选出满足预设出现时长的跟踪对象输出跟踪对象列表。所述时间过滤单元的作用在于根据目标的出现时间长短进行过滤，去除误检或遮挡引起的短暂目标。

在此给出一种较优的实现方案：

1、输入为目标跟踪单元输出的包含目标ID和出现时间信息的跟踪对象列表。

2、设置目标出现时间阈值，例如目标需要出现超过n秒。

3、对每个跟踪对象，计算其持续出现的时间长度。

4、将出现时间小于阈值的目标过滤掉。

5、输出满足出现时间阈值的跟踪对象构成最后跟踪结果。

时间过滤可以有效去除目标检测中因遮挡、环境变化等导致的短时间误检目标，确保输出跟踪目标的真实性和连续性。

合框模块，设置为根据预设的合框规则对所述跟踪对象列表中的若干元素进行组合，输出合框对象列表。其中，所述合框对象即为关注的组合对象。合框对象列表包括：数据类型、合框后对象、用于合框的跟踪对象列表；其中合框后对象元素等同于目标对象元素，用于合框的跟踪对象包含元素等同于跟踪对象中元素。所述合框规则的设定是本发明所涉及领域的技术重点，其作用在于将筛选出的目标对象组合为特定的组合，从而反映出检测对象的实时状态，其具体的设定需要考虑：

应用场景：不同场景关注的组合目标不同，如人群聚集、倾倒垃圾等；

算法性能：目标检测和跟踪的性能限制了合框的复杂程度；

环境复杂度：过于复杂的环境需要精简合框规则；

实时性需求：规则复杂度会影响处理速度。

一些常用的合框规则如下：

1、判断目标边界框是否有重叠，重叠度超过阈值则判定为需要合并的目标组。

2、计算目标框中心点距离，小于阈值的目标可以判定为组合目标。

3、统计目标的运动方向、速度等信息，方向、速度接近的可以判断为组合目标。

4、自定义特定规则，如定义人和车的特定组合表示盗窃等。

但上述常用规存在以下技术问题：

过于简单化，没有结合目标的语义信息进行规则设计，例如目标的类别、属性等；规则设计没有考虑不同目标间的关系，例如运动方向、速度的相关性分析不够全面；规则之间缺乏逻辑关联；规则难以应对更复杂的组合目标识别，如人群聚集、倾倒垃圾等场景；规则设置较为静态，缺乏根据场景动态调整的能力。

基于上述缺点，在本发明的一种较优实施例中，如图2所示，提供了一种融合了聚类技术的优势，实现智能化和动态化的组合目标识别的合框规则，具体包括：

规则一：判断各元素检测矩形框在x、y方向上的距离是否均为负值，若是，则判定此类元素进行组合；若否，则进行规则二的判断；

规则二：判断各元素检测矩形框在x、y方向上的最大非负距离值，是否小于参与判断的元素检测矩形框最短边的指定倍数，若是，则判定此类元素进行组合。

以倾倒污水的监测为例，上述合框规则对象指同时满足存在人提桶状态、人端盆状态中任意一个对象和桶倒水状态、盆倒水状态中任意一个；且所选对象符合聚类距离小于等于指定值，即小于参与判断的元素检测矩形框最短边的指定倍数。应当理解的是，此处的指定倍数一个经验参数，其作用在于控制匹配的距离阈值。例如指定倍数可取值为2,即距离阈值为两框最短边的2倍。

在另一些较优的实施例中，所述预设的合框规则还包括：

规则三：若元素检测矩形框未不满足所述规则一和规则二的要求，则将该类元素作为新组输出。

本实施例所提供的较优合框规则可以处理更复杂的组合目标识别，并可动态调整。

在这种情况下,可以将该独立目标框判定为一个新的组合目标,作为新的组输出。

这种实现方式可以延伸组合目标的范围,对于场景中出现的新目标进行及时捕捉和上报。同时也避免将误检或无关目标错误合并到已有的组合目标中。

上报模块，设置为间隔上报所述合框对象列表中的合框对象。应当理解的是，所述上报模块的作用在于将业务方（用户）感兴趣的合框对象，组装为需要的告警信息，并按周期间隔上报。具体的，告警消息主要包括：事件唯一标识、任务信息、合框的对象列表、图像时间戳、图像、图像信息（宽度、高度）等。下面给出一种间隔上报的实现方法：

预设间隔上报周期alarmInterval，当前告警时间currAlarmTime与上次告警时间PreAlarmTime需满足下列条件，才会再次上报：

currAlarmTime-PreAlarmTime>alarmInterval。

通过定期上报，可以有效减轻系统负载，同时也使异常事件通知更清晰。

以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims (4)

1.基于融合聚类与深度学习的异常检测系统，其特征在于，包括：

目标检测模块，设置为间隔获取监测图像，检测目标对象并输出第一目标对象列表；所述目标对象为城市监测环境中复杂场景的组合目标对象；

过滤模块，设置为对所述第一目标对象列表中的元素进行特征过滤，输出满足指定特征的第二目标对象列表；

跟踪模块，设置为对所述第二目标对象列表中的元素进行跟踪，输出不同时间段的跟踪对象列表；

合框模块，设置为根据预设的合框规则对所述跟踪对象列表中的若干元素进行组合，输出合框对象列表；所述合框对象为用户关注的组合对象；合框对象列表包括：数据类型、合框后对象、用于合框的跟踪对象列表；

上报模块，设置为间隔上报所述合框对象列表中的合框对象；

所述过滤模块包括属性过滤单元和位置过滤单元；

所述属性过滤单元设置为按照设定的属性参数对所述第一目标对象列表进行过滤，筛选出满足属性的目标对象列表；

所述位置过滤单元设置为按照设定的位置参数，对满足属性的目标对象列表进行过滤，筛选出满足位置属性的第二目标列表；

所述预设的合框规则包括：

规则一：判断各元素检测矩形框在x、y方向上的距离是否均为负值，若是，则判定此类元素进行组合；若否，则进行规则二的判断；

规则二：判断各元素检测矩形框在x、y方向上的最大非负距离值，是否小于参与判断的元素检测矩形框最短边的指定倍数，若是，则判定此类元素进行组合。

2.如权利要求1所述的基于融合聚类与深度学习的异常检测系统，其特征在于：

所述属性参数包括：标签组、目标大小和目标置信度阈值；

所述位置参数包括：检测区域、屏蔽区域、反置标志和目标对象在监测图像中的位置坐标信息。

3.如权利要求1所述的基于融合聚类与深度学习的异常检测系统，其特征在于，所述跟踪模块包括目标跟踪单元和时间过滤单元；

所述目标跟踪单元设置为对第二目标对象列表中的元素进行跟踪，检测不同时间段图像中的同一目标，作为跟踪对象；

所述时间过滤单元设置为对所述跟踪对象的出现时间进行过滤，筛选出满足预设出现时长的跟踪对象输出跟踪对象列表。

4.如权利要求1所述的基于融合聚类与深度学习的异常检测系统，其特征在于，所述预设的合框规则还包括：

规则三：若元素检测矩形框未不满足所述规则一和规则二的要求，则将该类元素作为新组输出。