CN115187919A - 一种基于多目标跟踪的高空抛物检测方法及相关组件 - Google Patents
一种基于多目标跟踪的高空抛物检测方法及相关组件 Download PDFInfo
- Publication number
- CN115187919A CN115187919A CN202211116158.6A CN202211116158A CN115187919A CN 115187919 A CN115187919 A CN 115187919A CN 202211116158 A CN202211116158 A CN 202211116158A CN 115187919 A CN115187919 A CN 115187919A
- Authority
- CN
- China
- Prior art keywords
- altitude parabolic
- image
- target
- sample
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 67
- 238000012549 training Methods 0.000 claims abstract description 39
- 238000012544 monitoring process Methods 0.000 claims abstract description 30
- 238000012545 processing Methods 0.000 claims abstract description 29
- 238000007781 pre-processing Methods 0.000 claims abstract description 27
- 238000000034 method Methods 0.000 claims abstract description 25
- 230000033001 locomotion Effects 0.000 claims abstract description 23
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000010586 diagram Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 14
- 239000013598 vector Substances 0.000 claims description 9
- 230000004044 response Effects 0.000 claims description 5
- 230000001960 triggered effect Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 2
- 238000004364 calculation method Methods 0.000 claims description 2
- 238000013507 mapping Methods 0.000 claims description 2
- 230000008569 process Effects 0.000 description 12
- 230000009467 reduction Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 238000003556 assay Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 238000007477 logistic regression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多目标跟踪的高空抛物检测方法及相关组件。该方法包括：获取监控视频流的视频图像并进行预处理，得到样本图像；将样本图像输入FairMOT模型进行特征提取训练、目标检测训练和目标重识别训练，输出训练后的高空抛物识别模型；获取监控视频流的当前图像并进行预处理，得到待测图像；将待测图像输入高空抛物识别模型进行图像识别处理，输出待测图像的高空抛物识别结果；当高空抛物识别结果为存在高空抛物时，触发告警并记录高空抛物运动轨迹。本发明可以在视频监控范围检测是否有高空抛物事件发生并触发告警的同时，能够准确对目标进行重识别跟踪，还原运动轨迹。
Description
技术领域
本发明涉及物业安防技术领域，尤其涉及一种基于多目标跟踪的高空抛物检测方法及相关组件。
背景技术
近年来，屡屡出现的高空抛物事件，导致不少事故发生。而且，这类事故发生后，可能还会遇到追责难、取证难的问题。对生活在物业小区中的业主的权益造成了极大的安全隐患。
针对上述问题，相关技术大多通过视频监控存储视频图像，造成严重后果时调出监控进行人工查找追溯，在此之前无法预警和管理，由于抛物坠落速度快，甚至会出现人工追溯时视频不清晰、无法准确定位的情况。
发明内容
本发明的目的是提供一种基于多目标跟踪的高空抛物检测方法及相关组件，旨在解决现有高空抛物事件存在无法预警和追溯困难的问题。
第一方面，本发明实施例提供一种基于多目标跟踪的高空抛物检测方法，包括：
获取监控视频流的视频图像并进行预处理，得到样本图像；
将所述样本图像输入FairMOT模型进行特征提取训练、目标检测训练和目标重识别训练，输出训练后的高空抛物识别模型；
获取监控视频流的当前图像并进行预处理，得到待测图像；
将所述待测图像输入所述高空抛物识别模型进行图像识别处理，输出所述待测图像的高空抛物识别结果；
当高空抛物识别结果为存在高空抛物时，触发告警并记录高空抛物运动轨迹。
第二方面，本发明实施例提供一种基于多目标跟踪的高空抛物检测装置，其包括：
第一预处理单元，用于获取监控视频流的视频图像并进行预处理，得到样本图像；
训练单元，用于将所述样本图像输入FairMOT模型进行特征提取训练、目标检测训练和目标重识别训练，输出训练后的高空抛物识别模型；
第二预处理单元，用于获取监控视频流的当前图像并进行预处理，得到待测图像；
识别单元，用于将所述待测图像输入所述高空抛物识别模型进行图像识别处理，输出所述待测图像的高空抛物识别结果；
告警处理单元，用于当高空抛物识别结果为存在高空抛物时，触发告警并记录高空抛物运动轨迹。
第三方面，本发明实施例提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的基于多目标跟踪的高空抛物检测方法。
第四方面，本发明实施例提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的基于多目标跟踪的高空抛物检测方法。
本发明实施例公开了一种基于多目标跟踪的高空抛物检测方法及相关组件。该方法包括：获取监控视频流的视频图像并进行预处理，得到样本图像；将样本图像输入FairMOT模型进行特征提取训练、目标检测训练和目标重识别训练，输出训练后的高空抛物识别模型；获取监控视频流的当前图像并进行预处理，得到待测图像；将待测图像输入高空抛物识别模型进行图像识别处理，输出待测图像的高空抛物识别结果；当高空抛物识别结果为存在高空抛物时，触发告警并记录高空抛物运动轨迹。本发明实施例可以在视频监控范围检测是否有高空抛物事件发生并触发告警的同时，能够准确对目标进行重识别跟踪，还原运动轨迹。
附图说明
为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的基于多目标跟踪的高空抛物检测方法的流程示意图；
图2为本发明实施例提供的基于多目标跟踪的高空抛物检测方法的子流程示意图；
图3为本发明实施例提供的基于多目标跟踪的高空抛物检测方法的又一子流程示意图；
图4为本发明实施例提供的基于多目标跟踪的高空抛物检测方法的又一子流程示意图；
图5为本发明实施例提供的基于多目标跟踪的高空抛物检测方法的又一子流程示意图；
图6为本发明实施例提供的基于多目标跟踪的高空抛物检测装置的示意性框图；
图7为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和 “包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1，图1为本发明实施例提供的基于多目标跟踪的高空抛物检测方法的流程示意图；
如图1所示，该方法包括步骤S101~S105。
S101、获取监控视频流的视频图像，对视频图像进行预处理得到样本图像；
该步骤中，采用摄像模块结合实际需求对监控场地进行一定范围视频监控，并得到监控视频流，并将监控视频流推送至图片预处理模块；
通过图片预处理模块对监控视频流进行帧、尺寸调整等步骤，终生成符合模型训练要求的样本图像。
S102、将样本图像输入FairMOT模型进行特征提取训练、目标检测训练和目标重识别训练，输出训练后的高空抛物识别模型；
该步骤中，识别模块主要由FairMOT模型构成，FairMOT模型由骨干网络（ResNET34网络）、目标检测分支（多平行头模块）和Re-ID分支（重识别分支）三部分构成，分别用于对样本图像进行特征提取处理、目标检测处理和目标重识别处理，输出样本图像的高空抛物识别结果。该模型可以实现对多目标高空抛物进行目标检测和目标对象在运动过程中确定其唯一标识，该标识可以作为目标对象轨迹还原的重要依据。
S103、获取监控视频流的当前图像并进行预处理，得到待测图像；
通过图片预处理模块对监控视频流进行帧、尺寸调整等步骤，终生成符合模型识别要求的待测图像。
S104、将待测图像输入高空抛物识别模型进行图像识别处理，输出待测图像的高空抛物识别结果；
该步骤中，将待测图像输入高空抛物识别模型后进行特征提取处理、目标检测处理和目标重识别处理，即可输出待测图像的高空抛物识别结果。
S105、当高空抛物识别结果为存在高空抛物时，触发告警并记录高空抛物运动轨迹。
该步骤采用高空抛物告警系统，在接收到高空抛物识别结果为存在高空抛物时，可以触发物业管理处的告警，以便管理人员前往现场进行处理，于此同时，于此同时，告警系统可以对高空抛物运动期间的视频进行完整记录，并在视频中对单高空抛物目标/多高空抛物目标进行准确跟踪，还原其运动轨迹，以作为后续处理凭证。
本实施例中，通过摄像模块对监控场地（如小区各楼栋的横向区域范围）进行监控，将监控视频流发送至云端设备，在云端设备中采用了FairMOT模型通过模型训练、模型测试和模型评估等环节输出高准确率的高空抛物识别模型，利用该模型进行多目标重识别跟踪，并将高空抛物识别结果持续发送至高空抛物告警系统，当系统接收到存在高空抛物事件的标志信息时，将会进行多目标重识别还原运动轨迹，并触发告警，提示物业管理人员达到现场进行处理，达到维护业主的人身安全及利益的目的，同时，运动轨迹的还原将有利于后续处理的定性与追责。
下面具体介绍FairMOT模型中的ResNET34网络：
在一实施例中，如图2所示，步骤S102包括：
S201、将样本图像输入FairMOT模型的ResNET34网络进行特征提取，输出样本特征图；
该步骤中，样本图像的大小表示为Himage×Wimage，最终输出的样本特征图的形状为C×H×W，其中，H=Himage/4，W=Wimage/4。
具体的，特征提取训练的过程中，采用ResNET34网络作为骨干网络，可以在准确性和速度之间取得良好的平衡，本实施例在特征提取训练的过程中，还可以引入深层聚合网络（DLA）与骨干网络生成新的模型，本实施例将其命名为DLA-34模型；基于引入的深层聚合网络（DLA），可以与骨干网络进行多层特征融合，以跳过更多低级和高级特征之间的连接；此外DLA-34模型的上采样模块中的卷积层均可以采用可变形卷积进行代替，可以实现根据物体的尺度和姿势动态调整感受野。
S202、将样本特征图输入FairMOT模型的多平行头模块进行多次目标估计，分别输出样本特征图中每一检测对象的中心位置、识别框大小和中心偏移；
该步骤中的多平行头模块建立在目标检测网络（CenterNet）之上，与其他方法不同的是，本方法采用无锚方法，比较特别的是，本方法将多平行头模块的三个平行头附加到DLA-34模型以分别输出每一检测对象的中心位置、识别框大小和中心偏移。其中，每个平行头都是通过对 DLA-34 模型的输出特征应用 3 × 3 卷积（具有 256 个通道）来实现的，最后生成最终目标的 1 × 1 卷积层。
S203、将样本特征图输入FairMOT模型的Re-ID分支模块进行对象Re-ID特征提取，输出标签特征图，其中标签特征图中包含每一检测对象的标签类别；
该步骤中，Re-ID分支模块生成可以区分检测对象的特征，理想情况下，不同检测对象之间的亲和力应该小于相同对象之间的亲和力。为了实现这一目标，本发明在主干特征之上应用了一个具有 128 个内核的卷积层，以提取每个位置的Re-ID 特征并输出标签特征图。
S204、判断标签特征图中是否有与目标对象对应的标签类别，若有则进入步骤S205，若没有则跳转至步骤S206；
S205、存在高空抛物情况；
S206、当前样本图像识别结束。
步骤S204-S206中，通过预先定义目标对象的标签类别集，根据输出标签特征图即可进行自动查询，并得到高空抛物识别结果。
本实施例中基于FairMOT模型执行步骤S201-S206的目标检测训练过程，实现了在视频监控范围高精度检测是否有高空抛物事件发生的效果。
下面具体介绍FairMOT模型中的多平行头模块：
在一实施例中，如图3所示，步骤S202包括：
S301、预先获取样本图像中的对象识别框的坐标点位集合
，
其中
和
分别表示第i个对象识别框的左上点位和右下点位；
S302、根据坐标点位集合计算每一对象识别框在样本图像上的中心点位置
；
其中，按公式：
，
计算即可得到中心点位置
。
S303、根据样本图像与样本特征图的尺寸比，通过多平行头模块的第一个平行头
分支计算每一对象识别框在样本特征图的中心点位置
；
S304、按公式
计算对象识别框在样本特征图
上的中心点位置的热图响应，得到含有每一对象识别框的中心位置的热头图M，其中N表示
图像中的检测对象的数量，
表示标准差。
本实施例为提高目标估计的准确性，将损失函数定义为具有焦点损失的像素级逻辑回归：
其中，M表示热头图，α、β均表示焦点损失中的预定参数。
基于本实施例得到的热头图即可确定目标中心的位置，热图的维度为1×H×W，若热头图中的一个位置的响应与地面真实对象中心重叠，则预计将是一个响应；响应随着热图位置和检测对象中心之间的距离呈指数衰减。
在一实施例中，步骤S202还包括：
将样本特征图输入多平行头模块的第二个平行头分支，利用对象识别框的坐标点
位集合进行识别框大小计算，输出检测对象的对象识别框输出大小
。
将样本特征图输入多平行头模块的第三个平行头分支，利用对象识别框的坐标点
位集合进行识别框偏移量计算，输出检测对象的对象识别框偏移量
，其中
表示样本特征图中实际的中心点位置坐标，
表示样本特征图经多平行头模块计算预估的中心点位置坐标。
本实施例旨在更精确地定位检测对象，由于样本特征图的步幅为四，因此引入四个像素的量化误差；该分支估计每个像素相对于检测对象中心位置的连续偏移，以减轻下采样的影响；盒子头负责估计对象识别框在每个位置的高度和宽度。
为提高偏移量的精准度，损失函数为：
其中，L1表示范数， 
表示加权参数，
表示训练是预测的对象识别框的偏移
量，
表示对象识别框实际的偏移量。
下面具体介绍高空抛物识别模型中的Re-ID分支：
在一实施例中，如图4所示，步骤S203包括：
S401、对热头图中的每一检测对象识别框的中心位置进行Re-ID特征提取，得到对
应的特征向量
；
S402、对特征向量
进行全连接处理和softmax激活处理，并映射至类分布
向量
，其中k表示标签类别集，K表示类别数量。
本实施例中，预先通过分类任务学习Re-ID 特征；训练集中具有相同身份的所有对象实例都被视为同一标签类别，得到标签类别集。
本实施例通过预先定义目标对象的标签类别，根据步骤S401-S402的过程获取当前检测对象的类分布向量后，并与目标对象的标签类别进行对比，若一致则表示当前检测对象为目标对象。
本实施例将RE-ID 损失计算为
。
在一实施例中，如图5所示，步骤S103包括：
S501、将目标对象进行展示并触发告警；
S502、根据高空抛物识别结果获取目标对象的标签信息在监控视频流中进行目标跟踪，获取目标对象的运动轨迹。
本实施例中，通过高空抛物识别结果获取目标对象的标签类别后，基于该标签类别，在下一张待测图像的预测过程中若输出相同的标签类别，则表示与上一张图像是统一目标对象，由此实现运动轨迹的追溯。
本实施例可采用显示模块实时进行展示，并在检测到目标对象时触发物业管理处的告警。并基于高空抛物识别模型的多目标检测过程，告警系统对高空抛物运动期间的视频进行完整记录，并在视频中对单高空抛物目标/多高空抛物目标进行准确跟踪，还原其运动轨迹，以作为后续处理凭证。
本发明实施例还提供一种基于多目标跟踪的高空抛物检测装置，该基于多目标跟踪的高空抛物检测装置用于执行前述基于多目标跟踪的高空抛物检测方法的任一实施例。具体地，请参阅图6，图6是本发明实施例提供的基于多目标跟踪的高空抛物检测装置的示意性框图。
如图6所示，基于多目标跟踪的高空抛物检测装置600，包括：第一预处理单元601、训练单元602、第二预处理单元603、识别单元604以及告警处理单元605。
第一预处理单元601，用于获取监控视频流的视频图像并进行预处理，得到样本图像；
训练单元602，用于将样本图像输入FairMOT模型进行特征提取训练、目标检测训练和目标重识别训练，输出训练后的高空抛物识别模型；
第二预处理单元603，用于获取监控视频流的当前图像并进行预处理，得到待测图像；
识别单元604，用于将待测图像输入高空抛物识别模型进行图像识别处理，输出待测图像的高空抛物识别结果；
告警处理单元605，用于当高空抛物识别结果为存在高空抛物时，触发告警并记录高空抛物运动轨迹。
该装置通过摄像模块对监控场地（如小区各楼栋的横向区域范围）进行监控，将监控视频流发送至云端设备，在云端设备中采用了FairMOT模型通过模型训练、模型测试和模型评估等环节输出高准确率的高空抛物识别模型，利用该模型进行多目标重识别跟踪，并将高空抛物识别结果持续发送至高空抛物告警系统，当系统接收到存在高空抛物事件的标志信息时，将会进行多目标重识别还原运动轨迹，并触发告警，提示物业管理人员达到现场进行处理，达到维护业主的人身安全及利益的目的，同时，运动轨迹的还原将有利于后续处理的定性与追责。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
上述基于多目标跟踪的高空抛物检测装置可以实现为计算机程序的形式，该计算机程序可以在如图7所示的计算机设备上运行。
请参阅图7，图7是本发明实施例提供的计算机设备的示意性框图。该计算机设备700是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
参阅图7，该计算机设备700包括通过系统总线701连接的处理器702、存储器和网络接口705，其中，存储器可以包括非易失性存储介质703和内存储器704。
该非易失性存储介质703可存储操作系统7031和计算机程序7032。该计算机程序7032被执行时，可使得处理器702执行基于多目标跟踪的高空抛物检测方法。
该处理器702用于提供计算和控制能力，支撑整个计算机设备700的运行。
该内存储器704为非易失性存储介质703中的计算机程序7032的运行提供环境，该计算机程序7032被处理器702执行时，可使得处理器702执行基于多目标跟踪的高空抛物检测方法。
该网络接口705用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图7中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域技术人员可以理解，图7中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图7所示实施例一致，在此不再赘述。
应当理解，在本发明实施例中，处理器702可以是中央处理单元 (CentralProcessing Unit，CPU)，该处理器702还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路 (Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算机程序被处理器执行时实现本发明实施例的基于多目标跟踪的高空抛物检测方法。
所述存储介质为实体的、非瞬时性的存储介质，例如可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。
Claims (10)
1.一种基于多目标跟踪的高空抛物检测方法，其特征在于，包括：
获取监控视频流的视频图像并进行预处理，得到样本图像；
将所述样本图像输入FairMOT模型进行特征提取训练、目标检测训练和目标重识别训练，输出训练后的高空抛物识别模型；
获取监控视频流的当前图像并进行预处理，得到待测图像；
将所述待测图像输入所述高空抛物识别模型进行图像识别处理，输出所述待测图像的高空抛物识别结果；
当高空抛物识别结果为存在高空抛物时，触发告警并记录高空抛物运动轨迹。
2.根据权利要求1所述的基于多目标跟踪的高空抛物检测方法，其特征在于，所述将所述样本图像输入FairMOT模型进行特征提取训练、目标检测训练和目标重识别训练，输出训练后的高空抛物识别模型，包括：
将所述样本图像输入所述FairMOT模型的ResNET34网络进行特征提取，输出样本特征图；
将所述样本特征图输入所述FairMOT模型的多平行头模块进行多次目标估计，分别输出所述样本特征图中每一检测对象的中心位置、识别框大小和中心偏移；
将所述样本特征图输入所述FairMOT模型的Re-ID分支模块进行对象Re-ID特征提取，输出标签特征图，其中所述标签特征图中包含每一检测对象的标签类别；
判断所述标签特征图中是否有与目标对象对应的标签类别，若有则判定存在高空抛物情况。
3.根据权利要求2所述的基于多目标跟踪的高空抛物检测方法，其特征在于，所述将所述样本特征图输入所述FairMOT模型的多平行头模块进行多次目标估计，分别输出所述样本特征图中每一检测对象的中心位置、识别框大小和中心偏移，包括：
预先获取所述样本图像中的对象识别框的坐标点位集合
，其中
和
分别表示第i个对象识别框的左上点位和右下点位；
根据所述坐标点位集合计算每一所述对象识别框在所述样本图像上的中心点位置
；
根据所述样本图像与样本特征图的尺寸比，通过所述多平行头模块的第一个平行头分
支计算每一所述对象识别框在所述样本特征图的中心点位置坐标
；
按公式
计算所述对象识别框在所述样本特征图
上的中心点位置的热图响应，得到含有每一所述对象识别框的中心位置的热头图M，其中N
表示图像中的检测对象的数量，
表示标准差。
4.根据权利要求3所述的基于多目标跟踪的高空抛物检测方法，其特征在于，所述将所述样本特征图输入所述FairMOT模型的多平行头模块进行多次目标估计，分别输出所述样本特征图中每一检测对象的中心位置、识别框大小和中心偏移，还包括：
将所述样本特征图输入所述多平行头模块的第二个平行头分支，利用所述对象识别框
的坐标点位集合进行识别框大小计算，输出所述检测对象的对象识别框大小
。
5.根据权利要求4所述的基于多目标跟踪的高空抛物检测方法，其特征在于，所述将所述样本特征图输入所述FairMOT模型的多平行头模块进行多次目标估计，分别输出所述样本特征图中每一检测对象的中心位置、识别框大小和中心偏移，还包括：
将所述样本特征图输入所述多平行头模块的第三个平行头分支，利用所述对象识别框
的坐标点位集合进行识别框偏移量计算，输出所述检测对象的对象识别框偏移量
，其中
表示所述样本特征图中实际的中心点位置坐
标，
表示所述样本特征图经所述多平行头模块计算预估的中心点位置坐标。
6.根据权利要求3所述的基于多目标跟踪的高空抛物检测方法，其特征在于，所述将所述样本特征图输入所述FairMOT模型的Re-ID分支模块进行对象Re-ID特征提取，输出标签特征图，其中所述标签特征图中包含每一检测对象的标签类别，包括：
对所述热头图中的每一所述对象识别框的中心位置进行Re-ID特征提取，得到对应的
特征向量
；
对所述特征向量
进行全连接处理和softmax激活处理，并映射至类分布向量
，其中k表示对象标签类别，K表示类别数量。
7.根据权利要求2所述的基于多目标跟踪的高空抛物检测方法，其特征在于，所述当高空抛物识别结果为存在高空抛物时，触发告警并记录高空抛物运动轨迹，包括：
将所述目标对象进行展示并触发告警；
根据所述高空抛物识别结果获取目标对象的标签信息在所述监控视频流中进行目标跟踪，获取所述目标对象的运动轨迹。
8.一种基于多目标跟踪的高空抛物检测装置，其特征在于，包括：
第一预处理单元，用于获取监控视频流的视频图像并进行预处理，得到样本图像；
训练单元，用于将所述样本图像输入FairMOT模型进行特征提取训练、目标检测训练和目标重识别训练，输出训练后的高空抛物识别模型；
第二预处理单元，用于获取监控视频流的当前图像并进行预处理，得到待测图像；
识别单元，用于将所述待测图像输入所述高空抛物识别模型进行图像识别处理，输出所述待测图像的高空抛物识别结果；
告警处理单元，用于当高空抛物识别结果为存在高空抛物时，触发告警并记录高空抛物运动轨迹。
9.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的基于多目标跟踪的高空抛物检测方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行如权利要求1至7任一项所述的基于多目标跟踪的高空抛物检测方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211116158.6A CN115187919A (zh) | 2022-09-14 | 2022-09-14 | 一种基于多目标跟踪的高空抛物检测方法及相关组件 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211116158.6A CN115187919A (zh) | 2022-09-14 | 2022-09-14 | 一种基于多目标跟踪的高空抛物检测方法及相关组件 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115187919A true CN115187919A (zh) | 2022-10-14 |
Family
ID=83524444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211116158.6A Pending CN115187919A (zh) | 2022-09-14 | 2022-09-14 | 一种基于多目标跟踪的高空抛物检测方法及相关组件 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115187919A (zh) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257557A (zh) * | 2020-10-20 | 2021-01-22 | 中国电子科技集团公司第五十八研究所 | 一种基于机器视觉的高空抛物检测识别方法及系统 |
| CN112417988A (zh) * | 2020-10-30 | 2021-02-26 | 深圳点猫科技有限公司 | 一种基于深度学习的视频多目标跟踪方法、装置及设备 |
| CN112733690A (zh) * | 2020-12-31 | 2021-04-30 | 北京易华录信息技术股份有限公司 | 一种高空抛物检测方法、装置及电子设备 |
| CN112906590A (zh) * | 2021-03-02 | 2021-06-04 | 东北农业大学 | 一种基于FairMOT的多目标跟踪人流量监测方法 |
| CN113362374A (zh) * | 2021-06-07 | 2021-09-07 | 浙江工业大学 | 一种基于目标跟踪网络的高空抛物检测方法及系统 |
| CN114241053A (zh) * | 2021-12-31 | 2022-03-25 | 北京工业大学 | 基于改进的注意力机制FairMOT多类别跟踪方法 |
| CN114639075A (zh) * | 2022-05-23 | 2022-06-17 | 广州英码信息科技有限公司 | 一种高空抛物坠物的识别方法、系统及计算机可读介质 |
| CN114820723A (zh) * | 2022-04-22 | 2022-07-29 | 湖南大学 | 一种基于联合检测和关联的在线多目标跟踪方法 |
-
2022
- 2022-09-14 CN CN202211116158.6A patent/CN115187919A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112257557A (zh) * | 2020-10-20 | 2021-01-22 | 中国电子科技集团公司第五十八研究所 | 一种基于机器视觉的高空抛物检测识别方法及系统 |
| CN112417988A (zh) * | 2020-10-30 | 2021-02-26 | 深圳点猫科技有限公司 | 一种基于深度学习的视频多目标跟踪方法、装置及设备 |
| CN112733690A (zh) * | 2020-12-31 | 2021-04-30 | 北京易华录信息技术股份有限公司 | 一种高空抛物检测方法、装置及电子设备 |
| CN112906590A (zh) * | 2021-03-02 | 2021-06-04 | 东北农业大学 | 一种基于FairMOT的多目标跟踪人流量监测方法 |
| CN113362374A (zh) * | 2021-06-07 | 2021-09-07 | 浙江工业大学 | 一种基于目标跟踪网络的高空抛物检测方法及系统 |
| CN114241053A (zh) * | 2021-12-31 | 2022-03-25 | 北京工业大学 | 基于改进的注意力机制FairMOT多类别跟踪方法 |
| CN114820723A (zh) * | 2022-04-22 | 2022-07-29 | 湖南大学 | 一种基于联合检测和关联的在线多目标跟踪方法 |
| CN114639075A (zh) * | 2022-05-23 | 2022-06-17 | 广州英码信息科技有限公司 | 一种高空抛物坠物的识别方法、系统及计算机可读介质 |
Non-Patent Citations (2)
| Title |
|---|
| YIFU ZHANG 等: "FairMOT：On the Fairness of Detection and Re-Identification in Multiple Object Tracking", 《ARXIV:2004.01888》 * |
| 陈硕: "监控视频结构化分析的研究与系统实现", 《中国优秀硕士学位论文全文数据库 信息科技辑》 * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101995107B1 (ko) | 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템 | |
| JP7428213B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| Zhang et al. | A methodology for obtaining spatiotemporal information of the vehicles on bridges based on computer vision | |
| JP5459674B2 (ja) | 移動物体追跡システムおよび移動物体追跡方法 | |
| Lin et al. | A Real‐Time Vehicle Counting, Speed Estimation, and Classification System Based on Virtual Detection Zone and YOLO | |
| CN108133172B (zh) | 视频中运动对象分类的方法、车流量的分析方法及装置 | |
| US20150310297A1 (en) | Systems and methods for computer vision background estimation using foreground-aware statistical models | |
| CN112668480B (zh) | 头部姿态角检测方法、装置、电子设备及存储介质 | |
| KR102195706B1 (ko) | 침입 탐지방법 및 그 장치 | |
| WO2020096941A1 (en) | Systems and methods for evaluating perception system quality | |
| US20190180447A1 (en) | Image processing device | |
| CN106295598A (zh) | 一种跨摄像头目标跟踪方法及装置 | |
| CN111052128B (zh) | 用于检测和定位视频中的对象的描述符学习方法 | |
| CN113239719B (zh) | 基于异常信息识别的轨迹预测方法、装置和计算机设备 | |
| Li et al. | PETS 2015: Datasets and challenge | |
| Sanchez-Matilla et al. | A predictor of moving objects for first-person vision | |
| Tak et al. | Development of AI‐Based Vehicle Detection and Tracking System for C‐ITS Application | |
| US20150146924A1 (en) | Image analyzing device, image analyzing method, and recording medium storing image analyzing program | |
| Jung et al. | Event detection using trajectory clustering and 4-D histograms | |
| CN116964588A (zh) | 一种目标检测方法、目标检测模型训练方法及装置 | |
| Roy et al. | Annotation and benchmarking of a video dataset under degraded complex atmospheric conditions and its visibility enhancement analysis for moving object detection | |
| Ko et al. | Rectified trajectory analysis based abnormal loitering detection for video surveillance | |
| CN104112281B (zh) | 使用高光谱成像跟踪对象的方法 | |
| JP7271373B2 (ja) | 映像処理装置、映像処理システムおよび映像処理方法 | |
| Labit-Bonis et al. | Visual and automatic bus passenger counting based on a deep tracking-by-detection system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20221014 |