CN112861673A - 一种用于监控视频多目标检测的去误报预警方法和系统 - Google Patents

一种用于监控视频多目标检测的去误报预警方法和系统 Download PDF

Info

Publication number
CN112861673A
CN112861673A CN202110112006.8A CN202110112006A CN112861673A CN 112861673 A CN112861673 A CN 112861673A CN 202110112006 A CN202110112006 A CN 202110112006A CN 112861673 A CN112861673 A CN 112861673A
Authority
CN
China
Prior art keywords
target
false alarm
feature vector
alarm
early warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110112006.8A
Other languages
English (en)
Inventor
刘红利
李征
王栓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changyang Tech Beijing Co ltd
Original Assignee
Changyang Tech Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changyang Tech Beijing Co ltd filed Critical Changyang Tech Beijing Co ltd
Priority to CN202110112006.8A priority Critical patent/CN112861673A/zh
Publication of CN112861673A publication Critical patent/CN112861673A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明给出了一种用于监控视频多目标检测的去误报预警方法和系统，包括利用卷积神经网络YoloV3从监控视频帧画面中提取出背景和感兴趣目标，确定感兴趣目标在当前帧的位置和类别，将感兴趣目标从背景中利用目标框标记，并采用深度余弦度量模型提取感兴趣目标的特征向量；响应于感兴趣目标当前的报警事件为误报，构建包括感兴趣目标的特征向量的误报库；实时获取监控视频中的视频流，提取目标物体的特征向量，在报警事件生成之前，计算目标物体的特征向量与误报库内的特征向量的相似度，响应于相似度小于预设阈值，生成报警事件。该方法和系统快速降低了不同场景中多目标检测的误检率，提升了模型的适用性，大大降低了模型优化的成本。

Description

一种用于监控视频多目标检测的去误报预警方法和系统
技术领域
本发明涉及智能视频监控的技术领域，尤其是一种用于监控视频多目标检测的去误报预警方法和系统。
背景技术
智能视频监控是工业安全防范极其重要组成部分，其目的是用摄像机代替人来监控场景中的目标。它是利用计算机视觉技术、模式识别和数字图像处理技术对摄像机拍摄的视频进行自动处理，对视频中的目标实现定位、识别和跟踪，然后分析和判断检测到的目标的行为，从而实现像人一样的智能监控。智能视频监控系统可以实现全天候实时分析报警，彻底改变了过去完全由安保人员对监控画面进行监视和分析的模式；同时，智能技术将一般监控系统的事后分析变成了事中分析和预警，不仅能识别可疑目标，还能在安全威胁发生之前提示相关人员关注监控画面并提前做好准备，从而提高反应速度、减少安全事故的发生。然而，在复杂多变的实际应用场景中，存在很多外界因素容易对目标检测产生干扰，生成错误的告警事件发出虚假警告，影响生产环境的正常运转。因此，去除多目标检测产生的虚假警告，提升智能视频监控系统的性能，方能真正将一般监控系统的事后分析变成事前分析和预警，更好的实现安全防范，减轻人员负担，实现“息屏”计划。
近年来，深度学习方法迅速成为研究热点，基于深度学习多目标检测技术的智能视频监控系统在国防安全、交通管理、军事领域等得到广泛应用。目前多目标检测与识别算法不断迭代更新，精度和速度都得到快速提升，但是多目标检测算法的性能仍然受数据库影响很大，在不同规模，不同复杂度的数据库上性能差别较大。目标检测与识别的大多数工作还局限于一些小规模、简单背景数据库上的识别，对于背景复杂多变的场景还存在较多的误检和漏检。因此，研究一种快速去除多目标检测误报的方法对智能视频监控系统具有非常重要的现实意义。
目标检测与识别在实际应用中，不可避免地会发生错误的识别(即误报)，去误报是一个需要长期优化的过程。现有去误报的方法一般为离线模型优化法，即采集容易产生误报场景的数据，扩充和丰富多目标检测数据库，从头或迁移训练目标检测模型，实现模型的优化，提升模型精度。该方法确实可以有效提升模型精度，但是大规模数据库的样本标注非常费时费力，随着数据库规模的扩大，优化模型的耗时变长、对计算机计算能力的要求也越高，而且数据库不可能包含所有的应用场景，实际应用场景中仍然会不可避免地出现干扰物体，单靠扩充样本库是无法满足复杂多变的生产环境的需求。
虽然深度学习方法在目标检测、分类识别等领域取得了较好的性能，但是由于图像采集过程中光照条件、拍摄视角、距离的不同，物体自身的非刚体形变以及其他物体的部分遮挡，使得物体实例的表观特征产生很大的变化，而且目标以外的背景也千差万别，使得在提取局部特征或者中层特征时会引入很多噪声和干扰，在实际应用中这些普遍存在的因素，给视频监控系统中多目标检测与识别算法带来极大的困难，从而造成视频监控系统的误报与虚假警告，给用户带来困扰。虽然现代计算机的计算能力已经达到相当惊人的程度，但是目前深度学习模型还存在着解释性差、模型复杂度高、优化困难等问题，因此单从深度学习算法角度考虑，要得到一个适用于复杂多变场景的速度快、精度高、鲁棒性强的深度学习模型，还面临较大挑战。
发明内容
为了解决现有技术中的目标检测与识别的大多数工作还局限于一些小规模、简单背景数据库上的识别，对于背景复杂多变的场景还存在较多的误检和漏检的技术问题，本发明以目标检测和深度余弦度量学习为基础，对智能视频系统预警平台中的误报告警事件进行特征向量提取构建误报库，对实时视频检测的目标也进行特征向量提取，每次生成报警事件之前与误报库中的特征向量进行余弦相似度匹配，结合相似度阈值和相似度匹配规则，最终提出一种用于监控视频多目标检测的去误报预警方法和系统，用以解决上述问题。
根据本发明的一个方面，提出了一种用于监控视频多目标检测的去误报预警方法，包括：
S1：利用卷积神经网络YoloV3从监控视频帧画面中提取出背景和感兴趣目标，确定感兴趣目标在当前帧的位置和类别，将感兴趣目标从背景中利用目标框标记，并采用深度余弦度量模型提取感兴趣目标的特征向量；
S2：响应于感兴趣目标当前的报警事件为误报，构建包括感兴趣目标的特征向量的误报库；
S3：实时获取监控视频中的视频流，提取目标物体的特征向量，在报警事件生成之前，计算目标物体的特征向量与误报库内的特征向量的相似度，响应于相似度小于预设阈值，生成报警事件。
在一些具体的实施例中，卷积神经网络YoloV3中采用深度余弦度量学习网络提取目标检测特征向量。通过卷积神经网络YoloV3可以提取更深层次的特征。
在一些具体的实施例中，特征向量为128维的特征向量。128维的特征向量兼顾了特征质量和效率。
在一些具体的实施例中，误报库还包括感兴趣目标的预测标签、预测框坐标以及摄像头属性信息。误报库的内容多样性提高了误报判断的准确性。
在一些具体的实施例中，报警事件包括摄像头信息、目标信息和事件产生时间，摄像头信息包括摄像头的唯一编号、设备编号和名称，目标信息包括目标物体的类别、坐标、置信度和特征向量。
在一些具体的实施例中，步骤S3还包括：在报警事件生成之前，响应于误报库内不存在当前摄像头的唯一编号，直接生成报警事件；响应于误报库内不存在目标信息，直接生成报警事件。
在一些具体的实施例中，响应于目标物体的特征向量与误报库内的特征向量的相似度大于等于预设阈值，不生成报警事件并更新误报库中的特征向量。
在一些具体的实施例中，相似度包括余弦相似度，余弦相似度值的计算公式为：
Figure BDA0002919410390000031
其中Ai和Bi分别代表目标物体的特征向量与误报库内的特征向量。
根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述任一项的方法。
根据本申请的第三方面，提出了一种用于监控视频多目标检测的去误报系统，系统包括：
特征提取单元：配置用于利用卷积神经网络YoloV3从监控视频帧画面中提取出背景和感兴趣目标，确定感兴趣目标在当前帧的位置和类别，将感兴趣目标从背景中利用目标框标记，并采用深度余弦度量模型提取感兴趣目标的特征向量，；
误报库构建单元：响应于感兴趣目标当前的报警事件为误报，构建包括感兴趣目标的特征向量的误报库；
预警单元：实时获取监控视频中的视频流，提取目标物体的特征向量，在报警事件生成之前，计算目标物体的特征向量与误报库内的特征向量的相似度，响应于相似度小于预设阈值，生成报警事件。
本发明提出了一种用于监控视频多目标检测的去误报预警方法和系统，该基于监控视频系统在线去除多目标检测误报的方法是以目标检测和深度余弦度量学习为基础，对智能视频系统预警平台中的误报告警事件进行特征向量提取构建误报库，对实时视频检测的目标也进行特征向量提取，每次生成报警事件之前与误报库中的特征向量进行余弦相似度匹配，结合相似度阈值和相似度匹配规则，最终提出一种基于监控视频多目标检测的去误报预警方法。该方法和系统具有较强的泛化性，可以迁移运用到不同的视频监控场景，同时适用于不同类型目标检测，快速降低了不同场景中多目标检测的误检率，提升了模型的适用性，大大降低了模型优化的成本。
附图说明
包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：
图1是本申请的一个实施例的用于监控视频多目标检测的去误报预警方法流程图；
图2是本申请的一个具体的实施例的特征向量比对流程图；
图3是本申请的一个实施例的用于监控视频多目标检测的去误报预警系统的框架图；
图4是本申请的一个实施例的用于监控视频多目标检测的去误报预警系统的架构图；
图5是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
根据本申请的一个实施例的用于监控视频多目标检测的去误报预警方法，图1示出了根据本申请的一个实施例的用于监控视频多目标检测的去误报预警方法流程图，如图2所示，该方法包括：
S101：利用卷积神经网络YoloV3从监控视频帧画面中提取出背景和感兴趣目标，确定感兴趣目标在当前帧的位置和类别，将感兴趣目标从背景中利用目标框标记，并采用深度余弦度量模型提取感兴趣目标的特征向量。
在具体的实施例中，多目标检测的任务为从实时监控视频或者图像中提取出背景和感兴趣目标，即确定当前时刻目标在当前帧的位置和类别，并用目标框将其从背景中标记出来。随着深度学习快速发展，在自然语言处理模式识别图像分类、图像分割以及目标检测等众多领域取得了一系列突破性成果。深度学习主要通过多层神经网络来模仿人大脑的多层抽象机制来实现对数据的抽象表达，可以构建深度卷积神经网络，使得模型可以提取更深层次的特征。优选的，采用高效的卷积神经网络YoloV3(You Only Look Once)作为多目标检测的模型框架，在Joseph Redmon提出的YoloV3模型基础上加以改进以适用于工业生产环境的多目标检测。
在具体的实施例中，度量学习(Metric Learning)是将相似性度量直接编码到训练目标中，基于分类的方法在训练集中的一组身份上训练分类器，然后使用网络的底层特征表示在测试时执行最近邻查询。度量学习通常会减少到最小化同一类样本之间的距离，增大不同类别样本之间的距离。优选的，采用深度余弦度量学习网络(Cosine Metriclearning)作为提取目标检测特征向量的模型框架，在Nicolai Wojke针对行人重识别数据集预训练模型的基础上，加入自己采集的数据迁移训练，对YoloV3模型检测的目标进行特征向量提取，得到目标物体的128维特征向量。
S102：响应于感兴趣目标当前的报警事件为误报，构建包括感兴趣目标的特征向量的误报库。
在具体的实施例中，根据步骤S102中的方法对实时监控视频进行多目标检测和特征向量提取，将检测到的目标物体生产报警事件推送到“工业现场视觉AI分析与安全预警平台”(即智能视频监控系统预警平台)，以下简称“预警平台”。在“预警平台”中对报警事件进行目视判断，若报警事件为正确报警，则跳过；若报警事件为误报，则将该事件判定为“误报”，此时，该目标的预测标签、预测框坐标、特征向量均会保存到数据库中，从而构建误报库。
报警事件主要包含以下内容：
摄像头信息：摄像头的唯一编号、摄像头的设备编号、摄像头的名称。
检测目标信息：目标类型、目标框的位置、目标的置信度得分、目标的特征向量。
时间：事件产生的时间。
误报库是采用MySQL数据库构建的表，主要表字段如下所示：
id：表的唯一值；
device_id：摄像头的唯一编号；
device_name：摄像头的名称；
type：判断的内容，1正确/0误报/2部分误报；
parse_class：报警目标的标签；
scope：手动绘制的目标框区域，只有当type为2时生效；
pred：特征向量；
location：模型生成的目标框坐标；
img_path：报警图片存储的位置；
create_time：事件判定的时间。
S103：实时获取监控视频中的视频流，提取目标物体的特征向量，在报警事件生成之前，计算目标物体的特征向量与误报库内的特征向量的相似度，响应于相似度小于预设阈值，生成报警事件。
在具体的实施例中，还包括：在报警事件生成之前，响应于误报库内不存在当前摄像头的唯一编号，直接生成报警事件；响应于误报库内不存在目标信息，直接生成报警事件。响应于目标物体的特征向量与误报库内的特征向量的相似度大于等于预设阈值，不生成报警事件并更新误报库中的特征向量。其中余弦相似度值的计算公式为：
Figure BDA0002919410390000061
其中，Ai和Bi分别代表目标物体的特征向量与误报库内的特征向量。
图2示出了本申请的一个具体的实施例的特征向量比对流程图，如图2所示：
采用OpenCV实时获取监控视频流，截取视频帧201，输入到多目标检测和深度余弦度量模型202中，得到目标物体的属性信息203具体包括目标标签、目标框坐标、置信度得分和特征向量；以及摄像头唯一编号204。
在生成报警事件之前，根据摄像头的唯一编号204，查询误报库205，进入判断是否有对应摄像头编号207步骤，若没有对应摄像头的编号，则直接产生报警事件211；若存在对应摄像头编号，则进入判断是否有相同标签步骤208，查询误报库205中是否存在检测到的目标标签，若不存在，则直接产生报警事件211；若存在目标标签，则进入余弦相似度匹配步骤209，根据匹配到的目标标签，查找误报库205中对应的特征向量206，将，目标物体的属性信息203中生成的特征向量与误报库205中的特征向量206按照公式
Figure BDA0002919410390000071
进行余弦相似度计算，进入判断是否匹配成功步骤210。若余弦相似度值小于设定的阈值，说明余弦相似度匹配不成功，该目标预测正确，产生报警事件211；若余弦相似度值大于等于设定的阈值，说明余弦相似度匹配成功，该目标识别错误，属于误报事件，舍弃。
继续参考图3，图3示出了根据本发明的实施例的用于监控视频多目标检测的去误报预警系统的框架图。该系统具体包括特征提取单元301、误报库构建单元302和预警单元303。
在具体的实施例中，特征提取单元301配置用于利用卷积神经网络YoloV3从监控视频帧画面中提取出背景和感兴趣目标，确定感兴趣目标在当前帧的位置和类别，将感兴趣目标从背景中利用目标框标记，并提取感兴趣目标的特征向量；误报库构建单元302配置用于响应于感兴趣目标当前的报警事件为误报，构建包括感兴趣目标的特征向量的误报库；预警单元303实时获取监控视频中的视频流，提取目标物体的特征向量，在报警事件生成之前，计算目标物体的特征向量与误报库内的特征向量的相似度，响应于相似度小于预设阈值，生成报警事件。
图4示出了根据本申请的一个实施例的用于监控视频多目标检测的去误报预警系统的架构图；如图4所示，将摄像头实时监控视频截取的视频帧401输入至误报库构建单元402中的多目标检测模型4021中，在误报库构建单元402中进行判断是否有目标的步骤4022，在存在目标的状况下获得如图像4023中示出的确定当前时刻目标在当前帧的位置和类别，并用目标框将其从背景中标记出来，继续进行判断是否属于误报步骤4024，并在如图4025中标示出误报信息，最终将其录入至误报库4026中，完成误报库的构建。
误报库构建完成后，对摄像头实时监控视频截取的视频帧401输入多目标检测模型4021中进行判断是否有目标的步骤403，若存在目标，提取目标物特征向量404，并将其与误报库特征向量进行相似度匹配步骤405，继续判断是否符合匹配规则步骤406，若符合则当前事件为误报事件，误报事件不展示407，若不符合，则表示当前事件为报警事件，正确告警事件的展示408。
上述去误报预警方法和系统的去误报预警方法可应用于烟雾、火焰、原油泄漏、安全帽、工服穿戴、口罩、行人等目标检测与识别，但不局限于上述目标。该方法和系统需要人工去判定第一次出现误报的目标和场景，其具有较强的泛化性，可以迁移运用到不同的视频监控场景，同时适用于不同类型目标检测，快速降低了不同场景中多目标检测的误检率，提升了模型的适用性，大大降低了模型优化的成本。
下面参考图5，其示出了适于用来实现本申请实施例的电子设备的计算机系统500的结构示意图。图5示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。
如图5所示，计算机系统500包括中央处理单元(CPU)501，其可以根据存储在只读存储器(ROM)502中的程序或者从存储部分508加载到随机访问存储器(RAM)503中的程序而执行各种适当的动作和处理。在RAM 503中，还存储有系统500操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(I/O)接口505也连接至总线504。
以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分507；包括硬盘等的存储部分508；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入存储部分508。
特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：包括利用卷积神经网络YoloV3从监控视频帧画面中提取出背景和感兴趣目标，确定感兴趣目标在当前帧的位置和类别，将感兴趣目标从背景中利用目标框标记，并提取感兴趣目标的特征向量；响应于感兴趣目标当前的报警事件为误报，构建包括感兴趣目标的特征向量的误报库；实时获取监控视频中的视频流，提取目标物体的特征向量，在报警事件生成之前，计算目标物体的特征向量与误报库内的特征向量的相似度，响应于相似度小于预设阈值，生成报警事件。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

Claims (10)

1.一种用于监控视频多目标检测的去误报预警方法，其特征在于，包括：
S1：利用卷积神经网络YoloV3从监控视频帧画面中提取出背景和感兴趣目标，确定所述感兴趣目标在当前帧的位置和类别，将所述感兴趣目标从所述背景中利用目标框标记，并采用深度余弦度量模型提取所述感兴趣目标的特征向量；
S2：响应于所述感兴趣目标当前的报警事件为误报，构建包括所述感兴趣目标的特征向量的误报库；
S3：实时获取所述监控视频中的视频流，提取目标物体的特征向量，在报警事件生成之前，计算所述目标物体的特征向量与所述误报库内的特征向量的相似度，响应于所述相似度小于预设阈值，生成报警事件。
2.根据权利要求1所述的用于监控视频多目标检测的去误报预警方法，其特征在于，所述卷积神经网络YoloV3中采用深度余弦度量学习网络提取目标检测特征向量。
3.根据权利要求1或2所述的用于监控视频多目标检测的去误报预警方法，其特征在于，所述特征向量为128维的特征向量。
4.根据权利要求1所述的用于监控视频多目标检测的去误报预警方法，其特征在于，所述误报库还包括所述感兴趣目标的预测标签、预测框坐标以及摄像头属性信息。
5.根据权利要求4所述的用于监控视频多目标检测的去误报预警方法，其特征在于，所述报警事件包括摄像头信息、目标信息和事件产生时间，所述摄像头信息包括摄像头的唯一编号、设备编号和名称，所述目标信息包括目标物体的类别、坐标、置信度和特征向量。
6.根据权利要求5所述的用于监控视频多目标检测的去误报预警方法，其特征在于，所述步骤S3还包括：在报警事件生成之前，响应于所述误报库内不存在当前摄像头的唯一编号，直接生成报警事件；响应于所述误报库内不存在所述目标信息，直接生成报警事件。
7.根据权利要求1所述的用于监控视频多目标检测的去误报预警方法，其特征在于，响应于所述目标物体的特征向量与所述误报库内的特征向量的相似度大于等于所述预设阈值，不生成报警事件并更新所述误报库中的特征向量。
8.根据权利要求1或7所述的用于监控视频多目标检测的去误报预警方法，其特征在于，所述相似度包括余弦相似度，所述余弦相似度值的计算公式为：
Figure FDA0002919410380000021
其中Ai和Bi分别代表所述目标物体的特征向量与所述误报库内的特征向量。
9.一种计算机可读存储介质，其上存储有一或多个计算机程序，其特征在于，该一或多个计算机程序被计算机处理器执行时实施权利要求1至8中任一项所述的方法。
10.一种用于监控视频多目标检测的去误报预警系统，其特征在于，所述系统包括：
特征提取单元：配置用于利用卷积神经网络YoloV3从监控视频帧画面中提取出背景和感兴趣目标，确定所述感兴趣目标在当前帧的位置和类别，将所述感兴趣目标从所述背景中利用目标框标记，并采用深度余弦度量模型提取所述感兴趣目标的特征向量；
误报库构建单元：响应于所述感兴趣目标当前的报警事件为误报，构建包括所述感兴趣目标的特征向量的误报库；
预警单元：实时获取所述监控视频中的视频流，提取目标物体的特征向量，在报警事件生成之前，计算所述目标物体的特征向量与所述误报库内的特征向量的相似度，响应于所述相似度小于预设阈值，生成报警事件。
CN202110112006.8A 2021-01-27 2021-01-27 一种用于监控视频多目标检测的去误报预警方法和系统 Pending CN112861673A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110112006.8A CN112861673A (zh) 2021-01-27 2021-01-27 一种用于监控视频多目标检测的去误报预警方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110112006.8A CN112861673A (zh) 2021-01-27 2021-01-27 一种用于监控视频多目标检测的去误报预警方法和系统

Publications (1)

Publication Number Publication Date
CN112861673A true CN112861673A (zh) 2021-05-28

Family

ID=75985972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110112006.8A Pending CN112861673A (zh) 2021-01-27 2021-01-27 一种用于监控视频多目标检测的去误报预警方法和系统

Country Status (1)

Country Link
CN (1) CN112861673A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537145A (zh) * 2021-06-28 2021-10-22 青鸟消防股份有限公司 目标检测中误、漏检快速解决的方法、装置及存储介质
CN113673459A (zh) * 2021-08-26 2021-11-19 中国科学院自动化研究所 基于视频的生产施工场所安全巡检方法、系统、设备
CN114120579A (zh) * 2021-11-26 2022-03-01 广东电网有限责任公司 一种智能井盖监测系统、方法、设备及存储介质
US11495119B1 (en) 2021-08-16 2022-11-08 Motorola Solutions, Inc. Security ecosystem
WO2024022450A1 (zh) * 2022-07-27 2024-02-01 杭州海康威视数字技术股份有限公司 目标检测的场景适应性提高方法、装置、目标检测系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113537145A (zh) * 2021-06-28 2021-10-22 青鸟消防股份有限公司 目标检测中误、漏检快速解决的方法、装置及存储介质
CN113537145B (zh) * 2021-06-28 2024-02-09 青鸟消防股份有限公司 目标检测中误、漏检快速解决的方法、装置及存储介质
US11495119B1 (en) 2021-08-16 2022-11-08 Motorola Solutions, Inc. Security ecosystem
CN113673459A (zh) * 2021-08-26 2021-11-19 中国科学院自动化研究所 基于视频的生产施工场所安全巡检方法、系统、设备
CN113673459B (zh) * 2021-08-26 2024-05-14 中国科学院自动化研究所 基于视频的生产施工场所安全巡检方法、系统、设备
CN114120579A (zh) * 2021-11-26 2022-03-01 广东电网有限责任公司 一种智能井盖监测系统、方法、设备及存储介质
WO2024022450A1 (zh) * 2022-07-27 2024-02-01 杭州海康威视数字技术股份有限公司 目标检测的场景适应性提高方法、装置、目标检测系统

Similar Documents

Publication Publication Date Title
CN112861673A (zh) 一种用于监控视频多目标检测的去误报预警方法和系统
Manju et al. RETRACTED ARTICLE: Video analytics for semantic substance extraction using OpenCV in python
CN108549846B (zh) 一种结合运动特征和头肩结构的行人检测与统计方法
Lin et al. Integrating graph partitioning and matching for trajectory analysis in video surveillance
Yang et al. Tracking based multi-orientation scene text detection: A unified framework with dynamic programming
Cao et al. EFFNet: Enhanced feature foreground network for video smoke source prediction and detection
Liu et al. Integrating part-object relationship and contrast for camouflaged object detection
CN113269091A (zh) 一种面向智慧园区的人员轨迹分析方法、设备及介质
CN114627339B (zh) 茂密丛林区域对越境人员的智能识别跟踪方法及存储介质
KR101826669B1 (ko) 동영상 검색 시스템 및 그 방법
Gündüz et al. A new YOLO-based method for social distancing from real-time videos
Zhao et al. Cooperative use of recurrent neural network and siamese region proposal network for robust visual tracking
Alagarsamy et al. Identifying the Missing People using Deep Learning Method
KR20140141239A (ko) 평균이동 알고리즘을 적용한 실시간 객체 추적방법 및 시스템
CN113689475A (zh) 跨境头轨迹跟踪方法、设备及存储介质
Fu et al. Exciting-inhibition network for person reidentification in Internet of Things
Moseva et al. Algorithm for Predicting Pedestrian Behavior on Public Roads
CN115272967A (zh) 一种跨摄像机行人实时跟踪识别方法、装置及介质
Zhang et al. Transformer-based global–local feature learning model for occluded person re-identification
Cao et al. A long-memory pedestrian target tracking algorithm incorporating spatiotemporal trajectory feature enhancement model
Gao et al. Airline baggage appearance transportability detection based on A novel dataset and sequential hierarchical sampling CNN model
Zhang et al. What makes for good multiple object trackers?
CN114140879A (zh) 基于多头级联注意网络与时间卷积网络的行为识别方法及装置
Revathi et al. A survey of activity recognition and understanding the behavior in video survelliance
Yang et al. Research on application of object detection based on yolov5 in construction site

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Room 01, floor 1, building 104, No. 3 minzhuang Road, Haidian District, Beijing 100195

Applicant after: Changyang Technology (Beijing) Co.,Ltd.

Address before: 100195 2nd floor, building 3, yuquanhuigu phase II, No.3 minzhuang Road, Haidian District, Beijing

Applicant before: CHANGYANG TECH (BEIJING) Co.,Ltd.

CB02 Change of applicant information