CN113297949A - 高空抛物检测方法、装置、计算机设备和存储介质 - Google Patents

高空抛物检测方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN113297949A
CN113297949A CN202110550968.1A CN202110550968A CN113297949A CN 113297949 A CN113297949 A CN 113297949A CN 202110550968 A CN202110550968 A CN 202110550968A CN 113297949 A CN113297949 A CN 113297949A
Authority
CN
China
Prior art keywords
image frame
moving object
moving
matrix
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110550968.1A
Other languages
English (en)
Other versions
CN113297949B (zh
Inventor
陈向阳
谭昶
贾若然
姜殿洪
刘啸
王小艮
高明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
iFlytek Co Ltd
Original Assignee
iFlytek Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by iFlytek Co Ltd filed Critical iFlytek Co Ltd
Priority to CN202110550968.1A priority Critical patent/CN113297949B/zh
Publication of CN113297949A publication Critical patent/CN113297949A/zh
Application granted granted Critical
Publication of CN113297949B publication Critical patent/CN113297949B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种高空抛物检测方法、装置、计算机设备和存储介质。方法包括：对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物。其中，运动目标为移动物体在图像帧中的成像，视频流是对建筑物进行监测所获取的。相较于相关技术中由人工对视频流进行分析筛选以确定高空抛物，由于可以对高空抛物进行监测以获取视频流，对于视频流所拍摄入的移动物体，根据移动物体在在对应的目标图像帧中的位置信息，自动检测出所有所有移动物体中的高空抛物，从而检测效率比较高，实时性比较高，且漏检率也更低。

Description

高空抛物检测方法、装置、计算机设备和存储介质
技术领域
本申请涉及图像识别技术领域，特别是涉及一种高空抛物检测方法、装置、计算机设备和存储介质。
背景技术
目前视频监控系统在社会公共安全体系中起到的作用越来越大，安防业的智能化及数字化发展也越来越受到重视。近些年来，高空抛物现象越发增多，每一次事故都可能产生难以预料的后果，从而对高空抛物进行实时检测的重要性也越来越大。通过实时预警高空抛物，可以对抛物者进行追责，提高居民的法律意识，减少相关的事件的发生。然而对于巨量的监控视频，在相关技术中，主要是通过人力来进行分析、筛选，从而效率非常低。因此，目前急需一种高空抛物检测方法。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高检测高空抛物效率的高空抛物检测方法、装置、计算机设备和存储介质。
一种高空抛物检测方法，该方法包括：
对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；
根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物；其中，运动目标为移动物体在图像帧中的成像，视频流是对建筑物进行监测所获取的；移动物体对应的目标图像帧为至少部分图像帧中包含移动物体的图像帧。
在其中一个实施例中，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧，包括：
对于至少部分图像帧中任一组相邻的两个图像帧，将任一组相邻的两个图像帧分别记为第t个图像帧及第t+1个图像帧，根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的代价矩阵；
根据至少部分图像帧中每组相邻的两个图像帧所对应的代价矩阵，确定所有移动物体中每一移动物体对应的目标图像帧；
其中，第t个图像帧与第t+1个图像帧之间的代价矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间对应同一移动物体的可能程度，t为正整数，t不小于1且不大于至少部分图像帧中的总帧数。
在其中一个实施例中，根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的代价矩阵，包括：
根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的预设矩阵；
根据第t个图像帧与第t+1个图像帧之间的预设矩阵，获取第t个图像帧与第t+1个图像帧之间的代价矩阵；
其中，预设矩阵至少包括交并比矩阵；第t个图像帧与第t+1个图像帧之间的交并比矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的外形轮廓近似程度。
在其中一个实施例中，根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的预设矩阵，包括：
对于第t个图像帧中出现的任一运动目标a及第t+1个图像帧中出现的任一运动目标b，分别将a及b的外形轮廓放大预设倍数；
获取放大后的a与放大后的b之间交集区域的第一面积，获取放大后的a与放大后的b之间并集区域的第二面积，并将第一面积与第二面积之间的比值作为a与b之间的交并比；
根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的交并比，确定第t个图像帧与第t+1个图像帧之间的交并比矩阵。
在其中一个实施例中，预设矩阵还包括特征相似度矩阵和/或惩罚矩阵；
其中，第t个图像帧与第t+1个图像帧之间的惩罚矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的下落趋同程度；
第t个图像帧与第t+1个图像帧之间的特征相似度矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的纹理相似程度。
在其中一个实施例中，预设矩阵包括惩罚矩阵；相应地，根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的预设矩阵，包括：
根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的惩罚值，获取第t个图像帧与第t+1个图像帧之间的惩罚矩阵，惩罚值是基于两个运动目标各自的垂直坐标所确定。
在其中一个实施例中，根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物，包括：
根据预设规则组及移动物体在对应的目标图像帧中的位置信息，获取移动物体的判断结果，预设规则组中的每一预设规则是基于高空抛物的下落特性所确定的，判断结果用于指示移动物体是否为高空抛物。
在其中一个实施例中，移动物体对应的目标图像帧构成移动物体对应的目标图像帧组，移动物体对应的目标图像帧组中的目标图像帧是基于视频流中图像帧出现的先后顺序进行排序的；相应地，根据预设规则组及移动物体在对应的目标图像帧中的位置信息，获取移动物体的判断结果，包括：
判断移动物体在对应的目标图像帧组中第k个目标图像帧时所确定的移动轨迹是否符合预设规则组中的每一预设规则，若符合预设规则组中的每一预设规则，则将k加1并继续判断，重复上述判断的过程直至得到移动物体的判断结果，k为正整数，k不小于2且不大于移动物体对应的目标图像帧组中的总帧数。
在其中一个实施例中，预设规则组包括以下四个预设规则中的至少一个预设规则；以下四个预设规则分别为移动物体在垂直方向上的坐标保持增加状态、移动物体的尺寸维持稳定状态、移动物体的移动轨迹符合自由落体运动的下落特性及移动物体在水平方向上的坐标维持稳定状态。
一种高空抛物检测装置，该装置包括：
第一确定模块，用于对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；
第二确定模块，用于根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物；其中，运动目标为移动物体在图像帧中的成像，视频流是对建筑物进行监测所获取的；移动物体对应的目标图像帧为至少部分图像帧中包含移动物体的图像帧。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；
根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物；其中，运动目标为移动物体在图像帧中的成像，视频流是对建筑物进行监测所获取的；移动物体对应的目标图像帧为至少部分图像帧中包含移动物体的图像帧。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；
根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物；其中，运动目标为移动物体在图像帧中的成像，视频流是对建筑物进行监测所获取的；移动物体对应的目标图像帧为至少部分图像帧中包含移动物体的图像帧。
上述高空抛物检测方法、装置、计算机设备和存储介质，对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧。根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物。相较于相关技术中由人工对视频流进行分析筛选以确定高空抛物，由于可以对高空抛物进行监测以获取视频流，对于视频流所拍摄入的移动物体，根据移动物体在在对应的目标图像帧中的位置信息，自动检测出所有所有移动物体中的高空抛物，从而检测效率比较高，实时性比较高，且漏检率也更低。
附图说明
图1为一个实施例中高空抛物检测方法的应用场景示意图；
图2为一个实施例中高空抛物检测方法的流程示意图；
图3为另一个实施例中高空抛物检测方法的流程示意图；
图4为又一个实施例中高空抛物检测方法的流程示意图；
图5为再一个实施例中高空抛物检测方法的流程示意图；
图6为一个实施例中高空抛物的下落示意图；
图7为一个实施例中判断移动物体是否为高空抛物的判断流程图；
图8为一个实施例中高空抛物检测装置的结构框图；
图9为一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种专业名词，但除非特别说明，这些专业名词不受这些术语限制。这些术语仅用于将一个专业名词与另一个专业名词区分。举例来说，在不脱离本申请的范围的情况下，第三预设阈值与第四预设阈值可以相同可以不同。
目前视频监控系统在社会公共安全体系中起到的作用越来越大，安防业的智能化及数字化发展也越来越受到重视。近些年来，高空抛物现象越发增多，每一次事故都可能产生难以预料的后果，从而对高空抛物进行实时检测的重要性也越来越大。通过实时预警高空抛物，可以对抛物者进行追责，提高居民的法律意识，减少相关的事件的发生。然而对于巨量的监控视频，在相关技术中，主要是通过人力来进行分析、筛选，从而效率非常低。因此，目前急需一种高空抛物检测方法。
针对上述相关技术中存在的问题，本发明实施例提供了一种高空抛物检测方法，该方法可以应用于图1中的应用场景。图1中包括摄像头101及服务器102。其中，摄像头101一般是放在建筑物楼底，从下而上实时拍摄建筑物的周围实况，如果存在高空抛物的现象，即可被拍摄到。由此，通过摄像头101可以实时获取拍摄得到的视频流，并将视频流传输至服务器102。而服务器102，主要是对摄像头101拍摄得到的视频流进行处理。当然，实际实施过程中，服务器102的处理功能也可以直接集成至摄像头101中，也即由摄像头101实时拍摄数据流，并对数据流处理得到处理结果，后续需要使用处理结果时，只需由摄像头101输出处理结果即可。
另外，用于处理数据流的处理设备其形式不一定是服务器，也可以为专门的处理设备，如个人计算机或笔记本电脑，甚至若便携式穿戴设备如果能与摄像头101联动，以实现抛物预警，处理设备还可以为便携式穿戴设备，本发明实施例对此不做具体限定。需要说明的是，本申请各实施例中提及的“多个”等的数量均指代“至少两个”的数量，比如，“多个”指“至少两个”。
另外，服务器102具体为怎样的处理过程，与图1中应用场景对应的具体用途有关。其中，具体用途可以为高空抛物实时监测预警，也即通过对高空抛物实时监测，在监测到高空抛物时，对楼底下的行人进行实时预警。或者，具体用途还可以为高空抛物监测追责，也即通过对高空抛物实时监测，根据视频流分析物体是由哪一层楼哪个窗户抛出的，从而便于后续追责。
结合上述说明可知，图1中应用场景对应的具体用途可以为高空抛物实时监测预警，也可以为高空抛物监测追责。而摄像头在拍摄视频流时，会将很多非高空抛物的物体移动过程也拍摄进去，如鸟类飞翔或树叶掉落等。因此，无论是哪种用途，均需要先识别出高空抛物。基于此，参见图2，提供了一种高空抛物检测方法。以该方法应用于服务器，且执行主体为服务器为例进行说明，该方法包括如下步骤：
201、对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；
202、根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物。
在上述步骤201中，至少部分图像帧指的是视频流中的部分图像帧。之所以不是视频流中的全部图像帧，而是至少部分图像帧，是因为视频流中不一定会一直能拍摄到移动物体。另外，至少部分图像帧并不一定指的是视频流中单一一组部分连续的图像帧，可以是几组部分连续的图像帧所构成的，本发明实施例对此不作具体限定。
运动目标为移动物体在图像帧中的成像，视频流是对建筑物进行监测所获取的。移动物体指的是视频流中拍摄入的移动物体，移动物体的数量可以不止一个。对于任一移动物体，该移动物体对应的目标图像帧为视频流中包含该移动物体的图像帧。更具体地，该移动物体对应的目标图像帧为包含该移动物体对应的运动目标的图像帧。其中，移动物体可以为高空抛物、飞鸟或掉落树叶等，这些移动物体被拍摄到在视频流的图像帧中就会被成像为运动目标。
视频流是由一帧帧图像所构成的，视频流中的运动目标通常不止一个。基于此，由于拍摄视频流的摄像头其摄像范围是有限的，从而会存在某一移动物体在视频流中某些图像帧出现了，在这些图像帧之后的图像帧可能就不再出现了。例如，鸟类飞翔时可能在摄像头的摄像范围内掠过，这可能就会导致摄像头拍摄的视频流中一部分图像帧中是包含该飞鸟的，而当该飞鸟飞离摄像头的摄像范围，则之后视频流中的图像帧可能就不包含该飞鸟了。
而后续判断移动物体是否高空抛物，是需要基于移动物体在包含该移动物体的图像帧中的位置信息进行判断。因此，在步骤201中，对于视频流中出现的所有运动目标所对应的所有移动物体，需要确定每一移动物体在视频流中的哪些图像帧中出现了，也即需要确定哪些图像帧中包含了哪些移动物体对应的运动目标。对于某一移动物体，在确定哪些图像帧包含该移动物体对应的运动目标后，这些图像帧即为该移动物体对应的目标图像帧。其中，移动物体对应的目标图像帧通常不会只有一个。为了确定移动物体对应的目标图像帧，在执行步骤201之前，对于视频流中的每一帧图像，可以先检测每一帧图像中的运动目标。
由上述内容可以得知，不同图像帧中各自出现的运动目标是可能对应同一个移动物体的。例如，对于视频流中连续的多个图像帧，在该多个图像帧中第一个图像帧检测出的运动目标，其对应的移动物体，是可能会继续出现在后续图像帧中的，也即后续图像帧中也可能会出现该移动物体对应的运动目标。此时，应当认为这些运动目标对应的是同一个移动物体。
由于处理设备只能检测出每一图像帧中的运动目标，却无法获知不同图像帧中各自出现的运动目标之间的关联关系，也即无法获知哪几个图像帧中出现的哪些运动目标其实对应的是同一个移动物体，从而在执行步骤201之前，除了检测每一图像帧中出现的运动目标之外，还可以确定不同图像帧中出现的运动目标之间的关联关系。
实际实施过程中，检测每一图像帧中出现的运动目标，可以通过背景建模算法实现，如单高斯模型方法、混合高斯模型方法或光流法等。其中，在通过上述方法检测图像帧的运动目标时，运动目标在图像帧中的位置信息也是可以一并获取的。而确定不同图像帧中出现的运动目标之间的关联关系，并由此确定每一移动物体对应的目标图像帧，可以通过运动目标跟踪方法或图像匹配算法实现，本发明实施例对此也不作具体限定。
检测图像帧中出现的运动目标，除了上述方式之外，还可以存在其它方式。本发明实施例不对检测每一图像帧中出现的运动目标的方式作具体限定，包括但不限于：对于第j个图像帧，获取第j-1个图像帧与第j个图像帧之间的第一灰度差矩阵，获取第j个图像帧与第j+1个图像帧之间的第二灰度差矩阵；分别对第一灰度差矩阵与第二灰度差矩阵作预设处理，根据预设处理后的第一灰度差矩阵及预设处理后的第二灰度差矩阵，确定第j个图像帧中的运动目标。其中，j为不小于2且不大于视频流中总帧数的正整数。
在上述过程中，灰度差矩阵是将两个大小相同的图像帧中相同位置上的像素之间灰度值差值所确定的。例如，第j-1个图像帧中左上角的像素与第j个图像帧中左上角的像素即为第j-1个图像帧与第j个图像帧中相同位置上的像素，计算该两个图像帧中每两个相同位置上的两个像素之间的灰度值差值，即可确定第一灰度差矩阵，第二灰度差矩阵的计算过程同理。其中，上述灰度值差值可以为取绝对值后的结果。
预设处理的过程至少包括阈值化的处理过程，也即将第一灰度差矩阵中每一灰度值差值与第一预设阈值进行比较。若灰度值差值大于第一预设阈值，可以将灰度值差值设置为1，若灰度值差值不大于第一预设阈值，则可以将灰度值差值设置为0。通过上述阈值化的处理过程，可以得到由预设处理后的第一灰度差矩阵以及预设处理后的第二灰度差矩阵，两者均是由0和1组成的。当然，在执行上述阈值化的处理过程之前，预设处理的过程中还可以包括高斯滤波、中值滤波或者其它去除噪声的图像滤波过程，本发明实施例对此不作具体限定。
考虑到图像帧中会存在一些小的断开或者目标区域背部的空洞，可以通过图像膨胀运算解决该缺陷。而对于图像帧中杂散且大量的背景噪声，则可以通过图像腐蚀运算解决该缺陷。在上述阈值化的过程之后，预设处理的过程还可以包括膨胀和/或腐蚀运算的过程。考虑到在对图像帧进行腐蚀运算时，运动目标的轮廓也会被腐蚀掉一部分，而在对图像帧帧进行膨胀运算时，运动目标的轮廓外围可能会产生操作。因此，实际实施过程中，在上述阈值化的过程之后，预设处理的过程还可以包括膨胀、腐蚀及膨胀运算的过程，以尽量弥补上述单腐蚀运算或者单膨胀运算过程所带来的缺陷。
通过上述预设处理的过程，可以得到预设处理后的第一灰度差矩阵及预设处理后的第二灰度差矩阵。由上述内容可知，两者均是由0和1组成的。其中，1即代表组成运动目标的像素，第一灰度差矩阵代表的是由第j-1个图像帧与第j个图像帧所确定出的第j个图像帧中的运动目标，第二灰度差矩阵代表的是由第j个图像帧与第j+1个图像帧所确定出的第j个图像帧中的运动目标。通过将预设处理后的第一灰度差矩阵与预设处理后的第二灰度差矩阵进行与操作，即可确定由第j-1个图像帧与第j个图像帧所确定出的第j个图像帧中的运动目标，与第j个图像帧与第j+1个图像帧所确定出的第j个图像帧中的运动目标之间的交集，该交集即为第j个图像帧中的运动目标。
需要说明的是，上述过程确定第j个图像帧中的运动目标，其表现形式主要是确定第j个图像帧中哪些像素是构成运动目标的。另外，在确定第j个图像帧中的运动目标之后，还可以再对第j个图像帧中的运动目标进行膨胀操作。
一般而言，对于得到的运动目标需要进行中值滤波以过滤噪声点。而在高空抛物场景中往往高空抛物诸如矿泉水瓶，小木棒等物体在园区广角摄像头下分辨率较低，使用中值滤波很容易将物体本身滤去。因此，相较于一般情况下中值滤波的方案，本发明实施例为了在运动目标检测阶段允许更多目标通过，可以采取上述膨胀操作，并后续通过规则限制噪声，以实现对于小目标的检测，以避免因高分辨率摄像头下难以检测小目标而遗漏掉较小的运动目标。另外，对于视频流中其它图像帧，也可以像第j个图像帧中的运动目标那样进行膨胀处理，从而得到视频流中每一图像帧中出现的运动目标。其中，对于第1个图像帧及最后1个图像帧，可以通过背景建模算法来检测其中出现的运动目标。
还需要说明的是，上述过程主要是通过帧差法检测图像帧中的运动目标。帧间差分法是通过对视频流中相邻两帧图像做差分运算，来标记运动目标的方法。相较于背景建模算法，帧间差分法实现更加简单，程序设计复杂度低，对光线等场景变化不太敏感，能够适应各种动态环境，稳定性较好。
由上述内容可知，实际实施过程需要检测每一图像帧中出现的运动目标，而在图像帧中检测出运动目标后，运动目标在图像帧中的位置信息也是可以一并获知的。基于此，在上述步骤202中，若之前已经确定了每一移动物体对应的目标图像帧，对于某一移动物体，该移动物体在对应的每一目标图像帧中的位置信息，也即该移动物体对应的运动目标在每一目标图像帧中的位置信息也是可以确定的。
由于移动物体在对应的每一目标图像帧中的位置信息，是可以反映其运动特性的，而高空抛物是符合自由落体特性的，从而在步骤202中，可以判断移动物体所反映出的运动特性是否符合自由落体特性。如果符合则可以确定该移动物体为高空抛物，如果不符合则可以确定该移动物体不为高空抛物。通过上述过程可以确定所有移动物体中哪些是高空抛物。
具体地，在判断该移动物体的运动特性是否符合自由落体特性时，可以根据该移动物体在对应的每一目标图像帧中的位置信息，获取该移动物体下落时的加速度。若该移动物体下落时的加速度，符合自由落体运动的重力加速度，则可以确定该移动物体为高空抛物。当然，实际实施过程中还可以有其它方式用以判断移动物体的运动特性是否符合自由落体特性，本发明实施例对此不作具体限定。
本发明实施例提供的方法，对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧。根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物。相较于相关技术中由人工对视频流进行分析筛选以确定高空抛物，由于可以对高空抛物进行监测以获取视频流，对于视频流所拍摄入的移动物体，根据移动物体在在对应的目标图像帧中的位置信息，自动检测出所有所有移动物体中的高空抛物，从而检测效率比较高，实时性比较高，且漏检率也更低。
结合上述实施例的内容，在一个实施例中，参见图3，本发明实施例不对根据每一图像帧中出现的运动目标，确定所有移动物体中每一移动物体对应的目标图像帧的方式作具体限定，包括但不限于：
301、对于至少部分图像帧中任一组相邻的两个图像帧，将该组相邻的两个图像帧分别记为第t个图像帧及第t+1个图像帧，根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的代价矩阵；
302、根据至少部分图像帧中每组相邻的两个图像帧所对应的代价矩阵，确定所有移动物体中每一移动物体对应的目标图像帧，t为正整数，t不小于1且不大于视频流中的总帧数。
在上述步骤301中，第t个图像帧与第t+1个图像帧之间的代价矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间对应同一移动物体的可能程度。例如，第t个图像帧中检测出m个运动目标，而第t+1个图像帧检测出n个运动目标，那么代价矩阵即为m*n的矩阵。代价矩阵中每一项均为代价值，用于表示两个运动目标之间对应同一移动物体的可能程度。对于上述m*n的代价矩阵，该代价矩阵中左上角即为第t个图像帧中的第1个运动目标与第t+1个图像帧中的第1个运动目标之间的代价值。
需要说明的是，对于第t个图像帧中的第1个运动目标，该第1个，仅仅是将第t个图像帧中出现的所有运动目标进行序号编排后的结果，并非具有其它具体指代含义，如并非指的是第t个图像帧中第1个出现的运动目标。另外，上述提及m与n的取值不一定相同。m可能会比n小，也可能会比n大。当然，两者也可能相同。之所以会产生m与n取值不同的情形，结合上述实施例的内容可知，是因为某一移动物体在视频流中某些图像帧出现了，在这些图像帧之后的图像帧可能就不再出现了。例如，即使是两个相邻的图像帧，上一图像帧中出现的运动目标所对应的移动物体，可能在下一图像帧之前已移动至摄像头的摄像范围之外了。此时，该移动物体不一定会再次出现在下一图像帧中。相应地，下一图像帧中则不一定能检测出该移动物体对应的运动目标。
或者，还可能会有新的移动物体在下一图像帧时移动至摄像头的摄像范围。此时，下一图像帧中可能会检测出该新的移动物体对应的运动目标。上述陈述的情形均可以能会导致m与n的取值不同。
关于两个运动目标之间的代价值的获取过程，本发明实施例对此不作具体限定，具体可参考如下过程：基于移动物体被拍摄时的连续性，对于相邻两个图像帧中各自出现的某一运动目标，若该两个运动目标对应的是同一移动物体，则在一帧时长的这么短时间内，移动物体移动的距离不会特别长。基于该原理，可以将该两个运动目标之间的距离值作为两个运动目标之间的代价值。其中，该两个运动目标之间的距离值可以根据该两个运动目标在各自图像帧中的位置信息计算得到。或者，由于同一移动物体在相邻图像帧中成像为两个运动目标，该两个运动目标的外形通常会比较相似，从而也可以获取该两个运动目标之间的外形相似程度，以作为该两个运动目标之间的代价值。
通过上述过程，可以确定第t个图像帧中的每一运动目标与第t+1个图像帧中的每一运动目标之间的代价值，由这些运动目标之间代价值即可构建得到第t个图像帧与第t+1个图像帧之间的代价矩阵。在获取第t个图像帧与第t+1个图像帧之间的代价矩阵后，可以根据代价矩阵，确定第t个图像帧中的哪些运动目标与第t+1个图像帧中的哪些运动目标实则对应的是同一个移动物体。
具体地，在上述步骤302中，可以根据两个运动目标之间的代价值进行确定。例如，以第t个图像帧中检测出3个运动目标，分别为D1t、D2t及D3t，而t+1个图像帧中检测出4个运动目标，分别为D1t+1、D2t+1、D3t+1及D4t+1为例。D1t与D1t+1、D2t+1、D3t+1及D4t+1之间的代价值分别为v1、v2、v3及v4，即可对应代价矩阵中的第一行内容。在上述4个代价值中，可以确定最小代价值，并由此确定D1t与第t+1个图像帧中最小代价值对应的运动目标对应的是同一个移动物体。例如，若上述4个代价值中最小代价值为v3，则可以确定D1t与D3t+1对应同一个移动物体。
需要说明的是，实际实施过程中，也可以确定最大代价值，并由此确定D1t与第t+1个图像帧中最大代价值对应的运动目标对应的是同一个移动物体。至于究竟是基于最小代价值以确定是否对应同一移动物体，还是基于最大代价值以确定是否对应同一物体，可以根据代价值的实际定义来确定。例如，若代价值是个比率，且该比率越大，则表示两个运动目标更有可能对应的是同一个移动物体。此时，可以根据最大代价值以确定是否对应同一移动物体。倘若代价值是1减去上述比值所得到的差值，则刚好相反，需要根据最小代价值以确定是否对应同一移动物体。
通过上述过程，可以根据至少部分图像帧中每组相邻的两个图像帧所对应的代价矩阵，确定每组相邻的两个图像帧中各自哪些运动目标对应的是同一移动物体。而基于图像帧之间的连续性，不同图像帧中出现的运动目标各自所对应的移动物体可以关联起来。例如，若确定第t-1个图像帧中出现的运动目标D2t-1与第t个图像帧D1t对应的是同一个移动物体，结合上述示例，若确定D1t与D3t+1对应的也是同一个移动物体，则可以将D2t-1、D1t与D3t+1各自对应的移动物体关联起来，也即D2t-1、D1t与D3t+1该三者对应的是同一个移动物体。基于上述过程，至少部分图像帧中每一图像帧中出现的运动目标各自所对应的移动物体均可以关联起来。由此，可以确定至少部分图像帧中哪些图像帧中出现的哪些运动目标实则对应的是同一个移动物体。
通过上述过程，在确定至少部分图像帧中哪些图像帧中出现的哪些运动目标实则对应的是同一个移动物体之后，即可确定视频流中所有被摄入的移动物体，并且可以确定每一移动物体对应的目标图像帧，还可以确定每一移动物体在对应的目标图像帧中的位置信息。也即，对于某一移动物体，可以确定有哪些图像帧中包含该移动物体，且该移动物体在这些图像帧中的位置信息。
本发明实施例提供的方法，对于至少部分图像帧中任一组相邻的两个图像帧，通过将该组相邻的两个图像帧分别记为第t个图像帧及第t+1个图像帧，根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的代价矩阵。根据至少部分图像帧中每组相邻的两个图像帧所对应的代价矩阵，确定所有移动物体中每一移动物体对应的目标图像帧。由于可以对高空抛物进行监测以获取视频流，对于视频流所拍摄入的移动物体，确定移动物体对应的目标图像帧，并根据移动物体在在对应的目标图像帧中的位置信息，自动检测出所有移动物体中的高空抛物，从而检测效率比较高，实时性比较高，且漏检率也更低。
结合上述实施例的内容，在一个实施例中，参见图4，本发明实施例不对根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的代价矩阵的方式作具体限定，包括但不限于：
401、根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的预设矩阵；
402、根据第t个图像帧与第t+1个图像帧之间的预设矩阵，获取第t个图像帧与第t+1个图像帧之间的代价矩阵。
在上述步骤401中，预设矩阵至少包括交并比矩阵。第t个图像帧与第t+1个图像帧之间的交并比矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的外形轮廓近似程度。交并比是目标检测中使用的一个概念，是产生的候选框(candidate bound)与原标记框(ground truth bound)的交叠率，即它们的交集与并集的比值。其中，最理想情况是完全重叠，即比值为1。对于相邻两个图像帧及该两个图像帧中各自选取一个运动目标所构成的两个运动目标，之所以选取交并比以构成代价矩阵，是由于若该两个运动目标是对应同一移动物体，则该两个运动目标会因为对应同一移动物体，从而外形轮廓比较近似，进而两个运动目标之间的交并比会比较大。
结合上述关于交并比的定义，在执行上述步骤401之前，可以先获取第t个图像帧中出现的运动目标与第t+1个图像帧中出现的运动目标之间的交并比，并由此构成交并比矩阵。
在上述步骤402中，可以直接将第t个图像帧与第t+1个图像帧之间的交并比矩阵作为两者之间的代价矩阵。进一步地，可以结合其它可以反映两个运动目标实则对应同一移动物体的考量因素，也即预设矩阵中还可以包括其它内容，以构建代价矩阵。具体地，由于同一移动物体在不同图像帧中的运动目标，其外形均是相似的，从而可以计算第t个图像帧中每一运动目标与第t+1个图像帧中每一运动目标之间的外形相似度，从而构建得到外形相似度矩阵。其中，若第t个图像帧中检测出m个运动目标，而第t+1个图像帧检测出n个运动目标，则无论是交并比矩阵还是外形相似度矩阵，均可以为m*n的矩阵。相应地，可以将该两个矩阵进行相加以得到代价矩阵，该代价矩阵也为m*n的矩阵。同理，视频流中每组相邻的两个图像帧所对应的代价矩阵，也可以通过上述过程计算得到。
本发明实施例提供的方法，通过根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的预设矩阵。根据第t个图像帧与第t+1个图像帧之间的预设矩阵，获取第t个图像帧与第t+1个图像帧之间的代价矩阵。由于预设矩阵可以反映运动目标之间对应同一移动物体的可能程度，从而可以提高后续检测高空抛物时的准确率。
结合上述实施例的内容，在一个实施例中，参见图5，本发明实施例不对根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的预设矩阵，包括但不限于：
501、对于第t个图像帧中出现的任一运动目标a及第t+1个图像帧中出现的任一运动目标b，分别将a及b的外形轮廓放大预设倍数；
502、获取放大后的a与放大后的b之间交集区域的第一面积，获取放大后的a与放大后的b之间并集区域的第二面积，并将第一面积与第二面积之间的比值作为a与b之间的交并比；
503、根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的交并比，确定第t个图像帧与第t+1个图像帧之间的交并比矩阵。
在上述步骤501中，预设倍数可以1倍，也可以为其它倍数，本发明实施例对此不作具体限定。之所以在计算交并比之前，分别将a及b的外形轮廓放大预设倍数，是因为运动目标可能存在因为过小而难以检测的问题，如若对图像帧进行了滤波处理，则图像帧中比较小的运动目标可能会因为滤波而被过滤掉，从而难以被检测出来。因此，通过将运动目标的外形轮廓放大预设倍数，可以便于后续进行滤波检测。
需要说明的是，由上述实施例的内容可知，代价矩阵用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间对应同一移动物体的可能程度。其中，两个运动目标在代价矩阵对应的值称之为代价值。若代价值越高，表示可能性越高，而两个运动目标之间的交并比也是值越大，则表示该两个运动目标就越有可能对应同一移动物体。因此，可以不对上述过程中计算得到的交并比不作任何处理，直接由计算得到的交并比构成交并比矩阵。若代价值越低，表示可能性越高，而两个运动目标之间的交并比是值越大，则表示该两个运动目标就越有可能对应同一移动物体。因此，可以将1减去上述过程中计算得到的交并比，由计算得到的差值构成交并比矩阵。
本发明实施例提供的方法，由于在获取运动目标之间的交并比时，可以先将运动目标的外形轮廓放大预设倍数，从而便于后续检测出较小的运动目标，进而避免遗漏掉较小的高空抛物。
考虑到单一交并比矩阵还不足以判断两个运动目标是否对应同一移动物体，结合上述实施例的内容，在一个实施例中，预设矩阵还包括特征相似度矩阵和/或惩罚矩阵；其中，第t个图像帧与第t+1个图像帧之间的惩罚矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的下落趋同程度；第t个图像帧与第t+1个图像帧之间的特征相似度矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的纹理相似程度。
由于高空抛物在下落过程中，其在垂直下落方向上的纵坐标通常是逐渐增加的，在水平方向的初始速度则会逐渐降低但水平方向上的坐标还是会逐渐增加的，从而对于同一移动物体分别在两个相邻图像帧中的运动目标，则该两个运动目标的运动过程是比较近似的，具体可以通过下落趋同程度进行表示。
其中，两个运动目标之间的下落趋同程度可以通过两个运动目标之间水平方向上坐标变化进行表示。例如，若某一移动物体是高空抛物，则通常在水平方向上是具有一个初始速度的，从而对于该移动物体在两个相邻图像帧中的运动目标，位于后一图像帧中的运动目标应该比位于前一图像帧中的运动目标在水平方向上的距离要远。
以第t个图像帧中的运动目标D1t及t+1个图像帧中的运动目标D2t+1为例，若D2t+1在水平方向上的坐标远于D1t在水平方向上的坐标，由于符合前面所陈述的原理，也即位于后一图像帧中的运动目标比位于前一图像帧中的运动目标在水平方向上的距离要远，从而可以确定该两个运动目标之间的下落趋同程度比较高，具体可以用数值0表示。若D1t在水平方向上的坐标远于D2t+1在水平方向上的坐标，则可以确定该两个运动目标下落趋同程度比较低，具体可以用数值1表示。
需要说明的是，由上述实施例的内容可知，代价矩阵用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间对应同一移动物体的可能程度。其中，两个运动目标在代价矩阵中对应的值称之为代价值。若代价值越低，表示可能性越高，则可以按照上述方式，也即D2t+1在水平方向上的坐标远于D1t在水平方向上的坐标时下落趋同程度用数值0表示。当然，实际实施过程中1及0的取值也可以反过来，也即代价值越大，表示可能性越高，则可以按照上述方式，即D2t+1在水平方向上的坐标远于D1t在水平方向上的坐标时下落趋同程度用数值1表示。基于上述两个运动目标之间下落趋同程度的定义，可以获取第t个图像帧中每一运动目标与第t+1个图像帧中每一运动目标之间的下落趋同程度，由此可以组成第t个图像帧与第t+1个图像帧之间的惩罚矩阵。
特征相似度指的是运动目标之间的纹理相似度，之所以选取特征相似度以构成代价矩阵，是由于若该两个运动目标是对应同一移动物体，则该两个运动目标会因为对应同一移动物体，从而纹理会比较近似，进而两个运动目标之间的特征相似度会比较大。通过加入特征相似度作为判别两个运动目标是否对应同一移动物体的依据，也可以避免树叶、白云及窗户等非高空抛物的物体，被判别为高空抛物。
在执行上述过程之前，可以先获取第t个图像帧中出现的运动目标与第t+1个图像帧中出现的运动目标之间的特征相似度，并由此构成特征相似度矩阵。本发明实施例不对获取第t个图像帧中出现的运动目标与第t+1个图像帧中出现的运动目标之间的特征相似度的方式作具体限定，包括但不限于：对于第t个图像帧中出现的任一运动目标a及第t+1个图像帧中出现的任一运动目标b，分别获取a的第一特征向量及b的第二特征向量，获取第一特征向量与第二特征向量之间的特征相似度。
其中，特征相似度可以为余弦相似度、明式距离、切比雪夫距离或马氏距离等，本发明实施例不对特征相似度的类型作具体限定。在获取运动目标的特征向量时，可以先将运动目标在图像帧中标记出来，如对图像帧中构成运动目标的像素点进行标记，再将标记后的图像帧输入至预先训练的模型中，从而输出该运动目标的特征向量，如128维的特征向量。上述模型的类型可以为神经网络模型，本发明实施例对此不作具体限定。
需要说明的是，由上述实施例的内容可知，代价矩阵用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间对应同一移动物体的可能程度。其中，两个运动目标在代价矩阵对应的值称之为代价值。以特征相似度为余弦相似度为例，若代价值越高，表示可能性越高，而两个运动目标之间的余弦相似度也是值越大，则表示该两个运动目标就越有可能对应同一移动物体。因此，可以不对上述过程中计算得到的特征相似度不作任何处理，直接由计算得到的特征相似度构成特征相似度矩阵。若代价值越低，表示可能性越高，而两个运动目标之间的特征相似度是值越大，则表示该两个运动目标就越有可能对应同一移动物体。因此，可以将1减去上述过程中计算得到的特征相似度，由计算得到的差值构成特征相似度矩阵。
本发明实施例提供的方法，由于引入运动目标之间的下落趋同程度以作为惩罚因子，而惩罚因子可以降低非高空抛物的移动物体被识别为高空抛物的可能性，从而可以提高后续检测高空抛物时的准确率。
结合上述实施例的内容，在一个实施例中，预设矩阵包括惩罚矩阵；相应地，本发明实施例不对根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的预设矩阵的方式作具体限定，包括但不限于：根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的惩罚值，获取第t个图像帧与第t+1个图像帧之间的惩罚矩阵，惩罚值是基于两个运动目标各自的垂直坐标所确定。
其中，惩罚值可以用来表示两个运动目标之间的下落趋同程度。若某一移动物体是高空抛物，由于通常在垂直方向上是具有重力加速度的，从而位于后一图像帧中的运动目标应该比位于前一图像帧中的运动目标在垂直方向上高度要更低，也即下落过程中移动物体在垂直方向上的坐标应满足下落增加趋势。根据上述原理，本发明实施例不对获取第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的惩罚值的方式作具体限定，包括但不限于：对于第t个图像帧中出现的任一运动目标a及第t+1个图像帧中出现的任一运动目标b，若b在垂直方向上的坐标低于a在垂直方向上的坐标，则两个运动目标之间的惩罚值为数值0，若b在垂直方向上的坐标不低于a在垂直方向上的坐标，则两个运动目标之间的惩罚值为数值1。
需要说明的是，与上述实施例的内容类似，代价矩阵用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间对应同一移动物体的可能程度。若是值越低，表示可能性越高，则可以按照上述方式，也即b在垂直方向上的坐标低于a在垂直方向上的坐标时，则两个运动目标之间的惩罚值为数值0。若是值越大，表示可能性越高，则可以按照上述方式，即b在垂直方向上的坐标不低于a在垂直方向上的坐标时，则两个运动目标之间的惩罚值为数值1。通过上述过程，可以确定第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的惩罚值，从而可以得到第t个图像帧与第t+1个图像帧之间的惩罚矩阵。
通过上述过程可以得到第t个图像帧与第t+1个图像帧之间的惩罚矩阵、特征相似度矩阵及交并比矩阵。以预设矩阵同时包括惩罚矩阵、特征相似度矩阵及交并比矩阵为例，在得到上述三个矩阵之后，可以根据该三个矩阵得到代价矩阵。相应地，本发明实施例不对根据第t个图像帧与第t+1个图像帧之间的预设矩阵，获取第t个图像帧与第t+1个图像帧之间的代价矩阵的方式作具体限定，包括但不限于：将第t个图像帧与第t+1个图像帧之间的惩罚矩阵、特征相似度矩阵及交并比矩阵进行加权求和，以得到第t个图像帧与第t+1个图像帧之间的代价矩阵。
具体地，上述过程可以参考如下公式：
cost matrix(t,t+1)＝λ1*Feature similarity matrix(t,t+1)+λ2*iou matrix(t,t+1)+δ；
在上述公式中，cost matrix(t,t+1)表示第t个图像帧与第t+1个图像帧之间的代价矩阵，Feature similarity matrix(t,t+1)表示第t个图像帧与第t+1个图像帧之间的特征相似度矩阵，iou matrix(t,t+1)表示第t个图像帧与第t+1个图像帧之间的交并比矩阵，δ表示第t个图像帧与第t+1个图像帧之间的惩罚矩阵，λ1及λ2表示各自的权重。其中，λ1与λ2可以各自取0.5，本发明实施例对此不作具体限定。
通过上述过程，可以计算得到视频流中每组相邻的两个图像帧所对应的代价矩阵。在计算得到第t个图像帧与第t+1个图像帧之间的代价矩阵之后，可以根据代价矩阵确定第t个图像帧中的哪些运动目标与第t+1个图像帧中的哪些运动目标可能对应的是同一移动物体，也即执行多目标跟踪的过程，具体可以参考上述实施例的内容。通过上述过程，可以确定视频流中存在哪些移动物体、这些移动物体在视频流中的哪些图像帧中出现，这些移动物体在出现的图像帧中对应的是哪些运动目标以及运动目标在图像帧中的位置信息。
本发明实施例提供的方法，通过根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的惩罚值，获取第t个图像帧与第t+1个图像帧之间的惩罚矩阵。由于惩罚值是基于两个运动目标各自的垂直坐标所确定的，而两个运动目标各自的垂直坐标能够反映该两个运动目标对应的是否为高空抛物，从而基于惩罚值确定视频流中的运动目标是否对应高空抛物，可以提升高空抛物检测的准确率。
另外，在判别运动目标是否为高空抛物时，除了引入惩罚值作为惩罚因子之外，还可以引入特征相似度矩阵及交并比矩阵。其中，特征相似度矩阵可以用于在纹理层面判别两个运动目标是否对应的是同一移动物体，交并比矩阵可以用于在外形轮廓层面判别两个运动目标是否对应的是同一移动物体。通过引入上述两项矩阵作为判别依据，可以提升高空抛物检测的准确率。
结合上述实施例的内容，在一个实施例中，本发明实施例不对根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物的方式作具体限定，包括但不限于：根据预设规则组及移动物体在对应的目标图像帧中的位置信息，获取移动物体的判断结果。
在上述过程中，预设规则组中的每一预设规则是基于高空抛物的下落特性所确定的，判断结果用于指示该移动物体是否为高空抛物。对于某一移动物体，判断结果为肯定结果或否定结果，肯定结果即代表该移动物体为高空抛物，否定结果即代表该移动物体不为高空抛物。对于某一移动物体，该移动物体在对应的目标图像帧中的位置信息，该一系列的位置信息即可组成该移动物体的移动轨迹。
由于高空抛物在下落过程中，其下落过程存在一定特性。比如，高空抛物通常具有初始速度，从而高空抛物在水平方向的距离会越来越远，如越来越远离建筑物。再比如，高空抛物在下落过程中，其垂直方向上的坐标会逐渐增加，如越来越靠近地面。基于上述高空抛物的下落特性，即可设置预设规则以组成预设规则组，以对移动物体的移动轨迹进行判别。
具体地，以预设规则组包括移动物体的整体移动轨迹在垂直方向上的坐标逐渐增加以及移动物体的整体移动轨迹在水平方向上的坐标逐渐增加这两个预设规则为例。对于任一移动物体，可以根据该移动物体在对应的目标图像帧中的位置信息，判断该移动物体的移动轨迹中是否出现水平方向上坐标减小的情形，并判断该移动物体的移动轨迹中是否出现垂直方向上坐标减小的情形。
对于上述预设规则组中的第一个预设规则，移动物体若是为高空抛物，则其通常会在水平方向上逐渐远离建筑物，也即水平方向上坐标会逐渐增大。而移动物体在水平方向上坐标减小，也即在水平方向上靠近建筑物，这是与高空抛物的下落特性相违背的。因此，基于上述预设规则，若移动物体的整体移动轨迹中出现水平方向上坐标减小的情形，则可判断该移动物体不为高空抛物。
对于上述预设规则组中的第二个预设规则，移动物体若是为高空抛物，则其通常会在垂直方向上逐渐靠近地面，也即垂直方向上坐标会逐渐增大。而移动物体在垂直方向上坐标减小，也即在垂直方向上远离地面，这是与高空抛物的下落特性相违背的。因此，基于上述预设规则，若移动物体的整体移动轨迹中出现垂直方向上坐标减小的情形，则可判断该移动物体不为高空抛物。
需要说明的是，上述列举的两个预设规则只是作为示例便于说明，实际实施过程中预设规则组中包括的预设规则的个数及类型，均可以根据实际需求进行设置，本发明实施例对此不作具体限定。另外，实际实施过程中，预设规则组中的多个预设规则，其判别顺序也可以根据需求进行设置，本发明实施例对此也不作具体限定。例如，对于上述两个预设规则，可以按照上述顺序，先判断该移动物体的移动轨迹中是否出现水平方向上坐标减小的情形，再判断该移动物体的移动轨迹中是否出现垂直方向上坐标减小的情形。也可以反过来，先判断该移动物体的移动轨迹中是否出现垂直方向上坐标减小的情形，再判断该移动物体的移动轨迹中是否出现水平方向上坐标减小的情形。
本发明实施例提供的方法，对于任一移动物体，根据预设规则组及移动物体在对应的目标图像帧中的位置信息，获取移动物体的判断结果。由于预设规则组中的每一预设规则是基于高空抛物的下落特性所确定的，将预设规则作为高空抛物的判断依据，可以将所有可能为高空抛物的移动物体检测出来，从而提升移动物体中高空抛物的召回率。
结合上述实施例的内容，在一个实施例中，任一移动物体对应的目标图像帧构成该移动物体对应的目标图像帧组，该移动物体对应的目标图像帧组中的目标图像帧是基于视频流中图像帧出现的先后顺序进行排序的；
相应地，本发明实施例不对根据预设规则组及移动物体在对应的目标图像帧中的位置信息，获取移动物体的判断结果的方式作具体限定，包括但不限于：判断该移动物体在对应的目标图像帧组中第k个目标图像帧时所确定的移动轨迹是否符合预设规则组中的每一预设规则，若符合预设规则组中的每一预设规则，则将k加1并继续判断，重复上述判断的过程直至得到该移动物体的判断结果，k为正整数，k不小于2且不大于该移动物体对应的目标图像帧组中的总帧数。
在上述过程中，“在第k个目标图像帧时”，指的是对于第k个目标图像帧在视频流中对应的图像帧，在拍摄至视频流中该图像帧时所对应的时刻。该移动物体在对应的目标图像帧组中第k个目标图像帧时所确定的移动轨迹，是基于该移动物体在第1个目标图像帧中的位置信息至第k个目标图像帧中的位置信息所确定的。如图6所示，图6中“第k个”即表示在第k个目标图像帧时，移动物体在第k个目标图像帧中的运动目标，第1个至第k个目标图像帧所确定的移动轨迹即为图6中“第k个”之前的运动目标所形成的移动轨迹。
对于某一移动物体及该移动物体对应的目标图像帧组中的每一目标图像帧，之所以需要判断该移动物体在每一目标图像帧时所确定的移动轨迹是否符合预设规则组中的每一预设规则，是因为移动物体在形成移动轨迹过程中，出现一次违反预设规则的情形，不足以直接将该移动物体判定为非高空抛物。因此，需要对移动轨迹进行回溯以进行判断，也即对该移动物体在每一目标图像帧时所形成的阶段性的移动轨迹进行判断。
结合上述实施例的内容，以预设规则组包括：移动物体的整体移动轨迹在垂直方向上坐标减少的次数不超过5次，以及移动物体的整体移动轨迹在水平方向上坐标减少的次数不超过5次为例。其中，之所以需要将“移动物体的整体移动轨迹在水平方向上坐标减少的次数不超过5次”作为预设规则组中的预设规则，是因为只有当频繁切换水平坐标时才会认定移动物体是非抛物，偶尔出现水平坐标减少不影响移动物体被认定为抛物。对于任一移动物体，可以先判断该移动物体在第2个目标图像帧时所确定的移动轨迹是否符合预设规则组中的每一预设规则，也即分别作如下两个判断，根据该移动物体在第1个目标图像帧中的位置信息及第2个目标图像帧中的位置信息，判断该移动物体的整体移动轨迹在垂直方向上坐标减少的次数是否不超过5次，以及判断该移动物体的整体移动轨迹在水平方向上坐标减少的次数是否不超过5次。
若均满足每一预设规则，则继续判断该移动物体在第3个目标图像帧时所确定的移动轨迹是否符合预设规则组中的每一预设规则，具体判断过程可参考上述内容。若判断该移动物体在第k个目标图像帧时所确定的移动轨迹不满足预设规则组中的预设规则，则可以确定该移动物体不为高空抛物。若判断该移动物体的整体移动轨迹均符合预设规则组中的每一预设规则，则可以确定该移动物体为高空抛物。
需要说明的是，基于上述预设规则组中两个预设规则，上述移动轨迹回溯过程的跳出条件要么是在某个目标图像帧时所确定的移动轨迹不满足预设规则组中的预设规则，要么是将该移动物体的整体移动轨迹全部回溯完毕才可以得到最终的判断结果。实际实施过程中，不同的预设规则及不同的判断条件，可能会有不同的移动轨迹回溯过程，本发明实施例对此不作具体限定。
本发明实施例提供的方法，通过判断该移动物体在对应的目标图像帧组中第k个目标图像帧时所确定的移动轨迹是否符合预设规则组中的每一预设规则，若符合预设规则组中的每一预设规则，则将k加1并继续判断，重复上述判断的过程直至得到该移动物体的判断结果。由于预设规则组中的每一预设规则是基于高空抛物的下落特性所确定的，将预设规则作为高空抛物的判断依据，可以将所有可能为高空抛物的移动物体检测出来，从而提升移动物体中高空抛物的召回率。
结合上述实施例的内容，在一个实施例中，预设规则组包括以下四个预设规则中的至少一个预设规则；以下四个预设规则分别为移动物体在垂直方向上的坐标保持增加状态、移动物体的尺寸维持稳定状态、移动物体的移动轨迹符合自由落体运动的下落特性及移动物体在水平方向上的坐标维持稳定状态。
其中，之所以将移动物体在垂直方向上的坐标保持增加状态作为预设规则之一，是因为高空抛物其下落过程始终是向下的且一定是逐渐贴近地面的，从而垂直方向上的坐标会保持增加状态。之所以将移动物体的尺寸维持稳定状态作为预设规则之一，是因为高空抛物其反映在不同目标图像帧中的运动目标，其尺寸通常应该是大致相同，而不会频繁发生剧烈变化。
之所以将移动物体的移动轨迹符合自由落体运动的下落特性作为预设规则之一，是因为高空抛物一定是大体满足自由落体运动，其在垂直方向上的坐标会增加的越来越快，而不会总是在局部微小范围内保持变化。之所以将移动物体在水平方向上的坐标维持稳定状态作为预设规则之一，是因为高空抛物在水平方向上通常具有一个初始速度，虽然该初始速度会因为空气阻力而逐渐下降，但高空抛物在水平方向上的坐标通常还是会逐渐增加的或者不增加，具体体现在高空抛物要么逐渐远离建筑物，要么贴着建筑物下落。无论哪种情况，移动物体在水平方向上的坐标均不会发生剧烈变化，且不会在水平方向上的移动方位频繁变换(也即可以体现在不会时而朝远离建筑物的方向上移动，时而朝靠近建筑物的方向上移动)。
将移动物体在垂直方向上的坐标保持增加状态记为第一预设规则，将移动物体的尺寸维持稳定状态记为第二预设规则、将移动物体的移动轨迹符合自由落体运动的下落特性记为第三预设规则，将移动物体在水平方向上的坐标维持稳定状态记为第四预设规则。为了取得较好的检测准确率，现结合上述预设规则组中的四个预设规则，设置如下的判断条件，对上述根据预设规则检测高空抛物的过程进行解释说明。
对于任一移动物体，将该移动物体在对应的目标图像帧组中第k个目标图像帧时所确定的移动轨迹记为该移动物体对应的第k层移动轨迹。需要说明的是，这里的第k层移动轨迹主要指的是对移动轨迹的回溯，也即是根据该移动物体在对应的第1个目标图像帧至第k个目标图像帧中的位置信息，所确定的移动轨迹。
相应地，本发明实施例不对判断任一移动物体在对应的目标图像帧组中第k个目标图像帧时所确定的移动轨迹是否符合预设规则组中的每一预设规则，若符合预设规则组中的每一预设规则，则将k加1并继续判断，重复上述判断的过程直至得到任一移动物体的判断结果的方式作具体限定，包括但不限于：
若该移动物体对应的第k层移动轨迹中第k个轨迹点不满足第一预设规则、k大于第二预设阈值且移动物体对应的预设标识为预设状态，则确定该移动物体为高空抛物，并终止对该移动物体的判断过程；
若该移动物体对应的第k层移动轨迹中第k个轨迹点不满足第一预设规则且k不大于第二预设阈值，或者，该移动物体对应的第k层移动轨迹中第k个轨迹点不满足第一预设规则且移动物体对应的预设标识不为预设状态，则确定该移动物体不为高空抛物；
若该移动物体对应的第k层移动轨迹中第k个轨迹点满足第一预设规则，则继续判断该移动物体对应的第k层移动轨迹中第k个轨迹点是否满足第二预设规则；
若该移动物体对应的第k层移动轨迹中第k个轨迹点不满足第二预设规则且该移动物体对应的第k层移动轨迹中不满足第二预设规则的轨迹点总数大于第三预设阈值，则确定该移动物体不为高空抛物，若该移动物体对应的第k层移动轨迹中第k个轨迹点不满足第二预设规则且该移动物体对应的第k层移动轨迹中不满足第二预设规则的轨迹点总数不大于第三预设阈值，则将该移动物体对应的第k层移动轨迹中不满足第二预设规则的轨迹点总数加1，并继续判断该移动物体对应的第k层移动轨迹中第k个轨迹点是否满足第三预设规则；
若该移动物体对应的第k层移动轨迹中第k个轨迹点不满足第三预设规则且该移动物体对应的第k层移动轨迹中不满足第三预设规则的轨迹点总数大于第四预设阈值，则确定该移动物体不为高空抛物，若该移动物体对应的第k层移动轨迹中第k个轨迹点不满足第三预设规则且该移动物体对应的第k层移动轨迹中不满足第三预设规则的轨迹点总数不大于第四预设阈值，则将该移动物体对应的第k层移动轨迹中不满足第三预设规则的轨迹点总数加1，并继续判断该移动物体对应的第k层移动轨迹中第k个轨迹点是否满足第四预设规则；
若该移动物体对应的第k层移动轨迹中第k个轨迹点不满足第四预设规则且该移动物体对应的第k层移动轨迹中不满足第四预设规则的轨迹点总数大于第五预设阈值，则确定该移动物体不为高空抛物，若该移动物体对应的第k层移动轨迹中第k个轨迹点不满足第四预设规则且该移动物体对应的第k层移动轨迹中不满足第四预设规则的轨迹点总数不大于第五预设阈值，则将该移动物体对应的第k层移动轨迹中不满足第四预设规则的轨迹点总数加1，并继续判断k是否大于第六预设阈值；
若k大于第六预设阈值，则将移动物体对应的预设标识设置为预设状态；
将k加1并继续依次执行上述判断流程，直至得到该移动物体的判断结果。
关于上述涉及到的各项阈值现作如下说明，第二预设阈值可以大于第六预设阈值，第二预设阈值与第六预设阈值的取值可以根据经验进行设置，同时也可以设定为算法外部参数来动态调节其大小，以平衡准确率与召回率。其中，第二预设阈值与第六预设阈值的取值越大，则上述判定移动物体是否为高空抛物的标准也就越严格，召回率会因此降低，准确率会因此提升。反之，则召回率会因此提升，准确率会因此降低。
具体地，第二预设阈值与第六预设阈值可以分别设置为30及15，上述第三预设阈值、第四预设阈值及第五预设阈值也可以根据需求进行设置，具体可以均设置为5，本发明实施例对此也不作具体限定。
在上述过程中，该移动物体对应的第k层移动轨迹中第k个轨迹点，实际指的是该移动物体在第k个目标图像帧中的运动目标。第k个轨迹点是否满足第一预设规则，主要是根据移动物体在第k个目标图像帧中的位置信息来进行判断。具体地，基于移动物体在第k-1个目标图像帧中的位置信息，若确定从第k-1个目标图像帧至第k个目标图像帧，移动物体在垂直方向上的坐标是保持增加状态的，则可以确定第k个轨迹点满足第一预设规则。反之，则不满足。
另外，k虽然表示的是回溯至该移动物体的第k个目标图像帧，但同时也表示有k个目标图像帧中的运动目标构成了该移动物体的第k层移动轨迹，从而k还可以代表该移动物体的第k层移动轨迹中的轨迹点总数。预设标识可以由flag表示，预设标识的取值可以为1或0，预设状态可以由1进行表示，本发明实施例对此不作具体限定。预设状态为1时表示，该移动物体已经被初步判断为高空抛物。
第k个轨迹点是否满足第二预设规则，主要是根据移动物体在第k个目标图像帧中的尺寸信息来进行判断，具体可以根据移动物体在第k个目标图像帧中运动目标的尺寸进行判断。具体地，若确定从第k-1个目标图像帧至第k个目标图像帧，移动物体的尺寸是维持稳定状态的，则可以确定第k个轨迹点满足第二预设规则。反之，则不满足。
第k个轨迹点是否满足第三预设规则，主要是根据移动物体在第k个目标图像帧中的位置信息来进行判断。具体地，基于移动物体在第k-1个目标图像帧中的位置信息，若确定该移动物体在第k-1个目标图像帧中的运动目标与该移动物体在第k个目标图像帧中的运动目标之间的距离大于第七预设阈值，则说明移动物体并没有在局部微小范围内保持变化，而是符合自由落体运动的下落特性，位置发生了比较大的变化。因此，可以确定第k个轨迹点满足第三预设规则。反之，则不满足。
第k个轨迹点是否满足第四预设规则，主要是根据该移动物体在第k个目标图像帧中的位置信息来进行判断。具体地，基于该移动物体在第k-1个目标图像帧中的位置信息，若确定从第k-1个目标图像帧至第k个目标图像帧，该移动物体在水平方向上的坐标是保持稳定增加状态的或者保持基本不变的，则说明该移动物体没有在水平方向上发生剧烈变化或者在水平方向上的移动方位频繁变换。因此，可以确定第k个轨迹点满足第四预设规则。反之，则不满足。
其中，上述各个预设规则及判断条件所对应的判断过程可参考图7。在图7中，违背规则(1)、违背规则(2)、违背规则(3)及违背规则(4)分别代表不满足第一预设规则、不满足第二预设规则、不满足第三预设规则及不满足第四预设规则。违规次数指的是不满足预设规则的轨迹点总数，删除轨迹指的是删除该移动物体，也即删除该移动物体的移动轨迹。轨迹终止指的是不再对该移动物体的移动轨迹进行判断，轨迹点数指的是轨迹总点数。T1对应第二预设阈值，T2对应第六预设阈值，N2对应第三预设阈值，N3对应第四预设阈值，N4对应第五预设阈值。
需要说明的是，之所以设置第二预设阈值与第六预设阈值两次判断过程，是因为实际实施过程中，在检测图像帧中的运动目标时会出现非移动物体目标的误检情形以及运动目标之间的错误匹配而丢帧的情形(如两个运动目标不是对应同一移动物体却匹配成对应同一移动物体，两个运动目标是对应同一移动物体却匹配成不是对应同一移动物体)。因此，才有在移动物体体对应的第k层移动轨迹中第k个轨迹点不满足第一预设规则时，再判断轨迹点总数是否大于第二预设阈值，以避免明明是高空抛物的移动轨迹却判断为非高空抛物。
另外，过于严格的规则会导致明明是高空抛物，却因为某一次的错误匹配而直接被过滤，过于宽松的规则会导致更多的非高空抛物被检出。因此，本发明实施例才设置了强规则与弱规则，并设定多重阈值判定。其中，上述第二预设阈值及第六预设阈值对应的判断条件可以视为强规则，上述第三预设阈值、第四预设阈值及第五预设阈值对应的判断条件可以视为弱规则。对于上述弱规则，判断条件更加包容。这是因为即使是高空抛物的移动轨迹也可能偶发性地不满足预设规则，从而对于弱规则设定违背规则次数的阈值，也即上述第三预设阈值、第四预设阈值及第五预设阈值，若当前违背规则次数超过阈值，则可以直接确定该移动物体不是高空抛物，并删除该移动物体的移动轨迹。
本发明实施例提供的方法，由于预设规则组中的每一预设规则是基于高空抛物的下落特性所确定的，将预设规则作为高空抛物的判断依据，可以将所有可能为高空抛物的移动物体检测出来，从而提升移动物体中高空抛物的召回率。另外，对预设阈值进行设置还可以平衡高空抛物的召回率及查准率，从而能够满足更多检测场景的检测需求。
应该理解的是，虽然图2、图3、图4及图5的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、图3、图4及图5中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
需要说明的是，上述阐述的技术方案在实际实施过程中可以作为独立实施例来实施，也可以彼此之间进行组合并作为组合实施例实施。另外，在对上述本发明实施例内容进行阐述时，仅基于方便阐述的思路，按照相应顺序对不同实施例进行阐述，如按照数据流流向的顺序，而并非是对不同实施例之间的执行顺序进行限定，也不是对实施例内部步骤的执行顺序进行限定。相应地，在实际实施过程中，若需要实施本发明提供的多个实施例，则不一定需要按照本发明阐述实施例时所提供的执行顺序，而是可以根据需求安排不同实施例之间的执行顺序。
结合上述实施例的内容，在一个实施例中，如图8所示，提供了一种高空抛物检测装置，包括：第一确定模块801及第二确定模块802，其中：
第一确定模块801，用于对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；
第二确定模块802，用于根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物；其中，运动目标为移动物体在图像帧中的成像，视频流是对建筑物进行监测所获取的；移动物体对应的目标图像帧为至少部分图像帧中包含移动物体的图像帧。
在一个实施例中，第一确定模块801，包括：
获取单元，用于对于至少部分图像帧中任一组相邻的两个图像帧，将该组相邻的两个图像帧分别记为第t个图像帧及第t+1个图像帧，根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的代价矩阵；
确定单元，用于根据至少部分图像帧中每组相邻的两个图像帧所对应的代价矩阵，确定所有移动物体中每一移动物体对应的目标图像帧；
其中，第t个图像帧与第t+1个图像帧之间的代价矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间对应同一移动物体的可能程度，t为正整数，t不小于1且不大于至少部分图像帧中的总帧数。
在一个实施例中，获取单元，包括：
第一获取子单元，用于根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的预设矩阵；
第二获取子单元，用于根据第t个图像帧与第t+1个图像帧之间的预设矩阵，获取第t个图像帧与第t+1个图像帧之间的代价矩阵；
其中，预设矩阵至少包括交并比矩阵；第t个图像帧与第t+1个图像帧之间的交并比矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的外形轮廓近似程度。
在一个实施例中，第二获取子单元，用于对于第t个图像帧中出现的任一运动目标a及第t+1个图像帧中出现的任一运动目标b，分别将a及b的外形轮廓放大预设倍数；获取放大后的a与放大后的b之间交集区域的第一面积，获取放大后的a与放大后的b之间并集区域的第二面积，并将第一面积与第二面积之间的比值作为a与b之间的交并比；根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的交并比，确定第t个图像帧与第t+1个图像帧之间的交并比矩阵。
在一个实施例中，预设矩阵还包括特征相似度矩阵和/或惩罚矩阵；
其中，第t个图像帧与第t+1个图像帧之间的惩罚矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的下落趋同程度；
第t个图像帧与第t+1个图像帧之间的特征相似度矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的纹理相似程度。
在一个实施例中，预设矩阵包括惩罚矩阵；相应地，第一获取子单元，用于根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的惩罚值，获取第t个图像帧与第t+1个图像帧之间的惩罚矩阵，惩罚值是基于两个运动目标各自的垂直坐标所确定。
在一个实施例中，第二确定模块802，用于根据预设规则组及移动物体在对应的目标图像帧中的位置信息，获取移动物体的判断结果，预设规则组中的每一预设规则是基于高空抛物的下落特性所确定的，判断结果用于指示移动物体是否为高空抛物。
在一个实施例中，该移动物体对应的目标图像帧构成该移动物体对应的目标图像帧组，该移动物体对应的目标图像帧组中的目标图像帧是基于视频流中图像帧出现的先后顺序进行排序的；相应地，第二确定模块802，用于判断该移动物体在对应的目标图像帧组中第k个目标图像帧时所确定的移动轨迹是否符合预设规则组中的每一预设规则，若符合预设规则组中的每一预设规则，则将k加1并继续判断，重复上述判断的过程直至得到该移动物体的判断结果，k为正整数，k不小于2且不大于该移动物体对应的目标图像帧组中的总帧数。
在一个实施例中，预设规则组包括以下四个预设规则中的至少一个预设规则；以下四个预设规则分别为移动物体在垂直方向上的坐标保持增加状态、移动物体的尺寸维持稳定状态、移动物体的移动轨迹符合自由落体运动的下落特性及移动物体在水平方向上的坐标维持稳定状态。
本发明实施例提供的装置，对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧。根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物。相较于相关技术中由人工对视频流进行分析筛选以确定高空抛物，由于可以对高空抛物进行监测以获取视频流，对于视频流所拍摄入的移动物体，根据移动物体在在对应的目标图像帧中的位置信息，自动检测出所有所有移动物体中的高空抛物，从而检测效率比较高，实时性比较高，且漏检率也更低。
关于高空抛物检测装置的具体限定可以参见上文中对于高空抛物检测方法的限定，在此不再赘述。上述高空抛物检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图9所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储预设阈值。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种高空抛物检测方法。
本领域技术人员可以理解，图9中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现以下步骤：
对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；
根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物；其中，运动目标为移动物体在图像帧中的成像，视频流是对建筑物进行监测所获取的；移动物体对应的目标图像帧为至少部分图像帧中包含移动物体的图像帧。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
对于至少部分图像帧中任一组相邻的两个图像帧，将任一组相邻的两个图像帧分别记为第t个图像帧及第t+1个图像帧，根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的代价矩阵；
根据至少部分图像帧中每组相邻的两个图像帧所对应的代价矩阵，确定所有移动物体中每一移动物体对应的目标图像帧；
其中，第t个图像帧与第t+1个图像帧之间的代价矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间对应同一移动物体的可能程度，t为正整数，t不小于1且不大于至少部分图像帧中的总帧数。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的预设矩阵；
根据第t个图像帧与第t+1个图像帧之间的预设矩阵，获取第t个图像帧与第t+1个图像帧之间的代价矩阵；
其中，预设矩阵至少包括交并比矩阵；第t个图像帧与第t+1个图像帧之间的交并比矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的外形轮廓近似程度。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：对于第t个图像帧中出现的任一运动目标a及第t+1个图像帧中出现的任一运动目标b，分别将a及b的外形轮廓放大预设倍数；
获取放大后的a与放大后的b之间交集区域的第一面积，获取放大后的a与放大后的b之间并集区域的第二面积，并将第一面积与第二面积之间的比值作为a与b之间的交并比；
根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的交并比，确定第t个图像帧与第t+1个图像帧之间的交并比矩阵。
在一个实施例中，处理器在执行计算机程序时，预设矩阵还包括特征相似度矩阵和/或惩罚矩阵；其中，第t个图像帧与第t+1个图像帧之间的惩罚矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的下落趋同程度；第t个图像帧与第t+1个图像帧之间的特征相似度矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的纹理相似程度。
在一个实施例中，预设矩阵包括惩罚矩阵；相应地，处理器执行计算机程序时还实现以下步骤：根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的惩罚值，获取第t个图像帧与第t+1个图像帧之间的惩罚矩阵，惩罚值是基于两个运动目标各自的垂直坐标所确定。
在一个实施例中，处理器执行计算机程序时还实现以下步骤：
根据预设规则组及移动物体在对应的目标图像帧中的位置信息，获取移动物体的判断结果，预设规则组中的每一预设规则是基于高空抛物的下落特性所确定的，判断结果用于指示移动物体是否为高空抛物。
在一个实施例中，该移动物体对应的目标图像帧构成该移动物体对应的目标图像帧组，该移动物体对应的目标图像帧组中的目标图像帧是基于视频流中图像帧出现的先后顺序进行排序的；相应地，处理器执行计算机程序时还实现以下步骤：
判断该移动物体在对应的目标图像帧组中第k个目标图像帧时所确定的移动轨迹是否符合预设规则组中的每一预设规则，若符合预设规则组中的每一预设规则，则将k加1并继续判断，重复上述判断的过程直至得到该移动物体的判断结果，k为正整数，k不小于2且不大于该移动物体对应的目标图像帧组中的总帧数。
在一个实施例中，处理器在执行计算机程序时，预设规则组包括以下四个预设规则中的至少一个预设规则；以下四个预设规则分别为移动物体在垂直方向上的坐标保持增加状态、移动物体的尺寸维持稳定状态、移动物体的移动轨迹符合自由落体运动的下落特性及移动物体在水平方向上的坐标维持稳定状态。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
对于视频流中的至少部分图像帧，根据至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；
根据移动物体在对应的目标图像帧中的位置信息，确定移动物体是否为高空抛物；其中，运动目标为移动物体在图像帧中的成像，视频流是对建筑物进行监测所获取的；移动物体对应的目标图像帧为至少部分图像帧中包含移动物体的图像帧。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对于至少部分图像帧中任一组相邻的两个图像帧，将任一组相邻的两个图像帧分别记为第t个图像帧及第t+1个图像帧，根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的代价矩阵；
根据至少部分图像帧中每组相邻的两个图像帧所对应的代价矩阵，确定所有移动物体中每一移动物体对应的目标图像帧；
其中，第t个图像帧与第t+1个图像帧之间的代价矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间对应同一移动物体的可能程度，t为正整数，t不小于1且不大于至少部分图像帧中的总帧数。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据第t个图像帧中出现的运动目标及第t+1个图像帧中出现的运动目标，获取第t个图像帧与第t+1个图像帧之间的预设矩阵；
根据第t个图像帧与第t+1个图像帧之间的预设矩阵，获取第t个图像帧与第t+1个图像帧之间的代价矩阵；
其中，预设矩阵至少包括交并比矩阵；第t个图像帧与第t+1个图像帧之间的交并比矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的外形轮廓近似程度。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
对于第t个图像帧中出现的任一运动目标a及第t+1个图像帧中出现的任一运动目标b，分别将a及b的外形轮廓放大预设倍数；
获取放大后的a与放大后的b之间交集区域的第一面积，获取放大后的a与放大后的b之间并集区域的第二面积，并将第一面积与第二面积之间的比值作为a与b之间的交并比；
根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的交并比，确定第t个图像帧与第t+1个图像帧之间的交并比矩阵。
在一个实施例中，计算机程序被处理器执行时，预设矩阵还包括特征相似度矩阵和/或惩罚矩阵；
其中，第t个图像帧与第t+1个图像帧之间的惩罚矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的下落趋同程度；
第t个图像帧与第t+1个图像帧之间的特征相似度矩阵，用于表示第t个图像帧中的运动目标与第t+1个图像帧中的运动目标之间的纹理相似程度。
在一个实施例中，预设矩阵包括惩罚矩阵；相应地，计算机程序被处理器执行时还实现以下步骤：根据第t个图像帧中出现的每一运动目标与第t+1个图像帧中出现的每一运动目标之间的惩罚值，获取第t个图像帧与第t+1个图像帧之间的惩罚矩阵，惩罚值是基于两个运动目标各自的垂直坐标所确定。
在一个实施例中，计算机程序被处理器执行时还实现以下步骤：
根据预设规则组及移动物体在对应的目标图像帧中的位置信息，获取移动物体的判断结果，预设规则组中的每一预设规则是基于高空抛物的下落特性所确定的，判断结果用于指示移动物体是否为高空抛物。
在一个实施例中，该移动物体对应的目标图像帧构成该移动物体对应的目标图像帧组，该移动物体对应的目标图像帧组中的目标图像帧是基于视频流中图像帧出现的先后顺序进行排序的；相应地，计算机程序被处理器执行时还实现以下步骤：
判断该移动物体在对应的目标图像帧组中第k个目标图像帧时所确定的移动轨迹是否符合预设规则组中的每一预设规则，若符合预设规则组中的每一预设规则，则将k加1并继续判断，重复上述判断的过程直至得到该移动物体的判断结果，k为正整数，k不小于2且不大于该移动物体对应的目标图像帧组中的总帧数。
在一个实施例中，计算机程序被处理器执行时，预设规则组包括以下四个预设规则中的至少一个预设规则；以下四个预设规则分别为移动物体在垂直方向上的坐标保持增加状态、移动物体的尺寸维持稳定状态、移动物体的移动轨迹符合自由落体运动的下落特性及移动物体在水平方向上的坐标维持稳定状态。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (12)

1.一种高空抛物检测方法，其特征在于，所述方法包括：
对于视频流中的至少部分图像帧，根据所述至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；
根据所述移动物体在对应的目标图像帧中的位置信息，确定所述移动物体是否为高空抛物；其中，运动目标为移动物体在图像帧中的成像，所述移动物体对应的目标图像帧为所述至少部分图像帧中包含所述移动物体的图像帧。
2.根据权利要求1所述的方法，其特征在于，所述根据所述至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧，包括：
对于所述至少部分图像帧中任一组相邻的两个图像帧，将所述任一组相邻的两个图像帧分别记为第t个图像帧及第t+1个图像帧，根据所述第t个图像帧中出现的运动目标及所述第t+1个图像帧中出现的运动目标，获取所述第t个图像帧与所述第t+1个图像帧之间的代价矩阵；
根据所述至少部分图像帧中每组相邻的两个图像帧所对应的代价矩阵，确定所有移动物体中每一移动物体对应的目标图像帧；
其中，所述第t个图像帧与所述第t+1个图像帧之间的代价矩阵，用于表示所述第t个图像帧中的运动目标与所述第t+1个图像帧中的运动目标之间对应同一移动物体的可能程度，所述t为正整数，所述t不小于1且不大于所述至少部分图像帧中的总帧数。
3.根据权利要求2所述的方法，其特征在于，所述根据所述第t个图像帧中出现的运动目标及所述第t+1个图像帧中出现的运动目标，获取所述第t个图像帧与所述第t+1个图像帧之间的代价矩阵，包括：
根据所述第t个图像帧中出现的运动目标及所述第t+1个图像帧中出现的运动目标，获取所述第t个图像帧与所述第t+1个图像帧之间的预设矩阵；
根据所述第t个图像帧与所述第t+1个图像帧之间的预设矩阵，获取所述第t个图像帧与所述第t+1个图像帧之间的代价矩阵；
其中，所述预设矩阵至少包括交并比矩阵；所述第t个图像帧与所述第t+1个图像帧之间的交并比矩阵，用于表示所述第t个图像帧中的运动目标与所述第t+1个图像帧中的运动目标之间的外形轮廓近似程度。
4.根据权利要求3所述的方法，其特征在于，所述根据所述第t个图像帧中出现的运动目标及所述第t+1个图像帧中出现的运动目标，获取所述第t个图像帧与所述第t+1个图像帧之间的预设矩阵，包括：
对于所述第t个图像帧中出现的任一运动目标a及所述第t+1个图像帧中出现的任一运动目标b，分别将a及b的外形轮廓放大预设倍数；
获取放大后的a与放大后的b之间交集区域的第一面积，获取放大后的a与放大后的b之间并集区域的第二面积，并将第一面积与第二面积之间的比值作为a与b之间的交并比；
根据所述第t个图像帧中出现的每一运动目标与所述第t+1个图像帧中出现的每一运动目标之间的交并比，确定所述第t个图像帧与所述第t+1个图像帧之间的交并比矩阵。
5.根据权利要求3或4所述的方法，其特征在于，所述预设矩阵还包括特征相似度矩阵和/或惩罚矩阵；
其中，所述第t个图像帧与所述第t+1个图像帧之间的惩罚矩阵，用于表示所述第t个图像帧中的运动目标与所述第t+1个图像帧中的运动目标之间的下落趋同程度；
所述第t个图像帧与所述第t+1个图像帧之间的特征相似度矩阵，用于表示所述第t个图像帧中的运动目标与所述第t+1个图像帧中的运动目标之间的纹理相似程度。
6.根据权利要求5所述的方法，其特征在于，所述预设矩阵包括惩罚矩阵；相应地，所述根据所述第t个图像帧中出现的运动目标及所述第t+1个图像帧中出现的运动目标，获取所述第t个图像帧与所述第t+1个图像帧之间的预设矩阵，包括：
根据所述第t个图像帧中出现的每一运动目标与所述第t+1个图像帧中出现的每一运动目标之间的惩罚值，获取所述第t个图像帧与所述第t+1个图像帧之间的惩罚矩阵，惩罚值是基于两个运动目标各自的垂直坐标所确定。
7.根据权利要求1所述的方法，其特征在于，所述根据所述移动物体在对应的目标图像帧中的位置信息，确定所述移动物体是否为高空抛物，包括：
根据预设规则组及所述移动物体在对应的目标图像帧中的位置信息，获取所述移动物体的判断结果，所述预设规则组中的每一预设规则是基于高空抛物的下落特性所确定的，所述判断结果用于指示所述移动物体是否为高空抛物。
8.根据权利要求7所述的方法，其特征在于，所述移动物体对应的目标图像帧构成所述移动物体对应的目标图像帧组，所述移动物体对应的目标图像帧组中的目标图像帧是基于所述视频流中图像帧出现的先后顺序进行排序的；相应地，所述根据预设规则组及所述移动物体在对应的目标图像帧中的位置信息，获取所述移动物体的判断结果，包括：
判断所述移动物体在对应的目标图像帧组中第k个目标图像帧时所确定的移动轨迹是否符合所述预设规则组中的每一预设规则，若符合所述预设规则组中的每一预设规则，则将k加1并继续判断，重复上述判断的过程直至得到所述移动物体的判断结果，所述k为正整数，所述k不小于2且不大于所述移动物体对应的目标图像帧组中的总帧数。
9.根据权利要求7或8所述的方法，其特征在于，所述预设规则组包括以下四个预设规则中的至少一个预设规则；所述以下四个预设规则分别为移动物体在垂直方向上的坐标保持增加状态、移动物体的尺寸维持稳定状态、移动物体的移动轨迹符合自由落体运动的下落特性及移动物体在水平方向上的坐标维持稳定状态。
10.一种高空抛物检测装置，其特征在于，所述装置包括：
第一确定模块，用于对于视频流中的至少部分图像帧，根据所述至少部分图像帧中出现的运动目标，确定移动物体对应的目标图像帧；
第二确定模块，用于根据所述移动物体在对应的目标图像帧中的位置信息，确定所述移动物体是否为高空抛物；其中，运动目标为移动物体在图像帧中的成像，所述视频流是对建筑物进行监测所获取的；所述移动物体对应的目标图像帧为所述至少部分图像帧中包含所述移动物体的图像帧。
11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。
12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。
CN202110550968.1A 2021-05-20 2021-05-20 高空抛物检测方法、装置、计算机设备和存储介质 Active CN113297949B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110550968.1A CN113297949B (zh) 2021-05-20 2021-05-20 高空抛物检测方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110550968.1A CN113297949B (zh) 2021-05-20 2021-05-20 高空抛物检测方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN113297949A true CN113297949A (zh) 2021-08-24
CN113297949B CN113297949B (zh) 2024-02-20

Family

ID=77323084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110550968.1A Active CN113297949B (zh) 2021-05-20 2021-05-20 高空抛物检测方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN113297949B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693556A (zh) * 2022-03-25 2022-07-01 英特灵达信息技术(深圳)有限公司 一种高空抛物帧差法运动目标检测去拖影方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110012310A1 (en) * 2009-07-20 2011-01-20 Ric Anderton Mixed martial arts game, ring, and construction process
WO2018153323A1 (zh) * 2017-02-21 2018-08-30 北京市商汤科技开发有限公司 用于检测视频中物体的方法、装置和电子设备
CN110555863A (zh) * 2019-09-11 2019-12-10 湖南德雅坤创科技有限公司 一种运动目标检测方法、装置和计算机可读存储介质
CN110619735A (zh) * 2019-10-29 2019-12-27 宋春雨 一种高空坠物监测告警的系统
CN111260693A (zh) * 2020-01-20 2020-06-09 北京中科晶上科技股份有限公司 一种高空抛物的检测方法
CN111368927A (zh) * 2020-03-06 2020-07-03 广州文远知行科技有限公司 一种标注结果处理方法、装置、设备及存储介质
WO2020167581A1 (en) * 2019-02-14 2020-08-20 Alibaba Group Holding Limited Method and apparatus for processing video stream
CN111627049A (zh) * 2020-05-29 2020-09-04 北京中科晶上科技股份有限公司 高空抛物的确定方法、装置、存储介质及处理器
CN112257557A (zh) * 2020-10-20 2021-01-22 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112418069A (zh) * 2020-11-19 2021-02-26 中科智云科技有限公司 一种高空抛物检测方法、装置、计算机设备及存储介质
CN112509012A (zh) * 2020-12-14 2021-03-16 青岛聚好联科技有限公司 一种高空抛物的检测方法
CN112560751A (zh) * 2020-12-24 2021-03-26 湘潭大学 一种阳台高空坠物风险检测方法及系统
CN112733690A (zh) * 2020-12-31 2021-04-30 北京易华录信息技术股份有限公司 一种高空抛物检测方法、装置及电子设备
CN112800846A (zh) * 2020-12-30 2021-05-14 深圳云天励飞技术股份有限公司 高空抛物的监测方法、装置、电子设备及存储介质

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110012310A1 (en) * 2009-07-20 2011-01-20 Ric Anderton Mixed martial arts game, ring, and construction process
WO2018153323A1 (zh) * 2017-02-21 2018-08-30 北京市商汤科技开发有限公司 用于检测视频中物体的方法、装置和电子设备
WO2020167581A1 (en) * 2019-02-14 2020-08-20 Alibaba Group Holding Limited Method and apparatus for processing video stream
CN110555863A (zh) * 2019-09-11 2019-12-10 湖南德雅坤创科技有限公司 一种运动目标检测方法、装置和计算机可读存储介质
CN110619735A (zh) * 2019-10-29 2019-12-27 宋春雨 一种高空坠物监测告警的系统
CN111260693A (zh) * 2020-01-20 2020-06-09 北京中科晶上科技股份有限公司 一种高空抛物的检测方法
CN111368927A (zh) * 2020-03-06 2020-07-03 广州文远知行科技有限公司 一种标注结果处理方法、装置、设备及存储介质
CN111627049A (zh) * 2020-05-29 2020-09-04 北京中科晶上科技股份有限公司 高空抛物的确定方法、装置、存储介质及处理器
CN112257557A (zh) * 2020-10-20 2021-01-22 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112418069A (zh) * 2020-11-19 2021-02-26 中科智云科技有限公司 一种高空抛物检测方法、装置、计算机设备及存储介质
CN112509012A (zh) * 2020-12-14 2021-03-16 青岛聚好联科技有限公司 一种高空抛物的检测方法
CN112560751A (zh) * 2020-12-24 2021-03-26 湘潭大学 一种阳台高空坠物风险检测方法及系统
CN112800846A (zh) * 2020-12-30 2021-05-14 深圳云天励飞技术股份有限公司 高空抛物的监测方法、装置、电子设备及存储介质
CN112733690A (zh) * 2020-12-31 2021-04-30 北京易华录信息技术股份有限公司 一种高空抛物检测方法、装置及电子设备

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HUI ZHANG: "Environmental Pollution Generated by Architectural Engineering Construction and Environmental Management and Control Measures", NATURE ENVIRONMENT AND POLLUTION TECHNOLOGY, pages 445 - 450 *
李祥攀;张彪;孙凤池;刘杰;: "基于多视角RGB-D图像帧数据融合的室内场景理解", 计算机研究与发展, no. 06 *
郑亚红: "物业管理高空坠物风险管理研究", 中国优秀硕士学位论文全文数据库经济与管理科学辑, pages 145 - 548 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114693556A (zh) * 2022-03-25 2022-07-01 英特灵达信息技术(深圳)有限公司 一种高空抛物帧差法运动目标检测去拖影方法

Also Published As

Publication number Publication date
CN113297949B (zh) 2024-02-20

Similar Documents

Publication Publication Date Title
CN107527009B (zh) 一种基于yolo目标检测的遗留物检测方法
US9230175B2 (en) System and method for motion detection in a surveillance video
CN109816690A (zh) 基于深度特征的多目标追踪方法及系统
CN112926410B (zh) 目标跟踪方法、装置、存储介质及智能视频系统
CN111898581B (zh) 动物检测方法、装置、电子设备及可读存储介质
CN114639075B (zh) 一种高空抛物坠物的识别方法、系统及计算机可读介质
WO2021139049A1 (zh) 检测方法、检测装置、监控设备和计算机可读存储介质
CN113409362B (zh) 高空抛物检测方法和装置、设备及计算机存储介质
CN115841649A (zh) 一种用于城市复杂场景的多尺度人数统计方法
CN111079518A (zh) 一种基于执法办案区场景下的倒地异常行为识别方法
KR101406334B1 (ko) 신뢰도와 지연된 결정을 활용한 다중 객체 추적 시스템 및 방법
CN110414430B (zh) 一种基于多比例融合的行人重识别方法及装置
WO2023273010A1 (zh) 高空抛物检测方法和装置、设备，及计算机存储介质
JP7163718B2 (ja) 干渉領域検出装置と方法及び電子機器
CN113297949A (zh) 高空抛物检测方法、装置、计算机设备和存储介质
Zhang et al. Multi-domain collaborative feature representation for robust visual object tracking
Almomani et al. Segtrack: A novel tracking system with improved object segmentation
Zarka et al. Real-time human motion detection and tracking
CN114359800A (zh) 一种景区抛洒物视频识别系统及其检测方法
CN113255549A (zh) 一种狼群围猎行为状态智能识别方法及系统
CN114913488A (zh) 抛洒物检测方法、装置、电子设备及存储介质
CN113223081A (zh) 一种基于背景建模与深度学习的高空抛物检测方法及系统
Zhang et al. SMod: Scene-Specific-Prior–Based Moving Object Detection for Airport Apron Surveillance Systems
CN114612850A (zh) 高空抛物检测方法、电子设备和存储介质
CN114429612A (zh) 场景识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant