CN116994201B - 对高空抛物进行溯源监测的方法及计算设备 - Google Patents

对高空抛物进行溯源监测的方法及计算设备 Download PDF

Info

Publication number
CN116994201B
CN116994201B CN202310892196.9A CN202310892196A CN116994201B CN 116994201 B CN116994201 B CN 116994201B CN 202310892196 A CN202310892196 A CN 202310892196A CN 116994201 B CN116994201 B CN 116994201B
Authority
CN
China
Prior art keywords
area
image
change
frame image
video stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310892196.9A
Other languages
English (en)
Other versions
CN116994201A (zh
Inventor
赵景程
熊超
蔡权雄
牛昕宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Industry Research Kunyun Artificial Intelligence Research Institute Co ltd
Original Assignee
Shandong Industry Research Kunyun Artificial Intelligence Research Institute Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Industry Research Kunyun Artificial Intelligence Research Institute Co ltd filed Critical Shandong Industry Research Kunyun Artificial Intelligence Research Institute Co ltd
Priority to CN202310892196.9A priority Critical patent/CN116994201B/zh
Publication of CN116994201A publication Critical patent/CN116994201A/zh
Application granted granted Critical
Publication of CN116994201B publication Critical patent/CN116994201B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/176—Urban or other man-made structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供一种对高空抛物进行溯源监测的方法及计算设备。一种对高空抛物进行溯源监测的方法包括：获取来自摄像装置的实时视频流，所述实时视频流用于对建筑物进行固定监测。通过图像变化检测识别所述实时视频流的帧图像的变化区域，对所述变化区域进行运动轨迹跟踪，根据得到的运动轨迹的长度判断所述变化区域是否为抛出物。本申请的技术方案能够实现对高空抛物进行溯源监测，并能够在保证高空抛物报警的准确性的情况下，降低使用成本。

Description

对高空抛物进行溯源监测的方法及计算设备
技术领域
本发明涉及图像处理技术领域，具体涉及一种对高空抛物进行溯源监测的方法及计算设备。
背景技术
随着城市的不断发展，高层建筑物林立，随之而来的是高空抛物事件的频频发生。高空抛出物可能会对行人、车辆、建筑物等造成严重伤害或损害。因此，对于高空抛物行为的监管和检测显得尤为重要。
随着人工智能技术的发展、监控设备的普及，图片数据资源的重要性也日益凸显。并且近几年计算机深度学习技术的飞速发展，使得图像数据处理的应用领域非常广泛。
现有的检测技术大多是利用图像分析技术，使用多个摄像机对高空抛物进行监测识别。这种方式需要采用多个摄像机，设置复杂，成本较高。
为此，需要一种技术方案，能够在保持对高空抛物报警的准确性的情况下，降低成本。
发明内容
本申请旨在提供用于高空抛物溯源监测的方法及计算设备，能够对高空抛出物进行检测。
根据本申请的一方面，提供一种高空抛物溯源监测的方法，包括：
获取来自摄像装置的实时视频流的帧图像，所述实时视频流用于对建筑物进行固定监测；
通过图像变化检测识别所述实时视频流的帧图像的变化区域；
对所述变化区域进行运动轨迹跟踪，根据得到的运动轨迹的长度判断所述变化区域是否对应抛出物。
根据一些实施例，前述方法还包括：
检测所述帧图像的关注区，所述关注区对应所述建筑物；
将所述关注区以外的图像区域填充为任何一种颜色或者使用所述关注区以外的区域的所有像素点的像素平均值进行填充，从而对所述帧图像设置算法识别区域。
根据一些实施例，获取来自摄像装置的实时视频流的帧图像之后，还包括：
利用神经网络模型对所述帧图像进行超分处理，从而提高所述帧图像的分辨率。
根据一些实施例，所述摄像装置在焦距、位置及拍摄角度固定的情况下获取所述实时视频流。
根据一些实施例，在通过图像变化检测识别所述实时视频流的帧图像的变化区域之后，还包括：
对所述帧图像进行干扰物检测，确定干扰物区域；
如果所述干扰物区域与所述变化区域的交并比大于预设干扰阈值，则确定所述变化区域不对应抛出物。
根据一些实施例，根据得到的运动轨迹的长度判断所述变化区域是否对应抛出物，包括：
如果判断所述运动轨迹长度大于预设轨迹阈值，则确定所述变化区域对应抛出物。
根据一些实施例，获取来自摄像装置的实时视频流的帧图像之后，还包括：
对所述帧图像按照单个抛出区域进行分割，并对所分割出的各个抛出区域进行编号。
根据一些实施例，通过图像变化检测识别所述实时视频流的帧图像的变化区域之后，还包括：
根据所述变化区域与各目标抛出区域的交并比确定所述变化区域所在的抛出区域的编号，从而实现对所述抛出物的抛出溯源。
根据本申请的另一方面，提供一种计算设备，包括：
处理器；以及
存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，使得所述处理器执行如上任一项所述的方法。
根据本申请的另一方面，提供一种非瞬时性计算机可读存储介质，其上存储有计算机可读指令，当所述指令被处理器执行时，使得所述处理器执行如上任一项所述的方法。
根据本申请的实施例，采用摄像装置对建筑物进行固定监测，获取实时视频流，识别所述实时视频流的帧图像的变化区域。对所述变化区域进行运动轨迹跟踪，根据得到的运动轨迹的长度判断所述变化区域是否对应抛出物。由于变化区域检测适用于任何物体，因此该高空抛物方法应用场景广泛，可以为监管高空抛物行为提供重要的技术支撑，能够有效地溯源高空抛物的位置。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本申请。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
图1示出根据本申请示例实施例的对高空抛物进行溯源监测的方法流程图。
图2示出本申请示例实施例的对建筑图像进行分割的示意图。
图3示出根据示例性实施例用于高空抛物溯源检测方法的变化检测方法流程图。
图4示出根据示例性实施例用于高空抛物溯源检测方法的高空抛出物判断识别图。
图5示出根据示例实施例的对高空抛物进行溯源监测的方案示意图。
图6示出本申请示例实施例的高空抛物溯源检测方法中的计算机设备的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施例。然而，示例实施例能够以多种形式实施，且不应被理解为限于在此阐述的实施例；相反，提供这些实施例使得本申请将全面和完整，并将示例实施例的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本申请的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本申请的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本申请的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
应理解，虽然本文中可能使用术语第一、第二、第三等来描述各种组件，但这些组件不应受这些术语限制。这些术语乃用以区分一组件与另一组件。因此，下文论述的第一组件可称为第二组件而不偏离本申请概念的教示。如本文中所使用，术语“及/或”包括相关联的列出项目中的任一个及一或多者的所有组合。
本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
本领域技术人员可以理解，附图只是示例实施例的示意图，附图中的模块或流程并不一定是实施本申请所必须的，因此不能用于限制本申请的保护范围。
现有的高空抛物检测技术大多是利用图像分析技术，使用多个摄像机对高空抛物进行监测识别。这种方式需要采用多个摄像机，设置复杂，成本较高。另外，现有对高空抛物进行监测的方案中，一般是采用对特定抛出物进行识别的方式。这种对特定抛出物进行识别的检测方式，对已知抛出物以外的对象无法识别，会导致漏判的问题。而且，对特定抛出物进行分类识别的方式准确度不高，容易导致误判和漏判的问题。
为此，本申请提出一种高空抛物溯源检测方法，可通过单一摄像头对楼宇阳实时监控监测，通过变化区域检测和轨迹判断，实现对高空抛出物进行溯源监测，可以防止高空抛物事件产生的危险。根据本申请的技术方案成本低，并可解决现有高空抛物检测方法存在的误判和漏判问题。
下面将参照附图，将根据本申请实施例用高空抛物溯源检测的方法进行详细说明。
图1示出根据本申请示例实施例的对高空抛物进行溯源监测的方法流程图。
参见图1，在S101，获取来自摄像装置的实时视频流的帧图像，所述实时视频流用于对建筑物进行固定监测。
根据示例实施例，可采用红外摄像头或星光级摄像头进行监测拍摄。为了对建筑物进行固定监测，根据实施例，摄像装置在焦距、位置及拍摄角度固定的情况下获取实时视频流。
在一个具体的实施场景中，高空抛物的事件的发生时间是随机的，可以是一天之中的任何时间，因此需要24小时不间断的对大楼进行监控。根据实施例，单目红外摄像头一直处于拍摄视频的状态，获取当前视频流。可抽取当前视频流的最后一帧作为当前图像，或者可以是针对当前视频流每新增一帧图像就将其作为当前图像，或者每间隔预设周期获取一帧图像作为当前图像。在本实施场景中，采用单目红外摄像头进行检测，不受天气、光线等因素的干扰，在固定位置的情况下进行检测，能够提高高空抛物的检测准确率。该单目红外摄像头的拍摄焦距、拍摄位置和拍摄角度固定且已知。
根据一些实施例，获取来自摄像装置的实时视频流的帧图像之后，还可利用神经网络模型对所述帧图像进行超分处理，从而提高所述帧图像的分辨率。例如，从1080P(分辨率为1920*1080)变为4K(分辨率为3840*2160)，有利于后续的分析任务。超分处理使本申请方法本身对摄像装置的分辨率要求降低，能够对建筑物或建筑小区本身摄像装置加以利用，降低本发明方法的额外应用成本。
根据一些实施例，还可检测所述帧图像的关注区，所述关注区对应所述建筑物。然后，将所述关注区以外的图像区域填充为任何一种颜色或者使用所述关注区以外的区域的所有像素点的像素平均值进行填充，从而对所述帧图像设置算法识别区域。这样做一方面可减少图像识别需要处理的数据量，另一方面也可以提升后续判断的准确性和可靠性。
在S103，通过图像变化检测算法识别所述实时视频流的帧图像的变化区域。
根据实施例，可将当前图像与模板图像进行比对，获取当前图像与模板图像的不同之处，将该不同之处作为目标变化区域。模板图像是动态更新的，每隔一定的时间或者帧数可更新一次模板图像。例如，如果连续N张图像帧保持基本不变，则可作为更新的模板图像。
根据一些实施例，所述目标变化区域可以通过变化检测神经网络识别，例如可采用预训练的ChangNet实现变化区域识别。
在S105，对所述变化区域进行运动轨迹跟踪，根据得到的运动轨迹的长度判断所述变化区域是否对应抛出物。
根据一些实施例，可采用sort算法对变化区域进行运动轨迹跟踪。sort算法中，目标物跟踪轨迹是连续的，实现多目标跟踪速度的速度快，但在通用场景中，能够满足要求，实现监测目的。
根据运动轨迹跟踪结果，如果运动轨迹的长度大于预设轨迹阈值，那么产生高空抛物的报警；否则，不产生高空抛物的报警。
根据实施例，采用摄像装置对建筑物进行固定监测，获取实时视频流，识别所述实时视频流的帧图像的变化区域。对所述变化区域进行运动轨迹跟踪，根据得到的运动轨迹的长度判断所述变化区域是否对应抛出物。由于变化区域检测适用于任何物体，因此该高空抛物方法应用场景广泛，可以为监管高空抛物行为提供重要的技术支撑，能够有效地溯源高空抛物的位置。
图2示出本申请示例实施例对建筑图像进行分割的示意图。
参见图2，根据一些实施例，在获取来自摄像装置的实时视频流的帧图像之后，还可对所述帧图像按照单个抛出区域进行分割，并对所分割出的各个抛出区域进行编号。例如，可将帧图像按照每个窗户和/或阳台的区域进行图像分割，并对作为单独检测区域的每个分割区域进行编号。
根据一些实施例，可通过语义分割网络分割并识别出当前图像中的窗户和/或阳台区域。基于分割结果，可以得到每个窗户、阳台的区域，作为单个抛出区域，并可确定每个窗户、阳台的编号。例如，用(x,y)表示第x行和第y列的窗户或者阳台的编号，方便后续对高空抛物进行追责。可以按照预设的编号规则进行编号，例如第x行、第y列的窗户或者阳台的编号即用(x,y)表示。
根据一些实施例，用于图像分割神经网络的损失函数可为：
Ltotal＝Lce+λLdice
其中，
Dice系数是一种用于评估两个样本相似性的度量函数，其值越大意味着这两个样本越相似。在语义分割问题中，X表示真实分割图像的像素标签，Y表示模型预测分割图像的像素类别，|X∩Y|近似为预测图像的像素与真实标签图像的像素之间的点乘，并将点乘结果相加，|X|和|Y|分别近似为它们各自对应图像中的像素相加。
λ是一个超参数，用于平衡交叉熵损失Lce和Dice损失Ldice。
pi表示样本属于第i类的概率，y＝[y0,y1,y2,...,yC-1]是样本的one-hot标签，当样本属于第i类时，yi＝1，否则，yi＝0。
图3示出根据示例性实施例的用于变化区域检测的方法流程图。
参见图3,在S301，获取来自摄像装置的实时视频流的帧图像。关于获取视频流的帧图像，可参见前面的描述。
在S303，更新模板图像。
模板图像用于图像变化检测。模板图像是动态更新的，每隔一定的时间或者帧数可更新一次模板图像。例如，如果连续N张图像帧保持基本不变，则可作为更新的模板图像。由于大楼的各个窗户或阳台的状态不是一成不变的，如果采用固定的图像作为模板图像，可能会导致需要判断是否发生高空抛物的次数过于频繁，对资源进行无意义的消耗。此外，相较于采用帧差法(相邻两帧图像，前者作为后者的模板图像)，本发明避免了一些可能的拖影干扰等情况，提高了检测的准确性和可靠性。
在S305,识别实时视频流的帧图像的变化区域。
将当前图像与模板图像进行比对，获取当前图像与模板图像的不同之处，将该不同之处作为目标变化区域。可以是将该不同之处的外接矩形框对应的区域作为目标变化区域，也可以直接将该不同之处对应的区域作为目标变化区域。
根据一些实施例，所述目标变化区域可以通过变化检测神经网络识别，例如可采用预训练的ChangNet实现变化区域识别。ChangNet是一个基于深度学习的变化检测网络，应用孪生神经网络(Siamese network)和FCN，并用SOFTMAX进行分类，最终输出变化区域。
将视频流的当前帧图像和模板图像送入变化检测模型，可得到变化检测的变化区域。
在变化检测中，无变化像素的数量往往远超变化像素的数量。为了削弱正负样本不平衡的影像，使用混合损失函数(加权交叉熵和重叠度结合)。混合损失函数可具体如下：
L＝Lwce+Ldice
加权交叉熵(WCE)损失函数如下：
其中变化图Y可视为点的集合：Y＝{yI,i＝1,2,…,H×W}，W和H表示变化图Y的高和宽，yi表示Y中的点，每个yi只有m个结果，这里m为2，只有不变化和变化两类。Yi＝[yi1,yi2,…,yim]是类预测结果，是one-hot编码的目标类别向量。Ω＝[ω1,ω2,ω3,…,ωm]为对预测变化图中每个类别的权重：
变化图Y通过Softmax计算重叠度损失，为真实值。
重叠度损失函数如下：
图4示出本申请示例实施例利用干扰物检测确定抛出物的方法流程图。
为了排除干扰物对高空抛物判断的影响，可对帧图像进行干扰物检测，干扰物范围可包括飞鸟、树叶、树枝等常见已知物体。
参见图4，在S401，识别实时视频流的帧图像的变化区域。参见前面的描述，此处不再赘述。
在S403，对所述帧图像进行干扰物检测，确定干扰物区域。
根据一些实施例，可通过预训练的YOLOV7神经网络模型进行干扰物检测。当干扰物检测神经网络检测到当前图像中存在干扰物时，会将干扰物所在的位置用干扰物检测框进行标记。在其他实施场景中，还可以使用一些图像处理算法，如边缘检测、形态学处理等，来检测图像中的干扰物，并将其标记为干扰物检测框。
根据一些实施例，干扰物检测神经网络的损失函数为：
LOSS＝lossloc+lossobj+losscls
其中，lossloc是位置回归损失函数，根据以下公式获取：
lossobj是物体置信度损失函数，根据以下公式获取：
losscls是分类损失函数，根据以下公式获取：
S2表示网格序号，B表示当前网格的第B个框，在本实施场景中，每个网格有3个框。
表示当前网格是否存在物体，有物体＝1，没物体＝0。
表示当前网格是否存在物体，与/>刚好相反，有物体＝0，没物体＝1。
表示所有网格里，所有框有物体的累加。
λc，λcls，λiou表示参数因子。
d，c分别表示预测框和真实框的中心点距离，以及外包矩形的斜边长。
IOU表示预测框和真实框的交并比。
w,h表示预测框的宽和高。
wgt,hgt表示真实框的宽和高。
表示第i个网格的第j个框置信度，/>表示第i个网格的第j个框的预测框的置信度。
表示第i个网格的第j个框为类别C的概率值，/>表示第i个网格的第j个预测框为类别C的概率值。
在S405，判断干扰物区域与变化区域的交并比是否大于预设干扰阈值。
如果所述干扰物区域与所述变化区域的交并比大于预设干扰阈值，则确定所述变化区域对应干扰物，而不是对应抛出物。否则，可确定该变化区域不是干扰物，后续将进行目标跟踪检测，如前面所描述的。
例如，将干扰物检测的目标框的位置与变化检测的变化区域计算交并比IoU(Intersect ion over Union)。如果IoU大于预设干扰阈值，那么该变化区域对应干扰物。否则，该变化区域对应疑似有危险的高空抛出物。这样，可以做到对高空抛物事件的准确检测，避免误报，例如将飞鸟误报为高空抛物。
根据实施例，通过干扰物检测排除掉预定种类干扰物，可以提高高空抛物监测的可靠性和准确性，避免产生误报。
图5示出本申请示例实施例的对高空抛物进行溯源监测的方案示意图。
参见图5，准备一个单目红外摄像设备或星光级摄像设备，它的焦距、位置和角度固定。
对所述摄像设备进行内参标定，得到内参矩阵和畸变系数。内参标定的具体方法有线性标定、非线性优化标定法、两步标定法。本实施例采用两步标定法中的张正友内参标定法，但本申请的方案不限于此。将得到的数据参数存储到配置文件。作为帧图像处理的基本数据，留待后续使用。
获取实时视频流的帧图像。利用之前存储在配置文件中的内参矩阵与畸变系数，对获取的帧图像进行畸变校正。将所述畸变校正后的帧图像进行去噪处理。
现实中的数字图像在数字化和传输过程中常受到成像设备与外部环境的噪声干扰影响，这些噪声可能在传输中产生也可能在量化等处理中产生，且后续图像超分处理中,可能放大噪声。根据一些实例，增加图像去噪处理环节。现行的处理方式有多种，如均值滤波器、自适应维纳滤波器中值滤波器等等，可按照具体的实施监测环境自行选择，达到处理目的即可。
将所述去噪后的帧图像，进行超分处理，即将低分辨率的图像恢复为高分辨率图像。超分处理使本申请方法本身对摄像装置的分辨率要求降低，能够对建筑物或建筑小区本身摄像装置的加以利用，降低本发明方法的额外应用成本。
根据一些实施例，超分可应用深度卷积神经网络来构建，这些方法使用不同的采样结构，对应不同的插值算法进而补充像素，使图像分辨率提高。这里可以自行选择方法，不影响后续判断。
对超分后的图片检测关注区，识别图像中的建筑物区域为关注区，作为算法识别区域。对关注以外的区域，使用任意一种颜色填充或者使用算法识别区域以外的区域的所有像素点的像素的平均值进行填充。这样做一方面可减少图像识别需要处理的数据量，另一方面也可以提升后续判断的准确性和可靠性。
根据一些实施例，目标区域可以由人通过算法参数配置界面设置，也可以是通过图像识别，识别出大楼所在的区域，将天空、草坪等背景作为其余区域。用任何一种颜色除目标区域以外的其余区域，也可以获取目标区域以外的其余区域的所有像素点的像素值的均值、最大值、最小值等对应的目标像素值，用目标像素值填充除目标区域以外的其余区域，或者删除其余区域。这样，后续的处理均针对目标区域内的内容进行，不会考虑其余区域避免发生误判。
然后可对得到的图像分别进行窗户和阳台分割、变化检测、干扰物检测。
参见前面的描述，变化检测使用变化检测算法实现。为了识别算法识别区域中变化的区域，它的输入有两张图片，一张是模板图片，一张是视频流的当前图片，这里模板图片是动态更新的，每隔一定的时间或者帧数更新一次模板图片。干扰物包括但不限于鸟、树叶、树枝等。干扰物检测的目标框的位置与变化检测的变化区域计算交并比IoU(Intersection over Union)。如果IoU大于一定的阈值，那么该变化区域为干扰物。否则，那么该变化区域不是干扰物。
基于前面得到的窗户和阳台的分割结果，可以得到每个窗户或者阳台的区域，以及确定每个窗户或者阳台的编号，比如用(x,y)表示第x行和第y列的窗户或者阳台的编号。将前面得到的变化区域与每个窗户或者阳台的区域计算IoU。如果IoU大于一定的阈值，那么获取该窗户或者阳台的编号，并且对该变化区域进行跟踪，可以得到物体的运动轨迹，从而实现对所述抛出物的抛出溯源。如果运动轨迹的长度大于一定的像素距离阈值，那么产生高空抛物的报警。否则，不产生高空抛物的报警。
通过对示例实施例的描述，本领域技术人员易于理解，根据本申请实施例的技术方案至少具有以下优点中的一个或多个。
根据实施例，通过变化区域检测识别高空抛物，适用于任何物体。因此，本高空抛物监测方案应用场景广泛，可以为监管高空抛物行为提供重要的技术支撑，能够有效地溯源高空抛物的位置。结合轨迹检测，可进一步提高识别准确度，避免误判。
根据实施例，通过对原始图片进行图像超分，提高图像的分辨率，有利于后续的分割窗户或者阳台、变化检测和干扰物检测的效果，同时可以降低摄像头的成本。
根据实施例，通过分割窗户或者阳台，结合变化检测得到的变化区域，可以得到高空抛物的窗户或者阳台的编号，即高空抛物的位置。
根据实施例，使用干扰物检测，将得到的干扰物与变化区域，计算交并比IoU，可以过滤掉变化区域中是干扰物的物体，进一步提高高空抛物检测的准确度，避免误判。
图6示出申请示例实施例的计算设备的框图。
如图6所示，计算设备30包括处理器12和存储器14。计算设备30还可以包括总线22、网络接口16以及I/O接口18。处理器12、存储器14、网络接口16以及I/O接口18可以通过总线22相互通信。
处理器12可以包括一个或多个通用CPU(Central Processing Unit，处理器)、微处理器、或专用集成电路等，用于执行相关程序指令。根据一些实施例，计算设备30还可包括为处理器12进行加速的高性能显示适配器(GPU)20。
存储器14可以包括易失性存储器形式的机器系统可读介质，例如随机存取存储器(RAM)、只读存储器(ROM)和/或高速缓存存储器。存储器14用于存储包含指令的一个或多个程序以及数据。处理器12可读取存储在存储器14中的指令以执行上述根据本申请实施例的方法。
计算设备30也可以通过网络接口16与一个或者多个网络通信。该网络接口16可以是无线网络接口。
总线22可以为包括地址总线、数据总线、控制总线等。总线22提供了各组件之间交换信息的通路。
需要说明的是，在具体实施过程中，计算设备30还可以包括实现正常运行所必需的其他组件。此外，本领域的技术人员可以理解的是，上述设备中也可以仅包含实现本说明书实施例方案所必需的组件，而不必包含图中所示的全部组件。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述方法的步骤。计算机可读存储介质可以包括但不限于任何类型的盘，包括软盘、光盘、DVD、CD-ROM、微型驱动器以及磁光盘、ROM、RAM、EPROM、EEPROM、DRAM、VRAM、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器IC)、网络存储设备、云存储设备，或适合于存储指令和/或数据的任何类型的媒介或设备。
本申请实施例还提供一种计算机程序产品，该计算机程序产品包括存储计算机程序的非瞬时性计算机可读存储介质，该计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种方法的部分或全部步骤。
本领域的技术人员可以清楚地了解到本申请的技术方案可借助软件和/或硬件来实现。本说明书中的“单元”和“模块”是指能够独立完成或与其他部件配合完成特定功能的软件和/或硬件，其中硬件例如可以是现场可编程门阵列、集成电路等。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上具体地展示和描述了本申请的示例性实施例。应可理解的是，本申请不限于这里描述的详细结构、设置方式或实现方法；相反，本申请意图涵盖包含在所附条款的精神和范围内的各种修改和等效设置。

Claims (7)

1.一种对高空抛物进行溯源监测的方法，其特征在于，包括：
获取来自摄像装置的实时视频流的帧图像，所述实时视频流用于对建筑物进行固定监测；
利用神经网络模型对所述帧图像进行超分处理；
对所述帧图像按照每个窗户和/或阳台的区域进行图像分割，得到各抛出区域；
通过图像变化检测识别所述实时视频流的帧图像的变化区域；
对所述帧图像进行干扰物检测，确定干扰物区域；
如果所述干扰物区域与所述变化区域的交并比大于预设干扰阈值，则确定所述变化区域不对应抛出物，否则，计算所述变化区域与各抛出区域的交并比，如果一交并比大于阈值，则对所述变化区域进行运动轨迹跟踪，根据得到的运动轨迹的长度判断所述变化区域是否对应抛出物。
2.根据权利要求1所述的方法，其特征在于，还包括：
检测所述帧图像的关注区，所述关注区对应所述建筑物；
将所述关注区以外的图像区域填充为任何一种颜色或者使用所述关注区以外的区域的所有像素点的像素平均值进行填充，从而对所述帧图像设置算法识别区域。
3.根据权利要求1所述的方法，其特征在于，所述摄像装置在焦距、位置及拍摄角度固定的情况下获取所述实时视频流。
4.根据权利要求1所述的方法，其特征在于，根据得到的运动轨迹的长度判断所述变化区域是否对应抛出物，包括：
如果判断所述运动轨迹长度大于预设轨迹阈值，则确定所述变化区域对应抛出物。
5.根据权利要求4所述的方法，其特征在于，获取来自摄像装置的实时视频流的帧图像之后，还包括：
对所分割出的各个抛出区域进行编号。
6.根据权利要求5所述的方法，其特征在于，还包括：
如果所述变化区域与各抛出区域的一交并比大于阈值，那么获取相应抛出区域的编号，从而实现对所述抛出物的抛出溯源。
7.一种计算设备，其特征在于，包括：
处理器；以及
存储器，存储有计算机程序，当所述计算机程序被所述处理器执行时，实现如权利要求1-6中任一项所述的方法。
CN202310892196.9A 2023-07-20 2023-07-20 对高空抛物进行溯源监测的方法及计算设备 Active CN116994201B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310892196.9A CN116994201B (zh) 2023-07-20 2023-07-20 对高空抛物进行溯源监测的方法及计算设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310892196.9A CN116994201B (zh) 2023-07-20 2023-07-20 对高空抛物进行溯源监测的方法及计算设备

Publications (2)

Publication Number Publication Date
CN116994201A CN116994201A (zh) 2023-11-03
CN116994201B true CN116994201B (zh) 2024-03-29

Family

ID=88524201

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310892196.9A Active CN116994201B (zh) 2023-07-20 2023-07-20 对高空抛物进行溯源监测的方法及计算设备

Country Status (1)

Country Link
CN (1) CN116994201B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016414A (zh) * 2020-08-14 2020-12-01 熵康(深圳)科技有限公司 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN112257557A (zh) * 2020-10-20 2021-01-22 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112418069A (zh) * 2020-11-19 2021-02-26 中科智云科技有限公司 一种高空抛物检测方法、装置、计算机设备及存储介质
CN113269046A (zh) * 2021-04-28 2021-08-17 深圳市海清视讯科技有限公司 一种高空坠物识别方法及系统
CN113409362A (zh) * 2021-06-29 2021-09-17 深圳市商汤科技有限公司 高空抛物检测方法和装置、设备及计算机存储介质
CN113516042A (zh) * 2021-05-17 2021-10-19 江苏奥易克斯汽车电子科技股份有限公司 高空抛物检测方法、装置和设备
CN114332163A (zh) * 2021-12-29 2022-04-12 武汉大学 一种基于语义分割的高空抛物检测方法及系统
CN114639075A (zh) * 2022-05-23 2022-06-17 广州英码信息科技有限公司 一种高空抛物坠物的识别方法、系统及计算机可读介质
CN114998794A (zh) * 2022-05-31 2022-09-02 天翼爱音乐文化科技有限公司 高空抛物识别方法、系统、装置及存储介质
CN115187884A (zh) * 2021-04-02 2022-10-14 广东博智林机器人有限公司 一种高空抛物识别方法、装置、电子设备及存储介质
CN115423850A (zh) * 2022-07-29 2022-12-02 深圳天海宸光科技有限公司 一种自动过滤晃动目标区域的抗干扰捕获高空抛物方法
CN115690692A (zh) * 2022-11-16 2023-02-03 合肥工业大学 一种基于主动学习和神经网络的高空抛物检测方法

Patent Citations (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112016414A (zh) * 2020-08-14 2020-12-01 熵康(深圳)科技有限公司 一种检测高空抛物事件的方法、装置及楼面智能监控系统
CN112257557A (zh) * 2020-10-20 2021-01-22 中国电子科技集团公司第五十八研究所 一种基于机器视觉的高空抛物检测识别方法及系统
CN112418069A (zh) * 2020-11-19 2021-02-26 中科智云科技有限公司 一种高空抛物检测方法、装置、计算机设备及存储介质
WO2022105609A1 (zh) * 2020-11-19 2022-05-27 中科智云科技有限公司 一种高空抛物检测方法、装置、计算机设备及存储介质
CN115187884A (zh) * 2021-04-02 2022-10-14 广东博智林机器人有限公司 一种高空抛物识别方法、装置、电子设备及存储介质
CN113269046A (zh) * 2021-04-28 2021-08-17 深圳市海清视讯科技有限公司 一种高空坠物识别方法及系统
CN113516042A (zh) * 2021-05-17 2021-10-19 江苏奥易克斯汽车电子科技股份有限公司 高空抛物检测方法、装置和设备
CN113409362A (zh) * 2021-06-29 2021-09-17 深圳市商汤科技有限公司 高空抛物检测方法和装置、设备及计算机存储介质
CN114332163A (zh) * 2021-12-29 2022-04-12 武汉大学 一种基于语义分割的高空抛物检测方法及系统
CN114639075A (zh) * 2022-05-23 2022-06-17 广州英码信息科技有限公司 一种高空抛物坠物的识别方法、系统及计算机可读介质
CN114998794A (zh) * 2022-05-31 2022-09-02 天翼爱音乐文化科技有限公司 高空抛物识别方法、系统、装置及存储介质
CN115423850A (zh) * 2022-07-29 2022-12-02 深圳天海宸光科技有限公司 一种自动过滤晃动目标区域的抗干扰捕获高空抛物方法
CN115690692A (zh) * 2022-11-16 2023-02-03 合肥工业大学 一种基于主动学习和神经网络的高空抛物检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
A multi-target tracking algorithm for objects thrown from high;Weilin Xu;2021 IEEE 3rd International Conference on Civil Aviation Safety and Information Technology (ICCASIT);20211231;全文 *
周界视频监控中抛物检测算法;何亮明;胡茂林;刘海涛;;天津大学学报;20110315(第03期);全文 *
改进的PBAS算法在抛物识别中的应用研究;唐德谦;宋刚伟;张进;李钧;周风娥;张继康;;计算技术与自动化;20200928(第03期);全文 *

Also Published As

Publication number Publication date
CN116994201A (zh) 2023-11-03

Similar Documents

Publication Publication Date Title
KR102171122B1 (ko) 장면의 다차원 특징을 기반으로 하는 선박 탐지 방법 및 시스템
Bertini et al. Multi-scale and real-time non-parametric approach for anomaly detection and localization
US9767570B2 (en) Systems and methods for computer vision background estimation using foreground-aware statistical models
CN112669344B (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
CN110659391A (zh) 一种视频侦查方法及装置
CN105844659A (zh) 运动部件的跟踪方法和装置
Suduwella et al. Identifying mosquito breeding sites via drone images
KR101030257B1 (ko) 카메라의 영상을 이용한 보행자 계수 방법 및 장치
Kongurgsa et al. Real-time intrusion—detecting and alert system by image processing techniques
CN108830161B (zh) 基于视频流数据的烟雾识别方法
Noroozi et al. Towards optimal foreign object debris detection in an airport environment
Su et al. A new local-main-gradient-orientation HOG and contour differences based algorithm for object classification
CN116402852A (zh) 基于事件相机的动态高速目标追踪方法及装置
CN113505643A (zh) 违章目标物检测方法及相关装置
CN116994201B (zh) 对高空抛物进行溯源监测的方法及计算设备
Mantini et al. Camera Tampering Detection using Generative Reference Model and Deep Learned Features.
Elsayed et al. Visual drone detection in static complex environment
Parameswaran et al. Evaluation schemes for video and image anomaly detection algorithms
Babaryka et al. Technologies for building intelligent video surveillance systems and methods for background subtraction in video sequences
JP2024516642A (ja) 行動検出方法、電子機器およびコンピュータ読み取り可能な記憶媒体
CN109859200B (zh) 一种基于背景分析的低空慢速无人机快速检测方法
CN113947744A (zh) 基于视频的火灾图像检测方法、系统、设备及存储介质
CN111191575B (zh) 一种基于火苗跳动建模的明火检测方法及系统
CN114419489A (zh) 特征提取网络的训练方法、装置、终端设备和介质
CN116844115A (zh) 对高空抛物进行溯源监测的方法及计算设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant