CN112560546A - 抛洒行为检测方法、装置及存储介质 - Google Patents

抛洒行为检测方法、装置及存储介质 Download PDF

Info

Publication number
CN112560546A
CN112560546A CN201910854454.8A CN201910854454A CN112560546A CN 112560546 A CN112560546 A CN 112560546A CN 201910854454 A CN201910854454 A CN 201910854454A CN 112560546 A CN112560546 A CN 112560546A
Authority
CN
China
Prior art keywords
vehicle
video
image
preset
tail image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910854454.8A
Other languages
English (en)
Inventor
陈鑫嘉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Hikvision Digital Technology Co Ltd
Original Assignee
Hangzhou Hikvision Digital Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Hikvision Digital Technology Co Ltd filed Critical Hangzhou Hikvision Digital Technology Co Ltd
Priority to CN201910854454.8A priority Critical patent/CN112560546A/zh
Publication of CN112560546A publication Critical patent/CN112560546A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种抛洒行为检测方法、装置、系统和存储介质,属于智能监控领域。所述方法包括:获取第一车辆视频,第一车辆视频是指预设车辆的行驶轨迹视频;从第一车辆视频中确定预设车辆的第一车尾图像和第二车尾图像,第一车尾图像和第二车尾图像是分别从第一视频帧以及位于第一视频帧之后的第二视频帧中确定得到;确定第一车尾图像与第二车尾图像之间的相似度;若第一车尾图像与第二车尾图像之间的相似度小于第一相似度阈值,则确定预设车辆发生抛洒行为。本申请可以根据车辆的车尾图像的变化,来确定车辆是否发生抛洒行为,提高了检测车辆的抛洒行为和定位抛洒车辆的准确度。

Description

抛洒行为检测方法、装置及存储介质
技术领域
本申请涉及智能监控领域,特别涉及一种抛洒行为检测方法、装置及存储介质。
背景技术
车辆在车道上行驶时,可能会将货物、石头、废弃轮胎、废弃纸箱或遮挡物等物品抛洒在路面上,这种被车辆在行驶过程中抛洒在路面上的物品称为抛洒物。由于车辆抛洒的抛洒物可能会对其他车辆的通行造成严重安全隐患,带来生命和经济财产的损失,因此,需要对车辆的抛洒行为进行检测。
相关技术中,可以通过背景建模和前景检测的方式来检测车辆的抛洒行为。具体地,可以预先对车道场景进行背景建模,得到车道的背景模型,然后基于车道的背景建模对车道进行前景检测,当检测出的前景的颜色、尺寸和运动状态满足抛洒物条件时,确定检测出的前景为抛洒物,并基于抛洒物对抛洒车辆进行定位,确定发生抛洒行为的车辆。
由于车道场景复杂多变,抛洒物检测受到的干扰较多,因此基于背景建模和前景检测的方式来检测车辆的抛洒行为时,检测准确率较低,而且,基于抛洒物对抛洒车辆进行定位的定位难度较大,定位准确度较低。
发明内容
本申请实施例提供了一种抛洒行为检测方法、装置及存储介质,可以用于解决相关技术中存在的检测抛洒行为的准确率较低,以及定位抛洒车辆的准确度较低的问题。所述技术方案如下:
一方面,提供了一种抛洒行为检测方法,所述方法包括:
获取第一车辆视频,所述第一车辆视频是指预设车辆的行驶轨迹视频;
从所述第一车辆视频中确定所述预设车辆的第一车尾图像和第二车尾图像,所述第一车尾图像和所述第二车尾图像是分别从第一视频帧以及位于所述第一视频帧之后的第二视频帧中确定得到;
确定第一车尾图像与第二车尾图像之间的相似度;
若所述第一车尾图像与所述第二车尾图像之间的相似度小于第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述抛洒行为是指抛洒物品的行为。
可选地,所述获取第一车辆视频,包括:
获取第一摄像机采集的第一监控视频,所述第一摄像机架设在车道上,用于对第一路段的车辆通行状况进行监控;
基于所述第一监控视频,对所述第一路段上行驶的所述预设车辆进行跟踪,以确定所述预设车辆的行驶轨迹;
基于所述预设车辆的行驶轨迹,从所述第一监控视频中获取所述第一车辆视频。
可选地,所述获取第一车辆视频,包括:
获取多个摄像机采集的监控视频,所述多个摄像机依次架设在车道上,用于对不用路段的车辆通行情况进行监控;
基于所述多个摄像机采集的监控视频,对所述车道上行驶的所述预设车辆进行跟踪,以确定所述预设车辆的行驶轨迹;
基于所述预设车辆的行驶轨迹,对所述多个摄像机采集的监控视频进行拼接处理,得到所述第一车辆视频。
可选地,所述确定第一车尾图像与第二车尾图像之间的相似度,包括:
对所述第一车尾图像进行特征提取,得到第一车尾图像特征;
对所述第二车尾图像进行特征提取,得到第二车尾图像特征;
确定所述第一车尾图像特征与所述第二车尾图像特征之间的特征相似度,将所述特征相似度作为所述第一车尾图像与第二车尾图像之间的相似度。
可选地,所述确定第一车尾图像与第二车尾图像之间的相似度之后,还包括:
若所述第一车尾图像与所述第二车尾图像之间的相似度大于或等于所述第一相似度阈值,且所述第二视频帧与所述第一车辆视频的最后一个视频帧之间间隔的视频帧数大于或等于预设阈值,则继续从所述第一车辆视频中确定所述预设车辆的第三车尾图像,确定所述第二车尾图像与所述第三车尾图像之间的相似度,若所述第二车尾图像与所述第三车尾图像之间的相似度小于所述第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述第三车尾图像是从位于所述第二视频帧之后的第三视频帧中确定得到;
若所述第一车尾图像与所述第二车尾图像之间的相似度大于或等于所述第一相似度阈值,且所述第二视频帧与所述第一车辆视频的最后一个视频帧之间间隔的视频帧数小于所述预设阈值,则确定所述预设车辆未发生抛洒行为。
可选地,第一摄像机架和第二摄像机依次架设在车道上,所述第一摄像机用于对第一路段的车辆通行状况进行监控,所述第二摄像机用于对第二路段的车辆通行状况进行监控,所述方法还包括:
获取所述第一摄像机采集的第一监控视频,基于所述第一监控视频中最后一次出现所述预设车辆的视频帧,确定所述预设车辆的第四车尾图像;
获取所述第二摄像机采集的第二监控视频,基于所述第二监控视频中第一次出现所述预设车辆的视频帧,确定所述预设车辆的第五车尾图像;
确定所述第四车尾图像与所述第五车尾图像之间的相似度;
若所述第四车尾图像与所述第五车尾图像之间的相似度小于第二相似度阈值,则确定所述预设车辆发生抛洒行为。
可选地,所述基于所述第二监控视频中第一次出现所述预设车辆的视频帧,确定所述预设车辆的第五车尾图像之前,还包括:
基于所述预设车辆的车牌标识,从所述第二监控视频中确定第一次出现所述预设车辆的视频帧。
另一方面,提供了一种抛洒行为检测方法,所述方法包括:
获取待检测的监控视频;
对所述监控视频进行预设车辆检测和抛洒物检测;
若检测到所述监控视频中的第四视频帧中同时出现所述预设车辆和抛洒物,则从位于所述第四视频帧之前的视频帧中确定第一次出现所述抛洒物的第五视频帧;
从所述第五视频帧包括的至少一个所述预设车辆中,确定与所述抛洒物之间距离最近的所述预设车辆;
将与所述抛洒物之间距离最近的所述预设车辆,确定为发生抛洒行为的车辆。
另一方面,提供了一种抛洒行为检测装置,所述装置包括:
第一获取模块,用于获取第一车辆视频,所述第一车辆视频是指预设车辆的行驶轨迹视频;
第一确定模块,用于从所述第一车辆视频中确定所述预设车辆的第一车尾图像和第二车尾图像,所述第一车尾图像和所述第二车尾图像是分别从第一视频帧以及位于所述第一视频帧之后的第二视频帧中确定得到;
第二确定模块,用于确定第一车尾图像与第二车尾图像之间的相似度;
第三确定模块,用于若所述第一车尾图像与所述第二车尾图像之间的相似度小于第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述抛洒行为是指抛洒物品的行为。
可选地,所述第一获取模块用于:
获取第一摄像机采集的第一监控视频,所述第一摄像机架设在车道上,用于对第一路段的车辆通行状况进行监控;
基于所述第一监控视频,对所述第一路段上行驶的所述预设车辆进行跟踪,以确定所述预设车辆的行驶轨迹;
基于所述预设车辆的行驶轨迹,从所述第一监控视频中获取所述第一车辆视频。
可选地,所述第一获取模块用于:
获取多个摄像机采集的监控视频,所述多个摄像机依次架设在车道上,用于对不用路段的车辆通行情况进行监控;
基于所述多个摄像机采集的监控视频,对所述车道上行驶的所述预设车辆进行跟踪,以确定所述预设车辆的行驶轨迹;
基于所述预设车辆的行驶轨迹,对所述多个摄像机采集的监控视频进行拼接处理,得到所述第一车辆视频。
可选地,所述第二确定模块用于:
对所述第一车尾图像进行特征提取,得到第一车尾图像特征;
对所述第二车尾图像进行特征提取,得到第二车尾图像特征;
确定所述第一车尾图像特征与所述第二车尾图像特征之间的特征相似度,将所述特征相似度作为所述第一车尾图像与第二车尾图像之间的相似度。
可选地,所述装置还包括:
循环模块,用于若所述第一车尾图像与所述第二车尾图像之间的相似度大于或等于所述第一相似度阈值,且所述第二视频帧与所述第一车辆视频的最后一个视频帧之间间隔的视频帧数大于或等于预设阈值,则继续从所述第一车辆视频中确定所述预设车辆的第三车尾图像,确定所述第二车尾图像与所述第三车尾图像之间的相似度,若所述第二车尾图像与所述第三车尾图像之间的相似度小于所述第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述第三车尾图像是从位于所述第二视频帧之后的第三视频帧中确定得到;
第四确定模块,用于若所述第一车尾图像与所述第二车尾图像之间的相似度大于或等于所述第一相似度阈值,且所述第二视频帧与所述第一车辆视频的最后一个视频帧之间间隔的视频帧数小于所述预设阈值,则确定所述预设车辆未发生抛洒行为。
可选地,第一摄像机架和第二摄像机依次架设在车道上,所述第一摄像机用于对第一路段的车辆通行状况进行监控,所述第二摄像机用于对第二路段的车辆通行状况进行监控,所述装置还包括:
第二获取模块,用于获取所述第一摄像机采集的第一监控视频,基于所述第一监控视频中最后一次出现所述预设车辆的视频帧,确定所述预设车辆的第四车尾图像;
第三获取模块,用于获取所述第二摄像机采集的第二监控视频,基于所述第二监控视频中第一次出现所述预设车辆的视频帧,确定所述预设车辆的第五车尾图像;
第五确定模块,用于确定所述第四车尾图像与所述第五车尾图像之间的相似度;
第六确定模块,用于若所述第四车尾图像与所述第五车尾图像之间的相似度小于第二相似度阈值,则确定所述预设车辆发生抛洒行为。
可选地,所述装置还包括:
第七确定模块,用于基于所述预设车辆的车牌标识,从所述第二监控视频中确定第一次出现所述预设车辆的视频帧。
另一方面,提供了一种抛洒行为检测装置,所述装置包括:
获取模块,用于获取待检测的监控视频;
检测模块,用于对所述监控视频进行预设车辆检测和抛洒物检测;
第一确定模块,用于若检测到所述监控视频中的第四视频帧中同时出现所述预设车辆和抛洒物,则从位于所述第四视频帧之前的视频帧中确定第一次出现所述抛洒物的第五视频帧;
第二确定模块,用于从所述第五视频帧包括的至少一个所述预设车辆中,确定与所述抛洒物之间距离最近的所述预设车辆;
第三确定模块,用于将与所述抛洒物之间距离最近的所述预设车辆,确定为发生抛洒行为的车辆。
另一方面,提供了一种抛洒行为检测系统,所述系统包括图像采集单元和图像处理单元;
所述图像采集单元用于对道路的车辆通行状况进行监控;
所述图像处理单元用于基于所述图像采集单元采集的监控视频,获取第一车辆视频,所述第一车辆视频是指预设车辆的行驶轨迹视频;从所述第一车辆视频中确定所述预设车辆的第一车尾图像和第二车尾图像,所述第一车尾图像和所述第二车尾图像是分别从第一视频帧以及位于所述第一视频帧之后的第二视频帧中确定得到;确定第一车尾图像与第二车尾图像之间的相似度;若所述第一车尾图像与所述第二车尾图像之间的相似度小于第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述抛洒行为是指抛洒物品的行为。
另一方面,提供了一种抛洒行为检测系统,所述系统包括图像采集单元和图像处理单元;
所述图像采集单元至少包括依次架设在车道上的第一摄像机和第二摄像机,所述第一摄像机用于对第一路段的车辆通行状况进行监控,所述第二摄像机用于对第二路段的车辆通行状况进行监控;
所述图像处理单元用于获取所述第一摄像机采集的第一监控视频,基于所述第一监控视频中最后一次出现所述预设车辆的视频帧,确定所述预设车辆的第四车尾图像;获取所述第二摄像机采集的第二监控视频,基于所述第二监控视频中第一次出现所述预设车辆的视频帧,确定所述预设车辆的第五车尾图像;确定所述第四车尾图像与所述第五车尾图像之间的相似度;若所述第四车尾图像与所述第五车尾图像之间的相似度小于第二相似度阈值,则确定所述预设车辆发生抛洒行为。
另一方面,提供了一种抛洒行为检测系统,所述系统包括图像采集单元和图像处理单元;
所述图像采集单元用于对道路的车辆通行状况进行监控;
所述图像处理单元用于获取所述图像采集单元采集的监控视频,对所述监控视频进行预设车辆检测和抛洒物检测;若检测到所述监控视频中的第四视频帧中同时出现所述预设车辆和抛洒物,则从位于所述第四视频帧之前的视频帧中确定第一次出现所述抛洒物的第五视频帧;从所述第五视频帧包括的至少一个所述预设车辆中,确定与所述抛洒物之间距离最近的所述预设车辆;将与所述抛洒物之间距离最近的所述预设车辆,确定为发生抛洒行为的车辆。
另一方面,提供了一种非临时性计算机可读存储介质,所述非临时性计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现上述任一种抛洒行为检测方法的步骤。
本申请实施例提供的技术方案带来的有益效果是:
本申请实施例中,可以从预设车辆的行驶轨迹视频中确定预设车辆的第一车尾图像和第二车尾图像,然后确定第一车尾图像与第二车尾图像之间的相似度,当两者的车尾图像的相似度小于第一相似度阈值时,确定该预设车辆发生抛洒行为。也即是,本申请可以根据车辆的车尾图像的变化,来确定车辆是否发生抛洒行为,从而避免了车道场景的干扰,提高了检测抛洒行为的准确率,而且本申请可以准确定位发生抛洒行为的车辆,提高了定位抛洒车辆的准确度。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种抛洒行为检测系统的示意图;
图2是本申请实施例提供的一种图像采集单元的示意图;
图3是本申请实施例提供的另一种抛洒行为检测系统的示意图;
图4是本申请实施例提供的另一种图像采集单元的示意图;
图5是本申请实施例提供的一种抛洒行为检测方法的流程图;
图6是本申请实施例提供的一种车尾图像的相似度检测过程的流程图;
图7是本申请实施例提供的一种抛洒行为检测流程的示意图;
图8是本申请实施例提供的另一种抛洒行为检测方法的流程图;
图9是本申请实施例提供的另一种抛洒行为检测流程的示意图;
图10是本申请实施例提供的又一种抛洒行为检测方法的流程图;
图11是本申请实施例提供的一种抛洒行为检测装置的框图;
图12是本申请实施例提供的另一种抛洒行为检测装置的框图;
图13是本申请实施例提供的一种抛洒行为检测装置的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚,下面将结合附图对本申请实施方式作进一步地详细描述。
在对本申请实施例进行详细地解释说明之前,先对本申请实施例的实施环境予以说明。
图1是本申请实施例提供的一种抛洒行为检测系统的示意图,如图1所示,该方法包括图像采集单元10和图像处理单元20,图像采集单元10与图像处理单元20之间可以通过有线网络或无线网络进行通信。
其中,图像采集单元10包括一个或多个摄像机,用于对道路的车辆行驶状态进行监控,采集道路的监控视频。摄像机可以为高清摄像机,比如300万像素的高清摄像机。图像处理单元20用于基于图像采集单元10采集的监控视频,获取预设车辆的行驶轨迹视频即第一车辆视频,并按照本申请实施例提供的方法对第一车辆视频进行抛洒行为检测。
作为一个示例,还可以将图像处理单元20的部分功能集成在图像采集单元10中,比如由图像采集单元10从采集的监控视频中确定第一车辆视频,将第一车辆视频发送给图像处理单元20,由图像处理单元20对第一车辆视频进行分析,确定预设车辆是否发生抛洒行为。
请参考图2,图像采集单元10可以包括第一摄像机11,第一摄像机11可以架设在车道上,用于对第一路段的车辆通行状况进行监控,采集第一路段的监控视频。具体地,第一摄像机11可以采集第一路段的监控视频,将监控视频发送给图像处理单元20。图像处理单元20用于按照本申请实施例提供的方法,对图像采集单元10采集的监控视频进行处理,以检测道路上行驶的车辆是否发生抛洒行为。
作为一个示例,图像处理单元20可以包括一个或多个服务器,图像处理单元20的功能可以由一个或多个服务器实现。
图3是本申请实施例提供的另一种抛洒行为检测系统的示意图,如图3所示,该方法包括图像采集单元10,网络传输单元30,图像处理单元20,以及数据存储与系统管理单元40。图像采集单元10,图像处理单元20和数据存储与系统管理单元40之间可以通过网络传输单元30传输数据。
其中,图像采集单元10包括一个或多个摄像机,用于对车道上的车辆通行状况进行监控,将监控视频通过网络传输单元30发送给图像处理单元20。图像处理单元20用于按照本申请实施例提供的方法,检测车道上的车辆是否发生抛洒行为。
示例的,如图3所示,图像处理单元20包括预设车辆检测单元和抛洒行为检测单元,预设车辆检测单元用于对图像采集单元10采集的监控图像中的车辆进行检测定位,并识别该车辆是否为预设车辆,以及对预设车辆进行跟踪,确定预设车辆的行驶轨迹,基于预设车辆的行驶轨迹,确定预设车辆的行驶轨迹视频,将预设车辆的行驶轨迹视频发生给抛洒行为检测单元。抛洒行为检测单元22用于对预设车辆的行驶轨迹视频进行检测,确定预设车辆是否发生抛洒行为。进一步地,抛洒行为检测单元还可以在确定预设车辆发生抛洒行为,对车辆发生抛洒行为的相关图像进行抓拍,将抓拍的图像通过网络传输单元30发送给数据存储与系统管理单元40,作为预设车辆发生抛洒行为的证明。
示例的,如图3所示,网络传输单元30包括设置在前端的工业交换机和光纤收发器,负责构建路口局域网,实现前端数据的传输和交换,以及将前端数据传输至后端的数据存储与系统管理单元40。
示例的,如图3所示,数据存储与系统管理单元40包括数据服务器和客户端。数据服务器用于存储图像采集单元10或图像处理单元20发送的数据,如车道的监控视频或车辆发生抛洒行为的相关图像。客户端用于对抛洒行为检测系统进行配置和管理。
在另一实施例中,图像采集单元10至少包括依次架设在车道上的第一摄像机11和第二摄像机12。第一摄像机11用于对第一路段的车辆通行状况进行监控,将第一路段的第一监控视频发送给图像处理单元20;第二摄像机12用于对第二路段的车辆通行状况进行监控,将第二路段的第二监控视频发送给图像处理单元20。示例的,第一摄像机11和第二摄像机12的架设方式可以如图4所示,如图4所示,按照车辆通行方向,第一摄像机11架设在第二摄像机12之间,车辆行驶过程中,将先经过第一摄像机11的监控区域,再经过第二摄像机12的监控区域。在车辆行驶过程中,第一摄像机11和第二摄像机12可以拍摄车辆的车尾图像。
相应地,图像处理单元20可以基于车辆经过第一摄像机11的最后一帧图像以及经过第二摄像机12的第一帧图像的车尾图像的变化,检测车辆是否在跨摄像机的过程中发生抛洒行为,也即是,可以检测车辆是否在第一摄像机11和第二摄像机12之间的监控盲区发生抛洒行为。
具体地,图像处理单元20用于基于第一监控视频中最后一次出现预设车辆的视频帧确定预设车辆的第四车尾图像,基于第二监控视频中第一次出现预设车辆的视频帧确定预设车辆的第五车尾图像,确定第四车尾图像与第五车尾图像之间的相似度;若第四车尾图像与第四五车尾图像之间的相似度小于第二相似度阈值,则确定预设车辆发生抛洒行为。
需要说明的是,图4仅是以图像采集单元10包括两个摄像机为例进行说明,而在其他实施例中,图像采集单元10还可以包括更多摄像机,对于依次架设的前后两个摄像机采集的监控视频,均可以按照上述对第一监控视频和第二监控视频的处理方式进行处理。
需要说明的是,上述实施例仅是以根据车尾图像的变化来检测车辆是否发生抛洒行为为例,而在另一实施例中,还可以从监控视频中检测出同时出现抛洒物和预设车辆的视频帧,并基于该视频帧对抛洒物进行反向追踪来准确定位发生抛洒行为的车辆。示例的,图像处理单元20用于获取图像采集单元10采集的监控视频,对监控视频进行预设车辆检测和抛洒物检测;若检测到监控视频中的第四视频帧中同时出现预设车辆和抛洒物,则从位于第四视频帧之前的视频帧中确定第一次出现该抛洒物的第五视频帧;从第五视频帧包括的至少一个预设车辆中,确定与抛洒物之间距离最近的预设车辆;将与抛洒物之间距离最近的预设车辆,确定为发生抛洒行为的车辆。
图5是本申请实施例提供的一种抛洒行为检测方法的流程图,该方法应用于上述抛洒行为检测系统中的图像处理单元中,如图5所示,该方法包括如下步骤:
步骤501:获取第一车辆视频,第一车辆视频是指预设车辆的行驶轨迹视频。
其中,预设车辆是指预先设置的容易发生抛洒行为的车辆,示例的,预设车辆可以为货车、拖挂车、面包车或摩托车等。
其中,第一车辆视频是图像采集单元采集的、预设车辆在图像采集单元的监控区域内行驶过程中的视频,示例的,可以为从预设车辆从首次出现在图像采集单元的监控区域到离开图像采集单元的监控区域这段时间内的监控视频。图像采集单元的监控区域可以为车道,或者车道上的某个路段,车道可以为普通公路、高速公路或跌路等。
需要说明的是,第一车辆视频可以从单个摄像机采集的监控视频中获取得到,也可以从多个摄像机的拼接监控视频中获取得到,以下针对这两种情况进行说明:
第一种实现方式:图像采集单元包括第一摄像机,第一摄像机架设在车道上,用于对第一路段的车辆通行状况进行监控。图像采集单元用于获取第一摄像机采集的第一监控视频,基于第一监控视频,则对第一路段上行驶的预设车辆进行跟踪,以确定预设车辆的行驶轨迹,然后,基于预设车辆的行驶轨迹,从第一监控视频中获取第一车辆视频。
另外,在对第一路段上行驶的预设车辆进行跟踪之前,可以先对第一路段上行驶的车辆进行识别,若识别到第一路段上行驶的车辆为预设车辆,再对第一路段上行驶的该预设车辆进行跟踪。作为一个示例,可以通过预设车辆检测算法,对第一路段上行驶的车辆进行识别,以识别行驶的车辆是否为预设车辆。也即是,图像处理单元可以通过预设车辆检测算法对第一监控视频中的车辆进行检测定位,并识别该车辆是否为预设车辆,若是预设车辆,则可以对该预设车辆进行跟踪,以确定该预设车辆的行驶轨迹,进而确定该预设车辆的行驶轨迹视频。
作为一个示例,第一摄像机的视频帧率可以为每秒s帧,也即是,每秒可以采集s帧监控图像,s为大于或等于1的整数。作为一个示例,第一车辆视频可以包括N帧图像,N为大于或等于1的整数。
第二种实现方式:图像采集单元包括多个摄像机,该多个摄像机依次架设在车道上,用于对不同路段的车辆通行情况进行监控。图像处理单元用于获取多个摄像机采集的监控视频,基于这多个摄像机采集的监控视频,对车道上行驶的预设车辆进行跟踪,以确定预设车辆的行驶轨迹,基于该预设车辆的行驶轨迹,对多个摄像机采集的监控视频进行拼接处理,得到第一车辆视频。
另外,在对车道上行驶的预设车辆进行跟踪之前,可以先对车道上行驶的车辆进行识别,若识别到车道上行驶的车辆为预设车辆,再对车道上行驶的该预设车辆进行跟踪。作为一个示例,可以通过预设车辆检测算法,对车道上行驶的车辆进行识别,以识别行驶的车辆是否为预设车辆。
步骤502:从第一车辆视频中确定预设车辆的第一车尾图像和第二车尾图像,第一车尾图像和第二车尾图像是分别从第一视频帧以及位于第一视频帧之后的第二视频帧中确定得到。
其中,第一车尾图像是从第一车辆视频中的第一视频帧中确定得到,第二车尾图像是从第二车辆视频中位于第一视频帧之后的第二视频帧中确定得到。
作为一个示例,可以从第一视频帧提取预设车辆的第一车尾图像,比如,对第一视频帧中预设车辆的车尾所在区域进行裁剪,得到第一车尾图像。相应地,可以从第二视频帧中提取预设车辆的第二车尾图像,比如,对第二视频帧中预设车辆的车尾所在区域进行裁剪,得到第二车尾图像。
其中,第一视频帧可以为第一车辆视频中的任一视频帧,第二视频帧为位于第一视频帧之后的任一视频帧。作为一个示例,第一视频帧和第二视频帧之间相隔t个视频帧,t为0或正整数,t可以预先设置,也可以由图像处理单元默认设置。示例的,第一视频帧为第一车辆视频中的第i个视频帧,第二视频帧为第一车辆视频中的第i+t个视频帧。
作为一个示例,可以依次从第一车辆视频中确定第i个视频帧和第i+t个视频帧,从第i个视频帧中确定预设车辆的第一车尾图像,从第i+t个视频帧中确定预设车辆的第二车尾图像。示例的,可以先令i=1,以从第1个视频帧开始,依次第一车辆视频中确定相隔t个视频帧的两个视频帧,并从这两个视频帧中分别确定第一车尾图像和第二车尾图像。
步骤503:确定第一车尾图像与第二车尾图像之间的相似度。
当车辆发生抛洒行为时,抛洒物一般将会从车辆尾部掉落,因此本申请实施例可以根据车辆的车尾图像的变化,来检测车辆是否发生抛洒行为。
作为一个示例,确定第一车尾图像与第二车尾图像之间的相似度的操作可以包括:对第一车尾图像进行特征提取,得到第一车尾图像特征;对第二车尾图像进行特征提取,得到第二车尾图像特征;确定第一车尾图像特征与第二车尾图像特征之间的特征相似度,将第一车尾图像特征与第二车尾图像特征之间的特征相似度作为第一车尾图像与第二车尾图像之间的相似度。
其中,第一车尾图像特征用于指示第一车尾图像,第二车尾图像特征用于指示第二车尾图像。作为一个示例,车尾图像特征可以为N维特征向量。
作为一个示例,可以通过神经网络模型,对车尾图像进行特征提取。该神经网络模型用于对车尾图像进行特征提取,可以预先基于多个样本车尾图像和对应的车尾图像特征进行训练得到。
作为一个示例,第一视频帧和第二视频帧的车尾图像之间的相似度的计算流程可以如图6所示。
确定得到第一车尾图像与第二车尾图像之间的相似度之后,可以根据两者之间相似度的大小,判断预设车辆是否发生了抛洒行为。
步骤504:若第一车尾图像与第二车尾图像之间的相似度小于第一相似度阈值,则确定预设车辆发生抛洒行为,抛洒行为是指抛洒物品的行为。
其中,该第一相似度阈值可以预先设置,可以由图像处理单元默认设置,也可以由用户设置,比如可以由用户通过数据存储与系统管理单元中的客户端进行设置。
如果第一车尾图像与第二车尾图像之间的相似度小于第一相似度阈值,表示该预设车辆的车尾图像发生了较大变化,这种情况下可以确定该预设车辆发生了抛洒行为。
作为一个示例,在确定预设车辆发生抛洒行为之后,还可以发出报警信息,该报警信息用于指示预设车辆发生抛洒行为。或者,该报警信息还可以指示该预设车辆疑似发生抛洒行为,以指示管理人员进一步进行确认。示例的,发出报警信息方式可以包括指示后台设备显示报警提示信息或发出报警声音等,本申请实施例对发出报警信息的方式不做限定。
作为一个示例,在确定预设车辆发生抛洒行为之后,还可以将第一视频帧和第二视频帧作为证明预设车辆发生抛洒行为的证据。示例的,可以将第一视频帧和第二视频帧发送给数据存储与系统管理单元,由数据存储与系统管理单元进行存储,作为证明预设车辆发生抛洒行为的证据。
在另一实施例中,若第一车尾图像与第二车尾图像之间的相似度大于或等于第一相似度阈值,还可以确定预设车辆未发生抛洒行为。如果第一车尾图像与第二车尾图像之间的相似度大于或等于第一相似度阈值,表示预设车辆的车尾图像未发生较大变化,这种情况下,可以确定预设车辆未发生抛洒行为。
在另一实施例中,若第一车尾图像与第二车尾图像之间的相似度大于或等于第一相似度阈值,还可以继续从位于第二视频帧之后的第三视频帧中确定第三车尾图像,基于第三车尾图像与第二车尾图像之间的相似度,继续判断预设车辆是否发生抛洒行为。
作为一个示例,若第一车尾图像与第二车尾图像之间的相似度大于或等于第一相似度阈值,且第二视频帧与第一车辆视频的最后一个视频帧之间间隔的视频帧数大于或等于预设阈值,则继续从第一车辆视频中确定预设车辆的第三车尾图像,确定第二车尾图像与第三车尾图像之间的相似度,若第二车尾图像与第三车尾图像之间的相似度小于第一相似度阈值,则确定预设车辆发生抛洒行为,第三车尾图像是从位于第二视频帧之后的第三视频帧中确定得到。
示例的,预设阈值可以预先设置,也可以由图像处理单元默认设置。比如,预设阈值可以为第一视频帧与第二视频帧之间间隔的视频帧数,比如t。示例的,第三视频帧与第二视频帧之间间隔的视频帧数等于第一视频帧与第二视频帧之间间隔的视频帧数,比如,第一视频帧为第一车辆视频中的第i个视频帧,第二视频帧为第一车辆视频中的第i+t个视频帧,第三视频帧为第一车辆视频中的i+2t个视频帧。
作为另一示例,若第一车尾图像与第二车尾图像之间的相似度大于或等于第一相似度阈值,且第二视频帧与第一车辆视频的最后一个视频帧之间间隔的视频帧数小于预设阈值,则确定预设车辆未发生抛洒行为。
作为一个示例,本申请实施例提供的抛洒行为检测流程可以如图7所示。
本申请实施例中,可以从预设车辆的行驶轨迹视频中确定预设车辆的第一车尾图像和第二车尾图像,然后确定第一车尾图像与第二车尾图像之间的相似度,当两者的车尾图像的相似度小于第一相似度阈值时,确定该预设车辆发生抛洒行为。也即是,本申请可以根据车辆的车尾图像的变化,来确定车辆是否发生抛洒行为,从而避免了车道场景的干扰,提高了检测抛洒行为的准确率,而且本申请可以准确定位发生抛洒行为的车辆,提高了定位抛洒车辆的准确度。
需要说明的是,车辆也可能在从第一摄像机的监控区域行驶到第二摄像机的监控区域的过程中发生抛洒行为,也即是,车辆抛洒行为可能发生在第一摄像机和第二摄像机的监控盲区中,为了对这种跨摄像机的抛洒行为进行检测,本申请实施例还提供以下另一种抛洒行为检测方法。请参考图8,该方法应用于上述抛洒行为检测系统中的图像处理单元中,该抛洒行为检测系统还包括图像采集单元,该图像采集单元至少包括第一摄像机和第二摄像机,第一摄像机架和第二摄像机依次架设在车道上,第一摄像机用于对第一路段的车辆通行状况进行监控,第二摄像机用于对第二路段的车辆通行状况进行监控,该方法包括如下步骤:
步骤801:获取第一摄像机采集的第一监控视频,基于第一监控视频中最后一次出现预设车辆的视频帧,确定预设车辆的第四车尾图像。
其中,预设车辆是指预先设置的容易发生抛洒行为的车辆,示例的,预设车辆可以为货车、拖挂车、面包车或摩托车等。
其中,最后一次出现预设车辆的视频帧可以通过对第一监控视频进行预设车辆检测,以检测第一监控视频中是否出现预设车辆,并在出现预设车辆时,对预设车辆进行跟踪得到。
作为一个示例,可以从最后一次出现预设车辆的视频帧中提取预设车辆的第四车尾图像,比如,对最后一次出现预设车辆的视频帧中预设车辆的车尾所在区域进行裁剪,得到第四车尾图像。
步骤802:获取第二摄像机采集的第二监控视频,基于第二监控视频中第一次出现预设车辆的视频帧,确定预设车辆的第五车尾图像。
其中,第一摄像机和第二摄像机可以按照车辆通行方向依次架设,则预设车辆在向前行驶的过程中,将先经过第一摄像机的监控区域,再经过第二摄像机的监控区域。因此,在从第一监控视频中识别到最后一次出现预设车辆的视频帧之后,可以继续从第二监控视频中识别第一次出现该预设车辆的视频帧。
作为一个示例,可以基于预设车辆的车牌标识,从第二监控视频中识别到第一次出现预设车辆的视频帧。该车牌标识用于唯一标识该预设车辆,示例的,可以为该预设车辆的车牌号。
也即是,可以从第二监控视频中识别出具有该车牌标识车辆,将具有该车牌标识车辆确定为该预设车辆,将第二监控视频中首次检测到该预设车辆的视频帧作为第一次出现该预设车辆的视频帧。
作为一个示例,可以从第一次出现该预设车辆的视频帧中提取预设车辆的第五车尾图像,比如,对第一次出现预设车辆的视频帧中预设车辆的车尾所在区域进行裁剪,得到第五车尾图像。
步骤803:确定第四车尾图像与第五车尾图像之间的相似度。
作为一个示例,确定第三车尾图像与第四车尾图像之间的相似度的操作可以包括:对第四车尾图像进行特征提取,得到第四车尾图像特征;对第五车尾图像进行特征提取,得到第五车尾图像特征;确定第四车尾图像特征与第五车尾图像特征之间的特征相似度,将该特征相似度作为第三车尾图像与第四车尾图像之间的相似度。
其中,第四车尾图像特征用于指示第四车尾图像,第五车尾图像特征用于指示第五车尾图像。作为一个示例,车尾图像特征可以为N维特征向量。
作为一个示例,可以通过神经网络模型,对车尾图像进行特征提取。该神经网络模型用于对车尾图像进行特征提取,可以预先基于多个样本车尾图像和对应的车尾图像特征进行训练得到。
确定得到第四车尾图像与第五车尾图像之间的相似度之后,可以根据该相似度的大小,判断该预设车辆是否发生了抛洒行为。
步骤804:若第四车尾图像与第五车尾图像之间的相似度小于第二相似度阈值,则确定预设车辆发生抛洒行为。
其中,该第二相似度阈值可以预先设置,可以由图像处理单元默认设置,也可以由用户设置,比如可以由用户通过数据存储与系统管理单元中的客户端进行设置。而且,第二相似度阈值与上述第一相似度阈值可以相同,也可以不同,本申请实施例对此不做限定。
如果第四车尾图像与第五车尾图像之间的相似度小于第二相似度阈值,表示该预设车辆的车尾图像发生了较大变化,这种情况下,可以确定该预设车辆发生了抛洒行为,即该预设车辆在第一摄像机和第二摄像机的监控盲区发生了抛洒行为。
在另一实施例中,若第四车尾图像与第五车尾图像之间的相似度大于或等于第二相似度阈值,则可以确定该预设车辆在第一摄像机和第二摄像机的监控盲区未发生抛洒行为。
作为一个示例,在确定预设车辆发生抛洒行为之后,还可以发出报警信息,该报警信息用于指示预设车辆发生抛洒行为。或者,该报警信息还可以指示该预设车辆疑似发生抛洒行为,以指示管理人员进一步进行确认。示例的,发出报警信息方式可以包括指示后台设备显示报警提示信息或发出报警声音等,本申请实施例对发出报警信息的方式不做限定。
作为一个示例,在确定预设车辆发生抛洒行为之后,还可以将第一监控视频中最后一次出现预设车辆的视频帧,以及第二监控视频中第一次出现预设车辆的视频帧作为证明预设车辆发生抛洒行为的证据。示例的,可以将这两个视频帧发送给数据存储与系统管理单元,由数据存储与系统管理单元进行存储,作为证明预设车辆发生抛洒行为的证据。
作为一个示例,图像采集单元可以包括按照车辆通行方向依次架设的N个摄像机,并可以将这N个摄像机从1到N顺序编号,对于第j个摄像机和第j+1个摄像机的监控区域之间的抛洒行为,均可以按照上述针对第一摄像机和第二摄像机的检测方式进行检测。作为一个示例,第j个摄像机和第j+1个摄像机的监控区域之间的抛洒行为的检测流程可以如图9所示。
本申请实施例中,通过从第一摄像机的第一监控视频中确定最后一次出现预设车辆的视频帧,从第二摄像机的第二监控视频确定第一次出现预设车辆的视频帧,然后确定这两个视频帧中预设车辆的车尾图像之间的相似度,根据车尾图像之间的相似度检测该预设车辆是否发生了抛洒行为,可以对两个摄像机的监控盲区发生的抛洒行为进行检测,避免了对抛洒行为的遗漏,提高了检测抛洒行为的准确率。
需要说明的是,车辆发生抛洒行为一般会出现两种情况:第一种情况是抛洒物从车辆的车尾部掉落,这种情况下,车辆的尾部图像将发生变化;第二种情况是抛洒物掉落过程中,车辆的尾部图像基本不变,比如抛洒物从车窗等部位掉落情况。图5和图8实施例提供的方法针对的是第一种情况下发生的抛洒行为,而对于第二种情况下发生抛洒行为,则可以通过以下图10实施例提供的方法进行检测。
图10是本申请实施例提供的又一种抛洒行为检测方法的流程图,该方法应用于上述抛洒行为检测系统中的图像处理单元中,如图10所示,该方法包括如下步骤:
步骤1001:获取待检测的监控视频。
其中,监控视频是图像采集单元采集的其监控区域内的监控视频。作为一个示例,图像处理单元可以获取第一摄像机采集的第一监控视频作为待检测的监控视频,也可以获取多个摄像机采集的监控视频作为待检测的监控视频。
步骤1002:对监控视频进行预设车辆检测和抛洒物检测。
其中,对监控视频进行预设车辆检测,用于检测监控视频中的车辆是否为预设车辆,对监控视频进行抛洒物检测,用于检测监控视频中是否出现了抛洒物。
作为一个示例,可以对监控视频中的每个视频帧进行预设车辆检测,以检测每个视频帧中的车辆是否为预设车辆,以及对每个视频帧进行抛洒物检测,以检测每个视频帧中是否出现了抛洒物。
其中,该抛洒物可以为货物、石头、废弃轮胎、废弃纸箱或遮挡物等可能被从车辆抛洒至车辆外的物品,遮挡物可以为遮雨布、遮物布或物品围栏等。
步骤1003:若检测到监控视频中的第四视频帧中同时出现预设车辆和抛洒物,则从位于第四视频帧之前的视频帧中确定第一次出现抛洒物的第五视频帧。
也即是,若从监控视频中检测到同时出现了预设车辆和抛洒物的第四视频帧,则可以从第四视频帧开始,反向查询发生抛洒行为的车辆,即抛洒了该抛洒物的车辆。当反向查询到抛洒物第一次出现时,将抛洒物第一次出现的视频帧作为第五视频帧。
步骤1004:从第五视频帧包括的至少一个预设车辆中,确定与抛洒物之间的距离最近的预设车辆。
步骤1005:将与抛洒物之间的距离最近的预设车辆,确定为发生抛洒行为的车辆。
也即是,若反向查找到抛洒物第一次出现时,则查找离该抛洒物最近的预设车辆,离该抛洒物最近的预设车辆就有可能是抛洒了该抛洒物的车辆。
作为另一示例,确定与抛洒物之间的距离最近的预设车辆之后,还可以确定抛洒物与该预设车辆之间的距离,若两者的距离小于或等于距离阈值,则确定该预设车辆发生抛洒行为,即确定该预设车辆为抛洒该抛洒物的车辆。若两者的距离大于距离阈值,则确定该预设车辆未发生抛洒行为。
本申请实施例中,通过对监控视频进行预设车辆检测和抛洒物检测,若从监控视频中检测到同时出现预设车辆和抛洒物的第四视频帧,则从第四视频帧之前的视频帧确定第一次出现该抛洒物的第五视频帧,从第五视频帧中确定与该抛洒物之间的距离最近的预设车辆,将与该抛洒物之间的距离最近的预设车辆确定为发生抛洒行为的车辆,如此,可以对车尾图像未发生变化的抛洒行为进行检测,避免了对抛洒行为的遗漏,提高了检测抛洒行为的准确率,而且可以对发生抛洒行为的车辆进行准确定位。
图11是本申请实施例提供的一种抛洒行为检测装置的框图,如图11所示,该装置包括第一获取模块1101,第一确定模块1102,第二确定模块1103和第三确定模块1104。
第一获取模块1101,用于获取第一车辆视频,所述第一车辆视频是指预设车辆的行驶轨迹视频;
第一确定模块1102,用于从所述第一车辆视频中确定所述预设车辆的第一车尾图像和第二车尾图像,所述第一车尾图像和所述第二车尾图像是分别从第一视频帧以及位于所述第一视频帧之后的第二视频帧中确定得到;
第二确定模块1103,用于确定第一车尾图像与第二车尾图像之间的相似度;
第三确定模块1104,用于若所述第一车尾图像与所述第二车尾图像之间的相似度小于第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述抛洒行为是指抛洒物品的行为。
可选地,所述第一获取模块1101用于:
获取第一摄像机采集的第一监控视频,所述第一摄像机架设在车道上,用于对第一路段的车辆通行状况进行监控;
基于所述第一监控视频,对所述第一路段上行驶的所述预设车辆进行跟踪,以确定所述预设车辆的行驶轨迹;
基于所述预设车辆的行驶轨迹,从所述第一监控视频中获取所述第一车辆视频。
可选地,所述第一获取模块1101用于:
获取多个摄像机采集的监控视频,所述多个摄像机依次架设在车道上,用于对不用路段的车辆通行情况进行监控;
基于所述多个摄像机采集的监控视频,对所述车道上行驶的所述预设车辆进行跟踪,以确定所述预设车辆的行驶轨迹;
基于所述预设车辆的行驶轨迹,对所述多个摄像机采集的监控视频进行拼接处理,得到所述第一车辆视频。
可选地,所述第二确定模块1102用于:
对所述第一车尾图像进行特征提取,得到第一车尾图像特征;
对所述第二车尾图像进行特征提取,得到第二车尾图像特征;
确定所述第一车尾图像特征与所述第二车尾图像特征之间的特征相似度,将所述特征相似度作为所述第一车尾图像与第二车尾图像之间的相似度。
可选地,所述装置还包括:
循环模块,用于若所述第一车尾图像与所述第二车尾图像之间的相似度大于或等于所述第一相似度阈值,且所述第二视频帧与所述第一车辆视频的最后一个视频帧之间间隔的视频帧数大于或等于预设阈值,则继续从所述第一车辆视频中确定所述预设车辆的第三车尾图像,确定所述第二车尾图像与所述第三车尾图像之间的相似度,若所述第二车尾图像与所述第三车尾图像之间的相似度小于所述第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述第三车尾图像是从位于所述第二视频帧之后的第三视频帧中确定得到;
第四确定模块,用于若所述第一车尾图像与所述第二车尾图像之间的相似度大于或等于所述第一相似度阈值,且所述第二视频帧与所述第一车辆视频的最后一个视频帧之间间隔的视频帧数小于所述预设阈值,则确定所述预设车辆未发生抛洒行为。
可选地,第一摄像机架和第二摄像机依次架设在车道上,所述第一摄像机用于对第一路段的车辆通行状况进行监控,所述第二摄像机用于对第二路段的车辆通行状况进行监控,所述装置还包括:
第二获取模块,用于获取所述第一摄像机采集的第一监控视频,基于所述第一监控视频中最后一次出现所述预设车辆的视频帧,确定所述预设车辆的第四车尾图像;
第三获取模块,用于获取所述第二摄像机采集的第二监控视频,基于所述第二监控视频中第一次出现所述预设车辆的视频帧,确定所述预设车辆的第五车尾图像;
第五确定模块,用于确定所述第四车尾图像与所述第五车尾图像之间的相似度;
第六确定模块,用于若所述第四车尾图像与所述第五车尾图像之间的相似度小于第二相似度阈值,则确定所述预设车辆发生抛洒行为。
可选地,所述装置还包括:
第七确定模块,用于基于所述预设车辆的车牌标识,从所述第二监控视频中确定第一次出现所述预设车辆的视频帧。
本申请实施例中,可以从预设车辆的行驶轨迹视频中确定预设车辆的第一车尾图像和第二车尾图像,然后确定第一车尾图像与第二车尾图像之间的相似度,当两者的车尾图像的相似度小于第一相似度阈值时,确定该预设车辆发生抛洒行为。也即是,本申请可以根据车辆的车尾图像的变化,来确定车辆是否发生抛洒行为,从而避免了车道场景的干扰,提高了检测抛洒行为的准确率,而且本申请可以准确定位发生抛洒行为的车辆,提高了定位抛洒车辆的准确度。
另外,通过从第一摄像机的第一监控视频中确定最后一次出现预设车辆的视频帧,从第二摄像机的第二监控视频确定第一次出现预设车辆的视频帧,然后确定这两个视频帧中预设车辆的车尾图像之间的相似度,根据车尾图像之间的相似度检测该预设车辆是否发生了抛洒行为,可以对两个摄像机的监控盲区发生的抛洒行为进行检测,避免了对抛洒行为的遗漏,进一步提高了检测抛洒行为的准确率。
图12是本申请实施例提供的另一种抛洒行为检测装置的框图,如图12所示,该装置包括获取模块1201,检测模块1202、第一确定模块120/3,第二确定模块1204和第三确定模块1205。
获取模块1201,用于获取待检测的监控视频;
检测模块1202,用于对所述监控视频进行预设车辆检测和抛洒物检测;
第一确定模块1203,用于若检测到所述监控视频中的第四视频帧中同时出现所述预设车辆和抛洒物,则从位于所述第四视频帧之前的视频帧中确定第一次出现所述抛洒物的第五视频帧;
第二确定模块1204,用于从所述第五视频帧包括的至少一个所述预设车辆中,确定与所述抛洒物之间距离最近的所述预设车辆;
第三确定模块1205,用于将与所述抛洒物之间距离最近的所述预设车辆,确定为发生抛洒行为的车辆。
本申请实施例中,通过对监控视频进行预设车辆检测和抛洒物检测,若从监控视频中检测到同时出现预设车辆和抛洒物的第四视频帧,则从第四视频帧之前的视频帧确定第一次出现该抛洒物的第五视频帧,从第五视频帧中确定与该抛洒物之间的距离最近的预设车辆,将与该抛洒物之间的距离最近的预设车辆确定为发生抛洒行为的车辆,如此,可以对车尾图像未发生变化的抛洒行为进行检测,避免了对抛洒行为的遗漏,提高了检测抛洒行为的准确率,而且可以对发生抛洒行为的车辆进行准确定位。
需要说明的是:上述实施例提供的抛洒行为检测装置在检测车辆的抛洒行为时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的抛洒行为检测装置与抛洒行为检测方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
图13是本申请实施例提供的一种抛洒行为检测装置1300的结构示意图,该抛洒行为检测装置1300可因配置或性能不同而产生比较大的差异,可以包括一个或一个以上处理器(central processing units,CPU)1301和一个或一个以上的存储器1302,其中,所述存储器1302中存储有至少一条指令,所述至少一条指令由所述处理器1301加载并执行以实现上述各个方法实施例提供的抛洒行为检测方法。当然,该抛洒行为检测装置1300还可以具有有线或无线网络接口、键盘以及输入输出接口等部件,以便进行输入输出,该抛洒行为检测装置1300还可以包括其他用于实现设备功能的部件,在此不做赘述。示例的,该抛洒行为检测装置可以为上述图像处理单元20,或者为图像处理单元20中的一个或多个服务器。
在另一实施例中,还提供了一种非临时性计算机可读存储介质,所述非临时性计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现上述任一种抛洒行为检测方法的步骤。
在另一实施例中,还提供了一种计算机程序产品,当该计算机程序产品被执行时,其用于实现上述抛洒行为检测方法。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成,也可以通过程序来指令相关的硬件完成,所述的程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上所述仅为本申请的较佳实施例,并不用以限制本申请,凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

Claims (20)

1.一种抛洒行为检测方法,其特征在于,所述方法包括:
获取第一车辆视频,所述第一车辆视频是指预设车辆的行驶轨迹视频;
从所述第一车辆视频中确定所述预设车辆的第一车尾图像和第二车尾图像,所述第一车尾图像和所述第二车尾图像是分别从第一视频帧以及位于所述第一视频帧之后的第二视频帧中确定得到;
确定第一车尾图像与第二车尾图像之间的相似度;
若所述第一车尾图像与所述第二车尾图像之间的相似度小于第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述抛洒行为是指抛洒物品的行为。
2.如权利要求1所述的方法,其特征在于,所述获取第一车辆视频,包括:
获取第一摄像机采集的第一监控视频,所述第一摄像机架设在车道上,用于对第一路段的车辆通行状况进行监控;
基于所述第一监控视频,对所述第一路段上行驶的所述预设车辆进行跟踪,以确定所述预设车辆的行驶轨迹;
基于所述预设车辆的行驶轨迹,从所述第一监控视频中获取所述第一车辆视频。
3.如权利要求1所述的方法,其特征在于,所述获取第一车辆视频,包括:
获取多个摄像机采集的监控视频,所述多个摄像机依次架设在车道上,用于对不用路段的车辆通行情况进行监控;
基于所述多个摄像机采集的监控视频,对所述车道上行驶的所述预设车辆进行跟踪,以确定所述预设车辆的行驶轨迹;
基于所述预设车辆的行驶轨迹,对所述多个摄像机采集的监控视频进行拼接处理,得到所述第一车辆视频。
4.如权利要求1所述的方法,其特征在于,所述确定第一车尾图像与第二车尾图像之间的相似度,包括:
对所述第一车尾图像进行特征提取,得到第一车尾图像特征;
对所述第二车尾图像进行特征提取,得到第二车尾图像特征;
确定所述第一车尾图像特征与所述第二车尾图像特征之间的特征相似度,将所述特征相似度作为所述第一车尾图像与第二车尾图像之间的相似度。
5.如权利要求1所述的方法,其特征在于,所述确定第一车尾图像与第二车尾图像之间的相似度之后,还包括:
若所述第一车尾图像与所述第二车尾图像之间的相似度大于或等于所述第一相似度阈值,且所述第二视频帧与所述第一车辆视频的最后一个视频帧之间间隔的视频帧数大于或等于预设阈值,则继续从所述第一车辆视频中确定所述预设车辆的第三车尾图像,确定所述第二车尾图像与所述第三车尾图像之间的相似度,若所述第二车尾图像与所述第三车尾图像之间的相似度小于所述第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述第三车尾图像是从位于所述第二视频帧之后的第三视频帧中确定得到;
若所述第一车尾图像与所述第二车尾图像之间的相似度大于或等于所述第一相似度阈值,且所述第二视频帧与所述第一车辆视频的最后一个视频帧之间间隔的视频帧数小于所述预设阈值,则确定所述预设车辆未发生抛洒行为。
6.如权利要求1-5任一所述的方法,其特征在于,第一摄像机架和第二摄像机依次架设在车道上,所述第一摄像机用于对第一路段的车辆通行状况进行监控,所述第二摄像机用于对第二路段的车辆通行状况进行监控,所述方法还包括:
获取所述第一摄像机采集的第一监控视频,基于所述第一监控视频中最后一次出现所述预设车辆的视频帧,确定所述预设车辆的第四车尾图像;
获取所述第二摄像机采集的第二监控视频,基于所述第二监控视频中第一次出现所述预设车辆的视频帧,确定所述预设车辆的第五车尾图像;
确定所述第四车尾图像与所述第五车尾图像之间的相似度;
若所述第四车尾图像与所述第五车尾图像之间的相似度小于第二相似度阈值,则确定所述预设车辆发生抛洒行为。
7.如权利要求6所述的方法,其特征在于,所述基于所述第二监控视频中第一次出现所述预设车辆的视频帧,确定所述预设车辆的第五车尾图像之前,还包括:
基于所述预设车辆的车牌标识,从所述第二监控视频中确定第一次出现所述预设车辆的视频帧。
8.一种抛洒行为检测方法,其特征在于,所述方法包括:
获取待检测的监控视频;
对所述监控视频进行预设车辆检测和抛洒物检测;
若检测到所述监控视频中的第四视频帧中同时出现所述预设车辆和抛洒物,则从位于所述第四视频帧之前的视频帧中确定第一次出现所述抛洒物的第五视频帧;
从所述第五视频帧包括的至少一个所述预设车辆中,确定与所述抛洒物之间距离最近的所述预设车辆;
将与所述抛洒物之间距离最近的所述预设车辆,确定为发生抛洒行为的车辆。
9.一种抛洒行为检测装置,其特征在于,所述装置包括:
第一获取模块,用于获取第一车辆视频,所述第一车辆视频是指预设车辆的行驶轨迹视频;
第一确定模块,用于从所述第一车辆视频中确定所述预设车辆的第一车尾图像和第二车尾图像,所述第一车尾图像和所述第二车尾图像是分别从第一视频帧以及位于所述第一视频帧之后的第二视频帧中确定得到;
第二确定模块,用于确定第一车尾图像与第二车尾图像之间的相似度;
第三确定模块,用于若所述第一车尾图像与所述第二车尾图像之间的相似度小于第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述抛洒行为是指抛洒物品的行为。
10.如权利要求9所述的装置,其特征在于,所述第一获取模块用于:
获取第一摄像机采集的第一监控视频,所述第一摄像机架设在车道上,用于对第一路段的车辆通行状况进行监控;
基于所述第一监控视频,对所述第一路段上行驶的所述预设车辆进行跟踪,以确定所述预设车辆的行驶轨迹;
基于所述预设车辆的行驶轨迹,从所述第一监控视频中获取所述第一车辆视频。
11.如权利要求9所述的装置,其特征在于,所述第一获取模块用于:
获取多个摄像机采集的监控视频,所述多个摄像机依次架设在车道上,用于对不用路段的车辆通行情况进行监控;
基于所述多个摄像机采集的监控视频,对所述车道上行驶的所述预设车辆进行跟踪,以确定所述预设车辆的行驶轨迹;
基于所述预设车辆的行驶轨迹,对所述多个摄像机采集的监控视频进行拼接处理,得到所述第一车辆视频。
12.如权利要求9所述的装置,其特征在于,所述第二确定模块用于:
对所述第一车尾图像进行特征提取,得到第一车尾图像特征;
对所述第二车尾图像进行特征提取,得到第二车尾图像特征;
确定所述第一车尾图像特征与所述第二车尾图像特征之间的特征相似度,将所述特征相似度作为所述第一车尾图像与第二车尾图像之间的相似度。
13.如权利要求9所述的装置,其特征在于,所述装置还包括:
循环模块,用于若所述第一车尾图像与所述第二车尾图像之间的相似度大于或等于所述第一相似度阈值,且所述第二视频帧与所述第一车辆视频的最后一个视频帧之间间隔的视频帧数大于或等于预设阈值,则继续从所述第一车辆视频中确定所述预设车辆的第三车尾图像,确定所述第二车尾图像与所述第三车尾图像之间的相似度,若所述第二车尾图像与所述第三车尾图像之间的相似度小于所述第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述第三车尾图像是从位于所述第二视频帧之后的第三视频帧中确定得到;
第四确定模块,用于若所述第一车尾图像与所述第二车尾图像之间的相似度大于或等于所述第一相似度阈值,且所述第二视频帧与所述第一车辆视频的最后一个视频帧之间间隔的视频帧数小于所述预设阈值,则确定所述预设车辆未发生抛洒行为。
14.如权利要求9-13任一所述的装置,其特征在于,第一摄像机架和第二摄像机依次架设在车道上,所述第一摄像机用于对第一路段的车辆通行状况进行监控,所述第二摄像机用于对第二路段的车辆通行状况进行监控,所述装置还包括:
第二获取模块,用于获取所述第一摄像机采集的第一监控视频,基于所述第一监控视频中最后一次出现所述预设车辆的视频帧,确定所述预设车辆的第四车尾图像;
第三获取模块,用于获取所述第二摄像机采集的第二监控视频,基于所述第二监控视频中第一次出现所述预设车辆的视频帧,确定所述预设车辆的第五车尾图像;
第五确定模块,用于确定所述第四车尾图像与所述第五车尾图像之间的相似度;
第六确定模块,用于若所述第四车尾图像与所述第五车尾图像之间的相似度小于第二相似度阈值,则确定所述预设车辆发生抛洒行为。
15.如权利要求14所述的装置,其特征在于,所述装置还包括:
第七确定模块,用于基于所述预设车辆的车牌标识,从所述第二监控视频中确定第一次出现所述预设车辆的视频帧。
16.一种抛洒行为检测装置,其特征在于,所述装置包括:
获取模块,用于获取待检测的监控视频;
检测模块,用于对所述监控视频进行预设车辆检测和抛洒物检测;
第一确定模块,用于若检测到所述监控视频中的第四视频帧中同时出现所述预设车辆和抛洒物,则从位于所述第四视频帧之前的视频帧中确定第一次出现所述抛洒物的第五视频帧;
第二确定模块,用于从所述第五视频帧包括的至少一个所述预设车辆中,确定与所述抛洒物之间距离最近的所述预设车辆;
第三确定模块,用于将与所述抛洒物之间距离最近的所述预设车辆,确定为发生抛洒行为的车辆。
17.一种抛洒行为检测系统,其特征在于,所述系统包括图像采集单元和图像处理单元;
所述图像采集单元用于对道路的车辆通行状况进行监控;
所述图像处理单元用于基于所述图像采集单元采集的监控视频,获取第一车辆视频,所述第一车辆视频是指预设车辆的行驶轨迹视频;从所述第一车辆视频中确定所述预设车辆的第一车尾图像和第二车尾图像,所述第一车尾图像和所述第二车尾图像是分别从第一视频帧以及位于所述第一视频帧之后的第二视频帧中确定得到;确定第一车尾图像与第二车尾图像之间的相似度;若所述第一车尾图像与所述第二车尾图像之间的相似度小于第一相似度阈值,则确定所述预设车辆发生抛洒行为,所述抛洒行为是指抛洒物品的行为。
18.一种抛洒行为检测系统,其特征在于,所述系统包括图像采集单元和图像处理单元;
所述图像采集单元至少包括依次架设在车道上的第一摄像机和第二摄像机,所述第一摄像机用于对第一路段的车辆通行状况进行监控,所述第二摄像机用于对第二路段的车辆通行状况进行监控;
所述图像处理单元用于获取所述第一摄像机采集的第一监控视频,基于所述第一监控视频中最后一次出现所述预设车辆的视频帧,确定所述预设车辆的第四车尾图像;获取所述第二摄像机采集的第二监控视频,基于所述第二监控视频中第一次出现所述预设车辆的视频帧,确定所述预设车辆的第五车尾图像;确定所述第四车尾图像与所述第五车尾图像之间的相似度;若所述第四车尾图像与所述第五车尾图像之间的相似度小于第二相似度阈值,则确定所述预设车辆发生抛洒行为。
19.一种抛洒行为检测系统,其特征在于,所述系统包括图像采集单元和图像处理单元;
所述图像采集单元用于对道路的车辆通行状况进行监控;
所述图像处理单元用于获取所述图像采集单元采集的监控视频,对所述监控视频进行预设车辆检测和抛洒物检测;若检测到所述监控视频中的第四视频帧中同时出现所述预设车辆和抛洒物,则从位于所述第四视频帧之前的视频帧中确定第一次出现所述抛洒物的第五视频帧;从所述第五视频帧包括的至少一个所述预设车辆中,确定与所述抛洒物之间距离最近的所述预设车辆;将与所述抛洒物之间距离最近的所述预设车辆,确定为发生抛洒行为的车辆。
20.一种非临时性计算机可读存储介质,所述非临时性计算机可读存储介质上存储有指令,其特征在于,所述指令被处理器执行时实现权利要求1-8所述的任一项抛洒行为检测方法的步骤。
CN201910854454.8A 2019-09-10 2019-09-10 抛洒行为检测方法、装置及存储介质 Pending CN112560546A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910854454.8A CN112560546A (zh) 2019-09-10 2019-09-10 抛洒行为检测方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910854454.8A CN112560546A (zh) 2019-09-10 2019-09-10 抛洒行为检测方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN112560546A true CN112560546A (zh) 2021-03-26

Family

ID=75028853

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910854454.8A Pending CN112560546A (zh) 2019-09-10 2019-09-10 抛洒行为检测方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN112560546A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191270A (zh) * 2021-04-30 2021-07-30 北京市商汤科技开发有限公司 抛洒事件检测方法、装置、电子设备及存储介质
CN113221724A (zh) * 2021-05-08 2021-08-06 杭州鸿泉物联网技术股份有限公司 车辆抛洒物检测方法及系统
CN115601711A (zh) * 2022-12-13 2023-01-13 成都合能创越软件有限公司(Cn) 一种基于yolov5+deepsort的渣土车抛洒滴漏检测报警方法及系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080166050A1 (en) * 2007-01-10 2008-07-10 Chia-Hung Yeh Methods and systems for identifying events for a vehicle
CN201315654Y (zh) * 2008-08-25 2009-09-23 云南正卓信息技术有限公司 监狱专用SkyEyesTM智能监控系统
CN106297278A (zh) * 2015-05-18 2017-01-04 杭州海康威视数字技术股份有限公司 一种用于查询抛洒物车辆的方法和系统
CN205961321U (zh) * 2016-08-13 2017-02-15 深圳市南油储运有限公司 一种货物配送监控系统
CN107346415A (zh) * 2017-06-08 2017-11-14 小草数语(北京)科技有限公司 视频图像处理方法、装置及监控设备
CN108875839A (zh) * 2018-06-28 2018-11-23 深圳市元征科技股份有限公司 一种车辆内遗落物品提醒方法、系统及设备和存储介质
CN109886219A (zh) * 2019-02-26 2019-06-14 中兴飞流信息科技有限公司 抛洒物检测方法、装置及计算机可读存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080166050A1 (en) * 2007-01-10 2008-07-10 Chia-Hung Yeh Methods and systems for identifying events for a vehicle
CN201315654Y (zh) * 2008-08-25 2009-09-23 云南正卓信息技术有限公司 监狱专用SkyEyesTM智能监控系统
CN106297278A (zh) * 2015-05-18 2017-01-04 杭州海康威视数字技术股份有限公司 一种用于查询抛洒物车辆的方法和系统
CN205961321U (zh) * 2016-08-13 2017-02-15 深圳市南油储运有限公司 一种货物配送监控系统
CN107346415A (zh) * 2017-06-08 2017-11-14 小草数语(北京)科技有限公司 视频图像处理方法、装置及监控设备
CN108875839A (zh) * 2018-06-28 2018-11-23 深圳市元征科技股份有限公司 一种车辆内遗落物品提醒方法、系统及设备和存储介质
CN109886219A (zh) * 2019-02-26 2019-06-14 中兴飞流信息科技有限公司 抛洒物检测方法、装置及计算机可读存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191270A (zh) * 2021-04-30 2021-07-30 北京市商汤科技开发有限公司 抛洒事件检测方法、装置、电子设备及存储介质
CN113191270B (zh) * 2021-04-30 2022-11-11 北京市商汤科技开发有限公司 抛洒事件检测方法、装置、电子设备及存储介质
CN113221724A (zh) * 2021-05-08 2021-08-06 杭州鸿泉物联网技术股份有限公司 车辆抛洒物检测方法及系统
CN113221724B (zh) * 2021-05-08 2022-11-04 杭州鸿泉物联网技术股份有限公司 车辆抛洒物检测方法及系统
CN115601711A (zh) * 2022-12-13 2023-01-13 成都合能创越软件有限公司(Cn) 一种基于yolov5+deepsort的渣土车抛洒滴漏检测报警方法及系统

Similar Documents

Publication Publication Date Title
CN109887281B (zh) 一种监控交通事件的方法及系统
CN106297278B (zh) 一种用于查询抛洒物车辆的方法和系统
US11380105B2 (en) Identification and classification of traffic conflicts
US20130265423A1 (en) Video-based detector and notifier for short-term parking violation enforcement
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
CN111800507A (zh) 一种交通监控方法及交通监控系统
CN112560546A (zh) 抛洒行为检测方法、装置及存储介质
CN110298300B (zh) 一种检测车辆违章压线的方法
CN102073851A (zh) 一种城市交通事故自动识别方法和系统
CN103226891B (zh) 一种基于视频的车辆碰撞事故检测方法及系统
KR20100119476A (ko) 연속류도로 사고 및 돌발 자동판별 검지시스템 및 그 방법
CN104282154A (zh) 一种车辆超载监控系统及方法
CN104809887A (zh) 一种高速公路上车辆逆行检测方法与自动报警装置
CN108932849B (zh) 一种记录多台机动车低速行驶违法行为的方法及装置
Ghahremannezhad et al. Real-time accident detection in traffic surveillance using deep learning
CN112241974A (zh) 交通事故检测方法及处理方法、系统、存储介质
CN114781479A (zh) 交通事件检测方法及装置
CN109643488A (zh) 交通异常事件检测装置及方法
CN114648748A (zh) 一种基于深度学习的机动车违停智能识别方法及系统
CN110390288B (zh) 基于计算机视觉的目标智能搜索、定位和跟踪系统及方法
CN102244769B (zh) 物件及其关键人监控系统与方法
CN113221724B (zh) 车辆抛洒物检测方法及系统
CN112349087A (zh) 一种基于路口信息全息感知的可视化数据输入方法
US20200394802A1 (en) Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool
CN110706115A (zh) 交通事故快速理赔方法、系统以及一种服务器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination