CN111274982B - 抛洒物的识别方法、装置及存储介质 - Google Patents

抛洒物的识别方法、装置及存储介质 Download PDF

Info

Publication number
CN111274982B
CN111274982B CN202010079986.1A CN202010079986A CN111274982B CN 111274982 B CN111274982 B CN 111274982B CN 202010079986 A CN202010079986 A CN 202010079986A CN 111274982 B CN111274982 B CN 111274982B
Authority
CN
China
Prior art keywords
projectile
suspected
detection
dynamic
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010079986.1A
Other languages
English (en)
Other versions
CN111274982A (zh
Inventor
应铭朗
陆振善
兰天富
李伟
马科学
李浙伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010079986.1A priority Critical patent/CN111274982B/zh
Publication of CN111274982A publication Critical patent/CN111274982A/zh
Application granted granted Critical
Publication of CN111274982B publication Critical patent/CN111274982B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/41Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]

Abstract

本发明提供了一种抛洒物的识别方法、装置及存储介质。该方法包括:基于视频图像确定位于抛洒物检测区域内的动检目标,其中,所述抛洒物检测区域是根据所述视频图像中车辆的运动轨迹确定的;对所述动检目标进行过滤,得到疑似抛洒物;基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物。通过本发明,解决了如何快速准确地检测到隧道/公路上的抛洒物的问题,进而达到了能够快速准确地检测到隧道/公路上的抛洒物的效果。

Description

抛洒物的识别方法、装置及存储介质
技术领域
本发明涉及图像检测技术领域,具体而言,涉及一种抛洒物的识别方法、装置及存储介质。
背景技术
随着我国经济的发展,交通运输行业日益发达,使得交通问题日益严峻,交通事故的频繁发生引起了国家和人民的深切关注,尤其在隧道、公路上,车流量大、车速较快,有时会有物体从车辆掉落,进而造成车祸。
抛洒物事件已经成为一个频发的交通事件,不仅一次事故影响的车辆多,还会造成二次事故,严重危害人们的生命财产安全,有时会造成无法预估的损失,由此引起的交通事故和造成的安全隐患已经成为急需解决的问题。
因此,如何快速准确地检测到隧道/公路上的抛洒物成为交通安防领域重要的问题。
发明内容
本发明实施例提供了一种抛洒物的识别方法、装置及存储介质,以至少解决相关技术中如何快速准确地检测到隧道/公路上的抛洒物的问题。
根据本发明的一个实施例,提供了一种抛洒物的识别方法,包括:基于视频图像确定位于抛洒物检测区域内的动检目标,其中,所述抛洒物检测区域是根据所述视频图像中车辆的运动轨迹确定的;对所述动检目标进行过滤,得到疑似抛洒物;基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物。
在至少一个示例性实施例中,所述方法还包括:在确定所述疑似抛洒物为抛洒物的情况下,基于所述抛洒物识别模型确定所述抛洒物的类型;根据所述抛洒物的类型以及所述视频图像中的所述车辆的类型,将所述抛洒物与对应的车辆进行关联。
在至少一个示例性实施例中,所述方法还包括:在所述抛洒物与对应的车辆关联成功的情况下,上报告警信息,其中,所述告警信息携带以下至少之一:用于表示识别到抛洒物的指示、所述抛洒物的类型、所述抛洒物与对应的车辆的关联关系。
在至少一个示例性实施例中,所述抛洒物识别模型包括以下之一:通过深度学习基于样本抛洒物的特征建立的抛洒物正向识别模型;通过深度学习基于样本非抛洒物的特征建立的抛洒物反向识别模型;通过深度学习基于样本抛洒物的特征和样本非抛洒物的特征建立的抛洒物双向识别模型。
在至少一个示例性实施例中,基于所述视频图像确定位于所述抛洒物检测区域内的动检目标包括:从所述视频图像中分离出前景图像;识别出所述前景图像中的物体作为候选动检目标;根据所述抛洒物检测区域,从所述候选动检目标中确定出中心点位于所述抛洒物检测区域内的候选动检目标,作为所述动检目标。
在至少一个示例性实施例中,所述抛洒物检测区域是通过以下方式根据所述视频图像中车辆的运动轨迹确定的:将所述视频图像中所述车辆的运动轨迹进行联通,确定所述车辆的行驶区域作为候选检测区域;基于所述候选检测区域确定所述抛洒物检测区域,其中,所述抛洒物检测区域包括所述候选检测区域,且包括在两个或两个以上的所述候选检测区域之间小于空隙阈值的空隙。
在至少一个示例性实施例中,对所述动检目标进行过滤,得到疑似抛洒物之前,所述方法还包括:基于预定目标识别模型,从所述视频图像中识别出预定目标,其中,所述预定目标包括以下至少之一:人、机动车、非机动车。
在至少一个示例性实施例中,对所述动检目标进行过滤,得到疑似抛洒物包括以下至少之一:将所述动检目标中,与所述预定目标的重合率大于重合阈值的动检目标去除,得到所述疑似抛洒物;将所述动检目标中,面积小于面积阈值的动检目标去除,得到所述疑似抛洒物;将所述动检目标中,持续图像帧的数量小于帧数阈值的动检目标去除,得到所述疑似抛洒物。
在至少一个示例性实施例中,所述预定目标识别模型包括以下之一:通过深度学习基于样本预定目标在所述视频图像对应的监控场景下的特征建立的预定目标识别模型。
根据本发明的另一个实施例,提供了一种抛洒物的识别装置,包括:动检模块,用于基于视频图像确定位于抛洒物检测区域内的动检目标,其中,所述抛洒物检测区域是根据所述视频图像中车辆的运动轨迹确定的;过滤模块,用于对所述动检目标进行过滤,得到疑似抛洒物;第一识别模块,用于基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物。
在至少一个示例性实施例中,所述第一识别模块还用于在确定所述疑似抛洒物为抛洒物的情况下,基于所述抛洒物识别模型确定所述抛洒物的类型;所述装置还包括:关联模块,用于根据所述抛洒物的类型以及所述视频图像中的所述车辆的类型,将所述抛洒物与对应的车辆进行关联。
在至少一个示例性实施例中,所述装置还包括:告警模块,用于在所述抛洒物与对应的车辆关联成功的情况下,上报告警信息,其中,所述告警信息携带以下至少之一:用于表示识别到抛洒物的指示、所述抛洒物的类型、所述抛洒物与对应的车辆的关联关系。
在至少一个示例性实施例中,所述抛洒物检测区域是通过以下方式根据所述视频图像中车辆的运动轨迹确定的:将所述视频图像中所述车辆的运动轨迹进行联通,确定所述车辆的行驶区域作为候选检测区域;基于所述候选检测区域确定所述抛洒物检测区域,其中,所述抛洒物检测区域包括所述候选检测区域,且包括在两个或两个以上的所述候选检测区域之间小于空隙阈值的空隙。
在至少一个示例性实施例中,所述装置还包括:第二识别模块,用于基于预定目标识别模型,从所述视频图像中识别出预定目标,其中,所述预定目标包括以下至少之一:人、机动车、非机动车。
在至少一个示例性实施例中,所述过滤模块用于执行以下至少之一:将所述动检目标中,与所述预定目标的重合率大于重合阈值的动检目标去除,得到所述疑似抛洒物;将所述动检目标中,面积小于面积阈值的动检目标去除,得到所述疑似抛洒物;将所述动检目标中,持续图像帧的数量小于帧数阈值的动检目标去除,得到所述疑似抛洒物。
根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
通过本发明,由于根据视频图像中车辆的运动轨迹确定抛洒物检测区域,并对所述动检目标进行过滤,得到疑似抛洒物,基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物,因此,可以解决如何快速准确地检测到隧道/公路上的抛洒物问题,能够快速准确地检测到隧道/公路上的抛洒物,从而可以在快速发现后及时报警,尽早发现安全隐患并及时排除,保持隧道、公路等的安全畅通。
附图说明
此处所说明的附图用来提供对本发明的进一步理解,构成本申请的一部分,本发明的示意性实施例及其说明用于解释本发明,并不构成对本发明的不当限定。在附图中:
图1是根据本发明实施例1的抛洒物的识别方法的流程图;
图2是根据本发明实施例2的抛洒物的识别装置的结构框图;
图3是根据本发明实施例2的抛洒物的识别装置的第一示例性结构框图;
图4是根据本发明实施例2的抛洒物的识别装置的第二示例性结构框图;
图5是根据本发明实施例2的抛洒物的识别装置的第三示例性结构框图;
图6是根据本发明实施例4的抛洒物识别方法的详细流程图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是,本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。
实施例1
在本实施例中提供了一种抛洒物的识别方法,图1是根据本发明实施例1的抛洒物的识别方法的流程图,如图1所示,该流程包括如下步骤:
步骤S102,基于视频图像确定位于抛洒物检测区域内的动检目标,其中,所述抛洒物检测区域是根据所述视频图像中车辆的运动轨迹确定的;
步骤S104,对所述动检目标进行过滤,得到疑似抛洒物;
步骤S106,基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物。
通过上述步骤,由于根据视频图像中车辆的运动轨迹确定抛洒物检测区域,并对所述动检目标进行过滤,得到疑似抛洒物,基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物,因此,可以解决如何快速准确地检测到隧道/公路上的抛洒物问题,能够快速准确地检测到隧道/公路上的抛洒物,从而可以在快速发现后及时报警,尽早发现安全隐患并及时排除,保持隧道、公路等的安全畅通。
可选地,上述步骤的执行主体可以为后端监控平台、服务器等用于实现道路监控的处理设备,但不限于此。
为了实现更加全面的抛洒物监控,可以对抛洒物的类型进行获取,并基于抛洒物的类型进行抛洒物与对应的车辆(可能为机动车,也可能为非机动车)的关联。因此,在至少一个示例性实施例中,所述方法还可以包括:
在确定所述疑似抛洒物为抛洒物的情况下,基于所述抛洒物识别模型确定所述抛洒物的类型;
根据所述抛洒物的类型以及所述视频图像中的所述车辆的类型,将所述抛洒物与对应的车辆进行关联。
为了在快速发现抛洒物后及时报警,尽早发现安全隐患并及时排除,保持隧道、公路等的安全畅通,在至少一个示例性实施例中,所述方法还可以包括:
在所述抛洒物与对应的车辆关联成功的情况下,上报告警信息,其中,所述告警信息携带以下至少之一:用于表示识别到抛洒物的指示、所述抛洒物的类型、所述抛洒物与对应的车辆的关联关系。
步骤S106中进行抛洒物识别的所述抛洒物识别模型可以是任意能够实现抛洒物有效识别的模型,其可以是基于深度学习获得的。在至少一个示例性实施例中,所述抛洒物识别模型可以包括以下之一:
通过深度学习基于样本抛洒物的特征建立的抛洒物正向识别模型;
通过深度学习基于样本非抛洒物的特征建立的抛洒物反向识别模型;
通过深度学习基于样本抛洒物的特征和样本非抛洒物的特征建立的抛洒物双向识别模型。
为了实现动检目标的准确识别,在至少一个示例性实施例中,步骤S102可以包括:
步骤S1022,从所述视频图像中分离出前景图像;
步骤S1024,识别出所述前景图像中的物体作为候选动检目标;
步骤S1026,根据所述抛洒物检测区域,从所述候选动检目标中确定出中心点位于所述抛洒物检测区域内的候选动检目标,作为所述动检目标。
为了自动识别抛洒物的合理检测区域,而无需人工手动去选定检测区域,在至少一个示例性实施例中,所述抛洒物检测区域可以是通过以下方式根据所述视频图像中车辆的运动轨迹确定的:
将所述视频图像中所述车辆的运动轨迹进行联通,确定所述车辆的行驶区域作为候选检测区域;
基于所述候选检测区域确定所述抛洒物检测区域,其中,所述抛洒物检测区域包括所述候选检测区域,且包括在两个或两个以上的所述候选检测区域之间小于空隙阈值的空隙。
在至少一个示例性实施例中,对步骤S104之前,所述方法还可以包括:
基于预定目标识别模型,从所述视频图像中识别出预定目标,其中,所述预定目标包括以下至少之一:人、机动车、非机动车。
在实际应用中,可以根据实际情况进行动检目标的过滤。例如,在至少一个示例性实施例中,步骤S104可以包括以下至少之一:
将所述动检目标中,与所述预定目标的重合率大于重合阈值的动检目标去除,得到所述疑似抛洒物,通过该方法,可以过滤掉人、车辆等不属于抛洒物的动检目标;
将所述动检目标中,面积小于面积阈值的动检目标去除,得到所述疑似抛洒物,通过该方法,可以过滤掉面积较小不会对路况造成影响的动检目标;
将所述动检目标中,持续图像帧的数量小于帧数阈值的动检目标去除,得到所述疑似抛洒物,通过该方法,可以过滤掉自行飘散不会对路况造成影响的动检目标。
在至少一个示例性实施例中,所述预定目标识别模型包括以下之一:通过深度学习基于样本预定目标在所述视频图像对应的监控场景下的特征建立的预定目标识别模型。通过采用特定监控场景下的样本预定目标(即预定目标的样本)来进行模型构建,可以使得该识别模型在识别预定目标时更加准确。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
实施例2
在本实施例提供了一种抛洒物的识别装置,该装置用于实现上述实施例及优选实施方式,已经进行过说明的不再赘述。如以下所使用的,术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现,但是硬件,或者软件和硬件的组合的实现也是可能并被构想的。
图2是根据本发明实施例2的抛洒物的识别装置的结构框图,如图2所示,该装置包括:
动检模块22,用于基于视频图像确定位于抛洒物检测区域内的动检目标,其中,所述抛洒物检测区域是根据所述视频图像中车辆的运动轨迹确定的;
过滤模块24,用于对所述动检目标进行过滤,得到疑似抛洒物;
第一识别模块26,用于基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物。
通过该装置,根据视频图像中车辆的运动轨迹确定抛洒物检测区域,并对所述动检目标进行过滤,得到疑似抛洒物,基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物,因此,可以解决如何快速准确地检测到隧道/公路上的抛洒物问题,能够快速准确地检测到隧道/公路上的抛洒物,从而可以在快速发现后及时报警,尽早发现安全隐患并及时排除,保持隧道、公路等的安全畅通。
可选地,上述装置可以设置于后端监控平台、服务器等用于实现道路监控的处理设备,但不限于此。
为了实现更加全面的抛洒物监控,可以对抛洒物的类型进行获取,并基于抛洒物的类型进行抛洒物与对应的车辆(可能为机动车,也可能为非机动车)的关联。图3是根据本发明实施例2的抛洒物的识别装置的第一示例性结构框图,如图3所示,在至少一个示例性实施例中,所述第一识别模块26还用于在确定所述疑似抛洒物为抛洒物的情况下,基于所述抛洒物识别模型确定所述抛洒物的类型;所述装置还包括:关联模块32,用于根据所述抛洒物的类型以及所述视频图像中的所述车辆的类型,将所述抛洒物与对应的车辆进行关联。
为了在快速发现抛洒物后及时报警,尽早发现安全隐患并及时排除,保持隧道、公路等的安全畅通,还可以对抛洒物进行告警。图4是根据本发明实施例2的抛洒物的识别装置的第二示例性结构框图,如图4所示,在至少一个示例性实施例中,所述装置还可以包括:
告警模块42,用于在所述抛洒物与对应的车辆关联成功的情况下,上报告警信息,其中,所述告警信息携带以下至少之一:用于表示识别到抛洒物的指示、所述抛洒物的类型、所述抛洒物与对应的车辆的关联关系。
所述第一识别模块26进行抛洒物识别的所述抛洒物识别模型可以是任意能够实现抛洒物有效识别的模型,其可以是基于深度学习获得的。在至少一个示例性实施例中,所述抛洒物识别模型可以包括以下之一:
通过深度学习基于样本抛洒物的特征建立的抛洒物正向识别模型;
通过深度学习基于样本非抛洒物的特征建立的抛洒物反向识别模型;
通过深度学习基于样本抛洒物的特征和样本非抛洒物的特征建立的抛洒物双向识别模型。
为了实现动检目标的准确识别,在至少一个示例性实施例中,所述动检模块22可以用于:从所述视频图像中分离出前景图像;识别出所述前景图像中的物体作为候选动检目标;根据所述抛洒物检测区域,从所述候选动检目标中确定出中心点位于所述抛洒物检测区域内的候选动检目标,作为所述动检目标。
为了自动识别抛洒物的合理检测区域,而无需人工手动去选定检测区域,在至少一个示例性实施例中,所述抛洒物检测区域可以是通过以下方式根据所述视频图像中车辆的运动轨迹确定的:
将所述视频图像中所述车辆的运动轨迹进行联通,确定所述车辆的行驶区域作为候选检测区域;
基于所述候选检测区域确定所述抛洒物检测区域,其中,所述抛洒物检测区域包括所述候选检测区域,且包括在两个或两个以上的所述候选检测区域之间小于空隙阈值的空隙。
图5是根据本发明实施例2的抛洒物的识别装置的第三示例性结构框图,如图5所示,在至少一个示例性实施例中,所述装置还可以包括:第二识别模块52,用于基于预定目标识别模型,从所述视频图像中识别出预定目标,其中,所述预定目标包括以下至少之一:人、机动车、非机动车。
在至少一个示例性实施例中,所述过滤模块24用于执行以下至少之一:将所述动检目标中,与所述预定目标的重合率大于重合阈值的动检目标去除,得到所述疑似抛洒物;将所述动检目标中,面积小于面积阈值的动检目标去除,得到所述疑似抛洒物;将所述动检目标中,持续图像帧的数量小于帧数阈值的动检目标去除,得到所述疑似抛洒物。
需要说明的是,上述各个模块是可以通过软件或硬件来实现的,对于后者,可以通过以下方式实现,但不限于此:上述模块均位于同一处理器中;或者,上述各个模块以任意组合的形式分别位于不同的处理器中。
实施例3
本发明的实施例还提供了一种存储介质,该存储介质中存储有计算机程序,其中,该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地,在本实施例中,上述存储介质可以被设置为存储用于执行以下步骤的计算机程序:
步骤S1,基于视频图像确定位于抛洒物检测区域内的动检目标,其中,所述抛洒物检测区域是根据所述视频图像中车辆的运动轨迹确定的;
步骤S2,对所述动检目标进行过滤,得到疑似抛洒物;
步骤S3,基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物。
可选地,在本实施例中,上述存储介质可以包括但不限于:U盘、只读存储器(Read-Only Memory,简称为ROM)、随机存取存储器(Random Access Memory,简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
可选地,本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例,本实施例在此不再赘述。
实施例4
本实施例给出了一种抛洒物识别方案的详细流程。该方案能够实现:
(1)自动识别检测区域。
(2)对桥梁、隧道、高速及城市密集路口等场景的各类不同类型、大小、形状不一的抛洒物都能准确检测。
(3)对抛洒物类型进行分类,并与对应的特殊车辆关联。
图6是根据本发明实施例4的抛洒物识别方法的详细流程图,如图6所示,该方案包括以下步骤:
步骤S601,根据视频序列,将视频图像信息送入动检模块和人机非识别模块。
步骤S602,动检模块通过混合高斯背景建模,分离背景和前景,并提取出前景里的物体作为动检目标。图像信息送入动检模块后,输出动检目标的目标框坐标。
步骤S603,人机非识别模块通过深度学习模型,学习人、机动车、非机动车的特征,使其能识别桥梁、隧道、高速及城市密集路口等场景的人、机动车、非机动车目标。图像信息送入人机非识别模块后,输出人、机动车、非机动车等物体目标框坐标。
其中,步骤S602和S603之间没有特定的执行先后顺序,它们之间独立运行。
步骤S604,把机动车送入车辆属性识别模块,识别车辆类型(渣土车、混凝土搅拌车、油罐车、洒水车、普通轿车等等)、车牌等属性。并记录特殊车辆的过车信息到队列中。
步骤S605,根据机动车的运动轨迹,自动联通,不断完善,识别出机动车的行驶区域作为抛洒物的检测区域。具体方法:将机动车的运动轨迹区域都划入为检测区,两个或多个检测区间的空隙若小于设定的阈值,将两个或多个检测区间的空隙区域也划入为检测区,多帧数据不断完善,最后就会形成一个完整的检测区。
其中,步骤S604和S605都是基于人机非识别模块的执行结果进行处理的,二者之间之间没有特定的执行先后顺序,它们之间独立运行。
步骤S606,根据设定的抛洒物的检测区域,过滤出检测区域内的动检目标。具体方法是:动检目标的中心点落在检测区域内。
步骤S607,从动检目标中除去人机非目标,得到疑似抛撒物。具体方法是:如果一个动检目标和人机非目标的重合率大于设定的阈值,认为此动检目标是人机非或者周边的相连物体,不认为是抛洒物。反之,则认为此动检目标为疑似抛洒物。
动检目标A和人机非目标B的重合率=A和B重合区域面积/A、B中较小的面积。
步骤S608,对疑似抛洒物进一步过滤,除去面积小于设定阈值的疑似抛洒物。
步骤S609,对疑似抛洒物进一步过滤,除去出现的帧数小于设定阈值的疑似抛洒物。
其中,步骤S608和S609之间没有特定的执行先后顺序,可以先后执行也可以同时执行。
步骤S610,将疑似抛洒物送入抛洒物二次识别模块。
步骤S611,抛洒物二次识别模块通过深度学习模型,学习渣土、混凝土、水、工程垃圾等常见抛洒物的特征,以及人行道、交通锥、交通灯、交通镜、显示屏、树叶等公路上常见的非抛洒物的物体特征。能够对送入的疑似抛洒物进行进一步的识别,确定是否是真正的抛洒物,并分类输出是哪类抛洒物。
步骤S612,根据抛洒物的类型,结合特殊车辆的过车信息记录,匹配关联车辆。如:渣土抛洒就去匹配渣土车,混凝土抛洒就去匹配混凝土搅拌车,水渍就去匹配洒水车等类似关联关系。
步骤S613,匹配关联车辆成功后,将抛洒物告警上报。
本实施例中的方案自动识别抛洒物检测区域,且运用混合高斯背景建模,分离背景和前景,并提取出前景里的物体作为动检目标,从动检目标中除去深度学习识别到的人、机动车、非机动车目标,过滤出疑似抛洒物,在此基础上,对疑似抛洒物进行正向、反向二次识别确认是否是抛洒物。在此基础上,还能对抛洒物进行分类识别,并根据抛洒物类型去匹配关联的特殊车辆。
该方案具有以下优点:
(1)自动识别抛洒物的检测区域,不需要手动去画。
根据机动车的运动轨迹,将机动车的运动轨迹区域都划入为检测区,两个或多个检测区间的空隙若小于设定的阈值,将两个或多个检测区间的空隙区域也划入为检测区,多帧数据不断完善,最后就会形成一个完整的检测区。
(2)对桥梁、隧道、高速及城市密集路口等不同场景的适应性好,不受光照车辆影子的影响,检测准确率高。能检测多种抛洒物,且不受大小、形状等的限制,也不会将在货厢上的渣土等易抛洒物品误检测为是抛洒物。
运用混合高斯背景建模,分离背景和前景,并提取出前景里的物体作为动检目标。再结合深度学习,从动检目标中除去人、机动车、非机动车,过滤出疑似抛洒物的方法,更符合抛洒物从运动到静止的特征。再次对疑似抛洒物进行二次识别,并从正向(常见抛洒物的特征)和反向(常见的非抛洒物的特征)来比较识别,提高抛洒物识别的准确性。
(3)能够对抛洒物进行分类,并关联到对应的特殊车辆上。
对疑似抛洒物进行二次识别时,根据抛洒物的特征比对,输出抛洒物的类型。根据抛洒物的类型,结合特殊车辆的过车信息记录进行匹配关联。如:渣土抛洒就去匹配渣土车,混凝土抛洒就去匹配混凝土搅拌车,水渍就去匹配洒水车等类似关联关系。
显然,本领域的技术人员应该明白,上述的本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在存储装置中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样,本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已,并不用于限制本发明,对于本领域的技术人员来说,本发明可以有各种更改和变化。凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (12)

1.一种抛洒物的识别方法,其特征在于,包括:
基于视频图像确定位于抛洒物检测区域内的动检目标,其中,所述抛洒物检测区域是通过以下方式根据所述视频图像中车辆的运动轨迹确定的:将所述视频图像中所述车辆的运动轨迹进行联通,确定所述车辆的行驶区域作为候选检测区域;基于所述候选检测区域确定所述抛洒物检测区域,其中,所述抛洒物检测区域包括所述候选检测区域,且包括在两个或两个以上的所述候选检测区域之间小于空隙阈值的空隙;
对所述动检目标进行过滤,得到疑似抛洒物;
基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物;
在确定所述疑似抛洒物为抛洒物的情况下,基于所述抛洒物识别模型确定所述抛洒物的类型;
根据所述抛洒物的类型以及所述视频图像中的所述车辆的类型,将所述抛洒物与对应的车辆进行关联。
2.根据权利要求1所述的方法,其特征在于,还包括:
在所述抛洒物与对应的车辆关联成功的情况下,上报告警信息,其中,所述告警信息携带以下至少之一:用于表示识别到抛洒物的指示、所述抛洒物的类型、所述抛洒物与对应的车辆的关联关系。
3.根据权利要求1所述的方法,其特征在于,所述抛洒物识别模型包括以下之一:
通过深度学习基于样本抛洒物的特征建立的抛洒物正向识别模型;
通过深度学习基于样本非抛洒物的特征建立的抛洒物反向识别模型;
通过深度学习基于样本抛洒物的特征和样本非抛洒物的特征建立的抛洒物双向识别模型。
4.根据权利要求1所述的方法,其特征在于,基于所述视频图像确定位于所述抛洒物检测区域内的动检目标包括:
从所述视频图像中分离出前景图像;
识别出所述前景图像中的物体作为候选动检目标;
根据所述抛洒物检测区域,从所述候选动检目标中确定出中心点位于所述抛洒物检测区域内的候选动检目标,作为所述动检目标。
5.根据权利要求1所述的方法,其特征在于,对所述动检目标进行过滤,得到疑似抛洒物之前,还包括:
基于预定目标识别模型,从所述视频图像中识别出预定目标,其中,所述预定目标包括以下至少之一:人、机动车、非机动车。
6.根据权利要求5所述的方法,其特征在于,对所述动检目标进行过滤,得到疑似抛洒物包括以下至少之一:
将所述动检目标中,与所述预定目标的重合率大于重合阈值的动检目标去除,得到所述疑似抛洒物;
将所述动检目标中,面积小于面积阈值的动检目标去除,得到所述疑似抛洒物;
将所述动检目标中,持续图像帧的数量小于帧数阈值的动检目标去除,得到所述疑似抛洒物。
7.根据权利要求5所述的方法,其特征在于,所述预定目标识别模型包括以下之一:
通过深度学习基于样本预定目标在所述视频图像对应的监控场景下的特征建立的预定目标识别模型。
8.一种抛洒物的识别装置,其特征在于,包括:
动检模块,用于基于视频图像确定位于抛洒物检测区域内的动检目标,其中,所述抛洒物检测区域是通过以下方式根据所述视频图像中车辆的运动轨迹确定的:将所述视频图像中所述车辆的运动轨迹进行联通,确定所述车辆的行驶区域作为候选检测区域;基于所述候选检测区域确定所述抛洒物检测区域,其中,所述抛洒物检测区域包括所述候选检测区域,且包括在两个或两个以上的所述候选检测区域之间小于空隙阈值的空隙;
过滤模块,用于对所述动检目标进行过滤,得到疑似抛洒物;
第一识别模块,用于基于抛洒物识别模型对所述疑似抛洒物进行识别,确定所述疑似抛洒物是否为抛洒物,还用于在确定所述疑似抛洒物为抛洒物的情况下,基于所述抛洒物识别模型确定所述抛洒物的类型;
关联模块,用于根据所述抛洒物的类型以及所述视频图像中的所述车辆的类型,将所述抛洒物与对应的车辆进行关联。
9.根据权利要求8所述的装置,其特征在于,还包括:
告警模块,用于在所述抛洒物与对应的车辆关联成功的情况下,上报告警信息,其中,所述告警信息携带以下至少之一:用于表示识别到抛洒物的指示、所述抛洒物的类型、所述抛洒物与对应的车辆的关联关系。
10.根据权利要求8或9所述的装置,其特征在于,还包括:
第二识别模块,用于基于预定目标识别模型,从所述视频图像中识别出预定目标,其中,所述预定目标包括以下至少之一:人、机动车、非机动车。
11.根据权利要求10所述的装置,其特征在于,所述过滤模块用于执行以下至少之一:
将所述动检目标中,与所述预定目标的重合率大于重合阈值的动检目标去除,得到所述疑似抛洒物;
将所述动检目标中,面积小于面积阈值的动检目标去除,得到所述疑似抛洒物;
将所述动检目标中,持续图像帧的数量小于帧数阈值的动检目标去除,得到所述疑似抛洒物。
12.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行所述权利要求1至7任一项中所述的方法。
CN202010079986.1A 2020-02-04 2020-02-04 抛洒物的识别方法、装置及存储介质 Active CN111274982B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010079986.1A CN111274982B (zh) 2020-02-04 2020-02-04 抛洒物的识别方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010079986.1A CN111274982B (zh) 2020-02-04 2020-02-04 抛洒物的识别方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111274982A CN111274982A (zh) 2020-06-12
CN111274982B true CN111274982B (zh) 2023-04-07

Family

ID=71002028

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010079986.1A Active CN111274982B (zh) 2020-02-04 2020-02-04 抛洒物的识别方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111274982B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808409B (zh) * 2020-06-17 2023-02-10 华为技术有限公司 一种道路安全监控的方法、系统和计算机设备
CN112822407B (zh) * 2021-01-28 2022-07-26 华设设计集团股份有限公司 一种公路抛洒物事件视频检测系统及方法
CN113191270B (zh) * 2021-04-30 2022-11-11 北京市商汤科技开发有限公司 抛洒事件检测方法、装置、电子设备及存储介质
CN113255580A (zh) * 2021-06-18 2021-08-13 城云科技(中国)有限公司 抛洒物识别、车辆抛洒滴漏识别方法和装置
CN113674314A (zh) * 2021-07-14 2021-11-19 浙江大华技术股份有限公司 抛洒事件检测方法、装置、电子装置和存储介质
CN113723176B (zh) * 2021-07-19 2022-06-10 上海闪马智能科技有限公司 一种目标对象确定方法、装置、存储介质和电子装置
CN113657305B (zh) * 2021-08-20 2023-08-04 深圳技术大学 一种基于视频的黑烟车辆及林格曼黑度等级智能检测方法
CN113505769B (zh) * 2021-09-10 2021-12-14 城云科技(中国)有限公司 目标检测方法及应用其的车辆抛洒滴漏识别方法
CN114694060A (zh) * 2022-03-10 2022-07-01 海信集团控股股份有限公司 一种道路抛洒物检测方法、电子设备及存储介质
CN115457777B (zh) * 2022-09-06 2023-09-19 北京商海文天科技发展有限公司 一种特定车辆溯源分析方法
CN115601711B (zh) * 2022-12-13 2023-04-25 成都合能创越软件有限公司 一种基于yolov5+deepsort的渣土车抛洒滴漏检测报警方法及系统
CN117237676B (zh) * 2023-11-09 2024-03-01 中核国电漳州能源有限公司 一种核电厂基于事件相机对小目标掉落轨迹的处理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265016A (ja) * 2006-03-28 2007-10-11 Matsushita Electric Ind Co Ltd 車両検出装置及び車両検出方法
CN104392630A (zh) * 2014-11-26 2015-03-04 天津艾思科尔科技有限公司 抛洒物智能检测装置与方法
CN104504730A (zh) * 2014-12-19 2015-04-08 长安大学 一种对停放车辆及抛落物的区分方法
JP2016224797A (ja) * 2015-06-02 2016-12-28 株式会社デンソー 落下物検出装置
CN106297278A (zh) * 2015-05-18 2017-01-04 杭州海康威视数字技术股份有限公司 一种用于查询抛洒物车辆的方法和系统
CN109886219A (zh) * 2019-02-26 2019-06-14 中兴飞流信息科技有限公司 抛洒物检测方法、装置及计算机可读存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007265016A (ja) * 2006-03-28 2007-10-11 Matsushita Electric Ind Co Ltd 車両検出装置及び車両検出方法
CN104392630A (zh) * 2014-11-26 2015-03-04 天津艾思科尔科技有限公司 抛洒物智能检测装置与方法
CN104504730A (zh) * 2014-12-19 2015-04-08 长安大学 一种对停放车辆及抛落物的区分方法
CN106297278A (zh) * 2015-05-18 2017-01-04 杭州海康威视数字技术股份有限公司 一种用于查询抛洒物车辆的方法和系统
JP2016224797A (ja) * 2015-06-02 2016-12-28 株式会社デンソー 落下物検出装置
CN109886219A (zh) * 2019-02-26 2019-06-14 中兴飞流信息科技有限公司 抛洒物检测方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN111274982A (zh) 2020-06-12

Similar Documents

Publication Publication Date Title
CN111274982B (zh) 抛洒物的识别方法、装置及存储介质
CN106991820B (zh) 违规车辆处理方法及装置
CN109767626B (zh) 一种路边停车巡检方法、系统、巡逻车及服务器
US6430303B1 (en) Image processing apparatus
CN109409337B (zh) 基于卷积神经网络的渣土车特征识别方法
CN106373426A (zh) 基于计算机视觉的停车位及违规占道停车监控方法
CN104282154B (zh) 一种车辆超载监控系统及方法
CN103390145B (zh) 一种目标区域车辆检测方法以及系统
CN104318769A (zh) 一种违章车辆监测报警系统及方法
CN113012436B (zh) 道路监控方法、装置及电子设备
CN105957352B (zh) 违章停车检测方法和装置
CN105303823A (zh) 车辆违规监控方法和系统
CN109427191A (zh) 一种行驶检测方法及装置
CN112242058A (zh) 基于交通监控视频的目标异常检测方法、装置及存储介质
CN111292530A (zh) 处理违章图片的方法、装置、服务器和存储介质
CN109887303B (zh) 随意变更车道行为预警系统及方法
EP3693940A1 (de) Verfahren zum erkennen von überholvorgängen im strassenverkehr innerhalb eines streckenabschnitts
CN109344829A (zh) 一种高速铁路列车的车号识别方法及装置
CN110444026B (zh) 车辆的触发抓拍方法及系统
CN113095345A (zh) 数据匹配方法、装置和数据处理设备
CN111768630A (zh) 一种违章废图检测方法、装置及电子设备
CN115731707A (zh) 一种高速公路车辆交通控制方法和系统
CN101540102A (zh) 检测车辆违法占道的装置及方法
CN113870185A (zh) 基于图像抓拍的图像处理方法、终端及存储介质
CN113177443A (zh) 一种基于图像视觉的智能识别道路交通违章的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant