CN110517506B - 基于交通视频图像检测停车事件的方法、装置及存储介质 - Google Patents
基于交通视频图像检测停车事件的方法、装置及存储介质 Download PDFInfo
- Publication number
- CN110517506B CN110517506B CN201910788350.1A CN201910788350A CN110517506B CN 110517506 B CN110517506 B CN 110517506B CN 201910788350 A CN201910788350 A CN 201910788350A CN 110517506 B CN110517506 B CN 110517506B
- Authority
- CN
- China
- Prior art keywords
- parameter value
- value
- vehicle target
- parking event
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/44—Event detection
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Traffic Control Systems (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
本发明提供一种基于交通视频图像检测停车事件的方法、装置及存储介质,通过针对设定时长T内的N张交通视频图像帧,分别检测出每一张交通视频图像帧所存在的车辆目标;N大于等于2;计算各像素点对应位置出现在车辆目标设定区域内的第一参数值,和/或出现在车辆目标设定区域外的第二参数值,其中设定区域包括车辆目标所覆盖的至少部分图像区域;基于第一参数值和/或第二参数值,检测是否发生停车事件;本方案不再需要跟踪器,避免跟踪器跟踪车辆目标时的高帧率运行要求,这样一方面减少了设备处理负荷,降低了对设备的性能要求,另一方面,也可以有效避免由于跟踪失败导致误检情况的发生,提高了系统稳定性。
Description
技术领域
本发明涉及交通视频监控技术领域,尤其涉及一种基于交通视频图像检测停车事件的方法、装置及存储介质。
背景技术
高速公路停车事件可能预示着车辆抛锚、事故、驾驶员失能等状况,导致追尾风险很高,需要高速公路管理人员的关注、调查和救助。为了及时发现停车事件,高速公路管理部门采取的措施包括:人工视频监控、派出车辆巡逻、基于监控视频的停车事件自动检出报警系统。
人工视频监控是指:在高速公路沿途每隔一定距离(一公里左右)布置一个摄像头,摄像头将画面传输回监控中心,监控中心的工作人员观看摄像头捕获的视频,人工发现画面中的异常事件并给予记录和响应。
派出车辆巡逻是指:高速公路管理部门周期性地驾车巡逻高速公路,检查沿途的异常情况。
基于监控视频的停车事件自动检出报警系统是指:使用计算机读取监控视频,利用计算机视觉技术检测交通视频中的停车事件。
其中,基于监控视频的停车事件自动检出报警系统,是根据车辆目标检测器以及跟踪器实现对车辆的检测、跟踪,然后再寻找固定不动的车辆,作为停车事件。
车辆目标检测器:一种在计算机上运行的算法,可以找出图像中车辆的位置和大小。该类型的算法需要的计算资源较多,每帧需要20ms~50ms之间。
跟踪器:基于两帧图像的车辆检测结果,判断两帧间哪些车其实是同一辆车,例如图像帧A的车辆目标检测的结果为A1A2A3、图像B的车辆目标检测结果为B1B2B3,跟踪检测得到A1和B2是同一辆车;A2和B3是同一辆车;A3和B1是同一辆车,从而实现车辆的跟踪。
跟踪器需要车辆目标检测器以很高的帧率运行,因为如果两帧的时间间隔太远,同一辆车可能在两帧的很远距离上出现,导致跟踪失败。而目标检测器的高运行帧率要求意味着高计算能力要求,也就意味着高成本。为了稳定的跟踪高速路上的车辆目标,通常需要12fps以上的检测帧率,消耗近1/2~1/4张高性能GPU卡的算力,成本较高。
另外,路过的车辆可能偶尔遮挡停车的车辆,使跟踪器失效,也就无法检测出停车事件。
发明内容
本发明提供的基于交通视频图像检测停车事件的方法、装置及存储介质,主要解决的技术问题是:当前基于监控视频的停车事件自动检出报警系统对设备性能要求高,稳定性不好。
为解决上述技术问题,本发明提供一种基于交通视频图像检测停车事件的方法,包括:
针对设定时长T内的N张交通视频图像帧,分别检测出每一张所述交通视频图像帧所存在的车辆目标;所述N大于等于2;
计算各像素点对应位置出现在车辆目标设定区域内的第一参数值,和/或出现在车辆目标设定区域外的第二参数值,所述设定区域包括所述车辆目标所覆盖的至少部分图像区域;
基于所述第一参数值和/或所述第二参数值,检测是否发生停车事件。
可选的,所述N与所述T之间的第一比值,其范围在1fps到4fps之间。
可选的,还包括:从外部视频采集设备采集的交通视频图像中,按照设定时间间隔实时获取以得到所述交通视频图像帧。
可选的,所述第一参数值包括次数值、频率值、加权值中的一种;所述第二参数值包括次数值、频率值、加权值中的一种。
可选的,所述基于所述第一参数值和/或所述第二参数值,检测是否发生停车事件包括:
当基于所述第一参数值检测是否发生停车事件时,包括将所述第一参数值与设定第一参数阈值进行比较,若所述第一参数值在所述设定第一参数阈值范围内,则判断发生停车事件;否则,判断未发生停车事件;
当基于所述第二参数值检测是否发生停车事件时,包括将所述第二参数值与设定第二参数阈值进行比较,若所述第二参数值在所述设定第二参数阈值范围内,则判断发生停车事件;否则,判断未发生停车事件;
当基于所述第一参数值与所述第二参数值检测是否发生停车事件时,所述第一参数值与所述第二参数值的参数类型相同,包括计算所述第一参数值与所述第二参数值的加权和值,将所述加权和值与设定第三参数阈值进行比较,若所述加权和值在所述设定第三参数阈值范围内,则判断发生停车事件;否则,判断未发生停车事件。
可选的,所述设定区域包括所述车辆目标所覆盖的部分图像区域,所述计算各像素点对应位置出现在车辆目标设定区域外的第二参数值包括:
计算各像素点对应位置出现在车辆目标设定区域与所框选区域之间的第三参数值,以及出现在车辆目标所框选区域外的第四参数值;所述第二参数值等于所述第三参数值与所述第四参数值之和。
可选的,所述计算所述第一参数值与所述第二参数值的加权和值包括:
出现在所述车辆目标所覆盖的部分图像区域内的像素点,对应设定权重为第一分值;出现在所述车辆目标设定区域与所框选区域之间的像素点,对应设定权重为第二分值;出现在所述车辆目标所框选区域外的像素点,对应设定权重为第三分值;基于各像素点在所述N张交通视频图像帧中,出现在车辆目标所覆盖的部分图像区域内的第一参数值、出现在车辆目标设定区域与所框选区域之间的第三参数值、出现在车辆目标所框选区域外的第四参数值,以及分别对应设定的所述第一分值、所述第二分值、所述第三分值,分别计算出各像素点的所述加权和值;所述第一分值为正(负)值,所述第二分值为负(正)值,所述第三分值为0。
可选的,所述计算所述第一参数值与所述第二参数值的加权和值包括:采用滑动窗累计求和方法计算所述加权和值。
本发明还提供一种基于交通视频图像检测停车事件的装置,所述装置包括处理器、存储器及通信总线;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行存储器中存储的一个或者多个程序,以实现如上任一项所述的基于交通视频图像检测停车事件的方法的步骤。
本发明还提供一种存储介质,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如上任一项所述的基于交通视频图像检测停车事件的方法的步骤。
本发明的有益效果是:
根据本发明提供的基于交通视频图像检测停车事件的方法、装置及存储介质,通过针对设定时长T内的N张交通视频图像帧,分别检测出每一张交通视频图像帧所存在的车辆目标;N大于等于2;计算各像素点对应位置出现在车辆目标设定区域内的第一参数值,和/或出现在车辆目标设定区域外的第二参数值,其中设定区域包括车辆目标所覆盖的至少部分图像区域;基于第一参数值和/或第二参数值,检测是否发生停车事件;相当于基于各位置点在这N张交通视频图像帧中与车辆目标的位置分布关系,包括分布于车辆目标设定区域内外的情况,来检测是否发生停车事件,这种检测方式不再需要跟踪器,避免跟踪器跟踪车辆目标时的高帧率运行要求,这样一方面减少了设备处理负荷,降低了对设备的性能要求,另一方面,也可以有效避免由于跟踪失败导致误检情况的发生,提高了系统稳定性。
附图说明
图1为本发明实施例一的基于交通视频图像检测停车事件的方法流程示意图;
图2为本发明实施例一的车辆目标设定区域示意图;
图3为本发明实施例一的车辆目标框选区域示意图;
图4为本发明实施例二的基于交通视频图像检测停车事件的方法流程示意图;
图5为本发明实施例二的车辆目标区域划分示意图;
图6为本发明实施例三的基于交通视频图像检测停车事件的方法流程示意图;
图7为本发明实施例三的中心频率分析示意图;
图8为本发明实施例四的基于交通视频图像检测停车事件的装置结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,下面通过具体实施方式结合附图对本发明作进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
实施例一:
为了解决当前基于监控视频的停车事件自动检出报警系统对设备性能要求高,稳定性不好的问题,本实施例提供一种基于交通视频图像检测停车事件的方法,请参见图1,主要包括:
S101、针对设定时长T内的N张交通视频图像帧,分别检测出每一张交通视频图像帧所存在的车辆目标;N大于等于2。
交通视频图像帧可以基于布设于高速公路上的监控摄像头采集交通视频得到,监控摄像头可以采集交通视频图像,也可以直接拍摄交通图片。监控摄像头若原本主要是用于采集交通视频,则本系统可无需对其进行改造,服务器可以按照设定时间间隔从监控摄像头采集到的交通视频中抽取图像帧即可。若监控摄像头主要是为本系统架设的,主要用于服务本系统实现停车检测,那么可以事先配置其图片拍摄帧率(与上述设定时间间隔对应,例如帧率为1fps,设定时间间隔为每间隔1秒,拍摄或采集一次图片),服务器只要能够基于外部视频采集设备(例如上述监控摄像头等)获取到上述设定时长T内的N张交通视频图像帧即可。
其中,设定时长T可以灵活设置,例如为10秒、20秒、30秒、40秒、50秒、60秒等。一组交通视频图像帧序列的帧数N,可以基于系统对停车事件检测的帧率要求,进行灵活设置。本方案主要基于各位置点在这N张交通视频图像帧中与车辆目标的位置分布关系,来检测停车时间,不需要对车辆目标进行跟踪,对帧率要求不高,一般可以设置为1fps到4fps之间,当然并不限于此;对应的,当设定时长T为10秒,那么N可取10~40;当设定时长T为30秒,那么N可取30~120;当设定时长T为60秒,那么N可取60~240等。
针对该N张交通视频图像帧,可以采用现有任意车辆目标检测算法,来检测出每一张交通视频图像帧中出现的车辆目标。从而确定每一张交通视频图像帧中的车辆目标的大小和出现位置。
S102、计算各像素点对应位置出现在车辆目标设定区域内的第一参数值,和/或出现在车辆目标设定区域外的第二参数值,设定区域包括车辆目标所覆盖的至少部分图像区域。
需要说明的是,上述N张交通视频图像帧是通过同一视频采集设备采集得到的,以保证各交通视频图像帧内的各像素点位置可以一一对应,背景图像也可以基本保持一样(忽略环境影响的情况下,例如风吹草动),这样才能够准确计算各像素点对应位置,在这N张交通视频图像帧中,出现在车辆目标设定区域内/外的情况。
可选的,计算各像素点对应位置出现在车辆目标设定区域内的第一参数值,和/或计算各像素点对应位置出现在车辆目标设定区域外的第二参数值。其中第一参数值和第二参数值可以通过不同参数来表征,例如次数值、频率值以及次数的加权值。
当第一参数值、第二参数值通过次数值表征时,即计算各像素点对应位置出现在车辆目标设定区域内的次数值a,以及出现在车辆目标设定区域外的次数值b。此时,应当理解,一个像素点对应位置要么出现在设定区域内,要么出现在设定区域外,故第一参数值与第二参数值之和等于N,即a+b=N。
当第一参数值、第二参数值通过频率值表征时,即计算各像素点对应位置出现在车辆目标设定区域内的频率(相当于出现在设定区域内的次数a与N的比值),以及出现在设定区域外的频率(相当于出现在设定区域外的次数b与N的比值),此时,第一参数值与第二参数值之和等于1,即a/N+b/N=(a+b)/N=1。
当第一参数值、第二参数值通过次数加权值表征时,计算各像素点对应位置出现在车辆目标设定区域内的次数值a,以及出现在车辆目标设定区域外的次数值b;假设出现在车辆目标设定区域内,对应设定权重为k1;出现在车辆设定区域外,对应设定权重为k2。那么第一参数值为a*k1,第二参数值为b*k2。其中,k1、k2可以设置为一正一负,例如,k1设置为+1,k2设置为-1;或k1设置为+2,k2设置为-2等。
其中,设定区域包括车辆目标所覆盖的至少部分图像区域,即设定区域可以是车辆目标所覆盖的全部图像区域,或者是车辆目标所覆盖的部分图像区域。例如车辆目标中心50%*50%的矩形区域;或以车辆目标中心为圆心、半径为r(2*r小于等于车辆目标所框选矩形区域的宽度)的圆形区域等等。
请参见图2,区域21为车辆目标实际所覆盖区域,基于车辆目标实际所覆盖区域,可以确定其所框选矩形区域22,例如是最小包围矩形。然后,设定区域如果设定为车辆目标中心50%*50%的矩形区域,那么可以得到该车辆目标对应设定区域为矩形区域23(长度和宽度分别为车辆目标所框选矩形区域长度的一半、长度的一半,中心相同);如果设定区域设定为以车辆目标中心为圆心、半径为r的圆形区域,那么可以确定该车辆目标设定区域为圆形区域24(圆心为所框选矩形的中心,半径为r)。
在本发明的其他实施例中,当设定区域为矩形区域时,还可以是以车辆目标所框选矩形区域的中心,作为设定矩形区域的中心(即中心相同),设定矩形区域的长度和宽度设置为固定长度,而不是以所框选矩形区域的长度和长度确定。例如设定矩形区域的长度设置为L1,宽度设置为L2,其中L1和L2可以设置为相同,也可以设置为不同,具体可以灵活设置。应当理解的是,设定区域还可以基于实际情况,灵活设置,并不限于上述示例,本实施例对此不做限制。
S103、基于第一参数值和/或第二参数值,检测是否发生停车事件。
这里主要包括如下几种情况:
第一、当基于第一参数值检测是否发生停车事件时,包括将第一参数值与设定第一参数阈值进行比较,若第一参数值在设定第一参数阈值范围内,则判断发生停车事件;否则,判断未发生停车事件。
以第一参数值是次数值为例,第一参数阈值对应设置为次数阈值(具体数值可以灵活设置,例如N=100,那么次数阈值可以设置为80),即计算各像素点对应位置出现在车辆目标设定区域内的次数,将该次数与该次数阈值进行比较,若该次数达到该次数阈值,相当于处于该次数阈值范围内,此时判断发生了停车事件(即该位置点在这100帧图像中,有80帧以上在该位置点检测出车辆,且位于车辆中心设定区域),如果该次数未达到该次数阈值,即处于次数阈值范围之外,此时判断未发生停车事件,交通状况正常。
以第一参数值是频率值为例,第一参数阈值对应设置为频率阈值(具体数值可以灵活设置,例如频率阈值设置为85%),即计算各像素点对应位置出现在车辆目标设定区域内的频率(出现次数与N的比值),将该频率值与该频率阈值进行比较,若该频率值达到该频率阈值85%,相当于处于该频率阈值范围内,此时判断发生了停车事件(即该位置点在这100帧图像中,有85帧以上在该位置点检测出车辆,且位于车辆中心设定区域),如果该频率值未达到该频率阈值,即处于频率阈值范围之外,此时判断未发生停车事件,交通状况正常。
以第一参数值是加权值(对次数赋予一定的权重所得到的数值)为例,第一参数值可对应设置为加权阈值(具体数值可以灵活设置,例如加权系数为2,假设N=100,那么频率阈值可设置为150,即达到75次以上),计算各像素点对应位置出现在车辆目标设定区域内的次数,将该次数乘以加权系数得到加权值,然后与该次数阈值进行比较,若加权值达到该加权阈值150,相当于处于该加权阈值范围内,此时判断发生了停车事件(即该位置点在这100帧图像中,有75帧以上在该位置点检测出车辆,且位于车辆中心设定区域),如果该加权值未达到该加权阈值,即处于加权阈值范围之外,此时判断未发生停车事件,交通状况正常。
第二、当基于第二参数值检测是否发生停车事件时,包括将第二参数值与设定第二参数阈值进行比较,若第二参数值在设定第二参数阈值范围内,则判断发生停车事件;否则,判断未发生停车事件。
应当理解,第二参数值是描述该像素点出现在车辆目标设定区域外的分布情况,因此基于第二参数值与基于第一参数值进行停车事件检测,过程刚好相反。为了便于理解,下面以第二参数值是次数值为例进行说明,应当理解,对于第二参数值为频率值、加权值的情况同样适用。
第二参数值是次数值时,第二参数阈值则可对应设置为次数阈值(与第一参数阈值对应设置的次数阈值通常不同),同样可以灵活设置,假设N=60,其次数阈值可以设置为10次,也即在这60帧图像帧中,只要该像素点对应位置出现在车辆目标设定区域外的次数值达到10次及以上,即判断道路交通状况正常,未发生停车事件;相反,若出现在车辆目标设定区域外的次数低于10次,即50次以上都是出现在车辆目标设定区域内的,那么表明该像素点对应位置发生了停车事件。
第三、当同时基于第一参数值与第二参数值检测是否发生停车事件时,第一参数值与第二参数值的参数类型相同,包括计算第一参数值与第二参数值的加权和值,将加权和值与设定第三参数阈值进行比较,若加权和值在设定第三参数阈值范围内,则判断发生停车事件;否则,判断未发生停车事件。
若同时基于第一参数值与第二参数值检测停车事件,第一参数值与第二参数值的类型通常是相同的,例如第一参数值为次数值,那么第二参数值也为次数值。当然也可以不同,分别基于第一参数值与第一参数阈值的大小关系,以及第二参数值与第二参数阈值的大小关系,综合进行判断。
本实施例中,主要是将第一参数值与第二参数值,进行综合处理后,来检测停车事件。具体包括,计算第一参数值与第二参数值的加权和值,基于该加权和值与设定的第三参数阈值的大小比较结果,来检测是否发生停车事件。其中,第一参数值与第二参数值分别对应不同的权重系数,且正负不同,例如第一参数值对应权重系数为+1,第二参数值对应权重系数为-1,即第一参数值与第二参数值之差,当该差值达到第三参数阈值时,判断发生停车事件,否则,判断交通状况正常,未发生停车事件。
在本发明的其他实施例中,若设定区域包括车辆目标所覆盖的部分图像区域,而非全部,那么设定区域外可以划分为两部分,请参见图3,其一是车辆目标设定区31与所框选区域之间的区域33(也即框选区域中除了设定区域外的区域);其二是车辆目标所框选区域32外的区域34。针对设定区域31、设定区域与框选区域之间的区域33,以及框选区域外的区域34这三部分,分别设置不同的权重系数,以计算这三部分的加权和值,进而根据加权和值检测停车事件。
可选的,首先计算各像素点对应位置出现在车辆目标设定区域与所框选区域之间的第三参数值,以及出现在车辆目标所框选区域外的第四参数值;第二参数值等于第三参数值与第四参数值之和。然后,计算第一参数值、第三参数值以及第四参数值三者的加权和值。
可选的,对于出现在车辆目标所覆盖的部分图像区域内的像素点,对应设定权重为第一分值;出现在车辆目标设定区域与所框选区域之间的像素点,对应设定权重为第二分值;出现在车辆目标所框选区域外的像素点,对应设定权重为第三分值;基于各像素点在N张交通视频图像帧中,出现在车辆目标所覆盖的部分图像区域内的第一参数值(对应权重为第一分值)、出现在车辆目标设定区域与所框选区域之间的第三参数值(对应权重为第二分值)、出现在车辆目标所框选区域外的第四参数值(对应权重为第三分值),以及分别对应设定的第一分值、第二分值、第三分值,分别计算出各像素点的加权和值;其中第一分值为正(负)值,第二分值为负(正)值,第三分值为0。
例如,对于某像素点M在50张图像帧中,其中有40帧处于车辆目标设定区域内,其中有1帧处于车辆目标设定区域与车辆目标框选区域之间,其中有9帧处于车辆目标所框选区域外,对应得到第一参数值为40次,第三参数值为1次,第四参数值为9次,假设第一分值设置为+1,第二分值设置为-1,第三分值设置为0,即可得到40-1=39,如果第三参数阈值设置为30,那么加权和值大于第三参数阈值,判断该像素点对应位置发生了停车事件。
应当理解,当第一分值设置为负,第三分值设置为正时,判断条件可对应调整。例如第一分值设置为-1,第二分值设置为+1,第三分值设置为0,即可得到-40+1+0=-39,第三参数阈值可调整设置为-30,那么加权和值小于第三参数阈值,判断该像素点对应位置发生了停车事件。
本实施例提供的基于交通视频图像检测停车事件的方法,通过针对设定时长T内的N张交通视频图像帧,分别检测出每一张交通视频图像帧所存在的车辆目标;N大于等于2;计算各像素点对应位置出现在车辆目标设定区域内的第一参数值,和/或出现在车辆目标设定区域外的第二参数值,其中设定区域包括车辆目标所覆盖的至少部分图像区域;基于第一参数值和/或第二参数值,检测是否发生停车事件;相当于基于各位置点在这N张交通视频图像帧中与车辆目标的位置分布关系,包括分布于车辆目标设定区域内外的情况,来检测是否发生停车事件,这种检测方式不再需要跟踪器,避免跟踪器跟踪车辆目标时的高帧率运行要求,这样一方面减少了设备处理负荷,降低了对设备的性能要求,另一方面,也可以有效避免由于跟踪失败导致误检情况的发生,提高了系统稳定性。
实施例二:
为了更好地理解本发明,本实施例在上述实施例一的基础上,提供一种基于交通视频图像检测停车事件的方法,请参见图4,该方法主要包括:
S401、获取交通视频图像帧,并计算得分图。
某监控摄像头实时拍摄高速公路交通状况图像,并上传到服务器。服务器每间隔1秒从中抽取一张图像帧。
假设当前抽取到第一张图像帧,服务器可以根据车辆目标检测算法,检测该第一张图像帧中是否存在车辆目标,如果存在,还可以标注出车辆所处位置51、该车辆对应最小包围矩形52以及设定的中心矩形53位置,请参见图5。另外,中心矩形与其对应最小包围矩形的50%*50%,且中心相同。
假设图像大小为100*100个像素点,针对每一个像素点,确定其与车辆目标中心的位置关系,对于位于该车辆目标中心矩形范围内的像素点,其分值+1;对于位于中心矩形与最小包围矩形之间的像素点,其分值为-1;对于位于最小包围矩形外的像素点,其分值为0;从而得到第一张图像帧的得分图。依次类推,直到完成第50张交通视频帧车辆目标的检测标注、以及得分图。
S402、针对每一个像素点,计算得分和。
例如,对于第1个像素点,按照如下公式,计算其在这50帧图像中的得分和:I1=I1(1)+I1(2)+I1(3)+……+I1(49)+I1(50);I1(i)表示第1个像素点在第i张图像帧中的得分;
针对第2个像素点,其在这50帧图像中的得分和为:I2=I2(1)+I2(2)+I2(3)+……+I2(49)+I2(50);I2(i)表示第2个像素点在第i张图像帧中的得分;
……;
针对第k个像素点,其在这50帧图像中的得分和为:Ik=Ik(1)+Ik(2)+Ik(3)+……+Ik(49)+Ik(50);Ik(i)表示第k个像素点在第i张图像帧中的得分;
……;
针对第9999个像素点,其在这50帧图像中的得分和为:I9999=I9999(1)+I9999(2)+I9999(3)+……+I9999(49)+I9999(50);
针对最后一个像素点,即第10000个像素点,其在这50帧图像中的得分和为:I10000=I10000(1)+I10000(2)+I10000(3)+……+I10000(49)+I10000(50)。
S403、针对每一个像素点,判断其得分和是否大于设定阈值,如是,转至步骤S404,如否,转至步骤S405。
S404、确定该像素点位置发生停车事件,并进行告警。
S405、确定该像素点位置未发生停车事件。
在计算每一像素点的得分和时,可以采用滑动窗累计求和方法进行,例如:
首先计算各像素点前50帧的得分和:I=I(1)+I(2)+I(3)+……+I(49)+I(50);
当第51帧图像到来时,计算第2帧到第51帧,这50帧图像各像素点的得到和:I’=I+I(51)-I(1);
当第52帧图像到来时,计算第3帧到第52帧,这50帧图像各像素点的得到和:I”=I’+I(52)-I(2);以此类推;
按照滑动窗累计求和方法,可以降低计算的时间和空间复杂度。
实施例三:
为了更好地理解本发明,在上述实施例的基础上,还提供一种基于交通视频图像检测停车事件的方法,请参见图6,该方法主要包括:
总体思路:仍然需要车辆目标检测器(但以较低的帧率运行,如1fps~4fps),不再需要跟踪器,当视频中某一位置点过去一段时间(例如100秒)以高频率(例如:大于等于80%)有车辆目标检出,且位于车辆目标的中心区域(例如内部40%*40%)时,判定为停车事件发生在了该位置点。
S601、对每一个图像检测帧而言,检测车辆目标位置及对应的中心区域。
S602、计算各位置点位于车辆中心区域的得分图I。
如果该点属于某个车辆目标中心区域(如内部的40%*40%),那么得分为+1;如果在车辆最小包围矩形外,那么得分为0;如果在最小包围矩形与中心区域之间),那么得分为负(例如-1)。
S603、计算过去一段时间的得分图的平均图像,得到车辆中心频率图avg。
在计算平均图像时,可以采用滑动窗累计求和,然后取平均的方法。
例如要求过去100帧的平均图像。
首先计算各点的得分和:I=I(1)+I(2)+I(3)+……+I(99)+I(100);
然后计算该点平均得分,即得到平均图像:Iavg=I/100;
在第101帧到来时,计算:I’=I+I(101)–I(1);
再计算第2帧至第101帧的平均图像,I’avg=I’/100;
在第102帧到来时,计算:I”=I’+I(102)–I(2);
再计算第3帧至第102帧的平均图像,I”avg=I”/100;
以此类推。
基于每个位置点的平均得分,即得到平均图像,进而可以得到车辆中心频率图avg。
S604、判断各点的平均得分是否大于0.8,如是,转至步骤S605,如否,转至步骤S606。
S605、判定该点发生停车事件。
S606、判定该点未发生停车事件。
为了便于理解,请参见图7,对于一辆停止的车A而言,该车辆中心区域内的各位置点P1的得分始终为+1,那么随着停车时间的增加,该点的平均得分(即中心频率)会趋近于1,大于0.8,系统判定为停车。
继续参见图7,对于车行道上某点P2和路过该点的车辆B而言,当车辆B未进入P2时,车辆B对P2没有贡献;当车辆B刚刚进入P2(也就是P2在B中心区域与最小包围矩形之间的区域)时,车辆B对P2的得分产生负的贡献;当车辆B中心区域进入P2时,车辆B对P的得分产生正的贡献;当车辆B快要驶出P2时,车辆B对P2的得分产生负的贡献。因此,P2平均得分可能会先减小再增加再减小,合理设置的车辆中心区域范围比例、中心区域与最小包围矩形之间的区域负得分,能使路过的车辆不会使P2点的平均得分过高产生误检。当停止的车辆重新启动离开之后,在P2处的平均得分会在一定时间内恢复到0,不再检测为停车。
实施例四:
本实施例提供一种基于交通视频图像检测停车事件的装置,主要用于实现上述实施例一或实施例二或实施例三中所述的基于交通视频图像检测停车事件的方法的步骤,请参见图8,该装置包括处理器81、存储器82及通信总线83;
通信总线83用于实现处理器81和存储器82之间的连接通信;
处理器81用于执行存储器82中存储的一个或者多个程序,以实现如上述实施例一或实施例二或实施例三中所述的基于交通视频图像检测停车事件的方法的步骤。具体请参见上述实施例一至三中的描述,在此不再赘述。
本实施例还提供一种存储介质,例如计算机可读存储介质,该存储介质存储有一个或者多个计算机程序,该程序可被一个或者多个处理器执行,以实现如上述实施例一或实施例二或实施例三中所述的基于交通视频图像检测停车事件的方法的步骤。
显然,本领域的技术人员应该明白,上述本发明的各模块或各步骤可以用通用的计算装置来实现,它们可以集中在单个的计算装置上,或者分布在多个计算装置所组成的网络上,可选地,它们可以用计算装置可执行的程序代码来实现,从而,可以将它们存储在计算机存储介质(ROM/RAM、磁碟、光盘)中由计算装置来执行,并且在某些情况下,可以以不同于此处的顺序执行所示出或描述的步骤,或者将它们分别制作成各个集成电路模块,或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以,本发明不限制于任何特定的硬件和软件结合。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明,不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干简单推演或替换,都应当视为属于本发明的保护范围。
Claims (8)
1.一种基于交通视频图像检测停车事件的方法,其特征在于,包括:
针对设定时长T内同一视频采集设备在固定位置采集得到的最近N张交通视频图像帧,分别检测出每一张所述交通视频图像帧所存在的车辆目标;所述N大于等于2;
针对每一个像素点,计算在所述N张交通视频图像帧中其对应位置出现在车辆目标设定区域内的第一参数值,和/或出现在车辆目标设定区域外的第二参数值,所述设定区域包括所述车辆目标所覆盖的至少部分图像区域;所述第一参数值包括次数值、频率值、加权值中的一种;所述第二参数值包括次数值、频率值、加权值中的一种;
基于该像素点对应计算得到的所述第一参数值和/或所述第二参数值,检测该像素点位置是否发生停车事件,包括:
当基于所述第一参数值检测是否发生停车事件时,包括将所述第一参数值与设定第一参数阈值进行比较,若所述第一参数值在所述设定第一参数阈值范围内,则判断发生停车事件;否则,判断未发生停车事件;
当基于所述第二参数值检测是否发生停车事件时,包括将所述第二参数值与设定第二参数阈值进行比较,若所述第二参数值在所述设定第二参数阈值范围内,则判断发生停车事件;否则,判断未发生停车事件;
当基于所述第一参数值与所述第二参数值检测是否发生停车事件时,所述第一参数值与所述第二参数值的参数类型相同,包括计算所述第一参数值与所述第二参数值的加权和值,将所述加权和值与设定第三参数阈值进行比较,若所述加权和值在所述设定第三参数阈值范围内,则判断发生停车事件;否则,判断未发生停车事件。
2.如权利要求1所述的基于交通视频图像检测停车事件的方法,其特征在于,所述N与所述T之间的第一比值,其范围在1fps到4fps之间。
3.如权利要求1所述的基于交通视频图像检测停车事件的方法,其特征在于,还包括:从外部视频采集设备采集的交通视频图像中,按照设定时间间隔实时获取以得到所述交通视频图像帧。
4.如权利要求1所述的基于交通视频图像检测停车事件的方法,其特征在于,所述设定区域包括所述车辆目标所覆盖的部分图像区域,所述计算各像素点对应位置出现在车辆目标设定区域外的第二参数值包括:
计算各像素点对应位置出现在车辆目标设定区域与所框选区域之间的第三参数值,以及出现在车辆目标所框选区域外的第四参数值;所述第二参数值等于所述第三参数值与所述第四参数值之和。
5.如权利要求4所述的基于交通视频图像检测停车事件的方法,其特征在于,所述计算所述第一参数值与所述第二参数值的加权和值包括:
出现在所述车辆目标所覆盖的部分图像区域内的像素点,对应设定权重为第一分值;出现在所述车辆目标设定区域与所框选区域之间的像素点,对应设定权重为第二分值;出现在所述车辆目标所框选区域外的像素点,对应设定权重为第三分值;基于各像素点在所述N张交通视频图像帧中,出现在车辆目标所覆盖的部分图像区域内的第一参数值、出现在车辆目标设定区域与所框选区域之间的第三参数值和出现在车辆目标所框选区域外的第四参数值,以及分别对应设定的所述第一分值、所述第二分值和所述第三分值,分别计算出各像素点的所述加权和值;所述第一分值为正值,所述第二分值为0,所述第三分值为负值;或者所述第一分值为负值,所述第二分值为0,所述第三分值为正值。
6.如权利要求5所述的基于交通视频图像检测停车事件的方法,其特征在于,所述计算所述第一参数值与所述第二参数值的加权和值包括:采用滑动窗累计求和方法计算所述加权和值。
7.一种基于交通视频图像检测停车事件的装置,其特征在于,所述装置包括处理器、存储器及通信总线;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述处理器用于执行存储器中存储的一个或者多个程序,以实现如权利要求1至6中任一项所述的基于交通视频图像检测停车事件的方法的步骤。
8.一种存储介质,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如权利要求1至6中任一项所述的基于交通视频图像检测停车事件的方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910788350.1A CN110517506B (zh) | 2019-08-26 | 2019-08-26 | 基于交通视频图像检测停车事件的方法、装置及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910788350.1A CN110517506B (zh) | 2019-08-26 | 2019-08-26 | 基于交通视频图像检测停车事件的方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110517506A CN110517506A (zh) | 2019-11-29 |
CN110517506B true CN110517506B (zh) | 2021-10-12 |
Family
ID=68626827
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910788350.1A Active CN110517506B (zh) | 2019-08-26 | 2019-08-26 | 基于交通视频图像检测停车事件的方法、装置及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110517506B (zh) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111862593B (zh) * | 2020-06-03 | 2022-04-01 | 阿波罗智联(北京)科技有限公司 | 交通类事件的上报方法、装置、电子设备及存储介质 |
CN112183204A (zh) * | 2020-08-26 | 2021-01-05 | 深圳市诺龙技术股份有限公司 | 一种停车事件的检测方法和装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8411935B2 (en) * | 2007-07-11 | 2013-04-02 | Behavioral Recognition Systems, Inc. | Semantic representation module of a machine-learning engine in a video analysis system |
US20150086071A1 (en) * | 2013-09-20 | 2015-03-26 | Xerox Corporation | Methods and systems for efficiently monitoring parking occupancy |
CN103971521B (zh) * | 2014-05-19 | 2016-06-29 | 清华大学 | 道路交通异常事件实时检测方法及装置 |
CN204856897U (zh) * | 2015-05-08 | 2015-12-09 | 天津大学 | 一种机动车即停即离区域的违章检测装置 |
CN105046948A (zh) * | 2015-05-08 | 2015-11-11 | 天津大学 | 一种黄色网格线区域内交通违章停车监测系统和方法 |
CN105574502A (zh) * | 2015-12-15 | 2016-05-11 | 中海网络科技股份有限公司 | 一种自助发卡机违章行为自动检测方法 |
CN107181908B (zh) * | 2016-03-11 | 2020-09-11 | 松下电器(美国)知识产权公司 | 图像处理方法、图像处理装置及计算机可读记录介质 |
CN106023259B (zh) * | 2016-05-26 | 2018-12-07 | 史方 | 一种运动目标频率检测方法及装置 |
WO2018126323A1 (en) * | 2017-01-06 | 2018-07-12 | Sportlogiq Inc. | Systems and methods for behaviour understanding from trajectories |
CN107424412A (zh) * | 2017-09-21 | 2017-12-01 | 程丹秋 | 一种交通行为分析系统 |
CN109887281B (zh) * | 2019-03-01 | 2021-03-26 | 北京云星宇交通科技股份有限公司 | 一种监控交通事件的方法及系统 |
CN110163107B (zh) * | 2019-04-22 | 2021-06-29 | 智慧互通科技股份有限公司 | 一种基于视频帧识别路侧停车行为的方法及装置 |
-
2019
- 2019-08-26 CN CN201910788350.1A patent/CN110517506B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN110517506A (zh) | 2019-11-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110769246B (zh) | 一种检测监控设备故障的方法、装置 | |
US7961953B2 (en) | Image monitoring system | |
EP1958460B1 (en) | System and method for automatic camera health monitoring | |
CN109711318B (zh) | 一种基于视频流的多人脸检测与跟踪方法 | |
JP2013218679A (ja) | 短時間の駐車違反を取り締まるための、ビデオベースの検知装置及び通知装置 | |
CN110517506B (zh) | 基于交通视频图像检测停车事件的方法、装置及存储介质 | |
CN103929592A (zh) | 全方位智能监控设备及方法 | |
CN111508236A (zh) | 一种公路车辆安全检测系统 | |
KR101852058B1 (ko) | 듀얼 카메라를 이용한 돌발 상황 감지방법 | |
US20210374426A1 (en) | Occupancy control apparatus | |
CN113205692B (zh) | 一种路侧停车泊位异常变动的自动识别方法 | |
CN112776856A (zh) | 轨道异物侵限监测方法、装置、系统及监控主机设备 | |
CN110868568A (zh) | 空管外台站的视频监控方法及装置 | |
CN116311727A (zh) | 入侵响应方法、装置、设备及可读存储介质 | |
JP2002357557A (ja) | 道路や周辺施設等の管理システム | |
EP3432575A1 (en) | Method for performing multi-camera automatic patrol control with aid of statistics data in a surveillance system, and associated apparatus | |
CN114973564A (zh) | 一种无光照条件下的远距离人员入侵检测方法以及装置 | |
CN112560546A (zh) | 抛洒行为检测方法、装置及存储介质 | |
CN111460949B (zh) | 一种输电线路防外力破坏实时监测方法和系统 | |
KR102434154B1 (ko) | 영상감시시스템에서의 고속 이동물체의 위치 및 모션 캡쳐 방법 | |
CN115909223A (zh) | 一种wim系统信息与监控视频数据匹配的方法和系统 | |
CN111343431B (zh) | 基于图像矫正的机场目标检测系统 | |
CN211710855U (zh) | 无人自主综合报警系统 | |
Sofwan et al. | Design of smart open parking using background subtraction in the IoT architecture | |
CN113378728A (zh) | 一种监控方法、系统、电子设备及计算机可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
CB02 | Change of applicant information |
Address after: 401120 12th floor, building 11, No.106, west section of Jinkai Avenue, Yubei District, Chongqing Applicant after: Chongqing tongtochi Information Technology Co., Ltd Address before: 401120 12th floor, building 11, No.106, west section of Jinkai Avenue, Yubei District, Chongqing Applicant before: CHONGQING TONGJI TONLEA INFORMATION TECHNOLOGY Co.,Ltd. |
|
CB02 | Change of applicant information | ||
GR01 | Patent grant | ||
GR01 | Patent grant |