CN110491135B - 检测违章停车的方法及相关装置 - Google Patents

检测违章停车的方法及相关装置 Download PDF

Info

Publication number
CN110491135B
CN110491135B CN201910768655.6A CN201910768655A CN110491135B CN 110491135 B CN110491135 B CN 110491135B CN 201910768655 A CN201910768655 A CN 201910768655A CN 110491135 B CN110491135 B CN 110491135B
Authority
CN
China
Prior art keywords
area
target vehicle
vehicle
images
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910768655.6A
Other languages
English (en)
Other versions
CN110491135A (zh
Inventor
辛彦哲
林国泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Sensetime Technology Co Ltd
Original Assignee
Shenzhen Sensetime Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Sensetime Technology Co Ltd filed Critical Shenzhen Sensetime Technology Co Ltd
Priority to CN201910768655.6A priority Critical patent/CN110491135B/zh
Publication of CN110491135A publication Critical patent/CN110491135A/zh
Application granted granted Critical
Publication of CN110491135B publication Critical patent/CN110491135B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/021Services related to particular areas, e.g. point of interest [POI] services, venue services or geofences
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Abstract

本申请公开了一种检测违章停车的方法及相关装置。该方法包括:获取多帧待处理图像的车辆框的位置;所述多帧待处理图像的车辆框均包含目标车辆;对所述多帧待处理图像的车辆框的位置进行曲线拟合,得到所述多帧待处理图像的车辆框的位置与时间的函数关系;根据所述函数关系得到任意时刻下的车辆框的位置,并根据所述任意时刻下的车辆框的位置和预设区域的位置确定所述目标车辆是否在预设区域内;在所述目标车辆在所述预设区域内且持续时长达到时间阈值的情况下,确定所述目标车辆是否违章停车。还公开了相关装置。以检测车辆是否违章停车。

Description

检测违章停车的方法及相关装置
技术领域
本申请涉及计算机视觉技术领域,尤其涉及一种检测违章停车的方法及相关装置。
背景技术
随着人们生活水平的提高,道路上的车辆越来越多,违章停车的车辆也越来越多,如何有效的通过监控摄像头采集的视频流确定目标车辆的是否违章停车具有重要意义。
传统方法通过在车辆上安装射频传感器,并通过射频传感器检测车辆是否处于违章停车区域内,以实现检测车辆是否违章停车。但该种方法需要相关执法部门要求车辆安装射频传感器,执行难度较大。
发明内容
本申请提供一种检测违章停车的方法及相关装置,以检测车辆是否违章停车。
第一方面,提供了一种检测违章停车的方法,所述方法包括:获取多帧待处理图像中目标车辆的位置;基于所述多帧待处理图像中目标车辆的位置与所述多帧待处理图像的时间戳确定所述多帧待处理图像的所述目标车辆的位置与时间之间的关系;在根据所述关系中任意时刻下的所述目标车辆的位置确定所述目标车辆在预设区域内,且持续时长大于或等于时间阈值的情况下,确定所述目标车辆违章停车。
在该方面中,通过对多帧待处理图像进行车辆检测得到多帧待处理图像中目标车辆的位置,再基于多帧待处理图像中目标车辆的位置与多帧待处理图像的时间戳确定多帧待处理图像的所述目标车辆的位置与时间之间的关系,进而可得到任意时刻下目标车辆的位置。再根据任意时刻下目标车辆的位置判断目标车辆是否在预设区域(即违章停车区域)内,可提高后续基于目标车辆在预设区域内的持续时长判断目标车辆是否违章停车的准确率。而通过将目标车辆在违章停车区域内的持续时长与时间阈值进行比较,可减小将在违章停车区域内上下人员或装下物品的目标车辆误识别为违章停车的概率。
在一种可能实现的方式中,所述基于所述多帧待处理图像的目标车辆的位置与所述多帧待处理图像的时间戳确定所述多帧待处理图像的所述目标车辆的位置与时间之间的关系,包括:对所述多帧待处理图像中目标车辆的位置进行曲线拟合,得到所述多帧待处理图像中目标车辆的位置与时间之间的关系。
在该种可能实现的方式中,通过对多帧待处理图像中目标车辆的位置进行曲线拟合可得到多帧待处理图像中目标车辆的位置与时间之间的关系,进而可根据该关系确定任意时刻下的目标车辆的位置。
在另一种可能实现的方式中,所述在根据所述关系中任意时刻下的所述目标车辆的位置确定所述目标车辆在预设区域内,且持续时长大于或等于时间阈值的情况下,确定所述目标车辆违章停车,包括:根据所述任意时刻下所述目标车辆的位置和所述预设区域的位置,得到所述任意时刻下所述目标车辆覆盖的区域与所述预设区域的第一面积重合度;在所述第一面积重合度大于或等于第一面积重合度阈值,且持续时长大于或等于所述时间阈值的情况下,确定所述目标车辆违章停车。
在该种可能实现的方式中,根据任意时刻下的目标车辆的位置,可得到任意时刻下目标覆盖的区域与预设区域的第一面积重合度。进而可根据第一面积重合度判断目标车辆是否处于预设区域内,并根据目标车辆在预设区域内的持续时长判断目标车辆是否违章停车。
在又一种可能实现的方式中,所述在所述第一面积重合度大于或等于第一面积重合度阈值,且持续时长大于或等于所述时间阈值的情况下,确定所述目标车辆违章停车,包括:将所述第一面积重合度达到所述第一面积重合度阈值的时间戳作为参考时间戳,并将所述参考时间戳下所述目标车辆覆盖的区域作为参考区域;确定所述参考时间戳之后的任意时刻下所述目标车辆覆盖的区域与所述参考区域的重合区域的面积,作为第一重合面积;确定所述第一重合面积与所述参考区域的面积的比值,作为第二面积重合度;在所述第一面积重合度大于或等于所述第一面积重合度阈值,且持续时长大于或等于所述时间阈值,且所述持续时长内的所述第二面积重合度大于第二面积重合度阈值的情况下,确定所述目标车辆为违章停车。
在该种可能实现的方式中,通过第二面积重合度与第二面积重合度阈值的大小关系可判断目标车辆的移动幅度,进而可根据移动幅度判断目标车辆是否发生了缓慢移动。
在又一种可能实现的方式中,所述目标车辆的位置包括包含所述目标车辆的车辆框的位置;所述根据所述任意时刻下所述目标车辆的位置和预设区域的位置,得到任意时刻下所述目标车辆覆盖的区域与所述预设区域的第一面积重合度,包括:根据所述车辆框的位置和所述预设区域的位置,确定所述车辆框包含的区域与所述预设区域的重合区域的面积,作为第二重合面积;确定所述第二重合面积与所述车辆框包含的区域的面积的比值,作为所述第一面积重合度。
在该种可能实现的方式中,根据目标车辆的位置确定目标车辆覆盖的区域与预设区域的重合区域的面积,再通过计算重合区域的面积和预设区域的面积的商可得到第一面积重合度。
在又一种可能实现的方式中,所述方法还包括:在确定所述目标车辆为违章停车的情况下,获取所述目标车辆的车牌信息;将包括所述车牌信息的第一提示信息发送至终端。
在该种可能实现的方式中,在确定目标车辆为违章停车的情况下,向终端发送包含车牌信息的第一提示信息,终端用户可根据第一提示信息中的车牌信息找到目标车辆。
在又一种可能实现的方式中,所述方法还包括:在接收到所述终端发送的所述车牌信息无效的信息的情况下,获取所述目标车辆的车辆属性;所述车辆属性包括以下至少一种:车辆类型、车辆品牌、车辆型号、车身颜色;将包括所述目标车辆的车辆属性的第二提示信息发送至所述终端。
在该种可能实现的方式中,在无法通过车牌信息找到目标车辆的情况下,向终端发送包含车牌信息的第二提示信息,终端用户可根据第二提示信息中的车辆属性找到目标车辆。
在又一种可能实现的方式中,所述获取多帧待处理图像中目标车辆的位置之前,所述方法还包括:获取待处理视频流;对所述待处理视频流中的图像进行车辆检测,确定所述待处理视频流中包含车辆的图像,作为待选图像集;确定所述待选图像集中包含相同车辆的多帧图像作为所述多帧待处理图像,并将所述多帧待处理图像中包含的相同车辆作为所述目标车辆。
在该种可能实现的方式中,通过对摄像头采集的视频流中的图像进行车辆检测,获得多帧待处理图像,并确定目标车辆。
在又一种可能实现的方式中,所述多帧待处理图像中相邻两帧图像的时间间隔小于时间间隔阈值。
在该种可能实现的方式中,通过设置多帧待处理图像中相邻两帧图像的时间间隔阈值,可提高基于多帧待处理图像确定的多帧待处理图像中目标车辆的位置和时间的关系的精确度,进而提高检测目标车辆是否违章停车的精确度。
第二方面,提供了一种检测违章停车的装置,所述装置包括:第一获取单元,用于获取多帧待处理图像中目标车辆的位置;第一处理单元,用于基于所述多帧待处理图像中目标车辆的位置与所述多帧待处理图像的时间戳确定所述多帧待处理图像的所述目标车辆的位置与时间之间的关系;第二处理单元,用于在根据所述关系中任意时刻下的所述目标车辆的位置确定所述目标车辆在预设区域内,且持续时长大于或等于时间阈值的情况下,确定所述目标车辆违章停车。
在一种可能实现的方式中,所述第一处理单元用于:对所述多帧待处理图像中目标车辆的位置进行曲线拟合,得到所述多帧待处理图像中目标车辆的位置与时间之间的关系。
在另一种可能实现的方式中,所述第二处理单元用于:根据所述任意时刻下所述目标车辆的位置和所述预设区域的位置,得到所述任意时刻下所述目标车辆覆盖的区域与所述预设区域的第一面积重合度;以及在所述第一面积重合度大于或等于第一面积重合度阈值,且持续时长大于或等于所述时间阈值的情况下,确定所述目标车辆违章停车。
在又一种可能实现的方式中,所述第一处理单元用于:将所述第一面积重合度达到所述第一面积重合度阈值的时间戳作为参考时间戳,并将所述参考时间戳下所述目标车辆覆盖的区域作为参考区域;以及确定所述参考时间戳之后的任意时刻下所述目标车辆覆盖的区域与所述参考区域的重合区域的面积,作为第一重合面积;以及确定所述第一重合面积与所述参考区域的面积的比值,作为第二面积重合度;以及在所述第一面积重合度大于或等于所述第一面积重合度阈值,且持续时长大于或等于所述时间阈值,且所述持续时长内的所述第二面积重合度大于第二面积重合度阈值的情况下,确定所述目标车辆为违章停车。
在又一种可能实现的方式中,所述目标车辆的位置包括包含所述目标车辆的车辆框的位置,所述第二处理单元用于:根据所述车辆框的位置和所述预设区域的位置,确定所述车辆框包含的区域与所述预设区域的重合区域的面积,作为第二重合面积;以及确定所述第二重合面积与所述车辆框包含的区域的面积的比值,作为所述第一面积重合度。
在又一种可能实现的方式中,所述检测违章停车的装置还包括:第二获取单元,用于在确定所述目标车辆为违章停车的情况下,获取所述目标车辆的车牌信息;发送单元,用于将包括所述车牌信息的第一提示信息发送至终端。
在又一种可能实现的方式中,所述检测违章停车的装置还包括:所述第二获取单元,还用于在接收到所述终端发送的所述车牌信息无效的信息的情况下,获取所述目标车辆的车辆属性;所述车辆属性包括以下至少一种:车辆类型、车辆品牌、车辆型号、车身颜色;所述发送单元,还用于将包括所述目标车辆的车辆属性的第二提示信息发送至所述终端。
在又一种可能实现的方式中,所述检测违章停车的装置还包括:第三获取单元,用于在所述获取多帧待处理图像中目标车辆的位置之前,获取待处理视频流;检测单元,用于对所述待处理视频流中的图像进行车辆检测,确定所述待处理视频流中包含车辆的图像,作为待选图像集;确定单元,用于确定所述待选图像集中包含相同车辆的多帧图像作为所述多帧待处理图像,并将所述多帧待处理图像中包含的相同车辆作为所述目标车辆。
在又一种可能实现的方式中,所述多帧待处理图像中相邻两帧图像的时间间隔小于时间间隔阈值。
第三方面,提供了一种处理器,所述处理器用于执行如上述第一方面及其任意一种可能实现的方式的方法。
第四方面,提供了一种电子设备,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。
第五方面,提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被电子设备的处理器执行时,使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。
第六方面,提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面及其任一种可能的实现方式的方法。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,而非限制本公开。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
此处的附图被并入说明书中并构成本说明书的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。
图1为本申请实施例提供的一种检测违章停车的方法的流程示意图;
图2为本申请实施例提供的一种车辆框的位置的示意图;
图3为本申请实施例提供的一种对多帧待处理图像的车辆框的位置进行曲线拟合的示意图;
图4为本申请实施例提供的另一种检测违章停车的方法的流程示意图;
图5为本申请实施例提供的另一种检测违章停车的方法的流程示意图;
图6为本申请实施例提供的一种检测违章停车的装置的结构示意图;
图7为本申请实施例提供的一种检测违章停车的装置的硬件结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
下面结合本申请实施例中的附图对本申请实施例进行描述。
请参阅图1,图1是本申请实施例(一)提供的一种检测违章停车的方法的流程示意图。
101、获取多帧待处理图像中目标车辆的位置。
本申请实施例的执行主体可以是服务器,服务器可与监控摄像头相连,监控摄像头可将采集到的视频发送至服务器,服务器可将监控摄像头发送的视频中包含同一车辆的多帧图像作为多帧待处理图像,而多帧待处理图像中包含的相同车辆即为目标车辆。
需要理解的是,上述多帧视频图像可以是多帧连续的视频图像,也可以不是连续的视频图像。而目标车辆可以是一辆,也可以是多辆,即多帧待处理图像中可以包含一辆或多辆相同的车辆。
举例来说(例1),摄像头采集的视频流包含10帧图像,其中,第1帧图像、第2帧图像、第3帧图像、第6帧图像、第8帧图像、第9帧图像中均包含车辆A,则可将第1帧图像、第2帧图像、第3帧图像、第6帧图像、第8帧图像、第9帧图像作为多帧待处理图像,其中,第1帧图像的时间戳小于第2帧图像的时间戳,第2帧图像的时间戳小于第3帧图像的时间戳,…,第9帧图像的时间戳小于第10帧图像的时间戳。
本申请实施例中,服务器可通过任意车辆检测算法对待处理图像进行车辆检测,其中,车辆检测算法可以是只需一眼算法(you only look once,YOLO)、目标检测算法(deformable part model,DMP)、单张图像多目标检测算法(single shotmultiBoxdetector,SSD)、Faster-RCNN算法等等,本申请对车辆检测算法不做具体限定。
通过车辆检测算法对每一帧待处理图像进行车辆检测,可得到每一帧待处理图像中目标车辆的位置。其中,目标车辆的位置可以是包含目标车辆的车辆框的位置,目标车辆的位置还可以是目标车辆的轮廓上的关键点的位置,上述位置均指在待处理图像的坐标系下的坐标。
举例来说,如图2所示,待处理图像A包含目标车辆B,使用车辆检测算法对A进行车辆检测,得到包含B的车辆框abcd的顶角a在图像坐标系xoy下的坐标(x1,y1)和顶角c在图像坐标系xoy下的坐标(x2,y2),或得到车辆框abcd的顶角b在图像坐标系xoy下的坐标(x2,y2)和顶角d在图像坐标系xoy下的坐标(x4,y4)。再将顶角a和顶角c的坐标作为目标车辆的位置,或将顶角b和顶角d的坐标作为目标车辆的位置。
102、基于该多帧待处理图像中目标车辆的位置与该多帧待处理图像的时间戳确定该多帧待处理图像的目标车辆的位置与时间之间的关系。
本申请实施例中,每一帧待处理图像均包含时间戳,该时间戳表征待处理图像的采集时间。可选的,按时间戳从小到大的顺序对多帧待处理图像排序可得到视频帧序列。
如上所述,每一帧待处理图像均有包含目标车辆的位置,按待处理图像的时间戳的从小到大的顺序对每一帧待处理图像中目标车辆的位置排序可得到目标车辆的位置序列,即目标辆车的在不同时刻下的位置。再根据该多帧待处理图像中目标车辆的位置与该多帧待处理图像的时间戳可确定该多帧待处理图像的目标车辆的位置与时间之间的关系。其中,多帧待处理图像的目标车辆的位置与时间之间的关系包含目标车辆在任意时刻下的位置。
在一种可能实现的方式中,通过对多帧待处理图像中目标车辆的位置进行曲线拟合,可得到多帧待处理图像中目标车辆的位置与时间之间的关系。如图3所示,若以X轴表示时间、Y轴表示目标车辆的位置建立坐标系XOY,则可根据每一帧待处理图像的时间戳以及每一帧帧待处理图像中目标车辆的位置在坐标系XOY中确定唯一的一个点。从图3中可以看出,多帧待处理图像在坐标系XOY中的点是离散的,也就是说,任意两帧待处理图像之间的任意时刻下,包含目标车辆的位置是未知的。通过对多帧待处理图像中目标车辆的位置进行曲线拟合,可得到一条包含多帧待处理图像在坐标系XOY中的点的曲线。
在该种可能实现的方式中,曲线拟合是通过连续曲线近似地刻画或比拟平面上多个离散点所表示的坐标之间的关系的一种数据处理方法。也就是说,通过对多帧待处理图像的车辆框的位置进行曲线拟合,可得到多帧待处理图像中目标车辆的位置与时间的关系,进而得到任意两帧待处理图像之间的任意时刻下目标车辆的位置。
在另一种可能实现的方式中,可通过其他算法根据每一帧待处理图像中目标车辆的位置确定目标车辆在任意时刻下的位置,并根据目标车辆在任意时刻下的位置确定多帧待处理图像中目标车辆的位置与时间的关系。
103、在根据该关系中任意时刻下的目标车辆的位置确定目标车辆在预设区域内,且持续时长大于或等于时间阈值的情况下,确定该目标车辆违章停车。
本申请实施例中,预设区域即为违章停车区域,且预设区域可根据用户的使用情况进行调整。在一种可能实现的方式中,用户可在摄像头的监控区域内依次选取多个预设点,并将多个预设点依次连接,得到一个包含多个预设点的封闭的多边形,并将该多边形包含的区域作为预设区域。
本实施例中,根据102得到的多帧待处理图像的目标车辆的位置与时间之间的关系可得到任意时刻下目标车辆的位置,再根据任意时刻下目标车辆的位置和预设区域的位置可确定目标车辆是否在预设区域内(即目标车辆是否在违章停车区域内)。在一种可能实现的方式中,判断目标车辆的位置是否在预设区域内,若是,表征目标车辆在违章停车区域内,若否表征目标车辆不在违章停车区域内。
举例来说,假定目标车辆的位置为包含目标车辆的车辆框的位置,在包含目标车辆的车辆框的任意一个顶角的坐标均在预设区域内的情况下,目标车辆处于违章停车区域内,在包含目标车辆的车辆框的任意一个或多个顶角的坐标不在预设区域内的情况下,目标车辆不处于违章停车区域内。
再举例来说,假定目标车辆的位置为目标车辆的轮廓上的关键点的位置,在所有关键点的坐标均在预设区域内的情况下,目标车辆处于违章停车区域内,在任意一个或多个关键点的坐标不在预设区域内的情况下,目标车辆不处于违章停车区域内。
在另一种可能实现的方式中,预设区域的面积为已知,通过目标车辆覆盖的区域与预设区域的重合区域的面积与预设区域的面积的比值可判断目标车辆是否在预设区域内。首先基于102得到的关系可确定任意时刻下目标车辆的位置,再根据任意时刻下目标车辆的位置可确定任意时刻下目标车辆覆盖的区域的面积,进而可得到任意时刻下目标车辆框覆盖的区域与预设区域的第一面积重合度。再将第一面积重合度与预先设定的第一面积重合度阈值进行比较,若第一面积重合度大于或等于第一面积重合度阈值,表征目标车辆在预设区域内,若第一面积重合度小于第一面积重合度阈值,表征目标车辆不在预设区域内。其中,第一面积重合度阈值可根据用户的实际使用情况进行调整。
根据《中华人民共和国道路交通安全法实施条例》第63条规定,车辆在违章停车区域(具体可参见《中华人民共和国道路交通安全法实施条例》第63条规定)停车属于违章停车,而对于在违章停车区域上下人员或装卸物品的车辆则不属于违章停车。
在违章停车区域上下人员或装卸物品的车辆通常在违章停车区域逗留的时间一般较短。因此,本实施例通过引入时间阈值用于判断目标车辆是否属于违章停车车辆。即当目标车辆处于违章停车区域内,且在违章区域内的时间超过时间阈值时,判定该目标车辆为违章停车。
本申请实施例中,持续时长指目标车辆在违章停车区域内的持续时长。若持续时长大于或等于时间阈值,表征目标车辆并非在违章停车区域内上下人员或装卸物品,因此可判断目标车辆为违章停车。可选的,时间阈值为3分钟。
本实施例通过对多帧待处理图像进行车辆检测得到多帧待处理图像中目标车辆的位置,再基于多帧待处理图像中目标车辆的位置与多帧待处理图像的时间戳确定多帧待处理图像的所述目标车辆的位置与时间之间的关系,进而可得到任意时刻下目标车辆的位置。再根据任意时刻下目标车辆的位置判断目标车辆是否在预设区域(即违章停车区域)内,可提高后续基于目标车辆在预设区域内的持续时长判断目标车辆是否违章停车的准确率。而通过将目标车辆在违章停车区域内的持续时长与时间阈值进行比较,可减小将在违章停车区域内上下人员或装下物品的目标车辆误识别为违章停车的概率。
实施例(一)中违章停车的车辆处于违章停车区域内并未移动,但现实中还有这么一种情况,车辆在违章停车区域内缓慢移动,且持续时长达到了实施例(一)中的时间阈值。显然,该车辆虽然处于违章停车区域内,但并不属于违章停车,为减小将这类情况下的车辆误识别为违章停车,本申请实施例提供了另一种判断目标车辆是否违章停车的方法。
请参阅图4,图4是本申请实施例(二)提供的实施例(一)中103的一种可能实现的方式的流程示意图。
401、将第一面积重合度达到第一面积重合度阈值的时间戳作为参考时间戳,并将该参考时间戳下该目标车辆覆盖的区域作为参考区域。
本实施例中,参考时间戳为目标车辆覆盖的区域与预设区域的第一面积重合度第一次达到第一面积重合度阈值时的时间戳。
接着例1继续举例(例2),假定多帧待处理图像中目标车辆覆盖的区域与预设区域的第一面积重合度达到第一面积重合度阈值的图像为第3帧图像、第6帧图像、第8帧图像,则第一次达到面积重合度的时间戳为第3帧图像的时间戳,也就是说,第3帧图像的时间戳为参考时间戳。
在确定参考时间戳之后,可将参考时间戳下目标车辆覆盖的区域作为参考区域。
402、确定该参考时间戳之后的任意时刻下目标车辆覆盖的区域与该参考区域的重合区域的面积,作为第一重合面积。
如上所述,车辆在违章停车区域内缓慢移动,且持续时长达到了实施例(一)中的时间阈值,但车辆并不是违章停车车辆。例如:在拥挤的道路上,车辆始终在缓慢移动,但由于交通过于拥堵,车辆在道路(即违章停车区域)内的持续时长达到了时间阈值,且在持续时长内的第一面积重合度始终为1。但显然在这种情况下,车辆并不是违章停车。
车辆在移动时车辆覆盖的区域也将发生变化,可选的,首先可根据多帧待处理图像中目标车辆的位置与时间的关系确定任意时刻下目标车辆框的位置,并根据任意时刻下目标车辆的位置判断在目标车辆的位置未发生变化的持续时长,并将目标车辆的位置未发生变化的持续时长与时间阈值进行比较。若目标车辆的位置未发生变化的持续时长大于或等于时间阈值,则确定目标车辆为违章停车,若目标车辆的位置未发生变化的持续时长小于时间阈值,则确定目标车辆非违章停车。
由于待处理图像中存在噪声,且通过车辆检测算法多帧待处理图像进行车辆检测获得的目标车辆的位置也存在误差。因此若直接根据多帧待处理图像中目标车辆的位置与时间的关系中任意时刻下目标车辆侧位置来判断目标车辆的位置是否发生变化存在较大误差。
基于上述考虑,本申请实施例根据目标车辆移动的幅度来判断目标车辆是否发生变化,其中,移动的幅度是相对目标车辆的尺寸(如长度、宽度或覆盖的区域的面积)而言的。在一种可能实现的方式中,根据参考时间戳之后的任意时刻下目标车辆覆盖的区域与参考区域的重合区域的面积(即第一重合面积)的大小,可确定目标车辆的移动幅度。即第一重合面积越大,表征目标车辆的移动幅度越小。
因此,在后续判断目标车辆是否在违章停车区域内进行缓慢移动之前,可根据参考时间戳之后的任意时刻下目标车辆的位置,确定参考时间戳之后任意时刻下的第一重合面积。
403、确定该第一重合面积与该参考区域的面积的比值,作为第二面积重合度。
如402所述,目标车辆的移动幅度是相对目标车辆的尺寸而言的,在一种判断目标车辆的移动幅度的可能实现的方式中,将第一重合面积与参考区域的面积的比值(即第二面积重合度)作为判断目标车辆的移动幅度的依据。即第二面积重合度越大,目标车辆的移动幅度越小,第二面积重合度越小,目标车辆的移动幅度越大。
接着例2继续举例(例3),假定第3帧图像的车辆框的面积为10,第6帧图像的车辆框与第3帧图像的车辆框的重合区域的面积为3,第8帧图像的车辆框与第3帧图像的车辆框的重合区域的面积为1。则第6帧图像的车辆框所包含的区域与参考区域的第二面积重合度为3/10=0.3,第8帧图像的车辆框所包含的区域与参考区域的第二面积重合度为1/10=0.1。
将第二面积重合度与第二面积重合度阈值进行比较,若参考时间戳后的任意时刻下的第二面积重合度均大于第二面积重合度阈值,表征在参考时间戳后目标车辆的移动幅度较小(即未发生缓慢移动),若参考时间戳后的某一时间戳(下文将称为目标时间戳)的第二面积重合度均小于或等于第二面积重合度阈值,表征在参考时间戳至目标时间戳的这段时间内目标车辆的移动幅度较大(即发生了缓慢移动)。可选的,第二面积重合度阈值为0。
接着例3继续举例(例4),若第二面积重合度阈值为0.2,则第8帧图像中目标车辆覆盖的区域与参考区域的第二面积重合度小于第二面积重合度阈值(0.1<0.2),即目标车辆在第3帧图像的时间戳至第8帧图像的时间戳之间的这段时间内发生了缓慢移动。若第二面积重合度阈值为0.1,则第6帧图像中目标车辆框覆盖的区域与参考区域的第二面积重合度大于第二面积重合度阈值(0.3>0.1),即目标车辆在第3帧图像的时间戳至第6帧图像的时间戳之间的这段时间内未发生缓慢移动。
404、在第一面积重合度大于或等于该第一面积重合度阈值,且持续时长大于或等于该时间阈值,且持续时长内的第二面积重合度大于该第二面积重合度阈值的情况下,确定该目标车辆为违章停车。
如403所述,第二面积重合度大于第二面积重合度阈值表征目标车辆未发生缓慢移动,因此在实施例(一)判断目标车辆是否违章停车的条件的基础上增加上述判断车辆是否发生缓慢移动的条件即可减小将在违章停车区域内缓慢移动的车辆误识别为违章停车的概率。即在第一面积重合度达到面积重合度阈值,且持续时长达到时间阈值,且在持续时长内的除参考时间戳之外的任意时刻下目标车辆覆盖的区域与参考区域的第二面积重合度大于第二面积重合度阈值的情况下,确定目标车辆为违章停车。
本实施例通过第二面积重合度与第二面积重合度阈值的大小关系判断目标车辆是否在参考时间戳后发生了缓慢移动,并将该判断方法添加至判断目标车辆是否违章停车的条件中,以识别缓慢行驶的车辆是否违章停车。
请参阅图5,图5是本申请实施例(三)提供的另一种检测违章停车的方法的流程示意图。
501、获取待处理视频流。
本实施例的执行主体为服务器,服务器与监控摄像头之间存在通信连接,服务器可获取监控摄像头实时采集的视频流(即待处理视频流),该监控摄像头可以是道路监控摄像头,也可以是停车场监控摄像头。
502、对该待处理视频流中的图像进行车辆检测,确定该待处理视频流中包含车辆的图像,作为待选图像集。
服务器在获得待处理视频流后,可使用车辆检测算法对待处理视频流中的图像进行车辆检测,并将包含车辆的图像作为待选图像集,用于后续处理。
503、确定该待选图像集中包含相同车辆的多帧图像作为多帧待处理图像,并将该多帧待处理图像中包含的相同车辆作为目标车辆。
在获得待选图像集之后,可对待选图像集中的图像进行车辆匹配处理,即检测待选图像集中不同图像包含的相同车辆。在一种可能实现的方式中,通过匈牙利算法(hungary)对待选图像集中的图像进行处理,确定待选图像集中不同图像包含的相同车辆。在另一种可能实现的方式中,分别对待选图像集中的每张图像中的车辆进行特征提取处理得到车辆特征,再根据每张图像的车辆特征之间的特征匹配度确定待选图像集中不同图像包含的相同车辆。
需要理解的时,待选图像集中不同图像包含的相同车辆可以是一辆,也可以是多辆。举例来说(例5),待选图像集包含图像a、图像b、图像c、图像d、图像e、图像f,其中,图像a包含车辆g和车辆h,图像b包含车辆i和车辆k,图像c包含车辆h和车辆j,图像d包含车辆j和车辆k,图像e包含车辆k和车辆j,像f包含车辆k和车辆j,则待选图像集中不同图像包含的相同车辆总共有3辆,分别是h、j、k。
将待选图像集中包含相同车辆的多帧图像作为多帧待处理图像以便后续基于多帧待处理图像检测车辆是否违章停车。本申请实施例中,多帧待处理图像以图像集的形式存在,即同一个图像集中的多帧待处理图像包含一辆相同的车辆,当待选图像集中不同图像包含的相同车辆为多辆时,获得的图像集的数量也为多个,即每辆相同车辆对应一个图像集。
接着例5继续举例(例6),包含车辆h的图像为a和c,包含车辆j的图像为c和e,包含车辆k的图像为b、d、e和f,则车辆h对应的图像集包含的多帧待处理图像为a和c,车辆j对应的图像集包含的多帧待处理图像为c和e,车辆k对应的图像集包含的多帧待处理图像为b、d、e和f。
可选的,由于后续将基于多帧待处理图像中目标车辆的位置确定任意时刻下目标车辆的位置(即目标车辆的位置与时间的关系),即依据多帧待处理图像中目标车辆的位置预测相邻两帧待处理图像中任意时刻下目标车辆的位置。为提高获得的目标车辆的位置与时间的关系的精确率,可使多帧待处理图像中时间戳相邻两帧图像的时间间隔小于时间间隔阈值。
接着例5继续举例,若时间间隔阈值为0.5s,图像b的时间戳为2019年6月25日10点40分15.1秒,图像d的时间戳为2019年6月25日10点40分15.5秒,图像e的时间戳为2019年6月25日10点40分15.7秒,图像f的时间戳为2019年6月25日10点40分15.9秒。时间戳与图像b的间戳的相近的图像为图像d,且b和d的时间戳之间的时间间隔为0.4秒,该时间间隔小于时间间隔阈值。时间戳与图像d的间戳的相近的图像为图像b和图像e,且d和e的时间戳之间的时间间隔为0.2秒,该时间间隔也小于时间间隔阈值。时间戳与图像e的间戳的相近的图像为图像d和图像f,且e和f的时间戳之间的时间间隔为0.2秒,该时间间隔也小于时间间隔阈值。车辆k对应的多帧待处理图像中间戳相近的两帧图像的时间间隔均满足小于时间间隔阈值的条件。
若包含相同车辆的多帧待处理图像中某一帧待处理图像(下文将称为待确认待处理图像)与相邻待处理图像的时间间隔均大于或等于时间间隔阈值,则将该待确认待处理图像从多帧待处理图像中去除,或在根据包含相同车辆的图像得到多帧待处理图像时就不将该待确认待处理图像添加至多帧待处理图像中。
接着例5继续举例,若时间间隔阈值为0.3s,图像b的时间戳为2019年6月25日10点40分15.1秒,图像d的时间戳为2019年6月25日10点40分15.5秒,图像e的时间戳为2019年6月25日10点40分15.7秒,图像f的时间戳为2019年6月25日10点40分15.9秒。时间戳与图像b的间戳的相近的图像为图像d,且b和d的时间戳之间的时间间隔为0.4秒,该时间间隔大于时间间隔阈值。时间戳与图像d的间戳的相近的图像为图像b和图像e,且d和e的时间戳之间的时间间隔为0.2秒,该时间间隔小于时间间隔阈值。时间戳与图像e的间戳的相近的图像为图像d和图像f,且e和f的时间戳之间的时间间隔为0.2秒,该时间间隔也小于时间间隔阈值。车辆k对应的多帧待处理图像为d、e、f。
504、获取多帧待处理图像中目标车辆的位置。
请参见101,此处将不再赘述。
505、基于该多帧待处理图像中目标车辆的位置与该多帧待处理图像的时间戳确定该多帧待处理图像的目标车辆的位置与时间之间的关系。
请参见102,此处将不再赘述。
可选的,在获得多帧待处理图像的目标车辆的位置与时间之间的关系后,可使用卡尔曼滤波算法对该关系进行滤波处理,以提高该关系中目标车辆的位置的准确度。
506、在根据该关系中任意时刻下的目标车辆的位置确定目标车辆在预设区域内,且持续时长大于或等于时间阈值的情况下,确定该目标车辆违章停车。
如103所述,可通过第一面积重合度与第一面积重合度阈值之间的大小关系判断目标车辆是否在预设区域内,为此本实施例提供了一种在目标车辆的位置为目标车辆的车辆框的位置的情况下获得第一面积重合度的可能实现的方式:根据该车辆框的位置和预设区域的位置,确定车辆框包含的区域与预设区域的重合区域的面积,作为第二重合面积。确定该第二重合面积与该车辆框包含的区域的面积的比值,作为该第一面积重合度。
本申请实施例中,预设区域为多边形区域,车辆框可以是矩形框,因此车辆框包含的区域与预设区域的重合区域(下文将称为重合区域)也为多边形区域,通过计算多边形区域的面积可得到重合区域的面积。在一种可能实现的方式中,在确定重合区域后获取包含重合区域的多边形的所有顶角的坐标,并可根据公式(1)计算得到重合区域的面积
Figure GDA0002194334990000131
其中,C为包含重合区域的多边形,area(C)为C的面积,C的各顶角的坐标分别为(x1y1),(x2y2),…,(xnyn)。
举例来说:假定重合区域为六边形FGHIJK,该六边形的六个顶角的坐标为F(x3,y3),G(x4,y4),H(x5,y5),I(x6,y6),J(x7,y7),K(x8,y8),将这六个顶角的坐标代入公式(1)可得:
Figure GDA0002194334990000132
Figure GDA0002194334990000141
本实施例中,预设区域的面积可以预先存储于服务器,也可基于包含预设区域的多边形的所有顶角的坐标和公式(1)得到预设区域的面积。
在一种可能实现的方式中,服务器获取用户在摄像头的监控区域内依次选取多个预设点的坐标,并可通过基于预设点的坐标和公式(1)得到预设区域的面积。
最终,可根据公式(2)计算得到第一面积重合度。
Figure GDA0002194334990000142
507、将第一面积重合度达到第一面积重合度阈值的时间戳作为参考时间戳,并将该参考时间戳下该目标车辆覆盖的区域作为参考区域。
请参见401,此处将不再赘述。
508、确定该参考时间戳之后的任意时刻下目标车辆覆盖的区域与该参考区域的重合区域的面积,作为第一重合面积。
请参见402,此处将不再赘述。
509、确定该第一重合面积与该参考区域的面积的比值,作为第二面积重合度。
请参见403,此处将不再赘述。
510、在第一面积重合度大于或等于该第一面积重合度阈值,且持续时长大于或等于该时间阈值,且持续时长内的第二面积重合度大于或等于该第二面积重合度阈值的情况下,确定该目标车辆为违章停车。
请参见404,此处将不再赘述。
511、在确定目标车辆为违章停车的情况下,向终端发送提示信息。
在确定目标车辆为违章停车的情况下,可获取目标车辆的车牌信息,并将包括车牌信息的第一提示信息发送至终端。其中,目标车辆的车牌信息可通过车牌识别算法对目标车辆进行识别获得。终端可以是电脑、手机、平板电脑等,第一提示信息用于提示终端用户(如相关执法人员)目标车辆已违章停车,终端用户可根据第一提示信息中的车牌信息找到目标车辆,并对目标车辆的车主进行相应的处罚。
由于部分车辆为盗牌车(又称偷牌车),通过车牌信息无法找到真正违章停车的车辆(即待处理图像中的目标车辆),因此服务器在接收到终端发送的车牌信息无效的信息的情况下,可获取目标车辆的车辆属性,其中,车辆属性包括以下至少一种:车辆类型、车辆品牌、车辆型号、车身颜色。
车牌信息无效即指终端用户无法根据第一提示信息中的车牌信息找到目标车辆,而服务器在接收到终端发送的车牌信息无效的信息的情况下,可进一步获取车辆的车辆属性,并将包括目标车辆的车辆属性的第二提示信息发送至终端。第二提示信息用于提示终端用户根据目标车辆的车辆属性确定目标车辆。
本实施例通过对摄像头采集的待处理视频流进行车辆检测,获得多帧待处理图像,再通过对多帧待处理图像进行处理,可判断多帧待处理图像中的目标车辆是否为违章停车。而在确定目标车辆为违章停车的情况下,可向终端发送提示信息,以向终端用户提示目标车辆已违章停车,终端用户则可根据提示信息中的车牌信息或车辆属性找到目标车辆,以便相关执法人员对目标车辆的车主进行处罚。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。
请参阅图6,图6为本申请实施例提供的一种检测违章停车的装置的结构示意图,该装置1包括:第一获取单元11、第一处理单元12、第二处理单元13、第二获取单元14、发送单元15、第三获取单元16及检测单元17,其中:
第一获取单元11,用于获取多帧待处理图像中目标车辆的位置;
第一处理单元12,用于基于所述多帧待处理图像中目标车辆的位置与所述多帧待处理图像的时间戳确定所述多帧待处理图像的所述目标车辆的位置与时间之间的关系;
第二处理单元13,用于在根据所述关系中任意时刻下的所述目标车辆的位置确定所述目标车辆在预设区域内,且持续时长大于或等于时间阈值的情况下,确定所述目标车辆违章停车。
本实施例通过对多帧待处理图像进行车辆检测得到多帧待处理图像中目标车辆的位置,再基于多帧待处理图像中目标车辆的位置与多帧待处理图像的时间戳确定多帧待处理图像的所述目标车辆的位置与时间之间的关系,进而可得到任意时刻下目标车辆的位置。再根据任意时刻下目标车辆的位置判断目标车辆是否在预设区域(即违章停车区域)内,可提高后续基于目标车辆在预设区域内的持续时长判断目标车辆是否违章停车的准确率。而通过将目标车辆在违章停车区域内的持续时长与时间阈值进行比较,可减小将在违章停车区域内上下人员或装下物品的目标车辆误识别为违章停车的概率。
在一种可能实现的方式中,所述第一处理单元12用于:对所述多帧待处理图像中目标车辆的位置进行曲线拟合,得到所述多帧待处理图像中目标车辆的位置与时间之间的关系。
在另一种可能实现的方式中,所述第二处理单元13用于:根据所述任意时刻下所述目标车辆的位置和所述预设区域的位置,得到所述任意时刻下所述目标车辆覆盖的区域与所述预设区域的第一面积重合度;以及在所述第一面积重合度大于或等于第一面积重合度阈值,且持续时长大于或等于所述时间阈值的情况下,确定所述目标车辆违章停车。
在又一种可能实现的方式中,所述第一处理单元12用于:将所述第一面积重合度达到所述第一面积重合度阈值的时间戳作为参考时间戳,并将所述参考时间戳下所述目标车辆覆盖的区域作为参考区域;以及确定所述参考时间戳之后的任意时刻下所述目标车辆覆盖的区域与所述参考区域的重合区域的面积,作为第一重合面积;以及确定所述第一重合面积与所述参考区域的面积的比值,作为第二面积重合度;以及在所述第一面积重合度大于或等于所述第一面积重合度阈值,且持续时长大于或等于所述时间阈值,且所述持续时长内的所述第二面积重合度大于第二面积重合度阈值的情况下,确定所述目标车辆为违章停车。
在又一种可能实现的方式中,所述目标车辆的位置包括包含所述目标车辆的车辆框的位置,所述第二处理单元13用于:根据所述车辆框的位置和所述预设区域的位置,确定所述车辆框包含的区域与所述预设区域的重合区域的面积,作为第二重合面积;以及确定所述第二重合面积与所述车辆框包含的区域的面积的比值,作为所述第一面积重合度。
在又一种可能实现的方式中,所述检测违章停车的装置1还包括:第二获取单元14,用于在确定所述目标车辆为违章停车的情况下,获取所述目标车辆的车牌信息;发送单元15,用于将包括所述车牌信息的第一提示信息发送至终端。
在又一种可能实现的方式中,所述检测违章停车的装置1还包括:所述第二获取单元14,还用于在接收到所述终端发送的所述车牌信息无效的信息的情况下,获取所述目标车辆的车辆属性;所述车辆属性包括以下至少一种:车辆类型、车辆品牌、车辆型号、车身颜色;所述发送单元,还用于将包括所述目标车辆的车辆属性的第二提示信息发送至所述终端。
在又一种可能实现的方式中,所述检测违章停车的装置1还包括:第三获取单元16,用于在所述获取多帧待处理图像中目标车辆的位置之前,获取待处理视频流;检测单元17,用于对所述待处理视频流中的图像进行车辆检测,确定所述待处理视频流中包含车辆的图像,作为待选图像集;确定单元,用于确定所述待选图像集中包含相同车辆的多帧图像作为所述多帧待处理图像,并将所述多帧待处理图像中包含的相同车辆作为所述目标车辆。
在又一种可能实现的方式中,所述多帧待处理图像中相邻两帧图像的时间间隔小于时间间隔阈值。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
图7为本申请实施例提供的一种检测违章停车的装置的硬件结构示意图。该检测违章停车的装置2包括处理器21,存储器22,输入装置23,输出装置24。该处理器21、存储器22、输入装置23和输出装置24通过连接器相耦合,该连接器包括各类接口、传输线或总线等等,本申请实施例对此不作限定。应当理解,本申请的各个实施例中,耦合是指通过特定方式的相互联系,包括直接相连或者通过其他设备间接相连,例如可以通过各类接口、传输线、总线等相连。
处理器21可以是一个或多个图形处理器(graphics processing unit,GPU),在处理器21是一个GPU的情况下,该GPU可以是单核GPU,也可以是多核GPU。可选的,处理器21可以是多个GPU构成的处理器组,多个处理器之间通过一个或多个总线彼此耦合。可选的,该处理器还可以为其他类型的处理器等等,本申请实施例不作限定。
存储器22可用于存储计算机程序指令,以及用于执行本申请方案的程序代码在内的各类计算机程序代码。可选地,存储器包括但不限于是随机存储记忆体(random accessmemory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasableprogrammable read only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器用于相关指令及数据。
输入装置23用于输入数据和/或信号,以及输出装置24用于输出数据和/或信号。输出装置23和输入装置24可以是独立的器件,也可以是一个整体的器件。
可理解,本申请实施例中,存储器22不仅可用于存储相关指令,还可用于存储相关图像,如该存储器22可用于存储通过输入装置23获取的待搜索神经网络,又或者该存储器22还可用于存储通过处理器21搜索获得的目标神经网络等等,本申请实施例对于该存储器中具体所存储的数据不作限定。
可以理解的是,图7仅仅示出了一种检测违章停车的装置的简化设计。在实际应用中,检测违章停车的装置还可以分别包含必要的其他元件,包含但不限于任意数量的输入/输出装置、处理器、存储器等,而所有可以实现本申请实施例的检测违章停车的装置都在本申请的保护范围之内。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。所属领域的技术人员还可以清楚地了解到,本申请各个实施例描述各有侧重,为描述的方便和简洁,相同或类似的部分在不同实施例中可能没有赘述,因此,在某一实施例未描述或未详细描述的部分可以参见其他实施例的记载。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者通过所述计算机可读存储介质进行传输。所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriberline,DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,数字通用光盘(digital versatiledisc,DVD))、或者半导体介质(例如固态硬盘(solid state disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:只读存储器(read-only memory,ROM)或随机存储存储器(random access memory,RAM)、磁碟或者光盘等各种可存储程序代码的介质。

Claims (17)

1.一种检测违章停车的方法,其特征在于,所述方法包括:
获取多帧待处理图像中目标车辆的位置;
基于所述多帧待处理图像中目标车辆的位置与所述多帧待处理图像的时间戳确定所述多帧待处理图像的所述目标车辆的位置与时间之间的关系;
根据任意时刻下所述目标车辆的位置和预设区域的位置,得到所述任意时刻下所述目标车辆覆盖的区域与所述预设区域的第一面积重合度;
将所述第一面积重合度达到所述第一面积重合度阈值的时间戳作为参考时间戳,并将所述参考时间戳下所述目标车辆覆盖的区域作为参考区域;
确定所述参考时间戳之后的任意时刻下所述目标车辆覆盖的区域与所述参考区域的重合区域的面积,作为第一重合面积;
确定所述第一重合面积与所述参考区域的面积的比值,作为第二面积重合度;
在所述第一面积重合度大于或等于所述第一面积重合度阈值,且持续时长大于或等于所述时间阈值,且所述持续时长内的所述第二面积重合度大于第二面积重合度阈值的情况下,确定所述目标车辆为违章停车。
2.根据权利要求1所述的方法,其特征在于,所述基于所述多帧待处理图像的目标车辆的位置与所述多帧待处理图像的时间戳确定所述多帧待处理图像的所述目标车辆的位置与时间之间的关系,包括:
对所述多帧待处理图像中目标车辆的位置进行曲线拟合,得到所述多帧待处理图像中目标车辆的位置与时间之间的关系。
3.根据权利要求1所述的方法,其特征在于,所述目标车辆的位置包括包含所述目标车辆的车辆框的位置;
所述根据所述任意时刻下所述目标车辆的位置和预设区域的位置,得到任意时刻下所述目标车辆覆盖的区域与所述预设区域的第一面积重合度,包括:
根据所述车辆框的位置和所述预设区域的位置,确定所述车辆框包含的区域与所述预设区域的重合区域的面积,作为第二重合面积;
确定所述第二重合面积与所述车辆框包含的区域的面积的比值,作为所述第一面积重合度。
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
在确定所述目标车辆为违章停车的情况下,获取所述目标车辆的车牌信息;
将包括所述车牌信息的第一提示信息发送至终端。
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
在接收到所述终端发送的所述车牌信息无效的信息的情况下,获取所述目标车辆的车辆属性;所述车辆属性包括以下至少一种:车辆类型、车辆品牌、车辆型号、车身颜色;
将包括所述目标车辆的车辆属性的第二提示信息发送至所述终端。
6.根据权利要求1所述的方法,其特征在于,所述获取多帧待处理图像中目标车辆的位置之前,所述方法还包括:
获取待处理视频流;
对所述待处理视频流中的图像进行车辆检测,确定所述待处理视频流中包含车辆的图像,作为待选图像集;
确定所述待选图像集中包含相同车辆的多帧图像作为所述多帧待处理图像,并将所述多帧待处理图像中包含的相同车辆作为所述目标车辆。
7.根据权利要求6所述的方法,其特征在于,所述多帧待处理图像中相邻两帧图像的时间间隔小于时间间隔阈值。
8.一种检测违章停车的装置,其特征在于,所述装置包括:
第一获取单元,用于获取多帧待处理图像中目标车辆的位置;
第一处理单元,用于基于所述多帧待处理图像中目标车辆的位置与所述多帧待处理图像的时间戳确定所述多帧待处理图像的所述目标车辆的位置与时间之间的关系;
第二处理单元,用于根据任意时刻下所述目标车辆的位置和预设区域的位置,得到所述任意时刻下所述目标车辆覆盖的区域与所述预设区域的第一面积重合度;
以及将所述第一面积重合度达到所述第一面积重合度阈值的时间戳作为参考时间戳,并将所述参考时间戳下所述目标车辆覆盖的区域作为参考区域;
以及确定所述参考时间戳之后的任意时刻下所述目标车辆覆盖的区域与所述参考区域的重合区域的面积,作为第一重合面积;
以及确定所述第一重合面积与所述参考区域的面积的比值,作为第二面积重合度;
以及在所述第一面积重合度大于或等于所述第一面积重合度阈值,且持续时长大于或等于所述时间阈值,且所述持续时长内的所述第二面积重合度大于第二面积重合度阈值的情况下,确定所述目标车辆为违章停车。
9.根据权利要求8所述的装置,其特征在于,所述第一处理单元用于:
对所述多帧待处理图像中目标车辆的位置进行曲线拟合,得到所述多帧待处理图像中目标车辆的位置与时间之间的关系。
10.根据权利要求8所述的装置,其特征在于,所述目标车辆的位置包括包含所述目标车辆的车辆框的位置,所述第二处理单元用于:
根据所述车辆框的位置和所述预设区域的位置,确定所述车辆框包含的区域与所述预设区域的重合区域的面积,作为第二重合面积;
以及确定所述第二重合面积与所述车辆框包含的区域的面积的比值,作为所述第一面积重合度。
11.根据权利要求8所述的装置,其特征在于,所述检测违章停车的装置还包括:
第二获取单元,用于在确定所述目标车辆为违章停车的情况下,获取所述目标车辆的车牌信息;
发送单元,用于将包括所述车牌信息的第一提示信息发送至终端。
12.根据权利要求11所述的装置,其特征在于,所述检测违章停车的装置还包括:
所述第二获取单元,还用于在接收到所述终端发送的所述车牌信息无效的信息的情况下,获取所述目标车辆的车辆属性;所述车辆属性包括以下至少一种:车辆类型、车辆品牌、车辆型号、车身颜色;
所述发送单元,还用于将包括所述目标车辆的车辆属性的第二提示信息发送至所述终端。
13.根据权利要求12所述的装置,其特征在于,所述检测违章停车的装置还包括:
第三获取单元,用于在所述获取多帧待处理图像中目标车辆的位置之前,获取待处理视频流;
检测单元,用于对所述待处理视频流中的图像进行车辆检测,确定所述待处理视频流中包含车辆的图像,作为待选图像集;
确定单元,用于确定所述待选图像集中包含相同车辆的多帧图像作为所述多帧待处理图像,并将所述多帧待处理图像中包含的相同车辆作为所述目标车辆。
14.根据权利要求13所述的装置,其特征在于,所述多帧待处理图像中相邻两帧图像的时间间隔小于时间间隔阈值。
15.一种处理器,其特征在于,所述处理器用于执行如权利要求1至7中任意一项所述的方法。
16.一种电子设备,其特征在于,包括:处理器、发送装置、输入装置、输出装置和存储器,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述电子设备执行如权利要求1至7中任一项所述的方法。
17.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被电子设备的处理器执行时,使所述处理器执行权利要求1至7中任意一项所述的方法。
CN201910768655.6A 2019-08-20 2019-08-20 检测违章停车的方法及相关装置 Active CN110491135B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910768655.6A CN110491135B (zh) 2019-08-20 2019-08-20 检测违章停车的方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910768655.6A CN110491135B (zh) 2019-08-20 2019-08-20 检测违章停车的方法及相关装置

Publications (2)

Publication Number Publication Date
CN110491135A CN110491135A (zh) 2019-11-22
CN110491135B true CN110491135B (zh) 2021-10-22

Family

ID=68551671

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910768655.6A Active CN110491135B (zh) 2019-08-20 2019-08-20 检测违章停车的方法及相关装置

Country Status (1)

Country Link
CN (1) CN110491135B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110969115B (zh) * 2019-11-28 2023-04-07 深圳市商汤科技有限公司 行人事件的检测方法及装置、电子设备和存储介质
CN111368688A (zh) * 2020-02-28 2020-07-03 深圳市商汤科技有限公司 行人监测方法及相关产品
CN111325171A (zh) * 2020-02-28 2020-06-23 深圳市商汤科技有限公司 异常停车监测方法及相关产品
CN111369753B (zh) * 2020-02-28 2022-01-28 深圳市商汤科技有限公司 非机动车监测方法及相关产品
CN111626275B (zh) * 2020-07-30 2020-11-10 江苏金智慧安科技有限公司 一种基于智能视频分析的异常停车检测方法
CN112115939A (zh) * 2020-08-26 2020-12-22 深圳市金溢科技股份有限公司 车辆车牌的识别方法、装置
CN112241696A (zh) * 2020-09-28 2021-01-19 深圳市商汤科技有限公司 图像处理方法及装置、电子设备及存储介质
CN112419733B (zh) * 2020-10-16 2023-05-05 杭州智行星科技有限公司 一种用户不规范停车的检测方法、装置、设备和存储介质
CN112530176B (zh) * 2020-11-10 2022-03-25 浙江大华系统工程有限公司 酒驾预警方法、装置、设备和介质
CN112749622B (zh) * 2020-11-30 2024-04-30 浙江大华技术股份有限公司 应急车道占用识别方法和装置
CN113096394A (zh) * 2021-03-29 2021-07-09 浙江大华技术股份有限公司 目标类型的对象的确定方法、装置、存储介质及电子装置
CN113450578B (zh) * 2021-06-25 2022-08-12 北京市商汤科技开发有限公司 交通违章事件取证方法、装置、设备及系统
CN113990101B (zh) * 2021-11-19 2023-04-07 深圳市捷顺科技实业股份有限公司 一种禁停区域车辆检测方法及其系统和处理装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201004274Y (zh) * 2006-06-26 2008-01-09 宋怀淳 一种阻止小汽车随意停放的电子装置
CN103116985A (zh) * 2013-01-21 2013-05-22 信帧电子技术(北京)有限公司 一种违章停车检测方法和装置
KR20130141159A (ko) * 2012-06-15 2013-12-26 딕스비전 주식회사 불법 주정차 단속 방법 및 시스템
CN104064031A (zh) * 2014-07-02 2014-09-24 丁宏飞 一种应用电子车牌的车辆违章监控和追踪定位系统
CN104574954A (zh) * 2014-11-26 2015-04-29 深圳市金溢科技股份有限公司 一种基于自由流系统的车辆稽查方法、控制设备及系统
CN109035752A (zh) * 2018-09-26 2018-12-18 永州市金蚂蚁新能源机械有限公司 一种车辆安全监控方法及其监控装置
CN109147341A (zh) * 2018-09-14 2019-01-04 杭州数梦工场科技有限公司 违章车辆检测方法及装置
CN109559519A (zh) * 2018-12-18 2019-04-02 广东中安金狮科创有限公司 监控设备及其违章停车检测方法、装置、可读存储介质

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102110367A (zh) * 2009-12-25 2011-06-29 刘天宇 违法停车行为实时检测系统及其控制方法
US9171382B2 (en) * 2012-08-06 2015-10-27 Cloudparc, Inc. Tracking speeding violations and controlling use of parking spaces using cameras
US20140210646A1 (en) * 2012-12-28 2014-07-31 Balu Subramanya Advanced parking and intersection management system
CN103150920B (zh) * 2013-01-29 2015-03-11 北京瑞拓电子技术发展有限公司 一种车辆违章停车远程监控系统
DE102015118598A1 (de) * 2015-10-30 2017-05-04 Cleverciti Systems Gmbh Verfahren zur erfassung von geparkten fahrzeugen und zur abrechnung von parkgebühren
US10380430B2 (en) * 2015-04-17 2019-08-13 Current Lighting Solutions, Llc User interfaces for parking zone creation
CN107705574A (zh) * 2017-10-09 2018-02-16 荆门程远电子科技有限公司 一种精准快速的道路违章停车全自动抓拍系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201004274Y (zh) * 2006-06-26 2008-01-09 宋怀淳 一种阻止小汽车随意停放的电子装置
KR20130141159A (ko) * 2012-06-15 2013-12-26 딕스비전 주식회사 불법 주정차 단속 방법 및 시스템
CN103116985A (zh) * 2013-01-21 2013-05-22 信帧电子技术(北京)有限公司 一种违章停车检测方法和装置
CN104064031A (zh) * 2014-07-02 2014-09-24 丁宏飞 一种应用电子车牌的车辆违章监控和追踪定位系统
CN104574954A (zh) * 2014-11-26 2015-04-29 深圳市金溢科技股份有限公司 一种基于自由流系统的车辆稽查方法、控制设备及系统
CN109147341A (zh) * 2018-09-14 2019-01-04 杭州数梦工场科技有限公司 违章车辆检测方法及装置
CN109035752A (zh) * 2018-09-26 2018-12-18 永州市金蚂蚁新能源机械有限公司 一种车辆安全监控方法及其监控装置
CN109559519A (zh) * 2018-12-18 2019-04-02 广东中安金狮科创有限公司 监控设备及其违章停车检测方法、装置、可读存储介质

Also Published As

Publication number Publication date
CN110491135A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110491135B (zh) 检测违章停车的方法及相关装置
CN108275114B (zh) 一种油箱防盗监控系统
JP6885682B2 (ja) 監視システム、管理装置、及び監視方法
JP2005521975A5 (zh)
CN101496074A (zh) 可疑行为探测设备和方法以及程序和记录介质
CN112016413A (zh) 对象间异常行为的检测方法及装置
CN111291641B (zh) 图像识别方法及其装置、计算机可读介质和系统
CN105426658A (zh) 一种车辆预启动方法及相关装置
CN112330715A (zh) 一种跟踪方法、跟踪装置、终端设备及可读存储介质
CN109446926A (zh) 一种交通监控方法及装置、电子设备和存储介质
CN111798635A (zh) 一种楼宇智能安防系统
CN113055823A (zh) 一种基于路侧停车管理共享单车的方法及装置
CN111325171A (zh) 异常停车监测方法及相关产品
WO2020194584A1 (ja) 物体追跡装置、制御方法、及びプログラム
CN113470013A (zh) 一种搬移物品的检测方法及装置
CN107111757B (zh) 车道线检测方法及装置
CN105138321B (zh) 终端的控制方法及系统
CN111368688A (zh) 行人监测方法及相关产品
CN111178339A (zh) 用户身份识别方法、装置、设备及介质
CN115880632A (zh) 超时停留检测方法、监控设备、计算机可读存储介质和芯片
CN115131726A (zh) 一种车位检测方法、装置、设备及介质
CN114023028A (zh) 非机动车辆防盗预警方法、装置及存储介质
WO2021149274A1 (ja) 監視システム、監視装置、監視方法、およびプログラム
CN113095281A (zh) 套牌车识别方法、装置、电子设备及存储介质
TW201447817A (zh) 偵測人員使用手持裝置的方法、裝置及其影像警報系統

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant