CN113990101A - 一种禁停区域车辆检测方法及其系统和处理装置 - Google Patents

一种禁停区域车辆检测方法及其系统和处理装置 Download PDF

Info

Publication number
CN113990101A
CN113990101A CN202111402381.2A CN202111402381A CN113990101A CN 113990101 A CN113990101 A CN 113990101A CN 202111402381 A CN202111402381 A CN 202111402381A CN 113990101 A CN113990101 A CN 113990101A
Authority
CN
China
Prior art keywords
vehicle
license plate
frame
information
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111402381.2A
Other languages
English (en)
Other versions
CN113990101B (zh
Inventor
唐健
李锐
王浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Jieshun Science and Technology Industry Co Ltd
Original Assignee
Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Jieshun Science and Technology Industry Co Ltd filed Critical Shenzhen Jieshun Science and Technology Industry Co Ltd
Priority to CN202111402381.2A priority Critical patent/CN113990101B/zh
Publication of CN113990101A publication Critical patent/CN113990101A/zh
Application granted granted Critical
Publication of CN113990101B publication Critical patent/CN113990101B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/14Traffic control systems for road vehicles indicating individual free spaces in parking areas
    • G08G1/149Traffic control systems for road vehicles indicating individual free spaces in parking areas coupled to means for restricting the access to the parking space, e.g. authorization, access barriers, indicative lights
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种禁停区域车辆检测方法及其系统和处理装置,方法包括:计算车牌框与车辆框的重叠度;绑定车牌框和与车辆框;对车牌框进行车牌识别获得车牌信息;获取车辆框中的图像特征点生成第一特征点集;获取车辆框在图像中的坐标信息;在第一特征点集与任一第二特征点集匹配属于同一车辆时,将第一特征点集和坐标信息写入匹配车辆信息集合;在第一特征点集与所有的第二特征点集匹配均不属于同一车辆时,建立新的车辆信息集合;若同一车辆的坐标信息落入禁停区域坐标范围大于占用时长阈值,则发送报警信息。本申请在禁停区域被占用时能够及时报警,有效管理禁停区域。

Description

一种禁停区域车辆检测方法及其系统和处理装置
技术领域
本申请涉及图像检测技术领域,具体涉及一种禁停区域车辆检测方法及其系统和处理装置。
背景技术
随着大型购物商城的不断涌现,配套的停车场规模也日益庞大,人们在享受其便利的购物环境的同时,也要忍受着停车时车位难寻、购物后难寻爱车的烦恼。在此背景下,车位引导系统大面积在各大城市铺开,为客户在停车以及寻车上带来了便利。
停车场的车位引导系统首先通过车位检测的方法获取当前车位的状态信息,然后中央处理处理装置给出结果,并通过指示灯显示。目前,停车场车位检测的方法主要有两种,一种是基于物理特征的检测方法,采用地感线圈、超声波、地磁检测等方式实现,这种方式具有成本低、受气候影响小等优点,但是施工麻烦,要开挖路面,对路面造成破坏,而且路面受季节和车辆压力影响,线圈容易损坏,难于维护。另一种是基于视频监控、计算机视觉和图像处理技术的检测方式,这种方法具有许多优势,首先,拍摄视频图像的摄像机安装方便,更换不影响交通,容易调整和移动图像采集装置的位置,无需在车道路面上施工。其次,视频图像处理技术,可以达到实时性强、车位检测精度高等特点。
由于停车位紧张,消防通道,行车通道阻挡是地下停车场里经常出现的一种情况。一般的消防通道必须保证有至少4米的路宽,然而车主找不到停车位的时候就会把车靠边停,阻挡了一部分的消防通道。被阻挡了一部分的消防通道不阻碍小车通行,但是会阻挡消防车通过,带来了安全隐患。
发明内容
为克服现有技术无法检测消防通道被占用情况的缺陷,本申请提供了一种禁停区域车辆检测方法及其系统和处理装置。
本申请实施例第一方面提供了一种禁停区域车辆检测方法,方法由处理装置执行,包括:
对图像采集装置拍摄的第一图像进行车辆检测,若检测到车辆则生成第一车辆框,若检测到车牌则生成车牌框;
生成车牌框后,对车牌框进行车牌识别获得车牌信息;
判断是否存在与车牌框的重叠度大于重叠度阈值的第一车辆框;
若存在第一车辆框,则绑定第一车辆框与车牌框;
确定禁停区域坐标范围;
获取第一车辆框在第一图像中的第一坐标信息;
获取第一车辆框中的图像特征点生成第一特征点集;
获取第二特征点集,第二特征点集包含于第二图像中的第二车辆框,第二图像是图像采集装置在拍摄第一图像前拍摄的;
获取第二车辆框在第二图像中的第二坐标信息,第二坐标信息和第二特征点集包含于第二车辆信息集合;
判断第一特征点集和第二特征点集的匹配度是否大于匹配度阈值;
若大于匹配度阈值,则将第一特征点集和第一坐标信息写入第二车辆信息集合;
判断第一坐标信息和第二坐标信息落入禁停区域坐标范围的持续时长是否大于占用时长阈值;
若大于占用时长阈值,则向报警装置发送报警信息。
本申请实施例第一方面一种实现方式中,在判断是否存在与车牌框的重叠度大于重叠度阈值的第一车辆框后,方法还包括:
若不存在第一车辆框,则以车牌框为中心生成第一车辆框;
绑定以车牌框为中心生成的第一车辆框与车牌框。
本申请实施例第一方面另一种实现方式中,绑定第一车辆框与车牌框前,方法还包括:
判断是否存在多个与车牌框的重叠度大于重叠度阈值的第一车辆框;
若存在多个第一车辆框,则删除多个与车牌框的重叠度大于重叠度阈值的第一车辆框。
本申请实施例第一方面另一种实现方式中,判断第一特征点集和第二特征点集的匹配度是否大于匹配度阈值后,方法还包括:
若不大于匹配度阈值,则建立第一车辆信息集合;
将第一特征点集和第一坐标信息写入第一车辆信息集合。
本申请实施例第一方面另一种实现方式中,确定禁停区域坐标范围包括:
接收输入设备发送的框选指令;
根据框选指令确定禁停区域坐标范围。
本申请实施例第一方面另一种实现方式中,获取第二特征点集前,方法还包括:
判断是否存在第三车辆信息集合,第三车辆信息集合的第三特征点集数量大于或等于跟踪阈值;
若存在第三车辆信息集合,则确定第三车辆信息集合为第二车辆信息集合;
若不存在第三车辆信息集合,则判断是否存在第四车辆信息集合,第四车辆信息集合中的第四特征点集数量小于跟踪阈值;
若存在第四车辆信息集合,则确定第四车辆信息集合为第二车辆信息集合。
本申请实施例第一方面另一种实现方式中,方法还包括:
判断第二车辆信息集合未写入第一特征点集或第一坐标信息的时长是否大于更替时长阈值;
若大于更替时长阈值,则删除第二车辆信息集合。
本申请实施例第一方面另一种实现方式中,报警信息包括第一坐标信息或车牌信息。
本申请实施例第二方面提供了一种处理装置,包括:
车辆检测单元,用于对图像采集装置拍摄的第一图像进行车辆检测,若检测到车辆则生成第一车辆框,若检测到车牌则生成车牌框;
车牌识别单元,用于在车辆检测单元生成车牌框后,对车牌框进行车牌识别获得车牌信息;
判断单元,用于判断是否存在与车牌框的重叠度大于重叠度阈值的第一车辆框;
绑定单元,用于在判断单元确定存在第一车辆框时,绑定第一车辆框与车牌框;
确定单元,用于确定禁停区域坐标范围;
获取单元,用于获取第一车辆框在第一图像中的第一坐标信息;
获取单元,还用于获取第一车辆框中的图像特征点生成第一特征点集;
获取单元,还用于获取第二特征点集,第二特征点集包含于第二图像中的第二车辆框,第二图像是图像采集装置在拍摄第一图像前拍摄的;
获取单元,还用于获取第二车辆框在第二图像中的第二坐标信息,第二坐标信息和第二特征点集包含于第二车辆信息集合;
判断单元,还用于判断第一特征点集和第二特征点集的匹配度是否大于匹配度阈值;
写入单元,用于在判断单元确定大于匹配度阈值时,将第一特征点集和第一坐标信息写入第二车辆信息集合;
判断单元,还用于判断第一坐标信息和第二坐标信息落入禁停区域坐标范围的持续时长是否大于占用时长阈值;
发送单元,用于在判断单元确定大于占用时长阈值时,向报警装置发送报警信息。
本申请实施例第二方面提供的处理装置用于执行第一方面提供的方法。
本申请实施例的第三方面提供了一种处理装置,包括:
中央处理装置,存储器,输入输出接口,有线或无线网络接口以及电源;
存储器为短暂存储存储器或持久存储存储器;
中央处理装置配置为与存储器通信,并执行存储器中的指令操作以执行第一方面提供的方法。
本申请实施例的第四方面提供了一种禁停区域车辆检测系统,包括处理装置、图像采集装置和报警装置;图像采集装置将拍摄的图像传输到处理装置,处理装置用于执行根据第一方面提供的禁停区域车辆检测方法,报警装置用于在接收到处理装置的报警信息后进行报警。
本申请实施例第五方面提供了一种计算机可读存储介质,计算机可读存储介质包括指令,当指令在计算机上运行时,使得计算机执行如第一方面提供的方法。
综上,本申请通过分析所有的车辆信息集合,若同一车辆的坐标信息落入禁停区域坐标范围且经过占用时长阈值没有改变,则向报警装置发送非法占用禁停区域的报警信息,在禁停区域被车辆占用时,能够及时报警,有效管理禁停区域。
附图说明
图1为本申请实施例一种禁停区域车辆检测系统的架构图;
图2为本申请实施例一种禁停区域车辆检测方法的一种流程示意图;
图3为本申请实施例一种禁停区域车辆检测方法的另一种流程示意图;
图4为本申请实施例一种禁停区域车辆检测方法的另一种流程示意图;
图5为本申请实施例一种禁停区域车辆检测方法的另一种流程示意图;
图6为本申请实施例一种禁停区域车辆检测方法的另一种流程示意图;
图7为本申请实施例一种禁停区域车辆检测方法的另一种流程示意图;
图8为本申请实施例一种处理装置的示意图;
图9为本申请实施例另一种处理装置的示意图;
图10为本申请实施例另一种处理装置的示意图。
具体实施方式
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在停车场或在道路上,为了保证禁停区域,例如消防通道、紧急车道、路口或出入口等,不被车辆非法占用,充分利用现有的车位引导设备监控消防通道是一个好的解决方法。在本申请实施例中,在车位引导客户端上设置消防通道监控区域,一旦车辆进入消防通道监控区域就进行车辆检测与跟踪,通过跟踪实时监控车辆在监控区域的动态,一旦发现车辆停靠超时就发出警告。
如图1所示,本申请实施例提供了一种禁停区域车辆检测系统。一种禁停区域车辆检测系统包括处理装置101、图像采集装置102、报警装置103和输入设备104,处理装置101的输入端连接图像采集装置102的输出端,处理装置101的输出端连接报警装置103的输入端,输入设备103的输出端连接处理装置104的输入端。图像采集装置102将拍摄的图像传输到处理装置101,处理装置101用于执行根据图2至图7所示的禁停区域车辆检测方法,报警装置103用于在接收到处理装置101的报警信息后进行报警,输入设备104用于发送框选指令。
需要说明的是,输入设备104可以是鼠标、键盘或触摸屏等。报警装置103可以是显示屏幕、语音系统、警示灯或警示铃。图像采集装置102可以是摄像头、照相机或录影机等。
如图2所示,本申请实施例提供了一种禁停区域车辆检测方法,包括:
201、对图像采集装置拍摄的第一图像进行车辆检测,若检测到车辆则生成第一车辆框,若检测到车牌则生成车牌框。
禁停区域有在实际中有多种,为了便于理解或说明,以下本申请实施例以停车场的消防通道为例进行说明。
目前的停车场的车位引导系统一般使用一个摄像机监控1-3个车位,使用的时候在客户端上画出停车位,并对设定的停车位进行监控。如果消防通道挨着停车位,那么可以把其中的1-2个车位的监控区域设定为消防通道监控区域,剩下的1-2个车位的空间仍然可以监控停车位。如果消防通道离停车位较远,则可以单独使用一个车位引导的图像采集装置进行消防通道阻挡监控。在需要进行监控的时间内,图像采集装置持续进行拍摄,生成视频流,并将图像以视频流的方式传输给处理装置。处理装置与图像采集装置通信连接,处理装置可以与图像采集装置一起安装在停车场的现场,处理装置也可以和图像采集装置分离放置在机房内。,
处理装置对图像进行车辆检测,如果检测到车辆,则生成第一车辆框,第一车辆框为矩形或梯形,包围检测到的车辆;如果检测到车牌,则生成第一车牌框,第一车牌框为矩形,包围检测到的车牌。
采用两个检测模型,一个检测车辆,另外一个检测车牌对拍摄的图像进行检测。在地下停车场,容易存在遮挡和光线不好等情况,因此把车辆以及车牌一起检测能提高车辆的检测率。由于停车场内遮挡严重,因此车辆检测模型的正样本必须包含部分被遮挡的车辆样本。车辆检测模型的正样本的标准是车身至少有一半或以上能被清晰看到,用一个矩形框把看的到的车辆区域框起来。负样本是除了车辆外的背景。车牌检测模型训练的正样本仅包含车牌区域。
图像采集装置拍摄的图像可以是是车辆的整体,也可以是车辆的局部,例如车辆是远离摄像机方向行驶的,那么车辆就是车尾和车顶,甚至包含部分车身,车辆是靠近摄像机方向行驶的,那么车辆就是车头和车顶,甚至包含部分车身。使用基于深度学习训练的车辆检测模型对识别区域进行车辆检测。车辆检测算法不作限定,可以采用任意深度学习的算法,例如YOLO(You Only Look Once),SSD(Single Shot MultiBox Detector)等。
使用基于深度学习训练的车牌检测模型对识别区域进行车牌检测,如果能检测到车牌,再进行车牌识别,得到车牌识别的结果。
202、对车牌框进行车牌识别获得车牌信息。
生成车牌框后,处理装置获取车牌框中的图像信息,使用车牌识别的算法对车牌框中的图像信息进行识别,获得车牌信息,即车牌号码。车牌识别的具体过程与方法不作限定,可以是传统算法,可以是基于深度学习的方法。
203、判断是否存在与车牌框的重叠度大于重叠度阈值的第一车辆框,若存在第一车辆框,则执行步骤204。
处理装置分别计算每个车牌框与所有车辆框的重叠度。处理装置选中一个车牌框,使用布尔运算对被选中的车牌框和各个车辆框的重叠度进行计算;然后处理装置选中另一个车牌框,用同样的方法计算这一车牌框和各个车辆框的重叠度,直至所有的车牌框都已经被处理装置选中过。
分别计算每个车牌框与所有车辆框的重叠度。两个框的重叠度可以通过计算框的交并比获得。重叠度阈值可以是100%至95%。
计算同一图像中的每个车牌框与该图像中所有车辆框的重叠度,可以根据车牌框和车辆框的坐标信息进行计算。对识别到的车牌用一个车牌框包裹车牌。对检测到的车辆用一个车辆框包裹。
204、绑定第一车辆框与车牌框。
处理装置根据布尔运算的结果,得到每个车牌框和各个车辆框的重叠度,当某一车牌框和某一车辆框的重叠度大于重叠度阈值时,绑定该车牌框和车辆框。绑定后,处理装置将车牌框和车辆框视为属于同一车辆。
车辆框和车牌框的重叠度小于重叠度阈值的,说明识别到的车牌属于该车辆的可能性很低,不进行绑定。
205、确定禁停区域坐标范围。
处理装置根据预先给定的规则确定禁停区域坐标范围。禁停区域坐标范围是停车场中实际的禁停区域在图像中对应的范围,该范围在图像中用坐标确定得到禁停区域坐标范围。车辆框的坐标信息落入了禁停区域坐标范围表示禁停区域被占用。
禁停区域坐标范围可以是根据输入设备发送的框选指令确定的;也可以是根据图像采集装置安装位置、拍摄角度计算获得的。
步骤205与步骤201至204在时序上无关联,步骤205与步骤206至211在时序上无关联,步骤205应当在步骤212前执行。
206、获取第一车辆框在第一图像中的第一坐标信息。
处理装置在一个图像中确定每一车辆框的坐标信息,坐标的单位可以是像素、厘米或毫米。一个车辆框是矩形时,坐标可以是矩形的相对的两个角的坐标或矩形的几何中心的坐标;一个车辆框是梯形时,坐标可以是梯形四个角的坐标或梯形的几何中心的坐标。
207、获取第一车辆框中的图像特征点生成第一特征点集。
处理装置对车辆框中的图像信息进行分析,对图像中具有显著性的区域进行获取得到图像特征点,图像特征点可以包括车辆的线条、色彩等。将同一车辆框中的图像特征点放入一个特征点集中。
208、获取第二特征点集。
第二特征点集包含于第二图像中的第二车辆框,获取第二车辆框中的图像特征点生成第二特征点集,第二图像是图像采集装置在拍摄第一图像前拍摄的,第二特征点集是在获取第一特征点集前获取的。从时间上看,第一图像、第一车辆框和第一特征点集对应停车场最新的车辆状况,第二图像、第二车辆框和第二特征点集对应停车场一段时间之前的车辆状况。
步骤208与步骤201至207在时序上无关联,步骤208与步骤209在时序上无关联,步骤208应当在步骤210前执行。
209、获取第二车辆框在第二图像中的第二坐标信息,第二坐标信息和第二特征点集包含于第二车辆信息集合。
第二车辆信息集合是处理装置在接收第一图像前接收的第二图像中获取并保存的车辆信息集合,不同的第二车辆信息集合对应不同的车辆。第二车辆信息集合中包括第二特征点集和坐标信息,此外还可以保存各个第二特征点集和坐标信息时的时间戳。
步骤209与步骤201至208在时序上无关联,步骤209与步骤210至步骤211在时序上无关联,步骤209应当在步骤212前执行。
210、判断第一特征点集和第二特征点集的匹配度是否大于匹配度阈值,若大于匹配度阈值则执行步骤211。
处理装置将第一特征点集与存储在存储器中的第二特征点集进行匹配。当匹配的相似度大于匹配度阈值时,处理装置确定第一特征点集和该第二特征点集属于同一车辆。处理装置将第一特征点集和各个第二特征点集逐一进行匹配,直到匹配的相似度大于匹配度阈值或所有第二特征点集均已进行过匹配。匹配度阈值可以是100%至95%。
将第一特征点集和第二特征点集进行匹配,计算匹配度,即相似度或相关度,当匹配度大于或等于匹配度阈值时,认为第一特征点集和第二特征点集属于同一车辆,当匹配度小于匹配度阈值时,认为第一特征点集和第二特征点集属于不同车辆。将同一车辆的特征点集放入同一车辆信息集合,不同车辆的特征点集放入不同车辆信息集合。获取所有检测到的车辆的特征点集并保存。获取图像特征点的方法、图像特征点的个数以及所获取的特征不做限定。
在第一特征点集与任一第二特征点集匹配属于同一车辆时,即匹配度大于匹配度阈值,将第一特征点集和坐标信息写入该第二特征点集所在的第二车辆信息集合;在第一特征点集与所有的第二特征点集匹配均不属于同一车辆时,即匹配度不大于匹配度阈值,建立新的第一车辆信息集合。
211、将第一特征点集和第一坐标信息写入第二车辆信息集合;
处理装置确定第一特征点集和该第二特征点集属于同一车辆后,将第一特征点集放入第二特征点集所在的车辆信息集合。不同车辆信息集合内有不同车辆的特征点集和坐标信息等。
212、判断第一坐标信息和第二坐标信息落入禁停区域坐标范围的持续时长是否大于占用时长阈值,若大于占用时长阈值则执行步骤213。
分析第二车辆信息集合,若坐标信息落入禁停区域坐标范围大于占用时长阈值,则向报警装置发送非法占用禁停区域的报警信息。占用时长阈值可以是第一预设帧数,使用计数器计算帧数,当计数器计算的帧数大于第一预设帧数时确定大于占用时长阈值;或占用时长阈值可以第一预设时长,使用定时器设置第一预设时长,当定时器超时时确定大于占用时长阈值。第一预设时长可以是180秒或以上;预设时长乘以帧率得到预设帧数,帧率一般是5帧/秒至10帧/秒,第一预设帧数可以是900或以上。第一预设帧数是连续的帧,第一预设时长也是连续的一段时间。第一预设帧数可以使用计数器计算,也可以根据每一帧的序号确定;第一预设时长可以通过定时器确定。
处理装置对的车辆信息集合进行监控,当一个车辆信息集合中的坐标信息落入禁停区域时,判断坐标信息落入禁停区域的帧数或时间,当坐标信息落入禁停区域大于了占用时长阈值,处理装置确定该车辆非法占用了禁停区域,处理装置向报警装置发送报警信息。
需要说明的是,当同一车辆的坐标信息落入禁停区域坐标范围且经过占用时长阈值没有改变,则向报警装置发送非法占用禁停区域的报警信息。报警装置包括显示屏幕、语音系统、警示灯或警示铃。报警信息包括非法占用消防通道的车辆的坐标信息,或者包括非法占用消防通道的车辆的坐标信息和车牌信息,还可以包括车主信息,例如车主的联系方式等。
213、向报警装置发送报警信息。
报警信息包括第一坐标信息或车牌信息。
车辆检测的过程,可以先判断是否检测车辆,也可以先判断是否检测到车牌,下面以图3和图4为例说明:
如图3所示,本申请实施例提供了一种禁停区域车辆检测方法,包括:
301、接收图像采集装置拍摄的第一图像。
图像采集装置拍摄的第一图像是最新的图像,表示的是停车场内当前的车辆状况。接收到第一图像后进行车辆检测。
302、判断是否检测到车辆,若检测到车辆则执行步骤303,若未检测到车辆则执行步骤309。
图像采集装置拍摄的图像可以是是车辆的整体,也可以是车辆的局部,例如车辆是远离摄像机方向行驶的,那么车辆就是车尾和车顶,甚至包含部分车身,车辆是靠近摄像机方向行驶的,那么车辆就是车头和车顶,甚至包含部分车身。使用基于深度学习训练的车辆检测模型对识别区域进行车辆检测。车辆检测算法不作限定,可以采用任意深度学习的算法,例如YOLO,SSD等。
303、生成第一车辆框。
检测到车辆,则生成第一车辆框,第一车辆框为矩形或梯形,包围检测到的车辆。
304、判断是否检测到车牌,若检测到车牌则执行步骤305,若未检测到车牌则执行步骤308。
使用基于深度学习训练的车牌检测模型对识别区域进行车牌检测。
步骤304与步骤303在时序上无关。
305、生成第一车牌框。
检测到车牌,则生成第一车牌框,第一车牌框为矩形,包围检测到的车牌。
306、对车牌框进行车牌识别获得车牌信息。
本实施例中的步骤306与前述图2所示实施例中的步骤202类似,具体此处不再赘述。
307、判断是否存在与车牌框的重叠度大于重叠度阈值的第一车辆框。
本实施例中的步骤307与前述图2所示实施例中的步骤203类似,具体此处不再赘述。
308、获取第一车辆框在第一图像中的第一坐标信息。
本实施例中的步骤308与前述图2所示实施例中的步骤206类似,具体此处不再赘述。
309、判断是否检测到车牌,若检测到车牌则执行步骤310。
步骤309与步骤303在时序上无关。
310、生成第一车牌框。
检测到车牌,则生成第一车牌框,第一车牌框为矩形,包围检测到的车牌。
311、对车牌框进行车牌识别获得车牌信息。
本实施例中的步骤306与前述图2所示实施例中的步骤202类似,具体此处不再赘述。
312、以车牌框为中心生成第一车辆框。
对于有车牌,但是找不到对应的车辆框,就生成一个第一车辆框。第一车辆框以车牌框为中心,宽度是车牌框宽度的4至8倍,高度是车牌框高度的8至15倍。
如图4所示,本申请实施例提供了一种禁停区域车辆检测方法,包括:
401、接收图像采集装置拍摄的第一图像。
图像采集装置拍摄的第一图像是最新的图像,表示的是停车场内当前的车辆状况。接收到第一图像后进行车辆检测。
402、判断是否检测到车牌,若检测到车牌则执行步骤403,若未检测到车牌则执行步骤409。
使用基于深度学习训练的车牌检测模型对识别区域进行车牌检测。
403、生成第一车牌框。
检测到车牌,则生成第一车牌框,第一车牌框为矩形,包围检测到的车牌。
404、对车牌框进行车牌识别获得车牌信息。
本实施例中的步骤404与前述图2所示实施例中的步骤202类似,具体此处不再赘述。
405、判断是否检测到车辆,若检测到车辆则执行步骤406,若未检测到车辆则执行步骤408。
本实施例中的步骤405与前述图3所示实施例中的步骤302类似,具体此处不再赘述。
步骤405与步骤403至404在时序上无关。
406、生成第一车辆框。
检测到车辆,则生成第一车辆框,第一车辆框为矩形或梯形,包围检测到的车辆。
407、判断是否存在与车牌框的重叠度大于重叠度阈值的第一车辆框。
本实施例中的步骤407与前述图2所示实施例中的步骤203类似,具体此处不再赘述。
408、以车牌框为中心生成第一车辆框。
对于有车牌,但是找不到对应的车辆框,就生成一个第一车辆框。第一车辆框以车牌框为中心,宽度是车牌框宽度的4至8倍,高度是车牌框高度的8至15倍。
409、判断是否检测到车辆,若检测到车辆则执行步骤410。
本实施例中的步骤409与前述图3所示实施例中的步骤302类似,具体此处不再赘述。
步骤409与步骤403至404在时序上无关。
410、生成第一车辆框。
检测到车辆,则生成第一车辆框,第一车辆框为矩形或梯形,包围检测到的车辆。
411、获取第一车辆框在第一图像中的第一坐标信息。
本实施例中的步骤411与前述图2所示实施例中的步骤206类似,具体此处不再赘述。
如图5所示,本申请实施例提供了一种禁停区域车辆检测方法,包括:
501、判断是否存在与车牌框的重叠度大于重叠度阈值的第一车辆框,若存在第一车辆框则执行步骤502,若不存在第一车辆框,则505。
本实施例中的步骤501与前述图2所示实施例中的步骤203类似,具体此处不再赘述。
502、判断是否存在多个与车牌框的重叠度大于重叠度阈值的第一车辆框,若不存在多个第一车辆框则执行步骤503,若存在多个第一车辆框则执行步骤504。
在确定存在与车牌框的重叠度大于重叠度阈值的第一车辆框后,计算与车牌框的重叠度大于重叠度阈值的第一车辆框的数量,判断是否大于1。
503、绑定第一车辆框与车牌框。
本实施例中的步骤503与前述图2所示实施例中的步骤204类似,具体此处不再赘述。
504、删除多个与车牌框的重叠度大于重叠度阈值的第一车辆框。
在确定与车牌框的重叠度大于重叠度阈值的第一车辆框的数量大于1后,将所有与车牌框的重叠度大于重叠度阈值的第一车辆框删除。使重叠度大于重叠度阈值说明该车牌可能属于某一辆或多辆车,需要进行下面的操作。如果出现一个车牌属于多辆车,就在当前帧把这个车牌删除。使用视频流识别,在下一帧继续尝试绑定。
505、以车牌框为中心生成第一车辆框。
对于有车牌,但是找不到对应的车辆框,就生成一个第一车辆框。第一车辆框以车牌框为中心,宽度是车牌框宽度的4至8倍,高度是车牌框高度的8至15倍。
506、绑定以车牌框为中心生成的第一车辆框与车牌框。
以车牌框为中心生成的第一车辆框是虚拟车辆框,将车牌框与虚拟车辆框绑定,并将虚拟车辆框视为第一车辆框进行后续处理。
如图6所示,本申请实施例提供了一种禁停区域车辆检测方法,包括:
601、判断第一特征点集和第二特征点集的匹配度是否大于匹配度阈值,若大于匹配度阈值则执行步骤602,若不大于匹配度阈值则执行步骤603。
本实施例中的步骤601与前述图2所示实施例中的步骤210类似,具体此处不再赘述。
602、将第一特征点集和第一坐标信息写入第二车辆信息集合。
本实施例中的步骤602与前述图2所示实施例中的步骤211类似,具体此处不再赘述。
603、建立第一车辆信息集合。
处理装置确定不存在匹配度大于匹配度阈值的第二特征点集时,处理装置确定第一特征点集属于新的车辆,所谓新的车辆是指未曾储存车辆信息的车辆。建立第一车辆信息集合,用于在后续写入同属这一新的车辆的特征点集和坐标信息等数据。
604、将第一特征点集和第一坐标信息写入第一车辆信息集合。
处理装置建立第一车辆信息集合后,将第一特征点集放入第一车辆信息集合。
在本申请实施例的一种具体实现方式中,若车牌框未能绑定车辆框,则以车牌框为中心生成车辆框。
需要说明的是,当前的车辆框未绑定车牌框,就当作无牌车处理。对于有车牌,但是找不到对应的车辆框,就生成一个车辆框。
在本申请实施例的一种具体实现方式中,以车牌框为中心生成车辆框,包括:
车辆框以车牌框为中心,宽度是车牌框宽度的4至8倍,高度是车牌框高度的8至15倍。
容易理解的是,以车牌框为中心生成的车辆框与该车牌框绑定。
在本申请实施例的一种具体实现方式中,分别计算每个车牌框与所有车辆框的重叠度后,若存在多个与车牌框的重叠度大于重叠度阈值的车辆框,则删除车牌框。
需要说明的是,删除车牌框后,未与车牌框绑定的车辆框视为无牌车。重叠度大于重叠度阈值说明该车牌可能属于某一辆或多辆车,需要进行下面的操作。如果出现一个车牌属于多辆车,就在当前帧把这个车牌删除。使用视频流识别,在下一帧继续尝试绑定。
为了能精确判断车辆在消防通道停留的时间,我们需要对所有车辆进行跟踪。跟踪的对象是车辆框。经过了车辆与车牌绑定后,这里包含三种车辆框。一种是有车牌的车辆框,这是正常的车辆,车牌识别的结果作为车辆框的信息的一部分。一种是能检测到车辆,但是车牌识别失败的车辆框,这种情况有可能是真的无牌车,也可能是车牌识别失败。最后一种是车牌识别成功,但是找不到与它匹配的车辆框,系统自动生成的虚拟车辆框。这种情况是车牌识别成功,但是车辆检测失败了。系统依然会对生成的车辆框进行特征获取,因为当前帧检测失败,但是接下来的1帧或者几帧有可能就检测成功。获取当前帧自动生成的车辆框的特征,有助于后续的车辆框匹配。
因为地下停车场容易出现多辆车靠近的情况,由于光线,相互遮挡等原因,车辆检测模型输出的结果有时会不准,即有可能偏小,仅框到部分车辆,或者偏大,即把两辆车甚至三辆的部分区域都框起来生成一个车辆检测框。同时车牌框区域也有可能偏大,因此会存在同时2至3个车辆框与车牌框有重叠的情况。
对于未能找到匹配车辆框的车牌框,给该车牌生成一个虚拟的车辆框。地下停车场存在光线不足,遮挡严重的情况,因此会存在车牌被识别成功,但是车辆检测失败的情况。因此对于未能找到匹配车辆框的车牌框,给该车牌框生成一个虚拟的车辆框。虚拟框以车牌框为中心,宽度是车牌框宽度的5倍,高度是车牌框高度的10倍。
对于没有匹配车牌记录的车辆框,先当无牌车处理。这些车辆有可能是真的无牌车,也有可能是有牌车但是由于遮挡或光线的影响,导致车辆检测未检测到车牌。
在本申请实施例的一种具体实现方式中,接收输入设备发送的框选指令,根据框选指令确定禁停区域坐标范围。
框选指令需要输入禁停区域在图像中的坐标和图形,如果其禁停区域坐标范围随时间变化的,还需要输入变化的规律。
需要说明的是,框选指令可以是输入设备发送的,也可以是根据图像识别获得的。禁停区域坐标范围可以是固定的,也可以是随着时间变化的,以检测在指定时间禁停的区域。
如图7所示,在本申请实施例的一种具体实现方式中,给出了第二车辆信息集合的确定和获取方法,具体的:
701、判断是否存在第三车辆信息集合,若存在第三车辆信息集合则执行步骤702.若不存在第三车辆信息集合则执行步骤703。
第三车辆信息集合是处理装置在此前的图像中获取并保存的车辆信息集合,不同的第三车辆信息集合对应不同的车辆。第三车辆信息集合中包括第三特征点集和坐标信息,以及保存各个第三特征点集和坐标信息时的时间戳。
第三车辆信息集合的第三特征点集数量大于或等于跟踪阈值,且第三车辆信息集合中的第三特征点集未与第一特征点集进行过匹配度的判断。跟踪阈值可以是10至100的任一值。
如此可以使得优先使用特征点集数量大于或等于跟踪阈值的车辆信息集合进行匹配度的判断,匹配的成功概率更高。在使用特征点集数量大于或等于跟踪阈值的车辆信息集合匹配成功后,无需再进行匹配度的判断,能够节省处理装置的计算资源。只有在所有特征点集数量大于或等于跟踪阈值的车辆信息集合进行匹配失败后,才使用特征点集数量小于跟踪阈值的车辆信息集合进行匹配度的判断。匹配成功是指第一特征点集和第二特征点集的匹配度大于匹配度阈值;匹配失败是指第一特征点集和第二特征点集的匹配度不大于匹配度阈值。
702、确定第三车辆信息集合为第二车辆信息集合。
将第三车辆信息集合确定为第二车辆信息集合,并使用第一特征点集跟第二车辆信息集合中的第二特征点集进行匹配度的判断。将第三车辆信息集合确定为第二车辆信息集合后,执行步骤705。
703、判断是否存在第四车辆信息集合,若存在第四车辆信息集合则执行步骤704,若不存在第四车辆信息集合则执行步骤706。
第四车辆信息集合是处理装置在此前的图像中获取并保存的车辆信息集合,不同的第四车辆信息集合对应不同的车辆。第四车辆信息集合中包括第四特征点集和坐标信息,以及保存各个第四特征点集和坐标信息时的时间戳。
第四车辆信息集合中的第四特征点集未与第一特征点集进行过匹配度的判断。
704、确定第四车辆信息集合为第二车辆信息集合。
将第四车辆信息集合确定为第二车辆信息集合,并使用第一特征点集跟第二车辆信息集合中的第二特征点集进行匹配度的判断。
705、获取第二车辆信息集合。
在确定了第二车辆信息集合后,处理装置获取第二车辆信息集合并使用第一特征点集跟第二车辆信息集合中的第二特征点集进行匹配度的判断。
706、建立第一车辆信息集合。
在不存在第四车辆信息集合时,即处理装置此前未保存有任何车辆信息集合,则直接新建第一车辆信息集合。
707、将第一特征点集和坐标信息写入第一车辆信息集合。
将第一特征点集写入第一车辆信息集合,然后进行下一轮的图像检测。
容易理解的是,还可以预设跟踪列表和临时跟踪列表,将第三车辆信息集合放置在跟踪列表,第四车辆信息集合放置在临时跟踪列表。也就是,将第二特征点集数量大于或等于跟踪阈值的车辆信息集合放置在跟踪列表,第二特征点集数量小于跟踪阈值的车辆信息集合放置在临时跟踪列表。初始的跟踪列表为空。
当临时跟踪列表中的第四车辆信息集合中的第四特征点集数量大于或等于跟踪阈值时,处理装置将该第四车辆信息集合确定为第三车辆信息集合,并从临时跟踪列表中转移到跟踪列表中。如此,处理装置在进行匹配时,首先使用的是跟踪列表中的第三车辆信息集合,然后使用的是临时跟踪列表中的第四车辆信息集合。
系统每一帧都执行车辆检测与车牌识别,执行车辆与车牌匹配,将车辆框和车牌信息绑定,得到结果后就更新跟踪列表。更新跟踪列表的过程就是把检测到的车辆框与跟踪列表中的所有车辆框进行匹配,如果能匹配上,把检测到的车辆框的最新的坐标信息和该车辆的第一特征点集添加到跟踪列表中与它匹配的车辆的记录中。跟踪列表里保存的是车辆框的坐标信息与车辆框获取到的第一特征点集。车辆框的坐标信息用于表示车辆的位置信息。
由于初始的跟踪列表为空,如果当前检测到的车辆框找不到跟踪列表里有匹配的记录,先把该车辆的车辆框的坐标信息以及第一特征点集保存在临时跟踪列表。下一帧该车辆再次检测成功后,获取车辆的第一特征点集,继续与跟踪列表内的所有车辆的所有第二特征点集进行匹配,如果能匹配成功,把该车辆的车辆框坐标信息以及特征点集添加到跟踪列表对应车辆的记录中。如果不能与跟踪列表匹配成功,与临时跟踪列表的所有车辆的所有第二特征点集进行比较,如果能找到匹配记录,把该车辆的车辆框坐标信息以及第一特征点集添加到临时跟踪列表对应车辆的记录中。如果某车辆框在临时跟踪列表中有n1帧记录,就把该车辆判定为新车,并添加到跟踪队列中,并把临时跟踪列表中的该车的记录删除。这里的n1满足跟踪阈值。
例如检测到的车辆A,如果能在跟踪列表找到匹配度大于匹配度阈值的车辆B,就把当前检测到的车辆A与跟踪列表内的车辆B绑定,并把车辆A在当前帧的坐标信息以及第一特征点集添加到跟踪列表中车辆B的记录中。同时增加车辆B跟踪成功帧数的计数。
对于跟踪列表内的车辆,以及临时跟踪列表内的车辆,如果当前帧没有找到匹配的检测框记录,就开始计数,计数到达n2帧仍然没有匹配记录就删除该车辆。当前帧是指第一图像。如果在n2帧内重新匹配上,把计数清零。这里的n2满足第二预设帧数。由于停车场内环境复杂,跟踪有可能中断,因此只要在一定时间内跟踪失败但能再次跟上就继续保持跟踪状态。
由于有跟踪策略的存在,对于能检测到车辆框但是车牌识别失败的车辆框以及车牌识别成功,但是找不到与它匹配的车辆框,系统自动生成的虚拟车辆框,经过一段时间的跟踪,系统能通过不断进行车辆检测以及车牌识别,从而找到匹配的车辆与车牌。
在本申请实施例的一种具体实现方式中,还包括:
分析所有的车辆信息集合,若一台车辆的车辆信息集合在更替时长阈值内没有写入第一特征点集和坐标信息,则删除该车辆信息集合。更替时长阈值可以是第二预设帧数,使用计数器计算帧数,当计数器计算的帧数大于第二预设帧数时确定大于更替时长阈值;或更替时长阈值可以第二预设时长,使用定时器设置第二预设时长,当定时器超时时确定大于更替时长阈值。第二预设帧数可以是3至5;第二预设时长可以是0.5秒。第二预设帧数是连续的帧,第二预设时长也是连续的一段时间。第二预设帧数可以使用计数器计算,也可以根据每一帧的序号确定;第二预设时长可以通过定时器确定。
在本申请实施例的一种具体实现方式中,报警信息包括非法占用消防通道的车辆的坐标信息,或者包括非法占用消防通道的车辆的坐标信息和车牌信息。
需要说明的是,坐标信息用于指出被非法占用的区域的位置。
如图8所示,本申请实施例提供了一种处理装置,包括:
车辆检测单元801,用于对图像采集装置拍摄的第一图像进行车辆检测,若检测到车辆则生成第一车辆框,若检测到车牌则生成车牌框;
车牌识别单元802,用于在车辆检测单元801生成车牌框后,对车牌框进行车牌识别获得车牌信息;
判断单元803,用于判断是否存在与车牌框的重叠度大于重叠度阈值的第一车辆框;
绑定单元804,用于在判断单元803确定存在第一车辆框时,绑定第一车辆框与车牌框;
确定单元805,用于确定禁停区域坐标范围;
获取单元806,用于获取第一车辆框在第一图像中的第一坐标信息;
获取单元806,还用于获取第一车辆框中的图像特征点生成第一特征点集;
获取单元806,还用于获取第二特征点集,第二特征点集包含于第二图像中的第二车辆框,第二图像是图像采集装置在拍摄第一图像前拍摄的;
获取单元806,还用于获取第二车辆框在第二图像中的第二坐标信息,第二坐标信息和第二特征点集包含于第二车辆信息集合;
判断单元803,还用于判断第一特征点集和第二特征点集的匹配度是否大于匹配度阈值;
写入单元807,用于在判断单元803确定大于匹配度阈值时,将第一特征点集和第一坐标信息写入第二车辆信息集合;
判断单元803,还用于判断第一坐标信息和第二坐标信息落入禁停区域坐标范围的持续时长是否大于占用时长阈值;
发送单元808,用于在判断单元803确定大于占用时长阈值时,向报警装置发送报警信息。
本实施例中,处理装置中的各单元执行如前述图2至图7所示实施例中的操作,具体此处不再赘述。
如图9所示,本申请实施例提供了一种处理装置,包括:
车辆检测单元901,用于对图像采集装置拍摄的第一图像进行车辆检测,若检测到车辆则生成第一车辆框,若检测到车牌则生成车牌框;
车牌识别单元902,用于在车辆检测单元901生成车牌框后,对车牌框进行车牌识别获得车牌信息;
判断单元903,用于判断是否存在与车牌框的重叠度大于重叠度阈值的第一车辆框;
绑定单元904,用于在判断单元903确定存在第一车辆框时,绑定第一车辆框与车牌框;
确定单元905,用于确定禁停区域坐标范围;
获取单元906,用于获取第一车辆框在第一图像中的第一坐标信息;
获取单元906,还用于获取第一车辆框中的图像特征点生成第一特征点集;
获取单元906,还用于获取第二特征点集,第二特征点集包含于第二图像中的第二车辆框,第二图像是图像采集装置在拍摄第一图像前拍摄的;
获取单元906,还用于获取第二车辆框在第二图像中的第二坐标信息,第二坐标信息和第二特征点集包含于第二车辆信息集合;
判断单元903,还用于判断第一特征点集和第二特征点集的匹配度是否大于匹配度阈值;
写入单元907,用于在判断单元903确定大于匹配度阈值时,将第一特征点集和第一坐标信息写入第二车辆信息集合;
判断单元903,还用于判断第一坐标信息和第二坐标信息落入禁停区域坐标范围的持续时长是否大于占用时长阈值;
发送单元908,用于在判断单元903确定大于占用时长阈值时,向报警装置发送报警信息。
处理装置还包括:
生成单元909,用于在判断单元903确定不存在第一车辆框时,以车牌框为中心生成第一车辆框;
绑定单元904,还用于绑定以车牌框为中心生成的第一车辆框与车牌框。
判断单元903,还用于判断是否存在多个与车牌框的重叠度大于重叠度阈值的第一车辆框;
处理装置还包括:
删除单元910,用于在判断单元903确定存在多个第一车辆框时,删除多个与车牌框的重叠度大于重叠度阈值的第一车辆框。
处理装置还包括:
建立单元911,用于在判断单元903确定不大于匹配度阈值时,建立第一车辆信息集合;
写入单元907,还用于将第一特征点集和第一坐标信息写入第一车辆信息集合。
处理装置还包括:
接收单元912,用于接收输入设备发送的框选指令;
确定单元905,具体用于根据框选指令确定禁停区域坐标范围。
判断单元903,还用于判断是否存在第三车辆信息集合,第三车辆信息集合的第三特征点集数量大于或等于跟踪阈值;
确定单元905,还用于在判断单元903确定存在第三车辆信息集合时,确定第三车辆信息集合为第二车辆信息集合;
判断单元903,还用于在判读单元确定不存在第三车辆信息集合时,判断是否存在第四车辆信息集合,第四车辆信息集合中的第四特征点集数量小于跟踪阈值;
确定单元905,还用于在判断单元903确定存在第四车辆信息集合时,确定第四车辆信息集合为第二车辆信息集合。
判断单元903,还用于判断第二车辆信息集合未写入第一特征点集或第一坐标信息的时长是否大于更替时长阈值;
删除单元910,还用于在判读单元确定在大于更替时长阈值时,删除第二车辆信息集合。
报警信息包括第一坐标信息或车牌信息。
本实施例中,处理装置中的各单元执行如前述图2至图7所示实施例中的操作,具体此处不再赘述。
如图10所示,本申请实施例提供了一种处理装置1000,包括:
中央处理装置1001,存储器1005,输入输出接口1004,有线或无线网络接口1003以及电源1002;
存储器1005为短暂存储存储器1005或持久存储存储器1005;
中央处理装置1001配置为与存储器1005通信,并执行存储器1005中的指令操作以执行图2至图7所示实施例的方法。
本申请实施例还提供了一种计算机可读存储介质,计算机可读存储介质包括指令,当指令在计算机上运行时,使得计算机执行如图2至图7所示实施例的方法。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,read-only memory)、随机存取存储器(RAM,random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (10)

1.一种禁停区域车辆检测方法,其特征在于,所述方法由处理装置执行,包括:
对图像采集装置拍摄的第一图像进行车辆检测,若检测到车辆则生成第一车辆框,若检测到车牌则生成车牌框;
生成所述车牌框后,对所述车牌框进行车牌识别获得车牌信息;
判断是否存在与所述车牌框的重叠度大于重叠度阈值的所述第一车辆框;
若存在所述第一车辆框,则绑定所述第一车辆框与所述车牌框;
确定禁停区域坐标范围;
获取所述第一车辆框在所述第一图像中的第一坐标信息;
获取所述第一车辆框中的图像特征点生成第一特征点集;
获取第二特征点集,所述第二特征点集包含于第二图像中的第二车辆框,所述第二图像是所述图像采集装置在拍摄所述第一图像前拍摄的;
获取第二车辆框在所述第二图像中的第二坐标信息,所述第二坐标信息和所述第二特征点集包含于第二车辆信息集合;
判断所述第一特征点集和所述第二特征点集的匹配度是否大于匹配度阈值;
若大于匹配度阈值,则将所述第一特征点集和所述第一坐标信息写入所述第二车辆信息集合;
判断所述第一坐标信息和第二坐标信息落入所述禁停区域坐标范围的持续时长是否大于占用时长阈值;
若大于占用时长阈值,则向报警装置发送报警信息。
2.根据权利要求1所述的禁停区域车辆检测方法,其特征在于,在所述判断是否存在与所述车牌框的重叠度大于重叠度阈值的所述第一车辆框后,所述方法还包括:
若不存在所述第一车辆框,则以所述车牌框为中心生成所述第一车辆框;
绑定以所述车牌框为中心生成的所述第一车辆框与所述车牌框。
3.根据权利要求1所述的禁停区域车辆检测方法,其特征在于,所述绑定所述第一车辆框与所述车牌框前,所述方法还包括:
判断是否存在多个与所述车牌框的重叠度大于重叠度阈值的所述第一车辆框;
若存在多个所述第一车辆框,则删除所述多个与所述车牌框的重叠度大于重叠度阈值的所述第一车辆框。
4.根据权利要求1至3任一项所述的禁停区域车辆检测方法,其特征在于,所述判断所述第一特征点集和所述第二特征点集的匹配度是否大于匹配度阈值后,所述方法还包括:
若不大于匹配度阈值,则建立第一车辆信息集合;
将所述第一特征点集和所述第一坐标信息写入所述第一车辆信息集合。
5.根据权利要求1至3任一项所述的禁停区域车辆检测方法,其特征在于,所述确定禁停区域坐标范围包括:
接收输入设备发送的框选指令;
根据所述框选指令确定禁停区域坐标范围。
6.根据权利要求1至3任一项所述的禁停区域车辆检测方法,其特征在于,所述获取第二特征点集前,所述方法还包括:
判断是否存在第三车辆信息集合,所述第三车辆信息集合的第三特征点集数量大于或等于跟踪阈值;
若存在第三车辆信息集合,则确定第三车辆信息集合为第二车辆信息集合;
若不存在第三车辆信息集合,则判断是否存在第四车辆信息集合,所述第四车辆信息集合中的第四特征点集数量小于跟踪阈值;
若存在第四车辆信息集合,则确定第四车辆信息集合为第二车辆信息集合。
7.根据权利要求1至3任一项所述的禁停区域车辆检测方法,其特征在于,所述方法还包括:
判断所述第二车辆信息集合未写入所述第一特征点集或所述第一坐标信息的时长是否大于更替时长阈值;
若大于更替时长阈值,则删除所述第二车辆信息集合。
8.一种处理装置,其特征在于,包括:
车辆检测单元,用于对图像采集装置拍摄的第一图像进行车辆检测,若检测到车辆则生成第一车辆框,若检测到车牌则生成车牌框;
车牌识别单元,用于在所述车辆检测单元生成所述车牌框后,对所述车牌框进行车牌识别获得车牌信息;
判断单元,用于判断是否存在与所述车牌框的重叠度大于重叠度阈值的所述第一车辆框;
绑定单元,用于在所述判断单元确定存在所述第一车辆框时,绑定所述第一车辆框与所述车牌框;
确定单元,用于确定禁停区域坐标范围;
获取单元,用于获取所述第一车辆框在所述第一图像中的第一坐标信息;
所述获取单元,还用于获取所述第一车辆框中的图像特征点生成第一特征点集;
所述获取单元,还用于获取第二特征点集,所述第二特征点集包含于第二图像中的第二车辆框,所述第二图像是所述图像采集装置在拍摄所述第一图像前拍摄的;
所述获取单元,还用于获取第二车辆框在所述第二图像中的第二坐标信息,所述第二坐标信息和所述第二特征点集包含于第二车辆信息集合;
所述判断单元,还用于判断所述第一特征点集和所述第二特征点集的匹配度是否大于匹配度阈值;
写入单元,用于在所述判断单元确定大于匹配度阈值时,将所述第一特征点集和所述第一坐标信息写入所述第二车辆信息集合;
所述判断单元,还用于判断所述第一坐标信息和第二坐标信息落入所述禁停区域坐标范围的持续时长是否大于占用时长阈值;
发送单元,用于在所述判断单元确定大于占用时长阈值时,向报警装置发送报警信息。
9.一种处理装置,其特征在于,包括:
中央处理装置,存储器,输入输出接口,有线或无线网络接口以及电源;
所述存储器为短暂存储存储器或持久存储存储器;
所述中央处理装置配置为与所述存储器通信,并执行所述存储器中的指令操作以执行权利要求1至7中任意一项所述的方法。
10.一种禁停区域车辆检测系统,其特征在于,包括处理装置、图像采集装置和报警装置;所述图像采集装置用于将拍摄的图像传输到处理装置,所述处理装置用于执行根据权利要求1至7任一项所述的禁停区域车辆检测方法,所述报警装置用于在接收到处理装置的报警信息后进行报警。
CN202111402381.2A 2021-11-19 2021-11-19 一种禁停区域车辆检测方法及其系统和处理装置 Active CN113990101B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111402381.2A CN113990101B (zh) 2021-11-19 2021-11-19 一种禁停区域车辆检测方法及其系统和处理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111402381.2A CN113990101B (zh) 2021-11-19 2021-11-19 一种禁停区域车辆检测方法及其系统和处理装置

Publications (2)

Publication Number Publication Date
CN113990101A true CN113990101A (zh) 2022-01-28
CN113990101B CN113990101B (zh) 2023-04-07

Family

ID=79750234

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111402381.2A Active CN113990101B (zh) 2021-11-19 2021-11-19 一种禁停区域车辆检测方法及其系统和处理装置

Country Status (1)

Country Link
CN (1) CN113990101B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677774A (zh) * 2022-03-30 2022-06-28 深圳市捷顺科技实业股份有限公司 道闸控制方法及相关设备
CN115083193A (zh) * 2022-04-28 2022-09-20 国网山东省电力公司泰安供电公司 停车场车辆分流方法、系统、终端及存储介质

Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004288113A (ja) * 2003-03-25 2004-10-14 Mitsubishi Electric Corp 駐車車両抑止装置
CN102074113A (zh) * 2010-09-17 2011-05-25 浙江大华技术股份有限公司 基于视频的牌照识别和车辆速度测量方法
US20130266190A1 (en) * 2012-04-06 2013-10-10 Xerox Corporation System and method for street-parking-vehicle identification through license plate capturing
JP2014139795A (ja) * 2014-02-13 2014-07-31 Yupiteru Corp 駐車禁止エリア報知装置及びプログラム
CN104050812A (zh) * 2014-06-30 2014-09-17 江苏摩华物联科技有限公司 基于虚拟化边界与车牌识别技术的安全警戒方法
AU2014265082A1 (en) * 2005-06-10 2014-12-11 Accenture Global Services Limited Electronic vehicle identification
US20160239950A1 (en) * 2015-02-13 2016-08-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
US20160238394A1 (en) * 2013-10-01 2016-08-18 Hitachi, Ltd.. Device for Estimating Position of Moving Body and Method for Estimating Position of Moving Body
CN106448184A (zh) * 2016-12-15 2017-02-22 深圳市捷顺科技实业股份有限公司 车辆识别方法及车辆出场识别方法
AU2017261601A1 (en) * 2016-06-24 2018-01-18 Accenture Global Solutions Limited Intelligent automatic license plate recognition for electronic tolling environments
CN108596949A (zh) * 2018-03-23 2018-09-28 云南大学 视频目标跟踪状态分析方法、装置和实现装置
CN110378195A (zh) * 2019-05-27 2019-10-25 浙江工业大学 基于直方图缓存法的多目标跟踪方法
CN110491135A (zh) * 2019-08-20 2019-11-22 深圳市商汤科技有限公司 检测违章停车的方法及相关装置
AU2020100301A4 (en) * 2020-02-29 2020-04-02 Nanning Novosense Microelectronics Co., Ltd Method and system for recognizing and tracing river crab based on computer implemented image recognition
CN111105621A (zh) * 2019-12-17 2020-05-05 浙江大华技术股份有限公司 一种检测违章停车的方法及装置
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN111161318A (zh) * 2019-12-30 2020-05-15 广东工业大学 一种基于yolo算法及gms特征匹配的动态场景slam方法
CN111242119A (zh) * 2020-01-02 2020-06-05 腾讯科技(深圳)有限公司 车辆图像的处理方法、装置、电子设备和计算机可读介质
CN111539283A (zh) * 2020-04-15 2020-08-14 上海摩象网络科技有限公司 人脸跟踪方法及人脸跟踪设备
CN111862624A (zh) * 2020-07-29 2020-10-30 浙江大华技术股份有限公司 车辆匹配方法、装置、存储介质及电子装置
CN111931720A (zh) * 2020-09-23 2020-11-13 深圳佑驾创新科技有限公司 跟踪图像特征点的方法、装置、计算机设备和存储介质
CN112183528A (zh) * 2020-09-23 2021-01-05 桂林电子科技大学 目标车辆跟踪的方法及其装置、系统和计算机存储介质
CN112381014A (zh) * 2020-11-19 2021-02-19 城云科技(中国)有限公司 一种基于城市道路的违停车辆检测及管理方法及系统
CN112651997A (zh) * 2020-12-29 2021-04-13 咪咕文化科技有限公司 地图构建方法、电子设备和存储介质
CN112766216A (zh) * 2021-01-29 2021-05-07 深圳市捷顺科技实业股份有限公司 车辆驶入停车位检测方法、装置、电子设备及存储介质
CN112883819A (zh) * 2021-01-26 2021-06-01 恒睿(重庆)人工智能技术研究院有限公司 多目标跟踪方法、装置、系统及计算机可读存储介质
CN112907982A (zh) * 2021-04-09 2021-06-04 济南博观智能科技有限公司 一种车辆违停行为的检测方法、装置和介质
CN112949716A (zh) * 2021-03-02 2021-06-11 中国联合网络通信集团有限公司 相似度评估方法、系统、终端设备及计算机可读存储介质

Patent Citations (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004288113A (ja) * 2003-03-25 2004-10-14 Mitsubishi Electric Corp 駐車車両抑止装置
AU2014265082A1 (en) * 2005-06-10 2014-12-11 Accenture Global Services Limited Electronic vehicle identification
CN102074113A (zh) * 2010-09-17 2011-05-25 浙江大华技术股份有限公司 基于视频的牌照识别和车辆速度测量方法
US20130266190A1 (en) * 2012-04-06 2013-10-10 Xerox Corporation System and method for street-parking-vehicle identification through license plate capturing
US20160238394A1 (en) * 2013-10-01 2016-08-18 Hitachi, Ltd.. Device for Estimating Position of Moving Body and Method for Estimating Position of Moving Body
JP2014139795A (ja) * 2014-02-13 2014-07-31 Yupiteru Corp 駐車禁止エリア報知装置及びプログラム
CN104050812A (zh) * 2014-06-30 2014-09-17 江苏摩华物联科技有限公司 基于虚拟化边界与车牌识别技术的安全警戒方法
US20160239950A1 (en) * 2015-02-13 2016-08-18 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
AU2017261601A1 (en) * 2016-06-24 2018-01-18 Accenture Global Solutions Limited Intelligent automatic license plate recognition for electronic tolling environments
CN106448184A (zh) * 2016-12-15 2017-02-22 深圳市捷顺科技实业股份有限公司 车辆识别方法及车辆出场识别方法
CN108596949A (zh) * 2018-03-23 2018-09-28 云南大学 视频目标跟踪状态分析方法、装置和实现装置
CN110378195A (zh) * 2019-05-27 2019-10-25 浙江工业大学 基于直方图缓存法的多目标跟踪方法
CN110491135A (zh) * 2019-08-20 2019-11-22 深圳市商汤科技有限公司 检测违章停车的方法及相关装置
CN111105621A (zh) * 2019-12-17 2020-05-05 浙江大华技术股份有限公司 一种检测违章停车的方法及装置
CN111145214A (zh) * 2019-12-17 2020-05-12 深圳云天励飞技术有限公司 目标跟踪方法、装置、终端设备及介质
CN111161318A (zh) * 2019-12-30 2020-05-15 广东工业大学 一种基于yolo算法及gms特征匹配的动态场景slam方法
CN111242119A (zh) * 2020-01-02 2020-06-05 腾讯科技(深圳)有限公司 车辆图像的处理方法、装置、电子设备和计算机可读介质
AU2020100301A4 (en) * 2020-02-29 2020-04-02 Nanning Novosense Microelectronics Co., Ltd Method and system for recognizing and tracing river crab based on computer implemented image recognition
CN111539283A (zh) * 2020-04-15 2020-08-14 上海摩象网络科技有限公司 人脸跟踪方法及人脸跟踪设备
CN111862624A (zh) * 2020-07-29 2020-10-30 浙江大华技术股份有限公司 车辆匹配方法、装置、存储介质及电子装置
CN111931720A (zh) * 2020-09-23 2020-11-13 深圳佑驾创新科技有限公司 跟踪图像特征点的方法、装置、计算机设备和存储介质
CN112183528A (zh) * 2020-09-23 2021-01-05 桂林电子科技大学 目标车辆跟踪的方法及其装置、系统和计算机存储介质
CN112381014A (zh) * 2020-11-19 2021-02-19 城云科技(中国)有限公司 一种基于城市道路的违停车辆检测及管理方法及系统
CN112651997A (zh) * 2020-12-29 2021-04-13 咪咕文化科技有限公司 地图构建方法、电子设备和存储介质
CN112883819A (zh) * 2021-01-26 2021-06-01 恒睿(重庆)人工智能技术研究院有限公司 多目标跟踪方法、装置、系统及计算机可读存储介质
CN112766216A (zh) * 2021-01-29 2021-05-07 深圳市捷顺科技实业股份有限公司 车辆驶入停车位检测方法、装置、电子设备及存储介质
CN112949716A (zh) * 2021-03-02 2021-06-11 中国联合网络通信集团有限公司 相似度评估方法、系统、终端设备及计算机可读存储介质
CN112907982A (zh) * 2021-04-09 2021-06-04 济南博观智能科技有限公司 一种车辆违停行为的检测方法、装置和介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
胡金蓉等: "基于阈值分割的运矿车辆车牌精确定位", 《计算机工程与设计》 *
贾开开等: "一种基于特征点跟踪的多影像匹配算法", 《系统仿真学报》 *
韩功等: "使用物体交互模型的车辆违停事件检测", 《电视技术》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114677774A (zh) * 2022-03-30 2022-06-28 深圳市捷顺科技实业股份有限公司 道闸控制方法及相关设备
CN114677774B (zh) * 2022-03-30 2023-10-17 深圳市捷顺科技实业股份有限公司 道闸控制方法及相关设备
CN115083193A (zh) * 2022-04-28 2022-09-20 国网山东省电力公司泰安供电公司 停车场车辆分流方法、系统、终端及存储介质

Also Published As

Publication number Publication date
CN113990101B (zh) 2023-04-07

Similar Documents

Publication Publication Date Title
US10930151B2 (en) Roadside parking management method, device, and system based on multiple cameras
CN113990101B (zh) 一种禁停区域车辆检测方法及其系统和处理装置
CN105744232B (zh) 一种基于行为分析技术的输电线路视频防外破的方法
CN110738150B (zh) 相机联动抓拍方法、装置以及计算机存储介质
KR101908611B1 (ko) 차량 주차관리 방법
CN102426785B (zh) 基于轮廓和局部特征点的交通流信息感知方法及系统
CN107067730B (zh) 基于卡口设备的网约车人车不一致监测方法
CN101872524A (zh) 基于虚拟墙的视频监控方法、系统及装置
CN108932849B (zh) 一种记录多台机动车低速行驶违法行为的方法及装置
CN104616502A (zh) 基于组合式车路视频网络的车牌识别与定位系统
CN105321352A (zh) 一种机动车遮挡号牌违章行为检测及取证方法
CN113011263B (zh) 一种矿井监控方法、装置、终端设备及介质
CN108154146A (zh) 一种基于图像识别的车辆追踪方法
CN106529401A (zh) 一种车辆反跟踪方法、装置及系统
CN105528626A (zh) 一种rfid读写器和摄像机集成一体机及其应用
CN112071084A (zh) 一种利用深度学习判断违章停车的方法和系统
CN112381014A (zh) 一种基于城市道路的违停车辆检测及管理方法及系统
CN105957352B (zh) 违章停车检测方法和装置
CN109446926A (zh) 一种交通监控方法及装置、电子设备和存储介质
CN112733598A (zh) 车辆违法判别方法、装置、计算机设备和存储介质
CN113469115A (zh) 用于输出信息的方法和装置
CN114494998B (zh) 一种车辆数据智能分析方法及系统
CN109800656B (zh) 定位方法及相关产品
CN105227918A (zh) 一种智能监控方法及装置
CN109920255B (zh) 车辆通道的管理方法和管理系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant