CN114821490A - 一种基于深度学习的机场出发层违章车辆自动识别方法 - Google Patents

一种基于深度学习的机场出发层违章车辆自动识别方法 Download PDF

Info

Publication number
CN114821490A
CN114821490A CN202111642183.3A CN202111642183A CN114821490A CN 114821490 A CN114821490 A CN 114821490A CN 202111642183 A CN202111642183 A CN 202111642183A CN 114821490 A CN114821490 A CN 114821490A
Authority
CN
China
Prior art keywords
vehicle
time
equation
determined
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111642183.3A
Other languages
English (en)
Inventor
柏强
邵宇麒
蒙思源
王宇轩
秦倩
杜茂维
黄明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Capital Airport Group Co ltd
Changan University
Original Assignee
Capital Airport Group Co ltd
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Capital Airport Group Co ltd, Changan University filed Critical Capital Airport Group Co ltd
Priority to CN202111642183.3A priority Critical patent/CN114821490A/zh
Publication of CN114821490A publication Critical patent/CN114821490A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • G08G1/017Detecting movement of traffic to be counted or controlled identifying vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开一种基于深度学习的机场出发层违章接客车辆识别方法:基于机场出发车道边实际固定机位的监控视频,使用YOLO_v4算法识别车辆与行人目标,利用DeepSORT算法跟踪目标,根据YOLO_v4返回的目标类别与DeepSORT记录的目标位置信息判断车辆的运行状态与乘客上下车行为,在车辆停止时统计车内人数变化情况,根据该统计结果判断车辆是否存在接客行为,完成对机场出发层违章车辆的识别。有益效果:准确度可以达到83.3%,检测速度相较传统人工识别方式提升巨大,可以大大减小监控执法人员的工作量,提高非现场执法的执法效率及执法准确性,在智能交通监管领域具有广阔的发展前景,可以使机场陆侧交通的安全管理得到进一步强化,为交通行业的长足发展提供有效保障。

Description

一种基于深度学习的机场出发层违章车辆自动识别方法
技术领域
本发明涉及人工智能领域,具体涉及一种基于深度学习的机场出发层违章车辆自动识别方法。
背景技术
近年来,我国航空运输高速发展,各大机场客货吞吐量快速增长,给机场陆侧交通带来了一定的压力,因陆侧交通拥堵而导致的航空运输问题也不时发生。机场陆侧交通除机场附近路网道路外,也包含机场航站楼出发层车道边。机场出发层车道边是专门用于落客的区域,因机场无法保证所有车辆都能遵守规定,很多机场出发层车道边都是接送客混行,这无疑增加了出发层交通的压力。
针对这些行为,现在普遍使用的方法主要有人工现场监督和摄像头抓拍两种方式,但这两种技术手段也存在如下问题:
(1)人工现场管理因为需要不间断监督所以对人力成本消耗巨大;
(2)摄像头抓拍一般需要停车超过一定时间(5-7分钟)才可记录;
(3)两种方法均存在检测效率低、识别精度有限且不能从根本遏制违章行为。
综上所述,为改善现有违章监测手段、提升机场路侧交通通行效率,亟需从源头上改变现有的检测方式,开展机场路测智慧管控技术研究,建立精度高、成本低、鲁棒性强的机场违章车辆自动识别方法。
发明内容
本发明旨在于至少在一定程度上解决上述技术问题之一。
为此,本发明目的在于提供一种基于深度学习的机场出发层违章接客车辆自动识别方法,用于解决现有技术存在的检测成本高、检测的精度有限以及方法鲁棒性不强的问题。
本发明是通过以下技术方案实现的:
本发明的一种基于深度学习的机场出发层违章车辆自动识别方法,其特征在于:包括以下步骤:
S1:获取视频流,导入目标识别模型和多目标追踪判断模型,对视频流进行逐帧判断;S2:目标识别与判断,将车辆和行人作为识别目标,并分别赋予 id,如判断为车则执行步骤S3,如判断为人则执行步骤S4,直至视频文件每一帧均被判断完成;S3:对车辆是否处于静止状态进行识别,并保存车辆识别参数数据集至参数存储器;S4:对行人是否消失进行识别,并保存行人识别参数数据集至参数存储器;S5:对S3、S4中保存到参数存储器中的数据集进行计算,以一辆静止的车的检测范围内记录行人“出现”与“消失”的总次数的代数差来计算车辆的最终人数变化;S6:以车辆的车内最终人数变化为依据,对标记为消失的车辆进行违章行为识别;当人数变化>0时,可以判断车辆存在接客行为,即违章;当人数变化<0时,可以判断车辆存在送客行为,即未违章;当人数变化=0时,可以判断车辆为路过车辆;当人数变化数据丢失时,则代表车辆丢失部分数据,将其人数变化记为0,同时将该车做上数据丢失的标记;S7:输出结果。
进一步的,上述S1中的视频流为时长为T的机场出发层车道边固定机位监控视频,用t表示监控视频的任一时刻,t∈[0,T];
上述S2、S3、S5、S6的具体步骤为:车辆在t时刻被目标识别模型识别到并判断为“出现”时被赋予id为i,i∈N,N代表视频中所有个体被跟踪算法赋予的id集合;
Figure BDA0003444080380000031
表示t时刻时被多目标追踪判断模型的跟踪器标记“出现”的车的id 的集合,用
Figure BDA0003444080380000032
表示t时刻时被标记“消失”的车的id的集合,用
Figure BDA0003444080380000033
表示t时刻时未被多目标追踪判断模型的跟踪器标记为“消失”的车的id的集合,
Figure BDA0003444080380000034
由式 1确定:
Figure BDA0003444080380000035
车辆是否属于静止状态使用参数
Figure BDA0003444080380000036
代表id为i的车辆在t时刻的状态修正系数判定,当其为1时表示车辆处于静止状态,可以进行违章识别,当其为0 时,表示车辆处于其他状态,不能进行违章识别,
Figure BDA0003444080380000037
由式2确定:
Figure BDA0003444080380000038
式2中,
Figure BDA0003444080380000039
代表id为i的车辆在t时刻的状态参数,其为2时表示车辆处于还未识别出运动与静止的未知状态,其为1时表示车辆处于静止状态,其为0 时表示车辆处于运动状态,其为-1时表示车辆处于部分监测数据丢失状态,仅有当
Figure BDA00034440803800000310
为1时才能对车辆i进行违章识别。
进一步的,上述S2、S4、S5、S6的具体步骤为:当行人在t时刻被目标识别模型识别到并判断为“出现”时被赋予id为j,j∈N,用
Figure BDA00034440803800000311
表示t时刻时被跟多目标追踪判断模型的跟踪器标记“出现”的人的id的集合,用
Figure BDA00034440803800000312
表示t时刻时被标记“消失”的人的id的集合,用
Figure BDA00034440803800000313
表示t时刻时未被多目标追踪判断模型的跟踪器标记“消失”的人的id的集合,
Figure BDA00034440803800000314
由式8确定:
Figure BDA00034440803800000315
在监控视频的时间范围内,车辆i是否违章可由其在屏幕消失时的车内人数确定,使用参数CNei表示id为i的车在屏幕消失时的车内人数,
Figure BDA00034440803800000316
代表t时刻id为i的车辆内人数,CNei可由式9确定:
Figure BDA0003444080380000041
Figure BDA0003444080380000042
时,即id为i的车辆不存在丢失数据的情况时,可分为三种情况,当CNei>0时,判断id为i的车辆存在接客行为,即违章;当CNei<0时,判断id为i的车辆存在送客行为,即未违章;当CNei=0时,判断id为i的车辆为路过车辆;当
Figure BDA0003444080380000043
时,则代表id为i的车辆丢失部分数据数据,将在屏幕消失时的车辆的车内人数变化记为0,同时将id为i的车做上数据丢失的标记。
进一步的,上述
Figure BDA0003444080380000044
由式3确定:
Figure BDA0003444080380000045
式3中,ΔC1代表位移阈值,
Figure BDA0003444080380000046
代表t时刻id为i的车辆最新连续三次位移记录集合,
Figure BDA0003444080380000047
代表t时刻id为i的车辆最新连续三次位移记录集合中第w个位移;
Figure BDA0003444080380000048
为位移记录次数,
Figure BDA0003444080380000049
由式4确定:
Figure BDA00034440803800000410
式4中,ε为位移记录更新间隔,ki代表距离车辆i被标记为“出现”的时刻最近的位移记录更新时刻,ki由式5确定:
Figure BDA00034440803800000411
式3中,
Figure BDA00034440803800000412
由连续三次位移记录集合
Figure BDA00034440803800000413
位移阈值ΔC1、前一时刻运动状态
Figure BDA00034440803800000414
以及当前时刻t决定;
式3中的位移集合
Figure BDA00034440803800000415
是通过提取车辆位置记录
Figure BDA00034440803800000416
中最新的4个位置数据,并计算其相邻两个位置记录的差值得到的,总共包含3个差值,即三个位移幅度,
Figure BDA0003444080380000051
由式6确定:
Figure BDA0003444080380000052
Figure BDA0003444080380000053
代表在t时刻id为i的车辆的中心点的纵坐标,
Figure BDA0003444080380000054
由式7确定:
Figure BDA0003444080380000055
进一步的,上述
Figure BDA0003444080380000056
由式10确定:
Figure BDA0003444080380000057
式10中,
Figure BDA0003444080380000058
表示id为i的车辆在t时刻车辆检测数据完整性系数,其为1时表示数据完整可以进行正确检测,其为0时表示车辆由于遮挡而造成数据不完整无法进行正确检测,
Figure BDA0003444080380000059
由式11确定:
Figure BDA00034440803800000510
式11中
Figure BDA00034440803800000511
表示id为i的车辆在t时刻的车内人数变化,
Figure BDA00034440803800000512
由式12确定,即:
Figure BDA00034440803800000513
式12中,
Figure BDA00034440803800000514
表示id为j的人在t时刻的状态系数,该人被判断为“消失”
Figure BDA00034440803800000515
为1,该人被判断为“出现”
Figure BDA00034440803800000516
为-1,否则
Figure BDA00034440803800000517
为0,
Figure BDA00034440803800000518
由式13确定:
Figure BDA00034440803800000519
式12中,
Figure BDA0003444080380000061
为t时刻i车与j人位置关系系数,当在t时刻id为j的人的中心点位置在id为i的车的检测范围内时为1,否则为0,
Figure BDA0003444080380000062
由式14确定;同时,行人在t时刻的中心点坐标以及车辆在t时刻的中心点坐标以及检测范围的横纵坐标的最大值和最小值由多目标追踪判断模型计算返回,
Figure BDA0003444080380000063
为id为 i的车在t时刻检测范围横坐标最小值,
Figure BDA0003444080380000064
为id为i的车在t时刻检测范围横坐标最大值,
Figure BDA0003444080380000065
为id为i的车在t时刻检测范围纵坐标最小值,
Figure BDA0003444080380000066
为 id为i的车在t时刻追踪器的检测范围纵坐标最大值,
Figure BDA0003444080380000067
为id为j的人在t 时刻中心点横坐标,
Figure BDA0003444080380000068
为id为j的人在t时刻中心点纵坐标;
Figure BDA0003444080380000069
进一步的,上述目标识别模型为YOLO_v4算法模型;上述多目标追踪判断模型为DeepSORT算法模型。
本发明的有益效果在于:误识别率很低,能够到达应用的要求,可以大大减小监控执法人员的工作量,提高非现场执法的执法效率及执法准确性,在智能交通监管领域具有广阔的发展前景,可以使机场陆侧交通的安全管理得到进一步强化,为交通行业的长足发展提供有效保障
附图说明
图1:本发明的流程图;
具体实施方式
下面结合附图和具体实施方式对本发明做进一步说明:
实施例1:如图1所示,使用YOLO_v4进行目标识别和DeepSORT进行目标跟踪一段时长为T的机场出发层车道边固定机位监控视频,t表示监控视频的任一时刻,t∈[0,T];车辆在t时刻被YOLO_v4识别到判断为“出现”时被赋予id 为i,i∈N,N代表视频中所有个体被跟踪算法赋予的id集合,用
Figure BDA0003444080380000071
表示t时刻时被DeepSORT的跟踪器标记“出现”的车的id的集合(也称为存储器,下同),用
Figure BDA0003444080380000072
表示t时刻时被标记“消失”的车的id的集合,用
Figure BDA0003444080380000073
表示t时刻时未被DeepSORT的跟踪器标记为“消失”的车的id的集合,
Figure BDA0003444080380000074
由式(1)确定,即:
Figure BDA0003444080380000075
车辆i能否进行违章识别由其是否处于静止状态决定,使用参数
Figure BDA0003444080380000076
代表id 为i的车辆在t时刻的状态修正系数,当其为1时表示车辆处于静止状态,即可以进行违章识别,当其为0时,表示车辆处于其他状态,不能进行违章识别,
Figure BDA0003444080380000077
由式(2)确定,即:
Figure BDA0003444080380000078
式(2)中,
Figure BDA0003444080380000079
代表id为i的车辆在t时刻的状态参数,其为2时表示车辆处于还未识别出运动与静止的未知状态,其为1时表示车辆处于静止状态,其为0时表示车辆处于运动状态,其为-1时表示车辆处于部分监测数据丢失状态,仅有当
Figure BDA00034440803800000710
为1时才能对车辆i进行违章识别,
Figure BDA00034440803800000711
由式(3)确定,即:
Figure BDA00034440803800000712
式(3)中,ΔC1代表位移阈值,
Figure BDA00034440803800000713
代表t时刻id为i的车辆最新连续三次位移记录集合,
Figure BDA00034440803800000714
代表t时刻id为i的车辆最新连续三次位移记录集合中第w个位移;
Figure BDA00034440803800000715
为位移记录次数,
Figure BDA00034440803800000716
由式(4)确定,即:
Figure BDA0003444080380000081
式(4)中,ε为位移记录更新间隔,ki代表距离车辆i被标记为“出现”的时刻最近的位移记录更新时刻,ki由式(5)确定,即:
Figure BDA0003444080380000082
式(3)中,
Figure BDA0003444080380000083
由连续三次位移记录集合
Figure BDA0003444080380000084
位移阈值ΔC1、前一时刻运动状态
Figure BDA0003444080380000085
以及当前时刻t决定。
Figure BDA0003444080380000086
Figure BDA0003444080380000087
ΔC1
Figure BDA0003444080380000088
以及时刻t之间的关系,总共分为四种情况,当车辆刚刚被识别到还无法判定其运动状态时(
Figure BDA0003444080380000089
时),其运动状态为2;当距离车辆被标记为出现的时刻足够长(
Figure BDA00034440803800000810
时),即能够获取三次位移数据,当连续三次检测的移幅度都超过阈值ΔC1,且前一刻状态既不为2也不为-1的时候,其运动状态判定为1;当能够获取三次位移数据,连续三次位移幅度都小于阈值ΔC1,且前一刻状态不为-1的时候,其运动状态判定为1;当能够获取三次位移数据,连续三次位移幅度都小于阈值ΔC1,且前一刻状态为2,或者只要前一刻运动状态为-1的时候,其运动状态就判定为-1。
式(3)中的位移集合
Figure BDA00034440803800000811
是通过提取车辆位置记录
Figure BDA00034440803800000812
中最新的4个位置数据,并计算其相邻两个位置记录的差值得到的,总共包含3个差值,即三个位移幅度,
Figure BDA00034440803800000813
由式(6)确定,即:
Figure BDA00034440803800000814
其中,
Figure BDA00034440803800000815
代表在t时刻id为i的车辆的中心点的纵坐标,
Figure BDA00034440803800000816
由式(7) 确定,即:
Figure BDA00034440803800000817
行人人头在t时刻被YOLO_v4识别到判断为“出现”时被赋予id为j,
j∈N,用
Figure BDA0003444080380000091
表示t时刻时被跟DeepSORT的踪器标记“出现”的人的id的集合,用
Figure BDA0003444080380000092
表示t时刻时被标记“消失”的人的id的集合,用
Figure BDA0003444080380000093
表示t时刻时未被DeepSORT的跟踪器标记“消失”的人的id的集合,
Figure BDA0003444080380000094
由式(8)确定,即:
Figure BDA0003444080380000095
在监控视频的时间范围内,车辆i是否违章可由其在屏幕消失时的车内人数确定,使用参数CNei表示id为i的车在屏幕消失时的车内人数,
Figure BDA0003444080380000096
代表t时刻id为i的车辆内人数,CNei可由式(9)确定,即:
Figure BDA0003444080380000097
Figure BDA0003444080380000098
时,即id为i的车辆不存在丢失数据的情况时,可分为三种情况,当CNei>0时,可以判断id为i的车辆存在接客行为,即违章;当CNei<0时,可以判断id为i的车辆存在送客行为,即未违章;当CNei=0时,可以判断id为 i的车辆为路过车辆;当
Figure BDA0003444080380000099
时,则代表id为i的车辆丢失部分数据数据,将在屏幕消失时的车辆的车内人数变化记为0,同时将id为i的车做上数据丢失的标记。其中,
Figure BDA00034440803800000910
由式(10)确定,即:
Figure BDA00034440803800000911
式(10)中,
Figure BDA00034440803800000912
表示id为i的车辆在t时刻车辆检测数据完整性系数,其为1时表示数据完整可以进行正确检测,其为0时表示车辆由于遮挡而造成数据不完整无法进行正确检测,
Figure BDA00034440803800000913
由式(11)确定,即:
Figure BDA0003444080380000101
式(11)中
Figure BDA0003444080380000102
表示id为i的车辆在t时刻的车内人数变化,
Figure BDA0003444080380000103
由式(12) 确定,即:
Figure BDA0003444080380000104
式(12)中,
Figure BDA0003444080380000105
表示id为j的人在t时刻的状态系数,该人被判断为“消失”
Figure BDA0003444080380000106
为1,该人被判断为“出现”
Figure BDA0003444080380000107
为-1,否则
Figure BDA0003444080380000108
为0,
Figure BDA0003444080380000109
由式(13)确定,即:
Figure BDA00034440803800001010
式(12)中,
Figure BDA00034440803800001011
为t时刻i车与j人位置关系系数,当在t时刻id为j 的人的中心点位置在id为i的车的检测范围内时为1,否则为0,
Figure BDA00034440803800001012
由式(14) 确定。同时,行人在t时刻的中心点坐标以及车辆在t时刻的中心点坐标以及检测范围的横纵坐标的最大值和最小值由DeepSORT返回,其中
Figure BDA00034440803800001013
为id为i 的车在t时刻检测范围横坐标最小值,
Figure BDA00034440803800001014
为id为i的车在t时刻检测范围横坐标最大值,
Figure BDA00034440803800001015
为id为i的车在t时刻检测范围纵坐标最小值,
Figure BDA00034440803800001016
为id 为i的车在t时刻追踪器的检测范围纵坐标最大值,
Figure BDA00034440803800001017
为id为j的人在t时刻中心点横坐标,
Figure BDA00034440803800001018
为id为j的人在t时刻中心点纵坐标。
Figure BDA00034440803800001019
上述一种基于基于深度学习的机场出发层违章车辆自动识别方法,在显卡为10606G,CPU为i5-8500,内存为8g电脑中,使用Python语言将本发明内容中公式(1)至(14)按本发明流程图(如图1所示)进行编程,对来自昆明长水机场出发层3号门外的3号固定机位监控器2019年9月1日与2019年9 月2日的监控视频中含有违章接客的视频片段进行检测,再通过人工观看片段记录所有违章接客信息,将真实值与检测结果进行比较获得方法识别精度。检测结果如表2与表3所示。统计得视频的平均FPS为3.875,即每秒可处理将近 4张图片。
违章识别速度取决于以下两点:1.YOLO_v4的识别速率;2.DeepSORT的跟踪效率,且识别速率随显卡性能增加而增加。
表2识别结果
Figure BDA0003444080380000111
表3识别精度
Figure BDA0003444080380000112
对表2数据进行细化分析,结果如表3所示,总共有83.3%的违规行为被识别出来,其中识别为接客的占总样本50%,识别为疑似接客即需要人工进一步核实的样本占总样本33.3%。在总样本中未被成功识别出具有接客行为的样本占 16.7%,这是由跟踪丢失,或者计数判断错误两种原因导致的。
在实际应用中,即使违章车辆的识别率未达到较高精度,也可对打算在出发层接客的司机的选择产生一定影响。但是,对违章行为的识别率有要求,需要达到较低的水平才能应用。因为违章行为识别结果最后会上传到系统中用于对违章车辆进行罚款等,若是非违章车辆被误判为违章车辆概率过高很可能会造成大量投诉。因此本文除了统计违章接客车辆的识别结果,也统计了送客车辆的误识别情况,并进行了分析。
本实例从总时长为六个小时的视频片段中,筛选出有效时长为一个半小时的视频片段,并利用其对识别精度做进一步分析。在选取的这一个半个小时的片段中,总共有10个接客样本,150个送客样本,合计160个车辆样本,其识别结果的数据分析如表4与表5所示。
表4送客车辆误识别分析
Figure BDA0003444080380000121
输出结果中只包含违章接客与疑似接客两种结果,违章接客代表存在违章行为,并且无需人工核实,在应用中可直接上传系统;疑似接客代表可能存在接客行为但不确定,需要进行人工核实,在人工核实的时候可以人工剔除误识别的结果,保证送客车辆不会被误报。在实际操作中,为了管理的高效性,也可选择不进行人工核实,按未违章处理。由表4可知,在上传到系统时,送客车辆被误报的概率为0。
表5识别为违章接客的样本分布
Figure BDA0003444080380000122
由表5知,在160个总样本中,所有被识别为违章接客的总样本总共有6 个,其中实际是送客的样本数量为0,即在这种直接判定为违章接客且无需人工进一步核实的自动识别中,其误识别率为0。
综上所述,相比于现有技术,本发明介绍了基于深度学习的机场出发层违章车辆自动识别方法,首先提出了车辆违章接客行为的特征,即在一辆静止的车的检测范围内记录行人“出现”与“消失”的总次数的代数差来计算车辆的最终人数变化,从而判断车辆是否存在过接客行为,再基于YOLO_v4和 DeepSORT提出了车辆静止状态识别方法与车辆接客行为识别方法,初步构建了机场出发层车道边违章接客车辆识别方法。实例分析得到的违章车辆识别精度为50%,接客行为识别精度达到了83.3%。虽然识别精度还有待进一步提高,但是在实际应用中,这足以对打算在出发层接客的司机的选择造成一定影响;而且算法的误识别率很低,能够到达应用的要求,可以大大减小监控执法人员的工作量,提高非现场执法的执法效率及执法准确性,在智能交通监管领域具有广阔的发展前景,可以使机场陆侧交通的安全管理得到进一步强化,为交通行业的长足发展提供有效保障。
最后应说明的是:以上所述仅为本发明的优选实施例而已,并不用于限制本发明,尽管参照前述实施例对本发明进行了详细的说明,对于本领域的技术人员来说,其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

Claims (6)

1.一种基于深度学习的机场出发层违章车辆自动识别方法,其特征在于:包括以下步骤:
S1:获取视频流,导入目标识别模型和多目标追踪判断模型,对视频流进行逐帧判断;
S2:目标识别与判断,将车辆和行人作为识别目标,并分别赋予id,如判断为车则执行步骤S3,如判断为人则执行步骤S4,直至视频文件每一帧均被判断完成;
S3:对车辆是否处于静止状态进行识别,并保存车辆识别参数数据集至参数存储器;
S4:对行人是否消失进行识别,并保存行人识别参数数据集至参数存储器;
S5:对S3、S4中保存到参数存储器中的数据集进行计算,以一辆静止的车的检测范围内记录行人“出现”与“消失”的总次数的代数差来计算车辆的最终人数变化;
S6:以车辆的车内最终人数变化为依据,对标记为消失的车辆进行违章行为识别;当人数变化>0时,可以判断车辆存在接客行为,即违章;当人数变化<0时,可以判断车辆存在送客行为,即未违章;当人数变化=0时,可以判断车辆为路过车辆;当人数变化数据丢失时,则代表车辆丢失部分数据,将其人数变化记为0,同时将该车做上数据丢失的标记;
S7:输出结果。
2.如权利要求1所述的基于深度学习的机场出发层违章车辆自动识别方法,其特征在于:所述S1中的视频流为时长为T的机场出发层车道边固定机位监控视频,用t表示监控视频的任一时刻,t∈[0,T];
所述S2、S3、S5、S6的具体步骤为:车辆在t时刻被目标识别模型识别到并判断为“出现”时被赋予id为i,i∈N,N代表视频中所有个体被跟踪算法赋予的id集合;
Figure FDA0003444080370000021
表示t时刻时被多目标追踪判断模型的跟踪器标记“出现”的车的id的集合,用
Figure FDA0003444080370000022
表示t时刻时被标记“消失”的车的id的集合,用
Figure FDA0003444080370000023
表示t时刻时未被多目标追踪判断模型的跟踪器标记为“消失”的车的id的集合,
Figure FDA0003444080370000024
由式1确定:
Figure FDA0003444080370000025
车辆是否属于静止状态使用参数
Figure FDA0003444080370000026
代表id为i的车辆在t时刻的状态修正系数判定,当其为1时表示车辆处于静止状态,可以进行违章识别,当其为0时,表示车辆处于其他状态,不能进行违章识别,
Figure FDA0003444080370000027
由式2确定:
Figure FDA0003444080370000028
式2中,
Figure FDA0003444080370000029
代表id为i的车辆在t时刻的状态参数,其为2时表示车辆处于还未识别出运动与静止的未知状态,其为1时表示车辆处于静止状态,其为0时表示车辆处于运动状态,其为-1时表示车辆处于部分监测数据丢失状态,仅有当
Figure FDA00034440803700000210
为1时才能对车辆i进行违章识别。
3.如权利要求2所述的基于深度学习的机场出发层违章车辆自动识别方法,其特征在于:所述S2、S4、S5、S6的具体步骤为:当行人在t时刻被目标识别模型识别到并判断为“出现”时被赋予id为j,j∈N,用
Figure FDA00034440803700000211
表示t时刻时被跟多目标追踪判断模型的跟踪器标记“出现”的人的id的集合,用
Figure FDA00034440803700000212
表示t时刻时被标记“消失”的人的id的集合,用
Figure FDA00034440803700000213
表示t时刻时未被多目标追踪判断模型的跟踪器标记“消失”的人的id的集合,
Figure FDA00034440803700000214
由式8确定:
Figure FDA00034440803700000215
在监控视频的时间范围内,车辆i是否违章可由其在屏幕消失时的车内人数确定,使用参数CNei表示id为i的车在屏幕消失时的车内人数,
Figure FDA0003444080370000031
代表t时刻id为i的车辆内人数,CNei可由式9确定:
Figure FDA0003444080370000032
Figure FDA0003444080370000033
时,即id为i的车辆不存在丢失数据的情况时,可分为三种情况,当CNei>0时,判断id为i的车辆存在接客行为,即违章;当CNei<0时,判断id为i的车辆存在送客行为,即未违章;当CNei=0时,判断id为i的车辆为路过车辆;当
Figure FDA0003444080370000034
时,则代表id为i的车辆丢失部分数据数据,将在屏幕消失时的车辆的车内人数变化记为0,同时将id为i的车做上数据丢失的标记。
4.如权利要求2所述的基于深度学习的机场出发层违章车辆自动识别方法,其特征在于:所述
Figure FDA0003444080370000035
由式3确定:
Figure FDA0003444080370000036
式3中,ΔCl代表位移阈值,
Figure FDA0003444080370000037
代表t时刻id为i的车辆最新连续三次位移记录集合,
Figure FDA0003444080370000038
代表t时刻id为i的车辆最新连续三次位移记录集合中第w个位移;
Figure FDA0003444080370000039
为位移记录次数,
Figure FDA00034440803700000310
由式4确定:
Figure FDA00034440803700000311
式4中,ε为位移记录更新间隔,ki代表距离车辆i被标记为“出现”的时刻最近的位移记录更新时刻,ki由式5确定:
Figure FDA00034440803700000312
式3中,
Figure FDA0003444080370000041
由连续三次位移记录集合
Figure FDA0003444080370000042
位移阈值ΔCl、前一时刻运动状态
Figure FDA0003444080370000043
以及当前时刻t决定;
式3中的位移集合
Figure FDA0003444080370000044
是通过提取车辆位置记录
Figure FDA0003444080370000045
中最新的4个位置数据,并计算其相邻两个位置记录的差值得到的,总共包含3个差值,即三个位移幅度,
Figure FDA0003444080370000046
由式6确定:
Figure FDA0003444080370000047
Figure FDA0003444080370000048
代表在t时刻id为i的车辆的中心点的纵坐标,
Figure FDA0003444080370000049
由式7确定:
Figure FDA00034440803700000410
5.如权利要求3所述的基于深度学习的机场出发层违章车辆自动识别方法,其特征在于:所述
Figure FDA00034440803700000411
由式10确定,即:
Figure FDA00034440803700000412
式10中,
Figure FDA00034440803700000413
表示id为i的车辆在t时刻车辆检测数据完整性系数,其为1时表示数据完整可以进行正确检测,其为0时表示车辆由于遮挡而造成数据不完整无法进行正确检测,
Figure FDA00034440803700000414
由式11确定:
Figure FDA00034440803700000415
式11中
Figure FDA00034440803700000416
表示id为i的车辆在t时刻的车内人数变化,
Figure FDA00034440803700000417
由式12确定,即:
Figure FDA00034440803700000418
式12中,
Figure FDA0003444080370000051
表示id为j的人在t时刻的状态系数,该人被判断为“消失”
Figure FDA0003444080370000052
为1,该人被判断为“出现”
Figure FDA0003444080370000053
为-1,否则
Figure FDA0003444080370000054
为0,
Figure FDA0003444080370000055
由式13确定:
Figure FDA0003444080370000056
式12中,
Figure FDA0003444080370000057
为t时刻i车与j人位置关系系数,当在t时刻id为j的人的中心点位置在id为i的车的检测范围内时为1,否则为0,
Figure FDA0003444080370000058
由式14确定;同时,行人在t时刻的中心点坐标以及车辆在t时刻的中心点坐标以及检测范围的横纵坐标的最大值和最小值由多目标追踪判断模型计算返回,
Figure FDA0003444080370000059
为id为i的车在t时刻检测范围横坐标最小值,
Figure FDA00034440803700000510
为id为i的车在t时刻检测范围横坐标最大值,
Figure FDA00034440803700000511
为id为i的车在t时刻检测范围纵坐标最小值,
Figure FDA00034440803700000512
为id为i的车在t时刻追踪器的检测范围纵坐标最大值,
Figure FDA00034440803700000513
为id为j的人在t时刻中心点横坐标,
Figure FDA00034440803700000514
为id为j的人在t时刻中心点纵坐标;
Figure FDA00034440803700000515
6.如权利要求1-5任一项所述的基于深度学习的机场出发层违章车辆自动识别方法,其特征在于:所述目标识别模型为YOLO_v4算法模型;所述多目标追踪判断模型为DeepSORT算法模型。
CN202111642183.3A 2021-12-29 2021-12-29 一种基于深度学习的机场出发层违章车辆自动识别方法 Pending CN114821490A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111642183.3A CN114821490A (zh) 2021-12-29 2021-12-29 一种基于深度学习的机场出发层违章车辆自动识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111642183.3A CN114821490A (zh) 2021-12-29 2021-12-29 一种基于深度学习的机场出发层违章车辆自动识别方法

Publications (1)

Publication Number Publication Date
CN114821490A true CN114821490A (zh) 2022-07-29

Family

ID=82527951

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111642183.3A Pending CN114821490A (zh) 2021-12-29 2021-12-29 一种基于深度学习的机场出发层违章车辆自动识别方法

Country Status (1)

Country Link
CN (1) CN114821490A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115550611A (zh) * 2022-09-23 2022-12-30 广东机场白云信息科技有限公司 一种航班保障节点的智能监测方法、装置及系统
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115550611A (zh) * 2022-09-23 2022-12-30 广东机场白云信息科技有限公司 一种航班保障节点的智能监测方法、装置及系统
CN116453205A (zh) * 2022-11-22 2023-07-18 深圳市旗扬特种装备技术工程有限公司 一种营运车辆滞站揽客行为识别方法、装置及系统

Similar Documents

Publication Publication Date Title
US6442474B1 (en) Vision-based method and apparatus for monitoring vehicular traffic events
CN102231236B (zh) 车辆计数方法和装置
CN100452110C (zh) 一种车辆视频识别测速方法
CN103116987B (zh) 一种基于监控视频处理的车流统计和违规检测的方法
CN110136447A (zh) 行车变道检测及违法变道识别的方法
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
CN114821490A (zh) 一种基于深度学习的机场出发层违章车辆自动识别方法
CN106373426A (zh) 基于计算机视觉的停车位及违规占道停车监控方法
CN109344886B (zh) 基于卷积神经网络的遮挡号牌判别方法
CN102496275B (zh) 客车超载检测方法
CN111460924B (zh) 一种基于目标检测的闸机通过逃票行为检测方法
CN106991820A (zh) 违规车辆处理方法及装置
CN109615880A (zh) 一种基于雷达图像处理的车流量测量方法
CN103854029A (zh) 一种前车窗右上角点检测方法
CN111899517B (zh) 一种高速公路疲劳驾驶违法行为判定方法
CN106097725A (zh) 一种基于动态特征提取的车辆分类流量检测方法
CN116153108A (zh) 一种使用随机森林模型评估照明对交叉口安全影响的方法
CN111695545A (zh) 一种基于多目标追踪的单车道逆行检测方法
CN108520528A (zh) 基于改进差分阈值和位移匹配模型的移动车辆跟踪方法
CN113850995B (zh) 一种基于隧道雷视数据融合的事件检测方法、装置及系统
CN111539359A (zh) 基于深度学习的违章停车检测方法
CN115440071B (zh) 一种自动驾驶违规停车检测方法
CN113343880A (zh) 一种车辆遮挡号牌的识别方法、装置、设备及介质
CN117116046A (zh) 一种基于单阶段目标检测的交通常见事件检测方法
CN109344829A (zh) 一种高速铁路列车的车号识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination