CN109447032B - 高速公路服务区客车违法上下客的检测方法及系统 - Google Patents

高速公路服务区客车违法上下客的检测方法及系统 Download PDF

Info

Publication number
CN109447032B
CN109447032B CN201811350123.2A CN201811350123A CN109447032B CN 109447032 B CN109447032 B CN 109447032B CN 201811350123 A CN201811350123 A CN 201811350123A CN 109447032 B CN109447032 B CN 109447032B
Authority
CN
China
Prior art keywords
detection
alighting
detecting
passenger
behaviors
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811350123.2A
Other languages
English (en)
Other versions
CN109447032A (zh
Inventor
王维锋
方勇
党倩
万剑
周云城
丁闪闪
陈爱伟
王嘉竞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Design Group Co Ltd
Original Assignee
China Design Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Design Group Co Ltd filed Critical China Design Group Co Ltd
Priority to CN201811350123.2A priority Critical patent/CN109447032B/zh
Publication of CN109447032A publication Critical patent/CN109447032A/zh
Application granted granted Critical
Publication of CN109447032B publication Critical patent/CN109447032B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Abstract

本发明公开了一种高速公路服务区客车违法上下客行为的检测方法及系统，所述方法包括：采集高速公路服务区的检测视频场；对检测视频场中的客车进行检测分析，包括：客车停车检测、客车行李箱打开检测、上下客统计计数及上下客携物特征检测；根据检测分析结果对违法上下客行为进行识别。本发明能够实现高速公路服务区客车违法上下客行为的自动检测，提高检测判断的准确率，降低漏检率的准确率，降低漏检率。

Description

高速公路服务区客车违法上下客的检测方法及系统
技术领域
本发明涉及一种高速公路服务区客车违法上下客行为的检测方法及系统，属于视频图像处理技术领域。
背景技术
高速公路服务区客运车辆违法上下客行为严重地影响交通秩序，危害交通安全，扰乱客运市场；车辆容易出现超载、倒客、甩客等违法违规行为，行李未经安检存在安全隐患，乘客司机的合法权益无法保障；此外，客运车辆违法上下客带来行人自由出入、翻过围栏、横穿高速公路的风险，导致意外伤害及事故。
目前高速公路服务区主要采用人工现场巡检的方式判别车辆上下客合法性，缺少有效的智能化检测识别手段，导致违法上下客执法效力低、时效性差。随着技术进步、管理机制革新，采用技术与管理融合手段实现服务区违法上下客行为的主动检测识别，已成为当务之急。
发明内容
本发明实施例的目的在于克服现有技术中的不足，提供一种高速公路服务区客车违法上下客行为的检测方法及系统，实现高速公路服务区客车违法上下客行为的自动检测，提高检测判断的准确率，降低漏检率。
为达到上述目的，本发明实施例是采用下述技术方案实现的：
第一方面，本发明实施例提供了一种高速公路服务区客车违法上下客行为的检测方法，所述方法包括：
采集高速公路服务区的检测视频场；
对检测视频场中的客车进行检测分析，包括：客车停车检测、客车行李箱打开检测、上下客统计计数及上下客携物特征检测；
根据检测分析结果对违法上下客行为进行识别。
可选择地，当满足下述条件时判定客车存在违法上下客行为：
a.检测到客车有停车行为；
b.检测到客车具有打开行李箱动作；
c.检测到上下客具有携物行为；
d.客车停车后上下客统计计数对比不一致。
可选择地，所述检测分析采用深度卷积神经网络的深度目标检测算法。
可选择地，所述深度目标检测算法包括：
构建检测视频图像的深度卷积神经网络；
结合训练样本进行深度卷积神经网络的训练；
采用训练好的深度卷积神经网络进行检测分析。
可选择地，所述深度卷积神经网络包括：
用于生成图像的特征图的深度卷积神经网络的特征提取网络、用于检测特征图中是否包含检测目标的区域建议网络和用于对检测目标分类的分类回归网络。
可选择地，所述特征提取网络采用二分类的特征提取网络。
可选择地，所述区域建议网络检测特征图中是否包含检测目标的方法包括：
通过ROI pooling层对生成的特征图进行max pooling池化，将特征图转化为大小统一的特征图；
通过两个卷积层对大小统一的特征图进行特征映射；
通过一个全连接层检测卷积层输出特征图中的建议区域内是否包含检测目标；
通过一个Softmax层对全连接层输出结果进行归一化操作，输出特征图中包含检测目标的置信度。
可选择地，所述方法还包括：对于违法上下客行为进行图像采集取证。
可选择地，所述上下客携物特征检测包括：对手提包、挎包、背包、行李箱、行李袋及其组合方式的检测。
第二方面，本发明实施例还提供了一种高速公路服务区客车违法上下客行为的检测系统，包括处理器及存储器，所述存储器用于存储指令；
所述处理器用于根据所述指令操作以执行前述高速公路服务区客车违法上下客行为的检测方法的步骤。
综上，本发明实施例所提供的高速公路服务区客车违法上下客行为的检测方法及系统存在如下有益效果：
采用多个判别条件对客车违法上下客行为进行判别，提高了检测判断的准确率，降低了漏检率；
填补了高速公路服务区违法上下客行为自动检测的空白，实现疑似上下客行为的抓拍取证，为管理部门执法监管提供支撑及执法依据，提升管理效率与智能化水平；
高速公路服务区违法上下客检测识别关键技术的应用，能显著提高高速公路客运交通的安全性，减少交通事故的发生与不利影响的扩散，保障人民的生命财产安全；
与此同时，检测方法可有效支撑监管执法部门对服务区客运车辆的动态监控管理，强化应急保障能力，对推进平安交通的发展建设具有重要作用。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是根据本发明实施例提供的高速公路服务区客车违法上下客行为的检测方法的流程图；
图2是根据本发明实施例提供的二分类深度卷积网络结构示意图。
具体实施方式
本发明实施例公开的高速公路服务区客车违法上下客行为的检测方法及系统是通过客车行李箱打开行为、上下客统计计数及上下客携物特征的时空关联分析来判断是否存在违法上下客行为，采用深度学习算法来进行目标特征的提取和识别，能适应夜间、强光、雾霾等多种场景，大大提高了违法上下客行为检测的准确性和鲁棒性。
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施例所提供的高速公路服务区客车违法上下客行为的检测方法，能够被高速公路服务区客车违法上下客行为的检测系统所执行，如图1所示，包括：客车检测、客车行李箱打开检测、上下客检测、上下客携物特征检测、违法上下客行为识别及违法行为取证。
客车检测：在检测视频场中检测是否有客车停车；
客车行李箱打开检测：将客车行李箱打开这一特征作为客车疑似违法上下客行为的一个明显特征；
上下客检测：当在检测视频场中检测到有客车停车时，根据客车停车位置划定上下客行为检测区域，定义上下客目标行进方向，基于上客与下客的特征分析比对，实现对上下客行为的检测识别及统计计数。
上下客携物检测：在高速公路服务区违法上下客行为往往具有上下客携物上下车这一明显特征作为疑似违法上下客检测识别的特征；其中上下客携物特征包括：携带手提包、挎包、背包、行李箱、行李袋及其组合方式。
违法上下客行为识别：根据上下客携物上下车类型特征及上下客统计计数，基于服务区视频建设基础，建立视频监控序列，进行违法上下客的行为关联分析，识别判断违法上下客行为；具体判别条件为：
a.检测到客车有停车行为；
b.检测到客车具有打开行李箱动作；
c.检测到上下客具有携物行为；
d.客车停车后上下客统计计数对比不一致。
违法行为取证：根据对违法上下客行为的识别判断，给出疑似违法上下客行为结果，并拍摄照片或视频对违法行为进行取证。
本发明实施例所提供的检测方法采用深度卷积神经网络的深度目标检测算法，其网络结构如图2所示。检测算法包括以下步骤：
步骤A：构建检测视频图像的深度检测网络，包括：深度卷积神经网络的特征提取网络，用以生成图像的特征图(Feature Maps)；区域建议网络(Region Proposal Network，RPN)，用以生成候选区域；分类回归网络，用以检测目标分类；
特征提取网络采用二分类的特征提取网络，即针对目标特征和目标分类特征分别进行特征提取，以提高特征提取网络的性能。
区域建议网络包括一个ROI pooling层、两个卷积层、一个全连接层和一个Softmax层，区域建议网络主要是用以检测特征图中是否包含检测目标。首先通过ROIpooling层对生成的特征图进行max pooling池化，将特征图转化为大小统一的特征图；然后再通过两个卷积层对大小统一的特征图进行特征映射；再通过一个全连接层检测卷积层输出特征图中的建议区域内是否包含检测目标；最后再通过一个Softmax层对全连接层输出结果进行归一化操作，输出检测特征图中包含检测目标的置信度。
分类回归网络包括一个ROI pooling层、一个全连接层和一个Softmax层。分类回归网络主要是用以确定各检测目标的分类。首先采用一个ROIpooling层将区域建议网络中的特征池化成统一规格的特征图；然后再通过一个全连接层检测出特征图中包含目标分类的特征；再通过一个Softmax层进行归一化操作，结合区域建议网络中的目标分类的提取特征图，输出检测特征图中包含各类目标分类的置信度。
步骤B：以步骤A构建的网络为基础，结合训练样本进行深度卷积神经网络的训练；训练的区域建议网络选取依据选取如下：
(1)丢弃跨越边界的区域；
(2)与样本重叠区域大于0.7的区域标记为前景，重叠区域小于0.3的标定为背景；
对于每一个建议区域通过两个全连接层进行判断，并且结合概率进行舍弃，同时使用网络自身完成判断和修正，同时通过使用共享特征交替训练的方式，达到接近实际的性能，其中训练步骤为：
1)根据现有网络初始化权值，训练RPN；
2)用RPN提取训练集上的建议区域，用建议区域训练网络，更新权值；
3)重复(1)、(2)步骤，直至网络训练收敛。
步骤C：进行具体目标检测，根据样本的训练结果，对实际的检测目标进行检测。
1)搭建实验环境，模拟实际使用场景进行实验检测，根据实验检测结果与实际的实验情况进行比较，在差异较大时，优化网络结构，修改网络参数，重新进行步骤B。
2)在实验环境下，验证算法的准确性和稳定性的情况下，进行实景的检测，验证并形成最终的算法。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.高速公路服务区客车违法上下客行为的检测方法，其特征在于，所述方法包括：
采集高速公路服务区的检测视频场；
对检测视频场中的客车进行检测分析，包括：客车停车检测、客车行李箱打开检测、上下客统计计数及上下客携物特征检测；
根据检测分析结果对违法上下客行为进行识别；
所述检测分析采用深度卷积神经网络的深度目标检测算法，所述深度目标检测算法包括：
构建检测视频图像的深度卷积神经网络；
结合训练样本进行深度卷积神经网络的训练；
采用训练好的深度卷积神经网络进行检测分析；
所述深度卷积神经网络包括：
用于生成图像的特征图的深度卷积神经网络的特征提取网络、用于检测特征图中是否包含检测目标的区域建议网络和用于对检测目标分类的分类回归网络；
所述特征提取网络采用二分类的特征提取网络；
所述区域建议网络检测特征图中是否包含检测目标的方法包括：
通过ROI pooling层对生成的特征图进行max pooling池化，将特征图转化为大小统一的特征图；
通过两个卷积层对大小统一的特征图进行特征映射；
通过一个全连接层检测卷积层输出特征图中的建议区域内是否包含检测目标；
通过一个Softmax层对全连接层输出结果进行归一化操作，输出特征图中包含检测目标的置信度。
2.根据权利要求1所述的高速公路服务区客车违法上下客行为的检测方法，其特征在于，当满足下述条件时判定客车存在违法上下客行为：
a.检测到客车有停车行为；
b.检测到客车具有打开行李箱动作；
c.检测到上下客具有携物行为；
d.客车停车后上下客统计计数对比不一致。
3.根据权利要求1所述的高速公路服务区客车违法上下客行为的检测方法，其特征在于，所述方法还包括：对于违法上下客行为进行图像采集取证。
4.根据权利要求1所述的高速公路服务区客车违法上下客行为的检测方法，其特征在于，所述上下客携物特征检测包括：对手提包、挎包、背包、行李箱、行李袋及其组合方式的检测。
5.一种高速公路服务区客车违法上下客行为的检测系统，包括处理器及存储器，其特征在于，
所述存储器用于存储指令；
所述处理器用于根据所述指令操作以执行权利要求1~4任一项所述方法的步骤。
CN201811350123.2A 2018-11-14 2018-11-14 高速公路服务区客车违法上下客的检测方法及系统 Active CN109447032B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811350123.2A CN109447032B (zh) 2018-11-14 2018-11-14 高速公路服务区客车违法上下客的检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811350123.2A CN109447032B (zh) 2018-11-14 2018-11-14 高速公路服务区客车违法上下客的检测方法及系统

Publications (2)

Publication Number Publication Date
CN109447032A CN109447032A (zh) 2019-03-08
CN109447032B true CN109447032B (zh) 2020-12-04

Family

ID=65552291

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811350123.2A Active CN109447032B (zh) 2018-11-14 2018-11-14 高速公路服务区客车违法上下客的检测方法及系统

Country Status (1)

Country Link
CN (1) CN109447032B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111105622B (zh) * 2019-12-23 2021-11-02 北京中交兴路车联网科技有限公司 违规停车纠正方法、装置以及存储介质
CN111914773A (zh) * 2020-08-07 2020-11-10 杭州微胜智能科技有限公司 一种抓拍违法上下客的设备、方法
CN112016423A (zh) * 2020-08-20 2020-12-01 浙江大华技术股份有限公司 车辆车门状态的识别方法、装置、设备及计算机存储介质
CN113066291A (zh) * 2021-03-19 2021-07-02 昆山宝创新能源科技有限公司 监控方法和设备
CN115311633B (zh) * 2022-10-11 2022-12-27 深圳市旗扬特种装备技术工程有限公司 车辆违法上下客的检测方法、装置、电子设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103280108A (zh) * 2013-05-20 2013-09-04 中国人民解放军国防科学技术大学 基于视觉感知和车联网的客车安全预警系统
CN203376875U (zh) * 2013-07-09 2014-01-01 济南鲁道科技有限公司 远程车辆监控装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120107602A (ko) * 2011-03-22 2012-10-04 주식회사 네비웨이 버스 정류장 승객 안전 유도 시스템
CN108122414A (zh) * 2016-11-30 2018-06-05 杭州海康威视数字技术股份有限公司 公路上客车上下客的检测方法及装置
CN108423003A (zh) * 2018-02-08 2018-08-21 深圳市芝麻开门电子科技有限公司 一种驾驶安全监控方法及系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103280108A (zh) * 2013-05-20 2013-09-04 中国人民解放军国防科学技术大学 基于视觉感知和车联网的客车安全预警系统
CN203376875U (zh) * 2013-07-09 2014-01-01 济南鲁道科技有限公司 远程车辆监控装置

Also Published As

Publication number Publication date
CN109447032A (zh) 2019-03-08

Similar Documents

Publication Publication Date Title
CN109447032B (zh) 高速公路服务区客车违法上下客的检测方法及系统
CN111444821B (zh) 一种城市道路标志自动识别方法
CN110738857B (zh) 一种车辆违章取证方法、装置及设备
WO2017156772A1 (zh) 一种乘客拥挤度的计算方法及其系统
CN103279756B (zh) 基于集成分类器的车辆检测分析系统及其检测分析方法
CN103400111B (zh) 基于视频检测技术的高速公路隧道火灾事件检测方法
CN105868700A (zh) 一种基于监控视频的车型识别与跟踪方法及系统
CN104036323A (zh) 一种基于卷积神经网络的车辆检测方法
CN110555347B (zh) 具有危险载货行为的车辆目标识别方法、装置及电子设备
CN104268528A (zh) 一种人群聚集区域检测方法和装置
CN113420607A (zh) 无人机多尺度目标检测识别方法
WO2023124442A1 (zh) 积水深度检测方法及装置
CN106845359A (zh) 基于红外发射的隧道入口行车提示装置及方法
CN114049572A (zh) 识别小目标的检测方法
KR102089298B1 (ko) 범용 문자 시퀀스 검출을 통한 다국적 차량번호판 인식 시스템 및 그 방법
Thiruppathiraj et al. Automatic pothole classification and segmentation using android smartphone sensors and camera images with machine learning techniques
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
Kamenetsky et al. Aerial car detection and urban understanding
CN115311458B (zh) 基于多任务学习的实时高速公路行人闯入事件检测方法
Xu et al. Tad: A large-scale benchmark for traffic accidents detection from video surveillance
CN115527118A (zh) 一种融合注意力机制的遥感图像目标检测方法
Gupta et al. Military surveillance with deep convolutional neural network
CN113723258A (zh) 危险品车辆图像识别方法及其相关设备
Kinattukara et al. Clustering based neural network approach for classification of road images
CN112801056B (zh) 一种基于局部图像分类的渣土车顶盖状态确定方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 210014 No. 9, Ziyun Avenue, Qinhuai District, Jiangsu, Nanjing

Applicant after: China Design Group Co.,Ltd.

Address before: 210014 No. 9, Ziyun Avenue, Qinhuai District, Jiangsu, Nanjing

Applicant before: CHINA DESIGN GROUP Co.,Ltd.

CB02 Change of applicant information
GR01 Patent grant
GR01 Patent grant