CN109637151B - 一种高速公路应急车道违章行驶的识别方法 - Google Patents
一种高速公路应急车道违章行驶的识别方法 Download PDFInfo
- Publication number
- CN109637151B CN109637151B CN201811654485.0A CN201811654485A CN109637151B CN 109637151 B CN109637151 B CN 109637151B CN 201811654485 A CN201811654485 A CN 201811654485A CN 109637151 B CN109637151 B CN 109637151B
- Authority
- CN
- China
- Prior art keywords
- vehicle
- lane
- emergency
- vehicles
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 14
- 238000012545 processing Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 4
- 238000002372 labelling Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 238000013135 deep learning Methods 0.000 claims description 2
- 238000006073 displacement reaction Methods 0.000 abstract description 2
- 238000012795 verification Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
- G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/148—Segmentation of character regions
- G06V30/153—Segmentation of character regions using recognition of characters or words
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种高速公路应急车道违章行驶的识别方法，包括以下步骤:获取高速公路应急车道抓拍图像；对图像场景分割和车辆检测，获取车道线和车辆以及“严禁占用应急车道”的标牌；判断车辆是否占用紧急车道且有明细位移，并是否违章的判定结果作为输出。本发明实现了车辆占用紧急车道的自动识别，替换了现有的人工审核方式，节约了人力，加快了处理速度，又保证了审核工作的公开，公正。
Description
技术领域
本发明涉及视频、图像识别处理领域，特别涉及高速公路车辆行驶违章类型的人工智能判断技术领域。
背景技术
随着社会经济的不断发展和人民生活水平的持续提高,城市机动车保有量迅猛增长。查处高速路机动车车辆违章违法的工作量也随之迅速增大。传统的违章车辆检测中主要是通过人工检测,对于车辆是否存在真实违章违法行为的情况,受到光线和人为因素的影响，一般检验人员用肉眼去分辨,校验准确率和效率都有限。
如何准确、快速地对非紧急情况下车辆在高速公路应急车道上行驶的违章类型进行校验,同时避免人工校验成本高,易疲劳,易疏忽等弊端,是急需解决的技术问题。
发明内容
本发明的目的是:提出一种高速公路应急车道违章行驶的识别方法,自动审核车辆是否违法,以满足如今对车辆占用紧急车道类型的违章违法类型的校验工作效率、准确率的需求。
本发明解决其技术问题所采用的技术方案是:
一种高速公路应急车道违章行驶的识别方法，其特征在于，包括以下步骤：
S1、从服务器获取高速公路应急车道时间间隔为1秒左右的三张抓拍图像(从后面抓拍)；
S2、利用检测算法检测三张图像中所有车辆；
S3、通过车牌识别方法定位第一张图中正确的车辆位置；
S4、采用GoogLenet网络结构跟踪三张图中上述S3中车辆位置；
S5、利用场景分割模型进行场景分割，得到“严禁占用应急车道”的警示牌和车道线分割结果；
S6、根据车辆检测、识别定位以及场景分割结果判断目标车辆是否违法占用紧急车道。
采用GoogLenet网络对车辆跟踪步骤如下：
S40、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强。当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征；
S41、对第一张图定位到的车辆输入到GoogLenet Inception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200*200分辨率的图像，最后得到一个256维特征；
S42、对第二张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S41，得到若干256维特征；
S43、对第三张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S41，得到若干256维特征；
S44、用S41中一个256维特征和S42中若干个256维特征做余弦相似度，由于特征提取模块提取的256维特征已经能够很好的表征该车辆，所以采用余弦相似可以更显现出两辆车之间的差异度，最后取出得分最高所对应的256维特征；
S45、用S42中得分最高的256维特征和S43中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；
S46、由于第二张图和第三张图通过检测算法已经分别检测出若干辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆。
所述基于深度学习的场景分割模型获取步骤如下：
S51、收集实际应用场景中车辆，“严禁占用应急车道”的警示牌，车道线的图片，并人工标注出这些区域，即人工标注包围车辆，“严禁占用应急车道”的警示牌，车道线的闭合多边形；
S52、将人工标注转换为标签矩阵，即人工标注的车辆闭合区域内所有像素点标签设置为0,“严禁占用应急车道”的警示牌闭合区域内所有像素点标签设置为1,车道线闭合区域内所有像素点标签设置为2；
S53、将车辆，“严禁占用应急车道”的警示牌，车道线图片及对应的标签矩阵输入deeplab-v2分割算法训练，deeplab-v2分割算法采用ResNet-34作为骨干网络，psp_module和unet模块作为解码器，并使用skip layer引入低维细节特征作为模型网络结构。使用a＊bce_loss+b＊lovasz_loss作为最终loss，其中0<＝a，b<＝1，并引入辅助损失aux_loss进行训练；
S54、应用训练好的deeplab-v2分割算法预测输入图像像素点类别，将属于车辆，“严禁占用应急车道”的警示牌，车道线各个类别的像素点坐标集合输出，从而实现车辆，“严禁占用应急车道”的警示牌，车道线区域的分割。
4.如权利要求1所述的一种用于非紧急情况下车辆在高速公路应急车道上行驶的违章类型的识别方法，其特征在于，所述S6根据车辆检测、识别定位以及场景分割结果判断目标车辆是否违法占用紧急车道步骤如下：
S61、如果没有分割出车道线或者警示牌，则直接判断目标车辆不违法，如果分割有结果，则向下进行。
S62、利用警示牌的中心点离线的距离找到离警示牌最近(高速路两边边缘的线除外)的车道线，并判断目标车辆是否在所找到的车道线与警示牌中间，如果三张图中有一张目标车辆不在车道线与警示牌中间，直接判断目标车辆不违法，否则向下进行。
S63、如果满足S61，找到第一张目标车辆与第三张目标车辆的中心点，如果两点距离大于一定阈值，如50,则目标车辆在紧急车道内有位移，则判定目标车辆违法。
本发明的有益效果是:本发明主要应用于非紧急情况下车辆在高速公路应急车道上行驶的违章类型的识别检测方法,其实现了占用紧急车道违章类型的自动校验。既节约了人力,又保证了校验工作的公正、公开。
附图说明
图1是本发明的结构示意图。
图2是本发明目标检测单元的结构示意图。
图3是本发明场景分割单元的结构示意图。
图4是本发明车辆识别单元的结构示意图。
具体实施方式
下结合附图,对本发明做进一步说明。
本发明主要基于目标检测模块、车辆识别定位模块、场景分割模块及判定模块。
首先，将图像传入目标检测单元以及场景分割单元，利用目标检测模型获取所有车辆位置，利用车辆识别定位模型定位出目标车辆所在位置。然后，利用分割结果判断图中是否警示牌以及车道线，如果没有则直接判定目标车辆不违法，如果有警示牌以及车道线，则判断目标车辆是否在紧急车道内，如果不在则直接判定目标车辆不违法。最后，如果目标车辆在紧急车道内，则判断目标车辆在紧急车道内是否有位移，如果没有位移则判定目标车辆不违法，如果有位移则判定目标车辆违法。
以上显示和描述了本方案的基本原理和主要特征和本方案的优点。本行业的技术人员应该了解，本方案不受上述实施例的限制，上述实施例和说明书中描述的只是说明本方案的原理，在不脱离本方案精神和范围的前提下，本方案还会有各种变化和改进，这些变化和改进都落入要求保护的本方案范围内。本方案要求保护范围由所附的权利要求书及其等效物界定。
Claims (3)
1.一种高速公路应急车道违章行驶的识别方法，其特征在于，包括以下步骤：
S1、 从服务器获取高速公路应急车道时间间隔为1秒左右的三张从后面抓拍的图像；
S2、 利用检测算法检测三张图像中所有车辆；
S3、 通过车牌识别方法定位第一张图中正确的车辆位置；
S4、采用GoogLenet网络结构跟踪三张图中上述S3中车辆位置，所述采用GoogLenet网络对车辆跟踪步骤如下：
S40、在训练特征提取模块时，在网络最后一个256维全连接层接一个分类层，该层对不同款车型进行分类，每一个类别拥有不同帧时刻采集的同一车，并对所有采集的车进行数据增强，当训练的损失值loss降低到最低时，裁剪掉分类层，取出上一个256维全连接层，此时获取的256维特征能够很好的表征该车辆的特征；
S41、对第一张图定位到的车辆输入到GoogLenet Inception-V2网络，在该网络的输入层，对输入的车辆进行padding，变成长宽一致的图像，多余的部分以0像素填充；然后对预处理后的图像进行上采样或下采样操作，统一resize成200*200分辨率的图像，最后得到一个256维特征；
S42、对第二张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S41，得到若干256维特征；
S43、对第三张图所有待匹配的车辆输入GoogLenet Inception-V2网络，同S41，得到若干256维特征；
S44、用S41中一个256维特征和S42中若干个256维特征做余弦相似度，由于特征提取模块提取的256维特征已经能够很好的表征该车辆，所以采用余弦相似可以更显现出两辆车之间的差异度，最后取出得分最高所对应的256维特征；
S45、用S42中得分最高的256维特征和S43中若干个256维特征做余弦相似度，取出得分最高所对应的256维特征；
S46、由于第二张图和第三张图通过检测算法已经分别检测出若干辆车，用上述算法找到相似度得分最高的车，取出得分最高所对应的车辆索引号即为跟踪到的车辆；
S5、利用场景分割模型进行场景分割，得到“严禁占用应急车道”的警示牌和车道线分割结果；
S6、根据车辆检测、识别定位以及场景分割结果判断目标车辆是否违法占用紧急车道。
2.如权利要求1所述的一种高速公路应急车道违章行驶的识别方法，其特征在于，所述S5基于深度学习的场景分割模型获取步骤如下：
S51、收集实际应用场景中车辆，“严禁占用应急车道”的警示牌，车道线的图片，并人工标注出这些区域，即人工标注包围车辆，“严禁占用应急车道”的警示牌，车道线的闭合多边形；
S52、将人工标注转换为标签矩阵，即人工标注的车辆闭合区域内所有像素点标签设置为0,“严禁占用应急车道”的警示牌闭合区域内所有像素点标签设置为1,车道线闭合区域内所有像素点标签设置为2;
S53、将车辆，“严禁占用应急车道”的警示牌，车道线图片及对应的标签矩阵输入deeplab-v2分割算法训练，deeplab-v2分割算法采用ResNet-34作为骨干网络，psp_module和unet模块作为解码器，并使用skip layer引入低维细节特征作为模型网络结构，使用a*bce_loss + b*lovasz_loss作为最终loss,其中0<=a, b <=1，并引入辅助损失aux_loss进行训练；
S54、应用训练好的deeplab-v2分割算法预测输入图像像素点类别，将属于车辆，“严禁占用应急车道”的警示牌，车道线各个类别的像素点坐标集合输出，从而实现车辆，“严禁占用应急车道”的警示牌，车道线区域的分割。
3.如权利要求1所述的一种高速公路应急车道违章行驶的识别方法，其特征在于，所述S6根据车辆检测、识别定位以及场景分割结果判断目标车辆是否违法占用紧急车道步骤如下：
S61、如果没有分割出车道线或者警示牌，则直接判断目标车辆不违法，如果分割有结果，则向下进行，
S62、利用警示牌的中心点离线的距离找到高速路两边边缘的线除外的离警示牌最近的车道线，并判断目标车辆是否在所找到的车道线与警示牌中间，如果三张图中有一张目标车辆不在车道线与警示牌中间，直接判断目标车辆不违法，否则向下进行，
S63、如果满足S61，找到第一张目标车辆与第三张目标车辆的中心点，如果两点距离大于一定阈值，如50,则目标车辆在紧急车道内有位移，则判定目标车辆违法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811654485.0A CN109637151B (zh) | 2018-12-31 | 2018-12-31 | 一种高速公路应急车道违章行驶的识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201811654485.0A CN109637151B (zh) | 2018-12-31 | 2018-12-31 | 一种高速公路应急车道违章行驶的识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN109637151A CN109637151A (zh) | 2019-04-16 |
| CN109637151B true CN109637151B (zh) | 2021-12-07 |
Family
ID=66056387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201811654485.0A Expired - Fee Related CN109637151B (zh) | 2018-12-31 | 2018-12-31 | 一种高速公路应急车道违章行驶的识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109637151B (zh) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110414329A (zh) * | 2019-06-19 | 2019-11-05 | 上海眼控科技股份有限公司 | 一种基于图像的车辆行驶方向判断方法 |
| CN110414328A (zh) * | 2019-06-19 | 2019-11-05 | 上海眼控科技股份有限公司 | 一种基于深度学习的用于借道超车违法自动审核方法 |
| CN110490077B (zh) * | 2019-07-18 | 2022-04-15 | 北京工业大数据创新中心有限公司 | 一种智能违章识别方法和系统 |
| CN110782673A (zh) * | 2019-10-26 | 2020-02-11 | 江苏看见云软件科技有限公司 | 一种基于无人机拍摄云端计算的车辆违章识别检测系统 |
| CN110889388A (zh) * | 2019-12-03 | 2020-03-17 | 上海眼控科技股份有限公司 | 违章识别方法、装置、设备及存储介质 |
| CN110930724A (zh) * | 2019-12-09 | 2020-03-27 | 公安部交通管理科学研究所 | 基于深度学习的交通非现场违法记录筛选审核方法及系统 |
| CN111126286A (zh) * | 2019-12-22 | 2020-05-08 | 上海眼控科技股份有限公司 | 车辆动态检测方法、装置、计算机设备及存储介质 |
| CN111209880A (zh) * | 2020-01-13 | 2020-05-29 | 南京新一代人工智能研究院有限公司 | 车辆行为识别方法、装置 |
| CN111563463A (zh) * | 2020-05-11 | 2020-08-21 | 上海眼控科技股份有限公司 | 路面车道线识别方法、装置、电子设备及存储介质 |
| CN114141022B (zh) * | 2020-09-03 | 2023-05-23 | 丰图科技(深圳)有限公司 | 应急车道占用行为检测方法、装置、电子设备及存储介质 |
| CN112232285A (zh) * | 2020-11-05 | 2021-01-15 | 浙江点辰航空科技有限公司 | 一种高速公路急车道巡检的无人机系统 |
| CN112766056B (zh) * | 2020-12-30 | 2023-10-27 | 厦门大学 | 一种基于深度神经网络的弱光环境车道线检测方法、装置 |
| CN113408413B (zh) * | 2021-06-18 | 2023-03-24 | 苏州科达科技股份有限公司 | 应急车道的识别方法、系统及装置 |
| CN113947945B (zh) * | 2021-09-02 | 2023-01-17 | 北京百度网讯科技有限公司 | 车辆行驶的报警方法、装置、电子设备和可读存储介质 |
| CN113920467B (zh) * | 2021-12-13 | 2022-03-15 | 成都考拉悠然科技有限公司 | 一种摊位检测与场景分割结合的游商检测方法及其系统 |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106340180A (zh) * | 2015-07-06 | 2017-01-18 | 北京文安智能技术股份有限公司 | 一种车载检测非法占用车道行为的方法及装置 |
| CN105702048B (zh) * | 2016-03-23 | 2018-09-11 | 武汉理工大学 | 基于行车记录仪的高速公路前车违法占道识别系统及方法 |
| US20180012196A1 (en) * | 2016-07-07 | 2018-01-11 | NextEv USA, Inc. | Vehicle maintenance manager |
| CN107705552B (zh) * | 2016-08-08 | 2020-04-28 | 杭州海康威视数字技术股份有限公司 | 一种应急车道占用行为检测方法、装置及系统 |
| CN109003457B (zh) * | 2018-06-22 | 2020-09-01 | 安徽科力信息产业有限责任公司 | 一种记录多台机动车违法占用应急车道行为的方法及装置 |
-
2018
- 2018-12-31 CN CN201811654485.0A patent/CN109637151B/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| CN109637151A (zh) | 2019-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109637151B (zh) | 一种高速公路应急车道违章行驶的识别方法 | |
| CN106373426B (zh) | 基于计算机视觉的停车位及违规占道停车监控方法 | |
| CN110619279B (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
| CN105702048B (zh) | 基于行车记录仪的高速公路前车违法占道识别系统及方法 | |
| CN103810505B (zh) | 基于多层描述子的车辆标识方法与系统 | |
| CN110689724B (zh) | 一种基于深度学习的机动车斑马线礼让行人自动审核方法 | |
| CN109949579A (zh) | 一种基于深度学习的闯红灯违法自动审核方法 | |
| CN109948418A (zh) | 一种基于深度学习的违反导向违法自动审核方法 | |
| CN103824452A (zh) | 一种轻量级的基于全景视觉的违章停车检测装置 | |
| CN110991221B (zh) | 一种基于深度学习的动态交通闯红灯识别方法 | |
| CN111382704A (zh) | 基于深度学习的车辆压线违章判断方法、装置及存储介质 | |
| KR20190094005A (ko) | 도로 노면 손상 탐지를 위한 영상 처리 및 딥러닝 이미지 분류 장치 및 방법 | |
| CN110675637A (zh) | 车辆违法视频的处理方法、装置、计算机设备及存储介质 | |
| CN113160575A (zh) | 一种非机动车辆及驾驶人的交通违法行为检测方法及系统 | |
| CN111369801B (zh) | 车辆识别方法、装置、设备和存储介质 | |
| CN113903008A (zh) | 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法 | |
| CN112381014A (zh) | 一种基于城市道路的违停车辆检测及管理方法及系统 | |
| CN115035491A (zh) | 一种基于联邦学习的驾驶行为路况预警方法 | |
| CN112633722A (zh) | 车载道路安全风险评估系统及方法 | |
| CN111008554B (zh) | 一种基于深度学习的动态交通斑马线内不礼让行人识别方法 | |
| CN115601717A (zh) | 基于深度学习的交通违法行为分类检测方法及SoC芯片 | |
| Al Nasim et al. | An automated approach for the recognition of bengali license plates | |
| CN114693722B (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 | |
| CN115294774B (zh) | 基于深度学习的非机动车道路违停检测方法及装置 | |
| CN112633163B (zh) | 一种基于机器学习算法实现非法运营车辆检测的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
| PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A recognition method of illegal driving in Expressway Emergency Lane Effective date of registration: 20220211 Granted publication date: 20211207 Pledgee: Shanghai Bianwei Network Technology Co.,Ltd. Pledgor: SHANGHAI EYE CONTROL TECHNOLOGY Co.,Ltd. Registration number: Y2022310000023 |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20211207 |