CN113177443A - 一种基于图像视觉的智能识别道路交通违章的方法 - Google Patents
一种基于图像视觉的智能识别道路交通违章的方法 Download PDFInfo
- Publication number
- CN113177443A CN113177443A CN202110392637.XA CN202110392637A CN113177443A CN 113177443 A CN113177443 A CN 113177443A CN 202110392637 A CN202110392637 A CN 202110392637A CN 113177443 A CN113177443 A CN 113177443A
- Authority
- CN
- China
- Prior art keywords
- lane
- vehicle
- model
- traffic
- lanes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000001514 detection method Methods 0.000 claims abstract description 34
- 241000283070 Equus zebra Species 0.000 claims abstract description 25
- 238000012549 training Methods 0.000 claims abstract description 25
- 230000006399 behavior Effects 0.000 claims description 13
- 239000000463 material Substances 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 6
- 238000005056 compaction Methods 0.000 claims description 6
- 238000013136 deep learning model Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 230000000630 rising effect Effects 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 abstract description 3
- 238000013135 deep learning Methods 0.000 abstract description 3
- 230000006870 function Effects 0.000 abstract description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Abstract
本发明是一种基于图像视觉的智能识别道路交通违章的方法，所述方法的步骤如下，建模和建模后的预训练；车道线检测分类和车道数确定；检测行人、斑马线、交通灯和公交车道标识；车辆检测和跟踪；交通违法判定，属于智能交通违章系统相关的技术领域。目的是利用单目平面摄像头和边缘计算功能，采用深度学习的方法对抓取一系列帧图像进行目标检测和分类，然后通过逻辑判断检测的车辆是否产生交通违章的一种基于图像视觉的智能识别道路交通违章的方法。
Description
技术领域
本发明涉及公共交通监督系统技术领域，特别是一种基于图像视觉的智能识别道路交通违章的方法。
背景技术
近些年，随着国民生活水平的提高，国家汽车保有量越来越高，道路上行驶的车辆越来越多。在道路复杂的交通环境下，车辆违章行为也经常发生，严重威胁了道路安全和车主人身安全。虽然在道路上会有固定点的交通违法行为监控摄像头，但是不能完美的抓取道路上所有的交通违章行为。交通执法人员虽然也会开车在道路上进行人工监督道路交通违法行为，但在效率上和不能达到很好的效果，而且还增加了执法人员的工作强度。目前市面上也有行车记录仪，全程进行录像，事后再观看录像查看车辆是否有违法行为，在时间上花费比较久。
随着人工智能的迅速发展，智能化判别道路交通违章行为越来越取代人工抓拍，运用自带边缘计算功能的芯片和深度学习技术来做智能化的违章监督系统，将会极大的节省人力和物力。
发明内容
本发明的目的主要是利用单目平面摄像头和边缘计算功能，采用深度学习的方法对抓取一系列帧图像进行目标检测和分类，然后通过逻辑判断检测的车辆是否产生交通违章的一种基于图像视觉的智能识别道路交通违章的方法。
一种基于图像视觉的智能识别道路交通违章的方法，所述方法的步骤如下：
1.1、建模和建模后的预训练；
1.2、车道线检测分类和车道数确定；
1.3、检测行人、斑马线、交通灯和公交车道标识；
1.4、车辆检测和跟踪；
1.5、交通违法判定。
更进一步的，步骤1.1中所述建模的步骤如下：
2.1、将带有平面摄像头的录像设备安装在车辆的前挡风玻璃附近，然后选择各种路面肠镜进行录像，包多车道，各车道线类型，公交车道，交通灯，斑马线，各种车辆；
2.2、将上述录好的视频素材，初步进行分类处理，然后根据所需的深度学习模型进行提取素材建模。
更进一步的，步骤1.1中所述建模后预训练的步骤如下：Model-A用于训练地面车道线的目标检测，Model-B用于训练车道线的分类，Model-C用于训练前方车辆的目标检测，Model-D用于训练左右转向灯和车牌的目标检测，Model-E用于训练行人、斑马线、交通灯、公交车道的目标检测，Model-F用于训练车牌号码的识别。
进一步的，步骤1.2中所述车道线检测分类和车道数确定步骤如下：4.1、通过采集单目平面摄像头实时的帧数据，使用Model-A进行检测，得到一系列车道线的像素坐标点；
4.2、使用mean shift对这些像素坐标点进行聚类，使得簇中心沿着密度上升的方向移动，防止将离群点选入相同的簇中；
4.3、对像素向量进行划分，以簇中心为圆心，以阈值像素R1为半径，选取圆中的所有像素归为同一车道线；
4.4、重复上述步骤，直到将所有车道线像素坐标点分配给对应的车道；
4.5、对每个车道线上像素坐标点进行线性拟合，获得各个车道的像素曲线方程。，通过车道曲线方程，截取车道线图像，用Model-B进行分类，获得各个车道的类别；根据曲线方程的个数，确定当前视野内的车道数。
进一步的，步骤1.3中所述检测行人、斑马线、交通灯和公交车道标识步骤为采集单目平面摄像头实时的帧数据，使用Model-E进行目标检测，获取行人、斑马线、交通灯和公交车道标识的像素坐标位置。进一步的，步骤1.4中所述车辆检测和跟踪步骤如下：
6.1、采集单目平面摄像头实时的帧数据，使用Model-C进行目标检测，获取前方车辆的位置。截取车辆的图像数据，使用Model-D进行目标检测，获取车牌的位置和左右转向灯的位置；
6.2、截取车牌的图像数据，使用Model-F进行识别车牌号码；
6.3、储存上一帧检测到车辆的信息，使用交并比(IOU)方法进行匹配，使用卡尔曼滤波对检测的车辆进行跟踪。
进一步的，步骤1.5中所述交通违法判定步骤如下：
7.1、交通违法行为包括压实线变道，不打转向灯变道，未礼让行人，占用公交车道；
7.2、压实线变道：判断车辆位置是否与车道线相交，并且车道线是实线，则表示车辆压实线变道；
7.3、不打转向灯变道：判断车道线是否虚线，车辆位置与车道线相交，没有检测到车辆的转向灯，则表示不大转向灯变道；
7.4、未礼让行人：判断前方出现斑马线，并且行人在斑马线中，车辆没有停止并经过斑马线，则表示未礼让行人；
7.5、占用公交车道：判断车辆所在的车道是公交车道，则表示占用公交车道；
7.6、当检测到交通违法行为后，保存当前帧图像数据为图片，并标注违法行为。
采用上述技术方案的有益效果是：
1、加入了神经网络的深度学习模型和硬件边缘计算能力；
2、提高了检测精度高；
3、在一定程度上解放了人工监督路上交通违法行为的人力和物力；
4、降低了交通违章处理过程中的成本。
附图说明
图1为本方案的流程框图。
具体实施方式
以下结合附图和本发明优选的具体实施例对本发明的内容作进一步地说明。所举实例只用于解释本发明，并非用于限定本发明的范围。
如图1，本方案中所述的一种基于图像视觉的智能识别道路交通违章的方法，所述方法的步骤如下：
1.1、建模和建模后的预训练；
在本方案中所述建模的步骤如下：
1.1-1、将带有平面摄像头的录像设备安装在车辆的前挡风玻璃附近，然后选择各种路面肠镜进行录像，包多车道，各车道线类型，公交车道，交通灯，斑马线，各种车辆；
1.1-2、将上述录好的视频素材，初步进行分类处理，然后根据所需的深度学习模型进行提取素材建模。
在本方案中，所述建模后预训练的步骤如下：Model-A用于训练地面车道线的目标检测，Model-B用于训练车道线的分类，Model-C用于训练前方车辆的目标检测，Model-D用于训练左右转向灯和车牌的目标检测，Model-E用于训练行人、斑马线、交通灯、公交车道的目标检测，Model-F用于训练车牌号码的识别。
1.2、车道线检测分类和车道数确定：
在本方案中，所述车道线检测分类和车道数确定步骤如下；
1.2-1、通过采集单目平面摄像头实时的帧数据，使用Model-A进行检测，得到一系列车道线的像素坐标点；
1.2-2、使用mean shift对这些像素坐标点进行聚类，使得簇中心沿着密度上升的方向移动，防止将离群点选入相同的簇中；
1.2-3、对像素向量进行划分，以簇中心为圆心，以阈值像素R1为半径，选取圆中的所有像素归为同一车道线；
1.2-4、重复上述步骤，直到将所有车道线像素坐标点分配给对应的车道；
1.2-5、对每个车道线上像素坐标点进行线性拟合，获得各个车道的像素曲线方程。，通过车道曲线方程，截取车道线图像，用Model-B进行分类，获得各个车道的类别；根据曲线方程的个数，确定当前视野内的车道数。
1.3、检测行人、斑马线、交通灯和公交车道标识；在本方案中所述检测行人、斑马线、交通灯和公交车道标识步骤为采集单目平面摄像头实时的帧数据，使用Model-E进行目标检测，获取行人、斑马线、交通灯和公交车道标识的像素坐标位置。
1.4、车辆检测和跟踪；
在本方案中所述车辆检测和跟踪步骤如下：
1.4-1、采集单目平面摄像头实时的帧数据，使用Model-C进行目标检测，获取前方车辆的位置。截取车辆的图像数据，使用Model-D进行目标检测，获取车牌的位置和左右转向灯的位置；
1.4-2、截取车牌的图像数据，使用Model-F进行识别车牌号码；
1.4-3、储存上一帧检测到车辆的信息，使用交并比(IOU)方法进行匹配，使用卡尔曼滤波对检测的车辆进行跟踪。
1.5、交通违法判定。
在本方案中，所述交通违法判定步骤如下：
1.5-1、先确定各种交通违章的规则，如交通违法行为包括压实线变道，不打转向灯变道，未礼让行人，占用公交车道；压实线变道：判断车辆位置是否与车道线相交，并且车道线是实线，则表示车辆压实线变道；不打转向灯变道：判断车道线是否虚线，车辆位置与车道线相交，没有检测到车辆的转向灯，则表示不大转向灯变道；未礼让行人：判断前方出现斑马线，并且行人在斑马线中，车辆没有停止并经过斑马线，则表示未礼让行人；占用公交车道：判断车辆所在的车道是公交车道，则表示占用公交车道；
1.5-2、当检测到出行上述规定的交通违法行为后，保存当前帧图像数据为图片，并标注违法行为。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (7)
1.一种基于图像视觉的智能识别道路交通违章的方法，其特征在于：所述方法的步骤如下：
1.1、建模和建模后的预训练；
1.2、车道线检测分类和车道数确定；
1.3、检测行人、斑马线、交通灯和公交车道标识；
1.4、车辆检测和跟踪；
1.5、交通违法判定。
2.根据权利要求1所述的基于图像视觉的智能识别道路交通违章的方法，其特征在于，上述1.1中所述建模的步骤如下：
2.1、将带有平面摄像头的录像设备安装在车辆的前挡风玻璃附近，然后选择各种路面肠镜进行录像，包多车道，各车道线类型，公交车道，交通灯，斑马线，各种车辆；
2.2、将上述录好的视频素材，初步进行分类处理，然后根据所需的深度学习模型进行提取素材建模。
3.根据权利要求1所述的基于图像视觉的智能识别道路交通违章的方法，其特征在于，上述1.1中所述建模后预训练的步骤如下：Model-A用于训练地面车道线的目标检测，Model-B用于训练车道线的分类，Model-C用于训练前方车辆的目标检测，Model-D用于训练左右转向灯和车牌的目标检测，Model-E用于训练行人、斑马线、交通灯、公交车道的目标检测，Model-F用于训练车牌号码的识别。
4.根据权利要求1所述的基于图像视觉的智能识别道路交通违章的方法，其特征在于，上述1.2中所述车道线检测分类和车道数确定步骤如下：
4.1、通过采集单目平面摄像头实时的帧数据，使用Model-A进行检测，得到一系列车道线的像素坐标点；
4.2、使用mean shift对这些像素坐标点进行聚类，使得簇中心沿着密度上升的方向移动，防止将离群点选入相同的簇中；
4.3、对像素向量进行划分，以簇中心为圆心，以阈值像素R1为半径，选取圆中的所有像素归为同一车道线；
4.4、重复上述步骤，直到将所有车道线像素坐标点分配给对应的车道；
4.5、对每个车道线上像素坐标点进行线性拟合，获得各个车道的像素曲线方程。，通过车道曲线方程，截取车道线图像，用Model-B进行分类，获得各个车道的类别；根据曲线方程的个数，确定当前视野内的车道数。
5.根据权利要求1所述的基于图像视觉的智能识别道路交通违章的方法，其特征在于，上述1.3中所述检测行人、斑马线、交通灯和公交车道标识步骤为采集单目平面摄像头实时的帧数据，使用Model-E进行目标检测，获取行人、斑马线、交通灯和公交车道标识的像素坐标位置。
6.根据权利要求1所述的基于图像视觉的智能识别道路交通违章的方法，其特征在于，上述1.4中所述车辆检测和跟踪步骤如下：
6.1、采集单目平面摄像头实时的帧数据，使用Model-C进行目标检测，获取前方车辆的位置。截取车辆的图像数据，使用Model-D进行目标检测，获取车牌的位置和左右转向灯的位置；
6.2、截取车牌的图像数据，使用Model-F进行识别车牌号码；
6.3、储存上一帧检测到车辆的信息，使用交并比(IOU)方法进行匹配，使用卡尔曼滤波对检测的车辆进行跟踪。
7.根据权利要求1所述的基于图像视觉的智能识别道路交通违章的方法，其特征在于，上述1.5中所述交通违法判定步骤如下：
7.1、交通违法行为包括压实线变道，不打转向灯变道，未礼让行人，占用公交车道；
7.2、压实线变道：判断车辆位置是否与车道线相交，并且车道线是实线，则表示车辆压实线变道；
7.3、不打转向灯变道：判断车道线是否虚线，车辆位置与车道线相交，没有检测到车辆的转向灯，则表示不大转向灯变道；
7.4、未礼让行人：判断前方出现斑马线，并且行人在斑马线中，车辆没有停止并经过斑马线，则表示未礼让行人；
7.5、占用公交车道：判断车辆所在的车道是公交车道，则表示占用公交车道；
7.6、当检测到交通违法行为后，保存当前帧图像数据为图片，并标注违法行为。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110392637.XA CN113177443A (zh) | 2021-04-13 | 2021-04-13 | 一种基于图像视觉的智能识别道路交通违章的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110392637.XA CN113177443A (zh) | 2021-04-13 | 2021-04-13 | 一种基于图像视觉的智能识别道路交通违章的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113177443A true CN113177443A (zh) | 2021-07-27 |
Family
ID=76924874
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110392637.XA Pending CN113177443A (zh) | 2021-04-13 | 2021-04-13 | 一种基于图像视觉的智能识别道路交通违章的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113177443A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601717A (zh) * | 2022-10-19 | 2023-01-13 | 中诚华隆计算机技术有限公司（Cn） | 基于深度学习的交通违法行为分类检测方法及SoC芯片 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106652468A (zh) * | 2016-12-09 | 2017-05-10 | 武汉极目智能技术有限公司 | 车辆道路前车违规检测和自车违规预警提醒装置及方法 |
| CN110569796A (zh) * | 2019-09-09 | 2019-12-13 | 南京东控智能交通研究院有限公司 | 一种车道线动态检测和车道分界线的拟合方法 |
| WO2020000251A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
| CN110717433A (zh) * | 2019-09-30 | 2020-01-21 | 华中科技大学 | 一种基于深度学习的交通违规分析方法及装置 |
| CN111161543A (zh) * | 2019-11-14 | 2020-05-15 | 南京行者易智能交通科技有限公司 | 一种基于图像识别的公交前车违章行为自动抓拍方法及系统 |
| CN112215058A (zh) * | 2020-08-26 | 2021-01-12 | 中国矿业大学(北京) | 一种基于机器视觉的摩托车车道偏离报警方法和系统 |
| CN112418037A (zh) * | 2020-11-12 | 2021-02-26 | 武汉光庭信息技术股份有限公司 | 卫星图片中车道线识别方法、系统、电子设备及存储介质 |
-
2021
- 2021-04-13 CN CN202110392637.XA patent/CN113177443A/zh active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106652468A (zh) * | 2016-12-09 | 2017-05-10 | 武汉极目智能技术有限公司 | 车辆道路前车违规检测和自车违规预警提醒装置及方法 |
| WO2020000251A1 (zh) * | 2018-06-27 | 2020-01-02 | 潍坊学院 | 基于摄像机协同接力的路口违章视频识别方法 |
| CN110569796A (zh) * | 2019-09-09 | 2019-12-13 | 南京东控智能交通研究院有限公司 | 一种车道线动态检测和车道分界线的拟合方法 |
| CN110717433A (zh) * | 2019-09-30 | 2020-01-21 | 华中科技大学 | 一种基于深度学习的交通违规分析方法及装置 |
| CN111161543A (zh) * | 2019-11-14 | 2020-05-15 | 南京行者易智能交通科技有限公司 | 一种基于图像识别的公交前车违章行为自动抓拍方法及系统 |
| CN112215058A (zh) * | 2020-08-26 | 2021-01-12 | 中国矿业大学(北京) | 一种基于机器视觉的摩托车车道偏离报警方法和系统 |
| CN112418037A (zh) * | 2020-11-12 | 2021-02-26 | 武汉光庭信息技术股份有限公司 | 卫星图片中车道线识别方法、系统、电子设备及存储介质 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115601717A (zh) * | 2022-10-19 | 2023-01-13 | 中诚华隆计算机技术有限公司（Cn） | 基于深度学习的交通违法行为分类检测方法及SoC芯片 |
| CN115601717B (zh) * | 2022-10-19 | 2023-10-10 | 中诚华隆计算机技术有限公司 | 基于深度学习的交通违法行为分类检测方法及SoC芯片 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109637151B (zh) | 一种高速公路应急车道违章行驶的识别方法 | |
| CN106652445B (zh) | 一种公路交通事故判别方法及装置 | |
| CN106991820B (zh) | 违规车辆处理方法及装置 | |
| US6442474B1 (en) | Vision-based method and apparatus for monitoring vehicular traffic events | |
| CN110619279B (zh) | 一种基于跟踪的路面交通标志实例分割方法 | |
| CN106652468A (zh) | 车辆道路前车违规检测和自车违规预警提醒装置及方法 | |
| CN106373426A (zh) | 基于计算机视觉的停车位及违规占道停车监控方法 | |
| CN108335489A (zh) | 高速公路车辆行为语义分析及异常行为监控系统及方法 | |
| CN103116987A (zh) | 一种基于监控视频处理的车流统计和违规检测的方法 | |
| CN110738857A (zh) | 一种车辆违章取证方法、装置及设备 | |
| CN113033275B (zh) | 基于深度学习的车辆变道不打转向灯分析系统 | |
| CN105574502A (zh) | 一种自助发卡机违章行为自动检测方法 | |
| CN111899514A (zh) | 一种人工智能的拥堵检测系统 | |
| CN112149595A (zh) | 一种利用无人机检测车道线及车辆违规的方法 | |
| CN112749630A (zh) | 一种道路路况智能视频监控方法及系统 | |
| CN113903008A (zh) | 基于深度学习和轨迹跟踪的匝道出口车辆违法识别方法 | |
| CN112528759A (zh) | 一种基于计算机视觉的交通违章行为检测方法 | |
| CN113177443A (zh) | 一种基于图像视觉的智能识别道路交通违章的方法 | |
| CN113392680A (zh) | 道路识别装置及方法、电子设备 | |
| CN111291722A (zh) | 一种基于v2i技术的车辆重识别系统 | |
| CN114329074B (zh) | 一种匝道路段通行能效检测方法和系统 | |
| CN112633163B (zh) | 一种基于机器学习算法实现非法运营车辆检测的检测方法 | |
| Al-Kadi et al. | Road scene analysis for determination of road traffic density | |
| CN115019263A (zh) | 交通监管模型的建立方法、交通监管系统及方法 | |
| CN114693722A (zh) | 一种车辆行驶行为检测方法、检测装置及检测设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |