CN113688652A - 一种异常驾驶行为的处理方法和装置 - Google Patents

一种异常驾驶行为的处理方法和装置 Download PDF

Info

Publication number
CN113688652A
CN113688652A CN202010417673.2A CN202010417673A CN113688652A CN 113688652 A CN113688652 A CN 113688652A CN 202010417673 A CN202010417673 A CN 202010417673A CN 113688652 A CN113688652 A CN 113688652A
Authority
CN
China
Prior art keywords
vehicle
information
detected
traffic
road
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010417673.2A
Other languages
English (en)
Other versions
CN113688652B (zh
Inventor
贾佳
江昊
陈昆盛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Momenta Suzhou Technology Co Ltd
Original Assignee
Momenta Suzhou Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Momenta Suzhou Technology Co Ltd filed Critical Momenta Suzhou Technology Co Ltd
Priority to CN202010417673.2A priority Critical patent/CN113688652B/zh
Publication of CN113688652A publication Critical patent/CN113688652A/zh
Application granted granted Critical
Publication of CN113688652B publication Critical patent/CN113688652B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/056—Detecting movement of traffic to be counted or controlled with provision for distinguishing direction of travel

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种异常驾驶行为的处理方法和装置，该方法包括：获取车载摄像头采集的道路图像；对道路图像进行识别，得到道路交通元素和待检测车辆，道路交通元素包括车道线、交通标志牌和交通信号灯中的一种或多种；确定待检测车辆的车辆信息和行驶信息，车辆信息包括车牌号，行驶信息包括行驶位置和行驶速度；根据道路交通元素所要求的交通规则和所述行驶信息，如果判断出待检测车辆出现异常驾驶行为，则将出现异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，以用于指导当前车辆行驶路径的预测和规划策略；所述异常驾驶行为包括违规驾驶行为和/或激进驾驶风格；通过采用上述技术方案，提高了自动驾驶系统的安全性与鲁棒性。

Description

一种异常驾驶行为的处理方法和装置
技术领域
本发明涉及自动驾驶技术领域，具体涉及一种异常驾驶行为的处理方法和装置。
背景技术
随着当前智能交通技术的发展，自动驾驶和辅助驾驶技术正受到更多的重视。在自动驾驶和辅助驾驶领域，精准的感知系统是一切其他系统能正确工作的前提。在当前自动驾驶系统的预测、决策和规划算法中，对周边车辆行进轨迹预测，大多基于在一定时间内对周边车辆位置和速度的感知，从而指导当前自动驾驶车辆的决策和规划控制。
但是，现有感知内容对并未考虑到周边车辆的驾驶风格，这样无法充分考虑激进驾驶风格甚至违法驾驶的车辆可能导致的特殊场景，如车辆超速、急加减速、急变道或违反交通规则等。这样的自动驾驶系统，无法应对道路上激进驾驶风格的车辆引入的额外风险，无法对风险进行预防和预判，从而影响自动驾驶系统的安全性和稳定性。
发明内容
本发明实施例公开一种异常驾驶行为的处理方法和装置，提高了自动驾驶系统的安全性与鲁棒性。
第一方面，本发明实施例公开了一种异常驾驶行为的处理方法，该方法包括：
获取车载摄像头采集的道路图像；
对所述道路图像进行识别，得到道路交通元素和待检测车辆，所述道路交通元素包括车道线、交通标志牌和交通信号灯中的一种或多种；
确定所述待检测车辆的车辆信息和行驶信息，所述车辆信息包括车牌号，所述行驶信息包括行驶位置和行驶速度；
根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，则将出现所述异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，以用于指导当前车辆行驶路径的预测和规划策略；所述异常驾驶行为包括违规驾驶行为和/或激进驾驶风格；
其中，所述违规驾驶行为包括如下一种或多种：超速、闯红灯、违法变道和违法压线；
所述激进驾驶风格包括如下一种或多种：压线行驶、车道变换次数大于设定次数阈值、在变道时横向速度大于设定速度阈值，以及在变道时与其他车辆的距离小于设定距离阈值；
其中，所述道路交通元素中交通标志牌的识别通过如下步骤来实现：
获取所述道路图像中交通标志牌区域所在当前子图像的位置信息和类别信息，其所述位置信息和类别信息是通过对所述道路图像中的待识别交通标志牌图像进行特征提取得到的；
按照所述位置信息和所述类别信息，利用卷积神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
第二方面，本发明实施例还提供了一种异常驾驶行为的处理装置，该装置包括：
道路图像获取模块，被配置为获取车载摄像头采集的道路图像；
交通元素和待检测车辆确定模块，被配置为对所述道路图像进行识别，得到道路交通元素和待检测车辆，所述道路交通元素包括车道线、交通标志牌和交通信号灯中的一种或多种；
信息确定模块，被配置为确定所述待检测车辆的车辆信息和行驶信息，所述车辆信息包括车牌号，所述行驶信息包括行驶位置和行驶速度；
异常驾驶行为处理模块，被配置为根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，则将出现所述异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，以用于指导当前车辆行驶路径的预测和规划策略；所述异常驾驶行为包括违规驾驶行为和/或激进驾驶风格；
其中，所述违规驾驶行为包括如下一种或多种：超速、闯红灯、违法变道和违法压线；
所述激进驾驶风格包括如下一种或多种：压线行驶、车道变换次数大于设定次数阈值、在变道时横向速度大于设定速度阈值，以及在变道时与其他车辆的距离小于设定距离阈值；
其中，所述道路交通元素中交通标志牌的识别通过如下步骤来实现：
获取所述道路图像中交通标志牌区域所在当前子图像的位置信息和类别信息，其所述位置信息和类别信息是通过对所述道路图像中的待识别交通标志牌图像进行特征提取得到的；
按照所述位置信息和所述类别信息，利用卷积神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
第三方面，本发明实施例还提供了一种车载终端，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明任意实施例所提供的异常驾驶行为的处理方法的部分或全部步骤。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其存储计算机程序，所述计算机程序包括用于执行本发明任意实施例所提供的异常驾驶行为的处理的部分或全部步骤的指令。
第五方面，本发明实施例还提供了一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本发明任意实施例所提供的异常驾驶行为的处理方法的部分或全部步骤。
本实施例提供的技术方案，通过识别车载摄像头所采集的道路图像，可得到道路交通元素和待检测车辆。根据道路交通元素所要求的交通规则和行驶信息，可判断出待检测车辆出现异常驾驶行为。通过将出现异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，可指导当前车辆行驶路径的预测和规划策略，也可用于指导后续的车辆自动驾驶系统进行预测、决策和路径规划。这样设置，可在车辆自动驾驶的过程中考虑更多实际道路场景中的异常因素，从而进一步提高自动驾驶系统的安全性与鲁棒性。
本发明的发明点包括：
1、通过将出现异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，可指导当前车辆行驶路径的预测和规划策略，也可用于指导后续的车辆自动驾驶系统进行预测、决策和路径规划，解决了自动驾驶系统的安全性与鲁棒性较差的问题，是本发明的发明点之一。
2、交通标志牌的识别由级联的预设目标检测模型和预设卷积循环神经网络模型实现。其中，预设目标检测模型用于对道路图像中的交通标志牌进行定位和分类，预设卷积循环神经网络模型则根据预设目标检测模型的输出对交通标志牌进行进一步的语义特征提取，以提高交通标志牌的识别精度，是本发明实施例的发明点之一。
3、预设目标检测模型中，在确定交通标志牌的最佳候选提取框之前，通过对主干网络的输出进行分离卷积，可得到分离矩阵，这样可以在保证模型的表征能力大致不变的情况下减少计算量和网络参数的数量，从而提升计算速度和减少内存使用，是本发明实施例的发明点之一。
4、引入双向长短期记忆网络(Long Short-Term Memory，LSTM)单元将特征序列转化为字符序列，可以提取到更高级语义特征，是本发明实施例的发明点之一。
5、在完成预设目标检测模型和预设卷积循环神经网络模型的训练后，将这两模型级联并进行进一步的端对端训练调优，可使得模型的识别效果进一步得到提升，是本发明实施例的发明点之一。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的一种异常驾驶行为的处理方法的流程示意图；
图2是本发明实施例提供的一种神经网络模型的训练方法的流程示意图；
图3是本发明实施例提供一种交通标志牌的识别方法的流程示意图；
图4是本发明实施例提供的一种预设目标检测模型的示意图；
图5是本发明实施例提供的又一种神经网络模型的训练方法的流程示意图；
图6是本发明实施例提供的一种分离卷积的示意图；
图7是本发明实施例提供又一种交通标志牌的识别方法的流程示意图；
图8是本发明实施例提供的一种异常驾驶行为的处理装置的结构示意图；
图9是本发明实施例提供的一种神经网络模型的训练装置的结构框图；
图10是本发明实施例提供的一种交通标志牌的识别装置的结构框图；
图11是本发明实施例提供的又一种神经网络模型的训练装置的结构框图；
图12是本发明实施例提供的又一种交通标志牌的识别装置的结构框图；
图13是本发明实施例提供的一种车载终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
实施例一
请参阅图1，图1是本发明实施例提供的一种异常驾驶行为的处理方法的流程示意图。该方法应用于自动驾驶中，可由异常驾驶行为的处理装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrialpersonal Computer，IPC)等车载终端中，本发明实施例不做限定。如图1所示，本实施例提供的异常驾驶行为的处理方法具体包括：
110、获取车载摄像头采集的道路图像。
其中，车载摄像头包括车身所有的摄像头，例如前视摄像头、环视摄像头和侧视摄像头。
120、对道路图像进行识别，得到道路交通元素和待检测车辆。
其中，道路交通元素包括车道线、交通标志牌和交通信号灯中的一种或多种。待检测车辆为车载摄像头拍摄到的当前自动驾驶车辆周围的其他车辆。
本实施例中，识别道路图像可采用基于深度学习的图像算法。
130、确定待检测车辆的车辆信息和行驶信息。
其中，车辆信息包括车牌号，待检测车辆的行驶信息包括行驶位置和行驶速度等。
示例性的，待检测车辆的行驶位置和行驶速度均可通过连续帧道路图像来确定。
140、根据道路交通元素所要求的交通规则和行驶信息，如果判断出待检测车辆出现异常驾驶行为，则将出现异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，以用于指导当前车辆行驶路径的预测和规划策略。
其中，异常驾驶行为包括违规驾驶行为和/或激进驾驶风格。违规驾驶行为包括如下一种或多种：超速、闯红灯、违法变道和违法压线；激进驾驶风格包括如下一种或多种：压线行驶、加速度大于设定加速度阈值、车道变换次数大于设定次数阈值、在变道时横向速度大于设定速度阈值，以及在变道时与其他车辆的距离小于设定距离阈值。
示例性的，根据道路交通元素所要求的交通规则和行驶信息，如果判断出待检测车辆出现异常驾驶行为，可包括：
根据道路交通元素中交通标志牌上显示的限速信息和车辆的行驶速度，判断行驶速度超出限速信息的部分与限速信息的比值是否达到预设比例阈值；如果达到该预设比例阈值，则确定该待检测车辆出现了超速行驶的违规驾驶行为。
其中，预设比例阈值一般为10％，即如果待检测车辆的行驶速度超出限速信息的部分与限速信息的比例达到10％时，说明该车辆出现了超速行为。
示例性的，根据道路交通元素所要求的交通规则和行驶信息，如果判断出待检测车辆出现异常驾驶行为，还可包括：
确定道路交通元素中车道线的位置和类型，所述类型包括车道线颜色、虚线和实线；
根据车道线的位置和待检测车辆的行驶位置，在确定出待检测车辆发生变道行为时，如果车道线的类型为实线或双黄线，则确定该待检测车辆出现了违法变道的违规驾驶行为。
具体的，在连续的多帧道路图像上，如果检测到了某个车辆的行驶位置越过了某条车道线，并变换了车道时，则可确定该车辆发生了变道行为。此时，如果还确定出车道线的类型为实线或双黄线，则说明该车辆出现了违法变道的违规驾驶行为。
示例性的，根据道路交通元素所要求的交通规则和行驶信息，如果判断出待检测车辆出现异常驾驶行为，还可包括：
确定道路交通元素中地面路标所指示的规定行驶方向，例如直行，左转或右转等；
根据行驶信息确定待检测车辆的当前行驶方向；
如果当前行驶方向和规定行驶方向不一致，则确定该待检测车辆出现了违法变道的违规驾驶行为。
示例性的，根据道路交通元素所要求的交通规则和行驶信息，如果判断出待检测车辆出现异常驾驶行为，还可包括：
确定道路交通元素中的交通信号灯信息和路口的停止线；
如果待检测车辆在交通信号灯为红灯时驶过路口的停止线，则确定该待检测车辆出现了闯红灯的违规驾驶行为。
示例性的，根据道路交通元素所要求的交通规则和行驶信息，如果判断出待检测车辆出现异常驾驶行为，还可包括：
确定道路交通元素中车道线的位置；
对于连续帧道路图像中的同一个待检测车辆，如果该车辆的行驶位置在设定时间段内与车道线的位置一直处于重合状态，则确定该待检测车辆存在压线行驶的激进驾驶风格。
示例性的，根据道路交通元素所要求的交通规则和行驶信息，如果判断出待检测车辆出现异常驾驶行为，还可包括：
根据道路交通元素中车道线和待检测车辆的相对位置，确定出该待检测车辆是否发生变道行为；
在发生变道行为时，如果确定该待检测车辆的横向速度大于设定速度阈值；或者，该待检测车辆与其他车辆的距离小于设定距离阈值；或者，该待检测车辆的车道变换次数大于设定阈值，则确定该待检测车辆存在激进驾驶风格。
示例性的，激进驾驶风格还包括加速度超过预设加速度阈值，其中，加速度是通过基于连续帧道路图像所得出的待检测车辆的行驶速度来确定的。当车辆加速度超过对应的阈值时，则可判断出车辆出现急加速或急减速行为。
需要说明的是，上述异常驾驶行为的确定方法不存在执行顺序的先后之分，可以同时进行，也可以先后执行，本实施例对此不作具体限定。
本实施例中，通过将出现异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，可指导当前车辆行驶路径的预测和规划策略，也可用于指导后续的车辆自动驾驶系统进行预测、决策和路径规划。这样设置，可在车辆自动驾驶的过程中考虑更多实际道路场景中的异常因素，从而进一步提高自动驾驶系统的安全性与鲁棒性。
本实施例中，道路交通元素中交通标志牌的识别可通过如下步骤来实现：
获取道路图像中交通标志牌区域所在当前子图像的位置信息和类别信息，其位置信息和类别信息是通过对道路图像中的待识别交通标志牌图像进行特征提取得到的；
按照位置信息和类别信息，利用卷积神经网络CNN对当前子图像进行特征提取，得到当前子图像的特征序列；
根据特征序列和预设卷积循环神经网络CRNN模型，得到当前子图像对应的目标语义信息，CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。具体的，该预设卷积循环神经网络CRNN模型的具体训练过程及其应用方法请参见下述实施例的内容。
本实施例提供的技术方案，通过识别车载摄像头所采集的道路图像，可得到道路交通元素和待检测车辆。根据道路交通元素所要求的交通规则和行驶信息，可判断出待检测车辆出现异常驾驶行为。通过将出现异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，可指导当前车辆行驶路径的预测和规划策略，也可用于指导后续的车辆自动驾驶系统进行预测、决策和路径规划。这样设置，可在车辆自动驾驶的过程中考虑更多实际道路场景中的异常因素，从而进一步提高自动驾驶系统的安全性与鲁棒性。
实施例二
请参阅图2，图2是本发明实施例提供的一种神经网络模型的训练方法的流程示意图。该方法可应用于自动驾驶中，由神经网络模型的训练装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机等车载终端中，本发明实施例不做限定。本实施例提供的神经网络模型主要针对的是用于识别简单交通标志牌的预设目标检测模型，其中，简单交通标志一般是指仅由图形、符号或少量字符组成的标志，例如警告标志、禁令标志、指示标志、指路标志、旅游区标志、道路施工安全标志和限速标志等。如图2所示，本实施例提供的神经网络模型的训练方法具体包括：
210、获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像。
本实施例中，训练模型采用有监督的训练方式，因而所用的所有样本图像都需具有相应标注，即历史道路样本图像中的每一个标志牌都需要有对应的位置信息、具体类别信息和语义信息标注。
为了保证检测模型的精准度，需要有尽量多的训练样本图像，即历史道路样本图像。在本申请实施例中，样本图像可来源于摄像机的视频流和网络数据集。对于视频流数据，摄像机需要进行单目标定并记录摄像机的内部参数和畸变参数。根据摄像机参数对单帧图像进行校正，使用相关图像后处理技术将图片变换为无畸变或接近无畸变状态。对于校正之后的道路样本图像进行标注后即可构建样本库以便模型训练。
在训练神经网络模型的过程中需要将样本图像输入神经网络，在样本输入网络之前可以对样本用图像增强技术进行一些变换，例如对图像进行随机的裁切，随机调整图像的对比度、亮度、色彩饱和度和伽玛值(数值在一定范围内)，如此可以增加样本空间的随机性。这样设置相当于对样本数量进行扩充，间接地增加模型的泛化能力，以使训练完成的模型能够适应不同光照环境，不同质量的图像。
220、提取历史道路样本图像中交通标志牌的位置信息，并基于多个位置信息及其对应的类别信息和语义信息生成第二训练样本集。
230、基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得第二训练样本集中每个类别信息与其对应的语义信息相关联。
由于预设目标检测模型是目标检测和分类模型，所以在训练过程中可以利用所有的训练图像样本进行训练。在训练过程中，可以使用一个或者多个GPU(GraphicsProcessing Unit，图形处理器)进行训练，每个GPU上的图片batch-size(批尺寸)可以设为2，每个图片的ROI(region of interest，感兴趣区域)数量在训练和测试中可以分别设为2000和1000。在训练过程中，关于对训练模型进行优化的优化算法，优选使用基于动量的随机梯度下降算法，其中，可将参数衰减设为0.0001，动量设为0.9，并根据训练进度逐步调整学习率。或者也可以使用Adam(一种替代传统随机梯度下降过程的一阶优化算法)、RMSProp(一种深度神经网络优化算法)等优化算法。
本实施例通过建立预设目标检测模型，可建立简单交通标志牌类别信息与语义信息的一对一映射关系，以达到直接快速获得语义信息的目的，省去了进一步对标志牌语义信息的解析过程。
在得到预设目标检测模型后，可利用该模型对摄像头实时采集到的当前道路图像中的简单交通标志牌进行定位和识别，具体方法请参阅图3，图3是本发明实施例提供一种交通标志牌的识别方法的流程示意图，该方法可以由交通标志牌的识别装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrial personal Computer，IPC)等车载终端中，本发明实施例不做限定。本实施例提供的一种交通标志牌的识别方法主要针对的是简单交通标志牌的识别，如图3所示，该方法包括：
310、获取当前道路图像。
其中，当前道路图像可通过车辆中的摄像头来实时获取。
320、提取当前道路图像中交通标志牌的当前位置信息。
示例性的，交通标志牌的当前位置信息可通过包含交通标志牌的定位边界框(Bounding Box)来确定，每个定位边界框可由左上角和右下角两个坐标组成，或也可由一个坐标及边界框的宽度和高度组成。
330、基于当前位置信息和预设目标检测模型，确定交通标志牌的类别信息，并根据类别信息确定交通标志牌的语义信息，其中，预设目标检测模型使得类别信息与语义信息相关联。
通过利用预设目标检测模型，可确定当前位置处交通标志牌的类别信息。由于类别信息与语义信息存在一对一的映射关系，因此，通过类别信息可直接确定出交通标志牌的语义信息。
本实施例中，预设目标检测模型可以Xception(深度可分卷积)网络为主干网络的Light-Head-RCNN(Light Head Region based convolutional Network，轻量头部基于区域的卷积网络网络)来实现。现有的基于卷积神经网络法的目标检测模型可以被分为两类：单步检测器和两步检测器，单步检测器例如YOLO(You only look once，实施对象检测系统)、SSD(single shot multibox detector，单发多箱探测器)等目标检测模型相具有较高的速度但是精度较低，两步检测器例如Faster R-CNN(Faster Regions with ConvolutionNeural Network，更加快速的基于区域的卷积神经网络)等目标检测模型具有更高的精度但是速度较慢。考虑到本实施例中的目标检测模型将运用在自动驾驶系统中，识别的速度需要达到实时并且需要保证较高的精度，因此，本实施例优选采用由Xception作为主干网络的Light-Head-RCNN模型作为交通标志牌的定位器与分类器。Light-Head-RCNN属于两步检测算法，其具有较高的精度，但是不同于传统的两步目标检测算法，其速度相较于传统的两步检测模型有了大幅的提升。下面通过图4来对预设目标检测模型进行详细说明。
如图4所示，Light-Head-RCNN主要分为三个部分：第一部分是仅有卷积层和池化层组成的主干网络，主要作用为提取图像特征得到特征图；第二部分是一个特征图，是由主干网络的最后一层进行分离卷积得到；第三部分是一个轻量级的R-CNN(Regions withConvolution Neural Network，基于区域的卷积神经网络)子网络。
首先介绍模型的主干网络，也就是模型的第一部分，模型的主干网络作为特征提取器，优选为全卷积网络，以适用于各种尺寸图像的输出。在这里可以选用预训练的ResNet(Residual Neural Network，残差神经网络)或XCeption网络的全卷积层。
对于模型的第二部分—特征图，是对主干网络的输出进行单次分离卷积而得到，分离卷积的过程可将k×k的卷积分解为k×1和1×k的卷积，从而可以在保证模型的表征能力大致不变的情况下减少计算量和网络参数的数量，以提升计算速度和减少内存使用。
在第二部分得到特征图的过程中，可利用RPN(Region Proposal Network，特征提取网络)来实现。该网络是一个基于滑动窗口的全卷积网络，与主干网路的倒数第二层卷积层相连。网络中含有一系列预设的锚点框(anchor)，锚点框分别有三种不同的纵横比{1：2，1：1，2：1}和五种不同的尺寸{322，642，1282，2562，5122}共十五种不同的形状来覆盖不同的物体形状。由于在众多的提取(proposal)中会含有大量交叠提取框，所以采用非极大值抑制(Non Maximum Suppression)的办法来削减交叠的提取提议框。在提取框被送入ROI(预测子网络之前，设置非极大值抑制交叠比IOU(Intersection over Union，重叠度)的阈值为0.7，而后根据锚点与真实边界框的交叠比来赋予训练标签。如果锚点与任意真实边界框的交叠比大于0.7，则锚点被赋予正标签，如果锚点对某一真实边界框拥有最大交叠比也会被赋予正标签。如果锚点与所有真实边界框的交叠比均小余0.3，则被赋予负标签。由此，可确定最佳候选提取框。
第三部分R-CNN子网络主要由一个通道数为2048的全连接层与两个小型全连接层构成，两个小型全连接层分别负责目标的分类和目标位置的回归。分类层的通道数由全部类别的总数决定(如有500个分类则通道数为500)，回归层的通道数为4，因为不关不管采用何种方式来标注边界框都仅需四个数字来唯一确定边界框位置和大小，例如：左上角顶点坐标与检测框的宽度与高度，或者左上角顶点与右下角顶点坐标。
本实施例中，通过利用Light-Head-RCNN模型对实时获取到的图像进行识别，可确定出道路图像中简单交通标志牌的位置信息和分类信息。其中，该位置信息所对应的图像即为上文中最佳候选提取框中的图像，也即仅包含标志牌区域的图像。下文中把通过Light-Head-RCNN模型得到的位置信息所对应的图像简称为道路图像中包含交通标志牌区域的子图像。
上述实施例已实现对简单交通标志牌语义信息的识别，而对于复杂交通标志牌，即一般设在简单标志之下，含有较多的文字以及数字等字符，可起到辅助说明作用的标志，例如限速60km/h，前方施工请绕行等标志，由于这类标志难以通过类别信息直接确定出其语义信息，因此需利用额外的算法来提取其语义信息。本发明实施例优选采用预设CRNN(Convolutional Recurrent Neural Network，卷积循环神经网络)模型对通过Light-Head-RCNN模型得到的子图像和其对应的分类信息输入作进一步的语义提取工作。下面首先对该模型的训练方法进行介绍。
实施例三
请参阅图5，图5是本发明实施例提供的又一种神经网络模型的训练方法的流程示意图。该方法可应用于自动驾驶中，可由神经网络模型的训练装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机等车载终端中，本发明实施例不做限定。本实施例提供的神经网络模型主要针对的是用于识别复制交通标志牌的卷积循环神经网络模型。如图5所示，本实施例提供的神经网络模型的训练方法具体包括：
410、获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息。
其中，历史子图像及其类别信息是利用上述预设目标检测模型对历史道路图像中的待识别交通标志牌图像进行特征提取得到的。
一种实现方式中，基于上述实施例一中对预设目标检测模型的介绍，利用预设目标检测模型对当前道路图像中的待识别交通标志牌图像进行特征提取得到当前子图像的位置信息通过如下方式实现：
利用预设目标检测模型中的全卷积网络，对当前道路图像中的待识别交通标志牌图像进行特征提取，得到交通标志牌图像的初始特征，所述初始特征至少包括交通标志牌的边缘特征；
利用上述Light-Head-RCNN模型中的RPN网络，并基于初始特征确定包含有交通标志牌的最佳候选提取框，该最佳候选提取框可以矩形框的形式体现，该矩形框可由多种方式唯一确定，例如：通过左上角顶点坐标与矩形框的宽度与高度，或者左上角顶点与右下角顶点坐标来确定；
将最佳候选提取框所在位置作为交通标志牌的定位边界框的位置，并利用R-CNN网络，输出包含有定位边界框及其内部交通标志牌的当前子图像。
优选的，在基于初始特征确定包含有交通标志牌的最佳候选提取框之前，还可基于初始特征对交通标志牌图像进行分离卷积，得到分离矩阵；相应的，根据分离矩阵确定包含有交通标志牌的最佳候选提取框。这样设置可在保证模型的表征能力大致不变的情况下减少计算量和网络参数的数量，从而提升计算速度和减少内存使用。
420、对历史子图像进行特征提取，得到历史子图像的特征序列。
430、基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集。
440、基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
本实施例中，CRNN模型主要由三个部分组成：卷积神经网络，循环神经网络和转录层。卷积神经网络由输入的子图像提取出固定数量的特征序列，特征序列被输入由LSTM模块组成的双向循环神经网络得到初步的预测序列，再由转录层去掉预测序列中的冗余部分得到最终的预测序列。模型的整体结构如图6所示。下面，分别对CRNN模型中的各个部分进行介绍：
特征序列提取：在CRNN模型中，卷积层由标准CNN(Convolutional NeuralNetworks，卷积神经网络)模型中的卷积层和最大值池化层构成。这样的组件用于从输入图像中提取序列化的特征表达。在输入网络之前，所有的图像的高度可被归一化到同样的高度，图像的宽度不必全部相同(因为文字序列的长度不定)。
然后，可从特征图中抽取出一系列的特征向量作为循环神经网络的输入。准确来讲，特征序列中地的每一个特征向量由特征图的每一列从左至右提取得到，意味着第i个特征向量由第i列特征图得到。在本实施例中，由于卷积，最大值池化和逐元素的激活函数都是在局部区域操作，所以它们都具有传递不变性的特征。所以最终特征图上的每一列对应于原始输入子图像中的一个矩形区域。
在传统的CRNN模型中，使用了VGG-16的卷积层作为主干网络，但VGG网络参数较多，且精度较差，所以在本实施例中优选使用已训练的mobile-net中的卷积层作为CRNN的主干网络。
序列识别：在CRNN模型中，卷积网络之上是一个深度双向RNN(Recurrent NeuralNetwork，循环神经网络)，用于将特征序列转化为字符序列。在本申请中，将卷积层输出的长度为T的特征序列X记为{X1,…XT}，循环网络的每一个输出y由整个序列X得到。使用循环神经网络的优势有三点，首先，RNN具有很强的利用序列中上下文信息的能力，在基于图像的序列识别问题中可以有效利用上下文线索，相较于基于单字符识别的方法更加稳定。第二，RNN可以利用方向传播算法传递梯度(梯度指反向传播算法中神经网络每一层之间的梯度)直至输入层，可以在本实施例的卷积循环神经网络模型中与卷积层一同训练。第三，RNN网络可以处理任意长度的序列。
在本模型中的循环神经网络中，使用了LSTM(Long Short-Term Memory，长短期记忆网络)单元，LSTM单元包含了一个记忆单元和三个乘法门(分别为输入门，输出门和遗忘门)。记忆单元可以存储之前的上下文，输入、输出门可以使上下文保存较长的一段时间，同时遗忘门可以清除上下文。这种设计使得LSTM可以获取到较长范围的依赖关系，适用于场景文字识别问题。
LSTM单元是具有方向性的，它可以利用过去的(在RNN网络的一层中，对于第i个LSTM单元，该单元可利用从1到i-1个单元的隐藏状态)上下文(context)，而对于大部分文字序列识别问题(包括交通标志牌语义提取)前后两个方向的上下文都很有用并且有互补性。因此我们可以将两个LSTM序列构成一个双向LSTM序列，并且多个双向LSTM可以堆叠组成一个深度双向LSTM网络。这样的网络结构可以提取到更高级语义特征。在CRNN模型中，可以通过反向传播算法将梯度与RNN网络传递到底层的CNN网络中。
转录层：在CRNN模型中转录层由一个CTC(connectionist temporal classifier，连接时序分类器)层实现，它的作用是依据条件概率将RNN的预测序列转化为目标序列，这个条件概率的对数似然函数作为整个网络的目标损失函数。因此对于整个卷积循环神经网络模型，只需要包含标志牌的图像和对应于标志牌语义的结构化字符序列。
转录层的具体实现有两种模式：有词典(lexicon)和无词典的模式。词典是一系列标签序列的集合，用于限制和辅助CTC的预测。在本申请实施例中，词典应为所有合法的标志牌语义的集合。在基于词典的模式中，CTC从词典中选取概率最高的标签序列作为输出序列。在无词典模式中，预测并不受到任何限制但也失去了词典的支持。
在交通标志牌识别问题中，因为标志牌的内容十分有限，所以使用基于词典的CTC模块更为合适，词典容量越大，分布越接近于真实数据，每个元素的频率就更接近元素的真实概率。
可选的，在输出预测时可以利用标志牌的类别信息(由预设目标检测模型得到)和一些交通牌的做一定的校验，如果未通过校验则给与适当反馈，例如“标志内容无法识别”等，以避免输出错误预测对自动驾驶系统造成误导。
本实施例中的CRNN模型，相对于预设目标检测模型，CRNN模型的复杂度相对较低，同时训练难度较低，因此优选使用Adadealta算法来自动计算每个维度上的梯度，使模型更快收敛。由于CRNN模型更小，输入图像储存也更小，可以将每张GPU上的batch-size设为64或128(视GPU显存大小而定)让模型更加快速稳定的收敛。
进一步的，在将预设目标检测模型和CRNN模型分别训练完成之后，可将两个模型级联进行进一步的调优，具体可利用全部历史道路样本图像及其对应的位置信息和类别信息，以及历史道路样本图像中的历史子图像对应的语义信息，对级联的预设目标检测模型和CRNN模型进行端对端训练这种多任务训练和梯度传递的方式，可使模型效果进一步提升。由于两个网络已经经过了训练，所以在此次训练中初始学习率须设置更低。训练样本可以使用全部样本图片，需要注意的是在将子图像输入CRNN模型时可只输入复杂标志牌。在训练过程中，由于有两个神经网络模型级联，所占显存较大，因此batch-size可以设为1。
在完成CRNN模型的训练后，可利用该模型对摄像头实时采集到的当前道路图像中的幅值交通标志牌进行识别，具体方法请参阅图7，图7是本发明实施例提供又一种交通标志牌的识别方法的流程示意图，该方法可由交通标志的识别装置来执行，该装置可通过软件和/或硬件的方式实现，一般可集成在车载电脑、车载工业控制计算机(Industrialpersonal Computer，IPC)等车载终端中，本发明实施例不做限定。本实施例提供的一种交通标志的识别方法主要针对的是复杂交通标志牌的识别，如图7所示，该方法包括：
510、获取当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息。
其中，位置信息和类别信息是利用预设目标检测模型对当前道路图像中的待识别交通标志牌图像进行特征提取得到的，具体的提取方式过程可参见上述实施例提供的内容，本实施例不再赘述。
520、按照位置信息和类别信息，利用卷积神经网络CNN对当前子图像进行特征提取，得到当前子图像的特征序列。
作为一种可选的实施方式，利用对当前子图像进行特征提取，得到当前子图像的特征序列可包括：利用卷积神经网络CNN，按照从左至右的方向对当前子图像进行特征提取，使得每列特征图均对应一个特征向量，各列特征图所对应的特征向量组成当前子图像的特征序列。在本实施例中，由于卷积，最大值池化和逐元素的激活函数都是在局部区域操作，所以它们都具有传递不变性的特征。所以最终特征图上的每一列对应于原始输入子图像中的一个矩形区域。
530、根据特征序列和预设卷积循环神经网络CRNN模型，得到当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
作为一种可选的实施方式，根据特征序列和预设卷积循环神经网络CRNN模型，得到当前子图像对应的目标语义信息，包括：
基于卷积循环神经网络模型中的循环神经网络RNN将特征序列转化为字符序列；
基于卷积循环神经网络模型中的转录层，并根据预设条件概率对字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息；其中，预设条件概率的对数似然函数为卷积循环神经网络模型的损失函数。
需要说明的是，在本实施例的RNN中，将两个LSTM序列构成一个双向LSTM序列，并且多个双向LSTM可以堆叠组成一个深度双向LSTM网络。这样的网络结构可以提取到更高级语义特征。
还需要说明的是，本实施例在基于卷积循环神经网络模型中的转录层，并根据预设条件概率对字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息，包括：
利用连接时序分类器CTC从预设词典中选取概率最高的字符序列作为目标字符序列；其中，预设词典为所有合法的交通标志牌语义的集合。这样设置是因为标志牌的内容十分有限，所以使用基于词典的CTC模块更为合适，词典容量越大，分布越接近于真实数据，每个元素的频率就更接近元素的真实概率。
本实施例提供的技术方案，通过利用预设目标检测模型对当前道路图像进行识别，可得到当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息。通过将子图像的位置信息和类别信息输入预设卷积循环神经网络模型，可得到子图像对应的目标语义信息，使得交通标志牌的识别结果更加准确。
实施例四
请参阅图8，图8是本发明实施例提供的一种异常驾驶行为的处理装置的结构示意图。如图8所示，该装置包括：道路图像获取模块610、交通元素和待检测车辆确定模块620、信息确定模块630和异常驾驶行为处理模块640，其中，
道路图像获取模块610，被配置为获取车载摄像头采集的道路图像；
交通元素和待检测车辆确定模块620，被配置为对所述道路图像进行识别，得到道路交通元素和待检测车辆，所述道路交通元素包括车道线、交通标志牌和交通信号灯中的一种或多种；
信息确定模块630，被配置为确定所述待检测车辆的车辆信息和行驶信息，所述车辆信息包括车牌号，所述行驶信息包括行驶位置和行驶速度；
异常驾驶行为处理模块640，被配置为根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，则将出现所述异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，以用于指导当前车辆行驶路径的预测和规划策略；所述异常驾驶行为包括违规驾驶行为和/或激进驾驶风格；
其中，所述违规驾驶行为包括如下一种或多种：超速、闯红灯、违法变道和违法压线；
所述激进驾驶风格包括如下一种或多种：压线行驶、车道变换次数大于设定次数阈值、在变道时横向速度大于设定速度阈值，以及在变道时与其他车辆的距离小于设定距离阈值；
其中，所述道路交通元素中交通标志牌的识别通过如下步骤来实现：
获取所述道路图像中交通标志牌区域所在当前子图像的位置信息和类别信息，其所述位置信息和类别信息是通过对所述道路图像中的待识别交通标志牌图像进行特征提取得到的；
按照所述位置信息和所述类别信息，利用卷积神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
可选的，所述异常驾驶行为处理模块，具体被配置为：
根据所述道路交通元素中交通标志牌上显示的限速信息和车辆的行驶速度，判断所述行驶速度超出所述限速信息的部分与所述限速信息的比值是否达到预设比例阈值；
如果达到所述预设比例阈值，则确定该待检测车辆出现了超速行驶的违规驾驶行为；
将该待检测车辆的车牌号及其超速行驶的违规驾驶行为上传到数据库。
可选的，所述异常驾驶行为处理模块，具体被配置为：
确定所述道路交通元素中车道线的位置和类型，所述类型包括车道线颜色、虚线和实线；
根据所述车道线的位置和所述待检测车辆的行驶位置，在确定出所述待检测车辆发生变道行为时，如果所述车道线的类型为实线或双黄线，则确定该待检测车辆出现了违法变道的违规驾驶行为；
将该待检测车辆的车牌号及其违法变道的违规驾驶行为上传到数据库。
可选的，所述异常驾驶行为处理模块，具体被配置为：
确定所述道路交通元素中地面路标所指示的规定行驶方向；
根据所述行驶信息确定待检测车辆的当前行驶方向；
如果所述当前行驶方向和所述规定行驶方向不一致，则确定该待检测车辆出现了违法变道的违规驾驶行为；
将该待检测车辆的车牌号及其违法变道的违规驾驶行为上传到数据库。
可选的，所述异常驾驶行为处理模块，具体被配置为：
确定所述道路交通元素中的交通信号灯信息和路口的停止线；
如果待检测车辆在交通信号灯为红灯时驶过所述停止线，则确定该待检测车辆出现了闯红灯的违规驾驶行为；
将该待检测车辆的车牌号及其闯红灯的违规驾驶行为上传到数据库。
可选的，所述异常驾驶行为处理模块，具体被配置为：
确定所述道路交通元素中车道线的位置；
对于连续帧道路图像中的同一个待检测车辆，如果该车辆的行驶位置在设定时间段内与车道线的位置一直处于重合状态，则确定该待检测车辆存在压线行驶的激进驾驶风格；
将该待检测车辆的车牌号及其压线行驶的激进驾驶风格上传到数据库。
可选的，所述异常驾驶行为处理模块，具体被配置为：
根据所述道路交通元素中车道线和待检测车辆的相对位置，确定出该待检测车辆是否发生变道行为；
在发生变道行为时，如果确定该待检测车辆的横向速度大于设定速度阈值；或者，
该待检测车辆的与其他车辆的距离小于设定距离阈值；或者，
该待检测车辆的车道变换次数大于设定阈值，
则确定该待检测车辆存在激进驾驶风格；
将该待检测车辆的车牌号及其激进驾驶风格上传到数据库。
可选的，所述激进驾驶风格还包括加速度超过预设加速度阈值，其中，所述加速度是通过基于连续帧道路图像所得出的待检测车辆的行驶速度来确定的。
可选的，所述CRNN模型通过以下方式构建：
获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的，所述预设目标检测模型使得交通标志牌的类别信息与语义信息相关联；
对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
基于多个历史子图像的特征序列、类别信息及对应的语义信息生成训练样本集；
基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
本发明实施例所提供的异常驾驶行为的处理装置可执行本发明任意实施例所提供的车异常驾驶行为的处理方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的异常驾驶行为的处理方法。
实施例五
请参阅图9，图9是本发明实施例提供的一种神经网络模型的训练装置的结构框图。如图9所示，该装置包括：历史道路样本图像获取模块710、第二训练样本集生成模块720和预设目标检测模型训练模块730，其中，
历史道路样本图像获取模块710，被配置为获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
第二训练样本集生成模块720，被位置为提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
预设目标检测模型训练模块730，被配置为基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
本实施例中，通过建立预设目标检测模型，可建立简单交通标志牌类别信息与语义信息的一对一映射关系，以达到直接快速获得语义信息的目的，省去了进一步对标志牌语义信息的解析过程。
在得到预设目标检测模型后，可利用该模型对摄像头实时采集到的当前道路图像中的简单交通标志牌进行定位和识别。
请参阅图10，图10是本发明实施例提供的一种交通标志牌的识别装置的结构框图。如图10所示，该装置包括：当前道路图像获取模块810、当前位置特征提取模块820和第二语义信息识别模块830。其中，
当前道路图像获取模块810，被配置为获取当前道路图像；
当前位置特征提取模块820，被配置为提取所述当前道路图像中交通标志牌的当前位置信息；
第二语义信息识别模块830，被配置为基于所述位置信息和预设目标检测模型，确定所述交通标志牌的类别信息，并根据所述类别信息确定交通标志牌的语义信息，其中，预设目标检测模型使得所述类别信息与所述语义信息相关联。
通过利用预设目标检测模型，可确定当前位置处交通标志牌的类别信息。由于类别信息与语义信息存在一对一的映射关系，因此，通过类别信息可直接确定出交通标志牌的语义信息。
实施例六
请参阅图11，图11是本发明实施例提供的又一种神经网络模型的训练装置的结构框图。如图11所示，该装置包括：历史子图像信息获取模块910、历史特征序列确定模块920、第一训练样本集生成模块930和神经网络模型训练模块940。其中，
历史子图像信息获取模块910，被配置为获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的，预设目标检测模型使得交通标志牌的类别信息与所述语义信息相关联；
历史特征序列确定模块920，被配置为对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
第一训练样本集生成模块930，被配置为基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集；
神经网络模型训练模块940，用于基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
本实施例中，通过建立预设卷积循环神经网络模型，可建立复杂交通标志牌类别信息与语义信息的一对一映射关系，以达到直接快速获得语义信息的目的，提升交通标志牌的识别精度。
在上述实施例的基础上，所述预设目标检测模型是通过以下方式构建的：
历史道路样本图像获取模块，被配置为获取标注有交通标志牌的位置信息、类别信息和语义信息的历史道路样本图像；
第二训练样本集生成模块，被位置为提取所述历史道路样本图像中交通标志牌的位置信息，并基于多个所述位置信息及其对应的类别信息和语义信息生成第二训练样本集；
预设目标检测模型训练模块，被配置为基于机器学习算法建立预设目标检测模型，所述预设目标检测模型使得所述第二训练样本集中每个类别信息与其对应的语义信息相关联。
在上述实施例的基础上，所述装置还包括：
端对的训练模块，被配置为利用全部历史道路样本图像及其对应的位置信息和类别信息，以及所述历史道路样本图像中的历史子图像对应的语义信息，对级联的所述预设目标检测模型和所述CRNN模型进行端对端训练。
在得到预设卷积循环神经网络后，可利用该模型对摄像头实时采集到的当前道路图像中的复杂交通标志牌进行定位和识别。
请参阅图12，图12是本发明实施例提供的又一种交通标志牌的识别装置的结构框图。如图12所示，该装置包括：当前子图像信息获取模块1010、当前特征序列确定模块1020和第一语义信息识别模块1030，其中，
当前子图像信息获取模块1010，被配置为获取当前道路图像中交通标志牌区域的当前子图像的位置信息和类别信息，其中，所述位置信息和类别信息是通过对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到的；
当前特征序列确定模块1020，被配置为按照所述位置信息和所述类别信息，利用卷积循环神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
第一语义信息识别模块1030，被配置为根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
在上述实施例的基础上，所述CRNN模型通过以下方式构建：
历史子图像信息获取模块，被配置为获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的；
历史特征序列确定模块，被配置为对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
第一训练样本集生成模块，被配置为基于多个历史子图像的特征序列、类别信息及对应的语义信息生成第一训练样本集；
神经网络模型训练模块，用于基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述第一训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
在上述实施例的基础上，对所述当前道路图像中的待识别交通标志牌图像进行特征提取得到当前子图像的位置信息通过如下方式实现：
初始特征确定模块，被配置为利用预设目标检测模型中的全卷积网络层，对所述当前道路图像中的待识别交通标志牌图像进行特征提取，得到所述交通标志牌图像的初始特征，所述初始特征至少包括交通标志牌的边缘特征；
最佳候选提取框确定模块，被配置为利用预设目标检测模型中的特征提取网络层，并基于所述初始特征确定包含有交通标志牌的最佳候选提取框，将所述最佳候选提取框所在位置作为交通标志牌的定位边界框的位置，并利用基于区域的卷积神经网络R-CNN，输出包含有定位边界框及其内部交通标志牌的当前子图像。
在上述实施例的基础上，所述最佳候选提取框确定模块具体被配置为：
对所述初始特征进行分离卷积，得到分离矩阵；
基于所述分离矩阵确定包含有交通标志牌的最佳候选提取框，将所述最佳候选提取框所在位置作为交通标志牌的定位边界框的位置，并利用基于区域的卷积神经网络R-CNN，输出包含有定位边界框及其内部交通标志牌的当前子图像。
在上述实施例的基础上，，所述当前特征序列确定模块具体被配置为：
利用卷积神经网络CNN，按照从左至右的方向对所述当前子图像进行特征提取，使得每列特征图均对应一个特征向量，各列特征图所对应的特征向量组成所述当前子图像的特征序列。
在上述实施例的基础上，所述第一语义信息识别模块包括：
字符序列转化单元，被配置为基于所述卷积循环神经网络模型中的循环神经网络RNN将所述特征序列转化为字符序列；
语义信息确定单元，被配置为基于所述卷积循环神经网络模型中的转录层，并根据预设条件概率对所述字符序列进行去冗余处理，得到目标字符序列对应的目标语义信息；其中，所述预设条件概率的对数似然函数为所述卷积循环神经网络模型的损失函数。
在上述实施例的基础上，所述语义信息确定单元，具体被配置为：
利用连接时序分类器CTC从预设词典中选取概率最高的字符序列作为目标字符序列；其中，所述预设词典为所有合法的交通标志牌语义的集合。
本发明实施例所提供的交通标志的识别装置可执行本发明任意实施例所提供的交通标志的识别方法，具备执行方法相应的功能模块和有益效果。未在上述实施例中详尽描述的技术细节，可参见本发明任意实施例所提供的交通标志的识别方法。
实施例七
请参阅图13，图13是本发明实施例提供的一种车载终端的结构示意图。如图13所示，该车载终端可以包括：
存储有可执行程序代码的存储器1110；
与存储器1110耦合的处理器1120；
其中，处理器1120调用存储器1110中存储的可执行程序代码，执行本发明任意实施例所提供的异常驾驶行为的处理方法。
本发明实施例还提供了另外一种车载终端，包括存储有可执行程序代码的存储器；与存储器耦合的处理器；其中，处理器调用存储器中存储的可执行程序代码，执行本发明任意实施例所提供的交通标志的识别方法，或者神经网络模型的训练方法。
本发明实施例公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的异常驾驶行为的处理方法。
本发明实施例还公开一种计算机可读存储介质，其存储计算机程序，其中，该计算机程序使得计算机执行本发明任意实施例所提供的交通标志牌的识别方法，或者神经网络模型的训练方法。
本发明实施例公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的异常驾驶行为的处理方法的部分或全部步骤。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行本发明任意实施例所提供的交通标志牌的识别方法，或者神经网络模型的训练方法的部分或全部步骤。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在本发明所提供的实施例中，应理解，“与A相应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
以上对本发明实施例公开的一种异常驾驶行为的处理方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种异常驾驶行为的处理方法，应用于自动驾驶，其特征在于，包括：
获取车载摄像头采集的道路图像；
对所述道路图像进行识别，得到道路交通元素和待检测车辆，所述道路交通元素包括车道线、交通标志牌和交通信号灯中的一种或多种；
确定所述待检测车辆的车辆信息和行驶信息，所述车辆信息包括车牌号，所述行驶信息包括行驶位置和行驶速度；
根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，则将出现所述异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，以用于指导当前车辆行驶路径的预测和规划策略；所述异常驾驶行为包括违规驾驶行为和/或激进驾驶风格；
其中，所述违规驾驶行为包括如下一种或多种：超速、闯红灯、违法变道和违法压线；
所述激进驾驶风格包括如下一种或多种：压线行驶、车道变换次数大于设定次数阈值、在变道时横向速度大于设定速度阈值，以及在变道时与其他车辆的距离小于设定距离阈值；
其中，所述道路交通元素中交通标志牌的识别通过如下步骤来实现：
获取所述道路图像中交通标志牌区域所在当前子图像的位置信息和类别信息，其所述位置信息和类别信息是通过对所述道路图像中的待识别交通标志牌图像进行特征提取得到的；
按照所述位置信息和所述类别信息，利用卷积神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
2.根据权利要求1所述的方法，其特征在于，根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，包括：
根据所述道路交通元素中交通标志牌上显示的限速信息和车辆的行驶速度，判断所述行驶速度超出所述限速信息的部分与所述限速信息的比值是否达到预设比例阈值；
如果达到所述预设比例阈值，则确定该待检测车辆出现了超速行驶的违规驾驶行为。
3.根据权利要求1所述的方法，其特征在于，根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，包括：
确定所述道路交通元素中车道线的位置和类型，所述类型包括车道线颜色、虚线和实线；
根据所述车道线的位置和所述待检测车辆的行驶位置，在确定出所述待检测车辆发生变道行为时，如果所述车道线的类型为实线或双黄线，则确定该待检测车辆出现了违法变道的违规驾驶行为。
4.根据权利要求1所述的方法，其特征在于，根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，包括：
确定所述道路交通元素中地面路标所指示的规定行驶方向；
根据所述行驶信息确定待检测车辆的当前行驶方向；
如果所述当前行驶方向和所述规定行驶方向不一致，则确定该待检测车辆出现了违法变道的违规驾驶行为。
5.根据权利要求1所述的方法，其特征在于，根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，包括：
确定所述道路交通元素中的交通信号灯信息和路口的停止线；
如果待检测车辆在交通信号灯为红灯时驶过所述停止线，则确定该待检测车辆出现了闯红灯的违规驾驶行为。
6.根据权利要求1所述的方法，其特征在于，根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，包括：
确定所述道路交通元素中车道线的位置；
对于连续帧道路图像中的同一个待检测车辆，如果该车辆的行驶位置在设定时间段内与车道线的位置一直处于重合状态，则确定该待检测车辆存在压线行驶的激进驾驶风格。
7.根据权利要求1所述的方法，其特征在于，根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，包括：
根据所述道路交通元素中车道线和待检测车辆的相对位置，确定出该待检测车辆是否发生变道行为；
在发生变道行为时，如果确定该待检测车辆的横向速度大于设定速度阈值；或者，
该待检测车辆的与其他车辆的距离小于设定距离阈值；或者，
该待检测车辆的车道变换次数大于设定阈值，
则确定该待检测车辆存在激进驾驶风格。
8.根据权利要求1所述的方法，其特征在于，所述激进驾驶风格还包括加速度超过预设加速度阈值，其中，所述加速度是通过基于连续帧道路图像所得出的待检测车辆的行驶速度来确定的。
9.根据权利要求1所述的方法，其特征在于，所述CRNN模型通过以下方式构建：
获取历史道路图像中仅包含有交通标志牌位置区域的历史子图像及其类别信息和语义信息，其中，所述历史子图像及其类别信息是利用预设目标检测模型对所述历史道路图像中的待识别交通标志牌图像进行特征提取得到的，所述预设目标检测模型使得交通标志牌的类别信息与语义信息相关联；
对所述历史子图像进行特征提取，得到所述历史子图像的特征序列；
基于多个历史子图像的特征序列、类别信息及对应的语义信息生成训练样本集；
基于机器学习算法对初始神经网络模型进行训练，得到CRNN模型，所述CRNN模型使得所述训练样本集中每个历史子图像的特征序列、类别信息与其对应的语义信息相关联。
10.一种异常驾驶行为的处理装置，应用于自动驾驶，其特征在于，包括：
道路图像获取模块，被配置为获取车载摄像头采集的道路图像；
交通元素和待检测车辆确定模块，被配置为对所述道路图像进行识别，得到道路交通元素和待检测车辆，所述道路交通元素包括车道线、交通标志牌和交通信号灯中的一种或多种；
信息确定模块，被配置为确定所述待检测车辆的车辆信息和行驶信息，所述车辆信息包括车牌号，所述行驶信息包括行驶位置和行驶速度；
异常驾驶行为处理模块，被配置为根据所述道路交通元素所要求的交通规则和所述行驶信息，如果判断出所述待检测车辆出现异常驾驶行为，则将出现所述异常驾驶行为的车辆的车牌号及其异常驾驶行为上传到数据库，以用于指导当前车辆行驶路径的预测和规划策略；所述异常驾驶行为包括违规驾驶行为和/或激进驾驶风格；
其中，所述违规驾驶行为包括如下一种或多种：超速、闯红灯、违法变道和违法压线；
所述激进驾驶风格包括如下一种或多种：压线行驶、车道变换次数大于设定次数阈值、在变道时横向速度大于设定速度阈值，以及在变道时与其他车辆的距离小于设定距离阈值；
其中，所述道路交通元素中交通标志牌的识别通过如下步骤来实现：
获取所述道路图像中交通标志牌区域所在当前子图像的位置信息和类别信息，其所述位置信息和类别信息是通过对所述道路图像中的待识别交通标志牌图像进行特征提取得到的；
按照所述位置信息和所述类别信息，利用卷积神经网络CNN对所述当前子图像进行特征提取，得到所述当前子图像的特征序列；
根据所述特征序列和预设卷积循环神经网络CRNN模型，得到所述当前子图像对应的目标语义信息，所述CRNN模型使得道路图像中交通标志牌区域的子图像的特征序列与其对应的语义信息相关联。
CN202010417673.2A 2020-05-18 2020-05-18 一种异常驾驶行为的处理方法和装置 Active CN113688652B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010417673.2A CN113688652B (zh) 2020-05-18 2020-05-18 一种异常驾驶行为的处理方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010417673.2A CN113688652B (zh) 2020-05-18 2020-05-18 一种异常驾驶行为的处理方法和装置

Publications (2)

Publication Number Publication Date
CN113688652A true CN113688652A (zh) 2021-11-23
CN113688652B CN113688652B (zh) 2024-04-02

Family

ID=78575388

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010417673.2A Active CN113688652B (zh) 2020-05-18 2020-05-18 一种异常驾驶行为的处理方法和装置

Country Status (1)

Country Link
CN (1) CN113688652B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114241589A (zh) * 2022-02-28 2022-03-25 深圳市城市交通规划设计研究中心股份有限公司 一种基于车载视频的公交司机违规行为判定方法及装置
CN114299433A (zh) * 2021-12-28 2022-04-08 清华大学 异常驾驶行为检测方法、训练方法、装置及存储介质
CN114613176A (zh) * 2022-01-21 2022-06-10 北京佰才邦技术股份有限公司 交通信息确定方法、装置和电子设备
CN114898325A (zh) * 2022-07-12 2022-08-12 深圳市城市交通规划设计研究中心股份有限公司 一种车辆危险变道检测方法、装置及电子设备
CN114954480A (zh) * 2022-07-28 2022-08-30 江西五十铃汽车有限公司 安全驾驶预警方法、系统、可读存储介质及车辆
CN115019511A (zh) * 2022-06-29 2022-09-06 九识(苏州)智能科技有限公司 基于自动驾驶车辆的识别机动车违规变道的方法和装置
CN115116236A (zh) * 2022-08-30 2022-09-27 福思(杭州)智能科技有限公司 行驶行为的预测方法、装置、存储介质和电子装置
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置
CN115359658A (zh) * 2022-08-17 2022-11-18 阿里云计算有限公司 交通事件的检测方法、装置、设备、存储介质及程序产品
WO2023103882A1 (zh) * 2021-12-06 2023-06-15 北京罗克维尔斯科技有限公司 道路作业区域预警方法及装置
WO2024087887A1 (zh) * 2022-10-25 2024-05-02 中国第一汽车股份有限公司 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034778A1 (en) * 2013-12-17 2016-02-04 Cloud Computing Center Chinese Academy Of Sciences Method for detecting traffic violation
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN106652465A (zh) * 2016-11-15 2017-05-10 成都通甲优博科技有限责任公司 一种道路异常驾驶行为的识别方法及系统
CN110533912A (zh) * 2019-09-16 2019-12-03 腾讯科技（深圳）有限公司 基于区块链的驾驶行为检测方法及装置
CN110991221A (zh) * 2019-10-16 2020-04-10 合肥湛达智能科技有限公司 一种基于深度学习的动态交通闯红灯识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160034778A1 (en) * 2013-12-17 2016-02-04 Cloud Computing Center Chinese Academy Of Sciences Method for detecting traffic violation
CN106652465A (zh) * 2016-11-15 2017-05-10 成都通甲优博科技有限责任公司 一种道路异常驾驶行为的识别方法及系统
CN106652468A (zh) * 2016-12-09 2017-05-10 武汉极目智能技术有限公司 车辆道路前车违规检测和自车违规预警提醒装置及方法
CN110533912A (zh) * 2019-09-16 2019-12-03 腾讯科技（深圳）有限公司 基于区块链的驾驶行为检测方法及装置
CN110991221A (zh) * 2019-10-16 2020-04-10 合肥湛达智能科技有限公司 一种基于深度学习的动态交通闯红灯识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
戴卫兵;徐超;陈悦;吴予萌;秦思禹;: "基于计算机视觉的辅助驾驶系统设计", 科技创新与应用, no. 03, 28 January 2020 (2020-01-28) *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103882A1 (zh) * 2021-12-06 2023-06-15 北京罗克维尔斯科技有限公司 道路作业区域预警方法及装置
CN114299433A (zh) * 2021-12-28 2022-04-08 清华大学 异常驾驶行为检测方法、训练方法、装置及存储介质
CN114613176A (zh) * 2022-01-21 2022-06-10 北京佰才邦技术股份有限公司 交通信息确定方法、装置和电子设备
CN114241589A (zh) * 2022-02-28 2022-03-25 深圳市城市交通规划设计研究中心股份有限公司 一种基于车载视频的公交司机违规行为判定方法及装置
CN115019511A (zh) * 2022-06-29 2022-09-06 九识(苏州)智能科技有限公司 基于自动驾驶车辆的识别机动车违规变道的方法和装置
CN114898325A (zh) * 2022-07-12 2022-08-12 深圳市城市交通规划设计研究中心股份有限公司 一种车辆危险变道检测方法、装置及电子设备
CN114898325B (zh) * 2022-07-12 2022-11-25 深圳市城市交通规划设计研究中心股份有限公司 一种车辆危险变道检测方法、装置及电子设备
CN114954480B (zh) * 2022-07-28 2022-11-22 江西五十铃汽车有限公司 安全驾驶预警方法、系统、可读存储介质及车辆
CN114954480A (zh) * 2022-07-28 2022-08-30 江西五十铃汽车有限公司 安全驾驶预警方法、系统、可读存储介质及车辆
CN115359658A (zh) * 2022-08-17 2022-11-18 阿里云计算有限公司 交通事件的检测方法、装置、设备、存储介质及程序产品
CN115359658B (zh) * 2022-08-17 2024-06-11 阿里云计算有限公司 交通事件的检测方法、装置、设备、存储介质及程序产品
CN115116236A (zh) * 2022-08-30 2022-09-27 福思(杭州)智能科技有限公司 行驶行为的预测方法、装置、存储介质和电子装置
CN115240435A (zh) * 2022-09-21 2022-10-25 广州市德赛西威智慧交通技术有限公司 一种基于ai技术的车辆违章行驶检测方法、装置
WO2024087887A1 (zh) * 2022-10-25 2024-05-02 中国第一汽车股份有限公司 鲁莽驾驶行为标记方法、车辆、云端服务器和存储介质

Also Published As

Publication number Publication date
CN113688652B (zh) 2024-04-02

Similar Documents

Publication Publication Date Title
CN113688652A (zh) 一种异常驾驶行为的处理方法和装置
CN111488770A (zh) 交通标志识别方法、神经网络模型的训练方法和装置
CN111401148B (zh) 一种基于改进的多级YOLOv3的道路多目标检测方法
CN107506763A (zh) 一种基于卷积神经网络的多尺度车牌精准定位方法
Megalingam et al. Indian traffic sign detection and recognition using deep learning
CN110555433A (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
CN111931683B (zh) 图像识别方法、装置及计算机可读存储介质
CN102902983B (zh) 一种基于支持向量机的出租车识别方法
KR102197930B1 (ko) 번호판 인식 방법 및 시스템
CN112949578B (zh) 车灯状态识别方法、装置、设备及存储介质
Huang et al. A new approach for character recognition of multi-style vehicle license plates
CN108960175A (zh) 一种基于深度学习的车牌识别方法
Zhang et al. Automatic detection of road traffic signs from natural scene images based on pixel vector and central projected shape feature
CN112613434A (zh) 道路目标检测方法、装置及存储介质
Kejriwal et al. Vehicle detection and counting using deep learning basedYOLO and deep SORT algorithm for urban traffic management system
Seo et al. Temporary traffic control device detection for road construction projects using deep learning application
Molina-Cabello et al. Vehicle type detection by convolutional neural networks
CN115346206B (zh) 基于改进超分辨的深度卷积特征识别的车牌检测方法
CN116052189A (zh) 一种文本识别方法、系统和存储介质
KR102026280B1 (ko) 딥 러닝을 이용한 씬 텍스트 검출 방법 및 시스템
CN110555425A (zh) 一种视频流实时行人检测方法
CN115953744A (zh) 一种基于深度学习的车辆识别追踪方法
CN114241482A (zh) 车牌识别检测方法以及装置
CN113591543A (zh) 交通标志识别方法、装置、电子设备及计算机存储介质
Pugalenthy et al. Malaysian vehicle license plate recognition using deep learning and computer vision

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant