CN111415533A - 弯道安全预警监控方法、装置以及系统 - Google Patents

弯道安全预警监控方法、装置以及系统 Download PDF

Info

Publication number
CN111415533A
CN111415533A CN202010321342.9A CN202010321342A CN111415533A CN 111415533 A CN111415533 A CN 111415533A CN 202010321342 A CN202010321342 A CN 202010321342A CN 111415533 A CN111415533 A CN 111415533A
Authority
CN
China
Prior art keywords
vehicle
license plate
curve
information
predicted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010321342.9A
Other languages
English (en)
Other versions
CN111415533B (zh
Inventor
朱黎
赵坤
谭建军
孙先波
黄勇
易金桥
胡涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Enshi Shida Electronic Information Technology Co ltd
Hubei University for Nationalities
Original Assignee
Enshi Shida Electronic Information Technology Co ltd
Hubei University for Nationalities
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Enshi Shida Electronic Information Technology Co ltd, Hubei University for Nationalities filed Critical Enshi Shida Electronic Information Technology Co ltd
Priority to CN202010321342.9A priority Critical patent/CN111415533B/zh
Publication of CN111415533A publication Critical patent/CN111415533A/zh
Application granted granted Critical
Publication of CN111415533B publication Critical patent/CN111415533B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/63—Scene text, e.g. street names
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/017—Detecting movement of traffic to be counted or controlled identifying vehicles
    • G08G1/0175—Detecting movement of traffic to be counted or controlled identifying vehicles by photographing vehicles, e.g. when violating traffic rules
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/048—Detecting movement of traffic to be counted or controlled with provision for compensation of environmental or other condition, e.g. snow, vehicle stopped at detector
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/052—Detecting movement of traffic to be counted or controlled with provision for determining speed or overspeed
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Atmospheric Sciences (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明实施例公开了一种弯道安全预警监控方法、装置以及系统，将获取到的即将进入弯道的待测车辆的图像输入至车辆识别复合模型中得到待测车辆的车型信息和车牌信息；根据车型信息获取待测车辆的刹车距离以及重量；将刹车距离、重量、弯道的路面信息、气象信息、待测车辆的当前车速、待测车辆当前与弯道的会车口的距离以及对向车辆数，输入至预警监测模型中得到待测车辆进入弯道的安全预警级别；并根据安全预警级别获取对应的弯道预警信息；根据车牌信息获取待测车辆对应的车辆用户信息，并根据车辆用户信息将对应的弯道预警信息发送给相应的车主用户的终端设备。本发明监测精度和智能程度较高。

Description

弯道安全预警监控方法、装置以及系统
技术领域
本发明涉及图像识别技术领域，尤其涉及一种弯道安全预警监控方法、装置以及系统。
背景技术
目前，面向景区内部道路智能安全预警技术的研究，主要有两种方法，一种是依赖于地磁检测的弯道会车预警系统，该系统在弯道两侧的入口上分别设置地磁检测装置和预警装置，通过地磁检测装置来检测是否有车辆进入弯道，当检测到有车辆进入弯道时，在另一侧预警显示装置上显示预警信息。另一种方法是依赖于两个通讯子系统的多弯道路段安全预警系统，该系统将多弯道路段安全预警系统分为多弯道路段路边安全预警系统和多弯道路车载安全预警系统。多弯道路段路边安全预警系统与多弯道道路车载安全预警系统进行数据通讯，从而达到对经过弯道路段的车辆进行警示作用。传统技术中的弯道预警方式功能较为单一，在弯道上需要铺设的硬件较为复杂，且存在部分未能够结合车辆的实际情况进行预警监测判断，其精度不高，导致对车辆进入弯道的安全预警效果不够理想。
发明内容
基于此，有必要针对上述问题提供一种弯道安全预警监控方法、装置以及系统。
在一个实施例中，本发明提供了一种弯道安全预警监控方法，包括：
将获取到的即将进入弯道的待测车辆的图像输入至预先训练好的车辆识别复合模型中进行车型识别和车牌识别，得到待测车辆的车型信息和车牌信息；车辆识别复合模型包括基于ResNet152网络模型训练得到的车型识别模型、和基于Darknet53网络模型训练得到的车牌识别模型；
根据车型信息获取待测车辆的刹车距离以及重量；
将刹车距离和重量，以及获取到的弯道的路面信息、气象信息、待测车辆的当前车速、待测车辆当前与弯道的会车口的距离以及对向车辆数，输入至预先训练好的预警监测模型中，并根据对应的权重系数进行计算，得到待测车辆进入弯道的安全预警级别；并根据安全预警级别获取对应的弯道预警信息；
根据车牌信息获取待测车辆对应的车辆用户信息，并根据车辆用户信息将对应的弯道预警信息发送给相应车主用户的终端设备。
在其中一个实施例中，预警监测模型的数学表达式如下：
Monitor_leveri＝α1disi+α2Braking_distancei k+α3opposite_vehicles；
Monitor_leveri表示待测车辆i的安全预警级别；α1、α2、α3代表第一权重系数；disi表示待测车辆i当前距离弯道的会车口的距离；Braking_distancei k表示待测车辆i所属车型k的刹车距离；opposite_vehicles表示对向车辆数；
Figure BDA0002461533000000021
β1、β2、β3、β4表示第二权重系数；Gk表示待测车辆i所属车型k的重量；μk表示待测车辆i所属车型k的摩擦系数；V表示当前车速；Freeze表示弯道路面的结冰程度；Weather表示气象信息。
在其中一个实施例中，训练好的车辆识别复合模型的训练过程包括：
将获取到预设数量的车辆样本图像输入至预设的ResNet152网络模型和预设的Darknet53网络模型中；
获取ResNet152网络模型对每一车辆样本图像进行车型识别，输出的预测车型信息和对应的车型预测概率；
获取Darknet53网络模型对每一车辆样本图像进行车牌识别，输出的预测车牌信息；预测车牌信息包括预测车牌类型、预测车牌类型对应的置信度、预测车牌号序列、预测车牌号序列的长度、预测车牌边框的位置和大小、以及预测车牌号序列的预测概率；
根据各车辆样本图像对应的真实车型信息、真实车牌信息、预测车型信息、对应的车型预测概率、以及预测车牌信息，基于预设的车辆识别复合模型的损失函数计算损失函数值，并根据损失函数值分别调节ResNet152网络模型和Darknet53网络模型的网络参数，直至调整后的ResNet152网络模型输出的预测车型信息和对应的车型预测概率，以及调整后的Darknet53网络模型输出的预测车牌信息，使得损失函数值达到预设值，则将最终调节后的ResNet152网络模型作为车型识别模型，和将最终调节后的Darknet53网络模型作为车牌识别模型；并将车型识别模型和车牌识别模型组成车辆识别复合模型。
在其中一个实施例中，获取ResNet152网络模型对每一车辆样本图像进行车型识别，输出的预测车型信息和对应的车型预测概率，包括：
提取ResNet152网络模型的倒数第二层卷积层输出的车辆样本图像中车辆的多维图像特征向量；
将多维图像特征向量转换成一维图像特征向量，并将一维图像特征向量输入至ResNet152网络模型的全连接层；
获取全连接层根据逻辑回归算法判断车辆样本图像中车辆分别属于所有车型的概率后，输出的预测车型信息和对应的车型预测概率。
在其中一个实施例中，获取Darknet53网络模型对每一车辆样本图像进行车牌识别后，输出的预测车牌信息，包括：
提取Darknet53网络模型的倒数第二层卷积层输出的车辆样本图像中车牌的深度学习特征，得到预测车牌类型、预测车牌类型对应的置信度和车牌中各字符对应的字符候选区域；
根据双线性采样算法将各字符候选区域统一映射为高度一致宽度变长的特征序列；
将特征序列输入至循环神经网络层，并将循环神经网络层输出的概率矩阵通过连接时序时间分类层进行识别，得到车辆样本图像中车牌的预测车牌号序列、预测车牌号序列的长度、以及预测车牌号序列的预测概率；
通过非极大值抑制和边框回归对车辆样本图像中的车牌进行车牌边框检测，得到包含预测车牌号序列的预测车牌边框的位置和大小。
在其中一个实施例中，车辆识别复合模型的损失函数如下：
loss＝lossclassification+lossrecongition+lossctc；其中：
Figure BDA0002461533000000041
)其中，loss表示车辆识别复合模型的损失函数的损失函数值；N为车辆样本图像的数量；loSsclassification表示ResNet152网络模型的损失函数；lossrecongition表示Darknet53网络模型进行车牌边框检测的损失函数；lossctc表示Darknet53网络模型进行车牌号序列识别的损失函数；其中，如果检测边框中存在预测车牌号序列，则λobj＝1，如果不存在，则λobj＝0；
Figure BDA0002461533000000051
表示第i张车辆样本图像中真实车牌边框的位置和大小，x、y、w、h分别表示车牌边框的中点横坐标、中点纵坐标、宽度、高度；ri表示属于(x，y，w，h)数据集合中的参数；
Figure BDA0002461533000000052
表示第i张车辆样本图像中真实车牌边框的宽度；
Figure BDA0002461533000000053
表示第i张车辆样本图像中真实车牌边框的高度；
Figure BDA0002461533000000054
表示第i张车辆样本图像中预测车牌边框的位置和大小；M表示车辆样本图像中车牌类型的数量；m表示预测车牌类型；
Figure BDA0002461533000000055
第i张车辆样本图像中真实的车牌类型；
Figure BDA0002461533000000056
表示第i张车辆样本图像中预测车牌类型的车牌边框应当所在的位置；
Figure BDA0002461533000000057
表示真实车牌类型的置信度；
Figure BDA0002461533000000058
表示第i张车辆样本图像中与真实车牌类型相同的预测车牌类型对应的置信度。
在其中一个实施例中，ResNet152网络模型的损失函数如下：
Figure BDA0002461533000000059
其中，K为车辆样本图像中车型的总数；yi，k表示第i张车辆样本图像中车辆的真实车型k的对应数值；Pi，k表示第i张车辆样本图像中车辆的预测车型k对应的车型预测概率；
Darknet53网络模型进行车牌号序列识别的损失函数如下：
Figure BDA00024615330000000510
其中，xi表示第i张车辆样本图像中车辆的预测车牌号序列；zi表示第i张车辆样本图像中车辆的真实车牌号序列；si为对预测车牌号序列和真实车牌号序列的长度的约束值；|zi|表示第i张车辆样本图像中车辆的真实车牌号序列的长度；α(ti，u)表示按照时步ti对第i张车辆样本图像的预测车牌号序列中的对应字符u进行前向序列识别的预测概率；β(ti，u)表示按照时步ti对第i张车辆样本图像的预测车牌号序列中的对应字符u进行后向序列识别的预测概率。
在其中一个实施例中，本发明还提供了一种弯道安全预警监控装置，包括：
识别模块，用于将获取到的即将进入弯道的待测车辆的图像输入至预先训练好的车辆识别复合模型中进行车型识别和车牌识别，得到待测车辆的车型信息和车牌信息；车辆识别复合模型包括基于ResNet152网络模型训练得到的车型识别模型、和基于Darknet53网络模型训练得到的车牌识别模型；
获取模块，用于根据车型信息获取待测车辆的刹车距离以及重量；
预警监测模块，用于将刹车距离和重量，以及获取到的弯道的路面信息、气象信息、待测车辆的当前车速、待测车辆当前与弯道的会车口的距离以及对向车辆数，输入至预先训练好的预警监测模型中，并根据对应的权重系数进行计算，得到待测车辆进入弯道的安全预警级别；并根据安全预警级别获取对应的弯道预警信息；
发送模块，用于根据车牌信息获取待测车辆对应的车辆用户信息，并根据车辆用户信息将对应的弯道预警信息发送给相应车主用户的终端设备。
在一个实施例中，本发明还提供了一种弯道安全预警监控系统，包括：设置在运营方的后台计算机、分别连接后台计算机的云平台、设置在路面上的测速仪、摄像头、微型气象站、以及路面结冰传感器；
测速仪，用于检测即将进入弯道的待测车辆的当前速度；
摄像头，用于采集待测车辆的图像；
微型气象站，用于监测气象信息；
路面结冰传感器，用于检测弯道的路面信息；
云平台，用于存储计算机程序，云平台执行计算机程序时实现弯道安全预警监控方法的步骤；
后台计算机，用于将待测车辆的当前速度、待测车辆的图像、气象信息以及弯道的路面信息传输给云平台，并接收云平台发送的待测车辆进入弯道对应的弯道预警信息。
在一个实施例中，本发明还提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现弯道安全预警监控的方法的步骤。
本发明的弯道完全预警监控方法、装置以及系统，通过ResNet152网络模型ResNet152网络模型和Darknet53网络模型Darknet53网络模型训练得到车辆识别复合模型，进而能够防止图像信息丢失，获取到更加丰富完整的待测车辆的车辆图像信息，以便于识别出待测车辆的车型和车牌，有助于结合弯道的相关信息在预警监测模型中高效地根据车辆的具体情况计算出在弯道上的安全预警级别，以及将弯道预警信息较为准确无误地传达给车主用户的终端设备。本发明各实施例能够结合更多有效数据对即将进入弯道的待测车辆进行监控，以识别计算具体车型所在弯道的安全预警级别，使得车主用户可以有效地掌握所在的弯道情况，可防止因监测参数不够完善造成预警误判等情况，其智能程度较高。且通过合理简单的硬件布局便能够实现监测，有助于降低了系统的硬件成本。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本发明一个实施例中弯道安全预警监控方法的流程示意图；
图2示出了本发明一个实施例中弯道安全预警监控方法中对车辆样本图像进行识别的流程示意图；
图3示出了本发明一个实施例中弯道安全预警监控装置的结构示意图；
图4示出了本发明一个实施例中弯道安全预警监控系统的结构示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
传统技术中的弯道预警方式中，需要在道路上铺设复杂的硬件然后依赖铺设的硬件组成的弯道预警系统进行数据采集，通过简单的数据处理后对车辆进行弯道上的预警。例如地磁检测弯道会车预警系统，以及基于两个通讯子系统的多弯道安全路段安全预警系统。尤其对于两个通讯子系统的多弯道安全路段安全预警系统，在其多弯道路段路边安全预警系统中，包括车辆定位信号接收单元、弯道边缘安全距离数据通信模块、LED显示器、报警器和车载端外部存储器等。在其多弯道路段车载安全系统中，包括微处理单元、GPS定位器、外置GPS定位信号接收器等。传统技术中的安全预警方法，大部分通过硬件设备进行粗略的数据收集和处理，预警效果不佳。
本发明实施例的弯道安全预警监控方法，应用于如图4所示的弯道安全预警监控系统，包括：设置在运营方的后台计算机、分别连接后台计算机的云平台、设置在路面上的测速仪、摄像头、微型气象站、以及路面结冰传感器。其硬件布局较为简单，运营方的后台计算将通过路面上的设备采集到的数据传输给云平台，通过云平台的大数据人工智能计算，进而能够较为准确地根据车辆的具体情况得到对应的弯道安全等级，从而给车辆的车主发送预警提示信息。
参见图1，在一个实施例中，本发明提供了一种弯道安全预警监控方法，包括：
步骤S110：将获取到的即将进入弯道的待测车辆的图像输入至预先训练好的车辆识别复合模型中进行车型识别和车牌识别，得到待测车辆的车型信息和车牌信息；车辆识别复合模型包括基于ResNet152网络模型训练得到的车型识别模型、和基于Darknet53网络模型训练得到的车牌识别模型。
为了防止待测车辆的图像特征信息或多或少被丢失、损耗，以及梯度消失或梯度爆炸的问题，因而采用ResNet152网络模型训练车型识别模型，ResNet152网络模型即深度残差网络模型，可以将输入信息绕道传输，保护待测车辆的图像信息的完整性，整个网络只需要学习输入、输出差别的那一部分，可简化学习目标和难度。Darknet53网络模型为基于YOLO V3算法的网络结构模型，其检测速度快，在一些层之间设置了快捷链路，能够提高对待测车辆的车牌的数据处理的效率和精度。
本发明实施例将车型识别模型和车牌识别模型合并形成车辆识别复合模型，在获取到单张即将进入弯道待测车辆的图像后，通过车辆复合识别模型可得到待测车辆的车型和车牌的双输出信息，有助于根据安全预警的识别效率和精确度。
步骤S120：根据车型信息获取待测车辆的刹车距以及重量。
根据识别出的车型信息从而可获得待测车辆对应的刹车距离、重量，有助于计算待测车辆在路面上当前位置进入弯道会车口的安全预警级别。
步骤S130：将刹车距离和重量，以及获取到的弯道的路面信息、气象信息、待测车辆的当前车速、待测车辆当前与弯道的会车口的距离以及对向车辆数，输入至预先训练好的预警监测模型中根据对应的权重系数进行计算，得到待测车辆进入弯道的安全预警级别；并根据安全预警级别获取对应的弯道预警信息。
本发明实施例中各参数对应的权重系数表示各参数的指标对安全预警级别计算中的相对重要程度，权重系数越大表示相对重要程度越高，其中，对应的权重系数可根据实际设计精度需求和模型训练的实际情况而确定。本发明实施例能够结合车辆的具体情况和更多的有效数据对即将进入弯道的待测车辆进行监控，以识别计算具体车型所在弯道的安全预警级别，进一步地精化了弯道预警计算，提高了弯道预警判断精度，有助于提供车主用户准确的弯道预警信息，以便车主及时作出进入弯道会车口的相应措施，减少事故发生。每一安全预警级别对应一弯道预警信息，弯道预警信息包括当前距离弯道的会车口的距离、距离会车口的最佳减速位置、车速调整提示等。
步骤S140：根据车牌信息获取待测车辆对应的车辆用户信息，并根据车辆用户信息将对应的弯道预警信息发送给相应的车主用户的终端设备。
本发明的弯道完全预警监控方法，通过ResNet152网络模型和Darknet53网络模型训练得到车辆识别复合模型，进而能够防止图像信息丢失，获取到更加丰富完整的待测车辆的车辆图像信息，以便于识别出待测车辆的车型和车牌，有助于结合弯道的相关信息在预警监测模型中高效地根据车辆的具体情况计算出在弯道上的安全预警级别，以及将弯道预警信息较为准确无误地传达给车主用户的终端设备。本发明实施例能够结合更多有效数据对即将进入弯道的待测车辆进行监控，以识别计算具体车型所在弯道的安全预警级别，使得车主用户可以有效地掌握所在的弯道情况，可防止因监测参数不够完善造成预警误判等情况，其智能程度较高。且通过合理简单的硬件布局便能够实现监测，有助于降低了系统的硬件成本。
在一个具体的实施例中，预警监测模型的数学表达式如下：
Monitor_leveri＝α1disi+α2Braking_distancei k+α3opposite_vehicles。
Monitor_leveri表示待测车辆i的安全预警等级；α1、α2、α3代表第一权重系数；disi表示待测车辆i当前距离弯道的会车口的距离；Braking_distancei k表示待测车辆i所属车型k的刹车距离；opposite_vehicles表示对向车辆数。
其中，
Figure BDA0002461533000000121
β1、β2、β3、β4表示第二权重系数；Gk表示待测车辆i所属车型k的重量；μk表示待测车辆i所属车型K的摩擦系数；V表示当前车速；Freeze表示弯道路面的结冰程度；Weather表示气象信息。
例如，弯道的路面信息为路面的结冰程度或湿度等，气象信息为能见度，或雨雪大小等。在识别出待测车辆的车型信息后可得到对应的摩擦系数，从而根据摩擦系数、待测车辆的当前车速、所属车型k的重量、弯道路面的路面信息以及气象信息，和各参数对应的第二权重系数得到刹车距离。进一步地，根据待测车辆当前距离弯道的会车口的距离、刹车距离以及对向车辆数，结合各参数对应的第一权重系数得到待测车辆的安全预警级别。
本发明实施例能够结合更多有效数据对即将进入弯道的待测车辆进行监控，以识别计算具体车型所在弯道的安全预警级别，使得车主用户可以有效地掌握所在的弯道情况，可防止因监测参数不够完善造成预警误判等情况，其智能程度较高。且通过合理简单的硬件布局便能够实现监测，有助于降低了系统的硬件成本。
在一个具体的实施例中，训练好的车辆识别复合模型的训练过程包括：
步骤S2：将获取到预设数量的车辆样本图像输入至预设的ResNet152网络模型，和预设的Darknet53网络模型中。
步骤S4：获取ResNet152网络模型对每一车辆样本图像进行车型识别，输出预测车型信息和对应的车型预测概率。
ResNet152网络模型对每一车辆样本图像进行车型识别后输出对应的预测车型信息和对应的车型预测概率。
步骤S6：获取Darknet53网络模型对每一车辆样本图像进行车牌识别，输出预测车牌信息；预测车牌信息包括预测车牌类型、预测车牌类型对应的置信度、预测车牌号序列、预测车牌号序列的长度、预测车牌边框的位置和大小、以及预测车牌号序列的预测概率。
例如预测车牌边框的位置为车牌所在车辆样本图像中的位置。Darknet53网络模型对每一车辆样本图像进行车牌识别后输出对应的预测车牌信息。
步骤S8：根据各车辆样本图像对应的真实车型信息、真实车牌信息、预测车型信息、对应的车型预测概率、以及预测车牌信息，基于预设的车辆识别复合模型的损失函数计算损失函数值，并根据损失函数值分别调节ResNet152网络模型和Darknet53网络模型的网络参数，直至调整后的ResNet152网络模型输出的预测车型信息和对应的车型预测概率，以及调整后Darknet53网络模型输出的预测车牌信息，使得损失函数值达到预设值，则将最终调节后的ResNet152网络模型作为车型识别模型，和将最终调节后的Darknet53网络模型作为车牌识别模型；并将车型识别模型和车牌识别模型组成车辆识别复合模型。
真实车牌信息包括真实车牌类型、真实车牌类型对应的置信度、真实车牌号序列、真实车牌号序列的长度、真实边框的位置和大小等。预设的车辆识别复合模型的损失函数包括预设的ResNet152网络模型的损失函数和预设的Darknet53网络模型的损失函数。在该步骤中，将车辆样本图像对应的真实车型信息、预测车型信息以及对应的车型预测概率等参数代入到ResNet152网络模型的损失函数中进行计算，将真实车牌信息以及预测车牌信息代入到预设的Darknet53网络模型的损失函数中进行计算，将两者进行计算后的数值之和作为车辆识别复合模型的损失函数的损失函数值。若得到的损失函数值没有达到预设值，则根据损失函数值调整ResNet152网络模型和Darknet53网络模型的网络参数，并再次将获取到预设数量的车辆样本图像输入至调整后的ResNet152网络模型和Darknet53网络模型中进行训练，直至调整后的ResNet152网络模型输出的预测车型信息和对应的车型预测概率，以及调整后的Darknet53网络模型输出的预测车牌信息，使得损失函数值达到预设值。
例如，初始ResNet152网络模型的网络参数包括学习率、卷积层的参数如卷积核的大小和全连接层的节点权值等，以使ResNet152网络模型对车辆样本图像的车型预测更加接近真实车型。Darknet53网络模型的网络参数包括学习率、卷积核尺寸大小、分类层的参数和回归层的参数等。当损失函数值达到预设值时说明损失函数收敛，此时训练得到的最终ResNet152网络模型和Darknet53网络模型达到预期效果，可作为车型识别模型和车牌识别模型，从而得到车辆识别复合模型。
在本发明实施例中，将单张车辆图像输入到车辆识别复合模型，由车型识别模型进行车型识别后，将车型识别模型输出的最大值的车型预测概率所对应的预测车型信息，作为对车辆图像中车辆车型预测的车型信息；并由车牌识别模型进行车牌识别后，得到对车辆图像中对车牌预测的车牌信息，其中，该车牌信息中的车牌类型为车牌识别模型中输出的最大值的置信度对应的预测车牌类型。
本发明实施例通过ResNet152网络模型训练得到车型识别模型从而简化了学习目标和难度，并且在可获得更多车辆图像的特征细节减少信息丢失的同时提高了训练效率。进一步地，通过Darknet53网络模型训练得到车牌识别模型从而可提高对车牌的检测速度和准确度。本发明实施例基于车型识别模型和车牌识别模型合并训练产生车辆复合识别模型，以实现单张车辆图像输入输出车辆的车型和车牌信息的效果，从而将弯道预警信息较为准确无误地传达给车主用户的终端设备。本发明实施例有助于进一步优化弯道安全预警的检测过程，可减少误判的情况，为车辆用户在弯道行驶提供更多保障以减少事故发生。
参见图2，在一个具体的实施例中，获取ResNet152网络模型对每一车辆样本图像进行车型识别，输出的预测车型信息和对应的车型预测概率，包括：
步骤S210：提取初始ResNet152网络模型的倒数第二层卷积层输出的车辆样本图像中车辆的多维图像特征向量。
ResNet152网络模型的倒数第二层卷积层保存了较好的图像中的视觉特征，因此，可提取倒数第二层卷积层输出的车辆样本图像中车辆的多维图像特征向量。本发明实施例可提取更多车辆的特征，防止图像信息丢失。
步骤S220：将多维图像特征向量转换成一维图像特征向量，并将一维图像特征向量输入至ResNet152网络模型的全连接层。
全连接层的作用是将卷积层的图像特征进行整合以便进行分类，因而全连接层需要把输入拉成一个固定长度的特征向量，较优地，将多维图像特征向量转换成一维图像特征向量。在保留了最具特征的图像信息的同时，可提高全连接层进行分类计算的效率。
步骤S230：获取全连接层根据逻辑回归算法判断车辆样本图像中车辆分别属于所有车型的概率后，输出的预测车型信息和对应的车型预测概率。
逻辑回归算法为分类方法，在本实施例中可用于对车辆所属车型进行分类，分类时计算量较小且速度快，同时可便于观测样本概率分数。
本发明实施例利用ResNet152网络模型训练得到车型识别模型，提取倒数第二层卷积层的多维图像特性向量，并转换为一维图像特征向量输入至全连接层。从而在全连接层中利用回归逻辑算法得到对应的车型预测概率和预测车型信息。本发明实施例可获取到更多车辆的图像特征信息，同时有助于减小计算量，提高了分类效率和精度。
在一个具体的实施例中，获取Darknet53网络模型对每一车辆样本图像进行车牌识别，输出的预测车牌信息，包括：
步骤S10：提取Darknet53网络模型的倒数第二层卷积层输出的车辆样本图像中车牌的深度学习特征，得到预测车牌类型、预测车牌类型对应的置信度和车牌中各字符对应的字符候选区域。
Darknet53网络模型的倒数第二层卷积层保存了较好的图像中的视觉特征，因此，可提取倒数第二层卷积层输出的车辆样本图像中车牌的深度学习特征。本发明实施例可提取更多车牌的特征，防止图像信息丢失，从而可根据深度学习特征对车辆样本图像中的车牌进行识别，预测出车牌类型和对应的置信度，并在车辆样本图像中对车牌进行例如图像分割，得到各字符对应的字符候选区域。
步骤S20：根据双线性采样算法将各字符候选区域统一映射为高度一致宽度变长的特征序列。
在卷积层提取到特征后各字符候选区会出现大小高度不一致的情况，因此为了能够得到高度一致宽度边长的特征序列，以便于输入至步骤S30中的循环神经网络层，较优地可采用双线性采样算法。双线性采样算法可进行线性插值以按照预设高度变换各字符候选区使得高度一致，并成为宽度边长的一特征序列，其算法简单且效率较高。
步骤S30：将特征序列输入至循环神经网络层，并将循环神经网络层输出的概率矩阵通过连接时序时间分类层进行识别，得到车辆样本图像中车牌的预测车牌号序列、预测车牌号序列的长度，以及预测车牌号序列的预测概率。
循环神经网络输出长度与输入长度一致，假设根据特征序列识别到车辆样本图像中车牌有T个字符，就输出T个概率向量，每个概率向量包括所有字符中每个字符的概率，例如所有字符数量为N，则输出维度为T×N的概率矩阵。根据这个概率矩阵，采用连接时序时间分类层以归纳字符间的连接特性，从而得到预测车牌号序列、预测车牌号序列的长度以及对应的预测概率。
本发明实施例中循环神经网络层后接连接时序时间分类层，从而可根据车牌的特征序列对应的概率矩阵，通过连接时序时间分类层输出最可能的结果。本发明实施例有助于提高训练车牌识别模型的效率，可有效解决输入(即步骤S20的特征序列)与目标结果(即在车辆样本图像中标记的车牌号序列)对齐未知的问题，省却了额外对车辆样本图像中车牌号序列进行例如预分段处理或设置标签序列的操作。
步骤S40：通过非极大值抑制和边框回归对车辆样本图像中的车牌进行车牌边框检测得到包含预测车牌号序列的车牌边框的位置和大小。
本发明实施例利用非极大值抑制和边框回归算法进行车牌边框检测，从而能够有效定位到包含预测车牌号序列的车牌边框的大小，以及所在车辆图像中的位置。本发明实施例可使得预测车牌号序列精准显示于车辆图像的车牌所在位置，便于直观地将预测车牌号序列与真实车牌号序列对比，以提高车牌检测的精度和智能化程度，进一步减少误判情况的发生。
本发明实施例利用Darknet53网络模型训练得到车牌识别模型，可减少耗时，同时可提取出更多车牌特征细节，提高了车牌识别精度。
在一个具体的实施例中，车辆识别复合模型的损失函数如下：
loss＝lossclassification+lossrecongition+lossctc；其中：
Figure BDA0002461533000000181
)其中，loss表示车辆识别复合模型的损失函数的损失函数值；N为车辆样本图像的数量；lossclassification表示ResNet152网络模型的损失函数；lossrecongition表示Darknet53网络模型进行车牌边框检测的损失函数；lossctc表示Darknet53网络模型进行车牌号序列识别的损失函数；其中，如果检测边框中存在预测车牌号序列，则λobj＝1，如果不存在，则λobj＝0；
Figure BDA0002461533000000182
表示第i张车辆样本图像中真实车牌边框的位置和大小，x、y、w、h分别表示车牌边框的中点横坐标、中点纵坐标、宽度、高度；ri表示属于(x，y，w，h)数据集合中的参数；
Figure BDA0002461533000000183
表示第i张车辆样本图像中真实车牌边框的宽度；
Figure BDA0002461533000000184
表示第i张车辆样本图像中真实车牌边框的高度；
Figure BDA0002461533000000185
表示第i张车辆样本图像中预测车牌边框的位置和大小；M表示车辆样本图像中车牌类型的数量；m表示预测车牌类型；
Figure BDA0002461533000000186
第i张车辆样本图像中真实的车牌类型；
Figure BDA0002461533000000187
表示第i张车辆样本图像中预测车牌类型的车牌边框应当所在的位置；
Figure BDA0002461533000000188
表示真实车牌类型的置信度；
Figure BDA0002461533000000189
表示第i张车辆样本图像中与真实车牌类型相同的预测车牌类型对应的置信度。
其中，Darknet53网络模型的损失函数包括进行车牌边框检测的损失函数和进行车牌号序列识别的损失函数。
Figure BDA00024615330000001810
Figure BDA0002461533000000191
的意思是如果第i张车辆样本图像的预测车牌类型与真实的车牌类型相同，那么算式的前部分等于1，否则等于0，然后减去该第i张车辆样本图像中预测车牌类型的车牌边框应当所在的位置，以实现对所有预测车牌类型的平方损失的计算。车牌边框的位置用车牌的中点坐标值表示。
本发明实施例根据车牌识别过程中得到的如预测车牌边框的位置和大小、预测车牌类型、预测车牌类型的置信度等参数，以及对应的真实数据建立Darknet53网络模型进行车牌边框检测的损失函数，从而组成车辆识别复合模型的损失函数，其计算过程较为完善，进而可根据充分的判断条件训练出满足期望效果且精度高的车牌识别模型。
本发明实施例结合ResNet152网络模型的损失函数、Darknet53网络模型进行车牌边框检测的损失函数，以及Darknet53网络模型进行车牌号序列识别的损失函数得到一完善的总的车辆识别复合模型的损失函数，从而基于各训练参数、真实参数和充分的判断条件训练出判断精度较高的车辆识别复合模型。
在一个具体的实施例中，ResNet152网络模型的损失函数如下：
Figure BDA0002461533000000192
其中，K为车辆样本图像中车型的总数；yi，k表示第i张车辆样本图像中车辆的真实车型k的对应数值；Pi，k表示第i张车辆样本图像中车辆的预测车型k对应的车型预测概率。
本发明实施例根据车型识别模型过程中得到的如预测车型和对应的车型预测概率等参数，建立ResNet152网络模型的损失函数，从而组成车辆识别复合模型的损失函数，其计算过程较为完善，进而可根据充分的判断条件训练出满足期望效果且精度高的车型识别模型。
Darknet53网络模型进行车牌号序列识别的损失函数如下：
Figure BDA0002461533000000201
其中，xi表示第i张车辆样本图像中车辆的预测车牌号序列；zi表示第i张车辆样本图像中车辆的真实车牌号序列；si为对预测车牌号序列和真实车牌号序列的长度的约束值；|zi|表示第i张车辆样本图像中车辆的真实车牌号序列的长度；α(ti，u)表示按照时步ti对第i张车辆样本图像的预测车牌号序列中的对应字符u进行前向序列识别的预测概率；β(ti，u)表示按照时步ti对第i张车辆样本图像的预测车牌号序列中的对应字符u进行后向序列识别的预测概率。
其中，预测车牌号序列的预测概率包括按照时步t对预测车牌号序列中的对应字符u进行前向序列识别的预测概率，以及按照时步t对预测车牌号序列中的对应字符u进行后向序列识别的预测概率。
本发明实施例根据车牌识别模型过程中得到的如预测车牌号序列、预测车牌号序列的长度、车牌号序列对应的预测概率等参数，以及真实车牌号序列参数，建立Darknet53网络模型进行车牌号序列识别的损失函数，从而组成车辆识别复合模型的损失函数，其计算过程较为完善，进而可根据充分的判断条件训练出满足期望效果且精度高的车牌识别模型。
本发明实施例基于上述对应的损失函数，能够根据充分的判断条件训练出识别精度较高的车型识别模型和车牌识别模型。
参见图3，在一个实施例中，本发明还提供了一种弯道安全预警监控装置，包括：
识别模块310，用于将获取到的即将进入弯道的待测车辆的图像输入至预先训练好的车辆识别复合模型中进行车型识别和车牌识别，得到待测车辆的车型信息和车牌信息；车辆识别复合模型包括基于ResNet152网络模型训练得到的车型识别模型、和基于Darknet53网络模型训练得到的车牌识别模型。
获取模块320，用于根据车型信息获取待测车辆的刹车距离以及重量。
预警监测模块330，用于将刹车距离和重量，以及获取到的弯道的路面信息、气象信息、待测车辆的当前车速、待测车辆当前与弯道的会车口的距离以及对向车辆数，输入至预先训练好的预警监测模型中，并根据对应的权重系数进行计算，得到待测车辆进入弯道的安全预警级别；并根据安全预警级别获取对应的弯道预警信息。
发送模块340，用于根据车牌信息获取待测车辆对应的车辆用户信息，并根据车辆用户信息将对应的弯道预警信息发送给相应车主用户的终端设备。
关于弯道安全预警监控装置的具体限定可以参见上文中对于弯道安全预警监控方法的限定，在此不再赘述。上述弯道安全预警监控装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
参见图4，在一个实施例中，本发明还提供了一种弯道安全预警监控系统，包括：设置在运营方的后台计算机410、分别连接后台计算机410的云平台420、设置在路面上的测速仪430、摄像头440、微型气象站450、以及路面结冰传感器460。
测速仪430，用于检测即将进入弯道的待测车辆的当前速度。
摄像头440，用于采集待测车辆的图像。
微型气象站450，用于监测气象信息。
路面结冰传感器460，用于检测弯道的路面信息。
云平台420，用于存储计算机程序，云平台执行计算机程序时实现弯道安全预警监控的方法的步骤。
计算机410，用于将待测车辆的当前速度、待测车辆的图像、气象信息以及弯道的路面信息传输给云平台420，并接收云平台420发送的待测车辆进入弯道对应的弯道预警信息。
需要说明的是，本发明实施例关于弯道安全预警监控方法的具体限定可参照上文中对弯道安全预警监控方法的限定，在此不再赘述。
本发明实施例的弯道安全预警监控系统，硬件布局简单易实现，通过合理的布局可实现监测，有助于降低了系统的硬件成本。本发明实施例能够结合更多有效数据对即将进入弯道的待测车辆进行监控，以识别计算具体车型所在弯道的安全预警级别，使得车主用户可以有效地掌握所在的弯道情况，可防止因监测参数不够完善造成预警误判等情况，其智能程度较高。
作为一优选的实施例，本发明实施例的弯道安全预警监测系统，还包括设置于路面上的且连接后台计算机410的显示器470，用于显示后台计算机410发送的进入弯道的待车辆对应的弯道预警信息，如包括车牌号序列、当前距离弯道的会车口的距离、距离会车口的最佳减速位置等，以防止车主用户的终端设备不能及时获取到弯道预警信息。进一步地，显示器470还可用于显示后台计算机410发送的路面信息、气象信息以及车辆数等，以为驾驶员提供行驶参考，及时掌握当前路面交通情况。
在一个实施例中，本发明还提供了一种计算机存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现弯道安全预警监控的方法的步骤。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (10)

1.一种弯道安全预警监控方法，其特征在于，包括：
将获取到的即将进入弯道的待测车辆的图像输入至预先训练好的车辆识别复合模型中进行车型识别和车牌识别，得到所述待测车辆的车型信息和车牌信息；所述车辆识别复合模型包括基于ResNet152网络模型训练得到的车型识别模型、和基于Darknet53网络模型训练得到的车牌识别模型；
根据所述车型信息获取所述待测车辆的刹车距离以及重量；
将所述刹车距离和所述重量，以及获取到的所述弯道的路面信息、气象信息、所述待测车辆的当前车速、所述待测车辆当前与所述弯道的会车口的距离以及对向车辆数，输入至预先训练好的预警监测模型中，并根据对应的权重系数进行计算，得到所述待测车辆进入所述弯道的安全预警级别；并根据所述安全预警级别获取对应的弯道预警信息；
根据所述车牌信息获取所述待测车辆对应的车辆用户信息，并根据所述车辆用户信息将所述对应的弯道预警信息发送给相应车主用户的终端设备。
2.根据权利要求1所述的弯道安全预警监控方法，其特征在于，所述预警监测模型的数学表达式如下：
Monitor_leveri＝α1disi+α2Braking_distancei k+α3opposite_vehicles；
Monitor_leveri表示所述待测车辆i的安全预警级别；α1、α2、α3代表第一权重系数；disi表示所述待测车辆i当前距离所述弯道的会车口的距离；Braking_distancei k表示所述待测车辆i所属车型k的刹车距离；opposite_vehicles表示所述对向车辆数；
其中，
Figure FDA0002461532990000011
β1、β2、β3、β4表示第二权重系数；Gk表示所述待测车辆i所属车型k的重量；μk表示所述待测车辆i所属车型k的摩擦系数；V表示所述当前车速；Freeze表示弯道路面的结冰程度；Weather表示所述气象信息。
3.根据权利要求1所述的弯道安全预警监控方法，其特征在于，所述训练好的车辆识别复合模型的训练过程包括：
将获取到预设数量的车辆样本图像输入至预设的所述ResNet152网络模型和预设的所述Darknet53网络模型中；
获取所述ResNet152网络模型对每一所述车辆样本图像进行车型识别，输出的预测车型信息和对应的车型预测概率；
获取所述Darknet53网络模型对每一所述车辆样本图像进行车牌识别，输出的预测车牌信息；所述预测车牌信息包括预测车牌类型、所述预测车牌类型对应的置信度、预测车牌号序列、预测车牌号序列的长度、预测车牌边框的位置和大小、以及所述预测车牌号序列的预测概率；
根据各所述车辆样本图像对应的真实车型信息、真实车牌信息、所述预测车型信息、所述对应的车型预测概率、以及所述预测车牌信息，基于预设的车辆识别复合模型的损失函数计算损失函数值，并根据损失函数值分别调节所述ResNet152网络模型和所述Darknet53网络模型的网络参数，直至调整后的ResNet152网络模型输出的所述预测车型信息和对应的车型预测概率，以及调整后的Darknet53网络模型输出的所述预测车牌信息，使得所述损失函数值达到预设值，则将最终调节后的ResNet152网络模型作为所述车型识别模型，和将最终调节后的Darknet53网络模型作为所述车牌识别模型；并将所述车型识别模型和所述车牌识别模型组成所述车辆识别复合模型。
4.根据权利要求3所述的弯道安全预警监控方法，其特征在于，获取所述ResNet152网络模型对每一所述车辆样本图像进行车型识别，输出的预测车型信息和对应的车型预测概率，包括：
提取所述ResNet152网络模型的倒数第二层卷积层输出的所述车辆样本图像中车辆的多维图像特征向量；
将所述多维图像特征向量转换成一维图像特征向量，并将所述一维图像特征向量输入至所述ResNet152网络模型的全连接层；
获取所述全连接层根据逻辑回归算法判断所述车辆样本图像中车辆分别属于所有车型的概率后，输出的所述预测车型信息和对应的车型预测概率。
5.根据权利要求3所述的弯道安全预警监控方法，其特征在于，获取所述Darknet53网络模型对每一所述车辆样本图像进行车牌识别后，输出的预测车牌信息，包括：
提取所述Darknet53网络模型的倒数第二层卷积层输出的所述车辆样本图像中车牌的深度学习特征，得到所述预测车牌类型、所述预测车牌类型对应的置信度和车牌中各字符对应的字符候选区域；
根据双线性采样算法将各所述字符候选区域统一映射为高度一致宽度变长的特征序列；
将所述特征序列输入至循环神经网络层，并将所述循环神经网络层输出的概率矩阵通过连接时序时间分类层进行识别，得到所述车辆样本图像中车牌的所述预测车牌号序列、所述预测车牌号序列的长度、以及所述预测车牌号序列的预测概率；
通过非极大值抑制和边框回归对所述车辆样本图像中的车牌进行车牌边框检测，得到包含所述预测车牌号序列的所述预测车牌边框的位置和大小。
6.根据权利要求3所述的弯道安全预警监控方法，其特征在于，所述车辆识别复合模型的损失函数如下：
loss＝lossclassification+lossrecongition+lossctc；其中：
Figure FDA0002461532990000031
Figure FDA0002461532990000041
其中，loss表示车辆识别复合模型的损失函数的损失函数值；N为车辆样本图像的数量；lossclassification表示所述ResNet152网络模型的损失函数；lossrecongition表示所述Darknet53网络模型进行所述车牌边框检测的损失函数；lossctc表示所述Darknet53网络模型进行车牌号序列识别的损失函数；其中，如果检测边框中存在所述预测车牌号序列，则λobj＝1，如果不存在，则λobj＝0；
Figure FDA0002461532990000042
表示第i张车辆样本图像中真实车牌边框的位置和大小，x、y、w、h分别表示车牌边框的中点横坐标、中点纵坐标、宽度、高度；ri表示属于(x，y，w，h)数据集合中的参数；
Figure FDA0002461532990000043
表示第i张车辆样本图像中真实车牌边框的宽度；
Figure FDA0002461532990000044
表示第i张车辆样本图像中真实车牌边框的高度；
Figure FDA0002461532990000045
表示第i张车辆样本图像中所述预测车牌边框的位置和大小；M表示车辆样本图像中车牌类型的数量；m表示所述预测车牌类型；
Figure FDA0002461532990000046
第i张车辆样本图像中真实的车牌类型；
Figure FDA0002461532990000047
表示第i张车辆样本图像中预测车牌类型的车牌边框应当所在的位置；
Figure FDA0002461532990000048
表示真实车牌类型的置信度；
Figure FDA0002461532990000049
表示第i张车辆样本图像中与真实车牌类型相同的所述预测车牌类型对应的置信度。
7.根据权利要求6所述的弯道安全预警监控方法，其特征在于，所述ResNet152网络模型的损失函数如下：
Figure FDA00024615329900000410
其中，K为车辆样本图像中车型的总数；yi，k表示第i张车辆样本图像中车辆的真实车型k的对应数值；Pi，k表示第i张车辆样本图像中车辆的预测车型k对应的车型预测概率；
所述Darknet53网络模型进行车牌号序列识别的损失函数如下：
Figure FDA0002461532990000051
其中，xi表示第i张车辆样本图像中车辆的所述预测车牌号序列；zi表示第i张车辆样本图像中车辆的真实车牌号序列；si为对所述预测车牌号序列和所述真实车牌号序列的长度的约束值；|zi|表示第i张车辆样本图像中车辆的所述真实车牌号序列的长度；α(ti，u)表示按照时步ti对第i张车辆样本图像的所述预测车牌号序列中的对应字符u进行前向序列识别的预测概率；β(ti，u)表示按照时步ti对第i张车辆样本图像的所述预测车牌号序列中的对应字符u进行后向序列识别的预测概率。
8.一种弯道安全预警监控装置，其特征在于，包括：
识别模块，用于将获取到的即将进入弯道的待测车辆的图像输入至预先训练好的车辆识别复合模型中进行车型识别和车牌识别，得到所述待测车辆的车型信息和车牌信息；所述车辆识别复合模型包括基于ResNet152网络模型训练得到的车型识别模型、和基于Darknet53网络模型训练得到的车牌识别模型；
获取模块，用于根据所述车型信息获取所述待测车辆的刹车距离以及重量；
预警监测模块，用于将所述刹车距离和所述重量，以及获取到的所述弯道的路面信息、气象信息、所述待测车辆的当前车速、所述待测车辆当前与所述弯道的会车口的距离以及对向车辆数，输入至预先训练好的预警监测模型中，并根据对应的权重系数进行计算，得到所述待测车辆进入所述弯道的安全预警级别；并根据所述安全预警级别获取对应的弯道预警信息；
发送模块，用于根据所述车牌信息获取所述待测车辆对应的车辆用户信息，并根据所述车辆用户信息将所述对应的弯道预警信息发送给相应车主用户的终端设备。
9.一种弯道安全预警监控系统，其特征在于，包括：设置在运营方的后台计算机、分别连接所述后台计算机的云平台、设置在路面上的测速仪、摄像头、微型气象站、以及路面结冰传感器；
所述测速仪，用于检测即将进入弯道的待测车辆的当前速度；
所述摄像头，用于采集所述待测车辆的图像；
所述微型气象站，用于监测气象信息；
所述路面结冰传感器，用于检测弯道的路面信息；
所述云平台，用于存储计算机程序，所述云平台执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤；
所述后台计算机，用于将所述待测车辆的当前速度、所述待测车辆的图像、所述气象信息以及所述弯道的路面信息传输给所述云平台，并接收所述云平台发送的所述待测车辆进入所述弯道对应的弯道预警信息。
10.一种计算机存储介质，其特征在于，其上存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202010321342.9A 2020-04-22 2020-04-22 弯道安全预警监控方法、装置以及系统 Active CN111415533B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010321342.9A CN111415533B (zh) 2020-04-22 2020-04-22 弯道安全预警监控方法、装置以及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010321342.9A CN111415533B (zh) 2020-04-22 2020-04-22 弯道安全预警监控方法、装置以及系统

Publications (2)

Publication Number Publication Date
CN111415533A true CN111415533A (zh) 2020-07-14
CN111415533B CN111415533B (zh) 2021-09-21

Family

ID=71492075

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010321342.9A Active CN111415533B (zh) 2020-04-22 2020-04-22 弯道安全预警监控方法、装置以及系统

Country Status (1)

Country Link
CN (1) CN111415533B (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112133104A (zh) * 2020-08-21 2020-12-25 浙江大华技术股份有限公司 一种车辆信息检测方法、装置、系统及存储介质
CN112906742A (zh) * 2021-01-19 2021-06-04 重庆邮电大学 基于5g+v2x移动终端及高精度地图的二轮车识别系统与方法
CN113163161A (zh) * 2021-03-09 2021-07-23 浙江科技学院 一种人工智能监控装置及其监控系统
CN113361430A (zh) * 2021-06-15 2021-09-07 合肥维天运通信息科技股份有限公司 一种车辆状态信息采集监控方法及系统
CN113554872A (zh) * 2021-07-19 2021-10-26 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN113658444A (zh) * 2021-08-09 2021-11-16 陕西高速机械化工程有限公司 一种基于太阳能的公路弯道预警系统
CN114220273A (zh) * 2021-12-23 2022-03-22 东方世纪科技股份有限公司 一种道路安全提示报警方法和系统
CN114413832A (zh) * 2021-12-02 2022-04-29 中国通信建设第三工程局有限公司 一种基于光纤传感的道路监测系统及方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2492568A (en) * 2011-07-05 2013-01-09 Gregory Christopher Lawton Vehicle warning system
CN103413460A (zh) * 2013-07-17 2013-11-27 北京航空航天大学 一种基于车路协同的弯道行车预警方法
CN106932806A (zh) * 2017-03-22 2017-07-07 南京航空航天大学 一种基于北斗卫星的山区弯道车辆防撞报警方法及系统
CN108492575A (zh) * 2018-04-11 2018-09-04 济南浪潮高新科技投资发展有限公司 一种智能车辆型号识别方法
CN108921151A (zh) * 2018-05-31 2018-11-30 四川物联亿达科技有限公司 一种基于深度学习的普通摄像头全车牌识别系统
CN109272775A (zh) * 2018-10-22 2019-01-25 华南理工大学 一种高速公路弯道安全监测预警方法、系统及介质
CN109886147A (zh) * 2019-01-29 2019-06-14 电子科技大学 一种基于单网络多任务学习的车辆多属性检测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2492568A (en) * 2011-07-05 2013-01-09 Gregory Christopher Lawton Vehicle warning system
CN103413460A (zh) * 2013-07-17 2013-11-27 北京航空航天大学 一种基于车路协同的弯道行车预警方法
CN106932806A (zh) * 2017-03-22 2017-07-07 南京航空航天大学 一种基于北斗卫星的山区弯道车辆防撞报警方法及系统
CN108492575A (zh) * 2018-04-11 2018-09-04 济南浪潮高新科技投资发展有限公司 一种智能车辆型号识别方法
CN108921151A (zh) * 2018-05-31 2018-11-30 四川物联亿达科技有限公司 一种基于深度学习的普通摄像头全车牌识别系统
CN109272775A (zh) * 2018-10-22 2019-01-25 华南理工大学 一种高速公路弯道安全监测预警方法、系统及介质
CN109886147A (zh) * 2019-01-29 2019-06-14 电子科技大学 一种基于单网络多任务学习的车辆多属性检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
付城祥，仇润鹤: "一种基于YOLOv3算法的车牌识别系统", 《科技与创新》 *
梁栋，何佳，石陆魁，王松，刘佳: "结合运动目标检测和ResNet的车速车型智能识别", 《北京交通大学学报》 *
郑丽，杨红平: "新型山区弯道会车预警系统的设计研究", 《自动化与仪器仪表》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112133104A (zh) * 2020-08-21 2020-12-25 浙江大华技术股份有限公司 一种车辆信息检测方法、装置、系统及存储介质
CN112906742A (zh) * 2021-01-19 2021-06-04 重庆邮电大学 基于5g+v2x移动终端及高精度地图的二轮车识别系统与方法
CN113163161A (zh) * 2021-03-09 2021-07-23 浙江科技学院 一种人工智能监控装置及其监控系统
CN113163161B (zh) * 2021-03-09 2022-07-26 浙江科技学院 一种人工智能监控装置及其监控系统
CN113361430A (zh) * 2021-06-15 2021-09-07 合肥维天运通信息科技股份有限公司 一种车辆状态信息采集监控方法及系统
US20230267779A1 (en) * 2021-06-15 2023-08-24 Hefei Weitianyuntong Information Technology Co., Ltd Method and system for collecting and monitoring vehicle status information
US11954955B2 (en) * 2021-06-15 2024-04-09 Hefei Weitianyuntong Information Technology Co., Ltd Method and system for collecting and monitoring vehicle status information
CN113554872A (zh) * 2021-07-19 2021-10-26 昭通亮风台信息科技有限公司 一种位于交通路口及弯道的检测预警方法及系统
CN113658444A (zh) * 2021-08-09 2021-11-16 陕西高速机械化工程有限公司 一种基于太阳能的公路弯道预警系统
CN114413832A (zh) * 2021-12-02 2022-04-29 中国通信建设第三工程局有限公司 一种基于光纤传感的道路监测系统及方法
CN114413832B (zh) * 2021-12-02 2023-12-15 中国通信建设第三工程局有限公司 一种基于光纤传感的道路监测系统及方法
CN114220273A (zh) * 2021-12-23 2022-03-22 东方世纪科技股份有限公司 一种道路安全提示报警方法和系统

Also Published As

Publication number Publication date
CN111415533B (zh) 2021-09-21

Similar Documents

Publication Publication Date Title
CN111415533B (zh) 弯道安全预警监控方法、装置以及系统
CN110147763B (zh) 基于卷积神经网络的视频语义分割方法
CN112700470B (zh) 一种基于交通视频流的目标检测和轨迹提取方法
US10814815B1 (en) System for determining occurrence of an automobile accident and characterizing the accident
EP4152204A1 (en) Lane line detection method, and related apparatus
CN108319909B (zh) 一种驾驶行为分析方法及系统
CN109272745B (zh) 一种基于深度神经网络的车辆轨迹预测方法
CN111325978B (zh) 一种高速公路车辆异常行为的全程监测警示系统和方法
CN107730903A (zh) 基于深度卷积神经网络的违章停车和抛锚车视觉检测系统
CN105513354A (zh) 基于视频的城市道路交通拥堵检测系统
CN109118787B (zh) 一种基于深度神经网络的车辆速度预测方法
CN109034111A (zh) 一种基于深度学习的驾驶员手离方向盘检测方法及系统
CN108760740A (zh) 一种基于机器视觉的路面抗滑性能快速检测方法
CN107985189A (zh) 面向高速驾驶环境下的驾驶员变道深度预警方法
CN114926984B (zh) 一种实时交通冲突收集与道路安全评价方法
CN118334604B (zh) 基于多模态大模型的事故检测、数据集构建方法及设备
CN114048536A (zh) 一种基于多任务神经网络的道路结构预测与目标检测方法
CN108198428A (zh) 货车拦截系统及拦截方法
CN117037081A (zh) 基于机器学习的交通监控方法、装置、设备及介质
Das et al. Why slammed the brakes on? auto-annotating driving behaviors from adaptive causal modeling
CN115187959B (zh) 一种基于双目视觉的飞行汽车山地着陆方法及系统
CN116434056A (zh) 一种基于雷视融合的目标识别方法、系统及电子设备
Pan et al. Identifying Vehicles Dynamically on Freeway CCTV Images through the YOLO Deep Learning Model.
CN115440041A (zh) 一种路侧视角下的重点车辆驾驶行为预测方法
CN115129886A (zh) 驾驶场景的识别方法、装置及车辆

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant