CN112132025B - 应急车道图像处理方法、装置、计算机设备及存储介质 - Google Patents

应急车道图像处理方法、装置、计算机设备及存储介质 Download PDF

Info

Publication number
CN112132025B
CN112132025B CN202011006319.7A CN202011006319A CN112132025B CN 112132025 B CN112132025 B CN 112132025B CN 202011006319 A CN202011006319 A CN 202011006319A CN 112132025 B CN112132025 B CN 112132025B
Authority
CN
China
Prior art keywords
model
emergency lane
component
feature
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011006319.7A
Other languages
English (en)
Other versions
CN112132025A (zh
Inventor
吴晓东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An International Smart City Technology Co Ltd
Original Assignee
Ping An International Smart City Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An International Smart City Technology Co Ltd filed Critical Ping An International Smart City Technology Co Ltd
Priority to CN202011006319.7A priority Critical patent/CN112132025B/zh
Publication of CN112132025A publication Critical patent/CN112132025A/zh
Application granted granted Critical
Publication of CN112132025B publication Critical patent/CN112132025B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及人工智能技术领域，尤其涉及一种应急车道图像处理方法、装置、设备及存储介质。该应急车道图像处理方法包括将获取的多个应急车道图像进行尺寸归一化处理，获取固定尺寸的训练图像；将训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图；采用多个先验框对每一尺度的待检测特征图进行预测，获取待检测特征图对应的预测结果；计算预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，将每一分量的模型损失之和作为模型输出损失；基于模型输出损失更新模型参数，获取目标应急车道检测模型。该应急车道图像处理方法可有效提高应急车道检测的整体准确率和召回率。

Description

应急车道图像处理方法、装置、计算机设备及存储介质
技术领域
本发明涉及人工智能技术领域，尤其涉及一种应急车道图像处理方法、装置、计算机设备及存储介质。
背景技术
应急车道是工程救险、医疗救护、民警执行紧急公务等处理应急事务的车辆使用的专用道。yolov3神经网络，由于其检测速度快，成为目前业内比较流行的应急车道检测算法之一。
而目前基于yolov3的应急车道检测算法在晴天、白天以及应急车道线清晰等简单场景下可实现实时检测以及保证较高准确率的效果，但在雾霾、雨天、夜间以及应急车道线模糊等困难场景下，准确率和召回率较低。
发明内容
本发明实施例提供一种应急车道图像处理方法、装置、计算机设备及存储介质，以解决目前应急车道检测的准确率和召回率较低的问题。
一种应急车道图像处理方法，包括：
将获取的多个应急车道图像进行尺寸归一化处理，获取固定尺寸的训练图像；
将所述训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图；
采用多个先验框对每一尺度的待检测特征图进行预测，获取每一尺度的所述待检测特征图对应的预测结果；其中，所述预测结果包括模型预测框的坐标分量、应急车道识别类别分量以及IOU分量；
计算所述预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，将所述每一分量的模型损失之和作为模型输出损失；其中，所述模型输出损失包括所述模型预测框的坐标分量的模型损失、所述应急车道识别类别分量的模型损失以及所述IOU分量的模型损失；
基于所述模型输出损失更新所述改进yolov3网络中的模型参数，获取目标应急车道检测模型。
一种应急车道图像处理装置，包括：
训练图像获取模块，用于将获取的多个所述应急车道图像进行尺寸归一化处理，获取固定尺寸的训练图像；
模型训练模块，用于将所述训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图；
预测模块，用于采用多个先验框对每一尺度的待检测特征图进行预测，获取每一尺度的所述待检测特征图对应的预测结果；其中，所述预测结果包括模型预测框的坐标分量、应急车道识别类别分量以及IOU分量；
模型损失计算模块，用于计算所述预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，将所述每一分量的模型损失之和作为模型输出损失；其中，所述模型输出损失包括所述模型预测框的坐标分量的模型损失、所述应急车道识别类别分量的模型损失以及所述IOU分量的模型损失；
模型更新模块，用于基于所述模型输出损失更新所述改进yolov3网络中的模型参数，获取目标应急车道检测模型。
一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述应急车道图像处理方法的步骤。
一种计算机存储介质，所述计算机存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述应急车道图像处理方法的步骤。
上述应急车道图像处理方法、装置、计算机设备及存储介质中，将获取的多个应急车道图像进行尺寸归一化处理，获取固定尺寸的训练图像，以便后续进行特征提取。将将训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图，以扩展特征图尺度，显著增加应急车道的多尺度召回，从而提高了应急车道检测的整体召回率。采用多个先验框对每一尺度的待检测特征图进行预测，获取每一尺度的待检测特征图对应的预测结果，以便计算预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，并将每一分量的模型损失之和作为模型输出损失，通过在改进传统的yolov3网络中的损失，即在原有的类别损失、坐标损失的基础上新增IOU分量的模型损失，即在计算损失时可同时考虑边界框的重叠面积和中心点之间的距离、边界框宽高比的尺度信息，可有效提高应急车道检测框回归的精准度，从而进一步提高了应急车道检测的整体准确率和召回率，此外还可加快模型训练的收敛速度，使应急车道检测模型更具鲁棒性。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一实施例中应急车道图像处理方法的一应用环境示意图；
图2是本发明一实施例中应急车道图像处理方法的一流程图；
图3是本发明一实施例中改进yolov3网络的网络结构图；
图4是图2中步骤S203的一具体流程图；
图5是图2中步骤S204的一具体流程图；
图6是本发明一实施例中IOU分量的模型损失计算公式的一图形解释示意图；
图7是本发明一实施例中应急车道图像处理方法的一流程图；
图8是本发明一实施例中应急车道图像处理方法的一流程图；
图9是本发明一实施例中应急车道图像处理方法的一流程图；
图10是本发明一实施例中应急车道图像处理装置的一示意图；
图11是本发明一实施例中计算机设备的一示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
该应急车道图像处理方法可应用在如图1的应用环境中，其中，计算机设备通过网络与服务器进行通信。计算机设备可以但不限于各种个人计算机、笔记本电脑、智能手机、平板电脑和便携式可穿戴设备。服务器可以用独立的服务器来实现。
在一实施例中，如图2所示，提供一种应急车道图像处理方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：
S201：将获取的多个应急车道图像进行尺寸归一化处理，获取固定尺寸的训练图像。
其中，多个应急车道图像可谓不同外界环境下的应急车道图像。该不同外界环境下的应急车道图像包括但不限于光照环境、日间环境、夜间环境、雨天环境、雾霾天气等环境下的图像；可以理解地，该应急车道图像也可采集不同环境下的应急车道线清晰或应急车道线模糊的图像，例如，日照环境下应急车道线清晰或应急车道线模糊的图像；夜间环境下应急车道线清晰或应急车道线模糊的图像；雨天环境下应急车道线清晰或应急车道线模糊的图像等等，此处不一一列举。
进一步地，该应急车道图像还可包含复合环境下的图像，例如夜间雨天环境、夜间雾霾环境、日间雨天环境、夜间雨天环境等等，此处不一一列举。通过采集不同外界环境下的应急车道图像，可使后续模型训练更具鲁棒性。
本实施例中，获取到的多个应急车道图像进行尺度归一化，即采用Resize函数将图像调整为预设尺寸，以便后续进行特征提取等操作(即图3中的)。由于yolov3的网络的输入限制，该预设尺寸为32的倍数。本实施例中预设尺寸设为608*608，此处不做限定。
S202：将训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图。
其中，改进yolov3网络包括SpineNet层、上采样模块、拼接模块、CBL集合块以及特征输出模块。示例性地，如图3(输出四个不同尺度的待检测特征)所示，yolov3网络包括SpineNet层、上采样模块、拼接模块、CBL集合块以及特征输出模块；特征输出模块包括依次连接的CBL层和卷积层；上采样模块用于对接受到的上层CBL集合块输出的特征进行处理，输出上采样特征；上采样模块包括依次连接的CBL层和upsample(上采样)层；拼接模块中用于对上采样模块和SpineNet层输出的特征进行拼接；特征输出模块用于对接收到的本层CBL集合块输出的特征进行提取；CBL集合块用于对接收到的SpineNet层或拼接模块输出的特征进行处理，并将得到的中间特征分别输入至本层的特征输出模块中以及下层中的上采样模块。需要说明的是，该特征输出模块输出的特征图即为待检测特征。特征输出模块用于对接收到的本层CBL集合块输出的特征进行处理，得到多个尺度的待检测特征(即图3中的y1、y2、y3以及y4)。
其中，CBL层即包括卷积(Conv)+批归一化(BN)+激活函数(Leaky_relu)，CBL集合块是指包括多个CBL层的处理块。
S203：采用多个先验框对每一尺度的待检测特征图进行预测，获取每一尺度的待检测特征图对应的预测结果；其中，预测结果包括模型预测框的坐标分量、应急车道识别类别分量以及IOU分量。
其中，该多个先验框是预先通过对应急车道图像对应的真实标注框，采用kmeans聚类算法进行聚类得到的。先验框是对预测的对象范围进行约束，并加入尺寸先验经验，从而可以有效解决对象多尺度的问题。
该预测结果可表示为(tx,ty,tw,th,c,iou)，其中，(tx,ty)表示模型预测框的中心坐标，(tw,ty)即为模型预测框的宽高坐标，c表示应急车道识别类别分量以及IOU分量。
需要说明是的，由于yolov3网络中所输出的多个不同尺度的特征，每一特征均需要分别预测三个不同的边框(即模型预测框)坐标、应急车道识别类别(即是否为应急车道)和IOU。IOU即表示模型预测框与真实标注框的交并比，该交并比为模型预测框与真实标注框的交集面积和并集面积的比值。由于本实施例中设定网络最终输出的特征尺度为四个，即19*19、38*38、76*76以及152*152。
可以理解地，由于本实施例中的yolov3网络可输出多个不同尺度的特征图，而不仅局限于三个不同尺度的特征图(可大于三个)，比传统的yolov3网络中输出三个不同尺度的特征图，扩展了特征图尺度，显著增加了应急车道的多尺度召回，从而提高了应急车道检测的整体召回率。
由于yolov3网络中不同的尺度的特征均需要预测3个预测框，因此本实施例中在对真实标注框采用k-means算法进行聚类时，即可确定k值为12。
具体地，每一尺度的特征分别从这12个先验框中对应选取三个anchorbox作为该尺度特征图的先验框进行预测，以实现对模型预测框(boundingbox)的微调使模型预测框与真实标注框重合。其中，每一尺度特征图在选取其所对应的先验框的选取方式为，在最小尺度(如19*19)的特征图上(最大的感受野)选取较大的三个先验框进行预测，以检测尺度较大的对象。中等尺度的(如38*38、76*76)的特征图上(中等感受野)选取中等的三个先验框(anchorbox)进行预测，以检测中等尺度的对象。较大尺度(如152*152)的特征图上(较小的感受野)选取较小的三个先验框进行预测，以检测尺度较小的对象。
可以理解地，在yolov3网络中，通过在网络中将三个先验框作为滑动窗口，以在三种不同尺度的特征图上进行预测，即可实现对其对应尺度的特征图进行应急车道的检测与识别，并输出包括三个模型预测框的坐标、该模型预测框对应的应急车道识别类别(即是否为应急车道)以及IOU的预测结果。
S204：计算预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，将每一分量的模型损失之和作为模型输出损失；其中，模型输出损失包括模型预测框的坐标分量的模型损失、应急车道识别类别分量的模型损失以及IOU分量的模型损失。
具体地，该模型输出损失即为LOSS＝∑lossxy+losswh+lossclass+lossCIOU，其中，模型预测框的坐标分量的模型损失包括中心点坐标损失和宽高坐标损，lossxy指模型预测框中心坐标损失，losswh指模型预测框的宽高坐标损失；lossclass表示应急车道识别类别分量的模型损失；lossCIOU表示IOU分量的模型损失。
S205：基于模型输出损失更新改进yolov3网络中的模型参数，获取目标应急车道检测模型。
具体地，通过yolov3网络中预置的模型更新算法对网络中的每一神经元的权值求偏导
Figure BDA0002696074340000061
即可优化yolov3网络中每一神经元的模型参数(例如权值)，当模型的预测准确率达到预设值，即可获取目标应急车道检测模型。
本实施例中，通过将获取的多个应急车道图像进行尺寸归一化处理，获取固定尺寸的训练图像，以便后续进行特征提取。将将训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图，以扩展特征图尺度，显著增加应急车道的多尺度召回，从而提高了应急车道检测的整体召回率。采用多个先验框对每一尺度的待检测特征图进行预测，获取每一尺度的待检测特征图对应的预测结果，以便计算预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，并将每一分量的模型损失之和作为模型输出损失，通过在改进传统的yolov3网络中的损失，即在原有的类别损失、坐标损失的基础上新增IOU分量的模型损失，即在计算损失时可同时考虑边界框的重叠面积和中心点之间的距离、边界框宽高比的尺度信息，可有效提高应急车道检测框回归的精准度，从而进一步提高了应急车道检测的整体准确率和召回率，此外还可加快模型训练的收敛速度，使应急车道检测模型更具鲁棒性。
在一实施例中，如图4所示，步骤202中，即将训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图，具体包括如下步骤：
S301：将训练图像输入至SpineNet层中进行特征提取，输出多个应急车道特征；多个应急车道特征包括浅层尺度的浅层特征和多个深层尺度的深层特征。
其中，该多个应急车道特征包括19*19、38*38、76*76以及152*152等尺度对应的应急车道特征；其中，浅层特征即指浅层尺度为(19*19)的特征。深层特征即指(38*38)、(76*76)以及(152*152)这三个深层尺度的特征。具体地，由于传统yolov3的backbone网络采用DarkNet53网络，而DarkNet53网络适用于进行图像分类问题，而本实施例中主要是解决物体检测的问题。故本实施例中采用SpineNet作为yolov3的backbone网络，该SpineNet可实现多尺度特征融合，从而保留更多的特征信息，提高模型的准确率。
S302：将浅层特征输入至特征输出模块进行特征提取，输出特征尺度为浅层尺度的待检测特征图。
具体地，该特征输出模块包括CBL层以及与该CBL层相连的卷积层(Conv)，通过将该浅层特征输入至特征输出模块中，依次经过CBL层和卷进层进行特征提取，即可输出该浅层特征对应的待检测特征图。
S303：将深层特征输入至拼接模块中，与拼接模块所接收到的上采样特征进行拼接，输出多个深层尺度的拼接特征；上采样特征与深层特征的特征尺度一致。
S304：将每一拼接特征输入至特征输出模块进行特征提取，输出多个深层尺度的待检测特征图。
具体地，将深层特征(如y2、y3、y4)输入至拼接模块中，并与上采样模块输出的对应尺度的上采样特征进行拼接，即可输出拼接特征，再将每一拼接特征输入至特征输出模块进行特征提取，即可输出该尺度对应的待检测特征图。可以理解地，通过将SpineNet层输出的对应尺度的特证图与上层特征图的上采样特征进行拼接，当前的特征图就可以获得“过去”层的信息，使浅层特征与深层特征有机融合起来，有利于提升检测精度。
示例性地，假设假设深层特征的特征尺度为y2＝38*38*C1(通道)，上采样层对接受到的浅层特征即19*19采用步长为2的卷积层进行处理，得到上采样层输出的上采样特征即38*38*C2，将两者输入至拼接模块进行concat处理，即可得到对应的拼接特征38*38(C1+C2)。
在一实施例中，坐标分量包括中心点坐标分量和宽高坐标分量；如图5所示，步骤S204中，即计算预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，将每一分量的模型损失之和作为模型输出损失，具体包括如下步骤：
S401：采用坐标损失计算公式计算模型预测框的坐标分量的模型损失；模型预测框的坐标分量的模型损失包括中心点坐标损失和宽高坐标损失。
其中，坐标损失计算公式包括：
lossxy＝-((ptrue_xlog ppredict_x+(1-ptrue_x)log(1-ppredict_x)+ptrue_ylogppredict_y+(1-ptrue_y)log(1-ppredict_y)和
Figure BDA0002696074340000081
其中，lossxy表示中心点坐标损失，losswh表示宽高坐标损失，(ptrue_x，ptrue_y)表示真实标注框的中心点坐标；(ppredict_x，ppredict_y)表示中心点坐标分量；(ppredict_w，ppredict_h)表示宽高坐标分量；(ptrue_w，ptrue_h)表示真实标注框的宽高坐标。
S402：采用类别损失计算公式计算应急车道识别类别分量的模型损失。
其中，类别损失计算公式包括
lossclass＝-((ptrue_classlog ppredict_class+(1-ptrue_class)log(1-ppredict_class)，其中，ptrue_class表示标注类别；ppredict_class表示模型预测类别；
S403：采用IOU分量的模型损失计算公式计算IOU分量的模型损失。
其中，IOU分量的模型损失计算公式包括
Figure BDA0002696074340000082
Figure BDA0002696074340000083
其中，
Figure BDA0002696074340000084
为惩罚项；α表示权重因子，框之间重叠的区域可控制该权重因子的大小；
Figure BDA0002696074340000085
表示宽高比一致性的参数；I表示模型预测框与真实标注框的交集面积，U表示模型预测框与真实标注框的并集面积；d2(boxtrue，boxpredict)表示模型预测框与真实标注框的中心点之间的距离的平方；(wtrue，htrue)表示真实标注框的宽高坐标，(wpredict，hpredict)表示宽高坐标分量，IOU表示IOU分量，c2表示同时包围模型预测框与真实标注框的最小外接矩阵的对角线长度的平方，(示例性地，如图6所示，图中包括模型预测框、真实标注框以及同时包围模型预测框与真实标注框的最小外接矩阵。)
在一实施例中，如图7所示，应急车道图像对应一真实标注框；步骤S202之前该应急车道图像处理方法还包括：采用kmeans聚类算法对多个真实标注框进行聚类，获取多个先验框；
具体地，采用kmeans聚类算法对多个真实标注框进行聚类，获取多个先验框，具体包括如下步骤：
S501：初始化k值，从多个真实标注框中随机选取K个真实标注框作为初始质心。
需要说明的是，由于本实施例中的yolov3网络输出四个不同尺度的特征图，而不同的尺度的特征均需要预测3个预测框，因此本实施例中的k值设定为12。
S502：计算每一真实标注框与初始质心间的IOU距离；IOU距离用于描述待聚类样本对应的真实标注框与初始质心对应的真实标注框的相似程度。
其中，
Figure BDA0002696074340000091
A表示两个真实标注框的交集面积，B表示两个真实标注框的的并集面积
S503：将IOU距离最近的真实标注框聚为一簇，获取K个聚类簇。
S504：更新每一聚类簇中的质心，重复执行计算每一真实标注框与初始质心间的IOU距离的步骤，直到更新后的聚类簇中的质心的与更新前的质心的IOU距离达到预设最小值。
具体地，可通过将该聚类簇中的所有样本点的宽高坐标取均值，即可重新确定一宽高坐标点，即为更新后的聚类簇的质心，并继续重复执行步骤S502-S504，直到更新后的聚类簇中的质心的与更新前的质心的IOU距离达到预设最小值，即可获取多个目标类簇。
S505：对每一目标类簇中的多个真实标注框进行整合处理，获取多个与目标类簇对应的先验框。
具体地，对每一目标类簇中的多个真实标注框进行整合处理，即对每一目标聚类簇中的多个真实标注框的宽高坐标取均值，即可得到该目标聚类簇对应的先验框。
在一实施例中，如图8所示，步骤S205之后，该应急车道图像处理方法还包括如下步骤：
S601：获取当前车辆摄像头所采集的前方车道的视频帧图像。
S602：调用应急车道模型检测待测图像进行检测，获取检测结果；检测结果用于指示前方车道是否为应急车道。
S603：若前方车道为应急车道，则输出警示信息。
其中，检测结果用于指示前方车道是否为应急车道。具体地，获取装配在车辆前方摄像所头采集的前方道路图像的视频帧图像。以便后续对多帧图像进行检测。通过调用调用应急车道模型检测待测图像进行检测，以判断前方车道是否为应急车道，保证车辆在误操作将要驶进应急车道时，提前发出警示信息，使驾驶员及时采取措施。
进一步地，在获取当前车辆摄像头所采集的前方车道的视频帧图像，可按照实时或按照预设时间间隔获取多帧视频帧图像，此处不做限定。
在一实施例中，可将网络输出的识别结果进行转换，以映射在待测图像中进行标注，可视化显示标注应急车道的待测图像。具体地，检测结果包括预测框坐标；在步骤S602之后，如图9所示，步骤S602之后，该应急车道图像处理方法还包括如下步骤：
S701：对预测框坐标进行转换，输出预测框的相对坐标。
具体地，可按照如下公式进行坐标转换，
Figure BDA0002696074340000101
其中，(Cx，Cy)表示当前网格单元相对于待测图像左上角的距离。Pw、Ph表示预设的先验框相对于待测图像的宽高，(tx,ty)表示预测框的中心相对于特征图左上角的偏移，即网络输出的预测框中心点坐标；(tw,th)表示网络输出的预测框的宽高相对于特征图的尺度，即网络输出的预测框宽高坐标；
S702：对相对坐标进行坐标映射，获取预测框在待测图像中的坐标。
其中，由于上述计算为预测框在特征图的相对位置，因此进一步结合特征图的尺寸计算该预测框在待测图像中的坐标；具体地，将参数bx、bwby、bh分别*S，即可获取预测框在待测图像中的坐标。其中，参数S会根据网络输出的特征图的尺度大小进行改变，例如S＝A/B，A表示原图尺度，B表示网络输出的特征图尺寸。
本实施例中，通过将传统yolov3神经网络的结构中的backbone替换为适用于物体检测的且可实现跨尺度融合的SpineNet网络，以提取到更多的图像特征表达，有效增强复杂场景下的特征表达能力，从而提高应急车道检测的整体准确率。此外，本实施例中将传统yolov3神经网络中采用三种特征尺度预测进行扩展，显著增加应急车道检测的多尺度召回，从而提高应急车道检测的整体召回率。同时，还对传统yolov3神经网络中的损失进行重构，即在计算损失时可同时考虑边界框的重叠面积和中心点之间的距离、边界框宽高比的尺度信息，可有效提高应急车道检测框回归的精准度，从而进一步提高应急车道检测的整体准确率和召回率，并可加快模型训练的收敛速度，使应急车道检测模型更具鲁棒性。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
在一实施例中，提供一种应急车道图像处理装置，该应急车道图像处理装置与上述实施例中应急车道图像处理方法一一对应。如图10所示，该应急车道图像处理装置包括训练图像获取模块10、模型训练模块20、预测模块30、模型损失计算模块40和模型更新模块50。各功能模块详细说明如下：
训练图像获取模块10，用于将获取的多个应急车道图像进行尺寸归一化处理，获取固定尺寸的训练图像。
模型训练模块20，用于将训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图。
预测模块30，用于采用多个先验框对每一尺度的待检测特征图进行预测，获取每一尺度的待检测特征图对应的预测结果；其中，预测结果包括模型预测框的坐标分量、应急车道识别类别分量以及IOU分量。
模型损失计算模块40，用于计算预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，将每一分量的模型损失之和作为模型输出损失；其中，模型输出损失包括模型预测框的坐标分量的模型损失、应急车道识别类别分量的模型损失以及IOU分量的模型损失。
模型更新模块50，用于基于模型输出损失更新改进yolov3网络中的模型参数，获取目标应急车道检测模型。
具体地，模型训练模块包括特征提取单元、待检测特征图输出单元、拼接单元以及特征输出单元。
特征提取单元，用于将训练图像输入至SpineNet层中进行特征提取，输出多个应急车道特征；多个应急车道特征包括浅层尺度的浅层特征和多个深层尺度的深层特征。
待检测特征图输出单元，用于将浅层特征输入至特征输出模块进行特征提取，输出特征尺度为浅层尺度的待检测特征图。
拼接单元，用于将深层特征输入至拼接模块中，与拼接模块所接收到的上采样特征进行拼接，输出多个深层尺度的拼接特征；上采样特征与深层特征的特征尺度一致。
特征输出单元，用于将每一拼接特征输入至特征输出模块进行特征提取，输出多个深层尺度的待检测特征图。
具体地，模型损失计算模块包括第一损失计算单元、第二损失计算单元以及第三损失计算单元。
第一损失计算单元，用于采用坐标损失计算公式计算模型预测框的坐标分量的模型损失；模型预测框的坐标分量的模型损失包括中心点坐标损失和宽高坐标损失。
第二损失计算单元，用于采用类别损失计算公式计算应急车道识别类别分量的模型损失。
第三损失计算单元，用于采用IOU分量的模型损失计算公式计算IOU分量的模型损失。
具体地，应急车道图像对应一真实标注框；该应急车道图像处理装置还包括聚类模块，用于采用kmeans聚类算法对多个真实标注框进行聚类，获取多个先验框。
其中，聚类模块包括初始化单元、IOU距离计算单元、聚类单元、目标类簇获取单元以及先验框获取单元。
初始化单元，用于初始化k值，从多个真实标注框中随机选取K个真实标注框作为初始质心。
IOU距离计算单元，用于计算每一真实标注框与初始质心间的IOU距离；IOU距离用于描述待聚类样本对应的真实标注框与初始质心对应的真实标注框的相似程度。
聚类单元，用于将IOU距离最近的真实标注框聚为一簇，获取K个聚类簇。
目标类簇获取单元，用于更新每一聚类簇中的质心，重复执行计算每一真实标注框与初始质心间的IOU距离的步骤，直到更新后的聚类簇中的质心的与更新前的质心的IOU距离达到预设最小值，获取K个目标类簇。
先验框获取单元，用于对每一目标类簇中的多个真实标注框进行整合处理，获取多个与目标类簇对应的先验框。
具体地，该应急车道图像处理装置还包括图像获取模块、车道检测模块以及警示信息输出模块。
图像获取模块，用于获取当前车辆摄像头所采集的前方车道的视频帧图像。
车道检测模块，用于调用目标应急车道检测模型检测对视频帧图像进行检测，获取检测结果；检测结果用于指示前方车道是否为应急车道。
警示信息输出模块，用于若前方车道为应急车道，则输出警示信息。
具体地，检测结果包括预测框坐标；应急车道图像处理装置还包括坐标转换模块和坐标映射模块。
坐标转换模块，用于对预测框坐标进行转换，输出预测框的相对坐标。
坐标映射模块，用于对相对坐标进行坐标映射，获取预测框在待测图像中的坐标。
关于应急车道图像处理装置的具体限定可以参见上文中对于应急车道图像处理方法的限定，在此不再赘述。上述应急车道图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图11所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机存储介质、内存储器。该计算机存储介质存储有操作系统、计算机程序和数据库。该内存储器为计算机存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储执行应急车道图像处理方法过程中生成或获取的数据，如应急车道图像。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种应急车道图像处理方法。
在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述实施例中的应急车道图像处理方法的步骤，例如图2所示的步骤S201-S205，或者图3至图9中所示的步骤。或者，处理器执行计算机程序时实现应急车道图像处理装置这一实施例中的各模块/单元的功能，例如图10所示的各模块/单元的功能，为避免重复，这里不再赘述。
在一实施例中，提供一计算机存储介质，该计算机存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述实施例中应急车道图像处理方法的步骤，例如图2所示的步骤S201-S205，或者图3至图9中所示的步骤，为避免重复，这里不再赘述。或者，该计算机程序被处理器执行时实现上述应急车道图像处理装置这一实施例中的各模块/单元的功能，例如图10所示的各模块/单元的功能，为避免重复，这里不再赘述。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。
以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (8)

1.一种应急车道图像处理方法，其特征在于，包括：
将获取的多个应急车道图像进行尺寸归一化处理，获取固定尺寸的训练图像；
将所述训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图；所述改进yolov3网络包括SpineNet层、上采样模块、拼接模块、CBL集合块以及特征输出模块，所述将所述训练图像输入至yolov3网络中进行模型训练，输出多个尺度的待检测特征图包括：将所述训练图像输入至所述SpineNet层中进行特征提取，输出多个应急车道特征；所述多个应急车道特征包括浅层尺度的浅层特征和多个深层尺度的深层特征；将所述浅层特征输入至所述特征输出模块进行特征提取，输出特征尺度为所述浅层尺度的待检测特征图；将所述深层特征输入至所述拼接模块中，与所述拼接模块所接收到的上采样特征进行拼接，输出多个深层尺度的拼接特征；所述上采样特征与所述深层特征的特征尺度一致；将每一所述拼接特征输入至所述特征输出模块进行特征提取，输出多个所述深层尺度的待检测特征图；特征输出模块包括依次连接的CBL层和卷积层；上采样模块包括依次连接的CBL层和上采样层；
采用多个先验框对每一尺度的待检测特征图进行预测，获取每一尺度的所述待检测特征图对应的预测结果；其中，所述预测结果包括模型预测框的坐标分量、应急车道识别类别分量以及IOU分量；
计算所述预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，将所述每一分量的模型损失之和作为模型输出损失；其中，所述模型输出损失包括所述模型预测框的坐标分量的模型损失、所述应急车道识别类别分量的模型损失以及所述IOU分量的模型损失；
基于所述模型输出损失更新所述改进yolov3网络中的模型参数，获取目标应急车道检测模型。
2.如权利要求1所述应急车道图像处理方法，其特征在于，所述坐标分量包括中心点坐标分量和宽高坐标分量；
所述计算所述预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，包括：
采用坐标损失计算公式计算所述模型预测框的坐标分量的模型损失；所述模型预测框的坐标分量的模型损失包括中心点坐标损失和宽高坐标损失；
采用类别损失计算公式计算所述应急车道识别类别分量的模型损失；
采用IOU分量的模型损失计算公式计算所述IOU分量的模型损失。
3.如权利要求2所述应急车道图像处理方法，其特征在于，所述应急车道图像对应一真实标注框；在所述将所述训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图的步骤之前，所述应急车道图像处理方法还包括：
采用kmeans聚类算法对多个所述真实标注框进行聚类，获取多个先验框；
其中，所述采用kmeans聚类算法对多个真实标注框进行聚类，获取多个先验框，包括：
初始化k值，从多个所述真实标注框中随机选取K个真实标注框作为初始质心；
计算每一真实标注框与所述初始质心间的IOU距离；所述IOU距离用于描述待聚类样本对应的真实标注框与所述初始质心对应的真实标注框的相似程度；
将所述IOU距离最近的真实标注框聚为一簇，获取K个聚类簇；
更新每一所述聚类簇中的质心，重复执行所述计算每一真实标注框与所述初始质心间的IOU距离的步骤，直到更新后的所述聚类簇中的质心的与更新前的质心的IOU距离达到预设最小值，获取K个目标类簇；
对每一所述目标类簇中的多个真实标注框进行整合处理，获取多个与所述目标类簇对应的先验框。
4.如权利要求1所述应急车道图像处理方法，其特征在于，在所述基于所述模型输出损失更新所述改进yolov3网络中的模型参数，获取目标应急车道检测模型的步骤之后，所述应急车道图像处理方法还包括：
获取当前车辆摄像头所采集的前方车道的视频帧图像；
调用所述目标应急车道检测模型检测对所述视频帧图像进行检测，获取检测结果；所述检测结果用于指示所述前方车道是否为应急车道；
若所述前方车道为应急车道，则输出警示信息。
5.如权利要求4所述应急车道图像处理方法，其特征在于，所述检测结果包括预测框坐标；
在调用所述目标应急车道检测模型检测对所述视频帧图像进行检测，获取检测结果的步骤之后，所述应急车道图像处理方法还包括：
对所述预测框坐标进行转换，输出所述预测框的相对坐标；
对所述相对坐标进行坐标映射，获取所述预测框在待测图像中的坐标。
6.一种应急车道图像处理装置，其特征在于，包括：
训练图像获取模块，用于将获取的多个所述应急车道图像进行尺寸归一化处理，获取固定尺寸的训练图像；
模型训练模块，用于将所述训练图像输入至改进yolov3网络中进行模型训练，输出多个尺度的待检测特征图；所述改进yolov3网络包括SpineNet层、上采样模块、拼接模块、CBL集合块以及特征输出模块，所述将所述训练图像输入至yolov3网络中进行模型训练，输出多个尺度的待检测特征图包括：将所述训练图像输入至所述SpineNet层中进行特征提取，输出多个应急车道特征；所述多个应急车道特征包括浅层尺度的浅层特征和多个深层尺度的深层特征；将所述浅层特征输入至所述特征输出模块进行特征提取，输出特征尺度为所述浅层尺度的待检测特征图；将所述深层特征输入至所述拼接模块中，与所述拼接模块所接收到的上采样特征进行拼接，输出多个深层尺度的拼接特征；所述上采样特征与所述深层特征的特征尺度一致；将每一所述拼接特征输入至所述特征输出模块进行特征提取，输出多个所述深层尺度的待检测特征图；特征输出模块包括依次连接的CBL层和卷积层；上采样模块包括依次连接的CBL层和上采样层；
预测模块，用于采用多个先验框对每一尺度的待检测特征图进行预测，获取每一尺度的所述待检测特征图对应的预测结果；其中，所述预测结果包括模型预测框的坐标分量、应急车道识别类别分量以及IOU分量；
模型损失计算模块，用于计算所述预测结果中的模型预测框的坐标分量、应急车道识别类别分量以及IOU分量的模型损失，将所述每一分量的模型损失之和作为模型输出损失；其中，所述模型输出损失包括所述模型预测框的坐标分量的模型损失、所述应急车道识别类别分量的模型损失以及所述IOU分量的模型损失；
模型更新模块，用于基于所述模型输出损失更新所述改进yolov3网络中的模型参数，获取目标应急车道检测模型。
7.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5任一项所述应急车道图像处理方法的步骤。
8.一种计算机存储介质，所述计算机存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述应急车道图像处理方法的步骤。
CN202011006319.7A 2020-09-23 2020-09-23 应急车道图像处理方法、装置、计算机设备及存储介质 Active CN112132025B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011006319.7A CN112132025B (zh) 2020-09-23 2020-09-23 应急车道图像处理方法、装置、计算机设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011006319.7A CN112132025B (zh) 2020-09-23 2020-09-23 应急车道图像处理方法、装置、计算机设备及存储介质

Publications (2)

Publication Number Publication Date
CN112132025A CN112132025A (zh) 2020-12-25
CN112132025B true CN112132025B (zh) 2023-02-07

Family

ID=73842556

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011006319.7A Active CN112132025B (zh) 2020-09-23 2020-09-23 应急车道图像处理方法、装置、计算机设备及存储介质

Country Status (1)

Country Link
CN (1) CN112132025B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112949507B (zh) * 2021-03-08 2024-05-10 平安科技（深圳）有限公司 人脸检测方法、装置、计算机设备及存储介质
CN112966762B (zh) * 2021-03-16 2023-12-26 南京恩博科技有限公司 一种野生动物检测方法、装置、存储介质及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110796168A (zh) * 2019-09-26 2020-02-14 江苏大学 一种基于改进YOLOv3的车辆检测方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109815886A (zh) * 2019-01-21 2019-05-28 南京邮电大学 一种基于改进YOLOv3的行人和车辆检测方法及系统
CN110796168A (zh) * 2019-09-26 2020-02-14 江苏大学 一种基于改进YOLOv3的车辆检测方法

Also Published As

Publication number Publication date
CN112132025A (zh) 2020-12-25

Similar Documents

Publication Publication Date Title
CN111523414B (zh) 人脸识别方法、装置、计算机设备和存储介质
WO2022213879A1 (zh) 目标对象检测方法、装置、计算机设备和存储介质
CN110852285B (zh) 对象检测方法、装置、计算机设备和存储介质
CN111797650B (zh) 障碍物的识别方法、装置、计算机设备和存储介质
CN110378297B (zh) 基于深度学习的遥感图像目标检测方法、装置、及存储介质
JP2017134814A (ja) 点群データに基づく車両輪郭検出方法、および装置
WO2022078197A1 (zh) 点云分割方法、装置、设备和存储介质
CN110991513B (zh) 一种具有类人连续学习能力的图像目标识别系统及方法
CN112949507A (zh) 人脸检测方法、装置、计算机设备及存储介质
CN112132025B (zh) 应急车道图像处理方法、装置、计算机设备及存储介质
CN112052837A (zh) 基于人工智能的目标检测方法以及装置
Mahaur et al. Road object detection: a comparative study of deep learning-based algorithms
CN112528974B (zh) 测距方法、装置、电子设备及可读存储介质
CN114638960A (zh) 模型的训练方法、图像描述生成方法和装置、设备、介质
CN116052026B (zh) 一种无人机航拍图像目标检测方法、系统及存储介质
CN111178358A (zh) 文本识别方法、装置、计算机设备和存储介质
CN115311730A (zh) 一种人脸关键点的检测方法、系统和电子设备
CN113537180A (zh) 树障的识别方法、装置、计算机设备和存储介质
CN111652245B (zh) 车辆轮廓检测方法、装置、计算机设备及存储介质
CN112464860A (zh) 手势识别方法、装置、计算机设备及存储介质
CN114202554A (zh) 标记生成、模型训练、标记方法、装置、存储介质及设备
CN115862012A (zh) 点云数据语义分割方法、装置、电子设备及存储介质
CN116543333A (zh) 电力系统的目标识别方法、训练方法、装置、设备和介质
TWI812888B (zh) 影像辨識方法及影像辨識系統
CN115063473A (zh) 物体高度的检测方法、装置、计算机设备、存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant