CN114639087A - 一种交通标志检测方法及装置 - Google Patents
一种交通标志检测方法及装置 Download PDFInfo
- Publication number
- CN114639087A CN114639087A CN202210261336.8A CN202210261336A CN114639087A CN 114639087 A CN114639087 A CN 114639087A CN 202210261336 A CN202210261336 A CN 202210261336A CN 114639087 A CN114639087 A CN 114639087A
- Authority
- CN
- China
- Prior art keywords
- image
- feature
- traffic
- layer
- feature fusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
Landscapes
- Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种交通标志检测方法及装置,其方法包括:获取待检测交通图像;将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果;其中,所述一阶全卷积目标检测模型包括特征提取模块、特征融合模块以及输出模块,所述特征融合模块的结构为近邻融合特征金字塔结构。本发明通过对特征融合模块进行改进,使特征融合模块的结构为近邻融合特征金字塔结构,可挖掘不同金字塔层间的内在关联性,舍弃不相邻的金字塔层融合,从而可提高特征融合模块得到的融合特征图像的可靠性,进而可在提高交通标志检测的准确性。
Description
技术领域
本发明涉及智能驾驶技术领域,具体涉及一种交通标志检测方法及装置。
背景技术
智能驾驶辅助系统(Advanced Driver AssistantSystem,ADAS)的开发,提高了车辆系统的安全性和驾驶的效率。交通标志检测与识别(Traffic Sign Recognition,TSR)系统在ADAS中扮演了一个关键的作用,这个系统能够定位和识别真实环境中的交通标志图像。TSR系统通常通过两步处理:检测和识别,在检测过程中,目的是对场景图像中包含交通标志的区域进行定位,识别的目的是根据被检测到的符号所包含的信息,对其进行分类。
由于交通标志是以预定的颜色和形状设计的,因此现有技术中对交通标志进行识别的方法可分为基于颜色、基于形状和基于机器学习的方法。交通标志的颜色通常具有强烈明显对比色,基于颜色的方法就是指通过这些颜色来进行检测,基于颜色的方法的主要缺点是:由于天气条件的变化、光线方向的变化、白天和夜晚的差异等,颜色并不总是可靠的,因为这些条件在室外场景中经常变化。交通标志总是设计成特定的形状(圆形、三角形、矩形等),因此形状信息对交通标志检测也非常重要。大多数基于颜色的方法在考虑颜色信息的同时也考虑了几何信息。由于深度学习的飞速发展,研究人员也尝试将深度学习加入到智能驾驶中。基于深度学习的方法由于速度和精度上的优势已经逐渐替代了基于形状和基于颜色的方法,基于深度学习的交通标志检测方法主要有2种,一种是基于二阶段网络的方法,例如:Faster-RCNN、Cascade-RCNN,这种方法的处理方式为:对输入图片首先进行特征提取,之后对得到的特征图首先进行RPN进行第一次位置修正,再经过检测器头部进行第二次位置修正。但基于二阶段网络进行识别的识别速度慢,为了解决这一技术问题,提出了基于一阶段网络的方法,例如:Yolo系列、RetinaNet等,但是精度上面稍逊于一阶段网络。
因此,急需提出一种交通标志检测方法和装置,解决现有技术中存在的无法兼顾检测速度和检测精度的技术问题。
发明内容
有鉴于此,有必要提供一种交通标志检测方法和装置,用以解决现有技术中存在的无法兼顾检测速度和检测精度的技术问题。
一方面,本发明提供了一种交通标志检测方法,包括:
获取待检测交通图像;
将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果;
其中,所述一阶全卷积目标检测模型包括特征提取模块、特征融合模块以及输出模块,所述特征融合模块的结构为近邻融合特征金字塔结构。
在一些可能的实现方式中,所述特征提取模块包括第一特征提取层、第二特征提取层和第三特征提取层;所述特征融合模块包括第一特征融合层、第二特征融合层、第三特征融合层、第四特征融合层和第五特征融合层;
所述待检测交通图像依次经过所述第一特征提取层、第二特征提取层和第三特征提取层进行逐层卷积,对应获得第一提取图像、第二提取图像和第三提取图像;
所述第一特征融合层用于接收所述第一提取图像和第二提取图像,生成第一特征图;所述第二特征融合层用于接收所述第二提取图像和第三提取图像,生成第二特征图;所述第三特征融合层用于接收所述第三提取图像,生成第三特征图;所述第四特征融合层用于接收所述第三提取图像,生成第四特征图;所述第五特征融合层用于接收所述第四特征图,生成第五特征图;
所述第一特征融合层还用于对所述第二特征图进行上采样,获得第一上采样图像,并将所述第一上采样图像和所述第一特征图进行融合,获得第一特征融合图像;
所述第二特征融合层还用于对所述第三特征图进行上采样,获得第二上采样图像,对所述第一特征图进行下采样,获得第一下采样图像,并将所述第一下采样图像、所述第二上采样图像和所述第二特征图进行融合,获得第二特征融合图像;
所述第三特征融合层还用于对所述第四特征图进行上采样,获得第三上采样图像,对所述第二特征图进行下采样,获得第二下采样图像,并将所述第二下采样图像、所述第三上采样图像和所述第三特征图进行融合,获得第三特征融合图像;
所述第四特征融合层还用于对所述第五特征图进行上采样,获得第四上采样图像,对所述第三特征图进行下采样,获得第三下采样图像,并将所述第三下采样图像、所述第四上采样图像和所述第四特征图进行融合,获得第四特征融合图像;
所述第五特征融合层还用于对所述第四特征图进行下采样,获得第四下采样图像,并将所述第四下采样图像和所述第五特征图进行融合,获得第五特征融合图像。
在一些可能的实现方式中,所述输出模块包括第一输出层、第二输出层、第三输出层、第四输出层和第五输出层;
所述第一输出层用于对所述第一特征融合图像进行检测,输出第一检测结果;所述第二输出层用于对所述第二特征融合图像进行检测,输出第二检测结果;所述第三输出层用于对所述第三特征融合图像进行检测,输出第三检测结果;所述第四输出层用于对所述第四特征融合图像进行检测,输出第四检测结果;所述第五输出层用于对所述第五特征融合图像进行检测,输出第五检测结果。
在一些可能的实现方式中,在所述将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果之前,还包括:
构建初始目标检测模型;
获取多张交通图像,并对所述多张交通图像进行预处理,获得交通图像训练集;
根据所述交通图像训练集训练所述初始目标检测模型,获得所述一阶全卷积目标检测模型。
在一些可能的实现方式中,所述初始目标检测模型的损失函数包括回归损失函数和分类损失函数,所述回归损失函数为广义交并比损失函数,所述分类损失函数为广义焦点损失函数。
在一些可能的实现方式中,所述对所述多张交通图像进行预处理,获得交通图像训练集,包括:
对所述多张交通图像进行数据增强处理,获得多张增强图像;
对所述交通图像和所述增强图像进行标注,获得所述交通图像数据集,所述交通图像数据集包括多个已标注交通图像,所述已标注交通图像包括多个真实标注框和真实类别。
在一些可能的实现方式中,所述根据所述交通图像训练集训练所述初始目标检测模型,获得所述一阶全卷积目标检测模型,包括:
将所述已标注交通图像输入至所述初始目标检测模型中,经过所述特征提取模块和所述特征融合模块,获得多个特征融合图像,所述融合特征图包括多个预测锚框和多个像素区域;
基于自适应样本筛选模型和所述预测锚框将所述多个像素区域划分为多个正样本和多个负样本;
将所述多个正样本和多个负样本输入至所述输出模块中,获得多个预测标注框和预测类别;
基于所述真实标注框、所述真实类别、所述预测标注框、所述预测类别、所述损失函数以及预设的训练参数确定所述初始目标检测模型的最优模型参数,根据所述最优模型参数确定所述一阶全卷积目标检测模型。
在一些可能的实现方式中,所述预设的训练参数包括初始学习率、衰减策略以及优化器,所述初始学习率为0.025,所述衰减策略为余弦退火衰减策略,所述优化器为随机梯度下降优化器。
在一些可能的实现方式中,所述交通标志检测结果包括目标标志框以及所述目标标志框的结构尺寸;所述将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果,包括:
将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得多个待选框;
基于预设阈值对所述多个待选框进行筛选,确定所述目标标志框以及所述目标标志框的结构尺寸。
另一方面,本发明还提供了一种交通标志检测装置,包括:
待检测图像获取单元,用于获取待检测交通图像;
交通标志检测单元,用于将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果;
其中,所述一阶全卷积目标检测模型包括特征提取模块、特征融合模块以及输出模块,所述特征融合模块的结构为近邻融合特征金字塔结构。
采用上述实施例的有益效果是:本发明提供的交通标志检测方法,通过对一阶全卷积目标检测模型中的特征融合模块进行改进,使特征融合模块的结构为近邻融合特征金字塔结构,可挖掘不同金字塔层间的内在关联性,舍弃不相邻的金字塔层融合,从而可提高特征融合模块得到的融合特征图像的可靠性,进行可在提高交通标志识别速度的同时提高通过一阶全卷积目标检测模型对待检测交通图像进行检测的准确性,从而可为驾驶员或智能车辆执行正确动作提供决策支持,减少操作失误,降低交通事故发生的频率。
附图说明
为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的交通标志检测方法的一个实施例流程示意图;
图2为本发明提供的一阶全卷积目标检测模型的一个实施例结构示意图;
图3为本发明提供的对初始目标检测模型进行训练的一个实施例流程示意图;
图4为本发明图3中S302的一个实施例流程示意图;
图5为本发明图3中S303的一个实施例流程示意图;
图6为本发明图1中S102的一个实施例流程示意图;
图7为本发明提供的交通标志检测装置的一个实施例结构示意图;
图8为本发明提供的电子设备的一个实施例结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
应当理解,示意性的附图并未按实物比例绘制。本发明中使用的流程图示出了根据本发明的一些实施例实现的操作。应当理解,流程图的操作可以不按顺序实现,没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外,本领域技术人员在本发明内容的指引下,可以向流程图添加一个或多个其他操作,也可以从流程图中移除一个或多个操作。
在本发明实施例的描述中,“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如:A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。
附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器系统和/或微控制器系统中实现这些功能实体。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。
本发明实施例提供了一种交通标志检测方法及装置,以下分别进行说明。
图1为本发明提供的交通标志检测方法的一个实施例流程示意图,图2为本发明提供的一阶全卷积目标检测模型的一个实施例结构示意图,如图1和图2所示,交通标志检测方法包括:
S101、获取待检测交通图像;
S102、将待检测交通图像输入至训练完备的一阶全卷积目标检测模型(FullyConvolutional One-Stage Object Detection,FCOS)中,获得交通标志检测结果;
其中,一阶全卷积目标检测模型包括特征提取模块、特征融合模块以及输出模块,特征融合模块的结构为近邻融合特征金字塔结构(Neighbor Fusion Feature PyramidNetwork,NF-FPN)。
与现有技术相比,本发明实施例提供的交通标志检测方法,通过对一阶全卷积目标检测模型中的特征融合模块进行改进,使特征融合模块的结构为近邻融合特征金字塔结构,可挖掘不同金字塔层间的内在关联性,舍弃不相邻的金字塔层融合,从而可提高特征融合模块得到的融合特征图像的可靠性,进而可在提高交通标志检测速度的同时提高通过一阶全卷积目标检测模型对待检测交通图像进行检测的准确性,从而可为驾驶员或智能车辆执行正确动作提供决策支持,减少操作失误,降低交通事故发生的频率。
需要说明的是:特征提取模块的结构可为Resnet50结构。
在本发明的一些实施例中,如图2所示,特征提取模块包括第一特征提取层C3、第二特征提取层C4和第三特征提取层C5;特征融合模块包括第一特征融合层P3、第二特征融合层P4、第三特征融合层P5、第四特征融合层P6和第五特征融合层P7;
待检测交通图像依次经过第一特征提取层C3、第二特征提取层C4和第三特征提取层C5进行逐层卷积,对应获得第一提取图像、第二提取图像和第三提取图像;
第一特征融合层P3用于接收第一提取图像和第二提取图像,生成第一特征图;第二特征融合层P4用于接收第二提取图像和第三提取图像,生成第二特征图;第三特征融合层P5用于接收第三提取图像,生成第三特征图;第四特征融合层P6用于接收第三提取图像,生成第四特征图;第五特征融合层P7用于接收第四特征图,生成第五特征图;
第一特征融合层P3还用于对第二特征图进行上采样,获得第一上采样图像,并将第一上采样图像和第一特征图进行融合,获得第一特征融合图像;
第二特征融合层P4还用于对第三特征图进行上采样,获得第二上采样图像,对第一特征图进行下采样,获得第一下采样图像,并将第一下采样图像、第二上采样图像和第二特征图进行融合,获得第二特征融合图像;
第三特征融合层P5还用于对第四特征图进行上采样,获得第三上采样图像,对第二特征图进行下采样,获得第二下采样图像,并将第二下采样图像、第三上采样图像和第三特征图进行融合,获得第三特征融合图像;
第四特征融合层P6还用于对第五特征图进行上采样,获得第四上采样图像,对第三特征图进行下采样,获得第三下采样图像,并将第三下采样图像、第四上采样图像和第四特征图进行融合,获得第四特征融合图像;
第五特征融合层P7还用于对第四特征图进行下采样,获得第四下采样图像,并将第四下采样图像和第五特征图进行融合,获得第五特征融合图像。
也就是说,如图2所示,黑色虚线代表步幅为1的3x3卷积加上上采样,褐色实线代表步幅为1的3x3卷积,黑色点划线代表步幅为2的3x3卷积加上下采样,最后将3个操作得到的特征图进行相加,即表示本文所提出的近邻融合金字塔结构。
本发明实施例中的每个特征融合层均将其自身层的特征图和与其相邻的一个或两个特征融合层的特征图进行融合,使获得的特征融合图像融合较多的特征,从而可提高获得的特征融合图像的准确性,进而可提高交通标志检测方法的准确度。
也即:
yi=Upsample(k0*xi+1)+k1*xi+Downsample(k-1*xi-1)
式中,yi为当前特征融合层对应的特征融合图像;Upsample为上采样;xi+1为与当前特征融合层相邻的上一特征融合层输出的特征图;k0为对上一特征融合层输出的特征图进行卷积操作;xi为当前特征融合层输出的特征图;k1为对当前特征融合层输出的特征图进行卷积操作;Downsample为下采样;为xi-1与当前特征融合层相邻的下一特征融合层输出的特征图;k-1为对下一特征融合层输出的特征图进行卷积操作。
进一步地,如图2所示,输出模块包括第一输出层Head1、第二输出层Head2、第三输出层Head3、第四输出层Head4和第五输出层Head5;
第一输出层Head1用于对第一特征融合图像进行检测,输出第一检测结果;第二输出层Head2用于对第二特征融合图像进行检测,输出第二检测结果;第三输出层Head3用于对第三特征融合图像进行检测,输出第三检测结果;第四输出层Head4用于对第四特征融合图像进行检测,输出第四检测结果;第五输出层Head5用于对第五特征融合图像进行检测,输出第五检测结果。
由图2可以看出:每个输出层内均包括分类支路(Classification)、聚集支路(Center-ness)和回归支路(Regression)。分类支路用于对融合特征图的局部特征进行识别,回归支路用于对融合特征图中物体的位置和边缘信息进行识别,聚集支路用于提升回归支路识别性能。因为分类支路需要特征具有平移不变性、尺度不变性、旋转不变性等特性,对物体的局部特征敏感,而回归支路对于物体的位置和边缘信息更加敏感。引入聚集支路是为了学习每个位置的相对中心性,因此应当与回归支路共享特征。
在本发明的一些实施例中,如图3所示,在步骤S102之前,还包括:
S301、构建初始目标检测模型;
S302、获取多张交通图像,并对多张交通图像进行预处理,获得交通图像训练集;
S303、根据交通图像训练集训练初始目标检测模型,获得一阶全卷积目标检测模型。
需要说明的是:在进行步骤S303之前,还需将交通图像训练集划分为训练集、验证集和测试集,通过训练集对初始目标检测模型进行训练,并分别通过验证集和测试集对获得的一阶全卷积目标检测模型进行验证和测试,已提高或的一阶全卷积目标检测模型的检测精度。
在本发明的具体实施例中,训练集、验证集和测试集的比例为8:1:1。
为了进一步提高一阶全卷积目标检测模型的检测精度,从而提高交通标志检测方法的检测可靠性,在本发明的一些实施例中,初始目标检测模型的损失函数包括回归损失函数和分类损失函数,回归损失函数为广义交并比损失函数(Generalized Intersectionover Union,GIOU),分类损失函数为广义焦点损失函数(Generalized Focal Loss,GFL)。
具体地,GFL损失函数包括两部分,分别是质量焦点损失函数(Quality FocalLoss,QFL)和分布焦点损失函数(Distribution Focal Loss,DFL)。
本发明实施例通过设置分类损失函数为GFL,可在加入额外计算量的同时提高交通标志识别的准确度和速度。
由于交通图像的数量有限,而为了提高一阶全卷积目标检测模型的模型性性能,需要大量的交通图像进行训练获得,为了解决存在的交通图像样本数量不够的技术问题,在本发明的一些实施例中,如图4所示,步骤S302包括:
S401、对多张交通图像进行数据增强处理,获得多张增强图像;
S402、对交通图像和增强图像进行标注,获得交通图像数据集,交通图像数据集包括多个已标注交通图像,已标注交通图像包括多个真实标注框和真实类别。
本发明实施例通过对交通图像进行数据增强处理,可在交通图像样本数量不足的情况下,扩充交通图像样本数量,从而可提高获得的一阶全卷积目标检测模型的模型性能。
在本发明的一些实施例中,交通图像数据集包括1500张已标注交通图像。
具体地:步骤S401中的数据增强处理包括但不限于多尺度训练、混类(Mixup)、Mosaic、图像随机旋转、HSV色调变化、图像转置等增强处理。
需要说明的是:步骤S402可具体为:使用开源数据标注工具,例如Lableme工具在可视化界面对交通图像进行标注,并将交通图像转换成Common Objects in COntext(COCO)格式。
还需要说明的是:为了提高检测结果的可靠性,需将交通图像进行裁剪,使交通图像的尺寸统一。具体地:交通图像的高度和宽度分别为640mm和960mm。
在本发明的一些实施例中,如图5所示,步骤S303包括:
S501、将已标注交通图像输入至初始目标检测模型中,经过特征提取模块和特征融合模块,获得多个特征融合图像,融合特征图包括多个预测锚框和多个像素区域;
S502、基于自适应样本筛选模型和预测锚框将多个像素区域划分为多个正样本和多个负样本;
S503、将多个正样本和多个负样本输入至输出模块中,获得多个预测标注框和预测类别;
S504、基于真实标注框、真实类别、预测标注框、预测类别、损失函数以及预设的训练参数确定初始目标检测模型的最优模型参数,根据最优模型参数确定一阶全卷积目标检测模型。
本发明实施例通过基于自适应样本筛选模型和预测锚框将多个像素区域划分为多个正样本和多个负样本,可提高正负样本划分的合理性,从而提高一阶全卷积目标检测模型的准确度。
具体地,步骤S502具体为:
对于已标注交通图像中每个真实标注框,在特征融合模块中的每一层特征融合图像中选取k与其中心点L2距离最近的预测锚框,假设特征融合模块有L层特征融合层,则每个真实标注框就有k×L个候选的预测锚框;
计算每个预测锚框与真实标注框的交并比Dg,并计算这k×L个Dg的均值mg和方差vg,并令真实标注框的正样本交并比阈值tg=mg+vg;
选取交并比大于交并比阈值且中心点在真实标注框中的预测锚框作为正样本,将其余的预测锚框作为负样本。
在本发明的一些实施例中,步骤S504中预设的训练参数初始学习率、衰减策略以及优化器,具体地:初始学习率为0.025,衰减策略为余弦退火衰减策略,优化器为随机梯度下降优化器(Stochastic Gradient Descent,SGD),且训练方式为多尺度训练方式。
需要说明的是,步骤S504中预设的训练参数还可包括最大训练次数,当损失函数收敛或当训练次数达到最大训练次数时,停止训练,获得一阶全卷积目标检测模型。
在本发明的一些实施例中,交通标志检测结果包括目标标志框以及目标标志框的结构尺寸;由于待检测交通图像经过一阶全卷积目标检测模型,会得到多个待选框,为了从多个待选框中确定出目标标志框,在本发明的一些实施例中,如图6所示,步骤S102包括:
S601、将待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得多个待选框;
S602、基于预设阈值对多个待选框进行筛选,确定目标标志框以及目标标志框的结构尺寸。
在本发明的具体实施例中,预设阈值为0.2。应当理解的是:预设阈值可根据实际情况进行调整,在此不做赘述。
为了更好实施本发明实施例中的交通标志检测方法,在交通标志检测方法基础之上,对应的,本发明实施例还提供了一种交通标志检测装置,如图7所示,交通标志检测装置700包括:
待检测图像获取单元701,用于获取待检测交通图像;
交通标志检测单元702,用于将待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果;
其中,一阶全卷积目标检测模型包括特征提取模块、特征融合模块以及输出模块,特征融合模块的结构为近邻融合特征金字塔结构。
上述实施例提供的交通标志检测装置700可实现上述交通标志检测方法实施例中描述的技术方案,上述各模块或单元具体实现的原理可参见上述交通标志检测方法实施例中的相应内容,此处不再赘述。
如图8所示,本发明还相应提供了一种电子设备800。该电子设备800包括处理器801、存储器802及显示器803。图8仅示出了电子设备800的部分组件,但是应理解的是,并不要求实施所有示出的组件,可以替代的实施更多或者更少的组件。
处理器801在一些实施例中可以是一中央处理器(Central Processing Unit,CPU),微处理器或其他数据处理芯片,用于运行存储器802中存储的程序代码或处理数据,例如本发明中的交通标志检测方法。
在一些实施例中,处理器801可以是单个服务器或服务器组。服务器组可为集中式或分布式的。在一些实施例中,处理器801可为本地的或远程的。在一些实施例中,处理器801可实施于云平台。在一实施例中,云平台可包括私有云、公共云、混合云、社区云、分布式云、内部间、多重云等,或以上的任意组合。
存储器802在一些实施例中可以是电子设备800的内部存储单元,例如电子设备800的硬盘或内存。存储器802在另一些实施例中也可以是电子设备800的外部存储设备,例如电子设备800上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
进一步地,存储器802还可既包括电子设备800的内部储存单元也包括外部存储设备。存储器802用于存储安装电子设备800的应用软件及各类数据。
显示器803在一些实施例中可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。显示器803用于显示在电子设备800的信息以及用于显示可视化的用户界面。电子设备800的部件801-803通过系统总线相互通信。
在一实施例中,当处理器801执行存储器802中的交通标志检测程序时,可实现以下步骤:
获取待检测交通图像;
将待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果;
其中,一阶全卷积目标检测模型包括特征提取模块、特征融合模块以及输出模块,特征融合模块的结构为近邻融合特征金字塔结构。
应当理解的是:处理器801在执行存储器802中的交通标志检测程序时,除了上面的功能之外,还可实现其它功能,具体可参见前面相应方法实施例的描述。
进一步地,本发明实施例对提及的电子设备800的类型不做具体限定,电子设备800可以为手机、平板电脑、个人数字助理(personal digitalassistant,PDA)、可穿戴设备、膝上型计算机(laptop)等便携式电子设备。便携式电子设备的示例性实施例包括但不限于搭载IOS、android、microsoft或者其他操作系统的便携式电子设备。上述便携式电子设备也可以是其他便携式电子设备,诸如具有触敏表面(例如触控面板)的膝上型计算机(laptop)等。还应当理解的是,在本发明其他一些实施例中,电子设备800也可以不是便携式电子设备,而是具有触敏表面(例如触控面板)的台式计算机。
相应地,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质用于存储计算机可读取的程序或指令,程序或指令被处理器执行时,能够实现上述各方法实施例提供的交通标志检测方法中的步骤或功能。
本领域技术人员可以理解,实现上述实施例方法的全部或部分流程,可以通过计算机程序来指令相关的硬件(如处理器,控制器等)来完成,计算机程序可存储于计算机可读存储介质中。其中,计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。
以上对本发明所提供的交通标志检测方法及装置进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种交通标志检测方法,其特征在于,包括:
获取待检测交通图像;
将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果;
其中,所述一阶全卷积目标检测模型包括特征提取模块、特征融合模块以及输出模块,所述特征融合模块的结构为近邻融合特征金字塔结构。
2.根据权利要求1所述的交通标志检测方法,其特征在于,所述特征提取模块包括第一特征提取层、第二特征提取层和第三特征提取层;所述特征融合模块包括第一特征融合层、第二特征融合层、第三特征融合层、第四特征融合层和第五特征融合层;
所述待检测交通图像依次经过所述第一特征提取层、第二特征提取层和第三特征提取层进行逐层卷积,对应获得第一提取图像、第二提取图像和第三提取图像;
所述第一特征融合层用于接收所述第一提取图像和第二提取图像,生成第一特征图;所述第二特征融合层用于接收所述第二提取图像和第三提取图像,生成第二特征图;所述第三特征融合层用于接收所述第三提取图像,生成第三特征图;所述第四特征融合层用于接收所述第三提取图像,生成第四特征图;所述第五特征融合层用于接收所述第四特征图,生成第五特征图;
所述第一特征融合层还用于对所述第二特征图进行上采样,获得第一上采样图像,并将所述第一上采样图像和所述第一特征图进行融合,获得第一特征融合图像;
所述第二特征融合层还用于对所述第三特征图进行上采样,获得第二上采样图像,对所述第一特征图进行下采样,获得第一下采样图像,并将所述第一下采样图像、所述第二上采样图像和所述第二特征图进行融合,获得第二特征融合图像;
所述第三特征融合层还用于对所述第四特征图进行上采样,获得第三上采样图像,对所述第二特征图进行下采样,获得第二下采样图像,并将所述第二下采样图像、所述第三上采样图像和所述第三特征图进行融合,获得第三特征融合图像;
所述第四特征融合层还用于对所述第五特征图进行上采样,获得第四上采样图像,对所述第三特征图进行下采样,获得第三下采样图像,并将所述第三下采样图像、所述第四上采样图像和所述第四特征图进行融合,获得第四特征融合图像;
所述第五特征融合层还用于对所述第四特征图进行下采样,获得第四下采样图像,并将所述第四下采样图像和所述第五特征图进行融合,获得第五特征融合图像。
3.根据权利要求2所述的交通标志检测方法,其特征在于,所述输出模块包括第一输出层、第二输出层、第三输出层、第四输出层和第五输出层;
所述第一输出层用于对所述第一特征融合图像进行检测,输出第一检测结果;所述第二输出层用于对所述第二特征融合图像进行检测,输出第二检测结果;所述第三输出层用于对所述第三特征融合图像进行检测,输出第三检测结果;所述第四输出层用于对所述第四特征融合图像进行检测,输出第四检测结果;所述第五输出层用于对所述第五特征融合图像进行检测,输出第五检测结果。
4.根据权利要求1所述的交通标志检测方法,其特征在于,在所述将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果之前,还包括:
构建初始目标检测模型;
获取多张交通图像,并对所述多张交通图像进行预处理,获得交通图像训练集;
根据所述交通图像训练集训练所述初始目标检测模型,获得所述一阶全卷积目标检测模型。
5.根据权利要求4所述的交通标志检测方法,其特征在于,所述初始目标检测模型的损失函数包括回归损失函数和分类损失函数,所述回归损失函数为广义交并比损失函数,所述分类损失函数为广义焦点损失函数。
6.根据权利要求5所述的交通标志检测方法,其特征在于,所述对所述多张交通图像进行预处理,获得交通图像训练集,包括:
对所述多张交通图像进行数据增强处理,获得多张增强图像;
对所述交通图像和所述增强图像进行标注,获得所述交通图像数据集,所述交通图像数据集包括多个已标注交通图像,所述已标注交通图像包括多个真实标注框和真实类别。
7.根据权利要求6所述的交通标志检测方法,其特征在于,所述根据所述交通图像训练集训练所述初始目标检测模型,获得所述一阶全卷积目标检测模型,包括:
将所述已标注交通图像输入至所述初始目标检测模型中,经过所述特征提取模块和所述特征融合模块,获得多个特征融合图像,所述融合特征图包括多个预测锚框和多个像素区域;
基于自适应样本筛选模型和所述预测锚框将所述多个像素区域划分为多个正样本和多个负样本;
将所述多个正样本和多个负样本输入至所述输出模块中,获得多个预测标注框和预测类别;
基于所述真实标注框、所述真实类别、所述预测标注框、所述预测类别、所述损失函数以及预设的训练参数确定所述初始目标检测模型的最优模型参数,根据所述最优模型参数确定所述一阶全卷积目标检测模型。
8.根据权利要求7所述的交通标志检测方法,其特征在于,所述预设的训练参数包括初始学习率、衰减策略以及优化器,所述初始学习率为0.025,所述衰减策略为余弦退火衰减策略,所述优化器为随机梯度下降优化器。
9.根据权利要求1所述的交通标志检测方法,其特征在于,所述交通标志检测结果包括目标标志框以及所述目标标志框的结构尺寸;所述将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果,包括:
将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得多个待选框;
基于预设阈值对所述多个待选框进行筛选,确定所述目标标志框以及所述目标标志框的结构尺寸。
10.一种交通标志检测装置,其特征在于,包括:
待检测图像获取单元,用于获取待检测交通图像;
交通标志检测单元,用于将所述待检测交通图像输入至训练完备的一阶全卷积目标检测模型中,获得交通标志检测结果;
其中,所述一阶全卷积目标检测模型包括特征提取模块、特征融合模块以及输出模块,所述特征融合模块的结构为近邻融合特征金字塔结构。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210261336.8A CN114639087A (zh) | 2022-03-14 | 2022-03-14 | 一种交通标志检测方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210261336.8A CN114639087A (zh) | 2022-03-14 | 2022-03-14 | 一种交通标志检测方法及装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114639087A true CN114639087A (zh) | 2022-06-17 |
Family
ID=81950244
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210261336.8A Pending CN114639087A (zh) | 2022-03-14 | 2022-03-14 | 一种交通标志检测方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114639087A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116188872A (zh) * | 2023-03-09 | 2023-05-30 | 北京甲板智慧科技有限公司 | 一种林业病虫害自动识别方法及装置 |
CN116580277A (zh) * | 2023-05-10 | 2023-08-11 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的底部电子识别标签丢失图像识别方法 |
-
2022
- 2022-03-14 CN CN202210261336.8A patent/CN114639087A/zh active Pending
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116188872A (zh) * | 2023-03-09 | 2023-05-30 | 北京甲板智慧科技有限公司 | 一种林业病虫害自动识别方法及装置 |
CN116580277A (zh) * | 2023-05-10 | 2023-08-11 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的底部电子识别标签丢失图像识别方法 |
CN116580277B (zh) * | 2023-05-10 | 2024-01-30 | 哈尔滨市科佳通用机电股份有限公司 | 一种基于深度学习的底部电子识别标签丢失图像识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111488826B (zh) | 一种文本识别方法、装置、电子设备和存储介质 | |
CN114639087A (zh) | 一种交通标志检测方法及装置 | |
CN112632844B (zh) | 从工程制图中提取和分析信息的方法和系统 | |
CN112418216B (zh) | 一种复杂自然场景图像中的文字检测方法 | |
CN112699775A (zh) | 基于深度学习的证件识别方法、装置、设备及存储介质 | |
WO2021213157A1 (zh) | 模型训练方法、识别方法、装置、设备及存储介质 | |
CN111259969A (zh) | 一种报障识别方法、装置、服务器及介质 | |
CN109190662A (zh) | 一种基于关键点回归的车辆三维检测方法、系统、终端和存储介质 | |
CN114820679A (zh) | 图像标注方法、装置、电子设备和存储介质 | |
CN109271842A (zh) | 一种基于关键点回归的通用物体检测方法、系统、终端和存储介质 | |
CN114049488A (zh) | 一种多维信息融合的远距离弱小目标检测方法和终端 | |
CN114519819A (zh) | 一种基于全局上下文感知的遥感图像目标检测方法 | |
CN114332894A (zh) | 图像的文本检测方法及装置 | |
CN112396060A (zh) | 基于身份证分割模型的身份证识别方法及其相关设备 | |
CN109190467A (zh) | 一种基于关键点回归的多物体检测方法、系统、终端和存储介质 | |
Zhang et al. | A YOLOv3-Based Industrial Instrument Classification and Reading Recognition Method | |
CN115049836A (zh) | 图像分割方法、装置、设备及存储介质 | |
CN113887375A (zh) | 一种文本识别方法、装置、设备及存储介质 | |
CN114283343A (zh) | 基于遥感卫星图像的地图更新方法、训练方法和设备 | |
CN113936187A (zh) | 文本图像合成方法、装置、存储介质及电子设备 | |
CN112749293A (zh) | 一种图像分类方法、装置及存储介质 | |
CN112287763A (zh) | 图像处理方法、装置、设备及介质 | |
US20140239072A1 (en) | Automatically Converting a Sign and Method for Automatically Reading a Sign | |
CN116935168B (zh) | 目标检测的方法、装置、计算机设备及存储介质 | |
CN110688511A (zh) | 细粒度图像检索方法、装置、计算机设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |