CN113221814A - 一种道路交通标志识别方法、设备及存储介质 - Google Patents

一种道路交通标志识别方法、设备及存储介质 Download PDF

Info

Publication number
CN113221814A
CN113221814A CN202110580335.5A CN202110580335A CN113221814A CN 113221814 A CN113221814 A CN 113221814A CN 202110580335 A CN202110580335 A CN 202110580335A CN 113221814 A CN113221814 A CN 113221814A
Authority
CN
China
Prior art keywords
road traffic
traffic sign
recognition model
semantic information
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110580335.5A
Other languages
English (en)
Inventor
曹伟朋
庄浩
张继勇
李大川
吴宇豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huarui Xinzhi Baoding Technology Co ltd
Huarui Xinzhi Technology Beijing Co ltd
Original Assignee
Huarui Xinzhi Technology Beijing Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huarui Xinzhi Technology Beijing Co ltd filed Critical Huarui Xinzhi Technology Beijing Co ltd
Priority to CN202110580335.5A priority Critical patent/CN113221814A/zh
Publication of CN113221814A publication Critical patent/CN113221814A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本说明书实施例公开了一种道路交通标志识别方法、设备及存储介质，方法包括：在车辆运行时，采集道路交通实景图像，获取道路交通实景图象中的道路交通标志实景图像；将道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出道路交通标志实景图像对应的语义信息描述，其中，道路交通识别模型是基于零样本学习机制训练得到的，且道路交通标志识别模型为语义自编码模型，语义信息描述用于对交通标志类别进行解释，通过零样本学习机制训练得到的道路交通标志识别模型，解决了数据集面临的类别标签不全和数据采集成本高的问题，使得模型具备一定的推理能力，能够有预测数据集中不存在的类别。

Description

一种道路交通标志识别方法、设备及存储介质
技术领域
本说明书涉及自动驾驶技术领域，尤其涉及一种道路交通标志识别方法、设备及存储介质。
背景技术
随着经济社会的发展，人们的生活水平逐步提高，驾车出行已经成为大多数人必不可少的选择，期间，可以准确识别道路交通标志是至关重要的。
现有技术中，有通过深度神经网络模型对道路交通标志进行识别，并将识别结果反馈给驾驶者，以使得驾驶者更加安全的行驶。
但现有的道路交通标志识别过程中，只能针对数据集中已存在的交通标志，对于数据集中未收录的交通标志，可能无法做出准确的识别，这可能会给驾驶者带来难以估计的损失。
发明内容
本说明书一个或多个实施例提供了一种道路交通标志识别方法、设备及存储介质，用于解决如下技术问题：现有的道路交通标志识别过程中，只能针对数据集中已存在的交通标志，对于数据集中未未收录的交通标志，可能无法做出准确的识别，这可能会给驾驶者带来难以估计的损失。
本说明书一个或多个实施例采用下述技术方案：
本说明书一个或多个实施例提供一种道路交通标志识别方法，其特征在于，所述方法包括：在车辆运行时，采集道路交通实景图像，获取所述道路交通实景图象中的道路交通标志实景图像；将所述道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出所述道路交通标志实景图像对应的语义信息描述，其中，所述道路交通识别模型是基于零样本学习机制训练得到的，且所述道路交通标志识别模型为语义自编码模型，所述语义信息描述用于对交通标志类别进行解释。
进一步地，在所述将所述道路交通标志图像输入至预先训练的道路交通识别模型之前，所述方法还包括：建立初始的道路交通标志识别模型；构建道路交通标志的语义信息数据集；将所述语义信息数据集输入至所述初始的道路交通标志识别模型中，对所述初始的道路交通标志识别模型进行训练，确定出符合条件的所述道路交通识别模型。
进一步地，所述构建道路交通标志的语义信息数据集，具体包括：采集道路交通标志的图像数据，形成道路交通标志数据集；获取所述道路交通标志数据集中的道路交通标志的属性描述，为所述道路交通标志增加语义描述信息，构建所述交通标志类别的语义信息数据集。
进一步地，所述为所述道路交通标志增加语义描述信息，具体包括：从形状、颜色、图标、字符以及功能中的一项或多项，对所述交通标志进行语义描述，确定出所述道路交通标志对应语义描述信息。
进一步地，所述将所述语义信息数据集输入至所述初始的道路交通标志识别模型中，对所述初始的道路交通标志识别模型进行训练，具体包括：将所述语义信息数据集分为训练集和测试集，其中，所述训练集中的样本数据为模型训练时的可见类样本，所述测试集中的样本数据为模型训练时的未可见类样本；将所述训练集中的样本数据输入至所述初始的道路交通标志识别模型，输出各样本对应的语义信息描述向量，以便所述初始的道路交通标志识别模型根据误差反馈调整参数，训练得到待测试的道路交通标志识别模型；将所述测试集中的样本数据输入至所述待测试的道路交通标志识别模型，输出测试样本对应的语义信息描述向量，将所述语义信息描述向量与所述语义信息数据集中预先设定的语义信息描述向量进行相似度比较，若所述相似度比较结果符合预设条件，则所述待测试的道路交通标志识别模型为符合条件的道路交通标志识别模型。进一步地，所述道路交通标志识别模型，是在自编码算法的基础上对模型优化目标进行修正，并在损失函数上增加对模型参数的L2范式约束条件之后得到的。
进一步地，所述道路交通标志识别模型的优化目标为：
Figure BDA0003085822630000031
其中，X表示的是所述道路交通标志图像的视觉特征向量，W表示的是从所述视觉特征映射到道路交通标志图像对应的所述语义信息的权重参数，WT表示的是通过所述语义信息重构得到所述视觉特征向量的权重参数，其中WT是W的转置，S表示是所述语义信息的特征向量，X表示原始视觉特征，
Figure BDA0003085822630000032
表示重构之后的视觉特征。
进一步地，所述道路交通标志识别的损失函数为：
Figure BDA0003085822630000033
其中，X表示的是所述道路交通标志图像的视觉特征向量，W表示的是从所述视觉特征映射到道路交通标志图像对应的所述语义信息的权重参数，WT表示的是通过所述语义信息重构得到所述视觉特征向量的权重参数，其中WT是W的转置，S表示是所述语义信息的特征向量，X表示原始视觉特征，
Figure BDA0003085822630000034
表示重构之后的视觉特征。
本说明书一个或多个实施例提供一种道路交通标志识别设备，其特征在于，
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：在车辆运行时，采集道路交通实景图像，获取所述道路交通实景图象中的道路交通标志实景图像；将所述道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出所述道路交通标志实景图像对应的交通标志类别和语义信息描述，其中，所述道路交通识别模型是基于零样本学习机制训练得到的，且所述道路交通标志识别模型为语义自编码模型，所述语义信息描述用于对交通标志类别进行解释。
本说明书一个或多个实施例提供的一种存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为：在车辆运行时，采集道路交通实景图像，获取所述道路交通实景图象中的道路交通标志实景图像；将所述道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出所述道路交通标志实景图像对应的交通标志类别和语义信息描述，其中，所述道路交通识别模型是基于零样本学习机制训练得到的，且所述道路交通标志识别模型为语义自编码模型，所述语义信息描述用于对交通标志类别进行解释。
本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：本申请利用零样本学习机制解决相关数据集面临的类别标签不全和数据采集成本高的问题，使得模型具备一定的推理能力，能够有预测数据集中不存在的类别。另外，本说明书的一个或多个实施例通过提出一种语义描述方法来构建道路交通标志语义信息数据集，具有良好的可扩展性，可有效应对交通标志的动态更新问题。此外，根据本说明书实施例中训练得到的模型可以根据类别的语义信息对其决策结果进行解释，有效提升了模型的可解释性。
附图说明
为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1为本说明书实施例提供的一种道路交通标志识别方法流程示意图；
图2为本说明书实施例提供的道路交通标志的属性描述示意图；
图3为本说明书实施例提供的SAE-L2神经网络架构图；
图4为本说明书实施例提供的另一种道路交通标志识别方法流程示意图；
图5为本说明书实施例提供的一种道路交通标志识别设备的结构示意图。
具体实施方式
本说明书实施例提供一种道路交通标志识别方法、设备及存储介质。
为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
随着经济社会的发展，人们的生活水平逐步提高，驾车出行已经成为大多数人必不可少的选择，期间，可以准确识别道路交通标志是至关重要的。现有技术中，大多通过深度神经网络模型对道路交通标志进行识别，并将识别结果反馈给驾驶者，以使得驾驶者更加安全的行驶。
例如，现有技术中提出的基于深度神经网络的交通标志识别方法，通过收集道路交通标志数据，提取图像中的感兴趣区域(ROI，Region of interest)，得到训练样本；然后对训练样本进行归一化、数据增强处理，使用深度神经网络模型对增强后的训练样本进行迭代训练，学习样本的视觉特征，使用训练后的网络模型对测试类中的交通标志进行识别。当前基于深度神经网络训练得到的模型主要用于特征提取的网络架构包括：VGGNet，LeNet-5和AlexNet，主要用于分类的算法模块包括SVM和softmax分类器。
另外，在现有技术中还可以通过对图像进行Laplacian变换，处理后得到红蓝通道二值化图像，以最大程度保留交通标志的颜色特征。另外还有现有技术利用自适应直方图均衡化技术(CLAHE)对图像进行对比对增强处理，同时通过顶底帽联合变换对图像进行颜色增强，凸显出交通标志的颜色和内容，进而提升交通标志识别准确率。针对汽车行驶过程中的拍摄角度导致获取的交通标志图像存在遮挡或变形等情况。现有技术通过对交通标志识别结果置信度的计算，并对聚合后的图像内容来进行识别。
但基于公开数据集和深度学习算法训练得到的模型仅能用于封闭道路交通识别场景中，也就是说，模型只能识别出训练集中存在的那些类别。另外，关于交通标志设计的先验知识(如各国的道路交通标志设计标准)没有被用到。随着深度神经网络模型的不断改进，相关模型的识别准确率虽然有了一定的提升，但是仍处于黑盒状态，依然无法解释其决策的依据。
最后，由于容易采集的数据多数是城区内的道路交通标志数据，如限速、人行道提示等；而对于野外场景中常见到的标志，如注意野生动物的提示等，由于数据采集的难度大，相关类别的样本数量极少甚至完全缺失，导致现有技术公开的道路交通标志数据集存在严重的长尾分布问题。而当前多数模型仅依赖于采集到的数据集来进行训练，因此可能导致模型的预测结果向样本数量多的类别偏斜，很难准确预测样本数量少的类别，以及无法预测训练数据中不存在的类别，可以推断这些的道路标志识别系统在野外开放场景中的性能表现将面临极大的不确定性。也就是说，现有的道路交通标志识别过程中，只能针对数据集中已存在的交通标志，对于数据集中未收录的交通标志，可能无法做出准确的识别，这可能会给驾驶者带来难以估计的损失。
本说明书实施例提供的一种道路交通标志识别方法、设备及存储介质，可以适用于野外开放场景，也可以适用于与野外开放场景类似的具有罕见类道路交通标志的多种场景。
图1为本说明书实施例提供的一种道路交通标志识别方法流程示意图，需要说明的是，本说明书提供的一个或多个实施例中的执行主体可以是服务器，也可以是其他具备处理能力的设备，本申请对此不作具体限定。如图1所示，主要包括以下步骤：
步骤S102，在车辆运行时，采集道路交通实景图像，获取道路交通实景图象中的道路交通标志实景图像。
车辆运行时，采集运行过程中经过的道路实景图像，通常情况下，此时采集到的道路实景图像为真实的街景图像数据，在街景图像数据中包括道路交通标志实景图像，还包括其他图像数据，如数目和建筑物等。需要说明的是，一般情况下，道路交通标志实景图象的像素面积在整个街景图象中占比很小，因此需要对感兴趣的区域进行提取，也就是提取道路交通标志实景图像。
步骤S104，将道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出道路交通标志实景图像对应的语义信息描述，其中，道路交通识别模型是基于零样本学习机制训练得到的，且道路交通标志识别模型为语义自编码模型，语义信息描述用于对交通标志类别进行解释。
具体地，步骤S104具体包括：道路交通标志识别模型，是在自编码算法的基础上对模型优化目标进行修正，并在损失函数上增加对模型参数的L2范式约束条件之后得到的。道路交通标志识别模型的优化目标为：
Figure BDA0003085822630000071
Figure BDA0003085822630000072
道路交通标志识别的损失函数为：
Figure BDA0003085822630000073
其中，X表示的是所述道路交通标志图像的视觉特征向量，W表示的是从所述视觉特征映射到道路交通标志图像对应的所述语义信息的权重参数，WT表示的是通过所述语义信息重构得到所述视觉特征向量的权重参数，其中WT是W的转置，S表示是所述语义信息的特征向量，X表示原始视觉特征，
Figure BDA0003085822630000074
表示重构之后的视觉特征。
在本说明书的一个实施例中，将采集到的道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出道路交通标志实景图像对应的语义信息描述。
在本说明书的一个实施例中，道路交通标志识别模型基于零样本学习机制训练得到，本领域技术人员需要明确的是，机器学习中的大多数方法是通过有标签的训练集进行学习，侧重于对已经在训练中出现过标签类别的样本进行分类。然而在现实场景中，许多任务需要对以前从未见过的实例类别进行分类，这样就使得原有训练方法不再适用。零样本学习因此孕育而生，该方法的训练实例所涉及的类与测试集中要分类的类是不相交的，完全不同，即根据训练集中的可见类别数据，通过相关先验知识，实现对未见类别的数据，进行类别预测和识别。
在本说明书的一个实施例中，道路交通标志识别模型为附加L2范式约束条件的语义自编码模型。需要说明的是，道路交通标志识别模型是在自编码算法(SAE，SemanticAutoencoder)的基础上对模型优化目标进行修正，并在损失函数上增加对模型参数的L2范式约束条件之后得到的。
需要说明的是，现有技术中关于交通标志的识别模型大多数是基于有监督学习的图像识别技术，在对模型进行训练的数据中只需要使用图像和类别标签就能够对训练过的类别进行识别。为了能够根据已学习的先验知识对罕见类的准确识别，本申请基于自编码算法(SAE，Semantic Autoencoder)提出了SAE-L2模型。本领域技术人员需要明确的是，根据统计机器学习理论可知，机器学习算法如果基于结构风险最小化来设计其目标优化函数，训练得到的模型的泛化能力通常比只考虑经验风险的情况更好。而零样本学习提出的自编码算法(SAE)是基于经验风险最小化进行设计的，虽然这种方式操作简单，但是也造成了模型容易出现过拟合的问题。为了解决该问题，本申请在其基础上对原有的模型优化目标进行了修正，在其代价函数上显示地增加了对模型参数的L2范式约束条件，从而使得优化目标从经验风险最小化转变为结构风险最小化，从理论上保证了训练后的模型将具有更好的泛化能力。
其中，道路交通标志识别模型的优化目标为：
Figure BDA0003085822630000081
其中，X表示的是道路交通标志图像的视觉特征向量，W表示的是从视觉特征映射到道路交通标志图像对应的语义信息的权重参数，WT表示的是通过语义信息重构得到视觉特征向量的权重参数，其中WT是W的转置，S表示是语义信息的特征向量，对视觉特征向量进行编码时可得到等式关系WX＝S，同理，在对视觉特征向量进行重构的过程中可得到等式关系
Figure BDA0003085822630000091
原始道路交通标志图像的视觉特征向量X和重构之后的视觉特征
Figure BDA0003085822630000092
的误差平方和
Figure BDA0003085822630000093
代表经验风险；由于原有的SAE模型在结构风险中只考虑了从原始视觉特征到语义空间的映射与潜在语义嵌入之间的误差平方和(即优化目标公式中的前两项)，忽略了参数W的结构风险，因此依然存在过度拟合的可能性。本申请在SAE的基础上增加了对参数W的正则化约束(即优化目标公式中的
Figure BDA0003085822630000094
)。其中通过参数λ和β来对结构风险不同组成部分的比重进行调节，它们的最优取值通过交叉验证的方式来确定。
另外，根据上述优化目标可知，本说明书实施例的模型损失函数如下：
Figure BDA0003085822630000095
由
WX＝S
可将损失函数化简为：
Figure BDA0003085822630000096
最小化损失函数，首先，对损失函数进行矩阵的迹运算得：
Figure BDA0003085822630000097
然后对损失函数进行求导，得到等式如下：
Figure BDA0003085822630000098
令导数
Figure BDA0003085822630000099
为0，得到方程如下：
-S(XT-STW)+λ(WX-S)XT+βW＝0
通过化简可表示为：
(SST+β)W+W(λXXT)＝(1+λ)SXT
令
Figure BDA0003085822630000101
进而可以将上述等式改写为Sylvester等式的形式：
AW+WB＝C
利用Bartels-Stewart算法即可对上述等式进行求解，得到最优权重参数W。而Bartels-Stewart算法已在Matlab中集成，因此可以直接调用求解出模型参数。算法1给出了通过Matlab实现本发明的关键代码。
Figure BDA0003085822630000102
具体地，在步骤S104之前，方法还包括：建立初始的道路交通标志识别模型；构建道路交通标志的语义信息数据集；将语义信息数据集输入至初始的道路交通标志识别模型中，对初始的道路交通标志识别模型进行训练，确定出符合条件的道路交通识别模型。其中，构建道路交通标志的语义信息数据集，具体包括：采集道路交通标志的图像数据，形成道路交通标志数据集；获取道路交通标志数据集中的道路交通标志的属性描述，为道路交通标志增加语义描述信息，构建交通标志类别的语义信息数据集。为道路交通标志增加语义描述信息具体包括：从形状、颜色、图标、字符以及功能中的一项或多项，对交通标志进行语义描述，确定出道路交通标志对应语义描述信息。
具体地，在步骤S104之前，方法还包括：将语义信息数据集分为训练集和测试集，其中，训练集中的样本数据为模型训练时的可见类样本，测试集中的样本数据为模型训练时的未可见类样本；将训练集中的样本数据输入至初始的道路交通标志识别模型，输出各样本对应的语义信息描述向量，以便初始的道路交通标志识别模型根据误差反馈调整参数，训练得到待测试的道路交通标志识别模型；将测试集中的样本数据输入至待测试的道路交通标志识别模型，输出测试样本对应的语义信息描述向量，将语义信息描述向量与语义信息数据集中预先设定的语义信息描述向量进行相似度比较，若相似度比较结果符合预设条件，则待测试的道路交通标志识别模型为符合条件的道路交通标志识别模型。
在本说明书的一个实施例中，在将道路交通标志实景图像输入至预先训练的道路交通识别模型进行识别之前，需要建立初始的道路交通标志识别模型，构建道路交通标志的语义信息数据集。需要说明的是，由于不同国家对于道路交通标志的制定标准与指定规则存在差异，可以在各个国家实地采集道路交通标志的图像数据，形成道路交通标志数据集，本说明书实施例以中国公开的交通标志数据集(CTSDB，Chinese Traffic SignDatabase)为例进行说明。
在本说明书的一个实施例中，形成道路交通标志数据集之后，对道路交通标志数据集进行拓展，获取道路交通标志数据集中的道路交通标志的属性描述，为道路交通标志增加语义描述信息，构建道路交通标志类别的语义信息数据集。在本说明书的一个实施例中，道路交通标志的语义信息数据集是在道路交通标志数据集的基础进行拓展得到的，也就是说，在道路交通标志的语义信息数据集中包括道路交通标志的图像数据，也包括道路交通标志对应类别的语义描述信息。需要说明的是，在为道路交通标志增加语义描述信息时，可以根据道路交通标志制定标准中的描述方式对道路交通标志的类别进行属性描述。基于道路交通标志国家标准的属性描述方法来构建交通标志语义信息数据集，具有良好的可扩展性，可有效应对交通标志的动态更新问题。
在本说明书的一个实施例中，由于本申请需要基于零样本学习机制训练道路交通标志识别模型，而零样本学习本质上是一种特殊的迁移学习，也就是通过在训练过程中学习可见类样本中视觉特征和语义信息之间的联系，以达到在测试时对未见类的测试样本进行准确识别。因此，本说明书实施例需要构建道路交通标志各个类别的语义描述信息，使用二值属性描述的方式，分别从形状、颜色、图标、字符、功能五个方面对道路交通标志进行语义描述，并在每一个大类别里对具体的属性描述进行细化。以中国公开的CTSDB数据集为例，基于国家标准局发布的“GB5768.2—2009”设计了31种属性用于描述CTSDB中的交通标志，如图2所示。
另外，不管是采集道路交通标志实景图像还是获取道路交通标志数据集中的交通标志图像，都需要对得到的交通标志图像进行预处理。本说明书的一个实施例中，使用残差神经网络(ResNet)框架对交通标志图像中的视觉特征进行提取，对每个交通标志图像进行特性提取后得到2048维的视觉特征向量。
在本说明书的一个实施例中，在建立初始的道路交通标志识别模型，构建道路交通标志的语义信息数据集之后，将语义信息数据集中的样本数据输入至初始的道路交通标志识别模型中，对初始的道路交通标志识别模型进行训练。
在本说明书的一个实施例中，对初始的道路交通标志识别模型的训练过程如下：首先，将语义信息数据集分为训练集和测试集，其中训练集中的样本数据为模型训练时的可见类样本，测试集中的样本数据为模型训练时的未可见类样本。以CTSDB数据集为例，首先将构建好的CTSDB语义数据集划分训练集和测试集。训练集中的样本均为可见类，测试集中的样本都属于未见类。需要说明的是，测试集中的样本可以是训练集中出现过的类别，也可以是训练集中没有出现过的类别。为了更好的测试出模型的训练效果，在划分可见类和未见类时可以按照7：3的比例对总共58个类别进行划分，可见类和未见类均为随机得到，需要说明的是，在CTSDB数据集中存在58种交通标志，也就是58个类别。
其次，将训练集中的交通标志图像输入至初始道路交通标志识别模型中，输出对应各个样本对应的语义信息描述向量，由于在训练集中的样本数据在模型训练过程中属于可见类样本，可以根据输出的语义信息描述与测试集中样本对应类别的语义信息确定误差，根据误差反馈调整模型参数，得到待测试的道路交通标志识别模型。
在得到待测试的道路交通标志识别模型之后，需要对模型进行测试。将测试集中的道路交通标志图像输入至待测试的道路交通识别模型中，输出道路交通标志图像对应的语义信息描述向量，将该语义信息描述向量与语义信息数据中的预先设定的语义信息描述向量进行相似度比较，若相似度比较结果符合预设条件，则待测试的道路交通标志识别模型为符合条件的道路交通标志识别模型。
在本说明书的一个实施例中，在车辆运行过程中，采集道路交通标志实景图像，对获取的道路交通标志实景图像进行特征提取，得到对应图像的视觉特征向量。然后，将交通标志实景图像输入至训练好的道路交通标志识别模型中，由于该模型在训练过程中学习了从交通标志图像到类别对应的语义信息之间的映射关系，在输入交通标志图像后输出该图像对应的语义信息描述向量，将该语义信息描述向量与预先设定的语义数据集中各个类别对应的语义信息描述向量进行相似度比较，相似度最高的那个语义信息描述向量所对应的类别即为测试样本的类别。利用零样本学习机制设计了一种通用的解决方案用于解决相关数据集面临的类别标签不全和数据采集成本高的问题，使得模型具备一定的推理能力，能够有预测数据集中不存在的类别；另外，现有技术中基于深度学习的端到端模型虽然可以给出类别预测，但是无法解释为什么做出这样的决策，而基于本说明书实施例中训练得到的模型可以根据类别的语义信息对其决策结果进行解释，有效提升了模型的可解释性。
另外，需要说明的是，本说明书针对野外开放场景下的一种道路交通标志识别方法，基于零样本学习机制提出了SAE-L2模型来对未见类进行识别。以CTSDB数据集为例，CTSDB数据集共有58种交通标志，其中将可见类设定为40种，未见类设定为18种，具体样本数如表1所示。
表1 CTSDB数据集内容
Figure BDA0003085822630000141
为了验证模型，在CTSDB数据集中分别使用了SAE模型和SAE-L2模型进行测试，附加L2正则化约束条件后的SAE-L2模型相比原始的SAE模型，如表2所示的实验结果表明，在CTSDB数据集上零样本学习能够对未见类有更高的识别准确率。从表2中可以推断出，对SAE的优化目标加入L2正则化约束是有必要同时也是非常有效的，其能够较好地提高模型的泛化能力。
表2 SAE和SAE-L2在测试集上的top-1识别准确率
Figure BDA0003085822630000142
因此，SAE-L2模型在对未见类的识别有较高的识别效率，模型的训练效率同SAE的网络结构一致，如图3所示，SAE-L2同样使用的是浅层神经网络，相比基于深度学习的零样本学习算法，SAE-L2通过求解Sylvester等式来得到模型参数的做法在效率上要高得多。也就是说，SAE-L2继承了SAE的快速训练能力，因此本申请的SAE-L2模型在模型训练效率上具有巨大的优势。
图4给出了本说明书实施例提供的另一种道路交通标志识别方法流程图，步骤如下：
步骤S402，采集道路交通标志的图像数据。
在本说明书的一个实施例中，采集道路交通标志的图像数据包括在各个国家实地采集道路交通标志数据，根据采集到的道路交通标志数据构建道路交通标志数据集，在本申请中，可以是中国公开的CTSDB数据集。
步骤S404，构建道路交通标志的语义信息。
在本说明书的一个实施例中，对道路交通标志数据集进行拓展，根据道路交通标志制定标准为所有的交通标志增加语义描述信息。在本申请中，构建道路交通标志各个类别的语义描述信息，使用二值属性描述的方式，分别从形状、颜色、图标、字符、功能五个方面对道路交通标志进行语义描述，并在每一个大类别里对具体的属性描述进行细化。
步骤S406，道路交通标志图像预处理。
在本说明书的一个实施例中，通常情况下，采集到的道路实景图像为真实的街景图像数据，在街景图像数据中包括道路交通标志实景图像，还包括其他图像数据，如数目和建筑物等。需要说明的是，一般情况下，道路交通标志实景图象的像素面积在整个街景图象中占比很小，因此需要对感兴趣的区域进行提取，也就是提取道路交通标志实景图像。
不管是采集道路交通标志实景图像还是获取道路交通标志数据集中的交通标志图像，都需要对得到的交通标志图像进行预处理。本说明书的一个实施例中，使用残差神经网络(ResNet)框架对交通标志图像中的视觉特征进行提取，对每个交通标志图像进行特性提取后得到2048维的视觉特征向量。
步骤S408，SAE-L2模型训练。
在本说明书的一个实施例中，对初始的道路交通标志识别模型的训练过程如下：首先，将语义信息数据集分为训练集和测试集，其中训练集中的样本数据为模型训练时的可见类样本，测试集中的样本数据为模型训练时的未可见类样本。以CTSDB数据集为例，首先将构建好的CTSDB语义数据集划分训练集和测试集。训练集中的样本均为可见类，测试集中的样本都属于未见类。需要说明的是，测试集中的样本可以是训练集中出现过的类别，也可以是训练集中没有出现过的类别。为了更好的测试出模型的训练效果，在划分可见类和未见类时可以按照7：3的比例对总共58个类别进行划分，可见类和未见类均为随机得到，需要说明的是，在CTSDB数据集中存在58种交通标志，也就是58个类别。
其次，将训练集中的交通标志图像输入至初始道路交通标志识别模型中，输出对应各个样本对应的语义信息描述向量，由于在训练集中的样本数据在模型训练过程中属于可见类样本，可以根据输出的语义信息描述与测试集中样本对应类别的语义信息确定误差，根据误差反馈调整模型参数，得到待测试的道路交通标志识别模型。
图5为本说明书实施例提供的一种道路交通标志识别设备的结构示意图。一种道路交通标志识别设备，包括：
至少一个处理器；以及，
与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以至少一个处理器能够：在车辆运行时，采集道路交通实景图像，获取道路交通实景图象中的道路交通标志实景图像；将道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出道路交通标志实景图像对应的交通标志类别和语义信息描述，其中，道路交通识别模型是基于零样本学习机制训练得到的，且道路交通标志识别模型为语义自编码模型，语义信息描述用于对交通标志类别进行解释。
本说明书实施例还提供一种存储介质，存储有计算机可执行指令，计算机可执行指令设置为：在车辆运行时，采集道路交通实景图像，获取道路交通实景图象中的道路交通标志实景图像；将道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出道路交通标志实景图像对应的交通标志类别和语义信息描述，其中，道路交通识别模型是基于零样本学习机制训练得到的，且道路交通标志识别模型为语义自编码模型，语义信息描述用于对交通标志类别进行解释。
本说明书的一个或多个实施例通过提出一种基于道路交通标志国家标准的属性描述方法来构建道路交通标志语义信息数据集，具有良好的可扩展性，可有效应对交通标志的动态更新问题。另外，本申请利用零样本学习机制解决相关数据集面临的类别标签不全和数据采集成本高的问题，使得模型具备一定的推理能力，能够有预测数据集中不存在的类别。此外，根据本说明书实施例中训练得到的模型可以根据类别的语义信息对其决策结果进行解释，有效提升了模型的可解释性。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、设备、非易失性计算机存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
以上所述仅为本说明书的一个或多个实施例而已，并不用于限制本说明书。对于本领域技术人员来说，本说明书的一个或多个实施例可以有各种更改和变化。凡在本说明书的一个或多个实施例的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本说明书的权利要求范围之内。

Claims (10)

1.一种道路交通标志识别方法，其特征在于，所述方法包括：
在车辆运行时，采集道路交通实景图像，获取所述道路交通实景图象中的道路交通标志实景图像；
将所述道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出所述道路交通标志实景图像对应的语义信息描述，其中，所述道路交通识别模型是基于零样本学习机制训练得到的，且所述道路交通标志识别模型为语义自编码模型，所述语义信息描述用于对交通标志类别进行解释。
2.根据权利要求1所述的一种道路交通标志识别方法，其特征在于，在所述将所述道路交通标志图像输入至预先训练的道路交通识别模型之前，所述方法还包括：
建立初始的道路交通标志识别模型；
构建道路交通标志的语义信息数据集；
将所述语义信息数据集输入至所述初始的道路交通标志识别模型中，对所述初始的道路交通标志识别模型进行训练，确定出符合条件的所述道路交通识别模型。
3.根据权利要求2所述的一种道路交通标志识别方法，其特征在于，所述构建道路交通标志的语义信息数据集，具体包括：
采集道路交通标志的图像数据，形成道路交通标志数据集；
获取所述道路交通标志数据集中的道路交通标志的属性描述，为所述道路交通标志增加语义描述信息，构建所述交通标志类别的语义信息数据集。
4.根据权利要求3所述的一种道路交通标志识别方法，其特征在于，所述为所述道路交通标志增加语义描述信息，具体包括：
从形状、颜色、图标、字符以及功能中的一项或多项，对所述交通标志进行语义描述，确定出所述道路交通标志对应语义描述信息。
5.根据权利要求2所述的一种道路交通标志识别方法，其特征在于，所述将所述语义信息数据集输入至所述初始的道路交通标志识别模型中，对所述初始的道路交通标志识别模型进行训练，具体包括：
将所述语义信息数据集分为训练集和测试集，其中，所述训练集中的样本数据为模型训练时的可见类样本，所述测试集中的样本数据为模型训练时的未可见类样本；
将所述训练集中的样本数据输入至所述初始的道路交通标志识别模型，输出各样本对应的语义信息描述向量，以便所述初始的道路交通标志识别模型根据误差反馈调整参数，训练得到待测试的道路交通标志识别模型；
将所述测试集中的样本数据输入至所述待测试的道路交通标志识别模型，输出测试样本对应的语义信息描述向量，将所述语义信息描述向量与所述语义信息数据集中预先设定的语义信息描述向量进行相似度比较，若所述相似度比较结果符合预设条件，则所述待测试的道路交通标志识别模型为符合条件的道路交通标志识别模型。
6.根据权利要求1所述的一种道路交通标志识别方法，其特征在于，所述道路交通标志识别模型，是在自编码算法的基础上对模型优化目标进行修正，并在损失函数上增加对模型参数的L2范式约束条件之后得到的。
7.根据权利要求1所述的一种道路交通标志识别方法，其特征在于，所述道路交通标志识别模型的优化目标为：
Figure FDA0003085822620000021
s.t.WX＝S，
Figure FDA0003085822620000022
其中，X表示的是所述道路交通标志图像的视觉特征向量，W表示的是从所述视觉特征映射到道路交通标志图像对应的所述语义信息的权重参数，WT表示的是通过所述语义信息重构得到所述视觉特征向量的权重参数，其中WT是W的转置，S表示是所述语义信息的特征向量，X表示原始视觉特征，
Figure FDA0003085822620000023
表示重构之后的视觉特征。
8.根据权利要求1所述的一种道路交通标志识别方法，其特征在于，所述道路交通标志识别的损失函数为：
Figure FDA0003085822620000031
WX＝S，
Figure FDA0003085822620000032
其中，X表示的是所述道路交通标志图像的视觉特征向量，W表示的是从所述视觉特征映射到道路交通标志图像对应的所述语义信息的权重参数，WT表示的是通过所述语义信息重构得到所述视觉特征向量的权重参数，其中WT是W的转置，S表示是所述语义信息的特征向量，X表示原始视觉特征，
Figure FDA0003085822620000033
表示重构之后的视觉特征。
9.一种道路交通标志识别设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
在车辆运行时，采集道路交通实景图像，获取所述道路交通实景图象中的道路交通标志实景图像；
将所述道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出所述道路交通标志实景图像对应的交通标志类别和语义信息描述，其中，所述道路交通识别模型是基于零样本学习机制训练得到的，且所述道路交通标志识别模型为语义自编码模型，所述语义信息描述用于对交通标志类别进行解释。
10.一种存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：在车辆运行时，采集道路交通实景图像，获取所述道路交通实景图象中的道路交通标志实景图像；
将所述道路交通标志实景图像输入至预先训练的道路交通识别模型中，识别出所述道路交通标志实景图像对应的交通标志类别和语义信息描述，其中，所述道路交通识别模型是基于零样本学习机制训练得到的，且所述道路交通标志识别模型为语义自编码模型，所述语义信息描述用于对交通标志类别进行解释。
CN202110580335.5A 2021-05-26 2021-05-26 一种道路交通标志识别方法、设备及存储介质 Pending CN113221814A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110580335.5A CN113221814A (zh) 2021-05-26 2021-05-26 一种道路交通标志识别方法、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110580335.5A CN113221814A (zh) 2021-05-26 2021-05-26 一种道路交通标志识别方法、设备及存储介质

Publications (1)

Publication Number Publication Date
CN113221814A true CN113221814A (zh) 2021-08-06

Family

ID=77098936

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110580335.5A Pending CN113221814A (zh) 2021-05-26 2021-05-26 一种道路交通标志识别方法、设备及存储介质

Country Status (1)

Country Link
CN (1) CN113221814A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780148A (zh) * 2021-09-06 2021-12-10 京东鲲鹏(江苏)科技有限公司 交通标志图像识别模型训练方法和交通标志图像识别方法
CN115494959A (zh) * 2022-11-15 2022-12-20 四川易景智能终端有限公司 一种多功能智能头盔及其管理平台

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463551B2 (en) * 2009-11-17 2013-06-11 Schlumberger Technology Corporation Consistent dip estimation for seismic imaging
CN105590088A (zh) * 2015-09-17 2016-05-18 重庆大学 一种基于稀疏自编码和稀疏表示进行交通标志识别的方法
US20180137360A1 (en) * 2016-11-11 2018-05-17 Qualcomm Incorporated Unified embedding with metric learning for zero-exemplar event detection
CN110189330A (zh) * 2019-04-08 2019-08-30 杭州电子科技大学 一种基于深度学习的背景去除的方法
CN110427967A (zh) * 2019-06-27 2019-11-08 中国矿业大学 基于嵌入式特征选择语义自编码器的零样本图像分类方法
CN110582777A (zh) * 2017-05-05 2019-12-17 赫尔实验室有限公司 借助于联合稀疏表示的零样本机器视觉系统
CN112418257A (zh) * 2019-08-22 2021-02-26 四川大学 一种有效的基于潜在视觉属性挖掘的零样本学习方法
CN112560670A (zh) * 2020-12-15 2021-03-26 武汉大学 一种基于深度学习的交通标志符号与文本的检测识别方法及装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8463551B2 (en) * 2009-11-17 2013-06-11 Schlumberger Technology Corporation Consistent dip estimation for seismic imaging
CN105590088A (zh) * 2015-09-17 2016-05-18 重庆大学 一种基于稀疏自编码和稀疏表示进行交通标志识别的方法
US20180137360A1 (en) * 2016-11-11 2018-05-17 Qualcomm Incorporated Unified embedding with metric learning for zero-exemplar event detection
CN110582777A (zh) * 2017-05-05 2019-12-17 赫尔实验室有限公司 借助于联合稀疏表示的零样本机器视觉系统
CN110189330A (zh) * 2019-04-08 2019-08-30 杭州电子科技大学 一种基于深度学习的背景去除的方法
CN110427967A (zh) * 2019-06-27 2019-11-08 中国矿业大学 基于嵌入式特征选择语义自编码器的零样本图像分类方法
CN112418257A (zh) * 2019-08-22 2021-02-26 四川大学 一种有效的基于潜在视觉属性挖掘的零样本学习方法
CN112560670A (zh) * 2020-12-15 2021-03-26 武汉大学 一种基于深度学习的交通标志符号与文本的检测识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
本刊编辑部;: "青年科学家和创业者眼中的新技术", 机器人技术与应用, no. 05 *
陈祥凤: "度量学习改进语义自编码零样本分类算法", 《北京邮电大学学报》, vol. 41, no. 4, pages 69 - 75 *
陈祥凤;陈雯柏;: "度量学习改进语义自编码零样本分类算法", 北京邮电大学学报, no. 04, pages 69 - 75 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113780148A (zh) * 2021-09-06 2021-12-10 京东鲲鹏(江苏)科技有限公司 交通标志图像识别模型训练方法和交通标志图像识别方法
CN115494959A (zh) * 2022-11-15 2022-12-20 四川易景智能终端有限公司 一种多功能智能头盔及其管理平台

Similar Documents

Publication Publication Date Title
CN109902732B (zh) 车辆自动分类方法及相关装置
CN107563372B (zh) 一种基于深度学习ssd框架的车牌定位方法
CN110263786B (zh) 一种基于特征维度融合的道路多目标识别系统及方法
CN112116599B (zh) 基于弱监督学习的痰涂片结核杆菌语义分割方法及系统
CN112395951B (zh) 一种面向复杂场景的域适应交通目标检测与识别方法
Atif et al. A review on semantic segmentation from a modern perspective
Isobe et al. Deep convolutional encoder-decoder network with model uncertainty for semantic segmentation
CN111126115A (zh) 暴力分拣行为识别方法和装置
US11695898B2 (en) Video processing using a spectral decomposition layer
CN114202743A (zh) 自动驾驶场景下基于改进faster-RCNN的小目标检测方法
CN110111365B (zh) 基于深度学习的训练方法和装置以及目标跟踪方法和装置
CN113221814A (zh) 一种道路交通标志识别方法、设备及存储介质
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN117611932A (zh) 基于双重伪标签细化和样本重加权的图像分类方法及系统
CN115439715A (zh) 基于反标签学习的半监督少样本图像分类学习方法及系统
CN116433909A (zh) 基于相似度加权多教师网络模型的半监督图像语义分割方法
CN118135209A (zh) 一种基于形状块语义关联度的弱监督语义分割方法
CN107392246A (zh) 一种基于特征模型到背景模型距离的背景建模方法
CN112750128A (zh) 图像语义分割方法、装置、终端及可读存储介质
CN111160282A (zh) 一种基于二值化Yolov3网络的红绿灯检测方法
CN114092818B (zh) 语义分割方法、装置、电子设备及存储介质
He et al. Latent topic random fields: Learning using a taxonomy of labels
CN114005002B (zh) 基于核操作的核全连接神经网络的图像识别方法
Norelyaqine et al. Architecture of Deep Convolutional Encoder‐Decoder Networks for Building Footprint Semantic Segmentation
Li et al. Prediction model of urban street public space art design indicators based on deep convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20211011

Address after: 3 / F, xindongyuan North building, 3501 Chengfu Road, Haidian District, Beijing 100083

Applicant after: HUARUI XINZHI TECHNOLOGY (BEIJING) Co.,Ltd.

Applicant after: Huarui Xinzhi Baoding Technology Co.,Ltd.

Address before: Room 91818, floor 9, building 683, zone 2, No. 5, Zhongguancun South Street, Haidian District, Beijing 100081

Applicant before: HUARUI XINZHI TECHNOLOGY (BEIJING) Co.,Ltd.

TA01 Transfer of patent application right