CN112052778A - 一种交通标志识别方法以及相关装置 - Google Patents
一种交通标志识别方法以及相关装置 Download PDFInfo
- Publication number
- CN112052778A CN112052778A CN202010903767.0A CN202010903767A CN112052778A CN 112052778 A CN112052778 A CN 112052778A CN 202010903767 A CN202010903767 A CN 202010903767A CN 112052778 A CN112052778 A CN 112052778A
- Authority
- CN
- China
- Prior art keywords
- information
- image
- target
- traffic sign
- driving
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Artificial Intelligence (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
本申请公开了一种基于神经网络的交通标志识别方法以及相关装置，涉及人工智能的深度学习技术。通过获取行驶信息，行驶信息包含多个行驶图像；然后确定行驶图像中的目标交通标志和置信信息；并基于目标交通标志对行驶图像进行聚合，以得到分组信息；当置信度满足预设条件时，则确定分组信息对应的标志信息为目标交通标志的标志信息。从而实现交通标志的自动识别过程，由于采用目标交通标志聚合后的信息进行标志判断，避免了由于短时的环境影响造成的识别障碍，提高了交通标志识别的准确性。
Description
技术领域
本申请涉及计算机技术领域，尤其涉及一种交通标志识别方法以及相关装置。
背景技术
随着人工智能的迅速发展，越来越多的智能识别装置出现在人们的生活中，例如在交通运输过程中，可以采用人工智能进行交通标志的识别，进而发出相应的提醒。
一般，交通标识牌的识别方法主要是基于传统特征的识别算法。即基于传统特征的识别算法利用具有斜线特征的线段从所述拍摄图像中查找到三角形标志或圆形标志；依据查找出的三角形标志或圆形标志，然后使用模板匹配的方法识别出警告类或禁止类的道路交通标志。
但是，上述利用具有斜线特征的线段来检测交通标识牌的方法，在交通标志发生遮挡、形变、旋转等情况下识别准确度较低，容易受到环境因素的影响，进而影响交通标志识别的准确性。
发明内容
有鉴于此，本申请提供一种交通标志识别方法，可以有效提高交通标志识别的准确性。
本申请第一方面提供一种交通标志识别方法，可以应用于终端设备中包含交通标志的识别功能的系统或程序中，具体包括：
获取行驶信息，所述行驶信息包含多个行驶图像；
确定所述行驶图像中的目标交通标志和置信信息；
基于所述目标交通标志对所述行驶图像进行聚合，以得到分组信息，所述分组信息用于指示包含所述目标交通标志的行驶图像集合，所述分组信息包含基于所述置信信息确定的置信度；
若所述置信度满足预设条件，则确定所述分组信息对应的标志信息为所述目标交通标志的标志信息。
可选的，在本申请一些可能的实现方式中，所述确定所述行驶图像中的目标交通标志和置信信息，包括：
将所述行驶图像输入目标检测模型中的第一检测网络，以得到所述行驶图像的形状信息，所述目标检测模型包括所述第一检测网络和第二检测网络；
基于所述形状信息对所述行驶图像进行筛选，以得到筛选图像；
将所述筛选图像输入所述目标检测模型中的所述第二检测网络，以确定所述行驶图像中的所述目标交通标志和所述置信信息。
可选的，在本申请一些可能的实现方式中，所述将所述筛选图像输入所述目标检测模型中的所述第二检测网络，以确定所述行驶图像中的所述目标交通标志和所述置信信息，包括：
确定所述筛选图像对应的前序检测框；
对所述前序检测框进行扰动，以得到输入检测框；
将所述输入检测框内的图像输入所述目标检测模型中的所述第二检测网络，以确定所述行驶图像中的所述目标交通标志和所述置信信息。
可选的，在本申请一些可能的实现方式中，所述对所述前序检测框进行扰动，以得到输入检测框，包括：
确定检测框扰动参数；
根据所述检测框扰动参数向预设方向进行扰动，以得到所述输入检测框。
可选的，在本申请一些可能的实现方式中，所述方法还包括：
获取第一训练样本集和第二训练样本集；
基于训练扰动参数对所述第一训练样本集中的样本和所述第二训练样本集中的样本进行更新；
基于更新后的所述第一训练样本集对所述第一检测网络进行训练；
基于更新后的所述第二训练样本集对所述第二检测网络进行训练。
可选的，在本申请一些可能的实现方式中，所述基于所述目标交通标志对所述行驶图像进行聚合，以得到分组信息，包括：
确定所述目标交通标志在所述行驶图像中的位置信息；
基于所述位置信息对所述行驶图像进行聚合，以得到所述分组信息。
可选的，在本申请一些可能的实现方式中，所述基于所述目标交通标志对所述行驶图像进行聚合，以得到分组信息，包括：
确定包含所述目标交通标志的目标图像；
根据所述目标图像确定目标场景组，所述目标场景组包含的图像数量基于候选范围设定；
依次将所述候选范围内的所述行驶图像与所述目标图像进行比对，以得到所述分组信息。
可选的，在本申请一些可能的实现方式中，所述确定包含所述目标交通标志的目标图像，包括：
确定包含所述目标交通标志的图像组；
基于展示信息确定所述图像组中的所述目标图像，所述展示信息包括图像大小、图像完整度或图像置信度确定。
可选的，在本申请一些可能的实现方式中，所述依次将所述候选范围内的所述行驶图像与所述目标图像进行比对，以得到所述分组信息，包括：
确定与所述目标图像相邻的候选图像；
基于所述候选图像与所述目标图像之间的距离信息进行识别，以确定与所述目标图像同类别的相邻图像；
根据所述目标图像和所述相邻图像得到所述分组信息。
可选的，在本申请一些可能的实现方式中，所述方法还包括：
确定所述目标场景组中指示的目标类别；
基于所述目标类别对所述目标场景组中的差异项进行类别更新。
可选的，在本申请一些可能的实现方式中，所述获取行驶信息，包括：
获取预设采样信息，所述预设采样信息包括采样间隔，所述采样间隔基于目标车辆的行驶速度确定；
基于所述采样信息对所述目标车辆的行驶过程进行采集，以得到所述行驶信息。
可选的，在本申请一些可能的实现方式中，所述行驶信息为行驶视频或包含多个相邻帧的行驶图像集合，所述目标检测模型为卷积神经网络，所述目标交通标志的标志信息用于对道路数据库进行更新。
本申请第二方面提供一种交通标志的识别装置，包括：获取单元，用于获取行驶信息，所述行驶信息包含多个行驶图像；
检测单元，用于确定所述行驶图像中的目标交通标志和置信信息；
聚合单元，用于基于所述目标交通标志对所述行驶图像进行聚合，以得到分组信息，所述分组信息用于指示包含所述目标交通标志的行驶图像集合，所述分组信息包含基于所述置信信息确定的置信度；
识别单元，用于若所述置信度满足预设条件，则确定所述分组信息对应的标志信息为所述目标交通标志的标志信息。
可选的，在本申请一些可能的实现方式中，所述检测单元，具体用于将所述行驶图像输入目标检测模型中的第一检测网络，以得到所述行驶图像的形状信息，所述目标检测模型包括所述第一检测网络和第二检测网络；
所述检测单元，具体用于基于所述形状信息对所述行驶图像进行筛选，以得到筛选图像；
所述检测单元，具体用于将所述筛选图像输入所述目标检测模型中的所述第二检测网络，以确定所述行驶图像中的所述目标交通标志和所述置信信息。
可选的，在本申请一些可能的实现方式中，所述检测单元，具体用于确定所述筛选图像对应的前序检测框；
所述检测单元，具体用于对所述前序检测框进行扰动，以得到输入检测框；
所述检测单元，具体用于将所述输入检测框内的图像输入所述目标检测模型中的所述第二检测网络，以确定所述行驶图像中的所述目标交通标志和所述置信信息。
可选的，在本申请一些可能的实现方式中，所述检测单元，具体用于确定检测框扰动参数；
所述检测单元，具体用于根据所述检测框扰动参数向预设方向进行扰动，以得到所述输入检测框。
可选的，在本申请一些可能的实现方式中，所述检测单元，具体用于获取第一训练样本集和第二训练样本集；
所述检测单元，具体用于基于训练扰动参数对所述第一训练样本集中的样本和所述第二训练样本集中的样本进行更新；
所述检测单元，具体用于基于更新后的所述第一训练样本集对所述第一检测网络进行训练；
所述检测单元，具体用于基于更新后的所述第二训练样本集对所述第二检测网络进行训练。
可选的，在本申请一些可能的实现方式中，所述聚合单元，具体用于确定所述目标交通标志在所述行驶图像中的位置信息；
所述聚合单元，具体用于基于所述位置信息对所述行驶图像进行聚合，以得到所述分组信息。
可选的，在本申请一些可能的实现方式中，所述聚合单元，具体用于确定包含所述目标交通标志的目标图像；
所述聚合单元，具体用于根据所述目标图像确定目标场景组，所述目标场景组包含的图像数量基于候选范围设定；
所述聚合单元，具体用于依次将所述候选范围内的所述行驶图像与所述目标图像进行比对，以得到所述分组信息。
可选的，在本申请一些可能的实现方式中，所述聚合单元，具体用于确定包含所述目标交通标志的图像组；
所述聚合单元，具体用于基于展示信息确定所述图像组中的所述目标图像，所述展示信息包括图像大小、图像完整度或图像置信度确定。
可选的，在本申请一些可能的实现方式中，所述聚合单元，具体用于确定与所述目标图像相邻的候选图像；
所述聚合单元，具体用于基于所述候选图像与所述目标图像之间的距离信息进行识别，以确定与所述目标图像同类别的相邻图像；
所述聚合单元，具体用于根据所述目标图像和所述相邻图像得到所述分组信息。
可选的，在本申请一些可能的实现方式中，所述聚合单元，具体用于确定所述目标场景组中指示的目标类别；
所述聚合单元，具体用于基于所述目标类别对所述目标场景组中的差异项进行类别更新。
可选的，在本申请一些可能的实现方式中，所述获取单元，具体用于获取预设采样信息，所述预设采样信息包括采样间隔，所述采样间隔基于目标车辆的行驶速度确定；
所述获取单元，具体用于基于所述采样信息对所述目标车辆的行驶过程进行采集，以得到所述行驶信息。
本申请第三方面提供一种计算机设备，包括：存储器、处理器以及总线系统；所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行上述第一方面或第一方面任一项所述的交通标志识别方法。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面任一项所述的交通标志识别方法。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述第一方面或者第一方面的各种可选实现方式中提供的交通标志识别方法。
从以上技术方案可以看出，本申请实施例具有以下优点：
通过获取行驶信息，行驶信息包含多个行驶图像；然后确定行驶图像中的目标交通标志和置信信息；并基于目标交通标志对行驶图像进行聚合，以得到分组信息，分组信息用于指示包含目标交通标志的行驶图像集合，分组信息包含基于置信信息确定的置信度；当置信度满足预设条件时，则确定分组信息对应的标志信息为目标交通标志的标志信息。从而实现交通标志的自动识别过程，由于采用目标交通标志聚合后的信息进行标志判断，避免了由于短时的环境影响造成的识别障碍，提高了交通标志识别的准确性。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为交通标志识别系统运行的网络架构图；
图2为本申请实施例提供的一种交通标志的识别的流程架构图；
图3为本申请实施例提供的一种交通标志识别方法的流程图；
图4为本申请实施例提供的一种神经网络的结构示意示意图；
图5为本申请实施例提供的另一种神经网络的结构示意示意图；
图6为本申请实施例提供的一种交通标志识别方法的场景示意图；
图7为本申请实施例提供的另一种交通标志识别方法的流程图；
图8为本申请实施例提供的另一种交通标志识别方法的场景示意图；
图9为本申请实施例提供的另一种交通标志识别方法的流程图；
图10为本申请实施例提供的另一种交通标志识别方法的场景示意图；
图11为本申请实施例提供的另一种交通标志识别方法的场景示意图；
图12为本申请实施例提供的一种交通标志的识别装置的结构示意图；
图13为本申请实施例提供的一种终端设备的结构示意图；
图14为本申请实施例提供的一种服务器的结构示意图。
具体实施方式
本申请实施例提供了一种交通标志识别方法以及相关装置，可以应用于终端设备中包含交通标志的识别功能的系统或程序中，通过获取行驶信息，行驶信息包含多个行驶图像；然后确定行驶图像中的目标交通标志和置信信息；并基于目标交通标志对行驶图像进行聚合，以得到分组信息，分组信息用于指示包含目标交通标志的行驶图像集合，分组信息包含基于置信信息确定的置信度；当置信度满足预设条件时，则确定分组信息对应的标志信息为目标交通标志的标志信息。从而实现交通标志的自动识别过程，由于采用目标交通标志聚合后的信息进行标志判断，避免了由于短时的环境影响造成的识别障碍，提高了交通标志识别的准确性。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“对应于”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应理解，本申请提供的交通标志识别方法可以应用于终端设备中包含交通标志的识别功能的系统或程序中，例如导航系统，具体的，交通标志识别系统可以运行于如图1所示的网络架构中，如图1所示，是交通标志识别系统运行的网络架构图，如图可知，交通标志识别系统可以提供与多个信息源的交通标志的识别过程，即通过不同的终端发送识别请求，对相应的行驶场景进行交通标志的识别；可以理解的是，图1中示出了多种终端设备，在实际场景中可以有更多或更少种类的终端设备参与到交通标志的识别的过程中，具体数量和种类因实际场景而定，此处不做限定，另外，图1中示出了一个服务器，但在实际场景中，也可以有多个服务器的参与，具体服务器数量因实际场景而定。
本实施例中，服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请在此不做限制。
可以理解的是，上述交通标志识别系统可以运行于个人移动终端，例如：作为导航系统这样的应用，也可以运行于服务器，还可以作为运行于第三方设备以提供交通标志的识别，以得到信息源的交通标志的识别处理结果；具体的交通标志识别系统可以是以一种程序的形式在上述设备中运行，也可以作为上述设备中的系统部件进行运行，还可以作为云端服务程序的一种，具体运作模式因实际场景而定，此处不做限定。
人工智能(Artificial Intelligence,AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
随着人工智能的迅速发展，越来越多的智能识别装置出现在人们的生活中，例如在交通运输过程中，可以采用人工智能进行交通标志的识别，进而发出相应的提醒。
一般，交通标识牌的识别方法主要是基于传统特征的识别算法。即基于传统特征的识别算法利用具有斜线特征的线段从所述拍摄图像中查找到三角形标志或圆形标志；依据查找出的三角形标志或圆形标志，然后使用模板匹配的方法识别出警告类或禁止类的道路交通标志。
但是，上述利用具有斜线特征的线段来检测交通标识牌的方法，在交通标志发生遮挡、形变、旋转等情况下识别准确度较低，容易受到环境因素的影响，进而影响交通标志识别的准确性。
为了解决上述问题，本申请提出了一种交通标志识别方法，该方法应用于图2所示的交通标志的识别的流程框架中，如图2所示，为本申请实施例提供的一种交通标志的识别的流程架构图，通过将行驶信息输入目标检测模型进行识别，以得到目标交通标志与置信信息，并基于目标交通标志进行聚合，进而根据聚合后得到的置信度确定目标交通标志识别的准确性，从而避免了外部干扰。
可以理解的是，本申请所提供的方法可以为一种程序的写入，以作为硬件系统中的一种处理逻辑，也可以作为一种交通标志的识别装置，采用集成或外接的方式实现上述处理逻辑。作为一种实现方式，该交通标志的识别装置通过获取行驶信息，行驶信息包含多个行驶图像；然后确定行驶图像中的目标交通标志和置信信息；并基于目标交通标志对行驶图像进行聚合，以得到分组信息，分组信息用于指示包含目标交通标志的行驶图像集合，分组信息包含基于置信信息确定的置信度；当置信度满足预设条件时，则确定分组信息对应的标志信息为目标交通标志的标志信息。从而实现交通标志的自动识别过程，由于采用目标交通标志聚合后的信息进行标志判断，避免了由于短时的环境影响造成的识别障碍，提高了交通标志识别的准确性。
本申请实施例提供的方案涉及人工智能的深度学习技术，具体通过如下实施例进行说明:
结合上述流程架构，下面将对本申请中交通标志识别方法进行介绍，请参阅图3，图3为本申请实施例提供的一种交通标志识别方法的流程图，该管理方法可以是由终端设备执行的，本申请实施例至少包括以下步骤：
301、获取行驶信息。
本实施例中，行驶信息包含多个行驶图像，具体的多个行驶图像可以是行驶视频的相邻视频帧，也可以是基于连续时段间隔拍摄的行驶图像。
可选的，由于车辆的行驶过程中的图像具有相似性，可以降低采样的频率以减小数据量。故可以获取预设采样信息；然后基于采样信息对目标车辆的行驶过程进行采集，以得到行驶信息。其中，预设采样信息包括采样间隔，采样间隔基于目标车辆的行驶速度确定。
在一种可能的场景中，采集的行驶信息可以是图像或者视频，且可利用图像所在的全球定位系统(Global Positioning System，GPS)坐标和行车速度信息进行等距离间隔降采样，以得到进入交通标志牌自动检测识别算法的道路图像主体。降采样的目的是减少交通标志牌的识别候选，提高整个系统运算速度。
可以理解的是，交通标志可以是交通标志牌，也可以是路上的交通标志，例如左转道、右转道等，此处不做限定。
302、确定行驶图像中的目标交通标志和置信信息。
本实施例中，目标交通标志即为对采集到的行驶图像进行图形识别的过程，具体的可以是对预设的多个特定形状进行识别的识别结果，例如三角形、正方形等，并进一步识别其中的交通标志含义；对应的，在识别过程中，还可以包含该识别结果的置信信息，即识别结果的可信度。
具体的，为了提高行驶图像识别的准确度，可以通过目标检测模型进行目标交通标志和置信信息的检测，即通过目标检测模型的检测可以得到行驶图像对应的交通标志，以及该交通标志的置信度(置信信息)，其中，置信度即为样本估计的把握程度，置信度越高说明检测结果越准确。
可选的，对于目标检测模型的组成可以包括第一检测网络和第二检测网络，其中，第一检测网络用于图像筛选，而第二检测网络用于精细检测。
在一种可能的场景中，可以将行驶图像输入第一检测网络，以得到行驶图像的形状信息；然后基于形状信息对行驶图像进行筛选，以得到筛选图像；并将筛选图像输入第二检测网络，以确定行驶图像中的目标交通标志和置信信息，从而提高检测效率。
可以理解的是，形状信息即用于指示标志的外部形状，即存在对应的检测框，故可以首先确定筛选图像对应的前序检测框；然后对前序检测框进行扰动，以得到输入检测框；进而将输入检测框内的图像输入第二检测网络，以确定行驶图像中的目标交通标志和置信信息，从而提高目标检测模型的检测效率。
在一种可能的场景中，第一检测网络为YOLOv3网络YOLO v3网络(You Only LookOnce)是一种基于深度神经网络的对象识别和定位算法，其最大的特点是运行速度很快，可以用于实时检测系统，具体结构如图4所示，图4为本申请实施例提供的一种神经网络的结构示意示意图。具体的，对于YOLOv3的网络输入可以设定为608x608，相当于将原始图像的大小缩小，图像中的牌子也缩小；因而使用YOLOv3实现标牌的检测，是初步确定牌子的位置及候选，即粗检测的过程。
对应的，第二检测网络可以为SSD网络，其具体结构如图5所示，图4为本申请实施例提供的一种神经网络的结构示意示意图。故在通过YOLOv3网络得到交通标志牌的检测框及牌子形状信息后，例如方形、圆形、三角形等不规则形；再利用SSD网络对经过扰动的前序检测框进行精确定位及精细分类，得到交通标志牌的精确检测框及牌子类别。
可选的，为了保证第二检测网络检测过程的准确性，可以对前序检测框进行扰动，例如检测框扰动参数取值范围为0.4-0.9；故首先确定检测框扰动参数；然后根据检测框扰动参数向预设方向进行扰动，以得到输入检测框。
对于YOLOv3网络的场景汇总，使用YOLOv3网络进行粗检测是用于区分道路图像中是否包含交通标志牌，并将有检测结果的内容传输到下一个环节；该环节能大大减少后续算法所需处理的图像量，只保留了含有交通标志牌的图像。进一步的，对YOLOv3网络得到的检测框进行扰动，即将检测框向四个方向扩大；再将扰动得到的检测框内的图像块输入到SSD网络，使用SSD网络得到精确检测框、牌子的细类别与识别置信度。由于SSD网络的输入是前序网络扰动后的检测框内的图像，相当于包含牌子的图像块放大并进行细粒度的检测与分类，此方式能提高牌子的细类别预测的准确度，能提高检测框的位置准确度。
其中，具体的扩展方式因实际场景而定，此处不做限定。
在一种可能的场景中，如图6所示，图6为本申请实施例提供的一种交通标志识别方法的场景示意图；图中示出了检测框A1，并沿检测框的反向进行上下扰动幅度为框高的0.25-0.5倍；左右扰动幅度为框长的0.25-0.5倍，从而得到扰动范围A2。
可选的，对于第一检测网络和第二检测网络的训练过程也可以基于扰动进行，以提高识别过程的准确性。具体的，首先获取第一训练样本集和第二训练样本集；然后基于训练扰动参数对第一训练样本集中的样本和第二训练样本集中的样本进行更新；进一步的基于更新后的第一训练样本集对第一检测网络进行训练；并基于更新后的第二训练样本集对第二检测网络进行训练。
在一种可能的场景中，YOLOv3网络的输入图像维度可选择608x608，SSD网络的输入图像维度可选择150x150。YOLOv3的训练样本为标注标牌位置及形状的道路图像，SSD的训练样本为标注标牌位置及细类别的道路图像。值得说明的是，训练过程中，SSD的训练样本需要将标注框进行随机地向四个方向扰动，扰动比例取值范围为0.4-0.9，而测试过程中，YOLOv3所得的检测框需要进行固定比例规则的扩大。利用训练样本进行迭代训练可以得到所需的YOLOv3和SSD模型。
可以理解的是，SSD网络所需的标注标注数据中包含交通标志牌的细类别，细类别指的是标牌的具体非文字内容，例如，“小心落石”三角牌、“礼让行人”三角牌、“限速30”圆牌、“限速60”圆牌等，训练样本包含的细类别种类可以根据实际需求来定。
在一种可能的场景中，采用上述识别方法对于道路图像中的交通标志牌的识别平均准确率为81％；对部分遮挡、形变与旋转等干扰情况下的标牌的检测识别效果有明显的提升。
303、基于目标交通标志对行驶图像进行聚合，以得到分组信息。
本实施例中，分组信息用于指示包含目标交通标志的行驶图像集合，分组信息包含基于置信信息确定的置信度；其中，具体的得到分组信息的过程可以参见图7，图7为本申请实施例提供的另一种交通标志识别方法的流程图。
首先可以调用步骤302中的交通标志识别结果701，然后进行空间几何位置判断702，即首先确定目标交通标志在行驶图像中的位置信息；然后基于位置信息对行驶图像进行聚合，以得到分组信息。
其中，位置信息即根据检测框顶点坐标能确定单个检测框距离图像上边沿、左边沿、右边沿的距离，且能获得多个检测框之间的行关系与列关系。行列关系可以使用顶点坐标及对角线交点坐标来进行判定。
进一步的，对于行列关系的判定即是通过检测框对角线交点坐标进行判定，如图8所示，图8为本申请实施例提供的另一种交通标志识别方法的场景示意图；其中示出了多个检测框的对角线交点沿y轴(B1和B2)的坐标值相差±10个像素，则为同一行，否则为不同行。另外，若多个矩形框的对角线交点沿x轴(B3和B4)的坐标值相差±10个像素，则为同一列，否则为不同列。具体的像素差因实际场景而定，此处不做限定。
进一步的，对于标志分组并采用择优策略703，则首先确定包含目标交通标志的目标图像；然后根据目标图像确定目标场景组，目标场景组包含的图像数量基于候选范围设定；并依次将候选范围内的行驶图像与目标图像进行比对，即可以用于得到分组信息。
可以理解的是，由于道路采集的图像具有一定的连续性，即连续多帧图像会多次出现同一个场景，其中包含的交通标志牌内容一致；因而，本申请利用标牌分组及择优策略可以做到区分描述同一标牌的图像帧，且能选择一张最佳视角的图像来表征一个标牌。此策略有助于从图像数据中获取语义信息，且能消除道路图像的冗余信息。标牌分组策略利用图像帧的gps坐标来计算相邻图像间的距离，按顺序从包含标牌的第一张图像开始，选取合适距离范围内(候选范围)的连续图像作为分组候选，例如30-60米。再进行帧间精细化分组，以候选范围内第一张图像内的标牌为参照物，选择出包含与之相同的标牌的图像。
可选的，考虑到识别过程的波动性，还可以进一步的进行择优策略，即确定包含目标交通标志的图像组；然后基于展示信息确定图像组中的目标图像，展示信息包括图像大小、图像完整度或图像置信度确定。具体的，择优策略是从描述同一个牌子的图像集合中挑选一张最优图像；它利用牌子面积、牌子个数、长宽比例、识别置信度及与图像边缘的距离等属性来综合选择，即选择拍摄完整、识别置信度高且牌子面积最大的图像为最佳图像。当然，择优策略可以根据实际需求做出适应性的修改，例如，要求最优图像上牌子个数最多则是更为具体的定制化需求。
另外，对于帧间精细化分组的过程，即首先确定与目标图像相邻的候选图像；然后基于候选图像与目标图像之间的距离信息进行识别，以确定与目标图像同类别的相邻图像；进而根据目标图像和相邻图像得到分组信息。
在一种可能的场景中，目标图像为候选范围中的第一张道路图像，以此作为基准，按照该图像上的标牌识别结果依据行车规律逐个做分组判断。假定图8是基准图像，它的后一帧只是场景拉近且能同样包含上述的4个牌子；这里以图8中右侧的蓝色矩形牌，记为2号蓝牌，为例来阐述相邻帧间的标牌映射关系计算。首先给基准图像中的不同牌子赋予标号id(设2号蓝牌的id＝2)，再在后续帧中找到与2号蓝牌的识别结果一致的牌子为候选，再根据运动矢量(相对位置的偏移，沿着x,y方向计算偏移量)，若存在Δy>0且|Δx|最小且|Δx|<100的牌子，则此牌子为2号蓝牌在连续帧中的同一个牌子，归类为同一组，此牌子的标号id(id＝2)与2号蓝牌相同；否则，在连续帧中未找到与之相同的牌子。因此，利用帧间精细化分组可以细化地得到候选图像中的标牌分组信息及组号。
另外，考虑到识别过程中的偶然性，即短时的遮挡造成的识别差异，可以基于分组进行调整，即识别结果的校正704。具体的，首先确定目标场景组中指示的目标类别；然后基于目标类别对目标场景组中的差异项进行类别更新。即在标牌比较小时分类容易混淆，出现不稳定的识别结果的场景中，本申请可以借助前后帧的信息对小牌子的识别结果进行校正。具体来说，由上述的标牌分组及择优策略可以得到每个牌子的分组信息，利用最优图像中牌子的类别来纠正同组中识别结果不一致的牌子的类别。
对于置信度筛选705以及确定交通标志的分组信息和置信度706的过程在步骤304中说明。
304、若置信度满足预设条件，则确定分组信息对应的标志信息为目标交通标志的标志信息。
本实施例中，预设条件即设置合适的识别结果阈值来区分标牌类别信息的可信程度；当标牌的识别置信度高于该阈值，表示非常可信，否则为待定。根据标牌的分组信息，统计同组中的识别置信度的可信程度，当出现合适个数的非常可信的标牌识别结果，故该组的标牌结果设为较高的置信度，否则为较低置信。
具体的，对于置信度较高的分组信息，其对应的标志信息即为目标交通标志的标志信息。
结合上述实施例可知，通过获取行驶信息，行驶信息包含多个行驶图像；然后确定行驶图像中的目标交通标志和置信信息；并基于目标交通标志对行驶图像进行聚合，以得到分组信息，分组信息用于指示包含目标交通标志的行驶图像集合，分组信息包含基于置信信息确定的置信度；当置信度满足预设条件时，则确定分组信息对应的标志信息为目标交通标志的标志信息。从而实现交通标志的自动识别过程，由于采用目标交通标志聚合后的信息进行标志判断，避免了由于短时的环境影响造成的识别障碍，提高了交通标志识别的准确性。
下面道路数据库的场景进行说明。请参阅图9，图9为本申请实施例提供的另一种交通标志识别方法的流程图，本申请实施例至少包括以下步骤：
901、采集行驶信息。
902、调整采样间隔。
903、基于卷积神经网络进行检测。
904、对检测结果进行聚合，以得到分组信息。
905、置信度判定。
本实施例中，步骤901-905与图3所示实施例步骤301-304相似，具体特征可以进行参考，此处不做赘述。
906、确定交通标志的标志信息。
本实施例中，交通标志的标志信息即为对应的分组信息的置信度较高的交通标志，例如置信度达到9900。
907、更新道路数据库。
本实施例中，采集的道路图像经检测识别算法和聚合算法可得到交通标志牌的识别结果、分组信息及综合置信度，这里使用置信度判定的方法确定流入道路数据库的识别结果。
具体的，设置合适的置信度阈值，高于该阈值的为高置信结果，而高置信的标牌检测识别信息将可直接结合它的gps坐标等地理信息与道路数据库内的路网信息比对，从而实现道路数据库的数据自动更新。
可选的，在道路数据库更新后，如图10，图10为本申请实施例提供的另一种交通标志识别的场景示意图；用户可以点击开始识别，对当前行驶过程中的交通标志进行识别，具体的采集的道路图像中如果存在交通标志牌，利用本申请将会识别出其类别和检测出其位置，原始的识别结果展现在“识别信息”中，检测框会以红框的形式打印在采集的道路。
另外，识别过程中还可以对实时位置进行检查，如图11所示，图11为本申请实施例提供的另一种交通标志识别的场景示意图；在识别到障碍物交通标志后，即进行相应的距离检测，当距离达到危险范围时，即发出提醒。
通过上述可视化界面将交通标志牌的信息直观化，辅助检验比对道路数据的更新情况，可以提高道路数据的交通标志牌的更新效率。
另外，识别过程中可得到交通标志牌的类别、位置、组号及综合置信度，设置合理的阈值可使得高置信的交通标志牌识别结果直接进入道路数据库，经过既定规则的对比则可自动更新道路数据库的相关信息。
在一种可能的场景汇总，通过上述方法进行交通标志牌检测识别准确度为82％，召回率为98％，能在较大限度地解决模糊、破损、遮挡、形变等场景下的交通标志牌的检测识别问题。
为了更好的实施本申请实施例的上述方案，下面还提供用于实施上述方案的相关装置。请参阅图12，图12为本申请实施例提供的一种交通标志的识别装置的结构示意图，交通标志的识别装置1200包括：
获取单元1201，用于获取行驶信息，所述行驶信息包含多个行驶图像；
检测单元1202，用于确定所述行驶图像中的目标交通标志和置信信息；
聚合单元1203，用于基于所述目标交通标志对所述行驶图像进行聚合，以得到分组信息，所述分组信息用于指示包含所述目标交通标志的行驶图像集合，所述分组信息包含基于所述置信信息确定的置信度；
识别单元1204，用于若所述置信度满足预设条件，则确定所述分组信息对应的标志信息为所述目标交通标志的标志信息。
可选的，在本申请一些可能的实现方式中，所述检测单元1202，具体用于将所述行驶图像输入目标检测模型中的第一检测网络，以得到所述行驶图像的形状信息，所述目标检测模型包括所述第一检测网络和第二检测网络；
所述检测单元1202，具体用于基于所述形状信息对所述行驶图像进行筛选，以得到筛选图像；
所述检测单元1202，具体用于将所述筛选图像输入所述目标检测模型中的所述第二检测网络，以确定所述行驶图像中的所述目标交通标志和所述置信信息。
可选的，在本申请一些可能的实现方式中，所述检测单元1202，具体用于确定所述筛选图像对应的前序检测框；
所述检测单元1202，具体用于对所述前序检测框进行扰动，以得到输入检测框；
所述检测单元1202，具体用于将所述输入检测框内的图像输入所述目标检测模型中的所述第二检测网络，以确定所述行驶图像中的所述目标交通标志和所述置信信息。
可选的，在本申请一些可能的实现方式中，所述检测单元1202，具体用于确定检测框扰动参数；
所述检测单元1202，具体用于根据所述检测框扰动参数向预设方向进行扰动，以得到所述输入检测框。
可选的，在本申请一些可能的实现方式中，所述检测单元1202，具体用于获取第一训练样本集和第二训练样本集；
所述检测单元1202，具体用于基于训练扰动参数对所述第一训练样本集中的样本和所述第二训练样本集中的样本进行更新；
所述检测单元1202，具体用于基于更新后的所述第一训练样本集对所述第一检测网络进行训练；
所述检测单元1202，具体用于基于更新后的所述第二训练样本集对所述第二检测网络进行训练。
可选的，在本申请一些可能的实现方式中，所述聚合单元1203，具体用于确定所述目标交通标志在所述行驶图像中的位置信息；
所述聚合单元1203，具体用于基于所述位置信息对所述行驶图像进行聚合，以得到所述分组信息。
可选的，在本申请一些可能的实现方式中，所述聚合单元1203，具体用于确定包含所述目标交通标志的目标图像；
所述聚合单元1203，具体用于根据所述目标图像确定目标场景组，所述目标场景组包含的图像数量基于候选范围设定；
所述聚合单元1203，具体用于依次将所述候选范围内的所述行驶图像与所述目标图像进行比对，以得到所述分组信息。
可选的，在本申请一些可能的实现方式中，所述聚合单元1203，具体用于确定包含所述目标交通标志的图像组；
所述聚合单元1203，具体用于基于展示信息确定所述图像组中的所述目标图像，所述展示信息包括图像大小、图像完整度或图像置信度确定。
可选的，在本申请一些可能的实现方式中，所述聚合单元1203，具体用于确定与所述目标图像相邻的候选图像；
所述聚合单元1203，具体用于基于所述候选图像与所述目标图像之间的距离信息进行识别，以确定与所述目标图像同类别的相邻图像；
所述聚合单元1203，具体用于根据所述目标图像和所述相邻图像得到所述分组信息。
可选的，在本申请一些可能的实现方式中，所述聚合单元1203，具体用于确定所述目标场景组中指示的目标类别；
所述聚合单元1203，具体用于基于所述目标类别对所述目标场景组中的差异项进行类别更新。
可选的，在本申请一些可能的实现方式中，所述获取单元1201，具体用于获取预设采样信息，所述预设采样信息包括采样间隔，所述采样间隔基于目标车辆的行驶速度确定；
所述获取单元1201，具体用于基于所述采样信息对所述目标车辆的行驶过程进行采集，以得到所述行驶信息。
通过获取行驶信息，行驶信息包含多个行驶图像；然后确定行驶图像中的目标交通标志和置信信息；并基于目标交通标志对行驶图像进行聚合，以得到分组信息，分组信息用于指示包含目标交通标志的行驶图像集合，分组信息包含基于置信信息确定的置信度；当置信度满足预设条件时，则确定分组信息对应的标志信息为目标交通标志的标志信息。从而实现交通标志的自动识别过程，由于采用目标交通标志聚合后的信息进行标志判断，避免了由于短时的环境影响造成的识别障碍，提高了交通标志识别的准确性。
本申请实施例还提供了一种终端设备，如图13所示，是本申请实施例提供的另一种终端设备的结构示意图，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请实施例方法部分。该终端可以为包括手机、平板电脑、个人数字助理(personal digital assistant，PDA)、销售终端(point of sales，POS)、车载电脑等任意终端设备，以终端为手机为例：
图13示出的是与本申请实施例提供的终端相关的手机的部分结构的框图。参考图13，手机包括：射频(radio frequency，RF)电路1310、存储器1320、输入单元1330、显示单元1340、传感器1350、音频电路1360、无线保真(wireless fidelity，WiFi)模块1370、处理器1380、以及电源1390等部件。本领域技术人员可以理解，图13中示出的手机结构并不构成对手机的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
下面结合图13对手机的各个构成部件进行具体的介绍：
RF电路1310可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器1380处理；另外，将设计上行的数据发送给基站。通常，RF电路1310包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(low noiseamplifier，LNA)、双工器等。此外，RF电路1310还可以通过无线通信与网络和其他设备通信。上述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(globalsystem of mobile communication，GSM)、通用分组无线服务(general packet radioservice，GPRS)、码分多址(code division multiple access，CDMA)、宽带码分多址(wideband code division multiple access,WCDMA)、长期演进(long term evolution，LTE)、电子邮件、短消息服务(short messaging service，SMS)等。
存储器1320可用于存储软件程序以及模块，处理器1380通过运行存储在存储器1320的软件程序以及模块，从而执行手机的各种功能应用以及数据处理。存储器1320可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器1320可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
输入单元1330可用于接收输入的数字或字符信息，以及产生与手机的用户设置以及功能控制有关的键信号输入。具体地，输入单元1330可包括触控面板1331以及其他输入设备1332。触控面板1331，也称为触摸屏，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板1331上或在触控面板1331附近的操作，以及在触控面板1331上一定范围内的隔空触控操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触控面板1331可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器1380，并能接收处理器1380发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触控面板1331。除了触控面板1331，输入单元1330还可以包括其他输入设备1332。具体地，其他输入设备1332可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元1340可用于显示由用户输入的信息或提供给用户的信息以及手机的各种菜单。显示单元1340可包括显示面板1341，可选的，可以采用液晶显示器(liquidcrystal display，LCD)、有机发光二极管(organic light-emitting diode，OLED)等形式来配置显示面板1341。进一步的，触控面板1331可覆盖显示面板1341，当触控面板1331检测到在其上或附近的触摸操作后，传送给处理器1380以确定触摸事件的类型，随后处理器1380根据触摸事件的类型在显示面板1341上提供相应的视觉输出。虽然在图13中，触控面板1331与显示面板1341是作为两个独立的部件来实现手机的输入和输入功能，但是在某些实施例中，可以将触控面板1331与显示面板1341集成而实现手机的输入和输出功能。
手机还可包括至少一种传感器1350，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板1341的亮度，接近传感器可在手机移动到耳边时，关闭显示面板1341和/或背光。作为运动传感器的一种，加速计传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别手机姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于手机还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路1360、扬声器1361，传声器1362可提供用户与手机之间的音频接口。音频电路1360可将接收到的音频数据转换后的电信号，传输到扬声器1361，由扬声器1361转换为声音信号输出；另一方面，传声器1362将收集的声音信号转换为电信号，由音频电路1360接收后转换为音频数据，再将音频数据输出处理器1380处理后，经RF电路1310以发送给比如另一手机，或者将音频数据输出至存储器1320以便进一步处理。
WiFi属于短距离无线传输技术，手机通过WiFi模块1370可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图13示出了WiFi模块1370，但是可以理解的是，其并不属于手机的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器1380是手机的控制中心，利用各种接口和线路连接整个手机的各个部分，通过运行或执行存储在存储器1320内的软件程序和/或模块，以及调用存储在存储器1320内的数据，执行手机的各种功能和处理数据，从而对手机进行整体监控。可选的，处理器1380可包括一个或多个处理单元；可选的，处理器1380可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1380中。
手机还包括给各个部件供电的电源1390(比如电池)，可选的，电源可以通过电源管理系统与处理器1380逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。
尽管未示出，手机还可以包括摄像头、蓝牙模块等，在此不再赘述。
在本申请实施例中，该终端所包括的处理器1380还具有执行如上述页面处理方法的各个步骤的功能。
本申请实施例还提供了一种服务器，请参阅图14，图14是本申请实施例提供的一种服务器的结构示意图，该服务器1400可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上中央处理器(central processing units，CPU)1422(例如，一个或一个以上处理器)和存储器1432，一个或一个以上存储应用程序1442或数据1444的存储介质1430(例如一个或一个以上海量存储设备)。其中，存储器1432和存储介质1430可以是短暂存储或持久存储。存储在存储介质1430的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对服务器中的一系列指令操作。更进一步地，中央处理器1422可以设置为与存储介质1430通信，在服务器1400上执行存储介质1430中的一系列指令操作。
服务器1400还可以包括一个或一个以上电源1426，一个或一个以上有线或无线网络接口1450，一个或一个以上输入输出接口1458，和/或，一个或一个以上操作系统1441，例如Windows ServerTM，Mac OS XTM，UnixTM,LinuxTM，FreeBSDTM等等。
上述实施例中由管理装置所执行的步骤可以基于该图14所示的服务器结构。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有交通标志的识别指令，当其在计算机上运行时，使得计算机执行如前述图2至图11所示实施例描述的方法中交通标志的识别装置所执行的步骤。
本申请实施例中还提供一种包括交通标志的识别指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如前述图2至图11所示实施例描述的方法中交通标志的识别装置所执行的步骤。
本申请实施例还提供了一种交通标志识别系统，所述交通标志识别系统可以包含图12所描述实施例中的交通标志的识别装置，或图13所描述实施例中的终端设备，或者图14所描述的服务器。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，交通标志的识别装置，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(read-only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (15)
1.一种基于神经网络的交通标志识别方法，其特征在于，包括：
获取行驶信息，所述行驶信息包含多个行驶图像；
确定所述行驶图像中的目标交通标志和置信信息；
基于所述目标交通标志对所述行驶图像进行聚合，以得到分组信息，所述分组信息用于指示包含所述目标交通标志的行驶图像集合，所述分组信息包含基于所述置信信息确定的置信度；
若所述置信度满足预设条件，则确定所述分组信息对应的标志信息为所述目标交通标志的标志信息。
2.根据权利要求1所述的方法，其特征在于，所述确定所述行驶图像中的目标交通标志和置信信息，包括：
将所述行驶图像输入目标检测模型中的第一检测网络，以得到所述行驶图像的形状信息，所述目标检测模型包括所述第一检测网络和第二检测网络；
基于所述形状信息对所述行驶图像进行筛选，以得到筛选图像；
将所述筛选图像输入所述目标检测模型中的所述第二检测网络，以确定所述行驶图像中的所述目标交通标志和所述置信信息。
3.根据权利要求2所述的方法，其特征在于，所述将所述筛选图像输入所述目标检测模型中的所述第二检测网络，以确定所述行驶图像中的所述目标交通标志和所述置信信息，包括：
确定所述筛选图像对应的前序检测框；
对所述前序检测框进行扰动，以得到输入检测框；
将所述输入检测框内的图像输入所述目标检测模型中的所述第二检测网络，以确定所述行驶图像中的所述目标交通标志和所述置信信息。
4.根据权利要求3所述的方法，其特征在于，所述对所述前序检测框进行扰动，以得到输入检测框，包括：
确定检测框扰动参数；
根据所述检测框扰动参数对所述前序检测框向预设方向进行扰动，以得到所述输入检测框。
5.根据权利要求2所述的方法，其特征在于，所述方法还包括：
获取第一训练样本集和第二训练样本集；
基于训练扰动参数对所述第一训练样本集中的样本和所述第二训练样本集中的样本进行更新；
基于更新后的所述第一训练样本集对所述第一检测网络进行训练；
基于更新后的所述第二训练样本集对所述第二检测网络进行训练。
6.根据权利要求1所述的方法，其特征在于，所述基于所述目标交通标志对所述行驶图像进行聚合，以得到分组信息，包括：
确定所述目标交通标志在所述行驶图像中的位置信息；
基于所述位置信息对所述行驶图像进行聚合，以得到所述分组信息。
7.根据权利要求1所述的方法，其特征在于，所述基于所述目标交通标志对所述行驶图像进行聚合，以得到分组信息，包括：
确定包含所述目标交通标志的目标图像；
根据所述目标图像确定目标场景组，所述目标场景组包含的图像数量基于候选范围设定；
依次将所述候选范围内的所述行驶图像与所述目标图像进行比对，以得到所述分组信息。
8.根据权利要求7所述的方法，其特征在于，所述确定包含所述目标交通标志的目标图像，包括：
确定包含所述目标交通标志的图像组；
基于展示信息确定所述图像组中的所述目标图像，所述展示信息包括图像大小、图像完整度或图像置信度确定。
9.根据权利要求7所述的方法，其特征在于，所述依次将所述候选范围内的所述行驶图像与所述目标图像进行比对，以得到所述分组信息，包括：
确定与所述目标图像相邻的候选图像；
基于所述候选图像与所述目标图像之间的距离信息进行识别，以确定与所述目标图像同类别的相邻图像；
根据所述目标图像和所述相邻图像得到所述分组信息。
10.根据权利要求7所述的方法，其特征在于，所述方法还包括：
确定所述目标场景组中指示的目标类别；
基于所述目标类别对所述目标场景组中的差异项进行类别更新。
11.根据权利要求1所述的方法，其特征在于，所述获取行驶信息，包括：
获取预设采样信息，所述预设采样信息包括采样间隔，所述采样间隔基于目标车辆的行驶速度确定；
基于所述采样信息对所述目标车辆的行驶过程进行采集，以得到所述行驶信息。
12.根据权利要求1所述的方法，其特征在于，所述行驶信息为行驶视频或包含多个相邻帧的行驶图像集合，所述目标检测模型为卷积神经网络，所述目标交通标志的标志信息用于对道路数据库进行更新。
13.一种基于神经网络的交通标志识别装置，其特征在于，包括：
获取单元，用于获取行驶信息，所述行驶信息包含多个行驶图像；
检测单元，用于确定所述行驶图像中的目标交通标志和置信信息；
聚合单元，用于基于所述目标交通标志对所述行驶图像进行聚合，以得到分组信息，所述分组信息用于指示包含所述目标交通标志的行驶图像集合，所述分组信息包含基于所述置信信息确定的置信度；
识别单元，用于若所述置信度满足预设条件，则确定所述分组信息对应的标志信息为所述目标交通标志的标志信息。
14.一种计算机设备，其特征在于，所述计算机设备包括处理器以及存储器：
所述存储器用于存储程序代码；所述处理器用于根据所述程序代码中的指令执行权利要求1至12任一项所述的交通标志识别方法。
15.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述权利要求1至12任一项所述的交通标志识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010903767.0A CN112052778B (zh) | 2020-09-01 | 2020-09-01 | 一种交通标志识别方法以及相关装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010903767.0A CN112052778B (zh) | 2020-09-01 | 2020-09-01 | 一种交通标志识别方法以及相关装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112052778A true CN112052778A (zh) | 2020-12-08 |
| CN112052778B CN112052778B (zh) | 2022-04-12 |
Family
ID=73606838
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010903767.0A Active CN112052778B (zh) | 2020-09-01 | 2020-09-01 | 一种交通标志识别方法以及相关装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112052778B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712066A (zh) * | 2021-01-19 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN112991397A (zh) * | 2021-04-19 | 2021-06-18 | 深圳佑驾创新科技有限公司 | 交通牌跟踪方法、装置、设备和存储介质 |
| CN113947764A (zh) * | 2021-12-06 | 2022-01-18 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN114495542A (zh) * | 2021-12-31 | 2022-05-13 | 上海洛轲智能科技有限公司 | 一种辅助驾驶方法、装置及存储介质 |
Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150044138A (ko) * | 2013-10-16 | 2015-04-24 | 현대다이모스(주) | 교통표지판 인식장치 및 방법 |
| CN106203398A (zh) * | 2016-07-26 | 2016-12-07 | 东软集团股份有限公司 | 一种检测车道边界的方法、装置和设备 |
| CN108985247A (zh) * | 2018-07-26 | 2018-12-11 | 北方工业大学 | 多光谱图像城市道路识别方法 |
| US20190147621A1 (en) * | 2017-11-16 | 2019-05-16 | Nec Europe Ltd. | System and method for real-time large image homography processing |
| CN110163187A (zh) * | 2019-06-02 | 2019-08-23 | 东北石油大学 | 基于f-rcnn的远距离交通标志检测识别方法 |
| EP3557556A1 (en) * | 2018-04-19 | 2019-10-23 | HERE Global B.V. | Method, apparatus, and system for traffic sign learning near a ramp |
| US20190325736A1 (en) * | 2018-04-19 | 2019-10-24 | Here Global B.V. | Method, apparatus, and system for propagating learned traffic sign data in a road network |
| US20190325349A1 (en) * | 2018-04-19 | 2019-10-24 | Here Global B.V. | Method, apparatus, and system for traffic sign learning based on road network connectivity |
| US20190325235A1 (en) * | 2018-04-19 | 2019-10-24 | Here Global B.V. | Method, apparatus, and system for traffic sign learning |
| CN110580450A (zh) * | 2019-08-12 | 2019-12-17 | 西安理工大学 | 一种基于卷积神经网络的交通标志识别方法 |
| WO2020048265A1 (zh) * | 2018-09-06 | 2020-03-12 | 北京市商汤科技开发有限公司 | 多级目标分类及交通标志检测方法和装置、设备、介质 |
| CN110888907A (zh) * | 2019-11-26 | 2020-03-17 | 辽宁鼎汉奇辉电子系统工程有限公司 | 一种基于lkj运行数据的项点识别方法 |
| CN110892408A (zh) * | 2017-02-07 | 2020-03-17 | 迈恩德玛泽控股股份有限公司 | 用于立体视觉和跟踪的系统、方法和装置 |
| CN111542860A (zh) * | 2016-12-30 | 2020-08-14 | 迪普迈普有限公司 | 用于自主车辆的高清地图的标志和车道创建 |
-
2020
- 2020-09-01 CN CN202010903767.0A patent/CN112052778B/zh active Active
Patent Citations (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20150044138A (ko) * | 2013-10-16 | 2015-04-24 | 현대다이모스(주) | 교통표지판 인식장치 및 방법 |
| CN106203398A (zh) * | 2016-07-26 | 2016-12-07 | 东软集团股份有限公司 | 一种检测车道边界的方法、装置和设备 |
| CN111542860A (zh) * | 2016-12-30 | 2020-08-14 | 迪普迈普有限公司 | 用于自主车辆的高清地图的标志和车道创建 |
| CN110892408A (zh) * | 2017-02-07 | 2020-03-17 | 迈恩德玛泽控股股份有限公司 | 用于立体视觉和跟踪的系统、方法和装置 |
| US20190147621A1 (en) * | 2017-11-16 | 2019-05-16 | Nec Europe Ltd. | System and method for real-time large image homography processing |
| US20190325736A1 (en) * | 2018-04-19 | 2019-10-24 | Here Global B.V. | Method, apparatus, and system for propagating learned traffic sign data in a road network |
| EP3557556A1 (en) * | 2018-04-19 | 2019-10-23 | HERE Global B.V. | Method, apparatus, and system for traffic sign learning near a ramp |
| US20190325349A1 (en) * | 2018-04-19 | 2019-10-24 | Here Global B.V. | Method, apparatus, and system for traffic sign learning based on road network connectivity |
| US20190325235A1 (en) * | 2018-04-19 | 2019-10-24 | Here Global B.V. | Method, apparatus, and system for traffic sign learning |
| CN108985247A (zh) * | 2018-07-26 | 2018-12-11 | 北方工业大学 | 多光谱图像城市道路识别方法 |
| WO2020048265A1 (zh) * | 2018-09-06 | 2020-03-12 | 北京市商汤科技开发有限公司 | 多级目标分类及交通标志检测方法和装置、设备、介质 |
| CN110163187A (zh) * | 2019-06-02 | 2019-08-23 | 东北石油大学 | 基于f-rcnn的远距离交通标志检测识别方法 |
| CN110580450A (zh) * | 2019-08-12 | 2019-12-17 | 西安理工大学 | 一种基于卷积神经网络的交通标志识别方法 |
| CN110888907A (zh) * | 2019-11-26 | 2020-03-17 | 辽宁鼎汉奇辉电子系统工程有限公司 | 一种基于lkj运行数据的项点识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| SERMANET P等: "Traffic sign recognition with multi-scale Convolutional Networks", 《PROC OF THE 2011 INTERNATIONAL JOINT CONFERENCE ON NEURAL NETWORKS》 * |
| 张传伟等: "基于改进YOLOv2算法的交通标志检测", 《计算机系统应用》 * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112712066A (zh) * | 2021-01-19 | 2021-04-27 | 腾讯科技（深圳）有限公司 | 图像识别方法、装置、计算机设备和存储介质 |
| CN112991397A (zh) * | 2021-04-19 | 2021-06-18 | 深圳佑驾创新科技有限公司 | 交通牌跟踪方法、装置、设备和存储介质 |
| CN113947764A (zh) * | 2021-12-06 | 2022-01-18 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN113947764B (zh) * | 2021-12-06 | 2022-03-08 | 腾讯科技（深圳）有限公司 | 一种图像处理方法、装置、设备及存储介质 |
| CN114495542A (zh) * | 2021-12-31 | 2022-05-13 | 上海洛轲智能科技有限公司 | 一种辅助驾驶方法、装置及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112052778B (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112052778B (zh) | 一种交通标志识别方法以及相关装置 | |
| CN110147705B (zh) | 一种基于视觉感知的车辆定位方法及电子设备 | |
| EP3944147A1 (en) | Target detection method, model training method, device, apparatus and storage medium | |
| CN110704661B (zh) | 一种图像分类方法和装置 | |
| CN112364439A (zh) | 自动驾驶系统的仿真测试方法、装置以及存储介质 | |
| CN108304758A (zh) | 人脸特征点跟踪方法及装置 | |
| CN112329725B (zh) | 一种道路场景的要素识别方法、装置、设备以及存储介质 | |
| CN112802111B (zh) | 一种物体模型构建方法及装置 | |
| CN109993234B (zh) | 一种无人驾驶训练数据分类方法、装置及电子设备 | |
| CN108764051B (zh) | 图像处理方法、装置及移动终端 | |
| CN114092920B (zh) | 一种模型训练的方法、图像分类的方法、装置及存储介质 | |
| CN110070034A (zh) | 模型训练方法、节识别方法、装置、设备及介质 | |
| CN112595728B (zh) | 一种道路问题确定方法和相关装置 | |
| CN114385662A (zh) | 路网更新方法、装置、存储介质及电子设备 | |
| CN113923775A (zh) | 一种定位信息质量评估的方法、装置、设备和存储介质 | |
| CN115526055B (zh) | 模型鲁棒性检测方法、相关装置及存储介质 | |
| CN115471495B (zh) | 模型鲁棒性检测方法、相关装置及存储介质 | |
| CN115767715A (zh) | 数字钥匙区域定位方法、装置、车辆及存储介质 | |
| CN112798005B (zh) | 一种道路数据的处理方法以及相关装置 | |
| CN112840308A (zh) | 一种优化字体的方法及相关设备 | |
| CN113706446A (zh) | 一种镜头检测方法和相关装置 | |
| CN113076830A (zh) | 环境通行区域检测方法、装置、车载终端及存储介质 | |
| CN111738282A (zh) | 一种基于人工智能的图像识别方法和相关设备 | |
| CN110795994A (zh) | 路口图像选择方法及装置 | |
| CN111681255B (zh) | 一种对象识别方法和相关装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40036258 Country of ref document: HK |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |