CN113822128A - 交通要素识别方法、装置、设备及计算机可读存储介质 - Google Patents

交通要素识别方法、装置、设备及计算机可读存储介质 Download PDF

Info

Publication number
CN113822128A
CN113822128A CN202110718278.2A CN202110718278A CN113822128A CN 113822128 A CN113822128 A CN 113822128A CN 202110718278 A CN202110718278 A CN 202110718278A CN 113822128 A CN113822128 A CN 113822128A
Authority
CN
China
Prior art keywords
feature
traffic element
traffic
features
classified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110718278.2A
Other languages
English (en)
Inventor
燕旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110718278.2A priority Critical patent/CN113822128A/zh
Publication of CN113822128A publication Critical patent/CN113822128A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请提供了一种交通要素识别方法、装置、设备及计算机可读存储介质；涉及地图领域和人工智能领域；该方法包括：对获取到的道路图像进行交通要素的检测，得到待分类交通要素；从待分类交通要素和获取到的多个交通要素模板中，预测出待分类特征，以及多个交通要素模板对应的多个空间势场特征；其中，空间势场特征表征待分类交通要素与交通要素模板之间的吸引或排斥程度；依据多个空间势场特征和待分类特征，从多个交通要素模板中查找到待分类交通要素对应的匹配要素模板；将匹配要素模板对应的类别，确定为待分类交通要素的目标类别。通过本申请，能够提高交通要素识别的准确度。

Description

交通要素识别方法、装置、设备及计算机可读存储介质
技术领域
本申请涉及地图领域和人工智能领域，尤其涉及一种交通标牌识别方法、装置、设备及计算机可读存储介质。
背景技术
交通要素(如交通标志、监控设施等)能够提示哪些道路存在交通限制，例如，哪些路段需要限速，哪些路段有违章拍照等。交通要素识别是指借助于人工智能技术，将采集到的道路图像中的交通要素识别出来，以便于利用识别出的交通要素更新地图数据，或者进行自动驾驶等。
相关技术中，是利用标注数据训练出识别模型，并利用该识别模型对采集到的道路图像进行交通要素的识别。然而，由于标注数据中不同类别的交通要素样本不均衡、采集到的道路图像质量较低等问题，利用识别模型对识别交通要素时会出现误检、错检情况，从而使得交通要素识别的准确度较低。
发明内容
本申请实施例提供一种交通要素识别方法、装置、设备及计算机可读存储介质，能够提高交通要素识别的准确度。
本申请实施例的技术方案是这样实现的：
本申请实施例提供一种交通要素识别方法，包括：
对获取到的道路图像进行交通要素的检测，得到待分类交通要素；其中，所述交通要素包括道路中的交通标志或监控设施；
从所述待分类交通要素和获取到的多个交通要素模板中，预测出待分类特征，以及所述多个交通要素模板对应的多个空间势场特征；其中，所述空间势场特征表征所述待分类交通要素与所述交通要素模板之间的吸引或排斥程度；
依据所述多个空间势场特征和所述待分类特征，从所述多个交通要素模板中查找到所述待分类交通要素对应的匹配要素模板；
将所述匹配要素模板对应的类别，确定为所述待分类交通要素的目标类别。
本申请实施例提供一种交通要素识别装置，包括：
图像检测模块，用于对获取到的道路图像进行交通要素的检测，得到待分类交通要素；其中，所述交通要素包括道路中的交通标志或监控设施；
特征预测模块，用于从所述待分类交通要素和获取到的多个交通要素模板中，预测出待分类特征，以及所述多个交通要素模板对应的多个空间势场特征；其中，所述空间势场特征表征所述待分类交通要素与所述交通要素模板之间的吸引或排斥程度；
模板匹配模块，用于依据所述多个空间势场特征和所述待分类特征，从所述多个交通要素模板中查找到所述待分类交通要素对应的匹配要素模板；
类别确定模块，用于将所述匹配要素模板对应的类别，确定为所述待分类交通要素的目标类别。
在本申请的一些实施例中，所述模板匹配模块，还用于基于所述多个空间势场特征，对所述待分类特征进行空间矫正，得到所述多个空间势场特征对应的多个矫正特征；依据所述多个矫正特征与所述多个交通要素模板的特征之间的相似度，从所述多个交通要素模板中，确定出所述待分类交通要素对应的所述匹配要素模板。
在本申请的一些实施例中，所述模板匹配模块，还用于利用所述多个空间势场特征中的每个空间势场特征，对所述待分类特征进行空间矫正，得到所述每个空间势场特征对应的矫正特征；当利用所述多个空间势场特征均完成对所述待分类特征的空间矫正时，得到所述多个空间势场特征对应的所述多个矫正特征。
在本申请的一些实施例中，所述模板匹配模块，还用于从所述每个空间势场特征对应的矫正特征的多个特征维度中，挑选出所述待分类特征的每个特征维度对应的匹配特征维度；利用所述匹配特征维度对应的特征数值和方向，为所述待分类特征的每个特征维度计算出矫正分量；将所述待分类特征的每个特征维度的特征分量和所述矫正分量进行融合，得到所述每个空间势场特征对应的矫正特征。
在本申请的一些实施例中，所述模板匹配模块，还用于对所述多个矫正特征中的每个矫正特征，与所述多个交通要素模板的特征进行相似度计算，得到多个特征相似度；从所述多个交通要素模板中，挑选出所述匹配交通要素模板，其中，所述匹配交通要素模板对应的特征相似度最大。
在本申请的一些实施例中，所述模板匹配模块，还用于通过对所述每个矫正特征中的多个特征维度的特征分量，以及每个交通要素模板的特征中的多个特征维度的特征分量进行相似度计算，得到所述每个交通要素模板对应的特征相似度；当对所述多个交通要素模板的特征均计算出对应特征相似度时，得到所述多个特征相似度。
在本申请的一些实施例中，所述模板匹配模块，还用于针对所述每个矫正特征中的多个特征维度，从所述每个交通要素模板的特征的多个特征维度中，确定出目标特征维度；将所述每个矫正特征中的多个特征维度的特征分量，和所述目标特征维度对应的特征分量进行距离计算，得到所述每个矫正特征的多个特征维度对应的特征距离；将所述每个矫正特征的多个特征维度对应的特征距离进行累加，得到所述每个交通要素模板对应的所述特征相似度。
在本申请的一些实施例中，所述特征预测模块，还用于对所述待分类交通要素进行图像特征提取，得到要素图像特征；对所述多个交通要素模板分别进行图像特征提取，得到所述多个交通要素模板对应的多个模板图像特征；将所述要素图像特征，分别和所述多个模板图像特征进行融合，得到所述多个交通要素模板对应的多个融合图像特征；从所述多个融合图像特征中，预测出所述待分类特征和所述多个交通要素模板对应的所述多个空间势场特征。
在本申请的一些实施例中，所述要素图像特征包括要素图像特征向量，所述模板图像特征包括模板图像特征向量；
所述特征预测模块，还用于将所述要素图像特征向量，分别和多个模板图像特征向量进行拼接，得到所述多个交通要素模板对应的所述多个融合图像特征；或者，将所述要素图像特征向量，分别和所述多个模板图像特征向量进行求和，得到所述多个交通要素模板对应的所述多个融合图像特征。
在本申请的一些实施例中，所述图像检测模块，还用于对获取到的所述道路图像进行特征提取，得到待检测特征图；针对所述待检测特征图的每个特征点，生成多个候选区域；对所述多个候选区域中的图像特征分别进行交通要素的检测，得到所述多个候选区域各自所对应的检测结果和置信度；将最高置信度所对应的候选区域中的图像内容，确定为所述待分类交通要素。
在本申请的一些实施例中，所述交通要素识别装置，还包括：模板生成模块；
所述模板生成模块，用于获取多个交通要素图像；按照交通要素的多个预设类别对所述多个交通要素图像进行类别划分，得到多个预设类别各自对应的交通要素图像；利用所述多个预设类别各自对应的交通要素图像，生成所述多个交通要素模板。
在本申请的一些实施例中，所述模板生成模块，还用于将所述多个预设类别中的每个预设类别对应的交通要素图像进行融合，得到所述每个预设类别对应的交通要素模板；当对所述多个预设类别均生成交通要素模板时，得到所述多个交通要素模板。
本申请实施例提供一种交通要素识别设备，包括：
存储器，用于存储可执行交通要素识别指令；
处理器，用于执行所述存储器中存储的可执行交通要素识别指令时，实现本申请实施例提供的交通要素识别方法。
本申请实施例提供一种计算机可读存储介质，存储有可执行交通要素识别指令，用于引起处理器执行时，实现本申请实施例提供的交通要素识别方法。
本申请实施例具有以下有益效果：交通要素识别设备先从获取到的道路图像中检测出待分类交通要素，然后对待分类交通要素和获取到的多个交通要素模板进行预测，得到待分类特征，以及能够表征待分类交通要素和多个交通要素模板之间的吸引或排斥程度的多个空间势场特征，然后基于多个空间势场特征所表征的吸引力或排斥力，来对确定匹配要素模板的过程进行调控，从多个交通要素模板中查找出匹配要素模板，并将匹配要素模板的类别确定为目标类别。如此，通过对空间势场特征引入先验知识，来对确定匹配要素模板的过程进行调控，使得所确定出的匹配要素模板更加准确，从而减少训练样本或者图像质量对交通要素识别过程的影响，最终提高了交通要素识别的准确度。
附图说明
图1是本申请实施例提供的交通要素识别系统100的一个可选的架构示意图；
图2是本申请实施例提供的交通要素识别设备的结构示意图；
图3是本申请实施例提供的交通要素识别方法的一个可选的流程示意图；
图4是本申请实施例提供的交通要素模板的示意图；
图5是本申请实施例提供的交通要素识别方法的一个可选的流程示意图；
图6是本申请实施例提供的预测待分类特征和空间势场特征的过程示意图；
图7是本申请实施例提供的对要素图像特征向量和模板图像特征向量融合的示意图；
图8是本申请实施例提供的预设数量的候选区域的示意图；
图9是本申请实施例提供的对道路图像进行交通要素的检测的过程示意图；
图10是本申请实施例提供的检测出的待分类交通要素的示意图；
图11是本申请实施例提供的对道路中的交通标牌识别过程示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请作进一步地详细描述，所描述的实施例不应视为对本申请的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申请实施例的目的，不是旨在限制本申请。
对本申请实施例进行进一步详细说明之前，对本申请实施例中涉及的名词和术语进行说明，本申请实施例中涉及的名词和术语适用于如下的解释。
1)人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生成出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机实际技术、语音处理技术、自然语言处理技术以及机器学习/深度学习、自动驾驶、智慧交通等几大方向。
2)计算机视觉技术(Computer Vision，CV)是一门研究如何使机器“看”的科学，更进一步说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建、自动驾驶、智慧交通等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
3)机器学习(Machine Learning，ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习等技术。
4)卷积神经网络(Convolutional Neural Network，CNN)是一类包含卷积计算且有深度结构的前馈神经网络(Feedforward Neural Network)，是深度学习的代表算法之一。卷积神经网络具有表征学习的能力，能够按其阶层结构对输入信息进行平移不变分类。
5)分类网络，是指对图像所包含的对象进行识别的神经网络。分类网络的输入为图像数据，输出为图像所包含的对象的类别。
6)交通要素，是电子地图中的有用物理点信息，包括道路中的交通标志或监控设施，例如，道路中的限速牌、电子眼、交通限制牌等。
7)特征相似度，是用于评定不同空间特征之间的相似程度的度量。特征相似度可以用距离、角度等来衡量。
8)空间势场，用于描述两个特征或物体相互吸引或排斥的特性。例如，当两个特征之间相互吸引，则这两个特征存在吸引力；当两个特征之间相互排斥，则这两个特征存在排斥力。
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如场景的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服、车联网、自动驾驶。智慧交通等。相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
交通要素(如交通标志、监控设置等)能够提示哪些道路存在交通限制，例如，哪些路段需要限速，哪些路段有违章拍照等。交通要素识别是指借助于人工智能技术，将采集到的道路图像中的交通要素识别出来，以便于利用识别出的交通要素更新地图数据，或者进行自动驾驶等。
相关技术中，是利用标注数据训练出识别模型，并利用该识别模型对采集到的道路图像进行交通要素的识别。然而，标注数据中不同类别的交通要素的样本数量可能不同，例如，限速标志牌在市区、盘山路等道路均较为常见，其样本数量较多，而落石标志牌只在盘山路的少量路段才会出现，其样本数量较少。不同类别的交通要素的样本数量不同，会导致标注数据样本不均衡。而利用样本不均衡的标注数据所训练出的识别模型，在对道路图像进行交通要素识别时，很容易出现误检、漏检情况。
并且，道路图像很有可能是在车辆行驶过程中采集的，而不是在稳定的环境中采集的，从而，采集到的道路图像的质量很有可能较低。利用识别模型对质量较低的道路图像进行识别时，也很有可能出现误检、漏检等情况。
由上述可知，相关技术中，由于标注数据中不同类别的交通要素样本不均衡、采集到的道路图像质量较低等问题，利用识别模型对识别交通要素时会出现误检、错检情况，从而使得交通要素识别的准确度较低。
本申请实施例提供一种交通要素识别方法、装置、设备和计算机可读存储介质，能够提高交通要素的识别效率。下面说明本申请实施例提供的交通要素识别设备的示例性应用，本申请实施例提供的设备可以实施为笔记本电脑，平板电脑，台式计算机，车载终端、移动设备(例如，移动电话，便携式音乐播放器，个人数字助理，专用消息设备，便携式游戏设备)等各种类型的终端，也可以实施为服务器，还可以实施为由终端和服务器组成的设备集群。下面，将说明交通要素识别设备实施为或服务器时的示例性应用。
参见图1，图1是本申请实施例提供的交通要素识别系统100的一个可选的架构示意图，为实现支撑一个交通要素识别应用，终端(示例性示出了终端400-1和终端400-2)通过网络300连接服务器200，网络300可以是广域网或者局域网，又或者是二者的组合。
服务器200用于对获取到的道路图像进行交通要素的检测，得到待分类交通要素，其中，交通要素包括道路中的交通标志或监控设施；从待分类交通要素和获取到的多个交通要素模板中，预测出待分类交通要素对应的待分类特征，以及多个交通要素模板对应的多个空间势场特征；其中，空间势场特征表征待分类交通要素与交通要素模板之间的吸引或排斥程度；基于多个空间势场特征和待分类特征，从多个交通要素模板中查找出待分类交通要素对应的匹配要素模板；将匹配要素模板对应的类别，确定为待分类交通要素的目标类别。这样，服务器200就实现了交通要素识别。
在一些实施例中，服务器200还利用将待分类交通要素和目标类别，对地图数据进行更新，并将更新后的地图数据通过网络300发送给终端400-1和终端400-2，以实现对终端400-1和终端400-2的地图数据的更新。
在一些实施例中，服务器200可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器。终端400可以是智能手机、平板电脑、笔记本电脑、台式计算机、智能音箱、智能手表、车载终端等，但并不局限于此。终端以及服务器可以通过有线或无线通信方式进行直接或间接地连接，本申请实施例中不做限制。
参见图2，图2是本申请实施例提供的交通要素识别设备的结构示意图，图2所示的交通要素识别设备500包括：至少一个处理器510、存储器550、至少一个网络接口520和用户接口530。交通要素识别设备500中的各个组件通过总线系统540耦合在一起。可理解，总线系统540用于实现这些组件之间的连接通信。总线系统540除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统540。
处理器510可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(DSP，Digital Signal Processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
用户接口530包括使得能够呈现媒体内容的一个或多个输出装置531，包括一个或多个扬声器和/或一个或多个视觉显示屏。用户接口530还包括一个或多个输入装置532，包括有助于用户输入的用户接口部件，比如键盘、鼠标、麦克风、触屏显示屏、摄像头、其他输入按钮和控件。
存储器550可以是可移除的，不可移除的或其组合。示例性的硬件设备包括固态存储器，硬盘驱动器，光盘驱动器等。存储器550可选地包括在物理位置上远离处理器510的一个或多个存储设备。
存储器550包括易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。非易失性存储器可以是只读存储器(ROM，Read Only Memory)，易失性存储器可以是随机存取存储器(RAM，Random Access Memory)。本申请实施例描述的存储器550旨在包括任意适合类型的存储器。
在一些实施例中，存储器550能够存储数据以支持各种操作，这些数据的示例包括程序、模块和数据结构或者其子集或超集，下面示例性说明。
操作系统551，包括用于处理各种基本系统服务和执行硬件相关任务的系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务；
网络通信模块552，用于经由一个或多个(有线或无线)网络接口520到达其他计算设备，示例性的网络接口520包括：蓝牙、无线相容性认证(Wi-Fi)、和通用串行总线(USB，Universal Serial Bus)等；
呈现模块553，用于经由一个或多个与用户接口530相关联的输出装置531(例如，显示屏、扬声器等)使得能够呈现信息(例如，用于操作外围设备和显示内容和信息的用户接口)；
输入处理模块554，用于对一个或多个来自一个或多个输入装置532之一的一个或多个用户输入或互动进行检测以及翻译所检测的输入或互动。
在一些实施例中，本申请实施例提供的装置可以采用软件方式实现，图2示出了存储在存储器550中的交通要素识别装置555，其可以是程序和插件等形式的软件，包括以下软件模块：图像检测模块5551、特征预测模块5552、模板匹配模块5553、类别确定模块5554和模板生成模块5555，这些模块是逻辑上的，因此根据所实现的功能可以进行任意的组合或进一步拆分。
将在下文中说明各个模块的功能。
在另一些实施例中，本申请实施例提供的交通要素识别装置可以采用硬件方式实现，作为示例，本申请实施例提供的交通要素识别装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本申请实施例提供的交通要素识别方法，例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(ASIC，Application SpecificIntegrated Circuit)、DSP、可编程逻辑器件(PLD，Programmable Logic Device)、复杂可编程逻辑器件(CPLD，Complex Programmable Logic Device)、现场可编程门阵列(FPGA，Field-Programmable Gate Array)或其他电子元件。
示例性的，本申请实施例提供一种交通要素识别设备，包括：
存储器，用于存储可执行交通要素识别指令；
处理器，用于执行所述存储器中存储的可执行交通要素识别指令时，实现本申请实施例提供的交通要素识别方法。
下面，将结合本申请实施例提供的交通要素识别设备的示例性应用和实施，说明本申请实施例提供的交通要素识别方法。
参见图3，图3是本申请实施例提供的交通要素识别方法的一个可选的流程示意图，将结合图3示出的步骤进行说明。
S101、对获取到的道路图像进行交通要素的检测，得到待分类交通要素。
本申请实施例是在从采集到的道路图像中，识别出道路中的交通要素的场景下实现的，例如，识别出道路中的减速标识，以自动控制车辆减速，或者识别出道路中的电子眼，以对地图数据进行更新。交通要素识别设备在开始交通要素识别的流程时，会获取道路图像，然后对道路图像进行检测，将从道路图像中检测到的交通要素截取出来，作为待分类交通要素。例如，交通要素识别设备将道路图像中的三角形交通标牌，或者圆形标牌交通检测出来，作为待分类交通要素。其中，交通要素包括道路中的交通标志或监控设施。
本申请实施例中，在获取道路图像时，交通要素识别设备可以是调用图像采集设备，通过图像采集设备对正在行驶的道路进行图像采集，并获取采集到的道路图像，也可以是从网络或数据库获取其他用户上传的道路图像。
在一些实施例中，图像采集设备可以是照相机，从而，采集到的道路图像可以是道路的照片。在另一些实施例中，图像采集设备可以是摄像机，从而，采集到的道路图像可以是道路的视频。
当图像采集设备是照相机时，交通要素识别设备可以每隔一段时间，调用照相机对行驶的道路进行拍照，例如，每隔10s，或者是每隔1分钟，对行驶的道路进行拍照，得到道路的照片；或者可以通过定位系统，获取当前的地理位置，在地理位置与等待地图数据更新的道路距离在预设范围之内时，调用照相机，对行驶的道路进行拍照，得到道路的照片。
当图像采集设备是摄像机时，交通要素识别设备可以在交通要素识别流程开始之后，一直对行驶的道路进行图像采集，从而得到道路的视频；或者是交通要素识别设备在接收到工作人员触发的开始录像的指令时，调用摄像机，并通过摄像机拍摄到道路的视频。
在一些实施例中，交通要素识别设备利用训练好的交通要素检测模型，先对道路图像进行特征提取，得到道路图像的特征图，然后针对特征图进行候选框的选取，并对候选框中的图像内容进行分类，从而检测出待分类交通要素。
在另一些实施例中，由于交通要素的形状较为规则，交通要素识别设备可以通过交通要素的轮廓模板，从道路图像中匹配出交通要素，这个匹配出的交通要素，就是待分类交通要素。
S102、从待分类交通要素和获取到的多个交通要素模板中，预测出待分类特征，以及多个交通要素模板对应的多个空间势场特征。
交通要素识别设备在得到待分类交通要素之后，就会从自身存储空间或数据库，获取准备的多个交通要素模板，然后将待分类交通要素分别和多个交通要素模板相结合，进行特征预测，从而得到多个交通要素模板对象的多个空间势场特征，以及待分类特征。
可以理解的是，交通要素模板可以包括各种交通标牌，还可以包括电子眼、红绿灯等交通设施，本申请在此不作限定。进一步的，在获取到的多个交通要素模板中，可以是一个类别具有一个交通要素模板，也可以是一个类型具有多个交通要素模板，本申请在此不作限定。
示例性的，图4是本申请实施例提供的交通要素模板的示意图，由图4可见，在多个交通要素模板中，可以包括各种警告标牌4-1，各种禁止标牌4-2和各种信息标牌4-3。
需要说明的是，空间势场特征表征待分类交通要素与交通要素模板之间的吸引或排斥程度，这种吸引或排斥，可以理解为待分类交通要素与交通要素模板之间的相似与否。即若待分类交通要素与交通要素模板之间较为相似，那么待分类交通要素与交通要素模板相互吸引，若是待分类交通要素与交通要素模板之间差异较大，那么待分类交通要素与交通要素模板相互排斥。
本申请实施例中，空间势场特征可以是空间势场特征向量，也可以是空间势场特征参数。其中，空间势场特征具有方向，该方向可以是由空间势场向量的每个维度的分量的方向决定的，也可以是由空间势场特征参数的正负号来决定的，本申请在此不作限定。
在一些实施例中，交通要素识别设备可以对待分类交通要素进行特征抽取，同时对多个交通要素模板进行特征抽取，多个交通要素模板各自的特征，逐个和待分类交通要素的特征进行融合，得到多个交通要素模板各自对应的融合特征，然后对这些融合特征进行预测，得到多个空间势场特征，以及待分类特征。
在另一些实施例中，交通要素识别设备还可以将待分类交通要素，分别和多个交通要素模板进行组对，得到与多个交通要素模板对应的多个要素对，然后针对每个要素对中的交通要素模板和待分类交通要素，输入特征预测模型中，以预测出多个空间势场特征，以及待分类特征。
S103、依据多个空间势场特征和待分类特征，从多个交通要素模板中查找到待分类交通要素对应的匹配要素模板。
交通要素识别设备在得到多个交通要素模板对应的多个空间势场特征之后，可以结合多个空间势场特征和待分类特征，从多个交通要素模板中找出与待分类交通要素最为接近的交通要素模板，作为匹配要素模板。
由于交通要素模板是事先准备好的，因此，交通要素识别设备从待分类交通要素和多个交通要素模板中预测出多个空间势场特征，再基于空间势场特征和待分类特征查找匹配要素模板，该过程实质上就是为确定匹配要素模板的过程加入了先验知识，以通过先验知识初步明确待分类要素模板与哪个交通要素模板相互吸引或相互排斥，从而通过吸引力或排斥力，来对确定匹配要素模板的过程进行调控，使得针对由于训练样本不足，或者是图像质量较差所导致的无法分类的交通要素，能够准确地确定出更加准确的匹配要素模板。
在一些实施例中，交通要素识别设备可以利用多个空间势场特征，分别对待分类特征进行空间矫正，然后再利用矫正后的特征和多个交通要素模板的特征之间的相似度，从多个交通要素模板中挑选出匹配要素特征。
在另一些实施例中，交通要素识别设备还可以将待分类特征，分别和每个空间势场特征进行融合，然后将每个空间势场特征对应的融合特征，与多个交通要素模板的特征进行聚类，从而挑选出匹配要素特征。
S104、将匹配要素模板对应的类别，确定为待分类交通要素的目标类别。
最后，交通要素识别设备会确定出匹配要素模板的类别，然后将该类别作为目标类别，从而完成对待分类交通要素的分类过程。由于在上述步骤中，所确定出的匹配要素模板准确度得到提高，从而本步骤中，所确定出的目标类别的准确度也会相应提高。
本申请实施例中，交通要素识别设备先从获取到的道路图像中检测出待分类交通要素，然后对待分类交通要素和获取到的多个交通要素模板进行预测，得到待分类特征，以及能够表征待分类交通要素和多个交通要素模板之间的吸引或排斥程度的多个空间势场特征，然后基于多个空间势场特征所表征的吸引力或排斥力，来对确定匹配要素模板的过程进行调控，从多个交通要素模板中查找出匹配要素模板，并将匹配要素模板的类别确定为目标类别。如此，通过对空间势场特征引入先验知识，来对确定匹配要素模板的过程进行调控，使得所确定出的匹配要素模板更加准确，从而减少训练样本或者图像质量对交通要素识别过程的影响，最终提高了交通要素识别的准确度。
参见图5，图5是本申请实施例提供的交通要素识别方法的一个可选的流程示意图。在本申请的一些实施例中，依据多个空间势场特征和待分类特征，从多个交通要素模板中查找到待分类交通要素对应的匹配要素模板，即S103的具体实现过程，可以包括：S1031-S1032，如下：
S1031、基于多个空间势场特征，对待分类特征进行空间矫正，得到多个空间势场特征对应的多个矫正特征。
交通要素识别设备确定匹配要素模板时，首先是利用多个空间势场特征，分别对待分类特征进行空间矫正，以对待分类特征与每个交通要素模板的特征之间的空间关系进行调整，使得其与多个交通要素模板的特征之间的空间关系更加明确，所得到的多个空间势场特征对应的多个矫正特征，是与多个交通要素模板一一对应的。
需要说明的是，训练样本和图像质量为交通要素识别过程所造成的影响，实质上就是从图像中提取出的特征在特征空间的位置不准确。本申请实施例通过多个空间势场特征对待分类特征进行空间矫正来引入先验知识，以对从图像中抽取出的待分类特征在特征空间中的位置进行纠正。
在一些实施例中，交通要素识别设备可以将待分类特征分别和多个空间势场特征进行加权，以在特征空间中对待分类特征进行矫正，得到多个矫正特征。
在另一些实施例中，交通要素识别设备还可以将待分类特征分别和多个空间势场特征进行相乘，以在特征空间中校正待分类特征，得到多个校正特征。
S1032、依据多个矫正特征与多个交通要素模板的特征之间的相似度，从多个交通要素模板中，确定出待分类交通要素对应的匹配要素模板。
交通要素识别设备在得到多个矫正特征之后，会针对每个矫正特征，计算其分别与多个交通要素模板的特征的相似度，从而在针对多个矫正特征，都完成与多个交通要素模板的相似度的计算时，再从所有的相似度中，选择出最高的相似度，将最高相似度所对应的交通要素模板，作为匹配要素模板。
本申请实施例中，交通要素识别设备会先利用多个空间势场特征，对待分类特征进行空间矫正，从而得到更加明确与交通要素模板之间的空间关系的多个矫正特征，然后基于多个矫正特征与多个交通要素模板的特征之间的相似度，就能够为待分类交通要素挑选出更加准确的匹配要素模板。
在本申请的一些实施例中，基于多个空间势场特征，对待分类特征进行空间矫正，得到多个空间势场特征对应的多个矫正特征，即S1031的具体实现过程，可以包括：S1031a-S1031b，如下：
S1031a、利用多个空间势场特征中的每个空间势场特征，对待分类特征进行空间矫正，得到每个空间势场特征对应的矫正特征。
交通要素识别设备利用每个空间势场特征对待分类特征进行空间矫正，以使得待分类特征与每个交通要素模板的特征的空间关系进行调整，例如，是将待分类特征与每个交通要素模板的特征拉近(吸引力)，还是将待分类特征与当前交通要素模板的特征推远(排斥力)，从而得到每个空间势场特征对应的矫正特征。
S1031b、当利用多个空间势场特征均完成对待分类特征的空间矫正时，得到多个空间势场特征对应的多个矫正特征
交通要素识别设备针对每个交通要素模板，均会确定出对应的矫正特征，从而，交通要素识别设备在利用多个空间势场特征，均对待分类特征完成空间矫正之后，就会得到多个矫正特征，并且，矫正特征的数量与交通要素模板的数量相等。
示例性的，当具有n个交通要素模板时，就会具有n个空间势场特征，从而交通要素识别设备会得到n个矫正特征。
本申请实施例中，交通要素识别设备会先利用多个空间势场特征中的每一个对待分类特征进行空间矫正，如此循环往复，在利用所有的空间势场特征对待分类特征均进行空间矫正之后，就会得到多个交通要素模板所对应的多个矫正特征，以便于后续计算相似度，以确定出匹配要素模板。
在本申请的一些实施例中，利用多个空间势场特征中的每个空间势场特征，对待分类特征进行空间矫正，得到每个空间势场特征对应的矫正特征，即S1031a的具体实现过程，可以包括：S201-S203，如下：
S201、从每个空间势场特征对应的矫正特征的多个特征维度中，挑选出待分类特征的每个特征维度对应的匹配特征维度。
特征空间是一个多维空间，待分类特征是由多个特征维度的特征分量组成的，每个空间势场特征也是由多个特征维度的特征分量所组成的。交通要素识别设备会先将每个空间势场特征的多个特征维度，与待分类特征的多个特征维度进行对应，从而针对待分类特征的每个特征维度，都能够从每个空间势场特征的多个特征维度中，选择出对应的匹配特征维度。
需要说明的是，每个空间势场特征的特征维度的数量，与待分类特征的特征维度的数量可以是不同的。在每个空间势场特征的特征维度的数量与待分类特征的特征维度的数量相同时，交通要素识别设备先确定出待分类特征的每个特征维度，是特征空间中的第几维，然后从每个空间势场特征中寻找相应的维度，将待分类特征的每个特征维度一一对应的特征维度确定为匹配特征维度；在每个空间势场特征的特征维度的数量与待分类特征的特征维度的数量不相同时，交通要素识别设备为待分类特征的每个特征维度，挑选出对应的多个特征维度，例如，将每个空间势场特征的多个特征维度进行分组，得到待分类特征的特征维度数量的特征维度组别，然后按照顺序，选出与待分类特征的每个特征维度相对应的特征维度组别，将该特征维度组别中的特征维度，作为匹配特征维度。
S202、利用匹配特征维度对应的特征数值和方向，为待分类特征的每个特征维度计算出矫正分量。
交通要素识别设备可以直接将匹配特征维度的特征数值和方向的乘积，作为待分类特征的每个特征维度所对应的矫正分量，也可以将匹配特征维度的特征数量和方向的乘积的相反数，或者是倍数，作为待分类特征的每个特征维度所对应的矫正分量，本申请在此不作限定。
示例性的，当匹配特征维度的特征数值为Ti，方向为ai(代表正负号)时，那么待分类特征的每个特征维度的矫正分量则可以为aiTi。
在一些实施例中，当待分类特征的每个特征维度的匹配特征维度中包括多个特征维度时，交通要素识别设备可以先利用这多个特征维度中的每个维度的数值和方向，计算出每个特征维度的维度分量，然后再将这些特征维度各自的维度分量进行融合，得到待分类特征的每个特征维度的矫正分量。
S203、将待分类特征的每个特征维度的特征分量和矫正分量进行融合，得到每个空间势场特征对应的矫正特征。
交通要素识别设备直接将待分类特征的每个特征维度的特征分量，和对应的矫正分量进行叠加，或者是将每个特征维度的特征分量、以及对应和矫正分量与调整系数的乘积进行叠加，叠加所得到的特征，就是矫正特征。
示例性的，本申请实施例提供了计算矫正特征的公式，参见式(1)：
Figure BDA0003135864980000181
其中，Ki是待分类特征的每个特征维度的特征分量，aiTi是待分类特征的每个特征维度的矫正分量，n是待分类特征的特征维度，m是当前空间势场特征的特征维度，Z是特征空间的维度，FZ是矫正特征。
本申请实施例中，交通要素识别设备会先针对待分类特征的每个特征维度确定出对应的匹配特征维度，然后利用匹配特征维度对应的特征数值和方向，计算出矫正分量，最后在待分类特征的每个特征维度的特征分量上叠加矫正分类，就能够实现对待分类特征的空间矫正。
在本申请的一些实施例中，依据多个矫正特征与多个交通要素模板的特征之间的相似度，从多个交通要素模板中，确定出待分类交通要素对应的匹配要素模板，即S1032的具体实现过程，可以包括：S1032a-S1032b，如下：
S1032a、对多个矫正特征中的每个矫正特征，与多个交通要素模板的特征进行相似度计算，得到多个特征相似度。
交通要素识别设备将每个矫正特征，分别与多个交通要素模板的特征分别进行相似度计算，所得到的特征相似度与每个交通要素模板相对应。当交通要素识别设备为多个矫正特征中的所有矫正特征，都与多个交通要素模板的特征进行了相似度的计算时，就会得到多个特征相似度。此时，特征相似度的个数，应当是交通要素模板的数量的平方。
也就是说，当交通要素模板有n个时，矫正特征也会有n个，交通要素识别设备针对每个矫正特征，能够计算出n个特征相似度，交通要素识别设备共会得到n2个特征相似度。
S1032b、从多个交通要素模板中，挑选出匹配交通要素模板。
交通要素识别设备将多个特征相似度进行大小比较，从多个特征相似度中确定出最大的特征相似度。由于每个特征相似度都会有对应的交通要素模板，交通要素识别设备会利用特征相似度与交通要素模板之间的对应关系，将最大的特征相似度所对应的交通要素模板确定出来，所确定出的交通要素模板，就是匹配交通要素模板。也就是说，匹配交通要素模板对应的特征相似度最大。
本申请实施例中，交通要素识别设备会分别对多个矫正特征和多个交通要素模板的特征进行相似度计算，从而得到多个特征相似度，并选出特征相似度最大的匹配要素模板。如此，交通要素识别设备就能够针对待分类交通要素，确定出较为准确的匹配要素模板，以便于后续确定出较为准确的目标类别。
在本申请的一些实施例中，对多个矫正特征中的每个矫正特征分别，与多个交通要素模板的特征进行相似度计算，得到多个特征相似度，即S1032a的具体实现过程，可以包括：S301-S302，如下：
S301、通过对每个矫正特征中的多个特征维度的特征分量，以及每个交通要素模板的特征中的多个特征维度的特征分量进行相似度计算，得到每个交通要素模板对应的特征相似度。
S302、当对多个交通要素模板的特征均计算出对应特征相似度时，得到多个特征相似度。
交通要素识别设备首先从多个交通要素模板中，任意选择出一个交通要素模板，作为当前交通要素模板。然后将当前交通要素模板的每个特征维度的特征分量，和每个矫正特征中的每个特征维度的特征分量均完成特征相似度的计算时，得到当前交通要素模板所对应的特征相似度。当交通要素识别设备针对所有的交通要素模板完成特征相似度的计算时，就会得到与多个交通要素模板一一对应的多个特征相似度。
本申请实施例中，交通要素识别设备在针对每个矫正特征和多个交通要素模板进行相似度计算时，是将每个矫正特征的每个特征维度的特征分量，以及多个交通要素模板中的每个交通要素模板的特征的每个特征维度的特征分量进行相似度的计算，以得到多个交通要素模板对应的多个特征相似度，以便于后续根据多个特征相似度选择匹配交通要素模板。
在本申请的一些实施例中，通过对每个矫正特征中的多个特征维度的特征分量，以及每个交通要素模板的特征中的多个特征维度的特征分量进行相似度计算，得到每个交通要素模板对应的特征相似度，即S301的具体实现过程，可以包括：S3011-S3013，如下：
S3011、针对每个矫正特征中的多个特征维度，从每个交通要素模板的特征的多个特征维度中，确定出目标特征维度。
每个交通要素模板是由多个特征维度的特征分量组成的，交通要素识别设备从每个交通要素模板的所有特征维度中，挑选出与每个矫正特征的每个特征维度相对应的目标特征维度。
可以理解的是，交通要素识别设备为每个矫正特征的每个特征维度确定目标特征维度的具体实现过程，与S201中从每个空间势场特征的多个特征维度中，确定待分类特征的每个特征维度对应的匹配特征维度的过程类似，在此不再赘述。
S3012、将每个矫正特征中的多个特征维度的特征分量，和目标特征维度对应的特征分量进行距离计算，得到每个矫正特征的多个特征维度对应的特征距离。
交通要素识别设备在为每个矫正特征的每个特征维度确定出对应的目标特征维度之后，就会对每个矫正特征的每个特征维度的特征分量，和目标特征维度的特征分量做差，并对所得到的差值求平方，将平方结果作为特征距离，或者是对平方结果进行开方，得到特征距离。
示例性的，在当前矫正特征中的每个特征维度表示为Fj，其所对应的目标特征维度表示为
Figure BDA0003135864980000211
时(其中，ki表示当前交通要素模板的特征)，那么，当前矫正特征中的每个特征维度的特征距离就为
Figure BDA0003135864980000212
S3013、将每个矫正特征的多个特征维度对应的特征距离进行累加，得到每个交通要素模板对应的特征相似度。
交通要素识别设备将每个矫正特征的多个特征维度所对应的特征距离累加在一起，所得到的累加结果就是每个交通要素模板的特征所对应的特征相似度，该特征相似度表征每个矫正特征与每个交通要素模板的特征的相似程度。
示例性的，每个矫正特征的每个特征维度的特征距离为
Figure BDA0003135864980000213
时，那么，每个交通要素模板的特征对应的特征相似度，就为
Figure BDA0003135864980000214
本申请实施例中，交通要素识别设备在计算当前交通要素模板的特征所对应的特征相似度时，是先将每个交通要素模板的特征的多个特征维度，与每个矫正特征中的每个特征维度进行匹配，然后针对每个矫正特征中的每个特征维度，和其所对应的目标特征维度计算出特征距离，再基于这些特征距离，累加得到每个矫正特征与每个交通要素模板之间的特征相似度，以便于后续得到多个交通要素模板对应的特征相似度。
在本申请的一些实施例中，从待分类交通要素和获取到的多个交通要素模板中，预测出待分类特征，以及多个交通要素模板对应的多个空间势场特征，即S102的具体实现过程，可以包括：S1021-S1024，如下：
S1021、对待分类交通要素进行图像特征提取，得到要素图像特征。
交通要素识别设备可以获取训练好的图像特征提取模型，然后将待分类交通要素输入至图像特征提取模型中，以通过图像特征提取模型，从待分类交通要素中提取出要素图像特征。
可以理解的是，图像特征提取模型可以是卷积神经网络(Convolutional NeuralNetwork，CNN)模型，也可以是人工神经网络模型(Artificial Neural Network，ANN)模型等，本申请在此不作限定。
在另一些实施例中，交通要素识别设备还可以通过角点特征提取算法，提取待分类交通要素的角点特征，并将角点特征作为要素图像特征，本申请在此不作限定。
S1022、对多个交通要素模板分别进行图像特征提取，得到多个交通要素模板对应的多个模板图像特征。
交通要素识别设备可以分别将多个交通要素模板，输入至图像特征提取模型中，以通过图像特征提取模型得到多个交通要素模板各自的模板图像特征。
可以理解的是，S1021与S1022的执行顺序，并不会给待分类图像特征和多个模板图像特征造成影响，在其他实施例中，交通要素识别设备可以先执行S1022再执行S1021，或者同步执行S1021和S1022。
S1023、将要素图像特征，分别和多个模板图像特征进行融合，得到多个交通要素模板对应的多个融合图像特征。
交通要素识别设备从多个模板图像特征中，任意抽取出一个作为当前模板图像特征，然后将要素图像特征和当前模板图像特征进行融合，得到当前模板图像特征所对应的融合图像特征。由于多个模板图像特征与多个交通要素模板之间存在着对应关系，从而，当前模板图像特征对应的融合图像特征，实质上就是当前交通要素模板对应的融合图像特征。当交通要素识别设备将要素图像特征，分别与多个模板图像特征完成融合时，就得到了多个融合图像特征。
S1024、从多个融合图像特征中，预测出待分类特征和多个交通要素模板对应的多个空间势场特征。
交通要素识别设备将每个融合图像特征，输入进特征预测模型中，从而通过特征预测模型预测出每个交通要素模板所对应的空间势场特征，以及待分类特征。虽然交通要素识别设备从每个融合图像特征中都会预测出待分类特征，但是这些待分类特征之间没有差别，是相同的，可以看作是一个待分类特征。
可以理解的是，特征预测模型可以CNN模型等，也可以是ANN模型等其他模型，本申请在此不作限定。
示例性的，图6是本申请实施例提供的预测待分类特征和空间势场特征的过程示意图。交通要素识别设备将待分类交通要素6-1输入进特征预测模型6-2中，得到要素图像特征6-3，同时将从多个交通要素模板中任意选出的交通要素模板6-4输入进行特征预测模型6-5中，得到对应的模板图像特征6-6(特征预测模型6-2和特征预测模型6-5的结构可以相同，也可以不同)。然后，交通要素识别设备将待分类图像特征6-3和模板图像特征6-6融合成一个特征6-7，该特征即为融合图像特征，接着将特征6-7输入进特征预测模型6-8中，得到待分类特征6-9，以及交通要素目标6-4所对应的空间势场特征6-10。当交通要素识别设备针对每个交通要素目标都完成了图6所示出过程之后，就得到了待分类特征和多个空间势场特征。
本申请实施例中，交通要素识别设备会从待分类交通要素和多个交通要素模板中，分别抽取出要素图像特征和多个模板图像特征，然后将要素图像特征和多个模板图像特征进行融合，并对多个融合图像特征进行特征预测，就能够得到待分类特征和多个空间势场特征，以便于后续利用多个空间势场特征和待分类图像特征查找出更加准确的匹配要素模板，提高交通要素识别的准确度。
在本申请的一些实施例中，要素图像特征包括要素图像特征向量，模板图像特征包括模板图像特征向量，此时，将要素图像特征，分别和多个模板图像特征进行融合，得到多个交通要素模板对应的多个融合图像特征，即S1023的具体实现过程，可以包括：S1023a或S1023b，如下：
S1023a、将要素图像特征向量，分别和多个模板图像特征向量进行拼接，得到多个交通要素模板对应的多个融合图像特征。
交通要素识别设备从多个模板图像特征向量中，任选一个与要素图像特征向量进行拼接，得到该模板图像特征向量所对应的交通要素模板的融合图像特征。在将每个模板图像特征向量，分别与要素图像特征向量实现拼接之后，就得到了多个融合图像特征。
示例性的，图7是本申请实施例提供的对要素图像特征向量和模板图像特征向量融合的示意图。参见图7，交通要素识别设备将要素图像特征向量7-1，和从多个模板图像特征向量中任意选出的模板图像特征向量7-2进行拼接，就会得到该模板图像特征向量7-2对应的融合图像特征7-3。
S1023b、将要素图像特征向量，分别和多个模板图像特征向量进行求和，得到多个交通要素模板对应的多个融合图像特征。
交通要素识别设备从多个空间势场特征向量中，任选一个模板图像特征向量，然后将该模板图像特征向量与要素图像特征向量相加，就能够得到该模板图像特征向量对应的交通要素模板的融合图像特征。当交通要素识别设备对多个交通要素目标均完成与要素图像特征向量的加权之后，就会得到多个交通要素目标对应的多个融合图像特征。
本申请实施例中，交通要素识别设备可以通过拼接，或者是求和的方式，将要素图像特征和多个模板图像特征进行融合，得到多个交通要素模板对应的多个融合图像特征，以便于后续预测待分类特征和空间势场特征。
在本申请的一些实施例中，对获取到的道路图像进行交通要素的检测，得到待分类交通要素，即S101的具体实现过程，可以包括：S1011-S1014，如下：
S1011、对获取到的道路图像进行特征提取，得到待检测特征图。
S1012、针对待检测特征图的每个特征点，生成多个候选区域。
交通要素识别设备通过特征提取模型，对获取到的道路图像进行特征提取，所得到的特征图就是待检测特征图。接着，交通识别设备针对待检测特征图中的每个特征点，生成多个候选区域，每个候选区域都包含了其所对应的特征点。
在一些实施例中，交通要素识别设备可以将待检测特征图的每个特征点作为中心，随机生成多个候选区域(尺度随机、长宽比随机)。在另一些实施例中，交通要素识别设备可以根据一定的候选区域生成规则，来为待检测特征图的每个特征点生成预设数量的候选区域，例如，将每个特征点作为中心，以特定的尺度来生成预设数量的候选区域，或者在特定的尺度上结合特定的长宽比，来生成预设数量的候选区域。
示例性的，图8是本申请实施例提供的预设数量的候选区域的示意图。交通要素识别设备可以将候选区域的尺度分别设置为1个像素点、2个像素点和3像素点，同时在这些尺度上，设置3组长宽比，分别为1:1，1:2，1:3。交通要素识别设备针对每个尺度，都会生成3个候选区域，如此，为待检测特征图的某个特征点8-1，均会生成9个候选区域。
可以理解的是，特征提取模型中包含卷积层、归一化层和激活层。其中，卷积层用于提取边缘纹理等基本特征；归一化层用于对卷计策提取到的特征进行归一化处理，过滤噪声；激活层用于对卷计策提取到的特征进行非线性映射，加强泛化能力。
S1013、对多个候选区域中的图像特征分别进行交通要素的检测，得到多个候选区域各自所对应的检测结果和置信度。
S1014、将最高置信度所对应的候选区域中的图像内容，确定为待分类交通要素。
交通要素识别设备通过交通要素检测模型，对多个候选区域中的图像内容，分别进行交通要素的检测，从而得到每个候选区域对应的检测结果和置信度。其中，检测结果表征候选区域图像部分中是否包含交通要素。接着，交通识别设备从多个候选区域对应的置信度中，挑选出最高置信度，将最高置信度所对应的候选区域中的图像内容，作为待分类交通要素。
示例性的，图9是本申请实施例提供的对道路图像进行交通要素的检测的过程示意图。参见图9，交通要素识别设备先将道路图像9-1输入至特征提取模型9-2中，得到待检测特征图9-3，然后再从待检测特征图9-3中确定出多个候选区域9-4，接着对多个候选区域9-4中的图像特征(即确定了候选区域之后，从待检测特征图得到的)进行分类检测9-5，以明确候选区域中的图像部分是否包含了交通要素，从而将置信度最高的候选区域中的图像内容，作为待分类交通要素。
图10是本申请实施例提供的检测出的待分类交通要素的示意图。如图10所示，交通要素识别设备对道路图像10-1进行交通要素的检测10-2，就能够从道路图像10-1中确定出其所包含的交通要素10-3，即待分类交通要素。
本申请实施例中，交通要素识别设备会先对道路图像进行特征提取，然后针对提取出的待检测特征图中的每个特征点，生成多个候选区域，对多个候选区域中的图像特征进行交通要素的检测，以对每个候选区域确定出检测结果和对应的置信度，再将最高置信度所对应的候选区域中的图像内容，确定为待分类交通要素，以便后续对待分类交通要素进行识别。
在本申请的一些实施例中，在对获取到的道路图像进行交通要素的检测，得到待分类交通要素之前，即在S101之前，该方法还可以包括：S105-S107，如下：
S105、获取多个交通要素图像。
交通要素识别设备可以通过图像采集设备，对道路上的交通要素进行图像采集，得到多个交通要素图像，也可以从网络上下载到多个交通要素图像，本申请在此不作限定。
S106、按照交通要素的多个预设类别对多个交通要素图像进行类别划分，得到多个预设类别各自对应的交通要素图像。
S107、利用多个预设类别各自对应的交通要素图像，生成多个交通要素模板。
交通要素识别设备利用交通要素的多个预设类别，将多个交通要素进行图像划分，将每个预设类别的交通要素图像整合在一起，得到每个预设类别所对应的交通要素图像。然后，交通要素识别设备利用各多个预设类别各自所对应的交通要素图像，直接作为多个交通要素模板，或者利用多个预设类别各自所对应的交通要素图像，重新生成一张新的图像，将该图像作为交通要素模板，从而得到多个预设类别所对应的多个交通要素模板。
在一些实施例中，交通要素识别设备可以通过图像分类模型，对多个交通要素图像进行分类，来实现对多个交通要素图像的类别划分。在另一些实施例中，交通要素识别设备还可以通过将多个交通要素图像，与每个预设类别的模板图像进行匹配，以实现对多个交通要素图像的类别划分。
可以理解的是，预设类别可以根据实际情况进行设定，例如，将预设类别设置为禁止左转，或者限速40等，本申请在此不作限定。
本申请实施例中，交通要素识别设备在对道路图像进行交通要素的检测之前，还会先获取多个交通要素图像，以从多个交通要素图像中生成多个交通要素模板，以便于后续利用交通要素模板对待分类交通要素进行分析。
在本申请的一些实施例中，利用多个预设类别各自对应的交通要素图像，生成多个交通要素模板，即S107的具体实现过程，可以包括：S1071-S1072，如下：
S1071、将多个预设类别中的每个预设类别对应的交通要素图像进行融合，得到每个预设类别对应的交通要素模板。
S1072、当对多个预设类别均生成交通要素模板时，得到多个交通要素模板。
交通要素识别设备每个预设类别所对应的交通要素图像融合为一张图像，将融合所得到的图像，作为每个预设类别对应的交通要素模板。当交通要素识别设备针对所有的预设类别都确定出对应的交通要素模板时，就得到了多个交通要素模板。也就是说，本申请实施例中，多个交通要素模板与多个预设类别一一对应。
可以理解的是，交通要素识别设备可以直接将每个预设类别所对应的交通要素图像逐像素进行加权，来实现对每个预设类别对应的交通要素图像的融合，也可以将每个预设类别所对应的交通要素模板输入至图像融合模型中，以通过图像融合模型实现对每个预设类别所对应的交通要素图像的融合。
本申请实施例中，交通要素识别设备将每个预设类别对应的交通要素图像进行融合，得到每个预设类别所对应的交通要素模板，从而所得到的多个交通要素模板的质量更高。
下面，将说明本申请实施例在一个实际的应用场景中的示例性应用。
本申请实施例是在对道路中的交通标牌(交通要素)进行识别的场景下实现的。图11是本申请实施例提供的对道路中的交通标牌识别过程示意图。参见图11，该过程包括：
S401、图像采集。
服务器(交通要素识别设备)通过车载拍照设备对行驶前方的道路进行拍照，形成图像序列(道路图像)。
S402、标牌检测。
服务器利用深度学习中的卷积神经网络，对图像序列进行特征提取，检测图像中出现的标牌(待分类交通要素)。
具体的，服务器可以通过卷积神经网络中的特征提取层(特征提取模型)中的卷积层、归一化层和激活层，来得到图像序列中的图像的特征(要素图像特征)，然后基于该图像的特征，以每一个特征点为中心，生成图8示出的9个检测候选框(候选区域)，并从这9个检测框中依据置信度选择出一个检测框(最高置信度对应的候选区域)，在后续对该检测框中的待识别图像(待分类交通要素)进行识别。
S403、空间势场精准识别。
该步骤可以细分为：
S4031、标牌模板(多个交通要素模板)准备。
对于每一种已知类别的标牌，通过卷积神经网络提取固定长度的模板特征，从而得到
Figure BDA0003135864980000281
(多个交通要素模板的特征)，其中，z为特征的维度，n为标牌的类别。
针对每个类别的标牌，遍历进行S4032和S4033。
S4032、卷积神经网络提取特征和空间势场方向。
服务器将预先选定的标牌模板与待识别图像进过相同的卷积神经网络层，以进行特征提取，然后将标牌模板的特征(模板图像特征向量)和待识别图像的特征(要素图像特征向量)进行拼接，然后进行卷积，以对标牌模板的特征和待识别图像的特征进行融合，以丰富图像特征的语义信息。接着，服务器对融合后的图像特征(融合图像特征)进行预测，输出两个维度的信息，分别为待识别图像的特征向量KZ(待分类特征)和空间势场的方向向量TZ(空间势场特征)。其中，z表示特征向量的维度(特征维度)。
引入空间势场方向向量的优势是：在卷积神经网络中增加人为先验知识，以增加卷积神经网络的模型辨识能力，增加模型的调控力，以约束待识别图像的特征向量和模板图像的特征向量之间的距离，即当待识别图像和标牌模板为同一类别时，空间势场方法向量起到吸引了的作用，拉近两个特征向量的距离，反之，则起到排斥力的作用，拉大两个特征向量之间的距离。
S4033、特征融合与匹配。
服务器在得到待识别图像的特征向量KZ和空间势场的方向向量TZ之后，就会利用空间势场的方向向量对待识别的图像的特征向量进行空间矫正，从而更加鲁棒地识别出类别。
空间势场的方向向量TZ为z维的向量，每一维度(匹配特征维度)与待识别图像的特征向量KZ的每个维度(待分类特征的每个特征维度)相对应。假设空间势场的方向向量TZ的第i维的数值为正数(方向)，则代表该维度的信息与标牌模板的特征之间存在吸引力，吸引力幅度为第i维的数值(特征数值)大小；反之，空间势场的方向向量TZ的第i维的数值为负数，则代表该维度的信息与模板图像的特征之间存在排斥力，排斥力幅度为第i维的数值(特征数值)大小。如此，识别图像的特征向量KZ和假设空间势场的方向向量TZ可以通过式(1)的方式相融合，得到融合后的特征向量FZ(矫正特征)。
融合后的特征向量FZ与实现准备好的标牌模板的特征
Figure BDA0003135864980000291
进行相似度匹配。
S404、确定类别。
服务器找到最为相似的模板(最大的特征相似度对应的匹配要素模板)的类别，作为待识别图像的最终类别(目标类别)。
由上述可知，通过空间势场方向向量对待识别图像的特征进行矫正，能够解决样本分布不均匀以使得对识别模型覆盖不到的标牌类别进行识别，以及识别错误的问题，提高了标牌的识别准确率。
下面继续说明本申请实施例提供的交通要素识别装置555的实施为软件模块的示例性结构，在一些实施例中，如图2所示，存储在存储器550的交通要素识别装置555中的软件模块可以包括：
图像检测模块5551，用于对获取到的道路图像进行交通要素的检测，得到待分类交通要素；其中，所述交通要素包括道路中的交通标志或监控设施；
特征预测模块5552，用于从所述待分类交通要素和获取到的多个交通要素模板中，预测出待分类特征，以及所述多个交通要素模板对应的多个空间势场特征；其中，所述空间势场特征表征所述待分类交通要素与所述交通要素模板之间的吸引或排斥程度；
模板匹配模块5553，用于依据所述多个空间势场特征和所述待分类特征，从所述多个交通要素模板中查找到所述待分类交通要素对应的匹配要素模板；
类别确定模块5554，用于将所述匹配要素模板对应的类别，确定为所述待分类交通要素的目标类别。
在本申请的一些实施例中，所述模板匹配模块5553，还用于基于所述多个空间势场特征，对所述待分类特征进行空间矫正，得到所述多个空间势场特征对应的多个矫正特征；依据所述多个矫正特征与所述多个交通要素模板的特征之间的相似度，从所述多个交通要素模板中，确定出所述待分类交通要素对应的所述匹配要素模板。
在本申请的一些实施例中，所述模板匹配模块5553，还用于利用所述多个空间势场特征中的每个空间势场特征，对所述待分类特征进行空间矫正，得到所述每个空间势场特征对应的矫正特征；当利用所述多个空间势场特征均完成对所述待分类特征的空间矫正时，得到所述多个空间势场特征对应的所述多个矫正特征。
在本申请的一些实施例中，所述模板匹配模块5553，还用于从所述每个空间势场特征对应的矫正特征的多个特征维度中，挑选出所述待分类特征的每个特征维度对应的匹配特征维度；利用所述匹配特征维度对应的特征数值和方向，为所述待分类特征的每个特征维度计算出矫正分量；将所述待分类特征的每个特征维度的特征分量和所述矫正分量进行融合，得到所述每个空间势场特征对应的矫正特征。
在本申请的一些实施例中，所述模板匹配模块5553，还用于对所述多个矫正特征中的每个矫正特征，与所述多个交通要素模板的特征进行相似度计算，得到多个特征相似度；从所述多个交通要素模板中，挑选出所述匹配交通要素模板，其中，所述匹配交通要素模板对应的特征相似度最大。
在本申请的一些实施例中，所述模板匹配模块5553，还用于通过对所述每个矫正特征中的多个特征维度的特征分量，以及每个交通要素模板的特征中的多个特征维度的特征分量进行相似度计算，得到所述每个交通要素模板对应的特征相似度；当对所述多个交通要素模板的特征均计算出对应特征相似度时，得到所述多个特征相似度。
在本申请的一些实施例中，所述模板匹配模块5553，还用于针对所述每个矫正特征中的多个特征维度，从所述每个交通要素模板的特征的多个特征维度中，确定出目标特征维度；将所述每个矫正特征中的多个特征维度的特征分量，和所述目标特征维度对应的特征分量进行距离计算，得到所述每个矫正特征的多个特征维度对应的特征距离；将所述每个矫正特征的多个特征维度对应的特征距离进行累加，得到所述每个交通要素模板对应的所述特征相似度。
在本申请的一些实施例中，所述特征预测模块5552，还用于对所述待分类交通要素进行图像特征提取，得到要素图像特征；对所述多个交通要素模板分别进行图像特征提取，得到所述多个交通要素模板对应的多个模板图像特征；将所述要素图像特征，分别和所述多个模板图像特征进行融合，得到所述多个交通要素模板对应的多个融合图像特征；从所述多个融合图像特征中，预测出所述待分类特征和所述多个交通要素模板对应的所述多个空间势场特征。
在本申请的一些实施例中，所述要素图像特征包括要素图像特征向量，所述模板图像特征包括模板图像特征向量；
所述特征预测模块5552，还用于将所述要素图像特征向量，分别和多个模板图像特征向量进行拼接，得到所述多个交通要素模板对应的所述多个融合图像特征；或者，将所述要素图像特征向量，分别和所述多个模板图像特征向量进行求和，得到所述多个交通要素模板对应的所述多个融合图像特征。
在本申请的一些实施例中，所述图像检测模块5551，还用于对获取到的所述道路图像进行特征提取，得到待检测特征图；针对所述待检测特征图的每个特征点，生成多个候选区域；对所述多个候选区域中的图像特征分别进行交通要素的检测，得到所述多个候选区域各自所对应的检测结果和置信度；将最高置信度所对应的候选区域中的图像内容，确定为所述待分类交通要素。
在本申请的一些实施例中，所述交通要素识别装置555，还包括：模板生成模块5555；
所述模板生成模块5555，用于获取多个交通要素图像；按照交通要素的多个预设类别对所述多个交通要素图像进行类别划分，得到多个预设类别各自对应的交通要素图像；利用所述多个预设类别各自对应的交通要素图像，生成所述多个交通要素模板。
在本申请的一些实施例中，所述模板生成模块5555，还用于将所述多个预设类别中的每个预设类别对应的交通要素图像进行融合，得到所述每个预设类别对应的交通要素模板；当对所述多个预设类别均生成交通要素模板时，得到所述多个交通要素模板。
本申请实施例提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行本申请实施例上述的交通要素识别方法。
本申请实施例提供一种存储有可执行指令的计算机可读存储介质，其中存储有可执行交通要素识别指令，当可执行交通要素识别指令被处理器执行时，将引起处理器执行本申请实施例提供的交通要素识别方法，例如，如图3示出的方法。
在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。
在一些实施例中，可执行交通要素识别指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
作为示例，可执行交通要素识别指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper Text Markup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。
作为示例，可执行交通要素识别指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
以上所述，仅为本申请的实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本申请的保护范围之内。

Claims (15)

1.一种交通要素识别方法，其特征在于，包括：
对获取到的道路图像进行交通要素的检测，得到待分类交通要素；其中，所述交通要素包括道路中的交通标志或监控设施；
从所述待分类交通要素和获取到的多个交通要素模板中，预测出待分类特征，以及所述多个交通要素模板对应的多个空间势场特征；其中，所述空间势场特征表征所述待分类交通要素与所述交通要素模板之间的吸引或排斥程度；
依据所述多个空间势场特征和所述待分类特征，从所述多个交通要素模板中查找到所述待分类交通要素对应的匹配要素模板；
将所述匹配要素模板对应的类别，确定为所述待分类交通要素的目标类别。
2.根据权利要求1所述的方法，其特征在于，所述依据所述多个空间势场特征和所述待分类特征，从所述多个交通要素模板中查找到所述待分类交通要素对应的匹配要素模板，包括：
基于所述多个空间势场特征，对所述待分类特征进行空间矫正，得到所述多个空间势场特征对应的多个矫正特征；
依据所述多个矫正特征与所述多个交通要素模板的特征之间的相似度，从所述多个交通要素模板中，确定出所述待分类交通要素对应的所述匹配要素模板。
3.根据权利要求2所述的方法，其特征在于，所述基于所述多个空间势场特征，对所述待分类特征进行空间矫正，得到所述多个空间势场特征对应的多个矫正特征，包括：
利用所述多个空间势场特征中的每个空间势场特征，对所述待分类特征进行空间矫正，得到所述每个空间势场特征对应的矫正特征；
当利用所述多个空间势场特征均完成对所述待分类特征的空间矫正时，得到所述多个空间势场特征对应的所述多个矫正特征。
4.根据权利要求3所述的方法，其特征在于，所述利用所述多个空间势场特征中的每个空间势场特征，对所述待分类特征进行空间矫正，得到所述每个空间势场特征对应的矫正特征，包括：
从所述每个空间势场特征对应的矫正特征的多个特征维度中，挑选出所述待分类特征的每个特征维度对应的匹配特征维度；
利用所述匹配特征维度对应的特征数值和方向，为所述待分类特征的每个特征维度计算出矫正分量；
将所述待分类特征的每个特征维度的特征分量和所述矫正分量进行融合，得到所述每个空间势场特征对应的矫正特征。
5.根据权利要求2至4任一项所述的方法，其特征在于，所述依据所述多个矫正特征与所述多个交通要素模板的特征之间的相似度，从所述多个交通要素模板中，确定出所述待分类交通要素对应的所述匹配要素模板，包括：
对所述多个矫正特征中的每个矫正特征，与所述多个交通要素模板的特征进行相似度计算，得到多个特征相似度；
从所述多个交通要素模板中，挑选出所述匹配交通要素模板，其中，所述匹配交通要素模板对应的特征相似度最大。
6.根据权利要求5所述的方法，其特征在于，所述对所述多个矫正特征中的每个矫正特征，与所述多个交通要素模板的特征进行相似度计算，得到多个特征相似度，包括：
通过对所述每个矫正特征中的多个特征维度的特征分量，以及每个交通要素模板的特征中的多个特征维度的特征分量进行相似度计算，得到所述每个交通要素模板对应的特征相似度；
当对所述多个交通要素模板的特征均计算出对应特征相似度时，得到所述多个特征相似度。
7.根据权利要求6所述的方法，其特征在于，所述通过对所述每个矫正特征中的多个特征维度的特征分量，以及每个交通要素模板的特征中的多个特征维度的特征分量进行相似度计算，得到所述每个交通要素模板对应的特征相似度，包括：
针对所述每个矫正特征中的多个特征维度，从所述每个交通要素模板的特征的多个特征维度中，确定出目标特征维度；
将所述每个矫正特征中的多个特征维度的特征分量，和所述目标特征维度对应的特征分量进行距离计算，得到所述每个矫正特征的多个特征维度对应的特征距离；
将所述每个矫正特征的多个特征维度对应的特征距离进行累加，得到所述每个交通要素模板对应的所述特征相似度。
8.根据权利要求1至4、6或7任一项所述的方法，其特征在于，所述从所述待分类交通要素和获取到的多个交通要素模板中，预测出待分类特征，以及所述多个交通要素模板对应的多个空间势场特征，包括：
对所述待分类交通要素进行图像特征提取，得到要素图像特征；
对所述多个交通要素模板分别进行图像特征提取，得到所述多个交通要素模板对应的多个模板图像特征；
将所述要素图像特征，分别和所述多个模板图像特征进行融合，得到所述多个交通要素模板对应的多个融合图像特征；
从所述多个融合图像特征中，预测出所述待分类特征和所述多个交通要素模板对应的所述多个空间势场特征。
9.根据权利要求8所述的方法，其特征在于，所述要素图像特征包括要素图像特征向量，所述模板图像特征包括模板图像特征向量；
所述将所述要素图像特征，分别和所述多个模板图像特征进行融合，得到所述多个交通要素模板对应的多个融合图像特征，包括：
将所述要素图像特征向量，分别和多个模板图像特征向量进行拼接，得到所述多个交通要素模板对应的所述多个融合图像特征；或者，
将所述要素图像特征向量，分别和所述多个模板图像特征向量进行求和，得到所述多个交通要素模板对应的所述多个融合图像特征。
10.根据权利要求1至4、6、7或9任一项所述的方法，其特征在于，所述对获取到的道路图像进行交通要素的检测，得到待分类交通要素，包括：
对获取到的所述道路图像进行特征提取，得到待检测特征图；
针对所述待检测特征图的每个特征点，生成多个候选区域；
对所述多个候选区域中的图像特征分别进行交通要素的检测，得到所述多个候选区域各自所对应的检测结果和置信度；
将最高置信度所对应的候选区域中的图像内容，确定为所述待分类交通要素。
11.根据权利要求1至4、6、7或9任一项所述的方法，其特征在于，在所述对获取到的道路图像进行交通要素的检测，得到待分类交通要素之前，所述方法还包括：
获取多个交通要素图像；
按照交通要素的多个预设类别对所述多个交通要素图像进行类别划分，得到多个预设类别各自对应的交通要素图像；
利用所述多个预设类别各自对应的交通要素图像，生成所述多个交通要素模板。
12.根据权利要求11所述的方法，其特征在于，所述利用所述多个预设类别各自对应的交通要素图像，生成所述多个交通要素模板，包括：
将所述多个预设类别中的每个预设类别对应的交通要素图像进行融合，得到所述每个预设类别对应的交通要素模板；
当对所述多个预设类别均生成交通要素模板时，得到所述多个交通要素模板。
13.一种交通要素识别装置，其特征在于，包括：
图像检测模块，用于对获取到的道路图像进行交通要素的检测，得到待分类交通要素；其中，所述交通要素包括道路中的交通标志或监控设施；
特征预测模块，用于从所述待分类交通要素和获取到的多个交通要素模板中，预测出待分类特征，以及所述多个交通要素模板对应的多个空间势场特征；其中，所述空间势场特征表征所述待分类交通要素与所述交通要素模板之间的吸引或排斥程度；
模板匹配模块，用于依据所述多个空间势场特征和所述待分类特征，从所述多个交通要素模板中查找到所述待分类交通要素对应的匹配要素模板；
类别确定模块，用于将所述匹配要素模板对应的类别，确定为所述待分类交通要素的目标类别。
14.一种交通要素识别设备，其特征在于，包括：
存储器，用于存储可执行交通要素识别指令；
处理器，用于执行所述存储器中存储的可执行交通要素识别指令时，实现权利要求1至12任一项所述的方法。
15.一种计算机可读存储介质，其特征在于，存储有可执行交通要素识别指令，用于被处理器执行时，实现权利要求1至12任一项所述的方法。
CN202110718278.2A 2021-06-28 2021-06-28 交通要素识别方法、装置、设备及计算机可读存储介质 Pending CN113822128A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110718278.2A CN113822128A (zh) 2021-06-28 2021-06-28 交通要素识别方法、装置、设备及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110718278.2A CN113822128A (zh) 2021-06-28 2021-06-28 交通要素识别方法、装置、设备及计算机可读存储介质

Publications (1)

Publication Number Publication Date
CN113822128A true CN113822128A (zh) 2021-12-21

Family

ID=78924104

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110718278.2A Pending CN113822128A (zh) 2021-06-28 2021-06-28 交通要素识别方法、装置、设备及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113822128A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114526722A (zh) * 2021-12-31 2022-05-24 易图通科技（北京）有限公司 地图对齐处理方法、装置及可读存储介质
CN116682096A (zh) * 2023-08-03 2023-09-01 腾讯科技（深圳）有限公司 信息添加方法、装置、计算机设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114526722A (zh) * 2021-12-31 2022-05-24 易图通科技（北京）有限公司 地图对齐处理方法、装置及可读存储介质
CN116682096A (zh) * 2023-08-03 2023-09-01 腾讯科技（深圳）有限公司 信息添加方法、装置、计算机设备及存储介质
CN116682096B (zh) * 2023-08-03 2024-02-27 腾讯科技（深圳）有限公司 信息添加方法、装置、计算机设备及存储介质

Similar Documents

Publication Publication Date Title
CN111797893B (zh) 一种神经网络的训练方法、图像分类系统及相关设备
Arietta et al. City forensics: Using visual elements to predict non-visual city attributes
CN111046980B (zh) 一种图像检测方法、装置、设备及计算机可读存储介质
CN110796204B (zh) 视频标签确定方法、装置和服务器
CN115115872A (zh) 图像识别方法、装置、设备及存储介质
CN112989229B (zh) 出行路线的推荐方法、装置、计算机设备及存储介质
US11966829B2 (en) Convolutional artificial neural network based recognition system in which registration, search, and reproduction of image and video are divided between and performed by mobile device and server
CN104838420A (zh) 基于图像内容进行图像旋转以修正图像取向
CN110929806B (zh) 基于人工智能的图片处理方法、装置及电子设备
CN113449700B (zh) 视频分类模型的训练、视频分类方法、装置、设备及介质
CN113822128A (zh) 交通要素识别方法、装置、设备及计算机可读存储介质
CN113807399A (zh) 一种神经网络训练方法、检测方法以及装置
CN113177559B (zh) 结合广度和密集卷积神经网络的图像识别方法、系统、设备及介质
CN113515669A (zh) 基于人工智能的数据处理方法和相关设备
CN111222399B (zh) 一种图像中的对象标识信息识别方法、装置及存储介质
CN113033507B (zh) 场景识别方法、装置、计算机设备和存储介质
CN113822263A (zh) 图像标注方法、装置、计算机设备及存储介质
CN111008622B (zh) 一种图像对象检测方法、装置以及计算机可读存储介质
CN113705293A (zh) 图像场景的识别方法、装置、设备及可读存储介质
CN116958729A (zh) 对象分类模型的训练、对象分类方法、装置及存储介质
CN112529116B (zh) 场景元素融合处理方法、装置和设备及计算机存储介质
CN115576990A (zh) 视觉真值数据与感知数据的评测方法、装置、设备及介质
CN114299295A (zh) 一种数据处理方法及相关装置
CN114372580A (zh) 模型训练方法、存储介质、电子设备和计算机程序产品
CN114332599A (zh) 图像识别方法、装置、计算机设备、存储介质和产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination