CN112712066A - 图像识别方法、装置、计算机设备和存储介质 - Google Patents

图像识别方法、装置、计算机设备和存储介质 Download PDF

Info

Publication number
CN112712066A
CN112712066A CN202110070184.9A CN202110070184A CN112712066A CN 112712066 A CN112712066 A CN 112712066A CN 202110070184 A CN202110070184 A CN 202110070184A CN 112712066 A CN112712066 A CN 112712066A
Authority
CN
China
Prior art keywords
image
feature
recognized
traffic sign
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110070184.9A
Other languages
English (en)
Other versions
CN112712066B (zh
Inventor
燕旭东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Priority to CN202110070184.9A priority Critical patent/CN112712066B/zh
Publication of CN112712066A publication Critical patent/CN112712066A/zh
Application granted granted Critical
Publication of CN112712066B publication Critical patent/CN112712066B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Abstract

本申请涉及一种图像识别方法、装置、计算机设备和存储介质。所述方法涉及人工智能的计算机视觉领域，主要涉及计算机视觉领域的图像识别技术，所述方法包括：获取待识别图像，所述待识别图像包括待识别交通标志；对所述待识别图像进行特征提取，得到所述待识别图像的特征向量；将所述特征向量与各类交通标志的聚合向量进行匹配，得到所述待识别图像与各类交通标志对应的匹配度；其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的特征向量进行聚合后得到的；根据所述匹配度确定所述待识别图像中所述待识别交通标志的类别。采用本方法能够提高从图像中识别交通标志类别的准确性，识别出的交通标志类别可应用于地图构建或车辆导航。

Description

图像识别方法、装置、计算机设备和存储介质
技术领域
本申请涉及计算机技术领域，特别是涉及一种图像识别方法、装置、计算机设备和存储介质。
背景技术
随着计算机技术和图像处理技术的飞速发展，越来越多的领域涉及从图像中识别目标对象的类别，以基于目标对象的类别进行后续的应用。比如，在自动驾驶、车辆导航等领域，需要从图像中识别交通标志的类别。
在传统的识别方法中，通常是利用基于深度学习的分类网络识别图像中交通标志的类别，但是由于交通标志类别较多使得训练分类网络使用的样本图像类别分布不均、类别涵盖不全等因素，导致分类网络的识别准确性较低。
发明内容
基于此，有必要针对上述技术问题，提供一种能够提高从图像中识别交通标志类别的准确性的图像识别方法、装置、计算机设备和存储介质。
一种图像识别方法，该方法包括：
获取待识别图像，待识别图像包括待识别交通标志；
对待识别图像进行特征提取，得到待识别图像的特征向量；
将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度；其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的特征向量进行聚合后得到的；
根据匹配度确定待识别图像中待识别交通标志的类别。
在一个实施例中，对待识别图像进行特征提取，得到待识别图像的特征向量，包括：
对待识别图像进行检测，获得待识别交通标志所在的目标区域；
从待识别图像中分割出目标区域；
对目标区域进行特征提取，获得待识别图像的特征向量。
在一个实施例中，对待识别图像进行检测，获得待识别交通标志所在的目标区域，包括：
对待识别图像进行特征提取，得到待识别图像的特征图；
根据特征图在待识别图像中确定候选框；
将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域；
根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框；
将待识别图像中目标框内的区域，作为目标区域。
在一个实施例中，根据特征图在待识别图像中确定候选框，包括：
将特征图中的特征点映射至待识别图像，得到各特征点在待识别图像中对应的特征提取区域；
以各特征提取区域的中心点为中心，按不同的尺度和缩放比例，生成各特征点分别对应的多个边界框；
将特征图中各特征点对应的边界框作为候选框。
在一个实施例中，对待识别图像进行检测，获得待识别交通标志所在的目标区域，包括：
将待识别图像输入训练好的交通标志检测模型；
通过交通标志检测模型中的特征提取网络，对待识别图像进行特征提取，得到待识别图像的特征图；
通过交通标志检测模型中的候选框生成网络，根据特征图在待识别图像中确定候选框，将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域，根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框，将待识别图像中目标框内的区域，作为目标区域。
在一个实施例中，对待识别图像进行特征提取，得到待识别图像的特征向量，包括：
获取待识别图像中各像素点对应的梯度信息；
将待识别图像的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子；
将待识别图像的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子；
根据待识别图像中各像素块对应的特征描述子，得到待识别图像的特征向量。
在一个实施例中，将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度，包括：
获取特征向量与各类交通标志的聚合向量之间的相似度；
根据相似度，确定待识别图像与各类交通标志对应的匹配度。
在一个实施例中，该方法还包括：
对于每类交通标志，获取多张包括相应类别交通标志的采集图像；
对各采集图像进行特征提取，得到各采集图像的特征向量；
聚合各采集图像的特征向量，得到相应类别交通标志的聚合向量。
在一个实施例中，对各采集图像进行特征提取，得到各采集图像的特征向量，包括：
对采集图像进行检测，获得交通标志所在的目标区域；
从采集图像中分割出目标区域；
对目标区域进行特征提取，获得采集图像的特征向量。
在一个实施例中，对采集图像进行检测，获得交通标志所在的目标区域，包括：
对采集图像进行特征提取，得到采集图像的特征图；
根据特征图在采集图像中确定候选框；
将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域；
根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框；
将采集图像中目标框内的区域，作为目标区域。
在一个实施例中，根据特征图在采集图像中确定候选框，包括：
将特征图中的特征点映射至采集图像，得到各特征点在采集图像中对应的特征提取区域；
以各特征提取区域的中心点为中心，按不同的尺度和缩放比例，生成各特征点分别对应的多个边界框；
将特征图中各特征点对应的边界框作为候选框。
在一个实施例中，对采集图像进行检测，获得交通标志所在的目标区域，包括：
将采集图像输入训练好的交通标志检测模型；
通过交通标志检测模型中的特征提取网络，对采集图像进行特征提取，得到采集图像的特征图；
通过交通标志检测模型中的候选框生成网络，根据特征图在采集图像中确定候选框，将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域，根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框，将采集图像中目标框内的区域，作为目标区域。
在一个实施例中，对采集图像进行特征提取，得到采集图像的特征向量，包括：
获取采集图像中各像素点对应的梯度信息；
将采集图像的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子；
将采集图像的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子；
根据采集图像中各像素块对应的特征描述子，得到采集图像的特征向量。
在一个实施例中，聚合各采集图像的特征向量，得到相应类别交通标志的聚合向量，包括：
对于特征向量的每个特征维度，选取各特征向量在特征维度的最大特征值；
根据各特征向量在每个特征维度的最大特征值，得到相应类别交通标志的聚合向量。
在一个实施例中，该方法还包括：
确定待识别图像中待识别交通标志对应的第一级类别；
从各类交通标志中，选取属于第一级类别的交通标志；
将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度，包括：
将特征向量与选取的属于第一级类别的交通标志的聚合向量进行匹配，得到待识别图像与选取的交通标志对应的匹配度。
在一个实施例中，确定待识别图像中待识别交通标志对应的第一级类别，包括：
将待识别图像输入训练好的交通标志检测模型；
通过交通标志检测模型中的特征提取网络，对待识别图像进行特征提取，得到待识别图像的特征图；
通过交通标志检测模型中的候选框生成网络，根据特征图在待识别图像中确定包括交通标志的目标框；
通过交通标志检测模型中的分类回归网络，根据特征图和目标框，确定待识别交通标志对应的第一级类别。
在一个实施例中，获取待识别图像，包括：
获取采集的道路场景图像；
该方法还包括：
在获得道路场景图像中待识别交通标志的类别后，根据类别生成车辆导航信息。
一种图像识别装置，该装置包括：
获取模块，用于获取待识别图像，待识别图像包括待识别交通标志；
特征提取模块，用于对待识别图像进行特征提取，得到待识别图像的特征向量；
匹配模块，用于将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度；其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的特征向量进行聚合后得到的；
确定模块，用于根据匹配度确定待识别图像中待识别交通标志的类别。
一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：
获取待识别图像，待识别图像包括待识别交通标志；
对待识别图像进行特征提取，得到待识别图像的特征向量；
将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度；其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的特征向量进行聚合后得到的；
根据匹配度确定待识别图像中待识别交通标志的类别。
一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：
获取待识别图像，待识别图像包括待识别交通标志；
对待识别图像进行特征提取，得到待识别图像的特征向量；
将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度；其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的特征向量进行聚合后得到的；
根据匹配度确定待识别图像中待识别交通标志的类别。
一种计算机程序，计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取计算机指令，处理器执行计算机指令，使得计算机设备执行上述图像识别方法的步骤。
上述图像识别方法、装置、计算机设备和存储介质，由于聚合向量是由多张相应类别交通标志的采集图像的特征向量聚合得到，因此聚合向量携带有丰富的相应类别交通标志的特性，那么，将待识别图像的特征向量与各类交通标志的聚合向量进行匹配，所得到的匹配度能够准确反映待识别图像中交通标志是相应类别的可能性，因此，基于匹配度就可以准确确定待识别图像中交通标志的类别，这种使用聚合向量匹配进行图像识别的方式，相比于利用基于深度学习的分类网络识别图像中交通标志的类别，准确性得到了极大提升。
附图说明
图1为一个实施例中图像识别方法的应用环境图；
图2为一个实施例中图像识别方法的流程示意图；
图3为一个实施例中待识别图像和目标区域的示意图；
图4(a)为一个实施例中各类别交通标志的示意图；
图4(b)为一个实施例中目标区域中交通标志的示意图；
图5为一个实施例中获取交通标志的聚合向量的流程框图；
图6为一个实施例中获取待识别图像的特征向量的细化流程图；
图7为一个实施例中获取交通标志所在的目标区域的流程框图；
图8为一个实施例中根据特征图确定目标框的流程框图；
图9为一个实施例中获取交通标志的聚合向量的细化流程图；
图10为一个实施例中获取交通标志的第一级类别的流程框图；
图11为另一个实施例中图像识别方法的流程示意图；
图12为一个实施例中图像识别方法的流程框图；
图13为一个实施例中图像识别装置的结构框图；
图14为一个实施例中计算机设备的内部结构图；
图15为另一个实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
本申请实施例提供的图像识别方法，涉及人工智能(Artificial Intelligence,AI)技术，人工智能是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
本申请实施例提供的图像识别方法，主要涉及人工智能的计算机视觉技术(Computer Vision，CV)。计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、OCR、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3D技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
本申请实施例提供的图像识别方法，主要涉及计算机视觉技术领域的图像识别技术。所谓图像识别是从图像中识别到目标对象所在的区域、目标对象的类别等。例如，在本申请实施例中，先通过交通标志检测模型中的特征提取网络对待识别图像进行特征提取，得到待识别图像的特征图，再通过交通标志检测模型中的候选框生成网络，根据特征图在待识别图像中确定包括交通标志的目标框，从而得到交通标志在待识别图像中所在的目标区域，这样即可从待识别图像中分割出目标区域，对目标区域进行特征提取得到特征向量，后续基于该特征向量与各类交通标志的聚合向量进行匹配，确定待识别图像中交通标志的类别。
再例如，在本申请实施例中，先通过交通标志检测模型中的特征提取网络对待识别图像进行特征提取，得到待识别图像的特征图，接着通过交通标志检测模型中的候选框生成网络，根据特征图在待识别图像中确定包括交通标志的目标框，从而得到交通标志在待识别图像中所在的目标区域，这样即可从待识别图像中分割出目标区域，对目标区域进行特征提取得到特征向量，再通过交通标志检测模型中的分类回归网络，根据特征图和目标框，确定待识别交通标志对应的第一级类别，从而得到交通标志的粗粒度类别，后续从各类交通标志中，选取属于第一级类别的交通标志，将其聚合向量与待识别图像的特征向量进行匹配，确定待识别图像中交通标志的第二级类别，从而得到交通标志的细粒度类别。
本申请提供的图像识别方法，可以应用于如图1所示的应用环境中。其中，在该应用场景中，车辆上配置有支持图像采集功能的终端102，终端102通过网络与服务器104进行通信。终端102获取包括待识别交通标志的待识别图像，将待识别图像发送至服务器104，服务器104对待识别图像进行特征提取，得到待识别图像的特征向量；服务器104将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度，其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的特征向量进行聚合后得到的；服务器104根据匹配度确定待识别图像中待识别交通标志的类别。服务器104还可以将待识别交通标志的类别返回至终端102。
在另一些实施例中，终端102可以独自完成待识别图像的采集与识别。具体地，终端102可以获取包括待识别交通标志的待识别图像，对待识别图像进行特征提取，得到待识别图像的特征向量，将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度，根据匹配度确定待识别图像中待识别交通标志的类别。
其中，终端102可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、便携式可穿戴设备，终端102可以设置在车辆中，例如智能汽车和自动驾驶汽车等，服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
本申请实施例提供的图像识别方法，其执行主体可以是本申请实施例提供的图像识别装置，或者集成了该图像识别装置的计算机设备，其中该图像识别装置可以采用硬件或软件的方式实现。计算机设备可以是图1中所示的终端102或服务器104。
本申请实施例提供的图像识别方法，可应用于自动驾驶场景、车辆导航场景、地图数据采集场景、道路数据采集场景，等等。在以上应用场景中，通常需要采集道路场景图像，通过对道路场景图像进行分析，获得交通标志的类别等信息，基于这些信息进行后续的操作。其中，道路场景图像是反映车辆周围环境的图像。通过本申请实施例提供的方法，可从道路场景图像中准确获得交通标志的类别。
例如，在自动驾驶场景中，实时采集道路场景图像，通过对道路场景图像进行分析，获得交通标志的类别、障碍物的位置等信息，基于这些信息生成车辆导航信息，按照车辆导航信息控制自动驾驶车辆行驶，以保障自动驾驶车辆的安全性。
又例如，在车辆导航场景中，实时采集道路场景图像，通过对道路场景图像进行分析，获得交通标志的类别、道路弯道、道路减速带等信息，基于这些信息生成车辆导航信息，以语音、文字、图像等方式输出车辆导航信息，以指示车辆行驶。比如，“前方道路限速60，当前时速65，请注意减速”。
又例如，在地图数据采集场景中，采集道路场景图像，通过对道路场景图像进行分析，获得交通标志的类别、道路弯道、道路减速带、车道数量等信息，基于这些信息构建电子地图，该电子地图可用于车辆导航、出行路线规划等。
在一个实施例中，如图2所示，提供了一种图像识别方法，本实施例主要以该方法应用于计算机设备(上述图1中的终端102或服务器104)来举例说明，包括以下步骤：
步骤S202，获取待识别图像，待识别图像包括待识别交通标志。
其中，待识别图像是待通过本申请实施例识别交通标志类别的图像。待识别交通标志是待识别图像中的交通标志。交通标志是用文字或符号传递引导、限制、警告或指示信息的道路设施。
在一个实施例中，计算机设备可通过图像采集装置采集待识别图像。图像采集装置可以是摄像头。摄像头可以是单目摄像头、双目摄像头、深度摄像头、3D(3Dimensions，三维)摄像头等。可选地，调用摄像头开启扫描模式，实时扫描摄像头视野中的目标对象，并按照指定帧率生成待识别图像。在另一些实施例中，图像采集装置也可以是激光雷达、毫米波雷达等雷达设备。激光雷达是通过发射激光束探测目标对象的位置、速度、姿态、形状等特征数据的雷达设备。毫米波雷达是在毫米波波段探测的雷达设备。雷达设备实时向目标对象发射探测信号，接收目标对象反射回来的回波信号，基于探测信号与回波信号之间的差异，确定目标对象的特征数据。雷达设备采用多个发射器和接收器，由此获取的待识别图像为三维点云图像。
在一个实施例中，计算机设备可获取本机存储的待识别图像，例如计算机设备可通过本机内置的图像采集装置采集现实场景中的图像。计算机设备也可获取其它计算机设备传递的待识别图像，例如计算机设备可通过外置的、且与计算机设备关联的图像采集装置采集现实场景的图像，再例如上述图1中服务器104获取终端102传递的待识别图像。
在一个实施例中，终端获取待识别图像，由终端对待识别图像进行处理，以识别待识别图像中交通标志的类别。在另一些实施例中，终端获取待识别图像，将待识别图像发送至服务器，由服务器对待识别图像进行处理，以识别待识别图像中交通标志的类别。
步骤S204，对待识别图像进行特征提取，得到待识别图像的特征向量。
其中，特征向量是指将其它形式的数据以数学形式进行表达的结果。比如，将待识别图像表示为数学形式“[0 0 0 1 0 0 0 0 0 0 0...]”，此时，“[0 0 0 1 0 0 0 0 0 00...]”即为对待识别图像的特征向量。可以理解，这里不限定将待识别图像转换为何种表示的向量，只要能够将待识别图像进行数学化表示即可。比如可将待识别图像转换为高维稀疏向量或者低维稠密向量。
在一个实施例中，计算机设备对待识别图像进行特征提取，得到反映待识别图像自身图像特性的特征向量。图像特性可以是纹理特性、颜色特性、梯度特性、空间关系特性等。纹理特性描述了图像中各目标对象的表面性质。颜色特性描述了图像中各目标对象的颜色。梯度特性描述了图像中各目标对象的形状和结构。空间关系特性是指图像中分割出来的多个目标对象之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。
在一个实施例中，计算机设备可通过特征提取策略从待识别图像中提取特征向量。特征提取策略可以是训练后的特征提取网络或者通用的特征提取算法等。其中，特征提取网络是通过样本学习具备特征向量提取能力的模型结构。特征提取网络的输入端为待识别图像，输出端为特征向量。特征提取网络可包括多层网络结构，不同的网络层对输入其的数据进行不同的处理，并输出处理结果至下一网络层。而对于特征提取算法，由于通用的特征提取算法提取得到的特征向量即可满足本申请实施例对特征向量的需求，本申请实施例可采用通用的特征提取算法从待识别图像中提取特征向量。
在一个具体的实施例中，计算机设备对待识别图像进行特征提取，得到反映待识别图像梯度特性的特征向量。计算机设备可采用方向梯度直方图(Histogram of OrientedGradient,HOG)、高斯函数差分(Difference of Gaussian,DOG)、尺度不变特征变换(Scale-invariant feature transform,SIFT)等特征提取算法对待识别图像提取特征向量。
在一个实施例中，计算机设备可对待识别图像进行特征提取，将提取得到的特征向量作为待识别图像的特征向量。在另一些实施例中，计算机设备也可先检测待识别图像中交通标志所在的目标区域，从待识别图像中截取目标区域，再对目标区域进行特征提取，将提取得到的特征向量作为待识别图像的特征向量。例如，参照图3，图3为一个实施例中待识别图像和目标区域的示意图。其中，图3中(a)为待识别图像，是包括待识别交通标志和车辆、道路等背景内容的图像，图3中(b)为目标区域，是仅包括待识别交通标志的图像。计算机设备可对图3中(a)进行特征提取，也可先从图3中(a)截取得到图3中(b)，再对图3中(b)进行特征提取。关于从待识别图像中截取目标区域的具体实现方式，可参照后面的实施例，在此不再赘述。
步骤S206，将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度；其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的特征向量进行聚合后得到的。
下面介绍一下发明人采用特征向量匹配的方式识别图像中交通标志类别的思路：
在传统技术中，通常是利用分类网络识别图像中交通标志的类别，分类网络是通过样本学习具备交通标志识别能力的模型结构，分类网络的输入端为待识别图像，输出端为交通标志的类别。发明人通过分析发现，由于交通标志的类别众多，容易出现样本类别覆盖不全面、各类别样本分布不均衡的问题，使得通过样本学习后的分类网络的识别准确性较低，若待识别图像质量差，比如由于图像采集装置分辨率低、光线差等原因导致的待识别图像不清晰，更会影响分类网络的识别准确性。
鉴于上述问题，发明人另辟蹊径，采用特征向量匹配的方式识别图像中交通标志的类别。对于每类交通标志，采集多张包括相应类别交通标志的图像，对每一张采集图像进行特征提取，得到各采集图像的特征向量，聚合各采集图像的特征向量，得到相应类别交通标志的聚合向量。由于聚合向量是由多张包括相应类别交通标志的图像的特征向量聚合得到，因此聚合向量携带有丰富的相应类别的特性(比如梯度特性、纹理特性、颜色特性、空间关系特性等)，将待识别图像的特征向量与各类交通标志的聚合向量进行匹配，所得到的匹配度能够准确反映待识别图像中交通标志是相应类别的可能性，因此基于匹配度能够准确得到待识别图像中交通标志的类别，从而提升从图像中识别交通标志类别的准确性。
在一个实施例中，参照图4(a)，图4(a)为一个实施例中各类别交通标志的示意图。在构建各类别交通标志的聚合向量的图像采集阶段，对于每一类交通标志，均可采集大量相应类别的图像，这样可保证样本类别覆盖全面。对于各类别交通标志，其采集图像的数量可接近或一致，这样可保证各类别样本分布均衡。并且，对于各类别交通标志，其采集图像的拍摄角度、图像质量、交通标志尺寸等可具有多样性，这样可提升各类别样本的多样性。参照图4(b)，图4(b)为一个实施例中目标区域中交通标志的示意图。
在一个实施例中，计算机设备对采集图像进行特征提取，得到反映采集图像自身图像特性的特征向量。图像特性可以是纹理特性、颜色特性、梯度特性、空间关系特性等。计算机设备可通过特征提取策略从采集图像中提取特征向量。特征提取策略可以是训练后的特征提取网络或者通用的特征提取算法等。特征提取网络的输入端为采集图像，输出端为特征向量。而由于通用的特征提取算法提取得到的特征向量即可满足本申请实施例对特征向量的需求，本申请实施例可采用通用的特征提取算法从采集图像中提取特征向量。
在一个具体的实施例中，计算机设备对采集图像进行特征提取，得到反映采集图像梯度特性的特征向量。计算机设备可采用方向梯度直方图(Histogram of OrientedGradient,HOG)、高斯函数差分(Difference of Gaussian,DOG)、尺度不变特征变换(Scale-invariant feature transform,SIFT)等特征提取算法对采集图像提取特征向量。
在一个实施例中，计算机设备对多张包括相应类别交通标志的采集图像的特征向量进行聚合，得到相应类别的聚合向量。可选地，采集图像的特征向量和相应类别交通标志的聚合向量可以是相同长度或者不同长度的特征向量，特征向量的长度可以认为是特征向量的特征维度。特征维度是指不同属性的特征数据所属的维度。
在一个实施例中，计算机设备对各特征向量在每个特征维度的特征值分别进行聚合，获得各特征向量在每个特征维度的聚合值，进而得到相应类别交通标志的聚合向量。可选地，对于每个特征维度，计算机设备可将各特征向量在该特征维度的特征值的均值、极值、中位数等作为聚合值，根据各特征向量在每个特征维度的聚合值，得到相应类别交通标志的聚合向量。
举例说明，参照图5，图5为一个实施例中获取交通标志的聚合向量的流程框图。以交通标志“限高4.2m”为例，计算机设备对各采集图像进行特征提取，获得各采集图像的特征向量，得到
Figure BDA0002905524860000141
根据
Figure BDA0002905524860000142
Figure BDA0002905524860000143
在各特征维度的特征值，获得
Figure BDA0002905524860000144
在各特征维度的聚合值，根据
Figure BDA0002905524860000145
在各特征维度的聚合值得到交通标志“限高4.2m”的聚合向量Kz，其中z表示特征向量的维数。此外，需要说明的是，图5中，特征向量中的x是每一特征维度的元素的示意，可以取不同的值，并不对特征向量进行限制。
在一个实施例中，计算机设备可对采集图像进行特征提取，将提取得到的特征向量作为采集图像的特征向量。在另一些实施例中，计算机设备也可先检测采集图像中交通标志所在的目标区域，从采集图像中截取目标区域，再对目标区域进行特征提取，将提取得到的特征向量作为采集图像的特征向量。关于从采集图像中截取目标区域的具体实现方式，可参照后面的实施例，在此不再赘述。
可以理解，在构建各类交通标志的聚合向量的特征向量提取阶段，不论是采用直接对采集图像进行特征提取这种方式构建聚合向量，还是采用提取采集图像中的目标区域后，对目标区域进行特征提取这种方式构建聚合向量，在实际应用时，计算机设备可直接对待识别图像提取特征向量进行匹配，也可提取待识别图像中的目标区域后，对目标区域提取特征向量进行匹配。
在一个实施例中，将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度，包括：获取特征向量与各类交通标志的聚合向量之间的相似度；根据相似度确定待识别图像与各类交通标志对应的匹配度。
在一个实施例中，计算机设备获取特征向量与各聚合向量之间的相似度，通过相似度来表征待识别图像与各类交通标志对应的匹配度。特征向量与各聚合向量之间的相似度可通过余弦相似度、Dice系数、Jaccard系数等进行表征，也可通过向量距离比如明氏距离、欧氏距离、马氏距离等进行表征。
在一个实施例中，计算机设备获取特征向量与聚合向量在相同特征维度的特征值之间的差异，基于特征向量与聚合向量在每个特征维度的特征值之间的差异，确定特征向量与聚合向量之间的相似度。可选地，计算机设备将特征向量与聚合向量在相同特征维度的特征值的距离差的平方和，作为特征向量与聚合向量之间的相似度。
举例说明，特征向量与聚合向量均为Z个特征维度，特征向量在Z个特征维度的特征值分别为C1、C2、…CZ，聚合向量在Z个特征维度的特征值分别为M1、M2、…MZ，特征向量与聚合向量之间的相似度S可通过以下公式进行计算：
S＝(C1-M1)2+(C2-M2)2+…(CZ-MZ)2
步骤S208，根据匹配度确定待识别图像中待识别交通标志的类别。
在一个实施例中，计算机设备在获得待识别图像的特征向量与各类交通标志的聚合向量之间的匹配度后，可选取最高匹配度的聚合向量对应的交通标志类别，作为待识别交通标志的类别。
上述图像识别方法中，由于聚合向量是由多张相应类别交通标志的采集图像的特征向量聚合得到，因此聚合向量携带有丰富的相应类别交通标志的特性，那么，将待识别图像的特征向量与各类交通标志的聚合向量进行匹配，所得到的匹配度能够准确反映待识别图像中交通标志是相应类别的可能性，因此，基于匹配度就可以准确确定待识别图像中交通标志的类别，这种使用聚合向量匹配进行图像识别的方式，相比于利用基于深度学习的分类网络识别图像中交通标志的类别，准确性得到了极大提升。
下面对从待识别图像中截取目标区域的步骤进行介绍。
在一个实施例中，如图6所示，对待识别图像进行特征提取，得到待识别图像的特征向量，包括：
步骤S602，对待识别图像进行检测，获得待识别交通标志所在的目标区域。
在一个实施例中，计算机设备可通过图像分割策略从待识别图像中识别交通标志所在的目标区域。图像由像素组成，图像分割就是将图像中的像素按照像素在图像中表达的不同语义进行分割，例如，在一些场景中，需要从图像中分割出前景或背景，另一些场景中，需要从图像中分割出目标对象，或是将图像按照不同的语义分割成不同的区域，都属于图像分割的范畴。图像分割策略可以是训练后的图像分割模型或者通用的图像分割算法等。其中，图像分割模型可以通过特定场景的样本图像进行学习，从而具备对特定场景的样本图像进行图像分割的能力。
在一个实施例中，计算机设备可通过目标检测策略从待识别图像中识别交通标志所在的目标区域。目标检测就是从图像中定位目标对象，例如，在一些场景中，需要从图像中定位道路障碍物的位置，等等。目标检测策略可以是训练后的目标检测模型或者通用的目标检测算法等。其中，目标检测模型可以通过特定场景的样本图像进行学习，从而具备对特定场景的样本图像进行目标检测的能力。
以目标检测策略为例，在一个实施例中，步骤S602包括：对待识别图像进行特征提取，得到待识别图像的特征图；根据特征图在待识别图像中确定目标框；将待识别图像中目标框内的区域作为目标区域。
在一个实施例中，参照图7，图7为一个实施例中获取交通标志所在的目标区域的流程框图。计算机设备将待识别图像输入训练好的交通标志检测模型，通过交通标志检测模型中的特征提取网络，对待识别图像进行特征提取，得到待识别图像的特征图。将特征图传递至交通标志检测模型中的候选框生成网络，通过交通标志检测模型中的候选框生成网络，根据特征图确定包括交通标志的目标框，将待识别图像中目标框内的区域作为目标区域。
可以理解，通用的具有特征提取能力和候选框生成能力的网络结构，即可满足本申请实施例中对特征提取网络和候选框生成网络的需求，因此本申请实施例可采用通用的网络结构作为特征提取网络和候选框生成网络。
在一个实施例中，根据特征图在待识别图像中确定目标框，包括：根据特征图在待识别图像中确定候选框；将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域；根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框。
在一个实施例中，计算机设备通过交通标志检测模型中的候选框生成网络，根据特征图在待识别图像中确定候选框，将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域，根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框。
具体地，计算机设备通过候选框生成网络，根据特征图在待识别图像中确定多个候选框，按照各候选框在特征图中对应的候选区域，对各候选框进行分类，从各候选框中筛选得到特定类别的目标框。可选地，计算机设备可对各候选框进行二分类，即按照各候选框在特征图中对应的候选区域属于前景还是背景，将各候选框分类为属于前景类别的候选框和属于背景类别的候选框，从各候选框中筛选得到属于前景类别的目标框。其中，分类概率用于描述各候选框分别属于前景类别和背景类别的概率，因此根据分类概率能够从各候选框中筛选得到属于前景类别的目标框。
在一个实施例中，根据特征图在待识别图像中确定候选框，包括：将特征图中的特征点映射至待识别图像，得到各特征点在待识别图像中对应的特征提取区域；以各特征提取区域的中心点为中心，按不同的尺度和缩放比例，生成各特征点分别对应的多个边界框；将特征图中各特征点对应的边界框作为候选框。
在一个实施例中，计算机设备通过候选框生成网络，将特征图中的特征点映射至待识别图像，得到各特征点在待识别图像中对应的特征提取区域，以各特征提取区域的中心点为中心，按不同的尺度和缩放比例，生成各特征点分别对应的多个边界框，将特征图中各特征点对应的边界框作为候选框。
具体地，特征图中各特征点在待识别图像中有对应的特征提取区域。例如，参照图8，图8为一个实施例中根据特征图确定目标框的流程框图，特征图中的特征点802在待识别图像中对应特征提取区域804。计算机设备将特征图中的各特征点映射至待识别图像，得到各特征点在待识别图像中对应的特征提取区域，以各特征提取区域的中心点为中心，按不同的尺度和缩放比例生成多个边界框。
举例说明，待识别图像划分为16个特征提取区域，每个特征提取区域的中心点对应生成9个边界框，那么待识别图像中包括144个边界框。
步骤S604，从待识别图像中分割出目标区域。
在一个实施例中，计算机设备获得待识别图像中交通标志所在的目标区域后，可从待识别图像中截取目标区域，形成新的图像。在另一些实施例中，计算机设备获得待识别交通标志所在的目标区域后，不生成新的图像，直接对待处理图像中的目标区域进行特征提取。
步骤S606，对目标区域进行特征提取，获得待识别图像的特征向量。
具体地，计算机设备对目标区域进行特征提取的方式，可参照上述对待识别图像进行特征提取的方式，在此不再赘述。
本实施例中，从待识别图像中分割出交通标志所在的目标区域，对目标区域提取特征向量，能够减少待识别图像中无关对象比如汽车、道路、行人等的影响，提高后续特征向量匹配的准确性。
在一个实施例中，计算机设备可通过方向梯度直方图(Histogram of OrientedGradient,HOG)、高斯函数差分(Difference of Gaussian,DOG)、尺度不变特征变换(Scale-invariant feature transform,SIFT)等对待识别图像或者目标区域提取特征向量。下面以方向梯度直方图为例进行举例说明。
在一个实施例中，计算机设备先获取待识别图像中各像素点对应的梯度信息，将待识别图像的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子，计算机设备接着将待识别图像的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子，计算机设备再根据待识别图像中各像素块对应的特征描述子，得到待识别图像的特征向量。其中，梯度信息可以是梯度方向和梯度幅值，特征描述子可以是梯度直方图。
在一个实施例中，计算机设备获取目标区域中各像素点对应的梯度信息；将目标区域的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子；将目标区域的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子；根据目标区域中各像素块对应的特征描述子，得到待识别图像的特征向量。
其中，梯度信息可以是梯度方向和梯度幅值。计算机设备可采用通用的梯度方向和梯度幅值计算方法，获取目标区域中各像素点对应的梯度方向和梯度幅值。像素单元是多于一个像素点的集合，像素块是多于一个像素单元的集合。
首先，计算机设备获取目标区域中各像素点对应的梯度方向和梯度幅值，将目标区域的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度方向和梯度幅值，得到各像素单元对应的特征描述子。可选地，特征描述子可以是梯度直方图，梯度直方图的横坐标可以是梯度方向，纵坐标可以是梯度幅值。以其中一个像素单元为例，计算机设备遍历该像素单元的各个像素点，根据当前遍历的像素点的梯度方向，确定当前遍历的像素点在梯度直方图的横坐标位置，将当前遍历的像素点的梯度幅值，累加至该横坐标位置对应的纵坐标数值中，得到该像素单元对应的梯度直方图。
接着，计算机设备将目标区域的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子。以其中一个像素块为例，计算机设备将该像素块的各个像素单元对应的梯度直方图进行串联，比如按照梯度方向累加梯度幅值，得到该像素块对应的梯度直方图。
接着，计算机设备根据目标区域中各像素块对应的特征描述子，得到待识别图像的特征向量。计算机设备将各像素块对应的梯度直方图进行串联，比如按照梯度方向累加梯度幅值，得到待识别图像的特征向量。
在一个实施例中，计算机设备在获取目标区域中各像素点对应的梯度信息之前，可对目标区域进行预处理，比如灰度化处理、对颜色空间进行归一化处理等。具体包括以下步骤：
1、计算机设备将目标区域进行灰度化处理。
2、采用Gamma校正法对目标区域进行颜色空间的归一化处理，以调节目标区域的对比度，降低局部阴影和光照变化所造成的影响，同时抑制噪声干扰。
3、获取目标区域中各像素点对应的梯度方向和梯度幅值，以获得目标区域的轮廓信息，且进一步弱化光照的干扰。
4、将目标区域中各像素点划分为多个像素单元，比如每个像素单元包括6*6像素点。
5、根据各像素单元中所有像素点对应的梯度方向和梯度幅值，获得各像素单元对应的梯度直方图，作为各像素单元对应的特征描述子。
6、将目标区域中各像素单元划分为多个像素块，比如每个像素块包括3*3像素单元。
7、将每个像素块中所有像素单元对应的特征描述子串联，获得各像素块对应的特征描述子。
8、将目标区域中所有像素块对应的特征描述子串联，得到目标区域对应的特征向量。
本实施例中，由于目标对象边缘处灰度变化大，也就是说，目标对象边缘处的梯度较为明显，因此梯度特性能够很好地描述目标对象，从目标区域中提取具有梯度特性的特征向量，能够提高对交通标志检测的准确性。
下面对构建每一类交通标志的聚合向量的步骤进行介绍。
在一个实施例中，如图9所示，该方法还包括：
步骤S902，对于每类交通标志，获取多张包括相应类别交通标志的采集图像。
步骤S904，对各采集图像进行特征提取，得到各采集图像的特征向量。
在一个实施例中，对各采集图像进行特征提取，得到各采集图像的特征向量，包括：对采集图像进行检测，获得交通标志所在的目标区域；从采集图像中分割出目标区域；对目标区域进行特征提取，获得采集图像的特征向量。
在一个实施例中，对采集图像进行检测，获得交通标志所在的目标区域，包括：对采集图像进行特征提取，得到采集图像的特征图；根据特征图在采集图像中确定目标框；将采集图像中目标框内的区域作为目标区域。
在一个实施例中，计算机设备将采集图像输入训练好的交通标志检测模型，通过交通标志检测模型中的特征提取网络，对采集图像进行特征提取，得到采集图像的特征图。将特征图传递至交通标志检测模型中的候选框生成网络，通过交通标志检测模型中的候选框生成网络，根据特征图确定包括交通标志的目标框，将采集图像中目标框内的区域作为目标区域。
在一个实施例中，根据特征图在待识别图像中确定目标框，包括：根据特征图在采集图像中确定候选框；将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域；根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框。
在一个实施例中，对采集图像进行检测，获得交通标志所在的目标区域，包括：将采集图像输入训练好的交通标志检测模型；通过交通标志检测模型中的特征提取网络，对采集图像进行特征提取，得到采集图像的特征图；通过交通标志检测模型中的候选框生成网络，根据特征图在采集图像中确定候选框，将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域，根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框，将采集图像中目标框内的区域，作为目标区域。
在一个实施例中，根据特征图在采集图像中确定候选框，包括：将特征图中的特征点映射至采集图像，得到各特征点在采集图像中对应的特征提取区域；以各特征提取区域的中心点为中心，按不同的尺度和缩放比例，生成各特征点分别对应的多个边界框；特征图中各特征点对应的边界框作为候选框。
步骤S906，聚合各采集图像的特征向量，得到相应类别交通标志的聚合向量。
关于从采集图像中截取目标区域的具体实现方式，可参照上述从待识别图像中截取目标区域的具体实现方式，在此不再赘述。
本实施例中，从采集图像中分割出交通标志所在的目标区域，对目标区域提取特征向量，能够减少采集图像中无关对象比如汽车、道路、行人等的影响，提高后续特征向量匹配的准确性。
在一个实施例中，计算机设备可通过方向梯度直方图(Histogram of OrientedGradient,HOG)、高斯函数差分(Difference of Gaussian,DOG)、尺度不变特征变换(Scale-invariant feature transform,SIFT)等对采集图像或者目标区域提取特征向量。下面以方向梯度直方图为例进行举例说明。
在一个实施例中，计算机设备先获取采集图像中各像素点对应的梯度信息，将采集图像的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子，计算机设备接着将采集图像的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子，计算机设备再根据采集图像中各像素块对应的特征描述子，得到采集图像的特征向量。其中，梯度信息可以是梯度方向和梯度幅值，特征描述子可以是梯度直方图。
在一个实施例中，对目标区域进行特征提取，获得采集图像的特征向量，包括：获取目标区域中各像素点对应的梯度信息；将目标区域的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子；将目标区域的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子；根据目标区域中各像素块对应的特征描述子，得到采集图像的特征向量。
关于对采集图像或者目标区域提取特征向量的具体实现方式，可参照上述对待识别图像中的目标区域提取特征向量的具体实现方式，在此不再赘述。
在一个实施例中，聚合各采集图像的特征向量，得到相应类别交通标志的聚合向量，包括：对于特征向量的每个特征维度，选取各特征向量在特征维度的最大特征值；根据各特征向量在每个特征维度的最大特征值，得到相应类别交通标志的聚合向量。
本实施例中，计算机设备选取各特征向量在各特征维度的最大特征值，构建相应类别交通标志的聚合向量，由于最大特征值包含有更多的类别特性，具有更多描述交通标志边缘的有效信息，因此聚合向量携带有更多的类别特性，能够提高后续特征向量匹配的准确性。
在一个实施例中，该方法还包括：确定待识别图像中待识别交通标志对应的第一级类别；从各类交通标志中，选取属于第一级类别的交通标志；将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度，包括：将特征向量与选取的属于第一级类别的交通标志的聚合向量进行匹配，得到待识别图像与选取的交通标志对应的匹配度。
其中，第一级类别可以是粗粒度类别，比如交通标志的形状类别、颜色类别等。
在一个实施例中，确定待识别图像中待识别交通标志对应的第一级类别，包括：将待识别图像输入训练好的交通标志检测模型；通过交通标志检测模型中的特征提取网络，对待识别图像进行特征提取，得到待识别图像的特征图；通过交通标志检测模型中的候选框生成网络，根据特征图在待识别图像中确定包括交通标志的目标框；通过交通标志检测模型中的分类回归网络，根据特征图和目标框，确定待识别交通标志对应的第一级类别。
在一个实施例中，参考图10，图10为一个实施例中获取交通标志的第一级类别的流程框图。计算机设备将待识别图像输入训练好的交通标志检测模型，通过交通标志检测模型中的特征提取网络，对待识别图像进行特征提取，得到待识别图像的特征图。将特征图传递至交通标志检测模型中的候选框生成网络和交通标志检测模型中的分类回归网络，通过交通标志检测模型中的候选框生成网络，根据特征图确定包括交通标志的目标框，将待识别图像中目标框内的区域作为目标区域，将目标区域传递至分类回归网络，通过分类回归网络，根据特征图和目标框，确定待识别交通标志对应的第一级类别。
可以理解，通用的具有分类回归能力的网络结构，即可满足本申请实施例中对分类回归网络的需求，因此本申请实施例可采用通用的网络结构作为分类回归网络。
具体地，计算机设备先确定待识别图像中待识别交通标志对应的粗粒度类别，从各类交通标志中选取属于该类别的交通标志，将待识别图像的特征向量与选取的交通标志的聚合向量进行匹配，以进一步获取待识别图像中待识别交通标志对应的第二级类别，也就是细粒度类别，比如图4(a)中所示的“限速40”、“直行”、“转弯”等，这样能够减少计算量，提高匹配速度。
在一个实施例中，获取待识别图像，包括：获取采集的道路场景图像；该方法还包括：在获得道路场景图像中待识别交通标志的类别后，根据类别生成车辆导航信息。
具体地，本申请实施例可应用于自动驾驶场景、车辆导航场景，等等。在以上应用场景中，通常需要采集道路场景图像，通过对道路场景图像进行分析，获得交通标志的类别，根据类别生成车辆导航信息，以指示车辆行驶。通过本申请实施例提供的方法，可从道路场景图像中准确获得交通标志的类别，为以上应用场景提供技术支持。
在一个实施例中，如图11所示，提供了一种图像识别方法，本实施例主要以该方法应用于计算机设备(上述图1中的终端102或服务器104)来举例说明，包括以下步骤：
步骤S1102，获取待识别图像，待识别图像包括待识别交通标志。
步骤S1104，将待识别图像输入训练好的交通标志检测模型，通过交通标志检测模型得到交通标志在待识别图像中所在的目标区域。
在一个具体的实施例中，计算机设备通过交通标志检测模型中的特征提取网络，对待识别图像进行特征提取，得到待识别图像的特征图。通过交通标志检测模型中的候选框生成网络，将特征图中的特征点映射至待识别图像，得到各特征点在待识别图像中对应的特征提取区域，以各特征提取区域的中心点为中心，按不同的尺度和缩放比例，生成各特征点分别对应的多个边界框，将特征图中各特征点对应的边界框作为候选框，将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域，根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框，将待识别图像中目标框内的区域作为目标区域，从待识别图像中分割出目标区域。
步骤S1106，对目标区域进行特征提取，得到待识别图像的特征向量。
在一个具体的实施例中，计算机设备可通过方向梯度直方图(Histogram ofOriented Gradient,HOG)、高斯函数差分(Difference of Gaussian,DOG)、尺度不变特征变换(Scale-invariant feature transform,SIFT)等对目标区域提取特征向量。以方向梯度直方图为例，计算机设备获取目标区域中各像素点对应的梯度信息，将目标区域的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子，将目标区域的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子，根据目标区域中各像素块对应的特征描述子，得到待识别图像的特征向量。
步骤S1108，获取特征向量与各类交通标志的聚合向量之间的相似度，根据相似度确定待识别图像与各类交通标志对应的匹配度；其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的目标区域提取特征向量后，对各特征向量进行聚合得到的。
具体地，对于每类交通标志，计算机设备先获取多张包括相应类别交通标志的采集图像，将采集图像输入训练好的交通标志检测模型，通过交通标志检测模型得到交通标志在采集图像中所在的目标区域。接着，计算机设备对目标区域进行特征提取，得到采集图像的特征向量。接着，计算机设备对于特征向量的每个特征维度，选取各特征向量在特征维度的最大特征值，根据各特征向量在每个特征维度的最大特征值，得到相应类别交通标志的聚合向量。
在一个具体的实施例中，计算机设备通过交通标志检测模型中的特征提取网络，对采集图像进行特征提取，得到采集图像的特征图；通过交通标志检测模型中的候选框生成网络，将特征图中的特征点映射至采集图像，得到各特征点在采集图像中对应的特征提取区域，以各特征提取区域的中心点为中心，按不同的尺度和缩放比例，生成各特征点分别对应的多个边界框，将特征图中各特征点对应的边界框作为候选框，将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域，根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框，将采集图像中目标框内的区域作为目标区域。
在一个具体的实施例中，计算机设备可通过方向梯度直方图(Histogram ofOriented Gradient,HOG)、高斯函数差分(Difference of Gaussian,DOG)、尺度不变特征变换(Scale-invariant feature transform,SIFT)等对目标区域提取特征向量。以方向梯度直方图为例，计算机设备获取目标区域中各像素点对应的梯度信息，将目标区域的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子，将目标区域的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子，根据目标区域中各像素块对应的特征描述子，得到采集图像的特征向量。
步骤S1110，根据匹配度确定待识别图像中待识别交通标志的类别。
在一个实施例中，如图12所示，图12为一个实施例中图像识别方法的流程框图。计算机设备获取待识别图像，从待识别图像中检测得到包括交通标志的目标区域，对目标区域进行特征提取得到特征向量，将特征向量与各类交通标志的聚合向量进行匹配，根据匹配度确定待识别图像中待识别交通标志的类别。其中，各类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的采集图像的目标区域提取特征向量后，对各特征向量进行聚合得到的。
上述图像识别方法，由于聚合向量是由多张相应类别交通标志的采集图像的特征向量聚合得到，因此聚合向量携带有丰富的相应类别交通标志的特性，那么，将待识别图像的特征向量与各类交通标志的聚合向量进行匹配，所得到的匹配度能够准确反映待识别图像中交通标志是相应类别的可能性，因此，基于匹配度就可以准确确定待识别图像中交通标志的类别，这种使用聚合向量匹配进行图像识别的方式，相比于利用基于深度学习的分类网络识别图像中交通标志的类别，准确性得到了极大提升。
应该理解的是，虽然图2、6、9、11的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2、6、9、11中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图13所示，提供了一种图像识别装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：获取模块、特征提取模块、匹配模块和确定模块，其中：
获取模块1302，用于获取待识别图像，待识别图像包括待识别交通标志；
特征提取模块1304，用于对待识别图像进行特征提取，得到待识别图像的特征向量；
匹配模块1306，用于将特征向量与各类交通标志的聚合向量进行匹配，得到待识别图像与各类交通标志对应的匹配度；其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的特征向量进行聚合后得到的；
确定模块1308，用于根据匹配度确定待识别图像中待识别交通标志的类别。
在一个实施例中，特征提取模块1304，还用于对待识别图像进行检测，获得待识别交通标志所在的目标区域；从待识别图像中分割出目标区域；对目标区域进行特征提取，获得待识别图像的特征向量。
在一个实施例中，特征提取模块1304，还用于对待识别图像进行特征提取，得到待识别图像的特征图；根据特征图在待识别图像中确定候选框；将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域；根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框；将待识别图像中目标框内的区域，作为目标区域。
在一个实施例中，特征提取模块1304，还用于将特征图中的特征点映射至待识别图像，得到各特征点在待识别图像中对应的特征提取区域；以各特征提取区域的中心点为中心，按不同的尺度和缩放比例，生成各特征点分别对应的多个边界框；将特征图中各特征点对应的边界框作为候选框。
在一个实施例中，特征提取模块1304，还用于将待识别图像输入训练好的交通标志检测模型；通过交通标志检测模型中的特征提取网络，对待识别图像进行特征提取，得到待识别图像的特征图；通过交通标志检测模型中的候选框生成网络，根据特征图在待识别图像中确定候选框，将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域，根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框，将待识别图像中目标框内的区域，作为目标区域。
在一个实施例中，特征提取模块1304，还用于获取目标区域中各像素点对应的梯度信息；将目标区域的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子；将目标区域的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子；根据目标区域中各像素块对应的特征描述子，得到待识别图像的特征向量。
在一个实施例中，匹配模块1306，还用于获取特征向量与各类交通标志的聚合向量之间的相似度；根据相似度，确定待识别图像与各类交通标志对应的匹配度。
在一个实施例中，图像识别装置还包括聚合模块，其中，获取模块1302，还用于对于每类交通标志，获取多张包括相应类别交通标志的采集图像；特征提取模块1304，还用于对各采集图像进行特征提取，得到各采集图像的特征向量；聚合模块，用于聚合各采集图像的特征向量，得到相应类别交通标志的聚合向量。
在一个实施例中，特征提取模块1304，还用于对采集图像进行检测，获得交通标志所在的目标区域；从采集图像中分割出目标区域；对目标区域进行特征提取，获得采集图像的特征向量。
在一个实施例中，特征提取模块1304，还用于对采集图像进行特征提取，得到采集图像的特征图；根据特征图在采集图像中确定候选框；将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域；根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框；将采集图像中目标框内的区域，作为目标区域。
在一个实施例中，特征提取模块1304，还用于将特征图中的特征点映射至采集图像，得到各特征点在采集图像中对应的特征提取区域；以各特征提取区域的中心点为中心，按不同的尺度和缩放比例，生成各特征点分别对应的多个边界框；将特征图中各特征点对应的边界框作为候选框。
在一个实施例中，特征提取模块1304，还用于将采集图像输入训练好的交通标志检测模型；通过交通标志检测模型中的特征提取网络，对采集图像进行特征提取，得到采集图像的特征图；通过交通标志检测模型中的候选框生成网络，根据特征图在采集图像中确定候选框，将各候选框映射至特征图，得到各候选框在特征图中对应的候选区域，根据各候选区域对应的分类概率，从各候选框中确定包括交通标志的目标框，将采集图像中目标框内的区域，作为目标区域。
在一个实施例中，特征提取模块1304，还用于获取目标区域中各像素点对应的梯度信息；将目标区域的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子；将目标区域的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子；根据目标区域中各像素块对应的特征描述子，得到采集图像的特征向量。
在一个实施例中，聚合模块，还用于对于特征向量的每个特征维度，选取各特征向量在特征维度的最大特征值；根据各特征向量在每个特征维度的最大特征值，得到相应类别交通标志的聚合向量。
在一个实施例中，图像识别模块还包括选取模块，其中，确定模块1308，还用于确定待识别图像中待识别交通标志对应的第一级类别；选取模块，用于从各类交通标志中，选取属于第一级类别的交通标志；匹配模块1306，还用于将特征向量与选取的属于第一级类别的交通标志的聚合向量进行匹配，得到待识别图像与选取的交通标志对应的匹配度。
在一个实施例中，确定模块1308，还用于将待识别图像输入训练好的交通标志检测模型；通过交通标志检测模型中的特征提取网络，对待识别图像进行特征提取，得到待识别图像的特征图；通过交通标志检测模型中的候选框生成网络，根据特征图在待识别图像中确定包括交通标志的目标框；通过交通标志检测模型中的分类回归网络，根据特征图和目标框，确定待识别交通标志对应的第一级类别。
在一个实施例中，获取模块1302，还用于获取采集的道路场景图像；图像识别模块还包括生成模块，生成模块，用于在获得道路场景图像中待识别交通标志的类别后，根据类别生成车辆导航信息。
关于图像识别装置的具体限定可以参见上文中对于图像识别方法的限定，在此不再赘述。上述图像识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
上述图像识别装置中，由于聚合向量是由多张相应类别交通标志的采集图像的特征向量聚合得到，因此聚合向量携带有丰富的相应类别交通标志的特性，那么，将待识别图像的特征向量与各类交通标志的聚合向量进行匹配，所得到的匹配度能够准确反映待识别图像中交通标志是相应类别的可能性，因此，基于匹配度就可以准确确定待识别图像中交通标志的类别，这种使用聚合向量匹配进行图像识别的方式，相比于利用基于深度学习的分类网络识别图像中交通标志的类别，准确性得到了极大提升。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图14所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储图像识别数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像识别方法。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图15所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口和图像采集装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、运营商网络、NFC(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种图像识别方法。该计算机设备的图像采集装置可以是摄像头，摄像头可以是单目摄像头、双目摄像头、深度摄像头、3D(3Dimensions，三维)摄像头等，图像采集装置也还可以是激光雷达、毫米波雷达等雷达设备。
本领域技术人员可以理解，图14和图15中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
在一个实施例中，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only Memory，ROM)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(Random Access Memory，RAM)或外部高速缓冲存储器。作为说明而非局限，RAM可以是多种形式，比如静态随机存取存储器(Static Random Access Memory，SRAM)或动态随机存取存储器(Dynamic Random Access Memory，DRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (15)

1.一种图像识别方法，其特征在于，所述方法包括：
获取待识别图像，所述待识别图像包括待识别交通标志；
对所述待识别图像进行特征提取，得到所述待识别图像的特征向量；
将所述特征向量与各类交通标志的聚合向量进行匹配，得到所述待识别图像与各类交通标志对应的匹配度；其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的特征向量进行聚合后得到的；
根据所述匹配度确定所述待识别图像中所述待识别交通标志的类别。
2.根据权利要求1所述的方法，其特征在于，所述对所述待识别图像进行特征提取，得到所述待识别图像的特征向量，包括：
对所述待识别图像进行检测，获得所述待识别交通标志所在的目标区域；
从所述待识别图像中分割出所述目标区域；
对所述目标区域进行特征提取，获得所述待识别图像的特征向量。
3.根据权利要求2所述的方法，其特征在于，所述对所述待识别图像进行检测，获得所述待识别交通标志所在的目标区域，包括：
对所述待识别图像进行特征提取，得到所述待识别图像的特征图；
根据所述特征图在所述待识别图像中确定候选框；
将各所述候选框映射至所述特征图，得到各所述候选框在所述特征图中对应的候选区域；
根据各所述候选区域对应的分类概率，从各所述候选框中确定包括交通标志的目标框；
将所述待识别图像中所述目标框内的区域，作为所述目标区域。
4.根据权利要求3所述的方法，其特征在于，所述根据所述特征图在所述待识别图像中确定候选框，包括：
将所述特征图中的特征点映射至所述待识别图像，得到各所述特征点在所述待识别图像中对应的特征提取区域；
以各所述特征提取区域的中心点为中心，按不同的尺度和缩放比例，生成各所述特征点分别对应的多个边界框；
将所述特征图中各所述特征点对应的边界框作为所述候选框。
5.根据权利要求2所述的方法，其特征在于，所述对所述待识别图像进行检测，获得所述待识别交通标志所在的目标区域，包括：
将所述待识别图像输入训练好的交通标志检测模型；
通过所述交通标志检测模型中的特征提取网络，对所述待识别图像进行特征提取，得到所述待识别图像的特征图；
通过所述交通标志检测模型中的候选框生成网络，根据所述特征图在所述待识别图像中确定候选框，将各所述候选框映射至所述特征图，得到各所述候选框在所述特征图中对应的候选区域，根据各所述候选区域对应的分类概率，从各所述候选框中确定包括交通标志的目标框，将所述待识别图像中所述目标框内的区域，作为所述目标区域。
6.根据权利要求1至5任意一项所述的方法，其特征在于，所述对所述待识别图像进行特征提取，得到所述待识别图像的特征向量，包括：
获取所述待识别图像中各像素点对应的梯度信息；
将所述待识别图像的各像素点划分为多个像素单元后，根据划分至同一像素单元的像素点所对应的梯度信息，得到各像素单元对应的特征描述子；
将所述待识别图像的各像素单元划分为多个像素块后，根据划分至同一像素块的像素单元所对应的特征描述子，得到各像素块对应的特征描述子；
根据所述待识别图像中各像素块对应的特征描述子，得到所述待识别图像的特征向量。
7.根据权利要求1至5任意一项所述的方法，其特征在于，所述将所述特征向量与各类交通标志的聚合向量进行匹配，得到所述待识别图像与各类交通标志对应的匹配度，包括：
获取所述特征向量与各类交通标志的聚合向量之间的相似度；
根据所述相似度，确定所述待识别图像与各类交通标志对应的匹配度。
8.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：
对于每类交通标志，获取多张包括相应类别交通标志的采集图像；
对各所述采集图像进行特征提取，得到各所述采集图像的特征向量；
聚合各所述采集图像的特征向量，得到相应类别交通标志的聚合向量。
9.根据权利要求8所述的方法，其特征在于，所述对各所述采集图像进行特征提取，得到各所述采集图像的特征向量，包括：
对所述采集图像进行检测，获得交通标志所在的目标区域；
从所述采集图像中分割出所述目标区域；
对所述目标区域进行特征提取，获得所述采集图像的特征向量。
10.根据权利要求8所述的方法，其特征在于，所述聚合各所述采集图像的特征向量，得到相应类别交通标志的聚合向量，包括：
对于所述特征向量的每个特征维度，选取各所述特征向量在所述特征维度的最大特征值；
根据各所述特征向量在每个特征维度的最大特征值，得到相应类别交通标志的聚合向量。
11.根据权利要求1至5任意一项所述的方法，其特征在于，所述方法还包括：
确定所述待识别图像中所述待识别交通标志对应的第一级类别；
从各类交通标志中，选取属于所述第一级类别的交通标志；
所述将所述特征向量与各类交通标志的聚合向量进行匹配，得到所述待识别图像与各类交通标志对应的匹配度，包括：
将所述特征向量与选取的属于所述第一级类别的交通标志的聚合向量进行匹配，得到所述待识别图像与选取的所述交通标志对应的匹配度。
12.根据权利要求11所述的方法，其特征在于，所述确定所述待识别图像中所述待识别交通标志对应的第一级类别，包括：
将所述待识别图像输入训练好的交通标志检测模型；
通过所述交通标志检测模型中的特征提取网络，对所述待识别图像进行特征提取，得到所述待识别图像的特征图；
通过所述交通标志检测模型中的候选框生成网络，根据所述特征图在所述待识别图像中确定包括交通标志的目标框；
通过所述交通标志检测模型中的分类回归网络，根据所述特征图和所述目标框，确定所述待识别交通标志对应的第一级类别。
13.根据权利要求1至5任意一项所述的方法，其特征在于，所述获取待识别图像，包括：
获取采集的道路场景图像；
所述方法还包括：
在获得所述道路场景图像中待识别交通标志的类别后，根据所述类别生成车辆导航信息。
14.一种图像识别装置，其特征在于，所述装置包括：
获取模块，用于获取待识别图像，所述待识别图像包括待识别交通标志；
特征提取模块，用于对所述待识别图像进行特征提取，得到所述待识别图像的特征向量；
匹配模块，用于将所述特征向量与各类交通标志的聚合向量进行匹配，得到所述待识别图像与各类交通标志对应的匹配度；其中，每类交通标志对应的聚合向量，是通过对多张包括相应类别交通标志的图像的特征向量进行聚合后得到的；
确定模块，用于根据所述匹配度确定所述待识别图像中所述待识别交通标志的类别。
15.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至13中任一项所述的方法的步骤。
CN202110070184.9A 2021-01-19 2021-01-19 图像识别方法、装置、计算机设备和存储介质 Active CN112712066B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110070184.9A CN112712066B (zh) 2021-01-19 2021-01-19 图像识别方法、装置、计算机设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110070184.9A CN112712066B (zh) 2021-01-19 2021-01-19 图像识别方法、装置、计算机设备和存储介质

Publications (2)

Publication Number Publication Date
CN112712066A true CN112712066A (zh) 2021-04-27
CN112712066B CN112712066B (zh) 2023-02-28

Family

ID=75549372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110070184.9A Active CN112712066B (zh) 2021-01-19 2021-01-19 图像识别方法、装置、计算机设备和存储介质

Country Status (1)

Country Link
CN (1) CN112712066B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114353819A (zh) * 2022-01-04 2022-04-15 腾讯科技（深圳）有限公司 车辆的导航方法、装置、设备、存储介质及程序产品
CN115063594A (zh) * 2022-08-19 2022-09-16 清驰(济南)智能科技有限公司 一种基于自动驾驶的特征提取方法及装置

Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276421A (zh) * 2008-04-18 2008-10-01 清华大学 人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置
CN103236068A (zh) * 2013-05-14 2013-08-07 中国科学院自动化研究所 一种局部图像匹配方法
CN103996057A (zh) * 2014-06-12 2014-08-20 武汉科技大学 基于多特征融合的实时手写体数字识别方法
CN104239856A (zh) * 2014-09-04 2014-12-24 电子科技大学 基于Gabor特征和自适应线性回归的人脸识别方法
CN104657718A (zh) * 2015-02-13 2015-05-27 武汉工程大学 一种基于人脸图像特征极限学习机的人脸识别方法
CN104951774A (zh) * 2015-07-10 2015-09-30 浙江工业大学 基于两种子空间相融合的掌静脉特征提取和匹配方法
CN105512664A (zh) * 2015-12-03 2016-04-20 小米科技有限责任公司 图像识别方法及装置
CN105701502A (zh) * 2016-01-06 2016-06-22 福州大学 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN106503687A (zh) * 2016-11-09 2017-03-15 合肥工业大学 融合人脸多角度特征的监控视频人物身份识别系统及其方法
CN107330396A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于多属性和多策略融合学习的行人再识别方法
CN107967482A (zh) * 2017-10-24 2018-04-27 广东中科南海岸车联网技术有限公司 图标识别方法及装置
CN108229330A (zh) * 2017-12-07 2018-06-29 深圳市商汤科技有限公司 人脸融合识别方法及装置、电子设备和存储介质
CN108416283A (zh) * 2018-02-28 2018-08-17 华南理工大学 一种基于ssd的路面交通标志识别方法
CN108776787A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 图像处理方法及装置、电子设备、存储介质
CN108875454A (zh) * 2017-05-11 2018-11-23 比亚迪股份有限公司 交通标志识别方法、装置和车辆
CN109710800A (zh) * 2018-11-08 2019-05-03 北京奇艺世纪科技有限公司 模型生成方法、视频分类方法、装置、终端及存储介质
CN109978918A (zh) * 2019-03-21 2019-07-05 腾讯科技（深圳）有限公司 一种轨迹追踪方法、装置和存储介质
CN110659550A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 交通标志牌识别方法、装置、计算机设备和存储介质
US20200086879A1 (en) * 2018-09-14 2020-03-19 Honda Motor Co., Ltd. Scene classification prediction
CN111046973A (zh) * 2019-12-26 2020-04-21 北京市商汤科技开发有限公司 多任务检测方法及装置、存储介质
US20200218916A1 (en) * 2018-09-07 2020-07-09 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for anti-spoofing detection, and storage medium
CN111488770A (zh) * 2019-01-28 2020-08-04 初速度（苏州）科技有限公司 交通标志识别方法、神经网络模型的训练方法和装置
CN111523534A (zh) * 2020-03-31 2020-08-11 华东师范大学 一种图像描述的方法
CN111597875A (zh) * 2020-04-01 2020-08-28 吉利汽车研究院（宁波）有限公司 一种交通标志识别方法、装置、设备及存储介质
CN111738048A (zh) * 2020-03-10 2020-10-02 重庆大学 一种行人再识别的方法
CN111770352A (zh) * 2020-06-24 2020-10-13 北京字节跳动网络技术有限公司 安全检测方法、装置、电子设备及存储介质
CN111931683A (zh) * 2020-08-25 2020-11-13 腾讯科技（深圳）有限公司 图像识别方法、装置及计算机可读存储介质
CN112052778A (zh) * 2020-09-01 2020-12-08 腾讯科技（深圳）有限公司 一种交通标志识别方法以及相关装置
CN112132004A (zh) * 2020-09-21 2020-12-25 南水北调中线信息科技有限公司 一种基于多视角特征融合的细粒度图像识别方法

Patent Citations (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101276421A (zh) * 2008-04-18 2008-10-01 清华大学 人脸部件特征和Gabor人脸特征融合的人脸识别方法及其装置
CN103236068A (zh) * 2013-05-14 2013-08-07 中国科学院自动化研究所 一种局部图像匹配方法
CN103996057A (zh) * 2014-06-12 2014-08-20 武汉科技大学 基于多特征融合的实时手写体数字识别方法
CN104239856A (zh) * 2014-09-04 2014-12-24 电子科技大学 基于Gabor特征和自适应线性回归的人脸识别方法
CN104657718A (zh) * 2015-02-13 2015-05-27 武汉工程大学 一种基于人脸图像特征极限学习机的人脸识别方法
CN104951774A (zh) * 2015-07-10 2015-09-30 浙江工业大学 基于两种子空间相融合的掌静脉特征提取和匹配方法
CN105512664A (zh) * 2015-12-03 2016-04-20 小米科技有限责任公司 图像识别方法及装置
CN105701502A (zh) * 2016-01-06 2016-06-22 福州大学 一种基于蒙特卡罗数据均衡的图像自动标注方法
CN106503687A (zh) * 2016-11-09 2017-03-15 合肥工业大学 融合人脸多角度特征的监控视频人物身份识别系统及其方法
CN108875454A (zh) * 2017-05-11 2018-11-23 比亚迪股份有限公司 交通标志识别方法、装置和车辆
CN107330396A (zh) * 2017-06-28 2017-11-07 华中科技大学 一种基于多属性和多策略融合学习的行人再识别方法
CN107967482A (zh) * 2017-10-24 2018-04-27 广东中科南海岸车联网技术有限公司 图标识别方法及装置
CN108229330A (zh) * 2017-12-07 2018-06-29 深圳市商汤科技有限公司 人脸融合识别方法及装置、电子设备和存储介质
CN108416283A (zh) * 2018-02-28 2018-08-17 华南理工大学 一种基于ssd的路面交通标志识别方法
CN108776787A (zh) * 2018-06-04 2018-11-09 北京京东金融科技控股有限公司 图像处理方法及装置、电子设备、存储介质
CN110659550A (zh) * 2018-06-29 2020-01-07 比亚迪股份有限公司 交通标志牌识别方法、装置、计算机设备和存储介质
US20200218916A1 (en) * 2018-09-07 2020-07-09 Beijing Sensetime Technology Development Co., Ltd. Method and apparatus for anti-spoofing detection, and storage medium
US20200086879A1 (en) * 2018-09-14 2020-03-19 Honda Motor Co., Ltd. Scene classification prediction
CN109710800A (zh) * 2018-11-08 2019-05-03 北京奇艺世纪科技有限公司 模型生成方法、视频分类方法、装置、终端及存储介质
CN111488770A (zh) * 2019-01-28 2020-08-04 初速度（苏州）科技有限公司 交通标志识别方法、神经网络模型的训练方法和装置
CN109978918A (zh) * 2019-03-21 2019-07-05 腾讯科技（深圳）有限公司 一种轨迹追踪方法、装置和存储介质
CN111046973A (zh) * 2019-12-26 2020-04-21 北京市商汤科技开发有限公司 多任务检测方法及装置、存储介质
CN111738048A (zh) * 2020-03-10 2020-10-02 重庆大学 一种行人再识别的方法
CN111523534A (zh) * 2020-03-31 2020-08-11 华东师范大学 一种图像描述的方法
CN111597875A (zh) * 2020-04-01 2020-08-28 吉利汽车研究院（宁波）有限公司 一种交通标志识别方法、装置、设备及存储介质
CN111770352A (zh) * 2020-06-24 2020-10-13 北京字节跳动网络技术有限公司 安全检测方法、装置、电子设备及存储介质
CN111931683A (zh) * 2020-08-25 2020-11-13 腾讯科技（深圳）有限公司 图像识别方法、装置及计算机可读存储介质
CN112052778A (zh) * 2020-09-01 2020-12-08 腾讯科技（深圳）有限公司 一种交通标志识别方法以及相关装置
CN112132004A (zh) * 2020-09-21 2020-12-25 南水北调中线信息科技有限公司 一种基于多视角特征融合的细粒度图像识别方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
YU WANG 等: "A Fast Feature Fusion Algorithm in Image Classification for Cyber Physical Systems", 《IEEE ACCESS:SECURITY ANALYTICS AND INTELLIGENCE FOR CYBER PHYSICAL SYSTEMS》 *
刘兰馨: "基于机器视觉的车道线检测和交通标志识别研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
尹奕博: "基于深度学习的行人再识别关键技术研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
曹继承: "基于机器学习的交通标志检测与分类方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
王博: "基于视觉特征与机器学习的图像分类和图像检索方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *
聂旎: "基于图像视频的行车环境交通对象检测与识别算法研究", 《中国优秀硕士学位论文全文数据库 工程科技II辑》 *
魏溪含 等: "《深度学习与图像识别 原理与实践》", 30 November 2019, 机械工业出版社 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114353819A (zh) * 2022-01-04 2022-04-15 腾讯科技（深圳）有限公司 车辆的导航方法、装置、设备、存储介质及程序产品
CN115063594A (zh) * 2022-08-19 2022-09-16 清驰(济南)智能科技有限公司 一种基于自动驾驶的特征提取方法及装置
CN115063594B (zh) * 2022-08-19 2022-12-13 清驰(济南)智能科技有限公司 一种基于自动驾驶的特征提取方法及装置

Also Published As

Publication number Publication date
CN112712066B (zh) 2023-02-28

Similar Documents

Publication Publication Date Title
Saha et al. Unsupervised deep change vector analysis for multiple-change detection in VHR images
Chen et al. Vehicle detection in high-resolution aerial images via sparse representation and superpixels
Saini et al. An efficient vision-based traffic light detection and state recognition for autonomous vehicles
CN109598241B (zh) 基于Faster R-CNN的卫星图像海上舰船识别方法
US11556745B2 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
Sirmacek et al. Urban-area and building detection using SIFT keypoints and graph theory
JP6050223B2 (ja) 画像認識装置、画像認識方法、及び集積回路
CN111460968B (zh) 基于视频的无人机识别与跟踪方法及装置
KR101896357B1 (ko) 객체를 검출하는 방법, 디바이스 및 프로그램
Alidoost et al. A CNN-based approach for automatic building detection and recognition of roof types using a single aerial image
Wali et al. Comparative survey on traffic sign detection and recognition: a review
JP2016062610A (ja) 特徴モデル生成方法及び特徴モデル生成装置
Asokan et al. Machine learning based image processing techniques for satellite image analysis-a survey
Wang et al. An overview of 3d object detection
CN112712066B (zh) 图像识别方法、装置、计算机设备和存储介质
CN112633297A (zh) 目标对象的识别方法、装置、存储介质以及电子装置
Ward et al. RGB-D image-based object detection: from traditional methods to deep learning techniques
Bahri et al. Real-time moving human detection using HOG and Fourier descriptor based on CUDA implementation
KR102270009B1 (ko) 다채널 영상 인공지능 알고리즘 기반 이동 물체 탐지 및 거리 추정 방법
Zhou et al. Visual robotic object grasping through combining rgb-d data and 3d meshes
Dornaika et al. An efficient pyramid multi-level image descriptor: application to image-based parking lot monitoring
Kim et al. Stereo-based region of interest generation for real-time pedestrian detection
Sun et al. The recognition framework of deep kernel learning for enclosed remote sensing objects
Yousefiyan et al. Integrated local features to detect building locations in high-resolution satellite imagery
Palmer et al. Intensity and range image based features for object detection in mobile mapping data

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40042954

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant