CN110879950A - 多级目标分类及交通标志检测方法和装置、设备、介质 - Google Patents

多级目标分类及交通标志检测方法和装置、设备、介质 Download PDF

Info

Publication number
CN110879950A
CN110879950A CN201811036346.1A CN201811036346A CN110879950A CN 110879950 A CN110879950 A CN 110879950A CN 201811036346 A CN201811036346 A CN 201811036346A CN 110879950 A CN110879950 A CN 110879950A
Authority
CN
China
Prior art keywords
traffic sign
image
candidate region
feature
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811036346.1A
Other languages
English (en)
Inventor
王贺璋
马宇宸
胡天晓
曾星宇
闫俊杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201811036346.1A priority Critical patent/CN110879950A/zh
Priority to JP2020573120A priority patent/JP2021530048A/ja
Priority to PCT/CN2019/098674 priority patent/WO2020048265A1/zh
Priority to KR1020207037464A priority patent/KR20210013216A/ko
Priority to SG11202013053PA priority patent/SG11202013053PA/en
Publication of CN110879950A publication Critical patent/CN110879950A/zh
Priority to US17/128,629 priority patent/US20210110180A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种多级目标分类及交通标志检测方法和装置、设备、介质，其中多级目标分类方法包括：获得图像中至少一个目标对应的至少一个候选区域特征，所述图像中包括至少一个目标，每个所述目标对应一个候选区域特征；基于至少一个所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量；基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述小类的分类概率。本发明上述实施例，提升了图像中目标的分类准确率。本发明实施例中目标大小并不限定，可用于较大尺寸目标的分类，也可用于较小尺寸目标的分类。

Description

多级目标分类及交通标志检测方法和装置、设备、介质
技术领域
本发明涉及计算机视觉技术，尤其是一种多级目标分类及交通标志检测方法和装置、设备、介质。
背景技术
交通标记检测是自动驾驶领域的重要问题。交通标记在现代公路系统中发挥着重要作用，它利用文字和图形符号对车辆、行人传递指示、指路、警告、禁令等信号，引导车辆行驶和行人出行。交通标记的正确检测可以规划自动驾驶汽车的速度、方向，保证车辆的安全行驶。现实场景中，公路交通标记种类繁多，并且公路交通标记相对于一般目标如人、车尺寸较小。
发明内容
本发明实施例提供了一种多级目标分类技术。
根据本发明实施例的一个方面，提供的一种多级目标分类方法，包括：
获得图像中至少一个目标对应的至少一个候选区域特征，所述图像中包括至少一个目标，每个所述目标对应一个候选区域特征；
基于至少一个所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量；
基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述小类的分类概率。
可选地，在本发明上述任一方法实施例中，所述基于至少一个所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量，包括：
基于至少一个所述候选区域特征通过第一分类器进行分类，得到对应至少两个大类的至少一个第一概率向量；
基于至少一个所述候选区域特征通过至少两个第二分类器对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量。
可选地，在本发明上述任一方法实施例中，每个所述大类类别对应一个所述第二分类器；
所述基于至少一个所述候选区域特征通过至少两个第二分类器对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量，包括：
基于所述第一概率向量，确定所述候选区域特征对应的所述大类类别；
基于所述大类对应的所述第二分类器对所述候选区域特征进行分类，得到所述候选区域特征对应所述至少两个小类的第二概率向量。
可选地，在本发明上述任一方法实施例中，所述基于所述大类对应的所述第二分类器对所述候选区域特征进行分类，得到所述候选区域特征对应所述至少两个小类的第二概率向量之前，还包括：
将所述候选区域特征经过卷积神经网络进行处理，将所述处理后的候选区域特征输入所述大类对应的所述第二分类器。
可选地，在本发明上述任一方法实施例中，所述基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述小类的分类概率，包括：
基于所述第一概率向量，确定所述目标属于所述大类的第一分类概率；
基于所述第二概率向量，确定所述目标属于所述小类的第二分类概率；
结合所述第一分类概率和所述第二分类概率，确定所述目标属于所述大类中的所述小类的分类概率。
可选地，在本发明上述任一方法实施例中，所述基于至少一个所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量之前，还包括：
基于样本候选区域特征训练分类网络；所述分类网络包括一个第一分类器和至少两个第二分类器，所述第二分类器的数量等于所述第一分类器的大类类别；所述样本候选区域特征具有标注小类类别或具有标注小类类别和标注大类类别。
可选地，在本发明上述任一方法实施例中，响应于所述样本候选区域特征具有标注小类类别，通过对所述标注小类类别聚类确定所述样本候选区域特征对应的标注大类类别。
可选地，在本发明上述任一方法实施例中，所述基于样本候选区域特征训练分类网络，包括：
将样本候选区域特征输入所述第一分类器，得到预测大类类别；基于所述预测大类类别和所述标注大类类别调整所述第一分类器的参数；
基于所述样本候选区域特征的所述标注大类类别，将所述样本候选区域特征输入所述标注大类类别对应的所述第二分类器，得到预测小类类别；基于所述预测小类类别和所述标注小类类别调整所述第二分类器的参数。
可选地，在本发明上述任一方法实施例中，所述获得图像中至少一个目标对应的至少一个候选区域特征，包括：
基于所述图像获取所述至少一个目标对应的至少一个候选区域；
对所述图像进行特征提取，获得所述图像对应的图像特征；
基于至少一个所述候选区域和所述图像特征确定所述图像对应的至少一个所述候选区域特征。
可选地，在本发明上述任一方法实施例中，所述基于至少一个所述候选区域和所述图像特征确定所述图像对应的至少一个所述候选区域特征，包括：
基于至少一个所述候选区域从所述图像特征中获得对应位置的特征，构成至少一个所述候选区域对应的至少一个所述候选区域特征，每个所述候选区域对应一个所述候选区域特征。
可选地，在本发明上述任一方法实施例中，所述对所述图像进行特征提取，获得所述图像对应的图像特征，包括：
通过特征提取网络中的卷积神经网络对所述图像进行特征提取，得到第一特征；
通过所述特征提取网络中的残差网络对所述图像进行差异特征提取，得到差异特征；
基于所述第一特征和所述差异特征，获得所述图像对应的图像特征。
可选地，在本发明上述任一方法实施例中，所述基于所述第一特征和所述差异特征，获得所述图像对应的图像特征，包括：
对所述第一特征和所述差异特征进行按位相加，获得所述图像对应的图像特征。
可选地，在本发明上述任一方法实施例中，所述通过特征提取网络中的卷积神经网络对所述图像进行特征提取，得到第一特征，包括：
通过所述卷积神经网络对所述图像进行特征提取；
基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述第一特征。
可选地，在本发明上述任一方法实施例中，所述基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述第一特征，包括：
对所述至少两个卷积层输出的至少两个所述特征图中的至少一个所述特征图进行处理，使至少两个所述特征图大小相同；
对至少两个所述大小相同的特征图按位相加，确定所述图像对应的所述第一特征。
可选地，在本发明上述任一方法实施例中，所述通过特征提取网络中的卷积神经网络对所述图像进行特征提取，得到第一特征之前，还包括：
基于第一样本图像，结合判别器对所述特征提取网络进行对抗训练，已知所述第一样本图像中目标物体的大小，所述目标物体包括第一目标物体和第二目标物体，所述第一目标物体的大小与所述第二目标物体的大小不同。
可选地，在本发明上述任一方法实施例中，所述基于第一样本图像，结合判别器对所述特征提取网络进行对抗训练，包括：
将所述第一样本图像输入所述特征提取网络，得到第一样本图像特征；
经判别器基于所述第一样本图像特征获得判别结果，所述判别结果用于表示所述第一样本图像中包括第一目标物体的真实性；
基于所述判别结果和已知所述第一样本图像中目标物体的大小，交替调整所述判别器和所述特征提取网络的参数。
可选地，在本发明上述任一方法实施例中，所述对所述图像进行特征提取，获得所述图像对应的图像特征，包括：
通过卷积神经网络对所述图像进行特征提取；
基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述图像特征。
可选地，在本发明上述任一方法实施例中，所述基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述图像特征，包括：
对所述至少两个卷积层输出的至少两个所述特征图中的至少一个所述特征图进行处理，使至少两个所述特征图大小相同；
对至少两个所述大小相同的特征图按位相加，确定所述图像对应的所述图像特征。
可选地，在本发明上述任一方法实施例中，所述通过卷积神经网络对所述图像进行特征提取之前，还包括：
基于第二样本图像训练所述卷积神经网络，所述第二样本图像包括标注图像特征。
可选地，在本发明上述任一方法实施例中，所述基于第二样本图像训练所述卷积神经网络，包括：
将所述第二样本图像输入所述卷积神经网络，得到所述预测图像特征；
基于所述预测图像特征和所述标注图像特征，调整所述卷积神经网络的参数。
可选地，在本发明上述任一方法实施例中，所述基于所述图像获取所述至少一个目标对应的至少一个候选区域，包括：
从视频中获得至少一帧所述图像，对所述图像执行区域检测，得到至少一个所述目标对应的至少一个所述候选区域。
可选地，在本发明上述任一方法实施例中，所述基于所述图像获取所述至少一个目标对应的至少一个候选区域之前，还包括：
对所述视频中的所述图像进行关键点识别，确定所述图像中的所述目标对应的目标关键点；
对所述目标关键点进行跟踪，获得所述视频中各所述图像的关键点区域；
所述基于所述图像获取所述至少一个目标对应的至少一个候选区域之后，还包括：
根据所述各所述图像的关键点区域调整所述至少一个候选区域，获得所述至少一个目标对应的至少一个目标候选区域。
可选地，在本发明上述任一方法实施例中，所述对所述目标关键点进行跟踪，获得所述视频中各所述图像的关键点区域，包括：
基于所述视频中连续两帧所述图像中各所述目标关键点之间的距离；
基于各所述目标关键点之间的距离实现对所述视频中的所述目标关键点进行跟踪；
获得所述视频中各所述图像的关键点区域。
可选地，在本发明上述任一方法实施例中，所述基于各所述目标关键点之间的距离实现对所述视频中的所述目标关键点进行跟踪，包括：
基于各所述目标关键点之间的距离的最小值，确定连续两帧所述图像中同一目标关键点的位置；
根据所述同一目标关键点在连续两帧所述图像中的位置实现目标关键点在所述视频中的跟踪。
可选地，在本发明上述任一方法实施例中，所述根据所述各所述图像的关键点区域调整所述至少一个候选区域，获得所述至少一个目标对应的至少一个目标候选区域，包括：
响应于所述候选区域与所述关键点区域的重合比例大于或等于设定比例，将所述候选区域作为所述目标对应的目标候选区域；
响应于所述候选区域与所述关键点区域的重合比例小于设定比例，将所述关键点区域作为所述目标对应的目标候选区域。
根据本发明实施例的另一个方面，提供的一种交通标志检测方法，包括：
采集包括交通标志的图像；
获得所述包括交通标志的图像中至少一个交通标志对应的至少一个候选区域特征，每个所述交通标志对应一个候选区域特征；
基于至少一个所述候选区域特征，得到对应至少两个交通标志大类的至少一个第一概率向量，并对每个所述交通标志大类进行分类，分别得到对应所述交通标志大类中至少两个交通标志小类的至少一个第二概率向量；
基于所述第一概率向量和所述第二概率向量，确定所述交通标志属于所述交通标志小类的分类概率。
可选地，在本发明上述任一方法实施例中，所述基于至少一个所述候选区域特征，得到对应至少两个交通标志大类的至少一个第一概率向量，并对每个所述交通标志大类进行分类，分别得到对应所述交通标志大类中至少两个交通标志小类的至少一个第二概率向量，包括：
基于至少一个所述候选区域特征通过第一分类器进行分类，得到对应至少两个交通标志大类的至少一个第一概率向量；
基于至少一个所述候选区域特征通过至少两个第二分类器对每个所述交通标志大类进行分类，分别得到对应所述交通标志大类中至少两个交通标志小类的至少一个第二概率向量。
可选地，在本发明上述任一方法实施例中，每个所述交通标志大类类别对应一个所述第二分类器；
所述基于至少一个所述候选区域特征通过至少两个第二分类器对每个所述交通标志大类进行分类，分别得到对应所述交通标志大类中至少两个交通标志小类的至少一个第二概率向量，包括：
基于所述第一概率向量，确定所述候选区域特征对应的所述交通标志大类类别；
基于所述交通标志大类对应的所述第二分类器对所述候选区域特征进行分类，得到所述候选区域特征对应所述至少两个交通标志小类的第二概率向量。
可选地，在本发明上述任一方法实施例中，所述基于所述交通标志大类对应的所述第二分类器对所述候选区域特征进行分类，得到所述候选区域特征对应所述至少两个交通标志小类的第二概率向量之前，还包括：
将所述候选区域特征经过卷积神经网络进行处理，将所述处理后的候选区域特征输入所述交通标志大类对应的所述第二分类器。
可选地，在本发明上述任一方法实施例中，所述基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述交通标志小类的分类概率，包括：
基于所述第一概率向量，确定所述目标属于所述交通标志大类的第一分类概率；
基于所述第二概率向量，确定所述目标属于所述交通标志小类的第二分类概率；
结合所述第一分类概率和所述第二分类概率，确定所述交通标志属于所述交通标志大类中的所述交通标志小类的分类概率。
可选地，在本发明上述任一方法实施例中，所述基于至少一个所述候选区域特征，得到对应至少两个交通标志大类的至少一个第一概率向量，并对每个所述交通标志大类进行分类，分别得到对应所述交通标志大类中至少两个交通标志小类的至少一个第二概率向量之前，还包括：
基于样本候选区域特征训练交通分类网络；所述交通分类网络包括一个第一分类器和至少两个第二分类器，所述第二分类器的数量等于所述第一分类器的交通标志大类类别；所述样本候选区域特征具有标注交通标志小类类别或具有标注交通标志小类类别和标注交通标志大类类别。
可选地，在本发明上述任一方法实施例中，响应于所述样本候选区域特征具有标注交通标志小类类别，通过对所述标注交通标志小类类别聚类确定所述样本候选区域特征对应的标注交通标志大类类别。
可选地，在本发明上述任一方法实施例中，所述基于样本候选区域特征训练交通分类网络，包括：
将样本候选区域特征输入所述第一分类器，得到预测交通标志大类类别；基于所述预测交通标志大类类别和所述标注交通标志大类类别调整所述第一分类器的参数；
基于所述样本候选区域特征的所述标注交通标志大类类别，将所述样本候选区域特征输入所述标注交通标志大类类别对应的所述第二分类器，得到预测交通标志小类类别；基于所述预测交通标志小类类别和所述标注交通标志小类类别调整所述第二分类器的参数。
可选地，在本发明上述任一方法实施例中，所述获得所述包括交通标志的图像中至少一个交通标志对应的至少一个候选区域特征，包括：
基于所述包括交通标志的图像获取所述至少一个交通标志对应的至少一个候选区域；
对所述图像进行特征提取，获得所述图像对应的图像特征；
基于至少一个所述候选区域和所述图像特征确定所述包括交通标志的图像对应的至少一个所述候选区域特征。
可选地，在本发明上述任一方法实施例中，基于至少一个所述候选区域和所述图像特征确定所述包括交通标志的图像对应的至少一个所述候选区域特征，包括：
基于至少一个所述候选区域从所述图像特征中获得对应位置的特征，构成至少一个所述候选区域对应的至少一个所述候选区域特征，每个所述候选区域对应一个所述候选区域特征。
可选地，在本发明上述任一方法实施例中，所述对所述图像进行特征提取，获得所述图像对应的图像特征，包括：
通过特征提取网络中的卷积神经网络对所述图像进行特征提取，得到第一特征；
通过所述特征提取网络中的残差网络对所述图像进行差异特征提取，得到差异特征；
基于所述第一特征和所述差异特征，获得所述图像对应的图像特征。
可选地，在本发明上述任一方法实施例中，所述基于所述第一特征和所述差异特征，获得所述图像对应的图像特征，包括：
对所述第一特征和所述差异特征进行按位相加，获得所述图像对应的图像特征。
可选地，在本发明上述任一方法实施例中，所述通过特征提取网络中的卷积神经网络对所述图像进行特征提取，得到第一特征，包括：
通过所述卷积神经网络对所述图像进行特征提取；
基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述第一特征。
可选地，在本发明上述任一方法实施例中，所述基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述第一特征，包括：
对所述至少两个卷积层输出的至少两个所述特征图中的至少一个所述特征图进行处理，使至少两个所述特征图大小相同；
对至少两个所述大小相同的特征图按位相加，确定所述图像对应的所述第一特征。
可选地，在本发明上述任一方法实施例中，所述通过特征提取网络中的卷积神经网络对所述图像进行特征提取，得到第一特征之前，还包括：
基于第一样本图像，结合判别器对所述特征提取网络进行对抗训练，已知所述第一样本图像中交通标志的大小，所述交通标志包括第一交通标志和第二交通标志，所述第一交通标志的大小与所述第二交通标志的大小不同。
可选地，在本发明上述任一方法实施例中，所述基于第一样本图像，结合判别器对所述特征提取网络进行对抗训练，包括：
将所述第一样本图像输入所述特征提取网络，得到第一样本图像特征；
经判别器基于所述第一样本图像特征获得判别结果，所述判别结果用于表示所述第一样本图像中包括第一交通标志的真实性；
基于所述判别结果和已知所述第一样本图像中交通标志的大小，交替调整所述判别器和所述特征提取网络的参数。
可选地，在本发明上述任一方法实施例中，所述对所述图像进行特征提取，获得所述图像对应的图像特征，包括：
通过卷积神经网络对所述图像进行特征提取；
基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述图像特征。
可选地，在本发明上述任一方法实施例中，所述基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述图像特征，包括：
对所述至少两个卷积层输出的至少两个所述特征图中的至少一个所述特征图进行处理，使至少两个所述特征图大小相同；
对至少两个所述大小相同的特征图按位相加，确定所述图像对应的所述图像特征。
可选地，在本发明上述任一方法实施例中，所述通过卷积神经网络对所述图像进行特征提取之前，还包括：
基于第二样本图像训练所述卷积神经网络，所述第二样本图像包括标注图像特征。
可选地，在本发明上述任一方法实施例中，所述基于第二样本图像训练所述卷积神经网络，包括：
将所述第二样本图像输入所述卷积神经网络，得到所述预测图像特征；
基于所述预测图像特征和所述标注图像特征，调整所述卷积神经网络的参数。
可选地，在本发明上述任一方法实施例中，所述基于所述包括交通标志的图像获取所述至少一个交通标志对应的至少一个候选区域，包括：
从视频中获得至少一帧所述包括交通标志的图像，对所述图像执行区域检测，得到至少一个所述交通标志对应的至少一个所述候选区域。
可选地，在本发明上述任一方法实施例中，所述基于所述包括交通标志的图像获取所述至少一个交通标志对应的至少一个候选区域之前，还包括：
对所述视频中的所述图像进行关键点识别，确定所述图像中的所述交通标志对应的交通标志关键点；
对所述交通标志关键点进行跟踪，获得所述视频中各所述图像的关键点区域；
所述基于所述图像获取所述至少一个交通标志对应的至少一个候选区域之后，还包括：
根据所述各所述图像的关键点区域调整所述至少一个候选区域，获得所述至少一个交通标志对应的至少一个交通标志候选区域。
可选地，在本发明上述任一方法实施例中，所述对所述交通标志关键点进行跟踪，获得所述视频中各所述图像的关键点区域，包括：
基于所述视频中连续两帧所述图像中各所述交通标志关键点之间的距离；
基于各所述交通标志关键点之间的距离实现对所述视频中的所述交通标志关键点进行跟踪；
获得所述视频中各所述图像的关键点区域。
可选地，在本发明上述任一方法实施例中，所述基于各所述交通标志关键点之间的距离实现对所述视频中的所述交通标志关键点进行跟踪，包括：
基于各所述交通标志关键点之间的距离的最小值，确定连续两帧所述图像中同一交通标志关键点的位置；
根据所述同一交通标志关键点在连续两帧所述图像中的位置实现交通标志关键点在所述视频中的跟踪。
可选地，在本发明上述任一方法实施例中，所述根据所述各所述图像的关键点区域调整所述至少一个候选区域，获得所述至少一个交通标志对应的至少一个交通标志候选区域，包括：
响应于所述候选区域与所述关键点区域的重合比例大于或等于设定比例，将所述候选区域作为所述交通标志对应的交通标志候选区域；
响应于所述候选区域与所述关键点区域的重合比例小于设定比例，将所述关键点区域作为所述交通标志对应的交通标志候选区域。
根据本发明实施例的另一个方面，提供的一种多级目标分类装置，包括：
候选区域获得单元，用于获得图像中至少一个目标对应的至少一个候选区域特征，所述图像中包括至少一个目标，每个所述目标对应一个候选区域特征；
概率向量单元，用于基于至少一个所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量；
目标分类单元，用于基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述小类的分类概率。
可选地，在本发明上述任一装置实施例中，所述概率向量单元，包括：
第一概率模块，用于基于至少一个所述候选区域特征通过第一分类器进行分类，得到对应至少两个大类的至少一个第一概率向量；
第二概率模块，用于基于至少一个所述候选区域特征通过至少两个第二分类器对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量。
可选地，在本发明上述任一装置实施例中，每个所述大类类别对应一个所述第二分类器；
所述第二概率模块，具体用于基于所述第一概率向量，确定所述候选区域特征对应的所述大类类别；基于所述大类对应的所述第二分类器对所述候选区域特征进行分类，得到所述候选区域特征对应所述至少两个小类的第二概率向量。
可选地，在本发明上述任一装置实施例中，所述概率向量单元，还用于将所述候选区域特征经过卷积神经网络进行处理，将所述处理后的候选区域特征输入所述大类对应的所述第二分类器。
可选地，在本发明上述任一装置实施例中，所述目标分类单元，具体用于基于所述第一概率向量，确定所述目标属于所述大类的第一分类概率；基于所述第二概率向量，确定所述目标属于所述小类的第二分类概率；结合所述第一分类概率和所述第二分类概率，确定所述目标属于所述大类中的所述小类的分类概率。
可选地，在本发明上述任一装置实施例中，所述装置还包括：
网络训练单元，用于基于样本候选区域特征训练分类网络；所述分类网络包括一个第一分类器和至少两个第二分类器，所述第二分类器的数量等于所述第一分类器的大类类别；所述样本候选区域特征具有标注小类类别或具有标注小类类别和标注大类类别。
可选地，在本发明上述任一装置实施例中，响应于所述样本候选区域特征具有标注小类类别，通过对所述标注小类类别聚类确定所述样本候选区域特征对应的标注大类类别。
可选地，在本发明上述任一装置实施例中，所述网络训练单元，具体用于将样本候选区域特征输入所述第一分类器，得到预测大类类别；基于所述预测大类类别和所述标注大类类别调整所述第一分类器的参数；基于所述样本候选区域特征的所述标注大类类别，将所述样本候选区域特征输入所述标注大类类别对应的所述第二分类器，得到预测小类类别；基于所述预测小类类别和所述标注小类类别调整所述第二分类器的参数。
可选地，在本发明上述任一装置实施例中，所述候选区域获得单元，包括：
候选区域模块，用于基于所述图像获取所述至少一个目标对应的至少一个候选区域；
特征提取模块，用于对所述图像进行特征提取，获得所述图像对应的图像特征；
区域特征模块，用于基于至少一个所述候选区域和所述图像特征确定所述图像对应的至少一个所述候选区域特征。
可选地，在本发明上述任一装置实施例中，所述候选区域模块，具体用于基于至少一个所述候选区域从所述图像特征中获得对应位置的特征，构成至少一个所述候选区域对应的至少一个所述候选区域特征，每个所述候选区域对应一个所述候选区域特征。
可选地，在本发明上述任一装置实施例中，所述特征提取模块，具体用于通过特征提取网络中的卷积神经网络对所述图像进行特征提取，得到第一特征；通过所述特征提取网络中的残差网络对所述图像进行差异特征提取，得到差异特征；基于所述第一特征和所述差异特征，获得所述图像对应的图像特征。
可选地，在本发明上述任一装置实施例中，所述特征提取模块在基于所述第一特征和所述差异特征，获得所述图像对应的图像特征时，用于对所述第一特征和所述差异特征进行按位相加，获得所述图像对应的图像特征。
可选地，在本发明上述任一装置实施例中，所述特征提取模块在通过特征提取网络中的卷积神经网络对所述图像进行特征提取，得到第一特征时，用于通过所述卷积神经网络对所述图像进行特征提取；基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述第一特征。
可选地，在本发明上述任一装置实施例中，所述特征提取模块在基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述第一特征时，用于对所述至少两个卷积层输出的至少两个所述特征图中的至少一个所述特征图进行处理，使至少两个所述特征图大小相同；对至少两个所述大小相同的特征图按位相加，确定所述图像对应的所述第一特征。
可选地，在本发明上述任一装置实施例中，所述特征提取模块，还用于基于第一样本图像，结合判别器对所述特征提取网络进行对抗训练，已知所述第一样本图像中目标物体的大小，所述目标物体包括第一目标物体和第二目标物体，所述第一目标物体的大小与所述第二目标物体的大小不同。
可选地，在本发明上述任一装置实施例中，所述特征提取模块在基于第一样本图像，结合判别器对所述特征提取网络进行对抗训练时，用于将所述第一样本图像输入所述特征提取网络，得到第一样本图像特征；经判别器基于所述第一样本图像特征获得判别结果，所述判别结果用于表示所述第一样本图像中包括第一目标物体的真实性；基于所述判别结果和已知所述第一样本图像中目标物体的大小，交替调整所述判别器和所述特征提取网络的参数。
可选地，在本发明上述任一装置实施例中，所述特征提取模块，用于通过卷积神经网络对所述图像进行特征提取；基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述图像特征。
可选地，在本发明上述任一装置实施例中，所述特征提取模块在基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述图像特征时，用于对所述至少两个卷积层输出的至少两个所述特征图中的至少一个所述特征图进行处理，使至少两个所述特征图大小相同；对至少两个所述大小相同的特征图按位相加，确定所述图像对应的所述图像特征。
可选地，在本发明上述任一装置实施例中，所述特征提取模块，还用于基于第二样本图像训练所述卷积神经网络，所述第二样本图像包括标注图像特征。
可选地，在本发明上述任一装置实施例中，所述特征提取模块在基于第二样本图像训练所述卷积神经网络时，用于将所述第二样本图像输入所述卷积神经网络，得到所述预测图像特征；基于所述预测图像特征和所述标注图像特征，调整所述卷积神经网络的参数。
可选地，在本发明上述任一装置实施例中，所述候选区域模块，具体用于从视频中获得至少一帧所述图像，对所述图像执行区域检测，得到至少一个所述目标对应的至少一个所述候选区域。
可选地，在本发明上述任一装置实施例中，所述候选区域获得单元，还包括：
关键点模块，用于对所述视频中的所述图像进行关键点识别，确定所述图像中的所述目标对应的目标关键点；
关键点跟踪模块，用于对所述目标关键点进行跟踪，获得所述视频中各所述图像的关键点区域；
区域调整模块，用于根据所述各所述图像的关键点区域调整所述至少一个候选区域，获得所述至少一个目标对应的至少一个目标候选区域。
可选地，在本发明上述任一装置实施例中，所述关键点跟踪模块，具体用于基于所述视频中连续两帧所述图像中各所述目标关键点之间的距离；基于各所述目标关键点之间的距离实现对所述视频中的所述目标关键点进行跟踪；获得所述视频中各所述图像的关键点区域。
可选地，在本发明上述任一装置实施例中，所述关键点跟踪模块在基于各所述目标关键点之间的距离实现对所述视频中的所述目标关键点进行跟踪时，用于基于各所述目标关键点之间的距离的最小值，确定连续两帧所述图像中同一目标关键点的位置；根据所述同一目标关键点在连续两帧所述图像中的位置实现目标关键点在所述视频中的跟踪。
可选地，在本发明上述任一装置实施例中，所述区域调整模块，具体用于响应于所述候选区域与所述关键点区域的重合比例大于或等于设定比例，将所述候选区域作为所述目标对应的目标候选区域；响应于所述候选区域与所述关键点区域的重合比例小于设定比例，将所述关键点区域作为所述目标对应的目标候选区域。
根据本发明实施例的另一个方面，提供的一种交通标志检测装置，包括：
图像采集单元，用于采集包括交通标志的图像；
交通标志区域单元，用于获得所述包括交通标志的图像中至少一个交通标志对应的至少一个候选区域特征，每个所述交通标志对应一个候选区域特征；
交通概率向量单元，用于基于至少一个所述候选区域特征，得到对应至少两个交通标志大类的至少一个第一概率向量，并对每个所述交通标志大类进行分类，分别得到对应所述交通标志大类中至少两个交通标志小类的至少一个第二概率向量；
交通标志分类单元，用于基于所述第一概率向量和所述第二概率向量，确定所述交通标志属于所述交通标志小类的分类概率。
可选地，在本发明上述任一装置实施例中，所述交通概率向量单元，包括：
第一概率模块，用于基于至少一个所述候选区域特征通过第一分类器进行分类，得到对应至少两个交通标志大类的至少一个第一概率向量；
第二概率模块，用于基于至少一个所述候选区域特征通过至少两个第二分类器对每个所述交通标志大类进行分类，分别得到对应所述交通标志大类中至少两个交通标志小类的至少一个第二概率向量。
可选地，在本发明上述任一装置实施例中，每个所述交通标志大类类别对应一个所述第二分类器；
所述第二概率模块，具体用于基于所述第一概率向量，确定所述候选区域特征对应的所述交通标志大类类别；基于所述交通标志大类对应的所述第二分类器对所述候选区域特征进行分类，得到所述候选区域特征对应所述至少两个交通标志小类的第二概率向量。
可选地，在本发明上述任一装置实施例中，所述交通概率向量单元，还用于将所述候选区域特征经过卷积神经网络进行处理，将所述处理后的候选区域特征输入所述交通标志大类对应的所述第二分类器。
可选地，在本发明上述任一装置实施例中，所述交通标志分类单元，具体用于基于所述第一概率向量，确定所述目标属于所述交通标志大类的第一分类概率；基于所述第二概率向量，确定所述目标属于所述交通标志小类的第二分类概率；结合所述第一分类概率和所述第二分类概率，确定所述交通标志属于所述交通标志大类中的所述交通标志小类的分类概率。
可选地，在本发明上述任一装置实施例中，所述装置还包括：
交通网络训练单元，用于基于样本候选区域特征训练交通分类网络；所述交通分类网络包括一个第一分类器和至少两个第二分类器，所述第二分类器的数量等于所述第一分类器的交通标志大类类别；所述样本候选区域特征具有标注交通标志小类类别或具有标注交通标志小类类别和标注交通标志大类类别。
可选地，在本发明上述任一装置实施例中，响应于所述样本候选区域特征具有标注交通标志小类类别，通过对所述标注交通标志小类类别聚类确定所述样本候选区域特征对应的标注交通标志大类类别。
可选地，在本发明上述任一装置实施例中，所述交通网络训练单元，具体用于将样本候选区域特征输入所述第一分类器，得到预测交通标志大类类别；基于所述预测交通标志大类类别和所述标注交通标志大类类别调整所述第一分类器的参数；基于所述样本候选区域特征的所述标注交通标志大类类别，将所述样本候选区域特征输入所述标注交通标志大类类别对应的所述第二分类器，得到预测交通标志小类类别；基于所述预测交通标志小类类别和所述标注交通标志小类类别调整所述第二分类器的参数。
可选地，在本发明上述任一装置实施例中，所述交通标志区域单元，包括：
标志候选区域模块，用于基于所述包括交通标志的图像获取所述至少一个交通标志对应的至少一个候选区域；
图像特征提取模块，用于对所述图像进行特征提取，获得所述图像对应的图像特征；
标注区域特征模块，用于基于至少一个所述候选区域和所述图像特征确定所述包括交通标志的图像对应的至少一个所述候选区域特征。
可选地，在本发明上述任一装置实施例中，所述标志候选区域模块，具体用于基于至少一个所述候选区域从所述图像特征中获得对应位置的特征，构成至少一个所述候选区域对应的至少一个所述候选区域特征，每个所述候选区域对应一个所述候选区域特征。
可选地，在本发明上述任一装置实施例中，所述图像特征提取模块，具体用于通过特征提取网络中的卷积神经网络对所述图像进行特征提取，得到第一特征；通过所述特征提取网络中的残差网络对所述图像进行差异特征提取，得到差异特征；基于所述第一特征和所述差异特征，获得所述图像对应的图像特征。
可选地，在本发明上述任一装置实施例中，所述图像特征提取模块在基于所述第一特征和所述差异特征，获得所述图像对应的图像特征时，用于对所述第一特征和所述差异特征进行按位相加，获得所述图像对应的图像特征。
可选地，在本发明上述任一装置实施例中，所述图像特征提取模块在通过特征提取网络中的卷积神经网络对所述图像进行特征提取，得到第一特征时，用于通过所述卷积神经网络对所述图像进行特征提取；基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述第一特征。
可选地，在本发明上述任一装置实施例中，所述图像特征提取模块在基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述第一特征时，用于对所述至少两个卷积层输出的至少两个所述特征图中的至少一个所述特征图进行处理，使至少两个所述特征图大小相同；对至少两个所述大小相同的特征图按位相加，确定所述图像对应的所述第一特征。
可选地，在本发明上述任一装置实施例中，所述图像特征提取模块，还用于基于第一样本图像，结合判别器对所述特征提取网络进行对抗训练，已知所述第一样本图像中交通标志的大小，所述交通标志包括第一交通标志和第二交通标志，所述第一交通标志的大小与所述第二交通标志的大小不同。
可选地，在本发明上述任一装置实施例中，所述图像特征提取模块在基于第一样本图像，结合判别器对所述特征提取网络进行对抗训练时，用于将所述第一样本图像输入所述特征提取网络，得到第一样本图像特征；经判别器基于所述第一样本图像特征获得判别结果，所述判别结果用于表示所述第一样本图像中包括第一交通标志的真实性；基于所述判别结果和已知所述第一样本图像中交通标志的大小，交替调整所述判别器和所述特征提取网络的参数。
可选地，在本发明上述任一装置实施例中，所述图像特征提取模块，用于通过卷积神经网络对所述图像进行特征提取；基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述图像特征。
可选地，在本发明上述任一装置实施例中，所述图像特征提取模块在基于所述卷积神经网络中至少两个卷积层输出的至少两个特征，确定所述图像对应的所述图像特征时，用于对所述至少两个卷积层输出的至少两个所述特征图中的至少一个所述特征图进行处理，使至少两个所述特征图大小相同；对至少两个所述大小相同的特征图按位相加，确定所述图像对应的所述图像特征。
可选地，在本发明上述任一装置实施例中，所述图像特征提取模块，还用于基于第二样本图像训练所述卷积神经网络，所述第二样本图像包括标注图像特征。
可选地，在本发明上述任一装置实施例中，所述图像特征提取模块在基于第二样本图像训练所述卷积神经网络时，用于将所述第二样本图像输入所述卷积神经网络，得到所述预测图像特征；基于所述预测图像特征和所述标注图像特征，调整所述卷积神经网络的参数。
可选地，在本发明上述任一装置实施例中，所述标志候选区域模块，具体用于从视频中获得至少一帧所述包括交通标志的图像，对所述图像执行区域检测，得到至少一个所述交通标志对应的至少一个所述候选区域。
可选地，在本发明上述任一装置实施例中，所述交通标志区域单元，还包括：
标志关键点模块，用于对所述视频中的所述图像进行关键点识别，确定所述图像中的所述交通标志对应的交通标志关键点；
标志关键点跟踪模块，用于对所述交通标志关键点进行跟踪，获得所述视频中各所述图像的关键点区域；
标志区域调整模块，用于根据所述各所述图像的关键点区域调整所述至少一个候选区域，获得所述至少一个交通标志对应的至少一个交通标志候选区域。
可选地，在本发明上述任一装置实施例中，所述标志关键点跟踪模块，具体用于基于所述视频中连续两帧所述图像中各所述交通标志关键点之间的距离；基于各所述交通标志关键点之间的距离实现对所述视频中的所述交通标志关键点进行跟踪；获得所述视频中各所述图像的关键点区域。
可选地，在本发明上述任一装置实施例中，所述标志关键点跟踪模块在基于各所述交通标志关键点之间的距离实现对所述视频中的所述交通标志关键点进行跟踪时，用于基于各所述交通标志关键点之间的距离的最小值，确定连续两帧所述图像中同一交通标志关键点的位置；根据所述同一交通标志关键点在连续两帧所述图像中的位置实现交通标志关键点在所述视频中的跟踪。
可选地，在本发明上述任一装置实施例中，所述标志区域调整模块，具体用于响应于所述候选区域与所述关键点区域的重合比例大于或等于设定比例，将所述候选区域作为所述交通标志对应的交通标志候选区域；响应于所述候选区域与所述关键点区域的重合比例小于设定比例，将所述关键点区域作为所述交通标志对应的交通标志候选区域。
根据本申请实施例的另一个方面，提供的一种车辆，包括如上任意一项所述的交通标志检测装置。
根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的多级目标分类装置或如上任意一项所述的交通标志检测装置。
根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述多级目标分类方法或如上任意一项所述交通标志检测方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述多级目标分类方法或如上任意一项所述交通标志检测方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述多级目标分类方法或如上任意一项所述交通标志检测方法的指令。
基于本发明上述实施例提供的一种多级目标分类及交通标志检测方法和装置、设备、介质，获得图像中至少一个目标对应的至少一个候选区域特征；基于至少一个候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个大类进行分类，分别得到对应大类中至少两个小类的至少一个第二概率向量；通过第一概率向量和第二概率向量确定目标属于小类的分类概率，提升了图像中目标的分类准确率。本发明实施例中目标大小并不限定，可用于较大尺寸目标的分类，也可用于较小尺寸目标的分类。将本发明实施例应用到如交通标志、交通灯等拍摄图片中尺寸较小目标(即小目标)的分类时，可有效提升图像中小目标分类的准确性。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本发明的实施例，并且连同描述一起用于解释本发明的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：
图1为本发明多级目标分类方法一个实施例的流程图。
图2为本发明多级目标分类方法一个示例中分类网络的结构示意图。
图3为本发明多级目标分类方法一个示例中特征提取网络的结构示意图。
图4为本申请多级目标分类装置一个实施例的结构示意图。
图5为本发明交通标志检测方法一个实施例的流程图。
图6a为本申请交通标志检测方法一个具体示例中一个交通标志大类的图示示意图。
图6b为本申请交通标志检测方法一个具体示例中另一个交通标志大类的图示示意图。
图6c为本申请交通标志检测方法一个具体示例中还一个交通标志大类的图示示意图。
图7为本申请交通标志检测装置一个实施例的结构示意图。
图8为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
实际场景中交通标志检测主要存在两个难点。一方面，车载视频中的交通标志目标较小，且受到光照、天气等环境因素干扰，相对于通用目标检测，其检测难度大。另一方面，公路交通标记种类繁多，且一些类别十分相似，因此识别难度较大。
图1为本发明多级目标分类方法一个实施例的流程图。如图1所示，该实施例方法包括：
步骤110，获得图像中至少一个目标对应的至少一个候选区域特征。
其中，图像中包括至少一个目标，每个目标对应一个候选区域特征；当图像中包括多个目标时，为了对每个目标进行分别分类，需要将各目标分别区分。
可选地，获得可能包括目标的候选区域，剪裁获得至少一个候选区域，基于候选区域获得候选区域特征；或对图像进行特征提取获得图像特征，对图像提取候选区域，通过将候选区域映射到图像特征，获得候选区域特征，本实施例不限制获得候选区域特征的具体方法。
步骤120，基于至少一个候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个大类进行分类，分别得到对应大类中至少两个小类的至少一个第二概率向量。
分别基于候选区域特征进行分类，会得到该候选区域特征对应大类的第一概率向量，而每个大类包括至少两个小类，对候选区域特征基于小类进行分类，获得对应小类的第二概率向量；例如：当目标为交通标志时，交通标志包括大类(如：警告标志、禁令标志、指示标志、指路标志等)，而每个大类中又包括多个小类(如：警告标志包括49种，用于警告车辆、行人注意危险地点)。
步骤130，基于第一概率向量和第二概率向量，确定目标属于小类的分类概率。
为了确认目标的准确分类，只获得大类的分类结果是不够的，只获得大类的分类结果仅能确定当前目标属于哪个大类，由于每个大类中还包括至少两个小类，因此，目标在所属大类中需要继续进行分类，以获得所属小类。
基于本发明上述实施例提供的一种多级目标分类方法，获得图像中至少一个目标对应的至少一个候选区域特征；基于至少一个候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个大类进行分类，分别得到对应大类中至少两个小类的至少一个第二概率向量；通过第一概率向量和第二概率向量确定目标属于小类的分类概率，提升了图像中目标的分类准确率。本发明实施例中目标大小并不限定，可用于较大尺寸目标的分类，也可用于较小尺寸目标的分类。将本发明实施例应用到如交通标志、交通灯等拍摄图片中尺寸较小目标(即小目标)的分类时，可有效提升图像中小目标分类的准确性。
在一个或多个可选的实施例中，步骤120可以包括：
基于至少一个候选区域特征通过第一分类器进行分类，得到对应至少两个大类的至少一个第一概率向量；
基于至少一个候选区域特征通过至少两个第二分类器对每个大类进行分类，分别得到对应大类中至少两个小类的至少一个第二概率向量。
可选地，第一分类器和第二分类器可以采用现有的可实现分类的神经网络，其中第二分类器实现对第一分类器中的各分类类别进行分类，通过第二分类器可以对大量比较相似的目标图像进行准确分类，例如：公路交通标记，公路交通标志种类有200多种，且类别间很相似。现有的检测框架无法同时检测如此多的种类并进行分类；通过本实施例可对各公路交通标记准确分类。
可选地，每个大类类别对应一个第二分类器；
基于至少一个候选区域特征通过至少两个第二分类器对每个大类进行分类，分别得到对应大类中至少两个小类的至少一个第二概率向量，包括：
基于第一概率向量，确定候选区域特征对应的大类类别；
基于大类对应的第二分类器对候选区域特征进行分类，得到候选区域特征对应至少两个小类的第二概率向量。
由于每个第二分类器对应一个大类类别，当确定一个候选区域为某一大类类别之后，即可确定基于哪个第二分类器对其进行细分类，减小了目标分类的难度；也可以将该候选区域输入所有第二分类器，基于所有第二分类器得到多个第二概率向量；而确定目标的分类类别是结合第一概率向量和第二概率向量的，第一概率向量中较小概率值对应的第二概率向量的分类结果会减小，第一概率向量中较大概率值(目标对应的大类类别)对应的第二概率向量的分类结果相对其他第二概率向量的分类结果具有明显优势，因此，可快速确定目标的小类类别，本申请提供的方法在小目标检测的应用中检测准确度高于现有技术。
可选地，在基于大类对应的第二分类器对候选区域特征进行分类，得到候选区域特征对应至少两个小类的第二概率向量之前，还可以包括：
将候选区域特征经过卷积神经网络进行处理，将处理后的候选区域特征输入大类对应的第二分类器。
图2为本发明多级目标分类方法一个示例中分类网络的结构示意图。如图2所示，利用得到的候选区域的目标在N个大类进行分类，由于大类类别较少，且类间差较大，因此可以很好分类，然后，针对每个小类，利用卷积神经网络进一步挖掘分类特征，对每个大类下面的小类进行细分类；此时，由于第二分类器针对不同的大类挖掘不同的特征，因此可以准确的区分小类；通过卷积神经网络对后续区域特征进行处理，可以挖掘到更多的分类特征，使小类分类结果更准确。
在一个或多个可选的实施例中，步骤130可以包括：
基于第一概率向量，确定目标属于大类的第一分类概率；
基于第二概率向量，确定目标属于小类的第二分类概率；
结合第一分类概率和第二分类概率，确定目标属于大类中的小类的分类概率。
可选地，基于第一分类概率和第二分类概率的乘积确定目标属于大类中的小类的分类概率；例如：将目标分为N个大类，假设每个大类包含M个小类，第i个大类记为Ni，第Ni个大类的第j个小类记为Nij，其中i的取值范围为1到N，j的取值范围为1到M；通过计算得到分类概率，即属于某个小类的概率。公式：P(i,j)＝P(Ni)×P(Nij)，其中P(i,j)代表分类概率，P(Ni)表示第一分类概率，P(Nij)表示第二分类概率。
在一个或多个可选的实施例中，执行步骤120之前，还可以包括：
基于样本候选区域特征训练分类网络。
其中，分类网络包括一个第一分类器和至少两个第二分类器，第二分类器的数量等于第一分类器的大类类别；样本候选区域特征具有标注小类类别或具有标注小类类别和标注大类类别。
可选地，分类网络的结构可参照图2，通过训练，获得的分类网络能更好的进行大分类和小分类；而样本候选区域特征可以只标注小类类别，此时，为了实现对分类网络的训练，可选地，响应于样本候选区域特征具有标注小类类别，通过对标注小类类别聚类确定样本候选区域特征对应的标注大类类别。通过对样本候选区域特征进行聚类即可获得标注大类类别，具体的聚类方法可以通过样本候选区域特征之间的距离(例如：欧式距离等)，通过聚类可将具有标注小类类别的样本候选区域特征聚合成几个集合，每个集合即对应一个标注大类类别。
通过对标注小类类别聚类获得对应的标注大类类别能够准确的表达该样本候选特征所属的大类类别，同时克服了需要分别对大类和小类进行标注的操作，减少了人工标注的工作，提高了标注准确率和训练效率。
可选地，基于样本候选区域特征训练分类网络，包括：
将样本候选区域特征输入第一分类器，得到预测大类类别；基于预测大类类别和标注大类类别调整第一分类器的参数；
基于样本候选区域特征的标注大类类别，将样本候选区域特征输入标注大类类别对应的第二分类器，得到预测小类类别；基于预测小类类别和标注小类类别调整第二分类器的参数。
分别对第一分类器和至少两个第二分类器进行训练，使获得的分类网络在对目标进行粗分类的同时，实现细分类，基于第一分类概率和第二分类概率的乘积，即可确定该目标准确小分类的分类概率。
在一个或多个可选的实施例中，步骤110可以包括：
基于图像获取至少一个目标对应的至少一个候选区域；
对图像进行特征提取，获得图像对应的图像特征；
基于至少一个候选区域和图像特征确定图像对应的至少一个候选区域特征。
可选地，可以通过基于区域的全卷积神经网络(R-FCN)网络框架实现获得候选区域特征，具体的通过一个分支网络获得候选区域，另一分支网络获得图像对应的图像特征，基于候选区域通过感兴趣区域池化(ROI pooling)获得至少一个候选区域特征，具体地，可以基于至少一个候选区域从图像特征中获得对应位置的特征，构成至少一个候选区域对应的至少一个候选区域特征，每个候选区域对应一个候选区域特征。
可选地，对图像进行特征提取，获得图像对应的图像特征，包括：
通过特征提取网络中的卷积神经网络对图像进行特征提取，得到第一特征；
通过特征提取网络中的残差网络对图像进行差异特征提取，得到差异特征；
基于第一特征和差异特征，获得图像对应的图像特征。
可选地，卷积网络提取的第一特征是图像中通用的特征，而残差网络提取到的差异特征可以表征小目标物体和大目标物体之间的差异；通过第一特征和差异特征获得的图像特征可以在表征图像中的通用特征的基础上体现小目标物体和大目标物体之间的差异，提高了基于该图像特征进行分类时，对小目标物体分类的准确性。
可选地，对第一特征和差异特征进行按位相加，获得图像对应的图像特征。
现实场景中，例如：公路交通标记的尺寸远小于一般目标，因此通用的目标检测框架并没有考虑小目标物体如交通标记的检测问题。本实施例从多方面提升小目标物体的特征图分辨率，进而提升检测性能。
本实施例通过残差网络学习第二目标物体特征图和第一目标物体特征图之间的差异，进而提升第二目标物体特征的表达力。一个可选的示例中，图3为本发明多级目标分类方法一个示例中特征提取网络的结构示意图。如图3所示，通过卷积神经网络提取通用的特征，通过残差网络学习第二目标物体和第一目标物体之间的差异特征，最后通过将通用的特征和差异特征对应位置特征值相加获得图像特征，由于叠加了残差网络获得的差异特征，提升了检测性能。
可选地，通过特征提取网络中的卷积神经网络对图像进行特征提取，得到第一特征，包括：
通过卷积神经网络对图像进行特征提取；
基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的第一特征。
在卷积神经网络中，底层特征往往包含较多的边缘信息和位置信息，而高层特征包含较多的语义特征，本实施例采用将底层特征和高层特征融合的方式，实现即利用底层特征，又利用高层特征，将底层特征和高层特征进行融合，提升检测目标特征图的表达能力，使网络既能够利用到深层语义信息，也能充分挖掘浅层语义信息，具体融合方法可以包括但不限于：特征按位相加等方法。
而按位相加的方法需要两个特征图的大小相同才能实现，可选地，实现融合获得第一特征的过程可以包括：
对至少两个卷积层输出的至少两个特征图中的至少一个特征图进行处理，使至少两个特征图大小相同；
对至少两个大小相同的特征图按位相加，确定图像对应的第一特征。
可选地，底层特征图通常比较大，而高层特征图通常比较小，因此，在需要将高层特征图和底层特征图统一大小时，可以通过对底层特征图进行下采样获得减小的特征图，或者通过对高层特征图进行插值获得增大的特征图；将调整后的高层特征图和底层特征图按位相加，获得第一特征。
在一个或多个可选的实施例，通过特征提取网络中的卷积神经网络对图像进行特征提取，得到第一特征之前，还包括：
基于第一样本图像，结合判别器对特征提取网络进行对抗训练。
其中，已知第一样本图像中目标物体的大小，目标物体包括第一目标物体和第二目标物体，第一目标物体的大小与第二目标物体的大小不同，可选地，第一目标物体的大小大于第二目标物体的大小。
结合判别器对特征提取网络进行对抗训练，特征提取网络基于第一目标物体和第二目标物体都获得大目标特征，而判别器用于判别特征提取网络输出的大目标特征是基于真实第一目标物体获得还是第二目标物体结合残差网络获得的，基于判别器得到的判别结果，可实现对特征提取网络的训练。
可选地，基于第一样本图像，结合判别器对特征提取网络进行对抗训练，包括：
将第一样本图像输入特征提取网络，得到第一样本图像特征；
经判别器基于第一样本图像特征获得判别结果，判别结果用于表示第一样本图像中包括第一目标物体的真实性；
基于判别结果和已知第一样本图像中目标物体的大小，交替调整判别器和特征提取网络的参数。
可选地，判别结果可以通过二维向量的形式表达，该两个维度分别对应第一样本图像特征是真实值和非真实值的概率；由于已知第一样本图像中目标物体的大小，因此，基于判别结果和已知目标物体的大小，交替调整判别器和特征提取网络的参数，以获得特征提取网络。
在一个或多个可选的实施例，对图像进行特征提取，获得图像对应的图像特征，包括：
通过卷积神经网络对图像进行特征提取；
基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的图像特征。
在卷积神经网络中，底层特征往往包含较多的边缘信息和位置信息，而高层特征包含较多的语义特征，本实施例采用将底层特征和高层特征融合的方式，实现即利用底层特征，又利用高层特征，将底层特征和高层特征进行融合，提升检测目标特征图的表达能力，使网络既能够利用到深层语义信息，也能充分挖掘浅层语义信息，具体融合方法可以包括但不限于：特征按位相加等方法。
而按位相加的方法需要两个特征图的大小相同才能实现，可选地，实现融合获得图像特征的过程可以包括：
对至少两个卷积层输出的至少两个特征图中的至少一个特征图进行处理，使至少两个特征图大小相同；
对至少两个大小相同的特征图按位相加，确定图像对应的图像特征。
可选地，底层特征图通常比较大，而高层特征图通常比较小，因此，在需要将高层特征图和底层特征图统一大小时，可以通过对底层特征图进行下采样获得减小的特征图，或者通过对高层特征图进行插值获得增大的特征图；将调整后的高层特征图和底层特征图按位相加，获得图像特征。
可选地，通过卷积神经网络对图像进行特征提取之前，还包括：
基于第二样本图像训练卷积神经网络。
其中，第二样本图像包括标注图像特征。
为得到更好的图像特征，基于第二样本图像对卷积神经网络进行训练。
可选地，基于第二样本图像训练卷积神经网络，包括：
将第二样本图像输入卷积神经网络，得到预测图像特征；
基于预测图像特征和标注图像特征，调整卷积神经网络的参数。
该训练过程，与普通的神经网络训练类似，可以基于反向梯度传播算法训练该卷积神经网络。
在一个或多个可选的实施例中，步骤110可以包括：
从视频中获得至少一帧图像，对图像执行区域检测，得到至少一个目标对应的至少一个候选区域。
可选地，图像是基于视频获得的，该视频可以是通过车载视频或其他摄像装置采集的视频，对基于视频获得的图像进行区域检测，可获得可能包括目标的候选区域。
可选地，在基于图像获取至少一个目标对应的至少一个候选区域之前，还可以包括：
对视频中的图像进行关键点识别，确定图像中的目标对应的目标关键点；
对目标关键点进行跟踪，获得视频中各图像的关键点区域；
在基于图像获取至少一个目标对应的至少一个候选区域之后，还可以包括：
根据各图像的关键点区域调整至少一个候选区域，获得至少一个目标对应的至少一个目标候选区域。
基于区域检测得到的候选区域，由于连续图像间的细微差距和阈值的选取很容易造成某些帧的漏检测，通过一种基于静态目标的跟踪算法，提升对视频的检测效果。
目标特征点可以简单的理解为图像中比较显著的点，如角点、较暗区域中的亮点等。首先对于视频图像中的ORB特征点进行识别：ORB特征点的定义基于特征点周围的图像灰度值，在检测时，考虑候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选特征点的灰度值差别达到预设值，则认为该候选点为一个关键特征点。例如：应用本实施例对交通标识进行识别，此时，关键点为交通标识关键点，以该交通标识关键点可实现在视频中对交通标识的静态追踪。
可选地，对目标关键点进行跟踪，获得视频中各图像的关键点区域，包括：
基于视频中连续两帧图像中各目标关键点之间的距离；
基于各目标关键点之间的距离实现对视频中的目标关键点进行跟踪；
获得视频中各图像的关键点区域。
本实施例为了实现对目标关键点进行跟踪，需要确定连续两帧图像中的同一目标关键点，即，需要确定同一目标关键点在不同帧图像中的位置，以实现对目标关键点的跟踪，本实施例通过连续两帧图像中各目标关键点之间的距离确定连续两帧图像中哪些目标关键点是同一目标关键点，进而实现跟踪，两帧图像中目标关键点之间的距离可以包括但不限于汉明距离等。
汉明距离是使用在数据传输差错控制编码里面的，汉明距离是一个概念，它表示两个(相同长度)字对应位不同的数量，对两个字符串进行异或运算，并统计结果为1的个数，那么这个数就是汉明距离，两个图像之间的汉明距离为两个图像之间不相同的数据位数量。基于两帧图像中各信号关键点之间的汉明距离可知两图像之间信号灯移动的距离，即可实现对信号关键点的跟踪。
可选地，基于各目标关键点之间的距离实现对视频中的目标关键点进行跟踪，包括：
基于各目标关键点之间的距离的最小值，确定连续两帧图像中同一目标关键点的位置；
根据同一目标关键点在连续两帧图像中的位置实现目标关键点在视频中的跟踪。
具体地，可以通过对前后两帧中图像坐标系距离(如：汉明距离)较小的特征点(目标关键点)描述子用Brute Force算法进行匹配，即对于每对目标关键点计算其特征子的距离，基于距离最小的目标关键点实现前后帧中的ORB特征点匹配，实现静态特征点跟踪。同时，由于目标关键点的图片坐标系位于的候选区域内，判定该目标关键点是目标检测中的静态关键点。暴风(Brute Force)算法，是普通的模式匹配算法，Brute Force算法的思想就是将目标串S的第一个字符与模式串T的第一个字符进行匹配，若相等，则继续比较S的第二个字符和T的第二个字符；若不相等，则比较S的第二个字符和T的第一个字符，依次比较下去，直到得出最后的匹配结果，Brute Force算法是一种蛮力算法。
可选地，根据各图像的关键点区域调整至少一个候选区域，获得至少一个目标对应的至少一个目标候选区域，包括：
响应于候选区域与关键点区域的重合比例大于或等于设定比例，将候选区域作为目标对应的目标候选区域；
响应于候选区域与关键点区域的重合比例小于设定比例，将关键点区域作为目标对应的目标候选区域。
本实施例中，通过关键点跟踪的结果对后续区域进行调整，可选地，如关键点区域和候选区域匹配，则无需更正候选区域的位置；如关键点区域和候选区域大致匹配，则根据前后帧静态点位置的偏移，保持检测结果宽、高不变的前提下，计算当前帧检测框(对应候选区域)的位置；如当前帧并没有出现候选区域，上一帧出现候选区域，根据关键点区域计算候选区域位置并没有超出摄像头范围，则用关键点区域代替候选区域。
本申请上述实施例提供的多级目标分类方法在应用时，可用于对图像中物体的分类，该物体的类别数目较多且类别具备一定相似性的任务，例如：交通标志，动物分类(先将动物分类为不同种类，如：猫、狗等，再细分为不同品种，如：哈士奇、金毛等)；障碍物分类(先将障碍物分为大类，如：行人、车辆等，再细分为不同小类，如：大客车、货车、小客车等)等等，本申请不限制多级目标分类方法应用的具体领域。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图4为本申请多级目标分类装置一个实施例的结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图4所示，该实施例的装置包括：
候选区域获得单元41，用于获得图像中至少一个目标对应的至少一个候选区域特征.
其中，图像中包括至少一个目标，每个目标对应一个候选区域特征；当图像中包括多个目标时，为了对每个目标进行分别分类，需要将各目标分别区分。
可选地，获得可能包括目标的候选区域，剪裁获得至少一个候选区域，基于候选区域获得候选区域特征；或对图像进行特征提取获得图像特征，对图像提取候选区域，通过将候选区域映射到图像特征，获得候选区域特征，本实施例不限制获得候选区域特征的具体方法。
概率向量单元42，用于基于至少一个候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个大类进行分类，分别得到对应大类中至少两个小类的至少一个第二概率向量。
分别基于候选区域特征进行分类，会得到该候选区域特征对应大类的第一概率向量，而每个大类包括至少两个小类，对候选区域特征基于小类进行分类，获得对应小类的第二概率向量；例如：当目标为交通标志时，交通标志包括大类(如：警告标志、禁令标志、指示标志、指路标志等)，而每个大类中又包括多个小类(如：警告标志包括49种，用于警告车辆、行人注意危险地点)。
目标分类单元43，用于基于第一概率向量和第二概率向量，确定目标属于小类的分类概率。
为了确认目标的准确分类，只获得大类的分类结果是不够的，只获得大类的分类结果仅能确定当前目标属于哪个大类，由于每个大类中还包括至少两个小类，因此，目标在所属大类中需要继续进行分类，以获得所属小类。
基于本发明上述实施例提供的一种多级目标分类装置，通过第一概率向量和第二概率向量确定目标属于小类的分类概率，提升了图像中小目标的分类准确率。
在一个或多个可选的实施例中，概率向量单元42可以包括：
第一概率模块，用于基于至少一个候选区域特征通过第一分类器进行分类，得到对应至少两个大类的至少一个第一概率向量；
第二概率模块，用于基于至少一个候选区域特征通过至少两个第二分类器对每个大类进行分类，分别得到对应大类中至少两个小类的至少一个第二概率向量。
可选地，第一分类器和第二分类器可以采用现有的可实现分类的神经网络，其中第二分类器实现对第一分类器中的各分类类别进行分类，通过第二分类器可以对大量比较相似的目标图像进行准确分类，例如：公路交通标记，公路交通标志种类有200多种，且类别间很相似。现有的检测框架无法同时检测如此多的种类并进行分类；通过本实施例可对各公路交通标记准确分类。
可选地，每个大类类别对应一个第二分类器；
第二概率模块，具体用于基于第一概率向量，确定候选区域特征对应的大类类别；基于大类对应的第二分类器对候选区域特征进行分类，得到候选区域特征对应至少两个小类的第二概率向量。
可选地，概率向量单元，还用于将候选区域特征经过卷积神经网络进行处理，将处理后的候选区域特征输入大类对应的第二分类器。
在一个或多个可选的实施例中，目标分类单元43，具体用于基于第一概率向量，确定目标属于大类的第一分类概率；基于第二概率向量，确定目标属于小类的第二分类概率；结合第一分类概率和第二分类概率，确定目标属于大类中的小类的分类概率。
可选地，基于第一分类概率和第二分类概率的乘积确定目标属于大类中的小类的分类概率；例如：将目标分为N个大类，假设每个大类包含M个小类，第i个大类记为Ni，第Ni个大类的第j个小类记为Nij，其中i的取值范围为1到N，j的取值范围为1到M；通过计算得到分类概率，即属于某个小类的概率。公式：P(i,j)＝P(Ni)×P(Nij)，其中P(i,j)代表分类概率，P(Ni)表示第一分类概率，P(Nij)表示第二分类概率。
在一个或多个可选的实施例中，本实施例装置还可以包括：
网络训练单元，用于基于样本候选区域特征训练分类网络。
其中，分类网络包括一个第一分类器和至少两个第二分类器，第二分类器的数量等于第一分类器的大类类别；样本候选区域特征具有标注小类类别或具有标注小类类别和标注大类类别。
可选地，通过训练，获得的分类网络能更好的进行大分类和小分类；而样本候选区域特征可以只标注小类类别，此时，为了实现对分类网络的训练，可选地，响应于样本候选区域特征具有标注小类类别，通过对标注小类类别聚类确定样本候选区域特征对应的标注大类类别。通过对样本候选区域特征进行聚类即可获得标注大类类别，具体的聚类方法可以通过样本候选区域特征之间的距离(例如：欧式距离等)，通过聚类可将具有标注小类类别的样本候选区域特征聚合成几个集合，每个集合即对应一个标注大类类别。
可选地，网络训练单元，具体用于将样本候选区域特征输入第一分类器，得到预测大类类别；基于预测大类类别和标注大类类别调整第一分类器的参数；基于样本候选区域特征的标注大类类别，将样本候选区域特征输入标注大类类别对应的第二分类器，得到预测小类类别；基于预测小类类别和标注小类类别调整第二分类器的参数。
在一个或多个可选的实施例中，候选区域获得单元41可以包括：
候选区域模块，用于基于图像获取至少一个目标对应的至少一个候选区域；
特征提取模块，用于对图像进行特征提取，获得图像对应的图像特征；
区域特征模块，用于基于至少一个候选区域和图像特征确定图像对应的至少一个候选区域特征。
可选地，可以通过基于区域的全卷积神经网络(R-FCN)网络框架实现获得候选区域特征，具体的通过一个分支网络获得候选区域，另一分支网络获得图像对应的图像特征，基于候选区域通过感兴趣区域池化(ROI pooling)获得至少一个候选区域特征，具体地，可以基于至少一个候选区域从图像特征中获得对应位置的特征，构成至少一个候选区域对应的至少一个候选区域特征，每个候选区域对应一个候选区域特征。
可选地，候选区域模块，具体用于基于至少一个候选区域从图像特征中获得对应位置的特征，构成至少一个候选区域对应的至少一个候选区域特征，每个候选区域对应一个候选区域特征。
可选地，特征提取模块，具体用于通过特征提取网络中的卷积神经网络对图像进行特征提取，得到第一特征；通过特征提取网络中的残差网络对图像进行差异特征提取，得到差异特征；基于第一特征和差异特征，获得图像对应的图像特征。
可选地，特征提取模块在基于第一特征和差异特征，获得图像对应的图像特征时，用于对第一特征和差异特征进行按位相加，获得图像对应的图像特征。
可选地，特征提取模块在通过特征提取网络中的卷积神经网络对图像进行特征提取，得到第一特征时，用于通过卷积神经网络对图像进行特征提取；基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的第一特征。
可选地，特征提取模块在基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的第一特征时，用于对至少两个卷积层输出的至少两个特征图中的至少一个特征图进行处理，使至少两个特征图大小相同；对至少两个大小相同的特征图按位相加，确定图像对应的第一特征。
可选地，特征提取模块，还用于基于第一样本图像，结合判别器对特征提取网络进行对抗训练，已知第一样本图像中目标物体的大小，目标物体包括第一目标物体和第二目标物体，第一目标物体的大小与第二目标物体的大小不同。
可选地，特征提取模块在基于第一样本图像，结合判别器对特征提取网络进行对抗训练时，用于将第一样本图像输入特征提取网络，得到第一样本图像特征；经判别器基于第一样本图像特征获得判别结果，判别结果用于表示第一样本图像中包括第一目标物体的真实性；基于判别结果和已知第一样本图像中目标物体的大小，交替调整判别器和特征提取网络的参数。
可选地，特征提取模块，用于通过卷积神经网络对图像进行特征提取；基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的图像特征。
可选地，特征提取模块在基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的图像特征时，用于对至少两个卷积层输出的至少两个特征图中的至少一个特征图进行处理，使至少两个特征图大小相同；对至少两个大小相同的特征图按位相加，确定图像对应的图像特征。
可选地，特征提取模块，还用于基于第二样本图像训练卷积神经网络，第二样本图像包括标注图像特征。
可选地，特征提取模块在基于第二样本图像训练卷积神经网络时，用于将第二样本图像输入卷积神经网络，得到预测图像特征；基于预测图像特征和标注图像特征，调整卷积神经网络的参数。
可选地，候选区域模块，具体用于从视频中获得至少一帧图像，对图像执行区域检测，得到至少一个目标对应的至少一个候选区域。
可选地，候选区域获得单元，还包括：
关键点模块，用于对视频中的图像进行关键点识别，确定图像中的目标对应的目标关键点；
关键点跟踪模块，用于对目标关键点进行跟踪，获得视频中各图像的关键点区域；
区域调整模块，用于根据各图像的关键点区域调整至少一个候选区域，获得至少一个目标对应的至少一个目标候选区域。
可选地，关键点跟踪模块，具体用于基于视频中连续两帧图像中各目标关键点之间的距离；基于各目标关键点之间的距离实现对视频中的目标关键点进行跟踪；获得视频中各图像的关键点区域。
可选地，关键点跟踪模块在基于各目标关键点之间的距离实现对视频中的目标关键点进行跟踪时，用于基于各目标关键点之间的距离的最小值，确定连续两帧图像中同一目标关键点的位置；根据同一目标关键点在连续两帧图像中的位置实现目标关键点在视频中的跟踪。
可选地，区域调整模块，具体用于响应于候选区域与关键点区域的重合比例大于或等于设定比例，将候选区域作为目标对应的目标候选区域；响应于候选区域与关键点区域的重合比例小于设定比例，将关键点区域作为目标对应的目标候选区域。
本申请实施例提供的多级目标分类装置任一实施例的工作过程以及设置方式均可以参照本申请上述相应方法实施例的具体描述，限于篇幅，在此不再赘述。
图5为本发明交通标志检测方法一个实施例的流程图。如图5所示，该实施例方法包括：
步骤510，采集包括交通标志的图像。
可选地，本实施例提供的交通标志检测方法可应用于智能驾驶，即通过设置在车辆上的图像采集装置采集包括交通标志的图像，基于对采集的图像的检测，可实现交通标志的分类检测，为智能驾驶提供基础。
步骤520，获得包括交通标志的图像中至少一个交通标志对应的至少一个候选区域特征。
其中，每个交通标志对应一个候选区域特征，当图像中包括多个交通标志时，为了对每个交通标志进行分别分类，需要将各交通标志分别区分。
可选地，获得可能包括目标的候选区域，剪裁获得至少一个候选区域，基于候选区域获得候选区域特征；或对图像进行特征提取获得图像特征，对图像提取候选区域，通过将候选区域映射到图像特征，获得候选区域特征，本实施例不限制获得候选区域特征的具体方法。
步骤530，基于至少一个候选区域特征，得到对应至少两个交通标志大类的至少一个第一概率向量，并对每个交通标志大类进行分类，分别得到对应交通标志大类中至少两个交通标志小类的至少一个第二概率向量。
分别基于候选区域特征进行分类，会得到该候选区域特征对应交通标志大类的第一概率向量，而每个交通标志大类包括至少两个交通标志小类，对候选区域特征基于交通标志小类进行分类，获得对应交通标志小类的第二概率向量；交通标志大类可以包括但不限于：警告标志、禁令标志、指示标志、指路标志、旅游区标志和道路施工安全标志，而每个交通标志大类中包括多个交通标志小类，如：警告标志包括49种，用于警告车辆、行人注意危险地点；禁令标志包括43种，用于禁止或限制车辆、行人交通行为。
步骤540，基于第一概率向量和第二概率向量，确定交通标志属于交通标志小类的分类概率。
为了确认交通标志的准确分类，只获得交通标志大类的分类结果是不够的，只获得交通标志大类的分类结果仅能确定当前目标属于哪个交通标志大类，由于每个交通标志大类中还包括至少两个交通标志小类，因此，交通标志在所属交通标志大类中需要继续进行分类，以获得所属交通标志小类。
基于本发明上述实施例提供的一种交通标志检测方法，提升了图像中交通标志的分类准确率。
在一个或多个可选的实施例中，步骤530可以包括：
基于至少一个候选区域特征通过第一分类器进行分类，得到对应至少两个交通标志大类的至少一个第一概率向量；
基于至少一个候选区域特征通过至少两个第二分类器对每个交通标志大类进行分类，分别得到对应交通标志大类中至少两个交通标志小类的至少一个第二概率向量。
可选地，由于交通标志种类较多，且类别间很相似，现有的检测框架无法同时检测如此多的种类并进行分类，本实施例通过多级分类器对交通标志进行分类，以达到较好的分类结果；其中，第一分类器和第二分类器可以采用现有的可实现分类的神经网络，其中第二分类器实现对第一分类器中的各交通标志大类进行分类，通过第二分类器可以对大量比较相似的交通标志进行准确分类。
可选地，每个交通标志大类类别对应一个第二分类器；
基于至少一个候选区域特征通过至少两个第二分类器对每个交通标志大类进行分类，分别得到对应交通标志大类中至少两个交通标志小类的至少一个第二概率向量，包括：
基于第一概率向量，确定候选区域特征对应的交通标志大类类别；
基于交通标志大类对应的第二分类器对候选区域特征进行分类，得到候选区域特征对应至少两个交通标志小类的第二概率向量。
由于每个交通标志大类类别对应一个第二分类器，当确定一个候选区域为某一交通标志大类类别之后，即可确定基于哪个第二分类器对其进行细分类，减小了交通标志分类的难度；也可以将该候选区域输入所有第二分类器，基于所有第二分类器得到多个第二概率向量；而确定目标的分类类别是结合第一概率向量和第二概率向量的，第一概率向量中较小概率值对应的第二概率向量的分类结果会减小，第一概率向量中较大概率值(交通标志对应的交通标志大类类别)对应的第二概率向量的分类结果相对其他第二概率向量的分类结果具有明显优势，因此，可快速确定交通标志的交通标志小类类别。
可选地，基于交通标志大类对应的第二分类器对候选区域特征进行分类，得到候选区域特征对应至少两个交通标志小类的第二概率向量之前，还包括：
将候选区域特征经过卷积神经网络进行处理，将处理后的候选区域特征输入交通标志大类对应的第二分类器。
当交通标志大类包括N个大类时，利用得到的候选区域的交通标志在N个大类进行分类，由于交通标志大类类别较少，且类间差较大，因此可以很好分类，然后，针对每个交通标志小类，利用卷积神经网络进一步挖掘分类特征，对每个交通标志大类下面的交通标志小类进行细分类；此时，由于第二分类器针对不同的交通标记大类挖掘不同的特征，因此可以准确的区分交通标志小类；通过卷积神经网络对后续区域特征进行处理，可以挖掘到更多的分类特征，使交通标志小类分类结果更准确。
在一个或多个可选的实施例中，步骤540可以包括：
基于第一概率向量，确定目标属于交通标志大类的第一分类概率；
基于第二概率向量，确定目标属于交通标志小类的第二分类概率；
结合第一分类概率和第二分类概率，确定交通标志属于交通标志大类中的交通标志小类的分类概率。
可选地，基于第一分类概率和第二分类概率的乘积确定交通标志属于交通标志大类中的交通标志小类的分类概率；例如：将交通标志分为N个大类，假设每个大类包含M个小类，第i个大类记为Ni，第Ni个大类的第j个小类记为Nij，其中i的取值范围为1到N，j的取值范围为1到M；通过计算得到分类概率，即属于某个小类的概率。公式：P(i,j)＝P(Ni)×P(Nij)，其中P(i,j)代表分类概率，P(Ni)表示第一分类概率，P(Nij)表示第二分类概率。
在一个或多个可选的实施例中，执行步骤530之前，还可以包括：
基于样本候选区域特征训练交通分类网络。
交通分类网络包括一个第一分类器和至少两个第二分类器，第二分类器的数量等于第一分类器的交通标志大类类别；样本候选区域特征具有标注交通标志小类类别或具有标注交通标志小类类别和标注交通标志大类类别。
可选地，交通分类网络的结构可参照图2，通过训练，获得的交通分类网络能更好的进行大分类和小分类；而样本候选区域特征可以只标注交通标志小类类别，此时，为了实现对交通分类网络的训练，可选地，响应于样本候选区域特征具有标注交通标志小类类别，通过对标注交通标志小类类别聚类确定样本候选区域特征对应的标注交通标志大类类别。通过对样本候选区域特征进行聚类即可获得标注交通标志大类类别，具体的聚类方法可以通过样本候选区域特征之间的距离(例如：欧式距离等)，通过聚类可将具有标注交通标志小类类别的样本候选区域特征聚合成几个集合，每个集合即对应一个标注交通标志大类类别。
通过对标注交通标志小类类别聚类获得对应的标注交通标志大类类别能够准确的表达该样本候选特征所属的交通标志大类类别，同时克服了需要分别对交通标志大类和交通标志小类进行标注的操作，减少了人工标注的工作，提高了标注准确率和训练效率。
可选地，基于样本候选区域特征训练交通分类网络，包括：
将样本候选区域特征输入第一分类器，得到预测交通标志大类类别；基于预测交通标志大类类别和标注交通标志大类类别调整第一分类器的参数；
基于样本候选区域特征的标注交通标志大类类别，将样本候选区域特征输入标注交通标志大类类别对应的第二分类器，得到预测交通标志小类类别；基于预测交通标志小类类别和标注交通标志小类类别调整第二分类器的参数。
分别对第一分类器和至少两个第二分类器进行训练，使获得的交通分类网络在对交通标志进行粗分类的同时，实现细分类，基于第一分类概率和第二分类概率的乘积，即可确定该交通标志准确小分类的分类概率。
在一个或多个可选的实施例中，步骤520可以包括：
基于包括交通标志的图像获取至少一个交通标志对应的至少一个候选区域；
对图像进行特征提取，获得图像对应的图像特征；
基于至少一个候选区域和图像特征确定包括交通标志的图像对应的至少一个候选区域特征。
可选地，可以通过基于区域的全卷积神经网络(R-FCN)网络框架实现获得候选区域特征，具体的通过一个分支网络获得候选区域，另一分支网络获得图像对应的图像特征，基于候选区域通过感兴趣区域池化(ROI pooling)获得至少一个候选区域特征，具体地，可以基于至少一个候选区域从图像特征中获得对应位置的特征，构成至少一个候选区域对应的至少一个候选区域特征，每个候选区域对应一个候选区域特征。
可选地，对图像进行特征提取，获得图像对应的图像特征，包括：
通过特征提取网络中的卷积神经网络对图像进行特征提取，得到第一特征；
通过特征提取网络中的残差网络对图像进行差异特征提取，得到差异特征；
基于第一特征和所述差异特征，获得图像对应的图像特征。
可选地，卷积网络提取的第一特征是图像中通用的特征，而残差网络提取到的差异特征可以表征小目标物体和大目标物体之间的差异；通过第一特征和差异特征获得的图像特征可以在表征图像中的通用特征的基础上体现小目标物体和大目标物体之间的差异，提高了基于该图像特征进行分类时，对小目标物体(本实施例指交通标志)分类的准确性。
可选地，基于第一特征和差异特征，获得图像对应的图像特征，包括：
对第一特征和差异特征进行按位相加，获得图像对应的图像特征。
现实场景中，例如：交通标志的尺寸远小于一般目标，因此通用的目标检测框架并没有考虑小目标物体如交通标记的检测问题。本实施例从多方面提升小目标物体的特征图分辨率，进而提升检测性能。
可选地，通过特征提取网络中的卷积神经网络对图像进行特征提取，得到第一特征，包括：
通过卷积神经网络对图像进行特征提取；
基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的第一特征。
在卷积神经网络中，底层特征往往包含较多的边缘信息和位置信息，而高层特征包含较多的语义特征，本实施例采用将底层特征和高层特征融合的方式，实现即利用底层特征，又利用高层特征，将底层特征和高层特征进行融合，提升检测目标特征图的表达能力，使网络既能够利用到深层语义信息，也能充分挖掘浅层语义信息，具体融合方法可以包括但不限于：特征按位相加等方法。
而按位相加的方法需要两个特征图的大小相同才能实现，可选地，实现融合获得第一特征的过程可以包括：
对至少两个卷积层输出的至少两个特征图中的至少一个特征图进行处理，使至少两个特征图大小相同；
对至少两个大小相同的特征图按位相加，确定图像对应的所述第一特征。
可选地，底层特征图通常比较大，而高层特征图通常比较小，因此，在需要将高层特征图和底层特征图统一大小时，可以通过对底层特征图进行下采样获得减小的特征图，或者通过对高层特征图进行插值获得增大的特征图；将调整后的高层特征图和底层特征图按位相加，获得第一特征。
在一个或多个可选的实施例，通过特征提取网络中的卷积神经网络对图像进行特征提取，得到第一特征之前，还包括：
基于第一样本图像，结合判别器对特征提取网络进行对抗训练。
其中，已知第一样本图像中交通标志的大小，交通标志包括第一交通标志和第二交通标志，第一交通标志的大小与第二交通标志的大小不同，可选地，第一交通标志的大小大于第二交通标志的大小。
结合判别器对特征提取网络进行对抗训练，特征提取网络基于第一目标物体和第二目标物体都获得大目标特征，而判别器用于判别特征提取网络输出的大目标特征是基于真实第一目标物体获得还是第二目标物体结合残差网络获得的，基于判别器得到的判别结果，可实现对特征提取网络的训练。
可选地，基于第一样本图像，结合判别器对特征提取网络进行对抗训练，包括：
将第一样本图像输入特征提取网络，得到第一样本图像特征；
经判别器基于第一样本图像特征获得判别结果，判别结果用于表示第一样本图像中包括第一交通标志的真实性；
基于判别结果和已知第一样本图像中交通标志的大小，交替调整判别器和特征提取网络的参数。
可选地，判别结果可以通过二维向量的形式表达，该两个维度分别对应第一样本图像特征是真实值和非真实值的概率；由于已知第一样本图像中交通标志的大小，因此，基于判别结果和已知交通标志的大小，交替调整判别器和特征提取网络的参数，以获得特征提取网络。
在一个或多个可选的实施例，对图像进行特征提取，获得图像对应的图像特征，包括：
通过卷积神经网络对图像进行特征提取；
基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的图像特征。
在卷积神经网络中，底层特征往往包含较多的边缘信息和位置信息，而高层特征包含较多的语义特征，本实施例采用将底层特征和高层特征融合的方式，实现即利用底层特征，又利用高层特征，将底层特征和高层特征进行融合，提升检测目标特征图的表达能力，使网络既能够利用到深层语义信息，也能充分挖掘浅层语义信息，具体融合方法可以包括但不限于：特征按位相加等方法。
可选地，基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的图像特征，包括：
对至少两个卷积层输出的至少两个特征图中的至少一个特征图进行处理，使至少两个特征图大小相同；
对至少两个大小相同的特征图按位相加，确定图像对应的图像特征。
可选地，底层特征图通常比较大，而高层特征图通常比较小，因此，在需要将高层特征图和底层特征图统一大小时，可以通过对底层特征图进行下采样获得减小的特征图，或者通过对高层特征图进行插值获得增大的特征图；将调整后的高层特征图和底层特征图按位相加，获得图像特征。
可选地，通过卷积神经网络对图像进行特征提取之前，还包括：
基于第二样本图像训练卷积神经网络。
其中，第二样本图像包括标注图像特征。
为得到更好的图像特征，基于第二样本图像对卷积神经网络进行训练。
可选地，基于第二样本图像训练卷积神经网络，包括：
将第二样本图像输入卷积神经网络，得到预测图像特征；
基于预测图像特征和标注图像特征，调整卷积神经网络的参数。
该训练过程，与普通的神经网络训练类似，可以基于反向梯度传播算法训练该卷积神经网络。
在一个或多个可选的实施例中，步骤520可以包括：
从视频中获得至少一帧包括交通标志的图像，对图像执行区域检测，得到至少一个交通标志对应的至少一个候选区域。
可选地，图像是基于视频获得的，该视频可以是通过车载视频或车辆上设置的其他摄像装置采集的视频，对基于视频获得的图像进行区域检测，可获得可能包括交通标志的候选区域。
可选地，基于包括交通标志的图像获取至少一个交通标志对应的至少一个候选区域之前，还包括：
对视频中的图像进行关键点识别，确定图像中的交通标志对应的交通标志关键点；
对交通标志关键点进行跟踪，获得视频中各图像的关键点区域；
基于图像获取至少一个交通标志对应的至少一个候选区域之后，还包括：
根据各图像的关键点区域调整至少一个候选区域，获得至少一个交通标志对应的至少一个交通标志候选区域。
基于区域检测得到的候选区域，由于连续图像间的细微差距和阈值的选取很容易造成某些帧的漏检测，通过一种基于静态目标的跟踪算法，提升对视频的检测效果。
目标特征点可以简单的理解为图像中比较显著的点，如角点、较暗区域中的亮点等。首先对于视频图像中的ORB特征点进行识别：ORB特征点的定义基于特征点周围的图像灰度值，在检测时，考虑候选特征点周围一圈的像素值，如果候选点周围领域内有足够多的像素点与该候选特征点的灰度值差别达到预设值，则认为该候选点为一个关键特征点。例如：应用本实施例对交通标识进行识别，此时，关键点为交通标识关键点，以该交通标识关键点可实现在视频中对交通标识的静态追踪。
可选地，对交通标志关键点进行跟踪，获得视频中各图像的关键点区域，包括：
基于视频中连续两帧图像中各交通标志关键点之间的距离；
基于各交通标志关键点之间的距离实现对视频中的交通标志关键点进行跟踪；
获得视频中各图像的关键点区域。
本实施例为了实现对目标关键点进行跟踪，需要确定连续两帧图像中的同一目标关键点，即，需要确定同一目标关键点在不同帧图像中的位置，以实现对目标关键点的跟踪，本实施例通过连续两帧图像中各目标关键点之间的距离确定连续两帧图像中哪些目标关键点是同一目标关键点，进而实现跟踪，两帧图像中目标关键点之间的距离可以包括但不限于汉明距离等。
可选地，基于各交通标志关键点之间的距离实现对视频中的交通标志关键点进行跟踪，包括：
基于各交通标志关键点之间的距离的最小值，确定连续两帧图像中同一交通标志关键点的位置；
根据同一交通标志关键点在连续两帧图像中的位置实现交通标志关键点在视频中的跟踪。
具体地，可以通过对前后两帧中图像坐标系距离(如：汉明距离)较小的特征点(目标关键点)描述子用Brute Force算法进行匹配，即对于每对目标关键点计算其特征子的距离，基于距离最小的目标关键点实现前后帧中的ORB特征点匹配，实现静态特征点跟踪。同时，由于目标关键点的图片坐标系位于的候选区域内，判定该目标关键点是目标检测中的静态关键点。暴风(Brute Force)算法，是普通的模式匹配算法，Brute Force算法的思想就是将目标串S的第一个字符与模式串T的第一个字符进行匹配，若相等，则继续比较S的第二个字符和T的第二个字符；若不相等，则比较S的第二个字符和T的第一个字符，依次比较下去，直到得出最后的匹配结果，Brute Force算法是一种蛮力算法。
可选地，根据各图像的关键点区域调整至少一个候选区域，获得至少一个交通标志对应的至少一个交通标志候选区域，包括：
响应于候选区域与关键点区域的重合比例大于或等于设定比例，将候选区域作为交通标志对应的交通标志候选区域；
响应于候选区域与关键点区域的重合比例小于设定比例，将关键点区域作为交通标志对应的交通标志候选区域。
本实施例中，通过关键点跟踪的结果对后续区域进行调整，可选地，如关键点区域和候选区域匹配，则无需更正候选区域的位置；如关键点区域和候选区域大致匹配，则根据前后帧静态点位置的偏移，保持检测结果宽、高不变的前提下，计算当前帧检测框(对应候选区域)的位置；如当前帧并没有出现候选区域，上一帧出现候选区域，根据关键点区域计算候选区域位置并没有超出摄像头范围，则用关键点区域代替候选区域。
图6a为本申请交通标志检测方法一个具体示例中一个交通标志大类的图示示意图。如图6a所示，图中包括多个交通标志，每个交通标志属于不同的交通标志小类，而所有交通标志都属于指示标志(交通标志大类中的一种)，例如：其中i10所示交通标志指示向右转弯，i12所示交通标志指示向左转弯，i13所示交通标志指示直行；交通标志大类可以包括但不限于：警告标志、禁令标志、指示标志、指路标志、旅游区标志和道路施工安全标志。图6b为本申请交通标志检测方法一个具体示例中另一个交通标志大类的图示示意图。如图6b所示，图中包括多个交通标志，每个交通标志属于不同的交通标志小类；而所有交通标志都属于禁令标志(交通标志大类中的一种)，例如：p9所示交通标志指示禁止行人通行，p19所示交通标志指示禁止向右转弯。图6c为本申请交通标志检测方法一个具体示例中还一个交通标志大类的图示示意图。如图6c所示，图中包括多个交通标志，每个交通标志属于不同的交通标志小类；而所有交通标志都属于警告标志(交通标志大类中的一种)，例如：w20所示交通标志指示T型交叉路口；w47所示交通标志指示前方路段右侧变窄。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图7为本申请交通标志检测装置一个实施例的结构示意图。该实施例的装置可用于实现本申请上述各交通标志检测方法实施例。如图7所示，该实施例的装置包括：
图像采集单元71，用于采集包括交通标志的图像。
交通标志区域单元72，用于获得包括交通标志的图像中至少一个交通标志对应的至少一个候选区域特征，每个交通标志对应一个候选区域特征。
交通概率向量单元73，用于基于至少一个候选区域特征，得到对应至少两个交通标志大类的至少一个第一概率向量，并对每个交通标志大类进行分类，分别得到对应交通标志大类中至少两个交通标志小类的至少一个第二概率向量。
交通标志分类单元74，用于基于第一概率向量和第二概率向量，确定交通标志属于交通标志小类的分类概率。
为了确认交通标志的准确分类，只获得交通标志大类的分类结果是不够的，只获得交通标志大类的分类结果仅能确定当前目标属于哪个交通标志大类，由于每个交通标志大类中还包括至少两个交通标志小类，因此，交通标志在所属交通标志大类中需要继续进行分类，以获得所属交通标志小类。
基于本发明上述实施例提供的一种交通标志检测装置，提升了图像中交通标志的分类准确率。
在一个或多个可选的实施例中，交通概率向量单元73，包括：
第一概率模块，用于基于至少一个候选区域特征通过第一分类器进行分类，得到对应至少两个交通标志大类的至少一个第一概率向量；
第二概率模块，用于基于至少一个候选区域特征通过至少两个第二分类器对每个交通标志大类进行分类，分别得到对应交通标志大类中至少两个交通标志小类的至少一个第二概率向量。
可选地，由于交通标志种类较多，且类别间很相似，现有的检测框架无法同时检测如此多的种类并进行分类，本实施例通过多级分类器对交通标志进行分类，以达到较好的分类结果；其中，第一分类器和第二分类器可以采用现有的可实现分类的神经网络，其中第二分类器实现对第一分类器中的各交通标志大类进行分类，通过第二分类器可以对大量比较相似的交通标志进行准确分类。
可选地，每个交通标志大类类别对应一个第二分类器；
第二概率模块，具体用于基于第一概率向量，确定候选区域特征对应的交通标志大类类别；基于交通标志大类对应的第二分类器对候选区域特征进行分类，得到候选区域特征对应至少两个交通标志小类的第二概率向量。
可选地，交通概率向量单元73，还用于将候选区域特征经过卷积神经网络进行处理，将处理后的候选区域特征输入交通标志大类对应的第二分类器。
在一个或多个可选的实施例中，交通标志分类单元74，具体用于基于第一概率向量，确定目标属于交通标志大类的第一分类概率；基于第二概率向量，确定目标属于交通标志小类的第二分类概率；结合第一分类概率和第二分类概率，确定交通标志属于交通标志大类中的交通标志小类的分类概率。
可选地，基于第一分类概率和第二分类概率的乘积确定交通标志属于交通标志大类中的交通标志小类的分类概率；例如：将交通标志分为N个大类，假设每个大类包含M个小类，第i个大类记为Ni，第Ni个大类的第j个小类记为Nij，其中i的取值范围为1到N，j的取值范围为1到M；通过计算得到分类概率，即属于某个小类的概率。公式：P(i,j)＝P(Ni)×P(Nij)，其中P(i,j)代表分类概率，P(Ni)表示第一分类概率，P(Nij)表示第二分类概率。
在一个或多个可选的实施例中，本实施例装置还可以包括：
交通网络训练单元，用于基于样本候选区域特征训练交通分类网络。
交通分类网络包括一个第一分类器和至少两个第二分类器，第二分类器的数量等于第一分类器的交通标志大类类别；样本候选区域特征具有标注交通标志小类类别或具有标注交通标志小类类别和标注交通标志大类类别。
可选地，通过训练，获得的交通分类网络能更好的进行大分类和小分类；而样本候选区域特征可以只标注交通标志小类类别，此时，为了实现对交通分类网络的训练，可选地，响应于样本候选区域特征具有标注交通标志小类类别，通过对标注交通标志小类类别聚类确定样本候选区域特征对应的标注交通标志大类类别。通过对样本候选区域特征进行聚类即可获得标注交通标志大类类别，具体的聚类方法可以通过样本候选区域特征之间的距离(例如：欧式距离等)，通过聚类可将具有标注交通标志小类类别的样本候选区域特征聚合成几个集合，每个集合即对应一个标注交通标志大类类别。
可选地，交通网络训练单元，具体用于将样本候选区域特征输入第一分类器，得到预测交通标志大类类别；基于预测交通标志大类类别和标注交通标志大类类别调整第一分类器的参数；基于样本候选区域特征的标注交通标志大类类别，将样本候选区域特征输入标注交通标志大类类别对应的第二分类器，得到预测交通标志小类类别；基于预测交通标志小类类别和标注交通标志小类类别调整第二分类器的参数。
在一个或多个可选的实施例中，交通标志区域单元72，包括：
标志候选区域模块，用于基于包括交通标志的图像获取至少一个交通标志对应的至少一个候选区域；
图像特征提取模块，用于对图像进行特征提取，获得图像对应的图像特征；
标注区域特征模块，用于基于至少一个候选区域和图像特征确定包括交通标志的图像对应的至少一个候选区域特征。
可选地，可以通过基于区域的全卷积神经网络(R-FCN)网络框架实现获得候选区域特征，具体的通过一个分支网络获得候选区域，另一分支网络获得图像对应的图像特征，基于候选区域通过感兴趣区域池化(ROI pooling)获得至少一个候选区域特征，具体地，可以基于至少一个候选区域从图像特征中获得对应位置的特征，构成至少一个候选区域对应的至少一个候选区域特征，每个候选区域对应一个候选区域特征。
可选地，标志候选区域模块，具体用于基于至少一个候选区域从图像特征中获得对应位置的特征，构成至少一个候选区域对应的至少一个候选区域特征，每个候选区域对应一个候选区域特征。
可选地，图像特征提取模块，具体用于通过特征提取网络中的卷积神经网络对图像进行特征提取，得到第一特征；通过特征提取网络中的残差网络对图像进行差异特征提取，得到差异特征；基于第一特征和差异特征，获得图像对应的图像特征。
可选地，图像特征提取模块在基于第一特征和差异特征，获得图像对应的图像特征时，用于对第一特征和差异特征进行按位相加，获得图像对应的图像特征。
可选地，图像特征提取模块在通过特征提取网络中的卷积神经网络对图像进行特征提取，得到第一特征时，用于通过卷积神经网络对图像进行特征提取；基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的所述第一特征。
可选地，图像特征提取模块在基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的第一特征时，用于对至少两个卷积层输出的至少两个特征图中的至少一个特征图进行处理，使至少两个特征图大小相同；对至少两个大小相同的特征图按位相加，确定图像对应的第一特征。
可选地，图像特征提取模块，还用于基于第一样本图像，结合判别器对特征提取网络进行对抗训练，已知第一样本图像中交通标志的大小，交通标志包括第一交通标志和第二交通标志，第一交通标志的大小与第二交通标志的大小不同。
可选地，图像特征提取模块在基于第一样本图像，结合判别器对特征提取网络进行对抗训练时，用于将第一样本图像输入特征提取网络，得到第一样本图像特征；经判别器基于第一样本图像特征获得判别结果，判别结果用于表示第一样本图像中包括第一交通标志的真实性；基于判别结果和已知第一样本图像中交通标志的大小，交替调整判别器和特征提取网络的参数。
在一个或多个可选的实施例，图像特征提取模块，用于通过卷积神经网络对图像进行特征提取；基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的图像特征。
在卷积神经网络中，底层特征往往包含较多的边缘信息和位置信息，而高层特征包含较多的语义特征，本实施例采用将底层特征和高层特征融合的方式，实现即利用底层特征，又利用高层特征，将底层特征和高层特征进行融合，提升检测目标特征图的表达能力，使网络既能够利用到深层语义信息，也能充分挖掘浅层语义信息，具体融合方法可以包括但不限于：特征按位相加等方法。
可选地，图像特征提取模块在基于卷积神经网络中至少两个卷积层输出的至少两个特征，确定图像对应的图像特征时，用于对至少两个卷积层输出的至少两个特征图中的至少一个特征图进行处理，使至少两个特征图大小相同；对至少两个大小相同的特征图按位相加，确定图像对应的图像特征。
可选地，图像特征提取模块，还用于基于第二样本图像训练卷积神经网络，第二样本图像包括标注图像特征。
可选地，图像特征提取模块在基于第二样本图像训练卷积神经网络时，用于将第二样本图像输入卷积神经网络，得到预测图像特征；基于预测图像特征和标注图像特征，调整卷积神经网络的参数。
可选地，标志候选区域模块，具体用于从视频中获得至少一帧包括交通标志的图像，对图像执行区域检测，得到至少一个交通标志对应的至少一个候选区域。
可选地，交通标志区域单元，还包括：
标志关键点模块，用于对视频中的所述图像进行关键点识别，确定图像中的交通标志对应的交通标志关键点；
标志关键点跟踪模块，用于对交通标志关键点进行跟踪，获得视频中各图像的关键点区域；
标志区域调整模块，用于根据各图像的关键点区域调整至少一个候选区域，获得至少一个交通标志对应的至少一个交通标志候选区域。
可选地，标志关键点跟踪模块，具体用于基于视频中连续两帧图像中各交通标志关键点之间的距离；基于各交通标志关键点之间的距离实现对视频中的交通标志关键点进行跟踪；获得视频中各图像的关键点区域。
可选地，标志关键点跟踪模块在基于各交通标志关键点之间的距离实现对视频中的交通标志关键点进行跟踪时，用于基于各交通标志关键点之间的距离的最小值，确定连续两帧图像中同一交通标志关键点的位置；根据同一交通标志关键点在连续两帧图像中的位置实现交通标志关键点在视频中的跟踪。
可选地，标志区域调整模块，具体用于响应于候选区域与关键点区域的重合比例大于或等于设定比例，将候选区域作为交通标志对应的交通标志候选区域；响应于候选区域与关键点区域的重合比例小于设定比例，将关键点区域作为交通标志对应的交通标志候选区域。
本申请实施例提供的交通标志检测装置任一实施例的工作过程以及设置方式均可以参照本申请上述相应方法实施例的具体描述，限于篇幅，在此不再赘述。
根据本申请实施例的另一个方面，提供的一种车辆，包括上述任意一项实施例的交通标志检测装置。
根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，该处理器包括上述任意一项实施例所述的多级目标分类装置或上述任意一项实施例所述的交通标志检测装置。
根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与存储器通信以执行该可执行指令从而完成上述任意一项实施例所述多级目标分类方法或上述任意一项实施例所述交通标志检测方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机存储介质，用于存储计算机可读取的指令，该指令被执行时执行上述任意一项实施例所述多级目标分类方法或上述任意一项实施例所述交通标志检测方法的操作。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图8，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备800的结构示意图：如图8所示，电子设备800包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)801，和/或一个或多个专用处理器，专用处理器可作为加速单元813，可包括但不限于图像处理器(GPU)、FPGA、DSP以及其它的ASIC芯片之类专用处理器等，处理器可以根据存储在只读存储器(ROM)802中的可执行指令或者从存储部分808加载到随机访问存储器(RAM)803中的可执行指令而执行各种适当的动作和处理。通信部812可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器802和/或随机访问存储器803中通信以执行可执行指令，通过总线804与通信部812相连、并经通信部812与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，获得图像中至少一个目标对应的至少一个候选区域特征；基于至少一个候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个大类进行分类，分别得到对应大类中至少两个小类的至少一个第二概率向量；基于第一概率向量和第二概率向量，确定目标属于小类的分类概率。
此外，在RAM 803中，还可存储有装置操作所需的各种程序和数据。CPU801、ROM802以及RAM803通过总线804彼此相连。在有RAM803的情况下，ROM802为可选模块。RAM803存储可执行指令，或在运行时向ROM802中写入可执行指令，可执行指令使中央处理单元801执行上述通信方法对应的操作。输入/输出(I/O)接口805也连接至总线804。通信部812可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口805：包括键盘、鼠标等的输入部分806；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分807；包括硬盘等的存储部分808；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分809。通信部分809经由诸如因特网的网络执行通信处理。驱动器810也根据需要连接至I/O接口805。可拆卸介质811，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器810上，以便于从其上读出的计算机程序根据需要被安装入存储部分808。
需要说明的，如图8所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图8的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如加速单元813和CPU801可分离设置或者可将加速单元813集成在CPU801上，通信部可分离设置，也可集成设置在CPU801或加速单元813上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，获得图像中至少一个目标对应的至少一个候选区域特征；基于至少一个候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个大类进行分类，分别得到对应大类中至少两个小类的至少一个第二概率向量；基于第一概率向量和第二概率向量，确定目标属于小类的分类概率。在这样的实施例中，该计算机程序可以通过通信部分809从网络上被下载和安装，和/或从可拆卸介质811被安装。在该计算机程序被中央处理单元(CPU)801执行时，执行本申请的方法中限定的上述功能的操作。
可能以许多方式来实现本发明的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
本发明的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用，并且使本领域的普通技术人员能够理解本发明从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种多级目标分类方法，其特征在于，包括：
获得图像中至少一个目标对应的至少一个候选区域特征，所述图像中包括至少一个目标，每个所述目标对应一个候选区域特征；
基于至少一个所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量；
基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述小类的分类概率。
2.根据权利要求1所述的方法，其特征在于，所述基于至少一个所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量，包括：
基于至少一个所述候选区域特征通过第一分类器进行分类，得到对应至少两个大类的至少一个第一概率向量；
基于至少一个所述候选区域特征通过至少两个第二分类器对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量。
3.一种交通标志检测方法，其特征在于，包括：
采集包括交通标志的图像；
获得所述包括交通标志的图像中至少一个交通标志对应的至少一个候选区域特征，每个所述交通标志对应一个候选区域特征；
基于至少一个所述候选区域特征，得到对应至少两个交通标志大类的至少一个第一概率向量，并对每个所述交通标志大类进行分类，分别得到对应所述交通标志大类中至少两个交通标志小类的至少一个第二概率向量；
基于所述第一概率向量和所述第二概率向量，确定所述交通标志属于所述交通标志小类的分类概率。
4.一种多级目标分类装置，其特征在于，包括：
候选区域获得单元，用于获得图像中至少一个目标对应的至少一个候选区域特征，所述图像中包括至少一个目标，每个所述目标对应一个候选区域特征；
概率向量单元，用于基于至少一个所述候选区域特征，得到对应至少两个大类的至少一个第一概率向量，并对每个所述大类进行分类，分别得到对应所述大类中至少两个小类的至少一个第二概率向量；
目标分类单元，用于基于所述第一概率向量和所述第二概率向量，确定所述目标属于所述小类的分类概率。
5.一种交通标志检测装置，其特征在于，包括：
图像采集单元，用于采集包括交通标志的图像；
交通标志区域单元，用于获得所述包括交通标志的图像中至少一个交通标志对应的至少一个候选区域特征，每个所述交通标志对应一个候选区域特征；
交通概率向量单元，用于基于至少一个所述候选区域特征，得到对应至少两个交通标志大类的至少一个第一概率向量，并对每个所述交通标志大类进行分类，分别得到对应所述交通标志大类中至少两个交通标志小类的至少一个第二概率向量；
交通标志分类单元，用于基于所述第一概率向量和所述第二概率向量，确定所述交通标志属于所述交通标志小类的分类概率。
6.一种车辆，其特征在于，包括权利要求5所述的交通标志检测装置。
7.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求4所述的多级目标分类装置或权利要求5所述的交通标志检测装置。
8.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至2任意一项所述多级目标分类方法或权利要求3所述交通标志检测方法的操作。
9.一种计算机存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至2任意一项所述多级目标分类方法或权利要求3所述交通标志检测方法的操作。
10.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至2任意一项所述多级目标分类方法或权利要求3所述交通标志检测方法的指令。
CN201811036346.1A 2018-09-06 2018-09-06 多级目标分类及交通标志检测方法和装置、设备、介质 Pending CN110879950A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201811036346.1A CN110879950A (zh) 2018-09-06 2018-09-06 多级目标分类及交通标志检测方法和装置、设备、介质
JP2020573120A JP2021530048A (ja) 2018-09-06 2019-07-31 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体
PCT/CN2019/098674 WO2020048265A1 (zh) 2018-09-06 2019-07-31 多级目标分类及交通标志检测方法和装置、设备、介质
KR1020207037464A KR20210013216A (ko) 2018-09-06 2019-07-31 멀티 레벨 타겟 분류 및 교통 표지 검출 방법 및 장치, 기기, 매체
SG11202013053PA SG11202013053PA (en) 2018-09-06 2019-07-31 Methods and apparatuses for multi-level target classification and traffic sign detection, device and medium
US17/128,629 US20210110180A1 (en) 2018-09-06 2020-12-21 Method and apparatus for traffic sign detection, electronic device and computer storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811036346.1A CN110879950A (zh) 2018-09-06 2018-09-06 多级目标分类及交通标志检测方法和装置、设备、介质

Publications (1)

Publication Number Publication Date
CN110879950A true CN110879950A (zh) 2020-03-13

Family

ID=69722331

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811036346.1A Pending CN110879950A (zh) 2018-09-06 2018-09-06 多级目标分类及交通标志检测方法和装置、设备、介质

Country Status (6)

Country Link
US (1) US20210110180A1 (zh)
JP (1) JP2021530048A (zh)
KR (1) KR20210013216A (zh)
CN (1) CN110879950A (zh)
SG (1) SG11202013053PA (zh)
WO (1) WO2020048265A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633151A (zh) * 2020-12-22 2021-04-09 浙江大华技术股份有限公司 一种确定监控图像中斑马线的方法、装置、设备及介质
CN113516088A (zh) * 2021-07-22 2021-10-19 中移（杭州）信息技术有限公司 物体识别方法、装置及计算机可读存储介质
CN113837144A (zh) * 2021-10-25 2021-12-24 广州微林软件有限公司 一种冰箱的智能化图像数据采集处理方法

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256956B2 (en) * 2019-12-02 2022-02-22 Qualcomm Incorporated Multi-stage neural network process for keypoint detection in an image
CN112052778B (zh) * 2020-09-01 2022-04-12 腾讯科技（深圳）有限公司 一种交通标志识别方法以及相关装置
CN112132032A (zh) * 2020-09-23 2020-12-25 平安国际智慧城市科技股份有限公司 交通标志牌检测方法、装置、电子设备及存储介质
US11776281B2 (en) 2020-12-22 2023-10-03 Toyota Research Institute, Inc. Systems and methods for traffic light detection and classification
CN113095359B (zh) * 2021-03-05 2023-09-12 西安交通大学 一种射线图像标记信息检测方法及系统
CN113361593B (zh) * 2021-06-03 2023-12-19 阿波罗智联(北京)科技有限公司 生成图像分类模型的方法、路侧设备及云控平台
CN113516069A (zh) * 2021-07-08 2021-10-19 北京华创智芯科技有限公司 基于尺寸鲁棒的道路标识实时检测方法及装置
US11756288B2 (en) * 2022-01-05 2023-09-12 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium
WO2024101625A1 (ko) * 2022-11-09 2024-05-16 주식회사 누비랩 계층적 모델을 이용한 객체 식별 방법 및 장치
CN115830399B (zh) * 2022-12-30 2023-09-12 广州沃芽科技有限公司 分类模型训练方法、装置、设备、存储介质和程序产品

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814147A (zh) * 2010-04-12 2010-08-25 中国科学院自动化研究所 一种实现场景图像的分类方法
US20110109476A1 (en) * 2009-03-31 2011-05-12 Porikli Fatih M Method for Recognizing Traffic Signs
CN103824452A (zh) * 2013-11-22 2014-05-28 银江股份有限公司 一种轻量级的基于全景视觉的违章停车检测装置
CN103955950A (zh) * 2014-04-21 2014-07-30 中国科学院半导体研究所 一种利用关键点特征匹配的图像跟踪方法
CN105335710A (zh) * 2015-10-22 2016-02-17 合肥工业大学 一种基于多级分类器的精细车辆型号识别方法
US20160117587A1 (en) * 2014-10-27 2016-04-28 Zhicheng Yan Hierarchical deep convolutional neural network for image classification
CN106295568A (zh) * 2016-08-11 2017-01-04 上海电力学院 基于表情和行为双模态结合的人类自然状态情感识别方法
CN106778585A (zh) * 2016-12-08 2017-05-31 腾讯科技（上海）有限公司 一种人脸关键点跟踪方法和装置
CN106991417A (zh) * 2017-04-25 2017-07-28 华南理工大学 一种基于模式识别的视觉投影交互系统及交互方法
CN107480730A (zh) * 2017-09-05 2017-12-15 广州供电局有限公司 电力设备识别模型构建方法和系统、电力设备的识别方法
CN108171762A (zh) * 2017-12-27 2018-06-15 河海大学常州校区 一种深度学习的压缩感知同类图像快速重构系统与方法
CN108229319A (zh) * 2017-11-29 2018-06-29 南京大学 基于帧间差异与卷积神经网络融合的船舶视频检测方法
CN108363957A (zh) * 2018-01-19 2018-08-03 成都考拉悠然科技有限公司 基于级联网络的交通标志检测与识别方法
CN108470172A (zh) * 2017-02-23 2018-08-31 阿里巴巴集团控股有限公司 一种文本信息识别方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2580740A4 (en) * 2010-06-10 2016-05-25 Tata Consultancy Services Ltd INVARIABLE AND ROBUST LIGHTING APPARATUS AND METHOD FOR DETECTING AND RECOGNIZING MULTIPLE SIGNALING PANELS
CN103020623B (zh) * 2011-09-23 2016-04-06 株式会社理光 交通标志检测方法和交通标志检测设备
CN104700099B (zh) * 2015-03-31 2017-08-11 百度在线网络技术（北京）有限公司 识别交通标志的方法和装置
JP2018026040A (ja) * 2016-08-12 2018-02-15 キヤノン株式会社 情報処理装置および情報処理方法
JP6947508B2 (ja) * 2017-01-31 2021-10-13 株式会社日立製作所 移動物体検出装置、移動物体検出システム、及び移動物体検出方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110109476A1 (en) * 2009-03-31 2011-05-12 Porikli Fatih M Method for Recognizing Traffic Signs
CN101814147A (zh) * 2010-04-12 2010-08-25 中国科学院自动化研究所 一种实现场景图像的分类方法
CN103824452A (zh) * 2013-11-22 2014-05-28 银江股份有限公司 一种轻量级的基于全景视觉的违章停车检测装置
CN103955950A (zh) * 2014-04-21 2014-07-30 中国科学院半导体研究所 一种利用关键点特征匹配的图像跟踪方法
US20160117587A1 (en) * 2014-10-27 2016-04-28 Zhicheng Yan Hierarchical deep convolutional neural network for image classification
CN105335710A (zh) * 2015-10-22 2016-02-17 合肥工业大学 一种基于多级分类器的精细车辆型号识别方法
CN106295568A (zh) * 2016-08-11 2017-01-04 上海电力学院 基于表情和行为双模态结合的人类自然状态情感识别方法
CN106778585A (zh) * 2016-12-08 2017-05-31 腾讯科技（上海）有限公司 一种人脸关键点跟踪方法和装置
CN108470172A (zh) * 2017-02-23 2018-08-31 阿里巴巴集团控股有限公司 一种文本信息识别方法及装置
CN106991417A (zh) * 2017-04-25 2017-07-28 华南理工大学 一种基于模式识别的视觉投影交互系统及交互方法
CN107480730A (zh) * 2017-09-05 2017-12-15 广州供电局有限公司 电力设备识别模型构建方法和系统、电力设备的识别方法
CN108229319A (zh) * 2017-11-29 2018-06-29 南京大学 基于帧间差异与卷积神经网络融合的船舶视频检测方法
CN108171762A (zh) * 2017-12-27 2018-06-15 河海大学常州校区 一种深度学习的压缩感知同类图像快速重构系统与方法
CN108363957A (zh) * 2018-01-19 2018-08-03 成都考拉悠然科技有限公司 基于级联网络的交通标志检测与识别方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112633151A (zh) * 2020-12-22 2021-04-09 浙江大华技术股份有限公司 一种确定监控图像中斑马线的方法、装置、设备及介质
CN112633151B (zh) * 2020-12-22 2024-04-12 浙江大华技术股份有限公司 一种确定监控图像中斑马线的方法、装置、设备及介质
CN113516088A (zh) * 2021-07-22 2021-10-19 中移（杭州）信息技术有限公司 物体识别方法、装置及计算机可读存储介质
CN113516088B (zh) * 2021-07-22 2024-02-27 中移（杭州）信息技术有限公司 物体识别方法、装置及计算机可读存储介质
CN113837144A (zh) * 2021-10-25 2021-12-24 广州微林软件有限公司 一种冰箱的智能化图像数据采集处理方法

Also Published As

Publication number Publication date
SG11202013053PA (en) 2021-01-28
KR20210013216A (ko) 2021-02-03
JP2021530048A (ja) 2021-11-04
WO2020048265A1 (zh) 2020-03-12
US20210110180A1 (en) 2021-04-15

Similar Documents

Publication Publication Date Title
CN110879950A (zh) 多级目标分类及交通标志检测方法和装置、设备、介质
Panahi et al. Accurate detection and recognition of dirty vehicle plate numbers for high-speed applications
Zhou et al. Image-based vehicle analysis using deep neural network: A systematic study
Buch et al. A review of computer vision techniques for the analysis of urban traffic
Marzougui et al. A lane tracking method based on progressive probabilistic Hough transform
Alvarez et al. Combining priors, appearance, and context for road detection
Huang et al. Vehicle detection and inter-vehicle distance estimation using single-lens video camera on urban/suburb roads
KR101596299B1 (ko) 교통 표지판 인식 방법 및 장치
CN110619279B (zh) 一种基于跟踪的路面交通标志实例分割方法
Romdhane et al. An improved traffic signs recognition and tracking method for driver assistance system
EP2132936A1 (en) Forward looking sensor system
US10824881B2 (en) Device and method for object recognition of an input image for a vehicle
JP2019220129A (ja) 交通標識を認識するためのシステムおよび方法
Khan et al. Performance enhancement method for multiple license plate recognition in challenging environments
Peng et al. Real-time illegal parking detection algorithm in urban environments
Coronado et al. Detection and classification of road signs for automatic inventory systems using computer vision
Ho et al. Intelligent speed bump system with dynamic license plate recognition
Imad et al. Navigation system for autonomous vehicle: A survey
Dai et al. A driving assistance system with vision based vehicle detection techniques
Kodwani et al. Automatic license plate recognition in real time videos using visual surveillance techniques
Chen et al. Context-aware lane marking detection on urban roads
Merugu et al. Multi lane detection, curve fitting and lane type classification
Jaiswal et al. Comparative analysis of CCTV video image processing techniques and application: a survey
EP3392797B1 (en) Device for determining vehicle navigation information
Ding et al. Traffic sign detection and identification using SURF algorithm and GPGPU

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40020972

Country of ref document: HK

RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20200313