JP2021530048A - 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体 - Google Patents

多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体 Download PDF

Info

Publication number
JP2021530048A
JP2021530048A JP2020573120A JP2020573120A JP2021530048A JP 2021530048 A JP2021530048 A JP 2021530048A JP 2020573120 A JP2020573120 A JP 2020573120A JP 2020573120 A JP2020573120 A JP 2020573120A JP 2021530048 A JP2021530048 A JP 2021530048A
Authority
JP
Japan
Prior art keywords
image
feature
traffic sign
candidate region
classification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020573120A
Other languages
English (en)
Inventor
王▲賀▼璋
▲馬▼宇宸
胡天▲曉▼
▲曾▼星宇
▲閻▼俊▲傑▼
Original Assignee
ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド filed Critical ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド
Publication of JP2021530048A publication Critical patent/JP2021530048A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

本開示の実施例は多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体を開示する。前記方法は、画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得する工程であって、前記画像は少なくとも１つの目標を含み、各目標は１つの候補領域特徴に対応する、工程と、前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの大分類をそれぞれ類別し、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する類別確率を決定する工程と、を含む。

Description

（関連出願の相互参照）
本開示は、２０１８年９月６日に中国特許局に提出された、出願番号ＣＮ２０１８１１０３６３４６．１、発明の名称「多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体」の中国特許出願の優先権を主張し、その開示の全てが参照によって本開示に組み込まれる。
本開示は、コンピュータビジョン技術に関し、特に、多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体に関する。
交通標示検出は、自動運転分野の重要な課題となっている。交通標示は、現代道路システムにおいて重要な作用を発揮しており、文字や図形符号を用いて車両、歩行者に指示、道路誘導、警告、禁令等の信号を伝達し、車両の走行と歩行者の走行を案内している。交通標識の正確な検出により自動運転自動車の速度、方向を計画し、車両の安全的な走行を保証することができる。現実のシーンにおいて、道路交通標示は、種類が多く、人、車両のような一般的な目標よりサイズが小さい。
本開示の実施例は多階層化目標類別技術を提供する。
本開示の実施例の一態様によれば、提供された多階層化目標類別方法は、
画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得する工程であって、前記画像は少なくとも１つの目標を含み、各目標は１つの候補領域特徴に対応する、工程と、
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの大分類をそれぞれ類別し、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、
前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する類別確率を決定する工程と、を含む。
本開示の実施例の別の態様によれば、提供された交通標識検出方法は、
交通標識を含む画像を収集する工程と、
前記交通標識を含む画像における少なくとも１つの交通標識に対応する少なくとも１つの候補領域特徴を取得する工程であって、各交通標識はそれぞれ１つの候補領域特徴に対応する、工程と、
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの交通標識大分類をそれぞれ類別し、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、
前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記交通標識が前記交通標識小分類に属する類別確率を決定する工程と、を含む。
本開示の実施例の別の態様によれば、提供された多階層化目標類別装置は、
画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得するための候補領域取得ユニットであって、前記画像は少なくとも１つの目標を含み、各目標は１つの候補領域特徴に対応する、候補領域取得ユニットと、
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの大分類をそれぞれ類別し、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための確率ベクトルユニットと、
前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する類別確率を決定するための目標類別ユニットと、を含む。
本開示の実施例の別の態様によれば、提供された交通標識検出装置は、
交通標識を含む画像を収集するための画像収集ユニットと、
前記交通標識を含む画像における少なくとも１つの交通標識に対応する少なくとも１つの候補領域特徴を取得するための交通標識領域ユニットであって、各前記交通標識はそれぞれ１つの候補領域特徴に対応する、交通標識領域ユニットと、
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの交通標識大分類をそれぞれ類別し、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための交通確率ベクトルユニットと、
前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記交通標識が前記交通標識小分類に属する類別確率を決定するための交通標識類別ユニットと、を含む。
本開示の実施例の別の態様によれば、提供された車両は、以上のいずれか一項に記載の交通標識検出装置を含む。
本開示の実施例の別の態様によれば、提供された電子機器は、以上のいずれか一項に記載の多階層化目標類別装置又は以上のいずれか一項に記載の交通標識検出装置を備えたプロセッサーを含む。
本開示の実施例の別の態様によれば、提供された電子機器は、実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能コマンドを実行して以上のいずれか一項に記載の多階層化目標類別方法又は以上のいずれか一項に記載の交通標識検出方法の操作を完成するためのプロセッサーと、を含む。
本開示の実施例の別の態様によれば、提供されたコンピューター記憶媒体は、コンピューター読取可能コマンドを記憶するためのコンピューター記憶媒体であって、前記コマンドが実行されるとき、以上のいずれか一項に記載の多階層化目標類別方法又は以上のいずれか一項に記載の交通標識検出方法の操作が実行される。
本開示の実施例の別の態様によれば、提供されたコンピュータープログラム製品は、コンピューター可読コードを含むコンピュータープログラム製品であって、前記コンピューター可読コードが機器で実行されるとき、前記機器中のプロセッサーは以上のいずれか一項に記載の多階層化目標類別方法又は以上のいずれか一項に記載の交通標識検出方法を実現するためのコマンドを実行する。
本開示の上記実施例で提供された多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体によれば、画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を得、少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ少なくとも２つの大分類をそれぞれ類別し、大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得、第１の確率ベクトルと第２の確率ベクトルにより目標が小分類に属する類別確率を決定するようになっており、画像における目標の類別正確率が高められる。本開示の実施例では、目標の大きさが限定されたものではなく、大きいサイズの目標の類別に用いてもよく、小さいサイズの目標の類別に用いても良い。本開示の実施例を例えば交通標識、交通信号灯等の撮影写真におけるサイズが小さい目標（即ち小目標）の類別に用いる時に、画像における小目標の類別正確性を効果的に高めることができる。
本開示の実施例で提供された多階層化目標類別方法のフローチャートである。 本開示の実施例で提供された多階層化目標類別方法の一例における類別ネットワークの構造模式図である。 本開示の実施例で提供された多階層化目標類別方法の一例における特徴抽出ネットワークの構造模式図である。 本開示の実施例で提供された多階層化目標類別装置の構造模式図である。 本開示の実施例で提供された交通標識検出方法のフローチャートである。 本開示の実施例で提供された交通標識検出方法の選択可能な一例における１つの交通標識大分類を示す模式図である。 本開示の実施例で提供された交通標識検出方法の選択可能な一例における別の交通標識大分類を示す模式図である。 本開示の実施例で提供された交通標識検出方法の選択可能な一例におけるまた１つの交通標識大分類を示す模式図である。 本開示の実施例で提供された交通標識検出装置の構造模式図である。 本開示の実施例の端末装置又はサーバを実現するのに適する電子機器の構造模式図である。
図面を参照し、以下の詳細な説明により本開示をより明瞭に理解することができる。
明細書の一部を構成する図面は、本開示の実施例を説明し、その説明と共に本開示の原理を解釈すること、に用いられる。
ここで、図面を参照しながら本開示の様々な例示的な実施例を詳細に説明する。なお、特に断らない限り、これらの実施例で記述した部材及びステップの相対的配置、数式及び値は本開示の範囲を限定するものではないことに注意すべきである。
同時に、説明の便宜上、図面に示した各部分の寸法は実際の比例関係に従って描いたものではないことを理解すべきである。
以下の少なくとも一つの例示的な実施例に対する説明は実際に説明的なものに過ぎず、本開示及びその適用または使用へのなんらの制限にもならない。
関連分野の当業者に既知の技術、方法及び機器については、詳細に説明しない場合があるが、場合によって、前記技術、方法及び機器は明細書の一部と見なすべきである。
なお、類似する符号及び英文字は以下の図面において類似項目を表し、従って、ある一項が一つの図面において定義されれば、以降の図面においてそれをさらに説明する必要がないことに注意すべきである。
本開示の実施例はコンピュータシステム／サーバに適用可能であり、それは他の様々な共通または専用計算システム環境または構成と共に動作可能である。コンピュータシステム／サーバとの併用に適する公知の計算システム、環境及び／または構成の例は、パーソナルコンピュータシステム、サーバコンピュータシステム、シンクライアント、ファットクライアント、手持ちまたはラップトップデバイス、マイクロプロセッサに基づくシステム、セットトップボックス、プログラマブル消費者用電子機器、ネットワークパソコン、車載機、小型コンピュータシステム、大型コンピュータシステム及び前記任意のシステムを含む分散型クラウドコンピューティング技術環境などを含むが、これらに限定されない。
コンピュータシステム／サーバはコンピュータシステムにより実行されるコンピュータシステム実行可能コマンド（例えば、プログラムモジュール）の一般的な言語環境において記述できる。通常、プログラムモジュールはルーチン、プログラム、目的プログラム、コンポーネント、ロジック、データ構造などを含んでよく、それらは特定のタスクを実行するかまたは特定の抽象データ型を実現する。コンピュータシステム／サーバは分散型クラウドコンピューティング環境において実施でき、分散型クラウドコンピューティング環境において、タスクは通信ネットワークにわたってリンクされた遠隔処理機器により実行される。分散型クラウドコンピューティング環境において、プログラムモジュールは記憶機器を含むローカルまたは遠隔計算システムの記憶媒体に存在してよい。
図１は本開示の実施例で提供された多階層化目標類別方法のフローチャートである。図１に示すように、この実施例の方法は、以下のステップを含む。
ステップ１１０において、画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得する。
ここで、画像にはそれぞれ１つの候補領域特徴に対応する少なくとも１つの目標を含み、画像に複数の目標を含む時に、複数の目標をそれぞれ類別するために、各目標を区別することが必要とされる。
選択可能に、目標を含む可能性がある候補領域を得て、裁断して少なくとも１つの候補領域を得、候補領域に基づいて候補領域特徴を取得するようにし、又は、画像に対して特徴抽出を行って画像特徴を得、画像から候補領域を抽出し、候補領域を画像特徴にマッピングすることにより候補領域特徴を取得するようにし、本開示の実施例は候補領域特徴を取得する具体的な方法を限定するものではない。
選択可能な一例では、このステップＳ１１０はプロセッサーによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサーにより作動する候補領域取得ユニット４１によって実行されてもよい。
ステップ１２０において、少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ少なくとも２つの大分類をそれぞれ類別し、大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る。
それぞれ候補領域特徴に基づいて類別して、この候補領域特徴が大分類に対応する第１の確率ベクトルが得られ、それぞれの大分類には少なくとも２つの小分類を含むことが可能であり、候補領域特徴を小分類に基づいて類別して、小分類に対応する第２の確率ベクトルが得られ、目標は、交通標識及び／又は交通信号灯を含んでよいが、それらに限定されない。例えば、目標が交通標識である時に、交通標識は複数の大分類（例えば、警告標識、禁令標識、指示標識、道路案内標識等）を含み、それぞれの大分類は更に複数の小分類（例えば、危険場所に注意するように車両、歩行者に警告するための４９種の警告標識）を含む。
選択可能な一例では、このステップＳ１２０はプロセッサーによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサーにより作動する確率ベクトルユニット４２によって実行されてもよい。
ステップ１３０において、第１の確率ベクトルと第２の確率ベクトルに基づいて、目標が小分類に属する類別確率を決定する。
目標を精確に類別するために、大分類の類別結果を得るだけで不十分であり、大分類の類別結果を得るだけで現在目標がどの大分類に属するかしか決定できなく、それぞれの大分類に少なくとも２つの小分類を更に含むため、目標を所属する大分類において類別し続けて所属する小分類を得る必要がある。
選択可能な一例では、このステップＳ１３０はプロセッサーによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサーにより作動する目標類別ユニット４３によって実行されてもよい。
本開示の上記実施例で提供された多階層化目標類別方法によれば、画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を得、少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ少なくとも２つの大分類をそれぞれ類別し、大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得、第１の確率ベクトルと第２の確率ベクトルにより目標が小分類に属する類別確率を決定するようになっており、画像における目標の類別正確率が高められる。本開示の実施例では、目標の大きさが限定されたものではなく、大きいサイズの目標の類別に用いてもよく、小さいサイズの目標の類別に用いても良い。本開示の実施例を例えば交通標識、交通信号灯等の撮影写真におけるサイズが小さい目標（即ち小目標）の類別に用いる時に、画像における小目標の類別正確性を効果的に高めることができる。
１つ又は複数の選択可能な実施例では、ステップ１２０は、
少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得る工程と、
少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの大分類を類別し、大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、を含んでよい。
選択可能に、第１の分類器と第２の分類器としては、既存の類別を実現可能なニューラルネットワークを用いることができ、ここで、第２の分類器は、第１の分類器中の各類別カテゴリーの類別を実現するものであり、第２の分類器により、例えば、種類が２００種以上であってカテゴリー同士が類似的な道路交通標識のような多くの類似的な目標画像の精確な類別が可能になる。従来の検出仕組みはこのように多い種類の同時検出と類別が不可能であり、本開示の実施例により、様々の道路交通標識の類別の正確率を高めることができる。
選択可能に、それぞれの大分類カテゴリーが１つの第２の分類器に対応しており、
少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの大分類を類別し、大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程は、
第１の確率ベクトルに基づいて候補領域特徴に対応する大分類カテゴリーを決定する工程と、
大分類に対応する第２の分類器に基づいて候補領域特徴を類別し、候補領域特徴が少なくとも２つの小分類に対応する第２の確率ベクトルを得る工程と、を含む。
選択可能に、それぞれの第２の分類器がそれぞれ１つの大分類カテゴリーに対応しているので、１つの候補領域がある大分類カテゴリーに属すると決定した後、どの第２の分類器に基づいてそれを細かく類別するかを決定することができるようになり、目標類別の難度が低減され、また、この候補領域を全ての第２の分類器に入力し、全ての第２の分類器に基づいて複数の第２の確率ベクトルを得るようにしてもよく、目標類別カテゴリーは第１の確率ベクトルと第２の確率ベクトルの両方を基に決定されるものであり、第１の確率ベクトル中の小さい確率値に対応する第２の確率ベクトルの類別結果が小さくなり、第１の確率ベクトル中の大きい確率値（目標に対応する大分類カテゴリー）に対応する第２の確率ベクトルの類別結果が他の第２の確率ベクトルの類別結果と比べて明らかな優位性を有しているので、目標の小分類カテゴリーを速やかに決定することができ、本開示で提供された類別方法は小目標検出応用への検出の精確度を高めた。
選択可能に、大分類に対応する第２の分類器に基づいて候補領域特徴を類別し、候補領域特徴が少なくとも２つの小分類に対応する第２の確率ベクトルを得る工程の前に、
候補領域特徴を畳み込みニューラルネットワークにより処理し、処理後の候補領域特徴を大分類に対応する第２の分類器に入力する工程を更に含んでもよい。
図２は本開示の実施例で提供された多階層化目標類別方法の一例における類別ネットワークの構造模式図である。図２に示すように、得られた候補領域の目標を用いてＮ個の大分類で類別し、大分類カテゴリーが少なく且つカテゴリー同士の差異が大きいので、類別が容易であり、次に、それぞれの小分類に対して、畳み込みニューラルネットワークを用いて更に類別特徴を掘り出し、それぞれの大分類下の小分類を細かく類別し、この時に、第２の分類器が異なる大分類に対して異なる特徴を掘り出したので、小分類の類別正確率を高めることができ、畳み込みニューラルネットワークにより後続の領域特徴を処理することで、より多い類別特徴を掘り出して小分類の類別結果をより精確にすることができる。
１つ又は複数の選択可能な実施例では、ステップ１３０は、
第１の確率ベクトルに基づいて、目標が大分類に属する第１の類別確率を決定する工程と、
第２の確率ベクトルに基づいて目標が小分類に属する第２の類別確率を決定する工程と、
第１の類別確率と第２の類別確率を組み合わせて、目標が大分類中の小分類に属する類別確率を決定する工程と、を含んでよい。
選択可能に、第１の類別確率と第２の類別確率の積に基づいて目標が大分類中の小分類に属する類別確率を決定するようにし、例えば、目標をＮ個の大分類に分け、それぞれの大分類にＭ個の小分類を含むと仮定し、ｉ番目の大分類を
Figure 2021530048
とし、
Figure 2021530048
番目の大分類のｊ番目の小分類を
Figure 2021530048
とし、ただし、ＭとＮが１より大きい整数であり、ｉの取り得る値の範囲が１〜Ｎであり、ｊの取り得る値の範囲が１〜Ｍであり、計算により類別確率、即ちある小分類に属する確率を得る。式が
Figure 2021530048
であり、ただし、Ｐ（ｉ，ｊ）は類別確率を表し、
Figure 2021530048
は第１の類別確率を表し、
Figure 2021530048
は第２の類別確率を表す。
１つ又は複数の選択可能な実施例では、ステップ１２０を実行する工程の前に、サンプル候補領域特徴に基づいて類別ネットワークをトレーニングする工程を更に含んでもよい。
ここで、類別ネットワークは１つの第１の分類器と数量が第１の分類器の大分類カテゴリーと等しい少なくとも２つの第２の分類器とを含み、サンプル候補領域特徴はラベル付け小分類カテゴリーを備えているか、又はラベル付け小分類カテゴリーとラベル付け大分類カテゴリーを備えている。
選択可能に、類別ネットワークの構造については図２を参照してよく、トレーニングすることにより、得られた類別ネットワークは大分類と小分類の類別をより好ましく行うことができ、サンプル候補領域特徴は小分類カテゴリーのみをラベル付けてよく、この時に、類別ネットワークのトレーニングを実現するために、選択可能に、サンプル候補領域特徴がラベル付け小分類カテゴリーを備えていることに応答して、ラベル付け小分類カテゴリーをクラスタ化することでサンプル候補領域特徴に対応するラベル付け大分類カテゴリーを決定する。サンプル候補領域特徴をクラスタ化することによりラベル付け大分類カテゴリーを得ることができ、選択可能なクラスタ化方法は、サンプル候補領域特徴同士の距離（例えば、ユークリッド距離等）により、クラスタ化することでラベル付け小分類カテゴリーを備えたサンプル候補領域特徴をそれぞれ１つのラベル付け大分類カテゴリーに対応するいくつかの集合にクラスタ化することができる。
ラベル付け小分類カテゴリーをクラスタ化して対応するラベル付け大分類カテゴリーを得ることにより、このサンプル候補特徴の所属する大分類カテゴリーを精確に表現すると共に、大分類と小分類をそれぞれラベル付ける操作が必要とされるという問題を回避し、手動でラベル付ける動作を減少し、ラベル付け正確率とトレーニング効率を高めた。
選択可能に、サンプル候補領域特徴に基づいて類別ネットワークをトレーニングする工程は、
サンプル候補領域特徴を第１の分類器に入力し、予測大分類カテゴリーを得る工程と、予測大分類カテゴリーとラベル付け大分類カテゴリーに基づいて第１の分類器のパラメータを調整する工程と、
サンプル候補領域特徴のラベル付け大分類カテゴリーに基づいて、サンプル候補領域特徴をラベル付け大分類カテゴリーに対応する第２の分類器に入力し、予測小分類カテゴリーを得る工程と、予測小分類カテゴリーとラベル付け小分類カテゴリーに基づいて第２の分類器のパラメータを調整する工程と、を含む。
第１の分類器と少なくとも２つの第２の分類器をそれぞれトレーニングして、得られた類別ネットワークにより目標を粗く類別すると同時に、細かい類別を実現し、第１の類別確率と第２の類別確率の積に基づいて、この目標の精確な小分類類別確率が決定可能になる。
１つ又は複数の選択可能な実施例では、ステップ１１０は、
画像に基づいて少なくとも１つの目標に対応する少なくとも１つの候補領域を取得する工程と、
画像に対して特徴抽出を行って画像に対応する画像特徴を得る工程と、
少なくとも１つの候補領域と画像特徴に基づいて画像に対応する少なくとも１つの候補領域特徴を決定する工程と、を含んでよい。
選択可能に、領域に基づく全層畳み込みニューラルネットワーク（Ｒ−ＦＣＮ）仕組みにより候補領域特徴の取得を実現することができ、例えば、１つの分岐ネットワークにより候補領域を得、別の分岐ネットワークにより画像に対応する画像特徴を得、候補領域に基づいて関心領域プーリング（ＲＯＩ ｐｏｏｌｉｎｇ）により少なくとも１つの候補領域特徴を取得するようにし、選択可能に、それぞれ１つの候補領域特徴に対応する少なくとも１つの候補領域に基づいて画像特徴から対応位置の特徴を得て、少なくとも１つの候補領域に対応する少なくとも１つの候補領域特徴を構成するようにしてもよい。
選択可能に、画像に対して特徴抽出を行って画像に対応する画像特徴を得る工程は、
特徴抽出ネットワーク中の畳み込みニューラルネットワークにより画像に対して特徴抽出を行って第１の特徴を得る工程と、
特徴抽出ネットワーク中の残差ネットワークにより画像に対して差異特徴抽出を行って差異特徴を得る工程と、
第１の特徴と差異特徴に基づいて画像に対応する画像特徴を得る工程と、を含む。
選択可能に、畳み込みニューラルネットワークにより抽出された第１の特徴は画像中の共通の特徴であり、残差ネットワークにより抽出された差異特徴は小目標物体と大目標物体との差異を表することができ、第１の特徴と差異特徴により得られた画像特徴は画像中の共通特徴を表した上で小目標物体と大目標物体との差異を体現することができ、この画像特徴に基づいて類別する時の小目標物体の類別正確性を高めた。
選択可能に、第１の特徴と差異特徴に対してビットごとの加算を行って画像に対応する画像特徴を得る。
現実的なシーンにおいて、例えば、道路交通標示のサイズが一般目標より大幅に小さいため、共通の目標検出仕組みは例えば交通標記のような小目標物体の検出の問題について考慮していない。本開示の実施例は多方面から小目標物体の特徴マップの解像度を高め、更に検出性能を高めた。
本実施例は残差ネットワークにより第２の目標物体の特徴マップと第１の目標物体の特徴マップとの差異を学習して、第２の目標物体の特徴表現力を高めた。選択可能な一例では、図３は本開示の実施例で提供された多階層化目標類別方法の一例における特徴抽出ネットワークの構造模式図である。図３に示すように、畳み込みニューラルネットワークにより共通の特徴を抽出し、残差ネットワークにより第２の目標物体と第１の目標物体との差異特徴を学習し、最後に共通の特徴と差異特徴の対応位置の特徴値を加算することにより画像特徴を得、残差ネットワークにより得られた差異特徴が加えられたので、検出性能が高くなった。
選択可能に、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより画像に対して特徴抽出を行って第１の特徴を得る工程は、
畳み込みニューラルネットワークにより画像に対して特徴抽出を行う工程と、
畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する第１の特徴を決定する工程と、を含む。
畳み込みニューラルネットワークにおいて、下層特徴に多いエッジ情報と位置情報を含み、高層特徴に多いセマンティック特徴を含むことが多く、本実施例は、下層特徴と高層特徴を融合する方式を用いることで、下層特徴と高層特徴の両方も利用して下層特徴と高層特徴を融合して検出目標特徴マップの表現能力を高めることを実現し、ネットワークが深層セマンティック情報を利用することもでき、浅層セマンティック情報を十分に掘り出すこともでき、選択可能に、融合方法は特徴に対してビットごとの加算を行う等の方法を含んでよいが、それらに限定されない。
ビットごとの加算の方法を実現するには２つの特徴マップの大きさが同様であることが要求され、選択可能に、融合を実現して第１の特徴を得るプロセスは、
少なくとも２つの畳み込み層の出力した少なくとも２つの特徴マップのうちの少なくとも一方を処理して、少なくとも２つの特徴マップの大きさを同様にする工程と、
少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、画像に対応する第１の特徴を決定する工程と、を含んでよい。
選択可能に、下層特徴マップが一般的に大きいが、高層特徴マップが一般的に小さく、従って、高層特徴マップと下層特徴マップを同様な大きさにすることが必要とされる時に、下層特徴マップに対してダウンサンプリングを行うことにより小さくなった特徴マップを得ることができ、又は、高層特徴マップに対して補間を行うことにより大きくなった特徴マップを得ることができ、調整後の高層特徴マップと下層特徴マップに対してビットごとの加算を行って、第１の特徴を得る。
１つ又は複数の選択可能な実施例では、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより画像に対して特徴抽出を行って第１の特徴を得る工程の前に、
第１のサンプル画像に基づいて、弁別器を利用して特徴抽出ネットワークに対してレジスタンストレーニングを行う工程を更に含む。
ここで、第１のサンプル画像における目標物体の大きさが知られ、目標物体に第１の目標物体と第２の目標物体が含まれ、第１の目標物体の大きさと第２の目標物体の大きさが異なっており、選択可能に、第１の目標物体の大きさが第２の目標物体の大きさより大きい。
特徴抽出ネットワークにより第１の目標物体と第２の目標物体に基づいて得られたのは全部大目標特徴であり、弁別器は、特徴抽出ネットワークの出力した大目標特徴が真実の第１の目標物体に基づいて得られたものであるか、第２の目標物体と残差ネットワークの両方を基に得られたものであるかを判定するために用いられ、弁別器を利用して特徴抽出ネットワークに対してレジスタンストレーニングを行うプロセスにおいて、弁別器は、大目標特徴が真実の第１の目標物体に基づいて得られたものであるか、第２の目標物体と残差ネットワークの両方を基に得られたものであるかを精確に区別することをトレーニング目標とし、特徴抽出ネットワークは、大目標特徴が真実の第１の目標物体に基づいて得られたものであるか、第２の目標物体と残差ネットワークの両方を基に得られたものであるかを弁別器に区別不可能にすることをトレーニング目標とし、従って、本開示の実施例は弁別器により得られた鑑別結果に基づいて特徴抽出ネットワークをトレーニングすることを実現する。
選択可能に、第１のサンプル画像に基づいて、弁別器を利用して特徴抽出ネットワークに対してレジスタンストレーニングを行う工程は、
第１のサンプル画像を特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、
弁別器により第１のサンプル画像特徴に基づいて、第１のサンプル画像に第１の目標物体が含まれる真実性を示すための鑑別結果を得る工程と、
鑑別結果と知られている第１のサンプル画像における目標物体の大きさに基づいて、弁別器と特徴抽出ネットワークのパラメータを交互に調整する工程と、を含む。
選択可能に、鑑別結果は２次元ベクトルの形式で表現することができ、この２つの次元はそれぞれ第１のサンプル画像特徴が真実値と非真実値である確率に対応しており、第１のサンプル画像における目標物体の大きさが知られているので、鑑別結果と知られている目標物体の大きさに基づいて、弁別器と特徴抽出ネットワークのパラメータを交互に調整して、特徴抽出ネットワークを得る。
１つ又は複数の選択可能な実施例では、画像に対して特徴抽出を行って画像に対応する画像特徴を得る工程は、
畳み込みニューラルネットワークにより画像に対して特徴抽出を行う工程と、
畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する画像特徴を決定する工程と、を含む。
畳み込みニューラルネットワークにおいて、下層特徴に多いエッジ情報と位置情報を含み、高層特徴に多いセマンティック特徴を含むことが多く、本開示の実施例は、下層特徴と高層特徴を融合する方式を用いることで、下層特徴と高層特徴の両方も利用して下層特徴と高層特徴を融合して検出目標特徴マップの表現能力を高めることを実現し、ネットワークが深層セマンティック情報を利用することもでき、浅層セマンティック情報を十分に掘り出すこともでき、選択可能に、融合方法は特徴に対してビットごとの加算を行う等の方法を含んでよいが、それらに限定されない。
ビットごとの加算の方法を実現するには２つの特徴マップの大きさが同様であることが要求され、選択可能に、融合を実現して画像特徴を得るプロセスは、
少なくとも２つの畳み込み層の出力した少なくとも２つの特徴マップのうちの少なくとも一方を処理して、少なくとも２つの特徴マップの大きさを同様にする工程と、
少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、画像に対応する画像特徴を決定する工程と、を含んでよい。
選択可能に、下層特徴マップが一般的に大きいが、高層特徴マップが一般的に小さく、従って、高層特徴マップと下層特徴マップを同様な大きさにすることが必要とされる時に、下層特徴マップに対してダウンサンプリングを行うことにより小さくなった特徴マップを得ることができ、又は、高層特徴マップに対して補間を行うことにより大きくなった特徴マップを得ることができ、調整後の高層特徴マップと下層特徴マップに対してビットごとの加算を行って、画像特徴を得る。
選択可能に、畳み込みニューラルネットワークにより画像に対して特徴抽出を行う工程の前に、第２のサンプル画像に基づいて畳み込みニューラルネットワークをトレーニングする工程を更に含む。
ここで、第２のサンプル画像はラベル付け画像特徴を含む。
より好ましい画像特徴を得るために、第２のサンプル画像に基づいて畳み込みニューラルネットワークをトレーニングする。
選択可能に、第２のサンプル画像に基づいて畳み込みニューラルネットワークをトレーニングする工程は、
第２のサンプル画像を畳み込みニューラルネットワークに入力して予測画像特徴を得る工程と、
予測画像特徴とラベル付け画像特徴に基づいて畳み込みニューラルネットワークのパラメータを調整する工程と、を含む。
このトレーニングプロセスは、一般のニューラルネットワークのトレーニングと類似しており、逆勾配伝搬アルゴリズムに基づいてこの畳み込みニューラルネットワークをトレーニングすることができる。
１つ又は複数の選択可能な実施例では、ステップ１１０は、
ビデオから少なくとも１つのフレームの画像を得、画像に対して領域検出を実行し、少なくとも１つの目標に対応する少なくとも１つの候補領域を得る工程を含んでよい。
選択可能に、画像はビデオに基づいて得られたものであり、このビデオは車載ビデオ又は他の撮影装置により収集されたビデオであってよく、ビデオに基づいて得られた画像に対して領域検出を行うことで、目標を含む可能性がある候補領域を得ることができる。
選択可能に、画像に基づいて少なくとも１つの目標に対応する少なくとも１つの候補領域を取得する工程の前に、
ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行い、少なくとも１つのフレームの画像における目標に対応する目標キーポイントを決定する工程と、
目標キーポイントをトラッキングし、ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を更に含んでもよく、
画像に基づいて少なくとも１つの目標に対応する少なくとも１つの候補領域を取得したことの後に、
少なくとも１つのフレームの画像のキーポイント領域により少なくとも１つの候補領域を調整し、少なくとも１つの目標に対応する少なくとも１つの目標候補領域を得る工程を更に含んでもよい。
領域検出に基づいて取得された候補領域は、連続した画像の間の微細の差と閾値の選択によってはあるフレームの検出が抜けることが発生しやすく、静的目標に基づくトラッキングアルゴリズムにより、ビデオの検出効果が高められる。
本開示の実施例では、目標特徴点は例えば角点、暗い領域における輝点等の画像における比較的著しい点と簡単に理解できる。まずビデオ画像中のＯＲＢ特徴点を認識し、ＯＲＢ特徴点は特徴点の周囲の画像濃淡値に基づいて定義され、検出する時に、候補特徴点の周囲の一回りの画素値を考慮し、もし候補点周囲領域内にこの候補特徴点の濃淡値との差が所定の値に達している画素点が十分に多ければ、この候補点が１つのキー特徴点であると考えられる。例えば、本実施例により交通標示を認識し、この時に、キーポイントが交通標示キーポイントであり、この交通標示キーポイントによりビデオでの交通標示の静的トラッキングを実現することができる。
選択可能に、目標キーポイントをトラッキングしてビデオ中の各画像のキーポイント領域を得る工程は、
ビデオの連続した２つのフレームの画像における各目標キーポイント同士の距離を基礎とする工程と、
各目標キーポイント同士の距離に基づいてビデオ中の目標キーポイントのトラッキングを実現する工程と、
ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を含む。
本開示の実施例は、目標キーポイントのトラッキングを実現するために、連続した２つのフレームの画像中の同一目標キーポイントを決定する必要があり、即ち、目標キーポイントのトラッキングを実現するために同一目標キーポイントの異なるフレーム画像での位置を決定する必要があり、本開示の実施例は連続した２つのフレームの画像における各目標キーポイント同士の距離により連続した２つのフレームの画像において同一目標キーポイントであるものがどれであるかを決定してトラッキングを実現するようになっており、２つのフレームの画像における目標キーポイント同士の距離は、ハミング距離等を含んでよいが、それらに限定されない。
ハミング距離はデータ伝送誤り制御コードに用いられるものであり、ハミング距離は概念であり、（等しい文字数を持つ）２つの文字列の中で、対応する位置にある異なった文字の個数を示し、２つの文字列に対して排他的論理和演算を行って結果が１である個数を計測してこの個数がハミング距離となり、２つの画像の間のハミング距離は２つの画像の間の異なったデータビットの数である。２つのフレームの画像における各信号キーポイントの間のハミング距離に基づいて２つの画像の間の信号灯移動距離を知ることができ、即ち信号キーポイントのトラッキングが実現できる。
選択可能に、各目標キーポイント同士の距離に基づいてビデオ中の目標キーポイントのトラッキングを実現する工程は、
各目標キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの画像での同一目標キーポイントの位置を決定する工程と、
同一目標キーポイントの連続した２つのフレームの画像での位置により目標キーポイントのビデオでのトラッキングを実現する工程と、を含む。
選択可能に、前後の２つのフレームにおける画像座標系距離（例えば、ハミング距離）の小さい特徴点（目標キーポイント）記述子をＢｒｕｔｅ Ｆｏｒｃｅアルゴリズムによりマッチングし、即ち目標キーポイントペアごとにその特徴記述子の距離を計算し、距離が最も小さい目標キーポイントに基づいて前後フレーム中のＯＲＢ特徴点のマッチングを実現することにより、静的特徴点トラッキングを実現することができる。また、目標キーポイントのピクチャ座標系が候補領域内にあるので、この目標キーポイントが目標検出の静的キーポイントであると判定される。力まかせ（Ｂｒｕｔｅ Ｆｏｒｃｅ）アルゴリズムは、一般的なパターンマッチングアルゴリズムであり、Ｂｒｕｔｅ Ｆｏｒｃｅアルゴリズムの構想は、目標文字列Ｓの１番目の文字とパターン文字列Ｔの１番目の文字をマッチングし、等しければ、Ｓの２番目の文字とＴの２番目の文字を比較し続け、等しくなければ、Ｓの２番目の文字とＴの１番目の文字を比較し、最後のマッチング結果が得られるまで比較することであり、Ｂｒｕｔｅ Ｆｏｒｃｅアルゴリズムは力まかせアルゴリズムである。
選択可能に、少なくとも１つのフレームの画像のキーポイント領域により少なくとも１つの候補領域を調整し、少なくとも１つの目標に対応する少なくとも１つの目標候補領域を得る工程は、
候補領域とキーポイント領域との重なり割合が設定割合以上であることに応答して、候補領域を目標に対応する目標候補領域とする工程と、
候補領域とキーポイント領域との重なり割合が設定割合より小さいことに応答して、キーポイント領域を目標に対応する目標候補領域とする工程と、を含む。
本開示の実施例では、キーポイントのトラッキング結果により後続領域を調整するようになっており、選択可能に、キーポイント領域と候補領域がマッチングできれば、候補領域の位置を修正しなくてもよく、また、キーポイント領域と候補領域とが大体マッチングできれば、前後フレームの静的点位置のずれにより、検出結果の幅や高さが変わらないように現在フレーム検出枠（対応候補領域）の位置を計算するようにし、現在フレームに候補領域が現れなくて前のフレームに候補領域が現れ、キーポイント領域により計算したところ候補領域位置がカメラ範囲を超えていない場合に、候補領域の代わりにキーポイント領域を用いる。
本開示の上記実施例で提供された多階層化目標類別方法は応用する時に、カテゴリー数が多く且つカテゴリーに一定の類似度を有する、画像における物体の類別タスクに利用可能であり、例えば、交通標識、動物類別（まず動物を例えば、猫、犬等の異なった種類に類別し、更に例えば、ハスキー、ゴールデンレトリバー等の異なった品種に細かく類別する）、障害物類別（先に障害物を例えば、歩行者、車両等の大分類に類別し、更に例えば、大型バス、貨車、小型バス等の異なった小分類に類別する）等が挙げられ、本開示は多階層化目標類別方法を適用する具体的な分野を限定するものではない。
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピューター読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
図４は本開示の実施例で提供された多階層化目標類別装置の構造模式図である。この実施例の装置は、本開示の上記の各方法の実施例を実現するために利用可能である。図４に示すように、この実施例の装置は、以下を含む。
候補領域取得ユニット４１は、画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得するために用いられる。
ここで、画像にそれぞれ１つの候補領域特徴に対応する少なくとも１つの目標が含まれており、画像に複数の目標を含む時に、複数の目標のそれぞれを類別するために、各目標を区別する必要がある。
確率ベクトルユニット４２は、少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ少なくとも２つの大分類をそれぞれ類別し、大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るために用いられる。
目標類別ユニット４３は、第１の確率ベクトルと第２の確率ベクトルに基づいて、目標が小分類に属する類別確率を決定するために用いられる。
目標を精確に類別するために、大分類の類別結果を得るだけで不十分であり、大分類の類別結果を得るだけで現在目標がどの大分類に属するかしか決定できなく、それぞれの大分類に少なくとも２つの小分類を更に含むため、目標を所属する大分類において類別し続けて所属する小分類を得る必要がある。
本開示の上記実施例で提供された多階層化目標類別装置によれば、第１の確率ベクトルと第２の確率ベクトルにより目標が小分類に属する類別確率を決定するようになっており、画像における小目標の類別正確率が高められる。
１つ又は複数の選択可能な実施例では、確率ベクトルユニット４２は、
少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得るための第１の確率モジュールと、
少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの大分類を類別し、大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための第２の確率モジュールと、を含んでよい。
選択可能に、それぞれの大分類カテゴリーが１つの第２の分類器に対応しており、
第２の確率モジュールは、第１の確率ベクトルに基づいて候補領域特徴に対応する大分類カテゴリーを決定する工程と、大分類に対応する第２の分類器に基づいて候補領域特徴を類別し、候補領域特徴が少なくとも２つの小分類に対応する第２の確率ベクトルを得る工程と、に用いられる。
選択可能に、確率ベクトルユニットは、更に、候補領域特徴を畳み込みニューラルネットワークにより処理し、処理後の候補領域特徴を大分類に対応する第２の分類器に入力するために用いられる。
１つ又は複数の選択可能な実施例では、目標類別ユニット４３は、第１の確率ベクトルに基づいて、目標が大分類に属する第１の類別確率を決定する工程と、第２の確率ベクトルに基づいて目標が小分類に属する第２の類別確率を決定する工程と、第１の類別確率と第２の類別確率を組み合わせて、目標が大分類中の小分類に属する類別確率を決定する工程と、に用いられる。
１つ又は複数の選択可能な実施例では、本実施例の装置は、サンプル候補領域特徴に基づいて類別ネットワークをトレーニングするためのネットワークトレーニングユニットを更に含んでもよい。
ここで、類別ネットワークは１つの第１の分類器と数量が第１の分類器の大分類カテゴリーと等しい少なくとも２つの第２の分類器とを含み、サンプル候補領域特徴はラベル付け小分類カテゴリーを備えているか、又はラベル付け小分類カテゴリーとラベル付け大分類カテゴリーを備えている。
選択可能に、サンプル候補領域特徴がラベル付け小分類カテゴリーを備えていることに応答して、ラベル付け小分類カテゴリーをクラスタ化することでサンプル候補領域特徴に対応するラベル付け大分類カテゴリーを決定する。
選択可能に、ネットワークトレーニングユニットは、サンプル候補領域特徴を第１の分類器に入力し、予測大分類カテゴリーを得る工程と、予測大分類カテゴリーとラベル付け大分類カテゴリーに基づいて第１の分類器のパラメータを調整する工程と、サンプル候補領域特徴のラベル付け大分類カテゴリーに基づいて、サンプル候補領域特徴をラベル付け大分類カテゴリーに対応する第２の分類器に入力し、予測小分類カテゴリーを得る工程と、予測小分類カテゴリーとラベル付け小分類カテゴリーに基づいて第２の分類器のパラメータを調整する工程と、に用いられる。
１つ又は複数の選択可能な実施例では、候補領域取得ユニット４１は、
画像に基づいて少なくとも１つの目標に対応する少なくとも１つの候補領域を取得するための候補領域モジュールと、
画像に対して特徴抽出を行って画像に対応する画像特徴を得るための特徴抽出モジュールと、
少なくとも１つの候補領域と画像特徴に基づいて画像に対応する少なくとも１つの候補領域特徴を決定するための領域特徴モジュールと、を含んでよい。
選択可能に、候補領域モジュールは、それぞれ１つの候補領域特徴に対応する少なくとも１つの候補領域に基づいて画像特徴から対応位置の特徴を得て、少なくとも１つの候補領域に対応する少なくとも１つの候補領域特徴を構成するために用いられる。
選択可能に、特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより画像に対して特徴抽出を行って第１の特徴を得る工程と、特徴抽出ネットワーク中の残差ネットワークにより画像に対して差異特徴抽出を行って差異特徴を得る工程と、第１の特徴と差異特徴に基づいて画像に対応する画像特徴を得る工程と、に用いられる。
選択可能に、特徴抽出モジュールは、第１の特徴と差異特徴に基づいて画像に対応する画像特徴を得る時に、第１の特徴と差異特徴に対してビットごとの加算を行って画像に対応する画像特徴を得るために用いられる。
選択可能に、特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより画像に対して特徴抽出を行って第１の特徴を得る時に、畳み込みニューラルネットワークにより画像に対して特徴抽出を行う工程と、畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する第１の特徴を決定する工程と、に用いられる。
選択可能に、特徴抽出モジュールは、畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する第１の特徴を決定する時に、少なくとも２つの畳み込み層の出力した少なくとも２つの特徴マップのうちの少なくとも一方を処理して、少なくとも２つの特徴マップの大きさを同様にする工程と、少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、画像に対応する第１の特徴を決定する工程と、に用いられる。
選択可能に、特徴抽出モジュールは、更に、第１のサンプル画像に基づいて、弁別器を利用して特徴抽出ネットワークに対してレジスタンストレーニングを行うために用いられ、第１のサンプル画像における目標物体の大きさが知られ、目標物体に第１の目標物体と第２の目標物体が含まれ、第１の目標物体の大きさと第２の目標物体の大きさが異なっている。
選択可能に、特徴抽出モジュールは、第１のサンプル画像に基づいて、弁別器を利用して特徴抽出ネットワークに対してレジスタンストレーニングを行う時に、第１のサンプル画像を特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、弁別器により第１のサンプル画像特徴に基づいて、第１のサンプル画像に第１の目標物体が含まれる真実性を示すための鑑別結果を得る工程と、鑑別結果と知られている第１のサンプル画像における目標物体の大きさに基づいて、弁別器と特徴抽出ネットワークのパラメータを交互に調整する工程と、に用いられる。
選択可能に、特徴抽出モジュールは、畳み込みニューラルネットワークにより画像に対して特徴抽出を行う工程と、畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する画像特徴を決定する工程と、に用いられる。
選択可能に、特徴抽出モジュールは、畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する画像特徴を決定する時に、少なくとも２つの畳み込み層の出力した少なくとも２つの特徴マップのうちの少なくとも一方を処理して、少なくとも２つの特徴マップの大きさを同様にする工程と、少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、画像に対応する画像特徴を決定する工程と、に用いられる。
選択可能に、特徴抽出モジュールは、更に、ラベル付け画像特徴を備えた第２のサンプル画像に基づいて畳み込みニューラルネットワークをトレーニングするために用いられる。
選択可能に、特徴抽出モジュールは、第２のサンプル画像に基づいて畳み込みニューラルネットワークをトレーニングする時に、第２のサンプル画像を畳み込みニューラルネットワークに入力して予測画像特徴を得る工程と、予測画像特徴とラベル付け画像特徴に基づいて畳み込みニューラルネットワークのパラメータを調整する工程と、に用いられる。
選択可能に、候補領域モジュールは、ビデオから少なくとも１つのフレームの画像を得、画像に対して領域検出を実行し、少なくとも１つの目標に対応する少なくとも１つの候補領域を得るために用いられる。
選択可能に、候補領域取得ユニットは、
ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行い、少なくとも１つのフレームの画像における目標に対応する目標キーポイントを決定するためのキーポイントモジュールと、
目標キーポイントをトラッキングし、ビデオの少なくとも１つのフレームの画像のキーポイント領域を得るためのキーポイントトラッキングモジュールと、
少なくとも１つのフレームの画像のキーポイント領域により少なくとも１つの候補領域を調整し、少なくとも１つの目標に対応する少なくとも１つの目標候補領域を得るための領域調整モジュールと、を更に含む。
選択可能に、キーポイントトラッキングモジュールは、ビデオの連続した２つのフレームの画像における各目標キーポイント同士の距離を基礎とする工程と、各目標キーポイント同士の距離に基づいてビデオ中の目標キーポイントのトラッキングを実現する工程と、ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、に用いられる。
選択可能に、キーポイントトラッキングモジュールは、各目標キーポイント同士の距離に基づいてビデオ中の目標キーポイントのトラッキングを実現する時に、各目標キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの画像での同一目標キーポイントの位置を決定する工程と、同一目標キーポイントの連続した２つのフレームの画像での位置により目標キーポイントのビデオでのトラッキングを実現する工程と、に用いられる。
選択可能に、領域調整モジュールは、候補領域とキーポイント領域との重なり割合が設定割合以上であることに応答して、候補領域を目標に対応する目標候補領域とする工程と、候補領域とキーポイント領域との重なり割合が設定割合より小さいことに応答して、キーポイント領域を目標に対応する目標候補領域とする工程と、に用いられる。
本開示の実施例で提供された多階層化目標類別装置のいずれか１つの実施例の動作プロセス、設置方式及び対応の技術効果については、全て本開示の上記の対応の方法の実施例についての具体的な説明を参照してよく、紙数に限りがあるので、ここで詳しい説明を省略する。
図５は本開示の実施例で提供された交通標識検出方法のフローチャートである。図５に示すように、この実施例の方法は、以下のステップを含む。
ステップ５１０において、交通標識を含む画像を収集する。
選択可能に、本開示の実施例で提供された交通標識検出方法は、インテリジェントドライブに利用可能であり、即ち車両に設置された画像収集装置により交通標識を含む画像を収集し、収集された画像を検出することに基づいて、交通標識の類別検出を実現して、インテリジェントドライブに基礎を提供することができる。
選択可能な一例では、このステップＳ５１０はプロセッサーによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサーにより作動する画像収集ユニット７１によって実行されてもよい。
ステップ５２０において、交通標識を含む画像における少なくとも１つの交通標識に対応する少なくとも１つの候補領域特徴を取得する。
ここで、それぞれの交通標識が１つの候補領域特徴に対応しており、画像に複数の交通標識を含む時に、それぞれの交通標識を類別するために、各交通標識をそれぞれ区別することが必要とされる。
選択可能に、目標を含む可能性がある候補領域を得て、裁断して少なくとも１つの候補領域を得、候補領域に基づいて候補領域特徴を取得するようにし、又は、画像に対して特徴抽出を行って画像特徴を得、画像から候補領域を抽出し、候補領域を画像特徴にマッピングすることにより、候補領域特徴を取得するようにし、本開示の実施例は候補領域特徴を取得する具体的な方法を限定するものではない。
選択可能な一例では、このステップＳ５２０はプロセッサーによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサーにより作動する交通標識領域ユニット７２によって実行されてもよい。
ステップ５３０において、少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ少なくとも２つの交通標識大分類をそれぞれ類別し、交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る。
それぞれ候補領域特徴に基づいて類別して、この候補領域特徴が交通標識大分類に対応する第１の確率ベクトルが得られ、それぞれの交通標識大分類には少なくとも２つの交通標識小分類を含み、候補領域特徴に基づいて交通標識小分類を類別して、交通標識小分類に対応する第２の確率ベクトルが得られ、交通標識大分類は警告標識、禁令標識、指示標識、道路案内標識、観光地標識及び道路施工安全標識を含んでよいが、それらに限定されなく、また、それぞれの交通標識大分類には複数の交通標識小分類を含む。
選択可能な一例では、このステップＳ５３０はプロセッサーによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサーにより作動する交通確率ベクトルユニット７３によって実行されてもよい。
ステップ５４０において、第１の確率ベクトルと第２の確率ベクトルに基づいて、交通標識が交通標識小分類に属する類別確率を決定する。
交通標識を精確に類別するために、交通標識大分類の類別を得るだけで不十分であり、交通標識大分類の類別結果を得るだけで現在目標がどの通標識大分類に属するかしか決定できなく、それぞれの交通標識大分類に少なくとも２つの交通標識小分類を更に含むため、交通標識を所属する交通標識大分類において類別し続けて所属する交通標識小分類を得る必要がある。
選択可能な一例では、このステップＳ５４０はプロセッサーによりメモリに記憶された対応のコマンドを呼び出して実行されてもよく、プロセッサーにより作動する交通標識類別ユニット７４によって実行されてもよい。
本開示の上記実施例で提供された交通標識検出方法によれば、画像における交通標識の類別正確率が高められる。
１つ又は複数の選択可能な実施例では、ステップ５３０は、
少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得る工程と、
少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの交通標識大分類を類別し、交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、を含んでよい。
選択可能に、交通標識は種類が多く、且つカテゴリー同士が類似的であるため、既存の検出仕組みはこのように多い種類の同時検出と類別が不可能であり、本実施例は多階層化分類器により交通標識を類別し、好ましい類別結果を達成しており、ここで、第１の分類器と第２の分類器としては既存の類別を実現可能なニューラルネットワークを用いてよく、ここで、第２の分類器は第１の分類器中のそれぞれの交通標識大分類の類別を実現し、第２の分類器により多くて類似的な交通標識の類別の正確率を高めることができる。
選択可能に、それぞれの交通標識大分類カテゴリーが１つの第２の分類器に対応しており、
少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの交通標識大分類を類別し、交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程は、
第１の確率ベクトルに基づいて、候補領域特徴に対応する交通標識大分類カテゴリーを決定する工程と、
交通標識大分類に対応する第２の分類器に基づいて候補領域特徴を類別して、候補領域特徴が少なくとも２つの交通標識小分類に対応する第２の確率ベクトルを得る工程と、を含む。
本実施例では、それぞれの交通標識大分類カテゴリーがそれぞれ１つの第２の分類器に対応しており、１つの候補領域がある交通標識大分類カテゴリーに属すると決定した後、どの第２の分類器に基づいてそれを細かく類別するかを決定することができるようになり、交通標識類別の難度が低減され、また、この候補領域を全ての第２の分類器に入力し、全ての第２の分類器に基づいて複数の第２の確率ベクトルを得るようにしてもよく、交通標識の類別カテゴリーは第１の確率ベクトルと第２の確率ベクトルの両方を基に決定されるものであり、第１の確率ベクトル中の小さい確率値に対応する第２の確率ベクトルの類別結果が小さくなり、第１の確率ベクトル中の大きい確率値（交通標識に対応する交通標識大分類カテゴリー）に対応する第２の確率ベクトルの類別結果が他の第２の確率ベクトルの類別結果と比べて明らかな優位性を有しているので、交通標識の交通標識小分類カテゴリーを速やかに決定することができる。
選択可能に、交通標識大分類に対応する第２の分類器に基づいて候補領域特徴を類別して、候補領域特徴が少なくとも２つの交通標識小分類に対応する第２の確率ベクトルを得ることの前に、
候補領域特徴を畳み込みニューラルネットワークにより処理し、処理後の候補領域特徴を交通標識大分類に対応する第２の分類器に入力する工程を更に含む。
交通標識大分類はＮ個の大分類を含む時に、得られた候補領域の交通標識を用いてＮ個の大分類で類別し、交通標識大分類カテゴリーが少なく且つカテゴリー同士の差異が大きいので、類別が容易であり、次に、それぞれの交通標識小分類に対して、畳み込みニューラルネットワークを用いて更に類別特徴を掘り出し、それぞれの交通標識大分類下の交通標識小分類を細かく類別し、この時に、第２の分類器が異なる交通標識大分類に対して異なる特徴を掘り出したので、交通標識小分類の類別正確率を高めることができ、畳み込みニューラルネットワークにより後続領域特徴を処理することで、より多い類別特徴を掘り出して交通標識小分類の類別結果をより精確にすることができる。
１つ又は複数の選択可能な実施例では、ステップ５４０には、
第１の確率ベクトルに基づいて、目標が交通標識大分類に属する第１の類別確率を決定する工程と、
第２の確率ベクトルに基づいて、目標が交通標識小分類に属する第２の類別確率を決定する工程と、
第１の類別確率と第２の類別確率を組み合わせて、交通標識が交通標識大分類中の交通標識小分類に属する類別確率を決定する工程と、を含んでよい。
選択可能に、第１の類別確率と第２の類別確率の積に基づいて交通標識が交通標識大分類中の交通標識小分類に属する類別確率を決定する。
１つ又は複数の選択可能な実施例では、ステップ５３０を実行する工程の前に、
サンプル候補領域特徴に基づいて交通類別ネットワークをトレーニングする工程を更に含んでもよい。
選択可能に、交通類別ネットワークは、例えば類別機能を実現するための畳み込みニューラルネットワーク等の任意の構造を有する深層ニューラルネットワークであってよく、例えば、交通類別ネットワークは１つの第１の分類器と数量が第１の分類器の交通標識大分類カテゴリーと等しい少なくとも２つの第２の分類器とを含み、サンプル候補領域特徴はラベル付け交通標識小分類カテゴリーを備えているか、又はラベル付け交通標識小分類カテゴリーとラベル付け交通標識大分類カテゴリーを備えている。
選択可能に、交通類別ネットワークの構造については図２を参照してよく、トレーニングすることにより、得られた交通類別ネットワークは大分類と小分類の類別をより好ましく行うことができ、サンプル候補領域特徴は交通標識小分類カテゴリーのみをラベル付けてよく、この時に、交通類別ネットワークのトレーニングを実現するために、選択可能に、サンプル候補領域特徴がラベル付け交通標識小分類カテゴリーを備えていることに応答して、ラベル付け交通標識小分類カテゴリーをクラスタ化することでサンプル候補領域特徴に対応するラベル付け交通標識大分類カテゴリーを決定する。サンプル候補領域特徴をクラスタ化することによりラベル付け交通標識大分類カテゴリーを得ることができ、選択可能なクラスタ化方法については上記多階層化目標類別方法の実施例を参照してよく、本実施例で説明は割愛する。本実施例は、手動でラベル付ける動作を減少し、ラベル付け正確率とトレーニング効率を高めた。
選択可能に、サンプル候補領域特徴に基づいて交通類別ネットワークをトレーニングする工程は、
サンプル候補領域特徴を第１の分類器に入力して予測交通標識大分類カテゴリーを得る工程と、予測交通標識大分類カテゴリーとラベル付け交通標識大分類カテゴリーに基づいて第１の分類器のパラメータを調整する工程と、
サンプル候補領域特徴のラベル付け交通標識大分類カテゴリーに基づいて、サンプル候補領域特徴をラベル付け交通標識大分類カテゴリーに対応する第２の分類器に入力して、予測交通標識小分類カテゴリーを得る工程と、予測交通標識小分類カテゴリーとラベル付け交通標識小分類カテゴリーに基づいて第２の分類器のパラメータを調整する工程と、を含む。
第１の分類器と少なくとも２つの第２の分類器をそれぞれトレーニングして、得られた交通類別ネットワークにより交通標識を粗く類別すると同時に、細かい類別を実現し、第１の類別確率と第２の類別確率の積に基づいて、この交通標識の精確な小分類類別確率が決定可能になる。
１つ又は複数の選択可能な実施例では、ステップ５２０には、
交通標識を含む画像に基づいて少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得する工程と、
画像に対して特徴抽出を行って画像に対応する画像特徴を得る工程と、
少なくとも１つの候補領域と画像特徴に基づいて交通標識を含む画像に対応する少なくとも１つの候補領域特徴を決定する工程と、を含んでよい。
選択可能に、領域に基づく全層畳み込みニューラルネットワーク（Ｒ−ＦＣＮ）仕組みにより候補領域特徴の取得を実現してよい。
選択可能に、画像に対して特徴抽出を行って画像に対応する画像特徴を得る工程は、
特徴抽出ネットワーク中の畳み込みニューラルネットワークにより画像に対して特徴抽出を行って第１の特徴を得る工程と、
特徴抽出ネットワーク中の残差ネットワークにより画像に対して差異特徴抽出を行って差異特徴を得る工程と、
第１の特徴と前記差異特徴に基づいて画像に対応する画像特徴を得る工程と、を含む。
選択可能に、第１の特徴と差異特徴により得られた画像特徴は画像中の共通特徴を表した上で小目標物体と大目標物体との差異を体現することができ、この画像特徴に基づいて類別する時の小目標物体（本実施例では交通標識を指す）の類別正確性を高めた。
選択可能に、第１の特徴と差異特徴に基づいて画像に対応する画像特徴を得る工程は、
第１の特徴と差異特徴に対してビットごとの加算を行って画像に対応する画像特徴を得る工程を含む。
選択可能に、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより画像に対して特徴抽出を行って第１の特徴を得る工程は、
畳み込みニューラルネットワークにより画像に対して特徴抽出を行う工程と、
畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する第１の特徴を決定する工程と、を含む。
本実施例の実現プロセス及び有益な効果については上記多階層化目標類別方法の実施例を参照してよく、本実施例で説明は割愛する。
ビットごとの加算の方法を実現するには２つの特徴マップの大きさが同様であることが要求され、選択可能に、融合を実現して第１の特徴を得るプロセスは、
少なくとも２つの畳み込み層の出力した少なくとも２つの特徴マップのうちの少なくとも一方を処理して、少なくとも２つの特徴マップの大きさを同様にする工程と、
少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、画像に対応する前記第１の特徴を決定する工程と、を含んでよい。
選択可能に、下層特徴マップが一般的に大きいが、高層特徴マップが一般的に小さく、本実施例は下層特徴マップ又は高層特徴マップの大きさを調整し、調整後の高層特徴マップと下層特徴マップに対してビットごとの加算を行うことで第１の特徴を得ることができる。
１つ又は複数の選択可能な実施例では、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより画像に対して特徴抽出を行って第１の特徴を得る工程の前に、
第１のサンプル画像に基づいて、弁別器を利用して特徴抽出ネットワークに対してレジスタンストレーニングを行う工程を更に含む。
ここで、第１のサンプル画像における交通標識の大きさが知られ、交通標識に第１の交通標識と第２の交通標識が含まれ、第１の交通標識の大きさと第２の交通標識の大きさとが異なっており、選択可能に、第１の交通標識の大きさが第２の交通標識の大きさより大きい。
本実施例で提供されたレジスタンストレーニングのプロセス及び有益な効果については多階層化目標類別方法の対応の実施例を参照してよく、本実施例で説明は割愛する。
選択可能に、第１のサンプル画像に基づいて、弁別器を利用して特徴抽出ネットワークに対してレジスタンストレーニングを行う工程は、
第１のサンプル画像を特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、
弁別器により第１のサンプル画像特徴に基づいて、第１のサンプル画像に第１の交通標識が含まれる真実性を示すための鑑別結果を得る工程と、
鑑別結果と知られている第１のサンプル画像における交通標識の大きさに基づいて、弁別器と特徴抽出ネットワークのパラメータを交互に調整する工程と、を含む。
選択可能に、鑑別結果は２次元ベクトルの形式で表現することができ、この２つの次元はそれぞれ第１のサンプル画像特徴が真実値と非真実値である確率に対応しており、第１のサンプル画像における交通標識の大きさが知られているので、鑑別結果と知られている交通標識の大きさに基づいて、弁別器と特徴抽出ネットワークのパラメータを交互に調整して、特徴抽出ネットワークを得る。
１つ又は複数の選択可能な実施例では、画像に対して特徴抽出を行って画像に対応する画像特徴を得る工程は、
畳み込みニューラルネットワークにより画像に対して特徴抽出を行う工程と、
畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する画像特徴を決定する工程と、を含む。
本開示の実施例は、下層特徴と高層特徴を融合する方式を用いることで、下層特徴と高層特徴の両方も利用して、下層特徴と高層特徴を融合して検出目標特徴マップの表現能力を高めることを実現し、ネットワークが深層セマンティック情報を利用することもでき、浅層セマンティック情報を十分に掘り出すこともでき、選択可能に、融合方法は特徴に対してビットごとの加算を行う等の方法を含んでよいが、それらに限定されない。
選択可能に、畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する画像特徴を決定する工程は、
少なくとも２つの畳み込み層の出力した少なくとも２つの特徴マップのうちの少なくとも一方を処理して、少なくとも２つの特徴マップの大きさを同様にする工程と、
少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、画像に対応する画像特徴を決定する工程と、を含む。
選択可能に、本実施例は下層特徴マップ又は高層特徴マップの大きさを調整し、調整後の高層特徴マップと下層特徴マップに対してビットごとの加算を行うことにより、画像特徴を得ることができる。
選択可能に、畳み込みニューラルネットワークにより画像に対して特徴抽出を行う工程の前に、
第２のサンプル画像に基づいて畳み込みニューラルネットワークをトレーニングする工程を更に含む。
ここで、第２のサンプル画像はラベル付け画像特徴を備えている。
より好ましい画像特徴を得るために、第２のサンプル画像に基づいて畳み込みニューラルネットワークをトレーニングする。
選択可能に、第２のサンプル画像に基づいて畳み込みニューラルネットワークをトレーニングする工程は、
第２のサンプル画像を畳み込みニューラルネットワークに入力して予測画像特徴を得る工程と、
予測画像特徴とラベル付け画像特徴に基づいて畳み込みニューラルネットワークのパラメータを調整する工程と、を含む。
このトレーニングプロセスは、一般のニューラルネットワークのトレーニングと類似しており、逆勾配伝搬アルゴリズムに基づいてこの畳み込みニューラルネットワークをトレーニングすることができる。
１つ又は複数の選択可能な実施例では、ステップ５２０には、
ビデオから少なくとも１つのフレームの交通標識を含む画像を得、画像に対して領域検出を実行し、少なくとも１つの交通標識に対応する少なくとも１つの候補領域を得る工程を含んでよい。
選択可能に、画像はビデオに基づいて得られたものであり、このビデオは車載ビデオ又は車両に設置された他の撮影装置により収集されたビデオであってよく、ビデオに基づいて得られた画像に対して領域検出を行うことで、交通標識を含む可能性がある候補領域を得ることができる。
選択可能に、交通標識を含む画像に基づいて少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得する工程の前に、
ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行い、少なくとも１つのフレームの画像における交通標識に対応する交通標識キーポイントを決定する工程と、
交通標識キーポイントをトラッキングし、ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を更に含み、
画像に基づいて少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得したことの後に、
少なくとも１つのフレームの画像のキーポイント領域により少なくとも１つの候補領域を調整して、少なくとも１つの交通標識に対応する少なくとも１つの交通標識候補領域を得る工程と、を更に含む。
領域検出に基づいて取得された候補領域は、連続した画像の間の微細の差と閾値の選択によってはあるフレームの検出が抜けることが発生しやすく、静的目標に基づくトラッキングアルゴリズムにより、ビデオの検出効果が高められる。
本開示の実施例では、目標特徴点は例えば角点、暗い領域における輝点等の画像における比較的著しい点と簡単に理解できる。
選択可能に、交通標識キーポイントをトラッキングし、ビデオ中の各画像のキーポイント領域を得る工程は、
ビデオの連続した２つのフレームの画像における各交通標識キーポイント同士の距離を基礎とする工程と、
各交通標識キーポイント同士の距離に基づいてビデオ中の交通標識キーポイントのトラッキングを実現する工程と、
ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を含む。
本開示の実施例は、目標キーポイントのトラッキングを実現するために、連続した２つのフレームの画像中の同一目標キーポイントを決定することが必要とされ、選択可能に、交通標識キーポイントのトラッキングについては上記多階層化目標類別方法の対応の実施例を参照してよく、本実施例で説明は割愛する。
選択可能に、各交通標識キーポイント同士の距離に基づいてビデオ中の交通標識キーポイントのトラッキングを実現する工程は、
各交通標識キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの画像での同一交通標識キーポイントの位置を決定する工程と、
同一交通標識キーポイントの連続した２つのフレームの画像での位置により交通標識キーポイントのビデオでのトラッキングを実現する工程と、を含む。
選択可能に、本実施例で提供された交通標識キーポイントのトラッキングプロセスについては上記多階層化目標類別方法の対応の実施例を参照してよく、本実施例で説明は割愛する。
選択可能に、少なくとも１つのフレームの画像のキーポイント領域により少なくとも１つの候補領域を調整して、少なくとも１つの交通標識に対応する少なくとも１つの交通標識候補領域を得る工程は、
候補領域とキーポイント領域との重なり割合が設定割合以上であることに応答して、候補領域を交通標識に対応する交通標識候補領域とする工程と、
候補領域とキーポイント領域との重なり割合が設定割合より小さいことに応答して、キーポイント領域を交通標識に対応する交通標識候補領域とする工程と、を含む。
本開示の実施例では、キーポイントトラッキングの結果により後続領域を調整することができ、選択可能に、本実施例で提供された交通標識候補領域の調整については上記多階層化目標類別方法の対応の実施例を参照してよく、本実施例で説明は割愛する。
図６ａは本開示の実施例で提供された交通標識検出方法の選択可能な一例における交通標識大分類を示す模式図である。図６ａに示すように、図に複数の交通標識を含み、それぞれの交通標識が異なる交通標識小分類に属するが、全ての交通標識都が指示標識（交通標識大分類の１種）に属し、例えば、ここで、ｉ１０に示す交通標識は右折を指示し、ｉ１２に示す交通標識は左折を指示し、ｉ１３に示す交通標識は直進を指示し、交通標識大分類は警告標識、禁令標識、指示標識、道路案内標識、観光地標識及び道路施工安全標識を含んでよいが、それらに限定されない。図６ｂは本開示の実施例で提供された交通標識検出方法の選択可能な一例における別の交通標識大分類を示す模式図である。図６ｂに示すように、図に複数の交通標識を含み、それぞれの交通標識が異なる交通標識小分類に属するが、全ての交通標識が禁令標識（交通標識大分類の１種）に属し、例えば、ｐ９に示す交通標識は歩行者通行禁止を指示し、ｐ１９に示す交通標識は右折禁止を指示する。図６ｃは本開示の実施例で提供された交通標識検出方法の選択可能な一例におけるまた１つの交通標識大分類を示す模式図である。図６ｃに示すように、図に複数の交通標識を含み、それぞれの交通標識が異なる交通標識小分類に属するが、全ての交通標識都が警告標識（交通標識大分類の１種）に属し、例えば、ｗ２０に示す交通標識はＴ型交差点を指示し、ｗ４７に示す交通標識は前方道路区間の右側が狭くなっていることを指示する。
当業者であれば、上記方法の実施例を実現する全てまたは一部のステップはプログラムによって関連ハードウェアに命令を出すことにより完成できることを理解でき、前記プログラムは、ＲＯＭ、ＲＡＭ、磁気ディスクまたは光ディスクなどのプログラムコードを記憶可能である様々な媒体を含むコンピューター読み取り可能記憶媒体に記憶可能であり、該プログラムは実行される時に、上記方法の実施例を含むステップを実行する。
図７は本開示の実施例で提供された交通標識検出装置の構造模式図である。この実施例の装置は、本開示の上記の各交通標識検出方法の実施例を実現するために利用可能である。図７に示すように、この実施例の装置は、以下を含む。
画像収集ユニット７１は、交通標識を含む画像を収集するために用いられる。
交通標識領域ユニット７２は、それぞれ１つの候補領域特徴に対応する交通標識を含む画像における少なくとも１つの交通標識に対応する少なくとも１つの候補領域特徴を取得するために用いられる。
交通確率ベクトルユニット７３は、少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ少なくとも２つの交通標識大分類をそれぞれ類別し、交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るために用いられる。
交通標識類別ユニット７４は、第１の確率ベクトルと第２の確率ベクトルに基づいて、交通標識が交通標識小分類に属する類別確率を決定するために用いられる。
本開示の上記実施例で提供された交通標識検出装置によれば、画像における交通標識の類別正確率が高められる。
１つ又は複数の選択可能な実施例では、交通確率ベクトルユニット７３は、
少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得るための第１の確率モジュールと、
少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの交通標識大分類を類別し、交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための第２の確率モジュールと、を含む。
選択可能に、それぞれの交通標識大分類カテゴリーが１つの第２の分類器に対応しており、
第２の確率モジュールは、第１の確率ベクトルに基づいて、候補領域特徴に対応する交通標識大分類カテゴリーを決定する工程と、交通標識大分類に対応する第２の分類器に基づいて候補領域特徴を類別して、候補領域特徴が少なくとも２つの交通標識小分類に対応する第２の確率ベクトルを得る工程と、に用いられる。
選択可能に、交通確率ベクトルユニット７３は、更に、候補領域特徴を畳み込みニューラルネットワークにより処理し、処理後の候補領域特徴を交通標識大分類に対応する第２の分類器に入力するために用いられる。
１つ又は複数の選択可能な実施例では、交通標識類別ユニット７４は、第１の確率ベクトルに基づいて、目標が交通標識大分類に属する第１の類別確率を決定する工程と、第２の確率ベクトルに基づいて、目標が交通標識小分類に属する第２の類別確率を決定する工程と、第１の類別確率と第２の類別確率を組み合わせて、交通標識が交通標識大分類中の交通標識小分類に属する類別確率を決定する工程と、に用いられる。
１つ又は複数の選択可能な実施例では、本実施例の装置は、
サンプル候補領域特徴に基づいて交通類別ネットワークをトレーニングするための交通ネットワークトレーニングユニットを更に含んでもよい。
交通類別ネットワークは１つの第１の分類器と数量が第１の分類器の交通標識大分類カテゴリーと等しい少なくとも２つの第２の分類器とを含み、サンプル候補領域特徴はラベル付け交通標識小分類カテゴリーを備えているか、又はラベル付け交通標識小分類カテゴリーとラベル付け交通標識大分類カテゴリーを備えている。
選択可能に、サンプル候補領域特徴がラベル付け交通標識小分類カテゴリーを備えていることに応答して、ラベル付け交通標識小分類カテゴリーをクラスタ化することでサンプル候補領域特徴に対応するラベル付け交通標識大分類カテゴリーを決定する。
選択可能に、交通ネットワークトレーニングユニットは、サンプル候補領域特徴を第１の分類器に入力して予測交通標識大分類カテゴリーを得る工程と、予測交通標識大分類カテゴリーとラベル付け交通標識大分類カテゴリーに基づいて第１の分類器のパラメータを調整する工程と、サンプル候補領域特徴のラベル付け交通標識大分類カテゴリーに基づいて、サンプル候補領域特徴をラベル付け交通標識大分類カテゴリーに対応する第２の分類器に入力して、予測交通標識小分類カテゴリーを得る工程と、予測交通標識小分類カテゴリーとラベル付け交通標識小分類カテゴリーに基づいて第２の分類器のパラメータを調整する工程と、に用いられる。
１つ又は複数の選択可能な実施例では、交通標識領域ユニット７２は、
交通標識を含む画像に基づいて少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得するための標識候補領域モジュールと、
画像に対して特徴抽出を行って画像に対応する画像特徴を得るための画像特徴抽出モジュールと、
少なくとも１つの候補領域と画像特徴に基づいて交通標識を含む画像に対応する少なくとも１つの候補領域特徴を決定するためのラベル付け領域特徴モジュールと、を含む。
選択可能に、標識候補領域モジュールは、それぞれ１つの候補領域特徴に対応する少なくとも１つの候補領域に基づいて画像特徴から対応位置の特徴を得て、少なくとも１つの候補領域に対応する少なくとも１つの候補領域特徴を構成するために用いられる。
選択可能に、画像特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより画像に対して特徴抽出を行って第１の特徴を得る工程と、特徴抽出ネットワーク中の残差ネットワークにより画像に対して差異特徴抽出を行って差異特徴を得る工程と、第１の特徴と差異特徴に基づいて画像に対応する画像特徴を得る工程と、に用いられる。
選択可能に、画像特徴抽出モジュールは、第１の特徴と差異特徴に基づいて画像に対応する画像特徴を得る時に、第１の特徴と差異特徴に対してビットごとの加算を行って画像に対応する画像特徴を得るために用いられる。
選択可能に、画像特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより画像に対して特徴抽出を行って第１の特徴を得る時に、畳み込みニューラルネットワークにより画像に対して特徴抽出を行う工程と、畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する第１の特徴を決定する工程と、に用いられる。
選択可能に、画像特徴抽出モジュールは、畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する第１の特徴を決定する時に、少なくとも２つの畳み込み層の出力した少なくとも２つの特徴マップのうちの少なくとも一方を処理して、少なくとも２つの特徴マップの大きさを同様にする工程と、少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、画像に対応する第１の特徴を決定する工程と、に用いられる。
選択可能に、画像特徴抽出モジュールは、更に、第１のサンプル画像に基づいて、弁別器を利用して特徴抽出ネットワークに対してレジスタンストレーニングを行うために用いられ、第１のサンプル画像における交通標識の大きさが知られ、交通標識に第１の交通標識と第２の交通標識が含まれ、第１の交通標識の大きさと第２の交通標識の大きさとが異なっている。
選択可能に、画像特徴抽出モジュールは、第１のサンプル画像に基づいて、弁別器を利用して特徴抽出ネットワークに対してレジスタンストレーニングを行う時に、第１のサンプル画像を特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、弁別器により第１のサンプル画像特徴に基づいて、第１のサンプル画像に第１の交通標識が含まれる真実性を示すための鑑別結果を得る工程と、鑑別結果と知られている第１のサンプル画像における交通標識の大きさに基づいて、弁別器と特徴抽出ネットワークのパラメータを交互に調整する工程と、に用いられる。
１つ又は複数の選択可能な実施例では、画像特徴抽出モジュールは、畳み込みニューラルネットワークにより画像に対して特徴抽出を行う工程と、畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する画像特徴を決定する工程と、に用いられる。
選択可能に、画像特徴抽出モジュールは、畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、画像に対応する画像特徴を決定する時に、少なくとも２つの畳み込み層の出力した少なくとも２つの特徴マップのうちの少なくとも一方を処理して、少なくとも２つの特徴マップの大きさを同様にする工程と、少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、画像に対応する画像特徴を決定する工程と、に用いられる。
選択可能に、画像特徴抽出モジュールは、更に、ラベル付け画像特徴を備えた第２のサンプル画像に基づいて畳み込みニューラルネットワークをトレーニングするために用いられる。
選択可能に、画像特徴抽出モジュールは、第２のサンプル画像に基づいて畳み込みニューラルネットワークをトレーニングする時に、第２のサンプル画像を畳み込みニューラルネットワークに入力して予測画像特徴を得る工程と、予測画像特徴とラベル付け画像特徴に基づいて畳み込みニューラルネットワークのパラメータを調整する工程と、に用いられる。
選択可能に、標識候補領域モジュールは、ビデオから少なくとも１つのフレームの交通標識を含む画像を得て、画像に対して領域検出を実行して少なくとも１つの交通標識に対応する少なくとも１つの候補領域を得るために用いられる。
選択可能に、交通標識領域ユニットは、
ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行い、少なくとも１つのフレームの画像における交通標識に対応する交通標識キーポイントを決定するための標識キーポイントモジュールと、
交通標識キーポイントをトラッキングし、ビデオの少なくとも１つのフレームの画像のキーポイント領域を得るための標識キーポイントトラッキングモジュールと、
少なくとも１つのフレームの画像のキーポイント領域により少なくとも１つの候補領域を調整し、少なくとも１つの交通標識に対応する少なくとも１つの交通標識候補領域を得るための標識領域調整モジュールと、を更に含む。
選択可能に、標識キーポイントトラッキングモジュールは、ビデオの連続した２つのフレームの画像における各交通標識キーポイント同士の距離を基礎とする工程と、各交通標識キーポイント同士の距離に基づいてビデオ中の交通標識キーポイントのトラッキングを実現する工程と、ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、に用いられる。
選択可能に、標識キーポイントトラッキングモジュールは、各交通標識キーポイント同士の距離に基づいてビデオ中の交通標識キーポイントのトラッキングを実現する時に、各交通標識キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの画像での同一交通標識キーポイントの位置を決定する工程と、同一交通標識キーポイントの連続した２つのフレームの画像での位置により交通標識キーポイントのビデオでのトラッキングを実現する工程と、に用いられる。
選択可能に、標識領域調整モジュールは、候補領域とキーポイント領域との重なり割合が設定割合以上であることに応答して、候補領域を交通標識に対応する交通標識候補領域とする工程と、候補領域とキーポイント領域との重なり割合が設定割合より小さいことに応答して、キーポイント領域を交通標識に対応する交通標識候補領域とする工程と、に用いられる。
本開示の実施例で提供された交通標識検出装置のいずれか１つの実施例の動作プロセス、設置方式及び対応の技術効果については、全て本開示の上記の対応の方法の実施例についての具体的な説明を参照してよく、紙数に限りがあるので、ここで詳しい説明を省略する。
本開示の実施例の別の態様によれば、提供された車両は、上記のいずれか１つの実施例の交通標識検出装置を含む。
本開示の実施例の別の態様によれば、提供された電子機器は、上記のいずれか１つの実施例に記載の多階層化目標類別装置又は上記のいずれか１つの実施例に記載の交通標識検出装置を備えたプロセッサーを含む。
本開示の実施例の別の態様によれば、提供された電子機器は、実行可能コマンドを記憶するためのメモリと、
メモリと通信してこの実行可能コマンドを実行して上記のいずれか１つの実施例に記載の多階層化目標類別方法又は上記のいずれか１つの実施例に記載の交通標識検出方法の操作を完成するためのプロセッサーと、を含む。
本開示の実施例の別の態様によれば、提供されたコンピューター記憶媒体は、コンピューター読取可能コマンドを記憶するためのコンピューター記憶媒体であって、このコマンドが実行されるとき、上記のいずれか１つの実施例に記載の多階層化目標類別方法又は上記のいずれか１つの実施例に記載の交通標識検出方法の操作が実行される。
本開示の実施例は、例えば、携帯端末、パーソナルコンピュータ（ＰＣ）、タブレット型コンピューター、サーバなどであってよい電子機器を更に提供する。以下、本開示の実施例の端末装置又はサーバを実現するのに適する電子機器８００の構造模式図を示す図８を参照し、図８に示すように、電子機器８００は１つ又は複数のプロセッサー、通信部などを含み、前記１つ又は複数のプロセッサーは、例えば、１つ又は複数の中央処理ユニット（ＣＰＵ）８０１、及び／又は１つ又は複数の専用プロセッサーであり、専用プロセッサーは加速ユニット８１３としてよく、画像プロセッサー（ＧＰＵ）、ＦＰＧＡ、ＤＳＰ及び他のＡＳＩＣチップのような専用プロセッサー等を含むが、それらに限定されなく、プロセッサーは、読み取り専用メモリ（ＲＯＭ）８０２に記憶された実行可能コマンド又は記憶部８０８からランダムアクセスメモリ（ＲＡＭ）８０３にロードされた実行可能コマンドによって各種の適切な動作及び処理を実現することができる。通信パート８１２はネットワークカードを含んでよいが、それに限定されなく、前記ネットワークカードはＩＢ（Ｉｎｆｉｎｉｂａｎｄ）ネットワークカードを含んでよいが、それに限定されない。
プロセッサーは読み取り専用メモリ８０２及び／又はランダムアクセスメモリ８０３と通信して実行可能コマンドを実行し、通信バス８０４を介して通信パート８１２に接続され、通信パート８１２を介して他のターゲットデバイスと通信してよく、それにより本開示の実施例で提供されるいずれか一項の方法に対応する操作を完成し、例えば、画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を得、少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つそれぞれの大分類を類別し、大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得、第１の確率ベクトルと第２の確率ベクトルに基づいて、目標が小分類に属する類別確率を決定する。
また、ＲＡＭ８０３には、装置の動作に必要な各種のプログラムやデータが格納されていてもよい。ＣＰＵ８０１、ＲＯＭ８０２及びＲＡＭ８０３は、通信バス８０４を介して相互に接続される。ＲＡＭ８０３を有する場合に、ＲＯＭ８０２は選択可能なモジュールである。ＲＡＭ８０３は実行可能コマンドを格納するか、または動作時に実行可能コマンドをＲＯＭ８０２に書き込み、実行可能コマンドによって中央処理ユニット８０１に上記通信方法に対応する操作を実行させる。入力／出力（Ｉ／Ｏ）インタフェース８０５も通信バス８０４に接続される。通信パート８１２は、統合的に設置されてもよく、複数のサブモジュール（例えば複数のＩＢネットワークカード）を有し、通信バスのリンク上にあるように設置されてもよい。
キーボード、マウスなどを含む入力部８０６と、陰極線管（ＣＲＴ）、液晶ディスプレイー（ＬＣＤ）など及びスピーカなどを含む出力部８０７と、ハードディスクなどを含む記憶部８０８と、ＬＡＮカード、モデムなどのネットワークインタフェースカードを含む通信部８０９とがＩ／Ｏインタフェース８０５に接続されている。通信部８０９は例えばインターネットのようなネットワークを介して通信処理を行う。ドライブ８１０も必要に応じてＩ／Ｏインタフェース８０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのリムーバブル媒体８１１は、必要に応じてドライブ８１０上に装着され、そこから読み出されたコンピュータープログラムを必要に応じて記憶部８０８にインストールする。
なお、図８に示す構造は選択可能な一実施形態に過ぎず、具体的な実践過程では、実際の必要に応じて上記図８の部品の数及び種類を選択、削除、追加、または置換することができ、異なる機能部品の設置上でも、分離設置または統合設置などの実施形態を採用でき、例えば加速ユニット８１３とＣＰＵ８０１は分離設置するかまたは加速ユニット８１３をＣＰＵ８０１に統合するようにしてよく、通信部は分離設置するか、またはＣＰＵ８０１や加速ユニット８１３に統合設置することなども可能であることを説明する必要がある。これらの置換可能な実施形態はいずれも本開示の保護範囲に属する。
特に、本開示の実施例によれば、フローチャートを参照しながら上述したプロセスはコンピュータソフトウェアプログラムとして実現できる。例えば、本開示の実施例はコンピュータープログラム製品を含み、それは機械可読媒体に有形に具現化された、フローチャートに示す方法を実行するためのプログラムコードを含むコンピュータープログラムを含み、プログラムコードは本開示の実施例により提供される方法のステップを対応して実行する対応のコマンドを含んでよく、例えば、画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を得、少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つそれぞれの大分類を類別し、大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得、第１の確率ベクトルと第２の確率ベクトルに基づいて、目標が小分類に属する類別確率を決定する。このような実施例では、該コンピュータープログラムは通信部８０９によってネットワークからダウンロード及びインストールされ、及び／又はリムーバブル媒体８１１からインストールされ得る。中央処理ユニット（ＣＰＵ）８０１によって該コンピュータープログラムを実行する時に、本開示の方法で限定された上記機能の操作を実行する。
本明細書における様々な実施例は漸進的に説明され、各実施例は他の実施例との相違点に集中して説明したが、各実施例間の同一または類似の部分については相互に参照すればよい。システム実施例については、それは基本的に方法実施例に対応するので、説明は比較的簡単であり、関連部分は方法実施例の説明の一部を参照すればよい。
本開示の方法及び装置は、様々な形態で実現され得る。例えば、ソフトウェア、ハードウェア、ファームウェアまたはソフトウェア、ハードウェア、ファームウェアの任意の組合わせによって本開示の方法及び装置を実現することができる。前記方法のステップのための上記順序は説明することのみを目的とし、本開示の方法のステップは、特に断らない限り、以上で具体的に説明した順序に限定されない。また、いくつかの実施例では、本開示は記録媒体に記憶されたプログラムとしてもよく、これらのプログラムは本開示の方法を実現するための機械可読コマンドを含む。従って、本開示は本開示の方法を実行するためのプログラムが記憶された記録媒体も含む。
本開示の説明は、例示及び説明のために提示されたものであり、網羅的なものでありもしくは開示された形式に本開示を限定するというわけでない。当業者にとっては多くの修正及び変形を加えることができるのは明らかであろう。実施例は本開示の原理及び実際応用をより明瞭に説明するため、かつ当業者が本開示を理解して特定用途に適した各種の修正を加えた各種の実施例を設計可能にするように選択され説明されたものである。
本開示の上記実施例で提供された多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体によれば、画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を得、少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ少なくとも２つの大分類をそれぞれ類別し、大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得、第１の確率ベクトルと第２の確率ベクトルにより目標が小分類に属する類別確率を決定するようになっており、画像における目標の類別正確率が高められる。本開示の実施例では、目標の大きさが限定されたものではなく、大きいサイズの目標の類別に用いてもよく、小さいサイズの目標の類別に用いても良い。本開示の実施例を例えば交通標識、交通信号灯等の撮影写真におけるサイズが小さい目標（即ち小目標）の類別に用いる時に、画像における小目標の類別正確性を効果的に高めることができる。
例えば、本願は以下の項目を提供する。
（項目１）
画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得する工程であって、前記画像は少なくとも１つの目標を含み、各目標は１つの候補領域特徴に対応する、工程と、
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの大分類をそれぞれ類別し、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、
前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する類別確率を決定する工程と、を含むことを特徴とする多階層化目標類別方法。
（項目２）
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの大分類をそれぞれ類別し、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程は、
前記少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得る工程と、
前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記大分類を類別して、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、を含むことを特徴とする項目１に記載の方法。
（項目３）
それぞれの前記大分類カテゴリーが一つの前記第２の分類器に対応しており、
前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記大分類を類別して、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程は、
前記第１の確率ベクトルに基づいて、前記候補領域特徴に対応する前記大分類カテゴリーを決定する工程と、
前記大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの小分類に対応する第２の確率ベクトルを得る工程と、を含むことを特徴とする項目２に記載の方法。
（項目４）
前記大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの小分類に対応する第２の確率ベクトルを得る前記工程の前に、
前記候補領域特徴を畳み込みニューラルネットワークにより処理し、前記処理後の候補領域特徴を前記大分類に対応する前記第２の分類器に入力する工程を更に含むことを特徴とする項目３に記載の方法。
（項目５）
前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する類別確率を決定する前記工程は、
前記第１の確率ベクトルに基づいて、前記目標が前記大分類に属する第１の類別確率を決定する工程と、
前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する第２の類別確率を決定する工程と、
前記第１の類別確率と前記第２の類別確率を組み合わせて、前記目標が前記大分類中の前記小分類に属する類別確率を決定する工程と、を含むことを特徴とする項目１〜４のいずれか一項に記載の方法。
（項目６）
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つそれぞれの前記大分類を類別して、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程の前に、
サンプル候補領域特徴に基づいて類別ネットワークをトレーニングする工程であって、前記類別ネットワークは、１つの第１の分類器と、少なくとも２つの第２の分類器と、を含み、前記第２の分類器の数量が前記第１の分類器の大分類カテゴリーと等しく、前記サンプル候補領域特徴は、ラベル付け小分類カテゴリーを備えているか、又はラベル付け小分類カテゴリーとラベル付け大分類カテゴリーを備えている、工程を更に含むことを特徴とする項目１〜５のいずれか一項に記載の方法。
（項目７）
前記サンプル候補領域特徴がラベル付け小分類カテゴリーを備えていることに応答して、前記ラベル付け小分類カテゴリーをクラスタ化することで前記サンプル候補領域特徴に対応するラベル付け大分類カテゴリーを決定することを特徴とする項目６に記載の方法。
（項目８）
前記サンプル候補領域特徴に基づいて類別ネットワークをトレーニングする前記工程は、
前記サンプル候補領域特徴を前記第１の分類器に入力して予測大分類カテゴリーを得る工程と、前記予測大分類カテゴリーと前記ラベル付け大分類カテゴリーに基づいて前記第１の分類器のパラメータを調整する工程と、
前記サンプル候補領域特徴の前記ラベル付け大分類カテゴリーに基づいて、前記サンプル候補領域特徴を前記ラベル付け大分類カテゴリーに対応する前記第２の分類器に入力して、予測小分類カテゴリーを得る工程と、前記予測小分類カテゴリーと前記ラベル付け小分類カテゴリーに基づいて前記第２の分類器のパラメータを調整する工程と、を含むことを特徴とする項目６又は７に記載の方法。
（項目９）
前記画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得する前記工程は、
前記画像に基づいて前記少なくとも１つの目標に対応する少なくとも１つの候補領域を取得する工程と、
前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る工程と、
前記少なくとも１つの候補領域と前記画像特徴に基づいて前記画像に対応する前記少なくとも１つの候補領域特徴を決定する工程と、を含むことを特徴とする項目１〜８のいずれか一項に記載の方法。
（項目１０）
前記少なくとも１つの候補領域と前記画像特徴に基づいて前記画像に対応する前記少なくとも１つの候補領域特徴を決定する前記工程は、
それぞれ１つの前記候補領域特徴に対応する前記少なくとも１つの候補領域に基づいて前記画像特徴から対応位置の特徴を得て、前記少なくとも１つの候補領域に対応する前記少なくとも１つの候補領域特徴を構成する工程を含むことを特徴とする項目９に記載の方法。
（項目１１）
前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る前記工程は、
特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る工程と、
前記特徴抽出ネットワーク中の残差ネットワークにより前記画像に対して差異特徴抽出を行って差異特徴を得る工程と、
前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る工程と、を含むことを特徴とする項目９又は１０に記載の方法。
（項目１２）
前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る前記工程は、
前記第１の特徴と前記差異特徴に対してビットごとの加算を行って前記画像に対応する画像特徴を得る工程を含むことを特徴とする項目１１に記載の方法。
（項目１３）
前記特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る前記工程は、
前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、
前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する工程と、を含むことを特徴とする項目１１又は１２に記載の方法。
（項目１４）
前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する前記工程は、
前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、
前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記第１の特徴を決定する工程と、を含むことを特徴とする項目１３に記載の方法。
（項目１５）
前記特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る前記工程の前に、
第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う工程を更に含み、前記第１のサンプル画像における目標物体の大きさが既に知られ、前記目標物体に第１の目標物体と第２の目標物体が含まれ、前記第１の目標物体の大きさと前記第２の目標物体の大きさとが異なっていることを特徴とする項目１１〜１４のいずれか一項に記載の方法。
（項目１６）
前記第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う前記工程は、
前記第１のサンプル画像を前記特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、
前記弁別器により前記第１のサンプル画像特徴に基づいて、前記第１のサンプル画像に第１の目標物体が含まれる真実性を示すための鑑別結果を得る工程と、
前記鑑別結果と既に知られた前記第１のサンプル画像における目標物体の大きさに基づいて、前記弁別器と前記特徴抽出ネットワークのパラメータを交互に調整する工程と、を含むことを特徴とする項目１５に記載の方法。
（項目１７）
前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る前記工程は、
畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、
前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する工程と、を含むことを特徴とする項目９又は１０に記載の方法。
（項目１８）
前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する前記工程は、
前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、
前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記画像特徴を決定する工程と、を含むことを特徴とする項目１７に記載の方法。
（項目１９）
前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程の前に、
ラベル付け画像特徴を備えた第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする工程を更に含むことを特徴とする項目１７又は１８に記載の方法。
（項目２０）
前記第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする前記工程は、
前記第２のサンプル画像を前記畳み込みニューラルネットワークに入力して前記予測画像特徴を得る工程と、
前記予測画像特徴と前記ラベル付け画像特徴に基づいて、前記畳み込みニューラルネットワークのパラメータを調整する工程と、を含むことを特徴とする項目１９に記載の方法。
（項目２１）
前記画像に基づいて前記少なくとも１つの目標に対応する少なくとも１つの候補領域を取得する前記工程は、
ビデオから少なくとも１つのフレームの前記画像を得、前記画像に対して領域検出を実行し、前記少なくとも１つの目標に対応する前記少なくとも１つの候補領域を得る工程を含むことを特徴とする項目９〜２０のいずれか一項に記載の方法。
（項目２２）
前記画像に基づいて前記少なくとも１つの目標に対応する少なくとも１つの候補領域を取得する前記工程の前に、
前記ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行って、前記少なくとも１つのフレームの画像における前記目標に対応する目標キーポイントを決定する工程と、
前記目標キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を更に含み、
前記画像に基づいて前記少なくとも１つの目標に対応する少なくとも１つの候補領域を取得した前記工程の後に、
前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整して、前記少なくとも１つの目標に対応する少なくとも１つの目標候補領域を得る工程を更に含むことを特徴とする項目２１に記載の方法。
（項目２３）
前記目標キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る前記工程は、
前記ビデオの連続した２つのフレームの前記画像中の各前記目標キーポイント同士の距離を基礎とする工程と、
各前記目標キーポイント同士の距離に基づき前記ビデオ中の前記目標キーポイントのトラッキングを実現する工程と、
前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を含むことを特徴とする項目２２に記載の方法。
（項目２４）
各前記目標キーポイント同士の距離に基づき前記ビデオ中の前記目標キーポイントのトラッキングを実現する前記工程は、
各前記目標キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの前記画像における同一目標キーポイントの位置を決定する工程と、
前記同一目標キーポイントの連続した２つのフレームの前記画像での位置により目標キーポイントの前記ビデオでのトラッキングを実現する工程と、を含むことを特徴とする項目２２又は２３に記載の方法。
（項目２５）
前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整して、前記少なくとも１つの目標に対応する少なくとも１つの目標候補領域を得る前記工程は、
前記候補領域と前記キーポイント領域との重なり割合が設定割合以上であることに応答して、前記候補領域を前記目標に対応する目標候補領域とする工程と、
前記候補領域と前記キーポイント領域との重なり割合が設定割合より小さいことに応答して、前記キーポイント領域を前記目標に対応する目標候補領域とする工程と、を含むことを特徴とする項目２２〜２４のいずれか一項に記載の方法。
（項目２６）
交通標識を含む画像を収集する工程と、
前記交通標識を含む画像における少なくとも１つの交通標識に対応する少なくとも１つの候補領域特徴を取得する工程であって、各前記交通標識はそれぞれ１つの候補領域特徴に対応する、工程と、
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの交通標識大分類をそれぞれ類別し、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、
前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記交通標識が前記交通標識小分類に属する類別確率を決定する工程と、を含むことを特徴とする交通標識検出方法。
（項目２７）
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの交通標識大分類をそれぞれ類別し、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程は、
前記少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得る工程と、
前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記交通標識大分類を類別して、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、を含むことを特徴とする項目２６に記載の方法。
（項目２８）
それぞれの前記交通標識大分類カテゴリーが１つの前記第２の分類器に対応しており、
前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記交通標識大分類を類別して、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程は、
前記第１の確率ベクトルに基づいて、前記候補領域特徴に対応する前記交通標識大分類カテゴリーを決定する工程と、
前記交通標識大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの交通標識小分類に対応する第２の確率ベクトルを得る工程と、を含む
ことを特徴とする項目２７に記載の方法。
（項目２９）
前記交通標識大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの交通標識小分類に対応する第２の確率ベクトルを得る前記工程の前に、
前記候補領域特徴を畳み込みニューラルネットワークにより処理し、前記処理後の候補領域特徴を前記交通標識大分類に対応する前記第２の分類器に入力する工程を更に含むことを特徴とする項目２８に記載の方法。
（項目３０）
前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記交通標識小分類に属する類別確率を決定する前記工程は、
前記第１の確率ベクトルに基づいて、前記目標が前記交通標識大分類に属する第１の類別確率を決定する工程と、
前記第２の確率ベクトルに基づいて、前記目標が前記交通標識小分類に属する第２の類別確率を決定する工程と、
前記第１の類別確率と前記第２の類別確率を組み合わせて、前記交通標識が前記交通標識大分類中の前記交通標識小分類に属する類別確率を決定する工程と、を含むことを特徴とする項目２６〜２９のいずれか一項に記載の方法。
（項目３１）
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つそれぞれの前記交通標識大分類を類別して、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程の前に、
サンプル候補領域特徴に基づいて交通類別ネットワークをトレーニングする工程であって、前記交通類別ネットワークは、１つの第１の分類器と、少なくとも２つの第２の分類器と、を含み、前記第２の分類器の数量が前記第１の分類器の交通標識大分類カテゴリーと等しく、前記サンプル候補領域特徴は、ラベル付け交通標識小分類カテゴリーを備えているか、又はラベル付け交通標識小分類カテゴリーとラベル付け交通標識大分類カテゴリーを備えている、工程を更に含むことを特徴とする項目２６〜３０のいずれか一項に記載の方法。
（項目３２）
前記サンプル候補領域特徴がラベル付け交通標識小分類カテゴリーを備えていることに応答して、前記ラベル付け交通標識小分類カテゴリーをクラスタ化することで前記サンプル候補領域特徴に対応するラベル付け交通標識大分類カテゴリーを決定することを特徴とする項目３１に記載の方法。
（項目３３）
前記サンプル候補領域特徴に基づいて交通類別ネットワークをトレーニングする前記工程は、
前記サンプル候補領域特徴を前記第１の分類器に入力して予測交通標識大分類カテゴリーを得る工程と、前記予測交通標識大分類カテゴリーと前記ラベル付け交通標識大分類カテゴリーに基づいて前記第１の分類器のパラメータを調整する工程と、
前記サンプル候補領域特徴の前記ラベル付け交通標識大分類カテゴリーに基づいて、前記サンプル候補領域特徴を前記ラベル付け交通標識大分類カテゴリーに対応する前記第２の分類器に入力して予測交通標識小分類カテゴリーを得る工程と、前記予測交通標識小分類カテゴリーと前記ラベル付け交通標識小分類カテゴリーに基づいて前記第２の分類器のパラメータを調整する工程と、を含むことを特徴とする項目３１又は３２に記載の方法。
（項目３４）
前記交通標識を含む画像における少なくとも１つの交通標識に対応する少なくとも１つの候補領域特徴を取得する前記工程は、
前記交通標識を含む画像に基づいて前記少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得する工程と、
前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る工程と、
前記少なくとも１つの候補領域と前記画像特徴に基づいて前記交通標識を含む画像に対応する前記少なくとも１つの候補領域特徴を決定する工程と、を含むことを特徴とする項目２６〜３３のいずれか一項に記載の方法。
（項目３５）
前記少なくとも１つの候補領域と前記画像特徴に基づいて前記交通標識を含む画像に対応する前記少なくとも１つの候補領域特徴を決定する工程は、
それぞれ１つの前記候補領域特徴に対応する前記少なくとも１つの候補領域に基づいて前記画像特徴から対応位置の特徴を得て、前記少なくとも１つの候補領域に対応する前記少なくとも１つの候補領域特徴を構成する工程を含むことを特徴とする項目３４に記載の方法。
（項目３６）
前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る前記工程は、
特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る工程と、
前記特徴抽出ネットワーク中の残差ネットワークにより前記画像に対して差異特徴抽出を行って差異特徴を得る工程と、
前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る工程と、を含むことを特徴とする項目３４又は３５に記載の方法。
（項目３７）
前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る前記工程は、
前記第１の特徴と前記差異特徴に対してビットごとの加算を行って前記画像に対応する画像特徴を得る工程を含むことを特徴とする項目３６に記載の方法。
（項目３８）
前記特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る前記工程は、
前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、
前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する工程と、を含むことを特徴とする項目３６又は３７に記載の方法。
（項目３９）
前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する前記工程は、
前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、
前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記第１の特徴を決定する工程と、を含むことを特徴とする項目３８に記載の方法。
（項目４０）
前記特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る前記工程の前に、
第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う工程を更に含み、前記第１のサンプル画像における交通標識の大きさが既に知られ、前記交通標識に第１の交通標識と第２の交通標識が含まれ、前記第１の交通標識の大きさと前記第２の交通標識の大きさとが異なっていることを特徴とする項目３６〜３９のいずれか一項に記載の方法。
（項目４１）
前記第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う前記工程は、
前記第１のサンプル画像を前記特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、
前記弁別器により前記第１のサンプル画像特徴に基づいて、前記第１のサンプル画像に第１の交通標識が含まれる真実性を示すための鑑別結果を得る工程と、
前記鑑別結果と既に知られた前記第１のサンプル画像における交通標識の大きさに基づいて、前記弁別器と前記特徴抽出ネットワークのパラメータを交互に調整する工程と、を含むことを特徴とする項目４０に記載の方法。
（項目４２）
前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る前記工程は、
畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、
前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する工程と、を含むことを特徴とする項目３４又は３５に記載の方法。
（項目４３）
前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する前記工程は、
前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、
前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記画像特徴を決定する工程と、を含むことを特徴とする項目４２に記載の方法。
（項目４４）
前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う前記工程の前に、
ラベル付け画像特徴を備えた第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする工程を更に含むことを特徴とする項目４２又は４３に記載の方法。
（項目４５）
前記第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする前記工程は、
前記第２のサンプル画像を前記畳み込みニューラルネットワークに入力して前記予測画像特徴を得る工程と、
前記予測画像特徴と前記ラベル付け画像特徴に基づいて、前記畳み込みニューラルネットワークのパラメータを調整する工程と、を含むことを特徴とする項目４４に記載の方法。
（項目４６）
前記交通標識を含む画像に基づいて前記少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得する前記工程は、
ビデオから少なくとも１つのフレームの前記交通標識を含む画像を得、前記画像に対して領域検出を実行し、少なくとも１つの前記交通標識に対応する前記少なくとも１つの候補領域を得る工程を含むことを特徴とする項目３４〜４５のいずれか一項に記載の方法。
（項目４７）
前記交通標識を含む画像に基づいて前記少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得する前記工程の前に、
前記ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行って、前記少なくとも１つのフレームの画像における前記交通標識に対応する交通標識キーポイントを決定する工程と、
前記交通標識キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を更に含み、
前記画像に基づいて前記少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得した前記工程の後に、
前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整し、前記少なくとも１つの交通標識に対応する少なくとも１つの交通標識候補領域を得る工程を更に含むことを特徴とする項目４６に記載の方法。
（項目４８）
前記交通標識キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る前記工程は、
前記ビデオの連続した２つのフレームの前記画像中の各前記交通標識キーポイント同士の距離を基礎とする工程と、
各前記交通標識キーポイント同士の距離に基づき、前記ビデオ中の前記交通標識キーポイントのトラッキングを実現する工程と、
前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を含むことを特徴とする項目４７に記載の方法。
（項目４９）
各前記交通標識キーポイント同士の距離に基づき、前記ビデオ中の前記交通標識キーポイントのトラッキングを実現する前記工程は、
各前記交通標識キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの前記画像における同一の交通標識キーポイントの位置を決定する工程と、
前記同一交通標識キーポイントの連続した２つのフレームの前記画像での位置により交通標識キーポイントの前記ビデオでのトラッキングを実現する工程と、を含むことを特徴とする項目４７又は４８に記載の方法。
（項目５０）
前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整し、前記少なくとも１つの交通標識に対応する少なくとも１つの交通標識候補領域を得る前記工程は、
前記候補領域と前記キーポイント領域との重なり割合が設定割合以上であることに応答して、前記候補領域を前記交通標識に対応する交通標識候補領域とする工程と、
前記候補領域と前記キーポイント領域との重なり割合が設定割合より小さいことに応答して、前記キーポイント領域を前記交通標識に対応する交通標識候補領域とする工程と、を含むことを特徴とする項目４７〜４９のいずれか一項に記載の方法。
（項目５１）
画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得するための候補領域取得ユニットであって、前記画像は少なくとも１つの目標を含み、各目標は１つの候補領域特徴に対応する、候補領域取得ユニットと、
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの大分類をそれぞれ類別し、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための確率ベクトルユニットと、
前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する類別確率を決定するための目標類別ユニットと、を含むことを特徴とする多階層化目標類別装置。
（項目５２）
前記確率ベクトルユニットは、
前記少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得るための第１の確率モジュールと、
前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記大分類を類別して、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための第２の確率モジュールと、を含むことを特徴とする項目５１に記載の装置。
（項目５３）
それぞれの前記大分類カテゴリーが一つの前記第２の分類器に対応しており、
前記第２の確率モジュールは、前記第１の確率ベクトルに基づいて、前記候補領域特徴に対応する前記大分類カテゴリーを決定する工程と、前記大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの小分類に対応する第２の確率ベクトルを得る工程と、に用いられることを特徴とする項目５２に記載の装置。
（項目５４）
前記確率ベクトルユニットは、更に、前記候補領域特徴を畳み込みニューラルネットワークにより処理し、前記処理後の候補領域特徴を前記大分類に対応する前記第２の分類器に入力するために用いられることを特徴とする項目５３に記載の装置。
（項目５５）
前記目標類別ユニットは、前記第１の確率ベクトルに基づいて、前記目標が前記大分類に属する第１の類別確率を決定する工程と、前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する第２の類別確率を決定する工程と、前記第１の類別確率と前記第２の類別確率を組み合わせて、前記目標が前記大分類中の前記小分類に属する類別確率を決定する工程と、に用いられることを特徴とする項目５１〜５４のいずれか一項に記載の装置。
（項目５６）
サンプル候補領域特徴に基づいて類別ネットワークをトレーニングするためのネットワークトレーニングユニットであって、前記類別ネットワークは、１つの第１の分類器と、少なくとも２つの第２の分類器と、を含み、前記第２の分類器の数量が前記第１の分類器の大分類カテゴリーと等しく、前記サンプル候補領域特徴は、ラベル付け小分類カテゴリーを備えているか、又はラベル付け小分類カテゴリーとラベル付け大分類カテゴリーを備えている、ネットワークトレーニングユニットを更に含むことを特徴とする項目５１〜５５のいずれか一項に記載の装置。
（項目５７）
前記サンプル候補領域特徴がラベル付け小分類カテゴリーを備えていることに応答して、前記ラベル付け小分類カテゴリーをクラスタ化することで前記サンプル候補領域特徴に対応するラベル付け大分類カテゴリーを決定することを特徴とする項目５６に記載の装置。
（項目５８）
前記ネットワークトレーニングユニットは、サンプル候補領域特徴を前記第１の分類器に入力して予測大分類カテゴリーを得る工程と、前記予測大分類カテゴリーと前記ラベル付け大分類カテゴリーに基づいて前記第１の分類器のパラメータを調整する工程と、前記サンプル候補領域特徴の前記ラベル付け大分類カテゴリーに基づいて、前記サンプル候補領域特徴を前記ラベル付け大分類カテゴリーに対応する前記第２の分類器に入力して、予測小分類カテゴリーを得る工程と、前記予測小分類カテゴリーと前記ラベル付け小分類カテゴリーに基づいて前記第２の分類器のパラメータを調整する工程と、に用いられることを特徴とする項目５６又は５７に記載の装置。
（項目５９）
前記候補領域取得ユニットは、
前記画像に基づいて前記少なくとも１つの目標に対応する少なくとも１つの候補領域を取得するための候補領域モジュールと、
前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得るための特徴抽出モジュールと、
前記少なくとも１つの候補領域と前記画像特徴に基づいて前記画像に対応する前記少なくとも１つの候補領域特徴を決定するための領域特徴モジュールと、を含むことを特徴とする項目５１〜５８のいずれか一項に記載の装置。
（項目６０）
前記候補領域モジュールは、それぞれ１つの前記候補領域特徴に対応する前記少なくとも１つの候補領域に基づいて前記画像特徴から対応位置の特徴を得て、前記少なくとも１つの候補領域に対応する前記少なくとも１つの候補領域特徴を構成するために用いられることを特徴とする項目５９に記載の装置。
（項目６１）
前記特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る工程と、前記特徴抽出ネットワーク中の残差ネットワークにより前記画像に対して差異特徴抽出を行って差異特徴を得る工程と、前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る工程と、に用いられることを特徴とする項目５９又は６０に記載の装置。
（項目６２）
前記特徴抽出モジュールは、前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る時に、前記第１の特徴と前記差異特徴に対してビットごとの加算を行って前記画像に対応する画像特徴を得るために用いられることを特徴とする項目６１に記載の装置。
（項目６３）
前記特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る時に、前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する工程と、に用いられることを特徴とする項目６１又は６２に記載の装置。
（項目６４）
前記特徴抽出モジュールは、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する時に、前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記第１の特徴を決定する工程と、に用いられることを特徴とする項目６３に記載の装置。
（項目６５）
前記特徴抽出モジュールは、更に、第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行うために用いられ、前記第１のサンプル画像における目標物体の大きさが既に知られ、前記目標物体に第１の目標物体と第２の目標物体が含まれ、前記第１の目標物体の大きさと前記第２の目標物体の大きさとが異なっていることを特徴とする項目６１〜６４のいずれか一項に記載の装置。
（項目６６）
前記特徴抽出モジュールは、第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う時に、前記第１のサンプル画像を前記特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、前記弁別器により前記第１のサンプル画像特徴に基づいて、前記第１のサンプル画像に第１の目標物体が含まれる真実性を示すための鑑別結果を得る工程と、前記鑑別結果と既に知られた前記第１のサンプル画像における目標物体の大きさに基づいて、前記弁別器と前記特徴抽出ネットワークのパラメータを交互に調整する工程と、に用いられることを特徴とする項目６５に記載の装置。
（項目６７）
前記特徴抽出モジュールは、畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する工程と、に用いられることを特徴とする項目５９又は６０に記載の方法。
（項目６８）
前記特徴抽出モジュールは、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する時に、前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記画像特徴を決定する工程と、に用いられることを特徴とする項目６７に記載の装置。
（項目６９）
前記特徴抽出モジュールは、更に、ラベル付け画像特徴を備えた第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングするために用いられることを特徴とする項目６７又は６８に記載の装置。
（項目７０）
前記特徴抽出モジュールは、第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする時に、前記第２のサンプル画像を前記畳み込みニューラルネットワークに入力して前記予測画像特徴を得る工程と、前記予測画像特徴と前記ラベル付け画像特徴に基づいて、前記畳み込みニューラルネットワークのパラメータを調整する工程と、に用いられることを特徴とする項目６９に記載の装置。
（項目７１）
前記候補領域モジュールは、ビデオから少なくとも１つのフレームの前記画像を得、前記画像に対して領域検出を実行し、前記少なくとも１つの目標に対応する前記少なくとも１つの候補領域を得るために用いられることを特徴とする項目５９〜７０のいずれか一項に記載の装置。
（項目７２）
前記候補領域取得ユニットは、
前記ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行って、前記少なくとも１つのフレームの画像における前記目標に対応する目標キーポイントを決定するためのキーポイントモジュールと、
前記目標キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得るためのキーポイントトラッキングモジュールと、
前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整して、前記少なくとも１つの目標に対応する少なくとも１つの目標候補領域を得るための領域調整モジュールと、を更に含むことを特徴とする項目７１に記載の装置。
（項目７３）
前記キーポイントトラッキングモジュールは、前記ビデオの連続した２つのフレームの前記画像中の各前記目標キーポイント同士の距離を基礎とする工程と、各前記目標キーポイント同士の距離に基づき前記ビデオ中の前記目標キーポイントのトラッキングを実現する工程と、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、に用いられることを特徴とする項目７２に記載の装置。
（項目７４）
前記キーポイントトラッキングモジュールは、各前記目標キーポイント同士の距離に基づき前記ビデオ中の前記目標キーポイントのトラッキングを実現する時に、各前記目標キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの前記画像における同一目標キーポイントの位置を決定する工程と、前記同一目標キーポイントの連続した２つのフレームの前記画像での位置により目標キーポイントの前記ビデオでのトラッキングを実現する工程と、に用いられることを特徴とする項目７２又は７３に記載の装置。
（項目７５）
前記領域調整モジュールは、前記候補領域と前記キーポイント領域との重なり割合が設定割合以上であることに応答して、前記候補領域を前記目標に対応する目標候補領域とする工程と、前記候補領域と前記キーポイント領域との重なり割合が設定割合より小さいことに応答して、前記キーポイント領域を前記目標に対応する目標候補領域とする工程と、に用いられることを特徴とする項目７２〜７４のいずれか一項に記載の装置。
（項目７６）
交通標識を含む画像を収集するための画像収集ユニットと、
前記交通標識を含む画像における少なくとも１つの交通標識に対応する少なくとも１つの候補領域特徴を取得するための交通標識領域ユニットであって、各前記交通標識はそれぞれ１つの候補領域特徴に対応する、交通標識領域ユニットと、
前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの交通標識大分類をそれぞれ類別し、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための交通確率ベクトルユニットと、
前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記交通標識が前記交通標識小分類に属する類別確率を決定するための交通標識類別ユニットと、を含むことを特徴とする交通標識検出装置。
（項目７７）
前記交通確率ベクトルユニットは、
前記少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得るための第１の確率モジュールと、
前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記交通標識大分類を類別して、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための第２の確率モジュールと、を含むことを特徴とする項目７６に記載の装置。
（項目７８）
それぞれの前記交通標識大分類カテゴリーが１つの前記第２の分類器に対応しており、
前記第２の確率モジュールは、前記第１の確率ベクトルに基づいて、前記候補領域特徴に対応する前記交通標識大分類カテゴリーを決定する工程と、前記交通標識大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの交通標識小分類に対応する第２の確率ベクトルを得る工程と、に用いられることを特徴とする項目７７に記載の装置。
（項目７９）
前記交通確率ベクトルユニットは、更に、前記候補領域特徴を畳み込みニューラルネットワークにより処理し、前記処理後の候補領域特徴を前記交通標識大分類に対応する前記第２の分類器に入力するために用いられることを特徴とする項目７８に記載の装置。
（項目８０）
前記交通標識類別ユニットは、前記第１の確率ベクトルに基づいて、前記目標が前記交通標識大分類に属する第１の類別確率を決定する工程と、前記第２の確率ベクトルに基づいて、前記目標が前記交通標識小分類に属する第２の類別確率を決定する工程と、前記第１の類別確率と前記第２の類別確率を組み合わせて、前記交通標識が前記交通標識大分類中の前記交通標識小分類に属する類別確率を決定する工程と、に用いられることを特徴とする項目７６〜７９のいずれか一項に記載の装置。
（項目８１）
サンプル候補領域特徴に基づいて交通類別ネットワークをトレーニングするための交通ネットワークトレーニングユニットであって、前記交通類別ネットワークは、１つの第１の分類器と、少なくとも２つの第２の分類器と、を含み、前記第２の分類器の数量が前記第１の分類器の交通標識大分類カテゴリーと等しく、前記サンプル候補領域特徴は、ラベル付け交通標識小分類カテゴリーを備えているか、又はラベル付け交通標識小分類カテゴリーとラベル付け交通標識大分類カテゴリーを備えている、交通ネットワークトレーニングユニットを更に含むことを特徴とする項目７６〜８０のいずれか一項に記載の装置。
（項目８２）
前記サンプル候補領域特徴がラベル付け交通標識小分類カテゴリーを備えていることに応答して、前記ラベル付け交通標識小分類カテゴリーをクラスタ化することで前記サンプル候補領域特徴に対応するラベル付け交通標識大分類カテゴリーを決定することを特徴とする項目８１に記載の装置。
（項目８３）
前記交通ネットワークトレーニングユニットは、サンプル候補領域特徴を前記第１の分類器に入力して予測交通標識大分類カテゴリーを得る工程と、前記予測交通標識大分類カテゴリーと前記ラベル付け交通標識大分類カテゴリーに基づいて前記第１の分類器のパラメータを調整する工程と、前記サンプル候補領域特徴の前記ラベル付け交通標識大分類カテゴリーに基づいて、前記サンプル候補領域特徴を前記ラベル付け交通標識大分類カテゴリーに対応する前記第２の分類器に入力して予測交通標識小分類カテゴリーを得る工程と、前記予測交通標識小分類カテゴリーと前記ラベル付け交通標識小分類カテゴリーに基づいて前記第２の分類器のパラメータを調整する工程と、に用いられることを特徴とする項目８１又は８２に記載の装置。
（項目８４）
前記交通標識領域ユニットは、
前記交通標識を含む画像に基づいて前記少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得するための標識候補領域モジュールと、
前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得るための画像特徴抽出モジュールと、
前記少なくとも１つの候補領域と前記画像特徴に基づいて前記交通標識を含む画像に対応する前記少なくとも１つの候補領域特徴を決定するためのラベル付け領域特徴モジュールと、を含むことを特徴とする項目７６〜８３のいずれか一項に記載の装置。
（項目８５）
前記標識候補領域モジュールは、それぞれ１つの前記候補領域特徴に対応する前記少なくとも１つの候補領域に基づいて前記画像特徴から対応位置の特徴を得て、前記少なくとも１つの候補領域に対応する前記少なくとも１つの候補領域特徴を構成するために用いられることを特徴とする項目８４に記載の装置。
（項目８６）
前記画像特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る工程と、前記特徴抽出ネットワーク中の残差ネットワークにより前記画像に対して差異特徴抽出を行って差異特徴を得る工程と、前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る工程と、に用いられることを特徴とする項目８４又は８５に記載の装置。
（項目８７）
前記画像特徴抽出モジュールは、前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る時に、前記第１の特徴と前記差異特徴に対してビットごとの加算を行って前記画像に対応する画像特徴を得るために用いられることを特徴とする項目８６に記載の装置。
（項目８８）
前記画像特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る時に、前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する工程と、に用いられることを特徴とする項目８６又は８７に記載の装置。
（項目８９）
前記画像特徴抽出モジュールは、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する時に、前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記第１の特徴を決定する工程と、に用いられることを特徴とする項目８８に記載の装置。
（項目９０）
前記画像特徴抽出モジュールは、更に、第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行うために用いられ、前記第１のサンプル画像における交通標識の大きさが既に知られ、前記交通標識に第１の交通標識と第２の交通標識が含まれ、前記第１の交通標識の大きさと前記第２の交通標識の大きさとが異なっていることを特徴とする項目８６〜８９のいずれか一項に記載の装置。
（項目９１）
前記画像特徴抽出モジュールは、第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う時に、前記第１のサンプル画像を前記特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、前記弁別器により前記第１のサンプル画像特徴に基づいて、前記第１のサンプル画像に第１の交通標識が含まれる真実性を示すための鑑別結果を得る工程と、前記鑑別結果と既に知られた前記第１のサンプル画像における交通標識の大きさに基づいて、前記弁別器と前記特徴抽出ネットワークのパラメータを交互に調整する工程と、に用いられることを特徴とする項目９０に記載の装置。
（項目９２）
前記画像特徴抽出モジュールは、畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する工程と、に用いられることを特徴とする項目８４又は８５に記載の装置。
（項目９３）
前記画像特徴抽出モジュールは、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する時に、前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記画像特徴を決定する工程と、に用いられることを特徴とする項目９２に記載の装置。
（項目９４）
前記画像特徴抽出モジュールは、更に、ラベル付け画像特徴を備えた第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングするために用いられることを特徴とする項目９２又は９３に記載の装置。
（項目９５）
前記画像特徴抽出モジュールは、第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする時に、前記第２のサンプル画像を前記畳み込みニューラルネットワークに入力して前記予測画像特徴を得る工程と、前記予測画像特徴と前記ラベル付け画像特徴に基づいて、前記畳み込みニューラルネットワークのパラメータを調整する工程と、に用いられることを特徴とする項目９４に記載の装置。
（項目９６）
前記標識候補領域モジュールは、ビデオから少なくとも１つのフレームの前記交通標識を含む画像を得、前記画像に対して領域検出を実行し、少なくとも１つの前記交通標識に対応する前記少なくとも１つの候補領域を得るために用いられることを特徴とする項目８４〜９５のいずれか一項に記載の装置。
（項目９７）
前記交通標識領域ユニットは、
前記ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行って、前記少なくとも１つのフレームの画像における前記交通標識に対応する交通標識キーポイントを決定するための標識キーポイントモジュールと、
前記交通標識キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得るための標識キーポイントトラッキングモジュールと、
前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整し、前記少なくとも１つの交通標識に対応する少なくとも１つの交通標識候補領域を得るための標識領域調整モジュールと、を更に含むことを特徴とする項目９６に記載の装置。
（項目９８）
前記標識キーポイントトラッキングモジュールは、前記ビデオの連続した２つのフレームの前記画像中の各前記交通標識キーポイント同士の距離を基礎とする工程と、各前記交通標識キーポイント同士の距離に基づき、前記ビデオ中の前記交通標識キーポイントのトラッキングを実現する工程と、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、に用いられることを特徴とする項目９７に記載の装置。
（項目９９）
前記標識キーポイントトラッキングモジュールは、各前記交通標識キーポイント同士の距離に基づき、前記ビデオ中の前記交通標識キーポイントのトラッキングを実現する時に、各前記交通標識キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの前記画像における同一の交通標識キーポイントの位置を決定する工程と、前記同一交通標識キーポイントの連続した２つのフレームの前記画像での位置により交通標識キーポイントの前記ビデオでのトラッキングを実現する工程と、に用いられることを特徴とする項目９７又は９８に記載の装置。
（項目１００）
前記標識領域調整モジュールは、前記候補領域と前記キーポイント領域との重なり割合が設定割合以上であることに応答して、前記候補領域を前記交通標識に対応する交通標識候補領域とする工程と、前記候補領域と前記キーポイント領域との重なり割合が設定割合より小さいことに応答して、前記キーポイント領域を前記交通標識に対応する交通標識候補領域とする工程と、に用いられることを特徴とする項目９７〜９９のいずれか一項に記載の装置。
（項目１０１）
項目７６〜１００のいずれか一項に記載の交通標識検出装置を含むことを特徴とする車両。
（項目１０２）
項目５１〜７５のいずれか一項に記載の多階層化目標類別装置又は項目７６〜１００のいずれか一項に記載の交通標識検出装置を備えたプロセッサーを含むことを特徴とする電子機器。
（項目１０３）
実行可能コマンドを記憶するためのメモリと、
前記メモリと通信して前記実行可能コマンドを実行して項目１〜２５のいずれか一項に記載の多階層化目標類別方法又は項目２６〜５０のいずれか一項に記載の交通標識検出方法の操作を完成するためのプロセッサーと、を含むことを特徴とする電子機器。
（項目１０４）
コンピューター読取可能コマンドを記憶するためのコンピューター記憶媒体であって、前記コマンドが実行されるとき、項目１〜２５のいずれか一項に記載の多階層化目標類別方法又は項目２６〜５０のいずれか一項に記載の交通標識検出方法の操作が実行されることを特徴とするコンピューター記憶媒体。
（項目１０５）
コンピューター可読コードを含むコンピュータープログラム製品であって、前記コンピューター可読コードが機器で実行されるとき、前記機器中のプロセッサーは項目１〜２５のいずれか一項に記載の多階層化目標類別方法又は項目２６〜５０のいずれか一項に記載の交通標識検出方法を実現するためのコマンドを実行することを特徴とするコンピュータープログラム製品。

Claims (105)

  1. 画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得する工程であって、前記画像は少なくとも１つの目標を含み、各目標は１つの候補領域特徴に対応する、工程と、
    前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの大分類をそれぞれ類別し、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、
    前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する類別確率を決定する工程と、を含むことを特徴とする多階層化目標類別方法。
  2. 前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの大分類をそれぞれ類別し、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程は、
    前記少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得る工程と、
    前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記大分類を類別して、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、を含むことを特徴とする請求項１に記載の方法。
  3. それぞれの前記大分類カテゴリーが一つの前記第２の分類器に対応しており、
    前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記大分類を類別して、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程は、
    前記第１の確率ベクトルに基づいて、前記候補領域特徴に対応する前記大分類カテゴリーを決定する工程と、
    前記大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの小分類に対応する第２の確率ベクトルを得る工程と、を含むことを特徴とする請求項２に記載の方法。
  4. 前記大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの小分類に対応する第２の確率ベクトルを得る前記工程の前に、
    前記候補領域特徴を畳み込みニューラルネットワークにより処理し、前記処理後の候補領域特徴を前記大分類に対応する前記第２の分類器に入力する工程を更に含むことを特徴とする請求項３に記載の方法。
  5. 前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する類別確率を決定する前記工程は、
    前記第１の確率ベクトルに基づいて、前記目標が前記大分類に属する第１の類別確率を決定する工程と、
    前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する第２の類別確率を決定する工程と、
    前記第１の類別確率と前記第２の類別確率を組み合わせて、前記目標が前記大分類中の前記小分類に属する類別確率を決定する工程と、を含むことを特徴とする請求項１〜４のいずれか一項に記載の方法。
  6. 前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つそれぞれの前記大分類を類別して、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程の前に、
    サンプル候補領域特徴に基づいて類別ネットワークをトレーニングする工程であって、前記類別ネットワークは、１つの第１の分類器と、少なくとも２つの第２の分類器と、を含み、前記第２の分類器の数量が前記第１の分類器の大分類カテゴリーと等しく、前記サンプル候補領域特徴は、ラベル付け小分類カテゴリーを備えているか、又はラベル付け小分類カテゴリーとラベル付け大分類カテゴリーを備えている、工程を更に含むことを特徴とする請求項１〜５のいずれか一項に記載の方法。
  7. 前記サンプル候補領域特徴がラベル付け小分類カテゴリーを備えていることに応答して、前記ラベル付け小分類カテゴリーをクラスタ化することで前記サンプル候補領域特徴に対応するラベル付け大分類カテゴリーを決定することを特徴とする請求項６に記載の方法。
  8. 前記サンプル候補領域特徴に基づいて類別ネットワークをトレーニングする前記工程は、
    前記サンプル候補領域特徴を前記第１の分類器に入力して予測大分類カテゴリーを得る工程と、前記予測大分類カテゴリーと前記ラベル付け大分類カテゴリーに基づいて前記第１の分類器のパラメータを調整する工程と、
    前記サンプル候補領域特徴の前記ラベル付け大分類カテゴリーに基づいて、前記サンプル候補領域特徴を前記ラベル付け大分類カテゴリーに対応する前記第２の分類器に入力して、予測小分類カテゴリーを得る工程と、前記予測小分類カテゴリーと前記ラベル付け小分類カテゴリーに基づいて前記第２の分類器のパラメータを調整する工程と、を含むことを特徴とする請求項６又は７に記載の方法。
  9. 前記画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得する前記工程は、
    前記画像に基づいて前記少なくとも１つの目標に対応する少なくとも１つの候補領域を取得する工程と、
    前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る工程と、
    前記少なくとも１つの候補領域と前記画像特徴に基づいて前記画像に対応する前記少なくとも１つの候補領域特徴を決定する工程と、を含むことを特徴とする請求項１〜８のいずれか一項に記載の方法。
  10. 前記少なくとも１つの候補領域と前記画像特徴に基づいて前記画像に対応する前記少なくとも１つの候補領域特徴を決定する前記工程は、
    それぞれ１つの前記候補領域特徴に対応する前記少なくとも１つの候補領域に基づいて前記画像特徴から対応位置の特徴を得て、前記少なくとも１つの候補領域に対応する前記少なくとも１つの候補領域特徴を構成する工程を含むことを特徴とする請求項９に記載の方法。
  11. 前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る前記工程は、
    特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る工程と、
    前記特徴抽出ネットワーク中の残差ネットワークにより前記画像に対して差異特徴抽出を行って差異特徴を得る工程と、
    前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る工程と、を含むことを特徴とする請求項９又は１０に記載の方法。
  12. 前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る前記工程は、
    前記第１の特徴と前記差異特徴に対してビットごとの加算を行って前記画像に対応する画像特徴を得る工程を含むことを特徴とする請求項１１に記載の方法。
  13. 前記特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る前記工程は、
    前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、
    前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する工程と、を含むことを特徴とする請求項１１又は１２に記載の方法。
  14. 前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する前記工程は、
    前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、
    前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記第１の特徴を決定する工程と、を含むことを特徴とする請求項１３に記載の方法。
  15. 前記特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る前記工程の前に、
    第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う工程を更に含み、前記第１のサンプル画像における目標物体の大きさが既に知られ、前記目標物体に第１の目標物体と第２の目標物体が含まれ、前記第１の目標物体の大きさと前記第２の目標物体の大きさとが異なっていることを特徴とする請求項１１〜１４のいずれか一項に記載の方法。
  16. 前記第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う前記工程は、
    前記第１のサンプル画像を前記特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、
    前記弁別器により前記第１のサンプル画像特徴に基づいて、前記第１のサンプル画像に第１の目標物体が含まれる真実性を示すための鑑別結果を得る工程と、
    前記鑑別結果と既に知られた前記第１のサンプル画像における目標物体の大きさに基づいて、前記弁別器と前記特徴抽出ネットワークのパラメータを交互に調整する工程と、を含むことを特徴とする請求項１５に記載の方法。
  17. 前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る前記工程は、
    畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、
    前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する工程と、を含むことを特徴とする請求項９又は１０に記載の方法。
  18. 前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する前記工程は、
    前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、
    前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記画像特徴を決定する工程と、を含むことを特徴とする請求項１７に記載の方法。
  19. 前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程の前に、
    ラベル付け画像特徴を備えた第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする工程を更に含むことを特徴とする請求項１７又は１８に記載の方法。
  20. 前記第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする前記工程は、
    前記第２のサンプル画像を前記畳み込みニューラルネットワークに入力して前記予測画像特徴を得る工程と、
    前記予測画像特徴と前記ラベル付け画像特徴に基づいて、前記畳み込みニューラルネットワークのパラメータを調整する工程と、を含むことを特徴とする請求項１９に記載の方法。
  21. 前記画像に基づいて前記少なくとも１つの目標に対応する少なくとも１つの候補領域を取得する前記工程は、
    ビデオから少なくとも１つのフレームの前記画像を得、前記画像に対して領域検出を実行し、前記少なくとも１つの目標に対応する前記少なくとも１つの候補領域を得る工程を含むことを特徴とする請求項９〜２０のいずれか一項に記載の方法。
  22. 前記画像に基づいて前記少なくとも１つの目標に対応する少なくとも１つの候補領域を取得する前記工程の前に、
    前記ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行って、前記少なくとも１つのフレームの画像における前記目標に対応する目標キーポイントを決定する工程と、
    前記目標キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を更に含み、
    前記画像に基づいて前記少なくとも１つの目標に対応する少なくとも１つの候補領域を取得した前記工程の後に、
    前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整して、前記少なくとも１つの目標に対応する少なくとも１つの目標候補領域を得る工程を更に含むことを特徴とする請求項２１に記載の方法。
  23. 前記目標キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る前記工程は、
    前記ビデオの連続した２つのフレームの前記画像中の各前記目標キーポイント同士の距離を基礎とする工程と、
    各前記目標キーポイント同士の距離に基づき前記ビデオ中の前記目標キーポイントのトラッキングを実現する工程と、
    前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を含むことを特徴とする請求項２２に記載の方法。
  24. 各前記目標キーポイント同士の距離に基づき前記ビデオ中の前記目標キーポイントのトラッキングを実現する前記工程は、
    各前記目標キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの前記画像における同一目標キーポイントの位置を決定する工程と、
    前記同一目標キーポイントの連続した２つのフレームの前記画像での位置により目標キーポイントの前記ビデオでのトラッキングを実現する工程と、を含むことを特徴とする請求項２２又は２３に記載の方法。
  25. 前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整して、前記少なくとも１つの目標に対応する少なくとも１つの目標候補領域を得る前記工程は、
    前記候補領域と前記キーポイント領域との重なり割合が設定割合以上であることに応答して、前記候補領域を前記目標に対応する目標候補領域とする工程と、
    前記候補領域と前記キーポイント領域との重なり割合が設定割合より小さいことに応答して、前記キーポイント領域を前記目標に対応する目標候補領域とする工程と、を含むことを特徴とする請求項２２〜２４のいずれか一項に記載の方法。
  26. 交通標識を含む画像を収集する工程と、
    前記交通標識を含む画像における少なくとも１つの交通標識に対応する少なくとも１つの候補領域特徴を取得する工程であって、各前記交通標識はそれぞれ１つの候補領域特徴に対応する、工程と、
    前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの交通標識大分類をそれぞれ類別し、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、
    前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記交通標識が前記交通標識小分類に属する類別確率を決定する工程と、を含むことを特徴とする交通標識検出方法。
  27. 前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの交通標識大分類をそれぞれ類別し、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程は、
    前記少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得る工程と、
    前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記交通標識大分類を類別して、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る工程と、を含むことを特徴とする請求項２６に記載の方法。
  28. それぞれの前記交通標識大分類カテゴリーが１つの前記第２の分類器に対応しており、
    前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記交通標識大分類を類別して、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程は、
    前記第１の確率ベクトルに基づいて、前記候補領域特徴に対応する前記交通標識大分類カテゴリーを決定する工程と、
    前記交通標識大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの交通標識小分類に対応する第２の確率ベクトルを得る工程と、を含む
    ことを特徴とする請求項２７に記載の方法。
  29. 前記交通標識大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの交通標識小分類に対応する第２の確率ベクトルを得る前記工程の前に、
    前記候補領域特徴を畳み込みニューラルネットワークにより処理し、前記処理後の候補領域特徴を前記交通標識大分類に対応する前記第２の分類器に入力する工程を更に含むことを特徴とする請求項２８に記載の方法。
  30. 前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記交通標識小分類に属する類別確率を決定する前記工程は、
    前記第１の確率ベクトルに基づいて、前記目標が前記交通標識大分類に属する第１の類別確率を決定する工程と、
    前記第２の確率ベクトルに基づいて、前記目標が前記交通標識小分類に属する第２の類別確率を決定する工程と、
    前記第１の類別確率と前記第２の類別確率を組み合わせて、前記交通標識が前記交通標識大分類中の前記交通標識小分類に属する類別確率を決定する工程と、を含むことを特徴とする請求項２６〜２９のいずれか一項に記載の方法。
  31. 前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つそれぞれの前記交通標識大分類を類別して、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得る前記工程の前に、
    サンプル候補領域特徴に基づいて交通類別ネットワークをトレーニングする工程であって、前記交通類別ネットワークは、１つの第１の分類器と、少なくとも２つの第２の分類器と、を含み、前記第２の分類器の数量が前記第１の分類器の交通標識大分類カテゴリーと等しく、前記サンプル候補領域特徴は、ラベル付け交通標識小分類カテゴリーを備えているか、又はラベル付け交通標識小分類カテゴリーとラベル付け交通標識大分類カテゴリーを備えている、工程を更に含むことを特徴とする請求項２６〜３０のいずれか一項に記載の方法。
  32. 前記サンプル候補領域特徴がラベル付け交通標識小分類カテゴリーを備えていることに応答して、前記ラベル付け交通標識小分類カテゴリーをクラスタ化することで前記サンプル候補領域特徴に対応するラベル付け交通標識大分類カテゴリーを決定することを特徴とする請求項３１に記載の方法。
  33. 前記サンプル候補領域特徴に基づいて交通類別ネットワークをトレーニングする前記工程は、
    前記サンプル候補領域特徴を前記第１の分類器に入力して予測交通標識大分類カテゴリーを得る工程と、前記予測交通標識大分類カテゴリーと前記ラベル付け交通標識大分類カテゴリーに基づいて前記第１の分類器のパラメータを調整する工程と、
    前記サンプル候補領域特徴の前記ラベル付け交通標識大分類カテゴリーに基づいて、前記サンプル候補領域特徴を前記ラベル付け交通標識大分類カテゴリーに対応する前記第２の分類器に入力して予測交通標識小分類カテゴリーを得る工程と、前記予測交通標識小分類カテゴリーと前記ラベル付け交通標識小分類カテゴリーに基づいて前記第２の分類器のパラメータを調整する工程と、を含むことを特徴とする請求項３１又は３２に記載の方法。
  34. 前記交通標識を含む画像における少なくとも１つの交通標識に対応する少なくとも１つの候補領域特徴を取得する前記工程は、
    前記交通標識を含む画像に基づいて前記少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得する工程と、
    前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る工程と、
    前記少なくとも１つの候補領域と前記画像特徴に基づいて前記交通標識を含む画像に対応する前記少なくとも１つの候補領域特徴を決定する工程と、を含むことを特徴とする請求項２６〜３３のいずれか一項に記載の方法。
  35. 前記少なくとも１つの候補領域と前記画像特徴に基づいて前記交通標識を含む画像に対応する前記少なくとも１つの候補領域特徴を決定する工程は、
    それぞれ１つの前記候補領域特徴に対応する前記少なくとも１つの候補領域に基づいて前記画像特徴から対応位置の特徴を得て、前記少なくとも１つの候補領域に対応する前記少なくとも１つの候補領域特徴を構成する工程を含むことを特徴とする請求項３４に記載の方法。
  36. 前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る前記工程は、
    特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る工程と、
    前記特徴抽出ネットワーク中の残差ネットワークにより前記画像に対して差異特徴抽出を行って差異特徴を得る工程と、
    前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る工程と、を含むことを特徴とする請求項３４又は３５に記載の方法。
  37. 前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る前記工程は、
    前記第１の特徴と前記差異特徴に対してビットごとの加算を行って前記画像に対応する画像特徴を得る工程を含むことを特徴とする請求項３６に記載の方法。
  38. 前記特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る前記工程は、
    前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、
    前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する工程と、を含むことを特徴とする請求項３６又は３７に記載の方法。
  39. 前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する前記工程は、
    前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、
    前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記第１の特徴を決定する工程と、を含むことを特徴とする請求項３８に記載の方法。
  40. 前記特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る前記工程の前に、
    第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う工程を更に含み、前記第１のサンプル画像における交通標識の大きさが既に知られ、前記交通標識に第１の交通標識と第２の交通標識が含まれ、前記第１の交通標識の大きさと前記第２の交通標識の大きさとが異なっていることを特徴とする請求項３６〜３９のいずれか一項に記載の方法。
  41. 前記第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う前記工程は、
    前記第１のサンプル画像を前記特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、
    前記弁別器により前記第１のサンプル画像特徴に基づいて、前記第１のサンプル画像に第１の交通標識が含まれる真実性を示すための鑑別結果を得る工程と、
    前記鑑別結果と既に知られた前記第１のサンプル画像における交通標識の大きさに基づいて、前記弁別器と前記特徴抽出ネットワークのパラメータを交互に調整する工程と、を含むことを特徴とする請求項４０に記載の方法。
  42. 前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得る前記工程は、
    畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、
    前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する工程と、を含むことを特徴とする請求項３４又は３５に記載の方法。
  43. 前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する前記工程は、
    前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、
    前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記画像特徴を決定する工程と、を含むことを特徴とする請求項４２に記載の方法。
  44. 前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う前記工程の前に、
    ラベル付け画像特徴を備えた第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする工程を更に含むことを特徴とする請求項４２又は４３に記載の方法。
  45. 前記第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする前記工程は、
    前記第２のサンプル画像を前記畳み込みニューラルネットワークに入力して前記予測画像特徴を得る工程と、
    前記予測画像特徴と前記ラベル付け画像特徴に基づいて、前記畳み込みニューラルネットワークのパラメータを調整する工程と、を含むことを特徴とする請求項４４に記載の方法。
  46. 前記交通標識を含む画像に基づいて前記少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得する前記工程は、
    ビデオから少なくとも１つのフレームの前記交通標識を含む画像を得、前記画像に対して領域検出を実行し、少なくとも１つの前記交通標識に対応する前記少なくとも１つの候補領域を得る工程を含むことを特徴とする請求項３４〜４５のいずれか一項に記載の方法。
  47. 前記交通標識を含む画像に基づいて前記少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得する前記工程の前に、
    前記ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行って、前記少なくとも１つのフレームの画像における前記交通標識に対応する交通標識キーポイントを決定する工程と、
    前記交通標識キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を更に含み、
    前記画像に基づいて前記少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得した前記工程の後に、
    前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整し、前記少なくとも１つの交通標識に対応する少なくとも１つの交通標識候補領域を得る工程を更に含むことを特徴とする請求項４６に記載の方法。
  48. 前記交通標識キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る前記工程は、
    前記ビデオの連続した２つのフレームの前記画像中の各前記交通標識キーポイント同士の距離を基礎とする工程と、
    各前記交通標識キーポイント同士の距離に基づき、前記ビデオ中の前記交通標識キーポイントのトラッキングを実現する工程と、
    前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、を含むことを特徴とする請求項４７に記載の方法。
  49. 各前記交通標識キーポイント同士の距離に基づき、前記ビデオ中の前記交通標識キーポイントのトラッキングを実現する前記工程は、
    各前記交通標識キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの前記画像における同一の交通標識キーポイントの位置を決定する工程と、
    前記同一交通標識キーポイントの連続した２つのフレームの前記画像での位置により交通標識キーポイントの前記ビデオでのトラッキングを実現する工程と、を含むことを特徴とする請求項４７又は４８に記載の方法。
  50. 前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整し、前記少なくとも１つの交通標識に対応する少なくとも１つの交通標識候補領域を得る前記工程は、
    前記候補領域と前記キーポイント領域との重なり割合が設定割合以上であることに応答して、前記候補領域を前記交通標識に対応する交通標識候補領域とする工程と、
    前記候補領域と前記キーポイント領域との重なり割合が設定割合より小さいことに応答して、前記キーポイント領域を前記交通標識に対応する交通標識候補領域とする工程と、を含むことを特徴とする請求項４７〜４９のいずれか一項に記載の方法。
  51. 画像における少なくとも１つの目標に対応する少なくとも１つの候補領域特徴を取得するための候補領域取得ユニットであって、前記画像は少なくとも１つの目標を含み、各目標は１つの候補領域特徴に対応する、候補領域取得ユニットと、
    前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの大分類をそれぞれ類別し、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための確率ベクトルユニットと、
    前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する類別確率を決定するための目標類別ユニットと、を含むことを特徴とする多階層化目標類別装置。
  52. 前記確率ベクトルユニットは、
    前記少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの大分類に対応する少なくとも１つの第１の確率ベクトルを得るための第１の確率モジュールと、
    前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記大分類を類別して、前記大分類中の少なくとも２つの小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための第２の確率モジュールと、を含むことを特徴とする請求項５１に記載の装置。
  53. それぞれの前記大分類カテゴリーが一つの前記第２の分類器に対応しており、
    前記第２の確率モジュールは、前記第１の確率ベクトルに基づいて、前記候補領域特徴に対応する前記大分類カテゴリーを決定する工程と、前記大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの小分類に対応する第２の確率ベクトルを得る工程と、に用いられることを特徴とする請求項５２に記載の装置。
  54. 前記確率ベクトルユニットは、更に、前記候補領域特徴を畳み込みニューラルネットワークにより処理し、前記処理後の候補領域特徴を前記大分類に対応する前記第２の分類器に入力するために用いられることを特徴とする請求項５３に記載の装置。
  55. 前記目標類別ユニットは、前記第１の確率ベクトルに基づいて、前記目標が前記大分類に属する第１の類別確率を決定する工程と、前記第２の確率ベクトルに基づいて、前記目標が前記小分類に属する第２の類別確率を決定する工程と、前記第１の類別確率と前記第２の類別確率を組み合わせて、前記目標が前記大分類中の前記小分類に属する類別確率を決定する工程と、に用いられることを特徴とする請求項５１〜５４のいずれか一項に記載の装置。
  56. サンプル候補領域特徴に基づいて類別ネットワークをトレーニングするためのネットワークトレーニングユニットであって、前記類別ネットワークは、１つの第１の分類器と、少なくとも２つの第２の分類器と、を含み、前記第２の分類器の数量が前記第１の分類器の大分類カテゴリーと等しく、前記サンプル候補領域特徴は、ラベル付け小分類カテゴリーを備えているか、又はラベル付け小分類カテゴリーとラベル付け大分類カテゴリーを備えている、ネットワークトレーニングユニットを更に含むことを特徴とする請求項５１〜５５のいずれか一項に記載の装置。
  57. 前記サンプル候補領域特徴がラベル付け小分類カテゴリーを備えていることに応答して、前記ラベル付け小分類カテゴリーをクラスタ化することで前記サンプル候補領域特徴に対応するラベル付け大分類カテゴリーを決定することを特徴とする請求項５６に記載の装置。
  58. 前記ネットワークトレーニングユニットは、サンプル候補領域特徴を前記第１の分類器に入力して予測大分類カテゴリーを得る工程と、前記予測大分類カテゴリーと前記ラベル付け大分類カテゴリーに基づいて前記第１の分類器のパラメータを調整する工程と、前記サンプル候補領域特徴の前記ラベル付け大分類カテゴリーに基づいて、前記サンプル候補領域特徴を前記ラベル付け大分類カテゴリーに対応する前記第２の分類器に入力して、予測小分類カテゴリーを得る工程と、前記予測小分類カテゴリーと前記ラベル付け小分類カテゴリーに基づいて前記第２の分類器のパラメータを調整する工程と、に用いられることを特徴とする請求項５６又は５７に記載の装置。
  59. 前記候補領域取得ユニットは、
    前記画像に基づいて前記少なくとも１つの目標に対応する少なくとも１つの候補領域を取得するための候補領域モジュールと、
    前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得るための特徴抽出モジュールと、
    前記少なくとも１つの候補領域と前記画像特徴に基づいて前記画像に対応する前記少なくとも１つの候補領域特徴を決定するための領域特徴モジュールと、を含むことを特徴とする請求項５１〜５８のいずれか一項に記載の装置。
  60. 前記候補領域モジュールは、それぞれ１つの前記候補領域特徴に対応する前記少なくとも１つの候補領域に基づいて前記画像特徴から対応位置の特徴を得て、前記少なくとも１つの候補領域に対応する前記少なくとも１つの候補領域特徴を構成するために用いられることを特徴とする請求項５９に記載の装置。
  61. 前記特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る工程と、前記特徴抽出ネットワーク中の残差ネットワークにより前記画像に対して差異特徴抽出を行って差異特徴を得る工程と、前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る工程と、に用いられることを特徴とする請求項５９又は６０に記載の装置。
  62. 前記特徴抽出モジュールは、前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る時に、前記第１の特徴と前記差異特徴に対してビットごとの加算を行って前記画像に対応する画像特徴を得るために用いられることを特徴とする請求項６１に記載の装置。
  63. 前記特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る時に、前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する工程と、に用いられることを特徴とする請求項６１又は６２に記載の装置。
  64. 前記特徴抽出モジュールは、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する時に、前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記第１の特徴を決定する工程と、に用いられることを特徴とする請求項６３に記載の装置。
  65. 前記特徴抽出モジュールは、更に、第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行うために用いられ、前記第１のサンプル画像における目標物体の大きさが既に知られ、前記目標物体に第１の目標物体と第２の目標物体が含まれ、前記第１の目標物体の大きさと前記第２の目標物体の大きさとが異なっていることを特徴とする請求項６１〜６４のいずれか一項に記載の装置。
  66. 前記特徴抽出モジュールは、第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う時に、前記第１のサンプル画像を前記特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、前記弁別器により前記第１のサンプル画像特徴に基づいて、前記第１のサンプル画像に第１の目標物体が含まれる真実性を示すための鑑別結果を得る工程と、前記鑑別結果と既に知られた前記第１のサンプル画像における目標物体の大きさに基づいて、前記弁別器と前記特徴抽出ネットワークのパラメータを交互に調整する工程と、に用いられることを特徴とする請求項６５に記載の装置。
  67. 前記特徴抽出モジュールは、畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する工程と、に用いられることを特徴とする請求項５９又は６０に記載の方法。
  68. 前記特徴抽出モジュールは、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する時に、前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記画像特徴を決定する工程と、に用いられることを特徴とする請求項６７に記載の装置。
  69. 前記特徴抽出モジュールは、更に、ラベル付け画像特徴を備えた第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングするために用いられることを特徴とする請求項６７又は６８に記載の装置。
  70. 前記特徴抽出モジュールは、第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする時に、前記第２のサンプル画像を前記畳み込みニューラルネットワークに入力して前記予測画像特徴を得る工程と、前記予測画像特徴と前記ラベル付け画像特徴に基づいて、前記畳み込みニューラルネットワークのパラメータを調整する工程と、に用いられることを特徴とする請求項６９に記載の装置。
  71. 前記候補領域モジュールは、ビデオから少なくとも１つのフレームの前記画像を得、前記画像に対して領域検出を実行し、前記少なくとも１つの目標に対応する前記少なくとも１つの候補領域を得るために用いられることを特徴とする請求項５９〜７０のいずれか一項に記載の装置。
  72. 前記候補領域取得ユニットは、
    前記ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行って、前記少なくとも１つのフレームの画像における前記目標に対応する目標キーポイントを決定するためのキーポイントモジュールと、
    前記目標キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得るためのキーポイントトラッキングモジュールと、
    前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整して、前記少なくとも１つの目標に対応する少なくとも１つの目標候補領域を得るための領域調整モジュールと、を更に含むことを特徴とする請求項７１に記載の装置。
  73. 前記キーポイントトラッキングモジュールは、前記ビデオの連続した２つのフレームの前記画像中の各前記目標キーポイント同士の距離を基礎とする工程と、各前記目標キーポイント同士の距離に基づき前記ビデオ中の前記目標キーポイントのトラッキングを実現する工程と、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、に用いられることを特徴とする請求項７２に記載の装置。
  74. 前記キーポイントトラッキングモジュールは、各前記目標キーポイント同士の距離に基づき前記ビデオ中の前記目標キーポイントのトラッキングを実現する時に、各前記目標キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの前記画像における同一目標キーポイントの位置を決定する工程と、前記同一目標キーポイントの連続した２つのフレームの前記画像での位置により目標キーポイントの前記ビデオでのトラッキングを実現する工程と、に用いられることを特徴とする請求項７２又は７３に記載の装置。
  75. 前記領域調整モジュールは、前記候補領域と前記キーポイント領域との重なり割合が設定割合以上であることに応答して、前記候補領域を前記目標に対応する目標候補領域とする工程と、前記候補領域と前記キーポイント領域との重なり割合が設定割合より小さいことに応答して、前記キーポイント領域を前記目標に対応する目標候補領域とする工程と、に用いられることを特徴とする請求項７２〜７４のいずれか一項に記載の装置。
  76. 交通標識を含む画像を収集するための画像収集ユニットと、
    前記交通標識を含む画像における少なくとも１つの交通標識に対応する少なくとも１つの候補領域特徴を取得するための交通標識領域ユニットであって、各前記交通標識はそれぞれ１つの候補領域特徴に対応する、交通標識領域ユニットと、
    前記少なくとも１つの候補領域特徴に基づいて、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得、且つ前記少なくとも２つの交通標識大分類をそれぞれ類別し、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための交通確率ベクトルユニットと、
    前記第１の確率ベクトルと前記第２の確率ベクトルに基づいて、前記交通標識が前記交通標識小分類に属する類別確率を決定するための交通標識類別ユニットと、を含むことを特徴とする交通標識検出装置。
  77. 前記交通確率ベクトルユニットは、
    前記少なくとも１つの候補領域特徴に基づいて第１の分類器により類別して、少なくとも２つの交通標識大分類に対応する少なくとも１つの第１の確率ベクトルを得るための第１の確率モジュールと、
    前記少なくとも１つの候補領域特徴に基づいて少なくとも２つの第２の分類器によりそれぞれの前記交通標識大分類を類別して、前記交通標識大分類中の少なくとも２つの交通標識小分類に対応する少なくとも１つの第２の確率ベクトルをそれぞれ得るための第２の確率モジュールと、を含むことを特徴とする請求項７６に記載の装置。
  78. それぞれの前記交通標識大分類カテゴリーが１つの前記第２の分類器に対応しており、
    前記第２の確率モジュールは、前記第１の確率ベクトルに基づいて、前記候補領域特徴に対応する前記交通標識大分類カテゴリーを決定する工程と、前記交通標識大分類に対応する前記第２の分類器に基づいて前記候補領域特徴を類別して、前記候補領域特徴が前記少なくとも２つの交通標識小分類に対応する第２の確率ベクトルを得る工程と、に用いられることを特徴とする請求項７７に記載の装置。
  79. 前記交通確率ベクトルユニットは、更に、前記候補領域特徴を畳み込みニューラルネットワークにより処理し、前記処理後の候補領域特徴を前記交通標識大分類に対応する前記第２の分類器に入力するために用いられることを特徴とする請求項７８に記載の装置。
  80. 前記交通標識類別ユニットは、前記第１の確率ベクトルに基づいて、前記目標が前記交通標識大分類に属する第１の類別確率を決定する工程と、前記第２の確率ベクトルに基づいて、前記目標が前記交通標識小分類に属する第２の類別確率を決定する工程と、前記第１の類別確率と前記第２の類別確率を組み合わせて、前記交通標識が前記交通標識大分類中の前記交通標識小分類に属する類別確率を決定する工程と、に用いられることを特徴とする請求項７６〜７９のいずれか一項に記載の装置。
  81. サンプル候補領域特徴に基づいて交通類別ネットワークをトレーニングするための交通ネットワークトレーニングユニットであって、前記交通類別ネットワークは、１つの第１の分類器と、少なくとも２つの第２の分類器と、を含み、前記第２の分類器の数量が前記第１の分類器の交通標識大分類カテゴリーと等しく、前記サンプル候補領域特徴は、ラベル付け交通標識小分類カテゴリーを備えているか、又はラベル付け交通標識小分類カテゴリーとラベル付け交通標識大分類カテゴリーを備えている、交通ネットワークトレーニングユニットを更に含むことを特徴とする請求項７６〜８０のいずれか一項に記載の装置。
  82. 前記サンプル候補領域特徴がラベル付け交通標識小分類カテゴリーを備えていることに応答して、前記ラベル付け交通標識小分類カテゴリーをクラスタ化することで前記サンプル候補領域特徴に対応するラベル付け交通標識大分類カテゴリーを決定することを特徴とする請求項８１に記載の装置。
  83. 前記交通ネットワークトレーニングユニットは、サンプル候補領域特徴を前記第１の分類器に入力して予測交通標識大分類カテゴリーを得る工程と、前記予測交通標識大分類カテゴリーと前記ラベル付け交通標識大分類カテゴリーに基づいて前記第１の分類器のパラメータを調整する工程と、前記サンプル候補領域特徴の前記ラベル付け交通標識大分類カテゴリーに基づいて、前記サンプル候補領域特徴を前記ラベル付け交通標識大分類カテゴリーに対応する前記第２の分類器に入力して予測交通標識小分類カテゴリーを得る工程と、前記予測交通標識小分類カテゴリーと前記ラベル付け交通標識小分類カテゴリーに基づいて前記第２の分類器のパラメータを調整する工程と、に用いられることを特徴とする請求項８１又は８２に記載の装置。
  84. 前記交通標識領域ユニットは、
    前記交通標識を含む画像に基づいて前記少なくとも１つの交通標識に対応する少なくとも１つの候補領域を取得するための標識候補領域モジュールと、
    前記画像に対して特徴抽出を行って前記画像に対応する画像特徴を得るための画像特徴抽出モジュールと、
    前記少なくとも１つの候補領域と前記画像特徴に基づいて前記交通標識を含む画像に対応する前記少なくとも１つの候補領域特徴を決定するためのラベル付け領域特徴モジュールと、を含むことを特徴とする請求項７６〜８３のいずれか一項に記載の装置。
  85. 前記標識候補領域モジュールは、それぞれ１つの前記候補領域特徴に対応する前記少なくとも１つの候補領域に基づいて前記画像特徴から対応位置の特徴を得て、前記少なくとも１つの候補領域に対応する前記少なくとも１つの候補領域特徴を構成するために用いられることを特徴とする請求項８４に記載の装置。
  86. 前記画像特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る工程と、前記特徴抽出ネットワーク中の残差ネットワークにより前記画像に対して差異特徴抽出を行って差異特徴を得る工程と、前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る工程と、に用いられることを特徴とする請求項８４又は８５に記載の装置。
  87. 前記画像特徴抽出モジュールは、前記第１の特徴と前記差異特徴に基づいて前記画像に対応する画像特徴を得る時に、前記第１の特徴と前記差異特徴に対してビットごとの加算を行って前記画像に対応する画像特徴を得るために用いられることを特徴とする請求項８６に記載の装置。
  88. 前記画像特徴抽出モジュールは、特徴抽出ネットワーク中の畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行って第１の特徴を得る時に、前記畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する工程と、に用いられることを特徴とする請求項８６又は８７に記載の装置。
  89. 前記画像特徴抽出モジュールは、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記第１の特徴を決定する時に、前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記第１の特徴を決定する工程と、に用いられることを特徴とする請求項８８に記載の装置。
  90. 前記画像特徴抽出モジュールは、更に、第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行うために用いられ、前記第１のサンプル画像における交通標識の大きさが既に知られ、前記交通標識に第１の交通標識と第２の交通標識が含まれ、前記第１の交通標識の大きさと前記第２の交通標識の大きさとが異なっていることを特徴とする請求項８６〜８９のいずれか一項に記載の装置。
  91. 前記画像特徴抽出モジュールは、第１のサンプル画像に基づいて、弁別器を利用して前記特徴抽出ネットワークに対してレジスタンストレーニングを行う時に、前記第１のサンプル画像を前記特徴抽出ネットワークに入力して第１のサンプル画像特徴を得る工程と、前記弁別器により前記第１のサンプル画像特徴に基づいて、前記第１のサンプル画像に第１の交通標識が含まれる真実性を示すための鑑別結果を得る工程と、前記鑑別結果と既に知られた前記第１のサンプル画像における交通標識の大きさに基づいて、前記弁別器と前記特徴抽出ネットワークのパラメータを交互に調整する工程と、に用いられることを特徴とする請求項９０に記載の装置。
  92. 前記画像特徴抽出モジュールは、畳み込みニューラルネットワークにより前記画像に対して特徴抽出を行う工程と、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する工程と、に用いられることを特徴とする請求項８４又は８５に記載の装置。
  93. 前記画像特徴抽出モジュールは、前記畳み込みニューラルネットワークの少なくとも２つの畳み込み層の出力した少なくとも２つの特徴に基づいて、前記画像に対応する前記画像特徴を決定する時に、前記少なくとも２つの畳み込み層の出力した前記少なくとも２つの特徴マップの大きさを同様にするために、前記少なくとも２つの特徴マップのうちの少なくとも一方を処理する工程と、前記少なくとも２つの同様の大きさの特徴マップに対してビットごとの加算を行って、前記画像に対応する前記画像特徴を決定する工程と、に用いられることを特徴とする請求項９２に記載の装置。
  94. 前記画像特徴抽出モジュールは、更に、ラベル付け画像特徴を備えた第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングするために用いられることを特徴とする請求項９２又は９３に記載の装置。
  95. 前記画像特徴抽出モジュールは、第２のサンプル画像に基づいて前記畳み込みニューラルネットワークをトレーニングする時に、前記第２のサンプル画像を前記畳み込みニューラルネットワークに入力して前記予測画像特徴を得る工程と、前記予測画像特徴と前記ラベル付け画像特徴に基づいて、前記畳み込みニューラルネットワークのパラメータを調整する工程と、に用いられることを特徴とする請求項９４に記載の装置。
  96. 前記標識候補領域モジュールは、ビデオから少なくとも１つのフレームの前記交通標識を含む画像を得、前記画像に対して領域検出を実行し、少なくとも１つの前記交通標識に対応する前記少なくとも１つの候補領域を得るために用いられることを特徴とする請求項８４〜９５のいずれか一項に記載の装置。
  97. 前記交通標識領域ユニットは、
    前記ビデオの少なくとも１つのフレームの画像に対してキーポイント認識を行って、前記少なくとも１つのフレームの画像における前記交通標識に対応する交通標識キーポイントを決定するための標識キーポイントモジュールと、
    前記交通標識キーポイントをトラッキングして、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得るための標識キーポイントトラッキングモジュールと、
    前記少なくとも１つのフレームの画像のキーポイント領域により前記少なくとも１つの候補領域を調整し、前記少なくとも１つの交通標識に対応する少なくとも１つの交通標識候補領域を得るための標識領域調整モジュールと、を更に含むことを特徴とする請求項９６に記載の装置。
  98. 前記標識キーポイントトラッキングモジュールは、前記ビデオの連続した２つのフレームの前記画像中の各前記交通標識キーポイント同士の距離を基礎とする工程と、各前記交通標識キーポイント同士の距離に基づき、前記ビデオ中の前記交通標識キーポイントのトラッキングを実現する工程と、前記ビデオの少なくとも１つのフレームの画像のキーポイント領域を得る工程と、に用いられることを特徴とする請求項９７に記載の装置。
  99. 前記標識キーポイントトラッキングモジュールは、各前記交通標識キーポイント同士の距離に基づき、前記ビデオ中の前記交通標識キーポイントのトラッキングを実現する時に、各前記交通標識キーポイント同士の距離の最小値に基づいて、連続した２つのフレームの前記画像における同一の交通標識キーポイントの位置を決定する工程と、前記同一交通標識キーポイントの連続した２つのフレームの前記画像での位置により交通標識キーポイントの前記ビデオでのトラッキングを実現する工程と、に用いられることを特徴とする請求項９７又は９８に記載の装置。
  100. 前記標識領域調整モジュールは、前記候補領域と前記キーポイント領域との重なり割合が設定割合以上であることに応答して、前記候補領域を前記交通標識に対応する交通標識候補領域とする工程と、前記候補領域と前記キーポイント領域との重なり割合が設定割合より小さいことに応答して、前記キーポイント領域を前記交通標識に対応する交通標識候補領域とする工程と、に用いられることを特徴とする請求項９７〜９９のいずれか一項に記載の装置。
  101. 請求項７６〜１００のいずれか一項に記載の交通標識検出装置を含むことを特徴とする車両。
  102. 請求項５１〜７５のいずれか一項に記載の多階層化目標類別装置又は請求項７６〜１００のいずれか一項に記載の交通標識検出装置を備えたプロセッサーを含むことを特徴とする電子機器。
  103. 実行可能コマンドを記憶するためのメモリと、
    前記メモリと通信して前記実行可能コマンドを実行して請求項１〜２５のいずれか一項に記載の多階層化目標類別方法又は請求項２６〜５０のいずれか一項に記載の交通標識検出方法の操作を完成するためのプロセッサーと、を含むことを特徴とする電子機器。
  104. コンピューター読取可能コマンドを記憶するためのコンピューター記憶媒体であって、前記コマンドが実行されるとき、請求項１〜２５のいずれか一項に記載の多階層化目標類別方法又は請求項２６〜５０のいずれか一項に記載の交通標識検出方法の操作が実行されることを特徴とするコンピューター記憶媒体。
  105. コンピューター可読コードを含むコンピュータープログラム製品であって、前記コンピューター可読コードが機器で実行されるとき、前記機器中のプロセッサーは請求項１〜２５のいずれか一項に記載の多階層化目標類別方法又は請求項２６〜５０のいずれか一項に記載の交通標識検出方法を実現するためのコマンドを実行することを特徴とするコンピュータープログラム製品。
JP2020573120A 2018-09-06 2019-07-31 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体 Pending JP2021530048A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201811036346.1A CN110879950A (zh) 2018-09-06 2018-09-06 多级目标分类及交通标志检测方法和装置、设备、介质
CN201811036346.1 2018-09-06
PCT/CN2019/098674 WO2020048265A1 (zh) 2018-09-06 2019-07-31 多级目标分类及交通标志检测方法和装置、设备、介质

Publications (1)

Publication Number Publication Date
JP2021530048A true JP2021530048A (ja) 2021-11-04

Family

ID=69722331

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020573120A Pending JP2021530048A (ja) 2018-09-06 2019-07-31 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体

Country Status (6)

Country Link
US (1) US20210110180A1 (ja)
JP (1) JP2021530048A (ja)
KR (1) KR20210013216A (ja)
CN (1) CN110879950A (ja)
SG (1) SG11202013053PA (ja)
WO (1) WO2020048265A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11256956B2 (en) * 2019-12-02 2022-02-22 Qualcomm Incorporated Multi-stage neural network process for keypoint detection in an image
CN112052778B (zh) * 2020-09-01 2022-04-12 腾讯科技（深圳）有限公司 一种交通标志识别方法以及相关装置
CN112132032A (zh) * 2020-09-23 2020-12-25 平安国际智慧城市科技股份有限公司 交通标志牌检测方法、装置、电子设备及存储介质
CN112633151B (zh) * 2020-12-22 2024-04-12 浙江大华技术股份有限公司 一种确定监控图像中斑马线的方法、装置、设备及介质
US11776281B2 (en) 2020-12-22 2023-10-03 Toyota Research Institute, Inc. Systems and methods for traffic light detection and classification
CN113095359B (zh) * 2021-03-05 2023-09-12 西安交通大学 一种射线图像标记信息检测方法及系统
CN113361593B (zh) * 2021-06-03 2023-12-19 阿波罗智联(北京)科技有限公司 生成图像分类模型的方法、路侧设备及云控平台
CN113516069A (zh) * 2021-07-08 2021-10-19 北京华创智芯科技有限公司 基于尺寸鲁棒的道路标识实时检测方法及装置
CN113516088B (zh) * 2021-07-22 2024-02-27 中移（杭州）信息技术有限公司 物体识别方法、装置及计算机可读存储介质
CN113837144B (zh) * 2021-10-25 2022-09-13 广州微林软件有限公司 一种冰箱的智能化图像数据采集处理方法
US11756288B2 (en) * 2022-01-05 2023-09-12 Baidu Usa Llc Image processing method and apparatus, electronic device and storage medium
CN115830399B (zh) * 2022-12-30 2023-09-12 广州沃芽科技有限公司 分类模型训练方法、装置、设备、存储介质和程序产品

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814147A (zh) * 2010-04-12 2010-08-25 中国科学院自动化研究所 一种实现场景图像的分类方法
JP2013069278A (ja) * 2011-09-23 2013-04-18 Ricoh Co Ltd 交通標識検知方法及び交通標識検知装置
JP2013529348A (ja) * 2010-06-10 2013-07-18 タタ コンサルタンシー サービシズ リミテッド 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法
JP2017516197A (ja) * 2015-03-31 2017-06-15 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 交通標識を認識する方法及び装置
JP2018026040A (ja) * 2016-08-12 2018-02-15 キヤノン株式会社 情報処理装置および情報処理方法
JP2018124689A (ja) * 2017-01-31 2018-08-09 株式会社日立製作所 移動物体検出装置、移動物体検出システム、及び移動物体検出方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8041080B2 (en) * 2009-03-31 2011-10-18 Mitsubi Electric Research Laboratories, Inc. Method for recognizing traffic signs
CN103824452B (zh) * 2013-11-22 2016-06-22 银江股份有限公司 一种轻量级的基于全景视觉的违章停车检测装置
CN103955950B (zh) * 2014-04-21 2017-02-08 中国科学院半导体研究所 一种利用关键点特征匹配的图像跟踪方法
US10387773B2 (en) * 2014-10-27 2019-08-20 Ebay Inc. Hierarchical deep convolutional neural network for image classification
CN105335710A (zh) * 2015-10-22 2016-02-17 合肥工业大学 一种基于多级分类器的精细车辆型号识别方法
CN106295568B (zh) * 2016-08-11 2019-10-18 上海电力学院 基于表情和行为双模态结合的人类自然状态情感识别方法
CN106778585B (zh) * 2016-12-08 2019-04-16 腾讯科技（上海）有限公司 一种人脸关键点跟踪方法和装置
CN108470172B (zh) * 2017-02-23 2021-06-11 阿里巴巴集团控股有限公司 一种文本信息识别方法及装置
CN106991417A (zh) * 2017-04-25 2017-07-28 华南理工大学 一种基于模式识别的视觉投影交互系统及交互方法
CN107480730A (zh) * 2017-09-05 2017-12-15 广州供电局有限公司 电力设备识别模型构建方法和系统、电力设备的识别方法
CN108229319A (zh) * 2017-11-29 2018-06-29 南京大学 基于帧间差异与卷积神经网络融合的船舶视频检测方法
CN108171762B (zh) * 2017-12-27 2021-10-12 河海大学常州校区 一种深度学习的压缩感知同类图像快速重构系统与方法
CN108363957A (zh) * 2018-01-19 2018-08-03 成都考拉悠然科技有限公司 基于级联网络的交通标志检测与识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101814147A (zh) * 2010-04-12 2010-08-25 中国科学院自动化研究所 一种实现场景图像的分类方法
JP2013529348A (ja) * 2010-06-10 2013-07-18 タタ コンサルタンシー サービシズ リミテッド 種々の交通標識を検出及び認識する照明不変且つロバストな装置及び方法
JP2013069278A (ja) * 2011-09-23 2013-04-18 Ricoh Co Ltd 交通標識検知方法及び交通標識検知装置
JP2017516197A (ja) * 2015-03-31 2017-06-15 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 交通標識を認識する方法及び装置
JP2018026040A (ja) * 2016-08-12 2018-02-15 キヤノン株式会社 情報処理装置および情報処理方法
JP2018124689A (ja) * 2017-01-31 2018-08-09 株式会社日立製作所 移動物体検出装置、移動物体検出システム、及び移動物体検出方法

Also Published As

Publication number Publication date
CN110879950A (zh) 2020-03-13
US20210110180A1 (en) 2021-04-15
KR20210013216A (ko) 2021-02-03
SG11202013053PA (en) 2021-01-28
WO2020048265A1 (zh) 2020-03-12

Similar Documents

Publication Publication Date Title
JP2021530048A (ja) 多階層化目標類別方法及び装置、交通標識検出方法及び装置、機器並びに媒体
Li et al. Line-cnn: End-to-end traffic line detection with line proposal unit
Hasegawa et al. Robust Japanese road sign detection and recognition in complex scenes using convolutional neural networks
Sirohi et al. Convolutional neural networks for 5G-enabled intelligent transportation system: A systematic review
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
Radwan et al. Multimodal interaction-aware motion prediction for autonomous street crossing
Kanagaraj et al. Deep learning using computer vision in self driving cars for lane and traffic sign detection
Romdhane et al. An improved traffic signs recognition and tracking method for driver assistance system
Šegvić et al. Exploiting temporal and spatial constraints in traffic sign detection from a moving vehicle
CN111507160B (zh) 集成从执行协同驾驶的车辆获取的行驶图像的方法及装置
Varghese et al. An efficient algorithm for detection of vacant spaces in delimited and non-delimited parking lots
Saleh et al. Traffic signs recognition and distance estimation using a monocular camera
Dewangan et al. Towards the design of vision-based intelligent vehicle system: methodologies and challenges
Maity et al. Last decade in vehicle detection and classification: a comprehensive survey
Peng et al. Real-time illegal parking detection algorithm in urban environments
Khan et al. Performance enhancement method for multiple license plate recognition in challenging environments
Azimjonov et al. Vision-based vehicle tracking on highway traffic using bounding-box features to extract statistical information
Thakur et al. Deep learning-based parking occupancy detection framework using ResNet and VGG-16
Mohanapriya Instance segmentation for autonomous vehicle
Arthi et al. Object detection of autonomous vehicles under adverse weather conditions
CN116434150A (zh) 面向拥挤场景的多目标检测跟踪方法、系统及存储介质
Imad et al. Navigation system for autonomous vehicle: A survey
Tang et al. An improved algorithm for road markings detection with SVM and ROI restriction: comparison with a rule-based model
Al Khafaji et al. Traffic Signs Detection and Recognition Using A combination of YOLO and CNN
Zarindast et al. Opportunities and challenges in vehicle tracking: a computer vision-based vehicle tracking system

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220927

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230417