JP2020042015A - 自動運転車両の位置検出方法、自動運転車両の位置検出装置及びコンピュータ読み取り可能記憶媒体 - Google Patents

自動運転車両の位置検出方法、自動運転車両の位置検出装置及びコンピュータ読み取り可能記憶媒体 Download PDF

Info

Publication number
JP2020042015A
JP2020042015A JP2019131144A JP2019131144A JP2020042015A JP 2020042015 A JP2020042015 A JP 2020042015A JP 2019131144 A JP2019131144 A JP 2019131144A JP 2019131144 A JP2019131144 A JP 2019131144A JP 2020042015 A JP2020042015 A JP 2020042015A
Authority
JP
Japan
Prior art keywords
neural network
image
network model
convolution kernel
preset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019131144A
Other languages
English (en)
Other versions
JP6782821B2 (ja
Inventor
佳佳 陳
jia jia Chen
佳佳 陳
吉 万
Ji Wan
吉 万
添 夏
Tian Xia
添 夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2020042015A publication Critical patent/JP2020042015A/ja
Application granted granted Critical
Publication of JP6782821B2 publication Critical patent/JP6782821B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Geometry (AREA)
  • Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】ターゲットスレッド画像のサイズ情報を正確に確定することができ、それによってターゲットスレッド画像のサイズ情報及び予め設定された座標系マップ情報に基づき、自動運転車両の位置を正確に確定することができる自動運転車両の位置検出方法、自動運転車両の位置検出装置及びコンピュータ読み取り可能記憶媒体を提供する。【解決手段】自動運転車両の位置検出方法、自動運転車両の位置検出装置及びコンピュータ読み取り可能記憶媒体は、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層に基づき、取得した自動運転車両の第１視覚感知画像を識別し、ターゲットスレッド画像の特徴情報を確定する。且つ細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いてターゲットスレッド画像の特徴情報を識別し、ターゲットスレッド画像のサイズ情報を確定する。【選択図】図１

Description

本願は、自動運転の技術分野に関し、特に自動運転車両の位置検出方法、自動運転車両の位置検出装置及びコンピュータ読み取り可能記憶媒体に関する。
自動運転車両の運行過程においては、自動運転車両に対して位置決めを行う必要がある。自動運転車両が検出した視覚画像におけるスレッド（線状物、例えば電柱、ゼブラゾーン又は車線等）は、自動運転車両の位置決めにおいて非常に優れた参照物になる。したがって、スレッドに関する検出技術は、自動運転分野において極めて重要である。
従来技術においては、一般的には、従来のディープラーニングアルゴリズムを用いて視覚画像におけるスレッドを検出する。
ただし、従来技術においては、視覚画像におけるスレッドが集中的で且つ細長い物体であるため、従来のディープラーニングアルゴリズムを用いて視覚画像におけるスレッドを正確に検出することができず、それによって自動運転車両の位置を正確に確定することができない。
本願は、従来技術において、自動運転車両位置の正確な確定ができないという技術的問題を解決するためになされたもので、自動運転車両の位置検出方法、自動運転車両の位置検出装置及びコンピュータ読み取り可能記憶媒体を提供する。
第１の態様において、本願が提供する自動運転車両の位置検出方法は、ターゲットスレッド画像を含む自動運転車両の第１視覚感知画像を取得することと、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層に基づき、前記第１視覚感知画像を識別し、前記ターゲットスレッド画像の特徴情報を確定することと、前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いて前記ターゲットスレッド画像の特徴情報を識別し、前記ターゲットスレッド画像のサイズ情報を確定することと、前記ターゲットスレッド画像のサイズ情報と予め設定された座標系マップ情報とをマッチングし、前記自動運転車両の位置を確定することとを含む。
一つの選択可能な実施形態において、前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いて前記ターゲットスレッド画像の特徴情報を識別し、前記ターゲットスレッド画像のサイズ情報を確定することは、
前記ターゲットスレッド画像中のターゲットスレッドの形態に沿って、前記ターゲットスレッド画像の特徴情報を等ピッチの特徴マトリックスに分割することと、前記特徴マトリックスのそれぞれと前記細長畳み込みカーネルニューラルネットワークモデルにおける細長畳み込みカーネルとに重み付け加算演算を行い、演算結果を得ることと、前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層に基づき、前記演算結果を識別し、前記ターゲットスレッド画像のサイズ情報を確定することとを含む。
一つの選択可能な実施形態において、前記ターゲットスレッド画像のサイズ情報と予め設定された座標系マップ情報とをマッチングし、前記自動運転車両の位置を確定することは、前記予め設定された座標系マップ情報を前記第１視覚感知画像に投影し、投影後の座標系マップ情報を得ることと、前記投影後の座標系マップ情報において、前記ターゲットスレッド画像のサイズ情報とマッチングするターゲット対象が存在するか否かを判断することと、前記ターゲット対象が存在すると確定すれば、前記第１視覚感知画像の撮影角度及び前記投影後の座標系マップ情報に基づき、前記自動運転車両の位置を確定することとを含む。
一つの選択可能な実施形態において、前記方法は、前記細長畳み込みカーネルニューラルネットワークモデルを取得することをさらに含む。
一つの選択可能な実施形態において、前記細長畳み込みカーネルニューラルネットワークモデルを取得することは、予め設定された視覚感知画像、前記予め設定された視覚感知画像に含まれる予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、予め設定されたニューラルネットワークモデルをトレーニングして前記細長畳み込みカーネルニューラルネットワークモデルを生成することを含む。
一つの選択可能な実施形態において、予め設定された視覚感知画像、前記予め設定された視覚感知画像に含まれる予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、予め設定されたニューラルネットワークモデルをトレーニングして前記細長畳み込みカーネルニューラルネットワークモデルを生成することは、前記予め設定された視覚感知画像及び前記予め設定されたスレッド画像の特徴情報に基づき、前記予め設定されたニューラルネットワークモデルをトレーニングして、トレーニング済みの下位層ニューラルネットワーク層がある初期細長畳み込みカーネルニューラルネットワークモデルを生成することと、前記予め設定されたスレッド画像の特徴情報及び前記予め設定されたスレッド画像のサイズ情報に基づき、前記初期細長畳み込みカーネルニューラルネットワークモデルをトレーニングして、トレーニング済みの上位層ニューラルネットワーク層及び前記トレーニング済みの下位層ニューラルネットワーク層がある最終の細長畳み込みカーネルニューラルネットワークモデルを生成することとを含む。
一つの選択可能な実施形態において、前記自動運転車両の第１視覚感知画像を取得することは、前記自動運転車両に設置された画像収集装置によって前記第１視覚感知画像を取得することを含む。
第２の態様において、本願が提供する自動運転車両の位置検出装置は、ターゲットスレッド画像を含む自動運転車両の第１視覚感知画像を取得するために用いられる第１取得モジュールと、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層に基づき、前記第１視覚感知画像を識別し、前記ターゲットスレッド画像の特徴情報を確定するために用いられる第１確定モジュールと、前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いて前記ターゲットスレッド画像の特徴情報を識別し、前記ターゲットスレッド画像のサイズ情報を確定するために用いられる第２確定モジュールと、前記ターゲットスレッド画像のサイズ情報と予め設定された座標系マップ情報とをマッチングし、前記自動運転車両の位置を確定するために用いられる第３確定モジュールとを含む。
一つの選択可能な実施形態において、前記第２確定モジュールは、前記ターゲットスレッド画像中のターゲットスレッドの形態に沿って、前記ターゲットスレッド画像の特徴情報を等ピッチの特徴マトリックスに分割するために用いられる分割ユニットと、各前記特徴マトリックスのそれぞれと前記細長畳み込みカーネルニューラルネットワークモデルにおける細長畳み込みカーネルとに重み付け加算演算を行い、演算結果を得るために用いられる演算ユニットと、前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層に基づき、前記演算結果を識別し、前記ターゲットスレッド画像のサイズ情報を確定するために用いられる第１確定ユニットとを含む。
一つの選択可能な実施形態において、前記第３確定モジュールは、前記予め設定された座標系マップ情報を前記第１視覚感知画像に投影し、投影後の座標系マップ情報を得るために用いられる投影ユニットと、前記投影後の座標系マップ情報において、前記ターゲットスレッド画像のサイズ情報とマッチングするターゲット対象が存在するか否かを判断するために用いられる判断ユニットと、前記判断ユニットが前記ターゲット対象が存在すると確定すれば、前記第１視覚感知画像の撮影角度及び前記投影後の座標系マップ情報に基づき、前記自動運転車両の位置を確定するために用いられる第２確定ユニットとを含む。
一つの選択可能な実施形態において、前記装置は、前記細長畳み込みカーネルニューラルネットワークモデルを取得するために用いられる第２取得モジュールをさらに含む。
一つの選択可能な実施形態において、前記第２取得モジュールは、予め設定された視覚感知画像、前記予め設定された視覚感知画像に含まれる予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、予め設定されたニューラルネットワークモデルをトレーニングして前記細長畳み込みカーネルニューラルネットワークモデルを生成するために用いられる。
一つの選択可能な実施形態において、前記第２取得モジュールは、前記予め設定された視覚感知画像及び前記予め設定されたスレッド画像の特徴情報に基づき、前記予め設定されたニューラルネットワークモデルをトレーニングして、トレーニング済みの下位層ニューラルネットワーク層がある初期細長畳み込みカーネルニューラルネットワークモデルを生成することと、前記予め設定されたスレッド画像の特徴情報及び前記予め設定されたスレッド画像のサイズ情報に基づき、前記初期細長畳み込みカーネルニューラルネットワークモデルをトレーニングして、トレーニング済みの上位層ニューラルネットワーク層及び前記トレーニング済みの下位層ニューラルネットワーク層がある最終の細長畳み込みカーネルニューラルネットワークモデルを生成することとに用いられる。
一つの選択可能な実施形態において、前記第１取得モジュールは、前記自動運転車両に設置された画像収集装置によって前記第１視覚感知画像を取得する。
第３の態様において、本願が提供する制御機器は、メモリとプロセッサを含み、ここで、前記メモリは、コンピュータコマンドを記憶するために用いられ、前記プロセッサは、前記メモリに記憶された前記コンピュータコマンドを実行して上記第１の態様のいずれの実施形態に記載の自動運転車両の位置検出方法を実現するために用いられる。
第４の態様において、本願が提供するコンピュータ読み取り可能記憶媒体は、コンピュータコマンドが記憶されたコンピュータ読み取り可能記憶媒体であって、前記コンピュータコマンドは、請求項１〜７のいずれか１項に記載の自動運転車両の位置検出方法を実現するために用いられる。
本願の実施例が提供する自動運転車両の位置検出方法、自動運転車両の位置検出装置、制御機器及びコンピュータ読み取り可能記憶媒体は、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層に基づくことにより、取得した自動運転車両の第１視覚感知画像を識別し、前記ターゲットスレッド画像の特徴情報を確定し、且つ前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いて前記ターゲットスレッド画像の特徴情報を識別し、前記ターゲットスレッド画像のサイズ情報を確定する。さらに、前記ターゲットスレッド画像のサイズ情報と予め設定された座標系マップ情報とをマッチングし、前記自動運転車両の位置を確定する。本願の実施例は、細長畳み込みカーネルニューラルネットワークモデルの下位層ニューラルネットワーク層及び上位層ニューラルネットワーク層を用いることにより、検出するための第１視覚感知画像を識別し、ターゲットスレッド画像のサイズ情報を正確に確定することができ、それによってターゲットスレッド画像のサイズ情報及び予め設定された座標系マップ情報に基づき、前記自動運転車両の位置を正確に確定することができる。
本願の実施例又は従来技術における技術的解決手段をより明確に説明するために、以下、本願の実施例又は従来技術に対する説明に使用すべき図面を簡単に説明する。明らかに、以下、説明される実施例は本願の一部の実施例に過ぎず、当業者であれば、本願における実施例に基づき、創造的な労力を要することなく、これらの図面から他の図面を得ることができる。
本願の一実施例が提供する自動運転車両に基づく位置検出方法のフローチャートである。 本願の別の実施例が提供する自動運転車両に基づく位置検出方法のフローチャートである。 本願の別の実施例が提供する自動運転車両に基づく位置検出方法のフローチャートである。 本願の別の実施例が提供する自動運転車両に基づく位置検出方法のフローチャートである。 本願の一実施例が提供する自動運転車両に基づく位置検出装置の構造概略図である。 本願の一実施例が提供する制御機器の構造概略図である。
まず、本願の実施例における適用シーン及び関連する専門用語の一部について、解釈又は説明を記載する。
本願の実施例が提供する自動運転車両に基づく位置検出方法、自動運転車両に基づく位置検出装置、制御機器及びコンピュータ読み取り可能記憶媒体は、自動運転車両の位置決めの適用シーンに応用されることができ、自動運転車両の位置を正確に確定することができる。
本願の実施例が提供する自動運転車両に基づく位置検出方法の実行主体は、自動運転車両に基づく位置検出装置又は制御機器（説明の利便さのために、本実施例において、実行主体を自動運転車両に基づく位置検出装置とすることを例として説明する）であってもよい。例示的に、該装置はソフトウェア及び／又はハードウェアによって実現されることができる。
本願の実施例の係るターゲットスレッド画像及び／又は予め設定されたスレッド画像は、電柱画像、ゼブラゾーン画像又は車線画像のうち、少なくとも１つを含んでもよいが、これらに限定されない。
本願の実施例の係る予め設定されたニューラルネットワークモデルは、予め設定された下位層ニューラルネットワーク層及び予め設定された上位層ニューラルネットワーク層を含んでもよいが、これらに限定されない。
本願の実施例の係る初期細長畳み込みカーネルニューラルネットワークモデルとは、予め設定されたニューラルネットワークモデルの下位層ニューラルネットワーク層をトレーニングすることにより、得られたニューラルネットワークモデルである。例示的に、初期細長畳み込みカーネルニューラルネットワークモデルは、トレーニング済みの下位層ニューラルネットワーク層及び予め設定された上位層ニューラルネットワーク層を含んでもよいが、これらに限定されない。
本願の実施例の係る細長畳み込みカーネルニューラルネットワークモデル（又は最終の細長畳み込みカーネルニューラルネットワークモデル）とは、予め設定されたニューラルネットワークモデルの下位層ニューラルネットワーク層及び上位層ニューラルネットワーク層のいずれをもトレーニングして、得られたニューラルネットワークモデルである。例示的に、細長畳み込みカーネルニューラルネットワークモデルは、トレーニング済みの下位層ニューラルネットワーク層及びトレーニング済みの上位層ニューラルネットワーク層を含んでもよいが、これらに限定されない。
例示的に、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層は、第１視覚感知画像におけるターゲットスレッド画像の特徴情報を抽出するために用いられ、細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層は、ターゲットスレッド画像のサイズ情報を識別するために、ターゲットスレッド画像の特徴情報を学習するために用いられる。
本願の実施例の係る予め設定された座標系マップ情報とは、自動運転車両に予め設定された正確な座標系マップ情報であり、それによって自動運転車両の位置を確定しやすくなる。例示的に、予め設定された座標系マップ情報をリアルタイムに更新し、又は予め設定された時間ごとに更新することができる。
本願の実施例が提供する自動運転車両に基づく位置検出方法、自動運転車両に基づく装置、制御機器及びコンピュータ読み取り可能記憶媒体は、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層及び上位層ニューラルネットワーク層を用いることにより、検出するための第１視覚感知画像を識別し、ターゲットスレッド画像のサイズ情報を確定し、それによってターゲットスレッド画像のサイズ情報及び予め設定された座標系マップ情報に基づき、自動運転車両の位置を確定し、従来技術における自動運転車両位置を正確に確定することができない技術的問題を解決する。
以下、具体的な実施例によって本願の技術的解決手段及び本願の技術的解決手段によっていかに上記技術的問題を解決するかについて詳細に説明する。以下の具体的な実施例は相互に組み合わせることができ、同じ又は類似する概念又は過程については一部の実施例において説明を省略する。
図１は本願の一実施例が提供する自動運転車両に基づく位置検出方法のフローチャートである。図１に示すとおり、本実施例が提供する自動運転車両に基づく位置検出方法は、ステップＳ１０１からステップＳ１０４を含んでもよい。
ステップＳ１０１では、自動運転車両の第１視覚感知画像を取得する。
本ステップにおいて、自動運転車両に基づく位置検出装置が、自動運転車両の第１視覚感知画像（自動運転車両周辺の環境を指示するための画像情報）を取得する。ここで、第１視覚感知画像にはターゲットスレッド画像が含まれる。
一つの実施例において、自動運転車両に基づく位置検出装置が、自動運転車両に設置された画像収集装置によって第１視覚感知画像を取得することができる。例示的に、画像収集装置は、カメラ又はレーザプローブのうち、少なくとも１つを含んでもよいが、これらに限定されない。
当然なことながら、自動運転車両に基づく位置検出装置は、さらに他の実施形態により、自動運転車両の第１視覚感知画像を取得することができ、本願の実施例においてこれを限定しない。
ステップＳ１０２では、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層に基づき、第１視覚感知画像を識別し、ターゲットスレッド画像の特徴情報を確定する。
本願の実施例において、細長畳み込みカーネルニューラルネットワークモデルは、トレーニング済みの下位層ニューラルネットワーク層及びトレーニング済みの上位層ニューラルネットワーク層を含んでもよいが、これらに限定されない。
本ステップにおいて、自動運転車両に基づく位置検出装置が、第１視覚感知画像を細長畳み込みカーネルニューラルネットワークモデルに入力し、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層によって第１視覚感知画像を識別し、それによってターゲットスレッド画像の特徴情報を確定する。
例示的に、ターゲットスレッド画像の特徴情報をマトリックス又はリストなどの形態で記憶することができ、当然なことながら、他の形態で記憶してもよいが、本願の実施例においてこれを限定しない。
ステップＳ１０３では、細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いてターゲットスレッド画像の特徴情報を識別し、ターゲットスレッド画像のサイズ情報を確定する。
本ステップにおいて、自動運転車両に基づく位置検出装置が、ターゲットスレッド画像の特徴情報を細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層に入力し、細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層によってさらにターゲットスレッド画像の特徴情報に対して特徴学習を行い、それによってターゲットスレッド画像のサイズ情報を識別する。
例示的に、ターゲットスレッド画像のサイズ情報は、ターゲットスレッド画像の終始位置及び／又は幅を含んでもよいが、これらに限定されない。
ステップＳ１０４では、ターゲットスレッド画像のサイズ情報と予め設定された座標系マップ情報とをマッチングし、自動運転車両の位置を確定する。
本ステップにおいて、例示的に、自動運転車両に基づく位置検出装置は、三次元の予め設定された座標系マップ情報を二次元の座標系マップ情報に変換することにより、ターゲットスレッド画像のサイズ情報（例えば、ターゲットスレッド画像の終始位置及び／又は幅を含んでもよいが、これらに限定されない）とマッチングすることができ、それによって自動運転車両の位置を正確に確定することができ、さらに自動運転車両の制御（例えば、自動運転車両を制御して２つの電柱の間に停止させ、自動運転車両を制御してゼブラゾーン之の前に停止させ又は自動運転車両を制御して車線と並行に走行させるなど）がやりやすくなる。
本願の実施例が提供する自動運転車両に基づく位置検出方法は、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層に基づくことにより、取得した自動運転車両の第１視覚感知画像を識別し、ターゲットスレッド画像の特徴情報を確定し、且つ細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いてターゲットスレッド画像の特徴情報を識別し、ターゲットスレッド画像のサイズ情報を確定する。さらに、ターゲットスレッド画像のサイズ情報と予め設定された座標系マップ情報とをマッチングし、自動運転車両の位置を確定する。本願の実施例は、細長畳み込みカーネルニューラルネットワークモデルの下位層ニューラルネットワーク層及び上位層ニューラルネットワーク層を用いることにより、検出するための第１視覚感知画像を識別し、ターゲットスレッド画像のサイズ情報を正確に確定することができ、それによってターゲットスレッド画像のサイズ情報及び予め設定された座標系マップ情報に基づき、自動運転車両の位置を正確に確定することができる。
図２は本願の別の実施例が提供する自動運転車両に基づく位置検出方法のフローチャートである。上記実施例を基に、本願の実施例において上記ステップＳ１０３の具体的な実施形態について説明する。図２に示すとおり、本実施例におけるステップＳ１０３は、ステップＳ１０３Ａと、ステップＳ１０３Ｂと、ステップＳ１０３Ｃとを含んでもよい。
ステップＳ１０３Ａでは、ターゲットスレッド画像中のターゲットスレッドの形態に沿って、ターゲットスレッド画像の特徴情報を等ピッチの特徴マトリックスに分割する。
本ステップにおいて、自動運転車両に基づく位置検出装置は、ターゲットスレッドの形態（例えば長さ方向又は幅方向等）に沿って、ターゲットスレッド画像の特徴情報を等ピッチの特徴マトリックスに分割する。
例えば、ターゲットスレッドの長さが５ｍで、ピッチが１ｍであれば、自動運転車両に基づく位置検出装置がターゲットスレッドの長さ方向に沿って、ターゲットスレッド画像の特徴情報を等ピッチの特徴マトリックス１、特徴マトリックス２、特徴マトリックス３、特徴マトリックス４と特徴マトリックス５に分割する。ここで、各特徴マトリックスにおける特徴情報に対応するターゲットスレッドの長さはいずれも１ｍである。
ステップＳ１０３Ｂでは、各特徴マトリックスと細長畳み込みカーネルニューラルネットワークモデルにおける細長畳み込みカーネルにそれぞれ重み付け加算演算を行い、演算結果を得る。
本ステップにおいて、自動運転車両に基づく位置検出装置は、それぞれ等ピッチ分割によって得られた各特徴マトリックスと細長畳み込みカーネルニューラルネットワークモデルにおける細長畳み込みカーネルとに加重加算演算を行い、加重加算の演算結果を得る。
例えば、等ピッチ分割によって得られた特徴マトリックスは、特徴マトリックス１、特徴マトリックス２、特徴マトリックス３、特徴マトリックス４及び特徴マトリックス５を含むと假定すると、自動運転車両に基づく位置検出装置が、特徴マトリックス１、特徴マトリックス２、特徴マトリックス３、特徴マトリックス４と特徴マトリックス５と、細長畳み込みカーネルニューラルネットワークモデルにおける細長畳み込みカーネルとに加重加算の演算を行い、それによって加重加算の演算結果を得る。
ステップＳ１０３Ｃでは、細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層に基づき、演算結果を識別し、ターゲットスレッド画像のサイズ情報を確定する。
本ステップにおいて、自動運転車両に基づく位置検出装置が、加重加算の演算結果を細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層に入力し、ターゲットスレッド画像のサイズ情報を識別するために、細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層によって加重加算の演算結果に対して特徴学習を行う。
本願の実施例が提供する自動運転車両に基づく位置検出方法は、ターゲットスレッドの形態に沿って、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層に基づき、第１視覚感知画像を識別することによって得られたターゲットスレッド画像の特徴情報を等ピッチの特徴マトリックスに分割する。さらに、各特徴マトリックスと細長畳み込みカーネルニューラルネットワークモデルにおける細長畳み込みカーネルとに加重加算の演算をそれぞれ行い、演算結果を得る。さらに、細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層に基づき、演算結果を識別し、ターゲットスレッド画像のサイズ情報を正確に確定することができ、それによってターゲットスレッド画像のサイズ情報及び予め設定された座標系マップ情報に基づき、自動運転車両の位置を正確に確定することができる。
図３は、本願の別の実施例が提供する自動運転車両に基づく位置検出方法のフローチャートである。上記実施例を基に、本願の実施例において、上記ステップＳ１０４の具体的な実施形態について説明する。図３に示すとおり、本実施例におけるステップＳ１０４は、ステップＳ１０４Ａと、ステップＳ１０４Ｂと、ステップＳ１０４Ｃとを含んでもよい。
ステップＳ１０４Ａでは、予め設定された座標系マップ情報を第１視覚感知画像に投影し、投影後の座標系マップ情報を得る。
本ステップにおいて、ターゲットスレッド画像のサイズ情報（二次元情報）と容易にマッチングするために、自動運転車両に基づく位置検出装置は、三次元の予め設定された座標系マップ情報を二次元の第１視覚感知画像に投影し、投影後の二次元座標系マップ情報を得ることができる。
ステップＳ１０４Ｂでは、投影後の座標系マップ情報において、ターゲットスレッド画像のサイズ情報とマッチングするターゲット対象が存在するか否かを判断する。
本ステップにおいて、自動運転車両に基づく位置検出装置が、ターゲットスレッド画像のサイズ情報と投影後の二次元座標系マップとをマッチングする。例示的に、自動運転車両に基づく位置検出装置が、投影後の二次元座標系マップ情報において、ターゲットスレッド画像のサイズ情報（例えば、ターゲットスレッド画像の終始位置及び／又は幅を含むが、これらに限定されない）とマッチングするターゲット対象（例えば、電柱、ゼブラゾーン又は車線を含むが、これらに限定されない）があるか否かを判断する。ターゲットスレッド画像のサイズ情報とマッチングするターゲット対象があると確定すれば、自動運転車両の位置がターゲット対象の周辺にあると確定し、それによってステップＳ１０４Ｃを実行し、自動運転車両の正確な位置を確定する。
ステップＳ１０４Ｃでは、第１視覚感知画像の撮影角度及び投影後の座標系マップ情報に基づき、自動運転車両の位置を確定する。
本ステップにおいて、自動運転車両に基づく位置検出装置が、第１視覚感知画像の撮影角度と投影後の座標系マップ情報におけるターゲット対象とを組み合わせることにより、自動運転車両の投影後の座標系マップ情報における位置を正確に確定することができる。例示的に、自動運転車両に基づく位置検出装置は、検出によって第１視覚感知画像の撮影角度で投影後の座標系マップ情報におけるターゲット対象の位置、すなわち自動運転車両の正確な位置を見ることができる。
本願の実施例において、細長畳み込みカーネルニューラルネットワークモデルの下位層ニューラルネットワーク層及び上位層ニューラルネットワーク層を用いて検出するための第１視覚感知画像を識別することにより、ターゲットスレッド画像のサイズ情報を正確に確定した後、予め設定された座標系マップ情報を第１視覚感知画像に投影し、投影後の座標系マップ情報を得る。投影後の座標系マップ情報において、ターゲットスレッド画像のサイズ情報とマッチングするターゲット対象があるか否かを判断する。ターゲットスレッド画像のサイズ情報とマッチングするターゲット対象があると確定すれば、第１視覚感知画像の撮影角度及び投影後の座標系マップ情報に基づき、自動運転車両の位置を正確に確定することができる。
図４は本願の別の実施例が提供する自動運転車両に基づく位置検出方法のフローチャートである。上記実施例を基に、本願の実施例において、上記ステップＳ１０２の前に、さらにステップＳ１００を含む。
ステップＳ１００では、細長畳み込みカーネルニューラルネットワークモデルを取得する。
本ステップにおいて、自動運転車両に基づく位置検出装置は、上記ステップＳ１０２において細長畳み込みカーネルニューラルネットワークモデルを用いる前に、細長畳み込みカーネルニューラルネットワークモデルを取得する必要がある。
本願の実施例における下記内容において、上記ステップＳ１００の具体的な実施形態について説明する。
一つの実施例において、予め設定された視覚感知画像、予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、予め設定されたニューラルネットワークモデルをトレーニングし、細長畳み込みカーネルニューラルネットワークモデルを生成する。
本願の実施例の係る予め設定されたニューラルネットワークモデルは、予め設定された下位層ニューラルネットワーク層及び予め設定された上位層ニューラルネットワーク層を含んでもよいが、これらに限定されない。
本願の実施例において、自動運転車両に基づく位置検出装置は、予め設定された視覚感知画像（予め設定されたスレッド画像を含む）、予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、ニューラルネットワークモデルが収束するまで、予め設定されたニューラルネットワークモデルをトレーニングし、それによって細長畳み込みカーネルニューラルネットワークモデルを得る。
例示的に、予め設定された視覚感知画像及び予め設定されたスレッド画像の特徴情報に基づき、予め設定されたニューラルネットワークモデルをトレーニングし、初期細長畳み込みカーネルニューラルネットワークモデルを生成し、初期細長畳み込みカーネルニューラルネットワークモデルには、トレーニング済みの下位層ニューラルネットワーク層がある。さらに、予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、初期細長畳み込みカーネルニューラルネットワークモデルをトレーニングし、最終の細長畳み込みカーネルニューラルネットワークモデルを生成し、ここで、最終の細長畳み込みカーネルニューラルネットワークモデルには、トレーニング済みの上位層ニューラルネットワーク層及びトレーニング済みの下位層ニューラルネットワーク層がある。
本願の実施例において、自動運転車両に基づく位置検出装置が、予め設定された視覚感知画像に基づき、トレーニングによって得られた特徴情報と予め設定されたスレッド画像の特徴情報が同じ又は類似する（例えば、同じ情報が占める割合が第１予め設定された割合より大きい）まで、予め設定されたニューラルネットワークモデルにおける予め設定された下位層ニューラルネットワーク層の部分をトレーニングし、それによって初期細長畳み込みカーネルニューラルネットワークモデルを得る。例示的に、初期細長畳み込みカーネルニューラルネットワークモデルは、トレーニング済みの下位層ニューラルネットワーク層及び予め設定された上位層ニューラルネットワーク層を含んでもよいが、これらに限定されない。
さらに、自動運転車両に基づく位置検出装置が、予め設定されたスレッド画像の特徴情報に基づき、トレーニングによって得られたサイズ情報と予め設定されたスレッド画像のサイズ情報が同じ又は類似する（例えば、同じ情報が占める割合が第２予め設定された割合より大きい）まで、初期細長畳み込みカーネルニューラルネットワークモデルにおける予め設定された上位層ニューラルネットワーク層の部分をトレーニングし、それによって最終の細長畳み込みカーネルニューラルネットワークモデルを得る。ここで、最終の細長畳み込みカーネルニューラルネットワークモデルには、トレーニング済みの上位層ニューラルネットワーク層及びトレーニング済みの下位層ニューラルネットワーク層がある。
当然なことながら、本願の実施例において、さらに他の実施形態によって細長畳み込みカーネルニューラルネットワークモデルを取得することができ、本願の実施例においてこれを限定しない。
本願の実施例において、細長畳み込みカーネルニューラルネットワークモデルを取得することによって、細長畳み込みカーネルニューラルネットワークモデルの下位層ニューラルネットワーク層及び上位層ニューラルネットワーク層に基づき、検出するための第１視覚感知画像を識別しやすく、ターゲットスレッド画像のサイズ情報を正確に確定することができ、それによってターゲットスレッド画像のサイズ情報及び予め設定された座標系マップ情報に基づき、自動運転車両の位置を正確に確定することができる。
図５は本願の一実施例が提供する自動運転車両に基づく位置検出装置の構造概略図である。図５に示すとおり、本願の実施例が提供する自動運転車両に基づく位置検出装置５０は、第１取得モジュール５０１と、第１確定モジュール５０２と、第２確定モジュール５０３と、第３確定モジュール５０４とを含んでもよい。
ここで、第１取得モジュール５０１は、自動運転車両の第１視覚感知画像を取得するために用いられ、ここで、第１視覚感知画像は、ターゲットスレッド画像を含む。
第１確定モジュール５０２は、細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層に基づき、第１視覚感知画像を識別し、ターゲットスレッド画像の特徴情報を確定するために用いられる。
第２確定モジュール５０３は、細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いてターゲットスレッド画像の特徴情報を識別し、ターゲットスレッド画像のサイズ情報を確定するために用いられる。
第３確定モジュール５０４は、ターゲットスレッド画像のサイズ情報と予め設定された座標系マップ情報とをマッチングし、自動運転車両の位置を確定するために用いられる。
一つの選択可能な実施形態において、第２確定モジュール５０３は、分割ユニットと、演算ユニットと、第１確定ユニットとを含む。
分割ユニットは、ターゲットスレッドの形態に沿って、ターゲットスレッド画像の特徴情報を等ピッチの特徴マトリックスに分割するために用いられる。
演算ユニットは、各特徴マトリックスと細長畳み込みカーネルニューラルネットワークモデルにおける細長畳み込みカーネルにそれぞれ加重加算の演算を行い、演算結果を得るために用いられる。
第１確定ユニットは、細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層に基づき、演算結果を識別し、ターゲットスレッド画像のサイズ情報を確定するために用いられる。
一つの選択可能な実施形態において、第３確定モジュール５０４は、投影ユニットと、判断ユニットと、第２確定ユニットとを含む。
投影ユニットは、予め設定された座標系マップ情報を第１視覚感知画像に投影し、投影後の座標系マップ情報を得るために用いられる。
判断ユニットは、投影後の座標系マップ情報において、ターゲットスレッド画像のサイズ情報とマッチングするターゲット対象が存在するか否かを判断するために用いられる。
第２確定ユニットは、判断ユニットがターゲット対象が存在すると確定すれば、第１視覚感知画像の撮影角度及び投影後の座標系マップ情報に基づき、自動運転車両の位置を確定するために用いられる。
一つの選択可能な実施形態において、自動運転車両に基づく位置検出装置５０は、さらに第２取得モジュールを含む。
第２取得モジュールは、細長畳み込みカーネルニューラルネットワークモデルを取得するために用いられる。
一つの選択可能な実施形態において、第２取得モジュールは、具体的には、予め設定された視覚感知画像、予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、予め設定されたニューラルネットワークモデルをトレーニングし、細長畳み込みカーネルニューラルネットワークモデルを生成するために用いられ、ここで、予め設定された視覚感知画像には予め設定されたスレッド画像が含まれている。
一つの選択可能な実施形態において、第２取得モジュールは、具体的には、予め設定された視覚感知画像及び予め設定されたスレッド画像の特徴情報に基づき、予め設定されたニューラルネットワークモデルをトレーニングし、初期細長畳み込みカーネルニューラルネットワークモデルを生成し、初期細長畳み込みカーネルニューラルネットワークモデルにはトレーニング済みの下位層ニューラルネットワーク層があることと、
予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、初期細長畳み込みカーネルニューラルネットワークモデルをトレーニングし、最終の細長畳み込みカーネルニューラルネットワークモデルを生成し、ここで、最終の細長畳み込みカーネルニューラルネットワークモデルにはトレーニング済みの上位層ニューラルネットワーク層及びトレーニング済みの下位層ニューラルネットワーク層があることとに用いられる。
一つの選択可能な実施形態において、第１取得モジュール５０１は、具体的には、自動運転車両における画像収集装置によって第１視覚感知画像を取得するために用いられる。
本実施例が提供する自動運転車両に基づく位置検出装置は、本願の上記自動運転車両に基づく位置検出方法実施例における技術的解決手段を解決するために用いられ、その技術原理と技術的効果が類似するため、ここでの説明を省略する。
図６は本願の一実施例が提供する制御機器の構造概略図である。例示的に、本願の実施例の制御機器は、自動運転車両のコントローラ又は自動運転車両システムのコントローラ等であってもよい。図６に示すとおり、本願の実施例が提供する制御機器６０は、メモリ６０１及びプロセッサ６０２を含んでもよい。
ここで、メモリ６０１は、コンピュータコマンドを記憶するために用いられる。
プロセッサ６０２は、メモリ６０１に記憶されたコンピュータコマンドを実行して本願の上記自動運転車両に基づく位置検出方法の実施例における技術的手段を実現するために用いられ、その技術原理と技術的効果が類似するため、ここでの説明を省略する。
本願の実施例は、さらに記憶媒体を提供し、読み取り可能な記憶媒体及びコンピュータコマンドを含み、コンピュータコマンドは、読み取り可能な記憶媒体に記憶され、コンピュータコマンドは、本願の上記自動運転車両に基づく位置検出方法の実施例における技術的手段を実現するために用いられ、その技術原理と技術的効果が類似するため、ここでの説明を省略する。
本願の実施例は、さらにコマンド運転用のチップを提供し、チップは、本願の上記自動運転車両に基づく位置検出方法の実施例における技術的手段を実現するために用いられ、その技術原理と技術的効果が類似するため、ここでの説明を省略する。
本願の実施例は、さらにプログラム製品を提供し、プログラム製品は、コンピュータプログラムを含み、コンピュータプログラムは、コンピュータ読み取り可能記憶媒体に記憶され、少なくとも１つのプロセッサは記憶媒体からコンピュータプログラムを読み取ることができ、少なくとも１つのプロセッサがコンピュータプログラムを実行する時に、本願の上記自動運転車両に基づく位置検出方法実施例における技術的解決手段を実現することができ、その技術原理と技術的効果が類似するため、ここでの説明を省略する。
上記プロセッサ６０２は中央処理ユニット（英語：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、略称：ＣＰＵ）であってもよく、他の汎用プロセッサ、デジタル信号プロセッサ（英語：Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、略称：ＤＳＰ）、専用集積回路（英語：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、略称：ＡＳＩＣ）等であってもよい。汎用プロセッサはマイクロプロセッサ又は任意の従来のプロセッサなどであってもよい。本願の実施例の開示する方法を組み合わせるステップはハードウェアプロセッサで実行して完成し、又はプロセッサにおけるハードウェア及びソフトウェアモジュールの組み合わせで実行して完成することで直接に体現できる。
当業者であれば、上記各方法の実施例におけるステップの全て又は一部をプログラムコマンドにより関連するハードウェアによって実行でき、前述したプログラムはコンピュータ読み取り可能な記憶媒体に記憶されてもよい。該プログラムは実行される場合、上記各方法の実施例を含むステップを実行する。前述した記憶媒体は、読み取り専用メモリ（英語：ｒｅａｄ−ｏｎｌｙ ｍｅｍｏｒｙ、略称：ＲＯＭ）、ＲＡＭ、フラッシュメモリ、ハードディスク、ソリッドステートドライブ、磁気テープ（英語：ｍａｇｎｅｔｉｃ ｔａｐｅ）、フロッピーディスク（英語：ｆｌｏｐｐｙ ｄｉｓｋ）、光ディスク（英語：ｏｐｔｉｃａｌ ｄｉｓｃ）及びそれらの組み合わせを含む。
最後に説明すべきことは、以上の各実施例は本願の実施例の技術的解決手段を説明するものにすぎず、それを限定するものではない。前述した各実施例を参照しながら本願の実施例について詳細に説明したが、当業者であれば、依然として前述した各実施例に記載される技術的解決手段を修正することができ、又はそのうちの一部もしくはすべての技術的特徴について均等置換を行うことができる。これらの修正又は置換は、対応する技術的解決手段の本質が本願の実施例の技術的解決手段の趣旨及び範囲から逸脱するようにさせるものではないと理解すべきである。

Claims (15)

  1. ターゲットスレッド画像を含む自動運転車両の第１視覚感知画像を取得することと、
    細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層に基づき、前記第１視覚感知画像を識別し、前記ターゲットスレッド画像の特徴情報を確定することと、
    前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いて前記ターゲットスレッド画像の特徴情報を識別し、前記ターゲットスレッド画像のサイズ情報を確定することと、
    前記ターゲットスレッド画像のサイズ情報と予め設定された座標系マップ情報とをマッチングし、前記自動運転車両の位置を確定することとを含むことを特徴とする自動運転車両の位置検出方法。
  2. 前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いて前記ターゲットスレッド画像の特徴情報を識別し、前記ターゲットスレッド画像のサイズ情報を確定することは、
    前記ターゲットスレッド画像中のターゲットスレッドの形態に沿って、前記ターゲットスレッド画像の特徴情報を等ピッチの特徴マトリックスに分割することと、
    前記特徴マトリックスのそれぞれと前記細長畳み込みカーネルニューラルネットワークモデルにおける細長畳み込みカーネルとに重み付け加算演算を行い、演算結果を得ることと、
    前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層に基づき、前記演算結果を識別し、前記ターゲットスレッド画像のサイズ情報を確定することとを含むことを特徴とする請求項１に記載の自動運転車両の位置検出方法。
  3. 前記ターゲットスレッド画像のサイズ情報と予め設定された座標系マップ情報とをマッチングし、前記自動運転車両の位置を確定することは、
    前記予め設定された座標系マップ情報を前記第１視覚感知画像に投影し、投影後の座標系マップ情報を得ることと、
    前記投影後の座標系マップ情報において、前記ターゲットスレッド画像のサイズ情報とマッチングするターゲット対象が存在するか否かを判断することと、
    前記ターゲット対象が存在すると確定すれば、前記第１視覚感知画像の撮影角度及び前記投影後の座標系マップ情報に基づき、前記自動運転車両の位置を確定することとを含むことを特徴とする請求項１又は２に記載の自動運転車両の位置検出方法。
  4. 前記細長畳み込みカーネルニューラルネットワークモデルを取得することをさらに含むことを特徴とする請求項１又は２に記載の自動運転車両の位置検出方法。
  5. 前記細長畳み込みカーネルニューラルネットワークモデルを取得することは、
    予め設定された視覚感知画像、前記予め設定された視覚感知画像に含まれる予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、予め設定されたニューラルネットワークモデルをトレーニングして前記細長畳み込みカーネルニューラルネットワークモデルを生成することを特徴とする請求項４に記載の自動運転車両の位置検出方法。
  6. 予め設定された視覚感知画像、前記予め設定された視覚感知画像に含まれる予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、予め設定されたニューラルネットワークモデルをトレーニングして前記細長畳み込みカーネルニューラルネットワークモデルを生成することは、
    前記予め設定された視覚感知画像及び前記予め設定されたスレッド画像の特徴情報に基づき、前記予め設定されたニューラルネットワークモデルをトレーニングして、トレーニング済みの下位層ニューラルネットワーク層がある初期細長畳み込みカーネルニューラルネットワークモデルを生成することと、
    前記予め設定されたスレッド画像の特徴情報及び前記予め設定されたスレッド画像のサイズ情報に基づき、前記初期細長畳み込みカーネルニューラルネットワークモデルをトレーニングして、トレーニング済みの上位層ニューラルネットワーク層及び前記トレーニング済みの下位層ニューラルネットワーク層がある最終の細長畳み込みカーネルニューラルネットワークモデルを生成することとを含むことを特徴とする請求項５に記載の自動運転車両の位置検出方法。
  7. 前記自動運転車両の第１視覚感知画像を取得することは、
    前記自動運転車両に設置された画像収集装置によって前記第１視覚感知画像を取得することを含むことを特徴とする請求項１又は２に記載の自動運転車両の位置検出方法。
  8. ターゲットスレッド画像を含む自動運転車両の第１視覚感知画像を取得するために用いられる第１取得モジュールと、
    細長畳み込みカーネルニューラルネットワークモデルにおける下位層ニューラルネットワーク層に基づき、前記第１視覚感知画像を識別し、前記ターゲットスレッド画像の特徴情報を確定するために用いられる第１確定モジュールと、
    前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層を用いて前記ターゲットスレッド画像の特徴情報を識別し、前記ターゲットスレッド画像のサイズ情報を確定するために用いられる第２確定モジュールと、
    前記ターゲットスレッド画像のサイズ情報と予め設定された座標系マップ情報とをマッチングし、前記自動運転車両の位置を確定するために用いられる第３確定モジュールとを含むことを特徴とする自動運転車両の位置検出装置。
  9. 前記第２確定モジュールは、
    前記ターゲットスレッド画像中のターゲットスレッドの形態に沿って、前記ターゲットスレッド画像の特徴情報を等ピッチの特徴マトリックスに分割するために用いられる分割ユニットと、
    各前記特徴マトリックスのそれぞれと前記細長畳み込みカーネルニューラルネットワークモデルにおける細長畳み込みカーネルとに重み付け加算演算を行い、演算結果を得るために用いられる演算ユニットと、
    前記細長畳み込みカーネルニューラルネットワークモデルにおける上位層ニューラルネットワーク層に基づき、前記演算結果を識別し、前記ターゲットスレッド画像のサイズ情報を確定するために用いられる第１確定ユニットとを含むことを特徴とする請求項８に記載の自動運転車両の位置検出装置。
  10. 前記第３確定モジュールは、
    前記予め設定された座標系マップ情報を前記第１視覚感知画像に投影し、投影後の座標系マップ情報を得るために用いられる投影ユニットと、
    前記投影後の座標系マップ情報において、前記ターゲットスレッド画像のサイズ情報とマッチングするターゲット対象が存在するか否かを判断するために用いられる判断ユニットと、
    前記判断ユニットが前記ターゲット対象が存在すると確定すれば、前記第１視覚感知画像の撮影角度及び前記投影後の座標系マップ情報に基づき、前記自動運転車両の位置を確定するために用いられる第２確定ユニットとを含むことを特徴とする請求項８又は９に記載の自動運転車両の位置検出装置。
  11. 前記細長畳み込みカーネルニューラルネットワークモデルを取得するために用いられる第２取得モジュールをさらに含むことを特徴とする請求項８又は９に記載の自動運転車両の位置検出装置。
  12. 前記第２取得モジュールは、
    予め設定された視覚感知画像、前記予め設定された視覚感知画像に含まれる予め設定されたスレッド画像の特徴情報及び予め設定されたスレッド画像のサイズ情報に基づき、予め設定されたニューラルネットワークモデルをトレーニングして前記細長畳み込みカーネルニューラルネットワークモデルを生成するために用いられることを特徴とする請求項１１に記載の自動運転車両の位置検出装置。
  13. 前記第２取得モジュールは、
    前記予め設定された視覚感知画像及び前記予め設定されたスレッド画像の特徴情報に基づき、前記予め設定されたニューラルネットワークモデルをトレーニングして、トレーニング済みの下位層ニューラルネットワーク層がある初期細長畳み込みカーネルニューラルネットワークモデルを生成することと、
    前記予め設定されたスレッド画像の特徴情報及び前記予め設定されたスレッド画像のサイズ情報に基づき、前記初期細長畳み込みカーネルニューラルネットワークモデルをトレーニングして、トレーニング済みの上位層ニューラルネットワーク層及び前記トレーニング済みの下位層ニューラルネットワーク層がある最終の細長畳み込みカーネルニューラルネットワークモデルを生成することとに用いられることを特徴とする請求項１２に記載の自動運転車両の位置検出装置。
  14. 前記第１取得モジュールは、
    前記自動運転車両に設置された画像収集装置によって前記第１視覚感知画像を取得することを特徴とする請求項８又は９に記載の自動運転車両の位置検出装置。
  15. コンピュータコマンドが記憶されたコンピュータ読み取り可能記憶媒体であって、
    前記コンピュータコマンドは、請求項１〜７のいずれか１項に記載の自動運転車両の位置検出方法を実現するために用いられることを特徴とするコンピュータ読み取り可能記憶媒体。
JP2019131144A 2018-09-11 2019-07-16 自動運転車両の位置検出方法、自動運転車両の位置検出装置及びコンピュータ読み取り可能記憶媒体 Active JP6782821B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811056854.6A CN109345589A (zh) 2018-09-11 2018-09-11 基于自动驾驶车辆的位置检测方法、装置、设备及介质
CN201811056854.6 2018-09-11

Publications (2)

Publication Number Publication Date
JP2020042015A true JP2020042015A (ja) 2020-03-19
JP6782821B2 JP6782821B2 (ja) 2020-11-11

Family

ID=65305324

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019131144A Active JP6782821B2 (ja) 2018-09-11 2019-07-16 自動運転車両の位置検出方法、自動運転車両の位置検出装置及びコンピュータ読み取り可能記憶媒体

Country Status (4)

Country Link
US (1) US11170525B2 (ja)
EP (1) EP3614307A1 (ja)
JP (1) JP6782821B2 (ja)
CN (1) CN109345589A (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111912416B (zh) * 2019-05-07 2022-07-29 北京市商汤科技开发有限公司 用于设备定位的方法、装置及设备
CN110135356A (zh) * 2019-05-17 2019-08-16 北京百度网讯科技有限公司 违章停车的检测方法及装置、电子设备、计算机可读介质
CN110347043B (zh) * 2019-07-15 2023-03-10 武汉天喻信息产业股份有限公司 一种智能驾驶控制方法及装置
CN111339834B (zh) * 2020-02-04 2023-06-02 浙江大华技术股份有限公司 车辆行驶方向的识别方法、计算机设备及存储介质
CN111221340B (zh) * 2020-02-10 2023-04-07 电子科技大学 一种基于粗粒度特征的可迁移视觉导航设计方法
CN111311675B (zh) * 2020-02-11 2022-09-16 腾讯科技（深圳）有限公司 车辆定位方法、装置、设备和存储介质
CN111414818A (zh) * 2020-03-09 2020-07-14 北京三快在线科技有限公司 一种基于环境图像的定位方法及装置
CN111401194B (zh) * 2020-03-10 2023-09-22 北京百度网讯科技有限公司 用于自动驾驶车辆的数据处理方法和装置
CN112598731B (zh) * 2020-10-28 2021-11-23 禾多科技（北京）有限公司 车辆定位方法、装置、电子设备和计算机可读介质
CN112883983B (zh) * 2021-02-09 2024-06-14 北京迈格威科技有限公司 特征提取方法、装置和电子系统
CN113112847A (zh) * 2021-04-12 2021-07-13 蔚来汽车科技(安徽)有限公司 用于固定泊车场景的车辆定位方法及其系统
CN113591843B (zh) * 2021-07-12 2024-04-09 中国兵器工业计算机应用技术研究所 仿初级视觉皮层的目标检测方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017533482A (ja) * 2015-09-10 2017-11-09 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車線データの処理方法、装置、記憶媒体及び機器
CN108197619A (zh) * 2017-12-27 2018-06-22 百度在线网络技术（北京）有限公司 一种基于招牌图像的定位方法、装置、设备和存储介质
EP3343172A1 (en) * 2017-01-03 2018-07-04 iOnRoad Technologies Ltd. Creation and use of enhanced maps

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4760715B2 (ja) * 2004-12-28 2011-08-31 株式会社豊田中央研究所 車両運動制御装置
JP4720386B2 (ja) * 2005-09-07 2011-07-13 株式会社日立製作所 運転支援装置
US8050458B2 (en) * 2007-06-18 2011-11-01 Honda Elesys Co., Ltd. Frontal view imaging and control device installed on movable object
JP4939564B2 (ja) * 2009-03-23 2012-05-30 本田技研工業株式会社 車両用情報提供装置
DE102009049849B4 (de) * 2009-10-19 2020-09-24 Apple Inc. Verfahren zur Bestimmung der Pose einer Kamera, Verfahren zur Erkennung eines Objekts einer realen Umgebung und Verfahren zur Erstellung eines Datenmodells
US8509526B2 (en) * 2010-04-13 2013-08-13 International Business Machines Corporation Detection of objects in digital images
JP5872923B2 (ja) * 2012-02-22 2016-03-01 株式会社マイクロネット Ａｒ画像処理装置及び方法
US9171213B2 (en) * 2013-03-15 2015-10-27 Xerox Corporation Two-dimensional and three-dimensional sliding window-based methods and systems for detecting vehicles
US9406145B2 (en) * 2014-01-31 2016-08-02 Applied Concepts, Inc. Mobile radar and visual tracking coordinate transformation
KR102366402B1 (ko) * 2015-05-21 2022-02-22 엘지전자 주식회사 운전자 보조 장치 및 그 제어방법
US10373338B2 (en) * 2015-05-27 2019-08-06 Kyocera Corporation Calculation device, camera device, vehicle, and calibration method
EP3324359B1 (en) * 2015-08-21 2019-10-02 Panasonic Intellectual Property Management Co., Ltd. Image processing device and image processing method
WO2017042907A1 (ja) * 2015-09-09 2017-03-16 三菱電機株式会社 航法装置および測量システム
US9965719B2 (en) * 2015-11-04 2018-05-08 Nec Corporation Subcategory-aware convolutional neural networks for object detection
US9727793B2 (en) * 2015-12-15 2017-08-08 Honda Motor Co., Ltd. System and method for image based vehicle localization
CN105631880B (zh) * 2015-12-31 2019-03-22 百度在线网络技术（北京）有限公司 车道线分割方法和装置
EP3495907A4 (en) * 2016-08-03 2019-10-23 SZ DJI Osmo Technology Co., Ltd. METHOD AND SYSTEM FOR SUPPORT CONTROL
US10304191B1 (en) * 2016-10-11 2019-05-28 Zoox, Inc. Three dimensional bounding box estimation from two dimensional images
JP6828428B2 (ja) * 2016-12-27 2021-02-10 株式会社デンソー 車両用衝突回避支援装置および車両の衝突回避支援方法
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US10796204B2 (en) * 2017-02-27 2020-10-06 Huawei Technologies Co., Ltd. Planning system and method for controlling operation of an autonomous vehicle to navigate a planned path
JP6613265B2 (ja) * 2017-06-01 2019-11-27 本田技研工業株式会社 予測装置、車両、予測方法およびプログラム
US10325373B2 (en) * 2017-09-07 2019-06-18 Here Global B.V. Method, apparatus, and system for constructing a polygon from edges for object detection
US10754339B2 (en) * 2017-09-11 2020-08-25 Baidu Usa Llc Dynamic programming and quadratic programming based decision and planning for autonomous driving vehicles
US10515321B2 (en) * 2017-09-11 2019-12-24 Baidu Usa Llc Cost based path planning for autonomous driving vehicles
US10331135B2 (en) * 2017-11-22 2019-06-25 GM Global Technology Operations LLC Systems and methods for maneuvering around obstacles in autonomous vehicles
US10816990B2 (en) * 2017-12-21 2020-10-27 Baidu Usa Llc Non-blocking boundary for autonomous vehicle planning
CN108009524B (zh) * 2017-12-25 2021-07-09 西北工业大学 一种基于全卷积网络的车道线检测方法
CN108090456B (zh) * 2017-12-27 2020-06-19 北京初速度科技有限公司 识别车道线模型的训练方法、车道线识别方法及装置
CN110057352B (zh) * 2018-01-19 2021-07-16 北京图森智途科技有限公司 一种相机姿态角确定方法及装置
WO2020014683A1 (en) * 2018-07-13 2020-01-16 Kache.AI Systems and methods for autonomous object detection and vehicle following
KR102483649B1 (ko) * 2018-10-16 2023-01-02 삼성전자주식회사 차량 위치 결정 방법 및 차량 위치 결정 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017533482A (ja) * 2015-09-10 2017-11-09 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 車線データの処理方法、装置、記憶媒体及び機器
EP3343172A1 (en) * 2017-01-03 2018-07-04 iOnRoad Technologies Ltd. Creation and use of enhanced maps
CN108197619A (zh) * 2017-12-27 2018-06-22 百度在线网络技术（北京）有限公司 一种基于招牌图像的定位方法、装置、设备和存储介质

Also Published As

Publication number Publication date
EP3614307A1 (en) 2020-02-26
CN109345589A (zh) 2019-02-15
US11170525B2 (en) 2021-11-09
JP6782821B2 (ja) 2020-11-11
US20190340783A1 (en) 2019-11-07

Similar Documents

Publication Publication Date Title
JP2020042015A (ja) 自動運転車両の位置検出方法、自動運転車両の位置検出装置及びコンピュータ読み取り可能記憶媒体
JP2020125102A (ja) ライダ、レーダ及びカメラセンサのデータを使用する強化学習に基づく自律走行時の最適化されたリソース割当てのための方法及び装置
US10417781B1 (en) Automated data capture
CN109891189B (zh) 策划的摄影测量
JP6817384B2 (ja) 自動運転車両の視覚感知方法、自動運転車両の視覚感知装置、制御機器及びコンピュータ読み取り可能な記憶媒体
US9466107B2 (en) Bundle adjustment based on image capture intervals
WO2019179441A1 (zh) 智能设备的焦点跟随方法、装置、智能设备及存储介质
US20210183083A1 (en) Self-supervised depth estimation method and system
US11193790B2 (en) Method and system for detecting changes in road-layout information
KR102234461B1 (ko) ２ｄ 지도를 이용하여 거리뷰 이미지의 깊이 정보를 생성하는 방법 및 시스템
KR20190050876A (ko) 객체 트래킹 방법 및 장치
JP2020042781A (ja) 多焦点距離視覚に基づく障害物感知方法、装置、設備及び記憶媒体
KR102436730B1 (ko) 가상 스크린의 파라미터 추정 방법 및 장치
US11461980B2 (en) Methods and systems for providing a tutorial for graphic manipulation of objects including real-time scanning in an augmented reality
US20130274987A1 (en) Luggage case and luggage case moving method
US20150356780A1 (en) Method for providing real time guidance to a user and a system thereof
EP3827223A1 (en) Verifying map data using challenge questions
JP2015031978A (ja) 情報提供装置及び方法
CN115299031A (zh) 自动对焦方法及其相机系统
JP2022081613A (ja) 自動運転特徴の特定方法、装置、設備、媒体及びコンピュータプログラム
GB2589178A (en) Cross-domain metric learning system and method
US11314968B2 (en) Information processing apparatus, control method, and program
KR102581154B1 (ko) 모델 앙상블을 이용한 객체 탐지 방법 및 장치
JP2018536494A5 (ja)
JP2009044631A (ja) 物体検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201020

R150 Certificate of patent or registration of utility model

Ref document number: 6782821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250