JP2020122784A - 経路プランニングのための自律走行車両の位置を決定する方法及び装置 - Google Patents

経路プランニングのための自律走行車両の位置を決定する方法及び装置 Download PDF

Info

Publication number
JP2020122784A
JP2020122784A JP2020008771A JP2020008771A JP2020122784A JP 2020122784 A JP2020122784 A JP 2020122784A JP 2020008771 A JP2020008771 A JP 2020008771A JP 2020008771 A JP2020008771 A JP 2020008771A JP 2020122784 A JP2020122784 A JP 2020122784A
Authority
JP
Japan
Prior art keywords
feature map
coordinates
live
specific
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020008771A
Other languages
English (en)
Other versions
JP6986769B2 (ja
Inventor
− ヒョン キム、ケイ
Kye-Hyeon Kim
− ヒョン キム、ケイ
キム、ヨンジュン
Young Jun Kim
− キョン キム、ハク
Hak-Kyoung Kim
− キョン キム、ハク
ナム、ウヒョン
Woonhyu Nam
ブー、ソッフン
Sukhoon Boo
ソン、ミュンチュル
Myungchul Sung
シン、ドンス
Dongsoo Shin
ヨー、ドンフン
Donghun Yeo
リュー、ウジュ
Wooju Ryu
− チュン イ、ミョン
Myeong-Chun Lee
− チュン イ、ミョン
イ、ヒョンス
Hyungsoo Lee
チャン、テウン
Taewoong Jang
ジョン、キュンチョン
Kyungjoong Jeong
チェ、ホンモ
Hongmo Je
チョウ、ホジン
Hojin Cho
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020122784A publication Critical patent/JP2020122784A/ja
Application granted granted Critical
Publication of JP6986769B2 publication Critical patent/JP6986769B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Abstract

【課題】自律走行が可能な対象車両の位置を検出する方法を提供する。【解決手段】方法は、対象車両の状況に対応するライブイメージ処理によって生成した一つ以上のライブ特徴マップについて、各リファレンス物体に対応する一つ以上の各リファレンス特徴マップ及びライブ特徴マップとを参照して、対象車両の少なくとも一つの位置及び少なくとも一つの姿勢に対応する対象データ領域に含まれる一つ以上のリファレンス物体ごとにライブ特徴マップの、各特徴マップ座標を検出し、ライブイメージ上の各リファレンス物体のイメージ座標を検出し、リアル世界におけるリファレンス物体の一つ以上の３次元座標と、イメージ座標と、ライブイメージを取得したカメラのパラメータに関する情報と、対象車両の姿勢に関する情報と、を参照して、対象車両の少なくとも一つの最適化対象座標を検出する。【選択図】図２

Description

アテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを検出し、経路プランニングのための自律走行車両の位置を決定する方法及び装置｛ＭＥＴＨＯＤ ＡＮＤ ＤＥＶＩＣＥ ＦＯＲ ＬＯＣＡＬＩＺＡＴＩＯＮ ＯＦ ＡＵＴＯＮＯＭＯＵＳ ＶＥＨＩＣＬＥ ＦＯＲ ＲＯＵＴＥ ＰＬＡＮＮＩＮＧ ＢＹ ＵＳＩＮＧ ＡＴＴＥＮＴＩＯＮ−ＤＲＩＶＥＮ ＬＡＮＤＭＡＲＫ ＤＥＴＥＣＴＩＯＮ｝を提供する。
本発明は、自律走行車両とともに使用するための方法及び装置に関し、より具体的に経路プランニングに使用されるアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを検出し、自律走行車両の位置情報を取得する方法及び装置に関する。
ここで、アテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムとは、対象周辺の状況に関する情報を使用する方式のアルゴリズムを意味し得る。
自律走行分野において、自律走行をプランニングするためには、自律走行車両が正確にどの位置に存在するのかを判断することが極めて重要である。しかしながら、自律走行車両の位置を判断するために現在常用されているＧＰＳの正確度は、自律走行に使用され得る程度に高くないため問題となる。
このような問題点を克服するために、従来にはＧＰＳを介して取得した位置情報を直接的に補正する方法が存在していたが、これは多くのコンピューティングリソースを要するところ、基本的な自律走行のみでも十分負荷が大きい状況で問題となり得る。
本発明は、上述した問題点を解決することを目的とする。
本発明は、経路プランニングのために使用され得る自律走行車両の位置を、アテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを検出する方法を提供することによって、より正確な自律走行が行われ得るようにすることを他の目的とする。
また、本発明は、ライブイメージ上でリファレンス物体の位置情報とリアル世界においてリファレンス物体の他の位置情報とを参照して、自律走行車両の位置情報を検出し得るようにすることをまた他の目的とする。
また、本発明は、ライブイメージに対応するライブ特徴マップ上でリファレンス物体の位置情報を検出し得るようにするＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を提供することをまた他の目的とする。
また、本発明は、ライブイメージ上でリファレンス物体の位置情報を検出し得るようにする他のＣＮＮを提供することをまた別の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、ランドマーク検出を使用して自律走行が可能な対象車両の位置を検出する方法において、（ａ）コンピューティング装置が、コンピューティング装置と連動する対象車両の状況に対応する少なくとも一つのライブイメージを処理することによって生成された一つ以上のライブ特徴マップを取得した場合、（ｉ）それぞれのリファレンス物体に対応する一つ以上のそれぞれのリファレンス特徴マップと（ｉｉ）前記ライブ特徴マップとを参照して、前記ライブ特徴マップが取得された前記対象車両の少なくとも一つの位置及び少なくとも一つの姿勢に対応する対象データ領域に含まれている一つ以上のリファレンス物体ごとに前記ライブ特徴マップのそれぞれの特徴マップ座標を検出する段階；（ｂ）前記コンピューティング装置が、前記特徴マップ座標それぞれを参照して、前記ライブイメージ上の前記それぞれのリファレンス物体のイメージ座標それぞれを検出する段階；及び（ｃ）前記コンピューティング装置が、リアル世界における前記リファレンス物体の一つ以上の３次元座標と、前記イメージ座標と、前記ライブイメージを取得したカメラのパラメータに関する情報と、前記対象車両の前記姿勢に関する情報とを参照して、前記対象車両の少なくとも一つの最適化対象座標を検出する段階；を含むことを特徴とする方法が提供される。
一実施例において、前記（ｃ）段階は、前記コンピューティング装置が、前記イメージ座標と、前記３次元座標と、前記パラメータに関する情報と、前記姿勢に関する情報とともに下記数式を使用して、前記最適化対象座標を検出し、
一実施例において、前記（ｃ）段階は、前記コンピューティング装置が、前記数式に対応する最適化問題を解決することによって前記最適化対象座標を検出し、前記コンピューティング装置が、（ｉ）（ｉ−１）前記対象車両の少なくとも一つのジャイロセンサを介して取得された前記姿勢に関する情報を参照して、前記回転マトリクスを初期化するプロセスを遂行して、初期化された回転マトリクスを生成し、（ｉ−２）前記対象車両のＧＰＳを介して取得された初期対象座標を参照して、前記最適化対象座標を取得するのに使用される対象座標マトリクスを初期化することによって、初期化された対象座標マトリクスを生成するプロセスを遂行した後、（ｉｉ）前記初期化された回転マトリクス及び前記初期化された対象座標マトリクスが提供された状態で、前記数式を最小化する初期化された対角マトリクスを見出して前記対角マトリクスを初期化するプロセスを遂行し、以後、（ｉｉｉ）前記初期化された回転マトリクス、前記初期化された対象座標マトリクス、及び前記初期化された対角マトリクスの各値を調整することによって、前記数式を最小化する、最適化回転マトリクスと、最適化対象座標マトリクスと、最適化対角マトリクスとを見出すプロセスを遂行することによって、前記最適化問題を解いた後、前記最適化された対象座標マトリクスを参照して前記最適化された対象座標を検出することを特徴とする方法が提供される。
一実施例において、前記（ａ）段階は、前記コンピューティング装置が、（ｉ）特定の

チャンネル単位でコンカチネートされることによって生成された特定の統合特徴マップが取得されると、第１ＣＮＮをもって、前記特定の統合特徴マップに少なくとも一つの第１ＣＮＮ演算を適用させることによって、前記ライブ特徴マップの部分ライブ特徴マップの中から特定の部分ライブ特徴マップを見出し、前記特定の部分ライブ特徴マップは、前記特定のリファレンス特徴マップと関連して類似性点数が閾値より大きいことを特徴とし、前記ライブ特徴マップにある前記特定の部分ライブ特徴マップの相対的な位置に関する情報を参照して、前記特徴マップ座標の中から特定の特徴マップ座標を検出させることを特徴とする方法が提供される。
一実施例において、前記第１ＣＮＮは、前記特定の統合特徴マップに前記第１ＣＮＮ演算を適用する以前に学習が完了し、前記第１ＣＮＮは、（ｉ）学習用統合特徴マップに前記第１ＣＮＮ演算を適用して、学習用前記ライブ特徴マップの一つ以上のそれぞれの学習用部分ライブ特徴マップと学習用リファレンス特徴マップとの間の一つ以上の予測類似度点数それぞれを生成するプロセスを遂行した後、（ｉｉ）前記予測類似度点数及びこれに対応する原本正解類似度点数を参照して第１ロスを生成し、前記第１ロスを使用してバックプロパゲーションを遂行するプロセスを遂行することで学習が完了した状態であることを特徴とする方法が提供される。
一実施例において、前記（ｂ）段階は、前記コンピューティング装置が、（ｉ）（ｉ−１）前記特定の特徴マップ座標に対応する特定の部分ライブ特徴マップと（ｉ−２）これに対応する特定のリファレンス特徴マップとを統合することによって生成された、特定の部分統合特徴マップを参照して、前記ライブイメージにおいて特定の特徴マップ座標に対応する、特定のサブ領域上における特定のリファレンス物体の特定のサブ領域座標を検出し、（ｉｉ）前記特定のサブ領域座標及び前記特定の特徴マップ座標を参照して、前記イメージ座標の中から特定のイメージ座標を検出することを特徴とする方法が提供される。
一実施例において、前記（ｂ）段階は、前記コンピューティング装置が、第２ＣＮＮをもって、前記特定の部分統合特徴マップに、タンジェントハイパボリック（ｔａｎｇｅｎｔ ｈｙｐｅｒｂｏｌｉｃ）演算をアクティベーション関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）として使用する少なくとも一つの第２ＣＮＮ演算を適用して、前記特定のサブ領域座標を検出させることを特徴とする方法が提供される。
一実施例において、前記第２ＣＮＮは、前記特定の部分統合特徴マップに前記第２ＣＮＮ演算を適用する以前に学習が完了し、前記第２ＣＮＮは、（ｉ）学習用部分統合特徴マップに前記第２ＣＮＮ演算を適用して、前記学習用部分統合特徴マップに対応する学習用リファレンス物体の学習用予測サブ領域座標を生成するプロセスを遂行した後、（ｉｉ）前記予測サブ領域座標及びこれに対応する原本正解サブ領域座標を参照して、第２ロスを生成し、前記第２ロスを使用してバックプロパゲーションを遂行するプロセスを遂行して学習が完了することを特徴とする方法が提供される。
一実施例において、前記（ａ）段階は、前記ライブイメージが前記対象車両に搭載された前記カメラを介して取得された後、自律走行モジュールが前記対象車両の自律走行を遂行する間、前記ライブイメージは、前記自律走行モジュールに伝達されて前記ライブ特徴マップが生成され、以後、前記ライブ特徴マップが前記コンピューティング装置に伝達されることを特徴とする方法が提供される。
一実施例において、前記（ａ）段階は、前記コンピューティング装置が、前記対象車両に搭載されたＧＰＳを介して取得された初期対象座標及び前記対象車両の前記姿勢に関する情報を利用して、クエリをＨＤ（Ｈｉｇｈ−Ｄｅｎｓｉｔｙ）マップに伝送することによって、前記リファレンス特徴マップを含む前記対象データ領域に関する情報を取得することを特徴とする方法が提供される。
本発明の他の態様によると、ランドマーク検出を使用して自律走行が可能な対象車両の位置を検出するコンピューティング装置において、少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）コンピューティング装置と連動する対象車両の状況に対応する少なくとも一つのライブイメージを処理することによって生成された一つ以上のライブ特徴マップを取得した場合、（ｉ）それぞれのリファレンス物体に対応する一つ以上のそれぞれのリファレンス特徴マップと（ｉｉ）前記ライブ特徴マップとを参照して、前記ライブ特徴マップが取得された前記対象車両の少なくとも一つの位置及び少なくとも一つの姿勢に対応する対象データ領域に含まれている一つ以上のリファレンス物体ごとに前記ライブ特徴マップのそれぞれの特徴マップ座標を検出するプロセス；（ＩＩ）前記特徴マップ座標それぞれを参照して、前記ライブイメージ上の前記それぞれのリファレンス物体のイメージ座標それぞれを検出するプロセス；及び（ＩＩＩ）リアル世界における前記リファレンス物体の一つ以上の３次元座標と、前記イメージ座標と、前記ライブイメージを取得したカメラのパラメータに関する情報と、前記対象車両の前記姿勢に関する情報とを参照して、前記対象車両の少なくとも一つの最適化対象座標を検出するプロセス；を遂行することを特徴とする装置が提供される。
一実施例において、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記イメージ座標と、前記３次元座標と、前記パラメータに関する情報と、前記姿勢に関する情報とともに下記数式を使用して、前記最適化対象座標を検出し、
一実施例において、前記（ＩＩＩ）プロセスは、前記プロセッサが、前記数式に対応する最適化問題を解決することによって前記最適化対象座標を検出し、前記プロセッサが、（ｉ）（ｉ−１）前記対象車両の少なくとも一つのジャイロセンサを介して取得された前記姿勢に関する情報を参照して、前記回転マトリクスを初期化するプロセスを遂行して、初期化された回転マトリクスを生成し、（ｉ−２）前記対象車両のＧＰＳを介して取得された初期対象座標を参照して、前記最適化対象座標を取得するのに使用される対象座標マトリクスを初期化することによって、初期化された対象座標マトリクスを生成するプロセスを遂行した後、（ｉｉ）前記初期化された回転マトリクス及び前記初期化された対象座標マトリクスが提供された状態で、前記数式を最小化する初期化された対角マトリクスを見出して前記対角マトリクスを初期化するプロセスを遂行し、以後、（ｉｉｉ）前記初期化された回転マトリクス、前記初期化された対象座標マトリクス、及び前記初期化された対角マトリクスの各値を調整することによって、前記数式を最小化する、最適化回転マトリクスと、最適化対象座標マトリクスと、最適化対角マトリクスとを見出すプロセスを遂行することによって、前記最適化問題を解いた後、前記最適化された対象座標マトリクスを参照して前記最適化された対象座標を検出することを特徴とする装置が提供される。
一実施例において、前記第１ＣＮＮは、前記特定の統合特徴マップに前記第１ＣＮＮ演算を適用する以前に学習が完了し、前記第１ＣＮＮは、（ｉ）学習用統合特徴マップに前記第１ＣＮＮ演算を適用して、学習用前記ライブ特徴マップの一つ以上のそれぞれの学習用部分ライブ特徴マップと学習用リファレンス特徴マップとの間の一つ以上の予測類似度点数それぞれを生成するプロセスを遂行した後、（ｉｉ）前記予測類似度点数及びこれに対応する原本正解類似度点数を参照して第１ロスを生成し、前記第１ロスを使用してバックプロパゲーションを遂行するプロセスを遂行することで学習が完了した状態であることを特徴とする装置が提供される。
一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、（ｉ）（ｉ−１）前記特定の特徴マップ座標に対応する特定の部分ライブ特徴マップと（ｉ−２）これに対応する特定のリファレンス特徴マップとを統合することによって生成された、特定の部分統合特徴マップを参照して、前記ライブイメージにおいて特定の特徴マップ座標に対応する、特定のサブ領域上における特定のリファレンス物体の特定のサブ領域座標を検出し、（ｉｉ）前記特定のサブ領域座標及び前記特定の特徴マップ座標を参照して、前記イメージ座標の中から特定のイメージ座標を検出することを特徴とする装置が提供される。
一実施例において、前記（ＩＩ）プロセスは、前記プロセッサが、第２ＣＮＮをもって、前記特定の部分統合特徴マップに、タンジェントハイパボリック（ｔａｎｇｅｎｔ ｈｙｐｅｒｂｏｌｉｃ）演算をアクティベーション関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）として使用する少なくとも一つの第２ＣＮＮ演算を適用して、前記特定のサブ領域座標を検出させることを特徴とする装置が提供される。
一実施例において、前記第２ＣＮＮは、前記特定の部分統合特徴マップに前記第２ＣＮＮ演算を適用する以前に学習が完了し、前記第２ＣＮＮは、（ｉ）学習用部分統合特徴マップに前記第２ＣＮＮ演算を適用して、前記学習用部分統合特徴マップに対応する学習用リファレンス物体の学習用予測サブ領域座標を生成するプロセスを遂行した後、（ｉｉ）前記予測サブ領域座標及びこれに対応する原本正解サブ領域座標を参照して、第２ロスを生成し、前記第２ロスを使用してバックプロパゲーションを遂行するプロセスを遂行して学習が完了することを特徴とする装置が提供される。
一実施例において、前記（Ｉ）プロセスは、前記ライブイメージが前記対象車両に搭載された前記カメラを介して取得された後、自律走行モジュールが前記対象車両の自律走行を遂行する間、前記ライブイメージは、前記自律走行モジュールに伝達されて前記ライブ特徴マップが生成され、以後、前記ライブ特徴マップが前記コンピューティング装置に伝達されることを特徴とする装置が提供される。
一実施例において、前記（Ｉ）プロセスは、前記プロセッサが、前記対象車両に搭載されたＧＰＳを介して取得された初期対象座標及び前記対象車両の前記姿勢に関する情報を利用して、クエリをＨＤ（Ｈｉｇｈ−Ｄｅｎｓｉｔｙ）マップに伝送することによって、前記リファレンス特徴マップを含む前記対象データ領域に関する情報を取得することを特徴とする装置が提供される。
本発明は、経路プランニングのために使用され得る自律走行車両の位置を、アテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを検出する手法を提供することによって、より正確な自律走行が行われ得るようにする効果がある。
また、本発明は、ライブイメージ上におけるリファレンス物体の位置情報とリアル世界におけるリファレンス物体の他の位置情報とを参照して、自律走行車両の位置情報を検出し得るようにする効果がある。
また、本発明は、ライブイメージに対応するライブ特徴マップ上でリファレンス物体の位置情報を検出し得るようにするＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を提供する効果がある。
また、本発明は、ライブイメージ上でリファレンス物体の位置情報を検出し得るようにする他のＣＮＮを提供する効果がある。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうちの一部に過ぎず、本発明が属する技術分野において通常の知識を有する者（以下「通常の技術者」）にとっては、発明的作業が行われることなくこの図面に基づいて他の図面が得られ得る。
図１は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するコンピューティング装置の構成を示した図面である。 図２は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を示したチャート図である。 図３は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために使用されるリファレンス物体に対する例示を示した図面である。 図４は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために、統合特徴マップを生成する過程を示した図面である。 図５は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために生成された特定のサブ領域座標を利用して、特定の基準イメージ座標に関する情報を導き出す方式を示した図面である。
後述する本発明に関する詳細な説明は、本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。本 本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素の位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ（例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ）でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体（例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物）を想定し得るが、必ずしもこれに限定されるものではない。以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図１は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するコンピューティング装置の構成を示した図面である。
図１を参照すると、コンピューティング装置１００は、追って詳細に説明する第１ＣＮＮ１３０及び第２ＣＮＮ１４０を含むことができる。第１ＣＮＮ１３０及び第２ＣＮＮ１４０の入出力及び演算の過程は、それぞれ少なくとも一つの通信部１１０及び少なくとも一つのプロセッサ１２０により行われ得る。ただし、図１では、通信部１１０及びプロセッサ１２０の具体的な連結関係を省略した。この場合、メモリ１１５は、後述する様々なインストラクションを格納した状態であり得、プロセッサ１２０は、メモリ１１５に格納された各インストラクションを遂行するように設定され、プロセッサ１１０は、追って説明する各プロセスを遂行することによって本発明を遂行することができる。このようにコンピューティング装置１００が描写されたからといって、コンピューティング装置１００が本発明を実施するためのミディアム、プロセッサ及びメモリが統合された形態である統合プロセッサを含む場合を排除するものではない。
このようなコンピューティング装置１００を使用して、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法について以下で説明する。概略的に説明するために、図２を参照することにする。
図２は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を示したチャート図である。図２を参照すると、コンピューティング装置１００は、追って詳細に説明するそれぞれのリファレンス物体に対応する一つ以上のそれぞれのリファレンス特徴マップ及びライブ特徴マップを参照して、一つ以上のそれぞれのリファレンス物体ごとに少なくとも一つのライブ特徴マップ上の一つ以上のそれぞれの特徴マップ座標を検出することができる（Ｓ０１）。そして、コンピューティング装置１００は、それぞれの特徴マップ座標を参照して、ライブイメージ上におけるリファレンス物体それぞれのイメージ座標それぞれを検出することができる（Ｓ０２）。以後、コンピューティング装置１００は、リアル世界におけるリファレンス物体の一つ以上の３次元座標と、イメージ座標と、ライブイメージを取得したカメラのパラメータに関する情報と、対象車両の姿勢に関する情報とを参照して、対象車両の最適化対象座標を検出することができる（Ｓ０３）。基本的なプロセスは前記のとおりであり、以下、これについてさらに具体的に説明することにする。
まず、コンピューティング装置１００は、ライブ特徴マップを取得することができる。ライブ特徴マップは、コンピューティング装置１００と連動して作動する対象車両の周辺状況に対応するライブイメージを処理して生成され得る。一例として、ライブイメージは、対象車両に搭載されたカメラにより取得された後、まず対象車両の自律走行を遂行する自律走行モジュールに伝達され得る。自律走行モジュールは、イメージ処理に基づいて自律走行を遂行するために、ライブイメージを利用してイメージセグメンテーションまたは物体検出を遂行することができる。このような自律走行の副産物として、自律走行モジュールによりライブ特徴マップが生成され得る。ライブ特徴マップが生成されると、コンピューティング装置１００に伝達され得る。このような方式を採択する場合、自律走行モジュールの演算により生成された副産物であるライブ特徴マップを活用するようになるため、コンピューティングリソース使用の側面において経済的な長所がある。
また、コンピューティング装置１００は、リファレンス物体に対応するリファレンス特徴マップを取得することができる。ここでリファレンス物体は、追って説明する対象車両の位置決定の過程を遂行するために使用されるマーカーの役割をし、ライブイメージ上に含まれている特定の物体であり得る。ライブイメージに含まれている一般的な物体の中からリファレンス物体を選択するために、コンピューティング装置１００は、（ｉ）対象車両に搭載されたＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を介して取得された対象車両の大まかな位置を表す初期対象座標、及び（ｉｉ）対象車両に搭載されたジャイロセンサを介して取得された対象車両の姿勢に関する情報を利用して、対象データの地域、すなわちライブイメージが含んでいる場面に対応する地域を特定するようになる。以後、コンピューティング装置１００は、特定された対象データ地域に関する情報を利用してＨＤ（Ｈｉｇｈ−Ｄｅｎｓｉｔｙ）マップにクエリを発信し、ＨＤマップからの応答としてリファレンス物体及びこれに対応するリファレンス特徴マップに関する情報を取得することができる。これについて例示を挙げて説明するために、図３を参照することにする。
図３は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために使用されるリファレンス物体に対する例示を示した図面である。
図３を参照すると、ライブイメージ２００に含まれている第１リファレンス物体２１０及び第２リファレンス物体２２０を確認することができる。これらに関する情報を取得するために、コンピューティング装置１００は、初期対象座標及び対象車両の姿勢に関する情報を参照して、例示地図３００に示された対象データ地域３１０を特定し、これに含まれている第１リファレンス物体２１０及び第２リファレンス物体２２０に関する情報を取得するようになるのである。
図４は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために、統合特徴マップを生成する過程を示した図面である。
特定の統合特徴マップが生成された後、コンピューティング装置１００は、一例として第１ＣＮＮ１３０をもって、前記特定の統合特徴マップに少なくとも一つの第１ＣＮＮ演算を適用させることによって、前記ライブ特徴マップの部分ライブ特徴マップの中から特定の部分ライブ特徴マップを見出し、特定のリファレンス特徴マップと関連して類似性点数が閾値より大きい特定の部分ライブ特徴マップを見出すことができる。ここで、部分ライブ特徴マップのサイズは、ライブ特徴マップより小さい。一例として、そのサイズが

であり得る。特定の部分ライブ特徴マップは、特定のリファレンス物体と対応する特徴マップであり、ライブ特徴マップ上で特定の部分ライブ特徴マップの相対的な位置を使用することによってライブイメージ上における特定のリファレンス物体の位置を予測することができる。すなわち、特定の部分ライブ特徴マップの相対的な位置を使用することによって、特徴マップ座標の中から特定の特徴マップ座標を検出することができる。ここで、ライブイメージからリファレンス物体の位置を正確に検出するために追って説明する細密な調整過程を経るようになる。
前記第１ＣＮＮ演算を遂行する第１ＣＮＮ１３０は、少なくとも一つのコンボリューションレイヤ及び少なくとも一つの出力レイヤを含むことができる。ここで、出力レイヤは、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現され得るはずである。また、このような第１ＣＮＮ１３０は、特定の統合特徴マップに第１ＣＮＮ演算を適用する以前に学習が完了した状態であり得る。具体的に、第１ＣＮＮ１３０は、（ｉ）学習用統合特徴マップに前記第１ＣＮＮ演算を適用して、学習用前記ライブ特徴マップの一つ以上のそれぞれの学習用部分ライブ特徴マップと学習用リファレンス特徴マップとの間の一つ以上の予測類似度点数それぞれを生成するプロセスを遂行した後、（ｉｉ）前記予測類似度点数及びこれに対応する原本正解類似度点数を参照して第１ロスを生成し、前記第１ロスを使用してバックプロパゲーションを遂行するプロセスを遂行して学習を完了することができる。前記の学習過程は、一般的なフィードフォワードニューラルネットワーク（Ｆｅｅｄ−Ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の学習過程と類似するため、通常の技術者が容易に理解することができるであろう。
その他の例として、特徴マップ座標は、ルールベース（Ｒｕｌｅ−ｂａｓｅｄ）アルゴリズムを使用して検出され得ることもある。つまり、ニューラルネットワークを使用した演算を特定の部分ライブ特徴マップに適用するのではなく、部分ライブ特徴マップと特定のリファレンス特徴マップとの間の類似度を直接求めることによって特定の部分ライブ特徴マップの相対的な位置を検出することができるということである。
特徴マップ座標が取得された後、コンピューティング装置１００は、特定の特徴マップ座標に対応するライブイメージ上の特定のサブ領域を検出することができる。ここで、特定の部分ライブ特徴マップを含むライブ特徴マップは、ライブイメージにコンボリューションを複数回適用してダウンサンプリングしたものであるので、ライブ特徴マップ上の特定の特徴マップ「座標」は、ライブイメージ上で特定のサブ「領域」に対応するようになる。特定のサブ領域が検出された後、コンピューティング装置１００は、（ｉ）特定の部分ライブ特徴マップ及び（ｉｉ）これに対応する特定のリファレンス特徴マップを含む特定の部分統合特徴マップを参照して、特定のサブ領域内部における特定のリファレンス物体の特定のサブ領域座標を検出することができる。
特定のサブ領域座標を検出するために、コンピューティング装置１００は、第２ＣＮＮ１４０をもって、前記特定の部分統合特徴マップに、タンジェントハイパボリック（ｔａｎｇｅｎｔ ｈｙｐｅｒｂｏｌｉｃ）演算をアクティベーション関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）として使用する少なくとも一つの第２ＣＮＮ演算を適用して、前記特定のサブ領域座標を検出させることができる。タンジェントハイパボリック演算をアクティベーション関数として使用することは、特定のサブ領域座標の範囲を−１以上１以下に制限するためである。特定のサブ領域座標の範囲を前記のように制限する理由は、追って詳細に説明する。ここで、第２ＣＮＮ１４０は、少なくとも一つのコンボリューションレイヤ及び少なくとも一つの出力レイヤを含むことができる。ここで、出力レイヤは、ＦＣ（Ｆｕｌｌｙ−Ｃｏｎｎｅｃｔｅｄ）ネットワークの形態で具現され得るであろう。また、第２ＣＮＮ１４０は、特定の部分統合特徴マップに第２ＣＮＮ演算を適用する以前に学習が完了した状態であり得る。すなわち、第２ＣＮＮ１４０は、（ｉ）学習用部分統合特徴マップに前記第２ＣＮＮ演算を適用して、前記学習用部分統合特徴マップに対応する学習用リファレンス物体の学習用予測サブ領域座標を生成するプロセスを遂行した後、（ｉｉ）前記予測サブ領域座標及びこれに対応する原本正解サブ領域座標を参照して第２ロスを生成し、前記第２ロスを使用してバックプロパゲーションを遂行するプロセスを遂行することで学習が完了した状態であり得る。
このような特定のサブ領域座標が取得された後、コンピューティング装置１００は、特定のサブ領域座標及び特定の特徴マップ座標を参照して、イメージ座標のうち一つである特定のイメージ座標を検出することができる。このようなプロセスについて説明するために、図５を参照することにする。
図５は、本発明の一実施例にしたがって、経路プランニングのために使用され得る自律走行車両の位置をアテンションドリブン（ａｔｔｅｎｔｉｏｎ−ｄｒｉｖｅｎ）アルゴリズムを利用してランドマークを正確に検出する方法を遂行するために生成された特定のサブ領域座標を利用して、特定の基準イメージ座標に関する情報を導き出す方式を示した図面である。
前記座標の例示を挙げたものは、いずれもライブイメージ及びライブ特徴マップの最も左側最下段の地点を原点と仮定しており、実施例によって原点をライブイメージ及びライブ特徴マップの中心地点と仮定することもできるであろう。
以上のプロセスによってそれぞれのイメージ座標が取得された後、コンピューティング装置１００は、これらとともに他の情報を使用して、対象車両のリアル世界における最適化対象座標を検出することができる。前記他の情報は、リファレンス物体のリアル世界における３次元座標と、ライブイメージを取得するのに使用されたカメラのパラメータに関する情報と、対象車両の姿勢に関する情報とを含むことができる。ここで、３次元座標は、各リファレンス特徴マップを取得する過程でＨＤマップから共に取得され得ることもある。以下、これについて、数式とともにさらに具体的に説明することにする。
すなわち、コンピューティング装置１００は、前記イメージ座標と、前記３次元座標と、前記パラメータに関する情報と、前記姿勢に関する情報とともに下記数式を使用して、前記最適化対象座標を検出し、
より具体的には、前記数式は最適化問題を意味するが、コンピューティング装置１００はこれを解決することによって最適化対象座標を検出することができる。ただし、ランダムな初期値から始めて最適化問題を解く場合、正しく解決されないことがあり得る。つまり、コンピューティング装置１００は、ローカル最小値しか見つけることができないか、コンピューティングリソースに対するあまりにも多くの要求によって解決し得ないことがあり得る。このようなリスクを防止するためには、適切な初期化プロセスが必要である。以下にて、より具体的に説明することにする。
すなわち、コンピューティング装置１００は、（ｉ）前記対象車両の少なくとも一つのジャイロセンサを介して取得された前記姿勢に関する情報を参照して、前記回転マトリクスを初期化するプロセスを遂行して、初期化された回転マトリクスを生成し、（ｉｉ）前記対象車両のＧＰＳを介して取得された初期対象座標を参照して、前記最適化対象座標を取得するのに使用される対象座標マトリクスを初期化することによって、初期化された対象座標マトリクスを生成するプロセスを遂行する。回転マトリクスは、ジャイロセンサを通じて取得された姿勢に関する情報が非常に正確であるという仮定下で、上記のように初期化され得る。また、対象座標マトリクスは、ＧＰＳから取得された位置情報を調整するために上記のように初期化され得、これは若干不正確であり得る。
前記初期化された回転マトリクス及び前記初期化された対象座標マトリクスが提供された状態で、コンピューティング装置１００は、前記数式を最小化する初期化された対角マトリクスを見出して前記対角マトリクスを初期化するプロセスを遂行することができる。以後、前記初期化された回転マトリクス、前記初期化された対象座標マトリクス、及び前記初期化された対角マトリクスの各値を調整することによって、前記数式を最小化する、最適化回転マトリクスと、最適化対象座標マトリクスと、最適化対角マトリクスとを見出すプロセスを最終的に遂行することができる。これにより、前記最適化問題を解いた後、前記最適化された対象座標マトリクスを参照して前記最適化された対象座標を検出することができるであろう。
要約すると、前記数式の最適化問題は、ライブイメージに基づいて取得されたリファレンス物体のイメージ座標を利用してＧＰＳを介して取得されたＧＰＳ 基盤の対象車両の初期対象座標を調整する方法に関する。通常の技術者は、前記説明を通じて前記数式を十分理解することができるはずである。
このように最適化対象座標が取得された後、対象車両はさらに正確なそれ自体の位置情報を利用して自律走行を遂行することが可能となるであろう。
また、以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスク（Ｆｌｏｐｔｉｃａｌ Ｄｉｓｋ）のような磁気−光メディア（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ Ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (20)

  1. ランドマーク検出を使用して自律走行が可能な対象車両の位置を検出する方法において、
    （ａ）コンピューティング装置が、コンピューティング装置と連動する対象車両の状況に対応する少なくとも一つのライブイメージを処理することによって生成された一つ以上のライブ特徴マップを取得した場合、（ｉ）それぞれのリファレンス物体に対応する一つ以上のそれぞれのリファレンス特徴マップと（ｉｉ）前記ライブ特徴マップとを参照して、前記ライブ特徴マップが取得された前記対象車両の少なくとも一つの位置及び少なくとも一つの姿勢に対応する対象データ領域に含まれている一つ以上のリファレンス物体ごとに前記ライブ特徴マップのそれぞれの特徴マップ座標を検出する段階；
    （ｂ）前記コンピューティング装置が、前記特徴マップ座標それぞれを参照して、前記ライブイメージ上の前記それぞれのリファレンス物体のイメージ座標それぞれを検出する段階；及び
    （ｃ）前記コンピューティング装置が、リアル世界における前記リファレンス物体の一つ以上の３次元座標と、前記イメージ座標と、前記ライブイメージを取得したカメラのパラメータに関する情報と、前記対象車両の前記姿勢に関する情報とを参照して、前記対象車両の少なくとも一つの最適化対象座標を検出する段階；
    を含むことを特徴とする方法。
  2. 前記（ｃ）段階は、
    前記コンピューティング装置が、前記イメージ座標と、前記３次元座標と、前記パラメータに関する情報と、前記姿勢に関する情報とともに下記数式を使用して、前記最適化対象座標を検出し、
  3. 前記（ｃ）段階は、
    前記コンピューティング装置が、前記数式に対応する最適化問題を解決することによって前記最適化対象座標を検出し、
    前記コンピューティング装置が、（ｉ）（ｉ−１）前記対象車両の少なくとも一つのジャイロセンサを介して取得された前記姿勢に関する情報を参照して、前記回転マトリクスを初期化するプロセスを遂行して、初期化された回転マトリクスを生成し、（ｉ−２）前記対象車両のＧＰＳを介して取得された初期対象座標を参照して、前記最適化対象座標を取得するのに使用される対象座標マトリクスを初期化することによって、初期化された対象座標マトリクスを生成するプロセスを遂行した後、（ｉｉ）前記初期化された回転マトリクス及び前記初期化された対象座標マトリクスが提供された状態で、前記数式を最小化する初期化された対角マトリクスを見出して前記対角マトリクスを初期化するプロセスを遂行し、以後、（ｉｉｉ）前記初期化された回転マトリクス、前記初期化された対象座標マトリクス、及び前記初期化された対角マトリクスの各値を調整することによって、前記数式を最小化する、最適化回転マトリクスと、最適化対象座標マトリクスと、最適化対角マトリクスとを見出すプロセスを遂行することによって、前記最適化問題を解いた後、前記最適化された対象座標マトリクスを参照して前記最適化された対象座標を検出することを特徴とする請求項２に記載の方法。
  4. 前記（ａ）段階は、
    前記コンピューティング装置が、（ｉ）特定のリファレンス物体に対応する

    のサイズを有する複数個の特定のリファレンス特徴マップ及び（ｉｉ）

    のサイズを有する前記ライブ特徴マップが並列してチャンネル単位でコンカチネートされることによって生成された特定の統合特徴マップが取得されると、第１ＣＮＮをもって、前記特定の統合特徴マップに少なくとも一つの第１ＣＮＮ演算を適用させることによって、前記ライブ特徴マップの部分ライブ特徴マップの中から特定の部分ライブ特徴マップを見出し、前記特定の部分ライブ特徴マップは、前記特定のリファレンス特徴マップと関連して類似性点数が閾値より大きいことを特徴とし、前記ライブ特徴マップにある前記特定の部分ライブ特徴マップの相対的な位置に関する情報を参照して、前記特徴マップ座標の中から特定の特徴マップ座標を検出させることを特徴とする請求項１に記載の方法。
  5. 前記第１ＣＮＮは、前記特定の統合特徴マップに前記第１ＣＮＮ演算を適用する以前に学習が完了し、
    前記第１ＣＮＮは、（ｉ）学習用統合特徴マップに前記第１ＣＮＮ演算を適用して、学習用前記ライブ特徴マップの一つ以上のそれぞれの学習用部分ライブ特徴マップと学習用リファレンス特徴マップとの間の一つ以上の予測類似度点数それぞれを生成するプロセスを遂行した後、（ｉｉ）前記予測類似度点数及びこれに対応する原本正解類似度点数を参照して第１ロスを生成し、前記第１ロスを使用してバックプロパゲーションを遂行するプロセスを遂行することで学習が完了した状態であることを特徴とする請求項４に記載の方法。
  6. 前記（ｂ）段階は、
    前記コンピューティング装置が、（ｉ）（ｉ−１）前記特定の特徴マップ座標に対応する特定の部分ライブ特徴マップと（ｉ−２）これに対応する特定のリファレンス特徴マップとを統合することによって生成された、特定の部分統合特徴マップを参照して、前記ライブイメージにおいて特定の特徴マップ座標に対応する、特定のサブ領域上における特定のリファレンス物体の特定のサブ領域座標を検出し、（ｉｉ）前記特定のサブ領域座標及び前記特定の特徴マップ座標を参照して、前記イメージ座標の中から特定のイメージ座標を検出することを特徴とする請求項１に記載の方法。
  7. 前記（ｂ）段階は、
    前記コンピューティング装置が、第２ＣＮＮをもって、前記特定の部分統合特徴マップに、タンジェントハイパボリック（ｔａｎｇｅｎｔ ｈｙｐｅｒｂｏｌｉｃ）演算をアクティベーション関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）として使用する少なくとも一つの第２ＣＮＮ演算を適用して、前記特定のサブ領域座標を検出させることを特徴とする請求項６に記載の方法。
  8. 前記第２ＣＮＮは、前記特定の部分統合特徴マップに前記第２ＣＮＮ演算を適用する以前に学習が完了し、
    前記第２ＣＮＮは、（ｉ）学習用部分統合特徴マップに前記第２ＣＮＮ演算を適用して、前記学習用部分統合特徴マップに対応する学習用リファレンス物体の学習用予測サブ領域座標を生成するプロセスを遂行した後、（ｉｉ）前記予測サブ領域座標及びこれに対応する原本正解サブ領域座標を参照して、第２ロスを生成し、前記第２ロスを使用してバックプロパゲーションを遂行するプロセスを遂行して学習が完了することを特徴とする請求項７に記載の方法。
  9. 前記（ａ）段階は、
    前記ライブイメージが前記対象車両に搭載された前記カメラを介して取得された後、自律走行モジュールが前記対象車両の自律走行を遂行する間、前記ライブイメージは、前記自律走行モジュールに伝達されて前記ライブ特徴マップが生成され、以後、前記ライブ特徴マップが前記コンピューティング装置に伝達されることを特徴とする請求項１に記載の方法。
  10. 前記（ａ）段階は、
    前記コンピューティング装置が、前記対象車両に搭載されたＧＰＳを介して取得された初期対象座標及び前記対象車両の前記姿勢に関する情報を利用して、クエリをＨＤ（Ｈｉｇｈ−Ｄｅｎｓｉｔｙ）マップに伝送することによって、前記リファレンス特徴マップを含む前記対象データ領域に関する情報を取得することを特徴とする請求項１に記載の方法。
  11. ランドマーク検出を使用して自律走行が可能な対象車両の位置を検出するコンピューティング装置において、
    少なくとも一つのインストラクションを格納する少なくとも一つのメモリと、
    前記各インストラクションを遂行するように設定された少なくとも一つのプロセッサとを含み、前記プロセッサは、（Ｉ）コンピューティング装置と連動する対象車両の状況に対応する少なくとも一つのライブイメージを処理することによって生成された一つ以上のライブ特徴マップを取得した場合、（ｉ）それぞれのリファレンス物体に対応する一つ以上のそれぞれのリファレンス特徴マップと（ｉｉ）前記ライブ特徴マップとを参照して、前記ライブ特徴マップが取得された前記対象車両の少なくとも一つの位置及び少なくとも一つの姿勢に対応する対象データ領域に含まれている一つ以上のリファレンス物体ごとに前記ライブ特徴マップのそれぞれの特徴マップ座標を検出するプロセス；（ＩＩ）前記特徴マップ座標それぞれを参照して、前記ライブイメージ上の前記それぞれのリファレンス物体のイメージ座標それぞれを検出するプロセス；及び（ＩＩＩ）リアル世界における前記リファレンス物体の一つ以上の３次元座標と、前記イメージ座標と、前記ライブイメージを取得したカメラのパラメータに関する情報と、前記対象車両の前記姿勢に関する情報とを参照して、前記対象車両の少なくとも一つの最適化対象座標を検出するプロセス；を遂行することを特徴とする装置。
  12. 前記（ＩＩＩ）プロセスは、
    前記プロセッサが、前記イメージ座標と、前記３次元座標と、前記パラメータに関する情報と、前記姿勢に関する情報とともに下記数式を使用して、前記最適化対象座標を検出し、
  13. 前記（ＩＩＩ）プロセスは、
    前記プロセッサが、前記数式に対応する最適化問題を解決することによって前記最適化対象座標を検出し、
    前記プロセッサが、（ｉ）（ｉ−１）前記対象車両の少なくとも一つのジャイロセンサを介して取得された前記姿勢に関する情報を参照して、前記回転マトリクスを初期化するプロセスを遂行して、初期化された回転マトリクスを生成し、（ｉ−２）前記対象車両のＧＰＳを介して取得された初期対象座標を参照して、前記最適化対象座標を取得するのに使用される対象座標マトリクスを初期化することによって、初期化された対象座標マトリクスを生成するプロセスを遂行した後、（ｉｉ）前記初期化された回転マトリクス及び前記初期化された対象座標マトリクスが提供された状態で、前記数式を最小化する初期化された対角マトリクスを見出して前記対角マトリクスを初期化するプロセスを遂行し、以後、（ｉｉｉ）前記初期化された回転マトリクス、前記初期化された対象座標マトリクス、及び前記初期化された対角マトリクスの各値を調整することによって、前記数式を最小化する、最適化回転マトリクスと、最適化対象座標マトリクスと、最適化対角マトリクスとを見出すプロセスを遂行することによって、前記最適化問題を解いた後、前記最適化された対象座標マトリクスを参照して前記最適化された対象座標を検出することを特徴とする請求項１２に記載の装置。
  14. 前記（Ｉ）プロセスは、
    前記プロセッサが、（ｉ）特定のリファレンス物体に対応する

    のサイズを有する複数個の特定のリファレンス特徴マップ及び（ｉｉ）

    のサイズを有する前記ライブ特徴マップが並列してチャンネル単位でコンカチネートされることによって生成された特定の統合特徴マップが取得されると、第１ＣＮＮをもって、前記特定の統合特徴マップに少なくとも一つの第１ＣＮＮ演算を適用させることによって、前記ライブ特徴マップの部分ライブ特徴マップの中から特定の部分ライブ特徴マップを見出し、前記特定の部分ライブ特徴マップは、前記特定のリファレンス特徴マップと関連して類似性点数が閾値より大きいことを特徴とし、前記ライブ特徴マップにある前記特定の部分ライブ特徴マップの相対的な位置に関する情報を参照して、前記特徴マップ座標の中から特定の特徴マップ座標を検出させることを特徴とする請求項１１に記載の装置。
  15. 前記第１ＣＮＮは、前記特定の統合特徴マップに前記第１ＣＮＮ演算を適用する以前に学習が完了し、
    前記第１ＣＮＮは、（ｉ）学習用統合特徴マップに前記第１ＣＮＮ演算を適用して、学習用前記ライブ特徴マップの一つ以上のそれぞれの学習用部分ライブ特徴マップと学習用リファレンス特徴マップとの間の一つ以上の予測類似度点数それぞれを生成するプロセスを遂行した後、（ｉｉ）前記予測類似度点数及びこれに対応する原本正解類似度点数を参照して第１ロスを生成し、前記第１ロスを使用してバックプロパゲーションを遂行するプロセスを遂行することで学習が完了した状態であることを特徴とする請求項１４に記載の装置。
  16. 前記（ＩＩ）プロセスは、
    前記プロセッサが、（ｉ）（ｉ−１）前記特定の特徴マップ座標に対応する特定の部分ライブ特徴マップと（ｉ−２）これに対応する特定のリファレンス特徴マップとを統合することによって生成された、特定の部分統合特徴マップを参照して、前記ライブイメージにおいて特定の特徴マップ座標に対応する、特定のサブ領域上における特定のリファレンス物体の特定のサブ領域座標を検出し、（ｉｉ）前記特定のサブ領域座標及び前記特定の特徴マップ座標を参照して、前記イメージ座標の中から特定のイメージ座標を検出することを特徴とする請求項１１に記載の装置。
  17. 前記（ＩＩ）プロセスは、
    前記プロセッサが、第２ＣＮＮをもって、前記特定の部分統合特徴マップに、タンジェントハイパボリック（ｔａｎｇｅｎｔ ｈｙｐｅｒｂｏｌｉｃ）演算をアクティベーション関数（ａｃｔｉｖａｔｉｏｎ ｆｕｎｃｔｉｏｎ）として使用する少なくとも一つの第２ＣＮＮ演算を適用して、前記特定のサブ領域座標を検出させることを特徴とする請求項１６に記載の装置。
  18. 前記第２ＣＮＮは、前記特定の部分統合特徴マップに前記第２ＣＮＮ演算を適用する以前に学習が完了し、
    前記第２ＣＮＮは、（ｉ）学習用部分統合特徴マップに前記第２ＣＮＮ演算を適用して、前記学習用部分統合特徴マップに対応する学習用リファレンス物体の学習用予測サブ領域座標を生成するプロセスを遂行した後、（ｉｉ）前記予測サブ領域座標及びこれに対応する原本正解サブ領域座標を参照して、第２ロスを生成し、前記第２ロスを使用してバックプロパゲーションを遂行するプロセスを遂行して学習が完了することを特徴とする請求項１７に記載の装置。
  19. 前記（Ｉ）プロセスは、
    前記ライブイメージが前記対象車両に搭載された前記カメラを介して取得された後、自律走行モジュールが前記対象車両の自律走行を遂行する間、前記ライブイメージは、前記自律走行モジュールに伝達されて前記ライブ特徴マップが生成され、以後、前記ライブ特徴マップが前記コンピューティング装置に伝達されることを特徴とする請求項１１に記載の装置。
  20. 前記（Ｉ）プロセスは、
    前記プロセッサが、前記対象車両に搭載されたＧＰＳを介して取得された初期対象座標及び前記対象車両の前記姿勢に関する情報を利用して、クエリをＨＤ（Ｈｉｇｈ−Ｄｅｎｓｉｔｙ）マップに伝送することによって、前記リファレンス特徴マップを含む前記対象データ領域に関する情報を取得することを特徴とする請求項１１に記載の装置。
JP2020008771A 2019-01-30 2020-01-22 経路プランニングのための自律走行車両の位置を決定する方法及び装置 Active JP6986769B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798574P 2019-01-30 2019-01-30
US62/798,574 2019-01-30
US16/731,093 US10650548B1 (en) 2019-01-30 2019-12-31 Method and device for localization of autonomous vehicle for route planning by using attention-driven landmark detection
US16/731,093 2019-12-31

Publications (2)

Publication Number Publication Date
JP2020122784A true JP2020122784A (ja) 2020-08-13
JP6986769B2 JP6986769B2 (ja) 2021-12-22

Family

ID=70612951

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020008771A Active JP6986769B2 (ja) 2019-01-30 2020-01-22 経路プランニングのための自律走行車両の位置を決定する方法及び装置

Country Status (5)

Country Link
US (1) US10650548B1 (ja)
EP (1) EP3690397A1 (ja)
JP (1) JP6986769B2 (ja)
KR (1) KR102296493B1 (ja)
CN (1) CN111736586B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022049767A (ja) * 2020-09-17 2022-03-30 株式会社スペースリー 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111693049B (zh) * 2020-05-20 2022-02-11 五邑大学 一种无人船覆盖投食的动态路径规划方法及设备
DE102020120934A1 (de) 2020-08-07 2022-02-10 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Bereitstellen eines komprimierten neuronalen Netzes zur Multi-Label Multi-Klassen Kategorisierung, Fahrzeugassistenzeinrichtung zur Umgebungskategorisierung und Kraftfahrzeug
CN112002112B (zh) * 2020-08-25 2021-11-02 中国铁道科学研究院集团有限公司电子计算技术研究所 一种高速铁路周界入侵报警系统安防效能评估方法及系统
KR102289752B1 (ko) * 2020-10-13 2021-08-13 주식회사 스페이스소프트인더스트리 Gps 음영 지역에서 경로 비행을 수행하는 드론 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054494A (ja) * 2015-08-11 2017-03-16 本田技研工業株式会社 標示ベースの位置測定
WO2017168472A1 (ja) * 2016-03-30 2017-10-05 パナソニックＩｐマネジメント株式会社 位置推定装置、位置推定方法及び制御プログラム
US20180045519A1 (en) * 2016-08-09 2018-02-15 Nauto, Inc. System and method for precision localization and mapping
WO2018138782A1 (ja) * 2017-01-24 2018-08-02 富士通株式会社 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法
JP2019500602A (ja) * 2015-12-15 2019-01-10 本田技研工業株式会社 画像ベースの車両位置特定のためのシステム及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9290146B2 (en) * 1992-05-05 2016-03-22 Intelligent Technologies International, Inc. Optical monitoring of vehicle interiors
JP5225542B2 (ja) * 2004-09-22 2013-07-03 三菱電機株式会社 地図情報生成方法、地図情報生成プログラム及び地図情報収集装置
JP4497133B2 (ja) * 2006-07-12 2010-07-07 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP2009180631A (ja) * 2008-01-31 2009-08-13 Denso It Laboratory Inc ナビゲーション装置、ナビゲーション方法およびプログラム
JP5472538B2 (ja) * 2011-06-14 2014-04-16 日産自動車株式会社 距離計測装置及び環境地図生成装置
KR101552773B1 (ko) * 2013-12-10 2015-09-11 고려대학교 산학협력단 인공 표식을 이용한 이동 로봇의 위치 추정 방법
US9446730B1 (en) * 2015-11-08 2016-09-20 Thunder Power Hong Kong Ltd. Automatic passenger airbag switch
KR101878685B1 (ko) * 2016-02-12 2018-07-16 서울과학기술대학교 산학협력단 지도 정보를 이용한 차량 측위 시스템 및 방법
KR101804471B1 (ko) * 2016-06-30 2017-12-04 주식회사 이누씨 영상 분석 방법 및 장치
US20180074494A1 (en) * 2016-09-13 2018-03-15 Ford Global Technologies, Llc Passenger tracking systems and methods
KR20180050823A (ko) * 2016-11-07 2018-05-16 삼성전자주식회사 3차원의 도로 모델을 생성하는 방법 및 장치
KR101955506B1 (ko) * 2016-12-12 2019-03-11 주식회사 피엘케이 테크놀로지 대향 카메라를 이용한 대형 차량의 측면 안전 보조 장치 및 방법
JP6760114B2 (ja) * 2017-01-31 2020-09-23 富士通株式会社 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP6589926B2 (ja) * 2017-04-07 2019-10-16 トヨタ自動車株式会社 物体検出装置
US10509947B1 (en) * 2017-04-11 2019-12-17 Zoox, Inc. Converting multi-dimensional data for image analysis

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017054494A (ja) * 2015-08-11 2017-03-16 本田技研工業株式会社 標示ベースの位置測定
JP2019500602A (ja) * 2015-12-15 2019-01-10 本田技研工業株式会社 画像ベースの車両位置特定のためのシステム及び方法
WO2017168472A1 (ja) * 2016-03-30 2017-10-05 パナソニックＩｐマネジメント株式会社 位置推定装置、位置推定方法及び制御プログラム
US20180045519A1 (en) * 2016-08-09 2018-02-15 Nauto, Inc. System and method for precision localization and mapping
WO2018138782A1 (ja) * 2017-01-24 2018-08-02 富士通株式会社 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022049767A (ja) * 2020-09-17 2022-03-30 株式会社スペースリー 情報処理装置、情報処理方法、情報処理システム、情報処理プログラム

Also Published As

Publication number Publication date
JP6986769B2 (ja) 2021-12-22
EP3690397A1 (en) 2020-08-05
CN111736586A (zh) 2020-10-02
KR102296493B1 (ko) 2021-09-02
CN111736586B (zh) 2023-10-03
US10650548B1 (en) 2020-05-12
KR20200094654A (ko) 2020-08-07

Similar Documents

Publication Publication Date Title
JP2020122784A (ja) 経路プランニングのための自律走行車両の位置を決定する方法及び装置
US11530924B2 (en) Apparatus and method for updating high definition map for autonomous driving
JP7404010B2 (ja) 位置推定装置及び方法
JP6856855B2 (ja) それ自体によって生成された情報及び他の個体によって生成された情報を選択的に利用してカメラの誤整列を補正する方法及びこれを利用した装置
KR20200029785A (ko) 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
CN111263960B (zh) 用于更新高清晰度地图的设备和方法
KR102241584B1 (ko) 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치
US10565863B1 (en) Method and device for providing advanced pedestrian assistance system to protect pedestrian preoccupied with smartphone
EP3690400A1 (en) Method and device for ego-vehicle localization to update hd map by using v2x information fusion
KR20200046437A (ko) 영상 및 맵 데이터 기반 측위 방법 및 장치
CN114636414A (zh) 高清晰度城市地图绘制
US11652972B2 (en) Systems and methods for self-supervised depth estimation according to an arbitrary camera
CN117152249A (zh) 基于语义一致性的多无人机协同建图与感知方法及系统
CN113570662A (zh) 3d定位来自真实世界图像中地标的系统和方法
KR20240006475A (ko) 복수의 무인비행체를 이용한 구조물 관리 방법 및 시스템
Jäger et al. Efficient navigation based on the Landmark-Tree map and the Z∞ algorithm using an omnidirectional camera
JP7234840B2 (ja) 位置推定装置
CN114830185A (zh) 借助于神经网络的位置确定
Abdulov et al. Visual odometry approaches to autonomous navigation for multicopter model in virtual indoor environment
US20230177720A1 (en) Method, system and computer program product for determining the pose of a mobile unit
Hernández et al. Visual SLAM with oriented landmarks and partial odometry
Bera et al. Vision based autonomous quadcopter navigation through narrow gaps using visual servoing and monocular SLAM
Bresson et al. A new strategy for feature initialization in visual slam
Ta et al. Monocular parallel tracking and mapping with odometry fusion for mav navigation in feature-lacking environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210115

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210415

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210715

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R150 Certificate of patent or registration of utility model

Ref document number: 6986769

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150