JP2020122785A - V2x情報融合を利用してhdマップをアップデートするための自車両位置決定を遂行する方法及び装置 - Google Patents

V2x情報融合を利用してhdマップをアップデートするための自車両位置決定を遂行する方法及び装置 Download PDF

Info

Publication number
JP2020122785A
JP2020122785A JP2020009529A JP2020009529A JP2020122785A JP 2020122785 A JP2020122785 A JP 2020122785A JP 2020009529 A JP2020009529 A JP 2020009529A JP 2020009529 A JP2020009529 A JP 2020009529A JP 2020122785 A JP2020122785 A JP 2020122785A
Authority
JP
Japan
Prior art keywords
image
distance
specific
information
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020009529A
Other languages
English (en)
Other versions
JP6986290B2 (ja
Inventor
桂賢 金
Kye-Hyeon Kim
桂賢 金
鎔重 金
Yongjoong Kim
鎔重 金
鶴京 金
Hak-Kyoung Kim
鶴京 金
雲鉉 南
Woonhyun Nam
雲鉉 南
碩▲ふん▼ 夫
Sukhoon Boo
碩▲ふん▼ 夫
明哲 成
Myungchul Sung
明哲 成
東洙 申
Toshu Shin
東洙 申
東勳 呂
Donghun Yeo
東勳 呂
宇宙 柳
Wooju Ryu
宇宙 柳
明春 李
Myong-Chun Lee
明春 李
炯樹 李
Hyungsoo Lee
炯樹 李
泰雄 張
Taiyu Cho
泰雄 張
景中 鄭
Kyungjoong Jeong
景中 鄭
泓模 諸
Hongmo Je
泓模 諸
浩辰 趙
Hojin Cho
浩辰 趙
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Stradvision Inc
Original Assignee
Stradvision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Stradvision Inc filed Critical Stradvision Inc
Publication of JP2020122785A publication Critical patent/JP2020122785A/ja
Application granted granted Critical
Publication of JP6986290B2 publication Critical patent/JP6986290B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30Map- or contour-matching
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3837Data obtained from a single source
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804Creation or updating of map data
    • G01C21/3833Creation or updating of map data characterised by the source of data
    • G01C21/3848Data obtained from both position sensors and additional sensors
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863Structures of map data
    • G01C21/387Organisation of map data, e.g. version management or database structures
    • G01C21/3878Hierarchical structures, e.g. layering
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S11/00Systems for determining distance or velocity not using reflection or reradiation
    • G01S11/12Systems for determining distance or velocity not using reflection or reradiation using electromagnetic waves other than radio waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/01Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/13Receivers
    • G01S19/14Receivers specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/40Correcting position, velocity or attitude
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/40Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Electromagnetism (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Navigation (AREA)

Abstract

【課題】自車両により取得された情報がHDマップにさらに正確にマッピングされ得るように、自車両の位置を算出することができる方法を提供する。【解決手段】相対的距離情報を利用して対象車両の正確な位置を計算する方法において、コンピューティング装置が、対象車両に搭載されたカメラを介して参照イメージが取得されると、参照イメージ内の参照物体を検出するS01。コンピューティング装置が、参照イメージ上で、参照物体に対応する参照バウンディングボックスに関する情報を参照して、参照物体と対象車両との間のイメージ基盤参照距離を計算するS02。コンピューティング装置が、座標基盤参照距離及びイメージ基盤参照距離を参照して距離誤差値を生成し、距離誤差値を参照して前記対象車両の対象位置情報をキャリブレーションするS03。【選択図】図2

Description

本発明は、自律走行車両に利用するための方法及び装置に関し、より詳細には、V2X情報融合を利用して自車両(ego−vehicle)位置決定を遂行する前記方法及び前記装置に関する。
車両の自律走行で重要に取り扱われる構成要素のうち一つはHDマップ(High−Definition Map)である。これは、自律走行システムがそれに搭載されたセンサを介して取得された情報のみを利用して作動すると、長期間の大掛かりな計画が含まれた走行戦略の提供が不可能であり得るためである。ここで、前記センサを介して取得された情報が正確でない場合、非効率であり危険な状況が発生し得る。
しかし、このように自律走行において非常に重要な、高品質のHDマップを生成する場合に障害となる部分のうちの一つは、自車両(ego−vehicle)に搭載されているGPS(Global Positioning System)モジュールの不正確性のため、前記自車両により取得した情報を前記HDマップにマッピングすることは容易でないということである。
また、前記HDマップが精密に製作されたとしても、これを使用して自律走行を遂行する自律走行車両の位置が正確に検出されなければ問題が生じ得る。結局、HDマップを製作する場合とそれを使用する場合、車両の位置を決定することが重要であるが、これに関する研究はあまり行われていないのが事実である。
本発明は、上述した問題点を解決することを目的とする。
本発明は、V2X(vehicle−to−everything)情報融合を利用してHDマップをアップデートするための自車両(ego−vehicle)位置決定を遂行する方法を提供することによって、自車両により取得された情報が前記HDマップにさらに正確にマッピングされ得るように、前記自車両のより正確な位置を算出することを他の目的とする。
本発明は、前記HDマップを使用する自律走行車両の位置決定を遂行する方法を提供することによって、自律走行がうまく行われるように前記自律走行車両のより正確な位置を算出することをまた他の目的とする。
前記のような本発明の目的を達成し、後述する本発明の特徴的な効果を実現するための本発明の特徴的な構成は以下の通りである。
本発明の一態様によると、相対的距離情報を利用して対象車両の正確な位置を計算する方法において、(a)前記対象車両と連動するコンピューティング装置が、前記対象車両に搭載された少なくとも一つのカメラを介して少なくとも一つの参照イメージが取得されると、前記参照イメージに少なくとも一つの物体検出演算を適用して前記参照イメージ内の一つ以上の参照物体を検出する段階;(b)前記コンピューティング装置が、前記参照イメージ上で、それぞれの前記参照物体に対応するそれぞれの参照バウンディングボックスに関する情報を参照して、前記参照物体それぞれと前記対象車両との間の一つ以上のイメージ基盤参照距離それぞれを計算する段階;及び(c)前記コンピューティング装置が、前記参照物体それぞれと前記対象車両との間の一つ以上の座標基盤参照距離それぞれが取得されると、(i)前記座標基盤参照距離及び前記イメージ基盤参照距離を参照して少なくとも一つの距離誤差値を生成し、(ii)前記距離誤差値を参照して前記対象車両の対象位置情報をキャリブレーション(calibration)する段階;を含むことを特徴とする方法が提供される。
一実施例において、前記(c)段階で、前記コンピューティング装置が、下記数式によって前記距離誤差値を生成し、
Figure 2020122785
ikは前記参照物体のうち第k参照物体に対応するイメージ基盤参照距離のうち一つを意味し、Dckは前記第k参照物体に対応する前記座標基盤参照距離のうち一つを意味し、wkは前記第k物体に対する重み付け値を意味し、Nは前記参照物体の個数を意味する。
一実施例において、前記(b)段階で、前記コンピューティング装置が、前記参照バウンディングボックスに、前記カメラのパラメータに関する情報を使用した少なくとも一つのイメージ距離予測演算を適用して前記イメージ基盤参照距離を計算し、(i)前記イメージ基盤参照距離のうち一つ以上の第(1−1)特定イメージ基盤参照距離は、前記参照物体のうち一つ以上の第(1−1)特定参照物体と前記対象車両との間のV2X(vehicle−to−everything)通信を介して取得された第(1−1)特定参照物体高さ情報を追加として使用する少なくとも一つの第(1−1)特定イメージ距離予測演算を第(1−1)特定参照バウンディングボックスに適用して生成され、(ii)前記イメージ基盤参照距離のうち一つ以上の第(1−2)特定イメージ基盤参照距離は、前記参照イメージ内の基準点に関する情報を追加として使用する少なくとも一つの第(1−2)特定イメージ距離予測演算を第(1−2)特定参照バウンディングボックスに適用して生成される。
一実施例において、前記第(1−1)特定イメージ距離予測演算は、下記数式によって遂行され、
Figure 2020122785
Dは前記第(1−1)特定イメージ基盤参照距離のうち一つを意味し、fは前記カメラの焦点距離を意味し、VHは前記第(1−1)特定参照物体のうち一つに対応する前記第(1−1)特定参照物体高さ情報のうち一つを意味し、hは前記第(1−1)特定参照物体のうち前記一つの前記参照イメージ上における見掛け高さ(apparent height)を意味する。
一実施例において、前記第(1−2)特定イメージ距離予測演算は下記数式によって遂行され、
Figure 2020122785
Dは前記第(1−2)特定座標基盤参照距離のうち一つを意味し、fは前記カメラの焦点距離を意味し、Hは前記カメラの高さを意味し、
Figure 2020122785
は第(1−2)特定参照物体のうち一つに対応する前記第(1−2)特定参照バウンディングボックスのうち一つの下段境界と前記基準点との間の前記参照イメージ上における見掛け距離(apparent distance)を意味する。
一実施例において、(i)前記座標基盤参照距離のうちで一つ以上の第(2−1)特定座標基盤参照距離は、前記参照物体のうち一つ以上の第(2−1)特定参照物体と前記対象車両との間のV2X通信を介して取得された第(2−1)特定参照物体位置情報及び前記対象位置情報を参照して生成され、(ii)前記座標基盤参照距離のうち一つ以上の第(2−2)特定座標基盤参照距離は、データベースから取得された第(2−2)特定参照物体位置情報及び前記対象位置情報を参照して生成される。
一実施例において、前記(a)段階で、前記コンピューティング装置が、CNN(Convolutional Neural Network)をもって、少なくとも一つのコンボリューション演算と、少なくとも一つのROI(Region−Of−Interest)プーリング演算と、少なくとも一つのFC(Fully−Connected)ネットワーク演算とを前記参照イメージに順次に適用させることによって、前記参照イメージに前記物体検出演算を適用する。
一実施例において、前記(c)段階で、前記コンピューティング装置が、(i)前記対象位置情報を調整するプロセス、(ii)前記調整された対象位置情報を利用して前記距離誤差値を再度計算するプロセス、及び(iii)前記再度計算された距離誤差値が小さくなったか否かに関する情報を参照して前記調整された対象位置情報を再度調整するプロセスを繰り返すことによって、前記対象位置情報をキャリブレーションして距離誤差値が最小化されるキャリブレーションされた対象位置情報を生成する。
一実施例において、前記(c)段階で、前記コンピューティング装置が、HDマップ(High−Definition Map)をアップデートするために使用されるアップデート用情報を格納しつつ、前記キャリブレーションされた前記対象位置情報を参照して前記アップデート用情報が取得された位置に関する情報を格納する。
一実施例において、前記参照物体は、(i)V2X通信が可能な一つ以上のモバイル物体及び(ii)一つ以上の固定物体のうち少なくとも一部を含み、前記固定物体は(ii−1)前記V2X通信が可能であるか、(ii−2)前記固定物体に関する情報がデータベースに格納された状態であり、前記参照物体は、前記対象車両から臨界距離未満の距離に位置する一つ以上の周辺車両と、一つ以上の交通標識と、一つ以上の信号灯と、一つ以上の路面標識とのうち少なくとも一部を含む。
一実施例において、前記(c)段階で、前記コンピューティング装置が、前記キャリブレーションされた対象位置情報を参照して、HDマップ上における前記対象車両の位置を計算し、前記対象車両から臨界距離未満の距離に位置する一つ以上の物体に関する情報を前記HDマップから取得することによって、前記対象車両の自律走行を支援する。
本発明の他の態様によると、相対的距離情報を利用して対象車両の正確な位置を計算する装置において、インストラクションを格納する少なくとも一つのメモリと、(I)前記対象車両に搭載された少なくとも一つのカメラを介して少なくとも一つの参照イメージが取得されると、前記参照イメージに少なくとも一つの物体検出演算を適用して前記参照イメージ内の一つ以上の参照物体を検出するプロセス、(II)前記参照イメージ上で、それぞれの前記参照物体に対応するそれぞれの参照バウンディングボックスに関する情報を参照して、前記参照物体それぞれと前記対象車両との間の一つ以上のイメージ基盤参照距離それぞれを計算するプロセス、及び(III)前記参照物体それぞれと前記対象車両との間の一つ以上の座標基盤参照距離それぞれが取得されると、(i)前記座標基盤参照距離及び前記イメージ基盤参照距離を参照して少なくとも一つの距離誤差値を生成し、(ii)前記距離誤差値を参照して前記対象車両の対象位置情報をキャリブレーション(calibration)するプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、を含むことを特徴とする装置が提供される。
一実施例において、前記(III)プロセスで、前記プロセッサが、下記数式によって前記距離誤差値を生成し、
Figure 2020122785
ikは前記参照物体のうち第k参照物体に対応するイメージ基盤参照距離のうち一つを意味し、Dckは前記第k参照物体に対応する前記座標基盤参照距離のうち一つを意味し、wkは前記第k物体に対する重み付け値を意味し、Nは前記参照物体の個数を意味する。
一実施例において、前記(II)プロセスで、前記プロセッサが、前記参照バウンディングボックスに、前記カメラのパラメータに関する情報を使用した少なくとも一つのイメージ距離予測演算を適用して前記イメージ基盤参照距離を計算し、(i)前記イメージ基盤参照距離のうち一つ以上の第(1−1)特定イメージ基盤参照距離は、前記参照物体のうち一つ以上の第(1−1)特定参照物体と前記対象車両との間のV2X(vehicle−to−everything)通信を介して取得された第(1−1)特定参照物体高さ情報を追加として使用する少なくとも一つの第(1−1)特定イメージ距離予測演算を第(1−1)特定参照バウンディングボックスに適用して生成され、(ii)前記イメージ基盤参照距離のうち一つ以上の第(1−2)特定イメージ基盤参照距離は、前記参照イメージ内の基準点に関する情報を追加として使用する少なくとも一つの第(1−2)特定イメージ距離予測演算を第(1−2)特定参照バウンディングボックスに適用して生成される。
一実施例において、前記第(1−1)特定イメージ距離予測演算は、下記数式によって遂行され、
Figure 2020122785
Dは前記第(1−1)特定イメージ基盤参照距離のうち一つを意味し、fは前記カメラの焦点距離を意味し、VHは前記第(1−1)特定参照物体のうち一つに対応する前記第(1−1)特定参照物体高さ情報のうち一つを意味し、hは前記第(1−1)特定参照物体のうち前記一つの前記参照イメージ上における見掛け高さ(apparent height)を意味する。
一実施例において、前記第(1−2)特定イメージ距離予測演算は、下記数式によって遂行され、
Figure 2020122785
Dは前記第(1−2)特定座標基盤参照距離のうち一つを意味し、fは前記カメラの焦点距離を意味し、Hは前記カメラの高さを意味し、
Figure 2020122785

は第(1−2)特定参照物体のうち一つに対応する前記第(1−2)特定参照バウンディングボックスのうち一つの下段境界と前記基準点との間の前記参照イメージ上における見掛け距離(apparent distance)を意味する。
一実施例において、(i)前記座標基盤参照距離のうちで一つ以上の第(2−1)特定座標基盤参照距離は、前記参照物体のうち一つ以上の第(2−1)特定参照物体と前記対象車両との間のV2X通信を介して取得された第(2−1)特定参照物体位置情報及び前記対象位置情報を参照して生成され、(ii)前記座標基盤参照距離のうち一つ以上の第(2−2)特定座標基盤参照距離は、データベースから取得された第(2−2)特定参照物体位置情報及び前記対象位置情報を参照して生成される。
一実施例において、前記(I)プロセスで、前記プロセッサが、CNN(Convolutional Neural Network)をもって、少なくとも一つのコンボリューション演算と、少なくとも一つのROI(Region−Of−Interest)プーリング演算と、少なくとも一つのFC(Fully−Connected)ネットワーク演算とを前記参照イメージに順次に適用させることによって、前記参照イメージに前記物体検出演算を適用する。
一実施例において、前記(III)プロセスで、前記プロセッサが、(i)前記対象位置情報を調整するプロセス、(ii)前記調整された対象位置情報を利用して前記距離誤差値を再度計算するプロセス、及び(iii)前記再度計算された距離誤差値が小さくなったか否かに関する情報を参照して前記調整された対象位置情報を再度調整するプロセスを繰り返すことによって、前記対象位置情報をキャリブレーションしてこれに対応する距離誤差値が最小化されるキャリブレーションされた対象位置情報を生成する。
一実施例において、前記(III)プロセスで、前記プロセッサが、HDマップ(High−Definition Map)をアップデートするために使用されるアップデート用情報を格納しつつ、前記キャリブレーションされた前記対象位置情報を参照して前記アップデート用情報が取得された位置に関する情報を格納する。
一実施例において、前記参照物体は、(i)V2X通信が可能な一つ以上のモバイル物体及び(ii)一つ以上の固定物体のうち少なくとも一部を含み、前記固定物体は(ii−1)前記V2X通信が可能であるか、(ii−2)前記固定物体に関する情報がデータベースに格納された状態であり、前記参照物体は、前記対象車両から臨界距離未満の距離に位置する一つ以上の周辺車両と、一つ以上の交通標識と、一つ以上の信号灯と、一つ以上の路面標識とのうち少なくとも一部を含む。
一実施例において、前記(III)プロセスで、前記プロセッサが、前記キャリブレーションされた対象位置情報を参照して、HDマップ上における前記対象車両の位置を計算し、前記対象車両から臨界距離未満の距離に位置する一つ以上の物体に関する情報を前記HDマップから取得することによって、前記対象車両の自律走行を支援する。
本発明はV2X(vehicle−to−everything)情報融合を利用してHDマップをアップデートするための自車両(ego−vehicle)位置決定を遂行する方法を提供することによって、自車両により取得された情報が前記HDマップにさらに正確にマッピング(mapping)され得るように前記自車両のより正確な位置を算出することができる効果がある。
また、本発明は、前記HDマップを使用する自律走行車両の位置決定を遂行する方法を提供することによって、自律走行がうまく行われるように前記自律走行車両のより正確な位置を算出することができる効果がある。
本発明の前記及び他の目的並びに特徴は、以下の添付図面とともに提供された好ましい実施例の説明において明らかにされる。
本発明の実施例の説明に利用されるために添付された以下の各図面は、本発明の実施例のうち単に一部であるに過ぎず、本発明の属する技術分野において通常の知識を有する者(以下「通常の技術者」)にとっては、発明的作業が行われずにこれらの図面に基づいて他の各図面が得られ得る。
図1は、本発明の一実施例によるV2X(vehicle−to−everything)情報融合を利用して自車両(ego−vehicle)位置決定方法を遂行するコンピューティング装置の構成を簡略に示した図面である。 図2は、本発明の一実施例による前記V2X情報融合を利用した前記自車両位置決定方法のフローチャートを簡略に示した図面である。 図3は、本発明の一実施例による前記V2X情報融合を利用して前記自車両位置決定方法を遂行するために利用されるCNN(Convolutional Neural Network)の構成を簡略に示した図面である。 図4は、本発明の一実施例による前記V2X情報融合を利用して前記自車両位置決定方法を遂行するために利用される、自車両と周辺物体との間の距離を計算する方式を簡略に示した図面である。
後述する本発明に関する詳細な説明は、本発明の各目的、各技術的解法、及び各長所を明らかにするために本発明が実施され得る特定の実施例を例示として示す添付図面を参照する。これらの実施例は、当業者が本発明を実施することができるように十分詳細に説明される。
また、本発明の詳細な説明及び各請求項にわたって、「含む」という単語及びそれらの変形は、他の技術的各特徴、各付加物、構成要素又は段階を除外することを意図したものではない。通常の技術者にとって本発明の他の各目的、長所及び各特性が、一部は本説明書から、また一部は本発明の実施から明らかになるであろう。以下の例示及び図面は実例として提供され、本発明を限定することを意図したものではない。
さらに、本発明は、本明細書に示された実施例のすべての可能な組合せを網羅する。本発明の多様な実施例は互いに異なるが、相互に排他的である必要はないことが理解されるべきである。例えば、ここに記載されている特定の形状、構造及び特性は、一実施例に関連して本発明の精神及び範囲を逸脱せず、かつ他の実施例で具現され得る。また、それぞれの開示された実施例内の個別の構成要素である位置又は配置は、本発明の精神及び範囲を逸脱せず、かつ変更され得ることが理解されるべきである。したがって、後述の詳細な説明は、限定的な意味として受け取ろうとするものではなく、本発明の範囲は適切に説明されるのであれば、その請求項が主張することと均等な全ての範囲とともに添付された請求項によってのみ限定される。図面において類似の参照符号は、様々な側面にわたって同一であるか、又は類似の機能を指す。
本発明で言及している各種イメージは、舗装または非舗装道路関連のイメージを含み得、この場合、道路環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではなく、本発明で言及している各種イメージは、道路と関係のないイメージ(例えば、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内と関連したイメージ)でもあり得、この場合、非舗装道路、路地、空き地、海、湖、川、山、森、砂漠、空、室内環境で登場し得る物体(例えば、自動車、人、動物、植物、物、建物、飛行機やドローンのような飛行体、その他の障害物)を想定し得るが、必ずしもこれに限定されるものではない。
以下、本発明の属する技術分野において通常の知識を有する者が本発明を容易に実施し得るようにするために、本発明の好ましい実施例について、添付された図面を参照して詳細に説明することにする。
図1は、本発明の一実施例によるV2X(vehichel−to−everything)情報融合を利用して自車両(ego−vehicle)位置決定方法を遂行するコンピューティング装置の構成を簡略に示した図面である。
図1を参照すると、前記コンピューティング装置100は、通信部110と、メモリ115と、プロセッサ120とを含むことができる。前記コンピューティング装置100の入出力及び演算過程は、それぞれ前記通信部110及び前記プロセッサ120により行われ得る。ただし、図1では、前記通信部110及び前記プロセッサ120の具体的な連結関係を省略した。この場合、前記メモリ115は、後述する様々なインストラクションを格納した状態であり得、前記プロセッサ120は、前記メモリ115に格納された前記各インストラクションを遂行するように設定され、前記プロセッサ120は、追って説明する各インストラクションを遂行することによって本発明の各プロセスを遂行することができる。このように前記コンピュータ装置100が描写されたからといって、前記コンピュータ装置100が本発明を実施するためのミディアム、プロセッサ、メモリまたはその他のコンピューティング構成要素が統合された形態である統合プロセッサを含む場合を排除するわけではない。
このような前記コンピューティング装置100は、対象車両に搭載されるか、前記対象車両と連動するサーバに搭載されたものであり得る。ここで、前記対象車両は、HDマップ(High−Definition Map)をアップデートするために利用される情報を取得する車両、または、前記HDマップを使用して自律走行を遂行する自律走行車両であり得る。
以上、本発明の一実施例による前記コンピューティング装置100の構成について説明した。以下、本発明の前記自車両位置決定方法について、図2を参照して説明することにする。
図2は、本発明の一実施例による前記V2X情報融合を利用して前記自車両位置決定方法のフローチャートを簡略に示した図面である。
図2を参照すると、前記自車両位置決定方法のフローチャートを簡略に理解することができる。まず、前記コンピューティング装置100は、前記対象車両に搭載されている少なくとも一つのカメラを介して少なくとも一つの参照イメージを取得することができる。以後、前記コンピューティング装置100は、前記参照イメージに少なくとも一つの物体検出演算を適用して前記参照イメージ内の一つ以上の参照物体を検出することができる(S01)。その後、前記コンピューティング装置100が、前記参照イメージ上で、それぞれの前記参照物体に対応するそれぞれの参照バウンディングボックスに関する情報を参照して、前記参照物体それぞれと前記対象車両との間の一つ以上のイメージ基盤参照距離それぞれを計算することができる(S02)。最後に、前記コンピューティング装置100が、追って説明する座標基盤参照距離及び前記イメージ基盤参照距離を参照して少なくとも一つの距離誤差値を生成し、前記距離誤差値を参照して前記対象車両の対象位置情報をキャリブレーション(calibration)することができる(S03)。
以下、本発明の前記自車両位置決定方法について、さらに具体的に説明することにする。
まず、前記コンピューティング装置100は、前記カメラを介して前記参照イメージが取得されると、前記コンピューティング装置100に含まれているCNN(Convolutional Neural Network)を利用して前記参照イメージに前記物体検出演算を適用することができる。前記CNNの動作について説明するために、図3を参照することにする。
図3は、本発明の一実施例による前記V2X情報融合を利用して前記自車両位置決定方法を遂行するために利用されるCNNの構成を示した図面である。
図3を参照すると、前記CNN200は、コンボリューションレイヤ210と、ROI(Region−Of−Interest)プーリングレイヤ220と、FC(Fully−Connected)レイヤ230とを含むことができ、RPN(Region Proposal Network)240と連動し得ることが確認できる。この際、前記コンピューティング装置100は、前記CNN200に含まれている前記コンボリューションレイヤ210をもって、前記参照イメージに少なくとも一つのコンボリューション演算を適用して参照特徴マップを生成させることができる。その後、前記コンピューティング装置100は、前記RPN240をもって、前記参照イメージ上で前記参照物体が位置するものと予測される一つ以上の参照ROIを検出させ、前記ROIプーリングレイヤ220をもって、前記参照特徴マップに少なくとも一つのROIプーリング演算を適用することによって、前記参照ROIに対応する前記参照特徴マップ上の値をプーリングすることができる。以後、前記コンピューティング装置100は、前記FCレイヤ230をもって、前記プーリングされた値に少なくとも一つのFCネットワーク演算を適用することによって、それぞれの前記参照物体に対応するそれぞれの前記参照バウンディングボックスに関する位置情報及びクラス情報を生成することができる。このようなプロセスを通じて、前記物体検出演算が行われ得る。
以後、前記コンピューティング装置100は、前記参照物体それぞれと前記対象車両との間の前記イメージ基盤参照距離それぞれを計算することができる。以下、前記イメージ基盤参照距離が計算される具体的な方法について説明することにする。
前記コンピューティング装置100は、前記カメラのパラメータに関する情報を使用した少なくとも一つのイメージ距離予測演算を前記参照バウンディングボックスに適用して、前記イメージ基盤参照距離を計算することができる。この際、それぞれの前記参照バウンディングボックスに適用される前記イメージ距離予測演算は、それぞれの前記参照バウンディングボックスに含まれているそれぞれの前記参照物体が属するカテゴリによって異なるように適用され得る。
すなわち、前記イメージ基盤参照距離のうち一つ以上の第(1−1)特定イメージ基盤参照距離は、前記参照物体のうち一つ以上の第(1−1)特定参照物体と前記対象車両との間のV2X通信を介して取得された第(1−1)特定参照物体高さ情報を追加として使用する少なくとも一つの第(1−1)特定イメージ距離予測演算を第(1−1)特定参照バウンディングボックスに適用して生成され得る。一例として、前記第(1−1)特定参照物体は、平らな物体ではなく、高さが閾値より大きい物体の一種であり得る。前記例によると、前記第(1−1)特定参照物体は、前記対象車両から臨界距離以下に位置する周辺車両と、交通標識と、信号灯とのうち少なくとも一部を含むことができる。このような第(1−1)特定参照物体に対応する前記第(1−1)特定イメージ距離予測演算は、下記数式によって遂行され得る。
Figure 2020122785
ここで、Dは前記第(1−1)特定イメージ基盤参照距離のうち一つを意味し、fは前記カメラの焦点距離を意味する。また、VHは前記第(1−1)特定参照物体のうち一つに対応する前記第(1−1)特定参照物体高さ情報のうち一つを意味し、hは前記第(1−1)特定参照物体のうち前記一つの前記参照イメージ上における見掛け高さ(apparent height)を意味する。前記見掛け高さは、前記第(1−1)特定参照物体のうち前記一つを含む、前記第(1−1)特定参照バウンディングボックスのうち一つの縦の高さに関する情報を利用して取得され得る。このような、前記第(1−1)特定イメージ距離予測演算のプロセスを説明するために、図4を参照することにする。
図4は、本発明の一実施例による前記V2X情報融合を利用して前記自車両位置決定方法を遂行するために利用される、自車両と周辺物体との間の距離を計算する方式を簡略に示した図面である。
図4を参照すると、(i)前記第(1−1)特定参照物体のうち前記一つに対応する前記第(1−1)特定参照物体高さ情報のうち前記一つ、及び(ii)前記第(1−1)特定参照物体高さ情報のうち前記一つが反映された前記見掛け高さを確認することができる。このような情報及び値を利用して、前記第(1−1)特定イメージ基盤参照距離が計算され得る。このようなプロセスについて、通常の技術者は、イメージプロセッシングに関する従来技術をさらに参照することによって容易に理解することができるであろう。
そして、前記イメージ基盤参照距離のうち一つ以上の第(1−2)特定イメージ基盤参照距離は、前記参照イメージ内の基準点に関する情報を追加として使用する第(1−2)特定イメージ距離予測演算を第(1−2)特定参照バウンディングボックスに適用して生成され得る。この際、前記第(1−2)特定イメージ基盤参照距離は一つ以上の第(1−2)特定参照物体に対応し得、前記第(1−2)特定参照物体は、一例として高さが閾値未満である平らな物体の一種であり得る。前記例によると、前記第(1−2)特定参照物体は、道路に描かれた路面標識であり得る。また、一例として、前記基準点は、前記参照イメージの中心点であり得る。この場合、前記第(1−2)特定イメージ距離予測演算は、下記数式によって遂行され得る。
Figure 2020122785
ここで、Dは前記第(1−2)特定座標基盤参照距離のうち一つを意味し、fは前記カメラの焦点距離を意味する。また、Hは前記カメラの高さを意味し、
Figure 2020122785
は前記第(1−2)特定参照物体のうち一つに対応する第(1−2)特定参照バウンディングボックスのうち一つの下段境界と前記基準点との間の前記参照イメージ上における見掛け距離(apparent distance)を意味し得る。前記数式を利用した前記第(1−2)特定イメージ距離予測演算を遂行して、前記第(1−2)特定イメージ基盤参照距離が生成され得る。
以上、前記イメージ基盤参照距離を生成する方式について説明した。これとともに使用される前記座標基盤参照距離を計算する方式について、以下に説明することにする。この場合、それぞれの前記参照物体が属するカテゴリに応じて、それぞれの前記座標基盤参照距離が異なるように計算され得る。
すなわち、前記座標基盤参照距離のうちで一つ以上の第(2−1)特定座標基盤参照距離は、前記参照物体のうち一つ以上の第(2−1)特定参照物体と前記対象車両との間のV2X通信を介して取得された第(2−1)特定参照物体位置情報及び前記対象位置情報を参照して生成され得る。一例として、前記第(2−1)特定参照物体は、車両のように移動が可能な物体の一種であって、これに関する情報がリアルタイムにアップデートされなければならない物体であり得る。この場合に、前記コンピューティング装置100は、前記V2X通信を介して前記第(2−1)特定参照物体位置情報を取得することができ、ユークリッド距離(Euclidean distance)のような任意の距離計算演算を遂行して前記第(2−1)特定座標基盤参照距離を計算することができる。ただし、場合によって、前記第(2−1)特定参照物体は、このような移動が可能な物体である必要はない。その他の例として、前記V2X通信が可能であればどんな物体であっても、上述したように処理される前記第(2−1)特定参照物体のうち一つとして取り扱われ得るため、それに対応する前記第(2−1)特定座標基盤参照距離を計算することができる。前記対象位置情報は、前記対象車両に搭載されたGPS(Global Positioning System)を介して取得された状態であり得る。
それに対し、前記座標基盤参照距離のうち一つ以上の第(2−2)特定座標基盤参照距離は、データベースから取得された第(2−2)特定参照物体位置情報及び前記対象位置情報を参照して生成され得る。一例として、前記第(2−2)特定参照物体は、移動が不可能な固定された物体の一種であって、これに関する情報がデータベースに格納された物体であり得る。この場合、前記第(2−2)特定参照物体位置が更新される必要がないので、前記データベースに格納された前記情報を利用して前記第(2−2)特定座標基盤参照距離が計算され得る。
前記イメージ基盤参照距離及び前記座標基盤参照距離を生成する方式について説明しつつ、前記第(1−1)特定参照物体、前記第(1−2)特定参照物体、前記第(2−1)特定参照物体、及び前記第(2−2)特定参照物体の概念が紹介された。この場合、任意の参照物体は、前記第(1−1)特定参照物体あるいは前記第(1−2)特定参照物体のうち一つであると共に、同時に前記第(2−1)特定参照物体あるいは前記第(2−2)特定参照物体のうち一つであり得る。例えば、例示参照物体は、前記第(1−1)特定参照物体のうち一つであると共に、また前記第(2−2)特定参照物体のうち一つであり得る。つまり、前記参照物体それぞれに対応するイメージ基盤参照距離を生成するために処理される方式についての第1基準を利用して、それぞれの前記参照物体を前記第(1−1)特定参照物体及び前記第(1−2)特定参照物体に分類することができ、前記参照物体それぞれに対応する座標基盤参照距離を生成するために処理される方式についての第2基準を利用して、それぞれの前記参照物体を前記第(2−1)特定参照物体及び前記第(2−2)特定参照物体に分類することができる。したがって、前記第1基準及び前記第2基準は、相互に独立している。
前記イメージ基盤参照距離及び前記座標基盤参照距離が計算されると、前記コンピューティング装置100は、下記数式によって前記距離誤差値を生成することができる。
Figure 2020122785
ここで、Dikは前記参照物体のうち第k参照物体に対応するイメージ基盤参照距離のうち一つを意味し、Dckは前記第k参照物体に対応する前記座標基盤参照距離のうち一つを意味する。また、wkは前記第k物体に対する重み付け値を意味し、Nは前記参照物体の個数を意味する。
前記距離誤差値が生成された後、前記コンピューティング装置100は、前記距離誤差値を参照して前記対象位置情報をキャリブレーションすることができる。前記座標基盤参照距離は、前記GPSにより最初に検出された前記対象位置情報を参照して生成されるため、前記対象位置情報が誤って測定された場合には、前記距離誤差値が適正値より大きい。このような場合、前記コンピューティング装置100は、前記対象位置情報を調整し、前記調整された対象位置情報を利用して前記距離誤差値を再度計算することができる。前記再度計算された距離誤差値が以前より小さくなったのであれば、前記コンピューティング装置100は以前に行ったとおりに前記対象位置情報を調整するであろう。もし、前記再度計算された距離誤差値が以前より大きくなったのであれば、前記コンピューティング装置100は、以前の調整と比較して反対に前記対象位置情報を調整することができるであろう。このようなプロセスは、広く知られている最急降下法(Gradient−Descent)のような、リグレッションに関する従来技術のプロセスと類似するため、通常の技術者はこれを容易に理解することができるはずである。
前記対象位置情報がキャリブレーションされた後、前記対象車両が前記HDマップをアップデートするために使用されるのであれば、前記コンピューティング装置100が、前記HDマップをアップデートするために使用されるアップデート用情報を格納しつつ、前記キャリブレーションされた前記対象位置情報を参照して前記アップデート用情報が取得された位置に関する情報を格納することができる。この際、前記アップデート用情報は、前記対象車両周辺の状況と関連し、前記対象車両が定められた経路を走行しながら少なくとも一つのカメラ又は少なくとも一つのセンサを介して取得されたものであり得る。前記参照イメージは、前記対象位置情報をキャリブレーションするために利用されるので、前記アップデート用情報とは関連がないことがあり得るが、これに限定されるわけではない。
それに対し、前記対象車両が前記HDマップを利用する前記自律走行車両である場合、前記コンピューティング装置100は、前記キャリブレーションされた対象位置情報を参照して、前記HDマップ上における前記対象車両の位置を計算することができ、前記対象車両から臨界距離未満の距離に位置する一つ以上の物体に関する情報を前記HDマップから取得することによって、前記対象車両の自律走行を支援することができる。
上述したような前記自車両位置決定方法を利用して、前記HDマップがより正確に生成され得、前記HDマップを利用した前記自律走行は、より安全に遂行され得るであろう。
以上にて説明された本発明による各実施例は、多様なコンピュータの構成要素を通じて遂行することができるプログラム命令語の形態で具現されて、コンピュータ読取り可能な記録媒体に格納され得る。前記コンピュータ読取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独で又は組み合わせて含むことができる。前記コンピュータ読取り可能な記録媒体に格納されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知にされて使用可能なものであり得る。コンピュータ読取り可能な記録媒体の例には、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体、CD−ROM、DVDのような光記録媒体、フロプティカルディスク(Floptical Disk)のような磁気−光メディア(Magneto−Optical Media)、及びROM、RAM、フラッシュメモリなどのようなプログラム命令語を格納して遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるもののような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行され得る高級言語コードも含まれる。前記ハードウェア装置は、本発明による処理を実行するために一つ以上のソフトウェアモジュールとして作動するように構成され得、その反対も同様である。
以上にて本発明が具体的な構成要素などのような特定事項と限定された実施例及び図面によって説明されたが、これは本発明のより全般的な理解の一助とするために提供されたものであるに過ぎず、本発明が前記実施例に限られるものではなく、本発明が属する技術分野において通常の知識を有する者であれば、かかる記載から多様な修正及び変形が行われ得る。
したがって、本発明の思想は、前記説明された実施例に局限されて定められてはならず、後述する特許請求の範囲だけでなく、本特許請求の範囲と均等または等価的に変形されたものすべては、本発明の思想の範囲に属するといえる。

Claims (22)

  1. 相対的距離情報を利用して対象車両の正確な位置を計算する方法において、
    (a)前記対象車両と連動するコンピューティング装置が、前記対象車両に搭載された少なくとも一つのカメラを介して少なくとも一つの参照イメージが取得されると、前記参照イメージに少なくとも一つの物体検出演算を適用して前記参照イメージ内の一つ以上の参照物体を検出する段階;
    (b)前記コンピューティング装置が、前記参照イメージ上で、それぞれの前記参照物体に対応するそれぞれの参照バウンディングボックスに関する情報を参照して、前記参照物体それぞれと前記対象車両との間の一つ以上のイメージ基盤参照距離それぞれを計算する段階;及び
    (c)前記コンピューティング装置が、前記参照物体それぞれと前記対象車両との間の一つ以上の座標基盤参照距離それぞれが取得されると、(i)前記座標基盤参照距離及び前記イメージ基盤参照距離を参照して少なくとも一つの距離誤差値を生成し、(ii)前記距離誤差値を参照して前記対象車両の対象位置情報をキャリブレーションする段階;
    を含むことを特徴とする方法。
  2. 前記(c)段階で、
    前記コンピューティング装置が、下記数式によって前記距離誤差値を生成し、
    Figure 2020122785
    ikは前記参照物体のうち第k参照物体に対応するイメージ基盤参照距離のうち一つを意味し、Dckは前記第k参照物体に対応する前記座標基盤参照距離のうち一つを意味し、wkは前記第k物体に対する重み付け値を意味し、Nは前記参照物体の個数を意味することを特徴とする請求項1に記載の方法。
  3. 前記(b)段階で、
    前記コンピューティング装置が、前記参照バウンディングボックスに、前記カメラのパラメータに関する情報を使用した少なくとも一つのイメージ距離予測演算を適用して前記イメージ基盤参照距離を計算し、
    (i)前記イメージ基盤参照距離のうち一つ以上の第(1−1)特定イメージ基盤参照距離は、前記参照物体のうち一つ以上の第(1−1)特定参照物体と前記対象車両との間のV2X通信を介して取得された第(1−1)特定参照物体高さ情報を追加として使用する少なくとも一つの第(1−1)特定イメージ距離予測演算を第(1−1)特定参照バウンディングボックスに適用して生成され、(ii)前記イメージ基盤参照距離のうち一つ以上の第(1−2)特定イメージ基盤参照距離は、前記参照イメージ内の基準点に関する情報を追加として使用する少なくとも一つの第(1−2)特定イメージ距離予測演算を第(1−2)特定参照バウンディングボックスに適用して生成されることを特徴とする請求項1に記載の方法。
  4. 前記第(1−1)特定イメージ距離予測演算は、下記数式によって遂行され、
    Figure 2020122785
    Dは前記第(1−1)特定イメージ基盤参照距離のうち一つを意味し、fは前記カメラの焦点距離を意味し、VHは前記第(1−1)特定参照物体のうち一つに対応する前記第(1−1)特定参照物体高さ情報のうち一つを意味し、hは前記第(1−1)特定参照物体のうち前記一つの前記参照イメージ上における見掛け高さを意味することを特徴とする請求項3に記載の方法。
  5. 前記第(1−2)特定イメージ距離予測演算は下記数式によって遂行され、
    Figure 2020122785
    Dは前記第(1−2)特定座標基盤参照距離のうち一つを意味し、fは前記カメラの焦点距離を意味し、Hは前記カメラの高さを意味し、
    Figure 2020122785
    は第(1−2)特定参照物体のうち一つに対応する前記第(1−2)特定参照バウンディングボックスのうち一つの下段境界と前記基準点との間の前記参照イメージ上における見掛け距離を意味することを特徴とする請求項3に記載の方法。
  6. (i)前記座標基盤参照距離のうちで一つ以上の第(2−1)特定座標基盤参照距離は、前記参照物体のうち一つ以上の第(2−1)特定参照物体と前記対象車両との間のV2X通信を介して取得された第(2−1)特定参照物体位置情報及び前記対象位置情報を参照して生成され、(ii)前記座標基盤参照距離のうち一つ以上の第(2−2)特定座標基盤参照距離は、データベースから取得された第(2−2)特定参照物体位置情報及び前記対象位置情報を参照して生成されることを特徴とする請求項1に記載の方法。
  7. 前記(a)段階で、
    前記コンピューティング装置が、CNNをもって、少なくとも一つのコンボリューション演算と、少なくとも一つのROIプーリング演算と、少なくとも一つのFCネットワーク演算とを前記参照イメージに順次に適用させることによって、前記参照イメージに前記物体検出演算を適用することを特徴とする請求項1に記載の方法。
  8. 前記(c)段階で、
    前記コンピューティング装置が、(i)前記対象位置情報を調整するプロセス、(ii)前記調整された対象位置情報を利用して前記距離誤差値を再度計算するプロセス、及び(iii)前記再度計算された距離誤差値が小さくなったか否かに関する情報を参照して前記調整された対象位置情報を再度調整するプロセスを繰り返すことによって、前記対象位置情報をキャリブレーションしてこれに対応する距離誤差値が最小化されるキャリブレーションされた対象位置情報を生成することを特徴とする請求項1に記載の方法。
  9. 前記(c)段階で、
    前記コンピューティング装置が、HDマップをアップデートするために使用されるアップデート用情報を格納しつつ、前記キャリブレーションされた前記対象位置情報を参照して前記アップデート用情報が取得された位置に関する情報を格納することを特徴とする請求項1に記載の方法。
  10. 前記参照物体は、(i)V2X通信が可能な一つ以上のモバイル物体及び(ii)一つ以上の固定物体のうち少なくとも一部を含み、前記固定物体は(ii−1)前記V2X通信が可能であるか、(ii−2)前記固定物体に関する情報がデータベースに格納された状態であり、
    前記参照物体は、前記対象車両から臨界距離未満の距離に位置する一つ以上の周辺車両と、一つ以上の交通標識と、一つ以上の信号灯と、一つ以上の路面標識とのうち少なくとも一部を含むことを特徴とする請求項1に記載の方法。
  11. 前記(c)段階で、
    前記コンピューティング装置が、前記キャリブレーションされた対象位置情報を参照して、HDマップ上における前記対象車両の位置を計算し、前記対象車両から臨界距離未満の距離に位置する一つ以上の物体に関する情報を前記HDマップから取得することによって、前記対象車両の自律走行を支援することを特徴とする請求項1に記載の方法。
  12. 相対的距離情報を利用して対象車両の正確な位置を計算する装置において、
    インストラクションを格納する少なくとも一つのメモリと、
    (I)前記対象車両に搭載された少なくとも一つのカメラを介して少なくとも一つの参照イメージが取得されると、前記参照イメージに少なくとも一つの物体検出演算を適用して前記参照イメージ内の一つ以上の参照物体を検出するプロセス、(II)前記参照イメージ上で、それぞれの前記参照物体に対応するそれぞれの参照バウンディングボックスに関する情報を参照して、前記参照物体それぞれと前記対象車両との間の一つ以上のイメージ基盤参照距離それぞれを計算するプロセス、及び(III)前記参照物体それぞれと前記対象車両との間の一つ以上の座標基盤参照距離それぞれが取得されると、(i)前記座標基盤参照距離及び前記イメージ基盤参照距離を参照して少なくとも一つの距離誤差値を生成し、(ii)前記距離誤差値を参照して前記対象車両の対象位置情報をキャリブレーションするプロセスを遂行するための前記インストラクションを実行するように構成された少なくとも一つのプロセッサと、
    を含むことを特徴とする装置。
  13. 前記(III)プロセスで、
    前記プロセッサが、下記数式によって前記距離誤差値を生成し、
    Figure 2020122785
    ikは前記参照物体のうち第k参照物体に対応するイメージ基盤参照距離のうち一つを意味し、Dckは前記第k参照物体に対応する前記座標基盤参照距離のうち一つを意味し、wkは前記第k物体に対する重み付け値を意味し、Nは前記参照物体の個数を意味することを特徴とする請求項12に記載の装置。
  14. 前記(II)プロセスで、
    前記プロセッサが、前記参照バウンディングボックスに、前記カメラのパラメータに関する情報を使用した少なくとも一つのイメージ距離予測演算を適用して前記イメージ基盤参照距離を計算し、
    (i)前記イメージ基盤参照距離のうち一つ以上の第(1−1)特定イメージ基盤参照距離は、前記参照物体のうち一つ以上の第(1−1)特定参照物体と前記対象車両との間のV2X通信を介して取得された第(1−1)特定参照物体高さ情報を追加として使用する少なくとも一つの第(1−1)特定イメージ距離予測演算を第(1−1)特定参照バウンディングボックスに適用して生成され、(ii)前記イメージ基盤参照距離のうち一つ以上の第(1−2)特定イメージ基盤参照距離は、前記参照イメージ内の基準点に関する情報を追加として使用する少なくとも一つの第(1−2)特定イメージ距離予測演算を第(1−2)特定参照バウンディングボックスに適用して生成されることを特徴とする請求項12に記載の装置。
  15. 前記第(1−1)特定イメージ距離予測演算は、下記数式によって遂行され、
    Figure 2020122785
    Dは前記第(1−1)特定イメージ基盤参照距離のうち一つを意味し、fは前記カメラの焦点距離を意味し、VHは前記第(1−1)特定参照物体のうち一つに対応する前記第(1−1)特定参照物体高さ情報のうち一つを意味し、hは前記第(1−1)特定参照物体のうち前記一つの前記参照イメージ上における見掛け高さを意味することを特徴とする請求項14に記載の装置。
  16. 前記第(1−2)特定イメージ距離予測演算は、下記数式によって遂行され、
    Figure 2020122785
    Dは前記第(1−2)特定座標基盤参照距離のうち一つを意味し、fは前記カメラの焦点距離を意味し、Hは前記カメラの高さを意味し、
    Figure 2020122785
    は第(1−2)特定参照物体のうち一つに対応する前記第(1−2)特定参照バウンディングボックスのうち一つの下段境界と前記基準点との間の前記参照イメージ上における見掛け距離を意味することを特徴とする請求項14に記載の装置。
  17. (i)前記座標基盤参照距離のうちで一つ以上の第(2−1)特定座標基盤参照距離は、前記参照物体のうち一つ以上の第(2−1)特定参照物体と前記対象車両との間のV2X通信を介して取得された第(2−1)特定参照物体位置情報及び前記対象位置情報を参照して生成され、(ii)前記座標基盤参照距離のうち一つ以上の第(2−2)特定座標基盤参照距離は、データベースから取得された第(2−2)特定参照物体位置情報及び前記対象位置情報を参照して生成されることを特徴とする請求項12に記載の装置。
  18. 前記(I)プロセスで、
    前記プロセッサが、CNNをもって、少なくとも一つのコンボリューション演算と、少なくとも一つのROIプーリング演算と、少なくとも一つのFCネットワーク演算とを前記参照イメージに順次に適用させることによって、前記参照イメージに前記物体検出演算を適用することを特徴とする請求項12に記載の装置。
  19. 前記(III)プロセスで、
    前記プロセッサが、(i)前記対象位置情報を調整するプロセス、(ii)前記調整された対象位置情報を利用して前記距離誤差値を再度計算するプロセス、及び(iii)前記再度計算された距離誤差値が小さくなったか否かに関する情報を参照して前記調整された対象位置情報を再度調整するプロセスを繰り返すことによって、前記対象位置情報をキャリブレーションしてこれに対応する距離誤差値が最小化されるキャリブレーションされた対象位置情報を生成することを特徴とする請求項12に記載の装置。
  20. 前記(III)プロセスで、
    前記プロセッサが、HDマップをアップデートするために使用されるアップデート用情報を格納しつつ、前記キャリブレーションされた前記対象位置情報を参照して前記アップデート用情報が取得された位置に関する情報を格納することを特徴とする請求項12に記載の装置。
  21. 前記参照物体は、(i)V2X通信が可能な一つ以上のモバイル物体及び(ii)一つ以上の固定物体のうち少なくとも一部を含み、前記固定物体は(ii−1)前記V2X通信が可能であるか、(ii−2)前記固定物体に関する情報がデータベースに格納された状態であり、
    前記参照物体は、前記対象車両から臨界距離未満の距離に位置する一つ以上の周辺車両と、一つ以上の交通標識と、一つ以上の信号灯と、一つ以上の路面標識とのうち少なくとも一部を含むことを特徴とする請求項12に記載の装置。
  22. 前記(III)プロセスで、
    前記プロセッサが、前記キャリブレーションされた対象位置情報を参照して、HDマップ上における前記対象車両の位置を計算し、前記対象車両から臨界距離未満の距離に位置する一つ以上の物体に関する情報を前記HDマップから取得することによって、前記対象車両の自律走行を支援することを特徴とする請求項12に記載の装置。
JP2020009529A 2019-01-30 2020-01-23 V2x情報融合を利用してhdマップをアップデートするための自車両位置決定を遂行する方法及び装置 Active JP6986290B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962798686P 2019-01-30 2019-01-30
US62/798,686 2019-01-30
US16/725,181 US10803333B2 (en) 2019-01-30 2019-12-23 Method and device for ego-vehicle localization to update HD map by using V2X information fusion
US16/725,181 2019-12-23

Publications (2)

Publication Number Publication Date
JP2020122785A true JP2020122785A (ja) 2020-08-13
JP6986290B2 JP6986290B2 (ja) 2021-12-22

Family

ID=69174388

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020009529A Active JP6986290B2 (ja) 2019-01-30 2020-01-23 V2x情報融合を利用してhdマップをアップデートするための自車両位置決定を遂行する方法及び装置

Country Status (5)

Country Link
US (1) US10803333B2 (ja)
EP (1) EP3690400A1 (ja)
JP (1) JP6986290B2 (ja)
KR (1) KR102338763B1 (ja)
CN (1) CN111508018B (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11648945B2 (en) * 2019-03-11 2023-05-16 Nvidia Corporation Intersection detection and classification in autonomous machine applications
GB202013106D0 (en) * 2020-08-21 2020-10-07 Five Ai Ltd Processing images for extracting information about known objects
JP7379299B2 (ja) * 2020-08-28 2023-11-14 株式会社東芝 位置姿勢推定装置、位置姿勢推定方法及びプログラム
CN112418031B (zh) * 2020-11-11 2022-03-11 腾讯科技(深圳)有限公司 图像识别方法和装置、存储介质及电子设备
CN113205701B (zh) * 2021-04-25 2023-05-12 腾讯科技(深圳)有限公司 车路协同系统、基于车路协同的高程转换更新方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014096240A1 (en) * 2012-12-19 2014-06-26 Connaught Electronics Ltd. Method for detecting a target object based on a camera image by clustering from multiple adjacent image cells, camera device and motor vehicle
JP2017513020A (ja) * 2014-04-09 2017-05-25 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト 周囲の物体との照合による車両の位置修正
JP2018510373A (ja) * 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP2018538612A (ja) * 2015-11-04 2018-12-27 エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. オブジェクト検出のためのスケール依存プーリングによるカスケード型ニューラルネットワーク

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9327743B2 (en) * 2013-12-19 2016-05-03 Thales Canada Inc Guideway mounted vehicle localization system
US10133947B2 (en) * 2015-01-16 2018-11-20 Qualcomm Incorporated Object detection using location data and scale space representations of image data
US10948302B2 (en) * 2015-08-03 2021-03-16 Tomtom Global Content B.V. Methods and systems for generating and using localization reference data
CN112902974A (zh) 2016-07-21 2021-06-04 御眼视觉技术有限公司 用于自主车辆导航的众包和分发稀疏地图以及车道测量
JP2019527832A (ja) 2016-08-09 2019-10-03 ナウト, インコーポレイテッドNauto, Inc. 正確な位置特定およびマッピングのためのシステムおよび方法
US20180043829A1 (en) 2016-08-10 2018-02-15 Surround.IO Corporation Method and Apparatus for Providing Automatic Mirror Setting Via Inward Facing Cameras
KR20180112949A (ko) * 2017-04-05 2018-10-15 현대자동차주식회사 차량의 자율 주행 제어 시스템 및 그를 이용한 자율 주행 제어방법
US10444759B2 (en) * 2017-06-14 2019-10-15 Zoox, Inc. Voxel based ground plane estimation and object segmentation
US10983199B2 (en) * 2017-08-11 2021-04-20 Zoox, Inc. Vehicle sensor calibration and localization
US9946960B1 (en) 2017-10-13 2018-04-17 StradVision, Inc. Method for acquiring bounding box corresponding to an object in an image by using convolutional neural network including tracking network and computing device using the same
CN108919320A (zh) * 2018-05-17 2018-11-30 中国科学院微电子研究所 一种基于v2x的自动驾驶车辆定位方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014096240A1 (en) * 2012-12-19 2014-06-26 Connaught Electronics Ltd. Method for detecting a target object based on a camera image by clustering from multiple adjacent image cells, camera device and motor vehicle
JP2017513020A (ja) * 2014-04-09 2017-05-25 コンティネンタル・テーベス・アクチエンゲゼルシヤフト・ウント・コンパニー・オッフェネ・ハンデルスゲゼルシヤフト 周囲の物体との照合による車両の位置修正
JP2018510373A (ja) * 2015-02-10 2018-04-12 モービルアイ ビジョン テクノロジーズ リミテッド 自律車両ナビゲーションのための疎な地図
JP2018538612A (ja) * 2015-11-04 2018-12-27 エヌイーシー ラボラトリーズ アメリカ インクNEC Laboratories America, Inc. オブジェクト検出のためのスケール依存プーリングによるカスケード型ニューラルネットワーク

Also Published As

Publication number Publication date
US10803333B2 (en) 2020-10-13
CN111508018A (zh) 2020-08-07
CN111508018B (zh) 2023-10-31
KR102338763B1 (ko) 2021-12-15
JP6986290B2 (ja) 2021-12-22
US20200242378A1 (en) 2020-07-30
KR20200094646A (ko) 2020-08-07
EP3690400A1 (en) 2020-08-05

Similar Documents

Publication Publication Date Title
JP6986290B2 (ja) V2x情報融合を利用してhdマップをアップデートするための自車両位置決定を遂行する方法及び装置
KR102373466B1 (ko) 거리 예측이 가능한 레이더를 통해 획득되는 정보와 카메라를 통해 획득되는 정보를 통합하는 센서 융합을 수행함으로써 자율 주행을 지원하는 뉴럴 네트워크를 향상시키는 학습 방법 및 학습 장치, 그리고 이를 사용한 테스트 방법 및 테스트 장치
US10970873B2 (en) Method and device to determine the camera position and angle
CN110386142A (zh) 用于自动驾驶车辆的俯仰角校准方法
JP7427614B2 (ja) センサ較正
JP6890350B2 (ja) V2v通信を介して取得した情報とカメラを介して取得した情報とを融合してカメラのピッチキャリブレーションをより精巧に遂行することによって、カメラ基盤のロバスト物体距離の予測を提供する方法、及びこれを利用した装置
CN110766760B (zh) 用于相机标定的方法、装置、设备和存储介质
US20200364883A1 (en) Localization of a mobile unit by means of a multi-hypothesis kalman filter method
JP6986769B2 (ja) 経路プランニングのための自律走行車両の位置を決定する方法及び装置
KR20200043006A (ko) 위치 추정 장치 및 방법
US10796434B1 (en) Method and device for detecting parking area using semantic segmentation in automatic parking system
JP2020135874A (ja) ローカルセンシングベースの自律ナビゲーション、並びに関連するシステムおよび方法
KR20200095379A (ko) 자체적으로 생성된 정보 및 다른 개체에 의해 생성된 정보를 선택적으로 사용하여 카메라의 오정렬을 보정하는 방법 및 이를 이용한 장치
CN110766761A (zh) 用于相机标定的方法、装置、设备和存储介质
JP2017181476A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
KR20200095388A (ko) 응급 차량을 실시간으로 검출하고, 응급 차량으로 인해 발생될 것으로 예상되는 상황에 대처하기 위한 주행 경로를 플래닝하는 방법 및 장치
CN110728720A (zh) 用于相机标定的方法、装置、设备和存储介质
KR20220013439A (ko) 고정밀지도생성장치 및 고정밀지도생성방법
CN110751693A (zh) 用于相机标定的方法、装置、设备和存储介质
CN114694111A (zh) 车辆定位
CN113665591A (zh) 无人驾驶控制方法、装置、设备及介质
CN116295508A (zh) 一种基于高精地图的路侧传感器标定方法、设备和系统
CN115456898A (zh) 停车场的建图方法、装置、车辆及存储介质
EP4148392A1 (en) Method and apparatus for vehicle positioning
CN114462545A (zh) 一种基于语义slam的地图构建方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200123

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210126

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20210419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210616

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211119

R150 Certificate of patent or registration of utility model

Ref document number: 6986290

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150