JP2019500602A5 - - Google Patents

Download PDF

Info

Publication number
JP2019500602A5
JP2019500602A5 JP2018531062A JP2018531062A JP2019500602A5 JP 2019500602 A5 JP2019500602 A5 JP 2019500602A5 JP 2018531062 A JP2018531062 A JP 2018531062A JP 2018531062 A JP2018531062 A JP 2018531062A JP 2019500602 A5 JP2019500602 A5 JP 2019500602A5
Authority
JP
Japan
Prior art keywords
vehicle
orientation
determining
map data
camera image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018531062A
Other languages
English (en)
Other versions
JP2019500602A (ja
JP6946298B2 (ja
Filing date
Publication date
Priority claimed from US14/970,251 external-priority patent/US9727793B2/en
Application filed filed Critical
Publication of JP2019500602A publication Critical patent/JP2019500602A/ja
Publication of JP2019500602A5 publication Critical patent/JP2019500602A5/ja
Application granted granted Critical
Publication of JP6946298B2 publication Critical patent/JP6946298B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (18)

  1. 車両の位置及び姿勢を決定する方法であって、
    該方法は、
    位置及び姿勢の推定値を決定するステップと、
    前記位置及び姿勢の推定値に基づいて3次元地図データを取り出すステップと、
    車載カメラからカメラ画像を取得するステップと
    前記位置及び姿勢の推定値に基づいて、前記カメラ画像上に前記3次元地図データを投影するステップと、
    投影された前記3次元地図データを前記カメラ画像と比較するステップと、
    前記比較するステップに基づいて前記車両の前記位置及び姿勢を決定するステップと
    を含み、
    前記カメラ画像上に前記3次元地図データを投影する前記ステップは、
    前記3次元地図データを地図座標系から車両座標系に変換するステップと、
    前記地図データを前記車両座標系からカメラ座標系に変換するステップと、
    前記3次元地図データを前記カメラ座標系から前記カメラ画像上に投影するステップと
    を含む、車両の位置及び姿勢を決定する方法。
  2. 請求項1記載の車両の位置及び姿勢を決定する方法において、
    前記地図データを前記車両座標系から前記カメラ座標系に変換する前記ステップは、カメラ較正に基づいて行われる、車両の位置及び姿勢を決定する方法。
  3. 請求項1記載の車両の位置及び姿勢を決定する方法において、
    投影された前記3次元地図データを前記カメラ画像と比較する前記ステップは、前記カメラ画像のエッジを投影された前記3次元地図データのエッジとマッチングするステップを含む、車両の位置及び姿勢を決定する方法。
  4. 請求項3記載の車両の位置及び姿勢を決定する方法において、
    マッチングする前記ステップは、
    前記カメラ画像に対してエッジ検出を行って、前記カメラ画像のエッジのセットを決定するステップと、
    前記カメラ画像の前記エッジのセットの各エッジと投影された前記地図データのエッジとの間の最短距離を決定するステップと
    をさらに含む、車両の位置及び姿勢を決定する方法。
  5. 請求項4記載の車両の位置及び姿勢を決定する方法において、
    前記カメラ画像の前記エッジの方向は、投影された前記地図データの前記エッジの閾値角度内にある、車両の位置及び姿勢を決定する方法。
  6. 請求項1記載の車両の位置及び姿勢を決定する方法において、
    該方法は、前記車両の前記位置及び姿勢の推定値のための複数の粒子を生成するステップをさらに含み、
    投影された前記3次元地図データを前記カメラ画像と比較する前記ステップは、
    各粒子についてマッチングメトリックを決定するステップと、
    最良のマッチングメトリックを有する粒子を選択するステップと
    を含む、車両の位置及び姿勢を決定する方法。
  7. 請求項記載の車両の位置及び姿勢を決定する方法において、
    前記マッチングメトリックは、チャンファー距離(chamfer distance)メトリックである、車両の位置及び姿勢を決定する方法。
  8. 請求項1記載の車両の位置及び姿勢を決定する方法において、
    該方法は、前記3次元地図データ又は前記カメラ画像の一方又は両方にマスクを適用するステップをさらに含み、前記マスクは前記比較のためのエッジの数を減少させる、車両の位置及び姿勢を決定する方法。
  9. 請求項1記載の車両の位置及び姿勢を決定する方法において、
    前記カメラ画像上に前記3次元地図データを投影する前記ステップは、
    投影された前記地図データにおける線の勾配を決定するステップと、
    前記線に沿った任意のピクセルに前記勾配を割り当てるステップと、
    前記勾配を使用して、前記線を、前記カメラ画像の縁まで延長するステップと、
    を含む、車両の位置及び姿勢を決定する方法。
  10. 車両の位置及び姿勢を決定するシステムであって、
    該システムは、
    前記車両の位置及び姿勢の推定値を決定するように構成された全地球測位システム受信機と、
    前記位置及び姿勢の推定値に基づいて3次元地図データを提供するように構成された地図データベースと、
    カメラ画像を取得するように構成された車載カメラと、
    メモリに通信可能に結合されたプロセッサと、
    を備え、
    前記プロセッサは、
    前記位置及び姿勢の推定値に基づいて、前記カメラ画像上に前記3次元地図データを投影し、
    投影された前記3次元地図データを前記カメラ画像と比較し、
    前記比較に基づいて前記車両の前記位置及び姿勢を決定し、
    前記カメラ画像上に前記3次元地図データを投影する前記プロセッサはさらに、
    前記3次元地図データを地図座標系から車両座標系に変換し、
    前記地図データを前記車両座標系からカメラ座標系に変換し、
    前記3次元地図データを前記カメラ座標系から前記カメラ画像上に投影する、
    車両の位置及び姿勢を決定するシステム。
  11. 請求項10記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサはさらに、カメラ較正に基づいて、前記地図データを前記車両座標系から前記カメラ座標系へ変換するように構成される、車両の位置及び姿勢を決定するシステム。
  12. 請求項10記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサはさらに、前記カメラ画像のエッジと、投影された前記3次元地図データのエッジとをマッチングさせることによって、投影された前記3次元地図データを前記カメラ画像と比較するように構成される、車両の位置及び姿勢を決定するシステム。
  13. 請求項12記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサはさらに、
    前記カメラ画像に対してエッジ検出を行って、前記カメラ画像のエッジのセットを決定し、
    前記カメラ画像の前記エッジのセットの各エッジと、投影された前記地図データのエッジとの間の最短距離を決定する、
    車両の位置及び姿勢を決定するシステム。
  14. 請求項13記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサはさらに、前記カメラ画像の前記エッジの方向が、投影された前記地図データの前記エッジの閾値角度内にあることを判定するように構成される、車両の位置及び姿勢を決定するシステム。
  15. 請求項10記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサはさらに、
    前記車両の前記位置及び姿勢の推定値のための複数の粒子を生成し、
    各粒子についてマッチングメトリックを決定し、
    最良のマッチングメトリックを有する粒子を選択する、
    車両の位置及び姿勢を決定するシステム。
  16. 請求項15記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記マッチングメトリックは、チャンファー距離(chamfer distance)メトリックである、車両の位置及び姿勢を決定するシステム。
  17. 請求項10記載の車両の位置及び姿勢を決定するシステムにおいて、
    前記プロセッサはさらに、前記3次元地図データ又は前記カメラ画像の一方又は両方にマスクを適用するように構成され、前記マスクは前記比較のためのエッジの数を減らす、車両の位置及び姿勢を決定するシステム。
  18. 車両の位置及び姿勢を決定するためのコンピュータ実行可能コードを格納する非一過性のコンピュータ可読媒体であって、
    該媒体は、
    位置及び姿勢の推定値を決定すること、
    前記位置及び姿勢の推定値に基づいて3次元地図データを取り出すこと、
    車載カメラからカメラ画像を取得すること、
    前記位置及び姿勢の推定値に基づいて、前記カメラ画像上に前記3次元地図データを投影すること、
    投影された前記3次元地図データを前記カメラ画像と比較すること、
    前記比較に基づいて前記車両の前記位置及び姿勢を決定すること、
    を行うためのコードを有し、
    前記カメラ画像上に前記3次元地図データを投影することは、
    前記3次元地図データを地図座標系から車両座標系に変換することと、
    前記地図データを前記車両座標系からカメラ座標系に変換することと、
    前記3次元地図データを前記カメラ座標系から前記カメラ画像上に投影することと、
    を含む、非一過性のコンピュータ可読媒体。
JP2018531062A 2015-12-15 2016-12-14 画像ベースの車両位置特定のためのシステム及び方法 Active JP6946298B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/970,251 US9727793B2 (en) 2015-12-15 2015-12-15 System and method for image based vehicle localization
US14/970,251 2015-12-15
PCT/US2016/066632 WO2017106327A1 (en) 2015-12-15 2016-12-14 System and method for image based vehicle localization

Publications (3)

Publication Number Publication Date
JP2019500602A JP2019500602A (ja) 2019-01-10
JP2019500602A5 true JP2019500602A5 (ja) 2019-12-05
JP6946298B2 JP6946298B2 (ja) 2021-10-06

Family

ID=59018803

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018531062A Active JP6946298B2 (ja) 2015-12-15 2016-12-14 画像ベースの車両位置特定のためのシステム及び方法

Country Status (5)

Country Link
US (1) US9727793B2 (ja)
JP (1) JP6946298B2 (ja)
CN (1) CN108450034B (ja)
DE (1) DE112016005735T5 (ja)
WO (1) WO2017106327A1 (ja)

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3358294A4 (en) * 2015-09-30 2019-04-10 Sony Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM
JP6705496B2 (ja) * 2016-02-23 2020-06-03 株式会社リコー 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム
JP6552448B2 (ja) * 2016-03-31 2019-07-31 株式会社デンソーアイティーラボラトリ 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム
EP3497405B1 (en) * 2016-08-09 2022-06-15 Nauto, Inc. System and method for precision localization and mapping
US10282860B2 (en) * 2017-05-22 2019-05-07 Honda Motor Co., Ltd. Monocular localization in urban environments using road markings
US10529089B2 (en) * 2018-02-23 2020-01-07 GM Global Technology Operations LLC Crowd-sensed point cloud map
CN110333524A (zh) * 2018-03-30 2019-10-15 北京百度网讯科技有限公司 车辆定位方法、装置及设备
DE102018207857A1 (de) * 2018-05-18 2019-11-21 Zf Friedrichshafen Ag Verfahren und Positionierungssystem zum Transformieren einer Position eines Fahrzeugs
US20200027241A1 (en) * 2018-07-19 2020-01-23 GM Global Technology Operations LLC Auto-calibration for vehicle cameras
CN109345589A (zh) * 2018-09-11 2019-02-15 百度在线网络技术(北京)有限公司 基于自动驾驶车辆的位置检测方法、装置、设备及介质
KR102682524B1 (ko) * 2018-09-11 2024-07-08 삼성전자주식회사 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치
CN109389650B (zh) * 2018-09-30 2021-01-12 京东方科技集团股份有限公司 一种车载相机的标定方法、装置、车辆和存储介质
DE102018217194A1 (de) * 2018-10-09 2020-04-09 Robert Bosch Gmbh Verfahren zum Lokalisieren eines Fahrzeugs
KR20200046437A (ko) * 2018-10-24 2020-05-07 삼성전자주식회사 영상 및 맵 데이터 기반 측위 방법 및 장치
DE102018220159B4 (de) * 2018-11-23 2021-03-11 Zf Friedrichshafen Ag Verfahren und System zum Bereitstellen von Transformationsparametern
KR102522923B1 (ko) * 2018-12-24 2023-04-20 한국전자통신연구원 차량의 자기위치 추정 장치 및 그 방법
US11227168B2 (en) 2019-01-08 2022-01-18 Qualcomm Incorporated Robust lane association by projecting 2-D image into 3-D world using map information
US20200217667A1 (en) * 2019-01-08 2020-07-09 Qualcomm Incorporated Robust association of traffic signs with a map
US10650548B1 (en) * 2019-01-30 2020-05-12 StradVision, Inc. Method and device for localization of autonomous vehicle for route planning by using attention-driven landmark detection
CN109961522B (zh) * 2019-04-02 2023-05-05 阿波罗智联(北京)科技有限公司 图像投射方法、装置、设备和存储介质
CN111829532B (zh) * 2019-04-18 2022-05-17 丰翼科技(深圳)有限公司 一种飞行器重定位系统和重定位方法
CN111753605B (zh) * 2019-06-11 2024-08-20 北京京东乾石科技有限公司 车道线定位方法、装置、电子设备及可读介质
CN110264517A (zh) * 2019-06-13 2019-09-20 上海理工大学 一种基于三维场景图像确定车辆当前位置信息的方法与系统
CN112097742B (zh) * 2019-06-17 2022-08-30 北京地平线机器人技术研发有限公司 一种位姿确定方法及装置
CN112150538B (zh) * 2019-06-27 2024-04-12 北京初速度科技有限公司 一种在三维地图构建过程中车辆位姿的确定方法和装置
US11629835B2 (en) * 2019-07-31 2023-04-18 Toyota Jidosha Kabushiki Kaisha Auto-calibration of vehicle sensors
US11500104B2 (en) 2019-08-16 2022-11-15 Ford Global Technologies, Llc Localizing a moving object
WO2021035471A1 (en) * 2019-08-26 2021-03-04 Beijing Voyager Technology Co., Ltd. Systems and methods for positioning a target subject
KR20210034253A (ko) * 2019-09-20 2021-03-30 삼성전자주식회사 위치 추정 장치 및 방법
US11620831B2 (en) * 2020-04-29 2023-04-04 Toyota Research Institute, Inc. Register sets of low-level features without data association
US11887323B2 (en) * 2020-06-08 2024-01-30 Ford Global Technologies, Llc Self-supervised estimation of observed vehicle pose
CN111968071B (zh) * 2020-06-29 2024-07-05 北京中软政通信息技术有限公司 车辆的空间位置生成方法、装置、设备及存储介质
JP7474137B2 (ja) 2020-06-30 2024-04-24 キヤノン株式会社 情報処理装置およびその制御方法
CN111833717B (zh) * 2020-07-20 2022-04-15 阿波罗智联(北京)科技有限公司 用于定位交通工具的方法、装置、设备和存储介质
CN114248778B (zh) * 2020-09-22 2024-04-12 华为技术有限公司 移动设备的定位方法和定位装置
CN112001456B (zh) * 2020-10-28 2021-07-30 北京三快在线科技有限公司 一种车辆定位方法、装置、存储介质及电子设备
CN112560680B (zh) * 2020-12-16 2024-09-03 阿波罗智联(北京)科技有限公司 车道线处理方法、装置、电子设备及存储介质
EP4020111B1 (en) * 2020-12-28 2023-11-15 Zenseact AB Vehicle localisation
US11482007B2 (en) 2021-02-10 2022-10-25 Ford Global Technologies, Llc Event-based vehicle pose estimation using monochromatic imaging
CN112966059B (zh) * 2021-03-02 2023-11-24 北京百度网讯科技有限公司 针对定位数据的数据处理方法、装置、电子设备和介质
US12078738B2 (en) 2021-11-09 2024-09-03 Msrs Llc Method, apparatus, and computer readable medium for a multi-source reckoning system
CN114547551B (zh) * 2022-02-23 2023-08-29 阿波罗智能技术(北京)有限公司 基于车辆上报数据的路面数据获取方法及云端服务器
EP4257927A1 (en) * 2022-04-06 2023-10-11 Zenseact AB Vehicle pose assessment

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6768944B2 (en) 2002-04-09 2004-07-27 Intelligent Technologies International, Inc. Method and system for controlling a vehicle
US6094508A (en) 1997-12-08 2000-07-25 Intel Corporation Perceptual thresholding for gradient-based local edge detection
US9126533B2 (en) * 2007-02-23 2015-09-08 Aisin Aw Co., Ltd. Driving support method and driving support device
JP4412380B2 (ja) * 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
US8284995B2 (en) 2008-07-16 2012-10-09 Volkswagen Of America, Inc. Method for updating a geographic database for an in-vehicle navigation system
US8503762B2 (en) * 2009-08-26 2013-08-06 Jacob Ben Tzvi Projecting location based elements over a heads up display
US9077958B2 (en) * 2010-08-30 2015-07-07 Honda Motor Co., Ltd. Road departure warning system
US8452535B2 (en) * 2010-12-13 2013-05-28 GM Global Technology Operations LLC Systems and methods for precise sub-lane vehicle positioning
CN102252859B (zh) * 2011-05-31 2013-06-05 南京信息工程大学 汽车列车直线行驶横向稳定性自动辨识系统
US9111349B2 (en) 2011-12-16 2015-08-18 Microsoft Technology Licensing, Llc Object identification using 3-D curve matching
JP5910180B2 (ja) * 2012-03-06 2016-04-27 日産自動車株式会社 移動物体位置姿勢推定装置及び方法
JP5867176B2 (ja) * 2012-03-06 2016-02-24 日産自動車株式会社 移動物体位置姿勢推定装置及び方法
JP6044084B2 (ja) * 2012-03-08 2016-12-14 日産自動車株式会社 移動物体位置姿勢推定装置及び方法
US9740942B2 (en) * 2012-12-12 2017-08-22 Nissan Motor Co., Ltd. Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
US9145139B2 (en) * 2013-06-24 2015-09-29 Google Inc. Use of environmental information to aid image processing for autonomous vehicles
US9201424B1 (en) 2013-08-27 2015-12-01 Google Inc. Camera calibration using structure from motion techniques
RU2621480C1 (ru) * 2013-11-13 2017-06-06 Ниссан Мотор Ко., Лтд. Устройство оценки положения движущегося тела и способ оценки положения движущегося тела
KR20150058679A (ko) * 2013-11-20 2015-05-29 한국전자통신연구원 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법
CN104007760B (zh) * 2014-04-22 2016-05-18 济南大学 一种自主机器人视觉导航中的自定位方法
CN104374376B (zh) * 2014-11-05 2016-06-15 北京大学 一种车载三维测量系统装置及其应用

Similar Documents

Publication Publication Date Title
JP2019500602A5 (ja)
US10217281B2 (en) Apparatus for reconstructing 3D model and method for using the same
US11151741B2 (en) System and method for obstacle avoidance
JP6107081B2 (ja) 画像処理装置、画像処理方法及びプログラム
US9619892B2 (en) Apparatus and method for extracting movement path of mutual geometric relationship fixed camera group
CN104299244B (zh) 基于单目相机的障碍物检测方法及装置
JP6299291B2 (ja) 道路エッジ検出方法及び道路エッジ検出装置
CN107843251B (zh) 移动机器人的位姿估计方法
EP3189658B1 (en) Camera calibration
JP2019500602A (ja) 画像ベースの車両位置特定のためのシステム及び方法
RU2016150826A (ru) Оценка глубины с использованием многоракурсного стереоизображения и откалиброванного проектора
JP2020173795A5 (ja)
JP2017528731A5 (ja)
JP2019502210A5 (ja)
JP6349418B2 (ja) 高精度単眼移動によるオブジェクト位置特定
WO2015126443A1 (en) Moving object localization in 3d using a single camera
KR20190057885A (ko) 3차원 복원 지형 정합 방법 및 그 장치
JP2016504611A5 (ja)
JP2014132488A5 (ja)
JP2016149125A5 (ja)
KR20150101009A (ko) 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법
JP2007256029A (ja) ステレオ画像処理装置
JP2019530059A5 (ja)
WO2021016803A1 (zh) 高精度地图定位方法、系统、平台及计算机可读存储介质
JP6905390B2 (ja) 自車位置推定用環境地図生成装置、自車位置推定装置、自車位置推定用環境地図生成プログラム、及び自車位置推定プログラム