JP2019500602A5 - - Google Patents
Download PDFInfo
- Publication number
- JP2019500602A5 JP2019500602A5 JP2018531062A JP2018531062A JP2019500602A5 JP 2019500602 A5 JP2019500602 A5 JP 2019500602A5 JP 2018531062 A JP2018531062 A JP 2018531062A JP 2018531062 A JP2018531062 A JP 2018531062A JP 2019500602 A5 JP2019500602 A5 JP 2019500602A5
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- orientation
- determining
- map data
- camera image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 claims 6
- 238000003708 edge detection Methods 0.000 claims 2
Claims (18)
- 車両の位置及び姿勢を決定する方法であって、
該方法は、
位置及び姿勢の推定値を決定するステップと、
前記位置及び姿勢の推定値に基づいて3次元地図データを取り出すステップと、
車載カメラからカメラ画像を取得するステップと
前記位置及び姿勢の推定値に基づいて、前記カメラ画像上に前記3次元地図データを投影するステップと、
投影された前記3次元地図データを前記カメラ画像と比較するステップと、
前記比較するステップに基づいて前記車両の前記位置及び姿勢を決定するステップと
を含み、
前記カメラ画像上に前記3次元地図データを投影する前記ステップは、
前記3次元地図データを地図座標系から車両座標系に変換するステップと、
前記地図データを前記車両座標系からカメラ座標系に変換するステップと、
前記3次元地図データを前記カメラ座標系から前記カメラ画像上に投影するステップと
を含む、車両の位置及び姿勢を決定する方法。 - 請求項1記載の車両の位置及び姿勢を決定する方法において、
前記地図データを前記車両座標系から前記カメラ座標系に変換する前記ステップは、カメラ較正に基づいて行われる、車両の位置及び姿勢を決定する方法。 - 請求項1記載の車両の位置及び姿勢を決定する方法において、
投影された前記3次元地図データを前記カメラ画像と比較する前記ステップは、前記カメラ画像のエッジを投影された前記3次元地図データのエッジとマッチングするステップを含む、車両の位置及び姿勢を決定する方法。 - 請求項3記載の車両の位置及び姿勢を決定する方法において、
マッチングする前記ステップは、
前記カメラ画像に対してエッジ検出を行って、前記カメラ画像のエッジのセットを決定するステップと、
前記カメラ画像の前記エッジのセットの各エッジと投影された前記地図データのエッジとの間の最短距離を決定するステップと
をさらに含む、車両の位置及び姿勢を決定する方法。 - 請求項4記載の車両の位置及び姿勢を決定する方法において、
前記カメラ画像の前記エッジの方向は、投影された前記地図データの前記エッジの閾値角度内にある、車両の位置及び姿勢を決定する方法。 - 請求項1記載の車両の位置及び姿勢を決定する方法において、
該方法は、前記車両の前記位置及び姿勢の推定値のための複数の粒子を生成するステップをさらに含み、
投影された前記3次元地図データを前記カメラ画像と比較する前記ステップは、
各粒子についてマッチングメトリックを決定するステップと、
最良のマッチングメトリックを有する粒子を選択するステップと
を含む、車両の位置及び姿勢を決定する方法。 - 請求項6記載の車両の位置及び姿勢を決定する方法において、
前記マッチングメトリックは、チャンファー距離(chamfer distance)メトリックである、車両の位置及び姿勢を決定する方法。 - 請求項1記載の車両の位置及び姿勢を決定する方法において、
該方法は、前記3次元地図データ又は前記カメラ画像の一方又は両方にマスクを適用するステップをさらに含み、前記マスクは前記比較のためのエッジの数を減少させる、車両の位置及び姿勢を決定する方法。 - 請求項1記載の車両の位置及び姿勢を決定する方法において、
前記カメラ画像上に前記3次元地図データを投影する前記ステップは、
投影された前記地図データにおける線の勾配を決定するステップと、
前記線に沿った任意のピクセルに前記勾配を割り当てるステップと、
前記勾配を使用して、前記線を、前記カメラ画像の縁まで延長するステップと、
を含む、車両の位置及び姿勢を決定する方法。 - 車両の位置及び姿勢を決定するシステムであって、
該システムは、
前記車両の位置及び姿勢の推定値を決定するように構成された全地球測位システム受信機と、
前記位置及び姿勢の推定値に基づいて3次元地図データを提供するように構成された地図データベースと、
カメラ画像を取得するように構成された車載カメラと、
メモリに通信可能に結合されたプロセッサと、
を備え、
前記プロセッサは、
前記位置及び姿勢の推定値に基づいて、前記カメラ画像上に前記3次元地図データを投影し、
投影された前記3次元地図データを前記カメラ画像と比較し、
前記比較に基づいて前記車両の前記位置及び姿勢を決定し、
前記カメラ画像上に前記3次元地図データを投影する前記プロセッサはさらに、
前記3次元地図データを地図座標系から車両座標系に変換し、
前記地図データを前記車両座標系からカメラ座標系に変換し、
前記3次元地図データを前記カメラ座標系から前記カメラ画像上に投影する、
車両の位置及び姿勢を決定するシステム。 - 請求項10記載の車両の位置及び姿勢を決定するシステムにおいて、
前記プロセッサはさらに、カメラ較正に基づいて、前記地図データを前記車両座標系から前記カメラ座標系へ変換するように構成される、車両の位置及び姿勢を決定するシステム。 - 請求項10記載の車両の位置及び姿勢を決定するシステムにおいて、
前記プロセッサはさらに、前記カメラ画像のエッジと、投影された前記3次元地図データのエッジとをマッチングさせることによって、投影された前記3次元地図データを前記カメラ画像と比較するように構成される、車両の位置及び姿勢を決定するシステム。 - 請求項12記載の車両の位置及び姿勢を決定するシステムにおいて、
前記プロセッサはさらに、
前記カメラ画像に対してエッジ検出を行って、前記カメラ画像のエッジのセットを決定し、
前記カメラ画像の前記エッジのセットの各エッジと、投影された前記地図データのエッジとの間の最短距離を決定する、
車両の位置及び姿勢を決定するシステム。 - 請求項13記載の車両の位置及び姿勢を決定するシステムにおいて、
前記プロセッサはさらに、前記カメラ画像の前記エッジの方向が、投影された前記地図データの前記エッジの閾値角度内にあることを判定するように構成される、車両の位置及び姿勢を決定するシステム。 - 請求項10記載の車両の位置及び姿勢を決定するシステムにおいて、
前記プロセッサはさらに、
前記車両の前記位置及び姿勢の推定値のための複数の粒子を生成し、
各粒子についてマッチングメトリックを決定し、
最良のマッチングメトリックを有する粒子を選択する、
車両の位置及び姿勢を決定するシステム。 - 請求項15記載の車両の位置及び姿勢を決定するシステムにおいて、
前記マッチングメトリックは、チャンファー距離(chamfer distance)メトリックである、車両の位置及び姿勢を決定するシステム。 - 請求項10記載の車両の位置及び姿勢を決定するシステムにおいて、
前記プロセッサはさらに、前記3次元地図データ又は前記カメラ画像の一方又は両方にマスクを適用するように構成され、前記マスクは前記比較のためのエッジの数を減らす、車両の位置及び姿勢を決定するシステム。 - 車両の位置及び姿勢を決定するためのコンピュータ実行可能コードを格納する非一過性のコンピュータ可読媒体であって、
該媒体は、
位置及び姿勢の推定値を決定すること、
前記位置及び姿勢の推定値に基づいて3次元地図データを取り出すこと、
車載カメラからカメラ画像を取得すること、
前記位置及び姿勢の推定値に基づいて、前記カメラ画像上に前記3次元地図データを投影すること、
投影された前記3次元地図データを前記カメラ画像と比較すること、
前記比較に基づいて前記車両の前記位置及び姿勢を決定すること、
を行うためのコードを有し、
前記カメラ画像上に前記3次元地図データを投影することは、
前記3次元地図データを地図座標系から車両座標系に変換することと、
前記地図データを前記車両座標系からカメラ座標系に変換することと、
前記3次元地図データを前記カメラ座標系から前記カメラ画像上に投影することと、
を含む、非一過性のコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/970,251 US9727793B2 (en) | 2015-12-15 | 2015-12-15 | System and method for image based vehicle localization |
US14/970,251 | 2015-12-15 | ||
PCT/US2016/066632 WO2017106327A1 (en) | 2015-12-15 | 2016-12-14 | System and method for image based vehicle localization |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2019500602A JP2019500602A (ja) | 2019-01-10 |
JP2019500602A5 true JP2019500602A5 (ja) | 2019-12-05 |
JP6946298B2 JP6946298B2 (ja) | 2021-10-06 |
Family
ID=59018803
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018531062A Active JP6946298B2 (ja) | 2015-12-15 | 2016-12-14 | 画像ベースの車両位置特定のためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US9727793B2 (ja) |
JP (1) | JP6946298B2 (ja) |
CN (1) | CN108450034B (ja) |
DE (1) | DE112016005735T5 (ja) |
WO (1) | WO2017106327A1 (ja) |
Families Citing this family (43)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3358294A4 (en) * | 2015-09-30 | 2019-04-10 | Sony Corporation | INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING PROCESS AND PROGRAM |
JP6705496B2 (ja) * | 2016-02-23 | 2020-06-03 | 株式会社リコー | 画像処理装置、撮像装置、移動体機器制御システム、移動体、画像処理方法、及びプログラム |
JP6552448B2 (ja) * | 2016-03-31 | 2019-07-31 | 株式会社デンソーアイティーラボラトリ | 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラム |
EP3497405B1 (en) * | 2016-08-09 | 2022-06-15 | Nauto, Inc. | System and method for precision localization and mapping |
US10282860B2 (en) * | 2017-05-22 | 2019-05-07 | Honda Motor Co., Ltd. | Monocular localization in urban environments using road markings |
US10529089B2 (en) * | 2018-02-23 | 2020-01-07 | GM Global Technology Operations LLC | Crowd-sensed point cloud map |
CN110333524A (zh) * | 2018-03-30 | 2019-10-15 | 北京百度网讯科技有限公司 | 车辆定位方法、装置及设备 |
DE102018207857A1 (de) * | 2018-05-18 | 2019-11-21 | Zf Friedrichshafen Ag | Verfahren und Positionierungssystem zum Transformieren einer Position eines Fahrzeugs |
US20200027241A1 (en) * | 2018-07-19 | 2020-01-23 | GM Global Technology Operations LLC | Auto-calibration for vehicle cameras |
CN109345589A (zh) * | 2018-09-11 | 2019-02-15 | 百度在线网络技术(北京)有限公司 | 基于自动驾驶车辆的位置检测方法、装置、设备及介质 |
KR102682524B1 (ko) * | 2018-09-11 | 2024-07-08 | 삼성전자주식회사 | 증강 현실에서 가상 객체를 표시하기 위한 측위 방법 및 장치 |
CN109389650B (zh) * | 2018-09-30 | 2021-01-12 | 京东方科技集团股份有限公司 | 一种车载相机的标定方法、装置、车辆和存储介质 |
DE102018217194A1 (de) * | 2018-10-09 | 2020-04-09 | Robert Bosch Gmbh | Verfahren zum Lokalisieren eines Fahrzeugs |
KR20200046437A (ko) * | 2018-10-24 | 2020-05-07 | 삼성전자주식회사 | 영상 및 맵 데이터 기반 측위 방법 및 장치 |
DE102018220159B4 (de) * | 2018-11-23 | 2021-03-11 | Zf Friedrichshafen Ag | Verfahren und System zum Bereitstellen von Transformationsparametern |
KR102522923B1 (ko) * | 2018-12-24 | 2023-04-20 | 한국전자통신연구원 | 차량의 자기위치 추정 장치 및 그 방법 |
US11227168B2 (en) | 2019-01-08 | 2022-01-18 | Qualcomm Incorporated | Robust lane association by projecting 2-D image into 3-D world using map information |
US20200217667A1 (en) * | 2019-01-08 | 2020-07-09 | Qualcomm Incorporated | Robust association of traffic signs with a map |
US10650548B1 (en) * | 2019-01-30 | 2020-05-12 | StradVision, Inc. | Method and device for localization of autonomous vehicle for route planning by using attention-driven landmark detection |
CN109961522B (zh) * | 2019-04-02 | 2023-05-05 | 阿波罗智联(北京)科技有限公司 | 图像投射方法、装置、设备和存储介质 |
CN111829532B (zh) * | 2019-04-18 | 2022-05-17 | 丰翼科技(深圳)有限公司 | 一种飞行器重定位系统和重定位方法 |
CN111753605B (zh) * | 2019-06-11 | 2024-08-20 | 北京京东乾石科技有限公司 | 车道线定位方法、装置、电子设备及可读介质 |
CN110264517A (zh) * | 2019-06-13 | 2019-09-20 | 上海理工大学 | 一种基于三维场景图像确定车辆当前位置信息的方法与系统 |
CN112097742B (zh) * | 2019-06-17 | 2022-08-30 | 北京地平线机器人技术研发有限公司 | 一种位姿确定方法及装置 |
CN112150538B (zh) * | 2019-06-27 | 2024-04-12 | 北京初速度科技有限公司 | 一种在三维地图构建过程中车辆位姿的确定方法和装置 |
US11629835B2 (en) * | 2019-07-31 | 2023-04-18 | Toyota Jidosha Kabushiki Kaisha | Auto-calibration of vehicle sensors |
US11500104B2 (en) | 2019-08-16 | 2022-11-15 | Ford Global Technologies, Llc | Localizing a moving object |
WO2021035471A1 (en) * | 2019-08-26 | 2021-03-04 | Beijing Voyager Technology Co., Ltd. | Systems and methods for positioning a target subject |
KR20210034253A (ko) * | 2019-09-20 | 2021-03-30 | 삼성전자주식회사 | 위치 추정 장치 및 방법 |
US11620831B2 (en) * | 2020-04-29 | 2023-04-04 | Toyota Research Institute, Inc. | Register sets of low-level features without data association |
US11887323B2 (en) * | 2020-06-08 | 2024-01-30 | Ford Global Technologies, Llc | Self-supervised estimation of observed vehicle pose |
CN111968071B (zh) * | 2020-06-29 | 2024-07-05 | 北京中软政通信息技术有限公司 | 车辆的空间位置生成方法、装置、设备及存储介质 |
JP7474137B2 (ja) | 2020-06-30 | 2024-04-24 | キヤノン株式会社 | 情報処理装置およびその制御方法 |
CN111833717B (zh) * | 2020-07-20 | 2022-04-15 | 阿波罗智联(北京)科技有限公司 | 用于定位交通工具的方法、装置、设备和存储介质 |
CN114248778B (zh) * | 2020-09-22 | 2024-04-12 | 华为技术有限公司 | 移动设备的定位方法和定位装置 |
CN112001456B (zh) * | 2020-10-28 | 2021-07-30 | 北京三快在线科技有限公司 | 一种车辆定位方法、装置、存储介质及电子设备 |
CN112560680B (zh) * | 2020-12-16 | 2024-09-03 | 阿波罗智联(北京)科技有限公司 | 车道线处理方法、装置、电子设备及存储介质 |
EP4020111B1 (en) * | 2020-12-28 | 2023-11-15 | Zenseact AB | Vehicle localisation |
US11482007B2 (en) | 2021-02-10 | 2022-10-25 | Ford Global Technologies, Llc | Event-based vehicle pose estimation using monochromatic imaging |
CN112966059B (zh) * | 2021-03-02 | 2023-11-24 | 北京百度网讯科技有限公司 | 针对定位数据的数据处理方法、装置、电子设备和介质 |
US12078738B2 (en) | 2021-11-09 | 2024-09-03 | Msrs Llc | Method, apparatus, and computer readable medium for a multi-source reckoning system |
CN114547551B (zh) * | 2022-02-23 | 2023-08-29 | 阿波罗智能技术(北京)有限公司 | 基于车辆上报数据的路面数据获取方法及云端服务器 |
EP4257927A1 (en) * | 2022-04-06 | 2023-10-11 | Zenseact AB | Vehicle pose assessment |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6768944B2 (en) | 2002-04-09 | 2004-07-27 | Intelligent Technologies International, Inc. | Method and system for controlling a vehicle |
US6094508A (en) | 1997-12-08 | 2000-07-25 | Intel Corporation | Perceptual thresholding for gradient-based local edge detection |
US9126533B2 (en) * | 2007-02-23 | 2015-09-08 | Aisin Aw Co., Ltd. | Driving support method and driving support device |
JP4412380B2 (ja) * | 2007-10-02 | 2010-02-10 | アイシン・エィ・ダブリュ株式会社 | 運転支援装置、運転支援方法及びコンピュータプログラム |
US8284995B2 (en) | 2008-07-16 | 2012-10-09 | Volkswagen Of America, Inc. | Method for updating a geographic database for an in-vehicle navigation system |
US8503762B2 (en) * | 2009-08-26 | 2013-08-06 | Jacob Ben Tzvi | Projecting location based elements over a heads up display |
US9077958B2 (en) * | 2010-08-30 | 2015-07-07 | Honda Motor Co., Ltd. | Road departure warning system |
US8452535B2 (en) * | 2010-12-13 | 2013-05-28 | GM Global Technology Operations LLC | Systems and methods for precise sub-lane vehicle positioning |
CN102252859B (zh) * | 2011-05-31 | 2013-06-05 | 南京信息工程大学 | 汽车列车直线行驶横向稳定性自动辨识系统 |
US9111349B2 (en) | 2011-12-16 | 2015-08-18 | Microsoft Technology Licensing, Llc | Object identification using 3-D curve matching |
JP5910180B2 (ja) * | 2012-03-06 | 2016-04-27 | 日産自動車株式会社 | 移動物体位置姿勢推定装置及び方法 |
JP5867176B2 (ja) * | 2012-03-06 | 2016-02-24 | 日産自動車株式会社 | 移動物体位置姿勢推定装置及び方法 |
JP6044084B2 (ja) * | 2012-03-08 | 2016-12-14 | 日産自動車株式会社 | 移動物体位置姿勢推定装置及び方法 |
US9740942B2 (en) * | 2012-12-12 | 2017-08-22 | Nissan Motor Co., Ltd. | Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method |
US9145139B2 (en) * | 2013-06-24 | 2015-09-29 | Google Inc. | Use of environmental information to aid image processing for autonomous vehicles |
US9201424B1 (en) | 2013-08-27 | 2015-12-01 | Google Inc. | Camera calibration using structure from motion techniques |
RU2621480C1 (ru) * | 2013-11-13 | 2017-06-06 | Ниссан Мотор Ко., Лтд. | Устройство оценки положения движущегося тела и способ оценки положения движущегося тела |
KR20150058679A (ko) * | 2013-11-20 | 2015-05-29 | 한국전자통신연구원 | 단지내 도로에서 자율주행차량의 위치 및 해딩 정보 제공 장치 및 방법 |
CN104007760B (zh) * | 2014-04-22 | 2016-05-18 | 济南大学 | 一种自主机器人视觉导航中的自定位方法 |
CN104374376B (zh) * | 2014-11-05 | 2016-06-15 | 北京大学 | 一种车载三维测量系统装置及其应用 |
-
2015
- 2015-12-15 US US14/970,251 patent/US9727793B2/en active Active
-
2016
- 2016-12-14 CN CN201680073314.1A patent/CN108450034B/zh active Active
- 2016-12-14 JP JP2018531062A patent/JP6946298B2/ja active Active
- 2016-12-14 WO PCT/US2016/066632 patent/WO2017106327A1/en active Application Filing
- 2016-12-14 DE DE112016005735.0T patent/DE112016005735T5/de not_active Withdrawn
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2019500602A5 (ja) | ||
US10217281B2 (en) | Apparatus for reconstructing 3D model and method for using the same | |
US11151741B2 (en) | System and method for obstacle avoidance | |
JP6107081B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
US9619892B2 (en) | Apparatus and method for extracting movement path of mutual geometric relationship fixed camera group | |
CN104299244B (zh) | 基于单目相机的障碍物检测方法及装置 | |
JP6299291B2 (ja) | 道路エッジ検出方法及び道路エッジ検出装置 | |
CN107843251B (zh) | 移动机器人的位姿估计方法 | |
EP3189658B1 (en) | Camera calibration | |
JP2019500602A (ja) | 画像ベースの車両位置特定のためのシステム及び方法 | |
RU2016150826A (ru) | Оценка глубины с использованием многоракурсного стереоизображения и откалиброванного проектора | |
JP2020173795A5 (ja) | ||
JP2017528731A5 (ja) | ||
JP2019502210A5 (ja) | ||
JP6349418B2 (ja) | 高精度単眼移動によるオブジェクト位置特定 | |
WO2015126443A1 (en) | Moving object localization in 3d using a single camera | |
KR20190057885A (ko) | 3차원 복원 지형 정합 방법 및 그 장치 | |
JP2016504611A5 (ja) | ||
JP2014132488A5 (ja) | ||
JP2016149125A5 (ja) | ||
KR20150101009A (ko) | 무인 항공기 영상과 지도 영상에 대한 영상 정합 장치 및 방법 | |
JP2007256029A (ja) | ステレオ画像処理装置 | |
JP2019530059A5 (ja) | ||
WO2021016803A1 (zh) | 高精度地图定位方法、系统、平台及计算机可读存储介质 | |
JP6905390B2 (ja) | 自車位置推定用環境地図生成装置、自車位置推定装置、自車位置推定用環境地図生成プログラム、及び自車位置推定プログラム |