JP2021103160A - 自律走行車意味マップ確立システム及び確立方法 - Google Patents
自律走行車意味マップ確立システム及び確立方法 Download PDFInfo
- Publication number
- JP2021103160A JP2021103160A JP2020151234A JP2020151234A JP2021103160A JP 2021103160 A JP2021103160 A JP 2021103160A JP 2020151234 A JP2020151234 A JP 2020151234A JP 2020151234 A JP2020151234 A JP 2020151234A JP 2021103160 A JP2021103160 A JP 2021103160A
- Authority
- JP
- Japan
- Prior art keywords
- map
- current road
- road image
- data
- autonomous
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Navigation (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
技術分野はマップ確立技術に関し、特に自律走行車(自動運転車)意味マップ(セマンティック・マップ、意味地図)確立システム及び自律走行車意味マップ確立方法に関する。
現在、自律走行車が移動中である際に、自律走行車は大量のマップ(地図)情報をリアルタイムで分析して、効果的な自動運転を実現するための道路検出及び認識をリアルタイムで実行する必要がある。即ち、自律走行車の自動制御がリアルタイムの道路検出及び認識のみに依存する場合、大量の計算時間及び計算リソースを必要とする。従って、自律走行車意味マップによる自律走行車制御は、現在既知の技術における重要な研究方向である。しかし、現在、自律走行車意味マップは、三次元(3D:three dimensional)マップモデルによる手動設定を用いた描画によりユーザによって確立され、従って、大量の時間及び人的資源を必要とする。従って、自律走行車意味マップの確立コストは過度に高く、ヒューマンエラー(人的過誤)も存在し得る。図面を伴ういくつかの好適な実施形態を以下に詳細に記述して、本発明をさらに詳細に説明する。
本発明は、自律走行車意味マップ確立システム及びその確立方法を提供し、これらのシステム及び方法は自動的で効率的なマップ作成機能を提供することができる。
本発明の自律走行車意味マップ確立システムは、画像捕捉モジュールと、測位モジュールと、メモリと、プロセッサとを含む。画像捕捉モジュールは、現在の道路画像を取得するように構成されている。測位モジュールは、現在の道路画像に対応する測位データを取得するように構成されている。メモリは、三次元(3D)マップデータを記憶するように構成されている。この3Dマップデータは、複数のポイントクラウド(点群)データを含む。プロセッサは、画像捕捉モジュール、測位モジュール、及びメモリに結合されている。プロセッサは、メモリにアクセスするように構成されている。プロセッサは、現在の道路画像を分析して、現在の道路画像中の特定物体の物体情報を識別する。プロセッサは、測位データに応じて、特定物体の物体情報を、3Dマップデータ中の特定物体に対応する複数のポイントクラウドデータ中の対応する複数のポイント(点)に関係付ける。
以上の記述に基づけば、開示する自律走行車意味マップ確立システム及び確立方法では、自動運転を実行する際に、まず、現在の道路画像中の特定物体の物体情報を識別し、次に、特定物体の物体情報を3Dマップデータに関係付けて、自律走行車にとって使用可能な自律走行車意味マップを効果的に確立する。
本発明の上述した内容及び他の内容をわかりやすくするために、実施形態を以下に詳細に説明して、本発明を適用することができることを示す。それに加えて、可能な限り常に、図面及び実施形態中に用いる同じ装置/構成要素/ステップは同一または同様の部分を表す。
100:自律走行車意味マップ確立システム
110:プロセッサ
120:画像捕捉モジュール
130:測位モジュール
140:メモリ
142:三次元(3D)マップデータ
S210、S220、S230、S240:ステップ
300:現在の道路画像
311〜313、322、331〜333:路面標示
321、323:道路境界線
340:交通標識
351、352:街路樹
360:建物
S410、S420、S430、S440:ステップ
400:現在の道路画像
401:基準線
411R、412R、421R、422R、423R、431R、432R、440R:物体範囲
411〜413、422、431〜433:路面標示
421、423、440:道路境界線
500:3Dマップデータ
501:3Dマップデータ
511〜513、522、531〜533:路面標示モデル
521、523:道路境界線モデル
540:交通標識モデル
551、552:街路樹モデル
560:建物モデル
S610、S620、S630、S640:ステップ
700:運転環境
710:自律走行車
701:経路部分
702、703:交差点
721、722:車道停止線
Claims (20)
- 現在の道路画像を取得するように構成された画像捕捉モジュールと、
前記現在の道路画像に対応する測位データを取得するように構成された測位モジュールと、
三次元(3D)マップデータを記憶するように構成されたメモリと、
前記画像捕捉モジュール、前記測位モジュール、及び前記メモリに結合され、前記メモリにアクセスするように構成されたプロセッサとを具えた自律走行車意味マップ確立システムであって、
前記3Dマップデータは複数のポイントクラウドデータを含み、
前記プロセッサは、前記現在の道路画像を分析して前記現在の道路画像中の特定物体の物体情報を識別し、前記プロセッサは、前記測位データに応じて、前記特定物体の前記物体情報を、前記3Dマップデータ中の前記特定物体に対応する前記複数のポイントクラウドデータ中の対応する複数のポイントに関係付ける自律走行車意味マップ確立システム。 - 前記プロセッサが、さらに、前記現在の道路画像中の前記特定物体について物体範囲を決定し、前記プロセッサが、前記測位データに応じて、前記3Dマップデータ中にあり前記現在の道路画像に対応する、前記3Dマップデータの一部分を読み込み、
前記プロセッサが、前記3Dマップデータの前記一部分中の前記対応する複数のポイントを前記現在の道路画像中に射影し、前記プロセッサが、前記現在の道路画像中の前記物体範囲内で前記対応する複数のポイントを決定して、前記特定物体の前記物体情報を前記対応する複数のポイントに関係付ける、請求項1に記載の自律走行車意味マップ確立システム。 - 前記3Dマップデータの前記一部分が、前記3Dマップデータ中の前記現在の道路画像に対応する関心領域(ROI)の部分であり、前記ROIの範囲は、前記画像捕捉モジュールの可視範囲及び/または設定角度に応じて決定される、請求項2に記載の自律走行車意味マップ確立システム。
- 前記プロセッサが、前記関係付けられた対応する複数のポイントを、前記メモリ内の前記3Dマップデータに更新する、請求項1に記載の自律走行車意味マップ確立システム。
- 前記プロセッサが、事前設定された識別の閾値に応じて、前記現在の道路画像の一部分を分析して、前記現在の道路画像中の前記特定物体を識別する、請求項1に記載の自律走行車意味マップ確立システム。
- 前記プロセッサが、事前に学習させた機械学習モジュールを用いることによって、前記現在の道路画像中の前記特定物体の前記物体情報を識別する、請求項1に記載の自律走行車意味マップ確立システム。
- 前記自律走行車意味マップ確立システムが自動運転車に適合され、前記特定物体が、街路灯、交通標識、交通信号機、道路標識、駐車標識、道路境界線、または路面標示である、請求項1に記載の自律走行車意味マップ確立システム。
- 前記プロセッサが、経路部分内の複数の特定物体に対応する、前記対応する複数のポイントを関係付けることを終了すると、前記プロセッサが、前記3Dマップデータにおける前記経路部分に対応する部分をデータセットとして記憶する、請求項1に記載の自律走行車意味マップ確立システム。
- 前記プロセッサが、前記データセットにより、前記経路部分に対応する移動経路を計画する、請求項8に記載の自律走行車意味マップ確立システム。
- 前記自律走行車意味マップ確立システムが自律走行車内に構成されている、請求項1に記載の自律走行車意味マップ確立システム。
- 前記画像捕捉モジュール及び前記測位モジュールが自律走行車内に構成され、前記メモリ及び前記プロセッサがクラウドサーバー内に構成され、前記自律走行車は、前記クラウドサーバーと無線通信して、前記現在の道路画像及び前記測位データを計算用に前記クラウドサーバーに送信する、請求項1に記載の自律走行車意味マップ確立システム。
- 現在の道路画像を取得するステップと、
前記現在の道路画像に対応する測位データを取得するステップと、
前記現在の道路画像を分析して、前記現在の道路画像中の特定物体の物体情報を識別するステップと、
前記測位データに応じて、前記特定物体の前記物体情報を、三次元(3D)マップデータ中の前記特定物体に対応する複数のポイントクラウドデータ中の対応する複数のポイントに関係付けるステップと
を含む自律走行車意味マップ確立方法。 - 前記現在の道路画像を分析するステップが、前記現在の道路画像中の前記特定物体について物体範囲を決定することをさらに含み、
前記測位データに応じて、前記特定物体の前記物体情報を、前記3Dマップデータ中の前記特定物体に対応する前記複数のポイントクラウドデータに関係付けるステップが、
前記測位データに応じて、前記3Dマップデータ中にあり前記現在の道路画像に対応する、前記3Dマップデータの一部分を読み込むことと、
前記3Dマップデータの前記一部分中の前記対応する複数のポイントを、前記現在の道路画像中に射影することと、
前記現在の道路画像中の前記物体範囲内で前記対応する複数のポイントを決定することと、
前記特定物体の前記物体情報を、前記対応する複数のポイントに関係付けることと
を含む、請求項12に記載の自律走行車意味マップ確立方法。 - 前記3Dマップデータの前記一部分が、前記3Dマップデータ中の前記現在の道路画像に対応する関心領域(ROI)の部分であり、前記ROIの範囲は、画像捕捉モジュールの可視範囲及び/または設定角度に応じて決定される、請求項13に記載の自律走行車意味マップ確立方法。
- 前記測位データに応じて、前記特定物体の前記物体情報を、前記3Dマップデータ中の前記特定物体に対応する前記複数のポイントクラウドデータ中の前記対応する複数のポイントに関係付けるステップが、
前記関係付けられた対応する複数のポイントを、前記3Dマップデータに更新することを含む、請求項12に記載の自律走行車意味マップ確立方法。 - 前記現在の道路画像を分析して、前記現在の道路画像中の前記特定物体の前記物体情報を識別するステップが、
事前設定された識別の閾値に応じて、前記現在の道路画像の一部分を分析して、前記現在の道路画像中の前記特定物体を識別することを含む、請求項12に記載の自律走行車意味マップ確立方法。 - 前記現在の道路画像を分析して、前記現在の道路画像中の前記特定物体の前記物体情報を識別するステップが、
事前に学習させた機械学習モジュールを用いることによって、前記現在の道路画像中の前記特定物体の前記物体情報を識別することを含む、請求項12に記載の自律走行車意味マップ確立方法。 - 前記自律走行車意味マップ確立方法が自動運転車に適合され、前記特定物体が、街路灯、交通標識、交通信号機、道路標識、駐車標識、道路境界線、または路面標示である、請求項12に記載の自律走行車意味マップ確立方法。
- 印を付けた経路部分内の複数の特定物体に対応する、前記対応する複数のポイントを取得すると、前記3Dマップデータにおける前記経路部分に対応する部分をデータセットとして記憶するステップをさらに含む、請求項12に記載の自律走行車意味マップ確立方法。
- 前記データセットにより、前記経路部分に対応する移動経路を計画するステップをさらに含む、請求項19に記載の自律走行車意味マップ確立方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW108147330 | 2019-12-24 | ||
TW108147330A TWI725681B (zh) | 2019-12-24 | 2019-12-24 | 無人載具語意地圖建置系統及其建置方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021103160A true JP2021103160A (ja) | 2021-07-15 |
Family
ID=76604680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020151234A Pending JP2021103160A (ja) | 2019-12-24 | 2020-09-09 | 自律走行車意味マップ確立システム及び確立方法 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP2021103160A (ja) |
TW (1) | TWI725681B (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114416764A (zh) * | 2022-02-24 | 2022-04-29 | 上海商汤临港智能科技有限公司 | 地图更新方法、装置、设备及存储介质 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI805077B (zh) * | 2021-11-16 | 2023-06-11 | 國立陽明交通大學 | 路徑規劃方法及其系統 |
TWI810809B (zh) * | 2022-02-10 | 2023-08-01 | 勤崴國際科技股份有限公司 | 街道路牌之大地座標處理方法 |
TWI832686B (zh) * | 2023-01-23 | 2024-02-11 | 國立陽明交通大學 | 路徑規劃系統及其路徑規劃方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018131165A1 (ja) * | 2017-01-16 | 2018-07-19 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
JP2018116452A (ja) * | 2017-01-18 | 2018-07-26 | パイオニア株式会社 | データ圧縮装置、データ解凍装置、制御方法、プログラム及び記憶媒体 |
WO2018181974A1 (ja) * | 2017-03-30 | 2018-10-04 | パイオニア株式会社 | 判定装置、判定方法、及び、プログラム |
WO2018180097A1 (ja) * | 2017-03-29 | 2018-10-04 | パイオニア株式会社 | サーバ装置、端末装置、通信システム、情報受信方法、情報送信方法、情報受信用プログラム、情報送信用プログラム、記録媒体、及びデータ構造 |
WO2018225596A1 (ja) * | 2017-06-07 | 2018-12-13 | パイオニア株式会社 | 情報処理装置 |
US20190120946A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | Calibrating sensors mounted on an autonomous vehicle |
US20190162856A1 (en) * | 2017-11-29 | 2019-05-30 | VoxelMaps Inc. | Method and system for positioning of autonomously operating entities |
JP2019197453A (ja) * | 2018-05-11 | 2019-11-14 | パイオニア株式会社 | 情報処理装置 |
JP2020516853A (ja) * | 2016-12-09 | 2020-06-11 | トムトム グローバル コンテント ベスローテン フエンノートシャップ | ビデオベースの位置決め及びマッピングの方法及びシステム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5229941A (en) * | 1988-04-14 | 1993-07-20 | Nissan Motor Company, Limtied | Autonomous vehicle automatically running on route and its method |
US9026315B2 (en) * | 2010-10-13 | 2015-05-05 | Deere & Company | Apparatus for machine coordination which maintains line-of-site contact |
TWI561415B (en) * | 2015-06-26 | 2016-12-11 | Weistech Technology Co Ltd | Road navigation method and system using the same |
TWI573987B (zh) * | 2015-12-03 | 2017-03-11 | 英業達股份有限公司 | 行車路線規劃系統 |
-
2019
- 2019-12-24 TW TW108147330A patent/TWI725681B/zh active
-
2020
- 2020-09-09 JP JP2020151234A patent/JP2021103160A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020516853A (ja) * | 2016-12-09 | 2020-06-11 | トムトム グローバル コンテント ベスローテン フエンノートシャップ | ビデオベースの位置決め及びマッピングの方法及びシステム |
WO2018131165A1 (ja) * | 2017-01-16 | 2018-07-19 | 富士通株式会社 | 情報処理プログラム、情報処理方法および情報処理装置 |
JP2018116452A (ja) * | 2017-01-18 | 2018-07-26 | パイオニア株式会社 | データ圧縮装置、データ解凍装置、制御方法、プログラム及び記憶媒体 |
WO2018180097A1 (ja) * | 2017-03-29 | 2018-10-04 | パイオニア株式会社 | サーバ装置、端末装置、通信システム、情報受信方法、情報送信方法、情報受信用プログラム、情報送信用プログラム、記録媒体、及びデータ構造 |
WO2018181974A1 (ja) * | 2017-03-30 | 2018-10-04 | パイオニア株式会社 | 判定装置、判定方法、及び、プログラム |
WO2018225596A1 (ja) * | 2017-06-07 | 2018-12-13 | パイオニア株式会社 | 情報処理装置 |
US20190120946A1 (en) * | 2017-10-19 | 2019-04-25 | DeepMap Inc. | Calibrating sensors mounted on an autonomous vehicle |
US20190162856A1 (en) * | 2017-11-29 | 2019-05-30 | VoxelMaps Inc. | Method and system for positioning of autonomously operating entities |
JP2019197453A (ja) * | 2018-05-11 | 2019-11-14 | パイオニア株式会社 | 情報処理装置 |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114416764A (zh) * | 2022-02-24 | 2022-04-29 | 上海商汤临港智能科技有限公司 | 地图更新方法、装置、设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
TW202124915A (zh) | 2021-07-01 |
TWI725681B (zh) | 2021-04-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11632536B2 (en) | Method and apparatus for generating three-dimensional (3D) road model | |
CN112880693B (zh) | 地图生成方法、定位方法、装置、设备及存储介质 | |
CN105512646B (zh) | 一种数据处理方法、装置及终端 | |
JP2021103160A (ja) | 自律走行車意味マップ確立システム及び確立方法 | |
WO2020098316A1 (zh) | 基于视觉点云的语义矢量地图构建方法、装置和电子设备 | |
US11126891B2 (en) | Systems and methods for simulating sensor data using a generative model | |
US11670087B2 (en) | Training data generating method for image processing, image processing method, and devices thereof | |
CN111874006B (zh) | 路线规划处理方法和装置 | |
JP6317230B2 (ja) | 交差点における画像及び地図に基づく車両の検出法 | |
US9576200B2 (en) | Background map format for autonomous driving | |
WO2018113451A1 (zh) | 一种地图数据系统、其生成和使用方法及应用 | |
US20210191397A1 (en) | Autonomous vehicle semantic map establishment system and establishment method | |
US20150233720A1 (en) | Geographic feature-based localization with feature weighting | |
KR20210061722A (ko) | 고정밀 지도 제작 방법, 고정밀 지도 제작 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체 | |
KR102218881B1 (ko) | 차량 위치 결정 방법 및 시스템 | |
US20190011924A1 (en) | System and method for navigating an autonomous driving vehicle | |
US20210073345A1 (en) | Systems and methods for inferring simulated data | |
US11961272B2 (en) | Long range localization with surfel maps | |
JP2022111060A (ja) | 道路情報変化領域補完方法及びシステム | |
WO2023179028A1 (zh) | 一种图像处理方法、装置、设备及存储介质 | |
Mancini et al. | Automatic road object extraction from mobile mapping systems | |
CN114729810A (zh) | 人行横道检测 | |
JP2018073275A (ja) | 画像認識装置 | |
US20210134034A1 (en) | Region clipping method and recording medium storing region clipping program | |
WO2023179030A1 (zh) | 一种道路边界检测方法、装置、电子设备、存储介质和计算机程序产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200909 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200911 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220628 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20230207 |