JP2021103160A - 自律走行車意味マップ確立システム及び確立方法 - Google Patents

自律走行車意味マップ確立システム及び確立方法 Download PDF

Info

Publication number
JP2021103160A
JP2021103160A JP2020151234A JP2020151234A JP2021103160A JP 2021103160 A JP2021103160 A JP 2021103160A JP 2020151234 A JP2020151234 A JP 2020151234A JP 2020151234 A JP2020151234 A JP 2020151234A JP 2021103160 A JP2021103160 A JP 2021103160A
Authority
JP
Japan
Prior art keywords
map
current road
road image
data
autonomous
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020151234A
Other languages
English (en)
Inventor
立人 林
Li-Zen Lin
立人 林
宗憲 郭
zong-xian Guo
宗憲 郭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial Technology Research Institute ITRI
Original Assignee
Industrial Technology Research Institute ITRI
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial Technology Research Institute ITRI filed Critical Industrial Technology Research Institute ITRI
Publication of JP2021103160A publication Critical patent/JP2021103160A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Navigation (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】自動的で効率的なマップ作成機能を提供する、自律走行車意味マップ確立システム及びその確立方法を提供する。【解決手段】本発明は、自律走行車意味マップ確立システム及び自律走行車意味マップ確立方法を提供する。自律走行車意味マップ確立システムは、画像捕捉モジュールと、測位モジュールと、メモリと、プロセッサとを含む。画像捕捉モジュールは現在の道路画像を取得する。測位モジュールは現在の道路画像に対応する測位データを取得する。メモリは三次元(3D)マップデータを記憶する。3Dマップデータは複数のポイントクラウドデータを含む。プロセッサはメモリにアクセスする。プロセッサは、現在の道路画像を分析して、現在の道路画像中の特定の交通物体の物体情報を識別する。プロセッサは、測位データに応じて、交通物体の物体情報を、3Dマップデータ中の特定物体に対応する複数のポイントクラウドデータ中の対応する複数のポイントに関係付ける。【選択図】図1

Description

技術分野
技術分野はマップ確立技術に関し、特に自律走行車(自動運転車)意味マップ(セマンティック・マップ、意味地図)確立システム及び自律走行車意味マップ確立方法に関する。
背景
現在、自律走行車が移動中である際に、自律走行車は大量のマップ(地図)情報をリアルタイムで分析して、効果的な自動運転を実現するための道路検出及び認識をリアルタイムで実行する必要がある。即ち、自律走行車の自動制御がリアルタイムの道路検出及び認識のみに依存する場合、大量の計算時間及び計算リソースを必要とする。従って、自律走行車意味マップによる自律走行車制御は、現在既知の技術における重要な研究方向である。しかし、現在、自律走行車意味マップは、三次元(3D:three dimensional)マップモデルによる手動設定を用いた描画によりユーザによって確立され、従って、大量の時間及び人的資源を必要とする。従って、自律走行車意味マップの確立コストは過度に高く、ヒューマンエラー(人的過誤)も存在し得る。図面を伴ういくつかの好適な実施形態を以下に詳細に記述して、本発明をさらに詳細に説明する。
技術的課題
本発明は、自律走行車意味マップ確立システム及びその確立方法を提供し、これらのシステム及び方法は自動的で効率的なマップ作成機能を提供することができる。
課題の解決策
本発明の自律走行車意味マップ確立システムは、画像捕捉モジュールと、測位モジュールと、メモリと、プロセッサとを含む。画像捕捉モジュールは、現在の道路画像を取得するように構成されている。測位モジュールは、現在の道路画像に対応する測位データを取得するように構成されている。メモリは、三次元(3D)マップデータを記憶するように構成されている。この3Dマップデータは、複数のポイントクラウド(点群)データを含む。プロセッサは、画像捕捉モジュール、測位モジュール、及びメモリに結合されている。プロセッサは、メモリにアクセスするように構成されている。プロセッサは、現在の道路画像を分析して、現在の道路画像中の特定物体の物体情報を識別する。プロセッサは、測位データに応じて、特定物体の物体情報を、3Dマップデータ中の特定物体に対応する複数のポイントクラウドデータ中の対応する複数のポイント(点)に関係付ける。
本発明の自律走行車意味マップ確立方法は次のステップを含む:現在の道路画像を取得するステップ;現在の道路画像に対応する測位データを取得するステップ;現在の道路画像を分析して、現在の道路画像中の特定物体の物体情報を識別するステップ;及び、測位データに応じて、特定物体の物体情報を、3Dマップデータ中の特定物体に対応する複数のポイントクラウドデータ中の対応する複数のポイントに関係付けるステップ。
発明の効果
以上の記述に基づけば、開示する自律走行車意味マップ確立システム及び確立方法では、自動運転を実行する際に、まず、現在の道路画像中の特定物体の物体情報を識別し、次に、特定物体の物体情報を3Dマップデータに関係付けて、自律走行車にとって使用可能な自律走行車意味マップを効果的に確立する。
本発明の上述した目的及び利点、及び他の目的及び利点をわかりやすくするために、図面を伴う実施形態を以下に詳細に説明する。
本発明の一実施形態による自律走行車意味マップ確立システムの概略図である。 本発明の一実施形態による自律走行車意味マップ確立方法のフローチャートである。 本発明の一実施形態による現在の道路画像の概略図である。 本発明の一実施形態によるマップ関係付け方法のフローチャートである。 本発明の一実施形態による現在の道路画像と三次元(3D)マップデータとの関係付けの概略図である、 本発明の一実施形態による、移動経路を計画するフローチャートである。 本発明の一実施形態による移動経路の計画の概略図である。
開示する実施形態の詳細な説明
本発明の上述した内容及び他の内容をわかりやすくするために、実施形態を以下に詳細に説明して、本発明を適用することができることを示す。それに加えて、可能な限り常に、図面及び実施形態中に用いる同じ装置/構成要素/ステップは同一または同様の部分を表す。
図1は、本発明の一実施形態による自律走行車意味マップ確立システムの概略図である、図1を参照すれば、自律走行車意味マップ確立システム100が、プロセッサ110と、画像捕捉モジュール120と、測位モジュール130と、メモリ140とを含む。メモリは三次元(3D)マップデータ142を記憶するように構成されている。プロセッサ110は、画像捕捉モジュール120、測位モジュール130、及びメモリ140に結合されている。本実施形態では、自律走行車意味マップ確立システム100を自律走行車内に構成することができる。自律走行車は、例えば、自動運転車、自律船(自律運航船、自動運航船)、または無人航空機(UAV:unmanned aerial vehicle)、及び自動運転を実現することができる他の装置とすることができる。自律走行車が経路上を移動中である際に、画像捕捉モジュール120は連続的に道路画像を即時に捕捉して、これらの道路画像を分析用にプロセッサ110に提供することができる。同時に、測位モジュール130は連続的に測位データをプロセッサ110に即時に提供することができる。従って、プロセッサ110は、道路画像の分析結果における対応する測位データに応じて、特定の物体情報を3Dマップデータ142中に関係付けて、効率的なマップの関係付けを実現することができる。それに加えて、自動運転を実行する際に、特定の物体情報に関係付けられた3Dマップデータ142を自律走行車に提供して、読み込んで使用させることができる。
本実施形態では、プロセッサ110は、例えば、中央処理装置(CPU:central processing unit)あるいは汎用または専用の他のプログラマブル(プログラム可能)なマイクロプロセッサ、デジタルシグナルプロセッサ(DSP:digital signal processor)、プログラマブル・コントローラ、特定用途向け集積回路(ASIC:application specific integrated circuit)、プログラマブル論理デバイス(PLD:programmable logic device)、他の同様な処理装置、あるいは上述した装置の任意の組合せとすることができる。
本実施形態では、画像捕捉モジュール120は、例えばカメラとすることができ、例えば、自律走行車上の辺縁部に構成して、車両の周辺領域のリアルタイム道路画像(二次元画像)をプロセッサ110に提供することができる。プロセッサ110は、例えば、リアルタイム道路画像の形状を識別し画像を分析して、リアルタイム道路画像中の特定物体の物体分類を識別することができる。
本実施形態では、測位モジュール130は、例えば、ライダー(Lidar:light detection and ranging:光による検知及び測距)マップ上の自律走行車の領域座標(相対位置)をライダーマップから取得することができ、あるいは、例えば全地球測位システム(GPS:Global Positioning System)を用いることによって経度及び緯度の座標を取得することができる。それに加えて、測位モジュール130を自律走行車上に構成して、自律走行車の測位データを即時にプロセッサ110に提供することができる。プロセッサ110は、以下の実施形態において説明するポイントクラウドデータの射影及びマップ関係付けの利用の便宜のために、例えば、測位データに対応して、3Dマップデータ142中のリアルタイム道路画像に対応する3D経路モデルにアクセスすることができる。
本実施形態では、メモリ140は、例えばダイナミック・ランダムアクセスメモリ(DRAM:Dynamic Random Access Memory)、フラッシュメモリ、または不揮発性ランダムアクセスメモリ(NVRAM:Non-Volatile Random Access Memory)等とすることができる。本実施形態では、メモリ140は、プロセッサ110によって読み込まれて実行される3Dマップデータ142、関連する画像処理プログラム、及び画像データを記憶するように構成することができる。
なお、本実施形態では、3Dマップデータ142を3Dポイントクラウドモデルとすることができ、この3Dポイントクラウドモデルは、事前に経路上でライダー装置によって検出した後に確立することができる。本発明は、3Dマップデータ142を取得する形式を限定しない。3Dポイントクラウドモデルの各ポイントの元のポイントクラウドデータは、例えば3D座標データ、強度データ、または色彩データ、等を含むことができる。それに加えて、本実施形態における自律走行車意味マップ確立システム100は、さらに、上記特定物体の物体情報を、3Dポイントクラウドモデルの対応する特定のポイントクラウド内に関係付ける。
それに加えて、本実施形態では、自律走行車意味マップ確立システム100のプロセッサ110、画像捕捉モジュール120、測位モジュール130、及びメモリ140の全部を自律走行車内に構成することができるが、本発明ではそれに限定されない。一実施形態では、画像捕捉モジュール120及び測位モジュール130を自律走行車内に構成することができ、プロセッサ110及びメモリ140はクラウドサーバー内に構成することができる。従って、自律走行車は、クラウドサーバーと無線通信して、現在の道路画像及び測位情報を計算用にクラウドサーバーに送信して、マップの関係付けを実行することができる。他の実施形態では、マップの関係付けを、事前に記録されている画像に応じて、他のコンピュータ装置によってオフライン状態で実行して、関連する関係付けたマップ情報を自律走行車にロードすることもできる。
図2は、本発明の一実施形態による自律走行車意味マップ確立方法のフローチャートである。図3は、本発明の一実施形態による現在の道路画像の概略図である。図1〜3を参照すれば、自律走行車意味マップ確立システム100は、ステップS210〜S240を実行して自律走行車意味マップの確立を実現することができ、この確立は、図3中の自動運転車の前方の道路の画像を参照しながら以下に説明する。ステップS210では、自律走行車意味マップ確立システム100が、画像捕捉モジュール120を用いることによって現在の道路画像300を取得することができる。現在の道路画像300は自動運転車の前方の現在の道路の画像である。ステップS220では、自律走行車意味マップ確立システム100が、測位モジュール130を用いることによって、現在の道路画像300に対応する測位データを取得することができる。即ち、測位モジュール130は自律走行車の現在位置の測位データを提供することができる。ステップS230では、プロセッサ110が現在の道路画像を分析して、現在の道路画像300中の特定物体の物体情報を識別することができる。この場合、図3では、特定物体は道路画像中の特定の交通物体を参照することができ、物体情報はこの交通物体の交通物体情報を参照することができる。
なお、図3に示すように、現在の道路画像300は、路面標示311〜313、322及び331〜333、道路境界線321及び323、交通標識340、街路樹351及び352、建物360等を含むことができ、これらは地面にある。本実施形態では、プロセッサ110が、深層学習(ディープラーニング)モジュールのような事前に学習させた機械学習(マシンラーニング)モジュールを用いることによって、現在の道路画像300中の路面標示311〜313、322及び331〜333、道路境界線321及び323、及び交通標識340のような特定物体を識別して、これらの路面標示311〜313、322及び331〜333、道路境界線321及び323、及び交通標識340の物体情報を取得することができる。本実施形態では、上記交通物体情報が、路面標示311〜313、322及び331〜333、道路境界線321及び323の標示方向、交通標識340のそれぞれの位置、分類、及び形状のような情報、及び他の情報を含むことができ、本発明ではそれらに限定されない。
なお、本発明の特定物体はそれらに限定されない。自動運転車が道路上で運転中であるシナリオの例によれば、本発明の特定物体は、街路灯、交通標識、交通信号機、道路標識、駐車標識、道路境界線、道路標示、または他のこの種の物体とすることができる。それに加えて、街路樹351及び352、及び建物360は、自動運転車が関心のある地図情報ではないので、プロセッサ110は、不要なプロセッサ演算を効果的に低減するために、街路樹351及び352、及び建物360は識別しなくてもよい。それに加えて、他の実施形態では、路面標示311〜313、322及び331〜333、道路境界線321及び323、及び交通標識340の物体情報を、ユーザが手作業の編集によって入力することもできる。
ステップS240では、プロセッサ110が、測位データに応じて、特定物体の物体情報を、3Dマップデータ142中のこの特定物体に対応する複数のポイントクラウドデータ中の対応する複数のポイントに関係付けることができる。即ち、自律走行車意味マップ確立システム100は、路面標示311〜313、322及び331〜333、及び道路境界線321及び323の複数の交通物体情報を、3Dマップデータ142中のこれらの路面標示311〜313、322及び331〜333、道路境界線321及び323、及び交通標識340に対応する3Dモデルの複数のポイントクラウドデータ中に書き込むことができる。この場合、自律走行車が自動運転を実行中である際に、自律走行車は、特定物体の物体情報に関係付けられた3Dマップデータ142に応じた自動運転の機能を実現することができる。しかし、本実施形態における交通物体情報の具体的な関係付け方法は、図4及び図5の実施形態を用いて詳細に説明する。
図4は、本発明の一実施形態によるマップ関係付け方法のフローチャートである。図5は、本発明の一実施形態による現在の道路画像と3Dマップデータとの関係付けの概略図である。図1、図4、及び図5を参照すれば、本実施形態では、自律走行車意味マップ確立システム100がステップS410〜S440を実行してマップ関係付けを実現することができ、このマップ関係付けは、図5中の自動運転車の前方の道路の画像を参照しながら以下に説明する。ステップS410〜S440は、図2の実施形態におけるステップS240を拡張した実現例とすることもできる。本実施形態では、プロセッサ110が、事前設定された識別の閾値に応じて、現在の道路画像400の一部分中の特定物体を分析することができることを明確にするべきである。この識別の閾値は、例えば、自律走行車の周辺領域の固定距離によって、あるいは自律走行車の地面からの固定の高さによって決定することができる。即ち、本実施形態では、自律走行車が連続して前進しているので、プロセッサ100は自律走行車の前方の固定範囲内の道路画像をまず分析する。自律走行車が関心のある特定物体は、大部分が、自律走行車の付近の固定範囲内にあるので、あるいは特定面(例えば、地面)からの固定の高さよりも低いので、プロセッサ110は、自律走行車意味マップ確立システム100の演算リソースを効果的に低減するために、道路画像中の重要でない領域を分析する必要がない。
図5中の現在の道路画像400中に示すように、本実施形態のプロセッサ110は、基準線401よりも下方の道路画像を分析して識別するだけでよい。それに加えて、ステップS320では、プロセッサ110が、さらに、現在の道路画像400中の特定物体について物体範囲を決定することができる。即ち、基準線401より下方の道路画像中に、プロセッサ110は、路面標示411〜413、422及び431〜433、道路境界線421及び423、及び交通標識440の物体範囲411R、412R、421R、422R、423R、431R、432R、及び440Rを規定することができる。それに加えて、図5中の3Dマップデータ500中に示すように、3Dマップデータ500は、路面標示モデル511〜513、522及び531〜533、道路境界線モデル521及び523、交通標識モデル540、街路樹モデル551及び552、及び建物モデル560を含み、これらのモデルは複数のポイントクラウドによって形成される。
上述した複数の前提条件に基づいて、自律走行車意味マップ確立システム100は以下のステップS410〜S440を実行する。ステップS410では、プロセッサ110が、測位データに応じて、3Dマップデータ500中にあり現在の道路画像400に対応する、3Dマップデータの一部分501を読み込む。本実施形態では、3Dマップデータの一部分501は、3Dマップデータ500中の現在の道路画像400に対応する関心領域(ROI:region of interest)の部分であり、このROIの範囲は、画像捕捉モジュール120の可視範囲及び/または設定角度に応じて決定することができる。ステップS420では、プロセッサ110が、3Dマップデータの一部分501中の対応する複数のポイントを現在の道路画像400中に射影する。図5に示すように、プロセッサ110は、3Dマップデータの一部分501中の複数のポイントクラウドの各データポイント(データ点)の位置を、座標変換により、現在の道路画像400(例えば、基準線401より下方の道路画像)中に射影する。
これに続いて、ステップS430では、プロセッサ110が、現在の道路画像400中の物体範囲411R、412R、421R、422R、423R、431R、432R、及び440R内で上記対応する複数のポイントを決定する。即ち、プロセッサ110は、路面標示モデル511、512、522、531及び532、道路境界線モデル521及び523、及び交通標識モデル540に対応する複数のポイントクラウドを、物体範囲411R、412R、421R、422R、423R、431R、432R、及び440R内に残す。ステップS440では、プロセッサ110が、特定物体の物体情報を対応する複数のポイントに関係付ける。即ち、プロセッサ110は、路面標示411〜413、422及び431〜433、道路境界線421及び423、及び交通標識440のそれぞれの物体情報を、物体範囲411R、412R、421R、422R、423R、431R、432R、及び440R内の複数のポイントクラウドデータ中の対応する複数のポイントに関係付ける。それに加えて、本実施形態では、プロセッサ110が、上記関係付けられた複数のポイントクラウドデータを、メモリ140内の3Dマップデータ142中の路面標示モデル511、512、522、531及び532、道路境界線モデル521及び523、及び交通標識モデル540の複数のポイントクラウド内の対応する複数のポイントに更新する。従って、本実施形態におけるマップ関係付け方法によって、自律走行車意味マップ確立システム100は、マップの関係付けを自動的に、高効率かつ高信頼性で実行することができる。
図6は、本発明の一実施形態による、移動経路を計画するフローチャートである。図7は、本発明の一実施形態による移動経路の計画の概略図である。図1、図6、及び図7を参照すれば、自律走行車意味マップ確立システム100がステップS610〜S640を実行して移動経路の計画を実現することができ、移動経路の計画は、図7中の自動運転車の運転環境700を参照しながら以下に説明する。ステップS610では、自律走行車710が、自律走行車意味マップ確立システム100によって、印を付けた経路部分701内の複数の特定物体の複数のポイントクラウドデータ中の対応する複数のポイントを取得すると、プロセッサ110は、3Dマップデータ中の経路部分701に対応する部分をデータセットとして記憶する。
なお、経路部分710は、2つの交差点702と703の間の経路を参照し、2つの交差点702及び703を含む。自律走行車意味マップ確立システム100は、識別した車道停止線721及び722に対応する交差点702及び703に応じて、経路部分701の始点位置及び終点位置を規定することができる。ステップS620では、プロセッサ110が経路部分701に相当する移動経路を上記データセットにより計画することができる。この場合、移動経路は、交差点702と703の間の道路境界内の自律走行車710の運転経路(例えば、直線の運転経路または非直線の運転経路)を参照する。即ち、本実施形態における自律走行車意味マップ確立システム100の意味マップを記憶する方法は、各道路部分の3Dマップデータをデータセットとして記憶しており、これにより自律走行車は、ある経路部分を通過する際に対応するデータセットを読み出すことができ、そして運転経路を迅速に決定することができる。しかし、交差点702及び703の運転経路は自律走行車710が曲がるか否かに基づいて決定し、本発明は交差点の経路計画方法を限定しない。
以上に基づいて、本発明の自律走行車意味マップ確立システム及び自律走行車意味マップ確立方法によれば、3Dマップデータの一部分中の対応する複数のポイントを、現在の道路画像中の特定物体についての物体範囲内へ射影することによって、特定物体の物体情報が、3Dマップデータの複数のポイントクラウドデータ中の対応する複数のポイントに迅速に関係付けられ、従って、効率的な自律走行車意味マップ確立機能が提供される。それに加えて、本発明の自律走行車意味マップ確立システム及び自律走行車意味マップ確立方法によれば、経路部分に印を付けた結果をデータセットとしてさらに記憶することができ、これにより自律走行車は、自動運転を実行する際に、移動経路の計画を迅速に実現することができる。
本発明の精神及び範囲から逸脱することなしに、開示する実施形態の構造に種々の変更及び変形を加えることができることは、当業者にとって明らかである。前述したことを考慮すれば、本発明は、本発明の変更及び変形を、以下の特許請求の範囲及びその等価物に該当すればカバーすることを意図している。
本発明では、上記の自律走行車意味マップ確立システム及びその確立方法を、リアルタイムの道路検出及び認識に適用することができる。
参照符号リスト
100:自律走行車意味マップ確立システム
110:プロセッサ
120:画像捕捉モジュール
130:測位モジュール
140:メモリ
142:三次元(3D)マップデータ
S210、S220、S230、S240:ステップ
300:現在の道路画像
311〜313、322、331〜333:路面標示
321、323:道路境界線
340:交通標識
351、352:街路樹
360:建物
S410、S420、S430、S440:ステップ
400:現在の道路画像
401:基準線
411R、412R、421R、422R、423R、431R、432R、440R:物体範囲
411〜413、422、431〜433:路面標示
421、423、440:道路境界線
500:3Dマップデータ
501:3Dマップデータ
511〜513、522、531〜533:路面標示モデル
521、523:道路境界線モデル
540:交通標識モデル
551、552:街路樹モデル
560:建物モデル
S610、S620、S630、S640:ステップ
700:運転環境
710:自律走行車
701:経路部分
702、703:交差点
721、722:車道停止線

Claims (20)

  1. 現在の道路画像を取得するように構成された画像捕捉モジュールと、
    前記現在の道路画像に対応する測位データを取得するように構成された測位モジュールと、
    三次元(3D)マップデータを記憶するように構成されたメモリと、
    前記画像捕捉モジュール、前記測位モジュール、及び前記メモリに結合され、前記メモリにアクセスするように構成されたプロセッサとを具えた自律走行車意味マップ確立システムであって、
    前記3Dマップデータは複数のポイントクラウドデータを含み、
    前記プロセッサは、前記現在の道路画像を分析して前記現在の道路画像中の特定物体の物体情報を識別し、前記プロセッサは、前記測位データに応じて、前記特定物体の前記物体情報を、前記3Dマップデータ中の前記特定物体に対応する前記複数のポイントクラウドデータ中の対応する複数のポイントに関係付ける自律走行車意味マップ確立システム。
  2. 前記プロセッサが、さらに、前記現在の道路画像中の前記特定物体について物体範囲を決定し、前記プロセッサが、前記測位データに応じて、前記3Dマップデータ中にあり前記現在の道路画像に対応する、前記3Dマップデータの一部分を読み込み、
    前記プロセッサが、前記3Dマップデータの前記一部分中の前記対応する複数のポイントを前記現在の道路画像中に射影し、前記プロセッサが、前記現在の道路画像中の前記物体範囲内で前記対応する複数のポイントを決定して、前記特定物体の前記物体情報を前記対応する複数のポイントに関係付ける、請求項1に記載の自律走行車意味マップ確立システム。
  3. 前記3Dマップデータの前記一部分が、前記3Dマップデータ中の前記現在の道路画像に対応する関心領域(ROI)の部分であり、前記ROIの範囲は、前記画像捕捉モジュールの可視範囲及び/または設定角度に応じて決定される、請求項2に記載の自律走行車意味マップ確立システム。
  4. 前記プロセッサが、前記関係付けられた対応する複数のポイントを、前記メモリ内の前記3Dマップデータに更新する、請求項1に記載の自律走行車意味マップ確立システム。
  5. 前記プロセッサが、事前設定された識別の閾値に応じて、前記現在の道路画像の一部分を分析して、前記現在の道路画像中の前記特定物体を識別する、請求項1に記載の自律走行車意味マップ確立システム。
  6. 前記プロセッサが、事前に学習させた機械学習モジュールを用いることによって、前記現在の道路画像中の前記特定物体の前記物体情報を識別する、請求項1に記載の自律走行車意味マップ確立システム。
  7. 前記自律走行車意味マップ確立システムが自動運転車に適合され、前記特定物体が、街路灯、交通標識、交通信号機、道路標識、駐車標識、道路境界線、または路面標示である、請求項1に記載の自律走行車意味マップ確立システム。
  8. 前記プロセッサが、経路部分内の複数の特定物体に対応する、前記対応する複数のポイントを関係付けることを終了すると、前記プロセッサが、前記3Dマップデータにおける前記経路部分に対応する部分をデータセットとして記憶する、請求項1に記載の自律走行車意味マップ確立システム。
  9. 前記プロセッサが、前記データセットにより、前記経路部分に対応する移動経路を計画する、請求項8に記載の自律走行車意味マップ確立システム。
  10. 前記自律走行車意味マップ確立システムが自律走行車内に構成されている、請求項1に記載の自律走行車意味マップ確立システム。
  11. 前記画像捕捉モジュール及び前記測位モジュールが自律走行車内に構成され、前記メモリ及び前記プロセッサがクラウドサーバー内に構成され、前記自律走行車は、前記クラウドサーバーと無線通信して、前記現在の道路画像及び前記測位データを計算用に前記クラウドサーバーに送信する、請求項1に記載の自律走行車意味マップ確立システム。
  12. 現在の道路画像を取得するステップと、
    前記現在の道路画像に対応する測位データを取得するステップと、
    前記現在の道路画像を分析して、前記現在の道路画像中の特定物体の物体情報を識別するステップと、
    前記測位データに応じて、前記特定物体の前記物体情報を、三次元(3D)マップデータ中の前記特定物体に対応する複数のポイントクラウドデータ中の対応する複数のポイントに関係付けるステップと
    を含む自律走行車意味マップ確立方法。
  13. 前記現在の道路画像を分析するステップが、前記現在の道路画像中の前記特定物体について物体範囲を決定することをさらに含み、
    前記測位データに応じて、前記特定物体の前記物体情報を、前記3Dマップデータ中の前記特定物体に対応する前記複数のポイントクラウドデータに関係付けるステップが、
    前記測位データに応じて、前記3Dマップデータ中にあり前記現在の道路画像に対応する、前記3Dマップデータの一部分を読み込むことと、
    前記3Dマップデータの前記一部分中の前記対応する複数のポイントを、前記現在の道路画像中に射影することと、
    前記現在の道路画像中の前記物体範囲内で前記対応する複数のポイントを決定することと、
    前記特定物体の前記物体情報を、前記対応する複数のポイントに関係付けることと
    を含む、請求項12に記載の自律走行車意味マップ確立方法。
  14. 前記3Dマップデータの前記一部分が、前記3Dマップデータ中の前記現在の道路画像に対応する関心領域(ROI)の部分であり、前記ROIの範囲は、画像捕捉モジュールの可視範囲及び/または設定角度に応じて決定される、請求項13に記載の自律走行車意味マップ確立方法。
  15. 前記測位データに応じて、前記特定物体の前記物体情報を、前記3Dマップデータ中の前記特定物体に対応する前記複数のポイントクラウドデータ中の前記対応する複数のポイントに関係付けるステップが、
    前記関係付けられた対応する複数のポイントを、前記3Dマップデータに更新することを含む、請求項12に記載の自律走行車意味マップ確立方法。
  16. 前記現在の道路画像を分析して、前記現在の道路画像中の前記特定物体の前記物体情報を識別するステップが、
    事前設定された識別の閾値に応じて、前記現在の道路画像の一部分を分析して、前記現在の道路画像中の前記特定物体を識別することを含む、請求項12に記載の自律走行車意味マップ確立方法。
  17. 前記現在の道路画像を分析して、前記現在の道路画像中の前記特定物体の前記物体情報を識別するステップが、
    事前に学習させた機械学習モジュールを用いることによって、前記現在の道路画像中の前記特定物体の前記物体情報を識別することを含む、請求項12に記載の自律走行車意味マップ確立方法。
  18. 前記自律走行車意味マップ確立方法が自動運転車に適合され、前記特定物体が、街路灯、交通標識、交通信号機、道路標識、駐車標識、道路境界線、または路面標示である、請求項12に記載の自律走行車意味マップ確立方法。
  19. 印を付けた経路部分内の複数の特定物体に対応する、前記対応する複数のポイントを取得すると、前記3Dマップデータにおける前記経路部分に対応する部分をデータセットとして記憶するステップをさらに含む、請求項12に記載の自律走行車意味マップ確立方法。
  20. 前記データセットにより、前記経路部分に対応する移動経路を計画するステップをさらに含む、請求項19に記載の自律走行車意味マップ確立方法。
JP2020151234A 2019-12-24 2020-09-09 自律走行車意味マップ確立システム及び確立方法 Pending JP2021103160A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108147330 2019-12-24
TW108147330A TWI725681B (zh) 2019-12-24 2019-12-24 無人載具語意地圖建置系統及其建置方法

Publications (1)

Publication Number Publication Date
JP2021103160A true JP2021103160A (ja) 2021-07-15

Family

ID=76604680

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020151234A Pending JP2021103160A (ja) 2019-12-24 2020-09-09 自律走行車意味マップ確立システム及び確立方法

Country Status (2)

Country Link
JP (1) JP2021103160A (ja)
TW (1) TWI725681B (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416764A (zh) * 2022-02-24 2022-04-29 上海商汤临港智能科技有限公司 地图更新方法、装置、设备及存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI805077B (zh) * 2021-11-16 2023-06-11 國立陽明交通大學 路徑規劃方法及其系統
TWI810809B (zh) * 2022-02-10 2023-08-01 勤崴國際科技股份有限公司 街道路牌之大地座標處理方法
TWI832686B (zh) * 2023-01-23 2024-02-11 國立陽明交通大學 路徑規劃系統及其路徑規劃方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018131165A1 (ja) * 2017-01-16 2018-07-19 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP2018116452A (ja) * 2017-01-18 2018-07-26 パイオニア株式会社 データ圧縮装置、データ解凍装置、制御方法、プログラム及び記憶媒体
WO2018181974A1 (ja) * 2017-03-30 2018-10-04 パイオニア株式会社 判定装置、判定方法、及び、プログラム
WO2018180097A1 (ja) * 2017-03-29 2018-10-04 パイオニア株式会社 サーバ装置、端末装置、通信システム、情報受信方法、情報送信方法、情報受信用プログラム、情報送信用プログラム、記録媒体、及びデータ構造
WO2018225596A1 (ja) * 2017-06-07 2018-12-13 パイオニア株式会社 情報処理装置
US20190120946A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Calibrating sensors mounted on an autonomous vehicle
US20190162856A1 (en) * 2017-11-29 2019-05-30 VoxelMaps Inc. Method and system for positioning of autonomously operating entities
JP2019197453A (ja) * 2018-05-11 2019-11-14 パイオニア株式会社 情報処理装置
JP2020516853A (ja) * 2016-12-09 2020-06-11 トムトム グローバル コンテント ベスローテン フエンノートシャップ ビデオベースの位置決め及びマッピングの方法及びシステム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5229941A (en) * 1988-04-14 1993-07-20 Nissan Motor Company, Limtied Autonomous vehicle automatically running on route and its method
US9026315B2 (en) * 2010-10-13 2015-05-05 Deere & Company Apparatus for machine coordination which maintains line-of-site contact
TWI561415B (en) * 2015-06-26 2016-12-11 Weistech Technology Co Ltd Road navigation method and system using the same
TWI573987B (zh) * 2015-12-03 2017-03-11 英業達股份有限公司 行車路線規劃系統

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020516853A (ja) * 2016-12-09 2020-06-11 トムトム グローバル コンテント ベスローテン フエンノートシャップ ビデオベースの位置決め及びマッピングの方法及びシステム
WO2018131165A1 (ja) * 2017-01-16 2018-07-19 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置
JP2018116452A (ja) * 2017-01-18 2018-07-26 パイオニア株式会社 データ圧縮装置、データ解凍装置、制御方法、プログラム及び記憶媒体
WO2018180097A1 (ja) * 2017-03-29 2018-10-04 パイオニア株式会社 サーバ装置、端末装置、通信システム、情報受信方法、情報送信方法、情報受信用プログラム、情報送信用プログラム、記録媒体、及びデータ構造
WO2018181974A1 (ja) * 2017-03-30 2018-10-04 パイオニア株式会社 判定装置、判定方法、及び、プログラム
WO2018225596A1 (ja) * 2017-06-07 2018-12-13 パイオニア株式会社 情報処理装置
US20190120946A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. Calibrating sensors mounted on an autonomous vehicle
US20190162856A1 (en) * 2017-11-29 2019-05-30 VoxelMaps Inc. Method and system for positioning of autonomously operating entities
JP2019197453A (ja) * 2018-05-11 2019-11-14 パイオニア株式会社 情報処理装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114416764A (zh) * 2022-02-24 2022-04-29 上海商汤临港智能科技有限公司 地图更新方法、装置、设备及存储介质

Also Published As

Publication number Publication date
TW202124915A (zh) 2021-07-01
TWI725681B (zh) 2021-04-21

Similar Documents

Publication Publication Date Title
US11632536B2 (en) Method and apparatus for generating three-dimensional (3D) road model
CN112880693B (zh) 地图生成方法、定位方法、装置、设备及存储介质
CN105512646B (zh) 一种数据处理方法、装置及终端
JP2021103160A (ja) 自律走行車意味マップ確立システム及び確立方法
WO2020098316A1 (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US11126891B2 (en) Systems and methods for simulating sensor data using a generative model
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN111874006B (zh) 路线规划处理方法和装置
JP6317230B2 (ja) 交差点における画像及び地図に基づく車両の検出法
US9576200B2 (en) Background map format for autonomous driving
WO2018113451A1 (zh) 一种地图数据系统、其生成和使用方法及应用
US20210191397A1 (en) Autonomous vehicle semantic map establishment system and establishment method
US20150233720A1 (en) Geographic feature-based localization with feature weighting
KR20210061722A (ko) 고정밀 지도 제작 방법, 고정밀 지도 제작 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
KR102218881B1 (ko) 차량 위치 결정 방법 및 시스템
US20190011924A1 (en) System and method for navigating an autonomous driving vehicle
US20210073345A1 (en) Systems and methods for inferring simulated data
US11961272B2 (en) Long range localization with surfel maps
JP2022111060A (ja) 道路情報変化領域補完方法及びシステム
WO2023179028A1 (zh) 一种图像处理方法、装置、设备及存储介质
Mancini et al. Automatic road object extraction from mobile mapping systems
CN114729810A (zh) 人行横道检测
JP2018073275A (ja) 画像認識装置
US20210134034A1 (en) Region clipping method and recording medium storing region clipping program
WO2023179030A1 (zh) 一种道路边界检测方法、装置、电子设备、存储介质和计算机程序产品

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200909

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200911

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211102

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220628

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230207