JP2022542289A - 地図作成方法、地図作成装置、電子機器、記憶媒体及びコンピュータプログラム製品 - Google Patents

地図作成方法、地図作成装置、電子機器、記憶媒体及びコンピュータプログラム製品 Download PDF

Info

Publication number
JP2022542289A
JP2022542289A JP2022505577A JP2022505577A JP2022542289A JP 2022542289 A JP2022542289 A JP 2022542289A JP 2022505577 A JP2022505577 A JP 2022505577A JP 2022505577 A JP2022505577 A JP 2022505577A JP 2022542289 A JP2022542289 A JP 2022542289A
Authority
JP
Japan
Prior art keywords
point cloud
pose information
information corresponding
data
gnss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022505577A
Other languages
English (en)
Inventor
経緯 李
伯均 梁
哲 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN202010363616.0A external-priority patent/CN111552757B/zh
Priority claimed from CN202010663457.6A external-priority patent/CN111912417B/zh
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Publication of JP2022542289A publication Critical patent/JP2022542289A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Navigation (AREA)
  • Instructional Devices (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

本発明の実施例は、地図作成方法、装置、機器及び記憶媒体を提供する。当該方法は、収集機器によって所定時間帯内で収集された点群データ、慣性測定データ、及びグローバルナビゲーション衛星システム（ＧＮＳＳ）信号強度を含むＧＮＳＳデータを取得するステップと、点群データ、慣性測定データ及びＧＮＳＳデータに基づいて、ＧＮＳＳ信号強度に対応する方式を用いて収集機器の軌跡を生成するステップと、を含む。本発明の実施例は、地図生成精度を向上させることができる。【選択図】図２

Description

本発明は、自動運転分野に関し、特に地図作成方法、装置、機器及び記憶媒体に関する。
高精度地図の作成は、自動運転分野のキー技術の１つである。現在主流の高精度地図のデータ収集方法は、専用の収集カーを用いて、グローバルナビゲーション衛星システム（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ、ＧＮＳＳ）の信号が良い(例えば、高速道路)条件でマップを作成してもよく、収集カーには、レーザレーダ及びストラップダウン形慣性ナビゲーションシステム（Ｓｔｒａｐｄｏｗｎ Ｉｎｅｒｔｉａｌ Ｎａｖｉｇａｔｉｏｎ Ｓｙｓｔｅｍ、ＳＩＮＳ）が実装されている。
道路網が複雑な場合、例えば都市では、一般的に複数のマップ収集カーを介して複数回にわたってデータを収集してから、複数回収集されたデータをマージして高精度地図を作成する必要がある。しかし、レーザレーダとストラップダウン形慣性ナビゲーションシステムとの外部パラメータのキャリブレーション誤差及び時間同期誤差により、複数回収集されたデータをマージするときにグローバル一致性が悪くなった。例えば、異なる点群における同一の道路標識、柵、交通信号灯等が重なり合わず、生成された地図の精度が高くなかった。
本発明の実施例は、生成された地図精度を向上させる地図作成方法、装置、機器及び記憶媒体を提供する。
第１態様において、本発明の実施例は、地図作成方法を提供する。当該地図作成方法は、収集機器によって所定時間帯内で収集された点群データ、慣性測定データ及びグローバルナビゲーション衛星システム（ＧＮＳＳ）データを取得するステップであって、前記ＧＮＳＳデータはＧＮＳＳ信号強度を含むステップと、前記点群データ、前記慣性測定データ及び前記ＧＮＳＳデータに基づいて、前記ＧＮＳＳ信号強度に対応する方式を用いて前記収集機器の軌跡ルートを生成するステップと、前記軌跡ルートに基づいて地図を作成するステップと、を含む。
第２態様において、本発明の実施例は、地図作成装置を提供する。当該地図作成装置は、収集機器によって所定時間帯内で収集された点群データ、慣性測定データ及びグローバルナビゲーション衛星システム（ＧＮＳＳ）データを取得するための取得モジュールであって、前記ＧＮＳＳデータはＧＮＳＳ信号強度を含む取得モジュールと、前記点群データ、前記慣性測定データ及び前記ＧＮＳＳデータに基づいて、前記ＧＮＳＳ信号強度に対応する方式を用いて前記収集機器の軌跡ルートを生成するための生成モジュールと、前記軌跡ルートに基づいて地図を作成するための作成モジュールと、を備える。
第３態様において、本発明の実施例は、電子機器を提供する。当該電子機器は、コンピュータプログラムを記憶するためのメモリと、プロセッサと、を備え、前記プロセッサは、前記コンピュータプログラムを実行することで第１態様に記載の地図作成方法を実施する。
第４態様において、本発明の実施例は、コンピュータ可読記憶媒体を提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、第１態様に記載の地図作成方法は、実施される。
第５態様において、本発明の実施例は、コンピュータプログラム製品を提供する。当該コンピュータプログラム製品は、コンピュータ可読指令を記憶し、前記コンピュータ可読指令が実行されたときに、コンピュータは、第１態様に記載の地図作成方法を実施する。
本発明の実施例に係る地図作成方法、装置、機器及び記憶媒体では、収集機器によって所定時間帯内で収集された点群データ、慣性測定データ及びＧＮＳＳデータを取得し、前記ＧＮＳＳデータはＧＮＳＳ信号強度を含み、点群データ、慣性測定データ及びＧＮＳＳデータに基づいて、ＧＮＳＳ信号強度に対応する方式を用いて収集機器の軌跡ルートを生成し、その後、軌跡ルートに基づいて地図を作成する。軌跡ルート生成中にＧＮＳＳ信号強度を考慮し、且つＧＮＳＳ信号強度に対応する方式を用いて収集機器の軌跡ルートを生成することにより、レーザレーダとストラップダウン形慣性ナビゲーションシステムとの外部パラメータキャリブレーション及び時間同期誤差によるグローバル不一致性を低減することができるため、軌跡ルートにおける点群データに対応するポーズ情報の正確度がより高くなり、作成された地図の精度がより高くなる。
本発明の実施例又は従来技術における技術案がより明瞭に説明されるように、以下では、本発明の実施例又は従来技術の記述に使用必要な図面を簡単に紹介する。明らかに、以下の記述に係る図面が単に本発明の幾つかの実施例に過ぎず、当業者であれば、進歩性に値する労力を掛けずにこれらの図面から他の図面を取得可能である。
本発明の実施例に係る地図作成システムのアーキテクチャの模式図である。 本発明の実施例に係る地図作成方法のフローチャートである。 本発明の実施例に係る慣性測定データ及び点群データを時間軸に応じて並べ替える模式図である。 本発明の実施例に係るポーズグラフの模式図である。 本発明の実施例に係る二分探索木におけるノードと隣接ノードとの重合度の模式図である。 本発明の実施例に係る地図作成装置の構造模式図である。 本発明の実施例に係る電子機器の構造模式図である。
ここで、例示的な実施例を詳細に説明する。その例示は、図面に示される。以下の記述は、図面に係る際、別途示さない限り、異なる図面における同じ符号が同じ又は類似する要素を示す。以下の例示的な実施例に記述される実施形態が本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは、単に添付する特許請求の範囲に詳細に記述されるような、本発明の幾つかの態様に一致する装置及び方法の例である。
図１は、本発明の実施例に係る地図作成システムのアーキテクチャの模式図である。図１に示すように、当該システムは、収集機器１１及び計算プラットフォーム１２を備え、収集機器１１には、慣性測定手段（Ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ、ＩＭＵ）１３、ＧＮＳＳ受信機１４、レーザレーダ１５等の機器が取り付けられている。収集機器１１は、車両、ドローン、移動ロボット等の移動可能な機器であってもよく、計算プラットフォーム１２は、デスクトップコンピュータ、ノートパソコン、携帯電話、サーバ等の、データ処理機能を有する機器であってもよく、収集機器１１におけるデータ処理手段、例えばセンターコントロールユニット等であってもよい。本発明の実施例ではここで具体的に限定しない。
説明すべきことは、本発明の実施例の図１において計算プラットフォーム１２が収集機器１１外に位置することを例として説明する。しかし、実際の応用では、計算プラットフォーム１２を収集機器１１の内部に設置してもよい。例えば、収集機器１１が車両である場合に、計算プラットフォーム１２を収集機器１１の助手席に設置してもよい。
地図作成過程において、まず、計算プラットフォーム１２又は他の機器は、設定された軌跡ルートを収集機器１１へ配信し、軌跡ルートが作成すべき地図の目標領域に応じて設定されたものである。次に、収集機器１１は、設定された軌跡ルートに沿って運動する。運動過程中に、慣性測定手段１３は、所定の第１周波数で、当該収集機器１１の運動過程における慣性測定データ、例えば収集機器１１の角度及び加速度情報を収集する。ＧＮＳＳ受信機１４は、所定の第２周波数で当該収集機器１１のＧＮＳＳデータを受信し、ＧＮＳＳデータは、収集機器１１の位置情報を記録するために用いられる。レーザレーダ１５は、所定の第３周波数即ちフレームレート（Ｆｒａｍｅ ｒａｔｅ）で、当該収集機器１１の周囲環境の点群データを収集する。点群データは、収集機器１１の環境情報、例えば、路面の幅、交通信号灯の高度及び他の幾つかの情報を正確に反映することができる。第１、第２及び第３周波数は、同じ又は異なる可能性があり、且つ、点群データ、慣性測定データ及びＧＮＳＳデータの収集粒度も同じ又は異なる可能性がある。
収集過程において、収集されたデータの完全性を保証するために、複数回の収集を行う必要がある可能性は存在する。例えば、異なる角度から車を運転して行くと、目で見た建物の輪郭が違っているため、交差点や多車線の場合に、比較的に完全な地図情報が収集されるように、何回か多く収集する必要がある。本発明の実施例において、収集機器は、同一の目標領域について繰り返して収集することが可能である。
上記データ収集過程が完了された後、慣性測定手段１３、ＧＮＳＳ受信機１４及びレーザレーダ１５で収集されたデータを計算プラットフォーム１２に送信する。計算プラットフォーム１２は、レーザレーダ１５で収集された点群データ、慣性測定手段１３で収集された慣性測定データ、及びＧＮＳＳ受信機１４で受信されたＧＮＳＳデータに対してデータマージを行うことにより、地図を作成する。
データマージ過程では、点群データ、慣性測定データ及びＧＮＳＳデータのそれぞれが対応するタイムスタンプ情報を含むため、タイムスタンプ情報に基づいてＧＮＳＳデータの経由地点と慣性測定データの経由地点とをマージしてマージ後経由地点集合を取得する。慣性測定データ及びＧＮＳＳデータが対応するポーズ情報を含むが点群データがポーズ情報を有さないため、マージ後経由地点集合に対して補間を行う方式により、時間的に現在フレームの点群に最も近接する経由地点を探してもよく、当該経由地点のポーズ情報を点群データに対応するポーズ情報（レーザレーダのポーズ情報）とし、最後的に点群データに対応するポーズ情報に基づくと、レーザレーダの運動軌跡及び姿勢情報を特定可能であるため、地図を生成することができる。
上記データマージ過程において、慣性測定手段１３、ＧＮＳＳ受信機１４及びレーザレーダ１５の間の精度差異、例えばレーザレーダとストラップダウン形慣性ナビゲーションシステムとの外部パラメータのキャリブレーション誤差及び時間同期誤差により、マージ結果のグローバル一致性が悪くなり、点群データに対応するポーズ情報の正確度が高くなく、最終的に、生成された地図の精度へ影響を与える。
上記技術問題に対して、本発明の実施例では、全地図生成過程において、ＧＮＳＳ信号強度を追加して点群データに対応するポーズ情報を特定することにより、データマージのグローバル一致性を向上させて正確度のより高いポーズ情報を取得し、生成された地図精度を最終的に向上させる。
以下では、具体的な実施例を用いて、本発明の技術案と本発明の技術案が如何にして上記技術問題を解決するかとを詳細に説明する。下記の幾つかの具体的な実施例は、互いに組み合わせられてもよい。同じ若しくは類似する概念又は過程は、幾つかの実施例に繰り返して説明されない可能性がある。以下では、図面を参照しながら本発明の実施例を記述する。
図２は、本発明の実施例に係る地図作成方法のフローチャートである。本発明の実施例では、上記技術問題について地図作成方法を提供する。図２に示すように、当該方法の具体的なステップは、下記のようになる。
ステップＳ２０１では、収集機器によって所定時間帯内で収集された点群データ、慣性測定データ及びＧＮＳＳデータを取得する。
本ステップの実行主体は、図１に示す計算プラットフォーム１２であってもよい。計算プラットフォーム１２は、レーザレーダで収集された点群データ、ＩＭＵで収集された慣性測定データ、及びＧＮＳＳ受信機で収集されたＧＮＳＳデータを収集機器１１から取得する。ＧＮＳＳデータは、ＧＮＳＳ信号強度を含む。つまり、ＧＮＳＳ受信機で受信されたＧＮＳＳデータのそれぞれは、何れも対応するＧＮＳＳ信号強度を含む。
所定時間帯は、予め設定された時間帯であってもよい。即ち、本発明の実施例では、所定時間帯内で収集されたデータに対して分析、処理を行い、地図作成を図る。説明すべきことは、データ収集過程に、所定時間帯内のデータのみを収集してもよく、又は、収集された所定時間帯に亘るデータから、所定時間帯内で収集されたデータを取得してもよい。ここで、所定時間帯の設定方式、値及び具体的なデータ収集方式等は、限定されず、上記挙げられた状況を含んでもよいが、それらに限定されない。
所定時間帯内の点群データは、複数フレームの点群を含み、各フレームの点群は、複数の点を含み、各点は、（Ｘ, Ｙ, Ｚ, Ｉｎｔｅｎｓｉｔｙ）で表されてもよい。Ｘ、Ｙ、Ｚは、点の三次元座標を示し、Ｉｎｔｅｎｓｉｔｙは、点の反射率を示す。各フレームの点群は、当該フレーム点群の収集時間を表す、対応するタイムスタンプを更に有する。
所定時間帯内の慣性測定データは、収集機器の各収集時点の現在ポーズでの加速度及び角速度情報を含み、（ａｘ, ａｙ, ａｚ, ｗｘ, ｗｙ, ｗｚ）で表されてもよく、ａｘ, ａｙ, ａｚは、３軸加速度を示し、ｗｘ, ｗｙ, ｗｚは、３軸角速度を示す。慣性測定データは、慣性測定データの収集時間を表す、対応するタイムスタンプを更に有する。
所定時間帯内のＧＮＳＳデータは、収集機器のリアルタイム位置情報を記録するために用いられ、ＧＮＳＳデータは、ＧＮＳＳデータの収集時間を表す、対応するタイムスタンプを更に有する。
ステップＳ２０２では、点群データ、慣性測定データ及びＧＮＳＳデータに基づいて、ＧＮＳＳ信号強度に対応する方式を用いて収集機器の軌跡ルートを生成する。
レーザレーダの走査範囲が限られたため、レーザレーダの走査によって得られた各フレームの点群が反映したのは、物体のある角度での点群データである可能性がある。複数フレームの点群を繋ぎ合わせることにより、環境の三次元形状を復元し且つ収集機器の軌跡ルートを取得することができる。
点群繋ぎ合わせ過程では、隣接する２フレームの点群各自に対応するポーズ情報に基づいて当該隣接する２フレームの点群の間の相対ポーズ関係を特定することにより、点群繋ぎ合わせを容易にする必要がある。レーザレーダの走査で得られた点群データがポーズ情報を有さないことを考慮し、慣性測定データ及びＧＮＳＳデータに基づいて各フレームの点群に対応するポーズ情報を特定する必要がある。慣性測定データ及びＧＮＳＳデータに基づいて各フレームの点群に対応するポーズ情報を特定する過程に、ＧＮＳＳデータは、対応する異なるＧＮＳＳ信号強度を含む。異なるＧＮＳＳ信号強度において、それぞれ異なる方式を採用して点群データ、慣性測定データ及びＧＮＳＳデータに基づいて収集機器の軌跡ルートを生成してもよい。
ステップＳ２０３では、軌跡ルートに基づいて地図を作成する。
軌跡ルートが取得された後、軌跡ルートに基づいて地図を生成してもよい。具体的な地図生成過程は、従来技術の紹介を参照すればよく、ここで繰り返し説明しない。
本発明の実施例では、収集機器によって所定時間帯内で収集された点群データ、慣性測定データ、及びＧＮＳＳ信号強度を含むＧＮＳＳデータを取得し、点群データ、慣性測定データ及びＧＮＳＳデータに基づいて、ＧＮＳＳ信号強度に対応する方式を用いて収集機器の軌跡ルートを生成し、その後、軌跡ルートに基づいて地図を作成する。軌跡ルート生成中にＧＮＳＳ信号強度を考慮し、且つＧＮＳＳ信号強度に対応する方式を用いて収集機器の軌跡ルートを生成することにより、レーザレーダとストラップダウン形慣性ナビゲーションシステムとの外部パラメータキャリブレーション及び時間同期誤差によるグローバル不一致性を低減することができるため、軌跡ルートにおける点群データに対応するポーズ情報の正確度がより高くなり、作成された地図の精度がより高くなる。
点群データは、複数フレームの点群を含み、生成された軌跡ルートは、時間的又は空間的位置において隣接する複数フレームの点群に係る可能性がある。本発明の実施例において収集機器の軌跡ルートを生成することは、サブマップ区分及びサブマップ生成の２つの過程を含んでもよい。以下では、サブマップ区分及びサブマップ生成の具体的な実施過程をそれぞれ紹介する。
１つの選択可能な実施形態において、サブマップ区分は、以下のステップを含む。
ステップａ１では、点群データにおける各フレームの点群に対応するポーズ情報を特定する。
好ましくは、ＧＮＳＳデータ及び／又は慣性測定データに対して補間を行う方式により、点群データにおける各フレームの点群に対応するポーズ情報を特定してもよい。具体的な補間アルゴリズムは、従来技術の紹介を参照すればよく、ここで繰り返し説明しない。
ステップａ２では、ＧＮＳＳ信号強度に応じて点群データを複数のサブマップに区分する。
各サブマップは、少なくとも１フレームの点群を含む。例を挙げると、レーザレーダが１００フレームの点群を収集したと仮定すれば、この１００フレームの点群を均等に区分した場合に、この１００フレームの点群は、１０個のサブマップに区分されることができ、各サブマップは、１０フレームの点群を含み、最終的に区分して得られた各サブマップは、１フレームの大点群であると考えられてもよい。説明すべきことは、ここでの均等区分が単に例示的な説明であり、実際のサブマップ区分過程を代表するわけではない。
ステップａ３では、各サブマップに含まれる少なくとも１フレームの点群に対応するポーズ情報に基づいて、各サブマップのポーズ情報を特定する。
各サブマップは、少なくとも１フレームの点群を含む。各サブマップが複数フレームの点群を含む場合に、隣接する２フレームの点群の間の相対ポーズ関係は、当該２フレームの点群に対応する収集機器の変位関係及び回転関係を示す。２フレームの点群に対応する収集機器の変位関係及び回転関係に基づいて、サブマップにおける全てのフレームの点群に対応するポーズ情報を同一ポーズ状態に変換した後、各サブマップにおける複数フレームの点群を繋ぎ合わせ、各サブマップに対応する軌跡ルートを取得してもよい。
例を挙げると、１つのサブマップは、１０フレームの点群を含み、この１０フレームの点群は、収集機器が異なる時点で収集したものである。通常の場合に、収集機器が移動中に異なるポーズ状態を有するため、この１０フレームの点群は、収集機器が異なるポーズ状態において収集したものであり、又は、この１０フレームの点群に対応する収集機器の、ワールド座標系における位置情報及び姿勢情報のうちの少なくとも一項が異なる。したがって、この１０フレームの点群を収集機器の同一ポーズ状態に変換する必要がある。ポーズ変換を経た後、この１０フレームの点群のうちの何れか１フレームの点群に対応するポーズ情報を当該サブマップのポーズ情報としてもよい。
本発明の実施例において、隣接する２フレームの点群とは、時間的に隣接し、空間的に異なる２フレームの点群を指す。
ステップａ４では、隣接する２つのサブマップの間の相対ポーズ関係を特定する。
同様に、隣接する２つのサブマップの間の相対ポーズ関係は、当該２つのサブマップの変位関係及び回転関係を示す。上述した通り、各サブマップは、１つの大点群と考えられてもよく、各大点群内部の点群データがワールド座標系に変換された後、当該大点群に対応するポーズ情報は、それとともに特定される。これらの大点群に対応する収集機器の、ワールド座標系における位置情報及び姿勢情報が異なるため、これらの大点群を同一ポーズ状態に変換する必要もある。これらの大点群を同一ポーズ状態に変換することとは、隣接する２つのサブマップの間の相対ポーズ関係、即ち、隣接する２つのサブマップの間の変位行列及び回転行列に基づいて、これらの大点群を同一ポーズ状態に変換することを指す。その後、複数のサブマップを繋ぎ合わせ、完全な収集機器の軌跡ルートを取得する。
本発明の実施例において、隣接する２つのサブマップは、隣接サブマップ及びループサブマップを含み、隣接サブマップとは、時間的に隣接し、且つ空間的にも隣接する２つの大点群を指し、ループサブマップとは、時間的に隣接しないが、空間的に隣接する２つの大点群を指す。
上記ステップａ２の一実施例において、ＧＮＳＳ信号強度に基づいて点群データを複数のサブマップに区分することは、ＧＮＳＳ信号強度に基づいて、複数フレームの点群について、第１点群と第２点群とを含むマーキング情報をそれぞれマーキングすることと、複数フレームの点群各自のマーキング情報に応じて、点群データを複数のサブマップに区分することとを含み、第１点群に対応するＧＮＳＳ信号強度は、第２点群に対応するＧＮＳＳ信号強度よりも大きい。
例えば、あるフレームの点群と同じな収集時点にＧＮＳＳデータが存在する場合に、当該フレーム点群を第１点群とマーキングし、ここで、第１点群は、ＧＮＳＳ信号を有する点群と考えられてもよい。同様に、あるフレーム点群と同じな収集時点にＧＮＳＳデータがない場合に、当該フレーム点群を第２点群とマーキングし、ここで、第２点群は、ＧＮＳＳ信号を有さない点群と考えられてもよい。
ＧＮＳＳ信号を有する点群とは、当該フレーム点群に対応する収集時点においてＧＮＳＳデータを同時に収集可能であることを指す。ＧＮＳＳ信号を有さない点群とは、当該フレーム点群に対応する収集時点に、ＧＮＳＳデータがない又はＧＮＳＳデータが収集できないことを指す。ＧＮＳＳデータがない又はＧＮＳＳデータが収集できないとは、ＧＮＳＳ信号強度が所定の第１信号強度値よりも低いことを指し、所定の第１信号強度値は、当業者が実際の需要に応じて予め設定されてもよい。実際の応用では、レーザレーダとＧＮＳＳ受信機との収集周波数が異なるため、あるフレーム点群の収集時間とＧＮＳＳの収集時間とが完全に同じではない可能性がある。このような状況は、ＧＮＳＳ信号を有さない点群として理解されるべきではなく、当該フレーム点群の収集時間の前との後とに存在する２つのＧＮＳＳ信号のうち、弱ＧＮＳＳ信号を選択することにより、レーザレーダのポーズ状態に値を代入する。例を挙げると、Ｇ１→Ｌ０→Ｇ２シーケンスが存在し、Ｇ１、Ｇ２がそれぞれＧＮＳＳ信号を表し、Ｌ０がレーザレーダで収集されたあるフレームの点群である場合に、当該フレーム点群に対応するＧＮＳＳは、Ｇ１とＧ２とのうち、ＧＮＳＳ信号が弱い方を採用する。Ｇ１及びＧ２が何れも強信号である場合に、Ｌ０は、強信号となり、Ｇ１及びＧ２のうちの１つが弱信号である場合に、Ｌ０は、弱信号となる。
本発明の実施例において、ＧＮＳＳ信号強度に応じて点群データを複数のサブマップに区分することは、上述したマーキングが行われた後、ＧＮＳＳ信号を有する第１点群について、更にその内部の各フレームの点群に対応するポーズ情報に応じて第１サブマップ区分を行うことと、ＧＮＳＳ信号を有さない第２点群について、更に第２サブマップ区分を行うこととを更に含む。
例えば、収集機器が１００フレームの点群を収集したと仮定すれば、この１００フレームの点群のうち、前８０フレームの点群に対応するＧＮＳＳデータが何れもＧＮＳＳ信号を有するＧＮＳＳデータであり、後２０フレームの点群に対応するＧＮＳＳデータが何れもＧＮＳＳ信号を有さないＧＮＳＳデータである場合に、この１００フレームの点群のうちの後２０フレームの点群を１つの大点群に区分してから、前８０フレームの点群をその内部の各フレームの点群に対応するポーズ情報に基づいてサブマップ区分を行う。
本発明の実施例において、複数フレームの点群各自のマーキング情報に応じて、点群データを複数のサブマップに区分することは、以下のステップを含む。
ステップｂ１では、各フレームの第１点群について、第１点群に対応するポーズ情報に基づいて、開始フレーム第１点群に対する当該第１点群の累積変位量又は累積回転量を特定する。
各フレームの第１点群に対応するポーズ情報は、位置情報及び姿勢情報を含む。累積変位量とは、前の少なくとも１フレームの第１点群に対応する位置情報の積算を指し、累積回転量とは、前の少なくとも１フレームの第１点群に対応する姿勢情報の積算を指す。
ステップｂ２では、第ｉフレーム第１点群が第１所定条件を満たし、ｉが１以上である場合に、当該開始フレーム第１点群から当該第ｉフレーム第１点群を１つの第１サブマップとし、第ｉ＋１フレーム第１点群を新たな開始フレーム第１点群とする。
第１所定条件は、累積変位量が変位量閾値以上であることと、累積回転量が回転量閾値以上であることと、累積フレーム数がフレーム数閾値以上であることと、のうちの少なくとも一項を含む。
変位量閾値、回転量閾値及びフレーム数閾値は、予め設定され、当業者によって実際の需要に応じて設定され得る。第１所定条件を満たす場合に、対応する少なくとも１フレームの第１点群を１つの第１サブマップとする。
例を挙げると、第１所定条件として累積変位量が変位量閾値以上である場合に、累積変位量に基づいて第１サブマップを特定する。残りの第１点群が合計で２０フレームあると仮定すれば、時系列で各フレームの第１点群に対応する変位情報を順次積算する。第１０フレームまで積算すると累積変位量が変位量閾値に達した場合に、この１０フレームの第１点群を１つの第１サブマップとし、第１１フレームの第１点群を新たな開始フレームとする。累積回転量に基づいて第１サブマップを特定し、且つ累積フレーム数に基づいて第１サブマップを特定する実施形態は、累積変位量に基づいて第１サブマップを特定する実施過程に類似し、詳細は累積変位量に基づいて第１サブマップを特定する例を参照すればよく、ここで一々紹介しない。
ステップｂ３では、第２点群について、毎回ＧＮＳＳデータの紛失前と紛失後とにそれぞれ対応する第１点群に基づいて、１つの第２サブマップを特定する。
具体的に、当該回のＧＮＳＳデータの紛失前の最後１フレームの点群を先頭フレーム点群とし、当該回のＧＮＳＳデータの紛失後で再度受信されたＧＮＳＳデータに対応する第１フレーム点群を終了フレーム点群として、１つの第２サブマップを取得し、当該第２サブマップの中間フレーム点群は、第２点群である。例を挙げると、収集カーがトンネルに位置する又はＧＮＳＳ信号が遮蔽されたシーンなどにおいて、対応する点群データ収集時点にＧＮＳＳ信号がない可能性がある。トンネルシーンを例とすると、収集カーがトンネルに進入する前に収集した最後１フレームの点群を第２サブマップの先頭フレーム点群とし、収集カーがトンネルを出た後で収集した第１フレーム点群を第２サブマップの終了フレーム点群とし、先頭フレーム点群、終了フレーム点群、及び先頭フレーム点群データと終了フレーム点群の間の中間フレーム点群を１つの第２サブマップとしてもよい。当業者であれば理解できるように、ＧＮＳＳデータ紛失が複数回発生すれば、複数の第２サブマップは、対応して得られる。
上述したとおり、第１点群がＧＮＳＳ信号を有する点群であり、ＧＮＳＳ信号が強ＧＮＳＳ信号及び弱ＧＮＳＳ信号を含んでもよい場合に、第１点群は、第１サブ点群及び第２サブ点群を含んでもよく、第１サブ点群に対応するＧＮＳＳ信号強度は、第２サブ点群に対応するＧＮＳＳ信号強度よりも大きい。本発明の実施例では、第１サブ点群が強ＧＮＳＳ信号に対応し、第２サブ点群が弱ＧＮＳＳ信号に対応すると考えられてもよい。所定の信号強度値に応じて強ＧＮＳＳ信号と弱ＧＮＳＳ信号とに区分してもよい。例えば、ＧＮＳＳ信号強度が所定の第２信号強度値以上である場合に、それが強ＧＮＳＳ信号であると考えられ、逆に、ＧＮＳＳ信号強度が所定の信号強度値よりも小さい場合に、それが弱ＧＮＳＳ信号であると考えられる。所定の第２信号強度値は、当業者によって実際の需要に応じて予め設定され得る。
第１サブマップの区分は、各フレームの第１点群に対応するポーズ情報に依存する必要がある。各フレームの第１点群に対応するポーズ情報は、異なるＧＮＳＳ信号環境において、対応して異なる特定方式がある。以下では、異なるＧＮＳＳ信号環境において第１点群に対応するポーズ情報を如何に特定するかを詳細に紹介する。
好ましくは、第１サブ点群について、ＧＮＳＳデータ及び／又は慣性測定データに対して補間を行う方式により、第１サブ点群に対応するポーズ情報を特定してもよい。具体的な補間アルゴリズムは、従来技術の紹介を参照すればよく、ここで繰り返し説明しない。
本発明の実施例において、ＧＮＳＳデータに対して補間を行う方式により、第１サブ点群に対応するポーズ情報を特定することは、ＧＮＳＳデータに対して補間を行い、各フレームの第１サブ点群の収集時点と同じである、補間後のＧＮＳＳデータを取得することと、補間後のＧＮＳＳデータに基づいて、当該フレーム第１サブ点群に対応するポーズ情報を特定することとを含み、当該補間後のＧＮＳＳデータは、ＧＮＳＳ受信機のワールド座標系におけるポーズ情報を含む。本実施例では、強ＧＮＳＳ信号環境において、ＧＮＳＳデータに対して補間を行う方式により、強ＧＮＳＳ環境の点群データに対応するポーズ情報を特定する。
例を挙げると、ＧＮＳＳデータと点群データとの収集周波数が同期するとは限らないため、ＧＮＳＳデータと点群データとの収集時点が同期しない可能性がある。また、レーザレーダのポーズ情報は、ＧＮＳＳデータのポーズ情報に基づいて特定される必要がある。したがって、２つの隣接するＧＮＳＳ信号Ｇ１、Ｇ２の間に１フレームの第１サブ点群Ｌ１が存在すると仮定すれば、補間アルゴリズムによってこの２つのＧＮＳＳ信号Ｇ１、Ｇ２の間に１つのＧＮＳＳ信号Ｇ３を挿入し、挿入されたＧＮＳＳ信号Ｇ３が当該フレーム第１サブ点群Ｌ１の収集時点に接近すると（同一収集時点と見なされる）、挿入されたＧＮＳＳ信号Ｇ３のポーズ情報を当該フレームの第１サブ点群Ｌ１に対応するポーズ情報としてもよい。
補間後のＧＮＳＳデータに基づいて、同一収集時点の第１サブ点群に対応するポーズ情報を特定することは、補間後のＧＮＳＳデータに対して座標系変換を行い、同一収集時点の第１サブ点群に対応するポーズ情報を取得することを含む。具体的に、補間後のＧＮＳＳデータがＧＮＳＳ受信機のワールド座標系における位置であるため、本発明の実施例において、更に、ＧＮＳＳデータに対して座標系の変換を行い、同一収集時点でのワールド座標系におけるレーダ位置を特定することにより、第１サブ点群に対応するポーズ情報を取得する必要がある。
同様に、第２サブ点群について、ＧＮＳＳデータに対して補間を行う方式によって第２サブ点群に対応する初期ポーズ情報を特定してもよい。このような方式によって得られた初期ポーズ情報は、正確度が弱ＧＮＳＳ信号に影響されて正確ではない恐れが存在する。したがって、本発明の実施例では、ＧＮＳＳデータに対して補間を行って第２サブ点群に対応する初期ポーズ情報を取得した後、更に初期ポーズ情報を調整することで、正確度のより高い第２サブ点群に対応するポーズ情報を取得してもよい。
ＧＮＳＳデータに対して補間を行う方式によって各フレームの第２サブ点群に対応する初期ポーズ情報を特定することは、ＧＮＳＳデータに対して補間を行い、第２サブ点群の収集時点と同じであるＧＮＳＳデータを取得することと、補間後のＧＮＳＳデータに基づいて、同一収集時点の第２サブ点群に対応する初期ポーズ情報を特定することと、を含み、当該ＧＮＳＳデータは、ＧＮＳＳ受信機のワールド座標系におけるポーズ情報を含む。
更に、補間後のＧＮＳＳデータに基づいて、同一収集時点の第２サブ点群に対応する初期ポーズ情報を特定することは、補間後のＧＮＳＳデータに対して座標系変換を行い、同一収集時点の第２サブ点群に対応する初期ポーズ情報を取得することを含む。
ＧＮＳＳデータに対して補間を行う方式によって第２サブ点群に対応する初期ポーズ情報を特定する具体的な実施過程は、ＧＮＳＳデータに対して補間を行う方式によって第１サブ点群に対応するポーズ情報を特定する具体的な実施過程に類似し、詳細は、ＧＮＳＳデータに対して補間を行う方式によって第１サブ点群に対応するポーズ情報を特定する具体的な実施過程を参照すればよく、ここで繰り返し説明しない。
初期ポーズ情報を調整することは、慣性測定データのプリ積分（ｐｒｅｉｎｔｅｇｒａｔｉｏｎ）値及びＧＮＳＳデータに応じて、第２サブ点群に対応する初期ポーズ情報を調整し、第２サブ点群に対応するポーズ情報を取得することを含む。
弱ＧＮＳＳ環境において、慣性測定データのプリ積分値及びＧＮＳＳデータに応じて、第２サブ点群に対応する初期ポーズ情報を調整し、第２サブ点群に対応するポーズ情報を取得することは、点群位置合わせ及びポーズグラフ最適化の２つの過程を含む。
ステップｃ１では、第２サブ点群に対して位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）を行う。
ステップｃ１は、点群位置合わせ過程であり、隣接する２フレームの第２サブ点群の間のポーズ変換推定値を取得するために用いられる。ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ、反復最近接点）位置合わせアルゴリズムを用いて弱ＧＮＳＳ環境の複数フレームの第２サブ点群に対して位置合わせを行い、弱ＧＮＳＳ環境における複数フレームの第２サブ点群のポーズ変換推定値を位置合わせ結果として取得してもよい。
点群位置合わせは、データ前処理及びフレーム間位置合わせを含む。データ前処理は、点群歪み除去、距離フィルタリング、地面フィルタリング、非地面特徴点抽出及びダウンサンプリング等の処理を含む。点群歪み除去は、ＩＭＵから供給された高頻度のポーズ情報に基づいて、各フレームの点群のうちの異なる時点の走査線からの点群を同一の座標系に回復することにより、後続の位置合わせを容易にする。距離フィルタリングは、遠距離の疎な点群を除去するために用いられる。地面フィルタリングは、点群における地面特徴を抽出して地面点を取得するために用いられる。非地面特徴点抽出は、線状点、面状点及び球状点を含む特徴点を取得可能である。ダウンサンプリングは、点群規模を低減し、位置合わせ速度を高めることができる。
データ前処理が行われた点群は、フレーム間位置合わせに用いられる。フレーム間位置合わせは、ＩＣＰ位置合わせアルゴリズムを採用してもよく、地面点、線状点、面状点及び球状点に基づいて２フレームの点群においてマッチングを行い、対応する点対を見つけ出し、その後、特徴点種別に基づいてそのコスト関数を算出し、最後的に回転行列を線形化して対応する線形最小二乗解を求めることを含む。
ステップｃ２では、第２サブ点群に対応する初期ポーズ情報をノードとし、位置合わせ結果、慣性測定データのプリ積分値及びＧＮＳＳデータを制約条件として、ポーズグラフを作成する。
ＩＭＵの更新周波数がレーザレーダの収集周波数よりも大きい場合に、即ち、レーザレーダで収集された隣接する２フレームの点群の間に、複数の慣性測定データが存在する。隣接する２フレームの点群の間の慣性測定データに対してプリ積分を行うことにより、慣性測定データのプリ積分値を取得することができる。具体的な過程は、下記のようになる。
図３に示すように、各円形は、１回収集された慣性測定データを表し、各三角形は、１回収集された点群データを表し、座標軸は、時間軸である。隣接する２つの三角形の間の複数の円形は、隣接する２回の点群データ収集の間で収集されている慣性測定データを表す。注意すべきことは、隣接する２回の点群データ収集の間で慣性測定データを収集する回数が限定されず、点群データの収集間隔と慣性測定データの収集間隔とに基づいて特定され、図３に示す隣接する２回の点群データ収集の間で慣性測定データを３回収集したことは、単に例示であり、隣接する２回の点群データ収集の間は、より多くの回数又はより少ない回数収集される慣性測定データを含んでもよい。
図４に示すように、図におけるθa1,θa2,θa3,θa4,θa5,θb1,θc1,θc2は、それぞれポーズグラフのノードを示し、各ノードは、それぞれ第２サブ点群に対応する初期ポーズ情報を示す。２つずつのノードの間の連結線は、辺であり、例えば、図における２つのノードの間の実線は、２つのノードの間の辺を表す。θa1,θa2,θa3,θa4,θa5を通った破線、θb1を通った破線及びθc1,θc2を通った破線は、それぞれ収集カーの１本の軌跡を表す。
ステップｃ３では、ポーズグラフの残差総和を最小化する原則に基づいてポーズグラフの初期ポーズ情報を調整し、第２サブ点群に対応するポーズ情報を取得する。
図４にとって、誤差が存在し、ノードが辺で表される制約を完全に合致できるわけではないため、残差は発生する。ポーズグラフの残差総和を最小化することにより、ポーズグラフ中のノードで表される初期ポーズ情報を調整して調整後のポーズ情報を得ることができる。１つの選択可能な実施形態では、非線形ライブラリ、例えばｃｅｒｅｓライブラリを用いてポーズグラフについて解を求め、第２サブ点群に対応するポーズ情報を取得してもよい。第２サブ点群に対応するポーズ情報は、累積変位量又は累積回転量を算出するために用いられてもよい。非線形ライブラリによってポーズグラフについて解を求めることは、従来技術の紹介を参照すればよく、ここで繰り返し説明しない。
上記実施過程により、サブマップの区分を完了することができる。次に、サブマップ生成の具体的な実施過程を詳細に紹介する。
サブマップ生成過程では、第１サブマップ中の第１サブ点群に対応するポーズ情報がＧＮＳＳデータに対して補間を行ったものであり、信頼度が相対的に高いが、本発明の実施例において更なる最適化方案を採用して最適化することより、正確度のより高い点群に対応するポーズ情報を得ることができる。更なる最適化方案は、以下のステップを含む。
ステップｄ１では、慣性測定データのプリ積分値とＧＮＳＳデータとに応じて、第１サブ点群に対応するポーズ情報を調整し、第１サブ点群に対応する調整後ポーズ情報を取得する。
ステップｄ１は、第１サブ点群に対して位置合わせを行うことと、第１サブ点群に対応するポーズ情報をノードとし、位置合わせ結果、慣性測定データのプリ積分値及びＧＮＳＳデータを制約条件として、ポーズグラフを作成するポーズグラフの残差総和を最小化する原則に基づいてポーズグラフのポーズ情報を調整して第１サブ点群に対応する調整後ポーズ情報を取得することとを含む。ステップｄ１の具体的な実施過程は、ステップｃ１からステップｃ３の具体的な実施過程に類似し、上記実施例におけるステップｃ１からステップｃ３の具体的な実施過程を参照すればよく、ここで繰り返し説明しない。
ステップｄ２では、第２サブマップ中の点群に対応するポーズ情報を特定する。
ステップｄ３では、第１サブマップ中の各点群に対応するポーズ情報と第２サブマップ中の各点群に対応するポーズ情報とに基づいて、サブマップセットにおけるサブマップに対して位置合わせを行い、隣接する２つのサブマップの間の相対ポーズ関係を取得し、サブマップセットは、少なくとも２つの第１サブマップと少なくとも２つの第２サブマップとを含む。
以下では、第２サブマップ中の点群に対応するポーズ情報を如何に特定するかについて説明する。
本発明の実施例では、まず、収集機器の目標領域内における調整すべきポーズ情報、及び収集機器の目標領域外における参照ポーズ情報を取得し、次に、参照ポーズ情報に応じて調整すべきポーズ情報を調整して目標ポーズ情報を取得する。これにより、目標領域内のＧＮＳＳ信号が弱くてポーズ情報が正確でない場合に、目標領域外の正確性の高いポーズ情報を用いて正確性の低いポーズ情報を調整する。このように、収集機器の目標領域内におけるポーズ情報がより正確になり、生成された電子地図の正確度が更に向上する。以下では、実施例を用いて説明する。
注意すべきことは、本実施例に係るポーズ情報調整案は、衛星信号の弱い領域に適用されるだけではなく、衛星信号の良い領域にも適用されてもよく、ここで限定されない。
具体的に、ステップｄ２は、以下のステップを含む。
ステップｄ２１では、第２サブマップについて、ＧＮＳＳデータに対して補間を行い、第２サブマップの先頭フレーム点群及び終了フレーム点群に対応するポーズ情報を参照ポーズデータとして取得し、且つ、慣性測定データに対して補間を行い、中間フレーム点群に対応する初期ポーズ情報を調整すべきポーズデータとする。
トンネル、地下駐車場、地下デパートなどの衛星信号が弱いエリアでは、ＩＭＵはＧＮＳＳ信号と結合して移動中の慣性測定データの誤差を修正できず、その結果、得られた収集機器の慣性測定データのポーズ情報に大きな誤差が存在し、更に、生成された地図の正確度が悪くなる。例えば、収集機器は、トンネル外からトンネル入口に進入し、その後、トンネルを通ってトンネル出口から出るという過程において、ＧＮＳＳ信号を受信できない可能性がある。そこで、ＩＭＵを介して収集機器の移動過程におけるポーズ情報を取得する必要がある。
ステップｄ２２では、中間フレーム点群に対応するポーズ情報を特定する。
ステップｄ２２は、以下の方法ステップを用いて特定されてもよい。
ステップｅ１では、慣性測定データと、第２サブマップ中の先頭フレーム点群に対応するポーズ情報と、第２サブマップ中の終了フレーム点群に対応するポーズ情報とに応じて、中間フレーム点群に対応する初期ポーズ情報を調整し、中間フレーム点群に対応する中間ポーズ情報を取得する。
先頭フレーム点群に対応するポーズ情報と終了フレーム点群に対応するポーズ情報は、参照ポーズ情報として、ポーズ情報を提供する２つの境界、例えば、トンネル入口前とトンネル出口後との収集機器を調整する精確なポーズ情報である。
中間ポーズ情報は、ポーズグラフの方式によって中間フレーム点群に対応する初期ポーズ情報を最適化したものである。
ステップｅ１は、以下のステップを含む。
ステップｅ１１では、中間フレーム点群に対応する初期ポーズ情報をノードとし、ポーズグラフを作成する。
ステップｅ１２では、慣性測定データに基づいてポーズグラフの辺と辺の重みとを特定する。
ステップｅ１３では、ポーズグラフの残差総和を最小化する原則に基づいてポーズグラフにおける初期ポーズを調整し、中間フレーム点群に対応する中間ポーズ情報を取得する。
具体的に、ポーズグラフを用いて中間フレーム点群に対応する初期ポーズ情報を最適化することは、中間フレーム点群の初期ポーズをノードとし、慣性測定データのプリ積分結果をノードの間の辺とし、情報行列をプリ積分の辺の重みとして、ポーズグラフを作成することを含む。その後、非線形最適化ライブラリを呼び出して、作成されたポーズグラフを最適化し、中間ポーズ情報を取得する。情報行列は、隣接する２フレームの点群の間の相対ポーズ関係の信頼度を示し、点群及び慣性測定データをタイムスタンプで並べ替えてから、隣接する２フレームの第２点群の間の慣性測定データに対してプリ積分を行なうことで取得されてもよい。
例えば、中間フレーム点群に対応する初期ポーズを最適化すべき初期値とし、先頭フレーム点群に対応するポーズ情報及び終了フレーム点群に対応するポーズ情報を最適化中のポーズ真値とし、慣性測定データのプリ積分結果を最適化の辺とし、ポーズ最適化アルゴリズムを用いて中間ポーズ情報を取得してもよい。ポーズ最適化アルゴリズムは、ｃｅｒｅｓ最適化アルゴリズム、ｇ２ｏ(Ｇｅｎｅｒａｌ Ｇｒａｐｈ Ｏｐｔｉｍｉｚａｔｉｏｎ)一般グラフ最適化アルゴリズム等であってもよく、ここで限定されない。
ステップｅ２では、中間フレーム点群に対応する中間ポーズ情報に基づいて、中間フレーム点群に対して点群位置合わせを行う。
点群位置合わせに関し、ＬＬＳ－ＬＯＡＭアルゴリズム、ＩＣＰ位置合わせアルゴリズム等を用いて点群位置合わせを行い、隣接する２フレームの第２点群の間の相対ポーズ関係を取得してもよい。
ステップｅ３では、先頭フレーム点群に対応するポーズ情報と、終了フレーム点群に対応するポーズ情報と、中間フレーム点群に対して点群位置合わせを行った位置合わせ結果とに応じて、中間フレーム点群に対応する中間ポーズ情報を調整し、中間フレーム点群に対応するポーズ情報を取得する。
ステップｅ３は、以下のステップを含む。
ステップｅ３１では、先頭フレーム点群に対応するポーズ情報、終了フレーム点群に対応するポーズ情報及び中間フレーム点群に対応する中間ポーズ情報をノードとして、ポーズグラフを作成する。
ステップｅ３２では、慣性測定データ及び位置合わせ結果に基づいて、ポーズグラフの辺と辺の重みとを特定する。
ステップｅ３３では、ポーズグラフの残差総和を最小化する原則に基づいてポーズグラフにおける中間ポーズ情報を調整し、中間フレーム点群に対応するポーズ情報を取得する。
本ステップの調整は、ポーズグラフの方式によって最適化し、ステップｅ１との相違点は、今回最適化過程に点群位置合わせの結果が追加される、即ち、ポーズグラフの辺に位置合わせ辺が追加され、位置合わせ辺の重みが情報行列で示されることにある。その後、非線形最適化ライブラリを呼び出して、作成されたポーズグラフを最適化し、中間フレーム点群に対応するポーズ情報を取得する。
上記ｅ１－ｅ３のステップから分かるように、第１調整で得られた中間ポーズデータを再度調整し、即ち、第２回調整を行う。第２回調整過程では、まず、点群位置合わせを行い、点群位置合わせアルゴリズムは、ここで限定されず、例えば、ＬＬＳ－ＬＯＡＭアルゴリズム、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）位置合わせアルゴリズム等であってもよい。
第２回調整を採用したのは、テクスチャ特徴が豊富な幾つかの目標領域、例えば地下デパート等に関し、直接収集された点群データに基づいて点群位置合わせを行うことにより、比較的に正確な位置合わせ結果を得ることができるからである。しかし、テクスチャ特徴が比較的に単一の目標領域、例えばトンネル等に関し、直接、収集された点群データに基づいて点群位置合わせを行うと、得られた位置合わせ結果に大きな誤差が存在し、引いては位置合わせ失敗も発生する。本発明の実施例では、点群位置合わせを行うときに、第１回調整で得られた中間ポーズ情報を点群位置合わせ過程における初期値として利用してもよい。中間ポーズ情報を基に点群位置合わせを行うと、点群位置合わせの成功率及び正確率を向上させ、位置合わせ結果の正確度を向上させ、更に第２回調整の正確度を向上させる。注意すべきことは、本発明の実施例において中間ポーズ情報を点群位置合わせ過程に関与させる方式を採用すると、テクスチャ特徴が比較的に単一の目標領域の電子地図精度の向上に寄与するだけでなく、テクスチャ特徴が豊富な目標領域の電子地図精度もある程度向上させることができる。
本発明の実施例では、２回の調整によって高精度のポーズ情報を取得することにより、ＩＭＵ精度に対する要求を低減し、且つ、第１回調整で得られた中間ポーズ情報を点群位置合わせの初期値とすることにより、点群位置合わせの成功率及び正確率を向上させる。
本発明の実施例では、サブマップ内部の各フレームの点群に対応するポーズ情報が特定された後、各サブマップ中の各フレームの点群に対応する調整後ポーズ情報に基づいて、区分されたサブマップに対して位置合わせを行い、隣接する２つのサブマップの間の相対ポーズ関係、即ち、隣接辺制約条件を取得してもよい。サブマップの間の位置合わせは、ＩＣＰアルゴリズムを用いて実現されてもよく、具体的な実現過程は、ここで繰り返し説明しない。
上記実施過程により、収集機器の複数本の軌跡ルートを生成してもよい。複数本の軌跡ルートは、収集機器の同一位置での異なる方位の軌跡ルートを含む。上記実施例で紹介された過程は、収集機器の複数本の軌跡ルートを生成し、且つ各軌跡ルートを調整する過程を含み、調整の過程は、局所最適化過程と見なされてもよい。本発明の実施例では、更に、複数本の軌跡ルートに対してグローバル最適化を行うことにより、最終的に生成された軌跡ルートを取得してもよく、最終的に生成された軌跡ルートにおける、各フレーム点群に対応するポーズ情報は、最終的なポーズ情報そのものである。
軌跡ルートに対してグローバル最適化を行うことは、以下のステップを含む。
ステップｆ１では、軌跡ルートに対してループ検出を行い、ループ検出結果を取得する。
ループ検出とは、収集機器で複数回収集された複数フレームの点群のうちの重複する点群データを検出することを指す。例を挙げると、複数の収集機器が同一地点について点群データを収集する可能性があり、又は、１つの収集機器が同一地点を複数回経過して点群データを収集する可能性もある。このような点群データは、空間的に近接するが、時間的に連続的ではない。したがって、このような点群データを検出し、軌跡ルート生成過程にループ検出結果を考慮する必要がある。例えば、２つの点群が空間的に近接するが時間的に連続ではない場合に、その中の１つの点群を選択して軌跡ルートを生成してもよい。具体的な選択過程は、点群データの正確度に応じて特定されてもよく、本発明の実施例ではこれについて特に限定しない。
また、ループ検出結果は、内部ループ辺と外部ループ辺とを含む。内部ループ辺とは、同一軌跡内部のループを指し、外部ループ辺とは、異なる軌跡の間のループを指す。例を挙げると、内部ループ辺は、同一の収集機器が同一地点を複数回通って点群データを収集して形成されたものであり、外部ループ辺は、複数の収集機器が同一の箇所について点群データを収集して形成されたものである。
ステップｆ２では、ループ検出結果と、隣接する２つのサブマップの間の相対ポーズ関係と、ＧＮＳＳデータとに応じて、各フレームの点群に対応するポーズ情報を調整し、収集機器で最終的に生成された軌跡ルートを取得する。
ステップｆ２では、ポーズグラフ最適化の方式によって軌跡ルート中の複数フレームの点群に対応するポーズ情報を最適化することにより、収集機器で最終的に生成された軌跡ルートを取得してもよい。
上記ステップｆ１では、軌跡ルートに対してループ検出を行ってループ検出結果を取得することは、以下のステップを含む。
ステップｆ１１では、軌跡ルートにおける全てのサブマップに基づいて、木構造を作成する。
本発明の実施例における木構造は、二分探索木（ｋｄｔｒｅｅ）であってもよく、軌跡ルートにおける全てのサブマップを木構造のノードとする。
ステップｆ１２では、木構造における各サブマップのｎ個の隣接サブマップを特定する。
ステップｆ１２は、最近傍探索方法に従って、木構造における各サブマップのｎ個の隣接サブマップを特定することを含む。具体的に、本ステップでは、サブマップごとに、当該サブマップの所在するノードを円心とし、所定半径ｒを半径範囲として、半径ｒ範囲内に存在する最も多いｎ個のサブマップを当該サブマップの隣接サブマップとして見つけ出す。
ステップｆ１３では、サブマップごとに、当該サブマップと隣接サブマップとが時間的に隣接せず、且つ重合度が所定重合度よりも大きい場合に、当該サブマップをループ辺集合に追加する。
重合度とは、あるサブマップの所在する図形（例えば、長方形）と当該サブマップの隣接サブマップの所在する図形との重なり面積の大きさを指す。重なり面積が大きいほど、重合度（ＩＯＵ）は、大きくなり、逆に、重なり面積が小さいほど、重合度は、小さくなる。図５に示すように、サブマップ１の所在する長方形とサブマップ２の所在する長方形との積集合部分の、サブマップ１の所在する長方形とサブマップ２の所在する長方形との和集合部分に対する面積比率は、サブマップと隣接サブマップとの重合度そのものであり、即ち、サブマップ１∩サブマップ２の所在する領域面積とサブマップ１∪サブマップ２の所在する領域面積との比である。
ループ辺集合は、更に、内部ループ辺集合と外部ループ辺集合とに分けられてもよい。１本の軌跡内部のループ検出結果は、内部ループ辺集合に追加されてもよく、異なる軌跡の間のループ検出結果は、外部ループ辺集合に追加されてもよい。
ステップｆ１４では、ループ辺集合におけるサブマップに対して位置合わせを行い、隣接する２つのサブマップの間のループポーズ関係を特定する。
本ステップでは、ＩＣＰアルゴリズムを用いてループ辺集合における全てのサブマップに対して位置合わせを行うことにより、隣接する２つのサブマップの間のループポーズ関係を取得してもよい。ステップｆ１４は、内部ループ辺集合におけるサブマップに対して位置合わせを行うことと、外部ループ辺集合におけるサブマップに対して位置合わせを行うことと、を含む。
好ましくは、ループ検出結果と、隣接する２つのサブマップの間の相対ポーズ関係と、ＧＮＳＳデータとに応じて、各フレームの点群に対応するポーズ情報を調整し、収集機器で最終的に生成された軌跡ルートを取得することは、以下のステップを含む。
ステップｇ１では、軌跡ルートにおける全てのサブマップをノードとし、ポーズグラフを作成し、サブマップは、ノードに１つずつ対応する。
ステップｇ２では、ノードの間の辺を特定し、当該辺は、隣接辺制約条件、ループ制約条件、ＧＮＳＳ制約条件及びキャリブレーション制約条件のうちの少なくとも一項に対応する。
隣接辺制約条件は、隣接する２つのサブマップの間の相対ポーズ関係（隣接辺）を含み、ループ制約条件は、隣接する２つのサブマップの間のループポーズ関係（ループ辺）を含み、ＧＮＳＳ制約条件は、サブマップのポーズ情報に対するＧＮＳＳデータの事前推定制約条件（ＧＮＳＳ辺）であり、キャリブレーション辺は、軌跡に関連し、各キャリブレーション辺は、軌跡に１つずつ対応し、且つ軌跡における全てのノードに繋がる。
ステップｇ３では、ポーズグラフの残差総和を最小化する原則に基づいてポーズグラフにおけるポーズ情報を調整し、収集機器の軌跡ルートを取得する。
異なる辺は、対応する重みを有し、その重みは、当該制約条件の信頼度を示す。位置合わせ辺（隣接辺、ループ辺）の重みは、ＬＬＳ－ＬＯＡＭの共分散計算方法によって得られる。ＧＮＳＳ辺の重みは、ＧＮＳＳ受信機から返信された共分散行列によって得られる。位置合わせ辺及びＧＮＳＳ辺の重みの具体的な計算過程は、従来技術の紹介を参照すればよく、ここで繰り返し説明しない。
本発明の実施例では、ポーズグラフ最適化の方式によって軌跡ルートに対してグローバル最適化を行う。ポーズグラフ最適化は、同時位置決め地図作成（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ、ＳＬＡＭ）においてよく見られるバックエンド最適化方式である。ＳＬＡＭのポーズグラフ最適化方式とは異なり、本発明の実施例では、ＧＮＳＳ辺及びループ辺が制約条件として追加され、且つ、隣接辺が複数回の最適化によって得られる。
ループ制約を生成する過程において、軌跡生成ステップで得られたサブマップを入力する必要がある。本発明の実施例では、全てのサブマップを用いて１つの図形データ構造を生成し、ループ辺で図の接続関係を記述し、最後に幅優先搜索アルゴリズム（ＢＦＳ）を用いて、辺を生成する順番を決定するため、繰り返し読み取り回数が減少可能であり、ループ制約の生成速度も速めることができる。
図６は、本発明の実施例に係る地図作成装置の構造模式図である。本発明の実施例に係る地図作成装置は、地図作成方法の実施例に係る処理フローを実行してもよく、図６に示すように、地図作成装置６０は、取得モジュール６１、生成モジュール６２及び作成モジュール６３を備える。取得モジュール６１は、収集機器によって所定時間帯内で収集された点群データ、慣性測定データ及びＧＮＳＳデータを取得し、ＧＮＳＳデータは、ＧＮＳＳ信号強度を含み、生成モジュール６２は、点群データ、慣性測定データ及びＧＮＳＳデータに基づいて、ＧＮＳＳ信号強度に対応する方式を用いて収集機器の軌跡ルートを生成し、作成モジュール６３は、軌跡ルートに基づいて地図を作成する。
好ましくは、点群データは、複数フレームの点群を含み、軌跡ルートは、時間的又は空間的位置において隣接する複数フレームの点群を含み、生成モジュール６２は、点群データ、慣性測定データ及びＧＮＳＳデータに基づいて、ＧＮＳＳ信号強度に対応する方式を用いて収集機器の軌跡ルートを生成する際に、具体的に、点群データにおける各フレームの点群に対応するポーズ情報を特定することと、ＧＮＳＳ信号強度に応じて点群データを各自が少なくとも１フレームの点群を含む複数のサブマップに区分することと、各サブマップに含まれる少なくとも１フレームの点群に対応するポーズ情報に基づいて、各サブマップのポーズ情報を特定することと、隣接する２つのサブマップの間の相対ポーズ関係を特定することとを実行する。
好ましくは、生成モジュール６２は、ＧＮＳＳ信号強度に応じて点群データを複数のサブマップに区分する際に、具体的に、ＧＮＳＳ信号強度に基づいて、複数フレームの点群について、第１点群と第２点群とを含むマーキング情報をそれぞれマーキングすることと、複数フレームの点群各自のマーキング情報に応じて、点群データを複数のサブマップに区分することと、を実行し、第１点群に対応するＧＮＳＳ信号強度は、第２点群に対応するＧＮＳＳ信号強度よりも大きい。
好ましくは、生成モジュール６２は、複数フレームの点群各自のマーキング情報に応じて、点群データを複数のサブマップに区分する際に、具体的に、各フレームの第１点群について、第１点群に対応するポーズ情報に基づいて、開始フレーム第１点群に対する第１点群の累積変位量又は累積回転量を特定することと、第１点群が第１所定条件を満たす場合に、開始フレーム第１点群から第１点群を１つの第１サブマップとし、次フレーム第１点群を新たな開始フレーム第１点群と設定することと、及び／又は、第２点群について、ＧＮＳＳデータの紛失前と紛失後とにそれぞれ対応する第１点群に基づいて、少なくとも１つの第２サブマップを特定することとを実行し、第１所定条件は、累積変位量が変位量閾値以上であることと、累積回転量が回転量閾値以上であることと、累積フレーム数がフレーム数閾値以上であることと、のうちの少なくとも一項を含む。
好ましくは、第１点群は、第１サブ点群及び第２サブ点群を含み、第１サブ点群に対応するＧＮＳＳ信号強度は、第２サブ点群に対応するＧＮＳＳ信号強度よりも大きく、第１サブマップについて、生成モジュール６２は、点群データにおける各フレームの点群に対応するポーズ情報を特定する際に、具体的に、ＧＮＳＳデータに対して補間を行う方式に基づいて、第１サブ点群に対応するポーズ情報を特定することと、ＧＮＳＳデータに対して補間を行う方式に基づいて、第２サブ点群に対応する初期ポーズ情報を特定することと、慣性測定データのプリ積分値及びＧＮＳＳデータに基づいて、第２サブ点群に対応する初期ポーズ情報を調整し、第２サブ点群に対応するポーズ情報を取得することと、を実行する。
好ましくは、生成モジュール６２が第１サブマップについて、点群データにおける各フレームの点群に対応するポーズ情報を特定することは、慣性測定データのプリ積分値及びＧＮＳＳデータに基づいて、第１サブ点群に対応するポーズ情報を調整し、第１サブ点群に対応する調整後ポーズ情報を取得することを更に含む。
好ましくは、生成モジュール６２が第２サブマップについて、点群データにおける各フレームの点群のポーズ情報を特定することは、具体的に、ＧＮＳＳデータに対して補間を行い、第２サブマップの先頭フレーム点群及び終了フレーム点群に対応するポーズ情報を取得することと、慣性測定データに対して補間を行い、第２サブマップにおける、先頭フレーム点群と終了フレーム点群とを除く他のフレームの点群である中間フレーム点群の初期ポーズ情報を特定することと、中間フレーム点群に対応するポーズ情報を特定することと、を含む。
好ましくは、生成モジュール６２がＧＮＳＳデータに対して補間を行う方式に基づいて、第１サブ点群に対応するポーズ情報又は第２サブ点群に対応する初期ポーズ情報を特定することは、ＧＮＳＳデータに対して補間を行い、第１サブ点群又は第２サブ点群の収集時点と同じである、補間後のＧＮＳＳデータを取得することと、補間後のＧＮＳＳデータに基づいて、第１サブ点群に対応するポーズ情報又は第２サブ点群に対応する初期ポーズ情報を特定することと、を含み、補間後のＧＮＳＳデータは、ＧＮＳＳ受信機のワールド座標系におけるポーズ情報を含む。
好ましくは、生成モジュール６２が第２サブ点群に対応する初期ポーズ情報を調整することは、具体的に、第２サブ点群に対して位置合わせを行うことと、第２サブ点群に対応する初期ポーズ情報をノードとし、位置合わせ結果、慣性測定データのプリ積分値及びＧＮＳＳデータを制約条件として、ポーズグラフを作成することと、ポーズグラフの残差総和を最小化する原則に基づいてポーズグラフの初期ポーズ情報を調整し、第２サブ点群に対応するポーズ情報を取得することと、を含む。
好ましくは、生成モジュール６２第１サブ点群に対応する初期ポーズ情報を調整することは、具体的に、第１サブ点群に対して位置合わせを行うことと、第１サブ点群に対応するポーズ情報をノードとし、位置合わせ結果、慣性測定データのプリ積分値及びＧＮＳＳデータを制約条件として、ポーズグラフを作成することと、ポーズグラフの残差総和を最小化する原則に基づいてポーズグラフのポーズ情報を調整し、第１サブ点群データに対応する調整後ポーズ情報を取得することと、を含む。
好ましくは、生成モジュール６２は、他のフレームの点群である中間フレーム点群に対応するポーズ情報を特定する際に、慣性測定データと、第２サブマップ中の先頭フレーム点群に対応するポーズ情報と、第２サブマップ中の終了フレーム点群に対応するポーズ情報とに応じて、中間フレーム点群に対応する初期ポーズ情報を調整し、中間フレーム点群に対応する中間ポーズ情報を取得することと、中間フレーム点群に対応する中間ポーズ情報に基づいて、中間フレーム点群に対して点群位置合わせを行うことと、先頭フレーム点群に対応するポーズ情報と、終了フレーム点群に対応するポーズ情報と、中間フレーム点群に対して点群位置合わせを行った位置合わせ結果とに応じて、中間フレーム点群に対応する中間ポーズ情報を調整し、中間フレーム点群に対応するポーズ情報を取得することと、を実行する。
好ましくは、生成モジュール６２が慣性測定データと、第２サブマップ中の先頭フレーム点群に対応するポーズ情報と、第２サブマップ中の終了フレーム点群に対応するポーズ情報とに応じて、中間フレーム点群に対応する初期ポーズ情報を調整し、中間フレーム点群に対応する中間ポーズ情報を取得することは、中間フレーム点群に対応する初期ポーズ情報をノードとして、ポーズグラフを作成することと、慣性測定データに基づいてポーズグラフの辺と辺の重みとを特定することと、ポーズグラフの残差総和を最小化する原則に基づいてポーズグラフ中の初期ポーズを調整し、中間フレーム点群に対応する中間ポーズ情報を取得することと、を含む。
好ましくは、生成モジュール６２が先頭フレーム点群に対応するポーズ情報と、終了フレーム点群に対応するポーズ情報と、中間フレーム点群に対して点群位置合わせを行った位置合わせ結果とに応じて、中間フレーム点群に対応する中間ポーズ情報を調整し、中間フレーム点群に対応するポーズ情報を取得することは、先頭フレーム点群に対応するポーズ情報と、終了フレーム点群に対応するポーズ情報と、中間フレーム点群に対応する中間ポーズ情報とをノードとして、ポーズグラフを作成することと、慣性測定データ及び位置合わせ結果に基づいて、ポーズグラフの辺と辺の重みとを特定することと、ポーズグラフの残差総和を最小化する原則に基づいてポーズグラフ中の中間ポーズ情報を調整し、中間フレーム点群に対応するポーズ値を取得することと、を含む。
好ましくは、生成モジュール６２は、隣接する２つのサブマップの間の相対ポーズ関係を特定する前に、隣接する２つのサブマップに対して位置合わせを行うことを更に実行する。
好ましくは、生成モジュール６２が点群データ、慣性測定データ及びＧＮＳＳデータに基づいて、ＧＮＳＳ信号強度に対応する方式を用いて収集機器の軌跡ルートを生成することは、収集機器の軌跡ルートに対してループ検出を行い、ループ検出結果を取得することと、ループ検出結果と、隣接する２つのサブマップの間の相対ポーズ関係と、ＧＮＳＳデータとに基づいて、各フレームの点群に対応するポーズ情報を調整し、収集機器の軌跡ルートを取得することと、を更に含む。
好ましくは、生成モジュール６２が収集機器の軌跡ルートに対してループ検出を行い、ループ検出結果を取得することは、収集機器の軌跡ルートにおける全てのサブマップに基づいて、木構造を作成することと、木構造における各サブマップのｎ個の隣接サブマップを特定することと、サブマップごとに、サブマップと隣接サブマップとが時間的に隣接せず、且つ重合度が所定重合度よりも大きい場合に、サブマップをループ辺集合に追加することと、
ループ辺集合におけるサブマップに対して位置合わせを行い、隣接する２つのサブマップの間のループポーズ関係を特定することと、を含む。
好ましくは、生成モジュール６２がループ検出結果と、隣接する２つのサブマップの間の相対ポーズ関係と、ＧＮＳＳデータとに基づいて、各フレームの点群に対応するポーズ情報を調整し、収集機器の軌跡ルートを取得することは、軌跡ルートにおける全てのサブマップをノードとして、ポーズグラフを作成することと、ノードの間の辺を特定することと、ポーズグラフの残差総和を最小化する原則に基づいてポーズグラフにおけるポーズ情報を調整し、収集機器の軌跡ルートを取得することと、を含み、前記サブマップは、ノードに１つずつ対応し、辺は、隣接辺制約条件、ループ制約条件、ＧＮＳＳ制約条件及びキャリブレーション制約条件のうちの少なくとも一項に対応し、隣接辺制約条件は、隣接する２つのサブマップの間の相対ポーズ関係を含み、ループ制約条件は、隣接する２つのサブマップの間のループクポーズ関係を含み、ＧＮＳＳ制約条件は、サブマップのポーズ情報に対するＧＮＳＳデータの事前推定を含み、各キャリブレーション辺は、軌跡に１つずつ対応し、且つ軌跡における全てのノードに繋がる。
好ましくは、点群データは、収集機器におけるレーザレーダによって収集されたものであり、慣性測定データは、収集機器における慣性測定手段によって収集されたものであり、ＧＮＳＳデータは、収集機器におけるＧＮＳＳ受信機によって収集されたものである。
図６に示す実施例の地図作成装置は、上記方法実施例の技術案を実行可能であり、その実現原理及び技術効果が類似するため、ここで繰り返し説明しない。
図７は、本発明の実施例に係る電子機器の構造模式図である。本発明の実施例に係る電子機器は、地図作成方法の実施例に係る処理フローを実行可能である。図７に示すように、電子機器７０は、コンピュータプログラムを記憶するためのメモリ７１と、プロセッサ７２と、通信インターフェース７３とを備え、プロセッサ７２は、コンピュータプログラムを実行することで上記方法実施例のステップを実施する。
図７に示す実施例の電子機器は、上記方法実施例の技術案を実行可能であり、その実現原理及び技術効果が類似するため、ここで繰り返し説明しない。
また、本発明の実施例は、コンピュータ可読記憶媒体を更に提供する。当該コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサによって実行されることにより、上記実施例に記載の地図作成方法は、実施される。
本発明の実施例は、コンピュータプログラム製品を更に提供する。当該コンピュータプログラム製品は、コンピュータ可読指令を記憶し、前記コンピュータ可読指令が実行されたときに、コンピュータは、上記実施例に記載の地図作成方法を実行する。
本発明に係る幾つかの実施例において、開示された装置及び方法が他の方式にて実現され得ることは、理解されるべきである。例えば、上述した装置実施例が単に模式的なものであり、例えば、前記手段の区分が、単に１種の論理機能区分であり、実際に実施するときに別の区分方式もあり得る。例えば、複数の手段或いはユニットは、組み合わせられてもよく、又は、別のシステムに統合されてもよく、又は、幾つかの特徴が略され、若しくは実行しないようにしてもよい。また、示され或いは議論された構成部品同士の直接結合、間接結合又は通信接続は、幾つかのインターフェース、装置若しくは手段を介する直接結合、間接結合若しくは通信接続であってもよく、電気的なもの、機械的なもの或いは他の形態であってもよい。
上記分離部品として説明された手段が物理的に分離されるものであってもよくでなくてもよい。また、手段として表示された部品は、物理手段であってもでなくてもよい。更に、それらの手段は、１箇所に位置してもよく、複数のネットワークセルに分散してもよい。実際の需要に応じてその中の一部又は全部のモジュールを選択して本発明の実施例の目的を果たすことが可能である。
また、本発明の各実施例における各機能手段は、全部で１つの処理手段に集積されてもよく、各手段がそれぞれ単独で１つの手段とされてもよく、２つ或いは２つ以上の手段が１つの手段に集積されてもよい。上記集積手段は、ハードウェアの形態にて実現されてよく、ハードウェアプラスソフトウェア機能手段の形態にて実現されてもよい。
上記ソフトウェア機能手段の形態で実現される集積の手段は、１つのコンピュータ可読記憶媒体に記憶されてもよい。上記ソフトウェア機能手段は、１つの記憶媒体に記憶され、コンピュータ機器（パソコン、サーバ又はネットワーク機器等であってもよい）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に本発明の各実施例に記載の方法の一部のステップを実行させるための幾つかの指令を含む。上述した記憶媒体は、Ｕディスク、モバイルハードディスク、読み出し専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスク等の、プログラムコードを格納可能な各種の媒体を含む。
当業者であれば明白で理解できるように、記述の利便性及び簡潔性のために、単に上記各機能モジュールの区分を例として説明したが、実際の応用に、必要に応じて上記機能割当を異なる機能モジュールで完成させ、即ち、装置の内部構造を異なる機能モジュールに区分して上述した全部又は一部の機能を完成させてもよい。上述した装置の具体的な稼働手順は、上記方法実施例における対応する手順を参照すればよいため、ここで繰り返し説明しない。
最後に説明すべきことは、上記各実施例が単に本発明の技術案を説明するためのものであり、それに対する制限とはならない。上記各実施例を参照して本発明を詳細に説明したが、当業者であれば理解できるように、依然として上記各実施例に記載の技術案に対して補正可能であり、又は、そのうちの一部若しくは全部の技術特徴に対して均等物による置換も可能であり、更に、これらの補正若しくは置換によって対応する技術案の要旨が本発明の各実施例の技術案の範囲から逸脱することはない。
本願は、２０２０年０４月３０日及び２０２０年０７月１０日に中国知的財産局へ提出された、出願番号が２０２０１０３６３６１６．０及び２０２０１０６６３４５７．６である中国特許出願の優先権を要求し、その全ての内容が引用によって本願に組み込まれる。

Claims (21)

  1. 収集機器によって所定時間帯内で収集された点群データ、慣性測定データ及びグローバルナビゲーション衛星システム（ＧＮＳＳ）データを取得するステップであって、前記ＧＮＳＳデータはＧＮＳＳ信号強度を含むステップと、
    前記点群データ、前記慣性測定データ及び前記ＧＮＳＳデータに基づいて、前記ＧＮＳＳ信号強度に対応する方式を用いて前記収集機器の軌跡ルートを生成するステップと、
    前記軌跡ルートに基づいて地図を作成するステップと、を含むことを特徴とする地図作成方法。
  2. 前記点群データは、複数フレームの点群を含み、前記軌跡ルートは、時間的又は空間的位置において隣接する複数フレームの点群を含み、
    前記点群データ、前記慣性測定データ及び前記ＧＮＳＳデータに基づいて、前記ＧＮＳＳ信号強度に対応する方式を用いて前記収集機器の軌跡ルートを生成するステップは、
    前記点群データにおける各フレームの点群に対応するポーズ情報を特定することと、
    前記ＧＮＳＳ信号強度に応じて、前記点群データを各自が少なくとも１フレームの点群を含む複数のサブマップに区分することと、
    各サブマップに含まれる前記少なくとも１フレームの点群に対応するポーズ情報に基づいて、前記各サブマップのポーズ情報を特定することと、
    隣接する２つのサブマップの間の相対ポーズ関係を特定することと、を含むことを特徴とする請求項１に記載の地図作成方法。
  3. 前記ＧＮＳＳ信号強度に応じて前記点群データを複数のサブマップに区分することは、
    前記ＧＮＳＳ信号強度に基づいて、前記複数フレームの点群について、第１点群と第２点群とを含むマーキング情報をそれぞれマーキングすることと、
    前記複数フレームの点群各自のマーキング情報に応じて、前記点群データを複数のサブマップに区分することと、を含み、
    前記第１点群に対応するＧＮＳＳ信号強度は、前記第２点群に対応するＧＮＳＳ信号強度よりも大きいことを特徴とする請求項２に記載の地図作成方法。
  4. 前記複数フレームの点群各自のマーキング情報に応じて、前記点群データを複数のサブマップに区分することは、
    各フレームの第１点群について、
    前記第１点群に対応するポーズ情報に基づいて、開始フレーム第１点群に対する前記第１点群の累積変位量又は累積回転量を特定することと、
    前記第１点群が第１所定条件を満たす場合に、前記開始フレーム第１点群から前記第１点群を１つの第１サブマップとし、次フレーム第１点群を新たな開始フレーム第１点群と設定することと、を含み、
    及び／又は、
    第２点群について、前記ＧＮＳＳデータの紛失前と前記ＧＮＳＳデータの紛失後とにそれぞれ対応する第１点群に基づいて、少なくとも１つの第２サブマップを特定することを含み、
    前記第１所定条件は、累積変位量が変位量閾値以上であることと、累積回転量が回転量閾値以上であることと、累積フレーム数がフレーム数閾値以上であることと、のうちの少なくとも一項を含むことを特徴とする請求項３に記載の地図作成方法。
  5. 前記第１点群は、第１サブ点群及び第２サブ点群を含み、前記第１サブ点群に対応するＧＮＳＳ信号強度は、前記第２サブ点群に対応するＧＮＳＳ信号強度よりも大きく、
    前記第１サブマップについて、前記点群データにおける各フレームの点群に対応するポーズ情報を特定することは、
    前記ＧＮＳＳデータに対して補間を行う方式に基づいて、前記第１サブ点群に対応するポーズ情報を特定することと、
    前記ＧＮＳＳデータに対して補間を行う方式に基づいて、前記第２サブ点群に対応する初期ポーズ情報を特定することと、
    前記慣性測定データのプリ積分値及び前記ＧＮＳＳデータに基づいて、前記第２サブ点群に対応する初期ポーズ情報を調整し、前記第２サブ点群に対応するポーズ情報を取得することと、を含むことを特徴とする請求項４に記載の地図作成方法。
  6. 前記第１サブマップについて、前記点群データにおける各フレームの点群に対応するポーズ情報を特定することは、
    前記慣性測定データのプリ積分値及び前記ＧＮＳＳデータに基づいて、前記第１サブ点群に対応するポーズ情報を調整し、前記第１サブ点群に対応する調整後ポーズ情報を取得することを更に含むことを特徴とする請求項５に記載の地図作成方法。
  7. 前記第２サブマップについて、前記点群データにおける各フレームの点群のポーズ情報を特定することは、
    ＧＮＳＳデータに対して補間を行い、前記第２サブマップの先頭フレーム点群及び終了フレーム点群に対応するポーズ情報を取得することと、
    前記慣性測定データに対して補間を行い、前記第２サブマップにおける、前記先頭フレーム点群と終了フレーム点群とを除く他のフレームの点群である中間フレーム点群の初期ポーズ情報を特定することと、
    前記中間フレーム点群に対応するポーズ情報を特定することと、を含むことを特徴とする請求項４に記載の地図作成方法。
  8. 前記ＧＮＳＳデータに対して補間を行う方式に基づいて、前記第１サブ点群に対応するポーズ情報又は前記第２サブ点群に対応する初期ポーズ情報を特定することは、
    前記ＧＮＳＳデータに対して補間を行い、前記第１サブ点群又は前記第２サブ点群の収集時点と同じである、補間後のＧＮＳＳデータを取得することと、
    前記補間後のＧＮＳＳデータに基づいて、前記第１サブ点群に対応するポーズ情報又は前記第２サブ点群に対応する初期ポーズ情報を特定することと、を含み、
    前記補間後のＧＮＳＳデータは、ＧＮＳＳ受信機のワールド座標系におけるポーズ情報を含むことを特徴とする請求項５に記載の地図作成方法。
  9. 前記第１サブ点群に対応するポーズ情報又は前記第２サブ点群に対応する初期ポーズ情報を調整することは、
    前記第１サブ点群又は前記第２サブ点群に対して位置合わせを行うことと、
    前記第１サブ点群に対応するポーズ情報又は前記第２サブ点群に対応する初期ポーズ情報をノードとし、位置合わせ結果、前記慣性測定データのプリ積分値及び前記ＧＮＳＳデータを制約条件として、ポーズグラフを作成することと、
    前記ポーズグラフの残差総和を最小化する原則に基づいて前記ポーズグラフを調整し、前記第１サブ点群に対応する調整後ポーズ情報又は前記第２サブ点群に対応するポーズ情報を取得することと、を含むことを特徴とする請求項５又は６に記載の地図作成方法。
  10. 前記他のフレームの点群である中間フレーム点群に対応するポーズ情報を特定することは、
    前記慣性測定データと、前記第２サブマップ中の先頭フレーム点群に対応するポーズ情報と、前記第２サブマップ中の終了フレーム点群に対応するポーズ情報とに応じて、前記中間フレーム点群に対応する初期ポーズ情報を調整し、前記中間フレーム点群に対応する中間ポーズ情報を取得することと、
    前記中間フレーム点群に対応する中間ポーズ情報に基づいて、前記中間フレーム点群に対して点群位置合わせを行うことと、
    前記先頭フレーム点群に対応するポーズ情報と、前記終了フレーム点群に対応するポーズ情報と、前記中間フレーム点群に対して点群位置合わせを行った位置合わせ結果とに応じて、前記中間フレーム点群に対応する中間ポーズ情報を調整し、前記中間フレーム点群に対応するポーズ情報を取得することと、を含むことを特徴とする請求項７に記載の地図作成方法。
  11. 前記慣性測定データと、前記第２サブマップ中の先頭フレーム点群に対応するポーズ情報と、前記第２サブマップ中の終了フレーム点群に対応するポーズ情報とに応じて、前記中間フレーム点群に対応する初期ポーズ情報を調整し、前記中間フレーム点群に対応する中間ポーズ情報を取得することは、
    前記中間フレーム点群に対応する初期ポーズ情報をノードとして、ポーズグラフを作成することと、
    前記慣性測定データに基づいて前記ポーズグラフの辺と前記辺の重みとを特定することと、
    前記ポーズグラフの残差総和を最小化する原則に基づいて前記ポーズグラフ中の初期ポーズを調整し、前記中間フレーム点群に対応する中間ポーズ情報を取得することと、を含むことを特徴とする請求項１０に記載の地図作成方法。
  12. 前記先頭フレーム点群に対応するポーズ情報と、前記終了フレーム点群に対応するポーズ情報と、前記中間フレーム点群に対して点群位置合わせを行った位置合わせ結果とに応じて、前記中間フレーム点群に対応する中間ポーズ情報を調整し、前記中間フレーム点群に対応するポーズ情報を取得することは、
    前記先頭フレーム点群に対応するポーズ情報と、前記終了フレーム点群に対応するポーズ情報と、前記中間フレーム点群に対応する中間ポーズ情報とをノードとして、ポーズグラフを作成することと、
    前記慣性測定データ及び前記位置合わせ結果に基づいて、前記ポーズグラフの辺と前記辺の重みとを特定することと、
    前記ポーズグラフの残差総和を最小化する原則に基づいて前記ポーズグラフ中の中間ポーズ情報を調整し、前記中間フレーム点群に対応するポーズ値を取得することと、を含むことを特徴とする請求項１０に記載の地図作成方法。
  13. 隣接する２つのサブマップの間の相対ポーズ関係を特定する前に、前記隣接する２つのサブマップに対して位置合わせを行うステップを更に含むことを特徴とする請求項２から１２の何れか一項に記載の地図作成方法。
  14. 前記点群データ、前記慣性測定データ及び前記ＧＮＳＳデータに基づいて、前記ＧＮＳＳ信号強度に対応する方式を用いて前記収集機器の軌跡ルートを生成するステップは、
    前記収集機器の軌跡ルートに対してループ検出を行い、ループ検出結果を取得することと、
    前記ループ検出結果と、隣接する２つのサブマップの間の相対ポーズ関係と、ＧＮＳＳデータとに基づいて、各フレームの点群に対応するポーズ情報を調整し、前記収集機器の軌跡ルートを取得することと、を更に含むことを特徴とする請求項２から１３の何れか一項に記載の地図作成方法。
  15. 前記収集機器の軌跡ルートに対してループ検出を行い、ループ検出結果を取得することは、
    前記収集機器の軌跡ルートにおける全てのサブマップに基づいて、木構造を作成することと、
    前記木構造における各サブマップのｎ個の隣接サブマップを特定することと、
    サブマップごとに、前記サブマップと前記隣接サブマップとが時間的に隣接せず、且つ重合度が所定重合度よりも大きい場合に、前記サブマップをループ辺集合に追加することと、
    前記ループ辺集合におけるサブマップに対して位置合わせを行い、隣接する２つのサブマップの間のループポーズ関係を特定することと、を含むことを特徴とする請求項１４に記載の地図作成方法。
  16. 前記ループ検出結果と、隣接する２つのサブマップの間の相対ポーズ関係と、ＧＮＳＳデータとに基づいて、各フレームの点群に対応するポーズ情報を調整し、前記収集機器の軌跡ルートを取得することは、
    前記軌跡ルートにおける全てのサブマップをノードとして、ポーズグラフを作成することと、
    前記ノードの間の辺を特定することと、
    前記ポーズグラフの残差総和を最小化する原則に基づいて前記ポーズグラフにおけるポーズ情報を調整し、前記収集機器の軌跡ルートを取得することと、を含み、
    前記サブマップは、前記ノードに１つずつ対応し、前記辺は、隣接辺制約条件、ループ制約条件、ＧＮＳＳ制約条件及びキャリブレーション制約条件のうちの少なくとも一項に対応し、前記隣接辺制約条件は、隣接する２つのサブマップの間の相対ポーズ関係を含み、前記ループ制約条件は、隣接する２つのサブマップの間のループポーズ関係を含み、前記ＧＮＳＳ制約条件は、サブマップのポーズ情報に対するＧＮＳＳデータの事前推定を含み、各キャリブレーション辺は、軌跡に１つずつ対応し、且つ軌跡における全てのノードに繋がることを特徴とする請求項１４に記載の地図作成方法。
  17. 前記点群データは、前記収集機器におけるレーザレーダによって収集されたものであり、
    前記慣性測定データは、前記収集機器における慣性測定手段によって収集されたものであり、
    前記ＧＮＳＳデータは、前記収集機器におけるＧＮＳＳ受信機によって収集されたものであることを特徴とする請求項１から１６の何れか一項に記載の地図作成方法。
  18. 収集機器によって所定時間帯内で収集された点群データ、慣性測定データ及びグローバルナビゲーション衛星システム（ＧＮＳＳ）データを取得するための取得モジュールであって、前記ＧＮＳＳデータはＧＮＳＳ信号強度を含む取得モジュールと、
    前記点群データ、前記慣性測定データ及び前記ＧＮＳＳデータに基づいて、前記ＧＮＳＳ信号強度に対応する方式を用いて前記収集機器の軌跡ルートを生成するための生成モジュールと、
    前記軌跡ルートに基づいて地図を作成するための作成モジュールと、を備えることを特徴とする地図作成装置。
  19. 電子機器であって、
    コンピュータプログラムを記憶するためのメモリと、
    プロセッサと、を備え、
    前記プロセッサは、前記コンピュータプログラムを実行することで請求項１から１７の何れか一項に記載の地図作成方法を実施することを特徴とする電子機器。
  20. コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行されたときに、請求項１から１７の何れか一項に記載の地図作成方法は、実施されることを特徴とするコンピュータ可読記憶媒体。
  21. コンピュータ可読指令を記憶するためのコンピュータプログラム製品であって、
    前記コンピュータ可読指令が実行されたときに、コンピュータは、請求項１から１７の何れか一項に記載の地図作成方法を実施することを特徴とするコンピュータプログラム製品。
JP2022505577A 2020-04-30 2021-04-12 地図作成方法、地図作成装置、電子機器、記憶媒体及びコンピュータプログラム製品 Pending JP2022542289A (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN202010363616.0A CN111552757B (zh) 2020-04-30 2020-04-30 生成电子地图的方法、装置、设备及存储介质
CN202010363616.0 2020-04-30
CN202010663457.6A CN111912417B (zh) 2020-07-10 2020-07-10 地图构建方法、装置、设备及存储介质
CN202010663457.6 2020-07-10
PCT/CN2021/086721 WO2021218620A1 (zh) 2020-04-30 2021-04-12 地图构建方法、装置、设备及存储介质

Publications (1)

Publication Number Publication Date
JP2022542289A true JP2022542289A (ja) 2022-09-30

Family

ID=78373188

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022505577A Pending JP2022542289A (ja) 2020-04-30 2021-04-12 地図作成方法、地図作成装置、電子機器、記憶媒体及びコンピュータプログラム製品

Country Status (2)

Country Link
JP (1) JP2022542289A (ja)
WO (1) WO2021218620A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117584989A (zh) * 2023-11-23 2024-02-23 昆明理工大学 一种激光雷达/imu/车辆运动学约束紧耦合slam系统及算法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114136311B (zh) * 2021-11-08 2023-08-04 上海应用技术大学 一种基于imu预积分的激光slam定位方法
CN114264301B (zh) * 2021-12-13 2024-06-21 青岛慧拓智能机器有限公司 车载多传感器融合定位方法、装置、芯片及终端
CN114549605B (zh) * 2021-12-31 2023-08-04 广州景骐科技有限公司 基于点云匹配的图像优化方法、装置、设备及存储介质
CN114445799A (zh) * 2022-01-05 2022-05-06 北京斯年智驾科技有限公司 基于点云底图的车道线元素自动提取方法
CN114372914B (zh) * 2022-01-12 2022-09-13 吉林大学 应用于矿用电铲上的机械式激光雷达点云预处理方法
CN114387319B (zh) * 2022-01-13 2023-11-14 北京百度网讯科技有限公司 点云配准方法、装置、设备以及存储介质
CN114419268B (zh) * 2022-01-20 2024-06-28 湖北亿咖通科技有限公司 增量式地图构建的轨迹接边方法、电子设备和存储介质
CN115435773B (zh) * 2022-09-05 2024-04-05 北京远见知行科技有限公司 室内停车场高精度地图采集装置
CN115507839A (zh) * 2022-09-09 2022-12-23 广东汇天航空航天科技有限公司 一种建图方法、装置、设备及存储介质
CN115493603B (zh) * 2022-11-17 2023-03-10 安徽蔚来智驾科技有限公司 地图对齐方法、计算机设备及计算机可读存储介质
CN117968682B (zh) * 2024-04-01 2024-07-02 山东大学 基于多线激光雷达和惯性测量单元的动态点云去除方法
CN118608381B (zh) * 2024-08-06 2024-10-18 元宇智数(深圳)科技有限公司 一种房屋户型的点云数据拼接方法、装置及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069442A (ja) * 2002-08-06 2004-03-04 Nippon Telegr & Teleph Corp <Ntt> 景観情報取得装置、景観情報取得方法、景観情報取得プログラムおよび記録媒体
JP2009264983A (ja) * 2008-04-25 2009-11-12 Mitsubishi Electric Corp 位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法
JP2010509585A (ja) * 2006-11-06 2010-03-25 テレ アトラス ベスローテン フエンノートシャップ ２次元及び３次元の正確な場所及び方位を判定する装置及び方法
CN108801276A (zh) * 2018-07-23 2018-11-13 奇瑞汽车股份有限公司 高精度地图生成方法及装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10837773B2 (en) * 2016-12-30 2020-11-17 DeepMap Inc. Detection of vertical structures based on LiDAR scanner data for high-definition maps for autonomous vehicles
CN107797129B (zh) * 2017-10-13 2020-06-05 重庆市勘测院 无gnss信号下的点云数据采集方法及装置
CN110634183A (zh) * 2018-06-21 2019-12-31 北京京东尚科信息技术有限公司 地图构建方法、装置和无人设备
US10620317B1 (en) * 2018-12-23 2020-04-14 Chongqing Jinkang New Energy Automobile Co., Ltd. Lidar-based high definition map generation
CN109991636B (zh) * 2019-03-25 2024-09-13 启明信息技术股份有限公司 基于gps、imu以及双目视觉的地图构建方法及系统
CN111912417B (zh) * 2020-07-10 2022-08-02 上海商汤临港智能科技有限公司 地图构建方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004069442A (ja) * 2002-08-06 2004-03-04 Nippon Telegr & Teleph Corp <Ntt> 景観情報取得装置、景観情報取得方法、景観情報取得プログラムおよび記録媒体
JP2010509585A (ja) * 2006-11-06 2010-03-25 テレ アトラス ベスローテン フエンノートシャップ ２次元及び３次元の正確な場所及び方位を判定する装置及び方法
JP2009264983A (ja) * 2008-04-25 2009-11-12 Mitsubishi Electric Corp 位置標定装置、位置標定システム、位置標定システムのユーザインタフェース装置、位置標定システムの標定サーバ装置および位置標定方法
CN108801276A (zh) * 2018-07-23 2018-11-13 奇瑞汽车股份有限公司 高精度地图生成方法及装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117584989A (zh) * 2023-11-23 2024-02-23 昆明理工大学 一种激光雷达/imu/车辆运动学约束紧耦合slam系统及算法

Also Published As

Publication number Publication date
WO2021218620A1 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
JP2022542289A (ja) 地図作成方法、地図作成装置、電子機器、記憶媒体及びコンピュータプログラム製品
CN111912417B (zh) 地图构建方法、装置、设备及存储介质
EP3519770B1 (en) Methods and systems for generating and using localisation reference data
EP4033324B1 (en) Obstacle information sensing method and device for mobile robot
US20210004613A1 (en) Annotating high definition map data with semantic labels
EP3137850B1 (en) Method and system for determining a position relative to a digital map
WO2021128297A1 (zh) 三维点云地图构建方法、系统和设备
Schroedl et al. Mining GPS traces for map refinement
CN107167826B (zh) 一种自动驾驶中基于可变网格的图像特征检测的车辆纵向定位系统及方法
JP2018529938A (ja) ローカライゼーション基準データを生成及び使用する方法及びシステム
US20140032012A1 (en) Tracking on-road vehicles with sensors of different modalities
CN112162297B (zh) 一种剔除激光点云地图中动态障碍伪迹的方法
CN114646954A (zh) 基于雷达检测的交通工具定位
Konrad et al. Localization in digital maps for road course estimation using grid maps
CN111176270A (zh) 使用动态地标的定位
CN114593739B (zh) 基于视觉检测与参考线匹配的车辆全局定位方法及装置
Meis et al. A new method for robust far-distance road course estimation in advanced driver assistance systems
CN113227713A (zh) 生成用于定位的环境模型的方法和系统
CN114419155B (en) Visual image construction method based on laser radar assistance
US20230025579A1 (en) High-definition mapping
CN118687582A (zh) 一种基于车行轨迹图像化匹配的车辆定位方法
CN118405152A (zh) 一种目标定位方法、装置、电子设备及存储介质
CN118444280A (zh) 融合slam、坡度检测与三维重建的探测方法、装置及设备
CN118640910A (zh) 一种非结构化环境下的ros无人车建图导航方法
JP2024037182A (ja) ポイントクラウドデータのパラメータ化及び地図構築方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220127

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221122

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230620