JP2022542082A - ポーズ特定方法、ポーズ特定装置、コンピュータ可読記憶媒体、コンピュータ機器及びコンピュータプログラム - Google Patents

ポーズ特定方法、ポーズ特定装置、コンピュータ可読記憶媒体、コンピュータ機器及びコンピュータプログラム Download PDF

Info

Publication number
JP2022542082A
JP2022542082A JP2022504292A JP2022504292A JP2022542082A JP 2022542082 A JP2022542082 A JP 2022542082A JP 2022504292 A JP2022504292 A JP 2022504292A JP 2022504292 A JP2022504292 A JP 2022504292A JP 2022542082 A JP2022542082 A JP 2022542082A
Authority
JP
Japan
Prior art keywords
semantic
pose
semantic object
mobile device
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022504292A
Other languages
English (en)
Inventor
慶 唐
余銭 劉
瀟 陸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Lingang Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Lingang Intelligent Technology Co Ltd
Publication of JP2022542082A publication Critical patent/JP2022542082A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0891—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

本発明の実施例は、ポーズ特定方法を提供する。移動機器の所在する領域の第１画像中の複数種別の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトのうち、第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定してから、適合セマンティックオブジェクトに基づいて移動機器のポーズを特定する。【選択図】図１

Description

本発明は、コンピュータビジョン技術分野に関し、特にポーズ特定方法、装置、媒体及び機器に関する。
移動機器測位技術は、自動運転システムのキー技術の１つである。ビジョンカメラヘッドのコストが安価であり、大広角、高画素のカメラヘッドも大範囲且つ高精度の観測データを提供するため、ビジョンカメラヘッドと高精度地図とを組み合わせた移動機器測位技術は、ますます自動運転業界の愛顧を受けてきている。しかし、従来の測位技術測位の正確性は、低かった。
本発明は、ポーズ特定方法、装置、媒体、機器及びコンピュータプログラムを提供する。
本発明の実施例の第１態様は、ポーズ特定方法を提供する。前記ポーズ特定方法は、移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトを取得するステップであって、前記第１セマンティックオブジェクトが少なくとも２つの種別に属し、前記少なくとも２つの種別のうちの少なくとも２つの種別の第１セマンティックオブジェクトが異なる空間次元に位置するステップと、前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するステップと、前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定するステップと、を含む。
幾つかの実施例において、前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するステップは、各前記第１セマンティックオブジェクトの画素値に基づいて第２画像を生成することと、前記第２画像に基づいて、前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定することと、を含む。
幾つかの実施例において、前記セマンティックマップ中の第２セマンティックオブジェクトを取得するステップは、前記移動機器のポーズ推定値を取得し、前記ポーズ推定値に基づいて、前記セマンティックマップに対して検索を行うオブジェクト検索範囲を特定することと、前記オブジェクト検索範囲から前記第２セマンティックオブジェクトを検索することと、を含む。
幾つかの実施例において、前記移動機器のポーズ推定値を取得することは、前記移動機器の第１時点での第１ポーズを取得することと、前記第１ポーズに基づいて前記移動機器の第２時点でのポーズ推定値を特定することとを含み、前記第１時点は、前記第２時点よりも前である。
幾つかの実施例において、前記ポーズ推定値は、位置の推定値と、向きの推定値とを含み、前記オブジェクト検索範囲は、前記向きにおける、前記位置から所定距離範囲内の領域である。
幾つかの実施例において、前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するステップは、各前記第１セマンティックオブジェクトごとに、前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短である第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定することを含む。
幾つかの実施例において、前記ポーズ特定方法は、前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短である第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定する前に、各前記第２セマンティックオブジェクトごとに、当該第２セマンティックオブジェクトの第２画像における投影セマンティックオブジェクトを取得するステップであって、当該第２セマンティックオブジェクトの前記セマンティックマップにおける位置が前記投影セマンティックオブジェクトの前記第２画像における位置に対応し、前記第２画像が各前記第１セマンティックオブジェクトの画素値に基づいて生成されたものであるステップと、前記投影セマンティックオブジェクトと当該第１セマンティックオブジェクトとの間の距離を当該第２セマンティックオブジェクトと当該第１セマンティックオブジェクトとの間の距離として特定するステップと、を更に含む。
幾つかの実施例において、前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短である第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定することは、前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短であり且つ形状が同じである第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定することを含む。
幾つかの実施例において、前記第２セマンティックオブジェクトの形状は、前記第２セマンティックオブジェクトの前記第２画像における投影セマンティックオブジェクトの輪郭情報に基づいて特定される。
幾つかの実施例において、前記ポーズ特定方法は、当該第１セマンティックオブジェクトの少なくとも１つの第１オブジェクトポイントのうちの各第１オブジェクトポイントの第１位置を特定するステップであって、前記第１オブジェクトポイントが当該第１セマンティックオブジェクトの輪郭情報に基づいて特定されたものであるステップと、前記投影セマンティックオブジェクトの少なくとも１つの第２オブジェクトポイントのうちの各第２オブジェクトポイントの第２位置を特定するステップであって、前記第２オブジェクトポイントが前記投影セマンティックオブジェクトの輪郭情報に基づいて特定されたものであるステップと、各第１オブジェクトポイントの第１位置と各第２オブジェクトポイントの第２位置とに基づいて、前記投影セマンティックオブジェクトと当該第１セマンティックオブジェクトとの距離を特定するステップと、を更に含む。
幾つかの実施例において、前記各第１オブジェクトポイントの第１位置と各第２オブジェクトポイントの第２位置とに基づいて、前記投影セマンティックオブジェクトと前記第１セマンティックオブジェクトとの距離を特定するステップは、前記各第１オブジェクトポイントの第１位置と前記各第２オブジェクトポイントの第２位置とに基づいて、前記各第１オブジェクトポイントと対応する第２オブジェクトポイントとの距離を特定することと、前記各第１オブジェクトポイントと対応する第２オブジェクトポイントとの距離の平均値を当該第１セマンティックオブジェクトと前記投影セマンティックオブジェクトとの距離として特定することと、を含む。
幾つかの実施例において、当該第１セマンティックオブジェクトの輪郭が多角形である場合に、前記第１オブジェクトポイントは、当該第１セマンティックオブジェクトのバウンディングボックスの頂点となり、及び／又は、当該第１セマンティックオブジェクトの輪郭がストリップ状である場合に、前記第１オブジェクトポイントは、当該第１セマンティックオブジェクトに対応する線分の頂点となる。
幾つかの実施例において、前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定するステップは、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立することと、前記ポーズ制約条件に基づいて前記移動機器のポーズを特定することと、を含む。
幾つかの実施例において、前記ポーズ制約条件は、前記移動機器の所定時間帯におけるポーズ変化関係に基づいて特定される。
幾つかの実施例において、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立することは、前記適合セマンティックオブジェクトの位置に基づいて、前記移動機器の所在する平面と前記平面の法線ベクトルとを特定することと、前記平面と、前記法線ベクトルと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定することと、前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立することと、を含む。
幾つかの実施例において、前記平面と、前記法線ベクトルと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定することは、前記平面に基づいて前記移動機器のオブジェクトポイントの高度分布誤差を特定することと、前記法線ベクトルに基づいて前記移動機器のピッチ角分布誤差及びロール角分布誤差を特定することと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトとの間の距離に基づいて再投影距離誤差を特定することと、を含み、前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立することは、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差とのうちの少なくとも１つに基づいて、前記ポーズ制約条件を確立することを含む。
幾つかの実施例において、前記ポーズ制約条件は、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差との和が最小化となることである。
幾つかの実施例において、前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定するステップは、前記適合セマンティックオブジェクトに基づいて前記移動機器の３次元ポーズを特定することを含み、前記ポーズ特定方法は、前記３次元ポーズに基づいて、前記移動機器の走行状態を制御するステップを更に含む。
本発明の実施例では、移動機器の所在する領域の第１画像中の複数種別の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトのうち、第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定してから、適合セマンティックオブジェクトに基づいて移動機器のポーズを特定する。本発明の実施例では、複数種別のセマンティック情報が総合的に利用されており、幾つかの領域内において単一種別のセマンティックオブジェクトの数が少ないことによって単一種別のセマンティックオブジェクトに基づいてポーズを特定することができない状況と比べて、本発明の技術案を採用すると、複数の領域内の単一種別のセマンティックオブジェクトの近接による、ポーズ特定手順の正確率への影響が軽減され、ポーズ特定の正確性及びロバスト性が向上する。
本発明の実施例の第２態様は、ポーズ特定方法を提供する。前記ポーズ特定方法は、移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトを取得するステップと、前記第２セマンティックオブジェクトのうち、前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するステップと、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立し、前記ポーズ制約条件に基づいて前記移動機器の３次元ポーズを特定するステップと、を含む。
幾つかの実施例において、前記ポーズ制約条件は、前記移動機器の所定時間帯におけるポーズ変化関係に基づいて特定される。
幾つかの実施例において、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立するステップは、前記適合セマンティックオブジェクトの位置に基づいて、前記移動機器の所在する平面と前記平面の法線ベクトルとを特定することと、前記平面と、前記法線ベクトルと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定することと、前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立することと、を含む。
幾つかの実施例において、前記平面と、前記法線ベクトルと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定することは、前記平面に基づいて前記移動機器のオブジェクトポイントの高度分布誤差を特定することと、前記法線ベクトルに基づいて前記移動機器のピッチ角分布誤差及びロール角分布誤差を特定することと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトとの間の距離に基づいて再投影距離誤差を特定することと、を含み、前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立することは、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差とのうちの少なくとも１つに基づいて、前記ポーズ制約条件を確立することを含む。
幾つかの実施例において、前記ポーズ制約条件は、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差との和が最小化となることである。
本発明の実施例では、移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトと取セマンティックマップ中の第２セマンティックオブジェクトとを取得することにより、前記第２セマンティックオブジェクトのうち、前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定し、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立し、前記ポーズ制約条件に基づいて前記移動機器の３次元ポーズを特定し、ポーズ特定手順に制約条件が導入されたため、ポーズに対して解を求める過程において、解を求められたポーズが前記制約条件を満たす場合のみに、解を求められたポーズを移動機器のポーズとする。これにより、制約条件によって移動機器の３次元ポーズを特定することが実現され、ポーズ特定の正確性が向上する。
本発明の実施例の第３態様は、ポーズ特定装置を提供する。前記ポーズ特定装置は、移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトを取得するための第１取得モジュールであって、前記第１セマンティックオブジェクトが少なくとも２つの種別に属し、前記少なくとも２つの種別のうちの少なくとも２つの種別の第１セマンティックオブジェクトが異なる空間次元に位置する第１取得モジュールと、前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するための第１特定モジュールと、前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定するための第２特定モジュールと、を備える。
本発明の実施例の第４態様は、ポーズ特定装置を提供する。前記ポーズ特定装置は、移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトを取得するための第３取得モジュールと、前記第２セマンティックオブジェクトのうち、前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するための第７特定モジュールと、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立し、前記ポーズ制約条件に基づいて前記移動機器の３次元ポーズを特定するための第８特定モジュールと、を備える。
本発明の実施例の第５態様は、コンピュータ可読記憶媒体を提供する。前記コンピュータ可読記憶媒体には、コンピュータプログラムが記憶され、当該プログラムがプロセッサによって実行されたときに、何れかの実施例に記載の方法は、実施される。
本発明の実施例の第６態様は、コンピュータ機器を提供する。前記コンピュータ機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサで運転され得るコンピュータプログラムとを含み、前記プロセッサは、前記コンピュータプログラムを実行したときに何れかの実施例に記載の方法を実施する。
本発明の実施例の第７態様は、コンピュータプログラムを提供する。前記コンピュータプログラムは、記憶媒体に記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、何れかの実施例に記載の方法は、実施される。
上述した一般的な記述と後文の詳細記述が単に例示的なものと解釈的なものであり、本発明を制限するためのものではないことは、理解されるべきである。
ここでの図面は、明細書に組み込まれて明細書の一部を構成し、本発明に合致する実施例を示しつつ、明細書の記載とともに本発明の技術案を説明するために用いられる。
本発明の幾つかの実施例のポーズ特定方法の１種の実現方式のフローチャートである。 本発明の幾つかの実施例のセマンティックオブジェクトの模式図である。 本発明の幾つかの実施例のオブジェクト検索範囲の模式図である。 本発明の幾つかの実施例のオブジェクト検索範囲の模式図である。 本発明の幾つかの実施例のセマンティックマッチング手順の模式図である。 本発明他の幾つかの実施例のセマンティックマッチング手順の模式図である。 本発明の幾つかの実施例のセマンティックマッチング結果の模式図である。 本発明の幾つかの実施例のポーズ推定効果の模式図である。 本発明の幾つかの実施例のポーズ特定原理の模式図である。 本発明の幾つかの実施例のポーズ特定方法のもう１種の実現方式のフローチャートである。 本発明の幾つかの実施例のポーズ特定装置の１種の実現方式のブロック図である。 本発明の幾つかの実施例のポーズ特定装置のもう１種の実現方式のブロック図である。 本発明の幾つかの実施例のコンピュータ機器の構造模式図である。
ここで、例示的な実施例を詳細に説明する。その例示は、図面に示される。以下の記述は、図面に係る際、別途示さない限り、異なる図面における同じ符号が同じ又は類似する要素を示す。以下の例示的な実施例に記述される実施形態が本発明と一致する全ての実施形態を代表するわけではない。逆に、それらは、単に添付する特許請求の範囲に詳細に記述されるような、本発明の幾つかの態様に一致する装置及び方法の例である。
本発明で使用される用語は、単に特定の実施例を記述する目的であり、本発明を制限するためのものではない。本発明及び添付する特許請求の範囲で使用される単数形式の「１種」、「前記」及び「当該」も、文脈から他の意味を明瞭で分かる場合でなければ、複数の形式を含むことを意図する。理解すべきことは、本文で使用される用語「及び／又は」が、１つ又は複数の関連する列挙項目を含む如何なる或いは全ての可能な組み合わせを指す。また、本文における用語「少なくとも１種」は、複数種のうちの何れか１種又は複数種のうちの少なくとも２種の任意の組み合わせを指す。
理解すべきことは、本発明において第１、第２、第３等の用語を用いて各種の情報を記述するが、これらの情報は、これらの用語に限定されるものではない。これらの用語は、単に同一のタイプの情報同士を区分するために用いられる。例えば、本発明の範囲を逸脱しない限り、第１情報が第２情報と呼称されてもよく、類似的に、第２情報が第１情報と呼称されてもよい。これは、コンテキストに依存する。例えば、ここで使用される言葉「場合」は、「…とき」や「…ときに」あるいは「特定の状況に応じて」として解釈されてもよい。
当業者が本発明の実施例における技術案をより良好に理解でき、且つ本発明の実施例の上記目的、特徴およびメリットがより分かりやすくなるように、以下に図面を組み合わせて本発明の実施例における技術案をより詳細に説明する。
図１は、本発明の一実施例のポーズ（位置姿勢）特定方法のフローチャートである。１種の可能な実現方式において、前記方法は、ステップＳ１０１～ステップＳ１０３を含む。
ステップＳ１０１では、移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトを取得し、前記第１セマンティックオブジェクトは、少なくとも２つの種別に属し、前記少なくとも２つの種別のうちの少なくとも２つの種別の第１セマンティックオブジェクトは、異なる空間次元に位置する。
ステップＳ１０２では、前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定する。
ステップＳ１０３では、前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定する。
上記実施例において、前記移動機器には、所在する領域の第１画像を収集するためのビジョンカメラヘッドが配置されてもよく、大まかな又は正確な位置情報を取得するための測位装置が配置されてもよい。移動機器は、車両、ロボット等の機器を含んでもよいが、それらに限定されない。前記車両は、如何なるタイプの車両、例えば、乗用車、バス、トラック等であってもよい。それ相応に、前記移動機器の所在する領域は、道路領域であってもよく、前記第１画像は、道路画像である。前記モバイルロボットは、如何なるタイプのロボット、例えば産業用ロボット、掃除ロボット、おもちゃロボット、教育ロボット等であってもよく、それ相応に、前記移動機器の所在する領域は、前記モバイルロボットの作業領域であってもよく、前記第１画像は、作業領域画像である。前記移動機器及びその所在する領域は、他のタイプの機器及び領域であってもよい。本発明では、これについて限定しない。以下では、移動機器の所在する領域が道路領域であり、前記第１画像が道路画像であることを例として、本発明の実施例の技術案を説明する。
ステップＳ１０１に関し、道路画像は、移動機器上のビジョンカメラヘッドによってリアルタイムで収集されてもよく、道路画像には、移動機器の現在位置付近の複数種別の第１セマンティックオブジェクトが含まれてもよく、前記種別は、実際の需要に応じて区分されてもよい。例えば、前記種別は、第１セマンティックオブジェクトの機能に応じて、路面表示線種別、路面進行方向指示標識種別、交通標識板種別、交通信号機種別及び道路灯種別等のうちの少なくとも両者又は多者の組み合わせを含んでもよいが、それらに限定されない。
詳細に言えば、路面表示線種別は、路面実線、路面破線、黄色二重線等の、車線を区画するための表示線、及び、停止線、シマウマ線等の特定の意味を有する表示線等のうちの少なくとも一項を含んでもよい。路面進行方向指示標識種別は、転向標識、ガイドライン標識、センタリング標識等のうちの少なくとも一項を含んでもよい。交通標識板種別は、速度制限標識板、高さ制限標識板、禁止マーク標識板、道標標識板等のうちの少なくとも一項を含んでもよい。交通信号機種別は、赤青信号灯、フラッシュ警告信号灯、車線信号灯等のうちの少なくとも一項を含んでもよい。道路灯種別は、道路照明機能を果たす又は道路を飾たり美化したりする機能を有する各種の道路灯を含んでもよい。
また、第１セマンティックオブジェクトの位置に応じて種別を区分してもよい。例えば、路面上の第１セマンティックオブジェクトを１つの種別に区分し、道路上方の第１セマンティックオブジェクトをもう１つの種別に区分する。他の区分条件に応じて種別を区分可能であるが、本発明では、これについて限定しない。
道路画像が収集された後、道路画像から複数種別の第１セマンティックオブジェクトを取得してもよい。例えば、路面表示線種別の第１セマンティックオブジェクト、交通信号機種別の第１セマンティックオブジェクト及び路面進行方向指示標識種別の第１セマンティックオブジェクトを取得してもよい。本発明の一実施例の第１セマンティックオブジェクトの模式図は、図２に示される。図２には、路面進行方向指示標識種別の第１セマンティックオブジェクト、例えば左折方向指示標識、直進方向指示標識及び右折方向指示標識と、路面表示線種別の第１セマンティックオブジェクト、例えば道路実線及び横断歩道線と、交通信号機種別の第１セマンティックオブジェクト、例えば赤青信号灯とが含まれている。
移動機器の道路画像における複数種別の第１セマンティックオブジェクトが取得された後、前記複数種別の第１セマンティックオブジェクトの画素値に基づいて第２画像を生成し、前記第２画像に基づいて、前記第２セマンティックオブジェクトのうち、前記複数種別の各種別の第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定してもよい。前記第２画像において、異なる画素値は、異なる種別の第１セマンティックオブジェクトを表し、例えば、路面表示線種別の第１セマンティックオブジェクトの画素値は、１であり、交通信号機種別の第１セマンティックオブジェクトの画素値は、２であり、これらに限定されない。道路画像に第１セマンティックオブジェクトに関係しない背景情報が多く含まれる可能性があるため、第２画像を生成して該第２画像に基づいて第１セマンティックオブジェクトの適合セマンティックオブジェクトを特定することにより、ポーズ特定の効率を向上させることができる。幾つかの実施例において、第２セマンティックオブジェクトのうち、各第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定することは、各第１セマンティックオブジェクトの画素値に基づいて第２画像を生成することと、前記第２画像に基づいて、前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定することと、を含む。
前記第２画像には、各第１セマンティックオブジェクトの種別情報及び位置情報が含まれてもよい。当該道路画像を、予めトレーニングされた機械学習モデル、例えば、ディープラーニングネットワークに入力することにより、道路画像中の第１セマンティックオブジェクトの種別情報及び位置情報を検出してもよい。前記機械学習モデルの出力は、１枚の画像（即ち、前記第２画像）であってもよい。更に、機械学習モデルの検出結果を解析することにより、各第１セマンティックオブジェクトの幾何情報、例えば、前記第１セマンティックオブジェクトの形状情報、バウンディングボックス情報及び／又はサイズ情報を取得してもよい。形状が多角形である第１セマンティックオブジェクト、例えば、横断歩道線、交通標識板等に関し、当該第１セマンティックオブジェクトのバウンディングボックスの複数の頂点の位置情報を取得してもよい。形状がストリップ状である第１セマンティックオブジェクト、例えば、道路灯、停止線、車道線等に関し、当該第１セマンティックオブジェクトに対応する直線線分シリーズ情報を取得してもよい。当該直線線分シリーズ情報は、直線線分シリーズにおける複数の直線線分の端点の位置情報を含む。１枚の第２画像には、複数種別の第１セマンティックオブジェクトが含まれてもよい。各第１セマンティックオブジェクトの幾何情報をそれぞれ解析してもよい。
ポーズ特定の正確性が向上するように、道路画像における異なる種別の第１セマンティックオブジェクトをなるべく多く取得してもよい。例えば、道路画像に３種の第１セマンティックオブジェクトが含まれる場合に、この３種の第１セマンティックオブジェクトを同時に取得する。前記複数種別の第１セマンティックオブジェクトのうちの少なくとも２つの種別の第１セマンティックオブジェクトは、異なる空間次元に位置する。例えば、取得された前記複数種別の第１セマンティックオブジェクトは、路面表示線種別の第１セマンティックオブジェクトと、交通信号機種別の第１セマンティックオブジェクトとを含む。路面表示線種別の第１セマンティックオブジェクトは、地平面上の第１セマンティックオブジェクトであり、交通信号機種別の第１セマンティックオブジェクトは、地平面に垂直な第１セマンティックオブジェクトである。
セマンティックマップは、移動機器の所在する領域を含む領域における各第２セマンティックオブジェクト及び第２セマンティックオブジェクトに対応する位置情報を記憶するために用いられる。実際の応用において、当該セマンティックマップは、高精度セマンティックマップであってもよい。ポーズ特定効率が向上するように、セマンティックマップは、予め記憶されてもよい。例えば、移動機器の始点及び終点が既知である場合に、始点と終点の間のナビゲーションパスに関するセマンティックマップを取得して記憶してもよい。無論、以上の方式は、本発明の１種の可能な実現方式に過ぎず、実際の応用において、セマンティックマップを取得する必要があるときに地図サーバへ要求を送信することにより、地図サーバから返信されたセマンティックマップを取得してもよい。
セマンティックマップ中の第２セマンティックオブジェクトを取得する時に、セマンティックマップ中の全ての第２セマンティックオブジェクトを取得してもよく、セマンティックマップ中のオブジェクト検索範囲内で前記第２セマンティックオブジェクトを検索してもよい。先にオブジェクト検索範囲を特定し、その後オブジェクト検索範囲内から第２セマンティックオブジェクトを検索することにより、検索範囲を有効に絞込み、検索効率を向上させることができる。好ましくは、前記移動機器のポーズ推定値を取得し、前記移動機器のポーズ推定値に基づいて前記セマンティックマップ中のオブジェクト検索範囲を特定してもよい。好ましくは、移動機器における測位装置を介して前記移動機器に対して測位を行ってから、測位結果に基づいて前記セマンティックマップ中のオブジェクト検索範囲を特定してもよい。
幾つかの実施例において、前記移動機器の第１時点での第１ポーズを取得し、前記第１ポーズに基づいて前記移動機器の第２時点でのポーズ推定値を特定してもよく、前記第１時点は、前記第２時点よりも前である。測位装置は、全地球測位システム（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ、ＧＰＳ）、慣性計測装置（Ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ、ＩＭＵ）等であってもよい。このような方式により、移動機器のポーズ推定値を迅速に特定し、ポーズ推定の効率を向上させることができる。
前記第２時点は、最後１フレームの第１画像を撮影する時点（現時点と呼称されてもよい）であってもよく、前記第１時点は、最後１フレームの第１画像よりも前の少なくとも１フレームの画像を撮影する時点、例えば、前記移動機器上の測位装置が初期化された後で１フレーム目の第１画像を撮影したことに対応する時点（初期時点と呼称されてもよい）であってもよい。それ相応に、前記第１ポーズは、前記１つ前のフレームの画像を撮影したときのポーズ（１つ前のフレームのポーズと呼称される）であってもよく、前記移動機器の前記初期時点におけるポーズ（初期ポーズと呼称される）であってもよい。更に、前記道路画像の１つ前のフレームの画像が検索された場合に、上記１つ前のフレームのポーズを前記第１ポーズとして採用してもよい。前記道路画像の１つ前の１フレームの画像が検索されなかった場合に、前記初期ポーズを前記第１ポーズとして採用してもよい。
前記第１ポーズに基づいて前記移動機器の第２時点でのポーズ推定値を特定するときに、移動機器の運動モデルに基づいてポーズ推定値を特定してもよい。前記運動モデルは、定速モデル、加速モデル等であってもよい。運動モデルが定速モデルであり、第１時点が初期時点であり、第２時点が現時点であることを例とし、初期時点と現時点との間の時間差を算出し、移動機器の走行速度及び前記時間差に基づいて当該時間差内の走行距離を算出し、更に移動機器の初期ポーズ及び前記走行距離に基づいて移動機器の現在ポーズ推定値を算出してもよい。実際の走行中において、移動機器が定速走行又は均等加速走行を維持しにくいのは、一般的である。走行過程を幾つかのセグメントに分け、各セグメントごとに、対応する１種の運動モデルを採用してもよい。
前記ポーズ推定値は、位置の推定値を含んでもよい。それ相応に、オブジェクト検索範囲は、図３ａにおける円形領域に示すように、前記セマンティックマップ中の、前記位置の所定距離範囲内における領域であってもよい。前記所定距離は、移動機器上の測位装置の測位精確度に基づいて特定されてもよい。民生用ＧＰＳ装置の測位精確度が一般的に１０メートル程度であるため、前記所定距離を１０メートル程度の値と設定してもよい。前記ポーズ推定値は、位置の推定値も向きの推定値も含んでもよい。それ相応に、オブジェクト検索範囲は、図３ｂにおける扇形領域に示すように、前記セマンティックマップ中の、前記向きにおいて、且つ前記位置の所定距離範囲内の領域であってもよい。向きに基づいてオブジェクト検索範囲を特定することにより、検索領域を絞り込み、第２セマンティックオブジェクトの検索効率を向上させることができる。
ステップＳ１０２に関し、第２セマンティックオブジェクトと各第１セマンティックオブジェクトとの間の距離に基づいて第２セマンティックオブジェクトから前記各第１セマンティックオブジェクトの適合セマンティックオブジェクトを特定してもよい。例えば、各第１セマンティックオブジェクトごとに、第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短である第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定してもよい。理想的な場合に、第１セマンティックオブジェクトとその適合セマンティックオブジェクトとの位置は、理論上同じである。しかし、ポーズ推定値に誤差が存在するため、第１セマンティックオブジェクトとその適合セマンティックオブジェクトとの間には、ある程度位置差が存在する。一方で、第１セマンティックオブジェクトとの距離が最短である第２セマンティックオブジェクトは、第１セマンティックオブジェクトの適合セマンティックオブジェクトである可能性が一番高い。したがって、上記方式により、第１セマンティックオブジェクトの適合セマンティックオブジェクトを比較的に正確に特定することができる。
各第１セマンティックオブジェクトの適合セマンティックオブジェクトを特定する方式が同じであるため、ここで、その中の１つの第１セマンティックオブジェクトを例として、その適合セマンティックオブジェクトの特定手順を記述する。上記適合セマンティックオブジェクトを特定する第１種の方式を例とすると、第１セマンティックオブジェクトがＯ１１であり、セマンティックマップから取得された第２セマンティックオブジェクトがＯ２１、Ｏ２２、```、Ｏ２ｎを含み、ｎが正の整数である場合に、Ｏ２１、Ｏ２２、```、Ｏ２ｎからＯ１１までの距離をそれぞれ算出することができる。当該距離がそれぞれｄ１、ｄ２、```、ｄｎであると仮定する。その後、ｄ１、ｄ２、```、ｄｎのうちの最小値を取り、当該最小値がｄｋであると仮定する。ただし、
Figure 2022542082000002
 更に、ｄｋに対応する第２セマンティックオブジェクトの種別が第１セマンティックオブジェクトの種別と同じであるか否かを判断し、同じである場合に、ｄｋに対応する第２セマンティックオブジェクトをＯ１１の適合セマンティックオブジェクトとして特定する。
更に、各第１セマンティックオブジェクトごとに、当該第１セマンティックオブジェクトの形状及び種別、前記第２セマンティックオブジェクトの形状及び種別、並びに各第２セマンティックオブジェクトと当該第１セマンティックオブジェクトの間の距離に基づいて、第２セマンティックオブジェクトから当該第１セマンティックオブジェクトの適合セマンティックオブジェクトを特定してもよい。例えば、第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短であり且つ形状が同じである第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定しもよい。このような方式により、適合セマンティックオブジェクトを特定する正確性を向上させることができ、特に第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短である第２セマンティックオブジェクトの数が１よりも大きい場合に、正確性が高い。
例を挙げると、第１画像中のある画素位置に１つの三角形の第１セマンティックオブジェクトが存在し、セマンティックマップの対応する位置に１つの円形の速度制限標識板と１つの三角形「危険に注意しなさい」の標識板とが同時に存在すると仮定すれば、２つの標識板の種別（何れも交通標識板種別に属する）及び位置が何れも同じであるため、種別及び距離に基づいてこの２つの標識板のうちのどれが前記三角形の第１セマンティックオブジェクトの適合セマンティックオブジェクトであるかを特定することができない。その際、２つの標識板の形状を検出することにより、三角形「危険に注意しなさい」の標識板を上記第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定してもよい。
第１セマンティックオブジェクト及び第２セマンティックオブジェクトが画像収集機器の結像平面及び３次元物理空間にそれぞれ対応するため、各第２セマンティックオブジェクトと第１セマンティックオブジェクトとの距離を特定するときに、第２セマンティックオブジェクトを第１セマンティックオブジェクトと同じ平面に投影し、第２セマンティックオブジェクトに対応する投影セマンティックオブジェクトを取得し、投影セマンティックオブジェクトと第１セマンティックオブジェクトとの間の距離を対応する第２セマンティックオブジェクトと第１セマンティックオブジェクトとの間の距離として特定してもよい。このように、同一の平面において第２セマンティックオブジェクトと第１セマンティックオブジェクトとの間の距離を算出し、計算複雑度を低減することができる。詳細に言えば、各第２セマンティックオブジェクトごとに、当該第２セマンティックオブジェクトの第２画像における投影セマンティックオブジェクトを取得し、前記投影セマンティックオブジェクトと第１セマンティックオブジェクトとの間の距離を当該第２セマンティックオブジェクトと当該第１セマンティックオブジェクトとの間の距離として特定してもよく、当該第２セマンティックオブジェクトの前記セマンティックマップにおける位置は、前記投影セマンティックオブジェクトの前記第２画像における位置に対応し、前記第２画像は、各第１セマンティックオブジェクトの画素値に基づいて生成されたものである。
詳細に言えば、前記第１セマンティックオブジェクトの少なくとも１つの第１オブジェクトポイントのうちの各第１オブジェクトポイントの第１位置を特定し、前記投影セマンティックオブジェクトの少なくとも１つの第２オブジェクトポイントのうちの各第２オブジェクトポイントの第２位置を特定し、各第１オブジェクトポイントの第１位置と各第２オブジェクトポイントの第２位置とに基づいて、前記投影セマンティックオブジェクトと前記第１セマンティックオブジェクトとの距離を特定してもよく、前記第１オブジェクトポイントは、前記第１セマンティックオブジェクトの輪郭情報に基づいて特定されたものであり、前記第２オブジェクトポイントは、前記投影セマンティックオブジェクトの輪郭情報に基づいて特定されたものである。上記方式により、セマンティックオブジェクトの輪郭に基づいてセマンティックオブジェクト間の距離を算出可能であり、距離算出の正確性を向上させる。
例えば、前記各第１オブジェクトポイントの第１位置と前記各第２オブジェクトポイントの第２位置とを特定し、各第１オブジェクトポイントごとに、当該第１オブジェクトポイントと対応する第２オブジェクトポイントとの距離を特定し、前記各第１オブジェクトポイントと対応する第２オブジェクトポイントとの距離の平均値を前記第１セマンティックオブジェクトと前記投影セマンティックオブジェクトとの距離として特定してもよい。上記距離は、ユークリッド距離、チェビシェフ距離、マハラノビス距離、キャンベラ距離等を採用してもよく、本発明では、これについて限定しない。図４ａに示すセマンティックマッチング手順を例とすると、第１セマンティックオブジェクトのバウンディングボックスが１つの四角形である場合に、第１セマンティックオブジェクトの第１オブジェクトポイントは、それぞれＡ１、Ｂ１、Ｃ１及びＤ１で示され、投影セマンティックオブジェクトの第２オブジェクトポイントは、それぞれＡ２、Ｂ２、Ｃ２及びＤ２で示される。Ａ１、Ｂ１、Ｃ１及びＤ１の座標並びにＡ２、Ｂ２、Ｃ２及びＤ２の座標を特定してから、座標に基づいて、Ａ１とＡ２、Ｂ１とＢ２、Ｃ１とＣ２、Ｄ１とＤ２の間の距離を算出する。これらの距離がそれぞれｄ１、ｄ２、ｄ３及びｄ４であると仮定する。その後、ｄ１、ｄ２、ｄ３及びｄ４の平均値を求めて前記第１セマンティックオブジェクトと前記投影セマンティックオブジェクトとの距離を取得する。
１つのセマンティックオブジェクトの輪郭情報は、前記セマンティックオブジェクトの形状を表すために用いられてもよい。好ましくは、前記第１セマンティックオブジェクトの輪郭が多角形である場合に、前記第１オブジェクトポイントは、前記第１セマンティックオブジェクトのバウンディングボックスの頂点となる。好ましくは、前記第１セマンティックオブジェクトの輪郭がストリップ状である場合に、前記第１オブジェクトポイントは、前記第１セマンティックオブジェクトに対応する線分の頂点となる。上記方式により、異なるセマンティックオブジェクトの輪郭を基に、点（セマンティックオブジェクトのバウンディングボックス頂点）又は線（セマンティックオブジェクトに対応する直線線分）に基づいて適合セマンティックオブジェクトを特定することができ、セマンティックオブジェクトを特定する正確性を向上させる。
実際の応用において、道路画像又は道路画像に対応する第２画像をディープラーニングネットワークに入力し、前記ディープラーニングネットワークの第１出力画像を取得し、画素値が同じである画素点によって構成された図形（即ち、第１セマンティックオブジェクト）の輪郭を前記第１出力画像から取得し、その後、当該輪郭に対して平滑化処理を行い、前記第１セマンティックオブジェクトに対応するバウンディングボックス又は線分を取得してもよい。同様な理由により、セマンティックマップをディープラーニングネットワークに入力し、前記ディープラーニングネットワークの第２出力画像を取得し、画素値が同じである画素点によって構成された図形（即ち、第２セマンティックオブジェクト）の輪郭を前記第２出力画像から取得し、その後、当該輪郭に対して平滑化処理を行い、前記第２セマンティックオブジェクトに対応するバウンディングボックス又は線分を取得してもよい。
図４ａに示すように、第１セマンティックオブジェクトのバウンディングボックスが１つの四角形であると仮定すれば、当該四角形の４つの頂点Ａ１、Ｂ１、Ｃ１及びＤ１の座標を取得し、投影セマンティックオブジェクトのバウンディングボックスの４つの対応する頂点Ａ２、Ｂ２、Ｃ２及びＤ２の座標を取得してから、座標に基づいて対応する頂点間の距離、即ち、Ａ１とＡ２、Ｂ１とＢ２、Ｃ１とＣ２、Ｄ１とＤ２の間の距離を取得してもよい。これらの距離がそれぞれｄ１、ｄ２、ｄ３及びｄ４であると仮定する。その後、ｄ１、ｄ２、ｄ３及びｄ４の平均値を求めて前記第１セマンティックオブジェクトと前記投影セマンティックオブジェクトとの距離を取得する。
図４ｂに示すように、第１セマンティックオブジェクトに対応する直線線分の２つの端点がそれぞれＡ１及びＢ１であると仮定すれば、Ａ１及びＢ１の座標を取得し、投影セマンティックオブジェクトに対応する直線線分の端点Ａ２及びＢ２の座標を取得してから、座標に基づいて対応する端点Ａ１とＡ２、Ｂ１とＢ２の間の距離を算出してもよい。これらの距離がそれぞれｄ１及びｄ２である。その後、ｄ１及びｄ２の平均値を求めて前記第１セマンティックオブジェクトと前記投影セマンティックオブジェクトとの距離を取得する。実際の応用において、第１セマンティックオブジェクトを構成する直線線分の数が複数である可能性がある。即ち、第１セマンティックオブジェクトは、複数本の直線線分を含む１つの直線線分シリーズによって構成される。これで、第１セマンティックオブジェクトを構成する各直線線分と投影セマンティックオブジェクトを構成する対応する直線線分との端点の平均距離をそれぞれ特定し、各直線線分に対応する平均距離の平均値を前記第１セマンティックオブジェクトと前記投影セマンティックオブジェクトとの距離として特定する。
説明すべきことは、第１セマンティックオブジェクト及び投影セマンティックオブジェクトが何れも多角形の第１部分及びストリップ状の第２部分（例えば、赤青信号灯がランプ本体及びランプレバーを含む）を含む場合に、投影セマンティックオブジェクトの第１部分と前記第１セマンティックオブジェクトの第１部分との距離（第１距離とも呼称される）をそれぞれ特定し、投影セマンティックオブジェクトの第２部分と前記第１セマンティックオブジェクトの第２部分との距離（第２距離とも呼称される）を特定してから、第１距離及び第２距離に基づいて投影セマンティックオブジェクトと第１セマンティックオブジェクトとの距離を特定してもよい。一実施例では、第１距離と第２距離との平均値を第１セマンティックオブジェクトと投影セマンティックオブジェクトとの間の距離として特定してもよい。各部分の距離計算方式は、前文の実施例を参照すればよく、ここで繰り返し説明しない。
セマンティックマッチングの結果は、図５に示すように、Ｏ１１及びＯ１２が２つの第１セマンティックオブジェクトであり、Ｏ２１～Ｏ２５が何れも第２セマンティックオブジェクトに対応する投影セマンティックオブジェクトである。第１セマンティックオブジェクト及び第２セマンティックオブジェクトの形状、種別、並びに、第１セマンティックオブジェクトと投影セマンティックオブジェクトとの間の距離に基づいて、Ｏ２２をＯ１１の適合セマンティックオブジェクトとして特定し、Ｏ２３をＯ１２の適合セマンティックオブジェクトとして特定してもよい。
ステップＳ１０３に関し、幾つかの実施例において、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立し、前記ポーズ制約条件に基づいて前記移動機器のポーズを特定してもよい。前記ポーズ制約条件は、前記移動機器の所定時間帯におけるポーズ変化関係に基づいて特定されてもよい。ポーズ特定手順に制約条件が導入されたため、ポーズについて解を求めるときに、移動機器の所定時間帯におけるポーズ変化関係に基づいて移動機器のポーズ変化状況を制約してもよい。解を求められたポーズが前記制約条件を満たす場合のみに、解を求められたポーズを移動機器のポーズとするため、ポーズ特定の正確性が向上する。
詳細に言えば、移動機器の走行過程を非常に多くの小さい階段に分けてもよく、各段階内において移動機器が１つの平面上を走行すると仮定してもよい。このように、計算複雑度を低減可能であり、移動機器のポーズの算出時に３つのみの自由度での成分（移動機器の移動方向における成分、水平面上の移動機器の移動方向に垂直な方向における成分、及び、移動機器のヨー角）が変化するようにするとともに、これを制約として正確性を向上させることができる。前記適合セマンティックオブジェクトの位置に基づいて前記移動機器の所在する路面の平面と平面の法線ベクトルとを特定し、前記平面と前記法線ベクトルと前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定し、前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立してもよい。
例えば、前記平面に基づいて前記移動機器のオブジェクトポイントの高度分布誤差を特定してもよい。更に例えば、前記法線ベクトルに基づいて前記移動機器のピッチ角分布誤差及びロール角分布誤差を特定してもよい。より更に例えば、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトとの間の距離に基づいて再投影距離誤差を特定してもよい。したがって、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差とのうちの少なくとも１つに基づいて、前記ポーズ制約条件を確立してもよい。
形状が多角形である第１セマンティックオブジェクトが存在する場合に、前記再投影距離誤差は、点の再投影距離誤差、即ち、前記第１セマンティックオブジェクトのバウンディングボックスの複数の頂点と前記投影セマンティックオブジェクトのバウンディングボックスの複数の対応する頂点との距離の和を含む。該距離の和は、図４ａに示す実施例において、ｄ１、ｄ２、ｄ３及びｄ４の和である。形状がストリップ状である第１セマンティックオブジェクトが存在する場合に、前記再投影距離誤差は、線の再投影距離誤差、即ち、前記第１セマンティックオブジェクトを構成する直線線分の各端点と前記投影を構成する直線線分の各対応端点との距離の和を含む。当該距離の和は、図４ｂに示す実施例において、ｄ１及びｄ２の和である。形状が多角形である部分と形状がストリップ状である部分との両方を第１セマンティックオブジェクトが含む場合に、前記再投影距離誤差は、点の再投影距離誤差と線の再投影距離誤差との和となる。
他の幾つかの実施例において、１つのマッピングテーブルを予め記憶してもよい。前記マッピングテーブルは、移動機器の所在する領域内の各位置及び前記位置に対応する平面（例えば、路面）並びに前記平面の法線ベクトルを記録するために用いられる。その後、移動機器の位置の推定値に基づいて、前記マッピングテーブルにおいて移動機器の所在する平面及び法線ベクトルを検索してもよい。移動機器が平面上を移動するときに、移動機器上の各点（例えば、移動機器の中心点）の高度、ロール角及びピッチ角の変化が非常に小さいため、上記平面をアプリオリ情報とすることにより、前記高度分布誤差、ピッチ角分布誤差及びロール角分布誤差を特定することができる。それとともに、第１セマンティックオブジェクトと第２セマンティックオブジェクトとが完全一致するときに、２つのセマンティックオブジェクトの間の再投影距離誤差ができるだけ小さくなるべきである。したがって、距離制約条件、即ち、前記高度分布誤差、前記ピッチ角分布誤差、前記ロール角分布誤差及び前記再投影距離誤差の和が最小化となる制約条件を確立してもよい。本発明の一実施例の制約条件は、以下に示される。
Figure 2022542082000003
ｄｋは、現時点ｋの最適化目標残差項を表し、Ｄ１及びＤＰは、直線線分の誤差とバウンディングボックス頂点の誤差とをそれぞれ表し、Ｑ及びＰは、現在マッチングする直線線分集合とバウンディングボックス頂点集合とをそれぞれ表し、πは、３次元情報（例えば、直線線分Ｌｉ及びバウンディングボックス頂点Ｐｊ）を現時点ｋのポーズＴｋによって道路画像に投影する投影関数を表し、Ｌｉにマッチングする画像線特徴は、ｌｉであり、Ｐｊにマッチングする画像点特徴は、ｐｊである。移動機器の所在する道路の道路平面アプリオリ情報ｐｌａｎｅと、移動機器の前記道路画像を撮影するカメラヘッドの、路面からの高度Ｈとが既知である場合に、Ｄｐｌａｎｅは、平面制約でのポーズのうち、路面に垂直な高度ｚと前記カメラヘッドの路面からの高度Ｈとの差を表し、ＤΦ，θは、平面制約でのポーズのうち、ヨー角の回る軸が道路路面に垂直であるときのロール角Φ、ピッチ角θと平面ｐｌａｎｅの対応する回転成分との間の距離を表し、α、β、γは、各項の係数をそれぞれ表す。
本発明の実施例は、従来の最適化方法を採用してもよく（例えば、ガウス・ニュートン法、レーベンバーグ・マーカート法又はＤｏｇＬｅｇ法等を選択してもよい）、又は、フィルタを介して上記ステップに対して求解を繰り返すことで移動機器のポーズ推定値を取得してもよい。ポーズ推定効果は、図６に示される。図６は、車両が進行するときの右後方図であり、車両の前方は、下から上へ、それぞれ破線、道路縁実線、道路路面転向標識、シマウマ線、赤青信号灯、及び道路上方の大型道路案内標識板である。これらのセマンティックオブジェクトは、何れも最終的な幾何形式で示される。
図７は、本発明の一実施例のポーズ特定原理の模式図である。図７に示すように、道路画像に対して検出を行って複数種別の第１セマンティックオブジェクトを取得してから、第１セマンティックオブジェクトのバウンディングボックス頂点の位置情報と直線線分の端点の位置情報とを取得してもよい。その一方、所定範囲内の局所セマンティックマップを検索し、局所セマンティックマップにおける各第２セマンティックオブジェクトのバウンディングボックス頂点の位置情報と直線線分の端点の位置情報とを取得し、移動機器の所在する平面を取得し、上記点、線、面情報に基づいて制約条件を構築してもよい。最後に、制約条件に基づいて移動機器に対してポーズ推定を行う。
幾つかの実施例において、特定された前記移動機器のポーズは、３次元ポーズであり、即ち、移動機器の走行方向上、路面上の移動機器走行方向に垂直な方向上、移動機器の高度方向上の座標、並びに、移動機器のピッチ角、ヨー角及びロール角を含む。
本発明の実施例では、複数種のセマンティック及び求解制約条件を利用して、移動機器のポーズ推定手順中の３次元向きに対する求解を実現し、複数種別のセマンティックオブジェクト並びに予め作成されたセマンティックマップ及びビジョンカメラヘッドを総合的に利用し、単一セマンティックが希少である地方でも安定且つ持続的なポーズ推定結果を得ることができ、それとともに、点、線、面の制約条件に基づいてポーズ求解を行うため、ポーズ推定の精確度を向上させる。
前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定した後、前記３次元ポーズに基づいて前記移動機器の走行状態を制御してもよい。前記走行状態は、移動機器の速度、加速度、角度（ピッチ角、ヨー角及びロール角のうちの少なくとも何れかを含む）等を含む。本発明の実施例では、自動運転等の分野において、移動機器の現在ポーズを正確に特定することができる。ＡＤＡＳ等のスマート運転システムでは、本発明の実施例によって現在移動機器に対してポーズ推定を行うことにより、現在移動機器ポーズ推定の精確度を向上させ、更にＡＤＡＳ（Ａｄｖａｎｃｅｄ Ｄｒｉｖｉｎｇ Ａｓｓｉｓｔａｎｔ Ｓｙｓｔｅｍ、先進運転支援システム）等のシステムがより精確な支援運転（例えば、緊急避難、自動駐車等）を行うことを助ける。３次元ポーズを取得することにより、移動機器の走行状態を制御する正確性を向上させることができる。
図８は、本発明の実施例のポーズ特定方法のもう１種の可能な実現方式である。このような実現方式において、前記方法は、ステップＳ８０１～ステップＳ８０３を含む。
ステップＳ８０１では、移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトを取得する。
ステップＳ８０２では、前記第２セマンティックオブジェクトのうち、前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定する。
ステップＳ８０３では、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立し、前記ポーズ制約条件に基づいて前記移動機器の３次元ポーズを特定する。
説明すべきことは、第１画像、第１セマンティックオブジェクト、セマンティックマップ、第２セマンティックオブジェクト、適合セマンティックオブジェクト、ポーズ制約条件等の具体的な特定方式、定義は、前文の内容を参照すればよく、ここで繰り返し説明しない。
幾つかの実施例において、前記第１セマンティックオブジェクトは、複数種別の第１セマンティックオブジェクトを含んでもよい。
幾つかの実施例において、前記ポーズ制約条件は、前記移動機器の所定時間帯におけるポーズ変化関係に基づいて特定される。
幾つかの実施例において、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立することは、前記適合セマンティックオブジェクトの位置に基づいて、前記移動機器の所在する平面と前記平面の法線ベクトルとを特定することと、前記平面と、前記法線ベクトルと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定することと、前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立することとを含む。
幾つかの実施例において、前記平面と、前記法線ベクトルと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定することは、前記平面に基づいて前記移動機器のオブジェクトポイントの高度分布誤差を特定することと、前記法線ベクトルに基づいて前記移動機器のピッチ角分布誤差及びロール角分布誤差を特定することと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトとの間の距離に基づいて再投影距離誤差を特定することとを含み、前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立することは、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差とのうちの少なくとも１つに基づいて、前記ポーズ制約条件を確立することを含む。
幾つかの実施例において、前記ポーズ制約条件は、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差との和が最小化となることである。
本発明の実施例では、移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトと取セマンティックマップ中の第２セマンティックオブジェクトとを取得することにより、前記第２セマンティックオブジェクトのうち、前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定し、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立し、前記ポーズ制約条件に基づいて前記移動機器の３次元ポーズを特定するため、制約条件によって移動機器の３次元ポーズを特定することが実現され、ポーズ特定の正確性が向上する。
当業者であれば理解できるように、具体的な実施形態の上記方法において、各ステップの記載順は、厳格な実行順を意味せず、実施手順について如何なる限定もなすことではない。各ステップの具体的な実行順は、その機能及び可能な内在論理で特定されるべきである。
図９に示すように、本発明の実施例は、ポーズ推定装置を更に提供する。前記ポーズ推定装置は、第１取得モジュール９０１、第１特定モジュール９０２及び第２特定モジュール９０３を備える。
第１取得モジュール９０１は、移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトを取得し、前記第１セマンティックオブジェクトは、少なくとも２つの種別に属し、前記少なくとも２つの種別のうちの少なくとも２つの種別の第１セマンティックオブジェクトは、異なる空間次元に位置する。
第１特定モジュール９０２は、前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定する。
第２特定モジュール９０３は、前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定する。
幾つかの実施例において、前記第１特定モジュール９０２は、各前記第１セマンティックオブジェクトの画素値に基づいて第２画像を生成するための画像生成手段と、前記第２画像に基づいて、前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するための第１特定手段と、を備える。
幾つかの実施例において、前記第１取得モジュール９０１は、前記移動機器のポーズ推定値を取得し、前記ポーズ推定値に基づいて、前記セマンティックマップに対して検索を行うオブジェクト検索範囲を特定するための第１取得手段と、前記オブジェクト検索範囲から前記第２セマンティックオブジェクトを検索するための検索手段と、を備える。
幾つかの実施例において、前記第１取得手段は、前記移動機器の第１時点での第１ポーズを取得するための取得サブ手段と、前記第１ポーズに基づいて前記移動機器の第２時点でのポーズ推定値を特定するための第１特定サブ手段とを備え、前記第１時点は、前記第２時点よりも前である。
幾つかの実施例において、前記ポーズ推定値は、位置の推定値と、向きの推定値とを含み、前記オブジェクト検索範囲は、前記向きにおける、前記位置から所定距離範囲内の領域である。
幾つかの実施例において、前記第１特定モジュール９０２は、各前記第１セマンティックオブジェクトごとに、前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短である第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定する。
幾つかの実施例において、前記装置は、前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短である第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定する前に、各前記第２セマンティックオブジェクトごとに、当該第２セマンティックオブジェクトの第２画像における投影セマンティックオブジェクトを取得するための第２取得モジュールと、前記投影セマンティックオブジェクトと当該第１セマンティックオブジェクトとの間の距離を当該第２セマンティックオブジェクトと当該第１セマンティックオブジェクトとの間の距離として特定するための第３特定モジュールとを更に備える。当該第２セマンティックオブジェクトの前記セマンティックマップにおける位置は、前記投影セマンティックオブジェクトの前記第２画像における位置に対応し、前記第２画像は、各前記第１セマンティックオブジェクトの画素値に基づいて生成された。
幾つかの実施例において、前記第１特定モジュール９０２は、前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短であり且つ形状が同じである第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定する。
幾つかの実施例において、前記装置は、前記第１セマンティックオブジェクトの少なくとも１つの第１オブジェクトポイントのうちの各第１オブジェクトポイントの第１位置を特定するための第４特定モジュールと、前記投影セマンティックオブジェクトの少なくとも１つの第２オブジェクトポイントのうちの各第２オブジェクトポイントの第２位置を特定するための第５特定モジュールと、各第１オブジェクトポイントの第１位置と各第２オブジェクトポイントの第２位置とに基づいて、前記投影セマンティックオブジェクトと前記第１セマンティックオブジェクトとの距離を特定するための第６特定モジュールとを更に備える。前記第１オブジェクトポイントは、前記第１セマンティックオブジェクトの輪郭情報に基づいて特定され、前記第２オブジェクトポイントは、前記投影セマンティックオブジェクトの輪郭情報に基づいて特定された。
幾つかの実施例において、前記第６特定モジュールは、前記各第１オブジェクトポイントの第１位置と前記各第２オブジェクトポイントの第２位置とに基づいて、前記各第１オブジェクトポイントと対応する第２オブジェクトポイントとの距離を特定するための第２特定手段と、前記各第１オブジェクトポイントと対応する第２オブジェクトポイントとの距離の平均値を前記第１セマンティックオブジェクトと前記投影セマンティックオブジェクトとの距離として特定するための第３特定手段と、を備える。
幾つかの実施例において、前記第１セマンティックオブジェクトの輪郭が多角形である場合に、前記第１オブジェクトポイントは、前記第１セマンティックオブジェクトのバウンディングボックスの頂点となる。幾つかの実施例において、前記第１セマンティックオブジェクトの輪郭がストリップ状である場合に、前記第１オブジェクトポイントは、前記第１セマンティックオブジェクトに対応する線分の頂点となる。
幾つかの実施例において、前記第２特定モジュール９０３は、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立するための第１確立手段と、前記ポーズ制約条件に基づいて前記移動機器のポーズを特定するための第４特定手段とを備える。
幾つかの実施例において、前記ポーズ制約条件は、前記移動機器の所定時間帯におけるポーズ変化関係に基づいて特定される。
幾つかの実施例において、前記第１確立手段は、前記適合セマンティックオブジェクトの位置に基づいて、前記移動機器の所在する平面と前記平面の法線ベクトルとを特定するための第２特定サブ手段と、前記平面と、前記法線ベクトルと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定するための第３特定サブ手段と、前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立するための確立サブ手段と、を備える。
幾つかの実施例において、前記第３特定サブ手段は、前記平面に基づいて前記移動機器のオブジェクトポイントの高度分布誤差を特定し、前記法線ベクトルに基づいて前記移動機器のピッチ角分布誤差及びロール角分布誤差を特定し、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトとの間の距離に基づいて再投影距離誤差を特定し、前記確立サブ手段は、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差とのうちの少なくとも１つに基づいて、前記ポーズ制約条件を確立する。
幾つかの実施例において、前記ポーズ制約条件は、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差との和が最小化となることである。
幾つかの実施例において、前記第２特定モジュール９０３は、前記適合セマンティックオブジェクトに基づいて前記移動機器の３次元ポーズを特定し、前記装置は、前記３次元ポーズに基づいて前記移動機器の走行状態を制御するための制御モジュールを更に備える。
図１０に示すように、本発明の実施例は、ポーズ特定装置を更に提供する。前記ポーズ特定装置は、第３取得モジュール１００１、第７特定モジュール１００２及び第８特定モジュール１００３を備える。
第３取得モジュール１００１は、移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトを取得する。
第７特定モジュール１００２は、前記第２セマンティックオブジェクトのうち、前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定する。
第８特定モジュール１００３は、前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立し、前記ポーズ制約条件に基づいて前記移動機器の３次元ポーズを特定する。
幾つかの実施例において、前記ポーズ制約条件は、前記移動機器の所定時間帯におけるポーズ変化関係に基づいて特定される。
幾つかの実施例において、前記第８特定モジュール１００３は、前記適合セマンティックオブジェクトの位置に基づいて、前記移動機器の所在する平面と前記平面の法線ベクトルとを特定するための第５特定手段と、前記平面と、前記法線ベクトルと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定するための第６特定手段と、前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立するための第２確立手段とを備える。
幾つかの実施例において、前記第６特定手段は、前記平面に基づいて前記移動機器のオブジェクトポイントの高度分布誤差を特定するための第４特定サブ手段と、前記法線ベクトルに基づいて前記移動機器のピッチ角分布誤差及びロール角分布誤差を特定するための第５特定サブ手段と、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトとの間の距離に基づいて再投影距離誤差を特定するための第６特定サブ手段と、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差とのうちの少なくとも１つに基づいて、前記ポーズ制約条件を確立するための前記第２確立手段とを備える。
幾つかの実施例において、前記ポーズ制約条件は、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差との和が最小化となることである。
幾つかの実施例において、本発明の実施例に係る装置が有する機能又は含むモジュールは、上記方法実施例に記述された方法を実行可能である。その具体的な実施は、上記方法実施例の記述を参照すればよい。簡素化のために、ここで繰り返し説明しない。
上述した装置実施例は、単に模式的なものである。その中、上記分離部品として説明されたモジュールが物理的に分離されるものであってもよくでなくてもよい。モジュールとして表示された部品は、物理モジュールであってもでなくてもよい。更に、それらのモジュールは、１箇所に位置してもよく、複数のネットワークセルに分散してもよい。実際の需要に応じてその中の一部又は全部のモジュールを選択して本明細書の技術案の目的を果たすことが可能である。当業者は、進歩性に値する労力を掛けずに、理解して実施可能である。
それ相応に、本発明の実施例は、コンピュータ機器を更に提供する。当該コンピュータ機器は、メモリと、プロセッサと、メモリに記憶されてプロセッサで運転され得るコンピュータプログラムとを含み、前記プロセッサは、前記プログラムを実行したときに何れかの実施例に記載の方法を実施する。
本明細書の装置実施例は、コンピュータ機器、例えばサーバ又は端末機器に適用可能である。装置実施例は、ソフトウェアにて実現されてもよく、ハードウェア又はソフト・ハードウェアを組み合わせた形態で実現されてもよい。ソフトウェアによる実現を例とすると、１つの論理意義上の装置は、その所在するファイルを処理するプロセッサが不揮発性メモリにおける対応するコンピュータプログラム指令を内部メモリに読み取って運転させることで形成されたものである。ハードウェア実装から言うと、図１１は、本明細書の装置の所在するコンピュータ機器のハードウェア構造図である。図１１に示すプロセッサ１１０１、内部メモリ１１０２、ネットワークインターフェース１１０３、及び不揮発性メモリ１１０４の他に、実施例における装置の所在するサーバ又は電子機器は、通常、当該コンピュータ機器の実際機能に応じて他のハードウェアを含んでもよく、これについて繰り返し説明しない。
それ相応に、本発明の実施例は、コンピュータ記憶媒体を更に提供する。当該コンピュータ記憶媒体には、コンピュータプログラムが記憶され、当該プログラムがプロセッサによって実行されたときに、何れかの実施例に記載の方法は、実施される。
それ相応に、本発明の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、記憶媒体に記憶され、前記コンピュータプログラムがプロセッサによって実行されたときに、何れかの実施例に記載の方法は、実施される。
本発明は、１つ又は複数の、プログラムコードを含む記憶媒体（磁気ディスクメモリ、ＣＤ－ＲＯＭ、光学メモリ等を含むが、それらに限定されない）上で実施されたコンピュータプログラム製品の形態を採用してもよい。コンピュータ利用可能な記憶媒体は、永久性及び非永久性のもの、移動可能及び移動不可能な媒体を含み、如何なる方法や技術で情報の記憶を実施してもよい。情報は、コンピュータ可読命令、データ構造、プログラムのモジュール又は他のデータであってもよい。コンピュータの記憶媒体の例は、相変化メモリ(ＰＲＡＭ)、スタティックランダムアクセスメモリ(ＳＲＡＭ)、ダイナミックランダムアクセスメモリ(ＤＲＡＭ)、他のタイプのランダムアクセスメモリ(ＲＡＭ)、読み取り専用メモリ(ＲＯＭ)、電気的に消去可能なプログラム可能な読み取り専用メモリ(ＥＥＰＲＯＭ)、フラッシュ記憶体若しくは他のメモリ技術、読み取り専用光ディスク・読み取り専用メモリ(ＣＤ－ＲＯＭ)、デジタル・バーサタイル・ディスク(ＤＶＤ)又は他の光学記憶形態、磁気カセット型テープ、テープ・磁気ディスク記憶若しくは他の磁気記憶機器、又は、演算機器によってアクセスされ得る情報を記憶するための如何なる他の非伝送媒体も含むが、それらに限定されない。
当業者は、明細書を考慮してここで開示された本発明を実践した後、本発明の他の実施案を容易に想到し得る。本発明は、本発明の如何なる変形、用途又は適応的変化もカバーすることを意図する。これらの変形、用途又は適応的変化は、本発明の一般的な原理に従い、本発明に開示されていない当分野における公知常識或いは慣用技術手段を含む。明細書及び実施例は、単に例示と見なされ、本発明の真の範囲及び要旨は、請求項から与えられる。
理解できるように、本発明は、上述され且つ図面に示された精確な構造に限定されず、その範囲を逸脱しない範囲で各種の変更や改良を行うことが可能である。本発明の範囲は、添付する請求項のみで限定される。
上述したのは、本発明の幾つかの実施例に過ぎず、本発明を制限するためのものではない。本発明の精神及び原則内でなされた如何なる変更、均等物による置換、改良等も、本発明の保護範囲内に含まれるべきである。
本願は、２０２０年０３月２４日に提出された、出願番号がＣＮ２０２０１０２１３８０７．９であって発明名称が「ポーズ特定方法、装置、媒体及び機器」である中国特許出願の優先権を要求し、当該中国特許出願の全ての内容が引用によって本願に組み込まれる。

Claims (21)

  1. 移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトを取得するステップであって、前記第１セマンティックオブジェクトが少なくとも２つの種別に属し、前記少なくとも２つの種別のうちの少なくとも２つの種別の第１セマンティックオブジェクトが異なる空間次元に位置するステップと、
    前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するステップと、
    前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定するステップと、を含むことを特徴とするポーズ特定方法。
  2. 前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するステップは、
    各前記第１セマンティックオブジェクトの画素値に基づいて第２画像を生成することと、
    前記第２画像に基づいて、前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定することと、を含むことを特徴とする請求項１に記載のポーズ特定方法。
  3. 前記セマンティックマップ中の第２セマンティックオブジェクトを取得するステップは、
    前記移動機器のポーズ推定値を取得し、前記ポーズ推定値に基づいて、前記セマンティックマップに対して検索を行うオブジェクト検索範囲を特定することと、
    前記オブジェクト検索範囲から前記第２セマンティックオブジェクトを検索することと、を含むことを特徴とする請求項１又は２に記載のポーズ特定方法。
  4. 前記移動機器のポーズ推定値を取得することは、
    前記移動機器の第１時点での第１ポーズを取得することと、
    前記第１ポーズに基づいて前記移動機器の第２時点でのポーズ推定値を特定することとを含み、
    前記第１時点は、前記第２時点よりも前であることを特徴とする請求項３に記載のポーズ特定方法。
  5. 前記ポーズ推定値は、位置の推定値と、向きの推定値とを含み、
    前記オブジェクト検索範囲は、前記向きにおける、前記位置から所定距離範囲内の領域であることを特徴とする請求項４に記載のポーズ特定方法。
  6. 前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するステップは、
    各前記第１セマンティックオブジェクトごとに、前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短である第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定することを含むことを特徴とする請求項１から５の何れか一項に記載のポーズ特定方法。
  7. 前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短である第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定する前に、
    各前記第２セマンティックオブジェクトごとに、
    当該第２セマンティックオブジェクトの第２画像における投影セマンティックオブジェクトを取得するステップであって、当該第２セマンティックオブジェクトの前記セマンティックマップにおける位置が前記投影セマンティックオブジェクトの前記第２画像における位置に対応し、前記第２画像が各前記第１セマンティックオブジェクトの画素値に基づいて生成されたものであるステップと、
    前記投影セマンティックオブジェクトと当該第１セマンティックオブジェクトとの間の距離を当該第２セマンティックオブジェクトと当該第１セマンティックオブジェクトとの間の距離として特定するステップと、を更に含むことを特徴とする請求項６に記載のポーズ特定方法。
  8. 前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短である第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定することは、
    前記第２セマンティックオブジェクトのうち、当該第１セマンティックオブジェクトとは種別が同じであり且つ距離が最短であり且つ形状が同じである第２セマンティックオブジェクトを当該第１セマンティックオブジェクトの適合セマンティックオブジェクトとして特定することを含むことを特徴とする請求項６又は７に記載のポーズ特定方法。
  9. 当該第１セマンティックオブジェクトの少なくとも１つの第１オブジェクトポイントのうちの各第１オブジェクトポイントの第１位置を特定するステップであって、前記第１オブジェクトポイントが当該第１セマンティックオブジェクトの輪郭情報に基づいて特定されたものであるステップと、
    前記投影セマンティックオブジェクトの少なくとも１つの第２オブジェクトポイントのうちの各第２オブジェクトポイントの第２位置を特定するステップであって、前記第２オブジェクトポイントが前記投影セマンティックオブジェクトの輪郭情報に基づいて特定されたものであるステップと、
    各第１オブジェクトポイントの第１位置と各第２オブジェクトポイントの第２位置とに基づいて、前記投影セマンティックオブジェクトと当該第１セマンティックオブジェクトとの距離を特定するステップと、を更に含むことを特徴とする請求項７又は８に記載のポーズ特定方法。
  10. 前記各第１オブジェクトポイントの第１位置と各第２オブジェクトポイントの第２位置とに基づいて、前記投影セマンティックオブジェクトと前記第１セマンティックオブジェクトとの距離を特定するステップは、
    前記各第１オブジェクトポイントの第１位置と前記各第２オブジェクトポイントの第２位置とに基づいて、前記各第１オブジェクトポイントと対応する第２オブジェクトポイントとの距離を特定することと、
    前記各第１オブジェクトポイントと対応する第２オブジェクトポイントとの距離の平均値を当該第１セマンティックオブジェクトと前記投影セマンティックオブジェクトとの距離として特定することと、を含むことを特徴とする請求項９に記載のポーズ特定方法。
  11. 当該第１セマンティックオブジェクトの輪郭が多角形である場合に、前記第１オブジェクトポイントは、当該第１セマンティックオブジェクトのバウンディングボックスの頂点となり、及び／又は、
    当該第１セマンティックオブジェクトの輪郭がストリップ状である場合に、前記第１オブジェクトポイントは、当該第１セマンティックオブジェクトに対応する線分の頂点となることを特徴とする請求項９又は１０に記載のポーズ特定方法。
  12. 前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定するステップは、
    前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立することと、
    前記ポーズ制約条件に基づいて前記移動機器のポーズを特定することと、を含むことを特徴とする請求項１から１１の何れか一項に記載のポーズ特定方法。
  13. 前記ポーズ制約条件は、前記移動機器の所定時間帯におけるポーズ変化関係に基づいて特定されることを特徴とする請求項１２に記載のポーズ特定方法。
  14. 前記適合セマンティックオブジェクトに基づいてポーズ制約条件を確立することは、
    前記適合セマンティックオブジェクトの位置に基づいて、前記移動機器の所在する平面と前記平面の法線ベクトルとを特定することと、
    前記平面と、前記法線ベクトルと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定することと、
    前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立することと、を含むことを特徴とする請求項１２又は１３に記載のポーズ特定方法。
  15. 前記平面と、前記法線ベクトルと、前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトの間の距離とのうちの少なくとも１つに基づいて、前記移動機器のポーズ分布誤差を特定することは、
    前記平面に基づいて前記移動機器のオブジェクトポイントの高度分布誤差を特定することと、
    前記法線ベクトルに基づいて前記移動機器のピッチ角分布誤差及びロール角分布誤差を特定することと、
    前記適合セマンティックオブジェクトと前記第１セマンティックオブジェクトとの間の距離に基づいて再投影距離誤差を特定することと、を含み、
    前記ポーズ分布誤差に基づいて前記ポーズ制約条件を確立することは、
    前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差とのうちの少なくとも１つに基づいて、前記ポーズ制約条件を確立することを含むことを特徴とする請求項１４に記載のポーズ特定方法。
  16. 前記ポーズ制約条件は、前記高度分布誤差と前記ピッチ角分布誤差と前記ロール角分布誤差と前記再投影距離誤差との和が最小化となることであることを特徴とする請求項１５に記載のポーズ特定方法。
  17. 前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定するステップは、
    前記適合セマンティックオブジェクトに基づいて前記移動機器の３次元ポーズを特定することを含み、
    前記ポーズ特定方法は、
    前記３次元ポーズに基づいて、前記移動機器の走行状態を制御するステップを更に含むことを特徴とする請求項１から１６の何れか一項に記載のポーズ特定方法。
  18. 移動機器の所在する領域の第１画像中の第１セマンティックオブジェクトを取得し、セマンティックマップ中の第２セマンティックオブジェクトを取得するための第１取得モジュールであって、前記第１セマンティックオブジェクトが少なくとも２つの種別に属し、前記少なくとも２つの種別のうちの少なくとも２つの種別の第１セマンティックオブジェクトが異なる空間次元に位置する第１取得モジュールと、
    前記第２セマンティックオブジェクトのうち、各前記第１セマンティックオブジェクトにマッチングする適合セマンティックオブジェクトを特定するための第１特定モジュールと、
    前記適合セマンティックオブジェクトに基づいて前記移動機器のポーズを特定するための第２特定モジュールと、を備えることを特徴とするポーズ特定装置。
  19. コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
    当該コンピュータプログラムがプロセッサによって実行されたときに、請求項１から１７の何れか一項に記載のポーズ特定方法は、実施されることを特徴とするコンピュータ可読記憶媒体。
  20. コンピュータ機器であって、
    メモリと、プロセッサと、メモリに記憶されてプロセッサで運転され得るコンピュータプログラムとを含み、
    前記プロセッサは、前記コンピュータプログラムを実行したときに請求項１から１７の何れか一項に記載のポーズ特定方法を実施することを特徴とするコンピュータ機器。
  21. 記憶媒体に記憶されるコンピュータプログラムであって、
    前記コンピュータプログラムがプロセッサによって実行されたときに、請求項１から１７の何れか一項に記載のポーズ特定方法は、実施されることを特徴とするコンピュータプログラム。
JP2022504292A 2020-03-24 2021-02-03 ポーズ特定方法、ポーズ特定装置、コンピュータ可読記憶媒体、コンピュータ機器及びコンピュータプログラム Pending JP2022542082A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010213807.9A CN111427373B (zh) 2020-03-24 2020-03-24 一种位姿确定方法、装置、介质和设备
CN202010213807.9 2020-03-24
PCT/CN2021/075016 WO2021190167A1 (zh) 2020-03-24 2021-02-03 一种位姿确定方法、装置、介质和设备

Publications (1)

Publication Number Publication Date
JP2022542082A true JP2022542082A (ja) 2022-09-29

Family

ID=71549104

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022504292A Pending JP2022542082A (ja) 2020-03-24 2021-02-03 ポーズ特定方法、ポーズ特定装置、コンピュータ可読記憶媒体、コンピュータ機器及びコンピュータプログラム

Country Status (3)

Country Link
JP (1) JP2022542082A (ja)
CN (1) CN111427373B (ja)
WO (1) WO2021190167A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111427373B (zh) * 2020-03-24 2023-11-24 上海商汤临港智能科技有限公司 一种位姿确定方法、装置、介质和设备
CN114063091A (zh) * 2020-07-30 2022-02-18 北京四维图新科技股份有限公司 高精度的定位方法及产品
CN114543819B (zh) * 2021-09-16 2024-03-26 北京小米移动软件有限公司 车辆定位方法、装置、电子设备及存储介质
DE102022212704A1 (de) 2022-11-28 2024-05-29 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zum Abgleichen einer digitalen Straßenkarte

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
WO2017188020A1 (ja) * 2016-04-28 2017-11-02 日本電気株式会社 管理システム、移動体、管理装置、速度通知方法、管理方法及びプログラムが記憶された記憶媒体
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
CN110147705A (zh) * 2018-08-28 2019-08-20 北京初速度科技有限公司 一种基于视觉感知的车辆定位方法及电子设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10963800B2 (en) * 2017-07-25 2021-03-30 General Electric Company Service layer augmentation of response to semantically-informed query of arbitrary external data sources
US10546387B2 (en) * 2017-09-08 2020-01-28 Qualcomm Incorporated Pose determination with semantic segmentation
US10437252B1 (en) * 2017-09-08 2019-10-08 Perceptln Shenzhen Limited High-precision multi-layer visual and semantic map for autonomous driving
US10657388B2 (en) * 2018-03-13 2020-05-19 Honda Motor Co., Ltd. Robust simultaneous localization and mapping via removal of dynamic traffic participants
JP2019219988A (ja) * 2018-06-21 2019-12-26 日本電信電話株式会社 意味情報付与装置、意味情報付与方法、およびプログラム
CN109002837A (zh) * 2018-06-21 2018-12-14 网易（杭州）网络有限公司 一种图像语义分类方法、介质、装置和计算设备
CN109345574B (zh) * 2018-08-31 2020-10-09 西安电子科技大学 基于语义点云配准的激光雷达三维建图方法
CN109544629B (zh) * 2018-11-29 2021-03-23 南京人工智能高等研究院有限公司 摄像头位姿确定方法和装置以及电子设备
CN109815847B (zh) * 2018-12-30 2020-12-01 中国电子科技集团公司信息科学研究院 一种基于语义约束的视觉slam方法
CN109870689B (zh) * 2019-01-08 2021-06-04 武汉中海庭数据技术有限公司 毫米波雷达与高精矢量地图匹配的车道级定位方法与系统
CN110335319B (zh) * 2019-06-26 2022-03-18 华中科技大学 一种语义驱动的相机定位与地图重建方法和系统
CN111427373B (zh) * 2020-03-24 2023-11-24 上海商汤临港智能科技有限公司 一种位姿确定方法、装置、介质和设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017188020A1 (ja) * 2016-04-28 2017-11-02 日本電気株式会社 管理システム、移動体、管理装置、速度通知方法、管理方法及びプログラムが記憶された記憶媒体
WO2018104563A2 (en) * 2016-12-09 2018-06-14 Tomtom Global Content B.V. Method and system for video-based positioning and mapping
CN107144285A (zh) * 2017-05-08 2017-09-08 深圳地平线机器人科技有限公司 位姿信息确定方法、装置和可移动设备
CN110147705A (zh) * 2018-08-28 2019-08-20 北京初速度科技有限公司 一种基于视觉感知的车辆定位方法及电子设备

Also Published As

Publication number Publication date
CN111427373B (zh) 2023-11-24
CN111427373A (zh) 2020-07-17
WO2021190167A1 (zh) 2021-09-30

Similar Documents

Publication Publication Date Title
US11175145B2 (en) System and method for precision localization and mapping
CN112105893B (zh) 用于自动驾驶车辆的实时地图生成系统
CN112105890B (zh) 用于自动驾驶车辆的基于rgb点云的地图生成系统
CN111771229B (zh) 用于自动驾驶车辆的点云重影效果检测系统
JP6595182B2 (ja) マッピング、位置特定、及び姿勢補正のためのシステム及び方法
JP2022542082A (ja) ポーズ特定方法、ポーズ特定装置、コンピュータ可読記憶媒体、コンピュータ機器及びコンピュータプログラム
US9495602B2 (en) Image and map-based detection of vehicles at intersections
EP4191532A1 (en) Image annotation
CN111582189B (zh) 交通信号灯识别方法、装置、车载控制终端及机动车
EP3710984A1 (en) Map partition system for autonomous vehicles
CN111862672A (zh) 基于顶视图的停车场车辆自定位及地图构建方法
WO2020043081A1 (zh) 定位技术
CA3086261A1 (en) Vehicle tracking
US20200364883A1 (en) Localization of a mobile unit by means of a multi-hypothesis kalman filter method
WO2020156923A2 (en) Map and method for creating a map
Kasmi et al. End-to-end probabilistic ego-vehicle localization framework
CN116997771A (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
Laflamme et al. Driving datasets literature review
Choi et al. Map-matching-based cascade landmark detection and vehicle localization
Gálai et al. Crossmodal point cloud registration in the Hough space for mobile laser scanning data
Gählert et al. Beyond bounding boxes: Using bounding shapes for real-time 3d vehicle detection from monocular rgb images
CN113189610A (zh) 地图增强的自动驾驶多目标追踪方法和相关设备
Deusch Random finite set-based localization and SLAM for highly automated vehicles
Buczko et al. Efficient global localization using vision and digital offline map
Lee et al. Semi-automatic framework for traffic landmark annotation

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221115

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230613