JP2019215853A - 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体 - Google Patents

測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体 Download PDF

Info

Publication number
JP2019215853A
JP2019215853A JP2019059645A JP2019059645A JP2019215853A JP 2019215853 A JP2019215853 A JP 2019215853A JP 2019059645 A JP2019059645 A JP 2019059645A JP 2019059645 A JP2019059645 A JP 2019059645A JP 2019215853 A JP2019215853 A JP 2019215853A
Authority
JP
Japan
Prior art keywords
visual feature
visual
image
group
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019059645A
Other languages
English (en)
Other versions
JP6831414B2 (ja
Inventor
ジンセン・チェン
Jingsen Zheng
シーチュン・イー
Shichun Yi
シャオロン・ヤン
Xiaolong Yang
シーユー・ソン
Shiyu Song
ファンファン・ドン
Fangfang Dong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Baidu Online Network Technology Beijing Co Ltd
Original Assignee
Baidu Online Network Technology Beijing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Baidu Online Network Technology Beijing Co Ltd filed Critical Baidu Online Network Technology Beijing Co Ltd
Publication of JP2019215853A publication Critical patent/JP2019215853A/ja
Application granted granted Critical
Publication of JP6831414B2 publication Critical patent/JP6831414B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3602Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S19/00Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
    • G01S19/38Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
    • G01S19/39Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
    • G01S19/42Determining position
    • G01S19/45Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement
    • G01S19/46Determining position by combining measurements of signals from the satellite radio beacon positioning system with a supplementary measurement the supplementary measurement being of a radio-wave signal type
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Abstract

【課題】GPS信号が悪いシーンで高精度の測位問題を実現できる測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体を提供する。【解決手段】測位のための方法は、移動体が位置する地理領域に係る視覚特徴マップを取得するステップ含む。視覚特徴マップが第1群の視覚特徴を含み、また第1群の視覚特徴が地理領域の路面に垂直な第1視覚特徴を含む。方法は、移動体が地理領域での運動中に移動体に結合されたカメラによって捕捉された少なくとも一つの画像を取得するステップと、一つの画像から第1群の視覚特徴に対応する第2群の視覚特徴を抽出するステップと、視覚特徴マップ及び第2群の視覚特徴に基づいて、移動体の運動中の少なくとも一つの姿勢を決定するステップを含む。【選択図】図2

Description

本出願は、非仮米国特許出願であり、これは2018年6月11日に出願された中国出願第201810597963.2号に対する優先権を主張する。上記出願の全開示は、参照により本明細書に組み込まれる。
本開示の実施例は、全体として測位分野に関し、且つ、より具体的に、測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体に関する。
高精度の測位技術は、無人運転技術の重要な構成部分であって、無人運転乗り物は、経路計画、制御決裁及び感知を行う基礎である。伝統な測位方法は、主にグローバル・ポジショニング・システム(GPS)/慣性計測ユニット(IMU)に基づく測位方法と、レーザレーダに基づく測位方法と、カメラに基づく測位方法とを含む。
GPS/IMUに基づく測位方法は、GPS信号が良好である場合に、高精度の測位サービスを提供できるが、実道路では、GPS信号がなく、又はGPS信号が弱いシーンが多くあるので、このような方法の誤差が速やかに累積して、安定で高精度の測位を取得することができなくなる。レーザレーダに基づく方法は、レーダにより、各場所の位置及び深さを正確に計測することができ、点群マップと整合することにより、高精度の測位を取得することができる。しかしながら、レーダ自体が高価であり、大規模に普及することができず、且つ点群マップの更新周期が短く、メンテナンスのコストが高い。カメラに基づく測位方法は、通常、画像における特徴点を整合することにより、前後フレーの間の相対姿勢を決定し、且つ設定された目的関数を最適化することにより、姿勢推定を取得する。しかしながら、照光、視野角等の問題により、このような方法で抽出された特徴は、安定性が不十分であり、且つ積算誤差があるため、自動運転要求を満足する高精度の測位を実現することができない。
本開示の例示的な実施例によれば、測位用方法を提供する。
本開示の第1形態では、測位のための方法を提供する。当該方法は、移動体が位置する地理領域に係る視覚特徴マップを取得するステップ含む。当該視覚特徴マップは、第1群の視覚特徴を含み、また第1群の視覚特徴は、地理領域の路面に垂直な第1視覚特徴を含む。当該方法は、移動体が地理領域での運動中に移動体に結合されたカメラによって捕捉された少なくとも一つの画像を取得するステップをさらに含む。当該方法は、少なくとも一つの画像から第1群の視覚特徴に対応する第2群の視覚特徴を抽出するステップをさらに含む。更に、当該方法は、少なくとも視覚特徴マップ及び第2群の視覚特徴に基づいて、移動体の運動中の少なくとも一つの姿勢を決定するステップを含む。
本開示の第2形態では、測位のための装置を提供する。当該装置は、移動体が位置する地理領域に係る視覚特徴マップを取得するように構成されるマップ取得モジュールであって、当該視覚特徴マップが第1群の視覚特徴を含み、また第1群の視覚特徴が地理領域の路面に垂直な第1視覚特徴を含むマップ取得モジュールと、移動体が地理領域での運動中に当該移動体に結合されたカメラによって捕捉された少なくとも一つの画像を取得するように構成される画像取得モジュールと、少なくとも一つの画像から第1群の視覚特徴に対応する第2群の視覚特徴を抽出するように構成される特徴抽出モジュールと、少なくとも視覚特徴マップ及び第2群の視覚特徴に基づいて、移動体の運動中の少なくとも一つの姿勢を決定するように構成される姿勢決定モジュールとを含む。
本開示の第3形態では、一つ又は複数のプロセッサ及び記憶装置を含む電子機器を提供する。記憶装置は、一つ又は複数のプログラムを記憶するためのものである。一つ又は複数のプログラムが一つ又は複数のプロセッサによって実行される場合に、一つ又は複数のプロセッサが本開示の第1形態に係る方法を実行させる。
本開示の第4形態では、コンピュータプログラムが記憶されるコンピュータ読み取り可能な媒体を提供し、当該コンピュータプログラムがプロセッサによって実行される場合に、本開示の第1形態に係る方法を実現する。
なお、発明内容部分に説明する内容は、本開示の実施例の肝心又は重要特徴を制限することを意図しておらず、本開示の範囲を制限することを意図していない。本開示の他の特徴は、以下の説明により容易に理解され得る。
図面に組み合わせて以下の詳しい説明を参照して、本開示の各実施例の上記及び付加的な特徴、利点及び形態は、より明らかになる。図面では、同一又は類似する符号は、相同又は類似する要素を表す。
本開示の実施例を実現できる例示的な環境を示す概略図である。 本開示の実施例に係る測位用例示的な方法を示すフローチャートである。 本開示の実施例に係る視覚特徴マップを示す概略図である。 本開示の実施例に係る画像から抽出された視覚特徴を示す概略図である。 本開示の実施例に係る移動体の運動中の姿勢を決定するための例示的な方法を示すフローチャートである。 本開示の実施例に係る粒子フィルタリングの例示的な過程を示すフローチャートである。 本開示の実施例に係る複数の粒子の現時点における対応する状態及び対応する加重値のための例示的な方法を示すフローチャートである。 本開示の実施例に係る粒子の現時点における加重値を決定するための例示的な方法を示すフローチャートである。 本開示の実施例に係る投影された視覚特徴及び抽出された視覚特徴を含む画像を示す概略図である。 本開示の実施例に係る投影された視覚特徴及び抽出された視覚特徴を含む画像を示す概略図である。 本開示の実施例に係る測位のための装置を示す模式的なブロック図である。 本開示の複数の実施例を実施できる算出デバイスを示すブロック図である。
以下に、図面を参照しながら本開示の実施例をさらに詳しく説明する。図面には、本開示の一部の実施例を示したが、本開示は、種々な形式により実現されることができ、ここで説明した実施例に限定されると理解されてはならない。逆に、本開示を明らかで、完全に理解するために、これらの実施例を提供する。なお、本開示の図面及び実施例は、例示的な作用を奏し、本開示の保護範囲を限定するものと理解されてはならない。
本開示の実施例の説明において、「含む」の用語及びその類似用語は、オープンエンド形式として理解され、即ち、「含むがこれらに限定されない」を指す。なお、「基づく」は、「少なくとも部分に基づく」と理解すればよい。なお、「一実施例」又は「当該実施例」は、「少なくとも一つの実施例」とで理解すればよい。「第1」、「第2」等は、異なる又は同一の対象を指す。以下、その他の明確及び暗黙的な定義があることもある。
上述のとおり、高精度の測位を実現して無人運転の要求を満足することが望ましい。伝統な測位方法は、主にグローバル・ポジショニング・システム(GPS)/慣性計測ユニット(IMU)に基づく測位方法と、レーザレーダに基づく測位方法と、カメラに基づく測位方法とを含む。
GPS/IMUに基づく測位方法は、GPS信号が良好である場合に、高精度の測位サービスを提供できるが、実道路では、GPS信号がなく、又はGPS信号が弱いシーンが多くあるので、このような方法の誤差が速やかに累積して、安定で高精度の測位を取得することができなくなる。レーザレーダに基づく方法は、レーダにより、各場所の位置及び深さを正確に計測することができ、点群マップと整合することにより、高精度の測位を取得することができる。しかしながら、レーダ自体が高価であり、大規模に普及することができず、且つ点群マップの更新周期が短く、メンテナンスのコストが高い。カメラに基づく測位方法は、通常、画像における特徴点を整合することにより、前後フレーの間の相対姿勢を決定し、且つ設定された目的関数を最適化することにより、姿勢推定を取得する。しかしながら、照光、視野角等の問題により、このような方法で抽出された特徴は、安定性が不十分であり、且つ積算誤差があるため、自動運転要求を満足する高精度の測位を実現することができない。
本開示の実施例によれば、高精度の測位用方法を提出する。当該方法は、移動体に取り付けられた運動計測装置により、物体の異なる時点間での相対運動を推定することにより、物体の前時点における姿勢及び相対運動に基づいて、当該物体の現時点における姿勢を予測する。現時点で捕捉した画像から検出された視覚特徴と、視覚特徴マップで予測された現在姿勢に対応する視覚特徴とを整合することにより、物体の現時点における最終姿勢を決定する。本方法は、GPS信号がなく、又はGPS信号が悪いシーンに適用でき、且つ低コストでL4レベルの自動運転要求を満足する高精度の測位を実現することができる。
以下、図面を参照しながら、本開示の実施例を詳しく説明する。本開示で、「姿勢」の用語とは、物体の特定の座標系での位置及び所作を指す。例えば、二次元座標系では、物体の姿勢が二次元座標及び針路角で示されることができる。三次元座標系では、物体の姿勢が三次元座標、ピッチ角、針路角及び回転角で示されることができる。以下、二次元座標系での姿勢を例として本開示の実施例を検討する。しかしながら、これは例示的なものに過ぎず、本開示の範囲を制限することを意図していないことを理解できる。本開示の実施例は、例えば、三次元座標系での姿勢にも適用できる。更に、「移動体」の用語とは、測位される任意の乗り物又はその他の物体を指す。以下、運転中の車両を移動体の例とする。しかしながら、これは例示的なものに過ぎず、本開示の範囲を制限することを意図していないことを理解できる。本開示の実施例は、類似にその他の移動体、例えば、飛行機等にも適用できる。
図1は、本開示の実施例を実現できる例示的な環境100を示す概略図である。環境100は、全体として、移動体110及び測位装置120を含んでもよい。図1では、測位装置120が移動体110に離れて示されるが、これは例示的なものに過ぎない。一部の実施例では、測位装置120は、移動体110に含まれてもよい。例えば、移動体110が自動運転する車両である場合に、測位装置120は、当該車両での算出装置であってもよい。なお、図1では、例示的な目的として環境100の構造及び機能を説明するが、本開示の範囲への任意の限制を示唆していない。本開示の実施例は、さらに、異なる構造及び/又は機能を有する環境に適用できる。
測位装置120は、移動体110の運動中の姿勢を決定するように構成される。図1に示すように、測位装置120は、移動体110が位置する地理領域に係る視覚特徴マップ101を取得することができる。ここで、前記「視覚特徴」とは、目視で見える特定の対象を指し、且つ「視覚特徴マップ」とは、地理領域での視覚特徴に係る情報(例えば、位置及び始点の座標等)を記録するマップを指す。一部の実施例では、視覚特徴マップ101は、点群マップから生成され(以下、図3に組み合わせてさらに説明する)、且つグリッドとして測位装置120に結合し、又は測位装置120から離れる記憶デバイス(図1に示されない)に記憶されることができる。測位装置120は、視覚特徴マップ101を記憶する記憶デバイスから視覚特徴マップ101を取得することができる。
視覚特徴マップ101は、1群の視覚特徴(本開示で、「第1群の視覚特徴」とも呼ばれる)を含んでもよい。高精度の測位の安定性と信頼性の要求を考えると、視覚特徴マップ101に含まれる第1群の視覚特徴は、十分なロバスト性を有する必要があり、これにより、異なる照光と気象条件で安定に検出されることができ、また、十分な測位制約を提供することができる。
一部の実施例では、第1群の視覚特徴は、路面に垂直な第1視覚特徴を含んでもよい。例えば、第1視覚特徴の例は、路面に垂直なロッド状体、例えば、街灯、電柱、交通表示板等を含んでもよいが、これらに限定されない。付加的に又は代わりに、第1群の視覚特徴は、路面における第2視覚特徴をさらに含んでもよい。例えば、第2視覚特徴の例は、種々な道路標示線、例えば、車線等を含んでもよいがこれらに限定されない。これらの円柱状又は線状の視覚特徴は、異なる照光と気象条件で安定に検出されることができ、また、十分な測位制約を提供することができる。
第1群の視覚特徴は、実線又は破線として視覚特徴マップ101に示されてもよい。例えば、視覚特徴マップ101には、各視覚特徴を示す線分の位置及び始点の座標を記録することができる。例えば、車線の視覚特徴を破線として示すと、付加的な利点を提供することができる。例えば、移動体110の運動に従い、破線で示される車線特徴は、変化しており、これにより、移動体110の測位により多くの制約を提供することができる。
図1に示すように、移動体110には、運動計測装置111とカメラ112が取り付けられてもよい。ここで、前記「運動計測装置」は、移動体110の運動に係る情報を取得できる任意のセンサ又は計測装置を指し、IMU(例えば、加速度計、ジャイロ等を含む)及び速度センサ(例えば、車輪速度計)等を含むがこれらに限定されない。ここで、前記「カメラ」は、画像を捕捉するためのカメラ、高精度カメラ、パノラマカメラ、単眼カメラ等を含んでもよい。
移動体110が地理領域で運動する場合に、運動計測装置111は、移動体110の運動に係る情報103を計測することができ、運動情報103は、例えば、移動体110の角速度と、速度(例えば、車輪回転数)と、加速度と等を含んでもよいがこれらに限定されない。同時に、カメラ112は、移動体110の運動期間に、少なくとも一つの画像102を捕捉することができる。捕捉された少なくとも一つの画像102は、例えば、視覚特徴マップ101における第1群の視覚特徴に対応する第2群の視覚特徴を含んでもよい。
一部の実施例では、第2群の視覚特徴は、第1視覚特徴に対応する第3視覚特徴(即ち、路面に垂直な視覚特徴)含むことができる。例えば、第3視覚特徴の例は、路面に垂直なロッド状体、例えば、街灯、電柱、交通表示板等を含んでもよいが、これらに限定されない。付加的に又は代わりに、第2群の視覚特徴は、第2視覚特徴に対応する第4視覚特徴(即ち、路面における視覚特徴)をさらに含んでもよい。例えば、第4視覚特徴の例は、種々な道路標示線、例えば、車線等を含んでもよいが、これらに限定されない。
測位装置120は、運動情報103と画像102とを取得し、また視覚特徴マップ101と、画像102と、運動情報103とに基づいて移動体110の姿勢を決定することができる。一部の実施例では、測位装置120は、運動情報103に基づいて移動体110の運動を推定することにより、移動体110の直前の時点における姿勢と運動に基づいて、当該移動体110の現時点における姿勢を予測することができる。測位装置120は、画像102から第1群の視覚特徴に対応する第2群の視覚特徴を抽出し、且つ現時点における画像から抽出された視覚特徴と、視覚特徴マップ101において予測された現在姿勢に対応する視覚特徴とを整合することができる。視覚特徴の整合により、測位装置120は、移動体110の運動中の姿勢を決定し、且つ測位結果104を出力することができる。測位結果104は、例えば、ユーザ(例えば、移動体110により示される輸送手段の運転手)に示し、又は自動運転での経路計画及び/又は制御決裁等に応用されることができる。
以下、さらに図面に組み合わせて図1に示す測位装置120の作動原理を詳しく説明する。
図2は、本開示の実施例に係る測位用例示的な方法200を示すフローチャートである。例えば、方法200は、図1に示す測位装置120により実行されることができる。以下、図1に組み合わせて方法200の各動作を詳しく説明する。なお、方法200は、さらに示されない付加的な動作を含んでもよく、及び/又は示される動作を省略してもよい。本開示の範囲は、これに限定されない。
ブロック210では、測位装置120は、移動体110が位置する地理領域に係る視覚特徴マップ101を取得する。
一部の実施例では、視覚特徴マップ101は、点群マップから生成され、且つグリッドとして測位装置120に結合し、又は測位装置120から離れる記憶デバイスに記憶されることができる。測位装置120は、当該記憶デバイスから視覚特徴マップ101を取得することができる。
図3は、本開示の実施例に係る視覚特徴マップ101を示す概略図である。図3に示すように、視覚特徴マップ101は、点群マップ310から生成されることができる。点群マップ310は、レーダスキャンにより得られた地理領域に係る三次元マップである。点群マップ310は、二次元投影により二次元反射マップ320に変換されることができる。更に、点群マップ310は、その中の動的物体を除去することで三次元静的マップ330に変換されることができる。一部の実施例では、自動抽出アルゴリズムで静的マップ330から路面に垂直な視覚特徴340(即ち、第1視覚特徴)、例えば、街灯、電柱、交通表示板等を取得することができる。付加的に又は代わりに、自動抽出アルゴリズムで反射マップ320から路面における視覚特徴350(即ち、第2視覚特徴)、例えば、車線等を抽出することができる。
抽出された第1視覚特徴340及び/又は第2視覚特徴350は、実線又は破線として視覚特徴マップ101に示されることができる。例えば、視覚特徴マップ101には、各視覚特徴を示す線段の位置及び始点の座標を記録することができる。図3に示すように、視覚特徴マップ101は、グリッドとして記憶されることができ、これにより、後続管理と使用が便利になる。例えば、その中のセルは、特定の大きさの地理領域(例えば、128メートル×128メートル)を表すことができる。
図3には、路面に垂直な第1視覚特徴340と路面の表面における第2視覚特徴350とを含む視覚特徴マップ101を示したが、これは例示的なものに過ぎず、本開示の範囲を限定することを意図していないことを理解できる。一部の実施例では、視覚特徴マップ101は、路面に垂直な第1視覚特徴340のみを含んでもよく、又は路面における第2視覚特徴350のみを含んでもよく、又はこれらの組み合わせを含んでもよい。他の一部の実施例では、第1視覚特徴340と第2視覚特徴350以外、視覚特徴マップ101は、その他の視覚特徴をさらに含んでもよく、又は種々な視覚特徴の任意の組み合わせを含んでもよい。本開示の範囲は、これに限定されない。
ブロック220では、測位装置120は、移動体110が地理領域での運動中に移動体110に結合されたカメラ112によって捕捉された少なくとも一つの画像102を取得する。例えば、測位装置120は、カメラ112から少なくとも一つの画像102を取得することができ、また少なくとも一つの画像102は、視覚特徴マップ101における第1群の視覚特徴に対応する第2群の視覚特徴を含んでもよい。ブロック230では、測位装置120は、少なくとも一つの画像102から第1群の視覚特徴に対応する第2群の視覚特徴を抽出する。
一部の実施例では、第1群の視覚特徴は、路面に垂直な第1視覚特徴を含んでもよく、また第1視覚特徴は、路面に垂直なロッド状体、例えば、街灯、電柱、交通表示板等を含んでもよい。測位装置120は、少なくとも一つの画像102から第1視覚特徴に対応する第3視覚特徴を抽出することができる。
付加的に又は代わりに、他の一部の実施例では、第1群の視覚特徴は、路面に垂直な第1視覚特徴と路面における第2視覚特徴との組み合わせを含み、第1視覚特徴は、路面に垂直なロッド状体(例えば、街灯、電柱、交通表示板等)を含み、且つ第2視覚特徴は、路面における道路標示線(例えば、車線等)を含む。測位装置120は、それぞれ少なくとも一つの画像102から第1視覚特徴に対応する第3視覚特徴及び第2視覚特徴に対応する第4視覚特徴を抽出することができる。
一部の実施例では、少なくとも一つの画像102から視覚特徴を抽出する過程は、解析過程と特徴フィッティング過程を含んでもよい。例えば、解析過程は、ニューラルネットワーク(例えば、コンボリューショナルニューラルネットワーク)を用いて少なくとも一つの画像102の中、各画像における特徴に対して画素レベルの意味分割を行うことができる。分割された画像は、特徴がある画素のみで画素値を有してもよい。特徴フィッティング過程は、解析された画素フォアグラウンドポイントに対してハフ(Hough)変換によりその中の直線特徴を抽出することができる。上述の説明は、画像102に対して特徴抽出を行ういくつかの例に過ぎない。なお、任意の既存又は開発される視覚特徴を用いて抽出アルゴリズムにより少なくとも一つの画像102から第1群の視覚特徴に対応する第2群の視覚特徴を抽出することができる。本開示の範囲は、これに限定されない。
図4は、本開示の実施例に係る少なくとも一つの画像102のうち抽出された視覚特徴を示す概略図である。画像400は、例えば、少なくとも一つの画像102における一つの画像である。図4において、白い実線で画像400から抽出された路面に垂直な視覚特徴(例えば、ロッド状体410)を表し、且つ白い破線で画像400から抽出された路面における視覚特徴(例えば、車線420)を表してもよい。
図2に戻り、方法200は、ブロック240に進み、ここで、測位装置120は、少なくとも視覚特徴マップ101及び少なくとも一つの画像102から抽出された第2群の視覚特徴に基づいて、移動体110の運動中の少なくとも一つの姿勢を決定する。
図5は、本開示の実施例に係る移動体110の運動中の少なくとも一つの姿勢を決定するための方法500を示すフローチャートである。例えば、方法500は、図2に示す方法200におけるブロック240の例示的な一実現手段と考えられる。なお、方法500は、示されない付加的な動作を含み、及び/又は示される動作を省略してもよい。本開示の範囲は、これに限定されない。
ブロック510では、測位装置120は、移動体110の運動に係る情報103を取得する。一部の実施例では、運動情報103は、運動計測装置111によって採取される。運動計測装置111は、例えば、IMU(例えば、包括加速度計、ジャイロ等)及び速度センサ(例えば、車輪速度計)等を含んでもよいがこれらに限定されなく、且つ運動情報103は、例えば、移動体110の角速度と、速度(例えば、車輪回転数)と、加速度と等を含んでもよいがこれらに限定されない。
ブロック520では、測位装置120は、視覚特徴マップ101と、画像102から抽出された第2群の視覚特徴と情報103とに基づいて、粒子フィルタリングを用いて移動体110の運動中の姿勢を決定する。
画像102における視覚特徴は、より疎らであり、例えば、一つの画像において、見えるロッド状体の数は、十分に有限であり、さらに少なく、又は車線特徴は、マップにおいて繰り返す現象(例えば、隣接している車線又は実線で示される車線等)があることがある。更に、円柱状又は線状の視覚特徴の整合は、通常に非線形であるため、安定な観測モデルを確立することができない。一部の実施例では、粒子フィルタリングを用いて上述問題やその他の潜在問題を解決することができる。粒子フィルタリングの基本原理は、一連のランダムなサンプルで種々な可能な状態を表し、各サンプルの事後確率を算出することにより、状態の確率密度分布を近似的にシミュレーションすることができる。
図6は、本開示の実施例に係る粒子フィルタリングの例示的な過程600を示すフローチャートである。例えば、過程600は、図5に示す方法500におけるブロック520の例示的な一実現手段と考えられる。なお、過程600は、さらに示されない付加的な動作を含み、及び/又は示される動作を省略してもよい。本開示の範囲は、これに限定されない。
ブロック610では、測位装置120は、複数の粒子を用いて、移動体110の運動中の現時点での複数の可能な姿勢を表す。
一部の実施例では、初期時点において、GPS信号(又はその他の方式)により移動体110の初期姿勢を決定することができる。移動体110の初期状態及び当該初期状態の共分散が既知であると仮定し、当該共分散に基づいて初期状態付近でランダムにK回サンプリングし、K個の粒子を生成し、その中、各粒子の状態は、可能な一姿勢を示す。二次元座標系での姿勢を例とし、例えば、各粒子の状態可は、針路角φと位置座標(x,y)を含んでもよい。例えば、K個の粒子のうち、第i粒子の初期状態をX 0|0として表し、ただし、1≦i≦K、且つ、iは、当該粒子のインデックスを表す。更に、各粒子に対して、初期加重値、例えば、1/Kを分配することができる。時間の推移に伴い、各粒子の状態と加重値は、更新されることができる。
ブロック620では、測位装置120は、複数の粒子の時点kにおける対応する状態と対応する加重値とを決定する。図7は、本開示の実施例に係る複数の粒子の時点kにおける対応する状態と対応する加重値とのための方法700を示すフローチャートである。例えば、方法700は、図6に示す過程600におけるブロック620の例示的な一実現手段と考えられる。なお、方法700は、示されない付加的な動作を含み、及び/又は示される動作を省略してもよい。本開示の範囲は、これに限定されない。
ブロック710では、K個の粒子のうち、第i粒子に対して、測位装置120は、当該粒子の時点kの現時点前であるk−1における第1状態と第1加重値とを決定する。その後、ブロック720において、測位装置120は、運動情報103と第1状態とに基づいて当該粒子の時点kにおける第2状態を推定する。
一部の実施例では、運動モデル及び粒子の時点kの直前の時点k−1における第1状態によって粒子の現時点kにおける第2状態を推定することができる。例えば、測位装置120は、以下の数式(1)から粒子の現時点kにおける第2状態を決定することができる:
ただし、X k|k−1は、時点k−1における状態に基づいて予測された現時点kにおけるi番目の粒子の状態を表し、X k−1|k−1は、当該粒子の時点k−1における状態を表し、且つΔXは、当該粒子の時点k−1から時点kまでの状態変化を表す。以上の数式(1)において、Φ k−1|k−1は、当該粒子の時点k−1における針路角を表し、x k−1|k−1は、当該粒子の時点k−1における横座標を表し、y k−1|k−1は、当該粒子の時点k−1における縦座標を表し、且つΔtは、時点k−1から時点kまでの期間間隔を表す。ω^とν^とは、それぞれ角速度と速度を表し、それらは、運動計測装置111によって計測された運動情報103からのものである。
一部の実施例では、計測過程ではノイズがある可能性があるため、ガウスノイズにより近似することができ、例えば、以下の数式(2)のように示すことができる。
ただし、ωgyroは、例えば、運動計測装置111でのIMUに基づいて計測された角速度であり、νwheelは、例えば、運動計測装置111での車輪速度計によって計測された速度であり、ε σgyroとε σwheelとは、それぞれ角速度と速度のノイズのサンプリングである。
ブロック730では、測位装置120は、第1加重値と第2状態とに基づいて当該粒子の時点kにおける第2加重値を決定する。
一部の実施例では、ブロック720に示すような時間更新ステップを経て、粒子iの時点kにおける予測状態X k|k−1、即ち、移動体110の可能な一予測姿勢を決定することができる。この時、測位装置120は、視覚特徴マップ101における視覚特徴を座標変換により時点kで捕捉された画像に投影し、当該画像から抽出された視覚特徴と投影された視覚特徴とのマッチング度を算出することにより、粒子の事後確率を更新することで、当該粒子の時点kにおける第2加重値を決定することができる。
例えば、粒子iの時点kにおける第2加重値は、以下の数式(3)から決定することができる:
ただし、w k−1は、粒子iの時点k−1における第1加重値を表し、w は、粒子iの時点kにおける第2加重値を表し、P(z |x k|k−1,m)は、マッチング度により算出された当該粒子の現在確率を表す。一部の実施例では、粒子の加重値をよりよく区別するために、ガウス関数により確率をフィッティングすることができ、即ち、数式(4)のように示すことができる。
ただし、平均値μ=min(E)であり、分散σ=(Σ(E−μ))/Kである。Eは、粒子iへのマッチング度を表し、以下、図8に組み合わせてEを如何に決定することを詳しく説明する。
図8は、本開示の実施例に係る粒子iの時点kにおける第2加重値を決定するための方法800を示すフローチャートである。例えば、方法800は、図7に示す方法700におけるブロック730の例示的な一実現手段と考えられる。なお、方法800は、さらに示されない付加的な動作を含み、及び/又は示される動作を省略してもよい。本開示の範囲は、これに限定されない。
ブロック810では、測位装置120は、粒子の現時点kにおける第2状態及び視覚特徴マップ101に基づいて、時点kで捕捉された画像(本開示で、「第1画像」とも呼ばれる)に出現するように予期される少なくとも一つの視覚特徴を決定する。
一部の実施例では、測位装置120は、粒子iの時点kにおける予測状態X k|k−1に基づいて、視覚特徴マップ101における視覚特徴(例えば、第1視覚特徴及び/又は第2視覚特徴)を座標変換により時点kで捕捉された第1画像に投影することができる。視覚特徴マップ101のうち、第1画像に投影された視覚特徴は、第1画像で出現するように予期される視覚特徴である。例えば、図9Aは、本開示の実施例に係る投影された視覚特徴及び抽出された視覚特徴を含む第1画像900を示す概略図である。図9Aにおいて、白い実線と破線で第1画像900から抽出された視覚特徴(例えば、路面に垂直な視覚特徴及び路面における視覚特徴を含む)を表す。更に、図9Aにおいて、黒い実線で視覚特徴マップ101のうち、第1画像900に投影された視覚特徴(例えば、路面に垂直な視覚特徴及び路面における視覚特徴を含む)を表す。
ブロック820では、測位装置120は、第1画像で出現するように予期される少なくとも一つの視覚特徴と第1画像から抽出された少なくとも一つの視覚特徴との間のマッチング度を決定する。
第1画像に投影された視覚特徴と第1画像から抽出された視覚特徴とのマッチング度を如何に決定することを説明するために、図9Aでは、例示的な領域910を示す。図9Aに示すように、例示的な領域910では、第1画像900に投影された車線も、そもそも第1画像900に出現した抽出された車線も含む。説明の便宜上、図9Bは、図9Aでの例示的な領域910を拡大して示す。
図9Bに示すように、例示的な領域910には、そもそも第1画像900に出現した抽出された車線特徴901(以下の数式では添字pで表される)及び視覚特徴マップ101から第1画像900に投影された車線特徴902(以下の数式では添字qで表す)を含む。特徴901と902との間の誤差メトリックは、角度誤差θerr、距離誤差derr、及び重なり長さlの三つ部分を含んでもよい。特徴901と902との最終マッチング度は、以上の数式(5)から決定することができる:
ただし、Epqは、マッチング度を表し、当該値が大きければマッチング度が高くなる。数式(5)でのパラメータratioは、予め定義された係数である。
第1画像から抽出された特徴総数がMであり、第1画像に投影されたマップ特徴総数がNであると仮定する。一部の実施例では、第1画像から抽出されたM個の視覚特徴のそれぞれに対して、投影された対応特徴と整合し、対応したマッチング度を決定することができる。このように、値が最も大きいEpqを取得することができ、それが特徴pのマッチング度とされ、即ち、数式(6)のように示すことができる。
一部の実施例では、ロッド状体に対して、遮蔽等がある可能性があるため、一部しか検出できず、マッチング度を算出する場合に、重なり長さlを考えなくてもよい。
その後、第1画像における全ての特徴のマッチング度を加算することにより、粒子iへのマッチング度を取得することができる:
ブロック830では、測位装置120は、粒子iの時点k−1における第1加重値とマッチング度とに基づいて、粒子iの時点kにおける第2加重値を決定することができる。
一部の実施例では、例えば、測位装置120は、以上の数式(3)〜数式(7)から粒子iの時点kにおける第2加重値w を決定することができる。一部の実施例では、決定した粒子の加重値に対して正規化処理を行い、即ち全ての粒子の加重値の合計を1とすることができる。
このように、測位装置120は、複数の粒子の時点kにおける対応する状態と対応する加重値とを決定することができる。
図6に戻り、過程600は、ブロック630に進み、ここで、測位装置120は、複数の粒子の時点kにおける対応する状態と対応する加重値とに基づいて、移動体110の当該時点kにおける姿勢を決定することができる。
一部の実施例では、測位装置120は、全ての粒子の分布状態に基づいて粒子を複数クラスタにまとめ、全ての粒子を複数のクラスタに分けることができる。測位装置120は、さらにクラスタのそれぞれにおける粒子の加重値の合計を決定することにより、加重値の合計が最も大きいクラスタを決定することができる。加重値の合計が最も大きいクラスタには、粒子集合Φを含むと仮定すれば、移動体110の当該時点kにおける姿勢は、以下の数式(8)のように決定されることができる。
一部の実施例では、上述の粒子フィルタリング過程において、粒子の劣化(即ち、その確率がゼロになる)により、加重値分布が不均一になることを回避するために、粒子を再度サンプリングすることにより、大部の粒子の確率が有效範囲にあることを保証することができる。
例えば、以下の数式(9)を満足する場合に、再度サンプリングすることができる。
ただし、Kは、粒子の数を表す。
図6〜8は、本開示の実施例に係る粒子フィルタリング過程を示す。上述のとおり、粒子フィルタリングは、画像102における視覚特徴がより疎らであるという問題を解決することができる。一部の実施例では、測位装置120は、さらに、粒子フィルタリングの結果に対して付加的な処理を行うことができる。例えば、粒子フィルタリングの結果と運動情報103(例えば、IMUに基づいて計測された情報)を拡張カルマンフィルタリングに提供することにより、測位結果の品質をさらに向上させることができる。簡略化するために、本開示では説明を省略する。
このように、本開示の実施例は、伝統な測位方法における種々な問題を克服ことができる。例えば、本開示の実施例は、GPS信号がなく、又はGPS信号が悪いシーンで高精度の測位を実現することにより、低いコストでL4レベルの自動運転要求を満足することができる。
図10は、本開示の実施例に係る測位のための装置1000を示す模式的なブロック図である。図10に示すように、装置1000は、移動体が位置する地理領域に係る視覚特徴マップを取得するように構成されるマップ取得モジュール1010を含んでもよい。当該視覚特徴マップは、第1群の視覚特徴を含み、また第1群の視覚特徴は、地理領域の路面に垂直な第1視覚特徴を含む。装置1000は、移動体が地理領域での運動中に移動体に結合されたカメラによって捕捉された少なくとも一つの画像を取得するように構成される、画像取得モジュール1020をさらに含んでもよい。装置1000は、少なくとも一つの画像から第1群の視覚特徴に対応する第2群の視覚特徴を抽出するように構成される特徴抽出モジュール1030をさらに含んでもよい。更に、装置1000は、少なくとも視覚特徴マップ及び第2群の視覚特徴に基づいて、移動体の運動中の少なくとも一つの姿勢を決定するように構成される姿勢決定モジュール1040をさらに含んでもよい。
一部の実施例では、第1視覚特徴は、前記地理領域の路面に垂直なロッド状体を含む。
一部の実施例では、第1群の視覚特徴は、地理領域の路面における第2視覚特徴をさらに含む。
一部の実施例では、第2視覚特徴は、地理領域の路面における道路標示線を含む。
一部の実施例では、特徴抽出モジュールは、さらに少なくとも一つの画像から第1視覚特徴と第2視覚特徴とにそれぞれ対応する第3視覚特徴と第4視覚特徴とを抽出するように構成される。姿勢決定モジュールは、さらに、少なくとも視覚特徴マップと、第3視覚特徴と、第4視覚特徴とに基づいて、移動体の運動中の少なくとも一つの姿勢を決定するように構成される。
一部の実施例では、姿勢決定モジュールは、移動体の運動に係る情報を取得するように構成される情報取得ユニットと、粒子視覚特徴マップと、第2群の視覚特徴と、情報とに基づいて、粒子フィルタリングを用いて移動体の運動中の少なくとも一つの姿勢を決定するように構成される粒子フィルタリングユニットとを含む。
一部の実施例では、情報取得ユニットは、さらに、移動体に結合された慣性計測ユニットと速度センサとの少なくとも一つから情報を取得するように構成される。
一部の実施例では、当該情報は、移動体の角速度と速度との少なくとも一つを含む。
一部の実施例では、粒子フィルタリングユニットは、さらに、複数の粒子を用いて移動体の運動中の現時点での複数の可能姿勢を表示し、複数の粒子の当該時点における対応する状態と対応する加重値とを決定し、複数の粒子の当該時点における対応する状態と対応する加重値とに基づいて、移動体の当該時点における姿勢を決定するように構成される。
一部の実施例では、粒子フィルタリングユニットは、さらに、複数の粒子のうち、一つの粒子に基づいて、当該粒子の当該時点の直前の時点における第1状態と第1加重値とを決定し、情報と第1状態とに基づいて、当該粒子の当該時点における第2状態を推定し、第1加重値及び第2状態に基づいて、当該粒子の当該時点における第2加重値を決定することにより、複数の粒子の当該時点における対応する状態と対応する加重値とを決定するように構成される。
一部の実施例では、粒子フィルタリングユニットは、さらに、第2状態と視覚特徴マップとに基づいて、少なくとも一つの画像のうち、移動体に結合されたカメラによって当該時点で捕捉された第1画像に、出現するように予期される第1群の視覚特徴の少なくとも一つの視覚特徴を決定し、第1画像に出現するように予期される少なくとも一つの視覚特徴と、第1画像から抽出された第2群の視覚特徴における少なくとも一つの視覚特徴との間のマッチング度を決定し、第1加重値とマッチング度とに基づいて、第2加重値を決定することにより、当該粒子の当該時点における第2加重値を決定するように構成される。
図11は、本開示の実施例を実施できるデバイス1100を示す模式的なブロック図である。デバイス1100は、図1に示す測位装置120を実現するためのものであってもよい。図に示すように、デバイス1100は、リードオンリーメモリ(ROM)1102に記憶されるコンピュータプログラム命令又は記憶ユニット1108からランダムアクセスメモリ(RAM)1103にロードされるコンピュータプログラム命令に基づいて、それぞれの適当な動作と処理を実行する中央処理装置(CPU)1101を備える。RAM1103には、デバイス1100の操作に必要な種々なプログラムとデータを記憶することができる。CPU1101、ROM1102及びRAM1103は、バス1104を介して互いに接続されている。入力/出力(I/O)インターフェース1105もバス1104に接続される。
デバイス1100において、複数の部材がI/Oインターフェース1105に接続され、複数の部材として、例えば、キーボード、マウス等の入力ユニット1106と、例えば、種々なディスプレイ、スピーカ等の出力ユニット1107と、例えば、磁気ディスク、光ディスク等の記憶ユニット1108と、例えば、ネットワークカード、モデム、無線通信送受信機等の通信ユニット1109とを含む。通信ユニット1109は、デバイス1100が例えば、インターネットのようなコンピュータネット及び/又は種々なキャリアネットワークによりその他のデバイスに情報/データを交換することを許可する。
処理ユニット1101は、上述の各方法及び処理、例えば、方法200や、方法500や、方法600や、方法700及び/又は800を実行する。例えば、一部の実施例では、方法200と、方法500と、方法600と、700及び/又は800は、コンピュータソフトウエアプログラムとして実現されることができ、機器読み取り可能な媒体、例えば、記憶ユニット1108に有形的に含まれる。一部の実施例では、コンピュータプログラムの一部又は全ては、ROM1102及び/又は通信ユニット1109を経て、デバイス1100にロード及び/又はインストールされる。コンピュータプログラムがRAM1103にロードされCPU1101によって実行される場合に、上述の方法200、500、600、700及び/又は800の一つ又は複数のステップに実行される。或いは、その他の実施例では、CPU1101は、その他の任意の適当な方式(例えば、ファームウェアを経る)により方法200や、方法500や、方法600や、方法700及び/又は800を実行されるように構成される。
本開示で、上記した機能は、少なくとも部分的に一つ又は複数のハードウェア論理装置によって実行されることができる。例えば、非限定的に、使用可能なハードウェア論理装置としては、プログラム可能なゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準品(ASSP)、システムオンチップ(SOC)、複雑プログラム可能論理装置(CPLD)等が挙げられる。
本開示の方法を実施するためのプログラムコードは、一つ又は複数のプログラミング言語の任意の組み合わせにより記述されることができる。これらのプログラムコードは、汎用コンピュータや、専門コンピュータ又はその他のプログラミングデータ処理装置的プロセッサ又は制御器に提供し、プログラムコードがプロセッサ又は制御器によって実行される場合に、フローチャート及び/又はブロック図に規定の機能/操作を実施させることができる。プログラムコードは、完全に機器で実行されてもよく、部分に機器で実行されてもよく、独立のパッケージとして部分に機器で実行されるとともに、部分にリモート機器で実行されてもよく、又は完全にリモート機器又はサービス器で実行されてもよい。
本開示の説明において、機器読み取り可能な媒体は、有形な媒体であってもよく、命令実行システム、装置又はデバイスの使用、又は命令実行システム、装置又はデバイスとの併用に提供されるプログラムを含み、又は記憶する。機器読み取り可能な媒体は、機器読み取り可能な信号媒体又は機器読み取り可能な記憶媒体であってもよい。機器読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線、若しくは半導体のシステム、装置、若しくはデバイス、または前述の任意の適切な組み合わせを含んでもよいがこれらに限定されない。機器読み取り可能な記憶媒体のさらなる具体例として、1つ若しくは複数のワイヤーを有する電気的接続、携帯型フロッピー(登録商標)ディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラム可能ROM(EPROMまたはフラッシュメモリ)、光ファイバー、携帯型コンパクトディスク読み取り専用メモリ(CD−ROM)、光学記憶装置、磁気記憶装置、または前述の任意の組み合わせを含む。
更に、特定の順番で各操作を説明したが、このような操作を、示される特定の順番又は順位で実行することが求められ、又は図示した操作の全てを実行して所望の結果を取得することが求められる。一定の環境において、複数の任務と並列処理が有利である可能性がある。同様に、以上の説明には、若干の具体的な実現詳細を含むが、本開示の範囲を限定するものと理解されてはならない。単独の実施例の前後に説明したある特徴は、一つの実現に組み合わせて実現されることができる。逆に、一つの実現の前後に説明した種々な特徴は、単独又は任意の適合のサブ組み合わせとして複数の実現に実現されることができる。
構造特徴及び/又は方法論理動作を特定した言語により、本対象を説明したが、特許請求の範囲に限定される対象は、上記した特定の特徴又は動作に限らない。逆に、上記した特定特徴と動作は、特許請求の範囲の例を実現するためのものに過ぎない。

Claims (24)

  1. 測位のための方法であって、
    移動体が位置する地理領域に係る視覚特徴マップを取得するステップであって、前記視覚特徴マップは第1群の視覚特徴を含み、前記第1群の視覚特徴は前記地理領域の路面に垂直な第1視覚特徴を含むステップと、
    前記移動体の前記地理領域での運動中に前記移動体に結合されたカメラによって捕捉された少なくとも一つの画像を取得するステップと、
    前記少なくとも一つの画像から前記第1群の視覚特徴に対応する第2群の視覚特徴を抽出するステップと、
    少なくとも前記視覚特徴マップと前記第2群の視覚特徴とに基づいて、前記移動体の前記運動中の少なくとも一つの姿勢を決定するステップと、を含むことを特徴とする、
    測位のための方法。
  2. 前記第1視覚特徴は、前記地理領域の路面に垂直なロッド状体を含む、
    請求項1に記載の方法。
  3. 前記第1群の視覚特徴は、前記地理領域の路面における第2視覚特徴をさらに含む、
    請求項1に記載の方法。
  4. 前記第2視覚特徴は、前記地理領域の路面における道路標示線を含む、
    請求項3に記載の方法。
  5. 前記第2群の視覚特徴を抽出するステップは、
    前記少なくとも一つの画像から前記第1視覚特徴と前記第2視覚特徴とにそれぞれ対応する第3視覚特徴と第4視覚特徴とを抽出するステップを含み、
    前記移動体の前記運動中の前記少なくとも一つの姿勢を決定するステップは、
    少なくとも前記視覚特徴マップと、前記第3視覚特徴と、前記第4視覚特徴とに基づいて、前記移動体の前記運動中の前記少なくとも一つの姿勢を決定するステップを含む、
    請求項3に記載の方法。
  6. 前記移動体の前記運動中の前記少なくとも一つの姿勢を決定するステップは、
    前記移動体の運動に係る情報を取得するステップと、
    前記視覚特徴マップと、前記第2群の視覚特徴と、前記情報とに基づいて、粒子フィルタリングを用いて前記移動体の前記運動中の前記少なくとも一つの姿勢を決定するステップと、を含む、
    請求項1に記載の方法。
  7. 前記移動体の運動に係る前記情報を取得するステップは、
    前記移動体に結合された慣性計測ユニットと速度センサとの少なくとも一つから前記情報を取得するステップを含む、
    請求項6に記載の方法。
  8. 前記情報は、前記移動体の角速度と速度との少なくとも一つを含む、
    請求項6に記載の方法。
  9. 前記粒子フィルタリングを用いて前記移動体の前記運動中の前記少なくとも一つの姿勢を決定するステップは、
    複数の粒子を用いて、前記移動体の前記運動中の現時点における複数の可能な姿勢を表すステップと、
    前記複数の粒子の前記現時点における対応する状態と対応する加重値とを決定するステップと、
    前記複数の粒子の前記現時点における前記対応する状態と前記対応する加重値とに基づいて、前記移動体の前記現時点における姿勢を決定するステップと、を含む、
    請求項6に記載の方法。
  10. 前記複数の粒子の前記現時点における対応する状態と対応する加重値とを決定するステップは、
    前記複数の粒子のうち、一つの粒子に対して、
    前記粒子の前記現時点の直前の時点における第1状態と第1加重値とを決定するステップと、
    前記情報と前記第1状態とに基づいて、前記粒子の前記現時点における第2状態を推定するステップと、
    前記第1加重値と前記第2状態とに基づいて、前記粒子の前記現時点における第2加重値を決定するステップと、を含む、
    請求項9に記載の方法。
  11. 前記粒子の前記現時点における前記第2加重値を決定するステップは、
    前記第2状態と前記視覚特徴マップとに基づいて、前記少なくとも一つの画像のうちの第1画像において出現するように予期される前記第1群の視覚特徴における少なくとも一つの視覚特徴を決定するステップであって、前記第1画像は前記移動体に結合された前記カメラによって前記現時点で捕捉されたものであるステップと、
    前記第1画像に出現するように予期される前記少なくとも一つの視覚特徴と、前記第1画像から抽出された前記第2群の視覚特徴における少なくとも一つの視覚特徴との間のマッチング度を決定するステップと、
    前記第1加重値と前記マッチング度とに基づいて、前記第2加重値を決定するステップと、を含む、
    請求項10に記載の方法。
  12. 測位のための装置であって、
    移動体が位置する地理領域に係る視覚特徴マップを取得するように構成されるマップ取得モジュールであって、前記視覚特徴マップは第1群の視覚特徴を含み、前記第1群の視覚特徴は前記地理領域の路面に垂直な第1視覚特徴を含むマップ取得モジュールと、
    前記移動体の前記地理領域での運動中に前記移動体に結合されたカメラによって捕捉された少なくとも一つの画像を取得するように構成される画像取得モジュールと、
    前記少なくとも一つの画像から前記第1群の視覚特徴に対応する第2群の視覚特徴を抽出するように構成される特徴抽出モジュールと、
    少なくとも前記視覚特徴マップと前記第2群の視覚特徴とに基づいて、前記移動体の前記運動中の少なくとも一つの姿勢を決定するように構成される姿勢決定モジュールと、を含む、
    測位のための装置。
  13. 前記第1視覚特徴は、前記地理領域の路面に垂直なロッド状体を含む、
    請求項12に記載の装置。
  14. 前記第1群の視覚特徴は、前記地理領域の路面における第2視覚特徴をさらに含む、
    請求項12に記載の装置。
  15. 前記第2視覚特徴は、前記地理領域の路面における道路標示線を含む、
    請求項14に記載の装置。
  16. 前記特徴抽出モジュールは、さらに、
    前記少なくとも一つの画像から前記第1視覚特徴と前記第2視覚特徴とにそれぞれ対応する第3視覚特徴と第4視覚特徴とを抽出するように構成され、
    前記姿勢決定モジュールは、さらに、
    少なくとも前記視覚特徴マップと、前記第3視覚特徴と、前記第4視覚特徴とに基づいて、前記移動体の前記運動中の前記少なくとも一つの姿勢を決定するように構成される、
    請求項14に記載の装置。
  17. 前記姿勢決定モジュールは、
    前記移動体の運動に係る情報を取得するように構成される情報取得ユニットと、
    前記視覚特徴マップと、前記第2群の視覚特徴と、前記情報とに基づいて、粒子フィルタリングを用いて、前記移動体の前記運動中の前記少なくとも一つの姿勢を決定するように構成される粒子フィルタリングユニットと、を含む、
    請求項12に記載の装置。
  18. 前記情報取得ユニットは、さらに、
    前記移動体に結合された慣性計測ユニットと速度センサとの少なくとも一つから前記情報を取得するように構成される、
    請求項17に記載の装置。
  19. 前記情報は、前記移動体の角速度と速度との少なくとも一つを含む、
    請求項17に記載の装置。
  20. 前記粒子フィルタリングユニットは、さらに、
    複数の粒子を用いて、前記移動体の前記運動中の現時点における複数の可能な姿勢を表し、
    前記複数の粒子の前記現時点における対応する状態と対応する加重値とを決定し、
    前記複数の粒子の前記現時点における前記対応する状態と対応する加重値とに基づいて、前記移動体の前記現時点における姿勢を決定するように構成される、
    請求項17に記載の装置。
  21. 前記粒子フィルタリングユニットは、さらに、
    前記複数の粒子のうち、一つの粒子に対して、
    前記粒子の前記現時点の直前の時点における第1状態と第1加重値とを決定し、
    前記情報と前記第1状態とに基づいて、前記粒子の前記現時点における第2状態を推定し、
    前記第1加重値と前記第2状態とに基づいて、前記粒子の前記現時点における第2加重値を決定することにより、
    前記複数の粒子の前記現時点における対応する状態と対応する加重値とを決定するように構成される、
    請求項20に記載の装置。
  22. 前記粒子フィルタリングユニットは、さらに、
    前記第2状態と前記視覚特徴マップとに基づいて、前記少なくとも一つの画像のうちの第1画像において出現するように予期される前記第1群の視覚特徴における少なくとも一つの視覚特徴を決定し、前記第1画像は前記移動体に結合された前記カメラによって前記現時点で捕捉されたものであり、
    前記第1画像に出現するように予期される前記少なくとも一つの視覚特徴と、前記第1画像から抽出された前記第2群の視覚特徴における少なくとも一つの視覚特徴との間のマッチング度を決定し、
    前記第1加重値と前記マッチング度とに基づいて、前記第2加重値を決定することにより、
    前記粒子の前記現時点における前記第2加重値を決定するように構成される、
    請求項21に記載の装置。
  23. 電子機器であって、
    一つ又は複数のプロセッサと、
    一つ又は複数のプログラムを記憶するための記憶装置と、を含み、
    前記一つ又は複数のプログラムが前記一つ又は複数のプロセッサによって実行される場合に、前記一つ又は複数のプロセッサに請求項1〜11のいずれかに記載の方法を実現させる、
    電子機器。
  24. コンピュータプログラムが記憶されているコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータプログラムがプロセッサによって実行される場合に、請求項1〜11のいずれかに記載の方法を実現する、
    コンピュータ読み取り可能な記憶媒体。
JP2019059645A 2018-06-11 2019-03-27 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体 Active JP6831414B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810597963.2A CN109061703B (zh) 2018-06-11 2018-06-11 用于定位的方法、装置、设备和计算机可读存储介质
CN201810597963.2 2018-06-11

Publications (2)

Publication Number Publication Date
JP2019215853A true JP2019215853A (ja) 2019-12-19
JP6831414B2 JP6831414B2 (ja) 2021-02-17

Family

ID=64820212

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019059645A Active JP6831414B2 (ja) 2018-06-11 2019-03-27 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体

Country Status (4)

Country Link
US (1) US10964054B2 (ja)
EP (1) EP3581890B8 (ja)
JP (1) JP6831414B2 (ja)
CN (1) CN109061703B (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111750881B (zh) * 2019-03-29 2022-05-13 北京魔门塔科技有限公司 一种基于路灯杆的车辆位姿的修正方法和装置
WO2020206639A1 (zh) * 2019-04-10 2020-10-15 深圳市大疆创新科技有限公司 目标物体的拟合方法、点云传感器和移动平台
US20220214186A1 (en) * 2019-05-06 2022-07-07 Zenuity Ab Automated map making and positioning
CN110211181B (zh) * 2019-05-15 2021-04-23 达闼机器人有限公司 视觉定位的方法、装置、存储介质和电子设备
JP6988859B2 (ja) * 2019-06-07 2022-01-05 トヨタ自動車株式会社 自己位置共有システム、車両及び端末
CN110260855B (zh) * 2019-06-24 2021-06-29 北京壹氢科技有限公司 一种融合行人航位推算、地磁信息与室内地图信息的室内行人导航定位方法
CN110298320B (zh) * 2019-07-01 2021-06-22 北京百度网讯科技有限公司 一种视觉定位方法、装置及存储介质
CN110556012B (zh) * 2019-09-16 2022-03-08 北京百度网讯科技有限公司 车道定位方法及车辆定位系统
US10609148B1 (en) * 2019-09-17 2020-03-31 Ha Q Tran Smart vehicle
WO2021056128A1 (en) * 2019-09-23 2021-04-01 Beijing Voyager Technology Co., Ltd. Systems and methods for calibrating an inertial measurement unit and a camera
CN110989619B (zh) * 2019-12-23 2024-01-16 阿波罗智能技术(北京)有限公司 用于定位对象的方法、装置、设备和存储介质
CN111161353B (zh) * 2019-12-31 2023-10-31 深圳一清创新科技有限公司 车辆定位方法、装置、可读存储介质和计算机设备
CN111174782B (zh) * 2019-12-31 2021-09-17 智车优行科技(上海)有限公司 位姿估计方法、装置、电子设备及计算机可读存储介质
CN111220164A (zh) * 2020-01-21 2020-06-02 北京百度网讯科技有限公司 定位方法、装置、设备及存储介质
EP3882649B1 (en) * 2020-03-20 2023-10-25 ABB Schweiz AG Position estimation for vehicles based on virtual sensor response
CN111461980B (zh) * 2020-03-30 2023-08-29 北京百度网讯科技有限公司 点云拼接算法的性能估计方法和装置
CN111553844B (zh) * 2020-04-29 2023-08-29 阿波罗智能技术(北京)有限公司 用于更新点云的方法及装置
CN111680596B (zh) * 2020-05-29 2023-10-13 北京百度网讯科技有限公司 基于深度学习的定位真值校验方法、装置、设备及介质
CN111651547B (zh) * 2020-06-04 2023-07-18 北京四维图新科技股份有限公司 高精度地图数据的获取方法、装置及可读存储介质
US11875519B2 (en) * 2020-08-13 2024-01-16 Medhat Omr Method and system for positioning using optical sensor and motion sensors
CN114248778B (zh) * 2020-09-22 2024-04-12 华为技术有限公司 移动设备的定位方法和定位装置
CN113189613B (zh) * 2021-01-25 2023-01-10 广东工业大学 一种基于粒子滤波的机器人定位方法
CN112985427B (zh) * 2021-04-29 2021-07-30 腾讯科技(深圳)有限公司 车辆的车道跟踪方法、装置、计算机设备及存储介质
CN113393515B (zh) * 2021-05-21 2023-09-19 杭州易现先进科技有限公司 一种结合场景标注信息的视觉定位方法和系统
CN115294204B (zh) * 2022-10-10 2023-03-17 浙江光珀智能科技有限公司 一种户外目标定位方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011511281A (ja) * 2008-02-04 2011-04-07 テレ アトラス ノース アメリカ インコーポレイテッド センサにより検出されたオブジェクトとマップマッチングする方法
WO2015015939A1 (ja) * 2013-08-01 2015-02-05 日産自動車株式会社 車両位置姿勢角推定装置及び車両位置姿勢角推定方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102053249B (zh) * 2009-10-30 2013-04-03 吴立新 基于激光扫描和序列编码图形的地下空间高精度定位方法
TWI614148B (zh) * 2010-02-03 2018-02-11 百樂墨水股份有限公司 熱變色性書寫筆具及書寫筆具
CN102760310B (zh) * 2012-06-15 2015-05-27 深圳市金溢科技股份有限公司 基于dsrc的车辆定位装置、方法和dsrc应用系统
CN103076007B (zh) * 2012-12-28 2016-01-20 苏州苏迪智能系统有限公司 侧方位停车检测系统及其检测方法
US9589355B2 (en) * 2015-03-16 2017-03-07 Here Global B.V. Guided geometry extraction for localization of a device
US11125566B2 (en) * 2015-07-16 2021-09-21 Ford Global Technologies, Llc Method and apparatus for determining a vehicle ego-position
CN105652871A (zh) * 2016-02-19 2016-06-08 深圳杉川科技有限公司 移动机器人的重定位方法
CN106323288A (zh) * 2016-08-01 2017-01-11 杰发科技(合肥)有限公司 一种交通工具的定位和搜寻方法、装置以及移动终端
WO2018086133A1 (en) 2016-11-14 2018-05-17 SZ DJI Technology Co., Ltd. Methods and systems for selective sensor fusion
CN106651953B (zh) * 2016-12-30 2019-10-18 山东大学 一种基于交通指示牌的车辆位姿估计方法
CN106828489B (zh) * 2017-02-14 2019-04-26 中国科学院自动化研究所 一种车辆行驶控制方法及装置
CN106840179B (zh) * 2017-03-07 2019-12-10 中国科学院合肥物质科学研究院 一种基于多传感器信息融合的智能车定位方法
CN107339996A (zh) * 2017-06-30 2017-11-10 百度在线网络技术(北京)有限公司 车辆自定位方法、装置、设备及存储介质
CN107478214A (zh) * 2017-07-24 2017-12-15 杨华军 一种基于多传感器融合的室内定位方法及系统
CN107808395B (zh) * 2017-10-31 2020-12-04 南京维睛视空信息科技有限公司 一种基于slam的室内定位方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011511281A (ja) * 2008-02-04 2011-04-07 テレ アトラス ノース アメリカ インコーポレイテッド センサにより検出されたオブジェクトとマップマッチングする方法
WO2015015939A1 (ja) * 2013-08-01 2015-02-05 日産自動車株式会社 車両位置姿勢角推定装置及び車両位置姿勢角推定方法

Also Published As

Publication number Publication date
EP3581890B1 (en) 2021-10-27
CN109061703A (zh) 2018-12-21
JP6831414B2 (ja) 2021-02-17
CN109061703B (zh) 2021-12-28
US20190378296A1 (en) 2019-12-12
US10964054B2 (en) 2021-03-30
EP3581890A2 (en) 2019-12-18
EP3581890A3 (en) 2020-03-04
EP3581890B8 (en) 2021-12-08

Similar Documents

Publication Publication Date Title
JP6831414B2 (ja) 測位のための方法、測位のための装置、デバイス及びコンピュータ読み取り可能な記憶媒体
CN109459734B (zh) 一种激光雷达定位效果评估方法、装置、设备及存储介质
JP6812404B2 (ja) 点群データを融合させるための方法、装置、コンピュータ読み取り可能な記憶媒体、及びコンピュータプログラム
KR102273559B1 (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
CN109270545B (zh) 一种定位真值校验方法、装置、设备及存储介质
US11092444B2 (en) Method and system for recording landmarks in a traffic environment of a mobile unit
CN111998860B (zh) 自动驾驶定位数据校验方法、装置、电子设备及存储介质
WO2018142900A1 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
JP2021139898A (ja) 測位方法、装置、計算装置、コンピュータ可読記憶媒体及びコンピュータプログラム
EP3438925A1 (en) Information processing method and information processing device
CN113916243A (zh) 目标场景区域的车辆定位方法、装置、设备和存储介质
KR20210089602A (ko) 차량의 제어 방법, 장치 및 차량
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
CN113933818A (zh) 激光雷达外参的标定的方法、设备、存储介质及程序产品
EP4209755A1 (en) Positioning method and positioning apparatus of mobile device
CN114323033B (zh) 基于车道线和特征点的定位方法、设备及自动驾驶车辆
US11373328B2 (en) Method, device and storage medium for positioning object
CN113223064B (zh) 一种视觉惯性里程计尺度的估计方法和装置
CN111553342A (zh) 一种视觉定位方法、装置、计算机设备和存储介质
CN115900697A (zh) 对象运动轨迹信息处理方法、电子设备以及自动驾驶车辆
CN111862146A (zh) 一种目标对象的定位方法及装置
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN113034538B (zh) 一种视觉惯导设备的位姿跟踪方法、装置及视觉惯导设备
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
CN112818866A (zh) 车辆定位的方法、装置及电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190327

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200423

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200519

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200819

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210128

R150 Certificate of patent or registration of utility model

Ref document number: 6831414

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250