JP2021101365A - 測位方法、測位装置及び電子機器 - Google Patents

測位方法、測位装置及び電子機器 Download PDF

Info

Publication number
JP2021101365A
JP2021101365A JP2021048139A JP2021048139A JP2021101365A JP 2021101365 A JP2021101365 A JP 2021101365A JP 2021048139 A JP2021048139 A JP 2021048139A JP 2021048139 A JP2021048139 A JP 2021048139A JP 2021101365 A JP2021101365 A JP 2021101365A
Authority
JP
Japan
Prior art keywords
point
feature vector
target
point cloud
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021048139A
Other languages
English (en)
Other versions
JP7258066B2 (ja
Inventor
堯 周
Yao Zhou
堯 周
國偉 萬
Guowei Wan
國偉 萬
適宇 宋
Shiyu Song
適宇 宋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Publication of JP2021101365A publication Critical patent/JP2021101365A/ja
Application granted granted Critical
Publication of JP7258066B2 publication Critical patent/JP7258066B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

【課題】自動運転測位の技術分野に関する測位方法、測位装置及び電子機器を提供する。【解決手段】方法は、第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻でターゲット対象物が存在する領域のマルチフレームの点群データとを取得する。マルチフレームの点群データは、第１時刻でターゲット対象物が存在する領域の第１点群データを含む。そして、マルチフレームの点群データに基づいて、点群地図を決定し、第１点群データ、点群地図及び画像に基づいて、ターゲット特徴ベクトルを取得し、ターゲット特徴ベクトルに基づいて、ターゲット対象物の測位結果を決定する。ターゲット特徴ベクトルは、点群データと画像の情報とを統合したものであり、画像が豊かなシーンテクスチャ情報を含むため、ターゲット対象物に対する測位結果をより正確にすることができる。【選択図】図１

Description

本願は、自動運転の分野における測位技術に関し、特に、測位方法、測位装置及び電子機器に関する。
測位技術は、自動運転システムにおけるコアとなる基本技術であり、経路計画モジュールに不可欠な入力であるだけでなく、感知モジュールのシーン理解及び分類アルゴリズムを簡略化できるものである。従来技術では、点群（ポイントクラウド）情報のみに基づいて測位を行うため、測位精度が低い。
本願の実施例は、従来技術で点群情報のみに基づいて測位を行うため、測位精度が低いという課題を解決するために、測位方法、測位装置及び電子機器を提供する。
上記技術的課題を解決するために、本願は、以下のとおり実現される。
本願の第１の態様に係る測位方法は、
第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻で前記ターゲット対象物が存在する領域のマルチフレームの点群データとを取得することと、
ここで、前記マルチフレームの点群データは、前記第１時刻で前記ターゲット対象物が存在する領域の第１点群データを含み、
前記マルチフレームの点群データに基づいて、点群地図を決定することと、
前記第１点群データ、前記点群地図及び前記画像に基づいて、ターゲット特徴ベクトルを取得することと、
前記ターゲット特徴ベクトルに基づいて、前記ターゲット対象物の測位結果を決定することと、
を含む。
本願の第２の態様に係る測位装置は、
第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻で前記ターゲット対象物が存在する領域のマルチフレームの点群データとを取得するための第１の取得モジュールと、
ここで、前記マルチフレームの点群データは、前記第１時刻で前記ターゲット対象物が存在する領域の第１点群データを含み、
前記マルチフレームの点群データに基づいて、点群地図を決定するための決定モジュールと、
前記第１点群データ、前記点群地図及び前記画像に基づいて、ターゲット特徴ベクトルを取得するための第２の取得モジュールと、
前記ターゲット特徴ベクトルに基づいて、前記ターゲット対象物の測位結果を決定するための測位モジュールと、
を含む。
本願の第３の態様に係る電子機器は、
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信接続されるメモリと、を含み、
前記メモリには、前記少なくとも１つのプロセッサに実行可能な命令が記憶され、
前記命令が前記少なくとも１つのプロセッサによって実行されると、第１の態様に記載の方法を前記少なくとも１つのプロセッサに実行させる。
本願の第４の態様に係る非一時的なコンピュータ可読記憶媒体には、
コンピュータに第１の態様に記載の方法を実行させるコンピュータ命令が記憶されている。
本願の第５の態様に係るコンピュータプログラム製品は、
コンピュータプログラムを含み、
前記コンピュータプログラムがプロセッサによって実行されると、第１の態様に記載の方法が実現される。
上記出願における一実施例は、以下の利点又は有益な効果を有する。
第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻で前記ターゲット対象物が存在する領域のマルチフレームの点群データとを取得し、ここで、前記マルチフレームの点群データは、前記第１時刻で前記ターゲット対象物が存在する領域の第１点群データを含み、前記マルチフレームの点群データに基づいて、点群地図を決定し、前記第１点群データ、前記点群地図及び前記画像に基づいて、ターゲット特徴ベクトルを取得し、前記ターゲット特徴ベクトルに基づいて、前記ターゲット対象物の測位結果を決定する。画像が豊かなシーンテクスチャ情報を含み、ターゲット特徴ベクトルが点群データと画像の情報を統合したものであるため、ターゲット対象物に対する測位結果をより正確にすることができる。
以下、具体的な実施例を参照して、上記好ましい方式が有する他の効果を説明する。
図面は、本解決手段をよりよく理解するためのものであり、本願を限定するものではない。
本願の実施例に係る測位方法のフローチャートである。 本願の実施例に係る測位装置の構成図である。 本願の実施例に係る測位方法を実現するための電子機器のブロック図である。
以下、図面を参照しながら、本願の例示的な実施例を説明し、理解を容易にするために、本願の実施例の様々な詳細を説明するが、それらが例示的なものに過ぎないと見なされるべきである。したがって、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明された実施例に対して様々な変更及び修正を行うことができることを認識すべきである。なお、明瞭さと簡潔さのために、以下の説明では、公知の機能及び構成についての説明を省略する。
図１を参照して、図１は、本願の実施例に係る測位方法のフローチャートであり、図１に示すように、本実施例に係る電子機器に適用される測位方法は、以下のステップ１０１〜１０４を含む。
ステップ１０１で、第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻で上記ターゲット対象物が存在する領域のマルチフレームの点群データとを取得し、
ここで、上記マルチフレームの点群データは、上記第１時刻で上記ターゲット対象物が存在する領域の第１点群データを含む。
第１時刻は、現在の時刻であってよい。点群データとは、１つの三次元座標系における１セットのベクトルの集合であり、これらのベクトルは、物体の外表面形状を特徴付けるために、ｘ、ｙ、ｚの三次元座標の形態で点の位置を表すことができる。点群データは、（ｘ，ｙ，ｚ）で表される位置情報に加えて、画素値、深さ等を表すことができ、即ち、点群データが複数の点を含み、各点が位置情報及び属性情報を含み、位置情報が座標位置であってよく、属性情報が画素値、深さ等であってよい。点群データは、レーザレーダセンサ、例えば、レーザ画像検出と測距（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ、略称ＬｉＤＡＲ）システムにより取得することができる。画像は、カメラ、例えば、巡回カメラにより撮影して得られる。レーザレーダセンサ及び巡回カメラは、ターゲット対象物に設置され、ターゲット対象物が車両であってよい。第１時刻でターゲット対象物が存在する領域の画像は、第１時刻に取得されたターゲット対象物の周囲環境の画像として理解されてよく、上記第１時刻で上記ターゲット対象物が存在する領域の第１点群データは、第１時刻に取得された上記ターゲット対象物の周囲環境の点群データとして理解されてよい。
ステップ１０２で、上記マルチフレームの点群データに基づいて、点群地図を決定する。
点群地図は、隣接する時刻が好ましい複数の時刻に取得されたマルチフレームの点群データに基づいて決定され、時刻毎に１フレームの点群データが取得される。マルチフレームの点群データは、第１時刻に取得された第１点群データを含み、点群地図における点の座標は、三次元座標であってよい。
ステップ１０３で、上記第１点群データ、上記点群地図及び上記画像に基づいて、ターゲット特徴ベクトルを取得する。
点群データ及び画像に基づいて、ターゲット特徴ベクトルを決定し、例えば、点群データにおける各点に対して、該点の情報（例えば、位置情報と属性情報）と、画像におけるその対応する画素点とに基づいて、該点データに対応するターゲット特徴ベクトルを決定する。
ステップ１０４で、上記ターゲット特徴ベクトルに基づいて、上記ターゲット対象物の測位結果を決定する。
上記測位結果は、ターゲット対象物の位置及び姿勢を含んでよい。ターゲット特徴ベクトルは、点群データ及び画像に基づいて決定されるため、点群データと画像とを総合的に考慮した情報であり、測位結果をより正確にすることができる。
本実施例では、第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻で上記ターゲット対象物が存在する領域のマルチフレームの点群データとを取得し、ここで、上記マルチフレームの点群データは、上記第１時刻で上記ターゲット対象物が存在する領域の第１点群データを含み、上記マルチフレームの点群データに基づいて、点群地図を決定し、上記第１点群データ、上記点群地図及び上記画像に基づいて、ターゲット特徴ベクトルを取得し、上記ターゲット特徴ベクトルに基づいて、上記ターゲット対象物の測位結果を決定する。ターゲット特徴ベクトルが点群データと画像の情報とを統合したものであり、画像が豊かなシーンテクスチャ情報を含むため、ターゲット対象物に対する測位結果をより正確にすることができる。
本願の一実施例では、ステップ１０３で、上記第１点群データ、上記点群地図及び上記画像に基づいて、ターゲット特徴ベクトルを取得することは、
上記第１点群データに基づいて、主要点（キーポイント）を決定することと、
上記ターゲット対象物の姿勢を予測して、少なくとも１つの姿勢を取得することと、
上記少なくとも１つの姿勢のそれぞれに対して、上記点群地図における、上記主要点のうちの各ターゲット点にマッチングするマッチング点を決定して、複数のマッチング点を取得することと、
上記主要点、上記複数のマッチング点及び上記画像に基づいて、上記ターゲット特徴ベクトルを取得することと、
を含む。
第１点群データは、複数の点を含み、各点は、位置情報及び属性情報を含む１つの点データに対応し、複数の点に基づいて主要点を決定することにより、処理する必要がある点の数を低減し、処理効率を向上させることができる。主要点は、主要点データを含み、主要点データは、主要点の座標位置を含んでもよく、主要点の属性情報を含んでもよい。
ターゲット対象物の姿勢を予測して、少なくとも１つの姿勢を取得し、姿勢は、ターゲット対象物のロール角、ピッチ角及びヨー角のうちの１つ以上を含んでよい。
１つの姿勢に対して、まず、該姿勢で、主要点のうちの各ターゲット点の点群地図でのマッチング点を決定し、各姿勢で、１つのターゲット点が１つのマッチング点に対応する。例えば、予測された姿勢がｉ個あり、ｉが正の整数であれば、各ターゲット点に対して、点群地図からｉ個のマッチング点を取得することができる。そして、取得された主要点、複数のマッチング点及び画像に基づいて、ターゲット特徴ベクトルを取得する。
本実施例では、点群データに含まれる複数の点から主要点を決定することにより、処理する必要がある点の数を低減し、処理効率を向上させることができ、次に、主要点に基づいてターゲット対象物の各姿勢でのマッチング点を決定し、最後に、主要点、マッチング点及び画像に基づいてターゲット特徴ベクトルを決定する。画像が豊かなシーンテクスチャ情報を含むため、ターゲット特徴ベクトルが点群データと画像の情報とを統合したものであるため、ターゲット対象物に対する測位結果をより正確にすることができる。
本願の一実施例では、上記主要点と、上記複数のマッチング点と、上記画像とに基づいて、上記ターゲット特徴ベクトルを取得することは、
上記主要点のうちの各ターゲット点に対して、上記ターゲット点に対応する第１点集合を決定することと、
ここで、前記第１点集合は、上記ターゲット点と、上記第１点群データにおける、上記ターゲット点を中心とする第１所定距離内のＮ（Ｎは正の整数である）個の第１点とを含み、
上記複数のマッチング点のそれぞれに対して、上記マッチング点に対応する第２点集合を決定することと、
ここで、前記第２点集合は、上記マッチング点と、上記点群地図における、上記マッチング点を中心とする第２所定距離内のＮ個の第２点とを含み、
上記画像に基づいて、上記第１点集合における第１点の第１特徴ベクトルを取得することと、
上記マルチフレームの点群データに対応するマルチフレームの画像を取得することと、
上記マルチフレームの画像に基づいて、上記第２点集合における第２点の第２特徴ベクトルを取得することと、
を含み、
上記ターゲット特徴ベクトルは、上記第１特徴ベクトル及び上記第２特徴ベクトルを含む。
本実施例では、マッチング点及び主要点のうちの各ターゲット点に対して、マッチング点又はターゲット点の座標を中心として、所定距離内のＮ個の点を取得する。つまり、上記主要点のうちの各ターゲット点に対して、上記ターゲット点に対応し、上記ターゲット点と、上記第１点群データにおける、上記ターゲット点を中心とする第１所定距離内のＮ（Ｎは正の整数であり、好ましくは、数値が１０〜２００である）個の第１点とを含む第１点集合を決定する。各ターゲット点に基づいて、第１点集合を取得することができる。
上記複数のマッチング点のそれぞれに対して、上記マッチング点に対応し、上記マッチング点と、上記点群地図における、上記マッチング点を中心とする第２所定距離内のＮ個の第２点とを含む第２点集合を決定する。第１所定距離及び第２所定距離は、実際の状況に応じて設定することができ、ここで限定しない。各マッチング点に基づいて、第２点集合を取得することができる。
第１点集合における点は、第１点群データにおける点であり、第２点集合における点は、点群地図における点である。第１点集合における第１点の第１特徴ベクトルを決定するとき、第１点群データに同期して取得した画像に基づいて決定することができる。
第２点集合における点は、点群地図における点であり、点群地図は、複数の時刻に取得されたマルチフレームの点群データによって決定され、複数の時刻のそれぞれに対して、点群データと、対応する画像とを取得することができ、即ち、マルチフレームの点群データがマルチフレームの画像に対応し、各フレームの点群データは、１フレームの画像に対応する。第２点集合における点の第２特徴ベクトルは、マルチフレームの点群データに対応するマルチフレームの画像に基づいて取得することができる。
本実施例では、上記画像に基づいて、上記第１点集合における第１点の第１特徴ベクトルを取得し、上記マルチフレームの点群データに対応するマルチフレームの画像に基づいて、上記第２点集合における第２点の第２特徴ベクトルを取得し、ターゲット特徴ベクトルは、第１特徴ベクトル及び第２特徴ベクトルを含む。このように、ターゲット特徴ベクトルは、マルチフレームの点群データとマルチフレームの画像の情報とを統合したものであり、ターゲット対象物に対する測位結果をより正確にすることができる。
さらに、ターゲット特徴ベクトルを取得した後、ターゲット特徴ベクトルを測位ネットワークに入力し、上記ターゲット対象物の位置及び姿勢を含む測位結果を取得する。測位ネットワークは、学習に基づくレーザ点群測位ネットワーク、例えば、Ｌ３−Ｎｅｔネットワークであってよい。ターゲット特徴ベクトルを測位ネットワークに入力するとき、第１点集合における全ての第１点の第１特徴ベクトルが１つのベクトルユニットを構成し、第２点集合における全ての第２点の第２特徴ベクトルが１つのベクトルユニットを構成し、ベクトルユニットを単位として測位ネットワークに入力し、例えば、各点集合における点の個数が６４個であれば、各ベクトルユニットは、６４個の第１特徴ベクトル又は第２特徴ベクトルで構成される。測位ネットワークを用いてターゲット対象物の位置及び姿勢を予測して、測位結果を取得する。
本願の一実施例では、上記画像に基づいて、上記第１点集合における第１点の第１特徴ベクトルを取得することは、
上記画像に基づいて、上記画像における画素点に対応する特徴ベクトルを含む、上記画像の特徴マップを取得することと、
上記第１点集合における各第１点に対して、上記画像における、上記第１点に対応する第１画素点を決定することと、
上記第１画素点に基づいて、上記特徴マップにおける、上記第１画素点に対応する特徴ベクトルを決定することと、
上記第１画素点に対応する特徴ベクトルを上記第１点の情報と継ぎ合わせて、上記第１点に対応する第１特徴ベクトルを取得することと、
を含む。
本実施例では、画像に基づいて画像の特徴マップを取得するとき、深層学習ネットワークを用いて画像から特徴マップを抽出することができ、深層学習ネットワークのパラメータは、教師あり又は教師なし方法を用いて訓練したものである。画像における各画素点に対して、特徴マップは、該画素点に対応する特徴ベクトルを含む。特徴ベクトルは、ｎ次元のベクトルであってよく、ｎは、８、１６又は３２であってよく、ここでは限定されない。第１点の情報は、第１点の位置情報を含んでもよいし、第１点の属性情報を含んでもよい。
例えば、車両には、巡回カメラ及びレーザレーダセンサが搭載され、かつ巡回カメラ及びレーザレーダセンサは、既にタイムスタンプ及びカメラ周波数同期を完了し、即ち、巡回カメラ及びレーザレーダセンサは、同一のフレームに属する画像及び点群データを取得することができ、このようにして、点群データと画像との正確な対応関係を取得することができる。１フレームの点群データに対して、点群データにおけるある点の空間座標はP=(x,y,z)であり、該点は、画像において対応する画素点を有し、対応する画素点の座標はpix=(u,v)である。
各第１点に対して、第１点の座標位置に基づいて、画像における、第１点に対応する第１画素点を決定し、次に、第１画素点に基づいて、特徴マップにおける、第１画素点に対応する特徴ベクトルを決定し、最後に、第１画素点に対応する特徴ベクトルを第１点の情報と継ぎ合わせて、第１点に対応するターゲット特徴ベクトルを取得し、第１点の情報が第１点の座標位置であってよい。例えば、第１点の座標位置と第１点に対応する画像特徴Ｆ（即ち、第１点に対応する第１画素点の特徴ベクトル）とを継ぎ合わせて、１つのｎ＋３次元ベクトル(x,y,z,F)を構成し、該ベクトルは、第１点に対応する第１特徴ベクトルであり、該第１特徴ベクトルを第１点の属性とすることができる。また、第１点の画素値、深度値を座標位置と共に、第１点に対応する画像特徴と継ぎ合わせて、継ぎ合わせたベクトルを第１特徴ベクトルすることもできる。
第１点集合における各第１点に対して、いずれも上述した方式を採用して第１点に対応する第１特徴ベクトルを決定することができる。
本実施例では、ターゲット特徴ベクトルに含まれる第１特徴ベクトルについては、第１時刻の第１点群データと画像の情報とを総合的に考慮して、ターゲット特徴ベクトルに含まれる情報を増加させることで、ターゲット特徴ベクトルに基づいてターゲット対象物を測位するとき、精度のより高い測位結果を取得することができる。
本願の一実施例では、上記マルチフレームの点群データに対応するマルチフレームの画像に基づいて、上記第２点集合における第２点の第２特徴ベクトルを取得することは、
上記第２点集合における各第２点に対して、上記第２点に対応するターゲットフレームの点群データを取得することと、
ここで、前記ターゲットフレームの点群データは、上記点群地図における上記第２点に対応する第３点を含み、
上記ターゲットフレームの点群データに対応する画像に基づいて、第１特徴マップを取得することと、
上記第１特徴マップにおける、上記第３点に対応する特徴ベクトルを決定することと、
上記第３点に対応する特徴ベクトルを上記第３点の情報と継ぎ合わせて、上記第２点に対応する第２特徴ベクトルを取得することと、
を含む。
本実施例では、第２点は、点群地図における点であり、第３点は、ターゲットフレームの点群データにおける点であり、ターゲットフレームの点群データにおける第３点の情報に基づいて、点群地図における第２点の情報を決定することができ、例えば、ターゲットフレームの点群データにおける第３点の座標位置に基づいて、点群地図における第２点の座標位置を決定することができる。ターゲットフレームの点群データは、第１時刻に取得された第１点群データであってもよく、履歴時刻に取得された履歴フレームの点群データであってもよく、各フレームの点群データが１フレームの画像に対応し、即ち、各フレームの点群データは、いずれも同期して取得された画像に対応する。
上記ターゲットフレームの点群データに対応する第１画像に基づいて、第１特徴マップを取得するとき、深層学習ネットワークを用いて該第１画像から第１特徴マップを抽出することができる。該第１画像における各画素点に対して、特徴マップは、該画素点に対応する特徴ベクトルを含む。特徴ベクトルは、ｎ次元のベクトルであってよく、ｎは、８、１６又は３２であってよく、ここでは限定されない。
ターゲットフレームの点群データの第３点に対して、第３点の座標位置に基づいて、第１画像における、第３点に対応する画素点を決定し、次に、画素点に基づいて、第１特徴マップにおける、画素点に対応する特徴ベクトルを決定し、該特徴ベクトルは、第３点に対応する特徴ベクトルである。最後に、画素点に対応する特徴ベクトルを第３点の情報と継ぎ合わせて、第３点に対応する特徴ベクトルを取得し、第３点の情報は、第３点の座標位置であってよい。例えば、第３点の座標位置(x1,y1,z1)と第３点に対応する画像特徴Ｆ１（即ち、第３点に対応する画素点の特徴ベクトル）とを継ぎ合わせて、３つのｎ＋３次元ベクトル(x1,y1,z1,F1)を構成し、該ベクトルは、第３点に対応する特徴ベクトルであり、該特徴ベクトルを第３点の属性とすることができる。また、第３点の画素値、深度値を座標位置と共に、第３点に対応する画像特徴と継ぎ合わせて、継ぎ合わせたベクトルを第３点の特徴ベクトルとし、最後に、第３点の特徴ベクトルを第２点に対応する第２特徴ベクトルとして決定することもできる。
第２点集合における各第２点に対して、いずれも上述した方式を採用して第２点に対応する第２特徴ベクトルを決定することができる。
本実施例では、ターゲット特徴ベクトルに含まれる第２特徴ベクトルについては、マルチフレームの点群データとマルチフレームの画像の情報とを総合的に考慮して、ターゲット特徴ベクトルに含まれる情報をより豊かにすることで、ターゲット特徴ベクトルに基づいてターゲット対象物を測位するとき、精度のより高い測位結果を取得することができる。
図２を参照して、図２は、本願の実施例に係る測位装置の構成図であり、図２に示すように、本実施例に係る測位装置２００は、
第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻で上記ターゲット対象物が存在する領域のマルチフレームの点群データとを取得するための第１の取得モジュールと、
ここで、上記マルチフレームの点群データは、上記第１時刻で上記ターゲット対象物が存在する領域の第１点群データを含み、
上記マルチフレームの点群データに基づいて、点群地図を決定するための決定モジュールと、
上記第１点群データ、上記点群地図及び上記画像に基づいて、ターゲット特徴ベクトルを取得するための第２の取得モジュールと、
上記ターゲット特徴ベクトルに基づいて、上記ターゲット対象物の測位結果を決定するための測位モジュールと、
を含む。
さらに、上記第２の取得モジュールは、
上記第１点群データに基づいて、主要点を決定するための第１の決定サブモジュールと、
上記ターゲット対象物の姿勢を予測して、少なくとも１つの姿勢を取得するための第１の取得サブモジュールと、
上記少なくとも１つの姿勢のそれぞれに対して、上記点群地図における、上記主要点のうちの各ターゲット点にマッチングするマッチング点を決定して、複数のマッチング点を取得するための第２の決定サブモジュールと、
上記主要点、上記複数のマッチング点及び上記画像に基づいて、上記ターゲット特徴ベクトルを取得するための第２の取得サブモジュールと、
を含む。
さらに、上記第２の取得サブモジュールは、
上記主要点のうちの各ターゲット点に対して、上記ターゲット点に対応する第１点集合を決定するための第１の決定部と、
ここで、前記第１点集合は、上記ターゲット点と、上記第１点群データにおける、上記ターゲット点を中心とする第１所定距離内のＮ（Ｎは正の整数である）個の第１点とを含み、
上記複数のマッチング点のそれぞれに対して、上記マッチング点に対応する第２点集合を決定するための第２の決定部と、
ここで、前記第２点集合は、上記マッチング点と、上記点群地図における、上記マッチング点を中心とする第２所定距離内のＮ個の第２点とを含み、
上記画像に基づいて、上記第１点集合における第１点の第１特徴ベクトルを取得するための第１の取得部と、
上記マルチフレームの点群データに対応するマルチフレームの画像を取得するための第２の取得部と、
上記マルチフレームの画像に基づいて、上記第２点集合における第２点の第２特徴ベクトルを取得するための第３の取得部と、
を含み、
上記ターゲット特徴ベクトルは、上記第１特徴ベクトル及び上記第２特徴ベクトルを含む。
さらに、上記第１の取得部は、
上記画像に基づいて、上記画像における画素点に対応する特徴ベクトルを含む、上記画像の特徴マップを取得し、
上記第１点集合における各第１点に対して、上記画像における、上記第１点に対応する第１画素点を決定し、
上記第１画素点に基づいて、上記特徴マップにおける、上記第１画素点に対応する特徴ベクトルを決定し、
上記第１画素点に対応する特徴ベクトルを上記第１点の情報と継ぎ合わせて、上記第１点に対応する第１特徴ベクトルを取得する。
さらに、上記第３の取得部は、
上記第２点集合における各第２点に対して、上記第２点に対応するターゲットフレームの点群データを取得し、
ここで、前記ターゲットフレームの点群データは、上記点群地図における上記第２点に対応する第３点を含み、
上記ターゲットフレームの点群データに対応する画像に基づいて、第１特徴マップを取得し、
上記第１特徴マップにおける、上記第３点に対応する特徴ベクトルを決定し、
上記第３点に対応する特徴ベクトルを上記第３点の情報と継ぎ合わせて、上記第２点に対応する第２特徴ベクトルを取得する。
測位装置２００は、図１に示す方法の実施例において電子機器によって実現される各プロセスを実現することができ、重複を避けるために、ここでは説明を省略する。
本願の実施例に係る測位装置２００は、第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻で上記ターゲット対象物が存在する領域のマルチフレームの点群データとを取得し、ここで、上記マルチフレームの点群データは、上記第１時刻で上記ターゲット対象物が存在する領域の第１点群データを含み、上記マルチフレームの点群データに基づいて、点群地図を決定し、上記第１点群データ、上記点群地図及び上記画像に基づいて、ターゲット特徴ベクトルを取得し、上記ターゲット特徴ベクトルに基づいて、上記ターゲット対象物の測位結果を決定する。画像が豊かなシーンテクスチャ情報を含み、ターゲット特徴ベクトルが点群データと画像の情報とを統合したものであるため、ターゲット対象物に対する測位結果をより正確にすることができる。
本願の実施例によれば、本願は、電子機器及び可読記憶媒体をさらに提供する。
図３に示すように、本願の実施例に係る測位方法を実現する電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、大型コンピュータ、及びその他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを意図する。電子機器は、パーソナルデジタルアシスタント、セルラー電話、スマートフォン、ウェアラブルデバイス及びその他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されたコンポーネント、それらの接続及び関係、並びにそれらの機能は、単なる例に過ぎず、本明細書で説明及び／又は特許請求された本願の実現を限定することを意図しない。
図３に示すように、該電子機器は、１つ以上のプロセッサ３０１と、メモリ３０２と、高速インタフェース及び低速インタフェースを含む、各コンポーネントを接続するインタフェースとを含む。各コンポーネントは、異なるバスを介して相互に接続され、共通のマザーボードに取り付けられてもよく、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子機器内で実行された、メモリ内又はメモリに記憶されて、外部入力／出力装置（例えば、インタフェースに結合された表示機器）にＧＵＩのグラフィック情報を表示する命令を含む命令を処理することができる。他の実施形態では、必要があれば、複数のプロセッサ及び／又は複数のバスを、複数のメモリと共に使用することができる。同様に、複数の電子機器を接続してよく、各機器は、（例えば、サーバアレイ、ブレードサーバのグループ、又はマルチプロセッサシステムとして）必要な動作の一部を提供する。図３において、プロセッサ３０１を例とする。
メモリ３０２は、本願に係る非一時的なコンピュータ可読記憶媒体である。上記メモリには、少なくとも１つのプロセッサによって実行されると、上記少なくとも１つのプロセッサに本願に係る測位方法を実行させる命令が記憶されている。本願に係る非一時的なコンピュータ可読記憶媒体には、コンピュータに本願に係る測位方法を実行させるコンピュータ命令が記憶されている。
メモリ３０２は、非一時的なコンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム、モジュール、例えば、本願の実施例における測位方法に対応するプログラム命令／モジュール（例えば、図２に示す第１の取得モジュール２０１、決定モジュール２０２、第２の取得モジュール２０３及び測位モジュール２０４）を記憶することができる。プロセッサ３０１は、メモリ３０２内に記憶された非一時的ソフトウェアプログラム、命令及びモジュールを実行することにより、サーバの様々な機能アプリケーション及びデータ処理を実行し、即ち、上記方法の実施例における測位方法を実現する。
メモリ３０２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶できるプログラム記憶領域と、測位方法を実現する電子機器の使用中に作成されたデータなどを記憶できるデータ記憶領域とを含んでよい。また、メモリ３０２は、高速ランダムアクセスメモリを含んでもよく、少なくとも１つの磁気ディスクメモリデバイス、フラッシュメモリデバイス、又は他の非一時的固体メモリデバイスなどの非一時的メモリを含んでもよい。いくつかの実施例では、メモリ３０２は、好ましくは、プロセッサ３０１に対して遠隔的に配置されたメモリを含んでよく、これらのリモートメモリは、ネットワークを介して測位方法を実現する電子機器に接続することができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク及びそれらの組み合わせを含むが、これらに限定されない。
測位方法を実現する電子機器は、入力装置３０３及び出力装置３０４をさらに含む。プロセッサ３０１、メモリ３０２、入力装置３０３及び出力装置３０４は、バスを介して接続されてもよいし、他の形態で接続されてもよく、図３では、バスによる接続を例とする。
入力装置３０３は、入力された数字又は文字情報を受信し、かつ測位方法を実現する電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができ、入力装置は、例えば、タッチスクリーン、テンキー、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ以上のマウスボタン、トラックボール、ジョイスティックである。出力装置３０４は、表示機器、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）などを含んでよい。該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイなどを含んでよいが、これらに限定されない。いくつかの実施形態では、表示機器は、タッチスクリーンであってよい。
本明細書で説明されたシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、１つ以上のコンピュータプログラムにおける実施を含んでよく、該１つ以上のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行及び／又は解釈することができ、該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってよく、記憶システム、少なくとも１つの入力装置及び少なくとも１つの出力装置からデータと命令を受信し、かつデータと命令を該記憶システム、該少なくとも１つの入力装置及び該少なくとも１つの出力装置に伝送することができる。
これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードともいう）は、プログラマブルプロセッサの機械命令を含み、かつ高水準手続き型及び／又はオブジェクト指向型プログラミング言語、及び／又はアセンブリ言語／機械語により実行することができる。本明細書で使用された用語「機械可読媒体」及び「コンピュータ可読媒体」とは、機械命令を機械可読信号として受信する機械可読媒体を含む、プログラマブルプロセッサに機械命令及び／又はデータを提供する任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。用語「機械可読信号」とは、機械命令及び／又はデータをプログラマブルプロセッサに提供する任意の信号を指す。
ユーザとの対話を提供するために、本明細書で説明されたシステム及び技術をコンピュータ上で実施することができ、該コンピュータは、ユーザに情報を表示する表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有し、ユーザは、該キーボード及び該ポインティングデバイスにより入力をコンピュータに提供することができる。他の種類の装置も、ユーザとの対話を提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック又は触覚フィードバック）であってよく、また任意の形態（音声入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信することができる。
本明細書で説明されたシステム及び技術は、バックグラウンドコンポーネントを（例えば、データサーバとして）含むコンピュータシステム、又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含むコンピュータシステム、又はフロントエンドコンポーネント（例えば、それを介して、ユーザが本明細書で説明されたシステム及び技術の実施形態と対話できるグラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ）を含むコンピュータシステム、又はこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント若しくはフロントエンドコンポーネントの任意の組み合わせを含むコンピュータシステムにおいて実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介してシステムのコンポーネントを互いに接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットを含む。
コンピュータシステムはクライアント及びサーバを含んでよい。クライアントとサーバは、一般的に、相互に離れ、かつ通常、通信ネットワークを介して対話する。クライアントとサーバとの関係は、対応するコンピュータ上で実行され、相互にクライアント−サーバの関係を有するコンピュータプログラムによって生じる。
本願の実施例における技術手段によれば、第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻で上記ターゲット対象物が存在する領域のマルチフレームの点群データとを取得し、ここで、上記マルチフレームの点群データは、上記第１時刻で上記ターゲット対象物が存在する領域の第１点群データを含み、上記マルチフレームの点群データに基づいて、点群地図を決定し、上記第１点群データ、上記点群地図及び上記画像に基づいて、ターゲット特徴ベクトルを取得し、上記ターゲット特徴ベクトルに基づいて、上記ターゲット対象物の測位結果を決定する。画像が豊かなシーンテクスチャ情報を含み、ターゲット特徴ベクトルが点群データと画像の情報とを統合したものであるため、ターゲット対象物に対する測位結果をより正確にすることができる。
点群データに含まれる複数の点から主要点を決定することにより、処理する必要がある点の数を低減し、処理効率を向上させることができ、次に、主要点に基づいてターゲット対象物の各姿勢でのマッチング点を決定し、最後に、主要点、マッチング点及び画像に基づいてターゲット特徴ベクトルを決定する。画像が豊かなシーンテクスチャ情報を含み、ターゲット特徴ベクトルが点群データと画像の情報とを統合したものであるため、ターゲット対象物に対する測位結果をより正確にすることができる。
上記画像に基づいて、上記第１点集合における第１点の第１特徴ベクトルを取得し、上記マルチフレームの点群データに対応するマルチフレームの画像に基づいて、上記第２点集合における第２点の第２特徴ベクトルを取得し、ターゲット特徴ベクトルは、第１特徴ベクトル及び第２特徴ベクトルを含む。このように、ターゲット特徴ベクトルは、マルチフレームの点群データとマルチフレームの画像の情報とを統合したものであり、ターゲット対象物に対する測位結果をより正確にすることができる。
ターゲット特徴ベクトルに含まれる第１特徴ベクトルについては、第１時刻に取得された第１点群データと画像の情報とを総合的に考慮して、ターゲット特徴ベクトルに含まれる情報を増加させることで、ターゲット特徴ベクトルに基づいてターゲット対象物を測位するとき、精度のより高い測位結果を取得することができる。
ターゲット特徴ベクトルに含まれる第２特徴ベクトルについては、マルチフレームの点群データとマルチフレームの画像の情報とを総合的に考慮して、ターゲット特徴ベクトルに含まれる情報をより豊かにすることで、ターゲット特徴ベクトルに基づいてターゲット対象物を測位するとき、精度のより高い測位結果を取得することができる。
上記様々な形態のフローを使用して、ステップを並べ替えたり、追加したり、削除したりすることができることを理解されたい。例えば、本願において開示されている技術手段の所望の結果を実現する限り、本願に記載された各ステップは、並列的に実行されてもよく、順次実行されてもよく、異なる順序で実行されてもよく、本明細書はこれを限定しない。
上記具体的な実施形態は、本願の保護範囲を限定するものではない。当業者は、設計要件及びその他の要因に応じて、様々な修正、組み合わせ、サブ組み合わせ及び置換を行うことができることを理解すべきである。本願の精神と原則内で行われた任意の修正、均等置換及び改良などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (13)

  1. 第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻で前記ターゲット対象物が存在する領域のマルチフレームの点群データとを取得することと、
    ここで、前記マルチフレームの点群データは、前記第１時刻で前記ターゲット対象物が存在する領域の第１点群データを含み、
    前記マルチフレームの点群データに基づいて、点群地図を決定することと、
    前記第１点群データ、前記点群地図及び前記画像に基づいて、ターゲット特徴ベクトルを取得することと、
    前記ターゲット特徴ベクトルに基づいて、前記ターゲット対象物の測位結果を決定することと、
    を含むことを特徴とする、測位方法。
  2. 前記の第１点群データ、前記点群地図及び前記画像に基づいて、ターゲット特徴ベクトルを取得することは、
    前記第１点群データに基づいて、主要点を決定することと、
    前記ターゲット対象物の姿勢を予測して、少なくとも１つの姿勢を取得することと、
    前記少なくとも１つの姿勢のそれぞれに対して、前記点群地図における、前記主要点のうちの各ターゲット点にマッチングするマッチング点を決定して、複数のマッチング点を取得することと、
    前記主要点、前記複数のマッチング点及び前記画像に基づいて、前記ターゲット特徴ベクトルを取得することと、
    を含むことを特徴とする、請求項１に記載の測位方法。
  3. 前記の主要点、前記複数のマッチング点及び前記画像に基づいて、前記ターゲット特徴ベクトルを取得することは、
    前記主要点のうちの各ターゲット点に対して、前記ターゲット点に対応する第１点集合を決定することと、
    ここで、前記第１点集合は、前記ターゲット点と、前記第１点群データにおける、前記ターゲット点を中心とする第１所定距離内のＮ（Ｎは正の整数である）個の第１点とを含み、
    前記複数のマッチング点のそれぞれに対して、前記マッチング点に対応する第２点集合を決定することと、
    ここで、前記第２点集合は、前記マッチング点と、前記点群地図における、前記マッチング点を中心とする第２所定距離内のＮ個の第２点とを含み、
    前記画像に基づいて、前記第１点集合における第１点の第１特徴ベクトルを取得することと、
    前記マルチフレームの点群データに対応するマルチフレームの画像を取得することと、
    前記マルチフレームの画像に基づいて、前記第２点集合における第２点の第２特徴ベクトルを取得することと、
    を含み、
    前記ターゲット特徴ベクトルは、前記第１特徴ベクトル及び前記第２特徴ベクトルを含むことを特徴とする、請求項２に記載の測位方法。
  4. 前記の画像に基づいて、前記第１点集合における第１点の第１特徴ベクトルを取得することは、
    前記画像に基づいて、前記画像における画素点に対応する特徴ベクトルを含む、前記画像の特徴マップを取得することと、
    前記第１点集合における各第１点に対して、前記画像における、前記第１点に対応する第１画素点を決定することと、
    前記第１画素点に基づいて、前記特徴マップにおける、前記第１画素点に対応する特徴ベクトルを決定することと、
    前記第１画素点に対応する特徴ベクトルを前記第１点の情報と継ぎ合わせて、前記第１点に対応する第１特徴ベクトルを取得することと、
    を含むことを特徴とする、請求項３に記載の測位方法。
  5. 前記のマルチフレームの点群データに対応するマルチフレームの画像に基づいて、前記第２点集合における第２点の第２特徴ベクトルを取得することは、
    前記第２点集合における各第２点に対して、前記第２点に対応するターゲットフレームの点群データを取得することと、
    ここで、前記ターゲットフレームの点群データは、前記点群地図における前記第２点に対応する第３点を含み、
    前記ターゲットフレームの点群データに対応する画像に基づいて、第１特徴マップを取得することと、
    前記第１特徴マップにおける、前記第３点に対応する特徴ベクトルを決定することと、
    前記第３点に対応する特徴ベクトルを前記第３点の情報と継ぎ合わせて、前記第２点に対応する第２特徴ベクトルを取得することと、
    を含むことを特徴とする、請求項３に記載の測位方法。
  6. 第１時刻でターゲット対象物が存在する領域の画像と、複数の時刻で前記ターゲット対象物が存在する領域のマルチフレームの点群データとを取得するための第１の取得モジュールと、
    ここで、前記マルチフレームの点群データは、前記第１時刻で前記ターゲット対象物が存在する領域の第１点群データを含み、
    前記マルチフレームの点群データに基づいて、点群地図を決定するための決定モジュールと、
    前記第１点群データ、前記点群地図及び前記画像に基づいて、ターゲット特徴ベクトルを取得するための第２の取得モジュールと、
    前記ターゲット特徴ベクトルに基づいて、前記ターゲット対象物の測位結果を決定するための測位モジュールと、
    を含むことを特徴とする、測位装置。
  7. 前記第２の取得モジュールは、
    前記第１点群データに基づいて、主要点を決定するための第１の決定サブモジュールと、
    前記ターゲット対象物の姿勢を予測して、少なくとも１つの姿勢を取得するための第１の取得サブモジュールと、
    前記少なくとも１つの姿勢のそれぞれに対して、前記点群地図における、前記主要点のうちの各ターゲット点にマッチングするマッチング点を決定して、複数のマッチング点を取得するための第２の決定サブモジュールと、
    前記主要点、前記複数のマッチング点及び前記画像に基づいて、前記ターゲット特徴ベクトルを取得するための第２の取得サブモジュールと、
    を含むことを特徴とする、請求項６に記載の測位装置。
  8. 前記第２の取得サブモジュールは、
    前記主要点のうちの各ターゲット点に対して、前記ターゲット点に対応する第１点集合を決定するための第１の決定部と、
    ここで、前記第１点集合は、前記ターゲット点と、前記第１点群データにおける、前記ターゲット点を中心とする第１所定距離内のＮ（Ｎは正の整数である）個の第１点とを含み、
    前記複数のマッチング点のそれぞれに対して、前記マッチング点に対応する第２点集合を決定するための第２の決定部と、
    ここで、前記第２点集合は、前記マッチング点と、前記点群地図における、前記マッチング点を中心とする第２所定距離内のＮ個の第２点とを含み、
    前記画像に基づいて、前記第１点集合における第１点の第１特徴ベクトルを取得するための第１の取得部と、
    前記マルチフレームの点群データに対応するマルチフレームの画像を取得するための第２の取得部と、
    前記マルチフレームの画像に基づいて、前記第２点集合における第２点の第２特徴ベクトルを取得するための第３の取得部と、
    を含み、
    前記ターゲット特徴ベクトルは、前記第１特徴ベクトル及び前記第２特徴ベクトルを含むことを特徴とする、請求項７に記載の測位装置。
  9. 前記第１の取得部は、
    前記画像に基づいて、前記画像における画素点に対応する特徴ベクトルを含む、前記画像の特徴マップを取得し、
    前記第１点集合における各第１点に対して、前記画像における、前記第１点に対応する第１画素点を決定し、
    前記第１画素点に基づいて、前記特徴マップにおける、前記第１画素点に対応する特徴ベクトルを決定し、
    前記第１画素点に対応する特徴ベクトルを前記第１点の情報と継ぎ合わせて、前記第１点に対応する第１特徴ベクトルを取得することを特徴とする、請求項８に記載の測位装置。
  10. 前記第３の取得部は、
    前記第２点集合における各第２点に対して、前記第２点に対応するターゲットフレームの点群データを取得し、
    ここで、前記ターゲットフレームの点群データは、前記点群地図における前記第２点に対応する第３点を含み、
    前記ターゲットフレームの点群データに対応する画像に基づいて、第１特徴マップを取得し、
    前記第１特徴マップにおける、前記第３点に対応する特徴ベクトルを決定し、
    前記第３点に対応する特徴ベクトルを前記第３点の情報と継ぎ合わせて、前記第２点に対応する第２特徴ベクトルを取得することを特徴とする、請求項８に記載の測位装置。
  11. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信接続されるメモリと、を含み、
    前記メモリには、前記少なくとも１つのプロセッサに実行可能な命令が記憶され、
    前記命令が前記少なくとも１つのプロセッサによって実行されると、請求項１〜５のいずれか１項に記載の方法を前記少なくとも１つのプロセッサに実行させることを特徴とする、電子機器。
  12. コンピュータに請求項１〜５のいずれか１項に記載の方法を実行させるためのコンピュータ命令が記憶されていることを特徴とする、非一時的なコンピュータ可読記憶媒体。
  13. コンピュータプログラムを含み、
    前記コンピュータプログラムがプロセッサによって実行されると、請求項１〜５のいずれか１項に記載の方法が実現される、コンピュータプログラム製品。
JP2021048139A 2020-06-22 2021-03-23 測位方法、測位装置及び電子機器 Active JP7258066B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010572148.8 2020-06-22
CN202010572148.8A CN111722245B (zh) 2020-06-22 2020-06-22 定位方法、定位装置和电子设备

Publications (2)

Publication Number Publication Date
JP2021101365A true JP2021101365A (ja) 2021-07-08
JP7258066B2 JP7258066B2 (ja) 2023-04-14

Family

ID=72569800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021048139A Active JP7258066B2 (ja) 2020-06-22 2021-03-23 測位方法、測位装置及び電子機器

Country Status (5)

Country Link
US (1) US11713970B2 (ja)
EP (1) EP3842749A3 (ja)
JP (1) JP7258066B2 (ja)
KR (1) KR102463891B1 (ja)
CN (1) CN111722245B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102624644B1 (ko) * 2020-12-14 2024-01-18 주식회사 카카오모빌리티 벡터 맵을 이용한 이동체의 맵 매칭 위치 추정 방법
CN113052131A (zh) * 2021-04-20 2021-06-29 深圳市商汤科技有限公司 点云数据处理、自动驾驶车辆控制方法及装置
CN113359149B (zh) * 2021-05-12 2023-11-28 武汉中仪物联技术股份有限公司 管道支管和破洞的定位方法、装置、设备和存储介质
CN113514053B (zh) * 2021-07-13 2024-03-26 阿波罗智能技术(北京)有限公司 生成样本图像对的方法、装置和更新高精地图的方法
CN113792797B (zh) * 2021-09-16 2024-04-26 智道网联科技(北京)有限公司 点云数据筛选方法及存储介质
CN114926656B (zh) * 2022-06-07 2023-12-19 北京百度网讯科技有限公司 对象识别方法、装置、设备及介质
CN115587943B (zh) * 2022-10-09 2023-06-27 中国科学院半导体研究所 点云数据的去噪方法、装置、电子设备及存储介质
CN116485634B (zh) * 2023-04-10 2024-04-02 北京城市网邻信息技术有限公司 点云展示图生成方法、装置、电子设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117386A (ja) * 2015-12-25 2017-06-29 学校法人千葉工業大学 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
JP2019149149A (ja) * 2017-12-29 2019-09-05 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 点群データを復旧するための方法及び装置
JP2020042816A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 物体検出方法、装置、機器、記憶媒体及び車両

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103389103B (zh) * 2013-07-03 2015-11-18 北京理工大学 一种基于数据挖掘的地理环境特征地图构建与导航方法
CN104317959B (zh) 2014-11-10 2018-07-17 北京字节跳动网络技术有限公司 基于社交平台的数据挖掘方法及装置
CN106407315B (zh) * 2016-08-30 2019-08-16 长安大学 一种基于街景图像数据库的车辆自主定位方法
US10438371B2 (en) * 2017-09-22 2019-10-08 Zoox, Inc. Three-dimensional bounding box from two-dimensional image and point cloud data
CN108776991B (zh) * 2018-04-17 2023-02-28 深圳一清创新科技有限公司 三维建模方法、装置、存储介质和计算机设备
US11294060B2 (en) 2018-04-18 2022-04-05 Faraday & Future Inc. System and method for lidar-based vehicular localization relating to autonomous navigation
WO2019237307A1 (en) 2018-06-14 2019-12-19 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for updating a high-resolution map based on binocular images
US11726208B2 (en) 2018-06-15 2023-08-15 Uatc, Llc Autonomous vehicle localization using a Lidar intensity map
US11204605B1 (en) * 2018-08-03 2021-12-21 GM Global Technology Operations LLC Autonomous vehicle controlled based upon a LIDAR data segmentation system
KR20200071293A (ko) 2018-12-11 2020-06-19 삼성전자주식회사 3차원 컬러 맵 기반의 측위 방법 및 장치
EP3667557B1 (en) * 2018-12-13 2021-06-16 Axis AB Method and device for tracking an object
CN110163903B (zh) * 2019-05-27 2022-02-25 百度在线网络技术（北京）有限公司 三维图像的获取及图像定位方法、装置、设备和存储介质
CN110175576B (zh) * 2019-05-29 2022-09-16 电子科技大学 一种结合激光点云数据的行驶车辆视觉检测方法
CN110415297B (zh) 2019-07-12 2021-11-05 北京三快在线科技有限公司 定位方法、装置及无人驾驶设备
CN110660103B (zh) * 2019-09-17 2020-12-25 北京三快在线科技有限公司 一种无人车定位方法及装置
CN111291714A (zh) * 2020-02-27 2020-06-16 同济大学 一种基于单目视觉和激光雷达融合的车辆检测方法
CN112101092A (zh) * 2020-07-31 2020-12-18 北京智行者科技有限公司 自动驾驶环境感知方法及系统
CN114596555B (zh) * 2022-05-09 2022-08-30 新石器慧通（北京）科技有限公司 障碍物点云数据筛选方法、装置、电子设备及存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017117386A (ja) * 2015-12-25 2017-06-29 学校法人千葉工業大学 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
JP2019149149A (ja) * 2017-12-29 2019-09-05 バイドゥ オンライン ネットワーク テクノロジー（ペキン） カンパニー リミテッド 点群データを復旧するための方法及び装置
JP2020042816A (ja) * 2018-09-07 2020-03-19 バイドゥ オンライン ネットワーク テクノロジー （ベイジン） カンパニー リミテッド 物体検出方法、装置、機器、記憶媒体及び車両

Also Published As

Publication number Publication date
JP7258066B2 (ja) 2023-04-14
KR20210040005A (ko) 2021-04-12
KR102463891B1 (ko) 2022-11-04
US20210209792A1 (en) 2021-07-08
CN111722245A (zh) 2020-09-29
EP3842749A2 (en) 2021-06-30
EP3842749A3 (en) 2021-09-29
CN111722245B (zh) 2023-03-10
US11713970B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
JP2021101365A (ja) 測位方法、測位装置及び電子機器
US11615605B2 (en) Vehicle information detection method, electronic device and storage medium
US20220270289A1 (en) Method and apparatus for detecting vehicle pose
CN111739005B (zh) 图像检测方法、装置、电子设备及存储介质
KR102498439B1 (ko) 차량용 카메라의 외부 파라미터 캘리브레이션 방법, 장치, 시스템 및 저장매체
JP7189270B2 (ja) 三次元物体検出方法、三次元物体検出装置、電子機器、記憶媒体及びコンピュータプログラム
CN111767853B (zh) 车道线检测方法和装置
JP7228623B2 (ja) 障害物検出方法、装置、設備、記憶媒体、及びプログラム
US20220036731A1 (en) Method for detecting vehicle lane change, roadside device, and cloud control platform
JP2021192294A (ja) 人体３ｄキー点検出方法、モデル訓練方法及び関連装置
CN110675635B (zh) 相机外参的获取方法、装置、电子设备及存储介质
EP3904829B1 (en) Method and apparatus for generating information, device, medium and computer program product
CN112102417B (zh) 确定世界坐标的方法和装置
CN111949816B (zh) 定位处理方法、装置、电子设备和存储介质
JP2021174531A (ja) 目標追跡方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム
CN111753739A (zh) 物体检测方法、装置、设备以及存储介质
JP2021136028A (ja) エッジベースの拡張現実３次元追跡登録方法、装置及び電子機器
CN111191619A (zh) 车道线虚线段的检测方法、装置、设备和可读存储介质
CN115578432A (zh) 图像处理方法、装置、电子设备及存储介质
CN111814634B (zh) 一种实时距离确定方法、装置、设备及介质
CN113129457A (zh) 纹理生成方法、装置、设备和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210323

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220310

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220810

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230202

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230202

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230214

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20230221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230307

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230404

R150 Certificate of patent or registration of utility model

Ref document number: 7258066

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150