JP2022504728A - ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体 - Google Patents

ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体 Download PDF

Info

Publication number
JP2022504728A
JP2022504728A JP2021519865A JP2021519865A JP2022504728A JP 2022504728 A JP2022504728 A JP 2022504728A JP 2021519865 A JP2021519865 A JP 2021519865A JP 2021519865 A JP2021519865 A JP 2021519865A JP 2022504728 A JP2022504728 A JP 2022504728A
Authority
JP
Japan
Prior art keywords
robot
positioning
information
position information
route
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021519865A
Other languages
English (en)
Inventor
▲劉▼春▲曉▼
梁▲ゆ▼
石建萍
梁浩賢
林▲曉▼慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Publication of JP2022504728A publication Critical patent/JP2022504728A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1656Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10Complex mathematical operations
    • G06F17/16Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/254Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/97Determining parameters from multiple pictures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30241Trajectory
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30244Camera pose
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Remote Sensing (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • Electromagnetism (AREA)
  • Algebra (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Navigation (AREA)
  • Manipulator (AREA)
  • Traffic Control Systems (AREA)

Abstract

Figure 2022504728000001
本願実施例はポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体を提供し、当該ポジショニング方法は、ポジショニング部品を介してロボットの第1位置情報を決定することと、カメラを介して画像を収集することと、当該画像に従って、ロボットの第2位置情報を決定することと、第1位置情報と第2位置情報を融合して、ロボットのポジショニング情報を取得することと、を含む。ポジショニングを実行するとき、ポジショニング部品を介したポジショニングとカメラによって収集された画像を介したポジショニングを融合してロボットのポジショニングを取得し、ポジショニング部品のポジショニングと感知結果のポジショニングを組み合わせることにより、ポジショニング部品のポジショニングを修正でき、ポジショニングの精度を向上させることができる。

Description

本願は、2019年09月26日に中国特許局に提出された、出願番号が201910915168.8であり、発明の名称が「ポジショニング方法、経路決定方法、装置、ロボット及記憶媒体」である中国特許出願に基づいて提出されるものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容が参照によって本願にグ組み込まれる。
本願は、ロボット技術分野に関し、具体的にはポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体に関する。
電子技術の持続的な開発に伴い、無人車両などの無人制御ロボットが登場した。無人制御ロボットは道路で移動するために、まず、ロボット自体の位置を正確にポジショニングする必要がある。これにより、ポジショニングに従って次の移動経路を決定することができる。現在、一般的に使用されるポジショニング方法は、シングルラインレーザーレーダー、全地球測位システム(GPS:global positioning system)などのポジショニング部品を介してポジショニングを実行することである。
本願実施例は、ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体を提供する。
第1態様において、ポジショニング方法を提供し、前記ポジショニング方法は、
ポジショニング部品を介してロボットの第1位置情報を決定することと、
カメラを介して画像を収集することと、
前記画像に従って、前記ロボットの第2位置情報を決定することと、
前記第1位置情報と前記第2位置情報を融合して、前記ロボットのポジショニング情報を取得することと、を含む。
ポジショニングを実行するとき、ポジショニング部品を介したポジショニングとカメラによって収集された画像を介したポジショニングを融合してロボットのポジショニングを取得し、ポジショニング部品のポジショニングと感知結果のポジショニングを組み合わせることにより、ポジショニング部品のポジショニングを修正でき、ポジショニングの精度を向上させることができる。
一可能な実施形態として、前記ポジショニング部品はレーザーレーダーを備え、前記ポジショニング部品を介して前記ロボットの第1位置情報を決定することは、
前記レーザーレーダーを介してポジショニングデータを収集することと、
ポイントクラウドポジショニングマップおよび前記ポジショニングデータに従って、前記ロボットの第1位置情報を決定することと、を含む。
照明の変化、オクルードなどのポジショニングに対する影響を低減して、ポジショニングの精度を向上させることができる。
一可能な実施形態として、前記画像に従って、前記ロボットの第2位置情報を決定することは、
前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定することと、
前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することと、を含む。
マップを介した不正確なポジショニングに対する影響を低減して、ポジショニングの精度を向上させることができる。
一可能な実施形態として、前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定することは、
前記画像内のマーキングオブジェクトを検出することと、
前記カメラのアフィン変換行列に従って、前記ロボットと前記マーキングオブジェクトとの間の相対位置を決定することと、を含む。
一可能な実施形態として、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することを含む。
マーキングオブジェクトは通常、マップに識別子位置があるため、それとロボットとの相対位置およびポジショニング部品によって取得された第1位置情報を介して、ロボットの第2位置情報を決定して、ロボットのポジショニングの精度を向上させることができる。
一可能な実施形態として、前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
前記第1位置情報を前記マップにおける位置に変換して、前記ロボットの初期位置情報を取得することと、
前記画像内の前記ロボットが位置する道路の道路サイドラインを識別することと、
前記識別された道路サイドラインに従って前記初期位置情報の横方向情報を修正し、前記相対位置に従って前記初期位置情報内の縦方向情報を修正して、前記ロボットの第2位置情報を取得することと、を含み、
ここで、縦方向情報は、道路サイドラインが位置する方向における前記初期位置情報の位置情報であり、前記横方向情報は、道路サイドラインに垂直する方向における前記初期位置情報の位置情報である。
マーキングオブジェクトとロボットとの相対位置、および画像によって識別された道路情報を介してロボットの位置を修正して、ロボットのポジショニングの精度を向上させることができる。
一可能な実施形態として、前記第1位置情報と前記第2位置情報を融合して、前記ロボットのポジショニング情報を取得することは、
前記第1位置情報と前記第2位置情報を融合して、融合ポジショニング情報および前記融合ポジショニング情報の信頼度を取得することと、
前記信頼度が閾値より大きい場合、前記融合ポジショニング情報を前記ロボットのポジショニング情報として決定することと、を含む。
信頼度を介して融合によって取得された融合ポジショニング情報の信頼性を決定でき、信頼度が閾値より大きい場合、融合ポジショニング情報の信頼性が高いことを表し、融合ポジショニング情報をロボットのポジショニング情報に決定して、ポジショニングの精度を向上させることができる。
一可能な実施形態として、前記ポジショニング方法は、
前記画像に従って前記ロボットの第1ルートを決定することと、
マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することと、
前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定することと、をさらに含む。
運転経路を決定するとき、マップを介して決定されたルートとカメラを介して収集された画像によって決定されたルートを組み合わせてロボットの運転経路を取得し、マップを介して決定されたルートと感知結果を介して決定されたルートを組み合わせることにより、運転経路決定の精度を向上させることができる。
一可能な実施形態として、前記画像に従って前記ロボットの第1ルートを決定することは、
前記画像内の前記ロボットが位置する道路に対応する2つの道路サイドラインを識別することと、
前記2つの道路サイドラインの正中線を計算することと、
前記正中線に対して曲線平滑化処理を実行して、前記ロボットの第1ルートを取得することと、を含む。
画像内の道路サイドラインを識別することによりロボットの第1ルートを決定し、マップを介した不正確な経路決定の影響を低減して、運転経路決定の精度を向上させることができる。
一可能な実施形態として、マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することは、
マップから前記ロボットのポジショニング情報に対応する道路の正中線を照会して、前記ロボットの第2ルートを取得することを含む。
マップを介してロボットの第2ルートを決定することにより、ルートの決定に対する照明の変化、オクルードなどの影響を低減して、運転経路決定の精度を向上させることができる。
一可能な実施形態として、前記画像に従って前記ロボットの第1ルートを決定することは、
前記画像内の前記ロボットが位置する道路に対応する第1道路サイドラインを識別することと、
マップおよび前記ロボットのポジショニング情報に従って、前記ロボットが旋回した後の道路の第2道路サイドラインを決定することと、
前記第1道路サイドラインおよび前記第2道路サイドラインに従って、前記ロボットが旋回した後の道路の入口位置および入口方向を決定することと、
前記入口位置、前記入口方向および前記ロボットのポジショニング情報と方向に従って、旋回曲線を計算して、前記ロボットの第1ルートを取得することと、を含む。
画像およびマップを介して旋回方向におけるロボットのルートを決定でき、ルートの決定に対するオクルードなどの影響を低減して、運転経路決定の精度を向上させることができる。
一可能な実施形態として、マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することは、
マップから前記ロボットのポジショニング情報に対応する旋回道路の正中線を照会して、前記ロボットの第2ルートを取得することを含む。
マップを照会することによりロボットの第2ルートを決定し、ルートを決定する時間を減らして、運転経路決定の速度を向上させることができる。
一可能な実施形態として、前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定することは、
前記第1ルートと前記第2ルートを位置合わせして、前記ロボットの運転経路を取得することを含む。
異なる方式で決定されたロボットの2つのルートを位置合わせすることにより、ロボットのルートを最適化して、運転経路決定の精度を向上させることができる。
一可能な実施形態として、前記ポジショニング方法は、
前記運転経路に従って運転するための運転命令を生成することと、
前記運転命令を実行することと、をさらに含む。
決定された運転経路に従って運転することができ、運転の安全性を向上させることができる。
第2態様において、経路決定方法を提供し、前記ポジショニング方法は、
カメラを介して画像を収集することと、
前記画像に従って前記ロボットの第1ルートを決定することと、
マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することと、
前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定することと、を含む。
運転経路を決定するとき、マップを介して決定されたルートとカメラを介して収集された画像によって決定されたルートを組み合わせてロボットの運転経路を取得し、マップを介して決定されたルートと感知結果を介して決定されたルートを組み合わせることにより、運転経路決定の精度を向上させることができる。
一可能な実施形態として、前記画像に従って前記ロボットの第1ルートを決定することは、
前記画像内の前記ロボットが位置する道路に対応する2つの道路サイドラインを識別することと、
前記2つの道路サイドラインの正中線を計算することと、
前記正中線に対して曲線平滑化処理を実行して、前記ロボットの第1ルートを取得することと、を含む。
画像内の道路サイドラインを識別することによりロボットの第1ルートを決定し、これにより、マップを介した不正確な経路決定の影響を低減して、運転経路決定の精度を向上させることができる。
一可能な実施形態として、マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することは、
マップから前記ロボットのポジショニング情報に対応する道路の正中線を照会して、前記ロボットの第2ルートを取得することを含む。
マップを介してロボットの第2ルートを決定することにより、ルートの決定に対する照明の変化、オクルードなどの影響を低減して、運転経路決定の精度を向上させることができる。
一可能な実施形態として、前記画像に従って前記ロボットの第1ルートを決定することは、
前記画像内の前記ロボットが位置する道路に対応する第1道路サイドラインを識別することと、
マップおよび前記ロボットのポジショニング情報に従って、前記ロボットが旋回した後の道路の第2道路サイドラインを決定することと、
前記第1道路サイドラインおよび前記第2道路サイドラインに従って、前記ロボットが旋回した後の道路の入口位置および入口方向を決定することと、
前記入口位置、前記入口方向および前記ロボットのポジショニング情報と方向に従って、旋回曲線を計算して、前記ロボットの第1ルートを取得することと、を含む。
画像およびマップを介して旋回方向におけるロボットのルートを決定でき、ルートの決定に対するオクルードなどの影響を低減して、運転経路決定の精度を向上させることができる。
一可能な実施形態として、マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することは、
マップから前記ロボットのポジショニング情報に対応する旋回道路の正中線を照会して、前記ロボットの第2ルートを取得することを含む。
マップを照会することによりロボットの第2ルートを決定し、ルートを決定する時間を減らして、運転経路決定の速度を向上させることができる。
一可能な実施形態として、前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定することは、
前記第1ルートと前記第2ルートを位置合わせして、前記ロボットの運転経路を取得することを含む。
異なる方式で決定されたロボットの2つのルートを位置合わせすることにより、ロボットのルートを最適化して、運転経路決定の精度を向上させることができる。
一可能な実施形態として、前記ポジショニング方法は、
前記運転経路に従って運転するための運転命令を生成することと、
前記運転命令を実行することと、をさらに含む。
決定された運転経路に従って運転することができ、運転の安全性を向上させることができる。
第3態様において、ポジショニング装置を提供し、前記ポジショニング装置は、
ポジショニング部品を介してロボットの第1位置情報を決定するように構成される第1決定ユニットと、
カメラを介して画像を収集するように構成される収集ユニットと、
前記画像に従って、前記ロボットの第2位置情報を決定するように構成される第2決定ユニットと、
前記第1位置情報と前記第2位置情報を融合して、前記ロボットのポジショニング情報を取得するように構成される融合ユニットと、を備える。
一可能な実施形態として、前記ポジショニング部品はレーザーレーダーを備え、前記第1決定ユニットは、具体的に、
前記レーザーレーダーを介してポジショニングデータを収集し、
ポイントクラウドポジショニングマップおよび前記ポジショニングデータに従って、前記ロボットの第1位置情報を決定するように構成される。
一可能な実施形態として、前記第2決定ユニットは、具体的に、
前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定し、
前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定するように構成される。
一可能な実施形態として、前記第2決定ユニットが前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定することは、
前記画像内のマーキングオブジェクトを検出することと、
前記カメラのアフィン変換行列に従って、前記ロボットと前記マーキングオブジェクトとの間の相対位置を決定することと、を含む。
一可能な実施形態として、前記第2決定ユニットが前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することを含む。
一可能な実施形態として、前記第2決定ユニットが、前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
前記第1位置情報を前記マップにおける位置に変換して、前記ロボットの初期位置情報を取得することと、
前記画像内の前記ロボットが位置する道路の道路サイドラインを識別することと、
前記識別された道路サイドラインに従って前記初期位置情報の横方向情報を修正し、前記相対位置に従って前記初期位置情報内の縦方向情報を修正して、前記ロボットの第2位置情報を取得することと、を含み、
ここで、縦方向情報は、道路サイドラインが位置する方向における前記初期位置情報の位置情報であり、前記横方向情報は、道路サイドラインに垂直する方向における前記初期位置情報の位置情報である。
一可能な実施形態として、前記融合ユニットは、具体的に、
前記第1位置情報と前記第2位置情報を融合して、融合ポジショニング情報および前記融合ポジショニング情報の信頼度を取得し、
前記信頼度が閾値より大きい場合、前記融合ポジショニング情報を前記ロボットのポジショニング情報として決定するように構成される。
一可能な実施形態として、前記ポジショニング装置は、さらに、
前記画像に従って前記ロボットの第1ルートを決定するように構成される第3決定ユニットと、
マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定するように構成される第4決定ユニットと、
前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定するように構成される第5決定ユニットと、を備える。
一可能な実施形態として、前記第3決定ユニットは、具体的に、
前記画像内の前記ロボットが位置する道路に対応する2つの道路サイドラインを識別し、
前記正中線に対して曲線平滑化処理を実行して、前記ロボットの第1ルートを取得するように構成される。
一可能な実施形態として、前記第4決定ユニットは、具体的に、マップから前記ロボットのポジショニング情報に対応する道路の正中線を照会して、前記ロボットの第2ルートを取得するように構成される。
一可能な実施形態として、前記第3決定ユニットは、具体的に、
前記画像内の前記ロボットが位置する道路に対応する第1道路サイドラインを識別し、
マップおよび前記ロボットのポジショニング情報に従って、前記ロボットが旋回した後の道路の第2道路サイドラインを決定し、
前記第1道路サイドラインおよび前記第2道路サイドラインに従って、前記ロボットが旋回した後の道路の入口位置および入口方向を決定し、
前記入口位置、前記入口方向および前記ロボットのポジショニング情報と方向に従って、旋回曲線を計算して、前記ロボットの第1ルートを取得するように構成される。
一可能な実施形態として、前記第4決定ユニットは、具体的に、マップから前記ロボットのポジショニング情報に対応する旋回道路の正中線を照会して、前記ロボットの第2ルートを取得するように構成される。
一可能な実施形態として、前記第5決定ユニットは、具体的に、前記第1ルートと前記第2ルートを位置合わせして、前記ロボットの運転経路を取得するように構成される。
一可能な実施形態として、前記ポジショニング装置は、さらに、
前記運転経路に従って運転するための運転命令を生成するように構成される生成ユニットと、
前記運転命令を実行するように構成される実行ユニットと、を備える。
第4態様において、経路決定装置を提供し、前記ポジショニング装置は、
カメラを介して画像を収集するように構成される収集ユニットと、
前記画像に従って前記ロボットの第1ルートを決定するように構成される第1決定ユニットと、
マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定するように構成される第2決定ユニットと、
前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定するように構成される第3決定ユニットと、を備える。
一可能な実施形態として、前記第1決定ユニットは、具体的に、
前記画像内の前記ロボットが位置する道路に対応する2つの道路サイドラインを識別し、
前記2つの道路サイドラインの正中線を計算し、
前記正中線に対して曲線平滑化処理を実行して、前記ロボットの第1ルートを取得するように構成される。
一可能な実施形態として、前記第2決定ユニットは、具体的に、マップから前記ロボットのポジショニング情報に対応する道路の正中線を照会して、前記ロボットの第2ルートを取得するように構成される。
一可能な実施形態として、前記第1決定ユニットは、具体的に、
前記画像内の前記ロボットが位置する道路に対応する第1道路サイドラインを識別し、
マップおよび前記ロボットのポジショニング情報に従って、前記ロボットが旋回した後の道路の第2道路サイドラインを決定し、
前記第1道路サイドラインおよび前記第2道路サイドラインに従って、前記ロボットが旋回した後の道路の入口位置および入口方向を決定し、
前記入口位置、前記入口方向および前記ロボットのポジショニング情報と方向に従って、旋回曲線を計算して、前記ロボットの第1ルートを取得するように構成される。
一可能な実施形態として、前記第2決定ユニットは、具体的に、マップから前記ロボットのポジショニング情報に対応する旋回道路の正中線を照会して、前記ロボットの第2ルートを取得するように構成される。
一可能な実施形態として、前記第3決定ユニットは、具体的に、前記第1ルートと前記第2ルートを位置合わせして、前記ロボットの運転経路を取得するように構成される。
一可能な実施形態として、前記ポジショニング装置は、さらに、
前記運転経路に従って運転するための運転命令を生成するように構成される生成ユニットと、
前記運転命令を実行するように構成される実行ユニットと、を備える。
第5態様において、ロボットを提供し、前記ロボットはプロセッサ、メモリ、ポジショニング部品、カメラを備え、メモリは、コンピュータプログラムコードを記憶するように構成され、ポジショニング部品はポジショニングするように構成され、カメラは画像を収集するように構成され、プロセッサは、第1態様または第1態様の任意の1つの可能な実施形態による方法を実行するように構成される。
第6態様において、ロボットを提供し、前記ロボットはプロセッサ、メモリ、カメラを備え、メモリは、コンピュータプログラムコードを記憶するように構成され、カメラは画像を収集するように構成され、プロセッサは、第2態様または第2態様の任意の1つの可能な実施形態による方法を実行するように構成される。
第7態様において、コンピュータプログラムが記憶される可読記憶媒体を提供し、当該コンピュータプログラムはプログラムコードを含み、当該プログラムコードは、プロセッサによって実行されるとき当該プロセッサに第1態様または第1態様の任意の1つの可能な実施形態による方法、または第2態様または第2態様の任意の1つの可能な実施形態による方法を実行させる。
第8態様において、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサに、第1態様または第1態様の任意の1つの可能な実施形態による方法、または第2態様または第2態様の任意の1つの可能な実施形態による方法を実行させる。
本願実施例によるポジショニング方法の例示的なフローチャートである。 本願実施例によるポジショニング方法の別の例示的なフローチャートである。 本願実施例による経路決定方法の例示的なフローチャートである。 本願実施例によるポジショニング装置の例示的な構造図である。 本願実施例による経路決定装置の例示的な構造図である。 本願実施例によるロボットの例示的な構造図である。
本願実施例はポジショニング方法、経路決定方法、ロボットおよび記憶媒体を提供し、ポジショニングの精度を向上させるために使用される。以下、それぞれ、詳細に説明する。
図1を参照すると、図1は、本願実施例によるポジショニング方法の例示的なフローチャートである。ここで、当該ポジショニング方法はロボットに適用される。当該ロボットは教育、遊びなどに使用される小型車であり得、乗客、物を運ぶために使用される大型車でもあり得、教育、遊びなどに使用されるロボットでもあり得、ここでは限定しない。ここで、当該ロボットが使用するシステムは、組み込みシステムであり得、他のシステムでもあり得、ここでは限定しない。当該ポジショニング方法のステップはロボットなどのハードウェアを介して実行されるか、またはプロセッサがコンピュータ実行可能なコードを実行する方式を介して実行されることができる。図1に示されたように、当該ポジショニング方法は以下のステップを含み得る。
101において、ポジショニング部品を介してロボットの第1位置情報を決定する。
第1位置情報は、ポジショニング部品を使用して決定されたロボット自体の位置情報である。ロボットに電源を入れるかまたは起動した後、リアルタイムまたは定期的にポジショニング部品を介してロボットの第1位置情報を決定することができる。当該ポジショニング部品はレーザーレーダー、グローバルポジショニングシステム(GPS:Global Positioning System)、アシストグローバルポジショニングシステム(AGPS:Assisted Global Positioning System)、北斗ポジショニングなどであり得る。レーザーレーダーはシングルラインレーザーレーダーであり得、マルチラインレーザーレーダーでもあり得る。ここで、周期は1s、2s、5sなどであり得る。
ポジショニング部品がレーザーレーダーであり場合、まず、レーザーレーダーを介してポジショニングデータを収集し、その後ポイントクラウドポジショニングマップおよびポジショニングデータに従ってロボットの第1位置情報を決定でき、即ち、ポジショニングデータ内の点をポイントクラウドポジショニングマップ内の点をマッチングすることができ、マッチングを介してポイントクラウドマップにおける収集されたポジショニングデータの位置を決定して、ロボットの第1位置情報を決定することができる。ポイントクラウドポジショニングマップはポイントクラウドに従ってスプライスされたポジショニングのために使用されるマップである。ここで、ポイントクラウドポジショニングマップは、ロボットに事前に記憶されることができ、ポイントクラウドポジショニングマップを使用する場合、まず、ローカルから記憶されたポイントクラウドポジショニングマップを取得する必要がある。もちろん、他の実施形態では、ポイントクラウドポジショニングマップはクラウドまたは他の機器に記憶され、ロボットによって使用される必要があるときクラウドまたは他の機器から取得することもできる。
102において、カメラを介して画像を収集する。
ロボットに電源を入れるかまたは起動した後、リアルタイムまたは定期的にカメラを介して画像を収集することができる。ここでの周期はステップ101における周期と同じでも、異なってもよい。カメラの数は1つであり得、2つまたは2つ以上でもあり得る。
103において、収集された画像に従ってロボットの第2位置情報を決定する。
カメラを介して画像を収集した後、収集された画像に従ってロボットの第2位置情報を決定することができる。
具体的に、まずロボットと画像内のマーキングオブジェクトとの間の相対位置を決定し、その後マーキングオブジェクトおよび相対位置に従ってロボットの第2位置情報を決定することができる。まず画像におけるマーキングオブジェクトの座標を決定し、その後カメラの対応するマーキングオブジェクトの撮影角度および画像の撮影比率に従って、ロボットと画像内のマーキングオブジェクトとの間の相対位置を決定し、マーキングオブジェクトおよび相対位置に従ってロボットの第2位置情報を決定することができる。ターゲット識別技術に従ってロボットを識別した後、プリセットの座標に従って行列を変換し、カメラ座標系におけるロボット位置を世界座標系に変換して、ロボットの第2位置情報を取得することもできる。
ロボットと画像内のマーキングオブジェクトとの間の相対位置を決定するとき、まず画像内の的マーキングオブジェクトを検出し、その後カメラのアフィン変換行列に従ってロボットとマーキングオブジェクトとの間の相対位置を決定することができ、まず画像内のマーキングオブジェクトを検出し、その後レーザーレーダーを使用してマーキングオブジェクトをスキャンし、スキャンされたマーキングオブジェクトの点に従ってロボットとマーキングオブジェクトとの間の相対位置を決定することもできる。ここで、マーキングオブジェクトは信号機、道路標識などのマーキングオブジェクトであり得る。もちろん、他の実施例では、距離センサを介してロボットとマーキングオブジェクトとの間の相対距離を測定することもできる。
カメラのアフィン変換行列に従ってロボットとマーキングオブジェクトとの間の相対位置を決定するとき、まず画像座標系におけるマーキングオブジェクトの座標を決定し、その後カメラのアフィン変換行列に従って画像座標系におけるマーキングオブジェクトの座標をカメラを原点とする座標系内の座標に変換し、最後に変換された後のマーキングオブジェクトの座標に従ってロボットとマーキングオブジェクトとの間の相対位置を決定することができる。例えば、カメラを原点とする座標系におけるロボットの座標が(0,0,0)であり、カメラを原点とする座標系におけるマーキングオブジェクトの座標が(x1,y1,z1)であると、ロボットとマーキングオブジェクトとの間の相対位置は(x1,y1,z1)である。ここで、カメラとロボット中心との間の位置に偏差がある可能性があり、カメラとロボット中心との外部パラメータは測定できるため、前記外部パラメータをさらに結合してカメラを原点とする座標系におけるロボットの座標を取得し、その後上述したプロセスに従ってロボット中心(即ちロボット)に対応するマーキングオブジェクトの相対位置を取得することができる。
画像内のマーキングオブジェクトおよびロボットと画像内のマーキングオブジェクトとの間の相対位置に従ってロボットの第2位置情報を決定するとき、第1位置情報、マップ、マーキングオブジェクトおよび相対位置に従ってロボットの第2位置情報を決定することができる。具体的に、まず第1位置情報をマップ内の位置に変換して、ロボットの初期位置情報を取得する同時に、その前またはその後画像からロボットが位置する道路の道路サイドラインを識別することができる。例えば、ロボットカーが位置するレーンのレーンラインを識別し、その後識別された道路サイドラインに従って初期位置情報内の横方向情報を修正し、ロボットと画像内のマーキングオブジェクトとの間の相対位置に従って初期位置情報内の縦方向情報を修正して、ロボットの第2位置情報を取得することができる。
ここで、道路サイドラインが位置する方向が縦方向であり、道路サイドラインに垂直する方向が横方向である。縦方向情報は、道路サイドラインが位置する方向における当該初期位置情報の位置情報であり、当該横方向情報は、道路サイドラインに垂直する方向における当該初期位置情報の位置情報であり、例えば初期位置情報はロボットの横方向座標および縦方向座標であり、当該横方向情報は当該横方向座標であり、当該縦方向情報は当該縦方向座標である。
ロボットと画像内のマーキングオブジェクトとの間の相対位置に従って初期位置情報内の縦方向情報を修正することは、まずカメラを原点とする座標系におけるマーキングオブジェクトの座標(x1,y1,z1)をマップにマッピングしてマッピング横方向位置およびマッピング縦方向位置を取得すること、および直接にマップからマーキングオブジェクトの位置を照会して照会横方向位置および照会縦方向位置を取得することであり得る。その後マッピング縦方向位置および照会縦方向位置に従ってマーキングオブジェクトの縦方向位置を取得することができ、マッピング縦方向位置および照会縦方向位置の平均または加重平均をマーキングオブジェクトの縦方向位置に決定することができる。その後ロボットと画像内のマーキングオブジェクトとの間の相対位置およびマーキングオブジェクトの縦方向位置に従って初期位置情報内の縦方向情報を修正する。例えば、初期位置情報の座標が(x2,y2)であり、決定されたマーキングオブジェクトの縦方向位置がy3であり、ロボットとマーキングオブジェクトとの間の相対位置が(x1,y1,z1)であると、これから分かるように、相対位置に対応するマーキングオブジェクトとロボットとの間の縦方向座標差がy1であり、その後y3-y1=y4に従ってロボットの修正縦方向情報を取得でき、y2およびy4の平均値または加重平均をロボットの縦方向座標点とすることができる。
識別された道路サイドラインに従って初期位置情報内の横方向情報を修正することは、まず識別された道路サイドラインに従ってロボットが位置する道路の正中線を決定し、その後正中線の初期位置情報に対応する点を決定し、当該点の横方向情報に従って初期位置情報内の横方向情報を修正することであり得る。修正された横方向情報は、当該点の横方向情報および初期位置情報内の横方向情報の平均または加重平均であり得る。レーンサイドラインが直線である場合、正中線の初期位置情報に対応する点は、初期位置の縦方向情報と同じ点であり得る。レーンサイドラインが曲線である場合、正中線の初期位置情報に対応する点は初期位置と最も近い点であり得る。例えば、初期位置情報の座標が(x2,y2)であると、識別されたロボットが位置する道路の道路サイドラインに従って当該道路の正中線を決定でき、当該正中線の横座標がx3であり、x2およびx3の平均値または加重平均をロボットの横方向座標点とすることができる。当該正中線が直線ではない場合、x3は正中線の(x2,y2)と最も近い点の横座標であり得る。
ここで、当該マップは高精度マップであり得、通常の現物ポジショニングマップでもあり得る。高精度マップは、精度がより高く、データ次元がより多くの電子マップである。精度がより高いことは、センチレベルの精度で具現され、データ次元がより多くことは、道路情報以外の運転と関連する周囲の静的情報を含んでいることで具現される。高精度マップは、大量のロボット運転支援情報を構造化データとして記憶し、これらの情報は2つのタイプに分けることができる。最初のタイプは道路データであり、例えば道路サイドラインの位置、タイプ、幅、スロープおよび曲率などのレーン情報である。二番目のタイプは、道路周辺の固定した対象情報であり、例えば交通標識、信号機などの情報、道路の高さ制限、下水道口、障害物および他の道路の詳細などであり、さらに、高架物体、ガードレール、数、道路エッジタイプ、道路脇のランドマークなどのインフラ情報を含む。ここで、道路はレーンであり得、歩道などのロボットが移動できる道路でもあり得る。道路サイドラインは道路のエッジラインであり、レーンラインであり得、道路縁石でもあり得、物体を分離でき、他の道路サイドラインとして使用できるモノでもあり得る。ここで、マップはロボットに事前に記憶されており、使用する前にまずローカルから記憶されたマップを取得することができる。もちろん、他の実施形態では、ポジショニングマップはクラウドまたは他の機器に記憶され、ロボットによって使用される必要があるときクラウドまたは他の機器から取得することもできる。
104において、第1位置情報と第2位置情報を融合して、ロボットのポジショニング情報を取得する。
ポジショニング部品を介してロボットの第1位置情報を決定し、画像に従ってロボットの第2位置情報を決定した後、第1位置情報と第2位置情報を融合してロボットのポジショニング情報を取得することができる。
一可能な実施形態において、まず第1位置情報および第2位置情報を融合アルゴリズムに入力して融合ポジショニング情報および当該融合ポジショニング情報の信頼度を取得し、その後信頼度が閾値より大きいか否かを判断し、信頼度が閾値より大きいと判断した場合、当該融合ポジショニング情報の精度が高いことを表し、当該融合ポジショニング情報をロボットのポジショニング情報として決定できる。信頼度が閾値より小さいか等しいと判断した場合、当該融合ポジショニング情報の精度が低いことを表し、当該融合ポジショニング情報を破棄した後、再ポジショニングを実行することができる。ロボットのポジショニング情報は第1位置情報および第2位置情報の平均、加重平均などであり得る。融合アルゴリズムは総合平均法、カルマンフィルタリング法、ベイズ推定法などであり得る。
他の可能な実施形態において、直接に第1位置情報と第2位置情報を加重または平均などの融合処理を実行して、ロボットのポジショニング情報を取得することもできる。
図1に説明されたポジショニング方法では、ポジショニングを実行するとき、ポジショニング部品を介したポジショニングとカメラによって収集された画像を介したポジショニングを融合してロボットのポジショニングを取得し、ポジショニング部品のポジショニングと感知結果のポジショニングを組み合わせることにより、ポジショニング部品のポジショニングを修正でき、ポジショニングの精度を向上させることができる。
図2を参照すると、図2は、本願実施例によるポジショニング方法の別の例示的なフローチャートである。ここで、当該ポジショニング方法はロボットに適用される。当該ロボットは教育、遊びなどに使用される小型車であり得、乗客、物を運ぶために使用される大型車でもあり得、教育、遊びなどに使用されるロボットでもあり得、ここでは限定しない。ここで、当該ロボットが使用するシステムは、組み込みシステムであり得、他のシステムでもあり得、ここでは限定しない。当該ポジショニング方法のステップはロボットなどのハードウェアを介して実行されるか、またはプロセッサがコンピュータ実行可能なコードを実行する方式を介して実行されることができる。図2に示されたように、当該ポジショニング方法は以下のステップを含み得る。
201において、ポジショニング部品を介してロボットの第1位置情報を決定する。
ここで、ステップ201はステップ101と同じであり、詳細な説明はステップ101を参照して、ここでは繰り返して説明しない。
202において、カメラを介して画像を収集する。
ここで、ステップ202はステップ102と同じであり、詳細な説明はステップ102を参照して、ここでは繰り返して説明しない。
203において、収集された画像に従ってロボットの第2位置情報を決定する。
ここで、ステップ203はステップ103と同じであり、詳細な説明はステップ103を参照して、ここでは繰り返して説明しない。
204において、第1位置情報と第2位置情報を融合して、ロボットのポジショニング情報を取得する。
ここで、ステップ204はステップ104と同じであり、詳細な説明はステップ104を参照して、ここでは繰り返して説明しない。
205において、画像に従ってロボットの第1ルートを決定する。
第1ルートは収集された画像情報に従って、ロボットの移動経路を計画して得る。カメラを介して画像を収集した後、画像に従ってロボットの第1ルートを決定することができる。
一可能な実施形態において、ロボットが車両であることを例として、ロボットが直線道路で運転する場合、まず、画像内のロボットが位置する道路に対応する2つの道路サイドラインを識別することができ、例えば、事前にトレーニングされた道路サイドライン識別モデルを使用して画像内のロボットが位置する道路に対応する2つの道路サイドラインを識別し、その後2つの道路サイドラインの正中線を計算する。その後、直接に道路サイドラインの正中線をロボットの第1ルートに決定することができ、道路サイドラインの正中線に対して曲線平滑化処理を実行してロボットの第1ルートを取得することもできる。ロボットが道路の右端または左端で運転する場合、ロボットが位置する道路が1つの道路サイドラインしかない場合があり、検出された道路縁石を画像の検出における別の1つの道路サイドラインとして決定することができる。道路が双方向であり、且つ、道路の中央が柵などの物体で隔てられている場合に、ロボットが隔てられた物体の横の道路で運転する場合、ロボットが位置する道路は1つの道路サイドラインしかない場合があり、検出された隔てられた物体を画像の検出における別の1つの道路サイドラインとして決定することができる。
一可能な実施形態において、ロボットが交差点またはカーブで運転する場合、画像内のロボットが位置する道路に対応する第1道路サイドラインを識別できる。マップおよびロボットのポジショニング情報に従ってロボットが旋回した後の道路の第2道路サイドラインを決定することができ、即ち、ロボットのポジショニング情報に従ってマップで、ロボットが位置する道路で旋回した後の道路の情報を照会することができ、道路の情報は道路の幅、ロボットの道路サイドラインなどを含み得る。その後、識別された第1道路サイドラインおよび決定された第2道路サイドラインに従ってロボットが旋回した後の道路の入口位置および入口方向を決定する。画像を介して識別された第1道路サイドラインが決定された第2道路サイドラインの精度より高いため、識別された道路サイドラインに従って決定された道路サイドラインを補完し、補完された後の道路サイドラインに従ってロボットが旋回した後運転する道路の入口位置および入口方向を決定することができる。最後に、ロボットが旋回した後運転する道路の入口位置および入口方向、およびロボットのポジショニング情報および方向に従って旋回曲線を計算して、ロボットの第1ルートを取得することができる。ここで、bスプライン、多項式フィッティングなどの方法を使用して旋回曲線を計算することができる。上述した方式を介して、ロボットの運転経路計画の精度を向上させ、カメラのブラインドゾーンの道路サイドラインの見えない部分によって引き起こされる不正確な経路計画の問題を克服することができる。
206において、マップおよびロボットのポジショニング情報に従ってロボットの第2ルートを決定する。
第2ルートは、マップおよびロボットのポジショニング情報に従って計画されたロボット運転参照経路である。第1位置情報と第2位置情報を融合してロボットのポジショニング情報を取得した後、マップおよびロボットのポジショニング情報に従ってロボットの第2ルートを決定することができる。ロボットが直線道路で運転する場合、マップからロボットのポジショニング情報に対応するロボットの現在位置する道路の正中線を照会し、当該正中線をロボットの第2ルートとして使用することができる。ロボットが交差点で運転する場合、マップからロボットのポジショニング情報に対応するロボットが曲がろうとする道路の正中線を照会し、当該正中線をロボットの第2ルートとして使用することができる。
もちろん、他の実施例において、道路の他の位置、例えば道路の左側の2/3位置に沿ったルートを、ロボットの第2ルートとして使用することもできる。
207において、第1ルートおよび第2ルートに従ってロボットの運転経路を決定する。
画像に従ってロボットの第1ルートを決定し、マップおよびロボットのポジショニング情報に従ってロボットの第2ルートを決定した後、第1ルートおよび第2ルートに従ってロボットの運転経路を決定することができる。例えば、第1ルートと第2ルートを位置合わせしてロボットの運転経路を取得し、ここで、加重平均、曲線フィッティングなどの方法を使用して第1ルートおよび第2ルートに対して位置合わせを実行することができる。
例示的に、ステップS207の後、さらに、以下のステップを含む。
208において、運転経路に従って運転するための運転命令を生成する。
第1ルートおよび第2ルートに従ってロボットの運転経路を決定した後、運転経路に従って運転経路を運転するための運転命令を生成することができる。
例えば、運転経路が直線である場合、現在の道路に沿って100メートル直進するための運転命令を生成できる。
209において、運転命令を実行する。
運転経路を運転する運転命令を生成した後、運転経路に従って運転するために、ロボットは当該運転命令を実行できる。
図2に説明されたポジショニング方法では、ポジショニング部品を介したポジショニングとカメラによって収集された画像を介したポジショニングを融合してロボットのポジショニングを取得し、ポジショニング部品のポジショニングを感知結果のポジショニングと組み合わせることにより、ポジショニング部品のポジショニングを修正でき、ポジショニングの精度を向上させることができる。なお、ポジショニング情報によって決定されたロボットのルートおよびカメラを介して収集された画像によって決定されたロボットのルートに従ってロボットの運転経路を決定し、ポジショニング情報によって決定されたロボットのルートとカメラによって収集された画像によって決定されたロボットのルートを組み合わせることにより、ポジショニング情報によって決定されたロボットのルートを修正でき、運転経路決定の精度を向上させることができる。
図3を参照すると、図3は本願実施例による経路決定方法の例示的なフローチャートである。ここで、当該経路決定方法はロボットに適用できる。当該ロボットは教育、遊びなどに使用される小型車であり得、乗客、物を運ぶために使用される大型車でもあり得、教育、遊びなどに使用されるロボットでもあり得、ここでは限定しない。ここで、当該ロボットが使用するシステムは、組み込みシステムであり得、他のシステムでもあり得、ここでは限定しない。当該経路決定方法のステップはロボットなどのハードウェアを介して実行されるか、またはプロセッサがコンピュータ実行可能なコードを実行する方式を介して実行されることができる。図3に示されたように、当該経路決定方法は以下のステップを含み得る。
301において、カメラを介して画像を収集する。
ここで、ステップ301はステップ102と同じであり、詳細な説明はステップ102を参照して、ここでは繰り返して説明しない。
302において、画像に従ってロボットの第1ルートを決定する。
ここで、ステップ302はステップ205と同じであり、詳細な説明はステップ205を参照して、ここでは繰り返して説明しない。
303において、マップおよびロボットのポジショニング情報に従ってロボットの第2ルートを決定する。
ここで、ステップ303はステップ206と類似し、詳細な説明はステップ206を参照して、ここでは繰り返して説明しない。
もちろん、他の実施例において、ロボットは、ポジショニング部品またはマップのうちの1つの方式を使用してロボットポジショニング情報を直接に取得した後、ロボットの第1ルートおよび第2ルートを決定することもできる。
304において、第1ルートおよび第2ルートに従ってロボットの運転経路を決定する。
ここで、ステップ304はステップ207と同じであり、詳細な説明はステップ207を参照して、ここでは繰り返して説明しない。
305において、運転経路に従って運転するための運転命令を生成する。
ここで、ステップ305はステップ208と同じであり、詳細な説明はステップ208を参照して、ここでは繰り返して説明しない。
306において、運転命令を実行する。
ここで、ステップ306はステップ209と同じであり、詳細な説明はステップ209を参照して、ここでは繰り返して説明しない。
図3で説明された経路決定方法では、ポジショニング情報によって決定されたロボットのルートおよびカメラを介して収集された画像によって決定されたロボットのルートに従ってロボットの運転経路を決定し、ポジショニング情報によって決定されたロボットのルートとカメラによって収集された画像によって決定されたロボットのルートを組み合わせることにより、ポジショニング情報によって決定されたロボットのルートを修正でき、運転経路決定の精度を向上させることができる。
図4を参照すると、図4は、本願実施例によるポジショニング装置の例示的な構造図である。ここで、当該ポジショニング装置はロボットに適用できる。当該ロボットは教育、遊びなどに使用される小型車であり得、乗客、物を運ぶために使用される大型車でもあり得、教育、遊びなどに使用されるロボットでもあり得、ここでは限定しない。ここで、当該ロボットが使用するシステムは、組み込みシステムであり得、他のシステムでもあり得、ここでは限定しない。図4に示されたように、当該ポジショニング装置は、
ポジショニング部品を介してロボットの第1位置情報を決定するように構成される第1決定ユニット401と、
カメラを介して画像を収集するように構成される収集ユニット402と、
当該画像に従って、ロボットの第2位置情報を決定するように構成される第2決定ユニット403と、
第1位置情報と第2位置情報を融合して、ロボットのポジショニング情報を取得するように構成される融合ユニット404と、を備えることができる。
一実施例において、ポジショニング部品はレーザーレーダーを含み得、第1決定ユニット401は、具体的に、
レーザーレーダーを介してポジショニングデータを収集し、
ポイントクラウドポジショニングマップおよびポジショニングデータに従って、ロボットの第1位置情報を決定するように構成される。
一実施例において、第2決定ユニット403は、具体的に、
ロボットと当該画像内のマーキングオブジェクトとの間の相対位置を決定し、
マーキングオブジェクトおよび相対位置に従ってロボットの第2位置情報を決定するように構成される。
一実施例において、第2決定ユニット403がロボットと当該画像内のマーキングオブジェクトとの間の相対位置を決定することは、
当該画像内のマーキングオブジェクトを検出することと、
カメラのアフィン変換行列に従って、ロボットとマーキングオブジェクトとの間の相対位置を決定することと、を含む。
一実施例において、第2決定ユニット403がマーキングオブジェクトおよび相対位置に従ってロボットの第2位置情報を決定することは、
第1位置情報、マップ、マーキングオブジェクトおよび相対位置に従ってロボットの第2位置情報を決定することを含む。
一実施例において、第2決定ユニット403が第1位置情報、マップ、マーキングオブジェクトおよび相対位置に従ってロボットの第2位置情報を決定することは、
前記第1位置情報をマップにおける位置に変換して、ロボットの初期位置情報を取得することと、
当該画像内のロボットが位置する道路の道路サイドラインを識別することと、
識別された道路サイドラインに従って初期位置情報の横方向情報を修正し、相対位置に従って初期位置情報内の縦方向情報を修正して、ロボットの第2位置情報を取得することと、を含み、
ここで、縦方向情報は、道路サイドラインが位置する方向における初期位置情報の位置情報であり、横方向情報は、道路サイドラインに垂直する方向における初期位置情報の位置情報である。
一実施例において、融合ユニット404は、具体的に、
第1位置情報と第2位置情報を融合して、融合ポジショニング情報および融合ポジショニング情報の信頼度を取得し、
信頼度が閾値より大きい場合、融合ポジショニング情報をロボットのポジショニング情報として決定するように構成される。
一実施例において、当該ポジショニング装置は、さらに、
画像に従ってロボットの第1ルートを決定するように構成される第3決定ユニット405と、
マップおよびロボットのポジショニング情報に従ってロボットの第2ルートを決定するように構成される第4決定ユニット406と、
第1ルートおよび第2ルートに従ってロボットの運転経路を決定するように構成される第5決定ユニット407と、を備えることができる。
一実施例において、第3決定ユニット405は、具体的に、
画像内のロボットが位置する道路に対応する2つの道路サイドラインを識別し、
2つの道路サイドラインの正中線を計算し、
正中線に対して曲線平滑化処理を実行して、ロボットの第1ルートを取得するように構成される。
一実施例において、第4決定ユニット406は、具体的に、マップからロボットのポジショニング情報に対応する道路の正中線を照会して、ロボットの第2ルートを取得するように構成される。
一実施例において、第3決定ユニット405は、具体的に、
画像内のロボットが位置する道路に対応する第1道路サイドラインを識別し、
マップおよびロボットのポジショニング情報に従って、ロボットが旋回した後の道路の第2道路サイドラインを決定し、
第1道路サイドラインおよび第2道路サイドラインに従って、ロボットが旋回した後の道路の入口位置および入口方向を決定し、
入口位置、入口方向およびロボットのポジショニング情報と方向に従って、旋回曲線を計算して、ロボットの第1ルートを取得するように構成される。
一実施例において、第4決定ユニット406は、具体的に、マップからロボットのポジショニング情報に対応する旋回道路の正中線を照会して、ロボットの第2ルートを取得するように構成される。
一実施例において、第5決定ユニット407は、具体的に、第1ルートを第2ルートと位置合わせして、ロボットの運転経路を取得するように構成される。
一実施例において、当該ポジショニング装置は、さらに、
運転経路に従って運転するための運転命令を生成するように構成される生成ユニット408と、
運転命令を実行するように構成される実行ユニット409と、を備えることができる。
本実施例は本願実施例における方法実施例の説明に対応でき、各ユニットの上述したおよび他の動作および/または機能はそれぞれ図1および図2の各方法における対応するプロセスを実現するためであり、簡潔のために、ここでは再び説明しない。
図5を参照すると、図5は本願実施例による経路決定装置の例示的な構造図である。ここで、当該経路決定装置はロボットに適用できる。当該ロボットは教育、遊びなどに使用される小型車であり得、乗客、物を運ぶために使用される大型車でもあり得、教育、遊びなどに使用されるロボットでもあり得、ここでは限定しない。ここで、当該ロボットが使用するシステムは、組み込みシステムであり得、他のシステムでもあり得、ここでは限定しない。図5に示されたように、当該経路決定装置は、
カメラを介して画像を収集するように構成される収集ユニット501と、
画像に従ってロボットの第1ルートを決定するように構成される第1決定ユニット502と、
マップおよびロボットのポジショニング情報に従ってロボットの第2ルートを決定するように構成される第2決定ユニット503と、
第1ルートおよび第2ルートに従ってロボットの運転経路を決定するように構成される第3決定ユニット504と、を備えることができる。
一実施例において、第1決定ユニット502は、具体的に、
画像内のロボットが位置する道路に対応する2つの道路サイドラインを識別し、
2つの道路サイドラインの正中線を計算し、
正中線に対して曲線平滑化処理を実行して、ロボットの第1ルートを取得するように構成される。
一実施例において、第2決定ユニット503は、具体的に、マップからロボットのポジショニング情報に対応する道路の正中線を照会して、ロボットの第2ルートを取得するように構成される。
一実施例において、第1決定ユニット502は、具体的に、
画像内のロボットが位置する道路に対応する第1道路サイドラインを識別し、
マップおよびロボットのポジショニング情報に従って、ロボットが旋回した後の道路の第2道路サイドラインを決定し、
第1道路サイドラインおよび第2道路サイドラインに従って、ロボットが旋回した後の道路の入口位置および入口方向を決定し、
入口位置、入口方向およびロボットのポジショニング情報と方向に従って、旋回曲線を計算して、ロボットの第1ルートを取得するように構成される。
一実施例において、第2決定ユニット503は、具体的に、マップからロボットのポジショニング情報に対応する旋回道路の正中線を照会して、ロボットの第2ルートを取得するように構成される。
一実施例において、第3決定ユニット504は、具体的に、第1ルートを第2ルートと位置合わせして、ロボットの運転経路を取得するように構成される。
一実施例において、当該経路決定装置は、さらに、
運転経路に従って運転するための運転命令を生成するように構成される生成ユニット505と、
運転命令を実行するように構成される実行ユニット506と、を備えることができる。
本実施例は本願実施例における方法実施例の説明に対応でき、各ユニットの上述したおよび他の動作および/または機能はそれぞれ図2および図3の各方法における対応するプロセスを実現するためであり、簡潔のために、ここでは再び説明しない。
図6を参照すると、図6は本願実施例によるロボットの例示的な構造図である。ここで、当該ロボットは教育、遊びなどに使用される小型車であり得、乗客、物を運ぶために使用される大型車でもあり得、教育、遊びなどに使用されるロボットでもあり得、ここでは限定しない。ここで、当該ロボットが使用するシステムは、組み込みシステムであり得、他のシステムでもあり得、ここでは限定しない。図6に示されたように、当該ロボットは、少なくとも1つのプロセッサ601、メモリ602、ポジショニング部品603、カメラ604および通信回線605を備えることができる。メモリ602は、独立して存在でき、通信回線605を介してプロセッサ601と接続することができる。メモリ602は、プロセッサ601と統合されることもできる。ここで、通信回線605は、これらのコンポーネント間の接続を実現するように構成される。
一実施例において、メモリ602に記憶されたコンピュータプログラム命令が実行されるとき、当該プロセッサ601は、上述した実施例の第2決定ユニット403、融合ユニット404、第3決定ユニット405、第4決定ユニット406、第5決定ユニット407、生成ユニット408および実行ユニット409のうちの少なくとも部分的なユニットを実行する動作を実行するように構成され、ポジショニング部品603は、上述した実施例の第1決定ユニット401によって実行される動作を実行するように構成され、カメラ604は、上述した実施例の収集ユニット402によって実行される動作を実行するように構成される。上述したロボットは、さらに、上記の方法実施例で端末機器が実行する様々な方法を実行するように構成されることができ、繰り返して説明しない。
別の一実施例において、メモリ602に記憶されたコンピュータプログラム命令が実行されるとき、当該プロセッサ601は、上述した実施例の第1決定ユニット502、第2決定ユニット503、第3決定ユニット504、生成ユニット505および実行ユニット505のうちの少なくとも部分的なユニットの動作を実行するように構成され、カメラ604は、上述した実施例の収集ユニット501によって実行される動作を実行するように構成される。上述したロボットは、さらに、上記の方法実施例で実行される様々な方法を実行するように構成されることができ、繰り返して説明しない。
本願実施例は、さらに、命令が記憶されるコンピュータ可読記憶媒体を開示し、当該命令が実行されるとき上述した方法実施例における方法を実行する。当該可読記憶媒体は揮発性記憶媒体であり得、不揮発性記憶媒体でもあり得る。
本願実施例は、さらに、命令を含むコンピュータプログラム製品を開示し、当該命令は実行されるとき上述した方法実施例における方法を実行する。
上述した実施例の様々な方法におけるすべてまたは一部のステップは、プログラムによって関連するハードウェアを命令することにより完成できることを当業者なら自明である。当該プログラムは、1つのコンピュータ可読メモリに記憶でき、メモリは、フラッシュディスク、読み取り専用メモリ(ROM:Read-Only Memory)、ランダムアクセスメモリ(RAM:Random-Access Memory)、磁気ディスクまたは光ディスクなどを含み得る。
以上は、本願実施例を詳細に紹介しており、本明細書には、具体的な例を応用して本願の原理および実施形態を説明したが、上述した実施例の説明は、単に本願の方法およびその本旨を理解するようにするためのものである。同時に、当業者に対して、本願の精神に従って、具体的な実施形態および適用範囲には全て変更される部分がある。まとめると、本明細書の内容は、本願の制限として理解できない。
第8態様において、コンピュータ可読コードを含むコンピュータプログラムを提供し、前記コンピュータ可読コードが電子機器で実行されるとき、前記電子機器内のプロセッサに、第1態様または第1態様の任意の1つの可能な実施形態による方法、または第2態様または第2態様の任意の1つの可能な実施形態による方法を実行させる。
例えば、本願は以下の項目を提供する。
(項目1)
ポジショニング方法であって、
ポジショニング部品を介してロボットの第1位置情報を決定することと、
カメラを介して画像を収集することと、
前記画像に従って、前記ロボットの第2位置情報を決定することと、
前記第1位置情報と前記第2位置情報を融合して、前記ロボットのポジショニング情報を取得することと、を含む、前記ポジショニング方法。
(項目2)
前記ポジショニング部品はレーザーレーダーを備え、前記ポジショニング部品を介して前記ロボットの第1位置情報を決定することは、
前記レーザーレーダーを介してポジショニングデータを収集することと、
ポイントクラウドポジショニングマップおよび前記ポジショニングデータに従って、前記ロボットの第1位置情報を決定することと、を含む、
項目1に記載のポジショニング方法。
(項目3)
前記画像に従って、前記ロボットの第2位置情報を決定することは、
前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定することと、
前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することと、を含む、
項目1または2に記載のポジショニング方法。
(項目4)
前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定することは、
前記画像内のマーキングオブジェクトを検出することと、
前記カメラのアフィン変換行列に従って、前記ロボットと前記マーキングオブジェクトとの間の相対位置を決定することと、を含む、
項目3に記載のポジショニング方法。
(項目5)
前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することと、を含む、
項目3または4に記載のポジショニング方法。
(項目6)
前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
前記第1位置情報を前記マップにおける位置に変換して、前記ロボットの初期位置情報を取得することと、
前記画像内の前記ロボットが位置する道路の道路サイドラインを識別することと、
前記識別された道路サイドラインに従って前記初期位置情報の横方向情報を修正し、前記相対位置に従って前記初期位置情報内の縦方向情報を修正して、前記ロボットの第2位置情報を取得することと、を含み、
前記縦方向情報は、道路サイドラインが位置する方向における前記初期位置情報の位置情報であり、前記横方向情報は、道路サイドラインに垂直する方向における前記初期位置情報の位置情報である、
項目5に記載のポジショニング方法。
(項目7)
前記第1位置情報と前記第2位置情報を融合して、前記ロボットのポジショニング情報を取得することは、
前記第1位置情報と前記第2位置情報を融合して、融合ポジショニング情報および前記融合ポジショニング情報の信頼度を取得することと、
前記信頼度が閾値より大きい場合、前記融合ポジショニング情報を前記ロボットのポジショニング情報として決定することと、を含む、
項目1ないし6のいずれか一項に記載のポジショニング方法。
(項目8)
前記ポジショニング方法は、
前記画像に従って前記ロボットの第1ルートを決定することと、
マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することと、
前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定することと、をさらに含む、
項目1ないし7のいずれか一項に記載のポジショニング方法。
(項目9)
前記画像に従って前記ロボットの第1ルートを決定することは、
前記画像内の前記ロボットが位置する道路に対応する2つの道路サイドラインを識別することと、
前記2つの道路サイドラインの正中線を計算することと、
前記正中線に対して曲線平滑化処理を実行して、前記ロボットの第1ルートを取得することと、を含む、
項目8に記載のポジショニング方法。
(項目10)
前記マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することは、
前記マップから前記ロボットのポジショニング情報に対応する道路の正中線を照会して、前記ロボットの第2ルートを取得することを含む、
項目9に記載のポジショニング方法。
(項目11)
前記画像に従って前記ロボットの第1ルートを決定することは、
前記画像内の前記ロボットが位置する道路に対応する第1道路サイドラインを識別することと、
前記マップおよび前記ロボットのポジショニング情報に従って、前記ロボットが旋回した後の道路の第2道路サイドラインを決定することと、
前記第1道路サイドラインおよび前記第2道路サイドラインに従って、前記ロボットが旋回した後の道路の入口位置および入口方向を決定することと、
前記入口位置、前記入口方向および前記ロボットのポジショニング情報と方向に従って、旋回曲線を計算して、前記ロボットの第1ルートを取得することと、を含む、
項目8に記載のポジショニング方法。
(項目12)
前記マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することは、
前記マップから前記ロボットのポジショニング情報に対応する旋回道路の正中線を照会して、前記ロボットの第2ルートを取得することを含む、
項目11に記載のポジショニング方法。
(項目13)
前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定することは、
前記第1ルートと前記第2ルートを位置合わせして、前記ロボットの運転経路を取得することを含む、
項目8ないし12のいずれか一項に記載のポジショニング方法。
(項目14)
前記ポジショニング方法は、
前記運転経路に従って運転するための運転命令を生成することと、
前記運転命令を実行することと、をさらに含む、
項目8ないし13のいずれか一項に記載のポジショニング方法。
(項目15)
ポジショニング装置であって、
ポジショニング部品を介してロボットの第1位置情報を決定するように構成される第1決定ユニットと、
カメラを介して画像を収集するように構成される収集ユニットと、
前記画像に従って、前記ロボットの第2位置情報を決定するように構成される第2決定ユニットと、
前記第1位置情報と前記第2位置情報を融合して、前記ロボットのポジショニング情報を取得するように構成される融合ユニットと、を備える、前記ポジショニング装置。
(項目16)
前記ポジショニング部品はレーザーレーダーを備え、前記第1決定ユニットは、具体的に、
前記レーザーレーダーを介してポジショニングデータを収集し、
ポイントクラウドポジショニングマップおよび前記ポジショニングデータに従って、前記ロボットの第1位置情報を決定するように構成される、
項目15に記載のポジショニング装置。
(項目17)
前記第2決定ユニットは、具体的に、
前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定し、
前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定するように構成される、
項目15または16に記載のポジショニング装置。
(項目18)
前記第2決定ユニットが前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定することは、
前記画像内のマーキングオブジェクトを検出することと、
前記カメラのアフィン変換行列に従って、前記ロボットと前記マーキングオブジェクトとの間の相対位置を決定することと、を含む、
項目17に記載のポジショニング装置。
(項目19)
前記第2決定ユニットが前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することを含む、
項目17または18に記載のポジショニング装置。
(項目20)
第2決定ユニットが前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
前記第1位置情報を前記マップにおける位置に変換して、前記ロボットの初期位置情報を取得することと、
前記画像内の前記ロボットが位置する道路の道路サイドラインを識別することと、
前記識別された道路サイドラインに従って前記初期位置情報の横方向情報を修正し、前記相対位置に従って前記初期位置情報内の縦方向情報を修正して、前記ロボットの第2位置情報を取得することと、を含み、
前記縦方向情報は、道路サイドラインが位置する方向における前記初期位置情報の位置情報であり、前記横方向情報は、道路サイドラインに垂直する方向における前記初期位置情報の位置情報である、
項目19に記載のポジショニング装置。
(項目21)
前記融合ユニットは、具体的に、
前記第1位置情報と前記第2位置情報を融合して、融合ポジショニング情報および前記融合ポジショニング情報の信頼度を取得し、
前記信頼度が閾値より大きい場合、前記融合ポジショニング情報を前記ロボットのポジショニング情報として決定するように構成される、
項目15ないし20のいずれか一項に記載のポジショニング装置。
(項目22)
前記ポジショニング装置は、さらに、
前記画像に従って前記ロボットの第1ルートを決定するように構成される第3決定ユニットと、
マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定するように構成される第4決定ユニットと、
前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定するように構成される第5決定ユニットと、を備える、
項目15ないし21のいずれか一項に記載のポジショニング装置。
(項目23)
前記第3決定ユニットは、具体的に、
前記画像内の前記ロボットが位置する道路に対応する2つの道路サイドラインを識別し、
前記2つの道路サイドラインの正中線を計算し、
前記正中線に対して曲線平滑化処理を実行して、前記ロボットの第1ルートを取得するように構成される、
項目22に記載のポジショニング装置。
(項目24)
前記第4決定ユニットは、具体的に、マップから前記ロボットのポジショニング情報に対応する道路の正中線を照会して、前記ロボットの第2ルートを取得するように構成される、
項目23に記載のポジショニング装置。
(項目25)
前記第3決定ユニットは、具体的に、
前記画像内の前記ロボットが位置する道路に対応する第1道路サイドラインを識別し、
マップおよび前記ロボットのポジショニング情報に従って、前記ロボットが旋回した後の道路の第2道路サイドラインを決定し、
前記第1道路サイドラインおよび前記第2道路サイドラインに従って、前記ロボットが旋回した後の道路の入口位置および入口方向を決定し、
前記入口位置、前記入口方向および前記ロボットのポジショニング情報と方向に従って、旋回曲線を計算して、前記ロボットの第1ルートを取得するように構成される、
項目22に記載のポジショニング装置。
(項目26)
前記第4決定ユニットは、具体的に、マップから前記ロボットのポジショニング情報に対応する旋回道路の正中線を照会して、前記ロボットの第2ルートを取得するように構成される、
項目25に記載のポジショニング装置。
(項目27)
前記第5決定ユニットは、具体的に、前記第1ルートと前記第2ルートを位置合わせして、前記ロボットの運転経路を取得するように構成される、
項目22ないし26のいずれか一項に記載のポジショニング装置。
(項目28)
前記ポジショニング装置は、さらに、
前記運転経路に従って運転するための運転命令を生成するように構成される生成ユニットと、
前記運転命令を実行するように構成される実行ユニットと、を備える、
項目22ないし27のいずれか一項に記載のポジショニング装置。
(項目29)
ロボットであって、プロセッサ、メモリ、ポジショニング部品、カメラを備え、
前記メモリは、コンピュータプログラムコードを記憶するように構成され、前記ポジショニング部品はポジショニングするように構成され、前記カメラは画像を収集するように構成され、前記プロセッサは前記コンピュータプログラムコードを呼び出して項目1ないし14のいずれか一項に記載のポジショニング方法を実行するように構成される、前記ロボット。
(項目30)
コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
前記コンピュータプログラムは、プロセッサによって実行されるとき、プロセッサに項目1ないし14のいずれか一項に記載のポジショニング方法を実行させる、前記コンピュータ可読記憶媒体。
(項目31)
コンピュータ可読コードを含んでいるコンピュータプログラムであって、
前記コンピュータ可読コードは、電子機器で実行されるとき、前記電子機器内のプロセッサに、項目1ないし14のいずれか一項に記載のポジショニング方法を実行させる、前記コンピュータプログラム。

Claims (31)

  1. ポジショニング方法であって、
    ポジショニング部品を介してロボットの第1位置情報を決定することと、
    カメラを介して画像を収集することと、
    前記画像に従って、前記ロボットの第2位置情報を決定することと、
    前記第1位置情報と前記第2位置情報を融合して、前記ロボットのポジショニング情報を取得することと、を含む、前記ポジショニング方法。
  2. 前記ポジショニング部品はレーザーレーダーを備え、前記ポジショニング部品を介して前記ロボットの第1位置情報を決定することは、
    前記レーザーレーダーを介してポジショニングデータを収集することと、
    ポイントクラウドポジショニングマップおよび前記ポジショニングデータに従って、前記ロボットの第1位置情報を決定することと、を含む、
    請求項1に記載のポジショニング方法。
  3. 前記画像に従って、前記ロボットの第2位置情報を決定することは、
    前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定することと、
    前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することと、を含む、
    請求項1または2に記載のポジショニング方法。
  4. 前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定することは、
    前記画像内のマーキングオブジェクトを検出することと、
    前記カメラのアフィン変換行列に従って、前記ロボットと前記マーキングオブジェクトとの間の相対位置を決定することと、を含む、
    請求項3に記載のポジショニング方法。
  5. 前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
    前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することと、を含む、
    請求項3または4に記載のポジショニング方法。
  6. 前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
    前記第1位置情報を前記マップにおける位置に変換して、前記ロボットの初期位置情報を取得することと、
    前記画像内の前記ロボットが位置する道路の道路サイドラインを識別することと、
    前記識別された道路サイドラインに従って前記初期位置情報の横方向情報を修正し、前記相対位置に従って前記初期位置情報内の縦方向情報を修正して、前記ロボットの第2位置情報を取得することと、を含み、
    前記縦方向情報は、道路サイドラインが位置する方向における前記初期位置情報の位置情報であり、前記横方向情報は、道路サイドラインに垂直する方向における前記初期位置情報の位置情報である、
    請求項5に記載のポジショニング方法。
  7. 前記第1位置情報と前記第2位置情報を融合して、前記ロボットのポジショニング情報を取得することは、
    前記第1位置情報と前記第2位置情報を融合して、融合ポジショニング情報および前記融合ポジショニング情報の信頼度を取得することと、
    前記信頼度が閾値より大きい場合、前記融合ポジショニング情報を前記ロボットのポジショニング情報として決定することと、を含む、
    請求項1ないし6のいずれか一項に記載のポジショニング方法。
  8. 前記ポジショニング方法は、
    前記画像に従って前記ロボットの第1ルートを決定することと、
    マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することと、
    前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定することと、をさらに含む、
    請求項1ないし7のいずれか一項に記載のポジショニング方法。
  9. 前記画像に従って前記ロボットの第1ルートを決定することは、
    前記画像内の前記ロボットが位置する道路に対応する2つの道路サイドラインを識別することと、
    前記2つの道路サイドラインの正中線を計算することと、
    前記正中線に対して曲線平滑化処理を実行して、前記ロボットの第1ルートを取得することと、を含む、
    請求項8に記載のポジショニング方法。
  10. 前記マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することは、
    前記マップから前記ロボットのポジショニング情報に対応する道路の正中線を照会して、前記ロボットの第2ルートを取得することを含む、
    請求項9に記載のポジショニング方法。
  11. 前記画像に従って前記ロボットの第1ルートを決定することは、
    前記画像内の前記ロボットが位置する道路に対応する第1道路サイドラインを識別することと、
    前記マップおよび前記ロボットのポジショニング情報に従って、前記ロボットが旋回した後の道路の第2道路サイドラインを決定することと、
    前記第1道路サイドラインおよび前記第2道路サイドラインに従って、前記ロボットが旋回した後の道路の入口位置および入口方向を決定することと、
    前記入口位置、前記入口方向および前記ロボットのポジショニング情報と方向に従って、旋回曲線を計算して、前記ロボットの第1ルートを取得することと、を含む、
    請求項8に記載のポジショニング方法。
  12. 前記マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定することは、
    前記マップから前記ロボットのポジショニング情報に対応する旋回道路の正中線を照会して、前記ロボットの第2ルートを取得することを含む、
    請求項11に記載のポジショニング方法。
  13. 前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定することは、
    前記第1ルートと前記第2ルートを位置合わせして、前記ロボットの運転経路を取得することを含む、
    請求項8ないし12のいずれか一項に記載のポジショニング方法。
  14. 前記ポジショニング方法は、
    前記運転経路に従って運転するための運転命令を生成することと、
    前記運転命令を実行することと、をさらに含む、
    請求項8ないし13のいずれか一項に記載のポジショニング方法。
  15. ポジショニング装置であって、
    ポジショニング部品を介してロボットの第1位置情報を決定するように構成される第1決定ユニットと、
    カメラを介して画像を収集するように構成される収集ユニットと、
    前記画像に従って、前記ロボットの第2位置情報を決定するように構成される第2決定ユニットと、
    前記第1位置情報と前記第2位置情報を融合して、前記ロボットのポジショニング情報を取得するように構成される融合ユニットと、を備える、前記ポジショニング装置。
  16. 前記ポジショニング部品はレーザーレーダーを備え、前記第1決定ユニットは、具体的に、
    前記レーザーレーダーを介してポジショニングデータを収集し、
    ポイントクラウドポジショニングマップおよび前記ポジショニングデータに従って、前記ロボットの第1位置情報を決定するように構成される、
    請求項15に記載のポジショニング装置。
  17. 前記第2決定ユニットは、具体的に、
    前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定し、
    前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定するように構成される、
    請求項15または16に記載のポジショニング装置。
  18. 前記第2決定ユニットが前記ロボットと前記画像内のマーキングオブジェクトとの間の相対位置を決定することは、
    前記画像内のマーキングオブジェクトを検出することと、
    前記カメラのアフィン変換行列に従って、前記ロボットと前記マーキングオブジェクトとの間の相対位置を決定することと、を含む、
    請求項17に記載のポジショニング装置。
  19. 前記第2決定ユニットが前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
    前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することを含む、
    請求項17または18に記載のポジショニング装置。
  20. 第2決定ユニットが前記第1位置情報、マップ、前記マーキングオブジェクトおよび前記相対位置に従って前記ロボットの第2位置情報を決定することは、
    前記第1位置情報を前記マップにおける位置に変換して、前記ロボットの初期位置情報を取得することと、
    前記画像内の前記ロボットが位置する道路の道路サイドラインを識別することと、
    前記識別された道路サイドラインに従って前記初期位置情報の横方向情報を修正し、前記相対位置に従って前記初期位置情報内の縦方向情報を修正して、前記ロボットの第2位置情報を取得することと、を含み、
    前記縦方向情報は、道路サイドラインが位置する方向における前記初期位置情報の位置情報であり、前記横方向情報は、道路サイドラインに垂直する方向における前記初期位置情報の位置情報である、
    請求項19に記載のポジショニング装置。
  21. 前記融合ユニットは、具体的に、
    前記第1位置情報と前記第2位置情報を融合して、融合ポジショニング情報および前記融合ポジショニング情報の信頼度を取得し、
    前記信頼度が閾値より大きい場合、前記融合ポジショニング情報を前記ロボットのポジショニング情報として決定するように構成される、
    請求項15ないし20のいずれか一項に記載のポジショニング装置。
  22. 前記ポジショニング装置は、さらに、
    前記画像に従って前記ロボットの第1ルートを決定するように構成される第3決定ユニットと、
    マップおよび前記ロボットのポジショニング情報に従って前記ロボットの第2ルートを決定するように構成される第4決定ユニットと、
    前記第1ルートおよび前記第2ルートに従って前記ロボットの運転経路を決定するように構成される第5決定ユニットと、を備える、
    請求項15ないし21のいずれか一項に記載のポジショニング装置。
  23. 前記第3決定ユニットは、具体的に、
    前記画像内の前記ロボットが位置する道路に対応する2つの道路サイドラインを識別し、
    前記2つの道路サイドラインの正中線を計算し、
    前記正中線に対して曲線平滑化処理を実行して、前記ロボットの第1ルートを取得するように構成される、
    請求項22に記載のポジショニング装置。
  24. 前記第4決定ユニットは、具体的に、マップから前記ロボットのポジショニング情報に対応する道路の正中線を照会して、前記ロボットの第2ルートを取得するように構成される、
    請求項23に記載のポジショニング装置。
  25. 前記第3決定ユニットは、具体的に、
    前記画像内の前記ロボットが位置する道路に対応する第1道路サイドラインを識別し、
    マップおよび前記ロボットのポジショニング情報に従って、前記ロボットが旋回した後の道路の第2道路サイドラインを決定し、
    前記第1道路サイドラインおよび前記第2道路サイドラインに従って、前記ロボットが旋回した後の道路の入口位置および入口方向を決定し、
    前記入口位置、前記入口方向および前記ロボットのポジショニング情報と方向に従って、旋回曲線を計算して、前記ロボットの第1ルートを取得するように構成される、
    請求項22に記載のポジショニング装置。
  26. 前記第4決定ユニットは、具体的に、マップから前記ロボットのポジショニング情報に対応する旋回道路の正中線を照会して、前記ロボットの第2ルートを取得するように構成される、
    請求項25に記載のポジショニング装置。
  27. 前記第5決定ユニットは、具体的に、前記第1ルートと前記第2ルートを位置合わせして、前記ロボットの運転経路を取得するように構成される、
    請求項22ないし26のいずれか一項に記載のポジショニング装置。
  28. 前記ポジショニング装置は、さらに、
    前記運転経路に従って運転するための運転命令を生成するように構成される生成ユニットと、
    前記運転命令を実行するように構成される実行ユニットと、を備える、
    請求項22ないし27のいずれか一項に記載のポジショニング装置。
  29. ロボットであって、プロセッサ、メモリ、ポジショニング部品、カメラを備え、
    前記メモリは、コンピュータプログラムコードを記憶するように構成され、前記ポジショニング部品はポジショニングするように構成され、前記カメラは画像を収集するように構成され、前記プロセッサは前記コンピュータプログラムコードを呼び出して請求項1ないし14のいずれか一項に記載のポジショニング方法を実行するように構成される、前記ロボット。
  30. コンピュータプログラムが記憶されるコンピュータ可読記憶媒体であって、
    前記コンピュータプログラムは、プロセッサによって実行されるとき、プロセッサに請求項1ないし14のいずれか一項に記載のポジショニング方法を実行させる、前記コンピュータ可読記憶媒体。
  31. コンピュータ可読コードを含んでいるコンピュータプログラムであって、
    前記コンピュータ可読コードは、電子機器で実行されるとき、前記電子機器内のプロセッサに、請求項1ないし14のいずれか一項に記載のポジショニング方法を実行させる、前記コンピュータプログラム。
JP2021519865A 2019-09-26 2019-12-10 ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体 Pending JP2022504728A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910915168.8A CN110530372B (zh) 2019-09-26 2019-09-26 定位方法、路径确定方法、装置、机器人及存储介质
CN201910915168.8 2019-09-26
PCT/CN2019/124412 WO2021056841A1 (zh) 2019-09-26 2019-12-10 定位方法、路径确定方法、装置、机器人及存储介质

Publications (1)

Publication Number Publication Date
JP2022504728A true JP2022504728A (ja) 2022-01-13

Family

ID=68670274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021519865A Pending JP2022504728A (ja) 2019-09-26 2019-12-10 ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体

Country Status (6)

Country Link
US (1) US20210229280A1 (ja)
JP (1) JP2022504728A (ja)
CN (1) CN110530372B (ja)
SG (1) SG11202103843YA (ja)
TW (2) TW202144150A (ja)
WO (1) WO2021056841A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110530372B (zh) * 2019-09-26 2021-06-22 上海商汤智能科技有限公司 定位方法、路径确定方法、装置、机器人及存储介质
CN111121805A (zh) * 2019-12-11 2020-05-08 广州赛特智能科技有限公司 基于道路交通标线标志的局部定位修正方法、设备及介质
CN111524185A (zh) * 2020-04-21 2020-08-11 上海商汤临港智能科技有限公司 定位方法及装置、电子设备和存储介质
CN113884093A (zh) * 2020-07-02 2022-01-04 苏州艾吉威机器人有限公司 Agv建图和定位的方法、系统、装置及计算机可读存储介质
CN114076602B (zh) * 2020-08-20 2024-07-16 北京四维图新科技股份有限公司 定位方法及定位设备
CN112405526A (zh) * 2020-10-26 2021-02-26 北京市商汤科技开发有限公司 一种机器人的定位方法及装置、设备、存储介质
EP4258078A4 (en) * 2021-01-13 2023-12-27 Huawei Technologies Co., Ltd. POSITIONING METHOD AND DEVICE AND VEHICLE
CN112800159B (zh) * 2021-01-25 2023-10-31 北京百度网讯科技有限公司 地图数据处理方法及装置
CN113706621B (zh) * 2021-10-29 2022-02-22 上海景吾智能科技有限公司 基于带标记图像的标志点定位及姿态获取方法和系统
CN116008991B (zh) * 2022-12-12 2024-08-06 北京斯年智驾科技有限公司 一种岸桥下车辆定位方法、装置、电子设备及存储介质
TWI832686B (zh) * 2023-01-23 2024-02-11 國立陽明交通大學 路徑規劃系統及其路徑規劃方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084492A (ja) * 2016-11-24 2018-05-31 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
JP2018087763A (ja) * 2016-11-29 2018-06-07 アルパイン株式会社 走行可能領域設定装置および走行可能領域設定方法
JP2019061603A (ja) * 2017-09-28 2019-04-18 ソニー株式会社 情報処理装置、移動装置、および方法、並びにプログラム
JP2019086363A (ja) * 2017-11-06 2019-06-06 トヨタ自動車株式会社 自車位置推定装置
JP2019152924A (ja) * 2018-02-28 2019-09-12 学校法人立命館 自己位置同定システム、車両、及び処理装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105674992A (zh) * 2014-11-20 2016-06-15 高德软件有限公司 一种导航方法及装置
CN105448184B (zh) * 2015-11-13 2019-02-12 北京百度网讯科技有限公司 地图道路的绘制方法及装置
CN105783936B (zh) * 2016-03-08 2019-09-24 武汉中海庭数据技术有限公司 用于自动驾驶中的道路标识制图及车辆定位方法及系统
CN107398899A (zh) * 2016-05-20 2017-11-28 富泰华工业(深圳)有限公司 无线信号强度定位引导系统及方法
JP6535634B2 (ja) * 2016-05-26 2019-06-26 本田技研工業株式会社 経路案内装置及び経路案内方法
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法
US10436885B2 (en) * 2017-10-19 2019-10-08 DeepMap Inc. Calibrating sensors mounted on an autonomous vehicle
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
CN108776474B (zh) * 2018-05-24 2022-03-15 中山赛伯坦智能科技有限公司 集成高精度导航定位与深度学习的机器人嵌入式计算终端
CN109241835A (zh) * 2018-07-27 2019-01-18 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109141437B (zh) * 2018-09-30 2021-11-26 中国科学院合肥物质科学研究院 一种机器人全局重定位方法
US10534068B2 (en) * 2018-12-27 2020-01-14 Intel Corporation Localization system, vehicle control system, and methods thereof
CN109931939B (zh) * 2019-02-27 2020-11-03 杭州飞步科技有限公司 车辆的定位方法、装置、设备及计算机可读存储介质
CN109920011B (zh) * 2019-05-16 2020-01-10 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110530372B (zh) * 2019-09-26 2021-06-22 上海商汤智能科技有限公司 定位方法、路径确定方法、装置、机器人及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018084492A (ja) * 2016-11-24 2018-05-31 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
JP2018087763A (ja) * 2016-11-29 2018-06-07 アルパイン株式会社 走行可能領域設定装置および走行可能領域設定方法
JP2019061603A (ja) * 2017-09-28 2019-04-18 ソニー株式会社 情報処理装置、移動装置、および方法、並びにプログラム
JP2019086363A (ja) * 2017-11-06 2019-06-06 トヨタ自動車株式会社 自車位置推定装置
JP2019152924A (ja) * 2018-02-28 2019-09-12 学校法人立命館 自己位置同定システム、車両、及び処理装置

Also Published As

Publication number Publication date
WO2021056841A1 (zh) 2021-04-01
TW202112513A (zh) 2021-04-01
CN110530372B (zh) 2021-06-22
SG11202103843YA (en) 2021-05-28
TWI742554B (zh) 2021-10-11
US20210229280A1 (en) 2021-07-29
TW202144150A (zh) 2021-12-01
CN110530372A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
JP2022504728A (ja) ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体
US11679760B2 (en) Navigation in vehicle crossing scenarios
US20210311486A1 (en) Navigation by augmented path prediction
RU2645388C2 (ru) Устройство определения неправильного распознавания
KR102558055B1 (ko) 차선의 추정 방법
US7463974B2 (en) Systems, methods, and programs for determining whether a vehicle is on-road or off-road
JP6870475B2 (ja) 車線情報出力方法および車線情報出力装置
US20180273031A1 (en) Travel Control Method and Travel Control Apparatus
JPWO2018235239A1 (ja) 車両用情報記憶方法、車両の走行制御方法、及び車両用情報記憶装置
JP4483305B2 (ja) 車両周辺監視装置
KR20200071792A (ko) 로드뷰 또는 항공뷰 맵 정보를 이용한 자율주행 방법 및 그 시스템
KR102475039B1 (ko) 지도 정보 갱신 장치, 방법 및 시스템
TWI754808B (zh) 載具、載具定位系統及載具定位方法
CN111105695B (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
JP7321035B2 (ja) 物体位置検出方法及び物体位置検出装置
JP2004265432A (ja) 走行環境認識装置
CN111427373A (zh) 一种位姿确定方法、装置、介质和设备
Matthaei et al. Robust grid-based road detection for ADAS and autonomous vehicles in urban environments
JP6790951B2 (ja) 地図情報学習方法及び地図情報学習装置
KR20130130105A (ko) 무인주행차량을 위한 교차로 검출 방법 및 이를 이용한 무인주행차량
KR20160125803A (ko) 영역 추출 장치, 물체 탐지 장치 및 영역 추출 방법
JP2010176592A (ja) 車両用運転支援装置
JP6232883B2 (ja) 自車位置認識装置
JP7344182B2 (ja) 情報処理装置
KR20180065219A (ko) 차량의 자율주행모드와 운전보조모드 간의 변환방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210409

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220701

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230208