CN110530372B - 定位方法、路径确定方法、装置、机器人及存储介质 - Google Patents

定位方法、路径确定方法、装置、机器人及存储介质 Download PDF

Info

Publication number
CN110530372B
CN110530372B CN201910915168.8A CN201910915168A CN110530372B CN 110530372 B CN110530372 B CN 110530372B CN 201910915168 A CN201910915168 A CN 201910915168A CN 110530372 B CN110530372 B CN 110530372B
Authority
CN
China
Prior art keywords
robot
determining
information
position information
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910915168.8A
Other languages
English (en)
Other versions
CN110530372A (zh
Inventor
刘春晓
梁煜
石建萍
梁浩賢
林晓慧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Sensetime Intelligent Technology Co Ltd
Original Assignee
Shanghai Sensetime Intelligent Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Sensetime Intelligent Technology Co Ltd filed Critical Shanghai Sensetime Intelligent Technology Co Ltd
Priority to CN201910915168.8A priority Critical patent/CN110530372B/zh
Publication of CN110530372A publication Critical patent/CN110530372A/zh
Priority to SG11202103843YA priority patent/SG11202103843YA/en
Priority to PCT/CN2019/124412 priority patent/WO2021056841A1/zh
Priority to JP2021519865A priority patent/JP2022504728A/ja
Priority to TW110131343A priority patent/TW202144150A/zh
Priority to TW109107316A priority patent/TWI742554B/zh
Priority to US17/227,915 priority patent/US20210229280A1/en
Application granted granted Critical
Publication of CN110530372B publication Critical patent/CN110530372B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G06F18/256—Fusion techniques of classification results, e.g. of results related to same input data of results relating to different input data, e.g. multimodal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/809—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data
    • G06V10/811—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of classification results, e.g. where the classifiers operate on the same input data the classifiers operating on different input data, e.g. multi-modal recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking

Abstract

本发明实施例提供了定位方法、路径确定方法、装置、机器人及存储介质，该定位方法包括：通过定位部件确定机器人的第一位置信息；通过摄像头采集图像；根据该图像，确定所述机器人的第二位置信息；融合第一位置信息和第二位置信息，得到机器人的定位信息。本发明实施例，可以提高定位精度。

Description

定位方法、路径确定方法、装置、机器人及存储介质
技术领域
本发明涉及机器人技术领域，具体涉及定位方法、路径确定方法、装置、机器人及存储介质。
背景技术
随着电子技术的不断发展，无人控制机器人，例如无人驾驶车辆应用而生。无人控制机器人为了能够在道路上行动，首先需要能够准确地定位机器人自身的位置，以便可以根据定位确定接下来的行动路径。目前，常用的定位方法为：通过单线激光雷达、全球定位系统(global positioning system，GPS)等定位部件进行定位。上述方法中，由于是通过定位部件直接确定机器人在地图中的位置，定位不够准确，以致降低了定位精度。
发明内容
本发明实施例提供了定位方法、路径确定方法、装置、机器人及存储介质。
第一方面提供一种定位方法，包括：
通过定位部件确定机器人的第一位置信息；
通过摄像头采集图像；根据所述图像，确定机器人的第二位置信息；
融合所述第一位置信息和所述第二位置信息得到机器人的定位信息。
在进行定位时，将通过定位部件的定位和通过摄像头采集的图像进行的定位进行融合得到机器人的定位，结合了定位部件的定位和感知结果的定位，可以对定位部件的定位进行修正，可以提高定位精度。
作为一种可能的实施方式，定位部件包括激光雷达，所述通过定位部件确定所述机器人的第一位置信息包括：
通过所述激光雷达采集定位数据；
根据点云定位地图和所述定位数据，确定所述机器人的第一位置信息。
可以降低光照变化、遮挡等对定位的影响，从而可以提高定位精度。
作为一种可能的实施方式，所述根据所述图像，确定所述机器人的第二位置信息包括：
确定所述机器人与所述图像中标志性物体之间的相对位置；
根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
可以降低通过地图定位不准确的影响，从而可以提高定位精度。
作为一种可能的实施方式，所述确定所述机器人与所述图像中标志性物体之间的相对位置包括：
检测所述图像中的标志性物体；
根据所述摄像头的仿射变换矩阵，确定所述机器人与所述标志性物体之间的相对位置。
作为一种可能的实施方式，所述根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
由于标志性物体通常在地图中有标识位置，通过其与机器人的相对位置和定位部件获得的第一位置信息，确定机器人的第二位置信息，可以提高机器人的定位精度。
作为一种可能的实施方式，所述根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
将所述第一位置信息转换为在所述地图中的位置，得到所述机器人的初始位置信息；
识别所述图像中所述机器人所在道路的道路边线；
根据所述识别的道路边线修正所述初始位置信息的横向信息，以及根据所述相对位置修正所述初始位置信息中的纵向信息，得到所述机器人的第二位置信息；
其中，纵向信息为所述初始位置信息在道路边线所在方向上的位置信息，所述横向信息为所述初始位置信息在与道路边线垂直的方向上的位置信息。
通过标志性物体与机器人的相对位置和图像识别的道路信息修正机器人的位置，可以提高机器人的定位精度。
作为一种可能的实施方式，所述融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息包括：
将所述第一位置信息和所述第二位置信息进行融合，得到融合定位信息以及所述融合定位信息的置信度；
在所述置信度大于阈值的情况下，确定所述融合定位信息为所述机器人的定位信息。
通过置信度可以确定通过融合得到的融合定位信息的可信程度，在置信度大于阈值的情况下，表明融合定位信息的可信程度较高，可以将融合定位信息确定为机器人的定位信息，从而可以提高定位精度。
作为一种可能的实施方式，所述方法还包括：
根据所述图像确定所述机器人的第一路线；
根据地图和所述机器人的定位信息确定所述机器人的第二路线；
根据所述第一路线和所述第二路线确定所述机器人的行驶路径。
在确定行驶路径时，将通过地图确定的路线和通过摄像头采集的图像确定的路线进行结合得到机器人的行驶路径，结合了通过地图确定的路线和感知结果确定的路线，可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据所述图像确定所述机器人的第一路线包括：
识别所述图像中所述机器人所在道路对应的两条道路边线；
计算所述两条道路边线的中线；
对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
通过识别图像中道路边线来确定机器人的第一路线，可以降低通过地图确定路线不准确的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
通过地图确定机器人的第二路线，可以降低光照变化、遮挡等对确定路线的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据所述图像确定所述机器人的第一路线包括：
识别所述图像中所述机器人所在道路对应的第一道路边线；
根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
通过图像和地图可以确定机器人在转弯方向的路线，可以降低遮挡等对确定路线的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
通过查询地图确定机器人的第二路线，可以降低确定路线的时间，从而可以提高行驶路径的确定速度。
作为一种可能的实施方式，所述根据所述第一路线和所述第二路线确定所述机器人的行驶路径包括：
对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
通过对齐根据不同方式确定的机器人的两条路线，可以优化机器人的路线，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述方法还包括：
生成用于按照所述行驶路径行驶的行驶指令；
执行所述行驶指令。
可以根据确定的行驶路径行驶，可以提高行驶的安全性。
第二方面提供一种路径确定方法，包括：
通过摄像头采集图像；
根据所述图像确定所述机器人的第一路线；
根据地图和所述机器人的定位信息确定所述机器人的第二路线；
根据所述第一路线和所述第二路线确定所述机器人的行驶路径。
在确定行驶路径时，将通过地图确定的路线和通过摄像头采集的图像确定的路线进行结合得到机器人的行驶路径，结合了通过地图确定的路线和感知结果确定的路线，可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据所述图像确定所述机器人的第一路线包括：
识别所述图像中所述机器人所在道路对应的两条道路边线；
计算所述两条道路边线的中线；
对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
通过识别图像中道路边线来确定机器人的第一路线，可以降低通过地图确定路线不准确的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
通过地图确定机器人的第二路线，可以降低光照变化、遮挡等对确定路线的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据所述图像确定所述机器人的第一路线包括：
识别所述图像中所述机器人所在道路对应的第一道路边线；
根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
通过图像和地图可以确定机器人在转弯方向的路线，可以降低遮挡等对确定路线的影响，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
通过查询地图确定机器人的第二路线，可以降低确定路线的时间，从而可以提高行驶路径的确定速度。
作为一种可能的实施方式，所述根据所述第一路线和所述第二路线确定所述机器人的行驶路径包括：
对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
通过对齐根据不同方式确定的机器人的两条路线，可以优化机器人的路线，从而可以提高行驶路径的确定精度。
作为一种可能的实施方式，所述方法还包括：
生成用于按照所述行驶路径行驶的行驶指令；
执行所述行驶指令。
可以根据确定的行驶路径行驶，可以提高行驶的安全性。
第三方面提供一种定位装置，包括：
第一确定单元，用于通过定位部件确定机器人的第一位置信息；
采集单元，用于通过摄像头采集图像；
第二确定单元，用于根据所述图像，确定所述机器人的第二位置信息；
融合单元，用于融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息。
作为一种可能的实施方式，所述定位部件包括激光雷达，所述第一确定单元具体用于：
通过所述激光雷达采集定位数据；
根据点云定位地图和所述定位数据，确定所述机器人的第一位置信息。
作为一种可能的实施方式，所述第二确定单元具体用于：
确定所述机器人与所述图像中标志性物体之间的相对位置；
根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
作为一种可能的实施方式，所述第二确定单元确定所述机器人与所述图像中标志性物体之间的相对位置包括：
检测所述图像中的标志性物体；
根据所述摄像头的仿射变换矩阵，确定所述机器人与所述标志性物体之间的相对位置。
作为一种可能的实施方式，所述第二确定单元根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
作为一种可能的实施方式，所述第二确定单元根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
将所述第一位置信息转换为在所述地图中的位置，得到所述机器人的初始位置信息；
识别所述图像中所述机器人所在道路的道路边线；
根据所述识别的道路边线修正所述初始位置信息的横向信息，以及根据所述相对位置修正所述初始位置信息中的纵向信息，得到所述机器人的第二位置信息；
其中，纵向信息为所述初始位置信息在道路边线所在方向上的位置信息，所述横向信息为所述初始位置信息在与道路边线垂直的方向上的位置信息。
作为一种可能的实施方式，所述融合单元具体用于：
将所述第一位置信息和所述第二位置信息进行融合，得到融合定位信息以及所述融合定位信息的置信度；
在所述置信度大于阈值的情况下，确定所述融合定位信息为所述机器人的定位信息。
作为一种可能的实施方式，所述装置还包括：
第三确定单元，用于根据所述图像确定所述机器人的第一路线；
第四确定单元，用于根据地图和所述机器人的定位信息确定所述机器人的第二路线；
第五确定单元，用于根据所述第一路线和所述第二路线确定所述机器人的行驶路径。
作为一种可能的实施方式，所述第三确定单元具体用于：
识别所述图像中所述机器人所在道路对应的两条道路边线；
计算所述两条道路边线的中线；对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
作为一种可能的实施方式，所述第四确定单元，具体用于从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
作为一种可能的实施方式，所述第三确定单元具体用于：
识别所述图像中所述机器人所在道路对应的第一道路边线；
根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
作为一种可能的实施方式，所述第四确定单元，具体用于从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
作为一种可能的实施方式，所述第五确定单元，具体用于对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
作为一种可能的实施方式，所述装置还包括：
生成单元，用于生成用于按照所述行驶路径行驶的行驶指令；
执行单元，用于执行所述行驶指令。
第四方面提供一种路径确定装置，包括：
采集单元，用于通过摄像头采集图像；
第一确定单元，用于根据所述图像确定所述机器人的第一路线；
第二确定单元，用于根据地图和所述机器人的定位信息确定所述机器人的第二路线；
第三确定单元，用于根据所述第一路线和所述第二路线确定所述机器人的行驶路径。
作为一种可能的实施方式，所述第一确定单元具体用于：
识别所述图像中所述机器人所在道路对应的两条道路边线；
计算所述两条道路边线的中线；
对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
作为一种可能的实施方式，所述第二确定单元，具体用于从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
作为一种可能的实施方式，所述第一确定单元具体用于：
识别所述图像中所述机器人所在道路对应的第一道路边线；
根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
作为一种可能的实施方式，所述第二确定单元，具体用于从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
作为一种可能的实施方式，所述第三确定单元，具体用于对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
作为一种可能的实施方式，所述装置还包括：
生成单元，用于生成用于按照所述行驶路径行驶的行驶指令；
执行单元，用于执行所述行驶指令。
第五方面提供一种机器人，包括处理器、存储器、定位部件、摄像头，存储器用于存储计算机程序代码，定位部件用于定位，摄像头用于采集图像，处理器用于执行如第一方面或第一方面中任一种可能的实施方式提供的方法。
第六方面提供一种机器人，包括处理器、存储器、摄像头，存储器用于存储计算机程序代码，摄像头用于采集图像，处理器用于执行如第二方面或第二方面中任一种可能的实施方式提供的方法。
第七方面提供一种可读存储介质，该可读存储介质存储有计算机程序，该计算机程序包括程序代码，该程序代码当被处理器执行时使该处理器执行第一方面或第一方面中任一种可能的实施方式提供的方法，或者第二方面或第二方面中任一种可能的实施方式提供的方法。
第八方面提供一种应用程序，该应用程序用于在运行时执行第一方面或第一方面中任一种可能的实施方式提供的方法，或者第二方面或第二方面中任一种可能的实施方式提供的方法。
附图说明
图1是本发明实施例提供的一种定位方法的流程示意图；
图2是本发明实施例提供的另一种定位方法的流程示意图；
图3是本发明实施例提供的一种路径确定方法的流程示意图；
图4是本发明实施例提供的一种定位装置的结构示意图；
图5所本发明实施例提供的一种路径确定装置的结构示意图；
图6是本发明实施例提供的一种机器人的结构示意图。
具体实施方式
本发明实施例提供定位方法、路径确定方法、机器人及存储介质，用于提高定位的准确性。以下分别进行详细说明。
请参阅图1，图1是本发明实施例提供的一种定位方法的流程示意图。其中，该定位方法应用于机器人。该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。如图1所示，该定位方法可以包括以下步骤。
101、通过定位部件确定机器人的第一位置信息。
第一位置信息为利用定位部件确定的机器人自身的位置信息。在机器人上电或启动之后，可以实时或周期性地通过定位部件确定机器人的第一位置信息。该定位部件可以为激光雷达、全球定位系统(global positioning system，GPS)、辅助全球定位系统(assisted global positioning system，AGPS)、北斗定位等。激光雷达可以为单线激光雷达，也可以为多线激光雷达。其中，周期可以是1s、2s、5s等。
在定位部件为激光雷达的情况下，可以先通过激光雷达采集定位数据，之后根据点云定位地图和定位数据确定机器人的第一位置信息，即将定位数据中的点与点云定位地图中的点进行匹配，可以通过匹配确定采集到的定位数据在点云地图中的位置，从而确定机器人的第一位置信息。点云定位地图为根据点云拼接成的用于定位的地图。其中，点云定位地图可以预先存储在机器人中，在使用点云定位地图的情况下，先需要从本地获取存储的点云定位地图。当然，在其他实施方式中，点云定位地图也可以存储在云端或其他设备中，机器人需要使用时可以从云端或其他设备上获取。
102、通过摄像头采集图像。
在机器人上电或启动之后，可以实时或周期性地通过摄像头采集图像。此处的周期与步骤101中的周期可以相同，也可以不同。摄像头的数量可以为一个，也可以为两个或两个以上。
103、根据采集的图像确定机器人的第二位置信息。
通过摄像头采集到图像之后，可以根据采集的图像确定机器人的第二位置信息。
具体地，可以先确定机器人与图像中标志性物体之间的相对位置，之后根据标志性物体和相对位置确定机器人的第二位置信息。也可以先确定标志性物体在图像中的坐标，之后根据摄像头的相对标志性物体的拍摄角度和图像的拍摄比例，确定机器人与图像中标志性物体之间的相对位置，再根据标志性物体和相对位置确定机器人的第二位置信息。还可以根据目标识别技术识别得到机器人后，根据预设坐标转换矩阵，将摄像机坐标系下的机器人位置转换到世界坐标系下，从而得到机器人的第二位置信息。
在确定机器人与图像中标志性物体之间的相对位置时，可以先检测图像中的标志性物体，之后根据摄像头的仿射变换矩阵确定机器人与标志性物体之间的相对位置；也可以先检测图像中的标志性物体，之后使用激光雷达扫描标志性物体，根据扫描的标志性物体的点确定机器人与标志性物体之间的相对位置。其中，标志性物体可以为交通信号灯、路标指示牌等具有标志性的物体。当然，在其他实施例中，也可以通过距离传感器测量机器人与标志性物体之间的相对距离。
在根据摄像头的仿射变换矩阵确定机器人与标志性物体之间的相对位置时，可以先确定标志性物体在图像坐标系中的坐标，之后根据摄像头的仿射变换矩阵将标志性物体在图像坐标系中的坐标转换为以摄像头为原点的坐标系中的坐标，最后根据转换后的标志性物体的坐标确定机器人与标志性物体之间的相对位置。例如，机器人在以摄像头为原点的坐标系中的坐标为(0,0,0)，标志性物体在以摄像头为原点的坐标系中的坐标为(x1,y1,z1)，则机器人与标志性物体之间的相对位置为(x1,y1,z1)。其中，由于摄像头与机器人中心之间的位置可能存在偏差，而摄像头与机器人中心的外参可测量，因此可以进一步结合上述外参得到机器人在以摄像头为原点的坐标系中的坐标，然后根据上述过程得到标志性物体相对于机器人中心(也就是机器人)的相对位置。
在根据图像中标志性物体和机器人与图像中标志性物体之间的相对位置确定机器人的第二位置信息时，可以根据第一位置信息、地图、标志性物体和相对位置确定机器人的第二位置信息。具体地，可以先将第一位置信息转换为在地图中的位置，得到机器人的初始位置信息，同时、之前或之后可以从图像中识别机器人所在道路的道路边线，例如识别机器小车所在车道的车道线，然后可以根据识别出的道路边线修正初始位置信息中的横向信息，以及可以根据机器人与图像中标志性物体之间的相对位置修正初始位置信息中的纵向信息，得到机器人的第二位置信息。
其中，道路边线所在方向为纵向，与道路边线垂直的方向为横向。纵向信息为该初始位置信息在道路边线所在方向上的位置信息，该横向信息为该初始位置信息在与道路边线垂直的方向上的位置信息，例如初始位置信息为机器人的横向坐标和纵向坐标，该横向信息为该横向坐标，该纵向信息为该纵向坐标。
根据机器人与图像中标志性物体之间的相对位置修正初始位置信息中的纵向信息可以是先将标志性物体在以摄像头为原点的坐标系中的坐标(x1,y1,z1)映射到地图中得到映射横向位置与映射纵向位置，以及直接从地图查询标志性物体的位置得到查询横向位置与查询纵向位置。之后可以根据映射纵向位置和查询纵向位置得到标志性物体的纵向位置，可以将映射纵向位置和查询纵向位置的平均或加权平均确定为标志性物体的纵向位置。之后再根据机器人与图像中标志性物体之间的相对位置以及标志性物体的纵向位置修正初始位置信息中的纵向信息。例如，初始位置信息的坐标为(x2,y2)，确定的标志性物体的纵向位置为y3，机器人与标志性物体之间的相对位置为(x1,y1,z1)，可见，相对位置对应的标志性物体与机器人之间的纵向坐标差为y1，之后根据y3-y1＝y4可以得到机器人的修正纵向信息，可以将y2与y4的平均值或加权平均可以作为机器人的纵向坐标点。
根据识别出的道路边线修正初始位置信息中的横向信息可以是先根据识别出的道路边线确定机器人所在道路的中线，之后确定中线中初始位置信息对应的点，根据该点的横向信息修正初始位置信息中的横向信息。修正后的横向信息可以是该点的横向信息与初始位置信息中的横向信息的平均或加权平均。在车道边线为直线的情况下，中线中初始位置信息对应的点可以为与初始位置的纵向信息相同的点。在车道边线为曲线的情况下，中线中初始位置信息对应的点可以为与初始位置距离最近的点。例如，初始位置信息的坐标为(x2,y2)，可以根据识别出的机器人所在道路的道路边线确定该道路的中线，该中线的横坐标为x3，可以将x2与x3的平均值或加权平均可以作为机器人的横向坐标点。在该中线不是直线的情况下，x3可以是中线中与(x2,y2)距离最近的点的横坐标。
其中，该地图可以为高精度地图，也可以为普通的实物定位地图。高精度地图就是精度更高、数据维度更多的电子地图。精度更高体现在精确到厘米级别，数据维度更多体现在其包括了除道路信息之外的与行驶相关的周围静态信息。高精度地图将大量的机器人行驶辅助信息存储为结构化数据，这些信息可以分为两类。第一类是道路数据，比如道路边线的位置、类型、宽度、坡度和曲率等车道信息。第二类是道路周边的固定对象信息，比如交通标志、交通信号灯等信息、道路限高、下水道口、障碍物及其他道路细节，还包括高架物体、防护栏、数目、道路边缘类型、路边地标等基础设施信息。其中，道路可以为车道，也可以为人行道等机器人可移动的道路。道路边线为道路的边沿线，可以为车道线，也可以为道路牙子，还可以隔离物体，还可以为其它能够用作道路边线的东西。其中，地图是预先存储的机器人中的，使用之前可以先从本地获取存储的地图。当然，在其他实施方式中，地图也可以存储在云端或其他设备中，机器人需要使用时可以从云端或其他设备上获取。
104、融合第一位置信息和第二位置信息，得到机器人的定位信息。
通过定位部件确定出机器人的第一位置信息，以及根据图像确定出机器人的第二位置信息之后，可以融合第一位置信息和第二位置信息得到机器人的定位信息。
在一种可能的实现方式中，可以先将第一位置信息和第二位置信息输入融合算法得到融合定位信息以及该融合定位信息的置信度，之后判断置信度是否大于阈值，在判断出置信度大于阈值的情况下，表明该融合定位信息的准确度较高，可以确定该融合定位信息为机器人的定位信息。在判断出置信度小于或等于阈值的情况下，表明该融合定位信息的准确度较低，可以丢弃该融合定位信息，之后进行重新定位。机器人的定位信息可以是第一位置信息和第二位置信息的平均、加权平均等。融合算法可以为综合平均法、卡尔曼滤波法、贝叶斯估计法等。
在其他可能的实现方式中，也可以直接将第一位置信息和第二位置信息进行加权或平均等融合处理，得到机器人的定位信息。
在图1所描述的定位方法中，在进行定位时，将通过定位部件的定位和通过摄像头采集的图像进行的定位进行融合得到机器人的定位，结合了定位部件的定位和感知结果的定位，可以对定位部件的定位进行修正，可以提高定位精度。
请参阅图2，图2是本发明实施例提供的另一种定位方法的流程示意图。其中，该定位方法应用于机器人。该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。如图2所示，该定位方法可以包括以下步骤。
201、通过定位部件确定机器人的第一位置信息。
其中，步骤201与步骤101相同，详细描述请参考步骤101，在此不再赘述。
202、通过摄像头采集图像。
其中，步骤202与步骤102相同，详细描述请参考步骤102，在此不再赘述。
203、根据采集的图像确定机器人的第二位置信息。
其中，步骤203与步骤103相同，详细描述请参考步骤103，在此不再赘述。
204、融合第一位置信息和第二位置信息，得到机器人的定位信息。
其中，步骤204与步骤104相同，详细描述请参考步骤104，在此不再赘述。
205、根据图像确定机器人的第一路线。
第一路线是根据采集的图像信息，规划得到的机器人移动路径。通过摄像头采集到图像之后，可以根据图像确定机器人的第一路线。
在一种可能的实现方式中，机器人以车辆为例，在机器人行驶在直道上时，可以先识别图像中机器人所在道路对应的两条道路边线，例如，采用预先训练好的道路边线识别模型识别图像中机器人所在道路对应的两条道路边线，然后计算两条道路边线的中线。之后，可以直接将道路边线的中线确定为机器人的第一路线，也可以对道路边线的中线进行曲线平滑处理得到机器人的第一路线。在机器人行驶在道路的最右边或最左边的情况下，机器人所在道路可能只有一条道路边线，在图像检测中可以将检测到的道路牙子确定为另一条道路边线。在道路为双向行驶，且道路中间用围栏之类的物体隔开的情况下，在机器人行驶在隔开物体旁边道路的情况下，机器人所在道路可能只有一条道路边线，在图像检测中可以将检测到的隔开物体确定为另一条道路边线。
在一种可能的实现方式中，在机器人行驶在路口或弯道时，可以识别图像中机器人所在道路对应的第一道路边线。可以根据地图和机器人的定位信息确定机器人转弯后道路的第二道路边线，即根据机器人的定位信息在地图中查询机器人所在道路转弯后道路的信息，道路的信息可以包括道路的宽度、机器人的道路边线等。之后根据识别出的第一道路边线和确定的第二道路边线确定机器人转弯后道路的入口位置和入口方向。由于通过图像识别的第一道路边线比确定的第二道路边线的精度要高，因此，可以根据识别出的道路边线补全确定的道路边线，根据补全后的道路边线确定机器人转弯后行驶道路的入口位置和入口方向。最后可以根据机器人转弯后行驶道路的入口位置和入口方向，以及机器人的定位信息和方向计算转弯曲线，得到机器人的第一路线。其中，可以使用b样条、多项式拟合等方法计算转弯曲线。通过上述方式，可以提高机器人行驶路径规划的准确性，克服由于摄像头盲区道路边线部分不可见而导致的路径规划不准确问题。
206、根据地图和机器人的定位信息确定机器人的第二路线。
第二路线为根据地图和机器人的定位信息规划的机器人行驶参考路径。融合第一位置信息和第二位置信息得到机器人的定位信息之后，可以根据地图和机器人的定位信息确定机器人的第二路线。在机器人行驶在直道上时，可以从地图中查询机器人的定位信息对应机器人当前所在道路的中线，将该中线作为机器人的第二路线。在所述机器人行驶在路口时，可以从地图中查询机器人的定位信息对应机器人将要转弯的道路的中线，将该中线作为机器人的第二路线。
当然，在其他实施例中，也可以将道路的其他位置，例如沿道路左侧2/3位置的路线，作为机器人的第二路线。
207、根据第一路线和第二路线确定机器人的行驶路径。
根据图像确定机器人的第一路线，以及根据地图和机器人的定位信息确定机器人的第二路线之后，可以根据第一路线和第二路线确定机器人的行驶路径。例如，对齐第一路线和第二路线得到机器人的行驶路径，其中，可以使用加权平均、曲线拟合等方法对第一路线和第二路线进行对齐。
可选地，在步骤S207之后，还包括：
208、生成用于按照行驶路径行驶的行驶指令。
根据第一路线和第二路线确定出机器人的行驶路径之后，可以根据行驶路径生成用于按照行驶路径行驶的行驶指令。
例如，在行驶路径为直线的情况下，可以生成用于按照当前道路直行100米的行驶指令。
209、执行行驶指令。
生成用于按照行驶路径行驶的行驶指令之后，机器人可以执行该行驶指令，以便按照行驶路径行驶。
在图2所描述的定位方法中，将通过定位部件的定位和通过摄像头采集的图像进行的定位进行融合得到机器人的定位，结合了定位部件的定位和感知结果的定位，可以对定位部件的定位进行修正，可以提高定位的准确性。此外，根据定位信息确定的机器人的路线和通过摄像头采集的图像确定的机器人的路线确定机器人的行驶路径，结合了定位信息确定的机器人的路线和摄像头采集图像确定的机器人的路线，可以对定位信息确定的机器人的路线进行修正，可以提高行驶路径的确定精度。
请参阅图3，图3是本发明实施例提供的一种路径确定方法的流程示意图。其中，该路径确定方法可应用于机器人。该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。如图3所示，该路径确定方法可以包括以下步骤。
301、通过摄像头采集图像。
其中，步骤301与步骤102相同，详细描述请参考步骤102，在此不再赘述。
302、根据图像确定机器人的第一路线。
其中，步骤302与步骤205相同，详细描述请参考步骤205，在此不再赘述。
303、根据地图和机器人的定位信息确定机器人的第二路线。
其中，步骤303与步骤206相似，详细描述请参考步骤206，在此不再赘述。
当然，在其他实施例中，机器人也可以利用定位部件或地图其中一种方式直接获取机器人定位信息后，确定机器人的第一路线和第二路线。
304、根据第一路线和第二路线确定机器人的行驶路径。
其中，步骤304与步骤207相同，详细描述请参考步骤207，在此不再赘述。
305、生成用于按照行驶路径行驶的行驶指令。
其中，步骤305与步骤208相同，详细描述请参考步骤208，在此不再赘述。
306、执行行驶指令。
其中，步骤306与步骤209相同，详细描述请参考步骤209，在此不再赘述。
在图3所描述的路径确定方法中，根据定位信息确定的机器人的路线和通过摄像头采集的图像确定的机器人的路线确定机器人的行驶路径，结合了定位信息确定的机器人的路线和摄像头采集图像确定的机器人的路线，可以对定位信息确定的机器人的路线进行修正，可以提高行驶路径的确定精度。
请参阅图4，图4是本发明实施例提供的一种定位装置的结构示意图。其中，该定位装置可应用于机器人。该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。如图4所示，该定位装置可以包括：
第一确定单元401，用于通过定位部件确定机器人的第一位置信息；
采集单元402，用于通过摄像头采集图像；
第二确定单元403，用于根据该图像，确定机器人的第二位置信息；
融合单元404，用于融合第一位置信息和第二位置信息，得到机器人的定位信息。
在一个实施例中，定位部件可以包括激光雷达，第一确定单元401具体用于：
通过激光雷达采集定位数据；
根据点云定位地图和定位数据，确定机器人的第一位置信息。
在一个实施例中，第二确定单元403具体用于：
确定机器人与该图像中标志性物体之间的相对位置；
根据标志性物体和相对位置确定机器人的第二位置信息。
在一个实施例中，第二确定单元403确定机器人与该图像中标志性物体之间的相对位置包括：
检测该图像中的标志性物体；
根据摄像头的仿射变换矩阵，确定机器人与标志性物体之间的相对位置。
在一个实施例中，第二确定单元403根据标志性物体和相对位置确定机器人的第二位置信息包括：
根据第一位置信息、地图、标志性物体和相对位置确定机器人的第二位置信息。
在一个实施例中，第二确定单元403根据第一位置信息、地图、标志性物体和相对位置确定机器人的第二位置信息包括：
将第一位置信息转换为在地图中的位置，得到机器人的初始位置信息；
识别该图像中机器人所在道路的道路边线；
根据识别的道路边线修正初始位置信息的横向信息，以及根据相对位置修正初始位置信息中的纵向信息，得到机器人的第二位置信息；
其中，纵向信息为初始位置信息在道路边线所在方向上的位置信息，横向信息为所述初始位置信息在与道路边线垂直的方向上的位置信息。
在一个实施例中，融合单元404具体用于：
将第一位置信息和第二位置信息进行融合，得到融合定位信息以及融合定位信息的置信度；
在置信度大于阈值的情况下，确定融合定位信息为机器人的定位信息。
在一个实施例中，该定位装置还可以包括：
第三确定单元405，用于根据图像确定机器人的第一路线；
第四确定单元406，用于根据地图和机器人的定位信息确定机器人的第二路线；
第五确定单元407，用于根据第一路线和第二路线确定机器人的行驶路径。
在一个实施例中，第三确定单元405具体用于：
识别图像中机器人所在道路对应的两条道路边线；
计算两条道路边线的中线；
对中线进行曲线平滑处理，得到机器人的第一路线。
在一个实施例中，第四确定单元406，具体用于从地图中查询机器人的定位信息对应道路的中线，得到机器人的第二路线。
在一个实施例中，第三确定单元405具体用于：
识别图像中所述机器人所在道路对应的第一道路边线；
根据地图和机器人的定位信息，确定机器人转弯后道路的第二道路边线；
根据第一道路边线和第二道路边线，确定机器人转弯后道路的入口位置和入口方向；
根据入口位置、入口方向以及机器人的定位信息和方向，计算转弯曲线，得到机器人的第一路线。
在一个实施例中，第四确定单元406，具体用于从地图中查询机器人的定位信息对应转弯道路的中线，得到机器人的第二路线。
在一个实施例中，第五确定单元407，具体用于对齐第一路线和第二路线，得到机器人的行驶路径。
在一个实施例中，该定位装置还可以包括：
生成单元408，用于生成用于按照行驶路径行驶的行驶指令；
执行单元409，用于执行行驶指令。
本实施例可对应于本申请实施例中方法实施例描述，并且各个单元的上述和其它操作和/或功能分别为了实现图1和图2中各方法中的相应流程，为了简洁，在此不再赘述。
请参阅图5，图5是本发明实施例提供的一种路径确定装置的结构示意图。其中，该路径确定装置可应用于机器人。该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。如图5所示，该路径确定装置可以包括：
采集单元501，用于通过摄像头采集图像；
第一确定单元502，用于根据图像确定机器人的第一路线；
第二确定单元503，用于根据地图和机器人的定位信息确定机器人的第二路线；
第三确定单元504，用于根据第一路线和第二路线确定机器人的行驶路径。
在一个实施例中，第一确定单元502具体用于：
识别图像中机器人所在道路对应的两条道路边线；
计算两条道路边线的中线；
对中线进行曲线平滑处理，得到机器人的第一路线。
在一个实施例中，第二确定单元503，具体用于从地图中查询机器人的定位信息对应道路的中线，得到机器人的第二路线。
在一个实施例中，第一确定单元502具体用于：
识别图像中机器人所在道路对应的第一道路边线；
根据地图和机器人的定位信息，确定机器人转弯后道路的第二道路边线；
根据第一道路边线和第二道路边线，确定机器人转弯后道路的入口位置和入口方向；
根据入口位置、入口方向以及机器人的定位信息和方向，计算转弯曲线，得到机器人的第一路线。
在一个实施例中，第二确定单元503，具体用于从地图中查询所述机器人的定位信息对应转弯道路的中线，得到机器人的第二路线。
在一个实施例中，第三确定单元504，具体用于对齐第一路线和第二路线，得到机器人的行驶路径。
在一个实施例中，该路径确定装置还可以包括：
生成单元505，用于生成用于按照行驶路径行驶的行驶指令；
执行单元506，用于执行行驶指令。
本实施例可对应于本申请实施例中方法实施例描述，并且各个单元的上述和其它操作和/或功能分别为了实现图2和图3中各方法中的相应流程，为了简洁，在此不再赘述。
请参阅图6，图6是本发明实施例提供的一种机器人的结构示意图。其中，该机器人可以是用于教学、玩耍等的小车，也可以是用于载客、载物等的大车，还可以是用于教学、玩耍等的机器人，在此不作限定。其中，该机器人使用的系统可以为嵌入式系统，也可以为其它系统，在此不作限定。如图6所示，该机器人可以包括至少一个处理器601、存储器602、定位部件603、摄像头604和通信线路605。存储器602可以是独立存在的，可以通过通信线路605与处理器601相连接。存储器602也可以和处理器601集成在一起。其中，通信线路605用于实现这些组件之间的连接。
在一个实施例中，存储器1702中存储的计算机程序指令被执行时，该处理器601用于执行上述实施例中执行第二确定单元403、融合单元404、第三确定单元405、第四确定单元406、第五确定单元407、生成单元408和执行单元409中至少部分单元的操作，定位部件603用于执行上述实施例中第一确定单元401执行的操作，摄像头604用于执行上述实施例中采集单元402执行的操作。上述机器人还可以用于执行前述方法实施例中终端设备执行的各种方法，不再赘述。
在另一个实施例中，存储器1702中存储的计算机程序指令被执行时，该处理器601用于执行上述实施例中执行第一确定单元502、第二确定单元503、第三确定单元504、生成单元505和执行单元505中至少部分单元的操作，摄像头604用于执行上述实施例中采集单元501执行的操作。上述机器人还可以用于执行前述方法实施例中执行的各种方法，不再赘述。
本发明实施例还公开一种计算机可读存储介质，其上存储有指令，该指令被执行时执行上述方法实施例中的方法。该可读存储介质可以是易失性存储介质，也可以是非易失性存储介质。
本发明实施例还公开一种包含指令的计算机程序产品，该指令被执行时执行上述方法实施例中的方法。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、ROM、RAM、磁盘或光盘等。
以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (26)

1.一种定位方法，其特征在于，包括：
通过定位部件确定机器人的第一位置信息；
通过摄像头采集图像；
根据所述图像，确定所述机器人的第二位置信息；
融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息；
根据所述图像确定所述机器人的第一路线；
根据地图和所述机器人的定位信息确定所述机器人的第二路线；
根据所述第一路线和所述第二路线确定所述机器人的行驶路径；
所述根据所述图像确定所述机器人的第一路线包括：
识别所述图像中所述机器人所在道路对应的第一道路边线；
根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
2.根据权利要求1所述的方法，其特征在于，所述定位部件包括激光雷达，所述通过定位部件确定所述机器人的第一位置信息包括：
通过所述激光雷达采集定位数据；
根据点云定位地图和所述定位数据，确定所述机器人的第一位置信息。
3.根据权利要求1所述的方法，其特征在于，所述根据所述图像，确定所述机器人的第二位置信息包括：
确定所述机器人与所述图像中标志性物体之间的相对位置；
根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
4.根据权利要求3所述的方法，其特征在于，所述确定所述机器人与所述图像中标志性物体之间的相对位置包括：
检测所述图像中的标志性物体；
根据所述摄像头的仿射变换矩阵，确定所述机器人与所述标志性物体之间的相对位置。
5.根据权利要求3所述的方法，其特征在于，所述根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
6.根据权利要求5所述的方法，其特征在于，所述根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
将所述第一位置信息转换为在所述地图中的位置，得到所述机器人的初始位置信息；
识别所述图像中所述机器人所在道路的道路边线；
根据所述识别的道路边线修正所述初始位置信息的横向信息，以及根据所述相对位置修正所述初始位置信息中的纵向信息，得到所述机器人的第二位置信息；
其中，纵向信息为所述初始位置信息在道路边线所在方向上的位置信息，所述横向信息为所述初始位置信息在与道路边线垂直的方向上的位置信息。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息包括：
将所述第一位置信息和所述第二位置信息进行融合，得到融合定位信息以及所述融合定位信息的置信度；
在所述置信度大于阈值的情况下，确定所述融合定位信息为所述机器人的定位信息。
8.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述图像确定所述机器人的第一路线包括：
识别所述图像中所述机器人所在道路对应的两条道路边线；
计算所述两条道路边线的中线；
对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
9.根据权利要求8所述的方法，其特征在于，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
10.根据权利要求1-6任一项所述的方法，其特征在于，所述根据地图和所述机器人的定位信息确定所述机器人的第二路线包括：
从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
11.根据权利要求1-6任一项所述的方法，其特征在于，所述根据所述第一路线和所述第二路线确定所述机器人的行驶路径包括：
对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
12.根据权利要求1-6任一项所述的方法，其特征在于，所述方法还包括：
生成用于按照所述行驶路径行驶的行驶指令；
执行所述行驶指令。
13.一种定位装置，其特征在于，包括：
第一确定单元，用于通过定位部件确定机器人的第一位置信息；
采集单元，用于通过摄像头采集图像；
第二确定单元，用于根据所述图像，确定所述机器人的第二位置信息；
融合单元，用于融合所述第一位置信息和所述第二位置信息，得到所述机器人的定位信息；
第三确定单元，用于根据所述图像确定所述机器人的第一路线；
第四确定单元，用于根据地图和所述机器人的定位信息确定所述机器人的第二路线；
第五确定单元，用于根据所述第一路线和所述第二路线确定所述机器人的行驶路径；
所述第三确定单元具体用于：
识别所述图像中所述机器人所在道路对应的第一道路边线；
根据地图和所述机器人的定位信息，确定所述机器人转弯后道路的第二道路边线；
根据所述第一道路边线和所述第二道路边线，确定所述机器人转弯后道路的入口位置和入口方向；
根据所述入口位置、所述入口方向以及所述机器人的定位信息和方向，计算转弯曲线，得到所述机器人的第一路线。
14.根据权利要求13所述的装置，其特征在于，所述定位部件包括激光雷达，所述第一确定单元具体用于：
通过所述激光雷达采集定位数据；
根据点云定位地图和所述定位数据，确定所述机器人的第一位置信息。
15.根据权利要求13所述的装置，其特征在于，所述第二确定单元具体用于：
确定所述机器人与所述图像中标志性物体之间的相对位置；
根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
16.根据权利要求15所述的装置，其特征在于，所述第二确定单元确定所述机器人与所述图像中标志性物体之间的相对位置包括：
检测所述图像中的标志性物体；
根据所述摄像头的仿射变换矩阵，确定所述机器人与所述标志性物体之间的相对位置。
17.根据权利要求15所述的装置，其特征在于，所述第二确定单元根据所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息。
18.根据权利要求17所述的装置，其特征在于，所述第二确定单元根据所述第一位置信息、地图、所述标志性物体和所述相对位置确定所述机器人的第二位置信息包括：
将所述第一位置信息转换为在所述地图中的位置，得到所述机器人的初始位置信息；
识别所述图像中所述机器人所在道路的道路边线；
根据所述识别的道路边线修正所述初始位置信息的横向信息，以及根据所述相对位置修正所述初始位置信息中的纵向信息，得到所述机器人的第二位置信息；
其中，纵向信息为所述初始位置信息在道路边线所在方向上的位置信息，所述横向信息为所述初始位置信息在与道路边线垂直的方向上的位置信息。
19.根据权利要求13-18任一项所述的装置，其特征在于，所述融合单元具体用于：
将所述第一位置信息和所述第二位置信息进行融合，得到融合定位信息以及所述融合定位信息的置信度；
在所述置信度大于阈值的情况下，确定所述融合定位信息为所述机器人的定位信息。
20.根据权利要求13-18任一项所述的装置，其特征在于，所述第三确定单元具体用于：
识别所述图像中所述机器人所在道路对应的两条道路边线；
计算所述两条道路边线的中线；
对所述中线进行曲线平滑处理，得到所述机器人的第一路线。
21.根据权利要求20所述的装置，其特征在于，所述第四确定单元，具体用于从地图中查询所述机器人的定位信息对应道路的中线，得到所述机器人的第二路线。
22.根据权利要求13-18任一项所述的装置，其特征在于，所述第四确定单元，具体用于从地图中查询所述机器人的定位信息对应转弯道路的中线，得到所述机器人的第二路线。
23.根据权利要求13-18任一项所述的装置，其特征在于，所述第五确定单元，具体用于对齐所述第一路线和所述第二路线，得到所述机器人的行驶路径。
24.根据权利要求13-18任一项所述的装置，其特征在于，所述装置还包括：
生成单元，用于生成用于按照所述行驶路径行驶的行驶指令；
执行单元，用于执行所述行驶指令。
25.一种机器人，其特征在于，包括处理器、存储器、定位部件、摄像头，所述存储器用于存储计算机程序代码，所述定位部件用于定位，所述摄像头用于采集图像，所述处理器用于调用所述计算机程序代码执行如权利要求1-12任一项所述的方法。
26.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-12任一项所述的方法。
CN201910915168.8A 2019-09-26 2019-09-26 定位方法、路径确定方法、装置、机器人及存储介质 Active CN110530372B (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201910915168.8A CN110530372B (zh) 2019-09-26 2019-09-26 定位方法、路径确定方法、装置、机器人及存储介质
SG11202103843YA SG11202103843YA (en) 2019-09-26 2019-12-10 Positioning method and device, path determination method and device, robot and storage medium
PCT/CN2019/124412 WO2021056841A1 (zh) 2019-09-26 2019-12-10 定位方法、路径确定方法、装置、机器人及存储介质
JP2021519865A JP2022504728A (ja) 2019-09-26 2019-12-10 ポジショニング方法、経路決定方法、装置、ロボットおよび記憶媒体
TW110131343A TW202144150A (zh) 2019-09-26 2020-03-05 定位方法、機器人及儲存介質
TW109107316A TWI742554B (zh) 2019-09-26 2020-03-05 定位方法、路徑確定方法、機器人及儲存介質
US17/227,915 US20210229280A1 (en) 2019-09-26 2021-04-12 Positioning method and device, path determination method and device, robot and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910915168.8A CN110530372B (zh) 2019-09-26 2019-09-26 定位方法、路径确定方法、装置、机器人及存储介质

Publications (2)

Publication Number Publication Date
CN110530372A CN110530372A (zh) 2019-12-03
CN110530372B true CN110530372B (zh) 2021-06-22

Family

ID=68670274

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910915168.8A Active CN110530372B (zh) 2019-09-26 2019-09-26 定位方法、路径确定方法、装置、机器人及存储介质

Country Status (6)

Country Link
US (1) US20210229280A1 (zh)
JP (1) JP2022504728A (zh)
CN (1) CN110530372B (zh)
SG (1) SG11202103843YA (zh)
TW (2) TW202144150A (zh)
WO (1) WO2021056841A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110530372B (zh) * 2019-09-26 2021-06-22 上海商汤智能科技有限公司 定位方法、路径确定方法、装置、机器人及存储介质
CN111121805A (zh) * 2019-12-11 2020-05-08 广州赛特智能科技有限公司 基于道路交通标线标志的局部定位修正方法、设备及介质
CN111524185A (zh) * 2020-04-21 2020-08-11 上海商汤临港智能科技有限公司 定位方法及装置、电子设备和存储介质
CN113884093A (zh) * 2020-07-02 2022-01-04 苏州艾吉威机器人有限公司 Agv建图和定位的方法、系统、装置及计算机可读存储介质
CN114076602A (zh) * 2020-08-20 2022-02-22 北京四维图新科技股份有限公司 定位方法及定位设备
CN112405526A (zh) * 2020-10-26 2021-02-26 北京市商汤科技开发有限公司 一种机器人的定位方法及装置、设备、存储介质
CN112867977A (zh) * 2021-01-13 2021-05-28 华为技术有限公司 一种定位方法、装置和车辆
CN112800159B (zh) * 2021-01-25 2023-10-31 北京百度网讯科技有限公司 地图数据处理方法及装置
CN113706621B (zh) * 2021-10-29 2022-02-22 上海景吾智能科技有限公司 基于带标记图像的标志点定位及姿态获取方法和系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105448184A (zh) * 2015-11-13 2016-03-30 北京百度网讯科技有限公司 地图道路的绘制方法及装置
CN105674992A (zh) * 2014-11-20 2016-06-15 高德软件有限公司 一种导航方法及装置
CN105783936A (zh) * 2016-03-08 2016-07-20 武汉光庭信息技术股份有限公司 用于自动驾驶中的道路标识制图及车辆定位方法及系统
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法
CN109141437A (zh) * 2018-09-30 2019-01-04 中国科学院合肥物质科学研究院 一种机器人全局重定位方法
CN109241835A (zh) * 2018-07-27 2019-01-18 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109931939A (zh) * 2019-02-27 2019-06-25 杭州飞步科技有限公司 车辆的定位方法、装置、设备及计算机可读存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107398899A (zh) * 2016-05-20 2017-11-28 富泰华工业（深圳）有限公司 无线信号强度定位引导系统及方法
JP6535634B2 (ja) * 2016-05-26 2019-06-26 本田技研工業株式会社 経路案内装置及び経路案内方法
JP6834401B2 (ja) * 2016-11-24 2021-02-24 日産自動車株式会社 自己位置推定方法及び自己位置推定装置
JP7016214B2 (ja) * 2016-11-29 2022-02-04 アルパイン株式会社 走行可能領域設定装置および走行可能領域設定方法
JP6891753B2 (ja) * 2017-09-28 2021-06-18 ソニーグループ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
WO2019079219A1 (en) * 2017-10-19 2019-04-25 DeepMap Inc. CALIBRATION OF SENSORS MOUNTED ON AN AUTONOMOUS VEHICLE
JP6859927B2 (ja) * 2017-11-06 2021-04-14 トヨタ自動車株式会社 自車位置推定装置
CN108010360A (zh) * 2017-12-27 2018-05-08 中电海康集团有限公司 一种基于车路协同的自动驾驶环境感知系统
JP2019152924A (ja) * 2018-02-28 2019-09-12 学校法人立命館 自己位置同定システム、車両、及び処理装置
CN108776474B (zh) * 2018-05-24 2022-03-15 中山赛伯坦智能科技有限公司 集成高精度导航定位与深度学习的机器人嵌入式计算终端
US10534068B2 (en) * 2018-12-27 2020-01-14 Intel Corporation Localization system, vehicle control system, and methods thereof
CN109920011B (zh) * 2019-05-16 2020-01-10 长沙智能驾驶研究院有限公司 激光雷达与双目摄像头的外参标定方法、装置及设备
CN110530372B (zh) * 2019-09-26 2021-06-22 上海商汤智能科技有限公司 定位方法、路径确定方法、装置、机器人及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105674992A (zh) * 2014-11-20 2016-06-15 高德软件有限公司 一种导航方法及装置
CN105448184A (zh) * 2015-11-13 2016-03-30 北京百度网讯科技有限公司 地图道路的绘制方法及装置
CN105783936A (zh) * 2016-03-08 2016-07-20 武汉光庭信息技术股份有限公司 用于自动驾驶中的道路标识制图及车辆定位方法及系统
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法
CN109241835A (zh) * 2018-07-27 2019-01-18 上海商汤智能科技有限公司 图像处理方法及装置、电子设备和存储介质
CN109141437A (zh) * 2018-09-30 2019-01-04 中国科学院合肥物质科学研究院 一种机器人全局重定位方法
CN109931939A (zh) * 2019-02-27 2019-06-25 杭州飞步科技有限公司 车辆的定位方法、装置、设备及计算机可读存储介质

Also Published As

Publication number Publication date
TW202144150A (zh) 2021-12-01
JP2022504728A (ja) 2022-01-13
WO2021056841A1 (zh) 2021-04-01
SG11202103843YA (en) 2021-05-28
CN110530372A (zh) 2019-12-03
US20210229280A1 (en) 2021-07-29
TW202112513A (zh) 2021-04-01
TWI742554B (zh) 2021-10-11

Similar Documents

Publication Publication Date Title
CN110530372B (zh) 定位方法、路径确定方法、装置、机器人及存储介质
CN110462343B (zh) 使用自动标记的图像来对车辆进行导航的方法和系统
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
WO2018227980A1 (zh) 基于摄像头传感器的车道线地图构建方法以及构建系统
KR102091580B1 (ko) 이동식 도면화 시스템을 이용한 도로 표지 정보 수집 방법
JP6454726B2 (ja) 自車位置推定装置
US11231285B2 (en) Map information system
CN110969055B (zh) 用于车辆定位的方法、装置、设备和计算机可读存储介质
CN109154505B (zh) 用于确定车辆相对于马路的车道的横向位置的方法、设备和具有指令的计算机可读存储介质
CN110608746B (zh) 用于确定机动车的位置的方法和装置
Shunsuke et al. GNSS/INS/on-board camera integration for vehicle self-localization in urban canyon
JP6838285B2 (ja) レーンマーカ認識装置、自車両位置推定装置
JP4596566B2 (ja) 自車情報認識装置及び自車情報認識方法
KR102475039B1 (ko) 지도 정보 갱신 장치, 방법 및 시스템
KR20170068937A (ko) 터널 조명을 이용한 자율주행 차량 항법 시스템
JP2018048949A (ja) 物体識別装置
JP2018084492A (ja) 自己位置推定方法及び自己位置推定装置
JP4953015B2 (ja) 自車位置認識装置と自車位置認識プログラム、及びこれを用いたナビゲーション装置
KR102137043B1 (ko) 환경센서와 정밀지도를 이용한 측위 정확도 개선 시스템
JP2018159752A (ja) 地図情報学習方法及び地図情報学習装置
CN113566817B (zh) 一种车辆定位方法及装置
WO2018180247A1 (ja) 出力装置、制御方法、プログラム及び記憶媒体
JP2019007790A (ja) 車両位置判定装置
CN113566824A (zh) 车辆定位方法、装置、电子设备及存储介质
CN113390422B (zh) 汽车的定位方法、装置及计算机存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40011023

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant