CN111380515A - 定位方法及装置、存储介质、电子装置 - Google Patents

定位方法及装置、存储介质、电子装置 Download PDF

Info

Publication number
CN111380515A
CN111380515A CN201811643709.8A CN201811643709A CN111380515A CN 111380515 A CN111380515 A CN 111380515A CN 201811643709 A CN201811643709 A CN 201811643709A CN 111380515 A CN111380515 A CN 111380515A
Authority
CN
China
Prior art keywords
positioning
positioning information
information
diagram
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811643709.8A
Other languages
English (en)
Other versions
CN111380515B (zh
Inventor
林煜凯
槐建柱
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ninebot Beijing Technology Co Ltd
Original Assignee
Ninebot Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ninebot Beijing Technology Co Ltd filed Critical Ninebot Beijing Technology Co Ltd
Priority to CN201811643709.8A priority Critical patent/CN111380515B/zh
Priority to US16/430,360 priority patent/US11067694B2/en
Priority to EP19178274.7A priority patent/EP3674661A1/en
Publication of CN111380515A publication Critical patent/CN111380515A/zh
Application granted granted Critical
Publication of CN111380515B publication Critical patent/CN111380515B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/46—Indirect determination of position data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供了一种定位方法及装置、存储介质、电子装置，该方法包括：分别确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息，其中，第一定位图与第二定位图是在同一场景下通过不同方式获取的定位图像；融合第一定位信息和第二定位信息，得到第三定位信息；基于第三定位信息进行定位。通过本发明，解决了在部分场景下某一定位信息失效或者定位精度欠佳的问题，达到准确定位效果。

Description

定位方法及装置、存储介质、电子装置
技术领域
本发明涉及定位领域，具体而言，涉及一种定位方法及装置、存储介质、电子装置。
背景技术
在进行定位时，不同的场景会利用不同的定位装置进行定位。室内定位与室外定位存在较大的差别，室内环境比较封闭，而且通常对定位精度要求较高，并不能通过GPS等常用定位工具精确的获取到定位信息。例如，在室内环境中利用导航装置(例如移动机器人)进行导航的过程中，在部分环境纹理单一、光线强度变化大的场景中并不能精确的获取到定位信息，从而影响定位精度以及导航的性能，满足不了导航需求。
针对上述中的技术问题，相关技术中尚未提出有效的解决方案。
发明内容
本发明实施例提供了一种定位方法及装置、存储介质、电子装置，以至少解决相关技术中部分场景下某一定位信息失效或者定位精度欠佳的问题。
根据本发明的一个实施例，提供了一种定位方法，包括：分别确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息，其中，第一定位图与第二定位图是在同一场景下通过不同方式获取的定位图像；融合第一定位信息和第二定位信息，得到第三定位信息；基于第三定位信息进行定位。
可选地，在分别确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息之前，方法还包括：利用同步定位与地图构建SLAM技术，并通过视觉相机和预设传感器获取所述第一定位图；和/或，利用激光雷达Lidar SLAM技术，并通过Lidar或者深度相机，和预设传感器获取所述第二定位图。
可选地，所述第一定位图的场景物体特征位置与所述第二定位图的场景物体特征位置匹配度超过预定相似度。
可选地，通过以下方式确定第一定位信息：确定第一定位图中包括的各个物体特征点；在预定坐标系中标识出各个物体特征点对应的各个第一坐标点，得到第一定位信息，其中，第一定位信息中包括各个第一坐标点。
可选地，通过以下方式确定第二定位信息：确定第二定位图中包括的各个物体特征点；在预定坐标系中标识出各个物体特征点对应的各个第二坐标点，得到第二定位信息，其中，第二定位信息中包括各个第二坐标点。
可选地，通过以下方式之一融合第一定位信息和第二定位信息，得到第三定位信息：贝叶斯统计理论；神经网络技术；卡尔曼滤波。
根据本发明的另一个实施例，提供了一种定位装置，包括：确定模块，用于分别确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息，其中，第一定位图与第二定位图是在同一场景下通过不同方式获取的定位图像；融合模块，用于融合第一定位信息和第二定位信息，得到第三定位信息；定位模块，用于基于第三定位信息进行定位。
根据本发明的又一个实施例，还提供了一种存储介质，存储介质中存储有计算机程序，其中，计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
根据本发明的又一个实施例，还提供了一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
通过本发明，由于在需要进行定位的场景中，通过确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息，并对第一定位信息和第二定位信息进行融合，得到第三定位信息，基于第三定位信息进行定位。实现了通过融合不同的定位信息确定准确的定位信息的目的。因此，可以解决相关技术中部分场景下某一定位信息失效或者定位精度欠佳的问题，进而达到准确定位效果。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是本发明实施例的一种定位方法的移动终端的硬件结构框图；
图2是根据本发明实施例的定位方法的流程图；
图3是根据本发明实施例的灰度图；
图4是根据本发明实施例的定位装置的结构框图。
具体实施方式
下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。
本申请实施例所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本发明实施例的一种定位方法的移动终端的硬件结构框图。如图1所示，移动终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的定位方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输装置106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端10的通信供应商提供的无线网络。在一个实例中，传输装置106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输装置106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
在本实施例中提供了一种定位方法，图2是根据本发明实施例的定位方法的流程图，如图2所示，该流程包括如下步骤：
步骤S202，分别确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息，其中，第一定位图与第二定位图是在同一场景下通过不同方式获取的定位图像；
步骤S204，融合第一定位信息和第二定位信息，得到第三定位信息；
步骤S206，基于第三定位信息进行定位。
通过上述步骤，由于在需要进行定位的场景中，通过确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息，并对第一定位信息和第二定位信息进行融合，得到第三定位信息，基于第三定位信息进行定位。实现了通过融合不同的定位信息确定准确的定位信息的目的，因此，可以解决相关技术中部分场景下某一定位信息失效或者定位精度欠佳的问题，达到准确定位效果。
可选地，上述步骤的执行主体可以为终端等，但不限于此。
需要说明的是，本实施例中的主要流程是：先分别通过视觉SLAM技术和LidarSLAM技术进行建图，然后再分别使用视觉定位和Lidar定位技术进行定位。最后通过定位融合技术，融合出来的定位结果直接可用于精确定位。
在一个可选的实施例中，本实施例中的方法可以应用于移动机器人、导航仪等，但不限于此。
在一个可选的实施例中，第一定位图和第二定位图可通过相同的建图轨迹获取，使得定位图参考信息是相互对应的，有利于第一定位信息和第二定位信息的融合，可以增加确定定位信息的准确性。可选地，预定坐标系可以是世界坐标系。
在一个可选的实施例中，第一定位图和第二定位图是在同一场景区域中获取的定位图，场景可以是室外的场景，也可以是室内的场景。例如，大厅中的定位图，其中，第一定位图和第二定位图中都包括大厅中的物体的特征点。
视觉SLAM技术和Lidar SLAM技术可以应用在定位或者导航的场景中。如果只利用视觉定位技术进行定位，虽然成本较低，但视觉相机受制于环境因素较大。例如在光线变化明显，纹理较差的环境中，视觉相机的定位匹配度会降低，导致定位结果往往满足不了导航需求。在这种环境下，需要结合Lidar技术进行定位，Lidar或者深度相机在弱纹理、光线变化大的场景中能发挥出比视觉相机更好的表现。即在分别确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息之前，利用同步定位与地图构建SLAM技术通过视觉相机和相关传感器获取所述第一定位图；和/或，利用激光雷达Lidar SLAM技术通过Lidar或者深度相机及相关传感器获取所述第二定位图。并需要将视觉相机获取的第一定位信息与Lidar或者深度相机获取的定位信息进行融合。以提升在此类环境中的定位效果。
上述视觉相机是利用视觉同步定位与地图构建(Simultaneous localizationand mapping，简称为SLAM)技术获取的第一定位图。例如，设置有视觉相机的导航装置(移动机器人)从未知环境的未知地点出发，在运动过程中通过重复观测到的地图特征(比如，墙角，柱子等)，定位自身的位置和姿态，再根据自身的位置增量式的构建定位地图，从而达到同时定位和地图构建的目的。
上述Lidar或者深度相机是利用激光探测与测量(Light Detection AndRanging，简称为Lidar)SLAM技术获取的第二定位图；Lidar即是激光探测与测量，也就是激光雷达。
需要说明的是，视觉slam和Lidar SLAM是两种技术，视觉SLAM技术用的是视觉相机以及IMU(惯性测量单元)、里程计(可选)；Lidar SLAM技术用的是激光雷达以及IMU(惯性测量单元)、里程计(可选)。预设传感器代指IMU(惯性测量单元)、里程计(可选)。
需要说明的是，不同于视觉Slam获取的点云图，Lidar SLAM获取的第二定位图表示地图上是否占有障碍物的灰度图，如图3所示。
在一个可选的实施例中，第一定位图中标识的场景及物体特征位置与第二定位图中标识的场景及物体特征位置超过预定相似度。也就是说，第一定位图和第二定位图是在同一场景下获取的图像。通过轨迹匹配可以计算出第一定位图和第二定位图的相对关系(例如，位置的相对关系)，以此计算出两种定位信息在同一个世界坐标系下的位置。
在一个可选的实施例中，利用同步定位与地图构建SLAM技术，并通过视觉相机和预设传感器获取第一定位图；和/或，利用激光雷达Lidar SLAM技术，并通过Lidar或者深度相机，和预设传感器获取第二定位图。可以直接在某一场景中分别利用视觉SLAM技术和Lidar SLAM技术获取到第一定位图和第二定位图；也可以直接共用其中一组定位图使用的建图轨迹作为另一定位图的建图轨迹以获取完全匹配的第一定位图和第二定位图。
在一个可选的实施例中，在确定第一定位图和第二定位图之后，通过以下方式确定第一定位信息和第二定位信息：确定第一定位图中包括的各个物体特征点；在预定坐标系中标识出各个物体特征点对应的各个第一坐标点，得到第一定位信息，其中，第一定位信息中包括各个第一坐标点。确定第二定位图中包括的各个物体特征点；在预定坐标系中标识出各个物体特征点对应的各个第二坐标点，得到第二定位信息，其中，第二定位信息中包括各个第二坐标点。在本实施例中，第一定位图中的各个物体和第二定位图中的各个物体虽然是相同的物体，但在不同的定位图中表现出的格式是不相同的，例如，第二定位图中的各个物体的特征点如图3所示。
在一个可选的实施例中，可以通过传感器融合技术对两种定位信息进行融合，例如通过以下方式之一对第一定位信息和第二定位信息进行融合得到第三定位信息：贝叶斯统计理论；神经网络技术；卡尔曼滤波。其中，卡尔曼滤波即是扩展卡尔曼滤波器(ExtendedKalmanFilter，简称为EKF)，是一种高效率的递归滤波器(自回归滤波器)。对第一定位信息和第二定位信息融合后的结果能结合二者的优点，在视觉定位较差的场景中用深度相机定位结果进行弥补，显著提升性能和鲁棒性。
在一个可选的实施例中，将第三定位信息标识在世界坐标系中，可以准确的描绘出定位图像。
下面结合具体实施例对本实施例进行说明：
实施例1：本实施例以设置有视觉相机和深度相机的移动机器人为例进行说明。例如，移动机器人在写字楼楼道中移动，写字楼中更多的是狭长的走廊，走廊中的白墙纹理较弱，利用视觉相机进行定位会有较大的漂移，而在这种环境中深度相机表现很好，输出的定位精度更高，误差小。视觉相机和深度相机同时获取定位图，得到第一定位图和第二定位图，并基于第一定位图和第二定位图得到第一定位信息和第二定位信息。利用扩展卡尔曼滤波器EKF对第一定位信息和第二定位信息进行融合，得到第三定位信息。利用第三定位信息进行定位的结果会更偏向精度高的深度相机，也就是说，利用第三定位信息定位的结果与利用第二定位信息定位的结果更相近。此时，移动机器人的定位并不会因为视觉相机的定位漂移而产生较大的定位误差。而会基于融合得到的第三定位信息进行更精确的定位。
实施例2：本实施例以设置有视觉相机和Lidar的移动机器人为例进行说明。例如移动机器人在大厅内运行，大厅中较为宽敞，同时光线变化较大，移动机器人可以利用视觉相机获取到基本的定位信息；移动机器人在靠近墙边时，利用Lidar修正视觉相机的定位从而防止移动机器人撞墙。
综上所述，本实施例的整个过程如下：1)利用视觉相机和预设传感器获取第一定位图；2)利用Lidar和预设传感器获取第二定位图；3)匹配第一定位图和第二定位图，计算出第一定位图和第二定位图的相对变换；4)同步使用视觉相机和Lidar获取第一定位信息和第二定位信息，将第一定位信息和第二定位信息转换到同一世界坐标系中；5)利用融合技术对第一定位信息和第二定位信息进行融合；从而提升定位的性能和鲁棒性。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
在本实施例中还提供了一种定位装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图4是根据本发明实施例的定位装置的结构框图，如图4所示，该装置包括：确定模块42、融合模块44以及定位模块46，下面对该装置进行详细说明：
确定模块42，用于分别确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息，其中，第一定位图与第二定位图是在同一场景下通过不同方式获取的定位图像；
融合模块44，连接至上述中的确定模块42，用于融合第一定位信息和第二定位信息，得到第三定位信息；
定位模块46，连接至上述中的融合模块44，用于基于第三定位信息进行定位。
通过上述模块，由于在需要进行定位的场景中，通过确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息，并对第一定位信息和第二定位信息进行融合，得到第三定位信息，基于第三定位信息进行定位。实现了通过融合不同的定位信息确定准确的定位信息的目的，因此，可以解决相关技术中部分场景下某一定位信息失效或者定位精度欠佳的问题，达到准确定位效果。
可选地，上述步骤的执行主体可以为终端等，但不限于此。
需要说明的是，定位装置进行定位的整个流程是：先分别通过视觉SLAM技术和Lidar SLAM技术进行建图，然后再分别使用视觉定位和Lidar定位技术进行定位。最后通过定位融合技术，融合出来的定位结果直接可用于精确定位。
在一个可选的实施例中，本实施例中的方法可以应用于移动机器人、导航仪等，但不限于此。
在一个可选的实施例中，第一定位图和第二定位图可通过相同的建图轨迹获取，使得定位图参考信息是相互对应的，有利于第一定位信息和第二定位信息的融合，可以增加确定定位信息的准确性。可选地，预定坐标系可以是世界坐标系。
在一个可选的实施例中，第一定位图和第二定位图是在同一场景区域中获取的定位图，场景可以是室外的场景，也可以是室内的场景。例如，大厅中的定位图，其中，第一定位图和第二定位图中都包括大厅中的物体的特征点。
视觉SLAM技术和Lidar SLAM技术可以应用在定位或者导航的场景中。如果只利用视觉相机进行定位，虽然成本较低，但视觉相机受制于环境因素较大。例如在光线变化明显，纹理较差的环境中，视觉相机的定位匹配度会降低，导致定位结果往往满足不了导航需求。在这种环境下，需要结合Lidar技术进行定位，Lidar在弱纹理、光线变化大的场景中能发挥出比视觉相机更好的表现。即在分别确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息之前，利用同步定位与地图构建SLAM技术通过视觉相机和预设传感器获取所述第一定位图；和/或，利用激光雷达Lidar SLAM技术通过Lidar或者深度相机及预设传感器获取所述第二定位图。并需要将视觉相机获取的第一定位信息与Lidar获取的第二定位信息进行融合。以提升在此类环境中的定位效果。
上述视觉相机是利用同步定位与地图构建(Simultaneous localization andmapping，简称为SLAM)技术获取第一定位图。例如，设置有视觉相机的导航装置(移动机器人)从未知环境的未知地点出发，在运动过程中通过重复观测到的地图特征(比如，墙角，柱子等)，定位自身的位置和姿态，再根据自身的位置增量式的构建定位地图，从而达到同时定位和地图构建的目的。
上述Lidar是利用激光探测与测量(Light Detection And Ranging，简称为Lidar)技术获取的第二定位图；Lidar即是激光探测与测量，也就是激光雷达。
需要说明的是，视觉slam和Lidar SLAM是两种技术，视觉slam技术用的是视觉相机以及IMU(惯性测量单元)、里程计(可选)；Lidar SLAM技术用的是激光雷达以及IMU(惯性测量单元)、里程计(可选)。预设传感器代指IMU(惯性测量单元)、里程计(可选)。
需要说明的是，不同于视觉SLAM获取的点云图，Lidar SLAM获取的第二定位图表示地图上是否占有障碍物的灰度图，如图3所示。
在一个可选的实施例中，第一定位图中标识的场景及物体特征位置与第二定位图中标识的场景及物体特征位置超过预定相似度。也就是说，第一定位图和第二定位图是在同一场景下获取的图像。通过轨迹匹配可以计算出第一定位图和第二定位图的相对关系(例如，位置的相对关系)，以此计算出两种定位信息在同一个世界坐标系下的位置。
在一个可选的实施例中，利用同步定位与地图构建SLAM技术，并通过视觉相机和预设传感器获取第一定位图；和/或，利用激光雷达Lidar SLAM技术，并通过Lidar或者深度相机和预设传感器获取第二定位图。可以直接在某一场景中分别利用视觉相机和Lidar获取到第一定位图和第二定位图；也可以直接共用其中一组定位图使用的建图轨迹作为另一定位图的建图轨迹以获取完全匹配的第一定位图和第二定位图。
在一个可选的实施例中，在确定第一定位图和第二定位图之后，通过以下方式确定第一定位信息和第二定位信息：确定第一定位图中包括的各个物体特征点；在预定坐标系中标识出各个物体特征点对应的各个第一坐标点，得到第一定位信息，其中，第一定位信息中包括各个第一坐标点。确定第二定位图中包括的各个物体特征点；在预定坐标系中标识出各个物体特征点对应的各个第二坐标点，得到第二定位信息，其中，第二定位信息中包括各个第二坐标点。在本实施例中，第一定位图中的各个物体和第二定位图中的各个物体虽然是相同的物体，但在不同的定位图中表现出的格式是不相同的，例如，第二定位图中的各个物体的特征点如图3所示。
在一个可选的实施例中，可以通过传感器融合技术对两种定位信息进行融合，例如通过以下方式之一对第一定位信息和第二定位信息进行融合得到第三定位信息：贝叶斯统计理论；神经网络技术；卡尔曼滤波。其中，卡尔曼滤波即是扩展卡尔曼滤波器(ExtendedKalmanFilter，简称为EKF)，是一种高效率的递归滤波器(自回归滤波器)。对第一定位信息和第二定位信息融合后的结果能结合二者的优点，在视觉定位较差的场景中用深度相机定位结果进行弥补，显著提升性能和鲁棒性。
在一个可选的实施例中，将第三定位信息标识在世界坐标系中，可以准确的描绘出定位图像。
下面结合具体实施例对本实施例进行说明：
实施例1：本实施例以设置有视觉相机和Lidar的移动机器人为例进行说明。例如，移动机器人在写字楼楼道中移动，写字楼中更多的是狭长的走廊，走廊中的白墙纹理较弱，利用视觉相机进行定位会有较大的漂移，而在这种环境中Lidar表现很好，输出的定位精度更高，误差小。视觉相机和Lidar同时获取定位图，得到第一定位图和第二定位图，并基于第一定位图和第二定位图得到第一定位信息和第二定位信息。利用扩展卡尔曼滤波器EKF对第一定位信息和第二定位信息进行融合，得到第三定位信息。利用第三定位信息进行定位的结果会更偏向精度高的Lidar，也就是说，利用第三定位信息定位的结果与利用第二定位信息定位的结果更相近。此时，移动机器人的定位并不会因为视觉相机的定位漂移而产生较大的定位误差。而会基于融合得到的第三定位信息进行更精确的定位。
实施例2：本实施例以设置有视觉相机和Lidar的移动机器人为例进行说明。例如移动机器人在大厅内运行，大厅中较为宽敞，同时光线变化较大，移动机器人可以利用视觉相机获取到基本的定位信息；移动机器人在靠近墙边时，利用Lidar修正视觉相机的定位从而防止移动机器人撞墙。
综上所述，本实施例的整个过程如下：1)利用视觉相机和预设传感器获取第一定位图；2)利用Lidar或者深度相机和预设传感器获取第二定位图；3)匹配第一定位图和第二定位图，计算出第一定位图和第二定位图的相对变换；4)同步使用视觉相机和Lidar或者深度相机获取第一定位信息和第二定位信息，将第一定位信息和第二定位信息转换到同一世界坐标系中；5)利用融合技术对第一定位信息和第二定位信息进行融合；从而提升定位的性能和鲁棒性。
需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。
本发明的实施例还提供了一种存储介质，该存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以上各步骤的计算机程序。
可选地，在本实施例中，上述存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。
本发明的实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以上各步骤。
可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种定位方法，其特征在于，包括：
分别确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息，其中，所述第一定位图与所述第二定位图是在同一场景下通过不同方式获取的定位图像；
融合所述第一定位信息和所述第二定位信息，得到第三定位信息；
基于所述第三定位信息进行定位。
2.根据权利要求1所述的方法，其特征在于，在分别确定所述第一定位图与所述第二定位图在所述预定坐标系下标识的定位信息，得到所述第一定位信息和所述第二定位信息之前，所述方法还包括：
利用同步定位与地图构建SLAM技术，并通过视觉相机和预设传感器获取所述第一定位图；和/或，
利用激光雷达Lidar SLAM技术，并通过Lidar或者深度相机，和预设传感器获取所述第二定位图。
3.根据权利要求1或2所述的方法，其特征在于，
所述第一定位图的场景物体特征位置与所述第二定位图的场景物体特征位置匹配度超过预定相似度。
4.根据权利要求1所述的方法，其特征在于，通过以下方式确定所述第一定位信息：
确定所述第一定位图中包括的各个物体特征点；
在所述预定坐标系中标识出所述各个物体特征点对应的各个第一坐标点，得到所述第一定位信息，其中，所述第一定位信息中包括所述各个第一坐标点。
5.根据权利要求1所述的方法，其特征在于，通过以下方式确定所述第二定位信息：
确定所述第二定位图中包括的各个物体特征点；
在所述预定坐标系中标识出所述各个物体特征点对应的各个第二坐标点，得到所述第二定位信息，其中，所述第二定位信息中包括所述各个第二坐标点。
6.根据权利要求1-5任一项所述的方法，其特征在于，通过以下方式之一融合所述第一定位信息和所述第二定位信息，得到所述第三定位信息：
贝叶斯统计理论；
神经网络技术；
卡尔曼滤波。
7.一种定位装置，其特征在于，包括：
确定模块，用于分别确定第一定位图与第二定位图在预定坐标系下标识的定位信息，得到第一定位信息和第二定位信息，其中，所述第一定位图与所述第二定位图是在同一场景下通过不同方式获取的定位图像；
融合模块，用于融合所述第一定位信息和所述第二定位信息，得到第三定位信息；
定位模块，用于基于所述第三定位信息进行定位。
8.根据权利要求7所述的装置，其特征在于，所述装置还包括：
第一获取模块，用于在分别确定所述第一定位图与所述第二定位图在所述预定坐标系下标识的定位信息，得到所述第一定位信息和所述第二定位信息之前，利用同步定位与地图构建SLAM技术，并通过视觉相机和预设传感器获取所述第一定位图；和/或，
第二获取模块，用于在分别确定所述第一定位图与所述第二定位图在所述预定坐标系下标识的定位信息，得到所述第一定位信息和所述第二定位信息之前，利用激光雷达LidarSLAM技术，并通过Lidar或者深度相机，和预设传感器获取所述第二定位图。
9.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行所述权利要求1至6任一项中所述的方法。
10.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行所述权利要求1至6任一项中所述的方法。
CN201811643709.8A 2018-12-29 2018-12-29 定位方法及装置、存储介质、电子装置 Active CN111380515B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201811643709.8A CN111380515B (zh) 2018-12-29 2018-12-29 定位方法及装置、存储介质、电子装置
US16/430,360 US11067694B2 (en) 2018-12-29 2019-06-03 Locating method and device, storage medium, and electronic device
EP19178274.7A EP3674661A1 (en) 2018-12-29 2019-06-04 Locating method and device, storage medium, and electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811643709.8A CN111380515B (zh) 2018-12-29 2018-12-29 定位方法及装置、存储介质、电子装置

Publications (2)

Publication Number Publication Date
CN111380515A true CN111380515A (zh) 2020-07-07
CN111380515B CN111380515B (zh) 2023-08-18

Family

ID=66998060

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811643709.8A Active CN111380515B (zh) 2018-12-29 2018-12-29 定位方法及装置、存储介质、电子装置

Country Status (3)

Country Link
US (1) US11067694B2 (zh)
EP (1) EP3674661A1 (zh)
CN (1) CN111380515B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112230242A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 位姿估计系统和方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112622987A (zh) * 2020-12-04 2021-04-09 中国铁道科学研究院集团有限公司通信信号研究所 列车自主定位测速及完整性检查系统及方法
CN113920199B (zh) * 2021-12-14 2022-04-05 深圳市易瑞生物技术股份有限公司 离心管架定位的方法、设备和计算机可读存储介质
CN114820794A (zh) * 2022-05-07 2022-07-29 上海节卡机器人科技有限公司 定位方法、装置、电子设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017161588A1 (zh) * 2016-03-25 2017-09-28 华为技术有限公司 一种定位方法及装置
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法
CN108303710A (zh) * 2018-06-12 2018-07-20 江苏中科院智能科学技术应用研究院 基于三维激光雷达的无人机多场景定位建图方法
CN108337915A (zh) * 2017-12-29 2018-07-27 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
WO2018140701A1 (en) * 2017-01-27 2018-08-02 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10515110B2 (en) * 2013-11-12 2019-12-24 Pinterest, Inc. Image based search
KR102479495B1 (ko) * 2015-09-07 2022-12-21 엘지전자 주식회사 이동단말기 및 그의 동작 방법
US20190346271A1 (en) * 2016-03-11 2019-11-14 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN107688184A (zh) 2017-07-24 2018-02-13 宗晖（上海）机器人有限公司 一种定位方法以及系统
US11010905B2 (en) * 2018-09-07 2021-05-18 Apple Inc. Efficient object detection and tracking

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017161588A1 (zh) * 2016-03-25 2017-09-28 华为技术有限公司 一种定位方法及装置
CN108073167A (zh) * 2016-11-10 2018-05-25 深圳灵喵机器人技术有限公司 一种基于深度相机与激光雷达的定位与导航方法
WO2018140701A1 (en) * 2017-01-27 2018-08-02 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN108337915A (zh) * 2017-12-29 2018-07-27 深圳前海达闼云端智能科技有限公司 三维建图方法、装置、系统、云端平台、电子设备和计算机程序产品
CN108303710A (zh) * 2018-06-12 2018-07-20 江苏中科院智能科学技术应用研究院 基于三维激光雷达的无人机多场景定位建图方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112230242A (zh) * 2020-09-30 2021-01-15 深兰人工智能(深圳)有限公司 位姿估计系统和方法
CN112230242B (zh) * 2020-09-30 2023-04-25 深兰人工智能(深圳)有限公司 位姿估计系统和方法

Also Published As

Publication number Publication date
EP3674661A1 (en) 2020-07-01
CN111380515B (zh) 2023-08-18
US11067694B2 (en) 2021-07-20
US20200209389A1 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
CN108319655B (zh) 用于生成栅格地图的方法和装置
CN111380515B (zh) 定位方法及装置、存储介质、电子装置
JP6688521B2 (ja) 測位方法、端末及びサーバー
CN112179330B (zh) 移动设备的位姿确定方法及装置
KR20190082071A (ko) 전자 지도를 업데이트하기 위한 방법, 장치 및 컴퓨터 판독 가능한 저장 매체
CN113074727A (zh) 基于蓝牙与slam的室内定位导航装置及其方法
CN110470333B (zh) 传感器参数的标定方法及装置、存储介质和电子装置
CN114111774B (zh) 车辆的定位方法、系统、设备及计算机可读存储介质
CN111652929A (zh) 一种视觉特征的识别定位方法及系统
CN111856499B (zh) 基于激光雷达的地图构建方法和装置
CN116485854A (zh) 使用地理弧的3d交通工具定位
Kinnari et al. GNSS-denied geolocalization of UAVs by visual matching of onboard camera images with orthophotos
CN112991440A (zh) 车辆的定位方法和装置、存储介质和电子装置
Bai et al. Perception-aided visual-inertial integrated positioning in dynamic urban areas
CN114127738A (zh) 自动地图制作和定位
CN112652062A (zh) 一种点云地图构建方法、装置、设备和存储介质
CN112689234B (zh) 室内车辆定位方法、装置、计算机设备和存储介质
CN113932790A (zh) 一种地图更新方法、装置、系统、电子设备及存储介质
CN116429112A (zh) 多机器人协同定位方法和装置、设备及存储介质
CN114459467B (zh) 一种未知救援环境中基于vi-slam的目标定位方法
CN114995459A (zh) 机器人的控制方法、装置、设备及存储介质
Jonas et al. IMAGO: Image-guided navigation for visually impaired people
Wang et al. Slam-based cooperative calibration for optical sensors array with gps/imu aided
CN111708046A (zh) 一种障碍物的平面数据的处理方法、装置、电子设备及存储介质
CN112393720B (zh) 目标设备的定位方法及装置、存储介质、电子装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant