CN111805535A - 一种定位导航方法、装置以及计算机存储介质 - Google Patents

一种定位导航方法、装置以及计算机存储介质 Download PDF

Info

Publication number
CN111805535A
CN111805535A CN202010526047.7A CN202010526047A CN111805535A CN 111805535 A CN111805535 A CN 111805535A CN 202010526047 A CN202010526047 A CN 202010526047A CN 111805535 A CN111805535 A CN 111805535A
Authority
CN
China
Prior art keywords
robot
map information
navigation
pose
positioning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010526047.7A
Other languages
English (en)
Other versions
CN111805535B (zh
Inventor
王林源
马子昂
卢维
殷俊
林辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010526047.7A priority Critical patent/CN111805535B/zh
Publication of CN111805535A publication Critical patent/CN111805535A/zh
Application granted granted Critical
Publication of CN111805535B publication Critical patent/CN111805535B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G01C21/206—Instruments for performing navigational calculations specially adapted for indoor navigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本申请提供了一种定位导航方法、装置以及计算机存储介质。该定位导航方法包括：从监控设备获取监控视频，并从监控视频中提取第一地图信息；基于预设的三维模型和第一地图信息确定机器人的初始位姿；通过传感器获取机器人的起始位姿以及第二地图信息；基于初始位姿和起始位姿确定机器人的导航位姿，以及以第一地图信息为基准对第二地图信息进行坐标转换，以得到导航地图信息。通过上述方式，本申请的定位导航方法能够基于监控设备实现室内场景下的机器人自主定位导航。

Description

一种定位导航方法、装置以及计算机存储介质
技术领域
本申请涉及机器人技术领域，特别是涉及一种定位导航方法、装置以及计算机存储介质。
背景技术
随着计算机技术、传感器技术以及现代控制技术的高速发展，机器人的种类变得越来越丰富，并逐步从传统的工业领域走进人们的日常生活。在不久的未来，人们可以在展厅、图书馆、仓库、超市等场所看到各种各样的机器人。因此，作为室内移动机器人关键技术的定位与导航，其需求也越来越大。
机器人定位导航能力作为机器人实现自主运动的基本能力，近年来受到持续关注，例如快递领域的自动化搬运机器人在飞速发展。实现自主导航的机器人通常需要配备GPS，以实现全局定位。对于如搬运机器人等在厂房内的工作场景，GPS信号容易被遮挡，不适用于室内环境。
发明内容
本申请提供了一种定位导航方法、装置以及计算机存储介质，主要解决的技术问题是如何实现室内场景下的机器人自主定位导航的问题。
为解决上述技术问题，本申请提供了一种定位导航方法，所述定位导航方法包括：
从监控设备获取监控视频，并从所述监控视频中提取第一地图信息；
基于预设的三维模型和所述第一地图信息确定机器人的初始位姿；
通过传感器获取所述机器人的起始位姿以及第二地图信息；
基于所述初始位姿和所述起始位姿确定所述机器人的导航位姿，以及以所述第一地图信息为基准对所述第二地图信息进行坐标转换，以得到导航地图信息。
其中，所述定位导航方法还包括：
采用目标跟踪技术获取所述机器人在所述监控视频中的第一位姿；
通过所述传感器获取所述机器人的第二位姿以及第三地图信息；
基于所述第一位姿和所述第二位姿确定所述机器人的当前位姿；
基于所述导航路径以及所述当前位姿调整所述机器人的位姿。
其中，所述通过所述传感器获取所述机器人的第二位姿以及第三地图信息的步骤之后，所述定位导航方法还包括：
以所述第一地图信息为基准对所述第三地图信息进行坐标转换，以得到当前地图信息；
判断所述当前地图信息与所述导航地图信息是否相同；
若否，则基于所述当前地图信息获取所述机器人在三维环境中的当前轨迹。
其中，所述基于所述导航地图信息获取所述机器人在三维环境中的当前轨迹的步骤之后，所述定位导航方法还包括：
基于所述机器人在三维环境中的当前轨迹以及所述第二位姿调整所述机器人的位姿。
其中，所述采用目标跟踪技术获取所述机器人在所述监控视频中的第一位姿的步骤之后，所述定位导航方法还包括：
获取预设的轨迹终点位置；
判断所述第一位姿是否与所述轨迹终点位置匹配；
若是，则结束所述机器人的导航。
所述以所述第一地图信息为基准对所述第二地图信息进行坐标转换，以得到导航地图信息的步骤之后，所述定位导航方法还包括：
从所述监控视频获取所述机器人的运动路径，并通过所述导航地图信息将所述运动路径映射到三维环境，得到三维环境中的导航路径。
其中，所述从所述监控视频获取所述机器人的运动路径，并通过所述导航地图信息将所述运动路径映射到三维环境，得到三维环境中的导航路径的步骤，包括：
获取所述监控视频中其它机器人的运动路径；
基于所述监控视频以及所述其它机器人的运动路径获取所述机器人的运动路径；
通过所述导航地图信息将所述运动路径映射到三维环境，得到三维环境中的导航路径。
其中，所述通过传感器获取所述机器人的起始位姿以及第二地图信息的步骤，包括：
通过所述机器人自身的传感器通过SLAM(simultaneous localization andmapping)技术获取所述机器人的起始位姿以及第二地图信息；
所述监控设备为双目监控摄像机，所述双目监控摄像机用于通过双目立体成像进行环境的初始三维环境的构建，以输出所述第一地图信息。
为解决上述技术问题，本申请还提供了一种定位导航装置，所述定位导航装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如上述的定位导航方法。
为解决上述技术问题，本申请还提供了一种计算机存储介质，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如上述的定位导航方法。
与现有技术相比，本申请的有益效果是：定位导航装置从监控设备获取监控视频，并从监控视频中提取第一地图信息；基于预设的三维模型和第一地图信息确定机器人的初始位姿；通过传感器获取机器人的起始位姿以及第二地图信息；基于初始位姿和起始位姿确定机器人的导航位姿，以及以第一地图信息为基准对第二地图信息进行坐标转换，以得到导航地图信息；从监控视频获取机器人的运动路径。通过上述方式，本申请的定位导航方法能够基于监控设备实现室内场景下的机器人自主定位导航。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的定位导航方法第一实施例的流程示意图；
图2是本申请提供的定位导航方法第二实施例的流程示意图；
图3是本申请提供的定位导航方法第三实施例的流程示意图；
图4是本申请提供的定位导航方法第四实施例的流程示意图
图5是本申请提供的定位导航装置一实施例的结构示意图；
图6是本申请提供的计算机存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了实现室内场景下的机器人自主定位导航，本申请提出了一种定位导航方法，具体请参阅图1，图1是本申请提供的定位导航方法第一实施例的流程示意图。
本申请的定位导航方法应用于一种定位导航装置，其中，本申请的定位导航装置可以为服务器，也可以为终端设备，还可以为由服务器和终端设备相互配合的系统。相应地，电子设备包括的各个部分，例如各个单元、子单元、模块、子模块可以全部设置于服务器中，也可以全部设置于终端设备中，还可以分别设置于服务器和终端设备中。
进一步地，上述服务器可以是硬件，也可以是软件。当服务器为硬件时，可以实现成多个服务器组成的分布式服务器集群，也可以实现成单个服务器。当服务器为软件时，可以实现成多个软件或软件模块，例如用来提供分布式服务器的软件或软件模块，也可以实现成单个软件或软件模块，在此不做具体限定。
如图1所示，本实施例的定位导航方法具体包括以下步骤：
S101：从监控设备获取监控视频，并从监控视频中提取第一地图信息。
其中，定位导航方法可以与外部监控设备建立通信连接，而外部监控设备具体可以为一种双目监控摄像机，双目监控摄像机用于通过双目立体成像进行环境的初始三维环境的构建，以输出第一地图信息。双目监控摄像机将监控视频和第一地图信息发送给定位导航装置。或者，定位导航装置自身设置有双目监控摄像机，定位导航装置内部的处理器能够用于实现本申请提供的定位导航方法。
定位导航装置从监控设备获取监控视频，并从监控视频中提取第一地图信息。第一地图信息即根据机器人所在室内环境构建的初始三维地图，其中，初始三维地图以监控设备为坐标原点。
进一步地，室内环境中可能存在多个机器人，因此，定位导航装置还可以通过监控视频对每一机器人进行唯一编号。
S102：基于预设的三维模型和第一地图信息确定机器人的初始位姿。
其中，定位导航装置获取机器人的三维模型，以及机器人在初始三维地图的初始位姿。初始位姿包括初始位置和初始姿态，初始姿态是通过监控设备拍摄的监控视频得到的粗略位姿。定位导航装置通过初始位置可以确定机器人在真实环境，即初始三维地图中的具体位置，还通过机器人的三维模型和初始姿态确定机器人在真实环境中的姿态和朝向。其中，机器人的准确朝向影响定位导航装置对机器人规划的运动路径。
S103：通过传感器获取机器人的起始位姿以及第二地图信息。
其中，定位导航装置利用机器人自身的传感器，通过SLAM技术获得机器人的起始位姿以及第二地图信息。第二地图信息即机器人通过传感器获取的数据构建的起始三维地图，其中，起始三维地图以机器人为坐标原点。
S104：基于初始位姿和起始位姿确定机器人的导航位姿，以及以第一地图信息为基准对第二地图信息进行坐标转换，以得到导航地图信息。
首先，定位导航装置以监控设备建立的初始三维地图为基准对机器人建立的起始三维地图进行轮廓对齐，将起始三维地图的坐标原点对齐监控设备的位置，统一初始三维地图和起始三维地图的坐标系，从而得到准确的真实三维地图，即导航地图信息。
然后，定位导航装置将机器人的起始位姿和步骤102的初始位姿进行对比，从而匹配最相近的初始位姿，得到监控视频中机器人对应的唯一编号。进一步地，定位导航装置还可以基于初始位姿和起始位姿的差距对机器人进行微调，从而得到机器人的导航位姿。
进一步地，定位导航装置还可以从监控视频获取机器人的运动路径，并通过导航地图信息将运动路径映射到三维环境，得到三维环境中的导航路径。其中，监控视频中的运动路径可以由工作人员在监控视频内直接指定，即输入轨迹线或轨迹点；还可以由定位导航装置根据监控视频的第一地图信息自动生成二维的运动路径。最后，定位导航装置通过监控视频到三维环境的映射关系，获得三维环境中的运动路径。
具体地，定位导航装置根据监控视频中机器人的数量以及位姿计算每一机器人的运动路径，每一机器人的运动路径与该机器人的唯一编号相对应。然后，定位导航装置通过导航地图信息将每一机器人的运动路径映射到准确的真实三维地图中，以得到机器人在三维环境中的导航路径，该导航路径考虑了监控视频中机器人的全局定位信息以及机器人传感器采集的障碍物信息，能够在室内场景下很好地指导机器人避障和自主定位导航。
进一步地，定位导航装置还可以根据用户的外部输入指令直接指定机器人的运动路径，可以更加方便直观地进行临时任务规划。
在本实施例中，定位导航装置从监控设备获取监控视频，并从监控视频中提取第一地图信息；基于预设的三维模型和第一地图信息确定机器人的初始位姿；通过传感器获取机器人的起始位姿以及第二地图信息；基于初始位姿和起始位姿确定机器人的导航位姿，以及以第一地图信息为基准对第二地图信息进行坐标转换，以得到导航地图信息；从监控视频获取机器人的运动路径。通过上述方式，本申请的定位导航方法能够基于监控设备实现室内场景下的机器人自主定位导航。
为了实现室内场景下的机器人自主定位导航，在图1定位导航方法实施例的基础上，本申请提出了另一种定位导航方法，具体请参阅图2，图2是本申请提供的定位导航方法第二实施例的流程示意图。
如图2所示，本实施例的定位导航方法具体包括以下步骤：
S201：采用目标跟踪技术获取机器人在监控视频中的第一位姿。
其中，定位导航装置通过对监控画面中的机器人使用目标跟踪技术，实时获得机器人在监控画面中的位置和姿态，再通过监控画面到三维环境中的映射获得机器人在监控视频中当前的粗略位姿，即第一位姿。
S202：通过传感器获取机器人的第二位姿以及第三地图信息。
其中，定位导航装置利用机器人自身的传感器，通过SLAM技术获得机器人的第二位姿以及第三地图信息。第三地图信息即机器人通过传感器获取的数据构建的当前三维地图，其中，当前三维地图以机器人为坐标原点。
S203：基于第一位姿和第二位姿确定机器人的当前位姿。
其中，定位导航装置基于上述步骤的第一位姿和第二位姿确定机器人在真实环境中的当前位姿。
S204：基于导航路径以及当前位姿调整机器人的位姿。
其中，在真实导航过程中，容易出现环境因素或机器自身的因素导致机器人无法完全按照导航路径进行移动，因此，定位导航装置需要根据机器人在真实环境中的当前位姿以及导航路径调整机器人的位姿，使得机器人重新回到导航路径中。
进一步地，定位导航装置还可以获取预设的轨迹终点位置，并判断调整后的机器人的位姿是否与轨迹终点位置相匹配。若匹配，则说明机器人已到达终点，结束定位导航。若不匹配，则进入步骤205，继续按照导航路径移动，或重新校对机器人的运动路径。
S205：以第一地图信息为基准对第三地图信息进行坐标转换，以得到当前地图信息。
其中，定位导航装置以监控设备建立的初始三维地图为基准对机器人建立的当前三维地图进行轮廓对齐，将起始三维地图的坐标原点对齐监控设备的位置，统一初始三维地图和当前三维地图的坐标系，从而得到实时准确的真实三维地图，即当前地图信息。
S206：若当前地图信息与导航地图信息不同，则基于当前地图信息获取机器人在三维环境中的当前轨迹。
其中，定位导航装置比对当前地图信息和导航地图信息，若当前地图信息和导航地图信息相同，说明室内环境没有发生改变，机器人继续按照导航路径移动。若当前地图信息和导航地图信息不同，说明室内环境发生改变，定位导航装置需要重新规划机器人的运动路径。此时，定位导航装置可以基于当前地图信息重新规划机器人在三维环境中的当前轨迹，以使机器人按照当前轨迹继续移动。
S207：基于机器人在三维环境中的当前轨迹以及第二位姿调整机器人的位姿。
其中，由于机器人在三维环境中的运动路径从导航路径切换到当前轨迹，机器人需要根据当前轨迹调整位姿，以适合当前轨迹的运动方向。
为了实现室内场景下的机器人自主定位导航，在图1定位导航方法实施例步骤104的基础上，本申请提出了又一种定位导航方法，具体请参阅图3，图3是本申请提供的定位导航方法第三实施例的流程示意图。
如图3所示，本实施例的定位导航方法具体包括以下步骤：
S301：获取监控视频中其它机器人的运动路径。
其中，定位导航装置获取监控视频中其它机器人的运动路径。
S302：基于监控视频以及其它机器人的运动路径获取机器人的运动路径。
其中，定位导航装置基于真实三维地图以及其它机器人的运动路径，以生成该机器人的运动路径，避免机器人之间的运动路径之间有重叠的区域或者在移动过程中发生碰撞的问题。
S303：通过导航地图信息将运动路径映射到三维环境，得到三维环境中的导航路径。
为了实现室内场景下的机器人自主定位导航，上述定位导航方法实施例的基础上，本申请提出了另一种定位导航方法，具体请参阅图4，图4是本申请提供的定位导航方法第四实施例的流程示意图。
如图4所示，本实施例的定位导航方法具体包括以下步骤：
S401：从监控设备获取监控视频，并从监控视频中提取第一地图信息。
其中，定位导航装置通过双目摄像机的双目立体成像功能进行环境的初始三维环境的构建，以输出第一地图信息。第一地图信息即根据机器人所在室内环境构建的初始三维地图，其中，初始三维地图以监控设备，即双目摄像机为坐标原点。
进一步地，室内环境中可能存在多个机器人，因此，定位导航装置还可以通过监控视频对每一机器人进行唯一编号。
S402：基于预设的三维模型和第一地图信息确定机器人的初始位姿。
其中，其中，定位导航装置获取机器人的三维模型，以及机器人在初始三维地图的初始位姿。初始位姿包括初始位置和初始姿态，初始姿态是通过监控设备拍摄的监控视频得到的粗略位姿。定位导航装置通过初始位置可以确定机器人在真实环境，即初始三维地图中的具体位置，还通过机器人的三维模型和初始姿态确定机器人在真实环境中的姿态和朝向。其中，机器人的准确朝向影响定位导航装置对机器人规划的运动路径。
S403：通过传感器获取机器人的导航位姿和导航地图信息，并获得机器人的设备编号。
其中，定位导航装置利用机器人自身的传感器，通过SLAM技术获得机器人的起始位姿以及第二地图信息。第二地图信息即机器人通过传感器获取的数据构建的起始三维地图，其中，起始三维地图以机器人为坐标原点。
进一步地，首先，定位导航装置以监控设备建立的初始三维地图为基准对机器人建立的起始三维地图进行轮廓对齐，将起始三维地图的坐标原点对齐监控设备的位置，统一初始三维地图和起始三维地图的坐标系，从而得到准确的真实三维地图，即导航地图信息。
然后，定位导航装置将机器人的起始位姿和初始位姿进行对比，从而匹配最相近的初始位姿，得到监控视频中机器人对应的唯一编号。进一步地，定位导航装置还可以基于初始位姿和起始位姿的差距对机器人进行微调，从而得到机器人的导航位姿。
进一步地，定位导航装置根据用户的输入指令获取目标机器人的设备编号以及对应的导航位姿。
S404：获取监控视频中机器人的运动路径。
其中，定位导航装置可以从监控视频获取机器人的运动路径，并通过导航地图信息将运动路径映射到三维环境，得到三维环境中的导航路径。其中，监控视频中的运动路径可以由工作人员在监控视频内直接指定，即输入轨迹线或轨迹点；还可以由定位导航装置根据监控视频的第一地图信息自动生成二维的运动路径。
S405：采用目标跟踪技术获取机器人在监控视频中的第一位姿。
其中，定位导航装置通过对监控画面中的机器人使用目标跟踪技术，实时获得机器人在监控画面中的位置和姿态，再通过监控画面到三维环境中的映射获得机器人在监控视频中当前的粗略位姿，即第一位姿。
S406：判断监控环境是否发生变化。
其中，定位导航装置通过监控画面和监控视频的变化，判断监控环境是否发生变化。若发生变化，定位导航装置需要重新按照监控视频规划当前位置到终点的运动路径；若没有发生变化，则进入步骤407。
S407：通过传感器获取机器人的第二位姿以及第三地图信息，并基于第一位姿和第二位姿确定机器人的当前位姿。
其中，定位导航装置利用机器人自身的传感器，通过SLAM技术获得机器人的第二位姿以及第三地图信息。第三地图信息即机器人通过传感器获取的数据构建的当前三维地图，其中，当前三维地图以机器人为坐标原点。
进一步地，定位导航装置基于第一位姿和第二位姿确定机器人在真实环境中的当前位姿。
S408：在当前位姿与终点相匹配时，结束机器人的运动。
其中，定位导航装置获取当前位姿的坐标信息，并将当前位姿的坐标信息与预先设定的终点坐标信息进行匹配，若匹配成功，则说明机器人已经到达运动路径的终点，机器人的定位导航任务结束。若匹配不成功，定位导航装置还需要继续执行如S405～S407所示的步骤，以对机器人继续进行定位导航。
为实现上述实施例的定位导航方法，本申请还提出了一种定位导航装置，具体请参阅图5，图5是本申请提供的定位导航装置一实施例的结构示意图。
本实施例的定位导航装置400包括处理器41、存储器42、输入输出设备43以及总线44。
该处理器41、存储器42、输入输出设备43分别与总线44相连，该存储器42中存储有程序数据，处理器41用于执行程序数据以实现上述实施例所述的定位导航方法。
在本实施例中，处理器41还可以称为CPU(Central Processing Unit，中央处理单元)。处理器41可能是一种集成电路芯片，具有信号的处理能力。处理器41还可以是通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器41也可以是任何常规的处理器等。
本申请还提供一种计算机存储介质，如图6所示，计算机存储介质500用于存储程序数据51，程序数据51在被处理器执行时，用以实现如上述实施例所述的定位导航方法。
本申请上述实施例所述的定位导航方法，在实现时以软件功能单元的形式存在并作为独立的产品销售或使用时，可以存储在装置中，例如一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (10)

1.一种定位导航方法，其特征在于，所述定位导航方法包括：
从监控设备获取监控视频，并从所述监控视频中提取第一地图信息；
基于预设的三维模型和所述第一地图信息确定机器人的初始位姿；
通过传感器获取所述机器人的起始位姿以及第二地图信息；
基于所述初始位姿和所述起始位姿确定所述机器人的导航位姿，以及以所述第一地图信息为基准对所述第二地图信息进行坐标转换，以得到导航地图信息。
2.根据权利要求1所述的定位导航方法，其特征在于，所述定位导航方法还包括：
采用目标跟踪技术获取所述机器人在所述监控视频中的第一位姿；
通过所述传感器获取所述机器人的第二位姿以及第三地图信息；
基于所述第一位姿和所述第二位姿确定所述机器人的当前位姿；
基于所述导航路径以及所述当前位姿调整所述机器人的位姿。
3.根据权利要求2所述的定位导航方法，其特征在于，
所述通过所述传感器获取所述机器人的第二位姿以及第三地图信息的步骤之后，所述定位导航方法还包括：
以所述第一地图信息为基准对所述第三地图信息进行坐标转换，以得到当前地图信息；
判断所述当前地图信息与所述导航地图信息是否相同；
若否，则基于所述当前地图信息获取所述机器人在三维环境中的当前轨迹。
4.根据权利要求3所述的定位导航方法，其特征在于，
所述基于所述导航地图信息获取所述机器人在三维环境中的当前轨迹的步骤之后，所述定位导航方法还包括：
基于所述机器人在三维环境中的当前轨迹以及所述第二位姿调整所述机器人的位姿。
5.根据权利要求2所述的定位导航方法，其特征在于，
所述采用目标跟踪技术获取所述机器人在所述监控视频中的第一位姿的步骤之后，所述定位导航方法还包括：
获取预设的轨迹终点位置；
判断所述第一位姿是否与所述轨迹终点位置匹配；
若是，则结束所述机器人的导航。
6.根据权利要求1所述的定位导航方法，其特征在于，
所述以所述第一地图信息为基准对所述第二地图信息进行坐标转换，以得到导航地图信息的步骤之后，所述定位导航方法还包括：
从所述监控视频获取所述机器人的运动路径，并通过所述导航地图信息将所述运动路径映射到三维环境，得到三维环境中的导航路径。
7.根据权利要求1所述的定位导航方法，其特征在于，
所述从所述监控视频获取所述机器人的运动路径，并通过所述导航地图信息将所述运动路径映射到三维环境，得到三维环境中的导航路径的步骤，包括：
获取所述监控视频中其它机器人的运动路径；
基于所述监控视频以及所述其它机器人的运动路径获取所述机器人的运动路径；
通过所述导航地图信息将所述运动路径映射到三维环境，得到三维环境中的导航路径。
8.根据权利要求1所述的定位导航方法，其特征在于，
所述通过传感器获取所述机器人的起始位姿以及第二地图信息的步骤，包括：
通过所述机器人自身的传感器通过SLAM技术获取所述机器人的起始位姿以及第二地图信息；
所述监控设备为双目监控摄像机，所述双目监控摄像机用于通过双目立体成像进行环境的初始三维环境的构建，以输出所述第一地图信息。
9.一种定位导航装置，其特征在于，所述定位导航装置包括存储器和处理器，其中，所述存储器与所述处理器耦接；
其中，所述存储器用于存储程序数据，所述处理器用于执行所述程序数据以实现如权利要求1～8中任一项所述的定位导航方法。
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被处理器执行时，用以实现如权利要求1～8中任一项所述的定位导航方法。
CN202010526047.7A 2020-06-11 2020-06-11 一种定位导航方法、装置以及计算机存储介质 Active CN111805535B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010526047.7A CN111805535B (zh) 2020-06-11 2020-06-11 一种定位导航方法、装置以及计算机存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010526047.7A CN111805535B (zh) 2020-06-11 2020-06-11 一种定位导航方法、装置以及计算机存储介质

Publications (2)

Publication Number Publication Date
CN111805535A true CN111805535A (zh) 2020-10-23
CN111805535B CN111805535B (zh) 2022-06-07

Family

ID=72845741

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010526047.7A Active CN111805535B (zh) 2020-06-11 2020-06-11 一种定位导航方法、装置以及计算机存储介质

Country Status (1)

Country Link
CN (1) CN111805535B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506187A (zh) * 2020-11-12 2021-03-16 深圳优地科技有限公司 移动机器人监控方法、装置及存储介质
CN113124872A (zh) * 2021-03-30 2021-07-16 深圳市优必选科技股份有限公司 一种机器人定位导航方法、装置、终端设备及机器人
CN113847894A (zh) * 2021-09-23 2021-12-28 深圳市人工智能与机器人研究院 一种机器人多定位系统坐标统一方法及系统
CN114091771A (zh) * 2021-11-26 2022-02-25 中科麦迪人工智能研究院(苏州)有限公司 一种确定目标路径的方法、装置、电子设备及存储介质
CN115890672A (zh) * 2022-11-22 2023-04-04 哈尔滨工业大学 基于加工工艺自动夹持移动微零件的装置以及执行方法
CN117191021A (zh) * 2023-08-21 2023-12-08 深圳市晅夏机器人有限公司 室内视觉循线导航方法、装置、设备及存储介质
CN117519212A (zh) * 2024-01-03 2024-02-06 杭州华橙软件技术有限公司 路径跟踪控制方法、装置、终端及计算机可读存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089295A1 (en) * 2010-10-07 2012-04-12 Samsung Electronics Co., Ltd. Moving robot and method to build map for the same
CN105928505A (zh) * 2016-04-19 2016-09-07 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN105953798A (zh) * 2016-04-19 2016-09-21 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN106679648A (zh) * 2016-12-08 2017-05-17 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN106931945A (zh) * 2017-03-10 2017-07-07 上海木爷机器人技术有限公司 机器人导航方法和系统
CN108646761A (zh) * 2018-07-12 2018-10-12 郑州大学 基于ros的机器人室内环境探索、避障和目标跟踪方法
CN109084732A (zh) * 2018-06-29 2018-12-25 北京旷视科技有限公司 定位与导航方法、装置及处理设备
CN109857123A (zh) * 2019-03-21 2019-06-07 郑州大学 一种基于视觉感知和激光探测的室内slam地图的融合方法
CN110262495A (zh) * 2019-06-26 2019-09-20 山东大学 可实现移动机器人自主导航与精确定位的控制系统及方法
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法
CN110706279A (zh) * 2019-09-27 2020-01-17 清华大学 基于全局地图与多传感器信息融合的全程位姿估计方法
CN111123925A (zh) * 2019-12-19 2020-05-08 天津联汇智造科技有限公司 一种移动机器人导航系统以及方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120089295A1 (en) * 2010-10-07 2012-04-12 Samsung Electronics Co., Ltd. Moving robot and method to build map for the same
CN105928505A (zh) * 2016-04-19 2016-09-07 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN105953798A (zh) * 2016-04-19 2016-09-21 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN106679648A (zh) * 2016-12-08 2017-05-17 东南大学 一种基于遗传算法的视觉惯性组合的slam方法
CN106931945A (zh) * 2017-03-10 2017-07-07 上海木爷机器人技术有限公司 机器人导航方法和系统
CN109084732A (zh) * 2018-06-29 2018-12-25 北京旷视科技有限公司 定位与导航方法、装置及处理设备
CN108646761A (zh) * 2018-07-12 2018-10-12 郑州大学 基于ros的机器人室内环境探索、避障和目标跟踪方法
CN109857123A (zh) * 2019-03-21 2019-06-07 郑州大学 一种基于视觉感知和激光探测的室内slam地图的融合方法
CN110345944A (zh) * 2019-05-27 2019-10-18 浙江工业大学 融合视觉特征和imu信息的机器人定位方法
CN110262495A (zh) * 2019-06-26 2019-09-20 山东大学 可实现移动机器人自主导航与精确定位的控制系统及方法
CN110706279A (zh) * 2019-09-27 2020-01-17 清华大学 基于全局地图与多传感器信息融合的全程位姿估计方法
CN111123925A (zh) * 2019-12-19 2020-05-08 天津联汇智造科技有限公司 一种移动机器人导航系统以及方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112506187A (zh) * 2020-11-12 2021-03-16 深圳优地科技有限公司 移动机器人监控方法、装置及存储介质
CN113124872A (zh) * 2021-03-30 2021-07-16 深圳市优必选科技股份有限公司 一种机器人定位导航方法、装置、终端设备及机器人
CN113847894A (zh) * 2021-09-23 2021-12-28 深圳市人工智能与机器人研究院 一种机器人多定位系统坐标统一方法及系统
CN113847894B (zh) * 2021-09-23 2024-03-29 深圳市人工智能与机器人研究院 一种机器人多定位系统坐标统一方法及系统
CN114091771A (zh) * 2021-11-26 2022-02-25 中科麦迪人工智能研究院(苏州)有限公司 一种确定目标路径的方法、装置、电子设备及存储介质
CN115890672A (zh) * 2022-11-22 2023-04-04 哈尔滨工业大学 基于加工工艺自动夹持移动微零件的装置以及执行方法
CN117191021A (zh) * 2023-08-21 2023-12-08 深圳市晅夏机器人有限公司 室内视觉循线导航方法、装置、设备及存储介质
CN117191021B (zh) * 2023-08-21 2024-06-04 深圳市晅夏机器人有限公司 室内视觉循线导航方法、装置、设备及存储介质
CN117519212A (zh) * 2024-01-03 2024-02-06 杭州华橙软件技术有限公司 路径跟踪控制方法、装置、终端及计算机可读存储介质
CN117519212B (zh) * 2024-01-03 2024-04-12 杭州华橙软件技术有限公司 路径跟踪控制方法、装置、终端及计算机可读存储介质

Also Published As

Publication number Publication date
CN111805535B (zh) 2022-06-07

Similar Documents

Publication Publication Date Title
CN111805535B (zh) 一种定位导航方法、装置以及计算机存储介质
CN111442722B (zh) 定位方法、装置、存储介质及电子设备
CN110243360B (zh) 机器人在运动区域的地图构建及定位方法
US10953545B2 (en) System and method for autonomous navigation using visual sparse map
Davison et al. Real-time 3D SLAM with wide-angle vision
Castellanos et al. Multisensor fusion for simultaneous localization and map building
CN113284240A (zh) 地图构建方法及装置、电子设备和存储介质
Costante et al. Exploiting photometric information for planning under uncertainty
CN107843252B (zh) 导航路径优化方法、装置及电子设备
JP2024509690A (ja) 三次元地図を構築する方法および装置
CN112540609A (zh) 路径规划方法、装置、终端设备及存储介质
CN111380515A (zh) 定位方法及装置、存储介质、电子装置
CN112008718A (zh) 一种机器人控制方法、系统、存储介质及智能机器人
CN112991440A (zh) 车辆的定位方法和装置、存储介质和电子装置
CN114199268A (zh) 基于语音提示的机器人导航领路方法、装置和引领机器人
Qayyum et al. Imu aided rgb-d slam
Han et al. Optimization‐based humanoid robot navigation using monocular camera within indoor environment
JP2023503750A (ja) ロボットの位置決め方法及び装置、機器、記憶媒体
CN110631586A (zh) 基于视觉slam的地图构建的方法、导航系统及装置
WO2023088127A1 (zh) 室内导航方法、服务器、装置和终端
CN109389677B (zh) 房屋三维实景地图的实时构建方法、系统、装置及存储介质
WO2022227632A1 (zh) 基于图像的轨迹规划方法和运动控制方法以及使用该些方法的移动机器
CN114995459A (zh) 机器人的控制方法、装置、设备及存储介质
CN114571460A (zh) 机器人控制方法、装置及存储介质
Zhang et al. A visual slam system with laser assisted optimization

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant