CN106708048A - 机器人的天花板图像定位方法和系统 - Google Patents

机器人的天花板图像定位方法和系统 Download PDF

Info

Publication number
CN106708048A
CN106708048A CN201611204097.3A CN201611204097A CN106708048A CN 106708048 A CN106708048 A CN 106708048A CN 201611204097 A CN201611204097 A CN 201611204097A CN 106708048 A CN106708048 A CN 106708048A
Authority
CN
China
Prior art keywords
key frame
robot
pose
frame
relative motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201611204097.3A
Other languages
English (en)
Other versions
CN106708048B (zh
Inventor
张涛
王铎
杨新
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan Huineng Robot Technology Co Ltd
Tsinghua University
Original Assignee
Wuhan Huineng Robot Technology Co Ltd
Tsinghua University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan Huineng Robot Technology Co Ltd, Tsinghua University filed Critical Wuhan Huineng Robot Technology Co Ltd
Priority to CN201611204097.3A priority Critical patent/CN106708048B/zh
Publication of CN106708048A publication Critical patent/CN106708048A/zh
Application granted granted Critical
Publication of CN106708048B publication Critical patent/CN106708048B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/04—Interpretation of pictures
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0255—Control of position or course in two dimensions specially adapted to land vehicles using acoustic signals, e.g. ultra-sonic singals
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明提供机器人的天花板图像定位方法和系统，涉及机器人技术领域，通过采集天花板图像，将第一关键帧通过光流法和特征匹配法得到所述第一关键帧和当前帧之间的机器人的相对运动，对相对运动进行优化得到优化的相对运动，其中，优化的相对运动包括旋转矩阵和平移向量，根据相对运动的计算结果选择第二关键帧，根据旋转矩阵和平移向量得到第二关键帧对应的机器人的全局位姿，根据全局位姿构造局部姿态图，并对局部姿态图进行优化得到机器人的移动路径上的关键帧以及移动路径上的关键帧对应的全局位姿，从而可以实时显示机器人在运动过程中的轨迹，机器人根据移动路径上的关键帧以及移动路径上的关键帧对应的全局位姿进行移动。

Description

机器人的天花板图像定位方法和系统
技术领域
本发明涉及机器人技术领域，尤其是涉及机器人的天花板图像定位方法和系统。
背景技术
目前，对室内移动机器人的定位方法，通常采用惯性定位法、导航信标法、轨迹跟踪法和图像定位法等。
惯性定位法通常需要利用惯性测量元件的数据进行积分运算解算自身位置信息，这样计算成本较高，存在累计误差，同时惯性元件自身的漂移现象也会对定位精度造成影响。
导航信标法在测量与信标的距离时容易受到干扰，且激光装置成本较高。
轨迹跟踪法只能确定机器人在指定路径上的位置，定位不够灵活，安装磁钉等定位装置需要改造场地。
图像定位法通过相机进行定位，在对定位精度有较高要求的情况下，需要大量特征点进行定位，计算这些特征点的三维坐标会使得系统无法实时运行。另外，会引入额外的传感器，增大机器人的硬件成本。
图像定位法在解决图像特征跟踪的情况下，只有在图像相对运动较小时效果较好，这样就要求机器人移动速度不能过快，或者相机的采集速率要足够高。另外，还可以按照一定的规则提取图像特征，但是，提取图像特征需要较大的计算量。
发明内容
有鉴于此，本发明的目的在于提供机器人的天花板图像定位方法和系统，可以实时显示机器人在运动过程中的轨迹。
第一方面，本发明实施例提供了机器人的天花板图像定位方法，所述方法包括：
采集天花板图像，将第一关键帧通过光流法和特征匹配法得到所述第一关键帧和当前帧之间的机器人的相对运动；
对所述相对运动进行优化得到优化的相对运动，其中，所述优化的相对运动包括旋转矩阵和平移向量；
根据所述相对运动的计算结果选择第二关键帧；
根据所述旋转矩阵和所述平移向量得到所述第二关键帧对应的机器人的全局位姿；
根据所述全局位姿构造局部姿态图，并对所述局部姿态图进行优化得到所述机器人的移动路径上的关键帧以及所述移动路径上的关键帧对应的全局位姿；
所述机器人根据所述移动路径上的关键帧以及所述移动路径上的关键帧对应的全局位姿进行移动。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，所述根据所述相对运动的计算结果选择第二关键帧包括：
如果相对运动量超过预设的相对运动量，则作为所述第二关键帧。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，所述将所述第一关键帧通过光流法和特征匹配法得到所述第一关键帧和当前帧之间的机器人的相对运动包括：
从所述第一关键帧中提取FAST特征点，通过所述光流法将所述FAST特征点跟踪到所述当前帧得到第一特征点对；
根据所述第一特征点对、相机内参数和所述相机到天花板的距离构造PnP；
通过随机采样一致性方法获取所述第一关键帧和当前帧之间的机器人的相对运动、内点和外点。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第三种可能的实施方式，其中，所述通过随机采样一致性方法获取所述第一关键帧和当前帧之间的机器人的相对运动、内点和外点包括：
随机采样部分样本解算相对位姿，将除所述部分样本外的样本作为剩余样本；
判断所述剩余样本中的点是否符合所述相对位姿；
如果符合，则将符合所述相对位姿的点作为所述内点；
如果不符合，则将不符合所述相对位姿的点作为所述外点。
结合第一方面的第二种可能的实施方式，本发明实施例提供了第一方面的第四种可能的实施方式，其中，所述将所述第一关键帧通过光流法和特征匹配法得到所述第一关键帧和当前帧之间的机器人的相对运动还包括：
如果连续三帧的所述内点数低于预设的点数阈值，则切换成所述特征匹配法；
从所述第一关键帧和所述当前帧中分别提取特征匹配ORB特征；
根据所述ORB特征计算描述子，并利用所述描述子进行特征匹配得到第二特征点对；
根据所述第二特征点对构造PnP；
通过所述随机采样一致性方法获取所述第一关键帧和当前帧之间的机器人的相对运动。
结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，所述对所述相对运动进行优化得到优化的相对运动包括：
将所述相对运动作为初值，以内点为约束条件，并通过通用图优化库进行优化得到所述优化的相对运动。
结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，所述根据所述全局位姿构造局部姿态图，并对所述局部姿态图进行优化得到所述机器人的移动路径上的关键帧以及所述移动路径上的关键帧对应的全局位姿包括：
将当前关键帧和在所述当前关键帧之前的多个关键帧进行提取，并从中选取两个关键帧；
将选取的所述两个关键帧通过光流法、特征匹配法以及优化得到所述两个关键帧的相对运动；
以所述两个关键帧的相对运动为约束条件，并以所述关键帧对应的全局位姿为顶点，构造局部姿态图；
将所述局部姿态图通过通用图优化库进行优化得到所述机器人的移动路径上的关键帧以及所述移动路径上的关键帧对应的全局位姿。
结合第一方面，本发明实施例提供了第一方面的第七种可能的实施方式，其中，所述机器人根据所述移动路径上的关键帧以及所述移动路径上的关键帧对应的全局位姿进行移动包括：
拍摄第一图像，将所述第一图像与第一个关键帧进行匹配，得到第一位姿偏差；
所述机器人根据所述第一位姿偏差调整自身位姿，并开始移动；
如果运动到第二个关键帧，则拍摄第二天花板图像，将所述第二天花板图像与所述第二个关键帧进行匹配，得到第二位姿偏差；
根据所述第二个关键帧和第三个关键帧对应的全局位姿计算所述第二关键帧和所述第三关键帧之间的第三位姿偏差；
根据所述第二位姿偏差和所述第三位姿偏差得到所述机器人的运动控制量，以使所述机器人根据所述运动控制量向所述第三个关键帧的位置移动。
第二方面，本发明实施例还提供机器人的天花板图像定位系统，所述系统包括相机、终端、超声避障模块和电机驱动模块；
所述相机，与所述终端相连接，用于采集天花板图像，并将所述天花板图像发送给所述终端；
超声避障模块，通过串口通信模块与所述终端相连接，用于发射超声波，并通过所述超声波检测是否存在障碍物，如果存在所述障碍物，则向所述终端发送反馈信息；
所述终端，与所述串口通信模块相连接，用于接收所述相机发送的所述天花板图像，将所述天花板图像通过图像匹配定位方法得到位姿偏差信号，并将所述位姿偏差信号发送给所述电机驱动模块；
所述电机驱动模块，与所述串口通信模块相连接，用于接收所述终端发送的所述位姿偏差信号，将所述位姿偏差信号转换成转速信号，并通过所述转速信号驱动直流电机的转动。
结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，所述终端还用于接收所述超声避障模块发送的所述反馈信息，并将所述反馈信息通过所述串口通信模块发送给所述电机驱动模块。
本发明提供机器人的天花板图像定位方法和系统，通过采集天花板图像，将第一关键帧通过光流法和特征匹配法得到第一关键帧和当前帧之间的机器人的相对运动，对相对运动进行优化得到优化的相对运动，其中，优化的相对运动包括旋转矩阵和平移向量，根据相对运动的计算结果选择第二关键帧，根据旋转矩阵和平移向量得到关键帧对应的机器人的全局位姿，根据全局位姿构造局部姿态图，并对局部姿态图进行优化得到机器人的移动路径上的关键帧以及移动路径上的关键帧对应的全局位姿，从而可以实时显示机器人在运动过程中的轨迹，机器人根据移动路径上的关键帧以及移动路径上的关键帧对应的全局位姿进行移动。
本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例一提供的机器人的天花板图像定位方法流程图；
图2为本发明实施例一提供的机器人的天花板图像定位方法中步骤S101的流程图；
图3为本发明实施例一提供的另一种机器人的天花板图像定位方法中步骤S101的流程图；
图4为本发明实施例一提供的机器人的天花板图像定位方法中步骤S105的流程图；
图5为本发明实施例一提供的机器人的天花板图像定位方法中步骤S106的流程图；
图6为本发明实施例二提供的机器人的天花板图像定位系统示意图。
图标：
相机-10； 终端-20； 串口通信模块-30；
电机驱动模块-40； 超声避障模块-50； 直流电机-60；
传动装置-70。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例一：
图1为本发明实施例提供的机器人的天花板图像定位方法流程图。
参照图1，该方法包括以下步骤：
步骤S101，采集天花板图像，将第一关键帧通过光流法和特征匹配法得到所述第一关键帧和当前帧之间的机器人的相对运动；
这里，第一关键帧为最近关键帧。
步骤S102，对相对运动进行优化得到优化的相对运动，其中，优化的相对运动包括旋转矩阵和平移向量；
步骤S103，根据相对运动的计算结果选择第二关键帧；
步骤S104，根据旋转矩阵和平移向量得到第二关键帧对应的机器人的全局位姿；
步骤S105，根据全局位姿构造局部姿态图，并对局部姿态图进行优化得到机器人的移动路径上的关键帧以及移动路径上的关键帧对应的全局位姿；
步骤S106，机器人根据移动路径上的关键帧以及移动路径上的关键帧对应的全局位姿进行移动。
进一步的，步骤S103可采用如下步骤实现，包括：
步骤S201，如果相对运动量超过预设的相对运动量，则作为所述第二关键帧。
这里，由于采用的相机帧率较高，机器人在相邻两帧之间的运动较小，如果将拍摄到的所有照片都进行保存会增大存储负担，也会增大后面自主定位的计算量，因此这里选择相对运动较大的图像，即第二关键帧，并将第二关键帧进行保存。第二关键帧为选择的新的关键帧。
进一步的，如图2所示，上述实施例机器人的天花板图像定位方法中，步骤S101可采用如下步骤实现，包括：
步骤S301，从第一关键帧中提取FAST特征点，通过光流法将FAST特征点跟踪到当前帧得到第一特征点对；
步骤S302，根据第一特征点对、相机内参数和相机到天花板的距离构造PnP；
这里，根据第一特征点对、相机内参数和相机到天花板的距离构造PnP问题，由于并不是所有的FAST特征点都会被正确跟踪，可能会存在错误匹配的点，从而对位姿解算造成较大影响，因此，求解PnP问题需要通过随机采样一致性(Ransac)方法。
具体地，PnP(Perspective-n-Point Problem)，它描述了当n个点的3D空间坐标以及它们在图像中的图像坐标时，如何估计相机的位姿。
步骤S303，通过随机采样一致性方法获取第一关键帧和当前帧之间的机器人的相对运动、内点和外点。
这里，内点即为正确匹配的点对，外点即为错误匹配的点对。
进一步的，通过随机采样一致性方法获取内点和外点，可通过以下步骤实现：
步骤S401，随机采样部分样本解算相对位姿，将除部分样本外的样本作为剩余样本；
步骤S402，判断剩余样本中的点是否符合相对位姿，如果符合，则执行步骤S403；如果不符合，则执行步骤S404；
步骤S403，将符合相对位姿的点作为内点；
步骤S404，将不符合相对位姿的点作为外点。
进一步的，如图3所示，上述实施例机器人的天花板图像定位方法中，步骤S101还可采用如下步骤实现，包括：
步骤S501，如果连续三帧的内点数低于预设的点数阈值，则切换成特征匹配法；
步骤S502，从第一关键帧和当前帧中分别提取特征匹配ORB特征；
步骤S503，根据ORB特征计算描述子，并利用描述子进行特征匹配得到第二特征点对；
步骤S504，根据第二特征点对构造PnP；
步骤S505，通过随机采样一致性方法获取第一关键帧和当前帧之间的机器人的相对运动。
这里，第二特征点对构造PnP问题，解决PnP问题可通过随机采样一致性方法，从而得到第一关键帧和当前帧之间的机器人的相对运动。
进一步的，步骤S102可采用如下步骤实现，包括：
步骤S601，将相对运动作为初值，以内点为约束条件，并通过通用图优化库进行优化得到优化的相对运动。
这里，通过Ransac方法求解PnP问题时，利用OpenCV(Open Source ComputerVision Library)中的solvePnPRansac函数，可以得到关键帧和当前帧之间的机器人的相对运动和内点。
可以将solvePnPRansac函数求解的相对运动作为初值，以内点作为约束条件，并通过通用图优化库(g2o)进行优化得到优化的相对运动。
其中，OpenCV是一个基于BSD许可发行的跨平台计算机视觉库，可以运行在Linux、Windows和Mac OS操作系统上。
具体地，优化的相对运动包括旋转矩阵和平移向量，根据旋转矩阵和平移向量得到关键帧对应的机器人的全局位姿。
计算关键帧对应的机器人的全局位姿，具体过程为：将关键帧之前的所有图像序列依次进行两两匹配得到多个匹配序列；通过光流法、特征匹配法和优化得到多个优化的相对运动，将各个优化的相对运动中包括的旋转矩阵和平移向量分别构成多个齐次变换矩阵，将多个齐次变换矩阵依次相乘即得到全局位姿。
进一步的，计算第二关键帧对应的机器人的全局位姿，会存在累积误差，因此，需要进一步修正，具体如图4所示，上述实施例机器人的天花板图像定位方法中，步骤S105还可采用如下步骤实现，包括：
步骤S701，将当前关键帧和在当前关键帧之前的多个关键帧进行提取，并从中选取两个关键帧；
这里，将当前关键帧和在当前关键帧之前的6个关键帧进行提取，其中，当前关键帧和在当前关键帧之前的6个关键帧构成7个关键帧，从7个关键帧中任意选取两个关键帧。
步骤S702，将选取的两个关键帧通过光流法、特征匹配法以及优化得到两个关键帧的相对运动；
步骤S703，以两个关键帧的相对运动为约束条件，并以关键帧对应的全局位姿为顶点，构造局部姿态图；
这里，局部姿态图只是对最近的一部分关键帧进行优化，并不是对所有的关键帧进行优化。
步骤S704，将局部姿态图通过通用图优化库进行优化得到机器人的移动路径上的关键帧以及移动路径上的关键帧对应的全局位姿。
进一步的，如图5所示，上述实施例机器人的天花板图像定位方法中，步骤S106还可采用如下步骤实现，包括：
步骤S801，拍摄第一图像，将第一图像与第一个关键帧进行匹配，得到第一位姿偏差ΔT1；
步骤S802，机器人根据第一位姿偏差ΔT1调整自身位姿，并开始移动；
这里，机器人调整自身位姿，是为了使自身位姿与之前出发时的位姿相同。
步骤S803，如果运动到第二个关键帧，则拍摄第二天花板图像，将第二天花板图像与第二个关键帧进行匹配，得到第二位姿偏差ΔTi；
这里，第二个关键帧相当于第i个关键帧。
步骤S804，根据第二个关键帧和第三个关键帧对应的全局位姿计算第二个关键帧和第三个关键帧之间的第三位姿偏差ΔTi,i+1；
这里，第三个关键帧相当于第i+1关键帧。
步骤S805，根据第二位姿偏差ΔTi和第三位姿偏差ΔTi,i+1得到机器人的运动控制量，以使机器人根据运动控制量向第三关键帧的位置移动。
这里，机器人的运动控制量为第二位姿偏差ΔTi和第三位姿偏差ΔTi,i+1的乘积。
实施例二：
图6为本发明实施例二提供的机器人的天花板图像定位系统示意图。
参照图6，该系统包括相机10、终端20、超声避障模块50和电机驱动模块40。
相机10，与终端20相连接，用于采集天花板图像，并将天花板图像发送给终端20；
超声避障模块50，通过串口通信模块30与终端20相连接，用于发射超声波，并通过超声波检测是否存在障碍物，如果存在障碍物，则向终端20发送反馈信息；
终端20，与串口通信模块30相连接，用于接收相机发送的天花板图像，将天花板图像通过图像匹配定位方法得到位姿偏差信号，并将位姿偏差信号发送给电机驱动模块40；
电机驱动模块40，与串口通信模块30相连接，用于接收终端20发送的位姿偏差信号，将位姿偏差信号转换成转速信号，并通过转速信号驱动直流电机60的转动。
进一步的，终端20还用于接收超声避障模块50发送的反馈信息，并将反馈信息通过串口通信模块30发送给电机驱动模块40。
进一步的，所述电机驱动模块40还用于控制所述直流电机停止运动。
进一步的，所述系统还包括传动装置70，与所述直流电机60相连接，用于驱动所述机器人移动。
进一步的，所述串口通信模块30还用于将通用串行总线USB信号和串口信号进行转换。
这里，串口通信模块30还用于将USB(Universal Serial Bus，通用串行总线)信号和串口信号进行转换。
进一步的，终端20还用于保存天花板图像。
进一步的，终端20为计算机。
进一步的，图像匹配定位方法包括光流法和特征匹配法，终端20还用于将天花板图像通过光流法和特征匹配法得到位姿偏差信号。
进一步的，相机10为工业相机。
本发明实施例所提供的方法、装置以及系统的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种机器人的天花板图像定位方法，其特征在于，所述方法包括：
采集天花板图像，将第一关键帧通过光流法和特征匹配法得到所述第一关键帧和当前帧之间的机器人的相对运动；
对所述相对运动进行优化得到优化的相对运动，其中，所述优化的相对运动包括旋转矩阵和平移向量；
根据所述相对运动的计算结果选择第二关键帧；
根据所述旋转矩阵和所述平移向量得到所述第二关键帧对应的机器人的全局位姿；
根据所述全局位姿构造局部姿态图，并对所述局部姿态图进行优化得到所述机器人的移动路径上的关键帧以及所述移动路径上的关键帧对应的全局位姿；
所述机器人根据所述移动路径上的关键帧以及所述移动路径上的关键帧对应的全局位姿进行移动。
2.根据权利要求1所述的机器人的天花板图像定位方法，其特征在于，所述根据所述相对运动的计算结果选择第二关键帧包括：
如果相对运动量超过预设的相对运动量，则作为所述第二关键帧。
3.根据权利要求1所述的机器人的天花板图像定位方法，其特征在于，所述将第一关键帧通过光流法和特征匹配法得到所述第一关键帧和当前帧之间的机器人的相对运动包括：
从所述第一关键帧中提取FAST特征点，通过所述光流法将所述FAST特征点跟踪到所述当前帧得到第一特征点对；
根据所述第一特征点对、相机内参数和所述相机到天花板的距离构造PnP；
通过随机采样一致性方法获取所述第一关键帧和当前帧之间的机器人的相对运动、内点和外点。
4.根据权利要求3所述的机器人的天花板图像定位方法，其特征在于，所述通过随机采样一致性方法获取所述第一关键帧和当前帧之间的机器人的相对运动、内点和外点包括：
随机采样部分样本解算相对位姿，将除所述部分样本外的样本作为剩余样本；
判断所述剩余样本中的点是否符合所述相对位姿；
如果符合，则将符合所述相对位姿的点作为所述内点；
如果不符合，则将不符合所述相对位姿的点作为所述外点。
5.根据权利要求3所述的机器人的天花板图像定位方法，其特征在于，所述将所述第一关键帧通过光流法和特征匹配法得到所述第一关键帧和当前帧之间的机器人的相对运动还包括：
如果连续三帧的所述内点数低于预设的点数阈值，则切换成所述特征匹配法；
从所述第一关键帧和所述当前帧中分别提取特征匹配ORB特征；
根据所述ORB特征计算描述子，并利用所述描述子进行特征匹配得到第二特征点对；
根据所述第二特征点对构造PnP；
通过所述随机采样一致性方法获取所述第一关键帧和当前帧之间的机器人的相对运动。
6.根据权利要求1所述的机器人的天花板图像定位方法，其特征在于，所述对所述相对运动进行优化得到优化的相对运动包括：
将所述相对运动作为初值，以内点为约束条件，并通过通用图优化库进行优化得到所述优化的相对运动。
7.根据权利要求1所述的机器人的天花板图像定位方法，其特征在于，所述根据所述全局位姿构造局部姿态图，并对所述局部姿态图进行优化得到所述机器人的移动路径上的关键帧以及所述移动路径上的关键帧对应的全局位姿包括：
将当前关键帧和在所述当前关键帧之前的多个关键帧进行提取，并从中选取两个关键帧；
将选取的所述两个关键帧通过光流法、特征匹配法以及优化得到所述两个关键帧的相对运动；
以所述两个关键帧的相对运动为约束条件，并以所述关键帧对应的全局位姿为顶点，构造局部姿态图；
将所述局部姿态图通过通用图优化库进行优化得到所述机器人的移动路径上的关键帧以及所述移动路径上的关键帧对应的全局位姿。
8.根据权利要求1所述的机器人的天花板图像定位方法，其特征在于，所述机器人根据所述移动路径上的关键帧以及所述移动路径上的关键帧对应的全局位姿进行移动包括：
拍摄第一图像，将所述第一图像与第一个关键帧进行匹配，得到第一位姿偏差；
所述机器人根据所述第一位姿偏差调整自身位姿，并开始移动；
如果运动到第二个关键帧，则拍摄第二天花板图像，将所述第二天花板图像与所述第二个关键帧进行匹配，得到第二位姿偏差；
根据所述第二个关键帧和第三个关键帧对应的全局位姿计算所述第二个关键帧和所述第三个关键帧之间的第三位姿偏差；
根据所述第二位姿偏差和所述第三位姿偏差得到所述机器人的运动控制量，以使所述机器人根据所述运动控制量向所述第三个关键帧的位置移动。
9.一种机器人的天花板图像定位系统，其特征在于，所述系统包括相机、终端、超声避障模块和电机驱动模块；
所述相机，与所述终端相连接，用于采集天花板图像，并将所述天花板图像发送给所述终端；
超声避障模块，通过串口通信模块与所述终端相连接，用于发射超声波，并通过所述超声波检测是否存在障碍物，如果存在所述障碍物，则向所述终端发送反馈信息；
所述终端，与所述串口通信模块相连接，用于接收所述相机发送的所述天花板图像，将所述天花板图像通过图像匹配定位方法得到位姿偏差信号，并将所述位姿偏差信号发送给所述电机驱动模块；
所述电机驱动模块，与所述串口通信模块相连接，用于接收所述终端发送的所述位姿偏差信号，将所述位姿偏差信号转换成转速信号，并通过所述转速信号驱动直流电机的转动。
10.根据权利要求9所述的机器人的天花板图像定位系统，其特征在于，所述终端还用于接收所述超声避障模块发送的所述反馈信息，并将所述反馈信息通过所述串口通信模块发送给所述电机驱动模块。
CN201611204097.3A 2016-12-22 2016-12-22 机器人的天花板图像定位方法和系统 Active CN106708048B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611204097.3A CN106708048B (zh) 2016-12-22 2016-12-22 机器人的天花板图像定位方法和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201611204097.3A CN106708048B (zh) 2016-12-22 2016-12-22 机器人的天花板图像定位方法和系统

Publications (2)

Publication Number Publication Date
CN106708048A true CN106708048A (zh) 2017-05-24
CN106708048B CN106708048B (zh) 2023-11-28

Family

ID=58895844

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201611204097.3A Active CN106708048B (zh) 2016-12-22 2016-12-22 机器人的天花板图像定位方法和系统

Country Status (1)

Country Link
CN (1) CN106708048B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273907A (zh) * 2017-06-30 2017-10-20 北京三快在线科技有限公司 室内定位方法、商品信息推荐方法及装置、电子设备
CN107314773A (zh) * 2017-08-18 2017-11-03 广东宝乐机器人股份有限公司 移动机器人的地图创建方法及基于该地图的路径规划方法
CN107356229A (zh) * 2017-07-07 2017-11-17 中国电子科技集团公司电子科学研究院 一种室内定位方法与装置
CN107689063A (zh) * 2017-07-27 2018-02-13 南京理工大学北方研究院 一种基于天花板图像的机器人室内定位方法
CN107888828A (zh) * 2017-11-22 2018-04-06 网易（杭州）网络有限公司 空间定位方法及装置、电子设备、以及存储介质
CN108682037A (zh) * 2018-04-27 2018-10-19 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108876854A (zh) * 2018-04-27 2018-11-23 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN109959381A (zh) * 2017-12-22 2019-07-02 深圳市优必选科技有限公司 一种定位方法、装置、机器人及计算机可读存储介质
CN110914867A (zh) * 2018-07-17 2020-03-24 深圳市大疆创新科技有限公司 位姿确定方法、设备、计算机可读存储介质
CN111238496A (zh) * 2020-01-14 2020-06-05 深圳市锐曼智能装备有限公司 机器人位姿确认方法、装置、计算机设备及存储介质
CN112419411A (zh) * 2020-11-27 2021-02-26 广东电网有限责任公司肇庆供电局 一种基于卷积神经网络和光流特征视觉里程计的实现方法
CN117291954A (zh) * 2023-09-21 2023-12-26 小红书科技有限公司 生成光流数据集的方法、相关方法及相关产品

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1470368A (zh) * 2002-07-26 2004-01-28 ������������ʽ���� 机器人清洁器和机器人清洁系统及其控制方法
CN102609956A (zh) * 2012-01-13 2012-07-25 南京大学 一种视频中的人体运动编辑方法
CN102818568A (zh) * 2012-08-24 2012-12-12 中国科学院深圳先进技术研究院 室内机器人的定位与导航系统及方法
US20140333741A1 (en) * 2013-05-08 2014-11-13 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
CN104808590A (zh) * 2015-02-14 2015-07-29 浙江大学 一种基于关键帧策略的移动机器人视觉伺服控制方法
CN105096341A (zh) * 2015-07-27 2015-11-25 浙江大学 基于三焦张量和关键帧策略的移动机器人位姿估计方法
CN105425807A (zh) * 2016-01-07 2016-03-23 朱明� 一种基于人工路标的室内机器人导航方法及装置
CN105953798A (zh) * 2016-04-19 2016-09-21 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN206339869U (zh) * 2016-12-22 2017-07-18 清华大学 机器人的天花板图像定位系统和机器人

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1470368A (zh) * 2002-07-26 2004-01-28 ������������ʽ���� 机器人清洁器和机器人清洁系统及其控制方法
CN102609956A (zh) * 2012-01-13 2012-07-25 南京大学 一种视频中的人体运动编辑方法
CN102818568A (zh) * 2012-08-24 2012-12-12 中国科学院深圳先进技术研究院 室内机器人的定位与导航系统及方法
US20140333741A1 (en) * 2013-05-08 2014-11-13 Regents Of The University Of Minnesota Constrained key frame localization and mapping for vision-aided inertial navigation
CN104808590A (zh) * 2015-02-14 2015-07-29 浙江大学 一种基于关键帧策略的移动机器人视觉伺服控制方法
CN105096341A (zh) * 2015-07-27 2015-11-25 浙江大学 基于三焦张量和关键帧策略的移动机器人位姿估计方法
CN105425807A (zh) * 2016-01-07 2016-03-23 朱明� 一种基于人工路标的室内机器人导航方法及装置
CN105953798A (zh) * 2016-04-19 2016-09-21 深圳市神州云海智能科技有限公司 移动机器人的位姿确定方法和设备
CN206339869U (zh) * 2016-12-22 2017-07-18 清华大学 机器人的天花板图像定位系统和机器人

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
沈晔湖;刘济林;杜歆;: "单目视觉的同时三维场景构建和定位算法" *

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107273907A (zh) * 2017-06-30 2017-10-20 北京三快在线科技有限公司 室内定位方法、商品信息推荐方法及装置、电子设备
CN107273907B (zh) * 2017-06-30 2020-08-07 北京三快在线科技有限公司 室内定位方法、商品信息推荐方法及装置、电子设备
CN107356229A (zh) * 2017-07-07 2017-11-17 中国电子科技集团公司电子科学研究院 一种室内定位方法与装置
CN107689063A (zh) * 2017-07-27 2018-02-13 南京理工大学北方研究院 一种基于天花板图像的机器人室内定位方法
US11385062B2 (en) 2017-08-18 2022-07-12 Guangzhou Coayu Robot Co., Ltd. Map creation method for mobile robot and path planning method based on the map
CN107314773A (zh) * 2017-08-18 2017-11-03 广东宝乐机器人股份有限公司 移动机器人的地图创建方法及基于该地图的路径规划方法
WO2019033712A1 (zh) * 2017-08-18 2019-02-21 广东宝乐机器人股份有限公司 移动机器人的地图创建方法及基于该地图的路径规划方法
CN107314773B (zh) * 2017-08-18 2019-10-01 广东宝乐机器人股份有限公司 移动机器人的地图创建方法及基于该地图的路径规划方法
JP2020529061A (ja) * 2017-08-18 2020-10-01 グワンドン ボナ ロボット コーポレーション リミテッド 移動ロボットの地図作成方法および当該地図に基づく経路計画方法
CN107888828A (zh) * 2017-11-22 2018-04-06 网易（杭州）网络有限公司 空间定位方法及装置、电子设备、以及存储介质
CN107888828B (zh) * 2017-11-22 2020-02-21 杭州易现先进科技有限公司 空间定位方法及装置、电子设备、以及存储介质
CN109959381A (zh) * 2017-12-22 2019-07-02 深圳市优必选科技有限公司 一种定位方法、装置、机器人及计算机可读存储介质
CN109959381B (zh) * 2017-12-22 2021-06-04 深圳市优必选科技有限公司 一种定位方法、装置、机器人及计算机可读存储介质
CN108682037A (zh) * 2018-04-27 2018-10-19 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108682037B (zh) * 2018-04-27 2022-03-08 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN108876854B (zh) * 2018-04-27 2022-03-08 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
US11276183B2 (en) 2018-04-27 2022-03-15 Tencent Technology (Shenzhen) Company Limited Relocalization method and apparatus in camera pose tracking process, device, and storage medium
CN108876854A (zh) * 2018-04-27 2018-11-23 腾讯科技（深圳）有限公司 相机姿态追踪过程的重定位方法、装置、设备及存储介质
CN110914867A (zh) * 2018-07-17 2020-03-24 深圳市大疆创新科技有限公司 位姿确定方法、设备、计算机可读存储介质
CN111238496A (zh) * 2020-01-14 2020-06-05 深圳市锐曼智能装备有限公司 机器人位姿确认方法、装置、计算机设备及存储介质
CN112419411A (zh) * 2020-11-27 2021-02-26 广东电网有限责任公司肇庆供电局 一种基于卷积神经网络和光流特征视觉里程计的实现方法
CN112419411B (zh) * 2020-11-27 2024-03-26 广东电网有限责任公司肇庆供电局 一种基于卷积神经网络和光流特征视觉里程计的实现方法
CN117291954A (zh) * 2023-09-21 2023-12-26 小红书科技有限公司 生成光流数据集的方法、相关方法及相关产品

Also Published As

Publication number Publication date
CN106708048B (zh) 2023-11-28

Similar Documents

Publication Publication Date Title
CN106708048A (zh) 机器人的天花板图像定位方法和系统
US11953910B2 (en) Autonomous platform guidance systems with task planning and obstacle avoidance
US11747823B2 (en) Monocular modes for autonomous platform guidance systems with auxiliary sensors
US10832056B1 (en) Visual-inertial positional awareness for autonomous and non-autonomous tracking
US10571925B1 (en) Autonomous platform guidance systems with auxiliary sensors and task planning
US20240202938A1 (en) Fault-tolerance to provide robust tracking for autonomous and non-autonomous positional awareness
US10571926B1 (en) Autonomous platform guidance systems with auxiliary sensors and obstacle avoidance
US10943361B2 (en) Mapping optimization in autonomous and non-autonomous platforms
US11948369B2 (en) Visual-inertial positional awareness for autonomous and non-autonomous mapping
CN106940186B (zh) 一种机器人自主定位与导航方法及系统
CN109211241B (zh) 基于视觉slam的无人机自主定位方法
US10732647B2 (en) Multi-sensor fusion for robust autonomous flight in indoor and outdoor environments with a rotorcraft micro-aerial vehicle (MAV)
CN109917818B (zh) 基于地面机器人的协同搜索围堵方法
CN111338383B (zh) 基于gaas的自主飞行方法及系统、存储介质
US20210183100A1 (en) Data processing method and apparatus
WO2020000395A1 (en) Systems and methods for robust self-relocalization in pre-built visual map
Ching et al. Ultra-wideband localization and deep-learning-based plant monitoring using micro air vehicles
US11774983B1 (en) Autonomous platform guidance systems with unknown environment mapping
CN206339869U (zh) 机器人的天花板图像定位系统和机器人
CN110887487B (zh) 一种室内同步定位与建图方法
Szendy et al. Simultaneous localization and mapping with TurtleBotII
Jama et al. Parallel tracking and mapping for controlling vtol airframe
Mahmoud Enhanced Indoor Visual Navigation Using Sensor Fusion and Semantic Information
Catania Enhancing UAV Autonomous Indoor Flight with Visual Odometry Techniques
CN118225078A (zh) 交通工具的定位方法、装置、交通工具及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant