CN112053383A - 一种机器人实时定位的方法及装置 - Google Patents

一种机器人实时定位的方法及装置 Download PDF

Info

Publication number
CN112053383A
CN112053383A CN202010829976.5A CN202010829976A CN112053383A CN 112053383 A CN112053383 A CN 112053383A CN 202010829976 A CN202010829976 A CN 202010829976A CN 112053383 A CN112053383 A CN 112053383A
Authority
CN
China
Prior art keywords
real
time
image
rgb
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010829976.5A
Other languages
English (en)
Other versions
CN112053383B (zh
Inventor
张宝生
孙程远
马宏军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University China
Original Assignee
Northeastern University China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University China filed Critical Northeastern University China
Priority to CN202010829976.5A priority Critical patent/CN112053383B/zh
Publication of CN112053383A publication Critical patent/CN112053383A/zh
Application granted granted Critical
Publication of CN112053383B publication Critical patent/CN112053383B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Manipulator (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种机器人实时定位的方法及装置，涉及机器人定位技术领域，为解决现有技术中机器人实时定位不准确的问题而发明。该方法主要包括：获取机器人相机采集的实时RGB‑D图像；根据预置特征提取算法，提取所述实时RGB‑D图像的实时图像特征点，并记录所述实时图像特征点；比较所述实时RGB‑D图像的实时图像特征点，以及所述实时RGB‑D图像的相邻帧图像的实时图像特征点，计算匹配特征点对；根据椭球集员滤波算法和所述匹配特征点对，计算所述实时RGB‑D图像的实时位姿信息，并记录所述实时位姿信息；根据所述实时位姿信息，计算所述机器人的实时位置信息。本发明主要应用于机器人定位过程中。

Description

一种机器人实时定位的方法及装置
技术领域
本发明涉及机器人定位技术领域，特别是涉及一种机器人实时定位的方法及装置。
背景技术
目前，随着实际生活、生产和科学研究领域对机器人的重视，机器人领域的重大技术突破都预示着机器人产业的大好发展前景和对该领域技术研究的巨大价值。其中，实时定位技术的研究一直在机器人领域中倍受关注，针对已有的技术如GPS、RTK、激光雷达等的发展都在一定程度上满足了一定环境下机器人对定位功能的需求。
现有技术中，采用RGB-D相机进行周边环境探测，采集得到RGB图像和深度图像，并基于RGB图像和深度图像，确定连续的图像帧，采用稀疏直接法对连续的图像帧进行计算，得到当前帧的初始位姿，实现通过较少量的计算，确定初始位姿，提高位姿获取的速度。
现有技术，采用稀疏直接法计算初始位姿，依靠梯度搜索降低目标函数计算机器人位姿容易陷入极小值不能达到全局最优，进而造成定位不准确。
发明内容
有鉴于此，本发明提供一种机器人实时定位的方法及装置，主要目的在于解决现有技术中机器人实时定位不准确的问题。
依据本发明一个方面，提供了一种机器人实时定位的方法，包括：
获取机器人相机采集的实时RGB-D图像；
根据预置特征提取算法，提取所述实时RGB-D图像的实时图像特征点，并记录所述实时图像特征点；
比较所述实时RGB-D图像的实时图像特征点，以及所述实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对；
根据椭球集员滤波算法和所述匹配特征点对，计算所述实时RGB-D图像的实时位姿信息，并记录所述实时位姿信息；
根据所述实时位姿信息，计算所述机器人的实时位置信息。
依据本发明另一个方面，提供了一种机器人实时定位的装置，包括：
获取模块，用于获取机器人相机采集的实时RGB-D图像；
提取模块，用于根据预置特征提取算法，提取所述实时RGB-D图像的实时图像特征点，并记录所述实时图像特征点；
比较模块，用于比较所述实时RGB-D图像的实时图像特征点，以及所述实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对；
第一计算模块，用于根据椭球集员滤波算法和所述匹配特征点对，计算所述实时RGB-D图像的实时位姿信息，并记录所述实时位姿信息；
第二计算模块，用于根据所述实时位姿信息，计算所述机器人的实时位置信息。
根据本发明的又一方面，提供了一种计算机存储介质，所述计算机存储介质中存储有至少一种可执行指令，所述可执行指令使处理器执行如上述机器人实时定位的方法对应的操作。
根据本发明的再一方面，提供了一种计算机设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；
所述存储器用于存放至少一种可执行指令，所述可执行指令使所述处理器执行上述机器人实时定位的方法对应的操作。
借由上述技术方案，本发明实施例提供的技术方案至少具有下列优点：
本发明提供了一种机器人实时定位的方法及装置，首先获取机器人相机采集的实时RGB-D图像，然后根据预置特征提取算法，提取实时RGB-D图像的实时图像特征点，再比较实时RGB-D图像的实时图像特征点，以及实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对，再根据椭球集员滤波算法和匹配特征点对，计算实时RGB-D图像的实时位姿信息，最后根据实时位姿信息，计算机器人的实时位置信息。与现有技术相比，本发明实施例通过预置特征算法提取实时图像特征点，并计算匹配特征点对，实时图像特征点是图像中的关键信息，通过关键信息在不同图像中对应的空间位置的变化，确定机器人的实时位姿信息，特征点对的变化足以表征对应图像的变化，使得实时位姿信息能够准确反映机器人的姿态。以椭球集员滤波算法求解最符合实际机器人位姿的投影误差，能够计算得到更准确的实时位姿信息。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
图1示出了本发明实施例提供的一种机器人实时定位的方法流程图；
图2示出了本发明实施例提供的另一种机器人实时定位的方法流程图；
图3示出了本发明实施例提供的一种机器人实时定位的装置组成框图；
图4示出了本发明实施例提供的另一种机器人实时定位的装置组成框图；
图5示出了本发明实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
本发明实施例提供了一种机器人实时定位的方法，如图1所示，该方法包括：
101、获取机器人相机采集的实时RGB-D图像。
实时RGB-D图像是指根据具体的场景以及任务需求选取的相机采集到的具有有效图像信息和深度信息的图像。实时RGB-D图像包括普通的PGB三通道彩色图像的参数，以及图像深度参数。图像深度参数是指包含与机器人相机的场景对象的表面的距离信息。图像深度参数是指存储每个像素所用的位数，用于度量图像的色彩分辨率。图像深度参数用于确定彩色图像的每个像素可能有的颜色数，或者确定灰度图像的每个像素可能有的灰度级数。根据图像深度参数能够计算得到相机距离物体的实际距离。
为了获取高质量的实时RGB-D图像，在选取机器人相机过程中，需要考虑机器人的运行速度、加速度、定位精度、相机视角(包括是否选用鱼眼相机)、相机分辨率、是否使用工业或户外恶劣环境、相机价格和后期维护成本等。
102、根据预置特征提取算法，提取实时RGB-D图像的实时图像特征点，并记录实时图像特征点。
实时图像特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。图像特征点能够反映图像本质特征，能够标识图像中目标物体。预置特征提取算法，可以为线性投影分析算法，还可以为非线性性特征抽取算法。通过记录图像序号、图像摘要的标识图像，通过记录实时图形特征点的像素点位置，分两部分保存实时图像特征点。
103、比较实时RGB-D图像的实时图像特征点，以及实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对。
匹配特征点对，是指图像采集时间相邻的两幅图像中，拍摄到的相同的物体两两相对的像素点。匹配特征点对能够反映机器人位姿关系的变化。
在实时RGB-D图像，分别以各个实时图像特征点为中心获取局部图像块，将局部图像块范围内的像素点两两之间进行像素亮度的比较，将亮度比较结果以二进制形式保存，以此存储结果作为实施图像特征点的二进制描述信息。获取实时RGB-D图像的相邻帧图像的实时图像特征点的二进制描述信息。将实时RGB-D图像的实时图像特征点，以及实时RGB-D图像的相邻帧图像的实时图像特征点，分别对比的二进制描述信息进行比对，将相似度最高的特征点确定为成功匹配的匹配特征点对。
104、根据椭球集员滤波算法和匹配特征点对，计算实时RGB-D图像的实时位姿信息，并记录实时位姿信息。
通过椭球集员滤波算法，通过匹配特征点对中实时图像特征点在图像中的位置信息，以及在实际空间中的空间坐标信息，对匹配特征点对的实时图像特征点进行投影变换，并增加重投影误差，计算实时位姿信息。在重投影误差计算过程中，将最小二乘算法转换为递归椭球形式，通过最小化椭球体积获取最优解，以计算最符合实际的实时位姿信息。
105、根据实时位姿信息，计算机器人的实时位置信息。
根据位姿位置转换关系，计算机器人的实时位置信息，位姿位置转换关系为sU＝kTP，其中s为投影深度，U＝(u，v，1)为匹配特征点对中属于实时RGB-D图像的像素点的像素坐标信息，k为相机参数，T为实时位姿信息，P＝(X，Y，Z，1)为空间齐次坐标信息，提取P中的X，Y值，即为机器人的实时位置信息。
在计算得到实时位置信息之后，机器人根据实时位置信息，依据本次的运动目的进行移动，运动目的包括到达指定位置、实时避障、按序刷扫定位等。
本发明提供了一种机器人实时定位的方法，首先获取机器人相机采集的实时RGB-D图像，然后根据预置特征提取算法，提取实时RGB-D图像的实时图像特征点，再比较实时RGB-D图像的实时图像特征点，以及实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对，再根据椭球集员滤波算法和匹配特征点对，计算实时RGB-D图像的实时位姿信息，最后根据实时位姿信息，计算机器人的实时位置信息。与现有技术相比，本发明实施例通过预置特征算法提取实时图像特征点，并计算匹配特征点对，实时图像特征点是图像中的关键信息，通过关键信息在不同图像中对应的空间位置的变化，确定机器人的实时位姿信息，特征点对的变化足以表征对应图像的变化，使得实时位姿信息能够准确反映机器人的姿态。以椭球集员滤波算法求解最符合实际机器人位姿的投影误差，能够计算得到更准确的实时位姿信息。
本发明实施例提供了另一种机器人实时定位的方法，如图2所示，该方法包括：
201、获取机器人相机采集的实时RGB-D图像。
实时RGB-D图像是指根据具体的场景以及任务需求选取的相机采集到的具有有效图像信息和深度信息的图像。实时RGB-D图像包括普通的PGB三通道彩色图像的参数，以及图像深度参数。根据图像深度参数能够计算得到相机距离物体的实际距离。
202、根据预置特征提取算法，提取实时RGB-D图像的实时图像特征点，并记录实时图像特征点。
实时图像特征点是指图像灰度值发生剧烈变化的点或者在图像边缘上曲率较大的点。图像特征点能够反映图像本质特征，能够标识图像中目标物体。通过记录图像序号、图像摘要的标识图像，通过记录实时图形特征点的像素点位置，分两部分标识信息保存实时图像特征点。
提取实时图像特征点具体包括：对所述实时RGB-D图像进行灰度化处理，获取实时灰度图像；根据预置算法，提取所述实时灰度图像的实时图像特征点。其中根据预置算法，提取所述实时灰度图像的实时图像特征点，包括：按照预置顺序，依次将所述实时灰度图像中的像素点确定为目标像素点；获取所述实时灰度图像中的目标像素点的目标亮度；根据预置范围阈值公式，计算所述目标像素点的特征像素范围，所述预置范围阈值公式T＝(1±α)I，其中T为所述特征像素范围，α为范围系数，I为所述目标亮度；获取匹配圆经过的FAST角点像素点，所述匹配圆是以所述目标像素点为圆心，以预置像素距离为半径的圆；如果获取的所述FAST角点像素点的待评价亮度属于特征像素范围，则将特征连续次数加1；如果获取的所述FAST角点像素点的待评价亮度不属于特征像素范围，则将所述特征连续次数清零；如果所述连续次数大于预置特征阈值，则确定所述目标像素点为实时图像特征点；提取所述实时图像特征点。
示例性的，范围系数α取值为0.2，特征像素范围为0.8I～1.2I，预置像素距离为3，以目标像素点为中心，以3个像素点为半径，获取匹配圆所经过的16个FAST角点像素点，预置特征阈值为9。获取16个FAST角点像素点的待评价亮度。按照顺时针或逆时针顺序，依次判断FAST角点像素点的待评价亮度是否属于特征像素范围，如果有连续的9个FAST角点像素点的待评价亮度属于特征像素范围，则目标像素点为实时图像特征点。
203、比较实时RGB-D图像的实时图像特征点，以及实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对。
匹配特征点对，是指图像采集时间相邻的两幅图像中，拍摄到的相同的物体两两相对的像素点。匹配特征点对能够反映机器人位姿关系的变化。
在实时RGB-D图像，分别以各个实时图像特征点为中心获取局部图像块，将局部图像块范围内的像素点两两之间进行像素亮度的比较，将亮度比较结果以二进制形式保存，以此存储结果作为实施图像特征点的二进制描述信息。获取实时RGB-D图像的相邻帧图像的实时图像特征点的二进制描述信息。将实时RGB-D图像的实时图像特征点，以及实时RGB-D图像的相邻帧图像的实时图像特征点，分别对比的二进制描述信息进行比对，将相似度最高的特征点确定为成功匹配的匹配特征点对。
204、根据椭球集员滤波算法和匹配特征点对，计算实时RGB-D图像的实时位姿信息，并记录实时位姿信息。
通过椭球集员滤波算法，通过匹配特征点对中实时图像特征点在图像中的位置信息，以及在实际空间中的空间坐标信息，对匹配特征点对的实时图像特征点进行投影变换，并增加重投影误差，计算实时位姿信息。在重投影误差计算过程中，将最小二乘算法转换为递归椭球形式，通过最小化椭球体积获取最优解，以计算最符合实际的实时位姿信息。
具体包括：获取所述匹配特征点对的像素坐标信息；根据机器人相机的相机参数和所述像素坐标信息，构建坐标转换方程，计算所述匹配特征点对应的空间坐标信息，所述坐标转换方程为
Figure BDA0002637582500000071
其中(u，v，1)为所述像素坐标信息，fx、fy、Cx、Cy均为相机参数，(X，Y，Z)为所述空间坐标信息中的坐标值，Z为所述匹配特征点对的深度信息；根据椭球集员滤波算法，以位姿转换方程中的重投影误差最小值为目标，计算所述实时RGB-D图像的实时位姿信息，所述位姿转换方程为sU＝kTP+V，其中s为投影深度，U＝(u，v，1)为所述像素坐标信息，k为所述相机参数，T为实时位姿信息，P＝(X，Y，Z，1)为空间齐次坐标信息，V为重投影误差。
为了计算实时位姿信息，位姿转换方程中参数进行重新定义，
Figure BDA0002637582500000081
其中i为实时RGB-D图像的图像序号。为了解决迭代更新时旧数据的干扰，定义置信因子β和遗忘因子γ，遗忘权重为
Figure BDA0002637582500000082
i＝1,2,…k，表示随着图像序号的增加权重逐渐减小。定义
Figure BDA0002637582500000083
接着将最小二乘法表达形式转换成
Figure BDA0002637582500000084
将最小二乘转换为递归椭球形式，通过最小化椭球体积获取最优解。
以置信因子β和遗忘因子γ，将椭球转化为递归椭球可以有效地避免凸集计算问题。与最小二乘方法相比，本发明假定噪声E未知且有界，比最小二乘方法，更适合实际场景的应用。
205、根据实时位姿信息，计算机器人的实时位置信息。
根据位姿位置转换关系，计算机器人的实时位置信息，位姿位置转换关系为sU＝kTP，其中s为投影深度，U＝(u，v，1)为匹配特征点对中属于实时RGB-D图像的像素点的像素坐标信息，k为相机参数，T为实时位姿信息，P＝(X，Y，Z，1)为空间齐次坐标信息，提取P中的X，Y值，即为机器人的实时位置信息。
206、根据实时位姿信息，计算相邻帧的变化位姿。
连续的变化位姿，能够表征机器人的运动趋势。计算依据公式为Tij＝Ti -1Tj+V，其中Tij为第i张实时RGB-D图像到第j张实时RGB-D图像的变化位姿，Ti为第i张实时RGB-D图像的实时位姿信息，Tj为第j张实时RGB-D图像的实时位姿信息，V为重投影误差。为了计算机器人准确的变化位姿，通常第i张实时RGB-D图像为最新采集的实时RGB-D图像，i与j的数字差距小于预置差值，以临近的实时RGB-D图像计算变化位姿。
207、根据变化位姿，预测机器人的下一帧图像的预测位姿信息。
根据预测位姿信息的预测时间和变化位姿的变化率，计算预测位置信息。
208、根据预测位姿信息和重投影误差，计算机器人的预测位置信息。
与步骤205类似，计算机器人的预测位置信息。在计算得到实时位置信息之后，机器人根据实时位置信息，依据本次的运动目的进行移动，运动目的包括到达指定位置、实时避障、按序刷扫定位等。
本发明提供了一种机器人实时定位的方法，首先获取机器人相机采集的实时RGB-D图像，然后根据预置特征提取算法，提取实时RGB-D图像的实时图像特征点，再比较实时RGB-D图像的实时图像特征点，以及实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对，再根据椭球集员滤波算法和匹配特征点对，计算实时RGB-D图像的实时位姿信息，最后根据实时位姿信息，计算机器人的实时位置信息。与现有技术相比，本发明实施例通过预置特征算法提取实时图像特征点，并计算匹配特征点对，实时图像特征点是图像中的关键信息，通过关键信息在不同图像中对应的空间位置的变化，确定机器人的实时位姿信息，特征点对的变化足以表征对应图像的变化，使得实时位姿信息能够准确反映机器人的姿态。以椭球集员滤波算法求解最符合实际机器人位姿的投影误差，能够计算得到更准确的实时位姿信息。
进一步的，作为对上述图1所示方法的实现，本发明实施例提供了一种机器人实时定位的装置，如图3所示，该装置包括：
获取模块31，用于获取机器人相机采集的实时RGB-D图像；
提取模块32，用于根据预置特征提取算法，提取所述实时RGB-D图像的实时图像特征点，并记录所述实时图像特征点；
比较模块33，用于比较所述实时RGB-D图像的实时图像特征点，以及所述实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对；
第一计算模块34，用于根据椭球集员滤波算法和所述匹配特征点对，计算所述实时RGB-D图像的实时位姿信息，并记录所述实时位姿信息；
第二计算模块35，用于根据所述实时位姿信息，计算所述机器人的实时位置信息。
本发明提供了一种机器人实时定位的装置，首先获取机器人相机采集的实时RGB-D图像，然后根据预置特征提取算法，提取实时RGB-D图像的实时图像特征点，再比较实时RGB-D图像的实时图像特征点，以及实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对，再根据椭球集员滤波算法和匹配特征点对，计算实时RGB-D图像的实时位姿信息，最后根据实时位姿信息，计算机器人的实时位置信息。与现有技术相比，本发明实施例通过预置特征算法提取实时图像特征点，并计算匹配特征点对，实时图像特征点是图像中的关键信息，通过关键信息在不同图像中对应的空间位置的变化，确定机器人的实时位姿信息，特征点对的变化足以表征对应图像的变化，使得实时位姿信息能够准确反映机器人的姿态。以椭球集员滤波算法求解最符合实际机器人位姿的投影误差，能够计算得到更准确的实时位姿信息。
进一步的，作为对上述图2所示方法的实现，本发明实施例提供了另一种机器人实时定位的装置，如图4所示，该装置包括：
获取模块41，用于获取机器人相机采集的实时RGB-D图像；
提取模块42，用于根据预置特征提取算法，提取所述实时RGB-D图像的实时图像特征点，并记录所述实时图像特征点；
比较模块43，用于比较所述实时RGB-D图像的实时图像特征点，以及所述实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对；
第一计算模块44，用于根据椭球集员滤波算法和所述匹配特征点对，计算所述实时RGB-D图像的实时位姿信息，并记录所述实时位姿信息；
第二计算模块45，用于根据所述实时位姿信息，计算所述机器人的实时位置信息。
进一步地，所述提取模块42，包括：
获取单元421，用于对所述实时RGB-D图像进行灰度化处理，获取实时灰度图像；
提取单元422，用于根据预置算法，提取所述实时灰度图像的实时图像特征点。
进一步地，所述提取单元422，包括：
像素确定子单元4221，用于按照预置顺序，依次将所述实时灰度图像中的像素点确定为目标像素点；
获取子单元4222，用于获取所述实时灰度图像中的目标像素点的目标亮度；
计算子单元4223，用于根据预置范围阈值公式，计算所述目标像素点的特征像素范围，所述预置范围阈值公式T＝(1±α)I，其中T为所述特征像素范围，α为范围系数，I为所述目标亮度；
所述获取子单元4222，还用于获取匹配圆经过的FAST角点像素点，所述匹配圆是以所述目标像素点为圆心，以预置像素距离为半径的圆；
增加子单元4224，用于如果获取的所述FAST角点像素点的待评价亮度属于特征像素范围，则将特征连续次数加1；
清零子单元4225，用于如果获取的所述FAST角点像素点的待评价亮度不属于特征像素范围，则将所述特征连续次数清零；
特征确定子单元4226，用于如果所述连续次数大于预置特征阈值，则确定所述目标像素点为实时图像特征点；
提取子单元4227，用于提取所述实时图像特征点。
进一步地，所述第一计算模块44，包括：
获取单元441，用于获取所述匹配特征点对的像素坐标信息；
计算单元442，用于根据机器人相机的相机参数和所述像素坐标信息，构建坐标转换方程，计算所述匹配特征点对应的空间坐标信息，所述坐标转换方程为
Figure BDA0002637582500000111
其中(u，v，1)为所述像素坐标信息，fx、fy、Cx、Cy均为相机参数，(X，Y，Z)为所述空间坐标信息中的坐标值，Z为所述匹配特征点对的深度信息；
所述计算单元442，还用于根据椭球集员滤波算法，以位姿转换方程中的重投影误差最小值为目标，计算所述实时RGB-D图像的实时位姿信息，所述位姿转换方程为sU＝kTP+V，其中s为投影深度，U＝(u，v，1)为所述像素坐标信息，k为所述相机参数，T为实时位姿信息，P＝(X，Y，Z，1)为空间齐次坐标信息，V为重投影误差。
进一步地，所述装置还包括：
第三计算模块46，用于根据所述实时位姿信息，计算所述机器人的实时位置信息之后，根据所述实时位姿信息，计算相邻帧的变化位姿；
所述第三计算模块46，还用于根据所述变化位姿，计算所述机器人的下一帧图像的预测位姿信息；
所述第三计算模块46，还用于根据所述预测位姿信息和重投影误差，计算所述机器人的预测位置信息。
本发明提供了一种机器人实时定位的装置，首先获取机器人相机采集的实时RGB-D图像，然后根据预置特征提取算法，提取实时RGB-D图像的实时图像特征点，再比较实时RGB-D图像的实时图像特征点，以及实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对，再根据椭球集员滤波算法和匹配特征点对，计算实时RGB-D图像的实时位姿信息，最后根据实时位姿信息，计算机器人的实时位置信息。与现有技术相比，本发明实施例通过预置特征算法提取实时图像特征点，并计算匹配特征点对，实时图像特征点是图像中的关键信息，通过关键信息在不同图像中对应的空间位置的变化，确定机器人的实时位姿信息，特征点对的变化足以表征对应图像的变化，使得实时位姿信息能够准确反映机器人的姿态。以椭球集员滤波算法求解最符合实际机器人位姿的投影误差，能够计算得到更准确的实时位姿信息。
根据本发明一个实施例提供了一种计算机存储介质，所述计算机存储介质存储有至少一可执行指令，该计算机可执行指令可执行上述任意方法实施例中的机器人实时定位的方法。
图5示出了根据本发明一个实施例提供的一种计算机设备的结构示意图，本发明具体实施例并不对计算机设备的具体实现做限定。
如图5所示，该计算机设备可以包括：处理器(processor)502、通信接口(Communications Interface)504、存储器(memory)506、以及通信总线508。
其中：处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。
通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。
处理器502，用于执行程序510，具体可以执行上述机器人实时定位的方法实施例中的相关步骤。
具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。
处理器502可能是中央处理器CPU，或者是特定集成电路ASIC(ApplicationSpecific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。计算机设备包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个CPU；也可以是不同类型的处理器，如一个或多个CPU以及一个或多个ASIC。
存储器506，用于存放程序510。存储器506可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
程序510具体可以用于使得处理器502执行以下操作：
获取机器人相机采集的实时RGB-D图像；
根据预置特征提取算法，提取所述实时RGB-D图像的实时图像特征点，并记录所述实时图像特征点；
比较所述实时RGB-D图像的实时图像特征点，以及所述实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对；
根据椭球集员滤波算法和所述匹配特征点对，计算所述实时RGB-D图像的实时位姿信息，并记录所述实时位姿信息；
根据所述实时位姿信息，计算所述机器人的实时位置信息。
显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包括在本发明的保护范围之内。

Claims (10)

1.一种机器人实时定位的方法，其特征在于，包括：
获取机器人相机采集的实时RGB-D图像；
根据预置特征提取算法，提取所述实时RGB-D图像的实时图像特征点，并记录所述实时图像特征点；
比较所述实时RGB-D图像的实时图像特征点，以及所述实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对；
根据椭球集员滤波算法和所述匹配特征点对，计算所述实时RGB-D图像的实时位姿信息，并记录所述实时位姿信息；
根据所述实时位姿信息，计算所述机器人的实时位置信息。
2.根据权利要求1所述的方法，其特征在于，所述根据预置特征提取算法，提取所述实时RGB-D图像的实时图像特征点，包括：
对所述实时RGB-D图像进行灰度化处理，获取实时灰度图像；
根据预置算法，提取所述实时灰度图像的实时图像特征点。
3.根据权利要求2所述的方法，其特征在于，所述根据预置算法，提取所述实时灰度图像的实时图像特征点，包括：
按照预置顺序，依次将所述实时灰度图像中的像素点确定为目标像素点；
获取所述实时灰度图像中的目标像素点的目标亮度；
根据预置范围阈值公式，计算所述目标像素点的特征像素范围，所述预置范围阈值公式T＝(1±α)I，其中T为所述特征像素范围，α为范围系数，I为所述目标亮度；
获取匹配圆经过的FAST角点像素点，所述匹配圆是以所述目标像素点为圆心，以预置像素距离为半径的圆；
如果获取的所述FAST角点像素点的待评价亮度属于特征像素范围，则将特征连续次数加1；
如果获取的所述FAST角点像素点的待评价亮度不属于特征像素范围，则将所述特征连续次数清零；
如果所述连续次数大于预置特征阈值，则确定所述目标像素点为实时图像特征点；
提取所述实时图像特征点。
4.根据权利要求2所述的方法，其特征在于，所述根据椭球集员滤波算法和所述匹配特征点对，计算所述实时RGB-D图像的实时位姿信息，包括：
获取所述匹配特征点对的像素坐标信息；
根据机器人相机的相机参数和所述像素坐标信息，构建坐标转换方程，计算所述匹配特征点对应的空间坐标信息，所述坐标转换方程为
Figure FDA0002637582490000021
其中(u，v，1)为所述像素坐标信息，fx、fy、Cx、Cy均为相机参数，(X，Y，Z)为所述空间坐标信息中的坐标值，Z为所述匹配特征点对的深度信息；
根据椭球集员滤波算法，以位姿转换方程中的重投影误差最小值为目标，计算所述实时RGB-D图像的实时位姿信息，所述位姿转换方程为sU＝kTP+V，其中s为投影深度，U＝(u，v，1)为所述像素坐标信息，k为所述相机参数，T为实时位姿信息，P＝(X，Y，Z，1)为空间齐次坐标信息，V为重投影误差。
5.根据权利要求4所述的方法，其特征在于，根据所述实时位姿信息，计算所述机器人的实时位置信息之后，所述方法还包括：
根据所述实时位姿信息，计算相邻帧的变化位姿；
根据所述变化位姿，预测所述机器人的下一帧图像的预测位姿信息；
根据所述预测位姿信息和重投影误差，计算所述机器人的预测位置信息。
6.一种机器人实时定位的装置，其特征在于，包括：
获取模块，用于获取机器人相机采集的实时RGB-D图像；
提取模块，用于根据预置特征提取算法，提取所述实时RGB-D图像的实时图像特征点，并记录所述实时图像特征点；
比较模块，用于比较所述实时RGB-D图像的实时图像特征点，以及所述实时RGB-D图像的相邻帧图像的实时图像特征点，计算匹配特征点对；
第一计算模块，用于根据椭球集员滤波算法和所述匹配特征点对，计算所述实时RGB-D图像的实时位姿信息，并记录所述实时位姿信息；
第二计算模块，用于根据所述实时位姿信息，计算所述机器人的实时位置信息。
7.根据权利要求6所述的装置，其特征在于，所述提取模块，包括：
获取单元，用于对所述实时RGB-D图像进行灰度化处理，获取实时灰度图像；
提取单元，用于根据预置算法，提取所述实时灰度图像的实时图像特征点。
8.根据权利要求7所述的装置，其特征在于，所述提取单元，包括：
像素确定子单元，用于按照预置顺序，依次将所述实时灰度图像中的像素点确定为目标像素点；
获取子单元，用于获取所述实时灰度图像中的目标像素点的目标亮度；
计算子单元，用于根据预置范围阈值公式，计算所述目标像素点的特征像素范围，所述预置范围阈值公式T＝(1±α)I，其中T为所述特征像素范围，α为范围系数，I为所述目标亮度；
所述获取子单元，还用于获取匹配圆经过的FAST角点像素点，所述匹配圆是以所述目标像素点为圆心，以预置像素距离为半径的圆；
增加子单元，用于如果获取的所述FAST角点像素点的待评价亮度属于特征像素范围，则将特征连续次数加1；
清零子单元，用于如果获取的所述FAST角点像素点的待评价亮度不属于特征像素范围，则将所述特征连续次数清零；
特征确定子单元，用于如果所述连续次数大于预置特征阈值，则确定所述目标像素点为实时图像特征点；
提取子单元，用于提取所述实时图像特征点。
9.根据权利要求7所述的装置，其特征在于，所述第一计算模块，包括：
获取单元，用于获取所述匹配特征点对的像素坐标信息；
计算单元，用于根据机器人相机的相机参数和所述像素坐标信息，构建坐标转换方程，计算所述匹配特征点对应的空间坐标信息，所述坐标转换方程为
Figure FDA0002637582490000031
其中(u，v，1)为所述像素坐标信息，fx、fy、Cx、Cy均为相机参数，(X，Y，Z)为所述空间坐标信息中的坐标值，Z为所述匹配特征点对的深度信息；
所述计算单元，还用于根据椭球集员滤波算法，以位姿转换方程中的重投影误差最小值为目标，计算所述实时RGB-D图像的实时位姿信息，所述位姿转换方程为sU＝kTP+V，其中s为投影深度，U＝(u，v，1)为所述像素坐标信息，k为所述相机参数，T为实时位姿信息，P＝(X，Y，Z，1)为空间齐次坐标信息，V为重投影误差。
10.根据权利要求9所述的装置，其特征在于，所述装置还包括：
第三计算模块，用于根据所述实时位姿信息，计算所述机器人的实时位置信息之后，根据所述实时位姿信息，计算相邻帧的变化位姿；
所述第三计算模块，还用于根据所述变化位姿，计算所述机器人的下一帧图像的预测位姿信息；
所述第三计算模块，还用于根据所述预测位姿信息和重投影误差，计算所述机器人的预测位置信息。
CN202010829976.5A 2020-08-18 2020-08-18 一种机器人实时定位的方法及装置 Active CN112053383B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010829976.5A CN112053383B (zh) 2020-08-18 2020-08-18 一种机器人实时定位的方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010829976.5A CN112053383B (zh) 2020-08-18 2020-08-18 一种机器人实时定位的方法及装置

Publications (2)

Publication Number Publication Date
CN112053383A true CN112053383A (zh) 2020-12-08
CN112053383B CN112053383B (zh) 2024-04-26

Family

ID=73600163

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010829976.5A Active CN112053383B (zh) 2020-08-18 2020-08-18 一种机器人实时定位的方法及装置

Country Status (1)

Country Link
CN (1) CN112053383B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884838A (zh) * 2021-03-16 2021-06-01 重庆大学 一种机器人自主定位方法
CN113610149A (zh) * 2021-08-05 2021-11-05 上海氢枫能源技术有限公司 氢气压缩机的位姿实时显示方法及系统
CN116431981A (zh) * 2022-12-07 2023-07-14 哈尔滨理工大学 一种基于移动机器人定位系统的分布式集员滤波方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537848A (zh) * 2018-04-19 2018-09-14 北京工业大学 一种面向室内场景重建的两级位姿优化估计方法
CN109579852A (zh) * 2019-01-22 2019-04-05 杭州蓝芯科技有限公司 基于深度相机的机器人自主定位方法及装置
CN109676604A (zh) * 2018-12-26 2019-04-26 清华大学 机器人曲面运动定位方法及其运动定位系统
US20200055192A1 (en) * 2018-08-16 2020-02-20 Hehua Ju Axis-Invariant based Multi-axis robot inverse kinematics modeling and solving method
CN111156998A (zh) * 2019-12-26 2020-05-15 华南理工大学 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN111191186A (zh) * 2020-01-07 2020-05-22 江南大学 一种生产车间移动机器人位姿定位的多胞体滤波方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108537848A (zh) * 2018-04-19 2018-09-14 北京工业大学 一种面向室内场景重建的两级位姿优化估计方法
US20200055192A1 (en) * 2018-08-16 2020-02-20 Hehua Ju Axis-Invariant based Multi-axis robot inverse kinematics modeling and solving method
CN109676604A (zh) * 2018-12-26 2019-04-26 清华大学 机器人曲面运动定位方法及其运动定位系统
CN109579852A (zh) * 2019-01-22 2019-04-05 杭州蓝芯科技有限公司 基于深度相机的机器人自主定位方法及装置
CN111156998A (zh) * 2019-12-26 2020-05-15 华南理工大学 一种基于rgb-d相机与imu信息融合的移动机器人定位方法
CN111191186A (zh) * 2020-01-07 2020-05-22 江南大学 一种生产车间移动机器人位姿定位的多胞体滤波方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HONGSHAN YU等: "Robust Robot Pose Estimation for Challenging Scenes With an RGB-D Camera", 《IEEE SENSORS JOURNAL》, vol. 19, no. 6, pages 2217, XP011710789, DOI: 10.1109/JSEN.2018.2884321 *
何青等: "基于最优定界椭球的扩展集员滤波算法研究", 《自动化技术与应用》, vol. 34, no. 5, pages 1 *
开发机的乔巴: "FAST角点学习笔记", pages 2, Retrieved from the Internet <URL:《https://zhuanlan.zhihu.com/p/76501359》> *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884838A (zh) * 2021-03-16 2021-06-01 重庆大学 一种机器人自主定位方法
CN113610149A (zh) * 2021-08-05 2021-11-05 上海氢枫能源技术有限公司 氢气压缩机的位姿实时显示方法及系统
CN113610149B (zh) * 2021-08-05 2024-03-26 上海氢枫能源技术有限公司 氢气压缩机的位姿实时显示方法及系统
CN116431981A (zh) * 2022-12-07 2023-07-14 哈尔滨理工大学 一种基于移动机器人定位系统的分布式集员滤波方法
CN116431981B (zh) * 2022-12-07 2023-09-29 哈尔滨理工大学 一种基于移动机器人定位系统的分布式集员滤波方法

Also Published As

Publication number Publication date
CN112053383B (zh) 2024-04-26

Similar Documents

Publication Publication Date Title
CN111563442B (zh) 基于激光雷达的点云和相机图像数据融合的slam方法及系统
CN112053383B (zh) 一种机器人实时定位的方法及装置
CN111814654B (zh) 基于马尔可夫随机场的远程塔台视频目标挂标牌方法
CN111627065B (zh) 一种视觉定位方法及装置、存储介质
CN109118473B (zh) 基于神经网络的角点检测方法、存储介质与图像处理系统
CN107194408B (zh) 一种混合块稀疏协作模型的目标跟踪方法
CN112837303A (zh) 一种用于模具监视的缺陷检测方法、装置、设备及介质
CN111524112B (zh) 追钢识别方法、系统、设备及介质
CN111553949A (zh) 基于单帧rgb-d图像深度学习对不规则工件的定位抓取方法
CN114332639B (zh) 一种非线性残差自注意力机制的卫星姿态视觉测量方法
CN112085789A (zh) 位姿估计方法、装置、设备及介质
CN109708658B (zh) 一种基于卷积神经网络的视觉里程计方法
CN112328715A (zh) 视觉定位方法及相关模型的训练方法及相关装置、设备
CN112200157A (zh) 一种降低图像背景干扰的人体3d姿态识别方法及其系统
CN110910375A (zh) 基于半监督学习的检测模型训练方法、装置、设备及介质
CN115345905A (zh) 目标对象跟踪方法、装置、终端及存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN112652020A (zh) 一种基于AdaLAM算法的视觉SLAM方法
CN113673621A (zh) 一种基于卷积神经网络和maml算法的类圆目标检测方法
CN116229419B (zh) 一种行人检测方法及装置
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN116912645A (zh) 融合纹理和几何特征的三维目标检测方法及装置
CN116643291A (zh) 一种视觉与激光雷达联合剔除动态目标的slam方法
CN116403200A (zh) 基于硬件加速的车牌实时识别系统
CN106651950B (zh) 一种基于二次曲线透视投影不变性的单相机位姿估计方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant