CN113276106B - 一种攀爬机器人空间定位方法及空间定位系统 - Google Patents

一种攀爬机器人空间定位方法及空间定位系统 Download PDF

Info

Publication number
CN113276106B
CN113276106B CN202110368862.XA CN202110368862A CN113276106B CN 113276106 B CN113276106 B CN 113276106B CN 202110368862 A CN202110368862 A CN 202110368862A CN 113276106 B CN113276106 B CN 113276106B
Authority
CN
China
Prior art keywords
dimensional code
information
coordinate system
mark
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110368862.XA
Other languages
English (en)
Other versions
CN113276106A (zh
Inventor
叶文达
朱海飞
付紫杨
管贻生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Technology
Original Assignee
Guangdong University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Technology filed Critical Guangdong University of Technology
Priority to CN202110368862.XA priority Critical patent/CN113276106B/zh
Publication of CN113276106A publication Critical patent/CN113276106A/zh
Application granted granted Critical
Publication of CN113276106B publication Critical patent/CN113276106B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/1605—Simulation of manipulator lay-out, design, modelling of manipulator
    • A—HUMAN NECESSITIES
    • A47—FURNITURE; DOMESTIC ARTICLES OR APPLIANCES; COFFEE MILLS; SPICE MILLS; SUCTION CLEANERS IN GENERAL
    • A47L—DOMESTIC WASHING OR CLEANING; SUCTION CLEANERS IN GENERAL
    • A47L1/00—Cleaning windows
    • A47L1/02—Power-driven machines or devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D57/00—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track
    • B62D57/02—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members
    • B62D57/024—Vehicles characterised by having other propulsion or other ground- engaging means than wheels or endless track, alone or in addition to wheels or endless track with ground-engaging propulsion means, e.g. walking members specially adapted for moving on inclined or vertical surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • G06K17/0029—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device the arrangement being specially adapted for wireless interrogation of grouped or bundled articles tagged with wireless record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1443—Methods for optical code recognition including a method step for retrieval of the optical code locating of the code in an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1439—Methods for optical code recognition including a method step for retrieval of the optical code
    • G06K7/1452—Methods for optical code recognition including a method step for retrieval of the optical code detecting bar code edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Abstract

本发明涉及机器人的视觉定位的技术领域，更具体地，涉及一种攀爬机器人空间定位方法及空间定位系统，包括离线运行和在线运行两种模块。离线运行包括对建筑信息模型进行信息提取与运算、求解标记坐标系与世界坐标系的变换矩阵并生成人工标记信息数据库、相机标定以及手眼标定等；在线运行包括实时视频监控与图像抓取、标记检测与位姿估计、二维码标记信息数据库检索与攀爬机器人绝对位姿求解等。离线运行与在线运行结合，减少了传感器的使用，简化了算法计算过程，且每一个二维码标记都有一个独有的ID信息，单个二维码标记即可提供足够多的对应点，从而实现了攀爬机器人攀爬过程中的远程空间定位且提高了定位精度。

Description

一种攀爬机器人空间定位方法及空间定位系统
技术领域
本发明涉及机器人的视觉定位的技术领域，更具体地，涉及一种攀爬机器人空间定位方法及空间定位系统。
背景技术
随着大型玻璃幕墙在城市建筑应用的普及化，与幕墙相关的清洁、检修、维护等日常工作日益重要，而可以用于替代工人执行这些作业任务的爬壁机器人，作为一种自动化、智能化的解决方案，成为了科研院校和相关企业关注的焦点。
针对爬壁机器人的附着方式、运动方式以及机械结构，国内外的专家学者做了较多的研究，研发出了多款爬壁机器人，如钩爪式、磁吸式、气动吸附型、连杆式、无人机型，双足连杆型等。具体到爬壁机器人自我精确定位层面，研究者做出了一些有益的成果，并尝试了红外线、超声波、WiFi、蓝牙、室内全球定位系统以及超宽带技术等多种方案，亦有研究者在技术方案中尝试融入建筑信息信息，但存在定位精度不高，机器人应用场景为单一壁面，未扩展至三维空间，获取信息有限，仅能达到米级或亚米级定位精度。
中国专利CN201410214064.1公开了一种核电站爬壁机器人三维视景仿真模拟运动方法，所述爬壁机器人吸附于核电站蒸汽发生器二次侧的筒体内壁上，建立所述筒体的桶壁、管板、传热管束以及爬壁机器人的三维模型，生成所述蒸汽发生器的三维场景；建立所述爬壁机器人在所述筒体内壁上的位置坐标；实时获得所述爬壁机器人在所述筒体内壁上的当前位置的坐标、运动状态以及各关节位姿信息；依据所述当前位置的坐标、运动状态信息和各关节位姿信息对应调整所述爬壁机器人的位置、运动状态和各关节的姿态。此方案中实时监控所述爬壁机器人的位置、运动状态和各关节位姿信息，便于精准的检测和操控，减少操控难度，实现操作人员的离线培训，但是需要使用较多的传感器，计算过程复杂，不能稳定有效地解决爬壁机器人的定位。
发明内容
本发明的目的在于克服现有技术的不足，提供一种攀爬机器人空间定位方法，减少传感器的使用，简化算法和计算，简化了定位方式，提高了定位精度，实现稳定有效的爬壁机器人空间定位。
为解决上述技术问题，本发明采用的技术方案是：
提供一种攀爬机器人空间定位方法，攀爬机器人包括机器人本体和设置于电脑端的机器人控制系统，机器人本体包括两组机器人末端，所述机器人末端设有用于行走的吸附模块，两组吸附模块均分别固定设有相机，所述吸附模块、相机均与机器人控制系统信号连接，空间定位方法包括以下步骤：
S1：基于建筑信息模型进行信息提取与运算，获得二维码标记信息数据库；所述建筑信息模型包括玻璃幕墙、杆件和若干不同的二维码标记，所述杆件连接于相邻玻璃幕墙之间，所述二维码标记设于玻璃幕墙；
S2：通过所述相机采集图像信息，经无线图像传输模块传输至机器人控制系统；
S3：对相机与机器人末端进行手眼标定，求解相机与机器人末端之间的手眼标定矩阵
Figure BDA0003008452510000021
机器人控制系统对步骤S2中所述图像信息中的二维码标记进行图像处理，获取二维码标记的ID信息，将所述二维码标记的ID信息在步骤S1所述二维码标记信息数据库中进行检索，获得标记坐标系与世界坐标系之间的变换矩阵
Figure BDA0003008452510000022
采用针孔相机模型对相机进行标定，机器人控制系统对步骤S2中所述图像信息中的二维码标记进行位姿估计，求解相机坐标系与标记坐标系之间的变换矩阵
Figure BDA0003008452510000023
S4：结合步骤S3中
Figure BDA0003008452510000024
步骤S4中
Figure BDA0003008452510000025
和步骤S5中
Figure BDA0003008452510000026
求解出攀爬机器人当前位姿矩阵
Figure BDA0003008452510000027
Figure BDA0003008452510000028
实现攀爬机器人攀爬过程中的远程空间定位。
本发明的攀爬机器人空间定位方法，包括离线运行和在线运行两种模块。离线运行包括基于建筑中常用的建筑信息模型进行信息提取与运算、求解标记坐标系与世界坐标系的变换矩阵并生成二维码标记信息数据库、相机标定以及手眼标定等；在线运行包括实时视频监控与图像抓取、标记检测与位姿估计、二维码标记信息数据库检索与攀爬机器人绝对位姿求解等。离线运行与在线运行结合，减少了传感器的使用，简化了算法计算过程，且每一个二维码标记都不同，每个二维码标记都有一个独有的ID信息，且单个二维码标记即可提供足够多的对应点，从而实现了攀爬机器人攀爬过程中的远程空间定位且提高了定位精度。
优选地，步骤S1中，所述建筑信息模型为在Autodesk Revit软件中建立的玻璃幕墙环境模型。
优选地，信息提取与运算的步骤包括：先分出各种构件类型的集合，通过类过滤器来过滤所有图元，将过滤出的图元放在收集器中，遍历收集器中所有图元，依次判断是否为玻璃幕墙、杆件以及二维码标记，分别得到类型集合；提取玻璃幕墙和杆件的几何信息及二维码标记的ID信息以及几何信息，将提取到的玻璃幕墙和杆件的几何信息存储于电脑，将提取到的二维码标记的ID信息和几何信息存储。
优选地，根据信息提取获得的二维码标记的几何信息，使用迭代就近点算法ICP算法计算标记坐标系到世界坐标系下的变换矩阵序列，与二维码标记的ID信息共同生成二维码标记信息数据库。
优选地，标记坐标系中二维码标记的四个角点与世界坐标系中二维码标记的四个角点分别组成四组对应点，标记坐标系中二维码标记的四个角点与世界坐标系中二维码标记的四个角点视为已完美配准的两组“点云”，求解标记坐标系和世界坐标系之间的变换矩阵的方法为：
计算标记坐标系下描述的四个对应点的质心位置p，世界坐标系下描述的四个对应点的质心位置p′，计算每个点的去质心坐标：
qi＝pi-p,qi′＝pi′-p′(i＝1,2,3,4)
式中，pi为标记坐标系下描述的第i个对应点的坐标，qi为标记坐标系下描述的第i个对应点的去质心坐标，pi′为世界坐标系下描述的第i个对应点的坐标，qi′为世界坐标系下描述的第i个对应点的去质心坐标；
两组“点云”经过变换后的误差E(R，t)为：
Figure BDA0003008452510000031
其中，R为旋转矩阵，t为平移向量；
使E(R，t)取得最小值，计算优化后的旋转矩阵R*：
Figure BDA0003008452510000041
根据优化后的旋转矩阵R*计算优化后的平移向量t*：
t*＝p-R*p′。
优选地，步骤S2中，具体步骤为：相机采集到图像信息后，借助RTSP(Real TimeStreaming Protocol，实时流传输)视频流网络协议，利用高频WIFI技术无线传输至机器人控制系统，电脑的控制界面实时显示当前选择相机实时监控画面。
优选地，步骤S3中，相机与机器人末端之间的手眼标定矩阵
Figure BDA0003008452510000042
的具体求解过程为：采用Eye In Hand的手眼标定方法，将标定板固定在攀爬机器人工作空间内，控制攀爬机器人末端运动至不同位置，拍摄标定板以获得不同角度下的标定图像，从而推导出相机相对于机器人末端的手眼标定矩阵
Figure BDA0003008452510000043
优选地，步骤S3中，二维码标记的ID信息的获取步骤为：
S301：系统将步骤S2中所述图像信息转化为灰度图；
S302：搜索所有灰度图中的所有二维码标记，利用自适应阈值分割二维码标记；
S303：从阈值化图像中提取二维码标记的外形轮廓，舍弃非凸多边形以及非方形轮廓；
S304：剔除与二维码标记尺寸不符的轮廓，对图像进行透视变换，得到正视图；
S305：利用最大类间差法进行阈值化，分析出二维码标记的黑白位；
S306：对黑白位进行分析，获得二维码标记的ID信息。
优选地，步骤S3中，对分别固定于两组吸附模块的两个相机进行标定，确定相机的内参矩阵K以及畸变参数，通过计算图像中每个二维码标记中心点到图像中心点的距离，选出距离最小的二维码标记作为位姿估计的唯一的二维码标记，对二维码标记的四个角点亚像素级细化，根据相机标定模型，通过二维码标记的四个角点像素坐标，求得相机坐标系与标记坐标系之间的变换矩阵
Figure BDA0003008452510000044
本发明还提供一种应用如上所述攀爬机器人空间定位方法的空间定位系统，包括攀爬机器人、电脑和二维码标记，所述攀爬机器人设有吸附模块，吸附模块设有相机、图传模块、数传模块和传感器模块，电脑设有机器人控制系统和吸附模块控制系统，吸附模块控制系统设有二维码识别模块和二维码标记信息数据库，相机与图传模块连接，传感器模块与数传模块连接，所述图传模块与数传模块均与吸附模块控制系统连接，二维码识别模块可识别二维码标记，且二维码识别模块与二维码标记信息数据库均与吸附模块控制系统连接，机器人控制系统与吸附模块控制系统连接，机器人控制系统控制攀爬机器人。
本发明的空间定位系统，相机实时采集图像信息至电脑，可对攀爬机器人工作环境实时监控，对相机进行标定，并对相机与机器人末端进行手眼标定，可获得相机与机器人末端之间的手眼标定矩阵
Figure BDA0003008452510000051
且通过二维码识别模块对二维码标记内部的黑白块进行识别，获取二维码标记的ID信息，再进入二维码标记信息数据库进行检索，可得到标记坐标系与世界坐标系之间的变换矩阵
Figure BDA0003008452510000052
且二维码识别模块对二维码标记的四个角点进行识别，且通过相机标定，获得相机坐标系与标记坐标系之间的变换矩阵
Figure BDA0003008452510000053
最终得到攀爬机器人当前位姿矩阵
Figure BDA0003008452510000054
实现攀爬机器人攀爬过程中的空间定位。
本发明的攀爬机器人空间定位方法及空间定位系统与背景技术相比，产生的有益效果为：
减少了传感器的使用，简化算法和计算，简化了定位方式，提高了定位精度，实现稳定有效的爬壁机器人空间定位。
附图说明
图1为实施例一中攀爬机器人空间定位的步骤流程图；
图2为实施例一中攀爬机器人图像处理和位姿估计的步骤流程图；
图3为实施例一中攀爬机器人的绝对位姿求解示意图；
图4为实施例二中空间定位系统的原理框图；
附图中：1-二维码标记；2-玻璃幕墙；3-攀爬机器人。
具体实施方式
下面结合具体实施方式对本发明作进一步的说明。
实施例一
一种攀爬机器人空间定位方法，攀爬机器人包括机器人本体和设置于电脑端的机器人控制系统，机器人本体包括两组机器人末端，所述机器人末端设有用于行走的吸附模块，两组吸附模块均分别固定设有相机，所述吸附模块、相机均与机器人控制系统信号连接，空间定位方法包括以下步骤：
S1：基于建筑信息模型进行信息提取与运算，获得二维码标记信息数据库；所述建筑信息模型包括玻璃幕墙(2)、杆件和若干不同的二维码标记(1)，所述杆件连接于相邻玻璃幕墙(2)之间，所述二维码标记(1)设于玻璃幕墙(2)；
S2：通过所述相机采集图像信息，经无线图像传输模块传输至机器人控制系统；
S3：对相机与机器人末端进行手眼标定求解相机与机器人末端之间的手眼标定矩阵
Figure BDA0003008452510000061
机器人控制系统对步骤S2中所述图像信息中的二维码标记进行图像处理，获取二维码标记1的ID信息，将所述二维码标记1的ID信息在步骤S1所述二维码标记信息数据库中进行检索，获得标记坐标系与世界坐标系之间的变换矩阵
Figure BDA0003008452510000062
采用针孔相机模型对相机进行标定，机器人控制系统对步骤S2中所述图像信息中的二维码标记1进行位姿估计，求解相机坐标系与标记坐标系之间的变换矩阵
Figure BDA0003008452510000063
S4：结合步骤S3中
Figure BDA0003008452510000064
步骤S4中
Figure BDA0003008452510000065
和步骤S5中
Figure BDA0003008452510000066
如图3所示，求解出攀爬机器人3当前位姿矩阵
Figure BDA0003008452510000067
Figure BDA0003008452510000068
实现攀爬机器人3攀爬过程中的远程空间定位。
上述的攀爬机器人空间定位方法，包括离线运行和在线运行两种模块。离线运行包括基于建筑中常用的建筑信息模型进行信息提取与运算、求解标记坐标系与世界坐标系的变换矩阵并生成二维码标记信息数据库、相机标定以及手眼标定等；在线运行包括实时视频监控与图像抓取、标记检测与位姿估计、二维码标记信息数据库检索与攀爬机器人3绝对位姿求解等。离线运行与在线运行结合，减少了传感器的使用，简化了算法计算过程，且每一个二维码标记1都不同，每个二维码标记1都有一个独有的ID信息，且单个二维码标记1即可提供足够多的对应点，从而实现了攀爬机器人3攀爬过程中的远程空间定位且提高了定位精度。
步骤S1中，建筑信息模型为在Autodesk Revit软件中建立的玻璃幕墙环境模型。
信息提取与运算的步骤包括：先分出各种构件类型的集合，通过类过滤器来过滤所有图元，将过滤出的图元放在收集器中，遍历收集器中所有图元，依次判断是否为玻璃幕墙2、杆件以及二维码标记1，分别得到类型集合，提取玻璃幕墙2和杆件的几何信息及二维码标记1的ID信息以及几何信息，将提取到的玻璃幕墙2和杆件的几何信息存储于电脑，将提取到的二维码标记1的ID信息和几何信息存储。
根据信息提取获得的二维码标记1的几何信息，如图1所示，使用迭代就近点算法ICP算法计算标记坐标系到世界坐标系下的变换矩阵序列，与二维码标记1的ID信息共同生成二维码标记信息数据库。
二维码标记1的边框几何数据即标记在世界坐标系下的集合描述已通过建筑信息模型提取获得，而二维码标记1在标记坐标系下的几何描述已知，标记坐标系中二维码标记1的四个角点与世界坐标系中二维码标记1的四个角点分别组成四组对应点，标记坐标系中二维码标记1的四个角点与世界坐标系中二维码标记1的四个角点视为已完美配准的两组“点云”，求解标记坐标系和世界坐标系之间的变换矩阵的方法为：
计算标记坐标系下描述的四个对应点的质心位置p，世界坐标系下描述的四个对应点的质心位置p′，计算每个点的去质心坐标：
qi＝pi-p,qi′＝pi′-p′(i＝1,2,3,4)
式中，pi为标记坐标系下描述的第i个对应点的坐标，qi为标记坐标系下描述的第i个对应点的去质心坐标，pi′为世界坐标系下描述的第i个对应点的坐标，qi′为世界坐标系下描述的第i个对应点的去质心坐标；
两组“点云”经过变换后的误差E(R，t)为：
Figure BDA0003008452510000071
其中，R为旋转矩阵，t为平移向量；
使E(R，t)取得最小值，计算优化后的旋转矩阵R*：
Figure BDA0003008452510000072
根据优化后的旋转矩阵R*计算优化后的平移向量t*：
t*＝p-R*p′。
步骤S2中，具体步骤为：相机采集到图像信息后，借助RTSP视频流网络协议，利用高频WIFI技术无线传输至机器人控制系统，电脑的控制界面实时显示当前选择相机实时监控画面，当切换吸附模块时，相机与实时监控画面同步切换。
步骤S3中，相机与机器人末端之间的手眼标定矩阵
Figure BDA0003008452510000081
的具体求解过程为：
相机安装于机器人末端，跟随机器人末端运动，因此采用Eye In Hand的手眼标定方法，攀爬机器人3通过安装在末端的相机采集图像信息，相机与机器人末端的相对位置保持不变，将标定板固定在攀爬机器人3工作空间内，控制机器人末端运动至不同位置，拍摄标定板以获得不同角度下的标定图像，分别获得两个相机到机器人末端的变换矩阵T1和T2，从而推导出相机相对于末端的手眼标定矩阵
Figure BDA0003008452510000082
步骤S3中，如图2所示，二维码标记1的ID信息的获取步骤为：
S301：系统将步骤S2中所述图像信息转化为灰度图；
S302：搜索所有灰度图中的所有二维码标记1，利用自适应阈值分割二维码标记1；
S303：从阈值化图像中提取二维码标记1的外形轮廓，舍弃非凸多边形以及非方形轮廓；
S304：剔除与二维码标记1的尺寸不符的轮廓，对图像进行透视变换，得到正视图；
S305：利用最大类间差法进行阈值化，分析出二维码标记1的黑白位；
S306：对黑白位进行分析，获得二维码标记1的ID信息。
步骤S3中，采用针孔相机模型对分别固定于两组吸附模块的两个相机进行标定，确定相机的内参矩阵K以及畸变参数；
Puv＝KTPw
其中，Puv为标记投影后在像素坐标系下的像素坐标，Pw为标记在世界坐标系中的坐标，而K则为相机的内参矩阵，T为相机外参矩阵，包括相机坐标系到标记坐标系的旋转矩阵R和平移矩阵T。相机标定是确定相机的内参矩阵K以及畸变参数，最终获得两个相机的内参矩阵和畸变矩阵分别为：
Figure BDA0003008452510000091
D1＝(k1,k2,k3,p1,p2)
Figure BDA0003008452510000092
D2＝(k1′,k2′,k3′,p1′,p2′)
式中，fx和fy表示焦距，cx和cy表示像素坐标系与成像平面之间坐标轴的平移像素值，K1和K2分别表示两个相机的内参矩阵，D1和D2分别表示两个相机的畸变矩阵。
如图2所示，通过计算图像中每个二维码标记1的中心点到图像中心点的距离，选出距离最小的二维码标记1作为位姿估计的唯一的二维码标记1，对二维码标记1的四个角点亚像素级细化，根据相机标定模型，通过二维码标记1的四个角点像素坐标，求得相机坐标系与标记坐标系之间的变换矩阵
Figure BDA0003008452510000093
实施例二
一种应用如上所述攀爬机器人空间定位方法的空间定位系统，如图4所示，包括攀爬机器人3、电脑和二维码标记1，攀爬机器人3设有吸附模块，吸附模块设有相机、图传模块、数传模块和传感器模块，电脑设有机器人控制系统和吸附模块控制系统，吸附模块控制系统设有二维码识别模块和二维码标记信息数据库，相机与图传模块连接，传感器模块与数传模块连接，图传模块与数传模块均与吸附模块控制系统连接，二维码识别模块可识别所述二维码标记1，且二维码识别模块与二维码标记信息数据库均与吸附模块控制系统连接，机器人控制系统与吸附模块控制系统连接，机器人控制系统控制攀爬机器人3。
本发明的空间定位系统，相机实时采集图像信息至电脑，可对攀爬机器人3工作环境实时监控，对相机进行标定，并对相机与机器人末端进行手眼标定，可获得相机与机器人末端之间的手眼标定矩阵
Figure BDA0003008452510000094
且通过二维码识别模块对二维码标记1内部的黑白块进行识别，获取二维码标记1的ID信息，再进入二维码标记信息数据库进行检索，可得到标记坐标系与世界坐标系之间的变换矩阵
Figure BDA0003008452510000095
且二维码识别模块对二维码标记1四个角点进行识别，且通过相机标定，获得相机坐标系与标记坐标系之间的变换矩阵
Figure BDA0003008452510000101
最终得到攀爬机器人3当前位姿矩阵
Figure BDA0003008452510000102
实现攀爬机器人3攀爬过程中的空间定位。
在上述具体实施方式的具体内容中，各技术特征可以进行任意不矛盾的组合，为使描述简洁，未对上述各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。

Claims (10)

1.一种攀爬机器人空间定位方法，攀爬机器人包括机器人本体和设置于电脑端的机器人控制系统，机器人本体包括两组机器人末端，所述机器人末端设有用于行走的吸附模块，两组吸附模块均分别固定设有相机，所述吸附模块、相机均与机器人控制系统信号连接，其特征在于，空间定位方法包括以下步骤：
S1：基于建筑信息模型进行信息提取与运算，获得二维码标记信息数据库；所述建筑信息模型包括玻璃幕墙(2)、杆件和若干不同的二维码标记(1)，所述杆件连接于相邻玻璃幕墙(2)之间，所述二维码标记(1)设于玻璃幕墙(2)；
S2：通过所述相机采集图像信息，经无线图像传输模块传输至机器人控制系统；
S3：对相机与机器人末端进行手眼标定，求解相机与机器人末端之间的手眼标定矩阵
Figure FDA0003008452500000011
机器人控制系统对步骤S2中所述图像信息中的二维码标记进行图像处理，获取二维码标记(1)的ID信息，将所述二维码标记(1)的ID信息在步骤S1所述二维码标记信息数据库中进行检索，获得标记坐标系与世界坐标系之间的变换矩阵
Figure FDA0003008452500000012
采用针孔相机模型对相机进行标定，机器人控制系统对步骤S2中所述图像信息中的二维码标记(1)进行位姿估计，求解相机坐标系与标记坐标系之间的变换矩阵
Figure FDA0003008452500000013
S4：结合步骤S3中
Figure FDA0003008452500000014
步骤S4中
Figure FDA0003008452500000015
和步骤S5中
Figure FDA0003008452500000016
求解出攀爬机器人(3)当前位姿矩阵
Figure FDA0003008452500000017
Figure FDA0003008452500000018
实现攀爬机器人(3)攀爬过程中的远程空间定位。
2.根据权利要求1所述的攀爬机器人空间定位方法，其特征在于，步骤S1中，所述建筑信息模型为在Autodesk Revit软件中建立的玻璃幕墙环境模型。
3.根据权利要求2所述的攀爬机器人空间定位方法，其特征在于，步骤S1中，信息提取与运算的步骤包括：先分出各种构件类型的集合，通过类过滤器来过滤所有图元，将过滤出的图元放在收集器中，遍历收集器中所有图元，依次判断是否为玻璃幕墙(2)、杆件以及二维码标记(1)，分别得到类型集合，提取玻璃幕墙(2)和杆件的几何信息及二维码标记(1)的ID信息和几何信息，将提取到的玻璃幕墙(2)和杆件的几何信息存储于电脑，将提取到的二维码标记(1)的ID信息和几何信息存储。
4.根据权利要求3所述的攀爬机器人空间定位方法，其特征在于，步骤S1中，根据信息提取获得的二维码标记(1)的几何信息，使用迭代就近点算法ICP算法计算标记坐标系到世界坐标系下的变换矩阵序列，与二维码标记(1)的ID信息共同生成二维码标记信息数据库。
5.根据权利要求4所述的攀爬机器人空间定位方法，其特征在于，标记坐标系中二维码标记的四个角点与世界坐标系中二维码标记的四个角点分别组成四组对应点，标记坐标系中二维码标记的四个角点与世界坐标系中二维码标记的四个角点视为已完美配准的两组“点云”，求解标记坐标系和世界坐标系之间的变换矩阵的方法为：
计算标记坐标系下描述的四个对应点的质心位置p，世界坐标系下描述的四个对应点的质心位置p′，计算每个点的去质心坐标：
qi＝pi-p,qi′＝pi′-p′(i＝1,2,3,4)
式中，pi为标记坐标系下描述的第i个对应点的坐标，qi为标记坐标系下描述的第i个对应点的去质心坐标，pi′为世界坐标系下描述的第i个对应点的坐标，qi′为世界坐标系下描述的第i个对应点的去质心坐标；
两组“点云”经过变换后的误差E(R，t)为：
Figure FDA0003008452500000021
其中，R为旋转矩阵，t为平移向量；
使E(R，t)取得最小值，计算优化后的旋转矩阵R*：
Figure FDA0003008452500000022
根据优化后的旋转矩阵R*计算优化后的平移向量t*：
t*＝p-R*p′。
6.根据权利要求1所述的攀爬机器人空间定位方法，其特征在于，步骤S2中，具体步骤为：相机采集到图像信息后，借助RTSP视频流网络协议，利用高频WIFI技术无线传输至机器人控制系统，电脑的控制界面实时显示当前选择相机实时监控画面。
7.根据权利要求6所述的攀爬机器人空间定位方法，其特征在于，步骤S3中，相机与机器人末端之间的手眼标定矩阵
Figure FDA0003008452500000031
的具体求解过程为：采用Eye In Hand的手眼标定方法，控制机器人末端运动至不同位置，拍摄获得不同角度下的标定图像，从而推导出相机相对于机器人末端的手眼标定矩阵
Figure FDA0003008452500000032
8.根据权利要求7所述的攀爬机器人空间定位方法，其特征在于，步骤S3中，二维码标记的ID信息的获取步骤为：
S301：系统将步骤S2中所述图像信息转化为灰度图；
S302：搜索所有灰度图中的所有二维码标记，利用自适应阈值分割二维码标记；
S303：从阈值化图像中提取二维码标记的外形轮廓，舍弃非凸多边形以及非方形轮廓；
S304：剔除与二维码标记的尺寸不符的轮廓，对图像进行透视变换，得到正视图；
S305：利用最大类间差法进行阈值化，分析出二维码标记的黑白位；
S306：对黑白位进行分析，获得二维码标记的ID信息。
9.根据权利要求8所述的攀爬机器人空间定位方法，其特征在于，步骤S3中，对分别固定于两组吸附模块的两个相机进行标定，确定相机的内参矩阵K以及畸变参数，通过计算图像中每个二维码标记中心点到图像中心点的距离，选出距离最小的二维码标记作为位姿估计的唯一的二维码标记，对二维码标记的四个角点亚像素级细化，根据相机标定模型，通过二维码标记的四个角点像素坐标，求得相机坐标系与标记坐标系之间的变换矩阵
Figure FDA0003008452500000033
10.一种应用权利要求1～9任一项所述的攀爬机器人空间定位方法的空间定位系统，其特征在于，包括攀爬机器人、电脑和二维码标记，所述攀爬机器人设有吸附模块，吸附模块设有相机、图传模块、数传模块和传感器模块，电脑设有机器人控制系统和吸附模块控制系统，吸附模块控制系统设有二维码识别模块和二维码标记信息数据库，相机与图传模块连接，传感器模块与数传模块连接，所述图传模块与数传模块均与吸附模块控制系统连接，二维码识别模块可识别二维码标记，且二维码识别模块与二维码标记信息数据库均与吸附模块控制系统连接，机器人控制系统与吸附模块控制系统连接，机器人控制系统控制攀爬机器人。
CN202110368862.XA 2021-04-06 2021-04-06 一种攀爬机器人空间定位方法及空间定位系统 Active CN113276106B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110368862.XA CN113276106B (zh) 2021-04-06 2021-04-06 一种攀爬机器人空间定位方法及空间定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110368862.XA CN113276106B (zh) 2021-04-06 2021-04-06 一种攀爬机器人空间定位方法及空间定位系统

Publications (2)

Publication Number Publication Date
CN113276106A CN113276106A (zh) 2021-08-20
CN113276106B true CN113276106B (zh) 2022-06-03

Family

ID=77276242

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110368862.XA Active CN113276106B (zh) 2021-04-06 2021-04-06 一种攀爬机器人空间定位方法及空间定位系统

Country Status (1)

Country Link
CN (1) CN113276106B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113674362B (zh) * 2021-08-24 2023-06-27 北京理工大学 一种基于空间调制的室内成像定位方法及系统
CN114019963B (zh) * 2021-10-27 2023-06-30 西北工业大学 一种面向桌面集群机器人的外部定位系统
CN113706621B (zh) * 2021-10-29 2022-02-22 上海景吾智能科技有限公司 基于带标记图像的标志点定位及姿态获取方法和系统
CN114972509B (zh) * 2022-05-26 2023-09-29 北京利君成数字科技有限公司 一种快速识别餐具位置的方法
CN116605326B (zh) * 2023-05-16 2023-11-07 南通唐人电子科技有限公司 一种以缆绳机构控制的爬壁机器人的操控方法
CN116604555B (zh) * 2023-05-17 2024-01-05 武汉纺织大学 一种双臂仿人智能叠衣机器人
CN116499470B (zh) * 2023-06-28 2023-09-05 苏州中德睿博智能科技有限公司 环视相机定位系统优化控制方法、装置及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104149081A (zh) * 2014-07-28 2014-11-19 广东工业大学 一种模块化的手持式双操作端主机器人
CN105539624A (zh) * 2015-12-30 2016-05-04 广东出入境检验检疫局检验检疫技术中心 一种金属表面攀爬检测机器人
CN109048893A (zh) * 2018-07-27 2018-12-21 浙江工业大学 一种基于单目rgb相机的机械臂定位方法
CN110555889A (zh) * 2019-08-27 2019-12-10 西安交通大学 一种基于CALTag和点云信息的深度相机手眼标定方法
CN110695993A (zh) * 2019-09-27 2020-01-17 哈尔滨工业大学（深圳） 一种柔性机械臂同步测量方法、系统及装置
CN110842914A (zh) * 2019-10-15 2020-02-28 上海交通大学 基于差分进化算法的手眼标定参数辨识方法、系统及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3779308B2 (ja) * 2004-07-21 2006-05-24 独立行政法人科学技術振興機構 カメラ校正システム及び三次元計測システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104149081A (zh) * 2014-07-28 2014-11-19 广东工业大学 一种模块化的手持式双操作端主机器人
CN105539624A (zh) * 2015-12-30 2016-05-04 广东出入境检验检疫局检验检疫技术中心 一种金属表面攀爬检测机器人
CN109048893A (zh) * 2018-07-27 2018-12-21 浙江工业大学 一种基于单目rgb相机的机械臂定位方法
CN110555889A (zh) * 2019-08-27 2019-12-10 西安交通大学 一种基于CALTag和点云信息的深度相机手眼标定方法
CN110695993A (zh) * 2019-09-27 2020-01-17 哈尔滨工业大学（深圳） 一种柔性机械臂同步测量方法、系统及装置
CN110842914A (zh) * 2019-10-15 2020-02-28 上海交通大学 基于差分进化算法的手眼标定参数辨识方法、系统及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
双足爬壁机器人吸附模块位姿的检测;张联盟 等;《机器人》;20121130;758-763 *

Also Published As

Publication number Publication date
CN113276106A (zh) 2021-08-20

Similar Documents

Publication Publication Date Title
CN113276106B (zh) 一种攀爬机器人空间定位方法及空间定位系统
CN111775146B (zh) 一种工业机械臂多工位作业下的视觉对准方法
CN112476434B (zh) 一种基于协作机器人的视觉3d取放方法及系统
CN107590835B (zh) 一种核环境下机械臂工具快换视觉定位系统与定位方法
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN110728715B (zh) 一种智能巡检机器人摄像机角度自适应调整方法
CN107618030B (zh) 基于视觉的机器人动态跟踪抓取方法及系统
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN108161931A (zh) 基于视觉的工件自动识别及智能抓取系统
Zou et al. An end-to-end calibration method for welding robot laser vision systems with deep reinforcement learning
CN110751691B (zh) 一种基于双目视觉的管件自动抓取方法
CN104626206A (zh) 一种非结构环境下机器人作业的位姿信息测量方法
CN111897349A (zh) 一种基于双目视觉的水下机器人自主避障方法
CN112949478A (zh) 基于云台相机的目标检测方法
CN110434516A (zh) 一种智能焊接机器人系统及焊接方法
CN110900611A (zh) 一种新型机械臂目标定位及路径规划方法
CN111151463A (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
CN111823223A (zh) 一种基于智能立体视觉的机器人手臂抓取控制系统及方法
CN111300384B (zh) 一种基于标识卡运动的机器人增强现实示教的注册系统及方法
CN112906797A (zh) 一种基于计算机视觉和深度学习的平面抓取检测方法
CN113379849A (zh) 基于深度相机的机器人自主识别智能抓取方法及系统
CN111958593B (zh) 一种语义智能变电站巡视作业机器人视觉伺服方法及系统
CN114851201A (zh) 一种基于tsdf三维重建的机械臂六自由度视觉闭环抓取方法
CN112288815A (zh) 一种目标模位置测量方法、系统、存储介质及设备
CN114299039B (zh) 一种机器人及其碰撞检测装置和方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant