CN114019963B - 一种面向桌面集群机器人的外部定位系统 - Google Patents

一种面向桌面集群机器人的外部定位系统 Download PDF

Info

Publication number
CN114019963B
CN114019963B CN202111251425.6A CN202111251425A CN114019963B CN 114019963 B CN114019963 B CN 114019963B CN 202111251425 A CN202111251425 A CN 202111251425A CN 114019963 B CN114019963 B CN 114019963B
Authority
CN
China
Prior art keywords
robot
robots
positioning
dimensional code
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111251425.6A
Other languages
English (en)
Other versions
CN114019963A (zh
Inventor
彭星光
郑志成
周永健
宋保维
潘光
李乐
张福斌
高剑
张立川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northwestern Polytechnical University
Original Assignee
Northwestern Polytechnical University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northwestern Polytechnical University filed Critical Northwestern Polytechnical University
Priority to CN202111251425.6A priority Critical patent/CN114019963B/zh
Publication of CN114019963A publication Critical patent/CN114019963A/zh
Application granted granted Critical
Publication of CN114019963B publication Critical patent/CN114019963B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0253Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting relative motion information from a plurality of images taken successively, e.g. visual odometry, optical flow
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0259Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means
    • G05D1/0261Control of position or course in two dimensions specially adapted to land vehicles using magnetic or electromagnetic means using magnetic plots
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Numerical Control (AREA)

Abstract

本发明公开了一种面向桌面集群机器人的外部定位系统,定位系统硬件上由计算机、工业相机、若干个射频无线通信模块组成。工业相机用于获取实验场地的全部信息,计算机负责解算工业相机所拍摄的图像获得场地内所有集群机器人的位姿信息,射频无线通信模块负责与机器人进行通信。为了与不同的机器人进行通信,射频无线通信模块采用分频复用的方式。工业相机与计算机之间采用USB3.0接口连接,射频无线通信模块与计算机之间以RS232串行接口连接。实验系统工作时,工业相机架设于实验场地的顶部,从顶部俯视实验场地,计算机从工业相机获取一帧图像并对场地内机器人的位置、航向角等信息进行解算。在外部定位系统工作时,系统对实验场地内集群机器人的位置、航向的定位后,将所有机器人的位姿信息通过射频无线通信模块下发给每个机器人。

Description

一种面向桌面集群机器人的外部定位系统
技术领域
本发明属于机器人技术领域,具体涉及一种面向桌面集群机器人的外部定位系统。
背景技术
机器人系统是由机器人和作业对象及环境共同构成的整体,其中包括机械系统、驱动系统、控制系统和感知系统四大部分,具备如感知能力、规划能力等,是一种具有高度灵活性的自动化机器。
集群机器人能够通过自组织协同控制方式使多机器人系统具备高效完成复杂任务的能力,而该类任务是单个机器人通常无法胜任的。集群机器人受自然界生物集群现象启发,通过大量简单机器人的局部相互作用可以涌现出复杂的集群行为,并使系统具备完成复杂任务的集群智能。近年来,对生物集群行为的广泛研究产生了大量集群机器人自组织控制算法,为了验证这些控制算法的可迁移性、有效性,开展相关的集群机器人验证实验非常必要。然而,与传统的机器人实验不同,在集群机器人个体不具备自主局部感知能力时,集群实验通常以伪分布式的形式开展,即需要通过外部系统提供机器人的定位信息。因此,集群机器人实验对集群机器人的外部定位系统提出了精确、快速等要求。
发明内容
针对集群机器人实验中的特点,为对集群机器人进行精确快速定位,本文提出了一种面向桌面集群机器人的外部定位系统,该外部定位系统能够为集群机器人提供准确的位置、航向角定位,并能够计算机器人之间的相对距离,有助于完成集群机器人实验。
为实现上述目的,本发明采用的技术方案为:
本发明公开了一种面向桌面集群机器人的外部定位系统,定位系统硬件上由计算机、工业相机、若干个射频无线通信模块组成。工业相机用于获取实验场地的全部信息,计算机负责解算工业相机所拍摄的图像获得场地内所有集群机器人的位姿信息,射频无线通信模块负责与机器人进行通信。为了与不同的机器人进行通信,射频无线通信模块采用分频复用的方式。工业相机与计算机之间采用USB3.0接口连接,射频无线通信模块与计算机之间以RS232串行接口连接。实验系统工作时,工业相机架设于实验场地的顶部,从顶部俯视实验场地,计算机从工业相机获取一帧图像并对场地内机器人的位置、航向角等信息进行解算。在外部定位系统工作时,系统对实验场地内集群机器人的位置、航向的定位后,将所有机器人的位姿信息通过射频无线通信模块下发给每个机器人。
从软件功能上,外部定位系统分为机器人定位模块、数据管理模块。机器人定位模块用于对实验场地内的机器人进行定位,机器人定位模块需配合Aruco定位二维码使用,Aruco定位二维码搭载于集群机器人顶部。数据管理模块用于对集群机器人轨迹数据等进行记录,并提供历史数据查询、显示回放功能。
机器人定位模块首先利用基于YOLO的目标识别算法得到集群机器人覆盖的区域,并以矩形框表示覆盖区域的边界,随后通过opencv对该边界框的图像进行裁剪,利用opencv定位边界框中的Aruco二维码上四个顶点的坐标,最后,解算出机器人的位置、航向信息,以及机器人之间的相对距离。具体步骤如下所示:
步骤1:首先通过基于YOLO的目标识别算法识别场地内集群机器人所覆盖的范围,并利用矩形框表示覆盖范围的边界,矩形框以左上角坐标,矩形长以及矩形宽形式表示大小;
步骤2:利用opencv从整幅图像上裁剪出边界框内的图像,得到包含所有集群机器人的小尺寸图像;
步骤3:利用opencv识别出边界框内所有Aruco二维码上四个顶点的相对于矩形框图像左上角原点的局部坐标;
步骤4:将Aruco二维码四个顶点的局部坐标变换为相对于完整图像的全局坐标;
步骤5:计算机器人的位置、航向,以及机器人间的相对距离。
优选地,所述工业相机与计算机通过USB3.0接口连接,将图像传送给计算机。
优选地,机器人运动轨迹存入的数据为JSON格式。
优选地,定位二维码为Aruco定位二维码。
优选地,所述外部定位系统提供的定位信息包括但不限于位置、航向、相对距离。
本发明的有益效果在于提出了一种面向桌面集群机器人的外部定位系统,实验系统可对大场景下集群机器人进行快速定位,并能够输出机器人个体间的真实物理距离。因此,本发明对集群机器人实验具有良好的工程应用价值。
附图说明
图1为一种面向桌面集群机器人的外部定位系统结构图
图2为一种面向桌面集群机器人的外部定位系统软件模块图
图3为一种面向桌面集群机器人的外部定位系统工作流程图
图4为外部定位系统计算方法示意图
具体实施方式
现结合实施例、附图对本发明作进一步描述。
如图1所示,本发明提供了一种面向桌面集群机器人的外部定位系统,系统包括工业相机、计算机、若干射频无线通信模块。其中,工业相机应选用像素超过2000 万像素的相机,计算机应具备USB3.0通信接口以及RS232通信接口。工业相机俯视获取实验场地信息,计算机解算出机器人位置、航向信息,计算机通过射频无线通信模块与集群机器人之间进行通信。工业相机以USB3.0接口与计算机建立通信连接,射频无线通信模块以RS232接口做通信连接。相同的射频无线通信模块之间以不同的射频频率区分,每个个模块频率之间至少间隔10Hz以上,防止出现串频、扰频问题。
如图2所示,软件功能部分,实验系统的软件功能分为数据管理模块、机器人定位模块。系数据管理模块用于对数据以JSON形式保存机器人轨迹信息、航向信息等,并提供历史实验数据回放等功能。机器人定位模块为系统提供所有机器人的全局定位信息,包括机器人的位置、航向。机器人定位模块需要配合Aruco定位二维码使用, Aruco定位二维码采用预定义字典DICT_6X6_250生成。机器人定位模块工作时分为两个步骤,首先基于YOLO的视觉识别算法,识别出机器人所在的矩形范围,随后,对将图像裁剪从整幅图像中裁剪出,利用计算机识别Aruco定位二维码,具体步骤如图3所示。当获得所有机器人的位姿信息后,实验系统向所有机器人通过射频无线通信模块发送全局定位信息,包括所有机器人的位置、航向信息。
如图4所示,在机器人定位模块中,集群机器人位置、航向、相对距离的计算方法包括如下步骤:
步骤1:首先通过基于YOLO的目标识别算法识别场地内集群机器人所覆盖的范围,并利用矩形框表示覆盖范围的边界,矩形框以左上角坐标,矩形长以及矩形宽形式表示大小;
步骤2:利用opencv从整幅图像上裁剪出边界框内的图像,得到包含所有集群机器人的小尺寸图像;
步骤3:利用opencv识别出边界框内所有Aruco二维码上四个顶点的相对于矩形框图像左上角原点的局部坐标;
步骤4:将Aruco二维码四个顶点的局部坐标变换为相对于完整图像的全局坐标;
步骤5:计算机器人的位置、航向,以及机器人间的相对距离。
具体而言,当得到定位二维码四个顶点的局部坐标后,机器人位置的计算方法为:假设边界框的左上角在整幅图像坐标系中的坐标为(xb,yb),边界框内某一定位二维码的四个顶点分别为左上角(xb1,yb1),右上角(xb2,yb2),左下角(xb3,yb3),右下角(xb4,yb4)。
二维码四个顶点(x1,y1)(x2,y2)(x3,y3)(x4,y4)相对于整幅图像的全局坐标为:
Figure BDA0003322638470000051
Figure BDA0003322638470000052
以二维码的中心坐标作为机器人的位置坐标,机器人的位置坐标(xr,yr)表示为
Figure BDA0003322638470000053
当得到定位二维码后坐标后,集群机器人航向θ的计算方法为:
假设二维码左侧边延长线与图像坐标系x轴的夹角为β1,右侧边延长线与图像坐标系x轴的夹角为β2,为了减少相机畸变产生的定位误差,集群机器人航向可由两夹角的平均值求得,具体如下所示:
Figure BDA0003322638470000054
当通过上述方法得到各个机器人的位置坐标后,考虑相机的畸变均匀问题,两机器人之间的距离D的计算方法如下:
假设两机器人的距离分别是(xr1,yr1),(xr2,yr2),因此二者之间距离为
Figure BDA0003322638470000061
其中,k为像素距离和物理距离之间的比例关系。
在已知正方形二维码实际边长L的条件下,像素距离和物理距离之间的比例关系k可通过如下计算方法得到:
假设t时刻二维码四个顶点的全局坐标系为(x1,y1),(x2,y2),(x3,y3),(x4,y4),各个边的像素边长为
Figure BDA0003322638470000062
取四条边的平均值作为二维码的像素变长lr
Figure BDA0003322638470000063
因此,t时刻的像素距离和物理距离之间的比例关系为
Figure BDA0003322638470000064
为了得到较为准确的像素距离和物理距离之间的比例关系k,考虑T=n·t时间上的平均值,作为k的最终值,k的计算方法可表示为:
Figure BDA0003322638470000065

Claims (6)

1.一种面向桌面集群机器人的外部定位系统,其特征在于,定位系统硬件上由计算机、工业相机、若干个射频无线通信模块组成,并配合Aruco二维码使用;
所述工业相机用于获取实验场地的全部信息,工业相机架设于实验场地的顶部,从顶部俯视实验场地;
所述计算机负责解算工业相机所拍摄的图像获得场地内所有集群机器人的位姿信息;计算机从软件功能上,分为机器人定位模块、数据管理模块;机器人定位模块用于对实验场地内的机器人进行定位,机器人定位模块需配合Aruco定位二维码使用,Aruco定位二维码搭载于集群机器人顶部;数据管理模块用于对集群机器人轨迹数据等进行记录,并提供历史数据查询、显示回放功能;
所述射频无线通信模块负责与机器人进行通信;为了与不同的机器人进行通信,射频无线通信模块采用分频复用的方式;在外部定位系统工作时,系统对实验场地内集群机器人的位置、航向的定位后,将所有机器人的位姿信息通过射频无线通信模块下发给每个机器人。
2.一种应用于面向桌面集群机器人外部定位系统的定位方法,包括集群机器人位置、航向的计算方法,包括如下步骤:
步骤1:首先通过基于YOLO的目标识别算法识别场地内集群机器人所覆盖的范围,并利用矩形框表示覆盖范围的边界,矩形框以左上角坐标,矩形长以及矩形宽形式表示大小;
步骤2:利用opencv从整幅图像上裁剪出边界框内的图像,得到包含所有集群机器人的小尺寸图像;
步骤3:利用opencv识别出边界框内所有Aruco二维码上四个顶点的相对于矩形框图像左上角原点的局部坐标;
步骤4:将Aruco二维码四个顶点的局部坐标变换为相对于完整图像的全局坐标;
具体而言,当得到定位二维码四个顶点的局部坐标后,机器人位置的计算方法为:
假设边界框的左上角在整幅图像坐标系中的坐标为(xb,yb),边界框内某一定位二维码的四个顶点分别为左上角(xb1,yb1),右上角(xb2,yb2),左下角(xb3,yb3),右下角(xb4,yb4);
二维码四个顶点(x1,y1)(x2,y2)(x3,y3)(x4,y4)相对于整幅图像的全局坐标为:
Figure FDA0003322638460000021
Figure FDA0003322638460000022
以二维码的中心坐标作为机器人的位置坐标,机器人的位置坐标(xr,yr)表示为
Figure FDA0003322638460000023
当得到定位二维码后坐标后,集群机器人航向θ的计算方法为:
假设二维码左侧边延长线与图像坐标系x轴的夹角为β1,右侧边延长线与图像坐标系x轴的夹角为β2,为了减少相机畸变产生的定位误差,集群机器人航向可由两夹角的平均值求得,具体如下所示:
Figure FDA0003322638460000024
3.一种机器人之间的相对距离计算方法,其计算步骤如下:
当得到各个机器人的位置坐标后,考虑相机的畸变不均匀的问题,两机器人之间的距离D的计算方法如下:
假设两机器人的距离分别是(xr1,yr1),(xr2,yr2),因此二者之间距离为
Figure FDA0003322638460000025
其中,k为像素距离和物理距离直接的比例关系;
在已知正方形二维码实际边长L的条件下,像素距离与物理距离之间的比例关系k可通过如下计算方法得到:
假设t时刻二维码四个顶点的全局坐标系为(x1,y1),(x2,y2),(x3,y3),(x4,y4),各个边的像素边长为
Figure FDA0003322638460000031
取四条边的平均值作为二维码的像素变长lr
Figure FDA0003322638460000032
因此,t时刻的像素距离和物理距离直接的比例关系为
Figure FDA0003322638460000033
为了得到较为准确的像素距离和物理距离直接的比例关系k,考虑T=n·t时间上的平均值,作为k的最终值,k的计算方法可表示为:
Figure FDA0003322638460000034
4.根据权利要求1所述的一种面向桌面集群机器人的外部定位系统,其特征在于,工业相机与计算机之间采用USB3.0接口连接,射频无线通信模块与计算机之间以RS232串行接口连接。
5.根据权利要求1所述的一种面向桌面集群机器人的外部定位系统,其特征在于,必须配合Aruco定位二维码使用。
6.根据权利要求1所述的一种面向桌面集群机器人的外部定位系统,其特征在于,所述的定位信息包括但不限于位置、航向角、相对距离。
CN202111251425.6A 2021-10-27 2021-10-27 一种面向桌面集群机器人的外部定位系统 Active CN114019963B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111251425.6A CN114019963B (zh) 2021-10-27 2021-10-27 一种面向桌面集群机器人的外部定位系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111251425.6A CN114019963B (zh) 2021-10-27 2021-10-27 一种面向桌面集群机器人的外部定位系统

Publications (2)

Publication Number Publication Date
CN114019963A CN114019963A (zh) 2022-02-08
CN114019963B true CN114019963B (zh) 2023-06-30

Family

ID=80057771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111251425.6A Active CN114019963B (zh) 2021-10-27 2021-10-27 一种面向桌面集群机器人的外部定位系统

Country Status (1)

Country Link
CN (1) CN114019963B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN110262507A (zh) * 2019-07-04 2019-09-20 杭州蓝芯科技有限公司 一种基于5g通信的相机阵列机器人定位方法及装置
CN111768453A (zh) * 2020-07-17 2020-10-13 哈尔滨工业大学 航天器集群地面模拟系统中导航定位装置与方法
CN113276106A (zh) * 2021-04-06 2021-08-20 广东工业大学 一种攀爬机器人空间定位方法及空间定位系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015024407A1 (zh) * 2013-08-19 2015-02-26 国家电网公司 基于电力机器人的双目视觉导航系统及方法
CN110262507A (zh) * 2019-07-04 2019-09-20 杭州蓝芯科技有限公司 一种基于5g通信的相机阵列机器人定位方法及装置
CN111768453A (zh) * 2020-07-17 2020-10-13 哈尔滨工业大学 航天器集群地面模拟系统中导航定位装置与方法
CN113276106A (zh) * 2021-04-06 2021-08-20 广东工业大学 一种攀爬机器人空间定位方法及空间定位系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
快件分拣机器人导航定位系统的研究;周建浩;董小雷;赵丽宏;;机械工程与自动化(第03期);全文 *

Also Published As

Publication number Publication date
CN114019963A (zh) 2022-02-08

Similar Documents

Publication Publication Date Title
US11361469B2 (en) Method and system for calibrating multiple cameras
Wan et al. Teaching robots to do object assembly using multi-modal 3d vision
CN112017240B (zh) 一种面向无人叉车的托盘识别定位方法
CN110874100A (zh) 用于使用视觉稀疏地图进行自主导航的系统和方法
CN110281231B (zh) 无人化fdm增材制造的移动机器人三维视觉抓取方法
WO2023005384A1 (zh) 可移动设备的重定位方法及装置
Kästner et al. A 3d-deep-learning-based augmented reality calibration method for robotic environments using depth sensor data
CN112509145B (zh) 基于三维视觉的物料分拣方法和装置
Chen et al. Projection-based augmented reality system for assembly guidance and monitoring
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
Assadzadeh et al. Excavator 3D pose estimation using deep learning and hybrid datasets
CN207976755U (zh) 一种基于机器视觉和plc的钢材仓储控制系统
US20220184808A1 (en) Motion trajectory planning method for robotic manipulator, robotic manipulator and computer-readable storage medium
EP3825804A1 (en) Map construction method, apparatus, storage medium and electronic device
CN114660579A (zh) 一种全自动激光雷达与相机标定方法
CN114019963B (zh) 一种面向桌面集群机器人的外部定位系统
CN115439821A (zh) 基于多目视觉agv的定位与跟踪方法及系统
CN115902977A (zh) 基于视觉和gps的变电站机器人双重定位方法及系统
EP3985609A1 (en) Positioning system and method for determining the three-dimensional position of a movable object
CN108958296A (zh) 一种无人机自主跟踪方法
WO2021217444A1 (zh) 深度图生成方法、电子设备、计算处理设备及存储介质
CN109934155B (zh) 一种基于深度视觉的协作机器人手势识别方法及装置
KR20220144456A (ko) Svm 원 영상을 기반으로 근접 주행 환경을 인식하는 방법 및 시스템
Gallage et al. Codesign of edge intelligence and automated guided vehicle control
Fu et al. Costmap construction and pseudo-lidar conversion method of mobile robot based on monocular camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant