CN110560373B - 一种多机器人协作分拣运输方法及系统 - Google Patents

一种多机器人协作分拣运输方法及系统 Download PDF

Info

Publication number
CN110560373B
CN110560373B CN201910822257.8A CN201910822257A CN110560373B CN 110560373 B CN110560373 B CN 110560373B CN 201910822257 A CN201910822257 A CN 201910822257A CN 110560373 B CN110560373 B CN 110560373B
Authority
CN
China
Prior art keywords
robot
point
camera
sorting
artag
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910822257.8A
Other languages
English (en)
Other versions
CN110560373A (zh
Inventor
毛建旭
彭永志
王耀南
刘彩苹
朱青
邹智强
张猛
杨琴
代扬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hunan University
Original Assignee
Hunan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hunan University filed Critical Hunan University
Priority to CN201910822257.8A priority Critical patent/CN110560373B/zh
Publication of CN110560373A publication Critical patent/CN110560373A/zh
Application granted granted Critical
Publication of CN110560373B publication Critical patent/CN110560373B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B07—SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07C—POSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C3/00—Sorting according to destination
    • B07C3/008—Means for collecting objects, e.g. containers for sorted mail items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种多机器人协作分拣运输方法及系统，包括提出ARtag码识别、多相机融合定位和运动补偿相结合的方法完成对多移动机器人的实时识别与定位；同时采用卷积神经网络模型对目标物料进行识别分类，并通过相机定位获得目标的位置信息；接着根据实际需求和物料目标的类别以及位置信息完成分拣机器人、运输机器人的任务分配，最后通过路径规划算法、TCP协议驱动和PID闭环控制算法实时无线控制机器人协作完成分拣运输工作，极大提高了分拣运输效率，并在相对复杂的环境下也有良好的稳定性，具有识别定位准确、分拣效率高且搬运能力强的优点。

Description

一种多机器人协作分拣运输方法及系统
技术领域
本发明涉及视觉分拣运输技术领域，特别是涉及一种多机器人协作分拣运输方法及系统。
背景技术
随着工业发展，物料分拣搬运的自动化需求不断增加。基于视觉的分拣系统主要通过将摄像头采集的图像进行处理，通过轮廓、颜色等特征提取，识别和定位目标，根据这些结果控制机器人完成对物料的分拣与搬运。这种将视觉与机器人相结合的方法，具有速度快、灵活性强、高可靠等特点。
然而，对于工作环境较复杂情况下的识别、定位精度有待提高，同时对于种类多、分布密集的物料分拣时，单个机器人的分拣效率低，且搬运能力有限。
故此，如何研发一套识别定位准确、分拣效率高且搬运能力强的多机器人协作分拣运输方法及系统，成了本领域技术人员亟需解决的问题。
发明内容
有鉴于此，本发明提出一种多机器人协作分拣运输方法及系统，能在较复杂的工作环境下提高识别、定位精度并且能够高效、稳定完成对于种类多、分布密集物料的分拣运输。
一方面，本发明提供了一种多机器人协作分拣运输方法，包括以下步骤：
S1，构建图像采集单元
所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头，用于对工作场地进行监控，多个所述网络监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器；
S2，构建任务控制执行单元
所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人均在工作场地的监控区域内移动，并受控于中央处理服务器；
S3，通过图像采集单元采集工作场地图像；
S4，进行相机标定及相机与物料台位置标定，得到各相机的内参数、像素平面与相机坐标系以及相机坐标系与世界坐标系的映射关系，并建立世界坐标系，同时判断标定是否成功，若是，则进入步骤S5，反之，则返回步骤S3；
S5，通过图像采集单元采集下一帧工作场地图像；
S6，利用图像采集单元采集的所有帧工作场地图像，分别对工作场地内的各机器人、物料识别与定位，具体步骤如下：
S61，分别对工作场地内各机器人贴设的ARtag码进行检测与识别，并判断是否检测识别成功，若是，则进入步骤S62，反之，则返回步骤S5；
S62，对识别到的ARtag码进行筛选、解码并匹配到目标机器人，得到在不同相机上机器人的ARtag码的像素中心坐标和世界坐标系下的姿态信息；
S63，根据得到的机器人ARtag码像素位置信息以及各相机的内参数，去除网络监控摄像头的延时影响，再通过多相机融合定位算法，实时识别并定位世界坐标系中的机器人位置；
S64，识别和定位物料台上的物料，并判断物料是否识别和定位成功，若是，则进入步骤S7，反之，则返回步骤S5；
S7，输出机器人位姿信息和物料位置信息，并根据机器人位姿信息和物料位置信息完成分拣运输任务的分配；
S8，根据工作场地内已知障碍物位置，完成各机器人的路径规划；
S9，中央处理服务器根据得到的机器人、物料位置信息作为参考信号，使用PID闭环控制算法控制各机器人按照步骤S8中规划好的路径完成分拣运输工作。
进一步地，步骤S4中相机标定及相机与物料台位置标定的具体过程如下：
S41，同一相机对不同位置、角度的同一标定拍摄多张图片进行图像采集，提取标定板内角点的世界坐标和像素坐标；
S42，通过张正友相机标定法，得到各个相机参数标定；
S43，通过步骤S41中建立的世界坐标和像素坐标，对应点对解输出相机内参矩阵、外参旋转矩阵以及平移向量；
S44，将ARtag码作为标定码，放置于物料台的边角处，多个摄像头同时采集一帧图像；
S45，对图像进行ARtag码检测识别，得到该码四个角的像素坐标并更新相机外参数；
S46，判断相机是否被移动，若是，则返回步骤S44，反之，则进入步骤S47；
S47，以该标定码中心为参考坐标系原点、物料台平面为XY平面建立参考坐标系，根据ARtag码识别结果，得到多个摄像头与该参考坐标系的转换矩阵。
进一步地，步骤S61中ARtag码进行检测与识别的具体过程如下：
S611，将采集到的所有帧工作场地图像进行阈值化，得到二值图像，接着进行轮廓检测；
S612，经过滤波筛选，定位得到有效的ARtag码所在图像中的区域；
S613，对步骤S612定位得到的区域进行仿射变换，得到ARtag码中的图案轮廓，接着读取比特位进行解码，得到图像中ARtag码对应的ID号和四个角的像素坐标，计算可得中心坐标；
S614，对每个码进行PnP解码，得到每个ARtag码在图像中的姿态；
S615，判断PnP解码是否成功，若是，则进入步骤S616；反之，则返回步骤S5；
S616，输出ARtag码ID号、中心像素坐标和ARtag码姿态。
进一步地，步骤S63中多相机融合定位算法根据多个相机的内外参数和ARtag码世界坐标中心点投影在多个相机上的像素坐标点，计算得到该ARtag码世界坐标中心点的世界坐标，具体表现为：
S631，推导相机、世界坐标系映射公式，相机标定的映射公式如下：
Figure GDA0002245439840000041
式中，P为ARtag码世界坐标中心点，n为摄像头的相机数量，Zc1、Zc2、…Zcn分别为P对于相机1、2、...n在投影点的深度信息，M1、R1、T1，M2、R2、T2，...Mn、Rn、Tn分别为相机1、2、...n的相机参数；
S632，移项、代换得到向量H，H表示为：
Figure GDA0002245439840000042
式中，I为3*3的单位矩阵，K1、K2、Kn均为中间变量，其中，
Figure GDA0002245439840000043
式中，R1 -1、R2 -1、Rn -1分别为相机外参旋转矩阵R1、R2、Rn的逆矩阵，M1 -1、M2 -1和Mn -1分别为相机内参矩阵M1、M2和Mn的逆矩阵；
S633，对向量H进行SVD分解，H表示为：
H＝UΣV* (11)
式中，U、V表示酉矩阵，Σ为半正定对角矩阵；
S634，通过如下公式计算得到ARtag码世界坐标中心点的世界坐标
Figure GDA0002245439840000044
式中，H+为H的伪逆矩阵，Q为中间变量，其表达式如下：
Figure GDA0002245439840000051
其中，B1、B2和Bn均为中间变量：
Figure GDA0002245439840000052
式中，0为三维零向量。
进一步地，所述步骤S63中通过运动补偿算法去除网络监控摄像头的延时影响，具体表现为：
(a)在完成ARtag码识别与多相机融合定位得到机器人在ts秒之前的位置ARtag码世界坐标中心点P的前提下，通过机器人上的陀螺仪传感器实时采集机器人ts秒内的线速度v(t)与角速度ω(t)，其中，t∈[0,ts]；
(b)机器人当前实际位置为：
P'＝P+Δx (14)
其中，Δx为ts秒时间段内机器人的位移，即：
Figure GDA0002245439840000053
其中，rv(t)表示机器人在ts秒内某时刻的线速度矢量，复数形式为：
rv(t)＝v(t)ejθ(t) (16)
式中，θ(t)为机器人在ts秒内某时刻的角度，且其表达式如下：
Figure GDA0002245439840000054
(c)上述为理想情况下时间连续的形式，实际上通过如下时间公式对v(t)，ω(t)进行抽样：
Figure GDA0002245439840000061
式中，N为正整数，则：
Figure GDA0002245439840000062
(d)完成运动补偿，得到当前时刻机器人的真实位置。
进一步地，所述步骤S64中识别和定位物料台上的物料，具体步骤如下：
S641，使用最靠近物料台的摄像头采集图像，并对采集到的图像进行高斯滤波预处理；
S642，根据物料台位置标定结果和物料台实际大小，对图像去背景化，并截取待检测的物料台区域图像；
S643，将待检测图像输入已经训练好的基于TensorfLow的卷积神经网络模型，进行物料的检测与识别；
S644，判断是否识别到物料，若是则进入步骤S645，反之，则返回步骤S641；
S645，在图像中框出并计算得到物料的中心点像素坐标，输出物料类别和中心点像素坐标；
S646，通过使用标定后已知的相机像素坐标系与物料台平面上的世界坐标系的转换关系，点对点定位得到物料中心点在世界坐标系下的坐标；
S647，最终完成物料的识别、分类与定位。
进一步地，步骤S643中基于TensorfLow的卷积神经网络模型为RetinaNet模型，构建方法如下：
S6431，使用相机从不同角度、距离采集所有待检测的物料图像1000张，以物料台区域为主要部分对这1000张图片截取得到大小为500*500的待检测图像；
S6432，将每张图像中的物料目标进行标定，绘制方框与类标签，制作得到标定好的1000张原始数据集；
S6433，通过水平镜像、垂直镜像、水平垂直镜像和伽马变换等数据集增强方式，得到大小为12000张图像的数据集；
S6434，将步骤S6433得到的数据集输入到RetinaNet网络中进行训练。
进一步地，步骤S6434中数据集输入到RetinaNet网络中进行训练的具体过程如下：
(a)数据集图像输入主网络进行卷积特征提取；
(b)输入并行的分类、方框回归全卷积子网络，通过概率预测得到目标标签和标签框；
(c)对预测值与实际值使用焦点损失函数进行损失计算，计算角点损失，所述焦点损失函数为：
FL(pt)＝-αt(1-pt)γlog(pt) (20)
其中，pt是不同类别的分类概率，γ是个大于0的值，at是个[0，1]间的小数。
(d)利用反向传播算法调整各层间连接权值；
(e)根据更新的模型参数和网络结构推算逐层输出，并判断训练周期是否结束，若是，则得到强泛化性的RetinaNet网络进行物料的检测与识别，反之，则返回步骤(a)。
进一步地，步骤S8中所述机器人的路径规划根据工作场地内已知的障碍物位置，采用静态的A*算法对机器人的运动路径进行规划，具体步骤如下：
S80，根据物料台的大小和位置，通过中央处理服务器为已经完成任务分配的各机器人的运动设定固定的目标点：上料点、运输目的地终点等；
S81，在工作场地建立场地网格图：将机器人移动的工作场划分为多个方格；
S82，根据机器人所在初始位置初始化起点，并将起点放入开启列表，置空关闭列表，计算起点的启发函数F：
F＝G+H (21)
其中，F为从初始点经由指定点到达目标点的代价估计，G为目前的实际代价函数即从初始点到指定点所要行走的距离，H为指定点和目标点的欧几里得距离：
Figure GDA0002245439840000081
式中，(x’，y’)为指定点的坐标，(x，y)为目标点的坐标；
S83，判断开启列表是否为空，若是，则寻路失败，反之，则进入步骤S84；
S84，遍历开启列表取出拥有最小F的点作为预处理点，将该预处理点放入关闭列表，并对预处理点周围八个点进行扩展；
S85，判断扩展点是否为目标点，若是，则寻路成功，从目标点到起始点推导路径，并输出路径；若否，则进入步骤S86；
S86，判断扩展点是否为障碍物或者在关闭列表中，若是，则忽略该扩展点，返回步骤S83；若否，则进入步骤S87；
S87，判断扩展点是否在开启列表中，若是则进入步骤S88，若否则将扩展点放入开启列表中，记录F值后返回步骤S83；
S88，判断经由预处理点扩展点是否小于经由扩展点父节点到扩展点的G值，若是，则更新扩展点的父节点，更新F值和G值后，返回步骤S83；若否，则直接返回步骤S83；
S89，重复步骤S83至S88，最终得到一条通往目标点的最优路径，完成各机器人的路径规划。
上述多机器人协作分拣运输方法通过ARtag码识别、多相机融合定位和运动补偿相结合的方法完成对多移动机器人的实时识别与定位；同时采用卷积神经网络模型对目标物料进行识别分类，并通过相机定位获得目标的位置信息；接着根据实际需求和物料目标的类别以及位置信息完成分拣机器人、运输机器人的任务分配，最后通过TCP协议驱动、闭环PID算法和路径规划算法实时无线控制机器人协作完成分拣运输工作，极大提高了分拣运输效率，并在相对复杂的环境下也有良好的稳定性，具有识别定位准确、分拣效率高且搬运能力强的优点。
另一方面，本发明还提供了一种多机器人协作分拣运输系统，包括图像采集单元和任务控制执行单元；
所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头，对工作场地进行监控，多个所述监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器；
所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人和分拣机器人均在监控区域内移动，并受控于中央处理服务器，所述中央处理服务器采用其上任一项所述的多机器人协作分拣运输方法，控制运输机器人、分拣机器人协作完成分拣运输工作。
该多机器人协作分拣运输系统由中央处理服务器、网络监控摄像头、分拣机器人、运输机器人、物料以及物料台等组成，整个系统结构简单、操作方便，且通过中央处理服务器能够实现视觉识别定位系统与多机器人控制系统的高效连接，极大提高了分拣运输效率。
附图说明
构成本发明的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1为本发明一种多机器人协作分拣方法一实施例的流程示意图；
图2为本发明相机标定、物料台位置标定一实施例的流程示意图；
图3为本发明多机器人识别和定位一实施例的流程示意图；
图4为本发明物料检测模型构建及识别定位一实施例的流程示意图；
图5为本发明多机器人路径规划一实施例的流程示意图。
具体实施方式
需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。
需要说明的是，为进一步更好地理解本发明，特对如下定义进行阐释：
PnP(Perspective-n-Point)求解算法，即通过已知的几个3D点以及它们在相机中的投影2D点，推算相机姿态的算法。
ARtag码(AR标签，AR是“增强现实”的意思)是一种基准标记系统。
Tensorflow，是一个基于数据流编程(dataflow programming)的符号数学系统，是一个开源软件库，用于各种感知和语言理解任务的机器学习。
RetinaNet模型，是由一个骨干网络和两个有特定任务的子网络组成的单一网络模型，骨干网络负责在整个图像上计算卷积特征，第一个子网络在骨干网络的输出上执行图像分类任务，第二个子网络负责卷积边框回归。
ResNet(Deep residual network)网络结构，即深度残差卷积神经网络结构，其主要思想是在网络中增加了直连通道，通过直接将输入信息绕道传到输出，保护信息的完整性，整个网络只需要学习输入、输出差别的那一部分，简化学习目标和难度。
FPN(Feature Pyramid Network)，即特征金字塔网络，是利用多尺度特征和Top-Down结构做目标检测的网络结构。
PID(Proportion Integration Differentiation)闭环控制算法，即比例积分导数闭环控制算法，常用于自动控制器。
TCP(Transmission Control Protocol)协议，传输控制协议，是一种面向连接的、可靠的、基于字节流的传输层通信协议。
A*算法(A-Star算法)，是一种静态路网中求解最短路径最有效的直接搜索方法，也是解决许多搜索问题的有效算法。
如图1所示的实施例，本发明公开了一种多机器人协作分拣运输方法，包括以下步骤：
S1，构建图像采集单元
具体地，图像采集单元包括放置在工作场地四周的多个网络监控摄像头，用于对工作场地进行监控，多个所述网络监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器。
S2，构建任务控制执行单元
具体地，任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人均在工作场地的监控区域内移动，并受控于中央处理服务器。
S3，通过图像采集单元采集工作场地图像；
S4，进行相机标定及相机与物料台位置标定，得到各相机的内参数、像素平面与相机坐标系以及相机坐标系与世界坐标系的映射关系，并建立世界坐标系，同时判断标定是否成功，若是，则进入步骤S5，反之，则返回步骤S3；
S5，通过图像采集单元采集下一帧工作场地图像；
S61，分别对工作场地内各机器人贴设的ARtag码进行检测与识别，并判断是否检测识别成功，若是，则进入步骤S62，反之，则返回步骤S5；
S62，对识别到的ARtag码进行筛选、解码并匹配到目标机器人，得到在不同相机上机器人的ARtag码的像素中心坐标和世界坐标系下的姿态信息；
S63，根据得到的机器人ARtag码像素位置信息以及各相机的内参数，去除网络监控摄像头的延时影响，再通过多相机融合定位算法，实时识别并定位世界坐标系中的机器人位置；
S64，识别和定位物料台上的物料，并判断物料是否识别和定位成功，若是，则进入步骤S7，反之，则返回步骤S5；
S7，输出机器人位姿信息和物料位置信息，并根据机器人位姿信息和物料位置信息完成分拣运输任务的分配；
S8，根据工作场地内已知障碍物位置，完成各机器人的路径规划；
S9，中央处理服务器根据得到的机器人、物料位置信息作为参考信号，使用PID闭环控制算法控制各机器人按照步骤S8中规划好的路径完成分拣运输工作。优选地，中央处理服务器与各机器人之间通过TCP协议驱动。
在进一步的技术方案中，如图2所示，步骤S4中相机标定及相机与物料台位置标定的具体过程如下：
S41，同一相机对不同位置、角度的同一标定拍摄多张图片进行图像采集，提取标定板内角点的世界坐标和像素坐标，需要说明的是，本步骤中优选拍摄10张图片即可；
S42，通过张正友相机标定法，得到各个相机参数标定；
S43，通过步骤S41中建立的世界坐标和像素坐标，对应点对解输出相机内参矩阵、外参旋转矩阵以及平移向量；
S44，将ARtag码作为标定码，放置于物料台的边角处，多个摄像头同时采集一帧图像；
S45，对图像进行ARtag码检测识别，得到该码四个角的像素坐标并更新相机外参数，此处，ARtag码一般优选20cm*20cm大小，但不仅限于此；
S46，判断相机是否被移动，若是，则返回步骤S44，反之，则进入步骤S47；
S47，以该标定码中心为参考坐标系原点、物料台平面为XY平面建立参考坐标系，根据ARtag码识别结果，得到多个摄像头与该参考坐标系的转换矩阵，最终完成物料台位置标定。
图3为本发明多机器人识别和定位的流程示意图。如图3所示，前述多机器人识别的流程示意图具体如下：
S611，将采集到的所有帧工作场地图像进行阈值化，得到二值图像，接着进行轮廓检测；
S612，经过滤波筛选，定位得到有效的ARtag码所在图像中的区域；
S613，对步骤S612定位得到的区域进行仿射变换，得到ARtag码中的图案轮廓，接着读取比特位进行解码，得到图像中ARtag码对应的ID号和四个角的像素坐标，计算可得中心坐标；
S614，对每个码进行PnP解码，得到每个ARtag码在图像中的姿态；
S615，判断PnP解码是否成功，若是，则进入步骤S616；反之，则返回步骤S5；
S616，输出ARtag码ID号、中心像素坐标和ARtag码姿态。
本发明中多机器人的定位采用多相机融合定位算法，根据多个相机的内外参数和ARtag码世界坐标中心点投影在多个相机上的像素坐标点，计算得到该ARtag码世界坐标中心点的世界坐标，如图3所示，具体表现为：
S631，推导相机、世界坐标系映射公式；
S632，移项、代换得到向量H；
S633，对向量H进行SVD分解；
S634，计算得到ARtag码世界坐标中心点的世界坐标。
下面以n(n＝2，3，4...)个相机为例，对上述计算过程举例说明：
(1)设定P为ARtag码世界坐标中心点，n为摄像头的相机数量，Zc1、Zc2、…Zcn分别为P对于相机1、2、...n在投影点的深度信息，M1、R1、T1，M2、R2、T2，...Mn、Rn、Tn分别为相机1、2、...n的相机参数；
(2)根据相机标定的映射公式：
Figure GDA0002245439840000131
式中，M1、M2和Mn分别为相机1、2和.n的内参矩阵，R1、R2、Rn分别为相机1、2和n的外参旋转矩阵，T1、T2和Tn分别为相机1、2和n的平移向量；
移项得：
Figure GDA0002245439840000132
其中，令：
Figure GDA0002245439840000141
式中，R1 -1、R2 -1、Rn -1分别为相机外参旋转矩阵R1、R2、Rn的逆矩阵，M1 -1、M2 -1和Mn -1分别为相机内参矩阵M1、M2和Mn的逆矩阵；
Figure GDA0002245439840000142
式中，B1、B2和Bn分别为中间变量；
则经过移项后的映射公式可写成：
Figure GDA0002245439840000143
即：
Figure GDA0002245439840000144
其中，0为一个三维零向量，上式可写成：
Figure GDA0002245439840000145
其中，I为3*3的单位矩阵，令：
Figure GDA0002245439840000146
式中，K1、K2、Kn分别表示中间变量；
Figure GDA0002245439840000151
式中，Q为中间变量；
则上式即：
Figure GDA0002245439840000152
(3)通过对H进行SVD分解，H＝UΣV* (11)
其中，U、V为酉矩阵，Σ为半正定对角矩阵，由伪逆矩阵公式得：
H+＝VΣ+U* (12)
最后，由步骤(2)的公式得到：
Figure GDA0002245439840000153
通过上述公式(13)即可求得世界点P在世界坐标系下的坐标，最终完成定位。
同时，本发明中步骤S63中具体通过如下运动补偿算法去除网络监控摄像头的延时影响：
(a)在完成ARtag码识别与多相机融合定位得到机器人在ts秒之前的位置ARtag码世界坐标中心点P的前提下，通过机器人上的陀螺仪传感器实时采集机器人ts秒内的线速度v(t)与角速度ω(t)，其中，t∈[0,ts]；
(b)机器人当前实际位置为：
P'＝P+Δx (14)
其中，Δx为ts秒时间段内机器人的位移，即：
Figure GDA0002245439840000161
其中，rv(t)表示机器人在ts秒内某时刻的线速度矢量，复数形式为：
rv(t)＝v(t)ejθ(t) (16)
式中，θ(t)为机器人在ts秒内某时刻的角度，且其表达式如下：
Figure GDA0002245439840000162
(c)上述为理想情况下时间连续的形式，实际上通过如下时间公式对v(t)，ω(t)进行抽样：
Figure GDA0002245439840000163
式中，N为正整数，则：
Figure GDA0002245439840000164
(d)完成运动补偿，得到当前时刻机器人的真实位置。
需要说明的是，机器人的姿态也优选采用运动补偿算法，最终实现机器人的实时定位跟踪。
图4为本发明物料检测模型构建及识别定位一实施例的流程示意图。具体地，如图4所示，物料台上的物料通过如下步骤实现识别与定位：
S641，使用最靠近物料台的摄像头采集图像，并对采集到的图像进行高斯滤波预处理；
S642，根据物料台位置标定结果和物料台实际大小，对图像去背景化，并截取待检测的物料台区域图像；优选地，待检测的物料台区域图像截取大小为500*500；
S643，将待检测图像输入已经训练好的基于TensorfLow的卷积神经网络模型，进行物料的检测与识别；
需要说明的是，本步骤中基于TensorfLow的卷积神经网络模型优选为RetinaNet模型，构建方法如下：
S6431，使用相机从不同角度、距离采集所有待检测的物料图像1000张，以物料台区域为主要部分对这1000张图片截取得到大小为500*500的待检测图像；
S6432，将每张图像中的物料目标进行标定，绘制方框与类标签，制作得到标定好的1000张原始数据集；
S6433，通过水平镜像、垂直镜像、水平垂直镜像和伽马变换等数据集增强方式，得到大小为12000张图像的数据集；
S6434，将步骤S6433得到的数据集输入到RetinaNet网络中进行训练。
S644，判断是否识别到物料，若是则进入步骤S645，反之，则返回步骤S641；
S645，在图像中框出并计算得到物料的中心点像素坐标，输出物料类别和中心点像素坐标；
S646，通过使用标定后已知的相机像素坐标系与物料台平面上的世界坐标系的转换关系，点对点定位得到物料中心点在世界坐标系下的坐标；
S647，最终完成物料的识别、分类与定位。
同时，如图4所示，步骤S6434中数据集输入到RetinaNet网络中进行训练的具体过程如下：
(A)数据集图像输入主网络进行卷积特征提取；
需要说明的是，主网络优选为50层自下而上的前向ResNet网络结构和50层自上而下的FPN；
(B)每层FPN的特征向量均同时输入并行的分类、方框回归全卷积子网络，通过概率预测得到目标标签和标签框；
(C)对预测值与实际值使用焦点损失函数进行损失计算，计算角点损失，所述焦点损失函数为：
FL(pt)＝-αt(1-pt)γlog(pt) (20)
其中，pt是不同类别的分类概率，γ是个大于0的值，at是个[0，1]间的小数。
(D)利用反向传播算法调整各层间连接权值；
(E)根据更新的模型参数和网络结构推算逐层输出，并判断训练周期是否结束，若是，则得到强泛化性的RetinaNet网络进行物料的检测与识别，反之，则返回步骤(A)。
此外，图5为本发明多机器人路径规划一实施例的流程示意图。参见图5，根据工作场地内已知的障碍物位置，采用静态的A*算法对机器人的运动路径进行规划，具体步骤如下：
S80，根据物料台的大小和位置，通过中央处理服务器为已经完成任务分配的各机器人的运动设定固定的目标点：上料点、运输目的地终点等；
S81，在工作场地建立场地网格图：将机器人移动的工作场划分为多个方格；
S82，根据机器人所在初始位置初始化起点，并将起点放入开启列表，置空关闭列表，计算起点的启发函数F：
F＝G+H (21)
其中，F为从初始点经由指定点到达目标点的代价估计，G为目前的实际代价函数即从初始点到指定点所要行走的距离，H为指定点和目标点的欧几里得距离：
Figure GDA0002245439840000181
式中，(x’，y’)为指定点的坐标，(x，y)为目标点的坐标；
S83，判断开启列表是否为空，若是，则寻路失败，反之，则进入步骤S84；
S84，遍历开启列表取出拥有最小F的点作为预处理点，将该预处理点放入关闭列表，并对预处理点周围八个点进行扩展；
S85，判断扩展点是否为目标点，若是，则寻路成功，从目标点到起始点推导路径，并输出路径；若否，则进入步骤S86；
S86，判断扩展点是否为障碍物或者在关闭列表中，若是，则忽略该扩展点，返回步骤S83；若否，则进入步骤S87；
S87，判断扩展点是否在开启列表中，若是则进入步骤S88，若否则将扩展点放入开启列表中，记录F值后返回步骤S83；
S88，判断经由预处理点扩展点是否小于经由扩展点父节点到扩展点的G值，若是，则更新扩展点的父节点，更新F值和G值后，返回步骤S83；若否，则直接返回步骤S83；
S89，重复步骤S83至S88，最终得到一条通往目标点的最优路径，完成各机器人的路径规划。
另一方面，本发明还公开了一种多机器人协作分拣运输系统，包括图像采集单元和任务控制执行单元：图像采集单元包括放置在工作场地四周的多个网络监控摄像头，多个网络监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器，优选地，摄像头的数量为4个，分布于工作场地的四周，用于对工作场地进行360°监控，并通过网线连接至交换器，经由路由器受控于中央处理服务器，工作场地的监控监控范围近似正方形；任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，运输机器人用于搬运物料，由车头和车厢部分组成，车头顶部粘贴ARtag码，分拣机器人用于分拣物料，车身顶部粘贴ARtag码，上述机器人均在监控区域内移动，通过无线局域网受控于中央处理服务器。优选地，运输机器人为3个，分拣机器人数量为1个，但不仅限于此。
需要说明的是，前述分拣机器人优选拥有手臂执行单元，该执行单元采用uArm四自由度机械臂，且机械臂末端设置有吸盘，通过吸盘拾取目标。
综上所述，本发明具有如下优点：
1)通过采用应用广泛的普通网络监控摄像头作为视觉传感单元，成本低、扩展性强，提高了未来的可塑性；
2)采用ARtag码识别、多相机融合定位和运动补偿相结合的方法，提高了较复杂环境下对多移动机器人的实时识别、定位速度和精度；
3)采用数据集庞大的单级RetinaNet卷积神经网络模型，提高了对种类多、分布密集的物料的识别速度和精度；
4)采用多机器人路径规划算法，提高机器人的自主避障能力；
5)采用视觉系统与多机器人相结合，通过无线局域网实现机器人的视觉共享、思维共享、位置共享，使得多机器人的协同工作更简单，提高系统的分拣运输能力。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (7)

1.一种多机器人协作分拣运输方法，其特征在于，包括以下步骤：
S1，构建图像采集单元
所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头，用于对工作场地进行监控，多个所述网络监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器；
S2，构建任务控制执行单元
所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人均在工作场地的监控区域内移动，并受控于中央处理服务器；
S3，通过图像采集单元采集工作场地图像；
S4，进行相机标定及相机与物料台位置标定，得到各相机的内参数、像素平面与相机坐标系以及相机坐标系与世界坐标系的映射关系，并建立世界坐标系，同时判断标定是否成功，若是，则进入步骤S5，反之，则返回步骤S3；
S5，通过图像采集单元采集下一帧工作场地图像；
S6，利用图像采集单元采集的所有帧工作场地图像，分别对工作场地内的各机器人、物料识别与定位，具体步骤如下：
S61，分别对工作场地内各机器人贴设的ARtag码进行检测与识别，并判断是否检测识别成功，若是，则进入步骤S62，反之，则返回步骤S5；其中，ARtag码进行检测与识别的具体过程如下：
S611，将采集到的所有帧工作场地图像进行阈值化，得到二值图像，接着进行轮廓检测；
S612，经过滤波筛选，定位得到有效的ARtag码所在图像中的区域；
S613，对步骤S612定位得到的区域进行仿射变换，得到ARtag码中的图案轮廓，接着读取比特位进行解码，得到图像中ARtag码对应的ID号和四个角的像素坐标，计算可得中心坐标；
S614，对每个码进行PnP解码，得到每个ARtag码在图像中的姿态；
S615，判断PnP解码是否成功，若是，则进入步骤S616；反之，则返回步骤S5；
S616，输出ARtag码ID号、中心像素坐标和ARtag码姿态；
S62，对识别到的ARtag码进行筛选、解码并匹配到目标机器人，得到在不同相机上机器人的ARtag码的像素中心坐标和世界坐标系下的姿态信息；
S63，根据得到的机器人ARtag码像素位置信息以及各相机的内参数，去除网络监控摄像头的延时影响，再通过多相机融合定位算法，实时识别并定位世界坐标系中的机器人位置；其中，多相机融合定位算法根据多个相机的内外参数和ARtag码世界坐标中心点投影在多个相机上的像素坐标点，计算得到该ARtag码世界坐标中心点的世界坐标，具体表现为：
S631，推导相机、世界坐标系映射公式，相机标定的映射公式如下：
Figure DEST_PATH_IMAGE001
（1）
式中，P为ARtag码世界坐标中心点，n为摄像头的相机数量
Figure DEST_PATH_IMAGE002
分别为P对于相机1、2、...n在投影点的深度信息，
Figure DEST_PATH_IMAGE003
Figure DEST_PATH_IMAGE004
分别为相机1、2、...n的相机参数；
S632，移项、代换得到向量H，H表示为：
Figure DEST_PATH_IMAGE005
（8）
式中，I为3*3的单位矩阵，
Figure DEST_PATH_IMAGE006
均为中间变量，其中，
Figure DEST_PATH_IMAGE007
（3）
式中，
Figure DEST_PATH_IMAGE008
分别为相机外参旋转矩阵
Figure DEST_PATH_IMAGE009
的逆矩阵，
Figure DEST_PATH_IMAGE010
Figure DEST_PATH_IMAGE011
分别为相机内参矩阵
Figure DEST_PATH_IMAGE012
的逆矩阵；
S633，对向量H进行SVD分解，H表示为：
Figure DEST_PATH_IMAGE013
（11）
式中，U、V表示酉矩阵，
Figure DEST_PATH_IMAGE014
为半正定对角矩阵；
S634，通过如下公式计算得到ARtag码世界坐标中心点的世界坐标
Figure DEST_PATH_IMAGE015
（13）
式中，
Figure DEST_PATH_IMAGE016
为H的伪逆矩阵，Q为中间变量，其表达式如下：
Figure DEST_PATH_IMAGE017
（9）
其中，
Figure DEST_PATH_IMAGE018
均为中间变量：
Figure DEST_PATH_IMAGE019
（6）
式中，0为三维零向量；
通过运动补偿算法去除网络监控摄像头的延时影响，具体表现为：
（a）在完成ARtag码识别与多相机融合定位得到机器人在
Figure DEST_PATH_IMAGE020
秒之前的位置ARtag码世界坐标中心点P的前提下，通过机器人上的陀螺仪传感器实时采集机器人
Figure 133048DEST_PATH_IMAGE020
秒内的线速度
Figure DEST_PATH_IMAGE021
与角速度
Figure DEST_PATH_IMAGE022
，其中，
Figure DEST_PATH_IMAGE023
；
（b）机器人当前实际位置为：
Figure DEST_PATH_IMAGE024
（14）
其中，
Figure DEST_PATH_IMAGE025
为
Figure 142462DEST_PATH_IMAGE020
秒时间段内机器人的位移，即：
Figure DEST_PATH_IMAGE026
（15）
其中，
Figure DEST_PATH_IMAGE027
表示机器人在
Figure 284861DEST_PATH_IMAGE020
秒内某时刻的线速度矢量，复数形式为：
Figure DEST_PATH_IMAGE028
（16）
式中，
Figure DEST_PATH_IMAGE029
为机器人在
Figure 546078DEST_PATH_IMAGE020
秒内某时刻的角度，且其表达式如下：
Figure DEST_PATH_IMAGE030
（17）；
（c）上述为理想情况下时间连续的形式，实际上通过如下时间公式对
Figure DEST_PATH_IMAGE031
进行抽样：
Figure DEST_PATH_IMAGE032
（18）
式中，N为正整数，则：
Figure DEST_PATH_IMAGE033
（19）
（d）完成运动补偿，得到当前时刻机器人的真实位置；
S64，识别和定位物料台上的物料，并判断物料是否识别和定位成功，若是，则进入步骤S7，反之，则返回步骤S5；
S7，输出机器人位姿信息和物料位置信息，并根据机器人位姿信息和物料位置信息完成分拣运输任务的分配；
S8，根据工作场地内已知障碍物位置，完成各机器人的路径规划；
S9，中央处理服务器根据得到的机器人、物料位置信息作为参考信号，使用PID闭环控制算法控制各机器人按照步骤S8中规划好的路径完成分拣运输工作。
2.根据权利要求1所述的多机器人协作分拣运输方法，其特征在于，步骤S4中相机标定及相机与物料台位置标定的具体过程如下：
S41，同一相机对不同位置、角度的同一标定拍摄多张图片进行图像采集，提取标定板内角点的世界坐标和像素坐标；
S42，通过张正友相机标定法，得到各个相机参数标定；
S43，通过步骤S41中建立的世界坐标和像素坐标，对应点对解输出相机内参矩阵、外参旋转矩阵以及平移向量；
S44，将ARtag码作为标定码，放置于物料台的边角处，多个摄像头同时采集一帧图像；
S45，对图像进行ARtag码检测识别，得到该码四个角的像素坐标并更新相机外参数；
S46，判断相机是否被移动，若是，则返回步骤S44，反之，则进入步骤S47；
S47，以该标定码中心为参考坐标系原点、物料台平面为XY平面建立参考坐标系，根据ARtag码识别结果，得到多个摄像头与该参考坐标系的转换矩阵。
3.根据权利要求1所述的多机器人协作分拣运输方法，其特征在于，所述步骤S64中识别和定位物料台上的物料，具体步骤如下：
S641，使用最靠近物料台的摄像头采集图像，并对采集到的图像进行高斯滤波预处理；
S642，根据物料台位置标定结果和物料台实际大小，对图像去背景化，并截取待检测的物料台区域图像；
S643，将待检测图像输入已经训练好的基于TensorfLow的卷积神经网络模型，进行物料的检测与识别；
S644，判断是否识别到物料，若是则进入步骤S645，反之，则返回步骤S641；
S645，在图像中框出并计算得到物料的中心点像素坐标，输出物料类别和中心点像素坐标；
S646，通过使用标定后已知的相机像素坐标系与物料台平面上的世界坐标系的转换关系，点对点定位得到物料中心点在世界坐标系下的坐标；
S647，最终完成物料的识别、分类与定位。
4.根据权利要求3所述的多机器人协作分拣运输方法，其特征在于，步骤S643中基于TensorfLow的卷积神经网络模型为RetinaNet模型，构建方法如下：
S6431，使用相机从不同角度、距离采集所有待检测的物料图像1000张，以物料台区域为主要部分对这1000张图片截取得到大小为500*500的待检测图像；
S6432，将每张图像中的物料目标进行标定，绘制方框与类标签，制作得到标定好的1000张原始数据集；
S6433，通过水平镜像、垂直镜像、水平垂直镜像和伽马变换数据集增强方式，得到大小为12000张图像的数据集；
S6434，将步骤S6433得到的数据集输入到RetinaNet网络中进行训练。
5.根据权利要求4所述的多机器人协作分拣运输方法，其特征在于，步骤S6434中数据集输入到RetinaNet网络中进行训练的具体过程如下：
（A）数据集图像输入主网络进行卷积特征提取；
（B）输入并行的分类、方框回归全卷积子网络，通过概率预测得到目标标签和标签框；
（C）对预测值与实际值使用焦点损失函数进行损失计算，计算角点损失，所述焦点损失函数为：
Figure DEST_PATH_IMAGE034
（20）
其中，
Figure DEST_PATH_IMAGE035
是不同类别的分类概率，
Figure DEST_PATH_IMAGE036
是个大于 0 的值，
Figure DEST_PATH_IMAGE037
是个[0，1]间的小数；
（D）利用反向传播算法调整各层间连接权值；
（E）根据更新的模型参数和网络结构推算逐层输出，并判断训练周期是否结束，若是，则得到强泛化性的RetinaNet网络进行物料的检测与识别，反之，则返回步骤（A）。
6.根据权利要求1~5中任一项所述的多机器人协作分拣运输方法，其特征在于，步骤S8中所述机器人的路径规划根据工作场地内已知的障碍物位置，采用静态的A*算法对机器人的运动路径进行规划，具体步骤如下：
S80，根据物料台的大小和位置，通过中央处理服务器为已经完成任务分配的各机器人的运动设定固定的目标点：上料点、运输目的地终点；
S81，在工作场地建立场地网格图：将机器人移动的工作场划分为多个方格；
S82，根据机器人所在初始位置初始化起点，并将起点放入开启列表，置空关闭列表，计算起点的启发函数F：
Figure DEST_PATH_IMAGE038
（21）
其中，F为从初始点经由指定点到达目标点的代价估计，G为目前的实际代价函数即从初始点到指定点所要行走的距离，H为指定点和目标点的欧几里
得距离：
Figure DEST_PATH_IMAGE039
（22）
式中，（x’，y’）为指定点的坐标，（x，y）为目标点的坐标；
S83，判断开启列表是否为空，若是，则寻路失败，反之，则进入步骤S84；
S84，遍历开启列表取出拥有最小F的点作为预处理点，将该预处理点放入关闭列表，并对预处理点周围八个点进行扩展；
S85，判断扩展点是否为目标点，若是，则寻路成功，从目标点到起始点推导路径，并输出路径；若否，则进入步骤S86；
S86，判断扩展点是否为障碍物或者在关闭列表中，若是，则忽略该扩展点，返回步骤S83；若否，则进入步骤S87；
S87，判断扩展点是否在开启列表中，若是则进入步骤S88，若否则将扩展点放入开启列表中，记录F值后返回步骤S83；
S88，判断经由预处理点扩展点是否小于经由扩展点父节点到扩展点的G值，若是，则更新扩展点的父节点，更新F值和G值后，返回步骤S83；若否，则直接返回步骤S83；
S89，重复步骤S83至S88，最终得到一条通往目标点的最优路径，完成各机器人的路径规划。
7.一种多机器人协作分拣运输系统，其特征在于，包括图像采集单元和任务控制执行单元；
所述图像采集单元包括放置在工作场地四周的多个网络监控摄像头，对工作场地进行监控，多个所述监控摄像头分别与交换器连接，并经由路由器受控于中央处理服务器；
所述任务控制执行单元包括运输机器人、分拣机器人、中央处理服务器、物料以及物料台，所述运输机器人用于搬运物料，所述分拣机器人用于分拣物料，所述运输机器人和分拣机器人上均贴设有ARtag码，所述运输机器人和分拣机器人均在监控区域内移动，并受控于中央处理服务器，所述中央处理服务器采用权利要求1~6中任一项所述的多机器人协作分拣运输方法，控制运输机器人、分拣机器人协作完成分拣运输工作。
CN201910822257.8A 2019-09-02 2019-09-02 一种多机器人协作分拣运输方法及系统 Active CN110560373B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910822257.8A CN110560373B (zh) 2019-09-02 2019-09-02 一种多机器人协作分拣运输方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910822257.8A CN110560373B (zh) 2019-09-02 2019-09-02 一种多机器人协作分拣运输方法及系统

Publications (2)

Publication Number Publication Date
CN110560373A CN110560373A (zh) 2019-12-13
CN110560373B true CN110560373B (zh) 2021-05-07

Family

ID=68777414

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910822257.8A Active CN110560373B (zh) 2019-09-02 2019-09-02 一种多机器人协作分拣运输方法及系统

Country Status (1)

Country Link
CN (1) CN110560373B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563493B (zh) * 2020-07-15 2021-07-20 炬星科技（深圳）有限公司 基于图像识别的工作信息获取方法、设备及存储介质
CN112605983B (zh) * 2020-12-01 2022-04-19 浙江工业大学 一种适用于密集环境下的机械臂推抓系统
CN113772348B (zh) * 2021-07-28 2023-06-27 北京旷视机器人技术有限公司 物料传输方法、机器人、料台和物料传输系统
CN113421207A (zh) * 2021-08-23 2021-09-21 深圳市信润富联数字科技有限公司 视觉检测方法、设备、产品和计算机存储介质
CN113657551B (zh) * 2021-09-01 2023-10-20 陕西工业职业技术学院 一种用于分拣堆叠多目标的机器人抓取姿态任务规划方法
CN113894058B (zh) * 2021-09-06 2024-03-01 东莞职业技术学院 基于深度学习的品质检测与分拣方法、系统及存储介质
CN115063088B (zh) * 2022-08-16 2022-11-08 成都秦川物联网科技股份有限公司 用于物料运输控制的工业物联网系统及控制方法
CN117160877B (zh) * 2023-11-02 2024-01-02 启东亦大通自动化设备有限公司 用于物流机器人的物品分拣方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10202571A (ja) * 1997-01-17 1998-08-04 Nkk Corp 廃棄物中の特定物を選別するロボットシステム
CN203667453U (zh) * 2013-12-03 2014-06-25 北京物资学院 一种无人搬运车agv装置
CN105858045B (zh) * 2016-06-03 2019-01-29 北京极智嘉科技有限公司 货物自动拣选系统和货物自动拣选方法
CN107398426A (zh) * 2017-06-21 2017-11-28 烟台杰瑞石油装备技术有限公司 一种快递包裹分拣系统
CN109365318B (zh) * 2018-11-30 2021-05-04 天津大学 一种多机器人协作分拣方法及系统

Also Published As

Publication number Publication date
CN110560373A (zh) 2019-12-13

Similar Documents

Publication Publication Date Title
CN110560373B (zh) 一种多机器人协作分拣运输方法及系统
US11276194B2 (en) Learning dataset creation method and device
Huang et al. Visual odometry and mapping for autonomous flight using an RGB-D camera
CN112734852B (zh) 一种机器人建图方法、装置及计算设备
CN107967457A (zh) 一种适应视觉特征变化的地点识别与相对定位方法及系统
CN110716559B (zh) 一种用于商场超市拣货机器人的综合控制方法
CN112184812B (zh) 提升无人机相机对AprilTag识别定位精度方法及定位方法和系统
CN112396656A (zh) 一种视觉与激光雷达融合的室外移动机器人位姿估计方法
CN112101160A (zh) 一种面向自动驾驶场景的双目语义slam方法
Deigmoeller et al. Stereo visual odometry without temporal filtering
Giordano et al. 3D structure identification from image moments
Nandkumar et al. Simulation of Indoor Localization and Navigation of Turtlebot 3 using Real Time Object Detection
CN115439821A (zh) 基于多目视觉agv的定位与跟踪方法及系统
Botterill Visual navigation for mobile robots using the bag-of-words algorithm
Lanser et al. MORAL—A vision-based object recognition system for autonomous mobile systems
TWI788253B (zh) 適應性移動操作設備及方法
Juang Humanoid robot runs maze mode using depth-first traversal algorithm
Song et al. Tightly coupled visual inertial odometry based on artificial landmarks
CN114924585B (zh) 基于视觉的旋翼无人机在崎岖地表的安全降落方法及系统
Petrlık Onboard localization of an unmanned aerial vehicle in an unknown environment
Gallage et al. Codesign of edge intelligence and automated guided vehicle control
WO2023074235A1 (ja) 運搬システム
UZUNOGLU et al. Vision-Based Position Estimation with Markers For Quadrotors
Salimzadeh Visual State Estimation for Autonomous Navigation
Wang et al. Deep Dynamic Layout Optimization of Photogrammetry Camera Position Based on Digital Twin

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant