CN113858217A - 多机器人交互的三维视觉位姿感知方法及系统 - Google Patents

多机器人交互的三维视觉位姿感知方法及系统 Download PDF

Info

Publication number
CN113858217A
CN113858217A CN202111449750.3A CN202111449750A CN113858217A CN 113858217 A CN113858217 A CN 113858217A CN 202111449750 A CN202111449750 A CN 202111449750A CN 113858217 A CN113858217 A CN 113858217A
Authority
CN
China
Prior art keywords
robot
pose
point cloud
coordinate system
pred
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111449750.3A
Other languages
English (en)
Other versions
CN113858217B (zh
Inventor
李默
牛建伟
李青锋
豆渊博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changzhou Weishi Intelligent Iot Innovation Center Co ltd
Original Assignee
Changzhou Weishi Intelligent Iot Innovation Center Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changzhou Weishi Intelligent Iot Innovation Center Co ltd filed Critical Changzhou Weishi Intelligent Iot Innovation Center Co ltd
Priority to CN202111449750.3A priority Critical patent/CN113858217B/zh
Publication of CN113858217A publication Critical patent/CN113858217A/zh
Application granted granted Critical
Publication of CN113858217B publication Critical patent/CN113858217B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1661—Programme controls characterised by programming, planning systems for manipulators characterised by task planning, object-oriented languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Automation & Control Theory (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种多机器人交互的三维视觉位姿感知方法及系统，其中，一种多机器人交互的三维视觉位姿感知方法包括：获取并建立多模态信息的机器人位姿数据集；依据机器人位姿数据集训练位姿感知模型；将深度相机安装在每个机器人上；通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿；依据机器人相对位姿，规划机器人运动并完成交互任务。通过深度相机来实现良好的位姿感知效果，并且通过三维点云与已知的机器人关节信息的融合，将位姿感知问题转化为机器人基坐标系和相机坐标系的坐标转换问题，能够实现较高的位姿感知精度，深度相机作为一种低成本设备，能够真正在工业中应用。

Description

多机器人交互的三维视觉位姿感知方法及系统
技术领域
本发明涉及机器人交互领域，具体涉及一种多机器人交互的三维视觉位姿感知方法及系统。
背景技术
现有的机器人多机交互场景主要有两种：
第一种是底座固定的机器人交互场景，通过机器人通信和正运动学解算的方式直接计算出对方机器人的准确关节位置，这种方法能够保证超高的精度，但标定调试过程复杂繁琐，无法适应环境变化，不具备灵活性和智能性。
第二种是机器人交互场景，可用于工业流水线生产，通过二维码标定等方式标定交互点在全局坐标系中的坐标位置，并控制机器人运动到指定位置，这种方式目前只能在示教层面实现演示，无法真正投入使用，也可以采用高精度定位追踪设备，由于这类设备价格昂贵，通常在20万以上，尽管其精度很高，但投入到工业中是不现实的。
上述问题是目前亟待解决的。
发明内容
本发明的目的是提供一种多机器人交互的三维视觉位姿感知方法及系统。
为了解决上述技术问题，本发明提供了一种多机器人交互的三维视觉位姿感知方法，所述方法包括：
获取并建立多模态信息的机器人位姿数据集；
依据机器人位姿数据集训练位姿感知模型；
将深度相机安装在每个机器人上；
通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿；
依据机器人相对位姿，获取协作的两个机器人的每个关节的相对空间位置，规划机器人运动并完成交互任务。
进一步的，所述获取并建立多模态信息的机器人位姿数据集的步骤包括：
建立相机坐标系；
获取标定机器人每个姿态在相机坐标系中每个点的点云图以及相应的标定机器人当前关节角度信息；
依据标定机器人的当前关节角度信息对机器人进行三维重现，从而获取机器人三维模型；
对点云图进行分割标注以及位姿标注，获取机器人点云图以及机器人三维模型到点云图的刚性变换矩阵。
进一步的，所述建立相机坐标系的步骤包括：
以深度相机的质点为中心，在地面上按照预设间隔画同心圆；
以标定机器人正前方做0°，逆时针从0到360度每预设角度画一条线，与同心圆之间的交点就是每个坐标系的坐标点。
进一步的，
所述依据机器人位姿数据集训练位姿感知模型的步骤包括：
对未标注时的机器人位姿数据集进行语义分割获取机器人点云图，下采样后记为Ptgt；
将Ptgt输入到位姿估计网络中获取旋转四元数Qpred和平移向量Tpred；
机器人三维模型记为Psrc，用作损失函数计算，Ptgt和Psrc分别采样为
Figure 580581DEST_PATH_IMAGE001
个点；
通过旋转四元数获取旋转矩阵Rpred；
Rpred和Tpred代表网络预测的旋转和平移矩阵结果，将估计的Rpred和Tpred作用到Psrc上得到预测的变换到相机坐标系的三维模型Ppred：
Figure 546263DEST_PATH_IMAGE002
；
其中，ptgt是Ptgt中的每一个三维坐标点，N为三维坐标点的数量，
Rgt和Tgt代表数据集中标注的三维模型到点云的旋转和平移矩阵真实值，将真实的Rgt和Tgt矩阵作用到Psrc上得到真实的变换到相机坐标系的三维模型Pgt：
Figure 665529DEST_PATH_IMAGE003
；
计算Ppred和Pgt的对应点之间的平均距离Loss，即：
Figure 58464DEST_PATH_IMAGE004
；其中，pgt是Pgt中的每一个三维坐标点，N为三维坐标点的数量，ppred是Ppred中的每一个三维坐标点，
使Loss充分收敛后，得到网络输出的Rpred和Tpred即机器人基坐标系到相机坐标系的位姿变换矩阵，从而完成位姿感知模型的训练。
进一步的，所述对未标注时的机器人位姿数据集进行语义分割获取机器人点云图，下采样后记为Ptgt的步骤包括;
通过点云滤波方式对获取的点云图进行预处理，去除点云中的无效点和离群点；
处理后的点云图作为网络输入，使用PointNet网络进行语义分割，将所有点云中的点归为机器人或背景，使机器人和背景分离，得到机器人点云图。
进一步的，
所述将Ptgt输入到位姿估计网络中获取旋转四元数Qpred和平移向量Tpred的步骤包括：
位姿估计网络的两个分支分别对输入的Ptgt进行特征提取；
然后两个分支分别使用三层MLP回归得到旋转四元数Qpred和平移向量Tpred。
进一步的，所述位姿估计网络的两个分支分别对输入的Ptgt进行特征提取的步骤，即：
以PointNet作为主干网络对Ptgt进行特征提取，并使用SELayer注意力机制对PointNet提取出的1024维特征进行特征融合，为Ptgt中点的不同重要程度赋予不同的权重。
进一步的，所述通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿的步骤包括：
深度相机获取视角内协作机器人的点云图，同时通过IP地址在机器人之间进行通信，获取协作机器人的关节在基坐标系下的坐标；
将获取的协作机器人的点云图输入到位姿感知模型，得到协作对象的基坐标系到相机坐标系的位姿变换矩阵；
将位姿变换矩阵作用到协作机器人基坐标系下的每个关节的坐标上，得到协作机器人每个关节在相机坐标系下对应的坐标。
进一步的，所述依据机器人相对位姿，获取协作的两个机器人的每个关节的相对空间位置，规划机器人运动并完成交互任务的步骤，即，机器人得到协作机器人的关节坐标在相机坐标系下的位置，利用事先手眼标定得到的变换矩阵得到机器人基坐标系下的坐标，并控制机器人末端运动到该位置，不断重复此过程直到目标位置小于一定的阈值则停止运动，完成交互任务。
本发明还提供了一种多机器人交互的三维视觉位姿感知系统，包括：
数据集建立模块，适于获取并建立多模态信息的机器人位姿数据集；
训练模块，适于依据机器人位姿数据集训练位姿感知模型；
安装模块，适于将深度相机安装在每个机器人上；
相对位姿获取模块，适于通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿；
交互模块，适于依据机器人相对位姿，获取协作的两个机器人的每个关节的相对空间位置，规划机器人运动并完成交互任务。
本发明的有益效果是，本发明提供了一种多机器人交互的三维视觉位姿感知方法及系统，其中，一种多机器人交互的三维视觉位姿感知方法包括：获取并建立多模态信息的机器人位姿数据集；依据机器人位姿数据集训练位姿感知模型；将深度相机安装在每个机器人上；通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿；依据机器人相对位姿，获取协作的两个机器人的每个关节的相对空间位置，规划机器人运动并完成交互任务。通过深度相机来实现良好的位姿感知效果，并且通过三维点云与已知的机器人关节信息的融合，将位姿感知问题转化为机器人基坐标系和相机坐标系的坐标转换问题，能够实现较高的位姿感知精度，深度相机作为一种低成本设备，能够真正在工业中应用。
附图说明
下面结合附图和实施例对本发明进一步说明。
图1是本发明所提供的多机器人交互的三维视觉位姿感知方法的流程图。
图2是本发明所提供的相机坐标系的结构示意图。
图3是本发明所提供的位姿估计网络结构图。
图4是本发明所提供的多机器人交互的三维视觉位姿感知系统的原理框图。
图5是本发明所提供的电子设备的部分原理框图。
具体实施方式
现在结合附图对本发明作进一步详细的说明。这些附图均为简化的示意图，仅以示意方式说明本发明的基本结构，因此其仅显示与本发明有关的构成。
实施例1
如图1所示，本实施例1提供了一种多机器人交互的三维视觉位姿感知方法，通过深度相机来实现良好的位姿感知效果，深度相机作为一种低成本设备，能够真正在工业中应用。并且通过三维点云与已知的机器人关节信息的融合，将位姿感知问题转化为机器人基坐标系和相机坐标系的坐标转换问题，能够实现较高的位姿感知精度。所述方法包括：
S110：获取并建立多模态信息的机器人位姿数据集。
在本实施例中，步骤S110包括：
S111：建立相机坐标系；
其中，建立相机坐标系，即，以深度相机的质点为中心，在地面上按照预设间隔画同心圆；以标定机器人正前方做0°，逆时针从0到360度每预设角度画一条线，与同心圆之间的交点就是每个坐标系的坐标点。
如图2所示，在本实施例中，间隔分别为1米，1.5米，2米，2.5米，每20°画一条线，从而获取相机坐标系，坐标点一共72个点。
S112：获取标定机器人每个姿态在相机坐标系中每个点的点云图以及相应的标定机器人当前关节角度信息。在标定机器人的数据采集过程中，可以控制机器人面朝深度相机在每个间隔的同心圆处自转360°进行数据采集。机器人具有多个姿态，需要对每个姿态进行数据采集。
S113：依据标定机器人的当前关节角度信息对机器人进行三维重现，从而获取机器人三维模型。
具体地，从机器人配备的控制软件获取机器人当前关节角度信息，结合机器人D-H参数建立原始三维模型，利用VTK三维渲染工具生成机器人当前姿态的三维模型。D-H参数表示三维模型包括机器人的三维结构，关节的轴位置，臂长等信息。
S114：对点云图进行分割标注以及位姿标注，获取机器人点云图以及机器人三维模型到点云图的刚性变换矩阵。
S120：依据机器人位姿数据集训练位姿感知模型；
具体来说，步骤S120包括以下步骤;
S121：对未标注时的机器人位姿数据集进行语义分割获取机器人点云图，下采样后记为Ptgt；
具体来说，步骤S121，即，通过点云滤波方式对获取的点云图进行预处理，去除点云中的无效点和离群点；处理后的点云图作为网络输入，使用PointNet网络进行语义分割，将所有点云中的点归为机器人或背景，使机器人和背景分离，得到机器人点云图。
S122：将Ptgt输入到位姿估计网络中获取旋转四元数Qpred和平移向量Tpred；
具体来说，如图3所示，位姿估计网络的两个分支分别对输入的Ptgt进行特征提取，以PointNet作为主干网络对Ptgt进行特征提取，并使用SELayer注意力机制对PointNet提取出的1024维特征进行特征融合，为Ptgt中点的不同重要程度赋予不同的权重。然后两个分支分别使用三层MLP回归得到旋转四元数Qpred和平移向量Tpred。其中，MLP是非参数估计的机器学习方法，是一种人工神经网络结构，通过若干个全连接层进行特征和回归问题，SELayer注意力模块使用平均池化实现，将每个通道的空间特征编码为一个实数，得到通道级的全局特征，之后，使用两个全连接层学习各个通道之间的关系，得到不同通道的权重，第一个全连接层用于降维，使用ReLU函数作为激活函数，第二个全连接层用于恢复原始维度，使用Sigmoid函数作为激活函数，输出每个特征通道的重要性。最后，将学习到的权重系数逐通道加权乘到原始特征上，完成在通道级上对原始特征的重标定。
其中，旋转四元数
Figure 893040DEST_PATH_IMAGE005
，平移向量
Figure 662413DEST_PATH_IMAGE006
，
Figure 167344DEST_PATH_IMAGE007
表示旋转轴，a、b、c表示不同的旋转角度，i、j、k是虚数，且，i2=-1，j2=-1，k2=-1，
Figure 731180DEST_PATH_IMAGE008
表示基坐标的原点到相机坐标系的三轴距离。
S123：机器人三维模型记为Psrc，用作损失函数计算，Ptgt和Psrc分别采样为N个点；
S124：通过旋转四元数获取旋转矩阵Rpred；
具体来说，
Figure 321562DEST_PATH_IMAGE009
S125：Rpred和Tpred代表网络预测的旋转和平移矩阵结果，将估计的Rpred和Tpred作用到Psrc上得到预测的变换到相机坐标系的三维模型Ppred；
Figure 988483DEST_PATH_IMAGE002
；
其中，ptgt是Ptgt中的每一个三维坐标点，N为三维坐标点的数量。
S126：Rgt和Tgt代表数据集中标注的三维模型到点云的旋转和平移矩阵真实值，将真实的Rgt和Tgt矩阵作用到Psrc上得到真实的变换到相机坐标系的三维模型Pgt：
Figure 988800DEST_PATH_IMAGE003
；
S127：计算Ppred和Pgt的对应点之间的平均距离Loss，即：
Figure 800899DEST_PATH_IMAGE004
；其中，pgt是Pgt中的每一个三维坐标点，N为三维坐标点的数量，ppred是Ppred中的每一个三维坐标点；
S128：使Loss充分收敛后，得到网络输出的Rpred和Tpred即机器人基坐标系到相机坐标系的位姿变换矩阵，从而完成位姿感知模型的训练。
S130：将深度相机安装在每个机器人上。
S140：通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿；
具体来说，机器人的多机交互场景由深度相机和机器人组成，每台机器人的移动底座上方仰角固定一台深度相机，首先对机器人和深度相机进行手眼标定，使得相机坐标系下的坐标可以转化成机器人运动所需的坐标，初始时机器人可处于场景中的任意位置。步骤S140包括以下步骤：
S141：深度相机获取视角内协作机器人的点云图，同时通过IP地址在机器人之间进行通信，获取协作机器人的关节在基坐标系下的坐标
Figure 177653DEST_PATH_IMAGE011
，其中j表示关节数量，协作机器人的含义是：两个交互的机器人互相为对方的协作机器人。
S142：将获取的协作机器人的点云图输入到位姿感知模型，得到协作对象的基坐标系到相机坐标系的位姿变换矩阵；
S143：将位姿变换矩阵作用到协作机器人基坐标系下的每个关节的坐标上，得到协作机器人每个关节在相机坐标系下对应的坐标，即，
Figure 657176DEST_PATH_IMAGE012
其中，
Figure 559886DEST_PATH_IMAGE013
表示协作机器人第i个关节在相机坐标系下对应的坐标，
Figure 859280DEST_PATH_IMAGE014
表示协作机器人第i个关节在基坐标系下对应的坐标，R、T表示协作对象的基坐标系到相机坐标系的位姿变换矩阵。
S150：依据机器人相对位姿，获取协作的两个机器人的每个关节的相对空间位置，规划机器人运动并完成交互任务。
具体来说，步骤S150，即，机器人得到协作机器人的关节坐标在相机坐标系下的位置，利用事先手眼标定得到的变换矩阵得到机器人基坐标系下的坐标，并控制机器人末端运动到该位置，不断重复此过程直到目标位置小于一定的阈值则停止运动，完成交互任务。当与协作机器人距离超出机械臂的臂展范围时，移动机器人的底盘来拉近两个机器人底座的距离；当距离在机械臂可达范围内时，计算目标点与当前末端位置的中心点作为真正的目标点以避免出现碰撞。
实施例2
请参阅图4，本实施例提供了一种多机器人交互的三维视觉位姿感知系统，通过深度相机来实现良好的位姿感知效果，深度相机作为一种低成本设备，能够真正在工业中应用。并且通过三维点云与已知的机器人关节信息的融合，将位姿感知问题转化为机器人基坐标系和相机坐标系的坐标转换问题，能够实现较高的位姿感知精度。
具体来说，该系统包括：
数据集建立模块，适于获取并建立多模态信息的机器人位姿数据集。具体来说，数据集建立模块用于执行以下步骤：
S111：建立相机坐标系；
其中，建立相机坐标系，即，以深度相机的质点为中心，在地面上按照预设间隔画同心圆；以标定机器人正前方做0°，逆时针从0到360度每预设角度画一条线，与同心圆之间的交点就是每个坐标系的坐标点。
如图2所示，在本实施例中，间隔分别为1米，1.5米，2米，2.5米，每20°画一条线，从而获取相机坐标系，坐标点一共72个点。
S112：获取标定机器人每个姿态在相机坐标系中每个点的点云图以及相应的标定机器人当前关节角度信息。在标定机器人的数据采集过程中，可以控制机器人面朝深度相机在每个间隔的同心圆处自转360°进行数据采集。机器人具有多个姿态，需要对每个姿态进行数据采集。
S113：依据标定机器人的当前关节角度信息对机器人进行三维重现，从而获取机器人三维模型。
具体地，从机器人配备的控制软件获取机器人当前关节角度信息，结合机器人D-H参数建立原始三维模型，利用VTK三维渲染工具生成机器人当前姿态的三维模型。D-H参数表示三维模型包括机器人的三维结构，关节的轴位置，臂长等信息。
S114：对点云图进行分割标注以及位姿标注，获取机器人点云图以及机器人三维模型到点云图的刚性变换矩阵。
训练模块，适于依据机器人位姿数据集训练位姿感知模型。具体来说训练模块用于执行以下步骤：
S121：对未标注时的机器人位姿数据集进行语义分割获取机器人点云图，下采样后记为Ptgt；
具体来说，步骤S121，即，通过点云滤波方式对获取的点云图进行预处理，去除点云中的无效点和离群点；处理后的点云图作为网络输入，使用PointNet网络进行语义分割，将所有点云中的点归为机器人或背景，使机器人和背景分离，得到机器人点云图。
S122：将Ptgt输入到位姿估计网络中获取旋转四元数Qpred和平移向量Tpred；
具体来说，如图3所示，位姿估计网络的两个分支分别对输入的Ptgt进行特征提取，以PointNet作为主干网络对Ptgt进行特征提取，并使用SELayer注意力机制对PointNet提取出的1024维特征进行特征融合，为Ptgt中点的不同重要程度赋予不同的权重。然后两个分支分别使用三层MLP回归得到旋转四元数Qpred和平移向量Tpred。其中，MLP是非参数估计的机器学习方法，是一种人工神经网络结构，通过若干个全连接层进行特征和回归问题，SELayer注意力模块使用平均池化实现，将每个通道的空间特征编码为一个实数，得到通道级的全局特征，之后，使用两个全连接层学习各个通道之间的关系，得到不同通道的权重，第一个全连接层用于降维，使用ReLU函数作为激活函数，第二个全连接层用于恢复原始维度，使用Sigmoid函数作为激活函数，输出每个特征通道的重要性。最后，将学习到的权重系数逐通道加权乘到原始特征上，完成在通道级上对原始特征的重标定。
其中，旋转四元数
Figure 774146DEST_PATH_IMAGE005
，平移向量
Figure 842596DEST_PATH_IMAGE006
，
Figure 450295DEST_PATH_IMAGE007
表示旋转轴，a、b、c表示不同的旋转角度，i、j、k是虚数，且，i2=-1，j2=-1，k2=-1，
Figure 236986DEST_PATH_IMAGE008
表示基坐标的原点到相机坐标系的三轴距离。
S123：机器人三维模型记为Psrc，用作损失函数计算，Ptgt和Psrc分别采样为N个点；
S124：通过旋转四元数获取旋转矩阵Rpred；
具体来说，
Figure 689964DEST_PATH_IMAGE009
S125：Rpred和Tpred代表网络预测的旋转和平移矩阵结果，将估计的Rpred和Tpred作用到Psrc上得到预测的变换到相机坐标系的三维模型Ppred；
Figure 657100DEST_PATH_IMAGE002
；
其中，ptgt是Ptgt中的每一个三维坐标点，N为三维坐标点的数量。
S126：Rgt和Tgt代表数据集中标注的三维模型到点云的旋转和平移矩阵真实值，将真实的Rgt和Tgt矩阵作用到Psrc上得到真实的变换到相机坐标系的三维模型Pgt：
Figure 931086DEST_PATH_IMAGE003
；
S127：计算Ppred和Pgt的对应点之间的平均距离Loss，即：
Figure 187755DEST_PATH_IMAGE004
；其中，pgt是Pgt中的每一个三维坐标点，N为三维坐标点的数量，ppred是Ppred中的每一个三维坐标点；
S128：使Loss充分收敛后，得到网络输出的Rpred和Tpred即机器人基坐标系到相机坐标系的位姿变换矩阵，从而完成位姿感知模型的训练。
安装模块，适于将深度相机安装在每个机器人上。
相对位姿获取模块，适于通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿。具体来说，机器人的多机交互场景由深度相机和机器人组成，每台机器人的移动底座上方仰角固定一台深度相机，首先对机器人和深度相机进行手眼标定，使得相机坐标系下的坐标可以转化成机器人运动所需的坐标，初始时机器人可处于场景中的任意位置。相对位姿获取模块用于执行以下步骤：
S141：深度相机获取视角内协作机器人的点云图，同时通过IP地址在机器人之间进行通信，获取协作机器人的关节在基坐标系下的坐标
Figure 227868DEST_PATH_IMAGE011
，其中j表示关节数量，协作机器人的含义是：两个交互的机器人互相为对方的协作机器人。
S142：将获取的协作机器人的点云图输入到位姿感知模型，得到协作对象的基坐标系到相机坐标系的位姿变换矩阵；
S143：将位姿变换矩阵作用到协作机器人基坐标系下的每个关节的坐标上，得到协作机器人每个关节在相机坐标系下对应的坐标，即，
Figure 911790DEST_PATH_IMAGE012
其中，
Figure 673073DEST_PATH_IMAGE013
表示协作机器人第i个关节在相机坐标系下对应的坐标，
Figure 733433DEST_PATH_IMAGE014
表示协作机器人第i个关节在基坐标系下对应的坐标，R、T表示协作对象的基坐标系到相机坐标系的位姿变换矩阵。
交互模块，适于依据机器人相对位姿，获取协作的两个机器人的每个关节的相对空间位置，规划机器人运动并完成交互任务。即，机器人得到协作机器人的关节坐标在相机坐标系下的位置，利用事先手眼标定得到的变换矩阵得到机器人基坐标系下的坐标，并控制机器人末端运动到该位置，不断重复此过程直到目标位置小于一定的阈值则停止运动，完成交互任务。当与协作机器人距离超出机械臂的臂展范围时，移动机器人的底盘来拉近两个机器人底座的距离；当距离在机械臂可达范围内时，计算目标点与当前末端位置的中心点作为真正的目标点以避免出现碰撞。
实施例3
本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质中存储至少一条的指令，以上所述指令由处理器执行时实现实施例1所提供的多机器人交互的三维视觉位姿感知方法，通过深度相机来实现良好的位姿感知效果，并且通过三维点云与已知的机器人关节信息的融合，将位姿感知问题转化为机器人基坐标系和相机坐标系的坐标转换问题，能够实现较高的位姿感知精度，深度相机作为一种低成本设备，能够真正在工业中应用。
实施例4
请参阅图5，本实施例提供了一种电子设备，包括：存储器502和处理器501；所述存储器502中存储有至少一条程序指令；所述处理器501，通过加载并执行所述至少一条程序指令以实现如实施例1所提供的多机器人交互的三维视觉位姿感知方法。
存储器502和处理器501采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器501和存储器502的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器501处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器501。
处理器501负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器502可以被用于存储处理器501在执行操作时所使用的数据。
综上所述，本发明提供了一种多机器人交互的三维视觉位姿感知方法及系统，其中，一种多机器人交互的三维视觉位姿感知方法包括：获取并建立多模态信息的机器人位姿数据集；依据机器人位姿数据集训练位姿感知模型；将深度相机安装在每个机器人上；通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿；依据机器人相对位姿，获取协作的两个机器人的每个关节的相对空间位置，规划机器人运动并完成交互任务。通过深度相机来实现良好的位姿感知效果，并且通过三维点云与已知的机器人关节信息的融合，将位姿感知问题转化为机器人基坐标系和相机坐标系的坐标转换问题，能够实现较高的位姿感知精度，深度相机作为一种低成本设备，能够真正在工业中应用。
以上述依据本发明的理想实施例为启示，通过上述的说明内容，相关工作人员完全可以在不偏离本项发明技术思想的范围内，进行多样的变更以及修改。本项发明的技术性范围并不局限于说明书上的内容，必须要根据权利要求范围来确定其技术性范围。

Claims (10)

1.一种多机器人交互的三维视觉位姿感知方法，其特征在于，所述方法包括：
获取并建立多模态信息的机器人位姿数据集；
依据机器人位姿数据集训练位姿感知模型；
将深度相机安装在每个机器人上；
通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿；
依据机器人相对位姿，获取协作的两个机器人的每个关节的相对空间位置，规划机器人运动并完成交互任务。
2.如权利要求1所述的多机器人交互的三维视觉位姿感知方法，其特征在于，所述获取并建立多模态信息的机器人位姿数据集的步骤包括：
建立相机坐标系；
获取标定机器人每个姿态在相机坐标系中每个点的点云图以及相应的标定机器人当前关节角度信息；
依据标定机器人的当前关节角度信息对机器人进行三维重现，从而获取机器人三维模型；
对点云图进行分割标注以及位姿标注，获取机器人点云图以及机器人三维模型到点云图的刚性变换矩阵。
3.如权利要求2所述的多机器人交互的三维视觉位姿感知方法，其特征在于，所述建立相机坐标系的步骤包括：
以深度相机的质点为中心，在地面上按照预设间隔画同心圆；
以标定机器人正前方做0°，逆时针从0到360度每预设角度画一条线，与同心圆之间的交点就是每个坐标系的坐标点。
4.如权利要求2所述的多机器人交互的三维视觉位姿感知方法，其特征在于，所述依据机器人位姿数据集训练位姿感知模型的步骤包括：
对未标注时的机器人位姿数据集进行语义分割获取机器人点云图，下采样后记为Ptgt；
将Ptgt输入到位姿估计网络中获取旋转四元数Qpred和平移向量Tpred；
机器人三维模型记为Psrc，用作损失函数计算，Ptgt和Psrc分别采样为
Figure 173260DEST_PATH_IMAGE001
个点；
通过旋转四元数获取旋转矩阵Rpred；
Rpred和Tpred代表网络预测的旋转和平移矩阵结果，将估计的Rpred和Tpred作用到Psrc上得到预测的变换到相机坐标系的三维模型Ppred：
Figure 293663DEST_PATH_IMAGE002
；
其中，ptgt是Ptgt中的每一个三维坐标点，N为三维坐标点的数量，
Rgt和Tgt代表数据集中标注的三维模型到点云的旋转和平移矩阵真实值，将真实的Rgt和Tgt矩阵作用到Psrc上得到真实的变换到相机坐标系的三维模型Pgt：
Figure 276662DEST_PATH_IMAGE003
；
计算Ppred和Pgt的对应点之间的平均距离Loss，即：
Figure 875134DEST_PATH_IMAGE004
；其中，pgt是Pgt中的每一个三维坐标点，N为三维坐标点的数量，ppred是Ppred中的每一个三维坐标点；
使Loss充分收敛后，得到网络输出的Rpred和Tpred即机器人基坐标系到相机坐标系的位姿变换矩阵，从而完成位姿感知模型的训练。
5.如权利要求4所述的多机器人交互的三维视觉位姿感知方法，其特征在于，所述对未标注时的机器人位姿数据集进行语义分割获取机器人点云图，下采样后记为Ptgt的步骤包括;
通过点云滤波方式对获取的点云图进行预处理，去除点云中的无效点和离群点；
处理后的点云图作为网络输入，使用PointNet网络进行语义分割，将所有点云中的点归为机器人或背景，使机器人和背景分离，得到机器人点云图。
6.如权利要求4所述的多机器人交互的三维视觉位姿感知方法，其特征在于，所述将Ptgt输入到位姿估计网络中获取旋转四元数Qpred和平移向量Tpred的步骤包括：
位姿估计网络的两个分支分别对输入的Ptgt进行特征提取；
然后两个分支分别使用三层MLP回归得到旋转四元数Qpred和平移向量Tpred。
7.如权利要求6所述的多机器人交互的三维视觉位姿感知方法，其特征在于，所述位姿估计网络的两个分支分别对输入的Ptgt进行特征提取的步骤，即：
以PointNet作为主干网络对Ptgt进行特征提取，并使用SELayer注意力机制对PointNet提取出的1024维特征进行特征融合，为Ptgt中点的不同重要程度赋予不同的权重。
8.如权利要求4所述的多机器人交互的三维视觉位姿感知方法，其特征在于，所述通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿的步骤包括：
深度相机获取视角内协作机器人的点云图，同时通过IP地址在机器人之间进行通信，获取协作机器人的关节在基坐标系下的坐标；
将获取的协作机器人的点云图输入到位姿感知模型，得到协作对象的基坐标系到相机坐标系的位姿变换矩阵；
将位姿变换矩阵作用到协作机器人基坐标系下的每个关节的坐标上，得到协作机器人每个关节在相机坐标系下对应的坐标。
9.如权利要求1所述的多机器人交互的三维视觉位姿感知方法，其特征在于，所述依据机器人相对位姿，获取协作的两个机器人的每个关节的相对空间位置，规划机器人运动并完成交互任务的步骤，即，机器人得到协作机器人的关节坐标在相机坐标系下的位置，利用事先手眼标定得到的变换矩阵得到机器人基坐标系下的坐标，并控制机器人末端运动到该位置，不断重复此过程直到目标位置小于一定的阈值则停止运动，完成交互任务。
10.一种多机器人交互的三维视觉位姿感知系统，其特征在于，包括：
数据集建立模块，适于获取并建立多模态信息的机器人位姿数据集；
训练模块，适于依据机器人位姿数据集训练位姿感知模型；
安装模块，适于将深度相机安装在每个机器人上；
相对位姿获取模块，适于通过深度相机获取协作机器人的点云图，并利用位姿感知模型获取协作机器人的相对位姿；
交互模块，适于依据机器人相对位姿，获取协作的两个机器人的每个关节的相对空间位置，规划机器人运动并完成交互任务。
CN202111449750.3A 2021-12-01 2021-12-01 多机器人交互的三维视觉位姿感知方法及系统 Active CN113858217B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111449750.3A CN113858217B (zh) 2021-12-01 2021-12-01 多机器人交互的三维视觉位姿感知方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111449750.3A CN113858217B (zh) 2021-12-01 2021-12-01 多机器人交互的三维视觉位姿感知方法及系统

Publications (2)

Publication Number Publication Date
CN113858217A true CN113858217A (zh) 2021-12-31
CN113858217B CN113858217B (zh) 2022-02-15

Family

ID=78985353

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111449750.3A Active CN113858217B (zh) 2021-12-01 2021-12-01 多机器人交互的三维视觉位姿感知方法及系统

Country Status (1)

Country Link
CN (1) CN113858217B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972525A (zh) * 2022-04-21 2022-08-30 浙江理工大学 一种面向机器人抓取及增强现实的空间目标六自由度姿态估计方法
CN115946130A (zh) * 2023-03-13 2023-04-11 中国人民解放军国防科技大学 基于黎曼流形的人机协同方法
CN117115258A (zh) * 2023-08-30 2023-11-24 南京航空航天大学 面向航空发动机零部件辅助维修的六自由度位姿估计方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6611297B1 (ja) * 2019-05-31 2019-11-27 株式会社Ｍｕｊｉｎ ロボットシステムおよびその動作方法並びに非一時的なコンピュータ可読媒体
CN111055279A (zh) * 2019-12-17 2020-04-24 清华大学深圳国际研究生院 基于触觉与视觉结合的多模态物体抓取方法与系统
CN111347411A (zh) * 2018-12-20 2020-06-30 中国科学院沈阳自动化研究所 基于深度学习的双臂协作机器人三维视觉识别抓取方法
CN111906784A (zh) * 2020-07-23 2020-11-10 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
CN112476434A (zh) * 2020-11-24 2021-03-12 新拓三维技术(深圳)有限公司 一种基于协作机器人的视觉3d取放方法及系统
US20210138656A1 (en) * 2019-11-13 2021-05-13 Vicarious Fpc, Inc. Method and system for robot control using visual feedback
CN112991454A (zh) * 2019-12-18 2021-06-18 动态Ad有限责任公司 照相机到LiDAR的标定和验证
US20210316463A1 (en) * 2020-04-14 2021-10-14 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Candidate six dimensional pose hypothesis selection
CN113715016A (zh) * 2021-08-17 2021-11-30 嘉兴市敏硕智能科技有限公司 一种基于3d视觉的机器人抓取方法、系统、装置及介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111347411A (zh) * 2018-12-20 2020-06-30 中国科学院沈阳自动化研究所 基于深度学习的双臂协作机器人三维视觉识别抓取方法
JP6611297B1 (ja) * 2019-05-31 2019-11-27 株式会社Ｍｕｊｉｎ ロボットシステムおよびその動作方法並びに非一時的なコンピュータ可読媒体
US20210138656A1 (en) * 2019-11-13 2021-05-13 Vicarious Fpc, Inc. Method and system for robot control using visual feedback
CN111055279A (zh) * 2019-12-17 2020-04-24 清华大学深圳国际研究生院 基于触觉与视觉结合的多模态物体抓取方法与系统
CN112991454A (zh) * 2019-12-18 2021-06-18 动态Ad有限责任公司 照相机到LiDAR的标定和验证
US20210316463A1 (en) * 2020-04-14 2021-10-14 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Candidate six dimensional pose hypothesis selection
CN111906784A (zh) * 2020-07-23 2020-11-10 湖南爱米家智能科技有限公司 一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法
CN112476434A (zh) * 2020-11-24 2021-03-12 新拓三维技术(深圳)有限公司 一种基于协作机器人的视觉3d取放方法及系统
CN113715016A (zh) * 2021-08-17 2021-11-30 嘉兴市敏硕智能科技有限公司 一种基于3d视觉的机器人抓取方法、系统、装置及介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DALI WANG: "Improving Position Accuracy of Robot Manipulators Using Neural Networks", 《 2005 IEEE INSTRUMENTATIONAND MEASUREMENT TECHNOLOGY CONFERENCE PROCEEDINGS》 *
SHUBHANKAR POTDAR等: "Learning by demonstration from multiple agents in humanoid robots", 《2016 IEEE STUDENTS" CONFERENCE ON ELECTRICAL, ELECTRONICS AND COMPUTER SCIENCE (SCEECS)》 *
王祎旻: "基于视觉-深度信息的多机器人协作建图研究", 《CNKI》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972525A (zh) * 2022-04-21 2022-08-30 浙江理工大学 一种面向机器人抓取及增强现实的空间目标六自由度姿态估计方法
CN114972525B (zh) * 2022-04-21 2024-05-14 浙江理工大学 一种面向机器人抓取及增强现实的空间目标姿态估计方法
CN115946130A (zh) * 2023-03-13 2023-04-11 中国人民解放军国防科技大学 基于黎曼流形的人机协同方法
CN117115258A (zh) * 2023-08-30 2023-11-24 南京航空航天大学 面向航空发动机零部件辅助维修的六自由度位姿估计方法

Also Published As

Publication number Publication date
CN113858217B (zh) 2022-02-15

Similar Documents

Publication Publication Date Title
CN113858217B (zh) 多机器人交互的三维视觉位姿感知方法及系统
CN110587600B (zh) 基于点云的带电作业机器人自主路径规划方法
CN111801198B (zh) 一种手眼标定方法、系统及计算机存储介质
CN109571487B (zh) 一种基于视觉的机器人演示学习方法
CN109807887B (zh) 基于深度神经网络的柔性臂智能感知与控制方法和系统
CN111260649B (zh) 一种近距离机械臂感知与校准方法
CN110253574B (zh) 一种多任务机械臂位姿检测和误差补偿方法
CN109079787B (zh) 基于神经网络的非刚性机器人自动手眼标定方法
JP2022542241A (ja) ロボット装置からの視覚的出力を補強するシステム及び方法
CN106647529B (zh) 一种面向六轴工业机器人轨迹精确跟踪控制的智能示教系统
Melchiorre et al. Collison avoidance using point cloud data fusion from multiple depth sensors: a practical approach
CN111590567B (zh) 一种基于Omega手柄的空间机械臂遥操作规划方法
CN114912287A (zh) 基于目标6d位姿估计的机器人自主抓取仿真系统及方法
Xie et al. Dynamic IBVS of a rotary wing UAV using line features
CN112207835A (zh) 一种基于示教学习实现双臂协同作业任务的方法
CN115122325A (zh) 一种具有视场约束的拟人化机械手鲁棒视觉伺服控制方法
CN111098306A (zh) 机器人的标定方法、装置、机器人和存储介质
CN114770461A (zh) 一种基于单目视觉的移动机器人及其自动抓取方法
Zhao et al. A novel accurate positioning method for object pose estimation in robotic manipulation based on vision and tactile sensors
CN117140517A (zh) 一种高精度的机械臂自动手眼标定方法及系统
CN114998444B (zh) 一种基于两通道网络的机器人高精度位姿测量系统
CN116149371A (zh) 一种基于视觉传感器网络的多运动体三维跟踪与控制平台
CN215701709U (zh) 一种可配置的手眼标定装置
CN115194774A (zh) 一种基于多目视觉的双机械臂抓握系统控制方法
CN114083545B (zh) 一种基于视觉感知的运动物体机器人抓取方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant