CN114905508A - 基于异构特征融合的机器人抓取方法 - Google Patents

基于异构特征融合的机器人抓取方法 Download PDF

Info

Publication number
CN114905508A
CN114905508A CN202210412148.0A CN202210412148A CN114905508A CN 114905508 A CN114905508 A CN 114905508A CN 202210412148 A CN202210412148 A CN 202210412148A CN 114905508 A CN114905508 A CN 114905508A
Authority
CN
China
Prior art keywords
robot
information
heterogeneous
grabbing
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210412148.0A
Other languages
English (en)
Other versions
CN114905508B (zh
Inventor
李智军
曾敏
李国欣
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Original Assignee
Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Artificial Intelligence of Hefei Comprehensive National Science Center filed Critical Institute of Artificial Intelligence of Hefei Comprehensive National Science Center
Priority to CN202210412148.0A priority Critical patent/CN114905508B/zh
Publication of CN114905508A publication Critical patent/CN114905508A/zh
Application granted granted Critical
Publication of CN114905508B publication Critical patent/CN114905508B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
    • B25J9/1666—Avoiding collision or forbidden zones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种基于异构特征融合的机器人抓取方法，包括基于异构特征的环境‑机器人感知模块，基于机器人本体的轮式‑机械臂规划模块以及机器人运动控制模块；基于异构特征的环境‑机器人感知模块能够获取障碍物坐标、机器人当前坐标、目标点坐标等感知信息；基于机器人本体的轮式‑机械臂规划模块根据所述感知信息进行规划路径使机器人的机械手能够获得目标的无碰撞路径；机器人运动控制模块根据无碰撞路径并通过电机驱动实现机器人执行无碰撞路径的动作。本方法可以融合多模态信息，获取三维环境下的精细感知模型，集感知、规划及控制于一体，实现在非结构化环境中接近目标并在不碰撞障碍物的情况下成功实现移动双臂机器人的抓取操作。

Description

基于异构特征融合的机器人抓取方法
技术领域
本发明涉及机器人领域，具体地，涉及一种基于异构特征融合的机器人抓取方法。
背景技术
在家用机的智能机器人中，最需要具备的能力包括两方面，一方面是移动导航能力，另一方面就是机器臂的抓取能力。人类具有着强大的灵活性与机动性，而机器人没有。在环境中，机器人抓取物体时会遇到不少的阻碍，例如机器人在中的移动空间比较有限，要抓取的物体可能会被其他物体遮挡。此外，在有人类走动的环境中，安全性也是一个非常重要的问题。
针对环境下面临任务环境复杂，操作对象种类繁多，存在光照、背景变化、抖动等不确定因素，仅通过单一传感器感知目标信息不完整，同时由于遮挡，视角等因素造成的检测不精确，且检测信息中可能含有大量噪音，为保证移动双臂机器人对周围环境的精细感知，需要融合视觉、触觉、力觉、深度信息等多种传感信息进行机器人周围环境的多模态感知。
针对单源信号源由于遮挡、视角等因素造成的检测不精确时有发生，如专利文献CN105598974A公开了一种机械手运动方法及其系统，依据在运动过程是否检测到取料允许信号或放料允许信号，控制机械手的实时运动；一旦运动过程中的检测信号因为不定环境因素的遮挡，往往就会出现检测及其不精确的情况，如此会造成机械手无法实现实时准确运动。进一步，对于机器人抓取过程中存在的光照、背景变化、抖动等不确定性因素、复杂环境中存在的目标种类繁多、局部信息严重的问题、被抓取目标形状不固定、重量不确定问题，甚至单视角视觉信息存在的目标信息缺失的问题更是无法克服的。
发明内容
针对现有技术中的缺陷，本发明的目的是提供一种基于异构特征融合的机器人抓取方法，可以融合多模态信息，获取三维环境下被抓取目标的精细感知模型，同时集感知，规划及控制于一体，使移动双臂机器人能够在非结构化环境中不碰撞任何障碍物的情况下成功的抓取目标。
根据本发明提供的一种基于异构特征融合的机器人抓取方法，包括基于异构特征的环境-机器人感知模块，基于机器人本体的轮式-机械臂规划模块以及机器人运动控制模块；
所述基于异构特征的环境-机器人感知模块用于对环境进行精细感知，获取障碍物坐标、机器人当前坐标、目标点坐标等感知信息；
所述基于机器人本体的轮式-机械臂规划模块根据所述基于异构特征的环境-机器人感知模块的感知信息，进行规划路径，使机器人的机械手能够获得目标的无碰撞路径；
所述机器人运动控制模块根据所述基于机器人本体的轮式-机械臂规划模块的无碰撞路径，通过电机驱动实现机器人执行所述无碰撞路径的动作。
进一步地，所述基于异构特征的环境-机器人感知模块包括实现环境信息特征融合的基于多模态信息的异构特征融合模块、实现环境与目标信息重建的基于多尺度信息的三维检测模块、实现目标的准确位姿估计的基于分层优化的多源位姿估计模块、实现噪声处理与信息增强的基于分析归类模型的自适应鲁棒性增强方法模块；
所述基于多模态信息感知的异构特征模块，根据不同类型的传感器中收集观测目标的数据建立多模态信息感知模型，获得各传感器的异构特征，构建多模态深度学习模型进行异构特征融合，输出多视觉传感器环境信息；
具体地，不同类型的传感器包括但不仅限于视觉传感器，触觉传感器，力觉传感器和深度传感器。
所述基于多尺度信息的三维检测模块，通过多视觉信号对物体信息进行表征获得目标物体的整体特征描述，融合所述多视觉传感器环境信息，通过多视觉传感器环境信息的局部表征和目标物体的整体特征的多尺度位置估计方法，输出环境与目标物体位置信息，实现物体三维坐标的矫正；
所述基于分层优化的多源位姿估计模块包括初步位姿估计、实时矫正目标物体的位姿状态；
所述初步位姿估计根据所述环境与目标物体位置信息获得位置物体的表面形状，通过抓取状态下的实时触觉反馈，获得初步触觉信息；回归计算获得合适的夹持力，获得对应关节力矩阵信息；
所述实时矫正目标物体的位姿状态根据所述初步触觉信息、关节力矩阵信息通过粒子群算法实时确定机器人的本体工作状态，建立多模态数据的同源感知模型，输出异构多源传感信号；
所述基于分析归类模型的自适应鲁棒性增强方法模块，针对不同的操作任务类型情况，通过噪声自适应调节方法和建立视觉感知、力觉感知、深度感知的关联机制，采用深度特征学习模型的级联推理框架，融合时空配准法，实时预测机器人周围三维环境的综合态势，对所述异构多源传感信号，进行精细估计与信号矫正，获得所述感知信息。具体地，针对抓取过程中的多模态感知信号存在的大量噪声，建立干扰信号的分析归类模型。针对不同的操作任务类型情况，通过融合异构多源传感信息进行精细估计与信号矫正；基于不一致多源抽象信息，采用模糊贝叶斯推理法，建立视觉感知、力觉感知、深度感知的关联机制。
进一步地，所述多模态信息感知模型为以分布式感知的方式，通过多源动态信号表征机器人所处的环境，获取初步检测特征的异构特征；
所述多模态深度学习模型使用人工神经网络法引入非线性激活函数，实现多模态特征的异构特征融合。
具体地，多模态信息感知模型首先从传感器中收集观测目标的数据，获得各传感器的异构特征，对传感器的输出数据进行特征提取的变换，从而获得观测数据的特征向量，对各个传感器进行模式识别处理，完成各个传感器关于目标数据的说明；接下来将各个传感器数据进行关联；最后构建多模态深度学习模型利用人工神经网络法进行传感器的异构特征融合，通过模仿人脑的结构和工作原理以传感器获取的异构特征作为网络的输入，通过网络的训练在机器上完成一定的智能任务来消除非目标参数的干扰，最终输出多视觉传感器环境信息，获得对环境观测的一致性解释。
进一步地，多模态信息感知的异构特征模块设有自适应特性的注意力机制方法，对多源信号进行权值计算，实现冗余信息的动态调节。
进一步地，所述多尺度位置估计方法引入轻量级深度学习网络，通过多源信息的稀疏表示和降维来实现算法的实时性。
进一步地，所述噪声自适应调节方法，引入时变参数，克服干扰信号的影响，提升识别的鲁棒性；
进一步地，所述规划路径包括建立抓取规则、导航避障；
所述抓取规则使用基于对象整体形状及其局部特征的启发式算法计算建立抓取规则，实现抓取；
所述导航避障利用人工势场法建立导航避障，将编队理论应用于多关节机器手，根据传感器结果规划路径，获得目标的无碰撞路径。
进一步地，所述启发式算法：从物体的上方或者侧面开始，如果搜索到适合机械手抓取的目标物体的抓取轨迹，则将该抓取轨迹记为无碰撞路径；如果没有搜索成功，则从目标物体的高点上方抓取，对不同的抓取操作进行排序，生成簇的规划抓取操作，进一步形成有效的抓取轨迹，此时的抓取轨迹记为无碰撞路径。特别地，用一组简单的特征权重对根据上述原则找到的抓取操作进行排序，抓取操作包括适合抓取器内部的感测到的对象点的数量、与对象中心的距离等。
进一步地，所述启发式算法还设有组合抓取评估结果机制，所述组合抓取评估结果机制首先根据估计生成池中每个抓取操作成功的概率，选择最有可能成功的抓取操作；一旦认为抓取是可行的，通过运动规划器生成用于到达抓取位置的抓取轨迹。
进一步地，当机器臂从物体目标的高点上方或主轴方向抓取物体时，需要把物体的坐标转换为世界坐标系，转换矩阵如下：
Figure BDA0003604413680000041
其中
Figure BDA0003604413680000042
是指世界坐标系的目标坐标，
Figure BDA0003604413680000043
是指世界坐标系的机械手坐标，
Figure BDA0003604413680000044
是指机械手坐标系的目标坐标。
与现有技术相比，本发明具有如下的有益效果：
1、本发明提供了一种基于异构特征融合的移动双臂机器人的抓取方法，可以融合多模态信息，获取三维环境下被抓取目标的精细感知模型，同时集感知，规划于一体，使移动双臂机器人能够在非结构化环境中不碰撞任何障碍物的情况下成功的抓取目标。
2、本发明使用多个不同类型的传感器收集观测目标的数据，获得各传感器的异构特征，建立多模态信息感知模型，获得各传感器的异构特征，构建多模态深度学习模型进行异构特征融合，结合自适应特性的注意力机制方法，以获得对环境观测的精准的一致性解释。
3、本发明针对在机器人抓取的过程中针对单源信号源由于遮挡、视角等因素造成的检测不精确，建立多模态信息感知模型，进行分布式感知，通过多源动态信号充分表征当前机器人所处的复杂环境。
4、本发明针对多模态信号处于不同分布域、特征难以融合的问题，构建多模态深度学习模型，引入非线性激活函数，实现高质量多模态特征的异构融合。
5、本发明针对多模态信号的信息冗余，提出具有自适应特性的注意力机制方法，对多源信号进行权值计算，实现冗余信息的动态调节。
6、本发明针对机器人抓取过程中存在的光照、背景变化、抖动等不确定性因素，建立具有高鲁棒性的多尺度目标检测算法，通过视觉信息的局部表征和整体特征提出多尺度的位置估计方法。针对单视角视觉信息存在的目标信息缺失，提出多视角视觉信号对物体信息进行充分表征的方法，融合多视觉的传感器信息，结合物体的特征描述子，实现物体三维坐标的精细矫正。针对三维目标检测算法的高运算量与低效率，引入轻量级深度学习网络降低算法复杂度，通过多源信息的稀疏表示和降维来提高算法的实时性。
7、本发明针对被抓取目标形状不固定、重量不确定问题，建立基于分层优化的多源位姿估计模型，提升目标位姿估计的精度；针对复杂环境中存在的目标种类繁多、局部信息严重的问题。建立多模态数据的同源感知模型，克服单一模态信息表达的局限性，实现具有稳定一致性的三维物体位姿估计。
8、本发明针对抓取过程中的多模态感知信号存在的大量噪声，建立干扰信号的分析归类模型。针对不同的操作任务类型情况，通过融合异构多源传感信息进行精细估计与信号矫正，研究复杂场景中不同操作任务下的噪声自适应调节方法，引入时变参数，克服干扰信号的影响，提升识别的鲁棒性。基于不一致多源抽象信息，采用模糊贝叶斯推理法，建立视觉感知、力觉感知、深度感知的关联机制，采用深度特征学习模型的级联推理框架，融合时空配准法，实时预测机器人周围三维环境的综合态势。
9、本发明使用基于对象整体形状及其局部特征的启发式算法计算抓取结合组合抓取评估结果机制，快速精准地生成用于到达抓取位置的手臂轨迹，并执行抓取操作。
10、本发明利用人工势场法，将编队理论应用于多关节机器手，根据传感器结果规划路径，使机器人能够获得目标的无碰撞路径，达到抓取过程中避障的效果。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1为本发明所述的一种基于异构特征融合的机器人抓取方法结构示意图；
图2为本发明所述的基于多模态信息的三维环境精细感知框架图；
图3为主轴上方抓取方法示意图，从目标对象的高点进行抓取操作；
图4为本发明所述的机器臂结构图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。
本发明提供了一种基于异构特征融合的机器人抓取方法，包括基于异构特征的环境-机器人感知模块，基于机器人本体的轮式-机械臂规划模块以及机器人运动控制模块；基于异构特征的环境-机器人感知模块用于对环境进行精细感知，获取障碍物坐标、机器人当前坐标、目标点坐标等感知信息；基于机器人本体的轮式-机械臂规划模块根据基于异构特征的环境-机器人感知模块的感知信息，进行规划路径，使机器人的机械手能够获得目标的无碰撞路径；机器人运动控制模块根据基于机器人本体的轮式-机械臂规划模块的无碰撞路径，通过电机驱动实现机器人执行无碰撞路径的动作。本方法可以融合多模态信息，获取三维环境下的精细感知模型，集感知，规划及控制于一体，实现在非结构化环境中接近目标，并在不碰撞任何障碍物的情况下成功地实现移动双臂机器人的抓取操作。
其中，基于异构特征的环境-机器人感知模块包括实现环境信息特征融合的基于多模态信息的异构特征融合模块、实现环境与目标信息重建的基于多尺度信息的三维检测模块、实现目标的准确位姿估计的基于分层优化的多源位姿估计模块、实现噪声处理与信息增强的基于分析归类模型的自适应鲁棒性增强方法模块。
基于多模态信息感知的异构特征模块，根据不同类型的传感器中收集观测目标的数据建立多模态信息感知模型，获得各传感器的异构特征，构建多模态深度学习模型进行异构特征融合，输出多视觉传感器环境信息；具体地，不同类型的传感器包括但不仅限于视觉传感器，触觉传感器，力觉传感器和深度传感器。
进一步地，多模态信息感知模型为以分布式感知的方式，通过多源动态信号表征机器人所处的环境，获取初步检测特征的异构特征；多模态深度学习模型使用人工神经网络法引入非线性激活函数，实现多模态特征的异构特征融合。具体地，多模态信息感知模型首先从传感器中收集观测目标的数据，获得各传感器的异构特征，对传感器的输出数据进行特征提取的变换，从而获得观测数据的特征向量，对各个传感器进行模式识别处理，完成各个传感器关于目标数据的说明；接下来将各个传感器数据进行关联；最后构建多模态深度学习模型利用人工神经网络法进行传感器的异构特征融合，通过模仿人脑的结构和工作原理以传感器获取的异构特征作为网络的输入，通过网络的训练在机器上完成一定的智能任务来消除非目标参数的干扰，最终输出多视觉传感器环境信息，获得对环境观测的一致性解释。
进一步地，多模态信息感知的异构特征模块设有自适应特性的注意力机制方法，对多源信号进行权值计算，实现冗余信息的动态调节。
基于多尺度信息的三维检测模块，通过多视觉信号对物体信息进行表征获得目标物体的整体特征描述，融合多视觉传感器环境信息，通过多视觉传感器环境信息的局部表征和目标物体的整体特征的多尺度位置估计方法，输出环境与目标物体位置信息，实现物体三维坐标的矫正。进一步地，多尺度位置估计方法引入轻量级深度学习网络，通过多源信息的稀疏表示和降维来实现算法的实时性。
基于分层优化的多源位姿估计模块包括初步位姿估计、实时矫正目标物体的位姿状态。初步位姿估计根据环境与目标物体位置信息获得位置物体的表面形状，通过抓取状态下的实时触觉反馈，获得初步触觉信息；回归计算获得合适的夹持力，获得对应关节力矩阵信息。实时矫正目标物体的位姿状态根据初步触觉信息、关节力矩阵信息通过粒子群算法实时确定机器人的本体工作状态，建立多模态数据的同源感知模型，输出异构多源传感信号。
基于分析归类模型的自适应鲁棒性增强方法模块，针对不同的操作任务类型情况，通过噪声自适应调节方法和建立视觉感知、力觉感知、深度感知的关联机制，采用深度特征学习模型的级联推理框架，融合时空配准法，实时预测机器人周围三维环境的综合态势，对异构多源传感信号，进行精细估计与信号矫正，获得感知信息。具体地，针对抓取过程中的多模态感知信号存在的大量噪声，建立干扰信号的分析归类模型。针对不同的操作任务类型情况，通过融合异构多源传感信息进行精细估计与信号矫正；进一步地，噪声自适应调节方法，引入时变参数，克服干扰信号的影响，提升识别的鲁棒性；基于不一致多源抽象信息，采用模糊贝叶斯推理法，建立视觉感知、力觉感知、深度感知的关联机制。
另外，基于机器人本体的轮式-机械臂规划模块的规划路径包括建立抓取规则、导航避障；抓取规则使用基于对象整体形状及其局部特征的启发式算法计算建立抓取规则，实现抓取；导航避障利用人工势场法建立导航避障，将编队理论应用于多关节机器手，根据传感器结果规划路径，获得目标的无碰撞路径。
进一步地，启发式算法：从物体的上方或者侧面开始，如果搜索到适合机械手抓取的目标物体的抓取轨迹，则将该抓取轨迹记为无碰撞路径；如果没有搜索成功，则从目标物体的高点上方抓取，对不同的抓取操作进行排序，生成簇的规划抓取操作，进一步形成有效的抓取轨迹，此时的抓取轨迹记为无碰撞路径。特别地，用一组简单的特征权重对根据上述原则找到的抓取操作进行排序，抓取操作包括适合抓取器内部的感测到的对象点的数量、与对象中心的距离等。具体地，当机器臂从物体目标的高点上方或主轴方向抓取物体时，需要把物体的坐标转换为世界坐标系。
进一步地，启发式算法还设有组合抓取评估结果机制，组合抓取评估结果机制首先根据估计生成池中每个抓取操作成功的概率，选择最有可能成功的抓取操作；一旦认为抓取是可行的，通过运动规划器生成用于到达抓取位置的抓取轨迹。
本发明的工作原理如下：
本发明一种基于异构特征融合的移动双臂机器人的抓取方法侧重于感知与规划两个部分；
环境感知部分主要包括基于多模态信息的异构特征融合模块、基于多尺度信息的三维检测模块、基于多层优化的多源位姿估计模块以及基于多尺度信息的三维检测模块等；
规划部分主要包括抓取规划模块与导航避障模块；
非结构环境下移动双臂机器人的抓取结构如图1所示，移动双臂机器人的抓取操作包括感知与规划、控制三个部分。
如图1所示，感知部分主要包括四个模块，通过四个模块对周围环境进行精细的感知，获取障碍物坐标、机器人当前坐标以及目标点坐标等信息用于规划部分。
如图1所示，规划主要包括规划机器臂的抓取轨迹，以及避障方法。使用基于对象整体形状以及局部特征的启发式算法计划抓取，然后利用人工势场法，将编队理论应用于多关节机械手，最终获得机械手到目标的无碰撞路径，将规划的路径用于控制部分。
如图1所示，运动控制通过电机驱动实现机器人执行期望动作。
具体的环境感知框架如图2所示，通过建立多模态信息的异构特征融合模块解决环境中单独信号源由于遮挡、视角等因素造成的检测不精确问题，通过建立基于多尺度信息的三维检测模块解决环境中存在的光照、背景变化、抖动问题，通过建立基于分层优化的多源位姿估计模型解决环境中目标形状不固定、重量不确定问题，通过建立基于分析归类模型的自适应鲁棒性增强方法解决环境中多模态感知信号存在的大量噪声问题。最终获取基于多模态信息的三维环境精细感知的精细模型。
如图3所示，使用基于对象整体形状及其局部特征的启发式算法计划抓取，这种方法通过将机械手与主轴对齐，从物体上方或者侧面开始，搜索适合机械手内部抓取的物体部分来进行抓取操作，如果没有找搜索到可被抓取的物体部分，可以从物体高点上方抓取。在图3中，机械手从上方或主轴的方向抓取物体时，需要将目标的坐标系转换为世界坐标系。然后使用一组简单的特征权重对根据这些原则找到的抓取进行排序，包括适合抓取器内部感测到的对象点的数量、与对象中心的距离等。
如图4所示，将机械臂的关节视为队形的顶点。可以相对于相关联的队形顶点合成队列的人工势场以形成轨迹。以下的分析是在列表中第一个编队顶点(世界框架中的v1)的坐标系中进行，该坐标系中的x和z(
Figure BDA0003604413680000091
和
Figure BDA0003604413680000092
)分别与相应地层顶点的速度
Figure BDA0003604413680000093
和顶部方向(k)的单位向量相一致。从图4中可以看出关节进入所需轨迹和潜在沟槽横截面时对其施加的力。关节被吸引到轨迹上最接近它的点(vnr)。记点vnr和点vir之间的最短距离为
Figure BDA0003604413680000094
(1)形态适应和变形：当检测到的障碍物位于
Figure BDA0003604413680000095
方向时，关节被吸引到障碍物之前的点，但仍沿向量
Figure BDA0003604413680000096
在这种情况下引力被修改为：
Figure BDA0003604413680000097
Figure BDA0003604413680000098
其中pob是关节i与障碍物沿
Figure BDA0003604413680000099
方向的距离，padp是变形后的编队与障碍物的距离，Ucross表示势沟的横截面。
当机器臂从目标的上方或主轴方向抓取物体时，需要把物体的坐标转换为世界坐标系。转换矩阵如下：
Figure BDA0003604413680000101
其中
Figure BDA0003604413680000102
是指世界坐标系的目标坐标，
Figure BDA0003604413680000103
是指世界坐标系的机械手坐标，
Figure BDA0003604413680000104
是指机械手坐标系的目标坐标。
将顶点坐标系中的力
Figure BDA0003604413680000105
转换为世界坐标系，在世界坐标系中计算作用于关节的所有力
Figure BDA0003604413680000106
Figure BDA0003604413680000107
是v1坐标系转换到世界坐标系，公式如下所示：
Figure BDA0003604413680000108
Figure BDA0003604413680000109
(2)目标跟踪：每个关节将其目标设置为其队列L的第一个队列顶点。考虑目标的位置和速度，关节的目标跟踪函数以及相应的吸引力
Figure BDA00036044136800001010
如下：
Figure BDA00036044136800001011
其中atg,atg1,atg2,atg3>0，为加权参数，f(vi)，f(νi)，f(ki)分别表示目标的位置，速度，方向。
Figure BDA00036044136800001012
是目标跟踪势函数
Figure BDA00036044136800001013
Figure BDA00036044136800001014
分别表示对vi,νi,ki求导数，f′(vi)，f′(νi)，f′(ki)为对应的导数，
Figure BDA00036044136800001015
Figure BDA00036044136800001016
是对应的单位向量，atg,atg1,atg2,atg3这些参数加权了跟踪目标的位置、速度和方向之间的相对重要性。
(3)避障：基于距离的反馈实现了简单的避障，设pij表示连接点与障碍物之间的距离，排斥势如下：
Figure BDA00036044136800001017
其中pij表示关节i到障碍物j的距离，p0是一个正常数，参数aob>0是一个常数，产生排斥力
Figure BDA00036044136800001018
公式如下所示：
Figure BDA00036044136800001019
其中
Figure BDA00036044136800001020
是顶点坐标系与世界坐标系的转换公式。
Figure BDA00036044136800001021
表示对应的单位向量。
(4)机器人的整体行为：关节行为
Figure BDA00036044136800001022
由前面推导出的单个力的矢量和来确定，在有m个障碍物的情况下公式可以写成：
Figure BDA0003604413680000111
其中
Figure BDA0003604413680000112
是在世界坐标系中作用于关节的所有力，
Figure BDA0003604413680000113
表示这个过程受到的吸引力，pij表示关节i到障碍物j的距离，产生的排斥力为
Figure BDA0003604413680000114
本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、模块、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、模块、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、模块、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、模块、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、模块、单元视为既可以是实现方法的软件模块又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于异构特征融合的机器人抓取方法，其特征在于，包括基于异构特征的环境-机器人感知模块，基于机器人本体的轮式-机械臂规划模块以及机器人运动控制模块；
所述基于异构特征的环境-机器人感知模块用于对环境进行精细感知，获取感知信息，所述感知信息包括障碍物坐标、机器人当前坐标、目标点坐标；
所述基于机器人本体的轮式-机械臂规划模块根据所述基于异构特征的环境-机器人感知模块的感知信息，进行规划路径，使机器人的机械手能够获得目标的无碰撞路径；
所述机器人运动控制模块根据所述无碰撞路径通过电机驱动实现机器人执行所述无碰撞路径的动作。
2.根据权利要求1所述的基于异构特征融合的机器人抓取方法，其特征在于，所述基于异构特征的环境-机器人感知模块包括实现环境信息特征融合的基于多模态信息的异构特征融合模块、实现环境与目标信息重建的基于多尺度信息的三维检测模块、实现目标的准确位姿估计的基于分层优化的多源位姿估计模块、实现噪声处理与信息增强的基于分析归类模型的自适应鲁棒性增强方法模块；
所述基于多模态信息感知的异构特征模块，根据不同类型的传感器中收集观测目标的数据建立多模态信息感知模型，获得各传感器的异构特征，构建多模态深度学习模型进行异构特征融合，输出多视觉传感器环境信息；
所述基于多尺度信息的三维检测模块，通过多视觉信号对物体信息进行表征获得目标物体的整体特征描述，融合所述多视觉传感器环境信息，通过多视觉传感器环境信息的局部表征和目标物体的整体特征的多尺度位置估计方法，输出环境与目标物体位置信息，实现物体三维坐标的矫正；
所述基于分层优化的多源位姿估计模块包括初步位姿估计、实时矫正目标物体的位姿状态；
所述初步位姿估计根据所述环境与目标物体位置信息获得位置物体的表面形状，通过抓取状态下的实时触觉反馈，获得初步触觉信息；回归计算获得合适的夹持力，获得对应关节力矩阵信息；
所述实时矫正目标物体的位姿状态根据所述初步触觉信息、关节力矩阵信息通过粒子群算法实时确定机器人的本体工作状态，建立多模态数据的同源感知模型，输出异构多源传感信号；
所述基于分析归类模型的自适应鲁棒性增强方法模块针对不同的操作任务类型情况，通过噪声自适应调节方法和建立视觉感知、力觉感知、深度感知的关联机制，采用深度特征学习模型的级联推理框架，融合时空配准法，实时预测机器人周围三维环境的综合态势，对所述异构多源传感信号，进行精细估计与信号矫正，获得所述感知信息。
3.根据权利要求2所述的基于异构特征融合的机器人抓取方法，其特征在于，所述多模态信息感知模型为以分布式感知的方式，通过多源动态信号表征机器人所处的环境，获取初步检测特征的异构特征；
所述多模态深度学习模型使用人工神经网络法引入非线性激活函数，实现多模态特征的异构特征融合。
4.根据权利要求2所述的基于异构特征融合的机器人抓取方法，其特征在于，多模态信息感知的异构特征模块设有自适应特性的注意力机制方法，对多源信号进行权值计算，实现冗余信息的动态调节。
5.根据权利要求2所述的基于异构特征融合的机器人抓取方法，其特征在于，所述多尺度位置估计方法引入轻量级深度学习网络，通过多源信息的稀疏表示和降维来实现算法的实时性。
6.根据权利要求2所述的基于异构特征融合的机器人抓取方法，其特征在于，所述噪声自适应调节方法，引入时变参数，克服干扰信号的影响。
7.根据权利要求1所述的基于异构特征融合的机器人抓取方法，其特征在于，所述规划路径包括建立抓取规则、导航避障；
所述抓取规则使用基于对象整体形状及其局部特征的启发式算法计算建立抓取规则，实现抓取；
所述导航避障利用人工势场法建立导航避障，将编队理论应用于多关节机器手，根据传感器结果规划路径，获得目标的无碰撞路径。
8.根据权利要求7所述的基于异构特征融合的机器人抓取方法，其特征在于，所述启发式算法为：从物体的上方或者侧面开始，如果搜索到适合机械手抓取的目标物体的抓取轨迹，则将该抓取轨迹记为无碰撞路径；如果没有搜索成功，则从目标物体的高点上方抓取，对不同的抓取操作进行排序，生成簇的规划抓取操作，进一步形成有效的抓取轨迹，此时的抓取轨迹记为无碰撞路径。
9.根据权利要求8所述的基于异构特征融合的机器人抓取方法，其特征在于，所述启发式算法还设有组合抓取评估结果机制，所述组合抓取评估结果机制首先根据估计生成池中每个抓取操作成功的概率，选择最有可能成功的抓取操作；一旦认为抓取是可行的，通过运动规划器生成用于到达抓取位置的抓取轨迹。
10.根据权利要求8所述的基于异构特征融合的机器人抓取方法，其特征在于，当机器臂从物体目标的高点上方或主轴方向抓取物体时，需要把物体的坐标转换为世界坐标系。
CN202210412148.0A 2022-04-19 2022-04-19 基于异构特征融合的机器人抓取方法 Active CN114905508B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210412148.0A CN114905508B (zh) 2022-04-19 2022-04-19 基于异构特征融合的机器人抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210412148.0A CN114905508B (zh) 2022-04-19 2022-04-19 基于异构特征融合的机器人抓取方法

Publications (2)

Publication Number Publication Date
CN114905508A true CN114905508A (zh) 2022-08-16
CN114905508B CN114905508B (zh) 2023-08-22

Family

ID=82764823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210412148.0A Active CN114905508B (zh) 2022-04-19 2022-04-19 基于异构特征融合的机器人抓取方法

Country Status (1)

Country Link
CN (1) CN114905508B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115611009A (zh) * 2022-12-01 2023-01-17 中煤科工西安研究院(集团)有限公司 一种煤矿井下码垛式杆箱钻杆分离系统与方法
CN115635482A (zh) * 2022-10-18 2023-01-24 深圳市人工智能与机器人研究院 基于视觉的机器人到人物体传递方法、装置、介质及终端
CN117207190A (zh) * 2023-09-28 2023-12-12 重庆大学 基于视觉与触觉融合的精准抓取机器人系统
CN117697760A (zh) * 2024-01-03 2024-03-15 佛山科学技术学院 一种机器人安全运动控制方法及系统
CN118123847A (zh) * 2024-05-08 2024-06-04 帕西尼感知科技(张家港)有限公司 一种人机协作的系统、操作控制方法及装置
CN118254190A (zh) * 2024-05-30 2024-06-28 山东人机协和智能科技有限公司 基于多维数据空间的机器人操作自矫正方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
CN101691037A (zh) * 2009-10-09 2010-04-07 南京航空航天大学 一种基于主动视觉感知和混沌演化的移动机器人定位方法
CN105764773A (zh) * 2013-08-29 2016-07-13 罗伯特·博世有限公司 用于控制车辆的方法
DE102017108727A1 (de) * 2017-04-24 2018-10-25 Roboception Gmbh Verfahren zur Erstellung einer Datenbank mit Greiferposen, Verfahren zum Steuern eines Roboters, computerlesbares Speichermedium und Handhabungssystem
WO2021221343A1 (ko) * 2020-04-29 2021-11-04 주식회사 트위니 실내 이동 로봇이 엘리베이터에서 환경을 인식하기 위한 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101537618A (zh) * 2008-12-19 2009-09-23 北京理工大学 体育场捡球机器人视觉系统
CN101691037A (zh) * 2009-10-09 2010-04-07 南京航空航天大学 一种基于主动视觉感知和混沌演化的移动机器人定位方法
CN105764773A (zh) * 2013-08-29 2016-07-13 罗伯特·博世有限公司 用于控制车辆的方法
DE102017108727A1 (de) * 2017-04-24 2018-10-25 Roboception Gmbh Verfahren zur Erstellung einer Datenbank mit Greiferposen, Verfahren zum Steuern eines Roboters, computerlesbares Speichermedium und Handhabungssystem
WO2021221343A1 (ko) * 2020-04-29 2021-11-04 주식회사 트위니 실내 이동 로봇이 엘리베이터에서 환경을 인식하기 위한 장치 및 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 이를 구현하기 위해 매체에 저장된 컴퓨터프로그램

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115635482A (zh) * 2022-10-18 2023-01-24 深圳市人工智能与机器人研究院 基于视觉的机器人到人物体传递方法、装置、介质及终端
CN115635482B (zh) * 2022-10-18 2024-01-30 深圳市人工智能与机器人研究院 基于视觉的机器人到人物体传递方法、装置、介质及终端
CN115611009A (zh) * 2022-12-01 2023-01-17 中煤科工西安研究院(集团)有限公司 一种煤矿井下码垛式杆箱钻杆分离系统与方法
CN115611009B (zh) * 2022-12-01 2023-03-21 中煤科工西安研究院(集团)有限公司 一种煤矿井下码垛式杆箱钻杆分离系统与方法
CN117207190A (zh) * 2023-09-28 2023-12-12 重庆大学 基于视觉与触觉融合的精准抓取机器人系统
CN117207190B (zh) * 2023-09-28 2024-05-10 重庆大学 基于视觉与触觉融合的精准抓取机器人系统
CN117697760A (zh) * 2024-01-03 2024-03-15 佛山科学技术学院 一种机器人安全运动控制方法及系统
CN117697760B (zh) * 2024-01-03 2024-05-28 佛山科学技术学院 一种机器人安全运动控制方法及系统
CN118123847A (zh) * 2024-05-08 2024-06-04 帕西尼感知科技(张家港)有限公司 一种人机协作的系统、操作控制方法及装置
CN118254190A (zh) * 2024-05-30 2024-06-28 山东人机协和智能科技有限公司 基于多维数据空间的机器人操作自矫正方法及系统

Also Published As

Publication number Publication date
CN114905508B (zh) 2023-08-22

Similar Documents

Publication Publication Date Title
CN114905508B (zh) 基于异构特征融合的机器人抓取方法
CN108838991B (zh) 一种自主类人双臂机器人及其对运动目标的跟踪操作系统
Mazhar et al. Towards real-time physical human-robot interaction using skeleton information and hand gestures
Zhang et al. Real-time kinematic control for redundant manipulators in a time-varying environment: Multiple-dynamic obstacle avoidance and fast tracking of a moving object
US9862090B2 (en) Surrogate: a body-dexterous mobile manipulation robot with a tracked base
Du et al. Markerless human–robot interface for dual robot manipulators using Kinect sensor
Li et al. Development of a human–robot hybrid intelligent system based on brain teleoperation and deep learning SLAM
CN111055279A (zh) 基于触觉与视觉结合的多模态物体抓取方法与系统
Luo et al. Real time human motion imitation of anthropomorphic dual arm robot based on Cartesian impedance control
Wu et al. A survey of learning-based control of robotic visual servoing systems
CN113829343B (zh) 基于环境感知的实时多任务多人人机交互系统
US20220193894A1 (en) Supervised Autonomous Grasping
Hueser et al. Learning of demonstrated grasping skills by stereoscopic tracking of human head configuration
CN112975939A (zh) 一种协作型机械臂的动态轨迹规划方法
Wang et al. An end-to-end trajectory planning strategy for free-floating space robots
Jang et al. Vision-based Reinforcement learning: Moving object grasping with a Single Active-view Camera
Hu et al. Learning motor skills of reactive reaching and grasping of objects
Kuang et al. Research on biomimetic coordination action of service robot based on stereo vision
Cruz-Maya Target reaching behaviour for unfreezing the robot in a semi-static and crowded environment
Sendari et al. Grasping and Repositioning Objects using Inverse Kinematic Method for Arm Robot based on Pixel Position Regression
Hwang et al. Real-time grasp planning based on motion field graph for human-robot cooperation
Fang et al. Learning from wearable-based teleoperation demonstration
Zoghlami et al. Tracking body motions in order to guide a robot using the time of flight technology.
Tran et al. Oscillation reduction for artificial potential field using vector projections for robotic manipulators
Ibrahim et al. Autocomplete of 3D Motions for UAV Teleoperation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant