CN113327295A - 一种基于级联全卷积神经网络的机器人快速抓取方法 - Google Patents

一种基于级联全卷积神经网络的机器人快速抓取方法 Download PDF

Info

Publication number
CN113327295A
CN113327295A CN202110680313.6A CN202110680313A CN113327295A CN 113327295 A CN113327295 A CN 113327295A CN 202110680313 A CN202110680313 A CN 202110680313A CN 113327295 A CN113327295 A CN 113327295A
Authority
CN
China
Prior art keywords
grabbing
neural network
robot
method based
convolution neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110680313.6A
Other languages
English (en)
Inventor
魏武
冯凯月
余秋达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110680313.6A priority Critical patent/CN113327295A/zh
Publication of CN113327295A publication Critical patent/CN113327295A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30164—Workpiece; Machine component

Abstract

本发明公开了一种基于级联全卷积神经网络的机器人快速抓取方法，该方法包括：S1、基于编码‑解码的网络结构设计一种机器人最佳抓取位置和角度的级联全卷积神经网络；S2、Conell数据集增强，后输入设计好的神经网络中训练；S3、对深度摄像头进行标定；S4、根据训练好的模型对标定后的摄像头获得的深度信息获取最合适的抓取位置和角度；S5、根据最佳的抓取策略，进行机器人抓取。本发明提出了一种基于全卷积神经网络模型的抓取方法，通过深度图像获得最佳抓取策略，实现了端到端的机器人抓取，提高了抓取的精度和速度。

Description

一种基于级联全卷积神经网络的机器人快速抓取方法
技术领域
本发明涉及计算机视觉，深度学习领域，具体涉及一种基于级联全卷积神经网络的机器人快速抓取方法。
背景技术
作为机器人在工厂、家居等环境中最常用的基础动作,机器人自主抓取有着广泛的应用前景,近十年来研究人员对其给予了较高的关注,然而,在非结构环境下任意物体任意姿态的准确抓取仍然是一项具有挑战性和复杂性的研究。但是由于机器人在感知和控制方面仍有很大的局限性，机器人抓取在多个关键技术上面临着诸多挑战，定位和识别是机器人抓取中的主要难题。在复杂场景下识别到目标的物体，并施以有效的抓取控制策略，是机器人抓取面临的最大难题。早期的机器人抓取是仅从2D部分视图数据中通过简单的形态学处理得到物体的质心，以质心的位置传给末端执行器，由于只有二维信息，第三维度的距离必须是固定的抓取具有局限性。3D数据的使用改善了这些问题，随着Kinect，Realsense等深度相机的出现，深度信息在机器人中使用变得更加普遍。
随着人工智能的发展，越来越多的人把深度学习应用到各个领域，目前使用学习的方法抓取检测有两种：一是基于抓取检测的抓取方法，通过抓取检测方法生成抓取位姿，再使用单独的规划控制系统生成轨迹先完整的抓取；二是基于视觉运动控制策略的端到端抓取方法，实现图像直接到抓取动作的映射。第1类方法如目前主要痛点在于检测速度不够快不能够实现实时抓取。第2类如王斌等提出的端到端的算法研究(王斌.基于深度图像和深度学习的机器人抓取检测算法研究[D].杭州:浙江大学机械工程学院,2019:1-85)常常达不到理想的效果，并且没有开源的数据集，一般的实验室难以实现。
因此，需要寻找一种抓取检测准确率高同时速度快的机器人抓取的方法。
发明内容
为了解决现有技术所存在的技术问题，本发明提供一种基于级联全卷积神经网络的机器人快速抓取方法，通过建立一种参数少的两阶段的全卷积神经网络，利用数据增强后的开源数据集Cornell数据集训练，同时利用几何关系画出最佳抓取的抓取策略，两阶段的网络解决了数据容易过拟合的问题，参数少保证了推测的快速性。
本发明至少通过如下技术方案之一实现。
一种基于级联全卷积神经网络的机器人快速抓取方法，包括以下步骤：
S1、基于编码-解码的网络结构建立机器人最佳抓取位置和角度的全卷积神经网络模型；
S2、使用数据集对所述全卷积神经网络模型进行训练和测试；
S3、对摄像头内参进行标定；
S4、利用训练好的全卷积神经网络模型对标定后的摄像头获得的深度信息获取抓取位置和角度；
S5、根据最佳的抓取策略，进行机器人抓取。
优选的，所述全卷积神经网络模型包括两个阶段，第一阶段和第二阶段均包括编码器模块和解码器模块，其中第一阶段和第二阶段均产生一个损失，损失定义为预测的抓取角度、抓取宽度和抓取质量和实际的真实间的均方误差；所述编码器模块包括卷积层，所述解码器模块包括反卷积层。
优选的，所述卷积层数量和参数均与反卷积层的相同。
优选的，全卷积神经网络模型的输出是三幅与其输入是相同的尺寸的图像，分别包括每个像素点的抓取角度信息、抓取宽度信息和抓取质量信息。
优选的，在步骤S2中，先对数据集进行数据集增强操作，包括随机截取、随机缩放、随机翻转，将增强后的数据集为训练集和测试集；在随机翻转的操作中，翻转范围为
Figure BDA0003122262790000031
在随机缩放的操作中，缩放范围为(0.1，10)。
优选的，训练全卷积神经网络模型时，采用均方误差损失函数作为训练性能的指标；模型测试时，对于预测的抓取框是否正确采用IOU评价指标：
Figure BDA0003122262790000032
其中，A为预测矩形，B为真实矩形，IOU预测矩形和真实矩形之间面积的交并比为评价指标。
优选的，在步骤S4中，用训练好的模型进行抓取预测后，根据最佳的抓取位置，角度，宽度进行物体最佳抓取框的显示，具体包括以下步骤：
S41、将固定于机械臂上的深度相机获取到的深度图像信息均输入到全卷积神经网络模型的两个阶段中，预测输出得到三幅图像，分别对应着每个像素点的抓取质量、夹爪旋转角度、夹爪张开宽度；
S42、确定抓取位姿之后，将输出的抓取位姿标注到输入的深度图像上，然后再将深度图变换成物体的彩色图；
假设原本的抓取框为ABCD，经过旋转后抓取框为A1B1C1D1，假设抓取成功概率最高的是O点，其坐标是(xO，yO)，该点预测的角度为θ，预测抓取的长度为L，假设矩形框的宽为定值w，点A的坐标为：
xA＝xO-L/2
yA＝yO-L/2
旋转后点A1的坐标为：
Figure BDA0003122262790000041
Figure BDA0003122262790000042
点B1、点C1、点D1的坐标采用类似的方法。
优选的，标定数据包括焦距、光心位置和畸变系数。
优选的，所述数据集采用增强后的Conell数据集。
优选的，所述训练是在NVIDIA服务器上进行的；由于网络结构的关系，所有输入的深度图片resize成HxH大小，最终得到的输出同样为H×H×3。
本发明与现有技术相比，具有如下优点和有益效果：
本发明通过设计一种参数少的两阶段的全卷积神经网络，利用数据增强后的开源数据集Cornell数据集训练，同时利用几何关系画出最佳抓取的抓取策略，两阶段的网络解决了数据容易过拟合的问题，参数少保证了推测的快速性。
附图说明
图1为本发明实施例方法的流程图；
图2为本发明实施例搭建的两阶段卷积神经网络的结构图；
图3为本发明实施例基于深度相机的机器人抓取整体结构图；
图4为本发明实施例机器人训练后的最佳抓取框显示图；
图5为本发明实施例训练过程中的训练损失随着训练步数增大的变化图；
图6为本发明实施例训练过程中的准确率随着训练步数增大的变化图。
具体实施方式
本部分将详细描述本发明的具体实施例，本发明之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象地理解本发明的每个技术特征和整体技术方案，但其不能理解为对本发明保护范围的限制。
如图1所示，本发明基于级联全卷积神经网络的机器人快速抓取方法，包括以下步骤：
S1、基于编码-解码的网络结构建立机器人最佳抓取位置和角度的全卷积神经网络模型，该网络模型具有轻量化的特点；
S2、使用Conell数据集对所述全卷积神经网络模型进行训练和测试。Conell数据集经过数据集增强包括随机截取、随机切片、随机旋转，将增强后的数据集按照4:1分为训练集和测试集，训练集输入到步骤S1的全卷积神经网络模型中训练，并对模型进行测试，取在测试集上精度最高的模型为最终模型；
S3、对深度摄像头进行标定；摄像头内参标定包括焦距、光心位置和畸变系数；
S4、对标定后摄像头获得的深度图片输入到训练好的全卷积神经网络中，可以得到和输入的深度图片大小相同的抓取质量、抓取角度和抓取宽度三张图片，先从输出的抓取质量图中找到抓取质量最高的像素点，再通过抓取角度图和抓取宽度图中找到此像素点对应的最佳抓取角度和最佳抓取宽度，进而完成抓取框的标注。
S5、根据最佳的抓取策略，控制机械臂的夹爪张开网络输出的宽度，机械臂末端的关节输出网络输出的旋转的角度，通过最佳抓取点的深度控制机械臂运动到相应的位置。
如图2所示，在步骤S1中卷积神经网络，采用编码器-解码器的结构，主要包括自上而下的路径作为编码器和自下而上的解码器，利用经典的全卷积神经网络思想，使用反卷积层代替全连接层，实现更高的计算效率。另一方面，池化层的下采样过程中会造成图片的分辨率降低的后果，而利用反卷积层就可以恢复到原本的分辨率。但是如果采用卷积层和反卷积层不对等的架构，虽然可以在一定程度上恢复图片的分辨率，但是却无法保证原本图片内特征的位置信息不发生改变。因此，为了保证在恢复图片分辨率的同时，还保留原本图片特征的位置信息，采用基于全卷积神经网络的对称编码-解码网络结构，卷积层数量和参数均与反卷积层的一致，最大限度的保证提取图片特征后保持特征的位置不变，完成更好的分割效果。
建立的卷积神经网络分为两个阶段，共12层。该网络每个阶段都为一个6层网络，前三层为卷积层，构成编码器模块，后三层为反卷积层，构成解码器模块，其中算法网络参数如下表，第一阶段输出的图像以及初始输入第一阶段的图像均输入到第二阶段，即增加了一个保留原始信息的阶段，通过该阶段可以使用变换后的信息和初始信息。结合两幅图像可以获得更高的精度。
Figure BDA0003122262790000061
在步骤S2中模型的训练和测试包括以下步骤：
S21、增广数据集，Cornell数据集包含280个日常生活中常见的物体，每个物体包含4到7张图片，一共包含1035张图片。数据集增强是在给网络输入数据训练的同时进行的，并且采用随机翻转、随机截取和随机缩放的方式，避免了人为改变的重复操作。在随机翻转等操作的同时，可以设置翻转的角度范围，例如可以设置翻转的角度范围是
Figure BDA0003122262790000071
这样随机翻转就只能在此范围内进行翻转。此外，在对图片进行翻转等操作的同时，还需要同时处理数据集中标注的抓取框，保持图片与标注抓取框的位置一致。
S22、将增强后的数据集的80％作为训练集，并用剩下的20％作为测试训练集。模型训练时，采用均方误差损失函数作为训练性能的指标。模型预测时，对于预测的抓取框是否正确采用IOU评价指标，如果IOU大于25％则认为抓取成功，否则为错误抓取。假设预测矩形为A，真实矩形为B，则两者之间的IOU为：
Figure BDA0003122262790000072
训练是在NVIDIA服务器上进行的。服务器显卡组由4块1080ti组成，共11G显存。服务器版本是UBUNTU16.04，编程语言版本是Python3.6。由于网络结构的关系，所有输入的深度图片resize成300x300大小，最终得到的输出同样为300×300×3。如附图4所示，一共训练了60个Epoch，其中在第32个Epoch，测试集的准确率达到0.89，经过训练，获得了一个轻量级模型，在TX2上运行时只有0.5MB，可以达到30FPS，保证了实时性。
在步骤S4中获得最佳抓取策略包括以下步骤：
S41、如图3所示，深度相机固定于机械臂上获取到的深度图像，如图3所，输入到所涉及的两阶段卷积神经网络中，预测输出得到三幅图像，分别对应着每个像素点的抓取质量、夹爪旋转角度、夹爪张开宽度。
S42、确定了抓取位姿之后，可以将输出的抓取位姿标注到输入的深度图像上，然后再将深度图变换成物体的彩色图，就可以还原在真实环境下显示物体的最佳抓取位姿。
原本的抓取框为ABCD，经过旋转后抓取框为A1B1C1D1。假设抓取成功概率最高的是O点，其坐标是(xO，yO)，该点预测的角度为θ，预测抓取的长度为L，假设矩形框的宽为定值w，点A的坐标为：
xA＝xO-L/2
yA＝yO-L/2
旋转后点A1的坐标为：
Figure BDA0003122262790000081
Figure BDA0003122262790000082
点B1、点C1、点D1的坐标可类似的方法获得。获得最佳的抓取框可以在实际抓取之前，直观的观察抓取是否合适，从而降低由于噪声或者其他因素造成的抓取失败导致硬件损坏。
如图4所示在真实的环境中测试上述方法是有效的，图5、图6为训练过程中的训练损失随着训练步数增大的变化图和训练过程中的准确率随着训练步数增大的变化图。
本发明通过建立参数少的两阶段的全卷积神经网络，利用数据增强后的开源数据集Cornell数据集训练，同时利用几何关系画出最佳抓取的抓取策略，两阶段的网络解决了数据容易过拟合的问题，参数少保证了推测的快速性。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于级联全卷积神经网络的机器人快速抓取方法，其特征在于，包括以下步骤：
S1、基于编码-解码的网络结构建立机器人最佳抓取位置和角度的全卷积神经网络模型；
S2、使用数据集对所述全卷积神经网络模型进行训练和测试；
S3、对摄像头内参进行标定；
S4、利用训练好的全卷积神经网络模型对标定后的摄像头获得的深度信息获取抓取位置和角度；
S5、根据最佳的抓取策略，进行机器人抓取。
2.根据权利要求1所述的一种基于级联全卷积神经网络的机器人快速抓取方法，其特征在于：所述全卷积神经网络模型包括两个阶段，第一阶段和第二阶段均包括编码器模块和解码器模块，其中第一阶段和第二阶段均产生一个损失，损失定义为预测的抓取角度、抓取宽度和抓取质量和实际的真实间的均方误差；所述编码器模块包括卷积层，所述解码器模块包括反卷积层。
3.根据权利要求2所述的一种基于级联全卷积神经网络的机器人快速抓取方法，其特征在于：所述卷积层数量和参数均与反卷积层的相同。
4.根据权利要求3所述的一种基于级联全卷积神经网络的机器人快速抓取方法，其特征在于：全卷积神经网络模型的输出是三幅与其输入是相同的尺寸的图像，分别包括每个像素点的抓取角度信息、抓取宽度信息和抓取质量信息。
5.根据权利要求4所述的一种基于级联全卷积神经网络的机器人快速抓取方法，其特征在于：在步骤S2中，先对数据集进行数据集增强操作，包括随机截取、随机缩放、随机翻转，将增强后的数据集为训练集和测试集；在随机翻转的操作中，翻转范围为
Figure FDA0003122262780000021
在随机缩放的操作中，缩放范围为(0.1，10)。
6.根据权利要求5所述的一种基于级联全卷积神经网络的机器人快速抓取方法，其特征在于：训练全卷积神经网络模型时，采用均方误差损失函数作为训练性能的指标；模型测试时，对于预测的抓取框是否正确采用IOU评价指标：
Figure FDA0003122262780000022
其中，A为预测矩形，B为真实矩形，IOU预测矩形和真实矩形之间面积的交并比为评价指标。
7.根据权利要求6所述的一种基于级联全卷积神经网络的机器人快速抓取方法，其特征在于：在步骤S4中，用训练好的模型进行抓取预测后，根据最佳的抓取位置，角度，宽度进行物体最佳抓取框的显示，具体包括以下步骤：
S41、将固定于机械臂上的深度相机获取到的深度图像信息均输入到全卷积神经网络模型的两个阶段中，预测输出得到三幅图像，分别对应着每个像素点的抓取质量、夹爪旋转角度、夹爪张开宽度；
S42、确定抓取位姿之后，将输出的抓取位姿标注到输入的深度图像上，然后再将深度图变换成物体的彩色图；
假设原本的抓取框为ABCD，经过旋转后抓取框为A1 B1C1D1，假设抓取成功概率最高的是O点，其坐标是(xO，yO)，该点预测的角度为θ，预测抓取的长度为L，假设矩形框的宽为定值w，点A的坐标为：
xA＝xO-L/2
yA＝yO-L/2
旋转后点A1的坐标为：
Figure FDA0003122262780000031
Figure FDA0003122262780000032
点B1、点C1、点D1的坐标采用类似的方法。
8.根据权利要求7所述的一种基于级联全卷积神经网络的机器人快速抓取方法，其特征在于：标定数据包括焦距、光心位置和畸变系数。
9.根据权利要求8所述的一种基于级联全卷积神经网络的机器人快速抓取方法，其特征在于：所述数据集采用增强后的Conell数据集。
10.根据权利要求9所述的一种基于级联全卷积神经网络的机器人快速抓取方法，其特征在于：所述训练是在NVIDIA服务器上进行的；由于网络结构的关系，所有输入的深度图片resize成HxH大小，最终得到的输出同样为H×H×3。
CN202110680313.6A 2021-06-18 2021-06-18 一种基于级联全卷积神经网络的机器人快速抓取方法 Pending CN113327295A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110680313.6A CN113327295A (zh) 2021-06-18 2021-06-18 一种基于级联全卷积神经网络的机器人快速抓取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110680313.6A CN113327295A (zh) 2021-06-18 2021-06-18 一种基于级联全卷积神经网络的机器人快速抓取方法

Publications (1)

Publication Number Publication Date
CN113327295A true CN113327295A (zh) 2021-08-31

Family

ID=77424058

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110680313.6A Pending CN113327295A (zh) 2021-06-18 2021-06-18 一种基于级联全卷积神经网络的机器人快速抓取方法

Country Status (1)

Country Link
CN (1) CN113327295A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115070781A (zh) * 2022-08-24 2022-09-20 绿盛环保材料(集团)有限公司 一种物体抓取方法及双机械臂协作系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
CN109934864A (zh) * 2019-03-14 2019-06-25 东北大学 面向机械臂抓取位姿估计的残差网络深度学习方法
CN111360862A (zh) * 2020-02-29 2020-07-03 华南理工大学 一种基于卷积神经网络的生成最佳抓取位姿的方法
US20210023720A1 (en) * 2018-12-12 2021-01-28 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Method for detecting grasping position of robot in grasping object

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106874914A (zh) * 2017-01-12 2017-06-20 华南理工大学 一种基于深度卷积神经网络的工业机械臂视觉控制方法
CN108510062A (zh) * 2018-03-29 2018-09-07 东南大学 一种基于级联卷积神经网络的机器人非规则物体抓取位姿快速检测方法
US20210023720A1 (en) * 2018-12-12 2021-01-28 Cloudminds (Shenzhen) Robotics Systems Co., Ltd. Method for detecting grasping position of robot in grasping object
CN109934864A (zh) * 2019-03-14 2019-06-25 东北大学 面向机械臂抓取位姿估计的残差网络深度学习方法
CN111360862A (zh) * 2020-02-29 2020-07-03 华南理工大学 一种基于卷积神经网络的生成最佳抓取位姿的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KAIYUE FENG ET AL: ""Grasping Prediction Algorithm Based on Full Convolutional Neural Network"", 《JOURNAL OF PHYSICS: CONFERENCE SERIES》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115070781A (zh) * 2022-08-24 2022-09-20 绿盛环保材料(集团)有限公司 一种物体抓取方法及双机械臂协作系统
CN115070781B (zh) * 2022-08-24 2022-12-13 绿盛环保材料(集团)有限公司 一种物体抓取方法及双机械臂协作系统

Similar Documents

Publication Publication Date Title
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN111738261B (zh) 基于位姿估计和校正的单图像机器人无序目标抓取方法
CN107953329B (zh) 物体识别和姿态估计方法、装置及机械臂抓取系统
CN109934864B (zh) 面向机械臂抓取位姿估计的残差网络深度学习方法
US20180012411A1 (en) Augmented Reality Methods and Devices
CN108416428B (zh) 一种基于卷积神经网络的机器人视觉定位方法
CN111360862B (zh) 一种基于卷积神经网络的生成最佳抓取位姿的方法
CN113888631A (zh) 一种基于目标裁剪区域的指定物体抓取方法
CN111709980A (zh) 基于深度学习的多尺度图像配准方法和装置
CN110705563B (zh) 一种基于深度学习的工业零件关键点检测方法
CN116129037B (zh) 视触觉传感器及其三维重建方法、系统、设备及存储介质
Maeda et al. View-based teaching/playback for robotic manipulation
Ye et al. Keypoint-based LiDAR-camera online calibration with robust geometric network
Okawara et al. Action recognition from a single coded image
CN114972421A (zh) 车间物料识别追踪与定位方法、系统
Gulde et al. RoPose: CNN-based 2D pose estimation of industrial robots
CN113327295A (zh) 一种基于级联全卷积神经网络的机器人快速抓取方法
Kiyokawa et al. Efficient collection and automatic annotation of real-world object images by taking advantage of post-diminished multiple visual markers
US20230169755A1 (en) Apparatus and method with image processing
Bergmann et al. Gravity alignment for single panorama depth inference
CN112927304B (zh) 一种基于卷积神经网络的鱼眼镜头标定方法
CN114862866A (zh) 标定板的检测方法、装置、计算机设备和存储介质
Liang et al. An integrated camera parameters calibration approach for robotic monocular vision guidance
Xu et al. An object planar grasping pose detection algorithm in low-light scenes
CN116168312B (zh) 复杂场景下端到端的ar辅助装配三维注册方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination