CN114902872B - 一种机器人采摘果实的视觉引导方法 - Google Patents
一种机器人采摘果实的视觉引导方法 Download PDFInfo
- Publication number
- CN114902872B CN114902872B CN202210443989.8A CN202210443989A CN114902872B CN 114902872 B CN114902872 B CN 114902872B CN 202210443989 A CN202210443989 A CN 202210443989A CN 114902872 B CN114902872 B CN 114902872B
- Authority
- CN
- China
- Prior art keywords
- fruit
- image
- picking
- robot
- depth
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 99
- 238000000034 method Methods 0.000 title claims abstract description 46
- 230000000007 visual effect Effects 0.000 title claims abstract description 12
- 238000001514 detection method Methods 0.000 claims abstract description 20
- 239000013598 vector Substances 0.000 claims abstract description 18
- 238000013528 artificial neural network Methods 0.000 claims abstract description 12
- 230000000694 effects Effects 0.000 claims abstract description 12
- 238000009826 distribution Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims description 9
- 235000007688 Lycopersicon esculentum Nutrition 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 7
- 230000004069 differentiation Effects 0.000 claims description 5
- 230000009466 transformation Effects 0.000 claims description 5
- 238000006243 chemical reaction Methods 0.000 claims description 3
- 240000003768 Solanum lycopersicum Species 0.000 claims 1
- 238000012545 processing Methods 0.000 abstract description 2
- 241000227653 Lycopersicon Species 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 238000012271 agricultural production Methods 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000013138 pruning Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000000725 suspension Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01D—HARVESTING; MOWING
- A01D46/00—Picking of fruits, vegetables, hops, or the like; Devices for shaking trees or shrubs
- A01D46/30—Robotic devices for individually picking crops
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Environmental Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种机器人采摘果实的视觉引导方法，涉及图像识别和处理技术领域。该方法步骤如下：通过Realsense D435i传感器获取RGB图像和深度图像；使用目标检测神经网络对RGB图像中的果实进行识别和定位，截取检测框区域作为ROI图像；对深度图像检测框中果实表面块状分布的数据进行分割，实现实例分割的效果，获得果实的掩膜图像；基于球坐标系偏微分求解掩膜图像和深度图像中果实表面各点的法向量；求解果实采摘位置和姿态，为机器人进行采摘操作时提供目标果实的位置和姿态；发送位置和姿态信息给机械臂机器人，控制机械臂运动规划实现采摘任务。本发明对机器人视觉引导采摘水果任务实现一套完整有效的解决办法。
Description
技术领域
本发明涉及图像识别和处理技术领域，具体涉及一种机器人采摘果实的视觉引导方法。
背景技术
在传统农业生产链中，水果的采摘属于劳动强度较大、时效性要求较高的部分，随着种植规模的增长，其工作成本正在不断提高。随着农业生产劳动力的不断减少，仅靠人力劳动并不能满足需求。目前我国的农业机器人存在可靠性差、自动化程度低的问题，仍不能适应现代农业生产发展的需求。
机器人在完成果实采摘任务过程中，需要相机识别目标，并计算出目标的空间位姿，才能够实施有效地采摘操作。目前，机器人视觉引导采摘果实方法主要包括单目相机视觉引导、深度相机视觉引导和激光视觉引导等。许多机器人视觉引导方法已经广泛应用到特定工业生产中，但在复杂多变的农业生产环境中难以稳定有效。因此，针对智能果实采摘农业机器人，有必要对相应的视觉引导方法进行研究。
发明内容
本发明的目的是为了解决现有技术中的上述缺陷，提供一种机器人采摘果实的视觉引导方法。
本发明的目的可以通过采取如下技术方案达到：
一种机器人采摘果实的视觉引导方法，所述视觉引导方法包括以下步骤：
S1、通过摄像头获取RGB图像和深度图像；
S2、使用目标检测神经网络对RGB图像中的果实进行识别和定位，截取检测框区域作为ROI图像；
S3、对深度图像检测框中果实表面块状分布的数据进行分割，实现实例分割的效果，获得果实的掩膜图像；
S4、基于球坐标系偏微分求解掩膜图像和深度图像中果实表面各点的法向量；
S5、求解果实采摘位置和姿态，为机器人进行采摘操作时提供目标果实的位置和姿态；
S6、发送位置和姿态信息给机械臂机器人，控制机械臂运动规划实现采摘任务。
进一步地，所述步骤S1中采用双目红外辅助结合结构光设计的Realsense D435i传感器作为摄像头，同时获取彩色和深度信息，对光线变化具有较强的抗干扰性，能够适应于大多数外界环境。
进一步地，所述步骤S2过程如下：
根据番茄果实的大小、形状和表皮颜色等特征将番茄果实分为三个等级：成熟、半成熟和未成熟，并制作成数据集。使用YOLOX目标检测神经网络(出自刘松涛的《YOLOX:Exceeding YOLO Series in 2021》)进行稀疏训练，并部署到推理引擎上实现加速推理。为了实现更好的检测性能，对训练得到的权重进行剪枝、量化操作，在不影响检测效果的前提下加快网络的推理速度。
进一步地，所述步骤S3中进行实例分割以获得果实的掩膜图像的过程如下：
根据ROI图像中前景与背景的深度数值差距较大的特点，以最小平方误差作为目标准则函数，将果实表面的深度数据分割成块状，并将这些块状数据与背景数据进行二值化，生成掩膜图像。通过平面分割的思想来实现实例分割的效果，与使用深度神经网络相比减小了实现的复杂性和设备要求，更有利于应用到实际生产工作中。
进一步地，所述步骤S4中基于球坐标系偏微分求解果实表面各点的法向量的过程如下：
定义掩膜图像和深度图像在笛卡尔坐标系下的任意一p点坐标为(x,y,z)T，x、y、z分别为p点在X轴、Y轴、Z轴上的坐标值，p点在球坐标系下对应m点的坐标为(r,θ,φ)T，其中，r为半径、θ是方位角，φ是仰角分量，()T为转置符号，p点和m点的坐标转换公式如下：
公式(1)的逆变换如下式：
其中，r≥0，-π≤θ≤π，-π/2<φ≤π/2。
应用链式法则和该逆变换式计算图像在笛卡尔坐标系下的微分算子
可以得到
其中，
分别为X轴、Y轴、Z轴的单位方向向量；
根据公式(1)，可以得到r关于θ和φ的表达，即
将s(θ,φ)应用在公式(2)中，可以得到表面法向量：
其中，
公式(3)中的偏微分可以选取适当邻域大小的Prewitt算子对图像进行卷积获得。基于球坐标求解姿态的算法在计算速度和精度上有更好的性能，相比传统的最小二乘法，该算法能够达到更快的计算速度和更小的姿态误差。
进一步地，所述步骤S5中求解果实采摘位置和姿态的过程如下：
位置：根据果实中心像素点的坐标值与对应深度图像中的深度值，计算出果实在相机坐标系下的位置，通过空间坐标系变换得到机器人采摘果实的目标位置；
姿态：计算掩膜图像中果实的最大横截面，该最大横截面所在的平面与深度图像中果实的表面相交构成一条曲线。对该曲线进行二次曲线拟合，根据该曲线方程的极值点对应果实表面的法向量即可求解果实姿态，再进行空间坐标系变换，得到机器人采摘果实的目标姿态。该方法适用于类圆果实的采摘姿态选取，有利于优化机械臂采摘果实的运动路径，提高采摘的成功率。
本发明相对于现有技术具有如下的优点及效果：
本发明基于Realsense相机，综合利用彩色和深度信息，对果实农产品进行识别、分割、定位和姿态估计，为机器人进行果实采摘操作提供最优夹取姿态的信息。本发明的特点在于利用深度学习和三维重建技术，为果实采摘机器人自主找寻果实并采摘提高视觉引导，提高果实农产品采摘过程中的工作效率，降低生产成本。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是作为本发明方法实施主体果实采摘机器人的整体结构图；
图2是本发明公开的一种机器人采摘果实的视觉引导方法流程图；
图3是本发明中对果实进行实例分割得到的掩膜图像示意图；
图4是本发明中计算果实表面法向量方法的流程图；
图5是本发明中求解机器人目标果实采摘姿态的效果图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
如图1所示，果实采摘机器人包括六自由度机械臂、末端夹爪机构、独立悬挂机构、麦克纳姆轮、芯片主控、PC主控、相机等组成部分。
其中，相机采用双目红外辅助结构光结构的Intel Realsense D435i传感器,可以保证即使在纹理不明显的环境下依旧能够得到较为精准的深度信息。获取的图像分辨率大小为1280*720，相机的水平视场角范围为69°，垂直视场角范围为42°。
图2是机器人采摘果实的视觉引导方法的流程图，具体包括如下步骤：
S1、通过Realsense D435i传感器获取RGB图像和深度图像；
S2、使用目标检测神经网络对RGB图像中的果实进行识别和定位，截取检测框区域作为ROI图像；
S3、对深度图像检测框中果实表面块状分布的数据进行分割，实现实例分割的效果，获得果实的掩膜图像；
S4、基于球坐标系偏微分求解掩膜图像和深度图像中果实表面各点的法向量；
S5、求解果实采摘位置和姿态，为机器人进行采摘操作时提供目标果实的位置和姿态；
S6、发送位置和姿态信息给机械臂机器人，控制机械臂运动规划实现采摘任务。
步骤S1中使用目标检测神经网络，对果实进行识别和定位的过程如下：制作不同生长周期下番茄果实的图像数据集。使用YOLOX目标检测神经网络进行训练，设置初始学习率为0.001，最大训练次数为300。对训练得到的权重进行剪枝、量化操作，并部署到推理引擎上实现加速推理，在不影响检测效果的前提下加快网络的推理速度。
其中，训练神经网络的数据集使用Kaggle上开源的番茄果实数据集，总共为500张。根据番茄果实的大小、形状和表皮颜色等特征，将番茄的成熟度划分为三个等级：成熟、半成熟和未成熟，并且按照6：2：2的比例制作成训练集、验证集和测试集。
图3展示了对果实进行实例分割得到的掩膜图像。根据ROI图像中前景与背景的深度数值差距较大的特点，以最小平方误差作为目标准则函数，将果实表面的深度数据分割成块状，并将这些块状数据与背景数据进行二值化，生成掩膜图像。通过平面分割的思想来实现实例分割的效果，与使用深度神经网络相比减小了实现的复杂性和设备要求，更有利于应用到实际生产工作中。
图4是计算果实表面法向量方法的流程图，具体包括：
定义掩膜图像和深度图像在笛卡尔坐标系下的任意一p点坐标为(x,y,z)T，x、y、z分别为p点在X轴、Y轴、Z轴上的坐标值，p点在球坐标系下对应m点的坐标为(r,θ,φ)T，其中，r为半径、θ是方位角，φ是仰角分量，()T为转置符号，p点和m点的坐标转换公式如下：
公式(1)的逆变换如下式：
其中，r≥0，-π≤θ≤π，-π/2<φ≤π/2。
应用链式法则和该逆变换式计算图像在笛卡尔坐标系下的微分算子
，可以得到
其中，
分别为X轴、Y轴、Z轴的单位方向向量；
根据公式(1)，可以得到r关于θ和φ的表达，即
将s(θ,φ)应用在公式(2)中，可以得到表面法向量：
其中，
公式(3)中的偏微分可以选取适当邻域大小的Prewitt算子对图像进行卷积获得。基于球坐标求解姿态的算法在计算速度和精度上有更好的性能，相比传统的最小二乘法，该算法能够达到更快的计算速度和更小的姿态误差。
图5是选取机器人目标果实采摘姿态的效果图。根据掩膜图像，计算果实的最大横截面，该最大横截面所在的平面与深度图像中果实的表面相交构成一条曲线。对该曲线进行二次曲线拟合，根据该曲线方程的极值点对应果实表面的法向量即可求解果实姿态，再进行空间坐标系变换，得到机器人采摘果实的目标姿态。该方法适用于类圆果实的采摘姿态选取，有利于优化机械臂采摘果实的运动路径，提高采摘的成功率。
实施例2
本发明中采用的球坐标系偏微分求解果实姿态的方法，避开了传统方法中计算复杂的表面拟合操作，具有计算复杂度低、精度高的特点。在该实施例中，对本发明采用的球坐标系求解法与传统的最小二乘法进行对比实验：
实验中以番茄作为对象，设置目标姿态为(-0.15,0.75,0.15)T，相机与果实距离为2m。首先摄像头获取RGB图像和深度图像，并使用目标检测神经网络对果实进行识别和定位；对深度图像中果实表面数据进行分割，获得掩膜图像；分别设置不同Prewitt算子领域大小的多组实验，每组实验内容包括：1.基于球坐标系偏微分求解掩膜图像和深度图像中的目标果实姿态；2.基于传统的最小二乘法求解掩膜图像和深度图像中的目标果实姿态；分别记录两种方法的计算耗时和误差，并作对比分析。
表1.本发明中球坐标系求解法与传统的最小二乘法的结果对比表
对比两种方法得到的不同实验结果，很明显球坐标系求解法在计算耗时上远小于最小二乘法，并且计算结果精度更高，误差更小。实验结果证明，本发明中提出的机器人采摘果实的视觉引导方法相比于传统方法在效果上有着明显的提升。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。
Claims (4)
1.一种机器人采摘果实的视觉引导方法，其特征在于，所述视觉引导方法包括以下步骤：
S1、通过摄像头获取RGB图像和深度图像；
S2、使用目标检测神经网络对RGB图像中的果实进行识别和定位，截取检测框区域作为ROI图像；
S3、对深度图像检测框中果实表面块状分布的数据进行分割，实现实例分割的效果，获得果实的掩膜图像；
S4、基于球坐标系偏微分求解掩膜图像和深度图像中果实表面各点的法向量；
所述步骤S4中基于球坐标系偏微分求解果实表面各点的法向量的过程如下：
S31、定义掩膜图像和深度图像在笛卡尔坐标系下的任意一p点坐标为(x,y,z)T，x、y、z分别为p点在X轴、Y轴、Z轴上的坐标值，p点在球坐标系下对应m点的坐标为(r,θ,φ)T，其中，r为半径、θ是方位角，φ是仰角分量，()T为转置符号，p点和m点的坐标转换公式如下：
由深度图像直接获取到p点的Z轴坐标值，得到r关于θ和φ的表达式，记作r＝s(θ,φ)，具体如下：
S32、对于笛卡尔空间下的微分算子，运用链式法则并计算偏导数
如下式所示：
其中，
分别为X轴、Y轴、Z轴的单位方向向量；
S33、选取适当邻域大小的卷积对图像进行卷积操作计算偏导数，将s(θ，φ)应用在公式(2)的微分算子上计算法向量n，如下式所示：
其中，
S5、求解果实采摘位置和姿态，为机器人进行采摘操作时提供目标果实的位置和姿态；
S6、发送位置和姿态信息给机械臂机器人，控制机械臂运动规划实现采摘任务。
2.根据权利要求1所述的一种机器人采摘果实的视觉引导方法，其特征在于，所述步骤S2过程如下：
制作不同生长周期下番茄果实的图像数据集，使用YOLOX目标检测神经网络进行训练，并部署到推理引擎上实现加速推理。
3.根据权利要求1所述的一种机器人采摘果实的视觉引导方法，其特征在于，所述步骤S3中进行实例分割以获得果实的掩膜图像的过程如下：
根据ROI图像中前景与背景的深度数值差距较大的特点，以最小平方误差作为目标准则函数，将果实表面的深度数据分割成块状，并将这些块状数据与背景数据进行二值化，生成掩膜图像。
4.根据权利要求1所述的一种机器人采摘果实的视觉引导方法，其特征在于，所述步骤S5中求解果实采摘位置和姿态的过程如下：
根据果实中心像素点的坐标值与对应深度图像中的深度值，计算出果实在相机坐标系下的位置，通过空间坐标系变换得到机器人采摘果实的目标位置；
计算掩膜图像中果实的最大横截面，该最大横截面所在的平面与深度图像中果实的表面相交构成一条曲线，对该曲线进行二次曲线拟合，根据该曲线方程的极值点对应果实表面的法向量求解果实姿态，再进行空间坐标系变换，得到机器人采摘果实的目标姿态。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210443989.8A CN114902872B (zh) | 2022-04-26 | 2022-04-26 | 一种机器人采摘果实的视觉引导方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210443989.8A CN114902872B (zh) | 2022-04-26 | 2022-04-26 | 一种机器人采摘果实的视觉引导方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114902872A CN114902872A (zh) | 2022-08-16 |
| CN114902872B true CN114902872B (zh) | 2023-04-21 |
Family
ID=82764387
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210443989.8A Active CN114902872B (zh) | 2022-04-26 | 2022-04-26 | 一种机器人采摘果实的视觉引导方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114902872B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115299245B (zh) * | 2022-09-13 | 2023-07-14 | 南昌工程学院 | 一种智能水果采摘机器人的控制方法及控制系统 |
| CN115338875A (zh) * | 2022-10-19 | 2022-11-15 | 宜宾职业技术学院 | 一种基于图像识别的茶叶智能采摘系统及方法 |
| CN116267236B (zh) * | 2023-05-23 | 2023-08-25 | 四川省机械研究设计院(集团)有限公司 | 簇状果实采摘机器人 |
| CN117337691B (zh) * | 2023-09-21 | 2024-04-05 | 仲恺农业工程学院 | 基于深度神经网络的火龙果采摘方法及采摘机器人 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103295018B (zh) * | 2013-05-21 | 2016-04-13 | 常州大学 | 一种枝叶遮挡果实精确识别方法 |
| JP2017079699A (ja) * | 2015-10-30 | 2017-05-18 | パナソニック株式会社 | 収穫搬送装置 |
| CN110852186B (zh) * | 2019-10-22 | 2023-05-23 | 华南农业大学 | 一种树上柑橘的视觉识别与采摘顺序规划方法及其仿真系统 |
| CN111401121A (zh) * | 2019-12-18 | 2020-07-10 | 浙江工业大学 | 一种基于超像素特征提取实现柑橘分割方法 |
| CN111325764B (zh) * | 2020-02-11 | 2022-05-31 | 广西师范大学 | 一种果实图像轮廓识别方法 |
| CN112541508A (zh) * | 2020-12-21 | 2021-03-23 | 山东师范大学 | 果实分割识别方法及系统、果实采摘机器人 |
| CN112712128A (zh) * | 2021-01-11 | 2021-04-27 | 中南民族大学 | 基于神经网络的智能采摘方法、设备、存储介质及装置 |
| CN113932712A (zh) * | 2021-10-13 | 2022-01-14 | 南开大学 | 一种基于深度相机和关键点的瓜果类蔬菜尺寸测量方法 |
| CN114260895B (zh) * | 2021-12-22 | 2023-08-22 | 江苏大学 | 一种采摘机器人机械臂抓取避障方向确定的方法及其系统 |
-
2022
- 2022-04-26 CN CN202210443989.8A patent/CN114902872B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN114902872A (zh) | 2022-08-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114902872B (zh) | 一种机器人采摘果实的视觉引导方法 | |
| CN112132894B (zh) | 一种基于双目视觉引导的机械臂实时跟踪方法 | |
| CN110497373B (zh) | 一种移动作业机器人的三维激光雷达与机械臂间的联合标定方法 | |
| CN109344882B (zh) | 基于卷积神经网络的机器人控制目标位姿识别方法 | |
| CN111243017B (zh) | 基于3d视觉的智能机器人抓取方法 | |
| CN107450885B (zh) | 一种工业机器人与三维传感器的坐标变换求解方法 | |
| CN111360821A (zh) | 一种采摘控制方法、装置、设备及计算机刻度存储介质 | |
| Zheng et al. | Industrial part localization and grasping using a robotic arm guided by 2D monocular vision | |
| CN112907735A (zh) | 一种基于点云的柔性电缆识别与三维重建方法 | |
| CN113269723A (zh) | 三维视觉定位与机械手协同工作的零部件无序抓取系统 | |
| CN110977982A (zh) | 基于深度视觉的双机械臂控制方法 | |
| CN113172632A (zh) | 一种基于图像的简化机器人视觉伺服控制方法 | |
| JP2022187984A (ja) | モジュール化ニューラルネットワークを用いた把持学習 | |
| Cong | Visual servoing control of 4-DOF palletizing robotic arm for vision based sorting robot system | |
| JP2022187983A (ja) | 高次元のロボット作業を学習するためのネットワークモジュール化 | |
| CN114519813A (zh) | 一种机械臂目标抓取方法及系统 | |
| CN113664826A (zh) | 一种未知环境中的机器人抓取方法及系统 | |
| CN116872216B (zh) | 一种基于有限时间控制的机器人视觉伺服作业方法 | |
| CN115861780B (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
| Li et al. | Hybrid visual servoing tracking control of uncalibrated robotic systems for dynamic dwarf culture orchards harvest | |
| Miki et al. | Molded article picking robot using image processing technique and pixel-based visual feedback control | |
| CN110539297A (zh) | 一种3d视觉引导的轮对配盘机械手定位方法及装置 | |
| Sanchez-Lopez et al. | A real-time 3D pose based visual servoing implementation for an autonomous mobile robot manipulator | |
| Liu et al. | Robust industrial robot real-time positioning system using VW-camera-space manipulation method | |
| Gu et al. | Research on a technology of automatic assembly based on uncalibrated visual servo system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |