CN115890639A - 一种机器人视觉引导定位抓取控制系统 - Google Patents
一种机器人视觉引导定位抓取控制系统 Download PDFInfo
- Publication number
- CN115890639A CN115890639A CN202211459043.7A CN202211459043A CN115890639A CN 115890639 A CN115890639 A CN 115890639A CN 202211459043 A CN202211459043 A CN 202211459043A CN 115890639 A CN115890639 A CN 115890639A
- Authority
- CN
- China
- Prior art keywords
- workpiece
- image
- module
- positioning
- coordinates
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 19
- 238000010191 image analysis Methods 0.000 claims abstract description 10
- 238000004458 analytical method Methods 0.000 claims abstract description 5
- 238000012549 training Methods 0.000 claims description 23
- 238000001514 detection method Methods 0.000 claims description 21
- 238000000034 method Methods 0.000 claims description 14
- 238000012937 correction Methods 0.000 claims description 6
- 230000001133 acceleration Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 2
- 230000006698 induction Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 3
- 238000009776 industrial production Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000004091 panning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Manipulator (AREA)
Abstract
本发明提供一种机器人视觉引导定位抓取控制系统。一种机器人视觉引导定位抓取控制系统，包括，工件感应模块，用于感应工件并生成控制信号；摄像模块，用于拍摄目标区域的图像；摄像控制模块，用于根据接收到的控制信号控制摄像模块拍摄图像；图像分析模块，用于通过图像处理算法对图像进行分析处理；定位模块，用于根据分析处理得到的结果对工件进行定位，计算出工件的位置信息和偏转角度。本发明通过对工件进行实时感知检测，并拍摄工件图像，利用图像识别及时获取工件位置信息，根据图像识别处理的结果对机器人进行引导定位，便于机器人准确完成在工件抓取工作，避免出现偏差，影响对工件的加工。
Description
技术领域
本发明涉及机器人控制技术领域，特别地涉及一种机器人视觉引导定位抓取控制系统。
背景技术
随着图像处理技术与芯片的飞速发展，机器视觉逐渐成为了无可替代的工具。机器视觉已被广泛应用在工业生产、交通出行等领域。机器视觉的发展对人们的生活产生了很大的影响，借助机器视觉这一工具可以为人们的生活带来便利。
目前，自动化技术已被广泛应用在工业生产中，对于一些重复的机械操作，采用手工操作的方式会耗费大量的人力与物力。使用自动化机械设备代替手工操作可极大地提高工业生产效率，自动化设备可不间断地工作，并且相比于手工操作而言，操作更加规范，避免出现因为劳累导致出现操作失误的问题。
但是，一些自动化设备例如自动化抓取机器人，在重复对工件进行加工处理的过程中，受到外界的影响可能导致工件出现移位，自动化设备在重复操作的过程中可能产生偏差，影响工件的加工过程。
发明内容
针对上述问题，本申请提供一种机器人视觉引导定位抓取控制系统，通过实时获取工件位置信息，根据图像识别技术对机器人进行引导，防止机器人在抓取工件的过程中出现偏差。
本发明的技术方案为：一种机器人视觉引导定位抓取控制系统，包括：
工件感应模块，用于感应工件并生成控制信号；
摄像模块，用于拍摄目标区域的图像；
摄像控制模块，用于根据接收到的控制信号控制摄像模块拍摄图像；
图像分析模块，用于通过图像处理算法对图像进行分析处理；
定位模块，用于根据分析处理得到的结果对工件进行定位，计算出工件的位置信息和偏转角度；
转向控制模块，用于控制机械抓取装置的转动角度；
抓取控制模块，用于控制机械抓取装置对工件进行抓取；
所述图像分析模块对图像进行分析处理包括：
利用目标检测模型检测从图像中检测出工件所在区域，通过矩形框对工件所在区域进行标记，用坐标(x,y,w,h)表示图像中工件所在区域的位置，其中，x、y表示工件所在区域中心点的坐标，w、h分别表示矩形框的高度与宽度。
进一步地，所述定位模块对工件进行定位包括：
以图像所在平面建立第一坐标系，以目标区域为中心、工件移动方向为横坐标轴建立第二坐标系，根据图像的场景与实际场景的缩放比例，将第一坐标系中的坐标(x,y,w,h)映射到第二坐标系中，得到坐标(x',y')，第一坐标系与第二坐标系中采用相同的参考点作为坐标原点；
根据坐标(x,y,w,h)与标准坐标(x0,y0,w0,h0)和工件的尺寸计算出工件的偏转角度α；
标准坐标的获取包括：将在第二坐标系下工件平行于横轴时拍摄到的标准图像输入到目标检测模型中，通过目标检测模型检测从标准图像中检测到工件所在位置，输出的坐标信息为标准坐标。
进一步地，所述图像分析模块通过Faster-RCNN模型进行工件检测与定位，将图像输入到Faster-RCNN模型中进行目标检测，舍去置信度小于0.5的候选框，选中剩余的候选框，采用非极大值抑制算法得到最终检测结果。
进一步地，Faster-RCNN模型的训练过程包括：
构建Faster-RCNN模型，Faster-RCNN模型由特征提取网络、区域候选网络、ROIPooling层和分类器组成；
将工件放置在目标区域中，拍摄任意角度下的N张样本图像，用矩形框对工件所在位置进行标注，制作为训练数据集；
通过旋转、镜像和裁剪操作对训练数据集进行扩充；
利用扩充后的训练数据集对Faster-RCNN模型进行训练，并通过推理加速框对训练过程进行推理加速，最终得到训练好的Faster-RCNN模型。
进一步地，所述抓取控制模块根据坐标(x',y')控制机械抓取装置对工件进行抓取，机械抓取装置被初始设定为按照指定的移动路径进行物品抓取，根据坐标(x',y')对机械抓取装置的移动路径进行校正；
所述转向控制模块根据偏转角度α控制机械抓取装置的机械手转动角度α进行校正；
完成一次物品抓取后所述抓取控制模块将机械抓取装置的移动路径恢复为初始设定的移动路径，所述转向控制模块将机械抓取装置的机械手转动至初始角度。
进一步地，还包括：
所述工件感应模块生成的控制信号包括对工件的感应起始时间与感应结束时间；
所述摄像控制模块控制摄像模块拍摄图像包括：在感应起始时间间隔时长T后控制摄像模块对目标区域进行一次图像拍摄，间隔时长T包括第一部分和第二部分，第一部分为感应起始时间与感应结束时间差值的二分之一，第二部分为工件从感应点传输到目标区域中心点的固定时间。
进一步地，还包括：
根据坐标(x,y,w,h)与标准坐标(x0,y0,w0,h0)以及工件的尺寸数据计算抓取控制模块对机械抓取装置的移动路径进行校正的校正参数；
校正参数记为(Δx,Δy)，Δx表示在第二坐标系下，机械抓取装置沿横坐标轴方向上移动的参数，Δy表示在第二坐标系下，机械抓取装置沿纵坐标轴方向上移动的参数，其中，Δx＝k(x-x0)，Δy＝k(y-y),k为缩放比例系数，表示图像的场景与实际场景的缩放比例。
进一步地，对于坐标(x,y,w,h)和坐标(x',y')，其中x、y与x'、y'满足关系式x'＝kx，y'＝ky，k为缩放比例系数。
本发明具有以下优点：
1、本发明通过对工件进行实时感知检测，并拍摄工件图像，利用图像识别及时获取工件位置信息，根据图像识别处理的结果对机器人进行引导定位，便于机器人准确完成在工件抓取工作，避免出现偏差，影响对工件的加工。
2、本发明通过拍摄不同角度下工件的图像并制作为目标检测模型的训练数据集，对目标检测模型进行训练，通过推理加速框提高目标检测模型的训练速度。
3、本发明通过对目标的感应起始时间与感应结束时间计算出工件到达相机的拍摄区域的时间，准确地对工件进行拍摄，提高拍摄效果。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明实施例中一种机器人视觉引导定位抓取控制系统的结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请部分实施例进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。然而，本领域的普通技术人员可以理解，在本申请的各实施例中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施例的种种变化和修改，也可以实现本申请所要求保护的技术方案。
实施例1
参见图1，本发明实施例1提供一种机器人视觉引导定位抓取控制系统，包括：
工件感应模块，用于感应工件并生成控制信号；
配置为光电传感器，光电传感器实时对工件进行检测，将同一个工件的并记录同一工件的检测起始时间和检测结束时间，将同一工件的感应起始时间和检测结束时间生成为控制信号；
摄像模块，用于拍摄目标区域的图像，配置为工业CCD相机；
摄像控制模块，用于根据接收到的控制信号控制摄像模块拍摄图像；
具体地，根据控制信号中的数据，在感应起始时间的间隔时长T后控制摄像模块对目标区域进行一次图像拍摄，其中间隔时长T包括两个部分，第一部分为感应起始时间与感应结束时间两者差值的二分之一，第二部分为工件从感应点传输到目标区域中心点的固定时间，具体地，当光电传感器感应到工件之后，在第二部分所对应的时间里，工件的一端从被检测位置到达工业CCD相机的拍摄目标区域的中心，但是工件的质心未到达，再加上第一部分所对应的时间，工件的质心到达拍摄目标区域的中心。
图像分析模块，用于通过图像处理算法对图像进行分析处理；
具体地，图像分析模块内置有Faster-RCNN模型，将图像输入到Faster-RCNN模型中进行目标检测，在目标检测的过程中，对于生成的多个候选框，舍弃其中置信度小于0.5的部分，对于剩余的部分，采用非极大值抑制算法进行处理以得到检测结果，最终输出图像中工件所在的区域坐标信息。
工件所在的区域用坐标(x,y,w,h)表示，x、y表示工件所在区域中心点的坐标，w、h分别表示矩形框的高度与宽度。
定位模块，用于根据分析处理得到的结果对工件进行定位，计算出工件的位置信息和偏转角度α；
转向控制模块，用于控制机械抓取装置的转动角度，根据定位模块计算得到的偏转角度α对机械抓取装置的机械手的角度进行调整校正，具体为，控制初始角度状态下机械抓取装置的机械手转动角度α，在完成一次工件的抓取后控制机械手转动恢复至初始位置。
抓取控制模块，用于控制机械抓取装置对工件进行抓取；
抓取控制模块根据坐标(x',y')控制机械抓取装置对工件进行抓取，机械抓取装置被初始设定为按照指定的移动路径进行移动，根据坐标(x',y')对机械抓取装置的移动路径进行校正，在完成一次物品抓取后将机械抓取装置的移动路径恢复为初始设定的移动路径。
定位模块根据分析处理得到的结果对工件进行定位包括：
以图像所在平面建立第一坐标系，其中，第一坐标系的原点可以是图像的中心点或者其它的参考点，本实施例中选择图片的中心为参考点，CCD相机拍摄得到的图像中，中心点所在位置即为CCD相机可拍摄的目标区域的中心；
以目标区域为中心、工件的移动方向为横坐标轴建立第二坐标系，第二坐标系位于CCD相机可拍摄的目标区域，即现实存在的实体平面，坐标系的原点设置在CCD相机可拍摄的目标区域的中心，第一坐标系和第二坐标系的原点选取的参考点系统，根据图像中的场景与实际场景的缩放比例，将第一坐标系中的坐标(x,y,w,h)映射到第二坐标系中，得到坐标(x',y')其中，x、y与x'、y'满足关系式x'＝kx，y'＝ky，k为缩放比例系数，根据坐标(x',y')可得知工件所在的位置。
将工件置于第二坐标系的原点，并且平行于横坐标轴放置，通过CCD相机得到标准图像，将标准图像输入到Faster-RCNN模型中，通过Faster-RCNN模型检测标准图像中工件所在位置，可得到标准坐标(x0,y0,w0,h0)，则可根据坐标(x,y,w,h)与标准坐标(x0,y0,w0,h0)以及工件的尺寸数据计算出工件的偏转角度α。
根据坐标(x,y,w,h)与标准坐标(x0,y0,w0,h0)以及工件的尺寸数据可得到抓取控制模块对机械抓取装置的移动路径进行校正的校正参数，用(Δx,Δy)表示，其中Δx表示在第二坐标系下，机械抓取装置沿横坐标轴方向上移动的参数，Δy表示在第二坐标系下，机械抓取装置沿纵坐标轴方向上移动的参数，具体地：
Δx＝k(x-x0)，Δy＝k(y-y),k为缩放比例系数，Δx、Δy的取值可以为正数或者负数，取值为正数表示沿横坐标轴或纵坐标轴的正方向移动，取值为负数表示沿横坐标轴或纵坐标轴的负方向移动。
对于图像分析模块，其中，Faster-RCNN模型的训练过程包括：
构建Faster-RCNN模型，Faster-RCNN模型由特征提取网络、区域候选网络、ROIPooling层和分类器组成；
将工件放置在目标区域中，拍摄任意角度下的N张样本图像，用矩形框对工件所在位置进行标注，将标注好的N张样本图像制作为训练数据集；
通过平移、旋转、镜像和裁剪等操作对训练数据集中的样本进行扩充，得到扩充的训练数据集；
利用扩充后的训练数据集对Faster-RCNN模型进行训练，训练过程中的损失函数为：
式中，i表示候选区域的序号，pi表示候选区域为目标的概率，若候选区域为正，则pi *为1，若候选区域为负，则pi *为0，ti为向量，ti＝(tx,ty,tw,th)，表示预测框的横纵坐标及宽和高，Ncls为样本总数量，Nreg为候选区域数量，λ为分类损失和回归损失的比例权衡参数，ti *是与正候选区域对应的真实有效值的平移缩放参数；
在模型训练的过程中通过推理加速框对训练过程进行推理加速，最终得到训练好的Faster-RCNN模型。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。本说明书中未作详细描述的部分属于本领域专业技术人员公知的现有技术。
Claims (8)
1.一种机器人视觉引导定位抓取控制系统，其特征在于，包括：
工件感应模块，用于感应工件并生成控制信号；
摄像模块，用于拍摄目标区域的图像；
摄像控制模块，用于根据接收到的控制信号控制摄像模块拍摄图像；
图像分析模块，用于通过图像处理算法对图像进行分析处理；
定位模块，用于根据分析处理得到的结果对工件进行定位，计算出工件的位置信息和偏转角度；
转向控制模块，用于控制机械抓取装置的转动角度；
抓取控制模块，用于控制机械抓取装置对工件进行抓取；
所述图像分析模块对图像进行分析处理包括：
利用目标检测模型检测从图像中检测出工件所在区域，通过矩形框对工件所在区域进行标记，用坐标(x,y,w,h)表示图像中工件所在区域的位置，其中，x、y表示工件所在区域中心点的坐标，w、h分别表示矩形框的高度与宽度。
2.如权利要求1所述的一种机器人视觉引导定位抓取控制系统，其特征在于，所述定位模块对工件进行定位包括：
以图像所在平面建立第一坐标系，以目标区域为中心、工件移动方向为横坐标轴建立第二坐标系，根据图像的场景与实际场景的缩放比例，将第一坐标系中的坐标(x,y,w,h)映射到第二坐标系中，得到坐标(x',y')，第一坐标系与第二坐标系中采用相同的参考点作为坐标原点；
根据坐标(x,y,w,h)与标准坐标(x0,y0,w0,h0)和工件的尺寸计算出工件的偏转角度α；
标准坐标的获取包括：将在第二坐标系下工件平行于横轴时拍摄到的标准图像输入到目标检测模型中，通过目标检测模型检测从标准图像中检测到工件所在位置，输出的坐标信息为标准坐标。
3.如权利要求1所述的一种机器人视觉引导定位抓取控制系统，其特征在于，所述图像分析模块通过Faster-RCNN模型进行工件检测与定位，将图像输入到Faster-RCNN模型中进行目标检测，舍去置信度小于0.5的候选框，选中剩余的候选框，采用非极大值抑制算法得到最终检测结果。
4.如权利要求3所述的一种机器人视觉引导定位抓取控制系统，其特征在于，Faster-RCNN模型的训练过程包括：
构建Faster-RCNN模型，Faster-RCNN模型由特征提取网络、区域候选网络、ROIPooling层和分类器组成；
将工件放置在目标区域中，拍摄任意角度下的N张样本图像，用矩形框对工件所在位置进行标注，制作为训练数据集；
通过旋转、镜像和裁剪操作对训练数据集进行扩充；
利用扩充后的训练数据集对Faster-RCNN模型进行训练，并通过推理加速框对训练过程进行推理加速，最终得到训练好的Faster-RCNN模型。
5.如权利要求1所述的一种机器人视觉引导定位抓取控制系统，其特征在于，所述抓取控制模块根据坐标(x',y')控制机械抓取装置对工件进行抓取，机械抓取装置被初始设定为按照指定的移动路径进行物品抓取，根据坐标(x',y')对机械抓取装置的移动路径进行校正；
所述转向控制模块根据偏转角度α控制机械抓取装置的机械手转动角度α进行校正；
完成一次物品抓取后所述抓取控制模块将机械抓取装置的移动路径恢复为初始设定的移动路径，所述转向控制模块将机械抓取装置的机械手转动至初始角度。
6.如权利要求1所述的一种机器人视觉引导定位抓取控制系统，其特征在于，还包括：
所述工件感应模块生成的控制信号包括对工件的感应起始时间与感应结束时间；
所述摄像控制模块控制摄像模块拍摄图像包括：在感应起始时间间隔时长T后控制摄像模块对目标区域进行一次图像拍摄，间隔时长T包括第一部分和第二部分，第一部分为感应起始时间与感应结束时间差值的二分之一，第二部分为工件从感应点传输到目标区域中心点的固定时间。
7.如权利要求6所述的一种机器人视觉引导定位抓取控制系统，其特征在于，还包括：
根据坐标(x,y,w,h)与标准坐标(x0,y0,w0,h0)以及工件的尺寸数据计算抓取控制模块对机械抓取装置的移动路径进行校正的校正参数；
校正参数记为(Δx,Δy)，Δx表示在第二坐标系下，机械抓取装置沿横坐标轴方向上移动的参数，Δy表示在第二坐标系下，机械抓取装置沿纵坐标轴方向上移动的参数，其中，Δx＝k(x-x0)，Δy＝k(y-y),k为缩放比例系数，表示图像的场景与实际场景的缩放比例。
8.如权利要求7所述的一种机器人视觉引导定位抓取控制系统，其特征在于，对于坐标(x,y,w,h)和坐标(x',y')，其中x、y与x'、y'满足关系式x'＝kx，y'＝ky，k为缩放比例系数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211459043.7A CN115890639A (zh) | 2022-11-17 | 2022-11-17 | 一种机器人视觉引导定位抓取控制系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211459043.7A CN115890639A (zh) | 2022-11-17 | 2022-11-17 | 一种机器人视觉引导定位抓取控制系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN115890639A true CN115890639A (zh) | 2023-04-04 |
Family
ID=86490739
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211459043.7A Pending CN115890639A (zh) | 2022-11-17 | 2022-11-17 | 一种机器人视觉引导定位抓取控制系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115890639A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883488A (zh) * | 2023-07-21 | 2023-10-13 | 捷安特(中国)有限公司 | 一种圆形管的中心位置确定方法、装置、设备及介质 |
| CN117393485A (zh) * | 2023-11-01 | 2024-01-12 | 东莞触点智能装备有限公司 | 基于深度学习的芯片高精固晶机视觉定位系统 |
| CN117649449A (zh) * | 2024-01-30 | 2024-03-05 | 鲁东大学 | 一种基于计算机视觉的机械臂抓取定位系统 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180345485A1 (en) * | 2017-03-06 | 2018-12-06 | Miso Robotics, Inc. | Multi-sensor array including an ir camera as part of an automated kitchen assistant system for recognizing and preparing food and related methods |
| CN108972494A (zh) * | 2018-06-22 | 2018-12-11 | 华南理工大学 | 一种仿人机械手抓取控制系统及其数据处理方法 |
| CN111923053A (zh) * | 2020-04-21 | 2020-11-13 | 广州里工实业有限公司 | 基于深度视觉的工业机器人物件抓取示教系统及方法 |
| CN112288809A (zh) * | 2020-10-27 | 2021-01-29 | 浙江大学计算机创新技术研究院 | 一种用于多物体复杂场景的机器人抓取检测方法 |
| CN112329615A (zh) * | 2020-11-04 | 2021-02-05 | 中国海洋大学 | 一种用于水下视觉目标自主抓取的环境态势评估方法 |
| CN113012228A (zh) * | 2021-03-23 | 2021-06-22 | 华南理工大学 | 一种工位定位系统及基于深度学习的工件定位方法 |
| CN114789452A (zh) * | 2022-06-21 | 2022-07-26 | 季华实验室 | 一种基于机器视觉的机器人抓取方法及系统 |
| WO2022213729A1 (zh) * | 2021-04-07 | 2022-10-13 | 地平线征程(杭州)人工智能科技有限公司 | 对目标的运动信息进行检测的方法和装置、设备和介质 |
-
2022
- 2022-11-17 CN CN202211459043.7A patent/CN115890639A/zh active Pending
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180345485A1 (en) * | 2017-03-06 | 2018-12-06 | Miso Robotics, Inc. | Multi-sensor array including an ir camera as part of an automated kitchen assistant system for recognizing and preparing food and related methods |
| CN108972494A (zh) * | 2018-06-22 | 2018-12-11 | 华南理工大学 | 一种仿人机械手抓取控制系统及其数据处理方法 |
| CN111923053A (zh) * | 2020-04-21 | 2020-11-13 | 广州里工实业有限公司 | 基于深度视觉的工业机器人物件抓取示教系统及方法 |
| CN112288809A (zh) * | 2020-10-27 | 2021-01-29 | 浙江大学计算机创新技术研究院 | 一种用于多物体复杂场景的机器人抓取检测方法 |
| CN112329615A (zh) * | 2020-11-04 | 2021-02-05 | 中国海洋大学 | 一种用于水下视觉目标自主抓取的环境态势评估方法 |
| CN113012228A (zh) * | 2021-03-23 | 2021-06-22 | 华南理工大学 | 一种工位定位系统及基于深度学习的工件定位方法 |
| WO2022213729A1 (zh) * | 2021-04-07 | 2022-10-13 | 地平线征程(杭州)人工智能科技有限公司 | 对目标的运动信息进行检测的方法和装置、设备和介质 |
| CN114789452A (zh) * | 2022-06-21 | 2022-07-26 | 季华实验室 | 一种基于机器视觉的机器人抓取方法及系统 |
Non-Patent Citations (3)
| Title |
|---|
| 卿都: "基于机器人视觉的目标定位与抓取姿态研究", 硕士电子期刊, no. 2020 * |
| 张思雨: "智能机器人目标检测的深度学习算法研究", 硕士电子期刊, no. 2019 * |
| 王瑞亮: "基于深度学习的双目视觉机械臂操控系统", 硕士电子期刊, no. 2021 * |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116883488A (zh) * | 2023-07-21 | 2023-10-13 | 捷安特(中国)有限公司 | 一种圆形管的中心位置确定方法、装置、设备及介质 |
| CN116883488B (zh) * | 2023-07-21 | 2024-03-26 | 捷安特(中国)有限公司 | 一种圆形管的中心位置确定方法、装置、设备及介质 |
| CN117393485A (zh) * | 2023-11-01 | 2024-01-12 | 东莞触点智能装备有限公司 | 基于深度学习的芯片高精固晶机视觉定位系统 |
| CN117393485B (zh) * | 2023-11-01 | 2024-05-03 | 东莞触点智能装备有限公司 | 基于深度学习的芯片高精固晶机视觉定位系统 |
| CN117649449A (zh) * | 2024-01-30 | 2024-03-05 | 鲁东大学 | 一种基于计算机视觉的机械臂抓取定位系统 |
| CN117649449B (zh) * | 2024-01-30 | 2024-05-03 | 鲁东大学 | 一种基于计算机视觉的机械臂抓取定位系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115890639A (zh) | 一种机器人视觉引导定位抓取控制系统 | |
| US7283661B2 (en) | Image processing apparatus | |
| EP2629939B1 (en) | Method for the filtering of target object images in a robot system | |
| CN111421539A (zh) | 一种基于计算机视觉的工业零件智能识别与分拣系统 | |
| CN108161931A (zh) | 基于视觉的工件自动识别及智能抓取系统 | |
| CN110211180A (zh) | 一种基于深度学习的机械臂自主抓取方法 | |
| CN111590611B (zh) | 一种基于多模态主动感知的物品分类回收方法 | |
| CN111483803B (zh) | 控制方法、抓取系统和存储介质 | |
| CN111923053A (zh) | 基于深度视觉的工业机器人物件抓取示教系统及方法 | |
| Huang et al. | Dynamic compensation robot with a new high-speed vision system for flexible manufacturing | |
| CN111598172B (zh) | 基于异构深度网络融合的动态目标抓取姿态快速检测方法 | |
| CN115070781B (zh) | 一种物体抓取方法及双机械臂协作系统 | |
| Zhu et al. | Recognition of the initial position of weld based on the image pattern match technology for welding robot | |
| CN114770461B (zh) | 一种基于单目视觉的移动机器人及其自动抓取方法 | |
| Pan et al. | Manipulator package sorting and placing system based on computer vision | |
| CN117340929A (zh) | 一种基于三维点云数据的柔性夹爪抓取处置装置及方法 | |
| Guo et al. | The research of material sorting system based on Machine Vision | |
| Borangiu et al. | Visual robot guidance in conveyor tracking with belt variables | |
| Shaw et al. | Automatic classification of moving objects on an unknown speed production line with an eye-in-hand robot manipulator | |
| Torkaman et al. | Real-time visual tracking of a moving object using pan and tilt platform: A Kalman filter approach | |
| CN116408790A (zh) | 机器人控制方法、装置、系统及存储介质 | |
| JPH02110788A (ja) | ３次元物体の形状認識方法 | |
| JP6644846B1 (ja) | ワークの位置姿勢認識装置およびピッキングシステム | |
| Hu et al. | Manipulator arm interactive control in unknown underwater environment | |
| CN116572253B (zh) | 一种试管的抓取控制方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |