CN112288819A - 多源数据融合的视觉引导机器人抓取及分类系统及方法 - Google Patents

多源数据融合的视觉引导机器人抓取及分类系统及方法 Download PDF

Info

Publication number
CN112288819A
CN112288819A CN202011308725.9A CN202011308725A CN112288819A CN 112288819 A CN112288819 A CN 112288819A CN 202011308725 A CN202011308725 A CN 202011308725A CN 112288819 A CN112288819 A CN 112288819A
Authority
CN
China
Prior art keywords
objects
robot
grabbed
map
box
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011308725.9A
Other languages
English (en)
Other versions
CN112288819B (zh
Inventor
梅爽
文国军
高志军
蔡旗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN202011308725.9A priority Critical patent/CN112288819B/zh
Publication of CN112288819A publication Critical patent/CN112288819A/zh
Application granted granted Critical
Publication of CN112288819B publication Critical patent/CN112288819B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Manipulator (AREA)

Abstract

本发明提供了一种多源数据融合的视觉引导机器人抓取及分类系统及方法，该系统包括：机器人本体、3D深度相机、面阵CCD、周转箱和订单盒；该方法具体步骤包括：3D深度相机周期性的对周转箱内的多个物体拍照，获得多个物体的灰度图和深度图；两个面阵CCD互成90度角放置，周期性的对被机器人本体抓取的物体拍照，获得被抓取物体不同角度的图像；机器人本体位于所述周转箱的一侧，根据多个物体的灰度图和深度图对周转箱内的多个物体进行抓取，并根据被抓取物体不同角度的图像对被抓取物体进行分类，并放置到相应的订单盒中。本发明设计合理，功能齐全，使用方便可靠，准确率高，可实现对周转箱这类场景中物品的准确抓取和分类。

Description

多源数据融合的视觉引导机器人抓取及分类系统及方法
技术领域
本发明涉及机器视觉及机器人技术领域，尤其涉及一种多源数据融合的视觉引导机器人抓取及分类系统及方法。
背景技术
物流周转箱的分拣和搬运是物流领域中非常重要的一环，在分拣的过程中需要对杂乱堆叠的物体的搬运和分类放置。传统的分拣方法为人工操作，随着网络在线购物和物流领域的发展，人工分拣消耗的人力资源大、成本高，不仅如此，长期的工作会造成人眼和身体的疲劳，不仅影响分拣的效率和准确率，还对人身有一定的损害。因此，如何减少人力成本，同时也要保证物体分拣的中抓取和分类准确率是亟待解决的技术问题。
发明内容
本发明提供一种多源数据融合的视觉引导机器人抓取及分类系统及方法，旨在解决减少人力成本，同时也要保证物体分拣的中抓取和分类准确率的技术问题。
为实现上述目的，本发明提供了一种多源数据融合的视觉引导机器人抓取及分类系统，所述多源数据融合的视觉引导机器人抓取及分类系统包括：
机器人本体、3D深度相机、面阵CCD、周转箱、订单盒、控制箱和机器人控制柜；
所述周转箱内有多个待分类物体；
所述3D深度相机位于所述周转箱的正上方，周期性的对所述周转箱内的多个物体拍照，获得多个物体的灰度图和深度图并传送至所述控制箱；
所述控制箱用于根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；
所述控制箱将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜；
所述机器人控制柜根据所述物体的位姿信息引导所述机器人本体抓取所述周转箱内的物体；
两个所述面阵CCD互成90度角放置，位于所述机器人本体一侧，周期性的对被机器人本体抓取的物体拍照，获得被抓取物体不同角度的图像并传送至所述控制箱；
所述控制箱将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜；
所述机器人控制柜根据所述分类结果引导所述机器人本体将被抓取物体放置在相应的所述订单盒中。
优选地，所述控制箱内有电脑主机、交换机和电源，所述控制箱获取所述位姿信息和所述分类结果实际上由所述电脑主机完成。
优选地，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：装置支撑架；
所述装置支撑架用于放置所述机器人本体、所述面阵CCD、所述订单盒、所述3D深度相机和所述周转箱。
优选地，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：摆放台；
所述摆放台用于放置所述支撑架。
优选地，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：电脑显示屏；
所述电脑显示屏与所述控制箱连接，用于显示所述物体的灰度图。
所述电脑显示屏还可以根据需要显示深度图、梯度图、3通道图像、被抓取物体不同角度的图像、位姿信息以及分类结果。
此外，为实现上述目的，本发明还提供了一种多源数据融合的视觉引导机器人抓取及分类方法，基于所述的多源数据融合的视觉引导机器人抓取及分类系统，所述多源数据融合的视觉引导机器人抓取及分类方法包括以下步骤：
所述3D深度相机周期性地对所述周转箱内的物体拍照，获得所述周转箱内的物体的深度图和灰度图传送至所述控制箱；
所述控制箱根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；
所述控制箱将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜；
所述机器人控制柜根据所述物体的位姿信息引导所述机器人本体抓取所述周转箱内的物体；
所述机器人本体将物体抓取后，利用两个互成90度的所述面阵CCD对被抓取物体进行拍照，获得被抓取物体不同角度的图像并传送至所述控制箱；
所述控制箱将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜；
所述机器人控制柜根据所述分类结果引导所述机器人本体将被抓取物体放置在相应的所述订单盒中。
优选地，所述目标检测算法以所述3通道图像作为输入，经过卷积神经网络提取所述3通道图像的语义信息和细节特征，得到不同分辨率的特征图，经过上采样分别扩大所述不同分辨率的特征图，再通过sigmoid激活函数判别检测区域是否包含物体，通过回归精细化所述灰度图上物体的中心坐标和尺寸大小，获得所述灰度图像上物体的初始区域。
优选地，所述多模态融合算法分为两个支路，两个面阵CCD(4)获取的被抓取物体不同角度的图像分别输送到所述多模态融合算法的两个支路中，经过相同结构的卷积神经网络进行特征提取，分别得到相应的特征向量，再将两个特征向量首尾拼接起来，通过全连接层对特征进行融合，最后经过softmax函数进行分类处理，获得被抓取物体的分类结果。
优选地，在所述3D深度相机周期性地对所述周转箱内的物体拍照之前，还包括：对所述3D相机进行相机标定，将图像坐标系与世界坐标系进行对应。
本发明的提供的技术方案带来的有益效果是：
(1)本发明能够对周转箱内堆叠的物品实现准确的抓取，并对抓起的物品实现识别分类，可代替传统的人工分拣；
(2)本发明在对周转箱内的物品进行初定位时，采用3D深度相机周期性对物体拍照，不仅利用了物体的灰度信息，还结合了物体的深度信息，所以能够实现一个通用性的检测，即对于没有训练过的物体，系统也能够准确的将该物体抓取起来，保证不漏抓；
(3)本发明对于相似物品的分类也有很好的区分性，采用两个面阵CCD从不同的角度对被抓起的物体进行拍照，采用多模态融合识别算法对物体进行分类，可避免某些物体在某个角度非常相似而无法被准确区分的问题。
附图说明
图1是本发明一种多源数据融合的视觉引导机器人抓取及分类系统结构图；
图2是本发明一种多源数据融合的视觉引导机器人抓取及分类方法流程图；
图中：1-摆放台、2-电脑显示屏、3-3D深度相机、4-面阵CCD、5-机器人本体、6-周转箱、7-订单盒、8-控制箱、9-机器人控制柜、10-装置支撑架。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
以下结合具体实施例对本发明的具体实现进行详细描述：
请参考图1，图1是本发明一种多源数据融合的视觉引导机器人抓取及分类系统结构图；
图1所述一种多源数据融合的视觉引导机器人抓取及分类系统，包括：摆放台1、电脑显示屏2、机器人视觉定位系统、机器人视觉分类系统和机器人自动抓取摆放系统；
所述机器人视觉定位系统包括：3D深度相机3、周转箱6和控制箱8；
所述机器人视觉分类系统包括：面阵CCD 4、订单盒7和控制箱8；
所述机器人自动抓取摆放系统包括：机器人本体5、机器人控制柜9、装置支撑架10和控制箱8；
所述控制箱8内部有电脑主机、电源和交换机；
所述摆放台1位于所述控制箱8上，所述装置支撑架10位于所述摆放台1上，所述机器人本体5、所述电脑显示屏2、所述面阵CCD4、所述订单盒7、所述3D深度相机3和所述周转箱6均位于所述装置支撑架10内。
所述3D深度相机3位于所述周转箱6的正上方，周期性的对所述周转箱6内的多个物体拍照，获得多个物体的灰度图和深度图并传送至所述控制箱8；
所述控制箱8用于根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；
所述控制箱8将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜9；
所述机器人控制柜8根据所述物体的位姿信息引导所述机器人本体5抓取所述周转箱6内的物体；
两个所述面阵CCD 4互成90度角放置，位于所述机器人本体5一侧，周期性的对被机器人本体5抓取的物体拍照，获得被抓取物体不同角度的图像并传送至所述控制箱8；
所述控制箱8将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜9；
所述机器人控制柜9根据所述分类结果引导所述机器人本体5将被抓取物体放置在相应的所述订单盒7中。
请参考图2，图2是本发明一种多源数据融合的视觉引导机器人抓取及分类方法流程图；
图2所示一种多源数据融合的视觉引导机器人抓取及分类方法包括以下步骤：
步骤1：所述3D相机3对棋盘格标定板进行拍照，采集相应的标定图像，再根据张正友标定算法计算出标定目标从图像坐标系转换到世界坐标系的仿射矩阵M，根据所述仿射矩阵M将图像坐标系与世界坐标系进行对应；
步骤2：所述标定后3D深度相机3周期性地对所述周转箱6内的物体拍照，获得所述周转箱6内的物体的深度图和灰度图；根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域传送至所述控制箱8；
步骤3：所述控制箱8将所述灰度图上物体的初始区域映射到3D点云上，并对点云进行滤波、求取质心和计算法线等操作，得到物体的中心位置坐标和角度(位姿信息)，并反馈给所述机器人控制柜9，所述机器人控制柜9根据所述物体的位姿信息引导所述机器人本体5抓取所述周转箱6内的物体；
步骤4：所述机器人本体5将物体抓取后，利用两个互成90度的所述面阵CCD 4对被抓取物体进行拍照，获得被抓取物体不同角度的图像传送至所述控制箱8，所述控制箱8将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜9，所述机器人控制柜9根据所述分类结果引导所述机器人本体5将被抓取物体放置在相应的所述订单盒7中。
其中，步骤2中，所述目标检测算法以所述3通道图像作为输入，经过卷积神经网络提取所述3通道图像的语义信息和细节特征，得到不同分辨率的特征图，经过上采样分别扩大所述不同分辨率的特征图，再通过sigmoid激活函数判别检测区域是否包含物体，通过回归精细化所述灰度图上物体的中心坐标和尺寸大小，获得所述灰度图像上物体的初始区域。
步骤4中，所述多模态融合算法分为两个支路(两个基础的分类网络)，两个面阵CCD 4获取的被抓取物体不同角度的图像分别输送到所述多模态融合算法的两个支路中，经过相同结构的卷积神经网络进行特征提取，分别得到相应的特征向量，再将两个特征向量首尾拼接起来，通过全连接层对特征进行融合，最后经过softmax函数进行分类处理，获得被抓取物体的分类结果。
本发明的有益效果是：
(1)本发明能够对周转箱内堆叠的物品实现准确的抓取，并对抓起的物品实现识别分类，可代替传统的人工分拣；
(2)本发明在对周转箱内的物品进行初定位时，采用3D深度相机周期性对物体拍照，不仅利用了物体的灰度信息，还结合了物体的深度信息，所以能够实现一个通用性的检测，即对于没有训练过的物体，系统也能够准确的将该物体抓取起来，保证不漏抓；
(3)本发明对于相似物品的分类也有很好的区分性，采用两个面阵CCD从不同的角度对被抓起的物体进行拍照，采用多模态融合算法对物体进行分类，可避免某些物体在某个角度非常相似而无法被准确区分的问题。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点,对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。
此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。

Claims (9)

1.一种多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统包括：
机器人本体(5)、3D深度相机(3)、面阵CCD(4)、周转箱(6)、订单盒(7)、控制箱(8)和机器人控制柜(9)；
所述周转箱(6)内有多个物体；
所述3D深度相机(3)位于所述周转箱(6)的正上方，周期性的对所述周转箱(6)内的多个物体拍照，获得多个物体的灰度图和深度图并传送至所述控制箱(8)；
所述控制箱(8)用于根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；
所述控制箱(8)将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜(9)；
所述机器人控制柜(9)根据所述物体的位姿信息引导所述机器人本体(5)抓取所述周转箱(6)内的物体；
两个所述面阵CCD(4)互成90度角放置，位于所述机器人本体(5)一侧，周期性的对被机器人本体(5)抓取的物体拍照，获得被抓取物体不同角度的图像并传送至所述控制箱(8)；
所述控制箱(8)将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜(9)；
所述机器人控制柜(9)根据所述分类结果引导所述机器人本体(5)将被抓取物体放置在相应的所述订单盒(7)中。
2.如权利要求1所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述控制箱(8)内有电脑主机、交换机和电源，所述控制箱(8)获取所述位姿信息和所述分类结果实际上由所述电脑主机完成。
3.如权利要求1所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：装置支撑架(10)；
所述装置支撑架(10)用于放置所述机器人本体(5)、所述面阵CCD(4)、所述订单盒(7)、所述3D深度相机(3)和所述周转箱(6)。
4.如权利要求3所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：摆放台(1)；
所述摆放台(1)用于放置所述支撑架(10)。
5.如权利要求2所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类系统还包括：电脑显示屏(2)；
所述电脑显示屏(2)与所述控制箱(8)连接，用于显示所述物体的灰度图。
6.一种多源数据融合的视觉引导机器人抓取及分类方法，基于权利要求1-5任一项所述的多源数据融合的视觉引导机器人抓取及分类系统，其特征在于，所述多源数据融合的视觉引导机器人抓取及分类方法包括以下步骤：
所述3D深度相机(3)周期性地对所述周转箱(6)内的物体拍照，获得所述周转箱(6)内的物体的深度图和灰度图并传送至所述控制箱(8)；
所述控制箱(8)根据所述深度图和灰度图计算得到梯度图，并将所述深度图、灰度图和梯度图组合成一个3通道图像，输送到目标检测算法中，获得所述灰度图上物体的初始区域；
所述控制箱(8)将所述灰度图上物体的初始区域映射到3D点云上，通过点云处理算法获得物体的位姿信息，并反馈给所述机器人控制柜(9)，所述机器人控制柜(9)根据所述物体的位姿信息引导所述机器人本体(5)抓取所述周转箱(6)内的物体；
所述机器人本体(5)将物体抓取后，利用两个互成90度的所述面阵CCD(4)对被抓取物体进行拍照，获得被抓取物体不同角度的图像并传送至所述电脑主机；
所述控制箱(8)将所述不同角度的图像传入多模态融合识别算法中对所述被抓取物体进行分类，获得分类结果，并将所述分类结果反馈给所述机器人控制柜(9)，所述机器人控制柜(9)根据所述分类结果引导所述机器人本体(5)将被抓取物体放置在相应的所述订单盒(7)中。
7.如权利要求6所述的多源数据融合的视觉引导机器人抓取及分类方法，其特征在于，所述目标检测算法以所述3通道图像作为输入，经过卷积神经网络提取所述3通道图像的语义信息和细节特征，得到不同分辨率的特征图，经过上采样分别扩大所述不同分辨率的特征图，再通过sigmoid激活函数判别检测区域是否包含物体，通过回归精细化所述灰度图上物体的中心坐标和尺寸大小，获得所述灰度图像上物体的初始区域。
8.如权利要求6所述的多源数据融合的视觉引导机器人抓取及分类方法，其特征在于，所述多模态融合算法分为两个支路，两个面阵CCD(4)获取的被抓取物体不同角度的图像分别输送到所述多模态融合算法的两个支路中，经过相同结构的卷积神经网络进行特征提取，分别得到相应的特征向量，再将两个特征向量首尾拼接起来，通过全连接层对特征进行融合，最后经过softmax函数进行分类处理，获得被抓取物体的分类结果。
9.如权利要求6所述的多源数据融合的视觉引导机器人抓取及分类方法，其特征在于，在所述3D深度相机周期性地对所述周转箱内的物体拍照之前，还包括：对所述3D相机(3)进行相机标定，将图像坐标系与世界坐标系进行对应。
CN202011308725.9A 2020-11-20 2020-11-20 多源数据融合的视觉引导机器人抓取及分类系统及方法 Active CN112288819B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011308725.9A CN112288819B (zh) 2020-11-20 2020-11-20 多源数据融合的视觉引导机器人抓取及分类系统及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011308725.9A CN112288819B (zh) 2020-11-20 2020-11-20 多源数据融合的视觉引导机器人抓取及分类系统及方法

Publications (2)

Publication Number Publication Date
CN112288819A true CN112288819A (zh) 2021-01-29
CN112288819B CN112288819B (zh) 2022-06-24

Family

ID=74399462

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011308725.9A Active CN112288819B (zh) 2020-11-20 2020-11-20 多源数据融合的视觉引导机器人抓取及分类系统及方法

Country Status (1)

Country Link
CN (1) CN112288819B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842323A (zh) * 2022-07-04 2022-08-02 山东西曼克技术有限公司 基于分类识别的智能机器人分拣优化方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140001168A (ko) * 2012-06-27 2014-01-06 한국과학기술원 Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
CN106504289A (zh) * 2016-11-02 2017-03-15 深圳乐行天下科技有限公司 一种室内目标检测方法及装置
CN108280827A (zh) * 2018-01-24 2018-07-13 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、系统和设备
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
CN110647802A (zh) * 2019-08-07 2020-01-03 北京建筑大学 基于深度学习的遥感影像舰船目标检测方法
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
CN111932537A (zh) * 2020-10-09 2020-11-13 腾讯科技（深圳）有限公司 对象形变检测方法、装置、计算机设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140001168A (ko) * 2012-06-27 2014-01-06 한국과학기술원 Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
CN106504289A (zh) * 2016-11-02 2017-03-15 深圳乐行天下科技有限公司 一种室内目标检测方法及装置
CN108280827A (zh) * 2018-01-24 2018-07-13 北京红云视界技术有限公司 基于深度学习的冠状动脉病变自动检测方法、系统和设备
CN108921846A (zh) * 2018-07-17 2018-11-30 北京航空航天大学 一种基于灰度图像和深度图像结合的钢轨踏面缺陷识别方法
CN111368852A (zh) * 2018-12-26 2020-07-03 沈阳新松机器人自动化股份有限公司 基于深度学习的物品识别预分拣系统、方法及机器人
CN110647802A (zh) * 2019-08-07 2020-01-03 北京建筑大学 基于深度学习的遥感影像舰船目标检测方法
CN111932537A (zh) * 2020-10-09 2020-11-13 腾讯科技（深圳）有限公司 对象形变检测方法、装置、计算机设备和存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BINGBING NI 等: "Multilevel Depth and Image Fusion for Human Activity Detection", 《IEEE TRANSACTIONS ON CYBERNETICS》 *
马灼明 等: "面向物流分拣任务的自主抓取机器人系统", 《机械设计与研究》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114842323A (zh) * 2022-07-04 2022-08-02 山东西曼克技术有限公司 基于分类识别的智能机器人分拣优化方法

Also Published As

Publication number Publication date
CN112288819B (zh) 2022-06-24

Similar Documents

Publication Publication Date Title
CN109483554B (zh) 基于全局和局部视觉语义的机器人动态抓取方法及系统
CN113524194B (zh) 基于多模特征深度学习的机器人视觉抓取系统的目标抓取方法
CN108555908B (zh) 一种基于rgbd相机的堆叠工件姿态识别及拾取方法
CN111754515B (zh) 堆叠物品的顺序抓取方法和装置
CN111046948B (zh) 点云仿真和深度学习的工件位姿识别及机器人上料方法
CN110580725A (zh) 一种基于rgb-d相机的箱体分拣方法及系统
CN111151463B (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
CN107471218B (zh) 一种基于多目视觉的双臂机器人手眼协调方法
CN110751691B (zh) 一种基于双目视觉的管件自动抓取方法
WO2023050589A1 (zh) 一种基于rgbd相机的货物箱智能装载方法及系统
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN113580149B (zh) 基于关键点预测网络的无序混叠工件抓取方法和系统
CN110756462B (zh) 电源适配器测试方法、装置、系统、控制装置及存储介质
CN114758236A (zh) 一种非特定形状物体识别、定位与机械手抓取系统及方法
CN112288819B (zh) 多源数据融合的视觉引导机器人抓取及分类系统及方法
CN111761575A (zh) 工件及其抓取方法和生产线
Pan et al. Manipulator package sorting and placing system based on computer vision
CN114193440A (zh) 基于3d视觉的机器人自动抓取系统及方法
JP2021033712A (ja) 画像処理装置、撮像装置、ロボット及びロボットシステム
CN113602799A (zh) 一种航空港行李箱搬运系统及其控制方法
CN206645534U (zh) 一种基于双相机的机器人无序抓取装置
US20230368414A1 (en) Pick and place systems and methods
CN115880220A (zh) 多视角苹果成熟度检测方法
JP6041710B2 (ja) 画像認識方法
Shi et al. A fast workpiece detection method based on multi-feature fused SSD

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant