CN113479442A - 一种实现流水线上非结构化物体智能贴标签的装置和方法 - Google Patents

一种实现流水线上非结构化物体智能贴标签的装置和方法 Download PDF

Info

Publication number
CN113479442A
CN113479442A CN202110808375.0A CN202110808375A CN113479442A CN 113479442 A CN113479442 A CN 113479442A CN 202110808375 A CN202110808375 A CN 202110808375A CN 113479442 A CN113479442 A CN 113479442A
Authority
CN
China
Prior art keywords
labeling
label
pose
mechanical arm
personal computer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110808375.0A
Other languages
English (en)
Other versions
CN113479442B (zh
Inventor
陈祥
刘佩林
应忍冬
文飞
钱久超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yantai Information Technology Research Institute Shanghai Jiaotong University
Shanghai Jiaotong University
Original Assignee
Yantai Information Technology Research Institute Shanghai Jiaotong University
Shanghai Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yantai Information Technology Research Institute Shanghai Jiaotong University, Shanghai Jiaotong University filed Critical Yantai Information Technology Research Institute Shanghai Jiaotong University
Priority to CN202110808375.0A priority Critical patent/CN113479442B/zh
Publication of CN113479442A publication Critical patent/CN113479442A/zh
Application granted granted Critical
Publication of CN113479442B publication Critical patent/CN113479442B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/02—Devices for moving articles, e.g. containers, past labelling station
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/0006—Removing backing sheets
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/08—Label feeding
    • B65C9/18—Label feeding from strips, e.g. from rolls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B65—CONVEYING; PACKING; STORING; HANDLING THIN OR FILAMENTARY MATERIAL
    • B65C—LABELLING OR TAGGING MACHINES, APPARATUS, OR PROCESSES
    • B65C9/00—Details of labelling machines or apparatus
    • B65C9/40—Controls; Safety devices

Abstract

本发明公开了一种实现流水线上非结构化物体智能贴标签的装置和方法，涉及人工智能领域，包括机械臂、RGBD相机、标签剥离装置、标签收放装置、工控机，其中，RGBD相机用于采集物体的RGB图像和深度图像，并将采集的信息发送到工控机；标签剥离装置用于将标签从标签底纸上剥离；标签收放装置独立于标签剥离装置，用于执行放标签操作和收标签操作；工控机对采集的信息进行处理，获取物体的空间位姿和运动状态，并用于机械臂位姿的反馈控制。本发明实现流水线上散乱摆放、尺寸和形状各异的非结构化物体的智能贴标签操作，克服了当前贴标签技术只能实现结构化场景下物体贴标签操作的局限，有利于降低人工成本、提高贴标签效率和可靠性。

Description

一种实现流水线上非结构化物体智能贴标签的装置和方法
技术领域
本发明涉及人工智能领域，尤其涉及一种实现流水线上非结构化物体智能贴标签的装置和方法。
背景技术
在工业生产、仓储物流等行业，经常会碰到物料形状、尺寸各异，并且在流水线输送中散乱摆放，那么在这种非结构化场景下物体的贴标签任务，就主要依靠人工完成，作业成本高、效率低、可靠性无法保证。虽然当前已有可以实现自动化贴标签的贴标机，但主要用于完成结构化场景下物体的贴标签任务。例如：《圆形水果自动分选和贴标签机的设计与应用》(食品与机械,2018,8，孙凯,闫学慧,朱荣胜)中公布了一种完成圆形水果贴标签的设备，但该设备只能完成圆形物体的贴标签任务且其位姿无法调节。
贴标机与机器人相结合在贴标签任务中也获得应用，例如：《工业机器人在卷筒纸包装线的应用研究》(新技术新工艺,2020(01):50-52，赵惠,王玉荣,孙文兵,平津京)公布了一种工业机器人在卷筒纸包装线上的应用方案，提高了贴标签的灵活性；《机器人轨迹规划与控制及其在工业包装中的应用研究》(温州大学,2019，王银仲)开展了机器人系统在贴标签包装工艺中的研究，设计了贴标签系统的硬件结构与机械臂控制系统。但是在上述两种技术中贴标机与机器人均为独立系统，在工作中机械臂末端的吸盘对贴标机剥离出的标签进行吸取，然后执行贴标签动作。这一方式增大了机械臂运动路径、降低了贴标签效率。另外，在贴标签任务中机械臂贴标签位姿恒定，只能完成结构化场景下物体的贴标签任务。
以上方式都无法实现流水线上非结构化物体贴标签的任务，当前只能依靠人工完成，这极大地约束了工业生产、仓储物流等行业的自动化、智能化水平。随着人工智能的发展、机器人和视觉传感器制造水平的提高，推动了机器视觉与机器人在工业领域中的应用。机器视觉极大地提高了机器人自动化、智能化水平，基于智能视觉引导的机器人贴标签为流水线上非结构化物体的贴标签任务提供了解决思路。
因此，本领域的技术人员致力于开发一种实现流水线上非结构化物体智能贴标签的装置和方法，以视觉感知信息为反馈并通过机械臂、标签剥离装置和标签收放装置的协同控制实现流水线上非结构化物体的贴标签操作。
发明内容
有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是如何实现种类多样、位置散乱分布等非结构化场景下物体的智能贴标签任务。
为实现上述目的，本发明提供了一种实现流水线上非结构化物体智能贴标签的装置，其特征在于，包括机械臂、RGBD相机、标签剥离装置、标签收放装置、工控机，其中，所述机械臂具有六个自由度；
所述RGBD相机安装在流水线上方，位于物体在流水线上最先出现的一侧，用于采集物体的RGB图像和深度图像，并将所述RGB图像和所述深度图像发送到所述工控机；
所述标签剥离装置通过第一支架安装在所述机械臂的末端，用于将标签从标签底纸上剥离；
所述标签收放装置独立于所述标签剥离装置，通过第二支架安装在流水线上，用于执行放标签操作和收标签操作；
所述工控机对所述RGB图像和所述深度图像进行处理，获取物体的空间位姿和运动状态，并将物体的所述空间位姿和所述运动状态的参考系由相机坐标系转换到机械臂基坐标系，计算出物体的预贴标签位姿和贴标签位姿；
所述工控机利用所述预贴标签位姿和所述贴标签位姿进行机械臂逆运动学计算，得到两种位姿条件下所述机械臂的各关节的角度控制信息；
所述机械臂根据所述工控机发送的所述角度控制信息进行位姿变化。
进一步地，所述标签剥离装置包括第一电机、牵引轮、辅助轮、剥离板、毛刷。
进一步地，所述第一电机驱动所述牵引轮转动，并通过所述牵引轮与所述辅助轮之间的配合带动未剥离的标签在所述剥离板上运动，在牵引力的作用下未剥离的标签在所述剥离板边缘发生剥落，使标签与标签底纸分离，此时所述标签剥离装置到达所述贴标签位姿，剥离的标签直接贴附在物体表面，并且在所述毛刷的抚平作用下将标签完全贴附；标签底纸在所述牵引轮的作用下向所述标签收放装置移动。
进一步地，所述标签收放装置包括第二电机、标签储蓄筒、传动带、标签底纸储蓄筒、第三支架。
进一步地，所述第二电机驱动所述标签储蓄筒执行放标签操作，同时所述第二电机通过所述传动带驱动所述标签底纸储蓄筒工作，实现标签剥离后的标签底纸的收集；所述标签收放装置通过所述第三支架安装在所述第二支架上。
进一步地，所述工控机基于包围盒估计算法得到物体的空间位姿，基于卡尔曼滤波算法得到物体的运动状态。
一种实现流水线上非结构化物体智能贴标签的方法，所述方法包括以下步骤：
步骤1、利用RGBD相机采集流水线上物体的RGB图像和深度图像，并实时传输到工控机，利用基于RGBD融合的目标检测网络实现物体的检测；
步骤2、所述工控机基于包围盒估计算法得到物体的空间位姿，基于卡尔曼滤波算法得到物体的运动状态；将物体的所述空间位姿和所述运动状态的参考系由相机坐标系转换到机械臂基坐标系，计算出物体的预贴标签位姿和贴标签位姿；之后利用所述预贴标签位姿和所述贴标签位姿进行机械臂逆运动学计算，得到两种位姿条件下机械臂各关节的角度控制信息；
步骤3、根据当前时刻物体与机械臂基坐标系的距离进行贴标签顺序的排序，对距离小的物体优先贴标签，并采用拦截式贴标签策略完成物体的贴标签操作；
步骤4、完成当前物体的贴标签任务后，判断所述RGBD相机当前视野下是否检测到新物体，如果检测到新物体则执行所述步骤2；如果没有检测到新物体，则判断是否按序完成当前场景下所有物体的贴标签任务，如果尚未完成则执行所述步骤3，否则结束贴标签操作；
步骤5、控制所述机械臂回到初始位姿。
进一步地，所述包围盒估计算法为：
物体在流水线上移动，在等时间间隔条件下采集3个不同时刻的物体深度数据，从而得到3个视角下的物体点云；
采用截断符号距离函数对3个视角下的点云数据进行融合，获得比较完整的物体点云；
采用主成分分析算法计算出物体点云的最小包围盒；
根据最小包围盒计算物体位姿，以物体顶面中心作为物体的空间位置，以物体朝向作为其空间姿态。
进一步地，所述拦截式贴标签策略包括：
所述工控机向所述机械臂发送所述预贴标签位姿的角度控制信息，使安装在所述机械臂末端的标签剥离装置到达所述预贴标签位姿；
计算出物体移动到所述标签剥离装置下部时的时间，当物体到达所述标签剥离装置下部时，所述工控机向所述机械臂发送所述贴标签位姿的角度控制信息，使所述标签剥离装置到达所述贴标签位姿；
当所述标签剥离装置到达所述贴标签位姿时，控制所述标签剥离装置执行剥离标签的动作，并同步控制标签收放装置执行放标签和收标签动作，这样在所述机械臂、所述标签剥离装置和所述标签收放装置的协同控制下完成流水线上单个物体的贴标签操作。
进一步地，所述预贴标签位姿、所述贴标签位姿和所述机械臂的初始位姿位于同一平面，并且该平面与物体的运动方向垂直。
与现有技术相比，本发明至少具有如下有益技术效果：
本发明设计的标签剥离装置体积小巧、重量轻型化；本发明可以实现流水线上散乱摆放、尺寸和形状各异的非结构化物体的智能贴标签操作，克服了当前贴标签技术只能实现结构化场景下物体贴标签操作的局限，有利于降低人工成本、提高贴标签效率和可靠性。
以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。
附图说明
图1是本发明的一个较佳实施例的结构示意图；
图2是本发明的一个较佳实施例的标签剥离装置结构示意图；
图3是本发明的一个较佳实施例的标签收放装置结构示意图；
图4是本发明的一个较佳实施例的方法流程图；
图5是本发明的一个较佳实施例的物体空间位姿估计算法流程图；
图6是本发明的一个较佳实施例的拦截式贴标签策略的空间坐标示意图。
其中，1-机械臂，2-RGBD相机，3-标签剥离装置，4-标签收放装置，5-流水线，6-工控机，7-物体，11-机械臂末端，31-第一支架，32-第一电机，33-牵引轮，34-辅助轮，35-未剥离的标签，36-剥离板，37-标签，38-标签底纸，41-第二电机，42-标签储蓄筒，43-传动带，44-标签底纸储蓄筒，45-第三支架，51-第二支架。
具体实施方式
以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。
在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。
如图1所示，是一种实现流水线上非结构化物体智能贴标签的装置的结构示意图，包括机械臂1、RGBD相机2、标签剥离装置3、标签收放装置4、流水线5和工控机6。图1中只给出了某一示例，流水线5上本质有多个形状、尺寸不同的且随机放置的物体，物体7只是其中一个。机械臂1具有六个自由度，根据视觉反馈信息进行机械臂1的位姿控制。RGBD相机2用于实现RGBD数据采集，为实现流水线5上物体7数据的预先、稳定采集，采用“眼在手外”的安装方式，将RGBD相机2安装在流水线5上方且物体7在流水线5最先出现的一侧，在系统工作中将采集的数据实时传输到工控机6。标签剥离装置3体积小巧、重量轻型化，安装在机械臂末端11作为机械臂工具端，可以将标签37从标签底纸38上剥离，在使用中根据流水线5上非结构化物体的位姿对机械臂末端11的位姿进行调整，从而实现标签剥离装置3的位姿调整。标签收放装置4独立于标签剥离装置3，安装在流水线5的第二支架51上，在贴标签任务执行中标签收放装置4实时地执行放标签操作和收标签操作，以保证标签收放装置4和标签剥离装置3之间的标签具有足够的冗余量，从而保证机械臂1在工作空间内正常工作。流水线5实现尺寸、形状各异的、位置散乱摆放的等非结构化场景下物体的输送。工控机6对RGBD相机2采集的RGB图像和深度图像进行处理，获取物体7的空间位姿和运动状态，并计算出物体7的预贴标签位姿和贴标签位姿，同时进行机械臂逆运动学求解获取机械臂1各关节的角度控制信息。
标签剥离装置3如图2所示，该装置通过第一支架31安装在机械臂末端11，在工作中第一电机32驱动牵引轮33转动，并通过牵引轮33与辅助轮34之间的配合带动未剥离的标签35在剥离板36上运动，在牵引力的作用下未剥离的标签35在剥离板36边缘发生剥落，使标签37与标签底纸38分离，此时由于机械臂工具端即标签剥离装置3已到达贴标签位姿，这样剥离的标签37即可直接贴附在物体7表面，并且在毛刷39的抚平作用下将标签37贴附完全；标签底纸38则在牵引轮33的作用下向标签收放装置4移动。
标签收放装置4如图3所示，在工作中第二电机41驱动标签储蓄筒42执行放标签操作，同时第二电机41通过传动带43驱动标签底纸储蓄筒44工作，实现标签剥离后的标签底纸38的收集。需要注意的是，标签收放装置4独立于标签剥离装置3，通过第三支架45安装在流水线5的第二支架51上。
一种实现流水线上非结构化物体智能贴标签的方法，其流程如图4所示，包括以下步骤：
步骤1、利用RGBD相机2采集流水线5上物体的RGB图像和深度图像，并实时传输到工控机6，利用基于RGBD融合的目标检测网络实现流水线5上物体的检测；
步骤2、在实现物体检测的基础上，采用不受物体几何形状约束且具有较高测量精度的包围盒估计算法进行物体位姿测量，同时基于卡尔曼滤波算法进行物体运动状态估计；然后进行坐标系转换，将当前时刻物体位姿估计结果和运动状态估计结果的参考系由相机坐标系转换到机械臂基坐标系，计算出物体的预贴标签位姿和贴标签位姿；最后针对两种位姿进行机械臂逆运动学计算，得到两种位姿条件下机械臂1各关节的角度控制信息；
步骤3、根据物体与机械臂基坐标系的距离确定多个物体的贴标签顺序，对距离小的物体优先贴标签，并采用“拦截式”贴标签策略完成物体的贴标签操作；
步骤4、根据“拦截式”贴标签策略，首先控制工控机6向机械臂1的控制柜发送预贴标签位姿的角度控制信息，使机械臂工具端到达拦截点即预贴标签位姿，然后根据物体运动状态的估计结果计算出物体移动到机械臂工具端下部时的时间，当物体到达机械臂工具端下部时控制工控机6向机械臂1的控制柜发送贴标签位姿的角度控制信息，使机械臂工具端到达贴标签位姿，这样减小机械臂运动路径，提高贴标签效率；
步骤5、当机械臂工具端到达贴标签位姿时，控制标签剥离装置3执行标签剥离操作，并同步控制标签收放装置4执行放标签和收标签操作，这样在机械臂1、标签剥离装置3和标签收放装置4的协同控制下高效完成流水线5上单个物体的贴标签操作；
步骤6、完成物体的贴标签任务后，判断RGBD相机2当前视野下是否检测到新物体，如果检测到新物体则执行步骤2；如果没有检测到新物体，则判断是否完成当前场景下所有物体的贴标签任务，如果未完成则执行步骤4，否则结束贴标签操作；
步骤7、通过步骤1至步骤6即可完成流水线5上所有物体的贴标签任务，最后控制机械臂1回到初始位姿。
其中，步骤2中物体的空间位姿通过包围盒估计算法获取，其计算流程如图5所示，物体在流水线5上移动，在等时间间隔条件下采集3个不同时刻的物体深度数据，从而得到3个视角下的物体点云；采用截断符号距离函数对3个视角下的点云数据进行融合，获得比较完整的物体点云；采用主成分分析算法计算出物体点云的最小包围盒；根据最小包围盒计算物体位姿，以物体顶面中心作为物体的空间位置，以物体朝向作为其空间姿态。需要注意，上述计算到的物体位姿是指物体在相机坐标系下的位姿。
步骤3中的“拦截式”贴标签策略，要求预贴标签位姿、贴标签位姿和机械臂初始位姿位于同一平面且该平面与物体运动方向垂直如图6所示，图中X0Y0Z0坐标系表示机械臂工具端初始位姿所在坐标系，XPYPZP坐标系和XWYWZW坐标系分别表示预贴标签位姿和贴标签位姿，以上三个位姿构成了平面SF-1；XtYtZt坐标系表示某一时刻物体所在的坐标系，且以速度V在流水线5平面SF-2上移动，移动方向与平面SF-1垂直。预贴标签位姿和贴标签位姿的计算过程为：
假设相机坐标系下物体位姿为Pc，相机坐标系到机械臂基坐标系的转换矩阵为
Figure BDA0003167381880000061
机械臂基坐标系到工具端的转换矩阵为
Figure BDA0003167381880000062
则可以得到在机械臂1初始位姿条件下物体在机械臂工具端坐标系中的位姿为：
Figure BDA0003167381880000063
为减少机械臂1运动路径，控制机械臂1只在平面SF-1范围内运动。假设机械臂工具端的初始位姿为
Figure BDA0003167381880000064
执行预贴标签动作时机械臂工具端只进行位置调整，在执行贴标签动作时才根据物体的真实位姿进行调整，以实现非结构化物体的贴标签动作。根据机械臂1的运动约束可以得到预贴标签位姿
Figure BDA0003167381880000065
和贴标签位姿
Figure BDA0003167381880000066
的表达式为：
Figure BDA0003167381880000067
Figure BDA0003167381880000068
式中,
Figure BDA0003167381880000069
表示
Figure BDA00031673818800000610
在机械臂工具端Y坐标轴方向上的位置坐标，
Figure BDA00031673818800000611
表示机械臂1预贴标签位置相对初始位置在机械臂工具端Z坐标轴方向上的偏移量；
Figure BDA00031673818800000612
和
Figure BDA00031673818800000613
分别表示
Figure BDA0003167381880000071
在机械臂工具端X和Y坐标轴方向上的位置坐标，
Figure BDA0003167381880000072
表示机械臂1贴标签位置相对预贴标签位置在机械臂工具端Z坐标轴方向上的偏移量，
Figure BDA0003167381880000073
表示
Figure BDA0003167381880000074
中的位姿。
步骤4中首先控制机械臂工具端到达预贴标签位姿，然后当物体到达机械臂工具端下部时再控制机械臂工具端到达贴标签位姿，第一次控制只对机械臂工具端位置进行调整，通过这一粗调过程将机械臂工具端快速移动到“拦截处”；第二次控制对机械臂工具端的位置和姿态都进行调整，通过这一精调过程使机械臂工具端位姿与流水线5上物体位姿重合，进而执行贴标签操作。
步骤4中物体移动到机械臂工具端下部时的时间根据物体的初始位姿
Figure BDA0003167381880000075
和预贴标签位姿
Figure BDA0003167381880000076
在X轴方向上的位置差与物体估计速度V的比值确定，表达式为：
Figure BDA0003167381880000077
式中，
Figure BDA0003167381880000078
为物体初始位姿在X轴方向的位置分量，
Figure BDA0003167381880000079
为预贴标签位姿
Figure BDA00031673818800000710
在X轴方向的位置分量。
以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。

Claims (10)

1.一种实现流水线上非结构化物体智能贴标签的装置，其特征在于，包括机械臂、RGBD相机、标签剥离装置、标签收放装置、工控机，其中，所述机械臂具有六个自由度；
所述RGBD相机安装在流水线上方，位于物体在流水线上最先出现的一侧，用于采集物体的RGB图像和深度图像，并将所述RGB图像和所述深度图像发送到所述工控机；
所述标签剥离装置通过第一支架安装在所述机械臂的末端，用于将标签从标签底纸上剥离；
所述标签收放装置独立于所述标签剥离装置，通过第二支架安装在流水线上，用于执行放标签操作和收标签操作；
所述工控机对所述RGB图像和所述深度图像进行处理，获取物体的空间位姿和运动状态，并将物体的所述空间位姿和所述运动状态的参考系由相机坐标系转换到机械臂基坐标系，计算出物体的预贴标签位姿和贴标签位姿；
所述工控机利用所述预贴标签位姿和所述贴标签位姿进行机械臂逆运动学计算，得到两种位姿条件下所述机械臂的各关节的角度控制信息；
所述机械臂根据所述工控机发送的所述角度控制信息进行位姿变化。
2.如权利要求1所述的实现流水线上非结构化物体智能贴标签的装置，其特征在于，所述标签剥离装置包括第一电机、牵引轮、辅助轮、剥离板、毛刷。
3.如权利要求2所述的实现流水线上非结构化物体智能贴标签的装置，其特征在于，所述第一电机驱动所述牵引轮转动，并通过所述牵引轮与所述辅助轮之间的配合带动未剥离的标签在所述剥离板上运动，在牵引力的作用下未剥离的标签在所述剥离板边缘发生剥落，使标签与标签底纸分离，此时所述标签剥离装置到达所述贴标签位姿，剥离的标签直接贴附在物体表面，并且在所述毛刷的抚平作用下将标签完全贴附；标签底纸在所述牵引轮的作用下向所述标签收放装置移动。
4.如权利要求3所述的实现流水线上非结构化物体智能贴标签的装置，其特征在于，所述标签收放装置包括第二电机、标签储蓄筒、传动带、标签底纸储蓄筒、第三支架。
5.如权利要求4所述的实现流水线上非结构化物体智能贴标签的装置，其特征在于，所述第二电机驱动所述标签储蓄筒执行放标签操作，同时所述第二电机通过所述传动带驱动所述标签底纸储蓄筒工作，实现标签剥离后的标签底纸的收集；所述标签收放装置通过所述第三支架安装在所述第二支架上。
6.如权利要求1所述的实现流水线上非结构化物体智能贴标签的装置，其特征在于，所述工控机基于包围盒估计算法得到物体的空间位姿，基于卡尔曼滤波算法得到物体的运动状态。
7.一种实现流水线上非结构化物体智能贴标签的方法，其特征在于，所述方法包括以下步骤：
步骤1、利用RGBD相机采集流水线上物体的RGB图像和深度图像，并实时传输到工控机，利用基于RGBD融合的目标检测网络实现物体的检测；
步骤2、所述工控机基于包围盒估计算法得到物体的空间位姿，基于卡尔曼滤波算法得到物体的运动状态；将物体的所述空间位姿和所述运动状态的参考系由相机坐标系转换到机械臂基坐标系，计算出物体的预贴标签位姿和贴标签位姿；之后利用所述预贴标签位姿和所述贴标签位姿进行机械臂逆运动学计算，得到两种位姿条件下机械臂各关节的角度控制信息；
步骤3、根据当前时刻物体与机械臂基坐标系的距离进行贴标签顺序的排序，对距离小的物体优先贴标签，并采用拦截式贴标签策略进行物体的贴标签操作；
步骤4、完成当前物体的贴标签任务后，判断所述RGBD相机当前视野下是否检测到新物体，如果检测到新物体则执行所述步骤2；如果没有检测到新物体，则判断是否按序完成当前场景下所有物体的贴标签任务，如果尚未完成则执行所述步骤3，否则结束贴标签操作；
步骤5、控制所述机械臂回到初始位姿。
8.如权利要求7所述的实现流水线上非结构化物体智能贴标签的方法，其特征在于，所述包围盒估计算法为：
物体在流水线上移动，在等时间间隔条件下采集3个不同时刻的物体深度数据，从而得到3个视角下的物体点云；
采用截断符号距离函数对3个视角下的点云数据进行融合，获得比较完整的物体点云；
采用主成分分析算法计算出物体点云的最小包围盒；
根据最小包围盒计算物体位姿，以物体顶面中心作为物体的空间位置，以物体朝向作为其空间姿态。
9.如权利要求8所述的实现流水线上非结构化物体智能贴标签的方法，其特征在于，所述拦截式贴标签策略包括：
所述工控机向所述机械臂发送所述预贴标签位姿的角度控制信息，使安装在所述机械臂末端的标签剥离装置到达所述预贴标签位姿；
计算出物体移动到所述标签剥离装置下部时的时间，当物体到达所述标签剥离装置下部时，所述工控机向所述机械臂发送所述贴标签位姿的角度控制信息，使所述标签剥离装置到达所述贴标签位姿；
当所述标签剥离装置到达所述贴标签位姿时，控制所述标签剥离装置执行剥离标签的动作，并同步控制标签收放装置执行放标签和收标签动作，这样在所述机械臂、所述标签剥离装置和所述标签收放装置的协同控制下完成流水线上单个物体的贴标签操作。
10.如权利要求9所述的实现流水线上非结构化物体智能贴标签的方法，其特征在于，所述预贴标签位姿、所述贴标签位姿和所述机械臂的初始位姿位于同一平面，并且该平面与物体的运动方向垂直。
CN202110808375.0A 2021-07-16 2021-07-16 一种实现流水线上非结构化物体智能贴标签的装置和方法 Active CN113479442B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110808375.0A CN113479442B (zh) 2021-07-16 2021-07-16 一种实现流水线上非结构化物体智能贴标签的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110808375.0A CN113479442B (zh) 2021-07-16 2021-07-16 一种实现流水线上非结构化物体智能贴标签的装置和方法

Publications (2)

Publication Number Publication Date
CN113479442A true CN113479442A (zh) 2021-10-08
CN113479442B CN113479442B (zh) 2022-10-21

Family

ID=77940971

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110808375.0A Active CN113479442B (zh) 2021-07-16 2021-07-16 一种实现流水线上非结构化物体智能贴标签的装置和方法

Country Status (1)

Country Link
CN (1) CN113479442B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114889931A (zh) * 2022-07-15 2022-08-12 浙江啄云智能科技有限公司 一种贴标机及贴标方法、装置、电子装置和存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106651949A (zh) * 2016-10-17 2017-05-10 中国人民解放军63920部队 一种基于仿真的空间机械臂抓捕目标遥操作方法及系统
US9731856B1 (en) * 2014-03-26 2017-08-15 Amazon Technologies, Inc. Rotatable tamp head
KR20180047571A (ko) * 2016-10-31 2018-05-10 고려대학교 산학협력단 이동 로봇의 엘리베이터 승하차 제어 방법
CN108994832A (zh) * 2018-07-20 2018-12-14 上海节卡机器人科技有限公司 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CN110293553A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 控制机械臂操作物体的方法、装置及模型训练方法、装置
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及系统
CN111229636A (zh) * 2018-11-28 2020-06-05 桥本雄二 调整方法、调整系统及传送装置以及调整后的设备
CN111383263A (zh) * 2018-12-28 2020-07-07 阿里巴巴集团控股有限公司 机器人抓取物体系统、方法及装置
CN111924252A (zh) * 2020-09-28 2020-11-13 西安奕斯伟硅片技术有限公司 晶圆盒贴标签装置及晶圆盒贴标签的方法
CN113044346A (zh) * 2020-10-26 2021-06-29 泰州市华仕达机械制造有限公司 流水线式目标检测定位平台

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9731856B1 (en) * 2014-03-26 2017-08-15 Amazon Technologies, Inc. Rotatable tamp head
CN106651949A (zh) * 2016-10-17 2017-05-10 中国人民解放军63920部队 一种基于仿真的空间机械臂抓捕目标遥操作方法及系统
KR20180047571A (ko) * 2016-10-31 2018-05-10 고려대학교 산학협력단 이동 로봇의 엘리베이터 승하차 제어 방법
CN110293553A (zh) * 2018-03-21 2019-10-01 北京猎户星空科技有限公司 控制机械臂操作物体的方法、装置及模型训练方法、装置
CN108994832A (zh) * 2018-07-20 2018-12-14 上海节卡机器人科技有限公司 一种基于rgb-d相机的机器人手眼系统及其自标定方法
CN111229636A (zh) * 2018-11-28 2020-06-05 桥本雄二 调整方法、调整系统及传送装置以及调整后的设备
CN111383263A (zh) * 2018-12-28 2020-07-07 阿里巴巴集团控股有限公司 机器人抓取物体系统、方法及装置
CN110580725A (zh) * 2019-09-12 2019-12-17 浙江大学滨海产业技术研究院 一种基于rgb-d相机的箱体分拣方法及系统
CN111924252A (zh) * 2020-09-28 2020-11-13 西安奕斯伟硅片技术有限公司 晶圆盒贴标签装置及晶圆盒贴标签的方法
CN113044346A (zh) * 2020-10-26 2021-06-29 泰州市华仕达机械制造有限公司 流水线式目标检测定位平台

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114889931A (zh) * 2022-07-15 2022-08-12 浙江啄云智能科技有限公司 一种贴标机及贴标方法、装置、电子装置和存储介质

Also Published As

Publication number Publication date
CN113479442B (zh) 2022-10-21

Similar Documents

Publication Publication Date Title
CN109279373B (zh) 一种基于机器视觉的柔性拆垛码垛机器人系统及方法
CN111730603B (zh) 机器人系统的控制装置以及控制方法
Domae et al. Fast graspability evaluation on single depth maps for bin picking with general grippers
JP6823008B2 (ja) バラ積みされたワークを取り出すロボットシステムおよびロボットシステムの制御方法
CN109926342B (zh) 一种快递高效分拣系统及其分拣方法
US11731267B2 (en) Manipulating boxes using a zoned gripper
US10377581B2 (en) Article conveying device using at least one sensor
US20210308866A1 (en) Adaptive grasp planning for bin picking
CN106044570A (zh) 一种采用机器视觉的钢卷吊自动识别装置和方法
CN113479442B (zh) 一种实现流水线上非结构化物体智能贴标签的装置和方法
CN110980276B (zh) 一种三维视觉配合机器人实施铸件自动下料的方法
CN209425426U (zh) 一种复合型工业协作机器人
Chiaravalli et al. Integration of a multi-camera vision system and admittance control for robotic industrial depalletizing
Kimura et al. Mobile dual-arm robot for automated order picking system in warehouse containing various kinds of products
CN112053398A (zh) 物体抓取方法、装置、计算设备和存储介质
CN211802462U (zh) 移动式智能货物抓取与运输装置
KR20190011856A (ko) 효율적인 로봇 운영을 위한 작업 분배 장치, 시스템 및 방법
CN110626812A (zh) 3d视觉导引纸箱智能拆垛码垛集成系统及拆垛码垛方法
CN109278021A (zh) 一种用于抓取薄壁壳体类工件的机器人工具系统
CN110817231B (zh) 一种面向物流场景订单拣选方法、设备和系统
CN109176490A (zh) 一种采摘机器人控制系统
Lin et al. Vision based object grasping of industrial manipulator
CN115848715A (zh) 一种无序拣选机器人、系统及方法
CN111906767A (zh) 基于双目结构光的视觉纠偏机械臂及纠偏方法
KR20210014033A (ko) 작업대상물의 피킹 및 플레이스 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant