CN113618709A - 一种用于智能产线的多模态力控无损抓取装置 - Google Patents
一种用于智能产线的多模态力控无损抓取装置 Download PDFInfo
- Publication number
- CN113618709A CN113618709A CN202110765718.XA CN202110765718A CN113618709A CN 113618709 A CN113618709 A CN 113618709A CN 202110765718 A CN202110765718 A CN 202110765718A CN 113618709 A CN113618709 A CN 113618709A
- Authority
- CN
- China
- Prior art keywords
- target object
- force
- infrared detection
- detection module
- pressure sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004519 manufacturing process Methods 0.000 title claims abstract description 16
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 210000000078 claw Anatomy 0.000 claims abstract description 53
- 230000008859 change Effects 0.000 claims description 17
- 238000005259 measurement Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 11
- 238000001914 filtration Methods 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000011217 control strategy Methods 0.000 claims description 3
- 238000013459 approach Methods 0.000 claims description 2
- 238000012546 transfer Methods 0.000 claims description 2
- 230000000007 visual effect Effects 0.000 abstract description 4
- 230000007246 mechanism Effects 0.000 description 8
- 230000008569 process Effects 0.000 description 5
- 230000001066 destructive effect Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000009530 blood pressure measurement Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000007789 sealing Methods 0.000 description 2
- 239000000741 silica gel Substances 0.000 description 2
- 229910002027 silica gel Inorganic materials 0.000 description 2
- 239000007779 soft material Substances 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 244000126211 Hericium coralloides Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007123 defense Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003746 surface roughness Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J15/00—Gripping heads and other end effectors
- B25J15/08—Gripping heads and other end effectors having finger members
- B25J15/12—Gripping heads and other end effectors having finger members with flexible finger members
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/04—Viewing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1628—Programme controls characterised by the control loop
- B25J9/1633—Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
Abstract
本发明公开了一种用于智能产线的多模态力控无损抓取装置，包括：双目图像采集器、力控抓手机械组件及控制系统；力控抓手机械组件上设有超声传感器、红外探测模块、薄膜压力传感器；双目图像采集器用于采集目标物的双目二维彩色图像信息；超声传感器采集机械爪与桌面的距离；红外探测模块采集灰度信息，用于判断二指机械爪是否抓紧目标物；薄膜压力传感器采集二指机械爪与目标物之间的压力信息；控制系统根据双目图像采集器、超声传感器、红外探测模块和薄膜压力传感器所采集的信息，控制力控抓手机械组件对目标物的无损抓取。本发明的多模态力控无损抓取装置综合视觉信息、力反馈信息和红外探测信息，实现多级力控，可配合机械臂实现无损抓取。
Description
技术领域
本发明涉及无损抓取技术领域，尤其涉及一种用于智能产线的多模态 力控无损抓取装置。
背景技术
近年来随着制造业朝着自动化、多样化、精确化方的向发展，机器人 在生产线上得到了广泛的运用。而作为机器人的最前端，机械手的抓取性 能是机器人装配业应用研究中重要的一项。研究的目的就是要通过一系列 合理的接触约束消除被抓取物体的运动自由度，使物体达到受力平衡状态， 实现期望运动。
随着工业自动化的应用领域越来越广泛、抓取操作对象越来越多样化, 传统的机械手爪难以满足对于柔软、易碎物品的柔顺无损抓取要求。目前 常见的无损抓手有主动柔顺抓手、欠驱动抓手、软体材料抓手等。
其中欠驱动抓手、软体材料抓手均是通过设计抓手机械结构以达到对 目标物体外形的适应，从而实现无损抓取，如哈佛大学能源系和美国国防 部高级研究计划局(DARPA)的研究人员共同开发的出一种软体机械手。又 如公开号为CN111993452A的中国专利文献公开了一种气动可调节抓取直 径的软体抓手，包括三角支架、固定装置和气动软体单指，所述三角支架 包括若干个轨道，所有轨道的其中一端相互连接，固定装置滑动套设在轨 道上，所述固定装置和轨道之间设置有限位组件，所述固定装置底部设置 有插槽，插槽内插设有气动软体单指，气动软体单指内设空腔，插槽内设 置有用于固定气动软体单指的固定组件；所述气动软体单指一侧呈梳齿状 并朝向远离三角支架中心的方向设置；所述气动软体单指上连接有导气管 并连接气泵。
虽然这类抓手简化控制、重量较轻、可以适应柔性物体，但也存在抓 取效率较低、弯曲速度有限的缺点。
主动柔顺抓手则是通过获取力传感器的接触力信息，机械爪又把力反 馈信息转化为位置或速度调整量，完成无损抓取，如OnRobot公司的2FG7 平行电动夹持器。又如公开号为CN111017154A的中国专利文献公开了一 种水下目标无损抓取装置，包括底座、动力机构和抓取机构；特点是所述 底座内设置控制器，所述控制器控制所述抓取机构的抓取动作；所述抓取 机构固定连接在所述底座上，所述抓取机构在抓取目标时，将抓取的接触 力反馈到所述控制器，由控制器实时控制抓取机构的抓取力度；优点是通 过抓取机构抓取目标的接触力大小的实时情况反馈到所述控制器，由控制 器实时控制抓取机构的抓取力度，来实现对目标的无损抓取。
但仅通过接触力这一项信息来进行抓取，不能直接判断抓取动作是否 成功；在接触到物体之前也无法得知任何物体信息，只能将目标力数值设 为固定值，不能适应多种物体和易变形物体的抓取。
发明内容
本发明提供了一种综合视觉信息、力反馈信息和红外探测信息的用于 智能生产线的多模态无损力控抓取装置，通过分析上述三种信息实现多级 力控，可配合机械臂实现无损抓取。
本发明的技术方案如下：
一种用于智能产线的多模态力控无损抓取装置，包括：双目图像采集 器、力控抓手机械组件及控制系统；
力控抓手机械组件包括支架以及安装在支架上的二指机械爪；
所述的二指机械爪上设有超声传感器；二指机械爪中，一侧指爪内侧 设有红外探测模块，另一侧指爪内侧设有薄膜压力传感器；
所述的双目图像采集器用于采集含有目标物的桌面区域的双目二维 彩色图像信息；
所述的超声传感器采集二指机械爪与桌面的距离；
所述的红外探测模块采集灰度信息，用于判断二指机械爪是否抓紧目 标物；
所述的薄膜压力传感器采集二指机械爪与目标物之间的压力信息；
所述的控制系统根据双目图像采集器、超声传感器、红外探测模块和 薄膜压力传感器所采集的信息，控制力控抓手机械组件对目标物的无损抓 取。
本发明的多模态力控无损抓取装置可配合固定在桌面上的机械臂使 用。
优选的，所述的二指机械爪的指爪通过丝杆滑台驱动以加持目标物。
优选的，所述的二指机械爪的两指爪上部为长a宽b的机械爪主干， a:b＝5:3；机械爪主干外侧为平面，内侧含有直径为l＝50mm(丝杆滑台行 程)，弧度为
的凹陷；
所述的二指机械爪的两指爪下部为与主干外侧相切的圆弧齿，弧度为 20°，直径为l；
所述的二指机械爪的两指爪中，一指爪含2齿，另一指爪含3齿。
优选的，所述的二指机械爪中，一指爪内侧设有凹槽，凹槽边缘设有 弹性垫圈，所述的红外探测模块设置在凹槽内。
将抓手夹紧目标物、凹槽构成封闭空间时，红外探测模块的测量值设 定为阈值I0。
红外探测模块测量得到图像RGB信息，计算得灰度信息为
当抓手夹紧目标物、凹槽构成封闭空间时，红外检测模块读数达到阈 值I0，若抓手未夹紧目标物，则仍有外界环境光透进凹槽，红外探测模块 的测量值I高于阈值I0。
优选的，所述的二指机械爪中，两指爪内侧设有硅胶片。
优选的，所述的控制系统的控制策略为：
(1)通过双目图像采集器获取含义目标物的RGB图像信息img，经 神经网络分类器判断目标物类型是否已知；
(2)若目标物类型已知，则从数据库中直接获取目标物的初始设定 力F0＝net{img}和控制器比例系数；
若目标物类型未知，则以1～2mm/s的速度驱动指爪，使二指机械爪逐 渐夹住目标物，过程中获取薄膜压力传感器的电流变化时序数据xn，通过 神经网络，推测目标物的初始设定力F0＝net{xn}和控制器比例系数；
(3)通过超声传感器测量二指机械爪与桌面的距离d，d小于指爪长 度a后，驱动指爪进行抓取并开始读取薄膜压力传感器的测量值curForce， 构成闭环单回路控制，同时读取红外探测模块的测量值I；
(4)薄膜压力传感器的测量值curForce和红外探测模块的测量值I中， 其中之一稳定至设定值后(薄膜压力传感器的设定值即为设定力初值 F0＝net{img}或F0＝net{xn}，红外探测模块的设定值为阈值I0)，开始进行判 断：
(a)若薄膜压力传感器的测量值F稳定至F0，红外探测模块的测量值 I稳定至I0，则抓取完成，不再调整机械爪的输出力大小；
(b)若红外探测模块的测量值I稳定至I0，而薄膜压力传感器的测量 值F小于F0，则在薄膜压力传感器的测量值F达到设定值前，抓手已夹紧 目标物，此时无需再增大机械爪的输出力；
(c)若薄膜压力传感器的测量值F稳定至F0，而红外探测模块的测量 值I高于I0，则以红外探测模块的测量值I为主控变量，薄膜压力传感器的 测量值F为副控变量，构成串级回路，以红外探测模块的测量值I改变薄 膜压力传感器的压力设定值F0的大小，机械爪输出力F随之变化，逐渐逼 近设定值F0。
优选的，步骤(1)包括：
(1-i)对采集的RGB图像进行滤波除噪，将除噪后的RGB图像转换 为HSV格式图像；
(1-ii)对H图层按顺序进行直方图均衡处理、二值化与膨胀，在处 理后的H图层上提取目标物的轮廓与像素区域；
(1-iii)在目标物的像素区域内提取大小、周长、弧度、RGB平均像 素值作为特征，输入神经网络分类器YOLO处理，判断目标物类型是否已 知。
优选的，步骤(2)中包括：
(2-i)数据库中含有目标物集合A及其对应初始设定力集合F0；
(2-ii)若目标物类型已知，则从数据库中直接获取目标物的初始设定 力F0＝net{img}和控制器比例系数；
(2-iii)若目标物类型未知，则以1～2mm/s的速度驱动指爪，使二 指机械爪逐渐夹住目标物，过程中获取薄膜压力传感器的电流变化时序 数据xn，根据此电流变化时序数据推测初始设定力F0大小；并根据电流 变化响应曲线，进行系统辨识，利用一节惯性环节进行拟合，获得传递 函数：
其中，I(s)为薄膜压力传感器输出电流的拉氏变换；V(s)为电机速度的 拉氏变化；s为复变量；求得参数Km、Tm，进而求得控制器比例系数
优选的，步骤(4)包括：薄膜压力传感器的测量值F和红外探测模块 的测量值I中，其中之一稳定至设定值后，开始进行判断：
(i)F<F0,I>I0时，F0不变；
(ii)F<F0,I<＝I0时，令F0＝F，此时我们认为已经抓紧物体；
(iii)F>＝F0,I>I0时，调节设定力F0，令F0＝F0+K·(I-I0)。
优选的，K＝0.1。
与现有技术相比，本发明的有益效果是：
(1)本发明运用双目机器视觉，能够获取抓取目标的三维位置与位 姿信息，能适应不同体积、形状、摆放位姿的抓取动作；
(2)充分利用视觉信息，结合图像识别算法获取物体类别，得到合适 的夹持力初始设定值；
(3)对未知物体，检测抓取过程中指爪接触力的时序数据，通过神经 网络判断物体硬度从而得出合适的夹持力预判值，可用于多种物体的无损 抓取；
(4)通过力反馈和红外检测手段保证抓取的力封闭与形封闭，既避 免了夹持力过大损伤物体，又避免了指爪未贴紧导致物体在移动途中掉落；
(5)本发明结构简单、便于搬运、成本低，适用于小规模生产。
附图说明
图1为本发明实例中的无损力控抓取装置结构示意图；
图2为力控抓手的结构示意图；
图3为本发明实例中的力控抓手的控制结构示意图；
图4为本发明实例中的无损力控抓取装置工作流程示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步详细描述，需要指出的是， 以下所述实施例旨在便于对本发明的理解，而对其不起任何限定作用。
本发明一种优选的实施例为：
多模态无损力控抓取装置包括初始设定力检测子系统、输出力控制子 系统和力控抓手机械组件，其中初始设定力检测子系统模态信息来源包括 相机与薄膜压力传感器，输出力控制子系统模态信息来源包括薄膜压力传 感器与红外检测模块；
力控抓手为二指机械爪，抓手机械组件包括主支架、丝杆滑台、齿手 指和榫。其中二指手指一侧加装了红外检测模块，二另指手指一侧加装了 超声传感器和薄膜压力传感器，指爪通过丝杆滑台驱动以夹持物体。
二指机械爪两指的上部为长a宽b的机械爪主干(a:b＝5:3)，主干外 侧为平面，内侧含有直径为l＝50mm(丝杆滑台行程)，弧度为
的凹陷； 二指机械爪两指下部为与主干外侧相切的圆弧齿，弧度为20°，直径为l； 二指机械爪一指含2齿，一指含3齿。
二指机械爪中，2齿侧指板含有一凹槽，凹槽边缘粘贴一弹性材料垫 圈，凹槽内部部署红外检测模块，3齿侧指板上粘贴薄膜压力传感器。
二指机械爪中，长板表面粘有硅胶垫片，有一定弹性(杨氏模量 Y＝2.14×106N·m-2)且表面粗糙度Ra＝1.2μm。
初始设定力检测子系统通过处理图像采集器采集到的双目二维彩色 图像信息，经滤波、转换色彩空间等预处理后，通过轮廓检测获取可能含 有目标抓取物的区域块，经过神经网络分类器YOLO处理后判断目标物 体类型是否已知，若已知，则从主机程序数据库中直接获取设定力初值； 若未知，则由薄膜压力传感器获取硬度信息来设定初值；并用轮廓识别算 法与三维重建得到目标三维坐标值，经转换至抓手坐标系后将位置信息传 递到机械臂控制系统；
初始设定力检测子系统中，确定初始设定力的策略为：
(1)模态计算模块内含有目标物集合A及对应的设定力初始值集合 集合F0；
(2)相机获取图像后，通过图像信息判断抓取目标是否为已知物 n；
(3)若是，则通过查表获取其设定力初值F0n；若否，则驱动电机 以2mm/s的速度逐渐夹住目标物，获取薄膜压力传感器的电流变化响 应，将此电流时序数据输入硬度预测模型中，推测初始设定力初值F0大 小，并根据获得的电流变化响应曲线，进行系统辨识，利用一节惯性环 节进行拟合，获得模型：
所述的I(s)为薄膜压力传感器输出电流的拉式变换，V(s)为电机速度 的拉式变化。根据求得的参数Km、Tm，设置PID比例系数
输出力控制子系统包括arduino控制板、薄膜压力传感器、超声传感 器、红外检测模块、丝杆滑台、电机驱动模块。输出力控制子系统接收初 值设定力检测子系统的信息，对于步进电机实行串级控制，从而对抓手输 出力精确控制以实现无损抓取。
输出力控制子系统具体力控策略为：
(1)若目标物体视觉检测结果为已知，则根据已有实验数据给定初 始设定力大小；
若目标物体未知，则给定丝杆滑台2mm/s的初始移动速度；
(2)超声传感器测量抓手与桌面的距离信息，小于4cm后，驱动电 机进行抓取，并开始读取薄膜压力传感器测量值，构成闭环单回路控制， 同时读取红外探测模块测量数据；
(3)当指板接触到物体后，对于未知目标物体，薄膜压力传感器返回 的电流值出现明显变化，此时获取0.1s内薄膜压力传感器的电流变化时序 数据，通过循环神经网络LSTM，推测目标物硬度信息，从而给出初始设 定力和比例系数；
(4)指爪移动过程中将薄膜压力传感器数据作为力控反馈量，通过 离散比例控制实现设定力输出；
(5)随着指爪移动，当薄膜压力传感器数值、红外探测模块数值其中 之一稳定至设定值后，开始进行判断：
若二者皆稳定至设定值，则抓取完成，不再调整力的大小；
若红外探测模块稳定至设定值，而压力测量值小于设定值，则在压力 达到设定值前，抓手已夹紧目标物，此时无需再增大输出压力；
若压力测量值稳定至设定值，而红外探测模块测量值高于设定值，则 以红外探测模块测量值为主控变量，压力为副控变量，构成串级回路，以 红外探测模块测量结果改变压力设定值F0。
红外探测模块工作策略为：
(1)设置阈值为I0，红外探测模块测量得到图像RGB信息，计算得 灰度信息为
当抓手夹紧目标物、凹槽构成封闭空间时，红外检测模块读数达到阈 值，若抓手未夹紧目标物，则仍有外界环境光透进凹槽，红外探测模块测 量值高于阈值。
无损抓取多级调整策略为：
(1)获取目标物图像img，通过硬度预测模型，确定目标物种类是否 已知；
(2)若已知，则根据实验数据设定初始设定力的大小F0＝net{img}，若 未知，则以2mm/s的速度驱动电机，获取指板逐渐夹住目标物过程中的薄 膜压力传感器的电流变化时序数据xn，通过神经网络，推测目标物硬度信 息与初始设定力大小F0＝net{xn}；
(3)超声传感器测量抓手与桌面的距离信息d，d小于a(抓手指板 长度)后，驱动电机进行抓取，并开始读取薄膜压力传感器测量值F，构 成闭环单回路控制，同时读取红外探测模块测量数据I；
(4)薄膜压力传感器数值、红外探测模块数值其中之一稳定至设定 值后，开始进行判断：
(i)F<F0,I>I0时，F0不变；
(ii)F<F0,I<＝I0时，令F0＝F，此时我们认为已经抓紧物体；
(iii)F>＝F0,I>I0时，调节设定力F0，F0＝F0+K·(I-I0)。
优选的，K＝0.1。
所述的控制器数学表达如下：
输出力与设定力误差：errForce＝F0-F；
上一时刻输出力与设定力误差：errPrev；
丝杆滑台位移：movesteps＝Kp*errForce；
如图1所示，对于本实例中使用到的硬件设备包括双目相机B，相机 可以采集彩色图像，本发明涉及彩色图像的使用；越疆Dobot Magician机 械臂A，机械臂A末端装有力控抓手C。
对于本实例中的力控抓手C结构如图2和图3所示：力控抓手C的 机械部分由支架、抓手夹爪、丝杆滑台模组和榫组成，在其上加装了主控 制器Arduino Mege2560(1)，L298n电机驱动板模块(2)，丝杆滑台(3)， 超声波传感器(4)，薄膜压力传感器(5)，红外检测模块(6)以及榫。
力控抓手C上的薄膜压力传感器(5)可以采集压力大小，超声传感 器(4)可以采集距离信息，红外检测模块(6)可以采集灰度信息，用于 判别夹爪是否抓紧目标物体；力控抓手通过双向四线步进电机丝杆滑台(3) 驱动，步进电机和薄膜压力传感器(5)、超声传感器(4)均受控制板Arduino Mega 2560(1)控制，机械臂B、红外检测模块(6)与计算机相连，均可 由python程序控制。
对于本实例中无损力控抓取装置的工作流程如图4所示：
工作流程可分为图像处理、初始设定力与比例系数计算、输出力控制 三个部分：
图像处理：对采集的RGB图像经过滤波除噪后，提取三组信息。将 降噪后的RGB转换为HSV格式图像，并对H图层按顺序进行直方图均 衡处理、二值化与膨胀，在处理后的H图层上提取水果的轮廓与像素区 域，以中心坐标作为目的二维坐标信息。在目标像素区域内提取大小、周 长、弧度、RGB平均像素值作为特征，输入神经网络分类器YOLO处理， 判断目标物体类型是否已知。将左右相机的两个视图做三维重建，获取目 标物的深度信息，作为第三维的坐标信息。
初始设定力与比例系数计算：若经过图像处理识别为已知物，则根据 已有数据给出设定力大小与控制器比例系数；若经过图像处理识别为未知 物，则给定丝杆杆滑台2mm/s的初始移动速度。超声传感器测量抓手与桌 面的距离信息，小于4cm后，驱动电机进行抓取，并开始读取薄膜压力传 感器测量值。此时对于已知物体则直接进入输出力控制环节；对于未知物 体则采集1s内薄膜压力传感器返回值时序数据，通过循环神经网络LSTM， 推测目标物硬度特征，根据已有实验数据给出初始设定力和控制器比例系 数。
输出力控制：指爪移动过程中将薄膜压力传感器数据作为力控反馈量， 通过离散比例控制实现设定力输出。随着指爪移动，当薄膜压力传感器数 值、红外探测模块数值其中之一稳定至设定值后，开始进行判断：
若二者皆稳定至设定值，则抓取完成，不再调整力的大小；
若红外探测模块稳定至设定值，而压力测量值小于设定值，则在压力 达到设定值前，抓手已夹紧目标物，此时无需再增大输出压力；
若压力测量值稳定至设定值，而红外探测模块测量值高于设定值，则 以红外探测模块测量值为主控变量，压力为副控变量，构成串级回路，在 原回路基础上增加一个比例控制器，以红外探测模块测量结果改变压力设 定值。
以上所述的实施例对本发明的技术方案和有益效果进行了详细说明， 应理解的是以上所述仅为本发明的具体实施例，并不用于限制本发明，凡 在本发明的原则范围内所做的任何修改、补充和等同替换等，均应包含在 本发明的保护范围之内。
Claims (9)
1.一种用于智能产线的多模态力控无损抓取装置，其特征在于，包括：双目图像采集器、力控抓手机械组件及控制系统；
力控抓手机械组件包括支架以及安装在支架上的二指机械爪；
所述的二指机械爪上设有超声传感器；二指机械爪中，一侧指爪内侧设有红外探测模块，另一侧指爪内侧设有薄膜压力传感器；
所述的双目图像采集器用于采集含有目标物的桌面区域的双目二维彩色图像信息；
所述的超声传感器采集二指机械爪与桌面的距离；
所述的红外探测模块采集灰度信息，用于判断二指机械爪是否抓紧目标物；
所述的薄膜压力传感器采集二指机械爪与目标物之间的压力信息；
所述的控制系统根据双目图像采集器、超声传感器、红外探测模块和薄膜压力传感器所采集的信息，控制力控抓手机械组件对目标物的无损抓取。
2.根据权利要求1所述的用于智能产线的多模态力控无损抓取装置，其特征在于，所述的二指机械爪的两指爪上部为长a宽b的机械爪主干，a:b＝5:3；机械爪主干外侧为平面，内侧含有直径为l＝50mm(丝杆滑台行程)，弧度为
的凹陷；
所述的二指机械爪的两指爪下部为与主干外侧相切的圆弧齿，弧度为20°，直径为l；
所述的二指机械爪的两指爪中，一指爪含2齿，另一指爪含3齿。
3.根据权利要求1所述的用于智能产线的多模态力控无损抓取装置，其特征在于，所述的二指机械爪中，一指爪内侧设有凹槽，凹槽边缘设有弹性垫圈，所述的红外探测模块设置在凹槽内。
4.根据权利要求3所述的用于智能产线的多模态力控无损抓取装置，其特征在于，将抓手夹紧目标物、凹槽构成封闭空间时，红外探测模块的测量值设定为阈值I0；
红外探测模块测量得到图像RGB信息，计算得灰度信息为
当抓手夹紧目标物、凹槽构成封闭空间时，红外检测模块读数达到阈值I0，若抓手未夹紧目标物，则仍有外界环境光透进凹槽，红外探测模块的测量值I高于阈值I0。
5.根据权利要求1所述的用于智能产线的多模态力控无损抓取装置，其特征在于，所述的控制系统的控制策略为：
(1)通过双目图像采集器获取含义目标物的RGB图像信息img，经神经网络分类器判断目标物类型是否已知；
(2)若目标物类型已知，则从数据库中直接获取目标物的初始设定力F0＝net{img}和控制器比例系数；
若目标物类型未知，则以1～2mm/s的速度驱动指爪，使二指机械爪逐渐夹住目标物，过程中获取薄膜压力传感器的电流变化时序数据xn，通过神经网络，推测目标物的初始设定力F0＝net{xn}和控制器比例系数；
(3)通过超声传感器测量二指机械爪与桌面的距离d，d小于指爪长度a后，驱动指爪进行抓取并开始读取薄膜压力传感器的测量值F，构成闭环单回路控制，同时读取红外探测模块的测量值I；
(4)薄膜压力传感器的测量值F和红外探测模块的测量值I中，其中之一稳定至设定值后，开始进行判断：
(a)若薄膜压力传感器的测量值F稳定至F0，红外探测模块的测量值I稳定至I0，则抓取完成，不再调整机械爪的输出力大小；
(b)若红外探测模块的测量值I稳定至I0，而薄膜压力传感器的测量值F小于F0，则在薄膜压力传感器的测量值F达到设定值F0前，抓手已夹紧目标物，此时无需再增大机械爪的输出力；
(c)若薄膜压力传感器的测量值F稳定至F0，而红外探测模块的测量值I高于I0，则以红外探测模块的测量值I为主控变量，薄膜压力传感器的测量值F为副控变量，构成串级回路，以红外探测模块的测量值I改变薄膜压力传感器的压力设定值F0的大小；机械爪输出力F随之变化，逐渐逼近设定值F0。
6.根据权利要求5所述的用于智能产线的多模态力控无损抓取装置，其特征在于，步骤(1)包括：
(1-i)对采集的RGB图像进行滤波除噪，将除噪后的RGB图像转换为HSV格式图像；
(1-ii)对H图层按顺序进行直方图均衡处理、二值化与膨胀，在处理后的H图层上提取目标物的轮廓与像素区域；
(1-iii)在目标物的像素区域内提取大小、周长、弧度、RGB平均像素值作为特征，输入神经网络分类器YOLO处理，判断目标物类型是否已知。
7.根据权利要求5所述的用于智能产线的多模态力控无损抓取装置，其特征在于，步骤(2)中包括：
(2-i)数据库中含有目标物集合A及其对应初始设定力集合F0；
(2-ii)若目标物类型已知，则从数据库中直接获取目标物的初始设定力F0＝net{img}和控制器比例系数；
(2-iii)若目标物类型未知，则以1～2mm/s的速度驱动指爪，使二指机械爪逐渐夹住目标物，过程中获取薄膜压力传感器的电流变化时序数据xn，根据此电流变化时序数据推测初始设定力F0大小；并根据电流变化响应曲线，进行系统辨识，利用一节惯性环节进行拟合，获得传递函数：
其中，I(s)为薄膜压力传感器输出电流的拉氏变换；V(s)为电机速度的拉氏变化；s为复变量；求得参数Km、Tm，进而求得控制器比例系数
8.根据权利要求5所述的用于智能产线的多模态力控无损抓取装置，其特征在于，步骤(4)包括：薄膜压力传感器的测量值F和红外探测模块的测量值I中，其中之一稳定至设定值后，开始进行判断：
(i)F<F0,I>I0时，F0不变；
(ii)F<F0,I<＝I0时，令F0＝F；
(iii)F>＝F0,I>I0时，调节初设设定力F0，令F0＝F0+K·(I-I0)。
9.根据权利要求8所述的用于智能产线的多模态力控无损抓取装置，其特征在于，K＝0.1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110765718.XA CN113618709B (zh) | 2021-07-07 | 2021-07-07 | 一种用于智能产线的多模态力控无损抓取装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110765718.XA CN113618709B (zh) | 2021-07-07 | 2021-07-07 | 一种用于智能产线的多模态力控无损抓取装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113618709A true CN113618709A (zh) | 2021-11-09 |
| CN113618709B CN113618709B (zh) | 2023-12-29 |
Family
ID=78379180
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110765718.XA Active CN113618709B (zh) | 2021-07-07 | 2021-07-07 | 一种用于智能产线的多模态力控无损抓取装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113618709B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114229451A (zh) * | 2021-12-30 | 2022-03-25 | 宁波智能成型技术创新中心有限公司 | 一种基于多轴力和力矩的智能抓取防掉落检测调控方法 |
| TWI811867B (zh) * | 2021-11-26 | 2023-08-11 | 台達電子工業股份有限公司 | 基於超音波識別的物體拾取系統及其方法 |
| CN117549338A (zh) * | 2024-01-09 | 2024-02-13 | 北京李尔现代坦迪斯汽车系统有限公司 | 一种用于汽车坐垫生产车间的抓取机器人 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140156066A1 (en) * | 2012-11-30 | 2014-06-05 | Fanuc Corporation | Electric hand with a force sensor |
| DE102015013595A1 (de) * | 2015-10-21 | 2016-04-14 | Daimler Ag | Greifvorrichtung zum Bewegen wenigstens eines Bauelements für einen Kraftwagen bei dessen Herstellung |
| CN106945023A (zh) * | 2017-04-19 | 2017-07-14 | 华中农业大学 | 掏膛机械手、臂以及方法 |
| EP3534230A2 (en) * | 2018-03-02 | 2019-09-04 | Hitachi, Ltd. | Robot work system and method of controlling robot work system |
| CN112248001A (zh) * | 2020-09-30 | 2021-01-22 | 湖北工程学院 | 一种机械爪、机械手、补货机器人及补货系统 |
| CN112889479A (zh) * | 2021-02-02 | 2021-06-04 | 佛山科学技术学院 | 一种五自由度果蔬采摘机器人末端执行器及其控制方法 |
| CN112967328A (zh) * | 2021-03-20 | 2021-06-15 | 杭州知存智能科技有限公司 | 图像深度信息局部动态生成方法和装置 |
-
2021
- 2021-07-07 CN CN202110765718.XA patent/CN113618709B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140156066A1 (en) * | 2012-11-30 | 2014-06-05 | Fanuc Corporation | Electric hand with a force sensor |
| DE102015013595A1 (de) * | 2015-10-21 | 2016-04-14 | Daimler Ag | Greifvorrichtung zum Bewegen wenigstens eines Bauelements für einen Kraftwagen bei dessen Herstellung |
| CN106945023A (zh) * | 2017-04-19 | 2017-07-14 | 华中农业大学 | 掏膛机械手、臂以及方法 |
| EP3534230A2 (en) * | 2018-03-02 | 2019-09-04 | Hitachi, Ltd. | Robot work system and method of controlling robot work system |
| CN112248001A (zh) * | 2020-09-30 | 2021-01-22 | 湖北工程学院 | 一种机械爪、机械手、补货机器人及补货系统 |
| CN112889479A (zh) * | 2021-02-02 | 2021-06-04 | 佛山科学技术学院 | 一种五自由度果蔬采摘机器人末端执行器及其控制方法 |
| CN112967328A (zh) * | 2021-03-20 | 2021-06-15 | 杭州知存智能科技有限公司 | 图像深度信息局部动态生成方法和装置 |
Non-Patent Citations (1)
| Title |
|---|
| 王国庆: "智能机器人视觉和力觉系统在工业中的应用", 《安徽电子信息职业技术学院学报》, pages 27 - 32 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI811867B (zh) * | 2021-11-26 | 2023-08-11 | 台達電子工業股份有限公司 | 基於超音波識別的物體拾取系統及其方法 |
| CN114229451A (zh) * | 2021-12-30 | 2022-03-25 | 宁波智能成型技术创新中心有限公司 | 一种基于多轴力和力矩的智能抓取防掉落检测调控方法 |
| CN117549338A (zh) * | 2024-01-09 | 2024-02-13 | 北京李尔现代坦迪斯汽车系统有限公司 | 一种用于汽车坐垫生产车间的抓取机器人 |
| CN117549338B (zh) * | 2024-01-09 | 2024-03-29 | 北京李尔现代坦迪斯汽车系统有限公司 | 一种用于汽车坐垫生产车间的抓取机器人 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113618709B (zh) | 2023-12-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113618709A (zh) | 一种用于智能产线的多模态力控无损抓取装置 | |
| CN111251295B (zh) | 一种应用于参数化零件的视觉机械臂抓取方法及装置 | |
| CN112010024B (zh) | 一种基于激光和视觉融合检测的货箱自动抓取方法及系统 | |
| CN111347411B (zh) | 基于深度学习的双臂协作机器人三维视觉识别抓取方法 | |
| CN108858193A (zh) | 一种机械臂抓取方法及系统 | |
| CN112509063A (zh) | 一种基于边缘特征匹配的机械臂抓取系统及方法 | |
| CN110969660A (zh) | 一种基于三维立体视觉和点云深度学习的机器人上料系统 | |
| CN115070781B (zh) | 一种物体抓取方法及双机械臂协作系统 | |
| CN116061187B (zh) | 一种复合机器人对货架商品识别、定位和抓取方法 | |
| CN114770461B (zh) | 一种基于单目视觉的移动机器人及其自动抓取方法 | |
| CN113602799B (zh) | 一种航空港行李箱搬运系统及其控制方法 | |
| CN114505869A (zh) | 一种化学试剂智配机控制系统 | |
| CN116079734A (zh) | 一种基于双视觉检测的协作机器人的装配控制系统及方法 | |
| CN114055501A (zh) | 一种机器人抓取系统及其控制方法 | |
| CN113664826A (zh) | 一种未知环境中的机器人抓取方法及系统 | |
| CN117340929A (zh) | 一种基于三维点云数据的柔性夹爪抓取处置装置及方法 | |
| JP2006130580A (ja) | ロボットによる任意形状物体の把持方法 | |
| CN115861780B (zh) | 一种基于yolo-ggcnn的机械臂检测抓取方法 | |
| CN116652971A (zh) | 一种不同刚度物体识别与机械手抓取力控制方法 | |
| Kicki et al. | Robotic manipulation of elongated and elastic objects | |
| Zhao et al. | POSITIONING AND GRABBING TECHNOLOGY OF INDUSTRIAL ROBOT BASED ON VISION. | |
| CN110722591A (zh) | 柔性体的力感知方法、夹爪及机械手 | |
| CN114347028A (zh) | 一种基于rgb-d图像的机器人末端智能抓取方法 | |
| KR101198920B1 (ko) | 로보틱 그래스퍼 장치 및 제어 방법 | |
| CN112058679A (zh) | 基于阻抗控制的柔软农产品机器人抓取分拣方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |