CN111645072A - 一种基于多模字典控制策略的机器人缝制方法及系统 - Google Patents

一种基于多模字典控制策略的机器人缝制方法及系统 Download PDF

Info

Publication number
CN111645072A
CN111645072A CN202010454636.9A CN202010454636A CN111645072A CN 111645072 A CN111645072 A CN 111645072A CN 202010454636 A CN202010454636 A CN 202010454636A CN 111645072 A CN111645072 A CN 111645072A
Authority
CN
China
Prior art keywords
fabric
sewing
characteristic
vector
state
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010454636.9A
Other languages
English (en)
Other versions
CN111645072B (zh
Inventor
宋锐
付天宇
李凤鸣
李贻斌
田新诚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010454636.9A priority Critical patent/CN111645072B/zh
Publication of CN111645072A publication Critical patent/CN111645072A/zh
Application granted granted Critical
Publication of CN111645072B publication Critical patent/CN111645072B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1602Programme controls characterised by the control system, structure, architecture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Sewing Machines And Sewing (AREA)
  • Manipulator (AREA)

Abstract

本发明公开了一种基于多模字典控制策略的机器人缝制方法及系统,包括:获取待缝制织物的当前织物状态图像以及织物张力信息;基于获取到的信息,分别提取织物图像特征向量和张力特征向量;将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂关节角度;机械臂按照所述关节角度,控制末端执行机构操作织物,使得织物处于平整状态。本发明能够解决缝制过程中织物皱缩和形变导致机械臂缝制操作不确定问题。

Description

一种基于多模字典控制策略的机器人缝制方法及系统
技术领域
本发明涉及工业机器人技术领域,尤其涉及一种基于多模字典控制策略的机器人缝制方法及系统。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。
在服装加工过程中,由于织物本身材料各项异性以及非均匀性,织物具有较低的抗形变能力,在缝制过程中会出现褶皱和形变问题。现有工业机器人操作刚性物体能力已经相对成熟,但是针对柔软易形变的织物操作还处于研究阶段,织物形变的不可控使得缝制过程中机器人的抓取、移动、释放等存在困难。
发明人发现,现有机器人针对织物等形变物体的操作方法大多为基于对织物的几何建模,建立织物的物理模型,使用预先设计的操作动作,这些基于模型的方法需要织物精确的材料特性,一般很难实现。
发明内容
有鉴于此,本发明提出了一种基于多模字典控制策略的机器人缝制方法及系统,在字典学习的框架下,结合力、图像等多模信息,实现机器人在缝制过程中能够防止织物形变,提高机器人操作柔性物体的能力。
为了实现上述目的,在一些实施方式中,采用如下技术方案:
一种基于多模字典控制策略的机器人缝制方法,包括:
获取待缝制织物的当前织物状态图像以及织物张力信息;
基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;
将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂关节角度(θ12...θn);
机械臂按照所述关节角度(θ12...θn),控制末端执行机构操作织物,使得织物处于平整状态。
在另一些实施方式中,采用如下技术方案:
一种基于多模字典控制策略的机器人缝制系统,包括:
信息获取模块,用于获取待缝制织物的当前织物状态图像以及织物张力信息;
特征提取模块,用于基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
特征融合模块,用于将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;
机械臂角度控制模块,用于将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂各关节角度(θ12...θn)至机器人控制器,以控制机械臂各关节的角度;
动作执行模块,用于根据机械臂各关节角度(θ12...θn)控制机械臂末端执行机构操作织物,使得织物处于平整状态。
在另一些实施方式中,采用如下技术方案:
一种机器人控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行上述的基于多模字典控制策略的机器人缝制方法。
在另一些实施方式中,采用如下技术方案:
一种机器人,采用上述的基于多模字典控制策略的机器人缝制方法,实现对织物的缝制。
与现有技术相比,本发明的有益效果是:
本发明提供了解决机器人操作柔性形变物体的方案;机器人通过学习掌握缝制过程中防止织物形变的操作技能,可以自适应缝制环境的变化,解决缝制过程中织物皱缩和形变导致机械臂缝制操作不确定问题。
本发明结合视觉与力觉信息,将图像与张力信息融合判断织物缝制过程中形变,更加准确全面。
本发明的附加方面的优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
图1为本发明实施例中基于多模字典控制策略的机器人缝制过程示意图;
图2为本发明实施例中织物缝制状态特征信息融合过程示意图;
图3为本发明实施例中字典集训练与机械臂关节角度输出示意图;
图4为本发明实施例中基于多模字典控制策略的机器人缝制系统示意图。
具体实施方式
应该指出,以下详细说明都是例示性的,旨在对本申请提供进一步的说明。除非另有指明,本发明使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是,这里所使用的术语仅是为了描述具体实施方式,而非意图限制根据本申请的示例性实施方式。如在这里所使用的,除非上下文另外明确指出,否则单数形式也意图包括复数形式,此外,还应当理解的是,当在本说明书中使用术语“包含”和/或“包括”时,其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
在不冲突的情况下,本发明中的实施例及实施例中的特征可以相互组合。
实施例一
在一个或多个实施方式中,公开了一种基于多模字典控制策略的机器人缝制方法,具体包括如下过程:
步骤(1):获取待缝制织物的当前织物状态图像以及织物张力信息;
具体地,借助RGB-D深度相机实时采集当前缝制织物状态图像I,机械臂末端六维力传感器采集当前状态织物张力F,其中,织物张力F具体包括:织物张力的力与力矩。
步骤(2):基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
具体地,参照图2,提取织物图像特征向量s(I)的过程包括:
(2-1)利用相机采集彩色图像,通过高斯混合模型分割出图像的织物部分;
(2-2)对分割后的图像进行Gabor滤波,提取出织物中的褶皱纹理图像;
(2-2)将提取的褶皱纹理图像进行离散化形成直方图网格;
(2-2)将直方图网格打散为特征列向量s(I)。
提取织物张力特征向量s(F)的过程包括:
利用六维力传感器采集织物张力信息,包括力与力矩,采用高斯滤波进行预处理,得到织物张力特征向量s(F)。
步骤(3):将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;具体过程包括:
参照图2,采用单分类器融合算法,将滤波后的张力特征列向量s(F)叠加到图像特征列向量s(I),形成缝制状态特征列向量s(I,F)。
步骤(4):将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂关节角度;
具体地,参照图3,对于过完备字典集D的训练过程包括:
收集物当前缝制状态特征列向量s(I,F)、当前缝制状态对应的机械臂各关节角度θ以及目标缝制状态对应的机械臂各关节角度θ′,作为训练库的一个样本x。收集多组样本,构成训练样本集X={x1,x2,...xm}∈Rn×m,其中n和m表示训练样本的维数与个数。
利用模型
Figure BDA0002508897140000051
计算字典D,其中X={x1,x2,...xm}∈Rn×m是训练样本集,
Figure BDA0002508897140000052
为稀疏表示稀疏矩阵,
Figure BDA0002508897140000053
为重构残差,λ为约束项因子,Φ(α)为约束项。
执行以下步骤直到达到迭代次数限制:
(4-1)稀疏编码阶段:先固定D,计算编码系数矩阵A:
Figure BDA0002508897140000054
(4-2)字典更新过程:固定系数矩阵A,利用最优方向法MOD(Method of OptimalDirection)算法,在最小化残差的情况下,计算字典D:
Figure BDA0002508897140000055
最终得到训练好的过完备字典集D。
将当前缝制状态特征列向量s(I,F)输入训练好的动作字典集D,得到机械臂目标动作稀疏表示矩阵A;
将max||A||1作为机械臂接下来的关节动作角度。
步骤(5):机械臂根据前文所述输出的各关节角度(θ12...θ6),通过关节控制方式,控制机械臂运动。
采用关节控制的方式进行机械臂织物缝制操作的动作调整;
判断织物状态是否平整,若是,则启动缝制设备继续进行缝制;若否,返回步骤(1),重复步骤(1)-步骤(5)的过程,直到判断织物状态为平整。
具体地,通过当前缝制状态特征列向量s(I,F),与织物平整状态下的缝制状态特征列向量s′(I,F)夹角的余弦值C度量两个向量的相似度,其中
Figure BDA0002508897140000061
从而判断所述织物是否平整,如果|C|≥0.9,则认为织物平整。
实施例二
在一个或多个实施方式中,公开了一种基于多模字典控制策略的机器人缝制系统,具体包括:
信息获取模块,用于获取待缝制织物的当前织物状态图像以及织物张力信息;
特征提取模块,用于基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
特征融合模块,用于将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;
机械臂角度控制模块,用于将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂各关节角度(θ12...θ6)至机器人控制器,以控制机械臂各关节的角度;
动作执行模块,用于根据机械臂各关节角度(θ12...θ6)控制机械臂末端执行机构操作织物,使得织物处于平整状态。
具体地,参照图4,信息获取模块包括:图像检测单元和张力检测单元,其中,图像检测单元借助RGB-D深度相机实时采集缝制织物图像信息,张力检测单元利用六维力传感器实时获得缝制过程中织物张力的力与力矩。
特征融合模块将织物图像状态信息与织物张力状态信息进行融合处理,输出各关节角度到机械臂模块,进而带动末端执行器动作,结合缝制设备的送布牙动作,协同操作织物,从而保持织物缝制紧绷平整状态。
实施例三
在一个或多个实施方式中,公开了一种机器人控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,所述指令适于由处理器加载并执行实施例一中的基于多模字典控制策略的机器人缝制方法,为了简洁,不再赘述。
本领域普通技术人员可以意识到,结合本实施例描述的各示例的单元即算法步骤,能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
在另外一些实施方式中,公开了一种机器人,该机器人采用实施例一中所述的基于多模字典控制策略的机器人缝制方法,实现对织物的缝制。
上述虽然结合附图对本发明的具体实施方式进行了描述,但并非对本发明保护范围的限制,所属领域技术人员应该明白,在本发明的技术方案的基础上,本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (10)

1.一种基于多模字典控制策略的机器人缝制方法,其特征在于,包括:
获取待缝制织物的当前织物状态图像以及织物张力信息;
基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;
将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂各关节角度(θ12...θn);
机械臂按照所述关节角度(θ12...θn),控制末端执行机构操作织物,使得织物处于平整状态。
2.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,还包括:
通过当前缝制状态特征列向量,与织物平整状态下的缝制状态特征列向量夹角的余弦值,度量两个向量的相似度,判断所述织物是否平整;如果是,则认为织物平整,启动缝制设备进行缝制;否则,重复权利要求1的过程。
3.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,提取织物图像特征向量的过程包括:
通过高斯混合模型分割当前织物状态图像,提取包含织物部分的图像;
对分割提取后的图像进行滤波,提取织物中的褶皱纹理图像;
将提取的褶皱纹理图像离散成直方图网格;
将所述直方图网格打散为织物图像特征向量。
4.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,提取织物张力特征向量的过程包括:
利用六维力传感器采集织物张力信息,包括力与力矩,采用高斯滤波进行预处理,得到织物张力特征向量。
5.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,将所述织物图像特征向量和张力特征向量进行融合的过程,具体包括:
采用单分类器融合算法,将滤波后的张力特征列向量叠加到图像特征列向量,形成缝制状态特征列向量。
6.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,对于过完备字典集的训练过程,具体包括:
获取多组包含缝制状态特征列向量,当前缝制状态对应的机械臂各关节角度,以及目标缝制状态对应的机械臂各关节角度的样本数据,构成训练样本集X;
利用模型
Figure FDA0002508897130000021
计算过完备字典集D;其中,
Figure FDA0002508897130000022
为重构残差,λ为约束项因子,Φ(α)为约束项;
执行以下步骤直到达到迭代次数限制:
固定过完备字典集D,计算编码系数矩阵A;
固定系数矩阵A,利用最优方向算法,在最小化残差的情况下,计算过完备字典集D。
7.如权利要求1所述的一种基于多模字典控制策略的机器人缝制方法,其特征在于,输出机械臂关节角度的过程,包括:
将当前缝制状态特征列向量输入训练好的动作字典集D,得到机械臂目标动作稀疏表示矩阵A;
将max||A||1作为机械臂接下来的关节动作角度。
8.一种基于多模字典控制策略的机器人缝制系统,其特征在于,包括:
信息获取模块,用于获取待缝制织物的当前织物状态图像以及织物张力信息;
特征提取模块,用于基于获取到的信息,分别提取织物图像特征向量和张力特征向量;
特征融合模块,用于将所述织物图像特征向量和张力特征向量进行融合,得到缝制状态特征列向量;
机械臂角度控制模块,用于将所述缝制状态特征列向量作为字典索引字输入已经训练好的过完备字典集中,输出机械臂各关节角度(θ12...θn)至机器人控制器,以控制机械臂各关节的角度;
动作执行模块,用于根据机械臂各关节角度(θ12...θn)控制机械臂末端执行机构操作织物,使得织物处于平整状态。
9.一种机器人控制器,其包括处理器和计算机可读存储介质,处理器用于实现各指令;计算机可读存储介质用于存储多条指令,其特征在于,所述指令适于由处理器加载并执行权利要求1-7任一项所述的基于多模字典控制策略的机器人缝制方法。
10.一种机器人,其特征在于,采用权利要求1-7任一项所述的基于多模字典控制策略的机器人缝制方法,实现对织物的缝制。
CN202010454636.9A 2020-05-26 2020-05-26 一种基于多模字典控制策略的机器人缝制方法及系统 Active CN111645072B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010454636.9A CN111645072B (zh) 2020-05-26 2020-05-26 一种基于多模字典控制策略的机器人缝制方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010454636.9A CN111645072B (zh) 2020-05-26 2020-05-26 一种基于多模字典控制策略的机器人缝制方法及系统

Publications (2)

Publication Number Publication Date
CN111645072A true CN111645072A (zh) 2020-09-11
CN111645072B CN111645072B (zh) 2021-09-24

Family

ID=72352286

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010454636.9A Active CN111645072B (zh) 2020-05-26 2020-05-26 一种基于多模字典控制策略的机器人缝制方法及系统

Country Status (1)

Country Link
CN (1) CN111645072B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257655A (zh) * 2020-11-09 2021-01-22 西安工程大学 一种机器人识别人体缝纫动作的方法
CN113151989A (zh) * 2021-04-19 2021-07-23 山东大学 布料处理方法、系统及缝制机器人
CN114723831A (zh) * 2022-03-25 2022-07-08 山东大学 基于启发式的机器人柔性织物展平方法及系统
WO2024077436A1 (en) * 2022-10-10 2024-04-18 Centre For Garment Production Limited Fabric-handling dual-manipulator system with fabric rolling-up end-effectors

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067174A (ja) * 2012-09-25 2014-04-17 Nippon Telegr & Teleph Corp <Ntt> 画像分類装置及び画像識別装置並びにプログラム
CN104616291A (zh) * 2015-01-15 2015-05-13 东华大学 一种基于稀疏编码的织物外观平整度评价方法
CN107943972A (zh) * 2017-11-28 2018-04-20 惠龙易通国际物流股份有限公司 一种智能应答方法及其系统
CN110629493A (zh) * 2018-06-21 2019-12-31 青岛海尔智能技术研发有限公司 一种叠衣机及其控制方法
CN110735236A (zh) * 2019-11-27 2020-01-31 重庆智能机器人研究院 一种机器人缝纫装置
CN110820181A (zh) * 2019-12-10 2020-02-21 北京华美丽服饰有限公司 一种缝纫设备及其使用方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067174A (ja) * 2012-09-25 2014-04-17 Nippon Telegr & Teleph Corp <Ntt> 画像分類装置及び画像識別装置並びにプログラム
CN104616291A (zh) * 2015-01-15 2015-05-13 东华大学 一种基于稀疏编码的织物外观平整度评价方法
CN107943972A (zh) * 2017-11-28 2018-04-20 惠龙易通国际物流股份有限公司 一种智能应答方法及其系统
CN110629493A (zh) * 2018-06-21 2019-12-31 青岛海尔智能技术研发有限公司 一种叠衣机及其控制方法
CN110735236A (zh) * 2019-11-27 2020-01-31 重庆智能机器人研究院 一种机器人缝纫装置
CN110820181A (zh) * 2019-12-10 2020-02-21 北京华美丽服饰有限公司 一种缝纫设备及其使用方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112257655A (zh) * 2020-11-09 2021-01-22 西安工程大学 一种机器人识别人体缝纫动作的方法
CN113151989A (zh) * 2021-04-19 2021-07-23 山东大学 布料处理方法、系统及缝制机器人
CN114723831A (zh) * 2022-03-25 2022-07-08 山东大学 基于启发式的机器人柔性织物展平方法及系统
CN114723831B (zh) * 2022-03-25 2024-08-06 山东大学 基于启发式的机器人柔性织物展平方法及系统
WO2024077436A1 (en) * 2022-10-10 2024-04-18 Centre For Garment Production Limited Fabric-handling dual-manipulator system with fabric rolling-up end-effectors

Also Published As

Publication number Publication date
CN111645072B (zh) 2021-09-24

Similar Documents

Publication Publication Date Title
CN111645072B (zh) 一种基于多模字典控制策略的机器人缝制方法及系统
Romero et al. Monocular real-time 3D articulated hand pose estimation
Lepora et al. Optimal deep learning for robot touch: Training accurate pose models of 3D surfaces and edges
Yu et al. Siamese convolutional neural network for sub-millimeter-accurate camera pose estimation and visual servoing
Cockbum et al. Grasp stability assessment through unsupervised feature learning of tactile images
CN110238840B (zh) 一种基于视觉的机械臂自主抓取方法
CN111695562A (zh) 一种基于卷积神经网络的机器人自主抓取方法
Sutanto et al. Learning latent space dynamics for tactile servoing
CN110942512B (zh) 基于元学习的室内场景重建方法
CN114723831B (zh) 基于启发式的机器人柔性织物展平方法及系统
Mou et al. Pose estimation and robotic insertion tasks based on YOLO and layout features
Zhang et al. Learning Riemannian stable dynamical systems via diffeomorphisms
Takamatsu et al. Recognizing assembly tasks through human demonstration
CN117340929A (zh) 一种基于三维点云数据的柔性夹爪抓取处置装置及方法
CN117381793A (zh) 一种基于深度学习的物料智能检测视觉系统
Kipkosgei et al. Real time object detection using single shot multibox detector network for autonomous robotic arm
CN115187781B (zh) 一种基于语义分割网络的六自由度抓取检测方法
Tian et al. Real-time pose tracking of 3D targets by photo-model-based stereo-vision
Zhang et al. A residual reinforcement learning method for robotic assembly using visual and force information
CN115958595A (zh) 机械臂引导方法、装置、计算机设备和存储介质
Romero et al. Human-to-robot mapping of grasps
Song et al. Tactile–visual fusion based robotic grasp detection method with a reproducible sensor
CN115147899A (zh) 基于标签分布和有监督空间变换网络的头部姿态估计方法
Berry et al. Real time visual servoing around a complex object
Chemelil Single Shot Multi Box Detector Approach to Autonomous Vision-Based Pick and Place Robotic Arm in the Presence of Uncertainties

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant