CN106126219B - 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 - Google Patents

一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 Download PDF

Info

Publication number
CN106126219B
CN106126219B CN201610446169.9A CN201610446169A CN106126219B CN 106126219 B CN106126219 B CN 106126219B CN 201610446169 A CN201610446169 A CN 201610446169A CN 106126219 B CN106126219 B CN 106126219B
Authority
CN
China
Prior art keywords
component
natural language
manipulator
fittage
target assembly
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610446169.9A
Other languages
English (en)
Other versions
CN106126219A (zh
Inventor
包加桐
程宇
唐鸿儒
宋爱国
洪泽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yangzhou University
Original Assignee
Yangzhou University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yangzhou University filed Critical Yangzhou University
Priority to CN201610446169.9A priority Critical patent/CN106126219B/zh
Publication of CN106126219A publication Critical patent/CN106126219A/zh
Application granted granted Critical
Publication of CN106126219B publication Critical patent/CN106126219B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/20—Software design
    • G06F8/22—Procedural

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Manipulator (AREA)
  • Image Analysis (AREA)

Abstract

一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，属于与机械手相关的任务编程、自然语言处理、计算机等技术领域，用户通过自然语言描述机械手装配任务中各个部件的装配关系，经自然语言处理后，生成目标装配关系矩阵；机械手通过视觉摄像头进行部件检测，分割和识别分散在平面上的各个部件，与自然语言中提及的部件进行关联；针对目标装配关系矩阵，经相关的矩阵运算将装配任务分解为具有一定时序关系的子任务，在每个子任务中确定待装配的部件及其与已装配部件的目标装配关系；机械手根据分解后的各个子任务的时序，在基于视觉的装配定位与抓取辅助下，依次完成部件的装配。

Description

一种基于目标装配关系自然语言描述的机械手装配任务自主 编程方法
技术领域
本发明属于与机械手相关的任务编程、自然语言处理、计算机等技术领域，涉及一种采用自然语言的机械手装配任务编程方法，特别是一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法。
背景技术
机器人正在快速融入人们的日常生活与工作，机器人利用机械手帮助人们自主地完成物体搬运、装配等任务。然而，现有技术的机械手的自主功能主要面向特定的应用场景，功能相对固定。当任务发生变化时，需要专业的编程人员对机械手进行离线的编程或配置，广泛采用手工引导、示教器、专用的机器人编程语言、图形化编程工具等方式。这些编程方法比较耗时、成本高。利用自然语言对机器人进行任务编程是一种直观高效的方式，用户无需掌握编程知识，即可利用自然语言描述机器人操作任务，完成任务在线编程。然而，现有的采用自然语言的机器人任务编程方法，都严重依赖用户根据机器人的动作能力把新的任务人工分解成动作序列，并通过自然语言传达动作序列交由机器人执行。对没有接受过训练的普通用户而言，无疑增加了负担，人机交互体验的自然与舒适度大大降低。
发明内容
为克服现有技术中的缺陷，本发明提出一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，可让不具备任何编程知识的普通使用者仅通过自己习惯的自然语言表达方式描述新的装配任务中各个部件的装配关系，就可以完成新的机械手装配任务的编程，机械手能自主完成该任务的执行。
本发明的技术方案是：一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，其特征在于，包括如下步骤：
(1)用户通过自然语言描述机械手装配任务中各个部件的装配关系，经自然语言处理后，生成目标装配关系矩阵；
(2)机械手通过视觉摄像头进行部件检测，分割和识别分散在平面上的各个部件，与自然语言中提及的部件进行关联；
(3)针对目标装配关系矩阵，经相关的矩阵运算将装配任务分解为具有一定时序关系的子任务，在每个子任务中确定待装配的部件及其与已装配部件的目标装配关系；
(4)机械手根据分解后的各个子任务的时序，在基于视觉的装配定位与抓取辅助下，依次完成部件的装配。
步骤(1)中所述目标装配关系矩阵是一个N×N的方阵，记为GARMN×N，该方阵由自然语言处理模块直接生成，方阵中元素的取值直接体现自然语言语句中所描述部件之间的关系，部件由自然语言处理模块自动从自然数1开始编号，方阵中的第i行第j列的元素定义为：
步骤(1)中所述自然语言处理是指利用斯坦福解析器对自然语言文本进行解析，生成语法成分依赖关系树，在结合机械手关于部件关系的先验知识的基础上，输出部件引用表达和部件关系表达；部件引用表达中实现了对所描述部件的自然数编号；将部件关系表达，按照公式(1)填充至目标装配矩阵。
步骤(2)中所述部件检测是指利用视觉摄像头采用视觉检测算法分割出分散在某一平面上的各个部件，识别各个部件的属性，包括名称、颜色和形状，并与自然语言中已经编号的物体进行关联，确定视觉检测部件的编号，能够根据目标装配关系计算待装配部件的目标装配位姿和抓取位姿。
步骤(3)中所述的矩阵运算，一方面指利用部件之间关系的对称性、传递性更新GARM，对称性与传递性准则分别由公式(2)和公式(3)给出；其中，将经对称性准则更新后的GARM保存为SGARM；
[GARM]ij＝-[GARM]ji,if|[GARM]ij|＞1 (2)
[GARM]ik＝r,if[GARM]ij＝r且[GARM]jk＝r (3)
另一方面，指利用公式(4)和公式(5)来计算部件装配的优先级；利用公式(4)消除左右、前后等装配关系对装配优先级的影响，得到中间矩阵WARM；利用公式(5)对矩阵进行按列求和运算，得到一个行向量Indicator，其中sum(GARM,1)表示对矩阵GARM的第1维进行求和运算。该行向量中每个元素所在的列号代表部件的编号，元素的取值越大代表装配该部件的优先级越高；通过对该行向量中元素进行降序排序，从而确定各个部件的装配时序；
Indicator＝sum(WARM,1) (5)
步骤(3)中所述装配任务分解是指根据确定的各个部件的装配时序，将整个装配任务分解为具有此时序关系的子任务，每个子任务中指明待装配的某个部件i，以及该部件的目标装配关系集合，该部件的目标装配关系通过查询上述矩阵SGARM中第i行的元素得到；装配任务分解后，机械手利用上述部件检测模块在基于视觉的装配定位与抓取辅助下，依次执行各个子任务，完成自然语言任务编程方式下的自主装配过程。
本发明的有益效果为：本发明提出的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，工作原理清晰，与现有技术相比，本发明具有以下优点：
(1)本发明中用户仅需通过自然语言描述新的装配任务中各个部件的目标装配关系，实现了传统自然语言编程方法的创新。传统方法中，用户需要通过自然语言描述出详细的装配步骤供机械手学习与执行，要求用户能够手工分解装配任务且对机械手的动作能力有清楚的了解，因此对用户的知识技能有较高的要求。而本发明方法中，只要求用户使用自然语言描述出装配任务中各部件的目标配置状态，没有其它知识技能的要求。
(2)本发明中采用基于装配关系矩阵运算的解析方法，实现了新的装配任务的表示与自动分解，机械手无需学习，就能自主执行用户描述的新的装配任务。
附图说明
图1为本发明的工作原理框图。
图2为本发明实施例中待装配的4个部件示意图。
图3为本发明实施例中房子造型装配任务示意图。
图4为本发明实施例中部件检测模块的检测与识别结果示意图。
图5为本发明方法的工作流程图。
具体实施方式
下面结合附图对本发明作进一步说明：
如图1所示，一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，用户利用自然语言文本描述新的装配任务中各个部件的目标装配关系，经自然语言处理后，输出部件引用表达和部件关系表达；机械手利用视觉摄像头对当前场景进行部件检测，识别实际检测到的部件的属性，可以根据目标装配关系计算待装配部件的目标装配位姿和抓取位姿；部件关联模块将实际检测到的各个部件与自然语言中所述的已经编号的部件进行关联，完成实际部件的编号；部件关系表达送入目标装配关系矩阵生成模块，输出目标装配关系矩阵至装配任务分解模块，进行相关的矩阵运算后，将整个装配任务分解为具有一定时序关系的子任务，每个子任务中指明待装配的某个部件以及该部件与已装配部件的目标装配关系集合；机械手根据分解后的各个子任务的时序，在基于视觉的装配定位与抓取辅助下，依次完成部件的装配。
如图2-4所示，一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，图2所示桌面上摆有4个不同颜色和形状的积木块，代表待装配的4个部件。新的装配任务是将4个部件装配成如图3所示的房子造型。图4是部件检测模块的检测与识别结果。假定该装配任务中，用户描述目标装配关系的自然语言文本为“黄色木块和蓝色木块在绿色木块的上面。黄色木块在蓝色木块的右侧。红色木块在黄色和蓝色木块的上面”。机械手应能根据该自然语言文本自主地完成该装配任务。
如图5所示，首先将图2-4示例中的自然语言文本逐句地送入斯坦福解析器进行处理，生成语法成分依赖关系树，结合机械手关于部件关系的先验知识，输出部件引用表达与部件关系表达。如第一句“黄色木块和蓝色木块在绿色木块的上面”处理后，输出所描述部件的引用表达：1(绿色(木块))，2(黄色(木块))，3(蓝色(木块))，以及部件关系的表达：On(2,1)∧On(3,1)。其中绿色木块被自动编号为1，黄色木块和蓝色木块被依次编号为2和3，On表示部件关系。第二句的处理结果为Right(2,3)，其中未输出新的部件引用表达。第三句的处理结果为4(红色(木块))，On(4,2)∧On(4,3)。其中红色木块被编号为4。当所有语句处理完成后，按公式(1)生成目标装配关系矩阵
机械手利用视觉摄像头对当前场景进行部件检测。首先检测出摆放部件的平面，然后保留平面上方的三维点云，将在欧氏距离空间中相邻的点集，分割为一个独立的部件，最终得到分散在平面上的各个部件，进一步识别各个部件的属性(如名称、颜色、形状等)。检测与识别结果如图4所示。然后，根据实际部件的属性以及部件引用表达，将实际部件与自然语言中所述的已经编号的部件进行关联，完成实际部件的对应编号。
接着，按公式(2)更新GARM，得到并保存为SARM。按公式(3)更新GARM，得到进一步，经公式(4)和公式(5)计算后，得到Indicator＝[6 0 0 -6]。该行向量中每个元素所在的列号代表部件的编号，元素的取值越大代表装配该部件的优先级越高，因此，各个部件的装配优先级为1→2→3→4或1→3→2→4。然后，按照待装配部件的优化级生成装配子任务时序，包括4个装配子任务，每个子任务中指明待装配的部件分别为部件1、部件2、部件3和部件4，对每个待装配部件从SARM中获取该部件与已装配部件的目标装配关系，如子任务3中待装配部件3与已装配部件1和2的目标装配关系取值是2与4。接着，机械手依次执行各个装配子任务，在执行装配子任务过程中，请求部件检测模块根据目标装配关系计算待装配部件的目标装配位姿和抓取位姿，在基于视觉的装配定位与抓取辅助下最终完成整个装配任务的执行。

Claims (6)

1.一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，其特征在于，包括如下步骤：
(1)用户通过自然语言描述机械手装配任务中各个部件的装配关系，经自然语言处理后，生成目标装配关系矩阵；
(2)机械手通过视觉摄像头进行部件检测，分割和识别分散在平面上的各个部件，与自然语言中提及的部件进行关联；
(3)针对目标装配关系矩阵，经相关的矩阵运算将装配任务分解为具有一定时序关系的子任务，在每个子任务中确定待装配的部件及其与已装配部件的目标装配关系；
(4)机械手根据分解后的各个子任务的时序，在基于视觉的装配定位与抓取辅助下，依次完成部件的装配。
2.根据权利要求1所述的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，其特征在于：步骤(1)中所述目标装配关系矩阵是一个N×N的方阵，记为GARMN×N，该方阵由自然语言处理模块直接生成，方阵中元素的取值直接体现自然语言语句中所描述部件之间的关系，部件由自然语言处理模块自动从自然数1开始编号，方阵中的第i行第j列的元素定义为：
。
3.根据权利要求1所述的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，其特征在于：步骤(1)中所述自然语言处理是指利用斯坦福解析器对自然语言文本进行解析，生成语法成分依赖关系树，在结合机械手关于部件关系的先验知识的基础上，输出部件引用表达和部件关系表达；部件引用表达中实现了对所描述部件的自然数编号；将部件关系表达，按照公式(1)填充至目标装配关系矩阵。
4.根据权利要求1所述的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，其特征在于：步骤(2)中所述部件检测是指利用视觉摄像头采用视觉检测算法分割出分散在某一平面上的各个部件，识别各个部件的属性，包括名称、颜色和形状，并与自然语言中已经编号的物体进行关联，确定视觉检测部件的编号，能够根据目标装配关系计算待装配部件的目标装配位姿和抓取位姿。
5.根据权利要求2所述的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，其特征在于：步骤(3)中所述的矩阵运算，一方面指利用部件之间关系的对称性、传递性更新GARM，对称性与传递性准则分别由公式(2)和公式(3)给出；其中，将经对称性准则更新后的GARM保存为SGARM；
[GARM]ij＝-[GARM]ji,if|[GARM]ij|＞1 (2)
[GARM]ik＝r,if[GARM]ij＝r且[GARM]jk＝r (3)
另一方面，指利用公式(4)和公式(5)来计算部件装配的优先级；利用公式(4)消除左右、前后等装配关系对装配优先级的影响，得到中间矩阵WARM；利用公式(5)对矩阵进行按列求和运算，得到一个行向量Indicator，其中sum(WARM,1)表示对矩阵WARM的第1维进行求和运算，该行向量中每个元素所在的列号代表部件的编号，元素的取值越大代表装配该部件的优先级越高；通过对该行向量中元素进行降序排序，从而确定各个部件的装配时序；
Indicator＝sum(WARM,1) (5)。
6.根据权利要求5所述的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法，其特征在于：步骤(3)中所述装配任务分解是指根据确定的各个部件的装配时序，将整个装配任务分解为具有此时序关系的子任务，每个子任务中指明待装配的某个部件i，以及该部件的目标装配关系集合，该部件的目标装配关系通过查询上述矩阵SGARM中第i行的元素得到；装配任务分解后，机械手利用部件检测模块在基于视觉的装配定位与抓取辅助下，依次执行各个子任务，完成自然语言任务编程方式下的自主装配过程。
CN201610446169.9A 2016-06-20 2016-06-20 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 Active CN106126219B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610446169.9A CN106126219B (zh) 2016-06-20 2016-06-20 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610446169.9A CN106126219B (zh) 2016-06-20 2016-06-20 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法

Publications (2)

Publication Number Publication Date
CN106126219A CN106126219A (zh) 2016-11-16
CN106126219B true CN106126219B (zh) 2019-05-03

Family

ID=57470062

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610446169.9A Active CN106126219B (zh) 2016-06-20 2016-06-20 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法

Country Status (1)

Country Link
CN (1) CN106126219B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107570430B (zh) * 2017-10-26 2018-07-31 中国人民解放军国防科技大学 机械装备维修过程中基于智能机器人的零部件分拣方法
CN108647192B (zh) * 2018-03-27 2022-04-12 常熟鑫沐奇宝软件开发有限公司 一种用自然语言处理技术生成虚拟现实工作脚本的方法
CN112621765B (zh) * 2021-03-09 2021-06-01 佛山隆深机器人有限公司 一种基于机械手的设备自动组装控制方法及装置
CN113742458B (zh) * 2021-09-18 2023-04-25 苏州大学 一种面向机械臂抓取的自然语言指令消歧方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101414179A (zh) * 2008-11-20 2009-04-22 上海交通大学 人机交互的装配工艺规划系统
CN102129494A (zh) * 2011-03-04 2011-07-20 华中科技大学 基于工程联接关系的产品装配表示方法
US20130311082A1 (en) * 2006-03-31 2013-11-21 Volkswagen Ag Navigation System for a Motor Vehicle
CN104778872A (zh) * 2015-04-03 2015-07-15 上海交通大学 用于机械臂遥操作人机交互研究的仿真实验训练平台
CN105243434A (zh) * 2015-09-16 2016-01-13 西安工业大学 一种装配序列规划的方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130311082A1 (en) * 2006-03-31 2013-11-21 Volkswagen Ag Navigation System for a Motor Vehicle
CN101414179A (zh) * 2008-11-20 2009-04-22 上海交通大学 人机交互的装配工艺规划系统
CN102129494A (zh) * 2011-03-04 2011-07-20 华中科技大学 基于工程联接关系的产品装配表示方法
CN104778872A (zh) * 2015-04-03 2015-07-15 上海交通大学 用于机械臂遥操作人机交互研究的仿真实验训练平台
CN105243434A (zh) * 2015-09-16 2016-01-13 西安工业大学 一种装配序列规划的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
一种制造物联网环境下的机械产品装配过程运行管理方法;刘明周;《中国机械工程》;20150821(第16期);全文 *

Also Published As

Publication number Publication date
CN106126219A (zh) 2016-11-16

Similar Documents

Publication Publication Date Title
CN106126219B (zh) 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法
Duque et al. Trajectory generation for robotic assembly operations using learning by demonstration
CN106125925B (zh) 基于手势和语音控制的智能抓捕方法
US11170220B2 (en) Delegation of object and pose detection
US11969893B2 (en) Automated personalized feedback for interactive learning applications
CN107150347A (zh) 基于人机协作的机器人感知与理解方法
KR20190102971A (ko) 건축 도면 분석 방법 및 장치
CN109159113A (zh) 一种基于视觉推理的机器人作业方法
Maurtua et al. Enhancing safe human-robot collaboration through natural multimodal communication
Hak et al. Reverse control for humanoid robot task recognition
Pazienza et al. A novel integrated industrial approach with cobots in the age of industry 4.0 through conversational interaction and computer vision
Yan et al. Robotic understanding of spatial relationships using neural-logic learning
Behrens et al. Specifying dual-arm robot planning problems through natural language and demonstration
Castaman et al. RUR53: an unmanned ground vehicle for navigation, recognition, and manipulation
US20210370513A1 (en) Method and system for robotic assembly
Nguyen et al. ErgoAssist: An assistance system to maintain ergonomie guidelines at workplaces
Dai et al. Think, act, and ask: Open-world interactive personalized robot navigation
Grahn et al. Safety assessment strategy for collaborative robot installations
Grotz et al. Graph-based visual semantic perception for humanoid robots
CN109382834A (zh) 智能机器人
Yildiz et al. Learning guided symbolic planning for cognitive robots
Ekrekli et al. Co-speech gestures for human-robot collaboration
Sariel et al. Robust task execution through experience-based guidance for cognitive robots
Coupeté et al. Recognition of technical gestures for human-robot collaboration in factories
CN107037740B (zh) 一种虚拟维修仿真自动化生成方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant