CN106126219A - 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 - Google Patents
一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 Download PDFInfo
- Publication number
- CN106126219A CN106126219A CN201610446169.9A CN201610446169A CN106126219A CN 106126219 A CN106126219 A CN 106126219A CN 201610446169 A CN201610446169 A CN 201610446169A CN 106126219 A CN106126219 A CN 106126219A
- Authority
- CN
- China
- Prior art keywords
- parts
- natural language
- assembly relation
- fittage
- mechanical hand
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F8/00—Arrangements for software engineering
- G06F8/20—Software design
- G06F8/22—Procedural
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Manipulator (AREA)
- Image Analysis (AREA)
Abstract
一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,属于与机械手相关的任务编程、自然语言处理、计算机等技术领域,用户通过自然语言描述机械手装配任务中各个部件的装配关系,经自然语言处理后,生成目标装配关系矩阵;机械手通过视觉摄像头进行部件检测,分割和识别分散在平面上的各个部件,与自然语言中提及的部件进行关联;针对目标装配关系矩阵,经相关的矩阵运算将装配任务分解为具有一定时序关系的子任务,在每个子任务中确定待装配的部件及其与已装配部件的目标装配关系;机械手根据分解后的各个子任务的时序,在基于视觉的装配定位与抓取辅助下,依次完成部件的装配。
Description
技术领域
本发明属于与机械手相关的任务编程、自然语言处理、计算机等技术领域,涉及一种采用自然语言的机械手装配任务编程方法,特别是一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法。
背景技术
机器人正在快速融入人们的日常生活与工作,机器人利用机械手帮助人们自主地完成物体搬运、装配等任务。然而,现有技术的机械手的自主功能主要面向特定的应用场景,功能相对固定。当任务发生变化时,需要专业的编程人员对机械手进行离线的编程或配置,广泛采用手工引导、示教器、专用的机器人编程语言、图形化编程工具等方式。这些编程方法比较耗时、成本高。利用自然语言对机器人进行任务编程是一种直观高效的方式,用户无需掌握编程知识,即可利用自然语言描述机器人操作任务,完成任务在线编程。然而,现有的采用自然语言的机器人任务编程方法,都严重依赖用户根据机器人的动作能力把新的任务人工分解成动作序列,并通过自然语言传达动作序列交由机器人执行。对没有接受过训练的普通用户而言,无疑增加了负担,人机交互体验的自然与舒适度大大降低。
发明内容
为克服现有技术中的缺陷,本发明提出一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,可让不具备任何编程知识的普通使用者仅通过自己习惯的自然语言表达方式描述新的装配任务中各个部件的装配关系,就可以完成新的机械手装配任务的编程,机械手能自主完成该任务的执行。
本发明的技术方案是:一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,其特征在于,包括如下步骤:
(1)用户通过自然语言描述机械手装配任务中各个部件的装配关系,经自然语言处理后,生成目标装配关系矩阵;
(2)机械手通过视觉摄像头进行部件检测,分割和识别分散在平面上的各个部件,与自然语言中提及的部件进行关联;
(3)针对目标装配关系矩阵,经相关的矩阵运算将装配任务分解为具有一定时序关系的子任务,在每个子任务中确定待装配的部件及其与已装配部件的目标装配关系;
(4)机械手根据分解后的各个子任务的时序,在基于视觉的装配定位与抓取辅助下,依次完成部件的装配。
步骤(1)中所述目标装配关系矩阵是一个N×N的方阵,记为GARMN×N,该方阵由自然语言处理模块直接生成,方阵中元素的取值直接体现自然语言语句中所描述部件之间的关系,部件由自然语言处理模块自动从自然数1开始编号,方阵中的第i行第j列的元素定义为:
步骤(1)中所述自然语言处理是指利用斯坦福解析器对自然语言文本进行解析,生成语法成分依赖关系树,在结合机械手关于部件关系的先验知识的基础上,输出部件引用表达和部件关系表达;部件引用表达中实现了对所描述部件的自然数编号;将部件关系表达,按照公式(1)填充至目标装配矩阵。
步骤(2)中所述部件检测是指利用视觉摄像头采用视觉检测算法分割出分散在某一平面上的各个部件,识别各个部件的属性,包括名称、颜色和形状,并与自然语言中已经编号的物体进行关联,确定视觉检测部件的编号,能够根据目标装配关系计算待装配部件的目标装配位姿和抓取位姿。
步骤(3)中所述的矩阵运算,一方面指利用部件之间关系的对称性、传递性更新GARM,对称性与传递性准则分别由公式(2)和公式(3)给出;其中,将经对称性准则更新后的GARM保存为SGARM;
[GARM]ij=-[GARM]ji,if|[GARM]ij|>1 (2)
[GARM]ik=r,if[GARM]ij=r且[GARM]jk=r (3)
另一方面,指利用公式(4)和公式(5)来计算部件装配的优先级;利用公式(4)消除左右、前后等装配关系对装配优先级的影响,得到中间矩阵WARM;利用公式(5)对矩阵进行按列求和运算,得到一个行向量Indicator,其中sum(GARM,1)表示对矩阵GARM的第1维进行求和运算。该行向量中每个元素所在的列号代表部件的编号,元素的取值越大代表装配该部件的优先级越高;通过对该列向量中元素进行降序排序,从而确定各个部件的装配时序;
Indicator=sum(WARM,1) (5)
步骤(3)中所述装配任务分解是指根据确定的各个部件的装配时序,将整个装配任务分解为具有此时序关系的子任务,每个子任务中指明待装配的某个部件i,以及该部件的目标装配关系集合,该部件的目标装配关系通过查询上述矩阵SGARM中第i行的元素得到;装配任务分解后,机械手利用上述部件检测模块在基于视觉的装配定位与抓取辅助下,依次执行各个子任务,完成自然语言任务编程方式下的自主装配过程。
本发明的有益效果为:本发明提出的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,工作原理清晰,与现有技术相比,本发明具有以下优点:
(1)本发明中用户仅需通过自然语言描述新的装配任务中各个部件的目标装配关系,实现了传统自然语言编程方法的创新。传统方法中,用户需要通过自然语言描述出详细的装配步骤供机械手学习与执行,要求用户能够手工分解装配任务且对机械手的动作能力有清楚的了解,因此对用户的知识技能有较高的要求。而本发明方法中,只要求用户使用自然语言描述出装配任务中各部件的目标配置状态,没有其它知识技能的要求。
(2)本发明中采用基于装配关系矩阵运算的解析方法,实现了新的装配任务的表示与自动分解,机械手无需学习,就能自主执行用户描述的新的装配任务。
附图说明
图1为本发明的工作原理框图。
图2为本发明实施例中待装配的4个部件示意图。
图3为本发明实施例中房子造型装配任务示意图。
图4为本发明实施例中部件检测模块的检测与识别结果示意图。
图5为本发明方法的工作流程图。
具体实施方式
下面结合附图对本发明作进一步说明:
如图1所示,一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,用户利用自然语言文本描述新的装配任务中各个部件的目标装配关系,经自然语言处理后,输出部件引用表达和部件关系表达;机械手利用视觉摄像头对当前场景进行部件检测,识别实际检测到的部件的属性,可以根据目标装配关系计算待装配部件的目标装配位姿和抓取位姿;部件关联模块将实际检测到的各个部件与自然语言中所述的已经编号的部件进行关联,完成实际部件的编号;部件关系表达送入目标装配关系矩阵生成模块,输出目标装配关系矩阵至装配任务分解模块,进行相关的矩阵运算后,将整个装配任务分解为具有一定时序关系的子任务,每个子任务中指明待装配的某个部件以及该部件与已装配部件的目标装配关系集合;机械手根据分解后的各个子任务的时序,在基于视觉的装配定位与抓取辅助下,依次完成部件的装配。
如图2-4所示,一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,图2所示桌面上摆有4个不同颜色和形状的积木块,代表待装配的4个部件。新的装配任务是将4个部件装配成如图3所示的房子造型。图4是部件检测模块的检测与识别结果。假定该装配任务中,用户描述目标装配关系的自然语言文本为“黄色木块和蓝色木块在绿色木块的上面。黄色木块在蓝色木块的右侧。红色木块在黄色和蓝色木块的上面”。机械手应能根据该自然语言文本自主地完成该装配任务。
如图5所示,首先将图2-4示例中的自然语言文本逐句地送入斯坦福解析器进行处理,生成语法成分依赖关系树,结合机械手关于部件关系的先验知识,输出部件引用表达与部件关系表达。如第一句“黄色木块和蓝色木块在绿色木块的上面”处理后,输出所描述部件的引用表达:1(绿色(木块)),2(黄色(木块)),3(蓝色(木块)),以及部件关系的表达:On(2,1)∧On(3,1)。其中绿色木块被自动编号为1,黄色木块和蓝色木块被依次编号为2和3,On表示部件关系。第二句的处理结果为Right(2,3),其中未输出新的部件引用表达。第三句的处理结果为4(红色(木块)),On(4,2)∧On(4,3)。其中红色木块被编号为4。当所有语句处理完成后,按公式(1)生成目标装配关系矩阵
机械手利用视觉摄像头对当前场景进行部件检测。首先检测出摆放部件的平面,然后保留平面上方的三维点云,将在欧氏距离空间中相邻的点集,分割为一个独立的部件,最终得到分散在平面上的各个部件,进一步识别各个部件的属性(如名称、颜色、形状等)。检测与识别结果如图4所示。然后,根据实际部件的属性以及部件引用表达,将实际部件与自然语言中所述的已经编号的部件进行关联,完成实际部件的对应编号。
接着,按公式(2)更新GARM,得到并保存为SARM。按公式(3)更新GARM,得到进一步,经公式(4)和公式(5)计算后,得到Indicator=[6 0 0 -6]。该行向量中每个元素所在的列号代表部件的编号,元素的取值越大代表装配该部件的优先级越高,因此,各个部件的装配优先级为1→2→3→4或1→3→2→4。然后,按照待装配部件的优化级生成装配子任务时序,包括4个装配子任务,每个子任务中指明待装配的部件分别为部件1、部件2、部件3和部件4,对每个待装配部件从SARM中获取该部件与已装配部件的目标装配关系,如子任务3中待装配部件3与已装配部件1和2的目标装配关系取值是2与4。接着,机械手依次执行各个装配子任务,在执行装配子任务过程中,请求部件检测模块根据目标装配关系计算待装配部件的目标装配位姿和抓取位姿,在基于视觉的装配定位与抓取辅助下最终完成整个装配任务的执行。
Claims (6)
1.一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,其特征在于,包括如下步骤:
(1)用户通过自然语言描述机械手装配任务中各个部件的装配关系,经自然语言处理后,生成目标装配关系矩阵;
(2)机械手通过视觉摄像头进行部件检测,分割和识别分散在平面上的各个部件,与自然语言中提及的部件进行关联;
(3)针对目标装配关系矩阵,经相关的矩阵运算将装配任务分解为具有一定时序关系的子任务,在每个子任务中确定待装配的部件及其与已装配部件的目标装配关系;
(4)机械手根据分解后的各个子任务的时序,在基于视觉的装配定位与抓取辅助下,依次完成部件的装配。
2.根据权利要求1所述的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,其特征在于:步骤(1)中所述目标装配关系矩阵是一个N×N的方阵,记为GARMN×N,该方阵由自然语言处理模块直接生成,方阵中元素的取值直接体现自然语言语句中所描述部件之间的关系,部件由自然语言处理模块自动从自然数1开始编号,方阵中的第i行第j列的元素定义为:
3.根据权利要求1所述的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,其特征在于:步骤(1)中所述自然语言处理是指利用斯坦福解析器对自然语言文本进行解析,生成语法成分依赖关系树,在结合机械手关于部件关系的先验知识的基础上,输出部件引用表达和部件关系表达;部件引用表达中实现了对所描述部件的自然数编号;将部件关系表达,按照公式(1)填充至目标装配矩阵。
4.根据权利要求1所述的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,其特征在于:步骤(2)中所述部件检测是指利用视觉摄像头采用视觉检测算法分割出分散在某一平面上的各个部件,识别各个部件的属性,包括名称、颜色和形状,并与自然语言中已经编号的物体进行关联,确定视觉检测部件的编号,能够根据目标装配关系计算待装配部件的目标装配位姿和抓取位姿。
5.根据权利要求1所述的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,其特征在于:步骤(3)中所述的矩阵运算,一方面指利用部件之间关系的对称性、传递性更新GARM,对称性与传递性准则分别由公式(2)和公式(3)给出;其中,将经对称性准则更新后的GARM保存为SGARM;
[GARM]ij=-[GARM]ji,if|[GARM]ij|>1 (2)
[GARM]ik=r,if[GARM]ij=r且[GARM]jk=r (3)
另一方面,指利用公式(4)和公式(5)来计算部件装配的优先级;利用公式(4)消除左右、前后等装配关系对装配优先级的影响,得到中间矩阵WARM;利用公式(5)对矩阵进行按列求和运算,得到一个行向量Indicator,其中sum(GARM,1)表示对矩阵GARM的第1维进行求和运算。该行向量中每个元素所在的列号代表部件的编号,元素的取值越大代表装配该部件的优先级越高;通过对该列向量中元素进行降序排序,从而确定各个部件的装配时序;
Indicator=sum(WARM,1) (5)。
6.根据权利要求1所述的一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法,其特征在于:步骤(3)中所述装配任务分解是指根据确定的各个部件的装配时序,将整个装配任务分解为具有此时序关系的子任务,每个子任务中指明待装配的某个部件i,以及该部件的目标装配关系集合,该部件的目标装配关系通过查询上述矩阵SGARM中第i行的元素得到;装配任务分解后,机械手利用上述部件检测模块在基于视觉的装配定位与抓取辅助下,依次执行各个子任务,完成自然语言任务编程方式下的自主装配过程。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610446169.9A CN106126219B (zh) | 2016-06-20 | 2016-06-20 | 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201610446169.9A CN106126219B (zh) | 2016-06-20 | 2016-06-20 | 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN106126219A true CN106126219A (zh) | 2016-11-16 |
CN106126219B CN106126219B (zh) | 2019-05-03 |
Family
ID=57470062
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201610446169.9A Active CN106126219B (zh) | 2016-06-20 | 2016-06-20 | 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN106126219B (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107570430A (zh) * | 2017-10-26 | 2018-01-12 | 中国人民解放军国防科技大学 | 机械装备维修过程中基于智能机器人的零部件分拣方法 |
CN108647192A (zh) * | 2018-03-27 | 2018-10-12 | 常熟鑫沐奇宝软件开发有限公司 | 一种用自然语言处理技术生成虚拟现实工作脚本的方法 |
CN112621765A (zh) * | 2021-03-09 | 2021-04-09 | 佛山隆深机器人有限公司 | 一种基于机械手的设备自动组装控制方法及装置 |
CN113742458A (zh) * | 2021-09-18 | 2021-12-03 | 苏州大学 | 一种面向机械臂抓取的自然语言指令消歧方法及系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101414179A (zh) * | 2008-11-20 | 2009-04-22 | 上海交通大学 | 人机交互的装配工艺规划系统 |
CN102129494A (zh) * | 2011-03-04 | 2011-07-20 | 华中科技大学 | 基于工程联接关系的产品装配表示方法 |
US20130311082A1 (en) * | 2006-03-31 | 2013-11-21 | Volkswagen Ag | Navigation System for a Motor Vehicle |
CN104778872A (zh) * | 2015-04-03 | 2015-07-15 | 上海交通大学 | 用于机械臂遥操作人机交互研究的仿真实验训练平台 |
CN105243434A (zh) * | 2015-09-16 | 2016-01-13 | 西安工业大学 | 一种装配序列规划的方法 |
-
2016
- 2016-06-20 CN CN201610446169.9A patent/CN106126219B/zh active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20130311082A1 (en) * | 2006-03-31 | 2013-11-21 | Volkswagen Ag | Navigation System for a Motor Vehicle |
CN101414179A (zh) * | 2008-11-20 | 2009-04-22 | 上海交通大学 | 人机交互的装配工艺规划系统 |
CN102129494A (zh) * | 2011-03-04 | 2011-07-20 | 华中科技大学 | 基于工程联接关系的产品装配表示方法 |
CN104778872A (zh) * | 2015-04-03 | 2015-07-15 | 上海交通大学 | 用于机械臂遥操作人机交互研究的仿真实验训练平台 |
CN105243434A (zh) * | 2015-09-16 | 2016-01-13 | 西安工业大学 | 一种装配序列规划的方法 |
Non-Patent Citations (1)
Title |
---|
刘明周: "一种制造物联网环境下的机械产品装配过程运行管理方法", 《中国机械工程》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107570430A (zh) * | 2017-10-26 | 2018-01-12 | 中国人民解放军国防科技大学 | 机械装备维修过程中基于智能机器人的零部件分拣方法 |
CN107570430B (zh) * | 2017-10-26 | 2018-07-31 | 中国人民解放军国防科技大学 | 机械装备维修过程中基于智能机器人的零部件分拣方法 |
CN108647192A (zh) * | 2018-03-27 | 2018-10-12 | 常熟鑫沐奇宝软件开发有限公司 | 一种用自然语言处理技术生成虚拟现实工作脚本的方法 |
CN108647192B (zh) * | 2018-03-27 | 2022-04-12 | 常熟鑫沐奇宝软件开发有限公司 | 一种用自然语言处理技术生成虚拟现实工作脚本的方法 |
CN112621765A (zh) * | 2021-03-09 | 2021-04-09 | 佛山隆深机器人有限公司 | 一种基于机械手的设备自动组装控制方法及装置 |
CN112621765B (zh) * | 2021-03-09 | 2021-06-01 | 佛山隆深机器人有限公司 | 一种基于机械手的设备自动组装控制方法及装置 |
CN113742458A (zh) * | 2021-09-18 | 2021-12-03 | 苏州大学 | 一种面向机械臂抓取的自然语言指令消歧方法及系统 |
Also Published As
Publication number | Publication date |
---|---|
CN106126219B (zh) | 2019-05-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106126219A (zh) | 一种基于目标装配关系自然语言描述的机械手装配任务自主编程方法 | |
CN103544496B (zh) | 基于空间与时间信息融合的机器人场景识别方法 | |
Rossmann et al. | Virtual robotic testbeds: A foundation for e-robotics in space, in industry-and in the woods | |
Hussein et al. | Multi-robot task allocation for search and rescue missions | |
CN107992858A (zh) | 一种基于单一rgb帧的实时三维手势估计方法 | |
CN109145471B (zh) | 基于cad与实测数据共融模型的虚拟装配系统及方法 | |
CN106295020B (zh) | 一种面向人机交互系统约束的交互控制模型求解方法及系统 | |
Singh et al. | NAO humanoid robot: Analysis of calibration techniques for robot sketch drawing | |
CN108628260A (zh) | 基于机器人的多品种工具成套设备及自动装配工艺 | |
CN107598918A (zh) | 基于打磨机器人的表面打磨处理自动编程方法和装置 | |
Hak et al. | Reverse control for humanoid robot task recognition | |
Wu et al. | A morphable template framework for robot learning by demonstration: Integrating one-shot and incremental learning approaches | |
Boteanu et al. | Towards robot adaptability in new situations | |
Fan et al. | Robot navigation in complex workspaces using conformal navigation transformations | |
CN109382834A (zh) | 智能机器人 | |
CN110163425B (zh) | 一种基于人体生物特征的飞机装配路径的优化方法 | |
Bataineh et al. | Artificial neural network-based prediction of human posture | |
Wang et al. | Combining vision sensing with knowledge database for environmental modeling in dual-arm robot assembly task | |
Maske et al. | Collaborative goal and policy learning from human operators of construction co-robots | |
Mishra et al. | Feature Based Face Detection in HRI | |
KR102647402B1 (ko) | 부품조립계획장치 | |
Rios-Cabrera et al. | Dynamic categorization of 3D objects for mobile service robots | |
Rossmann | Advanced virtual testbeds: Robotics know how for virtual worlds | |
Rodić et al. | Advances in Robot Design and Intelligent Control: Proceedings of the 25th Conference on Robotics in Alpe-Adria-Danube Region (RAAD16) | |
Savage et al. | The role of robotics competitions for the development of service robots |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |