CN109590987A - 半智能示教学习方法、智能机器人和存储介质 - Google Patents

半智能示教学习方法、智能机器人和存储介质 Download PDF

Info

Publication number
CN109590987A
CN109590987A CN201811467840.3A CN201811467840A CN109590987A CN 109590987 A CN109590987 A CN 109590987A CN 201811467840 A CN201811467840 A CN 201811467840A CN 109590987 A CN109590987 A CN 109590987A
Authority
CN
China
Prior art keywords
movement
robot
semi
teaching
action
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811467840.3A
Other languages
English (en)
Other versions
CN109590987B (zh
Inventor
刘培超
刘主福
郎需林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuejiang Technology Co Ltd
Original Assignee
Shenzhen Yuejiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuejiang Technology Co Ltd filed Critical Shenzhen Yuejiang Technology Co Ltd
Priority to CN201811467840.3A priority Critical patent/CN109590987B/zh
Publication of CN109590987A publication Critical patent/CN109590987A/zh
Application granted granted Critical
Publication of CN109590987B publication Critical patent/CN109590987B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/0081Programme-controlled manipulators with master teach-in means

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

本发明涉及机器人的技术领域,提供的半智能示教学习方法、智能机器人和存储介质,其中半智能示教学习方法包括:采集所述示教动作的动作数据,将所述动作数据按照步骤拆分为多段动作,并且生成对应多段所述动作的控制程序;所述机器人运行所述控制程序,进行学习动作;所述示教者判断所述学习动作是否合格,如果不合格发出动作指令;如果接收到所述动作指令,根据所述动作指令判断不合格的所述动作,修正该段所述动作对应的所述控制程序。本发明将判断学习动作是否合格的过程交于示教者,学习过程更加接近人与人之间的学习,不仅大大减少了计算量和人工参与,而且能够学习获得更加适合机器人的动作,使得动作学习的过程智能化程度更高。

Description

半智能示教学习方法、智能机器人和存储介质
技术领域
本发明涉及机器人的技术领域,尤其涉及半智能示教学习方法、智能机器人和存储介质。
背景技术
机器人(Robot)是一种高科技产品,其内部预设有程序或者原则性纲领,接收到信号或者指令后,能够在一定程度上判断并采取行动,例如移动、拿取、摆动肢体等动作。机器人的任务主要是在某些场合中协助甚至取代人类的工作,实际的工作场景中涉及的行动和信息判断往往非常繁复,难以全部事先以程序的方式记录在机器人中,因此如何根据已有的知识,自行学习提高适应能力和智能化水平,也即机器人学习,成为机器人行业中一个非常热门的研究重点。
在现有技术中,机器人学习人类的示教动作的需要采集示教者的示教动作,然后人工参与将示教动作取点计算,数字化后生成驱动程序,机器人按照生成的控制程序执行,实现学习动作。
如果在执行控制程序时,学习动作与示教动作之间存在差异,需要人工参与调试控制程序,修正学习动作。对于工程师而言,调试过程只能提取机器人学习动作的动作数据与示教动作的动作数据进行对比,根据二者的数据差别进行调整,这种方式以实现严格重复示教动作为目的,导致计算复杂程度高,人工参与度高。另外,由于示教者在示教过程中难免出现多余操作,例如手臂抖动、手腕转动等,如果高精度的采集并学习,必然会将多余操作也纳入判断调整中,进一步地增加了无实际意义的计算复杂度,整个模拟学习过程智能化程度低。
发明内容
本发明的目的在于提供半智能示教学习方法,旨在解决现有技术中对于机器人学习动作判断的计算复杂度高、人工参与的需求度高、智能化程度低等问题。
本发明是这样实现的,提供半智能示教学习方法,用于机器人学习示教者演示的示教动作,其特征在于,包括以下步骤:
采集所述示教动作的动作数据,将所述动作数据按照步骤拆分为多段动作,并且生成对应多段所述动作的控制程序;
所述机器人运行所述控制程序,进行学习动作;
所述示教者判断所述学习动作是否合格,如果不合格发出动作指令;
如果接收到所述动作指令,根据所述动作指令判断不合格的所述动作,修正该段所述动作对应的所述控制程序
本发明还提供了智能机器人,用于执行上述的半智能示教学习方法,包括动作采集端、计算模块、控制模块和执行端,其中所述动作采集端采集所述原始动作数据,所述计算模块计算所述位移函数和所述姿态函数,所述控制模块中生成所述控制程序,所述执行端执行所述控制程序学习所述示教动作。
本发明还提供了存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述半智能示教学习方法的步骤。
与现有技术相比,本发明中提供的半智能示教学习方法中,将判断学习动作是否合格的过程交于示教者,示教者可以根据动作是否达到目的或者动作偏差是否在符合要求的范围内判断某个动作是否合格,如果不合格其发出动作指令,机器人检测到动作指令后判断具体不合格的动作,然后修正对应的控制程序。由于判断过程由示教者进行,整个半智能示教学习方法中,可以包括两次甚至更多次的人机交互学习,学习过程更加接近人与人之间的学习,不仅大大减少了修正过程中的计算量和相应的人工参与需要,而且能够学习获得更加适合机器人的动作,而不单纯严格重复示教动作,使得动作学习的过程智能化程度更高。
附图说明
图1为本发明实施例提供的半智能示教学习方法的流程示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
以下结合具体附图对本实施例的实现进行详细的描述,。
本实施例中提供了一种半智能示教学习方法,用于机器人学习示教者演示的示教动作,包括以下步骤:
101、采集示教动作的动作数据,将动作数据按照步骤拆分为多段动作,并且生成对应多段动作的控制程序。动作数据应当能够尽可能完整的描述示教者的示教动作,例如示教动作为拿取,则记录从甲位置拿起,移动至乙位置,下降至丙位置放下,依次具有三段动作。具体地,本实施例中以书法动作为例,例如书法动作所书写的汉字有两个笔画,可按照以下方式拆分为四段动作:1、在a点下笔;2、以θ1为倾角书写第一笔画至b点;3、以θ2为倾角书写第二笔画至c点;4、在c点提笔完成书写。根据四段动作生成对应的控制程序,在对应的位置控制机器人进行对应的动作。
102、机器人控制程序,进行学习动作。相应的,学习动作按照控制程序分段进行。
103、示教者判断学习动作是否合格,如果不合格发出动作指令。由于示教者能够直观的判断学习动作是否合格,在某个动作出现偏差时其发出动作指令指示机器人。这个合格判断的过程由示教者进行,从而无需比对学习动作和示教动作在动作数据上的偏差。而且,在某些动作中,可能存在虽然动作具有偏差但是能够达成相同结果的情况,具体至本实施例中,书写笔画“一”的时候,机器人的执行端的角度和动作可能与示教者并不相同,但是能够书写出一样的笔画“一”,如果从动作数据上判断会认定不合格,但是如果由示教者从结果判断,会认为其合格,这无疑大大减少了判断修正过程中的计算量,而且能够学习获得更加适合机器人的动作,而不单纯严格重复示教动作,使得动作学习的过程智能化程度更高。
而且,示教者可以示教过程中的多余操作进行判断,如果遗漏这些操作,也不认为动作不合格,避免增加无意义的计算量。
104、如果接收到动作指令,根据动作指令判断不合格的动作,修正该段动作对应的控制程序。
上述的步骤102至步骤104可以反复进行,也即修正后,再次进行学习动作,示教者再次判断,直至当示教者认为学习完成时,不在发出动作指令,机器人判断完成学习,将最终修正完成的控制程序记录。
从上述的半智能示教学习方法中可以看出,本实施例中将学习动作是否合格的判断交于示教员进行判断,这种判断方式一方面能够避免对应动作本身误差的苛责,以实现相同动作目的为判断依据,另一方面大大减少了误差判断-回溯驱动程序-取点计算修正这一过程的计算量和人工参与需求度,使机器人模拟示教员动作的过程与真正的人与人之间的学习更为接近。示教员可以自行判断每段动作是否合格,如果不合格发出动作指令,提示机器人需要对该段动作进行修正。
在步骤101中,采集示教动作的动作数据,可以采用多种手段,例如贴设电子追踪结构,通过能够追踪该结构运动状态的追踪装置采集运动数据;或者套设能够记录各个点压力和相对位置变化的力学、速度传感器采集等。具体地,本实施例中设置采集区域,在采集区域外围安装多个摄像头进行多方位的拍摄,通过图像识别的方式采集发生在采集区域内的动作数据。容易理解的是,采集区域可以位于机器人的一侧,也可以设置在远程,通过远程拍摄,线上传输进行学习。
优选的,在步骤103中,示教者保持在采集区域内发出动作指令,以供机器人检测识别,所带来的技术效果一方面在于无需设置额外的采集设备,节省设备成本,另一方面在于示教者无需长期保持静止状态,能够在采集区域外任意动作,需要发出动作指令时回到采集区域内即可,降低了动作误判的可能性,示教者也具有更加的示教体验。
优选的,采集区域设置在远程,在机器人一侧设置有拍摄装置,示教员能够通过拍摄装置获知机器人的动作执行情况,进行判断。也即远程线上教学。更进一步地,示教员可以采用一对多的示教方式,演示完成示教动作后,多个机器人同时学习,然后示教员依次观察每个机器人的动作执行情况,判断是否需要重新示教。这种一对多的示教学习方式,能够在大数据上统计实现某种动作目标可以采用的多种正确动作,或者动作的正确范围区间,经过数据处理后为机器人提供可选择的动作区间,便于在其他影响因素,例如环境干涉、输出功率限制等的条件下,能够选择合适且正确的动作进行学习。
在步骤103中,动作指令可以为几个规定的动作,对应表示特定的含义,例如横向挥手表示学习动作角度存在偏差,竖向挥手表示学习动作幅度存在偏差等。具体地,本实施中的动作指令为,重新演示不合格动作的正确示教动作,机器人检测到动作指令后,与内部的多段动作比对,判断具体的错误动作,然后重新按照再次示教的正确示教动作修正。
优选的,为了能更加清楚的指示出错误动作的修正方式,动作指令在重新演示时,适当增大需要修正方向的动作幅度。例如,机器人书写汉字“大”中的笔画“一”时,位置过于靠近上方导致汉字变形,此时重新演示时,依照“矫枉过正”的原则,增大向下方修正的动作幅度,便于机器人正确识别的修正方向。容易理解的是,相应的机器人在修正时需要按照检测到的动作幅度进行一定幅度的减少,以回到正确的修正位置。
优选的,采集示教动作的动作数据后,将每段动作拆分拟合为至少两个函数:用于描述目标姿态随时间变化的姿态函数、用于描述目标位置随时间变化的位移函数。其中,示教员在该段动作的过程中,其姿态的变化,可以由姿态函数描述,具体在本实施例中,即书写动作中笔自身的姿态变化。位移函数中,将笔视为质点,描述笔的位移变化量,例如从甲点移动至乙点,然后再上升至丙点等。在其他实施例中,也可以增加函数的数量,例如动作函数:描述在某些特定的时间点输出信号执行指定的操作,例如在t时刻进行焊接、按压等。应当理解的是,如果全程都没有姿态的变化,仅有位移的变化,姿态函数可理解为赋值为0的常函数,反之,全程只有姿态变化无位移变化,位移函数理解为赋值为0的常函数。
相应的,示教员在动作指令中重新演示正确示教动作时,可以仅演示姿态动作变化或者位移动作变化,当然也可以二者同时演示。例如书写笔画长度过长或者过短,可以仅演示位移动作变化,机器人对应修正位移函数即可。例如书写笔画变形,在弯折时角度过大或者过小,则需要同时演示该书写笔画的位移动作变化和姿态动作变化。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.半智能示教学习方法,用于机器人学习示教者演示的示教动作,其特征在于,包括以下步骤:
采集所述示教动作的动作数据,将所述动作数据按照步骤拆分为多段动作,并且生成对应多段所述动作的控制程序;
所述机器人运行所述控制程序,进行学习动作;
所述示教者判断所述学习动作是否合格,如果不合格发出动作指令;
如果接收到所述动作指令,根据所述动作指令判断不合格的所述动作,修正该段所述动作对应的所述控制程序。
2.如权利要求1所述的半智能示教学习方法,其特征在于,采集所述示教动作的动作数据具体包括:
设置采集区域,通过图像识别的方式采集发生在所述采集区域内的动作数据。
3.如权利要求2所述的半智能示教学习方法,其特征在于,所述示教者保持在所述采集区域内发出所述动作指令。
4.如权利要求3所述的半智能示教学习方法,其特征在于,所述采集区域设置在远程,在所述机器人一侧设置有拍摄装置,所述示教员能够通过所述拍摄装置获知所述机器人的动作执行情况。
5.如权利要求4所述的半智能示教学习方法,其特征在于,所述示教员采用一对多的示教方式,演示完成所述示教动作后,多个所述机器人同时学习,然后所述示教员依次观察每个所述机器人的动作执行情况,判断是否需要重新示教。
6.如权利要求1至5任一项所述的半智能示教学习方法,其特征在于,所述动作指令为:重新演示不合格所述动作的正确示教动作。
7.如权利要求6所述的半智能示教学习方法,其特征在于,所述动作指令在重新演示时,增大需要修正方向的动作幅度。
8.如权利要求1至5任一项所述的半智能示教学习方法,其特征在于,采集示教动作的动作数据后,还包括以下步骤:
将每段所述动作拆分拟合为至少两个函数:用于描述姿态随时间变化的姿态函数、用于描述位置随时间变化的位移函数。
9.智能机器人,其特征在于,用于执行权利要求1至8任一项所述的半智能示教学习方法,包括动作采集端、计算模块、控制模块和执行端,其中所述动作采集端用于采集所述动作数据,所述计算模块计算所述动作数据,所述控制模块中生成所述控制程序,所述执行端执行所述控制程序进行所述示教动作。
10.存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8中任一项所述半智能示教学习方法的步骤。
CN201811467840.3A 2018-12-03 2018-12-03 半智能示教学习方法、智能机器人和存储介质 Active CN109590987B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811467840.3A CN109590987B (zh) 2018-12-03 2018-12-03 半智能示教学习方法、智能机器人和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811467840.3A CN109590987B (zh) 2018-12-03 2018-12-03 半智能示教学习方法、智能机器人和存储介质

Publications (2)

Publication Number Publication Date
CN109590987A true CN109590987A (zh) 2019-04-09
CN109590987B CN109590987B (zh) 2021-06-29

Family

ID=65960615

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811467840.3A Active CN109590987B (zh) 2018-12-03 2018-12-03 半智能示教学习方法、智能机器人和存储介质

Country Status (1)

Country Link
CN (1) CN109590987B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833669A (zh) * 2020-07-13 2020-10-27 孙学峰 一种中国书法用笔教学系统及教学方法
CN112712175A (zh) * 2020-12-30 2021-04-27 广州富港万嘉智能科技有限公司 机器人学习方法及相关装置
CN113618717A (zh) * 2021-09-07 2021-11-09 浙江理工大学 人体上肢技能动作感测学习装置及方法
CN114378791A (zh) * 2022-01-13 2022-04-22 中国科学技术大学 一种机器人任务执行方法、装置、设备及可读存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023122308A1 (en) * 2021-12-23 2023-06-29 Massachusetts Institute Of Technology Robot training system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040186627A1 (en) * 2003-03-17 2004-09-23 Fanuc Ltd Teaching position correcting apparatus
CN105511427A (zh) * 2015-11-30 2016-04-20 上海新时达电气股份有限公司 多机器人的操控方法及操控系统
CN108406767A (zh) * 2018-02-13 2018-08-17 华南理工大学 面向人机协作的机器人自主学习方法
CN108510811A (zh) * 2018-04-02 2018-09-07 合肥爱哆梦教育科技有限公司 一种儿童舞蹈学习用机器人系统
CN108501004A (zh) * 2018-04-13 2018-09-07 宁波德深机械设备有限公司 工业机器人的示教系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040186627A1 (en) * 2003-03-17 2004-09-23 Fanuc Ltd Teaching position correcting apparatus
CN105511427A (zh) * 2015-11-30 2016-04-20 上海新时达电气股份有限公司 多机器人的操控方法及操控系统
CN108406767A (zh) * 2018-02-13 2018-08-17 华南理工大学 面向人机协作的机器人自主学习方法
CN108510811A (zh) * 2018-04-02 2018-09-07 合肥爱哆梦教育科技有限公司 一种儿童舞蹈学习用机器人系统
CN108501004A (zh) * 2018-04-13 2018-09-07 宁波德深机械设备有限公司 工业机器人的示教系统

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111833669A (zh) * 2020-07-13 2020-10-27 孙学峰 一种中国书法用笔教学系统及教学方法
CN112712175A (zh) * 2020-12-30 2021-04-27 广州富港万嘉智能科技有限公司 机器人学习方法及相关装置
CN112712175B (zh) * 2020-12-30 2024-02-23 广州富港生活智能科技有限公司 机器人学习方法及相关装置
CN113618717A (zh) * 2021-09-07 2021-11-09 浙江理工大学 人体上肢技能动作感测学习装置及方法
CN114378791A (zh) * 2022-01-13 2022-04-22 中国科学技术大学 一种机器人任务执行方法、装置、设备及可读存储介质
CN114378791B (zh) * 2022-01-13 2023-09-01 中国科学技术大学 一种机器人任务执行方法、装置、设备及可读存储介质

Also Published As

Publication number Publication date
CN109590987B (zh) 2021-06-29

Similar Documents

Publication Publication Date Title
CN109590987A (zh) 半智能示教学习方法、智能机器人和存储介质
CN109590986B (zh) 机器人教学方法、智能机器人和存储介质
CN104570731A (zh) 一种基于Kinect的无标定人机交互控制系统及方法
Kwiatkowski et al. Grasp stability assessment through the fusion of proprioception and tactile signals using convolutional neural networks
CN104238562A (zh) 用于经由可穿戴传感器控制机器人装置的方法和设备
US20110267258A1 (en) Image based motion gesture recognition method and system thereof
CN105252532A (zh) 动作捕捉机器人协同柔性姿态控制的方法
CN102310409A (zh) 机器人装置及基于机器人装置的把持方法
CN110463376B (zh) 一种插机方法及插机设备
Yanik et al. A gesture learning interface for simulated robot path shaping with a human teacher
Diliberti et al. Real-time gesture recognition using 3D sensory data and a light convolutional neural network
CN112947458B (zh) 基于多模态信息的机器人准确抓取方法及计算机可读介质
WO2019173678A1 (en) Optimal hand pose tracking using a flexible electronics-based sensing glove and machine learning
CN111552269B (zh) 一种基于姿态估计的多工业机器人安全性检测方法及系统
Wang et al. Hand gesture recognition of Arabic numbers using leap motion via deterministic learning
Placidi et al. Data integration by two-sensors in a LEAP-based Virtual Glove for human-system interaction
CN106695736A (zh) 基于多传感器融合的手势识别仿人机械手系统及同步方法
Anwar et al. Feature extraction for indonesian sign language (SIBI) using leap motion controller
Jeong et al. Parallel Neural Network–Convolutional Neural Networks for Wearable Motorcycle Airbag System
CN109676583B (zh) 基于目标姿态深度学习视觉采集方法、学习系统及存储介质
Rusydi et al. Recognition of sign language hand gestures using leap motion sensor based on threshold and ANN models
CN115861977A (zh) 一种模拟驾驶姿态评价方法及模拟驾驶装置
Hsu et al. A chinese calligraphy-writing robotic system based on image-to-action translations and a hypothesis generation net
Caggiano et al. A biomimetic approach to mobility distribution for a human-like redundant arm
CN210925022U (zh) 一种个性化驾驶员培训系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP03 Change of name, title or address
CP03 Change of name, title or address

Address after: 518000 1003, building 2, Chongwen Park, Nanshan wisdom Park, 3370 Liuxian Avenue, Fuguang community, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province

Patentee after: Shenzhen Yuejiang Technology Co.,Ltd.

Address before: 518055 3rd floor, building 3, tongfuyu industrial city, Taoyuan Street, Nanshan District, Shenzhen City, Guangdong Province

Patentee before: SHENZHEN YUEJIANG TECHNOLOGY Co.,Ltd.