CN109670416A - 基于前置姿态判断的学习方法、学习系统和存储介质 - Google Patents

基于前置姿态判断的学习方法、学习系统和存储介质 Download PDF

Info

Publication number
CN109670416A
CN109670416A CN201811466678.3A CN201811466678A CN109670416A CN 109670416 A CN109670416 A CN 109670416A CN 201811466678 A CN201811466678 A CN 201811466678A CN 109670416 A CN109670416 A CN 109670416A
Authority
CN
China
Prior art keywords
learning
posture
preposition
learning system
judgement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811466678.3A
Other languages
English (en)
Other versions
CN109670416B (zh
Inventor
刘培超
刘主福
郎需林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Yuejiang Technology Co Ltd
Original Assignee
Shenzhen Yuejiang Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Yuejiang Technology Co Ltd filed Critical Shenzhen Yuejiang Technology Co Ltd
Priority to CN201811466678.3A priority Critical patent/CN109670416B/zh
Publication of CN109670416A publication Critical patent/CN109670416A/zh
Application granted granted Critical
Publication of CN109670416B publication Critical patent/CN109670416B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0053Computers, e.g. programming
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Manipulator (AREA)

Abstract

本发明涉及学习系统的技术领域,公开了基于前置姿态判断的学习方法、学习系统和存储介质,其中基于前置姿态判断的学习方法包括以下步骤:获取所述目标的前置姿态;根据所述前置姿态选择模式:学习模式和模仿模式;执行所述学习模式,采集所述目标动作的信息,通过离线编程生成模仿所述目标动作的控制指令集;执行所述模仿模式,按照所述控制指令集驱动进行模仿动作。于前置姿态判断的学习方法提供了一种简单明了的人机沟通途径,操作者无需学习控制学习系统的编程知识,能够简单的通过示教动作对学习系统进行教学,教会学习系统动作,大大降低学习系统操作的学习门槛,能够方便的将学习系统应用在日常生活中。

Description

基于前置姿态判断的学习方法、学习系统和存储介质
技术领域
本发明涉及学习系统的技术领域,尤其涉及基于前置姿态判断的学习方法、学习系统和存储介质。
背景技术
学习系统(Robot)是一种高科技产品,其内部预设有程序或者原则性纲领,接收到信号或者指令后,能够在一定程度上判断并采取行动,例如移动、拿取、摆动肢体等动作,在某些场合中协助甚至取代人类的工作。
由于学习系统在执行操作时需要进行编程,操作者需要具备相当的知识水平才能够编程实现控制学习系统的动作,使得现有技术中的学习系统具有较高的学习门槛,使得学习系统只能应用在专业的生产、研究场合,难以让普通用户在生活中应用学习系统。
发明内容
本发明的目的在于提供基于前置姿态判断的学习方法,旨在解决现有技术中的学习系统在控制时具有较高的学习门槛,普通用户难以应用学习系统的问题。
本发明是这样实现的,提供基于前置姿态判断的学习方法,用于学习系统检测并学习目标动作,包括以下步骤:获取所述目标的前置姿态;根据所述前置姿态选择模式:学习模式和模仿模式;执行所述学习模式,采集所述目标动作的信息,通过离线编程生成模仿所述目标动作的控制指令集;执行所述模仿模式,按照所述控制指令集驱动进行模仿动作。
本发明还提供了学习系统,包括:检测部,用于采集目标的前置姿态和运动信息;逻辑判断部,其接收到前置姿态后判断需要进入的工作模式:学习模式和模仿模式;编程部,进入学习模式后其根据所述运动信息离线编程,生成控制指令集;控制部,进入模仿模式后其根据所述控制指令集驱动执行端模仿动作。
本发明还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述基于前置姿态判断的学习方法的步骤。
与现有技术相比,基于前置姿态判断的学习方法提供了一种简单明了的人机沟通途径,学习系统能够从操作者的前置姿势判断操作者的意图,然后进入学习模式或者模仿模式,操作者无需学习控制学习系统的编程知识,能够简单的通过示教动作对学习系统进行教学,教会学习系统动作,大大降低学习系统操作的学习门槛,使普通的操作者也能够方便的将学习系统应用在日常生活中。
附图说明
图1为本发明实施例提供的基于前置姿态判断的学习方法的流程示意图;
图2为本发明实施例提供的学习系统的框体示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
在本发明的描述中,需要理解的是,术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。
在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
在本发明中,除非另有明确的规定和限定,术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解,例如,可以是固定连接,也可以是可拆卸连接,或成一体;可以是机械连接,也可以是电连接;可以是直接相连,也可以通过中间媒介间接相连,可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本发明中的具体含义。
以下结合具体附图对本实施例的实现进行详细的描述。
本实施例中提供了一种基于前置姿态判断的学习方法,包括以下步骤:
101、获取目标的前置姿态。此处的目标可以为人类、动物或者其他机械装置的整体,或者是某个具体的部分,例如人的手掌、手臂、鸟类的翅膀等。前置姿态可以为预设姿态,例如手握持毛笔的姿势、手臂靠近物品的姿势等,或者记录特定时间内目标的姿态作为前置姿态,例如设置控制开关,按下开关后记录目标5秒内的动作,经过图像处理后生成前置姿态。
102、根据前置姿态选择模式:学习模式和模仿模式。例如手握持毛笔的姿势判断为学习模式,手将毛笔放下的姿势作为模仿模式。
103、执行学习模式,采集目标的动作信息,通过离线编程生成模仿该动作的控制指令集。也即学习目标的动作,例如书写某个汉字的书法动作。
104、执行模仿模式,按照控制指令集驱动进行模仿动作。例如夹持毛笔书写某个汉字。
容易理解的是,如果在首次进行基于前置姿态判断的学习方法时,内部无控制指令集,则103为必须的步骤,如果已经执行过步骤103,则在步骤102中进行选择模式时,可直接执行模仿模式。
为了便于理解,以下以模仿拿取动作为例说明上述步骤的运行过程,学习系统包括能够夹持物品的机械臂,或者具有多个手指关节的义肢。
示教者的手臂抬起靠近物品,进入步骤101中,学习系统检测到该第一前置动作,开始进行基于前置姿态判断的学习方法。
由于学习系统并未学习过拿取物品,内部没有对应的控制指令集,因此在步骤102中,选择学习模式。
接下来示教者演示拿取物品的动作,在步骤103中,采集该拿取动作,通过离线编程生成控制指令集,学习该拿取动作。
此时示教者完成拿取动作,将手臂放下,回到步骤101中,将该动作检测为第二前置动作。
再次进入步骤102中,判断进入模仿模式,然后进入步骤104,按照控制指令集模仿拿取动作,完成学习过程。
根据上述的过程可以看出,采用本实施中的基于前置姿态判断的学习方法提供了一种简单明了的人机沟通途径,学习系统能够从操作者的前置姿势判断操作者的意图,然后进入学习模式或者模仿模式,操作者无需学习控制学习系统的编程知识,能够简单的通过示教动作对学习系统进行教学,教会学习系统动作,大大降低学习系统操作的学习门槛,使普通的操作者也能够方便的将学习系统应用在日常生活中。
在步骤103中,采集目标的动作信息具体包括,将动作信息结合时间拟合为至少两个函数:用于描述目标姿态随时间变化的姿态函数、用于描述目标位置随时间变化的位移函数。其中,目标在动作的过程中,其自身姿态的变化,可以由姿态函数描述,例如沿竖直方向转动一定的角度等。位移函数中,将目标视为质点,描述目标的位移变化量,例如从甲点移动至乙点,然后再上升至丙点。获取姿态函数和位移函数之后,通过离线编程的方式使学习系统按照两个函数运动即可实现模仿学习。在其他实施例中,也可以增加函数的数量,例如动作函数:描述在某些特定的时间点输出信号执行指定的操作,例如在t时刻进行焊接、按压等。应当理解的是,如果目标的操作动作全程都没有姿态的变化,仅有位移的变化,姿态函数拟合为赋值为0的常函数,反之,全程只有姿态变化无位移变化,位移函数拟合为赋值为0的常函数,具备姿态函数和位移函数至少两个函数明显包括这两种情况。
优选的,还包括修正模式。可以设置特殊的动作作为修正模式对应的前置姿势,通过检测判断是否进入修正模式。如果进入修正模式,则重新检测目标动作信息,与已经建立的多个控制指令集比对,选择最接近的动作作为修正目标,通过重新采集的目标动作信息修正控制指令集。
在步骤101中,前置姿态的获取手段并不受限制,例如布置多个摄像头,通过视觉的方式采集;或者贴设电子追踪结构,通过能够追踪该结构运动状态的追踪装置采集运动数据;或者套设能够记录各个点压力和相对位置变化的力学、速度传感器采集等。
优选的,在学习动作并离线编程为控制指令集的过程中,可以采用1比1还原动作的方式,也可以设定一定的比例,例如以人手为演示动作的幅度为摆动20cm,可以设定不同的比例改变这一幅度,例如更小:摆动2cm,或者更大:摆动1m等,使得用户能够演示教学学习系统学会更多更复杂的动作。
本实施例中还提供了一种学习系统1,包括检测部11、逻辑判断部12、编程部13、控制部14和执行端15。其中,检测部11检测目标,采集前置姿态和运动信息,逻辑判断部12判断需要进入的模式,如果进入学习模式,则由检测部11检测运动信息,在编程部13进行离线编程,生成控制指令集。如果进入模仿模式,则控制部14运行控制指令集,驱动执行端15模仿动作。
优选的,所述学习系统1包括机械臂151和机械手152,所述检测部11为安装于所述机械臂151上远离机械手152一端的运动传感器,执行端15包括机械臂151和机械手152。学习系统1为可供残疾人穿戴至残缺肢体的智能义肢,运动传感器检测到残缺肢体的前置姿态,即可切换机械臂151的工作模式。残疾人可以控制切换至学习模式,用另一只手或者其他学习系统1演示动作,学习完成后切换至模仿模式,需要进行某些动作时,残缺肢体摆出特点前置姿势,运动传感器检测到后即可模仿需要的动作,例如拿物、开门等。
在其他的实施例中,检测部11也可以为通过有线或者无线与学习系统1其他部分通信的独立结构,例如可穿戴式的手套,在内部关节上贴设多个力传感器、位置传感器等,检测手的动作,用户可以带上手套引导学习系统1学习。
在其他的实施例中,学习系统1也可以为其他结构,例如具有可移动底座和机械臂151,能够学习后拿取、存放物品,或者操作指定位置的开关等。
优选的,作为控制指令集的具体执行单位,可以是整个机械臂151,也可以是机械手152,也可以是机械手152的具体手指,也可以通过选择确定指定的执行单位,例如拿物动作需要机械臂151移动,也需要机械手152开合配合,可以先选取机械臂151作为执行单位,进行学习过程,然后再选取机械手152作为执行单位进行学习过程。
本实施例中还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现上述基于前置姿态判断的学习方法的步骤。
以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.基于前置姿态判断的学习方法,用于学习系统检测并学习目标动作,其特征在于,包括以下步骤:
获取所述目标的前置姿态;
根据所述前置姿态选择模式:学习模式和模仿模式;
执行所述学习模式,采集所述目标动作的信息,通过离线编程生成模仿所述目标动作的控制指令集;
执行所述模仿模式,按照所述控制指令集驱动进行模仿动作。
2.如权利要求1所述的基于前置姿态判断的学习方法,其特征在于,采集所述目标动作信息具体包括,将动作信息结合时间拟合为至少两个函数:用于描述所述目标姿态随时间变化的姿态函数、用于描述所述目标位置随时间变化的位移函数。
3.如权利要求1所述的基于前置姿态判断的学习方法,其特征在于,根据所述前置姿态选择模式,还包括:修正模式,重新检测所述目标动作信息,修正对应的所述控制指令集。
4.如权利要求1所述的基于前置姿态判断的学习方法,其特征在于,采集所述目标动作的信息,通过离线编程生成模仿所述目标动作的控制指令集,具体包括:设定缩放比例,改变模仿动作的幅度。
5.学习系统,其特征在于,包括:
检测部,用于采集目标的前置姿态和运动信息;
逻辑判断部,其接收到前置姿态后判断需要进入的工作模式:学习模式和模仿模式;
编程部,进入学习模式后其根据所述运动信息离线编程,生成控制指令集;
控制部,进入模仿模式后其根据所述控制指令集驱动执行端模仿动作。
6.如权利要求5所述的学习系统,其特征在于,所述执行端包括机械臂和机械手。
7.如权利要求6所述的学习系统,其特征在于,所述机械臂和所述机械手分步进行学习和模仿。
8.如权利要求6所述的学习系统,其特征在于,所述检测部包括安装于所述机械臂上远离所述机械手一端的运动传感器。
9.如权利要求5所述的学习系统,其特征在于,所述检测部为独立结构,通过有线或者无线的方式与所述学习系统的其他部分通信。
10.存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至4中任一项所述基于前置姿态判断的学习方法的步骤。
CN201811466678.3A 2018-12-03 2018-12-03 基于前置姿态判断的学习方法、学习系统和存储介质 Active CN109670416B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811466678.3A CN109670416B (zh) 2018-12-03 2018-12-03 基于前置姿态判断的学习方法、学习系统和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811466678.3A CN109670416B (zh) 2018-12-03 2018-12-03 基于前置姿态判断的学习方法、学习系统和存储介质

Publications (2)

Publication Number Publication Date
CN109670416A true CN109670416A (zh) 2019-04-23
CN109670416B CN109670416B (zh) 2023-04-28

Family

ID=66144673

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811466678.3A Active CN109670416B (zh) 2018-12-03 2018-12-03 基于前置姿态判断的学习方法、学习系统和存储介质

Country Status (1)

Country Link
CN (1) CN109670416B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203031609U (zh) * 2012-12-19 2013-07-03 西安理工大学 可模仿人书写的机器人
CN106660209A (zh) * 2016-07-07 2017-05-10 深圳狗尾草智能科技有限公司 智能机器人控制系统、方法及智能机器人
CN108115681A (zh) * 2017-11-14 2018-06-05 深圳先进技术研究院 机器人的模仿学习方法、装置、机器人及存储介质
CN207752446U (zh) * 2018-05-03 2018-08-21 林潼 一种基于Leap Motion设备的手势识别互动系统
CN108446610A (zh) * 2018-03-05 2018-08-24 厦门全感科技有限公司 用于识别动作的动作模式生成方法、装置、存储介质及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN203031609U (zh) * 2012-12-19 2013-07-03 西安理工大学 可模仿人书写的机器人
CN106660209A (zh) * 2016-07-07 2017-05-10 深圳狗尾草智能科技有限公司 智能机器人控制系统、方法及智能机器人
CN108115681A (zh) * 2017-11-14 2018-06-05 深圳先进技术研究院 机器人的模仿学习方法、装置、机器人及存储介质
CN108446610A (zh) * 2018-03-05 2018-08-24 厦门全感科技有限公司 用于识别动作的动作模式生成方法、装置、存储介质及系统
CN207752446U (zh) * 2018-05-03 2018-08-21 林潼 一种基于Leap Motion设备的手势识别互动系统

Also Published As

Publication number Publication date
CN109670416B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
JP6778198B2 (ja) 遠隔操作ロボットシステム
CN108187310B (zh) 基于力觉信息和姿态信息的肢体运动意图理解与上肢康复训练机器人及其控制方法
US20170348858A1 (en) Multiaxial motion control device and method, in particular control device and method for a robot arm
CN109590986B (zh) 机器人教学方法、智能机器人和存储介质
Jamone et al. Autonomous online learning of reaching behavior in a humanoid robot
CN201974998U (zh) 多足教育机器人
Natale et al. The icub platform: a tool for studying intrinsically motivated learning
CN102310409A (zh) 机器人装置及基于机器人装置的把持方法
CN109590987B (zh) 半智能示教学习方法、智能机器人和存储介质
KR102131097B1 (ko) 로봇 제어 시스템 및 이를 이용한 로봇 제어 방법
Peternel et al. Humanoid robot posture-control learning in real-time based on human sensorimotor learning ability
Natale et al. Icub
Morales et al. An experiment in the use of manipulation primitives and tactile perception for reactive grasping
CN109670416A (zh) 基于前置姿态判断的学习方法、学习系统和存储介质
Moore et al. Robotic grasping and manipulation through human visuomotor learning
RU2718513C1 (ru) Образовательно-исследовательский комплекс робот малый антропоморфный
Rueckert et al. Low-cost sensor glove with force feedback for learning from demonstrations using probabilistic trajectory representations
WO2008066273A1 (en) Apparatus and method for detecting posture of robot
Gobee et al. Humanoid robot upper limb control using microsoft kinect
Boboc et al. Learning new skills by a humanoid robot through imitation
CN109500815B (zh) 用于前置姿态判断学习的机器人
Ritter et al. Manual intelligence as a rosetta stone for robot cognition
CN117648042B (zh) 工业机器人拖拽示教移动控制方法及系统
Cheng et al. Tracking Control Design and Implementation of Multiaxial Controller for Social Robotic Devices
Xiao et al. Wawa: A tumbler-like household robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant