CN108333941A

CN108333941A - 一种基于混合增强智能的云机器人协作学习方法

Info

Publication number: CN108333941A
Application number: CN201810150908.9A
Authority: CN
Inventors: 杜广龙; 张爱玲; 张博; 刘彩冰; 张平
Original assignee: South China University of Technology SCUT
Current assignee: South China University of Technology SCUT
Priority date: 2018-02-13
Filing date: 2018-02-13
Publication date: 2018-07-27

Abstract

本发明提出了一种基于混合增强智能的云机器人协作学习方法。该方法包括以下步骤：S1、采用NTP（Neural Task Programming，神经任务编程）的元学习方法，将一个大的任务递归的分解成简单的子任务，用于机器人示教；S2、基于人机交互技术实现机器人动作模仿学习，教会机器人技能；S3、利用增量的自我组织的神经网络(Self‑organizing incremental neural network,SOINN)，将分散的机器人技能汇总一起共享使用。本发明让多个机器人分别学习人类的技能，然后把学到的信息上传到服务器中，再共用服务器中的信息进行训练和调整。不仅能将学习时间大大缩短，还能对任务的多样性进行扩展。机器人进行合作式学习，通过网络（或称为云机器人）将经验传输给彼此，也就是让机器人可以相互学习。

Description

一种基于混合增强智能的云机器人协作学习方法

技术领域

本发明涉及人机交互领域，具体涉及一种基于混合增强智能的云机器人协作学习方法。

背景技术

目前人机协作的主要应用领域包括工业机器人、家庭服务机器人、医疗机器人、救援机器人以及特种机器人等，这些领域通常需要人类的参与和主导完成相对复杂的任务。过去往往是机器人先完成一些比较粗糙的工作，然后工人在下一个流水生产线上完成另一些高难度复杂的作业，但是这种模式一方面浪费大量的生产时间，因为有些工作是可以同时完成的；另一方面，有些任务中工人在机器人的辅助下或者机器人在工人的辅助下可以更高效率地完成作业。在这些生产线上，机器人可以完成一些比较繁琐和粗重的工作，而工人则可以与机器人一并完成一些高精度和复杂的任务。另一方面，针对机器人面对新任务环境时，如何借助用户快速地理解环境，并通过人类的协作快速地学习新技能以应对新的任务。

迄今已提出了不少机器人任务学习理解模型，且成功地应用于服务机器人领域，但仍然有很多问题有待解决或值得进一步研究。其一，多模态交互需要考虑多个通道之间的互补性，解决如何在交互通道获取的交互参数中提取任务所需的参数并组成可识别的完整交换任务。多模态信息融合的目的是解决如何用不同的交换通道提供该任务的交互参数。其二，现在的 AI 系统可以通过大量时间和经验从头学习一项复杂技能。但是，如果想使机器人掌握多种技能、适应多种环境，则不应该从头开始在每一个环境中训练每一项技能，而是需要机器人通过对以往经验的再利用来学习如何学习多项新任务，因此我们不应该独立地训练每一个新任务。其三，人类的指导也很重要，人类不仅要告诉机器人如何行动，还有如何帮助机器人。对于许多任务的技巧改如何部署，人类有着大量的洞见，把这些洞见转移给机器人，以帮助它们更快地进行学习，这一点也是很自然的。最后，人类之所以能够快速学习的关键是人类具备学会学习的能力，能够充分的利用其他人（包括自己）的知识经验来指导新任务的学习，所谓站在巨人的肩膀上才能看得更远，那么机器人也应该进行合作式学习，通过网络（或称为云机器人）将经验传输给彼此，也就是让机器人可以相互学习。

发明内容

为了解决上述现有技术所存在的问题，本发明提供一种基于混合增强智能的云机器人协作学习方法，实现使用多个机器人共同学习通用技能的可行的方法：直接从经验中学习行动技巧、通过共享获得其他机器人的技能和通过人类协助学习技能。

一种基于混合增强智能的云机器人协作学习方法，该方法包括以下步骤：

S1、采用NTP（Neural Task Programming，神经任务编程）的元学习方法，将一个大的任务递归的分解成简单的子任务，用于机器人示教；

S2、基于人机交互技术实现机器人动作模仿学习，教会机器人技能；

S3、利用增量的自我组织的神经网络(Self-organizing incremental neuralnetwork, SOINN)，将分散的机器人技能汇总一起共享使用。

进一步地，步骤S1中所述NTP（Neural Task Programming，神经任务编程）的元学习方法支持从演示和神经网络程序归纳中进行 few-shot 学习；NTP 以指定任务（例如，人类示范）作为输入，并将这一任务递归地分解成更精细的具体子任务，这些子任务被馈送到分级神经网络程序（hierarchical neural program），其中底层程序是与环境交互的可调用子程序；NTP将机器人移动物体这一任务逐层分解成子任务；对于每个子任务，NTP委托一个神经程序来执行任务；神经程序与前述的任务分解机制一起进行端对端训练。

进一步地，步骤S2利用人机交互技术和增强现实技术实现机器人教学，将在线教学与离线教学相结合；利用增强现实技术，使操作者能够在真实场景中快速地教和验证虚拟机器人；增强现实设备将虚拟机器人投射到真正的机器人上，并与真正的机器人重叠；通过使用增强现实设备，操作者可以使用三维手势和自然语言交互方法快速地教虚拟机器人；演示后，真正的机器人只需要重复虚拟机器人的动作；该方法避免了与实际机器人接触，不仅提高了教学效率，而且避免了教学失败时对机器人或工件的损坏，从而保证了操作者的安全。

进一步地，步骤S3引入增量的自我组织的神经网络即自组织增量学习神经网络，实现包括学习、记忆、联想、推理、常识理解的技能，最终目的是实现能够模拟人类大脑的供智能机械使用的通用型智能信息处理系统；云机器人类似于人类的互联网资源，对于不懂的任务，机器人先从云资源中搜索现成的解决方案，当一个机器人开始行动时，会在它所选择的行动上辅助调整，这样，行为的结果有时候会比经验的执行结果更好，有时候由于人类的错误指导又会更差一些；这能让每一个机器人都能探索处理某一任务的不同方法；机器人所采取的行动、它们的行为以及最终结果的记录，最终都会被发送到云机器人中；服务器会搜集所有机器人的信息，并循环使用（增量学习），改进用于评估不同状态和行动的神经网络。

进一步地，步骤S3中，机器人能通过人类的示教进行学习，也能通过其他机器人的经验知识进行学习，机器人类似于人类的思维，能够让自己学习新的任务，无需预先对任务编程；使用增量自我组织的神经网络算法，以适应不断学习新的信息，通过视觉、听觉、和触觉作为数据的输入，面对新的任务，机器人会自动寻找以前的经验，而且能通过无线网络与其他机器人分享知识和沟通。

本发明与现有技术相比，具有如下优点和有益效果：

1、本发明让多个机器人分别学习人类的技能，然后把学到的信息上传到服务器中，再共用服务器中的信息进行训练和调整。这种“集体主义”式的学习方法，不仅能将学习时间大大缩短，还能对任务的多样性进行扩展。

2、机器人通过对以往经验的再利用来学习如何学习多项新任务，不需要我们独立地训练每一个新任务

3、机器人进行合作式学习，通过网络（或称为云机器人）将经验传输给彼此，也就是让机器人可以相互学习。

附图说明

图 1为实例中基于NTP和云机器人的人机协作服务框架技术路线图。

图 2为本发明S1部分中采用NTP的元学习方法的任务分解过程。

图 3为本发明S2部分中示教学习系统的数据流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。

本发明的一种基于混合增强智能的云机器人协作学习方法，基于NTP和云机器人的人机协作服务框架，实现使用多个机器人共同学习通用技能。机器人接从经验中学习行动技巧、通过共享获得其他机器人的技能和通过人类协助学习技能。在该框架中，主要由云机器人，本地机器人，示教学习和基于NTP（神经任务编程）的任务理解四个部分组成。由N个相互独立的机器人组成本地机器人。云机器人指机器人信息存储和获取方式的一个学术概念，将分散的机器人技能汇总，并共享给本地机器人。当本地机器人接收到一个任务时，首先采用神经任务编程，将一个大的任务递归的分解成简单的子任务。再通过搜索云机器人服务查看是否已有解决方法。若有则直接调用；若没有，则通过人机协作中的示教学习完成子任务，从而完成总的任务。这种“集体主义”式的学习方法，不仅能将学习时间大大缩短，还能对任务的多样性进行扩展。

本实例一种基于混合增强智能的云机器人协作学习方法，其中，包括以下部分：

S1、采用NTP（Neural Task Programming，神经任务编程）的元学习方法，将一个大的任务递归的分解成简单的子任务，用于机器人示教。

其中S1采用一种新的神经任务编程（Neural Task Programming/NTP）的机器人学习框架，它支持从演示和神经网络程序归纳中进行 few-shot 学习。NTP 以指定任务作为输入，并将这一任务递归地分解成更精细的具体子任务。这些特定子任务被馈送到分级神经网络程序（hierarchical neural program），其中底层程序是与环境交互的可调用子程序。

Meta Learning（元学习）也叫做 Learning to Learn（学会学习）。传统的深度学习是基于大数据量下的广泛迭代训练，当遇到新信息时往往会出现模型失效的情况从而需要重新进行学习。元学习就是让机器经过一次学习后，可以无需事先了解新的场景环境，继续正常工作。NTP（Neural Task Programming，神经任务编程）是一种新颖的元学习方法。它是一种分层模型，将一个大的任务递归的分解成简单的子任务，适用于机器人示教。如下图2所示，NTP将机器人移动物体这一任务逐层分解成子任务。对于每个子任务，NTP委托一个神经程序来执行任务。神经程序与前述的任务分解机制一起进行端对端训练。

NTP有三个关键组件：任务说明解释器，任务说明编码器和核心网络。任务说明是一个可以描述整个任务步骤和最终目标的时间序列，例如人的示教视频或者物体的移动轨迹。任务说明解释器以任务说明为输入，选择执行以下两个操作之一：（1）当前程序不是最底层的程序时，它为下一个子程序预测相应的子任务说明; （2）当程序是最底层的（可以是机器人的基本技能或者机器人提供的API），任务说明编码器将任务说明转换成向量空间。核心网络把状态、程序、任务说明作为输入，产生下一个要调用的子程序以及程序结束的概率。

将NTP和机器人示教结合起来，可以提高机器人示教的鲁棒性和扩展性。在训练阶段，NTP逐层的将整个示教过程分解成多个子过程，每个子过程对应的神经程序和任务分解机制一起进行训练。例如，机械臂叠放物体这个过程可以分解成“拿起”“放下”两个子过程，“拿起”又可以分解成“机械臂靠近待抓物体”、“抓起物体”，“放下”可以分解成“机械臂靠近目标物”“放下物体”。在执行阶段，NTP根据需要完成的任务目标和当前的环境状态，递归的选择需要执行的子程序，一直选择到最底端的API，然后将这些API组合起来完成任务。对于底层的基本任务，可通过单点学习（One-Shot learning）将人机协作学习后得到的增量学习参数进行新技能的训练与已有技能的优化，这部分将在下一部分进行详细描述。

其中，S2实现基于人机交互技术实现了机器人动作模仿学习。使用一种利用自然人机交互技术和增强现实技术实现机器人教学的新方法，是一种将在线教学与离线教学相结合的折中方法。利用增强现实技术，使操作者能够在真实场景中快速地教和验证虚拟机器人。增强现实设备将虚拟机器人投射到真正的机器人上，并与真正的机器人重叠。通过使用增强现实设备，操作者可以使用三维手势和自然语言的交互方法快速地教虚拟机器人。演示后，真正的机器人只需要重复虚拟机器人的动作。

系统的数据流程图如图3所示。首先，Kinect摄像头收集操作员的语音命令。操作人员利用语音命令在机器人上进行切换，决定选择准确的语音教学模式或粗糙的手势教学模式进行教学。在机器人编程中，多线程方法被用来实现语音或手势来教机器人。其中语音控制优先级高于姿态控制，所以当同时有两种不同的指令时，机器人将按照语音指示动作。在给语音指令，操作员的声音将被微软语音SDK收集。此外，利用最大熵算法建立最大熵模型，将自然语音映射到机器人控制指令中。对于手部运动，一般采用卡尔曼滤波（KF）和粒子滤波（PF）等不同的滤波方法，得到更为精确可靠的数据。由于KF和PF可以估计线性高斯状态空间模型的状态，并分别处理高度非线性模型，这将是一个很好的方法来集成它们，以减少计算复杂度。因此，操作者可以很方便地用手势和语音来教虚拟机器人。

S3、利用增量的自我组织的神经网络(Self-organizing incremental neuralnetwork, SOINN)，将分散的机器人技能汇总一起共享使用，探索基于云机器人的共享协作学习模型。

其中，S3中云机器人并不是指某一个机器人，也不是某一类机器人，而是指机器人信息存储和获取方式的一个学术概念。这种信息存取的方式的好处是显而易见的。那么，云机器人类似于人类的互联网资源，对于不懂的任务，机器人可以先从云资源中搜索现成的解决方案（相同的任务解决方法），当一个机器人开始行动时，我们会在它所选择的行动上辅助调整，这样，行为的结果有时候会比经验的执行结果更好一些，有时候由于人类的错误指导又会更差一些。这能让每一个机器人都可以探索处理某一任务的不同方法。关于机器人所采取的行动、它们的行为以及最终结果的记录，最终都会被发送到云机器人中。服务器会搜集所有机器人的信息，并循环使用（增量学习），改进用于评估不同状态和行动的神经网络。

自组织增量学习神经网络实现包括学习、记忆、联想、推理、常识理解的技能，最终目的是实现能够模拟人类大脑的供智能机械使用的通用型智能信息处理系统。机器人可以通过人类的示教进行学习，也可以通过其他机器人的经验知识进行学习，机器人可以类似于人类的思维，能够让自己学习新的任务，无需预先对任务编程。“SOINN”使用增量自我组织的神经网络算法，以适应不断学习新的信息，可以通过视觉、听觉、和触觉作为数据的输入，面对新的任务，机器人会自动寻找以前的经验，而且可以通过无线网络与其他机器人分享知识和沟通。

Claims

1.一种基于混合增强智能的云机器人协作学习方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的一种基于混合增强智能的云机器人协作学习方法，其特征在于，步骤S1中所述NTP（Neural Task Programming，神经任务编程）的元学习方法支持从演示和神经网络程序归纳中进行 few-shot 学；NTP 以指定任务作为输入，并将这一任务递归地分解成更精细的具体子任务，这些子任务被馈送到分级神经网络程序（hierarchicalneural program），其中底层程序是与环境交互的可调用子程序；NTP将机器人移动物体这一任务逐层分解成子任务；对于每个子任务，NTP委托一个神经程序来执行任务；神经程序与前述的任务分解一起进行端对端训练。

3.根据权利要求1所述的一种基于混合增强智能的云机器人协作学习方法，其特征在于，步骤S2利用人机交互技术和增强现实技术实现机器人教学，将在线教学与离线教学相结合；利用增强现实技术，使操作者能够在真实场景中快速地教和验证虚拟机器人；增强现实设备将虚拟机器人投射到真正的机器人上，并与真正的机器人重叠；通过使用增强现实设备，操作者可以使用三维手势和自然语言交互方法快速地教虚拟机器人；演示后，真正的机器人只需要重复虚拟机器人的动作。

4.根据权利要求1所述的一种基于混合增强智能的云机器人协作学习方法，其特征在于，步骤S3引入增量的自我组织的神经网络即自组织增量学习神经网络，实现包括学习、记忆、联想、推理、常识理解的技能，最终目的是实现能够模拟人类大脑的供智能机械使用的通用型智能信息处理系统；云机器人类似于人类的互联网资源，对于不懂的任务，机器人先从云资源中搜索现成的解决方案，当一个机器人开始行动时，会在它所选择的行动上辅助调整，这样，行为的结果有时候会比经验的执行结果更好，有时候由于人类的错误指导又会更差一些；这能让每一个机器人都能探索处理某一任务的不同方法；机器人所采取的行动、它们的行为以及最终结果的记录，最终都会被发送到云机器人中；服务器会搜集所有机器人的信息，并循环使用即增量学习，改进用于评估不同状态和行动的神经网络。

5.根据权利要求4所述的一种基于混合增强智能的云机器人协作学习方法，其特征在于，步骤S3中，机器人能通过人类的示教进行学习，也能通过其他机器人的经验知识进行学习，机器人类似于人类的思维，能够让自己学习新的任务，无需预先对任务编程；使用增量自我组织的神经网络算法，以适应不断学习新的信息，通过视觉、听觉、和触觉作为数据的输入，面对新的任务，机器人会自动寻找以前的经验，而且能通过无线网络与其他机器人分享知识和沟通。