CN105936047A - 仿脑机器人控制与学习系统 - Google Patents

Abstract

本发明公开了一种仿脑机器人控制与学习系统，其包括输入输出模块、信息存储模块、控制模块，所述输入输出模块将采集到的信息保存至所述信息存储模块中，所述控制模块通过调用所述信息存储模块中的信息进行生成行为模式，所述输入输出模块根据该行为模式进行执行任务；其中，所述控制模块进一步包括以下三层架构：反应层、认知层、元认知层，所述信息存储模块由许多相互关联的信息块组成，且各个信息块之间通过递归方式进行定义；所述反应层、认知层、元认知层分别与所述信息存储模块连接；能够让机器人在仅有少量预设知识和预定义行为的条件下启动，通过与用户的不断交互来强化自身的执行能力，自适应不同的应用场景，满足不同用户的个性化需求。

Description

仿脑机器人控制与学习系统

技术领域

本发明涉及人工智能技术领域，特别是一种仿脑机器人控制与学习系统。

背景技术

机器人技术作为20世纪人类最伟大的发明之一，自60年代初问世以来，经历40年的发展已取得长足的进步。工业机器人在经历了诞生、成长、成熟期后，已成为制造业中不可少的核心装备。特种机器人作为机器人家族的后起之秀，由于其用途广泛而大有后来居上之势，仿人形机器人、农业机器人、服务机器人、水下机器人、医疗机器人、军用机器人、娱乐机器人等各种用途的特种机器人纷纷面世，而且正以飞快的速度向实用化迈进。

但是，现有技术中对机器人的研究大多局限于模仿人类的动作语言、人体造型、人造肌肉、人造皮肤等，例如模仿人类的步行、发声、表情、运动等，制造各种美女机器人等，但这些机器人一般是为了解决某一特定问题而设计的，只能根据预设的工作场景来执行对应的任务，需要大量的预先编程和设置，缺乏一个统一的框架来模拟人的认知能力，用户购买机器人后，如果没有二次开发的能力，便难以教会机器人处理新的任务，无法做到像人一样自主学习、快速适应不同的环境，适用范围受到极大的限制。

发明内容

本发明为解决上述问题，提供了一种仿脑机器人控制与学习系统，能够模仿人脑的自主学习过程，自适应不同的应用场景，满足不同用户的个性化需求。

为实现上述目的，本发明采用的技术方案为：

一种仿脑机器人控制与学习系统，其包括输入输出模块、信息存储模块、控制模块，所述输入输出模块将采集到的信息保存至所述信息存储模块中，所述控制模块通过调用所述信息存储模块中的信息进行生成行为模式，并将该行为模式传送至所述输入输出模块，所述输入输出模块根据该行为模式进行执行任务；其中，所述控制模块进一步包括以下三层架构：反应层、认知层、元认知层，所述信息存储模块由许多相互关联的信息块组成，且各个信息块之间通过递归方式进行定义；所述反应层、认知层、元认知层分别与所述信息存储模块连接，所述反应层通过所述信息块之间的Hebbian学习进行模拟人脑的快速的、本能的反应，所述认知层对所述反应层的学习结果进一步运用强化学习算法进行模拟行为学习中反复试错的认知过程，所述元认知层根据所述认知层的学习结果形成新的行为模式。

优选的，所述信息存储模块进一步包括注意焦点存储单元、本地存储单元、云存储单元，其中，所述注意焦点存储单元用于存储与当前任务紧密关联的信息，所述云存储单元用于备份历史信息。

优选的，所述信息存储模块中的信息块是采用基于广义图的知识表示方式和存储方式，所述信息块位于所述广义图中的顶点或边，且所述信息块之间还可以嵌套组合形成新的信息块。

优选的，所述输入输出模块进一步包括感知器和执行器，所述感知器用于采集信息并将采集到的信息保存至所述信息存储模块中，所述执行器用于根据所述行为模式执行所述控制模块交付的任务。

优选的，所述信息块中还定义了Hebbian关系的置信度，当置信度小于预设阈值时，则删除对应的Hebbian关系。

优选的，所述元认知层进一步包括系统监控单元、参数调节单元、初始化学习单元、信息整理单元，其中，所述系统监控单元用于监控系统的各个模块和过程的资源使用情况，所述参数调节单元根据所述系统监控单元提供的资源使用情况进行分配和调节系统资源，所述初始化学习单元用于在所述认知层进行强化学习之前进行初始化处理，所述信息整理单元通过利用遗忘机制和泛化机制对所述信息存储模块中的信息块进行整理。

优选的，所述信息存储模块中设有用于存储与当前任务紧密关联的信息的注意焦点存储单元，在所述认知层进行强化学习之前，所述初始化学习单元加载与当前任务紧密关联的信息块到所述注意焦点存储单元中。

本发明的有益效果是：

(1)、本发明通过采用由反应层、认知层、元认知层的三层架构的控制器实现自主学习功能，能够让机器人在仅有少量预设知识和预定义行为的条件下启动，通过与用户的不断交互来强化自身的执行能力，自适应不同的应用场景，满足不同用户的个性化需求；

(2)、所述信息存储模块进一步分为注意焦点存储单元、本地存储单元、云存储单元，仅将与当前任务紧密关联的信息存储于所述注意焦点存储单元，提高机器人的运算速度和工作效率；

(3)、所述信息块中还定义了Hebbian关系的置信度，当置信度小于预设阈值时，则删除对应的Hebbian关系，从而简化所述信息存储模块中的信息结构，仅保留有用的信息，能够进一步提高机器人的运算速度；

(4)、所述元认知层进一步包括系统监控单元、参数调节单元、初始化学习单元、信息整理单元，能够模拟人脑的抽象能力实现对系统的各个模块的宏观调控；

(5)、所述控制模块的反应层、认知层、元认知层分别单独与所述信息存储模块连接，系统各模块各自向所述信息存储模块进行读、写信息，实现高度松耦合的关联，从而使得各个模块能够各自使用不同的算法，控制更灵活更方便。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明一种仿脑机器人控制与学习系统的整体结构示意图；

图2本发明的信息块的结构关系示意图；

图3为图1中的反应层的Hebbian学习示例图；

图4为图1中的认知层的强化学习示例图。

图5为图1中的元认知层的结构示意图。

具体实施方式

为了使本发明所要解决的技术问题、技术方案及有益效果更加清楚、明白，以下结合附图及实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明涉及仿脑机器人控制与学习系统，尤其指一种模拟人类心理认知过程，能够自主学习与调控的机器人系统。本发明由信息存储模块、控制模块，以及输入输出模块三大模块构成。

如图1所示，本发明的一种仿脑机器人控制与学习系统，其包括输入输出模块、信息存储模块、控制模块，所述输入输出模块将采集到的信息保存至所述信息存储模块中，所述控制模块通过调用所述信息存储模块中的信息进行生成行为模式，并将该行为模式传送至所述输入输出模块，所述输入输出模块根据该行为模式进行执行任务。

所述信息存储模块由许多相互关联的信息块组成，且各个信息块之间通过递归方式进行定义；所述信息存储模块进一步包括注意焦点存储单元、本地存储单元、云存储单元，其中，所述注意焦点存储单元用于存储与当前任务紧密关联的信息，所述云存储单元用于备份历史信息，另外，本地存储单元则是用于存储与当前任务较无关联的其他信息。所述信息存储模块中的信息块是采用基于广义图的知识表示方式和存储方式，所述信息块位于所述广义图中的顶点或边，且所述信息块之间还可以嵌套组合形成新的信息块(如图2所示)。所述信息块中还定义了Hebbian关系的置信度，当置信度小于预设阈值时，则删除对应的Hebbian关系。

如图2所示，本实施例中，所示信息块是通过如下的递归方式进行定义的：每个信息块M是一个由(I,R,O,C)构成的四元组，表示从I到O，具有关系R，置信度为C，其中I,R,O各自又可以是一个信息块。最基本的信息块是I和O均为空集的信息块，即(R,C)。例如：图2表示从I到O有关系R，置信度为0.89，而I和O各自又都是信息块。I表示从B到C有关系A，置信度为0.35，从D到F有关系E，置信度为0.74。

所述控制模块进一步包括以下三层架构：反应层(如图3所示)、认知层(如图4所示)、元认知层(如图5所示)，各自模拟人类某一方面的心理认知能力。所述反应层、认知层、元认知层分别与所述信息存储模块连接，所述反应层通过所述信息块之间的Hebbian学习进行模拟人脑的快速的、本能的反应，所述认知层对所述反应层的学习结果进一步运用强化学习算法进行模拟行为学习中反复试错的认知过程，所述元认知层根据所述认知层的学习结果形成新的行为模式，该元认知层还负责监控系统各模块的运行情况，再通过参数调节为各模块分配系统资源，以及学习前的初始化和学习后的信息存储模块整理，通过遗忘和泛化两种机制提高系统运行效率和机器人的适应性。。

如图3所示的反应层中的Hebbian学习示例。反应层中的学习过程模拟的是生物神经元之间的Hebbian学习。具体实施方法是：每隔一个学习时间间隔T，先对注意焦点中的信息块，按照它们进入注意焦点的时间先后顺序进行排序。然后，根据下表所示的规则，更新、添加或删除相邻两个信息块之间的Hebbian关系。

如图4所示的认知层中的强化学习示例。认知层中进行的强化学习过程模拟的是行为学习中反复试错的过程。具体实施采用的是强化学习中的Q学习算法。Q学习需要的状态集合S和动作集合A，通过反应层中的Hebbian关系得到。例如：图4表示状态集合S＝{S0,S1,S2,S3}，在动作集合A＝{A1,A2,A3,A4,A5,A6,A7,A8}下的状态转换关系。信息块之间的连线表示Hebbian关系(为保持简洁，图4中省略了表示Hebbian关系的信息块)。Hebbian关系中的置信度表示相应状态转换的概率，或者执行某个动作后达成某个状态的概率。

如图5所示的元认知层的具体设计方案。元认知层模拟的是人的抽象认知能力，与机器人执行的具体任务无关。本实施例中，所述元认知层进一步包括系统监控单元、参数调节单元、初始化学习单元、信息整理单元，其中，所述系统监控单元用于监控系统的各个模块和过程的资源使用情况，包括CPU、内存、存储容量，以及网络请求；所述参数调节单元根据所述系统监控单元提供的资源使用情况进行分配和调节系统资源，根据当前系统状态以及任务需求，为各模块和过程分配系统资源，调控感知器、执行器以及学习过程的具体执行；所述初始化学习单元用于在所述认知层进行强化学习之前进行初始化处理，即，初始化学习是在学习过程开始前，根据机器人过往的经验，加载相关的信息块到注意焦点中。具体过程是从表征当前感知和目标状态(仅用于认知层学习)的信息块开始，依次加载与之有直接或间接Hebbian关系的其他信息块，优先考虑有直接关联且置信度较高的信息块；所述信息整理单元通过利用遗忘机制和泛化机制对所述信息存储模块中的信息块进行整理，即，信息整理包含遗忘和泛化两种机制：通过定期修剪置信度接近0的关系，即模拟人的遗忘机制，去除信息块之间冗余的连接，提高系统运行效率；通过聚类算法，从已有的知识中抽象出新的概念，泛化机器人已有的知识和能力，以应对其他相近的任务需求(模拟人举一反三的能力)。并且，所述信息存储模块中设有用于存储与当前任务紧密关联的信息的注意焦点存储单元，在所述认知层进行强化学习之前，所述初始化学习单元加载与当前任务紧密关联的信息块到所述注意焦点存储单元中。

所述输入输出模块进一步包括感知器和执行器，所述感知器用于采集信息并将采集到的信息保存至所述信息存储模块中，所述执行器用于根据所述行为模式执行所述控制模块交付的任务。具体的，感知器将采集到的数据，经去噪、特征抽取、符号化等操作后，保存到信息存储模块中，交由控制模块处理；执行器执行信息存储模块中保存的，由控制模块规划好的各种操作。输入输出模块负责机器人与外部环境交互的直接交互。这里的外部环境依机器人各类的不同而定，例如对于虚拟机器人，其外部环境就是机器人所处的虚拟环境，而不是真实的环境。

本发明的仿脑机器人，其信息存储模块采用基于广义图的知识表示和存储方式，通过统一的信息存储模块，实现系统各模块高度松耦合的关联。控制模块又细分为三层，分别模拟人类不同层次的认知和学习能力：反应层，模拟人类快速的、本能的反应；认知层，模拟人类的一般认知能力，包括注意机制、动作规划和强化学习过程；元认知层，模拟人类抽象的元认知能力，包括产生新的行为模式、初始化学习、信息整理，以及性能监视。输入输出模块中的感知器和执行器则负责与外部环境的直接交互。该系统能够让机器人在仅有少量预设知识和预定义行为的条件下启动，通过与用户的不断交互，自主学习，自适应不同的应用场景，以及不同用户的个性化需求。本发明尤其适用于服务机器人，包括各类实体机器人(如咨询机器人、送餐机器人、娱乐机器人、教育机器人、陪伴机器人、医疗机器人)和虚拟机器人(如聊天机器人软件)。

本发明主要特点概括如下：

1.统一信息存储：包含机器人感知、动作在内的全部知识都采用统一的知识表示，为协调系统各模块，以及融合不同的学习机制打下基础。整个信息存储模块包含许多信息块，每个信息块又通过递归的方式定义，信息块之间相互关联形成广义图的结构。每个信息块内还定义了置信度，可灵活运用于各类涉及概率的控制和学习算法。

2.高度松耦合：系统各模块只与中央存储的统一的信息存储模块直接关联，通过分别向信息存储模块读、写信息，间接交换数据。不同模块先是将读、写请求发送到消息队列，然而再由信息存储模块异步处理消息队列中的读、写请求。注意焦点存储的是与当前任务紧密相关的数据，与当前任务没有明显相关的数据存放在本地存储中，历史数据则备份在云存储中。将系统模块之间多对多的关系，简化为多对一的关系。系统各模块可以根据需要，灵活运用不同的算法，采用最适合的实现方式。

3.分层认知模型：控制模块采用反应层、认知层和元认知层的三层架构。每个层次各自采用不同的控制与学习算法，分别模拟人类的本能反应、一般认知，以及元认知能力。各层之间相对独立运作，但又通过统一的信息存储模块相互关联。例如，认知层中的强化学习过程，其基础是反应层中学习到的Hebbian关系，而其学习前的初始化、学习过程中的资源分配和参数调节，包括学习后的信息存储模块整理，又受到元认知层的调控。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

并且，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、系统、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、系统、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、系统、物品或者设备中还存在另外的相同要素。另外，本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

上述说明示出并描述了本发明的优选实施例，应当理解本发明并非局限于本文所披露的形式，不应看作是对其他实施例的排除，而可用于各种其他组合、修改和环境，并能够在本文发明构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。

Claims (7)

1.一种仿脑机器人控制与学习系统，其特征在于，包括输入输出模块、信息存储模块、控制模块，所述输入输出模块将采集到的信息保存至所述信息存储模块中，所述控制模块通过调用所述信息存储模块中的信息进行生成行为模式，并将该行为模式传送至所述输入输出模块，所述输入输出模块根据该行为模式进行执行任务；其中，所述控制模块进一步包括以下三层架构：反应层、认知层、元认知层，所述信息存储模块由许多相互关联的信息块组成，且各个信息块之间通过递归方式进行定义；所述反应层、认知层、元认知层分别与所述信息存储模块连接，所述反应层通过所述信息块之间的Hebbian学习进行模拟人脑的快速的、本能的反应，所述认知层对所述反应层的学习结果进一步运用强化学习算法进行模拟行为学习中反复试错的认知过程，所述元认知层根据所述认知层的学习结果形成新的行为模式。

2.根据权利要求1所述的一种仿脑机器人控制与学习系统，其特征在于：所述信息存储模块进一步包括注意焦点存储单元、本地存储单元、云存储单元，其中，所述注意焦点存储单元用于存储与当前任务紧密关联的信息，所述云存储单元用于备份历史信息。

3.根据权利要求2所述的一种仿脑机器人控制与学习系统，其特征在于：所述信息存储模块中的信息块是采用基于广义图的知识表示方式和存储方式，所述信息块位于所述广义图中的顶点或边，且所述信息块之间还可以嵌套组合形成新的信息块。

4.根据权利要求1所述的一种仿脑机器人控制与学习系统，其特征在于：所述输入输出模块进一步包括感知器和执行器，所述感知器用于采集信息并将采集到的信息保存至所述信息存储模块中，所述执行器用于根据所述行为模式执行所述控制模块交付的任务。

5.根据权利要求1至4任一项所述的一种仿脑机器人控制与学习系统，其特征在于：所述信息块中还定义了Hebbian关系的置信度，当置信度小于预设阈值时，则删除对应的Hebbian关系。

6.根据权利要求1至4任一项所述的一种仿脑机器人控制与学习系统，其特征在于：所述元认知层进一步包括系统监控单元、参数调节单元、初始化学习单元、信息整理单元，其中，所述系统监控单元用于监控系统的各个模块和过程的资源使用情况，所述参数调节单元根据所述系统监控单元提供的资源使用情况进行分配和调节系统资源，所述初始化学习单元用于在所述认知层进行强化学习之前进行初始化处理，所述信息整理单元通过利用遗忘机制和泛化机制对所述信息存储模块中的信息块进行整理。

7.根据权利要求6所述的一种仿脑机器人控制与学习系统，其特征在于：所述信息存储模块中设有用于存储与当前任务紧密关联的信息的注意焦点存储单元，在所述认知层进行强化学习之前，所述初始化学习单元加载与当前任务紧密关联的信息块到所述注意焦点存储单元中。