CN107450321A - 一种基于大脑情感学习的机械臂控制方法 - Google Patents

Abstract

本发明公开了一种基于大脑情感学习的机械臂控制方法，应用于机械臂控制器，包括：计算出感官输入SI和奖励信号REW；利用大脑情感学习模型对感官输入SI与奖励信号REW进行处理，并将杏仁体输出值与眶额皮质输出值的差值作为机械臂控制器的输出u，以控制机械臂运作；检测机械臂实际速度，并将其反馈到步骤A中进行感官输入SI和奖励信号REW的计算，用以实现机械臂的闭环控制。本发明能够实现机械臂在非线性系统中的精确控制。

Description

一种基于大脑情感学习的机械臂控制方法

技术领域

本发明涉及机械臂控制领域，尤其涉及一种基于大脑情感学习的机械臂控制方法。

背景技术

大脑情感学习(Brain Emotional Learning，简称BEL)是Moren等于2000年基于大脑中杏仁体组织和眶额皮层组织间信息传递方式而提出的计算模型，该大脑情感学习模型主要包括杏仁核和眶额皮质两部分，其基本工作原理如图1所示。随后，大脑情感学习模型迅速发展并并广泛应用于控制工程，实际应用表明大脑情感学习模型在非线性系统控制中具有优良性能和巨大潜能。

机械臂控制系统是一个机械结构复杂具有时变、耦合以及不确定干扰的非线性系统。随着对机械臂控制要求的不断提高，传统的机械臂控制方法很难满足控制精度要求较高的非线性模型的实际需求，例如：传统PD(P表示比例控制，D表示微分控制)控制方法广泛应用于控制精度要求不高的工业现场中，而对于控制精度要求较高的非线性模型控制效果很不理想。

发明内容

针对现有技术中的上述不足之处，本发明提供了一种基于大脑情感学习的机械臂控制方法，能够实现机械臂在非线性系统中的精确控制。

本发明的目的是通过以下技术方案实现的：

一种基于大脑情感学习的机械臂控制方法，应用于机械臂控制器，包括：

步骤一、按照以下公式计算出感官输入SI和奖励信号REW；

在公式一和公式二中：SI表示感官输入；REW表示奖励信号；e表示给定速度与机械臂实际速度的差值，机械臂实际速度的初始值为0；u表示机械臂控制器的输出，u的初始值为0；K₁、K₂、K₃、K₄和K₅均表示调节系数；

步骤二、利用大脑情感学习模型对感官输入SI与奖励信号REW进行处理，并将杏仁体输出值与眶额皮质输出值的差值作为机械臂控制器的输出u，以控制机械臂运作；

步骤三、检测机械臂实际速度，并将其反馈到步骤一中进行感官输入SI和奖励信号REW的计算，用以实现机械臂的闭环控制。

由上述本发明提供的技术方案可以看出，本发明提供的基于大脑情感学习的机械臂控制方法将机械臂给定速度与机械臂实际速度的差值通过特定函数计算出感官输入，同时将机械臂给定速度与机械臂实际速度的差值以及机械臂控制器的输出通过特定函数计算出奖励信号，然后采用大脑情感学习模型对感官输入和奖励信号进行处理，并将杏仁体输出值与眶额皮质输出值的差值作为机械臂控制器的输出，用以控制机械臂运作。整个控制过程为闭环控制，通过反馈的机械臂实际速度以及大脑情感学习模型能够对非线性信号快速响应，从而实现了机械臂的精确控制。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为现有技术中大脑情感学习模型的基本工作原理示意图。

图2为本发明实施例中基于大脑情感学习的机械臂控制方法的原理示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

下面对本发明所提供的基于大脑情感学习的机械臂控制方法进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。

如图2所示，一种基于大脑情感学习的机械臂控制方法，应用于机械臂控制器，其具体可以包括以下步骤：

步骤一、按照以下公式计算出感官输入SI和奖励信号REW：

在公式一和公式二中：SI表示感官输入；REW表示奖励信号；e表示机械臂给定速度与机械臂实际速度的差值，机械臂实际速度的初始值为0；u表示机械臂控制器的输出，u的初始值为0；K₁、K₂、K₃、K₄和K₅均表示调节系数。在实际应用中，K₁、K₂、K₃、K₄、K₅这几个调节系数的初始值可按本领域技术人员的经验来设定，在对机械臂进行多次实验后可获得大量各调节系数设定值，最终通过最小二乘法进行辨识即可获得针对特定机械臂的各调节系数设定值。

步骤二、利用大脑情感学习模型对感官输入SI与奖励信号REW进行处理，并将杏仁体输出值与眶额皮质输出值的差值作为机械臂控制器的输出u，以控制机械臂运作。

具体地，所述的利用大脑情感学习模型对感官输入SI与奖励信号REW进行处理，并将杏仁体输出值与眶额皮质输出值的差值作为机械臂控制器的输出u包括：

(1)丘脑接收感官输入SI，并将感官输入SI中的最大值传输到杏仁体，同时将接收到的感官输入信号全部输入到感觉皮层。

(2)按照以下公式计算杏仁体输出值：

A_i＝V_i·S_i 公式三

A_th＝V_th·max(S_i) 公式四

在公式三和公式四中：S_i表示感官输入，V_i表示杏仁体的预置可变连接权重，A_i表示对应每个S_i的杏仁体输出值，V_th表示杏仁体的预置可变连接权重最大值，A_th表示根据丘脑的最大刺激信号计算出的杏仁体输出值，i为大于0的整数值；其中，杏仁体的预置可变连接权重V_i可通过以下公式五来确定：

在公式五中：常数α表示杏仁体的学习速率，S_i表示感官输入，S_th表示感官输入最大值，REW表示奖励信号，A_i表示对应每个S_i的杏仁体输出值，A_th表示根据丘脑的最大刺激信号计算出的杏仁体输出值，max表示杏仁体的预置可变连接权重V_i不能减少。奖励信号REW与杏仁体输出值的差值决定了杏仁体的预置可变连接权重V_i的更新，进而促使了杏仁体学习过程的进行，一旦杏仁体学习到特定赋值，就会保持下去。

(3)按照以下公式计算眶额皮质输出值：

O_i＝W_i·S_i 公式六

在公式六中：S_i表示感官输入，W_i表示眶额皮质的预置可变连接权重，O_i表示对应每个S_i的眶额皮质输出值，i为大于0的整数值；其中，眶额皮质的预置可变连接权重W_i可通过以下公式七来确定：

ΔW_i＝β[S_i(E^*-REW)] 公式七

在公式七和公式八中：常数β表示眶额皮质的学习速率，S_i表示感官输入，E^*表示不含有丘脑连接信号的杏仁体输出与眶额皮质的差值，REW表示奖励信号，A_i表示对应每个S_i的杏仁体输出值，O_i表示对应每个S_i的眶额皮质输出值，A_th表示根据丘脑的最大刺激信号计算出的杏仁体输出值。眶额皮质的预置可变连接权重W_i与杏仁体的预置可变连接权重V_i的更新规则类似，只是眶额皮质的预置可变连接权重W_i可以减小或增大，以调整杏仁体的预置可变连接权重V_i不合适的响应。

(4)按照以下公式计算机械臂控制器的输出u：

在公式九中：A_i表示对应每个S_i的杏仁体输出值，O_i表示对应每个S_i的眶额皮质输出值，u表示机械臂控制器的输出。

步骤三、检测机械臂实际速度，并将其反馈到步骤一中进行感官输入SI和奖励信号REW的计算，用以实现机械臂的闭环控制。依次循环下去，从而继续整个控制过程。

进一步地，如图2所示，本发明所提供的基于大脑情感学习的机械臂控制方法，其信号数据流向如下：机械臂给定速度与机械臂实际速度的差值e经特定函数计算得到感官输入SI，同时机械臂给定速度与机械臂实际速度的差值e以及机械臂控制器的输出u通过特定函数计算出奖励信号REW，然后采用大脑情感学习模型对感官输入SI和奖励信号REW进行处理。在大脑情感学习模型中，感官信号SI输入到丘脑，丘脑将感官输入信号中的最大值传输到杏仁体，同时将接受到的感官输入信号全部输入到感觉皮层，感觉皮层再将输入信号分别传入到眶额皮脂和杏仁体，在这里丘脑负责筛选最大的感官输入信号，感觉皮层负责分配信号。而杏仁体的每一个节点收到由感觉皮层传输来的信号，该信号与杏仁体的预置可变连接权重V_i相乘，得到该杏仁体节点的输出值。同样，眶额皮质的每一个节点收到由感觉皮层传输来的信号，该信号与眶额皮质的预置可变连接权重W_i相乘，得到该眶额皮质节点的输出值。而另一路的奖励信号REW将信号分别传送到杏仁体和眶额皮质，再加上杏仁体和眶额皮质之间的信号传递，以实现它们的自适应权重的调节，在权重调节完成后，杏仁体输出值与眶额皮质输出值的作差得到机械臂控制器的输出，用于控制机械臂运作。

综上可见，本发明实施例能够实现机械臂在非线性系统中的精确控制。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims (2)

1.一种基于大脑情感学习的机械臂控制方法，应用于机械臂控制器，其特征在于，包括：

步骤一、按照以下公式计算出感官输入SI和奖励信号REW；

SI＝K₁e+K₂∫edt 公式一

REW＝K₃e+K₄∫edt+K₅u 公式二

在公式一和公式二中：SI表示感官输入；REW表示奖励信号；e表示给定速度与机械臂实际速度的差值，机械臂实际速度的初始值为0；u表示机械臂控制器的输出，u的初始值为0；K₁、K₂、K₃、K₄和K₅均表示调节系数；

步骤二、利用大脑情感学习模型对感官输入SI与奖励信号REW进行处理，并将杏仁体输出值与眶额皮质输出值的差值作为机械臂控制器的输出u，以控制机械臂运作；

步骤三、检测机械臂实际速度，并将其反馈到步骤一中进行感官输入SI和奖励信号REW的计算，用以实现机械臂的闭环控制。

2.根据权利要求1所述的基于大脑情感学习的机械臂控制方法，其特征在于，所述的利用大脑情感学习模型对感官输入SI与奖励信号REW进行处理，并将杏仁体输出值与眶额皮质输出值的差值作为机械臂控制器的输出u包括：

(1)丘脑接收感官输入SI，并将感官输入SI中的最大值传输到杏仁体，同时将接收到的感官输入信号全部输入到感觉皮层；

(2)按照以下公式计算杏仁体输出值：

A_i＝V_i·S_i 公式三

A_th＝V_th·max(S_i) 公式四

在公式三和公式四中：S_i表示感官输入，V_i表示杏仁体的预置可变连接权重，A_i表示对应每个S_i的杏仁体输出值，V_th表示杏仁体的预置可变连接权重最大值，A_th表示根据丘脑的最大刺激信号计算出的杏仁体输出值，i为大于0的整数值；其中，杏仁体的预置可变连接权重V_i可通过以下公式五来确定：

在公式五中：常数α表示杏仁体的学习速率，S_i表示感官输入，S_th表示感官输入最大值，REW表示奖励信号，A_i表示对应每个S_i的杏仁体输出值，A_th表示根据丘脑的最大刺激信号计算出的杏仁体输出值，max表示杏仁体的预置可变连接权重V_i不能减少；

(3)按照以下公式计算眶额皮质输出值：

O_i＝W_i·S_i 公式六

在公式六中：S_i表示感官输入，W_i表示眶额皮质的预置可变连接权重，O_i表示对应每个S_i的眶额皮质输出值，i为大于0的整数值；其中，眶额皮质的预置可变连接权重W_i可通过以下公式七来确定：

ΔW_i＝β[S_i(E^*-REW)] 公式七

在公式七和公式八中：常数β表示眶额皮质的学习速率，S_i表示感官输入，E^*表示不含有丘脑连接信号的杏仁体输出与眶额皮质的差值，REW表示奖励信号，A_i表示对应每个S_i的杏仁体输出值，O_i表示对应每个S_i的眶额皮质输出值，A_th表示根据丘脑的最大刺激信号计算出的杏仁体输出值；

(4)按照以下公式计算机械臂控制器的输出u：

在公式九中：A_i表示对应每个S_i的杏仁体输出值，O_i表示对应每个S_i的眶额皮质输出值，u表示机械臂控制器的输出。