CN1833490A - 智能动物的虚拟阳性强化方法 - Google Patents

Abstract

本发明公开一种智能动物的虚拟阳性强化方法，采取由PC机控制的发射站发出指令信号，由一个背在受训动物背部或固定在其他适宜位置的控制器电路接收指令信号，再由控制器电路作出相应刺激信号，并将刺激信号传输至已植入受训动物三个神经核团三对微电极中某一对或几对微电极，促使受训动物做出设定动作；其中两对微电极分别植入左、右两侧的体感皮层代表区S1，另外一对微电极植入受训动物团腹侧被盖区或中脑黑质。与现有技术相比，有了突破性的进展，选用神经核团范围得到拓宽，并被验证为有效刺激核团配组，能够达到甚至优于现有技术所能实现的强化训练效果。

Description

智能动物的虚拟阳性强化方法

技术领域

本发明涉及训练智能动物的阳性强化方法，特别涉及其中一种虚拟阳性强化方法。

背景技术

传统训练动物的方法，一般是采取以食物作为奖赏的阳性强化为手段。纽约州立大学医学中心的研究者用现代电子信息技术与生理学相结合创造出一种虚拟阳性强化方法，该方法是：以约为一根头发丝粗细直径的晶须(针状单晶)制作三对电极，分别植入鼠脑三个部位：一对植入下丘脑的内侧前脑束(MFB)，作为阳性强化刺激中枢(此处为欣快细胞群)，在对MFB处进行刺激，可使鼠产生强烈兴奋，如食欲亢进、性欲亢奋、有渴感等，从而使鼠由兴奋而向前奔跑；另两对电极分别植入左、右两侧的体感皮层代表区S1，在刺激左、右二体感皮层区时，分别在身体的右及左侧有触觉的幻觉。电极粘在鼠颅骨顶部并联接到载于鼠背上的一个小型背包中的一个电子微处理器上，实验者可在500米处以一个便携式遥控器发出信号到微处理器从而遥控刺激电极。训练首先在迷宫中进行，实验者刺激脑一侧的晶须，如鼠作出相应正确的转向动作(如向左或向右转)，立即给予MFB处一个阳性强化刺激，以作奖赏；如鼠作出错误的选择，则取消对MFB奖赏性刺激达数秒钟；鼠在作上述训练连续达7-8次后(每次十分钟)，鼠对向前、左转、右转的指令应答基本准确。嗣后，实验者在开放环境中发现它们能对指令作出瞬时正确反应，在MFB阳性强化下，可以指令鼠越过任何它们能克服的地区如大障碍物、建筑物、能作攀缘或沿台阶下走及跳跃等。上述研究成果只选择出“下丘脑的内侧前脑束”(Medial Forebrain Bundle，MFB，鼠脑中的愉悦中枢之一)和左右两侧的“第一(又称初级)躯体感觉皮层S1”三个神经核团作为电极植入刺激核团，并延用至今。

发明内容

本发明在于提供一种智能动物的虚拟阳性强化方法，该方法新筛选出另外两个作为阳性强化刺激中枢的神经核团腹侧被盖区(ventral tegmental area，VTA)和中脑黑质(substantia nigra，SN)，这2个神经核团中的每一个均可代替下丘脑的内侧前脑束MFB作为阳性强化刺激中枢。

其技术解决方案是：

一种智能动物的虚拟阳性强化方法，采取由PC机控制的发射站发出指令信号，由一个背在受训动物背部或固定在其他适宜位置的控制器电路接收指令信号，再由控制器电路作出相应刺激信号，并将刺激信号传输至已植入受训动物三个神经核团三对微电极中某一对或几对微电极，促使受训动物做出设定动作；其中两对微电极分别植入左、右两侧的体感皮层代表区S1，另外一对微电极植入受训动物团腹侧被盖区或中脑黑质。

上述微电极采用直径约100um、尖端约30um的不锈钢针灸针。

上述微电极，其植入是这样实现的：将不锈钢针灸针，经清洁处理后，用树脂均匀涂于表面，经烘干制成；手术植入，动物麻醉后，固定于脑立体定位仪上，手术使其颅骨完全暴露，去除骨膜，并用适量3％的双氧水或乙醚擦拭颅骨以去除表面油脂，在三维立体定位仪的引导下，对各对微电极植入位置进行定位，并在定位点用颅骨钻钻孔，将电极对在立体定位仪的引导下匀速缓慢的植入脑内并用牙科水泥牢固固定于颅骨表面，保证各神经核团定位点及电极植入准确率在95％以上，术后经消毒处理。

本发明智能动物的虚拟阳性强化方法，动物的电刺激核团除继续延用现有技术中的左、右两侧的体感皮层代表区S1外，还选择出另外两个神经核团腹侧被盖区和中脑黑质，用以代替现有技术中下丘脑的内侧前脑束MFB作为阳性强化刺激中枢。这两个神经核团也是哺乳类动物所共有的。与现有技术相比，有了突破性的进展，选用神经核团范围得到拓宽，并被验证为有效刺激核团配组。其能够达到甚至优于现有技术所能实现的强化训练效果。

附图说明

图1为本发明中采取的遥控导航系统原理框图。

图2为上述遥控导航系统原理框图。

图3为本发明中控制器电路的程序流程图。

具体实施方式

结合参看图1、图2及图3，一种智能动物的虚拟阳性强化方法，本实施方式选用的受训动物为实验室大白鼠，采取由PC机1控制的发射站2发出指令信号，由一个背在受训动物4背部或固定其他适宜位置的控制器电路3接收指令信号，再由控制器电路3作出相应刺激信号，并将刺激信号传输至已植入受训动物4三个神经核团三对微电极中某一对或几对微电极，促使受训动物做出设定动作；上述微电极采用直径约100um、尖端约30um的不锈钢针灸针，6支微电极分做3对，其中一对微电极植入团腹侧被盖区或中脑黑质，另外两对分别植入左、右两侧的体感皮层代表区S1。

本方式采取下述遥控导航系统，该系统是PC机运行显示脑微刺激参数，且参数可调的指令发送程序，通过与其USB口相连的指令发射器采用无线电波的方式向控制器发送指令，大鼠背上的指令接收器接收到正确指令后，再经由UART(通用串行异步接口)传入到控制信号发生器，启动控制信号输出程序，以产生特定参数(脉宽、频率、个数等)的双相TTL电平脉冲。该脉冲通过导线和植入到脑部的微电极引入到大鼠神经系统相关核团：左右两侧胡须映射区S1，以及欣悦运动中枢MFB，在电刺激的作用下，大鼠神经系统会产生其左侧或者右侧胡须碰到东西的幻觉，使其产生正确的自动规避行为，并通过刺激MFB进行强化训练，可达到对其进行准确控制的目的。该系统由两部分组成：一个是供控制人员操作并发出控制指令的PC机1控制发射站2，另一个是背在大鼠的背部并与植入到其脑部相关核团的电极相连的控制器电路3，重点参看图1。上述PC机指令发送程序及控制发射站采取下述技术方式：该指令发生程序以Visual C++书写，并可以实时调整控制信号的各种参数，如：频率、脉宽、强度、脉冲个数、组频率、重复次数等；并且可以选择刺激方式，如：单刺激、连续刺激；还可以设定PC机串口的各种通信参数，如：串口号、波特率、数据位等。选定参数以后，会在“发送内容”框中显示该指令的特定代码，此后可以随时通过点击功能按钮：“左拐”、“右拐”、“奖赏”，向PC机的串口送出一条指令。该指令由特定ID(身份认证码)和代表控制信息各种参数的特定数码组成，其中ID对于屏蔽传递的噪声、减少干扰、以及控制多个大鼠是十分必要的。每一条指令在发送时其各种参数是确定的，这些命令作为ASC II码字符串，以2400的波特率，通过串口至发射器。上述发射器电路能量由5V的稳压电源经过降压稳压到3.3V供给。首先，计算机串口的RS232信号经过电平转换电路转换为指令发射器便于处理的TTL电平信号，然后传送至指令发送器。指令发射器中的MCU采用PHILIPS公司生产的P89LPC921F型单片机。该单片机工作电压低，可工作在2.4V-3.6V，功耗低、体积小、集成度高、成本低，并且I/O可承受+5V的TTL电平信号。另外，自身带有片内时钟振荡源和4kBFlash程序存储器，以及1K bytes可擦除扇区，因此其外围元器件少，且不必扩展，有利于简化电路，提高工作可靠性。与其接口的单片射频芯片采用Chipcon公司生产的微功率单片集成收发射频芯片CC1000，该芯片可工作在2.4V-3.6V，功耗低、体积小、灵敏度高、外围元件少、抗干扰能力强。该指令发射器采用基于FSK(Frequency-Shift Keying，移频键控方式)的调制方式，并采用FEC(Forward Error Correction，前向纠错)信道编码技术。该编码技术不需要反馈信道，译码实时性好，发送端发送时能纠正错误的编码；在接收端根据接收到的码和编码规则，能够自动纠正传输中的错误，很大程度上提高了数据抗突发干扰和随机干扰的能力。其工作频率在ISM频段，无需申请频点，载频频率433MHz，提供4个信道。另外，该指令发射器可采用外接天线，在视距情况下，天线位置大于3m时，可靠传输距离达300m。重点参看图2中A部分。控制器电路由两块印刷电路板组成：指令接收器和控制信号发生器。将其分开是为了使实验设备积木化，以提高设备利用率和搭配灵活度。其能量由3.8V，500Mah的聚合物锂电池提供，重点参看图2中B部分。指令接收器有一个螺旋状天线和一个LED指示灯，当接收到正确指令后将点亮LED指示灯。指令接收器也采用FSK的调制方式和FEC信道编码技术，其硬件组成也同指令发射器。接收到的指令通过串口(USART)传入到控制信号发生器。控制信号发生器的MCU采用Atmel公司的Atmega128L，该微处理器功能强大，集成度高，片内集成了定时器、PWM、比较器、A/D转换、振荡器等功能模块，还有128K的FALSH存储器，因此外围电路简单，此外I/O口资源丰富，最多可扩展出20个通道[5]。控制信号发生器将接收到的指令进行解码，确认是正确指令信息后，就转入到刺激脉冲产生的分支程序，如图3所示，并把当前不占用的I/O引脚置为高阻模式，以阻止控制信号发生器和电极之间的信息对话。在控制信号刺激期间根据PC机中的指令，信号可以从一个通道(每两个I/O引脚组成一个通道)切换到另一个通道，用到的I/O引脚置为输出模式，其余的为高阻模式。这样，微处理器将对来自PC机的ASCII码命令进行翻译解释而产生一列周期、频率和脉冲个数等参数特定的双相TTL命令脉冲(脉宽0.5ms，频率100Hz，脉冲个数10个)并沿颅顶适配器[4]，到达大鼠脑部指定核团。刺激结束后所有引脚复位成高阻模式，程序返回等待下一个控制指令。该控制器体积大小是45mm*30mm*19mm，重量为25g，整个控制器可以通过与之相配的Velcro(维可牢尼龙搭扣)粘在穿在鼠身上的马胄上，即可固定于鼠背上。

本方式采取的微电极及其植入可采取下述技术方式：

1、电极处理

电极采用经过电解液腐蚀至直径约100um(根据电生理学相关知识，电极与相关脑核团的直径比小于1/5即可保证核团不受功能性损伤。)尖端约30um的不锈钢针灸针，经清洁处理后，用树脂均匀涂于表面(由液体张力自动露出尖端)，再经150℃恒温烘干制成。

2、手术植入

大鼠麻醉后，固定于脑立体定位仪上，手术使其颅骨完全暴露，去除骨膜，并用适量3％的双氧水或乙醚擦拭颅骨以去除表面油脂。

经过大量前期实验，并由实验后经过脑切片证实：250克左右的大鼠，根据Paxinos和Watson大鼠脑立体定位图谱，在三维立体定位仪的引导下，在如下位置进行定位：

团腹侧被盖区或中脑黑质：前向后1.8mm，向右2.1mm，电极深8mm

左侧S1：前向后1.8mm，向左4.8mm，电极深3mm

右侧S1：前向后1.8mm，向右4.8mm，电极深3mm并在上述位点用颅骨钻钻孔，将电极对在立体定位仪的引导下匀速缓慢的植入脑内并用牙科水泥牢固固定于颅骨表面，即可保证核团位点及电极植入准确率在95％以上。手术后经消毒处理，饲养7天，经观察生理参数无异常，即可用于训练实验。

本方式的实验过程及其效果如下：

设定该遥控导航系统的控制信号参数为：脉宽≤0.5ms，可调；频率80-120Hz，可调，实验中多用100Hz；脉冲个数4-10个；脉冲幅值为TTL电平；脉冲列组频率0.2Hz。在3.8V500mAh聚合物锂电池供电情况下能够连续工作10个小时，且视距情况下传输距离达到300m时仍能保持高保真性，工作稳定。在电池供电情况下，除PC机外，指令发射器和控制器总重量不足28g，且体积小，易于携带。如图4所示。

在上述参数电刺激脉冲的控制下，大鼠首先训练“左拐”运动，若正确，则点击“奖赏”立即给予MFB刺激，以示奖励；接下来训练“右拐”运动，同样地，在正确的情况下予以奖励，若上述某次刺激反应错误，则不给予MFB强化。此外，点击“奖赏”刺激MFB还有促使大鼠兴奋并向前运动的作用。每组实验训练大约在10分钟左右，经过1-1.5小时的强化训练即可得到理想的结果。另外，通过加大脉冲个数可以提高刺激强度，可以达到提高动作正确率的目的。对8只大白鼠反复进行上述实验，其中有6只大鼠能够按电信号的控制进行运动，而它们中的3只大鼠的动作正确率几乎达100％，其他的正确率可达90％左右。经过一段时间的强化训练，有2只大鼠可以原地连续“向左”或者“向右”转10多圈，还可以控制大鼠沿简单的指定路线行走。

本发明受训动物不仅适于鼠类，还适于其他陆地动物、水生动物中已被人类认识的可以被阳性强化训练的哺乳类动物。

Claims (3)

1、一种智能动物的虚拟阳性强化方法，采取由PC机控制的发射站发出指令信号，由一个背在受训动物背部或固定在其他适宜位置的控制器电路接收指令信号，再由控制器电路作出相应刺激信号，并将刺激信号传输至已植入受训动物三个神经核团三对微电极中某一对或几对微电极，促使受训动物做出设定动作；其中两对微电极分别植入左、右两侧的体感皮层代表区S1，特征在于：另外一对微电极植入受训动物团腹侧被盖区或中脑黑质。

2、根据权利要求1所述的智能动物的虚拟阳性强化方法，其特征在于：所述微电极采用直径约100um、尖端约30um的不锈钢针灸针。

3、根据权利要求2所述的智能动物的虚拟阳性强化方法，其特征在于：所述微电极，其植入是这样实现的：将不锈钢针灸针，经清洁处理后，用树脂均匀涂于表面，经烘干制成；手术植入，受训动物麻醉后，固定于脑立体定位仪上，手术使其颅骨完全暴露，去除骨膜，并用适量3％的双氧水或乙醚擦拭颅骨以去除表面油脂，在三维立体定位仪的引导下，对各对微电极植入位置进行定位，并在定位点用颅骨钻钻孔，将电极对在立体定位仪的引导下匀速缓慢的植入脑内并用牙科水泥牢固固定于颅骨表面，保证各神经核团定位点及电极植入准确率在95％以上，术后经消毒处理。

Images