CN114888829A - 基于轻量级脑机接口的熊蜂机器人飞行偏转行为控制方法及系统 - Google Patents

Abstract

本发明公开了基于轻量级脑机接口的熊蜂机器人飞行偏转行为控制方法及系统，属于昆虫机器人技术领域。所述方法包括：(1)搭建满足视觉诱导的半自由状态熊蜂爬行行为‑神经信号同步记录平台，通过光流诱导熊蜂产生偏转并在其前视结节脑区进行神经信号同步记录，定位相关位点；(2)搭建熊蜂机器人神经信号‑飞行行为同步观测研究系统，通过轻量级脑接机口实现熊蜂飞行自主偏转时神经信号及行为同步记录，验证位点；(3)向微电刺激熊蜂机器人前视结节精细位点输送脉冲序列，控制其产生飞行偏转。本发明通过轻量级脑机接口定位前视结节精细位点作为刺激位点，实现熊蜂机器人飞行偏转的电刺激控制，为熊蜂机器人研究提供准确稳定的控制方法。

Description

基于轻量级脑机接口的熊蜂机器人飞行偏转行为控制方法及 系统

技术领域

本发明属于昆虫机器人技术领域，具体涉及一种基于轻量级脑机接口的熊蜂机器人飞行偏转行为控制方法及系统。

背景技术

动物机器人通过在动物大脑的相关功能脑区植入微电极，经电/光等刺激方式向动物的大脑发送指令，实现对动物运动行为的有效控制以及感知觉功能的合理增强，在科学研究、国防安保、危险环境搜救、气象观测、工业生产等众多领域拥有广阔的应用前景。

一方面，作为一类微小型的动物机器人，昆虫机器人具有系统结构简单、运动能力优越、能耗超低、隐蔽性高等突出优点，在工程应用方面具有重要的研究价值。昆虫机器人活动范围广、执行效率高，能抵达一般动物机器人(如大鼠、鸽子等)无法覆盖的极端环境，是一种全新的环境感知设备搭载平台。与仅能在一定程度上模仿昆虫简单运动功能的扑翼微型飞行器相比，昆虫机器人在环境感知能力、运动行为控制、复杂环境适应性等方面具备得天独厚的优势。另一方面，针对感知觉及其他高级认知功能、人工智能等基础研究领域，昆虫机器人提供了全新的研究对象和变量精确可调的研究平台，可以很方便地观测个体行为和社会群体数据，并应用大数据分析手段探究其中的基本原理，为解决神经科学、昆虫学及仿生学等领域的重要科学问题提供新的研究思路与探索方法，很有可能产生一系列重要的前沿突破。

当前昆虫机器人研究使用的昆虫机器接口(insect-machine interface,IMI)技术，本质上是一种从机到脑(或外周神经肌肉组织)的单向脑机接口，实现了载体简单行为的粗略控制，成功构建了爬行和飞行昆虫机器人原型系统。借助从机到脑的单向脑机接口，当前的昆虫机器人能够完成运动触发、中止以及转向干扰等简单行为的调控，验证了采用生物载体研制微型机器人的技术可行性。随着技术手段的日趋成熟，当前昆虫机器人的研究正从简单运动的粗略控制朝着运动行为的精确诱导发展，如控制昆虫机器人沿既定路线行走以及不同步态的行走控制等。为实现对昆虫机器人的运动行为控制，研究人员直接对控制肌群或者相关功能脑区进行电刺激，这些刺激位点主要集中在昆虫的触角、前胸背板、足以及脑部的视叶、蘑菇体等。然而，现有的工作缺乏刺激位点神经信号与诱导行为之间相关性的精细量化分析，位点选择偏差过大，导致当前行为控制效果欠佳，可重复性低。因此，如何选择与运动行为相关性最强的刺激位点是实现昆虫机器人准确、稳定控制亟需解决的关键问题之一。

发明内容

本发明的目的在于提供一种基于轻量级脑机接口的熊蜂机器人飞行偏转行为控制方法，为实现准确、稳定的熊蜂机器人飞行偏转行为控制提供研究思路和基础。

为实现上述目的，本发明采用如下技术方案：

(1)搭建满足视觉诱导的半自由状态熊蜂爬行行为-神经信号同步记录平台，主要由体式显微镜、半自由状态同步记录平台PC、熊蜂固定装置、熊蜂个体、防震台、光流生成装置、显微操纵系统、神经信号记录系统、悬浮小球装置、网络摄像头组成。为了避免干扰，所有部件被放置在防震台上。通过数据线连接至半自由状态同步记录平台PC，在半自由状态同步记录平台PC上可进行光流刺激的参数配置，并通过同步系统实现神经信号和行为数据的同步记录；

(2)通过光流刺激诱导半自由状态下的熊蜂产生爬行偏转行为，同时在熊蜂前视结节各细分脑区进行不同位点的神经信号记录；

(3)量化分析各细分脑区神经元发放模式与爬行偏转行为之间的相关性，定位与该行为相关性最强的记录位点；

(4)搭建熊蜂机器人神经信号-飞行行为同步观测研究系统，通过轻量级脑接机口实现熊蜂机器人自由飞行状态下自主偏转行为时的神经信号记录，并重建神经信号记录熊蜂机器人3D飞行轨迹和精细姿态表征，进一步验证并确定该前视结节细分位点的准确性；

(5)向微电刺激熊蜂机器人的前视结节精细位点输送电脉冲刺激，控制该熊蜂机器人产生准确且稳定的飞行偏转行为。

大部分拥有复眼的昆虫具备相对完整的视觉系统，其中有关视动反应的研究证实了视觉调控在昆虫导航过程中的重要性。熊蜂在生理结构、生活习性、形态特征上都与蜜蜂相似，其优越的飞行能力能满足往返长距离的采集，而独特的群体智能(社会性昆虫)则表现出更多模式的社交行为。熊蜂视觉通路主要涉及到复眼、视叶、前视结节、蘑菇体等脑区，虽然整个脑的体积较小，但其内在的神经机制也并不简单。考虑到当前昆虫机器人研制过程中，实验前的刺激微电极制作、植入及精细的手术操作需耗费较多的时间，因此选择与调控行为相关性最强的刺激位点，对于提高实验的成功率实现可重复性、稳定性的行为控制是至关重要的。本发明为熊蜂机器人的飞行行为控制研究提供了一种新的刺激位点选择方法，研究定位了前视结节细分脑区中与偏转行为相关性最强的的位点，对该位点进行电脉冲刺激能够稳定控制熊蜂机器人的飞行偏转行为。

作为优选，步骤(1)中，所述光流刺激为熊蜂视觉敏感的黄绿色光运动而形成的光流，可通过半自由状态同步记录平台PC上自主编写的光流参数配置软件进行光流参数配置，包括光流的长宽、运行速度以及左右方向。

作为优选，步骤(1)中，所述半自由状态下的熊蜂为头、胸部被固定，而翅膀和足可以任意运动的熊蜂，能在身体正下方的悬浮小球装置上完成爬行运动行为。

作为优选，步骤(1)中，所述熊蜂的前视结节细分脑区植入神经信号记录电极进行神经元发放情况记录。所述神经信号记录电极是由16通道电路板，直径为35μm钨丝作为记录电极，直径为35μm钨丝和50μm银丝分别作为参考电极和接地电极组成的单通道记录电极。

作为优选，所述的悬浮小球装置主要由泡沫小球和分布在其正、侧面的两个传感器组成，熊蜂的足部运动能带动泡沫小球的旋转，并由小球周围的两个传感器检测到小球转动的方向和距离，从而推测出熊蜂在小球上的具体爬行轨迹。

为减少其他干扰因素影响行为响应，步骤(1)中，将包括熊蜂固定装置、显微操纵系统等在内的装置都放置在防震台上，通过光流刺激诱导半自由状态下的熊蜂在悬浮小球上产生相应的爬行偏转行为，并同时通过单通道记录电极分别记录前视结节细分脑区的神经元活动情况，进而量化分析各细分脑区神经元发放模式与爬行偏转响应之间的相关性。

作为优选，步骤(2)中，由光流刺激诱导产生相应的熊蜂爬行偏转行为，并逐一记录其前视结节各个脑区的神经信号数据，两者由同步系统同步至同一时间坐标，并传输至PC。

将前视结节各细分脑区的多群神经元数据进行峰电位分类处理，针对熊蜂产生的相应的行为响应，采用各细分脑区的神经元发放模式作为特征进行解码分类。比较各细分脑区的解码效果，从而确定与该行为响应相关性最强的有效神经元群。

作为优选，步骤(3)中，通过各细分脑区神经元发放模式与爬行偏转行为响应之间相关性的精确量化分析，进一步缩小脑区位点范围，精细定位与行为响应相关性最强的前视结节细分位点。

步骤(4)中，搭建熊蜂机器人神经信号-飞行行为同步观测研究系统，通过轻量级脑接机口实现熊蜂机器人自由飞行状态下自主偏转行为时的神经信号记录，并重建熊蜂机器人3D飞行轨迹和精细姿态表征，进一步验证记录位点的准确性。

作为优选，所述神经信号记录熊蜂机器人以熊蜂为载体，负载有轻量级无线神经信号记录背包，其头部前视结节细分位点通过非开窗植入有神经信号记录电极，所述的神经信号记录电极末端与轻量级无线记录背包连接。该无线记录背包约为100mg，满足熊蜂飞行负载的需求，能够记录熊蜂脑区的神经元发放情况并将数据无线发送至飞行同步记录观测研究系统PC端。在最大程度上实现熊蜂机器人在运动范围和运动行为上的自由度，突破传统神经信号记录的方式对于载体在运动状态上的限制。

作为优选，所述自由飞行状态下自主偏转行为时采集到的神经元发放情况需与爬行偏转时的结果一致，从而验证该位点确实是与熊蜂偏转行为相关的前视结节精细位点，可以作为实现熊蜂偏转控制的刺激位点。

步骤(5)中，向微电刺激熊蜂机器人的前视结节精细位点输送电脉冲刺激，控制熊蜂机器人产生准确且稳定的飞行偏转行为。

作为优选，所述微电刺激熊蜂机器人以熊蜂为载体，负载有轻量级无线刺激背包，其头部前视结节精细位点通过非开窗植入有刺激电极，所述的刺激电极末端与轻量级无线刺激背包连接。该无线刺激背包重量约为100mg，满足熊蜂飞行负载的标准，能够无线接收来自PC上可配置的刺激指令进而输出相应的电脉冲序列。

本发明的另一个目的是提供一种基于轻量级脑机接口的熊蜂机器人神经信号-飞行行为同步观测研究系统，步骤(4)中熊蜂机器人自由飞行状态下自主偏转行为时的神经信号及多视角行为数据的同步记录可通过该研究系统实现。

所述的研究系统包括：

负载轻量级无线神经信号记录背包的神经信号记录熊蜂机器人，其头部前视结节细分位点通过非开窗植入有神经信号记录电极，所述的神经信号记录电极末端与轻量级无线神经信号记录背包连接。

轻量级无线神经信号记录背包，采用三运放超低噪声差分神经信号放大前端结构、超低功耗射频信号发射结构以及紧凑型螺旋结构天线，通过微组装技术实现在超薄柔性基板上的高密度组装，可实时采集熊蜂脑部神经元发放情况，实现对熊蜂的多通道无线神经信号记录，并将神经信号数据无线传输至计算机并进行数据处理。

高速图像采集及关键点获取方法，通过多台同步高速相机拍摄多视角下熊蜂机器人飞行行为，设计融合上下文引导模块提升特征判别性的关键点识别网络，并提出关键点不确定性的1D向量呈现方式，结合传统2D高斯热度图呈现方式，加速关键点识别网络的收敛并提升精度，进而提升三角测量获取3D关键点的精度。针对每个视图，采用Top-Down深度模型方法，使用混合高斯背景减除追踪视图内的熊蜂机器人，设计融合上下文引导模块提升特征判别性的关键点识别网络，提出关键点不确定性的1D向量呈现方式，结合传统2D高斯热度图呈现方式，加速关键点识别网络的收敛并提升2D关键点识别的精度。获取2D关键点后，根据多相机的内外参和三角测量，即可恢复关键点的3D坐标，进而实现在线实时的熊蜂机器人飞行3D轨迹重建。

所述的熊蜂机器人在所搭建的同步实验场景内进行自由飞行运动，前视结节位点所在脑区的神经信号经轻量级记录背包调制后，无线发射至场景顶端的接收终端，输入负责神经解码分析处理的计算机，形成从脑到机的直接信息通路，构成轻量级脑机接口。高速图像采集装置同时采集熊蜂机器人的飞行运动数据，经同步系统处理后与神经信号数据同步传输至计算机，完成熊蜂机器人的飞行轨迹重建，由此构成基于轻量级脑机接口的熊蜂机器人神经信号-飞行行为同步观测研究系统。

通过前视结节位点神经元发放模式与飞行偏转行为响应之间相关性的精确量化分析，验证该位点与行为的相关性和准确性，从而确定该前视结节细分位点确实是与熊蜂偏转行为相关的前视结节精细位点，可作为实现熊蜂机器人飞行偏转行为稳定控制的最佳刺激位点。

作为优选，所述的轻量级无线神经信号记录背包，采用三运放超低噪声差分神经信号放大前端结构、超低功耗射频信号发射结构以及紧凑型螺旋结构天线，通过微组装技术实现在超薄柔性基板上的高密度组装，可实现对熊峰的多通道无线神经信号记录。针对超低噪声差分神经信号放大前端，提出了基于多通道运算放大器芯片的全差分输入噪声抑制电路结构，实现了小于100nV的噪声水平。通过在Colpitts振荡器输入端添加的反馈电感实现的反馈增强效应，以此降低振荡器功耗，通过在输入端添加分压电容实现Q值增强效应提高了振荡器输出效率。而紧凑型螺旋结构天线则通过使用离散接地技术调整信号线与接地线之间的耦合，并使用环路馈电技术实现和射频传输结构之间的阻抗匹配。最后采用二维异质异构集成技术，将运算放大器裸片、贴片器件以及紧凑型螺旋天线集成在同一超薄柔性基板上，提高了集成密度，最终实现无线神经信号记录背包的小型化。

作为优选，所述的高速图像采集装置为多台同步的高分辨率高帧率相机，实现多视角下熊蜂机器人飞行行为数据的记录。

作为优选，所述的关键点获取方法，针对每个视图，采用Top-Down深度模型方法，设计了融合上下文引导模块提升特征判别性的关键点识别网络，并提出关键点不确定性的1D向量呈现方式，结合传统2D高斯热度图呈现方式，加速关键点识别网络的收敛并提升识别的精度。详细过程为，针对每一个视图，使用混合高斯背景减除追踪视图内的熊蜂机器人，使用ResNet作为骨干网提取stride＝32的C5特征，并采用3个反卷积获取高分辨的特征，该特征用来预测关键点的2D高斯热度图和关键点的不确定性1D向量表示，其中关键点的不确定性采用固定长度的向量表示关键点X和Y方向上的1D拉普拉斯坐标，2D高斯热度图展平后经过一定的的线性和非线性层作用在关键点不确定性1D向量上，引导关键点不确定性的表示，进一步加速网络的收敛。同时，在网络层面，将C2/C3/C4的特征经过1*1卷积降低通道数后与同分辨率的反卷积特征融合，在融合的过程中，采用全局池化获取C2/C3/C4的特征描述子来指导特征的融合，增加特征的判别性，进而提升关键点回归的精度。在通过标定获取到多台相机的内外参后，结合三角测量，即可恢复这些关键点的3D坐标，进而实现在线实时的熊蜂机器人飞行3D轨迹重建。

作为优选，所述的同步系统，采用IEEE1588协议将飞行行为视频数据、无线微电控制指令及神经信号数据同步封装后，传输给场景控制和数据分析平台(计算机)，用于后端可视化展示、实时分析神经信号数据、完成飞行轨迹重建以及两者之间的相关性分析。

作为优选，所述基于轻量级脑机接口的同步观测研究系统包括满足熊蜂负载的轻量级无线神经信号记录背包、接收终端、处理神经信号数据和和精细运动行为表征姿态计算的飞行同步记录观测研究系统PC。

本发明具备的有益效果：

(1)本发明通过基于轻量级脑机接口的同步系统实现熊蜂机器人自由飞行状态下自主偏转行为时的神经信号及多视角行为数据的同步记录，量化分析神经元发放模式与偏转行为之间的相关性，验证并确定该前视结节精细位点可作为飞行偏转控制的精细刺激位点。

(2)本发明采用轻量级无线刺激背包向熊蜂该前视结节精细位点输出可配置的电刺激脉冲序列，实现自由状态下微电刺激熊蜂机器人飞行偏转行为的稳定控制，为熊蜂机器人行为调控研究奠定基础。

附图说明

图1为视觉诱导的半自由状态熊蜂爬行行为-神经信号同步记录平台结构示意图。

图2为熊蜂机器人神经信号-飞行行为同步记录观测研究系统结构示意图。

图3为光流生成装置，(A)为生成光流的扇形LED屏幕，(B)为自主编写的光流参数配置软件。

图4为熊蜂固定装置结构图，用于固定熊蜂并调整其固定位置。

图5为飞行状态熊蜂机器人微电刺激-行为响应同步研究平台。

图6为熊蜂脑组织的石蜡HE切片。

图7为手术过程中剥离脑壳、除去脑膜、腺体等组织后的暴露出的熊蜂脑组织。

图8为完成开窗手术及固定操作后，攀爬在悬浮小球装置正上方的熊蜂。

图9为熊蜂爬行运动行为和神经信号数据的同步记录软件，(A)泡沫小球转动的方向及距离数据；(B)前视结节记录位点的神经元实时发放情况。

图10为通过轻量级无线刺激背包控制熊蜂机器人产生飞行偏转行为的轨迹重建，微电刺激熊蜂机器人从场景上方飞入到场景中间，给予一个左脑电刺激指令(LeftStimulus triggered)，熊蜂机器人受到刺激后产生了“左转”的行为响应，飞行轨迹由此发生改变(Left turn)，在刺激结束的时候同样以文字行为进行标注(Left Stimulusquitted)，刺激结束后熊蜂机器人继续飞行并自由发生右转行为。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1

(1)视觉诱导的半自由状态熊蜂爬行行为-神经信号同步记录平台

参见图1，为视觉诱导的半自由状态熊蜂爬行行为-神经信号同步记录平台结构示意图。该实验平台主要由体式显微镜1(奥林巴斯，SZ61TRC-SET)、半自由状态同步记录平台PC2(戴尔)、熊蜂固定装置3、熊蜂个体4、防震台5(连胜，ZDT15-09)、光流生成装置6、显微操纵系统7(Sensapex，SMX-R-FS-50)、神经信号记录系统8(Bio-signal，Apollo II)、悬浮小球装置9、网络摄像头10(罗技，C922)组成。为了避免干扰，实验过程中，所有设备及部件被放置在防震台5上。

熊蜂固定装置3由固定熊蜂的固定杆和调整三维距离的组件组成，手术后并完成胸部背板固定的熊蜂个体4被固定于该装置上，并根据个体细微差异进行位置(上下、前后及左右)调整，使得熊蜂个体4能更好地实现与其他设备的配合使用；自主设计的悬浮小球装置9被放置在熊蜂个体4的正下方，该装置由泡沫小球和分布在其正、侧面的两个传感器组成，可根据传感器检测该悬浮小球的转动数据来推断熊蜂个体4的具体爬行轨迹，该悬浮小球装置9通过数据线连接至半自由状态同步记录平台PC2；显微操纵系统7被固定在熊蜂个体4头部的正上方，由控制主机和为熊蜂定制的电极夹持器组成，可通过控制主机来调整电极夹持器的三维距离(上下、前后及左右)，该电极夹持器用于固定神经信号记录电极以及完成植入操作。神经信号记录系统8由神经信号记录电极和神经信号采集设备组成，神经信号记录电极前端被植入至熊蜂个体4脑部用于神经信号数据的记录，而末端则通过放大器连接至神经信号采集设备，再通过通过数据线传输至半自由状态同步记录平台PC2；熊蜂个体4正前方则放置有自主设计搭建的光流生成装置6，该装置由生成光流的扇形LED屏幕(最大范围覆盖熊蜂复眼)和自主编写的光流参数配置软件组成，通过半自由状态同步记录平台PC2可配置参数(光流的长宽、运行速度以及左右方向)生成相应的光流刺激，从而诱导半自由状态下的熊蜂产生特定的爬行行为；网络摄像头10被放置在熊蜂个体4的后方，用于记录整个实验过程，并对悬浮小球装置9记录到的爬行轨迹数据进行校正，通过数据线连接至半自由状态同步记录平台PC2；由于熊蜂个体4较小，电极植入的过程需要借助体式显微镜1完成。悬浮小球装置9获取的行为数据和神经信号记录系统8记录的神经信号数据通过同步系统进行整合，实现时钟同步，便于后续进行两者之间的相关性量化分析。

在本实例中，给予半自由状态下的熊蜂黄绿色光流刺激，基于视动反应原理诱导熊蜂产生同侧的爬行偏转行为。

图3为自主设计搭建的光流生成装置，(A)为生成光流的扇形LED屏幕，(B)为自主编写的光流参数配置软件。

图4为熊蜂固定装置结构图，用于固定熊蜂并调整其固定位置。

(2)熊蜂机器人神经信号-飞行行为同步记录观测研究系统

图2为熊蜂机器人神经信号-飞行行为同步记录观测研究系统的结构示意图。该研究系统主要由信号接收终端11、飞行同步记录观测研究系统PC12(戴尔)、多台高清相机组成的图像采集装置13(Norpix，FRCAM-CS1200)、飞行实验场景14(1.5*1.5*1m³)、轻量级无线神经信号记录背包15、熊蜂个体4(新的样本个体)组成，用于完全自由状态熊蜂机器人的神经信号记录实验。

完成非开窗电极植入手术后的熊蜂个体4，在其胸部背板上负载自主研制的轻量级无线神经信号记录背包15，神经信号记录电极前端被植入至熊蜂头部前视结节细分位点，末端则与该神经信号记录背包15相连，从而形成完整的神经信号记录熊蜂机器人。恢复活性后的神经信号记录熊蜂机器人被放置于木制结构(四周由纱网封闭)的飞行实验场景14内进行自由运动。当熊蜂机器人开始进行飞行运动后(包括偏转在内的动作)，其头部前视结节细分位点所在脑区神经元峰电位和低频场电位信号经轻量级无线神经信号记录背包15调制后，无线发射至场景顶端的信号接收终端11，并输入至负责神经解码分析处理的飞行同步记录观测研究系统PC12，形成从脑到机的直接信息通路，从而建立轻量级熊蜂脑机接口。由多台高清相机组成的图像采集装置13被放置在飞行实验场景14周围(2台被放置在正前方，另1台被放置在侧面)对熊蜂机器人的飞行行为进行多视角的视频数据采集，通过数据线同步传输至飞行同步记录观测研究系统PC12，用于实现在线实时的熊蜂机器人飞行3D轨迹重建和精细姿态表征。多台高清相机组成的图像采集装置13获取的行为视频数据和轻量级神经信号记录背包15所记录的数据同样通过同步系统进行整合，实现时钟同步，便于后续进行飞行偏转行为和前视结节细分位点神经信号数据两者之间的相关性量化分析，从而验证位点准确性并确定前视结节精细位点。

(3)飞行状态熊蜂机器人微电刺激-行为响应同步研究平台

图3为飞行状态熊蜂机器人微电刺激-行为响应同步研究平台结构示意图。该研究平台主要由飞行微电刺激控制同步研究平台PC16(戴尔)、飞行实验场景17(4*2*1.5m³)、多台运动相机组成的图像采集装置18(Gopro Hero8 black)、多块无线信号发射板组成的信号发射装置19、轻量级无线刺激背包20以及熊蜂个体4(新的样本个体)组成，用于飞行状态下微电刺激熊蜂机器人的行为控制实验。

完成非开窗电极植入手术的熊蜂个体4，在其胸部背包上负载自主研制的轻量级无线刺激背包20，刺激电极前端被植入至熊蜂头部的前视结节精细位点，末端则与轻量级无线刺激背包20相连，从而形成完成的微电刺激熊蜂机器人。恢复活性后的微电刺激熊蜂机器人被放置于木制结构(四周由纱网封闭)的飞行实验场景17内进行自由运动。安装在飞行实验场景17内部顶板上的多台运动相机组成的图像采集装置18将熊蜂机器人的行为图像实时传输至飞行微电刺激控制同步研究平台PC16。实验人员通过观察熊蜂机器人的行为状态，通过飞行微电刺激控制同步研究平台PC16上自主编写的同步控制程序配置刺激参数并发送指令至安装在飞行实验场景17内部顶板上的多块无线信号发射板组成的信号发射装置19，并无线传输至轻量级无线刺激背包20，从而向熊蜂个体4的前视结节精细位点输入电脉冲序列，并诱导其产生稳定的偏转行为。

实验实施例1

(1)确定熊蜂前视结节细分脑区

作为熊蜂视觉回路中的重要脑区之一，前视结节主要接收来自视叶的视觉信息，并根据信息的方向和颜色差异进行分类，再分别投射至不同的脑区进行处理。尽管熊蜂的脑体积很小(～1.2mm³)，前视结节脑区面积也很小(长200μm/宽160μm)，但相比于常使用的刺激电极(～35μm直径)来说，这个脑区面积显得非常大。不同于其他模式生物，关于熊蜂神经机制的探索还处于相对初级的阶段，因此当前熊蜂机器人运动行为控制的刺激位点较为粗略，难以确定电极植入位点区域的神经元与行为之间的相关性，导致行为控制不稳定。

本实例中，结合实验室前期的一些研究工作选择前视结节作为刺激脑区，考虑脑区面积以及电极直径的范围将整个脑区划分为15个细分脑区，在熊蜂产生偏转行为的同时逐一在这些位点进行神经信号记录，分析细分区神经元发放情况与偏转行为之间的相关性差异，从而选择出实现准确、稳定的微电刺激熊蜂机器人行为控制的最佳刺激位点。

图6为熊蜂脑组织的石蜡HE切片，用于观察蘑菇体、前视结节等脑区的结构与具体位置，从而确定电极植入区域。

(2)半自由状态熊蜂头部手术及固定操作

在半自由状态实验中需要探索多个记录位点，因此需要在操作过程中随时进行电极植入位点以及深度的调整，同时还需要满足熊蜂的足能够自由运动。为此，我们设计了能够同时满足上述实验需求的开窗及固定方式。

首先，通过粘合熊蜂颈部缝隙，将其头部与胸部固定，避免头部摆动的同时保持水平状态，利于记录电极的稳定植入及数据采集。随后，直接在熊蜂头部进行开窗手术，将包括蘑菇体、前视结节脑区在内的组织暴露出来。完成头部手术及固定操作的熊蜂个体被放入视觉诱导的半自由状态熊蜂爬行行为-神经信号同步记录平台中，通过胶水将其固定于熊蜂固定装置的固定杆前端，避免翅膀和足被粘住，并由调整三维距离的组件调节距离，使得熊蜂能够完整攀爬在悬浮小球装置上，并进行灵活的爬行运动。

图7为显微镜头下熊蜂开窗手术后的图像，可以清楚地看到作为参照物的蘑菇体纵向叶，有利于记录电极顺利植入至每个位点。

图8为完成开窗手术及固定操作后，攀爬在悬浮小球装置正上方的熊蜂，熊蜂的爬行运动能带动泡沫小球产生相应的转动。

(3)半自由状态下熊蜂行为诱导-神经信号记录实验

实验在视觉诱导的半自由状态熊蜂爬行行为-神经信号同步记录平台(实施例1(1))中完成。

待熊蜂个体完成固定、记录电极植入等操作，确认其他设备能正常工作后，开始进行实验。通过PC配置并触发光流刺激启动，通过光流生成装置产生的黄绿色光流刺激诱导半自由状态下熊蜂产生特定的偏转行为，在PC上同步观察该位点的神经元实时发放情况及熊蜂的爬行运动行为。若在该位点同时采集到了神经信号数据及熊蜂偏转行为的数据，则存储数据并结束该位点的记录实验，逐一完成相应的15个细分脑区的记录实验。

图9为悬浮小球转动时的数据示意图以及该位点的神经元实时发放情况。

(4)各细分脑区神经元发放模式与爬行偏转响应之间的相关性量化分析

在实验过程中，可能会出现在多个位点都记录到了与偏转行为相关的神经信号数据，将各个位点胞外记录获得的多群神经元数据，进行峰电位sorting处理，以神经元发放模式作为特征进行解码分类。同时结合相同时间内熊蜂的爬行运动行为(小球转动情况)，进行各位点神经元发放模式与偏转响应之间的相关性分析，从而确定与偏转相关性最强的有效神经元群(记录位点)，认为该前视结节位点参与偏转行为的产生。

(5)自由状态熊蜂机器人神经信号-飞行行为记录实验

实验在熊蜂机器人神经信号-飞行行为同步记录观测研究系统(实施例1(2))中完成。

为了验证该前视结节位点不仅与爬行偏转有关，也与飞行偏转相关，需进一步进行自由状态熊蜂机器人神经信号-飞行行为记录实验来进行验证。将完成非开窗电极植入和背包负载的神经信号记录熊蜂机器人放入该系统的飞行实验平台中，任其在实验场景内自由飞行。通过轻量级无线神经信号记录背包完成自由状态下熊蜂机器人的神经信号无线记录，并同步由高清相机装置记录该熊蜂机器人的多视角飞行行为数据。同样对这二者数据进行相关性分析，若自由状态下得到的相关性与爬行状态的结论吻合，则能确定该前视结节精细位点与不同状态下熊蜂的偏转行为都有关，可以将其作为实现熊蜂偏转行为稳定控制的刺激位点。

(6)飞行状态下微电刺激熊蜂机器人的偏转行为控制实验

实验在飞行状态熊蜂机器人微电刺激-行为响应同步研究平台(实施例1(3))中完成。

将刺激电极通过非开窗植入至熊蜂个体的前视结节精细位点，并将轻量级无线刺激背包固定至熊蜂的胸部背板，刺激电极末端与该轻量级无线刺激背包相连，从而形成完整的微电刺激熊蜂机器人。待活性恢复后，将该熊蜂机器人放入至飞行实验场景内自由运动，并通过PC同步控制程序中的视频窗口实时观察它的运动状态。待熊蜂机器人起飞后，则同步控制程序中的控制模块发送相对应的无线刺激指令(左或右)，从而通过轻量级无线刺激背包向该熊蜂机器人的前视结节精细位点输送电脉冲序列，从而诱导熊蜂机器人产生稳定的偏转行为。

在本实例中，以实验实施例1(3)(4)的神经信号记录实验中得到的前视结节精细位点作为刺激位点，通过轻量级无线刺激背包向飞行中的熊蜂机器人输送2.7V电压值，40％占空比，0.5S时长，100Hz频率的单向方波序列脉冲。如图10所示，微电刺激熊蜂机器人在电刺激后发生飞行偏转的轨迹重建示意图。

Claims (8)

1.一种基于轻量级脑机接口的熊蜂机器人飞行偏转行为控制方法，其特征在于，通过以下步骤实现：

(1)搭建满足视觉诱导的半自由状态熊蜂爬行行为-神经信号同步记录平台，通过同步系统实现神经信号和行为数据的同步记录；

(2)通过光流刺激诱导半自由状态下的熊蜂产生爬行偏转行为，同时在熊蜂前视结节各细分脑区进行不同位点的神经信号记录；

(3)量化分析各细分脑区神经元发放模式与爬行偏转行为之间的相关性，定位与该行为相关性最强的记录位点；

(4)搭建熊蜂机器人神经信号-飞行行为同步观测研究系统，通过轻量级脑接机口实现熊蜂机器人自由飞行状态下自主偏转行为时的神经信号记录，并重建神经信号记录熊蜂机器人3D飞行轨迹和精细姿态表征，进一步验证并确定该前视结节细分位点的准确性；

(5)向微电刺激熊蜂机器人的前视结节精细位点输送电脉冲刺激，控制该熊蜂机器人产生准确且稳定的飞行偏转行为；

所述的神经信号记录熊蜂机器人以熊蜂作为载体，通过轻量级脑机接口实现熊蜂机器人自由飞行状态下自主偏转行为时的神经信号记录，验证半自由状态下神经元发放与熊蜂偏转行为相关性最强位点的准确性；以此前视结节精细位点作为刺激位点，通过轻量级无线刺激背包实现微电刺激熊蜂机器人的飞行偏转行为控制。

2.根据权利要求1所述的方法，其特征在于，步骤(1)所述平台，主要由体式显微镜(1)、半自由状态同步记录平台PC(2)、熊蜂固定装置(3)、熊蜂个体(4)、防震台(5)、光流生成装置(6)、显微操纵系统(7)、神经信号记录系统(8)、悬浮小球装置(9)、网络摄像头(10)组成，为了避免干扰，实验过程中，所有设备及部件被放置在防震台(5)上，并通过数据线连接至半自由状态同步记录平台PC(2)。

3.根据权利要求1所述的方法，其特征在于，步骤(2)中，将熊蜂个体(4)以半自由状态放置在悬浮小球装置(9)上，即头、胸部固定、足和翅膀能自由运动，记录前视结节各细分脑区位点的神经信号和爬行偏转行为的同步数据。

4.根据权利要求1所述的方法，其特征在于，步骤(3)中，通过神经解码方法，分析各细分脑区神经元发放模式与爬行偏转行为之间的相关性，定位与偏转行为相关性最强的前视结节细分位点。

5.根据权利要求1所述的方法，其特征在于，步骤(4)中，通过满足自由飞行状态下重量和功耗约束的轻量级脑接机口，来实现熊蜂机器人自由飞行状态下自主偏转时前视结节细分位点的神经信号记录，从而验证该位点确实是与熊蜂偏转行为相关的前视结节精细位点。

6.根据权利要求1所述的方法，其特征在于，步骤(5)中，通过轻量级无线刺激背包刺激前视结节精细位点实现微电刺激熊蜂机器人自由状态下稳定的飞行偏转行为控制。

7.一种基于轻量级脑机接口的熊蜂机器人神经信号-飞行行为同步观测研究系统，其特征在于，包括：

负载轻量级无线神经信号记录背包的熊蜂机器人，其头部前视结节精细分位点通过非开窗植入有神经信号记录电极，所述的神经信号记录电极末端与轻量级无线神经信号记录背包连接；

轻量级无线神经信号记录背包，采用三运放超低噪声差分神经信号放大前端结构、超低功耗射频信号发射结构以及紧凑型螺旋结构天线，通过微组装技术实现在超薄柔性基板上的高密度组装，实时采集熊蜂脑部神经元发放情况，实现对熊蜂的多通道无线神经信号记录，并将神经信号数据经接收终端输入至计算机进行数据处理；

通过高速图像采集装置及关键点获取方法，实现多视角下熊蜂机器人飞行行为数据的记录及熊蜂机器人3D飞行轨迹的重建；

同步系统模块，采用IEEE1588协议将飞行行为视频数据、无线微电控制指令及神经信号数据同步封装后，传输给场景控制和数据分析计算机，用于后端可视化展示、实时分析神经信号数据、飞行轨迹重建以及两者之间的相关性分析；

所述的负载轻量级无线神经信号记录背包的熊蜂机器人在所搭建的同步实验场景内进行自由飞行运动，前视结节位点所在脑区的神经信号经轻量级记录背包调制后，无线发射至场景顶端的接收终端，输入负责神经解码分析处理的计算机，形成从脑到机的直接信息通路，构成轻量级脑机接口，高速图像采集装置同时采集熊蜂机器人的飞行运动数据，并同步传输至计算机，完成熊蜂机器人的飞行轨迹重建，由此构成基于轻量级脑机接口的熊蜂机器人神经信号-飞行行为同步观测研究系统。

8.根据权利要求7所述的研究系统，其特征在于，基于轻量级脑机接口的同步观测研究系统由满足熊蜂机器人飞行负载且能实现神经信号记录的轻量级无线神经信号记录背包、高速图像采集装置、接收终端、以及负责神经解码分析处理和精细运动行为表征姿态计算的计算机组成。

Images