CN102303700B - 具有嵌入式视觉的多控制面机器鱼 - Google Patents

Abstract

本发明是具有嵌入式视觉的多控制面机器鱼包括鱼头、具有多个关节的柔性身体、控制板、摄像头模块、电源模块、红外传感器、深度传感器、无线通信模块、新月形尾鳍、配重铜块、充气孔、发射接收天线、开关、左、右胸鳍片、腹鳍片、背鳍片和运动控制模块；所述运动控制模块包括；左胸鳍舵机、右胸鳍舵机、四个尾部舵机、腹鳍舵机和背鳍舵机；依靠腹鳍、背鳍、胸鳍的平衡作用，保证鱼头的稳定，提高摄像头模块采集的图像质量；仿生机器鱼通过多控制面结构实现上浮下潜、侧游、倒游等多种游动方式；环境信息被传感器和摄像头模块的采集后，由ARM9核心板产生控制信号，驱动多控制面的协调运动，实现精确和灵巧的色标块追踪定位和避障。

Description

具有嵌入式视觉的多控制面机器鱼

技术领域

本发明属于仿生学技术领域，涉及一种基于中枢模式发生器(Central Pattern Generator，CPG)控制的具有嵌入式视觉功能的多控制面仿生机器鱼。

背景技术

在自然界中，鱼类进化出了卓越的游泳技巧。较普通的水下推进器而言，它具有推进效率高、机动性能好、丰富的感官、强大的隐蔽性和环境适应能力等优点。人们通过对鱼类运动的仿生研究，能够研制出充分适应水底复杂环境的、高度智能化的先进机器人。仿生机器鱼的研究具有重要的研究价值和应用前景，特别是在复杂环境中的水下作业、军事侦察、海底勘探、海洋生物研究等方面前景广阔。

仿生机器鱼能够代替人类参加在复杂水环境中的工作，在民用和军事领域具有广阔的应用前景。在民用方面，可用于近海水产养殖、水下科学考察、娱乐科教等方面；在军用领域，利用仿生机器鱼良好的生物模仿性和环境适应性，能够充分地隐蔽自身，用于侦察、巡航、新型武器的设计、通信中继等方面。

具有嵌入式视觉功能的仿生机器鱼，不仅具有仿生机器鱼的特点，还因为加上了视觉系统，使得仿生机器人更加智能化。视觉模块能够让仿生机器鱼发现并跟踪目标，确定自身位置，在海底电缆检测、武器制造、海洋渔业等诸多方面都有较高的应用价值。

不同的鳍具有不同的功能，自然界中鱼类进化出多种鳍，保证鱼类游动的稳定性和推进能力。游泳运动的推进力是整个身体的肌肉所生产的。只有少数鱼借助胸鳍和侧鳍来产生推进力。它们的主要功能是控制鱼的稳定性和方向。设计的仿生机器鱼包括几个要素：头和前体，多关节柔性身体，尾鳍、胸鳍、背鳍和腹鳍。现有的仿鱼推进研究主要针对身体-尾鳍波动，或针对胸鳍或侧鳍波动运动方式，而将两者结合融入一个仿鱼运动平台的研究尚不多见。基于身体-尾鳍波动的仿生机器鱼由于拥有鳍有限，很难实现诸如侧向游动、微调、倒游等游动方式，在实际的游动中也不够细致、灵巧的。现有的仿鱼推进研究由于主要针对身体-尾鳍波动的运动方式，这样的方式会使仿生机器鱼头部产生较大幅度的左右摆动，很难保证仿生机器鱼游动时头部的稳定性，这对仿生机器鱼视觉系统的稳定成像有很大的干扰。

发明内容

针对上述问题，本发明的目的是采用中枢模式发生器(CPG)的运动算法，辅以嵌入式视觉控制，提供一种基于多控制面的、能够在多种游动模态中自由切换、能够追踪和定位目标色块的智能仿生机器鱼。

为实现上述目的，本发明提供的一种具有嵌入式视觉的多控制面机器鱼采用以下技术方案包括鱼头、具有多个关节的柔性身体、新月形尾鳍、配重铜块、充气孔、发射接收天线、开关，还包括控制板、摄像头模块、左胸鳍片、右胸鳍片、电源模块、红外传感器、深度传感器、无线通信模块、腹鳍片、背鳍片和运动控制模块；所述运动控制模块包括；左胸鳍舵机、右胸鳍舵机、四个尾部舵机、腹鳍舵机和背鳍舵机；其中鱼头分为上下两半腭，内部为中空结构，鱼头内设置有左胸鳍舵机、右胸鳍舵机、腹鳍舵机和背鳍舵机；在鱼头内部的前端设置有摄像头模块、控制板以及电源模块；左胸鳍片、右胸鳍片安装在鱼头外部的两侧，实现仿生机器鱼的上浮下潜，腹鳍片安装在鱼头外部的下方，背鳍片安装在鱼头外部的上方，实现仿生机器鱼的侧向平游和平衡控制；左胸鳍片、右胸鳍片、背鳍片和腹鳍片通过连接它们的左胸鳍舵机、右胸鳍舵机、背鳍舵机及腹鳍舵机产生驱动力进行摆动或者转向；红外传感器安装在鱼头的外侧面，用于检测周边障碍物；深度传感器安装在鱼头内的底部，用于探测仿生机器鱼所在水层面的深度；红外传感器、深度传感器、摄像头模块和无线通信模块将各自的TTL电平信号、模拟信号、图像及控制信号和串口通信信号通过控制板进行处理，产生监控信号并通过无线通信模块由串口通信的方式发送到上位机监控平台上，同时控制板产生脉冲宽度调制波控制信号，发送到运动控制模块中，驱动仿生机器鱼；在仿生机器鱼游动的过程中，左胸鳍片、右胸鳍片、背鳍片和腹鳍片通过联动保持鱼头部的平衡和稳定，保证摄像头模块采集的图像的质量；仿生机器鱼通过摄像头模块采集的图像信息经控制板处理后，产生控制信号，通过左胸鳍舵机、右胸鳍舵机、尾鳍舵机、腹鳍舵机、背鳍舵机的多控制面协调运动产生侧游、微调、倒游、上浮下潜的游动方式，实现色标块追踪定位和避障。

本发明由于采用了以上技术方案，其具有以下优点：

1.本发明采取CPG运动控制方法较以前的曲线拟合法更加协调自然，有更好的环境适应性。

2.本发明的仿生机器鱼通过尾部四个关节来产生主推进力，一对胸鳍、一个背鳍和一个腹鳍用来实现次要推进和平衡作用。通过多个控制面的有效配合，实现了仿生机器鱼在水中的倒游、侧游、复合转弯、上浮下潜等功能。

3.仿生机器鱼游动的时候能够依靠多个鳍的联动，特别是腹鳍、背鳍和胸鳍的平衡作用保持头部的稳定，提高摄像头采集图像的质量。

4.在视觉模块当中，编写了图像分割、目标定位和目标追踪的算法。基于仿生机器鱼的单目视觉，设计了仿生机器鱼目标追踪的控制算法。在实验中，验证了具有嵌入式视觉功能的仿生机器鱼的基本性能，提高了仿生机器鱼单体的智能化水平。

5.仿生机器鱼通过尾鳍、胸鳍片、腹鳍片、背鳍片的多控制面协调运动，能够实现较仅具有尾鳍和胸鳍的仿生机器鱼更加精确和灵巧的色标块追踪定位和避障。

6.建立了一种以高级精简指令微处理器(ARM9)为核心处理器的控制系统。通过搭载30万像素的CMOS)摄像头和相关的外围模块组成仿生机器鱼的嵌入式视觉硬件系统。采用超频技术提升核心处理器的运算速度，保证了仿生机器鱼对图像处理速度稳定在10帧/秒以上。

附图说明

图1是本发明仿生机器鱼的结构示意图；

图2是图1中本发明控制板及其外围器件的硬件框图；

图3是本发明控制板结构示意图；

图4是本发明的图3中控制策略模块的流程图；

图5是本发明的图4中自主巡游策略示意图；

图6是本发明的图4中游向目标的策略示意图；

图7是本发明目标追踪视频截图；

图8是本发明的图7中实验运动轨迹图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合所附图和表对本发明具有嵌入式视觉功能的多控制面仿生机器鱼作详细说明。

一、仿生机器鱼的机械结构

如附图1中示出的仿生机器鱼的结构，及图2是图1中本发明控制板及其外围接口的硬件框图；

仿生机器鱼包括刚性鱼头11、具有多个关机的柔性身体12、控制板13、摄像头模块14、左胸鳍片15、右胸鳍片16、电源模块19、红外传感器20、深度传感器21、无线通信模块22、新月形尾鳍24、配重铜块27、充气孔28、发射接收天线29、开关30、腹鳍片31、背鳍片32和运动控制模块33；图2中示出所述运动控制模块33包括左胸鳍舵机17、右胸鳍舵机18、四个尾部舵机23、腹鳍舵机25和背鳍舵机26；

所述仿生机器鱼中：鱼头11与具有多个关机的柔性身体12相连；鱼头11内部为中空结构，鱼头11内设置含有左胸鳍舵机17、右胸鳍舵机18、腹鳍舵机25和背鳍舵机26的运动控制模块33；配重铜块27安装在左胸鳍舵机17、右胸鳍舵机18和腹鳍舵机25的中央；在鱼头11最前端设置有摄像头模块14、控制板13以及电源模块19，电源模块19为控制板13供电；充电头27从鱼头11上部引出；鱼头11上部设有充气孔28，用于检测鱼体的气密性；鱼头11上还设计了发射接收天线29和开关30；红外传感器20安装在鱼头11的外侧面，用于检测周边障碍物。深度传感器21安装在鱼头11的底部，用于探测仿生机器鱼所在水层面的深度；左胸鳍片15、右胸鳍片16安装在鱼头11外部的两侧，能实现仿生机器鱼的上浮下潜，腹鳍片31安装在鱼头外部的下方，背鳍片32安装在鱼头外部的上方，实现仿生机器鱼的侧向平游和平衡控制；对于鱼体在水平面的推进，由多个尾部舵机23构成的多关节摆动器，在尾部舵机23的尾端连接新月形尾鳍24，进而实现仿鱼的左右划水运动；左胸鳍片15、右胸鳍片16、背鳍片32和腹鳍片31通过连接它们的左胸鳍舵机17、右胸鳍舵机18、背鳍舵机26及腹鳍舵机25产生驱动力进行摆动或者转向；在仿生机器鱼游动的过程中，左胸鳍片15、右胸鳍片16、背鳍片32和腹鳍片31通过联动保持头部的平衡和稳定，能够提高摄像头模块14采集的图像的质量；仿生机器鱼通过摄像头模块14采集的图像信息经视觉模块1314处理后，由控制策略模块1311产生控制信号，通过尾鳍舵机23、胸鳍舵机17、18、腹鳍舵机25、背鳍舵机26的多控制面协调运动产生侧游、微调、倒游、上浮下潜等游动方式，能够实现较仅具有尾鳍和胸鳍的仿生机器鱼更加精确和灵巧的色标块追踪定位和避障。所述尾鳍片、胸鳍片、腹鳍片、背鳍片的多控制面协调运动是利用视觉模块的视觉信息提取目标色块的中心点位置(x，y)和目标色块的面积大小Z，结合控制策略模块生成的360°巡游、直线巡游和游向目标色块的控制策略，实现色标块追踪定位和避障。

所述鱼头11采用玻璃钢制成，分为上下两半腭，上下两半腭之间用防水胶加铁圈密封。所述鱼头11按照生物鱼的流线型外形制成，鱼头11横截面为椭圆形。所述摄像头模块14是30万像素的CMOS摄像头模块或130万像素的CMOS摄像头模块。所述电源模块19采用一组锂电池构成或充电电池组。所述无线通信模块22是具有双工通信功能的无线通信模块。柔性身体12包括多个尾部舵机23、金属骨架和鱼皮，多个尾部舵机23和金属骨架设于防水鱼皮内，多个尾部舵机23固接于金属骨架上。鱼皮为防水鱼皮。

二、仿生机器鱼的嵌入式视觉系统的硬件系统

针对仿生机器鱼的反馈控制需求，如附图2所示的仿生机器鱼控制板13的硬件框图。它的特点在于采用高级精简指令微处理器(ARM9)内核的控制器，并把ARM9核心板131和仿生机器鱼扩展板分开，这样便于后续的升级换代。

仿生机器鱼控制板13包括：采用基于ARM9内核(SUNGSUM2440)的控制器的ARM9核心板131和外围接口模块132。所述外围接口模块132包括无线接口模块、输入输出模块、JTAG(Joint Test Action Group)程序烧写模块。

如附图2中，ARM9核心板131通过外围接口模块132与各个功能模块相连。电源模块19通过外围接口模块132为硬件系统提供电量。红外传感器20、深度传感器21、摄像头模块14和无线通信模块22将各自的TTL电平信号、模拟信号、图像及控制信号和串口通信信号通过外围接口模块132上传至ARM9核心板131上进行处理。经ARM9核心板131处理的信息，一部分产生监控信号，通过无线通信模块22由串口通信的方式发送到上位机监控平台上，另一部分产生脉冲宽度调制(PWM)波控制信号，发送到运动控制模块33中，驱动鱼头部的左胸鳍舵机、右胸鳍舵机、腹鳍舵机和背鳍舵机与多个尾部舵机23进行协调运动。所述尾部舵机23四关节尾部舵机或三关节尾部舵机或五关节尾部舵机。

三、具有嵌入式视觉功能的多控制面仿生机器鱼的ARM9核心板

图3给出了本发明仿生机器鱼ARM9核心板131的结构示意图，所述ARM9核心板131包括：控制策略模块1311、运动模板匹配与特征调整模块1312、CPG模块1313、视觉模块1314。

仿生机器鱼的输出端发送探测到的外界的水域环境的视觉信息、红外传感状态反馈信息和深度传感状态反馈信息；

控制策略模块1311的输入输出端和视觉模块1314的输入输出端连接仿生机器鱼的输出端；控制策略模块1311发送设置视觉模块1314的功能的参数，视觉模块1314的输入输出端接收探测到的外界的水域环境的视觉信息，并利用视觉算法对视觉信息进行处理，生成并输出目标色块的位置参数；控制策略模块1311接收并对目标色块的位置参数、红外传感状态反馈信息和深度传感状态反馈信息进行处理、决策，生成并输出控制命令；

运动模板匹配与特征调整模块1312的输入端连接控制策略模块1311的输出端、CPG模块1313的输入端和仿生机器鱼的输出端，运动模板匹配与特征调整模块1312接收控制策略模块1311的控制命令，再综合仿生机器鱼的红外传感信息和深度传感信息，发送控制指令；

CPG模块1313的输入端与运动模板匹配与特征调整模块1312输出端连接，CPG模块1313接收运动模板匹配与特征调整模块1312的控制指令后，调整CPG模块1313的构型和胸鳍舵机17、18、腹鳍舵机25、背鳍舵机26和尾鳍舵机23神经元的特征参数，生成并发送胸鳍片15、16、腹鳍片31、背鳍片32和尾鳍24所组成的多控制面结构的协调配合运动控制信号；

仿生机器鱼的胸鳍舵机17、18、腹鳍舵机25、背鳍舵机26和尾部舵机23的驱动控制器的输入端与CPG模块1313输出端连接，仿生机器鱼胸鳍舵机17、18、腹鳍舵机25、背鳍舵机26和尾部舵机23的驱动控制器接收CPG模块1313发送的协调配合运动控制信号，驱动仿生机器胸鳍舵机17、18、腹鳍舵机25、背鳍舵机26和尾部舵机23的驱动控制器产生运动；实现该仿生机器鱼的视觉模块与多控制面结构的关联控制。

四、基于CPG模块1313的仿生机器鱼的运动控制

基于CPG模块1313的控制的关键点在于CPG模块1313的在线计算。由于本发明采用一类能产生稳定极限环的简单非线性微分方程组来表示其振荡神经元，且以单个振荡神经元构成CPG模块1313，这大大简化了CPG模块1313的参数量及计算量。此外，CPG模块1313的输出可以分别由单参数来改变其性能，比如输出波形的振幅和频率，这也给程序编写和计算带来方便。基于不同反馈接收部位的仿生机器鱼运动的反馈控制方法的步骤如下，提出了以一类振荡频率和幅值可分别单参数控制的非线性振荡器作为振荡神经元，见公式(1-1)所示。

$\left\{\begin{array}{c}{\mathrm{\Δ\θ}}_i={\mathrm{\θ}}_i-\stackrel{-}{{\mathrm{\θ}}_i}\\ A_i{\mathrm{\Δ\θ}}_i=A_i\mathrm{\ω}({\mathrm{\υ}}_i+{\mathrm{\Δ\θ}}_i)-{\mathrm{\Δ\θ}}_i({{\mathrm{\Δ\θ}}_i}^2+{{\mathrm{\υ}}_i}^2)\\ A_i{\mathrm{\υ}}_i=A_i\mathrm{\ω}({\mathrm{\υ}}_i-{\mathrm{\Δ\θ}}_i)-{\mathrm{\υ}}_i({{\mathrm{\Δ\θ}}_i}^2+{{\mathrm{\υ}}_i}^2)+A_i\underset{j}{\mathrm{\Σ}}(a_{\mathrm{ij}}{\mathrm{\θ}}_j+b_{\mathrm{ij}}{\mathrm{\υ}}_j)\end{array}\right.---(1-1)$

其中，θ_i表示第i个关节的期望相位摆角和兴奋神经元动作，

表示叠加的偏移量，Δθ_i表示第i个关节的期望相位摆角与叠加的偏移量之间的差值。υ_i表示的是与Δθ_i相对的抑制神经元动作，ω表示关节摆动的角速度，4表示第i个关节的最大摆动幅度，

表示上一个时刻的Δθ_i与下一个时刻的Δθ_i的差值，

表示上一个时刻的υ_i与下一个时刻的υ_i的差值；a_ij b_ij均为第i关节和第j个关节之间的连接权值；通过改变连接权值a_ijb_ij可以调节各关节之间摆动的相位超前滞后关系，形成多关节协调运动。

图3中的CPG模块1313对应的是各个关节神经元。尾部关节一、二、三、四中相连的两个关节都有连接权值。鱼头的四个关节对应的是左胸鳍舵机、右胸鳍舵机、腹鳍舵机、背鳍舵机，它们四个关节之中的任一关节都与其它关节有连接权值。控制板13通过这些连接权值控制鱼头的四个关节的左胸鳍舵机、右胸鳍舵机、腹鳍舵机、背鳍舵机协调运动，保持和稳定仿生机器鱼的游动姿态。头部主要负责平衡与导向，尾部舵机主要负责推进，因此头部与尾部舵机采用单向的连接权值。

五、仿生机器鱼的视觉算法

为了模仿自然界鱼类的视觉系统，本发明在多控制面仿生机器鱼上安装上了视觉模块1314，通过CMOS摄像头模块14，来实现对外界图像的采集。同时采用高速ARM9处理器来处理采集的图像，模拟鱼类对于视觉信息的理解。

本发明在ARM9核心板131中编写阈值分割的算法。在仿生机器鱼的嵌入式视觉算法当中，阈值分割法被作为最基本的处理技术，搭配其它算法共同使用。采集图像的格式为YCbCr4:2:2，即相邻的两个象素共用一个蓝色色度Cb分量和一个红色色度Cr分量，而各自拥有一个亮度Y分量。针对仿生机器鱼识别的红色和蓝色色标块，设计了Cr_High、Cr_Low、Cb_High、Cb_Low四个上下限。落在上下限范围内的像素就被认为是目标色块的点。这四个值采用离线的方式来获得，首先通过摄像头模块14采集一帧含有目标色块的图像。采用画图工具抽取图像中目标色块的颜色信息。大致设定阈值分割的上下限，然后根据实际实验整定这四个参数。

在仿生机器鱼的嵌入式程序中，采用重心法来定位目标色块的中心点。即采用所有落在颜色范围中的点的位置的平均值来计算目标色块的中心位置。

在以上阈值分割和图像定位的基础上，本发明采用均值漂移算法中的均值漂移(Meanshift)算法来实现目标动态跟踪的功能。Meanshift算法根据图像帧的前一帧图像的颜色概率分布预测出当前帧的目标位置移动趋势。该方法采用的是RGB颜色空间，因此需要把原来的YCbCr信息进行转换，其公式如(1-2)所示：

$\left\{\begin{array}{c}R=Y+1.371*(\mathrm{Cr}-128)\\ G=Y-0.336*(\mathrm{Cb}-128)-0.689*(\mathrm{Cr}-128)\\ B=Y+1.732*(\mathrm{Cb}-128)\end{array}\right.---(1-2)$

其中的R表示的红色颜色分量的值，G表示的绿色颜色分量的值，B表示的蓝色颜色分量的值。其中的Y、Cb、Cr是YCbCr空间中亮度Y、蓝色色度Cb分量和红色色度Cr分量的值。

Meanshift算法实现的步骤如下所示：

(1)初始化RGB空间图像，将颜色空间从YCbCr空间变化到RGB空间上；

(2)在当前帧上搜索目标色块，标定出目标色块的四周，并且计算出其直方图分布；

(3)利用直方图分布计算概率图，根据目标区域，计算质心，并且将目标区域移至其质心上；

(4)重新从目标区域上计算新一帧的图像。

仿生机器鱼的视觉模块1314算法对每帧图像的处理顺序如下：

(1)阈值分割：从摄像头模块14中读取YCbCr的信息。忽略YCbCr其中的Y分量，将Cb和Cr信息参照已经设定好的上下限标定出落在色彩范围内的像素；

(2)目标定位：将属于颜色范围内的像素点进行融合。计算出每一帧图像的目标色块重心位置，并且统计出目标色块的像素面积；

(3)目标追踪：先将原有的YcbCr信号通过变换转化成RGB信号。通过Meanshift算法在RGB空间确定目标色块位置和边界。

以上三步就是仿生机器鱼的视觉模块1314的算法。通过这些算法给出的仅仅是色标块的信息，还需要针对这些信息采用适当的控制策略，才能使仿生机器鱼游动达到最佳效果。

六、基于视觉模块1314的仿生机器鱼控制策略

在前面已经介绍和分析了各种视觉处理的算法，这些算法都是从环境的视觉信息中提取有用的信息。这些处理过的信息还必须通过控制策略模块，转化成实时的控制信号，由仿生机器鱼的各个鳍的驱动装置产生驱动力，实现机器鱼的各种运动。

(A)视觉信息提取

本发明采用视觉信息提取的方法，提取视觉信息中最有价值的结果数值。在仿生机器鱼当中，提取了三个参数分别为XYZ，其中X，Y表示的是目标色块的中心位置，Z表示的是目标色块在整幅图像中所占的面积(总的像素)。通过这三个参数，大大简化了视觉信息。同时，为了保持上位机和机器鱼的实时通信，本发明将这三个参数以X％dY％dZ％d的格式发送到上位机平台上。

(B)360°巡游、直线巡游和游向目标色块的控制策略

如图4所示为本发明中控制策略模块1311的流程图，控制策略的步骤如下：

步骤S1：对控制策略模块1311进行初始化，检测仿生机器鱼各个模块的启动情况；

步骤S2：进入自主巡游状态，此时的仿生机器鱼执行自主巡游策略；

步骤S3：控制策略模块1311根据视觉模块1314返回的信息，判断游动的方向上有无障碍物，若有则执行步骤S4，若无则执行步骤S6；

步骤S4：执行躲避障碍的策略，根据视觉模块1314返回的障碍物的位置及大小信息，确定躲避障碍的方法；

步骤S5：根据躲避障碍的策略，调整由胸鳍舵机、腹鳍舵机、背鳍舵机和尾鳍舵机的摆动幅度和频率；由胸鳍片和尾鳍来产生主要的转向力和推进力，腹鳍片和背鳍片进行导向和平衡作用，完成转弯控制；

步骤S6：在没有遇到障碍物或躲避完障碍物之后，控制策略模块1311根据视觉模块1314的信息检测游动的方向上有无目标色块，若无则返回自主巡游S2，若有则执行游向目标控制策略S7；

步骤S7：在发现目标色块之后，控制策略模块1311执行游向目标的控制策略，该策略综合视觉模块1314的信息驱动多控制面结构；

步骤S8：由多个关节组成的多控制面结构产生推进力，使仿生机器鱼游向目标色块；

步骤S9：在游向目标色块的过程中，根据视觉模块1314返回的信息，检测目标色块是否丢失；若没有丢失，则返回游向目标的控制策略S7，若丢失，则返回自主巡游S2。

在执行控制策略的过程中，仿生机器鱼需要执行自主巡游策略和游向目标的控制策略。

如图5所示是图4中本发明的自主巡游策略示意图，所述自主巡游策略的步骤分为360°巡游和直线巡游两种方法：

360°巡游61：以最小半径转弯，形成一个圆的轨迹来探测周围360°视野范围内的信息。该方法的优点是可以把周边信息全部囊括进来，不足是假如目标色块位于障碍物后方，则不能检测到。

直线巡游62：即仿生机器鱼总体上保持直线游动，但是此时的仿生机器鱼头部左右摆动，角度控制在正负30°。这样仿生机器鱼就可以随着身体的移动遍历前方30°以内的区域，其不足之处是不能看到30°以外的区域。

在实际中，本发明结合这两种巡游模式来达到最佳效果。仿生机器鱼根据周边的环境信息来选择这两种自主巡游模式。

如图6所示是图4中本发明的游向目标的控制策略示意图：

该策略在仿生机器鱼发现目标色块后执行。由于仿生机器鱼在水中游动有一定的惯性，所以在鱼鳍响应的时候仿生机器鱼鱼头部可能已经偏离了正对目标色块的位置。如果不及时调整，目标色块就要越出仿生机器鱼的视野。本发明采用死区63的方式来避免这种情况的发生。仿生机器鱼的水平视野64为0-240像素，对应的视角大概为30°左右。在0-50像素的时候仿生机器鱼向左转弯游动65；在90-150像素的范围内仿生机器鱼直游67；在190-240像素的区间向右游动66。其中50-90、150-190像素为死区，这个区间内，仿生机器鱼的游动姿势保持不变。值得注意的是，仿生机器鱼的转弯级别需要根据游速来确定。在游向目标的控制策略中，转弯的级别和游速成正比，游速加快，转弯的幅度也随之加大。

在游向目标色块的控制策略中，为了保证仿生机器鱼能够时刻瞄准目标色块游动，同时要保持鱼头的稳定性，使得视觉模块1314从摄像头模块14中得到的图像清晰，本发明设计了胸鳍舵机、腹鳍舵机和背鳍舵机的联动。当转弯的幅度比较大时，转向力主要靠尾鳍来产生，这时候转向同侧的胸鳍片不动，异侧的胸鳍片上下摆动产生推进力帮助转弯，同时背鳍片和腹鳍片向转向侧偏转一个角度，一方面增加转向的推进力，一方面起到稳定鱼头的作用。当转弯的幅度较小时，仅仅靠背鳍和腹鳍偏转一个角度，通过水流的反作用力来产生转向动力，不需要胸鳍片和尾鳍片的摆动，从而减小了头部的震动，提升了视觉模块的成像质量。

根据以上的视觉算法和视觉控制，本发明采用多颜色色标块的跟踪和避障的实验来验证。

图7给出了该实验的效果图为本发明目标追踪视频截图。可以看出：仿生机器鱼在开始时朝没有障碍物的一侧游动，步态为直游。当检测到前方蓝色的障碍物时，仿生机器鱼采用了右转避障。在转了360°之后，仿生机器鱼检测到了目标色块，由于没有障碍物遮挡目标色块，它采用游向目标的的策略，对准目标游去，直到碰到目标色块。仿生机器鱼在不断顶目标色块的同时，位置发生了偏移。这时目标色块越出了视野。仿生机器鱼重新进入自主巡游的状态，原地转弯一周后，重新游到目标位置。实验中仿生机器鱼的运动轨迹记录图见图8。按照小写英文字母排序a、b、c、d、e及f为其游动的顺序。本发明在探测到目标色块之后，立即做出反应，不仅能够自主巡游，而且可以准确地游向目标色块。即使在游动过程中发生目标丢失的情况，仿生机器鱼也能够回到巡游状态，重新定位目标色块。该实施例表明仿生机器鱼成功地实现了智能化的视觉控制，将有助于提高了仿生机器鱼的作业能力并拓宽其应用领域。

以上所述，仅为本发明中的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉该技术的人在本发明所揭露的技术范围内，可理解想到的变换或替换，都应涵盖在本发明的包含范围之内。

Claims (8)

1.一种具有嵌入式视觉的多控制面仿生机器鱼，它包括鱼头、具有多个关节的柔性身体、新月形尾鳍片、配重铜块、充气孔、发射接收天线、开关，其特征在于，还包括控制板、摄像头模块、左胸鳍片、右胸鳍片、电源模块、红外传感器、深度传感器、无线通信模块、腹鳍片、背鳍片和运动控制模块；所述运动控制模块包括；左胸鳍舵机、右胸鳍舵机、四个尾部舵机、腹鳍舵机和背鳍舵机；其中鱼头分为上下两半腭，内部为中空结构，鱼头内设置有左胸鳍舵机、右胸鳍舵机、腹鳍舵机和背鳍舵机；在鱼头内部的前端设置有摄像头模块、控制板以及电源模块；左胸鳍片、右胸鳍片安装在鱼头外部的两侧，实现仿生机器鱼的上浮下潜，腹鳍片安装在鱼头外部的下方，背鳍片安装在鱼头外部的上方，实现仿生机器鱼的侧向平游和平衡控制；左胸鳍片、右胸鳍片、背鳍片和腹鳍片通过连接它们的左胸鳍舵机、右胸鳍舵机、背鳍舵机及腹鳍舵机产生驱动力进行摆动或者转向；红外传感器安装在鱼头的外侧面，用于检测周边障碍物；深度传感器安装在鱼头内的底部，用于探测仿生机器鱼所在水层面的深度；红外传感器、深度传感器、摄像头模块和无线通信模块将各自的TTL电平信号、模拟信号、图像及控制信号和串口通信信号通过控制板进行处理，产生监控信号并通过无线通信模块由串口通信的方式发送到上位机监控平台上，同时控制板产生脉冲宽度调制波控制信号，发送到运动控制模块中，驱动仿生机器鱼；在仿生机器鱼游动的过程中，左胸鳍片、右胸鳍片、背鳍片和腹鳍片通过联动保持鱼头部的平衡和稳定，保证摄像头模块采集的图像的质量；仿生机器鱼通过摄像头模块采集的图像信息经控制板处理后，产生控制信号，通过左胸鳍舵机、右胸鳍舵机、尾鳍舵机、腹鳍舵机、背鳍舵机的多控制面协调运动产生侧游、微调、倒游、上浮下潜的游动方式，实现色标块追踪定位和避障；

所述控制板包括采用基于高级精简指令微处理器内核的高级精简指令微处理器核心板和外围接口模块，所述高级精简指令微处理器核心板包括控制策略模块；

所述控制策略模块的控制策略步骤如下：

步骤S1：对控制策略模块进行初始化，检测仿生机器鱼各个模块的启动情况；

步骤S2：进入自主巡游状态，此时仿生机器鱼执行自主巡游策略；

步骤S3：控制策略模块根据视觉模块返回的信息，判断游动的方向上有无障碍物，若有障碍物，则执行步骤S4，若无障碍物，则执行步骤S6；

步骤S4：执行躲避障碍的策略，根据视觉模块返回的障碍物的位置及大小信息，确定躲避障碍的方法；

步骤S5：根据躲避障碍的策略，调整由胸鳍舵机、腹鳍舵机、背鳍舵机和尾鳍舵机的摆动幅度和频率；由胸鳍片和尾鳍片来产生主要的转向力和推进力，腹鳍片和背鳍片进行导向和平衡作用，完成转弯控制；

步骤S6：在没有遇到障碍物或躲避完障碍物之后，控制策略模块根据视觉模块的信息检测游动的方向上有无目标色块，若无目标色块，则返回步骤S2，若有目标色块，则执行步骤S7；

步骤S7：在发现目标色块之后，控制策略模块执行游向目标的控制策略，并游向目标的控制策略综合视觉模块的信息驱动多控制面结构；

步骤S8：由多个关节尾鳍舵机组成的多控制面结构产生推进力，使仿生机器鱼游向目标色块；

步骤S9：在游向目标色块的过程中，根据视觉模块返回的信息，检测目标色块是否丢失，若没有丢失目标色块，则返回步骤S7，若丢失目标色块，则返回步骤S2；

所述游向目标的控制策略包括：

仿生机器鱼的水平视野为0-240像素，对应的视角大概为30°左右；在0-50像素的时候仿生机器鱼向左转弯游动；在90-150像素的范围内仿生机器鱼直游；在190-240像素的区间向右游动；设置50-90、150-190像素为死区，用于避免目标色块越出仿生机器鱼的视野；在所述死区内，仿生机器鱼的游动姿势保持不变；仿生机器鱼的转弯级别需要根据游速来确定；在游向目标的控制策略中，转弯的级别和游速成正比，游速加快，转弯的幅度也随之加大。

2.如权利要求1所述的具有嵌入式视觉的多控制面仿生机器鱼，其特征在于，柔性身体包括多个尾部舵机、金属骨架和鱼皮，多个尾部舵机和金属骨架设于防水鱼皮内，多个尾部舵机固接于金属骨架上。

3.如权利要求1所述的具有嵌入式视觉的多控制面仿生机器鱼，其特征在于，所述外围接口模块包括无线接口模块、输入输出模块、JTAG程序烧写模块。

4.如权利要求1所述的具有嵌入式视觉的多控制面仿生机器鱼，其特征在于，所述高级精简指令微处理器核心板还包括：运动模板匹配与特征调整模块、CPG模块和视觉模块，其中：

仿生机器鱼的输出端发送探测到的外界的水域环境的视觉信息、红外传感状态反馈信息和深度传感状态反馈信息；

控制策略模块的输入输出端和视觉模块的输入输出端连接仿生机器鱼的输出端；控制策略模块发送设置视觉模块的功能的参数，视觉模块的输入输出端接收探测到的外界的水域环境的视觉信息，并利用视觉算法对视觉信息进行处理，生成并输出目标色块的位置参数；控制策略模块接收并对目标色块的位置参数、红外传感状态反馈信息和深度传感状态反馈信息进行处理、决策，生成并输出控制命令；

运动模板匹配与特征调整模块的输入端连接控制策略模块的输出端、CPG模块的输入端和仿生机器鱼的输出端，运动模板匹配与特征调整模块接收控制策略模块的控制命令，再综合仿生机器鱼的红外传感信息和深度传感信息，发送控制指令；

CPG模块的输入端与运动模板匹配与特征调整模块输出端连接，CPG模块接收运动模板匹配与特征调整模块的控制指令后，调整CPG模块的构型和胸鳍舵机、腹鳍舵机、背鳍舵机和尾鳍舵机神经元的特征参数，生成并发送胸鳍片、腹鳍片、背鳍片和尾鳍片所组成的多控制面结构的协调配合运动控制信号；

仿生机器鱼的胸鳍舵机、腹鳍舵机、背鳍舵机和尾部舵机的驱动控制器的输入端与CPG模块输出端连接，仿生机器鱼胸鳍舵机、腹鳍舵机、背鳍舵机和尾部舵机的驱动控制器接收CPG模块发送的协调配合运动控制信号，驱动仿生机器鱼胸鳍舵机、腹鳍舵机、背鳍舵机和尾部舵机的驱动控制器产生运动；实现该仿生机器鱼的视觉模块与多控制面结构的关联控制。

5.如权利要求1所述的具有嵌入式视觉的多控制面仿生机器鱼，其特征在于，CPG模块采用能产生稳定极限环的简单非线性微分方程组来表示其振荡神经元，且以单个振荡神经元构成CPG模块，CPG模块的输出分别由单参数来改变其输出波形的振幅和频率。

6.如权利要求5所述的具有嵌入式视觉的多控制面仿生机器鱼，其特征在于，以振荡频率和幅值分别单参数控制的非线性振荡器作为振荡神经元如下表示：

$\left\{\begin{array}{c}\mathrm{\Δ}{\mathrm{\θ}}_i={\mathrm{\θ}}_i-{\stackrel{\‾}{\mathrm{\θ}}}_i\\ A_i\stackrel{\·}{\mathrm{\Δ}{\mathrm{\θ}}_i}=A_i\mathrm{\ω}({\text{\υ}}_i+\mathrm{\Δ}{\mathrm{\θ}}_i)-\mathrm{\Δ}{\mathrm{\θ}}_i(\text{\Δ}{{\mathrm{\θ}}_i}^2+{{\mathrm{\υ}}_i}^2)\\ A_i{\stackrel{\·}{\mathrm{\υ}}}_i=A_i\mathrm{\ω}({\mathrm{\υ}}_i-\mathrm{\Δ}{\mathrm{\θ}}_i)-{\mathrm{\υ}}_i(\mathrm{\Δ}{{\mathrm{\θ}}_i}^2+{{\mathrm{\υ}}_i}^2)+A_i\underset{j}{\mathrm{\Σ}}(a_{\mathrm{ij}}{\mathrm{\θ}}_j+b_{\mathrm{ij}}+{\mathrm{\υ}}_j)\end{array}\right.$

其中，θ_i表示第i个关节的期望相位摆角和兴奋神经元动作，

表示叠加的偏移量，Δθ_i表示第i个关节的期望相位摆角与叠加的偏移量之间的差值；υ_i表示的是与Δθ_i相对的抑制神经元动作，A_i表示第i个关节的最大摆动幅度，ω表示关节摆动的角速度，表示上一个时刻的Δθ_i与下一个时刻的Δθ_i的差值，表示上一个时刻的υ_i与下一个时刻的υ_i的差值；a_ijb_ij均为第i关节和第j个关节之间的连接权值；通过改变连接权值a_ijb_ij调节各关节之间摆动的相位超前滞后关系，形成多关节协调运动。

7.如权利要求1所述的具有嵌入式视觉的多控制面仿生机器鱼，其特征在于，所述尾鳍片、胸鳍片、腹鳍片、背鳍片的多控制面协调运动是利用视觉模块的视觉信息提取目标色块的中心点位置(x，y)和目标色块的面积大小Z，结合控制策略模块生成的360°巡游、直线巡游和游向目标色块的控制策略，实现色标块追踪定位和避障。

8.如权利要求1所述的具有嵌入式视觉的多控制面仿生机器鱼，其特征在于，所述鱼头采用玻璃钢制成，上下两半腭之间用防水胶加铁圈密封。

Images