CN106873632A - 仿生机器鱼及其图像增稳系统和主动视觉跟踪系统 - Google Patents

Abstract

本发明涉及一种仿生机器鱼及其图像增稳系统和主动视觉跟踪系统。通过对仿生机器鱼艏摇行为引起的图像晃动问题展开研究，本发明首先在仿生机器鱼头部构建了具有偏航自由度的视觉云台，并构建了反馈控制器和前馈控制器，通过实时调整云台的转动角度，保持摄像头相对姿态稳定，实现图像增稳；同时，基于该图像增稳系统，本发明给出了一种主动视觉跟踪系统，通过构建主动视觉控制器，根据被跟踪物体在图像中的目标位置和实际位置，实时计算图像增稳系统的目标姿态角，控制摄像头跟随被跟踪物体运动，从而实现仿生机器鱼主动视觉跟踪。

Description

仿生机器鱼及其图像增稳系统和主动视觉跟踪系统

技术领域

本发明涉及仿生机器人领域，具体涉及一种仿生机器鱼及其图像增稳系统和主动视觉跟踪系统。

背景技术

仿生机器鱼的研究已有20多年的历史，研究内容从最初简单的游动模仿，发展到现在注重各种游动性能指标的提升。特别是近十年，随着科技发展带来的技术革新，仿生机器鱼的运动性能获得极大提高。但是，在水下环境感知及智能水平研究方面，仿生机器鱼的进步相对有限，主要局限于水下环境感知传感器上。

一般来讲，仿生机器鱼采用波动推进方式，通过摆动身体及尾鳍获得前进推力。但是，这种推进方式容易引起严重的艏摇行为，造成位于仿生机器鱼头部的摄像头难以获得清晰的图像，给图像处理与分析带来很大困难。同时，在运动过程中，仿生机器鱼与被跟踪物体的相对运动容易造成被跟踪物体脱离摄像头视野范围，增加视觉追踪的难度。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种仿生机器鱼及其图像增稳系统和主动视觉跟踪系统，改善了仿生机器鱼摄像头的成像质量，同时提高了对运动物体跟踪的可靠度，为仿生机器鱼利用水下机器视觉实现更高的智能奠定了基础。

本发明提出一种仿生机器鱼图像增稳系统，包括：云台电机、第一惯性测量单元、第二惯性测量单元、控制单元；

所述云台电机，装设于所述仿生机器鱼头部，用于带动云台进行转动；所述云台上设置有用于采集仿生机器鱼行进方向图像的摄像头；

所述第一惯性测量单元，设置于所述仿生机器鱼头部，用于测量所述摄像头相对于世界坐标系的实时姿态角；

所述第二惯性测量单元，设置于所述仿生机器鱼的身体内部，用于测量所述仿生机器鱼艏摇行为产生的第一扰动信号；

所述控制单元，用于根据所述摄像头相对于世界坐标系的目标姿态角、以及所述第一惯性测量单元和所述第二惯性测量单元的测量结果，控制所述云台电机的转动。

优选地，所述控制单元，包括反馈控制器和前馈控制器；

所述反馈控制器的输入信号为所述摄像头相对于世界坐标系的目标姿态角；所述反馈控制器的负反馈信号为所述第一惯性测量单元的测量结果；

所述前馈控制器的输入信号为所述第二惯性测量单元的测量结果；

所述反馈控制器的输出信号与所述前馈控制器的输出信号的差值，作为所述云台电机的输入。

优选地，所述云台电机模型的传递函数为：

其中，s为复数自变量，a、b、c为云台电机模型参数。

优选地，所述反馈控制器为比例微分控制器，其传递函数为：

C(s)＝k_p+k_ds，

其中，s为复数自变量，k_p为比例系数，k_d为微分系数。

优选地，所述前馈控制器的传递函数为：

D(s)＝as³+bs²+cs，

其中，s为复数自变量，a、b、c为云台电机模型参数。

优选地，所述仿生机器鱼，采用波动推进的方式，依靠正弦信号驱动身体及尾鳍以产生前进的推动力。

本发明同时提出一种仿生机器鱼主动视觉跟踪系统，包括：摄像头、图像处理单元、主动视觉控制器，以及上面所述的仿生机器鱼图像增稳系统；

所述摄像头，安装于所述仿生机器鱼头部的云台上，用于采集图像数据；

所述图像处理单元，用于对所述摄像头采集到的图像数据进行实时处理，获取被跟踪物体在图像中的实际位置；

所述主动视觉控制器，用于根据所述被跟踪物体在图像中的目标位置和所述被跟踪物体在图像中的实际位置，计算所述摄像头相对于世界坐标系的目标姿态角。

优选地，所述主动视觉控制器的输入信号为所述被跟踪物体在图像中的目标位置，所述主动视觉控制器的负反馈信号为所述被跟踪物体在图像中的实际位置。

优选地，所述主动视觉控制器的传递函数为：

其中，k_s为控制器的积分系数。

本发明同时提出一种仿生机器鱼，基于上面所述的仿生机器鱼主动视觉跟踪系统。

本发明提出的一种仿生机器鱼图像增稳系统，用于解决仿生机器鱼艏摇引起的图像晃动。构建了反馈控制器和前馈控制器，通过第一惯性测量单元来测量所述摄像头相对于世界坐标系的实时姿态角，作为负反馈信号；通过第二惯性测量单元测量所述第一扰动信号，作为前馈信号；实时计算云台的转动角度，以保持摄像头相对姿态稳定，实现水下图像增稳。在图像增稳系统的基础上，本发明提出的一种仿生机器鱼主动视觉跟踪系统，用于解决由于被跟踪物体本身移动或周围环境变化而引起的被跟踪物体在图像中位置的偏移。基于主动视觉控制器，根据被跟踪物体在图像中的目标位置和实际位置，实时计算图像增稳系统的目标姿态角，从而实现摄像头跟随被跟踪物体运动，完成主动视觉跟踪。

附图说明

图1为本实施例中图像增稳系统的结构示意图；

图2为本实施例中图像增稳系统的控制系统框图；

图3为本实施例中图像增稳系统的效果图；

图4为本实施例中主动视觉跟踪系统的控制系统框图；

图5为本实施例中主动视觉跟踪系统的效果图。

具体实施方式

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。

本发明提出一种仿生机器鱼图像增稳系统，如图1所示，摄像头1、第一惯性测量单元2、连杆3和云台电机4，都位于仿生机器鱼6的头部；控制电路板5位于仿生机器鱼6的身体内部。

摄像头1通过连杆3固定在云台电机4的输出轴末端。同时，第一惯性测量单元2也固定在连杆3上，并随着摄像头1转动，即第一惯性测量单元2能够测量摄像头1相对于世界坐标系的实时姿态。控制电路板5固定在仿生机器鱼6身体内部，并跟随仿生机器鱼运动。同时，控制电路板5设计有第二惯性测量单元，用于测量仿生机器鱼6因波动推进时的艏摇行为而产生的第一扰动信号。采用具有偏航自由度的云台，云台电机4可沿仿生机器鱼的偏航方向转动，本发明通过前馈控制器和反馈控制器，控制云台电机4转动的角度，从而实现摄像头1相对于世界坐标系的姿态稳定，即保持摄像头1所采集图像稳定。

本实施例中，前馈控制器和反馈控制器组成控制单元，用于根据摄像头1相对于世界坐标系的目标姿态角，以及第一惯性测量单元2和所述第二惯性测量单元的测量结果，实时控制云台电机4的转动。

所述反馈控制器的输入信号为所述摄像头1相对于世界坐标系的目标姿态角，所述反馈控制器的负反馈信号为所述第一惯性测量单元的测量结果(即摄像头1相对于世界坐标系的实时姿态角)；所述前馈控制器的输入信号为所述第二惯性测量单元的测量结果(即所述第一扰动信号)；所述反馈控制器的输出信号与所述前馈控制器的输出信号的差值，作为所述云台电机4的输入。

本实施例中，所述仿生机器鱼图像增稳系统的控制系统框图，如图2所示。仿生机器鱼的波动推进方式，依靠正弦信号驱动身体及尾鳍以产生前进的推动力。因此，引起仿生机器鱼头部的晃动接近一个正弦信号。记第一扰动信号为n₁(t)，云台电机4转动的角度为φ(t)，则摄像头1的姿态角如公式(1)所示：

y(t)＝n₁(t)+φ(t) (1)

针对图像增稳控制系统，该系统输出为y(t)。通过第一惯性测量单元2测量y(t)，测得的结果为负反馈信号，构建基于比例微分控制器的反馈控制器；同时，通过第二惯性测量单元测量第一扰动信号n₁(t)，测得的结果作为前馈信号，构建前馈控制器，减少扰动对系统输出的影响，以获得更好的控制效果。

根据图2的控制系统框图，容易得到公式(2)：

其中，s为复数自变量，Y(s)为系统输出y(t)的拉普拉斯变换，N₁(s)为第一扰动信号n₁(t)的拉普拉斯变换，D(s)为前馈控制器的传递函数，G(s)为云台电机模型的传递函数，C(s)为反馈控制器的传递函数。

若构建前馈控制器，如公式(3)所示：

则第一扰动信号对于系统输出的影响为0，如公式(4)所示：

考虑到系统的受控对象为云台电机4，构建该云台电机模型，得到其传递函数如公式(5)所示：

其中，a、b、c为云台电机模型参数。

最终，根据公式换算，得到图2中反馈控制器和前馈控制器的传递函数分别如公式(6)和公式(7)所示：

C(s)＝k_p+k_ds (6)

D(s)＝as³+bs²+cs (7)

其中，k_p为比例系数，k_d为微分系数，a、b、c为云台电机模型参数。

本实施例中，所述仿生机器鱼图像增稳系统的实验效果，如图3所示。根据实验结果分析，在没有图像增稳系统的条件下，摄像头的视野变化最大范围如图3中左上角和左下角的图像所示，最大范围为624个像素；应用了本发明的图像增稳系统后，摄像头的视野变化最大范围如图3中右上角和右下角的图像所示，最大范围降为62个像素。实验结果证明了图像增稳系统和相关控制方法的有效性。

本发明同时提出一种仿生机器鱼主动视觉跟踪系统，以上面所述的仿生机器鱼图像增稳系统作为子系统，如图4的控制系统框图所示，另外还包括：摄像头、图像处理单元、主动视觉控制器。

除了仿生机器鱼艏摇行为会产生第一扰动信号N₁(s)，此外，由于被跟踪物体本身的移动，以及所述仿生机器鱼周围水流环境的变化，会导致被跟踪物体在图像中的位置发生偏移，对于仿生机器鱼主动视觉跟踪系统来说，这也是一种扰动，我们称之为第二扰动信号N₂(s)。该系统通过实时处理摄像头采集的图像信息，获得被跟踪物体在图像坐标系中的实际位置，再将其与目标位置作差得到主动视觉控制器的输入；主动视觉控制器的输出作为仿生机器鱼图像增稳系统的输入(即摄像头目标姿态角)；再通过图像增稳系统控制摄像头转动，以实现对被跟踪物体的主动视觉跟踪。

本实施例中，摄像头安装于仿生机器鱼头部的云台上，用于采集图像数据。

所述图像处理单元，用于对所述摄像头采集到的图像数据进行实时处理，对被跟踪物体进行检测与识别，进而获取被跟踪物体在图像中的实际位置。

所述主动视觉控制器，该控制器的输入信号为所述被跟踪物体在图像中的目标位置，该控制器的负反馈信号为所述被跟踪物体在图像中的实际位置。用于根据所述被跟踪物体在图像中的目标位置和所述被跟踪物体在图像中的实际位置，计算所述摄像头相对于世界坐标系的目标姿态角。

所述仿生机器鱼图像增稳系统，根据所述摄像头相对于世界坐标系的目标姿态角、实时姿态角，以及第一扰动信号N₁(s)，控制所述摄像头的转动。

本实施例中，根据摄像头的几何模型得出被跟踪物体在摄像头坐标系中的坐标，如公式(8)所示：

u＝-αtanθ+c_x (8)

其中，α为摄像头的放大率系数，θ为摄像头的姿态角，c_x为摄像头的投影中心坐标。该模型经过线性近似处理得到公式(9)：

u＝-α·θ+c_x (9)

于是，得到摄像头模型的传递函数，如公式(10)所示：

G_c(s)＝α (10)

假设图像增稳系统是理想的，即图像增稳系统的传递函数为1，也就是说系统没有纯时延环节，则系统误差的传递函数如公式(11)所示：

其中，T(s)为被跟踪物体在图像中的目标位置，R(s)为被跟踪物体在图像中的实际位置。

在阶跃输入的情况下，系统的稳态误差如公式(12)所示：

因此，为使系统的稳态误差为0，则主动视觉控制器的传递函数如公式(13)所示：

其中，k_s为控制器的积分系数。

值得注意的是，由于系统在进行图像数据的采集和处理时都有延时，所以系统具有较大的纯时延环节，k_s应设置为一个相对较小的值，本实施例中，其值为0.0016。

本实施例中，仿生机器鱼主动视觉跟踪系统的实验视频截图，如图5所示。其中，被跟踪物体由长方形框标出，每幅图像下方的t值表示拍摄该幅图像时的时间点(自仿生机器鱼主动视觉跟踪系统启动后，开始计时)。根据实验结果分析，在仿生机器鱼运动过程中，该算法大幅减小了图像晃动幅值，并有效保证了被跟踪物体位于图像中央。该实验成功验证了本发明所给出的仿生机器鱼主动视觉跟踪系统的有效性。

本发明同时提出一种仿生机器鱼，基于上面所述的仿生机器鱼主动视觉跟踪系统。

本领域技术人员应该能够意识到，结合本文中所公开的实施例描述的各示例的单元、控制器、方法，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明电子硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种仿生机器鱼图像增稳系统，其特征在于，包括：云台电机、第一惯性测量单元、第二惯性测量单元、控制单元；

所述云台电机，装设于所述仿生机器鱼头部，用于带动云台进行转动；所述云台上设置有用于采集仿生机器鱼行进方向图像的摄像头；

所述第一惯性测量单元，设置于所述仿生机器鱼头部，用于测量所述摄像头相对于世界坐标系的实时姿态角；

所述第二惯性测量单元，设置于所述仿生机器鱼的身体内部，用于测量所述仿生机器鱼艏摇行为产生的第一扰动信号；

所述控制单元，用于根据所述摄像头相对于世界坐标系的目标姿态角、以及所述第一惯性测量单元和所述第二惯性测量单元的测量结果，控制所述云台电机的转动。

2.根据权利要求1所述的系统，其特征在于，所述控制单元，包括反馈控制器和前馈控制器；

所述反馈控制器的输入信号为所述摄像头相对于世界坐标系的目标姿态角；所述反馈控制器的负反馈信号为所述第一惯性测量单元的测量结果；

所述前馈控制器的输入信号为所述第二惯性测量单元的测量结果；

所述反馈控制器的输出信号与所述前馈控制器的输出信号的差值，作为所述云台电机的输入。

3.根据权利要求2所述的系统，其特征在于，所述云台电机模型的传递函数为：

$G\left(s\right)=\frac{1}{{\mathrm{as}}^3+{\mathrm{bs}}^2+cs},$

其中，s为复数自变量，a、b、c为云台电机模型参数。

4.根据权利要求3所述的系统，其特征在于，所述反馈控制器为比例微分控制器，其传递函数为：

C(s)＝k_p+k_ds，

其中，s为复数自变量，k_p为比例系数，k_d为微分系数。

5.根据权利要求4所述的系统，其特征在于，所述前馈控制器的传递函数为：

D(s)＝as³+bs²+cs，

其中，s为复数自变量，a、b、c为云台电机模型参数。

6.根据权利要求1～5中任一项所述的系统，其特征在于，所述仿生机器鱼，采用波动推进的方式，依靠正弦信号驱动身体及尾鳍以产生前进的推动力。

7.一种仿生机器鱼主动视觉跟踪系统，其特征在于，包括：摄像头、图像处理单元、主动视觉控制器，以及权利要求1～6中任一项所述的仿生机器鱼图像增稳系统；

所述摄像头，安装于所述仿生机器鱼头部的云台上，用于采集图像数据；

所述图像处理单元，用于对所述摄像头采集到的图像数据进行实时处理，获取被跟踪物体在图像中的实际位置；

所述主动视觉控制器，用于根据所述被跟踪物体在图像中的目标位置和所述被跟踪物体在图像中的实际位置，计算所述摄像头相对于世界坐标系的目标姿态角。

8.根据权利要求7所述的系统，其特征在于，所述主动视觉控制器的输入信号为所述被跟踪物体在图像中的目标位置，所述主动视觉控制器的负反馈信号为所述被跟踪物体在图像中的实际位置。

9.根据权利要求8所述的系统，其特征在于，所述主动视觉控制器的传递函数为：

$H\left(s\right)=\frac{1}{k_{s}s},$

其中，k_s为控制器的积分系数。

10.一种仿生机器鱼，其特征在于，包括权利要求7～9中任一项所述的仿生机器鱼主动视觉跟踪系统。