CN110606178B - 一种基于三目视觉的海底观测水下机器人及其控制方法 - Google Patents

Abstract

本发明具体涉及一种基于三目视觉的海底观测水下机器人及其控制方法，包括壳体及设于壳体上的驱动单元；其特征在于：还包括视觉采集单元与气囊装置；视觉采集单元包括微型摄像头、柱状电动推杆与云台；其中微型摄像头安装在推杆的端头；云台装置与壳体的底板旋转相连；云台与电动推杆固定连接；气囊装置为两个，分别并列位于推杆的左右两端；当气囊装置中的气囊打开时，电动推杆在两个气囊之间且与两个气囊并列。本发明在水下机器人下端电动气囊装置用来保护能够旋转采集水下数据的电动杆结构。并且采用平衡滑模上述设计设计相应的平衡滑模模型实现对实现机器人平稳性的控制。

Description

一种基于三目视觉的海底观测水下机器人及其控制方法

技术领域

本发明涉及水下机器人技术领域，具体涉及一种基于三目视觉的海底观测水下机器人及其控制方法。

背景技术

随着陆地资源的日益匮乏，人们将目光转向了拥有丰富资源的海洋，而水下环境恶危险不适合人类直接观测，水下机器人可以替代人类在海底进行观测，水下机器人已经成为人类探索海洋的重要工具。

目前，市面上的水下机器人各式各样，结构也较为复杂，在进行海底某些洞穴或者角落探测时，由于水下机器人的需要占用一定的空间，所以无法直接进入近距离观测，导致不能顺利的完成水下的观测作业。同时在观测某些危险的物体时，如果水下机器人直接靠近观察，容易受到攻击，使得水下机器人的生存率大大降低，间接的增加了水下机器人的维护成本，电动推杆通过云台可以在水平方向进行360度的旋转。从水平面的各个方向观测水下机器人周围的情况，在水下恶劣的环境中可以起到对水下机器人进行危险预警的作用。与此同时，采用电动推杆结构的会对水下机器人的平衡滑模控制提出更高的要求。

发明内容

1.所要解决的技术问题：

针对上述的技术问题本发明提出一种基于三目视觉的海底观测水下机器人及其控制方法。本方法中采用在水下机器人设置电动推杆的结构采集视频信息，并且采用电动气囊装置保护视频采集装置，同时针对上述设计设计相应的平衡滑模模型实现对实现机器人平稳性的控制。

2.技术方案：

一种基于三目视觉的海底观测水下机器人，包括壳体及设于所述壳体上的驱动单元；其特征在于：还包括视觉采集单元与气囊装置；所述视觉采集单元包括微型摄像头、柱状电动推杆与云台；其中微型摄像头安装在推杆的端头；所述云台装置与壳体的底板旋转相连；所述云台与电动推杆固定连接；所述气囊装置为两个，分别并列位于推杆的左右两端；当气囊装置中的气囊打开时，电动推杆在两个气囊之间且与两个气囊并列。

进一步地，所述气囊装置包括气囊传感器、点火器、气体发生器、气囊喷出口与气囊；所述气囊传感器将控制信号发送至点火器时，点火器对气体发生器中的充气试剂进行点火对气囊充气，气囊充气从气囊喷出口喷出。

进一步地，还包括树莓派，所述树莓派与驱动单元相连控制驱动单元；所述树莓派与气囊装置相连控制气囊装置。

进一步地，所述壳体包括三块铝板，三块铝板分别位于左右与下端；左右铝板与底部铝板之间通过角件固定连接。

进一步地，所述驱动单元包括第一水平推进器、第二水平推进器、第三水平推进器、第四水平推进器、第一垂直推进器、第二垂直推进器、第一备用垂直推进器、第二备用垂直推进器；所述第一水平推进器、第二水平推进器、第三水平推进器、第四水平推进器均匀分布固定在左右铝板之间；所述第一垂直推进器、第二垂直推进器对称分别位于左右铝板的内侧；所述第一备用垂直推进器、第二备用垂直推进器对称分别位于左右铝板的外侧。

进一步地，所述柱状电动推杆包括直流电机、蜗轮-蜗杆机构、位移传感器、梯形丝杠；所述电机带动蜗轮-蜗杆机构实现电动推杆的伸长与收缩；所述位置传感器安装在柱状电动推杆的内部。

进一步地，所述视觉采集单元还包括安装在水下机器人顶部的巡查摄像头摄像头、安装在中间位置的云台摄像头；所述巡查摄像头、云台摄像头以及微型摄像头均为红外摄像头。

一种基于三目视觉的海底观测水下机器人的控制方法，其特征在于：包括预警观察控制方法、气囊保护控制方法以及平衡滑模控制方法；所述预警观察控制方法具体包括：启动巡查摄像头，基于yolov3检测鱼群算法开启检测在预设的范围内是否有鱼群；如果有鱼群，采用deep-sort跟踪算法跟踪检测到的鱼群；在摄像头采集的视频中预设实行鱼群双向计数的圆圈；如果摄像头采集的视频的检测框Bbox的中心点坐标和自定义圆圈任意坐标交汇时，则计数器启动计数，计鱼群的数量；遍历预设的圆圈内坐标，若检测框Bbox的中心点坐标和预设的圆圈任意坐标交汇时上一帧图像检测框Bbox的中心点坐标属于定义圆圈内像素坐标，则外出计数器+1，反之，上一帧图像检测框Bbox的中心点坐标不属于定义圆圈内像素坐标，则进入计数器+1；若进入计数器的计数减外出计数器的计数大于0,则表示有鱼进入云台范围内，则提取检测框Bbox的中心点像素坐标与电动推杆中心像素坐标之间的欧氏距离L；在预设的时间t内，若欧氏距离小于设定阈值L1且大于设定阈值L2，则云台减速；若欧氏距离小于设定阈值L2，则云台停止转动；云台停止后，若欧氏距离小于设定阈值L1且大于设定阈值L2，则云台低速启动，若欧氏距离大于；定阈值L1，则云台恢复正常速度。

所述气囊保护控制方法具体包括：巡查摄像头工作，采用svm+hog检测鱼群并计数，并且利用Klaman算法进行轨迹预测；如果预测出的轨迹不断逼近电动推杆且计数个数超过预设的阈值，则可判定有大量鱼群逼近，巡查摄像头将大量鱼群逼近预警信号发送给树莓派，树莓派将大量鱼群逼近预警信号通过GPIO口发送给电动气囊传感器，气囊传感器收到树莓派发出的预警信号，将信号传递给点火器，点火器点燃充气剂并在气体发生器中进行反应，气囊口喷出气囊。

所述平衡滑模控制方法具体包括：在平衡滑模控制系统之中定义滑模面s(x)＝s(x₁,x₂.....x_n)＝0，其中x为状态变量，即为ROV的深度；并构造滑模状态观测器的状态方程：/>

(1)式中：m代表的是附加质量；d代表的是扰动；c代表的是二次水阻力；τ为ROV系统的输入信号即推进器的推力；z为水下机器人在水下所处的深度；

设计的滑模面为：

s＝Pe (2)求导得(3)式

(2)式与(3)式中：s为滑模面；p为调节参数；e为测量值和设定值的差值。

选取幂次趋近率来缩短到达滑模面的时间，并将式带入到式(1)中后得出控制率为：

(4)式为平衡方程，其中α为调节参数1，β为调节参数2，k为调节参数3，τ为ROV系统的输入信号，即推进器的推力。

3.有益效果：

(1)本发明水下机器人机械结构本体采用三块铝板组成，通过固定杆件将左右两块铝板进行连接固定，同时底板通过角件与左右两块铝板进行连接，使机器人更加轻便，同时也提高了机械结构的稳定性。

(2)本发明在驱动模块中，在左右两边铝板的外侧安装有两个备用垂直推进器，为防止内侧的垂直推进器出现故障造成水下机器人不能安全回到水面，同时也为了加强水下机器人的下潜与上浮的动力。

(3)本发明在水下机器人的底板上安装云台装置，将末端带有微型摄像头的电动推杆与云台进行连接，电动推杆通过云台进行360度旋转。根据采集是信息能够控制云台的转动速度，对水下机器人起到危险预警的作用，提高了水下机器人在水下的安全系数。

(4)本发明在水下机器人电动推杆装置中安装微型摄像机能够实现，观察水下一些洞穴、角落以及探索水下沉船等一些不适合水下机器人直接进入的环境。借助电动推杆，通过梯形丝杠将电动推杆伸出去，使其末端带有红外装置的微型摄像头直接近距离观察被观测物体，同时也避免了在观测一些危险物体时给水下机器人造成直接伤害，提高了水下机器人的安全系数，降低了水下机器人的水下作业难度，降低了水下机器人的运行维护成本费用。

(5)本发明在水下机器人电动气囊装置中，水下机器人进行水下作业时，安装在顶端的巡查摄像头工作，采用svm+hog检测鱼群并计数，利用Klaman算法进行轨迹预测，预测出的轨迹不断逼近电动推杆且计数个数超过阈值，则可判定有大量鱼群逼近，巡查摄像头将大量鱼群逼近预警信号发送给树莓派，树莓派将大量鱼群逼近预警信号通过GPIO口发送给电动气囊传感器，气囊传感器收到树莓派发出的预警信号，将信号传递给点火器，点火器点燃充气剂并在气体发生器中进行反应，气囊口喷出气囊。对水下机器人带有微型摄像头的电动推杆起到保护作用，提高了水下机器人在水下的安全系数。

附图说明

图1为本发明的水下机器人的整体结构图；

图2为本发明中的电动推杆装置的结构示意图；

图3为本发明的驱动器模块的位置分布图；

图4为本发明中的气囊装置的示意图；

图5为本发明中的平衡滑模防抖动干扰仿真模型图；

图6为本发明中的跟随性实验仿真模型图；

图7为本发明中的平衡滑模防抖动干扰的平衡滑模控制律模型图；

图8为本发明中的平衡滑模防抖动干扰仿真波形图；

图9为本发明中的平衡滑模的跟随性实验仿真波形图

图10为本发明中的预警观察控制方法的流程图；

图11为本发明中的气囊保护控制方法的流程图；

图12为本发明中的带有电动推杆的海底观测水下机器人的气囊喷出图。

附图标记说明：第一水平推进器1、第二水平推进器2、第三水平推进器3、第四水平推进器4、第一垂直推进器5、第二垂直推进器6、第一备用垂直推进器7、第二备用垂直推进器8、云台摄像头9、云台10、涡轮—蜗杆机构11、位移传感器12、直流电机13、水下照明灯14、梯形丝杠螺母15、微型摄像头16、气囊喷出口17、点火器18、气体发生器19、气囊传感器20、巡查摄像头21，气囊22、23。

具体实施方式

下面结合附图对本发明进行具体的说明。

如附图1与附图2所示，一种基于三目视觉的海底观测水下机器人，包括壳体及设于所述壳体上的驱动单元；其特征在于：还包括视觉采集单元与气囊装置；所述视觉采集单元包括微型摄像头、柱状电动推杆与云台10；其中微型摄像头安装在推杆的端头；所述云台装置与壳体的底板旋转相连；所述云台与电动推杆固定连接；所述气囊装置为两个，分别并列位于推杆的左右两端；当气囊装置中的气囊打开时，电动推杆在两个气囊之间且与两个气囊并列，其中气囊装置的具体结构图如附图4所示。

本发明中在水下机器人底部设置能够伸缩的伸缩杆带动微型摄像机采集机器人顶部的视觉图像，方便识别及探索海底或者水底洞穴观测、沉船的观测等等场景。

进一步地，所述气囊装置包括气囊传感器20、点火器18、气体发生器19、气囊喷出口17与气囊22、23；所述气囊传感器将控制信号发送至点火器时，点火器对气体发生器中的充气试剂进行点火对气囊充气，气囊充气从气囊喷出口喷出具体结构如如附图4所示。当气囊喷出时如附图12所示。

在进行水下的探索时会有一些不可控因素影响微型摄像机的使用，本方法采用电动气囊结构对电动推杆与微型摄像机进行保护。

进一步地，还包括树莓派，所述树莓派与驱动单元相连控制驱动单元；所述树莓派与气囊装置相连控制气囊装置。

作为整个水下机器人的控制系统，采用树莓派进行水下机器人的运行控制并处理采集的信号。

进一步地，所述壳体包括三块铝板，三块铝板分别位于左右与下端；左右铝板与底部铝板之间通过角件固定连接，其结构如附图1所示。

进一步地，如附图3所示，所述驱动单元包括第一水平推进器1、第二水平推进器2、第三水平推进器3、第四水平推进器4、第一垂直推进器5、第二垂直推进器6、第一备用垂直推进器7、第二备用垂直推进器8；所述第一水平推进器、第二水平推进器、第三水平推进器、第四水平推进器均匀分布固定在左右铝板之间；所述第一垂直推进器、第二垂直推进器对称分别位于左右铝板的内侧；所述第一备用垂直推进器7、第二备用垂直推进器8对称分别位于左右铝板的外侧。

本方法中除了采用四个水平驱动器，两个垂直驱动器，还在外壳的两侧设置两个备用的垂直推进器。

进一步地，所述柱状电动推杆包括直流电机13、蜗轮-蜗杆机构11、位移传感器12、梯形丝杠15；所述直流电机带动蜗轮-蜗杆机构实现电动推杆的伸长与收缩；所述位置传感器安装在柱状电动推杆的内部，图中14为水下照明灯，需要时将水箱照明灯打开。

进一步地，所述视觉采集单元还包括安装在水下机器人顶部的巡查摄像头摄像头、安装在中间位置的云台摄像头9；所述巡查摄像头21、云台摄像头以及微型摄像头16均为红外摄像头。云台摄像头为水下机器人常规设置的摄像头，通常为能够与之相连的云台一起旋转，通常在摄像头的表面设有玻璃罩。巡查摄像头设置在水下机器人的顶部能够采集水下机器人周围的图像。上述的摄像头均采用红外，能够实现夜视功能。

一种基于三目视觉的海底观测水下机器人的控制方法，其特征在于：包括预警观察控制方法、气囊保护控制方法以及平衡滑模控制方法；如附图10所示预警观察控制方法的流程图；所述预警观察控制方法具体包括：启动巡查摄像头，基于yolov3检测鱼群算法开启检测在预设的范围内是否有鱼群；如果有鱼群，采用deep-sort跟踪算法跟踪检测到的鱼群；在摄像头采集的视频中预设实行鱼群双向计数的圆圈；如果摄像头采集的视频的检测框Bbox的中心点坐标和自定义圆圈任意坐标交汇时，则计数器启动计数，计鱼群的数量；遍历预设的圆圈内坐标，若检测框Bbox的中心点坐标和预设的圆圈任意坐标交汇时上一帧图像检测框Bbox的中心点坐标属于定义圆圈内像素坐标，则外出计数器+1，反之，上一帧图像检测框Bbox的中心点坐标不属于定义圆圈内像素坐标，则进入计数器+1；若(进入计数器的计数-外出计数器的计数)>0,则表示有鱼进入云台范围内，则提取检测框Bbox的中心点像素坐标与电动推杆中心像素坐标之间的欧氏距离L；在预设的时间t内，若欧氏距离小于设定阈值L1且大于设定阈值L2，则云台减速；若欧氏距离小于设定阈值L2，则云台停止转动；云台停止后，若欧氏距离小于设定阈值L1且大于设定阈值L2，则云台低速启动，若欧氏距离大于；定阈值L1，则云台恢复正常速度。

如附图11气囊保护控制方法的流程图，所述气囊保护控制方法具体包括：巡查摄像头工作，采用svm+hog检测鱼群并计数，并且利用Klaman算法进行轨迹预测；如果预测出的轨迹不断逼近电动推杆且计数个数超过预设的阈值，则可判定有大量鱼群逼近，巡查摄像头将大量鱼群逼近预警信号发送给树莓派，树莓派将大量鱼群逼近预警信号通过GPIO口发送给电动气囊传感器，气囊传感器收到树莓派发出的预警信号，将信号传递给点火器，点火器点燃充气剂并在气体发生器中进行反应，气囊口喷出气囊。

所述平衡滑模控制方法具体包括：在平衡滑模控制系统之中定义滑模面s(x)＝s(x₁,x₂.....x_n)＝0，其中x为状态变量，即为ROV的深度；并构造滑模状态观测器的状态方程：/>

(1)式中：m代表的是附加质量；d代表的是扰动；c代表的是二次水阻力；τ为ROV

系统的输入信号即推进器的推力；z为水下机器人在水下所处的深度；

设计的滑模面为：

s＝Pe (2)求导得(3)式

s＝Pe (3)

(2)式与(3)式中：s为滑模面；p为调节参数；e为测量值和设定值的差值；

选取幂次趋近率来缩短到达滑模面的时间，并将式带入到式(1)中后得出控制率为：

(4)式为平衡方程，其中α为调节参数1，β为调节参数2，k为调节参数3，τ为ROV系统的输入信号，即推进器的推力。

具体实施例为：如附图5至附图9所示，图5为本发明中的平衡滑模防抖动干扰仿真模型图，图6为其跟随性实验仿真模型，图7为平衡滑模控制律模型，图8平衡滑模防抖动干扰仿真波形图，图9为其跟随性实验仿真波形图。因此实验结果显示，设计的滑模控制器有良好的控制性能，系统快速的达到了滑模区说明，依靠改变趋近率的方式来消去到达阶段来提高系统的鲁棒性的方法是可行的。

控制方法除了提供图像采集处理判断机器人周围是否出现鱼群，如果出现鱼群根据鱼群的数量以及轨迹判断是否弹出气囊保护装置，并且针对本设计提供相应的平衡滑模控制方法，能够成功地改善了传统滑模控制器致使水下机器人出现抖动的现象。

虽然本发明已以较佳实施例公开如上，但它们并不是用来限定本发明的，任何熟习此技艺者，在不脱离本发明之精神和范围内，自当可作各种变化或润饰，因此本发明的保护范围应当以本申请的权利要求保护范围所界定的为准。

Claims (1)

1.一种基于三目视觉的海底观测水下机器人的控制方法，其特征在于：用于控制基于三目视觉的海底观测水下机器人，包括壳体及设于所述壳体上的驱动单元；还包括视觉采集单元与气囊装置；所述视觉采集单元包括微型摄像头、柱状电动推杆与云台；其中微型摄像头安装在推杆的端头；所述云台装置与壳体的底板旋转相连；所述云台与电动推杆固定连接；所述气囊装置为两个，分别并列位于推杆的左右两端；当气囊装置中的气囊打开时，电动推杆在两个气囊之间且与两个气囊并列；

所述气囊装置包括气囊传感器、点火器、气体发生器、气囊喷出口与气囊； 所述气囊传感器将控制信号发送至点火器时，点火器对气体发生器中的充气试剂进行点火对气囊充气，气囊充气从气囊喷出口喷出；

还包括树莓派，所述树莓派与驱动单元相连控制驱动单元；所述树莓派与气囊装置相连控制气囊装置；

所述壳体包括三块铝板，三块铝板分别位于左右与下端；左右铝板与底部铝板之间通过角件固定连接；

所述驱动单元包括第一水平推进器、第二水平推进器、 第三水平推进器、第四水平推进器、第一垂直推进器、第二垂直推进器、第一备用垂直推进器、第二备用垂直推进器；所述第一水平推进器、第二水平推进器、第三水平推进器、第四水平推进器均匀分布固定在左右铝板之间；所述第一垂直推进器、第二垂直推进器对称分别位于左右铝板的内侧；所述第一备用垂直推进器、第二备用垂直推进器对称分别位于左右铝板的外侧；

所述柱状电动推杆包括直流电机、蜗轮-蜗杆机构、位移传感器、梯形丝杠；所述电机带动蜗轮-蜗杆机构实现电动推杆的伸长与收缩；位移传感器安装在柱状电动推杆的内部；

所述视觉采集单元还包括安装在水下机器人顶部的巡查摄像头、安装在中间位置的云台摄像头；所述巡查摄像头、云台摄像头以及微型摄像头均为红外摄像头；

控制方法包括预警观察控制方法、气囊保护控制方法；所述预警观察控制方法具体包括：启动巡查摄像头，基于yolov3检测鱼群算法开启检测在预设的范围内是否有鱼群；如果有鱼群，采用deep-sort跟踪算法跟踪检测到的鱼群；在摄像头采集的视频中预设实行鱼群双向计数的圆圈；如果摄像头采集的视频的检测框Bbox的中心点坐标和自定义圆圈任意坐标交汇时，则计数器启动计数，计鱼群的数量；遍历预设的圆圈内坐标，若检测框Bbox的中心点坐标和预设的圆圈任意坐标交汇时上一帧图像检测框Bbox的中心点坐标属于定义圆圈内像素坐标，则外出计数器+1，反之，上一帧图像检测框Bbox的中心点坐标不属于定义圆圈内像素坐标，则进入计数器+1；若(进入计数器的计数-外出计数器的计数)>0,则表示有鱼进入云台范围内，则提取检测框Bbox的中心点像素坐标与电动推杆中心像素坐标之间的欧氏距离L；在预设的时间t内，若欧氏距离小于设定阈值L1且大于设定阈值L2，则云台减速;若欧氏距离小于设定阈值L2，则云台停止转动；云台停止后，若欧氏距离小于设定阈值L1且大于设定阈值L2，则云台低速启动，若欧氏距离大于；定阈值L1，则云台恢复正常速度；

所述气囊保护控制方法具体包括：巡查摄像头工作，采用svm+hog检测鱼群并计数，并且利用Klaman算法进行轨迹预测；如果预测出的轨迹不断逼近电动推杆且计数个数超过预设的阈值，则可判定有大量鱼群逼近，巡查摄像头将大量鱼群逼近预警信号发送给树莓派，树莓派将大量鱼群逼近预警信号通过GPIO口发送给电动气囊传感器，气囊传感器收到树莓派发出的预警信号，将信号传递给点火器，点火器点燃充气剂并在气体发生器中进行反应，气囊口喷出气囊。