CN114670983A - 一种基于图像识别的水下多自由度智能除污装置及方法 - Google Patents

Abstract

本发明公开了一种基于图像识别的水下多自由度智能除污装置及方法，装置包括组合式末端执行器、视频监控系统、控制系统、污染物收集箱以及至少一个多自由度伸缩机械臂，每个多自由度伸缩机械臂的末端设有一个组合式末端执行器和一个视频监控系统，所述组合式末端执行器包括污染物吸附装置和多个不同类型的除污装置，污染物吸附装置通过管道与污染物收集箱相连，控制系统预设有用于识别污染物类型并且已经训练好的神经网络模型，当通过神经网络模型识别到污染物类型时，选择相应的除污装置进行污染物清除，并通过污染物吸附装置收集到收集箱内收集；发明具有智能识别、定向除污、实时除污、清洗效率高等特点。

Description

一种基于图像识别的水下多自由度智能除污装置及方法

技术领域

本发明涉及船舶清洗领域，涉及一种船舶自动清洗设备，具体涉及为一种基于图像识别的水下多自由度智能除污装置及方法。

背景技术

船舶在海洋上行驶，长期浸泡在海水中的部分长期受海洋生物附着。据估计，海洋附着生物达2000种以上，每天约有7000个物种随船舶前往世界各地，外来物种会造成巨大环境损失。对于船舶来说，海洋污损生物吸附在船体上，不仅破坏美观性，更会增大船舶流体力学体积和摩擦影响，导致船舶航行阻力增大、航速降低、燃料成本和维修成本上升。因此，在船舶航行过程中，对船体表面的清洗尤为重要。

目前，针对船舶进行除污清洗作业设备的清洗方式过于单一，对于不同种类的污染物难以实现同时、高效清除，且水下船体表面污染物情况未知，为确保污染物清洗彻底，往往需要更换不同的清洗设备，工作过程耗时、耗能。此外，船体携带的污染物被清理，如不及时回收，会对该海域造成极大的环境污染。

发明内容

针对现有技术方案中清洗设备的清洗方式单一，耗时，耗能，以及如何避免船体携带的污染物对海域再次造成巨大环境污染等问题，本发明提供了一种基于图像识别的水下多自由度智能除污机械手。

为了解决上述技术问题，本发明提供如下方案：

一种基于图像识别的水下多自由度智能除污装置，其特征在于：包括组合式末端执行器、视频监控系统、控制系统、污染物收集箱以及至少一个多自由度伸缩机械臂，所述多自由度伸缩机械臂安装在污染物收集箱上，每个多自由度伸缩机械臂的末端设有一个组合式末端执行器和一个视频监控系统，所述视频监控系统用于实时监测水下船体表面污染物图像，并将图像传输给控制系统；所述组合式末端执行器包括污染物吸附装置和多个不同类型的除污装置，所述污染物吸附装置通过管道与污染物收集箱相连，所述污染物吸附装置用于根据控制系统的指令选择相应的除污装置进行污染物清除，所述污染物吸附装置用于将除污装置除掉的污染物吸附收集并输送到污染物收集箱内收集；所述控制系统预设有用于识别污染物类型并且已经训练好的神经网络模型，所述神经网络模型内置基于RCNN目标检测方法改进的ADCNN算法。

所述ADCNN算法包括检测部分和分类器；

对于检测部分，通过Skip块和Deep块的两种结构改变了RCNN目标检测方法的卷积连接方法；

所述Skip块用于改变从污染物图像中提取到的特征维度，包含两个重复的1×1卷积，并且步幅加倍；其中一个1×1卷积后面是3×3卷积和1×1卷积，步幅是单一，每个卷积之后是批归一化层和ReLu激活函数，以防止梯度爆炸和消失；

所述Deep块增加了网络层的数量，包含两个重复的1×1卷积和一个3×3卷积，卷积步长在Deep块中是单一步长；

对于分类器，在RCNN目标检测方法的基础上进行改进，用于区分检测锚中所检测目标的类型；分类器部分包含两个重复的7×7卷积、5×5卷积和3×3卷积，每个重复的卷积后面都是最大池层。

本发明还提供一种水下智能除污方法，其特征在于，包括如下步骤：

1)将水下多自由度智能除污装置搭载在移动载体上，移动至船体下方，或者直接安装在船体下方，控制系统控制视频监控系统跟随多自由度伸缩机械臂移动进行船体水下表面污染物情况拍摄，通过视觉定位判断污染物的位置，并将监测图像实时上传至神经网络模型；

2)通过神经网络模型识别图像，判断污染物类型，所述控制系统根据污染物类型选择合适的除污喷头；

3)根据步骤1)识别的污染物位置，控制系统控制多自由度伸缩机械臂运动，带动组合式末端执行器到达污染物附近；

4)根据步骤2)的判断，控制系统控制启动组合式末端执行器上的转动盘转动，将选择的除污喷头电路接通，除污喷头工作，定向精确除去污染物；

5)污染物被清除的同时，控制系统控制污染物吸附装置工作，被清除掉的污染物通过污染物吸附装置收集在污染物收集箱内。

本发明通过神经网络模型能够自主识别污染物类型，进而控制末端执行器运动至污染物所在的位置，通过自主选择除污喷头，定向清除污染区。污染物在除污喷头的作用下与船体脱离，继而被喷头转动盘内的泵吸装置吸附，经过滤后，海水被排出，各种海洋生物、铁锈等及时吸走并转运，送至污染物收集箱储存。视频监控系统和控制系统可实时、动态监控整个工作过程和工作情况，实现远程控制、实时调整工作位置。

与现有技术相比，本实发明具备以下有益效果：

1.本发明可实时监测污染物附着情况，定向、高效清洗船体，避免船体航行过程中附着污染物过多进而损坏船体。

2.本发明回收清洗掉落的污染物，避免污染物掉落至海水对该海域造成巨大环境损失。

3.本发明可定向控制清洗方式，选择适用的清洗方式，相较于单一的清洗方式，可提高清洁效率。

4.本发明基于改进后的图像识别算法，可精确识别污染物类型，自动选择适用清洗方式，定向清洗，相较于现有的清洗设备，本发明无需对所有船体表面进行清洗，更为省时、省能，且依靠图像识别装置自动清洗船体，操作方便，清洗效率高。

附图说明

图1为本发明水下多自由度智能除污装置机械结构示意图。

图2为本发明实施例中组合式末端执行器示意图。

图3本发明实施例中神经网络模型污染物识别工作流程图。

图4为神经网络模型的ADCNN算法架构图。

1-污染物收集箱，2-多自由度伸缩机械臂，3-动力关节，4-视频监控系统，41-滑动装置，5-组合式末端执行器，51-转动盘，52-多自由度关节，53-抽吸口，54-溶解剂除污喷头，55-紫外线除污喷头，56-高压超声水枪除污喷头。

具体实施方式

下面将结合本发明实施例中的附图，对本发明专利中的技术方案进行清晰、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1和图2所示，本发明提供一种基于图像识别的水下多自由度智能除污装置，包括组合式末端执行器5、视频监控系统4、控制系统、污染物收集箱1以及两个多自由度伸缩机械臂2，两个多自由度伸缩机械臂2相对的安装在污染物收集箱1两侧，每个多自由度伸缩机械臂2的末端设有一个组合式末端执行器5和一个视频监控系统4，所述视频监控系统4用于实时监测水下船体表面污染物图像，并将图像传输给控制系统；所述组合式末端执行器5包括污染物吸附装置和多个不同类型的除污装置，所述污染物吸附装置通过管道与污染物收集箱1相连，所述污染物吸附装置用于根据控制系统的指令选择相应的除污装置进行污染物清除，所述污染物吸附装置用于将除污装置除掉的污染物吸附收集并输送到污染物收集箱1内收集；所述控制系统预设有用于识别污染物类型并且已经训练好的神经网络模型，所述神经网络模型内置基于RCNN目标检测方法改进的ADCNN算法。

作为一种优选实施例，所述组合式末端执行器5包括转动盘51和设于转动盘51上的紫外线除污喷头55、溶解剂除污喷头54以及高压超声水枪除污喷头56；所述转动盘51通过多自由度关节52安装在多自由度伸缩机械臂2的末端。

作为一种优选实施例，所述多自由度关节52包括两个相互垂直的旋转轴，转动盘51安装在其中一个旋转轴，通过该旋转轴驱动转动盘51转动进行除污喷头切换。

需要说明的是转动盘51本身也可以设置转动动力机构进行转动，具体结构不限。

作为一种优选实施例，所述视频监控系统4包括360°全景摄像头和水下照明灯，本发明摄像头带有视觉定位功能，通过360°全景摄像头的相机参数结合水下多自由度智能除污装置与船体表面的位置即可计算出污染物的相对位置，具体采用公知常识即可，比如可以建立机器人坐标系，将污染物位置转换为机械人坐标系下的坐标即可进行计算。

作为一种优选实施例，所述视频监控系统4通过滑动装置41安装在多自由度伸缩机械臂2的最后一节机械臂上，所述滑动装置41类型不限，比如防水的丝杠螺母机构或者电动伸缩机构等等，通过滑动视频监控系统4可以大大提高视觉检测范围。

作为一种优选实施例，所述污染物吸附装置为转动盘51上的抽吸口53，所述抽吸口53通过管道与污染物收集箱1相连，所述抽吸口53通过抽吸泵产生动力抽吸剥离的污染物。抽吸泵的设置方式不限，比如设置在管道或污染物收集箱1内，先将剥离的污染物和水一起抽吸到污染物收集箱1内，然后设置一个过滤装置和第二抽吸泵，将污染物水混合物过滤后的水抽到污染物收集箱1外排放掉，污染物留在污染物收集箱1内也可以将抽吸泵设置在污染物收集箱1内，在泵的入口设置过滤网，抽吸泵直接对抽吸口53抽吸后排放掉，污染物集中在过滤网上，在自身重力作用或者设置机械刮板类装置将污染物刮下落地污染物收集箱1内。

需要说明的是，本发的控制系统可以安装在污染物收集箱1内，也可以进行远程控制，所述控制系统可以是MCU或者计算机等能够预置神经网络模型的控制器，当然也可以将预置神经网络模型的控制器和机械控制器分开设置，具体形式不限。

作为一种优选实施例，所述ADCNN(Accurate Detection Convolutional NeuralNetwork)算法基于传统的FasterRegion CNN(RCNN)目标检测方法进行改进，改变RCNN的卷积连接方式，增加了特殊的分类器和随机数据增强模块，改进了网络框架来识别水下污染物类型。所述ADCNN算法包括检测部分和分类器；

对于检测部分，通过Skip块和Deep块的两种结构改变了RCNN(FasterRegion CNN)目标检测方法的卷积连接方法；

所述Skip块用于改变从污染物图像中提取到的特征维度，包含两个重复的1×1卷积，并且步幅加倍；其中一个1×1卷积后面是3×3卷积和1×1卷积，步幅是单一，每个卷积之后是批归一化层和ReLu激活函数，以防止梯度爆炸和消失；Skip块的目的是将特征放入两个1×1的卷积中，并添加卷积后的特征。

所述Deep块增加了网络层的数量，包含两个重复的1×1卷积和一个3×3卷积，卷积步长在Deep块中是单一步长；直接添加提取的特征和输入。

Skip块和Deep块两种结构使网络能够更好地提取污染物图像的细节。

对于分类器，在RCNN目标检测方法的基础上进行改进，用于区分检测锚中所检测目标的类型；分类器部分包含两个重复的7×7卷积、5×5卷积和3×3卷积，每个重复的卷积后面都是最大池层。

分类器通过使用不同大小的卷积可以更有效地提取检测目标的特征，特殊的分类器可以提高整个网络检测的准确率。

需要说明的是，本发明多自由度伸缩机械臂2采用现有技术中多自由度机械臂即可，既可以采用多轴机械臂(比如六轴机械臂)，也可以采用多节电动或者液压伸缩臂采用动力关节3相连组成，具体关节类型不限，能够实现折叠和选择之类运动即可。

本发明还提供一种水下智能除污方法，包括如下步骤：

1)将水下多自由度智能除污装置搭载在移动载体上，移动至船体下方，或者直接安装在船体下方，控制系统控制视频监控系统4跟随多自由度伸缩机械臂2移动进行船体水下表面污染物情况拍摄，通过视觉定位判断污染物的位置(或者进行固定路径扫描)，并将监测图像实时上传至神经网络模型；

2)通过神经网络模型识别图像，判断污染物类型，所述控制系统根据污染物类型选择合适的除污喷头；

3)根据步骤1)识别的污染物位置，控制系统控制多自由度伸缩机械臂2运动，带动组合式末端执行器5到达污染物附近；

4)根据步骤2)的判断，控制系统控制启动组合式末端执行器5上的转动盘51转动，将选择的除污喷头电路接通，除污喷头工作，定向精确除去污染物；

本发明可根据污染物的类型选择适用的清洗方式，即选择溶解剂除污喷头54、紫外线除污喷头55或高压超声水枪除污喷头56，相较于单一清洗方式，本发明具有更大的清洁力度；根据污染物位置，控制系统控制多自由度伸缩机械臂2使组合式末端执行器5随之移动至污染物处；控制系统控制选择的除污喷头清洗污染物，同时控制转动盘51内的污染物吸附装置回收污染物。相较于传统船体表面除污设备，本发明的清洗由计算机操控，操作简单，操作失误较少，清洗更全面。

5)污染物被清除的同时，控制系统控制污染物吸附装置工作，被清除掉的污染物通过污染物吸附装置收集在污染物收集箱1内。

步骤1)中，监测时，可以驱动视频监控系统4来回滑动，扩大监测面积。

本发明还可以将监测图像实时上传至远程控制系统，船内人员无需入水，可在船内实时监测船体表面状况。

以上为本发明的一种实施方式，其描述较为具体和详细，但不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明的构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (9)

1.一种基于图像识别的水下多自由度智能除污装置，其特征在于：包括组合式末端执行器、视频监控系统、控制系统、污染物收集箱以及至少一个多自由度伸缩机械臂，所述多自由度伸缩机械臂安装在污染物收集箱上，每个多自由度伸缩机械臂的末端设有一个组合式末端执行器和一个视频监控系统，所述视频监控系统用于实时监测水下船体表面污染物图像，并将图像传输给控制系统；所述组合式末端执行器包括污染物吸附装置和多个不同类型的除污装置，所述污染物吸附装置通过管道与污染物收集箱相连，所述污染物吸附装置用于根据控制系统的指令选择相应的除污装置进行污染物清除，所述污染物吸附装置用于将除污装置除掉的污染物吸附收集并输送到污染物收集箱内收集；所述控制系统预设有用于识别污染物类型并且已经训练好的神经网络模型，所述神经网络模型内置基于RCNN目标检测方法改进的ADCNN算法。

2.根据权利要求1所述的水下多自由度智能除污装置，其特征在于：所述组合式末端执行器包括转动盘和设于转动盘上的紫外线除污喷头、溶解剂除污喷头以及高压超声水枪除污喷头；所述转动盘通过多自由度关节安装在多自由度伸缩机械臂的末端。

3.根据权利要求2所述的水下多自由度智能除污装置，其特征在于：所述多自由度关节包括两个相互垂直的旋转轴，转动盘安装在其中一个旋转轴，通过该旋转轴驱动转动盘转动进行除污喷头切换。

4.根据权利要求2所述的水下多自由度智能除污装置，其特征在于：所述多自由度伸缩机械臂有两个，两个多自由度伸缩机械臂相对的安装在污染物收集箱两侧。

5.根据权利要求2所述的水下多自由度智能除污装置，其特征在于：所述视频监控系统包括360°全景摄像头和水下照明灯。

6.根据权利要求5所述的水下多自由度智能除污装置，其特征在于：所述视频监控系统通过滑动装置安装在多自由度伸缩机械臂的最后一节机械臂上。

7.根据权利要求5所述的水下多自由度智能除污装置，其特征在于：所述污染物吸附装置为转动盘上的抽吸口，所述抽吸口通过管道与污染物收集箱相连，所述抽吸口通过抽吸泵产生动力抽吸剥离的污染物。

8.根据权利要求2-7任意一项所述的水下多自由度智能除污装置，其特征在于：所述ADCNN算法包括检测部分和分类器；

对于检测部分，通过Skip块和Deep块的两种结构改变了RCNN目标检测方法的卷积连接方法；

所述Skip块用于改变从污染物图像中提取到的特征维度，包含两个重复的1×1卷积，并且步幅加倍；其中一个1×1卷积后面是3×3卷积和1×1卷积，步幅是单一，每个卷积之后是批归一化层和ReLu激活函数，以防止梯度爆炸和消失；

所述Deep块增加了网络层的数量，包含两个重复的1×1卷积和一个3×3卷积，卷积步长在Deep块中是单一步长；

对于分类器，在RCNN目标检测方法的基础上进行改进，用于区分检测锚中所检测目标的类型；分类器部分包含两个重复的7×7卷积、5×5卷积和3×3卷积，每个重复的卷积后面都是最大池层。

9.一种利用权利要求2-8任意一项所述水下多自由度智能除污装置的水下智能除污方法，其特征在于，包括如下步骤：

1)将水下多自由度智能除污装置搭载在移动载体上，移动至船体下方，或者直接安装在船体下方，控制系统控制视频监控系统跟随多自由度伸缩机械臂移动进行船体水下表面污染物情况拍摄，通过视觉定位判断污染物的位置，并将监测图像实时上传至神经网络模型；

2)通过神经网络模型识别图像，判断污染物类型，所述控制系统根据污染物类型选择合适的除污喷头；

3)根据步骤1)识别的污染物位置，控制系统控制多自由度伸缩机械臂运动，带动组合式末端执行器到达污染物附近；

4)根据步骤2)的判断，控制系统控制启动组合式末端执行器上的转动盘转动，将选择的除污喷头电路接通，除污喷头工作，定向精确除去污染物；

5)污染物被清除的同时，控制系统控制污染物吸附装置工作，被清除掉的污染物通过污染物吸附装置收集在污染物收集箱内。

Images