CN110185013A - 基于机器视觉识别的水面清洁船装置及水面清洁方法 - Google Patents

Abstract

本发明提出了基于机器视觉识别的清洁船装置及水面清洁方法。所述清洁船装置采用Open MV机器视觉模块，在其芯片中运算并输出控制信号，通过单片机之间的串口通信控制主推动电机的驱动模块，单片机同时可以控制滚轮的电机驱动模块，安装太阳能电池板为蓄电池供电。利用机器视觉代替人眼来实现目标搜索和定位，首先识别水面漂浮物的轮廓并确定为目标物，通过内置的几何算法计算出与目标物间的距离，采用卡尔曼滤波跟踪算法定位图像中目标物的坐标点，用PID算法控制电机运转。采用人船分离的收集模式，能在没有人员参与的情况下自主工作，并实现垃圾收集和自动避障功能。可用于水库和景点等狭小的水面的离散目标的收集。

Description

基于机器视觉识别的水面清洁船装置及水面清洁方法

技术领域：

本发明涉及人工智能的自动化设备，具体地是一种基于机器视觉识别的水面清洁船装置及水面清洁方法。

背景技术：

相比山区河流和海上来讲，在景区湖面上以及内河经常会有各种漂浮的污染物，这其中有人为因素也有自然因素，这样不仅影响美观和观赏效果，而且有些人为产生的垃圾对于环境生态的污染严重，这就需要特定的人员来清理，但人工清理的效率很低成本也高，而且对人员来讲存在一定的危险性，所以采用自动化设备代替人工是更有效的方法。

目前人工清理内河及湖泊的垃圾，主要有两种方法：第一种是专业人员驾驶大型垃圾收集船到达指定位置手动操作机械进行收集，这种船体较大，可收集量也大，但对于个别离散的小型目标来讲工作效率低，现有的船都是靠柴油机或者汽油机作为动力，在作业的时候不仅产生大量的废气还有漏油，对气体和水体都有污染，并不符合国家现在提出节能减排的政策；第二种是采用无人驾驶船的形式进行作业，操作人员在岸边，通过移动终端远程遥控无人船到达指定位置，相比第一种方法更加安全有效，然而这种船不能脱离人员的参与，在大面积的水面上人员的视野有限，工作时间比较短，实时性较差，而且成本较高。近年来，伴随着人工智能技术的兴起，较高难度的工作可以用机器人来代替人力实施，可以降低成本节约能源。

机器视觉是人工智能的一个分支。利用机器代替人眼来做测量和判断，机器视觉系统是通过机器视觉产品将被摄取目标转换成图像信号，传送给图像处理系统，图像系统根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统目标的特征进行模式识别，根据判别的结果控制设备动作。

发明内容：

因此，本发明提供一种基于机器视觉识别的水面清洁船及一种基于机器视觉识别的水面清洁方法，为降低人工成本和工作危险性，减少大型器械在面对离散单一漂浮物时不必要的作业提供可能。本发明以实现清洁船自动巡航搜集目标物。本发明的技术方案如下：

一种基于机器视觉识别的水面清洁船装置，包括：摄像头、微控制器、电机驱动芯片、电路扩展板、直流电机、传动轴、蓄电池、电源管理模块、滚轮、收集舱、太阳能电池板、红外线传感器、GPS导航模块；openMV模块连接单片机，电机驱动板与openMV模块和主推动电机分别连接，一个电机驱动对应一个电机，图像采集模块中的RAM芯片输出不同的PWM信号控制电机差速运转；图像采集模块接扩展板，扩展板连接另外两个电机驱动，用来控制滚轮转动，太阳能电池板为蓄电池供电，工作时由蓄电池提供动力，GPS导航模块在返航过程中提供清洁船的位置信息，红外线传感器实现清洁船的自动避障功能。

本发明进一步提供一种基于机器视觉识别的水面清洁方法，使用如上述的基于机器视觉识别的水面清洁船装置，包括以下步骤：

步骤一：

步骤11：视频采集模块采集图像信息，对图像进行预处理后，对物体的轮廓进行模式识别，确认为目标物后由内置算法锁定位置坐标；

步骤12：由openMV和单片机构成的微机系统处理完图像信息后将其转换为数字信号，并向电机驱动芯片输出PWM信号；

步骤13：电机驱动接受信号后输出TTL电平信号驱动电机实现装置差速；

步骤14：红外线传感器发射红外线，在遇到障碍物后会反射回来，清洁船差速进行偏转，直到红外线传感器不在接收到反射回来的信号为止；

步骤15：太阳能电池板在光照充足的情况下对蓄电池充电，工作时由蓄电池提供动力；

步骤16：滚轮安装在船体的前侧，当滚轮电机在接受电机驱动发出的电信号时，两个电机可以同时工作，滚轮向前滚动，将目标物送进收集舱内；

步骤二：

步骤21：舵机驱动摄像头转动扫视水面采集视频信息，内置算法计算舵机转动的角度；

步骤22：通过算法定位目标物的三维坐标；

步骤23：如果目标物位于清洁船的正前方，清洁船可以自动向前行驶至目标位置，滚轮电机在延迟时间后开始工作；

步骤24：如果目标物与清洁船呈一定的角度，以舵机转动的时间和舵机转动的角速度计算出摄像头转过的角度；

步骤25：计算好角度后驱动电机差速实现转向，电机差速转动的同时，摄像头回到初始位置，当转动到与目标物之间呈直线时，摄像头静止；

步骤26：清洁船向前行驶到目标物位置收集；

步骤27：通过采集的图像信息判断是否为障碍物，若图像中目标物的轮廓超出预设的目标物的大小阈值，则判定为障碍物，清洁船可以静止等待障碍物移动；

步骤28：通过连续多帧图像信息判断障碍物是否正在移动，若障碍物不能移动或移动速度较慢，由红外线传感器模块来实现绕行避障；

步骤29：红外线传感器模块检测到障碍物，沿着障碍物边界实现避障；

步骤210：避开障碍物之后，再次重复目标物位于清洁船的正前方的系统操作。

附图说明：

图1为本发明基于机器视觉识别的水面清洁船装置的前45度视图；

图2为本发明基于机器视觉识别的水面清洁船装置的底部视图；

图3为本发明基于机器视觉识别的水面清洁船装置的智能收集船的内部结构图；

图4为本发明基于机器视觉识别的水面清洁船装置微机系统内部结构图；

图5为本发明基于机器视觉识别的水面清洁方法的图像识别流程图；

图6为本发明基于机器视觉识别的水面清洁船装置的结构示意图

图7为本发明基于机器视觉识别的水面清洁方法的流程图

图中：1-openMV模块；2-视频处理模块；3-滚轮；4-滚轮电机；5-螺旋桨；6-主推动电机；7-收集舱；8-红外线传感器；9-太阳能电池板；10-蓄电池；11-电源模块；12-单片机；13-GPS模块。

具体实施方式：

本发明首先提出一种基于机器视觉的水面清洁船装置，如图1所示，本发明采用的双体船结构，具有收集空间加大、转向迅速、行驶平稳、相同水域范围内排水量大等优点。主要结构有openMV模块1、微机系统2、滚轮3、红外线传感器8、太阳能电池板9；如图2所示，船身下方装有收集舱7，两个主推动螺旋桨5实现清洁船的直行和偏转；如图3所示，主推动电机6和滚轮电机4在船体内部，可以避免电机与水接触；如图4所示，openMV模块1、红外线传感器8、电源模块11、单片机12、GPS模块13构成简易的微机系统2，主程序在RAM芯片里运行；如图5所示，视频采集后转换为图像信息，对图像中目标颜色特征提取，提取完后输出灰度图像，此时内置的边缘算法可以将灰度图像中物体的的轮廓加强，平滑处理削弱图像噪声就可以进行模式识别了；如图6所示，单片机通过电机驱动芯片分别与主推动电机6滚轮和电机4连接，一个电机驱动对应两个电机，单片机12输出不同的PWM信号控制电机6差速运转，从而螺旋桨能以不同的速度转动，操作船体转向；扩展板连接另外一个电机驱动，电机驱动芯片控制电机4，用来驱动滚轮3，电机4不需要差速运转；GPS模块与单片机连接，采集船的位置信息，在收集完成后根据实时位置信息和岸边位置信息返回岸边，红外线传感器与单边机连接，在遇到障碍物时自动实现避障功能。

以下结合附图对本发明基于机器视觉识别的水面清洁方法的技术方案做进一步阐述：

如图7所示，舵机驱动摄像头转动扫视水面采集视频信息，同时内置算法可以计算舵机转动的角度，微机系统2对图像预处理，处理完图像信息定位好目标物的二维坐标，其内置的算法可以计算出图像中目标物与像素中心的夹角，根据夹角信息控制电机差速实现船体方向的改变，如果目标物位于清洁船的正前方，清洁船可以自动向前行驶至目标位置，目标位置可以根据每帧图像的像素点计算出目标物与清洁船之间的距离，航速是预先设定好的，只要算好电机的延迟时间，在延迟后启动滚轮电机4，驱动滚轮3实现目标物的收集既可，假设航速是v，由内置的几何算法计算出与目标物间的距离是d，延迟时间就等于d/v；如果目标物与清洁船呈一定的角度，以舵机转动的时间和舵机转动的角速度为准计算出摄像头1转过的角度，船体两边各有一个直流电机6作为主推动电机，计算好角度后驱动电机6差速实现转向，电机差速转动的同时，摄像头1回到初始位置，当转动到与目标物之间呈直线时，摄像头1静止，重复目标物位于清洁船的正前方的系统操作。微机系统2通过采集的图像信息判断是否有障碍物，若图像中目标物的轮廓超出预设的目标物的大小阈值，则判定为障碍物，清洁船可以静止等待障碍物移动，通过连续多帧图像信息判断障碍物是否正在移动，若障碍物不能移动或移动速度较慢，首先将以清洁船所在点为世界坐标原点和目标物的相对位置坐标作为矩阵存储到储存卡中，读取红外避障模块的输出值，当检测到障碍物时，对应红外模块输出值为1，若没有检测到障碍物，对应模块输出值为0，若红外线传感器模块输出值为1，船体偏转直到模块输出为0为止；避开障碍物之后，调用位置坐标，以移动后产生的新坐标和目标物的坐标为基础规划新的路线，再次重复目标物位于清洁船的正前方的系统操作。到达目标位置时，滚轮电机4驱动滚轮3，将目标物收集至收集舱7，实现垃圾收集的功能，结束任务后，岸边返回岸边。

Claims (2)

1.一种基于机器视觉识别的水面清洁船装置，其特征在于包括：摄像头、微控制器、电机驱动芯片、电路扩展板、直流电机、传动轴、蓄电池、电源管理模块、滚轮、收集舱、太阳能电池板、红外线传感器、GPS导航模块；openMV模块连接单片机，电机驱动板与openMV模块和主推动电机分别连接，一个电机驱动对应一个电机，图像采集模块中的RAM芯片输出不同的PWM信号控制电机差速运转；图像采集模块接扩展板，扩展板连接另外两个电机驱动，用来控制滚轮转动，太阳能电池板为蓄电池供电，工作时由蓄电池提供动力，GPS导航模块在返航过程中提供清洁船的位置信息，红外线传感器实现清洁船的自动避障功能。

2.一种基于机器视觉识别的水面清洁方法，使用如权利要求1所述的基于机器视觉识别的水面清洁船装置，其特征在于包括以下步骤：

步骤一：

步骤11：视频采集模块采集图像信息，对图像进行预处理后，对物体的轮廓进行模式识别，确认为目标物后由内置算法锁定位置坐标；

步骤12：由openMV和单片机构成的微机系统处理完图像信息后将其转换为数字信号，并向电机驱动芯片输出PWM信号；

步骤13：电机驱动接受信号后输出TTL电平信号驱动电机实现装置差速；

步骤14：红外线传感器发射红外线，在遇到障碍物后会反射回来，清洁船差速进行偏转，直到红外线传感器不在接收到反射回来的信号为止；

步骤15：太阳能电池板在光照充足的情况下对蓄电池充电，工作时由蓄电池提供动力；

步骤16：滚轮安装在船体的前侧，当滚轮电机在接受电机驱动发出的电信号时，两个电机同时工作，滚轮向前滚动，将目标物送进收集舱内；

步骤二：

步骤21：舵机驱动摄像头转动扫视水面采集视频信息，由内置算法计算出舵机转动的角度；

步骤22：通过算法定位目标物的三维坐标；

步骤23：如果目标物位于清洁船的正前方，清洁船自动向前行驶至目标位置，滚轮电机在延迟时间后开始工作；

步骤24：如果目标物与清洁船呈一定的角度，以舵机转动的时间和舵机转动的角速度计算出摄像头转过的角度；

步骤25：计算好角度后驱动电机差速实现转向，电机差速转动的同时，摄像头回到初始位置，当转动到与目标物之间呈直线时，摄像头静止；

步骤26：清洁船向前行驶到目标物位置收集；

步骤27：通过采集的图像信息判断是否为障碍物，若图像中目标物的轮廓超出预设的目标物的大小阈值，则判定为障碍物，清洁船静止等待障碍物移动；

步骤28：通过连续多帧图像信息判断障碍物是否正在移动，若障碍物不能移动或移动速度较慢，由红外线传感器模块来实现绕行避障；

步骤29：红外线传感器模块检测到障碍物，沿着障碍物边界实现避障；

步骤210：避开障碍物之后，再次重复目标物位于清洁船的正前方的系统操作。