CN112809703A - 基于esrgan增强超分辨率和cnn图像识别的底播海参捕捞机器人 - Google Patents

基于esrgan增强超分辨率和cnn图像识别的底播海参捕捞机器人 Download PDF

Info

Publication number
CN112809703A
CN112809703A CN202110185599.0A CN202110185599A CN112809703A CN 112809703 A CN112809703 A CN 112809703A CN 202110185599 A CN202110185599 A CN 202110185599A CN 112809703 A CN112809703 A CN 112809703A
Authority
CN
China
Prior art keywords
steering engine
sea cucumber
esrgan
image recognition
robot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110185599.0A
Other languages
English (en)
Inventor
张雪毅
焦子潇
刘丽
常冲
李尚森
黄安
李佳鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110185599.0A priority Critical patent/CN112809703A/zh
Publication of CN112809703A publication Critical patent/CN112809703A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K80/00—Harvesting oysters, mussels, sponges or the like
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B63—SHIPS OR OTHER WATERBORNE VESSELS; RELATED EQUIPMENT
    • B63C—LAUNCHING, HAULING-OUT, OR DRY-DOCKING OF VESSELS; LIFE-SAVING IN WATER; EQUIPMENT FOR DWELLING OR WORKING UNDER WATER; MEANS FOR SALVAGING OR SEARCHING FOR UNDERWATER OBJECTS
    • B63C11/00—Equipment for dwelling or working underwater; Means for searching for underwater objects
    • B63C11/52—Tools specially adapted for working underwater, not otherwise provided for

Abstract

本发明公开了基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人，属于捕捞机器人技术领域，包括机器人框架，所述机器人框架上固定设置有主控装置、水平推进器和垂直推进器，所述机器人框架的顶部固定设置有机械臂底座，所述机械臂底座内设置有旋转舵机，所述旋转舵机上固定连接有根部舵机和摄像装置，所述根部舵机的输出轴上固定设置有大臂。本发明中，该基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人可以替代人工进行下水捕猎海参，不受季节的影响，且该海参捕捞机器人所承受的水压也比人高出几倍，安全性更好，通过海参捕捞机器人代替工人捕捞海参，避免了海洋环境对捕捞者的身体健康造成损伤，影响捕捞者的身体健康。

Description

基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机 器人
技术领域
本发明涉及捕捞机器人技术领域，更具体地说，特别涉及基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人。
背景技术
海参是一种具有高营养价值的海产品，随着人们对身心健康的日益关注，海参需求量逐渐增加。在我国，海参养殖及加工是一项重要的渔业产业。目前，我国海参捕捞方式主要靠人工捕捞，捕捞过程非常复杂，作业人员要带上氧气罩，潜入海底进行捕捞作业，长久在海下捕捞，对人的身体十分有害。所以，越来越少的捕捞者参与海参捕捞工作，极大地影响了海参养殖户的经济利益。
随着21世纪科技的进步，海洋作业，尤其是环境恶劣的深海作业，让水下机器人得到比较广泛的应用，成为人类探索、开发海洋资源的必备工具。水下机器人研究也是当前科学研究的热点之一，且前景广阔。
为此，我们提出基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人来解决上述问题。
发明内容
本发明的目的是为了解决现有技术中存在的问题，而提出的基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人。
为了实现上述目的，本发明采用了如下技术方案：
基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人，包括机器人框架，所述机器人框架上固定设置有主控装置、水平推进器和垂直推进器，所述机器人框架的顶部固定设置有机械臂底座，所述机械臂底座内设置有旋转舵机，所述旋转舵机上固定连接有根部舵机和摄像装置，所述根部舵机的输出轴上固定设置有大臂，所述大臂的顶部通过肘关节舵机连接有小臂，所述小臂远离大臂的一端通过手腕舵机连接有手关节舵机，所述手关节舵机的输出轴固定连接有螺栓，所述螺栓的外侧壁螺纹套接有软体机械手，所述软体机械手与手关节舵机固定连接；
所述主控装置与水平推进器、垂直推进器、旋转舵机、根部舵机、肘关节舵机、手腕舵机和手关节舵机之间电连接。
优选地，所述机器人框架上设置有供电装置，所述供电装置与主控装置电连接。
优选地，所述摄像装置包括固定设置在旋转舵机上的摄像机支架，所述摄像机支架的顶部固定连接有双目摄像机，所述双目摄像机与主控装置电连接。
优选地，所述大臂上固定设置有浮力块a。
优选地，所述小臂上固定设置有浮力块b。
优选地，所述大臂的材质和小臂的材质均为高密度聚乙烯。
所述主控装置内部的系统主要包括数据储存模块、目标识别模块、目标分割模块和图像预处理模块。
图像预处理模块是以CNN为基础的卷积神经网络为核心的。使用google提供的深度学习框架tensorflow加以改进来实现图像识别任务。Tensorflow提供了FastrRCNN,R-FCN,SSD等成熟的卷积神经网络模型，源代码均包含在Tensorflow/models。这几个模块是基于目标检测的卷积神经网络，即具有识别目标和跟踪检测目标的功能，以slim模块进行特征提取。Tensorflow的模型是通过大量数据训练而成的，对于物体的普遍特征有着很精准的识别能力,这也是可以利用这些模型训练自己的神经网络的理论依据。通过迁移学习来训练自己的神经网络。首先下载Google-net Inception-v3模型，保留该模型卷积层的大部分参数，替换掉模型的最后一层全连接层，通过输入海参数据集得到卷积层的输出，通过该输出训练一个新的全连接层，该全连接层对于海参的分类问题有着更为准确的判别效果。组合该全连接层和卷积层即组成了海参识别神经网络模型，对于输入图像可以判断是否存在海参，并输出相似度。
另一作用就是目标检测，完成对目标的分类之后对其实施定位。其本质是在CNN基础上，对CNN结尾处做改进，加入一个分类头，一个回归头，使用SGD训练。通过googlenet模型，识别出图像上的海参时，可以将其在图像上定位。当输入不是图像而是视频数据时，可以实现视频中该目标的实时监测结果。
本发明的实施例提供的技术方案可以包括以下有益效果：
1、与现有技术相比，本发明中，该基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人可以替代人工进行下水捕猎海参，不受季节的影响，且该海参捕捞机器人所承受的水压也比人高出几倍，安全性更好，通过海参捕捞机器人代替工人捕捞海参，避免了海洋环境对捕捞者的身体健康造成损伤，影响捕捞者的身体健康；
2、与现有技术相比，本发明中，该基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人可以通过实时图像信息来识别海参，然后分析海参所处位置坐标，并提供给执行地面后端控制，实现海参的全自动精确捕捞，自动化程度高，减轻了捕捞者的劳动强度，同时也降低了捕捞成本。
附图说明
图1为本发明提出的基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人的结构示意图；
图2为本发明提出的基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人中机械臂和摄像装置的连接结构示意图；
图3为本发明提出的基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人中主控装置内部的系统结构示意图；
图4为本发明提出的基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人中卷积神经网络基本网络构架的示意图。
图中：1、机器人框架；2、主控装置；3、供电装置；4、水平推进器；5、垂直推进器；6、机械臂底座；7、摄像机支架；8、根部舵机；9、浮力块a；10、大臂；11、肘关节舵机；12、浮力块b；13、小臂；14、手腕舵机；15、手关节舵机；16、螺栓；17、软体机械手；18、双目摄像机。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
参照图1-图4，基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人，包括机器人框架1，机器人框架1上固定设置有主控装置2、水平推进器4和垂直推进器5，机器人框架1的顶部固定设置有机械臂底座6，机械臂底座6内设置有旋转舵机，旋转舵机上固定连接有根部舵机8和摄像装置，根部舵机8的输出轴上固定设置有大臂10，大臂10的顶部通过肘关节舵机11连接有小臂13，小臂13远离大臂10的一端通过手腕舵机14连接有手关节舵机15，手关节舵机15的输出轴固定连接有螺栓16，螺栓16的外侧壁螺纹套接有软体机械手17，软体机械手17与手关节舵机15固定连接；
主控装置2与水平推进器4、垂直推进器5、旋转舵机、根部舵机8、肘关节舵机11、手腕舵机14和手关节舵机15之间电连接。
主控装置2包括主控防水外壳、安装在主控防水外壳内部的飞控板和安装在主控防水外壳内的树莓派电路板。飞控板上具有板载的陀螺仪传感器、加速度传感器和指南针传感器，主要是通过指南针传感器感知机器人的运行方向，通过陀螺仪传感器和加速度传感器感知机器人在水底的运行速度，通过飞控板采集传感器信息，操控推进器推动该机器人在水底移动。
需要说明的是，旋转舵机是安装在机械臂底座6内，主要的作用是调节旋转机械臂左右转动，以便于该机器人上的机械臂对位于机器人周围的海参进行捕捞。
飞控板的作用是主要运行该捕捞机器人在水底的运行，通过树莓派电路板连接线缆与地面上的后端控制装置进行通讯，以便于后端控制装置可以对位于水中的捕捞机器人进行精准控制，从而达到捕捞海参的效果。
根部舵机8的作用是调节大臂10与机械臂底座6之间的夹角，以便于软体机械手17夹取海参。
肘关节舵机11的作用是调节大臂10与小臂13之间的夹角，以便于软体机械手17夹取海参。
手腕舵机14的作用是用于旋转软体机械手17，以便于软体机械手17夹取海参。
手关节舵机15顺时针转动时带动螺栓16转动，可以控制软体机械手17处于张开状态，当手关节舵机15逆时针转动时带动螺栓16转动，可以控制软体机械手17处于闭合状态，完成对海参的抓取。
软体机械手17会根据夹持物体形状变形，避免夹取海参时对海参的表面造成损伤，影响海参的品质。
更具体地，机器人框架1上还安装有水下探照灯，用于为双目摄像机18补充灯光。水下探照灯主要与飞控板连接。
更具体地，机器人框架1上设置有供电装置3，供电装置3与主控装置2电连接。
供电装置3与飞控板上的电源管理模块连接，供电装置3的作用是为该捕捞机器人进行供电，以便于该捕捞机器人在水底对海参进行捕捞。
更具体地，摄像装置包括固定设置在旋转舵机上的摄像机支架7，摄像机支架7的顶部固定连接有双目摄像机18，双目摄像机18与主控装置2电连接。
双目摄像机18的作用是实时采集水底的画面，并通过主控装置2传输到地面上的后端控制装置，便于位于地面上的捕捞者观察水底的情况，对位于水底的捕捞机器人进行精准控制，从而达到捕捞海参的效果。
更具体地，大臂10上固定设置有浮力块a9。
更具体地，小臂13上固定设置有浮力块b12。
浮力块a9和浮力块b12的作用是分别降低大臂10和小臂13在水底上升时的压力。
更具体地，大臂10的材质和小臂13的材质均为高密度聚乙烯。
本发明中，当需要使用该海参捕捞机器人对位于海底的海参进行捕捞时，首先将捕捞机器人放入海水中，捕捞者使用后端控制装置控制该捕捞机器人在海底进行前景，当双目摄像机18拍摄到海参时，主控装置2回传海参的坐标信息，捕捞者通过后端控制装置将控制指令发送给位于机器人框架1上的主控装置2，主控装置2控制旋转舵机、根部舵机8、肘关节舵机11、手腕舵机14和手关节舵机15运行，控制软体机械手17对海参进行抓取，完成捕捞。该基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人可以通过实时图像信息来识别海参，然后分析海参所处位置坐标，并提供给执行地面后端控制，实现海参的全自动精确捕捞，自动化程度高，减轻了捕捞者的劳动强度，同时也降低了捕捞成本。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。

Claims (6)

1.基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人，包括机器人框架(1)，其特征在于，所述机器人框架(1)上固定设置有主控装置(2)、水平推进器(4)和垂直推进器(5)，所述机器人框架(1)的顶部固定设置有机械臂底座(6)，所述机械臂底座(6)内设置有旋转舵机，所述旋转舵机上固定连接有根部舵机(8)和摄像装置，所述根部舵机(8)的输出轴上固定设置有大臂(10)，所述大臂(10)的顶部通过肘关节舵机(11)连接有小臂(13)，所述小臂(13)远离大臂(10)的一端通过手腕舵机(14)连接有手关节舵机(15)，所述手关节舵机(15)的输出轴固定连接有螺栓(16)，所述螺栓(16)的外侧壁螺纹套接有软体机械手(17)，所述软体机械手(17)与手关节舵机(15)固定连接；
所述主控装置(2)与水平推进器(4)、垂直推进器(5)、旋转舵机、根部舵机(8)、肘关节舵机(11)、手腕舵机(14)和手关节舵机(15)之间电连接。
2.根据权利要求1所述的基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人，其特征在于，所述机器人框架(1)上设置有供电装置(3)，所述供电装置(3)与主控装置(2)电连接。
3.根据权利要求1所述的基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人，其特征在于，所述摄像装置包括固定设置在旋转舵机上的摄像机支架(7)，所述摄像机支架(7)的顶部固定连接有双目摄像机(18)，所述双目摄像机(18)与主控装置(2)电连接。
4.根据权利要求1所述的基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人，其特征在于，所述大臂(10)上固定设置有浮力块a(9)。
5.根据权利要求1所述的基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人，其特征在于，所述小臂(13)上固定设置有浮力块b(12)。
6.根据权利要求1所述的基于ESRGAN增强超分辨率和CNN图像识别的底播海参捕捞机器人，其特征在于，所述大臂(10)的材质和小臂(13)的材质均为高密度聚乙烯。
CN202110185599.0A 2021-02-10 2021-02-10 基于esrgan增强超分辨率和cnn图像识别的底播海参捕捞机器人 Pending CN112809703A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110185599.0A CN112809703A (zh) 2021-02-10 2021-02-10 基于esrgan增强超分辨率和cnn图像识别的底播海参捕捞机器人

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110185599.0A CN112809703A (zh) 2021-02-10 2021-02-10 基于esrgan增强超分辨率和cnn图像识别的底播海参捕捞机器人

Publications (1)

Publication Number Publication Date
CN112809703A true CN112809703A (zh) 2021-05-18

Family

ID=75865352

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110185599.0A Pending CN112809703A (zh) 2021-02-10 2021-02-10 基于esrgan增强超分辨率和cnn图像识别的底播海参捕捞机器人

Country Status (1)

Country Link
CN (1) CN112809703A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112136506A (zh) * 2020-09-27 2020-12-29 哈尔滨理工大学 具有水果成熟度辨别功能的机器人手臂装置
CN113978668A (zh) * 2021-10-22 2022-01-28 大连理工大学 一种具有高自由度机械臂的水下捕捞机器人
CN114248893A (zh) * 2022-02-28 2022-03-29 中国农业大学 一种面向海参捕捞的作业型水下机器人及其控制方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106826868A (zh) * 2017-04-01 2017-06-13 潍坊胜利石化机械有限公司 捕捞机器人及水产品自动捕捞系统
CN110543859A (zh) * 2019-09-05 2019-12-06 大连海事大学 一种基于深度学习和双目定位的海参自主识别和抓取方法
CN209737598U (zh) * 2019-04-16 2019-12-06 海南大学 一种机械臂以及利用手势控制该机械臂的装置
CN111085984A (zh) * 2019-12-31 2020-05-01 大连海事大学 一种智能水下捕捞机械手及其工作方法
CN111674530A (zh) * 2020-04-29 2020-09-18 大连海事大学 一种水下小目标定位抓取装置及方法
WO2020253172A1 (zh) * 2019-06-18 2020-12-24 哈尔滨工业大学 一种腿-臂-桨复合式水下机器人

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106826868A (zh) * 2017-04-01 2017-06-13 潍坊胜利石化机械有限公司 捕捞机器人及水产品自动捕捞系统
CN209737598U (zh) * 2019-04-16 2019-12-06 海南大学 一种机械臂以及利用手势控制该机械臂的装置
WO2020253172A1 (zh) * 2019-06-18 2020-12-24 哈尔滨工业大学 一种腿-臂-桨复合式水下机器人
CN110543859A (zh) * 2019-09-05 2019-12-06 大连海事大学 一种基于深度学习和双目定位的海参自主识别和抓取方法
CN111085984A (zh) * 2019-12-31 2020-05-01 大连海事大学 一种智能水下捕捞机械手及其工作方法
CN111674530A (zh) * 2020-04-29 2020-09-18 大连海事大学 一种水下小目标定位抓取装置及方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112136506A (zh) * 2020-09-27 2020-12-29 哈尔滨理工大学 具有水果成熟度辨别功能的机器人手臂装置
CN113978668A (zh) * 2021-10-22 2022-01-28 大连理工大学 一种具有高自由度机械臂的水下捕捞机器人
CN114248893A (zh) * 2022-02-28 2022-03-29 中国农业大学 一种面向海参捕捞的作业型水下机器人及其控制方法

Similar Documents

Publication Publication Date Title
CN112809703A (zh) 基于esrgan增强超分辨率和cnn图像识别的底播海参捕捞机器人
CN114248893B (zh) 一种面向海参捕捞的作业型水下机器人及其控制方法
CN104813975B (zh) 水下无人作业水产养殖机器人
CN109591982A (zh) 一种无人监控水下养殖机器人
Suzuki et al. Visual servoing to catch fish using global/local GA search
CN107433573A (zh) 智能双目自动抓取机械臂
CN206615369U (zh) 一种刑侦专用复杂水下环境搜寻打捞装置
CN106891341A (zh) 一种水下机器人及捕捞方法
CN113561178B (zh) 一种水下机器人智能抓取装置及其方法
KR20210007767A (ko) 딥러닝-영상인식 기반 해상폐기물 제거용 자율운항 선박 시스템
DE102018215096A1 (de) Autonomes Unterwasserfahrzeug zur Unterstützung der Fischerei
CN111348161A (zh) 一种应用于海洋牧场的资源环境监测系统及其操作方法
CN109087343A (zh) 一种工件抓取模板的生成方法及系统
CN106886758A (zh) 基于三维姿态估计的昆虫识别装置及方法
Yang et al. Design of small monitoring rov for aquaculture
Ji et al. Design and Realization of a Novel Hybrid-Drive Robotic Fish for Aquaculture Water Quality Monitoring
CN116686545A (zh) 基于机器视觉控制的荔枝采摘机器人除遮方法
CN113277034B (zh) 一种用于海产捕捞的水下机器人
CN114248281A (zh) 一种水下修复机器人、修复方法及海洋作业设备
CN116255908B (zh) 面向水下机器人的海生物定位测量装置及方法
CN209215941U (zh) 一种实现图像匹配的智能仿生鱼及其群体协同工作系统
CN207565811U (zh) 一种捕捞海底产品的机器鱼群与无人船的协作系统
CN209806891U (zh) 一种海珍品捕捞及可视监测装置
CN209553461U (zh) 一种深水水下智能操作机器人及其控制系统
CN109625218A (zh) 一种基于太阳能充电的无人监控水下养殖机器人系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Zhang Xueyi

Inventor after: Jiao Zixiao

Inventor after: Liu Li

Inventor after: Sheng Changchong

Inventor after: Li Shangsen

Inventor after: Huang An

Inventor after: Li Jiapeng

Inventor before: Zhang Xueyi

Inventor before: Jiao Zixiao

Inventor before: Liu Li

Inventor before: Chang Chong

Inventor before: Li Shangsen

Inventor before: Huang An

Inventor before: Li Jiapeng