CN110084792B - 一种海上养殖网箱网衣的异常检测方法 - Google Patents

一种海上养殖网箱网衣的异常检测方法 Download PDF

Info

Publication number
CN110084792B
CN110084792B CN201910316890.XA CN201910316890A CN110084792B CN 110084792 B CN110084792 B CN 110084792B CN 201910316890 A CN201910316890 A CN 201910316890A CN 110084792 B CN110084792 B CN 110084792B
Authority
CN
China
Prior art keywords
net
netting
rov
curve
culture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910316890.XA
Other languages
English (en)
Other versions
CN110084792A (zh
Inventor
杜海
赵云鹏
孟娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201910316890.XA priority Critical patent/CN110084792B/zh
Publication of CN110084792A publication Critical patent/CN110084792A/zh
Application granted granted Critical
Publication of CN110084792B publication Critical patent/CN110084792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Farming Of Fish And Shellfish (AREA)

Abstract

本发明属于深远海网箱养殖观测技术领域，一种海上养殖网箱网衣的异常检测方法，用于网衣的生物附着和破损两种状态的检测，设备包括装配有摄像机的水下机器人ROV和计算机。海上养殖网箱网衣异常检测时充分考虑水下检测作业的高风险低效率的问题，以ROV为载体，结合视觉图像测量技术对海上养殖中常见的生物附着和网衣破损现象进行异常报警。本发明利用ROV摄取网衣图像，并将关键帧的图像识别技术和特征曲线分析方法紧密结合，灵活地构建了适用于海上网箱巡检的水下网衣异常检测系统，大幅度提高了ROV巡检的可靠性，降低了海上养殖观测，尤其是深远海养殖观测的风险，极大地促进了ROV和图像测量技术在海洋养殖网箱巡检中的应用推广。

Description

一种海上养殖网箱网衣的异常检测方法
技术领域
本发明属于深远海网箱养殖观测技术领域，涉及到网箱网衣的异常检测问题，特别涉及到网衣异常检测的图像识别方法。
背景技术
网箱整体的健康状态在养殖过程中意义重大，然而相对于水环境信息采集技术研究而言，网箱的监测、检测技术研究成果却相对较少。首先在生物附着检测方面，目前广泛采用依据养殖经验定期换网的方式进行生物附着的处理或者定期洗网的方式维护网箱养殖的正常运行，而缺少生物附着的自动化检测和污染程度评估过程。其次，在网衣破损[1]检测方面，国内外的专家学者提出了埋线探测法、声纳检测法以及图像分析法三种实施方案：埋线法通过金属导线的通断检测网衣的破损[2,3]：当网衣片破损时，金属线会与海水、入海电极形成回路,触发报警装置,同时输出网箱的编号和网衣破损部位。而声纳检测法是通过在网箱外侧设置警戒区的方法间接判断网衣的破损[4]：当网衣破损有鱼逃逸时，网箱内外区域声波反射图像发生显著变化。相对于前两种破损检测方法，采用图像分析法是对水下网衣进行最直观的观测。一般使用该方法进行网衣检测时，需要在AUV上搭载水下摄像头进行图像的采集[5]。
综上所述，在鱼类养殖近十几年的发展过程中，尽管网箱网衣异常检测方面得到了专家学者的重视，也提出了一系列的解决方案，然而由于技术的不成熟性，导致工程应用能力还比较薄弱。因此，一种高效的海上养殖网箱网衣异常检测方法是具有非常重要的意义和应用价值的。
本发明将图像识别技术与网衣检测技术相融合后，将以一种更加直观的方式对海上养殖网箱网衣的健康状态进行检测，这种方式不仅大大地降低了人力成本和监测风险，还大大提高了对海洋网箱养殖管理的效率。
参考文献：
[1]Heidi M,Rune H G,Anna O,etc.Resistance of aquaculture net cagematerials to biting by Atlantic Cod.Agricultural Engineering,2009,40:126-134.
[2]叶盛，王俊.深水网箱网衣破损监测系统设计[J].农业机械学报，2006，37(4)：94-96.
[3]彭安华,刘成文,陆波.一种带有清洗装置和数据采集系统的深水网箱.南方农业,2016,10(3):169-171.
[4]王润田，陈晶晶，龚剑彬.深水网箱养殖中的声学监测问题探讨.渔业现代化，2012，39(3)：19-22.
[5]张金泉,胡庆松,申屠基康,等.海上网箱网衣检测用框架式AUV设计与试验.上海海洋大学学报,2016,25(4):607-612.
发明内容
针对养殖网箱网衣异常检测问题，本发明基于图像识别技术将生物附着检测与破损检测归为特征曲线检测问题，并以此为基础提出了一种海上养殖网箱网衣的异常检测方法。
本发明的技术方案：
一种海上养殖网箱网衣的异常检测方法，主要用于网衣的生物附着和破损两种状态的检测，其中主要设备包括装配有摄像机的水下机器人ROV和计算机；
具体步骤如下：
步骤A：在计算机的控制下，水下机器人ROV按照设定路线进行网箱网衣的视频采集；
步骤B：从ROV的摄像机中提取当前图像帧It和前一时刻图像帧It-1，并使用特征匹配算法如SIFT对It和It-1进行同名点搜索，当存在匹配点且匹配点之间的距离大于阈值Td时(这里选择
Figure BDA0002033411700000031
)则将当前图It记作图像的关键帧，记作Ft；否则当不存在匹配点时，则有计算机控制ROV逐步返回前一个位置，并重新进行步骤B的分析；反复进行步骤B的分析直到成功提取关键帧Ft；
步骤C：在对关键帧Ft进行双边带滤波和二值化，得到二值图像；
步骤D：对步骤C中得到的二值图像进行形态学滤波和连通域分析，完成目标提取；
步骤E：去除占有像素个数小于Ta的目标，并对其余的目标按像素个数进行从小到大排序(记录位置序号)，形成特征曲线CurLt；
步骤F：计算特征曲线CurLt的梯度曲线GLt，并搜索曲线的峰值Peakt(i),i＝1,2,…N，其中N为峰值的个数；
步骤G：结合OSTU方差法提取局部峰值，并在曲线GLt中分析这些峰值的聚集程度，将近邻峰值归为一类；反复峰值归类分析，直到峰值类别不多于两类；
步骤H：设定位置阈值Tc，若在曲线GLt上峰值分布位置小于Tc则判定为生物附着，反正则认为是网衣破损；因此当曲线GLt出现两类峰值时，则同时存在生物附着和网衣破损现象，否则认为仅存在生物附着或网衣破损一种情况；同时根据峰值在梯度曲线GLt的位置对应到特征曲线CurLt中，找到生物附着和网衣破损的位置序号，并在关键帧Ft中进行标志，并在计算机的显示屏中出现警示标志。
本发明的有益效果：海上养殖网箱网衣异常检测时充分考虑水下检测作业的高风险低效率的问题，以水下机器人ROV为载体，结合视觉图像测量技术对海上养殖中常见的生物附着和网衣破损现象进行异常报警。本发明利用水下机器人ROV摄取网衣图像，并将关键帧的图像识别技术和特征曲线分析方法紧密结合，灵活地构建了适用于海上网箱巡检的水下网衣异常检测系统，大幅度提高了ROV巡检的可靠性，降低了海上养殖观测，尤其是深远海养殖观测的风险，极大地促进了ROV和图像测量技术在海洋养殖网箱巡检中的应用推广。
附图说明
图1是海上养殖网箱网衣的异常检测方法示意图。
图中：1网箱网衣；2水下机器人ROV；3视觉系统；4计算单元。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
一种海上养殖网箱网衣的异常检测方法，主要用于网衣1的生物附着和破损两种状态的检测，其中主要设备包括装配有摄像机3的ROV水下机器人2和计算机4。
具体步骤如下：
步骤A：在计算机4的控制下，ROV水下机器人2按照设定路线进行网箱网衣1的视频采集；
步骤B：在计算机4中进行图像分析。此时从ROV2的摄像机3中提取当前图像帧It和前一时刻图像帧It-1，并使用特征匹配算法如SIFT对It和It-1进行同名点搜索，当存在匹配点且匹配点之间的距离大于阈值Td时(这里选择
Figure BDA0002033411700000041
)则将当前图It记作图像的关键帧，记作Ft；否则当不存在匹配点时，则有计算机4控制ROV2逐步返回前一个位置，并重新进行步骤B的分析。反复进行步骤2的分析直到成功提取关键帧Ft；
步骤C：在计算机4中，对关键帧Ft进行双边带滤波和二值化；
步骤D：在计算机4中，对步骤C中得到的二值图像进行形态学滤波和连通域分析，从而完成目标提取；
步骤E：在计算机4中，去除占有像素个数小于Ta的目标，并对其余的目标按像素个数进行从小到大排序(记录位置序号)，形成特征曲线CurLt；
步骤F：在计算机4中，计算特征曲线CurLt的梯度曲线GLt，并搜索曲线的峰值Peakt(i),i＝1,2,…N，其中N为峰值的个数；
步骤G：在计算机4中，结合OSTU方差法提取局部峰值，并在曲线GLt中分析这些峰值的聚集程度，将近邻峰值归为一类；反复峰值归类分析，直到峰值类别不多于两类；
步骤H：在计算机4中，设定位置阈值Tc，若在曲线GLt上峰值分布位置小于Tc则判定为生物附着，反正则认为是网衣破损。因此当曲线GLt出现两类峰值时，则同时存在生物附着和网衣破损现象，否则认为仅存在生物附着或网衣破损一种情况；同时根据峰值在梯度曲线GLt的位置对应到特征曲线CurLt中，找到生物附着和网衣破损的位置序号，并在关键帧Ft中进行标志，并在计算机4的显示屏中出现警示标志。

Claims (1)

1.一种海上养殖网箱网衣的异常检测方法，主要用于网衣的生物附着和破损两种状态的检测，其中主要设备包括装配有摄像机的水下机器人ROV和计算机；其特征在于，步骤如下：
步骤A：在计算机的控制下，水下机器人ROV按照设定路线进行网箱网衣的视频采集；
步骤B：从ROV的摄像机中提取当前图像帧It和前一时刻图像帧It-1，并使用特征匹配算法对It和It-1进行同名点搜索，当存在匹配点且匹配点之间的距离大于阈值Td时，
Figure FDA0003315824870000011
则将当前图It记作图像的关键帧Ft；否则当不存在匹配点时，则有计算机控制ROV逐步返回前一个位置，并重新进行步骤B的分析，反复进行步骤B的分析直到成功提取关键帧Ft；
步骤C：对关键帧Ft进行双边带滤波和二值化，得到二值图像；
步骤D：对步骤C中得到的二值图像进行形态学滤波和连通域分析，完成目标提取；
步骤E：去除占有像素个数小于Ta的目标，并对其余的目标按像素个数进行从小到大排序，记录位置序号，形成特征曲线CurLt；
步骤F：计算特征曲线CurLt的梯度曲线GLt，并搜索曲线的峰值Peakt(i),i＝1,2,…N，其中N为峰值的个数；
步骤G：结合OSTU方差法提取局部峰值，并在曲线GLt中分析这些峰值的聚集程度，将近邻峰值归为一类；反复峰值归类分析，直到峰值类别不多于两类；
步骤H：设定位置阈值Tc，若在曲线GLt上峰值分布位置小于Tc则判定为生物附着，反之则认为是网衣破损；因此当曲线GLt出现两类峰值时，则同时存在生物附着和网衣破损现象，否则认为仅存在生物附着或网衣破损一种情况；同时根据峰值在梯度曲线GLt的位置对应到特征曲线CurLt中，找到生物附着和网衣破损的位置序号，并在关键帧Ft中进行标志，并在计算机的显示屏中出现警示标志。
CN201910316890.XA 2019-04-19 2019-04-19 一种海上养殖网箱网衣的异常检测方法 Active CN110084792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910316890.XA CN110084792B (zh) 2019-04-19 2019-04-19 一种海上养殖网箱网衣的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910316890.XA CN110084792B (zh) 2019-04-19 2019-04-19 一种海上养殖网箱网衣的异常检测方法

Publications (2)

Publication Number Publication Date
CN110084792A CN110084792A (zh) 2019-08-02
CN110084792B true CN110084792B (zh) 2021-12-03

Family

ID=67415771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910316890.XA Active CN110084792B (zh) 2019-04-19 2019-04-19 一种海上养殖网箱网衣的异常检测方法

Country Status (1)

Country Link
CN (1) CN110084792B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047583B (zh) * 2019-12-23 2022-11-18 大连理工大学 一种基于机器视觉的水下网衣系统破损检测方法
CN111882555B (zh) * 2020-08-07 2024-03-12 中国农业大学 基于深度学习的网衣检测方法、装置、设备及存储介质
CN112362899B (zh) * 2020-10-09 2022-06-14 烟台大学 养殖网箱尾流环境监测装置
CN113016682B (zh) * 2021-03-12 2023-06-16 湖北海洋工程装备研究院有限公司 深水网箱监控系统
CN114852289B (zh) * 2022-04-06 2024-03-26 五邑大学 深海渔场网箱巡检方法、装置、系统及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409963A (zh) * 2002-11-14 2003-04-16 浙江大学 能自动检测网衣破损并报警的深水网箱
CN101614634A (zh) * 2008-06-23 2009-12-30 中国水产科学研究院东海水产研究所 养殖网箱箱体网衣或拖网渔具网囊网目对角强力检测方法
CN108416764A (zh) * 2018-01-25 2018-08-17 北京农业信息技术研究中心 一种水下网箱养殖中的网衣破损检测装置及方法
CN108596507A (zh) * 2018-05-04 2018-09-28 大连理工大学 一种海上养殖网箱的受灾破坏预警方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7748349B2 (en) * 2006-11-13 2010-07-06 Open Ocean Systems, Inc. Submersible cage and system for fish farming

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409963A (zh) * 2002-11-14 2003-04-16 浙江大学 能自动检测网衣破损并报警的深水网箱
CN101614634A (zh) * 2008-06-23 2009-12-30 中国水产科学研究院东海水产研究所 养殖网箱箱体网衣或拖网渔具网囊网目对角强力检测方法
CN108416764A (zh) * 2018-01-25 2018-08-17 北京农业信息技术研究中心 一种水下网箱养殖中的网衣破损检测装置及方法
CN108596507A (zh) * 2018-05-04 2018-09-28 大连理工大学 一种海上养殖网箱的受灾破坏预警方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Design of Autonomous Underwater Vehicles for Cage Aquafarms;JongAn Lee etal.;《2007 IEEE Intelligent Vehicles Symposium》;20070813;全文 *
Study on the Cage Net Crack Detection Facility of Sea Cage;Hu Jie etal.;《2006 International Conference on Communications, Circuits and Systems》;20070115;全文 *
机器视觉在渔网检测中的应用;陈浩;《科技尚品》;20160730(第94期);全文 *

Also Published As

Publication number Publication date
CN110084792A (zh) 2019-08-02

Similar Documents

Publication Publication Date Title
CN110084792B (zh) 一种海上养殖网箱网衣的异常检测方法
Fulton et al. Robotic detection of marine litter using deep visual detection models
Sung et al. Vision based real-time fish detection using convolutional neural network
Li et al. Automatic counting methods in aquaculture: A review
Zhao et al. An adaptive method of damage detection for fishing nets based on image processing technology
CN111047583B (zh) 一种基于机器视觉的水下网衣系统破损检测方法
CN111406693A (zh) 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法
CN111222526A (zh) 一种渔船实时捕捞行为识别方法、装置、设备及存储介质
Modasshir et al. Enhancing coral reef monitoring utilizing a deep semi-supervised learning approach
CN116935327B (zh) 基于ai视觉的水产养殖监控方法、装置、设备及存储介质
CN112528823B (zh) 一种基于关键帧检测和语义部件分割的条斑鲨运动行为分析方法及系统
Almero et al. An aquaculture-based binary classifier for fish detection using multilayer artificial neural network
CN111476289A (zh) 一种基于特征库的鱼群识别方法、装置、设备及存储介质
Xia et al. In situ sea cucumber detection based on deep learning approach
Dharshana et al. A novel approach for detection and classification of fish species
Chelouati et al. Lobster detection using an Embedded 2D Vision System with a FANUC industrual robot
Bajaj et al. Sea Debris detection using deep learning: diving deep into the sea
Pauzi et al. A review on image processing for fish disease detection
Lai et al. Automatic measuring shrimp body length using CNN and an underwater imaging system
Chao et al. Evaluation of fish feeding intensity in aquaculture based on near-infrared machine vision
CN113920283B (zh) 基于聚类分析和特征过滤的红外图像尾迹检测及提取方法
Williams et al. Detecting marine animals in underwater video: Let's start with salmon
Bajaj et al. Sea debris: A review of marine litter detection techniques
CN109246353B (zh) 捕捞方法
Kaveti et al. Towards automated fish detection using convolutional neural networks

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant