CN110084792A - 一种海上养殖网箱网衣的异常检测方法 - Google Patents

一种海上养殖网箱网衣的异常检测方法 Download PDF

Info

Publication number
CN110084792A
CN110084792A CN201910316890.XA CN201910316890A CN110084792A CN 110084792 A CN110084792 A CN 110084792A CN 201910316890 A CN201910316890 A CN 201910316890A CN 110084792 A CN110084792 A CN 110084792A
Authority
CN
China
Prior art keywords
etting
rov
mariculture
biological attachment
curve
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910316890.XA
Other languages
English (en)
Other versions
CN110084792B (zh
Inventor
杜海
赵云鹏
孟娟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201910316890.XA priority Critical patent/CN110084792B/zh
Publication of CN110084792A publication Critical patent/CN110084792A/zh
Application granted granted Critical
Publication of CN110084792B publication Critical patent/CN110084792B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Farming Of Fish And Shellfish (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明属于深远海网箱养殖观测技术领域，一种海上养殖网箱网衣的异常检测方法，用于网衣的生物附着和破损两种状态的检测，设备包括装配有摄像机的水下机器人ROV和计算机。海上养殖网箱网衣异常检测时充分考虑水下检测作业的高风险低效率的问题，以ROV为载体，结合视觉图像测量技术对海上养殖中常见的生物附着和网衣破损现象进行异常报警。本发明利用ROV摄取网衣图像，并将关键帧的图像识别技术和特征曲线分析方法紧密结合，灵活地构建了适用于海上网箱巡检的水下网衣异常检测系统，大幅度提高了ROV巡检的可靠性，降低了海上养殖观测，尤其是深远海养殖观测的风险，极大地促进了ROV和图像测量技术在海洋养殖网箱巡检中的应用推广。

Description

一种海上养殖网箱网衣的异常检测方法
技术领域
本发明属于深远海网箱养殖观测技术领域，涉及到网箱网衣的异常检测问题，特别涉及到网衣异常检测的图像识别方法。
背景技术
网箱整体的健康状态在养殖过程中意义重大，然而相对于水环境信息采集技术研究而言，网箱的监测、检测技术研究成果却相对较少。首先在生物附着检测方面，目前广泛采用依据养殖经验定期换网的方式进行生物附着的处理或者定期洗网的方式维护网箱养殖的正常运行，而缺少生物附着的自动化检测和污染程度评估过程。其次，在网衣破损[1]检测方面，国内外的专家学者提出了埋线探测法、声纳检测法以及图像分析法三种实施方案：埋线法通过金属导线的通断检测网衣的破损[2,3]：当网衣片破损时，金属线会与海水、入海电极形成回路,触发报警装置,同时输出网箱的编号和网衣破损部位。而声纳检测法是通过在网箱外侧设置警戒区的方法间接判断网衣的破损[4]：当网衣破损有鱼逃逸时，网箱内外区域声波反射图像发生显著变化。相对于前两种破损检测方法，采用图像分析法是对水下网衣进行最直观的观测。一般使用该方法进行网衣检测时，需要在AUV上搭载水下摄像头进行图像的采集[5]。
综上所述，在鱼类养殖近十几年的发展过程中，尽管网箱网衣异常检测方面得到了专家学者的重视，也提出了一系列的解决方案，然而由于技术的不成熟性，导致工程应用能力还比较薄弱。因此，一种高效的海上养殖网箱网衣异常检测方法是具有非常重要的意义和应用价值的。
本发明将图像识别技术与网衣检测技术相融合后，将以一种更加直观的方式对海上养殖网箱网衣的健康状态进行检测，这种方式不仅大大地降低了人力成本和监测风险，还大大提高了对海洋网箱养殖管理的效率。
参考文献：
[1]Heidi M,Rune H G,Anna O,etc.Resistance of aquaculture net cagematerials to biting by Atlantic Cod.Agricultural Engineering,2009,40:126-134.
[2]叶盛，王俊.深水网箱网衣破损监测系统设计[J].农业机械学报，2006，37(4)：94-96.
[3]彭安华,刘成文,陆波.一种带有清洗装置和数据采集系统的深水网箱.南方农业,2016,10(3):169-171.
[4]王润田，陈晶晶，龚剑彬.深水网箱养殖中的声学监测问题探讨.渔业现代化，2012，39(3)：19-22.
[5]张金泉,胡庆松,申屠基康,等.海上网箱网衣检测用框架式AUV设计与试验.上海海洋大学学报,2016,25(4):607-612.
发明内容
针对养殖网箱网衣异常检测问题，本发明基于图像识别技术将生物附着检测与破损检测归为特征曲线检测问题，并以此为基础提出了一种海上养殖网箱网衣的异常检测方法。
本发明的技术方案：
一种海上养殖网箱网衣的异常检测方法，主要用于网衣的生物附着和破损两种状态的检测，其中主要设备包括装配有摄像机的水下机器人ROV和计算机；
具体步骤如下：
步骤A：在计算机的控制下，水下机器人ROV按照设定路线进行网箱网衣的视频采集；
步骤B：从ROV的摄像机中提取当前图像帧It和前一时刻图像帧It-1，并使用特征匹配算法如SIFT对It和It-1进行同名点搜索，当存在匹配点且匹配点之间的距离大于阈值Td时(这里选择)则将当前图It记作图像的关键帧，记作Ft；否则当不存在匹配点时，则有计算机控制ROV逐步返回前一个位置，并重新进行步骤B的分析；反复进行步骤B的分析直到成功提取关键帧Ft；
步骤C：在对关键帧Ft进行双边带滤波和二值化，得到二值图像；
步骤D：对步骤C中得到的二值图像进行形态学滤波和连通域分析，完成目标提取；
步骤E：去除占有像素个数小于Ta的目标，并对其余的目标按像素个数进行从小到大排序(记录位置序号)，形成特征曲线CurLt；
步骤F：计算特征曲线CurLt的梯度曲线GLt，并搜索曲线的峰值Peakt(i),i＝1,2,…N，其中N为峰值的个数；
步骤G：结合OSTU方差法提取局部峰值，并在曲线GLt中分析这些峰值的聚集程度，将近邻峰值归为一类；反复峰值归类分析，直到峰值类别不多于两类；
步骤H：设定位置阈值Tc，若在曲线GLt上峰值分布位置小于Tc则判定为生物附着，反正则认为是网衣破损；因此当曲线GLt出现两类峰值时，则同时存在生物附着和网衣破损现象，否则认为仅存在生物附着或网衣破损一种情况；同时根据峰值在梯度曲线GLt的位置对应到特征曲线CurLt中，找到生物附着和网衣破损的位置序号，并在关键帧Ft中进行标志，并在计算机的显示屏中出现警示标志。
本发明的有益效果：海上养殖网箱网衣异常检测时充分考虑水下检测作业的高风险低效率的问题，以水下机器人ROV为载体，结合视觉图像测量技术对海上养殖中常见的生物附着和网衣破损现象进行异常报警。本发明利用水下机器人ROV摄取网衣图像，并将关键帧的图像识别技术和特征曲线分析方法紧密结合，灵活地构建了适用于海上网箱巡检的水下网衣异常检测系统，大幅度提高了ROV巡检的可靠性，降低了海上养殖观测，尤其是深远海养殖观测的风险，极大地促进了ROV和图像测量技术在海洋养殖网箱巡检中的应用推广。
附图说明
图1是海上养殖网箱网衣的异常检测方法示意图。
图中：1网箱网衣；2水下机器人ROV；3视觉系统；4计算单元。
具体实施方式
以下结合附图和技术方案，进一步说明本发明的具体实施方式。
一种海上养殖网箱网衣的异常检测方法，主要用于网衣1的生物附着和破损两种状态的检测，其中主要设备包括装配有摄像机3的ROV水下机器人2和计算机4。
具体步骤如下：
步骤A：在计算机4的控制下，ROV水下机器人2按照设定路线进行网箱网衣1的视频采集；
步骤B：在计算机4中进行图像分析。此时从ROV2的摄像机3中提取当前图像帧It和前一时刻图像帧It-1，并使用特征匹配算法如SIFT对It和It-1进行同名点搜索，当存在匹配点且匹配点之间的距离大于阈值Td时(这里选择)则将当前图It记作图像的关键帧，记作Ft；否则当不存在匹配点时，则有计算机4控制ROV2逐步返回前一个位置，并重新进行步骤B的分析。反复进行步骤2的分析直到成功提取关键帧Ft；
步骤C：在计算机4中，对关键帧Ft进行双边带滤波和二值化；
步骤D：在计算机4中，对步骤C中得到的二值图像进行形态学滤波和连通域分析，从而完成目标提取；
步骤E：在计算机4中，去除占有像素个数小于Ta的目标，并对其余的目标按像素个数进行从小到大排序(记录位置序号)，形成特征曲线CurLt；
步骤F：在计算机4中，计算特征曲线CurLt的梯度曲线GLt，并搜索曲线的峰值Peakt(i),i＝1,2,…N，其中N为峰值的个数；
步骤G：在计算机4中，结合OSTU方差法提取局部峰值，并在曲线GLt中分析这些峰值的聚集程度，将近邻峰值归为一类；反复峰值归类分析，直到峰值类别不多于两类；
步骤H：在计算机4中，设定位置阈值Tc，若在曲线GLt上峰值分布位置小于Tc则判定为生物附着，反正则认为是网衣破损。因此当曲线GLt出现两类峰值时，则同时存在生物附着和网衣破损现象，否则认为仅存在生物附着或网衣破损一种情况；同时根据峰值在梯度曲线GLt的位置对应到特征曲线CurLt中，找到生物附着和网衣破损的位置序号，并在关键帧Ft中进行标志，并在计算机4的显示屏中出现警示标志。

Claims (1)

1.一种海上养殖网箱网衣的异常检测方法，主要用于网衣的生物附着和破损两种状态的检测，其中主要设备包括装配有摄像机的水下机器人ROV和计算机；其特征在于，步骤如下：
步骤A：在计算机的控制下，水下机器人ROV按照设定路线进行网箱网衣的视频采集；
步骤B：从ROV的摄像机中提取当前图像帧It和前一时刻图像帧It-1，并使用特征匹配算法对It和It-1进行同名点搜索，当存在匹配点且匹配点之间的距离大于阈值Td时，则将当前图It记作图像的关键帧，记作Ft；否则当不存在匹配点时，则有计算机控制ROV逐步返回前一个位置，并重新进行步骤B的分析，反复进行步骤B的分析直到成功提取关键帧Ft；
步骤C：在对关键帧Ft进行双边带滤波和二值化，得到二值图像；
步骤D：对步骤C中得到的二值图像进行形态学滤波和连通域分析，完成目标提取；
步骤E：去除占有像素个数小于Ta的目标，并对其余的目标按像素个数进行从小到大排序，记录位置序号，形成特征曲线CurLt；
步骤F：计算特征曲线CurLt的梯度曲线GLt，并搜索曲线的峰值Peakt(i),i＝1,2,…N，其中N为峰值的个数；
步骤G：结合OSTU方差法提取局部峰值，并在曲线GLt中分析这些峰值的聚集程度，将近邻峰值归为一类；反复峰值归类分析，直到峰值类别不多于两类；
步骤H：设定位置阈值Tc，若在曲线GLt上峰值分布位置小于Tc则判定为生物附着，反正则认为是网衣破损；因此当曲线GLt出现两类峰值时，则同时存在生物附着和网衣破损现象，否则认为仅存在生物附着或网衣破损一种情况；同时根据峰值在梯度曲线GLt的位置对应到特征曲线CurLt中，找到生物附着和网衣破损的位置序号，并在关键帧Ft中进行标志，并在计算机的显示屏中出现警示标志。
CN201910316890.XA 2019-04-19 2019-04-19 一种海上养殖网箱网衣的异常检测方法 Active CN110084792B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910316890.XA CN110084792B (zh) 2019-04-19 2019-04-19 一种海上养殖网箱网衣的异常检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910316890.XA CN110084792B (zh) 2019-04-19 2019-04-19 一种海上养殖网箱网衣的异常检测方法

Publications (2)

Publication Number Publication Date
CN110084792A true CN110084792A (zh) 2019-08-02
CN110084792B CN110084792B (zh) 2021-12-03

Family

ID=67415771

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910316890.XA Active CN110084792B (zh) 2019-04-19 2019-04-19 一种海上养殖网箱网衣的异常检测方法

Country Status (1)

Country Link
CN (1) CN110084792B (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047583A (zh) * 2019-12-23 2020-04-21 大连理工大学 一种基于机器视觉的水下网衣系统破损检测方法
CN111882555A (zh) * 2020-08-07 2020-11-03 中国农业大学 基于深度学习的网衣检测方法、装置、设备及存储介质
CN112362899A (zh) * 2020-10-09 2021-02-12 烟台大学 养殖网箱尾流环境监测装置
CN113016682A (zh) * 2021-03-12 2021-06-25 湖北海洋工程装备研究院有限公司 深水网箱监控系统
CN114852289A (zh) * 2022-04-06 2022-08-05 五邑大学 深海渔场网箱巡检方法、装置、系统及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409963A (zh) * 2002-11-14 2003-04-16 浙江大学 能自动检测网衣破损并报警的深水网箱
US20080110408A1 (en) * 2006-11-13 2008-05-15 Open Ocean Systems, Inc. Submersible cage and system for fish farming
CN101614634A (zh) * 2008-06-23 2009-12-30 中国水产科学研究院东海水产研究所 养殖网箱箱体网衣或拖网渔具网囊网目对角强力检测方法
CN108416764A (zh) * 2018-01-25 2018-08-17 北京农业信息技术研究中心 一种水下网箱养殖中的网衣破损检测装置及方法
CN108596507A (zh) * 2018-05-04 2018-09-28 大连理工大学 一种海上养殖网箱的受灾破坏预警方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1409963A (zh) * 2002-11-14 2003-04-16 浙江大学 能自动检测网衣破损并报警的深水网箱
US20080110408A1 (en) * 2006-11-13 2008-05-15 Open Ocean Systems, Inc. Submersible cage and system for fish farming
CN101614634A (zh) * 2008-06-23 2009-12-30 中国水产科学研究院东海水产研究所 养殖网箱箱体网衣或拖网渔具网囊网目对角强力检测方法
CN108416764A (zh) * 2018-01-25 2018-08-17 北京农业信息技术研究中心 一种水下网箱养殖中的网衣破损检测装置及方法
CN108596507A (zh) * 2018-05-04 2018-09-28 大连理工大学 一种海上养殖网箱的受灾破坏预警方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
HU JIE ETAL.: "Study on the Cage Net Crack Detection Facility of Sea Cage", 《2006 INTERNATIONAL CONFERENCE ON COMMUNICATIONS, CIRCUITS AND SYSTEMS》 *
JONGAN LEE ETAL.: "Design of Autonomous Underwater Vehicles for Cage Aquafarms", 《2007 IEEE INTELLIGENT VEHICLES SYMPOSIUM》 *
陈浩: "机器视觉在渔网检测中的应用", 《科技尚品》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111047583A (zh) * 2019-12-23 2020-04-21 大连理工大学 一种基于机器视觉的水下网衣系统破损检测方法
CN111047583B (zh) * 2019-12-23 2022-11-18 大连理工大学 一种基于机器视觉的水下网衣系统破损检测方法
CN111882555A (zh) * 2020-08-07 2020-11-03 中国农业大学 基于深度学习的网衣检测方法、装置、设备及存储介质
CN111882555B (zh) * 2020-08-07 2024-03-12 中国农业大学 基于深度学习的网衣检测方法、装置、设备及存储介质
CN112362899A (zh) * 2020-10-09 2021-02-12 烟台大学 养殖网箱尾流环境监测装置
CN113016682A (zh) * 2021-03-12 2021-06-25 湖北海洋工程装备研究院有限公司 深水网箱监控系统
CN114852289A (zh) * 2022-04-06 2022-08-05 五邑大学 深海渔场网箱巡检方法、装置、系统及存储介质
CN114852289B (zh) * 2022-04-06 2024-03-26 五邑大学 深海渔场网箱巡检方法、装置、系统及存储介质

Also Published As

Publication number Publication date
CN110084792B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
CN110084792A (zh) 一种海上养殖网箱网衣的异常检测方法
Sung et al. Vision based real-time fish detection using convolutional neural network
Zhao et al. An adaptive method of damage detection for fishing nets based on image processing technology
CN111047583B (zh) 一种基于机器视觉的水下网衣系统破损检测方法
CN110930357B (zh) 一种基于深度学习的在役钢丝绳表面缺陷检测方法与系统
Schmid et al. The LOKI underwater imaging system and an automatic identification model for the detection of zooplankton taxa in the Arctic Ocean
CN111222526B (zh) 一种渔船实时捕捞行为识别方法、装置、设备及存储介质
CN1335496A (zh) 一种检查图象以检测缺陷的方法及装置
CN111406693A (zh) 基于仿生海鳗的海洋牧场渔业资源养护效果评价方法
CN108416774A (zh) 一种基于细粒度神经网络的织物种类识别方法
CN114218864A (zh) 基于数学孪生的网箱网衣破损检测方法、装置及存储介质
CN109633106B (zh) 一种在线农药残留快速检测方法、系统及存储介质
CN105139034B (zh) 一种结合光谱滤除的船舶检测方法
CN106259095A (zh) 一种池塘淡水养殖鱼的行为对水产养殖方面的判断方法
Tang et al. Research on infrared ship detection method in sea-sky background
Liu et al. Deep residual convolutional neural network based on hybrid attention mechanism for ecological monitoring of marine fishery
Chen et al. Hydroacoustic scattering characteristics and biomass assessment of the purpleback flying squid (Sthenoteuthis oualaniensis) from the deep water area of the South China Sea
CN109583424A (zh) 一种基于衰减置信度的重叠舰船目标候选框筛选方法
CN112464742B (zh) 赤潮图像自动识别的方法及装置
Ge et al. Real-time object detection algorithm for Underwater Robots
CN116562467A (zh) 一种海洋鱼类目标种类识别及分布预测方法及系统
CN107179303B (zh) 微滴荧光检测方法、装置、系统、存储介质与计算机设备
CN116311096A (zh) 基于YOLOv7-MO的毛虾捕捞目标识别与计数系统及其操作方法
Huang et al. Mango surface defect detection based on HALCON
Das et al. Leaf disease detection, quantification and classification using digital image processing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant