CN112634202A - 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统 - Google Patents

一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统 Download PDF

Info

Publication number
CN112634202A
CN112634202A CN202011400100.5A CN202011400100A CN112634202A CN 112634202 A CN112634202 A CN 112634202A CN 202011400100 A CN202011400100 A CN 202011400100A CN 112634202 A CN112634202 A CN 112634202A
Authority
CN
China
Prior art keywords
fish
image
shoal
fish school
behavior
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011400100.5A
Other languages
English (en)
Inventor
胡俊
赵丹丹
陈文烜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Academy of Agricultural Sciences
Original Assignee
Zhejiang Academy of Agricultural Sciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Academy of Agricultural Sciences filed Critical Zhejiang Academy of Agricultural Sciences
Priority to CN202011400100.5A priority Critical patent/CN112634202A/zh
Publication of CN112634202A publication Critical patent/CN112634202A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/25Fusion techniques
    • G06F18/253Fusion techniques of extracted features
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种基于YOLOv3‑Lite的混养鱼群行为检测的方法、装置及系统,该方法包括:分别获取不同养殖环境下的鱼群影像;对所述鱼群影像进行预处理,得到第一鱼群图像;将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果,其中,所述目标网络模型通过将所述第一鱼群图像输入初始网络模型进行训练获得。本发明使用图像增强、降噪、增广等技术对获取影像进行预处理,以提高成像质量、丰富训练集信息;基于改进YOLOv3‑Lite网络对上述影像数据集进行训练,建立鱼群行为检测模型,从而实现快速、低成本混养鱼群行为检测的方法。

Description

一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及 系统
技术领域
本发明涉及计算机图像处理技术领域,尤其涉及一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统。
背景技术
目前我国水产养殖面积与渔业产值均居世界首位。鱼类养殖经济在我国农业经济中占有越来越重要的位置。在鱼类养殖中需对鱼类健康进行监控,其中鱼群的行为可以体现鱼类对养殖环境的喜好程度,从而反映出养殖水体的合适与否。
传统鱼群行为的检测主要通过人工在养殖现场进行连续观测,根据鱼类游动状态凭借经验进行判断,对观测人员知识水平要求较高;过程费时费力,观测结果主观性强,存在因人为因素导致误判的可能。
即使随计算机视觉的发展,机器视觉在鱼群行为检测方面可以实现快读判断,但是由于此类方法提取特征单一、样本量少,不仅造成鲁棒性弱,还存在检测不准确的问题,因此并不是能实现广泛的推广,具有一定的局限性。
发明内容
本发明提供一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统,通过图像增强、降噪、增广等技术对获取影像进行预处理,以提高成像质量、丰富训练集信息;基于改进YOLOv3-Lite网络对上述影像数据集进行训练,建立鱼群行为检测模型,从而实现快速、低成本混养鱼群行为检测的方法。
第一方面,本发明实施例提供的一种基于YOLOv3-Lite的混养鱼群行为检测的方法,包括:
分别获取不同养殖环境下的鱼群影像;
对所述鱼群影像进行预处理,得到第一鱼群图像;
将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果,其中,所述目标网络模型通过将所述第一鱼群图像输入初始网络模型进行训练获得。
在一种可能的设计中,所述分别获取不同养殖环境下的鱼群图像,包括:
通过设置饥饿程度、含氧量条件得到不同养殖环境;
将多种鱼类放置于所述养殖环境进行饲养,并获取不同养殖环境下对应的鱼群影像。
在一种可能的设计中,对所述鱼群影像进行预处理,得到第一鱼群图像,包括:
通过对所述鱼群影像进行数据增强、数据降噪以及数据增广处理得到所述第一鱼群图像。
在一种可能的设计中,在将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果之前,还包括:
构建所述初始网络模型,其中所述初始网络模型包括改进主干网络结构、改进池化网络结构和改进损失函数,其中,所述改进主干网络结构用于将输入的所述第一鱼群图像进行扩展信道维数,实现深度卷积后得到降维特征图像;
所述改进池化网络结构用于将不同维度的所述降维特征图像转换为相同维度的特征图像,还可以用于将不同尺度的所述降维特征图像进行融合得到融合特征图像;
所述改进损失函数用于结合GIoU的损失函数,对所述融合特征图像进行其损失函数的计算,若所述融合特征图像的损失函数大于预设改进函数阈值,则获得所述鱼群行为检测结果。
在一种可能的设计中,将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果,包括:
所述目标网络模型通过使用精度、召回率以及交兵比三个指标来获得所述鱼群行为检测结果。
在一种可能的设计中,在将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果之后,还包括:
通过分析不同光照以及能见度的饲养变化环境中所述鱼群行为检测的精度,验证所述目标网络型的鲁棒性。
第二方面,本发明实施例提供的一种基于YOLOv3-Lite的混养鱼群行为检测的装置,应用于第一方面中任一项所述混养鱼群行为检测的方法,所述装置包括:
水箱、面阵光源、氧传感器、数据相机、生物滤池、固体废弃物过滤器、制氧机以及终端;
其中所述面阵光源设置于所述水箱外的预设距离处,且为所述水箱提供光照;
所述数据相机、氧传感器均设置于所述水箱中,所述数据相机用于获取所述鱼群影像,所述氧传感器用于检测所述水箱中的氧气含量;
所述制氧机设置于所述水箱外与所述氧传感器连接,用于根据所述氧气含量向所述水箱输入氧气;
所述终端设置于所述水箱外与所述数据相机连接,用于将输入的鱼群影像进行处理得到鱼群行为检测结果;
所述生物滤池和所述固体废弃物过滤器连接设置于所述水箱外,过滤水中食物残渣以及鱼类粪便。
在一种可能的设计中,所述面阵光源由120个圆周排布的LED点光源组成;
所述数据相机设置为两台Go-pro Hero 7black水下数码运动相机。
第三方面,本发明实施例提供的一种基于YOLOv3-Lite的混养鱼群行为检测的系统,包括存储器和处理器,存储器中存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行第一方面中任一项所述的混养鱼群行为检测的方法。
第四方面,本发明实施例提供的一种计算机刻度可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现第一方面任一项所述的混养鱼群行为检测的方法。
本发明提供一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统,该方法包括:分别获取不同养殖环境下的鱼群影像;对所述鱼群影像进行预处理,得到第一鱼群图像;将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果,其中,所述目标网络模型通过将所述第一鱼群图像输入初始网络模型进行训练获得。本发明使用图像增强、降噪、增广等技术对获取影像进行预处理,以提高成像质量、丰富训练集信息;基于改进YOLOv3-Lite网络对上述影像数据集进行训练,建立鱼群行为检测模型,从而实现快速、低成本混养鱼群行为检测的方法。具体的,通过可调光源、水质控制装置、制氧机模拟自然养殖环境;通过Go-pro运动相机准确捕捉鱼群运动图像,并同步传输至高性能移动工作站进行图像质量检查和存储;还通过建立了基于改进YOLOv3-Lite深度学习框架的水下鱼群行为检测方法。通过对主干网、池化模块、损失函数的改进,克服了传统YOLO网络对中、小尺度目标特征提取及检测困难的问题,同时减少参数数量、优化模型存储空间,实现了在线实时动态检测。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的混养鱼群行为检测的装置结构示意图;
图2为本发明实施例提供的混养鱼群行为检测的方法流程图;
图3为本发明实施例提供的混养鱼群行为检测的系统结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本发明的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
鱼类养殖经济在我国农业经济中占有越来越重要的位置,渔业养殖前景非常可观。在鱼类养殖中,对鱼群行为的准确检测可以为鱼类健康监控提供直观信息;同时,运动行为可以体现鱼类对养殖环境的喜好程度,并在一定程度上反映出养殖水体是否合适。当前,由于人类经济社会活动范围扩大对水体造成污染,鱼类病害等胁迫现象发生频率逐年升高。通过对鱼群行为进行观测准确判断鱼类是否处理异常状态,可以为鱼类健康及水体环境变化提供预警信息,已成为降低养殖业风险、提高渔获品质的重要手段之一。传统鱼群行为检测主要通过人工在养殖现场进行连续观测,根据鱼类游动状态凭借经验进行判断,对观测人员知识水平要求较高;过程费时费力,观测结果主观性强,存在因人为因素导致误判的可能。随着计算机视觉技术发展,机器视觉在鱼类行为检测方面得到广泛应用:通过提取图像中颜色、纹理、形状特征并对其进行归一化、融合处理,结合浅层机器学习模型可实现鱼群行为的快速判断。但此类方法提取特征单一、样本量少、鲁棒性弱;检测模型对不同品种鱼类出现的特定生理特征考虑不足,导致其在实际生产中应用存在较大局限性。
而本发明提出了一种快速、低成本的混养鱼群行为检测的方法。首先,利用自主研发的水下图像采集装置,获取混养环境中不同饥饿程度、不同水体含氧量等条件下两种常见食用鱼的水下高清影像;接着,使用图像增强、降噪、增广等技术对获取影像进行预处理,以提高成像质量、丰富训练集信息;最后,基于改进YOLOv3-Lite网络对上述影像数据集进行训练,建立鱼群行为检测模型(即获得目标网络模型),从而可以得到鲁棒性更好地鱼群行为检测结果。
下面以具体地实施例对本发明的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图,对本发明的实施例进行描述。
本发明中采用自主研发的水下鱼群行为检测的装置来实现本发明鱼群行为检测的方法,具体的该鱼群行为检测的装置可以包括:
水箱4、面阵光源5、氧传感器3、数据相机1、生物滤池6、固体废弃物过滤器7、制氧机8以及终端2;
其中所述面阵光源5设置于所述水箱4外的预设距离(例如1米)处,且为所述水箱提供光照;所述数据相机1、氧传感器3均设置于所述水箱4中,所述数据相机1用于获取所述鱼群影像,所述氧传感器3用于检测所述水箱中的氧气含量;所述制氧机8设置于所述水箱4外与所述氧传感器3连接,用于根据所述氧气含量向所述水箱输入氧气;所述终端2设置于水箱4外与所述数据相机1连接,用于将输入的鱼群影像进行处理得到鱼群行为检测结果;所述生物滤池6和所述固体废弃物过滤器7连接设置于所述水箱外,过滤水中食物残渣以及鱼类粪便。具体的实施例中所述面阵光源由120个圆周排布的LED点光源组成;所述数据相机设置为两台Go-pro Hero 7black水下数码运动相机。
本实施例参考图1,图1为本发明实施例提供的鱼群行为检测的装置结构示意图,如图1所示,该鱼群行为检测的装置由1个面阵光源、两台高清数据相机、一个生物滤池、一个固体废弃物过滤器、1台制氧机以及1台搭载Adobe Photoshop图像查看软件的笔记本电脑组成。其中,面阵光源由120个圆周排布的LED点光源组成,可满足2000-10000K不等亮度的照明需求,主要用于增强鱼群与水体间差异并消除拍摄阴影。生物滤池和固体废弃物过滤器主要被用来过滤水中食物残渣及鱼类粪便,保证水质满足拍摄要求。制氧机每天开启3次,搭配一体式溶解氧检测仪使得水体溶解氧在实验前维持在6.0-8.0mg/L。图像采集通过两台Go-pro Hero 7black水下高清数码运动相机完成,该相机分辨率为1200万像素,对水下运动目标具有较好的捕捉效果。两部相机通过Go-pro公司开发的无线快门器连接,可实现水下同步拍摄、同步记录。笔记本电脑型号为Alienware M17,预装Windows 10专业版系统,内存大小为16GB,CPU型号为i7-9750H,显存大小为8GB,能够满足图像实时查看、实时筛选等功能。
应用上述鱼群行为检测的装置,参考图2,图2为本发明实施例提供的鱼群行为检测的方法流程图,如图2所示,本实施例中的方法可以包括:
S201、分别获取不同养殖环境下的鱼群影像。
具体的,通过设置饥饿程度、含氧量条件得到不同养殖环境;
将多种鱼类放置于所述养殖环境进行饲养,并获取不同养殖环境下对应的鱼群影像。
本实施例中获取混养环境中两种常见食用鱼——家鲫和黄颡鱼,为尽可能多的获取鱼群胁迫、摄食等条件下的行为信息,共设计了两组实验:
1、饥饿实验
鱼群中所有个体在实验开始前24小时开始禁食以确保摄食行为最大化。实验开始后选用适宜的漂浮型或沉底型饲料对鱼群进行过量投喂,在这一过程中拍摄鱼群摄食影像。
2、缺氧实验
利用氮气鼓泡机对水体进行充氮以实现局部缺氧环境,由于家鲫和黄颡鱼可以在极低的含氧量下存活,为了监测急性缺氧应激反应,本实验中将水体含氧量水平确定为0.3、0.75和1.5mg/l。实验过程中,首先将溶解氧维持在1.5mg/l,随后逐渐降低到0.75mg/l,最后降到0.3mg/l并维持该水平20分钟,然后恢复至正常水平。为消除鼓泡机所产生的气泡、泡沫对成像结果的影响,在水中设置了一台鼓风机并在这一过程中拍摄鱼群缺氧条件下影像。
S202、对所述鱼群影像进行预处理,得到第一鱼群图像。
具体的,通过对所述鱼群影像进行数据增强、数据降噪以及数据增广处理得到所述第一鱼群图像。
本实施例中,数据预处理包括数据增强、数据降噪和数据增广三个部分。
1、数据增强
自然条件下水箱中通常充满了悬浮沉淀物和饲料残渣,这会极大影响水下成像效果。本发明中采用对比度限制自适应直方图均衡化方法(CLAHE)和离散小波变换(DWT)对原始图像(例如鱼群影像)进行增强处理提高其对比度和锐度,使得鱼和背景间对比度增强,从而得到第一鱼群图像。
2、数据降噪
由于水下图像在采集、传输和处理过程中难免会受到各种噪声的干扰,使图像质量变差。为消除高频噪声及水中气泡对成像结果的干扰,对所有鱼群影像使用窗口大小为64×64像素的中值滤波器进行平滑处理以消除背景照明的不均匀性,得到图像视觉显示效果更佳的第一鱼群图像。
3、数据增广
基于深度学习的图像处理以其强大的特征表达能力和端到端的学习能力极大提高了目标检测的精度和效率,而充足的训练数据是保证深度学习模型优异性能的前提;缺乏大量训练数据所训练出的模型往往出现过拟合、泛化能力低等问题。但由于鱼群水下图像采集的复杂性,很难获得足够的原始数据(即鱼群影像)。因此,针对本发明中训练样本量不足的问题,通过数据增广提升数据集中相关数据量、丰富特征信息,能够最大限度发挥小样本量数据集可用性,解决样本量不足问题。对2806张原始影像采用以下三种增广策略进行数据增广:翻转、旋转、模糊,最终得到72000张第一鱼群图像组成新的训练集。
S203、将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果,其中,所述目标网络模型通过将所述第一鱼群图像输入初始网络模型进行训练获得。
在一种可选的实施例中,在将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果之前,还包括:
构建所述初始网络模型,其中所述初始网络模型包括改进主干网络结构、改进池化网络结构和改进损失函数,其中,所述改进主干网络结构用于将输入的所述第一鱼群图像进行扩展信道维数,实现深度卷积后得到降维特征图像;所述改进池化网络结构用于将不同维度的所述降维特征图像转换为相同维度的特征图像,还可以用于将不同尺度的所述降维特征图像进行融合得到融合特征图像;所述改进损失函数用于结合GIoU的损失函数,对所述融合特征图像进行其损失函数的计算,若所述融合特征图像的损失函数大于预设改进函数阈值,则获得所述鱼群行为检测结果。
具体的,将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果,包括:所述目标网络模型通过使用精度、召回率以及交兵比三个指标来获得所述鱼群行为检测结果。
现有技术中YOLO(The You Only Look Once)是一种基于回归思想的一阶段目标检测模型,将目标检测和目标定位同步进行,大大提高了目标检测的精度,可以实现实时检测的要求。为了改善传统YOLO网络在小目标检测方面的不足,YOLO version 3(即YOLOv3)提出了一种名为Darknet-53的新型网络,可在三种不同的尺度上预测目标。YOLOv3的网络结构主要包括Darknet-53网络与YOLO层两部分,其中Darknet-53作为骨干网络主要用于提取图像特征,包含53个卷积层,并引入了残差结构。虽然YOLOv3采用的多尺度检测的方法小目标具有较好的检测效果,但其相骨干网相对复杂,严重影响了检测速度。为了克服现有技术的以上问题,本发明在传统YOLOv3框架基础上提出了一种轻量化YOLOv3-LITE网络,其采用多尺度特征图像并行融合结构、改进的空间金字塔池化网络和一种基于GIoU的损失函数,在保证了准确率的同时大大提高了检测效率。该网络模型的主要创新点如下:
1、提出一种基于MobileNetv2的主干网络
MobileNetv2相对于Darknet-53来说,其网络参数较少、模型复杂度低,便于实现鱼群行为实时检测。在MobileNetv2中,提出了一种结合深度可分离卷积的反向残差结构,以减少参数的数量,加速正向传播。对于MobileNetv2,关键组件是一个基于反向残差的深度可分离卷积块。具体的,将输入的所述第一鱼群图像进行扩展信道维数,实现深度卷积后得到降维特征图像。例如对该卷积块中输入第一鱼群图像首先进行1×1卷积以扩展信道维数,然后进行3×3卷积以实现深度卷积;最后,通过1×1个卷积来进行降维,得到降维特征图像。
2、提出一种改进的空间金字塔池化网络
在检测端引入空间金字塔池化可以将尺寸不同的特征图转换到相同的维度下,还可以从不同的尺度提取不同的特征并进行融合,在不增加参数量和计算时间复杂度的前提下提升检测精度。本发明中,采用两套并行的空间金字塔池化网络进一步扩展特征通道数并提高模型细节描述能力,不仅可以将不同维度的所述降维特征图像转换为相同维度的特征图像,还可以将不同尺度的所述降维特征图像进行融合得到融合特征图像。两个网络所对应的维数分别为:1×1,2×2,3×3,4×4以及1×1,5×5,9×9,13×13。
3、提出一种基于GIoU的损失函数
传统YOLOv3网络损失函数由三部分组成,其计算公式如下:
Loss=Losscoordinate+Lossconfidence+Lossclass (1)
其中,Losscoordinate表示坐标损失量,Lossconfidence表示置信度损失量,Lossclass表示类别损失量,具体展开式为:
Figure BDA0002816667030000101
然后,传统的IoU损失只能适用于预测窗(prediction window)与标记窗(labelled window)重叠的情况;若预测窗与标记窗不重合则IoU损失量为0,失去对模型的调整意义。为了优化IoU损失函数,本发明将GIoU引入到损失函数中,改进后的网络损失函数为:
Figure BDA0002816667030000102
本发明首先构建上述初始网络模型,进而通过第一鱼群图像的训练集对该初始网络模型进行大数据量的训练,从而得到准确率较高的目标网络模型,进而在后续实验过程中将第一鱼群图像输入该目标网络模型即可得到鱼群行为检测结果。
我们使用精度(Precision)、召回率(Recall)、交兵比(IoU)三个指标评估模型对鱼群行为检测的精度。其计算公式如下:
Figure BDA0002816667030000111
Figure BDA0002816667030000112
Figure BDA0002816667030000113
其中,TP为真阳性(正确检测到鱼的数量),FN为假阴性(漏检鱼的数量),FP为假阳性(误检鱼的数量)。candidateBox为模型检测框的位置,GroundTruth为人工标记框的位置。将YOLOv3-Lite模型与其他四个预训练网络Faster-RCNN,YOLO,YOLOv2,YOLOv3,SSD进行检测精度对比。所有对比网络ImageNet上进行了预训练,所有的对比实验都按照YOLOv3-Lite的相同步骤进行。对比实验结果如表1:
表1不同模型水下鱼群行为检测精度
Figure BDA0002816667030000114
从结果中我们可以看出,YOLOv3-Lite模型的精度(Precision)为、召回率(Recall)为、交兵比(IoU)为,分别比对照模型提高了15%-30%,表明本方法在鱼群行为检测中具有较大的应用价值。
在一种可选的实施例中,在将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果之后,还包括:通过分析不同光照以及能见度的饲养变化环境中所述鱼群行为检测的精度,验证所述目标网络型的鲁棒性。
为了证明本发明方法对动态环境变化的鲁棒性,我们测试了其在不同光照条件及水下能见度情况下的精度情况。本发明的鲁棒性分析实验共设计了9种不同的光照及能见度等级,分别为:昏暗-纯净水质、昏暗-轻度污染、昏暗-严重污染、较暗-纯净水质、较暗-轻度污染、较暗-严重污染、明亮-纯净水质、明亮-轻度污染、明亮-严重污染。本实验中,水质通过生物滤池及固体废弃物过滤器的不同开启频率进行控制,光照强度通过LED光源的照度值进行控制。从表2中我们可以看出,YOLOv3-Lite模型在不同光照条件及水下能见度情况下均能取得较高的检测精度,条件最恶劣的昏暗-严重污染情况与最优观测条件明亮-纯净水质下,各评价指标变化幅度均未超过10%,表明该模型对不同拍摄环境均有较高的鲁棒性。
表2不同光照条件及水下能见度情况下本发明方法精度
Figure BDA0002816667030000121
图3为本发明实施例提供的鱼群行为检测的系统结构示意图,如图3所示,本实施例的鱼群行为检测的系统可以包括:处理器31和存储器32。
存储器32,用于存储计算机程序(如实现上述鱼群行为检测的方法的应用程序、功能模块等)、计算机指令等;
上述的计算机程序、计算机指令等可以分区存储在一个或多个存储器32中。并且上述的计算机程序、计算机指令、数据等可以被处理器31调用。
处理器31,用于执行存储器32存储的计算机程序,以实现上述实施例涉及的方法中的各个步骤。
具体可以参见前面方法实施例中的相关描述。
处理器31和存储器32可以是独立结构,也可以是集成在一起的集成结构。当处理器31和存储器32是独立结构时,存储器32、处理器31可以通过总线33耦合连接。
本实施例的服务器可以执行图2所示方法中的技术方案,其具体实现过程和技术原理参见图2所示方法中的相关描述,此处不再赘述。
此外,本申请实施例还提供一种计算机可读存储介质,计算机可读存储介质中存储有计算机执行指令,当用户设备的至少一个处理器执行该计算机执行指令时,用户设备执行上述各种可能的方法。
其中,计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外,该ASIC可以位于用户设备中。当然,处理器和存储介质也可以作为分立组件存在于通信设备中。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种基于YOLOv3-Lite的混养鱼群行为检测的方法,其特征在于,包括:
分别获取不同养殖环境下的鱼群影像;
对所述鱼群影像进行预处理,得到第一鱼群图像;
将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果,其中,所述目标网络模型通过将所述第一鱼群图像输入初始网络模型进行训练获得。
2.根据权利要求1所述的方法,其特征在于,所述分别获取不同养殖环境下的鱼群影像,包括:
通过设置饥饿程度、含氧量条件得到不同养殖环境;
将多种鱼类放置于所述养殖环境进行饲养,并获取不同养殖环境下对应的鱼群影像。
3.根据权利要求2所述的方法,其特征在于,对所述鱼群影像进行预处理,得到第一鱼群图像,包括:
通过对所述鱼群影像进行数据增强、数据降噪以及数据增广处理得到所述第一鱼群图像。
4.根据权利要求3所述的方法,其特征在于,在将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果之前,还包括:
构建所述初始网络模型,其中所述初始网络模型包括改进主干网络结构、改进池化网络结构和改进损失函数,其中,所述改进主干网络结构用于将输入的所述第一鱼群图像进行扩展信道维数,实现深度卷积后得到降维特征图像;
所述改进池化网络结构用于将不同维度的所述降维特征图像转换为相同维度的特征图像,还可以用于将不同尺度的所述降维特征图像进行融合得到融合特征图像;
所述改进损失函数用于结合GIoU的损失函数,对所述融合特征图像进行其损失函数的计算,若所述融合特征图像的损失函数大于预设改进函数阈值,则获得所述鱼群行为检测结果。
5.根据权利要求4所述的方法,其特征在于,将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果,包括:
所述目标网络模型通过使用精度、召回率以及交兵比三个指标来获得所述鱼群行为检测结果。
6.根据权利要求5所述的方法,其特征在于,在将所述第一鱼群图像输入目标网络模型得到鱼群行为检测结果之后,还包括:
通过分析不同光照以及能见度的饲养变化环境中所述鱼群行为检测的精度,验证所述目标网络型的鲁棒性。
7.一种基于YOLOv3-Lite的混养鱼群行为检测的装置,应用于权利要求1-6中任一项所述混养鱼群行为检测的方法,其特征在于,所述装置包括:
水箱、面阵光源、氧传感器、数据相机、生物滤池、固体废弃物过滤器、制氧机以及终端;
其中所述面阵光源设置于所述水箱外的预设距离处,且为所述水箱提供光照;
所述数据相机、氧传感器均设置于所述水箱中,所述数据相机用于获取所述鱼群影像,所述氧传感器用于检测所述水箱中的氧气含量;
所述制氧机设置于所述水箱外与所述氧传感器连接,用于根据所述氧气含量向所述水箱输入氧气;
所述终端设置于所述水箱外与所述数据相机连接,用于将输入的鱼群影像进行处理得到鱼群行为检测结果;
所述生物滤池和所述固体废弃物过滤器连接设置于所述水箱外,过滤水中食物残渣以及鱼类粪便。
8.根据权利要求7所述的装置,其特征在于,所述面阵光源由120个圆周排布的LED点光源组成;
所述数据相机设置为两台Go-pro Hero 7black水下数码运动相机。
9.一种基于YOLOv3-Lite的混养鱼群行为检测的系统,其特征在于,包括存储器和处理器,存储器中存储有所述处理器的可执行指令;其中,所述处理器配置为经由执行所述可执行指令来执行权利要求1-6任一项所述的混养鱼群行为检测的方法。
10.一种计算机刻度可读存储介质,其上存储有计算机程度,其特征在于,该程序被处理器执行时实现权利要求1-6任一项所述的混养鱼群行为检测的方法。
CN202011400100.5A 2020-12-04 2020-12-04 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统 Pending CN112634202A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011400100.5A CN112634202A (zh) 2020-12-04 2020-12-04 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011400100.5A CN112634202A (zh) 2020-12-04 2020-12-04 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统

Publications (1)

Publication Number Publication Date
CN112634202A true CN112634202A (zh) 2021-04-09

Family

ID=75307861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011400100.5A Pending CN112634202A (zh) 2020-12-04 2020-12-04 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统

Country Status (1)

Country Link
CN (1) CN112634202A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419432A (zh) * 2021-12-23 2022-04-29 中国农业大学 一种鱼群摄食强度评估方法及装置
CN114724022A (zh) * 2022-03-04 2022-07-08 大连海洋大学 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质
CN116311001A (zh) * 2023-05-18 2023-06-23 北京市农林科学院信息技术研究中心 鱼群行为识别方法、装置、系统、设备及介质
CN116630080A (zh) * 2023-07-25 2023-08-22 广东省农业科学院动物科学研究所 基于图像识别的水产集约化养殖饲料容量确定方法及系统
CN116863322A (zh) * 2023-07-28 2023-10-10 江苏中水东泽农业发展股份有限公司 基于ai的鱼类繁殖用自适应光照方法、装置及存储介质
CN117044661A (zh) * 2023-08-30 2023-11-14 广州淏瀚生物科技有限公司 一种水产健康生态调水系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992189A (zh) * 2015-07-22 2015-10-21 河海大学常州校区 基于深度学习网络模型的鱼群异常行为识别方法
US20170277955A1 (en) * 2016-03-23 2017-09-28 Le Holdings (Beijing) Co., Ltd. Video identification method and system
CN108121968A (zh) * 2017-12-20 2018-06-05 佛山市洛克威特科技有限公司 一种鱼群监测方法
CN110533640A (zh) * 2019-08-15 2019-12-03 北京交通大学 基于改进YOLOv3网络模型的轨道线路病害辨识方法
CN111291587A (zh) * 2018-12-06 2020-06-16 深圳光启空间技术有限公司 一种基于密集人群的行人检测方法、存储介质及处理器
CN111528143A (zh) * 2020-05-26 2020-08-14 大连海洋大学 一种鱼群摄食行为量化方法、系统、装置和存储介质
WO2020164282A1 (zh) * 2019-02-14 2020-08-20 平安科技(深圳)有限公司 基于yolo的图像目标识别方法、装置、电子设备和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104992189A (zh) * 2015-07-22 2015-10-21 河海大学常州校区 基于深度学习网络模型的鱼群异常行为识别方法
US20170277955A1 (en) * 2016-03-23 2017-09-28 Le Holdings (Beijing) Co., Ltd. Video identification method and system
CN108121968A (zh) * 2017-12-20 2018-06-05 佛山市洛克威特科技有限公司 一种鱼群监测方法
CN111291587A (zh) * 2018-12-06 2020-06-16 深圳光启空间技术有限公司 一种基于密集人群的行人检测方法、存储介质及处理器
WO2020164282A1 (zh) * 2019-02-14 2020-08-20 平安科技(深圳)有限公司 基于yolo的图像目标识别方法、装置、电子设备和存储介质
CN110533640A (zh) * 2019-08-15 2019-12-03 北京交通大学 基于改进YOLOv3网络模型的轨道线路病害辨识方法
CN111528143A (zh) * 2020-05-26 2020-08-14 大连海洋大学 一种鱼群摄食行为量化方法、系统、装置和存储介质

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
刘萍;杨鸿波;宋阳;: "改进YOLOv3网络的海洋生物识别算法", 计算机应用研究, no. 1, 30 June 2020 (2020-06-30) *
吕石磊等: "基于改进YOLOv3-LITE轻量级神经网络的柑橘识别方法", 农业工程学报, vol. 35, no. 17, 30 September 2019 (2019-09-30), pages 205 - 214 *
沈军宇;李林燕;戴永良;王军;胡伏原: "基于YOLO算法的鱼群探测监控系统", 苏州科技大学学报(自然科学版), no. 3, 15 September 2020 (2020-09-15), pages 68 - 73 *
王文成;蒋慧;乔倩;祝捍皓;郑红;: "基于深度学习的鱼类识别与检测的算法研究", 信息技术与网络安全, no. 08, 10 August 2020 (2020-08-10) *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114419432A (zh) * 2021-12-23 2022-04-29 中国农业大学 一种鱼群摄食强度评估方法及装置
CN114419432B (zh) * 2021-12-23 2024-04-30 中国农业大学 一种鱼群摄食强度评估方法及装置
CN114724022A (zh) * 2022-03-04 2022-07-08 大连海洋大学 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质
CN114724022B (zh) * 2022-03-04 2024-05-10 大连海洋大学 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质
CN116311001A (zh) * 2023-05-18 2023-06-23 北京市农林科学院信息技术研究中心 鱼群行为识别方法、装置、系统、设备及介质
CN116311001B (zh) * 2023-05-18 2023-09-12 北京市农林科学院信息技术研究中心 鱼群行为识别方法、装置、系统、设备及介质
CN116630080A (zh) * 2023-07-25 2023-08-22 广东省农业科学院动物科学研究所 基于图像识别的水产集约化养殖饲料容量确定方法及系统
CN116630080B (zh) * 2023-07-25 2024-01-26 广东省农业科学院动物科学研究所 基于图像识别的水产集约化养殖饲料容量确定方法及系统
CN116863322A (zh) * 2023-07-28 2023-10-10 江苏中水东泽农业发展股份有限公司 基于ai的鱼类繁殖用自适应光照方法、装置及存储介质
CN116863322B (zh) * 2023-07-28 2024-04-30 江苏中水东泽农业发展股份有限公司 基于ai的鱼类繁殖用自适应光照方法、装置及存储介质
CN117044661A (zh) * 2023-08-30 2023-11-14 广州淏瀚生物科技有限公司 一种水产健康生态调水系统
CN117044661B (zh) * 2023-08-30 2024-01-19 广州淏瀚生物科技有限公司 一种水产健康生态调水系统

Similar Documents

Publication Publication Date Title
CN112634202A (zh) 一种基于YOLOv3-Lite的混养鱼群行为检测的方法、装置及系统
Lines et al. An automatic image-based system for estimating the mass of free-swimming fish
An et al. Application of computer vision in fish intelligent feeding system—A review
CN108444447B (zh) 一种用于水下避障系统中的渔网实时自主检测方法
WO2019245722A1 (en) Sea lice detection and classification in an aquaculture environment
Le et al. An automated fish counting algorithm in aquaculture based on image processing
CN110163798B (zh) 渔场围网破损检测方法及系统
CN106097320B (zh) 水下海参图像自动分割方法及装置
Liao et al. Research on intelligent damage detection of far-sea cage based on machine vision and deep learning
CN111339902A (zh) 一种数显仪表的液晶屏示数识别方法及装置
CN113592896A (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
CN115908268A (zh) 一种水下鱼体生物量实时测量方法及装置
CN116778309A (zh) 残饵监测方法、装置、系统和存储介质
Huang A comparative study of underwater marine products detection based on YOLOv5 and underwater image enhancement
CN114596584A (zh) 海洋生物智能检测识别方法
Yao et al. Application of improved MobileNet-SSD on underwater sea cucumber detection robot
Zhou et al. Deep images enhancement for turbid underwater images based on unsupervised learning
CN113591592B (zh) 水上目标识别方法、装置、终端设备及存储介质
CN114612454A (zh) 一种鱼类摄食状态检测方法
Zhou et al. An underwater target recognition method based on improved YOLOv4 in complex marine environment
Muñoz-Benavent et al. Impact evaluation of deep learning on image segmentation for automatic bluefin tuna sizing
CN115690546B (zh) 虾长测量方法、装置、电子设备及存储介质
Yu et al. An automatic detection and counting method for fish lateral line scales of underwater fish based on improved YOLOv5
Ge et al. Real-time object detection algorithm for Underwater Robots
Wang et al. Research and implementation of image dehazing based on deep learning

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination