CN114943929A - 基于图像融合技术的鱼类异常行为实时检测方法 - Google Patents

基于图像融合技术的鱼类异常行为实时检测方法 Download PDF

Info

Publication number
CN114943929A
CN114943929A CN202210416763.9A CN202210416763A CN114943929A CN 114943929 A CN114943929 A CN 114943929A CN 202210416763 A CN202210416763 A CN 202210416763A CN 114943929 A CN114943929 A CN 114943929A
Authority
CN
China
Prior art keywords
image
fish
abnormal
behaviors
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210416763.9A
Other languages
English (en)
Inventor
李道亮
李新
杜壮壮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Agricultural University
Original Assignee
China Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Agricultural University filed Critical China Agricultural University
Priority to CN202210416763.9A priority Critical patent/CN114943929A/zh
Publication of CN114943929A publication Critical patent/CN114943929A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/80—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in fisheries management
    • Y02A40/81—Aquaculture, e.g. of fish

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了属于水产养殖技术领域的基于图像融合技术的鱼类异常行为实时检测方法。该方法具体如下：获取待处理的鱼类异常行为的视频；删除鱼类行为不清晰的图像，得到鱼类异常和正常行为的图像；对鱼类异常行为的图像进行平均值法灰度化；对灰度图像进行中值滤波；对中值滤波后的灰度图像进行canny边缘检测；采用混合高斯提取边缘灰度图像的运动特征；对运动鱼类的轮廓图像和鱼类异常行为的图像进行融合；根据鱼类异常行为的图像位置和轮廓信息对YOLOv5网络进行改进；对融合图像进行数据增强；将数据增强后的融合图像输入目标检测网络进行训练。本发明中可使得鱼类运动特征的轮廓信息更加清晰，提高异常行为检测结果的准确性。

Description

基于图像融合技术的鱼类异常行为实时检测方法
技术领域
本发明涉及水产养殖技术领域，尤其涉及基于图像融合技术的鱼类异常行为实时检测方法。
背景技术
近年来，水产品在全球食品供应链中发挥着重要作用，水产养殖鱼类福利研究越来越受到关注。游泳行为被广泛用于评价鱼类摄食状况、产卵繁殖活动以及福利水平的重要指标。鱼体的异常行为会对养殖鱼类的健康产生重大影响，利用一种非侵入性、稳定的计算机视觉系统监测鱼的健康状况，可以有效判别鱼类实时的异常行为且不会对鱼体造成负面影响。目前，大量研究多是在特定条件下的水产养殖环境中进行鱼轨迹追踪或鱼群的检测，虽然识别鱼的运动轨迹可以揭示健康状况，但在高密度养殖环境中，精确识别相同运动模式的准确性较差，且难以实现。
卷积神经网络可用于识别鱼群中移动物体的不同状态，并进行定性群体行为分析。然而，这类研究大多依赖于精确的目标跟踪或背景减法，当鱼缸中的鱼较多时，鱼体会明显重叠或遮挡，导致目标跟踪或背景减除时信息丢失。此外，疾病、缺氧或水pH值变化引起的异常需要一段时间才能使鱼类状态发生变化。因此在高密度养殖中，鱼群的行为发生改变之前对个体的异常行为进行检测具有重要意义。识别鱼个体异常行为最具挑战性的方面是准确识别与异常行为相似的运动。
已有研究利用时间序列数据分析鱼类行为，允许对鱼类行为的有效性进行评估，但该方法忽略了时空位置信息对异常行为的影响，相似行为的识别需要时间和空间信息的结合。为了解决上述问题，一种基于高效住区、时间和空间方面的行为检测和识别的鱼类取食行为监测框架被提出，同时结合两个并行注意模块。但上述研究提出的技术仅针对时空网络特征的提取，忽略了图像中鱼体位置信息的价值，存在一定的局限性。同时，集约养殖中的图像对比度低、光照差、噪声显著，而且当摄像机远离鱼体时，鱼的目标轮廓会变小或模糊。在这些情况下，深度学习算法不能正确提取小鱼体的边缘轮廓信息，导致异常行为识别准确率较低。为此，亟需一种基于图像融合技术的鱼类异常行为实时检测方法来提高检测结果的准确性。
发明内容
本发明的目的是提出一种基于图像融合技术的鱼类异常行为实时检测方法，其特征在于，包括以下步骤：
步骤S1：获取待处理的鱼类异常行为的视频；
步骤S2：从步骤S1的视频中提取图像，删除鱼类行为不清晰的图像，得到鱼类异常和正常行为的图像；
步骤S3：对鱼类异常行为的图像进行平均值法灰度化，获得灰度图像；
步骤S4：对步骤S3获得的灰度图像进行中值滤波；
步骤S5：对步骤S4中值滤波后的灰度图像进行canny边缘检测，获得鱼体运动行为的边缘灰度图像；
步骤S6：采用混合高斯提取边缘灰度图像的运动特征，获取运动鱼类的轮廓图像；
步骤S7：对步骤S6中运动鱼类的轮廓图像和步骤S2中的鱼类异常行为的图像进行融合，得到融合图像；
步骤S8：根据鱼类异常行为的图像位置和轮廓信息对YOLOv5网络进行改进，得到捕获全面时空信息的目标检测网络；
步骤S9：对步骤S7的融合图像进行数据增强，并获取符合目标检测网络需求的图像数量；
步骤S10：将步骤S9数据增强后的融合图像输入目标检测网络进行训练，得到网络实时检测的鱼类异常行为。
所述步骤S2提取图像的间隔为三十帧。
所述步骤S8中得到目标检测网络的过程如下：首先，在YOLOv5网络的基础上加入CA得到CA-YOLOv5网络；然后，在CA-YOLOv5网络中添加Bifpn加权的双向特征金字塔网络。
所述步骤S9中对融合图像进行数据增强的处理方法包括翻转、镜像、缩放、裁剪、平移和仿射。
本发明的有益效果在于：
本发明中可使得鱼类运动特征的轮廓信息更加清晰，能够自动对时间和空间通道上的信息进行特征提取，获取更加全面的异常鱼类的姿态信息；能够避免视频帧中目标特征的丢失，提高异常行为检测结果的准确性，让渔业管理者可实时监测鱼类是否出现异常行为。
附图说明
图1为本发明基于图像融合技术的鱼类异常行为实时检测方法的流程图；
图2为本发明方法获取的运动鱼类的边缘轮廓图像。
具体实施方式
本发明提出一种基于图像融合技术的鱼类异常行为实时检测方法，下面结合附图和具体实施例对本发明做进一步说明。
图1是图像融合的鱼类异常目标实时监测系统的流程图；具体方法如下：
S1：获取待处理的鱼类异常行为视频；
通过图像采集设备(例如：摄像机)在养殖环境下，通过两个摄像机同时采集7天，获取不同鱼类异常的视频图像。
S2：从视频中提取图像，利用python代码从视频中每隔三十帧提取一张图像，然后删除行为不清晰的图片，获取鱼类异常和正常行为的图片；
S3：对原视频进行平均值法的灰度化，以获得灰度化的视频帧；
将彩色图像R、G、B三个分量，分别显示出红绿蓝等各种颜色，利用平均值进行灰度化使得彩色图像的R、G、B三个分量相等的过程，其将彩色图像中的三分量亮度求平均得到一个灰度值，如下公式1，(i，j)代表R、G、B三个分量像素点的值。
Figure BDA0003606363440000031
S4：对灰度图像进行中值滤波，其减少噪音对视频的影响，以获得噪音较少的行为视频帧；
采用非线性的中值滤波方法，运用3x3中值滤波器，将某点(i，j)的8个邻域的一系列像素值响应为第五位的像素值，其对平滑脉冲噪声方面非常有效,同时还可以保护图像尖锐的边缘。
S5：对滤波图像进行边缘检测，以获得的鱼体只有运动行为的边缘灰度图像；
采用canny边缘检测算子对滤波后的图像进行边缘检测，以获得鱼类运动目标的边缘。
S6：对鱼类边缘图像进行运动特征的提取，以获取只有运动鱼类的轮廓信息；
采用混合高斯提取运动鱼类的特征，在边缘检测的基础上，混合高斯得到的是运动鱼类的边缘轮廓图像，获取的运动轮廓图像见图2。
S7：对鱼类运动轮廓图像和原始图像进行融合，以获取融合图像；
通过Mosaic的像素点融合符合贝塔分布(也称B分布)。如公式2所示B分布是指一组定义在(0，1)区间的连续概率分布，有两个参数α，β>0。
Figure BDA0003606363440000041
其中Γ(z)是Γ函数，随机变量X服从参数为α，β的Β分布通常写作下式3。当α＝1.5，β＝1.5时，此时B＝0.5，即融合后的两幅图像显示的概率相等，实验验证得到此时对目标检测的融合效果最好，融合图像中运动鱼类的边缘得到了加强，从而使得鱼类的边缘细节变得清晰。
Figure BDA0003606363440000042
S8：根据图像中的位置和轮廓信息对网络进行改进，使得目标网络能够捕获更加全面的时空信息；具体包括：
在YOLOv5网络的基础上加入Coordinate Attention(CA)来捕获不同类型的空间信息，旨在增强Mobile Network中特征的表达能力。如下式4所示：CA可以将任何中间特征张量X＝[x1,x2,...,xc]作为输入通过转换为输出与张量具有相同size同时具有增强表征的Z＝[z1,z2,...,zc]，其中C代表通道信息，H代表高度，W代表宽度。为了激发注意力模块捕获具有精确位置信息的远程空间交互，将全局池化分解为一对一维特征编码操作。
Figure BDA0003606363440000043
给定输入X，每个通道首先使用大小分别为(H,1)或(1,W)的池核沿水平和垂直坐标系统编码，这样高度为H的C通道的输出可以表示为下式5：
Figure BDA0003606363440000044
同样，宽度为w的C通道的输出可以为下式6：
Figure BDA0003606363440000051
上述三个公式的变换分别将特征与两个空间方向进行聚合，得到一对方向感知的特征图。这两种转换也使得注意模块能够沿着一个空间方向捕获长期依赖关系，并在另一个空间方向上保持精确的位置信息，便于网络更准确地定位感兴趣的目标。
根据网络提取时空信息后进行特征融合，以使得网络提取到更小的特征。
在CA-YOLOv5中添加Bidirectional Feature Pyramid Network(Bifpn)加权的双向特征金字塔网络。由于不同的输入特征具有不同的分辨率，它们对输出特征的贡献通常是不相等的。Bifpn考虑了三种方法，根据以下三种方法公式对特征层进行不同权值的融合，使网络更多地关注重要层，减少一些不必要层的节点连接。如下公式7：其中wi是一个学习的权重，可以是标量/向量/多维度张量，Ii代表输入的特征。
O＝∑iwi×Ii (7)
在上式无界融合中，由于w权值是无界的，训练可能是不稳定的。因此，在Bifpn中使用权值归一化来限制权值的取值范围。将softmax应用于每个权重，使得所有权重被归一化为值范围从0到1的概率，表示每个输入得重要性。其中基于softmax的融合为下式8,M代表概率程度，其范围为(0，1)，wi是一个学习的权重：
Figure BDA0003606363440000052
而另一种快速归一化融合方法(如下式9)，N代表概率程度，其范围为(0，1)，wi是一个学习的权重。该方法与基于softmax的融合方法具有非常相似的学习行为和精度，其中wi>＝0，然后保证Relu后来确保数值得稳定。每个归一化权重的值也在0到1之间。通过增加一个非常小的数，以确保每个权重在Relu中不为负，从而保证了数值稳定性。由于没有使用指数运算，其时间复杂度较低，在运算速度上可以提高30％。
Figure BDA0003606363440000053
Figure BDA0003606363440000054
代表一个无线小的数，确保分母不为零。
S9：对融合图像进行数据增强，以获取符合网络需求的图像数量；
将图像经过不同的处理，如：翻转，镜像，缩放，裁剪，平移，仿射等处理，使得图像数量满足目标检测网络要求。
S10：对数据增强后的图像进行目标检测网络的训练，以得到网络实时检测鱼类的异常行为。
本实施例通过像素点的图像融合使得运动特征的轮廓信息更加清晰，通过网络的双通道注意力机制，自动对时间和空间通道上的信息进行特征提取，获取更加全面的异常鱼类的姿态信息，通过多特征融合网络，对图像中的小特征提取，以避免视频帧中目标特征的丢失，基于全面时空信息提取的目标检测网络，以提高异常行为检测结果的准确性，让渔业管理者能够实时地监测鱼类是否出现异常行为。
此实施例仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (4)

1.基于图像融合技术的鱼类异常行为实时检测方法，其特征在于，包括以下步骤：
步骤S1：获取待处理的鱼类异常行为的视频；
步骤S2：从步骤S1的视频中提取图像，删除鱼类行为不清晰的图像，得到鱼类异常和正常行为的图像；
步骤S3：对鱼类异常行为的图像进行平均值法灰度化，获得灰度图像；
步骤S4：对步骤S3获得的灰度图像进行中值滤波；
步骤S5：对步骤S4中值滤波后的灰度图像进行canny边缘检测，获得鱼体运动行为的边缘灰度图像；
步骤S6：采用混合高斯提取边缘灰度图像的运动特征，获取运动鱼类的轮廓图像；
步骤S7：对步骤S6中运动鱼类的轮廓图像和步骤S2中的鱼类异常行为的图像进行融合，得到融合图像；
步骤S8：根据鱼类异常行为的图像位置和轮廓信息对YOLOv5网络进行改进，得到捕获全面时空信息的目标检测网络；
步骤S9：对步骤S7的融合图像进行数据增强，并获取符合目标检测网络需求的图像数量；
步骤S10：将步骤S9数据增强后的融合图像输入目标检测网络进行训练，得到网络实时检测的鱼类异常行为。
2.根据权利要求1所述基于图像融合技术的鱼类异常行为实时检测方法，其特征在于，所述步骤S2提取图像的间隔为三十帧。
3.根据权利要求1所述基于图像融合技术的鱼类异常行为实时检测方法，其特征在于，所述步骤S8中得到目标检测网络的过程如下：首先，在YOLOv5网络的基础上加入CA得到CA-YOLOv5网络；然后，在CA-YOLOv5网络中添加Bifpn加权的双向特征金字塔网络。
4.根据权利要求1所述基于图像融合技术的鱼类异常行为实时检测方法，其特征在于，所述步骤S9中对融合图像进行数据增强的处理方法包括翻转、镜像、缩放、裁剪、平移和仿射。
CN202210416763.9A 2022-04-20 2022-04-20 基于图像融合技术的鱼类异常行为实时检测方法 Pending CN114943929A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210416763.9A CN114943929A (zh) 2022-04-20 2022-04-20 基于图像融合技术的鱼类异常行为实时检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210416763.9A CN114943929A (zh) 2022-04-20 2022-04-20 基于图像融合技术的鱼类异常行为实时检测方法

Publications (1)

Publication Number Publication Date
CN114943929A true CN114943929A (zh) 2022-08-26

Family

ID=82907802

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210416763.9A Pending CN114943929A (zh) 2022-04-20 2022-04-20 基于图像融合技术的鱼类异常行为实时检测方法

Country Status (1)

Country Link
CN (1) CN114943929A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455909A (zh) * 2023-12-22 2024-01-26 广东马氏水产有限公司 一种鱼类进出自动化线鱼体鱼病检测方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117455909A (zh) * 2023-12-22 2024-01-26 广东马氏水产有限公司 一种鱼类进出自动化线鱼体鱼病检测方法
CN117455909B (zh) * 2023-12-22 2024-03-29 广东马氏水产有限公司 一种鱼类进出自动化线鱼体鱼病检测方法

Similar Documents

Publication Publication Date Title
Mohamed et al. Msr-yolo: Method to enhance fish detection and tracking in fish farms
CN106951870B (zh) 主动视觉注意的监控视频显著事件智能检测预警方法
Li et al. Detection of uneaten fish food pellets in underwater images for aquaculture
CN107844797A (zh) 一种基于深度图像的哺乳母猪姿态自动识别的方法
CN106097320B (zh) 水下海参图像自动分割方法及装置
CN111161214B (zh) 一种基于双目视觉的猪只体重测量及饮水行为识别系统及方法
CN112396635B (zh) 一种基于多设备的复杂环境下多目标检测方法
CN106815576B (zh) 基于连续时空置信图和半监督极限学习机的目标追踪方法
CN116935327B (zh) 基于ai视觉的水产养殖监控方法、装置、设备及存储介质
CN111968159A (zh) 一种简单通用的鱼群视频图像轨迹追踪方法
CN115861721B (zh) 基于图像数据的畜禽养殖喷雾设备状态识别方法
US20220128358A1 (en) Smart Sensor Based System and Method for Automatic Measurement of Water Level and Water Flow Velocity and Prediction
CN111339902A (zh) 一种数显仪表的液晶屏示数识别方法及装置
Liu et al. A high-density fish school segmentation framework for biomass statistics in a deep-sea cage
CN111582410B (zh) 图像识别模型训练方法、装置、计算机设备及存储介质
CN111680587B (zh) 一种基于多目标跟踪的鸡群活动量实时估算方法及系统
Rahim et al. Deep learning-based accurate grapevine inflorescence and flower quantification in unstructured vineyard images acquired using a mobile sensing platform
CN115512215A (zh) 水下生物监测方法、装置及存储介质
CN111898677A (zh) 一种基于深度学习的浮游生物自动检测方法
CN114943929A (zh) 基于图像融合技术的鱼类异常行为实时检测方法
CN113222889B (zh) 高分辨率图像下水产养殖物的工厂化养殖计数方法及装置
CN113484867B (zh) 一种基于成像声呐封闭空间下鱼群密度探测方法
CN113327263B (zh) 一种基于图像视觉的鱼群活跃度监测方法
CN112507869B (zh) 基于机器视觉的水下目标物行为观测和水体环境监测方法
Anas et al. Detecting abnormal fish behavior using motion trajectories in ubiquitous environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination