CN114323117B - 一种鱼类摄食强度评估方法 - Google Patents

Abstract

本发明涉及一种鱼类摄食强度评估方法，包括如下步骤：获取养殖池水面的深度图和近红外图；同时获取所述养殖池水面音频信息；对所述深度图、近红外图和音频信息进行特征提取；融合所述各类信息的特征，获得量化的鱼类摄食强度。本发明参考人脑处理信息的过程，利用多个不同的物理特征进行鱼类摄食强度的检测，具有高稳定性和高精准度的优点，同时降低了软件的计算成本。

Description

一种鱼类摄食强度评估方法

技术领域

本发明涉及一种信息评估方法，特别是涉及一种鱼类摄食强度评估方法。

背景技术

随着水产养殖现代化的发展，精细化养殖成为水产养殖的主要趋势。养殖人员通过观测鱼类水体表面的抢食行为，来评估鱼的饱食程度，再基于所述鱼的饱食程度，实现更精准的投喂。现有技术大多使用机器视觉为基础，来构建基于鱼类摄食行为反馈的闭环控制系统。现有技术中，主要通过机器视觉来分析水产动物的图像，以提取水产动物表层信息。然而，水产生物的多样性意味着其行为特征复杂多变，其在不同时间、地点或环境下所表现出的基本信息也不尽相同。并且，鱼类在高强度摄食阶段通常伴随水波的剧烈振荡或产生水花，从而为图像分隔和特征提取带来了极大困难，使图像的单一特征难以准确反应鱼类的摄食强度，进而难以在实际应用中实现精确稳定地量化鱼类的摄食强度。

现有技术中，部分摄食强度评估方法和系统通过采用多特征融合和信息互补，以提高摄食强度评估的精准度。农业机械学报第51卷第2期刊登的“基于特征加权融合的鱼类摄食活动强度评估方法”中，通过获取鱼类摄食的RGB(红、绿、蓝)图像，从摄食图像的颜色、形状和纹理的十一类特征中筛选出贡献率最大的三个摄食评价因子，采用加权融合方法确定每个评价因子的最佳权重，并通过融合后的特征对摄食活动强度进行评估。

然而，上述文献使用的多特征都来自于单一的图像信息源，具有相对同一的物理属性，所述多特征之间的有效性难以通过其他方法交互认证，从而难以确保评估结果的稳健性。同时，由于多特征数据的高维度特性，多特征计算需要耗费大量的计算资源，增加了软件设计成本和硬件成本。

发明内容

基于此，本发明的目的在于，提供一种鱼类摄食强度评估方法，其具有高稳定性和高精准度的优点，同时降低了软件的计算成本。

一种鱼类摄食强度评估方法，包括如下步骤：

S1：获取养殖池水面的深度图和近红外图；同时获取所述养殖池水面音频信息；

S2:对所述深度图、近红外图和音频信息进行特征提取

S3：融合所述各类信息的特征，获得量化的鱼类摄食强度。

相比于传统彩色图，深度图包含的深度信息能更有效地反映出三维空间里鱼类摄食的动态特征。所述深度图、近红外图和音频信息，其各具有不同的物理属性，通过融合分析三者的数据，可互相认证其数据可靠性，实现稳定和精确的量化效果。

进一步地，在深度图中提取所述鱼类特征，对所述鱼类特征进行差值运算，得到摄食能量数据；过滤所述近红外图数据，进行差值运算，获得水波震荡数据；将所述麦克风录制的音频转化为音频数据，其通过所述音频原数据的电压表示所述音频的强度。

进一步地，将深度图中，像素点在(x,y)位置的取值定为f(x,y)，利用以下公式，获得鱼类目标图像信息g(x,y)；Z₀为所述深度相机的摄像头平面与所述养殖池水面的垂直距离；d为摄像头在水下的成像范围；

Z₁＝Z₀+d

g(x,y)＝f(x,y).{ε[f(x,y)-Z₀]-ε[f(x,y)-Z₁]}

进一步地，利用以下公式，将所述鱼类目标图像信息g(x,y)转化为摄食能量数据S₁(t)：

F(x,y,t)＝|g(x,y,t)-g(x,y,t-t₀)|,0≤x≤(X-1),0≤y≤(Y-1)

X和Y为所述深度图像素点的最大位置，即所述深度图分辨率为X*Y；g(x,y,t)为g(x,y)在t时刻的数值；

进一步地，对所述近红外图数据I(x,y,t)，利用以下阈值滤波公式，进行过滤，提取出其中的适当亮度值I₁(x,y,t)：

进一步地，通过以下公式，将所述亮度值转换为水波震荡数据_S2(t)：

ΔI(x,y,t)＝|I₁(x,y,t)-I₁(x,y,t-t₀)|0≤x≤(X-1),0≤y≤(Y-1)；

进一步地，接收所述摄食能量数据S₁(t)、水波震荡数据S₂(t)、音频数据S₃(t)，并通过以下公式，分别将三者转化为短时能量谱E₁(n)、E₂(n)和E₃(n)：

ω(n)为窗函数；N为窗长，即单位时间内的样本数量。

进一步地，将所述N为窗长的窗函数设为矩形窗，即，使用如下公式：

进一步地，还包括一加权步骤；根据所述方法的使用环境，结合实际生活经验中视觉和听觉对认知判断的影响，为所述短时能量谱E₁(n)、E₂(n)和E₃(n)分配对应的权重k₁、k₂和k₃，且k₁+k₂+k₃＝1；融合相加所述加权的短时能量谱，即，

E_T(n)＝k₁*E₁(n)+k₂*E₂(n)+k₃*E₃(n)

进一步地，为所述权重分别赋值为，k₁＝0.45、k₂＝0.45和k₃＝0.1。

进一步地，将E_T(n)幅度大于0.25的峰值定义为高强度摄食，进一步定义所述量化结果，为其赋予实际意义。

进一步地，在步骤S1中，使用KINECT深度相机，获得深度图。

为了更好地理解和实施，下面结合附图详细说明本发明。

附图说明

图1为本发明实施例的鱼类摄食强度评估方法的流程图；

图2为鱼类摄食不同阶段的鱼池图，从左至右分别为高强度、中强度和无摄食；

图3为图4所示各摄食阶段的深度图；

图4为图4所示各摄食阶段的近红外图；

图5为本发明实施例中，处理器计算得到的摄食能量数据S₁(t)、水波震荡数据S₂(t)、音频数据S₃(t)；

图6为短时能量转化步骤对图7所示数据分别处理后，得到的短时能量谱E₁(n)、E₂(n)和E₃(n)；

图7为所述短时能量谱E₁(n)、E₂(n)和E₃(n)放在同一张图上实现时间对齐的比较图(a)，并与所述鱼类摄食强度E_T(n)数据图(b)进行对比；

图8为所述短时能量谱E₁(n)、E₂(n)、E₃(n)和所述鱼类摄食强度E_T(n)的量化数据对比图。

具体实施方式

本发明通过模仿养殖人员判断鱼类摄食强度的过程，融合鱼类摄食过程中产生的视觉和听觉信息，全方位量化鱼类摄食强度。

请参阅图1，其为本发明所述鱼类摄食强度评估方法的流程图，其步骤如下：

S1：获取养殖池水面的深度图和近红外图；同时获取所述养殖池水面音频信息；

S2:对所述深度图、近红外图和音频信息进行特征提取

S3：融合所述各类信息的特征，获得量化的鱼类摄食强度。

为了更清晰的描述各步骤，将所述深度图和所述近红外图的像素点位置定为(x,y),将所述深度图中，各像素点的取值定为f(x,y)，代表所述像素点与摄像平面的距离；将I(x,y,t)作为所述近红外图像素点在时间t的取值，其代表所述像素点的亮度值。

在步骤S2中，处理所述深度图的原始数据f(x,y)，通过以下公式，消除背景图像，只保留水体表面的鱼类图像，得到鱼类目标图像信息g(x,y)：

Z₁＝Z₀+d

g(x,y)＝f(x,y).{ε[f(x,y)-Z₀]-ε[f(x,y)-Z₁]}

其中，Z₀为所述深度相机的摄像头平面与所述养殖池水面的垂直距离；d为摄像头在水下的成像范围。即，若所述深度相机的成像范围为水下150mm深度的水体空间，则d＝150。

通过如下公式，提取进行各时刻t之间的帧间差运算，实现摄食动态特征提取，从而得到摄食能量数据S₁(t):

F(x,y,t)＝|g(x,y,t)-g(x,y,t-t₀)|,0≤x≤(X-1),0≤y≤(Y-1)

其中，X和Y为所述深度图像素点的最大位置，即所述深度图分辨率为X*Y。g(x,y,t)为g(x,y)在t时刻的数值。多次实验表明，帧间差中大于5mm的像素点主要由鱼的高速运动所致，故上述公式将深度变化值大于5mm的像素点设为1。

在步骤S2中，对近红外图数据I(x,y,t)进行如下的过滤处理：

由于系统本身带有稳定的近红外光源，使得本方法在环境光不足的情况下也能获取稳定的图像，受外部光源的影响较小。深度相机的近红外光源是面积较小但亮度较高的调制光源；当光源垂直照射于水面时，光源与水面之间形成了镜面反射条件，点光源的反射光进入红外相机而形成高亮度饱和点，在近红外图中呈现明显亮斑。微软公司在深度相机产品出厂时将所述高亮度饱和点设定为无效像素点，值取为65535。

通过下述阈值滤波公式，提取近红外图数据I(x,y,t)中的适当亮度值，将亮度值为10000～65535亮度点保持为原值，低亮度点和高亮度饱和点置为0，从而得到过滤后的近红外图数据I₁(x,y,t)：

对过滤后的近红外提数据I₁(x,y,t),进行与所述摄食动态特征提取类似的帧间差计算，得到水波震荡数据S₂(t)，其计算公式如下：

ΔI(x,y,t)＝|I₁(x,y,t)-I₁(x,y,t-t₀)|0≤x≤(X-1),0≤y≤(Y-1)

上述公式通过计算连续帧之间的变化幅度，统计出现高变化幅度的数量，从而实现水体流场波动程度的测量。

步骤S2还对音频信息进行处理，将其转化为音频数据S₃(t)，其通过所述音频原数据的电压表示所述音频的强度。

在此基础上，由于所述音频信息和图像信息的采样率不同，需要在步骤S3中，利用短时能量转化，分别将所述摄食能量数据S₁(t)、水波震荡数据S₂(t)和音频数据S₃(t)，转化为短时能量谱E₁(n)、E₂(n)和E₃(n)。其具体公式如下：

其中，N为窗长，即单位时间内的样本数量。

当时，

短时能量谱能有效地表示信号能量随时间变化的趋势，从而更直观地对具有不同物理特征的数据进行对比。

接下来，为所述各短时能量谱赋予权重k₁、k₂和k₃，并将被赋权的各所述短时能量谱相加，获得一量化结果E_T(n)，代表所述鱼类摄食的强度：

E_T(n)＝k₁*E₁(n)+k₂*E₂(n)+k₃*E₃(n)

k₁+k₂+k₃＝1

所述k₁、k₂和k₃的取值基于所述方法的运行环境，并结合实际生活经验中视觉和听觉对认知判断的影响。

下面结合具体实验环境，描述和展示实验数据和分析结果。

在本实施例中，通过AZURE KINECT DK深度相机获得深度图。与传统的RGB相机相比，所述KINECT深度相机利用近红外调制光的飞行时间快速测量目标点的深度距离，在3米以内的测量区间能达到毫米级测量精度，满足水产养殖现场的应用需求，特别适用于工业化循环水养殖的室内场景。在拍摄时，采用“窄视角，非装箱”工作方式，以消除图像畸变。所述深度相机的分辨率为所述640*576，即X＝640，Y＝576。所述深度相机的拍摄帧率为5帧/秒，即FPS＝5。所述深度相机按上文所述的方式，安装在距离水体表面的850mm上方，且其成像范围为深至水下150mm的水体空间，即d＝150。

通过日本铁三角公司生产的AT897型梯度电容式话筒获得音频信息，其在复杂的环境中，可以更好地拾取来自某一特定方向的声源，而最大程度地消除来自其他方向的声音干扰。所述麦克风的采样率为48000Hz。

本实施例中，使用Visual Studio 2019作为处理器，用C#开发平台构件核心程序，在线采集本实施例所使用的深度相机和麦克风的数据。

图2为本实施例获得的部分鱼池图，其展示的是不同强度的鱼类摄食阶段，以作为实验结果的参考对象。

图3为与上述鱼池图对应的深度图，从左至右分别为，高强度摄食、中强度摄食和无摄食。图3所示深度图通过灰度值表示深度，高灰度表示鱼在较深的水体运动、低灰度表示鱼接近于水体运动。

图4为与上述鱼池图对应的近红外图，从左至右分别为：高强度摄食、中强度摄食和无摄食。受到上文提及的镜面反射影响，即便在无摄食状态下，其近红外图中央仍呈现明显亮斑。

通过上文所述的步骤S2，同时对本实施例的数据进行处理，获得图5所示的摄食能量数据S₁(t)、水波震荡数据S₂(t)、音频数据S₃(t)。

根据上文所述的公式，对图5所示的摄食能量数据S₁(t)、水波震荡数据S₂(t)和音频数据S₃(t)进行短时能量转化。其中，由于所述深度相机的采样率为5Hz，所述摄食能量数据S₁(t)和水波震荡数据S₂(t)在本实施例中，N设定为5。由于所述麦克风采样率为48000Hz，所述音频数据S₃(t)在本实施例中，N设定为48000。图6为对图5所示数据分别进行短时能量转化后，得到的短时能量谱E₁(n)、E₂(n)和E₃(n)。

进一步地，鉴于本实施例在实验室中进行，具有较理想的光照条件，但现场的噪音条件难以控制，在所述步骤S3的加权融合步骤中，降低所述音频信息的权重。所述k₁、k₂和k₃分别设定为0.45、0.45和0.1。将所述短时能量谱E₁(n)、E₂(n)和E₃(n)通过上述公式加权融合后，得到E_T(n)。

请参阅图7，其将所述短时能量谱E₁(n)、E₂(n)和E₃(n)放在同一张图上实现时间对齐，并与所述鱼类摄食强度E_T(n)进行对比。如图7所示，三类信号源都具有基本一致的峰值，高峰值代表高摄食强度，这说明本文提出的量化方法具有相当高的可靠性。进一步地，将E_T(n)幅度大于0.25的峰值定义为高强度摄食，即图中的位于0.25的水平线上部，所述鱼类摄食强度E_T(n)的峰值与所述三类信号源的峰值基本一致，精准且稳定实现了摄食强度量化。

为了更直观地展示量化结果，将其与储存的音频和视频信息进行对比。请参阅图8，当E₁(n)、E₂(n)和E₃(n)都为高强度时，量化的结果E_T(n)为高强度值，正确率可达100％。其中，时间区间193-200秒时，由于外界噪音，导致所述短时能量谱E₃(n)被计算为高强度。然而，经过加权融合后，由于所述音频信息的权重较低，所述鱼类摄食强度E_T(n)的计算结果为弱强度，进一步证明了本发明通过三种物理信息，互相认证的稳定性优点。通过重复实验和综合数据对比，该量化方法的可靠性可超过97％，是一种稳定精准量化鱼类摄食强度的有效方法。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，则本发明也意图包含这些改动和变形。

Claims (4)

1.一种鱼类摄食强度评估方法，其特征在于，包括如下步骤：

S1：获取养殖池水面的深度图和近红外图；同时获取所述养殖池水面音频信息；

S2：对所述深度图、近红外图和音频信息进行特征提取，具体包括以下步骤：

S2a：从深度图提取鱼类特征，对所述鱼类特征进行差值运算，得到摄食能量数据，具体包括：将深度图中像素点在(x，y)位置的取值定为f(x，y)，利用以下公式，获得鱼类目标图像信息g(x，y)；Z₀为深度相机的摄像头平面与所述养殖池水面的垂直距离；d为所述摄像头在水下的成像范围；

Z₁＝Z₀+d

g(x，y)＝f(x，y).{ε[f(x，y)-Z₀]-ε[f(x，y)-Z₁]}

利用以下公式，将所述鱼类目标图像信息g(x，y)转化为摄食能量数据S₁(t)：

F(x，y，t)＝|g(x，y，t)-g(x，y，t-t₀)|，0≤x≤(X-1)，0≤y≤(Y-1)

X和Y为所述深度图像素点的最大位置，即所述深度图分辨率为X*Y；g(x，y，t)为g(x，y)在t时刻的数值；

S2b：过滤近红外图数据，进行差值运算，获得水波震荡数据，具体包括：

从所述近红外图数据I(x，y，t)，利用以下阈值滤波公式，进行过滤，提取出其中的适当亮度值I₁(x，y，t)；

通过以下公式，将所述亮度值转换为水波震荡数据S₂(t)：

ΔI(x，y，t)＝|I₁(x，y，t)-I₁(x，y，t-t₀)|0≤x≤(X-1)，0≤y≤(Y-1)；

S2c：将麦克风录制的音频转化为音频数据，其通过音频原数据的电压表示所述音频的强度；

S3：融合所述深度图、近红外图和音频信息的特征，获得量化的鱼类摄食强度，具体包括：

接收所述摄食能量数据S1(t)、水波震荡数据S₂(t)、音频数据S₃(t)，并通过以下公式，分别将三者转化为短时能量谱E₁(n)、E₂(n)和E₃(n)：

ω(n)为窗函数；N为窗长，即单位时间内的样本数量；

将所述N为窗长的窗函数设为矩形窗，即，

使用如下公式：

还包括一加权步骤：根据所述方法的使用环境，结合实际生活经验中视觉和听觉对认知判断的影响，为所述短时能量谱E₁(n)、E₂(n)和E₃(n)分配对应的权重k₁、k₂和k₃，且k₁+k₂+k₃＝1；融合相加所述加权的短时能量谱，即：

E_T(n)＝k₁*E₁(n)+k₂*E₂(n)+k₃*E₃(n)。

2.根据权利要求1所述的鱼类摄食强度评估方法，其特征在于：为所述权重分别赋值为，k₁＝0.45、k₂＝0.45和k₃＝0.1。

3.根据权利要求2所述的鱼类摄食强度评估方法，其特征在于：

将E_T(n)幅度大于0.25的峰值定义为高强度摄食。

4.根据权利要求1至3任一所述的鱼类摄食强度评估方法，其特征在于：

在步骤S1中，使用KINECT深度相机，获得深度图。