CN112017200B - 一种基于视觉识别的鱼类姿态判定方法 - Google Patents

Abstract

本发明公开了一种基于视觉识别的鱼类姿态判定方法，首先获取待判定姿态的鱼图像，对鱼图像进行预处理，得到灰度图像和二值图像；对二值图像进行轮廓提取，获得鱼体轮廓图像；以鱼体头尾两个定位点为圆心，以相同的半径绘制圆形，判断两个圆形内鱼体面积的大小，面积大的定位点为鱼头方向；鱼体腹背姿态判定，将鱼体近似看为一个椭圆，对鱼体轮廓图像进行椭圆拟合，得到鱼体轮廓的椭圆方程，椭圆的长轴看作是鱼体的中轴线；以中轴线为分界线将灰度图像中椭圆轮廓内图形分别定义为R₁区域和R₂区域，对R₁区域和R₂区域分别进行灰度值求均值计算，均值大的区域为鱼腹方向。本发明无需建立数据库模型，无需接触，通过视觉识别可以直接判断，快速高效。

Description

一种基于视觉识别的鱼类姿态判定方法

技术领域

本发明属于水产品加工领域，涉及一种鱼体姿态判断方法，具体涉及一种基于视觉识别的鱼类姿态判定方法。

背景技术

在鱼类规模化加工生产中，基于图像识别的鱼体姿态判定(即鱼体的头尾朝向、腹背朝向)至关重要。现有技术中，多采用基于鱼体轮廓的图像识别方法，该方法需先取得大量原料鱼图像资料，再通过不同建模方式(偏最小二乘法、神经网络等)进行建模，得到此类鱼的关键轮廓数据。利用包含关键轮廓数据的数据库，与待处理鱼的采集图像进行比对，从而实现待处理鱼的姿态判定。但该方法存在不同种类鱼的关键轮廓数据无法通用，且需要提前采集大量图像建立数据库的问题。

发明内容

本发明的目的是提供一种基于视觉识别的鱼类姿态判定方法，该方法可判定出目标鱼的头尾朝向及腹背朝向，且无需预建立模型库，也无需深度学习，可以直接判断，快速得出结果。

本发明所采用的技术方案是：

一种基于视觉识别的鱼类姿态判定方法，其特征在于，包括以下步骤：

步骤1，获取待判定姿态的鱼图像，对鱼图像进行预处理，得到灰度图像和二值图像；

步骤2、对二值图像进行轮廓跟踪，获得鱼体轮廓图像；

步骤3、鱼体头尾姿态判断：

步骤3.1、定位点获取，获取鱼体轮廓图像沿着输送方向的前后两个端点作为定位点，分别为前定位点P₁和后定位点P₂；

步骤3.2、以两个定位点为圆心，以相同的半径R₀绘制圆形，对圆形曲线与鱼体轮廓曲线交汇的部分进行填充，得到2个填充图形，分别为前填充图形和后填充图形；

步骤3.3、判断两个填充图形面积的大小，如果前填充图形大于后填充图形，则前定位点为鱼头方向；否则，后定位点为鱼头方向；

步骤4、鱼体腹背姿态判定

步骤4.1、将鱼体近似看为一个椭圆，对步骤2中鱼体轮廓图像进行椭圆拟合，得到鱼体轮廓的椭圆方程，椭圆的长轴看作是鱼体的中轴线；

步骤4.2、以中轴线为分界线将灰度图像中椭圆轮廓内图形分别定义为R₁区域和R₂区域，对R₁区域和R₂区域分别进行灰度值求均值计算，均值大的区域为鱼腹方向，另一个区域则为鱼背方向。

进一步地，所述步骤1中，采用选择中值滤波器对二值图像进行滤波去噪处理，之后再提取鱼体轮廓。

进一步地，所述步骤3.1中，所述定位点获取具体方法如下：

定义鱼体输送方向为X轴方向，图像内，与X轴垂直的方向为Y轴，在鱼体轮廓图像内分别从X轴两端沿着Y轴逐个像素扫描，扫描完一列后朝图像中间平移一个像素点继续扫描，从X轴前端扫描第一个灰度值为255的像素点的坐标即为前定位点P₁(x₁,y₁)，从X轴后端扫描第一个灰度值为255的像素点的坐标即为后定位点P₂(x₂,y₂)。

进一步地，步骤3.2中，所述半径R₀为20-52％L，L为鱼体长度。

进一步地优选，所述半径R₀为20-36％L。

进一步地，所述L通过前定位点和后定位点之间的距离确定。

进一步地，步骤3.3中，判断填充图形面积采用像元计数法，具体公式如下：

S₁＝Count(D(P₁(x₁,y₁),F(x,y))＜＝R₀∩F(x,y)＝＝255)

S₂＝Count(D(P₂(x₂,y₂),F(x,y))＜＝R₀∩F(x,y)＝＝255)

上式中，S₁为以前定位点P₁为圆心所画圆内的鱼体像元个数，S₂为以后定位点P₂为圆心所画圆内的鱼体像元个数，Count为计数函数，F(x,y)为鱼体的二值图像内任意一像元点，R₀为所画圆的半径，D为两像元点之间的距离，如果S₁>S₂，则P₁为鱼的头部，P₂为鱼的尾部，否则P₂为鱼的头部，P₁为鱼的尾部。

进一步地，步骤4.1中，对鱼体进行椭圆拟合时，先去掉鱼体的尾部，去掉的尾部为鱼体总长的10％-20％，拟合过程中在最小二乘的准则下通过二次曲线拟合得到椭圆方程。

进一步地，步骤4.2中，灰度值计算方法如下：

首先对鱼体的二值图像进行腐蚀处理，然后用二值图像减去腐蚀处理后的图，此时结果图像中只保留了鱼体轮廓及其向内一定范围内的鱼体区域，保留的区域分布在中轴线两侧，分别用R₁和R₂表示；最后通过将经过二值图像减去腐蚀处理后的图像与鱼体的灰度图像进行掩膜处理得到灰度计数图像，并通过比较灰度计数图像中轴线两侧鱼体区域的灰度值均值即可判定出鱼体的腹背姿态；为了排除鱼体头尾部灰度的干扰，在比较灰度值的过程中，对鱼体头尾各去掉一部分，去掉长度为鱼体总长的10％-20％，只考虑鱼体中间的60％-80％部分。

进一步地，步骤4.2中，得到灰度计数图像采用的计算公式如下：

F₁＝F-F_erode

F_mask＝mask(f,F₁)

上式中，F_erode(x,y)为腐蚀化后的图像，Θ为腐蚀操作运算符，F^c表示补集，

表示空集，F为鱼体的二值图像，B为腐蚀操作的结构元素，F₁为鱼体的二值图像减去腐蚀处理后的图像，f为鱼体的灰度图像，mask为图像掩膜处理运算符，F_mask为对鱼体的灰度图像进行掩膜处理后的图像，即灰度计数图像。

进一步地，步骤4.2中，在灰度计数图像上统计判断灰度值公式如下：

上式中，F_mask为对鱼体的灰度图像进行掩膜处理后的灰度计数图像，N₁和N₂分别为区域R₁和R₂中的像元数，Mean₁和Mean₂分别为区域R₁和R₂的像元的灰度值均值，如果Mean₁>Mean₂，则R₁为腹部，R₂为背部，否则，R₂为腹部，R₁为背部。

本发明的有益效果是：

1.鱼类在水下运动时，通过鱼腹部鱼鳔体积变化即可实现上下移动，通过尾部摆动实现前后移动，因此鱼体重心位于鱼体中部靠头部偏背部处。因此，从鱼体头部点向重心处的轮廓变化较大，而鱼体尾部向重心处的轮廓变化较为平缓。当以鱼体首尾点为圆心画圆时，鱼头圆形与鱼体轮廓交汇形成的面积较大，当半径介于20-36％鱼体长度时候，面积比大于2(根据实施例中数据考虑误差，可以认为半径20％鱼体长度时候，面积比约等于2)，面积比大于2使得头尾姿态识别的精度极高，通过简单的常规图像分割处理方法即可准确识别，无需高精度和复杂的算法。

2.由于大部分鱼体腹部颜色较浅，脊背部颜色较深；当转化为灰度图像后，则腹部图像灰度值较大，脊背部灰度值较小，通过合理控制特定比较区域，即可实现对鱼体腹背姿态判定。

3.本发明根据比较特定区域的面积和灰度值，可以快速简便完成鱼体全姿态检测，不同种类、不同大小鱼体的判定仅需调整半径参数和灰度值轮廓参数，无需采集鱼体图像数据，无需创建数据库。该方法简单快捷、比对速度高，大大提高了鱼体识别效率。

附图说明

图1是本发明实施例中鱼类姿态判定方法流程示意图。

图2为本发明头尾姿态判断过程示意图。

图3为本发明四种基本鱼体姿态示意图。

图4为本发明鱼体椭圆中轴线分割示意图。

图5为本发明实施例中拟合椭圆计算中轴线示意图。

图6为本发明实施例中腐蚀处理示意图。

图7为本发明掩膜处理示意图。

具体实施方式

下面结合附图和实施例对本发明的实施方式作进一步详细描述。以下实施例用于说明本发明，但不能用来限制本发明的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

如图1所示，一种基于视觉识别的鱼类姿态判定方法，包括以下步骤：

步骤1，获取输送中待判定姿态的鱼图像，图像既可以是静态的图像，也可以是在鱼体输送过程中固定拍摄点拍摄的鱼体图像，包括jpg、bmp或者raw格式图像。对采集的鱼体图像进行预处理，包括背景分割、轮廓跟踪，获得鱼体轮廓图像，进行存储；

1)对鱼图像进行预处理，首先进行灰度化，得到灰度图像f；

2)图像二值化

对获取的鱼体图像进行图像直方图分析，确定背景与前景目标分割的灰度阈值，生成二值图像，具体过程如下式所示：

其中，f(x,y)为获得的鱼体灰度图像，f'(x,y)为二值图像，Thd为背景与前景目标分割的阈值。

3)二值图像去噪

由于图像二值化会不可避免的受到噪声的干扰，从而影响后续的图像信息提取，需要对其进行滤波去噪处理。鉴于中值滤波器既具有良好的去噪能力，同时又能很好的保持图像的边缘信息，因此本专利选择中值滤波器对二值图像进行滤波去噪，如下式表示：

公式(2)中，F(x,y)为去噪后的二值图像，A为窗口大小，一般取3*3像元，Median为中值运算符。

步骤2、鱼体轮廓跟踪；

采用8连通区域的轮廓跟踪方法，提取鱼体的轮廓图像。

步骤3、鱼体头尾姿态判断：

步骤3.1、定位点获取，获取鱼体轮廓图像沿着输送方向的前后两个端点作为定位点，分别为前定位点P₁和后定位点P₂；需要说明的是受限于传送带的宽度设置，一般鱼体不可能横置在传送带上，一般与传送带夹角在0°～45°之间，鱼在传送带上的位置，基本可以分为上述的4种情形，如图3所示。

所述定位点获取具体方法如下：

定义鱼体输送方向为X轴方向，图像内，与X轴垂直的方向为Y轴，在鱼体轮廓图像内分别从X轴两端沿着Y轴逐个像素扫描，扫描完一列后朝图像中间平移一个像素点继续扫描，从X轴前端扫描第一个灰度值为255的像素点的坐标即为前定位点P₁(x₁,y₁)，从X轴后端扫描第一个灰度值为255的像素点的坐标即为后定位点P₂(x₂,y₂)。

步骤3.2、面积计算及比较，判定头尾姿态

根据步骤3.1确定的定位点，可以确定鱼的体长(头尾定位点之间的距离)，然后以头尾定位点为圆心，以30％的体长为半径切割鱼体，计算并比较切割鱼体的面积，面积大的部分对应的定位点为鱼体的头部，面积小的部分对应的定位点为鱼体的尾部，记沿着输送方向前后两个定位点分别为前定位点P₁(x₁,y₁)和后定位点P₂(x₂,y₂)，计算过程如下：

公式(3)中，S_i为满足括号内条件的像元个数，Count为计数函数，F(x,y)为鱼体的二值图像内任意一像元点，L为鱼的体长，D为两像元点的距离，如果S1>S2，则P₁为鱼的头部，P₂为鱼的尾部，否则P₂为鱼的头部，P₁为鱼的尾部。

需要说明的是，本发明上述计算是以传送带颜色比鱼体颜色深为例，如果传送带采用浅色或者白色，那么公式(1)和公式(3)中灰度值判定需要做相应的调整，该调整采用现有公知常识即可完成。

步骤4、鱼体腹背姿态判定

步骤4.1、中轴线确定

考虑到去除鱼尾部分的鱼体轮廓类似于一个椭圆，因此根据鱼体的轮廓线(去除鱼尾部分)，可在最小二乘的准则下通过二次曲线拟合得到椭圆方程，椭圆的长轴可以认为是鱼体的中轴线，如图5所示，拟合的椭圆方程可以用下式表示：

Ax²+Bxy+cy²+Dx+Ey+F＝0 公式(4)

由椭圆的标准方程(公式(4))，可以得到椭圆的中心(x_c,y_c)，长轴a，短轴b以及长轴转角θ五个参数，具体计算公式如下所示：

由上述椭圆的参数，可以求得椭圆长轴的方程，如下所示：

y＝tanθ·x 公式(6)

公式(6)即为鱼体的中轴线，需要注意的是，公式(6)是以椭圆的中心作为坐标原点进行描述的。

步骤4.2、特征灰度区域确定

鉴于鱼体腹部和背部在图像上的灰度差异，可以根据这种灰度差异判定鱼体的腹部和背部。具体的，以中轴线为分界线将灰度图像中椭圆轮廓内图形分别定义为R₁区域和R₂区域，对R₁区域和R₂区域分别进行灰度值求均值计算，均值大的区域为鱼腹方向，另一个区域则为鱼背方向。此外，为了排除鱼体头部和尾部的干扰，在提取鱼体特征灰度区域时，去掉鱼体的头部(体长的20％)和尾部(体长的20％)，只保留鱼体的中间部分(体长的60％)。

1)首先根据要求设计一种合适的形态学腐蚀操作结构元素，并用其对鱼体的二值图像进行腐蚀处理，然后用用鱼体的二值图像减去腐蚀处理后的图像，即可得到鱼体的部分腹部和背部区域，如图6所示，具体过程如下式所示：

2)公式(7)中，F_erode(x,y)为腐蚀化后的图像，Θ为腐蚀操作运算符，F^c表示补集，

表示空集，F为鱼体的二值图像，B为腐蚀操作的结构元素，F₁为二值图像减去腐蚀处理后的图像。

灰度值的计算及比较，判定鱼体腹背姿态

经过二值图像减去腐蚀处理后的图像后，结果图像中只保留了鱼体轮廓及其向内一定范围内的鱼体区域，保留的区域分布在中轴线两侧，分别用R₁和R₂表示。最后通过将经过二值图像减去腐蚀处理后的图像与鱼体的灰度图像进行掩膜处理得到灰度计数图像(如图7所示)，并通过比较灰度计数图像中轴线两侧鱼体区域的灰度值均值即可判定出鱼体的腹背姿态。为了排除鱼体头尾部灰度的干扰，在比较灰度值的过程中，对鱼体头尾各去掉一部分，去掉长度为鱼体总长的10％-20％，只考虑鱼体中间的60％-80％部分。具体过程如下：

F_mask＝mask(f,F₁)

公式(8)中，f为鱼体的灰度图像，mask为图像掩膜处理运算符，F_mask为对鱼体的灰度图像进行掩膜处理后的图像(灰度计数图像)，N₁和N₂分别为区域R₁和R₂中的像元数，Mean₁和Mean₂分别为区域R₁和R₂的像元灰度值的均值，如果Mean₁>Mean₂，则R₁为腹部，R₂为背部，否则，R₂为腹部，R₁为背部。

以鲐鱼体长212mm为例，本发明实施例中判断的一组数据如下表所示。

圆形半径	前部圆形面积	后部圆形面积	面积比	半径占体长比例
					42.4	894	460	1.94	20％
50.88	1201	554	2.17	24％
					59.36	1532	693	2.21	28％
67.84	1879	883	2.13	32％
					76.32	2236	1119	2.00	36％
84.8	2594	1400	1.85	40％
					93.28	2945	1704	1.73	44％
101.76	3287	2024	1.62	48％
					110.24	3618	2354	1.54	52％

由上表可知，半径选取为鱼体52％的时候，面积比还可以达到1.54，具有较高的区分度，可以很好的进行实际应用。

需要说明的是，上述具体图像处理的技术也可以采用任何现有中其他成熟技术，具体的采用什么技术识别鱼体轮廓和灰度值计数并不影响本发明技术方案实施，本发明的发明点在于如何判断鱼体头尾姿态和腹背姿态的思路。当然不排除上述具体方法是本发明快速判断鱼体姿态的最优手段之一。

以上实施方式仅用于说明本发明，而非对本发明的限制。尽管参照实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，对本发明的技术方案进行各种组合、修改或者等同替换，都不脱离本发明技术方案的精神和范围，均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种基于视觉识别的鱼类姿态判定方法，其特征在于，包括以下步骤：

步骤1，获取输送中待判定姿态的鱼图像，对鱼图像进行预处理，得到灰度图像和二值图像；

步骤2、对鱼体的二值图像进行轮廓跟踪，获得鱼体轮廓图像；

步骤3、鱼体头尾姿态判断：

步骤3.1、定位点获取，获取鱼体轮廓图像沿着输送方向的前后两个端点作为定位点，分别为前定位点P₁和后定位点P₂；

步骤3.2、以两个定位点为圆心，以相同的半径R₀绘制圆形，对圆形曲线与鱼体轮廓曲线交汇的部分进行填充，得到2个填充图形，分别为前填充图形和后填充图形；

步骤3.3、判断两个填充图形面积的大小，如果前填充图形大于后填充图形，则前定位点为鱼头方向；否则，后定位点为鱼头方向；

步骤4、鱼体腹背姿态判定

步骤4.1、将鱼体近似看为一个椭圆，对步骤2中鱼体轮廓图像进行椭圆拟合，得到鱼体轮廓的椭圆方程，椭圆的长轴看作鱼体的中轴线；

步骤4.2、以中轴线为分界线将灰度图像中椭圆轮廓内图形分别定义为R₁区域和R₂区域，对R₁区域和R₂区域分别进行灰度值求均值计算，均值大的区域为鱼腹方向，另一个区域则为鱼背方向。

2.如权利要求1所述基于视觉识别的鱼类姿态判定方法，其特征在于：所述步骤1中，采用选择中值滤波器对二值图像进行滤波去噪处理，之后再提取鱼体轮廓。

3.如权利要求1所述基于视觉识别的鱼类姿态判定方法，其特征在于：所述步骤3.1中，所述定位点获取具体方法如下：

定义鱼体输送方向为X轴方向，图像内，与X轴垂直的方向为Y轴，在鱼体轮廓图像内分别从X轴两端沿着Y轴逐个像素扫描，扫描完一列后朝图像中间平移一个像素点继续扫描，从X轴前端扫描第一个灰度值为255的像素点的坐标即为前定位点P₁(x₁,y₁)，从X轴后端扫描第一个灰度值为255的像素点的坐标即为后定位点P₂(x₂,y₂)。

4.如权利要求1所述基于视觉识别的鱼类姿态判定方法，其特征在于：步骤3.2中，所述半径R₀为20-52％L，L为鱼体长度。

5.如权利要求4所述基于视觉识别的鱼类姿态判定方法，其特征在于：所述L通过前定位点和后定位点之间的距离确定。

6.如权利要求1所述基于视觉识别的鱼类姿态判定方法，其特征在于：步骤3.3中，判断填充图形面积采用像元计数法，具体公式如下：

S₁＝Count(D(P₁(x₁,y₁),F(x,y))＜＝R₀∩F(x,y)＝＝255)

S₂＝Count(D(P₂(x₂,y₂),F(x,y))＜＝R₀∩F(x,y)＝＝255)

上式中，S₁为以前定位点P₁为圆心所画圆内的鱼体像元个数，S₂为以后定位点P₂为圆心所画圆内的鱼体像元个数，Count为计数函数，F(x,y)为鱼体的二值图像内任意一像元点，R₀为所画圆的半径，D为两像元点之间的距离，如果S₁>S₂，则P₁为鱼的头部，P₂为鱼的尾部，否则P₂为鱼的头部，P₁为鱼的尾部。

7.如权利要求1所述基于视觉识别的鱼类姿态判定方法，其特征在于：步骤4.1中，对鱼体进行椭圆拟合时，先去掉鱼体的尾部，去掉的尾部为鱼体总长的10％-20％，拟合过程中在最小二乘的准则下通过二次曲线拟合得到椭圆方程。

8.如权利要求1所述基于视觉识别的鱼类姿态判定方法，其特征在于：步骤4.2中，灰度值计算方法如下：

首先对鱼体的二值图像进行腐蚀处理，然后用二值图像减去腐蚀处理后的图，此时结果图像中只保留了鱼体轮廓及其向内一定范围内的鱼体区域，保留的区域分布在中轴线两侧，分别用R₁和R₂表示；最后通过将经过二值图像减去腐蚀处理后的图像与鱼体的灰度图像进行掩膜处理得到灰度计数图像，并通过比较灰度计数图像中轴线两侧鱼体区域的灰度值均值即可判定出鱼体的腹背姿态；为了排除鱼体头尾部灰度的干扰，在比较灰度值的过程中，对鱼体头尾各去掉一部分，去掉长度为鱼体总长的10％-20％，只考虑鱼体中间的60％-80％部分。

9.如权利要求8所述基于视觉识别的鱼类姿态判定方法，其特征在于：步骤4.2中，得到灰度计数图像采用的计算公式如下：

F₁＝F-F_erode

F_mask＝mask(f,F₁)

上式中，F_erode(x,y)为腐蚀化后的图像，Θ为腐蚀操作运算符，F^c表示补集，

表示空集，F为鱼体的二值图像，B为腐蚀操作的结构元素，F₁为鱼体的二值图像减去腐蚀处理后的图像，f为鱼体的灰度图像，mask为图像掩膜处理运算符，F_mask为对鱼体的灰度图像进行掩膜处理后的图像，即灰度计数图像。

10.如权利要求9所述基于视觉识别的鱼类姿态判定方法，其特征在于：步骤4.2中，在灰度计数图像上统计判断灰度值公式如下：

上式中，F_mask为对鱼体的灰度图像进行掩膜处理后的灰度计数图像，N₁和N₂分别为区域R₁和R₂中的像元数，Mean₁和Mean₂分别为区域R₁和R₂的像元灰度值均值，如果Mean₁>Mean₂，则R₁为腹部，R₂为背部，否则，R₂为腹部，R₁为背部。

Images