CN112580662A - 一种基于图像特征识别鱼体方向的方法及系统 - Google Patents

Abstract

本申请公开了一种基于图像特征识别鱼体方向的方法及系统。所述方法包括：将待测试鱼体图像输入已创建完成改进的卷积神经网络模型中，得到鱼体各部分类别以及鱼体矩形框坐标；根据鱼体各部分类别以及鱼体矩形框坐标，得到鱼体头尾朝向；将鱼体矩形框内图像转化为灰度图；将灰度图以中心线为中心一分为二；分别计算灰度图上下两部分灰度值的平均值，得到鱼体腹背朝向。所述系统包括：卷积神经网络模块、鱼体头尾朝向输出模块、灰度图模块、拆分模块、鱼体腹背朝向输出模块；本申请采用了改进的改进的卷积神经网络模型，得到了鱼体头尾朝向以及鱼体腹背朝向，从而解决了现有技术中存在识别率与处理量较低的问题。

Description

一种基于图像特征识别鱼体方向的方法及系统

技术领域

本申请涉及图像识别技术领域，具体而言，涉及一种基于图像特征识别鱼 体方向的方法及系统。

背景技术

目前，随着水产品加工产业的发展以及劳动力成本的持续增加，加工企业 对技术与装备的需求日益增长，如何在加工过程中识别原料，提高加工效率越 来越受关注。目前国内已有的识别鱼的方向的技术主要是根据鱼头和鱼尾重量 的差异、顺鳞逆鳞摩擦角度不同等，实现头尾识别，根据鱼体两侧的对称性、 横向的不对称性和腹背厚度差异等。

然而现有技术中存在识别率与处理量较低的问题，目前尚未提出有效解决 方案。

发明内容

本申请的主要目的在于提供一种基于图像特征识别鱼体方向的方法及系 统，以解决相关技术中识别率与处理量较低的的问题。

为了实现上述目的，第一方面，本申请提供了一种基于图像特征识别鱼体 方向的方法，包括如下步骤：

将待测试鱼体图像输入已创建完成的改进的卷积神经网络模型中，得到鱼 体各部分类别以及鱼体矩形框坐标；

根据鱼体各部分类别以及鱼体矩形框坐标，得到鱼体头尾朝向；

将鱼体矩形框内图像转化为灰度图；

将灰度图以中心线为中心一分为二；

分别计算灰度图上下两部分灰度值的平均值，得到鱼体腹背朝向。

所述已创建完成的改进的卷积神经网络模型，其创建过程如下：

获取历史鱼体图像数据并进行标记分类以及矩形框坐标；

利用卷积层、激活层、池化层、全连接层以及它们之间的组合，建立改进 的卷积神经网络模型，并进行初始化；

将历史鱼体图像数据以及标记分类结果数据输入到改进的卷积神经网络 进行训练，得到预测的鱼体图像数据的分类以及矩形框坐标；

利用损失函数，将预测的鱼体图像数据的分类以及矩形框坐标与标记分类 以及矩形框坐标做比较，若二者差距大于预设定阈值，则改变改进的卷积神经 网络模型的参数，直到差距小于等于预设定阈值，则停止训练，输出已经创建 完成的改进的卷积神经网络模型。

所述利用卷积层、激活层、池化层、全连接层以及它们之间的组合，建立 改进的卷积神经网络模型，过程如下：

将所述历史鱼体图像数据、标记分类结果以及矩形框坐标依次按照顺序分 别输入到第一卷积层、第一激活层、第二卷积层、第二激活层、第一池化层、 第三卷积层、第三激活层、第四卷积层、第四激活层、第二池化层中，得到第 一特征图；

将所述第一特征图进行下采样得到第二特征图；

将所述第一特征图依次按照顺序分别输入到第五卷积层、第五激活层、第 六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、 第三池化层、第九卷积层、第九激活层、第十卷积层、第十激活层、第十一卷 积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三 激活层、第四池化层，得到第三特征图；

将第二特征图与第三特征图进行拼接，得到第四特征图；

将第四特征图依次分别输入到第十四卷积层和第十四激活层中，得到第五 特征图，并以所述第五特征图中的每个点为中心生成九个锚框，锚框中框选的 即为选择的特征数据；

将所述特征数据依次顺序输入第一全连接层、第十五激活层以及softmax 函数，得到过滤后的特征数据；

所述过滤后的特征数据经过非极大值抑制，得到抑制后的特征数据；

将抑制后的特征数据分别输入第一结构与第二结构，分别预测的鱼体图像 数据的分类以及矩形框坐标，所述第一结构包括：第二全连接层、第十六激活 层以及softmax函数；所述第二结构包括：第十五卷积层、第十七激活层以及 回归层。

分类中第二全连接层、第十六激活层以及softmax函数，原理于上述基本 相同，只是最后softmax的输出结果有多少个是取决于一开始我们标记的类别 有几个，比如标记目标为鱼头，鱼尾，鱼体，那么softmax输出就为3个，其 中数值最大的类别就是网络判定的类别。

第二结构包括中第十五卷积层的卷积核为1*1*36，9个锚框(anchors)， 每个有4个参数(center_x,center_y,width,height),也就是目标矩形框的中心点 (center_x，center_y)和长宽(width,height)。

所述第一卷积层的卷积核为3×3×16，所述第二卷积层的卷积核为3×3 ×96，所述第三卷积层的卷积核为3×3×96，所述第四卷积层的卷积核为3 ×3×128，第五卷积层的卷积核为3×3×128，第六卷积层的卷积核为3×3 ×128，第七卷积层的卷积核为3×3×128，第八卷积层的卷积核为3×3×38 第九卷积层的卷积核为3×3×384，第十卷积层的卷积核为3×3×256，第十 一卷积层的卷积核为3×3×256，第十二卷积层的卷积核为3×3×256，第十 三卷积层的卷积核为3×3×128，第十四卷积层的卷积核为3×3×256，第十 五卷积层的卷积核为1×1×36。

所述第一激活层～第十七激活层采用激活函数ReLU，公式如下：

通过激活层将所有负值去除。p表示任意数值。

所述池化层，其输入为分为M×N/4个小区域，每个区域为2×2，即有4 个元素，公式为：

即每个小区域中取数值最大的一个，经过池化层的输出层大小为：(M/2) ×(N/2)，其中，i，j表示任意自然数，Px表示池化层输入矩阵,Pool表示池化 层输出矩阵。

所述九个锚框的尺寸是固定的，长宽比为1:1,1:2和2:1，若锚框超出特征 图的边界，则去除掉超出边界的锚框，剩下的锚框继续参加训练。

所述softmax函数，公式为：

其中，i，j表示任意自然数，e为自然常数，S_i为第i个softmax函数分类 输出结果。

所述回归层，采用回归算法，过程如下：

假设标记矩形框坐标为(G_{center_x},G_{center_y},G_width,G_height),而所述抑制后 的特征数据中的锚框的矩形框为(A_{center_x},A_{center_y},A_width,A_height)，那么需要 找到一个关系，使得：

F(A_{center_x},A_{center_y},A_width,A_height)≈(G_{center_x},G_{center_y},G_width,G_height)

采用线性回归的方法，公式为：

其中，d(B)是预测值，也就是映射关系，W^T是需要学习的参数的转置 矩阵，

(B)是输入的特征图的向量；

目标是让损失函数尽量小，损失函数的公式为：

其中tⁱ是真实值，i表示任意自然数。

优化函数的公式为：

其中，

为优化函数输出结果，λ为正则化惩罚项。

第二方面，本申请还提供了一种基于图像特征识别鱼体方向的系统，包括： 卷积神经网络模块、鱼体头尾朝向输出模块、灰度图模块、拆分模块、鱼体腹 背朝向输出模块；

所述卷积神经网络模块、鱼体头尾朝向输出模块、灰度图模块、拆分模块、 鱼体腹背朝向输出模块依次顺序相连接；

所述卷积神经网络模块用于将待测试鱼体图像输入已创建完成改进的卷 积神经网络模型中，得到鱼体各部分类别以及鱼体矩形框坐标；

所述鱼体头尾朝向输出模块用于根据鱼体各部分类别以及鱼体矩形框坐 标，得到鱼体头尾朝向；

所述灰度图模块用于将鱼体矩形框内图像转化为灰度图；

所述拆分模块模块用于将灰度图以中心线为中心一分为二；

鱼体腹背朝向输出模块用于分别计算灰度图上下两部分灰度值的平均值， 得到鱼体腹背朝向。

有益技术效果：

本申请提出了一种基于图像特征识别鱼体方向的方法及系统，采用了改进 的改进的卷积神经网络模型，得到了鱼体头尾朝向以及鱼体腹背朝向，从而解 决了现有技术中存在识别率与处理量较低的问题。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，使得本申请 的其它特征、目的和优点变得更明显。本申请的示意性实施例附图及其说明用 于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的一种基于图像特征识别鱼体方向的方法 流程图；

图2是根据本申请实施例提供的改进的卷积神经网络模型创建流程图；

图3是根据本申请实施例提供的利用卷积层、激活层、池化层、全连接层 以及它们之间的组合，建立改进的卷积神经网络模型流程图；

图4是根据本申请实施例提供的一种基于图像特征识别鱼体方向的系统 原理框图；

图5是根据本申请实施例提供的人工标记的鱼体图像；

图6是是根据本申请实施例提供的卷积计算示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施 例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所 描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申 请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所 有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第 一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次 序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请 的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆 盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品 或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的 或对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本申请中，术语“上”、“下”、“左”、“右”、“前”、“后”、“顶”、“底”、 “内”、“外”、“中”、“竖直”、“水平”、“横向”、“纵向”等指示的方位或位置 关系为基于附图所示的方位或位置关系。这些术语主要是为了更好地描述本申 请及其实施例，并非用于限定所指示的装置、元件或组成部分必须具有特定方 位，或以特定方位进行构造和操作。

并且，上述部分术语除了可以用于表示方位或位置关系以外，还可能用于 表示其他含义，例如术语“上”在某些情况下也可能用于表示某种依附关系或 连接关系。对于本领域普通技术人员而言，可以根据具体情况理解这些术语在 本申请中的具体含义。

另外，术语“多个”的含义应为两个以及两个以上。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征 可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

随着计算机技术的成熟，图像特征识别技术以其更好的可靠性和有效性， 越来越受到人们的重视，并开始进入我们社会生活的各个领域。将图像特征识 别技术应用于鱼体方向识别方面，基于深度卷积神经网络的建立鱼体图像特征 提取模型，进行卷积计算，确定鱼体方向，可以提高鱼体方向识别的准确率和 加工效率。

第一方面，本申请提供了一种基于图像特征识别鱼体方向的方法，如图1 所示，包括如下步骤：

步骤S1：将待测试鱼体图像输入已创建完成改进的卷积神经网络模型中， 得到鱼体各部分类别以及鱼体矩形框坐标；

步骤S2：根据鱼体各部分类别以及鱼体矩形框坐标，得到鱼体头尾朝向；

步骤S3：将鱼体矩形框内图像转化为灰度图；

步骤S4：将灰度图以中心线为中心一分为二；

步骤S5：分别计算灰度图上下两部分灰度值的平均值，得到鱼体腹背朝 向。

由于鱼背的颜色普遍要比鱼腹的颜色深，基于这一特征，将由上一步骤获 得的在鱼体矩形框内的图像转化为灰度图，并将矩形框以中心线一分为二，分 别计算上下两部分灰度值的平均值，数值较大的部分认为是鱼背，数值较小的 部分被认为是鱼腹。

所述已创建完成改进的卷积神经网络模型，如图2所示，其创建过程如下：

步骤S11：获取历史鱼体图像数据并进行标记分类以及矩形框坐标；

历史鱼体图像数据包括多种种类、各种形态以及在各种环境下的鱼体。本 申请可以同时对不同种类的鱼体进行方向识别，同时对周围环境具有一定的鲁 棒性。

其中，在获取鱼体图像数据后，由人工对图像数据进行标记。例如，所述 被人工标记的鱼图像如图5所示，即整个鱼体、鱼头，鱼尾被矩形框标记。

步骤S12：利用卷积层、激活层、池化层、全连接层以及它们之间的组合， 建立改进的卷积神经网络模型，并进行初始化。

步骤S13：将历史鱼体图像数据以及标记分类结果数据输入到改进的卷积 神经网络进行训练，得到预测的鱼体图像数据的分类以及矩形框坐标；

步骤S14：利用损失函数，将预测的鱼体图像数据的分类以及矩形框坐标 与标记分类以及矩形框坐标做比较，若二者差距大于预设定阈值，则改变改进 的卷积神经网络模型的参数，直到差距小于等于预设定阈值，则停止训练，输 出已经创建完成的改进的卷积神经网络模型。

现将卷积层、激活层以及池化层的原理描述如下：

卷积层：

设输入网络的图像大小为M*N*3(也就是长有M个像素，宽有N个像素, 有3个通道)。使用大小为3*3*d的卷积核(长宽都为3，深度为d，d会变化， 后续会说明)(卷积核的权重随机初始化，并在网络训练的过程中不断优化，)。 以下以一个通道说明，在输入的图像上从左上角开始，从左至右从上到下进行 卷积计算，也就是相对应的元素相乘后相加，用公式表达如下：

上述式子中im表示输入的图像，h为卷积核，C为卷积层计算得的结果。 i，j表示任意自然数，m，n表示小于卷积核维度的任意自然数。

在进行卷积操作前，先将图像进行填充,也就是在图像的四周补一圈0，这 样图像就从原来的M*N变成了(M+1)*(N+1)。卷积核移动步长为s，这里s＝1， (原来是大写的S)，也就是逐像素移动。经过卷积层计算之后，得到的输出层 大小仍为M*N。

卷积核的深度为d，这里会每一层分别和输入层的3层做卷积计算，然后 对应的元素相加，得到一层输出层。这样卷积核深度为d，那么最终输出层深 度也为d，为了方便理解如图6所示。

激活层：

这里采用的激活函数是ReLU，公式如下：

通过激活层可以将所有负值去除。经过激活层计算的输出层，大小仍为 M*N。

池化层：

在池化层中，输入层为分成了(M*N/4)个小区域，每个区域为2*2，也 就是有4个元素，公式为：

池化层：

也就是说每个小区域中取数值最大的一个，经过池化层的输出层大小为 (M/2)*(N/2)。

所述利用卷积层、激活层、池化层、全连接层以及它们之间的组合，建立 改进的卷积神经网络模型，如图3所示，过程如下：

步骤S121：将所述历史鱼体图像数据、标记分类结果以及矩形框坐标依 次按照顺序分别输入到第一卷积层、第一激活层、第二卷积层、第二激活层、 第一池化层、第三卷积层、第三激活层、第四卷积层、第四激活层、第二池化 层中，得到第一特征图；

步骤S122：将所述第一特征图进行下采样得到第二特征图；

步骤S123：将所述第一特征图依次按照顺序分别输入到第五卷积层、第 五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、 第八激活层、第三池化层、第九卷积层、第九激活层、第十卷积层、第十激活 层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷 积层、第十三激活层、第四池化层，得到第三特征图；

步骤S124：将第二特征图与第三特征图进行拼接，得到第四特征图；

步骤S125：将第四特征图依次分别输入到第十四卷积层和第十四激活层 中，得到第五特征图，并以所述第五特征图中的每个点为中心生成九个锚框， 锚框中框选的即为选择的特征数据；

步骤S126：将所述特征数据依次顺序输入第一全连接层、第十五激活层 以及softmax函数，得到过滤后的特征数据；

步骤S127：所述过滤后的特征数据经过非极大值抑制，得到抑制后的特 征数据；

步骤S128：将抑制后的特征数据分别输入第一结构与第二结构，分别预 测的鱼体图像数据的分类以及矩形框坐标，所述第一结构包括：第二全连接层、 第十六激活层以及softmax函数；所述第二结构包括：第十五卷积层、第十七 激活层以及回归层。

所述第一卷积层的卷积核为3×3×16，所述第二卷积层的卷积核为3×3 ×96，所述第三卷积层的卷积核为3×3×96，所述第四卷积层的卷积核为3 ×3×128，第五卷积层的卷积核为3×3×128，第六卷积层的卷积核为3×3 ×128，第七卷积层的卷积核为3×3×128，第八卷积层的卷积核为3×3×38 第九卷积层的卷积核为3×3×384，第十卷积层的卷积核为3×3×256，第十 一卷积层的卷积核为3×3×256，第十二卷积层的卷积核为3×3×256，第十 三卷积层的卷积核为3×3×128，第十四卷积层的卷积核为3×3×256，第十 五卷积层的卷积核为1×1×36。

第一卷积层(卷积核为3×3×16)+第一激活层+第二卷积层(卷积核为 3×3×96)+第二激活层+第一池化层+第三卷积层(卷积核为3×3×96)+激活层 +第四卷积层(卷积核为3×3×128)+第三激活层+第二池化层。

这样原图大小为M×N×3经过这一轮计算变成(M/4)×(N/4)×128。得到 了128个特征图。

这一部分的特征图会被保存，用于将来大尺度的目标识别的学习。接下来 的结构为：第五卷积层(卷积核3×3×128)+第五激活层+第六卷积层(3×3×128) +第六激活层+第七卷积层(3×3×128)+第七激活层+第八卷积层(3×3×384)+ 第八激活层+第三池化层+第九卷积层(3×3×384)+第九激活层+第十卷积层 (3×3×256)+第十激活层+第十一卷积层(3×3×256)+第十一激活层+第十二 卷积层(3×3×256)+第十二激活层+第十三卷积层(3×3×128)+第十三激活层 +第四池化层。经过这部分的计算后，得到的特征图大小为(M/16)×(N/16) ×128。

经过第一部分的特征图，也就是大小为(M/4)×(N/4)的128张特征图会 进行下采样，下采样类似于上述的池化层，只不过这里不再取最大值，而是平 均值。将特征图分成(4×4)的小区域，每个小区域内计算平均值。下采样后 特征图的大小变为(M/16)×(N/16)×128。这样经过整个卷积层计算的特征 图和只经过第一部分然后又下采样的特征图大小都为(M/16)×(N/16),将这 两部分特征图拼接起来，这样特征图就变成了(M/16)×(N/16)×256 (128+128)。

之后是第十四卷积层的卷积核为3×3×256的卷积接第十四激活层，这样 做的目的是为了融合特征层的周围3×3的空间信息。这样特征图一共有 (M/16)×(N/16)×256个点，给每个点生成9个锚框(anchors)，9个anchors 的尺寸是固定的，长宽比为1:1,1:2和2:1，最长的anchor的长和最宽的anchor 的宽要尽量接近与特征图的长和宽，也就是(M/16)和(N/16)。

去除掉超出边界的anchors，剩下的anchors会继续在网络中进行学习。先 通过第一全连接层，也就是卷积核为1×1×9×2(与卷积层不同，全连接层的卷 积核有4维)，步长为1，没有填充，输出的大小为(M/16)×(N/16)×18(注 意：这里的输出是一个向量)，再经过第十五激活层(原理和上面的激活层一 样，使用ReLU函数，目的是去掉负值)，18表示9个anchors，每个anchors 都有两种情况，含有目标，标记为positive；不含有目标，标记为negative。然 后通过softmax选出positive anchors。

Softmax公式为：

e为自然常数，S_i为第i个softmax函数分类 输出结果。softmax简单来说就是把多个输出映射到0到1的范围里，概率大 的即为结果。

选出的positive anchors会经过nms，非极大值抑制，non-maximum suppression。

再选出的anchors继续在网络中学习，首先把anchor映射到原图的尺寸， 特征图大小为(M/16)*(N/16),这里要恢复成M*N，这样anchors才能与原图 对应，之后的网络分成两个分支，第一结构与第二结构，第一结构是第二全连 接层、第十六激活层以及softmax函数进行分类，第二结构包括：第十五卷积 层、第十七激活层以及回归层，用于目标框坐标的确认。

分类中第二全连接层、第十六激活层以及softmax函数原理于上述基本相 同，只是最后softmax的输出结果有多少个是取决于一开始我们标记的类别有 几个，比如标记目标为鱼头，鱼尾，鱼体，那么softmax输出就为3个，其中 数值最大的类别就是网络判定的类别。

第二结构中第十五卷积层的卷积核为1*1*36，9个anchors，每个有4个 参数(center_x,center_y,width,height),也就是目标矩形框的中心点(center_x， center_y)和长宽(width,height)。

所述回归层，采用回归算法，过程如下：

假设标记矩形框坐标为(G_{center_x},G_{center_y},G_width,G_height),而所述抑制后 的特征数据中的锚框的矩形框为(A_{center_x},A_{center_y},A_width,A_height)，那么需要 找到一个关系，使得：

F(A_{center_x},A_{center_y},A_width,A_height)≈(G_{center_x},G_{center_y},G_width,G_height)

采用线性回归的方法，公式为：

其中，d(B)是预测值，也就是映射关系，W^T是需要学习的参数的转置 矩阵，

(B)是输入的特征图的向量；

目标是让损失函数尽量小，损失函数的公式为：

其中tⁱ是真实值，i表示任意自然数；

优化函数的公式为：

其中，

为优化函数输出结果，λ为正则化惩罚项，i表示任意自然数。

通过建立特定的卷积神经网络，对鱼体以及鱼体的重要部位也就是上一步 骤中人工标记的部分进行识别。通过卷积神经网络进行识别，不再依赖于人工 提取的特征，不但减少了工作量，而且大大提高了准确性，并且当获取的鱼体 图像数据中包含了多种种类的鱼体时，所建立的模型具有更好的普遍适用性。

其中，鱼体图像数据集被分成三个部分，其中百分之六十用于训练卷积神 经网络，百分之二十用于在训练过程中调整卷积神经网络模型中的参数，剩余 的百分之二十用于在训练结束后评估卷积神经网络的性能。其中，每一个鱼体 图像数据都至少包含三个分类，分别是完整的鱼体、鱼头以及鱼尾，每一个分 类之前已经被人工用矩形框标记。将鱼体图像数据输入到训练好的卷积神经网 络模型之后，所述的卷积神经网络模型会输出鱼体，鱼头以及鱼尾是否存在在 图像中以及当存在时，所述分类在图像中的矩形框的坐标。通过鱼体、鱼头以 及鱼尾的矩形框的坐标，即可确定每一部分的相对位置，可以判断出鱼体的朝 向。

本申请的卷积神经网络的一种合理结构包括：卷积层、池化层、激活、下 采样层和全连接层。其中，采用激活层可以有效避免过拟合，提高识别准确率。 并且本舍宁的卷积神经网络将经过不同步骤的特征图拼接在一起，可以提高对 不同尺度的物体的识别成功率，以避免鱼头或者鱼尾相对于鱼体较小而不能有 效得识别出。

本申请方法中，结合了卷积神经网络和图像颜色特征识别方法，首先利用 卷积神经网络模型输出鱼体、鱼头和鱼尾在图像中的位置坐标，通过坐标可以 得到鱼体的头尾朝向，再通过卷积神经网络输出的鱼体图像，基于鱼体本身的 物体特征，结合了颜色特征识别方法，识别鱼体腹部和背部的朝向。本方案采 用了卷积神经网络和基于颜色特征识别方法的方案，有效得提高了识别速度， 并且降低了对硬件设备的要求，还减少了了卷积神经网络模型训练前大量的人 力标记工作。

第二方面，本申请还提供了一种基于图像特征识别鱼体方向的系统，如图 4所示，包括：卷积神经网络模块、鱼体头尾朝向输出模块、灰度图模块、拆 分模块、鱼体腹背朝向输出模块；

所述卷积神经网络模块、鱼体头尾朝向输出模块、灰度图模块、拆分模块、 鱼体腹背朝向输出模块依次顺序相连接；

所述卷积神经网络模块用于将待测试鱼体图像输入已创建完成改进的卷 积神经网络模型中，得到鱼体各部分类别以及鱼体矩形框坐标；

所述鱼体头尾朝向输出模块用于根据鱼体各部分类别以及鱼体矩形框坐 标，得到鱼体头尾朝向；

所述灰度图模块用于将鱼体矩形框内图像转化为灰度图；

所述拆分模块模块用于将灰度图以中心线为中心一分为二；

鱼体腹背朝向输出模块用于分别计算灰度图上下两部分灰度值的平均值， 得到鱼体腹背朝向。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领 域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则 之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之 内。

Claims (10)

1.一种基于图像特征识别鱼体方向的方法，其特征在于，包括如下步骤：

将待测试鱼体图像输入已创建完成的改进的卷积神经网络模型中，得到鱼体各部分类别以及鱼体矩形框坐标；

根据鱼体各部分类别以及鱼体矩形框坐标，得到鱼体头尾朝向；

将鱼体矩形框内图像转化为灰度图；

将灰度图以中心线为中心一分为二；

分别计算灰度图上下两部分灰度值的平均值，得到鱼体腹背朝向。

2.如权利要求1所述的基于图像特征识别鱼体方向的方法，其特征在于，所述已创建完成的改进的卷积神经网络模型，其创建过程如下：

获取历史鱼体图像数据并进行标记分类以及矩形框坐标；

利用卷积层、激活层、池化层、全连接层以及它们之间的组合，建立改进的卷积神经网络模型，并进行初始化；

将历史鱼体图像数据以及标记分类结果数据输入到改进的卷积神经网络进行训练，得到预测的鱼体图像数据的分类以及矩形框坐标；

利用损失函数，将预测的鱼体图像数据的分类以及矩形框坐标与标记分类以及矩形框坐标做比较，若二者差距大于预设定阈值，则改变改进的卷积神经网络模型的参数，直到差距小于等于预设定阈值，则停止训练，输出已经创建完成的改进的卷积神经网络模型。

3.如权利要求2所述的基于图像特征识别鱼体方向的方法，其特征在于，所述利用卷积层、激活层、池化层、全连接层以及它们之间的组合，建立改进的卷积神经网络模型，过程如下：

将所述历史鱼体图像数据、标记分类结果以及矩形框坐标依次按照顺序分别输入到第一卷积层、第一激活层、第二卷积层、第二激活层、第一池化层、第三卷积层、第三激活层、第四卷积层、第四激活层、第二池化层中，得到第一特征图；

将所述第一特征图进行下采样得到第二特征图；

将所述第一特征图依次按照顺序分别输入到第五卷积层、第五激活层、第六卷积层、第六激活层、第七卷积层、第七激活层、第八卷积层、第八激活层、第三池化层、第九卷积层、第九激活层、第十卷积层、第十激活层、第十一卷积层、第十一激活层、第十二卷积层、第十二激活层、第十三卷积层、第十三激活层、第四池化层，得到第三特征图；

将第二特征图与第三特征图进行拼接，得到第四特征图；

将第四特征图依次分别输入到第十四卷积层和第十四激活层中，得到第五特征图，并以所述第五特征图中的每个点为中心生成九个锚框，锚框中框选的即为选择的特征数据；

将所述特征数据依次顺序输入第一全连接层、第十五激活层以及softmax函数，得到过滤后的特征数据；

所述过滤后的特征数据经过非极大值抑制，得到抑制后的特征数据；

将抑制后的特征数据分别输入第一结构与第二结构，分别预测的鱼体图像数据的分类以及矩形框坐标，所述第一结构包括：第二全连接层、第十六激活层以及softmax函数；所述第二结构包括：第十五卷积层、第十七激活层以及回归层。

4.如权利要求3所述的基于图像特征识别鱼体方向的方法，其特征在于，所述第一卷积层的卷积核为3×3×16，所述第二卷积层的卷积核为3×3×96，所述第三卷积层的卷积核为3×3×96，所述第四卷积层的卷积核为3×3×128，第五卷积层的卷积核为3×3×128，第六卷积层的卷积核为3×3×128，第七卷积层的卷积核为3×3×128，第八卷积层的卷积核为3×3×38第九卷积层的卷积核为3×3×384，第十卷积层的卷积核为3×3×256，第十一卷积层的卷积核为3×3×256，第十二卷积层的卷积核为3×3×256，第十三卷积层的卷积核为3×3×128，第十四卷积层的卷积核为3×3×256，第十五卷积层的卷积核为1×1×36。

5.如权利要求3所述的基于图像特征识别鱼体方向的方法，其特征在于，所述第一激活层～第十七激活层采用激活函数ReLU，公式如下：

通过激活层将所有负值去除，p表示任意输入值。

6.如权利要求3所述的基于图像特征识别鱼体方向的方法，其特征在于，所述池化层，其输入为分为M×N/4个小区域，每个区域为2×2，即有4个元素，公式为：

即每个小区域中取数值最大的一个，经过池化层的输出层大小为：(M/2)×(N/2)，其中，i，j表示任意自然数，Px表示池化层输入矩阵，Pool表示池化层输出矩阵。

7.如权利要求3所述的基于图像特征识别鱼体方向的方法，其特征在于，所述九个锚框的尺寸是固定的，长宽比为1：1、1：2和2：1，若锚框超出特征图的边界，则去除掉超出边界的锚框，剩下的锚框继续参加训练。

8.如权利要求3所述的基于图像特征识别鱼体方向的方法，其特征在于，所述softmax函数，公式为：

其中，i，j表示任意自然数，e为自然常数，S_i为第i个softmax函数分类输出结果。

9.如权利要求3所述的基于图像特征识别鱼体方向的方法，其特征在于，所述回归层，采用回归算法，过程如下：

假设标记矩形框坐标为(G_{center_x},G_{center_y},G_width,G_height),而所述抑制后的特征数据中的锚框的矩形框为(A_{center_x},A_{center_y},A_width,A_height)，那么需要找到一个关系，使得：

F(A_{center_x},A_{center_y},A_width,A_height)≈(G_{center_x},G_{center_y},G_width,G_height)

采用线性回归的方法，公式为：

其中，d(B)是预测值，也就是映射关系，W^T是需要学习的参数的转置矩阵，

是输入的特征图的向量；

目标是让损失函数尽量小，损失函数的公式为：

其中，tⁱ是真实值，i表示任意自然数；

优化函数的公式为：

其中，

为优化函数输出结果，λ为正则化惩罚项。

10.一种基于图像特征识别鱼体方向的系统，其特征在于，采用如权利要求1-9任一项所述的基于图像特征识别鱼体方向的方法实现，包括：卷积神经网络模块、鱼体头尾朝向输出模块、灰度图模块、拆分模块、鱼体腹背朝向输出模块；

所述卷积神经网络模块、鱼体头尾朝向输出模块、灰度图模块、拆分模块、鱼体腹背朝向输出模块依次顺序相连接；

所述卷积神经网络模块用于将待测试鱼体图像输入已创建完成改进的卷积神经网络模型中，得到鱼体各部分类别以及鱼体矩形框坐标；

所述鱼体头尾朝向输出模块用于根据鱼体各部分类别以及鱼体矩形框坐标，得到鱼体头尾朝向；

所述灰度图模块用于将鱼体矩形框内图像转化为灰度图；

所述拆分模块模块用于将灰度图以中心线为中心一分为二；

鱼体腹背朝向输出模块用于分别计算灰度图上下两部分灰度值的平均值，得到鱼体腹背朝向。

Images