CN111754547A - 一种暗光环境肉鸡的多目标自动识别跟踪定位方法 - Google Patents

Abstract

本发明涉及一种暗光环境肉鸡的多目标自动识别跟踪定位方法，其技术特点是：采集暗光环境下的肉鸡图像并对其进行预处理；对预处理后的肉鸡图像进行特征标注；训练暗光环境肉鸡识别模型，并通过暗光环境肉鸡识别模型对暗光环境下的肉鸡图像进行识别预测，得到暗光环境肉鸡对应的特征分类结果并评估暗光环境肉鸡识别模型的有效性；输出目标肉鸡的最终位置信息并跟踪定位监测。本发明实现暗光环境肉鸡的多目标自动识别跟踪定位功能，能够及时掌握肉鸡的生长状态，便于饲养过程中环境条件、饲养管理、营养等因素的控制，进而有效解决了人工在暗光环境下检查肉鸡时存在的费时费力的问题，具有识别过程省时省力、识别结果客观准确等特点。

Description

一种暗光环境肉鸡的多目标自动识别跟踪定位方法

技术领域

本发明属于图像处理技术领域，尤其是一种暗光环境肉鸡的多目标自动识别跟踪定位方法。

背景技术

中国的肉鸡出栏率居世界前列。随着禽类饲养的规模化和集约化养殖规模不断提高，禽类养殖业正朝着绿色化、福利化、精准化和智能化转型。但是，我国在禽类养殖尤其是肉鸡养殖的转型过程中，存在许多问题和不足。

为了记录肉鸡在养殖过程中的异常现象，并对处于昏暗环境的肉鸡进行监测分析，需要进行暗光环境下的肉鸡个体识别和跟踪定位检测。通过对暗光环境肉鸡状态的检测，能够及时掌握肉鸡的生长状态，便于饲养过程中环境条件、饲养管理、营养等因素的控制和饲料中各种微量元素的配比，进而能够有效解决人工在暗光环境下检查肉鸡时存在的费时费力的问题。因此，如果省时省力地在暗光环境下对肉鸡的多目标进行自动识别跟踪定位是目前迫切需要解决的问题。

发明内容

本发明的目的在于克服现有技术的不足，提出一种设计合理、准确可靠且省时省力的暗光环境肉鸡的多目标自动识别跟踪定位方法。

本发明解决其技术问题是采取以下技术方案实现的：

一种暗光环境肉鸡的多目标自动识别跟踪定位方法，包括以下步骤：

步骤1、采集暗光环境下的肉鸡图像并对其进行预处理，得到暗光环境肉鸡图像集和暗光环境肉鸡图像对应的目标数据集；

步骤2、对预处理后的肉鸡图像进行特征标注；

步骤3、根据步骤2得到的肉鸡图像的特征标注信息，训练暗光环境肉鸡识别模型，并通过暗光环境肉鸡识别模型对暗光环境下的肉鸡图像进行识别预测，得到暗光环境肉鸡对应的特征分类结果并评估暗光环境肉鸡识别模型的有效性；

步骤4、根据步骤3获得的肉鸡识别结果，输出目标肉鸡的最终位置信息并跟踪定位监测。

进一步，所述步骤1的具体实现方法包括以下步骤：

⑴采集暗光环境下的肉鸡图像，并对暗光环境下的肉鸡图像进行目标关键信息检查；

⑵对合格的暗光环境下的肉鸡图像进行数据增强处理；

⑶对数据增强处理的肉鸡图像进行限制对比度直方图均衡处理，最终得到暗光环境肉鸡图像集和暗光环境肉鸡图像对应的目标数据集。

进一步，所述步骤⑵使用仿射变换方法对肉鸡图像进行数据增强处理，包括平移、旋转、放缩、剪切和反射处理。

进一步，所述暗光环境肉鸡识别模型采用深度神经网络构建，包含若干层网络层，每层网络层由若干个神经元构成。

进一步，所述步骤3的具体实现方法包括以下步骤：

⑴将暗光环境肉鸡图像的特征输入特征向量构建层，构建得到暗光环境肉鸡图像的局部特征向量；

⑵通过全连接层对暗光环境肉鸡图像的局部特征向量进行全连接，得到暗光环境肉鸡图像的全局特征向量，并将全局特征向量输入到分类层，预测得到暗光环境肉鸡图像对应的暗光环境分类结果并评估肉鸡暗光环境识别模型的有效性。

进一步，所述步骤⑵的具体实现方法包括以下步骤：

①进行预测目标和实际目标的差异评估：

对于预测目标和实际目标的差异评估，需要计算预测肉鸡图像与期望肉鸡图像标签之间的距离即模型的损失，对于每个样本，使用如下交叉熵函数计算损失：

其中，

为损失函数即用来衡量预测肉鸡图像与期望肉鸡图像标签之间的距离，

为预测输出分类的概率，y表示输入的实际分类；

对于N个肉鸡图像样本，总的损失函数如下：

其中，

为第i个肉鸡图像的预测输出分类的概率，yⁱ表示第i个肉鸡图像输入的实际分类，i为样本数序号；

②创建随机梯度下降SGD优化器，逐步找到权重和偏差的最佳组合；

③评估暗光环境肉鸡识别模型的有效性：

采用交并比检验非目标物体、目标物体和部分目标物体，方法如下：

其中，area(C)是候选框区域；area(GT)是原标记框区域，∩表示两个区域的交集，∪表示两个区域的并集；

④将非目标物体定义为IoU小于0.3的区域目标，目标物体定义为IoU高于0.65的区域目标，部分目标物体的IoU在0.3到0.65之间；

随机从图像裁剪区域，计算与给定的目标物体的IoU，以此获取非目标物体、目标物体和部分目标物体，训练各个目标物体候选框；依次选取样本随机从图像裁剪区域，计算与标定目标物体特征点的IoU，如果IoU>0.65，认为检测正确；

⑤对目标图片分别用训练好的模型提取目标物体特征向量，再用余弦距离度量目标物体特征的相似度，方法如下：

其中，x和y表示一对目标物体特征向量；当其余弦距离大于阈值时，暗光环境自动检测系统将目标物体识别为异常状态，若当其余弦距离小于阈值时，暗光环境自动检测系统将目标物体识别为正常状态。

进一步，所述步骤4的具体实现方法包括以下步骤：

⑴对图像进行HOG特征描述分析；

⑵对正确识别到的肉鸡图像进行连续帧的目标跟踪定位定位。

进一步，所述步骤⑵的具体实现方法包括以下步骤：

①HOG特征描述：对识别的肉鸡图像进行旋转不变性特征描述分析，使目标跟踪定位结果匹配度更高；

②跟踪定位实现：应用特征描述方式，将肉鸡图像当前帧的目标表示为1×(r－1)的梯度行向量，在获取下一帧肉鸡图像后，以上一帧目标中心点为基准，在目标肉鸡2倍范围内进行目标检索，找到原始图像目标肉鸡与变化后的肉鸡关联性，按下式计算目标的梯度行向量S与待检区域梯度行向量S’的余弦相关性：

其中，(x′,y′)表示待检测区域中可能是目标中心点的坐标，S是目标的梯度行向量，S’是待检区域梯度行向量，Q(x′,y′)极大值位置即新的一帧中目标中心所在，继续采用相同的搜索策略以实现连续帧的目标跟踪定位。

本发明的优点和积极效果是：

本发明通过构建训练好的暗光环境肉鸡识别跟踪定位模型，在暗光环境对肉鸡进行实时监控，实现暗光环境肉鸡的多目标自动识别跟踪定位功能，能够及时掌握肉鸡的生长状态，便于饲养过程中环境条件、饲养管理、营养等因素的控制和饲料中各种微量元素的配比，进而有效解决了人工在暗光环境下检查肉鸡时存在的费时费力的问题，具有识别过程省时省力、识别结果客观准确等特点。

附图说明

图1为本发明的处理流程图。

具体实施方式

以下结合附图对本发明做进一步详述。

一种暗光环境肉鸡的多目标自动识别跟踪定位方法，如图1所示，包括以下步骤：

步骤1、采集暗光环境下的肉鸡图像并对其进行预处理，得到若干暗光环境肉鸡图像集和暗光环境肉鸡图像对应的目标数据集。

在本步骤中，暗光环境肉鸡图像可以通过视频采集设备采集得到，然后将采集到的暗光环境肉鸡图像上传到服务器中进行处理。

本步骤的具体实现方法包括以下步骤：

(1)采集暗光环境下的肉鸡图像，并对暗光环境下的肉鸡图像进行目标关键信息检查。

对视频采集设备采集到的图像进行预处理，得到完整包含目标肉鸡的图像即为合格图像，将合格图像整合得到若干合格肉鸡图像集；若不符合上述指标，则生成告警信息并提示重新采集并上传图像进行合格性检查。

(2)对暗光环境肉鸡图像进行数据增强处理。

对合格的暗光环境下的肉鸡图像进行数据增强处理，包括平移、旋转、放缩、剪切和反射，得到暗光环境下的肉鸡图像对应的目标数据集。

对视频采集设备采集得到的肉鸡图像进行数据增强处理是指利用几何归一化将不同尺寸或旋转的目标物体统一处理为规范化的合格肉鸡图像。其具体增强方法为：

本系统使用仿射变换(平移、旋转、放缩、剪切、反射)对肉鸡图像进行归一化操作。仿射变换矩阵可以用一个3*3的变换矩阵来表示，该变换矩阵将原肉鸡像素点坐标(x，y)变换为新坐标(x'，y')，如式(1)：

其中，

为仿射变换的变换矩阵，m₀₀，m₀₁，m₀₂，m₁₀，m₁₁，m₁₂表示约束参数，x、y为原肉鸡像素点坐标参数，x'、y'表示新肉鸡像素点坐标参数。仿射变换的变换矩阵有6个自由度，不同基础变换的m₀₀，m₀₁，m₀₂，m₁₀，m₁₁，m₁₂约束不同。对于坐标系中的位置(x,y)，其相对坐标原点在[1,0]方向上的投影为x，在[0,1]方向上的投影为y。当坐标系变化，坐标系中的点也跟着变化，但点相对新坐标系(x′y′坐标系)的位置不变仍为(x,y)。故坐标系由坐标原点和基向量决定，坐标原点和基向量确定了，坐标系也就确定了。在仿射变换矩阵

中

和

为新的基向量

为新的坐标原点。

(3)对数据增强处理的肉鸡图像进行限制对比度直方图均衡(CLAHE)处理。

CLAHE是一种很常用的直方图类方法，通过图像的灰度分布直方图确定一条映射曲线，用来对图像进行灰度变换，以达到提高图像对比度。对于彩色图像，三通处理分开处理会导致严重的偏色，将其进行颜色空间转换(如RGB转为HSV)，然后仅对亮度分量处理，再反变换回RGB空间。

步骤2、采用特征标注软件对处于暗光环境下的肉鸡图像进行特征标注。

在本实施例中，暗光环境下的肉鸡的特征是用于表征肉鸡在暗光环境下的性状表现，不同光线环境所对应的肉鸡特征图像有所不同。

对暗光环境下的肉鸡图像均进行局部特征标注，所有肉鸡所对应的图像特征标注的组合即构成了暗光环境下的肉鸡识别跟踪定位模型的训练文件。

步骤3、根据步骤2暗光环境肉鸡图像的特征标注信息，训练暗光环境肉鸡识别模型，并通过暗光环境肉鸡识别模型对暗光环境下的肉鸡图像进行识别预测，得到暗光环境肉鸡对应的特征分类结果并评估暗光环境肉鸡识别模型的有效性。具体方法为：

⑴将暗光环境肉鸡图像的特征输入特征向量构建层，构建得到暗光环境肉鸡图像的局部特征向量；

在本实施例中，暗光环境下的识别跟踪定位模型是利用深度神经网络所构建的用于暗光环境识别的模型，其中包含若干层网络层，每层网络层由若干个神经元构成。通过深度神经网络来构建暗光环境识别模型。

暗光环境识别跟踪定位模型构建包括特征向量构建层、全连接层、分类层和模型输出，其将步骤2处理过的训练文件输入特征向量构建层，构建得到所述暗光环境肉鸡图像的局部特征向量。此过程需要计算机提前进行监督学习过程。

⑵通过所述全连接层对所述肉鸡图像的局部特征向量进行全连接，得到所述肉鸡图像的全局特征向量；将所述全局特征向量输入到所述分类层，预测得到暗光环境肉鸡图像对应的暗光环境分类结果并评估肉鸡暗光环境识别模型的有效性。

预测得到特征分类编号的过程中包含了对预测目标和实际目标的差异评估。对于预测目标和实际目标的差异评估，需要计算预测肉鸡图像与期望肉鸡图像标签之间的距离即模型的损失。对于每个样本，使用交叉熵函数计算损失，公式如式(2)：

其中，

为损失函数即用来衡量预测肉鸡图像与期望肉鸡图像标签之间的距离，用来衡量预测肉鸡图像与期望肉鸡图像标签有多接近；

为预测输出分类的概率，用来表示当前样本是否为目标图像以及概率大小；y表示输入的实际分类。

对于N个肉鸡图像样本,则总的损失函数如式(3)：

其中

为第i个肉鸡图像的预测输出分类的概率，yⁱ表示第i个肉鸡图像输入的实际分类，i 为样本数序号。

创建一个随机梯度下降(SGD)优化器，以最小化loss。随机梯度下降是一种通过计算并且减小梯度将损失降至最低的技术，它以训练数据为条件，来计算损失相对于模型参数的梯度。通俗来说，梯度下降法以迭代方式调整参数，逐渐找到权重和偏差的最佳组合，从而将损失降至最低。该模型将逐步找到权重和偏差的最佳组合，以最大程度地减少损失。损失越小，模型的预测越好。

循环训练csv数据，当所述深度神经网络模型最终收敛稳定，以收敛的深度神经网络模型作为所述肉鸡暗光环境识别模型。

使用单独的测试集评估模型的有效性，衡量整个模型的准确性。与训练阶段不同，该模型仅评估单个时期的测试数据。遍历测试集中的每个样本数据，并将模型的预测与实际标签进行比较。

用训练好的模型进行测试时，网络会预测出一系列的候选框，移除一些IoU值大于某个阈值的框，然后在剩下的候选框中，分别计算与ground truth的IoU值，规定当候选框(candidate bound)和原标记框(ground truth bound)的IoU值大于某个阀值时，认为检测正确。

采用交并比(Intersection-over-Union，IoU)检验非目标物体、目标物体和部分目标物体。如式(4)：

其中，area(C)是候选框(candidatebound)区域；area(GT)是原标记框(groundtruth bound) 区域，∩表示两个区域的交集，∪表示两个区域的并集。

非目标物体定义为IoU小于0.3的区域目标，目标物体定义为IoU高于0.65的区域目标，部分目标物体的IoU在0.3到0.65之间。

随机从图像裁剪区域，计算与给定的目标物体的IoU，以此获取非目标物体、目标物体和部分目标物体，训练各个目标物体候选框；依次选取样本随机从图像裁剪区域，计算与标定目标物体特征点的IoU，如果IoU>0.65，认为检测正确。

采用交并比检验非目标物体、目标物体和部分目标物体，如式(5)：

其中，area(C)是候选框(candidate bound)区域；area(GT)是原标记框区域，∩表示两个区域的交集，∪表示两个区域的并集；

对目标图片分别用训练好的模型提取目标物体特征向量，再用余弦距离度量目标物体特征的相似度，如式(6)：

当其余弦距离大于阈值时，暗光环境自动检测系统将目标物体识别为异常状态，若当其余弦距离小于阈值时，暗光环境自动检测系统将目标物体识别为正常状态。

步骤4、根据步骤3获得的肉鸡识别结果，输出目标肉鸡的最终位置信息并跟踪定位监测。

⑴对图像进行HOG特征描述分析；

HOG图像特征描述：即方向梯度直方图，是一种基于区域特征分析的特征描述方法。在图像处理领域中，它被广泛应用于描述图像部分特征。总体上HOG算法计算步骤如下：

1)将目标图像单元化；

2)分别计算每个单元的各方向梯度值；

3)根据积累的梯度值得到直方图；

4)标准化直方图。

⑵对正确识别到的肉鸡图像进行连续帧的目标跟踪定位定位。

应用特征描述方式，将肉鸡图像当前帧的目标表示为1×(r－1)的梯度行向量，在获取下一帧肉鸡图像后，以上一帧目标中心点为基准，在目标肉鸡2倍范围内进行目标检索，找到原始图像目标肉鸡与变化后的肉鸡关联性，计算目标的梯度行向量S与待检区域梯度行向量S’的余弦相关性。如公式(7)：

其中，(x′,y′)表示待检测区域中可能是目标中心点的坐标，S是目标的梯度行向量，S’是待检区域梯度行向量，Q(x′,y′)极大值位置即新的一帧中目标中心所在，继续采用相同的搜索策略以实现连续帧的目标跟踪定位。

需要强调的是，本发明所述的实施例是说明性的，而不是限定性的，因此本发明包括并不限于具体实施方式中所述的实施例，凡是由本领域技术人员根据本发明的技术方案得出的其他实施方式，同样属于本发明保护的范围。

Claims (8)

1.一种暗光环境肉鸡的多目标自动识别跟踪定位方法，其特征在于：包括以下步骤：

步骤1、采集暗光环境下的肉鸡图像并对其进行预处理，得到暗光环境肉鸡图像集和暗光环境肉鸡图像对应的目标数据集；

步骤2、对预处理后的肉鸡图像进行特征标注；

步骤3、根据步骤2得到的肉鸡图像的特征标注信息，训练暗光环境肉鸡识别模型，并通过暗光环境肉鸡识别模型对暗光环境下的肉鸡图像进行识别预测，得到暗光环境肉鸡对应的特征分类结果并评估暗光环境肉鸡识别模型的有效性；

步骤4、根据步骤3获得的肉鸡识别结果，输出目标肉鸡的最终位置信息并跟踪定位监测。

2.根据权利要求1所述的一种暗光环境肉鸡的多目标自动识别跟踪定位方法，其特征在于：所述步骤1的具体实现方法包括以下步骤：

⑴采集暗光环境下的肉鸡图像，并对暗光环境下的肉鸡图像进行目标关键信息检查；

⑵对合格的暗光环境下的肉鸡图像进行数据增强处理；

⑶对数据增强处理的肉鸡图像进行限制对比度直方图均衡处理，最终得到暗光环境肉鸡图像集和暗光环境肉鸡图像对应的目标数据集。

3.根据权利要求2所述的一种暗光环境肉鸡的多目标自动识别跟踪定位方法，其特征在于：所述步骤⑵使用仿射变换方法对肉鸡图像进行数据增强处理，包括平移、旋转、放缩、剪切和反射处理。

4.根据权利要求1所述的一种暗光环境下肉鸡的多目标自动识别跟踪定位方法，其特征在于：所述暗光环境肉鸡识别模型采用深度神经网络构建，包含若干层网络层，每层网络层由若干个神经元构成。

5.根据权利要求1或4所述的一种暗光环境肉鸡的多目标自动识别跟踪定位方法，其特征在于：所述步骤3的具体实现方法包括以下步骤：

⑴将暗光环境肉鸡图像的特征输入特征向量构建层，构建得到暗光环境肉鸡图像的局部特征向量；

⑵通过全连接层对暗光环境肉鸡图像的局部特征向量进行全连接，得到暗光环境肉鸡图像的全局特征向量，并将全局特征向量输入到分类层，预测得到暗光环境肉鸡图像对应的暗光环境分类结果并评估肉鸡暗光环境识别模型的有效性。

6.根据权利要求5所述的一种暗光环境肉鸡的多目标自动识别跟踪定位方法，其特征在于：所述步骤⑵的具体实现方法包括以下步骤：

①进行预测目标和实际目标的差异评估：

对于预测目标和实际目标的差异评估，需要计算预测肉鸡图像与期望肉鸡图像标签之间的距离即模型的损失，对于每个样本，使用如下交叉熵函数计算损失：

其中，

为损失函数即用来衡量预测肉鸡图像与期望肉鸡图像标签之间的距离，

为预测输出分类的概率，y表示输入的实际分类；

对于N个肉鸡图像样本，总的损失函数如下：

其中，

为第i个肉鸡图像的预测输出分类的概率，yⁱ表示第i个肉鸡图像输入的实际分类，i为样本数序号；

②创建随机梯度下降SGD优化器，逐步找到权重和偏差的最佳组合；

③评估暗光环境肉鸡识别模型的有效性：

采用交并比检验非目标物体、目标物体和部分目标物体，方法如下：

其中，area(C)是候选框区域；area(GT)是原标记框区域，∩表示两个区域的交集，∪表示两个区域的并集；

④将非目标物体定义为IoU小于0.3的区域目标，目标物体定义为IoU高于0.65的区域目标，部分目标物体的IoU在0.3到0.65之间；

随机从图像裁剪区域，计算与给定的目标物体的IoU，以此获取非目标物体、目标物体和部分目标物体，训练各个目标物体候选框；依次选取样本随机从图像裁剪区域，计算与标定目标物体特征点的IoU，如果IoU>0.65，认为检测正确；

⑤对目标图片分别用训练好的模型提取目标物体特征向量，再用余弦距离度量目标物体特征的相似度，方法如下：

其中，x和y表示一对目标物体特征向量；当其余弦距离大于阈值时，暗光环境自动检测系统将目标物体识别为异常状态，若当其余弦距离小于阈值时，暗光环境自动检测系统将目标物体识别为正常状态。

7.根据权利要求1所述的一种暗光环境肉鸡的多目标自动识别跟踪定位方法，其特征在于：所述步骤4的具体实现方法包括以下步骤：

⑴对图像进行HOG特征描述分析；

⑵对正确识别到的肉鸡图像进行连续帧的目标跟踪定位定位。

8.根据权利要求7所述的一种暗光环境肉鸡的多目标自动识别跟踪定位方法，其特征在于：所述步骤⑵的具体实现方法包括以下步骤：

①HOG特征描述：对识别的肉鸡图像进行旋转不变性特征描述分析，使目标跟踪定位结果匹配度更高；

②跟踪定位实现：应用特征描述方式，将肉鸡图像当前帧的目标表示为1×(r－1)的梯度行向量，在获取下一帧肉鸡图像后，以上一帧目标中心点为基准，在目标肉鸡2倍范围内进行目标检索，找到原始图像目标肉鸡与变化后的肉鸡关联性，按下式计算目标的梯度行向量S与待检区域梯度行向量S’的余弦相关性：

其中，(x′,y′)表示待检测区域中可能是目标中心点的坐标，S是目标的梯度行向量，S’是待检区域梯度行向量，Q(x′,y′)极大值位置即新的一帧中目标中心所在，继续采用相同的搜索策略以实现连续帧的目标跟踪定位。

Images