CN110200598B - 一种大型养殖场体征异常禽类检测系统及检测方法 - Google Patents
一种大型养殖场体征异常禽类检测系统及检测方法 Download PDFInfo
- Publication number
- CN110200598B CN110200598B CN201910506337.2A CN201910506337A CN110200598B CN 110200598 B CN110200598 B CN 110200598B CN 201910506337 A CN201910506337 A CN 201910506337A CN 110200598 B CN110200598 B CN 110200598B
- Authority
- CN
- China
- Prior art keywords
- detection
- poultry
- network
- thermal imaging
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 81
- 244000144977 poultry Species 0.000 title claims abstract description 42
- 230000002159 abnormal effect Effects 0.000 title claims abstract description 38
- 238000001931 thermography Methods 0.000 claims abstract description 42
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000000926 separation method Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000012549 training Methods 0.000 claims description 23
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 4
- 230000036760 body temperature Effects 0.000 claims description 3
- 230000001629 suppression Effects 0.000 claims description 3
- 230000004927 fusion Effects 0.000 claims description 2
- 238000007499 fusion processing Methods 0.000 claims 1
- 238000002620 method output Methods 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 5
- 238000000605 extraction Methods 0.000 abstract description 4
- 238000009395 breeding Methods 0.000 abstract description 3
- 230000001488 breeding effect Effects 0.000 abstract description 3
- 235000013594 poultry meat Nutrition 0.000 description 29
- 241000287828 Gallus gallus Species 0.000 description 17
- 235000013330 chicken meat Nutrition 0.000 description 16
- 230000006870 function Effects 0.000 description 6
- 238000012706 support-vector machine Methods 0.000 description 4
- 241000561734 Celosia cristata Species 0.000 description 3
- 210000001520 comb Anatomy 0.000 description 3
- 238000010276 construction Methods 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000007667 floating Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 208000002979 Influenza in Birds Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 206010064097 avian influenza Diseases 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004083 survival effect Effects 0.000 description 1
- 239000002341 toxic gas Substances 0.000 description 1
- 241000712461 unidentified influenza virus Species 0.000 description 1
- 238000009423 ventilation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
- A01K—ANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
- A01K45/00—Other aviculture appliances, e.g. devices for determining whether a bird is about to lay
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
- G01J5/0025—Living bodies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/40—Animals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
- G01J2005/0077—Imaging
Abstract
提供了一种大型养殖场体征异常禽类检测方法，具体为：预处理采集到的热成像图像，用于数据标注，然后采用基于实例分割通用框架(Mask RCNN)的目标检测及实例分隔方法，对热成像图像进行特征提取，像素对齐，目标的定位，分类和掩码分隔等操作，最后通过控制单张图像的目标检测数，使得在每张图片中的检测正确率得到提高。本方法是对现如今热成像图像在目标检测领域的一次尝试，打破传统方法带来的局限性，利用深度学习在图像特征处理上的优越性能，提高了模型的鲁棒性和准确性。验证了深度学习方法在热成像图像检测领域的可行性。同时也可将其扩展至畜牧业等领域，从而提高我国在养殖业方面的智能化水平。
Description
技术领域
本发明总体地涉及热成像图像处理、深度学习技术和目标检测领域，具 体地涉及一种大型养殖场体征异常禽类检测系统及检测方法。
背景技术
目前国内大部分大型养殖场的智能化水平都不高，检查养鸡场中是否有 体征异常个体就需要人工参与。但是人工参与检查，效率很低而且非常的耗 时，并且一般的养殖场都比较封闭，通风不太好，有大量的有毒气体，人若 长时间逗留在养殖场将会对身体产生不利的影响。若死鸡没有在短时间内被 发现，那么尸体将培养病菌，并不断地扩散传播，禽流感传播迅速并且感染 率高，这样会给养殖场造成大量的损失。所以，及时地发现体征异常个体， 防止禽流感病毒传播，并减少养殖人员在禽舍的工作时间具有十分重要的意义。
国内在检测病死禽类方面的算法上有一些工作，中国专利申请号200810235531.3的发明申请公开了一种养鸡场死鸡探测系统及探测方法，其 主要的处理算法为选取鸡的红鸡冠作为较为明显且敏感的特征。由于活鸡的 鸡冠始终处于运动状态,因此在相同拍摄条件下连续几幅图像中的红鸡冠几 乎不可能处于同一位置，而死鸡的鸡冠则静止不变。于是可根据不同图片中 鸡冠出现的不同位置来判断鸡笼中鸡的生存状态。也有相关研究方法提出采 用支持向量机(SVM)在小样本下优越的分类性能。根据活禽图片和死禽图片 特征的不同,利用支持向量机(SVM)对它们分类。但从实际情况来看，有些 品类的鸡没有鸡冠，采用鸡冠进行判断有一定的偶然性。并且以上算法需要 人工提取特征，不同情况模型调整比较大，模型对于不同的禽类鲁棒性不强， 在光照不充足的养殖场内，图像的识别效果会大幅减弱。
最近几年深度学习尤其是卷积神经网络(Convolutional Neural Network, CNN)在ImageNet等数据集中多次斩获桂冠，在物体检测领域的正确率已超 过人类。由于该网络避免了对图像的复杂前期预处理，可以直接输入原始图 像，由卷积神经网络自动提取图像的特征，避免了人工设计特征的不准确性 和预处理的复杂性，因而得到了更为广泛的应用。
在目标检测算法领域大体分为两种结构，分别是以RCNN系列算法等为代 表的两阶段(Two-Stage)方法和以YOLO系列算法为代表的一阶段 (One-Stage)算法。它们分别在精度和速度上各有一定的优势。随着卷积神 经网络在目标检测任务上的推进，它也开始被应用于更精细的图像处理任务 如语义分割和实例分隔。
发明内容
针对现有检测方法的不足，本发明提供了一种大型养殖场体征异常禽类 检测方法，该方法基于实例分割算法，能将检测到的实例进行有效的分割， 通过将卷积神经网络引入到热成像图像的特征提取当中，通过卷积神经网络 提取到特征后，分别对检测目标进行分类，定位和掩膜操作。该方法只需要 将拍摄到的热成像图像输入到模型中，通过模型直接获取图像的处理结果， 中间不需要人为的干预，实现了检测的智能化，极大地解放了人力。
本发明的技术方案是，提出了一种大型养殖场体征异常禽类检测系统， 它包括轮式机器人、热成像仪、工控机、图像处理与识别软件；所述轮式机 器人用于搭载热成像仪和工控机；所述热成像仪用于拍摄大型养殖场的禽类 形成热成像图像；所述工控机用于对拍摄得到的热成像图形进行处理，并完 成目标检测，其中包括图像处理与识别软件，图像处理与识别软件中包括事 先训练好的检测模型；搭载热像仪和工控机的轮式机器人在养殖场内做固定 轨迹巡航，热成像仪将拍摄得到的数据传送给工控机，工控机对传输过来的数据进行处理，通过图像处理与识别软件及其中的检测模型来检测目标，最 后输出检测结果。
本发明还基于热成像图像和卷积神经网络，提出了一种大型养殖场体征 异常禽类检测方法，它利用上述大型养殖场体征异常禽类检测系统，包括以 下步骤：
S1、数据采集预处理：使用热成像仪采集养殖场异常禽类数据集，将采 集得到的数据集中剔除噪声污染严重的图像，然后根据热成像图像显示温度， 对剩余的图像进行人工标注；将数据集中的目标分为两类，一类是体征异常 类，另一类是死禽类；
S2、采用深度残差网络(ResNet101)和全卷积神经网络(FPN)提取热 成像图像的特征，并通过区域推荐网络(RPN)产生候选对象边框；
S3、将经区域推荐网络处理后的特征图进行池化和像素对其(RoIAlign) 操作，然后将4条通道上的感兴趣区域(ROI)进行融合进一步处理，然后 分三个通道分别输出分类信息，边界框回归信息，掩码信息，采用多任务损 失函数来训练神经网络；
S4、利用训练好的模型对未参加训练的图片进行检测，形成检测集，并 显示出检测效果。
热成像仪优选采用菲利尔(FLIRONE PRO)热成像仪，剔除噪声图片是 为了使得训练的模型更加鲁棒。标准是模糊图像，背景污染严重图像，这些 会被剔除。
进一步的，上述步骤S1中还包括对采集到的养殖场异常禽类数据集在目 标分类之前进行扩充操作的步骤，所述扩充操作包括对图像进行翻转，旋转， 随机裁剪，镜像等处理，以使数据集数量满足训练网络模型的需要。
由于在养殖场中死鸡数量有限，而训练网络模型需要大量的数据集。所 以根据采集到的热成像数据图像，首先对数据集进行扩充，采用对图像进行 翻转，旋转，随机裁剪，镜像等方法将数据进行了扩充，具体采用Python脚 本程序实现。
进一步的，上述步骤S1中的检测目标分类是根据热成像图像中显示的温 度进行：将体温在30℃以下的目标归于死禽类并进行人工标注；将30℃到 35℃的目标归于体征异常类并进行人工标注。
比如正常鸡的体温为40℃到42℃，本发明根据热成像图像中显示的温 度，对检测目标进行划分，将检测温度远低于正常温度区间值的个体标注为 体征异常目标。然后结合拍摄的室温，确定了上述低于30℃和30℃-35℃两 个温度判别区间。
更进一步的，上述人工标注采用labelme软件，采用多边形标注框对死禽 类和体征异常类目标的位置进行勾勒，标注的相关信息自动保存为Json格式 文件，并将Json格式文件转化为训练使用的数据集格式。
进一步的，上述步骤S2中深度残差网络的主干网络为ResNet101，它依 次包括输入层、1个独立卷积层、1个最大池化层和4种卷积残差模块，并对 经4种卷积模块处理后的卷积层运用全卷积神经网络，即把高层次中低分辨 率的特征图融合到低层次中高分辨率的特征图中，以使其具有更强的语义。
进一步的，上述步骤S2中通过区域推荐网络产生候选对象边框的具体方 法为：将处理得到的4种不同的特征图分别输入到区域推荐网络中，区域推 荐网络将特征图的每一个像素设置多种不同尺寸和长宽比的检测框，即锚盒 (Anchor)；然后为每一个锚盒(Anchor)分配一个二进制标签，用于区别前 景和背景；同时对预测出的边界框进行回归操作，使得原始的锚盒(Anchor) 经过映射得到与真实的标注框更加接近的回归窗口。
更进一步的，上述步骤S2中还采用非极大值抑制(算法，将网络提出的 建议进行排序，丢弃那些交并比(IOU)值大于某个预定义阈值的建议，以 处理经过筛选后的前景中存在很多重叠锚盒(Anchor)的问题。
还进一步的，上述步骤S3中进行感兴趣区域(ROI)融合后，从以下3 个网络通道中输出信息：1)全连接预测类别(Class)；2)全连接预测矩形框 (Box)；3)全卷积预测像素分隔(mask)
进一步的，上述步骤S4中采取降低模型在每张图片中的检测目标数的参 数配置，使每张图片仅允许检测出一个目标。
因为根据训练出的模型对图片进行检测，若直接采用实例分割通用框架 (MaskRCNN)进行检测，由于图像噪声污染严重，所以模型将很多噪声检 测成为目标。本发明对检测方法进行改进，调整了配置参数，降低了检测出 的实例数。这样每张图片可以有效地避免了将噪声检测为目标的可能性。采 取降低模型在每张图片中的检测目标数，即每张图片仅允许检测出一个目标， 这样做的原因如下：1)数据采集的图像是多视角图像，所以对不同视角下的 图像进行检测，即便每张图像仅检测一个目标，也会避免产生漏检。2)从实 际应用出发，一张图片中出现多只死鸡的可能性不大，如果出现大量死鸡的 话，那么检测已经没有意义了。3)从没有改进的模型检测出的结果可以看出， 将噪声检测出成目标的得分低于真实目标的检测得分，模型会将得分最高的 目标优先显示，所以避免了只显示噪声而没有显示目标。
与现有技术相比，本发明基于热成像图像和卷积神经网络的大型养殖场 体征异常禽类检测方法，具有以下优点和效果。
1、使用深度学习的方法，逐层提取到图像的完整特征，避免了需要相关 领域专家运用先验知识去选取特征，模型更加鲁棒。
2、可以将模型进行一些小的改动将其运用到其他生物检测领域，可扩展 性强。
3、对于光照较暗的环境可以正常运行，相对单一可见光的特征识别，热 成像图像中对于要检测的目标特征更加明显，更容易识别，所以该算法更加 正确，稳定性强。
4、该方法可搭载到轮式机器人上，实现智能化检测。
本发明提出了一种智能化的体征异常禽类检测方法，旨在帮助养殖人员 更好地管理养殖场。因为本发明采用的数据图像是热成像图像，相对于可见 光图像来说，其可识别度更低，需要更加精细的处理。且本发明的检测方法 采用是基于通用实例分隔框架(Mask RCNN)设计并实现的。同时，采用热成 像图像来训练模型，避免了昏暗环境下目标检测不到或不准的情况，使得模 型更加鲁棒。
附图说明
从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它 方面和优点将变得更加清楚并更容易理解，其中：
图1为本发明的大型养殖场体征异常禽类检测系统的结构组成及工作流 程示意图；
图2为本发明实施例中标注了部分目标温度的热成像图；
图3为本发明实施例中标注了部分目标温度的热成像图；
图4为本发明实施例的不同方法检测结果对比图；其中列(a)-(e)中每 列表示代表目标不同的热图像；行(1)代表采集得到的热成像原图，行(2) 代表直接采用实例分割通用框架(Mask RCNN)检测模型检测出的结果图像 显示，行(3))代表本发明实施例中将每张图的检测目标数设为1，所检测 出的目标结果图像显示。
具体实施方式
为了使本领域技术人员更好地理解本发明，下面结合附图和具体实施方 式对本发明作进一步详细说明。
实施例1
一种大型养殖场体征异常禽类检测系统，其结构如图1所示，包括轮式 机器人、热成像仪、工控机、图像处理与识别软件；所述轮式机器人用于搭 载热成像仪和工控机；所述热成像仪用于拍摄大型养殖场的禽类形成热成像 图像；所述工控机用于对拍摄得到的热成像图形进行处理，并完成目标检测， 其中包括图像处理与识别软件，图像处理与识别软件中包括事先训练好的检 测模型；搭载热像仪和工控机的轮式机器人在养殖场内做固定轨迹巡航，热 成像仪将拍摄得到的数据传送给工控机，工控机对传输过来的数据进行处理， 通过图像处理与识别软件及其中的检测模型来检测目标，最后输出检测结果。
本发明的整体实施思路是：采用轮式机器人并搭载工控机，红外相机等 设备，轮式机器人按照固定路线巡航，然后实时采集数据，对数据进行预处 理后将数据直接送入模型中，最后模型输出标记好目标的图像。
实施例2
一种大型养殖场体征异常禽类检测方法，它利用实施例的大型养殖场体 征异常禽类检测系统，总体包括以下步骤：
S1、数据采集预处理：使用热成像仪采集养殖场异常禽类数据集，；将采 集得到的数据集中剔除噪声污染严重的图像，然后根据热成像图像显示温度， 对剩余的图像进行人工标注，将数据集中的目标分为两类，一类是体征异常 类，另一类是死禽类；其中图2为标注了部分目标温度的热成像图。
S2、采用深度残差网络(ResNet101)和全卷积神经网络(FPN)提取热 成像图像的特征，并通过区域推荐网络(RPN)产生候选对象边框；
S3、将经区域推荐网络处理后的特征图进行池化和像素对其(RoIAlign) 操作，然后将4条通道上的感兴趣区域(ROI)进行融合进一步处理，然后 分三个通道分别输出分类信息，边界框回归信息，掩码信息，采用多任务损 失函数来训练神经网络；
S4、利用训练好的模型对未参加训练的图片进行检测，形成检测集，并 显示出检测效果。
其中的算法策略如图3所示，本算法的模型结构大体分为三个部分， Stage1：主要采用深度残差网络(ResNet101)结构，此结构采用了跨层连接 结构，解决了由于网络过深导致的退化问题。采用深度残差网络(ResNet101) 从热成像图像上提取图像特征。Stage2：这一阶段主要使用区域推荐网络 (RPN)提出建议框，并对区域推荐网络(RPN)后的特征图进行池化和像 素对其(ROIAlign)操作使得图像中的像素点对其，便于之后步骤中的实例分隔。Stage3：将特征图进行全连接，然后分三个通道分别输出类别，边界 框和掩码。
为了实现上述任务，本发明实施过程分为两个部分：第一个部分基于训 练集训练出检测模型；第二个部分根据检测模型对目标进行检测。
基于热成像图像和卷积神经网络的大型养殖场体征异常禽类检测方法的 实施，第一部分包括以下步骤：
(1)预处理数据并进行数据标注
用热成像仪对图像进行采集后，需要对图像进行预处理，使得图像可以 更准确的训练出模型。由于采集得到的体征异常个体数量有限，而训练深度 学习的模型需要足够的数据集，所以基于采集到的图像，本方法首先对数据 集进行扩充，采用对图像进行翻转，旋转，随机裁剪，镜像等方法将数据进 行了扩充。
对于扩充好的数据集要进行数据标注，本发明采用开源的标注软件 labelme软件，针对热成像图像中的死鸡和体征异常个体采用多边形标注框将 目标的大体位置勾勒出来，标注的相关信息自动保存为Json格式文件。将每 一个Json格式文件转化为训练使用的img.png，info.yaml，label.png， label_names.txt和label_viz.png五个文件。其中info.yaml文件中保存的是标 注的类别名称，label.png是标注后的轮廓图像。
(2)算法模型构建
1)Stage1阶段网络结构的搭建
该阶段的特征提取网络采用的是深度残差网络(ResNet101)结构，该残 差网络包括输入层，本发明中输入图像的大小为1344*1344；输入层后接1 个独立的卷积层，采用64个大小为7*7、步长为2的卷集核；卷积层后接步 长为2的3*3的最大池化层；之后连接了4种卷积模块，第一种卷积模块采 用64个大小为3*3的卷积核，64个大小为3*3的卷积核，256个大小为3*3 的卷积核，该模块重复串联3次；第二种模块采用128个大小为3*3的卷积 核，128个大小为3*3的卷积核，512个大小为3*3的卷积核，该模块重复串 联4次；第三种模块采用256个大小为3*3的卷积核，256个大小为3*3的 卷积核，1024个大小为3*3的卷积核，该模块重复串联22次；第四种模块 采用512个大小为3*3的卷积核，512个大小为3*3的卷积核，512个大小为 3*3的卷积核，该模块重复串联3次。第四种模块后对特征图降采样得到新 的特征图。这样就构建起本发明中Stage1阶段使用的用于提起热成像图像特 征的卷积神经网络。
2)Stage2阶段网络结构的搭建
该部分网络使用区域推荐网络(RPN)用于产生图像的建议(proposal)， 分别从上述四种模块输出的特征图和降采样得到的特征图中产生锚盒 (Anchors)，产生的尺度大小分别为 {32*32，64*64，128*128，256*256，512*512}，锚盒(Anchors)的横纵比为 {1∶2，1∶1，2∶1}，将产生的锚盒(Anchors)进行非极大值抑制，选定的阈值为 0.7，最终对于每一张特征图选定256个锚盒(Anchors)进行区域推荐网络 (RPN)训练。
将区域推荐网络(RPN)处理后四个阶段的特征图进行池化和像素对齐 (ROIAlign)操作，ROI Align不引入量化操作，对于区域推荐网络(RPN) 得到的感兴趣区域(ROI)坐标直接除以缩放倍数，因此得到的感兴趣区域 (ROI)坐标仍是浮点值，然后将感兴趣区域(ROI)划分成7*7个方格(bin)， 划分得到的方格(bin)坐标也是浮点值，不进行量化，接着通过在每个方格 (bin)中均匀取4个点，对这4个点进行双线性插值，最后对这4个点求最 大值作为这个方格(bin)的值，通过这种方式计算每个方格(bin)的值后， 最终输出7*7大小的感兴趣区域(ROI)特征。
3)Stage3阶段网络结构搭建
第三阶段的网络主要用于热成像图像中目标的分类，定位和实例分隔。 将上述融合后的感兴趣区域(ROI)分别从3个网络通道中输出信息：1)全 连接预测类别(Class)；2)全连接预测矩形框(Box)；3)全卷积预测像素 分隔(mask)。
4)多任务损失函数
多任务损失函数来训练神经网络。总体损失＝分类误差+边框回归误差+ 分隔误差，即：
L＝Lclass+Lbox+Lmask
对于分类损失
pi为锚盒(Anchor)预测为目标的概 率；
为真实标签值(GroundTruth)，取值为{0,1}，Ncls为锚盒(Anchor)的 数量。
采用经典的二分类交叉熵损失。
对于回归损失
其中ti＝{tx，ty，tw，th}表示该锚盒(Anchor)预测的偏移量，
与ti具有相同的维度，表示锚盒(Anchor)相对 于真实标签值(GroundTruth)的偏移量。
采用的smoothL1函数，该损 失只有在前景图上才计算损失，没有前景物体不计算损失。
对于掩码(mask)分支网络，该网络采用的是全卷积神经网络，网络最 终输出一个K层的掩码(mask)，一层为一类，通过分类网络分支预测的类 别来选择输出掩码(mask)，所以不会有不同类别掩码(mask)间的竞争。 对于每一个像素，都是用Sigmod函数求相对熵，最终得到平均相对熵误差 Lmask。
(3)训练方式
由于本发明方法采集的数据集，对于训练深度残差网络(ResNet101)不 够充足，所以本发明的训练方法采用深度残差网络(ResNet101)在COCO 数据集上的预训练模型，在预训练模型的基础上，用我们采集的数据集上继 续训练，这样保证了模型在数据集不充足的情况下快速收敛。
模型的训练过程分两部分进行，第一部分训练网络的头部，迭代次数为 20次，每次迭代训练100次。第二部分训练整个网络，迭代训练40次，每 次迭代训练100次。每次迭代完后保存一次训练模型。
基于热成像图像和卷积神经网络的大型养殖场体征异常禽类检测方法的 实施，第二部分包括以下步骤：
(1)测试模型
模型训练好后，为了测试模型是否能够检测出目标。本发明将部分没有 用于训练的数据集挑选出来用于模型的测试。本发明将检测类别设为两类， 第一类为体征异常个体，这类目标的明显特征为在热成像图中的亮度与正常 鸡比较较暗，第二类为死鸡，这类目标的明显特征为在热成像图中显示为黑 色。
同时我们将直接采用实例分割通用框架(Mask RCNN)方法检测到的图 像结果与改动后的检测结果做了对比，如图4所示。首先将我们采集得到的 热成像原图显示在图4的第(1)行。若直接采用实例分割通用框架(Mask RCNN)检测模型检测出的结果如图4第(2)行所示，从检测出的目标可以 看出，由于热成像图像的可识别性差，噪声较多，模型将很多噪声检测成为 目标。为了解决这个问题，本发明对检测的模型参数进行了调整。从误检测 目标的得分上我们可以看出，基本所有的误检测目标得分都低于正确检测目 标的得分，所以本发明将每张图的检测目标数设为1，这样检测出的目标如 图4第(3)行所示，从图4中可以看出模型可以很好的将目标检测出来，避 免了噪声的干扰。
(2)算法运用场景
基于轮式机器人的搭载平台，配备热成像仪设备，工控机，激光雷达， 基于激光雷达绘制出养殖场地图，轮式机器人根据绘制出的地图做固定轨迹 巡航，早，中，晚各两次。在巡航的过程中，图像采集设备，采集养殖场数 据，数据传到工控机中已经训练好的模型进行目标识别。
以上已经描述了本发明的各实施例，上述说明是示例性的，并非穷尽性 的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和 精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显 而易见的。因此，本发明的保护范围应该以权利要求的保护范围为准。
Claims (9)
1.一种大型养殖场体征异常禽类检测方法，其特征在于，它使用包括轮式机器人、热成像仪、工控机、图像处理与识别软件的大型养殖场体征异常禽类检测系统，
其中，所述轮式机器人用于搭载热成像仪和工控机；
所述热成像仪用于拍摄大型养殖场的禽类形成热成像图像；
所述工控机用于对拍摄得到的热成像图形进行处理，并完成目标检测，其中包括图像处理与识别软件，图像处理与识别软件中包括事先训练好的检测模型；
搭载热像仪和工控机的轮式机器人在养殖场内做固定轨迹巡航，热成像仪将拍摄得到的数据传送给工控机，工控机对传输过来的数据进行处理，通过图像处理与识别软件及其中的检测模型来检测目标，最后输出检测结果；
所述大型养殖场体征异常禽类检测方法包括以下步骤：
S1、数据采集预处理：使用热成像仪采集养殖场异常禽类数据集，在采集得到的数据集中剔除噪声污染严重的图像，对剩余的图像进行人工标注；然后根据热成像图像显示温度，将数据集中的目标分为两类，一类是体征异常类，另一类是死禽类；
S2、采用深度残差网络和全卷积神经网络提取热成像图像的特征，获得经其中4种卷积残差模块处理的4条通道数据，并通过区域推荐网络产生候选对象边框；
S3、将经区域推荐网络处理后的特征图进行池化和像素对齐操作，然后将感兴趣区域进行融合处理，然后分三个通道分别输出分类信息，边界框回归信息，掩码信息，采用多任务损失函数来训练神经网络；
S4、利用训练好的模型对未参加训练的图片进行检测，形成检测集，并显示出检测效果。
2.如权利要求1所述的大型养殖场体征异常禽类检测方法，其特征在于，所述步骤S1中还包括对采集到的养殖场异常禽类数据集在目标分类之前进行扩充操作，所述扩充操作包括对图像进行翻转，旋转，随机裁剪，镜像处理，以使数据集数量满足训练网络模型的需要。
3.如权利要求1所述的大型养殖场体征异常禽类检测方法，其特征在于，所述步骤S1中的检测目标分类是根据热成像图像中显示的温度进行：将体温在30℃以下的目标归于死禽类并进行人工标注；将30℃到35℃的目标归于体征异常类并进行人工标注。
4.如权利要求1或3所述的大型养殖场体征异常禽类检测方法，其特征在于，所述步骤S1中的人工标注采用labelme软件；在进行目标分类标注时，采用多边形标注框对死禽类和体征异常类目标的位置进行勾勒；标注的相关信息自动保存为Json格式文件，并将Json格式文件转化为训练使用的数据集格式。
5.如权利要求1所述的大型养殖场体征异常禽类检测方法，其特征在于，所述步骤S2中深度残差网络的主干网络依次包括输入层、1个独立卷积层、1个最大池化层和4种卷积残差模块，并对经4种卷积模块处理后的卷积层运用全卷积神经网络，即把高层次中低分辨率的特征图融合到低层次中高分辨率的特征图中，以使其具有更强的语义。
6.如权利要求1所述的大型养殖场体征异常禽类检测方法，其特征在于，所述步骤S2中通过区域推荐网络产生候选对象边框的具体方法为：将经四种卷积模块操作处理得到的4种不同的特征图分别输入到区域推荐网络中，区域推荐网络将特征图的每一个像素设置多种不同尺寸和长宽比的检测框，即锚盒；然后为每一个锚盒分配一个二进制标签，用于区别前景和背景；同时对预测出的边界框进行回归操作，使得原始的锚盒经过映射得到与真实的标注框更加接近的回归窗口。
7.如权利要求6所述的大型养殖场体征异常禽类检测方法，其特征在于，所述步骤S2中还采用非极大值抑制算法，将网络提出的建议进行排序，丢弃那些交并比值大于某个预定义阈值的建议，以处理经过筛选后的前景中存在很多重叠锚盒的问题。
8.如权利要求1或7所述的大型养殖场体征异常禽类检测方法，其特征在于，所述步骤S3中进行感兴趣区域融合后，从以下3个网络通道中输出信息：1)全连接预测类别；2)全连接预测矩形框；3)全卷积预测像素分隔。
9.如权利要求1所述的大型养殖场体征异常禽类检测方法，其特征在于，所述步骤S4中采取降低模型在每张图片中的检测目标数的参数配置，使每张图片仅允许检测出一个目标。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910506337.2A CN110200598B (zh) | 2019-06-12 | 2019-06-12 | 一种大型养殖场体征异常禽类检测系统及检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910506337.2A CN110200598B (zh) | 2019-06-12 | 2019-06-12 | 一种大型养殖场体征异常禽类检测系统及检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110200598A CN110200598A (zh) | 2019-09-06 |
| CN110200598B true CN110200598B (zh) | 2020-06-30 |
Family
ID=67792250
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910506337.2A Active CN110200598B (zh) | 2019-06-12 | 2019-06-12 | 一种大型养殖场体征异常禽类检测系统及检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110200598B (zh) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110751075A (zh) * | 2019-10-12 | 2020-02-04 | 海南长光卫星信息技术有限公司 | 一种基于实例分割的遥感影像养殖塘检测方法 |
| CN110646568A (zh) * | 2019-10-12 | 2020-01-03 | 中国农业科学院麻类研究所 | 一种基于动物群体行为的饲料适口性筛选方法 |
| CN111160271B (zh) * | 2019-12-30 | 2023-08-18 | 哈尔滨商业大学 | 一种基于深度学习的室内养鸡场病鸡检测系统 |
| CN111354045A (zh) * | 2020-03-02 | 2020-06-30 | 清华大学 | 一种基于红外热成像的视觉语义与位置感知方法和系统 |
| CN111626985A (zh) * | 2020-04-20 | 2020-09-04 | 北京农业信息技术研究中心 | 基于图像融合的家禽体温检测方法及禽舍巡检系统 |
| CN111623878A (zh) * | 2020-04-27 | 2020-09-04 | 深圳市国脉科技有限公司 | 体温测量方法、装置、计算机可读介质及电子设备 |
| CN113836985A (zh) * | 2020-06-24 | 2021-12-24 | 富士通株式会社 | 图像处理装置、图像处理方法和计算机可读存储介质 |
| CN112068464A (zh) * | 2020-08-10 | 2020-12-11 | 福建浩创智能科技有限公司 | 一种基于主动探测及视觉识别的驱鸟装置及方法 |
| CN112348828A (zh) * | 2020-10-27 | 2021-02-09 | 浙江大华技术股份有限公司 | 基于神经网络的实例分割方法和装置以及存储介质 |
| CN112307991A (zh) * | 2020-11-04 | 2021-02-02 | 北京临近空间飞行器系统工程研究所 | 一种图像识别方法、装置及存储介质 |
| CN112529065B (zh) * | 2020-12-04 | 2024-02-13 | 浙江工业大学 | 一种基于特征对齐和关键点辅助激励的目标检测方法 |
| CN112734731B (zh) * | 2021-01-11 | 2023-07-28 | 牧原食品股份有限公司 | 一种牲畜温度检测方法、装置、设备和存储介质 |
| CN112837297B (zh) * | 2021-02-08 | 2023-04-28 | 福建医科大学附属协和医院 | 一种渐进式多尺度的颅面骨骨折检测方法 |
| CN113695256B (zh) * | 2021-08-18 | 2023-05-23 | 国网江苏省电力有限公司电力科学研究院 | 一种电网异物检测识别方法及装置 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103461187A (zh) * | 2013-09-22 | 2013-12-25 | 青岛殖富园机械有限公司 | 一种鸡笼 |
| CN106569469A (zh) * | 2016-11-11 | 2017-04-19 | 成都谭记胖哥农业服务有限公司 | 一种家庭农场远程监控系统 |
| CN208404530U (zh) * | 2017-07-21 | 2019-01-22 | 中国科学院合肥物质科学研究院 | 一种基于热成像的动物疾病监测装置 |
| CN108052964A (zh) * | 2017-12-05 | 2018-05-18 | 翔创科技（北京）有限公司 | 牲畜状态检测方法、计算机程序、存储介质及电子设备 |
| CN108154097A (zh) * | 2017-12-20 | 2018-06-12 | 中北大学 | 一种笼养鸡健康状况自动化监测球体车轮小车及监测方法 |
| CN108225567A (zh) * | 2017-12-20 | 2018-06-29 | 中北大学 | 一种笼养鸡健康状况自动化监测轮式装置及方法 |
| CN108427729A (zh) * | 2018-02-23 | 2018-08-21 | 浙江工业大学 | 一种基于深度残差网络与哈希编码的大规模图片检索方法 |
| CN108596243B (zh) * | 2018-04-20 | 2021-09-10 | 西安电子科技大学 | 基于分级注视图和条件随机场的眼动注视图预测方法 |
| CN108670256B (zh) * | 2018-05-30 | 2024-04-05 | 北京农业信息技术研究中心 | 一种奶牛呼吸频率监测系统及方法 |
-
2019
- 2019-06-12 CN CN201910506337.2A patent/CN110200598B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN110200598A (zh) | 2019-09-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110200598B (zh) | 一种大型养殖场体征异常禽类检测系统及检测方法 | |
| CN110188807B (zh) | 基于级联超分辨率网络与改进Faster R-CNN的隧道行人目标检测方法 | |
| CN111046880B (zh) | 一种红外目标图像分割方法、系统、电子设备及存储介质 | |
| CN108038424B (zh) | 一种适用于高空作业的视觉自动化检测方法 | |
| CN109949316A (zh) | 一种基于rgb-t融合的电网设备图像弱监督实例分割方法 | |
| CN111881730A (zh) | 一种火电厂现场安全帽佩戴检测方法 | |
| CN110555420B (zh) | 一种基于行人区域特征提取和重识别融合模型网络及方法 | |
| Alzadjali et al. | Maize tassel detection from UAV imagery using deep learning | |
| CN111046728A (zh) | 一种基于特征金字塔网络的秸秆燃烧检测方法 | |
| CN112365467B (zh) | 一种基于单幅图像深度估计的雾天图像能见度估计方法 | |
| Hu et al. | Detection and classification of diseased pine trees with different levels of severity from UAV remote sensing images | |
| CN114821014A (zh) | 基于多模态与对抗学习的多任务目标检测识别方法及装置 | |
| CN114140665A (zh) | 一种基于改进YOLOv5的密集小目标检测方法 | |
| CN113128476A (zh) | 一种基于计算机视觉目标检测的低功耗实时头盔检测方法 | |
| CN112069985A (zh) | 基于深度学习的高分辨率大田图像稻穗检测与计数方法 | |
| CN112613428A (zh) | 基于平衡损失的Resnet-3D卷积牛视频目标检测方法 | |
| CN106023199A (zh) | 一种基于图像分析技术的烟气黑度智能检测方法 | |
| Mmereki et al. | YOLOv3-based human activity recognition as viewed from a moving high-altitude aerial camera | |
| CN114544693A (zh) | 一种基于目标检测的多种室内有害气体浓度异常检测方法及系统 | |
| CN113221667A (zh) | 一种基于深度学习的人脸口罩属性分类方法及系统 | |
| CN113139572A (zh) | 一种基于图像的列车空气弹簧的故障检测方法 | |
| Shanthakumari et al. | Image detection and recognition of different species of animals using deep learning | |
| CN115690778A (zh) | 基于深度神经网络的成熟期水果的检测与跟踪计数的方法 | |
| Eriş et al. | Implementation of target tracking methods on images taken from unmanned aerial vehicles | |
| CN115719475A (zh) | 一种基于深度学习的三阶段轨旁设备故障自动检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |