CN115631402B - 一种适用于智慧养殖的ai算法服务平台构建方法 - Google Patents

一种适用于智慧养殖的ai算法服务平台构建方法 Download PDF

Info

Publication number
CN115631402B
CN115631402B CN202211652715.6A CN202211652715A CN115631402B CN 115631402 B CN115631402 B CN 115631402B CN 202211652715 A CN202211652715 A CN 202211652715A CN 115631402 B CN115631402 B CN 115631402B
Authority
CN
China
Prior art keywords
livestock
algorithm
network model
network
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211652715.6A
Other languages
English (en)
Other versions
CN115631402A (zh
Inventor
张远民
蒋军君
古仁国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Unicom Sichuan Industrial Internet Co Ltd
Original Assignee
China Unicom Sichuan Industrial Internet Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Unicom Sichuan Industrial Internet Co Ltd filed Critical China Unicom Sichuan Industrial Internet Co Ltd
Priority to CN202211652715.6A priority Critical patent/CN115631402B/zh
Publication of CN115631402A publication Critical patent/CN115631402A/zh
Application granted granted Critical
Publication of CN115631402B publication Critical patent/CN115631402B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Abstract

本发明提供一种适用于智慧养殖的AI算法服务平台构建方法，属于畜牧业及深度学习网络构建技术领域；包括构建目标检测算法和目标分割算法，使用目标检测算法完成牲畜点数工作，使用目标分割算法完成牲畜测长估重工作；目标检测算法通过构建具有改进预测端的Yolox模型并训练后获取；改进预测端的检测头具有两个并行分支；目标分割算法通过构建具有两阶段的Mask R‑CNN模型并训练后获取，该模型通过对Faster R‑CNN进行扩展并添加图像分割分支后得到；本发明具有算法收敛速度快、参数及浮点运算数计算量降低、传递速度和性能更加的优势，非常适合应用于畜牧业中进行图像处理，从而完成生产任务中的各类工作。

Description

一种适用于智慧养殖的AI算法服务平台构建方法
技术领域
本发明属于畜牧业及深度学习网络构建技术领域，应用于畜牧业中的牲畜养殖过程中，具体为一种适用于智慧养殖的AI算法服务平台构建方法。
背景技术
随着科技的发展进步，以计算机深度学习高级算法为基础的计算机视觉技术在逐步进入各行各业，为人们的生产生活带来了极大便利；但是，仍然存在一些特定领域，使高新技术难以适应和推广应用，其中以农业、养殖业和畜牧业为代表；此类领域以其独特的地理条件、生产活动环境和用户长久以来养成的生产方式，对高新技术的接受性不强，因而导致生产效率始终无法进一步突破。
同时，深度学习网络等算法技术，适用于工业自动化的控制及研发过程中，在农业、养殖业和畜牧业中，针对动植物的特性，目前还未有能满足生产需求的应用方式，即如何将深度学习技术具体的运用于农业畜牧业的生产生活中，而得到具体的效果，提升效率，是深度学习技术发展存在的一个问题。
在畜牧业中，牲畜养殖是其中的一大类，数量众多的养殖场在对牲畜的养殖管理中，由于养殖圈数量多、通道复杂、每一个养殖圈中容纳的牲畜数量不定，且牲畜在日常活动中需在各区域移动，因此对每一只牲畜的管理工作十分复杂繁琐；对于整个养殖场而言，牲畜的数量清点、测长测重、生存状态监控以及进出管理成为了主要工作重点，由于养殖场面积较大、牲畜数量众多，这类工作因此相当繁琐，工作量大，导致养殖管理的效率始终无法突破。
由于图像监控设备的发展，对于大面积的养殖场，诸如监控摄像头等图像采集设备可方便的获取牲畜图像；而深度学习网络在图像处理方面具有优点，因此提供了深度学习技术在畜牧业中的一个应用可能性；但是，现有的深度学习图像处理网络，无法较好的面对畜牧业图像中存在的问题，例如牲畜密度大、牲畜挤挨在一起和牲畜间互相遮挡严重的问题，这些问题导致图像检测和识别结果出现误差，而无法具有实际的可应用性。
因此，将深度学习网络技术应用于牲畜养殖过程中的检测和识别过程时，还需克服较多的困难；传统的深度学习网络，在对图像处理的过程中，也相应存在着不适合及未克服的问题；以Yolo系列检测识别网络为例，其网络主干和特征金字塔虽然随着发展不断改进，但其检测头始终是耦合的，因此对于Yolo系列算法的耦合头始终会降低性能；并且，Yolov3至Yolov5都采用了Anchor-based方式，该方式存在着需提前设计锚点、需对图片进行密集采样和包含太多负样本信息的问题。
而在图像识别过程中最常用的CNN类网络，其原始特征金字塔网络结构（Featurepyramid network，FPN）也同样存在着不适合应用的问题；FPN通过将高层特征图上采样后与下层特征图相加实现不同网络层提取的特征融合，自顶向下将高层特征逐层向下传递，只增强了高层的语义信息，没有增强底层信息，而神经网络的底层信息多是边缘、形状等特征，这些特征对像素级的实例分割非常重要，尤其是养殖场应用场景中，受现场条件影响较大，比如光照条件较差，目标之间互相挤压遮挡严重，目标轮廓边缘经常不是特别清晰。
综上，若想要在牲畜养殖过程中运用深度学习网络技术实现生产效率的提升，则需首先克服相应的深度学习网络中存在的不足之处，再依据畜牧业牲畜养殖的具体特点进行全新设计；若完成技术的应用及相应平台的搭建，将有助于提高畜牧业人员对新兴技术的使用兴趣，因此如何完成算法改进与牲畜养殖平台搭建，是相关研究人员的主要关注点。
发明内容
本发明通过重新设计和改进图像处理过程中的深度学习网络技术，并结合牲畜养殖过程中的特点，实现了应用深度学习网络技术构建智能养殖服务平台的效果；由于深度学习网络技术的改进，本发明具有算法收敛速度快、参数及浮点运算数计算量降低、传递速度和性能更加的优势，非常适合应用于畜牧业中进行图像处理，从而完成生产任务中的各类工作。
本发明采用了以下技术方案来实现目的：
一种适用于智慧养殖的AI算法服务平台构建方法，包括：
依次构建AI算法服务平台中的目标检测算法和目标分割算法，使用目标检测算法对牲畜原始图像进行处理，得到牲畜检测图像，依据牲畜检测图像进行牲畜点数工作；
使用目标分割算法对牲畜检测图像进行处理，得到牲畜特征结果，依据牲畜特征结果进行牲畜测长估重工作；
所述目标检测算法，通过构建具有改进预测端的Yolox网络模型，并对所述Yolox网络模型的训练完成后获取；所述改进预测端的检测头为具有两个并行分支的Decoupledhead；
所述目标分割算法，通过构建具有两阶段的Mask R-CNN网络模型，并对所述MaskR-CNN网络模型的训练完成后获取；所述Mask R-CNN网络模型，通过对Faster R-CNN目标检测框架进行扩展并添加图像分割分支后获取；在Mask R-CNN网络模型的构建过程中，第一阶段通过区域建议网络RPN生成建议框，第二阶段通过对第一阶段生成的建议框与感兴趣区域对齐，获得目标在特征图上的特征矩阵，最终得出特征结果。
优选的，采用牲畜检测数据集对所述Yolox网络模型和所述Mask R-CNN网络模型进行训练；所述牲畜检测数据集为进行过数据增强处理的牲畜原始图像，所述牲畜原始图像由设置于每一个牲畜养殖圈顶部中心的高精度摄像头持续录制视频后，进行关键帧切割处理得到；在训练过程中，所述牲畜检测数据集被划分为训练集、验证集和测试集。
进一步的，所述Yolox网络模型由主干网络、改进预测端和颈部网络组成；所述主干网络对所述牲畜检测数据集进行特征提取，所述改进预测端对提取的特征进行分类和回归分析，所述颈部网络同时使用特征金字塔网络结构FPN和金字塔注意力结构PAN，增强对提取的特征的融合能力。
进一步的，所述主干网络包括Focus网络结构、跨阶段局部网络结构CSPLayer和空间金字塔池网络结构SPP；在构建过程中，跨阶段局部网络结构CSPLayer包括两个分支，一个分支经由多个Bottleneck模块进行堆叠后得到，另一个分支只进行卷积层处理后得到，将两个分支的输出相连后经过一个卷积层，从而增强特征提取能力；在构建过程中，空间金字塔池网络结构SPP在不同的池化层中进行特征提取操作，采用多尺度的最大池化层提取所述牲畜检测数据集的图片特征。
进一步的，所述改进预测端还采用有Anchor-free方式、Multi-positives方式和SimOTA方式；在构建过程中，所述Anchor-free方式选取牲畜检测数据集中每张图片的对象中心作为正样本并确定对象的特征金字塔网络结构FPN级别，所述Multi-positives方式则结合Anchor-free方式，将牲畜检测数据集中每张图片的对象中心所在区域重新作为正样本；所述SimOTA方式将多个对象在同样数量的正样本下进行分配。
进一步的，所述Mask R-CNN网络模型采用了Swin-Transform方式进行特征提取，同时在原始的特征金字塔网络结构FPN后添加有一条自底向上的增强路径，将底层的定位特征向上传递。
进一步的，构建并训练完成所述Mask R-CNN网络模型后，所述目标分割算法的具体流程包括如下步骤：
步骤1、将牲畜原始图像输入到预先训练好的Swin-Transform方式的Mask R-CNN网络模型中，提取特征并得到相应的特征图；
步骤2、将特征图通过区域建议网络RPN后获得大量感兴趣区域RoI，然后借助Softmax分类器将前景和背景进行二值分类，使用边界框回归获得更准确的候选框位置信息，并通过非最大抑制过滤掉部分感兴趣区域RoI；
步骤3、将特征图和剩余的感兴趣区域RoI发送到RoIAlign层进行尺寸统一，使每个感兴趣区域RoI都生成一个固定大小的特征图；
步骤4、将尺寸统一的特征图通过两个分支，其中一个分支为全连接层，进行目标分类和边界框回归操作，另一个分支为全卷积神经网络FCN，进行像素分割操作。
进一步的，构建过程中，所述RoIAlign层的获取方法为：对Faster R-CNN目标检测框架进行扩展并添加图像分割分支后的Mask R-CNN网络模型，将其中的RoI池化层变为感兴趣区域对齐层，从而获得RoIAlign层；构建过程中，使用双线性插值法计算每个对象中正样本的准确位置，然后使用最大池化或平均池化操作，最后输出固定大小的感兴趣区域RoI。
具体的，通过采用Kubernetes容器编排引擎和Torchserve深度学习模型部署框架，为所述AI算法服务平台构建虚拟化资源池；所述虚拟化资源池为AI算法服务平台提供硬件资源支撑，硬件资源包括计算服务、网络服务和存储服务；具有硬件资源支撑后，构建完成的目标检测算法和目标分割算法，随后进行应用层的构建；所述应用层包括牲畜点数工作中的圈内存栏实时点数、牲畜终端拍照点数、圈内通道视频点数、栏位实时动态点数和异动告警推送；所述应用层还包括牲畜测长估重工作中的活体区域整体估重和个体精确测长测重。
综上所述，由于采用了本技术方案，本发明的有益效果如下：
本发明对传统的深度学习模型进行了改进，使其能适用于畜牧业中牲畜养殖过程的图像检测识别工作，获得更优的检测识别效果；传统的Yolo网络模型的主干和特征金字塔虽然在不断改进，但是其检测头仍然是耦合的，对于Yolo网络模型算法耦合头，会降低其性能，因此本发明对使用的Yolox网络模型预测端进行改进，改进预测端的检测头为具有两个并行分支的Decoupled head，使得算法收敛速度大幅提升，以应对牲畜养殖过程中由于牲畜移动快速复杂且不可预测的现象，保证实时检测和识别的效果。
本发明中，改进预测端还采用有Anchor-free方式，在具体应用时，其让每个位置预测的数量从3减至1，并且同时预测检测网格左上角的两个偏移量和预测框的高度及宽度；此方式使AI算法服务平台的参数和浮点运算数得到了降低，传递速度和性能因此更佳。
目标分割算法在原始特征金字塔网络结构后增加了一条自底向上的增强路径，将底层定位特征向上传递，从而提高了边界框定位的精确性，很好的解决了牲畜密度大且遮挡严重的问题；同时，该问题首先通过选择摄像头的安装位置，通过将摄像头设置于每一个牲畜养殖圈顶部中心位置，从而将产生该问题的可能性降至最低。
最终，本发明在虚拟化硬件资源管理和应用层构建的支持下，使对牲畜养殖过程中的绝大部分生产工作，实现了可由深度学习网络技术进行辅助执行的特点；因此本发明能提高畜牧业牲畜养殖过程的生产和管理效率，也能提高从业人员对新兴技术的使用并发展的兴趣，为传统行业接轨高技术提供了可行性支撑。
附图说明
图1为智慧养殖AI算法服务平台的构架组成示意图；
图2为对牲畜原始图像的数据增强处理过程及结果示意图；
图3为Focus网络的结构示意图；
图4为跨阶段局部网络结构CSPLayer的结构示意图；
图5为空间金字塔池网络结构SPP的结构示意图；
图6为改进预测端中Decoupled head的结构示意图；
图7为Mask R-CNN网络模型的架构示意图；
图8为特征金字塔网络结构FPN添加增强路径后的结构示意图；
图9为特征金字塔网络结构FPN的特征图运算过程示意图；
图10为RoIAlign层的处理输出示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以按各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
实施例1
一种适用于智慧养殖的AI算法服务平台构建方法，包括：
依次构建AI算法服务平台中的目标检测算法和目标分割算法，使用目标检测算法对牲畜原始图像进行处理，得到牲畜检测图像，依据牲畜检测图像进行牲畜点数工作；
使用目标分割算法对牲畜检测图像进行处理，得到牲畜特征结果，依据牲畜特征结果进行牲畜测长估重工作；
目标检测算法，通过构建具有改进预测端的Yolox网络模型，并对Yolox网络模型的训练完成后获取；改进预测端的检测头为具有两个并行分支的Decoupled head；
目标分割算法，通过构建具有两阶段的Mask R-CNN网络模型，并对Mask R-CNN网络模型的训练完成后获取；Mask R-CNN网络模型，通过对Faster R-CNN目标检测框架进行扩展并添加图像分割分支后获取；在Mask R-CNN网络模型的构建过程中，第一阶段通过区域建议网络RPN生成建议框，第二阶段通过对第一阶段生成的建议框与感兴趣区域对齐，获得目标在特征图上的特征矩阵，最终得出特征结果。
经过上述方法完成构建后的智慧养殖AI算法服务平台架构，可参看图1。
本实施例中，通过深度学习网络的改进，应用于牲畜养殖的具体工作中；其中，牲畜点数工作包括圈内存栏实时点数、牲畜终端拍照点数、圈内通道视频点数、栏位实时动态点数和异动告警推送，这些工作在深度学习网络对图像中的牲畜进行检测识别后即可完成数量的计算与统计，对各区域以各类方式进行点数；牲畜测长估重工作则包括活体区域整体估重和个体精确测长测重，这些工作需要深度学习网络对图像中的牲畜在进行检测识别后，进一步分割牲畜前景和背景，从而获得某一标准牲畜位置下的牲畜长度、宽度，再依据本领域的经验数据统计表，由长度宽度等数据得出该牲畜的重量预估值，并保证达到实际应用的程度。
本实施例将详细介绍与目标检测算法有关的构建及模型训练和获取方法。
首先进行牲畜原始图像的收集，并经过数据增强处理后，得到牲畜检测数据集；本实施例中对牲畜原始图像的收集，通过设置于每一个牲畜养殖圈顶部中心的高精度摄像头持续录制视频的方式进行。
本实施例中，数据增强处理具体如下：
对采集视频的视频的关键帧进行切割处理，得到3000张分辨率为1920×1080的俯视角图片，按照8：1：1的比例将图片划分为训练集、验证集和测试集，因此训练集包含2400张图片，验证集和测试集各包含300张图片。使用LabelImg工具对筛选后的图片进行标注，并将标注好的信息按照通用的PASCAL VOC格式保存为与图像相对应且同名的xml格式文件，该文件中记录了图片中每个牲畜目标的类别名称、矩形框位置等牲畜生产管理工作中所需的信息。
对标注的数据文件进行180°翻转，从而丰富牲畜检测数据集，使模型泛化能力增强；对标注的图片使用Mosaic数据增强，对每四张图片进行随机裁剪、随机拼接、随机缩放等，以解决数据集中小目标较少的问题。数据增强处理的过程和结果可看参看图2的示意。
接下来介绍本实施例中Yolox网络模型的具体内容。
得益于Yolo算法的提出与发展，该算法在目标检测任务上获得较高的精度的同时，处理速度也接近实时应用的要求；因此本实施例采用Yolox网络模型作为目标检测算法的基础网络模型，并结合实际养殖场场景下牲畜检测任务的要求进行调整，从而实现牲畜目标检测效果足够好的模型，提高了AI系统平台对指定区域牲畜点数的准确度。
Yolox网络模型由主干网络、改进预测端和颈部网络组成，主干网络对牲畜检测数据集进行特征提取，改进预测端对提取的特征进行分类和回归分析，颈部网络同时使用特征金字塔网络结构（Feature Pyramid Networks，FPN）和金字塔注意力结构（PyramidAttention Network，PAN），增强对提取的特征的融合能力。
主干网络部分主要采用Focus网络结构、跨阶段局部网络结构（Cross StagePartial Layer，CSPLayer）和空间金字塔池网络结构（Spatial Pyramid Pooling，SPP）。
Focus网络结构中，输入640×640×3的图像，经过切片操作变为320×320×12的特征图，再经过64个卷积核即变为320×320×64的特征图。Focus网络结构可参看图3的示意。
跨阶段局部网络结构CSPLayer由两个分支组成，一个分支经由X个Bottleneck模块堆叠，另一个分支只进行卷积层处理；两个分支输出处再相连并经过一个卷积层，使得网络深度增加，增强特征提取能力。跨阶段局部网络结构CSPLayer可参看图4的示意。
空间金字塔池网络结构SPP主要通过在不同池化层中进行特征提取，增加网络的感受视野，以融合更多的特征信息；采用1×1、5×5、9×9和13×13尺度的最大池化层提取图片特征。空间金字塔池网络结构SPP可参看图5的示意。
颈部网络中，特征金字塔网络结构FPN是自上而下的，通过上采样的方式与下层特征进行传递融合，从而传达语义特征；金字塔注意力结构PAN是自下而上的，通过下采样的方式与上层特征进行融合，从而传达位置特征，本实施例的颈部网络将二者同时使用，可增强网络特征的融合能力。
改进预测端中，检测头由传统的Yolo head改进为Decoupled head，并同时采用了Anchor-free方式、Multi-positives方式和SimOTA方式。
本实施例中，传统的Yolo head耦合检测头在改进为具有两个并行分支的Decoupled head后，收敛速度大幅提升。Decoupled head结构可参看图6的示意。
传统的Yolox网络模型中，Yolov3至Yolov3都采用了Anchor-based方式，该方式存在需提前设计锚点、需对图片进行密集采样和包含太多负样本信息的问题；本实施例中的Yolox网络模型采用Anchor-free方式，让每个位置预测的数量从3减少至1，并同时预测网格左上角的两个偏移量和预测框的高度、宽度；同时，将每个目标对象物体的中心当成正样本，并提前定义了一个标准点范围，来确定每个对象的特征金字塔网络结构FPN级别。此方式使探测器的参数和浮点运算数得到了降低，传递速度和性能也更佳。
由于Anchor-free方式让每张图片的目标对象物体只选取一个正样本，这可能会导致正负样本数不匹配的现象，因此同时采用了Multi-positives方式；Multi-positives方式提出将中心点所在网格的3×3区域赋为正样本，使得Yolox网络模型性能得到较好提升。
SimOTA方式是基于最优传输分配算法（Optimal Transport Assignment，OTA）进行的改进；OTA通过将标签分配过程转化为最优运输问题（Optimal Transport，OT），来解决不同目标在同样数量正样本情况下产生不合理分配的问题。本实施例在采用SimOTA方式时，将其中的Sinkhorn-Knopp算法简化为动态TOP-K策略，因此可以缩短约25%的训练时间，同时提高Yolox网络模型的识别精度。
本领域人员知晓现有技术中上述各方式及其算法的传统含义内容及使用，通过本实施例中对应方式的改进应用后，可实际应用并解决牲畜养殖过程中复杂特点的目标检测难题，从而获得具有实际应用价值的目标检测算法。
在对上述Yolox网络模型的架构部分进行改进并构建完成后，整个Yolox网络模型进行预测并得出检测识别结果的流程可叙述如下：首先通过一个1×1的卷积将每个特征图的通道数减少到256，然后通过两个平行的分支进行两次3×3卷积后分别进行分类和回归，同时在回归的分支加了一个IoU的分支；于是对于每一个特征层，均可获得如下3个预测结果：
（1）Reg_output(h,w,4)：对目标框的位置信息进行预测，4个参数分别为x，y，w，h，其中x和y是预测框的中心点的坐标，w和h是预测框的宽和高。
（2）Obj_output(h,w,1)：用于判断目标框是前景还是背景，经过Sigmoid函数处理后，即为前景的置信度。
（3）Cls_output(h,w,num_classes)：判断目标框内属于哪一类目标，给每类目标一个分数，经过Sigmoid函数处理后可得到每一类目标的置信度。
将上述3个预测结果进行堆叠后，每个特征层获得的结果即为Output(h,w,4+1+num_classses)，其中前4个参数判断每一个目标框的位置信息；第5个参数判断目标框内是否包含目标对象物体；最后num_classes个参数判断目标框内所包含的目标对象物体的种类。
实施例2
在实施例1的基础上，本实施例将详细介绍与目标分割算法有关的构建及模型训练和获取方法；目标分割算法也包含实施例1中目标检测算法的部分思路，具有检测识别能力，但对于牲畜测长估重工作，则只能由目标分割算法精确识别牲畜轮廓后进行。
牲畜检测数据集的采集与处理过程与实施例1类似，不同的地方在于：对得到的图片使用labelme标注工具进行标注后，使用多边形线段描出每个牲畜的个体和头部的轮廓，并对所有的牲畜个体赋予标签“livestock”。对训练集和测试集中的图片依次进行标注后，将标注的信息文件保存为json格式，最后整理得到准备好的训练集与测试集。
图像实例分割是在对象检测的基础上进一步细化，分离对象的前景与背景，实现像素级别的对象分离；由于数据集是有限的，本实施例选择Mask R-CNN网络模型作为牲畜测长估重工作的基准算法模型，即目标分割算法。Mask R-CNN网络模型的提出来自FasterR-CNN目标检测框架的扩展，其思路是对Faster R-CNN框架中的部分分支进行扩展并添加了图像分割分支，实现了目标检测和图像分割的结合。Mask R-CNN网络模型包括两阶段，第一阶段通过区域建议网络RPN生成一系列建议框；第二阶段通过对第一阶段生成的建议框与感兴趣区域对齐获得目标在特征图上的特征矩阵；最后经过分类，边界框回归，掩码3个分支进行预测。
本实施例中，Mask R-CNN网络模型是基于pytorch框架所构成的，在进行牲畜测长估重工作时，针对牲畜密度大、遮挡严重的特殊问题，采用了Swin-Transform方式作为特征提取网络，并同样的也在原始的特征金字塔网络结构FPN后添加一条自底向上的增强路径，将底层定位特征向上传递，提高边界框定位的精确性。Mask R-CNN网络模型的架构可参看图7的示意。
对Mask R-CNN网络模型构建后，目标分割算法的具体流程包括如下步骤：
步骤1、将牲畜原始图像输入到预先训练好的Swin-Transform方式的Mask R-CNN网络模型中，提取特征并得到相应的特征图；
步骤2、将特征图通过区域建议网络RPN后获得大量感兴趣区域RoI，然后借助Softmax分类器将前景和背景进行二值分类，使用边界框回归获得更准确的候选框位置信息，并通过非最大抑制过滤掉部分感兴趣区域RoI；
步骤3、将特征图和剩余的感兴趣区域RoI发送到RoIAlign层进行尺寸统一，使每个感兴趣区域RoI都生成一个固定大小的特征图；
步骤4、将尺寸统一的特征图通过两个分支，其中一个分支为全连接层，进行目标分类和边界框回归操作，另一个分支为全卷积神经网络FCN，进行像素分割操作。
本实施例中，在原始的特征金字塔网络结构FPN后添加一条自底向上的增强路径，具体实现过程如下，请同时参看图8的总体结构和图9的特征图运算过程，虚线框内为增加的增强路径；设计N2层至N4层，N3层至N5层的快速增强路径，特征图N2层尺寸与P2层相同，经过步长为2的3×3卷积后，与P3层经1×1卷积求和得到N3层；同时，N2层经过步长为4的5×5卷积后，与P4层经1×1卷积求和得到N4层，并依次得到N5层和N6层。
接下来介绍目标分割算法流程中涉及的感兴趣区域对齐层，即RoIAlign层。
Mask R-CNN网络模型中的Mask分支对目标的像素进行分类时，必须确定像素的位置，并且精度必须保持在像素级。当输入的原始图像经过大量的卷积操作之后，图像中的像素位置发生变化，当进行像素级分割时，就会导致图像中的目标无法准确的定位，因此MaskR-CNN网络模型在Faster R-CNN目标检测框架的基础上进行了改进，将RoI池化层变为感兴趣区域对齐层（RoIAlign层），从而去除了量化操作，使用双线性插值法计算每个单位中样本点的准确位置，保留其小数，然后使用最大池化或平均池化操作，最后输出一个固定大小的感兴趣区域RoI。如图10所示，左边虚线表示卷积后的5×5特征图，实线为特征图中感兴趣区域RoI对应的特征小块，RoIAlign层保持浮点数边界，不进行量化处理，右边的虚线为RoIAlign层统一尺寸的输出和特征图。
该部分的算法具体流程如下：
（1）将特征图分为很多的特征块，并将划分后的特征块分为2×2个单元，其中先不对每个单元的边界进行量化；
（2）将分配好的单元再次划分为4小块，利用双线插值法计算这4个小块各自的中心点坐标值，如图10中的实线框中的圆点所示；
（3）对特征图使用最大池化或者平均池化操作，得到2×2大小的特征图，如图10中的右侧虚线特征图。
其中，双线性插值法保留了特征图上的空间信息，很大程度上解决了RoI池化层中特征图的两次量化所引起的误差，并解决了图像中目标的区域不匹配问题，可以更准确地实现像素级的检测分割。
实施例3
在实施例1和2的基础上，完成智慧养殖AI算法服务平台中目标检测算法和目标分割算法的构建之前，还需要完善硬件的调度支撑方法，以对算法的构建和训练提供硬件基础，从而最终使整个平台完成构建并能进行实际应用。
本实施例中，通过采用Kubernetes容器编排引擎和Torchserve深度学习模型部署框架，为智慧养殖AI算法服务平台构建虚拟化资源池；虚拟化资源池为智慧养殖AI算法服务平台提供硬件资源支撑，硬件资源包括计算服务、网络服务和存储服务；具有硬件资源支撑后，构建完成目标检测算法和目标分割算法，随后进行应用层的构建；应用层即涵盖牲畜养殖过程中的两大类工作内容：牲畜点数工作和牲畜测长估重工作。
Kubernetes容器编排引擎是云原生生态的基石之一，用于为智慧养殖AI算法服务平台提供丰富的容器编排与管理能力；编排能够构建多容器的应用服务，在集群上调度或伸缩这些容器，以及监控它们健康状态，定期检查，发现异常时自动恢复，最大限度地缩短故障持续时间、减少相关故障的概率。
Torchserve深度学习模型部署框架用于提供微服务，其是一种PYtorch模型服务库，可使大规模部署经过训练的PyTorch模型更加轻松，不需要编写自定义代码；因此适合应用于本实施例的智慧养殖AI算法服务平台中，对目标检测算法和目标分割算法提供部署支持。
本实施例中，智慧养殖AI算法服务平台的构建时，将分别设计两种接口，一个为对外提供RESTFUL接口，用以上传图片存储服务、鉴权授权机制和调用相应的算法模型；另一个为模型调用接口，通过Kubernetes容器编排引擎部署服务调用集群，再采用Torchserve深度学习模型部署框架部署相应算法模型的被调用接口。
本实施例中，可针对牲畜养殖过程中的两大类工作内容中的具体工作，对相应的算法进行适应性针对训练后再构建部署；智慧养殖AI算法服务平台中将包括多种针对不同工作要求的目标检测算法和目标分割算法，当具体执行某一项点数或测长估重工作时，通过调用相应的算法，使得出的检测识别结果更准确，以达到更好的实用效果。

Claims (2)

1.一种适用于智慧养殖的AI算法服务平台构建方法，其特征在于，包括：
依次构建AI算法服务平台中的目标检测算法和目标分割算法，使用目标检测算法对牲畜原始图像进行处理，得到牲畜检测图像，依据牲畜检测图像进行牲畜点数工作；
使用目标分割算法对牲畜检测图像进行处理，得到牲畜特征结果，依据牲畜特征结果进行牲畜测长估重工作；
所述目标检测算法，通过构建具有改进预测端的Yolox网络模型，并对所述Yolox网络模型的训练完成后获取；所述改进预测端的检测头为具有两个并行分支的Decoupledhead；
所述目标分割算法，通过构建具有两阶段的Mask R-CNN网络模型，并对所述Mask R-CNN网络模型的训练完成后获取；所述Mask R-CNN网络模型，通过对Faster R-CNN目标检测框架进行扩展并添加图像分割分支后获取；在Mask R-CNN网络模型的构建过程中，第一阶段通过区域建议网络RPN生成建议框，第二阶段通过对第一阶段生成的建议框与感兴趣区域对齐，获得目标在特征图上的特征矩阵，最终得出特征结果；
上述构建过程中，采用牲畜检测数据集对所述Yolox网络模型和所述Mask R-CNN网络模型进行训练；对所述牲畜原始图像进行数据增强处理后，得到所述牲畜检测数据集；所述牲畜原始图像由设置于每一个牲畜养殖圈顶部中心的高精度摄像头持续录制视频后，进行关键帧切割处理得到；在所述Yolox网络模型和所述Mask R-CNN网络模型的训练过程中，所述牲畜检测数据集被划分为训练集、验证集和测试集；
其中，所述Yolox网络模型由主干网络、改进预测端和颈部网络组成；所述主干网络对所述牲畜检测数据集进行特征提取；所述改进预测端对提取的特征进行分类和回归分析；所述颈部网络同时使用特征金字塔网络结构FPN和金字塔注意力结构PAN，增强对提取的特征的融合能力；
所述Yolox网络模型的改进预测端采用Anchor-free方式、Multi-positives方式和SimOTA方式；所述Anchor-free方式选取牲畜检测数据集中每张图片的对象中心作为正样本并确定对象的特征金字塔网络结构FPN级别；所述Multi-positives方式结合Anchor-free方式，将牲畜检测数据集中每张图片的对象中心所在区域重新作为正样本；所述SimOTA方式将多个对象在同样数量的正样本下进行分配，在采用SimOTA方式时，将SimOTA方式中的Sinkhorn-Knopp算法简化为动态TOP-K策略；
在构建Mask R-CNN网络模型时，采用了Swin-Transform方式进行所述Mask R-CNN网络模型中的特征提取，同时在所述Mask R-CNN网络模型中的原始的特征金字塔网络结构FPN后添加有一条自底向上的增强路径，将底层的定位特征向上传递；构建并训练完成所述Mask R-CNN网络模型后，所述目标分割算法的具体流程包括如下步骤：
步骤1、将牲畜原始图像输入到预先训练好的Swin-Transform方式的Mask R-CNN网络模型中，提取特征并得到相应的特征图；
步骤2、将特征图通过区域建议网络RPN后获得大量感兴趣区域RoI，然后借助Softmax分类器将前景和背景进行二值分类，使用边界框回归获得更准确的候选框位置信息，并通过非最大抑制过滤掉部分感兴趣区域RoI；
步骤3、将特征图和剩余的感兴趣区域RoI发送到RoIAlign层进行尺寸统一，使每个感兴趣区域RoI都生成一个固定大小的特征图；
步骤4、将尺寸统一的特征图通过两个分支，其中一个分支为全连接层，进行目标分类和边界框回归操作，另一个分支为全卷积神经网络FCN，进行像素分割操作；
所述步骤3中的RoIAlign层的获取方法为：对Faster R-CNN目标检测框架进行扩展并添加图像分割分支后的Mask R-CNN网络模型，将其中的RoI池化层变为感兴趣区域对齐层，从而获得RoIAlign层；构建过程中，使用双线性插值法计算每个对象中正样本的准确位置，然后使用最大池化或平均池化操作，最后输出固定大小的感兴趣区域RoI；
并且，还通过采用Kubernetes容器编排引擎和Torchserve深度学习模型部署框架，为所述AI算法服务平台构建虚拟化资源池；所述虚拟化资源池为AI算法服务平台提供硬件资源支撑，硬件资源包括计算服务、网络服务和存储服务；在具有硬件资源支撑的基础上，依据得到的目标检测算法和目标分割算法，进行应用层的构建；所述应用层包括牲畜点数工作中的圈内存栏实时点数、牲畜终端拍照点数、圈内通道视频点数、栏位实时动态点数和异动告警推送；所述应用层还包括牲畜测长估重工作中的活体区域整体估重和个体精确测长测重。
2.根据权利要求1所述的一种适用于智慧养殖的AI算法服务平台构建方法，其特征在于：所述Yolox网络模型的主干网络包括Focus网络结构、跨阶段局部网络结构CSPLayer和空间金字塔池网络结构SPP；在构建过程中，跨阶段局部网络结构CSPLayer包括两个分支，一个分支经由多个Bottleneck模块进行堆叠后得到，另一个分支只进行卷积层处理后得到，将两个分支的输出相连后经过一个卷积层，从而增强特征提取能力；在构建过程中，空间金字塔池网络结构SPP在不同的池化层中进行特征提取操作，采用多尺度的最大池化层提取所述牲畜检测数据集的图片特征。
CN202211652715.6A 2022-12-22 2022-12-22 一种适用于智慧养殖的ai算法服务平台构建方法 Active CN115631402B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211652715.6A CN115631402B (zh) 2022-12-22 2022-12-22 一种适用于智慧养殖的ai算法服务平台构建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211652715.6A CN115631402B (zh) 2022-12-22 2022-12-22 一种适用于智慧养殖的ai算法服务平台构建方法

Publications (2)

Publication Number Publication Date
CN115631402A CN115631402A (zh) 2023-01-20
CN115631402B true CN115631402B (zh) 2023-05-23

Family

ID=84909817

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211652715.6A Active CN115631402B (zh) 2022-12-22 2022-12-22 一种适用于智慧养殖的ai算法服务平台构建方法

Country Status (1)

Country Link
CN (1) CN115631402B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116596167B (zh) * 2023-07-17 2023-09-19 湖南华牧全安数字科技有限公司 一种基于数据深度融合处理的牲畜养殖方案优化方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516071A (zh) * 2021-07-08 2021-10-19 深圳喜为智慧科技有限公司 一种猪只估重方法
CN114241325A (zh) * 2022-02-07 2022-03-25 中国科学院地理科学与资源研究所 基于街景图片的空调挂机空间分布自动识别方法及系统
CN114419131A (zh) * 2022-01-05 2022-04-29 河南牧原智能科技有限公司 用于获取牲畜体重的方法、设备及计算机可读存储介质
CN114882303A (zh) * 2021-09-28 2022-08-09 四川雪月天佑农牧科技有限公司 一种基于帧过滤和目标检测的牲畜计数方法
CN115170475A (zh) * 2022-06-08 2022-10-11 哈尔滨理工大学 一种基于深度学习方法的无纺布缺陷检测方法
CN115223191A (zh) * 2022-05-18 2022-10-21 华南农业大学 一种群养生猪行为的识别和跟踪方法
CN115424292A (zh) * 2022-07-29 2022-12-02 华南农业大学 基于改进YOLOX与DeepSORT的鱼群跟踪方法
CN115471670A (zh) * 2022-07-20 2022-12-13 中国科学院西安光学精密机械研究所 一种基于改进yolox网络模型的空间目标检测方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112270268A (zh) * 2020-10-29 2021-01-26 重庆邮电大学 一种非结构化环境下基于深度学习的果实采摘机器人目标检测方法
CN115223093A (zh) * 2022-07-18 2022-10-21 江苏尊释智能科技有限公司 一种基于改进的yolox网络的工地安全帽佩戴检测方法
CN115496729A (zh) * 2022-09-26 2022-12-20 大连大学 基于改进yolox模型的樱桃缺陷及分级检测方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113516071A (zh) * 2021-07-08 2021-10-19 深圳喜为智慧科技有限公司 一种猪只估重方法
CN114882303A (zh) * 2021-09-28 2022-08-09 四川雪月天佑农牧科技有限公司 一种基于帧过滤和目标检测的牲畜计数方法
CN114419131A (zh) * 2022-01-05 2022-04-29 河南牧原智能科技有限公司 用于获取牲畜体重的方法、设备及计算机可读存储介质
CN114241325A (zh) * 2022-02-07 2022-03-25 中国科学院地理科学与资源研究所 基于街景图片的空调挂机空间分布自动识别方法及系统
CN115223191A (zh) * 2022-05-18 2022-10-21 华南农业大学 一种群养生猪行为的识别和跟踪方法
CN115170475A (zh) * 2022-06-08 2022-10-11 哈尔滨理工大学 一种基于深度学习方法的无纺布缺陷检测方法
CN115471670A (zh) * 2022-07-20 2022-12-13 中国科学院西安光学精密机械研究所 一种基于改进yolox网络模型的空间目标检测方法
CN115424292A (zh) * 2022-07-29 2022-12-02 华南农业大学 基于改进YOLOX与DeepSORT的鱼群跟踪方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的群猪图像实例分割方法;高云;郭继亮;黎煊;雷明刚;卢军;童宇;;农业机械学报(第04期) *

Also Published As

Publication number Publication date
CN115631402A (zh) 2023-01-20

Similar Documents

Publication Publication Date Title
CN110321923B (zh) 不同尺度感受野特征层融合的目标检测方法、系统及介质
JP6915349B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN110210387B (zh) 基于知识图谱的绝缘子目标检测方法、系统、装置
Rizwan Iqbal et al. Classification and grading of harvested mangoes using convolutional neural network
CN106372648A (zh) 基于多特征融合卷积神经网络的浮游生物图像分类方法
CN115631402B (zh) 一种适用于智慧养殖的ai算法服务平台构建方法
CN114548208A (zh) 一种基于YOLOv5改进的植物种子实时分类检测方法
CN113160150A (zh) 基于多类型样本融合与多复杂网络的线网异物入侵ai检测方法与装置
Serouart et al. SegVeg: Segmenting RGB images into green and senescent vegetation by combining deep and shallow methods
Xiao et al. Deep learning-based spatiotemporal fusion of unmanned aerial vehicle and satellite reflectance images for crop monitoring
CN114359245A (zh) 一种工业场景下产品表面缺陷检测方法
Roggiolani et al. Hierarchical approach for joint semantic, plant instance, and leaf instance segmentation in the agricultural domain
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN114898359B (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN116434012A (zh) 一种基于边缘感知的轻量型棉铃检测方法及系统
Kalampokas et al. Semantic segmentation of vineyard images using convolutional neural networks
Lu et al. Citrus green fruit detection via improved feature network extraction
Ärje et al. Automatic flower detection and classification system using a light-weight convolutional neural network
KR102492843B1 (ko) 지리적 공간에 대한 시공간 데이터 분석 방법 및 장치
Carlsson et al. Artificial intelligence applied to the classification of eight middle Eocene species of the genus Podocyrtis (polycystine radiolaria)
CN114913523B (zh) 基于yolox的植物气孔多功能实时智能识别系统
CN116740337A (zh) 一种红花采摘点识别定位方法及采摘系统
CN116188993A (zh) 一种基于多任务学习的遥感图像耕地地块分割方法
CN114882011A (zh) 一种基于改进Scaled-YOLOv4模型的织物瑕疵检测方法
KR20220144237A (ko) 구름 이미지를 이용한 실시간 강수량 예측 장치, 이를 이용한 강수량 예측 방법 및 이를 제공하기 위한 컴퓨터 프로그램이 기록된 컴퓨터-판독가능매체

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20230120

Assignee: Sichuan Digital Star Technology Co.,Ltd.

Assignor: China Unicom (Sichuan) Industrial Internet Co.,Ltd.

Contract record no.: X2024980003189

Denomination of invention: A method for constructing an AI algorithm service platform suitable for smart aquaculture

Granted publication date: 20230523

License type: Common License

Record date: 20240326

EE01 Entry into force of recordation of patent licensing contract