CN113516201B - 一种基于深度神经网络的肉兔料盒中余料量的估算方法 - Google Patents
一种基于深度神经网络的肉兔料盒中余料量的估算方法 Download PDFInfo
- Publication number
- CN113516201B CN113516201B CN202110907640.0A CN202110907640A CN113516201B CN 113516201 B CN113516201 B CN 113516201B CN 202110907640 A CN202110907640 A CN 202110907640A CN 113516201 B CN113516201 B CN 113516201B
- Authority
- CN
- China
- Prior art keywords
- feed
- image
- network
- images
- mask
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000283973 Oryctolagus cuniculus Species 0.000 title claims abstract description 50
- 235000013372 meat Nutrition 0.000 title claims abstract description 44
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 35
- 238000000034 method Methods 0.000 title claims abstract description 35
- 239000000463 material Substances 0.000 title claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 27
- 238000003709 image segmentation Methods 0.000 claims abstract description 19
- 238000007781 pre-processing Methods 0.000 claims abstract description 9
- 238000004519 manufacturing process Methods 0.000 claims abstract description 6
- 238000000605 extraction Methods 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 19
- 230000011218 segmentation Effects 0.000 claims description 19
- 235000021050 feed intake Nutrition 0.000 claims description 11
- 210000002569 neuron Anatomy 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000002372 labelling Methods 0.000 claims description 5
- 210000003608 fece Anatomy 0.000 claims description 4
- 239000010871 livestock manure Substances 0.000 claims description 4
- 239000000843 powder Substances 0.000 claims description 4
- 210000004027 cell Anatomy 0.000 claims description 3
- 230000003247 decreasing effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 238000007667 floating Methods 0.000 claims description 3
- 239000012535 impurity Substances 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 238000009395 breeding Methods 0.000 description 3
- 230000001488 breeding effect Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 239000000945 filler Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 239000008188 pellet Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000005303 weighing Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20112—Image segmentation details
- G06T2207/20132—Image cropping
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了属于图像分割技术领域的一种基于深度神经网络的肉兔料盒中余料量的估算方法。具体说是一种基于深度神经网络的图像分割与特征提取及神经网络智能预测的肉兔料盒中余料量的估算方法，其步骤为：采集包含饲料的料盒图像进行预处理和制作数据集；构建并训练基于Mask RCNN+PointRend算法的饲料图像分割网络；通过训练好的饲料图像分割网络对采集的图像进行分割，将饲料从图像中分割出来，并提取饲料的特征参数。以饲料的特征参数为输入，对应的饲料质量为输出，构建并训练基于BPNN的余料量估算网络，最后估算出余料量结果。本发明能够快速、准确、低成本的帮助肉兔养殖场计算肉兔的采食情况。
Description
技术领域
本发明属于图像分割技术领域，特别涉及一种基于深度神经网络的肉兔料盒中余料量的估算方法。具体说是一种基于深度神经网络的图像分割与特征提取及神经网络智能预测的肉兔料盒中余料量的估算方法和应用。
技术背景
在肉兔养殖过程中，掌握肉兔每日采食状况是养殖场每日的重点工作，通过观察料盒中的余料量能间接判断肉兔的采食量。但通过人工观察肉兔的余料量有较多难点。一方面，一般养殖场中每栋兔舍的肉兔数量在2000只到4000只，笼位数量在800个到1000个不等，进行人工观察肉兔的采食量工作量很大，耗费的时间成本和经济成本较高。另一方面，人工观察采食量受限于人力成本，仅能大概地判断是否有剩余饲料，剩余料量多或少，而不能对余料量进行量化，没有明确的数据支撑。随着精准畜牧业概念在肉兔产业中的不断深入，采用人工观察余料量阻碍了后续对肉兔个体采食量的分析和兔舍中养殖情况的判断，精准定位每一只肉兔并了解其采食量不仅能够帮助养殖场实现饲养管理的优化，还能通过采食量判断肉兔的健康水平、料肉比曲线等。如果使用传统的称重方法对每个料盒中的饲料称重，势必会造成养殖成本的增加。因此，开发一种基于图像处理和人工神经网络的肉兔料盒余料量预测方法，帮助养殖场以低成本监测肉兔采食状况，具有很强的现实意义。
发明内容
本发明的目的是提供一种基于深度神经网络的肉兔料盒中余料量估算方法；其特征在于，所述余料量估算是基于Mask RCNN框架和PointRend网络头算法的针对图像边缘细分的饲料实例分割，提取图像数值特征后输入BP神经网络训练，从而估算余料量，步骤如下：
步骤1.获取存放于料盒中的不同质量的肉兔饲料的图像样本集，对获取到的样本图像进行预处理，并通过标注图像中饲料的方式制作饲料实例数据集；
步骤2.构建基于Mask RCNN框架和PointRend网络头算法的饲料图像分割网络，所述的饲料图像分割网络包括主干网络ResNet50、特征金字塔网络FPN、区域建议网络RPN、感兴趣区域匹配网络RoIAlign和包含PointRend网络头的多分支预测网络；
步骤3.实地采集存放于料盒中的不同质量的肉兔饲料图像，以及对应图像的饲料质量；使用训练好的Mask RCNN+PointRend饲料图像分割网络对采集到的图像进行分割，将饲料图像从图像背景中分割出来，获得单一背景下的饲料掩膜图像；
步骤4.采用Opencv图像处理技术提取饲料掩膜中的图像特征，包括料盒进料口处的饲料掩膜面积、饲料掩膜的长宽；料盒采食口处的饲料掩膜面积、饲料掩膜长宽；
步骤5.构建BP神经网络，以取得的饲料掩膜面积、饲料掩膜长宽所构建的训练集作为输入，饲料的质量作为输出，采用反向传播方法训练并优化BP神经网络结构，根据输入输出之间的拟合关系和训练误差不断调整包括训练算法、隐含层神经元数量和隐含层层数的网络结构参数，网络筛选条件为预测余料量与真实余料量之间拟合程度最高、训练误差最小；
步骤6.实地采集存放与料盒中的不同质量的肉兔饲料图像，使用训练好的饲料图像分割网络对采集到的图像进行分割，获取单一背景下的饲料掩膜图像；使用Opencv图像处理技术提取饲料掩膜的图像特征；使用训练好的BP神经网络对提取到的图像特征进行预测，得到余料量。
所述步骤1中获取存放于料盒中的不同质量的肉兔饲料的图像样本集，具体操作是摄像头置于料盒进料口和采料口正上方，向下俯拍采集包含饲料的料盒图像P1，进行图像预处理，并制作COCO数据集格式的饲料图像数据集；所述图像预处理和数据集制作步骤包括：
(1)将图像裁剪至只保留饲料区域的，尺寸为1024×1024像素饲料图像；
(2)对图像进行旋转、高斯降噪、镜像等处理，扩充图像数量；
(3)使用Labelme软件标注图像，将进料口和采食口的肉兔颗粒饲料分别标注为不同的标签；此外，对于可能存在的粉末饲料、兔粪和其他杂物也予以标注。
所述步骤3的Mask RCNN+PointRend饲料图像分割网络的训练过程具体包括：
(1)将图像输入到主干网络ResNet50中，图像被分为5个阶段进行卷积，得到尺寸逐级递减的5层特征图，尺寸较小的四层特征图被输入FPN中横向连接，经卷积后与上采样的特征图进行加和操作；
(2)通过FPN得到的特征图输入RPN，RPN对图像生成尽可能覆盖图像的大量的锚，并对判断锚的类别，锚的类别分为前景和背景，前景类别的锚表示其中可能存在分割的目标。此外，对于前景的锚，RPN通过回归微调锚的中心坐标值、宽和高，筛选出感兴趣区域(ROI)；
(3)通过RPN得到的ROI和特征图被输入RoIAlign，RoIAlign利用双线性插值法获得坐标为浮点数的像素点上的像素值，然后对每个单元格内的采样点进行最大池化，得到调整后的目标区域特征图像；
(4)将调整后的目标区域图像输入全连接层和PointRend网络层，分别对饲料进行目标识别和实例分割。
所述步骤4中采用Opencv图像处理技术的轮廓细分步骤如下：
4.1，通过点细分模块，基于随机抽样的非迭代策略，在抽取kN个点后筛选其中前N个最可能落在掩膜边界处的点，通过双线性插值算法，特征图被上采样至更高分辨率的特征图；
4.2，通过点特征提取模块，将低层特征(对每个采样点从特征图上提取的特征向量)和高层特征(来自网络的粗略预测)，在选定的点上构造逐点特征。
4.3通过点分割预测模块，使用多层感知机(MLP)对每个选中的点进行分类预测
4.4不断重复上述过程，直到通过上采样将目标分辨率提升至期望值，如果期望空间分辨率为R×R，初始空间分辨率为R0×R0，预测的点的数量为Np，候选点数量为N，则它们的关系如下：
(5)所述损失函数包括分类损失函数、回归损失函数和分割损失函数；当总损失小于设定的损失阈值时，训练完成。
本发明的有益效果：以帮助养殖场快速高效、低成本地计算肉兔料盒中余料量，推断肉兔的采食量。利用图像信息判断余料量，既能较为准确的得到量化结果，还能避免利用质量传感器导致的高成本问题和饲料污染问题。本发明具有如下特点：
(1)本发明构建了基于深度神经网络的饲料图像分割网络，通过ResNet50深度残差神经网络提取图像多层特征图，通过特征金字塔FPN对特征图卷积和组合生成新特征图，通过区域建议网络RPN提取目标区域，通过感兴趣区域匹配网络RoIAlign修正目标区域位置，具有较好的图像分割性能和较快的分割速度；
(2)本发明将PointRend算法引入Mask RCNN算法中，替换原本的掩膜分割网络头，实现基于点细分策略的图像轮廓精细分割，能够精确的将不同区域、不同离散程度的饲料精细分割出来，并能够准确去除兔粪、饲料粉末等干扰实例；
(3)本发明构建了基于BPNN的余料量估算网络，将由图像数据提取到的数值特征与饲料的质量相关联，能够较为精确并快速地估算料盒中剩余饲料的质量，能够准确判断料盒中是否存在饲料，帮助肉兔养殖场精确掌握每只肉兔每天的采食状况。
附图说明
图1为基于深度神经网络的肉兔料盒中余料量的估算流程示意图。
图2为采集图像数据的肉兔饲养装置及料盒示意图。
图3为Mask RCNN+PointRend网络结构示意图。
图4为BP神经网络结构示意图。
具体实施方式
本发明提供一种基于深度神经网络的肉兔饲料盒中余料量估算方法；所述余料量估算是基于Mask RCNN框架和PointRend网络头算法的针对图像边缘细分的饲料实例分割，提取图像数值特征后输入BP神经网络训练，从而估算余料量，下面结合附图和实施例对本发明做进一步说明。
本实施例提供了一种基于深度神经网络的肉兔料盒中余料量的估算方法，具体包括如下步骤：
1.如图1和图2所示，图2中，相机摄像头置于料盒进料口和采料口正上方，向下俯拍采集包含饲料的料盒图像P1(如图1所示)，同时采集与P2对应的料盒中饲料的质量以及包含饲料的料盒图像P3；将P2输入训练好的饲料图像分割网络，得到仅包含单一背景的饲料掩膜；其中，掩膜使用颜色填充器填充不同的颜色；进行图像预处理，并制作COCO数据集格式的饲料图像数据集P3；所述图像预处理和数据集制作步骤包括：
(1)将图像裁剪至只保留饲料区域的，尺寸为1024×1024像素饲料图像；
(2)对图像进行旋转、高斯降噪、镜像等处理，扩充图像数量；
(3)使用Labelme软件标注图像，在图2中，将进料口和采料口的肉兔颗粒饲料分别标注为不同的标签；此外，对于可能存在的粉末饲料、兔粪和其他杂物也予以标注。
2.构建并使用数据集训练基于Mask RCNN+PointRend算法的饲料图像分割网络，如图3所示，饲料图像分割网络的训练过程具体包括如下步骤：
(1)图像训练集被输入到主干网络ResNet50中，图像被分为5个阶段进行卷积，得到尺寸逐级递减的5层特征图，尺寸较小的四层特征图被输入特征金字塔网络FPN中横向连接，经卷积后与上采样的特征图进行加和操作，如图3所示，特征图P6由特征图P5池化得到。
(2)通过FPN得到的特征图输入RPN，RPN对图像生成尽可能覆盖图像的大量的锚，并对判断锚的类别，锚的类别分为前景和背景，前景类别的锚表示其中可能存在分割的目标。此外，对于前景的锚，RPN通过回归微调锚的中心坐标值、宽和高，筛选出感兴趣区域(ROI)。
(3)通过RPN得到的ROI和特征图被输入RoIAlign，RoIAlign利用双线性插值法获得坐标为浮点数的像素点上的像素值，然后对每个单元格内的采样点进行最大池化，得到调整后的目标区域特征图像。
(4)将调整后的目标区域图像输入全连接层和PointRend网络层，分别对饲料进行目标识别和实例分割。PointRend算法的轮廓细分步骤如下：
(4.1)通过点细分模块，基于随机抽样的非迭代策略，在抽取kN个点后筛选其中前N个最可能落在掩膜边界处的点，通过双线性插值算法，特征图被上采样至更高分辨率的特征图。
(4.2)通过点特征提取模块，将低层特征(对每个采样点从特征图上提取的特征向量)和高层特征(来自网络的粗略预测)，在选定的点上构造逐点特征。
(4.3)通过点分割预测模块，使用多层感知机(MLP)对每个选中的点进行分类预测
(4.4)不断重复上述过程，直到通过上采样将目标分辨率提升至期望值，如果期望空间分辨率为R×R，初始空间分辨率为R0×R0，预测的点的数量为Np，候选点数量为N，则它们的关系如下：
(5)所述损失函数包括分类损失函数、回归损失函数和分割损失函数。本发明在Mask RCNN算法中引入PointRend模块，强调对边缘轮廓分割的准确性和平滑程度，使图像分割更加精确。
(6)本实施例中，损失阈值设定为0.03，当损失低于0.03时，训练完成。本发明的其他实施例依据实际应用中对分割精度的要求进行设定。
3.使用Opencv算法，根据颜色统计进料口和采料口两部分的掩膜的像素值数量，表示在图像中饲料部分的面积。分别计算两部分饲料掩膜的回归框对角点的坐标值，并通过坐标值计算掩膜的长宽，由此获取饲料的特征参数。将特征参数作为输入，对应图像的饲料质量作为输出，制作余料量估算数据集。
4.如图4所示，构建并利用余料量估算数据集训练基于BPNN的余料量估算网络。构建和训练步骤如下。
(1)设定BP神经网络的隐含层层数为1。优选地，根据Kolmogorov定理，隐含层神经元数量遵循如下公式：
l<n-1
l＝log2n
其中，n为输入层神经元数量，m为输出层神经元数量，a为[1,10]之间的常数。本实施例中，n为6，m为1，则隐含层神经元数量的取值为[3,12]。
(2)优选地，BP神经网络的自适应学习函数设置为Learngdm，传递函数设置为Tansig，隐含层节点转移函数设置为Logsig函数，输出层节点转移函数设置为Purelin函数，最大迭代次数设置为1000次，学习率设置为0.01。
(3)优选地，将隐含层神经元数量分别设置为4、5、6、7，训练函数分别设置为Trainlm、Traingbr和Trainscg，由此为基础，构建12个BP神经网络，将余料量估算数据集按8:1:1、7:1.5:1.5、6:2:2的比例分为训练集、验证集和测试集，训练构建的BP神经网络。
(4)对比12个BP神经网络的训练结果，筛选获得最大R值和最小MAE值、最小MSE值的BP神经网络，输出并保存网络权重，由此得到训练完成的余料量估算网络。
6.将包含饲料的料盒图像P3输入训练好的饲料图像分割网络，得到仅包含单一背景的饲料掩膜，提取掩膜的特征参数，将特征参数输入训练好的余料量估算网络，输出的结果为对应图像的余料量。
Claims (4)
1.一种基于深度神经网络的肉兔料盒中余料量估算方法；其特征在于，所述余料量估算是基于Mask RCNN框架和PointRend网络头算法的针对图像边缘细分的饲料实例分割，提取图像数值特征后输入BP神经网络训练，从而估算余料量，步骤如下：
步骤1.获取存放于料盒中的不同质量的肉兔饲料的图像样本集，对获取到的样本图像进行预处理，并通过标注图像中饲料的方式制作饲料实例数据集；
步骤2.构建基于Mask RCNN框架和PointRend网络头算法的饲料图像分割网络，所述的饲料图像分割网络包括主干网络ResNet50、特征金字塔网络FPN、区域建议网络RPN、感兴趣区域匹配网络RoIAlign和包含PointRend网络头的多分支预测网络；
步骤3.实地采集存放于料盒中的不同质量的肉兔饲料图像，以及对应图像的饲料质量，使用训练好的Mask RCNN+PointRend饲料图像分割网络对采集到的图像进行分割，将饲料图像从图像背景中分割出来，获得单一背景下的饲料掩膜图像；
步骤4.采用Opencv图像处理技术提取饲料掩膜中的图像特征，包括料盒进料口处的饲料掩膜面积、饲料掩膜的长宽；料盒采食口处的饲料掩膜面积、饲料掩膜长宽；
步骤5.构建BP神经网络，以取得的饲料掩膜面积、饲料掩膜长宽所构建的训练集作为输入，饲料的质量作为输出，采用反向传播方法训练并优化BP神经网络结构，根据输入输出之间的拟合关系和训练误差不断调整包括训练算法、隐含层神经元数量和隐含层层数的网络结构参数，网络筛选条件为预测余料量与真实余料量之间拟合程度最高、训练误差最小；
步骤6.实地采集存放与料盒中的不同质量的肉兔饲料图像，使用训练好的饲料图像分割网络对采集到的图像进行分割，获取单一背景下的饲料掩膜图像；使用Opencv图像处理技术提取饲料掩膜的图像特征；使用训练好的BP神经网络对提取到的图像特征进行预测，得到余料量。
2.根据权利要求1所述一种基于深度神经网络的肉兔料盒中余料量估算方法；其特征在于，所述步骤1中获取存放于料盒中的不同质量的肉兔饲料的图像样本集，具体操作是摄像头置于料盒进料口和采食口正上方，向下俯拍采集包含饲料的料盒图像P1，进行图像预处理，并制作COCO数据集格式的饲料图像数据集；所述图像预处理和数据集制作步骤包括：
(1)将图像裁剪至只保留饲料区域的，尺寸为1024×1024像素饲料图像；
(2)对图像进行旋转、高斯降噪、镜像等处理，扩充图像数量；
(3)使用Labelme软件标注图像，将进料口和采食口的肉兔颗粒饲料分别标注为不同的标签；此外，对于可能存在的粉末饲料、兔粪和其他杂物也予以标注。
3.根据权利要求1所述一种基于深度神经网络的肉兔料盒中余料量估算方法；其特征在于，所述步骤3的Mask RCNN+PointRend饲料图像分割网络的训练过程具体包括：
(1)将图像输入到主干网络ResNet50中，图像被分为5个阶段进行卷积，得到尺寸逐级递减的5层特征图，尺寸较小的四层特征图被输入FPN中横向连接，经卷积后与上采样的特征图进行加和操作；
(2)通过FPN得到的特征图输入RPN，RPN对图像生成尽可能覆盖图像的大量的锚，并对判断锚的类别，锚的类别分为前景和背景，前景类别的锚表示其中可能存在分割的目标；此外，对于前景的锚，RPN通过回归微调锚的中心坐标值、宽和高，筛选出感兴趣区域ROI；
(3)通过RPN得到的感兴趣区域ROI和特征图被输入RoIAlign，RoIAlign利用双线性插值法获得坐标为浮点数的像素点上的像素值，然后对每个单元格内的采样点进行最大池化，得到调整后的目标区域特征图像；
(4)将调整后的目标区域图像输入全连接层和PointRend网络层，分别对饲料进行目标识别和实例分割。
4.根据权利要求1所述一种基于深度神经网络的肉兔料盒中余料量估算方法；其特征在于，所述步骤4中采用Opencv图像处理技术的轮廓细分步骤如下：
4.1，通过点细分模块，基于随机抽样的非迭代策略，在抽取kN个点后筛选其中前N个最可能落在掩膜边界处的点，通过双线性插值算法，特征图被上采样至更高分辨率的特征图；
4.2，通过点特征提取模块，对每个采样点从特征图上提取的特征向量，将低层特征和高层特征进行网络的粗略预测，在选定的点上构造逐点特征；
4.3通过点分割预测模块，使用多层感知机MLP对每个选中的点进行分类预测；
4.4不断重复上述过程，直到通过上采样将目标分辨率提升至期望值，如果期望空间分辨率为R×R，初始空间分辨率为R0×R0，预测的点的数量为Np，候选点数量为N，则它们的关系如下：
4.5损失函数包括分类损失函数、回归损失函数和分割损失函数；当总损失小于设定的损失阈值时，训练完成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110907640.0A CN113516201B (zh) | 2021-08-09 | 2021-08-09 | 一种基于深度神经网络的肉兔料盒中余料量的估算方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110907640.0A CN113516201B (zh) | 2021-08-09 | 2021-08-09 | 一种基于深度神经网络的肉兔料盒中余料量的估算方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113516201A CN113516201A (zh) | 2021-10-19 |
| CN113516201B true CN113516201B (zh) | 2023-10-31 |
Family
ID=78068175
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110907640.0A Active CN113516201B (zh) | 2021-08-09 | 2021-08-09 | 一种基于深度神经网络的肉兔料盒中余料量的估算方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113516201B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114358163A (zh) * | 2021-12-28 | 2022-04-15 | 东北农业大学 | 一种基于孪生网络与深度数据的采食量监测方法及系统 |
| CN115526880B (zh) * | 2022-10-17 | 2023-08-01 | 仲恺农业工程学院 | 一种用于笼养肉鸽料槽剩料的判别方法 |
| CN115530092B (zh) * | 2022-10-17 | 2023-08-18 | 仲恺农业工程学院 | 基于深度神经网络的双机械臂肉鸽饲喂系统 |
| CN116797598B (zh) * | 2023-08-22 | 2023-11-17 | 山东万牧农业科技有限公司郯城分公司 | 基于图像特征的养殖饲料质量精细化检测方法 |
| CN117456472B (zh) * | 2023-12-25 | 2024-04-23 | 北京市农林科学院信息技术研究中心 | 食草动物采食量监测方法、装置、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104345718A (zh) * | 2014-10-22 | 2015-02-11 | 河海大学 | 施工现场混凝土工作性能在线智能监控方法 |
| CN108469435A (zh) * | 2018-07-26 | 2018-08-31 | 长沙荣业软件有限公司 | 人工智能大米质检机器人及质检方法 |
| CN111507343A (zh) * | 2019-01-30 | 2020-08-07 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
| WO2021043112A1 (zh) * | 2019-09-02 | 2021-03-11 | 华为技术有限公司 | 图像分类方法以及装置 |
| CN112926694A (zh) * | 2021-04-13 | 2021-06-08 | 云浮市物联网研究院有限公司 | 基于改进的神经网络对图像中的猪只进行自动识别的方法 |
| CN113052799A (zh) * | 2021-03-09 | 2021-06-29 | 重庆大学 | 一种基于Mask RCNN网络的骨肉瘤和骨软骨瘤预测方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11292706B2 (en) * | 2014-12-30 | 2022-04-05 | Edward Showalter | Apparatus, systems and methods for preparing and dispensing foods |
-
2021
- 2021-08-09 CN CN202110907640.0A patent/CN113516201B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104345718A (zh) * | 2014-10-22 | 2015-02-11 | 河海大学 | 施工现场混凝土工作性能在线智能监控方法 |
| CN108469435A (zh) * | 2018-07-26 | 2018-08-31 | 长沙荣业软件有限公司 | 人工智能大米质检机器人及质检方法 |
| CN111507343A (zh) * | 2019-01-30 | 2020-08-07 | 广州市百果园信息技术有限公司 | 语义分割网络的训练及其图像处理方法、装置 |
| WO2021043112A1 (zh) * | 2019-09-02 | 2021-03-11 | 华为技术有限公司 | 图像分类方法以及装置 |
| CN113052799A (zh) * | 2021-03-09 | 2021-06-29 | 重庆大学 | 一种基于Mask RCNN网络的骨肉瘤和骨软骨瘤预测方法 |
| CN112926694A (zh) * | 2021-04-13 | 2021-06-08 | 云浮市物联网研究院有限公司 | 基于改进的神经网络对图像中的猪只进行自动识别的方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于粒子群参数优化和BP神经网络的颗粒饲料质量预测模型;陈啸;王红英;孔丹丹;岳岩;方鹏;吕芳;;农业工程学报(第14期);314-322 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113516201A (zh) | 2021-10-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113516201B (zh) | 一种基于深度神经网络的肉兔料盒中余料量的估算方法 | |
| CN113537106B (zh) | 一种基于YOLOv5的鱼类摄食行为识别方法 | |
| CN109800736B (zh) | 一种基于遥感影像和深度学习的道路提取方法 | |
| CN107527351B (zh) | 一种融合fcn和阈值分割的哺乳母猪图像分割方法 | |
| US7983486B2 (en) | Method and apparatus for automatic image categorization using image texture | |
| CN112749654A (zh) | 一种用于视频大雾监测的深度神经网络模型构建方法、系统及装置 | |
| CN111968081B (zh) | 鱼群自动计数方法、装置、电子设备及存储介质 | |
| Alsmadi et al. | Fish recognition based on the combination between robust feature selection, image segmentation and geometrical parameter techniques using Artificial Neural Network and Decision Tree | |
| CN112580662A (zh) | 一种基于图像特征识别鱼体方向的方法及系统 | |
| CN109543585A (zh) | 基于卷积神经网络的水下光学目标检测与识别方法 | |
| CN113349111A (zh) | 一种用于水产养殖物的动态投喂方法、系统和存储介质 | |
| CN110852358A (zh) | 一种基于深度学习的车辆类型判别方法 | |
| CN115131325A (zh) | 一种基于图像识别分析的断路器故障运维监测方法及系统 | |
| CN111881958A (zh) | 车牌分类识别方法、装置、设备及存储介质 | |
| CN112699941A (zh) | 植物病害严重程度图像分类方法、装置、计算机设备和存储介质 | |
| CN112883915A (zh) | 一种基于迁移学习的麦穗自动识别方法和系统 | |
| CN114419131A (zh) | 用于获取牲畜体重的方法、设备及计算机可读存储介质 | |
| CN114820435A (zh) | 基于改进AlexNet的辣椒叶片病害检测方法 | |
| CN117315380B (zh) | 一种基于深度学习的肺炎ct图像分类方法及系统 | |
| CN116703932A (zh) | 一种基于卷积注意力机制的CBAM-HRNet模型小麦穗粒分割与计数方法 | |
| CN114120359A (zh) | 一种基于堆叠沙漏网络的群养猪体尺测量方法 | |
| CN117789037A (zh) | 作物生长期预测方法及装置 | |
| CN115131657A (zh) | 海洋生态分析方法和系统 | |
| CN111695560A (zh) | 基于卷积神经网络对农作物病虫害主动定位聚焦的方法 | |
| CN112132207A (zh) | 基于多分支特征映射目标检测神经网络构建方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |