CN110969156A - 奶牛奶头检测卷积神经网络模型及其构建方法 - Google Patents

奶牛奶头检测卷积神经网络模型及其构建方法 Download PDF

Info

Publication number
CN110969156A
CN110969156A CN201910414096.9A CN201910414096A CN110969156A CN 110969156 A CN110969156 A CN 110969156A CN 201910414096 A CN201910414096 A CN 201910414096A CN 110969156 A CN110969156 A CN 110969156A
Authority
CN
China
Prior art keywords
cow
image
network model
neural network
convolutional neural
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910414096.9A
Other languages
English (en)
Other versions
CN110969156B (zh
Inventor
吴迪
连博博
吴晨健
陈旻昕
陈虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FJ Dynamics Technology Co Ltd
Original Assignee
FJ Dynamics Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FJ Dynamics Technology Co Ltd filed Critical FJ Dynamics Technology Co Ltd
Priority to CN201910414096.9A priority Critical patent/CN110969156B/zh
Priority claimed from CN201910414096.9A external-priority patent/CN110969156B/zh
Priority to PCT/CN2019/107857 priority patent/WO2020232941A1/zh
Priority to JP2021568565A priority patent/JP7223880B2/ja
Priority to EP19929355.6A priority patent/EP3971766A4/en
Publication of CN110969156A publication Critical patent/CN110969156A/zh
Application granted granted Critical
Publication of CN110969156B publication Critical patent/CN110969156B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23213—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with fixed number of clusters, e.g. K-means clustering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一奶牛奶头检测卷积神经网络模型的构建方法，所述构建方法包括如下步骤：获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有至少一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置；将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型；以及基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。

Description

奶牛奶头检测卷积神经网络模型及其构建方法
技术领域
本发明涉及计算机领域，更进一步地涉及一奶牛奶头检测卷积神经网络模型及其构建方法及其构建系统。
背景技术
随着科技的发展，农业、畜牧业的自动化发展越来越成为当下的需求，自动化的发展能够减少大量的人力和时间成本，同时便于人为管理，比如，农场自动喷洒农药、牧场自动喂食装置等等。在众多的畜牧业生产劳动中，为奶牛挤奶一直是劳动强度较高，而且对操作人员的要求较高的一项工作，目前也有一些研究设计了自动挤奶装置，但这些装置仍让需要人工来操作，操作复杂，工作效率及其低下。
本领域的技术人员应当理解的是，要想实现奶牛挤奶过程的完全自动化，奶牛奶头的检测与定位是十分关键的一步，对奶牛奶头定位是否准确直接关系到奶牛挤奶过程的精度与效果。为了实现物体的检测，传统的方法需要对物体设计不同的特征提取方法和分类算法，主要可以表示为：区域选择——特征提取——分类器。区域的选择通常运用穷举策略，采用滑动窗口，且设置不同的大小，以不同的长宽比对图像进行遍历，时间复杂度高，其次所用到的特征提取都是人为设计的，由于形态多样性、光照变化多样性、背景多样性等使得鲁棒性较差。
随着卷积神经网络架构的发展，基于深度学习的目标检测与识别成为主流方法，一类是含有物体边界区域建议的，比如R-CNN、Fast R-CNN、Faster R-CNN等模型，该类模型使用枚举法预先假设目标候选区域，在逐步微调和优化目标位置，最终实现对其分类识别，但是该类方法检测速度较慢。另一类是直接生成边界区域，比如YOLO和SSD等One-stage的检测模型，该类模型在进行目标预测时可以同时进行预测边界和分类识别，检测速度上有非常明显的提升，但是往往存在漏检等检测精度低的问题。另一方面，深度学习的框架需要学习的参数太多，计算速度比较慢，有可能会出现过拟合的情况，所以目标检测还存在着很多需要改进的地方。
发明内容
本发明的一个目的在于提供一种奶牛奶头检测卷积神经网络模型及其构建方法及其构建系统，将卷积神经网络应用到奶牛奶头检测领域，提高奶牛奶头检测的精度。
本发明的另一个目的在于提供一种奶牛奶头检测卷积神经网络模型及其构建方法及其构建系统，其中所述奶牛奶头检测卷积神经网络模型对奶牛奶头的检测精度高。
本发明的另一个目的在于提供一种奶牛奶头检测卷积神经网络模型及其构建方法及其构建系统，对输入的图像识别率高，对奶牛奶头识别鲁棒性好，学习能力强。
本发明的另一个目的在于提供一种奶牛奶头检测卷积神经网络模型及其构建方法及其构建系统，采用ImageNet训练模型训练好的ResNet50参数文件，能够加快模型的收敛速度，提高奶牛奶头检测的效率。
本发明的另一个目的在于提供一种奶牛奶头检测卷积神经网络模型及其构建方法及其构建系统，合并BatchNorm层参数到卷积层中，能够提高检测效率。
本发明的另一个目的在于提供一种奶牛奶头检测卷积神经网络模型及其构建方法及其构建系统，引入筛选机制，去除不满足预设条件的检测框，提高奶牛奶头检测的精度。
本发明的另一个目的在于提供一种奶牛奶头检测卷积神经网络模型及其构建方法及其构建系统，其中所述奶牛奶头检测卷积神经网络模型对奶牛奶头的检测精度高，使用方便。
相应地，为了实现以上至少一个发明目的，本发明提供一奶牛奶头检测卷积神经网络模型的构建方法，其包括：
101：获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
102：获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有至少一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置；
103：将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
104：基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型；以及
105：基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。
在本发明的一些优选实施例中，在所述步骤103中，按照8:1:1的比例将所述奶牛图像和对应的所述标注图像划分为所述训练集、所述验证集以及所述测试集。
在本发明的一些优选实施例中，在所述步骤102和所述步骤103之间进一步包括：对所述奶牛图像和对应的所述标注图像进行扩增处理，以增加所述奶牛图像和对应的所述标注图像的多样性。
在本发明的一些优选实施例中，所述步骤103和所述步骤104之间进一步包括：基于所述标注图像调整所述目标框至一预设尺寸。
在本发明的一些优选实施例中，采用K—means聚类算法调整所述目标框至所述预设尺寸。
在本发明的一些优选实施例中，在所述步骤105中，在对所述奶牛奶头检测卷积神经网络模型进行优化与验证时，将所述奶牛奶头检测卷积神经网络模型的BatchNorm层参数合并到卷积层中。
在本发明的一些优选实施例中，所述奶牛奶头检测卷积神经网络模型的构建方法进一步包括：去除不满足预设条件的检测框。
根据本发明的另一方面，本发明进一步提供一奶牛奶头检测卷积神经网络模型，其用于检测一图像中奶牛奶头的位置，其中所述奶牛奶头检测卷积神经网络模型包括：
一奶牛图像获取单元，其用于获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
一标注图像获取单元，其用于获取所述奶牛图像所对应的标注图像，其中所述标注图像具有至少一目标框，所述目标框用于标注所述奶牛奶头的位置；
一图像划分单元，其用于将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
一网络模型构建单元，其用于基于所述训练集中的所述奶牛图像和对应的所述标注图像构建奶牛奶头检测卷积神经网络模型；以及
一网络模型优化单元，其用于基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头加成呢卷积神经网络模型参数进行优化与测试。
在本发明的一些优选实施例中，所述图像划分单元用于将所述奶牛图像和对应的所述标注图像按照8:1:1的比例划分为所述训练集、所述验证集以及所述测试集。
在本发明的一些优选实施例中，所述奶牛奶头检测卷积神经网络模型构建系统，进一步包括一图像扩增单元，所述图像扩增单元用于对所述奶牛图像和对应的所述标注图像进行扩增处理，以供增加所述奶牛图像和对应的所述标注图像的多样性。
在本发明的一些优选实施例中，所述奶牛奶头检测卷积神经网络模型构建系统进一步包括一目标框调整单元，所述目标框调整单元用于基于所述标注图像调整所述目标框至一预设尺寸。
在本发明的一些优选实施例中，所述奶牛奶头检测卷积神经网络模型构建系统进一步包括一筛选单元，所述筛选单元用于取出不满足预设条件的检测框。
根据本发明的另一方面，本发明进一步提供一种奶牛奶头检测卷积神经网络模型，其用于检测一奶牛图像中奶牛奶头的位置，其中所述奶牛奶头检测卷积神经网络模型的构建方法包括：
101：获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
102：获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有至少一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置；
103：将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
104：基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型；以及
105：基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。
根据本发明的另一方面，本发明进一步提供一种奶牛奶头检测方法，其特征在于，包括：
201：获取一实际奶牛图像；和
202：使用一奶牛奶头检测卷积神经网络模型检测所述实际奶牛图像中奶牛奶头的位置；
其中所述奶牛奶头检测卷积神经网络模型的构建方法包括：
101：获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
102：获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有至少一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置；
103：将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
104：基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型；以及
105：基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。
附图说明
图1是根据本发明的一个优选实施例的奶牛奶头检测卷积神经网络模型构建方法的框图示意图。
图2是根据本发明的一个优选实施例的奶牛奶头检测卷积神经网络模型构建方法的框图流程示意图。
图3是根据本发明的一个优选实施例的奶牛奶头检测卷积神经网络模型的网络架构结构示意图。
图4是根据本发明的一个优选实施例的奶牛奶头检测卷积神经网络模型的筛选机制示意图。
图5是根据本发明的一个优选实施例的奶牛奶头检测卷积神经网络模型的网络训练的Loss曲线图。
图6是根据本发明的一个优选实施例的奶牛奶头检测卷积神经网络模型的网络测试结果PR图。
图7是根据本发明的一个优选实施例的奶牛奶头检测卷积神经网络模型的应用结构示意图。
图8是根据本发明的第二优选实施例的奶牛奶头检测卷积神经网络模型构建方法的框图示意图。
图9是根据本发明的一个优选实施例的奶牛奶头检测卷积神经网络模型构建系统的整体框图结构示意图。
图10是根据本发明的一个优选实施例的奶牛奶头检测方法的框图示意图。
具体实施方式
以下描述用于揭露本发明以使本领域技术人员能够实现本发明。以下描述中的优选实施例只作为举例，本领域技术人员可以想到其他显而易见的变型。在以下描述中界定的本发明的基本原理可以应用于其他实施方案、变形方案、改进方案、等同方案以及没有背离本发明的精神和范围的其他技术方案。
本领域技术人员应理解的是，在本发明的揭露中，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系是基于附图所示的方位或位置关系，其仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此上述术语不能理解为对本发明的限制。
可以理解的是，术语“一”应理解为“至少一”或“一个或多个”，即在一个实施例中，一个元件的数量可以为一个，而在另外的实施例中，该元件的数量可以为多个，术语“一”不能理解为对数量的限制。
参考说明书附图1至图8，本发明所提供的奶牛奶头检测卷积神经网络模型的构建方法100被阐述，其包括：
101：获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
102：获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置；
103：将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
104：基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型；以及
105：基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。
其中，在所述步骤101中，在拍摄所述奶牛的所述奶牛图像时，使用工业相机分别获取所述奶牛不同角度的多张所述奶牛图像。优选的，分别自所述奶牛的前后左右四个方向拍摄所述奶牛的所述奶牛图像。优选的，所述奶牛的数量是100头，分别获取100头所述奶牛的所述奶牛图像，以供增加样本的多样性。
需要指出的是，在拍摄所述奶牛的所述奶牛图像后，剔除不满足与预设条件的奶牛图像，比如曝光、模糊以及目标被遮挡等照片，以供提高所述奶牛图像的精确度，提高奶牛奶头检测卷积神经网络模型的精度。
在所述步骤102中，在剔除所述奶牛图像中不满足所述预设条件的图像后，使用标注工具对剩余的所述奶牛图像进行标注，为每个所述奶牛图像制作对应的目标框和类别，其中所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置，标注类别主要分为背景、奶牛乳房以及奶牛奶头，将完成标注的所述标注图像保存在xml文件下。
其中在所述步骤103中，将所述奶牛图像和对应的所述标注图像按照一预设比例划分为所述训练集、所述验证集以及所述测试集，优选的，在本优选实施例中，将所述奶牛图像和对应的所述标注图像按照8:1:1的比例随机划分为所述训练集、所述验证集以及所述测试集，并生成对应的txt文件，文件下保存图片的名称。把所述奶牛图像、标注生成的所述xml文件以及txt文件分别放在Pascal_VOC数据集对应的文件夹下，生成Pascal_VOC格式的奶牛数据集。
进一步地，在本发明的另一些优选实施例中，在所述步骤102和所述步骤103之间进一步包括步骤106：对所述奶牛图像和对应的所述标注图像进行扩增处理，用以增加图像的多样性。本领域的技术人员应当理解的是，由于所获取的所述奶牛图像的数量限制，不足以满足深度学习的大量数据要求，采用数据增强技术增加所述奶牛图像和所述标注图像的多样性，比如旋转、平移以及翻折等，同时计算数据集的均值，对数据集进行颜色规范化处理，去除光照不均匀影响，对进行扩增处理后的所述奶牛图像和对应的所述标注图像按照所述预设比例划分为所述训练集、所述验证集以及所述测试集。本领域的技术人员应当理解的是，在本发明的另一些优选实施例中，当所采集的所述奶牛图像的数量足够多的情况下，能够满足深度学习需要的大量数据的要求时，还能够不对所述奶牛图像和对应的所述标注图像进行扩增处理。
进一步地，在所述步骤103和所述步骤104之间进一步包括步骤107：基于所述标注图像调整所述目标框至一预设尺寸。本领域的技术人员应当理解的是，由于本发明所提供的所述奶牛图像和对应的所述标注图像的特殊性，需要根据实际需要调整所述奶牛图像和对应的所述标注图像的大小。具体的，在本优选实施例中，使用K—means聚类算法获取所述目标框的大小，将每个训练样本分配到最近的中心点所在的聚类，通过计算样本和聚类中心的距离d分别生成9个和15个anchor，其中d的计算公式为d(box,centroid)＝1-IOU(box,centroid)，其中IOU的计算公式为IOU＝(box∩centroid)/(box∪centroid)。
参考说明书附图，在所述步骤104中，基于所述训练集中的所述奶牛图像和对应的所述标注图像构建基于奶牛图像的卷积神经网络，所此采用的网络包括FasterRCNN和RFCN，使用resnet50作为特征提取网络，其中去掉网络最后的全连接层。其中所述特征提取网络是一种用于提取图像特征信息的残差卷积结构，之后连接RPN网络进行目标检测。根据在所述步骤107中所确定的所述目标框的大小修改网络层中的anchor大小及数目，以供提高对小目标的检测精度。让后将所述训练集中的所述奶牛图像和对应的所述标注图像输入卷积神经网络，以供构建所述奶牛奶头检测卷积神经网络。具体的，网络输入的图像分辨率是720*1280，同时下载ImageNet模型训练好的resnet50参数文件，使用caffe框架进行训练，根据训练结果调整学习参数，最终获得满足条件的模型参数。
在所述步骤105中，使用所述验证集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型的参数进行优化，使用所述测试集合中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络进行测试，以供确定所述奶牛奶头检测卷积神经网络模型的检测效果。在本发明的一个优选实施例中，使用所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型的检测结果进行验证的结果是MAP＝0.9046，FPS＝12。
在本发明的另一些优选实施例中，在所述步骤102中，获取每一所述奶牛图像所对应的所述标注图像，使用标注工具对所述奶牛图像进行标注时，标注数据还能够是两类，即背景和奶牛奶头，主要目标是奶牛奶头的检测，以供减少使用标注工具进行标注时的工作量，提高奶牛奶头标注的速度。
在本发明所提供的所述奶牛奶头检测卷积神经网络模型的构建方法的一第二优选实施例中，进一步包括步骤108：去除不满足预设条件的检测框。本领域的技术人员应当理解的是，大目标检测相对于小目标检测更容易，为了避免小目标的错检，进一步提高检测精度，去除直观上部符合条件侧检测框。参考说明书附图4，用虚线表示的所述检测框明显不在所述目标框内，用实线表示的所述检测框在所述目标框内，因此将用虚线表示的所述检测框去除，保留用实线表示的所述检测框，最终网络输出不同类别和对应的置信度以及位置信息，并根据设定的阀值得到结果。
在本发明所提供的所述奶牛奶头检测卷积神经网络模型的构建方法的第三优选实施例中，在本优选实施例中，在所述步骤106中，基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与验证，对所述奶牛奶头检测卷积神经网络模型参数进行处理，合并BatchNorm层参数到卷积层中，以供提升所述奶牛奶头检测卷积神经网络模型的推理速度。具体的，卷积层运算：W*X+B，其中W是卷积权重，B是卷积偏差。在BN层中，
Figure BDA0002063787580000091
x^_i←(x_i-μ)/√(σ^2+∈)，y_i←γx^_i+β，其中μ是BN层中均值，σ是方差，γ是缩放因子，β是偏差，∈是一个不为零的数值，∈用于防止σ为零时分母为零。BN层和卷积层合并后α＝γ/√(σ^2+∈)，Wmerged＝W×αBmerged＝B×α+(β-μ×α)。
参考下表1，其显示有合并BN层到卷积层前后的效果比较，通过实验可以看出，合并BN呈到卷积层后，所述奶牛奶头检测卷积神经网络模型的检测速度明显提升。
表1.合并BN层到卷积层效果比较(图片大小720*128)
模型 GPU前向时间(720*1280) GPU前向时间(320*320)
RFCN(合并前) 92.664ms 52.7667ms
RFCN(合并后) 79.2753ms 25.2336ms
提升 14.5％ 52.2％
在本发明所提供的所述奶牛奶头检测卷积神经网络模型的构建方法的第四优选实施例中，在所述步骤104中，基于所述训练集中的所述奶牛图像和对应的所述标注图像构建所述奶牛奶头卷积神经网络模型过程中，卷积神经网络参数包括冲量Momentum、权值衰减Decay、最大迭代次数Max Iters、学习率Learning rate、学习率变化迭代次数Steps和学习率变化比率Scales。定义卷积神经网络中训练参数如下表2。
表2.网络配置参数
Figure BDA0002063787580000092
Figure BDA0002063787580000101
在本发明所提供的所述奶牛奶头检测卷积神经网络模型的构件方法的第五优选实施例中，在所述步骤108中，基于所述标注图像的调整所述目标框至一预设尺寸的过程是，原始网络模型采用9种不同比例不同尺度的anchor，如ratios＝[0.5，1，2]，scales＝[128，256，512]，在本优选实施例中，不使用聚类方法确定anchor的大小，而是直接调整比例和尺度大小，以满足小目标检测要求，具体修改的结果是，ratios＝[0.5，1，2]，scales＝[16，32，64，128，256]。
参考说明书附图9，根据本发明的另一方面，本发明进一步提供一奶牛奶头检测卷积神经网络模型构建系统200，所述奶牛奶头检测卷积神经网络模型200包括一奶牛图像获取单元21、一标注图像获取单元22、一图像划分单元23、一网络模型构建单元24以及一网络模型优化单元25，其中所述奶牛图像获取单元21用于获取至少一奶牛的一奶牛图像，其中所述奶牛图像包括奶牛奶头，所述标注图像获取单元22用于获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有至少一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置，所述图像划分单元23用于将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集，所述网络模型构建单元24用于基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型，所述网络模型优化单元25用于基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。
所述奶牛图像获取单元21所获取的所述奶牛图像由工业相机在所述奶牛的不同角度所拍摄。优选的，分别自所述奶牛的前后左右四个方向拍摄所述奶牛的所述奶牛图像。优选的，所述奶牛的数量是100头，分别获取100头所述奶牛的所述奶牛图像，以供增加样本的多样性。
所述标注图像获取单元22所获取的所述奶牛图像所对应的所述标注图像，使用标注工具对每一所述奶牛图像进行标注得到每一所述奶牛图像所对应的所述标注图像，为每个所述奶牛图像制作对应的目标框和类别，其中所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置，标注类别主要分为背景、奶牛乳房以及奶牛奶头，将完成标注的所述标注图像保存在xml文件下。
所述图像划分单元23用于将所述奶牛图像和对应的所述标注图像按照8:1:1的比例划分为所述训练集、所述验证集以及所述测试集。
所述奶牛奶头检测卷积神经网络模型构建系统200进一步包括一图像扩增单元26，所述图像扩增单元26用于对所述奶牛图像和对应的所述标注图像进行扩增处理，用以增加所述奶牛图像和对应的所述标注图像的多样性。本领域的技术人员应当理解的是，由于所获取的所述奶牛图像的数量限制，不足以满足深度学习的大量数据要求，采用数据增强技术增加所述奶牛图像和所述标注图像的多样性，比如旋转、平移以及翻折等，同时计算数据集的均值，对数据集进行颜色规范化处理，去除光照不均匀影响，对进行扩增处理后的所述奶牛图像和对应的所述标注图像按照所述预设比例划分为所述训练集、所述验证集以及所述测试集。本领域的技术人员应当理解的是，在本发明的另一些优选实施例中，当所采集的所述奶牛图像的数量足够多的情况下，能够满足深度学习需要的大量数据的要求时，还能够不对所述奶牛图像和对应的所述标注图像进行扩增处理。
所述奶牛奶头检测卷积神经网络构建系统200进一步包括一目标框调整单元27，所述目标框调整单元27用于基于所述标注图像调整所述目标框至一预设尺寸，以使得所述目标框的尺寸与所述标注图像相适应。本领域的技术人员应当理解的是，由于本发明所提供的所述奶牛图像和对应的所述标注图像的特殊性，需要根据实际需要调整所述奶牛图像和对应的所述标注图像的大小。具体的，在本优选实施例中，使用K—means聚类算法获取所述目标框的大小，将每个训练样本分配到最近的中心点所在的聚类，通过计算样本和聚类中心的距离d分别生成9个和15个anchor，其中d的计算公式为d(box,centroid)＝1-IOU(box,centroid)，其中IOU的计算公式为IOU＝(box∩centroid)/(box∪centroid)。
在本发明的另一些优选实施例中，所述目标框调整单元27在调整所述目标框的尺寸时，原始网络模型采用9种不同比例不同尺度的anchor，如ratios＝[0.5，1，2]，scales＝[128，256，512]，在本优选实施例中，不使用聚类方法确定anchor的大小，而是直接调整比例和尺度大小，以满足小目标检测要求，具体修改的结果是，ratios＝[0.5，1，2]，scales＝[16，32，64，128，256]。
所述网络模型构建单元24用于基于所述训练集中的所述奶牛图像和对应的所述标注图像构建所述奶牛奶头检测卷积神经网络模型。具体的，所此采用的网络包括FasterRCNN和RFCN，使用resnet50作为特征提取网络，其中去掉网络最后的全连接层。其中所述特征提取网络是一种用于提取图像特征信息的残差卷积结构，之后连接RPN网络进行目标检测。根据在所述步骤108中所确定的所述目标框的大小修改网络层中的anchor大小及数目，以供提高对小目标的检测精度。让后将所述训练集中的所述奶牛图像和对应的所述标注图像输入卷积神经网络，以供构建所述奶牛奶头检测卷积神经网络。具体的，网络输入的图像分辨率是720*1280，同时下载ImageNet模型训练好的resnet50参数文件，使用caffe框架进行训练，根据训练结果调整学习参数，最终获得满足条件的模型参数。
所述网络模型优化单元25用于基于所述验证集与所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。具体的，使用所述验证集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型的参数进行优化，使用所述测试集合中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络进行测试，以供确定所述奶牛奶头检测卷积神经网络模型的检测效果。在本发明的一个优选实施例中，使用所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型的检测结果进行验证的结果是MAP＝0.9046，FPS＝12。
在本发明的另一些优选实施例中，所述奶牛奶头检测卷积神经网络模型构建系统200进一步包括一筛选单元28，所述筛选单元28用于，所述筛选单元28用于去除不满足预设条件的所述检测框，比如在所述目标框的外侧，以供进一步提高检测精度，避免小目标的错检，最终网络输出不同的类别和对应的置信度以及位置信息，并根据设定的阀值得到结果。
根据本发明的另一方面，本发明进一步提供一奶牛奶头检测卷积神经网络模型，其用于检测奶牛奶头的位置，其中所述奶牛奶头检测卷积神经网络模型的构建方法包括：
101：获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
102：获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置；
103：将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
104：基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型；以及
105：基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。
参考说明书附图10，根据本发明的另一方面，本发明进一步提供一奶牛奶头检测方法，其包括：
201：获取一实际奶牛图像；和
202：使用一奶牛奶头检测卷积神经网络模型检测所述实际奶牛图像中奶牛奶头的位置；
其中所述奶牛奶头检测卷积神经网络模型的构建方法包括：
101：获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
102：获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置；
103：将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
104：基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型；以及
105：基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
本领域的技术人员应理解，上述描述及附图中所示的本发明的实施例只作为举例而并不限制本发明。本发明的目的已经完整并有效地实现。本发明的功能及结构原理已在实施例中展示和说明，在没有背离所述原理下，本发明的实施方式可以有任何变形或修改。

Claims (14)

1.一种奶牛奶头检测卷积神经网络模型的构建方法，其特征在于，所述构件方法包括以下步骤：
101：获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
102：获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有至少一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置；
103：将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
104：基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型；以及
105：基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。
2.根据权利要求1所述的奶牛奶头检测卷积神经网络模型的构建方法，其中在所述步骤103中，按照8:1:1的比例将所述奶牛图像和对应的所述标注图像划分为所述训练集、所述验证集以及所述测试集。
3.根据权利要求1所述的奶牛奶头检测卷积神经网络模型的构建方法，其中在所述步骤102和所述步骤103之间进一步包括：对所述奶牛图像和对应的所述标注图像进行扩增处理，以增加所述奶牛图像和对应的所述标注图像的多样性。
4.根据权利要求1所述的奶牛奶头检测卷积神经网络模型的构建方法，在所述步骤103和所述步骤104之间进一步包括：基于所述标注图像调整所述目标框至一预设尺寸。
5.根据权利要求4所述的奶牛奶头检测卷积神经网络模型的构建方法，采用K—means聚类算法调整所述目标框至所述预设尺寸。
6.根据权利要求1所述的奶牛奶头检测卷积神经网络模型的构建方法，其中在所述步骤105中，在对所述奶牛奶头检测卷积神经网络模型进行优化与验证时，将所述奶牛奶头检测卷积神经网络模型的BatchNorm层参数合并到卷积层中。
7.根据权利要求1至6中任一所述的奶牛奶头检测卷积神经网络模型的构建方法，进一步包括：去除不满足预设条件的检测框。
8.一种奶牛奶头检测卷积神经网络模型，其用于检测一图像中奶牛奶头的位置，其特征在于，所述奶牛奶头检测卷积神经网络模型包括：
一奶牛图像获取单元，其用于获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
一标注图像获取单元，其用于获取所述奶牛图像所对应的标注图像，其中所述标注图像具有至少一目标框，所述目标框用于标注所述奶牛奶头的位置；
一图像划分单元，其用于将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
一网络模型构建单元，其用于基于所述训练集中的所述奶牛图像和对应的所述标注图像构建奶牛奶头检测卷积神经网络模型；以及
一网络模型优化单元，其用于基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头加成呢卷积神经网络模型参数进行优化与测试。
9.根据权利要求8所述的奶牛奶头检测卷积神经网络模型，所述图像划分单元用于将所述奶牛图像和对应的所述标注图像按照8:1:1的比例划分为所述训练集、所述验证集以及所述测试集。
10.根据权利要求8所述的奶牛奶头检测卷积神经网络模型构建系统，进一步包括一图像扩增单元，所述图像扩增单元用于对所述奶牛图像和对应的所述标注图像进行扩增处理，以供增加所述奶牛图像和对应的所述标注图像的多样性。
11.根据权利要求8所述的奶牛奶头检测卷积神经网络模型构建系统，进一步包括一目标框调整单元，所述目标框调整单元用于基于所述标注图像调整所述目标框至一预设尺寸。
12.根据权利要求8所述的奶牛奶头检测卷积神经网络模型构建系统，进一步包括一筛选单元，所述筛选单元用于取出不满足预设条件的检测框。
13.一种奶牛奶头检测卷积神经网络模型，其用于检测一奶牛图像中奶牛奶头的位置，其特征在于，所述构建方法包括以下步骤：
101：获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
102：获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有至少一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置；
103：将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
104：基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型；以及
105：基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。
14.一种奶牛奶头检测方法，其特征在于，所述检测方法包括以下步骤：
201：获取一实际奶牛图像；和
202：使用一奶牛奶头检测卷积神经网络模型检测所述实际奶牛图像中奶牛奶头的位置；
其中所述奶牛奶头检测卷积神经网络模型的构建方法包括：
101：获取至少一奶牛的至少一奶牛图像，其中所述奶牛图像包括奶牛奶头；
102：获取每一所述奶牛图像所对应的标注图像，其中所述标注图像具有至少一目标框，所述目标框用于标注所述奶牛图像中所述奶牛奶头的位置；
103：将所述奶牛图像和对应的所述标注图像按照一预设比例划分为一训练集、一验证集以及一测试集；
104：基于所述训练集中的所述奶牛图像和对应的所述标注图像构建一奶牛奶头检测卷积神经网络模型；以及
105：基于所述验证集和所述测试集中的所述奶牛图像和对应的所述标注图像对所述奶牛奶头检测卷积神经网络模型参数进行优化与测试。
CN201910414096.9A 2019-05-17 2019-05-17 奶牛奶头检测卷积神经网络模型及其构建方法 Active CN110969156B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201910414096.9A CN110969156B (zh) 2019-05-17 奶牛奶头检测卷积神经网络模型及其构建方法
PCT/CN2019/107857 WO2020232941A1 (zh) 2019-05-17 2019-09-25 奶牛奶头检测卷积神经网络模型及其构建方法
JP2021568565A JP7223880B2 (ja) 2019-05-17 2019-09-25 乳牛の乳首の検出畳み込みニューラルネットワークモデル及びその構築方法
EP19929355.6A EP3971766A4 (en) 2019-05-17 2019-09-25 MODEL OF A CONVOLUTIONAL NEURAL NETWORK FOR THE DETECTION OF DAIRY HERDS AND CONSTRUCTION METHOD THEREOF

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910414096.9A CN110969156B (zh) 2019-05-17 奶牛奶头检测卷积神经网络模型及其构建方法

Publications (2)

Publication Number Publication Date
CN110969156A true CN110969156A (zh) 2020-04-07
CN110969156B CN110969156B (zh) 2024-07-16

Family

ID=

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680753A (zh) * 2020-06-10 2020-09-18 创新奇智(上海)科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN112434577A (zh) * 2020-11-12 2021-03-02 中国农业大学 奶牛跛行检测方法及奶牛跛行检测装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107950402A (zh) * 2017-11-29 2018-04-24 北京伟景智能科技有限公司 基于双目视觉的挤奶器自动控制方法
CN108509860A (zh) * 2018-03-09 2018-09-07 西安电子科技大学 基于卷积神经网络的可可西里藏羚羊检测方法
CN109063594A (zh) * 2018-07-13 2018-12-21 吉林大学 基于YOLOv2的遥感图像快速目标检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107950402A (zh) * 2017-11-29 2018-04-24 北京伟景智能科技有限公司 基于双目视觉的挤奶器自动控制方法
CN108509860A (zh) * 2018-03-09 2018-09-07 西安电子科技大学 基于卷积神经网络的可可西里藏羚羊检测方法
CN109063594A (zh) * 2018-07-13 2018-12-21 吉林大学 基于YOLOv2的遥感图像快速目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RASTOGI ET AL: "《Teat detection algorithm: YOLO vs. Haar-cascade》", vol. 33, no. 4, pages 2 - 3 *
浩瀚之水_CSDN: "《模型优化：BatchNorm合并到卷积中》", pages 1 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111680753A (zh) * 2020-06-10 2020-09-18 创新奇智(上海)科技有限公司 一种数据标注方法、装置、电子设备及存储介质
CN112434577A (zh) * 2020-11-12 2021-03-02 中国农业大学 奶牛跛行检测方法及奶牛跛行检测装置
CN112434577B (zh) * 2020-11-12 2024-03-26 中国农业大学 奶牛跛行检测方法及奶牛跛行检测装置

Also Published As

Publication number Publication date
EP3971766A1 (en) 2022-03-23
WO2020232941A1 (zh) 2020-11-26
EP3971766A4 (en) 2023-06-14
JP2022533167A (ja) 2022-07-21
JP7223880B2 (ja) 2023-02-16

Similar Documents

Publication Publication Date Title
CN107895367B (zh) 一种骨龄识别方法、系统及电子设备
CN108830144B (zh) 一种基于改进Faster-R-CNN的哺乳母猪姿态识别方法
Zin et al. Image technology based cow identification system using deep learning
CN107292298B (zh) 基于卷积神经网络和分类器模型的牛脸识别方法
Aquino et al. A new methodology for estimating the grapevine-berry number per cluster using image analysis
CN107862694A (zh) 一种基于深度学习的手足口病检测系统
CN108921057B (zh) 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置
WO2022012110A1 (zh) 胚胎光镜图像中细胞的识别方法及系统、设备及存储介质
CN109741317B (zh) 医学影像智能评价方法
CN109141248A (zh) 基于图像的猪体重测算方法及系统
CN111275044A (zh) 基于样本选择和自适应难例挖掘的弱监督目标检测方法
CN110598658B (zh) 一种母猪哺乳行为的卷积网络识别方法
CN111666855B (zh) 基于无人机的动物三维参数提取方法、系统及电子设备
CN113826143A (zh) 特征点检测
CN111325217B (zh) 数据处理方法、装置、系统和介质
CN111507179A (zh) 一种生猪采食行为分析方法
CN108961330A (zh) 基于图像的猪体长测算方法及系统
CN108830856B (zh) 一种基于时间序列sd-oct视网膜图像的ga自动分割方法
CN113312999B (zh) 一种自然果园场景下的柑橘木虱高精度检测方法及装置
CN109492535B (zh) 一种计算机视觉的母猪哺乳行为识别方法
CN113706512B (zh) 一种基于深度学习和深度相机的生猪体重测量方法
CN113793385A (zh) 鱼头鱼尾定位方法及装置
Xie et al. A deep learning-based detection method for pig body temperature using infrared thermography
CN113971756A (zh) 自动注射机器人视觉数据处理方法、系统和注射机器人
CN112001877A (zh) 一种基于深度学习的甲状腺恶性结节检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant