CN112712088B - 动物膘情检测方法、装置及计算机可读存储介质 - Google Patents

动物膘情检测方法、装置及计算机可读存储介质 Download PDF

Info

Publication number
CN112712088B
CN112712088B CN202011627648.3A CN202011627648A CN112712088B CN 112712088 B CN112712088 B CN 112712088B CN 202011627648 A CN202011627648 A CN 202011627648A CN 112712088 B CN112712088 B CN 112712088B
Authority
CN
China
Prior art keywords
rib
image
detection
animal
detection result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011627648.3A
Other languages
English (en)
Other versions
CN112712088A (zh
Inventor
闫润强
李旭强
杨梓钰
邓柯珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Voice Cloud Innovation Institute
Original Assignee
Luoyang Voice Cloud Innovation Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Voice Cloud Innovation Institute filed Critical Luoyang Voice Cloud Innovation Institute
Priority to CN202011627648.3A priority Critical patent/CN112712088B/zh
Publication of CN112712088A publication Critical patent/CN112712088A/zh
Application granted granted Critical
Publication of CN112712088B publication Critical patent/CN112712088B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及动物膘情技术领域，公开了动物膘情检测方法、装置及计算机可读存储介质。该方法包括：获取对待检测动物不同方向进行拍照得到的肋骨图像和臀部图像；其中，臀部图像为深度图像；对肋骨图像进行肋骨数量检测得到第一检测结果，以及对臀部图像进行凹陷度检测得到第二检测结果；根据第一检测结果和第二检测结果，确定待检测动物的膘情。通过上述方式，能够降低养殖人员的工作压力和企业的用人成本。

Description

动物膘情检测方法、装置及计算机可读存储介质
技术领域
本申请涉及动物膘情技术领域，特别是涉及动物膘情检测方法、装置及计算机可读存储介质。
背景技术
在养殖业中，养殖的动物的膘情直接影响到养殖企业的效益。所以合理根据动物膘情养殖十分重要。
相关技术中，养殖人员通过肉眼的观察来判断动物的膘情。这种方法具有一定的主观性，很容易受到外界的干扰，当工作时间过长或者身体疲惫，注意力不集中时就很容易判断错误，进而导致该动物的后期饲料管理等出现一定的问题。另一方面养殖人员得有一定的经验后才能判断动物的膘情，这样在大规模养殖时，企业的养殖人员的成本费用会增加很多，为企业增加了一些不合理的负担，降低企业效益。
发明内容
本申请主要解决的技术问题是提供动物膘情检测方法、装置及计算机可读存储介质，能够降低养殖人员的工作压力和企业的用人成本。
本申请采用的一种技术方案是提供一种动物膘情检测方法，该方法包括：获取对待检测动物不同方向进行拍照得到的肋骨图像和臀部图像；其中，臀部图像为深度图像；对肋骨图像进行肋骨数量检测得到第一检测结果，以及对臀部图像进行凹陷度检测得到第二检测结果；根据第一检测结果和第二检测结果，确定待检测动物的膘情。
其中，对肋骨图像进行肋骨数量检测得到第一检测结果包括：将肋骨图像输入至特征提取网络，得到目标特征图；利用肋骨数量检测网络对目标特征图进行肋骨数量检测得到第一检测结果。
其中，肋骨数量检测网络包括肋骨分割网络和肋骨密度估计网络；利用肋骨数量检测网络对目标特征图进行肋骨数量检测得到第一检测结果包括：利用肋骨分割网络对目标特征图进行肋骨数量检测得到第一肋骨数量，以及利用肋骨密度估计网络对目标特征图进行肋骨数量检测得到第二肋骨数量；计算第一肋骨数量对应的第一评分，以及计算第二肋骨数量对应的第二评分；将第一评分和第二评分进行加权处理，得到第一检测结果。
其中，肋骨图像包括第一肋骨图像和第二肋骨图像；其中，第一肋骨图像是对待检测动物的右侧进行拍照得到和第二肋骨图像是对待检测动物的左侧进行拍照得到；利用肋骨数量检测网络对目标特征图进行肋骨数量检测得到第一检测结果包括：利用肋骨数量检测网络对第一肋骨图像对应的目标特征图进行肋骨数量检测得到第三肋骨数量，以及利用肋骨数量检测网络对第二肋骨图像对应的目标特征图进行肋骨数量检测得到第四肋骨数量；计算第三肋骨数量对应的第三评分，以及计算第四肋骨数量对应的第四评分；利用第三评分和第四评分得到第一检测结果。
其中，对臀部图像进行凹陷度检测得到第二检测结果包括：将臀部图像进行预处理，得到目标图像；利用凹陷度检测网络对目标图像进行凹陷度检测，得到第二检测结果。
其中，根据第一检测结果和第二检测结果，确定待检测动物的膘情包括：将第一检测结果和第二检测结果进行加权处理，得到第三检测结果；将第三检测结果作为待检测动物的膘情。
其中，将第一检测结果和第二检测结果进行加权处理，得到第三检测结果包括：利用第一检测结果确定第一检测结果的第一权重以及第二检测结果的第二权重；利用第一权重和第二权重，得到第三检测结果。
其中，该方法还包括：根据待检测动物的膘情，为待检测动物制定与膘情对应的饲养计划。
其中，该方法还包括：训练动物膘情检测模型；利用已训练的动物膘情检测模型对肋骨图像进行肋骨数量检测得到第一检测结果，以及对臀部图像进行凹陷度检测得到第二检测结果。
其中，动物膘情检测模型包括肋骨数量检测网络和凹陷度检测网络；训练动物膘情检测模型包括：获取训练图像，其中，训练图像包括肋骨图像和臀部图像；肋骨图像中标注有真实信息、第一掩码区域和第二掩码区域，第一掩码区域包括肋骨图像中表示肋骨区域的真实框；第二掩码区域为第一掩码区域中表示每个肋骨的像素点所组成的区域；利用肋骨图像对肋骨数量检测网络进行训练以及利用臀部图像对凹陷度检测网络进行训练。
本申请采用的另一种技术方案是提供一种动物膘情检测装置，该检测装置包括：检测通道，用于待检测动物通过；至少一第一图像采集器，设置于检测通道的至少一侧，用于对待检测动物进行拍照得到肋骨图像；第二图像采集器，设置于检测通道中并朝向待检测动物移动方向的一侧，用于对待检测动物进行拍照得到臀部图像；其中，臀部图像为深度图像；处理器，连接第一图像采集器和第二图像采集器，用于采用如上述技术方案提供的方法对肋骨图像和臀部图像进行处理，确定待检测动物的膘情。
其中，检测装置还包括：通道门，通道门设置于检测通道一端，与处理器连接，用于在第一图像采集器和第二图像采集器对待检测动物拍照完成后打开，以使待检测动物通过。
本申请采用的另一种技术方案是提供一种计算机可读存储介质，该计算机可读存储介质用于存储程序数据，程序数据在被处理器执行时，用于实现如上述技术方案提供的方法。
本申请的有益效果是：区别于现有技术的情况，本申请利用动物的肋骨图像和臀部图像确定待检测动物的膘情，能够解决传统的使用人工判断动物膘情的弊端，并在规模化养殖中，能够降低养殖人员的工作压力和企业的用人成本。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的动物膘情检测装置一实施例的结构示意图；
图2是本申请提供的动物膘情检测装置另一实施例的结构示意图；
图3是本申请提供的动物膘情检测方法一实施例的流程示意图；
图4是本申请提供的动物膘情检测方法另一实施例的流程示意图；
图5是本申请提供的图4中步骤43的一具体流程示意图；
图6是本申请提供的图4中步骤43的另一具体流程示意图；
图7是本申请提供的动物膘情检测方法另一实施例的流程示意图；
图8是本申请提供的图7中步骤71的一具体流程示意图；
图9是本申请提供的待检测动物示意图；
图10是本申请提供的计算机可读存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
参阅图1，图1是本申请提供的动物膘情检测装置一实施例的结构示意图。该检测装置10包括检测通道11、至少一第一图像采集器12、第二图像采集器13和处理器(图未示)。其中，检测通道11用于待检测动物通过。至少一第一图像采集器12设置于检测通道11的至少一侧，用于对待检测动物进行拍照得到肋骨图像。如图1所示，检测通道11的一侧111和另一侧112均设置有第一图像采集器12。第二图像采集器13设置于检测通道11中并朝向待检测动物移动方向的一侧113，用于对待检测动物进行拍照得到臀部图像；其中，臀部图像为深度图像。处理器连接第一图像采集器12和第二图像采集器13，用于采用动物膘情检测方法对肋骨图像和臀部图像进行处理，确定待检测动物的膘情。待检测动物按照图1中箭头所示方向移动。
在一些实施例中，上述的待检测动物可以是猪、牛和羊等。
参阅图2，检测装置10还包括通道门15。通道门15设置于检测通道11一端，与处理器连接，用于在第一图像采集器12和第二图像采集器13对待检测动物拍照完成后打开，以使待检测动物通过。通道门15可以是单向双开门，其对应的开门方向为朝向待检测动物移动方向的一侧。在通道门15打开后，待检测动物通过。
在一应用场景中，待检测动物为牛，当牛走到通道门15处，第一图像采集器12分别是位于牛的后侧方，能够拍到牛的侧面。这样拍出来的肋骨图像中的肋骨会有层次感，更加明显，利于后续处理器的处理。第二图像采集器13位于牛的正后方，能够拍到牛的臀部区域。当牛进入检测通道11走到通道门15时，通道门15不开门，然后第一图像采集器12和第二图像采集器13对牛进行拍照，拍完后处理器14控制通道门15打开，牛从该通道门15走出去。处理器14采用动物膘情检测方法对肋骨图像和臀部图像进行处理，确定待检测动物的膘情。
具体地，上述动物膘情检测方法详见下述实施例。
参阅图3，图3是本申请提供的动物膘情检测方法一实施例的流程示意图。该方法包括：
步骤31：获取对待检测动物不同方向进行拍照得到的肋骨图像和臀部图像；其中，臀部图像为深度图像。
深度图像(depth image)也被称为距离影像(range image)，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。深度图像经过坐标转换可以计算为点云数据。
该肋骨图像可以是对待检测动物两侧肋骨区进行拍照得到的，也可以是对待检测动物一侧肋骨区进行拍照得到的。
该臀部图像可以是对待检测动物后方进行拍照得到的，其中，该臀部图像中会体现出臀部构造，如髋骨、臀部肌肉和臀部皮肤之间的构造。
在一些实施例中，肋骨图像也可以是深度图像。
步骤32：对肋骨图像进行肋骨数量检测得到第一检测结果，以及对臀部图像进行凹陷度检测得到第二检测结果。
在一些实施例中，可以利用机器学习模型对肋骨图像进行肋骨数量检测得到第一检测结果，以及对臀部图像进行凹陷度检测得到第二检测结果。如，机器学习模型可以是深度学习模型和卷积神经网络模型等。
在一些实施例中，在步骤32之前需要对肋骨图像和臀部图像进行处理，以过滤掉肋骨图像和臀部图像中不属于待检测动物的信息。
在一些实施例中，第一检测结果可以是该肋骨图像中的肋骨数量，也可以是该肋骨数量对应的评分。第二检测结果可以是该臀部图像对应的评分。
步骤33：根据第一检测结果和第二检测结果，确定待检测动物的膘情。
在一些实施例中，可以对第一检测结果和第二检测结果进行加权处理，确定待检测动物的膘情。
在确定待检测动物的膘情后，根据待检测动物的膘情，为待检测动物制定与膘情对应的饲养计划，能够使待检测动物更好的生长，创造更大的价值。如，待检测动物的膘情按照等级来确定，具体地，等级按照1-5分来评定，其中，3分为最佳等级，小于3分表示待检测动物偏肥，大于3分表示待检测动物偏瘦。
在本实施例中，利用动物的肋骨图像和臀部图像确定待检测动物的膘情，能够解决传统的使用人工判断动物膘情的弊端，并在规模化养殖中，能够降低养殖人员的工作压力和企业的用人成本，并能够提高对动物膘情的检测效率。
参阅图4，图4是本申请提供的动物膘情检测方法另一实施例的流程示意图。该方法包括：
步骤41：获取对待检测动物不同方向进行拍照得到的肋骨图像和臀部图像；其中，臀部图像为深度图像。
在本实施例中，对肋骨图像和臀部图像进行区分。具体地，可以对图1所示的至少一第一图像采集器12、第二图像采集器13进行标记。已将至少一第一图像采集器12和第二图像采集器13拍的图像进行关联。
当获取得到的图像存在第一图像采集器12的标记，则确认该图像为肋骨图像，获取得到的图像存在第二图像采集器13的标记，则确认该图像为臀部图像。
在确定肋骨图像后，执行步骤42，在确定臀部图像后，执行步骤44。
步骤42：将肋骨图像输入至特征提取网络，得到目标特征图。
在将肋骨图像输入至特征提取网络后，若未得到目标特征图，则说明该肋骨图像中无可见肋骨，则可以直接得到第一检测结果。
在本实施例中，特征提取网络可以包括C1层、C2层、C3层、C4层、C5层、P2层、P3层、P4层、P5层。其中，C1层、C2层、C3层、C4层、C5层是一个下采样过程，P5层、P4层、P3层、P2层是一个上采样过程。对应的C1层、C2层、C3层、C4层、C5层中各自包括卷积层、池化层、和RELU层。
其中，在肋骨图像输入后，根据肋骨图像的类型，如灰度图像，彩色图像，将图像转换为对应的色值通道，如彩色图像有RGB三个色值通道，分别表示红、绿、蓝，每个通道内的像素可以用一个二维数组表示，数值代表0-255之间的像素值。假设一张900*600的彩色的图片，计算机里面可以用(900*600*3)的数组矩阵表示。转换完成后对肋骨图像依序在C1层、C2层、C3层、C4层、C5层进行下采样，在C5层得到多个特征图。依P5层、P4层、P3层、P2层的顺序进行上采样。其中，P5层、P4层、P3层、P2层每个中包括上采样层和反卷积层，通过上采样层将上一层的多个特征图像放大，放大后的特征图像只存在被池化后数据，所以其他位置的权值为0，然后通过反卷积层填补缺失的内容。
C2层、C3层、C4层、C5层与P5层、P4层、P3层、P2层之间存在对应关系，如C2层对应P2层、C3层对应P3层、C4层对应P4层、C5层对应P5层。在C2层、C3层、C4层、C5层中的池化层产生的池化索引会输入到对应的P2层、P3层、P4层、P5层中的上采样层。在实际操作过程中，在C2层、C3层、C4层、C5层中的池化层产生特征图时，会生成池化索引，即该池化索引对应的是现有特征图中的元素在上一层的特征图中的位置信息，则在P2层、P3层、P4层、P5层中的上采样层进行特征图放大，得到放大后的特征图时，按照对应的池化索引将特征图中元素放入放大后的特征图中的对应位置。
通过上述的过程，得到目标特征图。
步骤43：利用肋骨数量检测网络对目标特征图进行肋骨数量检测得到第一检测结果。
在一些实施例中，肋骨数量检测网络包括肋骨分割网络和肋骨密度估计网络。具体地，参阅图5，步骤43可以是以下步骤：
步骤431：利用肋骨分割网络对目标特征图进行肋骨数量检测得到第一肋骨数量，以及利用肋骨密度估计网络对目标特征图进行肋骨数量检测得到第二肋骨数量。
其中，利用肋骨分割网络对目标特征图进行肋骨数量检测得到第一肋骨数量可以具体是如下方式，利用肋骨分割网络识别目标特征图中的肋骨，则肋骨的数量作为第一肋骨数量。其中，肋骨分割网络可以采用Mask R-CNN进行训练得到。
其中，利用肋骨密度估计网络对目标特征图进行肋骨数量检测得到第二肋骨数量可以具体是如下方式：利用肋骨密度估计网络估计目标特征图中的肋骨的数量，则肋骨密度估计网络估计的肋骨数量作为第二肋骨数量。其中，肋骨密度估计网络可以采用MCNN(Multi-column Convolutional Neural Network，多列卷积神经网络)模型进行训练得到。
步骤432：计算第一肋骨数量对应的第一评分，以及计算第二肋骨数量对应的第二评分。
在本实施例中，对不同的肋骨数量进行评分。如，可以将肋骨数量作为其对应的评分，如肋骨数量为3，则对应的评分为3分。
步骤433：将第一评分和第二评分进行加权处理，得到第一检测结果。
在一些实施例中，可以将第一评分和第二评分进行加权求平均值，将得到的数值作为第一检测结果。
具体地，可提前设置对应第一评分和第二评分的权重。在肋骨分割网络和肋骨密度估计网络训练完成后，对肋骨分割网络和肋骨密度估计网络进行评估，评估结果相对好的网络的权重数值比另一个的网络的权重数值大。如，第一权重数值为0.4，第二权重数值为0.6。当肋骨分割网络的评估结果相对好时，因利用肋骨分割网络得到的第一肋骨数量，则第一肋骨数量对应的第一评分的权重为第二权重数值，第二评分的权重为第一权重数值。当肋骨密度估计网络的评估结果相对好时，因利用肋骨密度估计网络得到的第二肋骨数量，则第二肋骨数量对应的第二评分的权重为第二权重数值，第一评分的权重为第一权重数值。
通过上述方式，结合肋骨分割网络和肋骨密度估计网络输出的肋骨数量得到第一检测结果，能够使第一检测结果更加准确。
在一些实施例中，肋骨图像包括第一肋骨图像和第二肋骨图像；其中，第一肋骨图像是对待检测动物的右侧进行拍照得到和第二肋骨图像是对待检测动物的左侧进行拍照得到。具体地，参阅图6，步骤43可以是以下步骤：
步骤61：利用肋骨数量检测网络对第一肋骨图像对应的目标特征图进行肋骨数量检测得到第三肋骨数量，以及利用肋骨数量检测网络对第二肋骨图像对应的目标特征图进行肋骨数量检测得到第四肋骨数量。
其中，肋骨数量检测网络可以包括肋骨分割网络和/或肋骨密度估计网络。
当肋骨数量检测网络包括肋骨分割网络时，利用肋骨分割网络对第一肋骨图像对应的目标特征图进行肋骨数量检测得到第三肋骨数量以及利用肋骨分割网络对第二肋骨图像对应的目标特征图进行肋骨数量检测得到第四肋骨数量。
当肋骨数量检测网络包括肋骨密度估计网络时，利用肋骨密度估计网络对第一肋骨图像对应的目标特征图进行肋骨数量检测得到第三肋骨数量以及利用肋骨密度估计网络对第二肋骨图像对应的目标特征图进行肋骨数量检测得到第四肋骨数量。
当肋骨数量检测网络包括肋骨分割网络和肋骨密度估计网络时，分别利用肋骨分割网络和肋骨密度估计网络对第一肋骨图像对应的目标特征图进行肋骨数量检测得到对应的第三肋骨数量以及利用肋骨分割网络和肋骨密度估计网络对第二肋骨图像对应的目标特征图进行肋骨数量检测得到对应的第四肋骨数量。可以理解，当利用肋骨分割网络和肋骨密度估计网络对第一肋骨图像对应的目标特征图进行肋骨数量检测时，会得到两个肋骨数量，此时按照上述实施例的方案，进行加权处理，得到第三肋骨数量。当利用肋骨分割网络和肋骨密度估计网络对第二肋骨图像对应的目标特征图进行肋骨数量检测时，会得到两个肋骨数量，此时按照上述实施例的方案，进行加权处理，得到第四肋骨数量。
步骤62：计算第三肋骨数量对应的第三评分，以及计算第四肋骨数量对应的第四评分。
在本实施例中，对不同的肋骨数量进行评分。如，可以将肋骨数量作为其对应的评分，如肋骨数量为4，则对应的评分为4分。
步骤63：利用第三评分和第四评分得到第一检测结果。
因第一肋骨图像和第二肋骨图像对应待检测动物两侧肋骨区，则会会存在两者评分不一致的情况，则可按照下述方式进行计算。
首先计算第三评分和第四评分之间的差值，若该差值超过阈值，则表示待检测动物的两侧的生长情况差距太大，这不符合生长规律，可能存在肋骨图像拍摄异常，也存在待检测动物身体异常，则直接将第一检测结果认定为检测不准确。若该差值为超过阈值，则可以将第三评分和第四评分进行加权求平均值，将得到的数值作为第一检测结果。
在其他实施例中，以1-5分来评定，其中，1分表示过肥、2分表示偏肥、3分表示适中、4分表示偏瘦、5分表示过瘦。若第三评分为5分、第四评分为4分，则第一检测结果为4分，偏瘦；若第三评分为1分、第四评分为2分，则第一检测结果为2分，偏肥；若第三评分为3分、第四评分为4分或第三评分为3分、第四评分为2分，则第一检测结果为3分，适中；若第三评分为3分、第四评分为5分或第三评分为3分、第四评分为1分，则第一检测结果为第四评分和第三评分的均值。将检测不准确的第一检测结果确定为0分。
在步骤43执行后，执行步骤46。
步骤44：将臀部图像进行预处理，得到目标图像。
其中，对臀部图像进行预处理，将臀部图像中待检测动物以外的物体进行滤除，得到目标图像。
步骤45：利用凹陷度检测网络对目标图像进行凹陷度检测，得到第二检测结果。
在一些实施例中，对目标进行下采样，得到多维特征图，然后基于多维特征图得到一个目标特征图，对该目标特征图进行分类，得到其对应的分类结果，将分类结果对应的评分作为第二检测结果。
具体地，按照动物的过肥、偏肥、适中、偏瘦、过瘦表示对应的分类，并为每个分类设置不同的分值。在得到其对应的分类结果时，将分类结果对应的分值作为第二检测结果。可以理解，在训练凹陷度检测网络时，可根据过肥、偏肥、适中、偏瘦、过瘦来对臀部图像进行标注，根据标注信息进行训练。
在步骤45执行后，执行步骤46。
步骤46：根据第一检测结果和第二检测结果，确定待检测动物的膘情。
在一些实施例中，将第一检测结果和第二检测结果进行加权处理，得到第三检测结果；将第三检测结果作为待检测动物的膘情。
在一些实施例中，可以利用第一检测结果确定第一检测结果的第一权重以及第二检测结果的第二权重；利用第一权重和第二权重，得到第三检测结果。如，在未得到目标特征图时，则说明该肋骨图像中无可见肋骨，则可以直接得到第一检测结果，此时，将第一检测结果确定为0。在得到目标特征图，则按照上述步骤得到第一检测结果对应的数值。当第一检测结果确定为0时，第一检测结果对应的第一权重为0，第二检测结果对应的第二权重为1。当第一检测结果确定不为0时，第一检测结果对应的第一权重为0.4，第二检测结果对应的第二权重为0.6。
可以理解，因第二检测结果对应的臀部图像更能表征出待检测动物的膘情，所以第二权重比第一权重大。
根据待检测动物的膘情，为待检测动物制定与膘情对应的饲养计划。
在本实施例中，结合臀部图像和肋骨图像对待检测动物进行膘情确定，能够根据膘情为待检测动物制定与膘情对应的饲养计划，能够解决传统的使用人工判断动物膘情的弊端，并在规模化养殖中，能够降低养殖人员的工作压力和企业的用人成本。
参阅图7，图7是本申请提供的动物膘情检测方法另一实施例的流程示意图。该方法包括：
步骤71：训练动物膘情检测模型；
在一些实施例中，动物膘情检测模型包括肋骨数量检测网络和凹陷度检测网络，肋骨数量检测网络包括肋骨分割网络和肋骨密度估计网络。步骤71可以是如下步骤：
步骤711：获取训练图像。
其中，训练图像包括肋骨图像和臀部图像；肋骨图像中标注有真实信息、第一掩码区域和第二掩码区域，第一掩码区域包括肋骨图像中表示肋骨区域的真实框；第二掩码区域为第一掩码区域中表示每个肋骨的像素点所组成的区域。
在一些实施例中，在构建动物膘情检测模型时，可以基于Faster R-CNN的目标检测网络结构构建特征提取网络，在该网络结构基础上添加两个支路，一个是分割支路，对应肋骨分割网络，另一个密度估计支路，对应肋骨密度估计网络。其中肋骨分割网络可使用Mask R-CNN网络模型进行构建，肋骨密度估计网络可以利用MCNN网络模型进行构建。
在使用肋骨图像训练时，在特征提取阶段利用标注的第一掩码区域来训练一个有无肋骨的特征提取网络，在分割和密度估计阶段则是利用第二掩码区域生成相应的mask(掩码)标注和密度图。网络的损失函数采用这三个网络结构的损失相结合，即特征提取阶段的分类损失和第一掩码区域标注的回归损失，分割支路的第二掩码区域标注的回归损失和分类损失，密度估计标注的回归损失。利用上述的回归损失和分类损失，调整特征提取网络、肋骨分割网络和肋骨密度估计网络的网络参数。
凹陷度检测网络可以基于PointNet++网络进行构建，将最终的分类数目改成5类，分别对应不同的膘情等级，每一类对应相应的分值。具体地，可通过人工标注的方式根据臀部图像中的臀部和髋骨的具体形状进行标注，如臀部和髋骨圆润平滑，标注为适中；臀部和髋骨浑圆平滑，标注为偏肥；臀部和髋骨看不见明显的骨骼结构，标注为过肥；臀部和髋骨突出，标注为偏瘦，臀部和髋骨非常突出，标注为过瘦。
在其他实施例中，因训练图像是同时采集的，可将臀部图像与肋骨图像进行联合标注。
步骤712：利用肋骨图像对肋骨数量检测网络进行训练以及利用所述臀部图像对所述凹陷度检测网络进行训练。
将标注好的待检测动物的臀部图像数据集送入构建好的凹陷度检测网络中进行训练，得到一个最优的检测待检测动物臀部和髋骨凹陷度的评分模型。
具体地，根据标注的真实信息和所述检测信息之间的差异，调整所述缺陷检测模型的网络参数。
步骤72：利用已训练的动物膘情检测模型对肋骨图像进行肋骨数量检测得到第一检测结果，以及对臀部图像进行凹陷度检测得到第二检测结果。
步骤72与上述实施例具有相同或相似的技术方案，这里不做赘述。
在一应用场景中，待检测动物为母牛，因母牛的膘情对母牛的产犊很重要，繁殖母牛每年就产一头犊牛，寿命仅10年，当母牛的膘情过肥时，很容易浪费饲料增加养殖成本并且也不好怀孕影响养殖户经济效益，母牛过瘦时也是不容易怀孕并且对自己的寿命有影响，当母牛不肥不瘦时才是膘情最好的时候，此时也很容易怀孕，所以控制母牛的膘情对牛养殖企业特别重要。当母牛膘情好的时候才能节省养殖户的成本，提高经济收入。通过每天监测母牛的膘情状况，来调整相应的饲料用量和各种饲料的搭配比，来让母牛达到最合适的膘情，然后进行人工发情等操作，让母牛能够顺利的产犊，提高企业的经济效益。参阅图10，图10为母牛示意图，上述实施例主要采集的是母牛的肋骨区A的图像和母牛的臀部区B的图像。则通过本申请的技术方案可每天对母牛进行膘情检测，能够实时掌握母牛的膘情，并进行统计，将每头母牛根据膘情进行等级划分，并输入到母牛管理系统中，并及时的更新和针对不同等级的母牛的后续饲养计划，使母牛能够顺利的产犊，提高企业的经济效益。
参阅图10，该计算机可读存储介质100用于存储程序数据101，程序数据101在被处理器执行时，用于实现如下方法：
获取对待检测动物不同方向进行拍照得到的肋骨图像和臀部图像；其中，臀部图像为深度图像；对肋骨图像进行肋骨数量检测得到第一检测结果，以及对臀部图像进行凹陷度检测得到第二检测结果；根据第一检测结果和第二检测结果，确定待检测动物的膘情。
可以理解，程序数据101在被处理器执行，可用于实现上述实施例的任一方法，其具体的实施步骤可以参考上述实施例，这里不再赘述。
在本申请所提供的几个实施方式中，应该理解到，所揭露的方法以及设备，可以通过其它的方式实现。例如，以上所描述的设备实施方式仅仅是示意性的，例如，上述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外，在本申请各个实施方式中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述其他实施方式中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，RandomAccess Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本申请的实施方式，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种动物膘情检测方法，其特征在于，所述方法包括：
获取对待检测动物不同方向进行拍照得到的肋骨图像和臀部图像；其中，所述臀部图像为深度图像；
将肋骨图像输入至特征提取网络，得到目标特征图；
利用肋骨分割网络对所述目标特征图进行肋骨数量检测得到第一肋骨数量，以及利用肋骨密度估计网络对所述目标特征图进行肋骨数量检测得到第二肋骨数量；
计算所述第一肋骨数量对应的第一评分，以及计算所述第二肋骨数量对应的第二评分；
将所述第一评分和所述第二评分进行加权处理，得到第一检测结果，以及对所述臀部图像进行凹陷度检测得到第二检测结果；
根据所述第一检测结果和所述第二检测结果，确定所述待检测动物的膘情。
2.根据权利要求1所述的方法，其特征在于，
所述肋骨图像包括第一肋骨图像和第二肋骨图像；其中，所述第一肋骨图像是对所述待检测动物的右侧进行拍照得到和所述第二肋骨图像是对所述待检测动物的左侧进行拍照得到；
所述利用肋骨分割网络对所述目标特征图进行肋骨数量检测得到第一肋骨数量，包括：
利用所述肋骨分割网络和/或所述肋骨密度估计网络对所述第一肋骨图像对应的目标特征图进行肋骨数量检测得到第三肋骨数量，以及利用所述肋骨分割网络和/或所述肋骨密度估计网络对所述第二肋骨图像对应的目标特征图进行肋骨数量检测得到第四肋骨数量；
计算所述第三肋骨数量对应的第三评分，以及计算所述第四肋骨数量对应的第四评分；将所述第三评分作为所述第一评分，将所述第四评分作为所述第二评分。
3.根据权利要求1所述的方法，其特征在于，
所述对所述臀部图像进行凹陷度检测得到第二检测结果包括：
将所述臀部图像进行预处理，得到目标图像；
利用凹陷度检测网络对所述目标图像进行凹陷度检测，得到所述第二检测结果。
4.根据权利要求1所述的方法，其特征在于，
所述根据所述第一检测结果和所述第二检测结果，确定所述待检测动物的膘情包括：
将所述第一检测结果和所述第二检测结果进行加权处理，得到第三检测结果；
将所述第三检测结果作为所述待检测动物的膘情。
5.根据权利要求4所述的方法，其特征在于，
所述将所述第一检测结果和所述第二检测结果进行加权处理，得到第三检测结果包括：
利用所述第一检测结果确定所述第一检测结果的第一权重以及所述第二检测结果的第二权重；
利用所述第一权重和所述第二权重，得到所述第三检测结果。
6.根据权利要求1所述的方法，其特征在于，
所述方法还包括：
根据所述待检测动物的膘情，为所述待检测动物制定与所述膘情对应的饲养计划。
7.根据权利要求1所述的方法，其特征在于，
所述方法还包括：
训练动物膘情检测模型；
利用已训练的所述动物膘情检测模型对所述肋骨图像进行肋骨数量检测得到所述第一检测结果，以及对所述臀部图像进行凹陷度检测得到所述第二检测结果。
8.根据权利要求7所述的方法，其特征在于，
所述动物膘情检测模型包括肋骨数量检测网络和凹陷度检测网络；
所述训练动物膘情检测模型包括：
获取训练图像，其中，所述训练图像包括所述肋骨图像和所述臀部图像；所述肋骨图像中标注有真实信息、第一掩码区域和第二掩码区域，所述第一掩码区域包括所述肋骨图像中表示肋骨区域的真实框；所述第二掩码区域为所述第一掩码区域中表示每个肋骨的像素点所组成的区域；
利用所述肋骨图像对所述肋骨数量检测网络进行训练以及利用所述臀部图像对所述凹陷度检测网络进行训练。
9.一种动物膘情检测装置，其特征在于，所述检测装置包括：
检测通道，用于待检测动物通过；
至少一第一图像采集器，设置于所述检测通道的至少一侧，用于对所述待检测动物进行拍照得到肋骨图像；
第二图像采集器，设置于所述检测通道中并朝向所述待检测动物移动方向的一侧，用于对所述待检测动物进行拍照得到臀部图像；其中，所述臀部图像为深度图像；
处理器，连接所述第一图像采集器和所述第二图像采集器，用于采用如权利要求1-8任一项所述的方法对所述肋骨图像和所述臀部图像进行处理，确定所述待检测动物的膘情。
10.根据权利要求9所述的检测装置，其特征在于，所述检测装置还包括：通道门，所述通道门设置于所述检测通道一端，与所述处理器连接，用于在所述第一图像采集器和所述第二图像采集器对所述待检测动物拍照完成后打开，以使所述待检测动物通过。
11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序数据，所述程序数据在被处理器执行时，用于实现如权利要求1-8任一项所述的方法。
CN202011627648.3A 2020-12-31 2020-12-31 动物膘情检测方法、装置及计算机可读存储介质 Active CN112712088B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011627648.3A CN112712088B (zh) 2020-12-31 2020-12-31 动物膘情检测方法、装置及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011627648.3A CN112712088B (zh) 2020-12-31 2020-12-31 动物膘情检测方法、装置及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN112712088A CN112712088A (zh) 2021-04-27
CN112712088B true CN112712088B (zh) 2023-02-14

Family

ID=75547646

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011627648.3A Active CN112712088B (zh) 2020-12-31 2020-12-31 动物膘情检测方法、装置及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN112712088B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114708233A (zh) * 2022-04-11 2022-07-05 牧原肉食品有限公司 一种用于对猪胴体膘厚进行测量的方法及其相关产品

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN108875709A (zh) * 2018-07-18 2018-11-23 洛阳语音云创新研究院 一种扎堆行为检测方法、装置、电子设备及存储介质
CN109472798A (zh) * 2018-12-10 2019-03-15 重庆理工大学 生猪脂肪含量检测模型训练方法及生猪脂肪含量检测方法
CN110530477A (zh) * 2019-09-28 2019-12-03 四川农业大学 后备母猪体重预估方法
CN110754426A (zh) * 2019-11-28 2020-02-07 深圳市慧农科技有限公司 一种背膘膘体自动检测以及动物自动饲喂方法、系统
BR102019004750A2 (pt) * 2019-03-12 2020-10-06 Pro-Eficiência Solução Agronegócios S/A Sistema de monitoramento de animais e determinação do acabamento e musculosidade a partir da aquisição de imagens voluntárias pré-abate do animal
CN111814867A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN111898326A (zh) * 2020-08-28 2020-11-06 邹安琪 一种基于移动视角的猪的体重和膘情变化检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797826B (zh) * 2020-05-14 2023-04-18 中国三峡建设管理有限公司 大骨料集中区域检测方法和装置及其网络模型训练方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018121690A1 (zh) * 2016-12-29 2018-07-05 北京市商汤科技开发有限公司 对象属性检测、神经网络训练、区域检测方法和装置
CN108875709A (zh) * 2018-07-18 2018-11-23 洛阳语音云创新研究院 一种扎堆行为检测方法、装置、电子设备及存储介质
CN109472798A (zh) * 2018-12-10 2019-03-15 重庆理工大学 生猪脂肪含量检测模型训练方法及生猪脂肪含量检测方法
BR102019004750A2 (pt) * 2019-03-12 2020-10-06 Pro-Eficiência Solução Agronegócios S/A Sistema de monitoramento de animais e determinação do acabamento e musculosidade a partir da aquisição de imagens voluntárias pré-abate do animal
CN110530477A (zh) * 2019-09-28 2019-12-03 四川农业大学 后备母猪体重预估方法
CN110754426A (zh) * 2019-11-28 2020-02-07 深圳市慧农科技有限公司 一种背膘膘体自动检测以及动物自动饲喂方法、系统
CN111814867A (zh) * 2020-07-03 2020-10-23 浙江大华技术股份有限公司 缺陷检测模型的训练方法、缺陷检测方法及相关装置
CN111898326A (zh) * 2020-08-28 2020-11-06 邹安琪 一种基于移动视角的猪的体重和膘情变化检测方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Body condition estimation on cows from depth images using Convolutional Neural Networks;JuanRodríguez Alvarez et.al;《Computers and Electronics in Agriculture》;20181231;第155卷;第12-22页 *
图像识别技术在奶牛体况评分中的应用研究;刘建飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20130215;第I138-1488页 *
基于注意力机制和特征融合改进的小目标检测算法;麻森权等;《计算机应用与软件》;20200512(第05期);第200-205页 *

Also Published As

Publication number Publication date
CN112712088A (zh) 2021-04-27

Similar Documents

Publication Publication Date Title
CN107292298B (zh) 基于卷积神经网络和分类器模型的牛脸识别方法
CN107844797A (zh) 一种基于深度图像的哺乳母猪姿态自动识别的方法
US20230281265A1 (en) Method for estimating body size and weight of pig based on deep learning
CN109376728A (zh) 一种基于多特征融合和bp神经网络的稻田杂草识别方法及其应用
CN111727457B (zh) 一种基于计算机视觉的棉花作物行检测方法、装置及存储介质
CN107610122B (zh) 一种基于Micro-CT的单籽粒谷物内部虫害检测方法
CN111339921A (zh) 基于轻量级卷积神经网络的病虫害检测无人机及检测方法
CN113222991A (zh) 基于深度学习网络的田间麦穗计数以及小麦产量预测
CN114818909B (zh) 一种基于作物长势特征的杂草检测方法和装置
Selvi et al. Weed detection in agricultural fields using deep learning process
CN113592896B (zh) 基于图像处理的鱼类投喂方法、系统、设备及存储介质
CN107256398A (zh) 基于特征融合的奶牛个体识别方法
CN115861721B (zh) 基于图像数据的畜禽养殖喷雾设备状态识别方法
CN112712088B (zh) 动物膘情检测方法、装置及计算机可读存储介质
CN110188657A (zh) 基于卷曲叶片检测的玉米干旱识别方法
CN111967441A (zh) 一种基于深度学习的农作物病害分析方法
CN112883915B (zh) 一种基于迁移学习的麦穗自动识别方法和系统
CN111369497B (zh) 一种行走式树上果实连续计数方法及装置
CN111275269A (zh) 一种基于养殖鱼异常行为的在线水质溶解氧变化预测方法
Zhang et al. Application of convolution neural network algorithm based on intelligent sensor network in target recognition of corn weeder at seedling stage
CN117036926A (zh) 一种融合深度学习与图像处理的杂草识别方法
CN117132802A (zh) 一种田间小麦病虫害识别方法、装置及存储介质
Jin et al. An improved mask r-cnn method for weed segmentation
CN112329697B (zh) 一种基于改进YOLOv3的树上果实识别方法
Anifah Decision support system cattle weight prediction using artificial selected weighting method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant