CN110991222A - 一种物体状态监测、母猪发情监测方法、装置及系统 - Google Patents
一种物体状态监测、母猪发情监测方法、装置及系统 Download PDFInfo
- Publication number
- CN110991222A CN110991222A CN201910984800.4A CN201910984800A CN110991222A CN 110991222 A CN110991222 A CN 110991222A CN 201910984800 A CN201910984800 A CN 201910984800A CN 110991222 A CN110991222 A CN 110991222A
- Authority
- CN
- China
- Prior art keywords
- image
- similarity
- target object
- sow
- trained
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000012544 monitoring process Methods 0.000 title claims abstract description 49
- 230000012173 estrus Effects 0.000 title claims abstract description 45
- 238000004458 analytical method Methods 0.000 claims abstract description 50
- 238000001514 detection method Methods 0.000 claims abstract description 36
- 238000013145 classification model Methods 0.000 claims abstract description 25
- 238000005520 cutting process Methods 0.000 claims abstract description 21
- 210000003905 vulva Anatomy 0.000 claims description 48
- 239000013598 vector Substances 0.000 claims description 30
- 238000004891 communication Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 9
- 238000012806 monitoring device Methods 0.000 claims description 8
- 238000003860 storage Methods 0.000 claims description 4
- 238000003062 neural network model Methods 0.000 claims description 3
- 238000013528 artificial neural network Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 238000012549 training Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 7
- 230000009471 action Effects 0.000 description 4
- 230000017260 vegetative to reproductive phase transition of meristem Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000004660 morphological change Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000036760 body temperature Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000001850 reproductive effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/22—Matching criteria, e.g. proximity measures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
Abstract
本申请涉及一种物体状态监测、母猪发情监测方法、装置及系统，该物体状态监测方法包括：获取待测图像以及待测图像的采集时间；根据预先训练的目标检测模型从待测图像中识别得到目标物体的位置信息；根据位置信息从待测图像中裁剪得到目标物体图像；根据预先训练的相似度分析模型分析采集时间之间间隔第一时间段的两张目标物体图像的相似度；根据预先训练的分类模型分析相似度，得到目标物体图像对应的物体状态。该技术方案无需对物体本身进行操作，避免监测对物体的影响，对物体状态进行监测的识别仅需摄像机和计算设备即可实现，降低了监测系统的成本，且监测结果准确，实时性较强，设备故障率也较低。另外，也大大降低了人力成本及监测效率。
Description
技术领域
本申请涉及图像处理领域，尤其涉及一种物体状态监测、母猪发 情监测方法、装置及系统。
背景技术
养猪是我国的传统产业，有着悠久的历史。但我国总体母猪年生 产效率仍较低，造成母猪繁殖率下降的因素很多，其中合适的配种时 间是影响产仔数的主要因素。目前，母猪发情检测大多是由经验丰富 的养殖户来完成，相当耗时力，结果也不太准确，导致母猪不能及时 配种。
现有的母猪发情监测系统大多通过传感器等硬件设备实现。硬件 设备包括设置在母猪耳朵上的电子耳标和设置在猪栏上的检测箱，检 测箱中设有拾音器等感应器，检测箱中的感应器连接单片机，单片机 连接外置计算机。通过采集母猪体征，如体温、运动量、声音、进食 量等信息判断母猪是否发情。
但是，在猪身上安装传感器会导致猪只应激行为，影响猪的健康 成长，给猪佩戴耳标会花费大量人力和时间。另外，整个监测系统不 仅成本高，而且存在可靠率低，实时性差，故障率高等问题。
发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题，本申 请提供了一种物体状态监测、母猪发情监测方法、装置及系统。
第一方面，本申请提供了一种物体状态监测方法，包括：
获取待测图像以及所述待测图像的采集时间；
根据预先训练的目标检测模型从所述待测图像中识别得到目标物 体的位置信息；
根据所述位置信息从所述待测图像中裁剪得到目标物体图像；
根据预先训练的相似度分析模型分析所述采集时间之间间隔第一 时间段的两张目标物体图像的相似度；
根据预先训练的分类模型分析所述相似度，得到所述目标物体图 像对应的物体状态。
可选的，所述根据预先训练的目标检测模型从所述待测图像中识 别得到目标物体信息，包括：
将所述待测图像输入所述目标检测模型；
通过所述目标检测模型识别得到物体以及所述物体属于目标物体 的置信度；
当所述置信度大于或等于预设阈值时，确定所述物体为所述目标 物体；
获得所述物体对应检测框的坐标信息；
根据所述坐标信息确定所述目标物体在所述待测图像中的位置信 息。
可选的，所述相似度分析模型包括孪生神经网络模型，所述相似 度分析模型包括特征提取模型和特征比对模块；
所述根据预先训练的相似度分析模型分析所述采集时间之间间隔 第一时间段的两张目标物体图像的相似度，包括：
将所述两张目标物体图像分别输入所述特征提取模型，得到所述 两张目标物体图像对应的第一特征向量和第二特征向量；
通过所述特征比对模块计算所述第一特征向量和所述第二特征向 量之间向量距离，确定所述相似度。
可选的，所述根据预先训练的相似度分析模型分析所述采集时间 之间间隔第一时间段的两张目标物体图像的相似度，包括：
每间隔第二时间段，获取与当前采集到的第一目标物体图像之间 间隔所述第一时间段的第二目标物体图像，所述第一目标物体图像和 第二目标物体图像为目标物体图像组；
根据所述相似度分析模型分析所述第一目标物体图像和第二目标 物体图像之间的相似度；
根据每个目标物体图像组对应的相似度构建相似度序列。
可选的，所述根据预先训练的分类模型分析所述相似度，得到所 述目标物体图像对应的物体状态，包括：
根据所述分类模型分析所述相似度序列的变化特征，根据所述变 化特征获得所述目标物体图像对应的物体状态。
第二方面，本申请提供了一种母猪发情监测方法，包括：
获取母猪图像以及所述母猪图像的采集时间；
根据预先训练的目标检测模型从所述母猪图像中识别得到阴户的 位置信息；
根据所述位置信息从所述母猪图像中裁剪得到阴户图像；
根据预先训练的相似度分析模型分析所述采集时间之间间隔第一 时间段的两张阴户图像的相似度；
根据预先训练的分类模型分析所述相似度，得到所述阴户图像对 应的母猪状态，所述母猪状态包括发情或未发情。
可选的，该方法还包括：
当确定所述母猪状态为发情时，执行预设提醒操作。
第三方面，本申请提供了一种物体状态监测装置，包括：
获取模块，用于获取待测图像以及所述待测图像的采集时间；
识别模块，用于根据预先训练的目标检测模型从所述待测图像中 识别得到目标物体的位置信息；
裁剪模块，用于根据所述位置信息从所述待测图像中裁剪得到目 标物体图像；
相似度分析模块，用于根据预先训练的相似度分析模型分析所述 采集时间之间间隔第一时间段的两张目标物体图像的相似度；
状态分析模块，用于根据预先训练的分类模型分析所述相似度， 得到所述目标物体图像对应的物体状态。
第四方面，本申请提供了一种母猪发情监测装置，包括：
获取模块，用于获取母猪图像以及所述母猪图像的采集时间；
识别模块，用于根据预先训练的目标检测模型从所述母猪图像中 识别得到阴户的位置信息；
裁剪模块，用于根据所述位置信息从所述母猪图像中裁剪得到阴 户图像；
相似度分析模块，用于根据预先训练的相似度分析模型分析所述 采集时间之间间隔第一时间段的两张阴户图像的相似度；
状态分析模块，用于根据预先训练的分类模型分析所述相似度， 得到所述阴户图像对应的母猪状态，所述母猪状态包括发情或未发情。
第五方面，本申请提供了一种电子设备，包括：处理器、通信接 口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信 总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行计算机程序时，实现上述方法步骤。
第六方面，本申请提供了一种计算机可读存储介质，其上存储有 计算机程序，该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优 点：
通过采集包括目标物体的待测图像，通过从待测图像中识别目标 物体图像，通过不同时间获得的目标物体图像之间相似度，以确定目 标物体当前对应的物体状态。通过计算机视觉的方式，基于图像识别 物体状态，无需对物体本身进行操作，避免监测对物体的影响。同时， 对物体状态进行监测的识别仅需摄像机和计算设备即可实现，降低了 监测系统的成本，且监测结果准确，实时性较强，设备故障率也较低。 另外，也大大降低了人力成本及监测效率。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符 合本发明的实施例，并与说明书一起用于解释本发明的原理。
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面 将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而 易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前 提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种物体状态监测方法的流程图；
图2为本申请另一实施例提供的一种物体状态监测方法的流程图；
图3为本申请实施例提供的相似度分析模型的示意图；
图4为本申请实施例提供的一种母猪发情监测方法的流程图；
图5为本申请实施例提供的一种物体状态监测装置的框图；
图6为本申请实施例提供的一种母猪发情监测装置的框图；
图7为本申请实施例提供的一种母猪发情监测系统的框图；
图8为本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结 合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、 完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不 是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没 有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请 保护的范围。
本申请实施例中，通过计算机视觉的方式，通过对待测图像中的 目标物体变化情况进行分析识别，以确定物体状态。例如，识别母猪 图像中阴户的变化情况，确定母猪是否进入发情状态。
下面首先对本发明实施例所提供的一种物体状态监测方法进行介 绍。
图1为本申请实施例提供的一种物体状态监测方法的流程图。如 图1所示，该方法包括以下步骤：
步骤S11，获取待测图像以及待测图像的采集时间；
步骤S12，根据预先训练的目标检测模型从待测图像中识别得到目 标物体的位置信息；
步骤S13，根据位置信息从待测图像中裁剪得到目标物体图像；
步骤S14，根据预先训练的相似度分析模型分析采集时间之间间隔 第一时间段的两张目标物体图像的相似度；
步骤S15，根据预先训练的分类模型分析相似度，得到目标物体图 像对应的物体状态。
本实施例中，通过采集包括目标物体的待测图像，通过从待测图 像中识别目标物体图像，通过不同时间获得的目标物体图像之间相似 度，以确定目标物体当前对应的物体状态。通过计算机视觉的方式， 基于图像识别物体状态，无需对物体本身进行操作，避免监测对物体 的影响。同时，对物体状态进行监测的识别仅需摄像机和计算设备即 可实现，降低了监测系统的成本，且监测结果准确，实时性较强，设 备故障率也较低。另外，也大大降低了人力成本及监测效率。
其中，待测图像为对某个物体拍摄的图像。步骤S11中，可以周 期性对物体进行拍摄，得到各个时间段物体的待测图像。
另外，目标物体可以为该物体的部分或整体。例如，当应用场景 为对母猪的发情监测时，周期性拍摄母猪图像，目标物体即为母猪的 阴户，通过阴户的形态变化判断母猪是否发情。又例如，当应用场景 为对猪只的生长发育监测时，目标图像可以为猪体，通过猪体的尺寸 分析猪只的生长发育是否符合预期。再例如，当应用场景为对植物的 花期监测时，周期性拍摄植物图像，目标物体为开花部，通过开花部 的形态变化判断植物是否开花。本实施例的方法可以应用的场景非常 广泛，再此不做赘述。
图2为本申请另一实施例提供的一种物体状态监测方法的流程图。 如图2所示，步骤S12包括以下步骤：
步骤S21，将待测图像输入目标检测模型；
步骤S22，通过目标检测模型识别得到物体以及物体属于目标物体 的置信度；
步骤S23，当置信度大于或等于预设阈值时，确定物体为目标物体；
步骤S24，获得物体对应检测框的坐标信息；
步骤S25，根据坐标信息确定目标物体在待测图像中的位置信息。
本实施例中，通过预先训练的目标检测模型从待测图像中识别出 目标物体，不仅识别速度快，识别结果也较为准确。
图3为本申请实施例提供的相似度分析模型的示意图。如图3所 示，在一个可选方案中，相似度分析模型30包括孪生神经网络模型， 该相似度分析模型30可以包括两个特征提取模型Network1、Network2，和特征比对模块Loss，其中，Network1、Network2为共享 权值的相同的卷积神经网络模型。
基于图3所示的相似度分析模型30，上述步骤S14，包括：
步骤A1，将两张目标物体图像分别输入特征提取模型，得到两张 目标物体图像对应的第一特征向量和第二特征向量。
将一个目标物体图像X1输入Network1，得到特征提取结果为第一 特征向量G(X1)；另一个目标物体图像X2输入Network2，得到特征提 取结果为第二特征向量G(X2)。
步骤A2，通过特征比对模块计算第一特征向量和第二特征向量之 间向量距离，确定相似度。
将G(X1)和G(X2)输入特征比对模块Loss，计算两个特征向量之间 的向量距离E(X1,X2)＝||G(X1)-G(X2)||。可以直接将E(X1,X2)确定为相似 度，也可以预先建立向量距离与相似度之间的对应关系，根据对应关 系确定E(X1,X2)对应的相似度。
在另一个可选方案中，该相似度分析模型可以仅包括一个特征提 取模型，将两个目标物体图像依次输入特征提取模型进行特征提取， 将提取到的特征向量输入特征比对模块得到相似度。
本实施例中，通过预先训练的相似度分析模型计算目标物体图像 之间的相似度，不仅分析速度快，分析结果也较为准确。
在一个可选实施例中，步骤S14，包括：
步骤B1，每间隔第二时间段，获取与当前采集到的第一目标物体 图像间隔第一时间段的第二目标物体图像，第一目标物体图像和第二 目标物体图像为目标物体图像组；
步骤B2，根据相似度分析模型分析第一目标物体图像和第二目标 物体图像之间的相似度；
步骤B3，根据每个目标物体图像组对应的相似度构建相似度序列。
例如，每隔10秒采集目标物体图像，将每次采集到的第一目标物 体图像与前一日同一时间采集的第二目标物体图像进行比对得到相似 度。如下表1所示，某1小时内的相似度序列。
表1
| 时间 | 相似度 |
| 7：00：00 | 0.92 |
| 7：00：10 | 0.95 |
| 7：00：20 | 0.98 |
| 7：00：30 | 0.89 |
| 7：00：40 | 0.90 |
| 7：00：50 | 0.94 |
| 7：01：00 | 0.98 |
| 7：01：10 | 0.91 |
| 7：01：20 | 0.90 |
| 7：01：30 | 0.92 |
| …… | …… |
在一个可选实施例中，步骤S15，包括：根据分类模型分析相似度 序列的变化特征，根据变化特征获得目标物体图像对应的物体状态。
基于上述实施例中步骤S14得到相似度序列，通过预先训练的分 类模型，可以确定物体相对于前一天同时段是否发生状态改变，从而 得到该物体当前的状态。
本实施例的方法中，还包括目标检测模型、相似度分析模型及分 类模型的训练过程。以下分别对这三个模型的训练过程进行具体说明。
(一)目标检测模型的训练过程如下：
步骤C1，获取包括目标物体的样本图像；
步骤C2，获取样本图像对应的标签，标签包括样本图像中框定目 标物体的标签框的坐标及待测物体的类别信息；
步骤C3，采用第一神经网络对样本图像及标签进行训练，学习目 标物体的特征以及特征属于目标物体的置信度，得到目标检测模型。
其中，第一神经网络可以为MobileNet-YOLOv1、 MobileNet-YOLOv2、MobileNet-YOLOv3、Faster R-CNN、R-FCN等 等卷积神经网络。
以MobileNet-YOLOv2为例。
MobileNet-YOLOv2将图片分成13x13个网格，每个网格负责预测 中心落入该网格的目标物体对象。每个网格有5个不同尺寸的先验框， 负责预测不同形状大小的对象，每个先验框负责预测一个边界框，即 每个网格会预测5个边界框。计算每个边界框的中心点坐标、宽高， 进一步计算每个边界框与标签框之间的位置误差。并通过计算边界框 与标签框的交并比(IOU)来确定每个边界框的置信度，以及将检测到 的类别与预先标注的类别进行比对得到分类误差。通过背景边界框的 置信度，可获得计算每个背景边界框的置信度误差。通过先验框和标 签框的坐标信息可得到先验框与标签框的位置误差。通过每个包含目标物体边界框的置信度、位置误差、分类误差，背景边界框的置信度 误差以及先验框的位置误差计算损失函数，不断反向传播损失函数优 化网络，直至网络收敛得到目标检测模型。
(二)相似度分析模型的训练过程如下：
步骤D1，获取已标注的多组目标物体样本图像，每组图像包括2 张目标物体图像；
步骤D2，获得每组目标物体样本图像对应的标签，该标签包括对 这两张图像的相似度值；
步骤D3，将每组目标物体样本图像输入第二神经网络进行训练， 该第二神经网络分别提取每组中两张目标物体样本图像的特征向量， 通过损失函数计算这两个特征向量的相似度，通过不断反向传播损失 函数优化网络，直至网络收敛得到相似度分析模型。
其中，第二神经网络可以为基于深度残差网络(ResNet)的孪生 神经网络，如Siamese-ResNet50，Siamese-ResNet101等等。其中，深 度残差网络用于分别提取两张目标物体样本图像的特征向量，使用对 比损失(contrastive loss)作为损失函数计算两个特征向量的相似度。
该第二神经网络中，可以包括2个深度残差网络，分别提取每组 中两张目标物体样本图像的特征向量，也可仅包括1个深度残差网络， 一次提取每组中两张目标物体样本图像的特征向量。
(三)分类模型的训练过程如下：
步骤D1，获取相似度序列，该相似度序列包括基于预设时间长度 以预设时间间隔拍摄的样本图像计算得到的多个相似度，这些相似度 按照时间顺序排列；
步骤D2，获取该相似度序列的标签，该标签包括物体状态。
步骤D3，将相似度序列和标签输入第三神经网络进行训练，通过 提取相似度序列的特征向量，建立该特征向量与物体状态的对应关系， 得到分类模型。
其中，第三神经网络可以为VGG16、Googlenet、MobileNetV2等。 第三神经网络也可以为一个相对简单的神经网络结构，如，仅包括2 个卷积层和1个全连接层。通过卷积层获取序列的特征向量，通过全 连接层和softmax函数进行分类，其中，softmax函数将输出结果,映射 到(0,1)区间内，即分类概率，从而进行分类。通过不断反向传播交叉 熵损失函数，直至网络收敛，得到分类模型。
上述实施例中，通过预先对三个模型进行训练，使得后续进行物 体状态监测时，可以快速、准确地基于图像确定物体状态，降低人工 成本及监测耗时。
作为上述实施例的一个具体应用场景，本申请还提供一种母猪发 情监测方法。由人工经验和已有资料显示母猪从断奶开始大约7天左 右会发情，随着时间变化，前面几天阴户变化不明显，越接近发情， 母猪阴户越光滑肿胀、越来越红。相比未发情时每天与前一天相同时 段的阴户相似度，发情当天与前一天相同时段的阴户相似度会变低。 本实施例可以根据阴户大小和颜色的变化程度来预测当前时刻母猪是 否发情。
图4为本申请实施例提供的一种母猪发情监测方法的流程图。如 图4所示，该方法包括以下步骤：
步骤S31，获取母猪图像以及母猪图像的采集时间；
步骤S32，根据预先训练的目标检测模型从母猪图像中识别得到阴 户的位置信息；
步骤S33，根据位置信息从母猪图像中裁剪得到阴户图像；
步骤S34，根据预先训练的相似度分析模型分析采集时间之间间隔 第一时间段的两张阴户图像的相似度；
步骤S35，根据预先训练的分类模型分析相似度，得到阴户图像对 应的母猪状态，母猪状态包括发情或未发情。
在一个可选实施例中，该方法还包括：当确定母猪状态为发情时， 执行预设提醒操作。
其中，该预设提醒操作可以包括：将母猪标识和发情状态以信息 方式发送到预设的终端，或者，可以养猪场每个母猪所在的猪栏上设 有显示装置，显示该母猪处于发情状态等等，或者，可以控制发情母 猪佩戴的电子项圈发出特定颜色的光以提示工作人员，等等。
在该具体场景下，从母猪进入妊娠舍限位栏开始，一直用固定摄 像头监控，每隔5秒采集一次母猪图像信息，由于阴户只占画面一小 部分，所以需要先将阴户检测出来。然后，根据检测结果裁剪出阴户 部分，由此获取到一系列阴户图像序列。最后，根据每天固定时长与 前一天相同时段的两组阴户图像，可以计算得到一个阴户图像相似度 序列，通过分类该相似度序列判断当前时刻母猪是否发情。
本实施例中，通过不断采集母猪图像，通过从母猪图像中识别阴 户图像，通过不同时间获得的阴户图像之间相似度，以确定母猪是否 发情。通过计算机视觉的方式，基于图像识别物体状态，可以在无应 激条件下实时监控母猪是否发情，避免在母猪身上安装传感器会导致 母猪应激行为且影响猪的健康成长，提高了母猪的繁殖率。同时，对 母猪发情进行监测的识别仅需摄像机和计算设备即可实现，降低了监 测系统的成本，且监测结果准确，实时性较强，设备故障率也较低。 另外，也大大降低了人力成本及监测效率。
下述为本公开装置实施例，可以用于执行本公开方法实施例。
图5为本申请实施例提供的一种物体状态监测装置的框图，该装 置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者 全部。如图5所示，该物体状态监测装置包括：
获取模块51，用于获取待测图像以及待测图像的采集时间；
识别模块52，用于根据预先训练的目标检测模型从待测图像中识 别得到目标物体的位置信息；
裁剪模块53，用于根据位置信息从待测图像中裁剪得到目标物体 图像；
相似度分析模块54，用于根据预先训练的相似度分析模型分析采 集时间之间间隔第一时间段的两张目标物体图像的相似度；
状态分析模块55，用于根据预先训练的分类模型分析相似度，得 到目标物体图像对应的物体状态。
图6为本申请实施例提供的一种母猪发情监测装置的框图，该装 置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者 全部。如图6所示，该母猪发情监测装置包括：
获取模块61，用于获取母猪图像以及母猪图像的采集时间；
识别模块62，用于根据预先训练的目标检测模型从母猪图像中识 别得到阴户的位置信息；
裁剪模块63，用于根据位置信息从母猪图像中裁剪得到阴户图像；
相似度分析模块64，用于根据预先训练的相似度分析模型分析采 集时间之间间隔第一时间段的两张阴户图像的相似度；
状态分析模块65，用于根据预先训练的分类模型分析相似度，得 到阴户图像对应的母猪状态，母猪状态包括发情或未发情。
图7为本申请实施例提供的一种母猪发情监测系统的框图，如图7 所示，该系统包括：摄像装置71及与摄像装置通信连接的计算装置72。
摄像装置71，用于拍摄母猪图像，并将母猪图像发送到计算装置； 计算装置72，用于获取母猪图像以及母猪图像的采集时间；根据预先 训练的目标检测模型从母猪图像中识别得到阴户的位置信息；根据位 置信息从母猪图像中裁剪得到阴户图像；根据预先训练的相似度分析 模型分析采集时间之间间隔第一时间段的两张阴户图像的相似度；根 据预先训练的分类模型分析相似度，得到阴户图像对应的发情状态。
可选的，计算装置72，还用于当确定母猪状态为发情时，执行预 设提醒操作。
其中，摄像装置设置于猪栏处，一般可设置于妊娠舍限位栏与食 槽相对的位置。计算装置可以位于养殖场本地，也可以设置于网络侧。
本申请实施例还提供一种电子设备，如图8所示，电子设备可以 包括：处理器1501、通信接口1502、存储器1503和通信总线1504， 其中，处理器1501，通信接口1502，存储器1503通过通信总线1504 完成相互间的通信。
存储器1503，用于存放计算机程序；
处理器1501，用于执行存储器1503上所存放的计算机程序时，实 现以下上述方法实施例的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准 (PeripheralComponent Interconnect，P C I)总线或扩展工业标准结构 (Extended IndustryStandard Architecture，EISA)总线等。该通信总线可 以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一 条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory，RAM)， 也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一 个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理 器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可 以是数字信号处理器(DigitalSignal Processing，DSP)、专用集成电路 (Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分 立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质，其上存储有计算机程序， 该计算机程序被处理器执行时实现以下上述方法实施例的步骤。
需要说明的是，对于上述装置、电子设备及计算机可读存储介质 实施例而言，由于其基本相似于方法实施例，所以描述的比较简单， 相关之处参见方法实施例的部分说明即可。
进一步需要说明的是，在本文中，诸如“第一”和“第二”等之类的关 系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来， 而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系 或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非 排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设 备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是 还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多 限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括 所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式，使本领域技术人员能够理 解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说 将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精 神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限 制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖 特点相一致的最宽的范围。
Claims (13)
1.一种物体状态监测方法，其特征在于，包括：
获取待测图像以及所述待测图像的采集时间；
根据预先训练的目标检测模型从所述待测图像中识别得到目标物体的位置信息；
根据所述位置信息从所述待测图像中裁剪得到目标物体图像；
根据预先训练的相似度分析模型分析所述采集时间之间间隔第一时间段的两张目标物体图像的相似度；
根据预先训练的分类模型分析所述相似度，得到所述目标物体图像对应的物体状态。
2.根据权利要求1所述的方法，其特征在于，所述根据预先训练的目标检测模型从所述待测图像中识别得到目标物体信息，包括：
将所述待测图像输入所述目标检测模型；
通过所述目标检测模型识别得到物体以及所述物体属于目标物体的置信度；
当所述置信度大于或等于预设阈值时，确定所述物体为所述目标物体；
获得所述物体对应检测框的坐标信息；
根据所述坐标信息确定所述目标物体在所述待测图像中的位置信息。
3.根据权利要求1所述的方法，其特征在于，所述相似度分析模型包括孪生神经网络模型，所述相似度分析模型包括特征提取模型和特征比对模块；
所述根据预先训练的相似度分析模型分析所述采集时间之间间隔第一时间段的两张目标物体图像的相似度，包括：
将所述两张目标物体图像分别输入所述特征提取模型，得到所述两张目标物体图像对应的第一特征向量和第二特征向量；
通过所述特征比对模块计算所述第一特征向量和所述第二特征向量之间向量距离，确定所述相似度。
4.根据权利要求3所述的方法，其特征在于，所述根据预先训练的相似度分析模型分析所述采集时间之间间隔第一时间段的两张目标物体图像的相似度，包括：
每间隔第二时间段，获取与当前采集到的第一目标物体图像间隔所述第一时间段的第二目标物体图像，所述第一目标物体图像和第二目标物体图像为目标物体图像组；
根据所述相似度分析模型分析所述第一目标物体图像和第二目标物体图像之间的相似度；
根据每个目标物体图像组对应的相似度构建相似度序列。
5.根据权利要求4所述的方法，其特征在于，所述根据预先训练的分类模型分析所述相似度，得到所述目标物体图像对应的物体状态，包括：
根据所述分类模型分析所述相似度序列的变化特征，根据所述变化特征获得所述目标物体图像对应的物体状态。
6.一种母猪发情监测方法，其特征在于，包括：
获取母猪图像以及所述母猪图像的采集时间；
根据预先训练的目标检测模型从所述母猪图像中识别得到阴户的位置信息；
根据所述位置信息从所述母猪图像中裁剪得到阴户图像；
根据预先训练的相似度分析模型分析所述采集时间之间间隔第一时间段的两张阴户图像的相似度；
根据预先训练的分类模型分析所述相似度，得到所述阴户图像对应的母猪状态，所述母猪状态包括发情或未发情。
7.根据权利要求6所述的方法，其特征在于，所述方法还包括：
当确定所述母猪状态为发情时，执行预设提醒操作。
8.一种物体状态监测装置，其特征在于，包括：
获取模块，用于获取待测图像以及所述待测图像的采集时间；
识别模块，用于根据预先训练的目标检测模型从所述待测图像中识别得到目标物体的位置信息；
裁剪模块，用于根据所述位置信息从所述待测图像中裁剪得到目标物体图像；
相似度分析模块，用于根据预先训练的相似度分析模型分析所述采集时间之间间隔第一时间段的两张目标物体图像的相似度；
状态分析模块，用于根据预先训练的分类模型分析所述相似度，得到所述目标物体图像对应的物体状态。
9.一种母猪发情监测装置，其特征在于，包括：
获取模块，用于获取母猪图像以及所述母猪图像的采集时间；
识别模块，用于根据预先训练的目标检测模型从所述母猪图像中识别得到阴户的位置信息；
裁剪模块，用于根据所述位置信息从所述母猪图像中裁剪得到阴户图像；
相似度分析模块，用于根据预先训练的相似度分析模型分析所述采集时间之间间隔第一时间段的两张阴户图像的相似度；
状态分析模块，用于根据预先训练的分类模型分析所述相似度，得到所述阴户图像对应的母猪状态，所述母猪状态包括发情或未发情。
10.一种母猪发情监测系统，其特征在于，包括：摄像装置及与所述摄像装置通信连接的计算装置；
所述摄像装置，用于拍摄母猪图像，并将所述母猪图像发送到所述计算装置；
所述计算装置，用于获取母猪图像以及所述母猪图像的采集时间；根据预先训练的目标检测模型从所述母猪图像中识别得到阴户的位置信息；根据所述位置信息从所述母猪图像中裁剪得到阴户图像；根据预先训练的相似度分析模型分析所述采集时间之间间隔第一时间段的两张阴户图像的相似度；根据预先训练的分类模型分析所述相似度，得到所述阴户图像对应的发情状态。
11.根据权利要求10所述的系统，其特征在于，
所述计算装置，还用于当确定所述母猪状态为发情时，执行预设提醒操作。
12.一种电子设备，其特征在于，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
所述存储器，用于存放计算机程序；
所述处理器，用于执行所述计算机程序时，实现权利要求1-7任一项所述的方法步骤。
13.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910984800.4A CN110991222B (zh) | 2019-10-16 | 2019-10-16 | 一种物体状态监测、母猪发情监测方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910984800.4A CN110991222B (zh) | 2019-10-16 | 2019-10-16 | 一种物体状态监测、母猪发情监测方法、装置及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN110991222A true CN110991222A (zh) | 2020-04-10 |
| CN110991222B CN110991222B (zh) | 2023-12-08 |
Family
ID=70082018
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910984800.4A Active CN110991222B (zh) | 2019-10-16 | 2019-10-16 | 一种物体状态监测、母猪发情监测方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110991222B (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914685A (zh) * | 2020-07-14 | 2020-11-10 | 北京小龙潜行科技有限公司 | 母猪发情检测方法、装置、电子设备及存储介质 |
| CN114358163A (zh) * | 2021-12-28 | 2022-04-15 | 东北农业大学 | 一种基于孪生网络与深度数据的采食量监测方法及系统 |
| CN114747537A (zh) * | 2022-05-10 | 2022-07-15 | 重庆市六九畜牧科技股份有限公司 | 一种母猪发情管理方法 |
| US20230057738A1 (en) * | 2021-08-20 | 2023-02-23 | Groupe Ro-Main Inc. | Detecting estrus in animals for insemination |
Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06153199A (ja) * | 1992-11-06 | 1994-05-31 | Kubota Corp | 画像による監視装置 |
| JPH1023393A (ja) * | 1996-06-28 | 1998-01-23 | U S C:Kk | 動体検出方法 |
| WO2002088676A1 (de) * | 2001-04-26 | 2002-11-07 | Evotec Oai Ag | Verfahren und vorrichtung zur erfassung von objektzuständen |
| JP2005229289A (ja) * | 2004-02-12 | 2005-08-25 | Kazufusa Noda | 画像監視装置および画像監視方法 |
| US20090163799A1 (en) * | 2007-12-13 | 2009-06-25 | Stephan Erbel | Detection of the position of a moving object and treatment method |
| WO2014073783A1 (ko) * | 2012-11-08 | 2014-05-15 | 재단법인대구경북과학기술원 | 식물 생장 모니터링 시스템 |
| WO2015071162A1 (en) * | 2013-11-12 | 2015-05-21 | Application Solutions (Electronics and Vision) Limited | Method for recognizing a covered state of a camera, camera system and motor vehicle |
| US20150302241A1 (en) * | 2012-12-02 | 2015-10-22 | Agricam Ab | Systems and methods for predicting the outcome of a state of a subject |
| JP2016071577A (ja) * | 2014-09-30 | 2016-05-09 | マツダ株式会社 | 運転者状態検出方法および検出装置 |
| KR20160068032A (ko) * | 2014-12-04 | 2016-06-15 | 순천대학교 산학협력단 | 열화상 카메라 이용한 가축 발정 감지 시스템 |
| CN106096630A (zh) * | 2016-06-03 | 2016-11-09 | 福州大学 | 一种集成像元与对象的水稻自动变化检测方法 |
| CN107330359A (zh) * | 2017-05-23 | 2017-11-07 | 深圳市深网视界科技有限公司 | 一种人脸对比的方法和装置 |
| CN108052964A (zh) * | 2017-12-05 | 2018-05-18 | 翔创科技（北京）有限公司 | 牲畜状态检测方法、计算机程序、存储介质及电子设备 |
| CN108182377A (zh) * | 2017-11-21 | 2018-06-19 | 合肥工业大学 | 基于摄影测量技术的人眼视线检测方法及装置 |
| WO2018130016A1 (zh) * | 2017-01-10 | 2018-07-19 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
| CN108717523A (zh) * | 2018-04-26 | 2018-10-30 | 华南农业大学 | 基于机器视觉的母猪发情行为检测方法 |
| JP2019003575A (ja) * | 2017-06-20 | 2019-01-10 | 東日本旅客鉄道株式会社 | 画像分析装置及び鉄道設備部品の保守管理方法 |
| JP2019003573A (ja) * | 2017-06-20 | 2019-01-10 | 東日本旅客鉄道株式会社 | 画像処理装置及び鉄道設備部品の保守管理方法 |
| CN109543607A (zh) * | 2018-11-22 | 2019-03-29 | 广州小狗机器人技术有限公司 | 目标物异常状态检测方法、系统、监护系统及存储介质 |
| US20190141919A1 (en) * | 2017-11-14 | 2019-05-16 | Google Llc | Irrigation management via intelligent image analysis |
| CN109948509A (zh) * | 2019-03-11 | 2019-06-28 | 成都旷视金智科技有限公司 | 对象状态监测方法、装置及电子设备 |
-
2019
- 2019-10-16 CN CN201910984800.4A patent/CN110991222B/zh active Active
Patent Citations (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06153199A (ja) * | 1992-11-06 | 1994-05-31 | Kubota Corp | 画像による監視装置 |
| JPH1023393A (ja) * | 1996-06-28 | 1998-01-23 | U S C:Kk | 動体検出方法 |
| WO2002088676A1 (de) * | 2001-04-26 | 2002-11-07 | Evotec Oai Ag | Verfahren und vorrichtung zur erfassung von objektzuständen |
| JP2005229289A (ja) * | 2004-02-12 | 2005-08-25 | Kazufusa Noda | 画像監視装置および画像監視方法 |
| US20090163799A1 (en) * | 2007-12-13 | 2009-06-25 | Stephan Erbel | Detection of the position of a moving object and treatment method |
| WO2014073783A1 (ko) * | 2012-11-08 | 2014-05-15 | 재단법인대구경북과학기술원 | 식물 생장 모니터링 시스템 |
| US20150302241A1 (en) * | 2012-12-02 | 2015-10-22 | Agricam Ab | Systems and methods for predicting the outcome of a state of a subject |
| WO2015071162A1 (en) * | 2013-11-12 | 2015-05-21 | Application Solutions (Electronics and Vision) Limited | Method for recognizing a covered state of a camera, camera system and motor vehicle |
| JP2016071577A (ja) * | 2014-09-30 | 2016-05-09 | マツダ株式会社 | 運転者状態検出方法および検出装置 |
| KR20160068032A (ko) * | 2014-12-04 | 2016-06-15 | 순천대학교 산학협력단 | 열화상 카메라 이용한 가축 발정 감지 시스템 |
| CN106096630A (zh) * | 2016-06-03 | 2016-11-09 | 福州大学 | 一种集成像元与对象的水稻自动变化检测方法 |
| WO2018130016A1 (zh) * | 2017-01-10 | 2018-07-19 | 哈尔滨工业大学深圳研究生院 | 一种基于监控视频的停车检测方法及装置 |
| CN107330359A (zh) * | 2017-05-23 | 2017-11-07 | 深圳市深网视界科技有限公司 | 一种人脸对比的方法和装置 |
| JP2019003575A (ja) * | 2017-06-20 | 2019-01-10 | 東日本旅客鉄道株式会社 | 画像分析装置及び鉄道設備部品の保守管理方法 |
| JP2019003573A (ja) * | 2017-06-20 | 2019-01-10 | 東日本旅客鉄道株式会社 | 画像処理装置及び鉄道設備部品の保守管理方法 |
| US20190141919A1 (en) * | 2017-11-14 | 2019-05-16 | Google Llc | Irrigation management via intelligent image analysis |
| CN108182377A (zh) * | 2017-11-21 | 2018-06-19 | 合肥工业大学 | 基于摄影测量技术的人眼视线检测方法及装置 |
| CN108052964A (zh) * | 2017-12-05 | 2018-05-18 | 翔创科技（北京）有限公司 | 牲畜状态检测方法、计算机程序、存储介质及电子设备 |
| CN108717523A (zh) * | 2018-04-26 | 2018-10-30 | 华南农业大学 | 基于机器视觉的母猪发情行为检测方法 |
| CN109543607A (zh) * | 2018-11-22 | 2019-03-29 | 广州小狗机器人技术有限公司 | 目标物异常状态检测方法、系统、监护系统及存储介质 |
| CN109948509A (zh) * | 2019-03-11 | 2019-06-28 | 成都旷视金智科技有限公司 | 对象状态监测方法、装置及电子设备 |
Non-Patent Citations (2)
| Title |
|---|
| PUNAM K. SAHA: "Iso-Shaping Rigid Bodies for Estimating Their Motion From Image Sequences" * |
| 闫丽: "猪行为自动监测技术研究现状与展望" * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914685A (zh) * | 2020-07-14 | 2020-11-10 | 北京小龙潜行科技有限公司 | 母猪发情检测方法、装置、电子设备及存储介质 |
| CN111914685B (zh) * | 2020-07-14 | 2024-04-09 | 北京小龙潜行科技有限公司 | 母猪发情检测方法、装置、电子设备及存储介质 |
| US20230057738A1 (en) * | 2021-08-20 | 2023-02-23 | Groupe Ro-Main Inc. | Detecting estrus in animals for insemination |
| CN114358163A (zh) * | 2021-12-28 | 2022-04-15 | 东北农业大学 | 一种基于孪生网络与深度数据的采食量监测方法及系统 |
| CN114747537A (zh) * | 2022-05-10 | 2022-07-15 | 重庆市六九畜牧科技股份有限公司 | 一种母猪发情管理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN110991222B (zh) | 2023-12-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110991222B (zh) | 一种物体状态监测、母猪发情监测方法、装置及系统 | |
| AU2019101786A4 (en) | Intelligent pig group rearing weighing method and apparatus, electronic device and storage medium | |
| CN110147771B (zh) | 基于母猪关键部位与环境联合分区的母猪侧卧姿态实时检测系统 | |
| CN110796043B (zh) | 容器检测、饲喂检测方法、装置及饲喂系统 | |
| CN111767802B (zh) | 一种对象异常状态的检测方法和装置 | |
| CN110741963B (zh) | 一种物体状态监测、母猪发情监测方法、装置及系统 | |
| CN111460990B (zh) | 一种基于大数据的高寒牧区草原虫害监测预警系统及方法 | |
| CN110839557A (zh) | 母猪发情监测方法、装置、系统、电子设备及存储介质 | |
| CN111183917B (zh) | 一种动物异常监测、图像处理方法及装置 | |
| CN111325181B (zh) | 一种状态监测方法、装置、电子设备及存储介质 | |
| CN110991220B (zh) | 禽蛋检测、图像处理方法，装置、电子设备及存储介质 | |
| CN112131927A (zh) | 基于妊娠后期姿态转化特性的母猪分娩时间预测系统 | |
| CN111369378A (zh) | 一种基于计算机视觉识别的生猪监管方法及系统 | |
| CN111274975A (zh) | 猪只采食行为预测方法及装置 | |
| CN112001370A (zh) | 一种农作物病虫害识别方法及系统 | |
| CN112906734A (zh) | 牲畜智能选种方法、装置、计算机设备和存储介质 | |
| CN108874910B (zh) | 基于视觉的小目标识别系统 | |
| CN112150498A (zh) | 体态信息的确定方法、装置、存储介质及电子装置 | |
| CN111797831A (zh) | 基于bim和人工智能的家禽进食并行异常检测方法 | |
| CN115777560A (zh) | 一种基于机器视觉分析技术的母猪智能化饲喂系统 | |
| CN116935439A (zh) | 一种孕羊分娩自动监测预警方法及自动监测预警系统 | |
| CN109523509A (zh) | 小麦抽穗期的检测方法、装置及电子设备 | |
| CN115100683A (zh) | 估重方法、装置、设备及存储介质 | |
| CN110991235B (zh) | 一种状态监测方法、装置、电子设备及存储介质 | |
| CN114022831A (zh) | 一种基于双目视觉的牲畜体况监测方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Technology Information Technology Co.,Ltd. Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant before: Jingdong Shuke Haiyi Information Technology Co.,Ltd. Address after: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Daxing District, Beijing, 100176 Applicant after: Jingdong Shuke Haiyi Information Technology Co.,Ltd. Address before: 601, 6 / F, building 2, No. 18, Kechuang 11th Street, Beijing Economic and Technological Development Zone, Beijing 100176 Applicant before: BEIJING HAIYI TONGZHAN INFORMATION TECHNOLOGY Co.,Ltd. |
|
| GR01 | Patent grant | ||
| GR01 | Patent grant |