发明内容
为了解决上述技术问题或者至少部分地解决上述技术问题,本申请提供了一种物体状态监测、母猪发情监测方法、装置及系统。
第一方面,本申请提供了一种物体状态监测方法,包括:
获取待测图像;
根据预先训练的姿势检测模型从所述待测图像中识别得到目标物体的姿势信息;
根据所述姿势信息分析所述目标物体的状态。
可选的,所述方法还包括:
获取所述待测图像的采集时间;
所述根据所述姿势信息分析所述目标物体的状态,包括:
根据所述采集时间及所述姿势信息统计所述目标物体在预设时间段内的姿势变化次数;
根据所述采集时间及所述姿势信息统计所述目标物体处于第一姿势的第一时长;
根据所述姿势变化次数和第一时长确定所述目标物体的状态。
可选的,所述根据所述姿势变化次数和第一时长确定所述目标物体的状态,包括:
获取所述姿势变化次数对应的第一权值及所述第一时长对应的第二权值;
根据所述第一权值和所述第二权值对所述姿势变化次数和第一时长进行加权计算,得到加权结果;
当所述加权结果大于或等于第一阈值时,确定所述目标物体处于第一状态。
可选的,所述方法还包括:
获取所述待测图像的采集时间;
根据预先训练的姿势检测模型从所述待测图像中获取所述目标物体的最小外接矩形;
所述根据所述姿势信息分析所述目标物体的状态,包括:
当根据所述姿势信息确定所述目标物体处于第一姿势时,对相邻采集时间的两个所述最小外接矩形进行比对,得到比对结果;
当根据所述比对结果确定所述目标物体没有发生移动时,统计所述目标物体没有发生移动的第二时长;
根据所述第二时长确定所述目标物体的状态。
可选的,所述对相邻采集时间的两个所述最小外接矩形进行比对,得到比对结果,包括:
计算两个所述最小外接矩形的交并比;
所述根据所述比对结果确定所述目标物体没有发生移动,包括:
当所述交并比大于或等于第二阈值时,确定所述目标物体没有发生移动。
可选的,所述根据所述第二时长确定所述目标物体的状态,包括:
当所述第二时长大于或等于第三阈值时,确定所述目标物体处于第一状态。
第二方面,本申请提供了一种母猪发情监测方法,包括:
获取母猪图像;
根据预先训练的姿势检测模型从所述母猪图像中识别得到母猪的姿势信息;
根据所述姿势信息分析所述母猪的生理状态,所述生理状态包括发情状态或未发情状态。
可选的,所述方法还包括:
获取所述母猪图像的采集时间;
所述根据所述姿势信息分析所述母猪的生理状态,包括:
根据所述采集时间及所述姿势信息统计所述母猪在预设时间段内的姿势变化次数;
根据所述采集时间及所述姿势信息统计所述母猪处于站立姿势的第一时长;
获取所述姿势变化次数对应的第一权值及所述第一时长对应的第二权值;
根据所述第一权值和所述第二权值对所述姿势变化次数和第一时长进行加权计算,得到加权结果;
当所述加权结果大于或等于第一阈值时,确定所述母猪处于发情状态。
可选的,所述方法还包括:
获取所述母猪图像的采集时间;
根据预先训练的姿势检测模型从所述母猪图像中获取所述母猪的最小外接矩形;
所述根据所述姿势信息分析所述母猪的生理状态,包括:
当根据所述姿势信息确定所述母猪处于站立姿势时,计算相邻采集时间对应的两个所述最小外接矩形的交并比;
当所述交并比大于或等于第二阈值时,确定所述母猪没有发生移动;
当确定所述母猪没有发生移动时,统计所述母猪没有发生移动的第二时长;
当所述第二时长大于或等于第三阈值时,确定所述母猪处于发情状态。
可选的,所述方法还包括:
当确定所述母猪处于发情状态时,执行预设提醒操作。
第三方面,本申请提供了一种物体状态监测装置,包括:
获取模块,用于获取待测图像;
识别模块,用于根据预先训练的姿势检测模型从所述待测图像中识别得到目标物体的姿势信息;
分析模块,用于根据所述姿势信息分析所述目标物体的状态。
第四方面,本申请提供了一种母猪发情监测装置,包括:
获取模块,用于获取母猪图像;
识别模块,用于根据预先训练的姿势检测模型从所述母猪图像中识别得到母猪的姿势信息;
分析模块,用于根据所述姿势信息分析所述母猪的生理状态,所述生理状态包括发情状态或未发情状态。
第五方面,本申请提供了一种母猪发情监测系统,包括:摄像装置及与所述摄像装置通信连接的计算装置;
所述摄像装置,用于拍摄母猪图像,并将所述母猪图像发送到所述计算装置;
所述计算装置,用于获取母猪图像;根据预先训练的姿势检测模型从所述母猪图像中识别得到母猪的姿势信息;根据所述姿势信息分析所述母猪的生理状态,所述生理状态包括发情状态或未发情状态。
可选的,所述计算装置,还用于当确定所述母猪处于发情状态时,执行预设提醒操作。
第六方面,本申请提供了一种电子设备,包括:处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
所述存储器,用于存放计算机程序;
所述处理器,用于执行计算机程序时,实现上述方法步骤。
第七方面,本申请提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述方法步骤。
本申请实施例提供的上述技术方案与现有技术相比具有如下优点:
通过不断采集包括目标物体的待测图像,通过从待测图像中识别目标物体的姿势信息,通过姿势信息确定目标物体的状态。通过计算机视觉的方式,基于图像识别物体状态,无需人工长期观察确认,大大降低了人力成本及时间成本。同时,对物体状态进行监测的识别仅需摄像机和计算设备即可实现,监测系统的成本较低,且监测结果准确,实时性较强,提高了监测效率。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例中,通过计算机视觉的方式,通过对待测图像中的目标物体变化情况进行分析识别,以确定物体状态。例如,识别母猪图像中阴户的变化情况,确定母猪是否进入发情状态。
下面首先对本发明实施例所提供的一种物体状态监测方法进行介绍。
图1为本申请实施例提供的一种物体状态监测方法的流程图。如图1所示,该方法包括以下步骤:
步骤S11,获取待测图像;
步骤S12,根据预先训练的姿势检测模型从待测图像中识别得到目标物体的姿势信息;
步骤S13,根据姿势信息分析目标物体的状态。
本实施例中,通过不断采集包括目标物体的待测图像,通过从待测图像中识别目标物体的姿势信息,通过姿势信息确定目标物体的状态。通过计算机视觉的方式,基于图像识别物体状态,无需人工长期观察确认,大大降低了人力成本及时间成本。同时,对物体状态进行监测的识别仅需摄像机和计算设备即可实现,监测系统的成本较低,且监测结果准确,实时性较强,提高了监测效率。
其中,待测图像为对目标物体拍摄的图像。步骤S11中,可以周期性对物体进行拍摄,得到各个时间段物体的待测图像。
在可选实施例中,可以通过统计目标物体姿势变化情况,或保持某个姿势的时长来确定该目标物体的状态。具体如下:
(一)通过目标物体姿势变化及处于第一姿势的时长判断目标物体的状态。
图2为本申请另一实施例提供的一种物体状态监测方法的流程图。该方法还包括:获取待测图像的采集时间。如图2所示,在一个可选实施例中,步骤S13包括以下步骤:
步骤S21,根据采集时间及姿势信息统计目标物体在预设时间段内的姿势变化次数;
步骤S22,根据采集时间及姿势信息统计目标物体处于第一姿势的第一时长;
步骤S23,根据姿势变化次数和第一时长确定目标物体的状态。
其中,步骤S23包括:
步骤A1,获取姿势变化次数对应的第一权值及第一时长对应的第二权值;
步骤A2,根据第一权值和第二权值对姿势变化次数和第一时长进行加权计算,得到加权结果;
步骤A3,当加权结果大于或等于第一阈值时,确定目标物体处于第一状态。
(二)通过目标物体保持第一姿势的时长判断目标物体的状态。
图3为本申请另一实施例提供的一种物体状态监测方法的流程图。该方法还包括:获取待测图像的采集时间;根据预先训练的姿势检测模型从待测图像中获取目标物体的最小外接矩形。如图3所示,在一个可选实施例中,步骤S13包括以下步骤:
步骤S31,当根据姿势信息确定目标物体处于第一姿势时,对相邻采集时间的两个最小外接矩形进行比对,得到比对结果;
步骤S32,当根据比对结果确定目标物体没有发生移动时,统计目标物体没有发生移动的第二时长;
步骤S33,根据第二时长确定目标物体的状态。
在一个可选实施例中,对相邻时间采集得到的目标物体的两个最小外接矩形进行比对,分析其重叠度,以判断目标物体是否移动。其中,可以通过计算两个最小外接矩形的交并比判断目标物体是否移动。
步骤S31包括:计算两个最小外接矩形的交并比。步骤S32中根据比对结果确定目标物体没有发生移动,包括:当交并比大于或等于第二阈值时,确定目标物体没有发生移动。
上述实施例中,通过目标物体的姿势判断目标物体的状态,无需人工长期观察确认,大大降低了人力成本及时间成本。同时,对物体状态的监测结果准确,实时性较强,提高了监测效率。
本发明实施例还提供一种母猪发情监测方法,以下对该方法进行详细说明。
图4为本申请实施例提供的一种母猪发情监测方法的流程图。如图4所示,该方法包括以下步骤:
步骤S41,获取母猪图像;
步骤S42,根据预先训练的姿势检测模型从母猪图像中识别得到母猪的姿势信息;
步骤S43,根据姿势信息分析母猪的生理状态,生理状态包括发情状态或未发情状态。
本实施例中,基于姿势确定母猪是否发情分为两种情况:
(一)不进行“公猪试情”的母猪
在可选实施例中,该方法还包括:获取母猪图像的采集时间。步骤S43包括:
步骤B1,根据采集时间及姿势信息统计母猪在预设时间段内的姿势变化次数;
步骤B2,根据采集时间及姿势信息统计母猪处于站立姿势的第一时长;
步骤B3,获取姿势变化次数对应的第一权值及第一时长对应的第二权值;
步骤B4,根据第一权值和第二权值对姿势变化次数和第一时长进行加权计算,得到加权结果;
步骤B5,当加权结果大于或等于第一阈值时,确定母猪处于发情状态。
具体地,当母猪位于妊娠舍时,可以统计母猪在12小时内的姿势变化次数及站立时长,当姿势变化次数和站立时长的加权结果大于或等于设定阈值时,则认为猪只发情,否则没有发情。
(二)进行“公猪试情”的母猪
在可选实施例中,该方法还包括:获取母猪图像的采集时间;根据预先训练的姿势检测模型从母猪图像中获取母猪的最小外接矩形。
步骤S43包括:
步骤C1,当根据姿势信息确定母猪处于站立姿势时,计算相邻采集时间对应的两个最小外接矩形的交并比;
步骤C2,当交并比大于或等于第二阈值时,确定母猪没有发生移动;如,当交并比大于或等于0.98时,确定母猪没有发生移动;
步骤C3,当确定母猪没有发生移动时,统计母猪没有发生移动的第二时长;
步骤C4,当第二时长大于或等于第三阈值时,确定母猪处于发情状态。
在进行“公猪试情”时,可将公猪赶入妊娠舍,当母猪超过一分钟没有发生移动,则确定该母猪处于发情状态,否则没有发情。
在可选实施例中,该方法还包括:当确定母猪处于发情状态时,执行预设提醒操作。
其中,该预设提醒操作可以包括:将母猪标识和发情状态以信息方式发送到预设的终端,或者,可以养猪场每个母猪所在的猪栏上设有显示装置,显示该母猪处于发情状态等等,或者,可以控制发情母猪佩戴的电子项圈发出特定颜色的光以提示工作人员,等等。
以下以一个具体实例对上述母猪发情监测方法进行详细说明。
图5为本申请另一实施例提供的一种母猪发情监测方法的流程图。如图5所示,该方法包括以下步骤:
步骤S501,获取母猪图像及采集时间;
步骤S502,根据预先训练的姿势检测模型从母猪图像中识别得到母猪的姿势信息;
步骤S503,判断是否进行“公猪试情”,如果是,执行步骤S504,如果否,执行步骤S510;
步骤S504,根据姿势信息判断母猪是否站立,如果是,执行步骤S505,如果否,返回步骤S501;
步骤S505,根据预先训练的姿势检测模型从母猪图像中获取母猪的最小外接矩形;
步骤S506,计算相邻采集时间对应的两个最小外接矩形的交并比;
步骤S507,判断交并比是否大于或等于第二阈值,如果是,执行步骤S508,如果否,返回步骤S501;
步骤S508,确定母猪没有发生移动,统计母猪没有发生移动的第二时长;
步骤S509,判断第二时长是否大于或等于第三阈值,如果是,执行步骤S513,如果否,返回步骤S501;
步骤S510,根据采集时间及姿势信息统计母猪在预设时间段内的姿势变化次数及母猪处于站立姿势的第一时长;
步骤S511,根据第一权值和第二权值对姿势变化次数和第一时长进行加权计算,得到加权结果;
步骤S512,判断加权结果是否大于或等于第一阈值,如果是,执行步骤S513,如果否,返回步骤S501;
步骤S513,确定母猪处于发情状态;
步骤S514,执行预设提醒操作。
本实施例中,通过不断采集母猪图像,通过从母猪图像中识别母猪的姿势信息,通过姿势信息确定目标物体的状态。通过计算机视觉的方式,基于图像识别物体状态,可以在无应激条件下实时监控母猪是否发情,避免在母猪身上安装传感器会导致母猪应激行为且影响猪的健康成长,且无需人工长期观察确认,大大降低了人力成本及时间成本,提高了母猪的繁殖率。同时,对母猪发情进行监测的识别仅需摄像机和计算设备即可实现,监测系统的成本较低,且监测结果准确,实时性较强,设备故障率也较低。另外,也大大降低了人力成本,并提高监测效率。
本实施例的方法中,还包括姿势检测模型的训练过程。以下对模型的训练过程进行具体说明。
(1)固定摄像头采集妊娠舍限位栏内的母猪样本图像;
(2)获得母猪样本图像的标签,该标签包括框选出猪体的标签框及姿势标记,依据猪只的不同姿势可标记为站、坐、正卧、左侧卧和右侧卧;
(3)将母猪样本图像及对应的标签输入预设神经网络进行训练,得到姿势检测模型。
其中,预设神经网络可以为MobileNet-YOLO、MobileNet-YOLOv1、MobileNet-YOLOv2、MobileNet-YOLOv3、Faster R-CNN、R-FCN等等卷积神经网络。
以MobileNet-YOLO为例。
MobileNet-YOLO将图片分成7×7个网格,每个网格负责预测中心落入该网格的目标物体对象。每个网格会预测2个边界框。计算每个边界框带有框中心点坐标、宽高,进一步计算每个边界框与标签框之间的位置误差。并通过计算边界框与标签框的交并比(IOU)来确定每个边界框的置信度,以及将检测到的类别与预先标注的类别进行比对得到类别误差。通过每个边界框的置信度、位置误差、分类误差等结果计算损失函数,不断反向传播损失函数优化网络,直至网络收敛得到目标检测模型。
实际使用该姿势检测模型时,可以选择置信度大于或等于预设值的检测结果作为有效姿势信息输出。
上述实施例中,通过预先对三个模型进行训练,使得后续进行物体状态监测时,可以快速、准确地基于图像确定物体状态,降低人工成本及监测耗时。
本实施例中,通过不断采集母猪图像,通过从母猪图像中识别阴户图像,通过不同时间获得的阴户图像之间相似度,以确定母猪是否发情。通过计算机视觉的方式,基于图像识别物体状态,可以在无应激条件下实时监控母猪是否发情,避免在母猪身上安装传感器会导致母猪应激行为且影响猪的健康成长,提高了母猪的繁殖率。同时,对母猪发情进行监测的识别仅需摄像机和计算设备即可实现,降低了监测系统的成本,且监测结果准确,实时性较强,设备故障率也较低。另外,也大大降低了人力成本及监测效率。
下述为本公开装置实施例,可以用于执行本公开方法实施例。
图6为本申请实施例提供的一种物体状态监测装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图6所示,该物体状态监测装置包括:
获取模块61,用于获取待测图像;
识别模块62,用于根据预先训练的姿势检测模型从待测图像中识别得到目标物体的姿势信息;
分析模块63,用于根据姿势信息分析目标物体的状态。
图7为本申请实施例提供的一种母猪发情监测装置的框图,该装置可以通过软件、硬件或者两者的结合实现成为电子设备的部分或者全部。如图7所示,该母猪发情监测装置包括:
获取模块71,用于获取母猪图像;
识别模块72,用于根据预先训练的姿势检测模型从母猪图像中识别得到母猪的姿势信息;
分析模块73,用于根据姿势信息分析母猪的生理状态,生理状态包括发情状态或未发情状态。
图8为本申请实施例提供的一种母猪发情监测系统的框图,如图8所示,该系统包括:摄像装置81及与摄像装置通信连接的计算装置82。
摄像装置81,用于拍摄母猪图像,并将母猪图像发送到计算装置;计算装置82,用于获取母猪图像;根据预先训练的姿势检测模型从所述母猪图像中识别得到母猪的姿势信息;根据所述姿势信息分析所述母猪的生理状态,所述生理状态包括发情状态或未发情状态。
可选的,计算装置82,还用于当确定母猪处于发情状态时,执行预设提醒操作。
其中,摄像装置设置于猪舍内,一般可设置于妊娠舍限位栏的上方。计算装置可以位于养殖场本地,也可以设置于网络侧。
本申请实施例还提供一种电子设备,如图9所示,电子设备可以包括:处理器1501、通信接口1502、存储器1503和通信总线1504,其中,处理器1501,通信接口1502,存储器1503通过通信总线1504完成相互间的通信。
存储器1503,用于存放计算机程序;
处理器1501,用于执行存储器1503上所存放的计算机程序时,实现以下上述方法实施例的步骤。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral ComponentInterconnect,P C I)总线或扩展工业标准结构(Extended Industry StandardArchitecture,EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
存储器可以包括随机存取存储器(Random Access Memory,RAM),也可以包括非易失性存储器(Non-Volatile Memory,NVM),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器,包括中央处理器(Central Processing Unit,CPU)、网络处理器(Network Processor,NP)等;还可以是数字信号处理器(Digital SignalProcessing,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本申请还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现以下上述方法实施例的步骤。
需要说明的是,对于上述装置、电子设备及计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
进一步需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅是本发明的具体实施方式,使本领域技术人员能够理解或实现本发明。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。