CN115147782A - 一种死亡动物识别方法及装置 - Google Patents

一种死亡动物识别方法及装置 Download PDF

Info

Publication number
CN115147782A
CN115147782A CN202210923202.8A CN202210923202A CN115147782A CN 115147782 A CN115147782 A CN 115147782A CN 202210923202 A CN202210923202 A CN 202210923202A CN 115147782 A CN115147782 A CN 115147782A
Authority
CN
China
Prior art keywords
image
temperature
dead
current
identification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210923202.8A
Other languages
English (en)
Inventor
李静
沈贤义
谭志观
程东
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Doling Technology Co ltd
Original Assignee
Guangzhou Doling Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Doling Technology Co ltd filed Critical Guangzhou Doling Technology Co ltd
Priority to CN202210923202.8A priority Critical patent/CN115147782A/zh
Publication of CN115147782A publication Critical patent/CN115147782A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

一种死亡动物识别方法及其装置,通过4个步骤对当前区域中的动物自动判断是否存在死体。本发明的死亡动物识别方法及装置能自动识别当前区域中是否存在死体。本发明通过对视频图像的目标进行像素级的选定，能够排除环境干扰，同时采集全图温度图像对目标进行实时测温，从而排除环境温度影响，提高在复杂环境下的适应性。同时本发明根据目标区域温度分布提高识别的准确性，故，本发明识别精确。

Description

一种死亡动物识别方法及装置
技术领域
本发明涉及动物识别检测技术领域，特别涉及一种死亡动物识别方法及装置。
背景技术
传统的养殖管理系统，主要以传统的人工管理为主。近年来，随着智能化养殖的概念逐步成型，目前已有不少养殖前沿企业，实现了智能化养殖建设或部分智能化改造，通过智能化设备、物联网、传感器以及终端设备等智能化手段，来完成数据采集及数据分析工作。但是对于死亡动物的智能识别还比较空白，基本上都是采取人工方式，这种方式需要工作人员经常巡视养殖场，大大增加养殖成本。还有可能因人为疏忽或违规操作，没有及时发现死亡动物，导致尸体腐变影响其他活体动物的健康，或者不能及时将死亡动物运送到屠宰线进行屠宰。
因此，针对现有技术不足，提供一种死亡动物识别方法及其装置以解决现有技术不足甚为必要。
发明内容
本发明其中一个的目的在于避免现有技术的不足之处而提供一种死亡动物识别方法，该死亡动物识别方法能自动识别当前区域中是否存在死体。
本发明的上述目的通过以下技术措施实现：
提供一种死亡动物识别方法,步骤包括：
步骤(1)、对当前区域实时同步采集全图温度图像及视频流，并对视频流进行解码得到多张识别图像；
步骤(2)、将步骤一得到的识别图像输入至预先训练好的训练实例分割算法模型，并将该识别图像定义为当前识别图像，判断当前识别图像中是否存在疑似死体，当是则进入步骤(3)，否则返回步骤(1)；
步骤(3)、在步骤一采集的全图温度图像中调取与当前识别图像对应的全图温度图像，根据调取的全图温度图像及疑似死体的目标区域温度分布进行温度分析，判断是否为死体，当是则进入步骤(4)，否则返回步骤(1)；
步骤(4)、提示存在死体，返回步骤(1)。
优选的，上述训练实例分割算法模型的获取方法步骤如下：
步骤A、根据使用场景定义分割目标，所述分割目标为活体、疑似死体和非目标对象；
步骤B、采集区域的素材图像；
步骤C、对步骤B得到的素材图像进行标注，得到由图像数据组成的数据集，且图像数据含有标注数据；
步骤D、将步骤C得到的数据集加载至原始模型进行训练，得到训练实例分割模型。
优选的，上述步骤C具体是使用标注工具对步骤B得到的素材图像中的活体、疑似死体及非目标对象进行标注，得到由图像数据组成的数据集，且图像数据含有标注数据，其中活体的姿态为站或跪的动物，疑似死体的姿态为侧卧的动物。
优选的，上述步骤D包括有：
步骤D.1、设定原始模型的参数；
步骤D.2、将步骤C得到的数据集及所述步骤D.1的参数，导入至原始模型中进行训练，得到最优算法权重及对应的最优算法模型，将最优算法模型定义为训练实例分割模型。
优选的，上述步骤(1)具体是：对当前区域实时并同时采集全图温度图像及视频流，并对视频流进行解码得到多张识别图像，并将全图温度图像和识别图像缓存至缓存模单元。
优选的，上述步骤(2)包括有：
步骤(2.1)、在缓存单元中选取最新的一张识别图像，并将该识别图像定义为当前识别图像；
步骤(2.2)、将当前识别图像输入至预先训练好的训练实例分割算法模型，判断是否存在疑似死体，当是则进入步骤(3)，否则返回步骤(1)。
优选的，上述步骤(2.2)包括有：
步骤(2.2.1)、将当前识别图像输入至预先得到的训练实例分割算法模型，输出当前识别图像中存在目标对应的目标信息，所述目标信息为类别cname、目标轮廓掩膜mask和可信度score；
步骤(2.2.2)、判断是否存在类别cname是否存在疑似死体，当存在则进入步骤(2.2.3)，否则返回步骤(1)；
步骤(2.2.3)、判断类别cname为疑似死体的可信度score与θ的关系，当score＞θ时进入步骤(3)，当score≤θ返回步骤(1)，θ为可信度阈值，且θ≥0.5。
优选的，上述步骤(3)包括有：
步骤(3.1)、在步骤一采集的全图温度图像中调取与当前识别图像对应的全图温度图像，将调取的全图温度图像定义为当前全图温度图像；
步骤(3.2)、在当前全图温度图像中找出与步骤(2)得到疑似死体中的目标轮廓掩膜mask相同的区域，将当前全图温度图像与目标轮廓掩膜mask相同的区域定义为目标区域，并标示目标区域中每个像素点的温度；
步骤(3.3)、根据每个像素点的温度分布进行温度分析，判断是否为死体，当是则进入步骤(4)，当否则返回步骤(4)。
优选的，上述温度分析的方法为选出目标区域中所有像素点中的最高温度Tmax1和最低温度Tmin1，当Tmax1-Tmin1＞α时判断为活体，当Tmax1-Tmin1≤α时判断为死体，其中α为活体温度差异阈值，且α＞0；
或者
优选的，上述温度分析的方法为将目标区域划分成n块子区域，取每块子区域的最高温度作为参考温度c，得到参考温度合集C＝{c1，c2，……，ci，……，cn},其中2≤i≤n,然后在参考温度合集中选取最高温度Tmax2和最低温度Tmin2，当Tmax2-Tmin2＞α时判断为活体，当Tmax2-Tmin2≤α时判断为死体。
优选的，上述参数为训练参数batch_size、类别数量num_classes、迭代次数epoch和学习率learning rate。
优选的，上述原始模型为MaskRCNN模型、Transformer模型或者yolov7模型。
所述标注工具为labelme或者eiseg。
优选的，上述最优算法模型的mAP值大于等于80％。
1℃≤α≤3℃；
2≤i≤n≤100本发明另一个的目的在于避免现有技术的不足之处而提供一种采用上述死亡动物识别方法的装置，该装置能自动识别当前区域中是否存在死体。
本发明的上述目的通过以下技术措施实现：
提供一种采用死亡动物识别方法的装置,采用上述的死亡动物识别方法进行识别。
本发明一种采用死亡动物识别方法的装置，设置有：
视频流采集设备——实时采集当前区域内的视频流，并对视频流进行连续解码，得到识别图像；
温度采集设备——实时采集当前区域内的全图温度图像；
存储模块——存储采集到的全图温度图像和识别图像；
处理模块——根据识别图像、全图温度图像和训练实例分割算法模型得到疑似死体，并判断疑似死体是否为死体。
本发明的一种死亡动物识别方法及其装置,通过4个步骤对当前区域中的动物自动判断是否存在死体。本发明的死亡动物识别方法及装置能自动识别当前区域中是否存在死体。本发明通过对视频图像的目标进行像素级的选定，能够排除环境干扰，同时采集全图温度图像对目标进行实时测温，从而排除环境温度影响，提高在复杂环境下的适应性。同时本发明根据目标区域温度分布提高识别的准确性，故，本发明识别精确。
附图说明
利用附图对本发明作进一步的说明，但附图中的内容不构成对本发明的任何限制。
图1为一种死亡动物识别方法的流程图。
图2为实施例4和实施例5的步骤(2.2.1)分割后图像。
图3为实施例4和实施例5的步骤(3.2)处理的图像。
图4为实施例4的步骤(3.3)处理的图像。
图5为实施例5的步骤(3.3)处理的图像。
具体实施方式
结合以下实施例对本发明的技术方案作进一步说明。
实施例1。
一种死亡动物识别方法,如图1所示，步骤包括：
步骤(1)、对当前区域实时同步采集全图温度图像及视频流，并对视频流进行解码得到多张识别图像；
步骤(2)、将步骤一得到的识别图像输入至预先训练好的训练实例分割算法模型，并将该识别图像定义为当前识别图像，判断当前识别图像中是否存在疑似死体，当是则进入步骤(3)，否则返回步骤(1)；
步骤(3)、在步骤一采集的全图温度图像中调取与当前识别图像对应的全图温度图像，根据调取的全图温度图像及疑似死体的目标区域温度分布进行温度分析，判断是否为死体，当是则进入步骤(4)，当否则返回步骤(1)；
步骤(4)、提示存在死体，返回步骤(1))。
其中，步骤(1)具体是：对当前区域实时并同时采集全图温度图像及视频流，并对视频流进行解码得到多张识别图像，并将全图温度图像和识别图像缓存至缓存模单元。
其中，步骤(2)包括有：
步骤(2.1)、在缓存单元中选取最新的一张识别图像，并将该识别图像定义为当前识别图像；
步骤(2.2)、将当前识别图像输入至预先训练好的训练实例分割算法模型，判断是否存在疑似死体，当是则进入步骤(3)，否则返回步骤(1)。
需要说明的是，本发明的步骤(2)在处理当前识别图像根据处理装置的运算能力而决定处理时间长度，当在步骤(2)这个步骤处理后，因为存在处理时间间隔，再次进入步骤(2)时在缓存单元中选取最新的一张识别图像可能不是上次处理下一帧图片，中间可能存在多张识别图像并没有处理。本发明并不需要对每一张识别图像均进行处理，从而减少处理装置的运行要求。
本发明步骤(2.2)包括有：
步骤(2.2.1)、将当前识别图像输入至预先得到的训练实例分割算法模型，输出当前识别图像中存在目标对应的目标信息，所述目标信息为类别cname、目标轮廓掩膜mask和可信度score；
步骤(2.2.2)、判断是否存在类别cname是否存在疑似死体，当存在则进入步骤(2.2.3)，否则返回步骤(1)；
步骤(2.2.3)、判断类别cname为疑似死体的可信度score与θ的关系，当score＞θ时进入步骤(3)，当score≤θ返回步骤(1)，θ为可信度阈值，且θ≥0.5，本实施例的θ具体为0.8。
其中，步骤(3)包括有：
步骤(3.1)、在步骤一采集的全图温度图像中调取与当前识别图像对应的全图温度图像，将调取的全图温度图像定义为当前全图温度图像；
步骤(3.2)、在当前全图温度图像中找出与步骤(2)得到疑似死体中的目标轮廓掩膜mask相同的区域，将当前全图温度图像与目标轮廓掩膜mask相同的区域定义为目标区域，并标示目标区域中每个像素点的温度；
步骤(3.3)、根据每个像素点的温度分布进行温度分析，判断是否为死体，当是则进入步骤(4)，当否则返回步骤(4)。
需要说明的是，本发明经过步骤(2)处理，得到的疑似死体只存在动物的轮廓区域，并不会存在环境区域，从而能排除环境的干扰。而在步骤(3)中根据动物的轮廓区域得到该区域的温度点，将所有的环境温度排除在外，从而能够避免了在复杂环境(春、夏、秋、冬、淋水、通风，不同目标距离)等情况下对温度的干扰。而步骤(3.1)所说的调取与当前识别图像对应的全图温度图像是指，当前识别图像为某一时刻的图像时，则对应调出与该时刻相同的时刻采集的全图温度图像。
因为活体动物全身各处温度差异较大，而死体动物的全身温度差异较小，本发明根据温度分布判断是否死体能够提高测温设备在复杂环境下的适应性，识别精度大大提高。
本发明的训练实例分割算法模型的获取方法步骤为有：
步骤A、根据使用场景定义分割目标，分割目标为活体、疑似死体和非目标对象；
步骤B、采集区域的素材图像；
步骤C、对步骤B得到的素材图像进行标注，得到由图像数据组成的数据集，且图像数据含有标注数据；
步骤D、将步骤C得到的数据集加载至原始模型进行训练，得到训练实例分割模型。
其中，步骤C具体为使用标注工具对步骤B得到的素材图像中的活体、疑似死体及非目标对象进行标注，得到数据集，其中活体的姿态为站或跪的动物，疑似死体的姿态为侧卧的动物。
其中，步骤D包括有：
步骤D.1、设定原始模型的参数；
步骤D.2、将步骤C得到的数据集及步骤D.1的参数，导入至原始模型中进行训练，得到最优算法权重及对应的最优算法模型，将最优算法模型定义为训练实例分割模型。
本发明的参数可以为训练参数batch_size、类别数量num_classes、迭代次数epoch和学习率learning rate。
需要说明的是，本发明可以根据原始模型的训练使用工具有的显卡设置，不同的显卡对应不同的训练参数batch_size，而batch_size大于等于1。类别数量num_classes为任务类别数量，num_classes的值为大于等于1，本发明任务类别具体是指活体、疑似死体及非目标对象，那么本发明的num_classes具体为3。而迭代次数epoch是根据训练集的大小决定的，epoch大于等于1。学习率learning rate为训练过程的控制变量，learning rate的值小于1大于0。
素材图像的数量可以为5000张具有动物存在图像，而且死体动物占一半。
而本发明的原始模型为MaskRCNN模型、Transformer模型或者yolov7模型，也可以为其他的模型，只要实现本发明的目标分割目的的模型均可作用本发明的原始模型，本实施例的原始模型具体为MaskRCNN模型。
标注工具可以为labelme或者eiseg，也可以为其他的标注工具，只要实现本发明的目标分割目的的标注工具均可作用本发明的标注工具，本实施例的标注工具为labelm。
本发明的最优算法模型的mAP值大于等于80％。
需要说明的是，本发明采用的MaskRCNN模型、Transformer模型或者yolov7模型均为本领域技术公知常识，当输入数据集、标注数据和参数输入进行MaskRCNN模型、Transformer模型或者yolov7模型训练后，可以得到本发明的训练实例分割模型。因此在此不再一一累述MaskRCNN模型、Transformer模型或者yolov7模型的具体设置与操作过程。
需要说明的是，本发明的动物可以为猪、羊、牛、驴、马、鹅、鸡、鸭等动物。
该死亡动物识别方法能够通过对视频图像的目标进行像素级的选定，从而能够排除环境干扰，同时采集全图温度图像对目标进行实时测温，从而排除环境温度影响，提高在复杂环境下的适应性。同时本发明根据目标区域温度分布提高识别的准确性，故，本发明识别精确。本发明的死亡动物识别方法能自动识别当前区域中是否存在死体。
实施例2。
一种死亡动物识别方法，其他特征与实施例1相同，本实施例的温度分析的方法具体为：
选出目标区域中所有像素点中的最高温度Tmax1和最低温度Tmin1，当Tmax1-Tmin1＞α时判断为活体，当Tmax1-Tmin1≤α时判断为死体，其中α为活体温度差异阈值，且α＞0，本发明的1℃≤α≤3℃，α的具体值可以根据动物的种类进行具体设定。
本实施例的温度分析只需将目标区域的最高温度和最低温度之间的差值与活体温度差异阈值进行简单对比，即得到判断结果。
实施例3。
一种死亡动物识别方法，其他特征与实施例1相同，本实施例的温度分析的方法具体为：
将目标区域划分成n块子区域，取每块子区域的最高温度作为参考温度c，得到参考温度合集C＝{c1，c2，……，ci，……，cn},其中2≤i≤n,然后在参考温度合集中选取最高温度Tmax2和最低温度Tmin2，当Tmax2-Tmin2＞α时判断为活体，当Tmax2-Tmin2≤α时判断为死体。本发明的2≤i≤n≤100，n的具体值可以根据动物的种类进行具体设定。
需要说明的是，当n越大，其中识别结果越精准。
与实施例2相比，本实施例的温度分析的识别精度更高。
实施例4。
根据实施例2的一种死亡动物识别方法的具体应用，步骤包括：
步骤(1)、对当前区域实时同步采集全图温度图像及视频流，并对视频流进行解码得到多张识别图像；
步骤(2)、将步骤一得到的识别图像输入至预先训练好的训练实例分割算法模型，并将该识别图像定义为当前识别图像，判断当前识别图像中是否存在疑似死猪，当是则进入步骤(3)，否则返回步骤(1)；
步骤(3)、在步骤一采集的全图温度图像中调取与当前识别图像对应的全图温度图像，根据调取的全图温度图像及疑似死体的目标区域温度分布进行温度分析，判断是否为死猪，当是则进入步骤(4)，否则返回步骤(1)；
步骤(4)、提示存在死猪，返回步骤(1)。
步骤(1)具体是：对当前区域实时并同时采集全图温度图像及视频流，并对视频流进行解码得到多张识别图像，并将全图温度图像和识别图像缓存至缓存模单元。
其中步骤(2)包括有：
步骤(2.1)、在缓存单元中选取最新的一张识别图像，并将该识别图像定义为当前识别图像；
步骤(2.2)、将当前识别图像输入至预先训练好的训练实例分割算法模型，判断是否存在疑似死猪，当是则进入步骤(3)，否则返回步骤(1)。
其中，步骤(2.2)包括有：
步骤(2.2.1)、将当前识别图像输入至预先得到的训练实例分割算法模型，输出当前识别图像中存在目标对应的目标信息，所述目标信息为类别cname、目标轮廓掩膜mask和可信度score如图2；
步骤(2.2.2)、判断是否存在类别cname是否存在疑似死猪，当存在则进入步骤(2.2.3)，否则返回步骤(1)；
步骤(2.2.3)、判断类别cname为疑似死猪的可信度score与θ的关系，当score＞θ时进入步骤(3)，当score≤θ返回步骤(1)，本实施例的θ为0.7。
其中，步骤(3)包括有：
步骤(3.1)、在步骤一采集的全图温度图像中调取与当前识别图像对应的全图温度图像，将调取的全图温度图像定义为当前全图温度图像；
步骤(3.2)、在当前全图温度图像中找出与步骤(2)得到疑似死猪中的目标轮廓掩膜mask相同的区域，如图3，将当前全图温度图像与目标轮廓掩膜mask相同的区域定义为目标区域，并标示目标区域中每个像素点的温度；
步骤(3.3)、根据每个像素点的温度分布进行温度分析，判断是否为死猪，当是则进入步骤(4)，当否则返回步骤(4)。
温度分析的方法为选出目标区域中所有像素点中的最高温度Tmax1和最低温度Tmin1，当Tmax1-Tmin1＞3℃时判断为活猪，当Tmax1-Tmin1≤3℃时判断为死猪，如图4。
本实施例的训练实例分割算法模型的获取方法步骤为有：
步骤A、根据使用场景定义分割目标，分割目标为活体、疑似死体和非目标对象；
步骤B、采集区域的素材图像；
步骤C、对步骤B得到的素材图像进行标注，得到由图像数据组成的数据集，且图像数据含有标注数据；
步骤D、将步骤C得到的数据集加载至原始模型进行训练，得到训练实例分割模型。
其中，具体是使用标注工具对步骤B得到的素材图像中的活体、疑似死体及非目标对象进行标注，得到由图像数据组成的数据集，且图像数据含有标注数据，其中活体的姿态为站或跪的动物，疑似死体的姿态为侧卧的动物。
其中，步骤D包括有：
步骤D.1、设定原始模型的参数；
步骤D.2、将步骤C得到的数据集及步骤D.1的参数，导入至原始模型中进行训练，得到最优算法权重及对应的最优算法模型，将最优算法模型定义为训练实例分割模型。
本发明的参数可以为模型骨干backbone、训练参数batch_size、类别数量num_classes、迭代次数epoch和学习率learning rate。
本实施例的素材图像可以是采集监控区域24小时各时段数据，也可以录像、图片，而素材图像的数量可以为5000张具有猪存在图像，而死猪一半。
本实施例能够排除猪圈的环境干扰，同时采集全图温度图像对目标进行实时测温，从而排除环境温度影响，提高在复杂环境下的适应性。同时本发明根据目标区域温度分布提高死猪识别的准确性，故，本发明识别精确。
实施例5。
根据实施例3的一种死亡动物识别方法的具体应用，步骤包括：
步骤(1)、对当前区域实时同步采集全图温度图像及视频流，并对视频流进行解码得到多张识别图像；
步骤(2)、将步骤一得到的识别图像输入至预先训练好的训练实例分割算法模型，并将该识别图像定义为当前识别图像，判断当前识别图像是否存在疑似死猪，当是则进入步骤(3)，如否则返回步骤(1)；
步骤(3)、在步骤一采集的全图温度图像中调取与当前识别图像对应的全图温度图像，根据全图温度图像及疑似死猪的目标区域温度分布进行温度分析，判断是否为死猪，当是则进入步骤(4)，当否则返回步骤(1)；
步骤(4)、提示存在死猪，返回步骤(1)。
步骤(1)具体是：对当前区域实时并同时采集全图温度图像及视频流，并对视频流进行解码得到多张识别图像，并将全图温度图像和识别图像缓存至缓存模单元。
其中步骤(2)包括有：
步骤(2.1)、在缓存单元中选取最新的一张识别图像，并将该识别图像定义为当前识别图像；
步骤(2.2)、将当前识别图像并输入至预先训练好的训练实例分割算法模型，判断是否存在疑似死猪，当是则进入步骤(3)，如否则返回步骤(1)。
其中，步骤(2.2)包括有：
步骤(2.2.1)、将该识别图像定义为当前识别图像并输入至预先训练好的训练实例分割算法模型，输出当前识别图像中存在目标对应的目标信息，目标信息为类别cname、目标轮廓掩膜mask和可信度score，如图2；
步骤(2.2.2)、判断是否存在类别cname是否存在疑似死猪，当存在则进入步骤(2.2.3)，否则返回步骤(1)；
步骤(2.2.3)、判断类别cname为疑似死体的可信度score与θ的关系，当score＞θ时进入步骤(3)，当score≤θ返回步骤(1)，本实施例的θ为0.78。
其中，步骤(3)包括有：
步骤(3.1)、在步骤一采集的全图温度图像中调取与当前识别图像对应的全图温度图像，将调取的全图温度图像定义为当前全图温度图像；
步骤(3.2)、在当前全图温度图像中找出与步骤(2)得到疑似死猪中的目标轮廓掩膜mask相同的区域，如图3，将当前全图温度图像与目标轮廓掩膜mask相同的区域定义为目标区域，并标示目标区域中每个像素点的温度；
步骤(3.3)、根据每个像素点的温度分布进行温度分析，判断是否为死猪，当是则进入步骤(4)，当否则返回步骤(4)。
温度分析的方法为将目标区域划分成4块子区域，取每块子区域的最高温度作为参考温度c，得到参考温度合集C＝{c1，c2，c3，c4},然后在参考温度合集中选取最高温度Tmax2和最低温度Tmin2，当Tmax2-Tmin2＞3℃时判断为活猪，当Tmax2-Tmin2≤3℃时判断为死猪，如图5。
与实施例4相比，本实施例的活猪温度分析的识别精度更高。
实施例6。
一种采用死亡动物识别方法的装置，采用如实施例1至5的死亡动物识别方法进行识别。
设置有：
视频流采集设备——实时采集当前区域内的视频流，并对视频流进行连续解码，得到识别图像；
温度采集设备——实时采集当前区域内的全图温度图像；
存储模块——存储采集到的全图温度图像和识别图像；
处理模块——根据识别图像、全图温度图像和训练实例分割算法模型得到疑似死体，并判断疑似死体是否为死体。
需要说明的是，本发明的视频流采集设备和温度采集设备与处理模块或存储模块之间的数据通过交换机传输。本发明的温度采集设备可以为红外测温摄像头，而视频流采集设备为可见光摄像头。同时将温度采集设备和视频流采集设备对齐。
该采用死亡动物识别方法的装置能够通过对视频图像的目标进行像素级的选定，从而能够排除环境干扰，同时采集全图温度图像对目标进行实时测温，从而排除环境温度影响，提高在复杂环境下的适应性。同时本发明根据目标区域温度分布提高识别的准确性。本发明的死亡动物识别方法及装置能自动识别当前区域中是否存在死体。
最后应当说明的是，以上实施例仅用以说明本发明的技术方案而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细说明，本领域的普通技术人员应当理解，可以对本发明技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种死亡动物识别方法,其特征在于，步骤包括：
步骤(1)、对当前区域实时同步采集全图温度图像及视频流，并对视频流进行解码得到多张识别图像；
步骤(2)、将步骤一得到的识别图像输入至预先训练好的训练实例分割算法模型，并将该识别图像定义为当前识别图像，判断当前识别图像中是否存在疑似死体，当是则进入步骤(3)，否则返回步骤(1)；
步骤(3)、在步骤一采集的全图温度图像中调取与当前识别图像对应的全图温度图像，根据调取的全图温度图像及疑似死体的目标区域温度分布进行温度分析，判断是否为死体，当是则进入步骤(4)，否则返回步骤(1)；
步骤(4)、提示存在死体，返回步骤(1)。
2.根据权利要求1所述的死亡动物识别方法,其特征在于，所述训练实例分割算法模型的获取方法如下：
步骤A、根据使用场景定义分割目标，所述分割目标为活体、疑似死体和非目标对象；
步骤B、采集区域的素材图像；
步骤C、对步骤B得到的素材图像进行标注，得到由图像数据组成的数据集，且图像数据含有标注数据；
步骤D、将步骤C得到的数据集加载至原始模型进行训练，得到训练实例分割模型。
3.根据权利要求2所述的死亡动物识别方法,其特征在于：所述步骤C具体是使用标注工具对步骤B得到的素材图像中的活体、疑似死体及非目标对象进行标注，得到由图像数据组成的数据集，且图像数据含有标注数据，其中活体的姿态为站或跪的动物，疑似死体的姿态为侧卧的动物；
所述步骤D包括有：
步骤D.1、设定原始模型的参数；
步骤D.2、将步骤C得到的数据集及所述步骤D.1的参数，导入至原始模型中进行训练，得到最优算法权重及对应的最优算法模型，将最优算法模型定义为训练实例分割模型。
4.根据权利要求1至3任一所述的死亡动物识别方法,其特征在于：所述步骤(1)具体是：对当前区域实时并同时采集全图温度图像及视频流，并对视频流进行解码得到多张识别图像，并将全图温度图像和多张识别图像缓存至缓存模单元。
5.根据权利要求4所述的死亡动物识别方法,其特征在于，所述步骤(2)包括有：
步骤(2.1)、在缓存单元中选取最新缓存的一张识别图像，定义为当前识别图像；
步骤(2.2)、将当前识别图像输入至预先训练好的训练实例分割算法模型，判断是否存在疑似死体，当是则进入步骤(3)，否则返回步骤(1)。
6.根据权利要求5所述的死亡动物识别方法,其特征在于，所述步骤(2.2)包括有：
步骤(2.2.1)、将当前识别图像输入至预先得到的训练实例分割算法模型，输出当前识别图像中存在目标对应的目标信息，所述目标信息为类别cname、目标轮廓掩膜mask和可信度score；
步骤(2.2.2)、判断是否存在类别cname是否存在疑似死体，当存在则进入步骤(2.2.3)，否则返回步骤(1)；
步骤(2.2.3)、判断类别cname为疑似死体的可信度score与θ的关系，当score＞θ时进入步骤(3)，当score≤θ返回步骤(1)，θ为可信度阈值，且θ≥0.5。
7.根据权利要求6所述的死，亡动物识别方法,其特征在于，所述步骤(3)包括有：
步骤(3.1)、在步骤一采集的全图温度图像中调取与当前识别图像对应的全图温度图像，将调取的全图温度图像定义为当前全图温度图像；
步骤(3.2)、在当前全图温度图像中找出与步骤(2)得到疑似死体中的目标轮廓掩膜mask相同的区域，将当前全图温度图像与目标轮廓掩膜mask相同的区域定义为目标区域，并标示目标区域中每个像素点的温度；
步骤(3.3)、根据每个像素点的温度分布进行温度分析，判断是否为死体，当是则进入步骤(4)，当否则返回步骤(4)。
8.根据权利要求7所述的死亡动物识别方法,其特征在于：所述温度分析的方法为选出目标区域中所有像素点中的最高温度Tmax1和最低温度Tmin1，当Tmax1-Tmin1＞α时判断为活体，当Tmax1-Tmin1≤α时判断为死体，其中α为活体温度差异阈值，且α＞0；
或者
所述温度分析的方法为将目标区域划分成n块子区域，取每块子区域的最高温度作为参考温度c，得到参考温度合集C＝{c1，c2，……，ci，……，cn},其中2≤i≤n,然后在参考温度合集中选取最高温度Tmax2和最低温度Tmin2，当Tmax2-Tmin2＞α时判断为活体，当Tmax2-Tmin2≤α时判断为死体。
9.根据权利要求8所述的死亡动物识别方法,其特征在于：所述参数为训练参数batch_size、类别数量num_classes、迭代次数epoch和学习率learning rate；
所述原始模型为MaskRCNN模型、Transformer模型或者yolov7模型；
所述标注工具为labelme或者eiseg；
所述最优算法模型的mAP值大于等于80％；
1℃≤α≤3℃；
2≤i≤n≤100。
10.一种采用死亡动物识别方法的装置,其特征在于：采用权利要求1至9任意一项所述的死亡动物识别方法进行识别；
设置有：
视频流采集设备——实时采集当前区域内的视频流，并对视频流进行连续解码，得到识别图像；
温度采集设备——实时采集当前区域内的全图温度图像；
存储模块——存储采集到的全图温度图像和识别图像；
处理模块——根据识别图像、全图温度图像和训练实例分割算法模型得到疑似死体，并判断疑似死体是否为死体。
CN202210923202.8A 2022-08-02 2022-08-02 一种死亡动物识别方法及装置 Pending CN115147782A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210923202.8A CN115147782A (zh) 2022-08-02 2022-08-02 一种死亡动物识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210923202.8A CN115147782A (zh) 2022-08-02 2022-08-02 一种死亡动物识别方法及装置

Publications (1)

Publication Number Publication Date
CN115147782A true CN115147782A (zh) 2022-10-04

Family

ID=83415124

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210923202.8A Pending CN115147782A (zh) 2022-08-02 2022-08-02 一种死亡动物识别方法及装置

Country Status (1)

Country Link
CN (1) CN115147782A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578602A (zh) * 2022-11-09 2023-01-06 北京信息科技大学 一种基于改进YOLOv7的自然树种识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110287902A (zh) * 2019-06-27 2019-09-27 洛阳语音云创新研究院 畜禽存活检测方法、装置、设备及计算机程序产品
US20220036562A1 (en) * 2018-11-27 2022-02-03 Bongos Robotics Shanghai Co., Ltd Vision-based working area boundary detection system and method, and machine equipment
CN114049550A (zh) * 2021-10-13 2022-02-15 天津农学院 基于深度学习的笼养死亡肉鸡自动识别方法
CN114332457A (zh) * 2021-08-24 2022-04-12 腾讯科技（深圳）有限公司 图像实例分割模型训练、图像实例分割方法和装置
CN114407051A (zh) * 2022-03-07 2022-04-29 烟台艾睿光电科技有限公司 畜禽养殖场巡检方法及畜禽养殖场机器人

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220036562A1 (en) * 2018-11-27 2022-02-03 Bongos Robotics Shanghai Co., Ltd Vision-based working area boundary detection system and method, and machine equipment
CN110287902A (zh) * 2019-06-27 2019-09-27 洛阳语音云创新研究院 畜禽存活检测方法、装置、设备及计算机程序产品
CN114332457A (zh) * 2021-08-24 2022-04-12 腾讯科技（深圳）有限公司 图像实例分割模型训练、图像实例分割方法和装置
CN114049550A (zh) * 2021-10-13 2022-02-15 天津农学院 基于深度学习的笼养死亡肉鸡自动识别方法
CN114407051A (zh) * 2022-03-07 2022-04-29 烟台艾睿光电科技有限公司 畜禽养殖场巡检方法及畜禽养殖场机器人

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115578602A (zh) * 2022-11-09 2023-01-06 北京信息科技大学 一种基于改进YOLOv7的自然树种识别方法

Similar Documents

Publication Publication Date Title
CN108717523B (zh) 基于机器视觉的母猪发情行为检测方法
CN107077626B (zh) 动物用非侵入式多模态生物特征辨识系统
CN111339912B (zh) 一种基于遥感影像识别牛羊的方法和系统
CN109141248B (zh) 基于图像的猪体重测算方法及系统
Tsai et al. Assessment of dairy cow heat stress by monitoring drinking behaviour using an embedded imaging system
WO2023060777A1 (zh) 一种基于深度学习的猪只体尺体重估测方法
CN108961330B (zh) 基于图像的猪体长测算方法及系统
CN111178197A (zh) 基于Mask R-CNN和Soft-NMS融合的群养粘连猪实例分割方法
CN111161214B (zh) 一种基于双目视觉的猪只体重测量及饮水行为识别系统及方法
CN111767794A (zh) 基于机器视觉的笼养家禽异常行为检测方法及检测系统
Noe et al. Automatic detection and tracking of mounting behavior in cattle using a deep learning-based instance segmentation model
CN112288793B (zh) 畜类个体背膘检测方法、装置、电子设备及存储介质
Suwannakhun et al. Estimating pig weight with digital image processing using deep learning
CN115147782A (zh) 一种死亡动物识别方法及装置
CN113662530A (zh) 一种猪只生理生长状态监测预警方法
CN116019023A (zh) 一种电子信息管理系统及管理方法
CN116295022A (zh) 一种基于深度学习多参数融合的猪只体尺测量方法
Xu et al. Automatic sheep behaviour analysis using mask r-cnn
CN113724250A (zh) 一种基于双光相机的动物目标计数方法
CN117351404A (zh) 一种奶牛分娩应激程度判识方法及系统
Zhou et al. Detection of abnormal chicken droppings based on improved Faster R-CNN
CN110263753B (zh) 一种对象统计方法和装置
CN117029904A (zh) 一种智能化笼养家禽巡检系统
CN116646082A (zh) 基于叠层笼养模式下鸡异常粪便的疾病早期预警溯源系统
CN115830078A (zh) 生猪多目标跟踪及行为识别方法、计算机设备与存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20221004