CN112785620A - 动物身份识别方法、装置和系统 - Google Patents

动物身份识别方法、装置和系统 Download PDF

Info

Publication number
CN112785620A
CN112785620A CN201911060046.1A CN201911060046A CN112785620A CN 112785620 A CN112785620 A CN 112785620A CN 201911060046 A CN201911060046 A CN 201911060046A CN 112785620 A CN112785620 A CN 112785620A
Authority
CN
China
Prior art keywords
temporary
tracked
animal
feature values
animal subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201911060046.1A
Other languages
English (en)
Inventor
陆冬云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Guanhai Technology Development Co ltd
Original Assignee
Beijing Guanhai Technology Development Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Guanhai Technology Development Co ltd filed Critical Beijing Guanhai Technology Development Co ltd
Priority to CN201911060046.1A priority Critical patent/CN112785620A/zh
Priority to PCT/CN2020/125884 priority patent/WO2021083381A1/zh
Publication of CN112785620A publication Critical patent/CN112785620A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本申请实施例公开了一种动物身份识别方法、装置和系统，该方法在一个追踪会话中，持续获取被追踪动物对象的图像，基于所述图像计算所述被追踪动物对象的临时特征值集合；在所述临时特征值集合满足第一条件时，将所述临时特征值集合转变为正式特征值集合，为所述正式特征值集合分配唯一标识，确定所述唯一标识为所述被追踪动物对象的身份标识。本申请实施例可以在动物活动的任意位置使用，也无需在动物身体上安装识别设备，不受环境电磁干扰，且成本低廉。

Description

动物身份识别方法、装置和系统
技术领域
本申请涉及机器视觉和图像识别技术领域，具体涉及一种动物身份识别方法、装置和系统。
背景技术
畜类动物养殖场的精益管理要求精确识别每只动物，每只动物的唯一性通过所分配的唯一标识确定(简称为ID)。传统的动物身份识别方法通常采用在动物身上设置耳标、项圈、脚环等物理设备来对动物身份进行标识，该物理设备里保存分配的唯一编号作为动物的ID，通过专用读取设备读出。例如，在牛养殖场中，在特定活动如投料、挤奶、配种、注射疫苗等发生时，需要获取该ID，并以此记录牛个体的活动信息。
但是，该传统的动物身份识别方法需要在动物身上安装专用设备，并在动物活动区域的特定位置部署专用读取设备，动物数量越大，所需部署的设备数量越多，对企业形成高昂的管理成本；此外，ID的存储设备与读取设备只能在短距离工作，无法在动物的整个活动空间提供ID，读取位置受限，且读取精度受环境干扰。
发明内容
本申请实施例提供一种动物身份识别方法、装置和系统，用于解决现有技术中动物身份识别存在成本高、使用位置受限、易受环境干扰等问题。
第一方面，本申请实施例提供一种动物身份识别方法，包括以下步骤：
在一个追踪会话中，持续获取被追踪动物对象的图像；
基于所述图像，计算所述被追踪动物对象的临时特征值集合；
在所述临时特征值集合满足第一条件时，将所述临时特征值集合转变为正式特征值集合，为所述正式特征值集合分配唯一标识，确定所述唯一标识为所述被追踪动物对象的身份标识。
在优选的实施方式中，所述方法还包括：
在所述被追踪动物对象的身份标识未确定时，计算所述临时特征值集合与所有的正式特征值集合之间的相似度，以及所有的正式特征值集合中至少一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识的概率；
当所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件时，确定所述一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识。
在优选的实施方式中，所述在一个追踪会话中，持续获取被追踪动物对象的图像包括：
采用多目标追踪模型从采集的连续帧图像中识别所述被追踪动物对象的位置；
基于所述位置获取连续帧图像中被追踪动物对象的追踪框；
从所述追踪框提取所述被追踪动物对象的多个图像。
在优选的实施方式中，所述基于所述图像，计算所述被追踪动物对象的临时特征值集合包括：
在所述追踪会话中，为所述被追踪动物对象建立初始临时特征值集合；
从所述被追踪动物对象的多个图像持续计算所述被追踪动物对象的当前特征值；
如果所述当前特征值满足第三条件，则将所述当前特征值加入所述初始临时特征值集合。
在优选的实施方式中，所述临时特征值集合满足第一条件包括：所述临时特征值集合中的特征值的数量大于第一阈值。
在优选的实施方式中，所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件包括：所述相似度大于第二阈值。
在优选的实施方式中，所述多目标追踪模型包括第一卷积神经网络模型。
在优选的实施方式中，从所述被追踪动物对象的多个图像持续计算所述被追踪动物对象的当前特征值包括：采用第二卷积神经网络模型计算所述被追踪动物对象的当前特征值。
在优选的实施方式中，所述当前特征值满足第三条件包括：所述当前特征值与所述初始临时特征值集合中的所有特征值的距离的最小值大于第三阈值；其中，所述距离包括余弦距离。
在优选的实施方式中，所述方法还包括：如果所述一个追踪会话结束，则销毁所述临时特征值集合，且使所述一个追踪会话中确定的被追踪动物对象的身份标识失效。
在优选的实施方式中，所述被追踪动物对象的图像包括动物身体表面的皮毛花纹的图像。
第二方面，本申请实施例提供一种动物身份识别装置，包括：
追踪模块，被配置为在一个追踪会话中，持续获取被追踪动物对象的图像；
特征计算模块，被配置为基于所述图像，计算所述被追踪动物对象的临时特征值集合；
第一识别模块，被配置为在所述临时特征值集合满足第一条件时，将所述临时特征值集合转变为正式特征值集合，为所述正式特征值集合分配唯一标识，确定所述唯一标识为所述被追踪动物对象的身份标识。
在优选的实施方式中，所述装置还包括：
匹配模块，被配置为在所述被追踪动物对象的身份标识未确定时，计算所述临时特征值集合与所有的正式特征值集合之间的相似度，以及所有的正式特征值集合中至少一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识的概率；
第二识别模块，被配置为当所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件时，确定所述一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识。
在优选的实施方式中，所述追踪模块包括：
第一追踪子模块，被配置为采用多目标追踪模型从采集的连续帧图像中识别所述被追踪动物对象的位置；
第二追踪子模块，被配置为基于所述位置获取连续帧图像中被追踪动物对象的追踪框；
图像提取子模块，被配置为从所述追踪框提取所述被追踪动物对象的多个图像。
在优选的实施方式中，所述特征计算模块包括：
第一计算子模块，被配置为在所述追踪会话中，为所述被追踪动物对象建立初始临时特征值集合；
第二计算子模块，被配置为从所述被追踪动物对象的多个图像持续计算所述被追踪动物对象的当前特征值；
第三计算子模块，被配置为如果所述当前特征值满足第三条件，则将所述当前特征值加入所述初始临时特征值集合。
在优选的实施方式中，所述临时特征值集合满足第一条件包括：所述临时特征值集合中的特征值的数量大于第一阈值。
在优选的实施方式中，所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件包括：所述相似度大于第二阈值。
在优选的实施方式中，所述多目标追踪模型包括第一卷积神经网络模型。
在优选的实施方式中，所述第二计算子模块被配置为采用第二卷积神经网络模型计算所述被追踪动物对象的当前特征值。
在优选的实施方式中，所述当前特征值满足第三条件包括：所述当前特征值与所述初始临时特征值集合中的所有特征值的距离的最小值大于第三阈值；其中，所述距离包括余弦距离。
在优选的实施方式中，所述装置还包括：清除模块，被配置为在所述一个追踪会话结束时，销毁所述临时特征值集合，且使所述一个追踪会话中确定的被追踪动物对象的身份标识失效。
在优选的实施方式中，所述被追踪动物对象的图像包括动物身体表面的皮毛花纹的图像。
第三方面，本申请实施例提供一种动物身份识别系统，包括：
包括至少一个图像采集设备的图像采集单元；
处理单元，通过网络连接至所述图像采集单元，其被配置为：
在一个追踪会话中，持续获取被追踪动物对象的图像；
基于所述图像，计算所述被追踪动物对象的临时特征值集合；
在所述临时特征值集合满足第一条件时，将所述临时特征值集合转变为正式特征值集合，为所述正式特征值集合分配唯一标识，确定所述唯一标识为所述被追踪动物对象的身份标识。
第四方面，本申请实施例还提供一种计算设备，包括存储器和处理器；其中，所述存储器用于存储至少一个计算机程序，其中，所述程序被所述处理器执行以实现前述实施方式所述方法的步骤。
第五方面，本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行以实现前述实施方式所述方法的步骤。
相对于现有技术，本申请实施例可以在动物活动的任意位置使用，也无需在动物身体上安装识别设备，不受环境电磁干扰，且成本低廉。
附图说明
通过以下详细的描述并结合附图将更充分地理解本发明，其中相似的元件以相似的方式编号，其中：
图1是本申请实施例中监控摄像头的部署示意图；
图2是根据本申请一实施例的动物身份识别方法的流程示意图；
图3是根据本申请另一实施例的动物身份识别方法的部分流程示意图；
图4是根据本申请又一实施例的动物身份识别方法的部分流程示意图；
图5是根据本申请又一实施例的动物身份识别方法的部分流程示意图；
图6是本申请实施例中第二卷积神经网络模型的结构示意图；
图7是根据本申请实施例的牛养殖场中牛追踪识别的应用示例图；
图8是根据本申请一实施例的动物身份识别装置的结构示意图；
图9是根据本申请另一实施例的动物身份识别装置的部分结构示意图；
图10是根据本申请又一实施例的动物身份识别装置的部分结构示意图；
图11是根据本申请一实施例的动物身份识别系统的结构示意图。
具体实施方式
下面通过实施例，并结合附图，对本申请的技术方案进行清楚、完整地说明，但是本申请不限于以下所描述的实施例。基于以下实施例，本领域普通技术人员在没有创造性劳动的前提下所获得的所有其它实施例，都属于本申请保护的范围。为了清楚起见，在附图中省略了与描述示例性实施方式无关的部分。
应理解，本申请中诸如“包括”或“具有”等的术语旨在指示本说明书中所公开的特征、数字、步骤、行为、部件或其组合的存在，并不排除一个或多个其它特征、数字、步骤、行为、部件或其组合存在或被添加的可能性。
如前所述，现有技术中通过对动物个体设置存储有标识ID的物理设备来对动物个体进行身份识别，这种方法存在成本高、使用位置受限、读取精度易受环境干扰等诸多问题。为了克服现有技术的问题，本申请提出一种基于多目标追踪的视觉识别技术获取动物身份ID的方法和系统，利用分布式部署的图像获取装置，如监控摄像头或相机，基于多目标追踪技术(MOT)，可以获得在动物任意活动位置识别动物身份的能力。本申请中，动物身份(ID)是指分配给每只动物个体的，用于标识动物个体唯一性的一串字符或者数字。
以下实施例中，为了便于清楚地理解本申请的技术方案，特以牛养殖场为应用场景对本申请的实施例进行描述。
图1是本申请实施例中监控摄像头的部署示意图。以牛养殖场中监控摄像头的部署为例，本申请实施例可以在牛舍中牛的活动范围内分布式部署监控摄像头，部署的密度和角度需满足在牛的活动范围内，无视觉死角，同时尽量避免牛在视觉上的彼此遮挡。如图1的示例中，可以在牛舍中轴线上部署一种可以同时监看4个方向的监控摄像头，该监控摄像头可以实现360度覆盖。监控摄像头在中轴线上的间距可以为6-8米左右，采食区和牛舍外侧的距离在12-14米之间，可以实现地面到2米高度内空间无视觉死角。本申请实施例可以采集多颗监控摄像头的视频画面，通过多目标追踪技术，在摄像头覆盖的任意区域内可以实现对任意一头牛的实时追踪。本申请实施例中，被追踪的牛或其它动物个体也称为被追踪动物对象。
图2是根据本申请一实施例的动物身份识别方法的流程示意图。如图2所示，本申请实施例的动物身份识别方法，包括以下步骤：
步骤S110，在一个追踪会话中，持续获取被追踪动物对象的图像；
步骤S120，基于所述图像，计算所述被追踪动物对象的临时特征值集合；
步骤S130，在所述临时特征值集合满足第一条件时，将所述临时特征值集合转变为正式特征值集合，为所述正式特征值集合分配唯一标识，确定所述唯一标识为所述被追踪动物对象的身份标识。
本申请实施例中，在基于监控摄像头实施动物的多目标追踪时，由于动物之间彼此遮挡或者被环境遮挡等原因，通常会破坏动物追踪的连续性，技术上存在丢失被追踪动物对象的情形。因而，对于每个被追踪动物对象，从一个追踪对象的产生到其丢失，构成了一个追踪会话。
本申请实施例在一个追踪会话中，能够持续地获取被追踪动物对象的图像，并根据获取的图像计算被追踪动物对象的临时特征值集合，该临时特征值集合是对同一被追踪动物对象计算的特征值的集合，特征值(RID)可以是以被追踪动物对象的图像为输入而计算得到的向量，用于表征被追踪动物对象的外部特征。在一实施方式中，被追踪动物对象的图像包括动物身体表面上的皮毛花纹的图像。动物身体表面的皮毛花纹的图像具有显著的个体差异，通过采集不同光照、视角、远近下的动物个体的皮毛花纹的图像而计算得到的特征值(RID)具有以下特点：相同个体在不同条件下计算得到的特征值相似度高，不同个体计算得到的特征值相似度低。例如，对于牛个体来说，如奶牛花片等牛体花片所形成的图像特征值就可以用来区分各只牛个体之间的差异。当被追踪动物对象的临时特征值集合符合预定条件，其具有足以区别其他动物对象的能力时，将该临时特征值集合转化为正式特征值集合，并为其分配一唯一标识，就可以用来确定该被追踪动物对象的身份。该方法可以在动物活动的任意位置使用，也无需在动物身体上安装识别设备，不受环境电磁干扰，且成本低廉。
在一实施方式中，所述临时特征值集合满足第一条件可以包括临时特征值集合中的特征值的数量大于一预定阈值，也就是说，临时特征值集合中包含了足够可以表征该动物对象的外部特征的特征值，满足了转变为该动物对象的正式特征值集合的条件。
在一实施方式中，如图3所示，本申请实施例在上述步骤120之后还可以进一步包括以下步骤：
步骤S140，在所述被追踪动物对象的身份标识未确定时，计算所述临时特征值集合与所有的正式特征值集合之间的相似度，以及所有的正式特征值集合中至少一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识的概率；
步骤S150，当所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件时，确定所述一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识。
本实施例在已采集了动物对象的正式特征值集合的基础上，在一个追踪会话中，通过临时特征值集合与所有的正式特征值集合之间的相似度，获得某个被追踪动物对象属于某个身份标识的概率排名，当相似度满足一定条件，即可认为该临时特征值集合与某个正式特征值集合等价，从而可以确定被追踪动物对象的身份标识。该实施例进一步可以提高动物身份识别的实时性，并且无需事先对动物对象进行大量的数据采样。
在一实施方式中，所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件可以包括相似度大于一预定阈值。
在一实施方式中，临时特征值集合与正式特征值集合之间的相似度的计算可以采用以下方法：
假设临时特征值集合的元素个数为m，正式特征值集合的元素个数为n，两个特征值集合之间的距离Dx可以计算为：
Figure BDA0002257680890000071
其中，TRIDi表示临时特征值集合中的某个特征值，i＝1～m；FRIDp表示一个正式特征值集合中的每一个特征值，p＝1～n。运算符min的含义是计算临时特征值集合中一个临时特征值TRIDi与某个正式特征值集合中的所有特征值的差平方的最小值。此处，m在理论上小于n。FRIDj是上述等式右侧的第一个部分求min运算后，该正式特征值集合中剩余的每一个特征值，j＝1～n-m。
在计算得到临时特征值集合与正式特征值集合之间的距离之后，就可以求得相似度，临时特征值集合与正式特征值集合之间的相似度Sx定义为：
Figure BDA0002257680890000081
其中，如果Dx＝0，则相似度为1，即100％相似度。
在一实施方式中，所有的正式特征值集合中某个正式特征值集合的唯一标识为被追踪动物对象的身份标识的概率可以采用如下方法计算，具体为：
Figure BDA0002257680890000082
其中，N为正式特征值集合的个数；Si表示N个正式特征值集合中某个正式特征值集合和临时特征值集合之间的相似度，相似度越大，表示该某个正式特征值集合的唯一标识为被追踪动物对象的身份标识的概率越大。
在一实施方式中，如果一个追踪会话结束，则可以销毁被追踪动物对象的临时特征值集合，并使得所述一个追踪会话中确定的被追踪动物对象的身份标识失效。该身份标识也包括为被追踪动物对象计算得到的概率性的身份标识。下一次追踪会话中，再重新进行追踪。
在一实施方式中，如图4所示，上述步骤110中，所述在一个追踪会话中，持续获取被追踪动物对象的图像可以包括：
步骤S210，采用多目标追踪模型从采集的连续帧图像中识别所述被追踪动物对象的位置；
步骤S220，基于所述位置获取连续帧图像中被追踪动物对象的追踪框；
步骤S230，从所述追踪框提取所述被追踪动物对象的多个图像。
其中，在一实施方式中，所述多目标追踪模型可以包括第一卷积神经网络模型。第一卷积神经网络模型可以是通用的卷积神经网络(CNN)模型。本实施例首先取得被追踪动物对象的第一帧图像，采用基于CNN的检测技术获取画面中每个被追踪动物对象的初始位置；在后继帧图像中，则可以采用卡尔曼(Kalman)滤波器计算被追踪动物对象在下一帧图像中的位置；并且在后继帧图像中，还可以基于CNN的特征提取，增强对被追踪动物对象的位置的预测。进一步地，通过CNN获取每帧图像中包裹被追踪动物对象的追踪框，例如包裹被追踪动物对象的尽可能小的矩形框，该矩形框不包括不包含被追踪动物对象的其它图像，例如背景等。随后，基于识别到的追踪框，可以提取被追踪动物对象的图像。这种方法可以提升目标短暂丢失后重新找回的能力，能够减少由于动物之间遮挡造成的追踪丢失。
在一些实施方式中，如图5所示，上述步骤120中，所述基于所述图像，计算所述被追踪动物对象的临时特征值集合可以包括：
步骤S310，在所述追踪会话中，为所述被追踪动物对象建立初始临时特征值集合；
步骤S320，从所述被追踪动物对象的多个图像持续计算所述被追踪动物对象的当前特征值；
步骤S330，如果所述当前特征值满足第三条件，则将所述当前特征值加入所述初始临时特征值集合。
其中，对每一个追踪会话，会建立被追踪动物对象的初始临时特征值集合，随着对目标的追踪不断获取被追踪动物对象的图像，本实施例持续计算图像的当前特征值(RID)，如果当前特征值与临时特征值集合中的所有特征值的距离满足一定条件，即该当前特征值与临时特征值集合中的已有特征值之间具有一定差异度，则将当前特征值加入初始临时特征值集合，否则放弃当前特征值，从而计算得到被追踪动物对象的临时特征值集合。在一实施方式中，如果当前特征值与临时特征值集合中的所有特征值的距离的最小值大于预定阈值时，则可以将当前特征值加入初始临时特征值集合。
在一实施方式中，当前特征值与临时特征值集合中的所有特征值的距离可以采用特征值之间的余弦距离或欧式距离或两者的结合来计算。以余弦距离的计算为例，就是计算特征值向量之间夹角的余弦值来衡量特征值之间的距离差异，具体计算公式如下：
Figure BDA0002257680890000091
其中，x,y分别表示两个特征值向量，xi为特征值向量x中的元素，yi为特征值向量y中的元素。
T(x,y)的取值范围为[-1,1]，值越大，说明夹角越大，特征值之间相距就越远，相似度就越小。
在一实施方式中，本实施例可以采用专门训练的第二卷积神经网络模型来计算被追踪动物对象的特征值RID。第二卷积神经网络模型不能用于图像的检测或分类，专用于计算图像的RID，其在使用上，无需对动物对象进行事先的预先训练。
图6示例性地示出了第二卷积神经网络模型的结构示意图。如图6所示，第二卷积神经网络模型计算特征值RID的过程主要分为三个步骤：输入原图、CNN卷积、输出RID。第二卷积神经网络模型结构与标准CNN模型的主要结构类似，任何可以做目标检测(Detection)的CNN模型(包括但不限于SSD、YOLO模型)均可以适用本申请实施例。相对于标准CNN模型，第二卷积神经网络主要的变化是去掉了标准CNN模型的最后一层，即全连接层(FullyConnected Layer，FC)，全连接层是CNN神经网络的分类层。该第二卷积神经网络的输出RID即为原FC层的输入，它是一个一维矢量，矢量长度可以任意。
图7是根据本申请实施例的牛养殖场中牛追踪识别的应用示例图。如图7所示，牛在摄像头覆盖的任意区域内，均可以被追踪。在一个追踪会话期内，每个被追踪对象，被周期性采集图像，采集的图像为包含被追踪对象的、一个尽可能小的矩形框内的部分截图，不包含被追踪对象的其它图像，如背景图像等。被采集的牛的局部图像(如图中C1,C2,C3)被输入上述第二卷积神经网络模型，用于计算其对应的特征值RID(如图中RID1,RID2,RID3)，当所计算的RID符合预定条件时，其被存储在该被追踪对象对应的一个临时RID集合中，直到该临时RID集合确认匹配一个正式RID集合，或者该临时RID集合符合转变为正式RID集合的条件，被转变为一个正式RID，且被分配一个正式的牛ID。如果丢失了对当前被追踪对象的追踪，则该临时RID集合被销毁。
图8是本申请实施例的动物身份识别装置的结构示意图。如图8所示，本申请实施例的动物身份识别装置，包括以下组件：
追踪模块410，被配置为在一个追踪会话中，持续获取被追踪动物对象的图像；
特征计算模块420，被配置为基于所述图像，计算所述被追踪动物对象的临时特征值集合；
第一识别模块430，被配置为在所述临时特征值集合满足第一条件时，将所述临时特征值集合转变为正式特征值集合，为所述正式特征值集合分配唯一标识，确定所述唯一标识为所述被追踪动物对象的身份标识。
在一实施方式中，所述临时特征值集合满足第一条件可以包括临时特征值集合中的特征值的数量大于一预定阈值。
在一实施方式中，如图8所示，本申请实施例还可以进一步包括以下组件：
匹配模块440，被配置为在所述被追踪动物对象的身份标识未确定时，计算所述临时特征值集合与所有的正式特征值集合之间的相似度，以及所有的正式特征值集合中至少一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识的概率；
第二识别模块450，被配置为当所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件时，确定所述一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识。
在一实施方式中，所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件可以包括相似度大于一预定阈值。
在一实施方式中，临时特征值集合与正式特征值集合之间的相似度的计算可以采用前述实施例中描述的方法计算，在此不再赘述。
在一实施方式中，所有的正式特征值集合中某个正式特征值集合的唯一标识为被追踪动物对象的身份标识的概率可以采用前述实施例中描述的方法计算，在此不再赘述。
在一实施方式中，本申请实施例还可以进一步包括以下组件(图中未示出)：清除模块，被配置为在一个追踪会话结束时，销毁被追踪动物对象的临时特征值集合，并使得所述一个追踪会话中确定的被追踪动物对象的身份标识失效。该身份标识也包括为被追踪动物对象计算得到的概率性的身份标识。
在一实施方式中，如图9所示，追踪模块410可以包括：
第一追踪子模块510，被配置为采用多目标追踪模型从采集的连续帧图像中识别所述被追踪动物对象的位置；
第二追踪子模块520，被配置为基于所述位置获取连续帧图像中被追踪动物对象的追踪框；
图像提取子模块530，被配置为从所述追踪框提取所述被追踪动物对象的多个图像。
其中，在一实施方式中，所述多目标追踪模型可以包括第一卷积神经网络模型。第一卷积神经网络模型可以是通用的卷积神经网络(CNN)模型。本实施例首先取得被追踪动物对象的第一帧图像，采用基于CNN的检测技术获取画面中每个被追踪动物对象的初始位置；在后继帧图像中，则可以采用卡尔曼(Kalman)滤波器计算被追踪动物对象在下一帧图像中的位置；并且在后继帧图像中，还可以基于CNN的特征提取，增强对被追踪动物对象的位置的预测。进一步地，通过CNN获取每帧图像中包裹被追踪动物对象的追踪框，例如包裹被追踪动物对象的尽可能小的矩形框，该矩形框不包括不包含被追踪动物对象的其它图像，例如背景等。随后，基于识别到的追踪框，可以提取被追踪动物对象的图像。这种方法可以提升目标短暂丢失后重新找回的能力，能够减少由于动物之间遮挡造成的追踪丢失。
在一些实施方式中，如图10所示，特征计算模块420可以包括：
第一计算子模块610，被配置为在所述追踪会话中，为所述被追踪动物对象建立初始临时特征值集合；
第二计算子模块620，被配置为从所述被追踪动物对象的多个图像持续计算所述被追踪动物对象的当前特征值；
第三计算子模块630，被配置为如果所述当前特征值满足第三条件，则将所述当前特征值加入所述初始临时特征值集合。
其中，对每一个追踪会话，会建立被追踪动物对象的初始临时特征值集合，随着对目标的追踪不断获取被追踪动物对象的图像，本实施例持续计算图像的当前特征值(RID)，如果当前特征值与临时特征值集合中的所有特征值的距离满足一定条件，即该当前特征值与临时特征值集合中的已有特征值之间具有一定差异度，则将当前特征值加入初始临时特征值集合，否则放弃当前特征值，从而计算得到被追踪动物对象的临时特征值集合。在一实施方式中，如果当前特征值与临时特征值集合中的所有特征值的距离的最小值大于预定阈值时，则可以将当前特征值加入初始临时特征值集合。
在一实施方式中，当前特征值与临时特征值集合中的所有特征值的距离可以采用特征值之间的余弦距离或欧式距离或两者的结合来计算。以余弦距离的计算为例，就是计算特征值向量之间夹角的余弦值来衡量特征值之间的距离差异，具体计算公式如前所述，在此不再赘述。
在一实施方式中，本实施例可以采用专门训练的第二卷积神经网络模型来计算被追踪动物对象的特征值RID。第二卷积神经网络模型不能用于图像的检测或分类，专用于计算图像的RID，其在使用上，无需对动物对象进行事先的预先训练。
图11是本申请实施例的动物身份识别系统的结构示意图。如图11所示，本申请实施例的动物身份识别系统，可以包括以下单元：
包括至少一个图像采集设备的图像采集单元710；
处理单元720，通过网络连接至所述图像采集单元710，其被配置为：在一个追踪会话中，持续获取被追踪动物对象的图像；基于所述图像，计算所述被追踪动物对象的临时特征值集合；在所述临时特征值集合满足第一条件时，将所述临时特征值集合转变为正式特征值集合，为所述正式特征值集合分配唯一标识，确定所述唯一标识为所述被追踪动物对象的身份标识。
其中，图像采集设备可以包括摄像头或相机，分布式部署在动物活动场所的空间范围内。处理单元720可以是通过网络连接至图像采集设备的服务器或其它计算处理设备。
在一实施方式中，所述临时特征值集合满足第一条件可以包括临时特征值集合中的特征值的数量大于一预定阈值。
在一实施方式中，处理单元720还被配置为：
在所述被追踪动物对象的身份标识未确定时，计算所述临时特征值集合与所有的正式特征值集合之间的相似度，以及所有的正式特征值集合中至少一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识的概率；
当所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件时，确定所述一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识。
在一实施方式中，所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件可以包括相似度大于一预定阈值。
在一实施方式中，临时特征值集合与正式特征值集合之间的相似度的计算可以采用前述实施例中描述的方法计算，在此不再赘述。
在一实施方式中，所有的正式特征值集合中某个正式特征值集合的唯一标识为被追踪动物对象的身份标识的概率可以采用前述实施例中描述的方法计算，在此不再赘述。
在一实施方式中，处理单元720还被配置为：在一个追踪会话结束时，销毁被追踪动物对象的临时特征值集合，并使得所述一个追踪会话中确定的被追踪动物对象的身份标识失效。该身份标识也包括为被追踪动物对象计算得到的概率性的身份标识。
在一实施方式中，处理单元720还被配置为：采用多目标追踪模型从采集的连续帧图像中识别所述被追踪动物对象的位置；基于所述位置获取连续帧图像中被追踪动物对象的追踪框；从所述追踪框提取所述被追踪动物对象的多个图像。
在一实施方式中，所述多目标追踪模型可以包括第一卷积神经网络模型。第一卷积神经网络模型可以是通用的卷积神经网络(CNN)模型。
在一些实施方式中，处理单元720还被配置为：在所述追踪会话中，为所述被追踪动物对象建立初始临时特征值集合；从所述被追踪动物对象的多个图像持续计算所述被追踪动物对象的当前特征值；如果所述当前特征值满足第三条件，则将所述当前特征值加入所述初始临时特征值集合。
在一实施方式中，所述当前特征值满足第三条件包括当前特征值与临时特征值集合中的所有特征值的距离的最小值大于预定阈值。
在一实施方式中，当前特征值与临时特征值集合中的所有特征值的距离可以采用特征值之间的余弦距离或欧式距离或两者的结合来计算。以余弦距离的计算为例，具体计算公式如前所述，在此不再赘述。
在一实施方式中，本实施例可以采用专门训练的第二卷积神经网络模型来计算被追踪动物对象的特征值RID。第二卷积神经网络模型不能用于图像的检测或分类，专用于计算图像的RID，其在使用上，无需对动物对象进行事先的预先训练。
本申请实施例中所涉及到的步骤、单元或模块可以通过软件、硬件或其结合的方式实现。所描述的步骤、单元或模块也可以设置在计算设备的处理器中，其中单元或模块的名称并不构成对该单元或模块本身的限定。
本申请实施例描述的方法可以被实现为计算机软件程序。例如，本申请实施例可以包括一种计算机程序产品，其包括存储有一个或一个以上计算机程序的可读存储介质，所述计算机程序包含用于执行本申请所述描述的方法的程序代码。另一方面，本申请实施例也可以包括一种计算机可读存储介质，该计算机可读存储介质存储有一个或一个以上的程序，所述一个或一个以上的程序被一个或一个以上的处理器执行时，可以实现本申请所描述的方法。
本申请所描述的方法、装置可以借助个人电脑、服务器等计算设备实现，该计算设备通常包括执行各种程序的处理器，以及用于存储程序的存储器，其中所述程序加载到处理器中运行时可以实现本申请所描述的方法。
本申请的实施方式并不限于上述实施例所述，在不偏离本申请的精神和范围的情况下，本领域普通技术人员可以在形式和细节上对本申请做出各种改变和改进，这些均被认为落入了本申请的保护范围。

Claims (25)

1.一种动物身份识别方法，其特征在于，包括以下步骤：
在一个追踪会话中，持续获取被追踪动物对象的图像；
基于所述图像，计算所述被追踪动物对象的临时特征值集合；
在所述临时特征值集合满足第一条件时，将所述临时特征值集合转变为正式特征值集合，为所述正式特征值集合分配唯一标识，确定所述唯一标识为所述被追踪动物对象的身份标识。
2.根据权利要求1所述的动物身份识别方法，其特征在于，还包括：
在所述被追踪动物对象的身份标识未确定时，计算所述临时特征值集合与所有的正式特征值集合之间的相似度，以及所有的正式特征值集合中至少一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识的概率；
当所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件时，确定所述一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识。
3.根据权利要求1所述的动物身份识别方法，其特征在于，所述在一个追踪会话中，持续获取被追踪动物对象的图像包括：
采用多目标追踪模型从采集的连续帧图像中识别所述被追踪动物对象的位置；
基于所述位置获取连续帧图像中被追踪动物对象的追踪框；
从所述追踪框提取所述被追踪动物对象的多个图像。
4.根据权利要求3所述的动物身份识别方法，其特征在于，所述基于所述图像，计算所述被追踪动物对象的临时特征值集合包括：
在所述追踪会话中，为所述被追踪动物对象建立初始临时特征值集合；
从所述被追踪动物对象的多个图像持续计算所述被追踪动物对象的当前特征值；
如果所述当前特征值满足第三条件，则将所述当前特征值加入所述初始临时特征值集合。
5.根据权利要求1所述的动物身份识别方法，其特征在于，所述临时特征值集合满足第一条件包括：所述临时特征值集合中的特征值的数量大于第一阈值。
6.根据权利要求2所述的动物身份识别方法，其特征在于，所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件包括：所述相似度大于第二阈值。
7.根据权利要求3所述的动物身份识别方法，其特征在于，所述多目标追踪模型包括第一卷积神经网络模型。
8.根据权利要求4所述的动物身份识别方法，其特征在于，从所述被追踪动物对象的多个图像持续计算所述被追踪动物对象的当前特征值包括：采用第二卷积神经网络模型计算所述被追踪动物对象的当前特征值。
9.根据权利要求4所述的动物身份识别方法，其特征在于，所述当前特征值满足第三条件包括：所述当前特征值与所述初始临时特征值集合中的所有特征值的距离的最小值大于第三阈值；其中，所述距离包括余弦距离。
10.根据权利要求1所述的动物身份识别方法，其特征在于，还包括：在所述一个追踪会话结束时，销毁所述临时特征值集合，且使所述一个追踪会话中确定的被追踪动物对象的身份标识失效。
11.根据权利要求1所述的动物身份识别方法，其特征在于，所述被追踪动物对象的图像包括动物身体表面的皮毛花纹的图像。
12.一种动物身份识别装置，其特征在于，包括：
追踪模块，被配置为在一个追踪会话中，持续获取被追踪动物对象的图像；
特征计算模块，被配置为基于所述图像，计算所述被追踪动物对象的临时特征值集合；
第一识别模块，被配置为在所述临时特征值集合满足第一条件时，将所述临时特征值集合转变为正式特征值集合，为所述正式特征值集合分配唯一标识，确定所述唯一标识为所述被追踪动物对象的身份标识。
13.根据权利要求12所述的动物身份识别装置，其特征在于，还包括：
匹配模块，被配置为在所述被追踪动物对象的身份标识未确定时，计算所述临时特征值集合与所有的正式特征值集合之间的相似度，以及所有的正式特征值集合中至少一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识的概率；
第二识别模块，被配置为当所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件时，确定所述一个正式特征值集合的唯一标识为所述被追踪动物对象的身份标识。
14.根据权利要求12所述的动物身份识别装置，其特征在于，所述追踪模块包括：
第一追踪子模块，被配置为采用多目标追踪模型从采集的连续帧图像中识别所述被追踪动物对象的位置；
第二追踪子模块，被配置为基于所述位置获取连续帧图像中被追踪动物对象的追踪框；
图像提取子模块，被配置为从所述追踪框提取所述被追踪动物对象的多个图像。
15.根据权利要求14所述的动物身份识别装置，其特征在于，所述特征计算模块包括：
第一计算子模块，被配置为在所述追踪会话中，为所述被追踪动物对象建立初始临时特征值集合；
第二计算子模块，被配置为从所述被追踪动物对象的多个图像持续计算所述被追踪动物对象的当前特征值；
第三计算子模块，被配置为如果所述当前特征值满足第三条件，则将所述当前特征值加入所述初始临时特征值集合。
16.根据权利要求12所述的动物身份识别装置，其特征在于，所述临时特征值集合满足第一条件包括：所述临时特征值集合中的特征值的数量大于第一阈值。
17.根据权利要求13所述的动物身份识别装置，其特征在于，所述临时特征值集合与所有的正式特征值集合中的一个正式特征值集合之间的相似度满足第二条件包括：所述相似度大于第二阈值。
18.根据权利要求14所述的动物身份识别装置，其特征在于，所述多目标追踪模型包括第一卷积神经网络模型。
19.根据权利要求15所述的动物身份识别装置，其特征在于，所述第二计算子模块被配置为采用第二卷积神经网络模型计算所述被追踪动物对象的当前特征值。
20.根据权利要求15所述的动物身份识别装置，其特征在于，所述当前特征值满足第三条件包括：所述当前特征值与所述初始临时特征值集合中的所有特征值的距离的最小值大于第三阈值；其中，所述距离包括余弦距离。
21.根据权利要求12所述的动物身份识别装置，其特征在于，还包括：清除模块，被配置为在所述一个追踪会话结束时，销毁所述临时特征值集合，且使所述一个追踪会话中确定的被追踪动物对象的身份标识失效。
22.根据权利要求12所述的动物身份识别装置，其特征在于，所述被追踪动物对象的图像包括动物身体表面的皮毛花纹的图像。
23.一种动物身份识别系统，其特征在于，包括：
包括至少一个图像采集设备的图像采集单元；
处理单元，通过网络连接至所述图像采集单元，其被配置为：
在一个追踪会话中，持续获取被追踪动物对象的图像；
基于所述图像，计算所述被追踪动物对象的临时特征值集合；
在所述临时特征值集合满足第一条件时，将所述临时特征值集合转变为正式特征值集合，为所述正式特征值集合分配唯一标识，确定所述唯一标识为所述被追踪动物对象的身份标识。
24.一种计算设备，其特征在于，包括存储器和处理器；其中，
所述存储器用于存储至少一个计算机程序，其中，所述计算机程序被所述处理器执行以实现权利要求1-11任一项所述方法的步骤。
25.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，该计算机程序被处理器执行以实现权利要求1-11任一项所述方法的步骤。
CN201911060046.1A 2019-11-01 2019-11-01 动物身份识别方法、装置和系统 Pending CN112785620A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201911060046.1A CN112785620A (zh) 2019-11-01 2019-11-01 动物身份识别方法、装置和系统
PCT/CN2020/125884 WO2021083381A1 (zh) 2019-11-01 2020-11-02 动物身份识别方法、装置和系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911060046.1A CN112785620A (zh) 2019-11-01 2019-11-01 动物身份识别方法、装置和系统

Publications (1)

Publication Number Publication Date
CN112785620A true CN112785620A (zh) 2021-05-11

Family

ID=75715892

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911060046.1A Pending CN112785620A (zh) 2019-11-01 2019-11-01 动物身份识别方法、装置和系统

Country Status (2)

Country Link
CN (1) CN112785620A (zh)
WO (1) WO2021083381A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL2031623B1 (en) 2022-04-19 2023-11-06 Lely Patent Nv Animal husbandry system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489199A (zh) * 2012-06-13 2014-01-01 通号通信信息集团有限公司 视频图像目标跟踪处理方法和系统
CN105809711A (zh) * 2016-03-02 2016-07-27 华南农业大学 一种基于视频追踪的猪只运动大数据提取方法及其系统
CN106713862A (zh) * 2016-12-23 2017-05-24 浙江宇视科技有限公司 跟踪监控方法及装置
CN108363990A (zh) * 2018-03-14 2018-08-03 广州影子控股股份有限公司 一种猪脸识别系统及方法
WO2018174812A1 (en) * 2017-03-24 2018-09-27 Bmp Innovation Ab Systems and methods for identifying individual animals in a group of animals
US20190138801A1 (en) * 2017-08-28 2019-05-09 Nutech Ventures Systems for tracking individual animals in a group-housed environment
CN110298239A (zh) * 2019-05-21 2019-10-01 平安科技（深圳）有限公司 目标监控方法、装置、计算机设备及存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103489199A (zh) * 2012-06-13 2014-01-01 通号通信信息集团有限公司 视频图像目标跟踪处理方法和系统
CN105809711A (zh) * 2016-03-02 2016-07-27 华南农业大学 一种基于视频追踪的猪只运动大数据提取方法及其系统
CN106713862A (zh) * 2016-12-23 2017-05-24 浙江宇视科技有限公司 跟踪监控方法及装置
WO2018174812A1 (en) * 2017-03-24 2018-09-27 Bmp Innovation Ab Systems and methods for identifying individual animals in a group of animals
US20190138801A1 (en) * 2017-08-28 2019-05-09 Nutech Ventures Systems for tracking individual animals in a group-housed environment
CN108363990A (zh) * 2018-03-14 2018-08-03 广州影子控股股份有限公司 一种猪脸识别系统及方法
CN110298239A (zh) * 2019-05-21 2019-10-01 平安科技（深圳）有限公司 目标监控方法、装置、计算机设备及存储介质

Also Published As

Publication number Publication date
WO2021083381A1 (zh) 2021-05-06

Similar Documents

Publication Publication Date Title
Qiao et al. Individual cattle identification using a deep learning based framework
Achour et al. Image analysis for individual identification and feeding behaviour monitoring of dairy cows based on Convolutional Neural Networks (CNN)
Zin et al. Image technology based cow identification system using deep learning
US10058076B2 (en) Method of monitoring infectious disease, system using the same, and recording medium for performing the same
Xiao et al. Cow identification in free-stall barns based on an improved Mask R-CNN and an SVM
Kaixuan et al. Recognition of individual dairy cattle based on convolutional neural networks.
EP3146474B1 (en) Non-invasive multimodal biometrical identification method of animals
Nakarmi et al. Automated tracking and behavior quantification of laying hens using 3D computer vision and radio frequency identification technologies
CN111161090B (zh) 圈养栏信息的确定方法、装置及系统、存储介质
Yujuan et al. Intelligent monitoring method of cow ruminant behavior based on video analysis technology
US20230260327A1 (en) Autonomous livestock monitoring
EP3864570A1 (en) Animal identification using vision techniques
Heo et al. Real-time cattle action recognition for estrus detection
CN111814698A (zh) 基于人工智能及航拍图像的牧区母牛护犊行为检测方法
Bello et al. Mask YOLOv7-based drone vision system for automated cattle detection and counting
Dao et al. Automatic cattle location tracking using image processing
WO2021083381A1 (zh) 动物身份识别方法、装置和系统
Xu et al. Few-shot cow identification via meta-learning
Wang et al. GANPose: Pose estimation of grouped pigs using a generative adversarial network
CN112528772A (zh) 基于热红外的奶牛跛行运动特征检测方法及装置
CN111079617A (zh) 家禽识别方法、装置、可读存储介质及电子设备
CN115661717A (zh) 牲畜爬跨行为标注方法、装置、电子设备及存储介质
US20240104952A1 (en) Systems and methods for nose-based pet identification
Sarwar et al. Survey of livestock counting and tracking methods
CN113780052A (zh) 哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination