CN116703969A - 一种基于机器视觉的生猪身份标识跟踪方法 - Google Patents

一种基于机器视觉的生猪身份标识跟踪方法 Download PDF

Info

Publication number
CN116703969A
CN116703969A CN202310567796.8A CN202310567796A CN116703969A CN 116703969 A CN116703969 A CN 116703969A CN 202310567796 A CN202310567796 A CN 202310567796A CN 116703969 A CN116703969 A CN 116703969A
Authority
CN
China
Prior art keywords
identity
pig
target detection
image
live
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310567796.8A
Other languages
English (en)
Inventor
黄波
李家洲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Youjian Nanjing Information Technology Co ltd
Original Assignee
Youjian Nanjing Information Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Youjian Nanjing Information Technology Co ltd filed Critical Youjian Nanjing Information Technology Co ltd
Priority to CN202310567796.8A priority Critical patent/CN116703969A/zh
Publication of CN116703969A publication Critical patent/CN116703969A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/09—Recognition of logos
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器视觉的生猪身份标识跟踪方法，步骤包括：对生猪的身份ID进行初始化，使得猪舍中每只生猪均配置一个身份ID；按照预设的帧率从猪舍监控视频流中选取出各个视频帧图像；对预处理图像中的各个生猪进行目标检测，再通过对目标检测框的跟踪获得生猪的移动轨迹；对耳标识别区域中的各个目标检测框内的图像进行猪耳标识别；对各个生猪的移动轨迹进行校准。该生猪身份标识跟踪方法利用猪耳标的颜色进行身份ID校准，通过对每只生猪采用不同颜色的猪耳标来区分不同生猪，并将猪舍内生猪的身份ID与猪耳标进行匹配，从而能够通过猪耳标的识别对指定区域内的生猪进行校准。

Description

一种基于机器视觉的生猪身份标识跟踪方法
技术领域
本发明涉及一种基于机器视觉的生物跟踪方法，尤其是一种基于机器视觉的生猪身份标识跟踪方法。
背景技术
当前生猪养殖行业呈现出规模化和高速发展趋势，生猪养殖过程的信息化、自动化和智能化管理成为企业共性需求。对生猪生长过程中的运动量、活跃度、进食行为等进行长期跟踪，有利于建立个性化的生猪养殖体系，并对生猪生长健康进行数字化监测和预警。人工智能技术的快速发展，以及图像采集和数据处理等硬件成本的持续下降，使得机器视觉技术代替人工巡检及识别生猪行为成为可能。对生猪生长过程长期跟踪，要解决的一个重要技术问题是生猪身份ID码，只有实现了身份ID码的准确检测，才能将相关的生长和行为数据与其匹配，建立生猪个体生长行为基础元数据。
传统的生猪身份识别主要采用猪耳标，在生猪养殖行业规范中，幼猪从种猪场出生后，即要在猪的耳朵上挂带物理耳标，并在猪的整个生长过程及产业链溯源中作为唯一身份ID码。猪耳标包括简单的数字编码或二维码耳标，以及内置射频识别(RFID)标签的电子耳标等类型。简单耳标成本较低，但只能通过人工识别采集，电子耳标成本略高，在猪场内以及流通环节设置RFID读写器，可以实现电子耳标的自动采集，其不足之处是只能实现区域内生猪身份跟踪，如果要实现个体猪只身份的识别和采集，需要近距单只猪进行识别。
发明内容
发明目的：提供一种基于机器视觉的生猪身份标识跟踪方法，能够同时实现猪只连续跟踪和身份识别，且具有较高的跟踪和识别准确性。
技术方案：本发明所述的一种基于机器视觉的生猪身份标识跟踪方法，包括如下步骤：
步骤1，对生猪的身份ID进行初始化，使得猪舍中每只生猪均配置一个身份ID，每个猪舍的所有身份ID共同构成一个ID池，且生猪的身份ID与猪耳标相对应；
步骤2，按照预设的帧率从猪舍监控视频流中选取出各个视频帧图像，并对各个视频帧图像进行缩放预处理获得预处理图像；
步骤3，对预处理图像中的各个生猪进行目标检测，使得预处理图像中检测到的每只生猪均获得一个目标检测框，再通过对目标检测框的跟踪获得生猪的移动轨迹，且每个生猪的移动轨迹均对应关联一个身份ID；
步骤4，在预处理图像中划定耳标识别区域，对耳标识别区域中的各个目标检测框内的图像进行猪耳标识别，从而根据猪耳标与身份ID的对应关系匹配出各个目标检测框中的生猪的身份ID；
步骤5，利用步骤4中获取的各个身份ID分别对步骤3中获得的各个生猪的移动轨迹进行校准，再回到步骤2。
进一步的，步骤1中，对生猪的身份ID进行初始化的具体步骤为：
步骤1.1，获取猪舍中生猪的数量，再根据生猪的数量设定对应数量的身份ID，且每个身份ID各不相同；
步骤1.2，将各个身份ID分别与各个生猪的猪耳标序列码相对应，且猪舍中每只生猪的猪耳标的颜色各不相同。
进一步的，步骤2中，获得预处理图像的具体步骤为：
步骤2.1，检测猪舍监控视频流是否完全覆盖猪舍内生猪活动区域，若猪舍内的所有生猪始终都保持在猪舍监控视频流中，则判定为完全覆盖，再进入步骤2.3，否则判定为不完全覆盖，再进入步骤2.2；
步骤2.2，利用预设的用户通信方式反馈监控不全面的提示信息，并等待用户的调整确认信息，在获得调整确认信息后再进入步骤2.3；
步骤2.3，获取用户预设的图像采集的帧率，并按照预设的帧率从猪舍监控视频流中选取出各个视频帧图像；
步骤2.4，对各个视频帧图像进行长度和宽度的等比例缩放，获得符合目标检测尺寸要求的预处理图像。
进一步的，步骤3中，对预处理图像中的生猪进行目标检测的具体步骤为：
步骤3.1，按照时间先后顺序从缓存中取出一个预处理图像作为待检测图像；
步骤3.2，利用基于深度学习的目标检测网络对待检测图像中的各个生猪进行目标检测识别，并在识别成功后在待检测图像上加载对应的目标检测框，使得识别后的各个生猪分别位于各个目标检测框内。
进一步的，步骤3中，通过对目标检测框的跟踪获得生猪的移动轨迹的具体步骤为：
步骤3.3，按照时间先后顺序从缓存中取出一个加载有目标检测框的待检测图像，判断待检测图像是否为首个预处理图像，若为首个预处理图像，则直接将ID池中的各个身份ID分别与待检测图像中的各个目标检测框相关联，再进入步骤3.10，若不是首个预处理图像，则进入步骤3.4；
步骤3.4，从待检测图像中选出一个待关联的目标检测框，将待关联的目标检测框与前一个预处理图像中的目标检测框进行数据关联处理，若待关联的目标检测框与前一个预处理图像中的某个目标检测框实现相互关联，则进入步骤3.5，若待关联的目标检测框未与前一个预处理图像中的任一目标检测框实现相互关联，则进入步骤3.7；
步骤3.5，将两个相互关联的目标检测框的中心点相连构成分段轨迹，再将分段轨迹与待关联的目标检测框内生猪的历史移动轨迹相连构成最新的移动轨迹；
步骤3.6，根据生猪的最新的移动轨迹向前溯源获得对应的身份ID，从而将待关联的目标检测框与对应的身份ID相关联，再进入步骤3.8；
步骤3.7，将待检测图像中待关联的目标检测框与ID池中未被关联的身份ID进行关联，再进入步骤3.8；
步骤3.8，判断待检测图像中是否全部的目标检测框均数据关联处理完毕，若均数据关联处理完毕，则进入步骤3.9，若未全部数据关联处理完毕，则返回步骤3.3；
步骤3.9，判断前一个预处理图像中的各个目标检测框是否均实现了相互关联，若全部实现了相互关联，则进入步骤3.10，否则进行关联失败处理后再进入步骤3.10；
步骤3.10，判断缓存中是否还有预处理图像需要进行数据关联，若有，则返回步骤3.1，若没有，则等待缓存中有了预处理图像再返回步骤3.1。
进一步的，步骤3.3中，进行数据关联处理的具体步骤为：
步骤3.3.1，将待检测图像以及前一个预处理图像对齐投影到一个投影平面上，计算出待关联的目标检测框的中心点在投影平面中的坐标位置作为待关联位置；
步骤3.3.2，计算出前一个预处理图像中各个已关联的目标检测框的中心点在投影平面中的坐标位置作为各个已关联位置，再分别计算出待关联位置与各个已关联位置之间的相对距离，并将各个相对距离按照大小进行排序；
步骤3.3.3，根据最小的相对距离进行关联判定，若最小的相对距离小于距离阈值，则判定为相互关联，并将待关联的目标检测框与最小的相对距离对应的目标检测框进行数据关联，否则判定为非相互关联。
进一步的，步骤3.9中进行关联失败处理时：首先获取前一个预处理图像中未实现相互关联的目标检测框的身份ID，再将获取的身份ID归还至ID池。
进一步的，步骤4中，对预处理图像中的各个目标检测框内的图像进行猪耳标颜色识别的具体步骤为：
步骤4.1，采集猪舍中各个生猪的猪耳标的参考图像，再计算各个参考图像颜色的HSV最大阈值以及HSV最小阈值，从而获得各个猪耳标的HSV值比对区间；
步骤4.2，从预处理图像的耳标识别区域中选择一个待识别的目标检测框，再截取目标检测框内的图像作为待识别图像，对待识别图像进行猪耳标识别；
步骤4.3，根据识别出的猪耳标确定出对应的身份ID；
步骤4.4，判断耳标识别区域中的各个目标检测框是否均进行了猪耳标识别，若全部进行了猪耳标识别，则进入步骤5，否则返回步骤4.2。
进一步的，步骤4.2中，对待识别图像进行猪耳标识别的具体步骤为：
步骤4.2.1，将待识别图像从RGB格式转换成HSV格式；
步骤4.2.2，从HSV格式的待识别图像中提取出猪耳标的颜色块轮廓，再判断待识别图像中是否只有一个颜色块轮廓，若只有一个颜色块轮廓，则进入步骤4.2.3，若有多个颜色块轮廓，则返回步骤2；
步骤4.2.3，获取颜色块轮廓的最小面积的外接矩形，计算出外接矩形中心点的HSV值，将中心点的HSV值与各个猪耳标的HSV值比对区间进行匹配，找到中心点的HSV值所对应的HSV值比对区间；
步骤4.2.4，根据找到的HSV值比对区间查询到对应的猪耳标。
进一步的，步骤5中，利用步骤4中获取的各个身份ID分别对步骤3中获取的各个身份ID进行校准的具体步骤为：
步骤5.1，从步骤4获取的各个身份ID中选出一个待校准的身份ID；
步骤5.2，确定出待校准的身份ID所对应的目标检测框，再根据确定出的目标检测框从步骤3获取的各个身份ID中查找出对应的身份ID，若待校准的身份ID与步骤3中查找出的身份ID相同，则无需校准，直接返回步骤2，若待校准的身份ID与步骤3中查找出的身份ID不相同，则进入步骤5.3；
步骤5.3，在步骤3获取的各个身份ID中查找一个与待校准的身份ID相同的身份ID，若未查找到一个相同的身份ID，则将待校准的身份ID赋值给步骤3中对应目标检测框内的生猪，使得待校准的身份ID与对应目标检测框内的生猪的移动轨迹相关联，若查找到一个相同的身份ID，则获取查找到的相同的身份ID所对应的移动轨迹，再获取待校准的身份ID所对应的目标检测框内的生猪的移动轨迹，再将两次获取的移动轨迹互换；
步骤5.4，判断步骤4获取的各个身份ID是否均完成校验，若未全部完成校验，则返回步骤5.1，若全部完成校验，则返回步骤2。
本发明与现有技术相比，其有益效果是：采用目标检测方法对生猪进行目标检测，再对生猪的移动轨迹进行跟踪，保持了身份ID的连续匹配，不需要增加额外的硬件成本；采用本发明的非接触式检测和跟踪方法，对生猪的健康本身不会产生影响；利用猪耳标的颜色进行身份ID校准，通过对每只生猪采用不同颜色的猪耳标来区分不同生猪，并将猪舍内生猪的身份ID与猪耳标进行匹配，从而能够通过猪耳标的识别对指定区域内的生猪进行校准；通过猪耳标来校准视频跟踪过程中可能出现的误匹配，提高了身份ID跟踪的准确性。
附图说明
图1为本发明的跟踪方法流程图；
图2为本发明的基于深度学习的目标检测网络框架图；
图3为本发明的颜色块轮廓图；
图4为本发明的HSV值比对区间确定流程图；
图5为本发明的耳标识别区域示意图；
图6为本发明的猪耳标检测流程图；
图7为本发明的校验流程图。
具体实施方式
下面结合附图对本发明技术方案进行详细说明，但是本发明的保护范围不局限于所述实施例。
智慧养猪借助机器视觉技术代替人工观察，对生猪生长过程中的运动量、活跃度、进食行为等进行长期跟踪，有利于建立个性化的生猪养殖体系。传统的RFID耳标读写器对生猪的监测有距离限制，而视觉多目标跟踪技术在对生猪进行身份跟踪时容易受到猪间相似度大和猪间遮挡影响，在数据关联阶段出错造成猪间ID切换的问题。为了实现生猪长期跟踪的目标，本发明设计了一种在指定区域内基于颜色耳标对跟踪异常的猪只修正身份的方法，即便跟踪过程中出现身份ID丢失，也能够在一定时间内检查并纠正身份ID的误匹配。
实施例1：
如图1所示，本发明公开的基于机器视觉的生猪身份标识跟踪方法包括如下步骤：
步骤1，对生猪的身份ID进行初始化，使得猪舍中每只生猪均配置一个身份ID，每个猪舍的所有身份ID共同构成一个ID池，以一个猪舍中有五头生猪为例，在ID池中设置5五个的身份ID，且生猪的身份ID与猪耳标相对应；
步骤2，按照预设的帧率从猪舍监控视频流中选取出各个视频帧图像，并对各个视频帧图像进行缩放预处理获得预处理图像；
步骤3，对预处理图像中的各个生猪进行目标检测，使得预处理图像中检测到的每只生猪均获得一个目标检测框，再通过对目标检测框的跟踪获得生猪的移动轨迹，且每个生猪的移动轨迹均对应关联一个身份ID；
步骤4，在预处理图像中划定耳标识别区域，对耳标识别区域中的各个目标检测框内的图像进行猪耳标识别，从而根据猪耳标与身份ID的对应关系匹配出各个目标检测框中的生猪的身份ID；
步骤5，利用步骤4中获取的各个身份ID分别对步骤3中获得的各个生猪的移动轨迹进行校准，再回到步骤2。
采用目标检测方法对生猪进行目标检测，再对生猪的移动轨迹进行跟踪，保持了身份ID的连续匹配，不需要增加额外的硬件成本；采用本发明的非接触式检测和跟踪方法，对生猪的健康本身不会产生影响；利用猪耳标的颜色进行身份ID校准，通过对每只生猪采用不同颜色的猪耳标来区分不同生猪，并将猪舍内生猪的身份ID与猪耳标进行匹配，从而能够通过猪耳标的识别对指定区域内的生猪进行校准；通过猪耳标来校准视频跟踪过程中可能出现的误匹配，提高了身份ID跟踪的准确性。
进一步的，步骤1中，对生猪的身份ID进行初始化的具体步骤为：
步骤1.1，获取猪舍中生猪的数量，再根据生猪的数量设定对应数量的身份ID，且每个身份ID各不相同；
步骤1.2，将各个身份ID分别与各个生猪的猪耳标序列码相对应，且猪舍中每只生猪的猪耳标的颜色各不相同，以猪舍中五头猪为例，准备好蓝色、绿色、红色、橙色以及黄色这五种颜色的猪耳标进行佩戴。
利用不同颜色的猪耳标能够在识别时可靠地进行区分，从而快速确定出是哪种颜色的猪耳标，进一步查找到对应的身份ID。
进一步的，步骤2中，获得预处理图像的具体步骤为：
步骤2.1，检测猪舍监控视频流是否完全覆盖猪舍内生猪活动区域，若猪舍内的所有生猪始终都保持在猪舍监控视频流中，则判定为完全覆盖，再进入步骤2.3，否则判定为不完全覆盖，再进入步骤2.2；
步骤2.2，利用预设的用户通信方式反馈监控不全面的提示信息，并等待用户的调整确认信息，在获得调整确认信息后再进入步骤2.3；
步骤2.3，获取用户预设的图像采集的帧率，并按照预设的帧率从猪舍监控视频流中选取出各个视频帧图像；
步骤2.4，对各个视频帧图像进行长度和宽度的等比例缩放，获得符合目标检测尺寸要求的预处理图像。
进一步的，步骤3中，对预处理图像中的生猪进行目标检测的具体步骤为：
步骤3.1，按照时间先后顺序从缓存中取出一个预处理图像作为待检测图像；
步骤3.2，利用基于深度学习的目标检测网络对待检测图像中的各个生猪进行目标检测识别，并在识别成功后在待检测图像上加载对应的目标检测框，使得识别后的各个生猪分别位于各个目标检测框内。
如图2所示，采用的基于深度学习的目标检测网络对待检测图像进行生猪目标检测，输出两个分支：目标检测(Detections)分支和Re-ID Embedding分支。目标检测(Detections)分支输出每个猪的目标检测框；Re-ID Embedding分支输出目标的身份特征嵌入向量。
进一步的，步骤3中，通过对目标检测框的跟踪获得生猪的移动轨迹的具体步骤为：
步骤3.3，按照时间先后顺序从缓存中取出一个加载有目标检测框的待检测图像，判断待检测图像是否为首个预处理图像，若为首个预处理图像，则直接将ID池中的各个身份ID分别与待检测图像中的各个目标检测框相关联，再进入步骤3.10，若不是首个预处理图像，则进入步骤3.4；
步骤3.4，从待检测图像中选出一个待关联的目标检测框，将待关联的目标检测框与前一个预处理图像中的目标检测框进行数据关联处理，若待关联的目标检测框与前一个预处理图像中的某个目标检测框实现相互关联，则进入步骤3.5，若待关联的目标检测框未与前一个预处理图像中的任一目标检测框实现相互关联，则进入步骤3.7；
步骤3.5，将两个相互关联的目标检测框的中心点相连构成分段轨迹，再将分段轨迹与待关联的目标检测框内生猪的历史移动轨迹相连构成最新的移动轨迹；
步骤3.6，根据生猪的最新的移动轨迹向前溯源获得对应的身份ID，从而将待关联的目标检测框与对应的身份ID相关联，再进入步骤3.8；
步骤3.7，将待检测图像中待关联的目标检测框与ID池中未被关联的身份ID进行关联，再进入步骤3.8；
步骤3.8，判断待检测图像中是否全部的目标检测框均数据关联处理完毕，若均数据关联处理完毕，则进入步骤3.9，若未全部数据关联处理完毕，则返回步骤3.3；
步骤3.9，判断前一个预处理图像中的各个目标检测框是否均实现了相互关联，若全部实现了相互关联，则进入步骤3.10，否则进行关联失败处理后再进入步骤3.10；
步骤3.10，判断缓存中是否还有预处理图像需要进行数据关联，若有，则返回步骤3.1，若没有，则等待缓存中有了预处理图像再返回步骤3.1。
进一步的，步骤3.3中，进行数据关联处理的具体步骤为：
步骤3.3.1，将待检测图像以及前一个预处理图像对齐投影到一个投影平面上，计算出待关联的目标检测框的中心点在投影平面中的坐标位置作为待关联位置；
步骤3.3.2，计算出前一个预处理图像中各个已关联的目标检测框的中心点在投影平面中的坐标位置作为各个已关联位置，再分别计算出待关联位置与各个已关联位置之间的相对距离，并将各个相对距离按照大小进行排序；
步骤3.3.3，根据最小的相对距离进行关联判定，若最小的相对距离小于距离阈值，则判定为相互关联，并将待关联的目标检测框与最小的相对距离对应的目标检测框进行数据关联，否则判定为非相互关联。
进一步的，步骤3.9中进行关联失败处理时：首先获取前一个预处理图像中未实现相互关联的目标检测框的身份ID，再将获取的身份ID归还至ID池。通过将未实现关联的身份ID归还至ID池，从而能够在检测到新增的目标时将该身份ID重新启用。
进一步的，步骤4中，对预处理图像中的各个目标检测框内的图像进行猪耳标颜色识别的具体步骤为：
步骤4.1，利用摄像头采集猪舍中各个生猪的猪耳标的参考图像，再计算各个参考图像颜色的HSV最大阈值以及HSV最小阈值，从而获得各个猪耳标的HSV值比对区间为[HSV最小阈值，HSV最大阈值]；
如图3所示，考虑到摄像头画面中佩戴的猪耳标目标较小，为了更精确地标注猪耳标的HSV值比对区间，需要截取出猪耳标，并放大成像素块图像，猪耳标的颜色由较中间的像素色块确定，靠近边缘的像素色块融入了噪声不应被选取，尤其是在猪耳标颜色种类较多时，在做HSV值比对区间标定时划分出明确界限，并通过图像滤波处理算法，区分不同颜色；
如图4所示，以猪舍中五头猪为例，准备好蓝色、绿色、红色、橙色以及黄色五种颜色的猪耳标，预先用摄像头拍摄真实场景下的猪舍，并从拍摄的图像中截取出每个猪耳标图像，将其放大成像素块图像后保存；接着使用opencv工具读取像素块图像，将像素块图像从RGB颜色模型转换成HSV颜色模型；在像素块图像中选择像素色块的坐标位置(x,y)，得到该点的h、s、v值，通过多次选择不同的像素色块得到一组h、s、v值；获取h、s、v值的最大值和最小值分别作为HSV最大阈值以及HSV最小阈值作为阈值区间边界，即确定出HSV值比对区间，从而表征该颜色的猪耳标。如图3所示的像素块图像对应蓝色的猪耳标，表1对应图3中红框像素色块的HSV值，经过再次筛选HSV:[92，100，165]和HSV:[93，85，205]像素色块偏绿色，属于噪声信息，在选择像素块图像的HSV最大阈值以及HSV最小阈值时应去除。最后蓝色猪耳标的HSV最小阈值hsv_min＝(95,108,203)，HSV最大阈值hsv_max＝(98,194,254)。同理可以获取其他颜色猪耳标的像素块图像的HSV值比对区间，表2中记录了猪耳标的像素块阈值以及和猪只ID的对应情况。
表1
h 1 2 3 4
1 [96 110 234] [96 108 233]
2 [96 127 215] [98 152 244] [98 150 242] [96 133 203]
3 [97 151 220] [98 178 245] [98 170 253] [96 140 243]
4 [97 169 223] [98 194 246] [97 187 254] [96 160 249]
5 [97 158 215] [98 179 246] [97 178 249] [96 157 231]
6 [96 125 212] [98 150 238] [97 147 244] [95 118 242]
表2
生猪ID 1 2 3 4 5
猪耳标颜色 蓝 绿 红 橙 黄
hsv_min (95,108,203) (51,101,234) (0,165,130) (15,184,235) (25,77,253)
hsv_max (98,194,254) (65,133,255) (179,234,223) (17,215,255) (30,116,255)
步骤4.2，从预处理图像的耳标识别区域中选择一个待识别的目标检测框，再截取目标检测框内的图像作为待识别图像，对待识别图像进行猪耳标识别；
步骤4.3，根据识别出的猪耳标确定出对应的身份ID；
步骤4.4，判断耳标识别区域中的各个目标检测框是否均进行了猪耳标识别，若全部进行了猪耳标识别，则进入步骤5，否则返回步骤4.2。
如图6所示，进一步的，步骤4.2中，对待识别图像进行猪耳标识别的具体步骤为：
步骤4.2.1，将待识别图像从RGB格式转换成HSV格式；
步骤4.2.2，使用opencv的inRange函数从HSV格式的待识别图像中过滤出在各种猪耳标的HSV值比对区间内的所有像素点得到mask掩膜，设置3×3的kernel卷积核，通过opencv的getStructuringElement图像腐蚀操作从mask掩膜中提取出一系列的颜色块，再过滤掉颜色块轮廓中的噪声，再采用opencv的findContours函数找到颜色块轮廓，再判断待识别图像中是否只有一个颜色块轮廓，若只有一个颜色块轮廓，则进入步骤4.2.3，若有多个颜色块轮廓，则返回步骤2；
步骤4.2.3，获取颜色块轮廓的最小面积的外接矩形，计算出外接矩形中心点的HSV值，将中心点的HSV值与各个猪耳标的HSV值比对区间进行匹配，通过查询表2找到中心点的HSV值所对应的HSV值比对区间，从而进一步确定猪耳标的颜色，得到生猪的身份ID；
步骤4.2.4，根据找到的HSV值比对区间查询到对应的猪耳标。
如图5所示，在确定耳标识别区域时，假设预处理图像的分辨率为H×W，则选取预处理图像的中间区域，即摄像头正下方区域[1/5*H:4/5*H,1/4*W:3/4*W]为耳标识别区域，从而无需对整个预处理图像内的猪耳标进行校准，有效提高移动轨迹的校准效率，节省运算资源。
如图7所示，进一步的，步骤5中，利用步骤4中获取的各个身份ID分别对步骤3中获取的各个身份ID进行校准的具体步骤为：
步骤5.1，从步骤4获取的各个身份ID中选出一个待校准的身份ID；
步骤5.2，确定出待校准的身份ID所对应的目标检测框，再根据确定出的目标检测框从步骤3获取的各个身份ID中查找出对应的身份ID，若待校准的身份ID与步骤3中查找出的身份ID相同，则无需校准，直接返回步骤2，若待校准的身份ID与步骤3中查找出的身份ID不相同，则进入步骤5.3；
步骤5.3，在步骤3获取的各个身份ID中查找一个与待校准的身份ID相同的身份ID，若未查找到一个相同的身份ID，则将待校准的身份ID赋值给步骤3中对应目标检测框内的生猪，使得待校准的身份ID与对应目标检测框内的生猪的移动轨迹相关联，若查找到一个相同的身份ID，则获取查找到的相同的身份ID所对应的移动轨迹，再获取待校准的身份ID所对应的目标检测框内的生猪的移动轨迹，再将两次获取的移动轨迹互换；
步骤5.4，判断步骤4获取的各个身份ID是否均完成校验，若未全部完成校验，则返回步骤5.1，若全部完成校验，则返回步骤2。
如上所述，尽管参照特定的优选实施例已经表示和表述了本发明，但其不得解释为对本发明自身的限制。在不脱离所附权利要求定义的本发明的精神和范围前提下，可对其在形式上和细节上作出各种变化。

Claims (10)

1.一种基于机器视觉的生猪身份标识跟踪方法，其特征在于，包括如下步骤：
步骤1，对生猪的身份ID进行初始化，使得猪舍中每只生猪均配置一个身份ID，每个猪舍的所有身份ID共同构成一个ID池，且生猪的身份ID与猪耳标相对应；
步骤2，按照预设的帧率从猪舍监控视频流中选取出各个视频帧图像，并对各个视频帧图像进行缩放预处理获得预处理图像；
步骤3，对预处理图像中的各个生猪进行目标检测，使得预处理图像中检测到的每只生猪均获得一个目标检测框，再通过对目标检测框的跟踪获得生猪的移动轨迹，且每个生猪的移动轨迹均对应关联一个身份ID；
步骤4，在预处理图像中划定耳标识别区域，对耳标识别区域中的各个目标检测框内的图像进行猪耳标识别，从而根据猪耳标与身份ID的对应关系匹配出各个目标检测框中的生猪的身份ID；
步骤5，利用步骤4中获取的各个身份ID分别对步骤3中获得的各个生猪的移动轨迹进行校准，再回到步骤2。
2.根据权利要求1所述的基于机器视觉的生猪身份标识跟踪方法，其特征在于，步骤1中，对生猪的身份ID进行初始化的具体步骤为：
步骤1.1，获取猪舍中生猪的数量，再根据生猪的数量设定对应数量的身份ID，且每个身份ID各不相同；
步骤1.2，将各个身份ID分别与各个生猪的猪耳标序列码相对应，且猪舍中每只生猪的猪耳标的颜色各不相同。
3.根据权利要求1所述的基于机器视觉的生猪身份标识跟踪方法，其特征在于，步骤2中，获得预处理图像的具体步骤为：
步骤2.1，检测猪舍监控视频流是否完全覆盖猪舍内生猪活动区域，若猪舍内的所有生猪始终都保持在猪舍监控视频流中，则判定为完全覆盖，再进入步骤2.3，否则判定为不完全覆盖，再进入步骤2.2；
步骤2.2，利用预设的用户通信方式反馈监控不全面的提示信息，并等待用户的调整确认信息，在获得调整确认信息后再进入步骤2.3；
步骤2.3，获取用户预设的图像采集的帧率，并按照预设的帧率从猪舍监控视频流中选取出各个视频帧图像；
步骤2.4，对各个视频帧图像进行长度和宽度的等比例缩放，获得符合目标检测尺寸要求的预处理图像。
4.根据权利要求1所述的基于机器视觉的生猪身份标识跟踪方法，其特征在于，步骤3中，对预处理图像中的生猪进行目标检测的具体步骤为：
步骤3.1，按照时间先后顺序从缓存中取出一个预处理图像作为待检测图像；
步骤3.2，利用基于深度学习的目标检测网络对待检测图像中的各个生猪进行目标检测识别，并在识别成功后在待检测图像上加载对应的目标检测框，使得识别后的各个生猪分别位于各个目标检测框内。
5.根据权利要求4所述的基于机器视觉的生猪身份标识跟踪方法，其特征在于，步骤3中，通过对目标检测框的跟踪获得生猪的移动轨迹的具体步骤为：
步骤3.3，按照时间先后顺序从缓存中取出一个加载有目标检测框的待检测图像，判断待检测图像是否为首个预处理图像，若为首个预处理图像，则直接将ID池中的各个身份ID分别与待检测图像中的各个目标检测框相关联，再进入步骤3.10，若不是首个预处理图像，则进入步骤3.4；
步骤3.4，从待检测图像中选出一个待关联的目标检测框，将待关联的目标检测框与前一个预处理图像中的目标检测框进行数据关联处理，若待关联的目标检测框与前一个预处理图像中的某个目标检测框实现相互关联，则进入步骤3.5，若待关联的目标检测框未与前一个预处理图像中的任一目标检测框实现相互关联，则进入步骤3.7；
步骤3.5，将两个相互关联的目标检测框的中心点相连构成分段轨迹，再将分段轨迹与待关联的目标检测框内生猪的历史移动轨迹相连构成最新的移动轨迹；
步骤3.6，根据生猪的最新的移动轨迹向前溯源获得对应的身份ID，从而将待关联的目标检测框与对应的身份ID相关联，再进入步骤3.8；
步骤3.7，将待检测图像中待关联的目标检测框与ID池中未被关联的身份ID进行关联，再进入步骤3.8；
步骤3.8，判断待检测图像中是否全部的目标检测框均数据关联处理完毕，若均数据关联处理完毕，则进入步骤3.9，若未全部数据关联处理完毕，则返回步骤3.3；
步骤3.9，判断前一个预处理图像中的各个目标检测框是否均实现了相互关联，若全部实现了相互关联，则进入步骤3.10，否则进行关联失败处理后再进入步骤3.10；
步骤3.10，判断缓存中是否还有预处理图像需要进行数据关联，若有，则返回步骤3.1，若没有，则等待缓存中有了预处理图像再返回步骤3.1。
6.根据权利要求5所述的基于机器视觉的生猪身份标识跟踪方法，其特征在于，步骤3.3中，进行数据关联处理的具体步骤为：
步骤3.3.1，将待检测图像以及前一个预处理图像对齐投影到一个投影平面上，计算出待关联的目标检测框的中心点在投影平面中的坐标位置作为待关联位置；
步骤3.3.2，计算出前一个预处理图像中各个已关联的目标检测框的中心点在投影平面中的坐标位置作为各个已关联位置，再分别计算出待关联位置与各个已关联位置之间的相对距离，并将各个相对距离按照大小进行排序；
步骤3.3.3，根据最小的相对距离进行关联判定，若最小的相对距离小于距离阈值，则判定为相互关联，并将待关联的目标检测框与最小的相对距离对应的目标检测框进行数据关联，否则判定为非相互关联。
7.根据权利要求5所述的基于机器视觉的生猪身份标识跟踪方法，其特征在于，步骤3.9中进行关联失败处理时：首先获取前一个预处理图像中未实现相互关联的目标检测框的身份ID，再将获取的身份ID归还至ID池。
8.根据权利要求1所述的基于机器视觉的生猪身份标识跟踪方法，其特征在于，步骤4中，对预处理图像中的各个目标检测框内的图像进行猪耳标颜色识别的具体步骤为：
步骤4.1，采集猪舍中各个生猪的猪耳标的参考图像，再计算各个参考图像颜色的HSV最大阈值以及HSV最小阈值，从而获得各个猪耳标的HSV值比对区间；
步骤4.2，从预处理图像的耳标识别区域中选择一个待识别的目标检测框，再截取目标检测框内的图像作为待识别图像，对待识别图像进行猪耳标识别；
步骤4.3，根据识别出的猪耳标确定出对应的身份ID；
步骤4.4，判断耳标识别区域中的各个目标检测框是否均进行了猪耳标识别，若全部进行了猪耳标识别，则进入步骤5，否则返回步骤4.2。
9.根据权利要求8所述的基于机器视觉的生猪身份标识跟踪方法，其特征在于，步骤4.2中，对待识别图像进行猪耳标识别的具体步骤为：
步骤4.2.1，将待识别图像从RGB格式转换成HSV格式；
步骤4.2.2，从HSV格式的待识别图像中提取出猪耳标的颜色块轮廓，再判断待识别图像中是否只有一个颜色块轮廓，若只有一个颜色块轮廓，则进入步骤4.2.3，若有多个颜色块轮廓，则返回步骤2；
步骤4.2.3，获取颜色块轮廓的最小面积的外接矩形，计算出外接矩形中心点的HSV值，将中心点的HSV值与各个猪耳标的HSV值比对区间进行匹配，找到中心点的HSV值所对应的HSV值比对区间；
步骤4.2.4，根据找到的HSV值比对区间查询到对应的猪耳标。
10.根据权利要求1所述的基于机器视觉的生猪身份标识跟踪方法，其特征在于，步骤5中，利用步骤4中获取的各个身份ID分别对步骤3中获取的各个身份ID进行校准的具体步骤为：
步骤5.1，从步骤4获取的各个身份ID中选出一个待校准的身份ID；
步骤5.2，确定出待校准的身份ID所对应的目标检测框，再根据确定出的目标检测框从步骤3获取的各个身份ID中查找出对应的身份ID，若待校准的身份ID与步骤3中查找出的身份ID相同，则无需校准，直接返回步骤2，若待校准的身份ID与步骤3中查找出的身份ID不相同，则进入步骤5.3；
步骤5.3，在步骤3获取的各个身份ID中查找一个与待校准的身份ID相同的身份ID，若未查找到一个相同的身份ID，则将待校准的身份ID赋值给步骤3中对应目标检测框内的生猪，使得待校准的身份ID与对应目标检测框内的生猪的移动轨迹相关联，若查找到一个相同的身份ID，则获取查找到的相同的身份ID所对应的移动轨迹，再获取待校准的身份ID所对应的目标检测框内的生猪的移动轨迹，再将两次获取的移动轨迹互换；
步骤5.4，判断步骤4获取的各个身份ID是否均完成校验，若未全部完成校验，则返回步骤5.1，若全部完成校验，则返回步骤2。
CN202310567796.8A 2023-05-18 2023-05-18 一种基于机器视觉的生猪身份标识跟踪方法 Pending CN116703969A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310567796.8A CN116703969A (zh) 2023-05-18 2023-05-18 一种基于机器视觉的生猪身份标识跟踪方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310567796.8A CN116703969A (zh) 2023-05-18 2023-05-18 一种基于机器视觉的生猪身份标识跟踪方法

Publications (1)

Publication Number Publication Date
CN116703969A true CN116703969A (zh) 2023-09-05

Family

ID=87834905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310567796.8A Pending CN116703969A (zh) 2023-05-18 2023-05-18 一种基于机器视觉的生猪身份标识跟踪方法

Country Status (1)

Country Link
CN (1) CN116703969A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117195934A (zh) * 2023-11-07 2023-12-08 双胞胎（集团）股份有限公司 一种耳标的跟踪方法及养殖数据采集方法
CN117253170A (zh) * 2023-09-27 2023-12-19 河北祥盛农业科技有限公司 一种批量识别方法、识别系统以及屠宰场信息管理系统
CN117495594A (zh) * 2023-12-29 2024-02-02 深圳市明心数智科技有限公司 生物资产的生长状态监控方法、装置、设备及存储介质

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117253170A (zh) * 2023-09-27 2023-12-19 河北祥盛农业科技有限公司 一种批量识别方法、识别系统以及屠宰场信息管理系统
CN117253170B (zh) * 2023-09-27 2024-04-02 河北祥盛农业科技有限公司 一种批量识别方法、识别系统以及屠宰场信息管理系统
CN117195934A (zh) * 2023-11-07 2023-12-08 双胞胎（集团）股份有限公司 一种耳标的跟踪方法及养殖数据采集方法
CN117195934B (zh) * 2023-11-07 2024-02-20 双胞胎（集团）股份有限公司 一种耳标的跟踪方法及养殖数据采集方法
CN117495594A (zh) * 2023-12-29 2024-02-02 深圳市明心数智科技有限公司 生物资产的生长状态监控方法、装置、设备及存储介质
CN117495594B (zh) * 2023-12-29 2024-04-02 深圳市明心数智科技有限公司 生物资产的生长状态监控方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
CN116703969A (zh) 一种基于机器视觉的生猪身份标识跟踪方法
CN109002795B (zh) 车道线检测方法、装置及电子设备
CN105488806B (zh) 一种工件位置追踪定位方法及定位系统
CN105528789B (zh) 机器人视觉定位方法和装置、视觉标定方法和装置
CN107301368B (zh) 一种DataMatrix二维码的识别方法
CN107256398B (zh) 基于特征融合的奶牛个体识别方法
CN106023137A (zh) 一种基于轮廓优化的木材计数方法
CN112434544A (zh) 一种条烟编码检测识别方法及装置
CN111695373B (zh) 斑马线的定位方法、系统、介质及设备
CN109492535B (zh) 一种计算机视觉的母猪哺乳行为识别方法
CN101996317B (zh) 人体上标记物的识别方法及装置
CN114092378A (zh) 动物健康检测的方法、装置、设备及存储介质
CN111060518A (zh) 一种基于实例分割的冲压件缺陷识别方法
CN110084587B (zh) 一种基于边缘上下文的餐盘自动结算方法
CN111028266A (zh) 畜禽盘点方法、装置、电子设备和存储介质
CN113180640B (zh) 一种家畜养殖用尺寸测量方法及系统
CN114332622A (zh) 一种基于机器视觉的标签检测方法
CN108855971B (zh) 一种鞋底智能分拣方法
CN112541383B (zh) 杂草区域的识别方法和装置
CN113657339A (zh) 一种基于机器视觉的仪表指针计数读取方法及介质
CN110795987B (zh) 猪脸识别方法和装置
CN111275756A (zh) 线轴定位方法及装置
CN110216082B (zh) 荧光标记种子动态识别方法和系统
CN110378953B (zh) 一种智能识别猪群圈内空间分布行为的方法
CN112215113A (zh) 人脸识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination