CN113780052A - 哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质 - Google Patents

哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质 Download PDF

Info

Publication number
CN113780052A
CN113780052A CN202110750294.XA CN202110750294A CN113780052A CN 113780052 A CN113780052 A CN 113780052A CN 202110750294 A CN202110750294 A CN 202110750294A CN 113780052 A CN113780052 A CN 113780052A
Authority
CN
China
Prior art keywords
nursing
lactation
point
heat
heat map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110750294.XA
Other languages
English (en)
Inventor
闫润强
杨梓钰
李旭强
邓柯珀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Luoyang Voice Cloud Innovation Institute
Original Assignee
Luoyang Voice Cloud Innovation Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Luoyang Voice Cloud Innovation Institute filed Critical Luoyang Voice Cloud Innovation Institute
Priority to CN202110750294.XA priority Critical patent/CN113780052A/zh
Publication of CN113780052A publication Critical patent/CN113780052A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01KANIMAL HUSBANDRY; AVICULTURE; APICULTURE; PISCICULTURE; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00Other apparatus for animal husbandry
    • A01K29/005Monitoring or measuring activity, e.g. detecting heat or mating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Environmental Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Animal Husbandry (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质,其中,哺乳识别方法包括:对原始图像进行第一检测,得到第一对象的若干哺乳部位;基于若干哺乳部位,在原始图像中确定哺乳区域;对哺乳区域进行第二检测,得到位于哺乳区域的第二对象的若干关键点;分别基于各个哺乳部位和若干关键点,得到各个哺乳部位的哺乳识别结果;其中,哺乳识别结果表示哺乳部位是否存在哺乳行为。上述方案,能够高效、准确且安全地实现哺乳识别。

Description

哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质
技术领域
本申请涉及图像处理技术领域,特别是涉及一种哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质。
背景技术
哺乳行为的精准识别,在诸多场景中均存在极高的应用价值。例如,在畜牧、养殖等场景中,通过识别哺乳行为,有助于提高畜牧、养殖的管理水平。
目前,哺乳行为的识别仍然主要依赖于人工识别,而由于人工的主观性,容易产生误识别,且识别效率也难以保障。此外,在畜牧、养殖场景中,人工识别也极易引发牲畜的应激反应,同时也在无形中增加人畜共患病的风险。有鉴于此,如何高效、准确且安全地实现哺乳识别成为亟待解决的问题。
发明内容
本申请主要解决的技术问题是提供一种哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质,能够高效、准确且安全地实现哺乳识别。
为了解决上述技术问题,本申请第一方面提供了一种哺乳识别方法,包括:对原始图像进行第一检测,得到第一对象的若干哺乳部位;基于若干哺乳部位,在原始图像中确定哺乳区域;对哺乳区域进行第二检测,得到位于哺乳区域的第二对象的若干关键点;分别基于各个哺乳部位和若干关键点,得到各个哺乳部位的哺乳识别结果;其中,哺乳识别结果表示哺乳部位是否存在哺乳行为。
为了解决上述技术问题,本申请第二方面提供了一种泌乳鉴定方法,包括:获取对第一对象和第二对象的拍摄视频;分别将拍摄视频中各帧图像作为原始图像,并获取原始图像中第一对象各个哺乳部位的哺乳识别结果;其中,哺乳识别结果是利用上述第一方面中的哺乳识别方法得到的;基于各帧图像中各个哺乳部位的哺乳识别结果,分析得到第一对象的泌乳鉴定结果。
为了解决上述技术问题,本申请第三方面提供了一种哺乳识别装置,包括:第一检测模块、区域获取模块、第二检测模块和行为分析模块,第一检测模块用于对原始图像进行第一检测,得到第一对象的若干哺乳部位;区域获取模块用于基于若干哺乳部位,在原始图像中确定哺乳区域;第二检测模块用于对哺乳区域进行第二检测,得到位于哺乳区域的第二对象的若干关键点;行为分析模块用于分别基于各个哺乳部位和若干关键点,得到各个哺乳部位的哺乳识别结果;其中,哺乳识别结果表示哺乳部位是否存在哺乳行为。
为了解决上述技术问题,本申请第四方面提供了一种泌乳鉴定装置,包括:视频获取模块、哺乳识别模块和结果获取模块,视频获取模块用于获取对第一对象和第二对象的拍摄视频;哺乳识别模块用于分别将拍摄视频中各帧图像作为原始图像,并获取原始图像中第一对象各个哺乳部位的哺乳识别结果;其中,哺乳识别结果是利用上述第三方面中的哺乳识别装置得到的;结果获取模块,用于基于各帧图像中各个哺乳部位的哺乳识别结果,分析得到第一对象的泌乳鉴定结果。
为了解决上述技术问题,本申请第五方面提供了一种电子设备,包括相互耦接的存储器和处理器,存储器中存储有程序指令,处理器用于执行程序指令以实现上述第一方面中的哺乳识别方法,或实现上述第二方面中的泌乳鉴定方法。
为了解决上述技术问题,本申请第六方面提供了一种存储装置,存储有能够被处理器运行的程序指令,程序指令用于实现上述第一方面中的哺乳识别方法,或实现上述第二方面中的泌乳鉴定方法。
上述方案,对原始图像进行第一检测,得到第一对象的若干哺乳部位,并基于若干哺乳部位,在原始图像中确定哺乳区域,以及对哺乳区域进行第二检测,得到位于哺乳区域的第二对象的若干关键点,在此基础上,再分别基于各个哺乳部位和若干关键点,得到各个哺乳部位的哺乳识别结果,且哺乳识别结果表示哺乳部位是否存在哺乳行为,一方面由于通过图像检测而无需依赖人工识别即可实现哺乳行为的识别,能够提高识别效率,另一方面由于在畜牧养殖场景中无需人畜接触即可识别哺乳行为,能够实现安全识别,此外,通过定位第一对象的哺乳部位,并基于哺乳部位确定哺乳区域,以及在哺乳区域定位第二对象的关键点,从而根据各个哺乳部位和关键点,分析得到各个哺乳部位的哺乳识别结果,能够提高识别精度,故此能够高效、准确且安全地实现哺乳识别。
附图说明
图1是本申请哺乳识别方法一实施例的流程示意图;
图2是哺乳区域一实施例的示意图;
图3是训练第一热度网络一实施例的流程示意图;
图4是训练第二热度网络一实施例的流程示意图;
图5是第二点和偏移向量一实施例的示意图;
图6是本申请泌乳鉴定方法一实施例的流程示意图;
图7是本申请哺乳识别装置一实施例的框架示意图;
图8是本申请泌乳鉴定装置一实施例的框架示意图;
图9是本申请电子设备一实施例的框架示意图;
图10是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请哺乳识别方法一实施例的流程示意图。
具体而言,可以包括如下步骤:
步骤S11:对原始图像进行第一检测,得到第一对象的若干哺乳部位。
在一个实施场景中,第一对象具体可以根据实际应用场景而进行设置。例如,在畜牧养殖场景中,第一对象可以包括但不限于猪、牛、羊等,在此不做限定;或者,在宠物医护场景中,第一对象可以包括但不限于猫、狗等,在此不做限定。此外,上述畜牧养殖场景和宠物医护场景仅仅是实际可能的应用场景,并不因此而限定于上述两种场景。
在一个实施场景中,为了提高检测效率,可以预先训练一个第一检测网络,该第一检测网络可以包括但不限于:YOLO(You Only Look Once)、Faster RCNN(Faster Regionwith Convolutional Neural Network)等,在此不做限定。在此基础上,可以利用第一检测网络对原始图像进行检测,得到第一对象的若干哺乳部位。具体地,第一检测网络可以是利用标注有第一对象的哺乳部位的样本图像训练得到的,即样本图像可以标注有哺乳部位的实际位置。例如,可以利用第一检测网络对样本图像进行检测,得到第一对象若干哺乳部位的预测位置,在此基础上,可以利用实际位置与预测位置之间的差异,调整第一检测网络的网络参数。
在一个实施场景中,不同于前述方式,为了提高检测效率,也可以预先训练一个第一热度网络,该第一热度网络的网络结构可以采用编码器-解码器(即encoder-decoder),第一热度网络的具体训练过程,可以参阅下述公开实施例,在此暂不赘述。在此基础上,可以利用第一热度网络对原始图像进行热度检测,得到第一对象的若干第一点的第一热度图,且若干第一点可以包括第一对象的哺乳部位以及肢体与躯干的连接点,并分别基于若干第一点的第一热度图,得到若干第一点的第一位置,在此基础上,再利用位置预测网络对若干第一点的第一位置和第一对象的哺乳部位数量进行位置预测,得到第一对象的若干哺乳部位。上述方式,通过第一热度图对第一点进行位置定位,并结合第一点的第一位置和第一对象的哺乳部位数量进行位置预测,由于现实场景中,第一对象的哺乳部位可能会被遮挡,导致位置定位不精确,故通过位置预测能够回归检测得到哺乳部位,有利于提高哺乳部位检测的鲁棒性。
在一个具体的实施场景中,以畜牧养殖场景为例,若干第一点可以包括哺乳部位、前腿与躯干的连接点、后腿与躯干的连接点。在此基础上,第一热度网络预测得到的第一热度图可以包括:各个哺乳部位分别对应的第一热度图、前腿与躯干的连接点对应的第一热度图、后腿与躯干的连接点对应的第一热度图。其他场景可以以此类推,在此不再一一举例。
在另一个具体的实施场景中,为了便于区分不同哺乳部位,可以为检测出来的各个哺乳部位分别给予不同标识符。
在又一个具体的实施场景中,位置预测网络可以包括若干全连接层,如可以包括两层全连接层。为了提高位置预测网络的准确性,可以预先对位置预测网络进行训练。例如,可以预先收集若干组数据集,每组数据集合包括:上述连接点和若干哺乳部位的第一预测位置,以及若干哺乳部位的实际位置,以及哺乳部位数量。需要说明的是,第一预测位置具体可以是利用前述第一热度网络预测得到的。在此基础上,可以将上述连接点和若干哺乳部位的第一预测位置,以及哺乳部位数量输入位置预测网络,得到若干哺乳部位的第二预测位置,并基于若干哺乳部位的实际位置和第二预测位置之间的差异,调整位置预测网络的网络参数。故此,通过上述训练,能够使得位置预测网络学习到第一对象的连接点、哺乳部位以及哺乳部位数量之间的分布规律,有利于提高位置预测在后续位置回归预测过程中的准确性。
需要说明的是,第一热度图中每个像素点的热度值可以表示该像素点距离第一点的远近,像素点越接近第一点,则像素点的热度值越高,像素点越远离第一点,则像素点的热度值越低,故可以将第一热度图中热度值最高的像素点,视为第一点。以哺乳部位对应的第一热度图为例,越接近哺乳部位的像素点,其热度值越高,而越远离哺乳部位的像素点,其热度值越低,故可以将热度值最高的像素点视为哺乳部位。其他第一点的第一热度图可以以此类推,在此不再一一举例。
步骤S12:基于若干哺乳部位,在原始图像中确定哺乳区域。
具体地,可以基于最外侧(如,最左侧、最右侧、最上侧、最下侧等)的哺乳部位,确定一个矩形区域,并将该矩形区域在长度和/或宽度方向进行延伸,得到哺乳区域。
在一个实施场景中,可以在长度方向延伸M(如,1、2等)倍的矩形区域长度,可以在宽度方向延伸N(如,3、4等)倍的矩形宽度,在此不做限定。
在一个实施场景中,请结合参阅图2,图2是哺乳区域一实施例的示意图。如图2所示,网格填充圆形表示检测到的若干哺乳部位,基于最外侧的哺乳部位可以确定一个矩形区域(即图2中虚线矩形所示),在此基础上,分别在矩形区域的长度方向和宽度方向进行延伸,得到哺乳区域(即图2中实线矩形所示)。
步骤S13:对哺乳区域进行第二检测,得到位于哺乳区域的第二对象的若干关键点。
在一个实施场景中,第二对象具体可以根据应用场景进行设置。例如,在畜牧养殖场景中,第一对象具体可以为母猪、母牛、母羊等,则第二对象可以为小猪、小牛、小羊等。其他场景可以以此类推,在此不再一一举例。
在一个实施场景中,第二对象的若干关键点可以包括但不限于:左耳根、右耳根等,在此不做限定,具体可以根据应用场景进行设置。仍以畜牧养殖场景为例,第二对象的若干关键点还可以进一步包括尾根,在此不做限定。其他场景可以以此类推,在此不做限定。
在一个实施场景中,为了提高检测效率,可以预先训练一个第二检测网络,该第二检测网络可以包括但不限于:YOLO、Faster RCNN等,在此不做限定。在此基础上,可以利用第二检测网络对哺乳区域进行检测,得到哺乳区域中若干目标区域和若干关键点,需要说明的是,每一目标区域分别对应于一个第二对象,位于同一目标区域内的关键点可以认为属于相同第二对象。具体地,第二检测网络可以是利用标注有第二对象的实际区域的样本图像训练得到的,且样本图像中还标注有每一第二对象若干关键点的实际位置。在此基础上,可以利用第二检测网络对样本图像进行检测,得到第二对象的预测区域以及若干关键点的预测位置,从而可以利用实际区域和预测区域之间的差异,以及实际位置和预测位置之间的差异,调整第二检测网络的网络参数。
在一个实施场景中,不同于前述方式,为了提高检测效率,也可以预先训练一个第二热度网络,该第二热度网络的网络结构可以采用编码器-解码器(即encoder-decoder),第二热度网络的具体训练过程,可以参阅下述公开实施例,在此暂不赘述。在此基础上,可以利用第二热度网络对哺乳区域进行热度预测,得到关于第二对象的第二点的若干第二热度图,且若干第二热度图包括:各个第二点的第二热度图、第二点的偏移向量的第二热度图,偏移向量表示第二点至参考点的偏移方向和偏移距离,且参考点与第二点属于相同第二对象,从而基于各个第二点的第二热度图,可以确定位于哺乳区域内的第二点,并基于哺乳区域内的第二点和第二点的偏移向量的第二热度图,确定属于相同第二对象的第二点,进而将属于相同第二对象的第二点,作为第二对象的若干关键点。上述方式,通过第二点的第二热度图对第二点进行位置定位,并结合第二点的偏移向量的第二热度图圈定属于相同第二对象的第二点,有利于在多个第二对象的情况下,仍然能够准确地检测出每一第二对象的若干关键点,有利于提高关键点检测的准确性。
在一个具体的实施场景中,仍以畜牧养殖场景为例,第二对象具体可以包括牲畜,则第二对象的若干第二点可以包括但不限于:左耳根、右耳根和尾根等,在此不做限定。在此基础上,若干第二热度图可以包括:左耳根的第二热度图、右耳根的第二热度图和尾根的第二热度图共3张第二点的第二热度图,以及左耳根至右耳根偏移向量的第二热度图、右耳根至左耳根偏移向量的第二热度图、右耳根至尾根偏移向量的第二热度图和尾根至右耳根偏移向量的第二热度图,由于偏移存在于水平方向(即xoy坐标系的x轴方向)和垂直方向(即xoy坐标系的y轴方向),故每张偏移向量的第二热度图实际包含对应于水平方向(即x轴方向)偏移的第二热度图和对应于垂直方向(即y轴方向)偏移的第二热度图,也就是说上述偏移向量的第二热度图共有8张。需要说明的是,上述偏移向量的第二热度图也可以为如下组合:左耳根至右耳根偏移向量的第二热度图、右耳根至左耳根偏移向量的第二热度图、左耳根至尾根偏移向量的第二热度图和尾根至左耳根偏移向量的第二热度图,或者,上述偏移向量的第二热度图也可以为如下组合:左耳根至尾根偏移向量的第二热度图、尾根至左耳根偏移向量的第二热度图、右耳根至尾根偏移向量的第二热度图和尾根至右耳根偏移向量的第二热度图,在此不做限定。上述方式,在第二对象包括牲畜的情况下,第二点包括左耳根、右耳根和尾根,且若干第二热度图包括:左耳根的第二热度图、右耳根的第二热度图、尾根的第二热度图、左耳根至右耳根偏移向量的第二热度图、右耳根至左耳根偏移向量的第二热度图、右耳根至尾根偏移向量的第二热度图和尾根至右耳根偏移向量的第二热度图,故能够有利于在牲畜拥挤的情况下,能够结合左耳根、右耳根和尾根三者共同进行定位,从而能够有利于大大提升圈定属于相同第二对象的第二点的准确性。
在另一个具体的实施场景中,与第一热度图类似,第二点的第二热度图中每个像素点的热度值可以表示该像素点距离第二点的远近,像素点越接近第二点,则像素点的热度值越高,像素点越远离第二点,则像素点的热度值越低,故可以将第二热度图中热度值最高的像素点,视为第二点。以左耳根对应的第二热度图为例,越接近左耳根的像素点,其热度值越高,而越远离左耳根的像素点,其热度值越低,故可以将热度值最高的像素点视为左耳根。其他第二点的第二热度图可以以此类推,在此不再一一举例。
在又一个具体的实施场景中,第二点的偏移向量的第二热度图中每个像素点的热度值表示:该像素点作为第二点时,参考点与其偏移量。具体地,水平方向(即x轴方向)偏移的第二热度图中每个像素点的热度值表示:该像素点作为第二点时,参考点与其在水平方向的偏移量;而垂直方向(即y轴方向)偏移的第二热度图中每个像素点的热度值表示:该像素点作为第二点时,参考点与其在垂直方向的偏移量。例如,根据左耳根的第二热度图,可以确定2个第二点(即左耳根):第二点01(40,70)和第二点04(90,70),根据右耳根的第二热度图,可以确定2个第二点(即右耳根):第二点03(60,70)和第二点06(110,70),根据尾根的第二热度图,可以确定2个第二点(即尾根):第二点02(50,50)和第二点05(100,50)。同时,根据左耳根至右耳根偏移向量的第二热度图,可以确定第二点01在水平方向(即x轴方向)的偏移量为20,在垂直方向(即y轴方向)的偏移量为0;并可以确定第二点04在水平方向(即x轴方向)的偏移量为20,在垂直方向(即y轴方向)的偏移量为0。由于第二点01(40,70)根据其水平偏移量20和垂直偏移量0,偏移至(60,70),正好与第二点03重合,故可以确定第二点01和第二点03属于相同第二对象,而由于第二点04(90,70)根据其水平偏移量20和垂直偏移量0,偏移至(110,70),正好与第二点06重合,故可以确定第二点04和第二点06属于相同第二对象。类似地,根据右耳根至左耳根偏移向量的第二热度图,第二点03在水平方向(即x轴方向)的偏移量为-20,在垂直方向(即y轴方向)的偏移量为0;并可以确定第二点06在水平方向(即x轴方向)的偏移量为-20,在垂直方向(即y轴方向)的偏移量为0。由于第二点03(60,70)根据其水平偏移量-20和垂直偏移量0,偏移至(40,70),正好与第二点01重合,故可以确定第二点03与第二点01属于相同第二对象,而由于第二点06(110,70)根据其水平偏移量-20和垂直偏移量0,偏移至(90,70),正好与第二点04重合,故可以确定第二点06与第二点04属于相同第二对象。以此类推,可以根据右耳根至尾根偏移向量的第二热度图,确定第二点03与第二点02属于相同第二对象,并确定第二点06和第二点05属于相同第二对象;而根据尾根至右耳根偏移向量的第二热度图,可以确定第二点02与第二点03属于相同第二对象,并确定第二点05和第二点06属于相同第二对象。综上,可以确定第二点01(即左耳根)、第二点02(即尾根)和第二点03(即右耳根)属于相同第二对象,以及可以确定第二点05(即左耳根)、第二点06(即尾根)和第二点06(就右耳根)属于相同第二对象。其他情况可以以此类推,在此不再一一举例。需要说明的是,在现实场景中,上述偏移量并不一定能够正好等于两个第二点之间的差值,即第二热度网络的预测性能,并不一定能够支持完全准确地预测出属于相同第二对象的第二点之间的偏移量,在此情况下,可以采用诸如匈牙利匹配算法、贪心算法等匹配算法对第二点及其偏移向量进行匹配,以得到每个第二对象的若干关键点。匈牙利匹配算法和贪心算法的具体实施过程,可以参阅两者的技术细节,在此不再赘述。
步骤S14:分别基于各个哺乳部位和若干关键点,得到各个哺乳部位的哺乳识别结果。
本公开实施例中,哺乳识别结果表示哺乳部位是否存在哺乳行为。例如,哺乳识别结果可以包括哺乳部位存在哺乳行为,或者,哺乳识别结果也可以包括哺乳部位不存在哺乳行为。
具体地,若干关键点至少可以包括左耳根和右耳根,在此基础上,可以将连接左耳根和右耳根的直线,作为参考直线,并基于若干哺乳部位分别指参考直线的垂直距离,选择一个哺乳部位与左耳根和右耳根组成待识别点集,以基于待识别点集,分析得到待识别点集中哺乳部位的哺乳识别结果。上述方式,通过将若干关键点设置包括左耳根和右耳根,并获取连接左耳根和右耳根的参考直线,通过各个哺乳部位分别至参考直线的垂直距离,选择一个哺乳部位与左耳根和右耳根联立成为一个待识别点集,并分析待识别点集中哺乳部位的哺乳识别结果,从而能够通过垂直距离将哺乳部位与第二对象关联,以进一步分析哺乳部位是否存在哺乳行为,进而能够有利于提高哺乳识别的准确性。
在一个实施场景中,可以获取若干哺乳部位分别至参考直线的垂直距离,并选择最小垂直距离对应的哺乳部位,与左耳根和右耳根组成待识别点集。请结合参阅图2,连接左耳根和右耳根的参考直线如图2中虚线直线所示,至该参考直线的垂直距离最近的哺乳部位为箭头所指哺乳部位,则可以将箭头所指的左耳根、箭头所指的右耳根和箭头所指的哺乳部位组成一组待识别点集。其他情况可以以此类推,在此不再一一举例。需要说明的是,在根据垂直距离选择哺乳部位之前,可以先过滤位于参考直线下方的哺乳部位,能够有利于进一步提高识别效率。上述方式,通过获取若干哺乳部位分别指参考直线的垂直距离,并选择最小垂直距离对应的哺乳部位,与左耳根和右耳根组成待识别点集,以将第二对象与某一哺乳部位关联,能够有利于提高关联的准确性。
在一个实施场景中,在获取待识别点集之后,对于待识别点集内哺乳部位和左耳根、右耳根而言,可以获取由哺乳部位至左耳根的第一向量,以及获取由哺乳部位至右耳根的第二向量,从而可以基于第一向量和第二向量之间的夹角,得到哺乳识别结果。具体地,当夹角大于预设阈值时,表示第二对象距该哺乳部位较近,可以认为该哺乳部位存在哺乳行为,而当夹角小于预设阈值时,表示第二对象距该哺乳部位较远,可以认为该哺乳部位不存在哺乳行为。此外,也可以直接计算第一向量与第二向量的内积,在内积大于预设阈值时,表示第二对象距该哺乳部位较近,可以认为该哺乳部位存在哺乳行为,而在内积小于预设阈值时,表示第二对象距该哺乳部位较远,可以认为该哺乳部位不存在哺乳行为。请结合参阅图2,图2中箭头所指的左耳根、箭头所指的右耳根和箭头所指的哺乳部位可以组成待识别点集,由于哺乳部位至左耳根的第一向量和哺乳部位至右耳根的第二向量之间的夹角(或内积)较大,即表示第二对象距该哺乳部位较近,则可以认为箭头所指的哺乳部位存在哺乳行为。其他情况可以以此类推,在此不再一一举例。上述方式,通过获取由哺乳部位至左耳根的第一向量,并获取由哺乳部位至右耳根的第二向量,从而直接基于第一向量和第二向量之间的夹角,即可得到哺乳识别结果,能够有利于降低哺乳识别的复杂度。
上述方案,对原始图像进行第一检测,得到第一对象的若干哺乳部位,并基于若干哺乳部位,在原始图像中确定哺乳区域,以及对哺乳区域进行第二检测,得到位于哺乳区域的第二对象的若干关键点,在此基础上,再分别基于各个哺乳部位和若干关键点,得到各个哺乳部位的哺乳识别结果,且哺乳识别结果表示哺乳部位是否存在哺乳行为,一方面由于通过图像检测而无需依赖人工识别即可实现哺乳行为的识别,能够提高识别效率,另一方面由于在畜牧养殖场景中无需人畜接触即可识别哺乳行为,能够实现安全识别,此外,通过定位第一对象的哺乳部位,并基于哺乳部位确定哺乳区域,以及在哺乳区域定位第二对象的关键点,从而根据各个哺乳部位和关键点,分析得到各个哺乳部位的哺乳识别结果,能够提高识别精度,故此能够高效、准确且安全地实现哺乳识别。
请参阅图3,图3是训练第一热度网络一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S31:基于标注有若干第一点的第一样本图像,分别生成若干第一点的第一样本热度图。
具体地,可以预先采集第一对象暴露第一点的第一样本图像,并在第一样本图像进行数据标注,以标注第一对象的若干第一点,如可以标注第一对象的哺乳部位,第一对象的肢体与躯干的连接点。以畜牧养殖场景为例,可以在养殖场固定摄像器件,且摄像器件的拍摄范围可以覆盖养殖场。例如,一般在哺乳母猪舍内,母猪躺卧时,哺乳部位的暴露方向固定,故可以将摄像器件放置于养殖场上方并偏向于母猪哺乳一侧,从而能够较为完整地拍摄到母猪及其腹部。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,第一样本图像中第一对象的哺乳部位有可能发生遮挡的情况下,为了提高第一热度网络的精度,也可以将被遮挡的哺乳部位进行标注。此外,在第一对象躺卧的情况下,对于肢体与躯干的连接点,可以仅标注外侧的连接点,而靠近于地面的内侧连接点,可以不做标注。仍以畜牧养殖场景为例,通过上述方式标注之后,第一样本图像中可以标注有:前肢与躯干的连接点、后肢与躯干的连接点、若干哺乳部位。此外,为了便于区分不同位置的哺乳部位,可以对不同哺乳部位给予不同标识符。
在一个实施场景中,可以进一步将上述第一点分为5类点:前肢与躯干的连接点、后肢与躯干的连接点、靠近前肢的哺乳部位、靠近后肢的哺乳部位以及中间哺乳部位。在此基础上,可以生成关于前肢与躯干的连接点的第一样本热度图,并生成关于后肢与躯干的连接点的第一样本热度图,以及生成关于靠近前肢的哺乳部位的第一样本热度图、生成关于靠近后肢的哺乳部位的第一样本热度图、生成关于中间哺乳部位的第一样本热度图。具体地,每个第一点可以由高斯内核生成对应的第一样本热度图,且每个高斯内核由2*2的协方差矩阵定义,具体可以由对称的二维高斯核被一个标准差乘上一个2*2单位矩阵来定义。具体可以参阅高斯内核相关技术细节,在此不再赘述。需要说明的是,在生成第一样本热度图之前,高斯内核可以先被归一化处理。此外,与前述第一热度图和第二热度图类似地,第一样本热度图中每个像素点的热度值表示该像素点至第一点的远近,若热度值较大,则表明该像素点至第一点较近,反之若热度值较小,则表明该像素点至第一点较远。以前肢与躯干的连接点为例,其对应的第一样本热度图中每一像素点的热度值表示该像素点至连接点的远近,若热度值较大,则表明该像素点至连接点较近,反之,若热度值较小,则表明该像素点至连接点较远。其他情况可以以此类推,在此不再一一举例。
步骤S32:利用第一热度网络对第一样本图像进行热度预测,得到若干第一点的第一预测热度图。
具体地,以第一热度网络的网络结构采用编码器-解码器为例,第一样本热度图输入第一热度网络之后,先进行3次下采样,并执行若干组卷积与池化操作,之后即可使用激活层进行像素分类。需要说明的是,编码器执行过程中,每次下采样接2*2的最大池化层,而解码器执行过程中,每次上采样接2*2的上采样层,并使用池化索引(即Pooling、indices)来确定1*1特征点对应于上采样后的2*2区域的确切位置,从而能够转移解码器来改善图像分割率。
步骤S32:基于相同第一点的第一样本热度图和第一预测热度图之间的差异,调整第一热度网络的网络参数。
具体地,对于相同第一点的第一样本热度图和第一预测热度图而言,可以通过最小均方误差等损失函数处理两者内对应像素点,以获取每个第一点对应的热度预测损失,并统计所有第一点的热度预测损失,得到第一热度网络的总损失。在此基础上,可以基于总损失,调整第一热度网络的网络参数。
上述方案,基于标注有若干第一点的第一样本图像,生成若干第一点的第一样本热度图,并利用第一热度网络对第一样本图像进行热度预测,得到若干第一点的第一预测热度图,从而基于相同第一点的第一样本热度图和第一预测热度图之间的差异,调整第一热度网络的网络参数,能够提高第一热度网络的准确性。
请参阅图4,图4是训练第二热度网络一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S41:基于标注有若干第二点的第二样本图像,分别生成关于第二点的若干第二样本热度图。
在一个实施场景中,第二样本图像的采集过程可以参阅第一样本图像,在此不再赘述。
在一个实施场景中,仍以畜牧养殖场景为例,第二对象可以包括牲畜,则若干第二点具体可以包括:左耳根、右耳根和尾根。也就是说,在收集得到包含第二对象的第二样本图像之后,可以在第二样本图像中标注诸如左耳根、右耳根和尾根等第二点。其他场景可以以此类推,在此不再一一举例。如前述公开实施例中,通过标注尾根能够在由于第二对象拥挤等原因而导致第二对象相互遮挡时,仍然能够准确地定位到属于相同第二对象的左耳根和右耳根。
本公开实施例中,若干第二样本热度图包括:各个第二点的第二样本热度图,第二点的样本偏移向量的第二样本热度图,样本偏移向量表示第二点至参考点的样本偏移方向和样本偏移距离。
在一个实施场景中,对于第二点而言,可以根据第二点在第二样本图像中的位置,利用高斯内核生成对应的第二样本热度图。高斯内核的具体含义可以参阅前述公开实施例相关描述,在此不再赘述。需要说明的是,第二点的第二样本热度图中各个像素点的热度值表示该像素点距第二点的远近,热度值越大,表明该像素点至第二点越近,反之,热度值越小,表明该像素点至第二点越远。
在一个实施场景中,对于第二点的偏移向量而言,其可以表示为水平方向(即x轴方向)的偏移量和垂直方向(即y轴方向)的偏移量。故对于水平方向的偏移量,可以生成一张第二样本热度图,且该第二样本热度图中对应于第二点位置的像素点,其热度值对应于第二点与其参考点在水平方向的偏移量;类似地,对于垂直方向的偏移量,也可以生成一张第二样本热度图,且该第二样本热度图中对应于第二点位置的像素点,其热度值对应于第二点与其参考点在垂直方向的偏移量。
在一个实施场景中,仍以畜牧养殖场景为例,若干第二点可以包括左耳根、右耳根和尾根,这三个第二点分别对应于一个第二样本热度图,即第二样本热度图channel1可以对应于左耳根,第二样本热度图channel2可以对应于右耳根,第二样本热度图channel3可以对应于尾根。类似地,样本偏移向量的第二样本热度图可以包括如下8通道:channel4对应于左耳根(第二点)至右耳根(参考点)水平方向(即x轴方向)的偏移量(即xle-xre),channel5对应于左耳根(第二点)至右耳根(参考点)垂直方向(即y轴方向)的偏移量(即yle-yre),channel6对应于右耳根(第二点)至左耳根(参考点)水平方向(即x轴方向)的偏移量(即xre-xle),channel7对应于右耳根(第二点)至左耳根(参考点)垂直方向的偏移量(即yre-yle),channel8对应于尾根(第二点)至右耳根(参考点)水平方向(即x轴方向)的偏移量(xt-xre),channel9对应于尾根(即第二点)至右耳根(即参考点)垂直方向(即y轴方向)的偏移量(即yt-yre),channel10对应于右耳根(第二点)至尾根(参考点)水平方向的偏移量(即xre-xt),channel11对应于右耳根(第二点)至尾根(参考点)垂直方向的偏移量(即yre-yt)。此外上述8个通道的第二样本热度图也可以采用不同组合形式,具体可以参阅前述公开实施例中关于偏移向量的第二热度图,在此不再赘述。
在一个实施场景中,请结合参阅图5,图5是第二点和偏移向量一实施例的示意图。如图5所示,网格填充圆形表示右耳根,散点填充圆形表示左耳根,斜线填充圆形表示尾根,根据上述三者可以分别生成对应的第二样本热度图;此外,图5中箭头分别表示第二点至参考点的偏移向量,根据图5中4个偏移向量可以分别生成上述channel4~channel11共8个通道的偏移向量的第二样本热度图。
步骤S42:利用第二热度网络对第二样本图像进行热度预测,得到关于第二点的若干第二预测热度图。
本公开实施例中,若干第二预测热度图包括:各个第二点的第二预测热度图,第二点的预测偏移向量的第二预测热度图,预测偏移向量表示第二点至参考点的预测偏移方向和预测偏移距离。
在一个实施场景中,第二点的第二预测热度图和预测偏移向量的第二预测热度图的具体含义,可以参阅前述第二点的第二样本热度图和样本偏移向量的第二样本热度图,或者也可以参阅前述公开实施例中第二点的第二热度图和偏移向量的第二热度图,在此不再赘述。
在一个实施场景中,第二热度网络的具体处理过程,可以参阅前述公开实施例中第一热度网络处理第一样本图像的过程,在此不再赘述。
步骤S43:分别对于每一第二点,基于第二样本热度图和第二预测热度图在各个像素位置上的差异,得到第一损失,并基于样本偏移向量的第二样本热度图和预测偏移向量的第二预测热度图在预设位置上的差异,得到第二损失。
本公开实施例中,如前所述,每一第二点均存在其本身的第二样本热度图和第二预测热度图,以及其样本偏移向量的第二样本热度图和其预测偏移向量的第二预测热度图。对于其本身所对应的热度图和其偏移向量对应的热度图,由于两者在后续应用时作用机理并不相同,故需采样不同对策计算损失。
在一个实施场景中,对于第二点其本身的第二样本热度图和第二预测热度图,可以计算两者在各个像素位置上的差异,得到第一损失。
在另一个实施场景中,对于第二点偏移向量对应的热度图,可以计算两者仅在预设位置处的差异,得到第二损失。该预设位置具体可以是样本偏移向量的起点位置,即第二点的实际位置。
步骤S44:基于第一损失和第二损失,调整第二热度网络的网络参数。
在得到各个第二点分别对应的第一损失和第二损失之后,即可综合这些损失(如,可以对这些损失进行求和、取平均、加权等)得到总损失,并基于总损失,调整第二热度网络的网络参数。
上述方案,基于标注有若干第二点的第二样本图像,分别生成关于第二点的若干第二样本热度图,且若干第二样本热度图包括:各个第二点的第二样本热度图,第二点的样本偏移向量的第二样本热度图,样本偏移向量表示第二点至参考点的样本偏移方向和样本偏移距离,在此基础上,利用第二热度网络对第二样本图像进行热度预测,得到关于第二点的若干第二预测热度图,且若干第二预测热度图包括:各个第二点的第二预测热度图,第二点的预测偏移向量的第二预测热度图,预测偏移向量表示第二点至参考点的预测偏移方向和预测偏移距离,从而分别对于每一第二点,基于第二样本热度图和第二预测热度图在各个像素位置上的差异,得到第一损失,并基于样本偏移向量的第二样本热度图和预测偏移向量的第二预测热度图在预设位置上的差异,得到第二损失,且预设位置包括样本偏移向量的起点位置,最终基于第一损失和第二损失,调整第二热度网络的网络参数,故对于第二点本身的热度图和第二点偏移向量的热度图采用不用的损失策略,有利于优化训练流程,提高第二热度网络的准确性。
请参阅图6,图6是本申请泌乳鉴定方法一实施例的流程示意图。
具体而言,可以包括如下步骤:
步骤S61:获取对第一对象和第二对象的拍摄视频。
在一个实施场景中,仍以畜牧养殖场景为例,如前所述,可以在养殖场固定摄像器件,且摄像器件的拍摄范围可以覆盖养殖场。例如,一般在哺乳母猪舍内,母猪躺卧时,哺乳部位的暴露方向固定,故可以将摄像器件放置于养殖场上方并偏向于母猪哺乳一侧,从而能够较为完整地拍摄到母猪及其腹部,以拍摄到母猪和仔猪的拍摄视频。其他情况可以以此类推,在此不再一一举例。
步骤S62:分别将拍摄视频中各帧图像作为原始图像,并获取原始图像中第一对象各个哺乳部位的哺乳识别结果。
本公开实施例中,哺乳识别结果是利用上述任一哺乳识别方法实施例中步骤得到的,具体可以参阅前述公开实施例,在此不再赘述。
步骤S63:基于各帧图像中各个哺乳部位的哺乳识别结果,分析得到第一对象的泌乳鉴定结果。
具体地,对于每一哺乳部位,可以统计哺乳识别结果包括存在哺乳行为的图像帧数,得到哺乳部位的哺乳次数,并基于各个哺乳部位的第一次数,得到第一对象的平均哺乳时长,以基于平均哺乳时长,得到第一对象的泌乳鉴定结果。即对于每个哺乳部位,可以将统计到哺乳识别结果包括存在哺乳行为的图像帧数,作为该哺乳部位的哺乳次数。例如,第一对象存在2个哺乳部位,对于第1个哺乳部位,统计到其哺乳识别结果包括存在哺乳行为的图像帧数为K帧,则可以认为第1个哺乳部位的哺乳次数为K,对于第2个哺乳部位,统计到其哺乳识别结果包括存在哺乳行为的图像帧数为L,则可以认为第2个哺乳部位的哺乳次数为L。其他情况可以以此类推,在此不再一一举例。上述方式,对于每一哺乳部位,统计哺乳识别结果包括存在哺乳行为的图像帧数,得到哺乳部位的哺乳次数,并基于各个哺乳部位的哺乳次数,得到第一对象的平均哺乳时长,最终基于平均哺乳时长,得到第一对象的泌乳鉴定结果,有利于提高泌乳鉴定的准确性。
在一个实施场景中,可以分别将每个哺乳部位的哺乳次数除以帧率,得到各个哺乳部位的哺乳时长,再对各个哺乳部位的哺乳时长取平均,即可得到平均哺乳时长;或者,也可以将所有哺乳部位的哺乳次数取平均,得到平均哺乳次数,再将平均哺乳次数除以帧率,得到平均哺乳时长。
在另一个实施场景中,在平均哺乳时长位于预设时长范围的情况下,可以确定泌乳鉴定结果包括泌乳正常。
在又一个实施场景中,在平均哺乳时长低于预设时长范围的下限值的情况下,或者在平均哺乳时长低于第一时长阈值的情况下,可以确定泌乳鉴定结果包括泌乳不正常。需要说明的是,第一时长阈值可以小于预设时长范围的下限值。
在又一个实施场景中,如前所述,在平均哺乳时长低于预设时长范围的下限值的情况下,或者在平均哺乳时长低于第一时长阈值的情况下,可以确定泌乳鉴定结果包括泌乳不正常。在此基础上,可以进一步对各个哺乳部位的哺乳次数(或哺乳时长)进行检测,若哺乳次数少于次数阈值,或者哺乳时长少于第二时长阈值,则可以确定泌乳鉴定结果进一步包括该哺乳部位泌乳不正常。此外,还可以提示用户(如,畜牧人员、养殖户等)检查该哺乳部位是否健康。
上述方案,获取对第一对象和第二对象的拍摄视频,并分别将拍摄视频中各帧图像作为原始图像,并获取原始图像中第一对象各个哺乳部位的哺乳识别结果,且哺乳识别结果是利用上述任一哺乳识别方法实施例中步骤得到的,在此基础上,再基于各帧图像中各个哺乳部位的哺乳识别结果,分析得到第一对象的泌乳鉴定结果,能够在高效、准确且安全地实现哺乳识别基础上,高效、准确且安全地实现泌乳鉴定。
请参阅图7,图7是本申请哺乳识别装置70一实施例的框架示意图。哺乳识别装置70包括:第一检测模块71、区域获取模块72、第二检测模块73和行为分析模块74,第一检测模块71用于对原始图像进行第一检测,得到第一对象的若干哺乳部位;区域获取模块72用于基于若干哺乳部位,在原始图像中确定哺乳区域;第二检测模块73用于对哺乳区域进行第二检测,得到位于哺乳区域的第二对象的若干关键点;行为分析模块74用于分别基于各个哺乳部位和若干关键点,得到各个哺乳部位的哺乳识别结果;其中,哺乳识别结果表示哺乳部位是否存在哺乳行为。
上述方案,对原始图像进行第一检测,得到第一对象的若干哺乳部位,并基于若干哺乳部位,在原始图像中确定哺乳区域,以及对哺乳区域进行第二检测,得到位于哺乳区域的第二对象的若干关键点,在此基础上,再分别基于各个哺乳部位和若干关键点,得到各个哺乳部位的哺乳识别结果,且哺乳识别结果表示哺乳部位是否存在哺乳行为,一方面由于通过图像检测而无需依赖人工识别即可实现哺乳行为的识别,能够提高识别效率,另一方面由于在畜牧养殖场景中无需人畜接触即可识别哺乳行为,能够实现安全识别,此外,通过定位第一对象的哺乳部位,并基于哺乳部位确定哺乳区域,以及在哺乳区域定位第二对象的关键点,从而根据各个哺乳部位和关键点,分析得到各个哺乳部位的哺乳识别结果,能够提高识别精度,故此能够高效、准确且安全地实现哺乳识别。
在一些公开实施例中,若干关键点包括左耳根和右耳根;行为分析模块74包括参考直线获取子模块,用于将连接左耳根和右耳根的直线,作为参考直线;行为分析模块74包括待识别点集获取子模块,用于基于若干哺乳部位分别至参考直线的垂直距离,选择一个哺乳部位与左耳根和右耳根组成待识别点集;行为分析模块74包括结果分析子模块,用于基于待识别点集,分析得到待识别点集中哺乳部位的哺乳识别结果。
因此,通过将若干关键点设置包括左耳根和右耳根,并获取连接左耳根和右耳根的参考直线,通过各个哺乳部位分别至参考直线的垂直距离,选择一个哺乳部位与左耳根和右耳根联立成为一个待识别点集,并分析待识别点集中哺乳部位的哺乳识别结果,从而能够通过垂直距离将哺乳部位与第二对象关联,以进一步分析哺乳部位是否存在哺乳行为,进而能够有利于提高哺乳识别的准确性。
在一些公开实施例中,结果分析子模块包括向量获取单元,用于获取由哺乳部位至左耳根的第一向量,并获取由哺乳部位至右耳根的第二向量;结果分析子模块包括结果识别单元,用于基于第一向量与第二向量之间的夹角,得到哺乳识别结果。
因此,通过获取由哺乳部位至左耳根的第一向量,并获取由哺乳部位至右耳根的第二向量,从而直接基于第一向量和第二向量之间的夹角,即可得到哺乳识别结果,能够有利于降低哺乳识别的复杂度。
在一些公开实施例中,待识别点集获取子模块包括垂直距离计算单元,用于获取若干哺乳部位分别至参考直线的垂直距离;待识别点集获取子模块包括哺乳部位选择单元,用于选择最小垂直距离对应的哺乳部位,与左耳根和右耳根组成待识别点集。
因此,通过获取若干哺乳部位分别指参考直线的垂直距离,并选择最小垂直距离对应的哺乳部位,与左耳根和右耳根组成待识别点集,以将第二对象与某一哺乳部位关联,能够有利于提高关联的准确性。
在一些公开实施例中,第一检测模块71包括第一热度预测子模块,用于利用第一热度网络对原始图像进行热度预测,得到第一对象的若干第一点的第一热度图;其中,若干第一点包括哺乳部位以及肢体与躯干的连接点;第一检测模块71包括第一位置获取子模块,用于分别基于若干第一点的第一热度图,得到若干第一点的第一位置;第一检测模块71包括哺乳位置预测子模块,用于利用位置预测网络对若干第一点的第一位置和第一对象的哺乳部位数量进行位置预测,得到第一对象的若干哺乳部位。
因此,通过第一热度图对第一点进行位置定位,并结合第一点的第一位置和第一对象的哺乳部位数量进行位置预测,由于现实场景中,第一对象的哺乳部位可能会被遮挡,导致位置定位不精确,故通过位置预测能够回归检测得到哺乳部位,有利于提高哺乳部位检测的鲁棒性。
在一些公开实施例中,第一热度网络的网络结构为编码器-解码器;和/或,位置预测网络包括若干全连接层。
在一些公开实施例中,哺乳识别装置70还包括第一样本获取模块,用于基于标注有若干第一点的第一样本图像,分别生成若干第一点的第一样本热度图;哺乳识别装置70还包括第一样本预测模块,用于利用第一热度网络对第一样本图像进行热度预测,得到若干第一点的第一预测热度图;哺乳识别装置70还包括第一网络参数调整模块,用于基于相同第一点的第一样本热度图和第一预测热度图之间的差异,调整第一热度网络的网络参数。
因此,基于标注有若干第一点的第一样本图像,生成若干第一点的第一样本热度图,并利用第一热度网络对第一样本图像进行热度预测,得到若干第一点的第一预测热度图,从而基于相同第一点的第一样本热度图和第一预测热度图之间的差异,调整第一热度网络的网络参数,能够提高第一热度网络的准确性。
在一些公开实施例中,第二检测模块73包括第二热度预测子模块,用于利用第二热度网络对哺乳区域进行热度预测,得到关于第二对象的第二点的若干第二热度图;其中,若干第二热度图包括:各个第二点的第二热度图、第二点的偏移向量的第二热度图,偏移向量表示第二点至参考点的偏移方向和偏移距离,且参考点与第二点属于相同第二对象;第二检测模块73包括第二点获取子模块,用于基于各个第二点的第二热度图,确定位于哺乳区域内的第二点;第二检测模块73包括第二点聚类子模块,用于基于哺乳区域内第二点和第二点的偏移向量的第二热度图,确定属于相同第二对象的第二点;第二检测模块73包括关键点获取子模块,用于将属于相同第二对象的第二点,作为第二对象的若干关键点。
因此,通过第二点的第二热度图对第二点进行位置定位,并结合第二点的偏移向量的第二热度图圈定属于相同第二对象的第二点,有利于在多个第二对象的情况下,仍然能够准确地检测出每一第二对象的若干关键点,有利于提高关键点检测的准确性。
在一些公开实施例中,第二对象包括牲畜,第二点包括左耳根、右耳根和尾根,若干第二热度图包括:左耳根的第二热度图、右耳根的第二热度图、尾根的第二热度图、左耳根至右耳根偏移向量的第二热度图、右耳根至左耳根偏移向量的第二热度图、右耳根至尾根偏移向量的第二热度图和尾根至右耳根偏移向量的第二热度图;和/或,第二热度网络的网络结构为编码器-解码器。
因此,在第二对象包括牲畜的情况下,第二点包括左耳根、右耳根和尾根,且若干第二热度图包括:左耳根的第二热度图、右耳根的第二热度图、尾根的第二热度图、左耳根至右耳根偏移向量的第二热度图、右耳根至左耳根偏移向量的第二热度图、右耳根至尾根偏移向量的第二热度图和尾根至右耳根偏移向量的第二热度图,故能够有利于在牲畜拥挤的情况下,能够结合左耳根、右耳根和尾根三者共同进行定位,从而能够有利于大大提升圈定属于相同第二对象的第二点的准确性。
在一些公开实施例中,哺乳识别装置70还包括第二样本获取模块,用于基于标注有若干第二点的第二样本图像,分别生成关于第二点的若干第二样本热度图;其中,若干第二样本热度图包括:各个第二点的第二样本热度图,第二点的样本偏移向量的第二样本热度图,样本偏移向量表示第二点至参考点的样本偏移方向和样本偏移距离;哺乳识别装置70还包括第二样本预测模块,用于利用第二热度网络对第二样本图像进行热度预测,得到关于第二点的若干第二预测热度图;其中,若干第二预测热度图包括:各个第二点的第二预测热度图,第二点的预测偏移向量的第二预测热度图,预测偏移向量表示第二点至参考点的预测偏移方向和预测偏移距离;哺乳识别装置70还包括预测损失计算模块,用于分别对于每一第二点,基于第二样本热度图和第二预测热度图在各个像素位置上的差异,得到第一损失,并基于样本偏移向量的第二样本热度图和预测偏移向量的第二预测热度图在预设位置上的差异,得到第二损失;其中,预设位置包括样本偏移向量的起点位置;哺乳识别装置70还包括第二网络参数调整模块,用于基于第一损失和第二损失,调整第二热度网络的网络参数。
因此,对于第二点本身的热度图和第二点偏移向量的热度图采用不用的损失策略,有利于优化训练流程,提高第二热度网络的准确性。
请参阅图8,图8是本申请泌乳鉴定装置80一实施例的框架示意图。泌乳鉴定装置80包括:视频获取模块81、哺乳识别模块82和结果获取模块83,视频获取模块81用于获取对第一对象和第二对象的拍摄视频;哺乳识别模块82用于分别将拍摄视频中各帧图像作为原始图像,并获取原始图像中第一对象各个哺乳部位的哺乳识别结果;其中,哺乳识别结果是利用上述第三方面中的哺乳识别装置得到的;结果获取模块83用于基于各帧图像中各个哺乳部位的哺乳识别结果,分析得到第一对象的泌乳鉴定结果。
上述方案,获取对第一对象和第二对象的拍摄视频,并分别将拍摄视频中各帧图像作为原始图像,并获取原始图像中第一对象各个哺乳部位的哺乳识别结果,且哺乳识别结果是利用上述任一哺乳识别方法实施例中步骤得到的,在此基础上,再基于各帧图像中各个哺乳部位的哺乳识别结果,分析得到第一对象的泌乳鉴定结果,能够在高效、准确且安全地实现哺乳识别基础上,高效、准确且安全地实现泌乳鉴定。
在一些公开实施例中,结果获取模块83包括哺乳次数统计子模块,用于对于每一哺乳部位,统计哺乳识别结果包括存在哺乳行为的图像帧数,得到哺乳部位的哺乳次数;结果获取模块83包括平均时长统计子模块,用于基于各个哺乳部位的哺乳次数,得到第一对象的平均哺乳时长;结果获取模块83包括鉴定结果获取子模块,用于基于平均哺乳时长,得到第一对象的泌乳鉴定结果。
因此,对于每一哺乳部位,统计哺乳识别结果包括存在哺乳行为的图像帧数,得到哺乳部位的哺乳次数,并基于各个哺乳部位的哺乳次数,得到第一对象的平均哺乳时长,最终基于平均哺乳时长,得到第一对象的泌乳鉴定结果,有利于提高泌乳鉴定的准确性。
请参阅图9,图9是本申请电子设备90一实施例的框架示意图。电子设备90包括相互耦接的存储器91和处理器92,存储器91中存储有程序指令,处理器92用于执行程序指令以实现上述任一哺乳识别方法实施例中的步骤,或实现上述任一泌乳鉴定方法实施例中的步骤。具体地,电子设备90可以包括但不限于:台式计算机、笔记本电脑、服务器、手机、平板电脑等等,在此不做限定。
具体而言,处理器92用于控制其自身以及存储器91以实现上述任一哺乳识别方法实施例中的步骤,或实现上述任一泌乳鉴定方法实施例中的步骤。处理器92还可以称为CPU(Central Processing Unit,中央处理单元)。处理器92可能是一种集成电路芯片,具有信号的处理能力。处理器92还可以是通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器92可以由集成电路芯片共同实现。
上述方案,一方面由于通过图像检测而无需依赖人工识别即可实现哺乳行为的识别,能够提高识别效率,另一方面由于在畜牧养殖场景中无需人畜接触即可识别哺乳行为,能够实现安全识别,此外,通过定位第一对象的哺乳部位,并基于哺乳部位确定哺乳区域,以及在哺乳区域定位第二对象的关键点,从而根据各个哺乳部位和关键点,分析得到各个哺乳部位的哺乳识别结果,能够提高识别精度,故此能够高效、准确且安全地实现哺乳识别。
请参阅图10,图10是本申请计算机可读存储介质100一实施例的框架示意图。计算机可读存储介质100存储有能够被处理器运行的程序指令101,程序指令101用于实现上述任一哺乳识别方法实施例中的步骤,或实现上述任一泌乳鉴定方法实施例中的步骤。
上述方案,一方面由于通过图像检测而无需依赖人工识别即可实现哺乳行为的识别,能够提高识别效率,另一方面由于在畜牧养殖场景中无需人畜接触即可识别哺乳行为,能够实现安全识别,此外,通过定位第一对象的哺乳部位,并基于哺乳部位确定哺乳区域,以及在哺乳区域定位第二对象的关键点,从而根据各个哺乳部位和关键点,分析得到各个哺乳部位的哺乳识别结果,能够提高识别精度,故此能够高效、准确且安全地实现哺乳识别。
在一些实施例中,本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

Claims (16)

1.一种哺乳识别方法,其特征在于,包括:
对原始图像进行第一检测,得到第一对象的若干哺乳部位;
基于所述若干哺乳部位,在所述原始图像中确定哺乳区域;
对所述哺乳区域进行第二检测,得到位于所述哺乳区域的第二对象的若干关键点;
分别基于各个所述哺乳部位和所述若干关键点,得到各个所述哺乳部位的哺乳识别结果;其中,所述哺乳识别结果表示所述哺乳部位是否存在哺乳行为。
2.根据权利要求1所述的方法,其特征在于,所述若干关键点包括左耳根和右耳根;所述分别基于各个所述哺乳部位和所述若干关键点,得到各个所述哺乳部位的哺乳识别结果,包括:
将连接所述左耳根和所述右耳根的直线,作为参考直线;
基于所述若干哺乳部位分别至所述参考直线的垂直距离,选择一个所述哺乳部位与所述左耳根和所述右耳根组成待识别点集;
基于所述待识别点集,分析得到所述待识别点集中所述哺乳部位的哺乳识别结果。
3.根据权利要求2所述的方法,其特征在于,所述基于所述待识别点集,分析得到所述待识别点集中所述哺乳部位的哺乳识别结果,包括:
获取由所述哺乳部位至所述左耳根的第一向量,并获取由所述哺乳部位至所述右耳根的第二向量;
基于所述第一向量与所述第二向量之间的夹角,得到所述哺乳识别结果。
4.根据权利要求2所述的方法,其特征在于,所述基于所述若干哺乳部位分别至所述参考直线的垂直距离,选择一个所述哺乳部位与所述左耳根和所述右耳根组成待识别点集,包括:
获取所述若干哺乳部位分别至所述参考直线的垂直距离;
选择最小所述垂直距离对应的所述哺乳部位,与所述左耳根和所述右耳根组成所述待识别点集。
5.根据权利要求1所述的方法,其特征在于,所述对原始图像进行第一检测,得到第一对象的若干哺乳部位,包括:
利用第一热度网络对所述原始图像进行热度预测,得到所述第一对象的若干第一点的第一热度图;其中,所述若干第一点包括哺乳部位以及肢体与躯干的连接点;
分别基于所述若干第一点的所述第一热度图,得到所述若干第一点的第一位置;
利用位置预测网络对所述若干第一点的第一位置和所述第一对象的哺乳部位数量进行位置预测,得到所述第一对象的若干哺乳部位。
6.根据权利要求5所述的方法,其特征在于,所述第一热度网络的网络结构为编码器-解码器;
和/或,所述位置预测网络包括若干全连接层。
7.根据权利要求5所述的方法,其特征在于,所述第一热度网络的训练步骤包括:
基于标注有所述若干第一点的第一样本图像,分别生成所述若干第一点的第一样本热度图;
利用所述第一热度网络对所述第一样本图像进行热度预测,得到所述若干第一点的第一预测热度图;
基于相同所述第一点的所述第一样本热度图和所述第一预测热度图之间的差异,调整所述第一热度网络的网络参数。
8.根据权利要求1所述的方法,其特征在于,所述对所述哺乳区域进行第二检测,得到位于所述哺乳区域的第二对象的若干关键点,包括:
利用第二热度网络对所述哺乳区域进行热度预测,得到关于所述第二对象的第二点的若干第二热度图;其中,所述若干第二热度图包括:各个所述第二点的第二热度图、所述第二点的偏移向量的第二热度图,所述偏移向量表示所述第二点至参考点的偏移方向和偏移距离,且所述参考点与所述第二点属于相同所述第二对象;
基于各个所述第二点的第二热度图,确定位于所述哺乳区域内的所述第二点;
基于所述哺乳区域内所述第二点和所述第二点的偏移向量的第二热度图,确定属于相同所述第二对象的所述第二点;
将属于相同所述第二对象的所述第二点,作为所述第二对象的若干关键点。
9.根据权利要求8所述的方法,其特征在于,所述第二对象包括牲畜,所述第二点包括左耳根、右耳根和尾根,所述若干第二热度图包括:所述左耳根的第二热度图、所述右耳根的第二热度图、所述尾根的第二热度图、所述左耳根至所述右耳根偏移向量的第二热度图、所述右耳根至所述左耳根偏移向量的第二热度图、所述右耳根至所述尾根偏移向量的第二热度图和所述尾根至所述右耳根偏移向量的第二热度图;
和/或,所述第二热度网络的网络结构为编码器-解码器。
10.根据权利要求8所述的方法,其特征在于,所述第二热度网络的训练步骤包括:
基于标注有所述第二点的第二样本图像,分别生成关于所述第二点的若干第二样本热度图;其中,所述若干第二样本热度图包括:各个所述第二点的所述第二样本热度图,所述第二点的样本偏移向量的所述第二样本热度图,所述样本偏移向量表示所述第二点至所述参考点的样本偏移方向和样本偏移距离;
利用所述第二热度网络对所述第二样本图像进行热度预测,得到关于所述第二点的若干第二预测热度图;其中,所述若干第二预测热度图包括:各个所述第二点的所述第二预测热度图,所述第二点的预测偏移向量的所述第二预测热度图,所述预测偏移向量表示所述第二点至所述参考点的预测偏移方向和预测偏移距离;
分别对于每一所述第二点,基于所述第二样本热度图和所述第二预测热度图在各个像素位置上的差异,得到第一损失,并基于所述样本偏移向量的所述第二样本热度图和所述预测偏移向量的所述第二预测热度图在预设位置上的差异,得到第二损失;其中,所述预设位置包括所述样本偏移向量的起点位置;
基于所述第一损失和所述第二损失,调整所述第二热度网络的网络参数。
11.一种泌乳鉴定方法,其特征在于,包括:
获取对所述第一对象和所述第二对象的拍摄视频;
分别将所述拍摄视频中各帧图像作为原始图像,并获取所述原始图像中所述第一对象各个哺乳部位的哺乳识别结果;其中,所述哺乳识别结果是利用权利要求1至10任一项所述哺乳识别方法得到的;
基于所述各帧图像中所述各个哺乳部位的哺乳识别结果,分析得到所述第一对象的泌乳鉴定结果。
12.根据权利要求11所述的方法,其特征在于,所述基于所述各帧图像中所述各个哺乳部位的哺乳识别结果,分析得到所述第一对象的泌乳鉴定结果,包括:
对于每一所述哺乳部位,统计所述哺乳识别结果包括存在所述哺乳行为的图像帧数,得到所述哺乳部位的哺乳次数;
基于所述各个哺乳部位的所述哺乳次数,得到所述第一对象的平均哺乳时长;
基于所述平均哺乳时长,得到所述第一对象的泌乳鉴定结果。
13.一种哺乳识别装置,其特征在于,包括:
第一检测模块,用于对原始图像进行第一检测,得到第一对象的若干哺乳部位;
区域获取模块,用于基于所述若干哺乳部位,在所述原始图像中确定哺乳区域;
第二检测模块,用于对所述哺乳区域进行第二检测,得到位于所述哺乳区域的第二对象的若干关键点;
行为分析模块,用于分别基于各个所述哺乳部位和所述若干关键点,得到各个所述哺乳部位的哺乳识别结果;其中,所述哺乳识别结果表示所述哺乳部位是否存在哺乳行为。
14.一种泌乳鉴定装置,其特征在于,包括:
视频获取模块,用于获取对所述第一对象和所述第二对象的拍摄视频;
哺乳识别模块,用于分别将所述拍摄视频中各帧图像作为原始图像,并获取所述原始图像中所述第一对象各个哺乳部位的哺乳识别结果;其中,所述哺乳识别结果是利用权利要求13所述哺乳识别装置得到的;
结果获取模块,用于基于所述各帧图像中所述各个哺乳部位的哺乳识别结果,分析得到所述第一对象的泌乳鉴定结果。
15.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述存储器中存储有程序指令,所述处理器用于执行所述程序指令以实现权利要求1至10任一项所述的哺乳识别方法,或实现权利要求11至12任一项所述的泌乳鉴定方法。
16.一种计算机可读存储介质,其特征在于,存储有能够被处理器运行的程序指令,所述程序指令用于实现权利要求1至10任一项所述的哺乳识别方法,或实现权利要求11至12任一项所述的泌乳鉴定方法。
CN202110750294.XA 2021-07-02 2021-07-02 哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质 Pending CN113780052A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110750294.XA CN113780052A (zh) 2021-07-02 2021-07-02 哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110750294.XA CN113780052A (zh) 2021-07-02 2021-07-02 哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质

Publications (1)

Publication Number Publication Date
CN113780052A true CN113780052A (zh) 2021-12-10

Family

ID=78836038

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110750294.XA Pending CN113780052A (zh) 2021-07-02 2021-07-02 哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质

Country Status (1)

Country Link
CN (1) CN113780052A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204750A (ja) * 2004-01-20 2005-08-04 Japan Science & Technology Agency 哺乳類(雌)の発情時期のスクリーニング方法
CN108935137A (zh) * 2018-07-16 2018-12-07 华南农业大学 一种新型母猪福利智能产房、圈舍以及应用方法
CN109492535A (zh) * 2018-10-12 2019-03-19 华南农业大学 一种计算机视觉的母猪哺乳行为识别方法
CN110598658A (zh) * 2019-09-18 2019-12-20 华南农业大学 一种母猪哺乳行为的卷积网络识别方法
CN210077630U (zh) * 2016-09-22 2020-02-18 德利尼控股有限公司 用于对活体哺乳动物身体部位进行热成像的设备
CN111543348A (zh) * 2020-05-14 2020-08-18 深聆科技(北京)有限公司 养殖场的声音定位装置、方法及幼崽监控方法
CN112820275A (zh) * 2021-01-15 2021-05-18 华中农业大学 一种基于声音信号分析哺乳仔猪异常的自动监测方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005204750A (ja) * 2004-01-20 2005-08-04 Japan Science & Technology Agency 哺乳類(雌)の発情時期のスクリーニング方法
CN210077630U (zh) * 2016-09-22 2020-02-18 德利尼控股有限公司 用于对活体哺乳动物身体部位进行热成像的设备
CN108935137A (zh) * 2018-07-16 2018-12-07 华南农业大学 一种新型母猪福利智能产房、圈舍以及应用方法
CN109492535A (zh) * 2018-10-12 2019-03-19 华南农业大学 一种计算机视觉的母猪哺乳行为识别方法
CN110598658A (zh) * 2019-09-18 2019-12-20 华南农业大学 一种母猪哺乳行为的卷积网络识别方法
CN111543348A (zh) * 2020-05-14 2020-08-18 深聆科技(北京)有限公司 养殖场的声音定位装置、方法及幼崽监控方法
CN112820275A (zh) * 2021-01-15 2021-05-18 华中农业大学 一种基于声音信号分析哺乳仔猪异常的自动监测方法

Similar Documents

Publication Publication Date Title
KR101607934B1 (ko) 전염병 모니터링 방법 및 이를 이용한 시스템, 이를 수행하기 위한 기록매체
CN107680080B (zh) 牲畜的样本库建立方法和清点方法、存储介质和电子设备
US11910784B2 (en) Animal visual identification, tracking, monitoring and assessment systems and methods thereof
KR101837027B1 (ko) 열화상 영상 기반의 슈퍼픽셀을 활용한 객체 추적 장치 및 방법
Guzhva et al. Now you see me: Convolutional neural network based tracker for dairy cows
US11594060B2 (en) Animal information management system and animal information management method
WO2020078114A1 (zh) 动物分娩的识别方法、装置和设备
US20230260327A1 (en) Autonomous livestock monitoring
CN113393487B (zh) 运动目标检测方法、装置、电子设备及介质
US20240087368A1 (en) Companion animal life management system and method therefor
KR102584357B1 (ko) 반문 이미지를 기반으로 한 축산 동물의 개체 식별 장치 및 영상을 기반으로 한 가축 행동 패턴 분류 시스템 및 가축 행동 패턴 분류 방법
CN112182269B (zh) 图像分类模型的训练、图像分类方法、装置、设备及介质
CN115830490A (zh) 一种群养生猪多目标跟踪及行为统计方法
CN112036206A (zh) 基于识别码式猪耳标的监控方法、装置及系统
CN112883915B (zh) 一种基于迁移学习的麦穗自动识别方法和系统
CN114120090A (zh) 图像处理方法、装置、设备及存储介质
CN115830078B (zh) 生猪多目标跟踪及行为识别方法、计算机设备与存储介质
CN113780052A (zh) 哺乳识别方法及泌乳鉴定方法和相关装置、设备、介质
US11847849B2 (en) System and method for companion animal identification based on artificial intelligence
WO2021083381A1 (zh) 动物身份识别方法、装置和系统
CN110991235B (zh) 一种状态监测方法、装置、电子设备及存储介质
Huang et al. Crowd counting using deep learning in edge devices
Alon et al. Machine vision-based automatic lamb identification and drinking activity in a commercial farm
TWI833352B (zh) 用於影像量測家畜生物特徵的終端裝置、系統與方法
Yang et al. A Long-Term Video Tracking Method for Group-Housed Pigs

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination