CN115294612B - 基于图形识别的畜禽喂养控制方法 - Google Patents

基于图形识别的畜禽喂养控制方法 Download PDF

Info

Publication number
CN115294612B
CN115294612B CN202211210367.7A CN202211210367A CN115294612B CN 115294612 B CN115294612 B CN 115294612B CN 202211210367 A CN202211210367 A CN 202211210367A CN 115294612 B CN115294612 B CN 115294612B
Authority
CN
China
Prior art keywords
sub
rgb
blocks
calf
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211210367.7A
Other languages
English (en)
Other versions
CN115294612A (zh
Inventor
何灿华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NANTONG SHUANGHE FOOD CO Ltd
Original Assignee
NANTONG SHUANGHE FOOD CO Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NANTONG SHUANGHE FOOD CO Ltd filed Critical NANTONG SHUANGHE FOOD CO Ltd
Priority to CN202211210367.7A priority Critical patent/CN115294612B/zh
Publication of CN115294612A publication Critical patent/CN115294612A/zh
Application granted granted Critical
Publication of CN115294612B publication Critical patent/CN115294612B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/54—Extraction of image or video features relating to texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
    • Y02P60/80—Food processing, e.g. use of renewable energies or variable speed drives in handling, conveying or stacking
    • Y02P60/87—Re-use of by-products of food processing for fodder production

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及数据处理技术领域，具体涉及一种基于图形识别的畜禽喂养控制方法。该方法包括：获取牛犊进食时的移动量，根据牛犊的移动量获取抽帧数量；根据抽帧数量得到多帧目标图像和目标深度图像；将目标深度图像划分为多个深度子块并获取每个深度子块的活跃度；相应的，将目标图像划分为多个RGB子块，并结合对应的深度子块的活跃度获取每个RGB子块对应的RGB重要度向量；构建牛犊状态识别神经网络，获取每个RGB子块的优化特征向量，以此输入支持向量机中得到牛犊的动作识别结果；基于牛犊的不同动作识别结果的时长得到牛犊断奶的最佳时间点，根据最佳时间点对牛犊进行进口料喂养。提高了分析的准确性，减少了牛犊应激反应的概率。

Description

基于图形识别的畜禽喂养控制方法
技术领域
本发明涉及数据处理技术领域，具体涉及一种基于图形识别的畜禽喂养控制方法。
背景技术
在奶牛养殖产业中，奶牛犊牛是整个奶牛产业发展的基础，在牛犊的养殖过程中犊牛断奶是一个关键时期。与传统随母饲养方式相比，早期断奶具有很多的优势：首先，可缩短母牛哺乳期，减少哺乳对机体的消耗和牛奶的消耗，加快母牛体况恢复速度，使母牛更早的可以配种生出更多牛犊。此外，早期断奶的犊牛可尽早摄入植物源性饲料，刺激瘤胃和其他消化器官的发育，犊牛提前适应固体饲料采食，有利于犊牛后期的生长和发育。
目前，对牛犊进行断奶的时间由饲养员根据养殖经验进行判定，直接在合适的时期把母乳替换为开口料，让牛犊饥饿的时候不得不进食开口料。但牛犊的断奶时期的选择是这种断奶方法成功的关键，当牛犊断奶时间过早时，牛犊可能会因为采食母乳不足导致牛犊生长发育缓慢甚至受阻，其机体免疫因子摄入不足，继而引发机体应激反应；而当牛犊的断奶时间过晚时。可能会导致牛犊对于母乳的过度依赖采食很少的代乳品或开口料，导致瘤胃发育迟缓。因此仅仅依靠饲养员的经验判定牛犊断奶的时间，主观性较强，并且忽略了每头牛犊个体的体质差异，从而可能出现断奶时期不佳，牛犊发生应激反应的概率也大大提高。
发明内容
为了解决上述技术问题，本发明的目的在于提供一种基于图形识别的畜禽喂养控制方法，该方法包括以下步骤：
获取牛犊在每个采样时间段内的RGB图像和深度图像，基于采样时间段内的所述RGB图像获取所述牛犊的移动量，根据所述牛犊的移动量获取抽帧数量；
根据所述抽帧数量对采样时间段内的RGB图像进行均匀抽取得到目标图像，获取所述目标图像对应的目标深度图像；将所述目标深度图像划分为至少两个深度子块，获取每个深度子块的活跃度，将所述目标图像对应划分为至少两个RGB子块，基于对应的深度子块的活跃度获取每个RGB子块的RGB重要度向量；
构建牛犊状态识别神经网络，获取每个RGB子块对应的邻域集合，所述邻域集合中包括多个邻域子块，基于所述牛犊状态识别神经网络获取每个邻域子块的权重，根据每个邻域子块的权重及其对应的RGB重要度向量对RGB子块的特征向量进行优化得到优化特征向量；以所有RGB子块的优化特征向量构成特征向量集，将所述特征向量集输入支持向量机中得到所述牛犊的动作识别结果；
基于所述牛犊的不同动作识别结果对喂养装置进行强化学习，得到所述牛犊断奶的最佳时间点，根据最佳时间点利用所述喂养装置对所述牛犊进行进口料喂养；
所述基于所述牛犊的不同动作识别结果对喂养装置进行强化学习，得到所述牛犊断奶的最佳时间点的步骤，包括：
对喂养装置进行强化学习的框架使用深度Q网络DQN，所述深度Q网络DQN由Actor网络和Critic网络组成；Actor网络的输入是每头牛犊的优化特征向量以及动作识别结果；初始化Actor网络和Critic网络的权重，对常规的断奶时间段进行one-hot编码得到常规的行为序列；
将关闭母乳喂养装置和关闭开口料喂养装置记为动作
Figure 100002_DEST_PATH_IMAGE001
，将关闭母乳喂养装置并开启开口料喂养装置记为动作
Figure 100002_DEST_PATH_IMAGE002
；以执行动作
Figure 443201DEST_PATH_IMAGE001
开始到执行动作
Figure 341887DEST_PATH_IMAGE002
之后的两天为一个周期，并将执行动作
Figure 317933DEST_PATH_IMAGE002
之后的一个周期内的牛犊动作识别结果作为后续动作识别结果；
任意选取一个时间点执行动作
Figure 186532DEST_PATH_IMAGE002
，得到喂养装置控制系统的行为序列，基于执行动作
Figure 298845DEST_PATH_IMAGE002
后一个周期内的后续动作识别结果构建奖励函数为：
Figure 100002_DEST_PATH_IMAGE004
其中，
Figure 100002_DEST_PATH_IMAGE005
表示该品种牛犊的正常反刍时长；
Figure 100002_DEST_PATH_IMAGE006
表示检测到的反刍时长；
Figure 100002_DEST_PATH_IMAGE007
表示检测到的抽搐时长；
Figure 100002_DEST_PATH_IMAGE008
表示检测到的生病时长；
Figure 100002_DEST_PATH_IMAGE009
表示检测到的休息时长；
Figure 100002_DEST_PATH_IMAGE010
表示牛犊的正常休息时长；
Figure 100002_DEST_PATH_IMAGE011
表示最小值函数；
所述奖励函数取值最小时为断奶的最佳时间点。
优选的，所述基于采样时间段内的所述RGB图像获取所述牛犊的移动量的步骤，包括：
在每头所述牛犊的两个耳朵上分别打上耳标，获取采样时间段内的所有RGB图像中每个耳标的位移量，两个所述耳标的位移量的均值为所述牛犊的移动量。
优选的，所述根据所述牛犊的移动量获取抽帧数量的步骤，包括：
预设最少抽帧数量以及最大移动距离，计算所述移动量与所述最大移动距离的比值；
根据相机采集频率获取每秒采集RGB图像的数量，计算所述数量与最少抽帧数量的差值，将所述差值与所述比值相乘得到乘积结果，以所述乘积结果与最少抽帧数量的求和结果并向下取整得到抽帧数量。
优选的，所述获取每个深度子块的活跃度的步骤，包括：
获取深度子块对应的灰度共生矩阵，根据所述灰度共生矩阵得到对比度和熵，利用所述对比度与所述熵的加权求和得到深度子块的活跃度。
优选的，所述基于对应的深度子块的活跃度获取每个RGB子块的RGB重要度向量的步骤，包括：
获取每个RGB子块对应的RGB组合，所述RGB组合中包括不同尺度的RGB子块；
统计每个RGB子块中所有像素点的数量、所有黑色像素点的数量以及所有黄色像素点的数量；获取RGB子块中所有黑色像素点的数量与所有黄色像素点的数量的求和结果，计算所述求和结果与RGB子块中所有像素点数量的比值；以所述比值与RGB子块对应的深度子块的活跃度的乘积结果得到RGB子块的重要度；
所述RGB组合中所有RGB子块的重要度依次排列得到RGB重要度向量，所述RGB重要度向量为所述RGB组合对应的RGB子块的RGB重要度向量。
优选的，所述获取每个RGB子块对应的邻域集合的步骤，包括：
获取当前RGB子块所在目标图像中其他的RGB子块为第二子块，以及当前RGB子块所在目标图像的前一帧目标图像和后一帧目标图像，前一帧目标图像和后一帧目标图像中与当前RGB子块对应的RGB子块为对应子块，所有的所述第二子块与所述对应子块为当前RGB子块的邻域子块，所有的所述邻域子块构成当前RGB子块的邻域集合。
优选的，所述基于所述牛犊状态识别神经网络获取每个邻域子块的权重的步骤，包括：
所述牛犊状态识别神经网络中包括至少一个注意力层；每个所述注意力层对应不同的线性变化矩阵；
对于第
Figure 100002_DEST_PATH_IMAGE012
个邻域子块的权重的计算为：
Figure 100002_DEST_PATH_IMAGE014
其中，
Figure 100002_DEST_PATH_IMAGE015
表示邻域集合中第
Figure 463372DEST_PATH_IMAGE012
个邻域子块对应的权重，
Figure 926714DEST_PATH_IMAGE012
为正整数；
Figure 100002_DEST_PATH_IMAGE016
表示第
Figure 100002_DEST_PATH_IMAGE017
个RGB子块对应的特征向量，
Figure 677633DEST_PATH_IMAGE017
为正整数，所述特征向量由所述牛犊状态识别神经网络对第
Figure 706768DEST_PATH_IMAGE017
个RGB子块展平得到；
Figure 100002_DEST_PATH_IMAGE018
表示第
Figure 557044DEST_PATH_IMAGE017
个RGB子块对应的RGB重要度向量；
Figure 100002_DEST_PATH_IMAGE019
表示邻域集合中第
Figure 976524DEST_PATH_IMAGE012
个邻域子块对应的特征向量；
Figure 100002_DEST_PATH_IMAGE020
表示邻域集合中第
Figure 921346DEST_PATH_IMAGE012
个邻域子块对应的RGB重要度向量；
Figure 100002_DEST_PATH_IMAGE021
表示激活函数；
Figure 100002_DEST_PATH_IMAGE022
表示以自然常数e为底的指数函数；
Figure 100002_DEST_PATH_IMAGE023
表示邻域集合；
Figure 100002_DEST_PATH_IMAGE024
与
Figure 100002_DEST_PATH_IMAGE025
均表示线性变化矩阵；
Figure 100002_DEST_PATH_IMAGE026
与
Figure 100002_DEST_PATH_IMAGE027
均表示相似度向量；
Figure 100002_DEST_PATH_IMAGE028
表示向量的拼接。
优选的，所述根据每个邻域子块的权重及其对应的RGB重要度向量对RGB子块的特征向量进行优化得到优化特征向量的步骤，包括：
获取每个邻域子块在不同注意力层对应的权重；计算每个注意力层中邻域子块的特征向量与对应权重的乘积，获取所有注意力层中乘积的平均值；
将所述平均值与当前RGB子块的特征向量进行相加得到相加结果，根据所述相加结果得到所述优化特征向量。
优选的，所述牛犊的动作包括断奶应激反应、饥饿、进食开口料、拒绝开口料、反刍、抽搐、生病以及休息。
本发明具有如下有益效果：本发明实施例首先对所有的RGB图像和深度图像进行抽帧分析，在降低计算量的同时极大保留了牛犊动作信息的准确性；然后对抽帧得到的目标图像和目标深度图像进行分析，对目标深度图像进行分块得到深度子块，并获取每个深度子块的活跃度，相应对每个目标图像进行分块得到RGB子块，结合对应的深度子块获取RGB子块对应的RGB重要度向量，以颜色信息和深度信息结合分析，保证了RGB重要度向量的准确度；进一步的，通过构建牛犊状态识别神经网络对每个RGB子块的特征向量进行优化，优化的过程结合了RGB子块对应的所有邻域子块的RGB重要度向量，使得优化特征向量更加具有代表性，通过优化后的优化特征向量对动作进行识别使得数据的分析更加可靠，基于更加可靠的数据信息获取到牛犊的动作识别结果更加准确，从而对牛犊的断奶的最佳时间点的分析更加精准，极大减少了牛犊发生应激反应的概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于图形识别的畜禽喂养控制方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于图形识别的畜禽喂养控制方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图形识别的畜禽喂养控制方法的具体方案。
请参阅图1，其示出了本发明一个实施例提供的一种基于图形识别的畜禽喂养控制方法流程图，该方法包括以下步骤：
步骤S100，获取牛犊在每个采样时间段内的RGB图像和深度图像，基于采样时间段内的RGB图像获取牛犊的移动量，根据牛犊的移动量获取抽帧数量。
具体的，在养殖行业中往往会给牛犊的两只耳朵上都打上黄色的耳标，用于对每头牛犊的头部移动情况进行监控，牛犊的两只耳朵上均存在耳标且能够保证相机无论在哪个角度都能拍摄到牛犊的耳标。然后在牛圈的上方设置摄像头，用于实时拍摄牛圈内牛犊的行为，每头牛犊在牛圈中均为单独饲养，牛圈的一侧安装两个喂养装置，分别为开口料喂养装置和母乳喂养装置，都可以由机器控制开启和关闭，且牛犊可以观察到装置的开启并进食，装置关闭时牛犊无法进食；由拍摄装置获取每头牛犊的在采样时间段内的RGB图像，并使用双目立体视觉技术实时求得RGB图像中的深度值，得到对应的深度图像。
本发明实施例中将两个喂养装置的动作类型分别记为
Figure 549862DEST_PATH_IMAGE001
、
Figure DEST_PATH_IMAGE029
和
Figure 571038DEST_PATH_IMAGE002
；
Figure 743394DEST_PATH_IMAGE001
用于表示关闭母乳喂养装置和关闭开口料喂养装置；
Figure 632852DEST_PATH_IMAGE029
用于表示开启母乳喂养装置并关闭开口料喂养装置；
Figure 698897DEST_PATH_IMAGE002
用于表示关闭母乳喂养装置并开启开口料喂养装置。
为了方便对牛犊的情况进行识别，以视频图像中每个黄色耳标的最小外接矩形的中心点作为该耳标的坐标点，将牛犊左边耳标的坐标点记为
Figure DEST_PATH_IMAGE030
，将牛犊右边耳标的坐标点记为
Figure DEST_PATH_IMAGE031
；如果在拍摄时未检测到相应的耳标时将该耳标的坐标点记为
Figure DEST_PATH_IMAGE032
。
进一步的，为了分析的更加准确，本发明实施例中以4秒为一个采样时间段，对每4秒时间段内每帧RGB图像进行分析；设置相机采集图像的频率为30FPS，即4秒内采集得到120帧RGB图像，在实际进行分析时，基于牛犊的移动情况决定抽取一定帧数的图像进行分析。
具体的，假设牛犊在第
Figure 687713DEST_PATH_IMAGE017
秒的第一帧RGB图像中左耳坐标为
Figure 81785DEST_PATH_IMAGE030
，右耳坐标为
Figure 650301DEST_PATH_IMAGE031
；该牛犊在第
Figure DEST_PATH_IMAGE033
秒的第一帧RGB图像中左耳坐标为
Figure DEST_PATH_IMAGE034
，右耳坐标为
Figure DEST_PATH_IMAGE035
，则计算该牛犊的移动量为：
Figure DEST_PATH_IMAGE037
其中，
Figure DEST_PATH_IMAGE038
表示该牛犊的移动量。
然后，基于牛犊的移动量获取该牛犊在该时间段内的抽帧数量为：
Figure DEST_PATH_IMAGE040
其中，
Figure DEST_PATH_IMAGE041
表示第
Figure 649481DEST_PATH_IMAGE017
个时间段内的抽帧数量；
Figure DEST_PATH_IMAGE042
表示第
Figure 12460DEST_PATH_IMAGE017
个时间段内的最少抽帧数量，由实施者基于实际情况确定；
Figure 893829DEST_PATH_IMAGE038
表示牛犊在该时间段内的移动量；
Figure DEST_PATH_IMAGE043
表示该时间段内牛犊在牛圈内的最大移动距离，由实施者自行设定；
Figure DEST_PATH_IMAGE044
表示向下取整。
牛犊在该时间段内的移动量越大，则表明牛犊的状态越不稳定，越需要对该时间段内牛犊情况进行关注，因此移动量越大时，对应的抽帧数量越多。
作为优选，本发明实施例中设置
Figure DEST_PATH_IMAGE045
，
Figure DEST_PATH_IMAGE046
。
步骤S200，根据抽帧数量对采样时间段内的RGB图像进行均匀抽取得到目标图像，获取目标图像对应的目标深度图像；将目标深度图像划分为至少两个深度子块，获取每个深度子块的活跃度，将目标图像对应划分为至少两个RGB子块，基于对应的深度子块的活跃度获取每个RGB子块的RGB重要度向量。
由步骤S100中根据牛犊的移动量得到对应的抽帧数量，基于抽帧数量对采样时间段内的RGB图像进行抽取，即根据抽帧数量对120帧RGB图像进行均匀抽取，得到抽取后的RGB图像记为目标图像；相应的，由于每帧RGB图像均对应一帧深度图像，因此根据抽取到的目标图像可对应得到深度图像记为目标深度图像。
由于牛犊耳朵上的耳标较为显著，视频目标跟踪算法的运行速度快，能够反映低纬度的牛犊的运动信息，因此进行抽帧处理可减少后续神经网络的运算量。由此，得到牛犊在一个采样时间段内对应的多帧目标图像和对应的目标深度图像，对每帧目标图像以及每帧目标深度图像进行分别分析。
首先，对目标深度图像进行多尺度分割得到深度子块。
（1）获取深度差分图；计算当前帧目标深度图像与前一帧目标深度图像之间的深度差分值图，也即是计算当前帧目标深度图像与前一帧目标深度图像对应位置像素点的深度值的差值，所有像素点的差值构成深度差分图；以此类推，获取每帧目标深度图像对应的深度差分图，深度差分图本质是一种灰度图，深度值变化越大的地方，灰度值越大，深度差分值的变化在一定程度上反应了牛犊的运动特征。
需要说明的是，此处的当前帧目标深度图像与前一帧目标深度图像并非时间序列上相邻的两个帧，而是抽取得到的所有目标深度图像中当前的目标深度图像与相邻前一张目标深度图像。
（2）对每一帧深度差分图进行多尺度分割，以任意一帧深度差分图为例，本发明实施例中设置多尺度分别为：4、16、64以及256；即将该深度差分图分为4个尺度，第一个尺度下该深度差分图被均分为4个深度子块，每一个深度子块记为
Figure DEST_PATH_IMAGE047
；第二个尺度下该深度差分图被均分为16个深度子块，每一个深度子块记为
Figure DEST_PATH_IMAGE048
；第三个尺度下该深度差分图被均分为64个深度子块，每一个深度子块记为
Figure DEST_PATH_IMAGE049
；第四个尺度下该深度差分图被均分为256个深度子块，每一个深度子块记为
Figure DEST_PATH_IMAGE050
。
由于每个深度子块都为该深度差分图像均分得到的，因此每一个
Figure 203718DEST_PATH_IMAGE050
深度子块均属于一个
Figure 854143DEST_PATH_IMAGE049
深度子块、
Figure 778236DEST_PATH_IMAGE048
深度子块以及
Figure 271535DEST_PATH_IMAGE047
深度子块，将每个
Figure 572066DEST_PATH_IMAGE050
深度子块与其对应的
Figure 212083DEST_PATH_IMAGE049
深度子块、
Figure 41498DEST_PATH_IMAGE048
深度子块以及
Figure 163038DEST_PATH_IMAGE047
深度子块记为一个深度组合。
（3）获取深度组合中每个深度子块的活跃度，深度子块的活跃度的获取方法为：获取深度子块的灰度共生矩阵，基于灰度共生矩阵获取对应的对比度和熵，对比度与熵的加权求和为深度子块的活跃度。
具体的，由于目标深度图像本质是一张灰度图像，因此获取每个深度子块对应的灰度共生矩阵，基于灰度共生矩阵得到对应的对比度CON和熵ENT；对比度CON用于反映深度差分值深浅变化的幅度；对比度越大表明纹理沟纹越深；反之，对比度越小表明纹理沟纹越浅；灰度共生矩阵以及根据灰度共生矩阵获取对比度和熵的方法均为现有公知技术，不再赘述；而牛犊身体的抖动或者在某个地方重复来回走动均会导致深度差分值的增加，对应对比度越大。熵ENT用于对信息量的度量，也可用于反映深度差分值的离散程度，熵ENT越大，则表示深度差分值的离散程度越大，即深度子块中各个地方都存在深度差分值，牛犊的移动较为离散，没有规律。因此以每个深度子块对应的对比度CON和熵ENT评估该深度子块的活跃度为：
Figure DEST_PATH_IMAGE052
其中，
Figure DEST_PATH_IMAGE053
表示深度子块
Figure 204943DEST_PATH_IMAGE050
对应的活跃度；
Figure DEST_PATH_IMAGE054
表示深度子块
Figure 298801DEST_PATH_IMAGE050
的对比度；
Figure DEST_PATH_IMAGE055
表示深度子块
Figure 423752DEST_PATH_IMAGE050
的熵；
Figure DEST_PATH_IMAGE056
表示比例系数，由实施者自行设定。
作为优选，本发明实施例中取经验值
Figure DEST_PATH_IMAGE057
。
以此类推，获取每个深度子块对应的活跃度。
然后，对抽取出的目标图像进行多尺度分割得到至少两个RGB子块。
（1）相应的，本发明实施例中对目标图像进行分割的尺度与深度差分图保持一致，即分割的尺度分别为：4、16、64以及256；即将该目标图像划分为4个尺度，第一个尺度下该目标图像被划分为4个RGB子块，每个RGB子块被记为
Figure DEST_PATH_IMAGE058
；第二个尺度下该目标图像被划分为16个RGB子块，每个RGB子块被记为
Figure DEST_PATH_IMAGE059
；第三个尺度下该目标图像被划分为64个RGB子块，每个RGB子块被记为
Figure DEST_PATH_IMAGE060
；第四个尺度下该目标图像被划分为256个RGB子块，每个RGB子块被记为
Figure DEST_PATH_IMAGE061
。
相应的，每个RGB子块
Figure 721004DEST_PATH_IMAGE061
均对应一个RGB子块
Figure 628917DEST_PATH_IMAGE060
、RGB子块
Figure 233073DEST_PATH_IMAGE059
以及RGB子块
Figure 935450DEST_PATH_IMAGE058
；将每个RGB子块
Figure 375790DEST_PATH_IMAGE061
与其对应的RGB子块
Figure 556236DEST_PATH_IMAGE060
、RGB子块
Figure 155844DEST_PATH_IMAGE059
以及RGB子块
Figure 888177DEST_PATH_IMAGE058
记为一个RGB组合。
（2）获取RGB组合中每个RGB子块的重要度，RGB子块的重要度的获取方法为：获取RGB子块中所有黑色像素点与所有黄色像素点的数量之和，计算数量之和与RGB子块中所有像素点数量的比值，基于对应目标深度图像中对应深度子块的活跃度得到RGB子块的重要度；将RGB组合中所有RGB子块的重要度依次排列得到RGB组合的重要度向量。
具体的，由于每头牛犊的外表均为黑白相间，且每头牛犊的耳朵上均挂有黄色耳标，基于获取每个RGB子块对应的黑色像素以及黄色像素的占比获取该RGB子块对应的重要度为：
Figure DEST_PATH_IMAGE063
其中，
Figure DEST_PATH_IMAGE064
表示RGB子块
Figure 19075DEST_PATH_IMAGE061
对应的重要度；
Figure DEST_PATH_IMAGE065
表示目标深度图像中对应位置的深度子块
Figure 596687DEST_PATH_IMAGE061
的活跃度；
Figure DEST_PATH_IMAGE066
表示该RGB子块中所有黑色像素点的数量；
Figure DEST_PATH_IMAGE067
表示该RGB子块中所有黄色像素点的数量；
Figure DEST_PATH_IMAGE068
表示该RGB子块中所有像素点的数量。
该RGB子块中黄色像素点的数量与黑色像素点的数量越多，越能表现牛犊的特征，其重要度越大，RGB子块对应的深度子块的活跃度越大，则该RGB子块的重要度越大，将深度信息融合进RGB信息中，提高后续动作识别的准确度；以此类推，获取所有RGB子块对应的重要度；基于每个RGB组合中每个RGB子块的重要度构建RGB重要度向量为：
Figure DEST_PATH_IMAGE070
其中，
Figure DEST_PATH_IMAGE071
表示该RGB组合对应的RGB重要度向量；
Figure 926168DEST_PATH_IMAGE064
表示RGB子块
Figure 845714DEST_PATH_IMAGE061
对应的重要度；
Figure DEST_PATH_IMAGE072
表示RGB子块
Figure 119700DEST_PATH_IMAGE060
对应的重要度；
Figure DEST_PATH_IMAGE073
表示RGB子块
Figure 235424DEST_PATH_IMAGE059
对应的重要度；
Figure DEST_PATH_IMAGE074
表示RGB子块
Figure 171411DEST_PATH_IMAGE058
对应的重要度。
步骤S300，构建牛犊状态识别神经网络，获取每个RGB子块对应的邻域集合，邻域集合中包括多个邻域子块，基于牛犊状态识别神经网络获取每个邻域子块的权重，根据每个邻域子块的权重及其对应的RGB重要度向量对RGB子块的特征向量进行优化得到优化特征向量；以所有RGB子块的优化特征向量构成特征向量集，将特征向量集输入支持向量机中得到牛犊的动作识别结果。
具体的，构建牛犊状态识别神经网络，该牛犊状态识别神经网络输入为目标图像，神经网络的骨干网络均使用Vision Transformer的编码器。
对最大尺度的RGB子块进行展平得到对应的特征向量，由牛犊状态识别神经网络中的注意力层获取RGB子块对应的邻域集合，邻域集合由与RGB子块属于同一帧目标图像中的所有RGB子块，以及目标图像的前后两帧相邻的目标图像中对应位置的RGB子块构成；邻域集合中每个RGB子块为邻域子块；基于每个邻域子块的RGB重要度向量获取邻域集合中每个邻域子块的权重，基于所有邻域子块的权重与邻域子块的特征向量进行加权求和得到RGB子块的优化特征向量。
具体的，对目标图像中每一个RGB子块进行展平，即将每个RGB子块
Figure 386491DEST_PATH_IMAGE061
中每个像素点依次展开为一个特征向量记为
Figure DEST_PATH_IMAGE075
；由上述步骤得到每个RGB子块
Figure 6828DEST_PATH_IMAGE061
对应的RGB组合的RGB重要度向量
Figure 208134DEST_PATH_IMAGE071
。
由于每个RGB子块之间相互关联，因此利用多头多尺度注意力机制对每个RGB子块的特征向量进行聚合，从而对每个RGB子块的特征向量进行更新。该牛犊状态识别神经网络中包括多个注意力层，每个注意力层能够得到每个RGB子块更新后对应的优化特征向量。
假设任意注意力层此时对任意目标图像的第
Figure 636841DEST_PATH_IMAGE017
个RGB子块进行更新，该RGB子块的特征向量为
Figure 757244DEST_PATH_IMAGE016
，RGB重要度向量为
Figure 396035DEST_PATH_IMAGE018
。将第
Figure 525666DEST_PATH_IMAGE017
个RGB子块所在目标图像中的所有RGB子块均记为第
Figure 808879DEST_PATH_IMAGE017
个RGB子块的邻域子块，并且第
Figure 241129DEST_PATH_IMAGE017
个RGB子块所在目标图像的前一帧目标图像中的第
Figure 242583DEST_PATH_IMAGE017
个RGB子块以及后一帧目标图像中的第
Figure 34958DEST_PATH_IMAGE017
个RGB子块也为第
Figure 907099DEST_PATH_IMAGE017
个RGB子块的邻域子块；将该第
Figure 510250DEST_PATH_IMAGE017
个RGB子块的所有邻域子块组成的邻域集合记为
Figure 999000DEST_PATH_IMAGE023
，基于邻域集合中所有的邻域子块对该第
Figure 204854DEST_PATH_IMAGE017
个RGB子块进行聚合更新。
首先，计算该邻域集合中每个邻域子块的权重为：
Figure 321714DEST_PATH_IMAGE014
其中，
Figure 485979DEST_PATH_IMAGE015
表示邻域集合中第
Figure 806233DEST_PATH_IMAGE012
个邻域子块对应的权重；
Figure 81357DEST_PATH_IMAGE016
表示第
Figure 193669DEST_PATH_IMAGE017
个RGB子块对应的特征向量；
Figure 122311DEST_PATH_IMAGE018
表示第
Figure 585654DEST_PATH_IMAGE017
个RGB子块对应的RGB重要度向量；
Figure 8676DEST_PATH_IMAGE019
表示邻域集合中第
Figure 241074DEST_PATH_IMAGE012
个邻域子块对应的特征向量；
Figure 215983DEST_PATH_IMAGE020
表示邻域集合中第
Figure 25676DEST_PATH_IMAGE012
个邻域子块对应的RGB重要度向量；
Figure 642602DEST_PATH_IMAGE021
表示激活函数；
Figure 339294DEST_PATH_IMAGE022
表示以自然常数e为底的指数函数；
Figure 16263DEST_PATH_IMAGE023
表示邻域集合；
Figure 923039DEST_PATH_IMAGE024
与
Figure 202711DEST_PATH_IMAGE025
均表示线性变化矩阵；
Figure 144122DEST_PATH_IMAGE026
与
Figure 336200DEST_PATH_IMAGE027
均表示相似度向量；
Figure 995852DEST_PATH_IMAGE028
表示向量的拼接。
需要说明的是，线性变化矩阵
Figure 689001DEST_PATH_IMAGE024
、线性变化矩阵
Figure 875132DEST_PATH_IMAGE025
、相似度向量
Figure 628324DEST_PATH_IMAGE026
以及相似度向量
Figure 775272DEST_PATH_IMAGE027
均在神经网络的训练过程中得到。
基于每个邻域子块对应的特征与RGB子块对应特征之间的相似程度进行分析，相似程度越大，则对应的权重越大；以此类推，获取第
Figure 876040DEST_PATH_IMAGE017
个RGB子块对应的邻域集合中每个邻域子块的权重；基于相同的方法获取第
Figure 792043DEST_PATH_IMAGE017
个RGB子块在其他三个注意力层中邻域子块的权重，每个注意力层的输入相同但每个注意力层的线性变化矩阵
Figure 840771DEST_PATH_IMAGE024
和线性变化矩阵
Figure 475014DEST_PATH_IMAGE025
不同，因此基于四个注意力层对第
Figure 509966DEST_PATH_IMAGE017
个RGB子块的邻域子块聚合得到第
Figure 155842DEST_PATH_IMAGE017
个RGB子块最终的优化特征向量为：
Figure DEST_PATH_IMAGE077
其中，
Figure DEST_PATH_IMAGE078
表示第
Figure 578734DEST_PATH_IMAGE017
个RGB子块更新后的优化特征向量；
Figure 434694DEST_PATH_IMAGE016
表示第
Figure 148703DEST_PATH_IMAGE017
个RGB子块对应的特征向量；
Figure DEST_PATH_IMAGE079
表示第
Figure DEST_PATH_IMAGE080
个注意力层中邻域集合中第
Figure 101616DEST_PATH_IMAGE012
个邻域子块对应的权重；
Figure 633091DEST_PATH_IMAGE019
表示邻域集合中第
Figure 586135DEST_PATH_IMAGE012
个邻域子块对应的特征向量；
Figure 228469DEST_PATH_IMAGE023
表示邻域集合；
Figure DEST_PATH_IMAGE081
表示激活函数。
以此类推，获取抽取出的每帧目标图像中每个RGB子块对应的优化特征向量。
本发明实施例中牛犊状态识别神经网络采用无监督的训练方式，在实际的养殖过程的喂食时间拍摄视频，然后人工截取牛犊多种动作类别的数据样本，将获取到的所有的数据样本中80%作为训练集，20%作为测试集，对该牛犊状态识别神经网络进行训练，损失函数为交叉熵损失函数，优化算法为Adam算法；上述线性变化矩阵
Figure 567046DEST_PATH_IMAGE024
、线性变化矩阵
Figure 269423DEST_PATH_IMAGE025
、相似度向量
Figure 709763DEST_PATH_IMAGE026
以及相似度向量
Figure 624629DEST_PATH_IMAGE027
均为牛犊状态识别神经网络的训练过程中得到的。
将获取到的4秒内抽取出的每帧目标图像中所有RGB子块对应的优化特征向量构成特征向量集，将该特征向量集输入支持向量机SVM（support vector machine）中，基于该支持向量机SVM输出对牛犊的动作识别结果。本发明实施例中将牛犊的动作划分为8种类别分别为：断奶应激反应、饥饿、进食开口料、拒绝开口料、反刍、抽搐、生病以及休息。
当牛犊出现断奶应激反应时，牛犊会在牛圈里四处走动，表现为情绪烦躁想要进食母乳，此时每个子块中都可能存在牛犊的身影，每个子块对应的重要度较大；当牛犊出现饥饿时，牛犊可能会在牛圈里趴着，表现为没有精神且活动量大大减少，或者在喂食器附近等待，因此只有少数子块中存在牛犊的身影；当牛犊进食开口料时，由于牛犊在喂食器附近进食，因此喂食器附近的子块重要度较高，如果只重点关注牛犊嘴部的动作，则嘴部深度差分图的活跃度较高；当牛犊拒绝开口料时，牛犊会在喂食器附近徘徊，但由于牛犊嘴部没有进食的表现，因此嘴部深度差分图的活跃度较低；当牛犊出现反刍时，该现象一般发生于牛犊进食之后，因此可结合时序上的特征进行判别，此时牛犊嘴部的深度差分图的活跃度较高，但牛犊的身影一般不在喂食器附近；当牛犊出现抽搐时，牛犊的身体部位对应的深度差分图的活跃度较高，且牛犊一般不在喂食器附近；当牛犊出现生病时，表现为身体乏力并且身体重心下降，腿部可能会出现难以站稳的情况，此时牛犊腿部区域的深度差分图的活跃度较高；当牛犊处于休息状态时，牛犊表现为长时间趴在一个地方不进行运动，并且大多数子块的重要度均较低。
需要说明的是，上述对不同动作表现情况的说明仅仅是抽象特征的描述，用于表明不同的动作是有明显的空间和时间差异，具体从图像中提取的数字化特征由神经网络完成。
步骤S400，基于牛犊的不同动作识别结果对喂养装置进行强化学习，得到牛犊断奶的最佳时间点，根据最佳时间点利用喂养装置对牛犊进行进口料喂养。
具体的，由于在对每头牛犊进行断奶的断奶时间十分重要，因此需要找到对牛犊的开口料喂养的最佳时间点；对步骤S100中的喂养装置控制系统进行强化学习，该强化学习的框架使用常规的深度Q网络DQN，该深度Q网络DQN由Actor网络和Critic网络组成；其中，Actor网络的输入是经过牛犊状态识别神经网络输出的优化特征向量以及每头牛犊的动作识别结果；使用“行为克隆”的方法初始化Actor网络和Critic网络的权重，对常规的断奶时间段进行one-hot编码得到常规的行为序列。
本发明实施例中以执行动作
Figure 348872DEST_PATH_IMAGE001
关闭母乳喂养装置和关闭开口料喂养装置开始到执行动作
Figure 222150DEST_PATH_IMAGE002
关闭母乳喂养装置并开启开口料喂养装置之后的两天为一个周期，将执行动作
Figure 274419DEST_PATH_IMAGE002
关闭母乳喂养装置并开启开口料喂养装置之后两天内的牛犊动作识别结果作为后续动作识别结果，
任意选取一个时间点执行动作
Figure 868343DEST_PATH_IMAGE002
，得到喂养装置控制系统的行为序列，以动作
Figure 588037DEST_PATH_IMAGE002
执行后两天内的后续动作识别结果构建奖励函数为：
Figure 491271DEST_PATH_IMAGE004
其中，
Figure 296416DEST_PATH_IMAGE005
表示该品种牛犊的正常反刍时长；
Figure 818664DEST_PATH_IMAGE006
表示检测到的反刍时长；
Figure 268231DEST_PATH_IMAGE007
表示检测到的抽搐时长；
Figure 217733DEST_PATH_IMAGE008
表示检测到的生病时长；
Figure 103649DEST_PATH_IMAGE009
表示检测到的休息时长；
Figure 695168DEST_PATH_IMAGE010
表示牛犊的正常休息时长；
Figure 858296DEST_PATH_IMAGE011
表示最小值函数。
当反刍时长和休息时长处于正常水平并且生病时长和抽搐时长最短时，即奖励函数最小时表明此时为断奶的最佳时间点。
综上所述，本发明实施例提供一种基于图形识别的畜禽喂养控制方法，通过对牛犊的RGB图像以及对应的深度图像进行分析，根据深度图像得到每个深度子块对应的活跃度，根据RGB图像得到每个RGB子块，并结合对应的深度子块的活跃度得到RGB子块的重要度，通过牛犊状态识别神经网络获取每个RGB子块的特征向量，然后根据RGB子块的邻域信息进行聚合得到每个RGB子块的优化特征向量；所有RGB子块对应特征向量集合输入到支持向量机中得到牛犊的动作识别结果，根据牛犊的动作识别结果判断断奶的最佳时间点，提高了分析的准确性，减少了牛犊出现应激反应的概率。
需要说明的是：上述本发明实施例先后顺序仅仅为了描述，不代表实施例的优劣。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种基于图形识别的畜禽喂养控制方法，其特征在于，该方法包括以下步骤：
获取牛犊在每个采样时间段内的RGB图像和深度图像，基于采样时间段内的所述RGB图像获取所述牛犊的移动量，根据所述牛犊的移动量获取抽帧数量；
根据所述抽帧数量对采样时间段内的RGB图像进行均匀抽取得到目标图像，获取所述目标图像对应的目标深度图像；将所述目标深度图像划分为至少两个深度子块，获取每个深度子块的活跃度，将所述目标图像对应划分为至少两个RGB子块，基于对应的深度子块的活跃度获取每个RGB子块的RGB重要度向量；
构建牛犊状态识别神经网络，获取每个RGB子块对应的邻域集合，所述邻域集合中包括多个邻域子块，基于所述牛犊状态识别神经网络获取每个邻域子块的权重，根据每个邻域子块的权重及其对应的RGB重要度向量对RGB子块的特征向量进行优化得到优化特征向量；以所有RGB子块的优化特征向量构成特征向量集，将所述特征向量集输入支持向量机中得到所述牛犊的动作识别结果；
基于所述牛犊的不同动作识别结果对喂养装置进行强化学习，得到所述牛犊断奶的最佳时间点，根据最佳时间点利用所述喂养装置对所述牛犊进行进口料喂养；
所述基于所述牛犊的不同动作识别结果对喂养装置进行强化学习，得到所述牛犊断奶的最佳时间点的步骤，包括：
对喂养装置进行强化学习的框架使用深度Q网络DQN，所述深度Q网络DQN由Actor网络和Critic网络组成；Actor网络的输入是每头牛犊的优化特征向量以及动作识别结果；初始化Actor网络和Critic网络的权重，对常规的断奶时间段进行one-hot编码得到常规的行为序列；
将关闭母乳喂养装置和关闭开口料喂养装置记为动作
Figure DEST_PATH_IMAGE001
，将关闭母乳喂养装置并开启开口料喂养装置记为动作
Figure DEST_PATH_IMAGE002
；以执行动作
Figure 691830DEST_PATH_IMAGE001
开始到执行动作
Figure 202446DEST_PATH_IMAGE002
之后的两天为一个周期，并将执行动作
Figure 716604DEST_PATH_IMAGE002
之后的一个周期内的牛犊动作识别结果作为后续动作识别结果；
任意选取一个时间点执行动作
Figure 846234DEST_PATH_IMAGE002
，得到喂养装置控制系统的行为序列，基于执行动作
Figure 998954DEST_PATH_IMAGE002
后一个周期内的后续动作识别结果构建奖励函数为：
Figure DEST_PATH_IMAGE004
其中，
Figure DEST_PATH_IMAGE005
表示该品种牛犊的正常反刍时长；
Figure DEST_PATH_IMAGE006
表示检测到的反刍时长；
Figure DEST_PATH_IMAGE007
表示检测到的抽搐时长；
Figure DEST_PATH_IMAGE008
表示检测到的生病时长；
Figure DEST_PATH_IMAGE009
表示检测到的休息时长；
Figure DEST_PATH_IMAGE010
表示牛犊的正常休息时长；
Figure DEST_PATH_IMAGE011
表示最小值函数；
所述奖励函数取值最小时为断奶的最佳时间点。
2.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法，其特征在于，所述基于采样时间段内的所述RGB图像获取所述牛犊的移动量的步骤，包括：
在每头所述牛犊的两个耳朵上分别打上耳标，获取采样时间段内的所有RGB图像中每个耳标的位移量，两个所述耳标的位移量的均值为所述牛犊的移动量。
3.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法，其特征在于，所述根据所述牛犊的移动量获取抽帧数量的步骤，包括：
预设最少抽帧数量以及最大移动距离，计算所述移动量与所述最大移动距离的比值；
根据相机采集频率获取每秒采集RGB图像的数量，计算所述数量与最少抽帧数量的差值，将所述差值与所述比值相乘得到乘积结果，以所述乘积结果与最少抽帧数量的求和结果并向下取整得到抽帧数量。
4.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法，其特征在于，所述获取每个深度子块的活跃度的步骤，包括：
获取深度子块对应的灰度共生矩阵，根据所述灰度共生矩阵得到对比度和熵，利用所述对比度与所述熵的加权求和得到深度子块的活跃度。
5.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法，其特征在于，所述基于对应的深度子块的活跃度获取每个RGB子块的RGB重要度向量的步骤，包括：
获取每个RGB子块对应的RGB组合，所述RGB组合中包括不同尺度的RGB子块；
统计每个RGB子块中所有像素点的数量、所有黑色像素点的数量以及所有黄色像素点的数量；获取RGB子块中所有黑色像素点的数量与所有黄色像素点的数量的求和结果，计算所述求和结果与RGB子块中所有像素点数量的比值；以所述比值与RGB子块对应的深度子块的活跃度的乘积结果得到RGB子块的重要度；
所述RGB组合中所有RGB子块的重要度依次排列得到RGB重要度向量，所述RGB重要度向量为所述RGB组合对应的RGB子块的RGB重要度向量。
6.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法，其特征在于，所述获取每个RGB子块对应的邻域集合的步骤，包括：
获取当前RGB子块所在目标图像中其他的RGB子块为第二子块，以及当前RGB子块所在目标图像的前一帧目标图像和后一帧目标图像，前一帧目标图像和后一帧目标图像中与当前RGB子块对应的RGB子块为对应子块，所有的所述第二子块与所述对应子块为当前RGB子块的邻域子块，所有的所述邻域子块构成当前RGB子块的邻域集合。
7.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法，其特征在于，所述基于所述牛犊状态识别神经网络获取每个邻域子块的权重的步骤，包括：
所述牛犊状态识别神经网络中包括至少一个注意力层；每个所述注意力层对应不同的线性变化矩阵；
对于第
Figure DEST_PATH_IMAGE012
个邻域子块的权重的计算为：
Figure DEST_PATH_IMAGE014
其中，
Figure DEST_PATH_IMAGE015
表示邻域集合中第
Figure 40991DEST_PATH_IMAGE012
个邻域子块对应的权重，
Figure 901499DEST_PATH_IMAGE012
为正整数；
Figure DEST_PATH_IMAGE016
表示第
Figure DEST_PATH_IMAGE017
个RGB子块对应的特征向量，
Figure 647870DEST_PATH_IMAGE017
为正整数，所述特征向量由所述牛犊状态识别神经网络对第
Figure 51169DEST_PATH_IMAGE017
个RGB子块展平得到；
Figure DEST_PATH_IMAGE018
表示第
Figure 372429DEST_PATH_IMAGE017
个RGB子块对应的RGB重要度向量；
Figure DEST_PATH_IMAGE019
表示邻域集合中第
Figure 939808DEST_PATH_IMAGE012
个邻域子块对应的特征向量；
Figure DEST_PATH_IMAGE020
表示邻域集合中第
Figure 4716DEST_PATH_IMAGE012
个邻域子块对应的RGB重要度向量；
Figure DEST_PATH_IMAGE021
表示激活函数；
Figure DEST_PATH_IMAGE022
表示以自然常数e为底的指数函数；
Figure DEST_PATH_IMAGE023
表示邻域集合；
Figure DEST_PATH_IMAGE024
与
Figure DEST_PATH_IMAGE025
均表示线性变化矩阵；
Figure DEST_PATH_IMAGE026
与
Figure DEST_PATH_IMAGE027
均表示相似度向量；
Figure DEST_PATH_IMAGE028
表示向量的拼接。
8.根据权利要求7所述的一种基于图形识别的畜禽喂养控制方法，其特征在于，所述根据每个邻域子块的权重及其对应的RGB重要度向量对RGB子块的特征向量进行优化得到优化特征向量的步骤，包括：
获取每个邻域子块在不同注意力层对应的权重；计算每个注意力层中邻域子块的特征向量与对应权重的乘积，获取所有注意力层中乘积的平均值；
将所述平均值与当前RGB子块的特征向量进行相加得到相加结果，根据所述相加结果得到所述优化特征向量。
9.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法，其特征在于，所述牛犊的动作包括断奶应激反应、饥饿、进食开口料、拒绝开口料、反刍、抽搐、生病以及休息。
CN202211210367.7A 2022-09-30 2022-09-30 基于图形识别的畜禽喂养控制方法 Active CN115294612B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211210367.7A CN115294612B (zh) 2022-09-30 2022-09-30 基于图形识别的畜禽喂养控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211210367.7A CN115294612B (zh) 2022-09-30 2022-09-30 基于图形识别的畜禽喂养控制方法

Publications (2)

Publication Number Publication Date
CN115294612A CN115294612A (zh) 2022-11-04
CN115294612B true CN115294612B (zh) 2022-12-23

Family

ID=83833781

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211210367.7A Active CN115294612B (zh) 2022-09-30 2022-09-30 基于图形识别的畜禽喂养控制方法

Country Status (1)

Country Link
CN (1) CN115294612B (zh)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5103665B2 (ja) * 2008-10-24 2012-12-19 国立大学法人広島大学 物体追跡装置および物体追跡方法
CN111461117A (zh) * 2020-03-30 2020-07-28 西藏自治区农牧科学院畜牧兽医研究所 一种牦牛牛犊的生长环境监控系统及监控方法
CN113115722A (zh) * 2021-04-19 2021-07-16 青岛得八兄弟机械有限公司 一种智能化母猪分娩监测及喂养管理系统

Also Published As

Publication number Publication date
CN115294612A (zh) 2022-11-04

Similar Documents

Publication Publication Date Title
Chen et al. Behaviour recognition of pigs and cattle: Journey from computer vision to deep learning
Hu et al. Cow identification based on fusion of deep parts features
Viazzi et al. Automatic mass estimation of Jade perch Scortum barcoo by computer vision
Wang et al. ASAS-NANP SYMPOSIUM: Applications of machine learning for livestock body weight prediction from digital images
An et al. Application of computer vision in fish intelligent feeding system—A review
CN111507179A (zh) 一种生猪采食行为分析方法
CN116778430B (zh) 肉牛养殖的疾病监测系统及其方法
CN111248103A (zh) 牲畜发情检测方法、装置以及设备
CN114341951A (zh) 通过非侵入性手段诊断甲壳类动物的疾病、生理变化或其他内部状况的方法和系统
CN111046808A (zh) 采用残差卷积神经网络和长短期记忆分类群养猪饮水和玩耍饮水器的分析方法
TWI718572B (zh) 基於立體視覺的生物自動量測系統及其量測方法
CN115661713A (zh) 基于自注意力时空特征融合的吮乳仔猪计数方法
CN115294612B (zh) 基于图形识别的畜禽喂养控制方法
CN117036820B (zh) 一种基于视觉图像的猪只分类模型及其方法
CN117063868A (zh) 一种鱼池智能投喂方法
CN111062929A (zh) 一种软件设计畜禽疾病图片的智能分析诊断系统
WO2023194319A1 (en) Methods and systems for determining a spatial feed insert distribution for feeding crustaceans
CN115619823A (zh) 一种物体投放方法、装置、终端及计算机可读存储介质
CN115439789A (zh) 一种家蚕生命状态智能识别方法和识别系统
Zhao et al. Review on image-based animals weight weighing
CN115019162A (zh) 一种基于深度学习的桑蚕检测方法
Gu et al. A two-stage recognition method based on deep learning for sheep behavior
CN113989538A (zh) 基于深度图像的鸡群均匀度估测方法、装置、系统及介质
Li et al. Recognition of fine-grained sow nursing behavior based on the SlowFast and hidden Markov models
Zin et al. Body condition score assessment of depth image using artificial neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
PE01 Entry into force of the registration of the contract for pledge of patent right
PE01 Entry into force of the registration of the contract for pledge of patent right

Denomination of invention: A Method for Controlling Livestock and Poultry Feeding Based on Graph Recognition

Effective date of registration: 20231107

Granted publication date: 20221223

Pledgee: Bank of Jiangsu Co.,Ltd. Nantong Branch

Pledgor: NANTONG SHUANGHE FOOD Co.,Ltd.

Registration number: Y2023980064309