CN115294612B - 基于图形识别的畜禽喂养控制方法 - Google Patents
基于图形识别的畜禽喂养控制方法 Download PDFInfo
- Publication number
- CN115294612B CN115294612B CN202211210367.7A CN202211210367A CN115294612B CN 115294612 B CN115294612 B CN 115294612B CN 202211210367 A CN202211210367 A CN 202211210367A CN 115294612 B CN115294612 B CN 115294612B
- Authority
- CN
- China
- Prior art keywords
- sub
- rgb
- blocks
- calf
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 244000144972 livestock Species 0.000 title claims abstract description 14
- 244000144977 poultry Species 0.000 title claims abstract description 14
- 238000003909 pattern recognition Methods 0.000 title claims abstract description 12
- 244000309466 calf Species 0.000 claims abstract description 167
- 239000013598 vector Substances 0.000 claims abstract description 105
- 230000009471 action Effects 0.000 claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims abstract description 27
- 230000000694 effects Effects 0.000 claims abstract description 27
- 239000000463 material Substances 0.000 claims abstract description 13
- 238000012706 support-vector machine Methods 0.000 claims abstract description 8
- 239000011159 matrix material Substances 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 18
- 230000033001 locomotion Effects 0.000 claims description 17
- 238000005070 sampling Methods 0.000 claims description 17
- 238000000605 extraction Methods 0.000 claims description 13
- 239000007858 starting material Substances 0.000 claims description 10
- 230000002787 reinforcement Effects 0.000 claims description 7
- 230000006399 behavior Effects 0.000 claims description 5
- 230000036461 convulsion Effects 0.000 claims description 5
- 238000006073 displacement reaction Methods 0.000 claims description 5
- 230000022676 rumination Effects 0.000 claims description 5
- 208000015212 rumination disease Diseases 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 210000005069 ears Anatomy 0.000 claims description 4
- 230000000284 resting effect Effects 0.000 claims description 4
- 206010028347 Muscle twitching Diseases 0.000 claims description 3
- 235000003642 hunger Nutrition 0.000 claims description 3
- 230000008676 import Effects 0.000 claims description 2
- 238000004458 analytical method Methods 0.000 abstract description 7
- 238000006243 chemical reaction Methods 0.000 abstract description 6
- 238000012545 processing Methods 0.000 abstract description 4
- 230000008859 change Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 241000283690 Bos taurus Species 0.000 description 5
- 210000004251 human milk Anatomy 0.000 description 5
- 235000020256 human milk Nutrition 0.000 description 5
- 230000011218 segmentation Effects 0.000 description 5
- 238000009395 breeding Methods 0.000 description 4
- 230000001488 breeding effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 235000013365 dairy product Nutrition 0.000 description 3
- 241000282849 Ruminantia Species 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 210000000481 breast Anatomy 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006651 lactation Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 210000004767 rumen Anatomy 0.000 description 2
- 238000000638 solvent extraction Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 206010013954 Dysphoria Diseases 0.000 description 1
- 206010050256 Dysstasia Diseases 0.000 description 1
- 230000004931 aggregating effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000010367 cloning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 235000013305 food Nutrition 0.000 description 1
- 230000037406 food intake Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 229940088592 immunologic factor Drugs 0.000 description 1
- 239000000367 immunologic factor Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000004798 organs belonging to the digestive system Anatomy 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/70—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in livestock or poultry
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P60/00—Technologies relating to agriculture, livestock or agroalimentary industries
- Y02P60/80—Food processing, e.g. use of renewable energies or variable speed drives in handling, conveying or stacking
- Y02P60/87—Re-use of by-products of food processing for fodder production
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Medical Informatics (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及数据处理技术领域,具体涉及一种基于图形识别的畜禽喂养控制方法。该方法包括:获取牛犊进食时的移动量,根据牛犊的移动量获取抽帧数量;根据抽帧数量得到多帧目标图像和目标深度图像;将目标深度图像划分为多个深度子块并获取每个深度子块的活跃度;相应的,将目标图像划分为多个RGB子块,并结合对应的深度子块的活跃度获取每个RGB子块对应的RGB重要度向量;构建牛犊状态识别神经网络,获取每个RGB子块的优化特征向量,以此输入支持向量机中得到牛犊的动作识别结果;基于牛犊的不同动作识别结果的时长得到牛犊断奶的最佳时间点,根据最佳时间点对牛犊进行进口料喂养。提高了分析的准确性,减少了牛犊应激反应的概率。
Description
技术领域
本发明涉及数据处理技术领域,具体涉及一种基于图形识别的畜禽喂养控制方法。
背景技术
在奶牛养殖产业中,奶牛犊牛是整个奶牛产业发展的基础,在牛犊的养殖过程中犊牛断奶是一个关键时期。与传统随母饲养方式相比,早期断奶具有很多的优势:首先,可缩短母牛哺乳期,减少哺乳对机体的消耗和牛奶的消耗,加快母牛体况恢复速度,使母牛更早的可以配种生出更多牛犊。此外,早期断奶的犊牛可尽早摄入植物源性饲料,刺激瘤胃和其他消化器官的发育,犊牛提前适应固体饲料采食,有利于犊牛后期的生长和发育。
目前,对牛犊进行断奶的时间由饲养员根据养殖经验进行判定,直接在合适的时期把母乳替换为开口料,让牛犊饥饿的时候不得不进食开口料。但牛犊的断奶时期的选择是这种断奶方法成功的关键,当牛犊断奶时间过早时,牛犊可能会因为采食母乳不足导致牛犊生长发育缓慢甚至受阻,其机体免疫因子摄入不足,继而引发机体应激反应;而当牛犊的断奶时间过晚时。可能会导致牛犊对于母乳的过度依赖采食很少的代乳品或开口料,导致瘤胃发育迟缓。因此仅仅依靠饲养员的经验判定牛犊断奶的时间,主观性较强,并且忽略了每头牛犊个体的体质差异,从而可能出现断奶时期不佳,牛犊发生应激反应的概率也大大提高。
发明内容
为了解决上述技术问题,本发明的目的在于提供一种基于图形识别的畜禽喂养控制方法,该方法包括以下步骤:
获取牛犊在每个采样时间段内的RGB图像和深度图像,基于采样时间段内的所述RGB图像获取所述牛犊的移动量,根据所述牛犊的移动量获取抽帧数量;
根据所述抽帧数量对采样时间段内的RGB图像进行均匀抽取得到目标图像,获取所述目标图像对应的目标深度图像;将所述目标深度图像划分为至少两个深度子块,获取每个深度子块的活跃度,将所述目标图像对应划分为至少两个RGB子块,基于对应的深度子块的活跃度获取每个RGB子块的RGB重要度向量;
构建牛犊状态识别神经网络,获取每个RGB子块对应的邻域集合,所述邻域集合中包括多个邻域子块,基于所述牛犊状态识别神经网络获取每个邻域子块的权重,根据每个邻域子块的权重及其对应的RGB重要度向量对RGB子块的特征向量进行优化得到优化特征向量;以所有RGB子块的优化特征向量构成特征向量集,将所述特征向量集输入支持向量机中得到所述牛犊的动作识别结果;
基于所述牛犊的不同动作识别结果对喂养装置进行强化学习,得到所述牛犊断奶的最佳时间点,根据最佳时间点利用所述喂养装置对所述牛犊进行进口料喂养;
所述基于所述牛犊的不同动作识别结果对喂养装置进行强化学习,得到所述牛犊断奶的最佳时间点的步骤,包括:
对喂养装置进行强化学习的框架使用深度Q网络DQN,所述深度Q网络DQN由Actor网络和Critic网络组成;Actor网络的输入是每头牛犊的优化特征向量以及动作识别结果;初始化Actor网络和Critic网络的权重,对常规的断奶时间段进行one-hot编码得到常规的行为序列;
将关闭母乳喂养装置和关闭开口料喂养装置记为动作,将关闭母乳喂养装置并开启开口料喂养装置记为动作;以执行动作开始到执行动作之后的两天为一个周期,并将执行动作之后的一个周期内的牛犊动作识别结果作为后续动作识别结果;
所述奖励函数取值最小时为断奶的最佳时间点。
优选的,所述基于采样时间段内的所述RGB图像获取所述牛犊的移动量的步骤,包括:
在每头所述牛犊的两个耳朵上分别打上耳标,获取采样时间段内的所有RGB图像中每个耳标的位移量,两个所述耳标的位移量的均值为所述牛犊的移动量。
优选的,所述根据所述牛犊的移动量获取抽帧数量的步骤,包括:
预设最少抽帧数量以及最大移动距离,计算所述移动量与所述最大移动距离的比值;
根据相机采集频率获取每秒采集RGB图像的数量,计算所述数量与最少抽帧数量的差值,将所述差值与所述比值相乘得到乘积结果,以所述乘积结果与最少抽帧数量的求和结果并向下取整得到抽帧数量。
优选的,所述获取每个深度子块的活跃度的步骤,包括:
获取深度子块对应的灰度共生矩阵,根据所述灰度共生矩阵得到对比度和熵,利用所述对比度与所述熵的加权求和得到深度子块的活跃度。
优选的,所述基于对应的深度子块的活跃度获取每个RGB子块的RGB重要度向量的步骤,包括:
获取每个RGB子块对应的RGB组合,所述RGB组合中包括不同尺度的RGB子块;
统计每个RGB子块中所有像素点的数量、所有黑色像素点的数量以及所有黄色像素点的数量;获取RGB子块中所有黑色像素点的数量与所有黄色像素点的数量的求和结果,计算所述求和结果与RGB子块中所有像素点数量的比值;以所述比值与RGB子块对应的深度子块的活跃度的乘积结果得到RGB子块的重要度;
所述RGB组合中所有RGB子块的重要度依次排列得到RGB重要度向量,所述RGB重要度向量为所述RGB组合对应的RGB子块的RGB重要度向量。
优选的,所述获取每个RGB子块对应的邻域集合的步骤,包括:
获取当前RGB子块所在目标图像中其他的RGB子块为第二子块,以及当前RGB子块所在目标图像的前一帧目标图像和后一帧目标图像,前一帧目标图像和后一帧目标图像中与当前RGB子块对应的RGB子块为对应子块,所有的所述第二子块与所述对应子块为当前RGB子块的邻域子块,所有的所述邻域子块构成当前RGB子块的邻域集合。
优选的,所述基于所述牛犊状态识别神经网络获取每个邻域子块的权重的步骤,包括:
所述牛犊状态识别神经网络中包括至少一个注意力层;每个所述注意力层对应不同的线性变化矩阵;
其中,表示邻域集合中第个邻域子块对应的权重,为正整数;表示第个RGB子块对应的特征向量,为正整数,所述特征向量由所述牛犊状态识别神经网络对第个RGB子块展平得到;表示第个RGB子块对应的RGB重要度向量;表示邻域集合中第个邻域子块对应的特征向量;表示邻域集合中第个邻域子块对应的RGB重要度向量;表示激活函数;表示以自然常数e为底的指数函数;表示邻域集合;与均表示线性变化矩阵;与均表示相似度向量;表示向量的拼接。
优选的,所述根据每个邻域子块的权重及其对应的RGB重要度向量对RGB子块的特征向量进行优化得到优化特征向量的步骤,包括:
获取每个邻域子块在不同注意力层对应的权重;计算每个注意力层中邻域子块的特征向量与对应权重的乘积,获取所有注意力层中乘积的平均值;
将所述平均值与当前RGB子块的特征向量进行相加得到相加结果,根据所述相加结果得到所述优化特征向量。
优选的,所述牛犊的动作包括断奶应激反应、饥饿、进食开口料、拒绝开口料、反刍、抽搐、生病以及休息。
本发明具有如下有益效果:本发明实施例首先对所有的RGB图像和深度图像进行抽帧分析,在降低计算量的同时极大保留了牛犊动作信息的准确性;然后对抽帧得到的目标图像和目标深度图像进行分析,对目标深度图像进行分块得到深度子块,并获取每个深度子块的活跃度,相应对每个目标图像进行分块得到RGB子块,结合对应的深度子块获取RGB子块对应的RGB重要度向量,以颜色信息和深度信息结合分析,保证了RGB重要度向量的准确度;进一步的,通过构建牛犊状态识别神经网络对每个RGB子块的特征向量进行优化,优化的过程结合了RGB子块对应的所有邻域子块的RGB重要度向量,使得优化特征向量更加具有代表性,通过优化后的优化特征向量对动作进行识别使得数据的分析更加可靠,基于更加可靠的数据信息获取到牛犊的动作识别结果更加准确,从而对牛犊的断奶的最佳时间点的分析更加精准,极大减少了牛犊发生应激反应的概率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案和优点,下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它附图。
图1为本发明一个实施例所提供的一种基于图形识别的畜禽喂养控制方法流程图。
具体实施方式
为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效,以下结合附图及较佳实施例,对依据本发明提出的一种基于图形识别的畜禽喂养控制方法,其具体实施方式、结构、特征及其功效,详细说明如下。在下述说明中,不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外,一或多个实施例中的特定特征、结构或特点可由任何合适形式组合。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。
下面结合附图具体的说明本发明所提供的一种基于图形识别的畜禽喂养控制方法的具体方案。
请参阅图1,其示出了本发明一个实施例提供的一种基于图形识别的畜禽喂养控制方法流程图,该方法包括以下步骤:
步骤S100,获取牛犊在每个采样时间段内的RGB图像和深度图像,基于采样时间段内的RGB图像获取牛犊的移动量,根据牛犊的移动量获取抽帧数量。
具体的,在养殖行业中往往会给牛犊的两只耳朵上都打上黄色的耳标,用于对每头牛犊的头部移动情况进行监控,牛犊的两只耳朵上均存在耳标且能够保证相机无论在哪个角度都能拍摄到牛犊的耳标。然后在牛圈的上方设置摄像头,用于实时拍摄牛圈内牛犊的行为,每头牛犊在牛圈中均为单独饲养,牛圈的一侧安装两个喂养装置,分别为开口料喂养装置和母乳喂养装置,都可以由机器控制开启和关闭,且牛犊可以观察到装置的开启并进食,装置关闭时牛犊无法进食;由拍摄装置获取每头牛犊的在采样时间段内的RGB图像,并使用双目立体视觉技术实时求得RGB图像中的深度值,得到对应的深度图像。
为了方便对牛犊的情况进行识别,以视频图像中每个黄色耳标的最小外接矩形的中心点作为该耳标的坐标点,将牛犊左边耳标的坐标点记为,将牛犊右边耳标的坐标点记为;如果在拍摄时未检测到相应的耳标时将该耳标的坐标点记为。
进一步的,为了分析的更加准确,本发明实施例中以4秒为一个采样时间段,对每4秒时间段内每帧RGB图像进行分析;设置相机采集图像的频率为30FPS,即4秒内采集得到120帧RGB图像,在实际进行分析时,基于牛犊的移动情况决定抽取一定帧数的图像进行分析。
然后,基于牛犊的移动量获取该牛犊在该时间段内的抽帧数量为:
牛犊在该时间段内的移动量越大,则表明牛犊的状态越不稳定,越需要对该时间段内牛犊情况进行关注,因此移动量越大时,对应的抽帧数量越多。
步骤S200,根据抽帧数量对采样时间段内的RGB图像进行均匀抽取得到目标图像,获取目标图像对应的目标深度图像;将目标深度图像划分为至少两个深度子块,获取每个深度子块的活跃度,将目标图像对应划分为至少两个RGB子块,基于对应的深度子块的活跃度获取每个RGB子块的RGB重要度向量。
由步骤S100中根据牛犊的移动量得到对应的抽帧数量,基于抽帧数量对采样时间段内的RGB图像进行抽取,即根据抽帧数量对120帧RGB图像进行均匀抽取,得到抽取后的RGB图像记为目标图像;相应的,由于每帧RGB图像均对应一帧深度图像,因此根据抽取到的目标图像可对应得到深度图像记为目标深度图像。
由于牛犊耳朵上的耳标较为显著,视频目标跟踪算法的运行速度快,能够反映低纬度的牛犊的运动信息,因此进行抽帧处理可减少后续神经网络的运算量。由此,得到牛犊在一个采样时间段内对应的多帧目标图像和对应的目标深度图像,对每帧目标图像以及每帧目标深度图像进行分别分析。
首先,对目标深度图像进行多尺度分割得到深度子块。
(1)获取深度差分图;计算当前帧目标深度图像与前一帧目标深度图像之间的深度差分值图,也即是计算当前帧目标深度图像与前一帧目标深度图像对应位置像素点的深度值的差值,所有像素点的差值构成深度差分图;以此类推,获取每帧目标深度图像对应的深度差分图,深度差分图本质是一种灰度图,深度值变化越大的地方,灰度值越大,深度差分值的变化在一定程度上反应了牛犊的运动特征。
需要说明的是,此处的当前帧目标深度图像与前一帧目标深度图像并非时间序列上相邻的两个帧,而是抽取得到的所有目标深度图像中当前的目标深度图像与相邻前一张目标深度图像。
(2)对每一帧深度差分图进行多尺度分割,以任意一帧深度差分图为例,本发明实施例中设置多尺度分别为:4、16、64以及256;即将该深度差分图分为4个尺度,第一个尺度下该深度差分图被均分为4个深度子块,每一个深度子块记为;第二个尺度下该深度差分图被均分为16个深度子块,每一个深度子块记为;第三个尺度下该深度差分图被均分为64个深度子块,每一个深度子块记为;第四个尺度下该深度差分图被均分为256个深度子块,每一个深度子块记为。
(3)获取深度组合中每个深度子块的活跃度,深度子块的活跃度的获取方法为:获取深度子块的灰度共生矩阵,基于灰度共生矩阵获取对应的对比度和熵,对比度与熵的加权求和为深度子块的活跃度。
具体的,由于目标深度图像本质是一张灰度图像,因此获取每个深度子块对应的灰度共生矩阵,基于灰度共生矩阵得到对应的对比度CON和熵ENT;对比度CON用于反映深度差分值深浅变化的幅度;对比度越大表明纹理沟纹越深;反之,对比度越小表明纹理沟纹越浅;灰度共生矩阵以及根据灰度共生矩阵获取对比度和熵的方法均为现有公知技术,不再赘述;而牛犊身体的抖动或者在某个地方重复来回走动均会导致深度差分值的增加,对应对比度越大。熵ENT用于对信息量的度量,也可用于反映深度差分值的离散程度,熵ENT越大,则表示深度差分值的离散程度越大,即深度子块中各个地方都存在深度差分值,牛犊的移动较为离散,没有规律。因此以每个深度子块对应的对比度CON和熵ENT评估该深度子块的活跃度为:
以此类推,获取每个深度子块对应的活跃度。
然后,对抽取出的目标图像进行多尺度分割得到至少两个RGB子块。
(1)相应的,本发明实施例中对目标图像进行分割的尺度与深度差分图保持一致,即分割的尺度分别为:4、16、64以及256;即将该目标图像划分为4个尺度,第一个尺度下该目标图像被划分为4个RGB子块,每个RGB子块被记为;第二个尺度下该目标图像被划分为16个RGB子块,每个RGB子块被记为;第三个尺度下该目标图像被划分为64个RGB子块,每个RGB子块被记为;第四个尺度下该目标图像被划分为256个RGB子块,每个RGB子块被记为。
(2)获取RGB组合中每个RGB子块的重要度,RGB子块的重要度的获取方法为:获取RGB子块中所有黑色像素点与所有黄色像素点的数量之和,计算数量之和与RGB子块中所有像素点数量的比值,基于对应目标深度图像中对应深度子块的活跃度得到RGB子块的重要度;将RGB组合中所有RGB子块的重要度依次排列得到RGB组合的重要度向量。
具体的,由于每头牛犊的外表均为黑白相间,且每头牛犊的耳朵上均挂有黄色耳标,基于获取每个RGB子块对应的黑色像素以及黄色像素的占比获取该RGB子块对应的重要度为:
该RGB子块中黄色像素点的数量与黑色像素点的数量越多,越能表现牛犊的特征,其重要度越大,RGB子块对应的深度子块的活跃度越大,则该RGB子块的重要度越大,将深度信息融合进RGB信息中,提高后续动作识别的准确度;以此类推,获取所有RGB子块对应的重要度;基于每个RGB组合中每个RGB子块的重要度构建RGB重要度向量为:
步骤S300,构建牛犊状态识别神经网络,获取每个RGB子块对应的邻域集合,邻域集合中包括多个邻域子块,基于牛犊状态识别神经网络获取每个邻域子块的权重,根据每个邻域子块的权重及其对应的RGB重要度向量对RGB子块的特征向量进行优化得到优化特征向量;以所有RGB子块的优化特征向量构成特征向量集,将特征向量集输入支持向量机中得到牛犊的动作识别结果。
具体的,构建牛犊状态识别神经网络,该牛犊状态识别神经网络输入为目标图像,神经网络的骨干网络均使用Vision Transformer的编码器。
对最大尺度的RGB子块进行展平得到对应的特征向量,由牛犊状态识别神经网络中的注意力层获取RGB子块对应的邻域集合,邻域集合由与RGB子块属于同一帧目标图像中的所有RGB子块,以及目标图像的前后两帧相邻的目标图像中对应位置的RGB子块构成;邻域集合中每个RGB子块为邻域子块;基于每个邻域子块的RGB重要度向量获取邻域集合中每个邻域子块的权重,基于所有邻域子块的权重与邻域子块的特征向量进行加权求和得到RGB子块的优化特征向量。
由于每个RGB子块之间相互关联,因此利用多头多尺度注意力机制对每个RGB子块的特征向量进行聚合,从而对每个RGB子块的特征向量进行更新。该牛犊状态识别神经网络中包括多个注意力层,每个注意力层能够得到每个RGB子块更新后对应的优化特征向量。
假设任意注意力层此时对任意目标图像的第个RGB子块进行更新,该RGB子块的特征向量为,RGB重要度向量为。将第个RGB子块所在目标图像中的所有RGB子块均记为第个RGB子块的邻域子块,并且第个RGB子块所在目标图像的前一帧目标图像中的第个RGB子块以及后一帧目标图像中的第个RGB子块也为第个RGB子块的邻域子块;将该第个RGB子块的所有邻域子块组成的邻域集合记为,基于邻域集合中所有的邻域子块对该第个RGB子块进行聚合更新。
首先,计算该邻域集合中每个邻域子块的权重为:
其中,表示邻域集合中第个邻域子块对应的权重;表示第个RGB子块对应的特征向量;表示第个RGB子块对应的RGB重要度向量;表示邻域集合中第个邻域子块对应的特征向量;表示邻域集合中第个邻域子块对应的RGB重要度向量;表示激活函数;表示以自然常数e为底的指数函数;表示邻域集合;与均表示线性变化矩阵;与均表示相似度向量;表示向量的拼接。
基于每个邻域子块对应的特征与RGB子块对应特征之间的相似程度进行分析,相似程度越大,则对应的权重越大;以此类推,获取第个RGB子块对应的邻域集合中每个邻域子块的权重;基于相同的方法获取第个RGB子块在其他三个注意力层中邻域子块的权重,每个注意力层的输入相同但每个注意力层的线性变化矩阵和线性变化矩阵不同,因此基于四个注意力层对第个RGB子块的邻域子块聚合得到第个RGB子块最终的优化特征向量为:
其中,表示第个RGB子块更新后的优化特征向量;表示第个RGB子块对应的特征向量;表示第个注意力层中邻域集合中第个邻域子块对应的权重;表示邻域集合中第个邻域子块对应的特征向量;表示邻域集合;表示激活函数。
以此类推,获取抽取出的每帧目标图像中每个RGB子块对应的优化特征向量。
本发明实施例中牛犊状态识别神经网络采用无监督的训练方式,在实际的养殖过程的喂食时间拍摄视频,然后人工截取牛犊多种动作类别的数据样本,将获取到的所有的数据样本中80%作为训练集,20%作为测试集,对该牛犊状态识别神经网络进行训练,损失函数为交叉熵损失函数,优化算法为Adam算法;上述线性变化矩阵、线性变化矩阵、相似度向量以及相似度向量均为牛犊状态识别神经网络的训练过程中得到的。
将获取到的4秒内抽取出的每帧目标图像中所有RGB子块对应的优化特征向量构成特征向量集,将该特征向量集输入支持向量机SVM(support vector machine)中,基于该支持向量机SVM输出对牛犊的动作识别结果。本发明实施例中将牛犊的动作划分为8种类别分别为:断奶应激反应、饥饿、进食开口料、拒绝开口料、反刍、抽搐、生病以及休息。
当牛犊出现断奶应激反应时,牛犊会在牛圈里四处走动,表现为情绪烦躁想要进食母乳,此时每个子块中都可能存在牛犊的身影,每个子块对应的重要度较大;当牛犊出现饥饿时,牛犊可能会在牛圈里趴着,表现为没有精神且活动量大大减少,或者在喂食器附近等待,因此只有少数子块中存在牛犊的身影;当牛犊进食开口料时,由于牛犊在喂食器附近进食,因此喂食器附近的子块重要度较高,如果只重点关注牛犊嘴部的动作,则嘴部深度差分图的活跃度较高;当牛犊拒绝开口料时,牛犊会在喂食器附近徘徊,但由于牛犊嘴部没有进食的表现,因此嘴部深度差分图的活跃度较低;当牛犊出现反刍时,该现象一般发生于牛犊进食之后,因此可结合时序上的特征进行判别,此时牛犊嘴部的深度差分图的活跃度较高,但牛犊的身影一般不在喂食器附近;当牛犊出现抽搐时,牛犊的身体部位对应的深度差分图的活跃度较高,且牛犊一般不在喂食器附近;当牛犊出现生病时,表现为身体乏力并且身体重心下降,腿部可能会出现难以站稳的情况,此时牛犊腿部区域的深度差分图的活跃度较高;当牛犊处于休息状态时,牛犊表现为长时间趴在一个地方不进行运动,并且大多数子块的重要度均较低。
需要说明的是,上述对不同动作表现情况的说明仅仅是抽象特征的描述,用于表明不同的动作是有明显的空间和时间差异,具体从图像中提取的数字化特征由神经网络完成。
步骤S400,基于牛犊的不同动作识别结果对喂养装置进行强化学习,得到牛犊断奶的最佳时间点,根据最佳时间点利用喂养装置对牛犊进行进口料喂养。
具体的,由于在对每头牛犊进行断奶的断奶时间十分重要,因此需要找到对牛犊的开口料喂养的最佳时间点;对步骤S100中的喂养装置控制系统进行强化学习,该强化学习的框架使用常规的深度Q网络DQN,该深度Q网络DQN由Actor网络和Critic网络组成;其中,Actor网络的输入是经过牛犊状态识别神经网络输出的优化特征向量以及每头牛犊的动作识别结果;使用“行为克隆”的方法初始化Actor网络和Critic网络的权重,对常规的断奶时间段进行one-hot编码得到常规的行为序列。
本发明实施例中以执行动作关闭母乳喂养装置和关闭开口料喂养装置开始到执行动作关闭母乳喂养装置并开启开口料喂养装置之后的两天为一个周期,将执行动作关闭母乳喂养装置并开启开口料喂养装置之后两天内的牛犊动作识别结果作为后续动作识别结果,
当反刍时长和休息时长处于正常水平并且生病时长和抽搐时长最短时,即奖励函数最小时表明此时为断奶的最佳时间点。
综上所述,本发明实施例提供一种基于图形识别的畜禽喂养控制方法,通过对牛犊的RGB图像以及对应的深度图像进行分析,根据深度图像得到每个深度子块对应的活跃度,根据RGB图像得到每个RGB子块,并结合对应的深度子块的活跃度得到RGB子块的重要度,通过牛犊状态识别神经网络获取每个RGB子块的特征向量,然后根据RGB子块的邻域信息进行聚合得到每个RGB子块的优化特征向量;所有RGB子块对应特征向量集合输入到支持向量机中得到牛犊的动作识别结果,根据牛犊的动作识别结果判断断奶的最佳时间点,提高了分析的准确性,减少了牛犊出现应激反应的概率。
需要说明的是:上述本发明实施例先后顺序仅仅为了描述,不代表实施例的优劣。另外,在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中,多任务处理和并行处理也是可以的或者可能是有利的。
本说明书中的各个实施例均采用递进的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于图形识别的畜禽喂养控制方法,其特征在于,该方法包括以下步骤:
获取牛犊在每个采样时间段内的RGB图像和深度图像,基于采样时间段内的所述RGB图像获取所述牛犊的移动量,根据所述牛犊的移动量获取抽帧数量;
根据所述抽帧数量对采样时间段内的RGB图像进行均匀抽取得到目标图像,获取所述目标图像对应的目标深度图像;将所述目标深度图像划分为至少两个深度子块,获取每个深度子块的活跃度,将所述目标图像对应划分为至少两个RGB子块,基于对应的深度子块的活跃度获取每个RGB子块的RGB重要度向量;
构建牛犊状态识别神经网络,获取每个RGB子块对应的邻域集合,所述邻域集合中包括多个邻域子块,基于所述牛犊状态识别神经网络获取每个邻域子块的权重,根据每个邻域子块的权重及其对应的RGB重要度向量对RGB子块的特征向量进行优化得到优化特征向量;以所有RGB子块的优化特征向量构成特征向量集,将所述特征向量集输入支持向量机中得到所述牛犊的动作识别结果;
基于所述牛犊的不同动作识别结果对喂养装置进行强化学习,得到所述牛犊断奶的最佳时间点,根据最佳时间点利用所述喂养装置对所述牛犊进行进口料喂养;
所述基于所述牛犊的不同动作识别结果对喂养装置进行强化学习,得到所述牛犊断奶的最佳时间点的步骤,包括:
对喂养装置进行强化学习的框架使用深度Q网络DQN,所述深度Q网络DQN由Actor网络和Critic网络组成;Actor网络的输入是每头牛犊的优化特征向量以及动作识别结果;初始化Actor网络和Critic网络的权重,对常规的断奶时间段进行one-hot编码得到常规的行为序列;
将关闭母乳喂养装置和关闭开口料喂养装置记为动作,将关闭母乳喂养装置并开启开口料喂养装置记为动作;以执行动作开始到执行动作之后的两天为一个周期,并将执行动作之后的一个周期内的牛犊动作识别结果作为后续动作识别结果;
所述奖励函数取值最小时为断奶的最佳时间点。
2.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法,其特征在于,所述基于采样时间段内的所述RGB图像获取所述牛犊的移动量的步骤,包括:
在每头所述牛犊的两个耳朵上分别打上耳标,获取采样时间段内的所有RGB图像中每个耳标的位移量,两个所述耳标的位移量的均值为所述牛犊的移动量。
3.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法,其特征在于,所述根据所述牛犊的移动量获取抽帧数量的步骤,包括:
预设最少抽帧数量以及最大移动距离,计算所述移动量与所述最大移动距离的比值;
根据相机采集频率获取每秒采集RGB图像的数量,计算所述数量与最少抽帧数量的差值,将所述差值与所述比值相乘得到乘积结果,以所述乘积结果与最少抽帧数量的求和结果并向下取整得到抽帧数量。
4.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法,其特征在于,所述获取每个深度子块的活跃度的步骤,包括:
获取深度子块对应的灰度共生矩阵,根据所述灰度共生矩阵得到对比度和熵,利用所述对比度与所述熵的加权求和得到深度子块的活跃度。
5.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法,其特征在于,所述基于对应的深度子块的活跃度获取每个RGB子块的RGB重要度向量的步骤,包括:
获取每个RGB子块对应的RGB组合,所述RGB组合中包括不同尺度的RGB子块;
统计每个RGB子块中所有像素点的数量、所有黑色像素点的数量以及所有黄色像素点的数量;获取RGB子块中所有黑色像素点的数量与所有黄色像素点的数量的求和结果,计算所述求和结果与RGB子块中所有像素点数量的比值;以所述比值与RGB子块对应的深度子块的活跃度的乘积结果得到RGB子块的重要度;
所述RGB组合中所有RGB子块的重要度依次排列得到RGB重要度向量,所述RGB重要度向量为所述RGB组合对应的RGB子块的RGB重要度向量。
6.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法,其特征在于,所述获取每个RGB子块对应的邻域集合的步骤,包括:
获取当前RGB子块所在目标图像中其他的RGB子块为第二子块,以及当前RGB子块所在目标图像的前一帧目标图像和后一帧目标图像,前一帧目标图像和后一帧目标图像中与当前RGB子块对应的RGB子块为对应子块,所有的所述第二子块与所述对应子块为当前RGB子块的邻域子块,所有的所述邻域子块构成当前RGB子块的邻域集合。
7.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法,其特征在于,所述基于所述牛犊状态识别神经网络获取每个邻域子块的权重的步骤,包括:
所述牛犊状态识别神经网络中包括至少一个注意力层;每个所述注意力层对应不同的线性变化矩阵;
8.根据权利要求7所述的一种基于图形识别的畜禽喂养控制方法,其特征在于,所述根据每个邻域子块的权重及其对应的RGB重要度向量对RGB子块的特征向量进行优化得到优化特征向量的步骤,包括:
获取每个邻域子块在不同注意力层对应的权重;计算每个注意力层中邻域子块的特征向量与对应权重的乘积,获取所有注意力层中乘积的平均值;
将所述平均值与当前RGB子块的特征向量进行相加得到相加结果,根据所述相加结果得到所述优化特征向量。
9.根据权利要求1所述的一种基于图形识别的畜禽喂养控制方法,其特征在于,所述牛犊的动作包括断奶应激反应、饥饿、进食开口料、拒绝开口料、反刍、抽搐、生病以及休息。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211210367.7A CN115294612B (zh) | 2022-09-30 | 2022-09-30 | 基于图形识别的畜禽喂养控制方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211210367.7A CN115294612B (zh) | 2022-09-30 | 2022-09-30 | 基于图形识别的畜禽喂养控制方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115294612A CN115294612A (zh) | 2022-11-04 |
CN115294612B true CN115294612B (zh) | 2022-12-23 |
Family
ID=83833781
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211210367.7A Active CN115294612B (zh) | 2022-09-30 | 2022-09-30 | 基于图形识别的畜禽喂养控制方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115294612B (zh) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5103665B2 (ja) * | 2008-10-24 | 2012-12-19 | 国立大学法人広島大学 | 物体追跡装置および物体追跡方法 |
CN111461117A (zh) * | 2020-03-30 | 2020-07-28 | 西藏自治区农牧科学院畜牧兽医研究所 | 一种牦牛牛犊的生长环境监控系统及监控方法 |
CN113115722A (zh) * | 2021-04-19 | 2021-07-16 | 青岛得八兄弟机械有限公司 | 一种智能化母猪分娩监测及喂养管理系统 |
-
2022
- 2022-09-30 CN CN202211210367.7A patent/CN115294612B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN115294612A (zh) | 2022-11-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Chen et al. | Behaviour recognition of pigs and cattle: Journey from computer vision to deep learning | |
An et al. | Application of computer vision in fish intelligent feeding system—A review | |
CN111507179A (zh) | 一种生猪采食行为分析方法 | |
CN116778430B (zh) | 肉牛养殖的疾病监测系统及其方法 | |
TWI718572B (zh) | 基於立體視覺的生物自動量測系統及其量測方法 | |
CN111248103A (zh) | 牲畜发情检测方法、装置以及设备 | |
CN114341951A (zh) | 通过非侵入性手段诊断甲壳类动物的疾病、生理变化或其他内部状况的方法和系统 | |
CN110169375A (zh) | 一种奶牛采食行为与采食量的监测方法及装置 | |
Wang et al. | Oestrus detection in dairy cows by using atrous spatial pyramid and attention mechanism | |
CN111062929A (zh) | 一种软件设计畜禽疾病图片的智能分析诊断系统 | |
CN115294612B (zh) | 基于图形识别的畜禽喂养控制方法 | |
CN117036820B (zh) | 一种基于视觉图像的猪只分类模型及其方法 | |
CN114155377A (zh) | 基于人工智能和生长周期分析的禽类自适应喂食方法 | |
Gu et al. | A two-stage recognition method based on deep learning for sheep behavior | |
CN113989538A (zh) | 基于深度图像的鸡群均匀度估测方法、装置、系统及介质 | |
EP4183491A1 (en) | Sorting animals based on non-invasive determination of animal characteristics | |
CN111160422A (zh) | 一种采用卷积神经网络和长短期记忆检测群养猪攻击行为的分析方法 | |
CN116543462A (zh) | 基于视频骨骼的奶牛行为识别判断奶牛健康状况的方法 | |
WO2023194319A1 (en) | Methods and systems for determining a spatial feed insert distribution for feeding crustaceans | |
CN115439789A (zh) | 一种家蚕生命状态智能识别方法和识别系统 | |
CN115619823A (zh) | 一种物体投放方法、装置、终端及计算机可读存储介质 | |
CN115019162A (zh) | 一种基于深度学习的桑蚕检测方法 | |
Rohan et al. | Application of deep learning for livestock behaviour recognition: A systematic literature review | |
Duan et al. | Feed weight estimation model for health monitoring of meat rabbits based on deep learning | |
Zin et al. | Body condition score assessment of depth image using artificial neural network |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right | ||
PE01 | Entry into force of the registration of the contract for pledge of patent right |
Denomination of invention: A Method for Controlling Livestock and Poultry Feeding Based on Graph Recognition Effective date of registration: 20231107 Granted publication date: 20221223 Pledgee: Bank of Jiangsu Co.,Ltd. Nantong Branch Pledgor: NANTONG SHUANGHE FOOD Co.,Ltd. Registration number: Y2023980064309 |