CN116091962A - 一种基于多层次行为分析的大熊猫产期预测方法 - Google Patents
一种基于多层次行为分析的大熊猫产期预测方法 Download PDFInfo
- Publication number
- CN116091962A CN116091962A CN202211653700.1A CN202211653700A CN116091962A CN 116091962 A CN116091962 A CN 116091962A CN 202211653700 A CN202211653700 A CN 202211653700A CN 116091962 A CN116091962 A CN 116091962A
- Authority
- CN
- China
- Prior art keywords
- behavior
- panda
- level
- behaviors
- representing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 240000004718 Panda Species 0.000 title claims abstract description 142
- 208000025174 PANDAS Diseases 0.000 title claims abstract description 141
- 208000021155 Paediatric autoimmune neuropsychiatric disorders associated with streptococcal infection Diseases 0.000 title claims abstract description 141
- 235000016496 Panda oleosa Nutrition 0.000 title claims abstract description 141
- 238000004458 analytical method Methods 0.000 title claims abstract description 34
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000003542 behavioural effect Effects 0.000 title claims description 14
- 230000006399 behavior Effects 0.000 claims abstract description 284
- 230000035935 pregnancy Effects 0.000 claims abstract description 45
- 230000000694 effects Effects 0.000 claims abstract description 16
- 238000012549 training Methods 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 6
- 239000013598 vector Substances 0.000 claims description 57
- 230000009471 action Effects 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 19
- 230000033001 locomotion Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 12
- 238000011176 pooling Methods 0.000 claims description 12
- 238000005070 sampling Methods 0.000 claims description 8
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 229940050561 matrix product Drugs 0.000 claims description 3
- 230000035582 behavioral recognition Effects 0.000 claims 1
- 238000004519 manufacturing process Methods 0.000 claims 1
- 241001465754 Metazoa Species 0.000 abstract description 2
- RJKFOVLPORLFTN-LEKSSAKUSA-N Progesterone Chemical compound C1CC2=CC(=O)CC[C@]2(C)[C@@H]2[C@@H]1[C@@H]1CC[C@H](C(=O)C)[C@@]1(C)CC2 RJKFOVLPORLFTN-LEKSSAKUSA-N 0.000 description 4
- 241000282452 Ailuropoda melanoleuca Species 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- VOXZDWNPVJITMN-ZBRFXRBCSA-N 17β-estradiol Chemical compound OC1=CC=C2[C@H]3CC[C@](C)([C@H](CC4)O)[C@@H]4[C@@H]3CCC2=C1 VOXZDWNPVJITMN-ZBRFXRBCSA-N 0.000 description 2
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 229960005309 estradiol Drugs 0.000 description 2
- 229930182833 estradiol Natural products 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000003062 neural network model Methods 0.000 description 2
- 239000000186 progesterone Substances 0.000 description 2
- 229960003387 progesterone Drugs 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 210000002700 urine Anatomy 0.000 description 2
- 208000003251 Pruritus Diseases 0.000 description 1
- 206010000210 abortion Diseases 0.000 description 1
- 231100000176 abortion Toxicity 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 210000000436 anus Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 210000003608 fece Anatomy 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 229940088597 hormone Drugs 0.000 description 1
- 239000005556 hormone Substances 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000027939 micturition Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000000630 rising effect Effects 0.000 description 1
- 238000006748 scratching Methods 0.000 description 1
- 230000002393 scratching effect Effects 0.000 description 1
- 230000009747 swallowing Effects 0.000 description 1
- 210000003905 vulva Anatomy 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
本发明公开了一种基于多层次行为分析的大熊猫产期预测方法，属于濒危动物保护领域，包括如下步骤：多层次定义大熊猫行为，并标注大熊猫行为活动视频，得到多层次行为识别训练数据；构建多任务行为识别网络；将多层次行为识别训练数据输入多任务行为识别网络进行训练，得到多层次行为识别模型；利用多层次行为识别模模型对待分析大熊猫视频进行多层次行为识别，得到大熊猫行为时序数据；利用妊娠情况分析模块分析大熊猫行为时序数据，得到大熊猫产期预测结果；本发明将大熊猫行为分为四个层次，并分别定义了每个层次的典型行为，通过各层次的有效特征以及大熊猫行为活动的时序描述，解决了大熊猫妊娠情况分析不精确、成本过高和普适性不足的问题。
Description
技术领域
本发明属于濒危动物保护领域，尤其涉及一种基于多层次行为分析的大熊猫产期预测方法。
背景技术
大熊猫具有受孕难、易流产等特点，种群数量较为稀少。为了保护大熊猫物种和提升大熊猫种群数量，大熊猫的繁育问题一直是大熊猫保护工作中的重点研究问题。及时、准确的对大熊猫的妊娠情况进行分析也一直是大熊猫的繁育工作中的重点，若能及早的确定大熊猫是否妊娠以及所处的妊娠阶段，可为大熊猫提供针对性的饲养和管理，在更好保障大熊猫健康情况的同时减轻饲养员的工作负担。
传统的大熊猫妊娠情况分析或妊娠期活动节律研究严重依赖激素的检测或人为观测。现有技术一提出通过检测妊娠期大熊猫尿液中雌二醇和孕酮的含量来对大熊猫的预产期进行预测，对雌二醇浓度值的真实峰值时刻和孕酮浓度值第一次上升期的截止日的间隔天数构建回归方程，进而对大熊猫的预产期做出判断，该方法需要人工的持续跟踪，在大熊猫排尿后迅速的做出反应，严重依赖大熊猫的排遗时间，难以做到定时采集；现有技术二提出通过对大熊猫在妊娠期的行为变化进行分析来判断大熊猫在妊娠期的阶段。使用了瞬时扫描法和全事件记录法对熊猫的行为进行统计，进而对大熊猫是否为假妊娠和妊娠阶段进行判断，该方法具有对大熊猫影响小、操作简便等优点，但严重依赖饲养员的人工经验，且消耗大量的人力物力，难以大规模推广。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于多层次行为分析的大熊猫产期预测方法，将大熊猫行为分为四个层次，并分别定义了每个层次的典型行为，通过获取各层次的有效特征以及大熊猫行为活动的时序描述，解决了大熊猫妊娠情况分析不精确、成本过高和普适性不足的问题。
为了达到上述发明目的，本发明采用的技术方案为：
本发明提供一种基于多层次行为分析的大熊猫产期预测方法，包括如下步骤：
S1、多层次定义大熊猫行为，并标注大熊猫行为活动视频，得到多层次行为识别训练数据；
S2、构建多任务行为识别网络；
S3、将多层次行为识别训练数据输入多任务行为识别网络进行训练，得到多层次行为识别模型；
S4、利用多层次行为识别模模型对待分析大熊猫视频进行多层次行为识别，得到大熊猫行为时序数据；
S5、利用妊娠情况分析模块分析大熊猫行为时序数据，得到大熊猫产期预测结果。
进一步地，所述步骤S1包括如下步骤：
S11、通过多层次定义大熊猫行为，得到大熊猫行为定义结果，其中，大熊猫行为定义结果包括姿态层次行为、动作层次行为、普通行为层次行为和妊娠行为层次行为；
S12、基于大熊猫行为定义结果，对大熊猫行为活动视频的各帧进行标注，并利用边界框标记大熊猫在各帧中的位置，得到多层次行为识别训练数据，其中，各帧均具有姿态层次、动作层次、普通行为层次和妊娠层次的标注信息。
进一步地，所述多任务行为识别网络包括：
Fast通道，用于通过高频采样获取大熊猫行为活动视频中的高速运动信息特征；
Slow通道，用于通过低频采样获取大熊猫行为活动视频中的背景信息特征，并将背景信息特征与高速运动信息特征进行多次融合，得到行为特征；
全连接层，用于将高速运动信息特征和行为特征进行特征融合，并将特征融合结果分别输出至姿态预测头、动作预测头、普通行为预测头和妊娠行为预测头中进行行为识别预测；
姿态预测头，用于基于特征融合结果识别姿态层次行为；
动作预测头，用于基于特征融合结果识别动作层次行为；
普通行为预测头，用于基于特征融合结果识别普通行为层次行为；
妊娠行为预测头，用于基于特征融合结果识别妊娠行为层次行为。
进一步地，所述步骤S4包括如下步骤：
S41、设置固定时间窗口，并根据固定时间窗口长度划分待分析大熊猫视频，得到若干待分析视频片段；
S42、将各待分析视频片段输入至多层次行为识别模型，并采用与固定时间窗口长度相同的步幅滑动时间窗口进行识别，得到多层次行为识别结果；
S43、基于多层次行为识别结果，统计每个自然日内各种行为出现的时长占待分析大熊猫视频总时长的比例，得到大熊猫行为时序数据。
进一步地，所述大熊猫行为时序数据的计算表达式如下：
V＝{v1,v2,…,vt,…,vT}
vt∈R1×N
其中，V表示大熊猫多层次行为特征统计量，vt表示第t天各种行为的分布概率，T表示待分析大熊猫视频观测的最大天数，R1×N表示姿态层次行为、动作层次行为、普通行为层次行为和妊娠行为层次行为中各行为的分布概率数组，N表示姿态层次行为、动作层次行为、普通行为层次行为和妊娠行为层次行为中的行为总数，其中，t＝1,2,…,T。
进一步地，所述妊娠情况分析模块包括：
LSTM特征提取模块，用于根据不断增长的大熊猫行为时序数据，得到定长的特征嵌入向量；
ECA注意力机制模块，用于对特征嵌入向量进行全局池化，得到ECA注意力加权特征向量；
分类预测头模块，用于基于ECA注意力加权特征向量，通过分类头分类得到妊娠中的大熊猫，以及通过预测头对妊娠中的大熊猫进行产期预测，得到大熊猫产期预测结果。
进一步地，所述步骤S5包括如下步骤：
S51、将大熊猫行为时序数据分别输入LSTM特征提取模块中的若干个LSTM单元；
S52、利用各LSTM单元的遗忘门、输入门和输出门非线性更新记忆状态和隐藏层；
S53、拼接各种行为对应的LSTM单元的隐藏层输出的最后一层，得到特征嵌入向量；
S54、基于ECA注意力机制模块将特征嵌入向量全局池化，得到各行为的全局池化结果值组成的向量：
g＝GAP(H)
其中，GAP(·)表示全局池化，g表示各行为的全局池化结果值组成的向量；
S55、对各行为的全局池化结果值组成的向量进行一维卷积，得到各行为的注意力系数：
α＝Conv1d(g)
其中，α表示各行为的注意力系数，Conv1d(·)表示一维卷积；
S56、基于各行为的注意力系数，得到ECA注意力加权特征向量：
E＝α×H
其中，E表示ECA注意力加权特征向量；
S57、利用分类头根据ECA注意力加权特征向量，得到妊娠中的大熊猫；
S58、利用预测头对妊娠中的大熊猫进行产期预测，得到大熊猫产期预测结果。
进一步地，所述LSTM单元的计算表达式如下：
其中，ft i表示第i个LSTM单元的遗忘门，σ(·)表示sigmoid函数，
表示第i个LSTM单元的遗忘门权值矩阵，·表示矩阵乘积，
表示第i个LSTM单元的上一隐藏层，
表示第t天时第i个行为对应的值，
表示第i个LSTM单元的遗忘门偏置向量，
表示第i个LSTM单元的输入门，
表示第i个LSTM单元的输入门权值矩阵，
表示第i个LSTM单元的输入门偏置向量，
表示第i个LSTM单元的输出门，
表示第i个LSTM单元的输出门权值矩阵，
表示第i个LSTM单元的输出门偏置向量，
表示第i个LSTM单元的记忆状态，
表示第i个LSTM单元的上一记忆状态，tanh(·)表示双曲正切函数，
表示第i个LSTM单元的记忆状态权值矩阵，
表示第i个LSTM单元的记忆状态偏置向量，
表示第i个LSTM单元的隐藏层，*表示哈达玛积，其中，i为非零自然数。
进一步地，所述特征嵌入向量的计算表达式如下：
其中，H表示特征嵌入向量，
表示第i个行为，
表示行为特征向量集合，dh表示LSTM单元隐藏层的维度。
本发明的有益效果为：本发明提供一种基于多层次行为分析的大熊猫产期预测方法，从多个角度描述了大熊猫的行为，既包含浅层的姿态信息，又包含深层的状态信息，能够更好的揭示大熊猫在妊娠期间不同阶段的行为规律；本发明提供了一种多任务神经网络模型，能够高效的检测大熊猫的多层次行为，该模型通过快、慢双通道实现了较好同时捕获背景信息以及动作信息，提升了行为识别的准确率，且通过同时输入大熊猫的几种层次行为标签和边界框进行多任务学习，通过多任务联合训练四种层次的行为标注，不仅能够共享权重和网络骨架，减少计算量和模型参数，还能够充分利用不同行为层次的标注信息来提升各层次行为的识别性能；本发明基于视频分析预测，能够实现全天候、全自动运行，仅需极少数人工干预，并随着系统的使用，不断累积相应数据能够提升模型的分析能力。
附图说明
图1为本发明实施例中一种基于多层次行为分析的大熊猫产期预测方法的步骤流程图。
图2为本发明实施例中多任务行为识别网络的示意图。
图3为本发明实施例中LSTM单元从行为时序数据中获取特征嵌入向量的示意图。
图4为本发明实施例中妊娠情况分析模块进行大熊猫产期分析的示意图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，在本发明的一个实施例中，本发明提供一种基于多层次行为分析的大熊猫产期预测方法，包括如下步骤：
S1、多层次定义大熊猫行为，并标注大熊猫行为活动视频，得到多层次行为识别训练数据；
所述步骤S1包括如下步骤：
S11、通过多层次定义大熊猫行为，得到大熊猫行为定义结果，其中，大熊猫行为定义结果包括姿态层次行为、动作层次行为、普通行为层次行为和妊娠行为层次行为；
S12、基于大熊猫行为定义结果，对大熊猫行为活动视频的各帧进行标注，并利用边界框标记大熊猫在各帧中的位置，得到多层次行为识别训练数据，其中，各帧均具有姿态层次、动作层次、普通行为层次和妊娠层次的标注信息；
多层次行为的划分与构建部分，从姿态、动作、普通行为和妊娠行为4个层次定义了大熊猫的46种典型行为，其中，姿态是一种可以通过单帧图像判断的行为，表示了一种瞬时(浅层)状态；动作可以通过短时间的视频进行判断，表示了一种短期依赖；普通行为是更加长期的依赖，表示了较深层次的状态信息；妊娠行为除了拥有普通行为的特点之外，还是妊娠期间较多出现、其它期间极少出现的行为，并在妊娠期的不同阶段具有不同的分布特征，姿态层次、动作层次、普通行为层次和妊娠层次的行为定义一一对应如表1、表2、表3和表4所示：
表1姿态层次行为定义
表2动作层次行为定义
表3普通行为层次行为定义
| 名称 | 描述 |
| 喝 | 用嘴吮吸饮水盆(缸)里饮液体 |
| 取食 | 用嘴、爪子处理和吞咽食物 |
| 运动 | 在场地内移动,包括走、跑、攀爬 |
| 休息 | 在一个地方,或躺或坐,偶尔改变姿势 |
| 探究 | 用口鼻或爪子探究物体,站立注视 |
| 玩耍 | 无明显目的,如戏水、打滚、游戏和对各种物品的玩耍 |
| 标记 | 用肛周腺、外阴、粪便、尿液在其他物体上涂抹 |
| 排遗 | 排泄大便或小便 |
| 修饰 | 用爪抓或用嘴舔毛、蹭痒等 |
表4妊娠行为层次行为定义
使用多层次的行为定义对大熊猫妊娠期的视频进行标注，在每个时刻都有姿态、动作、普通行为和妊娠行为四个层次的标注信息，此外，还使用边界框标记出大熊猫在视频中的位置，不仅能够共享权重和网络骨架，减少计算量和模型参数，还能够充分利用不同行为层次的标注信息来提升各层次行为的识别性能；
S2、构建多任务行为识别网络；
多任务行为识别网络的主体框架为SlowFast框架；SlowFast拥有Slow和Fast两个通道，其中Slow通道对视频进行2Hz低频采样，用来捕获视频的背景信息；Fast通道对视频进行15Hz的高频采样，用来捕获视频中的高速运动信息；同时还将两条通路上多次融合，来捕获到更加丰富的行为特征，在全连接层融合之后，再连接到多个预测头中，对不同层次的行为进行识别预测，该网络共用主体框架，既能捕获到其它层次的信息，又能减少网络的参数量和计算量；
如图2所示，所述多任务行为识别网络包括：
Fast通道，用于通过高频采样获取大熊猫行为活动视频中的高速运动信息特征；
Slow通道，用于通过低频采样获取大熊猫行为活动视频中的背景信息特征，并将背景信息特征与高速运动信息特征进行多次融合，得到行为特征；
全连接层，用于将高速运动信息特征和行为特征进行特征融合，并将特征融合结果分别输出至姿态预测头、动作预测头、普通行为预测头和妊娠行为预测头中进行行为识别预测；
姿态预测头，用于基于特征融合结果识别姿态层次行为；
动作预测头，用于基于特征融合结果识别动作层次行为；
普通行为预测头，用于基于特征融合结果识别普通行为层次行为；
妊娠行为预测头，用于基于特征融合结果识别妊娠行为层次行为；
S3、将多层次行为识别训练数据输入多任务行为识别网络进行训练，得到多层次行为识别模型；
S4、利用多层次行为识别模模型对待分析大熊猫视频进行多层次行为识别，得到大熊猫行为时序数据；
所述步骤S4包括如下步骤：
S41、设置固定时间窗口，并根据固定时间窗口长度划分待分析大熊猫视频，得到若干待分析视频片段；
S42、将各待分析视频片段输入至多层次行为识别模型，并采用与固定时间窗口长度相同的步幅滑动时间窗口进行识别，得到多层次行为识别结果；
S43、基于多层次行为识别结果，统计每个自然日内各种行为出现的时长占待分析大熊猫视频总时长的比例，得到大熊猫行为时序数据；
所述大熊猫行为时序数据的计算表达式如下：
V＝{v1,v2,…,vt,…,vT}
vt∈R1×N
其中，V表示大熊猫多层次行为特征统计量，vt表示第t天各种行为的分布概率，T表示待分析大熊猫视频观测的最大天数，R1×N表示姿态层次行为、动作层次行为、普通行为层次行为和妊娠行为层次行为中各行为的分布概率数组，N表示姿态层次行为、动作层次行为、普通行为层次行为和妊娠行为层次行为中的行为总数，其中，t＝1,2,…,T；
S5、利用妊娠情况分析模块分析大熊猫行为时序数据，得到大熊猫产期预测结果；
所述妊娠情况分析模块包括：
LSTM特征提取模块，用于根据不断增长的大熊猫行为时序数据，得到定长的特征嵌入向量；
ECA注意力机制模块，用于对特征嵌入向量进行全局池化，得到ECA注意力加权特征向量；
分类预测头模块，用于基于ECA注意力加权特征向量，通过分类头分类得到妊娠中的大熊猫，以及通过预测头对妊娠中的大熊猫进行产期预测，得到大熊猫产期预测结果，其中，分类头或预测头均使用两层全连接层构成，全连接层之间使用ReLU激活函数；
所述步骤S5包括如下步骤：
如图3所示，S51、将大熊猫行为时序数据分别输入LSTM特征提取模块中的若干个LSTM单元；
所述LSTM单元的计算表达式如下：
其中，ft i表示第i个LSTM单元的遗忘门，σ(·)表示sigmoid函数，
表示第i个LSTM单元的遗忘门权值矩阵，·表示矩阵乘积，
表示第i个LSTM单元的上一隐藏层，
表示第t天时第i个行为对应的值，
表示第i个LSTM单元的遗忘门偏置向量，
表示第i个LSTM单元的输入门，
表示第i个LSTM单元的输入门权值矩阵，
表示第i个LSTM单元的输入门偏置向量，
表示第i个LSTM单元的输出门，
表示第i个LSTM单元的输出门权值矩阵，
表示第i个LSTM单元的输出门偏置向量，
表示第i个LSTM单元的记忆状态，
表示第i个LSTM单元的上一记忆状态，tanh(·)表示双曲正切函数，
表示第i个LSTM单元的记忆状态权值矩阵，
表示第i个LSTM单元的记忆状态偏置向量，
表示第i个LSTM单元的隐藏层，*表示哈达玛积，其中，i为非零自然数；
S52、利用各LSTM单元的遗忘门、输入门和输出门非线性更新记忆状态和隐藏层；
S53、拼接各种行为对应的LSTM单元的隐藏层输出的最后一层，得到特征嵌入向量；
所述特征嵌入向量的计算表达式如下：
其中，H表示特征嵌入向量，
表示第i个行为，
表示行为特征向量集合，dh表示LSTM单元隐藏层的维度；
如图4所示，S54、基于ECA注意力机制模块将特征嵌入向量全局池化，得到各行为的全局池化结果值组成的向量：
g＝GAP(H)
其中，GAP(·)表示全局池化，g表示各行为的全局池化结果值组成的向量；
S55、对各行为的全局池化结果值组成的向量进行一维卷积，得到各行为的注意力系数：
α＝Conv1d(g)
其中，α表示各行为的注意力系数，Conv1d(·)表示一维卷积；
S56、基于各行为的注意力系数，得到ECA注意力加权特征向量：
E＝α×H
其中，E表示ECA注意力加权特征向量；
S57、利用分类头根据ECA注意力加权特征向量，得到妊娠中的大熊猫；
S58、利用预测头对妊娠中的大熊猫进行产期预测，得到大熊猫产期预测结果。
本发明从多个角度描述了大熊猫的行为，既包含浅层的姿态信息，又包含深层的状态信息，能够更好的揭示大熊猫在妊娠期间不同阶段的行为规律；本发明提供了一种多任务神经网络模型，能够高效的检测大熊猫的多层次行为，该模型通过快、慢双通道实现了较好同时捕获背景信息以及动作信息，提升了行为识别的准确率，且通过同时输入大熊猫的几种层次行为标签和边界框进行多任务学习，通过多任务联合训练四种层次的行为标注，不仅能够共享权重和网络骨架，减少计算量和模型参数，还能够充分利用不同行为层次的标注信息来提升各层次行为的识别性能；本发明基于视频分析预测，能够实现全天候、全自动运行，仅需极少数人工干预，并随着系统的使用，不断累积相应数据能够提升模型的分析能力。
Claims (9)
1.一种基于多层次行为分析的大熊猫产期预测方法，其特征在于，包括如下步骤：
S1、多层次定义大熊猫行为，并标注大熊猫行为活动视频，得到多层次行为识别训练数据；
S2、构建多任务行为识别网络；
S3、将多层次行为识别训练数据输入多任务行为识别网络进行训练，得到多层次行为识别模型；
S4、利用多层次行为识别模模型对待分析大熊猫视频进行多层次行为识别，得到大熊猫行为时序数据；
S5、利用妊娠情况分析模块分析大熊猫行为时序数据，得到大熊猫产期预测结果。
2.根据权利要求1所述的基于多层次行为分析的大熊猫产期预测方法，其特征在于，所述步骤S1包括如下步骤：
S11、通过多层次定义大熊猫行为，得到大熊猫行为定义结果，其中，大熊猫行为定义结果包括姿态层次行为、动作层次行为、普通行为层次行为和妊娠行为层次行为；
S12、基于大熊猫行为定义结果，对大熊猫行为活动视频的各帧进行标注，并利用边界框标记大熊猫在各帧中的位置，得到多层次行为识别训练数据，其中，各帧均具有姿态层次、动作层次、普通行为层次和妊娠层次的标注信息。
3.根据权利要求2所述的基于多层次行为分析的大熊猫产期预测方法，其特征在于，所述多任务行为识别网络包括：
Fast通道，用于通过高频采样获取大熊猫行为活动视频中的高速运动信息特征；
Slow通道，用于通过低频采样获取大熊猫行为活动视频中的背景信息特征，并将背景信息特征与高速运动信息特征进行多次融合，得到行为特征；
全连接层，用于将高速运动信息特征和行为特征进行特征融合，并将特征融合结果分别输出至姿态预测头、动作预测头、普通行为预测头和妊娠行为预测头中进行行为识别预测；
姿态预测头，用于基于特征融合结果识别姿态层次行为；
动作预测头，用于基于特征融合结果识别动作层次行为；
普通行为预测头，用于基于特征融合结果识别普通行为层次行为；
妊娠行为预测头，用于基于特征融合结果识别妊娠行为层次行为。
4.根据权利要求3所述的基于多层次行为分析的大熊猫产期预测方法，其特征在于，所述步骤S4包括如下步骤：
S41、设置固定时间窗口，并根据固定时间窗口长度划分待分析大熊猫视频，得到若干待分析视频片段；
S42、将各待分析视频片段输入至多层次行为识别模型，并采用与固定时间窗口长度相同的步幅滑动时间窗口进行识别，得到多层次行为识别结果；
S43、基于多层次行为识别结果，统计每个自然日内各种行为出现的时长占待分析大熊猫视频总时长的比例，得到大熊猫行为时序数据。
5.根据权利要求4所述的基于多层次行为分析的大熊猫产期预测方法，其特征在于，所述大熊猫行为时序数据的计算表达式如下：
V＝{v1,v2,…,vt,…,vT}
vt∈R1×N
其中，V表示大熊猫多层次行为特征统计量，vt表示第t天各种行为的分布概率，T表示待分析大熊猫视频观测的最大天数，R1×N表示姿态层次行为、动作层次行为、普通行为层次行为和妊娠行为层次行为中各行为的分布概率数组，N表示姿态层次行为、动作层次行为、普通行为层次行为和妊娠行为层次行为中的行为总数，其中，t＝1,2,…,T。
6.根据权利要求5所述的基于多层次行为分析的大熊猫产期预测方法，其特征在于，所述妊娠情况分析模块包括：
LSTM特征提取模块，用于根据不断增长的大熊猫行为时序数据，得到定长的特征嵌入向量；
ECA注意力机制模块，用于对特征嵌入向量进行全局池化，得到ECA注意力加权特征向量；
分类预测头模块，用于基于ECA注意力加权特征向量，通过分类头分类得到妊娠中的大熊猫，以及通过预测头对妊娠中的大熊猫进行产期预测，得到大熊猫产期预测结果。
7.根据权利要求5所述的基于多层次行为分析的大熊猫产期预测方法，其特征在于，所述步骤S5包括如下步骤：
S51、将大熊猫行为时序数据分别输入LSTM特征提取模块中的若干个LSTM单元；
S52、利用各LSTM单元的遗忘门、输入门和输出门非线性更新记忆状态和隐藏层；
S53、拼接各种行为对应的LSTM单元的隐藏层输出的最后一层，得到特征嵌入向量；
S54、基于ECA注意力机制模块将特征嵌入向量全局池化，得到各行为的全局池化结果值组成的向量：
g＝GAP(H)
其中，GAP(·)表示全局池化，g表示各行为的全局池化结果值组成的向量；
S55、对各行为的全局池化结果值组成的向量进行一维卷积，得到各行为的注意力系数：
α＝Conv1d(g)
其中，α表示各行为的注意力系数，Conv1d(·)表示一维卷积；
S56、基于各行为的注意力系数，得到ECA注意力加权特征向量：
E＝α×H
其中，E表示ECA注意力加权特征向量；
S57、利用分类头根据ECA注意力加权特征向量，得到妊娠中的大熊猫；
S58、利用预测头对妊娠中的大熊猫进行产期预测，得到大熊猫产期预测结果。
8.根据权利要求7所述的基于多层次行为分析的大熊猫产期预测方法，其特征在于，所述LSTM单元的计算表达式如下：
其中，ft i表示第i个LSTM单元的遗忘门，σ(·)表示sigmoid函数，
表示第i个LSTM单元的遗忘门权值矩阵，·表示矩阵乘积，
表示第i个LSTM单元的上一隐藏层，
表示第t天时第i个行为对应的值，
表示第i个LSTM单元的遗忘门偏置向量，
表示第i个LSTM单元的输入门，
表示第i个LSTM单元的输入门权值矩阵，
表示第i个LSTM单元的输入门偏置向量，
表示第i个LSTM单元的输出门，
表示第i个LSTM单元的输出门权值矩阵，
表示第i个LSTM单元的输出门偏置向量，
表示第i个LSTM单元的记忆状态，
表示第i个LSTM单元的上一记忆状态，tanh(·)表示双曲正切函数，
表示第i个LSTM单元的记忆状态权值矩阵，
表示第i个LSTM单元的记忆状态偏置向量，
表示第i个LSTM单元的隐藏层，*表示哈达玛积，其中，i为非零自然数。
9.根据权利要求8所述的基于多层次行为分析的大熊猫产期预测方法，其特征在于，所述特征嵌入向量的计算表达式如下：
其中，H表示特征嵌入向量，
表示第i个行为，
表示行为特征向量集合，dh表示LSTM单元隐藏层的维度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211653700.1A CN116091962A (zh) | 2022-12-22 | 2022-12-22 | 一种基于多层次行为分析的大熊猫产期预测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202211653700.1A CN116091962A (zh) | 2022-12-22 | 2022-12-22 | 一种基于多层次行为分析的大熊猫产期预测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116091962A true CN116091962A (zh) | 2023-05-09 |
Family
ID=86203643
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202211653700.1A Pending CN116091962A (zh) | 2022-12-22 | 2022-12-22 | 一种基于多层次行为分析的大熊猫产期预测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116091962A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117423042A (zh) * | 2023-12-15 | 2024-01-19 | 成都大熊猫繁育研究基地 | 一种基于大熊猫排泄物识别的大熊猫健康评估方法及系统 |
-
2022
- 2022-12-22 CN CN202211653700.1A patent/CN116091962A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117423042A (zh) * | 2023-12-15 | 2024-01-19 | 成都大熊猫繁育研究基地 | 一种基于大熊猫排泄物识别的大熊猫健康评估方法及系统 |
| CN117423042B (zh) * | 2023-12-15 | 2024-02-20 | 成都大熊猫繁育研究基地 | 一种基于大熊猫排泄物识别的大熊猫健康评估方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Peng et al. | Classification of multiple cattle behavior patterns using a recurrent neural network with long short-term memory and inertial measurement units | |
| Chen et al. | Classification of drinking and drinker-playing in pigs by a video-based deep learning method | |
| Liu et al. | A computer vision-based method for spatial-temporal action recognition of tail-biting behaviour in group-housed pigs | |
| Qiao et al. | C3D-ConvLSTM based cow behaviour classification using video data for precision livestock farming | |
| Chen et al. | Recognition of feeding behaviour of pigs and determination of feeding time of each pig by a video-based deep learning method | |
| Du et al. | Broodstock breeding behaviour recognition based on Resnet50-LSTM with CBAM attention mechanism | |
| CN110575663B (zh) | 一种基于人工智能的体育辅助训练方法 | |
| US12039733B2 (en) | Method for identifying individuals of oplegnathus punctatus based on convolutional neural network | |
| Ma et al. | Basic motion behavior recognition of single dairy cow based on improved Rexnet 3D network | |
| Feng et al. | Fish feeding intensity quantification using machine vision and a lightweight 3D ResNet-GloRe network | |
| CN116091962A (zh) | 一种基于多层次行为分析的大熊猫产期预测方法 | |
| CN112544491A (zh) | 一种识别圈养动物腹泻的方法及系统 | |
| CN111046808A (zh) | 采用残差卷积神经网络和长短期记忆分类群养猪饮水和玩耍饮水器的分析方法 | |
| Bonneau et al. | Predicting sow postures from video images: Comparison of convolutional neural networks and segmentation combined with support vector machines under various training and testing setups | |
| Xu et al. | Automatic quantification and assessment of grouped pig movement using the XGBoost and YOLOv5s models | |
| Gong et al. | Sika Deer Behavior Recognition Based on Machine Vision. | |
| Sun et al. | Basic behavior recognition of yaks based on improved SlowFast network | |
| CN116935439A (zh) | 一种孕羊分娩自动监测预警方法及自动监测预警系统 | |
| Li et al. | A novel lameness detection method for dairy cows based on temporal gait and spatial post features | |
| Bati et al. | SHEEPFEARNET: Sheep fear test behaviors classification approach from video data based on optical flow and convolutional neural networks | |
| CN116543462A (zh) | 基于视频骨骼的奶牛行为识别判断奶牛健康状况的方法 | |
| CN113449712A (zh) | 一种基于改进Alexnet网络的羊脸识别方法 | |
| Geng et al. | Motion focus global–local network: Combining attention mechanism with micro action features for cow behavior recognition | |
| Yang et al. | Recognizing the rooting action of prepartum sow in free-farrowing pen using computer vision | |
| Saenong et al. | Identification of Poultry Reproductive Behavior Using Faster R-CNN with MobileNet V3 Architecture in Traditional Cage Environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |