CN116110586B - 基于YOLOv5以及SlowFast的大象健康管理系统 - Google Patents
基于YOLOv5以及SlowFast的大象健康管理系统 Download PDFInfo
- Publication number
- CN116110586B CN116110586B CN202310390634.1A CN202310390634A CN116110586B CN 116110586 B CN116110586 B CN 116110586B CN 202310390634 A CN202310390634 A CN 202310390634A CN 116110586 B CN116110586 B CN 116110586B
- Authority
- CN
- China
- Prior art keywords
- elephant
- behavior
- time length
- health
- total time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 241000406668 Loxodonta cyclotis Species 0.000 title claims abstract description 182
- 230000036541 health Effects 0.000 title claims abstract description 60
- 230000006399 behavior Effects 0.000 claims abstract description 154
- 238000001514 detection method Methods 0.000 claims abstract description 56
- 238000000034 method Methods 0.000 claims abstract description 32
- 238000012544 monitoring process Methods 0.000 claims abstract description 15
- 238000011156 evaluation Methods 0.000 claims abstract description 11
- 238000003860 storage Methods 0.000 claims abstract description 6
- 238000012549 training Methods 0.000 claims description 32
- 241000283080 Proboscidea <mammal> Species 0.000 claims description 24
- 230000009194 climbing Effects 0.000 claims description 16
- 230000006870 function Effects 0.000 claims description 14
- 230000002354 daily effect Effects 0.000 claims description 12
- 230000000284 resting effect Effects 0.000 claims description 11
- 230000035611 feeding Effects 0.000 claims description 10
- 230000004634 feeding behavior Effects 0.000 claims description 10
- 230000033001 locomotion Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 7
- 238000013461 design Methods 0.000 claims description 7
- 238000005286 illumination Methods 0.000 claims description 6
- 230000000007 visual effect Effects 0.000 claims description 6
- 238000012800 visualization Methods 0.000 claims description 6
- 238000011897 real-time detection Methods 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 4
- 230000003203 everyday effect Effects 0.000 claims description 4
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims description 3
- 230000003862 health status Effects 0.000 claims description 3
- 230000003542 behavioural effect Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 claims description 2
- 238000005096 rolling process Methods 0.000 claims description 2
- 238000000638 solvent extraction Methods 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims 3
- 230000000087 stabilizing effect Effects 0.000 claims 1
- 230000009286 beneficial effect Effects 0.000 abstract description 3
- 241001465754 Metazoa Species 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 5
- 230000008901 benefit Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000009395 breeding Methods 0.000 description 2
- 230000001488 breeding effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000009318 large scale farming Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 241000894007 species Species 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Public Health (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Data Mining & Analysis (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Abstract
本发明公开了一种基于YOLOv5以及SlowFast的大象健康管理系统，包括：大象的行为数据采集子系统：用于采集大象行为视频；大象的行为检测子系统：分析大象行为视频，通过YOLOv5算法以及SlowFast网络检测大象的特征行为，实时输送到数据库中，对大象的特征行为进行计数统计；大象生活环境监测子系统：监测室外的大象生活环境信息，实时发送至数据库存储；大象健康评估子系统：将不同类别的行为划分相应的权重，根据大象的行为量对应的区间，为大象的健康状况进行系统性的自动化打分；分析大象生活环境对其健康状态的影响。本发明提供的方法非接触地获得大象的行为数据、健康评估等信息，有利于提高大象的福利水平。
Description
技术领域
本专利涉及计算机视觉、动物福利养殖、计算机网络等技术领域。具体是一种基于YOLOv5以及SlowFast的大象健康管理系统。
背景技术
动物的健康管理在当下这种集约化、规模化的养殖业中一直是一个热门话题，其中有一些动物学家通过定量分析动物在单一变量下的行为表现、生理指标，以数值形式评估动物福利的优劣。不管是从养殖业本身的经济效益还是动物福利本身的需求出发，具体精确的识别方法将关乎着养殖带来的经济效益以及动物福利的要求。目前相关的通过动物的行为表现来实现健康管理的技术，国内外虽然早有相关研究，但对于通过研究大象行为来实现健康管理却少有报道，仍处于研究阶段。大象作为国家一级保护动物和世界濒危动物，研究自动化、智能化识别大象行为，评估大象健康水平研究的方法对提高大象养殖（饲养）福利，保证我国物种多样性具有重大意义。
大象健康评估是动物园大象饲养环节中的重要任务之一，及时准确的获取大象行为信息能够有效提高大象福利水平。目前，国内外对于大象健康评估主要依靠大象馆相关人员观察大象行为，不仅效率低下、费时费力，而且无法做到连续观察和自动化行为分析。同时，大象行为复杂，活动区域多样，这要求观察者高度熟悉大象行为特性。然而，在实际动物园场景下，管理人员往往负责多种动物管理，长时间、高强度工作难免会使管理人员因疲劳而对大象行为评估产生主观臆断，导致大象管理环节的纰漏。
利用机器视觉技术结合行为识别算法是实现动物行为监测的主要途径之一。随着人工智能的不断发展，机器视觉技术已经渗透到动物养殖的多个环节。本项目基于机器视觉技术，结合目标检测和行为识别方法，在多角度、多区域的复杂场景下实现自动化、智能化大象静态姿态检测和动态行为识别，并对多个角度的识别结果进行筛选和决策，准确统计公母象每天各类行为变化，量化大象行为数据。同时，本项目利用传感器、无线通信和网页开发技术，采集大象生存环境数据，研究环境参数与大象行为之间的关联，并为动物园管理人员提供高度可视化的大象智能化健康管理系统，辅助动物园评估大象健康水平和改善大象生存环境。
发明内容
本发明针对背景技术中存在的问题，提出了一种基于YOLOv5以及SlowFast的大象健康管理系统。通过YOLOv5检测算法，实现对室外活动的大象的行为进行分类，并对大象的采食、休息以及爬跨行为实时目标检测；通过SlowFast算法对室内活动的大象动作进行特征提取，对大象刻板行为进行实时行为检测；利用级联YOLOv5模型和SlowFast算法的方法检测大象的行为，是研究大象行为并对大象进行健康评估，以此提高大象的福利水平的重要基础。
技术方案：一种基于YOLOv5以及SlowFast的大象健康管理系统，它包括：大象的行为数据采集子系统、大象的行为检测子系统、大象生活环境监测子系统和大象健康评估子系统；具体的：
大象的行为数据采集子系统：用于采集大象行为视频；
大象的行为检测子系统：分析大象行为视频，通过YOLOv5算法以及SlowFast网络检测大象的特征行为，实时输送到数据库中，对大象的特征行为进行计数统计；
大象生活环境监测子系统：监测室外的大象生活环境信息，实时发送至数据库存储；
大象健康评估子系统：将不同类别的行为划分相应的权重，根据大象的行为量对应的区间，为大象的健康状况进行系统性的自动化打分；同时，分析大象生活环境对其健康状态的影响。
具体的，大象的行为检测子系统的模型构建包括以下步骤：
S1、数据采集：基于大象的行为数据采集子系统获得视频及图像数据，图像数据实时从视频中截取，截取频率为每秒一帧图片；
S2、概念定义：大象采食、休息、爬跨以及刻板行为定义以及大象性别定义；
S3、数据划分：基于大象行为的定义划分大象行为数据集；
S4、网络设计：平衡检测速度和检测精度，采用YOLOv5和SlowFast为检测网络模型；
S5、YOLOv5模型训练：利用动作分类图片数据集训练YOLOv5模型，作为室外大象行为的检测器；
S6、SlowFast模型训练：利用动作分类视频数据集训练SlowFast模型，作为室内大象刻板行为的检测器；
S7、行为统计及可视化：将室外及室内大象各类行为检测结果传输至后台数据库，编写SQL语句自动化统计每天各类行为时长及次数，发布至前端可视化页面。
优选的，大象的行为数据采集子系统包括：采集大象行为视频的摄像头，分布设置于大象的生活区以及室外运动场；摄像头一方面连续存储视频数据到视频存储单元，另一方面直连服务器。
优选的，大象行为包括：采食行为、休息行为、爬跨行为以及刻板行为；具体的行为定义为：
采食行为：鼻子卷起食物，填到嘴里 3 次以上；
休息行为：侧卧到室内地板或室外地面上，持续一分钟以上；
爬跨行为：雄性大象谋求与雌性大象交配的行为；
刻板行为：
移动类刻板行为：大象在两个点重复性的来回走动，或者一直绕圈，重复 3 次以上；
晃动类刻板行为：大象身体某部位重复同一个动作 3 次以上。
具体的，步骤S4所述网络设计中，检测网络模型的损失函数为：
式中s×s 表示将整幅图片分成s×s个栅格，ciouErr为坐标误差，objErr为置信度误差，clsErr为分类误差，根据损失函数的收敛情况来判断模型训练迭代次数。
具体的：
坐标误差的获取公式为：
式中，IoU为预测框与实际框的交并比，为预测框与实际框的中心点连线的欧氏距离，c为同时包含预测框和实际框的最小闭包区域的对角线距离，v为宽高比度量函数，w为预测框的宽，h为预测框的高，/>为目标框的宽，/>为目标框的高；
置信度误差的获取公式为：
式中，wn为超参数，yn为第n个样本对应的类别的真实值，xn为第n个样本的对应的
模型输出，exp为指数函数；为sigmod函数，表示将xn经过sigmoid激活函数处理；
分类误差的获取公式为：
式中，N表示类别总个数，为经过激活函数后得到的当前类别的概率，为当
前类别的真实值。
具体的，步骤S5所述的YOLOv5模型训练中，采用随机梯度下降和动量法予以优化，初始动量为0.937，batch_size为32，初始学习率为0.01，训练迭代次数共16000次，在10000次和11000次迭代时，学习率缩小10倍，权重更新公式如下：
，j=0,...,n
式中j表示特征数量，θ表示特征权重，i表示数据样本，lr代表学习率，每次迭代更新一次权重，每迭代1000次备份权重模型，模型在训练13000次左右趋于平稳；式中，目的是使得/>最小化。
具体的，步骤S6所述的SlowFast算法的训练中，采用双路径的视频识别，以低帧速率运行的慢速路径以捕获空间语义，以及以高帧速率运行的快速路径以捕获精细时间分辨率的运动。
具体的，所述大象环境实时检测子系统，利用三合一的空气质量检测传感器检测室外环境数据，包括温度、湿度和光照强度；
空气质量检测传感器经波束成型后的接收信号表示为：
其中，表示空气质量检测传感器的最佳权值向量；/>为点乘符号；/>表示接收信号。
具体的，大象健康评估子系统融合大象行为检测子系统和大象生活环境监测子系统采集的数据，实现健康状况打分，并分析空气质量因素对健康评分的相关性，具体包括以下步骤：
S1、大象每日健康状态评估标准：
1）采食行为：总时长2.5-4h为优秀，总时长1.5-2.5h为良好，总时长1-1.5为合格，总时长大于4h或低于1h为不合格；
2）休息行为：总时长3.5-5h为优秀，总时长3-3.5h为良好，总时长2.5-3h为合格，总时长大于5h或低于2.5h为不合格；
3）刻板行为：总时长0-0.5h为优秀，总时长0.5-1h为良好，总时长1-3h为合格，总时长大于3h为不合格；
S2、对采食、休息和刻板行为评分，定义S1中优秀为10分、良好8分、合格6分、不合格0分；爬跨行为不做健康评估，仅在异常状态下发布网页消息提示；
S3、以S1和S2为标准计算每日大象健康状态总得分，同时分别计算每日平均温度、湿度和光照强度，分析与大象健康状态得分之间的皮尔逊相关系数。
优选的，它还包括大象智能化健康管理web平台及android端，技术上前后端交互，实现数据实时更新和可视化。
本发明的有益效果：
（1）与传统的人为识别并统计大象行为方法相比，计算机视觉技术减少了检测过程中的误差，且具有效率高的特点；
（2）与其他计算机视觉技术识别大象行为方法相比，此方法通过室内室外分开识别，且具有识别精确度高的特点；
（3）基于深度学习的卷积神经网络与传统的机器学习方法相比，以数据本身为驱动，当数据量充足时，能够实现端到端的训练，网络模型自身挖掘目标特征代替了人工设计特征，能够获得目标更加丰富的语义信息，识别的准确度和速度都有极大的提升；
（4）提出了使用SlowFast算法识别大象刻板行为的思想，通过SlowFast对大象行为的识别与定位，将大象的刻板行为具体到大象质心的移动，提高了刻板行为识别的准确性；
（5）以YOLOv5以及SlowFast为检测网络模型，将传统目标检测算法与行为检测方法相结合，既能保证精准分割动作特征感兴趣域，又能使特征更加方便提取、不受外界动作影响，泛化能力更强。为行为识别在其他领域的应用提供了一种新的方法；
（6）提出了以多个关键指标代替整体的思想，以大象的采食、休息、爬跨以及刻板行为作为重要指标对大象的健康状况进行评价，既能保证将学习到关键特征输出，又能使特征更加形象化、便于后续分析；
（7）实现了大象在大象馆行为的自动化实时检测，可通过对比不同时间段大象各个特征行为行为的时长和次数，从而便于观察大象的生活习性；
（8）将数据以及评估结果显示于web端以及android端，实现数据的可视化；
（9）实时检测环境数据，便于比较不同环境下大象的健康状况，便于大象饲养员在大象健康状况欠佳时，及时做出正确的调整，提高大象福利水平；
（10）大象的行为对于反应大象的健康状况密切相关，本发明提供的方法非接触地获得大象的行为数据、健康评估等信息，有利于提高大象的福利水平。
附图说明
图1为本发明的大象行为检测系统框图
图2为本发明的大象行为检测系统使用流程图
图3为实施例中大象行为检测图片示意图
图4为实施例中大象行为标注示意图
图5为实施例中YOLOv5模型训练框图
图6为实施例中大象室外行为的检测器训练效果图
图7为实施例中SlowFast模型训练框图
具体实施方式
下面结合实施例对本发明作进一步说明，但本发明的保护范围不限于此：
结合附图1，大象行为检测系统，包括摄像头（2048像素*1536像素）、监控主机、网络硬盘录像机和检测方法模型训练和实现主机。本系统对在大象馆生活的大象进行实时监测，俯测高度为4m（7m）处安装海康威视摄像头，将监测视频数据24小时连续存储到视频存储单元（机械硬盘），摄像头所采集的数据进一步与检测方法模型训练和实现主机建立联系，对监控画面内容实时检测，同时分析视频中的大象行为，将检测结果存储并可视化输出不同类别行为的数据。
结合图2，下面以一个具体实施例描述模型的构建的完整步骤：
S1、数据采集：海康威视摄像机(DS-2CD3135F-1型)监测生活在大象馆的大象，俯测高度为4m，无间隔实时采样获得2048像素*1536像素的图像数据；
S2、概念定义：结合图3，定义了大象的四种行为分别为采食、休息、爬跨、刻板行为。结合图4，对大象行为动作进行选取。以及对大象行为进行定义；提出了以多个关键指标代替整体的思想，以大象的采食、休息、爬跨以及刻板行为作为重要指标对大象的健康状况进行评价，既能保证将学习到关键特征输出，又能使特征更加形象化、便于后续分析。
S3、数据划分：对所有数据划分划分训练集、验证集和测试集，保证模型性能的同时防止过拟合现象的产生；
S4、网络设计：平衡检测速度和检测精度，采用YOLOv5和SlowFast算法为检测网络模型；
S5、YOLOv5模型训练：结合图5，利用大象行为图像数据检测数据集训练YOLOv5模型，作为大象室外行为的检测器，训练效果如图6所示。从图6可以看出，该模型对于大象目标、象牙目标及休息行为的检测精度均达到97%以上；室外爬跨行为检测准确率达到92%，部分爬跨行为误检为大象目标，这是由于大象目标转化成爬跨行为的过程中存在过渡姿态，对系统影响较小；采食行为出现较多的漏检现象，但并无误检产生，漏检主要是大象卷起的料草目标不明显导致的，针对该问题，本系统充分利用Yolov5模型快速检测的特点（0.06秒/帧），结合多次检测策略，每分钟内出现10帧以上采食标签，则认为该时间段内均属于采食行为，提高采食行为识别的准确性。采用随机梯度下降和动量法予以优化，初始动量为0.937，batch_size为32，初始学习率为0.01，训练迭代次数共16000次，在10000次和11000次迭代时，学习率缩小10倍，权重更新公式如下：
，j=0,...,n
式中j表示特征数量，θ表示特征权重，i表示数据样本，lr代表学习率，每次迭代更新一次权重，每迭代1000次备份权重模型，模型在训练13000次左右趋于平稳；式中，目的是使得/>最小化。
基于深度学习的卷积神经网络与传统的机器学习方法相比，以数据本身为驱动，当数据量充足时，能够实现端到端的训练，网络模型自身挖掘目标特征代替了人工设计特征，能够获得目标更加丰富的语义信息，识别的准确度和速度都有极大的提升。
S6、SlowFast模型训练：结合图7，利用大象行为视频数据集动训练SlowFast卷积神经网络模型。采用双路径的视频识别，以低帧速率运行的慢速路径以捕获空间语义，以及以高帧速率运行的快速路径以捕获精细时间分辨率的运动。
提出了使用SlowFast算法识别大象刻板行为的思想，通过SlowFast对大象行为的识别与定位，将大象的刻板行为具体到大象质心的移动，提高了刻板行为识别的准确性。
以YOLOv5以及SlowFast为检测网络模型，将传统目标检测算法与行为检测方法相结合，既能保证精准分割动作特征感兴趣域，又能使特征更加方便提取、不受外界动作影响，泛化能力更强。为行为识别在其他领域的应用提供了一种新的方法。
S7、行为统计及可视化：将室外及室内大象各类行为检测结果传输至后台数据库，编写SQL语句自动化统计每天各类行为时长及次数，发布至前端可视化页面。
与传统的人为识别并统计大象行为方法相比，计算机视觉技术减少了检测过程中的误差，且具有效率高的特点。与其他计算机视觉技术识别大象行为方法相比，此方法通过室内室外分开识别，且具有识别精确度高的特点。
本发明实现了大象在大象馆行为的自动化实时检测，可通过对比不同时间段大象各个特征行为行为的时长和次数，从而便于观察大象的生活习性。
在其它实施例中，大象健康管理系统还包括大象环境实时检测子系统，利用三合一的空气质量检测传感器检测室外环境数据，包括温度、湿度和光照强度；
空气质量检测传感器经波束成型后的接收信号表示为：
其中，表示空气质量检测传感器的最佳权值向量；/>为点乘符号；/>表示接收信号。
在其它实施例中，大象健康管理系统还包括大象健康评估子系统，该系统融合大象行为检测子系统和大象生活环境监测子系统采集的数据，实现健康状况打分，并分析空气质量因素对健康评分的相关性，具体包括以下步骤：
S1、大象每日健康状态评估标准：
1）采食行为：总时长2.5-4h为优秀，总时长1.5-2.5h为良好，总时长1-1.5为合格，总时长大于4h或低于1h为不合格；
2）休息行为：总时长3.5-5h为优秀，总时长3-3.5h为良好，总时长2.5-3h为合格，总时长大于5h或低于2.5h为不合格；
3）刻板行为：总时长0-0.5h为优秀，总时长0.5-1h为良好，总时长1-3h为合格，总时长大于3h为不合格；
S2、对采食、休息和刻板行为评分，定义S1中优秀为10分、良好8分、合格6分、不合格0分；爬跨行为不做健康评估，仅在异常状态下发布网页消息提示；
S3、以S1和S2为标准计算每日大象健康状态总得分，同时分别计算每日平均温度、湿度和光照强度，分析与大象健康状态得分之间的皮尔逊相关系数。
实时检测环境数据，便于比较不同环境下大象的健康状况，便于大象饲养员在大象健康状况欠佳时，及时做出正确的调整，提高大象福利水平。
在其它实施例中，大象健康管理系统还包括大象智能化健康管理web平台及android端，技术上前后端交互，实现数据实时更新和可视化。
本发明提供的方法非接触地获得大象每类行为数据以及健康评估数据等信息，以便人工干预提高大象的福利水平。
本文中所描述的具体实施例仅仅是对本发明精神做举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
Claims (7)
1.一种基于YOLOv5以及SlowFast的大象健康管理系统，其特征在于它包括：大象的行为数据采集子系统、大象的行为检测子系统、大象生活环境监测子系统和大象健康评估子系统；具体的：
大象的行为数据采集子系统：用于采集大象行为视频；
大象的行为检测子系统：分析大象行为视频，通过YOLOv5算法以及SlowFast网络检测大象的特征行为，实时输送到数据库中，对大象的特征行为进行计数统计；大象的行为检测子系统的模型构建包括以下步骤：
S1、数据采集：基于大象的行为数据采集子系统获得视频及图像数据，图像数据实时从视频中截取，截取频率为每秒一帧图片；
S2、概念定义：大象采食、休息、爬跨以及刻板行为定义以及大象性别定义；
S3、数据划分：基于大象行为的定义划分大象行为数据集；
S4、网络设计：平衡检测速度和检测精度，采用YOLOv5和SlowFast为检测网络模型；
S5、YOLOv5模型训练：利用动作分类图片数据集训练YOLOv5模型，作为室外大象行为的检测器；
S6、SlowFast模型训练：利用动作分类视频数据集训练SlowFast模型，作为室内大象刻板行为的检测器；所述的SlowFast算法的训练中，采用双路径的视频识别，以低帧速率运行的慢速路径以捕获空间语义，以及以高帧速率运行的快速路径以捕获精细时间分辨率的运动；
S7、行为统计及可视化：将室外及室内大象各类行为检测结果传输至后台数据库，编写SQL语句自动化统计每天各类行为时长及次数，发布至前端可视化页面；
大象生活环境监测子系统：监测室外的大象生活环境信息，实时发送至数据库存储；
大象健康评估子系统：将不同类别的行为划分相应的权重，根据大象的行为量对应的区间，为大象的健康状况进行系统性的自动化打分；同时，分析大象生活环境对其健康状态的影响；
大象行为包括：采食行为、休息行为、爬跨行为以及刻板行为；具体的行为定义为：
采食行为：鼻子卷起食物，填到嘴里 3 次以上；
休息行为：侧卧到室内地板或室外地面上，持续一分钟以上；
爬跨行为：雄性大象谋求与雌性大象交配的行为；
刻板行为：
移动类刻板行为：大象在两个点重复性的来回走动，或者一直绕圈，重复 3 次以上；
晃动类刻板行为：大象身体某部位重复同一个动作 3 次以上。
2.根据权利要求1所述的系统，其特征在于大象的行为数据采集子系统包括：采集大象行为视频的摄像头，分布设置于大象的生活区以及室外运动场；摄像头一方面连续存储视频数据到视频存储单元，另一方面直连服务器。
3.根据权利要求1所述的系统，其特征在于步骤S4所述网络设计中，检测网络模型的损失函数为：
式中s×s 表示将整幅图片分成s×s个栅格，ciouErr为坐标误差，objErr为置信度误差，clsErr为分类误差，根据损失函数的收敛情况来判断模型训练迭代次数。
4.根据权利要求3所述的系统，其特征在于：
坐标误差的获取公式为：
式中，IoU为预测框与实际框的交并比，/>为预测框与实际框的中心点连线的欧氏距离，c为同时包含预测框和实际框的最小闭包区域的对角线距离，v为宽高比度量函数，w为预测框的宽，h为预测框的高，为目标框的宽，/>为目标框的高；
置信度误差的获取公式为：
式中，wn为超参数，yn为第n个样本对应的类别的真实值，xn为第n个样本的对应的模型输出，exp为指数函数；/>为sigmod函数，表示将xn经过sigmoid激活函数处理；
分类误差的获取公式为：
式中，N表示类别总个数，yi为经过激活函数后得到的当前类别的概率，yi *为当前类别的真实值。
5.根据权利要求1所述的系统，其特征在于步骤S5所述的YOLOv5模型训练中，采用随机梯度下降和动量法予以优化，初始动量为0.937，batch_size为32，初始学习率为0.01，训练迭代次数共16000次，在10000次和11000次迭代时，学习率缩小10倍，权重更新公式如下：
，j=0,...,n
式中j表示特征数量，θ表示特征权重，i表示数据样本，lr代表学习率，每次迭代更新一次权重，每迭代1000次备份权重模型，模型在训练13000次左右趋于平稳；式中，目的是使得/>最小化。
6.根据权利要求1所述的系统，其特征在于大象环境实时检测子系统，利用三合一的空气质量检测传感器检测室外环境数据，包括温度、湿度和光照强度；
空气质量检测传感器经波束成型后的接收信号表示为：
其中，表示空气质量检测传感器的最佳权值向量；/>为点乘符号；/>表示接收信号。
7.根据权利要求1所述的系统，其特征在于所述大象健康评估子系统，该系统融合大象行为检测子系统和大象生活环境监测子系统采集的数据，实现健康状况打分，并分析空气质量因素对健康评分的相关性，具体包括以下步骤：
S1、大象每日健康状态评估标准：
1）采食行为：总时长2.5-4h为优秀，总时长1.5-2.5h为良好，总时长1-1.5为合格，总时长大于4h或低于1h为不合格；
2）休息行为：总时长3.5-5h为优秀，总时长3-3.5h为良好，总时长2.5-3h为合格，总时长大于5h或低于2.5h为不合格；
3）刻板行为：总时长0-0.5h为优秀，总时长0.5-1h为良好，总时长1-3h为合格，总时长大于3h为不合格；
S2、对采食、休息和刻板行为评分，定义S1中优秀为10分、良好8分、合格6分、不合格0分；爬跨行为不做健康评估，仅在异常状态下发布网页消息提示；
S3、以S1和S2为标准计算每日大象健康状态总得分，同时分别计算每日平均温度、湿度和光照强度，分析与大象健康状态得分之间的皮尔逊相关系数，寻找影响大象行为表现的关键环境因素，为大象饲养环节环境调控提供依据。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310390634.1A CN116110586B (zh) | 2023-04-13 | 2023-04-13 | 基于YOLOv5以及SlowFast的大象健康管理系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310390634.1A CN116110586B (zh) | 2023-04-13 | 2023-04-13 | 基于YOLOv5以及SlowFast的大象健康管理系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116110586A CN116110586A (zh) | 2023-05-12 |
| CN116110586B true CN116110586B (zh) | 2023-11-21 |
Family
ID=86267676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310390634.1A Active CN116110586B (zh) | 2023-04-13 | 2023-04-13 | 基于YOLOv5以及SlowFast的大象健康管理系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116110586B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110166944A (zh) * | 2019-05-27 | 2019-08-23 | 同济大学 | 一种亚洲象行为信息采集系统及方法 |
| CN110285852A (zh) * | 2019-06-13 | 2019-09-27 | 牛利松 | 一种室外环境自动化多参数实时检测系统及检测方法 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN113723169A (zh) * | 2021-04-26 | 2021-11-30 | 中国科学院自动化研究所 | 基于SlowFast的行为识别方法、系统及设备 |
| CN114037552A (zh) * | 2022-01-06 | 2022-02-11 | 华南农业大学 | 一种肉鸭生理生长信息巡检方法及系统 |
| CN114359791A (zh) * | 2021-12-16 | 2022-04-15 | 北京信智文科技有限公司 | 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法 |
| CN114882586A (zh) * | 2022-04-19 | 2022-08-09 | 北京昭衍新药研究中心股份有限公司 | 一种群体猴运动活跃状态监测系统和方法 |
| CN115019391A (zh) * | 2022-05-27 | 2022-09-06 | 南京农业大学 | 基于YOLOv5和C3D的仔猪吃奶行为检测系统 |
| CN115063880A (zh) * | 2022-05-27 | 2022-09-16 | 成都云擎科技有限公司 | 一种基于YOLOv5和GME的采样方法 |
| CN115497021A (zh) * | 2022-09-09 | 2022-12-20 | 南京农业大学 | 一种基于计算机视觉的母猪哺乳行为细粒度识别方法 |
-
2023
- 2023-04-13 CN CN202310390634.1A patent/CN116110586B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110166944A (zh) * | 2019-05-27 | 2019-08-23 | 同济大学 | 一种亚洲象行为信息采集系统及方法 |
| CN110285852A (zh) * | 2019-06-13 | 2019-09-27 | 牛利松 | 一种室外环境自动化多参数实时检测系统及检测方法 |
| AU2020100705A4 (en) * | 2020-05-05 | 2020-06-18 | Chang, Jiaying Miss | A helmet detection method with lightweight backbone based on yolov3 network |
| CN113723169A (zh) * | 2021-04-26 | 2021-11-30 | 中国科学院自动化研究所 | 基于SlowFast的行为识别方法、系统及设备 |
| CN114359791A (zh) * | 2021-12-16 | 2022-04-15 | 北京信智文科技有限公司 | 一种基于Yolo v5网络和SlowFast网络的群体猕猴食欲检测方法 |
| CN114037552A (zh) * | 2022-01-06 | 2022-02-11 | 华南农业大学 | 一种肉鸭生理生长信息巡检方法及系统 |
| CN114882586A (zh) * | 2022-04-19 | 2022-08-09 | 北京昭衍新药研究中心股份有限公司 | 一种群体猴运动活跃状态监测系统和方法 |
| CN115019391A (zh) * | 2022-05-27 | 2022-09-06 | 南京农业大学 | 基于YOLOv5和C3D的仔猪吃奶行为检测系统 |
| CN115063880A (zh) * | 2022-05-27 | 2022-09-16 | 成都云擎科技有限公司 | 一种基于YOLOv5和GME的采样方法 |
| CN115497021A (zh) * | 2022-09-09 | 2022-12-20 | 南京农业大学 | 一种基于计算机视觉的母猪哺乳行为细粒度识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116110586A (zh) | 2023-05-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110428522A (zh) | 一种智慧新城的智能安防系统 | |
| US11688154B2 (en) | Analysis and sorting in aquaculture | |
| Rahman et al. | IoT enabled mushroom farm automation with Machine Learning to classify toxic mushrooms in Bangladesh | |
| Shi et al. | Internet of things application to monitoring plant disease and insect pests | |
| CN112131927B (zh) | 基于妊娠后期姿态转化特性的母猪分娩时间预测系统 | |
| CN109543679A (zh) | 一种基于深度卷积神经网络的死鱼识别方法及预警系统 | |
| CN107133607B (zh) | 基于视频监控的人群统计方法及系统 | |
| CN102799900B (zh) | 一种基于检测中支持在线聚类学习的对象跟踪方法 | |
| US20210368748A1 (en) | Analysis and sorting in aquaculture | |
| CN111860188A (zh) | 一种基于时间和通道双注意力的人体姿态识别方法 | |
| CN108829762A (zh) | 基于视觉的小目标识别方法和装置 | |
| CN110688980A (zh) | 基于计算机视觉的人体姿态分类方法 | |
| CN108874910A (zh) | 基于视觉的小目标识别系统 | |
| Li et al. | Y-BGD: Broiler counting based on multi-object tracking | |
| CN111931573A (zh) | 基于yolo进化深度学习模型的安全帽检测与预警方法 | |
| CN114898405A (zh) | 基于边缘计算的便携式肉鸡异常监测系统 | |
| Cheng et al. | Detecting and tracking communal bird roosts in weather radar data | |
| CN105631410B (zh) | 一种基于智能视频处理技术的课堂检测方法 | |
| CN116110586B (zh) | 基于YOLOv5以及SlowFast的大象健康管理系统 | |
| Xu et al. | Automatic quantification and assessment of grouped pig movement using the XGBoost and YOLOv5s models | |
| CN113869415A (zh) | 一种问题行为检测与预警系统 | |
| CN108830740A (zh) | 一种农作物生长节点实时技术信息采集系统及方法 | |
| Liu et al. | MonkeyTrail: A scalable video-based method for tracking macaque movement trajectory in daily living cages | |
| CN117237143A (zh) | 用于鸡只饲料转化率测定的智能化管理系统及管理方法 | |
| CN111860097A (zh) | 一种基于模糊理论的异常行为检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |