CN117322358A - 基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统及其数字孪生方法 - Google Patents

基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统及其数字孪生方法 Download PDF

Info

Publication number
CN117322358A
CN117322358A CN202311164399.2A CN202311164399A CN117322358A CN 117322358 A CN117322358 A CN 117322358A CN 202311164399 A CN202311164399 A CN 202311164399A CN 117322358 A CN117322358 A CN 117322358A
Authority
CN
China
Prior art keywords
data
behavior
cow
ultra
wideband
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311164399.2A
Other languages
English (en)
Inventor
张宇
沈维政
张翼
高萌
严士超
尹艳玲
寇胜利
刘慧环
赵凯旋
熊本海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeast Agricultural University
Original Assignee
Northeast Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeast Agricultural University filed Critical Northeast Agricultural University
Priority to CN202311164399.2A priority Critical patent/CN117322358A/zh
Publication of CN117322358A publication Critical patent/CN117322358A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01K—ANIMAL HUSBANDRY; CARE OF BIRDS, FISHES, INSECTS; FISHING; REARING OR BREEDING ANIMALS, NOT OTHERWISE PROVIDED FOR; NEW BREEDS OF ANIMALS
    • A01K29/00—Other apparatus for animal husbandry
    • A01K29/005—Monitoring or measuring activity, e.g. detecting heat or mating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Environmental Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Animal Husbandry (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Arrangements For Transmission Of Measured Signals (AREA)

Abstract

本发明属于智慧畜牧业领域，具体涉及基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统及其数字孪生方法。所述数字孪生系统包括项圈(1)，所述项圈(1)佩戴在牛颈上，在牛舍的侧墙一端上方设置多个摄像头(7)，在牛舍的侧墙设置多个锚点(2)，牛舍的侧墙设置串口服务器(4)，所述串口服务器(4)通过双绞线(5)与牧场服务器(6)相连接，所述牧场服务器(6)通过无线网络将实时数据传输至客户端。本发明用以实现精准识别和监测奶牛的行为，构建数字影子，从而为畜牧业提供全新的养殖管理方案。

Description

基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统 及其数字孪生方法
技术领域
本发明属于智慧畜牧业领域，具体涉及一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统及其数字孪生方法。
背景技术
数字孪生技术通常被描述为由一个物理实体、一个虚拟对等体和其中的数据连接组成，越来越多的人探索它作为一种手段，从而通过利用计算技术来提高物理实体的性能，而这些计算必须通过虚拟对等体来实现。数字模型是物理对象的数字表示，不使用物理对象和数字对象之间的任何形式的自动数据交换。数字影子是指在现有物理对象的状态和数字对象之间存在自动的单向数据流。数字孪生指物理对象和数字对象之间的数据流在两个方向上完全集成。数字孪生能让智慧农业理念在畜牧业得以实现，未来的牧场将基于人工智能分析操纵的实时数据，从而推动更好的商业决策，改善动物健康和福利，并实现农业资源回报最大化(Verdouw et al.,2021)。当前，农业中的数字孪生可以处理诸如复杂系统个性化管理、简化工作、信息融合、量化不确定性、方便权限控制等，但数字孪生在农业中的应用还比较少(Pylianidis et al.,2021)。
精准畜牧业被认为是畜牧业数字孪生的先驱(Neethirajan&Kemp,2021)，以往的很多研究都把焦点放到了奶牛行为的特征的识别上，因为行为特征是能很好的反映奶牛生产性能、健康状态和福利情况，其中，采食行为被认为是奶牛冷应激下的主要行为反应，当外界环境过冷，奶牛会自动调节增加干物质采食量以增加自身的产热，维持机体热平衡(Mader et al.,2011)。早期，工作人员常采用观察或视频记录分析的方式评估奶牛的行为变化(Müller&Schrader,2003)。
在过去的20年里，传感器、网络、云计算和人工智能技术的发展，让信息采集和分析更有效率，从而使精确畜牧业(PLF)得到了快速的发展现有技术多是探索奶牛行为特征识别的单一方面，缺少综合研究和通用方法。
目前，奶牛养殖业正朝着规模化、集约化、标准化的方向发展，为了让奶牛养殖过程更加可控，使用数字孪生相关技术全面感知和存储奶牛综合生理指标数据(Purcell&Neubauer,2023)，实现多种数据的全面建模，从而构建虚拟奶牛，使农场主可以在不干扰实际奶牛的情况下，利用虚拟奶牛模拟实际奶牛的行为和状态，从而进行疾病预测、饲养管理和健康评估等方面的决策，可以达到减少奶牛应激，提高管理水平和动物福利的目的。
发明内容
本发明提供一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统及其数字孪生方法，用以实现精准识别和监测奶牛的行为，构建数字影子，从而为畜牧业提供全新的养殖管理方案。
本发明提供一种基于超宽带的锚点，应用于基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统。
本发明提供一种基于超宽带与惯性测量单元的项圈，应用于基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统。
本发明通过以下技术方案实现：
一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统，所述数字孪生系统包括项圈1，所述项圈1佩戴在牛颈上，在牛舍的侧墙一端上方设置多个摄像头7，在牛舍的侧墙设置多个锚点2，牛舍的侧墙设置串口服务器4，所述串口服务器4通过双绞线5与牧场服务器6相连接，所述牧场服务器6通过无线网络将实时数据传输至客户端；
所述项圈1，用于实时采集奶牛的运动特征；
所述牧场服务器6，负责接收、处理和存储行为特征数据与定位信标数据，同时基于数据计算奶牛的实时位置和行为状态；
所述牧场服务器6内的机器学习单元，对采集到的行为特征数据与定位信标数据进行分析和分类；
所述客户端，实时显示所监测的奶牛位置和奶牛的行为状态。
进一步的，所述项圈1包括超宽带室内定位电路及惯性测量单元；
所述超宽带室内定位电路，用于实时定位奶牛的位置；
所述惯性测量单元，用于采集奶牛的加速度和角速度数据，提供关键的运动特征。
进一步的，所述锚点2包括超宽带室内定位电路、STM32芯片和RS422通信模块组，
所述STM32芯片，用于进行初步绝对时间差计算；
所述超宽带定位电路，用于配合项圈(1)使用实时定位奶牛的位置；
所述RS422通信模块组，用于将锚点2的超宽带室内定位电路采集的数据进行发送，并接收上位机的数据。
一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生方法，所述数字孪生方法使用如权利要求1-3任一所述基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统；所述数字孪生方法具体包括以下步骤：
步骤1：项圈1实时采集实时奶牛各项数据并向锚点2发送；
步骤2：锚点2接收惯性测量单元数据与定位信标并计算信标到达每个基站的绝对时间差；
步骤3：串口服务器4将锚点2计算的绝对时间差差与锚点2接收的各项数据均通过双绞线5向牧场服务器6发送；
步骤4：牧场服务器6接收所有数据并完成存储和对奶牛的不同行为进行识别；
步骤5：将步骤4的识别结果通过无线网络传输至服务器的数据库中；再从服务器的数据库奶牛的行为状态发送至客户端。
进一步的，所述步骤4具体为，
步骤4.1：对接受的数据进行预处理；
步骤4.2：对步骤4.1预处理后的数据分为训练集与测试集；
步骤4.3：建立牛行为分类识别模型；
步骤4.4：基于步骤4.3建立的牛行为分类模型使用步骤4.2的训练集进行训练；
步骤4.5：对步骤4.4的训练后的牛行为分类识别模型基于性能指标采用测试集进行测试；
步骤4.6：基于步骤4.5的测试结果使用牛行为分类识别模型对奶牛的不同行为进行识别。
进一步的，所述步骤4.1具体为，定位信标数据和惯性测量单元的数据使用精确到毫秒的时间进行对齐；
对于收集到的运动传感器的所有数据，进行了最大值归一化处理，将所有的数据除以该列最大值得到一个[0,1]范围的新值。
进一步的，所述步骤4.3牛行为分类识别模型具体为，使用的LSTM网络结构包括10个隐藏层，每层有10节点，Sequence length值和Time steps值均为12，当输出结果的预测概率大于等于0.5时，将视结果为1，小于0.5时视为0。
进一步的，所述步骤4.5的性能指标具体为，准确率、查准率、召回率、特异性、F1分数系数，评价各种算法对奶牛多种行为的分类效果，
以上五个公式中，TP、TN、FP、FN具体含义如下：
TP：实际为特定行为，算法预测也为特定行为；
TN：实际为非特定行为，算法预测也为非特定行为；
FP：实际为非特定行为，却被算法预测为特定行为；
FN：实际为特定行为，却被算法预测为非特定行为；
所述特定行为具体包括但不限于奶牛的采食、饮水、反刍、快走、慢走、趴卧、跛行、发情。
一种基于超宽带的锚点，所述锚点2应用于基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统。
一种基于超宽带与惯性测量单元的项圈，所述项圈应用于基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统。
本发明的有益效果是：
本发明实现对奶牛的实时定位、行为状态分析及显示，为畜牧业中的奶牛养殖提供科学化、智能化的解决方案。在该技术领域，数字孪生技术和智能养殖技术的发展受到广泛关注，旨在通过数据采集、分析和模型构建，实现畜牧业生产过程的优化和提升。
本发明在畜牧业领域中的应用，使养殖管理者能够更好地监测奶牛的位置和行为状态，从而更好地管理养殖过程，提高生产效率和动物福利。
本发明着眼于奶牛养殖管理的智能化改进，通过创新的技术手段实现了对奶牛行为的精确识别和监测，为现代畜牧业的可持续发展提供了新的解决方案。
本发明使用的惯性测量单元的数据与室内定位数据相结合的方法来对奶牛的采食行为和非采食行为进行了分类。因为舍养奶牛的进食区域较为固定，所以相较于单纯依靠惯性测量单元的数据，两种数据结合的方法在准确率、查准率、召回率、特异性等指标都有大幅度提升。定位数据的使用，对于区域相关的奶牛行为分类上，有着明显的辅助作用。除了进食和非进食行为，对于奶牛的反刍、饮水、趴卧、发情等行为的分类任务，都可以使用定位数据辅助惯性测量单元的数据完成行为的精准分类。
附图说明
图1是本发明的方法流程图。
图2是本发明的奶牛数字孪生架构示意图。
图3是本发明的奶牛行为监测系统的总体结构示意图。
图4是本发明的项圈电路图，其中(a)为项圈的IMU传感器部分电路图，(b)为项圈的超宽带定位部分电路图。
图5是本发明的锚点的RS422通讯部分电路图。
图6是本发明的实物图，其中(a)为锚点实物图，(b)为项圈实物图。
图7是本发明的项圈和传感器位置示意图。
图8是本发明的测量系统组成示意图。
图9是本发明的数据集结构示意图。
图10是本发明的LSTM记忆单元结构示意图。
图11是本发明的试验对象在采食和非采食状态270秒的加速和角速度数据波形图，其中(a)为采食加速度波形，(b)为其他行为加速度模型，(c)为采食行为角速度波形，(d)为其他行为角速度模型。
图12是本发明的三轴加速度的三维特征散点图，其中(a)为基于三轴加速度的特征散点图，(b)为基于三轴角速度的特征散点图。
图13是本发明的室内定位运动图，其中(a)为运动轨迹坐标图，(b)为实际效果定位轨迹效果图。
图14是本发明的仅使用惯性测量单元的数据的三种算法验证集上的评价指标，其中(a)为算法在惯性测量单元的数据验证集上的表现，(b)为算法在位置和惯性测量单元的数据验证集上的表现
图15是本发明的奶牛的位置及状态可视化效果图。
图16是本发明的锚点超宽带定位部分的电路图。
图17是本发明的锚点微处理部分电路图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其他实施例中也可以实现本申请。在其它情况下，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
下面结合本申请说明书附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
在下面的描述中阐述了很多具体细节以便于充分理解本申请，但是本申请还可以采用其它不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本申请内涵的情况下做类似推广，因此本申请不受下面公开的具体实施例的限制。
一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统，所述数字孪生系统包括项圈1，所述项圈1佩戴在牛颈上，在牛舍的侧墙一端上方设置多个摄像头7，在牛舍的侧墙设置多个锚点2，即两侧锚点2是对应设置的，保证任意四个锚点可以构成矩形，牛舍的侧墙设置串口服务器4，所述串口服务器4通过双绞线5与牧场服务器6相连接，所述牧场服务器6通过无线网络将实时数据传输至客户端；所述超宽带为UWB，所述惯性测量单元为IMU；
所述项圈1，用于实时采集奶牛的行为特征；
所述牧场服务器6，负责接收、处理和存储行为特征数据与定位信标数据，同时基于数据计算奶牛的实时位置和行为状态；
所述牧场服务器6内的机器学习单元，对采集到的行为特征数据与定位信标数据进行分析和分类；
所述客户端，实时显示所监测的奶牛位置和奶牛的行为状态。
所述数字孪生系统又包括物理实体层、集成感知层、数据与信息层、模型与仿真层和决策与可视化层，所述物理实体层包括牛舍内的牛；所述集成感知层包括摄像头7或摄像头7配合项圈1及锚点2；所述数据与信息层包括牧场服务器6，所述模型与仿真层包括牧场服务器6内的识别算法；所述决策与可视化层包括客户端。
当牛舍内的牛为犊牛阶段使用摄像头7采集图像数据向牧场服务器6发送，牧场服务器6进行本地图像数据存储与行为、异常、健康等识别，并将识别后的数据进行可视化在客户端展示。
当牛舍内的牛为预备牛或成母牛阶段使用摄像头7配合项圈1及锚点2采集并将计算后的数据向牧场服务器6发送，牧场服务器6进行本地的数据存储与行为、异常、健康等识别，并将识别后的数据进行可视化在客户端展示。
项圈1通过绑带固定在奶牛颈部顶端位置，项圈1位置和传感器方向如图7所示。该项圈能够以4Hz的采样频率获取奶牛的加速度和角速度数据，以1/3Hz的频率采集奶牛的位置信息，并通过UWB信号将这些信息发送给锚点2。
在18.4m×8.4m的研究区域内共部署了6个锚点，这些锚点将研究区域划分成了2个9m×8m的网格。每个锚点以天线向下的姿态被悬挂在离地面3m高的位置，距离墙面20cm。为了完成锚点间时钟同步和数据传输，各锚点通过RS422总线串联。6个锚点中有一个作为主要锚点通过RS422与研究区域外的串口设备服务器HF5111B相连，串口设备服务器通过双绞线与服务器相连。串口设备服务器与牧场服务器应用TCP协议进行全双工通信。锚点接收到定位相关数据和惯性测量单元的数据通过RS422总线传输给串口设备服务器，串口服务器通过TCP协议发送给牧场服务器。
在正式进入牛场前，设备被调试了3个月，通过TDoA算法得到的项圈的静态定位精度和误差分为0.15±0.04m，动态定位精度和误差为0.28±0.09m。设备在开始工作前，通过服务器下发设置，锚点的时间与国家互联网时间服务(国家时间服务中心，西安，中国)同步。本发明将牛舍的进食区域坐标测量并录入系统等，根据实时位置，系统可以判断出奶牛是否在该区域。项圈的加速度和角速度数据以4Hz频率采样，每隔90秒采样数据形成一个数据集回传至服务器，每个数据集有360行数据组成，每行数据包括项圈编号、时间、数据包编号、3个方向的加速度信息和角速度信息，服务器按照日期和项圈编号分别将这些信息存在不同的csv文件中。定位数据每隔3秒钟上传一次，数据包括信标到达各锚点的6个绝对时间差，服务器解算具体的位置数据，并将项圈编号、位置信息和时间存入Oracle数据库。
进一步的，所述项圈1包括超宽带室内定位电路及惯性测量单元；
所述超宽带室内定位电路，用于实时定位奶牛的位置；
所述惯性测量单元，用于采集奶牛的加速度和角速度数据，提供关键的运动特征。
项圈包括三轴加速度计、三轴陀螺仪和超宽带芯片，用于收集运动数据和向锚点发送数据。
项圈由STM32微处理器部分、IMU传感器部分、超宽带定位部分以及电源电路部分构成，微处理器选用STM32F103CBU6型号，完成对IMU传感器的数据进行采集、处理及转发的功能，同时，通过超宽带定位部分电路来完成数据的无线接收及发送功能；图4(a)是IMU传感器部分的电路图，IMU传感器选用MPU6050型号，完成将物理运动进行感知量化并将数据传给STM32微处理器的功能；图4(b)是超宽带定位部分的电路图，超宽带定位芯片选用DW1000型号，完成定位信标及运动传感器数据发送功能；电源电路部分完成将3.6V的锂电池电压稳压至3.3V并向各电路部分供电的功能。
进一步的，所述锚点2包括超宽带室内定位电路、STM32芯片和RS422通信模块组，
所述STM32芯片，用于进行初步绝对时间差计算；
所述超宽带定位电路，用于配合项圈(1)使用实时定位奶牛的位置；
所述RS422通信模块组，用于将锚点2的超宽带室内定位电路采集的数据进行发送，并接收上位机的数据。
总体结构如图3所示，奶牛颈部佩戴的项圈与锚点通过超宽带信号无线通信，锚点和串口设备服务器采用RS422总线链接，串口设备服务器、本地服务器和客户端之间使用双绞线链接。
锚点由STM32微处理器部分、超宽带定位部分、RS422通讯部分以及电源电路部分构成，微处理器选用STM32F407VET6型号；超宽带定位芯片选用W1000型号；RS422通讯接口芯片选用SN65HVD24P型号，图3是RS422通讯部分的电路图。STM32微处理器通过超宽带定位部分电路来完成与奶牛项圈的无线数据收发，同时计算项圈定位信标到达的绝对时间差，通过RS422通讯部分电路来实现与服务器之间的双向数据通信功能。电源电路部分完成将输入的12V的直流电压稳压至5V与3.3V并向各电路部分供电的功能。
锚点被放置在尺寸为190×175×60mm金属外壳中，实物如图6(a)所示。锚点通过信号线与外置天线连接，试验时有一个不锈钢顶盖用于保护锚点的内部结构。项圈由3D打印的外壳，电子器件和电池组成总重量为93g，外壳尺寸为：74×54×26mm，试验时通过绑带固定在奶牛颈部顶端。图6(b)为项圈实物图，其中上方为项圈内部构造和外壳，下方为结合了绑带的项圈实物图。
一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生方法，所述数字孪生方法使用如权利要求1-3任一所述基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统；所述数字孪生方法具体包括以下步骤：
步骤1：项圈1实时采集实时奶牛各项数据并向锚点2发送；
步骤2：锚点2接收惯性测量单元的数据与定位信标并计算信标到达每个基站的绝对时间差；
步骤3：串口服务器4将锚点2计算的绝对时间差与锚点2接收的各项数据均通过双绞线5向牧场服务器6发送；锚点2与牧场服务器6基于TCP进行通信；
步骤4：牧场服务器6接收所有数据并完成存储和对奶牛的不同行为进行识别；
步骤5：将步骤4的识别结果通过无线网络传输至服务器的数据库中；再从服务器的数据库奶牛的行为状态发送至客户端。
软件平台包括项圈处理程序、锚点转发程序、服务器程序和可视化用户接口程序四部分。
应用层的通信协议数据报头格式如表1所示，为了完成不同数据的传输和功能，基于以下报头一共有7种不同格式的数据包
表1锚点与服务器通信协议报头格式
进一步的，所述步骤4具体为，
步骤4.1：对接受的数据进行预处理；
步骤4.2：对步骤4.1预处理后的数据分为训练集与测试集，
步骤4.3：建立牛行为分类识别模型；
步骤4.4：基于步骤4.3建立的牛行为分类模型使用步骤4.2的训练集进行训练；
步骤4.5：对步骤4.4的训练后的牛行为分类识别模型基于性能指标采用测试集进行测试；
步骤4.6：基于步骤4.5的测试结果使用牛行为分类识别模型对奶牛的不同行为进行识别。
进一步的，所述步骤4.1对数据进行预处理具体为，定位信标数据和惯性测量单元的数据使用精确到毫秒的时间进行对齐；
对于收集到的运动传感器的所有数据，进行了最大值归一化处理，将所有的数据除以该列最大值得到一个[0,1]范围的新值。
进一步的，所述步骤4.3建立牛行为分类识别模型具体为，使用的LSTM网络结构包括10个隐藏层，每层有10节点，Sequence length值和Time steps值均为12，当输出结果的预测概率大于等于0.5时，将视结果为1，小于0.5时视为0。
进一步的，所述步骤4.5的性能指标具体为，准确率accuracy、查准率precision、召回率recall、特异性specificity、F1分数F1 score系数，评价各种算法对奶牛多种行为的分类效果，查准率、召回率和F1分数都是越接近于1分类效果越好；
以上五个公式中，TP、TN、FP、FN具体含义如下：
TP(True Positive)：实际为特定行为，算法预测也为特定行为；
TN(True Negative)：实际为非特定行为，算法预测也为非特定行为；
FP(False Positive)：实际为非特定行为，却被算法预测为特定行为；
FN(False Negative)：实际为特定行为，却被算法预测为非特定行为。
所述特定行为具体包括但不限于奶牛的采食、饮水、反刍、快走、慢走、趴卧、跛行、发情。
一种基于超宽带的锚点，所述锚点2应用于基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统。
一种基于超宽带与惯性测量单元的项圈，所述项圈应用于基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统。
实施例二
本发明于2022年5月27日至6月13日在东北农业大学阿城试验基地进行现场试验，试验过程符合《中华人民共和国试验动物管理条例》中的相关规定。
试验对象
试验对象为五头健康荷斯坦非哺乳期奶牛，年龄为3±0.5岁，体重为410±40kg。每一头奶牛独占一个由铁质围栏合围的牛舍区域，每个独立区域的尺寸为5m×3m×1.5m。试验过程中，饲养员每天于4:00和15:00饲喂颗粒料和羊草，其中，精饲料和粗饲料比为3:7。颗粒料营养成分为玉米32.5％、玉米蛋白饲料15％、玉米胚芽粕12％、花生壳15％、豆皮10％、DDGS 8％、糖蜜4.5％、石粉1％、食盐0.8％、小苏打0.5％、氧化镁0.5％、预混料0.2％。羊草在切割后，长度大于19mm的占48％，8-19mm的占22％，1.2-8mm的占18％，小于1.2mm的占12％。每头奶牛每次饲喂3公斤颗粒料和7公斤羊草。试验期间提供给奶牛足量的饮水。
采食行为的视觉观察
在奶牛采食区域前3m高2.6m的牛舍钢梁上，放置了5台(CS-C1C,海康威视)网络摄像机，分别记录每头奶牛的行为。每台摄像机配备128GB的Micro SD存储卡，每周研究人员都会在奶牛非采食时间，将视频拷贝至服务器并清空SD卡数据。视频数据的分辨率为1920×1080，可以清晰的记录感兴趣区域和试验对象，通过视频可以观察到奶牛的采食、饮水、反刍以及其他行为。三名训练有素的饲养员，通过视频记录奶牛采食行为的具体时间和时长，数据取均值。
数据预处理
采集了5头试验对象的加速度、角速度和位置数据，其中，奶牛的定位数据1381800条，加速度和角速度传感器数据16582270条。位置数据和惯性测量单元的数据使用精确到毫秒的时间进行对齐。通过测量确定了奶牛进食区域的坐标区间，利用绝对时间差计算出的奶牛二维位置坐标，将奶牛位置数据转换成了“1”和“0”两个状态，其中“1”表示项圈位置坐标落在进食区域，“0”表示不在进食区域。根据视频观察，将奶牛正在采食对应的数据标成“1”，对于没有采食的奶牛数据标成“0”。对于收集到的运动传感器的所有数据，进行了最大值归一化处理，将所有的数据除以该列最大值得到一个[0,1]范围的新值。
本发明一共搜集了5头奶牛的数据，用4头牛的数据的作为训练集，1头牛的数据作为测试集，所有数据均由三个方向加速度、三个方向角速度、是否在进食区标志和标签组成，如图9所示。因为处于非采食状态的数据远大于采食状态的数据，如果直接进行训练，则预测的模型将更加偏向于非采食状态。因此，对非采食状态的数据进行了的裁剪，使得采食数据和非采食数据的比例为1：1。训练集和测试集的划分如图7所示。
分类识别模型
机器学习是一种强大的工具，用于提取可能隐藏在庞大而复杂的数据集中的信息。对于传感器数据，常用的机器学习分类方法包括：
支持向量机(SVM)，K临近(KNN)，决策树，随机森林等，针对不同的分类任务，他们展现出了各自的优势。现有技术分别使用KNN、SVM以及概率神经网络PNN分类奶牛的采食行为，其中KNN算法达到了最高分类精度。现有技术还使用DT和SVM分析RumiWatch压力传感器和加速度数据识别奶牛的采食相关的奶牛行为分类，其中SVM达到了较高的分类精度。
LSTM(Long Short-Term Memory)网络是由Hochreiter和Schmidhuber提出的一种用于处理长期依赖问题的循环神经网络。基于LSTM的深度学习方法因其较强的时间特征提取能力，近年来在人工智能领域受到越来越多的关注。LSTM由输入层、隐藏层和输出层组成，其中隐藏层的基本单位是记忆单元。记忆单元由遗忘门、输入门和输出门组成，其基本结构如图10所示，其中，h表示前一个记忆单元的输出结果；表示前一个记忆单元的状态；h表示此时的输出结果；表示当前记忆单元的状态；圆圈表示点向量运算如向量加法、点乘；线的合并表示连接；线的交叉表示其内容正在复制，副本将转到不同的位置。
本发明使用的LSTM网络结构包括10个隐藏层，每层有10节点，Sequence length值和Time steps值均为12，当输出结果的预测概率大于等于0.5时，将视结果为1，小于0.5时视为0。为了更好的实现奶牛数字影子，本发明同时选用SVM、KNN作为奶牛采食和非采食行为的机器学习分类算法，分别对比三种不同算法的性能。
本发明通过对项圈采集数据的进行观察，发现奶牛采食行为和非采食行为的加速度和角速度数据存在明显的差异。图11是选取了一个试验对象在采食和非采食状态270秒的加速和角速度数据波形图。如图11(a)所示，由于奶牛采食时，经常在各个方向有较大幅度活动，因此，三个方向的加速度数值波动较大，x轴的波动范在0g至-0.75g之间，y轴的波动范围在-0.25g到-1.1g之间，z轴的波动范围在0.75到1.35之间。如图11(b)所示，奶牛在非采食时相对较安静，因此，三个方向的加速度数值波动较小，x轴的波动范围在-0.2g到-0.75g之间，y轴的波动范围在0.35g到1g之间。z轴的波动范围较小0g到0.3g之间。角速度方面，奶牛采食期间x轴和z轴都有较大波动，y轴波动较小，其中，x轴角速度波动范围在-1弧度到-6.1弧度之间，z轴角速度波动范围在-1弧度到1.1弧度之间，y轴角速度波动范围在-0.5弧度到0弧度之间。奶牛非采食期间，x轴角速度波动较大，y轴和z轴波动较小，其中，x轴角速度波动范围在-1弧度到-6弧度之间，y轴角速度波动范围在0弧度到-0.5弧度之间，z轴角速度波动范围在-0.5弧度到0.5弧度之间。显然，采食行为和其他行为的加速度和角速度波形有着明显的差异。
本发明进一步将两种行为的三轴加速度绘制为三维特征散点图。如图12(a)所示，采食行为和非采食行为具有较好的区分度，两种行为加速度数据在z轴上的值存在显著差异，原因在于奶牛采食时头部上下的动作幅度较大。图12(b)为两种行为的三轴角速度绘制为三维特征散点图，采食行为和非采食行为在x轴y轴z轴都有明显变化，因为采食时奶牛头部运动比较激烈而其他行为动作幅度较小，使得他行为的角速度散点几乎淹没在采食行为的散点中。因此，三轴加速度和角速度数据将采食行为和非采食行为进行了有效的区分。
室内定位信息结果
所述步骤2具体为，的位置信息是通过TDoA算法计算得到的，该算法通过检测信号到达两个锚点的绝对时间差来确定项圈的位置。TDoA定位方法相比于ToA方法具有的显著优势在于其不需要待测节点与各锚点时钟同步，极大地放宽了此方法在实际工程中的应用条件，简化了系统结构。三个基站的TDoA算法，如公式(6)所示。
其中，x,y为项圈的坐标，和为锚点的坐标，为到达时间(i＝1,2,3)，c为光速，通过计算该方程就可以得出项圈的二维坐标。试验过程中，项圈每隔3秒钟，向各个锚点发送时间戳，各锚点将绝对时间差发送给主锚点，主锚点转发到服务器，服务器通过TDoA算法对位置信息进行计算，最终得到奶牛的实时位置。为了能够验证测量系统在牛舍环境下的动态定位精度，在一个没有牛的区域内，测量并标识了有4个定点组成的区域，坐标如图13(a)所示，实验人员将项圈举过头顶，按照ABCDA的顺序分别走过4个点，系统实际得到的轨迹如图13(b)所示。从轨迹中可知项圈挪动时，轨迹与实际路线相接近，测量系统具有较好的精度和实时跟踪性能。
本发明选用SVM、KNN和LSTM作为分类算法，以经过预处理的4头奶牛数据作为训练集，另外一头奶牛的数据作为验证集，首先，只使用惯性测量单元的数据，应用三种算法对奶牛的进食行为和非进食行为进行了分类，然后，加入位置数据，再次分类。仅使用惯性测量单元的数据的三种算法验证集上的评价指标如图14(a)所示，加入位置信息的评价指标如图14(b)所示。加入位置信息的分类效果要优于仅依靠惯性测量单元的数据的分类效果，其中LSTM在有位置信息的验证集上分类效果最好，准确率为94.97％，查准率为99.99％，召回率为93.86％，特异性为99.99％，F1分数为95.21％。SVM和KNN的模型各分类指标均低于92％，具体数据如表2所示，因此相比传统的机器学习算法，深度学习方法更适合进行奶牛的行为分析。另外，在试验的过程中，项圈佩戴的位置不同奶牛之间有细微差异，这对SVM和KNN算法性能指标也有一定的影响。
表2:SVM、KNN和LSTM算法在验证集上表现
为了进一步验证算法的性能，将LSTM算法得到的模型分别应用在所有奶牛上，并查看不同奶牛的分类效果，得到的查准率、召回率、特异性、F1分数和准确率如表3所示。
表3：不同试验对象的算法表现
由表3可以看出，该模型对于本试验中的不同奶牛具有稳定的分类性能。
用于奶牛状态和位置的可视化显示。客户端程序每隔3秒钟，从服务器数据库中读取实时项圈的实时位置，并展示到可视化界面上。图15为客户端程序中用户可视化接口运行效果截图，从中可以观察到试验对象在牛舍平面图上的实时位置。其中绿色的方块表示锚点，绿色线条的合围区域表示进食区域。由于项圈佩戴在牛颈上部，项圈位置可代表牛颈部位置，用红色圆盘表示没有采食奶牛，黄色圆盘表示正在采食状态奶牛，初步实现了奶牛数字影子。通过服务器程序，我们可以记录奶牛的进食开始时间和进食时长，这些数据可以反映出奶牛的健康状态以及是否存在应激等信息。如果奶牛存在异常状态，服务器的决策层程序可以发出警告，并通过客户端通知给兽医，从而加快异常处理响应速度，提高动物福利，这体现了奶牛数字孪生的意义。
本发明提出了一种奶牛数字孪生架构，通过使用集成了超宽带芯片和IMU传感器的项圈、本地服务器和客户端构建了奶牛个体数字孪生平台解决方案。通过收集奶牛的实时位置和奶牛颈部的运动信息，利用LSTM算法实现了奶牛采食行为和非采食行为的精准识别，通过客户端对奶牛的位置和状态进行展示，初步实现了奶牛数字影子。试验证明，由自制项圈、锚点和本地服务器组成的数字孪生解决方案，对于奶牛的进食和非进食状态识别准确率达到了95.07％，相较于单纯依靠惯性测量单元的数据来进行行为识别，准确率提高了3.92％。通过客户端程序，将识别结果展现在用户可视化界面上，方便兽医和管理人员随时掌握奶牛的位置和进食状态，对于异常状态产生预警和警报，缩短突发事件的处理时间，提升管理水平。
本发明提出的奶牛数字孪生架构对畜牧业动物数字孪生具有一定的参考意义。
本发明设计并实现的数字孪生方案，通过试验证明了该数字孪生架构的合理性和技术可行性，为奶牛的数字孪生研究尤其是奶牛数字影子构建研究提供了解决方案，是奶牛数字孪生的有益探索。

Claims (10)

1.一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统，其特征在于，所述数字孪生系统包括项圈(1)，所述项圈(1)佩戴在牛颈上，在牛舍的侧墙一端上方设置多个摄像头(7)，在牛舍的侧墙设置多个锚点(2){两侧锚点2是对应设置的，保证任意四个锚点可以构成矩形}，牛舍的侧墙设置串口服务器(4)，所述串口服务器(4)通过双绞线(5)与牧场服务器(6)相连接，所述牧场服务器(6)通过无线网络将实时数据传输至客户端；
所述项圈(1)，用于实时采集奶牛的行为特征；
所述牧场服务器(6)，负责接收、处理和存储行为特征数据与定位信标数据，同时基于数据计算奶牛的实时位置和行为状态；
所述牧场服务器(6)内的机器学习单元，对采集到的行为特征数据与定位信标进行分析和分类；
所述客户端，实时显示所监测的奶牛位置和奶牛的行为状态。
2.根据权利要求1所述一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统，其特征在于，所述项圈(1)包括超宽带室内定位电路及惯性测量单元；
所述超宽带室内定位电路，用于实时定位奶牛的位置；
所述惯性测量单元，用于采集奶牛的加速度和角速度数据，提供关键的行为特征。
3.根据权利要求1所述一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统，其特征在于，所述锚点(2)包括超宽带室内定位电路、STM32芯片和RS422通信模块组，
所述STM32芯片，用于进行初步绝对时间差计算；
所述超宽带定位电路，用于配合项圈(1)使用实时定位奶牛的位置；
所述RS422通信模块组，用于将锚点(2)的超宽带室内定位电路采集的数据进行发送，并接收上位机的数据。
4.一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生方法，其特征在于，所述数字孪生方法使用如权利要求1-3任一所述基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统；所述数字孪生方法具体包括以下步骤：
步骤1：项圈(1)实时采集实时奶牛各项数据并向锚点(2)发送；
步骤2：锚点(2)接收惯性测量单元数据与定位信标并计算信标到达每个基站的绝对时间差；
步骤3：串口服务器(4)将锚点(2)计算的绝对时间差与锚点(2)接收的各项数据均通过双绞线(5)向牧场服务器(6)发送；
步骤4：牧场服务器(6)接收所有数据并完成存储和对奶牛的不同行为进行分类识别；
步骤5：将步骤4的识别结果通过网络传输至服务器的数据库中；再从服务器的数据库奶牛的行为状态发送至客户端。
5.根据权利要求4所述一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生方法，其特征在于，所述步骤4具体为，
步骤4.1：对接受的数据进行预处理；
步骤4.2：对步骤4.1预处理后的数据分为训练集与测试集；
步骤4.3：建立牛行为分类识别模型；
步骤4.4：基于步骤4.3建立的牛行为分类模型使用步骤4.2的训练集进行训练；
步骤4.5：对步骤4.4的训练后的牛行为分类识别模型基于性能指标采用测试集进行测试；
步骤4.6：基于步骤4.5的测试结果使用牛行为分类识别模型对奶牛的不同行为进行识别。
6.根据权利要求5所述一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生方法，其特征在于，所述步骤4.1具体为，定位信标数据和惯性测量单元的数据使用精确到毫秒的时间进行对齐；
对于收集到的运动传感器的所有数据，进行了最大值归一化处理，将所有的数据除以该列最大值得到一个[0,1]范围的新值。
7.根据权利要求5所述一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生方法，其特征在于，所述步骤4.3牛行为分类识别模型具体为，使用的LSTM网络结构包括10个隐藏层，每层有10节点，Sequence length值和Time steps值均为12，当输出结果的预测概率大于等于0.5时，将视结果为1，小于0.5时视为0。
8.根据权利要求5所述一种基于超宽带与惯性测量单元的奶牛行为识别的数字孪生方法，其特征在于，所述步骤4.5的性能指标具体为，准确率、查准率、召回率、特异性、F1分数系数，评价各种算法对奶牛多种行为的分类效果，
以上五个公式中，TP、TN、FP、FN具体含义如下：
TP：实际为特定行为，算法预测也为特定行为；
TN：实际为非特定行为，算法预测也为非特定行为；
FP：实际为非特定行为，却被算法预测为特定行为；
FN：实际为特定行为，却被算法预测为非特定行为；
所述特定行为具体包括但不限于奶牛的采食、饮水、反刍、快走、慢走、趴卧、跛行、发情。
9.一种基于超宽带的锚点，其特征在于，所述锚点(2)应用于基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统。
10.一种基于超宽带与惯性测量单元的项圈，其特征在于，所述项圈应用于基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统。
CN202311164399.2A 2023-09-11 2023-09-11 基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统及其数字孪生方法 Pending CN117322358A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311164399.2A CN117322358A (zh) 2023-09-11 2023-09-11 基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统及其数字孪生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311164399.2A CN117322358A (zh) 2023-09-11 2023-09-11 基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统及其数字孪生方法

Publications (1)

Publication Number Publication Date
CN117322358A true CN117322358A (zh) 2024-01-02

Family

ID=89290960

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311164399.2A Pending CN117322358A (zh) 2023-09-11 2023-09-11 基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统及其数字孪生方法

Country Status (1)

Country Link
CN (1) CN117322358A (zh)

Similar Documents

Publication Publication Date Title
Alvarenga et al. Using a three-axis accelerometer to identify and classify sheep behaviour at pasture
Tran et al. An iot-based design using accelerometers in animal behavior recognition systems
Giovanetti et al. Automatic classification system for grazing, ruminating and resting behaviour of dairy sheep using a tri-axial accelerometer
González et al. Behavioral classification of data from collars containing motion sensors in grazing cattle
Barwick et al. Categorising sheep activity using a tri-axial accelerometer
Decandia et al. The effect of different time epoch settings on the classification of sheep behaviour using tri-axial accelerometry
US20180146645A1 (en) System and method for monitoring livestock
Anderson et al. Characterising the spatial and temporal activities of free-ranging cows from GPS data
CN108717668A (zh) 一种奶牛行为与生理特征物联网系统及其工作方法
Wang et al. IoT-based measurement system for classifying cow behavior from tri-axial accelerometer
Kour et al. Validation of accelerometer use to measure suckling behaviour in Northern Australian beef calves
Mancuso et al. Cow Behavioural Activities in Extensive Farms: Challenges of Adopting Automatic Monitoring Systems
Wang et al. Potential of an activity index combining acceleration and location for automated estrus detection in dairy cows
Aleluia et al. Livestock monitoring: Approaches, challenges and opportunities
Yaseer et al. A review of sensors and Machine Learning in animal farming
JP2022002507A (ja) 病気管理方法及びこれを行うための装置
Aoughlis et al. Dairy cows' localisation and feeding behaviour monitoring using a combination of IMU and RFID network
Zhang et al. Digital twin perception and modeling method for feeding behavior of dairy cows
CN117322358A (zh) 基于超宽带与惯性测量单元的奶牛行为识别的数字孪生系统及其数字孪生方法
Debdas et al. An IOT Solution for Cattle Health Monitoring and Tracking
Swain et al. Opportunities for telemetry techniques in studies on the nutritional ecology of free-ranging domesticated ruminants
CN213639266U (zh) 一种可穿戴草食家畜个体特征识别装置
Barwick et al. On-animal motion sensing using accelerometers as a tool for monitoring sheep behaviour and health status
Wang et al. Development of a wireless measurement system for classifying cow behavior using accelerometer data and location data
AURASOPON Dynamic Time Warping for classifying cattle behaviors and reducing acceleration data size

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination