CN116011975A - 养猪场生物安全管理系统、方法、介质、设备及终端 - Google Patents
养猪场生物安全管理系统、方法、介质、设备及终端 Download PDFInfo
- Publication number
- CN116011975A CN116011975A CN202310055972.XA CN202310055972A CN116011975A CN 116011975 A CN116011975 A CN 116011975A CN 202310055972 A CN202310055972 A CN 202310055972A CN 116011975 A CN116011975 A CN 116011975A
- Authority
- CN
- China
- Prior art keywords
- data
- pig farm
- model
- format
- plug
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000000034 method Methods 0.000 title claims abstract description 21
- 238000001514 detection method Methods 0.000 claims abstract description 52
- 238000007726 management method Methods 0.000 claims abstract description 48
- 230000002159 abnormal effect Effects 0.000 claims abstract description 14
- 230000005540 biological transmission Effects 0.000 claims abstract description 12
- 238000005202 decontamination Methods 0.000 claims abstract description 6
- 230000003588 decontaminative effect Effects 0.000 claims abstract description 6
- 230000007246 mechanism Effects 0.000 claims description 26
- 238000012545 processing Methods 0.000 claims description 23
- 238000012544 monitoring process Methods 0.000 claims description 20
- 238000004422 calculation algorithm Methods 0.000 claims description 18
- 238000006243 chemical reaction Methods 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000012550 audit Methods 0.000 claims description 5
- 238000012549 training Methods 0.000 claims description 5
- 238000004806 packaging method and process Methods 0.000 claims description 4
- 230000000903 blocking effect Effects 0.000 claims description 3
- 239000002775 capsule Substances 0.000 claims description 3
- 238000004891 communication Methods 0.000 claims description 3
- 230000006872 improvement Effects 0.000 claims description 3
- 230000002452 interceptive effect Effects 0.000 claims description 3
- 238000012821 model calculation Methods 0.000 claims description 3
- 238000011160 research Methods 0.000 claims description 3
- 230000001960 triggered effect Effects 0.000 claims description 3
- 230000006855 networking Effects 0.000 claims description 2
- 241000282898 Sus scrofa Species 0.000 abstract description 53
- 241000282887 Suidae Species 0.000 abstract description 4
- 206010037660 Pyrexia Diseases 0.000 abstract description 3
- 238000002955 isolation Methods 0.000 abstract description 3
- 238000012806 monitoring device Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 238000011176 pooling Methods 0.000 description 6
- 208000007407 African swine fever Diseases 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 230000002265 prevention Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 241000701386 African swine fever virus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 244000052616 bacterial pathogen Species 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002458 infectious effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 235000015277 pork Nutrition 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229960005486 vaccine Drugs 0.000 description 1
Images
Landscapes
- Alarm Systems (AREA)
Abstract
本发明涉及养殖安全管理技术领域，具体涉及一种养猪场生物安全管理系统、方法、介质、设备及终端。本发明包括位于养猪场的智能监测设备、AI边缘计算设备，以及位于后台的物联网服务器，智能监测设备，包括若干位于养猪场洗消通道的摄像头；AI边缘计算设备，为位于养猪场洗消通道的附近的Jeston Nano边缘设备，包括YOLOv5s目标检测模型、DeepSort跟踪模型、DeepStream框架模型；物联网服务器，其上搭载有生物安全管理平台；本发明实现对养殖场内出现的人员、车辆以及猪只实现记录并截取视频上传至物联网平台进行统一汇总监管和异常情况报警，实现猪场内外环境的相对隔离，减少场区间猪瘟传播风险。
Description
技术领域
本发明涉及养殖安全管理技术领域，具体涉及一种养猪场生物安全管理系统、方法、介质、设备及终端。
背景技术
非洲猪瘟自2018年传入我国并大肆传播，使我国生猪出栏量锐减。不仅导致猪肉价格上涨，对于我国农业经济发展更是造成了严重影响。非洲猪瘟病毒具有迅疾、势猛、易传播和发病率致死率高的特点。虽然国际上很些研究机构针对非洲猪瘟疫苗开展研究，但存有各种问题，未真正地实现产业化。
建立严密安全的生物防控措施是当前对抗非洲猪瘟最有效的办法。猪场生物安全是指采取有效的疾病预防措施和防污染措施，有效地阻止传染病菌的传入以及猪场内的传播，维持养殖猪场的环境，为养殖猪群提供健康的环境，从而达到生猪养殖的最佳经济效益。目前，在落实生物安全管理措施的时候，国内大多数养殖场还是采用传统的人工监控手段。面对非洲猪瘟，我们必须从源头进行监控防范，传统手段对于严防监控力不从心。
发明内容
本发明要解决的技术问题是：克服现有技术的不足，提供一种养猪场生物安全管理系统、方法、介质、设备及终端，使用TensorRT加速，并采用DeepSort跟踪算法实现养殖场内人员、车辆等目标的监管和猪场内养殖异常情况的报警两个部分，希望通过对于进出场车辆、人员行为进行监管，实现猪场内外环境的相对隔离，减少场区间猪瘟传播风险，帮助场区实现完备的抗瘟、防瘟养殖体系。
本发明的技术方案为：
一种养猪场生物安全管理系统，包括位于养猪场的智能监测设备、AI边缘计算设备，以及位于后台的物联网服务器，其中：
智能监测设备，包括若干位于养猪场洗消通道的摄像头，用于为AI边缘计算设备提供数据；
AI边缘计算设备，为位于养猪场洗消通道的附近的Jeston Nano边缘设备，包括以下模型：
YOLOv5s目标检测模型，包括Input模块、Backbone模块、Neck模块和Head模块，其中，Backbone模块内融入CBAM模块，用于实现对养猪场内检测目标的检测定位，检测目标包括进出养猪场的车辆、人员；
DeepSort跟踪模型，包括轨迹处理和状态估计模块、相关性度量模块、级联匹配模块、深度特征描述器模块，用于对检测目标分配跟踪ID以及进行轨迹跟踪，并对检测目标进行记录，减少由于检测目标长时间逗留同一区域造成的重复上报；
DeepStream框架模型，包括对DeepSort跟踪模型进行转解码从而实现模型计算加速的TensorRT模块，使用TensorRT模块进行推理或多流解码，推理插件与GPU或DLA交互使用实现加速推理，每个推理插件根据需要在管道中实例化若干次；
物联网服务器，通过UDP与HTTP协议与AI边缘计算设备相连，其上搭载有生物安全管理平台；
生物安全管理平台，通过AI边缘计算设备与智能监测设备相连，对摄像头采集的视频内待检目标使用目标检测网络进行一级类别的确定并检测目标坐标信息，从而进入闯入的判断以及后续逻辑判断，异常信息触发上报条件后开始录制视频；视频录制结束，打包视频以及异常信息上传至物联网服务器进行整合显示。
优选地，所述AI边缘计算设备还包括审核机制模型和网络监测机制模型，其中：
审核机制模型，是用户在平台端手动设置是否通过审核，即是否存在误上报的情况，当用户设置完后，针对上报情况进行归类划分，研发人员对上报情况的判断；当用户设置为不通过后，表明存在误上报情况，平台会自动截取视频图片添加到模型训练数据集中，增加现场数据集配合模型算法的改进，训练出适合养猪场的模型数据；
网络监测机制模型，利用设备的重启来寻找网络，提高网络速度；设备重启清除设备缓存、消除程序运行卡顿。
优选地，所述物联网服务器还包括数据中心、展示及信息中心，其中：
数据中心，分为业务数据、工作人员管理数据、运行LOGO数据；
展示及信息中心，分为猪场大屏展示系统、PC端展示系统、手机端展示系统。
优选地，所述生物安全管理平台的异常信息包括摄像头安装位置、异常情况类型、上报时间、审核状态。
本发明第二个技术方案为：
一种养猪场生物安全管理方法，包括如下步骤：
S1：利用改进的YOLOv5s目标检测模型定位检测目标；
S2：利用DeepSort跟踪模型跟踪目标对应在图像坐标中的运动信息；
S3：利用DeepStream框架模型灵活调用TensorRT模块对多路实时视频处理分析；
S4：利用物联网平台实现物联网服务器与AI边缘计算设备交互通信，当物联网服务器需要给AI边缘计算设备发送报文指令时，先使用UDP协议与AI边缘计算设备进行三次握手，三次握手成功后将对应的报文内容传输给AI边缘计算设备，AI边缘计算设备解码后做出对应的响应，采用HTTP协议去向物联网服务器请求对应的响应内容；当AI边缘计算设备需要主动向物联网服务器发送文件时，携带传输内容采用HTTP协议主动向物联网服务器发送，物联网服务器接收传输内容并保存；
S5：利用养猪场智能管理系统实现：AI边缘计算设备对视频流拼接输入后，对视频内待检目标使用目标检测网络进行一级类别的确定并检测位置坐标信息，从而进入闯入的判断以及后续逻辑判断，触发上报条件后开始录制视频，视频录制结束，打包视频以及异常信息上传至物联网服务器进行整合显示；
S6：利用审核机制判断是否存在误上报，利用网络监测机制清除网络缓存，提高网络速度。
优选地，所述S2利用DeepSort算法跟踪目标对应在图像坐标中的运动信息，包括如下小步：
S21：预测状态:上一轮迭代产生的tracks经过卡尔曼滤波的预测，计算出本轮的平均值和协方差，数据的状态是不变的；
S22：第一次匹配:将S21中的tracks和本轮目标检测器检测出detections一起送入匹配级联进行匹配，产生三种状态的结果unmatched tracks，unmatched detections，matched tracks；
S23：第二次匹配:由于S22的检测会有遗漏，将其与S21中未确定的tracks合并，用IOU Match再匹配一遍得出数据比较精确的unmatched tracks，unmatched detections，matched tracks；
S24：处理失效对象:未匹配的tracks中unconfirmed和confirmed且age超过阈值的state(>max_age)设为deleted；
S25：输出结果并为下一轮准备数据，其中合并了下面三个来源的tracks:
S251：S23和S24中的matched tracks合并，进行卡尔曼滤波的update，同时age+1，输出tracks；
S252：S23中的unmatched detections新建出tracks；
S253：S24中已确认而且未超龄的track(<max_age)；
S251～S253中的三个来源tracks合在一起作为本轮的输出同时也是下一次迭代的输入，继续S21。
优选地，所述S3利用DeepStream框架模型灵活调用TensorRT模块对多路实时视频处理分析，包括如下小步：
S31：读取待分析的视频，并将视频切片为单帧：DeepStream架构模型通过filesrc插件来加载以h264格式的数据流，将数据流送入到h264视频解析器并使用nvv4l2decoder硬件加速解码插件来加速数据的解析过程，将传入的h264格式的数据流转换为NV12格式的数据，将格式转换后的数据传入到nvstreammux数据流汇总插件，将多个图像帧进行批次切片处理；
S32：视频AI化：将经过S31处理的数据传输到nvinfer推理器插件进行推理，然后将推理信息和NV12格式的数据打包传输到nvvideoconvert格式转换插件，将NV12格式的数据转换为RGBA格式，因为OSD显示为RGBA格式，需要进行格式转换，将转换后的数据格式传输到nvosd绘图插件，将推理的结果绘制在RGBA格式的数据中，将叠加目标框的数据流传输到下一步处理；
S33：打包分析好的数据发送出去：将S32传入的数据流传输到nvvideoconvert格式转换插件，将RGBA格式的数据流转换为I420格式数据流，然后传输到capsfilter滤波器插件，根据设置插件中的caps属性来过滤数据流，经过过滤后的数据流传输到nvv4I2h264enc数据编码插件进行数据编码，并将数据格式转换为h264格式，经过RTP打包h264数据插件打包后传输到udpsink网络接收器插件，生成RTP流发送到显示设备。
本发明第三个技术方案为：
一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述养猪场生物安全管理方法。
本发明第四个技术方案为：
所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述养猪场生物安全管理方法。
本发明第五个技术方案为：
所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施上述养猪场生物安全管理系统。
本发明的与现有技术相比，具有以下有益效果：
使用TensorRT加速，并采用DeepSort跟踪算法实现养殖场内人员、车辆等目标的监管和猪场内养殖异常情况的报警两个部分，希望通过对于进出场车辆、人员行为进行监管，实现猪场内外环境的相对隔离，减少场区间猪瘟传播风险，帮助场区实现完备的抗瘟、防瘟养殖体系。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明的生物安全管理系统图。
图2是本发明的改进前与改进后的Backbone模块图。
图3是本发明的CBAM注意力机制模块示意图。
图4是本发明的DeepSort跟踪算法处理流程图。
图5是本发明的DeepStream整体框架示意图。
图6是本发明的模型部署流程图。
图7是本发明的系统实现主题框架图。
图8是本发明的审核状态设置图。
图9是本发明的网络监测机制流程图。
图10是本发明的猪舍连廊三人员上报汇总图。
图11是本发明的猪场南部车辆上报汇总图。
图12是本发明的猪舍走廊猪只上报汇总图。
图13是本发明的猪舍连廊三人员上报图。
图14是本发明的猪场南部车辆上报图。
图15是本发明的猪舍走廊猪只上报图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
实施例1
如图1所示，本实施例提供了一种养猪场生物安全管理系统、方法、介质、设备及终端，在NVIDIA的边缘端设备Jeston Nano上，使用TensorRT加速，并采用DeepSort跟踪算法实现养殖场内人员、车辆等目标的跟踪检测。本发明实现了一种边缘采集、边缘处理和物联网汇总接收展示的养猪场生物安全管理系统。
S1：利用改进的YOLOv5s目标检测模型定位检测目标；
本发明使用YOLOv5s作为基准网络模型，在YOLOv5s模型的Backbone模块中融入一种轻量型的卷积注意力模块(CBAM，Convolutional Block Attention Module)，实现对场区内待检目标的检测定位。融入CBAM注意力机制的Backbone模块框架如图2所示，YOLOv5s算法是一阶端到端的目标检测算法，由Input模块、Backbone模块、Neck模块和Head模块组成。Input模块是输入端模块，接收输入数据并进行数据增强；Backbone模块是YOLOv5s算法的主干网络，它主要负责提取图片中的信息，供后面的模块使用；Neck模块是为了更好的利用Backbone提取的特征；Head模块用来预测输出。本发明将Backbone主干网络部分融入CBAM注意力机制加强图片中信息的提取，为后面网络模块的预测提供更多的信息，使预测的结果更加精准。
YOLOv5根据网络结构的深度和宽度将其分为5个不同版本：YOLOv5n、YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x，其中YOLOv5s训练后的模型仅十几兆大小并且还能保持较快的检测速度和较高的检测精度，适合部署在算力受限的边缘端处理设备上。
CBAM注意力机制分为空间注意力和通道注意力两部分。
图3中虚线方框中的部分为通道注意力，实线方框内的部分为空间注意力。通道注意力在前，空间注意力在后。为了获得在空间维度的注意力特征，输入的特征图首先进入到通道注意力中，在通道注意力中经过基于特征图的宽度和高度进行全局最大池化和全局平均池化的操作后，将特征维度由H×W转变成1×1，接着经过卷积核为7×7的卷积和Relu激活函数后降低特征图的维度，然后再经过一次卷积后提升为原来的维度，最后将经过Sigmoid激活函数标准化处理后的特征图与通道注意力输出的特征图进行合并，从而在空间和通道两个维度上完成对特征图的重标定。
在空间注意力模块中，全局平均池化和最大池化获得了空间注意力特征，通过两个卷积建立了空间特征间的相关性，同时保持了输入、输出维度的不变。通过卷积核为7×7的卷积操作，极大地减少了参数和计算量，有利于建立高维度的空间特征相关性。经过CBAM后，新的特征图将得到通道和空间维度上的注意力权重，大大提高了各个特征在通道和空间上的联系，更有利于提取目标的有效特征。基于特征图的宽、高进行GAP(全局平均池化层)、GMP(全局最大池化层)，然后经过MLP(多层感知器)得到通道的注意力权重，然后通过Sigmoid函数获得归一化注意力权重，最后通过乘法逐通道加权到原始输入特征图上，完成通道注意力对原始特征的重新标定。通过一系列的卷积变化不仅能够节约参数和计算力，并且保证了CBAM注意力机制模块能够做为即插即用的模块集成到现有的网络架构中去，可以进一步增强网络模型对目标的特征提取能力，提升模型检测效果。
S2：利用DeepSort跟踪模型跟踪目标对应在图像坐标中的运动信息；
本发明使用的DeepSort算法分为四个核心部分：轨迹处理和状态估计、相关性度量、级联匹配、深度特征描述器。轨迹处理和状态估计部分的算法和SORT算法类似，主要为运动状态估计和目标创建与移除。DeepSort算法通过(u,v,gama,h,x1,y1,gama,h1)，这八个参数描述目标的运动状态，其中(u,v)为目标锚点框的中心坐标，gama是目标锚点框的长宽比，h表示目标锚点框的高度，其余四个变量为目标对应在图像坐标中的运动信息。
如图4所示，DeepSort跟踪算法流程为：
S21：预测状态:
上一轮迭代产生的Tracks经过卡尔曼滤波的预测，计算出本轮的mean(平均值)和covariance(协方差)，数据的状态(confirmed和unconfirmed)是不变的。
S22：第一次匹配:
将S21中的tracks和本轮目标检测器检测出detections一起送入matchingcascade(匹配级联)进行匹配，产生三种状态的结果unmatched tracks，unmatcheddetections，matched tracks。
S23：第二次匹配:
由于S22的检测会有遗漏，将其与S21中未确定的tracks合并，用IOU Match再匹配一遍得出数据比较精确的unmatched tracks，unmatched detections，matched tracks。
S24：处理失效对象:
未匹配的Tracks中还没确认的(unconfirmed)和已确认(confirmed)且age超过阈值的state(>max_age)设为deleted。
S25：输出结果并为下一轮准备数据，其中合并了下面三个来源的tracks:
S251：S23和S24中的已匹配的tracks(matched tracks)合并，进行卡尔曼滤波的update，同时age+1，输出tracks；
S252：S23中的未匹配的detections(unmatched detections)新建出tracks；
S253：S24中已确认而且未超龄的track(<max_age)。
这三个来源的tracks合在一起作为本轮的输出同时也是下一次迭代的输入，继续S21。
本发明使用DeepSort跟踪算法为检测到的目标分配跟踪ID以及进行轨迹跟踪，并对检测并上报的目标进行记录，减少由于目标长时间逗留同一区域造成的重复上报。
S3：利用DeepStream框架模型灵活调用TensorRT模块对多路实时视频处理分析；
DeepStream应用程序是NVIDIA开发的一组模块化插件，每个插件代表一个功能块，这些插件相连接以形成处理管道。例如：使用TensorRT进行推理或多流解码；使用硬件加速插件提供最佳性能；推理插件与GPU或DLA交互使用实现加速推理；每个插件可以根据需要在管道中实例化多次。
在进行多路实时视频处理分析时，DeepStream框架具有灵活调用的配置优势，且针对多模型并行工作场景时，DeepStream的模块化插件机制可以实现在模型管道创建时灵活的组合使用。如图5所示，DeepSteam处理过程为：
S31：读取待分析的视频，并将视频切片为单帧：DeepStream架构通过filesrc插件来加载数据流(以h264格式视频流为例)，将数据流送入到h264parse(h264视频解析器)并使用nvv4l2decoder(硬件加速解码)插件来加速数据的解析过程，将传入的h264格式的数据流转换为NV12(一种英特尔定义的视频存储格式)格式的数据，将格式转换后的数据传入到nvstreammux(数据流汇总)插件，当有多个输入数据流时，该插件需要将多个图像帧进行批次切片处理，然后再一并传送给推理计算插件。
S32：视频AI化：将经过S31处理的数据传输到nvinfer(推理器)插件进行推理，然后将推理信息和NV12格式的数据打包传输到nvvideoconvert(格式转换)插件，将NV12格式的数据转换为RGBA(一种色彩空间模型)格式，因为OSD(屏幕菜单式调节方式)显示为RGBA格式，需要进行格式转换，将转换后的数据格式传输到nvosd(绘图)插件，该插件将推理的结果绘制在RGBA格式的数据中，将叠加目标框的数据流传输到下一步进行进一步处理
S33：打包分析好的数据发送出去：将S32传入的数据流传输到nvvideoconvert(格式转换)插件，将RGBA格式的数据流转换为I420格式数据流，然后传输到capsfilter(滤波器)插件，根据设置插件中的caps属性来过滤数据流，经过过滤后的数据流传输到nvv4I2h264enc(数据编码)插件进行数据编码，并将数据格式转换为h264格式，经过rtph264pay(RTP打包h264数据)插件打包后传输到udpsink(网络接收器)插件，生成RTP流发送到显示设备。
在DeepStream上进行模型部署时，使用TensorRT对模型进行转解码从而实现模型计算的加速。本发明基于Pytorch训练YOLOv5s目标检测模型，得到.pt格式模型文件并转换为.onnx文件，并在边缘AI边缘计算设备Jetson Nano上完成.onnx到.engine格式的转换，从而实现模型的加速。模型部署流程如图6所示：
需要说明的是：边缘处理设备NVIDIA Jeston Nano参数如表1所示，具有精确的多模式AI推理功能，可以为开发和测试高能效提供小尺寸解决方案。
表1NVIDIA Jetson Nano技术参数
S4：利用物联网平台实现物联网服务器与AI边缘计算设备交互通信：
AI边缘计算设备与物联网服务器通信使用UDP与HTTP协议两种：
当物联网服务器需要给AI边缘计算设备发送报文指令时，先使用UDP协议与AI边缘计算设备进行三次握手，三次握手成功后将对应的报文内容传输给AI边缘计算设备，AI边缘计算设备解码后做出对应的响应，采用HTTP协议去物联网服务器请求对应的响应内容。
当AI边缘计算设备需要主动向物联网服务器发送文件时，携带传输内容采用HTTP协议主动向物联网服务器发送，物联网服务器接收传输内容并保存。
S5：利用养猪场智能管理系统实现：
边缘端设备主要执行程序框架如图7所示，对视频流拼接输入后，对视频内待检目标使用目标检测网络进行一级类别的确定并检测位置坐标信息，从而进入闯入的判断以及后续逻辑判断，触发上报条件后开始录制视频，视频录制结束，打包视频以及异常信息上传至物联网服务器进行整合显示。
S6：利用审核机制判断是否存在误上报，利用网络监测机制清除网络缓存，提高网络速度。
为解决该系统中误上报和网络中断问题，本发明提出了审核机制和网络监测机制。
审核机制是需要用户在平台端手动设置是否通过审核，即是否存在误上报的情况，当用户设置完后，针对上报情况进行归类划分，有利于研发人员对上报情况的判断。当用户设置为不通过后，表明存在误上报情况，平台会自动截取视频图片添加到模型训练数据集中，增加现场数据集配合模型算法的改进，可以进一步训练出适合养猪场的模型数据。审核状态设置如图8所示。
为解决网络中断问题，本发明在系统中添加了网络监测机制，此方法利用设备的重启来寻找网络，可以提高网络速度。设备重启还有利于清除设备缓存，消除程序运行卡顿等问题。网络监测机制流程如图9所示。
人员、车辆和猪只目标异常情况汇总显示如图10、图11、图12所示，其对应详细信息如图13、图14、图15所示。其主要信息包括摄像头安装位置，异常情况类型，上报时间，审核状态等重要信息。
本发明还提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行上述养猪场生物安全管理方法。所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行上述养猪场生物安全管理方法。所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施上述养猪场生物安全管理系统。
尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种养猪场生物安全管理系统，其特征在于，包括位于养猪场的智能监测设备、AI边缘计算设备，以及位于后台的物联网服务器，其中：
智能监测设备，包括若干位于养猪场洗消通道的摄像头，用于为AI边缘计算设备提供数据；
AI边缘计算设备，为位于养猪场洗消通道的附近的Jeston Nano边缘设备，包括以下模型：
YOLOv5s目标检测模型，包括Input模块、Backbone模块、Neck模块和Head模块，其中，Backbone模块内融入CBAM模块，用于实现对养猪场内检测目标的检测定位，检测目标包括进出养猪场的车辆、人员；
DeepSort跟踪模型，包括轨迹处理和状态估计模块、相关性度量模块、级联匹配模块、深度特征描述器模块，用于对检测目标分配跟踪ID以及进行轨迹跟踪，并对检测目标进行记录，减少由于检测目标长时间逗留同一区域造成的重复上报；
DeepStream框架模型，包括对DeepSort跟踪模型进行转解码从而实现模型计算加速的TensorRT模块，使用TensorRT模块进行推理或多流解码，推理插件与GPU或DLA交互使用实现加速推理，每个推理插件根据需要在管道中实例化若干次；
物联网服务器，通过UDP与HTTP协议与AI边缘计算设备相连，其上搭载有生物安全管理平台；
生物安全管理平台，通过AI边缘计算设备与智能监测设备相连，对摄像头采集的视频内待检目标使用目标检测网络进行一级类别的确定并检测目标坐标信息，从而进入闯入的判断以及后续逻辑判断，异常信息触发上报条件后开始录制视频；视频录制结束，打包视频以及异常信息上传至物联网服务器进行整合显示。
2.如权利要求1所述的养猪场生物安全管理系统，其特征在于，所述AI边缘计算设备还包括审核机制模型和网络监测机制模型，其中：
审核机制模型，是用户在平台端手动设置是否通过审核，即是否存在误上报的情况，当用户设置完后，针对上报情况进行归类划分，研发人员对上报情况的判断；当用户设置为不通过后，表明存在误上报情况，平台会自动截取视频图片添加到模型训练数据集中，增加现场数据集配合模型算法的改进，训练出适合养猪场的模型数据；
网络监测机制模型，利用设备的重启来寻找网络，提高网络速度；设备重启清除设备缓存、消除程序运行卡顿。
3.如权利要求1所述的养猪场生物安全管理系统，其特征在于，所述物联网服务器还包括数据中心、展示及信息中心，其中：
数据中心，分为业务数据、工作人员管理数据、运行LOGO数据；
展示及信息中心，分为猪场大屏展示系统、PC端展示系统、手机端展示系统。
4.如权利要求1所述的养猪场生物安全管理系统，其特征在于，所述生物安全管理平台的异常信息包括摄像头安装位置、异常情况类型、上报时间、审核状态。
5.一种养猪场生物安全管理方法，采用如权利要求1～4任意一项所述养猪场生物安全管理系统，其特征在于，包括如下步骤：
S1：利用改进的YOLOv5s目标检测模型定位检测目标；
S2：利用DeepSort跟踪模型跟踪目标对应在图像坐标中的运动信息；
S3：利用DeepStream框架模型灵活调用TensorRT模块对多路实时视频处理分析；
S4：利用物联网平台实现物联网服务器与AI边缘计算设备交互通信，当物联网服务器需要给AI边缘计算设备发送报文指令时，先使用UDP协议与AI边缘计算设备进行三次握手，三次握手成功后将对应的报文内容传输给AI边缘计算设备，AI边缘计算设备解码后做出对应的响应，采用HTTP协议去向物联网服务器请求对应的响应内容；当AI边缘计算设备需要主动向物联网服务器发送文件时，携带传输内容采用HTTP协议主动向物联网服务器发送，物联网服务器接收传输内容并保存；
S5：利用养猪场智能管理系统实现：AI边缘计算设备对视频流拼接输入后，对视频内待检目标使用目标检测网络进行一级类别的确定并检测位置坐标信息，从而进入闯入的判断以及后续逻辑判断，触发上报条件后开始录制视频，视频录制结束，打包视频以及异常信息上传至物联网服务器进行整合显示；
S6：利用审核机制判断是否存在误上报，利用网络监测机制清除网络缓存，提高网络速度。
6.如权利要求5所述的养猪场生物安全管理方法，其特征在于，所述S2利用DeepSort算法跟踪目标对应在图像坐标中的运动信息，包括如下小步：
S21：预测状态:上一轮迭代产生的tracks经过卡尔曼滤波的预测，计算出本轮的平均值和协方差，数据的状态是不变的；
S22：第一次匹配:将S21中的tracks和本轮目标检测器检测出detections一起送入匹配级联进行匹配，产生三种状态的结果unmatched tracks，unmatched detections，matched tracks；
S23：第二次匹配:由于S22的检测会有遗漏，将其与S21中未确定的tracks合并，用IOUMatch再匹配一遍得出数据比较精确的unmatched tracks，unmatched detections，matched tracks；
S24：处理失效对象:未匹配的Tracks中unconfirmed和confirmed且age超过阈值的state(>max_age)设为deleted；
S25：输出结果并为下一轮准备数据，其中合并了下面三个来源的tracks:
S251：S23和S24中的matched tracks合并，进行卡尔曼滤波的update，同时age+1，输出tracks；
S252：S23中的unmatched detections新建出tracks；
S253：S24中已确认而且未超龄的track(<max_age)；
S251～S253中的三个来源tracks合在一起作为本轮的输出同时也是下一次迭代的输入，继续S21。
7.如权利要求6所述的养猪场生物安全管理方法，其特征在于，所述S3利用DeepStream框架模型灵活调用TensorRT模块对多路实时视频处理分析，包括如下小步：
S31：读取待分析的视频，并将视频切片为单帧：DeepStream架构模型通过filesrc插件来加载以h264格式的数据流，将数据流送入到h264视频解析器并使用nvv4l2decoder硬件加速解码插件来加速数据的解析过程，将传入的h264格式的数据流转换为NV12格式的数据，将格式转换后的数据传入到nvstreammux数据流汇总插件，将多个图像帧进行批次切片处理；
S32：视频AI化：将经过S31处理的数据传输到nvinfer推理器插件进行推理，然后将推理信息和NV12格式的数据打包传输到nvvideoconvert格式转换插件，将NV12格式的数据转换为RGBA格式，因为OSD显示为RGBA格式，需要进行格式转换，将转换后的数据格式传输到nvosd绘图插件，将推理的结果绘制在RGBA格式的数据中，将叠加目标框的数据流传输到下一步处理；
S33：打包分析好的数据发送出去：将S32传入的数据流传输到nvvideoconvert格式转换插件，将RGBA格式的数据流转换为I420格式数据流，然后传输到capsfilter滤波器插件，根据设置插件中的caps属性来过滤数据流，经过过滤后的数据流传输到nvv4I2h264enc数据编码插件进行数据编码，并将数据格式转换为h264格式，经过RTP打包h264数据插件打包后传输到udpsink网络接收器插件，生成RTP流发送到显示设备。
8.一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求5～7任意一项所述养猪场生物安全管理方法。
9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求5～7任意一项所述养猪场生物安全管理方法。
10.一种信息数据处理终端，其特征在于，所述信息数据处理终端用于实现于电子装置上执行时，提供用户输入接口以实施如权利要求1～4所述养猪场生物安全管理系统。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310055972.XA CN116011975A (zh) | 2023-01-16 | 2023-01-16 | 养猪场生物安全管理系统、方法、介质、设备及终端 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310055972.XA CN116011975A (zh) | 2023-01-16 | 2023-01-16 | 养猪场生物安全管理系统、方法、介质、设备及终端 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116011975A true CN116011975A (zh) | 2023-04-25 |
Family
ID=86037119
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310055972.XA Withdrawn CN116011975A (zh) | 2023-01-16 | 2023-01-16 | 养猪场生物安全管理系统、方法、介质、设备及终端 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116011975A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116680752A (zh) * | 2023-05-23 | 2023-09-01 | 杭州水立科技有限公司 | 一种基于数据处理的水利工程安全监测方法及系统 |
-
2023
- 2023-01-16 CN CN202310055972.XA patent/CN116011975A/zh not_active Withdrawn
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116680752A (zh) * | 2023-05-23 | 2023-09-01 | 杭州水立科技有限公司 | 一种基于数据处理的水利工程安全监测方法及系统 |
| CN116680752B (zh) * | 2023-05-23 | 2024-03-19 | 杭州水立科技有限公司 | 一种基于数据处理的水利工程安全监测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110516529A (zh) | 一种基于深度学习图像处理的投喂检测方法和系统 | |
| CN104137146A (zh) | 用于利用前景对象分割的噪声过滤的视频编码的方法和系统 | |
| CN105681303A (zh) | 一种大数据驱动的网络安全态势监测及可视化方法 | |
| CN108647559A (zh) | 一种基于深度学习的危险物识别方法 | |
| US20230412769A1 (en) | Scalable Visual Computing System | |
| CN116011975A (zh) | 养猪场生物安全管理系统、方法、介质、设备及终端 | |
| CN104079885A (zh) | 无人监守联动跟踪的网络摄像方法及装置 | |
| CN104159089A (zh) | 一种异常事件报警高清视频智能处理器 | |
| CN113099242B (zh) | 一种输电线路视频监测数据处理方法及系统 | |
| CN112653749A (zh) | 用于物联网的基于边缘计算的复杂事件处理系统及方法 | |
| CN115103157A (zh) | 基于边云协同的视频分析方法、装置、电子设备及介质 | |
| CN114422271A (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| CN110661999A (zh) | 一种基于大数据的视频监控系统 | |
| CN115729683A (zh) | 任务处理方法、装置、系统、计算机设备和存储介质 | |
| CN109348176A (zh) | 集成有视频系统的风力发电机组监控与数据采集系统 | |
| CN116582693B (zh) | 一种基于视频资源池的摄像头调用管控方法 | |
| CN116824480A (zh) | 基于DeepStream的监控视频分析方法及系统 | |
| CN116682223A (zh) | 国产环境下基于物联网+ai的火灾巡检系统及方法 | |
| CN115052128A (zh) | 一种综合视频监控与网络异常检测的机房安全管理方法 | |
| US11907293B2 (en) | Reasoning from surveillance video via computer vision-based multi-object tracking and spatiotemporal proximity graphs | |
| EP2822272A1 (en) | Method and network using source apparatus deployment | |
| CN112866332A (zh) | 基于云边融合实现突发事件识别预警的系统、方法、装置、处理器及其存储介质 | |
| Avci et al. | Real-Time Building Management System Visual Anomaly Detection Using Heat Points Motion Analysis Machine Learning Algorithm | |
| Zhanying et al. | Research on forest fire detection algorithm based on YOLOV5 | |
| CN109671236A (zh) | 周界目标物体的检测方法及其系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WW01 | Invention patent application withdrawn after publication |
Application publication date: 20230425 |
|
| WW01 | Invention patent application withdrawn after publication |