CN116416281A - 一种粮库ai视频监管分析方法及系统 - Google Patents

一种粮库ai视频监管分析方法及系统 Download PDF

Info

Publication number
CN116416281A
CN116416281A CN202310475460.9A CN202310475460A CN116416281A CN 116416281 A CN116416281 A CN 116416281A CN 202310475460 A CN202310475460 A CN 202310475460A CN 116416281 A CN116416281 A CN 116416281A
Authority
CN
China
Prior art keywords
target
data
recognition
grain depot
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310475460.9A
Other languages
English (en)
Inventor
甄彤
马钰钧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yunguan Smart Technology Wuxi Co ltd
Original Assignee
Yunguan Smart Technology Wuxi Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yunguan Smart Technology Wuxi Co ltd filed Critical Yunguan Smart Technology Wuxi Co ltd
Priority to CN202310475460.9A priority Critical patent/CN116416281A/zh
Publication of CN116416281A publication Critical patent/CN116416281A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G06T7/231—Analysis of motion using block-matching using full search
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/269—Analysis of motion using gradient-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种粮库视频监管分析方法，包括：获取粮库场景视频数据；对目标图像帧进行图像增强；对增强后的目标图像进行计算机视觉识别；基于视频数据进行目标检测获得检测目标，所述检测目标可以是人和/或场景物体；对检测目标进行目标跟踪绘制目标运动轨迹并预测目标运动趋势对区域入侵做出预警，相比现有人工监管方式有诸多优点，同时处理多种图像和视频数据能够快速准确地实现粮库场景中的各种业务监控程序可以24小时不间断的对屏幕图像进行检测与识别，任何时刻出现异常都能实时快速识别并反馈，可以节省大量人力成本，不需要人盯着监控设备，不需要人去现场定点巡逻，只需要相关技术人员在程序后台接受并处理监控程序的实时反馈。

Description

一种粮库AI视频监管分析方法及系统
技术领域
本发明涉及人工智能领域，尤其涉及一种粮库AI视频监管分析方法及系统。
背景技术
近年来，信息化建设逐渐成为了保障国家粮食安全的重要支撑，是加快粮食领域系统深化改革的强大动能。
关于“智慧粮库”的实现学者提出[1]建立覆盖粮库所有信息网点的安全可靠的管理信息系统，系统集物流、资金流和信息流于一体，通过把各种传感器嵌入和装备到粮库、仓内、粮食运输机械及粮库其他建筑，将其采集到的各类数据通过粮库局域网整合处理。也有学者[2]通过将基于计算机视觉的 AI 深度学习技术应用在粮食仓储行业，增强对视频图像的智能分析，解决粮食仓储行业的一些实际问题。
[1]刘双安,刘玉苹,刘波.浅谈智能化粮库设计[J].现代食品,2022,28(14):56-59.DOI:10.16736/j.cnki.cn41-1434/ts.2022.14.014.
[2]潘欣欣,陈长清,周亚伟等.视频智能分析系统在粮库中的应用[J].粮食与食品工业,2021,28(06):43-46.
目前众多专家学者对于粮库智能管理系统的设计仅处于理论阶段，市场上尚未有成熟的AI视频分析系统和对应的配套硬件设备。而粮库目前视频监控只作为粮库安防和仓储智能化管理系统的一部分，这有很多不足和缺陷。首先是效率低，人不可能每时每刻盯着屏幕，可能会走神，瞌睡，一旦此时发生影响粮食安全的事件，就得不到及时的响应，同时监控屏幕数量多的情况下，安保人员未必能及时发现违规操作或者安全事故的发生。其次是成本高，安保人员必须时刻盯着屏幕防止意外事件出现，因此对安保人员的安排必须实现三班倒的制度，否则没办法做到及时响应意外出现的安全生产事故，这会造成大量的人工成本，同时也是一种人力资源的浪费，对于粮库来说发生生产安全问题是一个低频高危事件，即发生的概率很低，但是一旦发生会造成很严重的后果，因此安保人员的工作虽然重要但是大部分时候是没有工作成果的，这是一种对人力资源的浪费。
发明内容
针对上述现有技术的缺点，本发明的目的是提供一种粮库AI视频监管分析方法及系统，以解决现有技术中的一个或多个问题。
为实现上述目的，本发明的技术方案如下：
本发明提供一种粮库视频监管分析方法，包括：
获取粮库场景视频数据；
对目标图像帧进行图像增强；
对增强后的目标图像进行计算机视觉识别；
基于视频数据进行目标检测获得检测目标，所述检测目标可以是人和/或场景物体；
对检测目标进行目标跟踪绘制目标运动轨迹并预测目标运动趋势对区域入侵做出预警。
优选地，所述基于视频数据进行目标检测获得检测目标，包括：
在目标检测阶段，将网络中的标准卷积结构替换成深度可分离卷积结构；
所述深度可分离卷积就是将一个标准卷积结构拆分为：一个深度卷积和一个逐点卷积；
所述深度卷积将卷积核拆分成为单通道形式，在不改变输入特征图像的深度的情况下，对每一通道进行卷积操作；
所述逐点卷积是1×1卷积，对特征图进行升维和降维，降低模型的参数量提高目标的检测速率。
优选地，所述对检测目标进行目标跟踪，包括：
获取粮库场景连续视频序列，建立目标的位置与大小序列；
对检测目标进行跟踪，绘制出目标运动轨迹，预测目标下一步运动，对区域入侵做出预警；
对与目标外观信息相关联的特征提取网络进行改进，构建多通道特征网络结构，将不同尺度的特征图相结合，增强图像中目标特征的表达能力，减小遮挡前后目标外观特征的距离偏差，能够在人员移动的过程中剔除环境干扰。
优选地，所述预测目标运动趋势对区域入侵做出预警，包括：获取目标输入；
运动模式获取：根据输入的目标框产生候选样本框；
提取所述候选样本框的特征；
利用观测模型对所述候选样本框进行评分；
在所述候选样本框中选取评分最高的，或是利用所有的预测加权平均得到最终的预测输出。
优选地，所述对目标图像帧进行图像增强，包括：
将传统频域法与MSR-net结合，将原图像分解为低频成分和高频成分；
利用MSR-net对低频成分和高频成分分别进行增强；
将增强后的低频和高频成分融合，输出结果。
优选地，所述对目标图像帧进行图像增强，还包括：通过模拟天气变化、亮度变换以及添加噪声等方式对数据集进行扩充，在主干网络中增加自注意力机制；
采用多尺度领域自适应网络，对提取到的特征进行对抗训练；
增强整体模型对不同天气、不同场景的泛化能力。
优选地，所述对增强后的目标图像进行计算机视觉识别，包括：基于CNN模型，利用卷积神经网络 CNN算法来定量提取图像中的人体姿态特征；通过完整上下文语义类描述每个节点的特征，直接反映当前人体姿势的感知。
本发明还提供一种粮库AI视频监管分析系统，系统采用C/S/D架构，包括：客户端、服务端、数据端，所述客户端是为AI-BOX,用于存储、运行如前任一所述的粮库AI视频监管分析方法，对粮库场景视频数据进行实时监控与分析；
所述客户端数量为1路或多路；
所述服务端统合客户端上传的视频与图片数据，对是否发生异动与安全告警事件进行判定，并将判定结果反馈给客户端；
所述数据端包括：数据采集模块和数据存储模块，所述数据采集模块对设置于粮库公共管廊、公共区域监控和遥测设备采集的数据通过协议转换和边缘计算进行数据采集和配置处理，所述数据存储模块，用于视频数据、网络模型数据和系统文件数据的存储与管理；
所述客户端、服务端、数据端均嵌入网络层中，所述网络层通过通信协议在近服务端、客户端和数据端应用，以地理空间为参考系，建立增强基础网络，应用 IPv6通信协议，实现系统海量视频数据的采集、传输、分析。
优选地，所述AI-BOX的系统架构包括：基础设施层、学习框架层、算法模型层和计算机视觉技术层；
所述基础设施层采用CPU或GPU或云计算，基于cuda框架开发；
所述学习框架层基于Opencv、Dlib、TensorFlow和PyTorch开发；
所述算法模型层包括：目标检测算法模型、目标跟踪算法模型、图像增强算法模型、人体姿势识别算法模型；所述目标检测算法模型基于YOLOv5的轻量化模型；所述目标跟踪算法模型基于Fast R-CNN模型；所述图像增强算法模型基于MSR-net模型；所述人体姿势识别算法模型基于CNN模型；
所述计算机视觉技术层执行人员识别、车辆识别、吸烟识别、安全帽识别、烟火识别、聚集识别、离岗识别、仓门异动识别、粮面异动识别、区域入侵识别、人体姿势识别和图像增强技术、霉变虫害识别。
优选地， 所述服务器端架构分为：数据操作层、业务逻辑层、表现层；
所述表现层用于为客户端提供注册接口、算法服务接口以及业务服务接口；
所述业务逻辑层用于实现风险检测、违规告警、异动告警、应急处理；
所述数据操作层提供数据库方位接口、系统文件、文本文件、视频文件以及二进制文件。
与现有技术相比，本发明的有益技术效果如下：
本发明技术方案相比现有人工监管方式有诸多优点。
精确，计算机图像处理与识别技术能够同时处理多种图像和视频数据，在足够数据量的支撑下，其识别的精确度可以接近100%，能够快速准确地实现粮库场景中的各种业务，如粮面异动、仓门异动等异常告警业务，人员跌倒、聚集、吸烟、离岗、安全帽佩戴等目标检测业务，除雾、除雨、增光等图像增强业务。
高效，而监控程序可以24小时不间断的对屏幕图像进行检测与识别，任何时刻出现异常都能实时快速识别并反馈。
灵活，现阶段的计算机图像处理与识别更具智能化，在进行数据和信息的处理过程中，能够根据需要对图像进行自动的判断，并进行精确的调整，增加了图像处理的灵活性。
廉价，图像识别作为人工智能的一个重要领域，自然具备了人工智能的一个重大优势-可以节省大量人力成本，不需要人盯着监控设备，不需要人去现场定点巡逻，只需要相关技术人员在程序后台接受并处理监控程序的实时反馈。
集成性，功能模块化设计，各模块可单独使用，提供开放接口，便于与粮库内其他职能部门及上级政府应急管理部门信息系统对接集成；
兼容性，注重融合粮库现有信息系统，实现功能互补，数据互联互通；
可扩展性，粮库根据自身建设要求，完成基本建设内容，还可以扩展创新应用和场景。
附图说明
图1示出了一种粮库AI视频监管分析方法流程图；
图2示出了所述目标检测标准卷积示意图；
图3示出了所述目标检测算法深度卷积示意图；
图4示出了所述目标检测算法逐点卷积示意图；
图5示出了所述目标跟踪原理图；
图6示出了所述图像增强算法原理图。
图7示出了一种粮库AI视频监管分析系统的系统架构示意图；
图8示出了本发明实施例一种粮库AI视频监管分析系统的系统硬件架构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和具体实施方式对本发明提出的装置作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
如图1所示，本发明提供一种粮库视频监管分析方法，包括：
S1获取粮库场景视频数据；
S2对目标图像帧进行图像增强；
S3对增强后的目标图像进行计算机视觉识别；
S4基于视频数据进行目标检测获得检测目标，所述检测目标可以是人和/或场景物体；
S5对检测目标进行目标跟踪绘制目标运动轨迹并预测目标运动趋势对区域入侵做出预警。
在一个实施例中，所述基于视频数据进行目标检测获得检测目标，包括：
在目标检测阶段，将网络中的标准卷积结构替换成深度可分离卷积结构；
所述深度可分离卷积就是将一个标准卷积结构拆分为：一个深度卷积和一个逐点卷积；
所述深度卷积将卷积核拆分成为单通道形式，在不改变输入特征图像的深度的情况下，对每一通道进行卷积操作；
所述逐点卷积是1×1卷积，对特征图进行升维和降维，降低模型的参数量提高目标的检测速率。
在一个实施例中，所述目标检测算法模型基于YOLOv5的轻量化模型，如图2、3、4所示，在一个实施例中，如图3，所述标准卷积输入一个12x12x3的一个输入特征图，经过5x5x3的卷积核卷积得到一个8x8x1的输出特征图；如果此时我们有256个特征图，我们将会得到一个8x8x256的输出特征图。
深度可分离卷积可以分为深度卷积和逐点卷积；深度可分离卷积就是将标准卷积拆分成一个深度卷积和一个逐点卷积，与标准卷积网络不一样的是，深度卷积将卷积核拆分成为单通道形式，在不改变输入特征图像的深度的情况下，对每一通道进行卷积操作。这样就得到了和输入特征图通道数一致的输出特征图。如图3，输入12x12x3的特征图，经过5x5x1x3的深度卷积之后，得到了8x8x3的输出特征图。输入个输出的维度是不变的3。
对特征图进行升维和降维，在深度卷积的过程中，我们得到了8x8x3的输出特征图，如图4，用256个1x1x3的卷积核对输入特征图进行卷积操作，输出的特征图和标准的卷积操作一样都8x8x256了，这样操作有效降低模型的参数量提高了目标的检测速率，可以实时快速地检测出场景中的人员。
目标检测，其目的是判断出图像中物体出现的位置与类别。与图像分类不同的一点，图像中物体的数量、大小及姿态各有不同，并且物体时常会有遮挡截断，这些复杂情况导致目标检测富有挑战性基于人体序列生成算法进行动作识别，进行人体动作的多尺度识别检测。
本系统目标检测算法模型提出了一种基于YOLOv5的轻量化模型，在目标检测阶段，将网络中的标准卷积结构替换成参数量更少的深度可分离卷积结构，通过降低模型的参数量提高目标的检测速率，可以实时快速地检测出场景中的人员，同时在动作的识别过程中使用人体序列的生成算法，以实现人体动作的多尺度识别检测，在识别到人员跌倒时做出警告。
训练过后网络算法能够对基于人员的识别进行拓展，可以实现人员的着装、行为和状态的判断，比如是否佩戴安全帽、口罩、防毒面具等安全设备，是否有违规行为，比如抽烟、聚集、离岗、睡岗等。第二是基于仓门的识别，该算法可以自动识别屏幕内仓门的位置并且判断仓门状态，一旦在仓门禁止开启的时间段检测到仓门的异动，就会要立刻发出告警。还有就是基于车、粮和场景的识别，是否有虫子老鼠等粮害、粮面是否有异动，粮库内车辆的进出登记、停放管理等工作都是基于车辆的识别，最后就是对于场景中是否有安全隐患的识别与判断。
在一个实施例中，所述对检测目标进行目标跟踪，包括：
获取粮库场景连续视频序列，建立目标的位置与大小序列；
对检测目标进行跟踪，绘制出目标运动轨迹，预测目标下一步运动，对区域入侵做出预警；
对与目标外观信息相关联的特征提取网络进行改进，构建多通道特征网络结构，将不同尺度的特征图相结合，增强图像中目标特征的表达能力，减小遮挡前后目标外观特征的距离偏差，能够在人员移动的过程中剔除环境干扰。
如图5所示，在一个实施例中，目标跟踪其任务得到目标运动轨迹并预测该目标后续位置与大小。需要在连续的视频序列中，建立目标的位置与大小序列；
在一个实施例中，所述目标跟踪算法模型基于Fast R-CNN模型，包括：
获取粮库监管连续视频序列，建立目标的位置与大小序列；
对检测目标进行跟踪，绘制出目标运动轨迹，预测目标下一步运动，对区域入侵做出预警；
目标跟踪算法流程如下：
获取目标输入；
运动模式：根据输入的目标框产生众多候选样本。常用的有两种方法：粒子滤波（Particle Filter）和滑动窗口（Sliding Window）。粒子滤波是一种使用蒙特卡罗方法的递归滤波器。而滑动窗口是一种穷举搜索方法；
特征提取：提取这些候选框的特征。常用的特征分为手工设计的特征（Hand-crafted feature）和深度特征（Deep feature）。常用的手工设计的特征有灰度特征（Gray），方向梯度直方图（HOG），哈尔特征（Haar-like），尺度不变特征（SIFT）等。深度特征是通过大量的训练样本学习出来的特征，它比手工设计的特征更具有代表性。因此，利用深度特征的跟踪方法通常很轻松就能获得一个不错的效果；
观测模型：这是跟踪方法的重点，用于对众多候选样本进行评分，可以分为生成式模型（Generative Model）和判别式模型（Discriminative Model）. 生成式模型的过程可以视为模板匹配。判别式模型通过训练一个分类器去区分目标与背景，这是当前目标跟踪中的主流方法，可以利用逻辑回归，岭回归，支持向量机，多示例学习，相关滤波等机器学习方法实现。
预测集成：在诸多候选框中选取评分最好的，或是利用所有的预测加权平均得到最终的预测输出。
其主要应用就是基于人员\车辆的目标检测，对检测目标进行跟踪，可以绘制出目标运动轨迹，并预测其下一步运动，进而对区域入侵做出预警。
在一个实施例中，所述预测目标运动趋势对区域入侵做出预警，包括：获取目标输入；
运动模式获取：根据输入的目标框产生候选样本框；
提取所述候选样本框的特征；
利用观测模型对所述候选样本框进行评分；
在所述候选样本框中选取评分最高的，或是利用所有的预测加权平均得到最终的预测输出。
如图6所示，在一个实施例中，图像增强的任务是对退化的某些图像特征，如边缘、轮廓、对比度等进行处理，以改善图像的视觉效果，提高图像的清晰度，或是突出图像中的某些“有用”信息，压缩其他“无用”信息。
在一个实施例中，所述对目标图像帧进行图像增强，包括：
将传统频域法与MSR-net结合，将原图像分解为低频成分和高频成分；
利用MSR-net对低频成分和高频成分分别进行增强；
将增强后的低频和高频成分融合，输出结果。
在一个实施例中，所述对目标图像帧进行图像增强，还包括：通过模拟天气变化、亮度变换以及添加噪声等方式对数据集进行扩充，在主干网络中增加自注意力机制；
采用多尺度领域自适应网络，对提取到的特征进行对抗训练；
增强整体模型对不同天气、不同场景的泛化能力。
在一个实施例中，所述对增强后的目标图像进行计算机视觉识别，包括：基于CNN模型，利用卷积神经网络 CNN算法来定量提取图像中的人体姿态特征；通过完整上下文语义类描述每个节点的特征，直接反映当前人体姿势的感知。
如图7所示，本发明实施例还提供一种粮库AI视频监管分析系统，系统采用C/S/D架构，包括：客户端、服务端、数据端，所述客户端是为AI-BOX,用于存储运行粮库AI视频监管分析算法，对粮库场景视频数据进行实时监控与分析；
所述客户端数量为1路或多路；
所述服务端统合客户端上传的视频与图片数据，对是否发生异动与安全告警事件进行判定，并将判定结果反馈给客户端；
所述数据端包括：数据采集模块和数据存储模块，所述数据采集模块对设置于粮库公共管廊、公共区域监控和遥测设备采集的数据通过协议转换和边缘计算进行数据采集和配置处理，所述数据存储模块，用于视频数据、网络模型数据和系统文件数据的存储与管理；
在一个实施例中，数据端由数据采集模块与数据存储模块构成。数据采集模块对粮库内外及公共管廊、公共区域的监测监控设备与遥测设备等进行智能化改造，通过协议转换、边缘计算等构建精准、实时、高效的安全与应急数据采集与分析体系，接入、转换、预处理、存储、分析数据，配置边缘网关等设备合理布置算力和模型，实时获知粮库内外所有物联网设备的运行状况和环境动态变化，就近提供边缘智能服务，掌握安全态势。
数据存储模块主要负责视频数据、网络模型数据和系统文件数据的存储与管理。针对视频数据对象的格式及特征，构建结构化的数据组织方式。视频图像信息数据库负责提供数据汇聚接入、数据处理、数据资源存储、数据服务、数据联级、数据开放能力等，该数据库是平台最核心的视频数据资源所在。
所述客户端、服务端、数据端均嵌入网络层中，所述网络层通过通信协议在近服务端、客户端和数据端应用，以地理空间为参考系，建立增强基础网络，应用 IPv6通信协议，实现系统海量视频数据的采集、传输、分析。
这一架构体系中嵌入网络层，形成一个开放的平台应用框架。满足可靠、集成、兼容、可扩展、可维护、安全等性能要求，支撑粮食存储的信息化数字化应用需求。该系统做到了前端数据与后端服务器分析的实时互联互通，并对所有业务需求进行平台化管理。该系统充分利用摄像头、传感器等物联网设备提供的大量数据来训练深度学习网络，AI-BOX内置训练好的网络算法模型对当前场景进行实时监控与分析，后端服务器统筹分析各路AI-BOX的处理结果进行平台化管理，能够快速准确地实现粮库场景中的各种业务，如粮面异动、仓门异动等异常告警业务，人员跌倒、聚集、吸烟、离岗、安全帽佩戴等目标检测业务，除雾、除雨、增光等图像增强业务。
图8示出了本发明实施例提供的一种粮库AI视频监管分析系统的系统硬件架构示意图，构成了“高内聚低耦合”的拓扑结构，在此结构之下视频分析模块和管理平台协同工作却又互不干扰，形成了一套以风险评估、违规告警、应急处理和上传存档四个环节为主体的监管体系。风险评估环节主要针对粮库中可能存在的风险进行评估，如火灾、虫害、人员违规等；一旦出现风险和违规行为，就会向上层用户发送违规告警信号，根据危险等级和用户权限还能将信息直达到库区甚至分区领导处，自动启动应急处理预案，安排相应人员前往事发地点解决问题活排除隐患，最后将整个流程和处理结果记录并存档。
优选地，所述AI-BOX的系统架构包括：基础设施层、学习框架层、算法模型层和计算机视觉技术层；
所述基础设施层采用CPU或GPU或云计算，基于cuda框架开发；
所述学习框架层基于Opencv、Dlib、TensorFlow和PyTorch开发；
所述算法模型层包括：目标检测算法模型、目标跟踪算法模型、图像增强算法模型、人体姿势识别算法模型；所述目标检测算法模型基于YOLOv5的轻量化模型；所述目标跟踪算法模型基于Fast R-CNN模型；所述图像增强算法模型基于MSR-net模型；所述人体姿势识别算法模型基于CNN模型；
所述计算机视觉技术层执行人员识别、车辆识别、吸烟识别、安全帽识别、烟火识别、聚集识别、离岗识别、仓门异动识别、粮面异动识别、区域入侵识别、人体姿势识别和图像增强技术、霉变虫害识别。
在一个实施例中， 所述服务端架构分为：数据操作层、业务逻辑层、表现层；
所述表现层用于为客户端提供注册接口、算法服务接口以及业务服务接口；
所述业务逻辑层用于实现风险检测、违规告警、异动告警、应急处理；
所述数据操作层提供数据库方位接口、系统文件、文本文件、视频文件以及二进制文件。
所述服务端负责统合至多32路客户端上传的视频与图片数据，对是否发生异动与安全告警事件进行判定，并将判定结果反馈给对应客户端，封装所有计算机视觉技术并向粮库智能化管控平台提供相应接口。
服务器端依托前端的数据流、信息流、业务流，本着“高内聚低耦合”的理念，分为业务逻辑层(service)，数据访问层(dao)和表现层(web)这三层。
系统主要功能和业务逻辑都在业务逻辑层进行处理，业务逻辑层是服务端系统架构中体现核心价值的部分，它处于数据访问层与表示层中间，起到了数据交换中承上启下的作用。对于数据访问层而言，它是调用者；对于表示层而言，它却是被调用者。
数据访问层也称为是持久层，其功能主业务逻辑层的主要任务是针对具体的问题的操作，也可以理解成对数据层的操作，对数据业务逻辑处理，提供仓门和粮面异动告警、人员违规操作告警、风险监测、安全监管、应急处置等方面的业务支撑。数据访问层是对数据的操作，而不是数据库，任务是为业务逻辑层或表示层提供数据。要是负责数据库的访问接口，可以访问数据库系统、二进制文件、文本文档或是XML文档。
表示层主要表现为WEB或者应用软件的方式，位于最外层（最上层），最接近用户。用于显示数据和接收用户输入的数据，为用户提供一种交互式操作的界面，为客户端提供应用程序的访问和各种算法和业务的接口，即将AI-BOX提供的所有计算机视觉技术进行封装，并提供相应接口与粮库智能化管控平台进行对接。
服务端的作用相当于是在客户端与数据库之间加入了一个“中间层”，也叫组件层。通常情况下，客户端不直接与数据库进行交互，而是与中间层建立连接，再经由中间层与数据库进行交互。
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种粮库视频监管分析方法，其特征在于，包括：
获取粮库场景视频数据；
对目标图像帧进行图像增强；
对增强后的目标图像进行计算机视觉识别；
基于视频数据进行目标检测获得检测目标，所述检测目标可以是人和/或场景物体；
对检测目标进行目标跟踪绘制目标运动轨迹并预测目标运动趋势对区域入侵做出预警。
2.如权利要求1所述的一种粮库视频监管分析方法，其特征在于，所述基于视频数据进行目标检测获得检测目标，包括：
在目标检测阶段，将网络中的标准卷积结构替换成深度可分离卷积结构；
所述深度可分离卷积就是将一个标准卷积结构拆分为：一个深度卷积和一个逐点卷积；
所述深度卷积将卷积核拆分成为单通道形式，在不改变输入特征图像的深度的情况下，对每一通道进行卷积操作；
所述逐点卷积是1×1卷积，对特征图进行升维和降维，降低模型的参数量提高目标的检测速率。
3.如权利要求2所述的一种粮库视频监管分析方法，其特征在于，所述对检测目标进行目标跟踪，包括：
获取粮库场景连续视频序列，建立目标的位置与大小序列；
对检测目标进行跟踪，绘制出目标运动轨迹，预测目标下一步运动，对区域入侵做出预警；
对与目标外观信息相关联的特征提取网络进行改进，构建多通道特征网络结构，将不同尺度的特征图相结合，增强图像中目标特征的表达能力，减小遮挡前后目标外观特征的距离偏差，能够在人员移动的过程中剔除环境干扰。
4.如权利要求3所述的一种粮库视频监管分析方法，其特征在于，所述预测目标运动趋势对区域入侵做出预警，包括：
获取目标输入；
运动模式获取：根据输入的目标框产生候选样本框；
提取所述候选样本框的特征；
利用观测模型对所述候选样本框进行评分；
在所述候选样本框中选取评分最高的，或是利用所有的预测加权平均得到最终的预测输出。
5.如权利要求1所述的一种粮库视频监管分析方法，其特征在于，所述对目标图像帧进行图像增强，包括：
将传统频域法与MSR-net结合，将原图像分解为低频成分和高频成分；
利用MSR-net对低频成分和高频成分分别进行增强；
将增强后的低频和高频成分融合，输出结果。
6.如权利要求5所述的一种粮库视频监管分析方法，其特征在于，所述对目标图像帧进行图像增强，还包括：通过模拟天气变化、亮度变换以及添加噪声等方式对数据集进行扩充，在主干网络中增加自注意力机制；
采用多尺度领域自适应网络，对提取到的特征进行对抗训练；
增强整体模型对不同天气、不同场景的泛化能力。
7.如权利要求1所述的一种粮库视频监管分析方法，其特征在于，所述对增强后的目标图像进行计算机视觉识别，包括：基于CNN模型，利用卷积神经网络 CNN算法来定量提取图像中的人体姿态特征；通过完整上下文语义类描述每个节点的特征，直接反映当前人体姿势的感知。
8.一种粮库AI视频监管分析系统，系统采用C/S/D架构，包括：客户端、服务端、数据端，其特征在于，所述客户端是为AI-BOX,用于存储、运行如权利要求1-7任一所述的粮库AI视频监管分析方法，对粮库场景视频数据进行实时监控与分析；
所述客户端数量为1路或多路；
所述服务端统合客户端上传的视频与图片数据，对是否发生异动与安全告警事件进行判定，并将判定结果反馈给客户端；
所述数据端包括：数据采集模块和数据存储模块，所述数据采集模块对设置于粮库公共管廊、公共区域监控和遥测设备采集的数据通过协议转换和边缘计算进行数据采集和配置处理，所述数据存储模块，用于视频数据、网络模型数据和系统文件数据的存储与管理；
所述客户端、服务端、数据端均嵌入网络层中，所述网络层通过通信协议在近服务端、客户端和数据端应用，以地理空间为参考系，建立增强基础网络，应用 IPv6通信协议，实现系统海量视频数据的采集、传输、分析。
9.如权利要求8所述的一种粮库AI视频监管分析系统，其特征在于，所述AI-BOX的系统架构包括：基础设施层、学习框架层、算法模型层和计算机视觉技术层；
所述基础设施层采用CPU或GPU或云计算，基于cuda框架开发；
所述学习框架层基于Opencv、Dlib、TensorFlow和PyTorch开发；
所述算法模型层包括：目标检测算法模型、目标跟踪算法模型、图像增强算法模型、人体姿势识别算法模型；所述目标检测算法模型基于YOLOv5的轻量化模型；所述目标跟踪算法模型基于Fast R-CNN模型；所述图像增强算法模型基于MSR-net模型；所述人体姿势识别算法模型基于CNN模型；
所述计算机视觉技术层执行人员识别、车辆识别、吸烟识别、安全帽识别、烟火识别、聚集识别、离岗识别、仓门异动识别、粮面异动识别、区域入侵识别、人体姿势识别和图像增强技术、虫害霉变识别。
10.如权利要求8所述的一种粮库AI视频监管分析系统，其特征在于， 所述服务器端架构分为：数据操作层、业务逻辑层、表现层；
所述表现层用于为客户端提供注册接口、算法服务接口以及业务服务接口；
所述业务逻辑层用于实现风险检测、违规告警、异动告警、应急处理；
所述数据操作层提供数据库方位接口、系统文件、文本文件、视频文件以及二进制文件。
CN202310475460.9A 2023-04-28 2023-04-28 一种粮库ai视频监管分析方法及系统 Pending CN116416281A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310475460.9A CN116416281A (zh) 2023-04-28 2023-04-28 一种粮库ai视频监管分析方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310475460.9A CN116416281A (zh) 2023-04-28 2023-04-28 一种粮库ai视频监管分析方法及系统

Publications (1)

Publication Number Publication Date
CN116416281A true CN116416281A (zh) 2023-07-11

Family

ID=87051269

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310475460.9A Pending CN116416281A (zh) 2023-04-28 2023-04-28 一种粮库ai视频监管分析方法及系统

Country Status (1)

Country Link
CN (1) CN116416281A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576632A (zh) * 2024-01-16 2024-02-20 山东金桥保安器材有限公司 基于多模态ai大模型的电网监控火灾预警系统及方法
CN117649736A (zh) * 2024-01-29 2024-03-05 深圳市联之有物智能科技有限公司 一种基于ai视频管理平台的视频管理方法及其系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933436A (zh) * 2014-03-19 2015-09-23 通用汽车环球科技运作有限责任公司 具有动态完整性评分的基于视觉的多摄像头工厂监测
US20190149372A1 (en) * 2017-11-14 2019-05-16 Samsung Electronics Co., Ltd. Baud rate modulating magnetic stripe data transmitter, system, and method
CN112836639A (zh) * 2021-02-03 2021-05-25 江南大学 基于改进YOLOv3模型的行人多目标跟踪视频识别方法
WO2022205106A1 (zh) * 2021-03-31 2022-10-06 浙江吉利控股集团有限公司 一种车辆预警方法、装置、设备及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104933436A (zh) * 2014-03-19 2015-09-23 通用汽车环球科技运作有限责任公司 具有动态完整性评分的基于视觉的多摄像头工厂监测
US20190149372A1 (en) * 2017-11-14 2019-05-16 Samsung Electronics Co., Ltd. Baud rate modulating magnetic stripe data transmitter, system, and method
CN112836639A (zh) * 2021-02-03 2021-05-25 江南大学 基于改进YOLOv3模型的行人多目标跟踪视频识别方法
WO2022205106A1 (zh) * 2021-03-31 2022-10-06 浙江吉利控股集团有限公司 一种车辆预警方法、装置、设备及存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117576632A (zh) * 2024-01-16 2024-02-20 山东金桥保安器材有限公司 基于多模态ai大模型的电网监控火灾预警系统及方法
CN117576632B (zh) * 2024-01-16 2024-05-03 山东金桥保安器材有限公司 基于多模态ai大模型的电网监控火灾预警系统及方法
CN117649736A (zh) * 2024-01-29 2024-03-05 深圳市联之有物智能科技有限公司 一种基于ai视频管理平台的视频管理方法及其系统

Similar Documents

Publication Publication Date Title
JP7018462B2 (ja) 目標対象物の監視方法、装置及びシステム
CN110428522B (zh) 一种智慧新城的智能安防系统
CN109154976B (zh) 通过机器学习训练对象分类器的系统和方法
CN116416281A (zh) 一种粮库ai视频监管分析方法及系统
CN113673459B (zh) 基于视频的生产施工场所安全巡检方法、系统、设备
US8614744B2 (en) Area monitoring using prototypical tracks
CN112686090B (zh) 一种公交车内异常行为智能监控系统
US9412025B2 (en) Systems and methods to classify moving airplanes in airports
Dozza et al. Recognising safety critical events: Can automatic video processing improve naturalistic data analyses?
CN110619277A (zh) 一种多社区智慧布控方法以及系统
CN110222596B (zh) 一种基于视觉的驾驶员行为分析防作弊方法
CN109377713A (zh) 一种火灾预警方法及系统
Onyema et al. Remote monitoring system using slow-fast deep convolution neural network model for identifying anti-social activities in surveillance applications
CN113850229A (zh) 基于视频数据机器学习的人员异常行为预警方法、系统及计算机设备
KR20200052418A (ko) 딥러닝 기반의 자동 폭력 감지 시스템
KR20200123537A (ko) 딥러닝 및 데이터 결합을 이용한 싱크홀 탐지방법 및 이를 이용한 싱크홀 탐지시스템
CN112580470A (zh) 城市视觉感知方法、装置、电子设备和存储介质
CN111652128A (zh) 一种高空电力作业安全监测方法、系统和存储装置
CN105095891A (zh) 一种人脸捕捉的方法，装置及系统
CN111191498A (zh) 行为识别方法和相关产品
KR101547255B1 (ko) 지능형 감시 시스템의 객체기반 검색방법
CN114067396A (zh) 基于视觉学习的居配工程现场试验数字化管理系统及方法
CN111832450B (zh) 基于图像识别的持刀检测方法
CN115083229B (zh) 基于ai视觉识别的飞行训练设备智能识别与警示系统
Jotheeswaran et al. Hybrid video surveillance systems using P300 based computational cognitive threat signature library

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination