CN116866520B - 一种基于ai的单轨吊安全运行实时监控管理系统 - Google Patents

一种基于ai的单轨吊安全运行实时监控管理系统 Download PDF

Info

Publication number
CN116866520B
CN116866520B CN202310816261.XA CN202310816261A CN116866520B CN 116866520 B CN116866520 B CN 116866520B CN 202310816261 A CN202310816261 A CN 202310816261A CN 116866520 B CN116866520 B CN 116866520B
Authority
CN
China
Prior art keywords
information
value
real
monorail crane
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202310816261.XA
Other languages
English (en)
Other versions
CN116866520A (zh
Inventor
孙德宝
陈磊
周欧阳
雷银
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Dicheng Intelligent Technology Co ltd
Original Assignee
Shanghai Dicheng Intelligent Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Dicheng Intelligent Technology Co ltd filed Critical Shanghai Dicheng Intelligent Technology Co ltd
Priority to CN202310816261.XA priority Critical patent/CN116866520B/zh
Publication of CN116866520A publication Critical patent/CN116866520A/zh
Application granted granted Critical
Publication of CN116866520B publication Critical patent/CN116866520B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Emergency Alarm Devices (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供一种基于AI的单轨吊安全运行实时监控管理系统，属于物联网技术领域，包括监控端、地面控制中心和执行端；所述监控端用于采集单轨吊机车的运行信息和矿下的环境热着信息并发送到地面控制中心；所述地面控制中心用于接收单轨吊机车的运行信息以及矿下的环境特征信息。本本发明通过实时监控单轨吊机车的运行信息和矿下环境特征信息，形成与真实物理环境同步的单轨吊机车运行虚拟环境，实时推演各类事故发生的风险概率，能够及时发现异常情况和潜在的危险因素，根据风险等级选择预警方式，发出预警指令，从而提高单轨吊机车的安全性。

Description

一种基于AI的单轨吊安全运行实时监控管理系统
技术领域
本发明属于物联网技术领域，具体为一种基于AI的单轨吊安全运行实时监控管理系统。
背景技术
煤炭行业作为国家支柱产业，煤矿辅助运输对于煤矿的发展也显得更为重要。单轨吊机车作为行驶于悬吊单轨系统的辅助运输设备，具有机动性强、运行速度快、载重量大等特点。由于煤矿井下运输巷道内环境条件恶劣，在长期运行中会经常发生各类事故,存在极大事故隐患，传统的监控方式浪费人力、效率低下,并且恶劣条件对人身安全存在威胁。
在现有技术中，虽可以对单轨吊机车的运行过程中进行监控管理，但仍具有一些缺陷，传统的AI异物、人员行为识别，采用深度学习算法，进行异物素材、行为违规素材等训练学习，从而获取精度更高的识别算法，往往更注重检测精度，不能满足实时检测的需求，无法及时掌握单轨吊机车的实时状态和反馈处理，可能会导致安全事故的发生。针对这种情况，我们提出一种基于AI的单轨吊安全运行实时监控管理系统，符合煤矿智能化、无人化的发展方向，具有广阔的技术前瞻性，来解决上述中遇到的问题。
发明内容
针对现有技术存在的不足，本发明提供一种基于AI的单轨吊安全运行实时监控管理系统，以解决上述背景技术中提出的问题。
本发明的目的可以通过以下技术方案实现：包括监控端、地面控制中心和执行端；
所述监控端用于采集单轨吊机车的运行信息和矿下的环境热着信息并发送到地面控制中心；运行信息包括位置信息、速度信息、加速度信息、倾斜角度信息、工作状态信息、电池电量信息、温度信息和故障代码信息；
所述地面控制中心用于接收单轨吊机车的运行信息以及矿下的环境特征信息；将运行信息中的任意一项作为神经网络的卷积层输入，并为每个信息构建相应的神经网络，将所有的神经网络连接以构建神经网络模型；对神经网络模型进行训练、评估、调优处理得到目标检测模型；获取环境特征信息并进行数据处理，利用计算机视觉和图像处理技术将环境特征信息转化为虚拟环境可用的格式，添加相应的物理特性，据此构建虚拟环境模型；将目标检测模型输入到虚拟环境模型中以得到相应的模拟值；将模拟值与设定的预设阈值进行匹配，以得到对应的实时结果；实时结果包括正常、异常、损坏及危险结果；获取实时结果的相关信息，对实时结果的相关信息进行预警分析，以得到风险等级组；按照风险等级组生成对应风险等级的指令并发送到执行端；
所述执行端用于接收对应指令以执行对应操作；
所述通讯模块用于地面控制中心、监控端与执行端之间的数据通讯。
作为本发明的一种优选实施方式，所述监控端包括有多机位摄像头、视觉提取模块、视觉融合模块；
所述多机位摄像头设置在矿下环境中；用于以不同的角度监视单轨吊机车的运动和矿下的环境，并同时录制视频数据以生成对应的视频流；所述视觉提取模块用于对摄像头的视频流进行图像处理，具体为：
获取每个摄像头的视频流，且按照采集时刻逐帧分解为摄像头对应的监测图像，利用自适应曝光算法调整摄像头对应的监测图像以得到一次调整图像；使用图像增强和去噪算法对一次调整图像进行清晰度调控处理，提取一次调整图像中的对比度、亮度和色彩饱和度并标记为S1、S2和S3；利用公式TX＝f(jS1*a1,kS2*a2,lS3*a3)/(a1+a2+a3)，以得到每个变量的图像值；其中jS1表示对比度变量，kS2表示亮度变量，lS3表示色彩饱和度变量，即j、k、l为可调节的参数，a1、a2和a3表示对比度、亮度、色彩饱和度对应的权重因子；对图像值进行筛选，选取最大指定数量的图像值并提取对应的对比度变量、亮度变量和色彩饱和度变量的数值，对其进行均值计算得到调优的对比度变量、亮度变量和色彩饱和度变量；将调优的对比度变量、亮度变量和色彩饱和度变量应用在一次调整图像上以得到二次调整图像；利用去噪算法将二次调整图像进行处理得到再次调整图像；将再次调整图像按照对应采集时刻进行排列合并以得到调优视频；将调优视频发送到地面控制中心并存储；
作为本发明的一种优选实施方式，所述视觉融合模块用于对摄像头的调优视频进行数据融合处理，具体为：
获取摄像头的调优视频和拍摄角度信息，从调优视频中提取静态特征和动态特征；获取所有摄像头的拍摄角度分别与对应的静态特征和动态特征，使用计算机视觉中的图像配准技术将摄像头的拍摄角度下的任意一项特征进行匹配和对齐，以得到特征对应的匹配特征；对所有的匹配特征进行加权平均计算，以得到单轨吊机车的精准定位结果；将单轨吊机车的精准定位结果、静态特征和动态特征标注为运行信息。
作为本发明的一种优选实施方式，所述地面控制中心包括服务器、模型处理模块、虚拟环境模块；
所述服务器用于对单轨吊机车的运行信息、矿下的环境信息进行存储；
所述模型处理模块用于获取单轨吊机车的运行信息，将运行信息中的任意一项作为神经网络的卷积层输入，并为每个信息构建相应的神经网络，将所有的神经网络连接以构建神经网络模型；对神经网络模型进行训练、评估、调优处理，以得到目标检测模型；
所述虚拟环境模块用于获取矿下的环境特征信息，对环境特征信息进行数据处理，利用计算机视觉和图像处理技术将环境信息转化为虚拟环境可用的格式，并添加相应的物理特性，据此构建虚拟环境模型。
作为本发明的一种优选实施方式，所述从调优视频中提取静态特征和动态特征，具体方法为：
利用图像处理和计算机视觉技术提取静态特征，静态特征包括边缘特征、角点特征、尺寸、形状、颜色以及光线变化、噪声和动态物体干扰；利用运动估计算法或轨迹分析算法提取动态特征，动态特征包括运动轨迹、速度与加速度。
所述激光雷达用于对矿下进行三维点云扫描以获得矿下环境中物体和地形的几何形状信息；激光雷达通过向周围发射激光束并测量其返回时间和强度，捕捉激光雷达到环境中的物体表面点的位置和距离，据此根据激光雷达的位置生成对应的三维激光点云数据；对三维激光点云数据进行分析以得到激光扫描特征；所述超声波传感器用于进行超声波扫描以获得矿下环境中物体和地形的几何形状信息；超声波传感器通过向周围发射超声波并测量其返回时间和强度，捕捉超声波传感器到环境中的物体表面点的位置和距离，据此根据激光雷达的位置生成对应的三维超声点云数据；对三维超声点云数据进行分析以得到超声扫描特征；
所述多模融合模块通过获取激光特征、超声特征和静态特征并进行匹配，将匹配的特征信息进行权重加权平均以得到环境特征信息。
作为本发明的一种优选实施方式，所述地面控制中心还包括预警模块；
所述预警模块用于获取实时结果的相关信息，对实时结果的相关信息进行预警分析，以得到风险等级指令组；将风险等级指令组发送到执行端，执行端在接收对应的风险等级指令以执行对应操作；风险等级指令组包括一级风险指令、二级风险指令、三级风险指令。
作为本发明的一种优选实施方式，所述对实时结果的相关信息进行预警分析，以得到风险等级指令组，具体如下：
获取当前时刻之前预设时间内异常结果对应的模拟值并标记为异常值，将异常值按照采集时刻进行排序，由异常值与对应采集时刻构建异常平面坐标系，将异常值在异常平面坐标系中的点标记为异常点，连接相邻的异常点得到连接线；计算连接线的长度、斜率，选取预设阈值范围内连接线的长度、斜率得到异长值、异常斜值；若异常斜值为正值，则标记为正斜值，将正斜值与对应的异常斜值进行计算得到正异值，若异常斜值为负值，则标记为负斜值，将负斜值与对应的异常斜值进行计算得到负异值；将所有的正异值进行求和得到正总值，将所有的负异值的绝对值进行求和得到负总值；对正总值、负总值进行计算得到预警值；将预警值与预设的风险等级指令组进行匹配，以得到对应的风险等级指令。
作为本发明的一种优选实施方式，所述服务器还包括Web接口模块；所述Web接口模块用于其它应用程序、平台或系统与服务器进行交互并获取服务器内存储的信息
与现有技术相比，本发明的有益效果：
1、本发明通过实时监控单轨吊机车的运行信息和矿下环境特征信息，形成与真实物理环境同步的单轨吊机车运行虚拟环境，实时推演各类事故发生的风险概率，能够及时发现异常情况和潜在的危险因素，根据风险等级选择预警方式，发出预警指令，从而提高单轨吊机车的安全性。
2、本发明利用多机位摄像头、激光雷达和超声波传感器等设备信息进行多模融合处理，可以实现对单轨吊的精准定位，提高操作的准确性和效率。
3、本发明通过预警模块根据实时监测结果对异常情况进行预警分析，并生成相应的风险等级指令，辅助管理人员及时采取措施，降低事故风险。
基于上述，本发明可以提高单轨吊的安全性和运行效率，降低事故风险，提供实时监控和预警分析功能，为相关管理人员提供准确的决策依据。
附图说明
为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。
图1是本发明一种基于AI的单轨吊安全运行实时监控管理系统的原理框图。
图2是本发明一种基于AI的单轨吊安全运行实时监控管理系统的监控端的原理框图。
图3是本发明一种基于AI的单轨吊安全运行实时监控管理系统的监控端的原理框图。
具体实施方式
下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
应当理解，本披露的说明书和权利要求书中使用的术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
还应当理解，在此本披露说明书中所使用的术语仅仅是出于描述特定实施例的目的，而并不意在限定本披露。如在本披露说明书和权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。还应当进一步理解，在本披露说明书和权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
请参阅图1-图3所示，一种基于AI的单轨吊安全运行实时监控管理系统，包括监控端、地面控制中心和执行端；
监控端用于采集单轨吊机车的运行信息和矿下的环境热着信息并发送到地面控制中心；运行信息包括位置信息、速度信息、加速度信息、倾斜角度信息、工作状态信息、电池电量信息、温度信息和故障代码信息；
地面控制中心用于接收单轨吊机车的运行信息以及矿下的环境特征信息；将运行信息中的任意一项作为神经网络的卷积层输入，并为每个信息构建相应的神经网络，将所有的神经网络连接以构建神经网络模型；对神经网络模型进行训练、评估、调优处理得到目标检测模型；获取环境特征信息并进行数据处理，利用计算机视觉和图像处理技术将环境特征信息转化为虚拟环境可用的格式，添加相应的物理特性，据此构建虚拟环境模型；将目标检测模型输入到虚拟环境模型中以得到相应的模拟值；将模拟值与设定的预设阈值进行匹配，以得到对应的实时结果；实时结果包括正常、异常、损坏及危险结果；获取实时结果的相关信息，对实时结果的相关信息进行预警分析，以得到风险等级组；按照风险等级组生成对应风险等级的指令并发送到执行端；
执行端用于接收对应指令以执行对应操作；
通讯模块用于地面控制中心、监控端与执行端之间的数据通讯。
监控端包括有多机位摄像头、视觉提取模块、视觉融合模块；
多机位摄像头设置在矿下环境中；用于以不同的角度监视单轨吊机车的运动和矿下的环境，并同时录制视频数据以生成对应的视频流；视觉提取模块用于对摄像头的视频流进行图像处理，具体为：
获取每个摄像头的视频流，且按照采集时刻逐帧分解为摄像头对应的监测图像，利用自适应曝光算法调整摄像头对应的监测图像以得到一次调整图像；使用图像增强和去噪算法对一次调整图像进行清晰度调控处理，提取一次调整图像中的对比度、亮度和色彩饱和度并标记为S1、S2和S3；利用公式TX＝f(jS1*a1,kS2*a2,lS3*a3)/(a1+a2+a3)，以得到每个变量的图像值；其中jS1表示对比度变量，kS2表示亮度变量，lS3表示色彩饱和度变量，即j、k、l为可调节的参数，a1、a2和a3表示对比度、亮度、色彩饱和度对应的权重因子；对图像值进行筛选，选取最大指定数量的图像值并提取对应的对比度变量、亮度变量和色彩饱和度变量的数值，对其进行均值计算得到调优的对比度变量、亮度变量和色彩饱和度变量；将调优的对比度变量、亮度变量和色彩饱和度变量应用在一次调整图像上以得到二次调整图像；利用去噪算法将二次调整图像进行处理得到再次调整图像；将再次调整图像按照对应采集时刻进行排列合并以得到调优视频；将调优视频发送到地面控制中心并存储；
视觉融合模块用于对摄像头的调优视频进行数据融合处理，具体为：
获取摄像头的调优视频和拍摄角度信息，从调优视频中提取静态特征和动态特征；获取所有摄像头的拍摄角度分别与对应的静态特征和动态特征，使用计算机视觉中的图像配准技术将摄像头的拍摄角度下的任意一项特征进行匹配和对齐，以得到特征对应的匹配特征；对所有的匹配特征进行加权平均计算，以得到单轨吊机车的精准定位结果；将单轨吊机车的精准定位结果、静态特征和动态特征标注为运行信息。
需要说明的是，通过监控端对单轨吊机车的运行进行实时监测、录制和存储视频数据，并通过图像处理和特征融合等方法提取和分析相关信息，以提供精准的定位结果和运行监控，提高生产安全性、提升工作效率及减少人为错误。
在本申请中，地面控制中心包括服务器、模型处理模块、虚拟环境模块；
服务器用于对单轨吊机车的运行信息、矿下的环境信息进行存储；
模型处理模块用于获取单轨吊机车的运行信息，将运行信息中的任意一项作为神经网络的卷积层输入，并为每个信息构建相应的神经网络，将所有的神经网络连接以构建神经网络模型；对神经网络模型进行训练、评估、调优处理，以得到目标检测模型；
虚拟环境模块用于获取矿下的环境特征信息，对环境特征信息进行数据处理，利用计算机视觉和图像处理技术将环境信息转化为虚拟环境可用的格式，并添加相应的物理特性，物理特性包括重力、惯性、碰撞检测与响应、摩擦力、液体模拟、空气阻力、环境光照和阴影、声音效果，据此构建虚拟环境模型。
在本申请中，从调优视频中提取静态特征和动态特征，具体方法为：
利用图像处理和计算机视觉技术提取静态特征，静态特征包括边缘特征、角点特征、尺寸、形状、颜色以及光线变化、噪声和动态物体干扰；利用运动估计算法或轨迹分析算法提取动态特征，动态特征包括运动轨迹、速度与加速度。
激光雷达用于对矿下进行三维点云扫描以获得矿下环境中物体和地形的几何形状信息；激光雷达通过向周围发射激光束并测量其返回时间和强度，捕捉激光雷达到环境中的物体表面点的位置和距离，据此根据激光雷达的位置生成对应的三维激光点云数据；对三维激光点云数据进行分析以得到激光扫描特征；超声波传感器用于进行超声波扫描以获得矿下环境中物体和地形的几何形状信息；超声波传感器通过向周围发射超声波并测量其返回时间和强度，捕捉超声波传感器到环境中的物体表面点的位置和距离，据此根据激光雷达的位置生成对应的三维超声点云数据；对三维超声点云数据进行分析以得到超声扫描特征；
多模融合模块通过获取激光特征、超声特征和静态特征并进行匹配，将匹配的特征信息进行权重加权平均以得到环境特征信息。
需要说明的是，通过多模融合模块将不同传感器获取的特征信息进行融合，可以减少单一传感器带来的误差和缺失，提高系统的鲁棒性和可靠性。
在本申请中，地面控制中心还包括预警模块；
预警模块用于获取实时结果的相关信息，对实时结果的相关信息进行预警分析，以得到风险等级指令组；将风险等级指令组发送到执行端，执行端在接收对应的风险等级指令以执行对应操作；风险等级指令组包括一级风险指令、二级风险指令、三级风险指令；
需要说明的是，在接收到一级风险指令时，采用提示的方式进行预警，提醒操作人员注意潜在风险，例如弹出窗口或警示灯；在接收到二级风险指令时，采用警示的方式进行预警，提醒操作人员注意风险，如声音或视觉警报；在接收到三级风险指令时，表明存在严重的风险或异常情况，采用声光报警和紧急制动，促使操作人员迅速采取行动，以确保工作场所的安全。
在本申请中，对实时结果的相关信息进行预警分析，以得到风险等级指令组，具体如下：
获取当前时刻之前预设时间内异常结果对应的模拟值并标记为异常值，将异常值按照采集时刻进行排序，由异常值与对应采集时刻构建异常平面坐标系，将异常值在异常平面坐标系中的点标记为异常点，连接相邻的异常点得到连接线；计算连接线的长度、斜率，选取预设阈值范围内连接线的长度、斜率得到异长值、异常斜值；若异常斜值为正值，则标记为正斜值，将正斜值与对应的异常斜值进行计算得到正异值，若异常斜值为负值，则标记为负斜值，将负斜值与对应的异常斜值进行计算得到负异值；将所有的正异值进行求和得到正总值，将所有的负异值的绝对值进行求和得到负总值；对正总值、负总值进行计算得到预警值；将预警值与预设的风险等级指令组进行匹配，以得到对应的风险等级指令。
在本申请中，服务器还包括Web接口模块；Web接口模块用于其它应用程序、平台或系统与服务器进行交互并获取服务器内存储的信息。
需要说明的是，系统通过服务器和Web接口模块，可以将采集到的数据进行存储，方便后续的数据分析和管理，并可以与其他应用程序、平台或系统进行交互，实现信息共享和协同工作。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

Claims (6)

1.一种基于AI的单轨吊安全运行实时监控管理系统，其特征在于，包括监控端、地面控制中心和执行端；
所述监控端用于采集单轨吊机车的运行信息和矿下的环境热着信息并发送到地面控制中心；运行信息包括位置信息、速度信息、加速度信息、倾斜角度信息、工作状态信息、电池电量信息、温度信息和故障代码信息；
所述地面控制中心用于接收单轨吊机车的运行信息以及矿下的环境特征信息；将运行信息中的任意一项作为神经网络的卷积层输入，并为每个信息构建相应的神经网络，将所有的神经网络连接以构建神经网络模型；对神经网络模型进行训练、评估、调优处理得到目标检测模型；获取环境特征信息并进行数据处理，利用计算机视觉和图像处理技术将环境特征信息转化为虚拟环境可用的格式，添加相应的物理特性，据此构建虚拟环境模型；将目标检测模型输入到虚拟环境模型中以得到相应的模拟值；对模拟值进行处理得到模综值，将模综值与设定的预设阈值进行匹配，以得到对应的实时结果；实时结果包括正常、异常、损坏及危险结果；设定预设的时间间隔，记录并保存相应类别的实时结果及相关信息；获取实时结果的相关信息，对实时结果的相关信息进行预警分析，以得到风险等级组；按照风险等级组生成对应风险等级的指令并发送到执行端；
所述地面控制中心还包括安全管理模块和预警模块；所述安全管理模块用于对实时结果进行管理分析，设定预设的时间间隔，记录并保存相应类别的实时结果及相关信息；对每个预设的时间间隔内的实时结果的相关信息进行数据分析，获取预设的时间间隔内的实时结果对应的模拟值，将其进行均值计算得到模均值，选取大于预设阈值的模拟值进行均值计算得到模大值，选取小于预设阈值的模拟值进行均值计算得到模小值，将模大值、模小值和模均值进行权重加权平均计算得到模综值；将模综值与设定的预设阈值进行匹配，以得到对应的实时结果；实时结果包括正常、异常、损坏及危险结果；
所述预警模块用于获取异常结果的相关信息，对异常结果的相关信息进行预警分析，获取当前时刻之前预设时间内异常结果对应的模拟值并标记为异常值，对异常值进行处理得到预警值；将预警值与预设的风险等级指令组进行匹配，以得到对应的风险等级指令；将对应的风险等级指令发送到执行端，执行端在接收对应的风险等级指令以执行对应操作；风险等级指令组包括一级风险指令、二级风险指令、三级风险指令；
所述执行端用于接收对应指令以执行对应操作；
所述通讯模块用于地面控制中心、监控端与执行端之间的数据通讯。
2.根据权利要求1所述的一种基于AI的单轨吊安全运行实时监控管理系统，其特征在于，所述监控端包括有多机位摄像头、视觉提取模块、视觉融合模块；
所述多机位摄像头设置在矿下环境中；用于以不同的角度监视单轨吊机车的运动和矿下的环境，并同时录制视频数据以生成对应的视频流；所述视觉提取模块用于对摄像头的视频流进行图像处理，以得到调优视频；将调优视频发送到地面控制中心并存储；
所述视觉融合模块用于对摄像头的调优视频进行数据融合处理，以得到单轨吊机车的精准定位结果；将单轨吊机车的精准定位结果、静态特征和动态特征标注为运行信息。
3.根据权利要求1所述的一种基于AI的单轨吊安全运行实时监控管理系统，其特征在于，所述地面控制中心包括服务器、模型处理模块、虚拟环境模块；
所述服务器用于对单轨吊机车的运行信息、矿下的环境信息进行存储；
所述模型处理模块用于获取单轨吊机车的运行信息，将运行信息中的任意一项作为神经网络的卷积层输入，并为每个信息构建相应的神经网络，将所有的神经网络连接以构建神经网络模型；对神经网络模型进行训练、评估、调优处理，以得到目标检测模型；
所述虚拟环境模块用于获取矿下的环境特征信息，对环境特征信息进行数据处理，利用计算机视觉和图像处理技术将环境信息转化为虚拟环境可用的格式，并添加相应的物理特性，据此构建虚拟环境模型。
4.根据权利要求2所述的一种基于AI的单轨吊安全运行实时监控管理系统，其特征在于，所述从调优视频中提取静态特征和动态特征，具体方法为：
利用图像处理和计算机视觉技术提取静态特征，静态特征包括边缘特征、角点特征、尺寸、形状、颜色以及光线变化、噪声和动态物体干扰；利用运动估计算法或轨迹分析算法提取动态特征，动态特征包括运动轨迹、速度与加速度。
5.根据权利要求1所述的一种基于AI的单轨吊安全运行实时监控管理系统，其特征在于，所述监控端还包括激光雷达、超声波传感器，所述地面控制中心还包括多模融合模块；
所述激光雷达用于对矿下进行三维点云扫描以获得矿下环境中物体和地形的几何形状信息；激光雷达通过向周围发射激光束并测量其返回时间和强度，捕捉激光雷达到环境中的物体表面点的位置和距离，据此根据激光雷达的位置生成对应的三维激光点云数据；对三维激光点云数据进行分析以得到激光扫描特征；所述超声波传感器用于进行超声波扫描以获得矿下环境中物体和地形的几何形状信息；超声波传感器通过向周围发射超声波并测量其返回时间和强度，捕捉超声波传感器到环境中的物体表面点的位置和距离，据此根据激光雷达的位置生成对应的三维超声点云数据；对三维超声点云数据进行分析以得到超声扫描特征；
所述多模融合模块通过获取激光特征、超声特征和静态特征并进行匹配，将匹配的特征信息进行权重加权平均以得到环境特征信息。
6.根据权利要求1所述的一种基于AI的单轨吊安全运行实时监控管理系统，其特征在于，所述服务器还包括Web接口模块；所述Web接口模块用于其它应用程序、平台或系统与服务器进行交互并获取服务器内存储的信息。
CN202310816261.XA 2023-07-05 2023-07-05 一种基于ai的单轨吊安全运行实时监控管理系统 Active CN116866520B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310816261.XA CN116866520B (zh) 2023-07-05 2023-07-05 一种基于ai的单轨吊安全运行实时监控管理系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310816261.XA CN116866520B (zh) 2023-07-05 2023-07-05 一种基于ai的单轨吊安全运行实时监控管理系统

Publications (2)

Publication Number Publication Date
CN116866520A CN116866520A (zh) 2023-10-10
CN116866520B true CN116866520B (zh) 2024-03-01

Family

ID=88231645

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310816261.XA Active CN116866520B (zh) 2023-07-05 2023-07-05 一种基于ai的单轨吊安全运行实时监控管理系统

Country Status (1)

Country Link
CN (1) CN116866520B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117566600B (zh) * 2024-01-16 2024-03-29 山东鑫鹏宇矿业装备有限公司 一种基于物联网的矿用单轨吊安全运行控制系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117857A (zh) * 2015-09-16 2015-12-02 枣庄矿业(集团)有限责任公司田陈煤矿 煤矿安全动态评估与诊断系统及方法
CN106127324A (zh) * 2016-04-26 2016-11-16 山东科技大学 一种用于无人化采掘工作面的远程可视化监控方法
CN106313086A (zh) * 2016-08-21 2017-01-11 西安科技大学 一种煤矿救援机器人远程控制系统和控制方法
CN113688863A (zh) * 2021-07-14 2021-11-23 精英数智科技股份有限公司 基于机器学习的矿井传感器报警原因分类方法及装置
CN115937213A (zh) * 2023-02-16 2023-04-07 淮北矿业股份有限公司 一种矿用单轨吊轨道自动巡检机器人可视化缺陷识别系统
CN116081488A (zh) * 2022-12-21 2023-05-09 中国矿业大学 一种场景自适应单轨吊运输机器人无人驾驶控制方法
CN116108673A (zh) * 2023-02-03 2023-05-12 北京天玛智控科技股份有限公司 一种煤矿井下数字孪生现实仿真方法及设备

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE20307308U1 (de) * 2003-05-09 2003-07-03 Dbt Autom Gmbh Steuergerät für den untertägigen Bergbau

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105117857A (zh) * 2015-09-16 2015-12-02 枣庄矿业(集团)有限责任公司田陈煤矿 煤矿安全动态评估与诊断系统及方法
CN106127324A (zh) * 2016-04-26 2016-11-16 山东科技大学 一种用于无人化采掘工作面的远程可视化监控方法
CN106313086A (zh) * 2016-08-21 2017-01-11 西安科技大学 一种煤矿救援机器人远程控制系统和控制方法
CN113688863A (zh) * 2021-07-14 2021-11-23 精英数智科技股份有限公司 基于机器学习的矿井传感器报警原因分类方法及装置
CN116081488A (zh) * 2022-12-21 2023-05-09 中国矿业大学 一种场景自适应单轨吊运输机器人无人驾驶控制方法
CN116108673A (zh) * 2023-02-03 2023-05-12 北京天玛智控科技股份有限公司 一种煤矿井下数字孪生现实仿真方法及设备
CN115937213A (zh) * 2023-02-16 2023-04-07 淮北矿业股份有限公司 一种矿用单轨吊轨道自动巡检机器人可视化缺陷识别系统

Also Published As

Publication number Publication date
CN116866520A (zh) 2023-10-10

Similar Documents

Publication Publication Date Title
CN106356757B (zh) 一种基于人眼视觉特性的电力线路无人机巡检方法
CN112396658B (zh) 一种基于视频的室内人员定位方法及定位系统
CN116866520B (zh) 一种基于ai的单轨吊安全运行实时监控管理系统
CN109829908B (zh) 基于双目影像的电力线下方地物安全距离检测方法及设备
Lebedev et al. Accurate autonomous uav landing using vision-based detection of aruco-marker
CN110910440B (zh) 一种基于电力影像数据的输电线路长度确定方法和系统
Kim et al. Development of a UAV-type jellyfish monitoring system using deep learning
CN114665608B (zh) 用于变电站的智能感知巡检系统及方法
CN112528979B (zh) 变电站巡检机器人障碍物判别方法及系统
CN114299106A (zh) 一种基于视觉传感与轨迹预测的高空抛物预警系统及方法
CN115761537A (zh) 一种面向动态特征补充机制的输电线路异物入侵识别方法
Li et al. Bionic Vision‐Based Intelligent Power Line Inspection System
CN115909092A (zh) 轻量化输电通道隐患测距方法及隐患预警装置
CN112329584A (zh) 基于机器视觉自动识别电网异物的方法及系统、设备
CN113095160B (zh) 基于人工智能和5g的电力系统人员安全行为识别方法及系统
CN114325573A (zh) 变电站运维人员身份及位置信息快速检测方法
CN114998846A (zh) 海上钻井平台智能化系统的实现方法、系统及相关组件
CN117423157A (zh) 一种结合迁移学习、区域入侵的矿井下异常视频动作理解方法
CN112926415A (zh) 一种行人避让系统和行人监测方法
CN111708356B (zh) 一种起重机自动规划路径系统与方法
Gudmundsson et al. Porting Computer Vision Models to the Edge for Smart City Applications: Enabling Autonomous Vision-Based Power Line Inspection at the Smart Grid Edge for Unmanned Aerial Vehicles (UAVs).
CN116243725A (zh) 基于视觉导航的变电站无人机巡检方法及系统
CN111354028A (zh) 基于双目视觉的输电通道隐患物识别追踪方法
CN113569801B (zh) 一种配电施工现场带电设备及其带电区域识别方法及装置
CN114581863A (zh) 车辆危险状态识别方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant