CN116310979A - 图像识别方法、风险管控平台及方法、安全管控平台 - Google Patents

图像识别方法、风险管控平台及方法、安全管控平台 Download PDF

Info

Publication number
CN116310979A
CN116310979A CN202310254466.3A CN202310254466A CN116310979A CN 116310979 A CN116310979 A CN 116310979A CN 202310254466 A CN202310254466 A CN 202310254466A CN 116310979 A CN116310979 A CN 116310979A
Authority
CN
China
Prior art keywords
image
model
algorithm
violation
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310254466.3A
Other languages
English (en)
Other versions
CN116310979B (zh
Inventor
赵金雄
狄磊
张驯
马志程
马宏忠
赵红
杨岚
魏峰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
Original Assignee
STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE filed Critical STATE GRID GASU ELECTRIC POWER RESEARCH INSTITUTE
Priority to CN202310254466.3A priority Critical patent/CN116310979B/zh
Publication of CN116310979A publication Critical patent/CN116310979A/zh
Application granted granted Critical
Publication of CN116310979B publication Critical patent/CN116310979B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0635—Risk analysis of enterprise or organisation activities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/26—Government or public services
    • G06Q50/265—Personal security, identity or safety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Tourism & Hospitality (AREA)
  • Strategic Management (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Operations Research (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computer Security & Cryptography (AREA)
  • Primary Health Care (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了图像识别方法、风险管控平台及方法、安全管控平台；涉及电力安全技术领域；图像识别方法步骤包括图像预处理、建立算法架构、模型输出；风险管控平台包括人工智能模块、统一视频模块和内网短信模块；风险管控方法包括采集视频图像上传至统一视频模块；人工智能模块调用统一视频平台源端数据和不同反违章模型进行违章判断；模型识别结果通过接口传输至安全生产管控平台做告警；安全管控平台包括平台层、应用层、服务层和资源层。本发明针对真实作业场景中违章数据样本较少的问题，在图像预处理过程中采用图像镜像、图像拼接、图像模糊等技术，不仅增加了训练数据集数量，还有效提高了算法模型鲁棒性。

Description

图像识别方法、风险管控平台及方法、安全管控平台
技术领域
本发明涉及电力安全技术领域,尤其是涉及一种图像识别方法、风险管控平台及方法、安全管控平台。
背景技术
人工智能图像识别技术在安监作业监控、输电线路无人机巡检等领域广泛应用，可以有效提高违章监控、线路缺陷判别的效率，减少人工投入成本。但在传统的图像识别技术中，算法的准确率和实时性制约着人工智能图像识别技术的推广。且针对甘肃省地形特征南北扁平、东西狭长，地貌复杂多样的情况，有山地、高原、平川、河谷、沙漠、戈壁等，环境相对恶劣，雨、雪、雾、沙尘暴等不同的气候时有出现，实际电网安全生产管理工作中，在作业违章识别、风险预测、安全防护、智能化管控等方面仍存在不足之处，主要体现在：一是甘肃公司近三年来年平均约有150万人次分布在3万余个各类作业现场，作业现场分布广、安全管理人员少，作业现场全覆盖和全过程监督困难；二是通过人工现场监管的方式，将作业现场违章信息录入安全生产风险管控平台，安全管理人员需要监控海量视频，成本高、效率低、主观性强、智能化程度低，难以及时发现违章行为；三是安全督查主要依赖于人盯人防，作业现场风险预判、事前告警措施缺失，对于作业现场的违规风险以及违章情况无法做到实时识别、及时处理。
公开号为CN107885170A的中国专利公开了一种安全生产管控装置、系统及安全生产管控的方法。其中，所述装置包括安全监测模块、设备管理模块、风险管控模块及安全生产管理模块。设备管理模块中设备的电子标签与设备相关联，是现场设备和设备图模库身份标识；安全监测模块获取现场设备运行参数、设备的状态信息、作业现场安全措施和工作人员现场作业信息；风险管控模块将设备运行参数等信息与设备风险知识库相结合，生成设备状态风险预警和作业风险预控措施；安全生产管理模块根据需求生成作业任务、工作票和操作票，并保证作业现场安全措施执行，还根据设备运行参数、设备的状态、风险预控措施和安全措施并对作业人员的作业过程进行安全监督和作业行为的过程管控。但仍会存在智能化程度低、识别效果不佳等问题。
发明内容
本发明针对现有技术存在的问题，提供了一种图像识别方法、风险管控平台及方法、安全管控系统。
为实现上述目的，本发明采用的技术方案如下：
一种图像识别方法，包括以下步骤：
步骤S1：图像预处理；
步骤S2：建立算法架构；
步骤S3：模型输出。
基于上述技术方案，更进一步地，步骤S1对图像预处理的方法，包括以下步骤：
步骤S11：将图像读取为计算机可以理解的二维矩阵并计算矩阵的均值和方差；
步骤S12：基于Laplacian算子对图像进行卷积后求其方差，得到图像的模糊度，同时分别用图像矩阵的RGB三个通道的矩阵以不同的权重值分别点乘后求和，作为该图像的亮度值，设定亮度阈值，将不满足预设阈值亮度的图像按经验值进行对比度增强；
步骤S13：完成图像数据预处理。
基于上述技术方案，更进一步地，步骤S2对算法架构的建立的方法，包括以下步骤：
步骤S21：算法选择；
步骤S22：算法调用；
步骤S23：算法优化。
基于上述技术方案，更进一步地，步骤S21中的算法选择至少包括Two stage目标检测算法和One stage目标检测算法，其中，Two stage目标检测算法的流程，包括以下步骤：先进行区域生成(region proposal,RP)，再通过卷积神经网络进行样本分类。
基于上述技术方案，更进一步地，所述步骤S23算法优化过程，包括以下步骤：
步骤S231：前端获取样本；
步骤S232：将原始YOLOv5网络中下采样倍数8倍、16倍、32倍修改为4倍、8倍、16倍、32倍，增加浅层特征的卷积层；
步骤S233：对步骤S232中得到的(8倍、16倍、32倍)特征图上采样，并同拼接4组特征图得到新的最终特征图。
步骤S234：保持原始YOLOv5分类和回归方法，对最终特征图进行目标检测框的定位及分类，得到模型预测的最终结果。
基于上述技术方案，更进一步地，步骤S3中的模型输出方法，包括以下步骤：
步骤31：选择模型权重文件；
步骤32：使用步骤31选择的模型对智能终端数据进行检测识别，得到目标的坐标及类别信息；
步骤33：根据不同违章类型，对目标框进行后处理，包括多个目标框的交并比、位置关系、色彩信息等，分析出当前场景是否存在违章。
步骤34：将模型进行封装部署，并进行模型调用。
基于上述技术方案，更进一步地，所述步骤34中将安监项目开发的算法模型利用docker封装成镜像，并打包成tar包的形式部署至人工智能模块中的人工智能应用服务器，再由安全生产风险管控平台对算法模型进行调用。
一种安全生产风险管控平台，包括人工智能模块、统一视频模块和内网短信模块；
所述人工智能模块包括用于存储若干个模型的模型库和用于存储若干个样本的样本库；
统一视频模块将接收到的信息通过通信方式传递至人工智能模块，人工智能模块的信息通过通信方式传递至内网短信模块。
一种安全生产风险管控方法，包括以下步骤：
步骤1：采集视频图像上传至统一视频模块；
步骤2：人工智能模块通过接口调用统一视频平台源端数据；
步骤3：人工智能模块根据不同业务场景，调用不同反违章模型进行违章判断；
步骤4：分析结果通过接口传输至安全生产管控平台做告警。
基于上述技术方案，更进一步地，包括以下步骤：
步骤11：提前录入作业人员信息；
步骤12：输入即将入场的作业人员信息；
步骤13：将步骤11和步骤12的信息进行比对；
步骤14：比对结果提示正确，则进入作业现场；比对结果显示错误，则返回步骤12的操作。
基于上述技术方案，更进一步地，步骤3中的智能分析过程包括：人工智能模块使用定时任务拉取图片调用算法模型，进行算法识别；利用人工智能算法模型识别中，如果识别的作业图片发生算法告警，则将该图片按照安监提供的接口，依据接口中约定的组装数据，将数据集转成图片，该违章图片发送至安全生产管控平台的报警接口，同时生成一条报警记录，该报警记录保存在安全风险管控系统的mysql数据库中，实现违章结果自动报警。
一种安全管控平台，所述安全生产风险管控平台设于平台层；还包括安全管控系统，安全管控系统应用于应用层；还设有服务层和资源层。
基于上述技术方案，更进一步地，所述资源层包括智能终端设备、资源模块；所述资源模块至少包括GPU计算资源、CPU计算资源、存储资源和网络资源；所述智能终端设备为布控球或前景摄像头。
基于上述技术方案，更进一步地，所述服务层设有专用模型，专用模型至少包括作业现场孔洞未遮盖、吊车进入作业现场、吊车吊臂下站人、未佩戴护目镜。
相对于现有技术，本发明具有以下有益效果：
本发明针对真实作业场景中违章数据样本较少的问题，在图像预处理过程中采用图像镜像、图像拼接、图像模糊等技术，不仅增加了训练数据集数量，还有效提高了算法模型鲁棒性；具体步骤为：一是对数据原数据矩阵计算均值和方差，在过滤规定阈值的数据，减少干扰数据；二是基于Laplacian算子计算对图像进行卷积求和，同时分别用原数据RGB三通道以0.301、0.608、0.113的权重点乘求和，不满足预设阈值的进行图像对比度增强；三是加入图像对比度增强、图像过曝、图像平滑模糊、图像镜像等数据预处理技术，在有限的电力数据集上扩充样本数量，解决数据集数量较小的问题，并且优化过曝、过暗、改变对比度等策略的应用。
本发明在算法架构方面基于单阶段目标检测卷积网络，采用多尺度卷积核提取多个特征图进行特征融合，提高图像特征的丰富度，保留了图像中更多的有效信息，提高了模型的识别检测速度；采用卷积实现特征融合的方式具体为：在原始的YOLOv5网络中，YOLOv5的下采样倍数较大(8倍、16倍、32倍)，深层Feature很难学习到小目标的特征信息。本算法中，将YOLOv5的采样倍数依次修改为4倍、8倍、16倍、32倍，增加浅层特征的卷积层，再对前三组特征层按32倍下采样特征图大小进行上采样，并同拼接4组特征图(Feature map)，网络中backbone层深度由原来的3个特征图变为4个，提高卷积网络(CNN)在浅层特征上提取信息能力，保留小目标原始信息，使网络在特征提取时，可对多级特征进行融合，进而提升小目标检测准确率。的提出增加小目标检测层对较浅特征图与深特征图拼接后进行检测。
(3)本发明在模型识别目标后，结合图像处理、矩阵运算、逻辑判断等技术，对模型的识别结果进行二次纠正，即进行模型的后处理，提高算法模型准确率。模型后处理技术方式具体为：针对电力反违章数据量稀少、模型易较过拟合或欠拟合、且由于输入端设备的不同，也会存在数据清晰度不同和模型鲁棒性较低，很难应用与实际现场作业环境中。故而本发明中提出对YOLOv5输入端进行改进。一是对将图像读取为计算机可以理解的二维矩阵并计算矩阵的均值和方差，并过滤不符合规定阈值的数据，以此来减少那些不规范的干扰数据；二是基于Laplacian算子对图像进行卷积后求其方差，得到图像的模糊度，同时分别用图像矩阵的RGB三个通道的矩阵以不同的(0.301、0.608、0.113)权重值分别点乘后求和，作为该图像的亮度值，设定亮度阈值，将不满足预设阈值亮度的图像按经验值进行对比度增强；三是加入图像对比度增强、图像过曝、图像平滑模糊、图像镜像等数据预处理技术，在有限的电力数据集上扩充样本数量，解决数据集数量较小的问题，并且优化过曝、过暗、改变对比度等策略的应用，使得反违章模型在不同输入端设备(布控球、固定摄像头等)、不同天气条件下都有较好的鲁棒性，提高模型应用成效。四是将目标框进行后处理(包括多个目标框的交并比、位置关系、色彩信息等)，分析出当前场景是否存在违章。
附图说明
图1为本发明安全管控系统的结构示意图。
具体实施方式
为使本发明的目的和技术方案更加清楚，下面将结合实施例，对本发明的技术方案进行清楚、完整地描述。
实施例1
一种图像识别方法，包括以下步骤：
步骤S1：图像预处理；
具体的，对图像预处理的方法，包括以下步骤：
步骤S11：对数据原数据矩阵计算均值和方差；
步骤S12：基于Laplacian算子对图像进行卷积求和，同时分别用原数据RGB三个颜色通道的权重点乘求和，不符合预设阈值的进行图像对比度增强；
步骤S13：完成图像数据预处理。
步骤S2：建立算法架构；
具体的，对算法架构的建立的方法，包括以下步骤：
步骤S21：算法选择；
具体的，可以选择Two stage目标检测算法和One stage目标检测算法；针对Twostage目标检测算法，先进行区域生成(region proposal,RP)(一个可能包含待检测物体的预选框)，再通过卷积神经网络进行样本分类；其任务为特征提取、生成RP、分类/定位回归，常见Two stage目标检测算法有R-CNN、SPP-Net、Fast R-CNN和R-FCN等。针对One stage目标检测算法，不用RP，直接在网络中提取特征来预测物体分类和位置。其任务为特征提取、分类/定位回归。常见的one stage目标检测算法有OverFeat、YOLOv1、YOLOv3、YOLOv5、SSD和RetinaNet等。
步骤S22：算法调用；其中通过步骤S21所选择出的算法，在数据集上进行模型训练，并在该数据集上训练完成后，分析训练完成的模型精度以及模型是否可以满足需求，最后选择本次训练中性能最好的模型权重文件；
步骤S23：算法优化；具体的算法优化过程为：
对出现的问题进行优化，解决算法训练过程中出现的相关问题。比如，对于过暗的图片不予进行模型的检测以减少误检。在针对实际作业场景进行算法的优化时，例如：检测吊车无人监护时，考虑到布控球的角度变化当吊车位置处于图片中间且占比图像的1/3以内，再进行判断有没有人。
步骤S3：模型输出，具体包括以下步骤：
步骤31：选择模型权重文件；具体为，在不断更新的数据集上训练，并保存每次更新的数据集训练结果，然后选择效果最好的模型权重文件；
步骤32：基于选择的模型对智能终端数据进行检测识别，得到目标的坐标及类别信息；
步骤33：根据不同违章类型，对目标框进行后处理，分析出当前场景是否存在违章；
步骤34：将模型进行封装部署，并进行模型调用。具体是将安监项目开发的算法模型利用docker封装成镜像，并打包成tar包的形式部署至人工智能模块的人工智能应用服务器，再由安全生产风险管控平台对算法模型进行调用。
具体的，人工智能图像识别技术就是通过模拟人脑的机制来解释数据，以未戴安全帽为例，收集未戴安全帽图像，先对大量的各种未佩戴安全帽的图片进行标注，标注的方法是利用LabelImg工具打标，输出格式选择为PascalVOC，得到xml格式的文件，再将xml格式转为txt文件，按照9:1的比例分为训练集和验证集，然后利用标注后的数据训练算法模型，即利用YOLOv5网络结构选择权重文件按照划分好数据集进行训练。模型训练时，将原始未戴安全帽图片输入目标检测网络后，网络会预测一个结果，但这个结果不会很准确，通过和之前标注的结果进行对比，统计出两者之间的误差即损失函数，反向更新调整神经网络参数，然后再不断预测，不断修正，优化方式的技术路径是训练完成后，模型的各项信息会保存在相应的目录下，如果是默认的话，会有exp+数字命名的各种目录，此时进入数字最大的那个，也就是最后一次训练得到的模型，即可看到训练结果。训练效果最好的模型参数保存在相应的文档位置。经过不断迭代之后，未戴安全帽检测模型识别准确率会越来越高。
实施例2
基于实施例1，实施一种安全生产风险管控平台，包括人工智能模块、统一视频模块和内网短信模块；人工智能模块包括用于存储若干个模型的模型库和用于存储若干个样本的样本库；统一视频模块将接收到的信息通过通信方式传递至人工智能模块，人工智能模块的信息通过通信方式传递至内网短信模块。其中，图像识别方法在人工智能模块上应用。
具体的，该安全生产风险管控平台的工作原理为：将人工智能应用服务器样本库中数据进行模型训练，得到对应的反违章模型存储于模型库中，对统一视频模块产生的业务数据进行违章分析，将违章结果通过内网短信模块反馈现场责任人。
实施例3
基于实施例2，实施一种安全生产风险管控方法，包括以下步骤：
步骤1：采集视频图像上传至统一视频模块；
具体的，对作业人员管控的方法，包括以下步骤：
步骤11：提前录入作业人员信息；
步骤12：输入即将入场的作业人员信息；
步骤13：将步骤11和步骤12的信息进行比对；
步骤14：比对结果提示正确，则进入作业现场；比对结果显示错误，则返回步骤12的操作。
步骤2：人工智能模块通过接口调用统一视频模块源端数据；
步骤3：人工智能模块根据不同业务场景，调用不同反违章模型进行违章判断；
其中，具体判断过程包括：人工智能模块使用定时任务拉取图片调用算法模型，进行算法识别；利用人工智能算法模型识别中，如果识别的作业图片发生算法告警，则将该图片按照安监提供的接口，依据接口中约定的组装数据，将数据集转成图片，该违章图片发送至安全生产管控平台的报警接口，同时生成一条报警记录，该报警记录保存在安全风险管控系统的mysql数据库中，实现违章结果自动报警。
步骤4：分析结果通过接口传输至安全生产管控平台做告警。
具体的，以安监作业违章结果管理为例。利用人工智能算法模型识别中，如果识别的作业图片发生算法告警，则将该图片按照安监提供的接口，依据接口中约定的组装数据，将数据集转成base64的图片，其违章图片发送至安全生产管控平台的报警接口，同时生成一条报警记录，该报警记录保存在安全风险管控系统的mysql数据库中，实现违章结果自动报警。
实施例4
基于实施例2，如图1所示，实施一种安全管控平台，安全管控平台包括平台层、资源层、服务层和应用层，安全生产风险管控平台设于平台层。其中，所述资源层包括智能终端设备、资源模块；所述资源模块至少包括GPU计算资源、CPU计算资源、存储资源和网络资源；所述智能终端设备为布控球或前景摄像头。所述服务层设有专用模型，专用模型至少包括作业现场孔洞未遮盖、作业现场未设置安全标识牌、吊车作业无人监护、吊车进入作业现场、吊车吊臂下站人、车周入侵、吊车吊钩未封闭、单人搬运梯子、未穿绝缘靴、未带绝缘手套、塔杆上有人作业违规调整拉线、作业现场打电话、作业现场抽烟、未佩戴护目镜、担任作业杆下无人监护、防线滑轮未正确闭锁等。
具体的，该安全管控平台的工作原理为：
应用层是一种面向有智能反违章识别业务需求的第三方单位，由平台层、服务层、资源层提供业务解决能力，应用层安全管控系统自动调用平台层的违章判断功能，并通过平台层的内网短信模块得到违章分析结果，由应用层安全管控系统将违章结果进行可视化展示或定制化提供违章识别API接口，第三方可调用该接口进行二次开发或应用。
资源层：包括智能终端设备、资源模块；所述资源模块至少包括GPU计算资源、CPU计算资源、存储资源和网络资源；所述智能终端设备为布控球或前景摄像头。
平台层：通过调用资源层的布控球、GPU计算资源、CPU计算资源、存储资源和网络资源等资源，以此来满足人工智能模块、内网短信模块、统一视频模块相应功能的运行；
服务层：主要封装人工智能模块中的反违章模型，平台层人工智能模块通过调用服务层的反违章模型进行业务场景中的违章判断。服务层设有专用模型，专用模型至少包括作业现场孔洞未遮盖、车周入侵、作业现场打电话、作业现场未设置安全标识牌、吊车吊钩未闭锁、作业现场抽烟、单人作业杆下无人监护、单人搬运梯子、未佩戴护目镜、吊车进入作业现场、未穿戴绝缘靴、放线滑轮未正确闭锁、吊车吊臂下站人、吊车作业无人监护、未佩戴绝缘手套。为人工智能模块在不同的业务场景中提供相应的反违章模型。
以各系统横向集成，数据调用流程说明，首先前端布控球拍摄实时作业现场数据上传至统一视频平台；其次人工智能平台构建不定时任务，通过定时任务不停获取当天的工作票，使用工作票信息去统一视频平台获取视频画面，利用ffmpeg抽帧方式对视频流进行图片抽帧；第三使用定时任务拉取图片调用算法模型，进行算法识别，识别结果通过redis进行过滤筛选后上传至obs中，最后根据不同的报警情况，将识别结果以违章告警的方式上传至安全生产管控平台。
最后应当说明的是，以上内容仅用以说明本发明的技术方案，而非对本发明保护范围的限制，本领域的普通技术人员对本发明的技术方案进行的简单修改或者等同替换，均不脱离本发明技术方案的实质和范围。

Claims (10)

1.一种图像识别方法，其特征在于，包括以下步骤：
步骤S1：图像预处理；
步骤S2：建立算法架构；
算法架构建立的方法，包括以下步骤：
步骤S21：算法选择；
步骤S22：算法调用；
步骤S23：算法优化；
步骤S3：模型输出。
2.根据权利要求1所述的一种图像识别方法，其特征在于，步骤S1对图像预处理的方法，包括以下步骤：
步骤S11：将图像读取为二维矩阵并计算矩阵的均值和方差；
步骤S12：基于Laplacian算子对图像进行卷积后求方差，得到图像的模糊度，同时分别用图像矩阵的RGB三个通道的矩阵以不同的权重值分别点乘后求和，作为当前图像的亮度值，设定亮度阈值，将不满足预设阈值亮度的图像进行对比度增强；
步骤S13：完成图像数据预处理。
3.根据权利要求1所述的一种图像识别方法，其特征在于，步骤S21中的算法选择至少包括Two stage目标检测算法和One stage目标检测算法，其中，Two stage目标检测算法的流程，包括以下步骤：先进行区域生成(region proposal,RP)，再通过卷积神经网络进行样本分类。
4.根据权利要求1所述的一种图像识别方法，其特征在于，所述步骤S23算法优化过程，包括以下步骤：
步骤S231：前端获取样本；
步骤S232：将原始YOLOv5网络中下原始采样倍数修改为新的采样倍数，增加浅层特征的卷积层；
步骤S233：在原始采样倍数获得的特征图上进行采样，并同时拼接四组不同倍数下的特征图得到新的最终特征图；
步骤S234：保持原始YOLOv5分类和回归方法，对最终特征图进行目标检测框的定位及分类，得到模型预测的最终优化结果。
5.根据权利要求1所述的一种图像识别方法，其特征在于，步骤S3中的模型输出方法，包括以下步骤：
步骤31：选择模型权重文件；
步骤32：基于选择的模型对智能终端数据进行检测识别，得到目标的坐标及类别信息；
步骤33：根据不同违章类型，对目标框进行后处理，分析出当前场景是否存在违章；
步骤34：将模型进行封装部署，并进行模型调用。
6.一种安全生产风险管控平台，采用权利要求1-5任一所述的一种图像识别方法，其特征在于，包括人工智能模块、统一视频模块和内网短信模块；
所述图像识别方法在人工智能模块上应用；
统一视频模块是采集作业场景中产生的原始图像或视频数据；
人工智能模块是把统一视频模块产生的业务数据通过调用相应的模型进行违章分析；
内网短信模块是把违章分析得到违章结果反馈至现场作业的责任人；
将人工智能模块中的人工智能应用服务器样本库中数据进行模型训练，得到对应的反违章模型存储于模型库中，对统一视频模块产生的业务数据进行违章分析，将违章结果通过内网短信模块反馈现场责任人。
7.一种安全生产风险管控方法，应用于权利要求6所述的一种安全生产风险管控平台，其特征在于，包括以下步骤：
步骤1：采集视频图像上传至统一视频模块；
步骤2：人工智能模块通过接口调用统一视频平台源端数据；
步骤3：人工智能模块根据不同业务场景，调用不同反违章模型进行违章判断；
步骤4：模型识别结果通过接口传输至安全生产管控平台做告警。
8.根据权利要求7所述的一种安全生产风险管控方法，对作业人员管控的方法，包括以下步骤：
步骤11：提前录入作业人员信息；
步骤12：输入即将入场的作业人员信息；
步骤13：将步骤11和步骤12的信息进行比对；
步骤14：比对结果提示正确，则进入作业现场；比对结果显示错误，则返回步骤12的操作。
9.根据权利要求8所述的一种安全生产风险管控方法，步骤3中的判断过程包括：人工智能模块使用定时任务拉取图片调用算法模型，进行算法识别；利用人工智能算法模型识别中，如果识别的作业图片发生算法告警，则将作业图片按照安监提供的接口，依据接口中约定的组装数据，将数据集转成违章图片，并将违章图片发送至安全生产管控平台的报警接口，同时生成一条报警记录，该报警记录保存在安全风险管控系统的mysql数据库中，实现违章结果自动报警。
10.一种安全管控平台，其特征在于，包括权利要求6所述的一种安全生产风险管控平台，所述安全生产风险管控平台应用于平台层；还包括安全管控系统，安全管控系统应用于应用层；还设有服务层和资源层。
CN202310254466.3A 2023-03-16 2023-03-16 图像识别方法、风险管控平台及方法、安全管控平台 Active CN116310979B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310254466.3A CN116310979B (zh) 2023-03-16 2023-03-16 图像识别方法、风险管控平台及方法、安全管控平台

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310254466.3A CN116310979B (zh) 2023-03-16 2023-03-16 图像识别方法、风险管控平台及方法、安全管控平台

Publications (2)

Publication Number Publication Date
CN116310979A true CN116310979A (zh) 2023-06-23
CN116310979B CN116310979B (zh) 2024-02-02

Family

ID=86818184

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310254466.3A Active CN116310979B (zh) 2023-03-16 2023-03-16 图像识别方法、风险管控平台及方法、安全管控平台

Country Status (1)

Country Link
CN (1) CN116310979B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115755A (zh) * 2023-10-23 2023-11-24 科曼智能科技有限公司 一种基于图像识别电力作业现场违章监控报警识别系统

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194220A (zh) * 2011-05-10 2011-09-21 西安理工大学 一种基于锐化强度与灰度分布结合的图像增强方法
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法
CN112418717A (zh) * 2020-12-07 2021-02-26 国网山东省电力公司经济技术研究院 基于人工智能的工程现场人员行为预警方法和系统
CN115424212A (zh) * 2022-10-11 2022-12-02 国网河北省电力有限公司 一种电力作业现场违章识别系统及其应用
CN115496951A (zh) * 2022-10-09 2022-12-20 淮阴工学院 一种基于改进YOLOv5s的安全设备检测方法
CN115761591A (zh) * 2022-11-24 2023-03-07 辽宁东科电力有限公司 多作业现场违规识别方法
CN115797850A (zh) * 2023-02-06 2023-03-14 中国石油大学(华东) 基于视频流的油田生产安全预警分析系统

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102194220A (zh) * 2011-05-10 2011-09-21 西安理工大学 一种基于锐化强度与灰度分布结合的图像增强方法
CN110826514A (zh) * 2019-11-13 2020-02-21 国网青海省电力公司海东供电公司 一种基于深度学习的施工现场违章智能识别方法
CN112418717A (zh) * 2020-12-07 2021-02-26 国网山东省电力公司经济技术研究院 基于人工智能的工程现场人员行为预警方法和系统
CN115496951A (zh) * 2022-10-09 2022-12-20 淮阴工学院 一种基于改进YOLOv5s的安全设备检测方法
CN115424212A (zh) * 2022-10-11 2022-12-02 国网河北省电力有限公司 一种电力作业现场违章识别系统及其应用
CN115761591A (zh) * 2022-11-24 2023-03-07 辽宁东科电力有限公司 多作业现场违规识别方法
CN115797850A (zh) * 2023-02-06 2023-03-14 中国石油大学(华东) 基于视频流的油田生产安全预警分析系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117115755A (zh) * 2023-10-23 2023-11-24 科曼智能科技有限公司 一种基于图像识别电力作业现场违章监控报警识别系统
CN117115755B (zh) * 2023-10-23 2024-01-23 科曼智能科技有限公司 一种基于图像识别电力作业现场违章监控报警识别系统

Also Published As

Publication number Publication date
CN116310979B (zh) 2024-02-02

Similar Documents

Publication Publication Date Title
CN108037770B (zh) 基于人工智能的无人机输电线路巡检系统和方法
US11869192B2 (en) System and method for vegetation modeling using satellite imagery and/or aerial imagery
Bang et al. Image augmentation to improve construction resource detection using generative adversarial networks, cut-and-paste, and image transformation techniques
CN108022235B (zh) 高压输电铁塔关键部件缺陷识别方法
CN111784685A (zh) 一种基于云边协同检测的输电线路缺陷图像识别方法
CN110765923A (zh) 一种人脸活体检测方法、装置、设备及存储介质
CN108229575A (zh) 用于检测目标的方法和装置
CN103106766B (zh) 林火识别方法与系统
CN111967393A (zh) 一种基于改进YOLOv4的安全帽佩戴检测方法
CN108319926A (zh) 一种工地现场的安全帽佩戴检测系统及检测方法
CN110769195B (zh) 输电线路施工现场违章智能监控识别系统
EP4137991A1 (en) Pedestrian re-identification method and device
CN109472193A (zh) 人脸检测方法及装置
CN116310979B (zh) 图像识别方法、风险管控平台及方法、安全管控平台
CN112541393A (zh) 一种基于深度学习的变电站人员检测方法及装置
CN112232133A (zh) 基于深度卷积神经网络的输电线路图像识别方法及装置
CN115035088A (zh) 一种基于yolov5和姿态估计的安全帽佩戴检测方法
CN114360064B (zh) 基于深度学习的办公场所人员行为轻量级目标检测方法
CN116846059A (zh) 一种用于电网巡检和监控的边缘检测系统
CN111860187A (zh) 一种高精度的佩戴口罩识别方法及系统
CN114997279A (zh) 一种基于改进Yolov5模型的建筑工人危险区域入侵检测方法
Oliveira et al. Detecting tree and wire entanglements with deep learning
CN114359578A (zh) 病虫害识别智能终端应用方法及系统
CN114067396A (zh) 基于视觉学习的居配工程现场试验数字化管理系统及方法
CN112435240B (zh) 一种面向工人违规使用手机的深度视觉手机检测系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant