CN116471381A - 一种基于ai的变配电室人员器具状态监测方法 - Google Patents

一种基于ai的变配电室人员器具状态监测方法 Download PDF

Info

Publication number
CN116471381A
CN116471381A CN202310473868.2A CN202310473868A CN116471381A CN 116471381 A CN116471381 A CN 116471381A CN 202310473868 A CN202310473868 A CN 202310473868A CN 116471381 A CN116471381 A CN 116471381A
Authority
CN
China
Prior art keywords
distribution room
abnormal
power transformation
personnel
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310473868.2A
Other languages
English (en)
Inventor
史椸
张建
肖芯茹
刘雨寒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong Hairui Smart Data Technology Co ltd
Original Assignee
Shandong Hairui Smart Data Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong Hairui Smart Data Technology Co ltd filed Critical Shandong Hairui Smart Data Technology Co ltd
Priority to CN202310473868.2A priority Critical patent/CN116471381A/zh
Publication of CN116471381A publication Critical patent/CN116471381A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B3/00—Audible signalling systems; Audible personal calling systems
    • G08B3/10—Audible signalling systems; Audible personal calling systems using electric transmission; using electromagnetic transmission
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y10/00—Economic sectors
    • G16Y10/35—Utilities, e.g. electricity, gas or water
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/40—Information sensed or collected by the things relating to personal data, e.g. biometric data, records or preferences
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/10—Detection; Monitoring
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/20—Analytics; Diagnosis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y40/00—IoT characterised by the purpose of the information processing
    • G16Y40/50—Safety; Security of things, users, data or systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
    • H04N21/2389—Multiplex stream processing, e.g. multiplex stream encrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/488—Data services, e.g. news ticker
    • H04N21/4882—Data services, e.g. news ticker for displaying messages, e.g. warnings, reminders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8193—Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/278—Subtitling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Medical Informatics (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Biomedical Technology (AREA)
  • Computer Security & Cryptography (AREA)
  • Emergency Management (AREA)
  • Electromagnetism (AREA)
  • Alarm Systems (AREA)

Abstract

本发明提供了一种基于AI的变配电室人员器具状态监测方法，涉及电力行业安全技术领域。其中，该方法包括：数据采集层拉取变配电室监控视频流并做近似均匀抽帧、质量压缩、尺寸变换处理；AI检测层通过YOLOv5卷积神经网络模型检测图像中人员、安全装备和工器具目标；后端处理层根据检测结果判定变配电室人员安全着装情况和工器具存在情况，根据变配电室状态编辑图像并实时推送由其组成的视频流，对异常状态进行语音报警，上传异常情形下的图像至对象存储服务，封装异常信息并发送至消息队列；前端展示层拉取视频流，同时从云服务器获取异常消息并解码，通过可视化界面呈现给用户。本发明用人工智能技术和信息化技术解放人力，实现全天候的变配电室人员监测，保障变配电室人员安全和工器具配置到位。

Description

一种基于AI的变配电室人员器具状态监测方法
技术领域
本发明属于电力行业安全技术领域，更具体地，涉及一种基于AI的变配电室人员器具状态监测方法。
背景技术
随着智能自动化和网络化的发展,电能已成为生产生活中不可缺少的一部分。变配电室作为输电线路终端,是连接电网和负荷的枢纽,承担着受电、变压、分配电能的任务,在供配电系统中起着非常重要的作用。但目前变配电室的设计多采用室内站设计，相对封闭空气流通不畅，易产生潮湿凝露现象，造成带电体的绝缘强度降低，引发局部放电现象，这对变配电室工作人员的人身安全造成威胁，进而对工作人员的规范着装提出了更高的要求。与此同时，为保证变配电室安全稳定地运行，需要对其进行例常维护，一旦出现故障，为尽可能维护广大居民的用电需要，更是需要对其进行紧急检修，这类任务均依靠电气工器具，因此，保障变配电室维护、检修工器具资产配置到位对变配电室对变配电室的稳定运行有着积极意义。
现有技术中，规范变配电室工作人员的安全着装主要依靠工作人员自身的职业素养驱动以及安保人员提醒，对变配电室的工器具资产管理也主要工作人员周期性整理。为实现长期有效的变配电室安全着装规范机制和工器具资产管理机制，可委派工作人员长期驻守配电室实时观察，但这无疑造成人力物力财力的浪费，还不能保证驻守人员不出纰漏。因此，本发明提出一种基于AI的变配电室人员器具监测状态方法，旨在用人工智能技术和信息化技术解放人力，实现全天候的变配电室人员监测，保障工作人员着装规范以及工器具资产配置到位。
发明内容
为了解决现有技术中存在的不足，充分发挥基于AI的变配电室人员器具状态监测系统的强大功能，本发明的目的在于，提供一种基于AI的变配电室人员器具状态监测方法，旨在利用基于AI的变配电室人员器具状态监测系统替换现今配电室监控管理中人眼监控配电室运行工作，解决配电室的安全管理信息化水平低、流程化管控薄弱、缺乏痕迹化管理手段等痛点问题，进而实现配电室全天化管理、人员安全着装状和固定资产状态全覆盖、运行过程全管控以及监察系统智能化等。
本发明所述的系统是基于AI的变配电室人员器具状态监测系统，其组成主要包括：数据采集层、AI检测层、后端处理层、前端展示层；所述数据采集层，用于采集人员、穿戴设备、工器具以及各情况下的变配电室视频数据。所述AI检测层，通过AI模型检测图像中人员、安全装备和工器具目标，生成包含目标坐标、检测置信度以及目标类别的数字化识别结果。所述后端处理层，判定变配电室人员安全着装情况和工器具存在情况，根据变配电室状态编辑图像并实时推送由其组成的视频流，对异常状态进行语音报警，上传异常情形下的图像和文本信息。所述前端展示层，用以播放实时监控视频流，实现监控可视化，直观展现异常信息并进行语音播报。
本发明采用如下的技术方案。本发明一种基于AI的变配电室人员器具状态监测方法，包括以下步骤：
步骤1，将数据采集层、AI检测层、后端处理层分别部署在主机一、主机二、主机三上，将前端展示层部署在云服务器上。
步骤2，数据采集层拉取变配电室监控视频流，通过近似均匀采样算法抽取视频流中的图像帧，调节抽得的图像的尺寸、质量，并将处理后的图像发送至AI检测层。
步骤3，AI检测层通过YOLOv5卷积神经网络模型检测图像中人员、安全装备和工器具目标，检测结果包含目标坐标、检测置信度以及目标类别，然后将处理后的图像和检测结果发送至后端处理层。
步骤4，后端处理层根据检测结果判定变配电室人员安全着装情况和工器具存在情况，根据变配电室状态编辑图像并实时推送由其组成的视频流，对异常状态进行语音报警，上传异常情形下的图像至对象存储服务，封装异常情况、位置、时间等信息并发送至消息队列。
步骤5，通过前端展示层与系统交互，展示编辑后的监控视频、异常类型、异常出现时间、异常出现位置、异常图像等内容，并辅以相关配置选项供用户自主选择被监测的场所以及异常消息是否隐藏。
优选地，步骤2包括：
步骤2.1，通过FFmpeg访问监控摄像头视频流，读取视频流帧率和尺寸信息。
步骤2.2，通过近似均匀采样算法计算输入视频流在1秒之内每帧的取舍状态，若状态为0，则表示对应的图像帧将被保留，否则将被丢弃。
步骤2.3，创建消息发送端，通信目标为主机2，通信协议为TCP。
步骤2.4，FFmpeg在子进程中拉取视频流。
步骤2.5，在子线程中访问FFmpeg拉流子进程内存以获取图像，对被保留的图像依次执行格式转换和尺寸变换操作，最后降低图像质量。
步骤2.6，通过TCP通信将处理后的图像发送至AI检测层所在的主机。
步骤2.7，重复步骤2.4～步骤2.6。
优选地，步骤3包括：
步骤3.1，创建消息发送端，通信目标为主机2，通信协议为TCP。
步骤3.2，创建消息接收端并开启接收消息的子线程，通信目标为主机1，通信协议为TCP。
步骤3.3，YOLOv5卷积神经网络模型依次检测接收到的批量图像中人员、安全装备和工器具目标，检测结果包含每张图象中的目标坐标、检测置信度以及目标类别。
步骤3.4，通过TCP通信将接收到的图像和检测结果发送至后端处理层所在的主机。
优选地，步骤4包括：
步骤4.1，创建消息接收端并开启接收消息的子线程，通信目标为主机2，通信协议为TCP。
步骤4.2，连接云服务器上的对象存储空间、消息队列和流媒体服务器。
步骤4.3，根据接收到的目标信息编辑接收到的图像，即用矩形框标注目标并显示目标类别。
步骤4.4，根据接收到的检测结果分析变配电室人员的安全着装情况和工器具的存在情况，并将相关信息以文字形式打印在图像上。
步骤4.5，将异常情况对应的图像帧上传至云服务器对象存储空间，记录图像下载链接。
步骤4.5，将异常情况进行消息封装，消息体包含摄像头编码、人数信息、异常类型编码、异常发生时间以及异常图像下载链接，并通过RabbitMQ发送消息至云服务器消息队列。
步骤4.6，语音播报当前告警信息。
步骤4.7，通过FFmpeg推送视频流，视频编码格式为yuv420p，编码器为h264_nvenc。
优选地，步骤5包括：
步骤5.1，在浏览器访问云服务器上部署的前端网页地址，通过验证码校验后登录机器视觉平台。
步骤5.2，在视觉平台页面左侧选择站点，点击后可观测到步骤4推送的该站点变配电室摄像头监控画面，画面中包含变配电室人员安全着装情况和工器具存在情况信息。视频画面上方可选择画面呈现模式，包含单画面、四宫格和九宫格三个选项。
步骤5.3，视觉平台页面右侧是异常情况提示栏，一旦从云服务器消息队列读取到新消息，则会展示该消息包含的异常类型、异常内容和发现异常的摄像头编码信息。点击“查看详情”按钮可放大该消息，同时呈现变配电室出现异常时的图像。
本发明的有益效果在于，与现有技术相比，提供了一种基于人工智能的变配电室人员器具状态监测方法，该方法充分利用了基于AI的变配电室人员器具状态监测系统，使系统正常有序地运行，向用户直观展现选定变配电室的实时状态。该方法能保证对实际正常运行中的配电室环境进行全过程监控，对人员安全装备穿戴情况和工器具资产的存在情况进行全天候智能检测和分析，实现异常情况的实时语音告警和消息反馈，提醒工作人员规范着装或补充缺失的工器具，最大程度地规避人身安全事故和紧急检修时工具缺失情形的出现，有效提升配电室工作人员的自我安全保护意识，提高监督人员的工作效率，并且能大大减少人员成本，有效监控配电室的正常运作，从而大大减少配电室安全事故发生的概率，为公司在社会上树立良好的口碑进行助力。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，附图中某些公知结构及其说明省略是可以理解的。在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1是本发明实施例的系统应用架构示意图。
图2是本发明AI检测层的工作流程图。
图3是本发明数据采集层的逻辑示意图。
图4是本发明后端处理层中逻辑分析过程的工作流程图。
图5是本发明数据采集层向AI监测层、AI检测层向后端处理层消息发送流程示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行完整地描述，以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本申请的保护范围。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
如图1所示，本发明的实施例提供了一种基于AI的变配电室人员器具状态监测系统：包括：数据采集层、AI检测层、后端处理层、前端展示层。
本发明提供的一种基于AI的变配电室人员器具状态监测方法，运行在所述的基于AI的变配电室人员器具状态监测系统上，包括以下步骤：
步骤1，将数据采集层、AI检测层、后端处理层分别部署在主机一、主机二、主机三上，将前端展示层部署在云服务器上。
步骤2，数据采集层拉取变配电室监控视频流，通过近似均匀采样算法抽取视频流中的图像帧，调节抽得的图像的尺寸、质量，并将处理后的图像发送至AI检测层。
步骤3，AI检测层通过YOLOv5卷积神经网络模型检测图像中人员、安全装备和工器具目标，检测结果包含目标坐标、检测置信度以及目标类别，然后将处理后的图像和检测结果发送至后端处理层。
步骤4，后端处理层根据检测结果判定变配电室人员安全着装情况和工器具存在情况，根据变配电室状态编辑图像并实时推送由其组成的视频流，对异常状态进行语音报警，上传异常情形下的图像至对象存储服务，封装异常情况、位置、时间等信息并发送至消息队列。
步骤5，通过前端展示层与系统交互，展示编辑后的监控视频、异常类型、异常出现时间、异常出现位置、异常图像等内容，并辅以相关配置选项供用户自主选择被监测的场所以及异常消息是否隐藏。
优选地，步骤1包括：
步骤1.1，配置主机1、主机2、主机3的Python环境，主机2需额外配置深度学习环境。其中，主机1～主机3中任意两台可为同一主机，主机2需配有GPU计算资源。
步骤1.2，在云服务器上配置上安装对象存储服务、消息队列服务和流媒体服务器。
优选地，步骤2包括：
步骤2.1，通过FFmpeg访问监控摄像头视频流，读取视频流帧率和尺寸信息。
步骤2.2，通过近似均匀采样算法计算输入视频流在1秒之内每帧的取舍状态，若状态为0，则表示对应的图像帧将被保留，否则将被丢弃。
步骤2.3，创建消息发送端，通信目标为主机2，通信协议为TCP。
步骤2.4，FFmpeg在子进程中拉取视频流。
步骤2.5，在子线程中访问FFmpeg拉流子进程内存以获取图像，对被保留的图像依次执行格式转换和尺寸变换操作，最后降低图像质量。
步骤2.6，通过TCP通信将处理后的图像发送至AI检测层所在的主机。
步骤2.7，重复步骤2.4～步骤2.6。
优选地，步骤3包括：
步骤3.1，创建消息发送端，通信目标为主机2，通信协议为TCP。
步骤3.2，创建消息接收端并开启接收消息的子线程，通信目标为主机1，通信协议为TCP。
步骤3.3，YOLOv5卷积神经网络模型依次检测接收到的批量图像中人员、安全装备和工器具目标，检测结果包含每张图象中的目标坐标、检测置信度以及目标类别，检测结束后使用非极大值抑制算法对检测到的目标进行过滤，规避对同一目标的重复检测，便于后续异常分析逻辑的撰写。
步骤3.4，通过TCP通信将接收到的图像和检测结果发送至后端处理层所在的主机。
优选地，步骤4包括：
步骤4.1，创建消息接收端并开启接收消息的子线程，通信目标为主机2，通信协议为TCP。
步骤4.2，连接云服务器上的对象存储空间、消息队列和流媒体服务器。连接对象存储服务需要预先提供访问账号及密码用于在指定域名下的服务器中开辟存储空间。连接消息队列需要预先提供用户名和密码用于连接指定的主机和端口，接着创建连接通道并声明队列，之后便可通过指定交换机向该队列发送消息。
步骤4.3，根据接收到的目标信息编辑接收到的图像，即用矩形框标注目标并显示目标类别。
步骤4.4，根据接收到的检测结果分析变配电室人员的安全着装情况和工器具的存在情况，并将相关信息以文字形式打印在图像右上方。
步骤4.5，将异常情况对应的图像帧上传至云服务器对象存储空间，记录图像下载链接，下载连接由对象存储域名、存储空间名称、存储路径和文件名称组成。
步骤4.5，将异常情况封装为JSON格式的消息，消息体包含摄像头编码、人数信息、异常类型编码、异常发生时间以及异常图像下载链接，并通过RabbitMQ发送消息至云服务器消息队列。
步骤4.6，语音播报当前告警信息。
步骤4.7，通过FFmpeg推送视频流，视频编码格式为yuv420p，编码器为h264_nvenc。
优选地，步骤5包括：
步骤5.1，在浏览器访问云服务器上部署的前端网页地址，通过验证码校验后登录机器视觉平台。
步骤5.2，在视觉平台页面左侧选择站点，点击后可观测到步骤4推送的该站点变配电室摄像头监控画面，画面中包含变配电室人员安全着装情况和工器具存在情况信息。视频画面上方可选择画面呈现模式，包含单画面、四宫格和九宫格三个选项。
步骤5.3，视觉平台页面右侧是异常情况提示栏，一旦从云服务器消息队列读取到新消息，则会展示该消息包含的异常类型、异常内容和发现异常的摄像头编码信息。点击“查看详情”按钮可放大该消息，同时呈现变配电室出现异常时的图像。
本发明的有益效果在于，与现有技术相比，提供了一种基于人工智能的变配电室人员器具状态监测方法，该方法充分利用了基于AI的变配电室人员器具状态监测系统，使系统正常有序地运行，向用户直观展现所需监控电柜的实时状态。该方法能保证对实际正常运行中的配电室环境进行全过程监控，对电柜指示灯进行全天智能检测和分析，从而获取电柜运行状态，通过前端展示层直观展示监控画面，实时反馈给作业人员，实时语音播报异常告警信息并在后台产生记录，最大程度地减少电柜异常运行从而导致的严重后果，有效提升配电室工作人员的自我安全保护意识，提高监督人员的工作效率，并且能大大减少人员成本，有效监控配电室的正常运作，从而大大减少配电室安全事故发生的概率，为公司在社会上树立良好的口碑进行助力。
本发明申请人结合说明书附图对本发明的实施示例做了详细的说明与描述，但是本领域技术人员应该理解，以上实施示例仅为本发明的优选实施方案，详尽的说明只是为了帮助读者更好地理解本发明精神，而并非对本发明保护范围的限制，相反，任何基于本发明的发明精神所作的任何改进或修饰都应当落在本发明的保护范围之内。

Claims (10)

1.一种基于AI的变配电室人员器具状态监测方法，其特征在于，包括以下步骤：
步骤1，将数据采集层、AI检测层、后端处理层分别部署在主机上，将前端展示层部署在云服务器上；
步骤2，数据采集层拉取变配电室监控视频流，通过近似均匀采样算法抽取视频流中的图像帧，调节抽得的图像的尺寸、质量，并将处理后的图像发送至AI检测层；
步骤3，AI检测层通过YOLOv5卷积神经网络模型检测图像中人员、安全装备和工器具目标，检测结果包含目标坐标、检测置信度以及目标类别，然后将处理后的图像和检测结果发送至后端处理层；
步骤4，后端处理层根据检测结果判定变配电室人员安全着装情况和工器具存在情况，根据变配电室状态编辑图像并实时推送由其组成的视频流，对异常状态进行语音报警，上传异常情形下的图像至对象存储服务，封装异常情况、位置、时间等信息并发送至消息队列；
步骤5，通过前端展示层与系统交互，展示编辑后的监控视频、异常类型、异常出现时间、异常出现位置、异常图像等内容，并辅以相关配置选项供用户自主选择被监测的场所以及异常消息是否隐藏。
2.如权利要求1所述的基于AI的变配电室人员器具状态监测方法，其特征在于：
步骤1中：将数据采集层、AI检测层、后端处理层分别部署在主机一、主机二、主机三上，将前端展示层部署在云服务器上，其中，主机一到主机三中任意两台可为同一主机，主机二需配有GPU计算资源，云服务器需安装有对象存储服务、消息队列服务和流媒体服务器。
3.如权利要求1所述的基于AI的变配电室人员器具状态监测方法，其特征在于：
步骤2包括：
步骤2.1，通过FFmpeg访问监控摄像头视频流，读取视频流帧率和尺寸信息；
步骤2.2，通过近似均匀采样算法计算输入视频流在1秒之内每帧的取舍状态，若状态为0，则表示对应的图像帧将被保留，否则将被丢弃；
步骤2.3，创建消息发送端，通信目标为主机二，通信协议为TCP；
步骤2.4，FFmpeg在子进程中拉取视频流；
步骤2.5，在子线程中访问FFmpeg拉流子进程内存以获取图像，对被保留的图像依次执行格式转换和尺寸变换操作，最后降低图像质量；
步骤2.6，通过TCP通信将处理后的图像发送至AI检测层所在的主机；
步骤2.7，重复步骤2.4～步骤2.6。
4.如权利要求3所述的基于AI的变配电室人员器具状态监测方法，其特征在于：
步骤2.2包括：
步骤2.2.1，输入、输出帧率分别更新为各自与二者最小公约数的商；
步骤2.2.2，创建初始状态列表，其长度为输出帧率的整数倍且不超过输入帧率的最大值，即该列表可被均分为输出帧率个子列表，将每个子列表中间位置赋值为0，其余位置赋1，值为0表示该位置对应的图像帧将被保留，值为1表示该位置对应的图像将被丢弃，若子列表长度为偶数，则其中间位置用正中间索引向下取整的值对应的位置；
步骤2.2.3，若状态列表的长度小于输入帧率，则表示还剩余两者之差帧图像需要被赋予被丢弃的状态，求能够均匀插入状态列表且不超过剩余帧数的最大数量，向状态列表均匀插入同等数量且值为1的数后得到新的状态列表；
步骤2.2.4，重复步骤2.2.5，在保证均匀的条件下尽可能多地插入剩余帧数的状态，为了数组中0值的分布更加均匀，在插入其它数值之前需计算位置偏移量，其等于上次插入的连续两个值之间的索引差的一半再向下取整得到的值，该步骤持续到剩余帧数为0。
5.如权利要求1所述的基于AI的变配电室人员器具状态监测方法，其特征在于：
步骤3包括：
步骤3.1，创建消息发送端，通信目标为主机二，通信协议为TCP；
步骤3.2，创建消息接收端并开启接收消息的子线程，通信目标为主机一，通信协议为TCP；
步骤3.3，YOLOv5卷积神经网络模型依次检测接收到的批量图像中人员、安全装备和工器具目标，检测结果包含每张图象中的目标坐标、检测置信度以及目标类别；
步骤3.4，通过TCP通信将接收到的图像和检测结果发送至后端处理层所在的主机。
6.如权利要求1所述的基于AI的变配电室人员器具状态监测方法，其特征在于：
步骤3中：AI检测层可识别的目标包括人员及其穿戴类目标、工器具类目标、入侵生物类目标，其中人员及其穿戴类包括安全头盔、绝缘手套、绝缘靴、工作制服、人本身、人的手部以及头部，工器具类包括灭火器、铆钉钳、扳手、螺丝刀、榔头扳手、榔头等，入侵生物类目标包括老鼠。
7.如权利要求1所述的基于AI的变配电室人员器具状态监测方法，其特征在于：
步骤4包括：
步骤4.1，创建消息接收端并开启接收消息的子线程，通信目标为主机二，通信协议为TCP；
步骤4.2，连接云服务器上的对象存储空间、消息队列和流媒体服务器；
步骤4.3，根据接收到的目标信息编辑接收到的图像，即用矩形框标注目标并显示目标类别；
步骤4.4，根据接收到的检测结果分析变配电室人员的安全着装情况和工器具的存在情况，并将相关信息以文字形式打印在图像上；
步骤4.5，将异常情况对应的图像帧上传至云服务器对象存储空间，记录图像下载链接；
步骤4.5，将异常情况进行消息封装，消息体包含摄像头编码、人数信息、异常类型编码、异常等级、异常发生时间以及异常图像下载链接，并通过RabbitMQ发送消息至云服务器消息队列；
步骤4.6，语音播报当前告警信息；
步骤4.7，通过FFmpeg推送视频流。
8.如权利要求7所述的基于AI的变配电室人员器具状态监测方法，其特征在于：
步骤4.4中：异常情况有着装不规范、工器具缺失和生物入侵三种类型，其中，着装不规范为一级异常，细分为未佩戴安全帽、未佩戴手套、未穿制服等，工器具缺失属于二级异常，细为各种具体工器具缺失的异常，生物入侵属于一级异常，目前有老鼠入侵一种异常情况。
9.如权利要求7所述的基于AI的变配电室人员器具状态监测方法，其特征在于：
步骤4.7包括：
步骤4.7.1，创建FFmpeg推流子进程，指定视频编码格式为yuv420p，编码器为h264_nvenc；
步骤4.7.2，开启FFmpeg推流子进程，创建管道作为父子进程之间的通信方式，其中，父进程可写，子进程可读；
步骤4.7.3，创建子线程循环将当前图片写入管道，一旦发生异常，强制关闭子线程并重新创建。
10.如权利要求1所述的基于AI的变配电室人员器具状态监测方法，其特征在于：
步骤5包括：
步骤5.1，在浏览器访问云服务器上部署的前端网页地址，通过验证码校验后登录机器视觉平台；
步骤5.2，在视觉平台页面左侧选择站点，点击后可观测到步骤4推送的该站点变配电室摄像头监控画面，画面中包含变配电室人员安全着装情况和工器具存在情况信息，视频画面上方可选择画面呈现模式，包含单画面、四宫格和九宫格三个选项；
步骤5.3，视觉平台页面右侧是异常情况提示栏，一旦从云服务器消息队列读取到新消息，则会展示该消息包含的异常类型、异常内容和发现异常的摄像头编码信息，点击“查看详情”按钮可放大该消息，同时呈现变配电室出现异常时的图像。
CN202310473868.2A 2023-04-24 2023-04-24 一种基于ai的变配电室人员器具状态监测方法 Pending CN116471381A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310473868.2A CN116471381A (zh) 2023-04-24 2023-04-24 一种基于ai的变配电室人员器具状态监测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310473868.2A CN116471381A (zh) 2023-04-24 2023-04-24 一种基于ai的变配电室人员器具状态监测方法

Publications (1)

Publication Number Publication Date
CN116471381A true CN116471381A (zh) 2023-07-21

Family

ID=87173378

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310473868.2A Pending CN116471381A (zh) 2023-04-24 2023-04-24 一种基于ai的变配电室人员器具状态监测方法

Country Status (1)

Country Link
CN (1) CN116471381A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423199A (zh) * 2023-12-19 2024-01-19 长春市智源科技有限公司 一种基于多视频图像分析的安防预警系统
CN117915050A (zh) * 2024-03-19 2024-04-19 江苏征途技术股份有限公司 基于配电室网关的实时数据读取方法及系统

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117423199A (zh) * 2023-12-19 2024-01-19 长春市智源科技有限公司 一种基于多视频图像分析的安防预警系统
CN117423199B (zh) * 2023-12-19 2024-02-23 长春市智源科技有限公司 一种基于多视频图像分析的安防预警系统
CN117915050A (zh) * 2024-03-19 2024-04-19 江苏征途技术股份有限公司 基于配电室网关的实时数据读取方法及系统
CN117915050B (zh) * 2024-03-19 2024-05-24 江苏征途技术股份有限公司 基于配电室网关的实时数据读取方法及系统

Similar Documents

Publication Publication Date Title
CN116471381A (zh) 一种基于ai的变配电室人员器具状态监测方法
CN107171293A (zh) 智能电网中实现继电保护运维信息多维发布的系统及方法
CN109756030A (zh) 一种智能变电站二次回路可视化在线监测及智能运维方法
CN105488118B (zh) 电气设备故障信息的展示方法和装置
CN112769908A (zh) 协同控制方法、装置及电子设备
CN211184122U (zh) 铁路作业安全防控和大客流预警联动的智能视频分析系统
CN112512073A (zh) 一种基于指纹识别技术的物联网设备异常检测方法
CN112737973B (zh) 一种基于协议感知的电力网络监控方法及系统
CN215580538U (zh) 一种基于配电室的智能运维终端装置
CN114445782A (zh) 基于边缘ai和北斗短报文的输电线路图像采集系统
CN112966552B (zh) 一种基于智能识别的例行巡视方法及系统
CN106529842A (zh) 电网中的调控操作量化评估系统及方法
CN102340179B (zh) 网络型多站监控集成矩阵显示控制系统
CN112612360A (zh) 一种基于vr技术的三维可视化设备监控系统及方法
CN117424336A (zh) 一种基于云端监控的变电站全流程可视化处理系统
CN116597337A (zh) 一种作业行为的监控方法、系统、设备和存储介质
CN112286113A (zh) 一种顺控系统
CN111552191A (zh) 一种厨房安全管理系统及方法
CN112256763A (zh) 在线监控系统及设备
CN109462283A (zh) 智能变电站单个设备流量监控方法及系统
CN210667061U (zh) 一种基于dsp的校园基础设施安全隐患检测系统
CN112558570A (zh) 一种高安全性智能家居控制系统
CN113469580A (zh) 生态修复设备系统的能耗管理方法
CN112488513A (zh) 智慧车站的按需配能系统
CN201742170U (zh) 网络型多站监控集成矩阵显示控制系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination