CN116915958A - 一种一次操作视频监控解析方法及相关装置 - Google Patents

一种一次操作视频监控解析方法及相关装置 Download PDF

Info

Publication number
CN116915958A
CN116915958A CN202311139872.1A CN202311139872A CN116915958A CN 116915958 A CN116915958 A CN 116915958A CN 202311139872 A CN202311139872 A CN 202311139872A CN 116915958 A CN116915958 A CN 116915958A
Authority
CN
China
Prior art keywords
video
video monitoring
time
scoring
key step
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202311139872.1A
Other languages
English (en)
Other versions
CN116915958B (zh
Inventor
雷剧璋
何嘉良
郁景礼
张莉珠
冯镇生
张峰
姚积坤
郭修杰
邓胜初
江伟
黄炳祺
杨伟超
叶玮铮
张俊
黄湘
陆晨光
陈考斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Original Assignee
Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Foshan Power Supply Bureau of Guangdong Power Grid Corp filed Critical Foshan Power Supply Bureau of Guangdong Power Grid Corp
Priority to CN202311139872.1A priority Critical patent/CN116915958B/zh
Publication of CN116915958A publication Critical patent/CN116915958A/zh
Application granted granted Critical
Publication of CN116915958B publication Critical patent/CN116915958B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y04—INFORMATION OR COMMUNICATION TECHNOLOGIES HAVING AN IMPACT ON OTHER TECHNOLOGY AREAS
    • Y04S—SYSTEMS INTEGRATING TECHNOLOGIES RELATED TO POWER NETWORK OPERATION, COMMUNICATION OR INFORMATION TECHNOLOGIES FOR IMPROVING THE ELECTRICAL POWER GENERATION, TRANSMISSION, DISTRIBUTION, MANAGEMENT OR USAGE, i.e. SMART GRIDS
    • Y04S10/00—Systems supporting electrical power generation, transmission or distribution
    • Y04S10/50—Systems or methods supporting the power network operation or management, involving a certain degree of interaction with the load-side end user applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Emergency Management (AREA)
  • Social Psychology (AREA)
  • Business, Economics & Management (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Psychiatry (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

本申请公开了一种一次操作视频监控解析方法及相关装置，方法包括：获取待监控区域对应的操作票，提取操作票的人员信息和操作内容，其中，人员信息包括：操作人和监护人名单以及对应的人员图像，操作内容包括：关键步骤和非关键步骤；当操作开始时，视频监控系统根据操作内容定位到第一高压设备的间隔区域，对操作内容的各关键步骤对应的间隔区域进行录制，得到实时视频；构建操作质量计算公式，基于操作质量计算公式和历史视频帧序列构建用于分类动作和对不同动作进行评分判断的深度学习模型，从而对实时视频进行分类和评分，并根据评分值进行告警处理。从而解决了现有技术工作量大且无法及时对工作异常进行及时告警的问题。

Description

一种一次操作视频监控解析方法及相关装置
技术领域
本申请涉及电力技术领域，尤其涉及一种一次操作视频监控解析方法及相关装置。
背景技术
目前，为了保证作业质量和作业安全，以及便于事后查询等因素，变电站内各项工作逐渐在视频监控下进行，基本所有操作/工作都需要录制视频或者在线云端录制，录制的视频后期进行抽查，而在线云端录制的视频，后台有专门人进行在线监管和查看。目前视频监控只是人工后台进行查看，视频量大。
目前的视频监控的缺点有：1、视频量大，而且操作或者工作时间周期长，无效的走动时间占据了视频大部分，后台视频监控工作量大；2、视频监控存在滞后性，当后台发现问题的时候，前端操作或者工作已经进行大部分，对安全监控起到效果不佳；3、视频监控是移动式的，视频质量不高，很多关键步骤都无法清晰展现；4、不能够实时分析并对操作质量或工作质量进行确认并提醒警告等。
发明内容
本申请提供了一种一次操作视频监控解析方法及相关装置，用于解决现有技术工作量大且无法及时对工作异常进行及时告警的问题。
有鉴于此，本申请第一方面提供了一种一次操作视频监控分析方法，所述方法包括：
获取待监控区域对应的操作票，提取所述操作票的人员信息和操作内容，其中，所述人员信息包括：操作人和监护人名单以及对应的人员图像，所述操作内容包括：关键步骤和非关键步骤；
当操作开始时，视频监控系统根据所述操作内容定位到第一高压设备的间隔区域，对所述操作内容的各所述关键步骤对应的间隔区域进行录制，得到实时视频；
构建操作质量计算公式，基于所述操作质量计算公式和历史视频帧序列构建用于分类动作和对不同动作进行评分判断的深度学习模型，从而对所述实时视频进行分类和评分，并根据评分值进行告警处理。
可选地，所述视频监控系统根据所述操作内容定位到第一高压设备的间隔区域，对所述操作内容的各所述关键步骤对应的间隔区域进行录制，得到实时视频，具体包括：
视频监控系统根据所述操作内容定位到第一高压设备的间隔区域，并延时启动所述间隔区域的视频监控设备，其中，所述视频监控系统环绕式固定布置在所述待监控区域的高压设备中；
当操作人员进入到所述间隔区域时，根据所述人员信息对操作人员进识别，若操作人员为所述人员信息中操作人员，则触发所述视频监控系统根据所述操作内容进行录制；
当处于所述关键步骤时，基于人物居中原则调整所述视频监控设备录制关键步骤对应的间隔区域的实时视频，当处于所述非关键步骤时控制非关键步骤对应的间隔区域的视频录制中断，并控制下一个关键步骤对应的间隔区域所述视频监控设备的视频录制功能处于预备功能，直到所述操作内容的步骤流转完成后停止录制。
可选地，所述构建操作质量计算公式，基于所述操作质量计算公式和历史视频帧序列构建用于分类动作和对不同动作进行评分判断的深度学习模型，从而对所述实时视频进行分类和评分，并根据评分值进行告警处理，具体包括：
将操作设备、操作方式以及操作动作作为操作质量的判据构建操作质量计算公式；
基于所述操作质量评分公式，并根据所述关键步骤对应的历史视频帧序列训练深度学习模型，从而得到用于分类动作和对不同动作进行评分判断的深度学习模型；
通过训练好的所述深度学习模型对所述实时视频进行分类和评分，根据评分值进行告警处理。
可选地，所述操作质量计算公式为：
；
式中，为操作质量，/>为操作设备的正确性，/>为操作方式的选择方式，/>为操作动作的情况，/>为操作方式选择的系数值0.2，/>为操作动作的系数值0.8。
本申请第二方面提供一种一次操作视频监控分析系统，所述系统包括：
解析单元，用于获取待监控区域对应的操作票，提取所述操作票的人员信息和操作内容，其中，所述人员信息包括：操作人和监护人名单以及对应的人员图像，所述操作内容包括：关键步骤和非关键步骤；
监控单元，用于当操作开始时，视频监控系统根据所述操作内容定位到第一高压设备的间隔区域，对所述操作内容的各所述关键步骤对应的间隔区域进行录制，得到实时视频；
分析单元，用于构建操作质量计算公式，基于所述操作质量计算公式和历史视频帧序列构建用于分类动作和对不同动作进行评分判断的深度学习模型，从而对所述实时视频进行分类和评分，并根据评分值进行告警处理。
可选地，所述监控单元，具体用于：
视频监控系统根据所述操作内容定位到第一高压设备的间隔区域，并延时启动所述间隔区域的视频监控设备，其中，所述视频监控系统环绕式固定布置在所述待监控区域的高压设备中；
当操作人员进入到所述间隔区域时，根据所述人员信息对操作人员进识别，若操作人员为所述人员信息中操作人员，则触发所述视频监控系统根据所述操作内容进行录制；
当处于所述关键步骤时，基于人物居中原则调整所述视频监控设备录制关键步骤对应的间隔区域的实时视频，当处于所述非关键步骤时控制非关键步骤对应的间隔区域的视频录制中断，并控制下一个关键步骤对应的间隔区域所述视频监控设备的视频录制功能处于预备功能，直到所述操作内容的步骤流转完成后停止录制。
可选地，所述分析单元，具体用于：
将操作设备、操作方式以及操作动作作为操作质量的判据构建操作质量计算公式；
基于所述操作质量评分公式，并根据所述关键步骤对应的历史视频帧序列训练深度学习模型，从而得到用于分类动作和对不同动作进行评分判断的深度学习模型；
通过训练好的所述深度学习模型对所述实时视频进行分类和评分，根据评分值进行告警处理。
可选地，所述操作质量计算公式为：
；
式中，为操作质量，/>为操作设备的正确性，/>为操作方式的选择方式，/>为操作动作的情况，/>为操作方式选择的系数值0.2，/>为操作动作的系数值0.8。
本申请第三方面提供一种一次操作视频监控分析设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令，执行如上述第一方面所述的一次操作视频监控分析方法的步骤。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述第一方面所述的一次操作视频监控分析方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种一次操作视频监控分析方法，包括：获取待监控区域对应的操作票，提取操作票的人员信息和操作内容，其中，人员信息包括：操作人和监护人名单以及对应的人员图像，操作内容包括：关键步骤和非关键步骤；当操作开始时，视频监控系统根据操作内容定位到第一高压设备的间隔区域，对操作内容的各关键步骤对应的间隔区域进行录制，得到实时视频；构建操作质量计算公式，基于操作质量计算公式和历史视频帧序列构建用于分类动作和对不同动作进行评分判断的深度学习模型，从而对实时视频进行分类和评分，并根据评分值进行告警处理。
与现有技术相比，本申请通过将移动式监控系统布置前置化，直接设备现场环绕式布置，通过计算后台统一进行调动，实现了对变电站内各项工作的实时监控，并且通过视频分析系统对操作质量/工作质量进行确认，并对异常动作做出提醒，对错误行为做出报警，提高了变电站内各项工作的安全性和质量。从而解决了现有技术工作量大且无法及时对工作异常进行及时告警的问题。
附图说明
图1为本申请实施例中提供的一种一次操作视频监控分析方法的流程示意图；
图2为本申请实施例中提供的一种一次操作视频监控分析系统的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
请参阅图1，本申请实施例中提供的一种一次操作视频监控分析方法，包括：
步骤101、获取待监控区域对应的操作票，提取操作票的人员信息和操作内容，其中，人员信息包括：操作人和监护人名单以及对应的人员图像，操作内容包括：关键步骤和非关键步骤；
需要说明的是，从生产管理系统中获取待监控区域对应的操作票的具体内容，操作人、监护人名单，操作票内容根据操作票管理细则中关键步骤对操作票内容进行标注，例如断开XX开关、拉开XX刀闸为关键步骤，检查XX开关在分闸位置、检查XX刀闸在拉开位置则为非关键步骤，对关键步骤进行定义和分类用于后面启动监控系统以及视频分析系统中进行判断。获取的操作人和监护人名单，通过智慧安监系统中获取相关人图像与资格资料，这用于后面视频监控系统中对人员的识别判断。
步骤102、当操作开始时，视频监控系统根据操作内容定位到第一高压设备的间隔区域，对操作内容的各关键步骤对应的间隔区域进行录制，得到实时视频；
在一个实施例中：
当操作开始时，视频监控系统根据操作内容定位到第一高压设备的间隔区域，并延时启动间隔区域的视频监控设备，其中，视频监控系统环绕式固定布置在待监控区域的高压设备中；
当操作人员进入到间隔区域时，根据人员信息对操作人员进识别，若操作人员为人员信息中操作人员，则触发视频监控系统根据操作内容进行录制；
当处于关键步骤时，基于人物居中原则调整视频监控设备录制关键步骤对应的间隔区域的实时视频，当处于非关键步骤时控制非关键步骤对应的间隔区域的视频录制中断，并控制下一个关键步骤对应的间隔区域视频监控设备的视频录制功能处于预备功能，直到操作内容的步骤流转完成后停止录制。
需要说明的是，视频监控系统包括视频监控系统、后台监控主机等，视频监控系统的布置方式如下：在一次高压设备，按照间隔、最大清晰监控范围进行环绕式布置，保证在该间隔区间内所有的操作行为都可以监控清楚。此外，固定式安装方法也避免了视频镜头的晃动。
视频监控系统的启动方式：
当操作工作开启后，操作票解析系统将该操作工作分为关键记录步骤（即该操作项需要录制视频），和非关键步骤（通过后台监控主机进行相应确认）。
控制时间上包括1.关键操作时间、操作间隔移动的等待时间、以及操作票中间再经调度令的等待时间。
具体如下：
当操作开始时，视频监控控制系统根据操作票的内容定位到第一个高压设备间隔，延时启动该间隔附近区的视频监控设备，（根据人员移动的最快速度进行计算，假设距离为D，速度为vmax,则等待时间为，单位SI）当操作人员进入到该间隔区域时，通过人脸识别技术，在智慧安监中进行确认，若人员无误，则对该项操作票内容开启录制，录制流程根据操作票的流程进行推进。
当处于关键操作步骤时，视频监控基于人物图像居中原则，调整镜头位置和角度，将录制视频实时传送到视频分析系统。
当处于非关键步骤时，则通过后台监控主机信号等判据确认无误后，进入到下个关键操作步骤块，该间隔区域的视频录制中断，下个关键操作步骤块对应的间隔区域的视频录制功能进入预备功能，当操作人员进入到下个关键操作步骤间隔，通过图像识别，确认无误后，再次开启该间隔的视频录制，同样过程持续进行，当操作进入再经调度令时，则同样停止录制视频，直到从调度平台接受到新的调度令。
整个流程录制的视频对象都是关键的操作步骤，把操作过程中走动和等待时间全部剔除，对视频分析和保存都大大的简化了。
步骤103、构建操作质量计算公式，基于操作质量计算公式和历史视频帧序列构建用于分类动作和对不同动作进行评分判断的深度学习模型，从而对实时视频进行分类和评分，并根据评分值进行告警处理。
在一个实施例中：
将操作设备、操作方式以及操作动作作为操作质量的判据构建操作质量计算公式；
基于所述操作质量评分公式，并根据所述关键步骤对应的历史视频帧序列训练深度学习模型，从而得到用于分类动作和对不同动作进行评分判断的深度学习模型；
通过训练好的所述深度学习模型对所述实时视频进行分类和评分，根据评分值进行告警处理。
需要说明的是，主要对步骤102获取的视频信息进行同步分析，对操作质量进行确认，对异常行为进行提醒，对错误行为发出警告，同时利用深度学习进行预判。
判断依据为：操作设备+操作方式+操作动作。
操作质量公式为：
，其中/>是操作质量，/>是操作设备的正确性，/>是操作方式的选择方式，/>是操作动作的情况，/>是操作方式选择的系数值0.2，/>是操作动作的系数值0.8。
，操作设备与实际相符，则说明操作设备的正确性为1（即当操作人员处于正确间隔内，则判断操作设备正确性为1），否则操作设备的正确性为0。
操作方式的选择有远方电动操作、端子箱电动操作、机构箱手动操作等，根据误操作风险，操作风险逐渐增加。
；
操作动作的情况
；
；
操作动作包括工器具的使用和操作过程两部分，工器具的使用情况，D为工器具使用正确性占比，C为操作过程正确性占比，当使用工器剧错误或者操作过程方向、按钮不对、或者旋转方向错误则两者都为0。/>为按钮操作的动作判断，/>为方向性操作的动作判断、/>为转动性操作的动作判断，所有动作的判断通过深度学习完成。
本模型可以利用卷积神经网络来构建深度学习模型。本申请中需要建立两步深度学习模型，第一步是解决动作的分类，第二步是对动作解析进行评分。
将操作票关键步骤的视频帧序列作为输入，通过卷积层、全连接层等模块来提取出关键的动作特征。具体而言，可以通过堆叠多个卷积层和池化层来逐步减小特征图的尺寸，并提取出越来越抽象的特征表示。最后，可以将这些特征传递给全连接层，用于分类任务。训练深度学习模型时，可以使用标注好的视频数据集来进行监督学习。具体而言，可以将每个视频帧序列作为输入，将其对应的标签作为输出，使用损失函数来度量模型的预测值与真实值之间的差距，通过反向传播算法来更新模型的参数。
最终得到一个能够正确分类动作（按钮动作、方向性动作、转动性动作）的深度学习模型和不同动作下的评分判断学习模型。训练好深度学习模型后，需要对其进行评估和优化。评估可以使用交叉验证等技术来进行，以保证模型的泛化能力。
操作质量结果合格判断满足下式
；
为了可以预判提前发出预警，一个操作动作完成往往需要数秒，因此可以对关键步骤的起始动作视频帧例如视频流为25帧/s,则取10帧图像值作为计算的预判采样值。计算均值若小于不同操作方式下10%误差对应值，则发出预警。
；
以上为本申请实施例中提供的一种一次操作视频监控分析方法，以下为本申请实施例中提供的一种一次操作视频监控分析系统。
请参阅图2，本申请实施例中提供的一种一次操作视频监控分析系统，包括：
解析单元201，用于获取待监控区域对应的操作票，提取操作票的人员信息和操作内容，其中，人员信息包括：操作人和监护人名单以及对应的人员图像，操作内容包括：关键步骤和非关键步骤；
监控单元202，用于当操作开始时，视频监控系统根据操作内容定位到第一高压设备的间隔区域，对操作内容的各关键步骤对应的间隔区域进行录制，得到实时视频；
分析单元203，用于构建操作质量计算公式，基于操作质量计算公式和历史视频帧序列构建用于分类动作和对不同动作进行评分判断的深度学习模型，从而对实时视频进行分类和评分，并根据评分值进行告警处理。
进一步地，本申请实施例中还提供了一种一次操作视频监控分析设备，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令，执行如上述方法实施例所述的一次操作视频监控分析方法的步骤。
进一步地，本申请实施例中还提供了计算机可读存储介质，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行上述方法实施例所述的方法。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请的说明书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等（如果存在）是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
应当理解，在本申请中，“至少一个（项）”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，用于描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：只存在A，只存在B以及同时存在A和B三种情况，其中A，B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达，是指这些项中的任意组合，包括单项（个）或复数项（个）的任意组合。例如，a，b或c中的至少一项（个），可以表示：a，b，c，“a和b”，“a和c”，“b和c”，或“a和b和c”，其中a，b，c可以是单个，也可以是多个。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（英文全称：Read-OnlyMemory，英文缩写：ROM）、随机存取存储器（英文全称：Random Access Memory，英文缩写：RAM）、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种一次操作视频监控分析方法，其特征在于，包括：
获取待监控区域对应的操作票，提取所述操作票的人员信息和操作内容，其中，所述人员信息包括：操作人和监护人名单以及对应的人员图像，所述操作内容包括：关键步骤和非关键步骤；
当操作开始时，视频监控系统根据所述操作内容定位到第一高压设备的间隔区域，对所述操作内容的各所述关键步骤对应的间隔区域进行录制，得到实时视频；
构建操作质量计算公式，基于所述操作质量计算公式和历史视频帧序列构建用于分类动作和对不同动作进行评分判断的深度学习模型，从而对所述实时视频进行分类和评分，并根据评分值进行告警处理。
2.根据权利要求1所述的一次操作视频监控分析方法，其特征在于，所述视频监控系统根据所述操作内容定位到第一高压设备的间隔区域，对所述操作内容的各所述关键步骤对应的间隔区域进行录制，得到实时视频，具体包括：
视频监控系统根据所述操作内容定位到第一高压设备的间隔区域，并延时启动所述间隔区域的视频监控设备，其中，所述视频监控系统环绕式固定布置在所述待监控区域的高压设备中；
当操作人员进入到所述间隔区域时，根据所述人员信息对操作人员进识别，若操作人员为所述人员信息中操作人员，则触发所述视频监控系统根据所述操作内容进行录制；
当处于所述关键步骤时，基于人物居中原则调整所述视频监控设备录制关键步骤对应的间隔区域的实时视频，当处于所述非关键步骤时控制非关键步骤对应的间隔区域的视频录制中断，并控制下一个关键步骤对应的间隔区域所述视频监控设备的视频录制功能处于预备功能，直到所述操作内容的步骤流转完成后停止录制。
3.根据权利要求1所述的一次操作视频监控分析方法，其特征在于，所述构建操作质量计算公式，基于所述操作质量计算公式和历史视频帧序列构建用于分类动作和对不同动作进行评分判断的深度学习模型，从而对所述实时视频进行分类和评分，并根据评分值进行告警处理，具体包括：
将操作设备、操作方式以及操作动作作为操作质量的判据构建操作质量计算公式；
基于所述操作质量计算公式，并根据所述关键步骤对应的历史视频帧序列训练深度学习模型，从而得到用于分类动作和对不同动作进行评分判断的深度学习模型；
通过训练好的所述深度学习模型对所述实时视频进行分类和评分，根据评分值进行告警处理。
4.根据权利要求1所述的一次操作视频监控分析方法，其特征在于，所述操作质量计算公式为：
；
式中，为操作质量，/>为操作设备的正确性，/>为操作方式的选择方式，/>为操作动作的情况，/>为操作方式选择的系数值0.2，/>为操作动作的系数值0.8。
5.一种一次操作视频监控分析系统，其特征在于，包括：
解析单元，用于获取待监控区域对应的操作票，提取所述操作票的人员信息和操作内容，其中，所述人员信息包括：操作人和监护人名单以及对应的人员图像，所述操作内容包括：关键步骤和非关键步骤；
监控单元，用于当操作开始时，视频监控系统根据所述操作内容定位到第一高压设备的间隔区域，对所述操作内容的各所述关键步骤对应的间隔区域进行录制，得到实时视频；
分析单元，用于构建操作质量计算公式，基于所述操作质量计算公式和历史视频帧序列构建用于分类动作和对不同动作进行评分判断的深度学习模型，从而对所述实时视频进行分类和评分，并根据评分值进行告警处理。
6.根据权利要求5所述的一次操作视频监控分析系统，其特征在于，所述监控单元，具体用于：
视频监控系统根据所述操作内容定位到第一高压设备的间隔区域，并延时启动所述间隔区域的视频监控设备，其中，所述视频监控系统环绕式固定布置在所述待监控区域的高压设备中；
当操作人员进入到所述间隔区域时，根据所述人员信息对操作人员进识别，若操作人员为所述人员信息中操作人员，则触发所述视频监控系统根据所述操作内容进行录制；
当处于所述关键步骤时，基于人物居中原则调整所述视频监控设备录制关键步骤对应的间隔区域的实时视频，当处于所述非关键步骤时控制非关键步骤对应的间隔区域的视频录制中断，并控制下一个关键步骤对应的间隔区域所述视频监控设备的视频录制功能处于预备功能，直到所述操作内容的步骤流转完成后停止录制。
7.根据权利要求5所述的一次操作视频监控分析系统，其特征在于，所述分析单元，具体用于：
将操作设备、操作方式以及操作动作作为操作质量的判据构建操作质量计算公式；
基于所述操作质量计算公式，并根据所述关键步骤对应的历史视频帧序列训练深度学习模型，从而得到用于分类动作和对不同动作进行评分判断的深度学习模型；
通过训练好的所述深度学习模型对所述实时视频进行分类和评分，根据评分值进行告警处理。
8.根据权利要求5所述的一次操作视频监控分析系统，其特征在于，所述操作质量计算公式为：
；
式中，为操作质量，/>为操作设备的正确性，/>为操作方式的选择方式，/>为操作动作的情况，/>为操作方式选择的系数值0.2，/>为操作动作的系数值0.8。
9.一种一次操作视频监控分析设备，其特征在于，所述设备包括处理器以及存储器：
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-4任一项所述的一次操作视频监控分析方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质用于存储程序代码，所述程序代码用于执行权利要求1-4任一项所述的一次操作视频监控分析方法。
CN202311139872.1A 2023-09-06 2023-09-06 一种一次操作视频监控解析方法及相关装置 Active CN116915958B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311139872.1A CN116915958B (zh) 2023-09-06 2023-09-06 一种一次操作视频监控解析方法及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311139872.1A CN116915958B (zh) 2023-09-06 2023-09-06 一种一次操作视频监控解析方法及相关装置

Publications (2)

Publication Number Publication Date
CN116915958A true CN116915958A (zh) 2023-10-20
CN116915958B CN116915958B (zh) 2024-02-13

Family

ID=88363265

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311139872.1A Active CN116915958B (zh) 2023-09-06 2023-09-06 一种一次操作视频监控解析方法及相关装置

Country Status (1)

Country Link
CN (1) CN116915958B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591223A (zh) * 2012-02-13 2012-07-18 福建省电力有限公司福州电业局 变电运行操作票智能化诊断系统
CN205450700U (zh) * 2015-12-28 2016-08-10 国网浙江省电力公司宁波供电公司 一种倒闸操作监控系统
CN108900000A (zh) * 2018-07-20 2018-11-27 北京百度网讯科技有限公司 电气倒闸监控方法、装置、设备及计算机可读介质
DE102019102299A1 (de) * 2019-01-30 2020-07-30 Esg Elektroniksystem- Und Logistik-Gmbh Verfahren und Vorrichtung zum automatisierten Erfassen von Fehlern in Computersystemen
CN111554284A (zh) * 2020-04-24 2020-08-18 广东电网有限责任公司东莞供电局 一种倒闸操作监控方法、装置、设备及存储介质
CN112364696A (zh) * 2020-10-13 2021-02-12 特斯联科技集团有限公司 一种利用家庭监控视频提高家庭安全的方法及系统
CN114548905A (zh) * 2022-01-18 2022-05-27 国网浙江省电力有限公司临海市供电公司 一种基于ai识别的变电站工作许可管控方法
CN115511329A (zh) * 2022-09-30 2022-12-23 广东立胜综合能源服务有限公司 一种电力作业合规监测系统及方法
CN116708907A (zh) * 2022-02-28 2023-09-05 青岛海尔创新科技有限公司 菜谱生成方法、装置、设备、存储介质及程序产品

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102591223A (zh) * 2012-02-13 2012-07-18 福建省电力有限公司福州电业局 变电运行操作票智能化诊断系统
CN205450700U (zh) * 2015-12-28 2016-08-10 国网浙江省电力公司宁波供电公司 一种倒闸操作监控系统
CN108900000A (zh) * 2018-07-20 2018-11-27 北京百度网讯科技有限公司 电气倒闸监控方法、装置、设备及计算机可读介质
DE102019102299A1 (de) * 2019-01-30 2020-07-30 Esg Elektroniksystem- Und Logistik-Gmbh Verfahren und Vorrichtung zum automatisierten Erfassen von Fehlern in Computersystemen
CN111554284A (zh) * 2020-04-24 2020-08-18 广东电网有限责任公司东莞供电局 一种倒闸操作监控方法、装置、设备及存储介质
CN112364696A (zh) * 2020-10-13 2021-02-12 特斯联科技集团有限公司 一种利用家庭监控视频提高家庭安全的方法及系统
CN114548905A (zh) * 2022-01-18 2022-05-27 国网浙江省电力有限公司临海市供电公司 一种基于ai识别的变电站工作许可管控方法
CN116708907A (zh) * 2022-02-28 2023-09-05 青岛海尔创新科技有限公司 菜谱生成方法、装置、设备、存储介质及程序产品
CN115511329A (zh) * 2022-09-30 2022-12-23 广东立胜综合能源服务有限公司 一种电力作业合规监测系统及方法

Also Published As

Publication number Publication date
CN116915958B (zh) 2024-02-13

Similar Documents

Publication Publication Date Title
CN111401161A (zh) 基于智能视频分析算法实现行为识别的智慧建筑管控系统
CN118072255B (zh) 一种智慧园区多源数据动态监控和实时分析系统及方法
WO2010141117A2 (en) System and method for predicting abnormal behavior
CN109544870A (zh) 用于智能监控系统的报警判断方法与智能监控系统
WO2022115419A1 (en) Method of detecting an anomaly in a system
CN116862740A (zh) 一种基于互联网的智能监狱管控系统
JP7282186B2 (ja) 状況認識監視
CN115565101A (zh) 一种生产安全异常识别方法、装置、电子设备及存储介质
CN115103157A (zh) 基于边云协同的视频分析方法、装置、电子设备及介质
CN117235443A (zh) 一种基于边缘ai的电力作业安全监测方法及系统
CN118486152B (zh) 安防告警信息数据交互系统及方法
CN115567690A (zh) 一种自动识别现场作业危险点的智慧监控系统
CN112651306A (zh) 工具取用监控方法及装置
CN117746338B (zh) 基于人工智能的物业园区安全管理方法及系统
CN116915958B (zh) 一种一次操作视频监控解析方法及相关装置
CN116597501A (zh) 视频分析算法及边缘设备
CN114942364A (zh) 一种基于知识图谱技术的变电站故障诊断方法与系统
CN110891039B (zh) 一种基于lm神经网络的煤矿监控系统安全预警方法
CN113065500A (zh) 面向一类特殊动作的异常行为管控系统
CN118172711B (zh) 一种ai大数据智能管理方法及系统
CN118172698A (zh) 一种监督岗异常行为的识别方法、装置、设备及介质
CN109407600A (zh) 一种消防、电力、安防运维系统中对工作人员的监控方法
CN116886875B (zh) 一种二次操作视频监控分析方法及相关装置
Islam et al. Carts: Constraint-based analytics from real-time system monitoring
CN118247735B (zh) 基于物联网的工业美术产品贮存装置及其防护系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant