CN110705389A - 一种电网作业行为的识别方法及系统 - Google Patents

一种电网作业行为的识别方法及系统 Download PDF

Info

Publication number
CN110705389A
CN110705389A CN201910870913.1A CN201910870913A CN110705389A CN 110705389 A CN110705389 A CN 110705389A CN 201910870913 A CN201910870913 A CN 201910870913A CN 110705389 A CN110705389 A CN 110705389A
Authority
CN
China
Prior art keywords
video data
network model
operation behavior
identifying
real
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910870913.1A
Other languages
English (en)
Inventor
高昆仑
张国梁
甘津瑞
吴鹏
赵婷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Corp of China SGCC
Global Energy Interconnection Research Institute
Original Assignee
State Grid Corp of China SGCC
Global Energy Interconnection Research Institute
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Corp of China SGCC, Global Energy Interconnection Research Institute filed Critical State Grid Corp of China SGCC
Priority to CN201910870913.1A priority Critical patent/CN110705389A/zh
Publication of CN110705389A publication Critical patent/CN110705389A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biomedical Technology (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种电网作业行为的识别方法及系统，该方法包括：获取电网作业现场的离线视频数据及各待监测目标的实时监控视频数据；构建作业行为识别网络模型，根据离线视频数据对作业行为识别网络模型进行训练，得到标准作业行为识别网络模型；根据标准作业行为识别网络模型，对实时监控视频数据进行识别，生成各待监测目标的识别结果。通过构建的作业行为识别网络模型，对实时监控的视频进行行为识别，保证了输入数据的有效性，提高了算法对于目标识别的精准度，对电网作业场景等施工环境相对复杂场景下的作业人员的违章行为进行及时有效的识别与监测。

Description

一种电网作业行为的识别方法及系统
技术领域
本发明涉及行为识别技术领域，具体涉及一种电网作业行为的识别方法及系统。
背景技术
电网施工环境相对复杂，存在着众多不安全因素对作业人员的人身安全构成了潜在威胁。作业人员在作业现场普遍存在没有按照规章制度进行操作的违章行为，这种违章行为在威胁作业人员的人身安全的同时，也会影响电网的规范施工。目前，由于对反违章行为缺乏有效的监控手段，难以做到及时提醒和制止违章操作行为的发生，导致各类人身安全事故频发。因此，如何对电网作业场景等施工环境相对复杂场景下的作业人员的违章行为进行及时有效的识别具有重要的理论意义和实用价值。
发明内容
有鉴于此，本发明提供了一种电网作业行为的识别方法及系统，以解决现有技术中由于对反违章行为缺乏有效的监控手段，难以做到及时提醒和制止违章操作行为的发生的问题。
本发明实施例提供了一种电网作业行为的识别方法，包括：获取电网作业现场的离线视频数据及各待监测目标的实时监控视频数据；构建作业行为识别网络模型，根据所述离线视频数据对所述作业行为识别网络模型进行训练，得到标准作业行为识别网络模型；根据所述标准作业行为识别网络模型，对所述实时监控视频数据进行识别，生成各所述待监测目标的识别结果。
可选地，所述获取电网作业现场的离线视频数据，包括：获取所述电网作业现场的各作业人员的目标ID；根据所述目标ID，对所述离线视频进行作业人员目标检测，提取各所述作业人员对应的视频数据帧序列。
可选地，所述根据所述离线视频数据对所述作业行为识别网络模型进行训练，得到标准作业行为识别网络模型，包括：分别对各所述视频数据帧序列进行采样得到多个视频数据帧片段；将各所述视频数据帧片段分别送入共享权重的2D卷积子网络，得到多个特征图；将各所述特征图进行时空堆叠，生成时空特征体；将所述时空特征体分别输入3D子网络和2D子网络进行模型训练，得到所述标准作业行为识别网络模型。
可选地，所述将所述时空特征体分别输入3D子网络和2D子网络进行模型训练，包括：将所述时空特征体输入所述3D子网络进行训练，生成第一评分特征向量；将所述时空特征体输入所述2D子网络进行训练，生成第二评分特征向量；将所述第一评分特征向量与所述第二评分特征向量进行级联，得到评分向量；采用预设分类算法对所述评分向量进行分类，得到所述作业人员的行为类别标签。
可选地，所述根据所述标准作业行为识别网络模型，对所述实时监控视频数据进行识别，生成各所述待监测目标的识别结果，包括：根据所述实时监控视频数据的采集时间顺序，从所述实时监控视频数据中提取预设帧数量的样本视频段；将所述样本视频段输入到所述标准作业行为识别网络模型，得到与所述样本视频段对应的识别结果。
可选地，所述根据所述标准作业行为识别网络模型，对所述实时监控视频数据进行识别，生成各所述待监测目标的识别结果，还包括：判断剩余的所述实时监控视频数据是否满足所述预设帧数量的要求；当所述实时监控视频数据满足所述预设帧数量的要求时，对所述样本视频段进行更新，并返回将所述样本视频段输入到所述标准作业行为识别网络模型，得到与所述样本视频段对应的识别结果的步骤。
可选地，所述根据所述标准作业行为识别网络模型，对所述实时监控视频数据进行识别，生成各所述待监测目标的识别结果，还包括：判断所述评分向量中的最大值是否大于预设阈值；当所述评分向量中的最大值大于所述预设阈值时，则输出所述评分向量中的最大值所对应的行为类别标签。
本发明实施例还提供了一种电网作业行为的识别系统，包括：获取模块，用于获取电网作业现场的离线视频数据及各待监测目标的实时监控视频数据；标准作业行为识别网络模型训练模块，用于构建作业行为识别网络模型，根据所述离线视频数据对所述作业行为识别网络模型进行训练，得到标准作业行为识别网络模型；作业行为识别模块，用于根据所述标准作业行为识别网络模型，对所述实时监控视频数据进行识别，生成各所述待监测目标的识别结果。
本发明实施例还提供了一种非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储计算机指令，从而执行本发明实施例提供的电网作业行为的识别方法。
本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，用于所述计算机指令执行本发明实施例提供的电网作业行为的识别方法。
本发明技术方案，具有如下优点：
本发明实施例提供了一种电网作业行为的识别方法，通过一种高效卷积神经网络构建作业行为识别网络模型，对实时监控的视频进行行为识别，生成对应作业人员的行为类别标签，实现在作业场景内多个作业人员的分离进而保证了输入数据的有效性，增加了算法对于目标识别的精准度，提高了系统的运行速度，实现了对电网作业场景等施工环境相对复杂场景下的作业人员的违章行为进行及时有效的识别与监测，从而可以及时提醒和制止违章操作行为的发生，为电网安全作业、规范作业提供了技术保障。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中电网作业行为的识别方法的流程图；
图2为本发明实施例中作业行为识别模型网络结构的示意图；
图3为本发明实施例中标准作业行为识别网络模型的示意图；
图4为本发明实施例中样本视频段更新过程的示意图；
图5为本发明实施例中电网作业行为的识别系统的示意图；
图6为本发明实施例中的电子设备的结构示意图。
具体实施方式
下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
此外，下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
本发明实施例提供了一种电网作业行为的识别方法，如图1所示，该电网作业行为的识别方法具体包括：
步骤S1：获取电网作业现场的离线视频数据及各待监测目标的实时监控视频数据。在实际应用中，获取的电网作业现场的离线视频输送是为了用于对后续构建的作业行为识别模型进行训练，其中，离线视频数据指的是在各作业现场历史记录中采集的视频数据，在该离线视频数据包含了在电网作业现场的各个作业人员进行违章操作的视频信息，例如：视频信息为某作业人员A在作业现场出现没有按要求佩戴安全作业工具的违章操作行为等；各待监测目标的实时监控视频数据是实际采集的电网作业现场实时作业的数据集，此实时监控视频数据可以通过各种类型摄像设备采集得到，并随着时间的推进而不断地进行更新。
具体地，在一实施例中，上述的步骤S1中获取电网作业现场的离线视频数据，具体包括如下步骤：
步骤S11：获取电网作业现场的各作业人员的目标ID。作业现场的每个作业人员都有属于自己的唯一并且相互不冲突的ID，以方便后续的目标追踪以及行为识别。
步骤S12：根据目标ID，对离线视频进行作业人员目标检测，提取各作业人员对应的视频数据帧序列。在实际应用中，进行作业人员目标检测可以采用但不局限于YOLO、SSD及其改进版本的算法，在进行作业人员跟踪过程中采用但不局限于SORT、DeepSORT等算法。针对单一目标人员，通过串联前景并抑制背景的方式，生成关于特定人员ID的时空管道也就是作业人员对应的视频数据帧序列，其中假设当前时刻视频数据中共计出现过N个不同的ID号码，则循环执行上述过程N次，即可得到关于每个ID的独立视频数据帧序列。本发明实施例中使用典型的目标检测及多目标跟踪算法，实现了对施工场景内多个作业目标的分离，并通过设计时空管道构建策略为后续的多目标行为识别任务提供了有效的输入数据，需要说明的是，在实际应用算法进行作业人员目标检测与跟踪时，也可以采用其他算法只要能达到与本发明实施例相同的目标与效果即可，本发明不以此为限。
步骤S2：构建作业行为识别网络模型，根据离线视频数据对作业行为识别网络模型进行训练，得到标准作业行为识别网络模型。在实际应用中，将已知行为结果的离线视频数据输入到作业行为识别网络模型中，通过训练数据集对网络模型进行训练，使用多个训练数据集对模型进行多次训练以提高识别的精准度以及识别效率，减少误识别、漏识别事件的发生，得到标准行为识别网络模型。
具体地，在一实施例中，如图2所示，上述的步骤S2中根据离线视频数据对作业行为识别网络模型进行训练，得到标准作业行为识别网络模型，具体包括如下步骤：
步骤S21：分别对各视频数据帧序列进行采样得到多个视频数据帧片段。如图2所示，图中S1至SM是从视频序列中采样得到的M个视频数据帧片段，在实际应用中，通常此视频数据帧片段为帧数量大于2帧的片段，具体每一个视频数据帧片段中所包含帧的数量可以根据在实际应用中的需要进行灵活的设置，本发明并不以此为限。
步骤S22：将各视频数据帧片段分别送入共享权重的2D卷积子网络，得到多个特征图。在实际应用中，采用共享权重的2D卷积子网络即如图2所示的2D Net，是因为权重共享既可以减少运算，还可以使网络模型不必固定输入，也就是权重共享就使得模型能够处理一个连续序列的特征，而不受输入的序列总长度的限制，当这个连续序列在样本的不同位置时，依然能够进行有效的行为识别，进而无需学习每个位置的规则，减少了规则的学习，提高了识别速度与识别效率。
步骤S23：将各特征图进行时空堆叠，生成时空特征体。其中，为了保证特征提取的效率，在本发明实施例中，上述的2D卷积子网络采用BN-Inception架构，在2D空间层面采用视频帧稀疏采样的策略，即在一个时序邻域内仅对单帧图像进行特征提取，以避免帧间信息的冗余；对于时空层面，在较远帧之间采取对特征图执行3D卷积的方式实现端到端融合，以编码长时程视频序列的帧间上下文信息，但需要说明的是，在实际应用中不局限于此架构进行相应操作，本发明并不以此为限。
步骤S24：将时空特征体分别输入3D子网络和2D子网络进行模型训练，得到标准作业行为识别网络模型。实际应用中，把时空特征体输入后，分别输出分类好的评分特征向量，然后进行简单的级联叠加形成概率评分向量来分类识别到的违章行为。
具体地，在一实施例中，如图3所示，上述的步骤S24中将时空特征体分别输入3D子网络和2D子网络进行模型训练，具体包括如下步骤：
步骤S241：将时空特征体输入3D子网络进行训练，生成第一评分特征向量。采用3D子网络对时空特征体进行处理后输出维数与行为类别数目一致的评分特征向量，此评分特征向量是概率评分向量，其中，在本发明实施例中，该3D子网络即如图2或图3所示的3D Net采用3D-Resnet18网络搭建而成，需要说明的是，3D子网络分支也可以采用其他起到相同作用的网络搭建，本发明不以此为限。
步骤S242：将时空特征体输入2D子网络进行训练，生成第二评分特征向量。此评分特征向量是概率评分向量，如图3所示，额外添加的2D网络分支2D Nets主体结构采用BN-Inception网络的后端部分来实现，但需要说明的是，2D网络分支主体结构也可以采用其他网路模型，本发明并不以此为限。
步骤S243：将第一评分特征向量与第二评分特征向量进行级联，得到评分向量。此处进行的两部分级联就是将上述步骤S241及步骤S242得出的第一评分特征向量和第二评分特征向量进行叠加，得到叠加后的概率评分向量，在本发明实施例中，如图3所示，该第一评分特征向量和第二评分特征向量分别由512位和1024位的数列表示，分别将512位与1024位的数列进行叠加，得到1563位数列对应的评分向量PA。
步骤S244：采用预设分类算法对评分向量进行分类，得到作业人员的行为类别标签。在实际应用中，评分向量PA中的每个概率值对应每个违章行为可能发生的概率，其中此概率值越大就证明发生该违章行为的机率越大，在进行违章行为分类过程中，可以利用Softmax分类器对各行为进行分类，得到相对应的各行为类别标签，需要说明的是，分类的过程也可选用其他分类方式，只要能同样实现对违章行为的分类即可，本发明并不以此为限。
步骤S3：根据标准作业行为识别网络模型，对实时监控视频数据进行识别，生成各待监测目标的识别结果。在实际应用中，将作业现场各摄像设备采集到的实时监控的视频数据，输入到使用历史监控视频数据训练好的标准作业行为识别网络模型中，得到对应的行为类别标签，也就是每个现场作业人员的行为识别结果。
具体地，在一实施例中，上述的步骤S3，具体包括如下步骤：
步骤S31：根据实时监控视频数据的采集时间顺序，从实时监控视频数据中提取预设帧数量的样本视频段。具体地，如图4所示，假设，将t时刻输入的视频数据划分为包含F帧的视频段，在在线识别的初始阶段，对前F帧进行密集采样，生成样本视频段SF，其中，进行密集采样的采样帧数量同样设置为F帧。
步骤S32：将样本视频段输入到标准作业行为识别网络模型，得到与样本视频段对应的识别结果。在实际应用中，识别结果就是作业人员相对应的行为类别标签，该行为类别标签是通过对作业行为识别网络模型的训练确定的，例如：对模型进行训练的结果为抬手的动作被定义为一类违章行为，在作业现场不佩戴或摘取安全帽被定义为另一类违章行为，如果上述的样本视频段中存在了上述违章行为，则该样本视频段对应的识别结果就是根据对应的将各个违章行为归类为某个违章行为类别，相应的输出此行为类别标签，从而可以直观地反映出作业人员是否存在违章作业的行为。
具体地，在一实施例中，上述的步骤S3中，具体还包括如下步骤：
步骤S33：判断剩余的实时监控视频数据是否满足预设帧数量的要求。在实际应用中，由于实时监控数据是实时采集并不断发生变化的，因此，为了实现对作业人员的作业行为的实时监控识别其违章操作行为，需要不断地判断实时监控数据是否有新的视频数据产生，如果有则需要对新的视频数据中的作业行为进行识别，则执行步骤S34。
步骤S34：当实时监控视频数据满足预设帧数量的要求时，对样本视频段进行更新，并返回将样本视频段输入到标准作业行为识别网络模型，得到与样本视频段对应的识别结果的步骤。在实际应用中，当后续采集的视频帧数量达到F帧时，如图4所示，将生成新的标准长度的样本视频段，记为SN。取SN中的部分样本帧对SF中的样本帧进行替换，得到更新后的SF，以确保在实时预测的同时，兼顾时间上下文的历史淘汰机制。将更新后的SF送入标准作业行为识别网络模型以得到关于行为类别的评分向量P，并对应地更新PA。
步骤S35：判断评分向量中的最大值是否大于预设阈值。在实际应用中，评分向量中的各个数值值就代表了可能发生对应违章行为的概率，其中最大值就对应着此序列中的该违章行为的发生概率最大，该预设阈值表示判定某一作业行为是否属于违章行为的条件，如果该作业行为违章行为的概率值大于该预设阈值则判定该作业行为属于违章行为，反之，则任务该作业行为是规范作业行为，从而通过将评分向量中的最大值与预设阈值进行比较，就可以判断作业人员此时对应的作业行为是否符合规定或属于违章行为。
步骤S36：当评分向量中的最大值大于预设阈值时，则输出评分向量中的最大值所对应的行为类别标签。在实际应用中，假设Y为标签显示的预设阈值，且当max(PA)>Y，也就是概率评分向量PA中的最大值大于预设阈值Y，则此时系统的识别结果即为PA中最大值所对应的行为类别标签；反之，则认定当前无违章行为发生，不显示任何检测结果。
通过上述步骤S1至步骤S3，本发明实施例提供的电网作业行为的识别方法，通过一种高效卷积神经网络构建作业行为识别网络模型，对实时监控的视频进行行为识别，生成对应作业人员的行为类别标签，实现在作业场景内多个作业人员的分离进而保证了输入数据的有效性，增加了算法对于目标识别的精准度，提高了系统的运行速度，对电网作业场景等施工环境相对复杂场景下的作业人员的违章行为进行及时有效的识别与监测，并且及时提醒和制止违章操作行为的发生。
本发明实施例还提供了一种电网作业行为的识别系统，如图5所示，该电网作业行为的识别系统包括：
获取模块1，用于获取电网作业现场的离线视频数据及各待监测目标的实时监控视频数据。详细内容参见上述方法实施例中步骤S1的相关描述。
标准作业行为识别网络模型训练模块2，用于构建作业行为识别网络模型，根据离线视频数据对作业行为识别网络模型进行训练，得到标准作业行为识别网络模型；。详细内容参见上述方法实施例中步骤S2的相关描述。
作业行为识别模块3，用于根据标准作业行为识别网络模型，对实时监控视频数据进行识别，生成各待监测目标的识别结果。详细内容参见上述方法实施例中步骤S3的相关描述。
通过上述各个组成部分的协同合作，本发明实施例提供的电网作业行为的识别系统，通过一种高效卷积神经网络构建作业行为识别网络模型，对实时监控的视频进行行为识别，生成对应作业人员的行为类别标签，实现在作业场景内多个作业人员的分离进而保证了输入数据的有效性，增加了算法对于目标识别的精准度，提高了系统的运行速度，对电网作业场景等施工环境相对复杂场景下的作业人员的违章行为进行及时有效的识别与监测，并且及时提醒和制止违章操作行为的发生。
本发明实施例还提供了一种电子设备，如图6所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图6中以通过总线连接为例。
处理器901可以为中央处理器(Central Processing Unit，CPU)。处理器901还可以为其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)、随机存储记忆体(Random Access Memory，RAM)、快闪存储器(Flash Memory)、硬盘(Hard Disk Drive，缩写：HDD)或固态硬盘(Solid-StateDrive，SSD)等；存储介质还可以包括上述种类的存储器的组合。
以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求范围当中。

Claims (10)

1.一种电网作业行为的识别方法，其特征在于，包括：
获取电网作业现场的离线视频数据及各待监测目标的实时监控视频数据；
构建作业行为识别网络模型，根据所述离线视频数据对所述作业行为识别网络模型进行训练，得到标准作业行为识别网络模型；
根据所述标准作业行为识别网络模型，对所述实时监控视频数据进行识别，生成各所述待监测目标的识别结果。
2.根据权利要求1所述的电网作业行为的识别方法，其特征在于，所述获取电网作业现场的离线视频数据，包括：
获取所述电网作业现场的各作业人员的目标ID；
根据所述目标ID，对所述离线视频进行作业人员目标检测，提取各所述作业人员对应的视频数据帧序列。
3.根据权利要求2所述的电网作业行为的识别方法，其特征在于，所述根据所述离线视频数据对所述作业行为识别网络模型进行训练，得到标准作业行为识别网络模型，包括：
分别对各所述视频数据帧序列进行采样得到多个视频数据帧片段；
将各所述视频数据帧片段分别送入共享权重的2D卷积子网络，得到多个特征图；
将各所述特征图进行时空堆叠，生成时空特征体；
将所述时空特征体分别输入3D子网络和2D子网络进行模型训练，得到所述标准作业行为识别网络模型。
4.根据权利要求3所述的电网作业行为的识别方法，其特征在于，所述将所述时空特征体分别输入3D子网络和2D子网络进行模型训练，包括：
将所述时空特征体输入所述3D子网络进行训练，生成第一评分特征向量；
将所述时空特征体输入所述2D子网络进行训练，生成第二评分特征向量；
将所述第一评分特征向量与所述第二评分特征向量进行级联，得到评分向量；采用预设分类算法对所述评分向量进行分类，得到所述作业人员的行为类别标签。
5.根据权利要求1所述的电网作业行为的识别方法，其特征在于，所述根据所述标准作业行为识别网络模型，对所述实时监控视频数据进行识别，生成各所述待监测目标的识别结果，包括：
根据所述实时监控视频数据的采集时间顺序，从所述实时监控视频数据中提取预设帧数量的样本视频段；
将所述样本视频段输入到所述标准作业行为识别网络模型，得到与所述样本视频段对应的识别结果。
6.根据权利要求5所述的电网作业行为的识别方法，其特征在于，所述根据所述标准作业行为识别网络模型，对所述实时监控视频数据进行识别，生成各所述待监测目标的识别结果，还包括：
判断剩余的所述实时监控视频数据是否满足所述预设帧数量的要求；
当所述实时监控视频数据满足所述预设帧数量的要求时，对所述样本视频段进行更新，并返回将所述样本视频段输入到所述标准作业行为识别网络模型，得到与所述样本视频段对应的识别结果的步骤。
7.根据权利要求4所述的电网作业行为的识别方法，其特征在于，所述根据所述标准作业行为识别网络模型，对所述实时监控视频数据进行识别，生成各所述待监测目标的识别结果，还包括：
判断所述评分向量中的最大值是否大于预设阈值；
当所述评分向量中的最大值大于所述预设阈值时，则输出所述评分向量中的最大值所对应的行为类别标签。
8.一种电网作业行为的识别系统，其特征在于，包括：
获取模块，用于获取电网作业现场的离线视频数据及各待监测目标的实时监控视频数据；
标准作业行为识别网络模型训练模块，用于构建作业行为识别网络模型，根据所述离线视频数据对所述作业行为识别网络模型进行训练，得到标准作业行为识别网络模型；
作业行为识别模块，用于根据所述标准作业行为识别网络模型，对所述实时监控视频数据进行识别，生成各所述待监测目标的识别结果。
9.一种非暂态计算机可读存储介质，其特征在于，所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令被处理器执行时实现如权利要求1-7中任一项所述的电网作业行为的识别方法。
10.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行如权利要求1-7中任一项所述的电网作业行为的识别方法。
CN201910870913.1A 2019-09-16 2019-09-16 一种电网作业行为的识别方法及系统 Pending CN110705389A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910870913.1A CN110705389A (zh) 2019-09-16 2019-09-16 一种电网作业行为的识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910870913.1A CN110705389A (zh) 2019-09-16 2019-09-16 一种电网作业行为的识别方法及系统

Publications (1)

Publication Number Publication Date
CN110705389A true CN110705389A (zh) 2020-01-17

Family

ID=69195429

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910870913.1A Pending CN110705389A (zh) 2019-09-16 2019-09-16 一种电网作业行为的识别方法及系统

Country Status (1)

Country Link
CN (1) CN110705389A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551150A (zh) * 2020-04-15 2020-08-18 杭州东信北邮信息技术有限公司 一种自动测量基站天线参数的方法和系统
CN112633126A (zh) * 2020-12-18 2021-04-09 联通物联网有限责任公司 视频处理方法及装置
CN113095132A (zh) * 2021-03-04 2021-07-09 北京市燃气集团有限责任公司 一种基于神经网络的燃气现场目标检测和行为识别方法、系统、终端及存储介质
CN113297910A (zh) * 2021-04-25 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN113378004A (zh) * 2021-06-03 2021-09-10 中国农业大学 基于FANet的农民劳作行为识别方法和装置、设备及介质
CN116645782A (zh) * 2023-07-19 2023-08-25 中国建筑第五工程局有限公司 一种基于图像识别的安全帽帽带检测方法
CN117437535A (zh) * 2023-09-11 2024-01-23 国网山西省电力公司晋中供电公司 违规作业场景的检测方法、装置、计算机设备及存储介质
CN117557108A (zh) * 2024-01-10 2024-02-13 中国南方电网有限责任公司超高压输电公司电力科研院 电力作业风险智能识别模型的训练方法和装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管系统及方法
CN109325440A (zh) * 2018-09-19 2019-02-12 深圳市赢世体育科技有限公司 人体动作识别方法及系统
CN110084202A (zh) * 2019-04-29 2019-08-02 东南大学 一种基于高效三维卷积的视频行为识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108174165A (zh) * 2018-01-17 2018-06-15 重庆览辉信息技术有限公司 电力安全作业及运维智能监管系统及方法
CN109325440A (zh) * 2018-09-19 2019-02-12 深圳市赢世体育科技有限公司 人体动作识别方法及系统
CN110084202A (zh) * 2019-04-29 2019-08-02 东南大学 一种基于高效三维卷积的视频行为识别方法

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111551150A (zh) * 2020-04-15 2020-08-18 杭州东信北邮信息技术有限公司 一种自动测量基站天线参数的方法和系统
CN111551150B (zh) * 2020-04-15 2022-04-15 杭州东信北邮信息技术有限公司 一种自动测量基站天线参数的方法和系统
CN112633126A (zh) * 2020-12-18 2021-04-09 联通物联网有限责任公司 视频处理方法及装置
CN113095132A (zh) * 2021-03-04 2021-07-09 北京市燃气集团有限责任公司 一种基于神经网络的燃气现场目标检测和行为识别方法、系统、终端及存储介质
CN113095132B (zh) * 2021-03-04 2022-08-02 北京市燃气集团有限责任公司 基于神经网络燃气现场识别方法、系统、终端及存储介质
CN113297910A (zh) * 2021-04-25 2021-08-24 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN113297910B (zh) * 2021-04-25 2023-04-18 云南电网有限责任公司信息中心 一种配网现场作业安全带识别方法
CN113378004A (zh) * 2021-06-03 2021-09-10 中国农业大学 基于FANet的农民劳作行为识别方法和装置、设备及介质
CN116645782A (zh) * 2023-07-19 2023-08-25 中国建筑第五工程局有限公司 一种基于图像识别的安全帽帽带检测方法
CN116645782B (zh) * 2023-07-19 2023-10-13 中国建筑第五工程局有限公司 一种基于图像识别的安全帽帽带检测方法
CN117437535A (zh) * 2023-09-11 2024-01-23 国网山西省电力公司晋中供电公司 违规作业场景的检测方法、装置、计算机设备及存储介质
CN117557108A (zh) * 2024-01-10 2024-02-13 中国南方电网有限责任公司超高压输电公司电力科研院 电力作业风险智能识别模型的训练方法和装置

Similar Documents

Publication Publication Date Title
CN110705389A (zh) 一种电网作业行为的识别方法及系统
CN110084165B (zh) 基于边缘计算的电力领域开放场景下异常事件的智能识别与预警方法
Solomentsev et al. Data processing in exploitation system of unmanned aerial vehicles radioelectronic equipment
CN109191021B (zh) 电网异常事件的关联规则匹配方法及装置
CN110135603B (zh) 一种基于改进熵权法的电力网络告警空间特征分析方法
CN116259003B (zh) 施工场景中施工类别识别方法及系统
CN111523362A (zh) 一种基于电子围网的数据分析方法、装置及电子设备
CN113160272B (zh) 目标跟踪方法、装置、电子设备及存储介质
CN112487913A (zh) 一种基于神经网络的标注方法、装置及电子设备
CN112200077A (zh) 基于智慧交通的人工智能图像处理方法及系统
CN116311081B (zh) 一种基于图像识别的医学实验室监控图像分析方法和系统
CN112925805A (zh) 基于网络安全的大数据智能分析应用方法
WO2019177734A1 (en) Systems and methods for inter-camera recognition of individuals and their properties
CN115622867A (zh) 一种工控系统安全事件预警分类方法及系统
CN115690545B (zh) 训练目标跟踪模型和目标跟踪的方法和装置
CN114359614A (zh) 具有针对补丁攻击进行防御的鲁棒分类器的系统和方法
CN113569912A (zh) 车辆识别方法、装置、电子设备及存储介质
CN115567305B (zh) 基于深度学习的顺序网络攻击预测分析方法
CN115225373B (zh) 一种信息不完备条件下的网络空间安全态势表达方法及装置
CN115631184A (zh) 基于决策树的输电线路故障分析方法、装置、设备及存储介质
WO2023049387A1 (en) System and method for reducing surveillance detection errors
CN114169623A (zh) 一种电力设备故障分析方法、装置、电子设备及存储介质
CN114782857A (zh) 铁路客运站旅客异常行为的监测方法及系统
CN114268484A (zh) 恶意加密流量检测方法、装置、电子设备及存储介质
CN112734795A (zh) 一种判断物体运动趋势及方向的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200117

WD01 Invention patent application deemed withdrawn after publication