CN113392770A - 变电站作业人员典型违章行为检测方法及系统 - Google Patents
变电站作业人员典型违章行为检测方法及系统 Download PDFInfo
- Publication number
- CN113392770A CN113392770A CN202110665820.2A CN202110665820A CN113392770A CN 113392770 A CN113392770 A CN 113392770A CN 202110665820 A CN202110665820 A CN 202110665820A CN 113392770 A CN113392770 A CN 113392770A
- Authority
- CN
- China
- Prior art keywords
- convolution
- video
- network
- branch
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 21
- 230000006399 behavior Effects 0.000 claims abstract description 61
- 238000000034 method Methods 0.000 claims abstract description 16
- 238000000605 extraction Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 21
- 230000000391 smoking effect Effects 0.000 claims description 20
- 230000002123 temporal effect Effects 0.000 claims description 18
- 238000011176 pooling Methods 0.000 claims description 15
- 238000011897 real-time detection Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 7
- 238000010276 construction Methods 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 5
- 238000004458 analytical method Methods 0.000 abstract description 2
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种变电站作业人员典型违章行为检测方法及系统。本发明的检测方法包括离线准备阶段和在线应用阶段，在离线准备阶段中，收集拍摄作业人员的典型违章行为的视频片段，同时提出一种新的多分支时空模块，并以该模块为基础设计一种用于视频动作分类的模型架构，用其对收集到的数据进行训练；在线应用阶段中，动态通过摄像头获取作业场景的视频流，实时检测违章行为的发生并给出明确警示。本发明引入了视频特征的表示方法，解决了作业人员行为分析的难题，可作为变电站视频监控系统的扩展功能。
Description
技术领域
本发明属于视频行为识别领域，具体地说是一种基于视频监控的变电站作业人员典型违章行为检测方法及系统。
背景技术
在变电站施工场景中，经常发生因施工人员的不安全行为造成的事故，因此对施工人员违规行为的检测至关重要。在施工人员的违规行为中，抽烟和跨越围栏属于典型的违章行为。
针对这种情况，目前企业主要以配备管理人员来监督施工人员，但这种方法不仅效率低下，不能做到全面实时，而且需要耗费大量的人力成本。
发明内容
本发明所要解决的技术问题是克服上述现有技术存在的缺陷，提供一种基于视频监控的变电站作业人员典型违章行为的检测方法及系统，其在离线准备阶段中，收集拍摄作业人员的典型违章行为的视频片段(如抽烟、跨越栏杆等)并进行面向视频处理的模型构建和训练，在线应用阶段中，动态通过摄像头获取作业场景的视频流，实时检测违章行为的发生并给出明确警示。
为此，本发明采用以下的技术方案：变电站作业人员典型违章行为检测方法，其包括：
步骤1，采集正常作业行为和违章作业行为视频数据；
步骤2，对步骤1采集的数据按类别进行标注，并提取视频帧图像；
步骤3，读取数据集中训练样本的帧图像和对应的标注，对帧图像进行缩放；
步骤4，设计多分支时空模块，并以此为基础构建视频分类网络；将帧图像数据和标签作为训练集对视频分类网络进行训练，得到可用于违章行为检测的视频分类网络，该视频分类网络由特征提取网络和特征分类网络组成；
步骤5，利用摄像头获取作业场景的视频流，输入到已训练好的特征提取网络和特征分类网络中，进行翻越围栏带和抽烟违章行为的实时检测，并给出明确警示。
进一步地，所述步骤1中采集数据的具体方式为：使用相机采集翻越围杆带和抽烟的短视频，其中翻越围杆带的短视频共采集n1个，抽烟的短视频共采集n2个；另外，采集n3个不包含上述两类违章行为的短视频作为负样本。
进一步地，所述步骤2中数据标注的具体方式为：将负样本视频数据标注为1，翻越围杆视频数据标注为2，抽烟视频数据标注为3。
进一步地，所述步骤4中视频分类网络步骤如下：
步骤41，采用7×7×7的卷积层和最大池化层对输入的视频进行处理，这两个层可以增加网络对视频信息处理时的感受野，输出特征图信息；
步骤42，把步骤41中输出的特征图信息利用N个MBSTM模块进行特征提取；
步骤43，采用2×7×7平均池化层和1×1×1卷积层将步骤42提取到的特征图转化为预测结果输出。
进一步地，所述步骤42用到的MBSTM模块包含4条分支，具体为：
1)分支1，对当前MBSTM模块的输入信息进行1×1×1卷积C，其公式为：Xt+1，1＝C(Xt)，
其中，Xt表示第t层网络的输入，Xt+1，1表示第t层网络在分支1上的输出；
2)分支2，先对输入信息进行一个3×3×3的最大值池化P处理，之后再进行1×1×1的卷积操作C，使输出变成所需要的维度，其公式为：Xt+1，2＝C(P(Xt))，
其中，Xt表示第t层网络的输入，Xt+1，2表示第t层网络在分支2上的输出；
3)分支3，先对当前MBSTM模块的输入信息进行一个1×1×1的卷积操作C1，使输入信息的维度降低以减少计算量；之后对1×1×1卷积操作后的输入信息进行1×3×3空间卷积S和3×1×1时间卷积T的并行操作，其中1×3×3卷积使1×1×1卷积操作后的输入信息在时间维度上保持不变，在空间维度上进行一个卷积核为3×3的卷积，3×1×1卷积使1×1×1卷积操作后的输入信息在空间维度上保持不变，在时间维度上进行一个卷积核为3的卷积；分支3通过对时间维度信息和空间维度信息相加来对信息进行时间和空间维度上的操作，通过并行结构使得卷积空间和时间空间不互相联系，最后使经过时间卷积T和空间卷积S相加后的信息通过一个1×1×1的卷积结构C2使输出信息达到所需要的维度，
其公式为：Xt+1，3＝C2(S(C1(Xt)))+C2(T(C1(Xt)))，
其中，Xt表示第t层网络的输入，Xt+1，3表示第t层网络在分支3上的输出；
4)分支4，先对输入信息进行一个1×1×1的卷积操作C1，之后对C1操作后的输入的特征信息依次进行1×3×3的空间卷积S和3×1×1的时间卷积T，两种卷积结构的串联实现两者在一条路径上相互影响，从而使空间卷积和时间卷积之间相互联系，最后使时间卷积T处理后的信息通过一个1×1×1的卷积结构C2使输出信息达到所需要的维度，
其公式为：Xt+1，4＝C2(T(S(C1(Xt))))，
其中，Xt表示第t层网络的输入，Xt+，14表示第t层网络在分支4上的输出；
拼接四个通道，即四条分支，集四个通道的优点于一身，实现视频分类网络精度的提升，
公式为：Xt+1＝Xt+1，1+Xt+1，2+Xt+1，3+Xt+1，4。
进一步地，所述步骤5中检测违章行为时的预警方式是：每经过一秒做一次违章行为检测，并将检测的类别概率实时显示在视频的左上角处；选取检测的跨越围栏带、抽烟及正常作业三类行为中概率最大的类别作为最终识别类别，并将该类别的字体放大显示。
本发明采用的另一种技术方案为：变电站作业人员典型违章行为检测系统，其包括：
视频数据采集单元，采集正常作业行为和违章作业行为视频数据；
视频帧图像提取单元，对视频数据采集单元采集的数据按类别进行标注，并提取视频帧图像；
帧图像缩放单元，读取数据集中训练样本的帧图像和对应的标注，对帧图像进行缩放；
视频分类网络构建及训练单元，设计多分支时空模块，并以此为基础构建视频分类网络；将帧图像数据和标签作为训练集对视频分类网络进行训练，得到可用于违章行为检测的视频分类网络，该视频分类网络由特征提取网络和特征分类网络组成；
实时检测单元，利用摄像头获取作业场景的视频流，输入到已训练好的特征提取网络和特征分类网络中，进行违章行为的实时检测，并给出明确警示。
本发明具有的有益效果如下：本发明引入了视频特征的表示方法，解决了作业人员行为分析的难题，可作为变电站视频监控系统的扩展功能。
附图说明
图1为本发明的整体模型结构图；
图2为本发明的MBSTM结构图。
具体实施方式
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明的具体实施方式做详细的说明。
在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。
实施例1
本实施例提出了一种基于视频监控的变电站作业人员典型违章行为检测方法，具体包括如下步骤：
步骤1，采集正常作业行为和违章作业行为视频数据。
步骤2，对步骤1采集的数据按类别进行标注，并提取视频帧图像。
步骤3，读取数据集中训练样本的帧图像和对应的标注，对帧图像进行缩放。
步骤4，如图1和图2所示，设计多分支时空模块，并以此为基础构建视频分类网络，该视频分类网络由特征提取网络和特征分类网络组成。将帧图像数据和标签作为训练集对网络进行训练，得到可用于违章行为检测的网络。
步骤5，利用摄像头获取作业场景的视频流，输入到已训练好的特征提取网络和特征分类网络中。如图2所示，进行违章行为(翻越围栏带和抽烟)的实时检测，并给出明确警示。
具体地，所述步骤1中采集数据的具体方式为：使用大疆灵眸手持云台采集翻越围杆带和抽烟的短视频。其中翻越围杆带的短视频共采集86个,抽烟的短视频共采集122个。另外采集了130个不包含上述两类违章行为的短视频作为负样本。每个短视频时长为2-10s。
具体地，所述步骤2中数据标注的具体方式为：将负样本视频数据标注为1，翻越围杆视频数据标注为2，抽烟视频数据标注为3。
具体地，所述步骤3中，将所有的图像缩放成224×224大小。
具体地，所述步骤4中视频分类网络构建步骤如下：
步骤41，在图1方框a中，采用7×7×7卷积和最大值池化来增加网络对视频信息的感受野，输出特征图信息。
步骤42，在图1方框b中，把步骤41中输出的特征图信息利用N个MBSTM模块进行特征提取。
步骤43，在图1方框c中，采用2×7×7平均池化层和1×1×1卷积层将步骤42提取到的特征图转化为预测结果输出。
具体地，所述步骤42所用到的MBSTM模块包含4条分支，具体为：
1.图2分支1对当前MBSTM模块的输入进行1×1×1卷积C。1×1×1卷积可以跨通道组织信息，提高网络的表达能力，同时可以对输出通道进行升维和降维。
其公式为：Xt+1，1＝C(Xt)，
其中，Xt表示第t层网络的输入，Xt+1，1表示第t层网络在分支1上的输出。
2.图2分支2先对输入信息进行一个3×3×3的最大值池化P处理，这样可以提高网络的感受野，增加网络对不同尺度的适应性，之后再进行1×1×1的卷积操作C，使输出变成所需要的维度；
其公式为：Xt+1，2＝C(P(Xt))，
其中，Xt表示第t层网络的输入，Xt+1，2表示第t层网络在分支2上的输出。
3.图2分支3先对当前MBSTM模块的输入信息进行一个1×1×1的卷积操作C1，使输入信息的维度降低以减少计算量。之后对1×1×1卷积操作后的输入信息进行1×3×3空间卷积S和3×1×1时间卷积T的并行操作，其中1×3×3卷积使1×1×1卷积操作后的输入信息在时间维度上保持不变，在空间维度上进行一个卷积核为3×3的卷积，3×1×1卷积使1×1×1卷积操作后的输入信息在空间维度上保持不变，在时间维度上进行一个卷积核为3的卷积；分支3通过对时间维度信息和空间维度信息相加来对信息进行时间和空间维度上的操作，通过并行结构使得卷积空间和时间空间不互相联系，最后使经过时间卷积T和空间卷积S相加后的信息通过一个1×1×1的卷积结构C2使输出信息达到所需要的维度；
其公式为：Xt+1，3＝C2(S(C1(Xt)))+C2(T(C1(Xt)))，
其中，Xt表示第t层网络的输入，Xt+1，3表示第t层网络在分支3上的输出。
4.图2分支4先对输入信息进行一个1×1×1的卷积操作C1，使输入信息的维度降低以减少计算量。之后对C1操作后的输入的特征特征信息依次进行1×3×3的空间卷积S和3×1×1的时间卷积T。两种卷积结构的串联可以实现两者在一条路径上相互影响，从而使空间卷积和时间卷积之间相互联系。最后使时间卷积T处理后的信息通过一个1×1×1的卷积结构C2来使输出信息达到所需要的维度。
其公式为：Xt+1，4＝C2(T(S(C1(Xt))))，
其中，Xt表示第t层网络的输入，Xt+1，4表示第t层网络在分支4上的输出。
5.通过把四个通道拼接起来，可以集四个通道的优点与一身，实现网络视频理解精度的提升。
公式为：Xt+1＝Xt+1，1+Xt+1，2+Xt+1，3+Xt+1，4。
所述步骤5中检测违章行为时的预警方式是：每经过一秒做一次违章行为检测，并将检测的类别概率实时显示在视频的左上角处；选取检测的跨越围栏带、抽烟及正常作业三类行为中概率最大的类别作为最终识别类别，并将该类别的字体放大显示。
实施例2
本实施例提供一种变电站作业人员典型违章行为检测系统，其包括：
视频数据采集单元，采集正常作业行为和违章作业行为视频数据；
视频帧图像提取单元，对视频数据采集单元采集的数据按类别进行标注，并提取视频帧图像；
帧图像缩放单元，读取数据集中训练样本的帧图像和对应的标注，对帧图像进行缩放；
视频分类网络构建及训练单元，设计多分支时空模块，并以此为基础构建视频分类网络；将帧图像数据和标签作为训练集对视频分类网络进行训练，得到可用于违章行为检测的视频分类网络，该视频分类网络由特征提取网络和特征分类网络组成；
实时检测单元，利用摄像头获取作业场景的视频流，输入到已训练好的特征提取网络和特征分类网络中，进行违章行为(翻越围栏带和抽烟)的实时检测，并给出明确警示。
具体地，所述视频数据采集单元中采集数据的具体方式为：使用相机采集翻越围杆带和抽烟的短视频，其中翻越围杆带的短视频共采集n1个,抽烟的短视频共采集n2个；另外，采集n3个不包含上述两类违章行为的短视频作为负样本。
所述视频帧图像提取单元中数据标注的具体方式为：将负样本视频数据标注为1，翻越围杆视频数据标注为2，抽烟视频数据标注为3。
具体地，步骤4中所述视频分类网络构建步骤如下：
步骤41：采用7×7×7的卷积层和最大池化层对输入的视频进行处理，输出特征图信息；
步骤42：把步骤41中输出的特征图信息利用N个MBSTM模块进行特征提取；
步骤43：采用2×7×7平均池化层和1×1×1卷积层将步骤42提取到的特征图转化为预测结果输出。
具体地，所述步骤42用到的MBSTM模块包含4条分支，具体为：
1)分支1，对当前MBSTM模块的输入信息进行1×1×1卷积C，其公式为：Xt+1，1＝C(Xt)，
其中，Xt表示第t层网络的输入，Xt+1，1表示第t层网络在分支1上的输出；
2)分支2，先对输入信息进行一个3×3×3的最大值池化P处理，之后再进行1×1×1的卷积操作C，使输出变成所需要的维度，其公式为：Xt+1，2＝C(P(Xt))，
其中，Xt表示第t层网络的输入，Xt+1，2表示第t层网络在分支2上的输出；
3)分支3，先对当前MBSTM模块的输入信息进行一个1×1×1的卷积操作C1，使输入信息的维度降低以减少计算量；之后对1×1×1卷积操作后的输入信息进行1×3×3空间卷积S和3×1×1时间卷积T的并行操作，其中1×3×3卷积使1×1×1卷积操作后的输入信息在时间维度上保持不变，在空间维度上进行一个卷积核为3×3的卷积，3×1×1卷积使1×1×1卷积操作后的输入信息在空间维度上保持不变，在时间维度上进行一个卷积核为3的卷积；分支3通过对时间维度信息和空间维度信息相加来对信息进行时间和空间维度上的操作，通过并行结构使得卷积空间和时间空间不互相联系，最后使经过时间卷积T和空间卷积S相加后的信息通过一个1×1×1的卷积结构C2使输出信息达到所需要的维度，
其公式为：Xt+1，3＝C2(S(C1(Xt)))+C2(T(C1(Xt)))，
其中，Xt表示第t层网络的输入，Xt+1，3表示第t层网络在分支3上的输出；
4)分支4，先对输入信息进行一个1×1×1的卷积操作C1，之后对C1操作后的输入的特征信息依次进行1×3×3的空间卷积S和3×1×1的时间卷积T，两种卷积结构的串联实现两者在一条路径上相互影响，从而使空间卷积和时间卷积之间相互联系，最后使时间卷积T处理后的信息通过一个1×1×1的卷积结构C2使输出信息达到所需要的维度，
其公式为：Xt+1，4＝C2(T(S(C1(Xt))))，
其中，Xt表示第t层网络的输入，Xt+1，4表示第t层网络在分支4上的输出；
拼接四个通道，即四条分支，集四个通道的优点于一身，实现视频分类网络精度的提升，
公式为：Xt+1＝Xt+1，1+Xt+1，2+Xt+1，3+Xt+1，4。
所述实时检测单元中，检测违章行为时的预警方式是：每经过一秒做一次违章行为检测，并将检测的类别概率实时显示在视频的左上角处；选取检测的跨越围栏带、抽烟及正常作业三类行为中概率最大的类别作为最终识别类别，并将该类别的字体放大显示。
以上所述仅是本发明的优选实施方式，虽然本发明已以较佳实施例披露如上，然而并非用以限定本发明。任何熟悉本领域的技术人员，在不脱离本发明技术方案范围情况下，都可利用上述揭示的方法和技术内容对本发明技术方案做出许多可能的变动和修饰，或修改为等同变化的等效实施例。因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所做的任何的简单修改、等同变化及修饰，均仍属于本发明技术方案保护的范围内。
Claims (10)
1.变电站作业人员典型违章行为检测方法，其特征在于，包括：
步骤1，采集正常作业行为和违章作业行为视频数据；
步骤2，对步骤1采集的数据按类别进行标注，并提取视频帧图像；
步骤3，读取数据集中训练样本的帧图像和对应的标注，对帧图像进行缩放；
步骤4，设计多分支时空模块，并以此为基础构建视频分类网络；将帧图像数据和标签作为训练集对视频分类网络进行训练，得到可用于违章行为检测的视频分类网络，该视频分类网络由特征提取网络和特征分类网络组成；
步骤5，利用摄像头获取作业场景的视频流，输入到已训练好的特征提取网络和特征分类网络中，进行翻越围栏带和抽烟违章行为的实时检测，并给出明确警示。
2.根据权利要求1所述的变电站作业人员典型违章行为检测方法，其特征在于，所述步骤1中采集数据的具体方式为：使用相机采集翻越围杆带和抽烟的短视频，其中翻越围杆带的短视频共采集n1个，抽烟的短视频共采集n2个；另外，采集n3个不包含上述两类违章行为的短视频作为负样本。
3.根据权利要求2所述的变电站作业人员典型违章行为检测方法，其特征在于，所述步骤2中数据标注的具体方式为：将负样本视频数据标注为1，翻越围杆视频数据标注为2，抽烟视频数据标注为3。
4.根据权利要求1所述的变电站作业人员典型违章行为检测方法，其特征在于，所述步骤4中视频分类网络步骤如下：
步骤41，采用7×7×7的卷积层和最大池化层对输入的视频进行处理，输出特征图信息；
步骤42，把步骤41中输出的特征图信息利用N个MBSTM模块进行特征提取；
步骤43，采用2×7×7平均池化层和1×1×1卷积层将步骤42提取到的特征图转化为预测结果输出。
5.根据权利要求4所述的变电站作业人员典型违章行为检测方法，其特征在于，所述步骤42用到的MBSTM模块包含4条分支，具体为：
1)分支1，对当前MBSTM模块的输入信息进行1×1×1卷积C，其公式为：Xt+1，1＝C(Xt)，
其中，Xt表示第t层网络的输入，Xt+1，1表示第t层网络在分支1上的输出；
2)分支2，先对输入信息进行一个3×3×3的最大值池化P处理，之后再进行1×1×1的卷积操作C，使输出变成所需要的维度，其公式为：Xt+1，2＝C(P(Xt))，
其中，Xt表示第t层网络的输入，Xt+1，2表示第t层网络在分支2上的输出；
3)分支3，先对当前MBSTM模块的输入信息进行一个1×1×1的卷积操作C1，使输入信息的维度降低以减少计算量；之后对1×1×1卷积操作后的输入信息进行1×3×3空间卷积S和3×1×1时间卷积T的并行操作，其中1×3×3卷积使1×1×1卷积操作后的输入信息在时间维度上保持不变，在空间维度上进行一个卷积核为3×3的卷积，3×1×1卷积使1×1×1卷积操作后的输入信息在空间维度上保持不变，在时间维度上进行一个卷积核为3的卷积；分支3通过对时间维度信息和空间维度信息相加来对信息进行时间和空间维度上的操作，通过并行结构使得卷积空间和时间空间不互相联系，最后使经过时间卷积T和空间卷积S相加后的信息通过一个1×1×1的卷积结构C2使输出信息达到所需要的维度，
其公式为：Xt+1，3＝C2(S(C1(Xt)))+C2(T(C1(Xt)))，
其中，Xt表示第t层网络的输入，Xt+1，3表示第t层网络在分支3上的输出；
4)分支4，先对输入信息进行一个1×1×1的卷积操作C1，之后对C1操作后的输入的特征信息依次进行1×3×3的空间卷积S和3×1×1的时间卷积T，两种卷积结构的串联实现两者在一条路径上相互影响，从而使空间卷积和时间卷积之间相互联系，最后使时间卷积T处理后的信息通过一个1×1×1的卷积结构C2使输出信息达到所需要的维度，
其公式为：Xt+1，4＝C2(T(S(C1(Xt))))，
其中，Xt表示第t层网络的输入，Xt+1，4表示第t层网络在分支4上的输出；
拼接四个通道，即四条分支，集四个通道的优点于一身，实现视频分类网络精度的提升，
公式为：Xt+1＝Xt+1，1+Xt+1，2+Xt+1，3+Xt+1，4。
6.根据权利要求1所述的变电站作业人员典型违章行为检测方法，其特征在于，所述步骤5中检测违章行为时的预警方式是：每经过一秒做一次违章行为检测，并将检测的类别概率实时显示在视频的左上角处；选取检测的跨越围栏带、抽烟及正常作业三类行为中概率最大的类别作为最终识别类别，并将该类别的字体放大显示。
7.变电站作业人员典型违章行为检测系统，其特征在于，包括：
视频数据采集单元，采集正常作业行为和违章作业行为视频数据；
视频帧图像提取单元，对视频数据采集单元采集的数据按类别进行标注，并提取视频帧图像；
帧图像缩放单元，读取数据集中训练样本的帧图像和对应的标注，对帧图像进行缩放；
视频分类网络构建及训练单元，设计多分支时空模块，并以此为基础构建视频分类网络；将帧图像数据和标签作为训练集对视频分类网络进行训练，得到可用于违章行为检测的视频分类网络，该视频分类网络由特征提取网络和特征分类网络组成；
实时检测单元，利用摄像头获取作业场景的视频流，输入到已训练好的特征提取网络和特征分类网络中，进行违章行为的实时检测，并给出明确警示。
8.根据权利要求7所述的变电站作业人员典型违章行为检测系统，其特征在于，所述视频数据采集单元中采集数据的具体方式为：使用相机采集翻越围杆带和抽烟的短视频，其中翻越围杆带的短视频共采集n1个，抽烟的短视频共采集n2个；另外，采集n3个不包含上述两类违章行为的短视频作为负样本；
所述视频帧图像提取单元中数据标注的具体方式为：将负样本视频数据标注为1，翻越围杆视频数据标注为2，抽烟视频数据标注为3。
9.根据权利要求7所述的变电站作业人员典型违章行为检测系统，其特征在于，所述步骤4中视频分类网络步骤如下：
步骤41，采用7×7×7的卷积层和最大池化层对输入的视频进行处理，输出特征图信息；
步骤42，把步骤41中输出的特征图信息利用N个MBSTM模块进行特征提取；
步骤43，采用2×7×7平均池化层和1×1×1卷积层将步骤42提取到的特征图转化为预测结果输出。
10.根据权利要求9所述的变电站作业人员典型违章行为检测系统，其特征在于，所述步骤42用到的MBSTM模块包含4条分支，具体为：
1)分支1，对当前MBSTM模块的输入信息进行1×1×1卷积C，其公式为：Xt+1，1＝C(Xt)，
其中，Xt表示第t层网络的输入，Xt+1，1表示第t层网络在分支1上的输出；
2)分支2，先对输入信息进行一个3×3×3的最大值池化P处理，之后再进行1×1×1的卷积操作C，使输出变成所需要的维度，其公式为：Xt+1，2＝C(P(Xt))，
其中，Xt表示第t层网络的输入，Xt+1，2表示第t层网络在分支2上的输出；
3)分支3，先对当前MBSTM模块的输入信息进行一个1×1×1的卷积操作C1，使输入信息的维度降低以减少计算量；之后对1×1×1卷积操作后的输入信息进行1×3×3空间卷积S和3×1×1时间卷积T的并行操作，其中1×3×3卷积使1×1×1卷积操作后的输入信息在时间维度上保持不变，在空间维度上进行一个卷积核为3×3的卷积，3×1×1卷积使1×1×1卷积操作后的输入信息在空间维度上保持不变，在时间维度上进行一个卷积核为3的卷积；分支3通过对时间维度信息和空间维度信息相加来对输入信息进行时间和空间维度上的操作，通过并行结构使得卷积空间和时间空间不互相联系，最后使经过时间卷积T和空间卷积S相加后的信息通过一个1×1×1的卷积结构C2使输出信息达到所需要的维度，
其公式为：Xt+1，3＝C2(S(C1(Xt)))+C2(T(C1(Xt)))，
其中，Xt表示第t层网络的输入，Xt+1，3表示第t层网络在分支3上的输出；
4)分支4，先对输入信息进行一个1×1×1的卷积操作C1，之后对C1操作后的输入的特征信息依次进行1×3×3的空间卷积S和3×1×1的时间卷积T，两种卷积结构的串联实现两者在一条路径上相互影响，从而使空间卷积和时间卷积之间相互联系，最后使时间卷积T处理后的信息通过一个1×1×1的卷积结构C2使输出信息达到所需要的维度，
其公式为：Xt+1，4＝C2(T(S(C1(Xt))))，
其中，Xt表示第t层网络的输入，Xt+1，4表示第t层网络在分支4上的输出；
拼接四个通道，即四条分支，集四个通道的优点于一身，实现视频分类网络精度的提升，
公式为：Xt+1＝Xt+1，1+Xt+1，2+Xt+1，3+Xt+1，4。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110665820.2A CN113392770A (zh) | 2021-06-16 | 2021-06-16 | 变电站作业人员典型违章行为检测方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110665820.2A CN113392770A (zh) | 2021-06-16 | 2021-06-16 | 变电站作业人员典型违章行为检测方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN113392770A true CN113392770A (zh) | 2021-09-14 |
Family
ID=77621420
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110665820.2A Pending CN113392770A (zh) | 2021-06-16 | 2021-06-16 | 变电站作业人员典型违章行为检测方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113392770A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116108397A (zh) * | 2022-12-22 | 2023-05-12 | 福建亿榕信息技术有限公司 | 融合多模态数据分析的电力现场作业违章行为识别方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017148504A (ja) * | 2016-02-24 | 2017-08-31 | コニカミノルタ株式会社 | 被監視者監視装置、該方法および該システム |
| CN111291699A (zh) * | 2020-02-19 | 2020-06-16 | 山东大学 | 基于监控视频时序动作定位和异常检测的变电站人员行为识别方法 |
| CN112183317A (zh) * | 2020-09-27 | 2021-01-05 | 武汉大学 | 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法 |
-
2021
- 2021-06-16 CN CN202110665820.2A patent/CN113392770A/zh active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017148504A (ja) * | 2016-02-24 | 2017-08-31 | コニカミノルタ株式会社 | 被監視者監視装置、該方法および該システム |
| CN111291699A (zh) * | 2020-02-19 | 2020-06-16 | 山东大学 | 基于监控视频时序动作定位和异常检测的变电站人员行为识别方法 |
| CN112183317A (zh) * | 2020-09-27 | 2021-01-05 | 武汉大学 | 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法 |
Non-Patent Citations (3)
| Title |
|---|
| CARREIRA J,ET AL: "action recognition? a new model and the kinetics dataset", 《PROCEEDINGS OF THE IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 * |
| HAOKUI ZHANG,ET AL: "RGB-D Based Action Recognition with Light-weight 3D Convolutional Networks", 《ARXIV》 * |
| QIU Z,ET AL: "Learning spatio-temporal representation with pseudo-3d residual networks", 《PROCEEDINGS OF THE IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116108397A (zh) * | 2022-12-22 | 2023-05-12 | 福建亿榕信息技术有限公司 | 融合多模态数据分析的电力现场作业违章行为识别方法 |
| CN116108397B (zh) * | 2022-12-22 | 2024-01-09 | 福建亿榕信息技术有限公司 | 融合多模态数据分析的电力现场作业违章行为识别方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110674772B (zh) | 电力作业现场智能安全管控辅助系统及方法 | |
| CN110826538B (zh) | 一种用于电力营业厅的异常离岗识别系统 | |
| CN112183313B (zh) | 一种基于SlowFast的电力作业现场动作识别方法 | |
| CN111241343A (zh) | 一种道路信息监控与分析检测方法、智慧交通控制系统 | |
| CN101271514A (zh) | 一种快速目标检测和目标输出的图像检测方法及装置 | |
| CN111401418A (zh) | 一种基于改进Faster r-cnn的员工着装规范检测方法 | |
| CN102902960B (zh) | 基于高斯建模与目标轮廓的遗留物检测方法 | |
| CN104504377A (zh) | 一种公交车乘客拥挤程度识别系统及方法 | |
| CN111738218B (zh) | 人体异常行为识别系统及方法 | |
| CN112541393A (zh) | 一种基于深度学习的变电站人员检测方法及装置 | |
| CN116229052B (zh) | 一种基于孪生网络的变电站设备状态变化检测方法 | |
| CN116052082A (zh) | 一种基于深度学习算法的配电站房异常检测方法及装置 | |
| CN111898418A (zh) | 一种基于t-tiny-yolo网络的人体异常行为检测方法 | |
| CN113392770A (zh) | 变电站作业人员典型违章行为检测方法及系统 | |
| CN114694130A (zh) | 基于深度学习的铁路沿线电线杆及杆号检测方法和装置 | |
| CN115170988A (zh) | 基于深度学习的电网线路故障识别方法及系统 | |
| Ke et al. | Research on computer vision application in industry field: focus on distribution network engineering | |
| Wang et al. | Worker’s helmet recognition and identity recognition based on deep learning | |
| CN113408630A (zh) | 一种变电站指示灯状态识别方法 | |
| CN116311081B (zh) | 一种基于图像识别的医学实验室监控图像分析方法和系统 | |
| CN115190277B (zh) | 施工区域的安全监控方法、装置、设备及存储介质 | |
| CN116152685A (zh) | 一种基于无人机视野下行人检测方法及系统 | |
| CN115829324A (zh) | 一种人员安全风险静默监视方法 | |
| CN116739963A (zh) | 一种基于多层级多尺度特征融合的电网设备缺陷检测方法 | |
| CN113518205A (zh) | 一种基于ai分析的视频巡查处理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210914 |