CN112949490A - 设备动作检测方法、装置、电子设备及可读存储介质 - Google Patents
设备动作检测方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN112949490A CN112949490A CN202110228133.4A CN202110228133A CN112949490A CN 112949490 A CN112949490 A CN 112949490A CN 202110228133 A CN202110228133 A CN 202110228133A CN 112949490 A CN112949490 A CN 112949490A
- Authority
- CN
- China
- Prior art keywords
- video
- optical flow
- image frames
- feature
- detection model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 142
- 230000009471 action Effects 0.000 title claims abstract description 64
- 238000003860 storage Methods 0.000 title claims abstract description 19
- 230000003287 optical effect Effects 0.000 claims abstract description 108
- 238000000034 method Methods 0.000 claims abstract description 37
- 238000005070 sampling Methods 0.000 claims abstract description 24
- 230000002159 abnormal effect Effects 0.000 claims abstract description 21
- 230000033001 locomotion Effects 0.000 claims description 90
- 238000000605 extraction Methods 0.000 claims description 39
- 238000012549 training Methods 0.000 claims description 28
- 238000012360 testing method Methods 0.000 claims description 26
- 230000004927 fusion Effects 0.000 claims description 11
- 238000004590 computer program Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 description 14
- 238000012806 monitoring device Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 5
- 238000012544 monitoring process Methods 0.000 description 5
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000011176 pooling Methods 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biomedical Technology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Computational Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
Abstract
本申请提供一种设备动作检测方法、装置、电子设备及可读存储介质。方法包括：从拍摄待测设备得到的第一视频中提取第一视频的第一光流特征，以及根据预设采样策略从第一视频中采样得到多个图像帧；将第一光流特征调整为与多个图像帧的通道数相同的第二光流特征；将第二光流特征和多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由动作检测模型对第二光流特征和多个图像帧进行检测所输出的检测结果，检测结果包括表征待测设备的操作动作是否异常的信息，基于此，有利于提高对待测设备的操作动作检测的准确性与可靠性，避免因特征单一而影响待测设备检测的准确性。
Description
技术领域
本申请涉及人工智能领域，具体而言，涉及一种设备动作检测方法、装置、电子设备及可读存储介质。
背景技术
随着人工智能在工业质检的应用愈发普及，利用摄像头，采集实时画面，再结合机器视觉及大数据分析等多项能力，构建智能工厂成为工业发展的一个趋势。比如，在生产制造行业，需要检测设备的操作动作是否异常。现有的检测模型主要是基于实数的神经网络模型，采集的特征单一，从而影响模型识别的准确性。比如，基于监控视频，在进行设备动作检测识别时，仅采集图像帧以获取图像特征，存在遗漏其他特征的情况，从而影响检测模型识别的准确性与可靠性。
发明内容
本申请实施例的目的在于提供一种设备动作检测方法、装置、电子设备及可读存储介质，能够改善对设备操作动作检测识别的准确性和可靠性低的问题。
为了实现上述目的，本申请的实施例通过如下方式实现：
第一方面，本申请实施例提供一种设备动作检测方法，所述方法包括：
从拍摄待测设备得到的第一视频中提取所述第一视频的第一光流特征，以及根据预设采样策略从所述第一视频中采样得到多个图像帧；
将所述第一光流特征调整为与所述多个图像帧的通道数相同的第二光流特征；
将所述第二光流特征和所述多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由所述动作检测模型对所述第二光流特征和所述多个图像帧进行检测所输出的检测结果，所述检测结果包括表征所述待测设备的操作动作是否异常的信息。
在上述的实施方式中，通过提取第一视频中的第一光流特征及多个图像帧以作为复数特征，如此，可以从多个模态对视频进行特征提取，然后由动作检测模型对复数特征进行检测，基于此，有利于提高对待测设备的操作动作检测的准确性与可靠性，避免因特征单一而影响待测设备检测的准确性。
结合第一方面，在一些可选的实施方式中，将所述第二光流特征和所述多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由所述动作检测模型对所述第二光流特征和所述多个图像帧进行检测所输出的检测结果，包括：
将所述第二光流特征和所述多个图像帧分别作为所述复数特征的实部与虚部，或将所述第二光流特征和所述多个图像帧分别作为所述复数特征的虚部与实部，输入所述动作检测模型；
通过所述动作检测模型中的特征提取模块对所述第二光流特征和所述多个图像帧进行特征提取，得到所述第二光流特征和所述多个图像帧的高阶特征；
通过所述动作检测模型中的特征融合模块对所述高阶特征进行融合，得到融合后的高阶特征；
通过所述动作检测模型中的动作识别模块，检测所述融合后的高阶特征得到所述检测结果。
在上述的实施方式中，动作检测模型可以对第二光流特征和多个图像帧进行融合以得到高阶特征，然后由动作检测模型对高阶特征进行检测，从而提高对待测设备的操作动作检测的准确性与可靠性。
结合第一方面，在一些可选的实施方式中，根据预设采样策略从所述第一视频中采样得到多个图像帧，包括：
从所述第一视频中选择所述待测设备执行操作动作期间的视频片段作为第二视频；
以预设采集频率从所述第二视频中采集得到所述多个图像帧。
在上述的实施方式中，通过从执行操作动作期间的第二视频中提取图像帧，无需关注非动作期间的视频，从而有利于降低运算量，提高运算效率。
结合第一方面，在一些可选的实施方式中，在从拍摄待测设备得到的第一视频中提取第一光流特征之前，所述方法还包括：
获取视频数据集，所述视频数据集包括拍摄待测设备得到的多个第三视频；
从所述多个第三视频中的每个第三视频中提取一组训练数据，每组训练数据包括从相应的第三视频中提取得到的第三光流特征、多个图像帧及与相应第三视频中的待测设备的操作动作对应的标签；
通过所述每组训练数据训练深度复数网络，得到所述经过训练的动作检测模型。
在上述的实施方式中，通过训练深度复数网络，使得网络模型可以对视频的复数特征进行提取与检测，从而有利于提高对待测设备的操作动作检测的准确性。
结合第一方面，在一些可选的实施方式中，所述方法还包括：
当所述检测结果表示所述待测设备的操作动作异常时，发出提示信息，其中，所述检测结果包括所述操作动作的动作类型。
在上述的实施方式中，通过在操作动作异常时，发出提示信息，有利于管理人员及时对异常情况进行复查与维护。
第二方面，本申请实施例还提供一种设备动作检测装置，所述装置包括：
特征提取单元，用于从拍摄待测设备得到的第一视频中提取所述第一视频的第一光流特征，以及根据预设采样策略从所述第一视频中采样得到多个图像帧；
特征调整单元，用于将所述第一光流特征调整为与所述多个图像帧的通道数相同的第二光流特征；
检测单元，用于将所述第二光流特征和所述多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由所述动作检测模型对所述第二光流特征和所述多个图像帧进行检测所输出的检测结果，所述检测结果包括表征所述待测设备的操作动作是否异常的信息。
结合第二方面，在一些可选的实施方式中，所述检测单元还用于：
将所述第二光流特征和所述多个图像帧分别作为所述复数特征的实部与虚部，或将所述第二光流特征和所述多个图像帧分别作为所述复数特征的虚部与实部，输入所述动作检测模型；
通过所述动作检测模型中的特征提取模块对所述第二光流特征和所述多个图像帧进行特征提取，得到所述第二光流特征和所述多个图像帧的高阶特征；
通过所述动作检测模型中的特征融合模块对所述高阶特征进行融合，得到融合后的高阶特征；
通过所述动作检测模型中的动作识别模块，检测所述融合后的高阶特征得到所述检测结果。
结合第二方面，在一些可选的实施方式中，所述特征提取单元还用于：
从所述第一视频中选择所述待测设备执行操作动作期间的视频片段作为第二视频；
以预设采集频率从所述第二视频中采集得到所述多个图像帧。
第三方面，本申请实施例还提供一种电子设备，所述电子设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行上述的方法。
第四方面，本申请实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行上述的方法。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本申请实施例提供的电子设备与监控设备的通信连接示意图。
图2为本申请实施例提供的电子设备的结构示意图。
图3为本申请实施例提供的设备动作检测方法的流程示意图。
图4为本申请实施例提供的设备动作检测装置的框图。
图标：10-电子设备；11-处理模块；12-存储模块；20-监控设备；100-设备动作检测装置；110-特征提取单元；120-特征调整单元；130-检测单元。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。需要说明的是，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，本申请提供的电子设备10可以与一个或多个监控设备20建立通信连接，用于获取监控设备20拍摄的监控视频。监控设备20可以将实时拍摄得到的视频或将拍摄的历史视频，发送至电子设备10。监控视频(实时视频或历史视频)中可以包括待测设备的操作动作。电子设备10可以对监控视频进行检测，以确定待测设备的操作是否存在异常。
其中，与电子设备10通信连接的监控设备20的数量可以根据实际情况进行确定，这里不作具体限定。每个监控设备20可以用于对一个待测设备进行监控拍摄，以得到相应的视频数据。不同的监控设备20可以用于拍摄不同待测设备的视频数据。如此，一个电子设备10可以对多个待测设备的操作动作进行检测，从而有利于提高检测效率。
请参照图2，电子设备10可以包括处理模块11及存储模块12。存储模块12内存储计算机程序，当计算机程序被所述处理模块11执行时，使得电子设备10能够执行下述方法中的各步骤。
当然，电子设备10还可以包括其他模块。例如，电子设备10还可以包括通信模块、显示屏、以及固化在存储模块12中的设备动作检测装置100等，这里对电子设备10的结构不作具体限定。其中，电子设备10可以是但不限于个人电脑、服务器等设备。监控设备20可以包括摄像头(比如工业相机)，用于拍摄待测设备以得到相应的视频数据。
处理模块11、存储模块12以及设备动作检测装置100各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
请参照图3，本申请实施例还提供一种设备动作检测方法，可以应用于上述的电子设备10，由电子设备10执行或实现方法的各步骤。方法可以包括如下步骤：
步骤S210，从拍摄待测设备得到的第一视频中提取所述第一视频的第一光流特征，以及根据预设采样策略从所述第一视频中采样得到多个图像帧；
步骤S220，将所述第一光流特征调整为与所述多个图像帧的通道数相同的第二光流特征；
步骤S230，将所述第二光流特征和所述多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由所述动作检测模型对所述第二光流特征和所述多个图像帧进行检测所输出的检测结果，所述检测结果包括表征所述待测设备的操作动作是否异常的信息。
在上述的实施方式中，通过提取第一视频中的第一光流特征及多个图像帧以作为复数特征，如此，可以从多个模态对视频进行特征提取，然后由动作检测模型对复数特征进行检测，基于此，有利于提高对待测设备的操作动作检测的准确性与可靠性，避免因特征单一而影响待测设备检测的准确性。
下面将对方法的各步骤进行详细阐述，如下：
在步骤S210中，电子设备10可以从监控设备20获取到第一视频。第一视频即为监控设备20拍摄待测设备得到的监控视频，可以为实时视频数据或历史拍摄的视频数据。待测设备可以根据实际情况进行确定，可以是但不限于生产车间中的机械臂、数控机床等设备，这里不作具体限定。
电子设备10可以通过光流场法，从第一视频中提取到相应的光流特征，以作为第一光流特征，光流特征包括电子设备10对第一视频进行运算得到的灰度图。
其中，光流场法的原理可以为：在一个图像平面上，物体的运动往往是通过图像序列中不同图像灰度分布的不同来体现的，如此，空间中的运动场转移到图像上就表示为光流场(Optical Flow Field)。光流场可以反映图像上每一像素点灰度的变化趋势，可看成是带有灰度的像素点在图像平面上运动而产生的瞬时速度场，也是一种对真实运动场的近似估计。
电子设备10通过预设采样策略，可以从第一视频中，采集得到多个图像帧，每个图像帧即为拍摄待测设备得到的一帧监控画面。例如，电子设备10可以通过稀疏采样，从第一视频中提取得到多个图像帧。稀疏采样的频率可以根据实际情况进行设置，这里不作具体限定。
在本实施例中，通过提取第一视频的光流特征及图像帧特征，从而可以提取到第一视频在时间及空间两个模态下的数据特征，改善因仅提取图像帧而丢失第一视频中的部分特征，从而影响模型的检测精度的问题。
在本实施例中，通道即为图像的特征通道。例如，第一光流特征通常包括一个特征通道，即为一个灰色特征通道。从第一视频中提取得到的图像帧，包括红(Red，R)、绿(Green，G)、蓝(Blue，B)三个特征通道，即，第一光流特征与图像帧的通道数不相同，若通道数不同，则不便于进行光流特征与图像帧的特征融合。在步骤S220中，电子设备10可以对第一光流特征进行通道数的调整，以使调整后的第一光流特征的通道数与图像帧的通道数相同。调整方式可以为：电子设备10对第一光流特征的灰色特征通道复制两份，以使第一光流特征具有三份的灰色特征通道，经过调整后的第一光流特征便具有与图像帧相同的通道数。第一光流特征在经过步骤S220的通道调整后，即为第二光流特征。
在步骤S230中，动作检测模型为基于深度复数网络(Deep Complex Networks，DCN)得到的检测模型。动作检测模型可以对第一视频的第二光流特征和多个图像帧进行融合检测，从而得到表征待测设备的操作动作是否异常的检测结果。当然，该检测结果还可以包括其他信息，例如，检测设备可以包括待测设备的设备类型、操作动作的动作类型等。
作为一种可选的实施方式，步骤S230可以包括：
将所述第二光流特征和所述多个图像帧分别作为所述复数特征的实部与虚部，或将所述第二光流特征和所述多个图像帧分别作为所述复数特征的虚部与实部，输入所述动作检测模型；
通过所述动作检测模型中的特征提取模块对所述第二光流特征和所述多个图像帧进行特征提取，得到所述第二光流特征和所述多个图像帧的高阶特征；
通过所述动作检测模型中的特征融合模块对所述高阶特征进行融合，得到融合后的高阶特征；
通过所述动作检测模型中的动作识别模块，检测所述融合后的高阶特征得到所述检测结果。
在本实施例中，动作检测模型可以包括特征提取模块、特征融合模块及动作识别模块。其中，特征提取模块使用复数Resnet网络架构，其网络架构与实数Resnet网络基本一致，网络由多个卷积残差块构成。区别在于，复数Resnet网络架构的基础部件使用复数卷积层、复数激活层、复数池化层及复数BN(BatchNormalization，批标准化)层替换实数Resnet网络中的实数卷积层、实数激活层、实数池化层和实数BN层。复数ResNet在ImageNet数据集分类任务上完成预训练后，再使用网络的卷积部分用作特征抽取层。
在将第二光流特征和多个图像帧作为复数特征输入至动作检测模型后，可以由特征抽取层对复数特征进行特征提取，从而得到第二光流特征的高阶特征、多个图像帧的高阶特征。其中，高阶特征即为通过特征提取模型分别对第二光流特征、图像帧进行复数卷积运算得到的数据特征。特征提取模块可以为：用户根据实际需求，对在ImageNet数据集分类任务上预训练好的特征提取模型进行微调，微调后的模型即为特征提取模块，微调方式为本领域技术人员熟知，这里不再赘述。
复数卷积运算的方式可以为：
复数卷积中的输入与卷积核均使用复数表示，复数的实部和虚部表示逻辑上不同的实值实体，并在内部使用实值算法模拟复数运算。复数输入向量可表示为：
h＝A+iB (1)
在公式中(1)，A、B分别为图像帧特征和光流特征，i表示复数中的虚部符号，即“A”表示复数中的实部，“iB”表示复数中的虚部；
复数卷积核可表示为：
W＝x+iy (2)
在公式中(2)，x、y分别为图像帧卷积核和光流卷积核。复数卷积计算公式可以如下：
W*h＝(A*x–B*y)+i(B*x+A*y) (3)
在本实施例中，批标准化层可以用BN层表示，激活层可以用ReLU层表示，卷积层可以用Conv层表示。复数卷积残差块的基本结构可以为：BN→ReLU→Conv→BN→ReLU→Conv→…；即，BN层的输出结果作为ReLU层的输入数据；ReLU层的输出结果，作为Conv层的输入结果；Conv层的输出结果，作为BN层的输入结果，从而完成一次处理；然后，下一BN层的输出结果作为下一ReLU层的输入数据，以上述箭头的顺序进行循环处理，循环的次数可以根据实际情况进行确定，可以为2、3次等次数，这里不作具体限定。
原始复数特征向量经过多层残差模块后，得到图像帧和光流特征的高阶特征向量。特征融合模块可以将图像帧高阶特征和光流高阶特征的结果进行融合，得到融合后的高阶特征。然后，由动作识别模块，检测融合后的高阶特征，便可以得到针对待测设备的操作动作的检测结果，检测结果可以包括动作类型及表征操作动作是否异常的信息。
在上述的实施方式中，动作检测模型可以对第二光流特征和多个图像帧进行融合以得到高阶特征，然后由动作检测模型对高阶特征进行检测，从而提高对待测设备的操作动作检测的准确性与可靠性。
作为一种可选的实施方式，根据预设采样策略从所述第一视频中采样得到多个图像帧，包括：
从所述第一视频中选择所述待测设备执行操作动作期间的视频片段作为第二视频；
以预设采集频率从所述第二视频中采集得到所述多个图像帧。
可理解地，监控设备20采集的视频中，待测设备的状态可以划分为两类，分别为动作状态及静止状态。其中，电子设备10可以仅对动作状态下的视频进行分析处理，以检测待测设备的操作动作是否存在异常，而无需对静止状态下的视频进行分析处理，如此，可以减少视频分析处理的运算量，提高运算效率。
电子设备10在检测待测设备的状态时，可以基于前后图像帧中，待测设备的位置是否发生变化，以确定待测设备的状态。比如，在视频数据中，在任意三个连续图像帧中，待测设备的位置均发生了变化，便确定待测设备处于动作状态；若在任意两个连续的图像帧中，待测设备的位置均未发生变化，便确定待测设备处于静止状态。
预设采集频率通常小于第一视频的帧率，例如，第一视频的帧率为24fps(24fps指一秒钟包括24帧图像)，则预设采集频率可以为一秒钟采集4次、8次等，小于24次的数值。
作为一种可选的实施方式，在从拍摄待测设备得到的第一视频中提取第一光流特征之前，所述方法还包括：
获取视频数据集，所述视频数据集包括拍摄待测设备得到的多个第三视频；
从所述多个第三视频中的每个第三视频中提取一组训练数据，每组训练数据包括从相应的第三视频中提取得到的第三光流特征、多个图像帧及与相应第三视频中的待测设备的操作动作对应的标签；
通过所述每组训练数据训练深度复数网络，得到所述经过训练的动作检测模型。
可理解地，在训练深度复数网络之前，需要预先准备相应的视频数据集。视频数据集所包括的视频数量可以根据实际情况进行确定，可以超过千个、万个视频。视频数据集可以为监控设备20拍摄不同的待测设备得到的视频，该视频即为第三视频，以与前述的第一视频、第二视频进行区分描述。一组训练数据与一个视频对应，包括从该视频提取得到的光流特征(即第三光流特征)、多个图像帧及对应的标签。该标签可理解为用户对视频中的待测设备的操作动作设置的标注，可以根据实际情况进行设置，包括但不限于表征操作动作正常、操作动作异常、操作动作的动作类型等信息。
电子设备10可以获取多组训练数据，然后利用多组训练数据对深度复数网络进行训练。在完成深度复数网络的训练后，可以通过测试数据集对深度复数网络进行测试，以提高深度复数网络检测的准确性。经过测试后的深度复数网络即为动作检测模型。其中，测试数据集可以与训练数据相同或类似。另外，模型的训练与测试过程为本领域技术人员熟知，这里不再赘述。
在上述的实施方式中，通过训练深度复数网络，使得网络模型可以对视频的复数特征进行提取与检测，从而有利于提高对待测设备的操作动作检测的准确性。
作为一种可选的实施方式，所述方法还包括：当所述检测结果表示所述待测设备的操作动作异常时，发出提示信息，其中，所述检测结果包括所述操作动作的动作类型。
示例性地，假设待测设备在正常作业时，为周期性地完成相同的操作动作，若任一周期的操作动作不同与历史的操作动作，则该周期的操作动作便可能会异常操作。在本实施例中，电子设备10可以通过第一视频，自动对待测设备的操作动作进行检测，通过在操作动作异常时，发出提示信息，有利于管理人员及时对异常情况进行复查与维护。
基于上述设计，方法通过深度复数网络(或深度复数卷积网络)替代传统的实数网络，可以扩大检测模型能处理的视频数据的特征种类，能更加充分的利用视频数据的不同模态的特征，进而提升模型的检测效果。在动作检测模型中，可以同时处理视频的图像帧特征(即为图像帧)和光流特征，深度复数网络能有效的学习到图像帧特征和光流特征之间的内在依赖关系，能进行更加充分的特征融合。另外，相较于实数网络，深度复数网络的参数量更少，便于模型的部署。
请参照图4，本申请实施例还提供一种设备动作检测装置100，可以应用于上述的电子设备10中，用于执行方法中的各步骤。设备动作检测装置100包括至少一个可以软件或固件(Firmware)的形式存储于存储模块12中或固化在电子设备10操作系统(OperatingSystem，OS)中的软件功能模块。处理模块11用于执行存储模块12中存储的可执行模块，例如设备动作检测装置100所包括的软件功能模块及计算机程序等。
设备动作检测装置100可以包括特征提取单元110、特征调整单元120及检测单元130，可以执行的操作内容如下：
特征提取单元110，用于从拍摄待测设备得到的第一视频中提取所述第一视频的第一光流特征，以及根据预设采样策略从所述第一视频中采样得到多个图像帧；
特征调整单元120，用于将所述第一光流特征调整为与所述多个图像帧的通道数相同的第二光流特征；
检测单元130，用于将所述第二光流特征和所述多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由所述动作检测模型对所述第二光流特征和所述多个图像帧进行检测所输出的检测结果，所述检测结果包括表征所述待测设备的操作动作是否异常的信息。
作为一种可选的实施方式，所述检测单元130还用于：
将所述第二光流特征和所述多个图像帧分别作为所述复数特征的实部与虚部，或将所述第二光流特征和所述多个图像帧分别作为所述复数特征的虚部与实部，输入所述动作检测模型；
通过所述动作检测模型中的特征提取模块对所述第二光流特征和所述多个图像帧进行特征提取，得到所述第二光流特征和所述多个图像帧的高阶特征；
通过所述动作检测模型中的特征融合模块对所述高阶特征进行融合，得到融合后的高阶特征；
通过所述动作检测模型中的动作识别模块，检测所述融合后的高阶特征得到所述检测结果。
作为一种可选的实施方式，所述特征提取单元110还用于：
从所述第一视频中选择所述待测设备执行操作动作期间的视频片段作为第二视频；
以预设采集频率从所述第二视频中采集得到所述多个图像帧。
作为一种可选的实施方式，设备动作检测装置100还可以包括数据获取单元及训练单元。在特征提取单元110从拍摄待测设备得到的第一视频中提取第一光流特征之前，数据获取单元用于获取视频数据集，所述视频数据集包括拍摄待测设备得到的多个第三视频；特征提取单元110还用于从所述多个第三视频中的每个第三视频中提取一组训练数据，每组训练数据包括从相应的第三视频中提取得到的第三光流特征、多个图像帧及与相应第三视频中的待测设备的操作动作对应的标签；训练单元用于通过所述每组训练数据训练深度复数网络，得到所述经过训练的动作检测模型。
作为一种可选的实施方式，所述设备动作检测装置100还可以包括预警提示单元，用于当所述检测结果表示所述待测设备的操作动作异常时，发出提示信息，其中，所述检测结果包括所述操作动作的动作类型。
在本实施例中，处理模块11可以是一种集成电路芯片，具有信号的处理能力。上述处理模块11可以是通用处理器。例如，该处理器可以是中央处理器(Central ProcessingUnit，CPU)、图形处理器(Graphics Processing Unit，GPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。
存储模块12可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，存储模块12可以用于存储第一视频、第二视频及动作检测模型等。当然，存储模块12还可以用于存储程序，处理模块11在接收到执行指令后，执行该程序。
通信模块用于通过网络建立电子设备10与其他设备的通信连接，并通过网络收发数据。例如，通信模块可以建立电子设备10与管理终端的通信连接，可以用于将电子设备10得到的检测结果发送至相应的管理终端，以便于管理人员及时获取到检测结果。其中，管理终端可以是但不限于智能手机、平板电脑等，这里不作具体限定。
可以理解的是，图2所示的结构仅为电子设备10的一种结构示意图，电子设备10还可以包括比图2所示更多的组件。图2中所示的各组件可以采用硬件、软件或其组合实现。
需要说明的是，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的电子设备10的具体工作过程，可以参考前述方法中的各步骤对应过程，在此不再过多赘述。
本申请实施例还提供一种计算机可读存储介质。计算机可读存储介质中存储有计算机程序，当计算机程序在计算机上运行时，使得计算机执行如上述实施例中所述的设备动作检测方法。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本申请可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本申请的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施场景所述的方法。
综上所述，本申请提供一种设备动作检测方法、装置、电子设备及可读存储介质。方法包括：从拍摄待测设备得到的第一视频中提取第一视频的第一光流特征，以及根据预设采样策略从第一视频中采样得到多个图像帧；将第一光流特征调整为与多个图像帧的通道数相同的第二光流特征；将第二光流特征和多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由动作检测模型对第二光流特征和多个图像帧进行检测所输出的检测结果，检测结果包括表征待测设备的操作动作是否异常的信息。在本方案中，通过提取第一视频中的第一光流特征及多个图像帧以作为复数特征，如此，可以从多个模态对视频进行特征提取，然后由动作检测模型对复数特征进行检测，基于此，有利于提高对待测设备的操作动作检测的准确性与可靠性，避免因特征单一而影响待测设备检测的准确性。
在本申请所提供的实施例中，应该理解到，所揭露的装置、系统和方法，也可以通过其它的方式实现。以上所描述的装置、系统和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。另外，在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
以上所述仅为本申请的实施例而已，并不用于限制本申请的保护范围，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (10)
1.一种设备动作检测方法，其特征在于，所述方法包括：
从拍摄待测设备得到的第一视频中提取所述第一视频的第一光流特征，以及根据预设采样策略从所述第一视频中采样得到多个图像帧；
将所述第一光流特征调整为与所述多个图像帧的通道数相同的第二光流特征；
将所述第二光流特征和所述多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由所述动作检测模型对所述第二光流特征和所述多个图像帧进行检测所输出的检测结果，所述检测结果包括表征所述待测设备的操作动作是否异常的信息。
2.根据权利要求1所述的方法，其特征在于，将所述第二光流特征和所述多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由所述动作检测模型对所述第二光流特征和所述多个图像帧进行检测所输出的检测结果，包括：
将所述第二光流特征和所述多个图像帧分别作为所述复数特征的实部与虚部，或将所述第二光流特征和所述多个图像帧分别作为所述复数特征的虚部与实部，输入所述动作检测模型；
通过所述动作检测模型中的特征提取模块对所述第二光流特征和所述多个图像帧进行特征提取，得到所述第二光流特征和所述多个图像帧的高阶特征；
通过所述动作检测模型中的特征融合模块对所述高阶特征进行融合，得到融合后的高阶特征；
通过所述动作检测模型中的动作识别模块，检测所述融合后的高阶特征得到所述检测结果。
3.根据权利要求1所述的方法，其特征在于，根据预设采样策略从所述第一视频中采样得到多个图像帧，包括：
从所述第一视频中选择所述待测设备执行操作动作期间的视频片段作为第二视频；
以预设采集频率从所述第二视频中采集得到所述多个图像帧。
4.根据权利要求1所述的方法，其特征在于，在从拍摄待测设备得到的第一视频中提取第一光流特征之前，所述方法还包括：
获取视频数据集，所述视频数据集包括拍摄待测设备得到的多个第三视频；
从所述多个第三视频中的每个第三视频中提取一组训练数据，每组训练数据包括从相应的第三视频中提取得到的第三光流特征、多个图像帧及与相应第三视频中的待测设备的操作动作对应的标签；
通过所述每组训练数据训练深度复数网络，得到所述经过训练的动作检测模型。
5.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述检测结果表示所述待测设备的操作动作异常时，发出提示信息，其中，所述检测结果包括所述操作动作的动作类型。
6.一种设备动作检测装置，其特征在于，所述装置包括：
特征提取单元，用于从拍摄待测设备得到的第一视频中提取所述第一视频的第一光流特征，以及根据预设采样策略从所述第一视频中采样得到多个图像帧；
特征调整单元，用于将所述第一光流特征调整为与所述多个图像帧的通道数相同的第二光流特征；
检测单元，用于将所述第二光流特征和所述多个图像帧作为复数特征，输入经过训练的动作检测模型，得到由所述动作检测模型对所述第二光流特征和所述多个图像帧进行检测所输出的检测结果，所述检测结果包括表征所述待测设备的操作动作是否异常的信息。
7.根据权利要求6所述的装置，其特征在于，所述检测单元还用于：
将所述第二光流特征和所述多个图像帧分别作为所述复数特征的实部与虚部，或将所述第二光流特征和所述多个图像帧分别作为所述复数特征的虚部与实部，输入所述动作检测模型；
通过所述动作检测模型中的特征提取模块对所述第二光流特征和所述多个图像帧进行特征提取，得到所述第二光流特征和所述多个图像帧的高阶特征；
通过所述动作检测模型中的特征融合模块对所述高阶特征进行融合，得到融合后的高阶特征；
通过所述动作检测模型中的动作识别模块，检测所述融合后的高阶特征得到所述检测结果。
8.根据权利要求6所述的装置，其特征在于，所述特征提取单元还用于：
从所述第一视频中选择所述待测设备执行操作动作期间的视频片段作为第二视频；
以预设采集频率从所述第二视频中采集得到所述多个图像帧。
9.一种电子设备，其特征在于，所述电子设备包括相互耦合的处理器及存储器，所述存储器内存储计算机程序，当所述计算机程序被所述处理器执行时，使得所述电子设备执行如权利要求1-5中任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，当所述计算机程序在计算机上运行时，使得所述计算机执行如权利要求1-5中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110228133.4A CN112949490A (zh) | 2021-03-01 | 2021-03-01 | 设备动作检测方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110228133.4A CN112949490A (zh) | 2021-03-01 | 2021-03-01 | 设备动作检测方法、装置、电子设备及可读存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112949490A true CN112949490A (zh) | 2021-06-11 |
Family
ID=76247093
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110228133.4A Pending CN112949490A (zh) | 2021-03-01 | 2021-03-01 | 设备动作检测方法、装置、电子设备及可读存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112949490A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724220A (zh) * | 2021-08-27 | 2021-11-30 | 青岛创新奇智科技集团股份有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140279795A1 (en) * | 2011-08-31 | 2014-09-18 | Hitachi Power Solutions Co., Ltd. | Facility State Monitoring Method and Device for Same |
| CN109543513A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技（深圳）有限公司 | 智能监控实时处理的方法、装置、设备及存储介质 |
| CN109690432A (zh) * | 2016-10-12 | 2019-04-26 | 欧姆龙株式会社 | 动作状态监视装置、学习数据生成装置、方法和程序 |
| CN110113226A (zh) * | 2019-04-16 | 2019-08-09 | 新华三信息安全技术有限公司 | 一种检测设备异常的方法及装置 |
| CN112183359A (zh) * | 2020-09-29 | 2021-01-05 | 中国科学院深圳先进技术研究院 | 视频中的暴力内容检测方法、装置及设备 |
| CN112241743A (zh) * | 2020-10-17 | 2021-01-19 | 浙江科技学院 | 一种显著图再生成三流网络的rgbd图像显著性检测方法 |
| CN112257610A (zh) * | 2020-10-23 | 2021-01-22 | 岭东核电有限公司 | 核电设备监控方法、装置、计算机设备和存储介质 |
| CN112364716A (zh) * | 2020-10-23 | 2021-02-12 | 岭东核电有限公司 | 核电设备异常信息检测方法、装置和计算机设备 |
| CN112364850A (zh) * | 2021-01-13 | 2021-02-12 | 北京远鉴信息技术有限公司 | 一种视频质检方法、装置、电子设备及存储介质 |
-
2021
- 2021-03-01 CN CN202110228133.4A patent/CN112949490A/zh active Pending
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140279795A1 (en) * | 2011-08-31 | 2014-09-18 | Hitachi Power Solutions Co., Ltd. | Facility State Monitoring Method and Device for Same |
| CN109690432A (zh) * | 2016-10-12 | 2019-04-26 | 欧姆龙株式会社 | 动作状态监视装置、学习数据生成装置、方法和程序 |
| CN109543513A (zh) * | 2018-10-11 | 2019-03-29 | 平安科技（深圳）有限公司 | 智能监控实时处理的方法、装置、设备及存储介质 |
| CN110113226A (zh) * | 2019-04-16 | 2019-08-09 | 新华三信息安全技术有限公司 | 一种检测设备异常的方法及装置 |
| CN112183359A (zh) * | 2020-09-29 | 2021-01-05 | 中国科学院深圳先进技术研究院 | 视频中的暴力内容检测方法、装置及设备 |
| CN112241743A (zh) * | 2020-10-17 | 2021-01-19 | 浙江科技学院 | 一种显著图再生成三流网络的rgbd图像显著性检测方法 |
| CN112257610A (zh) * | 2020-10-23 | 2021-01-22 | 岭东核电有限公司 | 核电设备监控方法、装置、计算机设备和存储介质 |
| CN112364716A (zh) * | 2020-10-23 | 2021-02-12 | 岭东核电有限公司 | 核电设备异常信息检测方法、装置和计算机设备 |
| CN112364850A (zh) * | 2021-01-13 | 2021-02-12 | 北京远鉴信息技术有限公司 | 一种视频质检方法、装置、电子设备及存储介质 |
Non-Patent Citations (2)
| Title |
|---|
| CHIHEB TRABELSI ET AL.: "《Deep Complex Networks》", 《ARXIV:1705.09792V4 [CS.NE]》 * |
| CHIHEB TRABELSI ET AL.: "Deep Complex Networks" * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113724220A (zh) * | 2021-08-27 | 2021-11-30 | 青岛创新奇智科技集团股份有限公司 | 视频处理方法、装置、电子设备及计算机可读存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11380232B2 (en) | Display screen quality detection method, apparatus, electronic device and storage medium | |
| CN108337505B (zh) | 信息获取方法和装置 | |
| CN109167997B (zh) | 一种视频质量诊断系统及方法 | |
| US20150262068A1 (en) | Event detection apparatus and event detection method | |
| WO2020007119A1 (zh) | 显示屏外围电路检测方法、装置、电子设备及存储介质 | |
| CN113642474A (zh) | 一种基于yolov5的危险区域人员监控方法 | |
| CN109740553B (zh) | 一种基于识别的图像语义分割数据筛选方法及系统 | |
| CN113343779B (zh) | 环境异常检测方法、装置、计算机设备和存储介质 | |
| CN108174198B (zh) | 一种视频图像质量诊断分析检测设备及应用系统 | |
| JP2020160804A (ja) | 情報処理装置、プログラム及び情報処理方法 | |
| KR20220151583A (ko) | 영상 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
| CN115861210A (zh) | 一种基于孪生网络的变电站设备异常检测方法和系统 | |
| CN113439227A (zh) | 放大图像的捕获和存储 | |
| CN112949490A (zh) | 设备动作检测方法、装置、电子设备及可读存储介质 | |
| CN114613006A (zh) | 一种远距离手势识别方法及装置 | |
| CN110796039A (zh) | 一种面部瑕疵检测方法、装置、电子设备及存储介质 | |
| CN116778837A (zh) | 一种多功能显示器故障检测平台 | |
| KR20220151130A (ko) | 영상 처리 방법, 장치, 전자 기기, 저장 매체 및 컴퓨터 프로그램 | |
| US20210374480A1 (en) | Arithmetic device, arithmetic method, program, and discrimination system | |
| CN113628192B (zh) | 图像模糊检测方法、装置、设备、存储介质及程序产品 | |
| CN115546736A (zh) | 基于图像采集的河道采砂监控处理方法及系统 | |
| CN111553408B (zh) | 视频识别软件自动测试的方法 | |
| CN112437274B (zh) | 一种抓拍图片的传输方法及抓拍机 | |
| CN110855467B (zh) | 一种基于计算机视觉技术的网络综合态势预测方法 | |
| CN114170271A (zh) | 一种具有自跟踪意识的多目标跟踪方法、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210611 |