CN112001325A - 一种配电不安全行为的预测方法、装置和服务器 - Google Patents

一种配电不安全行为的预测方法、装置和服务器 Download PDF

Info

Publication number
CN112001325A
CN112001325A CN202010864641.7A CN202010864641A CN112001325A CN 112001325 A CN112001325 A CN 112001325A CN 202010864641 A CN202010864641 A CN 202010864641A CN 112001325 A CN112001325 A CN 112001325A
Authority
CN
China
Prior art keywords
signal
bvp
feature
target
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010864641.7A
Other languages
English (en)
Inventor
李华亮
张凯
王琪如
杨志欣
刘羽中
熊超琳
沈雅利
王宇
罗径庭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Original Assignee
Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Electric Power Research Institute of Guangdong Power Grid Co Ltd filed Critical Electric Power Research Institute of Guangdong Power Grid Co Ltd
Priority to CN202010864641.7A priority Critical patent/CN112001325A/zh
Publication of CN112001325A publication Critical patent/CN112001325A/zh
Priority to PCT/CN2021/087688 priority patent/WO2022041786A1/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种配电不安全行为的预测方法、装置和服务器，方法包括：获取第一目标说话时的视频数据后，逐帧提取视频数据中的面部关键点和BVP信号；对每个面部关键点提取时域特征和频域特征，得到运动信号特征，对每个BVP信号进行特征提取，得到BVP信号特征；对第一目标的运动信号特征和BVP信号特征进行特征融合，得到融合特征；将融合特征输入至预置全连接神经网络模型进行处理，输出第一目标的不安全行为得分，预置全连接神经网络模型为运动信号特征、BVP信号特征的融合特征与不安全行为得分的映射关系模型，解决了现有技术中没有对员工的配电不安全行为进行预测的方法，无法预防电力事故发生的技术问题。

Description

一种配电不安全行为的预测方法、装置和服务器
技术领域
本申请涉及行为预测技术领域，尤其涉及一种配电不安全行为的预测方法、装置和服务器。
背景技术
电网配电安全关系到员工的生命安全，根据统计数据显示，员工操作失误是事故发生的主要原因。为了能提前预防电力事故的发生，感知员工的不安全行为就显得尤为重要。
因此，提供一种配电不安全行为的预测方法是本领域技术人员亟待解决的技术问题。
发明内容
本申请提供了一种配电不安全行为的预测方法、装置和服务器，用于解决现有技术中没有对员工的配电不安全行为进行预测的方法，无法预防电力事故发生的技术问题。
有鉴于此，本申请第一方面提供了一种配电不安全行为的预测方法，包括：
获取第一目标说话时的视频数据后，逐帧提取所述视频数据中的面部关键点和BVP信号；
对每个所述面部关键点提取时域特征和频域特征，得到运动信号特征，对每个所述BVP信号进行特征提取，得到BVP信号特征；
对所述第一目标的所述运动信号特征和所述BVP信号特征进行特征融合，得到融合特征；
将所述融合特征输入至预置全连接神经网络模型进行处理，输出所述第一目标的不安全行为得分，所述预置全连接神经网络模型为所述运动信号特征、所述BVP信号特征的融合特征与不安全行为得分的映射关系模型。
可选的，所述预置全连接神经网络模型的配置过程包括：
获取到若干第二目标填写的配电安全行为测量表后，得到各所述第二目标的不安全行为得分；
获取到各所述第二目标说话时的视频数据后，逐帧提取各所述第二目标的视频数据的所述运动信号特征和所述BVP信号特征；
将各所述第二目标的所述运动信号特征和所述BVP信号特征进行特征融合，并将融合后的特征和对应的不安全行为得分输入到全连接神经网络进行训练，得到所述预置全连接神经网络模型。
可选的，所述逐帧提取所述视频数据中的面部关键点和BVP信号，之前还包括：
基于低通滤波方法对所述视频数据进行去噪处理。
可选的，逐帧提取所述视频数据中的BVP信号，包括：
基于运动目标跟踪算法确定所述视频数据中的第一目标面部的ROI区域；
对每帧所述视频数据中的所述ROI区域的三基色通道像素分别进行空间平均，得到每帧所述视频数据对应的原始信号；
对每个所述原始信号的三基色通道信号进行盲源分离，得到所述BVP信号。
可选的，所述对每个所述原始信号的三基色通道信号进行盲源分离，得到所述BVP信号，之前还包括：
对每个所述原始信号进行滤波和标准化处理，得到预处理后的原始信号；
相应的，对每个所述原始信号的三基色通道信号进行盲源分离，得到所述BVP信号，包括：
对每个所述预处理后的原始信号的三基色通道信号进行盲源分离，得到所述BVP信号。
可选的，所述BVP信号特征包括：R频率、G频率、B频率、波峰、波谷、心率或眨眼。
可选的，所述对所述第一目标的所述运动信号特征和所述BVP信号特征进行特征融合，得到融合特征，之前还包括：
对所述第一目标的所述运动信号特征进行降维处理；
相应的，所述对所述第一目标的所述运动信号特征和所述BVP信号特征进行特征融合，得到融合特征，包括：
对降维后的所述第一目标的所述运动信号特征和所述BVP信号特征进行特征融合，得到融合特征。
本申请第二方面提供了一种配电不安全行为的预测装置，包括：
第一提取单元，用于获取第一目标说话时的视频数据后，逐帧提取所述视频数据中的面部关键点和BVP信号；
第二提取单元，用于对每个所述面部关键点提取时域特征和频域特征，得到运动信号特征，对每个所述BVP信号进行特征提取，得到BVP信号特征；
特征融合单元，用于对所述第一目标的所述运动信号特征和所述BVP信号特征进行特征融合，得到融合特征；
输出单元，用于将所述融合特征输入至预置全连接神经网络模型进行处理，输出所述第一目标的不安全行为得分，所述预置全连接神经网络模型为所述融合特征和不安全行为得分的映射关系模型。
可选的，还包括：配置单元；
所述配置单元用于：
获取到若干第二目标填写的配电安全行为测量表后，得到各所述第二目标的不安全行为得分；
获取到各所述第二目标说话时的视频数据后，逐帧提取各所述第二目标的视频数据的所述运动信号特征和所述BVP信号特征；
将各所述第二目标的所述运动信号特征和所述BVP信号特征进行特征融合，并将融合后的特征和对应的不安全行为得分输入到全连接神经网络进行训练，得到所述预置全连接神经网络模型。
本申请第三方面提供了一种服务器，包括：处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行第一方面中任一种所述的行人检测方法。
从以上技术方案可以看出，本申请具有以下优点：
本申请提供了一种配电不安全行为的预测方法，包括：获取第一目标说话时的视频数据后，逐帧提取视频数据中的面部关键点和BVP信号；对每个面部关键点提取时域特征和频域特征，得到运动信号特征，对每个BVP信号进行特征提取，得到BVP信号特征；对第一目标的运动信号特征和BVP信号特征进行特征融合，得到融合特征；将融合特征输入至预置全连接神经网络模型进行处理，输出第一目标的不安全行为得分，预置全连接神经网络模型为融合特征和不安全行为得分的映射关系模型。
本申请中，获取第一目标说话时的视频数据，然后逐帧提取面部关键点和BVP(血容量变化脉冲)信号，进而提取得到面部的运动信号特征和BVP信号特征，通过融合运动信号特征和BVP信号特征，增强特征表示，提高模型的预测准确度；通过面部特征信息与配电不安全行为状态间的映射关系模型来对第一目标进行不安全行为得分预测，实现了不安全行为预测的目的，解决现有技术中没有对员工的配电不安全行为进行预测的方法，无法预防电力事故发生的技术问题。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本申请实施例提供的一种配电不安全行为的预测方法的一个流程示意图；
图2为本申请实施例提供的一种配电不安全行为的预测装置的一个结构示意图；
图3为本申请实施例提供的预置全连接神经网络模型的一个结构示意图；
图4为本申请实施例提供的一种3层全连接神经网络的一个结构示意图；
图5为本申请实施例提供的一种配电不安全行为的预测系统的一个结构示意图。
具体实施方式
本申请提供了一种配电不安全行为的预测方法、装置和服务器，用于解决现有技术中没有对员工的配电不安全行为进行预测的方法，无法预防电力事故发生的技术问题。
为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
为了便于理解，请参阅图1，本申请提供的一种配电不安全行为的预测方法的一个实施例，包括：
步骤101、获取第一目标说话时的视频数据后，逐帧提取视频数据中的面部关键点和BVP信号。
当个体处在心理疾病风险时，会从根本上影响其作为一名自然人的生活状态，所以心理健康是个体安全心理的前提。其次，由于个体的工作表现，受到个体深层的价值观、个性品质、认知等，以及外围环境因素的影响。而个体深层的价值观、个性品质、人格等心理指标可以通过人的面部表情信息进行识别，因此，可以采用机器学习的手段，建立人的面部特征与其工作安全表现之间的关联，用于评价其安全行为表现。
本申请实施例中通过采集第一目标(配电网员工)说话时的视频数据，可以是第一目标进行自我介绍时的视频数据，以获取第一目标在较为自然状态下的包含面部信息的视频数据。然后，逐帧提取视频数据中的面部关键点和BVP信号。
步骤102、对每个面部关键点提取时域特征和频域特征，得到运动信号特征，对每个BVP信号进行特征提取，得到BVP信号特征。
基于面部信息进行配电不安全行为预测时，特征提取非常重要，一般的模式识别是无法直接处理原始数据的，不能直接应用空间坐标数据。因此，需要对第一目标的视频数据进行特征提取，提取出有用的信息作为特征，本申请实施例中主要提取运动信号特征和BVP信号特征。通过对每个BVP信号进行特征提取，得到BVP信号特征，对每个面部关键点的坐标变化提取时域特征和频域特征，得到运动信号特征；时域特征体现了信号数据在时间维度上的特性，频域特征体现了信号数据在频域的特点。
时域特征也称作信号的统计特征，代表了数据在时间维度上的特性，这类特征直接由时域数据计算而来，计算量较小，过程简单。在时域特征中，主要提取的特征有算术和、均值、极值、方差、标准差、偏度、峰度、两轴之间的相关系数等。
频域特征是从频域的角度反映信号的特性，代表信号的频域特点。在对信号进行频域特征提取之前，首先要将信号从时域转换到频域，常用的方法为快速傅里叶变换(FastFourier Transform，FFT)；然后，进行相关特征的计算。通常提取的频域特征有：FFT系数、能量密度、离散余弦变换(Discrete Cosine Transform，DOC)系数、频谱能量(SpectralEnergy)、频域熵(Frequency Domain Entropy)、功率谱密度(Power Spectral Density，PSD)等。由于本申请实施例中采集到的信号在时域上都是离散形式的，在做频域特征提取时，主要使用离散傅里叶变换(Discrete Fourier Transform，DFT)。快速傅里叶变换(FFT)是计算离散傅里叶变换及其逆变换的快速算法。
步骤103、对第一目标的运动信号特征和BVP信号特征进行特征融合，得到融合特征。
通过对第一目标的运动信号特征和BVP信号特征进行特征拼接以进行特征融合，得到融合特征，通过融合这两种特征，增强特征表示，有助于提高模型预测准确率。
步骤104、将融合特征输入至预置全连接神经网络模型进行处理，输出第一目标的不安全行为得分，预置全连接神经网络模型为运动信号特征、BVP信号特征的融合特征与不安全行为得分的映射关系模型。
预置全连接神经网络模型为运动信号特征、BVP信号特征的融合特征与不安全行为得分的映射关系模型，将融合特征输入至预置全连接神经网络模型进行处理，输出第一目标的不安全行为得分，对于不安全得分达不到要求的第一目标，可以不让其参与后续的配电网作业，以预防电力事故发生。
本申请实施例中，获取第一目标说话时的视频数据，然后逐帧提取面部关键点和BVP(血容量变化脉冲)信号，进而提取得到面部的运动信号特征和BVP信号特征，通过融合运动信号特征和BVP信号特征，增强特征表示，提高模型的预测准确度；通过面部特征信息与配电不安全行为状态间的映射关系模型来对第一目标进行不安全行为得分预测，实现了不安全行为预测的目的，解决现有技术中没有对员工的配电不安全行为进行预测的方法，无法预防电力事故发生的技术问题。
以上为本申请提供的一种配电不安全行为的预测方法的一个实施例，以下为本申请提供的一种配电不安全行为的预测方法的另一个实施例。
为了便于理解，本申请提供的一种配电不安全行为的预测方法的另一个实施例，包括：
步骤201、配置预置全连接神经网络模型。
预置全连接神经网络模型的配置过程如下：
步骤2011、获取到若干第二目标填写的配电安全行为测量表后，得到各第二目标的不安全行为得分。
对配电运维岗位进行岗位特征分析，对其日常工作所涉及的安全行为进行了解，安全行为相关的关键作业环节包括：紧急事故处理、电话沟通、安全措施、操作票填写、夜间作业、新设备投用等。本申请实施例根据配电岗位安全风险及不安全行为种类，根据不安全行为建立指标量表，请参考表1。
表1配电安全行为测量表
Figure BDA0002649322810000071
Figure BDA0002649322810000081
给每个自愿的第二目标(配电网员工)发一套配电安全行为测量表，让第二目标如实填写。可以理解的是，给每个选项A、B、C、D和E配置不同的分数值，E的分数值最大，A的分数值最小，在所有第二目标填写完成后，得到每个第二目标12个维度的不安全行为得分。其中，每个选项的具体分数值可以根据实际情况进行设置，在此不做具体限制。
步骤2012、获取到各第二目标说话时的视频数据后，逐帧提取各第二目标的视频数据的运动信号特征和BVP信号特征。
第二目标填写表之后，可以给每个第二目标发一份演讲提纲，并提供5分钟的准备时间，完成不少于2分钟的自我介绍。演讲提纲如下：(1)请介绍一下你自己，并详细的介绍一下你的家乡；(2)请详细介绍你的工作，你在工作期间主要的内容；(3)请介绍一下你对未来的规划，在工作方面想做哪些改进。
在演讲开始前确认kinect深度相机能够拍摄到第二目标的整个面部，kinect深度相机拍摄演讲全部的过程，得到第二目标说话时的视频数据，即可获取第二目标的面部信息。
得到第二目标说话时的面部数据后，逐帧提取各第二目标的视频数据的运动信号特征和BVP信号特征，具体提取过程与后续对第一目标提取特征的过程一致，在此不再进行赘述。
步骤2013、将各第二目标的运动信号特征和BVP信号特征进行特征融合，并将融合后的特征和对应的不安全行为得分输入到全连接神经网络进行训练，得到预置全连接神经网络模型。
在特征融合前，可以对各第二目标的运动信号特征进行降维处理，减少冗余特征，提高计算效率。
将第二目标的运动信号特征和BVP信号特征进行特征融合，并将融合后的特征和该第二目标各个维度对应的不安全行为得分一起输入到全连接神经网络进行训练，通过该全连接神经网络输出各个维度的不安全行为得分预测值与输入的实际各维度的不安全行为得分计算误差值，通过该误差值反向传播更新网络参数，直至该全连接神经网络收敛，得到预置全连接神经网络模型。
本申请实施例中的全连接神经网络结构可以参考图3，全连接神经网络的特点是每一层都是全连接层，即每一层的每个神经元与上一层所有神经元都有连接，能够实现多个全连接层从不同角度提取特征，全连接层作为输出层有分类和数值预测的功能。本申请实施例中，对提取到的运动信号特征和BVP信号特征分别进行降维，降维后的运动信号特征为257维，BVP信号特征为10维，融合后得到267维的融合特征。该全连接神经网络具有3个隐含层，神经元个数分别为180、100和20，输出层12个神经元，分别输出各个维度的不安全得分预测值，采用线性整流函数(ReLU)为激活函数，采用随机梯度下降法进行网络参数优化。
以三层神经网络为例进行说明，请参考图4，该网络包括输入层、隐含层和输出层，第一输入层包含神经元i1、i2，截距b1，权重w1、w2、w3和w4；第二层隐含层包含神经元h1、h2，截距b2，权重w5、w6和w7；第三层输出层包含神经元o1、o2。
神经网络的训练主要包括前向传播和反向传播，其训练过程为：首先，将训练数据输入到输入层，经过隐含层，最后通过输出层输出结果，由于输出结果与实际结果有误差，则计算预测值与实际值之间的误差，并将该误差从输出层向隐含层反向传播，直至传播到输入层，在反向传播过程中，根据误差调整各层参数，不断迭代直至收敛。具体的计算过程为：
输入层到隐含层：
神经元h1的激活函数为sigmoid，函数计算公式为：
NET(h1)＝w1*i1+w2*i2+b1；
OUT(h1)＝1/[1+exp(-NET(h1))]；
同理，神经元h2的激活函数为sigmoid，函数计算公式为：
NET(h2)＝w3*i1+w4*i2+b1；
OUT(h1)＝1/[1+exp(-NET(h2))]；
隐含层到输出层：
神经元o1的激活函数为sigmoid，函数计算公式为：
NET(o1)＝w5*h1+w6*h2+b2；
OUT(o1)＝1/[1+exp(-NET(o1))]；
神经元o2的激活函数为sigmoid，函数计算公式为：
NET(o2)＝w7*h1+w8*h2+b2；
OUT(o2)＝1/[1+exp(-NET(o2))]；
整体误差计算：
Figure BDA0002649322810000101
式中，target为实际值，output为输出值，Eo1、Eo2分别为两个输出的误差。
反向传播的具体计算过程如下：
反向传播计算公式为：
Figure BDA0002649322810000102
将获取的权重值进行不断的迭代，直至输出值接近期望值，所得到的权重为最终的权重，得到训练好的全连接神经网络模型。
本申请实施例根据配电岗位的主要作业风险，设计一套配电运维安全行为量表，开展作业前，通过kinect深度相机采集人的面部信息，这些面部信息包括人脸关键点的三维空间坐标数据和面部视频的三基色通道中G提到分量的BVP信号。通过处理这些面部综合信息，得到与配电安全行为习惯的特征，将这些面部特征和面部特征对应的配电不安全行为得分一起输入到全连接神经网络，经过不断迭代训练之后，得到基于面部综合信息的配电不安全行为模型，即预置全连接神经网络模型。通过该模型可以对配电网员工进行不安全行为预测。
步骤202、获取第一目标说话时的视频数据后，基于低通滤波方法对视频数据进行去噪处理，逐帧提取视频数据中的面部关键点和BVP信号。
获取第一目标说话时的视频数据与获取第二目标说话时的视频数据方法一样。在实际场景中，由于自然环境的运行，面部关键点的运动数据中会带有噪声。为了提取更精确的面部特征，保证模型的角度，本申请实施例中视频数据进行预处理，主要是对信号进行去噪。
运动信号去噪一般采用滤波的方式，包括空域滤波和频域滤波。频域滤波需要先进行傅里叶变换至频域处理，然后再反变换回空间域还原信号，空域滤波是直接对信号的数据做空间变换达到滤波的目的，通常空域滤波是一种领域算法，即输出信号任何的值都是通过一定的算法，根据输入信号数据周围领域内的值得到的。如果输出信号时输入信号领域的线性组合，则称为线性滤波，例如均值滤波和高斯滤波，否则为非线性滤波，如中值滤波和边缘保持滤波。
由于采集的面部数据属于低频数据，本申请实施例中采用低通滤波方法对原始低频信号去噪，均值滤波是一种常用的低通滤波方法，该方法运算简单，对高斯噪声具有良好的去噪能力，因此本申请优选采用均值滤波方法去视频数据进行去噪处理。
对视频数据进行去噪后，可以通过人脸检测算法提取去噪后的每帧视频数据的面部关键点，并逐帧提取视频数据中的BVP信号，具体提取过程包括：
首先，基于运动目标跟踪算法确定视频数据中的第一目标面部的ROI区域；其次，对每帧视频数据中的ROI区域的三基色通道像素分别进行空间平均，得到每帧视频数据对应的原始信号；最后，基于二阶统计量分解算法对每个原始信号的三基色通道信号进行盲源分离，得到BVP信号。
由于BVP信号较易受到光源、面部器官的运动(眨眼、鼻翼随呼吸起伏、嘴角无意识运动等)的影响，因此，在对每个原始信号的三基色通道信号进行盲源分离得到BVP信号之前，可以去原始信号进行去噪处理。具体的，对每个原始信号进行滤波和标准化处理，以去除原始信号噪声，得到预处理后的原始信号，再对每个预处理后的原始信号的三基色通道信号进行盲源分离，得到BVP信号。
步骤203、对每个面部关键点提取时域特征和频域特征，得到运动信号特征，对每个BVP信号进行特征提取，得到BVP信号特征。
本申请实施例中提取的时域特征包括：均值、方差、峰度、偏度和两轴间相关系数；提取的频域特征包括：快速傅里叶变换系数、能量密度、离散余弦变化系数、频谱能量和频域熵；BVP信号特征包括：R频率、G频率、B频率、波峰、波谷、心率或眨眼等。
步骤204、对第一目标的运动信号特征进行降维处理。
本申请实施例中采用PCA对运动信号特征进行降维处理，避免模型发生过拟合，保留1％的主要特征，减少冗余特征，提高计算效率。
步骤205、对降维后的第一目标的运动信号特征和BVP信号特征进行特征融合，得到融合特征。
步骤206、将融合特征输入至预置全连接神经网络模型进行处理，输出第一目标的不安全行为得分。
步骤205至步骤206的具体内容与步骤103至步骤104的具体内容一致，在此不再对步骤205至步骤206进行赘述。
以上为本申请提供的一种配电不安全行为的预测方法的一个实施例，以下为本申请提供的一种配电不安全行为的预测装置的另一个实施例。
为了便于理解，请参考图2，本申请提供的一种配电不安全行为的预测装置的一个实施例，包括：
第一提取单元301，用于获取第一目标说话时的视频数据后，逐帧提取视频数据中的面部关键点和BVP信号。
第二提取单元302，用于对每个面部关键点提取时域特征和频域特征，得到运动信号特征，对每个BVP信号进行特征提取，得到BVP信号特征。
特征融合单元303，用于对第一目标的运动信号特征和BVP信号特征进行特征融合，得到融合特征。
输出单元304，用于将融合特征输入至预置全连接神经网络模型进行处理，输出第一目标的不安全行为得分，预置全连接神经网络模型为融合特征和不安全行为得分的映射关系模型。
作为进一步地改进，还包括：配置单元305；
配置单元305用于：
获取到若干第二目标填写的配电安全行为测量表后，得到各第二目标的不安全行为得分；
获取到各第二目标说话时的视频数据后，逐帧提取各第二目标的视频数据的运动信号特征和BVP信号特征；
将各第二目标的运动信号特征和BVP信号特征进行特征融合，并将融合后的特征和对应的不安全行为得分输入到全连接神经网络进行训练，得到预置全连接神经网络模型。
作为进一步地改进，还包括：
去噪单元306，用于基于低通滤波方法对视频数据进行去噪处理。
作为进一步地改进，还包括：
降维单元307，用于对第一目标的运动信号特征进行降维处理；
相应的，特征融合单元303具体用于：
对降维后的第一目标的运动信号特征和BVP信号特征进行特征融合，得到融合特征。
本申请还提供一种服务器的一个实施例，服务器包括：处理器以及存储器；
存储器用于存储程序代码，并将程序代码传输给处理器；
处理器用于根据程序代码中的指令执行前述行人检测方法实施例中的行人检测方法。
请参考图5提供的配电不安全行为的预测系统，本申请实施例中通过深度相机kinect采集配电网员工的面部信息数据，相机放置于固定位置，配电网员工坐于相机前方，并确定相机能拍摄到员工的整个面部，通过网络参数，将采集的包含面部信息的视频数据传输到数据库进行存储，数据库可以存储在云盘中；服务器从数据库中获取视频数据，服务器中的处理器用于执行前述行人检测方法实施例中的行人检测方法，对视频数据进行预处理、特征提取、通过预置全连接层神经网络模型进行不安全行为得分预测，并将预测的不安全行为得分输出到显示器进行显示，完成配电不安全行为的预测。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以通过一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文全称：Read-OnlyMemory，英文缩写：ROM)、随机存取存储器(英文全称：Random Access Memory，英文缩写：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (10)

1.一种配电不安全行为的预测方法，其特征在于，包括：
获取第一目标说话时的视频数据后，逐帧提取所述视频数据中的面部关键点和BVP信号；
对每个所述面部关键点提取时域特征和频域特征，得到运动信号特征，对每个所述BVP信号进行特征提取，得到BVP信号特征；
对所述第一目标的所述运动信号特征和所述BVP信号特征进行特征融合，得到融合特征；
将所述融合特征输入至预置全连接神经网络模型进行处理，输出所述第一目标的不安全行为得分，所述预置全连接神经网络模型为所述运动信号特征、所述BVP信号特征的融合特征与不安全行为得分的映射关系模型。
2.根据权利要求1所述的配电不安全行为的预测方法，其特征在于，所述预置全连接神经网络模型的配置过程包括：
获取到若干第二目标填写的配电安全行为测量表后，得到各所述第二目标的不安全行为得分；
获取到各所述第二目标说话时的视频数据后，逐帧提取各所述第二目标的视频数据的所述运动信号特征和所述BVP信号特征；
将各所述第二目标的所述运动信号特征和所述BVP信号特征进行特征融合，并将融合后的特征和对应的不安全行为得分输入到全连接神经网络进行训练，得到所述预置全连接神经网络模型。
3.根据权利要求1所述的配电不安全行为的预测方法，其特征在于，所述逐帧提取所述视频数据中的面部关键点和BVP信号，之前还包括：
基于低通滤波方法对所述视频数据进行去噪处理。
4.根据权利要求1所述的配电不安全行为的预测方法，其特征在于，逐帧提取所述视频数据中的BVP信号，包括：
基于运动目标跟踪算法确定所述视频数据中的第一目标面部的ROI区域；
对每帧所述视频数据中的所述ROI区域的三基色通道像素分别进行空间平均，得到每帧所述视频数据对应的原始信号；
对每个所述原始信号的三基色通道信号进行盲源分离，得到所述BVP信号。
5.根据权利要求4所述的配电不安全行为的预测方法，其特征在于，所述对每个所述原始信号的三基色通道信号进行盲源分离，得到所述BVP信号，之前还包括：
对每个所述原始信号进行滤波和标准化处理，得到预处理后的原始信号；
相应的，对每个所述原始信号的三基色通道信号进行盲源分离，得到所述BVP信号，包括：
对每个所述预处理后的原始信号的三基色通道信号进行盲源分离，得到所述BVP信号。
6.根据权利要求1所述的配电不安全行为的预测方法，其特征在于，所述BVP信号特征包括：R频率、G频率、B频率、波峰、波谷、心率或眨眼。
7.根据权利要求1所述的配电不安全行为的预测方法，其特征在于，所述对所述第一目标的所述运动信号特征和所述BVP信号特征进行特征融合，得到融合特征，之前还包括：
对所述第一目标的所述运动信号特征进行降维处理；
相应的，所述对所述第一目标的所述运动信号特征和所述BVP信号特征进行特征融合，得到融合特征，包括：
对降维后的所述第一目标的所述运动信号特征和所述BVP信号特征进行特征融合，得到融合特征。
8.一种配电不安全行为的预测装置，其特征在于，包括：
第一提取单元，用于获取第一目标说话时的视频数据后，逐帧提取所述视频数据中的面部关键点和BVP信号；
第二提取单元，用于对每个所述面部关键点提取时域特征和频域特征，得到运动信号特征，对每个所述BVP信号进行特征提取，得到BVP信号特征；
特征融合单元，用于对所述第一目标的所述运动信号特征和所述BVP信号特征进行特征融合，得到融合特征；
输出单元，用于将所述融合特征输入至预置全连接神经网络模型进行处理，输出所述第一目标的不安全行为得分，所述预置全连接神经网络模型为所述融合特征和不安全行为得分的映射关系模型。
9.根据权利要求8所述的配电不安全行为的预测装置，其特征在于，还包括：配置单元；
所述配置单元用于：
获取到若干第二目标填写的配电安全行为测量表后，得到各所述第二目标的不安全行为得分；
获取到各所述第二目标说话时的视频数据后，逐帧提取各所述第二目标的视频数据的所述运动信号特征和所述BVP信号特征；
将各所述第二目标的所述运动信号特征和所述BVP信号特征进行特征融合，并将融合后的特征和对应的不安全行为得分输入到全连接神经网络进行训练，得到所述预置全连接神经网络模型。
10.一种服务器，其特征在于，包括：处理器以及存储器；
所述存储器用于存储程序代码，并将所述程序代码传输给所述处理器；
所述处理器用于根据所述程序代码中的指令执行权利要求1-7中任一项所述的行人检测方法。
CN202010864641.7A 2020-08-25 2020-08-25 一种配电不安全行为的预测方法、装置和服务器 Pending CN112001325A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010864641.7A CN112001325A (zh) 2020-08-25 2020-08-25 一种配电不安全行为的预测方法、装置和服务器
PCT/CN2021/087688 WO2022041786A1 (zh) 2020-08-25 2021-04-16 一种配电不安全行为的预测方法、装置和服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010864641.7A CN112001325A (zh) 2020-08-25 2020-08-25 一种配电不安全行为的预测方法、装置和服务器

Publications (1)

Publication Number Publication Date
CN112001325A true CN112001325A (zh) 2020-11-27

Family

ID=73470832

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010864641.7A Pending CN112001325A (zh) 2020-08-25 2020-08-25 一种配电不安全行为的预测方法、装置和服务器

Country Status (2)

Country Link
CN (1) CN112001325A (zh)
WO (1) WO2022041786A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041786A1 (zh) * 2020-08-25 2022-03-03 广东电网有限责任公司电力科学研究院 一种配电不安全行为的预测方法、装置和服务器

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115264408A (zh) * 2022-06-23 2022-11-01 大连理工大学 一种基于音频处理的管道泄漏检测方法及系统
CN117574133B (zh) * 2024-01-11 2024-04-02 湖南工商大学 一种不安全生产行为识别方法及相关设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096544A (zh) * 2016-06-02 2016-11-09 安徽大学 基于二阶盲辨识的非接触式眨眼与心率联合检测系统及方法
CN109740670A (zh) * 2019-01-02 2019-05-10 京东方科技集团股份有限公司 视频分类的方法及装置
CN109846469A (zh) * 2019-04-16 2019-06-07 合肥工业大学 一种基于卷积神经网络的非接触式心率测量方法
CN110717461A (zh) * 2019-10-12 2020-01-21 广东电网有限责任公司 一种疲劳状态识别方法、装置和设备
CN111523601A (zh) * 2020-04-26 2020-08-11 道和安邦（天津）安防科技有限公司 一种基于知识引导和生成对抗学习的潜在情绪识别方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9642536B2 (en) * 2010-06-07 2017-05-09 Affectiva, Inc. Mental state analysis using heart rate collection based on video imagery
CN111358475A (zh) * 2020-03-16 2020-07-03 国网安徽省电力有限公司 电力系统高危作业人员精神状态评估方法及系统
CN112001325A (zh) * 2020-08-25 2020-11-27 广东电网有限责任公司电力科学研究院 一种配电不安全行为的预测方法、装置和服务器

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106096544A (zh) * 2016-06-02 2016-11-09 安徽大学 基于二阶盲辨识的非接触式眨眼与心率联合检测系统及方法
CN109740670A (zh) * 2019-01-02 2019-05-10 京东方科技集团股份有限公司 视频分类的方法及装置
CN109846469A (zh) * 2019-04-16 2019-06-07 合肥工业大学 一种基于卷积神经网络的非接触式心率测量方法
CN110717461A (zh) * 2019-10-12 2020-01-21 广东电网有限责任公司 一种疲劳状态识别方法、装置和设备
CN111523601A (zh) * 2020-04-26 2020-08-11 道和安邦（天津）安防科技有限公司 一种基于知识引导和生成对抗学习的潜在情绪识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
何璇等: "基于面部视频的血流信号提取方法的比较及适用性研究", 《生物医学工程学杂志》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022041786A1 (zh) * 2020-08-25 2022-03-03 广东电网有限责任公司电力科学研究院 一种配电不安全行为的预测方法、装置和服务器

Also Published As

Publication number Publication date
WO2022041786A1 (zh) 2022-03-03

Similar Documents

Publication Publication Date Title
CN112001325A (zh) 一种配电不安全行为的预测方法、装置和服务器
US11487995B2 (en) Method and apparatus for determining image quality
CN111709409B (zh) 人脸活体检测方法、装置、设备及介质
Moon et al. AR and ARMA model order selection for time-series modeling with ImageNet classification
CN108875708A (zh) 基于视频的行为分析方法、装置、设备、系统及存储介质
CN109259784A (zh) 脑梗塞的ai预测方法、装置、设备及存储介质
CN112784798A (zh) 一种基于特征-时间注意力机制的多模态情感识别方法
US20220280087A1 (en) Visual Perception-Based Emotion Recognition Method
CN110188794B (zh) 一种深度学习模型的训练方法、装置、设备及存储介质
CN111461176A (zh) 基于归一化互信息的多模态融合方法、装置、介质及设备
CN108776786A (zh) 用于生成用户真伪识别模型的方法和装置
CN109657554A (zh) 一种基于微表情的图像识别方法、装置以及相关设备
CN108197592B (zh) 信息获取方法和装置
WO2021068781A1 (zh) 一种疲劳状态识别方法、装置和设备
CN111839489A (zh) 非接触式生理心理健康检测系统
JP2022547595A (ja) 顔属性認識方法、装置、電子機器及び記憶媒体
CN110909680A (zh) 人脸图像的表情识别方法、装置、电子设备及存储介质
CN111862990B (zh) 说话者身份验证方法及系统
CN109584992A (zh) 交互方法、装置、服务器、存储介质及沙盘治疗系统
CN113011504A (zh) 基于视角权重和特征融合的虚拟现实场景情感识别方法
CN110084293A (zh) 一种全明格局房屋的确定方法和装置
Shu et al. Sparse autoencoders for word decoding from magnetoencephalography
CN109784185A (zh) 基于微表情识别的客户餐饮评价自动获取方法及装置
CN106510736A (zh) 基于多维心理状态指标的心理状态判定方法与系统
CN108922617A (zh) 一种基于神经网络的自闭症辅助诊断方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201127