CN113569696A - 基于视频的人体微小震颤信号提取的方法 - Google Patents

Abstract

本发明涉及一种基于视频的人体微小震颤信号提取的方法，步骤S1:获取人体各部位监测视频；步骤S2:构建改进的OpenPose网络模型；步骤S3:基于改进的OpenPose网络模型，确定不同身体部位在每帧图像中的位置坐标；步骤S4:将所有帧的坐标信息取平均值，根据获得的位置信息划分每帧图像中人体不同的身体部位，将划分后的所有帧图像再重新生成视频，获得这些不同身体部位的局部视频；步骤S5:利用欧拉视频放大技术对这些局部视频进行微小振动的放大,获得信号频谱图；步骤S6:对信号频谱图进行频域分析；步骤S7:进行滤波处理，得到最终震颤信号结果。本发明通过人体姿态识别将原视频划分为含不同身体部位的局部视频，再结合欧拉视频放大技术，能获取更精确的人体微小的震颤。

Description

基于视频的人体微小震颤信号提取的方法

技术领域

本发明涉及视频信号提取领域，具体涉及一种基于视频的人体微小震颤信号提取的方法。

背景技术

人体的震颤信息能反映人体的健康状态。在某些非正常状况下，人体的不同部位会出现不同程度的震颤。例如，人体在触电的情况下，触电的身体部位会产生痉挛现象；在健身过程中，身体某个部位过度的运动会产生不自主的震颤；一些常见的震颤疾病，例如帕金森，中风等也会引起人体不同程度的震颤。若能及时检测到这些异常状况下人体产生的震颤，就能有效地避免人体受到持续的危害。因此，对人体不同部位的震颤信息的检测具有重要意义。值得注意的是，对于不同情况下人体健康状态的检测都对应着不同的方法，若能统一采用一种方法对这些不同情况进行非接触式检测，可扩展到不同应用领域。

发明内容

有鉴于此，本发明的目的在于提供一种基于视频的人体微小震颤信号提取的方法，通过人体姿态识别将原视频划分为含不同身体部位的局部视频，再结合欧拉视频放大技术，能获取更精确的人体微小的震颤。

为实现上述目的，本发明采用如下技术方案：

一种基于视频的人体微小震颤信号提取的方法，包括以下步骤：

步骤S1:获取人体各部位监测视频；

步骤S2:构建改进的OpenPose网络模型；

步骤S3:基于改进的OpenPose网络模型，根据人体各部位监测视频进行人体姿态估计，识别视频中每帧图像的人体的不同部位，确定不同身体部位在每帧图像中的位置坐标；

步骤S4:将所有帧的坐标信息取平均值，根据获得的位置信息划分每帧图像中人体不同的身体部位，将划分后的所有帧图像再重新生成视频，获得这些不同身体部位的局部视频；

步骤S5:利用欧拉视频放大技术对这些局部视频进行微小振动的放大,获得信号频谱图；

步骤S6:对信号频谱图进行频域分析，获得的人体不同身体部位的初始震颤信号；

步骤S7:对获得的人体不同身体部位的初始震颤信号进行滤波处理，得到最终震颤信号结果。

进一步的，所述改进的OpenPose网络模型，具体为：基于OpenPose网络，采用Resnet网络的前端代替原始的VGG网络前15层，得到初始的特征图；对于OpenPose网络后面的两个分支网络改为采用一种轻量级分支网络。

进一步的，所述步骤S3具体为：对输入的视频的每帧图像使用OpenPose进行人体姿态估计,利用OpenPose识别视频中每帧图像的人体的不同部位，确定不同身体部位在每帧图像中的位置坐标(x_i,y_i)。

进一步的，所述步骤S4具体为：

将所有帧的坐标信息取平均值：

式子中k表示视频的总帧数，(x_i,y_i)不同身体部位在每帧图像中的位置坐标；

将所得的结果

作为每帧图像身体部位的位置坐标；

根据获得的位置信息划分每帧图像中人体不同的身体部位，将划分后的所有帧图像再重新生成视频，从而获得这些不同身体部位的局部视频。

进一步的，所述步骤S5将处理的视频中的每一帧图像都由振幅和相位进行表示，并将视频信号分解为局部空间振幅信号和相位信号；通过傅里叶变换，将相位信号分解表示为时域中一系列震荡的正弦波；通过带通滤波器对相位信号进行滤波处理，将滤波后的相位信号进行放大，最后将相位信号和幅度信号进行重新组合生成信号频谱图。具体为：

根据复数可控金字塔原理，将图像序列I(m,n,t)多分辨率分解为：

I(m,n,t)＝A(γ,θ,m,n,t)e^{iψ(γ,θ,m,n,t)}

式中γ表示尺度，θ表示方向；

在时域，依据t₀时刻的相位可以计算出t时刻的相位变化量：

δ(γ,θ,m,n,t)＝ψ(γ,θ,m,n,t)-ψ(γ,θ,m,n,t₀)

对于视频的复数可控金字塔分解中的每个尺度和方向，通过计算局部振动信号的空间加权平均来计算单个尺度方向整体振动信号：

采用幅值的平方来加权每个局部信号来减少噪声的影响：

为了防止不同尺度和方向上的振动信号相加前的互相干扰，对信号进行时间的平移；

用

来表示时间平移信号：

其中i表示所有的尺度方向的组合(r,θ)，

表示的是任意一个方向尺度作为参考的信号；

则获得的整体震颤信号为：

进一步的，所述滤波处理采用特沃斯带通滤波器，带通范围为4～6HZ，阻带截至1～9HZ。

一种基于视频的人体微小震颤信号提取系统，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如权利要求上述的无环图划分方法中的步骤。

本发明与现有技术相比具有以下有益效果：

本发明采用人体姿态估计对人体的视频信号自动分割不同身体部位，初步获得更准确的不同身体部位视频。其次使用欧拉视频放大方法放大人体的视频信号，并从放大后的视频中提取震颤信号。最后使用滤波器去除了初始信号中的噪声，获得更为准确的震颤信号。

附图说明

图1是本发明的总流程图。

图2是本发明一实施例中改进OpenPose网络模型前端网络和分支网络的结构图。

图3是本发明一实施例中利用OpenPose自动划分不同身体部位后，得到的每帧手部图像。

图4是本发明一实施例中提取得到人体手部震颤的初始震颤信号。

图5是本发明一实施例中提取人体手部震颤的初始震颤信号的频谱。

图6是本发明一实施例中根据震颤信号的频带范围采用的巴特沃斯带通滤波器。

图7是本发明一实施例中通过设计的巴特沃斯带通滤波器处理后的震颤信号。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

请参照图1，本发明提供一种基于视频的人体微小震颤信号提取的方法，本实施例中从一段时间长度为7秒的人体视频自动提取手部震颤信号，具体如下：

步骤1.获取人体各部位监测视频

拍摄获得7秒钟人体的坐姿的视频。

步骤2.构建改进的OpenPose网络模型；

在原有的OpenPose网络的基础上提出一种新的网络结构模型，采用Resnet网络的前端代替原始的VGG网络前15层，得到初始的特征图，其网络结构图如图2中(a)所示；对于OpenPose后面的两个分支网络改为采用一种轻量级分支网络，该轻量级分支网络结构图如图2中(b)所示。

步骤3.从输入视频获得不同身体部位位置信息

输入拍摄获得的人体视频。利用人体姿态估计OpenPose识别视频中每帧图像的人体不同的身体部位，确定人体手部在每帧图像中的位置坐标(x_i,y_i)；

步骤4.重新确定位置，生成人体手部的局部视频

由于摄像机镜头的抖动和人体不自主地晃动，不同帧之间的(x_i,y_i)会有所变化，因此，我们将所有帧的坐标信息取平均值：

式子中k表示视频的总帧数。将所得的结果

作为每帧图像人体手部的位置坐标。根据获得的手部位置坐标

划分出每帧图像中人体的手部部位，获得的每帧人体手部的图像如图3所示。再将划分后的所有帧图像再重新生成视频，从而获得人体手部的局部视频。

步骤5.视频提取微小震颤信号

利用欧拉视频放大技术对人体的手部视频进行微小振动的放大。根据复数可控金字塔原理，将图像序列I(m，n，t)多分辨率分解为：I(m,n,t)＝A(γ,θ,m,n,t)e^{iψ(γ,θ,m,n,t)}，其中γ表示尺度，θ表示方向。在时域，依据t₀时刻的相位可以计算出t时刻的相位变化量：δ(γ,θ,m,n,t)＝ψ(γ,θ,m,n,t)-ψ(γ,θ,m,n,t₀)，对于视频的复数可控金字塔分解中的每个尺度和方向，通过计算局部振动信号的空间加权平均来计算单个尺度方向整体振动信号：

由于复数可控金字塔的幅值信息A能够测量这些区域的纹理强度，所以采用幅值的平方来加权每个局部信号来减少噪声的影响：

则获得的整体的初始震颤信号为：

所获得的人体的手部初始震颤信号如图4所示，对该信号进行傅里叶变换，获得其频谱如图5所示。

步骤6.对获得的初始信号进行分析，首先对初始信号进行傅氏变换得到信号频谱图进行频域分析，人体手部的震颤频率的范围为4～6HZ，根据此震颤的频率范围设计一个巴特沃斯带通滤波器，设计该滤波器的带通范围为4～6HZ，阻带截至1～9HZ，该巴特沃斯带通滤波器的形状如图6所示。

步骤7.输出滤波处理后的信号

通过对初始的震颤信号进行以上设计的滤波器进行滤波处理，得到了更为理想的人体手部震颤信号，信号结果如图7所示。

本发明的效果和优势通过以下实验进一步说明：

实验环境：Matlab 2016b，python 3.6，Intel Core i5-6500，3.2GHz CPU，NVIDIAGeForce GTX-1060GPU，Windows 10旗舰版。

实验内容：使用本发明方法从一个7秒钟长度的人体的视频中提取该名人体的手部的震颤信号，在获得初始的手部震颤信号后，根据获得的震颤信号的频率范围设计一个巴特沃斯带通滤波器，通过该滤波器滤除初始信号的噪声，获得更为理想的结果。实验中的视频是由福建医科大学第一附属医院提供的，这些视频中记录了人体静坐在椅子上的状态，每个视频的时间长度为6-8s。

参数设置：再对获得的信号进行频谱分析时，使用的采样频率Fs＝30，信号的长度L设置为视频的帧数k一致，设计该滤波器的带通范围为4～6HZ，阻带截至1～9HZ。

实验结果：使用本发明方法处理一个7秒长度的人体的坐姿视频，如图1所示为本发明的主要流程图，依次为：(a)拍摄获得人体的坐姿视频，(b)提出新的OpenPose网络结构模型，(c)输入视频通过OpenPose获得不同身体部位的位置信息，(d)取每帧图像的位置信息的平均值并生成目标部位的局部视频,(e)从局部视频中提取初始的震颤信号,(f)根据初始的震颤信号设计巴特沃斯带通,(g)使用巴特沃斯带通滤波器滤除噪声并输出结果。

图2中(a)为本发明方法提出的网络结构模型前端网络中所采用的ResNet的网络结构。在OpenPose网络结构上，将原先OpenPose前端网络采用的VGG网络改为ResNet。

图2中(b)为在OpenPose原先的分支网络结构上提出的新的分支网络结构，将原先OpenPose的分支网络结构采用一种轻量级的网络结构，该方法首先将原先的两个分支合并成一个，其次在输出阶段使用1*1的卷积分出两个分支出来，从而获得两个结果输出，这种网络结构比原先的分支网络结构计算量更少。

图3为通过OpenPose人体姿态估计划分得到的每帧的人体手部的图像。图像的帧数等于原视频的总帧数k。

图4为通过基于欧拉视频放大的视频测振从人体手部的局部视频中提取的初始震颤信号，可以看出该初始信号较为杂乱。

图5为通过基于欧拉视频放大的视频测振从人体手部的局部视频中提取的初始震颤信号的频谱图，可以看出在目标信号的频带范围旁有许多噪声频带。

图6为本发明方法采用的巴特沃斯带通滤波器的形状，该滤波器带通范围为4～6HZ，阻带截至1～9HZ。

图7为通过设计的巴特沃斯带通滤波器处理后的人体手部的震颤信号，对比图5所获得的人体手部的初始信号，滤波处理后的信号结果更为理想准确。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

以上所述，仅是本发明的较佳实施例而已，并非是对本发明作其它形式的限制，任何熟悉本专业的技术人员可能利用上述揭示的技术内容加以变更或改型为等同变化的等效实施例。但是凡是未脱离本发明技术方案内容,依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与改型，仍属于本发明技术方案的保护范围。

Claims (7)

1.一种基于视频的人体微小震颤信号提取的方法，其特征在于，包括以下步骤：

步骤S1:获取人体各部位监测视频；

步骤S2:构建改进的OpenPose网络模型；

步骤S3:基于改进的OpenPose网络模型，根据人体各部位监测视频进行人体姿态估计，识别视频中每帧图像的人体的不同部位，确定不同身体部位在每帧图像中的位置坐标；

步骤S4:将所有帧的坐标信息取平均值，根据获得的位置信息划分每帧图像中人体不同的身体部位，将划分后的所有帧图像再重新生成视频，获得这些不同身体部位的局部视频；

步骤S5:利用欧拉视频放大技术对这些局部视频进行微小振动的放大,获得信号频谱图；

步骤S6:对信号频谱图进行频域分析，获得的人体不同身体部位的初始震颤信号；

步骤S7:对获得的人体不同身体部位的初始震颤信号进行滤波处理，得到最终震颤信号结果。

2.根据权利要求1所述的基于视频的人体微小震颤信号提取的方法，其特征在于，所述改进的OpenPose网络模型，具体为：基于OpenPose网络，采用Resnet网络的前端代替原始的VGG网络前15层，得到初始的特征图；对于OpenPose网络后面的两个分支网络改为采用一种轻量级分支网络。

3.根据权利要求1所述的基于视频的人体微小震颤信号提取的方法，其特征在于，所述步骤S3具体为：对输入的视频的每帧图像使用OpenPose进行人体姿态估计,利用OpenPose识别视频中每帧图像的人体的不同部位，确定不同身体部位在每帧图像中的位置坐标(x_i,y_i)。

4.根据权利要求1所述的基于视频的人体微小震颤信号提取的方法，其特征在于，所述步骤S4具体为：

将所有帧的坐标信息取平均值：

式子中k表示视频的总帧数，(x_i,y_i)不同身体部位在每帧图像中的位置坐标；

将所得的结果

作为每帧图像身体部位的位置坐标；

根据获得的位置信息划分每帧图像中人体不同的身体部位，将划分后的所有帧图像再重新生成视频，从而获得这些不同身体部位的局部视频。

5.根据权利要求1所述的基于视频的人体微小震颤信号提取的方法，其特征在于，所述步骤S5具体为：根据复数可控金字塔原理，将图像序列I(m,n,t)多分辨率分解为：

I(m,n,t)＝A(γ,θ,m,n,t)e^{iψ(γ,θ,m,n,t)}

式中γ表示尺度，θ表示方向；

在时域，依据t₀时刻的相位可以计算出t时刻的相位变化量：

δ(γ,θ,m,n,t)＝ψ(γ,θ,m,n,t)-ψ(γ,θ,m,n,t₀)

对于视频的复数可控金字塔分解中的每个尺度和方向，通过计算局部振动信号的空间加权平均来计算单个尺度方向整体振动信号：

采用幅值的平方来加权每个局部信号来减少噪声的影响：

为了防止不同尺度和方向上的振动信号相加前的互相干扰，对信号进行时间的平移；

用

来表示时间平移信号：

其中i表示所有的尺度方向的组合(r,θ)，

表示的是任意一个方向尺度作为参考的信号；

则获得的整体震颤信号为：

对获得的整体震颤信号进行傅里叶变换，获得其频谱信号频谱图。

6.根据权利要求1所述的基于视频的人体微小震颤信号提取的方法，其特征在于，所述滤波处理采用特沃斯带通滤波器，带通范围为4～6HZ，阻带截至1～9HZ。

7.一种基于视频的人体微小震颤信号提取系统，其特征在于，包括处理器、存储器以及存储在所述存储器上的计算机程序，所述处理器执行所述计算机程序时，具体执行如权利要求1-6任一项所述的无环图划分方法中的步骤。

Images