CN114222033B - 一种基于经验模态分解的自适应欧拉视频放大方法 - Google Patents

Abstract

一种基于经验模态分解的自适应欧拉视频放大方法，它包括以下步骤：1.对视频信号进行颜色空间的转换；2.进行视频信号的拉普拉斯金字塔分解；3.进行基带图像的经验模态分解；4.选取微小运动信号；5.放大并重构微小运动信号；6.进行放大视频数据的生成。本发明的目的是为了自适应放大不同类型的视频并提高视频的抗噪性，针对线性欧拉视频放大方法在不用场景的视频中需要人为设置滤波器参数存在最优滤波器参数选择的问题以及噪声敏感问题，而提供的一种基于经验模态分解的自适应欧拉视频放大方法。

Description

一种基于经验模态分解的自适应欧拉视频放大方法

技术领域

本发明属于视频图像处理领域，具体涉及一种基于经验模态分解的自适应欧拉视频放大方法。

背景技术

人类视觉系统有其空间域敏感性限制，对于超出感知域的变化，裸眼无法感知。然而，很多人类视觉能力之外的信号有很强的信息性，例如理解建筑物的结构健康程度以及测量人的生命体征。视频运动放大技术使我们能够感知到人眼无法感知的微小运动，从而达到揭示自然界中微小变化现象背后重要的信息的目的，但是这项任务具有挑战性，因为这些微小运动太弱，以致很难与噪声区分开来。

现有的线性欧拉视频放大技术既可以用于运动放大也可以用于颜色放大，但针对不同特点的视频需要人为的设定滤波器参数，不同场景的视频所用的滤波器种类可能也不一样，滤波器参数也不尽相同，且基于亮度变化的视频放大方法对噪声敏感，这就导致在微小信号放大的过程中同时放大噪声，放大倍数越大噪声的影响越显著。因此，亟待提出一种能高效快速的抗噪的视频放大技术，实现在对视频微小变化放大的同时抑制噪声干扰。

发明内容

本发明的目的是为了自适应放大不同类型的视频并提高视频的抗噪性，针对线性欧拉视频放大方法在不用场景的视频中需要人为设置滤波器参数存在最优滤波器参数选择的问题以及噪声敏感问题，而提供的一种基于经验模态分解的自适应欧拉视频放大方法。

一种基于经验模态分解的自适应欧拉视频放大方法，包括如下步骤：

1.进行颜色空间的转换；

将视频的每帧图像从RGB颜色空间转换到YIQ颜色空间，读取的视频帧每帧彩色图像都是由红绿蓝(RGB)三种颜色组成，用如下公式转换到YIQ空间：

其中Y是亮度信号，I代表人眼敏感的色彩色差信号，Q代表人眼不敏感的色差信号；

2.进行视频信号的拉普拉斯金字塔分解；

对空间转换完成的视频帧进行拉普拉斯金字塔分解，公式如下；

拉普拉斯金字塔分解得到N层基带图像，其中L_i表示为拉普拉斯金字塔第i层，G_i表示第i层的图像，i≤N，而UP()操作是将源图像中位置为(x,y)的像素映射到目标图像的(2x+1,2y+1)位置，符号

表示卷积，g_5×5为5x5的高斯内核，(x,y)表示为图像像素点坐标；

3.进行基带图像的经验模态分解；

对步骤2得到的每层基带图像的每个像素点的时间序列进行经验模态分解，具体为：假设第一层基带图像的第一个像素点时间序列原始信号为x(t)，求出x(t)上的全部极大值点和极小值点，再利用三次样条函数分别对这些局部最大值和局部最小值点进行插值得到x(t)的上包络线u(t)和下包络线l(t),计算两条包络线的平均值曲线m₁(t)＝[u(t)+l(t)]/2，并用原始信号减去平均值m₁(t)，h₁(t)＝x(t)-m₁(t)，判断h₁(t)是否满足本征模态函数的条件；如果不满足，需要把h₁(t)作为原始信号，重复k次直到满足本征模态函数的条件为止，得到h_1k(t)即为一阶本征模态函数分量，用c₁(t)表示，计算原始序列与新得到的本征模函数分量的差值，得到第一次分解后的剩余分量：r₁(t)＝x(t)-c₁(t)，重复上述操作，直到无法继续分出本征模态函数分量。此时的原始信号可以表示为：

其中c_i(t)为第i个本征模态函数分量，t表示时间，i≤n，r_n(t)表示第n个残余序列，本发明中n∈{5，6，7，8}；

空间转换完成的所有视频帧由步骤2得到N层基带图像，且每帧图像拉普拉斯分解的基带图像层数相同，对所有视频帧的每一层基带图像的每个像素点的时间序列进行上述的经验模态分解操作，依次进行到第N层每个像素点经验模态分解完成。

4.自适应选取微小运动信号；

从每层基带图像的每个像素点的时间序列分解得到的本征模态函数分量中自适应的选取出与时间序列最相关的经验模态分量作为存在微小运动的信号，具体为：

将得到的各本征模态函数分量与对应像素点的时间序列求相关系数，自动选取出与第j像素点相关系数最大的分量c_jmax(t)，(j≤J)则自适应选取的微小运动信号可以表示为：

如果待分解的时间序列信号是存在运动的信号则选取的最相关经验模态分量就是包含微小运动的分量，如果待分解的时间序列是背景点时间序列则选取的最相关本征模态函数分量就是不存在微小运动信号；这样就能自适应的选取微小运动信号，改善噪声的干扰，其中x_emd(t)即为感兴趣的运动信号,J表示所有基带图像像素点个数总和。

5.放大并重构微小运动信号；

对得到的微小信号乘以放大倍数α得到放大信号，将放大信号进行拉普拉斯反重构，拉普拉斯反重构就是拉普拉斯重构的反过程。

6.放大视频生成步骤；

将步骤5得到的信号与原始视频帧数据叠加，叠加后的视频帧从YIQ颜色空间转到RGB空间，按如下公式转换：

每帧都进行转换完成后，所有帧合成最后放大的视频数据；

所述步骤2中对空间转换后的视频帧进行N层拉普拉斯空间金字塔分解，N可由下式计算：

其中round表示四舍五入计算，h和w是原始视频图像的高度和宽度，单位为像素。

与现有技术相比，本发明具有如下技术效果：

本发明利用经验模态分解算法，能自适应的选择和原始信号最相关的本征模态函数分量，相当于一个自适应的滤波过程。首先对视频帧进行颜色空间转换，再对视频帧采用拉普拉斯金子塔分解，得到分解的基带图像，再对每层基带图像每个像素点的时间序列进行经验模态分解，自适应得到微小运动的信号，再将得到的微小信号乘以放大倍数，叠加到原始视频中，得到放大后的视频。本发明将经验模态分解算法和欧拉视频放大结合，在自适应的得到感兴趣的微小运动信号的基础上，实现微小运动放大，且无需人工设置滤波参数，较好的改善欧拉视频放大方法中的边缘模糊效应，对噪声的抑制能力明显优于与欧拉视频放大方法。

附图说明

下面结合附图和实施例对本发明作进一步说明：

图1是选取的baby视频的一帧中标记两个点的示意图；

图2是在baby视频选取的两个像素点处(图1中背景点A和运动点B)灰度值变化情况示意图；

图3是运动点B的时间序列及其经验模态分解的各分量示意图及其各频谱示意图；

图4是背景点A的时间序列及其经验模态分解的各分量示意图及各频谱示意图；

图5是baby原始视频中的一帧示意图；

图6是用欧拉运动放大的方法放大baby视频20倍后，在图5中黑线处的时间序列示意图；

图7是本发明方法放大baby视频20倍后，在图5中黑线处时间序列示意图。

图8是脸部视频的一帧示意图；

图9是用欧拉运动放大的方法放大脸部视频20倍后，在图8中黑线处的时间序列示意图；

图10是用本发明方法放大脸部视频20倍后，在图8中黑线处的时间序列示意图；

图11是图1中运动点B处分别用欧拉运动放大方法和本发明方法结果视频的像素强度与原始视频的对比示意图；

图12是图1中背景点A处分别用欧拉运动放大方法和本发明方法结果视频的像素强度与原始视频的对比示意图；

图13基于经验模态分解的自适应欧拉方法的总体流程图。

具体实施方式

一种基于经验模态分解的自适应欧拉视频放大方法，包括如下步骤：

(1)进行颜色空间的转换

本实施例输入一个baby的视频，时间为10秒钟，视频尺寸大小为544乘以960个像素，帧率为30帧每秒，将视频的每帧图像从RGB颜色空间转换到YIQ颜色空间，读取的视频帧每帧彩色图像都是由红绿蓝(RGB)三种颜色组成，用如下公式进行转换到YIQ空间：

其中Y是亮度信号，I代表人眼敏感的色彩色差信号，Q代表人眼不敏感的色差信号。

(2)进行视频信号的拉普拉斯金字塔分解

对空间转换的视频帧进行拉普拉斯空间金字塔分解，公式如下；

拉普拉斯金字塔分解得到N层基带图像，其中L_i表示为拉普拉斯金字塔第i层，G_i表示第i层的图像，而UP()操作是将源图像中位置为(x,y)的像素映射到目标图像的(2x+1,2y+1)位置，符号

表示卷积，g_5×5为5x5的高斯内核。(x,y)表示为图像像素点坐标，本实施例中总共分解为8层基带图像，各层数基带图像尺寸大小分别为544×960，272×480，136×240，68×120，34×60，17×30，9×15，5×8。

(3)基带图像的经验模态分解

对拉普拉斯空间金字塔分解后的8层子图像的每个像素点的时间序列进行经验模态分解，其原理为：假设第一层基带图像的第一个像素点时间序列原始信号为x(t)，求出x(t)上的全部极大值点和极小值点，再利用三次样条函数分别对这些局部最大值和局部最小值点进行插值得到x(t)的上包络线和下包络线,计算两条包络线的平均值曲线，并用原始信号减去平均值，判断h₁(t)是否满足本征模态函数的条件，如果不满足，需要把h₁(t)作为原始信号，重复k次直到满足本征模态函数的条件为止，得到h_1k(t),即为一阶本征模态函数分量，用c₁(t)表示，计算原始序列与新得到的本征模函数分量的差值，得到第一次分解后的剩余分量：r₁(t)＝x(t)-c₁(t)，重复上述操作，直到无法继续分出本征模态函数分量。此时的原始序列可以表示为：

其中c_i(t)为第i个本征模态函数分量，i≤n，r_n(t)表示第n个残余序列，本实施例中＝5。

空间转换完成的所有视频帧由步骤(2)得到N层基带图像，且每帧图像拉普拉斯分解的基带图像层数相同，对所有视频帧的每一层基带图像的每个像素点的时间序列进行上述的经验模态分解操作，依次进行到第N层每个像素点经验模态分解完成，本实施例中baby视频帧经过步骤(2)得到是8层基带图像，1到8层基带图像的尺寸分别是(544 960)，(272480)，(136 240),(68 120)，(34 60)，(17 30)，(9 15)，(5 8)。

(4)自适应选取微小运动信号步骤

从每层基带图像的每个像素点的时间序列分解得到的本征模态函数分量中自适应的选取出与时间序列最相关的经验模态分量作为存在微小运动的信号，具体为：将得到的各本征模态函数分量与对应像素点的时间序列求相关系数，自动选取出与第j像素点相关系数最大的分量c_jmax(t)，(j≤J)则自适应选取的微小运动信号可以表示为：

如果待分解的时间序列信号是存在运动的信号则选取的最相关经验模态分量就是包含微小运动的分量，如果待分解的时间序列是背景点时间序列则选取的最相关本征模态函数分量就是不存在微小运动信号；这样就能自适应的选取微小运动信号，改善噪声的干扰，其中x_emd(t)即为感兴趣的运动信号,J表示所有基带图像像素点个数总和。

(5)放大并重构微小运动信号

对得到的微小信号乘以放大倍数α得到放大信号，将放大信号进行拉普拉斯反重构，拉普拉斯反重构就是拉普拉斯重构的反过程。其中10≤α≤50，本实施例中α＝20；

(6)放大视频生成

将步骤5得到的信号与原始视频帧数据叠加，叠加后的视频帧从YIQ颜色空间转到RGB空间，按如下公式转换：

每帧都进行转换完成后，所有帧合成最后放大的视频数据；

所述步骤2中对空间转换后的视频帧进行N层拉普拉斯空间金字塔分解，N可由下式计算：

其中round表示四舍五入计算，h和w是原始视频图像的高度和宽度，单位为像素。

微小运动放大可以从主观上和客观上进行评价，为了客观的检验本发明的方法，本发明选取了不同微小运动的视频。对不同视频进行放大并与欧拉视频放大方法进行对比，观察在放大和噪声方面的表现。本发明所选取的视频都是公开的标准数据，视频素材均来自MIT视频放大实验室开源视频。为保证对算法稳定性的检验，将本发明的方法与欧拉运动放大方法进行对比，在放大效果对比上，本发明方法与欧拉视频放大方法相当；在噪声对比上，本发明的方法与欧拉运动放大方法对比来看，体现出本发明算法要更好。图2是在视频选取的两个像素点处的(图1中背景点A和运动点B)灰度值变化情况，从像素值的变化上看，运动点的像素值的波动幅度更明显。图3-图4是对背景点A和运动点B像素点处的时间序列进行经验模态分解得到的各本征模态函数分量以及其频谱图。运动点和背景点的经验模态分解的本征模态函数分量中可以看出，运动点的分量有明显的波动，并且比背景点的波动大，特别是第4个本征模态函数分量，说明这些分量中包含微小运动信息。图6-图7是图5黑线所在位置，分别用欧拉运动放大方法和本发明所用方法的时空结果图。图8是人脸原始视频的一帧，图9-图10是图8标记所在位置，分别用欧拉运动放大方法和本发明所用方法的时空结果图，图11是baby视频图1运动点B分别用欧拉运动放大方法和本发明方法的结果波形图，图12是baby视频图1静止点A分别用欧拉运动放大方法和本发明方法的结果波形图。

主观上的评价方法主要是用肉眼观察。一般是用视频特定位置的时空图观察视频是否存在有噪声影响的伪影以及模糊。从图6至图7圈出的白框可以看出本发明方法放大动作的能力与欧拉视频放大效果相当，且边缘处的模糊程度显著减少，伪影较少，说明抗噪声性能较好，图9至图10中人脸黑线标记位置处的时空图在整个图像上，与欧拉运动放大方法相比，噪声明显改善，在人脸头部的运动达到放大效果，且在眼睛，嘴巴处的伪影明显减少，本发明方法能自适应地选取视频中的微小运动信号，且不需要微小信号的变化频率等先验信息，不需要人工设置滤波器参数，同时又可以实现抑制噪声影响，有效的改善欧拉运动放大方法中噪声的干扰。

客观上来评价一种基于经验模态分解的自适应欧拉视频放大方法的有效性，从提取结果视频波形进行噪声分析得出。

如图11至图12所示，对比在不同位置上运用不同放大方法与原始信号的波形对比情况，在图1相同的运动点B和背景点A处，放大倍数相同的情况下，用不同方法放大后的视频的像素强度进行对比，从图11在运动点处的像素强度，可以看出本发明方法放大的效果与欧拉视频运动放大方法相当，图12在背景点A处，本发明方法的像素强度小于欧拉视频运动放大方法，相比之下，说明经过经验模态分解的视频放大结果在噪声的抑制上明显优于传统的欧拉运放大方法，本发明所用方法噪声程度明显减少，能有效的改善欧拉运动放大方法中噪声的干扰，且能自适应的选取微小运动信号，无需人工设置滤波器参数。

本发明采用的基于经验模态分解方法，是一种适用于对非线性、不平稳的时间序列进行分析处理的方法，经验模态分解方法将信号分解成有限个本征模态函数的单分量信号组合，定义了信号瞬时频率的物理实体。与传统时频分析方法的频率定义方式完全不同，利用相位导数求取频率的经典定义方法，对信号不同频率成分分量的瞬时频率进行了精确的描述和表达。所以，经验模态分解方法对时变非线性非平稳信号也具有很好的分析效果，具有有效的局瞬特性表征能力。在视频运动放大中，将拉普拉斯金字塔分解后的时间序列进行经验模态分解，并自适应的选取表示感兴趣运动信号的分量。利用经验模态分解方法既可以有效地选择视频中的微小变化，又能有效的抑制噪声影响，且不需要微小信号的变化频率等先验信息，有效的改善欧拉运动中噪声的干扰。

Claims (5)

1.一种基于经验模态分解的自适应欧拉视频放大方法，其特征在于，它包括以下步骤：

步骤1.对视频信号进行颜色空间的转换；

步骤2.对进行颜色空间转换后的视频信号进行拉普拉斯金字塔分解得到N层基带图像；

步骤3.进行基带图像的经验模态分解；

步骤4.选取微小运动信号；

步骤5.放大并重构微小运动信号；

步骤6.基于放大并重构的微小运动信号进行放大视频数据的生成；

在步骤4中，从每层基带图像的每个像素点的时间序列分解得到的本征模态函数分量中自适应的选取出与时间序列最相关的经验模态分量作为微小运动的信号，具体为：

将得到的各本征模态函数分量与对应像素点的时间序列求相关系数，自动选取出与第j像素点相关系数最大的分量c_jmax(t)，1≤j≤J，则自适应选取的微小运动信号可以表示为：

其中x_emd(t)即为感兴趣的运动信号,J表示所有基带图像像素点个数总和。

2.根据权利要求1所述的方法，其特征在于，在步骤1中，将视频的每帧图像从RGB颜色空间转换到YIQ颜色空间，读取的视频帧每帧彩色图像都是由红绿蓝RGB三种颜色组成，用如下公式转换到YIQ空间：

其中Y是亮度信号，I代表人眼敏感的色彩色差信号，Q代表人眼不敏感的色差信号。

3.根据权利要求1所述的方法，其特征在于，在步骤3中，在进行基带图像的经验模态分解时，对步骤2得到的每层基带图像的每个像素点的时间序列进行经验模态分解，包括以下步骤：

假设第一层基带图像的第一个像素点时间序列原始信号为x(t)，求出x(t)上的局部极大值点和局部极小值点，再利用三次样条函数分别对这些局部极大值点和局部极小值点进行插值得到x(t)的上包络线u(t)和下包络线l(t),计算两条包络线的平均值曲线m₁(t)＝[u(t)+l(t)]/2，并用原始信号减去平均值m₁(t)得到h₁(t)，h₁(t)＝x(t)-m₁(t)，判断h₁(t)是否满足本征模态函数的条件；

如果不满足，把h₁(t)作为原始信号，重复k次直到满足本征模态函数的条件为止，得到h_1k(t)即为一阶本征模态函数分量，用c₁(t)表示，计算原始序列与新得到的本征模态函数分量的差值，得到第一次分解后的剩余分量：r₁(t)＝x(t)-c₁(t)，重复上述操作，直到无法继续分出本征模态函数分量；

此时的原始信号可以表示为：

其中c_s(t)为第s个本征模态函数分量，t表示时间，s≤n，r_n(t)表示第n个残余序列，n∈{5，6，7，8}；

空间转换完成的所有视频帧由步骤2得到N层基带图像，且每帧图像拉普拉斯分解的基带图像层数相同，对所有视频帧的每一层基带图像的每个像素点的时间序列进行上述的经验模态分解操作，依次进行到第N层每个像素点经验模态分解完成。

4.根据权利要求1所述的方法，其特征在于，在步骤5中，对得到的微小信号乘以放大倍数α得到放大信号，将放大信号进行拉普拉斯反重构，拉普拉斯反重构就是拉普拉斯重构的反过程。

5.根据权利要求1或4所述的方法，其特征在于，在步骤6中，将步骤5得到的信号与原始视频帧数据叠加，叠加后的视频帧从YIQ颜色空间转到RGB空间，按如下公式转换：

每帧都进行转换完成后，将所有帧合成为最后放大的视频数据。

Images