CN110519484A - 一种视频中运动物体上局部微小运动的快速放大方法 - Google Patents

Abstract

本发明公开一种视频中运动物体上局部微小运动的快速放大方法，是将视频帧图像转换到YIQ颜色空间，对Y通道Riesz金字塔空域分解，得到不同空间频率的子带图像；对金字塔每层子带图像Riesz变换，提取子带图像局部幅度和局部四元相位；对局部四元相位时域滤波，提取二阶四元相位加速度信息和三阶四元相位的加加速度信息，进行基于局部幅值的加权高斯去噪处理；利用三阶四元相位的加加速度信息构造平滑度滤波器对二阶四元相位滤波，提取运动物体上局部微小运动；放大滤波后二阶四元相位并进行相移变换，解构视频帧图像金字塔，重建得到运动放大视频帧图像。本发明运算效率高，视觉效果好，适用对象广，通用性强。

Description

一种视频中运动物体上局部微小运动的快速放大方法

技术领域

本发明涉及图像处理技术领域，特别是涉及一种视频中运动物体上局部微 小运动的快速放大方法。

背景技术

人类的视觉系统存在有限的感知域，许多裸眼无法觉察到的微小运动却蕴含 着非常重要的信息，如医院监护中婴儿呼吸时胸脯的起伏，行走的帕金森病人 手部的颤抖，工程检测中桥梁的振动等。按照微小运动的运动背景不同，可将 微小运动主要分为两种：第一种是单一微小运动，即场景及微小运动附着的目 标都静止，只存在单一的微小运动；第二种是附着在大运动上的微小运动，即 微小运动存在于大运动之中。

基于复数可操纵金字塔的视频加速度放大技术是目前比较通行的放大处理 技术，但是该放大技术存在运行速率低下、伪影模糊的缺点。

发明内容

本发明的目的是针对现有加速度放大算法运行速率低下、伪影模糊的缺点， 而提供一种视频中运动物体上局部微小运动的快速放大方法。

为实现本发明的目的所采用的技术方案是：

一种视频中运动物体上局部微小运动的快速放大方法，包括：

步骤1：将视频帧图像转换到YIQ颜色空间，对Y通道进行Riesz金字塔空 域分解以得到不同空间频率的子带图像；

步骤2：对金字塔每层子带图像进行Riesz变换，提取子带图像的局部幅度 和局部四元相位；其中，局部幅度表示强度变化，局部四元相位表示运动信息 和图像结构；

步骤3：对局部四元相位进行时域滤波，分别提取二阶四元相位加速度信息 和三阶四元相位的加加速度信息，并进行基于局部幅值的加权高斯去噪处理；

步骤4：利用三阶四元相位的加加速度信息构造的平滑度滤波器对二阶四元 相位进行滤波，提取运动物体上局部微小运动；

步骤5：放大滤波后的二阶四元相位，并对其进行相移变换，解构视频帧图 像金字塔，与色度信息结合，重建得到运动放大的视频帧图像。

与现有技术相比，本发明的有益效果是：

本发明在近似拉普拉斯金字塔的框架下对视频序列进行空域分解和重建， 提取加速度信息进行放大，利用加速度的思想来区分快速大运动与微小运动。 与现有的视频放大方法相比，具有更快的运行速度，更高的运行效率以及更好 的视觉效果。

本发明能够分离快速大运动与微小运动，快速放大视频中人眼难以察觉到 的微小运动的方法并呈现出清晰的视频放大结果。

本发明可应用于自然光、红外成像、天文观测及地面观测等场景，将视频 中的微动快速放大到人眼轻易觉察到的程度。另外，用户还以根据不同频率的 感兴趣微动设置频率参数，放大对应频率的微小运动，且适应多种成像条件。

本发明能够快速有效地放大视频中运动物体上肉眼难以观察到的局部细微 变化，可用于非接触式生命体征检测、辅助外科手术、非接触式结构振动模态 分析、微表情放大识别等多种领域。

附图说明

图1为本发明的视频中运动物体上局部微小运动的快速放大方法的流程图。

图2为本发明的视频中运动物体上局部微小运动的快速放大方法的步骤图。

具体实施方式

以下结合附图和具体实施例对本发明作进一步详细说明。应当理解，此处 所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明首先利用摄像机拍摄运动物体的视频，然后使用近似拉普拉斯金字 塔对视频图像进行金字塔分解，利用空域近似Riesz变换提取局部信息，接着 对各子带的四元相位做时域滤波和平滑滤波，获得感兴趣的局部相位，基于傅 里叶变换的相位特性，放大滤波后的相位并对相位进行相移变换，最后重构视 频图像，实现视频中运动物体上局部微小运动的快速放大。

如图1所示，本发明视频中运动物体上局部微小运动的快速放大方法，包 括以下步骤：

步骤1：将视频帧图像转换到YIQ颜色空间，使亮度信息与色度信息分离， 提出亮度信息(Y通道)，对Y通道进行Riesz金字塔空域分解，以得到多个不 同空间频率的子带图像。

图像金字塔是一种多分辨率的图像表示方式，能够多尺度展现图像，符合 人类视觉处理模式，同时通过把图像分解为具有不同空间频率的子带图像，提 升了较低空间频率图像子带的信噪比。

优选的，本发明中采用近似拉普拉斯金字塔，即Riesz金字塔进行图像分 解处理。与拉普拉斯金字塔相比，使用近似拉普拉斯金字塔(Riesz金字塔)具 有自反性和较宽的脉冲响应，使得在视频放大中的最大放大倍数有所提升。本 发明中选择N.瓦德瓦构造的近似拉普拉斯金字塔分解图像帧(参见文献：尼 尔·瓦德瓦等.使用Riesz金字塔法的相位视频放大.2014年IEEE国际计算摄影 会议)。此近似拉普拉斯金字塔由一对高通滤波器h_H和低通滤波器h_L构造。原图 像经过高通滤波器h_H滤波后作为金字塔的第一层子带，再将原图像经过低通滤 波器h_L滤波，作为构建下一层子带的原图像，按以上方式进行不断地迭代运算直 到得到完整的金字塔结构。

其中，金字塔的解构重建过程为：对最底层子带上采样后经过低通滤波器h_L滤波，再与上一层子带的高通滤波结果相加，作为第二次迭代计算的输入，直 到与第一层的高通滤波结果相加，得到重构的图像。

步骤2：利用子带图像信息以及Riesz金字塔分解所得到的Riesz变换的两 个分量，对子带图像做Riesz变换，提取各子带的局部幅度和局部四元相位。

为了提取各子带局部幅度和局部四元相位，需对金字塔每层子带进行Riesz 变换。Riesz变换是Hilbert变换的多维扩展，在二维频域中Riesz变换表示为：

其中(·,·)^T表示向量的转置，ω＝(ω₁,ω₂)表示频域坐标，j为虚数单位，R₁和R₂表 示Riesz变换的两个分量，I_F为图像I的傅里叶变换结果。

频域中的乘积运算对应空域中的卷积运算，在空域中图像I的二维Riesz变 换表示为：

其中x＝(x,y)，表示卷积运算。在空域中，可以使用下面两个卷积核近似二 维Riesz变换，从而避免了复杂耗时的傅里叶变换，提高运算效率：

图像I的金字塔第l层子带同以上卷积核kernel₁、kernel₂卷积得到的Riesz变换两个分量分别为向量可由局部幅度A^l、局部相位和局部方向θ^l表示为：

但通过上式计算到的相位存在符号不确定性，因为和都 能够作为上式的解。因此在计算相位的同时需要考虑局部方向，这里引入四元 相位处理方法，把三元向量表示为四元数r^l：

i为实数单位，

对于一个四元数q＝q₁+v，其中v＝iq₂+jq₃+kq₄为虚部，四元数q的共轭q^*、模长 ||q||、逆q^-1以及对数运算log(q)分别为：

q^*＝q₁-v＝q₁-iq₂-jq₃-kq₄

当q为单位四元数时，对数运算可以简化为：

则通过对四元数r^l归一化后进行对数运算，求得四元相位的计算公式为：

尽管上述操作避免了四元相位的符号不确定性，但其仍具有缠绕性问题， 在边界处会产生混乱现象，因为：

现在假设有一个n帧的视频序列，其中图像第l层子带的某一个位置(x,y)归一 化的四元数表示为：其中：

m为第m帧图像。假设局部方向随时间不发生巨大变化，那么则有：

由于是归一化的四元数求商，仍然是单位四元数。根据单位四元数求 对数的特点，则有：

对所有相邻两项都求商后取对数：

这样，通过消除了相位缠绕问题，只需不断累加求商后的对数就能得 到正确的四元相位信息：

其中，令那么得到的时间滤波对象的四元数 相位

其中t表示第t帧图像，l表示视频帧金字塔的第l层子带，θ_t ^l表示第t帧图像 金字塔的第l层子带在(x,y)点处的局部主方向，表示第t帧图像金字塔的第l层 子带在(x,y)点处沿局部主方向θ_t ^l的相位。本发明中使用的局部相位都是沿局部主 方向求解的，为方便表示，四元数相位在后面简写为

步骤3：对局部四元相位在时窗内进行时域滤波，提取微动信息，即分别提 取二阶四元相位的加速度信息(加速度，Acceleration)和三阶四元相位的加加 速度信息(加加速度，Jerk)，并进行基于局部幅值的加权高斯去噪处理，以提 升图像信噪比。

首先，建立一定宽度的时域滑动窗，其中包含多个相邻图像帧的金字塔各 子带四元相位信息。

用ω表示感兴趣频率，时域滑动窗的宽度为其中r表示视频的帧率，将 当前时刻的图像帧作为时窗的中心。另外将拉普拉斯核的尺度因子设置为：

在时域上对其进行拉普拉斯滤波提取四元相位的二阶信息(加速度，Acceleration)用于提取叠加在快速大运动物体上的局部微小运动信 息：

其中为时域滑动窗内多个视频帧第l层子带中(x,y)处的四元相位， G_σ(t)为方差是σ²的高斯滤波器，为卷积运算符，为拉普拉斯算子。

同时，在同一个时域滑动窗内结合高斯滤波器对四元相位求解三阶信息(加 加速度，Jerk)首先将四元相位的三阶导数与高斯滤波器组合，因为 高斯滤波器不会引入其他噪声，并且其线性度允许计算加加速度信息，根据卷 积运算的性质，有如下公式：

因为空域近似Riesz变换对相位处理不具有Riesz变换的幅度不变性，所 以时域滤波可能会引入额外噪声。使用基于幅度的加权模糊方法对时域滤波 结果进行平滑，提升信噪比：

其中分别为幅度加权平滑滤波后四元相位的两个分量，分别为平滑 度滤波器的两个分量，K_ρ(x,y)为标准差ρ为的高斯核。

步骤4：利用四元相位的加加速度信息构造平滑度滤波器，并对四元相位的 二阶信息进行滤波，用于提取运动物体上局部微小运动，以区分非放大目标和 放大目标，即区分快速大运动(非放大目标)和叠加在快速大运动上的微小运动(放大目标)。

加加速度信息是评估时间序列数据平滑度的有效指标，平稳变化时加加速 度值较低，急剧变化时加加速度值较高。利用加加速度的性质构建平滑度滤波 器，区分快速大运动和微小运动，以提高视频放大的视觉效果。以四元相位两 个虚部中的一个分量为例，处理用的公式如下：

其中和分别为当前帧的第l层子带中四元相位加加速度模的最小值和最大值，通过最大最小归一化区分快速大运动和微小运动两种 运动模式，求解得到与该子带尺寸相同的平滑度滤波器滤波器中 参数值越大的点表示越平滑的运动，接近微小运动；滤波器参数值越小的点表 示越剧烈的运动，接近快速大运动。

对平滑度滤波器进行指数(β＞0)运算，方便调节滤波器参数的权重：

随着更高层的金字塔在尺度更大的空间中观察图像变化，它们可以准确地 捕获快速大运动并计算正确的加加速度，即粗糙子带对快速大运动更加敏感。 同时快速大运动不适合小尺度的空间观察。因此，为了更加准确滤除快速大运 动，需要将粗糙子带中的滤波器信息传递到各子带滤波器进行逐层校正：

其中l为待校正子带层数，N为用于逐层校正的总层数，resize(JAF₁ ⁱ(x,y,t),l)表示 将第i层滤波器调整成与第l层尺寸相同的操作，∏(·)表示累乘运算。

四元相位的二阶信息是由两个虚部构成，用各子带的平滑度滤波器pJAF₁ ^l(x,y,t)，对各子带二阶四元相位和分别进行滤波：

步骤5：放大滤波后的二阶四元相位和并结合原信号局部 信息对其进行相移变换，重构视频帧图像的亮度信息，得到微动放大结果。

将滤波后相位信息和乘以放大倍数α，结合当前视频帧各子 带向量进行相移变换：

上式取实部，得到运动放大后的图像子带为：

对金字塔每层都进行该过程的处理，然后解构金字塔，将重构的亮度信息 与色度信息结合重构视频图像，重建得到运动放大后的视频帧图像。

按上述步骤方法，对每帧图像都进行以上五个步骤的处理，输出放大视频， 即能实现完整视频的微动放大。

与现有视频运动放大技术相比，本发明具有以下优点：

1)运算效率高。由于采用空域近似Riesz变换，避免了频域中耗时的傅里 叶变换，提升了运算速度；

2)视觉效果好。通过加加速度信息对不同运动模式的区分，实现了有选择 性的放大微小运动；

3)适用对象广。对于单一微小运动和附着在快速大运动上的微小运动都能 够提取并准确放大；

4)通用性强。能够应用于自然光、红外成像、天文观测及地面观测等场景。

以上所述仅是本发明的优选实施方式，应当指出的是，对于本技术领域的 普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润 饰，这些改进和润饰也应视为本发明的保护范围。

Claims (6)

1.视频中运动物体上局部微小运动的快速放大方法，其特征在于，包括：

步骤1：将视频帧图像转换到YIQ颜色空间，对Y通道进行Riesz金字塔空域分解以得到不同空间频率的子带图像；

步骤2：对金字塔每层子带图像进行Riesz变换，提取子带图像的局部幅度和局部四元相位；其中，局部幅度表示强度变化，局部四元相位表示运动信息和图像结构；

步骤3：对局部四元相位进行时域滤波，分别提取二阶四元相位的加速度信息和三阶四元相位的加加速度信息，并进行基于局部幅值的加权高斯去噪处理；

步骤4：利用三阶四元相位的加加速度信息构造的平滑度滤波器对二阶四元相位进行滤波，提取运动物体上局部微小运动；

步骤5：放大滤波后的二阶四元相位，并对其进行相移变换，解构视频帧图像金字塔，与色度信息结合，重建得到运动放大的视频帧图像。

2.如权利要求1所述方法，其特征在于，所述Riesz金字塔由一对高通滤波器和低通滤波器构造；首先，原图像经高通滤波后得到金字塔的第一层；然后，原图像先进行低通滤波再进行降采样，得到构建金字塔第二层的输入；对第二层输入进行高通滤波得到金字塔的第二层；接着对第二层输入进行低通滤波再降采样，得到构建金字塔第三层的输入，如此迭代运算形成完整的金字塔结构。

3.如权利要求2所述方法，其特征在于，所述Riesz变换采用空域近似Riesz变换，两个分量的卷积核如下：

其中，图像I的金字塔第l层子带图像同以上卷积核kernel₁、kernel₂卷积得到的Riesz变换两个分量所述局部幅度的向量由局部幅度A^l、局部相位和局部方向θ^l表示为：

其中，所述局部四元相位表示如下：

其中，t表示第t帧图像，l表示视频帧金字塔的第l层子带，θ_t ^l表示第t帧图像金字塔的第l层子带在(x,y)点处的局部主方向，表示第t帧图像金字塔的第l层子带在(x,y)点处沿局部主方向θ_t ^l的相位。

4.如权利要求3所述方法，其特征在于，所述的步骤3的步骤如下：

设置指定宽度的时域滑动窗，其中包含多个相邻图像帧的金字塔各子带图像四元相位信息，在时域上对图像帧进行拉普拉斯滤波，提取四元相位的二阶加速度信息用于提取运动物体上的局部微小运动信息：

其中为时域滑动窗内多个视频帧第l层子带中(x,y)处的四元相位，G_σ(t)是标准差为σ的高斯滤波器，为卷积运算符，为拉普拉斯算子；

在时域滑动窗内结合高斯滤波器对四元相位求解三阶加加速度信息

使用基于幅度的加权模糊方法对时域滤波结果进行平滑，提升信噪比：

其中， 分别为幅度加权平滑滤波后四元相位的两个分量，分别为平滑度滤波器的两个分量，K_ρ(x,y)为标准差ρ为的高斯核。

5.如权利要求4所述方法，其特征在于，所述步骤4的步骤如下：

按下式构建平滑度滤波器，

其中,表示平滑度滤波器，和分别为当前帧第l层子带中三阶四元相位模值的最小值和最大值，通过最大最小归一化区分两种运动模式，求解得到与该子带尺寸相同的平滑度滤波器；

对平滑度滤波器进行指数运算，获得当前帧的第i层滤波器JAF₁ ⁱ(x,y,t)，

将粗糙子带图像中的滤波器信息传递到各子带图像滤波器进行逐层校正，得到当前帧各子带图像的平滑度滤波器pJAF₁ ^l(x,y,t)：

其中l为待校正子带层数，N为用于逐层校正的总层数，resize(JAF₁ ⁱ(x,y,t),l)表示将第i层滤波器JAF₁ ⁱ(x,y,t)调整成与第l层尺寸相同的操作，∏(·)表示累乘运算；

用各子带图像的平滑度滤波器pJAF₁ ^l(x,y,t)，对各子带图像二阶四元相位和分别滤波，获得滤波后相位和

6.如权利要求5所述方法，其特征在于，所述的步骤5的步骤如下：

将滤波后相位和乘以放大倍数α，结合各子带图像的局部幅度的向量进行相移变换：

上式取实部，得到运动放大后的子带图像为：

对图像金字塔每层子带图像都进行上述处理，然后解构图像金字塔，与色度信息结合，重建得到运动放大的视频帧图像。