CN111654719A - 基于排列熵算法的视频微小运动检测方法 - Google Patents

Abstract

本发明公开了基于排列熵算法的视频微小运动检测方法，排列熵算法具有计算简单、实时性高、能较好地反映时间序列微小变化等特点。本发明提出：首先，运用图像滤波对视频的每一帧平滑处理，减小环境、设备噪声对视频中运动信息的干扰；其次，在构成视频的每帧图片中根据时间顺序，将同一像素位置的每个像素值视为一维时间离散序列，运用排列熵算法计算所有时间序列的排列熵值。排列熵值越大，时间序列的复杂程度就越高，表明该像素位置在整个视频中存在运动。通过对整幅图像中每个像素点排列熵值的大小进行比较，熵值较大区域表明存在运动，实现对视频中微小运动检测。

Description

基于排列熵算法的视频微小运动检测方法

技术领域

本发明涉及计算机应用领域，具体涉及基于排列熵算法的视频微小运动检测方法。

背景技术

识别微小运动使得一些重要的应用成为可能，例如理解建筑物的结构健康程度以及测量人的生命体征。视频运动放大技术使我们能够感知到人眼无法感知的微小运动，从而达到检测微小运动的目的。但是这项任务具有挑战性，因为这些微小运动太弱，以致于很难与噪音区分开来。因此，当前的视频放大技术往往会受到噪声和过度模糊的影响，尤其是在放大倍数较大的情况下。目前的视频放大技术通常将获取的视频帧直接利用设计的滤波器分解成允许它们放大运动的表示，由于拍摄过程中存在环境、光照、噪声等诸多因素影响，使得视频中背景区域有噪声和不稳定，人为设计的通带截止频率的滤波器会引入振铃的干扰，直接放大处理使得背景噪声被放大且产生模糊，远离真实运动情况，且过程耗时严重，这可能不是最佳的。

发明内容

针对现有技术的不足，本发明提供了一种基于排列熵算法的视频微小运动检测方法。

本发明所述的基于排列熵算法的视频微小运动检测方法，包括如下步骤：

步骤1，读取一段待检测的视频，记为视频A，将视频转换为一帧帧的图像记为视频序列帧B；

步骤2，采用中值滤波对视频序列帧B进行平滑处理，处理后的图像记为视频序列帧C；

步骤3，对视频序列帧C的每个像素视为时间序列，分别计算时间序列的排列熵值；

步骤4，抽取任意时间点所有排列熵值，将步骤3得到的排列熵值结果绘制伪彩色图。

本发明步骤2包括如下步骤：

步骤2-1，中值滤波包括，采用一个含奇数个点的滑动窗口，用窗口中的灰度值的中值来代替中心点的灰度值，即对这个窗口中的灰度值进行排序，然后将其中值赋值给中心点，则二维中值滤波输出为：

C(x,y)＝med{B(x-k,y-i),(k,i∈w)} (1)

其中,B(x,y)为原始图像即视频序列帧B，C(x,y)为处理后图像即视频序列帧C。w为3*3像素区域滤波窗口，，x,y分别为像素位置的横坐标和纵坐标，k,i,为坐标平移长度，k,i∈w在w为3*3滤波模板情况下，则k,i＝{1,2,3}，med为取滤波窗口中灰度值的中间值。

本发明步骤3包括如下步骤：

步骤3-1，将预处理的视频序列帧C的每帧图片的每个像素值视为一维时间序列，在视频序列帧C有q张图片序列的视频，图片大小为M×N的条件下，存在M×N个一维离散时间序列，每个序列有q个离散点。选取子序列长度W(一般大于400)，当400≤W≤q时，排列熵值保持不变，将离散时间序列分成q-W+1个子序列。采用最大重叠方式，即将每个长度为W的子序列依次向后滑动，直到取到子序列的最后一个数据点。例如，一个有1000张图片序列的视频，图片大小为30×30，则会有30×30个一维离散时间序列，每个序列有1000个离散点。假设一个时间序列选取的子序列长度为W＝450，离散时间序列分成451个子序列

步骤3-2，假设视频序列帧C得到的一维时间序列{L(j),j＝1,2,L,N}，长度为N，j为该一维时间序列的索引，对该序列进行相空间重构。

其中：d为嵌入维数，t为延迟时间，m＝1,2,L,M；M为重构相空间中重构向量的个数，M＝N-(d-1)t，l(m),l(m+t),L,l(m+(d-1)t)为重构矩阵中第m个重构分量，且l(m)＝L(m)。将每个重构分量的元素根据数值大小按照升序重新排列，提取各个元素在原重构分量中所在列的索引，可以得到不同的符号序列，d维相空间映射不同的符号序列总共有d！种。

步骤3-3计算每一种符号序列出现的概率为P₁,P₂,LP_K，K≤d！，K为d维相空间映射不同的符号序列的个数，则依据香农熵的形式，排列熵H_P(d)定义为：

其中P_m为第m种序列符号出现的概率。

将H_P(d)进行归一化处理，当P_m＝1d！时，H_P(d)达到最大值ln(d！)，用ln(d！)将H_P(d)进行归一化处理，即

0≤H_P(d)＝H_P(d)ln(d！)≤1 (4)

其中d！为d维相空间映射不同的符号序列的总数，根据排列熵算法计算每个子序列的排列熵。

本发明步骤4为：抽取任意时间点所有排列熵值，将步骤3得到的排列熵值结果绘制成伪彩色图。

排列熵是一种对信号复杂度的检测方法，对时间具有较高的敏感性，可以很好地检测出动力学突变，其特点是抗噪声能力好、计算简单方便，而且就算非线性动力学系统的时间序列的长度非常短，排列熵也能很好的估计出系统的特征值，能够较好的反映时间序列数据的微小变化。在视频运动检测中，将视频序列帧中每个位置像素看成一维时间信号，我们将视频序列帧中运动区域像素看成一维时间信号，该信号具有非线性和非平稳的特征，而背景区域像素就会保持平稳或不变，这样通过排列熵值利用阈值就可将运动区域和未运动区域区分开来，因此将排列熵应用于视频微小运动区域检测。

本发明基于的排列熵算法具有计算简单、实时性高、能较好地反映时间序列微小变化等特点，先将采用中值滤波对视频的一帧帧图像进行平滑处理，之后将每帧图像的每个像素值视为一维时间序列，适当选取子序列长度将离散时间序列分成若干个子序列；再利用排列熵对子序列进行复杂度分析，计算每个子序列的排列熵；最后得到的排列熵值结果绘制伪彩色图；熵值越大说明该点在整个序列中不稳定，即值大的区域为存在微小运动的区域，从而达到检测微小运动的目的。

本发明将排列熵算法应用到微小运动检测上，排列熵算法能较好的反映一维时间序列的微弱变化，在检测微小运动区域时更好的避免了背景区域的变化，使检测的结果更趋近于真实效果。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述或其他方面的优点将会变得更加清楚。

图1a是选取的婴儿微小运动检测的视频的一帧。

图1b是在视频选取的两个像素点处(图1a中背景点a和运动点b)灰度值变化情况。

图1c是图1a这两点的排列熵值变化情况。

图2a是婴儿呼吸视频中的一帧。

图2b是用数字图像相关算法检测到的结果示意图。

图2c是排列熵算法检测婴儿的呼吸导致其胸部拉链处的微小运动的结果示意图

图3a是吉他视频中的一帧。

图3b是用数字图像相关算法测吉他的上面三根弦的结果示意图。

图3c是排列熵算法分别检测吉他的上面三根弦的结果示意图。

图4a是四个光圈别以7Hz、5Hz、3Hz、2Hz的频率绕着各自圆心运动的视频的一帧。

图4b是用数字图像相关DIC算法检测四个光圈分视频中的微小运动结果示意图。

图4c和排列熵算法检测四个光圈分视频中的微小运动结果示意图。

图5a是在480*480像素的黑块中加入大小分别为30*30像素和10*10像素的白块的图片示意图。

图5b是仿真序列帧的第700帧图片。

图5c是仿真序列帧的第701帧图片。

图5d是仿真序列帧的第702帧图片。

图6基于排列熵算法的微小运动检测区域流程图。

具体实施方式

下面结合附图及实施例对本发明做进一步说明。

如图6所示，本发明提供了基于排列熵算法的微小运动检测方法，包括如下步骤：

步骤1，读取一段待检测的视频，记为视频A，将视频转换为一帧帧的图像记为视频序列帧B；

步骤2，采用中值滤波对视频序列帧B进行平滑处理，处理后的图像记为视频序列帧C；

步骤3，对视频序列帧C的每个像素视为时间序列，分别计算时间序列的排列熵值；

步骤4，抽取任意时间点所有排列熵值，将步骤3得到的排列熵值结果绘制伪彩色图。

步骤2包括如下步骤：

步骤2-1，中值滤波包括，采用一个含奇数个点的滑动窗口，用窗口中的灰度值的中值来代替中心点的灰度值，即对这个窗口中的灰度值进行排序，然后将其中值赋值给中心点，则二维中值滤波输出为：

C(x,y)＝med{B(x-k,y-i),(k,i∈w)} (1)

其中,B(x,y)为原始图像即视频序列帧B，C(x,y)为处理后图像即视频序列帧C。w为3*3像素区域滤波窗口，，x,y分别为像素位置的横坐标和纵坐标，k,i,为坐标平移长度且k,i∈w，在w为3*3滤波模板情况下，则k,i＝{1,2,3}，med为取滤波窗口中灰度值的中间值。

本发明步骤3包括如下步骤：

步骤3-1，将预处理的视频序列帧C的每帧图片的每个像素值视为一维时间序列，假设视频序列帧C有q张图片序列的视频，图片大小为M×N，则会有M×N个一维离散时间序列，每个序列有q个离散点。选取适当的子序列长度W(一般大于400)，当400≤W≤q时，排列熵值保持不变，将离散时间序列分成q-W+1个子序列。这里采取的是最大重叠方式，即将每个长度为W的子序列依次向后滑动，直到取到子序列最后一个数据点。例如，一个有1000张图片序列的视频，图片大小为30×30，则会有30×30个一维离散时间序列，每个序列有1000个离散点。假设一个时间序列选取的子序列长度为W＝450，离散时间序列分成451个子序列。

步骤3-2，视频序列帧C得到的一维时间序列{L(j),j＝1,2,L,N}，长度为N，j为该一维时间序列的索引，对该序列进行相空间重构。

其中：d为嵌入维数，t为延迟时间，m＝1,2,L,M；M为重构相空间中重构向量的个数，M＝N-(d-1)t，l(m),l(m+t),L,l(m+(d-1)t)为重构矩阵中第m个重构分量，且l(m)＝L(m)。将每个重构分量的元素根据数值大小按照升序重新排列，提取各个元素在原重构分量中所在列的索引，可以得到不同的符号序列，d维相空间映射不同的符号序列总共有d！种。

步骤3-3计算每一种符号序列出现的概率为P₁,P₂,LP_K，K≤d！，K为d维相空间映射不同的符号序列的个数，则依据香农熵的形式，排列熵H_p(d)定义为：

其中P_m为第m种序列符号出现的概率。

将H_P(d)进行归一化处理，当P_m＝1d！时，H_P(d)达到最大值ln(d！)，用ln(d！)将H_P(d)进行归一化处理，即

0≤H_P(d)＝H_P(d)ln(d！)≤1 (4)

其中d！为d维相空间映射不同的符号序列的总数，根据排列熵算法计算每个子序列的排列熵。

步骤4中：抽取任意时间点所有排列熵值，将步骤3得到的排列熵值结果绘制伪彩色图；

微小运动检测的质量可以从主观上和客观上进行评价，为了客观的检验本发明的方法，本发明选取了不同且待检测的微小运动的视频，包含婴儿呼吸的视频，吉他的上三根弦在运动的视频，四个光圈分别以7Hz、5Hz、3Hz、2Hz的频率绕着各自圆心运动的视频，本发明所选取的视频都是公开的标准数据，视频素材均来自目前做微小运动放大论文中的视频。检测结果采用伪彩色图的方式展现，其中红色区域表示存在运动，红色越深表示运动越大。为保证对算法稳定性的检验，将本发明的方法与数字图像相关算法进行对比，在应用上，与基于学习的微小运动算法进行对比，体现出本发明算法要更好。其中进行测试的视频都是目前做微小运动放大的原始真实视频，通过放大处理，人眼已经可以看见运动区域，通过在原始视频上做测试，检验检测出的微小运动区域是否正确有效。图1b是在视频选取的两个像素点(图1a中背景点a和运动点b)灰度值变化情况，图的下方表示运动区域点，图的上方表示背景区域点。图1c是图1a中标记两点的排列熵值变化情况。图2a-2c是用数字图像相关算法和排列熵算法检测婴儿的呼吸导致其胸部拉链处的微小运动的结果示意图，图3a-3c是用数字图像相关算法和排列熵算法检测吉他的上面三根弦的结果示意图，图4a-4c是用数字图像相关算法和排列熵算法检测四个光圈分别以7Hz、5Hz、3Hz、2Hz绕着各自圆心运动的视频中的微小运动结果示意图。

主观上的评价方法主要是用肉眼观察。一是从伪彩色图中判断运动大小，任意抽取一个时间点的所有排列熵值，熵值越大说明该点在整个序列中不稳定，即熵值大的区域为存在微小运动的区域。从得到的伪彩色图中可以看出颜色偏红的区域为运动的区域，二是从放大的视频中可肉眼的观察到本发明的检测效果好，将视频中的微小运动区域检测提取出来并只针对运动区域做放大处理，最后融合到背景中，得到放大后的视频，观察放大效果，该方法既放大了运动信息，又没有将背景改变，避免了外围干扰，使放大后的视频视觉效果更好，且大大提高了效率。

客观上来评价微小运动的检测的准确性，从受控实验中得出。

如图5a-5d所示，我们运用仿真的微小运动，使用排列熵算法对其进行检测，并检验其检测结果。我们在480*480像素的黑块中加入了两个小白块，其大小分别为30*30像素和10*10像素，总共形成了1050张这样的图片。在第35、36、37、39和700、701、702、703张图片的时候，30*30像素白块以1像素/帧向右移动，10*10像素白块自始至终没有变化。使用排列熵算法检测该图片序列，检测结果显示上图中，图5a～5c分别为第700、701、702帧图片，图5d为实验结果，其中绿色区域为PE值不为0的区域，即存在变化。从图中可以看出，绿色区域所在位置刚好是我们人为制造运动区域，30*30像素白块左右运动其变化区域即为左右边缘部分，而同样存在的10*10像素白块因为没有运动，也没有排列熵值的变化，始终为0。从受控实验可以看出，排列熵算法确实能够检测出变化区域，并且不受其他没有变化区域影响。

本发明提供了基于排列熵算法的微小运动检测方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (4)

1.基于排列熵算法的视频微小运动检测方法，其特征在于，包括如下步骤：

步骤1，读取一段待检测的视频，记为视频A，将视频转换为每一帧的图像记为视频序列帧B；

步骤2，采用中值滤波对视频序列帧B进行平滑处理，处理后的图像记为视频序列帧C；

步骤3，对视频序列帧C的每个像素视为时间序列，分别计算时间序列的排列熵值；

步骤4，抽取任意时间点所有排列熵值，将步骤3得到的排列熵值的结果绘制成伪彩色图。

2.如权利要求1所述的基于排列熵算法的视频微小运动检测方法，其特征在于，步骤2包括如下步骤：

步骤2-1，中值滤波包括，采用一个含奇数个点的滑动窗口，用窗口中的灰度值的中值来代替中心点的灰度值，即对这个窗口中的灰度值进行排序，然后将其中值赋值给中心点，则二维中值滤波输出为：

C(x,y)＝med{B(x-k,y-i),(k,i∈w)} (1)

其中,B(x,y)为原始图像即视频序列帧B，C(x,y)为处理后图像即图像记为视频序列帧C，w为3*3像素区域滤波窗口，x,y分别为像素位置的横坐标和纵坐标，k,i,为坐标平移长度，k,i∈w，在w为3*3滤波模板情况下，则k,i＝{1,2,3}，med为取滤波窗口中灰度值的中间值。

3.如权利要求2所述的基于排列熵算法的视频微小运动检测方法，其特征在于，步骤3包括如下步骤：

步骤3-1，将预处理后的视频序列帧C的每帧图片的每个像素值作为一维时间序列，在视频序列帧C有q张图片序列的视频，图片大小为M×N的条件下，存在M×N个一维离散时间序列，每个序列有q个离散点；选取子序列长度W，将离散时间序列分成q-W+1个子序列，采用最大重叠方式，即将每个长度为W的子序列依次向后滑动，直到取到子序列的最后一个数据点；

步骤3-2，假设视频序列帧C得到的一维时间序列{L(j),j＝1,2,L,N}，长度为N，j表示该一维时间序列的索引，对该序列进行相空间重构；

其中：d为嵌入维数，t为延迟时间，m＝1,2,L,M；M为重构相空间中重构向量的个数，M＝N-(d-1)t，l(m),l(m+t),L,l(m+(d-1)t)为重构矩阵中第m个重构分量，且l(m)＝L(m)；将每个重构分量的元素根据数值大小按照升序重新排列，提取各个元素在原重构分量中所在列的索引，得到不同的符号序列，d维相空间映射不同的符号序列总共有d！种；

步骤3-3计算每一种符号序列出现的概率为P₁,P₂,L P_K，K≤d！，K为d维相空间映射不同的符号序列的个数，则依据香农熵的形式，排列熵H_P(d)定义为：

其中P_m为第m种序列符号出现的概率；

将H_P(d)进行归一化处理，当P_m＝1/d！时，H_P(d)达到最大值ln(d！)，用ln(d！)将H_P(d)进行归一化处理，即：

0≤H_P(d)＝H_P(d)/ln(d！)≤1 (4)

其中d！为d维相空间映射不同的符号序列的总数，根据排列熵算法计算每个子序列的排列熵。

4.如权利要求3所述的基于排列熵算法的视频微小运动检测方法，其特征在于，步骤4为：抽取任意时间点所有排列熵值，将步骤3得到的排列熵值结果绘制成伪彩色图。

Images