CN111415380A - 一种基于景深信息的视频运动放大方法 - Google Patents

Abstract

本发明提出一种基于景深信息的视频运动放大方法，所述方法利用双目相机等传感器为视频中各物体对应的像素引入一个景深坐标。在综合利用景深坐标等信息确定特定物体边界或局部区域后，对其进行运动放大计算。最后利用景深信息和选择的融合函数对由于放大而导致的边界覆盖问题进行融合。本发明可用于提高视频运动放大的准确性和灵活性，并提升视频运动放大的可视化效果，特别适用于场景中物体的空间关系比较复杂的情况。

Description

一种基于景深信息的视频运动放大方法

技术领域

本发明属于视频信号分析技术领域，特别是涉及一种基于景深信息的视频运动放大方法，具体涉及一种利用双目视觉获得景深信息并用于实现视频中特定区域选择性运动放大的方法。

背景技术

视频运动放大技术是利用计算机视觉的理论和计算方法对视频中物体的运动幅度进行放大的技术，特别是对视频中人眼难以察觉的微小振动进行放大，在建筑结构和机械结构中得到了应用。

传统的视频运动放大技术采用单目相机进行拍摄，无论是高速相机还是普通相机，对场景的描述都是采用二维图像帧的时间序列，缺乏对场景中物体之间的前、后位置的描述，因此存在两个典型的失真现象，即(1)全局放大导致结果极易受到背景噪声的影响，(2)放大后，物体边界存在混叠现象，(3)没办法对局部区域或特定物体进行针对性的运动放大分析。这些后果会严重影响后续定量计算的准确性以及可视化效果。

发明内容

本发明目的是为了解决现有视频运动放大中存在的技术问题，提出了一种基于景深信息的视频运动放大方法。本发明可用于提高视频运动放大的准确性和灵活性，并提升视频运动放大的可视化效果，特别适用于场景中物体的空间关系比较复杂的情况。

本发明是通过以下技术方案实现的，本发明提出一种基于景深信息的视频运动放大方法，具体包括以下步骤：

步骤一、利用双目相机拍摄需要放大的场景，形成场景中运动物体的视频数据；

步骤二、利用计算机视觉算法获取视频序列中各个像素的景深信息，并对视频生成含有景深坐标的四维矩阵M；

步骤三、根据实际需求选择是对视频中的场景进行全局放大还是局部放大，如果是全局放大，则执行步骤四；如果是局部放大，则执行步骤六；

步骤四、对映射到M矩阵中的整体视频场景中的运动进行放大；

步骤五、生成放大后的视频；

步骤六、在场景中选取需要进行运动放大的局部，并根据选定局部的空间构型和纹理信息确定局部的边界从而将选定的局部映射到M矩阵中；

步骤七、对映射到M矩阵中的选定局部场景中的运动进行放大；

步骤八、根据M矩阵中各个像素的景深关系确定各个像素之间的覆盖关系，选择融合函数确定两个具有遮挡关系的物体在同一个位置的像素所占权重，对存在遮挡的物体对应的像素进行融合从而生成当前像素的像素值，并生成放大后的视频。

进一步地，在步骤二中，建立视频中所描述场景的空间坐标系，即通过双目相机和计算机视觉算法为视频信号中每一帧二维图像所描述的场景中的物体对应的像素计算一个景深坐标z，z越大，像素对应的物体部分距离屏幕越远；将视频中每一帧二维图像所描述的场景中的物体在三维空间中进行描述，将视频信号由原来的长x、宽y、时间t构成的三维矩阵变成长x、宽y、景深z、时间t四维矩阵M。

进一步地，步骤四和步骤七中所进行的放大均先采用基于像素灰度幅值的运动放大方法进行预放大，再对预放大结果采用基于相位的运动放大方法进行放大。

进一步地，在步骤八中，对视频中的运动信号进行放大，当景深z1小的像素所对应的物体部分需要覆盖到原始信号中景深z2大的像素所对应的物体部分时，景深z1小的像素所占权重大于景深z2大的像素所占权重；当景深z2小的像素所对应的物体部分需要被原始信号中景深z1大的像素所对应的物体部分覆盖时，景深z2小的像素所占权重小于景深z1大的像素所占权重。

进一步地，在步骤八中，采用sigmod非线性融合函数对两物体对应像素的权重进行确定。

进一步地，当距离观测者近的前方物体完全覆盖距离观测者远的后方物体时，通过构建如下函数对两物体在同一个位置的当前像素的像素值进行确定，即：

pix_target＝1×pix_near+0×pix_far

其中，pix_target表示当前像素的像素值，pix_near表示距离观测者近的前方物体的像素值，pix_far表示距离观测者远的后方物体的像素值，1表示前方物体的像素所占比重，0表示后方物体的像素所占比重。

进一步地，所述方法还包括：

步骤九、将放大后的视频进行灰度空间到RGB空间的映射，将灰度视频转换成彩色视频。

本发明利用双目相机和计算机视觉算法计算视频场景中各个物体之间的景深信息，并将其作为先验知识引入到分析计算过程中，能够有效地将各个物体在空间场景中进行隔离，同时给出了运动放大后场景中物体所对应的像素之间存在遮挡情况下的处理逻辑，因此能够有效地提高视频运动放大的精度和灵活性，提升可视化效果。

附图说明

图1为本发明所述基于景深信息的视频运动放大方法的流程图；

图2为本发明原理示意图；

图3为本发明试验场景示意图；

图4为放大前的振动信息提取结果示意图；其中(a)为放大前的时域信号图，(b)为放大前的频域信号图，(c)为放大前的时频分析图；

图5为使用本发明所述方法放大后的振动信息提取结果示意图；其中(a)为放大后的时域信号图，(b)为放大后的频域信号图，(c)为放大后的时频分析图；

图6为试验视频的RGB映射结果示意图。

具体实施方式

下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

结合图1和图2，本发明提出一种基于景深信息的视频运动放大方法，具体包括以下步骤：

步骤一、利用双目相机拍摄需要放大的场景，形成场景中运动物体的视频数据；在进行视频采集时，双目相机的采样频率至少为目标物体运动频率的2.56倍以上，同时综合考虑相机的焦距、分辨率以及感光度等因素来确定视频采集环境。

步骤二、利用计算机视觉算法获取视频序列中各个像素的景深信息，并对视频生成含有景深坐标的四维矩阵M；

步骤三、根据实际需求选择是对视频的场景进行全局放大还是局部放大，如果是全局放大，则执行步骤四；如果是局部放大，则执行步骤六；

步骤四、对映射到M矩阵中的整体视频场景中的运动进行放大；

步骤五、生成放大后的视频；

步骤六、在场景中选取需要进行运动放大的局部，并根据选定局部的空间构型和纹理信息确定局部的边界从而将选定的局部映射到M矩阵中；计算物体边界时，综合考虑景深信息的连续性以及像素灰度信息的连续性，避免由于物体在空间结构形状或存在表面纹理而导致的物体边界划分错误；

步骤七、对映射到M矩阵中的选定局部场景中的运动进行放大；

步骤八、根据M矩阵中各个像素的景深关系确定各个像素之间的覆盖关系，选择融合函数确定两个具有遮挡关系的物体在同一个位置的像素所占权重，对存在遮挡的物体对应的像素进行融合从而生成当前像素的像素值，并生成放大后的视频。

在步骤二中，建立视频中所描述场景的空间坐标系，即通过双目相机等能够获得景深的传感器和计算机视觉算法为视频信号中每一帧二维图像所描述的场景中的物体对应的像素计算一个景深坐标z，z越大，像素对应的物体部分距离屏幕越远；将视频中每一帧二维图像所描述的场景中的物体在三维空间中进行描述，将视频信号由原来的长x、宽y、时间t构成的三维矩阵变成长x、宽y、景深z、时间t四维矩阵M。利用M矩阵，可以根据连续性计算出物体的边界，将物体与其它物体隔离开，实现选择视频中某一特定物体进行运动放大的目的。

步骤四和步骤七中所进行的放大均先采用基于像素灰度幅值的运动放大方法进行预放大，再对预放大结果采用基于相位的运动放大方法进行放大，此时可采用比不进行预放大时相对较小的放大倍数。在放大过程中为了消除由于拍摄设备的振动导致视频中的场景发生整体抖动，影响放大效果，可通过指定参考点的方式进行降噪，即视频中所有像素点的运动均与参考点在同一时刻的运动做差，以此实现降低噪声的效果。

在步骤八中，对视频中的运动信号进行放大，当景深z1小的像素所对应的物体部分需要覆盖到原始信号中景深z2大的像素所对应的物体部分时，景深z1小的像素所占权重大于景深z2大的像素所占权重；当景深z2小的像素所对应的物体部分需要被原始信号中景深z1大的像素所对应的物体部分覆盖时，景深z2小的像素所占权重小于景深z1大的像素所占权重，从而避免或减弱放大后场景中物体的边缘存在混叠现象。

在步骤八中，采用sigmod等非线性融合函数对两物体对应像素的权重进行确定。

当距离观测者近的前方物体完全覆盖距离观测者远的后方物体时，通过构建如下函数对两物体在同一个位置的当前像素的像素值进行确定，即：

pix_target＝1×pix_near+0×pix_far

其中，pix_target表示当前像素的像素值，pix_near表示距离观测者近的前方物体的像素值，pix_far表示距离观测者远的后方物体的像素值，1表示前方物体的像素所占比重，0表示后方物体的像素所占比重。

所述方法还包括：

步骤九、将放大后的视频进行灰度空间到RGB空间的映射，将灰度视频转换成彩色视频，增强放大结果的可视化展示效果。

本发明相较于传统的视频运动放大方法，通过利用双目相机等传感器为视频中各物体对应的像素引入一个景深坐标。在综合利用景深坐标等信息确定特定物体边界或局部区域后，对其进行运动放大计算。最后利用景深信息和选择的融合函数对由于放大而导致的边界覆盖问题进行融合。本发明的优点在于：相较于传统的视频运动放大技术，本发明具有更加灵活的分析能力，同时放大后的视频效果大大降低了边界混叠现象，对细节信息的表现和整体的可视化效果更好。

为了更好的说明本发明所述方法对细节信息的表现和整体的可视化效果更好，采用如下实验效果进行说明：

图3为试验场景，其中灰色框圈选的位置为放大区域，前置的风机用来对机理后面的背板产生振动。本发明计算圈选区域的背板与后面的物体之间的景深信息，在最终计算生成的视频中，对边界进行了融合。

因为振动信息提取结果反映了振动放大的质量，因此采用振动信息的提取结果来说明本发明所述方法的放大效果，图4为未使用本发明所述方法对试验场景中圈选区域背板振动的振动信息提取结果。图5为使用本发明所述方法对试验场景中圈选区域背板振动的振动信息提取结果。其中，图4(a)和图5(a)为背板振动的时域曲线图，图4(b)和图5(b)为背板振动的频域曲线图，图4(c)和图5(c)为背板振动的时频分析图。从图4和图5的对比可以看出，利用本发明所述方法处理后的结果，提取出来的振动信号具有更好的信噪比。图6为试验视频的RGB映射结果示意图。

以上对本发明所提出的一种基于景深信息的视频运动放大方法进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (7)

1.一种基于景深信息的视频运动放大方法，其特征在于：具体包括以下步骤：

步骤一、利用双目相机拍摄需要放大的场景，形成场景中运动物体的视频数据；

步骤二、利用计算机视觉算法获取视频序列中各个像素的景深信息，并对视频生成含有景深坐标的四维矩阵M；

步骤三、根据实际需求选择是对视频中的场景进行全局放大还是局部放大，如果是全局放大，则执行步骤四；如果是局部放大，则执行步骤六；

步骤四、对映射到M矩阵中的整体视频场景中的运动进行放大；

步骤五、生成放大后的视频；

步骤六、在场景中选取需要进行运动放大的局部，并根据选定局部的空间构型和纹理信息确定局部的边界从而将选定的局部映射到M矩阵中；

步骤七、对映射到M矩阵中的选定局部场景中的运动进行放大；

步骤八、根据M矩阵中各个像素的景深关系确定各个像素之间的覆盖关系，选择融合函数确定两个具有遮挡关系的物体在同一个位置的像素所占权重，对存在遮挡的物体对应的像素进行融合从而生成当前像素的像素值，并生成放大后的视频。

2.根据权利要求1所述的方法，其特征在于：在步骤二中，建立视频中所描述场景的空间坐标系，即通过双目相机和计算机视觉算法为视频信号中每一帧二维图像所描述的场景中的物体对应的像素计算一个景深坐标z，z越大，像素对应的物体部分距离屏幕越远；将视频中每一帧二维图像所描述的场景中的物体在三维空间中进行描述，将视频信号由原来的长x、宽y、时间t构成的三维矩阵变成长x、宽y、景深z、时间t四维矩阵M。

3.根据权利要求1所述的方法，其特征在于：步骤四和步骤七中所进行的放大均先采用基于像素灰度幅值的运动放大方法进行预放大，再对预放大结果采用基于相位的运动放大方法进行放大。

4.根据权利要求1所述的方法，其特征在于：在步骤八中，对视频中的运动信号进行放大，当景深z1小的像素所对应的物体部分需要覆盖到原始信号中景深z2大的像素所对应的物体部分时，景深z1小的像素所占权重大于景深z2大的像素所占权重；当景深z2小的像素所对应的物体部分需要被原始信号中景深z1大的像素所对应的物体部分覆盖时，景深z2小的像素所占权重小于景深z1大的像素所占权重。

5.根据权利要求1所述的方法，其特征在于：在步骤八中，采用sigmod非线性融合函数对两物体对应像素的权重进行确定。

6.根据权利要求4所述的方法，其特征在于：当距离观测者近的前方物体完全覆盖距离观测者远的后方物体时，通过构建如下函数对两物体在同一个位置的当前像素的像素值进行确定，即：

pix_target＝1×pix_near+0×pix_far

其中，pix_target表示当前像素的像素值，pix_near表示距离观测者近的前方物体的像素值，pix_far表示距离观测者远的后方物体的像素值，1表示前方物体的像素所占比重，0表示后方物体的像素所占比重。

7.根据权利要求1所述的方法，其特征在于：所述方法还包括：

步骤九、将放大后的视频进行灰度空间到RGB空间的映射，将灰度视频转换成彩色视频。

Images