CN108769458A - 一种深度视频场景分析方法 - Google Patents

Abstract

本发明公开了一种深度视频场景分析方法。该方法通过对多视点深度视频进行平滑滤波预处理，弥补在获取多视点深度视频过程中深度视频获取精度不高的缺陷；通过在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型，并将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型，其避免了复杂的几何曲面造型和繁冗的人工操作，建模方便高效、且绘制速度快，适合于实时建模和绘制；通过对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧，基于场景关键帧的像素数据做帧差取绝对值，判断场景是否变化，减少了数据处理量，提高了场景变换分析的效率。

Description

一种深度视频场景分析方法

技术领域

本发明涉及视频分析技术领域，更具体的涉及一种深度视频场景分析方法。

背景技术

在多视点视频系统中，多视点视频信号主要由多视点彩色视频序列信号和与多视点彩色视频序列信号对应的多视点深度视频序列信号组成，深度视频是多视点视频系统中非常重要的辅助信息。深度视频序列对应于彩色视频序列，反映的是对象物体距离相机的远近，将彩色图中的每个像素点距离相机的实际距离量化到0～255，再将这个量化值赋给彩色图中的对应位置即成为深度图。深度视频序列中亮度值越大说明该像素点位置距离相机越近，反之，说明该像素点距离相机越远。

场景变换检测属于一种视频画面异常诊断，可自动判断监控区域是否发生变换，以预防监控设备被非法挪移。现有的场景变换检测技术主要通过对比当前监控画面与预先保存的目标场景画面的差异来实现，即：获取目标场景视频图像的原像素数据，记为数列S1；提取当前场景视频图像像素数据，记为数列S2；S1与S2做帧差，并取绝对值之和，记为SAD；当SAD值大于一定阈值时，判断为场景出现变化。然而，随着虚拟三维场景应用领域的不断拓展，需要展现的三维场景的复杂度也是越来越高，且在判断场景是否变换时需要对目标场景视频图像的所有原像素数据和当前场景视频图像的所有像素数据做帧差处理，工作量大，进而导致场景变换分析的效率低下。

发明内容

本发明实施例提供一种深度视频场景分析方法，用以解决现有技术中存在深度视频场景变换分析效率低下的问题。

本发明实施例提供一种深度视频场景分析方法，包括：

获取多视点深度视频；其中，所述多视点深度视频包括：彩色视频序列和与彩色视频序列对应的深度视频序列；

对多视点深度视频进行平滑滤波预处理；

按照彩色视频序列和深度视频序列的对应关系，在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型；

将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型；

对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧；

获取目标场景关键帧视频图像的原始像素数据；

按照预设周期获取目标场景当前关键帧视频图像的当前像素数据；

对原始像素数据和当前像素数据做帧差，并对所有帧差取绝对值；当帧差绝对值大于预设阈值时，则场景发生变化，否则，场景未发生变化。

进一步地，步骤所述按照彩色视频序列和深度视频序列的对应关系，在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型之前还包括：

将预处理后的多视角深度视频的每帧图像转换为三维点云数据；

将每帧图像的三维点云数据进行配准，获得相应位置上的多个三维点云数据的并集；

对配准后的三维点云数据进行压缩处理，获得点的三维坐标和法向量。

进一步地，所述从分割出的各个视频场景中提取能够代表场景特征的场景关键帧；具体包括：

将分割出的每个视频场景中包含的各视频帧归类到不同的视频帧聚类中；

从每个视频帧聚类中抽取离聚类质心最近的视频帧作为该聚类的代表帧，由抽取的所有代表帧组成场景关键帧。

进一步地，所述预设周期为1～3s。

本发明实施例中，提供一种深度视频场景分析方法，与现有技术相比，其有益效果如下：

本发明首先通过对多视点深度视频进行平滑滤波预处理，弥补在获取多视点深度视频过程中深度视频获取精度不高的缺陷；通过在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型，并将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型，与基于几何建模及其绘制相比，基于图像的建模避免了复杂的几何曲面造型和繁冗的人工操作，建模方便高效、且绘制速度快，适合于实时建模和绘制；通过对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧，基于场景关键帧的像素数据做帧差取绝对值，判断场景是否变化，与基于目标场景视频图像的所有原像素数据做帧差取绝对值后判断场景变化情况相比，减少了数据处理量，提高了场景变换分析的效率。

附图说明

图1为本发明实施例提供的一种深度视频场景分析方法流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的一种深度视频场景分析方法流程图。如图1所示，该方法包括：

步骤S1：获取多视点深度视频；其中，所述多视点深度视频包括：彩色视频序列和与彩色视频序列对应的深度视频序列。

需要说明的是，深度视频的获取方法主要有两种，第一种方法是采用基于时间飞行原理的深度相机直接获取，但是构建多视点深度视频采集系统价格昂贵，并且采集距离有限，这些因素很大程度地制约了深度相机的普及；第二种方法是利用捕获的多视点彩色视频通过深度估计软件(DERS，DepthEstimationReferenceSoftware)得到深度视频，该方法的应用越来越广泛。

步骤S2：对多视点深度视频进行平滑滤波预处理。

由于深度求取的不准确会导致时域抖动效应，从而降低深度的时域相关性，且深度骤变也容易在虚拟视点绘制时出现空洞，造成填补困难与计算复杂度的提高，及虚拟视点生成的速度降低。因此需要对多视点深度视频进行预处理。其预处理具体包括：

(21)对待处理的原始多视点深度视频对应的原始多视点彩色视频中的每帧彩色图像进行边缘检测，得到每帧彩色图像的边界，然后对每帧彩色图像的边界进行扩展和块化，得到每帧彩色图像对应的边界掩模，其中，对应的原始多视点彩色视频中包含的彩色图像的帧数为K，对应的原始多视点彩色视频中的每帧彩色图像和每帧彩色图像的边界掩模的分辨率均为W×H。

(22)分别对原始多视点深度视频中的每帧深度图像、对应的原始多视点彩色视频中的每帧彩色图像和每帧彩色图像的边界掩模进行重组变换操作，对应得到变换后的多视点深度视频、变换后的多视点彩色视频和变换后的边界掩模序列，其中，原始多视点深度视频中包含的深度图像的帧数为K，原始多视点深度视频中的每帧深度图像的分辨率为W×H，变换后的多视点深度视频中包含的深度图像的帧数、变换后的多视点彩色视频中包含的彩色图像和变换后的边界掩模序列中包含的边界掩模的帧数均为H，变换后的多视点深度视频中的深度图像、变换后的多视点彩色视频中的彩色图像和变换后的边界掩模序列中的边界掩模的分辨率均为W×K。

(23)根据变换后的多视点深度视频中的每帧深度图像中的像素点的深度相似度值和变换后的多视点彩色视频中的每帧彩色图像中的像素点的彩色相似度值，对变换后的多视点深度视频进行平滑处理，得到平滑处理后的多视点深度视频，其中，平滑处理后的多视点深度视频中包含的深度图像的帧数为H，平滑处理后的多视点深度视频中的深度图像的分辨率为W×K。

(24)对平滑处理后的多视点深度视频中的每帧深度图像进行重组逆变换操作，得到预处理后的多视点深度视频，其中，预处理后的多视点深度视频中包含的深度图像的帧数为K，预处理后的多视点深度视频中的深度图像的分辨率为W×H。

步骤S3：按照彩色视频序列和深度视频序列的对应关系，在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型。

进一步地，在步骤S3之前还包括以下步骤：

将预处理后的多视角深度视频的每帧图像转换为三维点云数据。

将每帧图像的三维点云数据进行配准，获得相应位置上的多个三维点云数据的并集。

对配准后的三维点云数据进行压缩处理，获得点的三维坐标和法向量。

步骤S4：将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型。

需要说明的是，在传统的场景建模中，通常采用基于几何的建模方法。这种方法通常使用现有的三维建模软件以人工的方式进行场景建模，主要通过三维模型的叠加来构造场景，其构建的场景有较高的精度，完备的模型描述和良好的交互。但缺点也很突出，那就是人机交互的工作量十分巨大，进而导致建模的效率低下；也很容易由于人为的因素导致场景模型的真实性大打折扣。随着虚拟三维场景应用领域的不断拓展，需要展现的三维场景的复杂度也是越来越高，随之越来越高的是对建模效率和精度的要求。传统的建模方式面临的是更加巨大的工作量，这就对传统的基于几何的场景建模提出了巨大的挑战。一方面，使用传统场景建模方法无法应对工作量巨大的大规模复杂场景建模工作；另一方面，复杂的三维场景构建完成后，需要耗费大量的计算和海量的存储，因此这种方法对计算机硬件的性能有很高的依赖，特别是如今在虚拟现实和互联网等领域中很多情况下都要求实时绘制的要求下，传统的基于几何的场景建模面临着巨大的挑战。

步骤S5：对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧。

对于步骤S5，具体包括：

(51)将分割出的每个视频场景中包含的各视频帧归类到不同的视频帧聚类中。

(52)从每个视频帧聚类中抽取离聚类质心最近的视频帧作为该聚类的代表帧，由抽取的所有代表帧组成场景关键帧。

步骤S6：获取目标场景关键帧视频图像的原始像素数据。

步骤S7：按照预设周期获取目标场景当前关键帧视频图像的当前像素数据。

较佳地，本发明中的预设周期为1～3s。

步骤S8：对原始像素数据和当前像素数据做帧差，并对所有帧差取绝对值；当帧差绝对值大于预设阈值时，则场景发生变化，否则，场景未发生变化。

对于步骤S6～S8，具体包括：

获取目标场景原始帧视频图像的原始像素数据，记为S1(x，y)，其中(x，y)代表像素坐标。

按预设周期获取目标场景当前帧视频图像的当前像素数据，记为S2(x，y)，其中(x，y)代表像素坐标。

将目标场景视频图像的当前像素数据与原始像素数据做帧差，并对所有帧差取绝对值，记为AD，即AD(x，y)＝|S1(x，y)-S2(x，y)|。

综上所述，本发明首先通过对多视点深度视频进行平滑滤波预处理，弥补在获取多视点深度视频过程中深度视频获取精度不高的缺陷；通过在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型，并将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型，与基于几何建模及其绘制相比，基于图像的建模避免了复杂的几何曲面造型和繁冗的人工操作，建模方便高效、且绘制速度快，适合于实时建模和绘制；通过对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧，基于场景关键帧的像素数据做帧差取绝对值，判断场景是否变化，与基于目标场景视频图像的所有原像素数据做帧差取绝对值后判断场景变化情况相比，减少了数据处理量，提高了场景变换分析的效率。

以上公开的仅为本发明的几个具体实施例，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (4)

1.一种深度视频场景分析方法，其特征在于，包括：

获取多视点深度视频；其中，所述多视点深度视频包括：彩色视频序列和与彩色视频序列对应的深度视频序列；

对多视点深度视频进行平滑滤波预处理；

按照彩色视频序列和深度视频序列的对应关系，在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型；

将彩色视频序列中每个基本点对应的颜色引入三维场景模型，得到多视点深度视频场景模型；

对多视点深度视频场景进行分割，并从分割出的各个视频场景中提取能够代表场景特征的场景关键帧；

获取目标场景关键帧视频图像的原始像素数据；

按照预设周期获取目标场景当前关键帧视频图像的当前像素数据；

对原始像素数据和当前像素数据做帧差，并对所有帧差取绝对值；当帧差绝对值大于预设阈值时，则场景发生变化，否则，场景未发生变化。

2.如权利要求1所述的深度视频场景分析方法，其特征在于，步骤所述按照彩色视频序列和深度视频序列的对应关系，在三维坐标上将像素值作为基本点构建彩色视频序列和深度视频序列的三维场景模型之前还包括：

将预处理后的多视角深度视频的每帧图像转换为三维点云数据；

将每帧图像的三维点云数据进行配准，获得相应位置上的多个三维点云数据的并集；

对配准后的三维点云数据进行压缩处理，获得点的三维坐标和法向量。

3.如权利要求1所述的深度视频场景分析方法，其特征在于，所述从分割出的各个视频场景中提取能够代表场景特征的场景关键帧；具体包括：

将分割出的每个视频场景中包含的各视频帧归类到不同的视频帧聚类中；

从每个视频帧聚类中抽取离聚类质心最近的视频帧作为该聚类的代表帧，由抽取的所有代表帧组成场景关键帧。

4.如权利要求1所述的深度视频场景分析方法，其特征在于，所述预设周期为1～3s。