CN101271579A - 采用环形低帧率摄像机阵列对高速运动物体建模的方法 - Google Patents

Abstract

本发明涉及采用环形低帧率摄像机阵列对高速运动物体捕捉和建模的方法，属于计算机多媒体技术领域。该方法包括：将这环形摄像机阵列均匀间隔分组；各组摄像机对环形场中的运动物体进行采集，相邻组摄像机之间的采集时间相差1/(fm)秒；应用双向光流预测方法，在每个摄像机所拍序列的相邻两帧之间插出(组数－1)帧；在插值结果上增加轮廓约束，改善插值结果；在每个时刻上，使用各个视角的图像及插值图像建立可视外壳模型并渲染。本发明可使用低帧率摄像机实现对高速运动的捕捉和三维动态场景建模。

Description

采用环形低帧率摄像机阵列对高速运动物体建模的方法

技术领域

本发明属于计算机多媒体技术领域，特别涉及一种使用低帧率摄像机实现对高速运动物体捕捉和建模的技术。

背景技术

当前在计算机图形学和视觉领域开展着大量对静态和动态场景进行三维重构的研究工作，在自由视点视频、虚拟现实、视频会议、电影娱乐、立体视频及运动分析等领域有着广泛应用前景。在采用基于图像方法生成物体的三维模型时，物体投影在图像平面上的轮廓线是理解物体几何形状并重建三维模型的一条重要线索。Laurentini(A.Laurentini.TheVisual Hull：Concept for Silhouette Based Image Understanding.IEEE PAMI 1994.16(2).150-162.)最早提出了可视外壳的概念，简单地说，可视外壳就是由空间物体的所有已知轮廓线决定的该物体的空间包络。一般来说，当拍摄视角足够多时，可视外壳能够获得空间物体的一个合理的逼近。基于可视外壳(visual hull)的三维重建技术是一种经典三维重构技术，它是由各视角图像的侧影轮廓线来提取三维模型，然后对模型进行渲染，从而得到逼真的观察效果。利用由多个普通相机拍摄的图像(视频)，可视外壳建模技术仅仅需要获取各个图像中物体的轮廓信息，而不需要提取图像中的特征信息或进行特征信息之间的匹配等操作，因而，可视外壳建模技术计算简单、适应范围广、具备对动态场景重建的实时处理能力，得到了计算机图形学研究者的广泛关注。

传统的基于可视外壳(visual hull)的三维重建系统包括摄像机阵列和多个采集服务器，采用该系统进行三维重建的具体方法包括以下步骤：

1)在环形场中设有n个摄像机，n为正整数，每个摄像机的帧率为f帧/秒；

2)使所有采集服务器的摄像机时间同步；

3)各采集服务器控制摄像机对环形场中的物体进行采集，得到各视角的采集图像；

4)求取各视角的采集图像上物体的整体轮廓线；

5)将各视角的采集图像上物体的整体轮廓线线段化；

6)将各视角的采集图像上物体的轮廓线段投影到空间中求交，得到一个多边形模型；

7)将该多边形模型三角面片化；

8)对该三角面片模型进行基于三角面片的渲染(即给模型贴上纹理信息)，得到重建的三维模型。

但其中摄像机的同步，尤其是拍摄视频序列的同步，是很难保证精准同步的(微妙级)。而且当摄像机的帧率较低时，无法对高速运动进行捕捉和建模。

发明内容

本发明的目的是为克服已有技术的不足之处，提出一种对高速运动的捕捉和三维重建方法，本发明对环形摄像机阵列进行合理分组采集，并采用了双向光流+轮廓约束的插值技术，具有插值效果好，精度高可在低帧率摄像机的条件下实现的特点。

本发明的采用环形低帧率摄像机阵列对高速运动物体建模的方法，其特征在于：

将摄像机阵列间隔分组在环形场周边分布；多个采集服务器中的每个控制数个摄像机同时采集数据；包括以下步骤：

1)在环形场中设有n个摄像机，n为正整数，每个摄像机的帧率为f帧/秒；

2)将该n个摄像机均匀间隔分为m组，n、m为正整数，且n为m的整数倍；

3)控制各组摄像机对环形场中的运动物体进行采集，相邻组摄像机之间的采集时间相差1/(fm)秒(以毫秒为单位)；

4)应用双向光流预测方法，在每个摄像机所拍序列图像的相邻两帧之间插出m-1帧；具体的帧插值方法可包括以下步骤：

41)计算t时刻到t+1时刻帧的前向光流，根据该光流，对待插入的m-1帧的相应像素赋以t时刻帧的相应像素值；

42)计算t+1时刻到t时刻帧的后向光流，根据该光流，对待插入的m-1帧的相应未赋值像素赋以t+1时刻帧的相应像素值，对于已被步骤41)赋值的像素，赋以t时刻和t+1时刻相应像素的平均值；

43)对步骤41)、42)中未被赋值像素，采用八邻域平均滤波的方法进行平滑；

5)应用模型投影的轮廓约束，改善每一帧的插值图像的插值结果；具体方法可包括以下步骤：

51)将每个摄像机所拍序列图像的相邻两帧的轮廓图进行异或操作求并集；

52)在时间间隔1/(fm)秒的每个时刻上，使用该时刻上所有采集图像的轮廓图和由步骤51)计算得到的轮廓并图，求取该时刻的可视外壳模型(visual hull)，并将模型投影到插值帧视角，得到插值帧视角上的轮廓图；

53)去除帧插值图像上在52)中所求得的轮廓之外的多余物体部分；

6)在时间间隔1/(fm)秒的每个时刻上，使用各个视角的图像(包括插值图像)建立可视外壳模型(visual hull)并渲染；具体方法可包括以下步骤：

61)求取各视角的采集图像上物体的整体轮廓线；

62)将各视角的采集图像上物体的整体轮廓线线段化；

63)将各视角的采集图像上物体的轮廓线段投影到空间中求交，得到一个多边形模型；

64)将该多边形模型三角面片化；

65)对该三角面片模型进行基于三角面片的渲染(即给模型贴上纹理信息)，得到重建的三维模型。

本发明的方法的特点及效果：

本发明方法避免了摄像机同步的需要，而且通过对摄像机阵列分组、间插采样，实现了在低帧率摄像机条件下对高速运动的捕捉和三维重建。具有以下特点：

1、分组间插采集，从而实现对高速运动的捕捉。

2、程序简单，易于实现。

3、采用双向光流运动插值技术，并加入轮廓约束，从而获得高精度的插值帧。

4、在轮廓约束的获取中，先在未知视角上采用相邻帧轮廓的并集来近似，辅助三维重构。三维建模后再投影回未知视角，形成最终的轮廓约束。

本发明可以对高速动态场景实现精确的重构，并可以任意视点地观看。

附图说明：

图1为实现本发明方法的环形摄像机阵列分组系统实施例示意图。

图2为本发明方法的各组时间间插采样的实施例示意图。

图3为本发明方法的双向光流+轮廓约束的插值方法实施例流程图。

图4为本发明方法的双向光流+轮廓约束的插值实施例的实验结果。

具体实施方式

本发明提出了一种使用低帧率摄像机实现对高速运动物体捕捉和三维建模的方法，结合附图及实施例详细说明如下：

实现本发明方法的系统实施例结构如图1所示，其中，固化有本发明方法的流程的控制电路板与4台采集服务器通过I/O信号口相连，每台采集服务器通过1394连接口连接5个摄像机。共20个摄像机，分为4组，连接于4台采集服务器上，图中分别用实线、虚线、点线及点划线表示，其中，Gij表示第i组第j号摄像机。控制服务器与采集服务器之间以及各采集服务器之间的网络为千兆以太网。每个摄像机的帧率是15帧/秒。

本实施例中的采集服务器的配置：

CPU：Intel PIV 2.8GHz

内存：1G

操作系统：Windows XP

采集程序：BBNC Multicapture

本实施例的方法的步骤如下：

1)在环形场中设置20个摄像机，每个摄像机的帧率为15帧/秒。

2)将这20个摄像机均匀间隔分为4组，分别连接在4台采集服务器上。4台采集服务器与控制电路板通过I/O信号口相连；

3)控制电路板控制各组摄像机进行采集，相邻组间摄像机的采集时间相差1/60秒，如图2所示，横轴为时间轴，纵轴为各摄像机视角；图中×号表示各摄像机的采集时刻，具体方法是：控制电路板向4台采集服务器发送相差1/60秒的采集指令，各台采集服务器接到指令后进行图像采集，并将图像存入与其相应的文件夹。

4)应用双向光流预测方法，在每个摄像机所拍序列的相邻两帧之间插出3帧；具体的帧插值方法包括以下步骤：

41)计算t时刻到t+1时刻帧的前向光流，根据该光流，对待插入的m-1帧的相应像素赋以t时刻帧的相应像素值；

42)计算t+1时刻到t时刻帧的后向光流，根据该光流，对待插入的m-1帧的相应未赋值像素赋以t+1时刻帧的相应像素值，对于已被步骤41)赋值的像素，赋以t时刻和t+1时刻相应像素的平均值；

43)对步骤41)、42)中未被赋值像素，采用八邻域平均滤波的方法进行平滑；

5)应用模型投影的轮廓约束，改善每一帧的插值图像的插值结果；具体方法包括以下步骤：

51)将每个摄像机所拍序列图像的相邻两帧的轮廓图进行异或操作求并集；

52)在时间间隔1/60秒的每个时刻上，使用该时刻上所有采集图像的轮廓图和由步骤51)计算得到的轮廓并图，求取该时刻的可视外壳模型(visual hull)，并将模型投影到插值帧视角，得到插值帧视角上的轮廓图；

53)去除帧插值图像上在52)中所求得的轮廓之外的多余物体部分；

上述步骤4)、5)的帧插值方法的流程如图3所示，其中H表示图像的像素高，W表示图像的像素宽，a，b的取值取决于插值帧的位置；

本实施例的某视角中间帧的插值效果如图4所示，其中(a)图为t时刻帧，(b)图为t+1时刻帧，(c)图为采用本实施例的插值算法所得到的插值帧。

6)在时间间隔1/60秒的每个时刻上，使用各个视角的图像(包括插值图像)建立可视外壳模型(visual hull)并渲染；具体方法包括以下步骤：

61)求取各视角的采集图像上物体的整体轮廓线；

62)将各视角的采集图像上物体的整体轮廓线线段化；

63)将各视角的采集图像上物体的轮廓线段投影到空间中求交，得到一个多边形模型；

64)将该多边形模型三角面片化；

65)对该三角面片模型进行基于三角面片的渲染(即给模型贴上纹理信息)，得到重建的三维模型。

Claims (4)

1、一种采用环形低帧率摄像机阵列对高速运动物体捕捉和建模的方法，其特征在于，包括以下步骤：

1)在环形场中设有n个摄像机，n为正整数，每个摄像机的帧率为f帧/秒；

2)将该n个摄像机均匀间隔分为m组，n、m为正整数，且n为m的整数倍；

3)各组摄像机对环形场中的运动物体进行采集，相邻组摄像机之间的采集时间相差1/(fm)秒；

4)应用双向光流预测方法，在每个摄像机所拍序列图像的相邻两帧之间插出m-1帧插值图像；

5)应用模型投影的轮廓约束，改善每一帧的插值图像的插值结果；

6)在时间间隔1/(fm)秒的每个时刻上，使用各个视角的图像及插值图像建立可视外壳模型(visual hull)并渲染。

2、如权利要求1所述方法，其特征在于，所述步骤4)的双向光流预测方法具体包括以下步骤：

41)计算t时刻到t+1时刻帧的前向光流，根据该光流，对待插入的m-1帧的相应像素赋以t时刻帧的相应像素值；

42)计算t+1时刻到t时刻帧的后向光流，根据该光流，对待插入的m-1帧的相应未赋值像素赋以t+1时刻帧的相应像素值，对于已被步骤41)赋值的像素，赋以t时刻和t+1时刻相应像素的平均值；

43)对步骤41)、42)中未被赋值像素，采用八邻域平均滤波的方法进行平滑；

3、如权利要求1所述方法，其特征在于，所述步骤5)改善帧插值结果，具体方法包括以下步骤：

51)将每个摄像机所拍序列的相邻两帧的轮廓图求并集，即进行异或操作；

52)在时间间隔1/(fm)秒的每个时刻上，使用采集时刻在该时刻上的视角的轮廓图和未知视角的轮廓并图，求取该时刻的可视外壳模型，并将模型投影到未知视角，得到未知视角上的轮廓图；

53)去除帧插值图像上在52)中所求得的轮廓之外的多余物体部分。

4、如权利要求1所述方法，其特征在于，所述步骤6)模型渲染的具体方法包括以下步骤：

61)求取各视角的采集图像上物体的整体轮廓线；

62)将各视角的采集图像上物体的整体轮廓线线段化；

63)将各视角的采集图像上物体的轮廓线段投影到空间中求交，得到一个多边形模型；

64)将该多边形模型三角面片化；

65)对该三角面片模型进行基于三角面片的渲染(即给模型贴上纹理信息)，得到重建的三维模型。

Images