CN101931825A - 一种自由视角视频流中3d目标显示方法 - Google Patents

Abstract

本发明公开了一种自由视角视频流中3D目标显示方法，包括以下步骤：步骤一，将三维特征点分面；步骤二，网格化各面的特征点并绘制并判断各面间的连通性；步骤三，填补面内“空洞”和面面间“缝隙”，从而实现场景的三维结构或几何结构，本发明在不增加额外硬件装置的情况下，通过软件方法利用图像本身以及图像之间的关联信息计算物体的三维结构，从而获得自由视角的3D视频流，大大降低了硬件系统的改进成本。

Description

一种自由视角视频流中3D目标显示方法

技术领域

本发明涉及视频数据处理和三维重建领域，特别是一种自由视角视频流中3D目标显示方法。

背景技术

随着技术发展，研究领域和消费市场上出现了一些显示立体效果的显示终端，主要有两大类型，其一是通过佩戴立体眼睛，根据人眼的视差在大脑中形成立体画面的显示装置；其二是通过物理光学装置让双眼看到不同的画面从而形成立体视觉效应。这两种方法都是被动式的立体显示方式，即观察者不能自主选择观察视角和距离，并且每个观察者不管处于什么位置和角度都只能看到同样的立体画面，和真实生活中的立体视觉完全不同，因此能够解决上述问题的主动式立体显示就成为该领域研究的新途径。

自由视角视频显示系统的实现目前主要可分为两大类：一类是利用精密的硬件设备，直接测量出物体表面的三维坐标或深度信息。这一类系统能够得到物体精确的三维结构，但成本高，操作复杂，而且适用范围窄；另一类则对硬件的依赖较少，仅从摄像机成像模型入手，利用图像本身以及图像之间的关联信息计算物体的三维结构。

传统的三维重建在特征点较少或物体较复杂情况下会无法正确重建物体的三维结构信息及纹理信息。

发明内容

发明目的：本发明所要解决的技术问题是针对现有技术的不足，提供一种自由视角视频流中3D目标显示方法，从而使得在被重建的纹理较单一，目标特征点较少(即使为规则或少曲面目标)，仍然能够准确的显示目标物体的物理结构及其纹理。

为了解决上述技术问题，本发明公开了一种自由视角视频流中3D目标显示方法，包括以下步骤：

步骤一，三维特征点分面：读取各摄像机同帧图像，提取三维特征点并分面；

步骤二，网格化各面的特征点并判断各面间的连通性：将各面特征点网格化；二维纹理图片的面面连通性判断法来确定是否需要面面延伸；

步骤三，填补面内“空洞”和面面间“缝隙”：采用纹理延伸技术填补这些空洞和缝隙，完成从而实现自由视角的3D目标显示。

本发明中，优选地，所述步骤一包括以下步骤：

步骤(11)，读取各摄像机同帧图像；包括使用多个摄像机捕捉一个场景，通过视频设备，读取各摄像机同帧图像。

步骤(12)，从各摄像机同帧图像中提取三维特征点；包括对图像使用基于哈里斯角点的特征点提取方法，得到三维特征点。

步骤(13)，对特征点进行分面；包括采用逐级距离约束方法查找疑似表面，即只有当某特征点到当前目标特征点的距离小于约束距离时才用它们创建疑似表面，这样来完成特征点的分面。

本发明中，优选地，所述步骤二包括以下步骤：

步骤(21)，在分面的基础上，采用二维三角网格化对各面特征点操作来完成三维网格化的工作；将需网格化的目标平面投影到与其夹角最小的坐标平面，然后在二维平面内进行基于特征点的三角划分，再将此划分反投回三维空间，就得到了三维空间点集的划分，完成三维网格化。

步骤(22)，二维纹理图片的面面连通性判断法来判断面面延伸；包括判断两面相交且交线上有无特征点，使用一种基于二维纹理图片的面面连通性判断法来判断是否需要面面延伸。

本发明中，优选地，所述步骤三包括以下步骤：

步骤(31)，基于线性算法的面内延伸用于填补由于分面造成的面内空洞；判断相连通面交线上有无特征点，完成面内延伸。

步骤(32)，判断两面连通但有无公共点，采用基于NURBS曲面的面面延伸的延伸填补策略完成进行面面延伸。

步骤(33)，根据物体颜色(灰度)对延伸三角网格进行颜色填充。

本发明的原理是通过对各摄像机同帧图像进行三维特征点分面，然后网格化各面的特征点并绘制相应纹理，判断各面间的连通性，应用基于线性算法的面内纹理延伸技术和基于NURBS曲面的面面纹理延伸技术填补面内“空洞”和面面间“缝隙”，根据物体颜色完成三维渲染，最终实现自由视角视频流中的3D目标显示。

有益效果：本发明在不增加额外装置的情况下，通过软件方法进行图像处理和3D目标显示，保证目标物体的三角网格内部不包含物体的棱角，能智能判断物体棱的存在性，并选择最好的延伸方法显示目标物体棱角区域或小曲面区域的纹理。本方法能够具有真实感的显示规则及少曲面刚体，特别是在少特征点情况下，相较于传统方法有较好的显示效果。

附图说明

下面结合附图和具体实施方式对本发明做更进一步的具体说明，本发明的上述和/或其他方面的优点将会变得更加清楚。

图1是本文方法重建效果和传统三维网格重建效果的示意图。

图2是本发明特征点分面的流程图。

图3是本发明分面的外表面的示意图。

图4是本发明网格化的示意图。

图5是本发明面面连通判断的流程图。

图6是本发明面面连通判断的示意图。

图7是本发明纹理延伸的框架线的示意图。

图8是本发明纹理延伸的示意图。

图9是本发明方法简化流程图。

具体实施方式：

本发明硬件部分由多个视频拍摄装置、运算处理装置和显示装置组成，核心思路是利用视频图像的三维特征点分面，网格化各面的特征点并绘制相应纹理并判断各面间的连通性，应用纹理延伸技术面内“空洞”和面面间“缝隙”，最后完成三维图像渲染，并显示自由视角的3D目标。

如图9所示，本发明公开了一种自由视角视频流中3D目标显示方法，包括以下步骤：

步骤一，三维特征点分面：读取各摄像机同帧图像，提取三维特征点并分面；

所述步骤一包括以下步骤：

步骤(11)，读取各摄像机同帧图像；包括使用多个摄像机捕捉一个场景，通过视频设备，读取各摄像机同帧图像；

步骤(12)，从各摄像机同帧图像中提取三维特征点，包括对图像使用基于哈里斯角点的特征点提取方法，得到三维特征点，可以参见本申请人于2009年11月23日申请的申请号为200910234584.8，名称为《一种自由视角立体视频显示方法》的发明专利；

步骤(13)，对特征点进行分面；包括采用逐级距离约束方法查找疑似表面，即只有当某特征点到当前目标特征点的距离小于约束距离时才用它们创建疑似表面，这样来完成特征点的分面。

为了得到高质量的显示效果，必须保证目标物体棱、角的正确显示。直接三维构网之所以会丢失或错误的显示棱角，是因为三角网格化的某些三角网格内部包含了目标物体的棱。使用了分面的思想，分面之后再分别网格化，可以避免三角网格内部包含目标的棱或角，再通过后续计算，判断面面间是否存在棱，并选择显示方法，从而达到最好的显示效果。

任意三维平面可以由三个非共线相邻特征点确定。我们采用逐级距离约束方法查找疑似表面，即只有当某特征点到当前目标特征点的距离小于约束距离Length时才用它们创建疑似表面。具体做法是：

首先计算每个特征点距其最近特征点的距离，取这些距离的平均值作为距离约束Length的初始值，即：

$\mathrm{Length}=\frac{{\mathrm{\Σ}}_{m1=1}^n\min \left(\sqrt{{(P_{m1}.x-P_{m2}.x)}^2+{(P_{m1}.y-P_{m2}.y)}^2+{(P_{m1}.z-P_{m2}.z)}^2}\right)}{n}$

(m2＝1...n，m2≠m1)(P_m1，P_m2∈P_All)

其中，Length为约束距离，P_All是目标物体的三维特征点集(深色字代表向量或集合)。使用上述Length开始第一轮查找，任选一个特征点O，查找在以O为球心，以Length为半径的球形范围内的特征点集P_L，

$P_L=\left\{P_n\right|\sqrt{{(P_n.x-O.x)}^2+{(P_n.y-O.y)}^2+{(P_n.z-O.z)}^2}<\mathrm{Length}$

n＝1，2...，P≠0}

P_L中每两个点P₁，P₂与点O(P₁，P₂，O不共线)建立疑似表面，并统计出各疑似表面所含特征点数Num，

n₁＝(P₂，P₁)；n₂＝(O₃，P₁)；n₃＝(P_m，P₁)；P₁，P₂∈P_L

P_In＝{P_m|(n₁，n₂，n₃)＝0，P_m∈P_All，m＝1...number of(P_All)}

Num＝number of(P_In)

通过Num与NumT的大小关系判断该疑似表面的真伪。其中(n₁，n₂，n₃)表示向量n₁、n₂、n₃的混合积。若疑似表面为真表面，则将P_In存储并从P_All中删除P_In所含特征点。然后放大距离约束Length即：

Length＝Length*a

a为放大系数，并P_All中剩下的特征点进行下一轮查找，直至P_All中特征点点数少于NumT终止查找。若P_All内点数大于NumT但连续T次查找后P_All内点数不变，则取消距离约束，即

Length＝∞

再查找一次，之后终止查找。分面算法流程图见图2。

NumT是阈值常量，当疑似表面所含特征点数Num超过NumT时，确定其为外表面，否则确定其为错误外表面并抛弃。a是一个大于1的常量，用来放大距离约束Length。T用来防止所剩点个数大于NumT但其中不包含正确外表面时循环无法终止。示意图见图3。

如图3，P为目标特征点，以P为球心的球的半径为Length，通过Length的限制使我们找出的平面都是由相邻近的点确定的，减少找到错误的平面。T₁、T₃是确定的是正确的外表面，面内所含特征点数目超过NumT，而T₂确定的是错误外表面，面内只有3个特征点，所以被排除。

步骤二，网格化各面的特征点并判断各面间的连通性：将各面特征点网格化；二维纹理图片的面面连通性判断法来确定是否需要面面延伸；

所述步骤二包括以下步骤：

步骤(21)，在分面的基础上，采用二维三角网格化对各面特征点操作来完成三维网格化的工作；将需网格化的目标平面投影到与其夹角最小的坐标平面，然后在二维平面内进行基于特征点的三角划分，再将此划分反投回三维空间，就得到了三维空间点集的划分，完成三维网格化。

为了绘制纹理，我们需要将各面特征点网格化。我们在分面的基础上，采用二维三角网格化来完成三维网格化的工作。

我们首先将需网格化的目标平面投影到与其夹角最小的坐标平面，然后在二维平面内进行基于特征点的三角划分，再将此划分反投回三维空间，就得到了三维空间点集的划分。网格化的最终结果见图4。

图4a是二维网格化后的结果，图4b是取两个面进行网格化的结果。由图可见，网格化的结果完全正确，并且三维网格中没有包含目标物体的棱、角。这样我们就可以在后期应用纹理延伸方法正确显示出目标物体的棱角。

在网格化后，我们根据网格数据选择最适合的纹理贴入。每个三维三角网格会对应多个二维三角纹理，我们选择二维三角网格面积最大的贴入，因为同一纹理面积越大像素越多越清晰。贴入纹理后的物体到基本成型，但物体模型在面内和面面之间存在一些“空洞”，这需要采用纹理延伸的方法去填补这些空洞。

步骤(22)，二维纹理图片的面面连通性判断法来判断面面延伸；包括判断两面相交且交线上有无特征点，使用一种基于二维纹理图片的面面连通性判断法来判断是否需要面面延伸。

当两面相交且交线上没有特征点时，我们需要判断出各个面之间的连通性，以确定是否需要面面延伸。考虑到凹凸等各种立体目标的复杂性，仅仅依靠三维特征点坐标是很难判定两个面在实际中的连通性的，我们提出了一种基于二维纹理图片的面面连通性判断法。

设两个待判断平面A与B，若A与B平行，则判断他们的关系为不连通。若A与B相交且交线上有特征点，P₁为特征点，即

$\&Exists;P_1\&Element;(A\&cap;B)$

则A与B一定连通。若A与B不平行且交线上没有特征点，就需要采用二维纹理判断。面面连通性判断流程图见图5。

为更好理解从二维纹理判断连通性的方法，我们用示意图6来解释。如图7-A所示的三维场景，平面A与平面C在视场内会相交，且平面A与平面C明显不会有公共特征点，这种情况就要使用二维图片来判断。图6a就是我们需要的二维图片，图6b为我们已知特征点的情况(框架线除外)，我们找出每个三维平面内的特征点对应的二维特征点的边缘框架，通过判断A与C之间是否有别的特征点来判断A与C是否相邻，如图6c。图6c中A与C的点集之间的区域用虚线表示出，明显可见，虚线区域与平面B的点集区域部分相交，这样可以判断出A与C不相邻。

步骤三，填补面内“空洞”和面面间“缝隙”：采用纹理延伸技术填补这些空洞和缝隙，完成从而实现自由视角的3D目标显示。

本发明中，优选地，所述步骤三包括以下步骤：

步骤(31)，基于线性算法的面内延伸用于填补由于分面造成的面内空洞；判断相连通面交线上有无特征点，完成面内延伸。

步骤(32)，判断两面连通但有无公共点，采用基于NURBS曲面的面面延伸的延伸填补策略完成进行面面延伸。Nurbs是非统一有理样条曲线(Non-Uniform Rational B-Splines)的缩写，NURBS曲面是通过多个曲面的组合形成最终要创建的模型。

步骤(33)，根据物体颜色(灰度)对延伸三角网格进行颜色填充。

在分面网格化后会产生“空洞”和“缝隙”，我们采用纹理延伸技术填补这些空洞和缝隙。纹理延伸分为面内延伸和面面延伸，基于线性算法的面内延伸用于填补由于分面造成的面内空洞，基于NURBS曲面的面面延伸是当两面连通但没有公共点时，采用的延伸填补策略。

现设平面A需要面内延伸，首先计算出A所有相连通的面与A的交线，然后判断各根交线上是否有A上的特征点，如有，交线就设为延伸框架的框架线，如没有，找出离交线最近的特征点，作交线的平行线，作为框架线，之后计算各个相邻的框架线的交点，最后确定延伸范围，示意图见图7。

图7是确定延伸区域和延伸区域网格化示意图，最右边是结果图，延伸三角网格已经构成。之后就根据物体颜色(灰度)对延伸三角网格进行颜色填充。结果如图8。

图8a是相连通面交线上存在特征点的情况下经过面内延伸的结果。图8b是相连通面交线上没有特征点的情况下经过面内延伸的结果，可见其面面间还存在缝隙，我们需要对其进行面面延伸我们采用NURBS曲面填补如图8b面面缝隙。为了保证最大限度的保证原物体的原样，我们采用短的框架线向长的框架线延伸的策略，结果如图8c。

所述步骤(13)的特征点分面包括使用逐级距离约束方法查找疑似表面。所述步骤(22)的面面延伸判断包括使用基于二维纹理图片的面面连通性判断法。

本发明提供了一种自由视角视频流中3D目标显示方法的思路及方法，具体实现该技术方案的方法和途径很多，以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。本实施例中未明确的各组成部分均可用现有技术加以实现。

Claims (6)

1.一种自由视角视频流中3D目标显示方法，其特征在于包括以下步骤：

步骤一，三维特征点分面：读取各摄像机同帧图像，提取三维特征点并分面；

步骤二，网格化各面的特征点并判断各面间的连通性：将各面特征点网格化；二维纹理图片的面面连通性判断法来确定是否需要面面延伸；

步骤三，填补面内“空洞”和面面间“缝隙”：采用纹理延伸技术填补这些空洞和缝隙，完成从而实现自由视角的3D目标显示。

2.根据权利要求1所述的一种自由视角视频流中3D目标显示方法，其特征在于，所述步骤一包括以下步骤：

步骤(11)，读取各摄像机同帧图像；

步骤(12)，从各摄像机同帧图像中提取三维特征点；

步骤(13)，对特征点进行分面。

3.根据权利要求2所述的一种自由视角视频流中3D目标显示方法，其特征在于，所述步骤二包括以下步骤：

步骤(21)，在分面的基础上，采用二维三角网格化对各面特征点操作来完成三维网格化的工作；

步骤(22)，二维纹理图片的面面连通性判断法来判断面面延伸。

4.根据权利要求3所述的一种自由视角视频流中3D目标显示方法，其特征在于，所述步骤三包括以下步骤：

步骤(31)，基于线性算法的面内延伸用于填补由于分面造成的面内空洞；

步骤(32)，基于NURBS曲面的面面延伸是当两面连通但没有公共点时，采用的延伸填补策略；

步骤(33)，根据物体颜色(灰度)对延伸三角网格进行颜色填充。

5.根据权利要求1所述的一种自由视角视频流中3D目标显示方法，其特征在于，所述步骤(13)的特征点分面包括使用逐级距离约束方法查找疑似表面。

6.根据权利要求2所述的一种自由视角视频流中3D目标显示方法，其特征在于，所述步骤(22)的面面延伸判断包括使用基于二维纹理图片的面面连通性判断法。

Images