CN107888897B - 一种视频增强场景的优化方法 - Google Patents

Abstract

本发明公开了一种视频增强场景的优化方法，所述的方法包括以下步骤：(1)构建摄像机空间索引；(2)快速筛选可见摄像机候选集；(3)判断摄像机可见性。本发明通过将快速筛选和精细剪裁方法相结合，首先对摄像机集合快速筛选，获得可见候选集，然后对可见候选集中的摄像机采用三维光栅化方法精确统计可见像素比，确定是否剪裁摄像机。在确保融合效果的前提下，通过减少参与融合计算的摄像机数量，提高了视频增强场景的显示效率。

Description

一种视频增强场景的优化方法

技术领域

本发明涉及视频增强场景的显示优化技术，具体涉及一种视频增强场景的优化方法。

背景技术

三维场景的显示优化，目前现有的方法是基于主视点对场景进行剪裁，将视锥体与三维模型求交，剪裁不在当前视域范围内的三维模型，仅加载和显示视域范围内的模型，减少需要处理的数据量以提高显示效率。由于三维模型往往是由成千上万的小面片组成，求交运算相当低效，一般基于三维模型包围盒建立场景图来优化场景剪裁操作，但是剪裁效率往往是影响三维场景显示性能的瓶颈问题。

在视频增强的三维场景中，视频与场景的融合是影响三维场景显示性能的另一个瓶颈问题，在多路视频大场景中，视频与场景的融合效率甚至成为场景显示性能的主要瓶颈问题。视频与场景的融合，需要把视频逐帧加载到GPU内存，在GPU内逐像素计算融合结果，其中视频帧的加载和逐像素的融合计算极大地影响了显示帧率。

在多路视频场景中，参与融合的摄像机视频越多，融合效率越低。对于这种情况，一种方法是让所有摄像机都参与融合计算，这种方法适用于摄像机数目较小的场景；另一种方法是对摄像机分组，由于每组参与的摄像机数较少，可以提高融合效率。但是分组需要预先人为指定，分组结果和实际情况也不一定完全相符合，限制了这种方法的应用。

根据摄像机的实际视域减少参与融合计算的摄像机数量，能够提高视频增强场景显示性能。单纯基于视域包围盒的剪裁方法过于简单粗略，可能导致不可见摄像机误判为可见摄像机，而基于视锥体和视域几何求交的方法尽管很精确，但是过于复杂，也难以满足用户根据可见性像素比例来直观设置可见性规则的实际需求。因此，顾及用户的实际可操作性，对视频增强场景中的摄像机有效剪裁，是提高视频增强场景显示效率的关键。

发明内容

发明目的：针对上述现有技术的不足，本发明提供一种视频增强场景的优化方法，将快速筛选和精细剪裁方法相结合，减少参与融合计算的摄像机数量，提高了视频增强场景的显示效率。

技术方案：一种视频增强场景的优化方法，包括以下步骤：

(1)构建摄像机空间索引；

(2)快速筛选摄像机候选集；

(3)判断摄像机可见性。

进一步的，步骤(1)包括根据摄像机内外参数构建摄像机视域、求解摄像机视域包围盒，然后基于所有摄像机视域的包围盒构建摄像机空间索引；

进一步的，步骤(2)所述的筛选摄像机候选集包括潜在可见摄像机候选集筛选和可见摄像机候选集筛选。

更进一步的，步骤(2)对潜在可见摄像机集筛选通过摄像机空间索引获得与主视点视锥体包围盒相交的潜在可见摄像机集；对可见摄像机候选集筛选首先进行投影变换，然后在对主视点视锥体和潜在可见摄像机视域进行相离和包含测试，快速筛选出可见摄像机候选集。由于在投影空间，主视点视锥体是一个立方体，潜在可见摄像机视域是一个八顶点的凸多面体，因此相离和包含测试操作简单快速。

进一步的，所述的潜在可见摄像机候选集与主视点视锥体包围盒相交及其包括在内的摄像机候选集。

进一步的，所述的步骤(3)包括以下步骤：

(3.1)对摄像机视域进行三维光栅化处理，计算每个像素点的深度信息；

(3.2)判断每个像素点的可见性：所述的可见性为该点像素的x、y坐标位于视口范围内，且z坐标位于[-1,1]范围内，所述的视口范围为[0,0,宽,高]，所述的宽和高为显示窗口的像素宽和像素高；

(3.3)统计可见像素数占总像素数的比例，得到可见像素比，保留可见像素比大于预先设定的剪裁阈值的摄像机，剔除可见像素小于剪裁阈值的摄像机。

更进一步的，统计可见像素数占总像素数的比例，得到可见像素比，如果可见像素比大于预先设定的剪裁阈值，说明该摄像机视域可见部分较多，应当予以保留，如果可见像素比小于剪裁阈值，说明该摄像机视域可见部分较小，剪裁的话对场景融合效果影响不大，应当予以剔除。

有益效果：本发明相比现有技术其显著的效果在于，本发明将快速筛选和精细剪裁方法相结合，通过快速摄像机集合快速筛选，获得可见候选集，然后对可见候选集中的摄像机采用三维光栅化方法精确统计可见像素比，确定是否剪裁摄像机。在确保融合效果的前提下，通过减少参与融合计算的摄像机数量，提高了视频增强场景的显示效率。

附图说明

图1是本发明的步骤流程示意图；

图2是本发明的摄像机视域图；

图3是本发明的摄像机视域平面图；

图4是本发明的投影变换前摄像机分布图；

图5是本发明投影空间摄像机分布图；

图6是本发明视椎体光栅化示意图；

图7是本发明视口范围内可见像素点的判断示意图。

具体实施方式

为了详细的说明本发明公开的技术方案，下面结合说明书附图和具体实施方式做进一步的阐述。

一种视频增强场景的优化方法，流程如图1所示，具体步骤如下：

(1)构建摄像机空间索引

(1.1)摄像机视域构建：根据摄像机参数构建摄像机视域。摄像机视域用4个参数加以定义，参数分别是垂直方向上的张角fovy、视域的宽高比aspect、近裁剪面到主视点距离n和远裁剪面到主视点距离f。如图2中，fovy为面EKL与面EJM的夹角，宽高比为BC/AB，近裁剪面为平面ABCD，远裁剪面为JKML，因此视域是一个四棱锥ABCDJKML，对应的二维截面如图3所示。

A点坐标(X_A,Y_A,Z_A)：

B点坐标(X_B,Y_B,Z_B)：

C点坐标(X_C,Y_C,Z_C)：

D点坐标(X_D,Y_D,Z_D)：

J点坐标(X_J,Y_J,Z_J)：

K点坐标(X_K,Y_K,Z_K)：

L点坐标(X_L,Y_L,Z_L)：

M点坐标(X_M,Y_M,Z_M)：

(1.2)包围盒求解：对摄像机视域棱台求包围盒，如图2中的外包长方体所示，其包围盒是一个长方体，根据棱台八个顶点坐标的最大最小坐标构建；

(1.3)构建摄像机索引：如图4所示的是投影变换前摄像机分布图，首先获取所有摄像机视域的包围盒，然后根据摄像机视域的包围盒构建空间索引，可采用任何成熟的三维空间索引方法，这里三维空间的树状数据结构优选八叉树算法进行索引；

(2)可见摄像机候选集快速筛选

该步首先进视域范围内的所有摄像机进行初步的筛选，然后去除明显不在视域范围的摄像机集，随后进行如下的进一步的筛选。

(2.1)潜在可见摄像机集筛选：通过摄像机空间索引，获得与主视点视锥体包围盒相交和包含在内的潜在可见摄像机集，包括1、2、3、4、5、6、7号摄像机；

(2.2)可见摄像机候选集筛选：把主视点视锥体和潜在可见摄像机视域变换到投影空间，变换后的摄像机分布如图5所示，1号和3号摄像机完全在主视点视锥体之外，在视域范围内不可见，因此予以剔除，4号和5号摄像机完全位于视域内，因此保留；2号、6号和7号摄像机与主视点视锥体相交，需要在步骤(3)进一步判断。

(3)可见摄像机精确判断

在步骤(2)的快速筛选后，对于不能直接按照现有技术判断的摄像机需要做精准判断，精准判断的步骤如下：

(3.1)视锥体光栅化：对潜在可见摄像机视域进行光栅化处理，可使用X-扫描线算法或活性边表算法。如图6所示，梯形ABCD是视锥体的一个面，扫描线沿着y轴进行扫描，记录视锥体表面内每个像素点的x、y值和深度z值；

(3.2)判断像素可见性：对摄像机视域面进行光栅化以后，对每个像素进行可见性判断。如图7所示，只有x、y坐标位于视口(图7中的大长方体)范围内，且z坐标位于[-1,1]范围内，该像素才可见；

(3.3)精细剪裁：统计视锥体可见像素个数和总像素个数，得到可见像素比，如图7所示，2号和6号摄像机的可见像素比均超过60％，因此保留这2个摄像机，而7号摄像机的可见像素比为13％，小于给的阈值15％，因此予以剪裁。

Claims (1)

1.一种视频增强场景的优化方法，其特征在于：采用三阶段筛选方法由粗到精逐级筛选可见摄像机，包括以下步骤：

(1)构建摄像机空间索引，包括根据摄像机内外参数构建摄像机视域、求解摄像机视域包围盒和基于所有摄像机视域的包围盒构建摄像机空间索引；

(2)快速筛选摄像机候选集，具体如下：

(2.1)筛选潜在可见摄像机候选集：通过摄像机空间索引快速获得与主视点视锥体包围盒相交和包含在内的摄像机集合作为潜在可见摄像机集合；

(2.2)筛选可见摄像机候选集：将主视点视锥体和潜在可见摄像机视域多面体进行投影变换，保留视域包围盒与视锥体立方体相交和包含在内的摄像机作为可见摄像机候选集；

(3)判断摄像机可见性：对可见摄像机候选集中相交的摄像机进行精确筛选，具体如下：

(3.1)对摄像机视域多面体进行三维光栅化，获得所有像素点坐标及其z坐标；

(3.2)判断每个像素点的可见性：所述的可见性为该点像素的x、y坐标位于视口范围内，且z坐标位于[-1,1]范围内，所述的视口范围为[0,0,宽,高]，所述的宽和高为显示窗口的像素宽和像素高；

(3.3)统计可见像素数占总像素数的比例，得到可见像素比，保留可见像素比大于预先设定的剪裁阈值的摄像机，剔除可见像素小于剪裁阈值的摄像机。