CN104282014A - 基于nurbs曲面的多通道几何校正与边缘融合方法 - Google Patents

Abstract

本发明公开了一种基于NURBS曲面的多通道投影几何校正与边缘融合的高效方法，主要特征包括多通道曲面幕投影的几何校正、投影显示通道之间的边缘融合以及显示区域边缘以外多余图像的消除；本发明的新颖之处在于充分考虑了曲面幕的连续性以及NURBS曲面良好的拟合能力，利用了NURBS曲面易于控制的优点，通过对相邻通道边缘图像的

Description

基于NURBS曲面的多通道几何校正与边缘融合方法

技术领域

本发明属于计算机图形学领域，随着对高分辨率显示、沉浸式显示需求的不断增长，为多通道投影显示提供了更大的发展空间，球形幕、柱形幕等曲面幕投影所特有的沉浸效果受到了越来越多的关注，为几何校正与边缘融合技术的发展提供了重要的契机，现代GPU技术的发展使得在保证实时性的基础上，为通过软件实现几何校正与边缘融合提供了硬件基础，本发明涉及一种基于NURBS的几何校正与边缘融合方法。

背景技术

多通道投影显示技术的应用由来已久，尤其是近年来，随着仿真、娱乐等领域对高分辨率及沉浸式显示的需求越来越大，由于计算机图形硬件与投影器技术的发展还相对比较缓慢，加之高端设备高昂的价格等因素，多通道显示技术日益受到重视，采用多通道投影显示技术归纳起来，主要有以下几方面的原因：

    一是高分辨率显示的需要，尽管投影器的分辨率越来越高，但是高分辨率投影器高昂的价格，成为一个重要的制约因素，而即便不考虑高分辨率投影器的价格因素，其分辨率仍然是有限的，在某些特定的场合，仅靠单台高分辨率投影器仍然满足不了显示系统对的要求.

    二是大视场角显示的需要，大视场角显示在诸如飞行仿真、环幕影院等众多领域的应用非常广泛，这类应用中，有的应用水平视场角可达360°，而垂直视场角在90°以上也并不鲜见，采用多通道显示成为了必然的选择，同样在这样大的视场角下，采用诸如球形幕等曲面幕也是必然的.

    三是沉浸式显示的需要，沉浸式显示通常需要比较大的视场角和较高的分辨率，同时往往还采用立体显示。在这类应用中，通道之间的连续性对沉浸感的影响极为明显.

    多通道投影显示需要对通道之间进行边缘融合，而在曲面幕上投影不可避免的要用到几何校正功能，以往只有专用的硬件设备才能做到这一点，而采用专用硬件在成本、使用维护等方面存在着不利因素，而且最重要的是这种方式带来了一帧的显示延迟，这在实时应用场合是极为不利的.

    随着GPU技术的发展，GPU强大的计算能力，使得多边形、纹理等的处理能力得到了极大的提高，在对显示场景渲染的过程中，GPU通常不再是瓶颈，而是有一定的空闲时间，而充分利用这一空闲时间，进行几何校正与边缘融合是可行的，相对采用硬件来说，既没有增加延迟，也避免了成本的增加.

    在GPU进行渲染的过程中，除了多边形数量对渲染帧率有较大的影响外，另一个影响因素则为渲染的批次—渲染指令，由于现代GPU普遍支持多纹理和Shader等技术，利用这些技术，可以有效降低几何校正与边缘融合所增加的批次，事实上当采用了上述技术后，本发明的方法实际上只增加了一个渲染批次，而增加的多边形数量也是可以接受的。

发明内容

现代GPU技术的发展使得在保证实时性的基础上，为通过软件实现几何校正与边缘融合提供了硬件基础，而NURBS曲面的灵活性为几何校正提供了极大的方便，而当NURBS曲面的次数                                                时，其连续性可以有效减少由于几何校正而引起的画面失真，尤其是波浪形失真，本发明建立一种基于NURBS的几何校正与边缘融合方法，解决多通道投影到曲面幕时引起的几何失真与通道之间亮度连续性的问题.

    本发明的基于NURBS的几何校正与边缘融合方法，首先基于NURBS建立一个与投影到屏幕上的显示区域相对应的曲面，通过对该曲面控制点的调整，使得该曲面的形状与期望的投影显示区域一致，并通过相应控制点的调整达到几何校正的目的；随后采用相同的方法对相邻的投影通道进行边缘融合区域的标定，实现通道间的边缘融合；最后标定出显示区域外的部分，并进行消除。经过上述过程后，在计算出NURBS曲面最终的结果后，应用这一结果在运行时进行渲染，避免在运行时对NURBS进行计算，提高渲染效率。

本发明的基本原理如下：

    一、NURBS曲面的建模

    NURBS曲面相对于Bezier曲面或B-Spline曲面有众多的优点，其中最典型的优点是可以通过控制点和权因子来灵活地改变形状，而且插入节点、修改、分割、几何插值等的处理也极为方便，由于不涉及搭接、重叠形状的处理等问题，也无需进行点的映射等可能导致不稳定的算法，因而避免了NURBS本身的一些缺点，此外除了在不要求实时性的调整过程中需要进行计算外，在实时应用时，只需要其运算的结果，因而存储空间和处理时间的问题也不影响具体应用，NURBS曲线的表示为

  （1）

式中：是特征多边形的顶点位置矢量，是次B样条基函数，是相应控制点的权因子，节点向量中节点个数，为控制点个数，为B样条基函数的次数，节点矢量为

         （2）

其中，和各有个，NURBS曲面的表示可以通过对上述曲线表示进行扩展得到，当权因子时，上式可以表示B样条曲线，而由于权因子的存在，可以通过对权因子的调整，使得所表示的曲线更加靠近或远离控制点，从而改变曲线的形状。

二、通道之间的边缘融合

    当多个通道的图像投影到同一显示屏幕上时，通道之间的图像很难保证其连续性，尤其是当投影幕为球形幕或柱形幕等曲面幕时，为了保证多通道投影显示的连续性，通道之间的图像需要有一定的重合区，因而有必要进行通道间的边缘融合，首先要确定融合的区域，这一区域通常不是诸如矩形之类的规则区域，因而仍有必要通过上述的NURBS曲面的方式实现对这一区域的标定，标定融合区域后，通过对区域内图像的亮度进行调整，达到两个通道之间重叠区域的亮度与其它亮度的均匀一致，实现边缘融合.

由于亮度的调整表现在图像上就是对图像的灰度值进行调整，通常该灰度值归一化为之间，其调整通过下式实现

             （3）

式中：x为融合区中某点的位置，上式中采用的表明，在融合区的中间位置，灰度值为原始图像的一半，由于两台投影器的亮度不可能完成一致，因而会造成在融合区的中间位置亮度连续性不好，为解决这一问题，引入另一变量，将上式改写为

       （4）

引入变量后，融合区的中间位置的亮度连续性得到了极大的改善，式中的取值范围为，式（3）、（4）仅对图像的灰度值进行了调整，由于人眼对亮度信息的判断不是线性的，因而上述计算还不能满足对亮度调整的要求，亮度调整需要对上式进行校正

                            （5）

式中：为值，其典型的取值范围为。

三、显示区域外图像的消除

    为保证图像能够充满整个显示区域，实际投影的区域要比需要的显示区域多出一部分，因而经过几何校正后的图像经投影到显示幕上后，必然有一部分图像超出了显示区域的范围，因而有必要将这部分多出来的图像消除，采用与确定边缘融合区相同的方法，通过NURBS曲面实现对这一区域的标定，将该区域图像的灰度值直接设置为0，即可消除该区域的图像。

本发明的技术效果：

    本发明与采用专用硬件的方法相比，省掉了对专用硬件的需求，有效降低了成本，由于与渲染系统高度集成，因而降低了系统延迟；与采用其它拟合算法的软件方法相比，在控制点数量相同的情况下，本发明采用的NURBS曲面所具有的高阶连续性（采用较高的次数），可以有效提高几何校正的精确度，减少几何失真；由于可以通过权因子对最终的曲面形状进行局部修改，灵活性更高；在式（4）中引入的变量，极大改善了边缘融合区的亮度一致性。

附图说明：

图1为本发明给出的初始控制点和原始图像，其中图1a为初始控制点网格，图1b为某一通道的原始图像；

图2为本发明给出的经过几何校正后的控制点和图像，其中图2a为几何校正后的控制点网格，图2b为几何校正后的图像；

图3为本发明给出的边缘融合控制点和处理后的图像，其中图3a为边缘融合控制点网格，图3b为边缘融合处理后的图像；

图4为本发明给出的消除显示区域外图像的控制点和处理后的图像，其中图4a为消除显示区域外图像的控制点网格，图4b为处理后的图像。

 具体实施方式：

本实施方式结合图1-4对本发明进行具体介绍。

本发明具体实施方式包括两个阶段的处理过程，实现多通道投影的几何校正与边缘融合功能，第一个阶段为调整阶段，这一阶段不要求实时性，在该阶段建立几何校正曲面，并通过对该几何曲面的控制点和权因子等进行调整，实现几何校正功能. 在完成所有投影通道的几何校正后，采用与几何校正相同的方式完成各相邻通道的边缘融合区标定，进而通过调整融合区的亮度完成边缘融合功能. 最后对显示在期望的投影区域外的图像进行消除，并将结果存盘，提供给下一阶段使用；第二阶段为渲染阶段，这一阶段对实时性有较高要求，该阶段应用调整阶段的计算结果，采用多纹理及Shader等技术，对投影到显示屏幕上的图像进行几何校正与边缘融合，实现多通道投影连续一致的显示，初始控制点和原始图像如图1所示，其中图1a为初始控制点网格，图1b为某一通道的原始图像。

本发明在具体实施过程中，需要建立基于NURBS的几何校正曲面，实现几何校正，这个过程如下：

    NURBS曲面是通过控制点表示的，控制点对NURBS曲面的基本形状起决定作用，几何校正的目的就是建立与期望的显示区域一致的拟合曲面，消除图像由于投影到曲面屏幕上而造成的几何失真，控制点的选取主要包括三个方面：一是控制点的数量，二是控制点的取值范围，三是曲面的次数. 控制点的取值范围可以根据实际需要，典型的方式有两种：一种是采用与显示分辨率相关的取值，另一种方式是采用归一化的取值，两种方式没有本质的区别，采用归一化的取值方法更加方便一些，控制点的数量对最终的拟合结果影响较大，较多的控制点拟合效果较好，但较多的控制点在调整时的工作量也会有较大的增加，典型的可以在和之间. 曲面的次数的选择，应尽可能选择较高的次数，使得拟合出的曲面连续性更好，从而达到较好的失真校正效果，在确定了控制点后，就可以通过对控制点和权因子的修改进行几何失真校正了，几何校正后的控制点和经几何校正后的图像如图2所示，其中图2a为几何校正后的控制点网格，图2b为几何校正后的图像。

本发明在具体实施过程中，需要标定边缘融合区域，实现边缘融合，过程如下：

    经过几何校正后的各个通道的投影除了在通道之间重叠的区域外，整幅图像在几何上已经呈现出了较好的连续性，为了达到整幅图像亮度的连续一致性，需要对通道间的重叠区域进行边缘融合，这部分重叠区域就是融合区，分为水平方向和垂直方向. 采用与几何校正相同的方式，对融合区域进行标定. 若几何校正时控制点的数量为，、分别为水平方向和垂直方向的控制点数，在水平方向上，采用个控制点，垂直方向上采用个控制点，曲面的次数与几何校正时水平方向和垂直方向分别一致. 通过对两个相邻通道融合区的控制点进行调整，即可标定出融合区. 对于标定的融合区域，应用公式（4）、（5），通过对两式中、和的调整，实现融合区的亮度调整，从而达到边缘融合的目的. 在具体实现时，可以运用公式（4）、（5）的计算结果来生成一张256像素的一维纹理，在渲染时使用该纹理通过Shader实现亮度的调整，R、G、B三个颜色通道的调整可以分别进行，边缘融合区的控制点和融合处理后的图像如图3所示，其中图3a为边缘融合控制点网格，图3b为边缘融合处理后的图像。

本发明在具体实施过程中，需要标定显示区域外图像并消除，具体过程如下：

    结过几何校正与边缘融合后的多通道投影图像在视觉上已经是连续的图像了，但是在期望的显示区域外，还可能有一部分多余的图像内容，对图像的显示效果有一定的影响，这部分图像不是期望的显示内容，因而有必要对其消隐，与标定融合区域一样，首先要标定出这一部分区域，控制点的数量、次数等的选取与边缘融合区的标定一样；标定完成后直接将该区域的灰度值设定为0，即可消除这部分图像，图4所示为标定显示区域外图像的控制点及消除后的图像，其中图4a为消除显示区域外图像的控制点网格，图4b为处理后的图像。

本发明给出经过上述处理后实时渲染的过程：

      经过几何校正、边缘融合和显示区域外图像的消隐后，调整阶段的工作即告完成，将上述调整后的结果存盘，交由渲染阶段依据存盘的结果进行实时渲染，目前最常用的底层渲染工具主要有OpenGL和Direct3D两种，这两种渲染工具都支持GPU加速，而现代GPU无论是集成在CPU中的，还是独立的GPU，都对多纹理技术、Shader技术等提供支持，甚至一些支持OpenGL ES的移动设备，也支持上述技术，这就为实时渲染奠定了硬件基础，实时渲染的具体方法为：首先读取调整结果，然后生成一张结合了融合区和消隐区域的纹理，融合区部分的灰度值与调整时的结果一致，消隐区域的灰度值为0，其它区域的灰度值为1.0，纹理的大小与需要显示的图像大小一致. 生成该纹理后，与边缘融合和消隐有关的数据在以后的渲染中不再需要，在后续的渲染中，只渲染根据几何校正结果生成的拟合曲面，需要渲染的图像作为曲面上的纹理，在Shader中，首先将该图像与前面生成的结合了融合与消隐的纹理对应的纹素相乘，得到的结果作为输出显示，纹理的贴图方式采用替换。

Claims (4)

1.本发明权利要求一种基于NURBS曲面的多通道投影几何校正与边缘融合的高效方法，主要特征包括多通道曲面幕投影的几何校正、投影显示通道之间的边缘融合以及显示区域边缘以外多余图像的消除。

2.本发明在权利要求1的基础上，还包括NURBS曲面的表示方法

    NURBS曲面相对于Bezier曲面或B-Spline曲面有众多的优点，其中最典型的优点是可以通过控制点和权因子来灵活地改变形状，而且插入节点、修改、分割、几何插值等的处理也极为方便，由于不涉及搭接、重叠形状的处理等问题，也无需进行点的映射等可能导致不稳定的算法，因而避免了NURBS本身的一些缺点，此外除了在不要求实时性的调整过程中需要进行计算外，在实时应用时，只需要其运算的结果，因而存储空间和处理时间的问题也不影响具体应用，NURBS曲线的表示为

  （1）

式中：是特征多边形的顶点位置矢量，是次B样条基函数，是相应控制点的权因子，节点向量中节点个数，为控制点个数，为B样条基函数的次数，节点矢量为

                   （2）

其中，和各有个，从上式可以看出，当权因子时，上式可以表示B样条曲线，而由于权因子的存在，可以通过对权因子的调整，使得所表示的曲线更加靠近或远离控制点，从而改变曲线的形状。

3.本发明在权利要求1的基础上，还包括边缘融合

    当多个通道的图像投影到同一显示屏幕上时，通道之间的图像很难保证其连续性，尤其是当投影幕为球形幕或柱形幕等曲面幕时，为了保证多通道投影显示的连续性，通道之间的图像需要有一定的重合区，因而有必要进行通道间的边缘融合，首先要确定融合的区域，这一区域通常不是诸如矩形之类的规则区域，因而仍有必要通过上述的NURBS曲面的方式实现对这一区域的标定，标定融合区域后，通过对区域内图像的亮度进行调整，达到两个通道之间重叠区域的亮度与其它亮度的均匀一致，实现边缘融合，由于亮度的调整表现在图像上就是对图像的灰度值进行调整，通常该灰度值归一化为[0.0, 1.0]之间，其调整通过下式实现：

             （3）

式中：为融合区中某点的位置，上式中采用的0.5表明，在融合区的中间位置，灰度值为原始图像的一半，由于两台投影器的亮度不可能完成一致，因而会造成在融合区的中间位置亮度连续性不好，为解决这一问题，引入另一变量，将上式改写为：

       （4）

    引入变量后，融合区的中间位置的亮度连续性得到了极大的改善，式中的取值范围为，公式（3）和（4）仅对图像的灰度值进行了调整，由于人眼对亮度信息的判断不是线性的，因而上述计算还不能满足对亮度调整的要求，亮度调整需要对上式进行校正：

                      （5）

式中：为值，其典型的取值范围为。

4.本发明在权利要求1的基础上，还包括显示区域外图像的消除

    为保证图像能够充满整个显示区域，实际投影的区域要比需要的显示区域多出一部分，因而经过几何校正后的图像经投影到显示幕上后，必然有一部分图像超出了显示区域的范围，因而有必要将这部分多出来的图像消除，采用与确定边缘融合区相同的方法，通过NURBS曲面实现对这一区域的标定，将该区域图像的灰度值直接设置为0，即可消除该区域的图像。