CN111192552A - 一种多通道led球幕几何校正方法 - Google Patents

Abstract

本发明涉及一种多通道LED球幕几何校正方法，包括以下步骤：步骤一：获取RTT相机S1的帧缓存纹理图像A；步骤二：获取S2相机的帧缓存纹理图像B；步骤三：定义正视矩阵相机为S3，S3投影矩阵定义为正视矩阵，其窗口尺寸为全屏尺寸，S3视图矩阵定义为单位矩阵，在该正视矩阵相机节点添加一个四边形平面模型，将纹理缓存图像B贴在该四边形平面模型上，采用基于着色器语言编程对图像B进行抽点运算，最终输出显示图像C。本发明使用多通道LED球幕替代传统的投影仪投射幕，使整个画面的亮度、分辨率均匀度一致；通过着色器语言编程进行几何校正实现视锥平面点到球幕点的空间变换，快速实现图像的空间复原校正，延迟性特性基本可以忽略，稳定性高。

Description

一种多通道LED球幕几何校正方法

技术领域

本发明涉及一种多通道LED球幕几何校正方法，属于图形图像畸变、几何校正技术领域。

背景技术

随着显示技术发展，小间距LED曲面显示屏技术大发展，从而促使LED球形显示幕的出现。传统的飞行模拟器仿真成像系统多采用柱幕、实像球带幕、虚像幕等，但都离不开多台投影仪显示设备，然后通过投影拼接，几何校正和边缘融合技术，最终呈现出一幅连续完整的图像画面。小间距LED球带显示屏幕的出现，能够淘汰投影仪设备，不再需要解决投影拼接融合、投影仪拼接漏光、分辨率及光亮度分布不均匀、以及光路设计受限等问题，但依然需要解决LED曲面幕的空间复原几何校正问题和LED球幕显示屏的抽点新问题。由于计算机硬件水平大大提升，特别是显卡的GPU并行计算能力的大大提高，图形图像的处理能力不断增强，为多通道LED球幕几何校正提供了硬件支持。

由于多通道小间距LED球幕显示设备，球型屏幕的设计、生产的天然缺陷，造成图像显示错位。硬件显示设备物理错位是无法解决的，为了正确的显示图像，需对显示的内容进行抽点校正、空间复原校正，小间距的LED球幕的最终显示图像需经过多次校正运算，在亮度、分辨率均匀度和稳定性上均存在不足。

发明内容

本发明的目的在于提供一种多通道LED球幕几何校正方法，让整个屏幕的显示亮度、分辨率均匀度保持一致。

为达到上述目的，本发明提供一种多通道LED球幕几何校正方法，包括以下步骤：

步骤一：获取RTT相机S1的帧缓存纹理图像A，包括以下步骤：

定义主相机为S0，RTT相机为S1；S1投影矩阵＝S0投影矩阵×S1的投影偏移矩阵，S1视图矩阵＝S0视图矩阵×S1视图偏移矩阵，获取帧缓存S1纹理缓存图像A；

步骤二：获取S2相机的帧缓存纹理图像B，包括以下步骤：

定义正视矩阵RTT相机为S2，S2的投影矩阵定义为正视矩阵，S2的窗口尺寸为全屏尺寸，S2视图矩阵定义为单位矩阵，在该正视矩阵RTT相机节点上添加贝塞尔曲面几何模型，将该贝塞尔曲面几何模型放置于该正视矩阵RTT相机视口正前方，并将缓存图像A贴在该贝塞尔曲面几何模型上，基于着色器语言编程对图像A进行空间变换，将图像A的平面锥体空间变换为球幕空间，并获取帧缓存S2纹理缓存图像B；

步骤三：定义正视矩阵相机为S3，S3投影矩阵定义为正视矩阵，其窗口尺寸为全屏尺寸，S3视图矩阵定义为单位矩阵，在该正视矩阵相机节点添加一个四边形平面模型，将纹理缓存图像B贴在该四边形平面模型上，采用基于着色器语言编程对图像B进行抽点运算，最终输出显示图像C。

进一步地，所述步骤二中贝塞尔曲面几何模型为三次Bezier曲面模型，其公式如下：

其中m，n取值范围为[4，7]，既Bezier曲面采用m×n个控制点b_i,j，u、v描述曲线的参数方程的范围，u,v∈[0,1]；

均为Bernstein基函数，连接控制点列b_i,j中相邻两点组成特征网格，

进一步地，步骤二中的基于着色器语言编程对图像A进行空间变换包括：

第一步：使用公式(2)求得球面的点P(Rx,Ry,Rz)与球心眼点O的射线与视锥底面EFGH的交点P1(x,y,z)，所述视锥底面EFGH为以眼点O为顶点的四棱锥与球面相交的底面，

其中，d为眼点O位置至视锥底面的垂直距离；

第二步：将图像A上像素坐标为(x,z)点的像素值存放到像素坐标为(Rx,Rz)的点中，生成图像B。

进一步地，步骤三中采用基于着色器语言编程对图像B进行抽点运算，最终输出显示图像C的过程包括：

第一步：根据抽点规律生成坐标图谱B′图像，图像B′的每个像素坐标中存放图像C′中的像素值新的排布方式；

第二步：图像B′与图像B通过着色器语言编程，实现GPU解算，获得图像C′，图像B′中的像素坐标(x′,y′)中存放像素值B_color；

B_color由图像B中所在位置的像素坐标(x,y)按(4)式转化而来，

在着色器中，将图像B′中(x′,y′)的B_color还原为(x,y)，然后获取图像B中(x,y)的像素值B_color′，给到图像C′相应的(x′,y′)中；

其中：B_color.r，B_color.g，B_color.b,B_color.a分别为B_color颜色值的红、绿、蓝量以及alpha透明度；

第三步：图像C′进一步采用双立方插值算法处理，插值后每个像素点的值通过其周围最近的4×4个采样点的权重卷积之和得到，以达到最终效果图像C，最终效果图像C即为校正后的结果图像。

进一步地，所述双立方插值算法如下：

设插值后的图像C中的某像素点(s,t)在图像C′中的映射点的像素坐标为P(i+v,j+u)，则所取16个采样点的范围是([i-1,i+2],[j-1,j+2])；

设图像像素分辨率为S×T，当S方向削减像素点数为scount，T方向削减像素点数为tcount时，则有：

tcount∈[0,T]，tcount为整数；

scount∈[0,S]，scount为整数；

设图像C′中每一像素点的像素值表达式为f(i,j)；插值后每个点的像素值表达式为F(i+v,j+u)；采样公式为Sam(x)，则有卷积和公式如下：

其中：v为col行偏差，即i+v的小数部分；

u为row列偏差，即j+u的小数部分；

采样公式Sam(x)如下：

其中：a为常数，用于调整锐化与模糊，取值为[-0.5，-0.75]。

与现有技术相比，本发明具有以下有益效果：

(1)本发明使用多通道LED球幕替代传统的投影仪投射幕，使整个画面的亮度、分辨率均匀度一致；(2)通过OpenGL着色器语言编程进行几何校正实现视锥平面点到球幕点的空间变换，快速实现图像的空间复原校正，延迟性特性基本可以忽略，稳定性高；(3)通过OpenGL着色器语言编程进行像素抽点运算，解决平面图像显示到球幕时画面撕裂错位的问题。

附图说明

图1是本发明多通道LED球幕几何校正的方法流程框架图。

图2是本发明多通道LED球幕几何校正的方法应用关系图。

图3实际球幕与理论球面关系正视图。

图4实际球幕与理论球面关系侧视图。

图5平面显示器未校正显示效果图。

图6平面显示器校正后的效果图。

图7是抽点运算的流程图。

图8是像素抽点映射关系图。

图9是立方插值采样点选取示意图。

图10是抽点时像素坐标转换颜色值的映射图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案，而不能以此来限制本发明的保护范围。

结合图1，一种多通道LED球幕几何校正方法，包括以下步骤：

首先获取RTT相机S1的帧缓存纹理图像A，包括以下步骤：

定义主相机为S0，RTT相机为S1；S1投影矩阵＝S0投影矩阵×S1的投影偏移矩阵，S1视图矩阵＝S0视图矩阵×S1视图偏移矩阵，获取帧缓存S1纹理缓存图像A。

其次，获取S2相机的帧缓存纹理图像B包括以下步骤：

定义正视矩阵RTT相机为S2，S2的投影矩阵定义为正视矩阵，S2的窗口尺寸为全屏尺寸，S2视图矩阵定义为单位矩阵，在该正视矩阵RTT相机节点上添加贝塞尔曲面几何模型，结合图2所示，将该模型放置于该相机视口正前方，并将缓存图像A贴在该模型上，此阶段需要基于着色器语言编程进行空间变换，将图像A由平面锥体空间变换到球幕空间，并获取帧缓存S2纹理缓存图像B，该图像B获取包括如下两个重要过程，分别为贝塞尔曲面几何模型建立和基于着色器语言编程的图像A空间变换。

在贝塞尔曲面几何模型上的贴图图像A，创建几何模型，包括如下：

建立双三次Bezier曲面模型，此处m，n取值范围为[4，7]，既Bezier曲面采用m×n个控制点b_i,j，其公式如下：

其中：

u，v描述曲线的参数方程的范围(并不反映实际的坐标值)，u,v∈[0,1]；

均为Bernstein基函数，连接控制点列b_i,j中相邻两点组成特征网格，

基于着色器语言编程的图像A空间变换：

理论上的球带幕应为曲面四边形，它的四条边为中间高两边低的曲边(如图3中白色加黑色区域EF2I2G2HJ2)，实际的LED球幕(如图3中白色区域EF1I1G1HJ1)受到工艺条件的限制，是无法做到的。因此在实际应用中需要根据球幕显示的布局重新校正。使得压缩在实际LED球幕中的画面中的像素点还原到理论球幕空间应该在的位置点上(例如图像中球幕的经纬线与真实LED球幕经纬刻度线相重合)，既是将曲面EF1I1G1HJ1区域的画面还原到EF2I2G2HJ2区域。

该校正过程主要使用着色器语言编程实现：

第一步：(结合图4)使用公式(2)求得，球面的点P(Rx,Ry,Rz)与球心眼点O的射线与视锥体底面EFGH(如图3，眼点O发射的视锥体与球面相交的底面)的交点P1(x,y,z)。

其中，d为眼点O位置至视锥底面的垂直距离。

第二步：将图像A上像素坐标为(x,z)点的像素值存放到像素坐标点(Rx,Rz)中，生成图像B。

最后，定义正视矩阵相机为S3，S3投影矩阵定义为正视矩阵，其窗口尺寸为全屏尺寸，S3视图矩阵定义为单位矩阵，在该正视矩阵相机节点添加一个四边形平面模型，图像B贴在该四边形平面模型上，采用基于着色器语言编程进行抽点运算，最终输出显示图像C。

上述抽点运算指，依据LED物理显示球幕生产图纸的灯板排布规律，走赤道往两极每排LED灯点数量规律性减少，为使图像B能完整的呈现于球幕中要对图像B进行相应的像素点抽取，抽点流程如图7，其具体过程如下：

第一步：根据LED物理显示球幕生产图纸的灯板排布规律(如图10)，通过OSG的osg::Image函数类将图像C′中的像素值新的排布位置存放到图像B′的对应的像素坐标中，得到坐标图谱B′图像。

第二步：图像B′与图像B通过着色器语言编程，实现GPU解算，获得图像C′。三者关系结合图8可知：

图像B′中的像素坐标(x′,y′)中存放像素值B_color；

B_color由图像B中所在位置的像素坐标(x,y)按(4)式转化而来；

在着色器中，将图B′中(x′,y′)的B_color还原为(x,y)，然后获取图像B中(x,y)的像素值B_color′，给到图像C′相应的(x′,y′)中。

其中：B_color.r，B_color.g，B_color.b,B_color.a分别为B_color颜色值的红、绿、蓝量以及alpha透明度。

第三步：图像C′进一步采用双立方插值算法处理，如图9，插值后每个像素点的值可通过其周围最近的4×4个采样点的权重卷积之和得到，以达到最终效果图像C。插值计算如下：

设插值后的图像C中的某像素点(s,t)在图像C′中的映射点的像素坐标为P(i+v,j+u)，则所取16个采样点的范围是([i-1,i+2],[j-1,j+2])。

设图像像素分辨率为S×T，当S方向削减像素点数为scount，T方向削减像素点数为tcount时，则有：

tcount∈[0,T]，tcount为整数；

scount∈[0,S]，scount为整数。

设图像C′中每一像素点的像素值表达式为f(i,j)；插值后每个点的像素值表达式为F(i+v,j+u)；采样公式为Sam(x)。则有卷积和公式如下：

其中：v为col行偏差(即i+v的小数部分)；

u为row列偏差(即j+u的小数部分)；

采样公式Sam(x)如下：

其中：a为常数，用于调整锐化与模糊，取值为[-0.5，-0.75]。

最终C图像即为校正后的结果图像。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变形，这些改进和变形也应视为本发明的保护范围。

Claims (5)

1.一种多通道LED球幕几何校正方法，包括以下步骤：

步骤一：获取RTT相机S1的帧缓存纹理图像A，包括以下步骤：

定义主相机为S0，RTT相机为S1；S1投影矩阵＝S0投影矩阵×S1的投影偏移矩阵，S1视图矩阵＝S0视图矩阵×S1视图偏移矩阵，获取帧缓存S1纹理缓存图像A；

步骤二：获取S2相机的帧缓存纹理图像B，包括以下步骤：

定义正视矩阵RTT相机为S2，S2的投影矩阵定义为正视矩阵，S2的窗口尺寸为全屏尺寸，S2视图矩阵定义为单位矩阵，在该正视矩阵RTT相机节点上添加贝塞尔曲面几何模型，将该贝塞尔曲面几何模型放置于该正视矩阵RTT相机视口正前方，并将缓存图像A贴在该贝塞尔曲面几何模型上，基于着色器语言编程对图像A进行空间变换，将图像A的平面锥体空间变换为球幕空间，并获取帧缓存S2纹理缓存图像B；

步骤三：定义正视矩阵相机为S3，S3投影矩阵定义为正视矩阵，其窗口尺寸为全屏尺寸，S3视图矩阵定义为单位矩阵，在该正视矩阵相机节点添加一个四边形平面模型，将纹理缓存图像B贴在该四边形平面模型上，采用基于着色器语言编程对图像B进行抽点运算，最终输出显示图像C。

2.根据权利要求1所述的多通道LED球幕几何校正方法，其特征在于，所述步骤二中贝塞尔曲面几何模型为三次Bezier曲面模型，其公式如下：

其中m，n取值范围为[4，7]，既Bezier曲面采用m×n个控制点b_i,j，u、v描述曲线的参数方程的范围，u,v∈[0,1]；

均为Bernstein基函数，连接控制点列b_i,j中相邻两点组成特征网格，

3.根据权利要求2所述的多通道LED球幕几何校正方法，其特征在于，步骤二中的基于着色器语言编程对图像A进行空间变换包括：

第一步：使用公式(2)求得球面的点P(Rx,Ry,Rz)与球心眼点O的射线与视锥底面EFGH的交点P1(x,y,z)，所述视锥底面EFGH为以眼点O为顶点的四棱锥与球面相交的底面，

其中，d为眼点O位置至视锥底面的垂直距离；

第二步：将图像A上像素坐标为(x,z)点的像素值存放到像素坐标为(Rx,Rz)的点中，生成图像B。

4.根据权利要求3所述的多通道LED球幕几何校正方法，其特征在于，步骤三中采用基于着色器语言编程对图像B进行抽点运算，最终输出显示图像C的过程包括：

第一步：根据抽点规律生成坐标图谱B′图像，图像B′的每个像素坐标中存放图像C′中的像素值新的排布方式；

第二步：图像B′与图像B通过着色器语言编程，实现GPU解算，获得图像C′，图像B′中的像素坐标(x′,y′)中存放像素值B_color；

B_color由图像B中所在位置的像素坐标(x,y)按(4)式转化而来，在着色器中，将图像B′中(x′,y′)的B_color还原为(x,y)，然后获取图像B中(x,y)的像素值B_color′，给到图像C′相应的(x′,y′)中；

其中：B_color.r，B_color.g，B_color.b,B_color.a分别为B_color颜色值的红、绿、蓝量以及alpha透明度；

第三步：图像C′进一步采用双立方插值算法处理，插值后每个像素点的值通过其周围最近的4×4个采样点的权重卷积之和得到，以达到最终效果图像C，最终效果图像C即为校正后的结果图像。

5.根据权利要求4所述的多通道LED球幕几何校正方法，其特征在于，所述双立方插值算法如下：

设插值后的图像C中的某像素点(s,t)在图像C′中的映射点的像素坐标为P(i+v,j+u)，则所取16个采样点的范围是([i-1,i+2],[j-1,j+2])；

设图像像素分辨率为S×T，当S方向削减像素点数为scount，T方向削减像素点数为tcount时，则有：

tcount∈[0,T]，tcount为整数；

scount∈[0,S]，scount为整数；

设图像C′中每一像素点的像素值表达式为f(i,j)；插值后每个点的像素值表达式为F(i+v,j+u)；采样公式为Sam(x)，则有卷积和公式如下：

其中：v为col行偏差，即i+v的小数部分；

u为row列偏差，即j+u的小数部分；

采样公式Sam(x)如下：

其中：a为常数，用于调整锐化与模糊，取值为[-0.5，-0.75]。

Images