CN101571663A - 一种用于多投影仪拼接的分布式在线调节方法 - Google Patents

Abstract

本发明公开了一种用于多投影仪拼接的分布式在线调节方法，在现有的几何矫正与色差矫正基础上，以曲线族(x⁰，x¹，x²...x^m)为基底，利用控制点实时拟合融合曲线，去逼近实际的衰减曲线；采用摄像机实时采集融合带图像的方式，分析融合带亮度信息，绘制出融合的亮度变化曲线，作为调节参考基准，不断调整点的坐标和个数以及拟合曲线阶次，进而改变融合曲线，在线的改变融合效果。本发明的方法抛弃了固定形式的融合曲线，采用点实时拟合生成融合曲线的在线调节方式，具有明显的普适性和快速性，调节效率高、实际应用效果好。

Description

一种用于多投影仪拼接的分布式在线调节方法

技术领域

本发明涉及多投影仪拼接技术，特别地，涉及一种用于多投影仪拼接的分布式在线调节方法，属于虚拟现实领域。

背景技术

多投影拼接技术对增强虚拟现实的沉浸感有着至关重要的作用，应用多通道的拼接显著的提高分辨率，增大视场角，并且明显的缩短投影距离，对于需要宽视场高分辨率的视景系统有着不可替代的重要意义。随着虚拟现实领域对高沉浸感要求的不断提高，越来越多的视景系统采用了多通道投影墙拼接的方式来实现三维场景的表现。多投影拼接技术的出现，实现了大场景、高分辨率图像的无缝拼接，弥补了单通道投影的分辨率不足、视场角窄的缺点，使得三维显示场景更加具有沉浸感和逼真度。

多投影拼接技术主要涉及以下三个过程：一是几何校正，二是色差校正，三是边缘融合。

几何校正，就是在投影出去的图像产生畸变后，采用数字图像处理的基本方法，对原始图像进行一定的变形，使得投射出去后的图象恰好“抵消”掉原有畸变效果，让图像看起来没有畸变。

色差矫正，就是调节用于拼接的投影仪的颜色参数，使得不同的投影仪打出同一种颜色看起来一致。具体分为红(R)、绿(G)、蓝(B)三个通道分别矫正。如同时打开两台投影机，分别打出同样色度的红色图像，如RGB值为(255，0，0)，通过调节投影机或者显卡的颜色衰减等，使两台投影机打出的颜色视觉效果一致。

其中边缘融合是多通道投影系统拼接的核心，边缘融合原理如下：

以经典文献中两通道融合为例，如图1所示，经典边缘融合算法由以下步骤实现：

步骤1：对要显示的画面的分辨率和融合带大小进行设定，设左通道与右通道分辨率均为1024＊768，融合带宽度设定为256像素，左右通道重合的部分是256个像素，占每个通道的25％，则拼接后经过投影仪打出后的图像的大小为1792＊768；

步骤2：分配各投影仪所要显示的图像部分，让左通道显示左半边的画面内容，右通道显示右边的内容，大小均为1024＊768，其中重叠区的像素宽度为256(融合带宽度)，整体拼接后相比两个通道的显示宽度的和损失了256个像素。为了拼接后图像的完整性，重叠区的画面内容必须完全一样；

步骤3：边缘融合的核心在于衰减曲线的生成算法，选取合适的融合处理函数，对于左右通道的融合带进行亮度衰减。其衰减的程度由[0，1]区间上的的数值表示，其中1代表不衰减，亮度不变，0代表完全衰减，亮度为0。对于左通道而言，选取一条自左向右的由1到0的衰减曲线生成亮度衰减权值掩膜纹理；对于右通道而言，选取一条自右向左由1到0的衰减曲线生成亮度衰减权值掩膜纹理。将衰减曲线转化为灰度图(将归一化的0到1区间，转换成灰度0～255区间)，也就是由亮到暗的一个淡出的图片，如图1的步骤3。例如选取以下函数作为衰减函数，其中a，P，gama均为可调节的变量，x指融合带横向的归一化数值，以左通道的融合带为例，x＝0代表了融合的最右端，x＝1代表融合带的最左端：

$f\left(x\right)\left\{\begin{array}{cc}{\left[a{\left(2x\right)}^p\right]}^{\frac{1}{\mathrm{gama}}}& 0\≤x\≤0.5\\ {[1-(1-a)\×{\left(2(1-x)\right)}^p]}^{\frac{1}{\mathrm{gama}}}& 0.5\≤x\≤1\end{array}\right.$

左右通道亮度进行衰减后，达到期望效果，经过投影机打出到屏幕后，其重合区域的亮度叠加后值为1。因此函数选择上，经典边缘方法选择了以融合带中线对称的曲线，由于左右通道衰减的对称性，理想情况下其叠加后的整个融合带的亮度均为1。

步骤4：对两个通道的重叠区分别进行边缘融合处理。左通道对其右边缘进行一个淡出处理，利用步骤3中生成的一个衰减权值的掩膜对左通道图像进行处理，处理之后左通道图像如图1步骤4所示；同样右通道进行类似处理，对于右通道而言，对左边缘进行一个淡入的处理，这样完成了左右通道衰减性的互补。

步骤5：使用投影仪将其投射到屏幕上。假设在投影仪已经将数字图像的几何畸变处理完成，没有图像的变形，则处理后的左右通道画面，完成了初步的融合，融合带的亮度为左右通道的边缘亮度的叠加。

步骤6：针对融合后的显示效果，作进一步的校正处理。设定初值的不足以普遍适应所有系统，对于融合函数的参数还需要进一步的人工调整，直到画面效果满足观察者的要求，将此时的参数记录下来，作为该系统的最终参数。

经典边缘融合方法的缺陷：

实际工程应用中，往往遇到诸如投影仪内部参数差异较大、安装精度不够、图形畸变严重等问题，导致出现采取固定形式的融合曲线与Gamma(伽马)矫正无法解决融合带亮度不均的问题。经典边缘融合方法缺点大致有两点：(1)由于投影机参数的非对称性等因素，导致了融合带亮度变化出现高阶震荡，而经典边缘融合函数的固定形式导致了其无法普遍适应类似的情况；(2)一般融合系统在调节过程中，缺乏融合带亮度图形化表示与在线调节，导致边缘融合系统出现调节时间长、调节难度大等困难。并且由于融合曲线的参数没有直观物理意义(比如无法建立某参数与融合带某段亮度的直接对应)，调节人员无法直观的从融合带亮度的不均匀性直接去具体调节某个参变量，往往需要经过大量的技术积累或者一定的数学运算才能完成调节，导致非专业技术人员无法调节。

综合上述，经典边缘融合技术在普适性和调节方便性上有其固有的缺点。为更好的解决边缘融合效果问题，国内外高校与科研机构也在积极改进原有边缘融合算法，其中浙江大学提出了“一种高效的多投影拼接融合方法”，公开号为CN101409790A，其中将融合曲线改为采用四分之一圆弧代替，但仍然属于融合曲线为固定形式的衰减，不具备普遍适应性，也不具备实现快速调节的可能性。

发明内容

本发明的目的在于克服目前边缘融合技术中的不足，提出了一种更为灵活且适应范围广的边缘融合调节方法。

一种用于多投影仪拼接的分布式在线调节方法，包含以下步骤：

(1)利用数字图像矫正的方法，实现畸变图像的几何矫正；

(2)利用红、绿、蓝三通道分别调节的方法，完成投影仪色差的矫正；

(3)采用控制点拟合曲线，以曲线族(x⁰，x¹，x²...x^m)为基底，设定控制点的位置及个数，曲线的阶次，利用控制点的坐标关系实时的拟合出融合曲线，对重叠区域进行边缘融合；

(4)通过工业摄像机采集投影图像作为反馈，分析融合带的亮度值，如果融合带亮度不均匀，则返回第三步，实时修改控制点的坐标、个数以及融合曲线的阶次，不断改变融合曲线形状，改变融合带，直到达到融合带亮度均匀，无缝融合，调节完成。

本发明的优点在于：

(1)本发明采用控制点实时拟合融合曲线，不需预先设定融合函数的固定形式，具有很大的灵活性，使本发明具有更广泛的适应性；

(2)通过实时的改变控制点的个数和坐标，在线修改融合曲线的形状，实时的改变融合效果；通过摄像机对融合带亮度信息进行采集和分析，以绘制曲线的形式将亮度信息显示出来，使调节更具有直观性便利性；

(3)本发明采用控制点的X坐标(横向坐标)，对应融合带的横向位置，Y坐标(纵向坐标)，对应该位置融合曲线的衰减权值，衰减权值直观对应该位置融合带的亮度，具有便利性，使非专业人员可以进行边缘融合的调节。

附图说明

图1是现有边缘融合方法流程图；

图2是本发明的方法流程图；

图3是本发明利用控制点拟合融合曲线示意图；

图4是实施例中图像直接拼接与应用本发明方法进行拼接后图像的对比图；

图5是实施例中应用本发明所述方法与现有方法效果对比图。

具体实施方式

下面将结合附图和实施例对本发明作进一步的详细说明。

本发明的一种用于多投影仪拼接的分布式在线调节方法，流程如图2所示，包括以下步骤：

第一步：利用数字图像矫正的方法，实现畸变图像的几何矫正。

首先利用投影仪打出矫正网格，通过数字图像处理的方法得到畸变关系；然后利用畸变关系，对每帧的图像进行变形处理，打出处理后的图像，得到矫正后的图像。

第二步：利用红绿蓝三通道分别调节的方法，完成投影仪色差的矫正。

红(R)、绿(G)、蓝(B)三个通道分别矫正。让需要矫正的投影仪打出纯色画面，如RGB值为(255，0，0)为纯红色，通过调整投影仪色衰和系统显卡菜单，使得各个投影仪打出红色视觉效果一致；同样依次对绿色通道和蓝色通道也进行矫正，完成各个投影仪的色差矫正。

第三步：采用控制点拟合曲线，以曲线族(x⁰，x¹，x²...x^m)为基底，设定控制点的位置及个数，曲线的阶次，利用控制点的坐标关系实时的拟合出融合曲线，对重叠区域进行边缘融合。

现有技术需要预先定义融合曲线的数学函数或者形状(如四分之一圆弧)，本发明所述方法通过控制点来描述曲线的形状，不需要预先设定融合曲线的数学函数表达式或者曲线的形状，只要拟合的融合曲线能够满足融合效果，可以利用控制点描述出任意曲线作为融合曲线。曲线都是由无数个点组成的，对于任何曲线，都可以利用一定数量的点来描绘其形状。本方法采用以n+1个控制点描述衰减曲线形状，控制点的个数自由设定，采用曲线族(x⁰，x¹，x²...x^m)为基底，通过拟合算法得到一条m阶融合曲线，曲线阶次自由设定，其中，m、n为自然数且m＜n+1。

步骤具体如下：

(1)设定融合带的参数；

设定融合带宽度占整个图像宽度的百分比为p，融合带偏移量为offset，其中offset为整数，控制点的个数为n+1，拟合曲线的阶次m，对坐标进行归一化处理，将控制点的X坐标、Y坐标放缩到区间[0，1]之间，设定控制点坐标为(x₀，y₀)、(x₁，y₁)、(x₂，y₂)…(x_n，y_n)，利用控制点描绘出一条曲线的形状。控制点的X坐标(横向坐标)对应融合带的横向位置，Y坐标(纵向坐标)对应该位置融合曲线的衰减权值，所述的衰减权值直观对应了该位置融合带的亮度，由于点的纵坐标直接对应融合带相应位置的亮度，且点的横坐标对应融合带的相应位置，因此只需要直观的调节各个点的坐标就可以把融合带调整成预期的效果。

(2)由n+1个控制点的坐标，拟合曲线的阶次m，以曲线族(x⁰，x¹，x²...x^m)为基底，依据最小二乘原则，拟合出m阶融合曲线。

融合曲线参数具体求解过程如下：

在归一化坐标系下，n+1个控制点的坐标为(x₀，y₀)，(x₁，y₁)，(x₂，y₂)……(x_n，y_n)，则设曲线关系为：

y＝a₀+a₁x+a₂x²+...+a_mx^m                    (1)

其中，a₀、a₁、...a_m表示待定的曲线参数，属于实数。

则将控制点的坐标代入上式，得到线性方程组：

$\left[\begin{array}{ccccc}1& {x_0}^1& {x_0}^2& \·\·\·& {x_0}^m\\ 1& {x_1}^1& {x_1}^2& \·\·\·& {x_1}^m\\ 1& {x_2}^1& {x_2}^2& \·\·\·& {x_2}^m\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ 1& {x_n}^1& {x_n}^2& \·\·\·& {x_n}^m\end{array}\right]\×\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ \·\·\·\\ a_m\end{array}\right]=\left[\begin{array}{c}{y}_0\\ y_1\\ y_2\\ \·\·\·\\ y_n\end{array}\right]$

令 $X=\left[\begin{array}{ccccc}1& {x_0}^1& {x_0}^2& \·\·\·& {x_0}^m\\ 1& {x_1}^1& {x_1}^2& \·\·\·& {x_1}^m\\ 1& {x_2}^1& {x_2}^2& \·\·\·& {x_2}^m\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ 1& {x_n}^1& {x_n}^2& \·\·\·& {x_n}^m\end{array}\right],$ a＝[a₀ a₁ a₂...a_m]^T，y＝[y₀ y₁ y₂...y_n]^T

则解其法方程X^TXa＝X^Ty，得到融合曲线参数[a₀ a₁ a₂...a_m]^T。将a₀ a₁ a₂...a_m代入式(1)，得到一条m阶的融合曲线。

左右两个通道分别设置控制点，得到左右通道各自的融合曲线。如图3所示，图中两条曲线为左右两个通道由各自的9个控制点拟合得到的融合曲线，横坐标为融合带的横向位置，纵坐标是融合曲线的衰减权值。

(3)利用步骤(2)得到融合曲线参数进行图像边缘亮度衰减，进行边缘融合。

根据融合曲线的形状，对左右投影仪融合带的亮度严格进行相应的衰减，完成了融合带的一次实时调整。

第四步：通过工业摄像机采集投影图像作为反馈，分析融合带的亮度值，如果融合带亮度不均匀，则返回第三步，实时修改控制点的坐标、个数以及融合曲线的阶次，不断改变融合曲线形状，改变融合带，直到达到融合带亮度均匀，无缝融合，调节完成。

(1)采用工业摄像机采集融合带的图像。

所述的图像采集能够包含融合带，本发明采用采集图像中融合带占整个采集图像的比例在50％，试验证明可得到较好的效果。

(2)对采集到的融合带图像进行亮度分析。

如果对整个图像都进行分析，会降低实时性，因此本发明采用抽取图像的若干行进行像素分析，具体步骤如下：

设抽取图像的第R1行，第R2行，第R3行，则分别对此三行逐个像素进行RGB值转灰度运算，利用经验公式：

L＝R＊0.3+G＊0.59+B＊0.11                        (2)

得到每个像素的灰度值，这里的灰度值等同于亮度值。然后三行像素亮度取平均值，得到图像行方向的亮度值，以亮度值描点画线，得到沿融合带方向的亮度变化曲线。以此曲线为参考，结合实际观察效果，若融合带没有达到预期效果，融合带亮度不均匀，则返回第三步，实时修改控制点的坐标、个数以及融合曲线的阶次，不断改变融合曲线形状，得到不同的融合曲线参数，改变融合带，直到达到融合带亮度均匀，无缝融合的效果，调节完成。

实施例：

采用微视V400系列工业摄像机，通过MicroView SDK开发库进行图像的采集开发，并利用RGB转换灰度算法，提取融合带的亮度信息，利用GDI+实现控制点、融合曲线的实时显示。

采用本发明所述方法，在某型号飞行模拟器三通道环幕显示系统中，利用几何校正，色差矫正，边缘融合，实现了三通道边缘快速无缝拼接，拼接前后的效果图见图4，图4上半部分的图片中明显看出有拼接痕迹，有两条高亮的重叠区域，且有严重的梯形和曲面变形，而经过本发明拼接后的下半部分的图像，完全看不出接缝，达到了无缝融合的目的。

本发明与现有融合方法的对比，采用现有经典边缘融合算法，应用对称幂函数加上Gamma矫正对该系统进行边缘融合，其中函数选择为经典算法融合函数：

$f\left(x\right)\left\{\begin{array}{cc}{\left[a{\left(2x\right)}^p\right]}^{\frac{1}{\mathrm{gama}}}& 0\≤x\≤0.5\\ {[1-(1-a)\×{\left(2(1-x)\right)}^p]}^{\frac{1}{\mathrm{gama}}}& 0.5\≤x\≤1\end{array}\right.$

经典边缘融合方法在投影机参数不对称、且安装精度不能保证的情况下，出现融合带双驼峰状的亮度不均现象，融合带的左右两部分都是一个类似二次曲线的变化过程。如图5所示，图5上部分为经典方法的效果，图中上方两个椭圆形圈内，融合带处出现了中心亮，向两边扩展，融合带先暗再亮左右两个通道融合带的亮度变化不对称；应用本发明方法，因为控制点拟合的融合函数可以逼近任何曲线，解决的了双驼峰式的亮度不均匀现象，效果如图5下部分，下方的两个椭圆形圈内，消除了融合带亮度不均匀的现象，达到了无缝融合的目的，本方法对系统安装精度要求更低。

在调节的便利性上，经典方法由于函数的参数与实际融合带亮度没有直观联系，因此调节起来较为复杂；而本方法采用了直接添加、删除、移动控制点、自行确定拟合曲线的阶次、融合曲线高度直接反映融合带上对应位置的亮度变化的方式，使非专业人员也能轻松对融合带进行调节。

经以上对比，本方法有明显的快速性和适应性，在图形畸变较大且投影设备有差异的条件下，相比主流调节算法效果更佳，且调节效率更高。

Claims (3)

1、一种用于多投影仪拼接的分布式在线调节方法，包括以下步骤：

第一步：利用数字图像矫正的方法，实现畸变图像的几何矫正；

首先利用投影仪打出矫正网格，通过数字图像处理的方法得到畸变关系；然后利用畸变关系，对每帧的图像进行变形处理，打出处理后的图像，得到矫正后的图像；

第二步：利用红、绿、蓝三通道分别调节的方法，完成投影仪色差的矫正；

红、绿、蓝三个通道分别矫正，让需要矫正的投影仪打出纯色画面，通过调整投影仪色衰和系统显卡菜单，使得各个投影仪打出视觉效果一致；

其特征在于，还包括以下步骤：

第三步：采用控制点拟合曲线，以曲线族(x⁰，x¹，x²…x^m)为基底，设定控制点的位置及个数，曲线的阶次，利用控制点的坐标关系实时的拟合出融合曲线，对重叠区域进行边缘融合；

采用以n+1个控制点去描述衰减曲线形状，控制点的个数自由设定，其中n为自然数，采用曲线族(x⁰，x¹，x²…x^m)为基底，其中m为自然数，通过拟合算法得到一条m阶融合曲线，曲线阶次自由设定，其中，m＜n+1；

步骤具体如下：

(1)设定融合带的参数；

设定融合带宽度占整个图像宽度的百分比为p，融合带偏移量为offset，其中offset为整数，控制点的个数为n+1，拟合曲线的阶次为m，在归一化坐标系下，将控制点的X坐标、Y坐标放缩到区间[0，1]之间，设定控制点坐标为(x₀，y₀)、(x₁，y₁)、(x₂，y₂)…(x_n，y_n)，利用控制点描绘出一条曲线的形状；左右两个通道的曲线由各自控制点拟合得到的；

控制点的X坐标对应融合带的横向位置，Y坐标对应该位置融合曲线的衰减权值，所述的衰减权值直观对应该位置融合带的亮度；

(2)由n+1个控制点的坐标，拟合曲线的阶次m，以曲线族(x⁰，x¹，x²…x^m)为基底，依据最小二乘原则，拟合出m阶融合曲线；

融合曲线参数具体求解过程如下：

在归一化坐标系下，n+1个控制点的坐标为(x₀，y₀)，(x₁，y₁)，(x₂，y₂)……(x_n，y_n)，则设曲线关系为：

y＝a₀+a₁x+a₂x²+…+a_mx^m        (1)

其中，a₀、a₁、…a_m表示待定的曲线参数，属于实数；

则将控制点的坐标代入上式，得到线性方程组：

$\left[\begin{array}{ccccc}1& {x_0}^1& {x_0}^2& \·\·\·& {x_0}^m\\ 1& {x_1}^1& {x_1}^2& \·\·\·& {x_1}^m\\ 1& {x_2}^1& {x_2}^2& \·\·\·& {x_2}^m\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ 1& {x_n}^1& {x_n}^2& \·\·\·& {x_n}^m\end{array}\right]\×\left[\begin{array}{c}{a}_0\\ a_1\\ a_2\\ \·\·\·\\ a_m\end{array}\right]=\left[\begin{array}{c}{y}_0\\ y_1\\ y_2\\ \·\·\·\\ y_n\end{array}\right]$

令 $X=\left[\begin{array}{ccccc}1& {x_0}^1& {x_0}^2& \·\·\·& {x_0}^m\\ 1& {x_1}^1& {x_1}^2& \·\·\·& {x_1}^m\\ 1& {x_2}^1& {x_2}^2& \·\·\·& {x_2}^m\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ 1& {x_n}^1& {x_n}^2& \·\·\·& {x_n}^m\end{array}\right],$ a＝[a₀ a₁ a₂…a_m]^T，y＝[y₀ y₁ y₂…y_n]^T

则解其法方程X^TXa＝X^Ty，得到融合曲线参数[a₀ a₁ a₂…a_m]^T；将a₀ a₁ a₂…a_m代入式(1)，得到一条m阶的融合曲线；

左右两个通道分别设置控制点，得到左右通道各自的融合曲线；

(3)利用步骤(2)得到融合曲线参数进行图像边缘亮度衰减，进行边缘融合；

根据融合曲线的形状，对左右投影仪融合带的亮度严格进行相应的衰减，完成融合带的一次实时调整；

第四步：通过工业摄像机采集投影图像作为反馈，分析融合带的亮度值，如果融合带亮度不均匀，则返回第三步，实时修改控制点的坐标、个数以及融合曲线的阶次，不断改变融合曲线形状，改变融合带，直到达到融合带亮度均匀，无缝融合，调节完成。

2、根据权利要求1所述的一种用于多投影仪拼接的分布式在线调节方法，其特征在于：所述的第四步包括以下具体步骤：

(1)采用工业摄像机采集融合带的图像；

所述的图像采集能够包含融合带；

(2)对采集到的融合带图像进行亮度分析；

采用抽取图像的若干行进行像素分析，具体步骤如下：

设抽取图像的第R1行，第R2行，第R3行，则分别对此三行逐个像素进行RGB值转灰度运算，利用公式(2)：

L＝R＊0.3+G＊0.59+B＊0.11                (2)

得到每个像素的灰度值，这里的灰度值等同于亮度值；三行像素亮度取平均值，得到图像行方向的亮度值，以亮度值描点画线，得到沿融合带方向的亮度变化曲线；参考此曲线，结合实际观察效果，若融合带没有达到预期效果，融合带亮度不均匀，则返回第三步。

3、根据权利要求2所述的一种用于多投影仪拼接的分布式在线调节方法，其特征在于：所述的步骤(1)中采集图像中融合带占整个采集图像的比例为50％。

Images