CN104778694B - 一种面向多投影拼接显示的参数化自动几何校正方法 - Google Patents
一种面向多投影拼接显示的参数化自动几何校正方法 Download PDFInfo
- Publication number
- CN104778694B CN104778694B CN201510169540.7A CN201510169540A CN104778694B CN 104778694 B CN104778694 B CN 104778694B CN 201510169540 A CN201510169540 A CN 201510169540A CN 104778694 B CN104778694 B CN 104778694B
- Authority
- CN
- China
- Prior art keywords
- coordinate system
- projector
- projection
- camera
- parameter
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Controls And Circuits For Display Device (AREA)
- Projection Apparatus (AREA)
Abstract
本发明公开一种面向多投影拼接显示的参数化自动几何校正方法，包括离线校正和实时校正两个部分。其中，离线校正通过立体摄像机对采集由各自投影通道打出的模式图像序列，从采集的模式图像序列中计算得到各自投影通道在屏幕上的特征点信息，由此计算投影屏幕几何模型中的未知参数以及各自投影机的内外参数；进而得到观察者位置和姿态信息，最终得到投影系统几何模型中的全部未知参数。实时校正是把得到的参数作为系统配置文件，实时加载系统配置文件，渲染出来的多通道显示图像为一整幅透视关系正确，无边缘突变的高分辨率图像。本发明的优点为：可自动完成多投影显示系统的参数标定，对相机的分辨率和视场角要求相对较低。
Description
技术领域
本发明涉及一种多投影拼接显示系统的校正方法,具体来说，是一种面向多投影拼接显示的参数化自动几何校正方法。
背景技术
多投影拼接显示技术是一种把多台投影机投射的画面进行拼接融合从而实现比单个显示设备更大尺寸、更高分辨率的无缝画面的技术。采用多投影拼接显示技术的显示系统称之为多投影拼接显示系统。多投影拼接显示系统主要要素包括投影机、投影面(投影幕)以及观察者。即使没有交互的需求，观察者的信息也十分重要，将决定显示系统的最佳观察区域。
多投影拼接显示技术是一种典型的大屏幕显示技术，理论上可以实现在任意曲面上的大尺寸、高分辨率、宽视场角的无缝画面显示，基于平板电视的电视墙相比之下，虽然也能实现大尺寸以及高分辨率但局限很多，比如电视墙无法做到真正的无缝显示，而且很难做到任意形状的成像面。由于其上述优点，多投影拼接显示技术广泛的应用于虚拟现实、仿真训练、文化娱乐等领域中，并有着很好的应用前景。
多投影拼接系统中，投影机连接图像源计算机，投射图像源计算机绘制的画面。投影机与图像源计算机不一定是一对一的映射关系，一台图像源计算机可以输出多个显示画面分别提供给对应的投影机。对投影画面进行拼接融合的过程称之为校正。按照校正方式，分为软件方式和硬件方式。硬件校正需要在投影机和图像源计算机之间使用硬件融合器，硬件融合器对画面进行预变形以及融合带衰减之后把画面输出，实现多投影融合图像，但每个投影通道显示的图像的透视矩阵，还需要在图像源计算机中的图像绘制软件中设置。基于软件的多投影拼接技术硬件结构简单、配置灵活，更具扩展性，无需增加额外的硬件融合器，所有的配置均在图像绘制软件中完成。无论是硬件方式还是软件方式，多投影拼接显示技术包括两个过程，离线校准和实时校正。所谓离线校准，就是采用一定的工具和手段，获得投影机画面几何预变形、边缘融合、色彩等参数的过程；这些参数获得之后，作为多投影系统配置的一部分，应用到实时图像生成和绘制当中，由此产生的画面为满足观察者要求的无缝大幅画面。
已有的多投影拼接显示技术在工业领域的应用日趋成熟，但从技术方法上存在如下问题：
1、忽视了投影系统三要素(投影机、投影面、观察者)的建模。大部分方法绕过了投影机及屏幕的几何模型，直接使用投影出来的模式画面与投影屏幕上的基准进行比对调整试凑，时间周期长，初始校正和再校正时间长。
2、离线校正工程存在大量的人工干预。校正过程依赖于经验，并且过于主观，对于校正的结果很难定量的评价。
3、系统过于复杂，提高了成本，降低了可靠性。已有方法通过在投影屏幕上打出红外基准或者直接在投影屏幕上安装基准点，增加了系统复杂性，而且影响了投影系统的最终显示效果。
4、自动校正局限多，配置不灵活。已有自动校正方法需要摄像机看到待校正的投影通道的全部，或者大部分，在投影显示系统所处空间不大时无法实现自动校正；已有方法采用分段平面构造屏幕模型，对于曲率较大的屏幕，要么需要更详细的细分增加了校正的复杂性，要么得到的校正结果精度不高。
发明内容
针对上述问题，本发明提出一种面向多投影拼接显示的参数化自动几何校正方法，将投影机、投影屏幕以及观察者在内的投影系统要素建立为带未知参数的几何模型；采用立体摄像机对和普通相机为自动校正过程唯一需要的额外硬件。本发明针对屏幕类型为平面幕、柱面幕以及球面幕的多投影显示系统，由于屏幕的几何形状可以用参数化二次曲面描述，同时投影机和观察者信息也可以用内外参数建模。首先把投影机、投影屏幕以及观察者在内的投影系统要素建立为带未知参数的几何模型，则本发明校正过程即未知参数求解并应用于投影系统的过程，且整个未知参数的求解过程无需人的参与。
本发明一种面向多投影拼接显示的参数化自动几何校正方法，包括离线几何校正与实时图像校正两部分；
其中，离线校正的具体步骤为：
步骤1、对多投影拼接显示系统进行几何建模。
步骤2、屏幕建模；
建立屏幕几何模型S，S＝Splane，Scylinder或Ssphere，分别对应着平面幕，柱面幕和球面幕模型，其中的屏幕几何模型的参数向量为s。
步骤3、摄像机对的标定；
对摄像机对进行标定，分别得到两台摄像机的内参数Kci和[Rci|tci]，其中，Kc为摄像机内参数矩阵；[Rc|tc]为摄像机外参数矩阵；i为摄像机编号，i＝1、2。
步骤4、通过摄像机对，对多投影拼接显示系统中的每个重叠带进行下述步骤，具体如下：
A、调整摄像机对的位置和姿态；
将摄像机对对准投影屏幕中两个投影通道的重叠带区域，并在两台摄像机相对位置不变的前提下，调整两台摄像机的位置和姿态，使两台摄像机所拍摄的重叠带面积最大化。
B、投射特征图像序列并识别特征点；
a、对于重叠带所涉及的投影通道，投影机使用格林编码图像规则，生成特征图像序列，投射在投影屏幕上；
b、摄像机对中两台摄像机拍摄各台投影机投射的特征图像序列中的每一幅图像，并分别进行下述操作：
在每一幅图像的横向和纵向上，进行边界检测，求得边界后对横向和纵向条纹求交，搜索连通域获取交点即为特征点；并根据格林编码规则，提取特征点的编码信息作为其唯一索引值。在摄像机平面坐标系下，给出包含索引信息的特征点坐标集合{pc}，根据索引值，同时得到对应的投影机缓存平面中特征点坐标集合{pp}，pp基于投影机帧缓存平面坐标系给出。
C、重构特征点的三维坐标；
令立体摄像机对中，一台摄像机的内外参数分别为Kc1和[Rc1|tc1]，特征点集合为{pc1}；对应的，另一台摄像机的内外参数分别为Kc2和[Rc2|tc2]，特征点集合为{pc2}。由于{pc1}和{pc2}中包含了索引值信息，因此得到两者精确的对应关系；并根据立体视觉原理，得到投影到屏幕上的特征点在世界参考坐标系下的三维坐标集{P}。
步骤5：屏幕参数辨识；
根据屏幕几何模型构造参数s估计目标函数，利用三维重构和优化迭代方法由{P}估计屏幕几何模型的参数向量s的最优值。
步骤6：投影机内外参数标定；
对于重叠带涉及的每个投影通道，构造基于投影机-投影屏幕的目标函数，利用最优化算法由{P}及其对应的{pp}估计投影机的内参数矩阵Kpj和外参数矩阵[Rpj|tpj]的最优值；j为投影机的编号。
步骤7：生成边缘融合模板；
根据投影机的投影参数，计算投影重叠带的几何参数，并计算重叠带对应的投影通道的边缘融合模板。
步骤8：计算视点参数；
为了标定观察者坐标系到全局坐标系的转换矩阵，本发明中在观察者坐标系原点放置一个相机，并使相机光轴方向与观察者视线方向重合，此时相机坐标系就代表了观察者坐标系。选择相机能够拍摄到的一个投影通道投射特征图案，由相机进行捕捉提取特征点。根据上述步骤中得到的屏幕参数集合s、该投影通道对应投影机的投影矩阵Kp和转换矩阵[Rp|tp]，可以得到每个特征点的三维坐标，然后构造如下目标代价函数：
其中，l为特征点的索引值，pcl∈{pc}，pcl是相机中提取的特征点，满足且Pl∈{P}，Kv为已知的相机内参数矩阵，[Rv|tv]为相机坐标系也就是观察者坐标系的转换矩阵，通过迭代优化算法得到[Rv|tv]。
实时图像校正具体方法如下：
步骤a：第一次渲染，计算期望图像；
对于每个投影通道，基于观察者眼点，渲染对应的3D虚拟场景，并保存在该投影通道对应的投影机纹理缓存中；
步骤b：投影纹理绑定；
根据观察者眼点的外参数矩阵[Rv|tv]，将期望图像以投影纹理的方式绑定到根据屏幕参数模型s生成的几何模型上；
步骤c：第二次渲染；
以投影机参数Kp和[Rp|tp]作为观察者的眼点对包含屏幕参数模型的图像进行渲染，将本次渲染的输出图像与该投影通道的边缘融合模板对应的像素相乘之后输出给投影机。
本发明的优点在于：
1、本发明面向多投影拼接显示的参数化自动几何校正方法，除了相机的摆放需要人工完成之外，整个校正过程不需要额外的人工参与和干预，可自动完成多投影显示系统的参数标定，包括投影机的内外参数，投影屏幕的几何参数以及视点参数；
2、本发明面向多投影拼接显示的参数化自动几何校正方法，对相机的分辨率和视场角要求相对较低，适用于相机无法拍摄到完整投影画面的情形；
3、本发明面向多投影拼接显示的参数化自动几何校正方法，由于投影屏幕参数化，整个多通道投影显示系统可以用有限的参数表示，通过重构屏幕上部分三维特征点估计整个屏幕模型参数，进而得到整个多通道投影显示系统的参数，因此无需相机观察到整个屏幕。
4、本发明面向多投影拼接显示的参数化自动几何校正方法，采用GrayCode的结构光可实现亚像素级的角点位置计算，避免了交点计算的歧义和误判，计算精度高。
附图说明
图1为本发明一种面向多投影拼接显示的参数化自动几何校正方法流程图；
图2为本发明一种面向多投影拼接显示的参数化自动几何校正方法中多通道投影显示系统坐标系定义方式示意图；
图3为格林编码方式示意图；
图4为基于格林码的纵向灰度条纹；
图5为基于格林码的横向灰度条纹。
具体实施方式
本发明中，引入摄像机对(两台摄像机组成立体摄像机)以及一台相机作为参数化自动校正过程中需要的额外硬件，通过离线几何校正与实时图像校正两部分过程实现，如图1所示。
其中，离线校正是基于立体视觉和投影系统几何建模的方法获取多投影显示系统几何参数，包括投影机的内外参数，投影幕的几何参数以及观察者的外参数；离线校正的具体步骤为：
步骤1、对多投影拼接显示系统进行几何建模，如图2所示；
a、定义世界参考坐标系W；
对多通道投影显示系统进行几何建模，需把其中的全部要素统一到一个坐标系中，这个坐标系就是世界参考坐标系。世界参考坐标系的原点和坐标轴方向可以任意设定，需符合右手定则。
b、定义投影屏幕坐标系S；
投影屏幕坐标系的坐标原点和方向基于世界参考坐标系给出，可任意设定，需符合右手定则。本发明中投影屏幕坐标系的选取应以便于对投影屏幕进行几何建模为原则。
c、定义投影机坐标系P；
多通道投影显示系统中，每台投影机的坐标系基于世界参考坐标系给出，以投影机的光心为原点，以光轴方向为Z轴方向，以像源横向为X轴，Y轴符合右手定则。
d、定义摄像机对坐标系C1；
摄像机对坐标系基于世界参考坐标系给出；对于摄像机对而言，其中一台摄像机坐标作为摄像机对坐标系，以位于摄像机对右侧的摄像机光心为坐标原点，光轴方向为Z轴方向，与光轴垂直的摄像机成像面横轴为X轴，Y轴由右手定则给出；另一台摄像机坐标系定义在摄像机对坐标系上。
e、定义摄像机对参考坐标系C2；
摄像机对参考坐标系基于摄像机对坐标系给出，以位于摄像机对右侧的摄像机光心为坐标原点，光轴方向为Z轴方向，与光轴垂直的摄像机成像面横轴为X轴，Y轴由右手定则给出。
f、定义观察者坐标系E；
观察者坐标系为观察者在世界坐标系中的位置和方向；坐标原点为视点位置，Z轴为视线方向，X轴指向左侧，Y轴定义符合右手定则。
g、定义摄像机图像平面坐标系；
摄像机图像平面坐标系以摄像机所拍摄的图像左下角为坐标原点，X轴指向右，Y轴指向上，以像素为单位；
h、定义投影机帧缓存平面坐标系；
投影机帧缓存平面坐标系以投影机投射的图像左下角为坐标原点，X轴指向右，Y轴指向上，以像素为单位；
步骤2、屏幕建模；
建立屏幕几何模型S，S＝Splane，Scylinder或Ssphere，分别对应着平面幕，柱面幕和球面幕模型，其中的屏幕几何模型的参数向量为s，对于不同的屏幕类型，s的定义也不同；
下面以球幕为例，对步骤1屏幕建模进行说明：
球幕的外形为标准球形的一部分，可用球面方程来描述，在世界参考坐标系中，球面可以表示为：
(x-x0)2+(y-y0)2+(z-z0)2＝R2
其中，x、y、z分别为屏幕上的点在世界参考系中的x轴、y轴、z轴坐标，x0，y0，z0分别为球幕的球心在在世界参考系中的x轴、y轴、z轴坐标，R为球幕对应的球形半径。对于一个确定的球面而言，x0，y0，z0和R均为常数，但对于投影系统而言，球幕的几何参数由于制造工艺的原因，在校正阶段也需要重新标定，特别是安装位置等信息。故使s＝[x0 y0 z0 R]。
步骤3、摄像机对的标定；
对摄像机对进行标定，分别得到两台摄像机的内参数Kci和[Rci|tci]，其中，Kc为摄像机内参数矩阵；[Rc|tc]为摄像机外参数矩阵；i为摄像机编号，i＝1、2。
步骤4、通过摄像机对，对多投影拼接显示系统中的每个重叠带进行下述步骤，直至摄像机对完成所有的重叠带的拍摄和相关计算，具体如下：
A、调整摄像机对的位置和姿态；
将摄像机对对准投影屏幕中两个投影通道的重叠带区域，并在两台摄像机相对位置不变的前提下，调整两台摄像机的位置和姿态，使两台摄像机所拍摄的重叠带面积最大化。
B、投射特征图像序列并识别特征点；
本发明中，使用格林编码(Gray Code)对特征点的索引信息进行封装，并基于格林码打出特征图像序列用来识别特征点的索引值及位置。如图3所示，格林码的特点是在任意两个相邻整数之间转换时，只有一个数位发生变化，可解决普通二进制编码中的多位误判问题，使用格雷码的另一个优点是能够减小二值条纹图像的空间频率，空间频率小意味着条纹间距大，可以有效提高抗干扰能力。则步骤B具体方法如下：
a、对于重叠带所涉及的投影通道，投影机使用格林编码图像规则，生成纵向和横向二级灰度条纹序列(特征图像序列)，如图4、图5所示，并依次投射在投影屏幕上；
b、摄像机对中两台摄像机拍摄各台投影机投射的纵向和横向二级灰度条纹序列中的每一幅图像，并分别进行下述操作：
在每一幅图像的横向和纵向上，进行边界检测，采用laplace算法求得边界后对横向和纵向条纹求交，搜索连通域获取交点即为特征点；并根据格林编码规则，提取特征点的编码信息作为其唯一索引值。在摄像机图像平面坐标系，给出包含索引信息的特征点坐标集合{pc}，根据索引值，得到对应的投影机缓存平面中特征点坐标集合{pp}，pp基于投影机帧缓存平面坐标系给出。
C、重构特征点的三维坐标；
令立体摄像机对中，一台摄像机的内外参数分别为Kc1和[Rc1|tc1]，特征点集合为{pc1}；对应的，另一台摄像机的内外参数分别为Kc2和[Rc2|tc2]，特征点集合为{pc2}。由于{pc1}和{pc2}中包含了索引值信息，因此无需进行图像配准即可得到两者精确的对应关系。根据立体视觉原理，可以得到投影到屏幕上的特征点在世界参考坐标系下的三维坐标集{P}。
步骤5：屏幕参数辨识；
根据屏幕几何模型构造参数s估计目标函数，利用三维重构和优化迭代方法由{P}估计屏幕模型参数s的最优值。
步骤6：投影机内外参数标定；
对于重叠带涉及的每个投影通道，构造基于投影机-投影屏幕的目标函数，利用最优化算法由{P}及其对应的{pp}估计投影机的内参数矩阵Kpj和外参数矩阵[Rpj|tpj]的最优值；j为投影机的编号。具体方法如下：
构造如下目标代价函数：
其中,k为特征点的索引值，Pk∈{P}，为空间中与Pi距离最近且满足的点，ppk为投影机帧缓存中与Pk对应的特征点精确坐标,ppk∈{pp}，Hsp为投影机矩阵。根据投影几何分析，Hsp＝Kp[Rp|tp]，其中投影内参数矩阵Kp是上三角矩阵，旋转矩阵Rp是正交矩阵，对Hsp进行QR分解即可得到Kp和[Rp|tp]。
步骤7：生成边缘融合模板；
根据投影机的投影参数，计算投影重叠带的几何参数，并计算重叠带对应的投影通道的边缘融合模板。
步骤8：计算视点参数；
为了标定观察者坐标系到全局坐标系的转换矩阵，本发明中在观察者坐标系原点放置一个相机，并使相机光轴方向与观察者视线方向重合，此时相机坐标系就代表了观察者坐标系。选择相机能够拍摄到的一个投影通道投射特征图案，由相机进行捕捉提取特征点。根据上述步骤中得到的屏幕参数集合s、该投影通道对应投影机的投影矩阵Kp和转换矩阵[Rp|tp]，可以得到每个特征点的三维坐标，然后构造如下目标代价函数：
其中，l为特征点的索引值，pcl∈{pc}，pcl是相机中提取的特征点，满足且Pl∈{P}，Kv为已知的相机内参数矩阵，[Rv|tv]为相机坐标系也就是观察者坐标系的转换矩阵，为未知量，通过迭代优化算法即可得到[Rv|tv]。
至此离线校正完毕。
根据离线几何校正得到的系统参数(包括：观察者坐标系的转换矩阵[Rv|tv],投影机参数Kp和[Rp|tp],以及屏幕参数模型s)，在多投影显示系统实时运行时，逐图像帧进行实时图像校正，得到拼接之后的图像，具体方法如下：
步骤a：第一次渲染，计算期望图像；
对于每个投影通道，基于观察者眼点，渲染对应的3D虚拟场景，并保存在该投影通道对应的投影机纹理缓存中；
步骤b：投影纹理绑定；
根据观察者眼点的外参数矩阵[Rv|tv]，将期望图像以投影纹理的方式绑定到根据屏幕参数模型s生成的几何模型上；
步骤c：第二次渲染；
以投影机参数Kp和[Rp|tp]作为观察者的眼点对包含屏幕参数模型的图像(第一次渲染得到的图象)进行渲染，将本次渲染的输出图像与该投影通道的边缘融合模板对应的像素相乘之后输出给投影机。
至此实时图像校正完毕。
Claims (3)
1.一种面向多投影拼接显示的参数化自动几何校正方法，其特征在于：包括离线几何校正与实时图像校正两部分；
其中，离线校正的具体步骤为：
步骤1、对多投影拼接显示系统进行几何建模；
步骤2、屏幕建模；
建立屏幕几何模型S，S＝Splane，Scylinder或Ssphere，分别对应着平面幕，柱面幕和球面幕模型，其中的屏幕几何模型的参数向量为s；
步骤3、摄像机对的标定；
对摄像机对进行标定，分别得到两台摄像机的内参数Kci和[Rci|tci]，其中，Kc为摄像机内参数矩阵；[Rc|tc]为摄像机外参数矩阵；i为摄像机编号，i＝1、2；
步骤4、通过摄像机对，对多投影拼接显示系统中的每个重叠带进行下述步骤，具体如下：
A、调整摄像机对的位置和姿态；
将摄像机对对准投影屏幕中两个投影通道的重叠带区域，并在两台摄像机相对位置不变的前提下，调整两台摄像机的位置和姿态，使两台摄像机所拍摄的重叠带面积最大化；
B、投射特征图像序列并识别特征点；
a、对于重叠带所涉及的投影通道，投影机使用格林编码图像规则，生成特征图像序列，投射在投影屏幕上；
b、摄像机对中两台摄像机拍摄各台投影机投射的特征图像序列中的每一幅图像，并分别进行下述操作：
在每一幅图像的横向和纵向上，进行边界检测，求得边界后对横向和纵向条纹求交，搜索连通域获取交点即为特征点；并根据格林编码规则，提取特征点的编码信息作为其唯一索引值，在摄像机平面坐标系下，给出包含索引信息的特征点坐标集合{pc}，根据索引值，同时得到对应的投影机缓存平面中特征点坐标集合{pp}，pp基于投影机帧缓存平面坐标系给出；
C、重构特征点的三维坐标；
令立体摄像机对中，一台摄像机的内外参数分别为Kc1和[Rc1|tc1]，特征点集合为{pc1}；对应的，另一台摄像机的内外参数分别为Kc2和[Rc2|tc2]，特征点集合为{pc2}，由于{pc1}和{pc2}中包含了索引值信息，因此得到两者精确的对应关系；并根据立体视觉原理，得到投影到屏幕上的特征点在世界参考坐标系下的三维坐标集{P}；
步骤5：屏幕参数辨识；
根据屏幕几何模型构造参数s估计目标函数，利用三维重构和优化迭代方法由{P}估计屏幕几何模型的参数向量s的最优值；
步骤6：投影机内外参数标定；
对于重叠带涉及的每个投影通道，构造基于投影机-投影屏幕的目标函数，利用最优化算法由{P}及其对应的{pp}估计投影机的内参数矩阵Kpj和外参数矩阵[Rpj|tpj]的最优值；j为投影机的编号；
步骤7：生成边缘融合模板；
根据投影机的投影参数，计算投影重叠带的几何参数，并计算重叠带对应的投影通道的边缘融合模板；
步骤8：计算视点参数；
为了标定观察者坐标系到全局坐标系的转换矩阵，在观察者坐标系原点放置一个相机，并使相机光轴方向与观察者视线方向重合，此时相机坐标系就代表了观察者坐标系，选择相机能够拍摄到的一个投影通道投射特征图案，由相机进行捕捉提取特征点，根据上述步骤中得到的屏幕参数集合s、该投影通道对应投影机的投影矩阵Kp和转换矩阵[Rp|tp]，可以得到每个特征点的三维坐标，然后构造如下目标代价函数：
<mrow>
<mi>&epsiv;</mi>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>l</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>p</mi>
<mrow>
<mi>c</mi>
<mi>l</mi>
</mrow>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>p</mi>
<mo>^</mo>
</mover>
<mi>l</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
其中，l为特征点的索引值，pcl∈{pc}，pcl是相机中提取的特征点，满足且Pl∈{P}，Kv为已知的相机内参数矩阵，[Rv|tv]为相机坐标系也就是观察者坐标系的转换矩阵，通过迭代优化算法得到[Rv|tv]；
实时图像校正具体方法如下：
步骤a：第一次渲染，计算期望图像；
对于每个投影通道，基于观察者眼点，渲染对应的3D虚拟场景，并保存在该投影通道对应的投影机纹理缓存中；
步骤b：投影纹理绑定；
根据观察者眼点的外参数矩阵[Rv|tv]，将期望图像以投影纹理的方式绑定到根据屏幕参数模型s生成的几何模型上；
步骤c：第二次渲染；
以投影机参数Kp和[Rp|tp]作为观察者的眼点对包含屏幕参数模型的图像进行渲染，将本次渲染的输出图像与该投影通道的边缘融合模板对应的像素相乘之后输出给投影机。
2.如权利要求1所述一种面向多投影拼接显示的参数化自动几何校正方法，其特征在于：所述步骤1对多投影拼接显示系统进行几何建模中，坐标系定义方式为：
a、定义世界参考坐标系；
对多通道投影显示系统进行几何建模，需把其中的全部要素统一到一个坐标系中，这个坐标系就是世界参考坐标系，世界参考坐标系的原点和坐标轴方向可以任意设定，需符合右手定则；
b、定义投影屏幕坐标系；
投影屏幕坐标系的坐标原点和方向基于世界参考坐标系给出，可任意设定，需符合右手定则，投影屏幕坐标系的选取应以便于对投影屏幕进行几何建模为原则；
c、定义投影机坐标系；
多通道投影显示系统中，每台投影机的坐标系基于世界参考坐标系给出，以投影机的光心为原点，以光轴方向为Z轴方向，以像源横向为X轴，Y轴符合右手定则；
d、定义摄像机对坐标系；
摄像机对坐标系基于世界参考坐标系给出；对于摄像机对而言，其中一台摄像机坐标作为摄像机对坐标系，以位于摄像机对右侧的摄像机光心为坐标原点，光轴方向为Z轴方向，与光轴垂直的摄像机成像面横轴为X轴，Y轴由右手定则给出；另一台摄像机坐标系定义在摄像机对坐标系上；
e、定义摄像机对参考坐标系；
摄像机对参考坐标系基于摄像机对坐标系给出，以位于摄像机对右侧的摄像机光心为坐标原点，光轴方向为Z轴方向，与光轴垂直的摄像机成像面横轴为X轴，Y轴由右手定则给出；
f、定义观察者坐标系；
观察者坐标系为观察者在世界坐标系中的位置和方向；坐标原点为视点位置，Z轴为视线方向，X轴指向左侧，Y轴定义符合右手定则；
g、定义摄像机图像平面坐标系；
摄像机图像平面坐标系以摄像机所拍摄的图像左下角为坐标原点，X轴指向右，Y轴指向上，以像素为单位；
h、定义投影机帧缓存平面坐标系；
投影机帧缓存平面坐标系以投影机投射的图像左下角为坐标原点，X轴指向右，Y轴指向上，以像素为单位。
3.如权利要求1所述一种面向多投影拼接显示的参数化自动几何校正方法，其特征在于：所述步骤6中，基于投影机-投影屏幕的目标函数为：
<mrow>
<mi>&epsiv;</mi>
<mo>=</mo>
<munder>
<mo>&Sigma;</mo>
<mi>k</mi>
</munder>
<mo>|</mo>
<mo>|</mo>
<msub>
<mi>P</mi>
<mi>k</mi>
</msub>
<mo>-</mo>
<msub>
<mover>
<mi>P</mi>
<mo>^</mo>
</mover>
<mi>k</mi>
</msub>
<mo>|</mo>
<msup>
<mo>|</mo>
<mn>2</mn>
</msup>
</mrow>
其中,k为特征点的索引值，Pk∈{P}，为空间中与Pi距离最近且满足的点，ppk为投影机帧缓存中与Pk对应的特征点精确坐标,ppk∈{pp}，Hsp为投影机矩阵，根据投影几何分析，Hsp＝Kp[Rp|tp]，其中投影内参数矩阵Kp是上三角矩阵，旋转矩阵Rp是正交矩阵，对Hsp进行QR分解即可得到Kp和[Rp|tp]。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510169540.7A CN104778694B (zh) | 2015-04-10 | 2015-04-10 | 一种面向多投影拼接显示的参数化自动几何校正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201510169540.7A CN104778694B (zh) | 2015-04-10 | 2015-04-10 | 一种面向多投影拼接显示的参数化自动几何校正方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104778694A CN104778694A (zh) | 2015-07-15 |
| CN104778694B true CN104778694B (zh) | 2017-11-14 |
Family
ID=53620140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201510169540.7A Active CN104778694B (zh) | 2015-04-10 | 2015-04-10 | 一种面向多投影拼接显示的参数化自动几何校正方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN104778694B (zh) |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106231276A (zh) * | 2016-07-28 | 2016-12-14 | Tcl集团股份有限公司 | 一种用于曲面幕布的短焦投影图像修正方法及其系统 |
| CN107170005B (zh) * | 2017-05-18 | 2019-08-30 | 洛阳师范学院 | 一种基于二维投影的三维数据配准结果正确性判断方法 |
| CN107580203B (zh) * | 2017-07-18 | 2019-01-15 | 长春理工大学 | 沉浸式主动立体投影透视变换矩阵求解方法 |
| CN107481207A (zh) * | 2017-08-28 | 2017-12-15 | 广东暨通信息发展有限公司 | 一种视频图像的几何校正方法和系统 |
| CN108596837B (zh) * | 2018-05-09 | 2022-06-10 | 北京玖瑞科技有限公司 | 图像拼接方法、装置、设备和计算机介质 |
| CN109002219B (zh) * | 2018-08-03 | 2021-09-03 | 合肥联宝信息技术有限公司 | 一种互动投影定位校正方法及装置 |
| CN111308448B (zh) * | 2018-12-10 | 2022-12-06 | 杭州海康威视数字技术股份有限公司 | 图像采集设备与雷达的外参确定方法及装置 |
| CN109993718B (zh) * | 2019-03-05 | 2021-04-13 | 北京当红齐天国际文化科技发展集团有限公司 | 一种多通道投影图像融合方法及装置 |
| CN111736235A (zh) | 2019-03-25 | 2020-10-02 | 同方威视技术股份有限公司 | Ct设备的几何参数标定件及标定方法 |
| CN110708525A (zh) * | 2019-10-15 | 2020-01-17 | 四川川大智胜软件股份有限公司 | 一种基于场景建模光路设计的校正融合方法及装置 |
| CN113747131A (zh) | 2020-05-29 | 2021-12-03 | 中强光电股份有限公司 | 投影系统及其自适应性调整方法 |
| CN111901579A (zh) * | 2020-07-31 | 2020-11-06 | 西安羚控电子科技有限公司 | 一种大场景投影显示拼接方法 |
| CN112393722B (zh) * | 2020-11-04 | 2022-09-27 | 中国船舶重工集团公司第七一六研究所 | 一种远距离目标的实时多视角协同定位头盔及方法 |
| CN112233570B (zh) * | 2020-12-16 | 2021-04-02 | 卡莱特（深圳）云科技有限公司 | 弧形屏校正方法、装置、计算机设备和存储介质 |
| CN113038102B (zh) * | 2021-03-05 | 2022-03-22 | 深圳市普汇智联科技有限公司 | 用于多投影拼接的全自动几何校正方法 |
| CN114331822A (zh) * | 2021-12-29 | 2022-04-12 | 北京淳中科技股份有限公司 | 图像处理方法、装置和系统 |
| CN114745529B (zh) * | 2022-03-30 | 2024-05-28 | 深圳市橙子数字科技有限公司 | 一种投影仪单tof梯形校正的方法和投影仪 |
| CN114812446B (zh) * | 2022-05-31 | 2023-03-21 | 南京航空航天大学 | 一种基于摄影测量技术的飞机水平测量工装标定方法 |
| CN115859414B (zh) * | 2023-02-27 | 2023-06-16 | 中国铁路设计集团有限公司 | 一种全球尺度地理信息底图跨坐标系使用方法 |
| CN116433848B (zh) * | 2023-04-21 | 2024-07-26 | 神力视界(深圳)文化科技有限公司 | 屏幕模型生成方法、装置、电子设备和存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101344707A (zh) * | 2008-01-09 | 2009-01-14 | 上海海事大学 | 自动多投影仪非线性几何校正与边缘融合方法 |
| CN102841767A (zh) * | 2011-06-22 | 2012-12-26 | 华为终端有限公司 | 多投影拼接几何校正方法及校正装置 |
| CN103716602A (zh) * | 2013-12-24 | 2014-04-09 | 北京淳中视讯科技有限公司 | 投影图像的几何校正方法、装置及系统 |
| CN104036475A (zh) * | 2013-07-22 | 2014-09-10 | 成都智慧星球科技有限公司 | 适应于任意投影机群及投影屏幕的高鲁棒性几何校正方法 |
-
2015
- 2015-04-10 CN CN201510169540.7A patent/CN104778694B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101344707A (zh) * | 2008-01-09 | 2009-01-14 | 上海海事大学 | 自动多投影仪非线性几何校正与边缘融合方法 |
| CN102841767A (zh) * | 2011-06-22 | 2012-12-26 | 华为终端有限公司 | 多投影拼接几何校正方法及校正装置 |
| CN104036475A (zh) * | 2013-07-22 | 2014-09-10 | 成都智慧星球科技有限公司 | 适应于任意投影机群及投影屏幕的高鲁棒性几何校正方法 |
| CN103716602A (zh) * | 2013-12-24 | 2014-04-09 | 北京淳中视讯科技有限公司 | 投影图像的几何校正方法、装置及系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN104778694A (zh) | 2015-07-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104778694B (zh) | 一种面向多投影拼接显示的参数化自动几何校正方法 | |
| CN110288642B (zh) | 基于相机阵列的三维物体快速重建方法 | |
| CN107945267B (zh) | 一种用于人脸三维模型纹理融合的方法和设备 | |
| CN111062873B (zh) | 一种基于多对双目相机的视差图像拼接与可视化方法 | |
| CN111047510B (zh) | 一种基于标定的大视场角图像实时拼接方法 | |
| CN106091984B (zh) | 一种基于线激光的三维点云数据获取方法 | |
| US6868191B2 (en) | System and method for median fusion of depth maps | |
| CN104335005B (zh) | 3d扫描以及定位系统 | |
| CN108053476B (zh) | 一种基于分段三维重建的人体参数测量系统及方法 | |
| CN104330074B (zh) | 一种智能测绘平台及其实现方法 | |
| CN111028155B (zh) | 一种基于多对双目相机的视差图像拼接方法 | |
| CN104463899B (zh) | 一种目标对象检测、监控方法及其装置 | |
| CN104036488B (zh) | 一种基于双目视觉的人体姿态动作研究方法 | |
| CN109314753A (zh) | 使用光流生成中间视图 | |
| CN108629829B (zh) | 一种球幕相机与深度相机结合的三维建模方法和系统 | |
| CN103400409A (zh) | 一种基于摄像头姿态快速估计的覆盖范围3d可视化方法 | |
| CN109523595A (zh) | 一种建筑工程直线棱角间距视觉测量方法 | |
| CN104463969B (zh) | 一种对航空倾斜拍摄的地理照片的模型的建立方法 | |
| CN108227929A (zh) | 基于bim技术的增强现实放样系统及实现方法 | |
| CN105184857A (zh) | 基于点结构光测距的单目视觉重建中尺度因子确定方法 | |
| GB2352901A (en) | Rendering three dimensional representations utilising projected light patterns | |
| WO2011145285A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| CN109345581B (zh) | 基于多目相机的增强现实方法、装置及系统 | |
| CN106780573A (zh) | 一种全景图特征匹配精度优化的方法及系统 | |
| CN106500626A (zh) | 一种手机立体成像方法及三维成像手机 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| EXSB | Decision made by sipo to initiate substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |