CN103019643B - 一种即插即用的大屏幕投影自动校正与拼接显示方法 - Google Patents
一种即插即用的大屏幕投影自动校正与拼接显示方法 Download PDFInfo
- Publication number
- CN103019643B CN103019643B CN201210585204.7A CN201210585204A CN103019643B CN 103019643 B CN103019643 B CN 103019643B CN 201210585204 A CN201210585204 A CN 201210585204A CN 103019643 B CN103019643 B CN 103019643B
- Authority
- CN
- China
- Prior art keywords
- angle point
- projector
- image
- point
- projection
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Abstract
一种即插即用的大屏幕投影自动校正与拼接显示方法，包括自适应生成一定分辨率的棋盘格paten图依次由投影仪投影，并用相机捕获，用基于颜色和几何的多特征检测方法实现复杂投影面或光照条件下的棋盘格特征检测和识别，建立Bezier曲面函数以表示投影仪图像和相机图像间的点的对应关系；以快速逼近法获得屏幕投影的有效显示区域，确定各投影机的投影内容与各显示区域的对应关系，再对要投影的画面进行几何扭曲变形来实现几何校正，以基于距离的非线性权值分配法计算投影重叠区中各像素的权值来实现边缘亮度融合。本发明实现了对不规则表面的多投影画面的对齐和无缝拼接，整个方法简单易用，具有较高自治性和较快的无缝拼接性能。
Description
技术领域
本发明涉及一种即插即用的大屏幕投影自动校正与拼接显示技术，属于多媒体技术中的大屏幕投影显示领域。
背景技术
基于投影仪的大屏幕无缝显示系统能为用户提供宽视场角、高分辨率、高亮度的逼真体验而受到日益广泛的关注和应用，如工业设计制造、产品展示、市政规划及监控/通讯的指挥控制、国防军事模拟训练、科学和工程计算可视化、虚拟现实、系统仿真与训练以及数字娱乐等领域发挥着越来越大的作用。
但是，要构建实用的大屏幕投影无缝拼接显示，必须解决投影画面间的形变失真、几何配准、画面亮度差异或接缝等问题，才能实现大屏幕投影显示。基于硬件校正卡或校正箱的方式构建大屏幕显示系统成本昂贵；手动交互式的校正方法则工序十分繁琐和复杂，往往需要专业人员操作实现；采用基于软件的自动校正方法灵活且成本低。软件自动校正方法通常借助合适的设备捕获投影仪投射在投影幕上的图像，求取对应投影仪与投影幕间的变换关系。可以采用Homography矩阵来表示这种对应关系，但是该Homography阵只适应于平面投影幕的情况；结构光(structurelight)/pattern图技术可以编码表示非平面幕时上述对应关系来实现几何注册，但是该方法需要投影多幅图像，并且该方法受光照条件影响大，是复杂的和耗时的。另外，利用立体相机对来重构二次投影幕表面建立二次函数来表示这种映射关系，可以有效降低被投影图像的像素拉伸，但结合非线性优化来估计二次函数的各项参数也很耗时。专利申请200810040698.4给出了复杂投影幕表面的几何注册方法，该方法需要投影一张棋盘格pattern图，利用特征检测和识别，建立复杂表面的投影图像和相机图像的映射关系。但是该方法也是采用Homography矩阵来表示每个棋盘格小四边形面片的对应关系。很明显，当棋盘格数目较大(M×N的棋盘)，导致每个投影机的Homograpy矩阵求解计算量((M-2)×(N-2)×2)增加，而棋盘格数目少则会使得构建的映射关系精度不够高而导致最终校正画面的形变和失真；而且为了适应不同复杂度的光照或表面，棋盘格数目需要调整变化以保证足够的检测精度和映射的精度，就要再次进行大量繁琐矩阵计算；同时对于没有专业知识背景的普通用户来说，选择多大分辨率的棋盘格适合某种复杂度的投影面或光照条件，也是困难的。
常见的亮度校正包括单个投影机内部、多投影机之间以及投影重叠区三部分的亮度一致性校正。目前的亮度一致性方法或者借助昂贵的分光辐射度计、测光仪等专业设备以及进行大量样本颜色值采样获取投影仪亮度响应曲线，校正工作的复杂度和时间增加；或者用HDR方法(数码相机获得投影机的亮度响应曲线)误差较大；同时这种方法采用公共的亮度映射区间，校正后牺牲了整个显示的画面质量(如亮度降低)；基于亮度反馈的方法则用相机获取图像和参考图像比较来修改各点的亮度衰减系数，同样因相机误差、环境光、屏幕平滑度和干净程度的影响而存在明显的误差。投影重叠区的校正又称为边缘融合，通常采用函数(线性、余弦或幂函数等形式)方式来衰减相邻重叠区的亮度，但不能保证所有图像的重叠区过渡均匀。专利200910076206.1中给出了一种基于模板的自适应大屏幕亮度校正方法，对各种亮度的图像可以得到亮度校正，但是该方法需要预先生成18个模板，而且每个投影机要分别输出8个亮度不同的纯色图像，挑出8个最优的模板，根据不同的预投影图像的亮度峰值或均值而选择亮度最接近的模板进行亮度校正。整个过程的处理步骤较多，而且需要靠人工观察评判来选择出针对不同亮度的最优模板，也不能满足直接使用。
此外，现实中人们希望可以在大屏幕展示前，就地选择某个背景比如房间的墙面、墙角或天花板等作为屏幕，只要安装好投影机、电脑和数码相机等设备，在很短的时间内可以自动实现大屏幕显示的构建，实现这种常见的任意投影幕形式下的正确不形变的无缝拼接显示。因此，上述现有技术大多是适应于规则幕或平面幕，或需要专业的知识和人工较多的参与校正调试，无法满足在很短的时间内自动实现大屏幕显示的构建，无法满足人们对于即插即用效果的需求。
发明内容
本发明的目的是提供一种即插即用的大屏幕投影自动校正与拼接显示方法，以克服现有技术的上述不足。
一种即插即用的大屏幕投影自动校正与拼接显示方法，包括将投影仪与相机摆放在任意不规则投影幕正前方；使投影仪呈M列N行(M>＝1，N>＝1)的顺序排列，相邻两台投影仪的投影区域有重叠；并使相机能够拍摄到投影画面覆盖的全部区域；将投影仪与相机分别与计算机连接，将计算机联网，将与相机连接的计算机作为服务器，其特征在于还包含以下步骤：
步骤(1)：对当前不规则投影幕表面，由服务器生成r行c列个网格为正方形的黑白棋盘格图像，且该图像分辨率是与显示器、相机和投影仪的分辨率相同，其中r：c等于显示器、相机和投影仪的分辨率之比，对应的内角点个数是(r-1)×(c-1)；
步骤(1.1)：先由服务器生成初始r行×c列个纯黑和纯白正方形网格图像各一幅，且该图像分辨率是与显示器、相机和投影仪的分辨率相同，然后用投影仪依次投到投影幕上；
步骤(1.2)：用相机依次拍摄上述投影到投影幕上的纯黑和纯白网格图像，纯黑和纯白网格图像两者相减以去除背景，获得投影网格图像覆盖的多边形区域，记为PrjPolygonij,其中i＝0…M-1，j＝0…N-1；求得网格的宽度为W0＝min(Heightij/r,Widthij/c)，其中Heightij和Widthij分别表示PrjPolygonij的高和宽；同时求出M列×N行台投影仪的全部的投影覆盖区域MPrjPolygon作为最终投影显示区域；
步骤(2)：投影仪依次投射步骤(1)中生成的棋盘格图像到投影幕上，该图像称为原始投影仪图像PrjI0ij,其中i＝0…M-1，j＝0…N-1；用相机依次对投影幕进行拍摄，对相机捕获的图像进行特征点检测和棋盘格识别，以获得所有棋盘格角点及其连通模式；该捕获的图像称为相机图像CamI0ij,其中i＝0…M-1，j＝0…N-1；
步骤(3)建立原始投影仪图像PrjI0ij,和相机图像CamI0ij,间角点的匹配和对应，利用Bezier曲面函数来拟合该匹配点对映射关系，其中i＝0…M-1，j＝0…N-1，获得PrjI0ij到CamI0ij间的所有点对映射关系Rij -1，同时得到从CamI0ij到PrjI0ij的逆变换Rij；
步骤(4)：确定屏幕投影的有效目标矩形区域，并划分给每台投影仪
设置相邻投影区有K个网格宽的重叠，采用近似逼近法获得在MPrjPolygon内部与该多边形重心重合的、高宽比为((r×N-2K×(N-1))：(c×M-2K×(M-1))的面积最大的矩形TargetRect；将TargetRect划分为M列×N行个与投影仪一一对应的子目标矩形区域TargetRectij，其中i＝0…M-1，j＝0…N-1，K>＝1，并确保划分后的各个TargetRectij仍然在各自的PrjPolygonij之内；
步骤(5)：要保证多台投影机投射的画面在屏幕上恰好对齐，构成一幅无缝的画面，整个系统要投影显示的2D图像称为投影内容PrjI，将PrjI规格化为坐标在[0，1]区间的2D投影图像空间并将其划分为M列×N行个子投影内容PrjIij给对应的每台投影仪，为了实现无缝拼接，设置相邻PrjIij间有2K个网格大小重叠，其中i＝0…M-1，j＝0…N-1，k>＝1；
步骤(6)：建立每个投影仪的投影内容和对应的投影区域之间的空间变换映射表；
首先利用相似变换Sij，将M×N个子图像PrjI0ij中的各点分别变换到各自的目标矩形投影区域TargetRectij中，其中i＝0…M-1，j＝0…N-1；再对上述Sij变换后的结果施加变换Rij便获得校正变换后的投影图像PrjI1ij中的新坐标位置，记录空间变换(Wij＝Rij*Sij)前后点的对应位置关系，建立M×N个变换映射查找表，由服务器将每台投影仪的查找表发送到相应的各PC机，为实时在线几何校正做好准备；
步骤(7)：多投影亮度校正
采用基于距离的非线性权值分配方法计算投影重叠区中各像素的权值，非重叠区像素权重为1，获得投影仪投影图像中的每一个像素点的一个亮度权值，建立各个投影仪像素点的权重值映射表；
步骤(8)：实时多投影仪校正
通过服务器向所有PC机发送同步信息来实现投影内容的分割和图像渲染同步控制；实时多投影仪校正的具体实现方式是，每台投影仪连接的PC，遍历其要投影图像区域中的像素点，查步骤(6)得到的空间变换映射表，获得几何校正后的新点坐标；将PC缓存中的绘制背景设成黑色，利用OpenGL纹理映射，把电脑上要投影的投影图像先作为纹理映射到校正变换后的点坐标上去，对该像素点的RGB值分别乘以其步骤(7)得到的对应的权值，得到新的RGB值，得到几何和亮度校正变换后的投影图像，然后经投影仪投影到屏幕各自目标矩形区域内，即可获得正确的无缝拼接的没有形变的规则图像，获得最终的校正结果。
上述步骤(8)中，在OpenGL纹理映射之前，将PC缓存中的绘制背景设成黑色，目的是只保留目标矩形区域以内的投影画面给用户观看，因为矩形区域外的部分全设置为黑色背景对用户而言是看不到有内容投在矩形外的幕上的。
以上步骤，即完成了大屏幕投影自动校正与拼接显示，以下是对上述方法的优化。
考虑到网格太密有可能会导致角点检测失败或太稀有可能会影响特征点对映射关系误差过大，都不利于几何注册的精度；上述步骤(1)中还包括步骤(1.2)之后的
步骤(1.3)：如果W0>24，即网格太稀，则分别在水平和竖直方向进行r’行和c’列的网格数扩展各1次；如果W0<＝12，网格太密，则进行水平和竖直方向r’行和c’列的网格缩减各一次，生成更高或更低行列数的网格；其中，r’/c’＝r/candr’和c’为互质数。
步骤(1.4)：重新投影步骤(1.3)的新行列数的纯黑和纯白网格图像，重复步骤(1.2)至(1.3)，直至获得合适行列数密度的r行×c列的网格图像，并由此生成与该网格图像等行列数的网格为正方形的黑白棋盘格图像。
上述步骤(2)中，通过特征点检测和棋盘格识别可以获得所有棋盘格角点及其连通模式，本发明采用了一种改进的基于颜色和几何的多特征角点检测方法，实验表明该改进的方法跟已有的其它棋盘格角点检测方法相比，该方法能更好应对复杂投影面或复杂光照及相机的非线性颜色失真、噪声的影响下的高精度的特征角点检测。具体包括以下步骤：
步骤(2.1)：依次遍历图像CamI0ij中PrjPolygonij内的每一像素点，其中i＝0…M-1，j＝0…N-1，算出以该像素点为中心的小于W0的窗口内点的灰度的方差，如果方差小于100就认为该点不是候选特征角点，这样可以过滤掉至少一半的像素点；
步骤(2.2)检测步骤(2.1)得到的每一候选角点p的小于W0的窗口区域内每一圈邻域点是否存在4个黑白相间区域来判断是否是角点，结合环形形态学开与闭操作来消除噪声，获得角点集合P0；实际中受噪声、相机的成像质量或者光照的影响，只要候选角点周围一圈圈的邻域中满足有60％以上的圈中领域点存在4个黑白相间区域就认为该点为角点。
步骤(2.3)：对步骤(2.2)中检测到的角点集合P0进行去噪、去冗余和优化处理，得到的角点集合记为P2；
步骤(2.4)根据角点周围黑白颜色跳变的次序(白黑白黑or黑白黑白，无论横向还是纵向都存在此跳变次序)的不同，将P2中检测出的角点分为2类，连接集合P2中的属于同一个棋盘网格的异类角点，最外层的内角点向外做延长线与投影覆盖的多边形PrjPolygon相交以将交点作为边界角点，获得边界角点和内角点的共同集合P及其连接模式E，记为图G(P,E)。
这里采用了基于几何和颜色的多特征的棋盘格内角点检测算法，跟专利200810037104.4中的方法相比，首先添加了基于灰度方差的候选角点过滤预处理(详见步骤(2.1))，有效减少了候选角点的个数，算法效率明显改善；其次，引入了一个聚类后优化方法，二次去噪；又引入一个跨网格错误边的消除方法，以及根据角点周围黑白颜色跳变的次序(白黑白黑or黑白黑白)不同的编码分类处理方法(其作用在步骤(2.4)中得以体现)，协助对误删角点和漏检的角点的补充，确保角点的正确连通，获得复杂投影面或复杂的光照条件下及相机的非线性颜色失真、噪声的影响下的高精度的特征角点检测。
上述步骤(2.3)中，除了采用常规的去噪、去冗余和优化处理方法之外，本发明采用的是以下的方法：
步骤(2.3.1)：先统计一候选角点周围宽度为5的窗口内邻居角点的个数，如果小于3个，则判定该点为噪点，除去该噪声角点；
步骤(2.3.2)：再采用基于距离的聚类方法，去除冗余候选角点，聚类中心作为保留角点，记做集合P1；
步骤(2.3.3)：如果得到的角点个数大于(r-1)×(c-1)则继续对产生聚类后的结果进行优化：
①遍历每一个角点，统计在以该角点为中心的不小于W0的窗口内的其它角点个数作为自己的受欢迎度；
②对于欢迎度不为0的每一个角点：
遍历以本角点为中心的窗口内的其它角点，比较角点的受欢迎度：
A如果角点受欢迎度不等，删除受欢迎度最大的角点，更新被删角点周围的角点的受欢迎度；
B否则，比较角点聚类内冗余候选角点的个数，删除个数少的角点，更新被删角点周围的角点的受欢迎度；
聚类优化后就获得了个数不大于(r-1)×(c-1)的角点集合P2。
步骤(2.3.3)是对专利200810037104.4中去噪方法进行了改进，步骤(2.3.3)所述算法的复杂度为O(n2)，但绝大多数循环的操作只有一个判断语句，所以实现上述算法所需的时间和角点检测相比也是可以忽略不计的。
考虑投影面复杂度不同，图像可能拉伸得很严重，即使利用专利200810037104.4中给出的角点区域边界向量夹角接近正负180度和距离阈值约束也会导致误连接或无连接的发生。
上述步骤(2.4)所述的连接集合P2中的属于同一个棋盘网格的异类角点的改进的方法如下；
步骤(2.4.1)：对P2的每一个角点，找与其异类的且距离不大于1.2×W0的角点，相连接；考虑到任意不规则表面上的投影，图像可能拉伸变形得严重，如果仍有未连接的角点，则对未连接的每一个角点做下面特殊处理：
①找离它最近的未连接的异类角点，相连；
②判断该连线四等分的垂线上距离为W0/4处的3对采样点的从一侧到另一侧的颜色黑白跳变是否一致，如采样点从一侧到另一侧的对应点的黑白跳变全是一致的，则认为该连线有效，否则删除，消除跨网格的错误连接边。
这又是对专利200810037104.4中算法的一个显著的改进。
上述步骤(2.4.1)之后，还包括检测漏检的角点或者P2中误删的角点的处理步骤：
步骤(2.4.2)：棋盘格的内角点根据其邻接边的个数，可分为三类：四个顶点、四条边上的点和内部角点分别对应着有2条、3条和4条邻接边，据此可以判断某类角点连接的异常，如严重形变或噪声导致漏检的角点或者P2中误删的角点，其周围邻居角点的连接边个数会比正常的少，被漏检角点则可利用其周围最近的角点进行同类双向或同类单方向的插值来补充，如果是被误删的角点则可以将离异常连接角点最近的P1中的角点的位置作为误删角点的位置加以补充。至此，获得正确连接的(r-1)×(c-1)个棋盘格内角点的集合。
上述步骤(3)的具体方法如下：
步骤(3.1)在G中找到距离CamI0ij左上角(0,0)最近的、且连接边数为2的角点，从左上角开始，基于y坐标递增排序优先原则，结合每个角点的类别(显然角点可分为顶点、边界、内部三类)及其连接边个数，实现从最左侧一列到第二列继续到最右侧一列所有角点的坐标标记和排序，而原始棋盘格图像PrjI0ij中的角点顺序也以同样方法实现标记和排序，相同标记和次序的特征点对一一对应，这样便实现投影仪图像和相机图像间的特征点对匹配。
步骤(3.2)：利用Bezier曲面函数来拟合投影图像和相机图像中匹配点对间的映射关系；
对于复杂投影面下变形比较严重的棋盘格也有很好的识别效果，并且使用本方法进行角点标定过程只需要依次拍摄一张棋盘格照片，避免了通过传统的结构光/pattern图等方法进行标定时需要多张图片的缺点。
上述步骤(4)中的确定屏幕投影的有效目标矩形区域，具体方法如下：
由于已经得到了投影覆盖的多边形区域MPrjPolygon，并利用棋盘格的最外层角点的坐标求平均求出多边形的重心Pc，在MPrjPolygon内，初始化一个以Pc为中心、高宽比为((r×N-2k×(N-1))：(c×M-2k×(M-1))的矩形，并沿着水平和竖直方向不断延展，直到遇到多边形MPrjPolygon边界为止，由此获得投影覆盖区域内的一近似逼近的最大内接矩形TargetRect。相邻投影仪间有2k个网格宽度大小的重叠，k>＝1。
上述步骤(7)中，除了采用基于距离的权值分配方法以计算重叠区中各像素的权值之外，还可以采用其它余弦函数和指数函数进行权值的计算和分配等方法，本发明给出的基于距离的非线性权值分配方法具体如下：
对每一个投影仪pi(i＝l，…n)的投影重叠区域的象素点(u,v)的亮度是所有参与重叠的投影仪亮度的加权，其中u,v属于[0,1]，权值的计算是：求出被投影仪pi(i＝l，…n)所投影的像素(u,v)到投影重叠区域每条边的最短距离dpi’，统计重叠区内所有像素到投影重叠区域每条边的最短距离，并找出其中的最大值dmax，设d＝dpi’/dmax，则投影仪pi的像素(u,v)的权值为：Api(u,v)＝1-d2，其它投影仪pj的权值为：Apj(u,v)＝d2/(n-1),j＝1,…n,且j≠n；将重叠区各点的权重系数和非重叠区系数(默认为1)一起构建成一亮度校正模板(大小与投影仪分辨率相同的2D数组)，获得各个投影仪像素点的权值映射表分配给各PC，这样便于实时校正使用。
发明优点
本发明强调校正方法的简单易用性，具体体现在整个系统的较高自治性和较快的无缝拼接性能。普通用户无需掌握计算机视觉或者图像处理方面的专业知识，借助摄像机，便可实现对单台或任意多台相邻重叠自由摆放的普通投影机投影到不规则表面的画面的几何和亮度校正，实现多投影画面对齐和无缝拼接显示，使用简单。其即插即用的特征以及具有成本低、可扩展性强的特性，具有较强的实用价值和广阔的应用前景。
本发明与现有的技术相比有以下优点：
1.根据投影面的复杂程度不同而自适应生成一定分辨率的一张棋盘格pattern图进行投影，建立正确的投影机-相机点对的映射关系，与结构光方法的多幅图像投影或投影一个Bezier曲面靠手动校正方法相比，该预处理更加智能化和简单化。
2.利用改进的基于颜色和几何的多特征角点检测技术，实现棋盘格特征检测和识别，在不同光照条件和不同复杂投影幕表面都能实现一个较好的几何注册，从而为获得一个好的校正效果提供基础。
3.采用Bezier曲面函数来拟合投影机-相机点对的映射关系，充分利用有理Bézier曲面函数的仿射不变性和透视不变性等好的性质，可以有效地逼近投影仪透镜的非线性失真，而且避免了已有的方法大量Homograpy矩阵的求解，更简单有效。
附图说明
图1是一候选角点p及其周围窗口区域内一圈一圈的邻域像素点分布示意图；
其中，1,2,3分别表示p点周围的第一圈、第二圈和第3圈邻居像素点。
图2a是本发明的方法进行棋盘格内角点检测的结果；
图2b是现有的基于OpenCV的棋盘格角点检测结果，在光照变化明显的区域，有很多角点漏检。
图3是跨网格连接的错误边消除示意图；
其中，p1和p2连接边两侧的3对采样点从上往下、依次从一侧到另一侧的颜色跳变分别是：白到白、黑到白和黑到黑，是不一致的，因而判断该边为跨网格边界的错误边，去掉。
图4a是原始投影棋盘格的角点排序示意图；
图4b是相机拍摄的投影在墙角上的棋盘格图像的角点排序示意图。
图5a是单投影机屏幕目标矩形区域示意图；
图5b是2台投影仪的屏幕有效目标矩形区域及其划分的示意图，图5b的2个不规则多边形为2台投影仪的屏幕投影覆盖区域PrjPolygonij，i，j的标号也在图中给出，黑色方框为公共投影覆盖区域内的最大目标矩形，2个子矩形区域分别对应的范围用箭头表示了出来，阴影区域为重叠区。
图6是几何校正的空间变换过程及对应性示意图。
图7a是相机拍摄的投影在墙角的棋盘格图像1；
图7b是PC缓存中几何校正形变后的效果。
图8a是相机拍摄的投影在墙角的棋盘格图像2；
图8b是PC缓存中几何校正形变后的效果。
图9是拍摄的2通道的柱状幕上校正前的投影棋盘格效果图。
图10是相机拍摄的2通道的柱状幕上棋盘格校正后的拼接效果图。
图11是上下左右共4台投影仪组合投影的屏幕目标显示区域及其划分的示意图。
具体实施方式
为了简单起见，先以一台投影仪为例，通常一台投影仪被称为单通道，多台投影仪称为多通道：
首先如发明内容所述，将投影仪与相机分别与计算机连接，将计算机联网，将与相机连接的计算机作为服务器，并将投影仪与相机摆放在投影幕正前方，并使相机能够拍摄到投影画面覆盖的全部区域；
步骤(1)：对当前不规则投影幕表面，自适应的生成r行c列个网格为正方形的黑白棋盘格的原始投影图像，对应的内角点个数是(r-1)×(c-1)；
步骤(1.1)：以分辨率为1024×768的相机为例，其比例4：3为显示设备的通用分辨率之比，先生成初始24列×18行个纯黑和纯白正方形网格图像各一个，其比例与相机的比例相同，然后用投影仪投到投影幕上；
步骤(1.2)：用相机拍摄上述投影到投影幕上的纯黑和纯白网格图像，纯黑和纯白网格图像两者相减以消除背景，获得投影网格图像覆盖的多边形区域PrjPolygon,根据PrjPolygon的范围(高和宽分别记为Height和Width)，求得网格的宽度为W0＝min(Height/18,Width/24)；
步骤(1.3)如果W0>24,即网格太稀，则分别在水平和竖直方向进行4列和3行的网格数扩展各1次，则获得28列×21行的新网格，如果W0<＝12，网格太密，则进行水平和竖直方向4列和3行的网格缩减各一次，生成20列×15行的新网格，这样既生成更高或更低行列数的网格；
步骤(1.4)：重新投影步骤(1.3)的新行列数的纯黑和纯白网格图像，重复步骤(1.2)至(1.3)，直至获得合适行列数密度r行×c列的网格图像，并由此生成与该网格图像等行列数的网格为正方形的黑白棋盘格图像；
步骤(2)：投射步骤(1)中生成的棋盘格图像(称为原始投影图像PrjI0)到投影幕上，用相机对投影幕进行拍摄，对相机捕获的图像(称为相机图像CamI0)进行特征点检测和棋盘格识别；
步骤(2.1)依次遍历图像CamI0中PrjPolygon内的中的每一像素点，算出以该点为中心的小于W0的窗口内点的灰度的方差，如果方差小于设定的阈值δ＝100就认为该点不是候选特征角点，这样可以过滤掉至少一半的像素点；
步骤(2.2)检测步骤(2.1)得到的每一候选角点p的周围小于W0的窗口区域内的每一圈邻域点是否存在4个黑白相间区域来判断是否是角点(如图1所示)，获得角点集合P0；只对棋盘格内部的(r-1)×(c-1)个角点进行检测(即内角点的检测)。
步骤(2.3)：对步骤(2.2)中检测到的角点集合P0进行去噪、去冗余和优化处理，得到的角点集合记为P2；
步骤(2.3.1)：先判断一候选角点周围宽度为5的窗口内邻居角点的个数，如果小于3个，则判定该点为噪点，除去该噪声角点；
步骤(2.3.2)：再采用基于距离的聚类方法(注意记录聚类后每一类中的候选角点的个数)，去除冗余候选角点，得到角点集合P1；
步骤(2.3.3)：如果得到的角点个数大于(r-1)×(c-1)则继续对产生聚类后的结果P1进行优化：
①遍历每一个角点，统计在以该角点为中心的不小于W0的窗口内的其它角点个数作为自己的受欢迎度；
②对于欢迎度不为0的每一个角点：
遍历以本角点为中心的窗口内的其它角点，比较角点的受欢迎度：
A如果角点受欢迎度不等，删除受欢迎度最大的角点，更新被删角点周围的角点的受欢迎度；
B否则，比较角点聚类内冗余候选角点的个数，删除个数少的角点，更新被删角点周围的角点的受欢迎度；
聚类优化后就获得了个数不大于(r-1)×(c-1)的角点集合P2，如图2a、图2b所示为本发明采用的方法与现有的OpenCV开放库所用的检测方法的效果对比，明显可见本方法对于光照复杂和投影面复杂的情况下的角点检测是有效的。
步骤(2.4)基于角点编码分类来优化角点的连接、完成全部角点识别和棋盘格连通模式的确立；
步骤(2.4.1)：根据角点周围黑白颜色跳变的次序(白黑白黑or黑白黑白)的不同，将P2中检测出的角点分为2类，对P2的每一个角点，找与其异类的且距离不大于1.2×W0的角点，相连接；考虑到任意不规则表面上的投影，图像可能拉伸变形得严重，如果仍有未连接的角点，则对未连接的每一个角点做下面特殊处理：
①找离它最近的未连接的异类角点，相连；
②判断该连线四等分的垂线上距离为W0/4处的3对采样点的从一侧到另一侧的颜色黑白跳变是否一致，如采样点从一侧到另一侧的对应点的黑白跳变全是一致的，则认为该连线有效，否则删除，消除跨网格的错误连接边，如图3所示。
步骤(2.4.2)：棋盘格的内角点根据其邻接边的个数，可分为三类：四个顶点、四条边上的点和内部角点分别对应着有2条、3条和4条邻接边，据此可以判断某类角点连接的异常，如严重形变或噪声导致漏检的角点或者P2中误删的角点，其周围邻居角点的连接边个数会比正常的少，被漏检角点则可利用其周围最近的角点进行同类双向或同类单方向的插值来补充，如果是被误删的角点则可以将离异常连接角点最近的P1中的角点的位置作为误删角点的位置加以补充。至此，获得正确连接的(r-1)×(c-1)个棋盘格内角点的集合。
步骤(2.4.3)：最外层的内角点向外做延长线与投影覆盖的多边形PrjPolygon相交以将交点作为边界角点，获得边界角点和内角点的共同集合P及其共同构成的连接模式E，记为图G(P,E)。
步骤(3)建立原始投影图像PrjI0和相机图像CamI0的棋盘格角点间的匹配和建立各点的映射关系；
步骤(3.1)在G中找到距离CamI0左上角最近的、且连接边数为2的角点，从左上角开始，基于y坐标递增排序优先原则，结合步骤(2.4.2)中每个角点的类别(顶点、边界、内部三类)及其连接边个数，实现从最左侧一列到第二列继续到最右侧一列所有角点的坐标标记和排序，如图4(b)所示为拍摄的投影在墙角上的棋盘格图像，其特征点排列顺序是从左上角开始往下一列接着一列向右扩展排好序的，直到右下方最后一列的最后一个角点；而原始棋盘格图像PrjI0中的角点顺序也以同样方法实现标记和排序，如图4(a)所示为投影仪原始棋盘格图像的排序效果，相同标记和次序的特征点对一一对应，这样便可实现投影机图像和相机图像间的特征点对匹配。
步骤(3.2)：利用Bezier曲面函数来拟合投影图像和相机图像中匹配点对间的映射关系；
步骤(3.2.1)：将得到的特征点对代入Bezier曲面函数方程，得到一个线性方程组，通过最小二乘法解线性方程组以求出Bezier曲面函数的控制点，即获得了Bezier函数的表达式；
步骤(3.2.2)：利用此Bezier函数式，求出相机图像上任何一点在原始投影图像中对应的坐标，反之也可以求出投影机图像任意一点在相机图像点的坐标；分别对应记作映射R和R-1，这样就完成了图像空间和投影空间的标定；
步骤(4)：确定屏幕投影的有效目标矩形区域
如图5(a)所示，由于我们已经得到了投影覆盖的多边形区域PrjPolygon，并利用棋盘格的最外层角点的坐标求平均求出多边形的重心Pc，在PrjPolygon内，初始化一个以Pc为中心、宽为c、高宽比与棋盘格高宽比r：c相同的矩形，并沿着水平和竖直方向不断延展，直到遇到多边形PrjPolygon边界为止，由此获得投影覆盖区域内的一近似逼近的最大内接矩形TargetRect；
步骤(5)：建立投影仪的投影图像和对应的投影目标矩形区域之间的空间变换映射表；
如图6的空间变换过程所示的，首先利用相似变换将原始投影图像PrjI0的各点都变换到相机图像CamI0的目标矩形投影区域TargetRect中，再对上述S变换后的结果施加变换R便获得校正后的投影图像PrjI1中的新坐标位置，记录空间变换(W＝R*S)前后的PrjI0和PrjI1中点的对应位置关系，建立一个变换映射查找表，为实时在线几何校正做好准备。
步骤(6)：实时单投影仪校正，如下：
查步骤(5)得到的空间变换映射表，获得原始投影图像经W变换后的新坐标位置，将电脑中要显示的投影图像作为纹理，以这些变换后的新坐标位置作为顶点，将PC缓存中的绘制背景设成黑色，通过OpenGL纹理映射的方法把电脑上要投影的投影图像先作为纹理映射到校正变换后的点坐标上去，实现要投影图像的扭曲变形，得到校正的投影图像(如图7(b)和图8(b)所示)，将其用投影仪投射到屏幕上目标矩形区域内，而目标矩形区域外为黑色背景，即可得到没有变形的规则图像。
以下是多通道投影的几何校正
跟单投影仪相比，多投影仪拼接构成的大屏幕显示，增加了多台投影仪图像和多台投影目标矩形区域的标定以实现多投影画面的对齐和拼接，同时还增加了相邻投影仪重叠区的亮度均衡处理以获得无缝显示，考虑到实际使用中校正的时间效率，我们没有采用全局亮度校正，以求较短时间内获得满足视觉需求的大屏幕多投影无缝拼接。多台投影仪的情况下，需要分别对每台投影仪进行校正，并进行拼接。以2台水平摆放的投影仪在柱状幕上投影拼接显示为例，确保2台投影仪的投影区域有足够的重叠，并且相机能同时拍摄到全部投影仪的投影画面，图9给出了2台投影机同时投射棋盘格到柱状幕上的拍摄效果，具体步骤如下(为了简单起见，主要描述与单通道相区别的步骤)：
步骤(A)：与单通道步骤(1)类似的方法，调整网格行列数使得投影覆盖区域中网格宽度大小满足阈值要求，以自适应的生成一幅满足需要的r行c列的网格为正方形的黑白棋盘格图像，同时可以求出左右2个投影仪的公共的投影目标区域MPrjPolygon作为最终投影显示区域；
步骤(B)：与单通道步骤(2)类似的方法，对依次拍摄的2台投影棋盘格图像进行角点检测和棋盘格识别，以获得各自的棋盘格角点及其连通模式；
步骤(C)：与单通道步骤(3)类似的方法，建立各投影机图像到各自对应相机图像的特征点对匹配，并用Bezier曲面来表示这些坐标点对的映射关系，得到各投影图像到各自相机图像间的变换R-1和从各自相机图像到各投影机图像的变换关系R；
步骤(D)：屏幕投影的有效目标矩形区域的计算与单投影仪步骤(4)情况类似，不同是需要考虑重叠区的设置，如图5(b)所示，为了简便，设置以重叠区中轴线左右各2个网格宽度的重叠。采用近似逼近法求在投影覆盖区域多边形MPrjPolygon内部与该多边形重心重合的高宽比为((r×N-4×(N-1))/(c×M-4×(M-1))的面积最大的矩形，来划分整个投影覆盖区域多边形MPrjPolygon给左右2个子矩形目标区域。确保划分后的各个子目标矩形区域仍然在投影机各自的投影覆盖区域之内，即保证步骤(C)中得到的点对映射关系是有效的；
步骤(E)：要保证多台投影机投射的画面在屏幕上恰好对齐，构成一幅无缝的画面，将系统要投影显示的整个2D图像称为投影内容PrjI，并规格化为坐标在[0,1]的2D投影图像空间，将PrjI划分为2个左右子投影图像给对应的每台投影仪，为了实现无缝拼接和不失真显示，设置左右相邻子投影图像在重叠区中轴线左右各2个网格大小的重叠；这样便建立了2个投影图像和2个目标矩形显示区域各自的对应；
步骤(F)：同单通道步骤(6)类似，分别建立2个投影仪空间变换映射表，生成各自的几何校正文件；
步骤(G)：多投影亮度校正
采用基于距离的非线性权值分配方法计算投影重叠区中各像素的权值，非重叠区像素权重为1，获得投影仪投影图像中的每一个像素点的一个亮度权值，建立各个投影仪像素点的权重映射表；
对左边投影仪p1的投影重叠区域的象素点(u,v),其中u,v属于[0,1]，权值的计算是：求出被投影仪p1所投影的像素(u,v)到投影重叠区域每条边的最短距离dp1’，统计重叠区内所有像素到投影重叠区域每条边的最短距离，并找出其中的最大值dmax，设d＝dp1’/dmax，则投影仪p1的像素(u,v)的权值为：Ap1(u,v)＝1-d2，右侧投影仪p2的权值为：Ap2(u,v)＝d2/(2-1)；将重叠区各点的权重系数和非重叠区系数(默认为1)一起构建成一亮度校正模板(大小与投影仪分辨率相同的2D数组)，获得各个投影仪像素点的权值映射表分配给各PC，这样便于实时校正使用。
步骤(H)：实时多通道校正过程
首先要保证分配到2个PC的投影内容的分割渲染的同步，这里通过服务器向所有PC机发送同步信息来实现图像渲染同步控制，确保某一时刻各投影内容表示同一个场景且能拼成一个完整图像；进行实时多投影仪校正的具体实现方式是，每台投影仪连接的PC，遍历其要投影图像区域中的像素点，查步骤(F)得到的空间变换映射表，获得几何校正后的新点坐标，将PC缓存中的绘制背景设成黑色，利用OpenGL纹理映射把电脑上要投影的投影图像先作为纹理映射到校正变换后的点坐标上去，对该像素点的RGB值分别乘以其步骤(G)得到的对应的权重得到新的RGB值，得到几何和亮度校正后的投影图像，然后经投影仪投影到屏幕各自目标矩形区域内，而目标矩形区域外为设置的黑色背景，即可获得正确的无缝拼接的没有形变的规则图像(如图10所示)，获得最终的校正结果。
对于2×2的水平上下各摆放2台投影机构成的显示系统(其屏幕投影显示区域如图11所示)，该发明中亮度校正部分的公式已考虑到了4个投影重叠区的亮度衰减处理；同时在屏幕投影的有效目标矩形区域的求解和划分部分的公式也均适应于2×2或更多台投影仪的情况；并且投影内容的划分和投影目标矩形区的划分是一致的，确保多台投影仪组合情况下的有效性。
Claims (9)
1.一种即插即用的大屏幕投影自动校正与拼接显示方法，包括将投影仪与相机摆放在任意不规则投影幕正前方；使投影仪呈M列N行(M>＝1，N>＝1)的顺序排列，相邻两台投影仪的投影区域有重叠；并使相机能够拍摄到投影画面覆盖的全部区域；将投影仪与相机分别与计算机连接，将计算机联网，将与相机连接的计算机作为服务器，其特征在于还包含以下步骤：
步骤(1)：对当前不规则投影幕表面，由服务器生成r行c列个网格为正方形的黑白棋盘格图像，该图像的分辨率与计算机显示器、相机和投影仪的分辨率一致，对应的内角点个数是(r-1)×(c-1)；
步骤(1.1)：先由服务器生成初始r行×c列个纯黑和纯白正方形网格图像各一幅，且该图像分辨率是与显示器、相机和投影仪的分辨率相同，其中r：c等于显示器、相机和投影仪的分辨率之比，然后用投影仪依次投到投影幕上；
步骤(1.2)：用相机依次拍摄上述投影到投影幕上的纯黑和纯白网格图像，纯黑和纯白网格图像两者相减以去除背景，获得投影网格图像覆盖的多边形区域，记为PrjPolygonij,其中i＝0…M-1，j＝0…N-1；求得网格的宽度为W0＝min(Heightij/r,Widthij/c)，其中Heightij和Widthij分别表示PrjPolygonij的高和宽；同时求出M列×N行台投影仪的全部的投影覆盖区域MPrjPolygon作为最终投影显示区域；
步骤(2)：投影仪依次投射步骤(1)中生成的棋盘格图像到投影幕上，该图像称为原始投影仪图像PrjI0ij,其中i＝0…M-1，j＝0…N-1；用相机依次对投影幕进行拍摄，对相机捕获的图像进行特征点检测和棋盘格识别，以获得所有棋盘格角点及其连通模式；该捕获的图像称为相机图像CamI0ij,其中i＝0…M-1，j＝0…N-1；
步骤(3)：建立原始投影仪图像PrjI0ij,和相机图像CamI0ij,间角点的匹配和对应，利用Bezier曲面函数来拟合该匹配点对的映射关系，其中i＝0…M-1，j＝0…N-1，获得PrjI0ij到CamI0ij间的所有点对映射关系Rij -1，同时得到从CamI0ij到PrjI0ij的逆变换Rij；
步骤(4)：确定屏幕投影的有效目标矩形区域，并划分给每台投影仪
采用近似逼近法获得在MPrjPolygon内部与该多边形重心重合的、高宽比为((r×N-2k×(N-1))：(c×M-2k×(M-1))的面积最大的矩形TargetRect；设置相邻投影区有k个网格宽的重叠，将TargetRect划分为M列×N行个与投影仪一一对应的子目标矩形区域TargetRectij，其中i＝0…M-1，j＝0…N-1，K>＝1，并确保划分后的各个TargetRectij仍然在各自的PrjPolygonij之内；
步骤(5)：整个系统要投影显示的2D图像称为投影内容PrjI，将PrjI规格化为坐标在[0,1]区间的2D投影图像空间并将其划分为M列×N行个子投影内容PrjIij给对应的每台投影仪，为了实现无缝拼接，设置相邻PrjIij间有2k个网格大小重叠，其中i＝0…M-1，j＝0…N-1，k>＝1；
步骤(6)：建立每个投影仪的投影内容和对应的投影区域之间的空间变换映射表；
首先利用相似变换Sij，将M×N个子图像PrjI0ij中的各点分别变换到各自的目标矩形投影区域TargetRectij中，其中i＝0…M-1，j＝0…N-1；再对上述Sij变换后的结果施加变换Rij便获得校正变换后的投影图像PrjI1ij中的新坐标位置，记录空间变换前后点的对应位置关系，建立M×N个变换映射查找表，由服务器将每台投影仪的查找表发送到相应的各PC机，为实时在线几何校正做好准备；
步骤(7)：多投影亮度校正
采用基于距离的非线性权值分配方法计算投影重叠区中各像素的权值，非重叠区像素权重为1，获得投影仪投影图像中的每一个像素点的一个亮度权值，建立各个投影仪像素点的权重映射表；
步骤(8)：实时多投影仪校正
通过服务器向所有PC机发送同步信息来实现投影内容的分割和图像渲染同步控制；实时多投影仪校正，具体实现方式是，每台投影仪连接的PC，遍历其要投影图像区域中的像素点，查步骤(6)得到的空间变换映射表，获得几何校正后的新点坐标，将PC缓存中的绘制背景设成黑色，利用OpenGL纹理映射，把电脑上要投影的投影图像先作为纹理映射到校正变换后的点坐标上去，对该像素点的RGB值分别乘以其步骤(7)得到的对应的权值，得到新的RGB值，得到几何和亮度校正变换后的投影图像，然后经各台投影仪投影到屏幕各自目标矩形区域内，即可获得正确的无缝拼接的没有形变的规则图像，获得最终的校正结果。
2.如权利要求1所述的即插即用的大屏幕投影自动校正与拼接显示方法，其特征在于上述步骤(1)中还包括步骤(1.2)之后的
步骤(1.3)：如果W0>24，即网格太稀，则分别在水平和竖直方向进行r’行和c’列的网格数扩展各1次；如果W0<＝12，网格太密，则进行水平和竖直方向r’行和c’列的网格缩减各一次，生成更高或更低行列数的网格；其中，r’/c’＝r/candr’和c’为互质数；
步骤(1.4)：重新投影步骤(1.3)的新行列数的纯黑和纯白网格图像，重复步骤(1.2)至(1.3)，直至获得合适行列数密度的r行×c列的网格图像，并由此生成与该网格图像等行列数的网格为正方形的黑白棋盘格图像。
3.如权利要求1所述的即插即用的大屏幕投影自动校正与拼接显示方法，其特征在于上述步骤(2)具体包括以下步骤：
步骤(2.1)：依次遍历图像CamI0ij中PrjPolygonij内的每一像素点，其中i＝0…M-1，j＝0…N-1，算出以该像素点为中心的小于W0的窗口内点的灰度的方差，如果方差小于100就认为该像素点不是候选特征角点，这样可以过滤掉至少一半的像素点；
步骤(2.2)检测步骤(2.1)得到的每一候选角点p的小于W0的窗口区域内每一圈邻域点是否存在4个黑白相间区域来判断是否是角点，获得角点集合P0；
步骤(2.3)：对步骤(2.2)中检测到的角点集合P0进行去噪、去冗余和优化处理，得到的角点集合记为P2；
步骤(2.4)根据角点周围黑白颜色跳变的次序的不同，将P2中检测出的角点分为2类，连接集合P2中的属于同一个棋盘网格的异类角点，最外层的内角点向外做延长线与投影覆盖的多边形PrjPolygon相交以将交点作为边界角点，获得边界角点和内角点的共同集合P及其连接模式E，记为图G(P,E)。
4.如权利要求3所述的即插即用的大屏幕投影自动校正与拼接显示方法，其特征在于上述步骤(2.3)所述的去噪、去冗余和优化处理，具体如下：
步骤(2.3.1)：先统计一候选角点周围宽度为5的窗口内邻居角点的个数，如果小于3个，则判定该角点为噪点，除去该噪点；
步骤(2.3.2)：再采用基于距离的聚类方法，去除冗余候选角点，聚类中心作为保留角点，记做集合P1；
步骤(2.3.3)：如果得到的角点个数大于(r-1)×(c-1)则继续对产生聚类后的结果进行优化：
①遍历每一个角点，统计在以该角点为中心的不小于W0的窗口内的其它角点个数作为自己的受欢迎度；
②对于欢迎度不为0的每一个角点：
遍历以本角点为中心的窗口内的其它角点，比较角点的受欢迎度：
A如果角点受欢迎度不等，删除受欢迎度最大的角点，更新被删角点周围的角点的受欢迎度；
B否则，比较角点聚类内冗余候选角点的个数，删除个数少的角点，更新被删角点周围的角点的受欢迎度；
聚类优化后就获得了个数不大于(r-1)×(c-1)的角点集合P2。
5.如权利要求3所述的即插即用的大屏幕投影自动校正与拼接显示方法，其特征在于上述步骤(2.4)所述的连接集合P2中的属于同一个棋盘网格的异类角点的方法如下：
步骤(2.4.1)：对P2的每一个角点，找与其异类的且距离不大于1.2×W0的角点，相连接；考虑到任意不规则表面上的投影，图像可能拉伸变形得严重，如果仍有未连接的角点，则对未连接的每一个角点做下面特殊处理：
①找离它最近的未连接的异类角点，相连，而得到连线；
②判断该连线四等分的垂线上距离为W0/4处的3对采样点的从一侧到另一侧的颜色黑白跳变是否一致，如采样点从一侧到另一侧的对应点的黑白跳变全是一致的，则认为该连线有效，否则删除，消除跨网格的错误连接边。
6.如权利要求5所述的即插即用的大屏幕投影自动校正与拼接显示方法，其特征在于上述步骤(2.4.1)之后，还包括检测漏检的角点或者P2中误删的角点的处理步骤：
步骤(2.4.2)：棋盘格的内角点根据其邻接边的个数，可分为三类：四个顶点、四条边上的点和内部角点分别对应着有2条、3条和4条邻接边，据此可以判断某类角点连接的异常，如严重形变或噪声导致漏检的角点或者P2中误删的角点，其周围邻居角点的连接边个数会比正常的少，被漏检角点则可利用其周围最近的角点进行同类双向或同类单方向的插值来补充，如果是被误删的角点则可以将离异常连接角点最近的P1中的角点的位置作为误删角点的位置加以补充，至此，获得正确连接的(r-1)×(c-1)个棋盘格内角点的集合。
7.如权利要求1所述的即插即用的大屏幕投影自动校正与拼接显示方法，其特征在于上述步骤(3)的具体方法如下：
步骤(3.1)在G中找到距离CamI0ij左上角(0,0)最近的、且连接边数为2的角点，从左上角开始，基于y坐标递增排序优先原则，结合每个角点的类别—顶点、边界、内部—及其连接边个数，实现从最左侧一列到第二列继续到最右侧一列所有角点的坐标标记和排序；而原始棋盘格图像PrjI0ij中的角点顺序也以同样方法实现标记和排序，相同标记和次序的特征点对一一对应，这样便实现投影仪图像和相机图像间的特征点对匹配，
步骤(3.2)：利用Bezier曲面函数来拟合投影图像和相机图像中匹配点对间的映射关系。
8.如权利要求1所述的即插即用的大屏幕投影自动校正与拼接显示方法，其特征在于上述步骤(4)中的确定屏幕投影的有效目标矩形区域，具体方法如下：
由于已经得到了投影覆盖的多边形区域MPrjPolygon，并利用棋盘格的最外层角点的坐标求平均求出多边形的重心Pc，在MPrjPolygon内，初始化一个以Pc为中心、高宽比为((r×N-2×(N-1))：(c×M-2×(M-1))的矩形，并沿着水平和竖直方向不断延展，直到遇到多边形MPrjPolygon边界为止，由此获得投影覆盖区域内的一近似逼近的最大内接矩形TargetRect。
9.如权利要求1所述的即插即用的大屏幕投影自动校正与拼接显示方法，其特征在于上述步骤(7)的具体方法如下：
对每一个投影仪pi(i＝l，…n)的投影重叠区域的象素点(u,v)的亮度是所有参与重叠的投影仪亮度的加权，其中u,v属于[0,1]，权值的计算是：求出被投影仪pi(i＝l，…n)所投影的像素(u,v)到投影重叠区域每条边的最短距离dpi’，统计重叠区内所有像素到投影重叠区域每条边的最短距离，并找出其中的最大值dmax，设d＝dpi’/dmax，则投影仪pi的像素(u,v)的权值为：Api(u,v)＝1-d2，其它投影仪pj的权值为：Apj(u,v)＝d2/(n-1),j＝1,…n,且j≠n；将重叠区各点的权重系数和非重叠区系数一起构建成一亮度校正模板，其中非重叠区系数默认为1，所述亮度校正模板是大小与投影仪分辨率相同的2D数组，获得各个投影仪像素点的权值映射表分配给各PC，这样便于实时校正使用。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210585204.7A CN103019643B (zh) | 2012-12-30 | 2012-12-30 | 一种即插即用的大屏幕投影自动校正与拼接显示方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201210585204.7A CN103019643B (zh) | 2012-12-30 | 2012-12-30 | 一种即插即用的大屏幕投影自动校正与拼接显示方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103019643A CN103019643A (zh) | 2013-04-03 |
| CN103019643B true CN103019643B (zh) | 2015-12-23 |
Family
ID=47968287
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201210585204.7A Active CN103019643B (zh) | 2012-12-30 | 2012-12-30 | 一种即插即用的大屏幕投影自动校正与拼接显示方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103019643B (zh) |
Families Citing this family (62)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104036475A (zh) * | 2013-07-22 | 2014-09-10 | 成都智慧星球科技有限公司 | 适应于任意投影机群及投影屏幕的高鲁棒性几何校正方法 |
| JP2015046847A (ja) * | 2013-08-29 | 2015-03-12 | 株式会社リコー | 画像投影装置、画像投影システム及び画像投影方法 |
| CN103533278B (zh) * | 2013-10-21 | 2016-08-17 | 北京理工大学 | 一种大幅面自由表面多投影自动拼接方法 |
| CN103533276B (zh) * | 2013-10-21 | 2017-01-18 | 北京理工大学 | 一种平面多投影快速拼接方法 |
| CN103533279A (zh) * | 2013-10-24 | 2014-01-22 | 深圳市晶日盛科技有限公司 | 一种多投影拼接的校准方法 |
| JP2015167341A (ja) * | 2014-02-13 | 2015-09-24 | 株式会社リコー | マルチプロジェクションシステム |
| JP2015173428A (ja) * | 2014-02-19 | 2015-10-01 | 株式会社リコー | 投影システム及び投影方法 |
| CN103929604B (zh) * | 2014-03-10 | 2017-03-22 | 南京大学 | 一种投影仪阵列拼接显示方法 |
| CN104008548B (zh) * | 2014-06-04 | 2017-04-19 | 无锡维森智能传感技术有限公司 | 一种用于车载环视系统摄像头参数标定的特征点抽取方法 |
| CN104202546B (zh) * | 2014-08-22 | 2017-09-12 | 湖南华凯文化创意股份有限公司 | Cave沉浸式虚拟显示系统与显示方法 |
| CN104182194B (zh) * | 2014-08-22 | 2018-02-27 | 湖南华凯文化创意股份有限公司 | 投影显示中无缝边缘融合处理方法与系统 |
| CN105376540A (zh) * | 2014-08-27 | 2016-03-02 | 中强光电股份有限公司 | 投影显示系统以及投影区域的校正方法 |
| CN104168467B (zh) * | 2014-09-02 | 2016-06-15 | 四川大学 | 运用时间序列结构光技术实现投影显示几何校正的方法 |
| CN104836953B (zh) * | 2015-03-04 | 2019-01-15 | 深圳市祈锦通信技术有限公司 | 多投影仪屏幕特征点自动拍照及去噪识别方法 |
| CN104990517B (zh) * | 2015-06-30 | 2018-11-02 | 东莞市盟拓光电科技有限公司 | 结构光三维测量中的斜投影校正方法及系统 |
| FR3041110B1 (fr) * | 2015-09-14 | 2018-03-16 | Valeo Vision | Procede de projection pour vehicule automobile d'une image sur une surface de projection |
| CN106559657B (zh) * | 2015-09-28 | 2018-07-03 | 株式会社理光 | 利用多个投影屏幕进行拼接显示的方法、控制装置和系统 |
| CN105374037B (zh) * | 2015-11-04 | 2017-11-03 | 西安邮电大学 | 一种边角检测的棋盘格角点自动筛选方法 |
| CN105376555A (zh) * | 2015-12-11 | 2016-03-02 | 重庆环漫科技有限公司 | 一种立体融合播放方法 |
| CN106021731B (zh) * | 2016-05-19 | 2019-02-05 | 东南大学 | 多面片拼接曲面零件的模具型面设计方法 |
| CN105957016B (zh) * | 2016-06-16 | 2019-03-26 | 武汉精测电子集团股份有限公司 | 一种用于对图像进行拉伸的方法及装置 |
| CN105844688B (zh) * | 2016-06-16 | 2019-06-28 | 福建数博讯信息科技有限公司 | 虚拟现实渲染方法和装置 |
| CN106162125B (zh) * | 2016-08-23 | 2019-07-09 | 深圳市Tcl高新技术开发有限公司 | 一种平缓曲面投影校正方法及其系统 |
| CN106534817B (zh) * | 2016-12-05 | 2017-08-04 | 郑州捷安高科股份有限公司 | 基于图像识别的曲面投影自动几何校正方法 |
| CN106951208B (zh) * | 2017-02-15 | 2020-08-18 | 明基智能科技（上海）有限公司 | 显示系统 |
| CN107146242A (zh) * | 2017-03-22 | 2017-09-08 | 四川精目科技有限公司 | 一种用于成像系统模糊核估计的高精度图像配准方法 |
| CN108989775A (zh) * | 2017-06-05 | 2018-12-11 | 北京互动文博科技有限公司 | 一种投影屏幕无缝拼接方法及装置 |
| CN109300104B (zh) * | 2017-07-24 | 2021-03-26 | 比亚迪股份有限公司 | 角点检测方法、装置 |
| CN107300823A (zh) * | 2017-08-17 | 2017-10-27 | 苏州新捷毅自动化科技有限公司 | 一种用投影仪做光源定位照明的方法 |
| CN107545865A (zh) * | 2017-09-01 | 2018-01-05 | 北京德火新媒体技术有限公司 | 一种多机位多角度led显示屏校色方法及系统 |
| CN109587459B (zh) * | 2017-09-29 | 2021-07-06 | 中强光电股份有限公司 | 投影系统及其自动设定方法 |
| CN107680143A (zh) * | 2017-10-26 | 2018-02-09 | 长沙全度影像科技有限公司 | 一种针对简单透镜psf噪声板标定的色调校正方法 |
| CN107823883B (zh) * | 2017-11-21 | 2020-12-29 | 河南黄烨科技有限公司 | 基于图像识别和激光定位的瞄准点屏幕坐标获取方法 |
| CN111819613B (zh) * | 2018-03-15 | 2022-06-10 | 夏普Nec显示器解决方案株式会社 | 位置检测设备、显示设备以及用于检测显示设备的位置的方法 |
| CN110784692B (zh) | 2018-07-31 | 2022-07-05 | 中强光电股份有限公司 | 投影装置、投影系统及影像校正方法 |
| CN110784691B (zh) | 2018-07-31 | 2022-02-18 | 中强光电股份有限公司 | 投影装置、投影系统及影像校正方法 |
| CN109255818B (zh) * | 2018-08-12 | 2021-05-28 | 浙江农林大学 | 一种新型标靶及其亚像素级角点的提取方法 |
| EP3734583A4 (en) * | 2018-08-31 | 2021-11-24 | Xi'an Novastar Tech Co., Ltd. | CORRECTION PROCESS, APPARATUS AND SYSTEM FOR FULL SCREEN ARBITRARY BONDING |
| CN109495729B (zh) * | 2018-11-26 | 2023-02-10 | 青岛海信激光显示股份有限公司 | 投影画面校正方法和系统 |
| CN109451290A (zh) * | 2018-12-25 | 2019-03-08 | 广州励丰文化科技股份有限公司 | 基于异形投影画面的自动校正方法及系统 |
| CN110769223B (zh) * | 2018-12-27 | 2021-09-28 | 成都极米科技股份有限公司 | 投影图像的调整方法、装置及可读存储介质 |
| CN111654681A (zh) * | 2019-03-04 | 2020-09-11 | 安世亚太科技股份有限公司 | 一种dlp光机的投影拼接方法 |
| CN110010094A (zh) * | 2019-03-15 | 2019-07-12 | 安徽国维科技服务有限公司 | 一种大屏幕图像校正系统 |
| CN110082072B (zh) * | 2019-04-30 | 2020-11-13 | 中国科学院合肥物质科学研究院 | 一种探测器阵列靶数据处理方法 |
| CN110533590A (zh) * | 2019-07-31 | 2019-12-03 | 华南理工大学 | 一种基于特征点的图像拼接方法 |
| CN110377865A (zh) * | 2019-09-07 | 2019-10-25 | 上海飞来飞去新媒体展示设计有限公司 | 一种融合贝塞尔曲线的球幕融合边缘加权计算方法 |
| CN110996081B (zh) * | 2019-12-06 | 2022-01-21 | 北京一数科技有限公司 | 一种投影画面校正方法、装置、电子设备及可读存储介质 |
| JP2021121087A (ja) * | 2020-01-31 | 2021-08-19 | セイコーエプソン株式会社 | 画像投射システムの制御方法、及び画像投射システム |
| CN111625151B (zh) * | 2020-06-02 | 2023-07-21 | 吕嘉昳 | 基于触摸方法准确识别变形投影中触点位置的方法及系统 |
| CN112118435B (zh) * | 2020-08-04 | 2021-06-25 | 山东大学 | 面向异形金属屏幕的多投影融合方法及系统 |
| CN112565723B (zh) * | 2020-10-24 | 2023-03-07 | 北京博睿维讯科技有限公司 | 图像融合带显示控制方法、装置及系统 |
| CN112261396B (zh) * | 2020-10-26 | 2022-02-25 | 成都极米科技股份有限公司 | 投影方法、装置、投影设备及计算机可读存储介质 |
| CN114520901A (zh) * | 2020-11-20 | 2022-05-20 | 中强光电股份有限公司 | 投影装置以及颜色资料处理方法 |
| CN112672123B (zh) * | 2020-12-17 | 2022-09-09 | 深圳市普汇智联科技有限公司 | 用于多个投影机进行投影拼接校正的网格数据生成方法 |
| CN114697623B (zh) * | 2020-12-29 | 2023-08-15 | 极米科技股份有限公司 | 投影面选取和投影图像校正方法、装置、投影仪及介质 |
| CN114827555A (zh) | 2021-01-28 | 2022-07-29 | 中强光电股份有限公司 | 显示环景影像的显示系统及其操作方法 |
| CN113365041B (zh) * | 2021-02-24 | 2022-03-22 | 深圳市火乐科技发展有限公司 | 投影校正方法、装置、存储介质和电子设备 |
| CN113038102B (zh) * | 2021-03-05 | 2022-03-22 | 深圳市普汇智联科技有限公司 | 用于多投影拼接的全自动几何校正方法 |
| CN114143517A (zh) * | 2021-10-26 | 2022-03-04 | 深圳华侨城卡乐技术有限公司 | 一种基于重叠区域的融合蒙板计算方法、系统及存储介质 |
| CN114640832A (zh) * | 2022-02-11 | 2022-06-17 | 厦门聚视智创科技有限公司 | 一种投影图像的自动校正方法 |
| CN114943764B (zh) * | 2022-05-19 | 2023-05-26 | 苏州华兴源创科技股份有限公司 | 曲面屏幕像素定位方法、装置和设备 |
| CN114885140B (zh) * | 2022-05-25 | 2023-05-26 | 华中科技大学 | 一种多屏拼接沉浸式投影画面处理方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6921172B2 (en) * | 2003-07-02 | 2005-07-26 | Hewlett-Packard Development Company, L.P. | System and method for increasing projector amplitude resolution and correcting luminance non-uniformity |
| JP2006003212A (ja) * | 2004-06-17 | 2006-01-05 | Konica Minolta Sensing Inc | 位相計測システム |
| CN100428136C (zh) * | 2006-12-15 | 2008-10-22 | 浙江大学 | 大规模立体拼接显示墙的校正方法 |
| CN102231099B (zh) * | 2011-07-06 | 2014-06-18 | 清华大学 | 多投影仪自由立体显示的逐像素响应的亮度校正方法 |
-
2012
- 2012-12-30 CN CN201210585204.7A patent/CN103019643B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| CN103019643A (zh) | 2013-04-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103019643B (zh) | 一种即插即用的大屏幕投影自动校正与拼接显示方法 | |
| CN106462944B (zh) | 高分辨率全景vr生成器及方法 | |
| US9064312B2 (en) | Augmented reality using projector-camera enabled devices | |
| CN104408701B (zh) | 一种大场景视频图像拼接方法 | |
| CN111127318B (zh) | 一种机场环境下的全景图像拼接方法 | |
| CN105141920B (zh) | 一种360度全景视频拼接系统 | |
| US10750141B2 (en) | Automatic calibration projection system and method | |
| CN101394573B (zh) | 一种基于特征匹配的全景图生成方法及系统 | |
| KR101121034B1 (ko) | 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품 | |
| CN108876926A (zh) | 一种全景场景中的导航方法及系统、ar/vr客户端设备 | |
| CN109314752A (zh) | 图像之间的光流的有效确定 | |
| US10949700B2 (en) | Depth based image searching | |
| CN111462503B (zh) | 车辆测速方法、装置及计算机可读存储介质 | |
| CN106060493A (zh) | 多源投影无缝边缘拼接方法及系统 | |
| CN105205796A (zh) | 广域图像获取方法和装置 | |
| CN105308503A (zh) | 利用短程相机校准显示系统的系统和方法 | |
| IL101576A (en) | Creating an image consists of a mosaic of images using a super-vision image | |
| CN105957018B (zh) | 一种无人机影像滤波分频拼接方法 | |
| CN103037189A (zh) | 一种实现多个投影整体输出大屏画面视频图像的方法 | |
| CN105006021A (zh) | 一种适用于快速点云三维重建的颜色映射方法及装置 | |
| CN106530266A (zh) | 一种基于区域稀疏表示的红外与可见光图像融合方法 | |
| CN109752855A (zh) | 一种光斑发射装置和检测几何光斑的方法 | |
| JP2008113176A (ja) | 映像表示システムの調整システム | |
| CN103544696B (zh) | 一种用于fpga实现的缝合线实时查找方法 | |
| CN107730558A (zh) | 基于双向鱼眼摄像机的360°行车记录系统及方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant |