CN110191326A - 一种投影系统分辨率扩展方法、装置和投影系统 - Google Patents

一种投影系统分辨率扩展方法、装置和投影系统 Download PDF

Info

Publication number
CN110191326A
CN110191326A CN201910457920.9A CN201910457920A CN110191326A CN 110191326 A CN110191326 A CN 110191326A CN 201910457920 A CN201910457920 A CN 201910457920A CN 110191326 A CN110191326 A CN 110191326A
Authority
CN
China
Prior art keywords
projection
coordinate system
projector
plane
main
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910457920.9A
Other languages
English (en)
Other versions
CN110191326B (zh
Inventor
苏劲
蔡志博
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bird Innovation Beijing Technology Co ltd
Original Assignee
Beijing Xiaoniao Tingting Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Xiaoniao Tingting Technology Co Ltd filed Critical Beijing Xiaoniao Tingting Technology Co Ltd
Priority to CN201910457920.9A priority Critical patent/CN110191326B/zh
Publication of CN110191326A publication Critical patent/CN110191326A/zh
Application granted granted Critical
Publication of CN110191326B publication Critical patent/CN110191326B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment

Abstract

本发明公开一种投影系统分辨率扩展方法、装置和投影系统。本发明的方法包括：利用主投影仪构建基准投影平面，并基于基准投影平面和主投影仪的姿态信息构建世界坐标系，获取主投影仪坐标系与世界坐标系之间的第一转换关系；利用从投影仪采集主投影仪在投影面上投影的测试图像获取从投影仪坐标系与世界坐标系之间的第二转换关系；根据第一转换关系、第二转换关系、目标分辨率与目标显示比例，获取主从投影仪光栅像素面上的第一目标区域和第二目标区域；分别获取主从投影仪光栅像素面与第一目标区域和第二目标区域的第一映射关系和的第二映射关系，利用第一映射关系和第二映射关系对待投影内容进行纹理映射。本发明可以实现投影画面的无畸变扩展。

Description

一种投影系统分辨率扩展方法、装置和投影系统
技术领域
本发明涉及一种投影系统分辨率扩展方法、装置和投影系统。
背景技术
随着短焦光机技术的成熟及成本的大幅下降，智能投影仪在家居中的应用日益增多。但目前智能投影仪在视听质量上仍存在一些不足，主要体现在投影画幅受限，投影比例不符合主流宽幅电影的比例(例如21:9的宽幅电影的比例)，缺少影院级观影体验。
通常情况下，小型家用投影仪的分辨率低于4K，而且宽高比一般为4:3或者16：9，而日益流行的超高清视频源不仅在分辨率上超过投影仪支持的最大分辨率，而且其宽高比往往大于16：9。很明显，分辨率不足会影响投影画面的清晰度，而宽高比不匹配则会引起投影画面的裁剪现象，更进一步损失了实际画面分辨率，影响用户观看体验。
在专业场合中，可以通过对多个投影仪的画面进行拼接来获得超分辨率及大画面，但这个过程需要专业设备、专业软件，并需要具有相当专业知识的专业人士进程操作，整个过程成本高昂，操作复杂。多投影仪画面拼接不能通过简单地调整多个投影仪的位置及投影方向，使其投影区域完美接合为一个投影区域来实现。这是因为由于投影仪之间摆位的不确定性，造成其梯形畸变的形状也是不确定的，很难通过手工调整消除这种不确定性来实现画面结合区域的完美无畸变重合。即使能够实现完美画面拼接，也需要通过手工调整并配合特殊软件来在多投影仪之间分配、分割各自显示的画面，并且还需要在每个投影仪中精确地实现视频源画面向实际光栅画面的纹理映射，这样的技术复杂度和操作繁琐度是很难在家庭投影环境中得以运用。
发明内容
本发明提供了一种投影系统分辨率扩展方法、装置和投影系统，以至少部分解决上述问题。
第一方面，本发明提供了一种投影系统分辨率扩展方法，所述投影系统包括主投影仪和从投影仪，所述主投影仪具有主光机镜头、主摄像头和惯性测量单元，所述从投影仪均具有从光机镜头和从摄像头，所述方法包括：利用所述主投影仪构建基准投影平面，并基于所述基准投影平面和所述主投影仪的姿态信息构建世界坐标系，获取所述主投影仪坐标系与所述世界坐标系之间的第一转换关系；利用所述从投影仪采集所述主投影仪在投影面上投影的测试图像，并根据所述第一转换关系获取所述从投影仪坐标系与所述世界坐标系之间的第二转换关系；根据所述第一转换关系、所述第二转换关系、目标分辨率与目标显示比例，获取所述主投影仪光栅像素面上无畸变投影的第一目标区域和所述从投影仪光栅像素面上无畸变投影的第二目标区域；获取所述主投影仪光栅像素面与所述第一目标区域的第一映射关系，以及获取所述从投影仪光栅像素面与所述第二目标区域的第二映射关系，利用所述第一映射关系和所述第二映射关系对待投影内容进行纹理映射，实现无畸变投影。
第二方面，本发明提供了一种投影系统分辨率扩展装置，所述投影系统包括主投影仪和从投影仪，所述主投影仪具有主光机镜头、主摄像头和惯性测量单元，所述从投影仪均具有从光机镜头和从摄像头，所述装置包括：第一计算单元，利用所述主投影仪构建基准投影平面，并基于所述基准投影平面和所述主投影仪的姿态信息构建世界坐标系，获取所述主投影仪坐标系与所述世界坐标系之间的第一转换关系；第二计算单元，利用所述从投影仪采集所述主投影仪在投影面上投影的测试图像，并根据所述第一转换关系获取所述从投影仪坐标系与所述世界坐标系之间的第二转换关系；第三计算单元，根据所述第一转换关系、所述第二转换关系、目标分辨率与目标显示比例，获取所述主投影仪光栅像素面上无畸变投影的第一目标区域和所述从投影仪光栅像素面上无畸变投影的第二目标区域；纹理映射单元，获取所述主投影仪光栅像素面与所述第一目标区域的第一映射关系，以及获取所述从投影仪光栅像素面与所述第二目标区域的第二映射关系，利用所述第一映射关系和所述第二映射关系对待投影内容进行纹理映射，实现无畸变投影。
第三方面，本发明提供了一种投影系统，包括：主投影仪和从投影仪，所述主投影仪具有主光机镜头、主摄像头和惯性测量单元，所述从投影仪具有从光机镜头和从摄像头；所述主投影仪和所述从投影仪还具有数据通信模块，通过所述数据通信模块实现所述主投影仪和所述从投影仪之间的数据传输和所述主投影仪对所述从投影仪的控制；所述主投影仪还包括：存储器，存储计算机可执行指令；图形处理器，所述计算机可执行指令在被执行时使所述图形处理器执行投影系统分辨率扩展方法。
第四方面，本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有一个或多个计算机程序，一个或多个计算机程序被执行时实现前述的投影系统分辨率扩展方法。
本发明利用两个投影仪实现投影画面的分辨率扩展，利用计算机视觉方法获得每个投影仪到投影面的姿态信息，结合两个投影仪的姿态信息获取两个投影仪相对于共同投影面的世界坐标的姿态信息，在此基础上，构建两个投影仪在投影面的投影区域，根据目标分辨率与目标显示比例，在两者之间分配投影区域并计算计算两个投影仪各自负责的光栅像素面投影区域，最终在实际投影过程中，两个投影仪会将根据投影区域计算结果，对输入的宽幅画面进行实时纹理映射及投影，以在投影面呈现出一幅完整的无畸变高分辨率的宽幅画面，实现投影画面的无畸变扩展。
附图说明
图1为本发明实施例示出的投影系统分辨率扩展方法的流程图；
图2为本发明实施例示出的投影系统的光学系统示意图；
图3为本发明实施例示出的小孔成像原理图；
图4为本发明实施例示出的投影点云图像生成过程示意图；
图5为本发明实施例示出的三维投影模型示意图；
图6为本发明实施例示出的基准投影平面拟合过程示意图；
图7为本发明实施例示出的世界坐标系、主光机镜头坐标系、光栅像素面与基准投影平面之间的关系示意图；
图8为本发明实施例示出的ArUco测试图像示意图；
图9为本发明实施例示出的基准投影平面上四边形区域和最大内接矩形示意图；
图10为本发明实施例示出的最大无畸变投影区域示意图；
图11为本发明实施例示出的光栅像素面上的目标区域示意图；
图12为本发明实施例示出的三角形mesh示意图；
图13为本发明实施例示出的预校正目标画面的网格示意图；
图14为本发明实施例示出的分辨率扩展投影效果示意图；
图15为本发明实施例示出的投影系统分辨率扩展装置的结构框图；
图16为本发明实施例示出的投影系统的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。但是应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本发明。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。
在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。
附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。
因此，本发明的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本发明的技术可以采取存储有指令的计算机可读存储介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本发明的上下文中，计算机可读存储介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读存储介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读存储介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。
本发明提供一种投影系统分辨率扩展方法，本实施例中的投影系统包括相互连接的主投影仪和从投影仪，主投影仪具有主光机镜头、主摄像头和惯性测量单元，从投影仪具有从光机镜头和从摄像头。
本实施例中的光机可以理解为投影设备里的投影模块，通常情况下，光机就是把数字微镜器件显示核心(也称为光栅像素面)、光源、镜头光路、散热全部集中在一个机构里，做成一个整体部件，以防尘、防震。
图1为本发明实施例示出的投影系统分辨率扩展方法的流程图，如图1所示，本实施例的方法包括：
S110，利用所述主投影仪构建基准投影平面，并基于所述基准投影平面和所述主投影仪的姿态信息构建世界坐标系，获取所述主投影仪坐标系与所述世界坐标系之间的第一转换关系。
S120，利用所述从投影仪采集所述主投影仪在投影面上投影的测试图像，并根据所述第一转换关系获取所述从投影仪坐标系与所述世界坐标系之间的第二转换关系。
S130，根据所述主投影仪坐标系与所述世界坐标系之间的第一转换关系、所述从投影仪坐标系与所述世界坐标系之间的第二转换关系和目标分辨率与目标显示比例，获取所述主投影仪光栅像素面上无畸变投影的第一目标区域和所述从投影仪光栅像素面上无畸变投影的第二目标区域。
S140，获取所述主投影仪光栅像素面与所述第一目标区域的第一映射关系，以及获取所述从投影仪光栅像素面与所述第二目标区域的第二映射关系，利用所述第一映射关系和所述第二映射关系对待投影内容进行纹理映射，实现无畸变投影。
本实施例利用两个投影仪实现分辨率扩展，利用计算机视觉方法获得每个投影仪到投影面的姿态信息，结合两个投影仪的姿态信息获取两个投影仪相对于共同投影面世界坐标的姿态信息，在此基础上，构建两个投影仪在投影面的投影区域，根据目标分辨率与目标显示比例，在两者之间分配投影区域并计算计算两个投影仪各自负责的光栅像素面投影区域，最终在实际投影过程中，两个投影仪会将根据投影区域计算结果，对输入的宽幅画面分别进行实时纹理映射及投影，以在投影面呈现出一幅完整的无畸变高分辨率的宽幅画面，实现投影画面的无畸变扩展。
为实现投影系统无畸变扩展，本实施例预先对投影系统进行标定，获得投影系统中两个投影仪的畸变参数，该畸变参数包括光机镜头和摄像头的内参数和外参数。对任一投影仪的标定过程如下：
如图2所示，投影仪的光机镜头和摄像头之间存在一定距离，这样同一世界坐标点在光机光栅像素面和传感器像素面上就会存在视差，例如图2中投影区域中的点A在光机光栅像素面上对应于像素位置a1，在传感器像素面上对应于像素位置a2，由此满足了双目立体视觉的形成条件，由于可以基于投影仪的光机镜头坐标系和摄像头坐标系构建三维投影模型。
光机镜头可以看作是一个逆向的摄像头，可以建立与摄像头类似的小孔成像模型，由此光机镜头的校正原理与摄像头的校正原理相似，本实施例以获得摄像头的畸变参数为例进行描述。
如图3所示，小孔成像模型的公式为：sm′＝A[R|t]M′，其中，s为归一化尺度因子；A为摄像头的内参数矩阵；[R|t]为外参数矩阵，用于将像点P的坐标从世界坐标系中转换到摄像头坐标系中，R为旋转矩阵，t为平移向量；m′为在摄像头坐标系中的坐标位置，M′为在世界坐标系中的坐标位置；在图3所示的小孔成像光路中，物点Fc的坐标cx与cy在uv平面对应的平面坐标为(u，v)，u＝fx·x′+cx，v＝fy·y′+cy，x′＝x/z，y′＝y/z，fx,fy分别为摄像头焦距坐标，cx,cy分别为物点Fc的X轴与Y轴坐标，x,y分别为像点P的坐标，x′,y′分别为相对P点纵轴坐标的归一化坐标。图3示出的物点Fc的坐标系相当于本实施例摄像头坐标系，uv平面坐标系相当于本实施例摄像头传感器像素面坐标系。因此，在获得世界坐标系与摄像头坐标系之间的转换关系后，可以根据u＝fx·x′+cx，v＝fy·y′+cy获得世界坐标系与传感器像素面坐标系之间的对应关系。
对于摄像头内参数矩阵，可以通过标定板及结构光投影获得投影仪摄像头的内参数，内参数包括焦距，径向畸变参数、切向畸变参数及主点坐标(即传感器图像的中心点)。此时，摄像头坐标系与传感器像素面坐标系之间的对应关系为：u＝fx*x″+cx，v＝fy*y″+cy，其中， k1,k2,k3,k4,k5,k6分别为摄像头的径向畸变参数，p1,p2分别为摄像头的切向畸变参数，s1,s2,s3,s4分别为摄像头的薄棱镜畸变参数。
本实施例中，还需要获得光机镜头与摄像头之间的平移向量和旋转矩阵。具体的，在内参数标定过程，可以得到世界坐标系到光机镜头坐标系旋转矩阵Rp和平移向量tp，世界坐标系到摄像头坐标系的旋转矩阵Rc和平移向量tc，根据小孔成像模型可得：(X,Y,Z)为世界坐标系的三维点坐标，(Xp,Yp,Zp)与(Xc,Yc,Zc)分别对应光机镜头坐标系与摄像头坐标系的三维点坐标，联立上述两个公式可以得到光机镜头和摄像头相对位置关系：这样即可获得投影仪双目视觉的外参数，实现摄像头坐标系到光机镜头坐标系的坐标转换。
在投影仪出厂前，通过上述投影仪标定方法，获得光机镜头及摄像头的内参数及外参数。在一些实施例中，标定采用的投影仪光栅分辨率为1920x1080，通过重投影获得网格点在光栅面的虚拟成像，计算标定残差。一些实施例中内参数标定残差为0.2137像素，外参数标定残差为0.4324像素。将标定得到的内、外参数下载到投影仪中，以供在后面的分辨率扩展流程中加以利用。
在投影系统应用过程中，包含双投影仪分辨率扩展界面，在选择并进入该流程的用户界面后，用户界面会提示将两个投影仪在水平方向成一定倾斜角度相向投影在投影面上，两个投影仪的投影画面有一定的重合区域，在整个校正过程中保持两个投影仪位置恒定，随后进入自动化分辨率扩展流程。下面结合图2-14对上述步骤S110-S140进行详细说明。
首先，执行步骤S110，即利用所述主投影仪构建基准投影平面，并基于所述基准投影平面和所述主投影仪的姿态信息构建世界坐标系，获取所述主投影仪坐标系与所述世界坐标系之间的第一转换关系。
在一些实施例中，通过下述方法构建基准投影平面：利用所述主光机镜头将所述主投影仪光栅像素面上的标准网格图像投影在投影面上，并利用所述主摄像头拍摄所述投影面获取所述投影面上网格点的投影点云图像；根据所述标准网格图像和所述投影点云图像之间像素点的对应关系以及根据预先构建的三维投影模型，获取所述投影面上网格点基于所述主光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述主光机镜头坐标系和主摄像头坐标系而构建；根据所述投影面上网格点的三维坐标对所述投影面上网格点进行空间滤除，滤除所述网格点中的无效网格点，获得有效网格点；利用最小二乘法对所述有效网格点进行平面拟合，确定拟合所得到的平面为所述基准投影平面。
在利用主投影仪对标准网格图像进行投影和投影图像采集时，通常情况下投影面点云的密度越高，对投影面测量的精度就会越高，但由于受到镜头畸变引起的圆斑散射、采集噪声及背景光等因素的影响，如果网格密度过高，就会影响网格搜索的速度，甚至无法搜索到网格点。本实施例引入错位网格生成及投影的方法，能够在不影响网格点搜索效率的情况下，提升网格点密度，从而提升投影面点云测量精度。
在一些实施例中，通过下述方法获得投影面点云图像：利用主光机镜头将主投影仪光栅像素面的第一标准网格图像投影在投影面上，并利用主摄像头拍摄投影面获取第一投影点云图像；利用主光机镜头将主投影仪光栅像素面的第二标准网格图像投影在投影面上，并利用主摄像头拍摄所述投影面获取第二投影点云图像，第一标准网格图像与第二标准网格图像中的圆斑相互错开；分别识别第一投影点云图像和第二投影点云图像中的圆斑网格，获得第一投影点云图像和第二投影点云图像中每个圆斑在光栅像素面的像素位置；通过叠加第一投影点云图像和第二投影点云图像，获得投影点云图像，第一投影点云图像和第二投影点云图像中每个圆斑在光栅像素面的像素位置即为投影点云图像上相应圆斑的像素位置。
如图4所示，主投影仪的应用程序生成两个非对称圆斑网格图片，两个图片的圆斑相互错位，彼此间隔一个网格距离。这两个图片被主光机镜头先后投影到投影面，然后通过主投影仪的主摄像头采集投影画面，在采集到的点云图像中寻找网格圆斑并记录其像素坐标，然后将两幅点云图像上错位网格圆斑的坐标进行合并，得到网格密度为两个点云图像圆斑密度之和的投影点云图像的圆斑圆心坐标。
在获得投影面上网格点的投影点云图像之后，可以基于预先构建的三维投影模型获取投影面上网格点基于主光机镜头坐标系的三维坐标，其中三维投影模型基于所述投影仪的主光机镜头坐标系和主摄像头坐标系而构建。
在基于投影面网格点获得投影面的分布情况之前，利用已获得的畸变参数(主光机镜头和主摄像头的内参数)对主投影仪光栅像素面和传感器像素面上的图像进行校正，得到校正后的主摄像头传感器图像的网格点坐标(uc,vc)和光机图像中的网格点坐标(up,vp)；其中畸变参数的获得过程参见上文描述。
在一些实施例中，通过下述方法构建三维投影模型：首先根据所述主摄像头光路光心与其在所述主摄像头传感器像素面上的第一校正点，建立第一线性关系；接着根据所述主光机镜头光路光心与其在所述主投影仪光栅像素面上的第二校正点，建立第二线性关系；然后根据所述主摄像头与所述主光机镜头之间的外参数，建立关于所述第一校正点与所述第二校正点的第三线性关系；最后根据第一线性关系、第二线性关系和第三线性关系，获得投影面上网格点基于主光机镜头坐标系的三维坐标，所述主光机镜头坐标系即为所述主投影仪坐标系。
本实施例的三维投影模型采用三角形方法计算投影面上网格点的三维坐标。如图5所示，可以获得投影面上任一网格点在主投影仪传感器像素面上和主投影仪光栅像素面上的映射点，而标准网格图像和投影点云图像之间的像素点对应关系是确定的，进而可以重构出投影面网格点的三维坐标。即由于投影面点云图像是由主光机镜头将标准网格图像进行投影，并由主摄像头进行采集而获得的，因此，可以基于图5所示的三维投影模型重构出投影面每个网格点的三维坐标。
一个示例，图5中的ucvc平面坐标系对应为主投影仪传感器像素面所在坐标系，upvp平面坐标系对应为主投影仪光栅像素面所在坐标系，那么根据前面描述的公式u＝fx*x″+cx与v＝fy·y′+cy可以获得主摄像头光路光心Oc在主投影仪传感器像素面所在坐标系的坐标为qc，主光机镜头光路光心Op在主投影仪光栅像素面所在坐标系的坐标为qp，由此根据本实施例构建的三维投影模型，可以计算出投影面相应网格点Qw在主光机镜头坐标系中的三维坐标。
假设投影面某个网格点的坐标为(Xp,Yp,Zp)，那么可以得到与sp与sc分别为主摄像头和主光机镜头的尺度因子，(uc,vc)与(up,vp)分别为空间三维点在主投影仪传感器像素面和主投影仪光栅像素面上投影点的二维坐标，Ac与Ap分别主摄像头与主光机镜头的内参数矩阵，为[R|t]为投影仪的外参数矩阵。再根据主摄像头光路光心Oc与主摄像头传感器像素面上第一像素点(up,vp)建立的第一线性关系和主光机镜头光路光心Op与主投影仪光栅像素面上第二像素点(up,vp)的建立第二线性关系，即可计算得到(Xp,Yp,Zp)。
在计算得到投影面上网格点基于主光机镜头坐标系的三维坐标之后，基于投影面上网格点的三维坐标拟合基准投影平面，一个实施例中，根据投影面上网格点的三维坐标对投影面上网格点进行空间滤除，滤除网格点中的无效网格点，获得有效网格点；利用最小二乘法对有效网格点进行平面拟合，确定拟合所得到的平面为基准投影平面；其中，所述有效网格点为所述投影面上网格点中大致位于同一平面上的网格点，所述无效网格点为所述投影面上网格点中大远离所述平面上的网格点。
如图6所示，投影面上所有网格点组成的三维点云可能并不处于同一平面上，这些网格点中可能包括空间噪声点、非连续点以及离面点，在重建投影基准面前，需要滤除这些无效网格点，形成平滑的投影面点云，对滤波后的平滑的投影面点云进行平面拟合获得所述基准投影平面。
在一些实施例中，可以先利用低通滤波方式滤除无效网格点中的空间噪声点和非连续点，然后再通过下述方法滤除无效网格中的离面点，获得有效网格点：
步骤A：在所述网格点中随机选取三个不共线网格点，获得三个不共线网格点确定的子平面a′0x+a′1y+a′2z＝d，其中a′0,a′1,a′2,d均为常数；
步骤B：计算投影面上每个网格点与第i个子平面的距离di＝a′0xi+a′1yi+a′2zi，剔除与子平面距离大于预设距离值的异常网格点，获得参考网格点的个数，参考网格点为与子平面的距离不大于预设距离值的网格点；示例性的，预设距离值t＝2σ，σ为所有网格点到当前子平面距离的标准偏差，当di＞2σ时确定该网格点为异常点被剔除，反之di≤2σ，确定该网格点为参考网格点被保留。
重复执行步骤A与步骤B，迭代N次后，确定N次迭代后所得到的N个子平面中具有最多参考网格点个数的参考子平面，参考子平面的参考网格点即为有效网格点。
参考图6，图6中的左图为过滤前的投影面点云图，可以看出有些点处于离面位置，图6中的右图为通过点云平面拟合得到的点云，可以看出那些离面的点已经被滤除，剩余的点大致处于拟合平面上。
在获得有效网格点后，可以利用有效网格点的三维坐标确定基准投影平面的平面方程为a0x+a1y+a2＝z，该平面的第一单位法线向量其中a0,a1,a2均为常数，Nbp为基准投影平面的第一单位法线向量，norm()为向量范数运算符。
在获得基准投影平面及其姿态信息之后，可以利用惯性测量单元获得主投影仪的姿态信息；在一些实施例中，惯性测量单元包括陀螺仪。由陀螺仪测量轴向旋转角度，利用轴向旋转角度和基准投影平面的姿态信息构建世界坐标系，以消除梯形畸变。陀螺仪测量的轴向旋转角度标识了投影仪所在水平面相对于绝对水平面的偏离程度。其中，绝对水平面可以及理解为理想投影仪的光机镜头坐标系的XOZ平面，理想投影仪即不存在垂直、水平以及旋转方向上偏移的投影仪；主投影仪所在水平面可以理解为主光机镜头坐标系的XOZ平面。
在一些实施例中，通过下述方法构建世界坐标系：在所述主光机镜头坐标系中获取所述基准投影平面的第一单位法线向量；根据所述主光机镜头坐标系的Y轴单位向量和由所述惯性测量单元得到的所述主投影仪的姿态信息，获取绝对水平面在所述主光机镜头坐标系中的第二单位法线向量；将所述第一单位法线向量与所述第二单位法线向量的向量积作为所述世界坐标系X轴的单位向量，将所述第二单位法线向量作为所述世界坐标系Y轴的单位向量，将所述第一单位法线向量作为所述世界坐标系Z轴的单位向量；根据所述世界坐标系原点在所述主光机镜头坐标系中的坐标位置获取所述世界坐标系与所述主光机镜头坐标系之间的平移矩阵，以及根据所述世界坐标系X轴、Y轴Z轴的单位向量获得所述世界坐标系与所述主光机镜头坐标系之间的旋转矩阵。
如图7所示，本实施例所述构建的世界坐标系的XOY平面应与基准投影平面重合，世界坐标系的X轴与绝对水平面平行，世界坐标系的Z轴方向垂直于基准投影平面。基于此，可以通过下述方法计算世界坐标系的三个坐标轴在光机镜头坐标系中的向量表示：
首先计算绝对水平面的单位法线向量。可以利用惯性测量单元所包括的陀螺仪测量的轴向旋转角度确定主光机镜头坐标系的XOZ平面相对绝对水平面的偏离程度；其中陀螺仪测量的轴向旋转角度即为图7示出的轴向偏离角，也即为陀螺仪测量的轴向旋转角度θ，轴向旋转角度θ为主投影仪在Z轴方向相对于绝对水平面的旋转角度。
主光机镜头坐标系的XOZ平面相对绝对水平面的偏离程度为绝对水平面的第二单元法线向量Rz(θ)表示主光机镜头坐标系的XOZ平面相对绝对水平面的偏离程度，Nhor表示第二单元法线向量，θ表示轴向旋转角度。
然后，计算世界坐标系单个坐标轴的单位向量。由于世界坐标系的X轴分别与第一单位法线向量Nbp和第二单元法线向量Nhor垂直，因此可以通过第一单位法线向量Nbp和第二单元法线向量Nhor的向量积得到世界坐标系X轴的单位向量Vxw，分别将第一单位法线向量Nbp和第二单元法线向量Nhor作为世界坐标系Z轴单位向量Vzw和Y轴单位向量Vyw。即Vxw＝Nbp×Nhor，Vyw＝Nhor，Vzw＝Nbp。
在一些实施例中，可以根据基准投影平面的重心获得世界坐标系的原点。一个示例，世界坐标系的原点为N个子平面的平均重心点在基准投影平面上的投影点。世界坐标系的原点Ow＝[X0-a0t,Y0-a1t,Z0+t]， (Xck,Yck,Zck)为第k个子平面的重心坐标，[X0,Y0,Z0]为N个子平面的平均重心点，t为常量。
如图7所示，在构建世界坐标系之后，就可以确定主光机镜头坐标系与世界坐标系之间的转换关系为平移向量T＝Ow和旋转矩阵R＝(Vxw,Vyw,Vzw)T。
在获取所述主投影仪坐标系与所述世界坐标系之间的第一转换关系之后，继续执行步骤S120，即利用所述从投影仪采集所述主投影仪在投影面上投影的测试图像，并根据所述第一转换关系获取所述从投影仪坐标系与所述世界坐标系之间的第二转换关系。
本实施例通过投影及检测ArUco方法来实现从投影仪坐标系与所述世界坐标系之间的转换关系的计算。一个ArUco测试图像由多个ArUco marker(ArUco编码元)编成。一个ArUco marker是一个二进制平面标记，它由一个宽的黑边和一个内部的二进制矩阵组成，内部的矩阵决定了ArUco marker的id。黑色的边界有利于快速检测到图像，二进制编码可以验证id，并且允许错误检测和矫正技术的应用。图8包括多个ArUco marker的ArUco测试图像示例，选取某些特定id的ArUco marker按照一定的样式即可组成图8所示的ArUco测试图像。
在一些实施例中，先利用所述主光机镜头将所述主投影仪光栅像素面上的ArUco测试图像投影在投影面上，并利用所述从摄像头拍摄所述投影面，获取ArUco投影图像以及所述ArUco投影图像在所述从摄像头传感器像素面的二维像素坐标，所述ArUco测试图像包括多个ArUco marker；接着根据所述主光机镜头的内参数和所述主投影仪坐标系与所述世界坐标系之间的第一转换关系，获取所述ArUco投影图像中每个ArUco marker边角点在所述世界坐标系中的三维坐标；然后根据所述每个ArUco marker边角点在所述世界坐标系中的三维坐标和所述ArUco marker边角点在所述从摄像头传感器像素面的二维像素坐标，获取所述从摄像头坐标系与所述世界坐标系的第三转换关系；最后根据所述从摄像头与所述从光机镜头之间的外参数和所述从摄像头坐标系与所述世界坐标系的第三转换关系，获取所述从光机镜头坐标系与所述世界坐标系的第二转换关系。
在获得从投影仪坐标系与所述世界坐标系之间的第二转换关系之后，继续执行S130，即根据所述主投影仪坐标系与所述世界坐标系之间的第一转换关系、所述从投影仪坐标系与所述世界坐标系之间的第二转换关系和目标分辨率与目标显示比例，获取所述主投影仪光栅像素面上无畸变投影的第一目标区域和所述从投影仪光栅像素面上无畸变投影的第二目标区域。
需要获取在当前投影仪与投影面的相对姿态下，两个投影仪在投影面上的实际投影区域。结合投影仪内参数及光栅像素面四个顶点的像素坐标，同上面重建投影面上网格点的三维坐标的方式类似，计算光栅像素面四个顶点以光机光心为起点的射线方向，然后获得这四个射线与基准投影平面的交点，计算这四个交点在世界坐标系XOY平面即基准投影平面上的二维坐标，从而计算出光栅像素面在投影面上实际投影的四边形区域。
在一些实施例中，主投影仪光栅像素面上无畸变投影的第一目标区域和从投影仪光栅像素面上无畸变投影的第二目标区域的获取方法如下：首先获取所述主投影仪光栅像素面上四个边角点在所述基准投影平面上形成的第一参考投影点，以及获取所述从投影仪光栅像素面上四个边角点在所述基准投影平面上形成的第二参考投影点；接着根据所述主投影仪光栅像素面的宽高比在由所述第一参考投影点围成的第一四边形区域内，获取所述第一四边形区域的最大内接矩形，以及根据所述从投影仪光栅像素面的宽高比在由所述第二参考投影点围成的第二四边形区域内，获取所述第二四边形区域的最大内接矩形，所述最大内接矩形的宽高比与所述光栅像素面的宽高比一致，所述最大内接矩形的宽边和高边分别平行所述世界坐标系的X轴和Y轴；然后将所述基准投影平面上所述第一四边形区域的最大内接矩形与所述第二四边形区域的最大内接矩形进行合并，获取所述基准投影平面上最大无畸变投影区域；根据目标分辨率与目标显示比例将所述最大无畸变投影区域分割成第一投影子区域和第二投影子区域；最后根据所述主投影仪坐标系与所述世界坐标系之间的第一转换关系和所述主光机镜头的内参数，获得所述第一投影子区域在所述主投影仪光栅像素面上的反投影点，在所述主投影仪光栅像素面上由所述反投影点围成的矩形区域为所述第一目标区域；以及根据所述从投影仪坐标系与所述世界坐标系之间的第二转换关系和所述从光机镜头的内参数，获得所述第二投影子区域在所述从投影仪光栅像素面上的反投影点，在所述从投影仪光栅像素面上由所述反投影点围成的矩形区域为所述第二目标区域。
参考图9，在获得第一四边形区域时，可以根据下述方法获得第一四边形区域的最大内接矩形：
获取所述第一四边形区域的四个顶点以及所述第一四边形区域最左像素点和最右像素点，其中由左下角顶点和右下角顶点构成的边为底边，由左上角顶点和右上角顶点构成的边为底边，由右下角顶点和右上角顶点构成的边为右边；
根据所述最左像素点获取左边垂线的初始位置，所述左边垂线与所述世界坐标系的Y轴平行，对所述左边垂线迭代执行以下步骤a～h，直至左边垂线达到所述最右像素点：
步骤a，对所述左边垂线逐像素向右移动后执行步骤b；
步骤b，对每像素位置的左边垂线，以所述左边垂线与所述底边的交点形成所述最大内接矩形的候选左上顶点，对所述候选左上顶点逐像素向上移动并执行步骤c；
步骤c，对每像素位置的左边垂线，以所述左边垂线与所述顶边的交点形成所述最大内接矩形的候选左下顶点，对所述候选左下顶点逐像素向下移动并执行步骤d；
步骤d，根据所述候选左上顶点和所述候选左下顶点分别获取与所述世界坐标系的X轴平行的第一直线和第二直线，根据所述第一直线与所述第二直线与所述右边形成的两个交点中靠近左边的交点确定候选右下顶点和候选右上顶点，在四个候选顶点围成的矩形区域内确定候选矩形，计算所述候选矩形的面积并执行步骤e，其中所述候选矩形为与所述主投影仪光栅像素面宽高比一致的最大矩形；
步骤e，当所述候选矩形的面积大于最大内接矩形面积时，将所述最大内接矩形面积更新为所述候选矩形的面积，并将所述最大内接矩形四个顶点的坐标更新为所述候选矩形四个顶点的坐标，执行步骤f；当所述候选矩形的面积不大于所述最大内接矩形面积时，保持所述最大内接矩形面积与所述最大内接矩形四个顶点的坐标，执行步骤f；其中，所述最大内接矩形面积的初始值可以设置为0，所述最大内接矩形初始四个顶点可以设置空置；
步骤f，在所述候选左上顶点未到达所述左边垂线与所述顶边的交点像素位置时，执行步骤b；在所述候选左上顶点到达所述左边垂线与所述顶边的交点像素位置时，执行步骤g；
步骤g，在所述候选左下顶点未到达所述左边垂线与所述底边的交点像素位置时，执行步骤c；在所述候选左下顶点到达所述左边垂线与所述底边的交点像素位置时，执行步骤h；
步骤h，在所述左边垂线未到达所述最右像素点时，执行步骤a；在所述左边垂线已到达所述最右像素点时，获得所述最大内接矩形面积对应的四个定位的坐标为所述最大内接矩形的四个顶点坐标。
通过迭代上述步骤a～h可以获得最大内接矩形，如图9所示，图9中外部的四边形即为基准投影平面上的四边形区域，由于梯形畸变，呈现为一个不规则的四边形；图9中的内部矩形为获得的投影区域内最大无畸变矩形，可以看出该矩形与世界坐标系的X轴和Y轴平行。
获取第二四边形区域内的最大内接矩形的过程与获取第一四边形区域内的最大内接矩形的过程类似，如图10所示，四边形A0B0C0D0为第一四边形区域，四边形A0B0C0D0虚线框对应的矩形为第一四边形区域的最大内接矩形，四边形A1B1C1D1虚线框对应的矩形为第二四边形区域的最大内接矩形，矩形EFGH为所述最大无畸变投影区域。
参考图10，本实施例的最大无畸变投影区域的宽度为两个最大内接矩形合并后所覆盖的最大宽度，本实施例的最大无畸变投影区域的高度为两个最大内接矩形重叠部分的高度。
在得到基准投影平面上的最大无畸变投影区域后，可以根据所述第一四边形区域、所述第二四边形区域和所述最大无畸变投影区域的面积，以及根据所述主投影仪光栅分辨率和所述从投影仪光栅分辨率，获取所述最大无畸变投影区域相对投影区域面积的第一分辨率；根据所述最大无畸变投影区域的宽高比和所述第一分辨率，获取所述最大无畸变投影区域相对宽高比的第二分辨率；根据标准分辨率列表中目标显示比例下的目标分辨率，在所述最大无畸变投影区域内截取所述目标显示比例下的所述目标分辨率的目标无畸变投影区域；将所述目标无畸变投影区域中归属于第一四边形区域的部分确定为第一投影子区域，将所述述目标无畸变投影区域中剩余部分确定为第二投影子区域；或者，将所述目标无畸变投影区域中归属于第二四边形区域的部分确定为第二投影子区域，将所述目标无畸变投影区域中剩余部分确定为第一投影子区域。
例如，以图10所示的第一四边形A0B0C0D0区域和第二四边形A1B1C1D1区域为例，假设第一四边形A0B0C0D0区域的面积为2600平方厘米，第二四边形A1B1C1D1区域的面积为2400平方厘米，最大无畸变投影区域EFGH的长度为80厘米，宽度为36厘米，则其面积为2880平方厘米；假设主从投影仪光栅分辨率均为1920x1080，则两个投影仪的光栅分辨率均为2073600像素。
以主投影仪的投影区域为依据，计算得到的最大无畸变投影区域EFGH的第一分辨率为2073600*2880/2600＝2296910像素；以从投影仪的投影区域为依据，计算得到的最大无畸变投影区域EFGH的第一分辨率为2073600*2880/2400＝2488320像素；本实施例优选以较大分辨率数值作为最大无畸变投影区域EFGH的第一分辨率，以充分利用投影仪的分辨率资源。
根据最大无畸变投影区域EFGH长宽比80/36，即可计算得到最大无畸变投影区域EFGH的宽度为即为1058，长度为1058*80/36＝2351，即最大无畸变投影区域EFGH的第二分辨率为2351x1058。
结合显示器标准分辨率列表，截取最大无畸变投影区域EFGH的分辨率，使得所截取到的目标无畸变投影区域与某一显示器高清分辨率吻合。举例说明，最大无畸变投影区域EFGH的分辨率为2351x1058，而标准分辨率列表中，包含一个2：1宽高比的分辨率2048x1024，这样当前双投影仪系统能够支持的最大显示分辨率即为2048x1024。同时根据显示分辨率比例，在最大无畸变投影区域EFGH中裁剪出最大的目标无畸变投影区域对应的分辨率为2048x1024，宽高比也为2：1。
由于在计算最大无畸变投影区域EFGH的第一分辨率的过程中，以从投影仪的投影区域为依据计算得到的第一分辨率值大于以主投影仪的投影区域为依据计算得到的第一分辨率值，因此，优选地将目标无畸变投影区域中重叠部分分配为第二投影子区域，即将目标无畸变投影区域中归属于第二四边形区域的部分确定为第二投影子区域，将目标无畸变投影区域中剩余部分确定为第一投影子区域。
在获取第一目标区域和第二目标区域之后，继续执行步骤S140，即获取所述主投影仪光栅像素面与所述第一目标区域的第一映射关系，以及获取所述从投影仪光栅像素面与所述第二目标区域的第二映射关系，利用所述第一映射关系和所述第二映射关系对待投影内容进行纹理映射，实现无畸变投影。
在获得无畸变投影的第一目标区域和第二目标区域后，依据主从投影仪内参数、世界坐标系与主光机镜头坐标系的第一转换关系和从光机镜头坐标系的第二转换关系，按照图3示出的小孔成像模型和图5示出的三维投影模型，将第一目标区域的四个顶点重投影到主投影仪光栅像素面，从而得到无畸变投影的第一目标区域四个顶点对应的四个光栅像素坐标点，这四个光栅像素坐标点形成一个四边形。如果将原始光栅图片变形到这个四边形区域，则最终投影出来的画面效果对应为在基准投影平面的最大内接矩形，因此这四个光栅像素坐标点形成的光栅像素面上的四边形区域即为光栅画面畸变校正的第一目标区域。映射得到的无畸变目标区域如图11所示，整个画面为整个光栅像素面上的原始网格图像，里面的白色四边形即为计算得到的第一目标区域，类似的，可以计算得到从投影仪光栅像素面上的第二目标区域。
在一些实施例中，根据第一目标区域的四个顶点与主投影仪光栅像素面的四个顶点的对应关系，获得所述第一目标区域与所述主投影仪光栅像素面之间的第一单应映射矩阵，以及根据第二目标区域的四个顶点与从投影仪光栅像素面的四个顶点的对应关系，获得所述第二目标区域与所述从投影仪光栅像素面之间的第二单应映射矩阵，以利用所述第一单应映射矩阵和第二单应映射矩阵对待投影画面进行纹理映射。
由目标区域的四个顶点及光栅像素面的四个顶点形成二维坐标之间的单应映射关系。这种映射关系可以通过GPU加速完成，首先需要为各个投影仪的目标区域生成渲染mesh，在为每个mesh的三角形顶点分配顶点坐标及纹理坐标属性。如图12所示，图12中的上图为合并显示的图像，假设计算得到的扩展分辨率为2520x1080，主从投影仪分别负责左右两个区域的投影。图12中的左下图和右下图分别为主、从投影仪的光栅像素面，左下图和右下图内部的虚框四边形是计算得到的第一目标区域和第二目标区域，左下图和右下图两个中的该目标区域分为两个三角形，分别由不同填充样式表示。每个三角形的顶点包含顶点坐标及纹理坐标属性，顶点坐标属性为该顶点在本光栅图像中的像素坐标，而纹理坐标属性则为该顶点在2520x1080分辨率图像中对应的顶点像素坐标。
在运行过程中，GPU渲染管道通过双线性插值计算顶点三角形内部像素的纹理坐标，GPU渲染管道的采样器负责从待投影的宽幅图片中的相应坐标位置提取像素值，作为该顶点位置的输出像素值。最终的纹理映射效果如图13所示，可以看到经过预校正之后，原光栅图像被变形到无畸变目标区域以内。
两个投影仪分别将畸变预校正后的光栅画面同时投影到投影面上，最终合并投影效果如图14所示，其中细边白色四边形为主投影仪未校正的投影区域，粗边白色四边形为从投影仪未校正的投影区域，图14中虚线左边区域是主投影仪负责显示的经过畸变预校正投影得到的画面，图14中虚线右边是从投影仪负责显示的经过畸变预校正投影得到的画面，可以看到经过分辨率扩展之后投影得到的宽幅画面呈现为无畸变效果，且平行于绝对水平面。
由此本实施例不借助外部仪器、设备，结合结构光及多视图几何等计算机视觉知识，由投影仪自动化完成对实际投影区域的分布估计，同时结合姿态数据，实现对投影面及投影仪的相对及绝对姿态的精确建模，利用这些数据精确计算、分配两个投影仪各自的投影区域及实时输出坐标变换图像，从而向用户提供了更高的分辨率、更灵活的宽高比及更宽广的投影面积。
本发明还提供一种投影系统分辨率扩展装置。
图15为本发明实施例示出的投影系统分辨率扩展装置的结构框图，如图15所示，投影系统包括相互连接的主投影仪和从投影仪，所述主投影仪具有主光机镜头、主摄像头和惯性测量单元，所述从投影仪均具有从光机镜头和从摄像头，本实施例的装置包括：
第一计算单元，利用所述主投影仪构建基准投影平面，并基于所述基准投影平面和所述主投影仪的姿态信息构建世界坐标系，获取所述主投影仪坐标系与所述世界坐标系之间的第一转换关系；
第二计算单元，利用所述从投影仪采集所述主投影仪在投影面上投影的测试图像，并根据所述第一转换关系获取所述从投影仪坐标系与所述世界坐标系之间的第二转换关系；
第三计算单元，根据所述主投影仪坐标系与所述世界坐标系之间的第一转换关系、所述从投影仪坐标系与所述世界坐标系之间的第二转换关系、目标分辨率与目标显示比例，获取所述主投影仪光栅像素面上无畸变投影的第一目标区域和所述从投影仪光栅像素面上无畸变投影的第二目标区域；
纹理映射单元，获取所述主投影仪光栅像素面与所述第一目标区域的第一映射关系，以及获取所述从投影仪光栅像素面与所述第二目标区域的第二映射关系，利用所述第一映射关系和所述第二映射关系对待投影内容进行纹理映射，实现无畸变投影。
在一些实施例中，第一计算单元包括平面拟合模块和坐标系构建模块；
平面拟合模块，利用所述主光机镜头将所述主投影仪光栅像素面上的标准网格图像投影在投影面上，并利用所述主摄像头拍摄所述投影面获取所述投影面上网格点的投影点云图像；根据所述标准网格图像和所述投影点云图像之间像素点的对应关系以及根据预先构建的三维投影模型，获取所述投影面上网格点基于所述主光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述主光机镜头坐标系和主摄像头坐标系而构建；根据所述投影面上网格点的三维坐标对所述投影面上网格点进行空间滤除，滤除所述网格点中的无效网格点，获得有效网格点；利用最小二乘法对所述有效网格点进行平面拟合，确定拟合所得到的平面为所述基准投影平面。
坐标系构建模块，在所述主光机镜头坐标系中获取所述基准投影平面的第一单位法线向量；根据所述主光机镜头坐标系的Y轴单位向量和由所述惯性测量单元得到的所述主投影仪的姿态信息，获取绝对水平面在所述主光机镜头坐标系中的第二单位法线向量；将所述第一单位法线向量与所述第二单位法线向量的向量积作为所述世界坐标系X轴的单位向量，将所述第二单位法线向量作为所述世界坐标系Y轴的单位向量，将所述第一单位法线向量作为所述世界坐标系Z轴的单位向量；根据所述世界坐标系原点在所述主光机镜头坐标系中的坐标位置获取所述世界坐标系与所述主光机镜头坐标系之间的平移矩阵，以及根据所述世界坐标系X轴、Y轴Z轴的单位向量获得所述世界坐标系与所述主光机镜头坐标系之间的旋转矩阵。
在一些实施例中，第二计算单元，利用所述主光机镜头将所述主投影仪光栅像素面上的ArUco图像投影在投影面上，并利用所述从摄像头拍摄所述投影面获取ArUco投影图像以及所述ArUco投影图像在所述从摄像头传感器像素面的二维像素坐标，所述ArUco图像包括多个ArUco marker；根据所述主光机镜头的内参数和所述主投影仪坐标系与所述世界坐标系之间的第一转换关系，获取所述ArUco投影图像中每个ArUco marker边角点在所述世界坐标系中的三维坐标；根据所述每个ArUco marker边角点在所述世界坐标系中的三维坐标和所述ArUco marker边角点在所述从摄像头传感器像素面的二维像素坐标，获取所述从摄像头坐标系与所述世界坐标系的第三转换关系；根据所述从摄像头与所述从光机镜头之间的外参数和所述从摄像头坐标系与所述世界坐标系的转换关系，获取所述从光机镜头坐标系与所述世界坐标系的第二转换关系。
在一些实施例中，第三计算单元，获取所述主投影仪光栅像素面上四个边角点在所述基准投影平面上形成的第一参考投影点，以及获取所述从投影仪光栅像素面上四个边角点在所述基准投影平面上形成的第二参考投影点；
根据所述主投影仪光栅像素面的宽高比在由所述第一参考投影点围成的第一四边形区域内，获取所述第一四边形区域的最大内接矩形，以及根据所述从投影仪光栅像素面的宽高比在由所述第二参考投影点围成的第二四边形区域内，获取所述第二四边形区域的最大内接矩形，所述最大内接矩形的宽高比与所述光栅像素面的宽高比一致，所述最大内接矩形的宽边和高边分别平行所述世界坐标系的X轴和Y轴；将所述基准投影平面上所述第一四边形区域的最大内接矩形与所述第二四边形区域的最大内接矩形进行合并，获取所述基准投影平面上最大无畸变投影区域；根据目标分辨率与目标显示比例将所述最大无畸变投影区域分割成第一投影子区域和第二投影子区域；根据所述主投影仪坐标系与所述世界坐标系之间的第一转换关系和所述主光机镜头的内参数，获得所述第一投影子区域在所述主投影仪光栅像素面上的反投影点，在所述主投影仪光栅像素面上由所述反投影点围成的矩形区域为所述第一目标区域；以及根据所述从投影仪坐标系与所述世界坐标系之间的第二转换关系和所述从光机镜头的内参数，获得所述第二投影子区域在所述从投影仪光栅像素面上的反投影点，在所述从投影仪光栅像素面上由所述反投影点围成的矩形区域为所述第二目标区域。
结合本实施例，第三计算单元，还根据所述第一四边形区域、所述第二四边形区域和所述最大无畸变投影区域的面积，以及根据所述主投影仪光栅分辨率和所述从投影仪光栅分辨率，获取所述最大无畸变投影区域相对投影区域面积的第一分辨率；根据所述最大无畸变投影区域的宽高比和所述第一分辨率，获取所述最大无畸变投影区域相对宽高比的第二分辨率；根据标准分辨率列表中目标显示比例下的目标分辨率，在所述最大无畸变投影区域内截取所述目标显示比例下的所述目标分辨率的目标无畸变投影区域；将所述目标无畸变投影区域中归属于第一四边形区域的部分确定为第一投影子区域，将所述述目标无畸变投影区域中剩余部分确定为第二投影子区域；或者，将所述目标无畸变投影区域中归属于第二四边形区域的部分确定为第二投影子区域，将所述目标无畸变投影区域中剩余部分确定为第一投影子区域。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
本发明还提供了一种投影系统。
图16为本发明实施例示出的投影系统的结构示意图，如图16所示，投影系统包括：主投影仪和从投影仪，主投影仪具有主光机镜头、主摄像头和惯性测量单元，从投影仪具有从光机镜头和从摄像头；主投影仪和从投影仪具有数据通信模块，通过数据通信模块实现主投影仪和从投影仪之间的数据传输和主投影仪对从投影仪的控制；例如，投影仪具有数字视频输出/输入接口，主投影仪可以通过该接口将结构光图像数据及输入视频源传输到从投影仪中，控制从投影仪进行采集，从而实现拼接参数计算及画面联合拼接，主投影仪会将最终的纹理映射参数通过数据通信模块传输给从投影仪。
本实施例中主投影仪具有主光机镜头、主摄像头和惯性测量单元，从投影仪具有从光机镜头、从摄像头和惯性测量单元，由于本实施例中从投影仪无需利用惯性测量单元估计从投影系的姿态信息，因此在从投影仪中未设置惯性测量单元。若要求本实施例中两个投影仪可以互为主从，则主投影仪和从投影仪在硬件层面上应具有相同的结构。
在在硬件层面，主投影仪还包括图形处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器等。当然，该投影仪还可能包括其他业务所需要的硬件，如光机镜头、摄像头和惯性测量单元。
图形处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图16中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机可执行指令。存储器可以包括内存和非易失性存储器，并向图形处理器提供指令和数据。
图形处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成投影系统分辨率扩展装置。图形处理器，执行存储器所存放的程序实现如上文描述的投影系统分辨率扩展方法。
上述如本说明书图16所示实施例揭示的投影系统分辨率扩展装置执行的方法可以应用于图形处理器中，或者由图形处理器实现。图形处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上文描述的投影系统分辨率扩展方法的各步骤可以通过图形处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的图形处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(NetworkProcessor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本说明书实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述投影系统分辨率扩展方法的步骤。
本发明还提供了一种计算机可读存储介质。
该计算机可读存储介质存储一个或多个计算机程序，该一个或多个计算机程序包括指令，该指令执行时能够实现上文描述的投影系统分辨率扩展方法。
为了便于清楚描述本发明实施例的技术方案，在发明的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分，本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定。
以上所述，仅为本发明的具体实施方式，在本发明的上述教导下，本领域技术人员可以在上述实施例的基础上进行其他的改进或变形。本领域技术人员应该明白，上述的具体描述只是更好的解释本发明的目的，本发明的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种投影系统分辨率扩展方法，其中，所述投影系统包括主投影仪和从投影仪，所述主投影仪具有主光机镜头、主摄像头和惯性测量单元，所述从投影仪均具有从光机镜头和从摄像头，所述方法包括：
利用所述主投影仪构建基准投影平面，并基于所述基准投影平面和所述主投影仪的姿态信息构建世界坐标系，获取所述主投影仪坐标系与所述世界坐标系之间的第一转换关系；
利用所述从投影仪采集所述主投影仪在投影面上投影的测试图像，并根据所述第一转换关系获取所述从投影仪坐标系与所述世界坐标系之间的第二转换关系；
根据所述第一转换关系、所述第二转换关系、目标分辨率与目标显示比例，获取所述主投影仪光栅像素面上无畸变投影的第一目标区域和所述从投影仪光栅像素面上无畸变投影的第二目标区域；
获取所述主投影仪光栅像素面与所述第一目标区域的第一映射关系，以及获取所述从投影仪光栅像素面与所述第二目标区域的第二映射关系，利用所述第一映射关系和所述第二映射关系对待投影内容进行纹理映射，实现无畸变投影。
2.根据权利要求1所述的方法，其中，所述利用所述主投影仪构建基准投影平面，包括：
利用所述主光机镜头将所述主投影仪光栅像素面上的标准网格图像投影在投影面上，并利用所述主摄像头拍摄所述投影面获取所述投影面上网格点的投影点云图像；
根据所述标准网格图像和所述投影点云图像之间像素点的对应关系以及根据预先构建的三维投影模型，获取所述投影面上网格点基于所述主光机镜头坐标系的三维坐标，其中所述三维投影模型基于所述主光机镜头坐标系和主摄像头坐标系而构建；
根据所述投影面上网格点的三维坐标对所述投影面上网格点进行空间滤除，滤除所述网格点中的无效网格点，获得有效网格点；
利用最小二乘法对所述有效网格点进行平面拟合，确定拟合所得到的平面为所述基准投影平面。
3.根据权利要求2所述的方法，其中，通过下述方法构建所述三维投影模型：
根据所述主摄像头光路光心与其在所述主摄像头传感器像素面上的第一校正点，建立第一线性关系；
根据所述主光机镜头光路光心与其在所述主投影仪光栅像素面上的第二校正点，建立第二线性关系；
根据所述主摄像头与所述主光机镜头之间的外参数，建立关于所述第一校正点与所述第二校正点的第三线性关系；
根据所述第一线性关系、所述第二线性关系和所述第三线性关系，获得所述投影面上网格点基于所述主光机镜头坐标系的三维坐标。
4.根据权利要求2所述的方法，其中，所述基于所述基准投影平面和所述主投影仪的姿态信息构建世界坐标系，获取所述主投影仪坐标系与所述世界坐标系之间的第一转换关系，包括：
在所述主光机镜头坐标系中获取所述基准投影平面的第一单位法线向量；
根据所述主光机镜头坐标系的Y轴单位向量和由所述惯性测量单元得到的所述主投影仪的姿态信息，获取绝对水平面在所述主光机镜头坐标系中的第二单位法线向量；
将所述第一单位法线向量与所述第二单位法线向量的向量积作为所述世界坐标系X轴的单位向量，将所述第二单位法线向量作为所述世界坐标系Y轴的单位向量，将所述第一单位法线向量作为所述世界坐标系Z轴的单位向量；
根据所述世界坐标系原点在所述主光机镜头坐标系中的坐标位置获取所述世界坐标系与所述主光机镜头坐标系之间的平移矩阵，以及根据所述世界坐标系X轴、Y轴Z轴的单位向量获得所述世界坐标系与所述主光机镜头坐标系之间的旋转矩阵。
5.根据权利要求1所述的方法，其中，所述利用所述从投影仪采集所述主投影仪在投影面上投影的测试图像，并根据所述第一转换关系获取所述从投影仪坐标系与所述世界坐标系之间的第二转换关系，包括：
利用所述主光机镜头将所述主投影仪光栅像素面上的ArUco测试图像投影在投影面上，并利用所述从摄像头拍摄所述投影面，获取ArUco投影图像以及所述ArUco投影图像在所述从摄像头传感器像素面的二维像素坐标，所述ArUco测试图像包括多个ArUco marker；
根据所述主光机镜头的内参数和所述第一转换关系，获取所述ArUco投影图像中每个ArUco marker边角点在所述世界坐标系中的三维坐标；
根据所述每个ArUco marker边角点在所述世界坐标系中的三维坐标和所述ArUcomarker边角点在所述从摄像头传感器像素面的二维像素坐标，获取从摄像头坐标系与所述世界坐标系的第三转换关系；
根据所述从摄像头与所述从光机镜头之间的外参数和所述第三转换关系，获取所述从光机镜头坐标系与所述世界坐标系的所述第二转换关系。
6.根据权利要求1所述的方法，其中，所述根据所述第一转换关系、所述第二转换关系、目标分辨率与目标显示比例，获取所述主投影仪光栅像素面上无畸变投影的第一目标区域和所述从投影仪光栅像素面上无畸变投影的第二目标区域，包括：
获取所述主投影仪光栅像素面上四个边角点在所述基准投影平面上形成的第一参考投影点，以及获取所述从投影仪光栅像素面上四个边角点在所述基准投影平面上形成的第二参考投影点；
根据所述主投影仪光栅像素面的宽高比在由所述第一参考投影点围成的第一四边形区域内，获取所述第一四边形区域的最大内接矩形，以及根据所述从投影仪光栅像素面的宽高比在由所述第二参考投影点围成的第二四边形区域内，获取所述第二四边形区域的最大内接矩形，所述最大内接矩形的宽高比与所述光栅像素面的宽高比一致，所述最大内接矩形的宽边和高边分别平行所述世界坐标系的X轴和Y轴；
将所述基准投影平面上所述第一四边形区域的最大内接矩形与所述第二四边形区域的最大内接矩形进行合并，获取所述基准投影平面上最大无畸变投影区域；
根据目标分辨率与目标显示比例将所述最大无畸变投影区域分割成第一投影子区域和第二投影子区域；
根据所述第一转换关系和所述主光机镜头的内参数，获得所述第一投影子区域在所述主投影仪光栅像素面上的反投影点，在所述主投影仪光栅像素面上由所述反投影点围成的矩形区域为所述第一目标区域；以及根据所述第二转换关系和所述从光机镜头的内参数，获得所述第二投影子区域在所述从投影仪光栅像素面上的反投影点，在所述从投影仪光栅像素面上由所述反投影点围成的矩形区域为所述第二目标区域。
7.根据权利要求6所述的方法，其中，所述根据目标分辨率与目标显示比例将所述最大无畸变投影区域分割成第一投影子区域和第二投影子区域，包括：
根据所述第一四边形区域、所述第二四边形区域和所述最大无畸变投影区域的面积，以及根据所述主投影仪光栅分辨率和所述从投影仪光栅分辨率，获取所述最大无畸变投影区域相对投影区域面积的第一分辨率；
根据所述最大无畸变投影区域的宽高比和所述第一分辨率，获取所述最大无畸变投影区域相对宽高比的第二分辨率；
根据标准分辨率列表中目标显示比例下的目标分辨率，在所述最大无畸变投影区域内截取所述目标显示比例下的所述目标分辨率的目标无畸变投影区域；
将所述目标无畸变投影区域中归属于第一四边形区域的部分确定为第一投影子区域，将所述述目标无畸变投影区域中剩余部分确定为第二投影子区域；或者，将所述目标无畸变投影区域中归属于第二四边形区域的部分确定为第二投影子区域，将所述目标无畸变投影区域中剩余部分确定为第一投影子区域。
8.根据权利要求6所述的方法，其中，所述根据所述主投影仪光栅像素面的宽高比在由所述第一参考投影点围成的第一四边形区域内，获取所述第一四边形区域的最大内接矩形，包括：
获取所述第一四边形区域的四个顶点以及所述第一四边形区域最左像素点和最右像素点，其中由左下角顶点和右下角顶点构成的边为底边，由左上角顶点和右上角顶点构成的边为底边，由右下角顶点和右上角顶点构成的边为右边；
根据所述最左像素点获取左边垂线的初始位置，所述左边垂线与所述世界坐标系的Y轴平行，对所述左边垂线迭代执行以下步骤a～h，直至左边垂线达到所述最右像素点：
步骤a，对所述左边垂线逐像素向右移动后执行步骤b；
步骤b，对每像素位置的左边垂线，以所述左边垂线与所述底边的交点形成所述最大内接矩形的候选左上顶点，对所述候选左上顶点逐像素向上移动并执行步骤c；
步骤c，对每像素位置的左边垂线，以所述左边垂线与所述顶边的交点形成所述最大内接矩形的候选左下顶点，对所述候选左下顶点逐像素向下移动并执行步骤d；
步骤d，根据所述候选左上顶点和所述候选左下顶点分别获取与所述世界坐标系的X轴平行的第一直线和第二直线，根据所述第一直线与所述第二直线与所述右边形成的两个交点中靠近左边的交点确定候选右下顶点和候选右上顶点，在四个候选顶点围成的矩形区域内确定候选矩形，计算其面积并执行步骤e，其中所述候选矩形为与所述主投影仪光栅像素面宽高比一致的最大矩形；
步骤e，当所述候选矩形的面积大于最大内接矩形面积时，将所述最大内接矩形面积更新为所述候选矩形的面积，并将所述最大内接矩形四个顶点的坐标更新为所述候选矩形四个顶点的坐标，执行步骤f；当所述候选矩形的面积不大于所述最大内接矩形面积时，保持所述最大内接矩形面积与所述最大内接矩形四个顶点的坐标，执行步骤f；
步骤f，在所述候选左上顶点未到达所述左边垂线与所述顶边的交点像素位置时，执行步骤b；在所述候选左上顶点到达所述左边垂线与所述顶边的交点像素位置时，执行步骤g；
步骤g，在所述候选左下顶点未到达所述左边垂线与所述底边的交点像素位置时，执行步骤c；在所述候选左下顶点到达所述左边垂线与所述底边的交点像素位置时，执行步骤h；
步骤h，在所述左边垂线未到达所述最右像素点时，执行步骤a；在所述左边垂线已到达所述最右像素点时，获得所述最大内接矩形面积对应的四个定位的坐标为所述最大内接矩形的四个顶点坐标。
9.一种投影系统分辨率扩展装置，其中，所述投影系统包括主投影仪和从投影仪，所述主投影仪具有主光机镜头、主摄像头和惯性测量单元，所述从投影仪均具有从光机镜头和从摄像头，所述装置包括：
第一计算单元，利用所述主投影仪构建基准投影平面，并基于所述基准投影平面和所述主投影仪的姿态信息构建世界坐标系，获取所述主投影仪坐标系与所述世界坐标系之间的第一转换关系；
第二计算单元，利用所述从投影仪采集所述主投影仪在投影面上投影的测试图像，并根据所述第一转换关系获取所述从投影仪坐标系与所述世界坐标系之间的第二转换关系；
第三计算单元，根据所述第一转换关系、所述第二转换关系、目标分辨率与目标显示比例，获取所述主投影仪光栅像素面上无畸变投影的第一目标区域和所述从投影仪光栅像素面上无畸变投影的第二目标区域；
纹理映射单元，获取所述主投影仪光栅像素面与所述第一目标区域的第一映射关系，以及获取所述从投影仪光栅像素面与所述第二目标区域的第二映射关系，利用所述第一映射关系和所述第二映射关系对待投影内容进行纹理映射，实现无畸变投影。
10.一种投影系统，其中，包括：主投影仪和从投影仪，所述主投影仪具有主光机镜头、主摄像头和惯性测量单元，所述从投影仪具有从光机镜头和从摄像头；所述主投影仪和所述从投影仪还具有数据通信模块，通过所述数据通信模块实现所述主投影仪和所述从投影仪之间的数据传输和所述主投影仪对所述从投影仪的控制；所述主投影仪还包括：
存储器，存储计算机可执行指令；
图形处理器，所述计算机可执行指令在被执行时使所述图形处理器执行如权利要求1-8任一项所述的方法。
11.一种计算机可读存储介质，其中，所述计算机可读存储介质上存储有一个或多个计算机程序，所述一个或多个计算机程序被执行时实现如权利要求1-8任一项所述的方法。
CN201910457920.9A 2019-05-29 2019-05-29 一种投影系统分辨率扩展方法、装置和投影系统 Active CN110191326B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910457920.9A CN110191326B (zh) 2019-05-29 2019-05-29 一种投影系统分辨率扩展方法、装置和投影系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910457920.9A CN110191326B (zh) 2019-05-29 2019-05-29 一种投影系统分辨率扩展方法、装置和投影系统

Publications (2)

Publication Number Publication Date
CN110191326A true CN110191326A (zh) 2019-08-30
CN110191326B CN110191326B (zh) 2021-09-17

Family

ID=67718613

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910457920.9A Active CN110191326B (zh) 2019-05-29 2019-05-29 一种投影系统分辨率扩展方法、装置和投影系统

Country Status (1)

Country Link
CN (1) CN110191326B (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110823516A (zh) * 2019-09-27 2020-02-21 深圳市火乐科技发展有限公司 测试方法及相关设备
CN112261396A (zh) * 2020-10-26 2021-01-22 成都极米科技股份有限公司 投影方法、装置、投影设备及计算机可读存储介质
CN112884898A (zh) * 2021-03-17 2021-06-01 杭州思看科技有限公司 用于测量纹理映射精度的参考装置
CN113191963A (zh) * 2021-04-02 2021-07-30 华中科技大学 一种无需附加操作的投影仪残余畸变全场标定方法及装置
CN113470131A (zh) * 2021-06-08 2021-10-01 中国人民解放军93114部队 海面仿真图像的生成方法、装置、电子设备和存储介质
CN114449235A (zh) * 2020-10-30 2022-05-06 中强光电股份有限公司 多个投影机的画面均匀化的方法与装置
WO2022121686A1 (zh) * 2020-12-11 2022-06-16 深圳光峰科技股份有限公司 投影融合方法、投影融合系统及计算机可读存储介质
CN114820791A (zh) * 2022-04-26 2022-07-29 成都极米科技股份有限公司 障碍物检测方法、装置、系统及非易失性存储介质
CN115190281A (zh) * 2022-06-30 2022-10-14 海宁奕斯伟集成电路设计有限公司 调整投影仪投影位置的装置及方法
CN116828163A (zh) * 2023-08-30 2023-09-29 深圳市影冠科技有限公司 一种投影仪的控制系统及控制方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517016A (zh) * 2012-06-22 2014-01-15 精工爱普生株式会社 投影机、图像显示系统、投影机的控制方法
WO2016194191A1 (ja) * 2015-06-04 2016-12-08 日立マクセル株式会社 投射型映像表示装置および映像表示方法
CN108737799A (zh) * 2017-04-24 2018-11-02 中兴通讯股份有限公司 一种投影方法、装置及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103517016A (zh) * 2012-06-22 2014-01-15 精工爱普生株式会社 投影机、图像显示系统、投影机的控制方法
WO2016194191A1 (ja) * 2015-06-04 2016-12-08 日立マクセル株式会社 投射型映像表示装置および映像表示方法
CN108737799A (zh) * 2017-04-24 2018-11-02 中兴通讯股份有限公司 一种投影方法、装置及系统

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110823516B (zh) * 2019-09-27 2021-04-30 深圳市火乐科技发展有限公司 测试方法及相关设备
CN110823516A (zh) * 2019-09-27 2020-02-21 深圳市火乐科技发展有限公司 测试方法及相关设备
CN112261396A (zh) * 2020-10-26 2021-01-22 成都极米科技股份有限公司 投影方法、装置、投影设备及计算机可读存储介质
CN112261396B (zh) * 2020-10-26 2022-02-25 成都极米科技股份有限公司 投影方法、装置、投影设备及计算机可读存储介质
CN114449235B (zh) * 2020-10-30 2024-01-12 中强光电股份有限公司 多个投影机的画面均匀化的方法与装置
CN114449235A (zh) * 2020-10-30 2022-05-06 中强光电股份有限公司 多个投影机的画面均匀化的方法与装置
WO2022121686A1 (zh) * 2020-12-11 2022-06-16 深圳光峰科技股份有限公司 投影融合方法、投影融合系统及计算机可读存储介质
CN112884898A (zh) * 2021-03-17 2021-06-01 杭州思看科技有限公司 用于测量纹理映射精度的参考装置
CN112884898B (zh) * 2021-03-17 2022-06-07 杭州思看科技有限公司 用于测量纹理映射精度的参考装置
CN113191963A (zh) * 2021-04-02 2021-07-30 华中科技大学 一种无需附加操作的投影仪残余畸变全场标定方法及装置
CN113191963B (zh) * 2021-04-02 2022-08-05 华中科技大学 一种无需附加操作的投影仪残余畸变全场标定方法及装置
CN113470131A (zh) * 2021-06-08 2021-10-01 中国人民解放军93114部队 海面仿真图像的生成方法、装置、电子设备和存储介质
CN113470131B (zh) * 2021-06-08 2024-04-26 中国人民解放军93114部队 海面仿真图像的生成方法、装置、电子设备和存储介质
CN114820791A (zh) * 2022-04-26 2022-07-29 成都极米科技股份有限公司 障碍物检测方法、装置、系统及非易失性存储介质
CN114820791B (zh) * 2022-04-26 2023-05-02 极米科技股份有限公司 障碍物检测方法、装置、系统及非易失性存储介质
CN115190281A (zh) * 2022-06-30 2022-10-14 海宁奕斯伟集成电路设计有限公司 调整投影仪投影位置的装置及方法
CN115190281B (zh) * 2022-06-30 2024-01-02 海宁奕斯伟集成电路设计有限公司 调整投影仪投影位置的装置及方法
CN116828163A (zh) * 2023-08-30 2023-09-29 深圳市影冠科技有限公司 一种投影仪的控制系统及控制方法
CN116828163B (zh) * 2023-08-30 2023-11-21 深圳市影冠科技有限公司 一种投影仪的控制系统及控制方法

Also Published As

Publication number Publication date
CN110191326B (zh) 2021-09-17

Similar Documents

Publication Publication Date Title
CN110336987A (zh) 一种投影仪畸变校正方法、装置和投影仪
CN110191326A (zh) 一种投影系统分辨率扩展方法、装置和投影系统
CN110111262B (zh) 一种投影仪投影畸变校正方法、装置和投影仪
CN109272478B (zh) 一种荧幕投影方法和装置及相关设备
US8432435B2 (en) Ray image modeling for fast catadioptric light field rendering
CN106127745B (zh) 结构光3d视觉系统与线阵相机的联合标定方法及装置
KR101265667B1 (ko) 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법
Sajadi et al. Auto-calibration of cylindrical multi-projector systems
CN101000461B (zh) 一种鱼眼图像生成立方体全景的方法
JP6704238B2 (ja) 画像から自動化されたテクスチャリングマッピングおよびアニメーション
CN110490916A (zh) 三维对象建模方法与设备、图像处理装置及介质
CN104155765B (zh) 在拼接式集成成像显示器中校正三维图像的方法和设备
CN108257183A (zh) 一种相机镜头光轴校准方法和装置
WO2018077071A1 (zh) 一种全景图像的生成方法及装置
CN105308503A (zh) 利用短程相机校准显示系统的系统和方法
JP2014522591A (ja) 角スライス実像３ｄディスプレイのためのアライメント、キャリブレーション、およびレンダリングのシステムおよび方法
US20130070094A1 (en) Automatic registration of multi-projector dome images
CN105957048A (zh) 鱼眼镜头拍摄图像的3d全景显示方法和系统
KR20100081971A (ko) 파노라마식 투영 장치 및 상기 장치에 의해 실행되는 방법
CN104937634B (zh) 用于生成环绕视图的方法和系统
CN107180406A (zh) 图像处理方法和设备
CN105025284B (zh) 标定集成成像显示设备的显示误差的方法和设备
Sajadi et al. Autocalibrating tiled projectors on piecewise smooth vertically extruded surfaces
CN110648274B (zh) 鱼眼图像的生成方法及装置
CN106170086B (zh) 绘制三维图像的方法及其装置、系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20220720

Address after: Room 1903, 19 / F, building D, Zhizhen building, No. 7 Zhichun Road, Haidian District, Beijing 100088

Patentee after: Bird innovation (Beijing) Technology Co.,Ltd.

Address before: 100191 room 1801, block D, Zhizhen building, 7 Zhichun Road, Haidian District, Beijing

Patentee before: BEIJING XIAONIAO TINGTING TECHNOLOGY Co.,Ltd.