CN112118435A - 面向异形金属屏幕的多投影融合方法及系统 - Google Patents

面向异形金属屏幕的多投影融合方法及系统 Download PDF

Info

Publication number
CN112118435A
CN112118435A CN202010772263.XA CN202010772263A CN112118435A CN 112118435 A CN112118435 A CN 112118435A CN 202010772263 A CN202010772263 A CN 202010772263A CN 112118435 A CN112118435 A CN 112118435A
Authority
CN
China
Prior art keywords
projector
brightness
image
images
curtain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010772263.XA
Other languages
English (en)
Other versions
CN112118435B (zh
Inventor
杨承磊
马鸣聪
关东东
盖伟
孟祥旭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shandong University
Original Assignee
Shandong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shandong University filed Critical Shandong University
Priority to CN202010772263.XA priority Critical patent/CN112118435B/zh
Publication of CN112118435A publication Critical patent/CN112118435A/zh
Application granted granted Critical
Publication of CN112118435B publication Critical patent/CN112118435B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3182—Colour adjustment, e.g. white balance, shading or gamut
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Projection Apparatus (AREA)

Abstract

本申请公开了面向异形金属屏幕的多投影融合方法及系统，包括：多台摄像机、多台投影仪、异形金属屏幕、Kinect和服务器；服务器根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；服务器根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；Kinect根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。

Description

面向异形金属屏幕的多投影融合方法及系统
技术领域
本申请涉及多投影融合技术领域，特别是涉及面向异形金属屏幕的多投影融合方法及系统。
背景技术
本部分的陈述仅仅是提到了与本申请相关的背景技术，并不必然构成现有技术。
基于曲面投影幕布的沉浸式虚拟现实环境设施广泛应用于主题公园、数字博物馆、教育培训、科学普及等各个领域。与头戴式显示设备(HMD)相比，曲面投影幕布可以为用户提供较大的移动交互空间及视野范围，沉浸感和舒适感也更好。为了使用户获得更好的沉浸式体验，曲面投影幕布这类异形幕布的面积也在逐步扩大，尝试完全占据用户视野范围以营造更加稳定的体验。
在异形屏幕上拼接多幅投影图像是提供大规模、高分辨率且无缝视觉体验的一种常用方法。在这种视觉系统中，多投影仪通过将各自的投影图像彼此重叠来构成无缝的图像结果，使得观看者可以享受到身临其境的视觉体验。因此，基于曲面投影幕布的XD影院、飞翔影院、全球幕影院等在各个领域中得到了越来越广泛的应用，包括主题公园、数字博物馆、教育培训、科学普及等等。
随着用户需求的逐渐提高，多投影系统中幕布的材质、面积和布置方式也在逐渐变化。面对投影幕布增益系数逐渐增大、幕布面积逐渐增大等问题，传统的多投影融合系统往往不能很好的适应。传统的融合系统对平面幕布或者中小型异形幕布有着较好的适应性，但对目前来说较为热门的异形金属屏幕却存在着需要解决的一些问题。因此，研发针对异形投影幕布的多投影融合系统有着很好的市场需求。
发明人发现，目前，这类系统中存在的问题主要表现在：
(1)普通相机镜头视野范围难以覆盖较大型幕布，基于相机标定的方法在较大型幕布上使用十分复杂且难以保证精度；
(2)图像投影到曲面上出现的几何形变需要稠密且精确地恢复和拼接；
(3)幕布的高增益系数和复杂光学特性既导致单视点前提下屏幕各个位置亮度不一致，也导致了移动视点前提下同一位置亮度不一致。多投影重叠区域也会出现剧烈的亮度变化。
发明内容
为了解决现有技术的不足，本申请提供了面向异形金属屏幕的多投影融合方法及系统；在不改变现有硬件条件的前提下，本申请针对异形幕布的多投影系统进行几何校正和图像拼接，并对亮度进行融合处理，得到较好的图像拼接结果和亮度融合效果，增强用户的沉浸感和舒适度，而且整体流程相对精简，使得系统具有较好的可维护性和可重复性。
第一方面，本申请提供了面向异形金属屏幕的多投影融合方法；
面向异形金属屏幕的多投影融合方法，包括：
根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；
根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；
根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。
第二方面，本申请提供了面向异形金属屏幕的多投影融合装置；
面向异形金属屏幕的多投影融合装置，包括：
阶梯图像输出模块，其被配置为：根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；
亮度融合模块，其被配置为：根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；
图像投影模块，其被配置为：根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。
第三方面，本申请还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述第一方面所述的方法。
第四方面，本申请还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成第一方面所述的方法。
第五方面，本申请提供了面向异形金属屏幕的多投影融合系统；
面向异形金属屏幕的多投影融合系统，包括：两台摄像机、三台投影仪、一个异形金属屏幕、Kinect和服务器；
服务器根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；
服务器根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；
Kinect根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。
第六方面，本申请还提供了一种计算机程序(产品)，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现前述第一方面任意一项的方法。
本申请的工作原理为：使用标定后的相机和棋盘格图像，实现对屏幕表面的稠密三维恢复，从而构建屏幕空间位置坐标与投影仪物理像素坐标之间的映射关系，该映射关系可以实现投影仪之间的图像拼接。由于像素的输入像素值与输出辐照度归一化后呈现幂函数关系，其单个像素的修正系数经过推导可用常数实现，且计算过程可以离线化进行以保证实时的亮度融合。
本申请的有益效果为：
1、基于相机标定实现屏幕的稠密恢复，适用于异形金属屏幕，取得较好的图像拼接结果。
2、使用辐照度概念来阐述亮度并实现亮度融合，取得较好的亮度融合效果
3、处理迅速且节约人力，对于全新的应用环境，能在一小时内完成从图像绘制到展示播放流程，1至2人就能完成。
4、自动化程度较高，除拍摄过程需要人工参与外，其余流程均交由系统自动完成，无需额外的人工介入。
附图说明
构成本申请的一部分的说明书附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。
图1为第一个实施例的多投影融合系统的方法流程图；
图2为第一个实施例的多投影融合系统用户使用示意图；
图3为第一个实施例的拍摄工作的示意图；
图4为第一个实施例的预处理的工作流程图；
图5为第一个实施例的预处理输出的棋盘格图像示例；
图6(a)-图6(q)为第一个实施例的预处理输出的阶梯图像示例；
图7为第一个实施例的几何拼接和亮度融合的工作流程图；
图8为第一个实施例的相机标定的数据流图；
图9为第一个实施例的有效投影区域的示意图；
图10为第一个实施例的辐照度动态分配示意图；
图11为第一个实施例的图像播放的工作流程图。
具体实施方式
应该指出，以下详细说明都是示例性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。
实施例一
本实施例提供了面向异形金属屏幕的多投影融合方法；
如图1所示，面向异形金属屏幕的多投影融合方法，包括：
S101：根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；
S102：根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；
S103：根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。
作为一个或多个实施例，如图4所示，所述方法还包括：
S100：根据投影仪的物理像素分辨率，绘制棋盘格图像；
根据投影仪的物理像素分辨率，绘制阶梯图像。
进一步地，所述根据投影仪的物理像素分辨率，绘制棋盘格图像，具体步骤包括：
根据用户输入的相关参数计算棋盘格图像矩阵，然后将该矩阵保存为图像文件。其中，用户输入的相关参数包括图像像素高度和图像像素宽度。
进一步地，所述根据投影仪的物理像素分辨率，绘制阶梯图像，具体步骤包括：
根据用户输入的相关参数调整绘制阶梯图像的像素尺寸大小，然后根据阶梯跨度生成纯色图像矩阵，然后将该矩阵分别保存为多个图像文件。其中，用户输入的参数包括图像像素高度和图像像素宽度。
进一步地，所述棋盘格密度允许自定义修改。
进一步地，所述阶梯图像的阶梯跨度允许自定义修改。
示例性的，根据投影仪实际物理分辨率绘制投影用棋盘格图像和阶梯图像。其中棋盘格图像1张，阶梯图像17张，其对应的纯色RGB值分别为(0,0,0)，(16,16,16)，(32，32，32)，(48，48，48)，(64，64，64)，(80，80，80)，(96，96，96)，(112，112，112)，(128，128，128)，(144，144，144)，(160，160，160)，(176，176，176)，(192，192，192)，(208，208，208)，(224，224，224)，(240，240，240)，(255，255，255)。
进一步地，所述S101中，从不同拍摄位置拍摄的异形金属屏幕图像，具体步骤包括：
根据场景实际环境，选定多个拍摄机位，在每个拍摄机位上分别完成对应的拍摄工作。
进一步地，在每个拍摄机位上分别完成对应的拍摄工作，其中对单个机位的拍摄工作，具体包括：
S101a1：将相机放置到当前机位上，稳固三脚架并将相机保持在与人眼等高的高度，调整其朝向确保相机能完整且清晰地捕获目标投影区域；
S101a2：选择一台投影仪使其投影棋盘格图像，并确保其他的投影仪不会干扰该棋盘格图像，使用相机拍摄该棋盘格图像以获取当前机位空间位置；
S101a3：依次选定投影仪，使选定的投影仪顺次投影阶梯图像并使用相机进行拍摄；在拍摄过程中，不同的阶梯图像选择对应的曝光时间以确保图像不会发生过曝现象；同时，对选定的投影仪之外的其他投影仪进行遮挡或者关闭，以保证不会产生光源干扰；
S101a4：在单个机位拍摄过程中，保持相机及三脚架不被移动，使用遥控快门完成相关拍摄操作。
作为一个或多个实施例，所述S101：根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；具体步骤包括：
S1011：对拍摄图像进行单目相机标定，并基于标定结果对所有拍摄图像进行鱼眼矫正，使用鱼眼矫正后的相机标定图像执行立体相机标定，获取相机的内外参数，并基于相机的内外参数构建标定三维空间坐标系；
S1012：获取投影特征点的空间位置数据，将投影仪视作针孔模型的反相机实现标定并获取其空间位置及朝向；
使用主成分分析调整投影特征点的空间坐标后，得到特征点在世界空间坐标系中的坐标，并在世界空间坐标系下将所有特征点利用二次曲面拟合的方式，得到幕布表面的参数化方程，实现对幕布的参数化恢复；
基于投影仪标定后得到空间位置及朝向数据，结合幕布表面的参数化方程，恢复所有投影仪物理像素在幕布上的三维空间坐标；
S1013：对所有投影仪物理像素在幕布上的三维空间坐标进行弧长参数化，确定有效投影区域，并标记所有像素点的重叠性，即该像素点是否收到多个投影仪的投影，并构建有效区域坐标到输入图像坐标的映射关系，将映射关系编码后保存为图像形式。
作为一个或多个实施例，所述S101：根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；详细步骤包括：
S101-1：对相机标定操作中的拍摄图像进行相机标定处理，以获取当前相机的标定结果并使用该结果对拍摄图像进行鱼眼矫正；
S101-2：使用鱼眼矫正后的相机标定图像进行立体相机标定作为最终标定结果；
S101-3：根据立体标定结果和棋盘格拍摄图像，获取幕布表面空间位置的稀疏恢复点集，对该稀疏恢复点集进行主成分分析得到其在世界空间坐标系中的空间坐标，以充分利用屏幕垂直于地面的特性，并确保该三维空间坐标中的Y坐标与X、Z坐标相互独立，不受影响；
S101-4：将投影仪视作针孔模型的反相机，对投影仪进行标定操作获得投影仪标定模型；
S101-5：使用二次曲面拟合方法对幕布表面空间位置的稀疏恢复点集进行曲面拟合，以获取屏幕表面的参数化方程；
S101-6：使用投影仪标定模型与屏幕表面的参数化方程进行空间求交运算，获取所有投影仪物理像素点在屏幕上空间位置的恢复，得到稠密恢复点集；
S101-7：使用弧长参数化对屏幕表面的稠密恢复点集进行处理，使用弧长S取代X、Z坐标，实现数据降维，(S，Y)坐标表述屏幕表面上任意一点。
S101-8：确定屏幕有效投影区域，将(S，Y)坐标映射到有效投影区域的(S′，Y′)坐标中，有效投影区域与输入图像的(U，V)坐标具有映射关系。
S101-9：将像素坐标之间的映射关系经过编码转换为图片格式进行保存。
示例性的，如图7所示，几何拼接的工作流程由以下三步构成：
(1)读入拍摄工作产生的阶梯图像拍摄结果和相机标定图像拍摄结果，一方面生成相机标定数据用于后续几何拼接，另一方面生成经过鱼眼矫正的阶梯图像；
(2)根据相机标定数据和拍摄的棋盘格图像，稀疏恢复幕布的空间数据后进行主成分分析并对投影仪进行标定。对稀疏屏幕空间点集进行曲面拟合，并根据曲面方程和标定后的投影仪进行屏幕空间位置的稠密恢复。
(3)根据曲面参数方程和稠密恢复的屏幕表面空间点集，使用弧长参数化技术对三维空间坐标实现降维，并构建与输入图像之间的映射关系。同时基于屏幕边缘的数据，确定投影重叠区域，并将该信息额外保存为图片形式，辅助运算修正系数。将映射关系编码后保存为图片格式作为最终输出。
如图8所示，相机标定的对单个相机数据的处理由以下三步组成：
(1)使用相机标定图像进行单目标定并获取标定结果。
(2)使用该标定结果对相机标定图像和阶梯图像进行鱼眼矫正，矫正后的阶梯图像将作为亮度融合的输入。
(3)矫正后的相机标定图像作为双目标定输入数据的一部分执行双目立体标定。
应理解的，对所有拍摄图像进行处理，计算投影仪物理像素坐标与幕布空间坐标的映射关系并保存为带有ALPHA通道的PNG图片格式。
作为一个或多个实施例，所述S102：根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；具体步骤包括：
S1021：构建相机响应函数曲线CRF，结合相机响应函数曲线CRF和阶梯图像，将输入像素值到辐照度的映射关系拟合为幂函数曲线的形式，获取每幅图像对应的辐照度数据；
S1022：对每幅图像对应的辐照度数据进行平滑处理；在保证使用者肉眼无法观察出差异的前提下，每个像素的辐照度提高一个设定阈值；对每个机位平滑后的辐照度区间进行统一的缩放处理，以保证不同机位上有着相同的目标辐照度。
S1023：对平滑后的辐照度进行RGB色彩通道分配，确定矫正系数表，并对矫正系数进行编码后保存为图像形式。
作为一个或多个实施例，所述S102：根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；融合原理推导如下：
对于单个像素，其输入像素值与输出辐照度经过归一化后，呈现出幂函数关系，即：
R＝Wijgt； (1)
其中，R为该像素的输出辐照度，g为该像素的输入像素值，t为该像素拟合幂函数的幂指数，Wij为该像素可达的最大辐照度(即输入像素为255时的辐照度)。
由于亮度融合的目的是将所有像素的亮度保持在一个相同的区间内，因此其融合公式如下所示：
Figure BDA0002617087310000121
其中，R′是融合后的辐照度，Wm是该像素被允许达到的最大辐照度。通过该公式，像素点的可达辐照度实现了压缩，以确保不同像素之间拥有相同的亮度区间。
结合以上公式(1)和公式(2)，得出：
R′＝Wmgt； (3)
该公式阐述了融合后的辐照度与输入像素值之间的关系，由于融合后的辐照度同样满足幂函数关系，因此公式(3)改写为：
Figure BDA0002617087310000122
公式(4)阐述了输入像素值与融合后像素值之间的关系，由于Wm、Wij和t对于单个像素来说均为可以计算的常量，因此最终的像素修正系数为：
Figure BDA0002617087310000123
其中，λ为每个像素对应的修正系数。
对于重叠区域来说，由于辐照度满足叠加性原理，因此仅需要动态地调整其Wm值即可。
应理解的，S102的工作流程由以下三步构成：
(1)读入包围曝光拍摄图像文件，并计算出对应的相机相应函数。基于该函数对鱼眼矫正后阶梯图像进行运算，获取每幅图像对应的辐照度数据。
(2)对辐照度数据进行边缘切割和平滑处理，一方面是为了消除边缘像素的异常值，防止出现错误结果，另一方面是调整每个像素允许达到的最大辐照度值。
(3)基于亮度融合原理，对每个像素点的幂指数t进行拟合，并联合步骤(1)(2)得出的Wm和Wij数据计算最终的修正系数。其中，重叠区域的像素需要进行额外的动态调整。输出亮度修正系数图作为最终输出结果。
进一步地，所述S102中，曝光拍摄数据，获取步骤包括：
对相机进行标定，并使用包围曝光拍摄，获取对应相机的数据。
应理解的，所述S102中，计算各个投影仪像素在拍摄机位上的亮度修正参数，并将该参数保存为RGB三通道的图片形式。
作为一个或多个实施例，所述S103：根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影；具体步骤包括：
S1031：实时获取Kinect捕获的使用者位置，将使用者位置转换为标定三维空间坐标系中的位置；
S1032：根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，对输入图像进行像素级别映射；根据不同机位亮度融合数据图像，结合使用者位置，通过插值方式获取实时矫正数据；
结合像素映射关系和实时矫正系数，对图像进行像素重采样和像素值矫正，完成最终图像输出。
作为一个或多个实施例，所述S103：根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影；详细步骤包括：
S103-1：读取投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，并对其进行解码并完成图像拼接；每个拍摄机位的亮度融合结果均作为实时亮度融合的基准数据；
S103-2：实时读取Kinect设备捕获的当前用户位置；
S103-3：基于当前用户位置和拍摄机位位置，对基准数据进行插值处理，从而实时获取用户当前位置的亮度修正系数；
S103-4：使用实时生成的亮度修正系数实现亮度融合。
KINECT设备，根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。图影图像拼接形成一个整体，亮度一致的同时根据用户当前位置进行实时调整。
如图11所示，图像播放的工作流程由以下几个步骤组成：
(1)读入Kinect反馈的实时用户数据，并对其坐标系进行变换，使其坐标系与拍摄机位坐标系保持一致。
(2)读入几何拼接输出的图像文件，对其进行解码后作为拼接数据，对目标图像进行重采样。
(3)读入亮度融合输出的亮度修正系数图像文件，并实时读入实时追踪的用户位置数据，以该位置和拍摄机位位置作为插值基准实时计算当前亮度修正系数。
(4)将当前的实时亮度修正系数与重采样图像进行运算，得到最终图像结果并交付给投影仪。
如图2所示，面向异形金属屏幕的多投影融合系统在实际使用时，用户可在幕布前一定范围内自由自由，由Kinect捕获当前用户的位置。多台投影仪联合对输入图像进行处理，并投影出一个完整且一致的输出图像。
如图3所示，拍摄工作需要在多个机位上分别进行，具体机位的选择需要根据实际硬件环境来决定。但是至少应该选择三个机位，其分别位于用户可活动区域的两侧及中间位置，以上机位选择用于确保图像播放过程中插值处理的正确性。
如图5所示，最终输出的棋盘格图像，其尺寸大小为600*800像素，该图像在拍摄过程中被使用。该图像最外侧像素被置为红色，用于检查投影仪是否正常投影或完全投影。
如图6(a)-图6(q)所示，最终输出的阶梯图像集合，该图像在拍摄过程中被使用。阶梯图像共计17张。
如图9所示，有效投影区域是实际投影区域之中的一部分。其中，实线矩阵分别代表投影仪的实际投影区域，外侧虚线矩形为实际投影区域的最小外接矩形，内侧虚线矩形为有效投影区域，有效投影区域的确定遵循以下原则：
(1)对于上侧边缘，选择所有实线矩形两个上顶点中最小值作为上边缘取值。
(2)对于下侧边缘，选择所有实线矩形两个下顶点中最大值作为下边缘取值。
(3)对于左侧边缘，选择最左侧实线矩形的两个左顶点中最大值作为左边缘取值。
(4)对于右侧边缘，选择最右侧实线矩形的两个右顶点中最小值作为右边缘取值。
如图10所示，重叠区域的辐照度遵循动态原则进行分配。其中，实线矩形分别代表不同投影仪的实际投影区域，两条虚线分别是其中的一行像素。对于投影仪A中的虚线代表的像素来说，像素a至b属于重叠区域，因此其对应的允许达到辐照度Wm将从Wm逐渐线性变化至0。同样对于投影仪B来说，从像素c至像素d，其允许达到的辐照度Wm也会线性变化至0。该动态分配方案的原来是削弱投影仪对其边缘的影响力，防止出现多台投影仪在相同位置都具有足够的影响力。
实施例二
本实施例提供了面向异形金属屏幕的多投影融合装置；
面向异形金属屏幕的多投影融合装置，包括：
阶梯图像输出模块，其被配置为：根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；
亮度融合模块，其被配置为：根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；
图像投影模块，其被配置为：根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。
此处需要说明的是，上述阶梯图像输出模块、亮度融合模块和图像投影模块对应于实施例一中的步骤S101至S103，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
实施例三
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
实施例四
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
实施例五
本实施例提供了面向异形金属屏幕的多投影融合系统；
面向异形金属屏幕的多投影融合系统，包括：两台摄像机、三台投影仪、一个异形金属屏幕、Kinect和服务器；
服务器根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；
服务器根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；
Kinect根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。
所述系统中的每个步骤细节与实施例一中的步骤细节是一一对应的，此处不再赘述。以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.面向异形金属屏幕的多投影融合方法，其特征是，包括：
根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；
根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；
根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。
2.如权利要求1所述的方法，其特征是，所述方法还包括：
根据投影仪的物理像素分辨率，绘制棋盘格图像；根据投影仪的物理像素分辨率，绘制阶梯图像。
3.如权利要求1所述的方法，其特征是，根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；具体步骤包括：
对拍摄图像进行单目相机标定，并基于标定结果对所有拍摄图像进行鱼眼矫正，使用鱼眼矫正后的相机标定图像执行立体相机标定，获取相机的内外参数，并基于相机的内外参数构建标定三维空间坐标系；
获取投影特征点的空间位置数据，将投影仪视作针孔模型的反相机实现标定并获取其空间位置及朝向；使用主成分分析调整投影特征点的空间坐标后，得到特征点在世界空间坐标系中的坐标，并在世界空间坐标系下将所有特征点利用二次曲面拟合的方式，得到幕布表面的参数化方程，实现对幕布的参数化恢复；基于投影仪标定后得到空间位置及朝向数据，结合幕布表面的参数化方程，恢复所有投影仪物理像素在幕布上的三维空间坐标；
对所有投影仪物理像素在幕布上的三维空间坐标进行弧长参数化，确定有效投影区域，并标记所有像素点的重叠性，即该像素点是否收到多个投影仪的投影，并构建有效区域坐标到输入图像坐标的映射关系，将映射关系编码后保存为图像形式。
4.如权利要求1所述的方法，其特征是，根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；具体步骤包括：
构建相机响应函数曲线CRF，结合相机响应函数曲线CRF和阶梯图像，将输入像素值到辐照度的映射关系拟合为幂函数曲线的形式，获取每幅图像对应的辐照度数据；
对每幅图像对应的辐照度数据进行平滑处理；在保证使用者肉眼无法观察出差异的前提下，每个像素的辐照度提高一个设定阈值；对每个机位平滑后的辐照度区间进行统一的缩放处理，以保证不同机位上有着相同的目标辐照度；
对平滑后的辐照度进行RGB色彩通道分配，确定矫正系数表，并对矫正系数进行编码后保存为图像形式。
5.如权利要求1所述的方法，其特征是，所述S103：根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影；具体步骤包括：
实时获取Kinect捕获的使用者位置，将使用者位置转换为标定三维空间坐标系中的位置；
根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，对输入图像进行像素级别映射；根据不同机位亮度融合数据图像，结合使用者位置，通过插值方式获取实时矫正数据；
结合像素映射关系和实时矫正系数，对图像进行像素重采样和像素值矫正，完成最终图像输出。
6.如权利要求1所述的方法，其特征是，根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影；详细步骤包括：
读取投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，并对其进行解码并完成图像拼接；每个拍摄机位的亮度融合结果均作为实时亮度融合的基准数据；
实时读取Kinect设备捕获的当前用户位置；
基于当前用户位置和拍摄机位位置，对基准数据进行插值处理，从而实时获取用户当前位置的亮度修正系数；
使用实时生成的亮度修正系数实现亮度融合。
7.面向异形金属屏幕的多投影融合装置，其特征是，包括：
阶梯图像输出模块，其被配置为：根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；
亮度融合模块，其被配置为：根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；
图像投影模块，其被配置为：根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。
8.一种电子设备，其特征是，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述权利要求1-6任一项所述的方法。
9.一种计算机可读存储介质，其特征是，用于存储计算机指令，所述计算机指令被处理器执行时，完成权利要求1-6任一项所述的方法。
10.面向异形金属屏幕的多投影融合系统，其特征是，包括：多台摄像机、多台投影仪、异形金属屏幕、Kinect和服务器；
服务器根据从不同拍摄位置拍摄的异形金属屏幕上的投影图像，计算投影仪物理像素坐标与幕布空间坐标之间的映射关系，同时输出阶梯图像；
服务器根据阶梯图像和曝光拍摄数据，计算各个投影仪在不同拍摄机位上的亮度修正参数，根据各个投影仪在不同拍摄机位上的亮度修正参数，获取不同机位亮度融合数据图像；
Kinect根据投影仪物理像素坐标与幕布空间坐标之间的映射关系，和不同机位亮度融合数据图像，实现最终的图像投影。
CN202010772263.XA 2020-08-04 2020-08-04 面向异形金属屏幕的多投影融合方法及系统 Active CN112118435B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010772263.XA CN112118435B (zh) 2020-08-04 2020-08-04 面向异形金属屏幕的多投影融合方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010772263.XA CN112118435B (zh) 2020-08-04 2020-08-04 面向异形金属屏幕的多投影融合方法及系统

Publications (2)

Publication Number Publication Date
CN112118435A true CN112118435A (zh) 2020-12-22
CN112118435B CN112118435B (zh) 2021-06-25

Family

ID=73799146

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010772263.XA Active CN112118435B (zh) 2020-08-04 2020-08-04 面向异形金属屏幕的多投影融合方法及系统

Country Status (1)

Country Link
CN (1) CN112118435B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113340235A (zh) * 2021-04-27 2021-09-03 成都飞机工业（集团）有限责任公司 基于动态投影的投影系统及相位移动图案生成方法
CN114740684A (zh) * 2022-04-27 2022-07-12 华中科技大学 一种基于曲面屏幕的立体投影优化方法及系统
CN116596824A (zh) * 2023-07-17 2023-08-15 中国空气动力研究与发展中心高速空气动力研究所 多相机三维面模型融合方法
CN116912276A (zh) * 2023-09-12 2023-10-20 深圳精智达技术股份有限公司 一种圆弧屏体aa区抓取方法、装置电子设备和存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249652A (ja) * 2000-03-07 2001-09-14 Hitachi Ltd マルチスクリーン表示装置、表示システム及びこれらに用いるプロジェクタ駆動回路
CN102231099A (zh) * 2011-07-06 2011-11-02 清华大学 多投影仪自由立体显示的逐像素响应的亮度校正方法
CN102841767A (zh) * 2011-06-22 2012-12-26 华为终端有限公司 多投影拼接几何校正方法及校正装置
CN102929091A (zh) * 2012-08-03 2013-02-13 吉林禹硕动漫游戏科技股份有限公司 数字球幕立体电影的制作方法
CN103019643A (zh) * 2012-12-30 2013-04-03 中国海洋大学 一种即插即用的大屏幕投影自动校正与拼接显示方法
CN104299218A (zh) * 2013-07-17 2015-01-21 南京邮电大学 基于镜头畸变规律的投影仪标定方法
CN104657982A (zh) * 2015-01-15 2015-05-27 华中科技大学 一种投影仪标定方法
CN104778658A (zh) * 2015-04-01 2015-07-15 北京理工大学 一种多投影机投影图像全自动几何拼接校正方法
CN104954715A (zh) * 2015-07-06 2015-09-30 山东大学 基于gpu加速的异形屏幕多投影拼接融合视频播放的方法
CN106447736A (zh) * 2016-11-23 2017-02-22 安徽慧视金瞳科技有限公司 一种基于逐行划分的多标定点检测方法
CN108827184A (zh) * 2018-04-28 2018-11-16 南京航空航天大学 一种基于相机响应曲线的结构光自适应三维测量方法
CN109307483A (zh) * 2018-11-20 2019-02-05 西南石油大学 一种基于结构光系统几何约束的相位展开方法

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001249652A (ja) * 2000-03-07 2001-09-14 Hitachi Ltd マルチスクリーン表示装置、表示システム及びこれらに用いるプロジェクタ駆動回路
CN102841767A (zh) * 2011-06-22 2012-12-26 华为终端有限公司 多投影拼接几何校正方法及校正装置
CN102231099A (zh) * 2011-07-06 2011-11-02 清华大学 多投影仪自由立体显示的逐像素响应的亮度校正方法
CN102929091A (zh) * 2012-08-03 2013-02-13 吉林禹硕动漫游戏科技股份有限公司 数字球幕立体电影的制作方法
CN103019643A (zh) * 2012-12-30 2013-04-03 中国海洋大学 一种即插即用的大屏幕投影自动校正与拼接显示方法
CN104299218A (zh) * 2013-07-17 2015-01-21 南京邮电大学 基于镜头畸变规律的投影仪标定方法
CN104657982A (zh) * 2015-01-15 2015-05-27 华中科技大学 一种投影仪标定方法
CN104778658A (zh) * 2015-04-01 2015-07-15 北京理工大学 一种多投影机投影图像全自动几何拼接校正方法
CN104954715A (zh) * 2015-07-06 2015-09-30 山东大学 基于gpu加速的异形屏幕多投影拼接融合视频播放的方法
CN106447736A (zh) * 2016-11-23 2017-02-22 安徽慧视金瞳科技有限公司 一种基于逐行划分的多标定点检测方法
CN108827184A (zh) * 2018-04-28 2018-11-16 南京航空航天大学 一种基于相机响应曲线的结构光自适应三维测量方法
CN109307483A (zh) * 2018-11-20 2019-02-05 西南石油大学 一种基于结构光系统几何约束的相位展开方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113340235A (zh) * 2021-04-27 2021-09-03 成都飞机工业（集团）有限责任公司 基于动态投影的投影系统及相位移动图案生成方法
CN113340235B (zh) * 2021-04-27 2022-08-12 成都飞机工业（集团）有限责任公司 基于动态投影的投影系统及相位移动图案生成方法
CN114740684A (zh) * 2022-04-27 2022-07-12 华中科技大学 一种基于曲面屏幕的立体投影优化方法及系统
CN114740684B (zh) * 2022-04-27 2023-02-10 华中科技大学 一种基于曲面屏幕的立体投影优化方法及系统
CN116596824A (zh) * 2023-07-17 2023-08-15 中国空气动力研究与发展中心高速空气动力研究所 多相机三维面模型融合方法
CN116596824B (zh) * 2023-07-17 2023-09-12 中国空气动力研究与发展中心高速空气动力研究所 多相机三维面模型融合方法
CN116912276A (zh) * 2023-09-12 2023-10-20 深圳精智达技术股份有限公司 一种圆弧屏体aa区抓取方法、装置电子设备和存储介质
CN116912276B (zh) * 2023-09-12 2024-01-09 深圳精智达技术股份有限公司 一种圆弧屏体aa区抓取方法、装置电子设备和存储介质

Also Published As

Publication number Publication date
CN112118435B (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
CN112118435B (zh) 面向异形金属屏幕的多投影融合方法及系统
US11076142B2 (en) Real-time aliasing rendering method for 3D VR video and virtual three-dimensional scene
US10460459B2 (en) Stitching frames into a panoramic frame
CN104954769B (zh) 一种浸入式超高清视频处理系统及方法
US20230291884A1 (en) Methods for controlling scene, camera and viewing parameters for altering perception of 3d imagery
US11514654B1 (en) Calibrating focus/defocus operations of a virtual display based on camera settings
US20110157155A1 (en) Layer management system for choreographing stereoscopic depth
US12008708B2 (en) Method and data processing system for creating or adapting individual images based on properties of a light ray within a lens
CN108737738A (zh) 一种全景相机及其曝光方法和装置
WO2023207452A1 (zh) 基于虚拟现实的视频生成方法、装置、设备及介质
JPH09181966A (ja) 画像処理方法及び装置
JP2022524806A (ja) 画像融合方法及び携帯端末
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
CN110290365B (zh) 一种边缘融合方法
Ainsworth et al. Acquisition of stereo panoramas for display in VR environments
CN111597963B (zh) 用于图像中人脸的补光方法、系统、介质以及电子设备
EP4150560B1 (en) Single image 3d photography with soft-layering and depth-aware inpainting
WO2022091811A1 (ja) 画像処理装置、画像処理方法、画像処理システム
CN115209123A (zh) 一种vr多目相机视频的拼接方法
Lee Wand: 360∘ video projection mapping using a 360∘ camera
KR102617776B1 (ko) 3d 모델 표면 재질 자동 생성 방법 및 장치
CN115150597A (zh) 投影显示方法、装置及投影设备
CN117459694A (zh) 图像生成方法、装置、电子设备及存储介质
CN117119125A (zh) 画面生成方法、装置、电子设备及存储介质
CN118379223A (zh) 图像处理方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant