CN109598778A - 一种实时演算异形投影表面进行素材投射的方法 - Google Patents

Abstract

本发明公开一种实时演算异形投影表面进行素材投射的方法，包括：S01获取异形投影面3D化模型数据；S02标定异形投影面表面图像分布格式；S03获取投影设备技术参数；S04标定投影设备与异形投影面位置关系；S05将单个或多个视频或图像内容进行实时3D演算；S06输出到投影设备。步骤S05包括如下流程：S051切分模型；S052配置输出格式；S053配置输出视角及3D世界变换信息；S054获取源视频或图像内容，贴到切分后的异形投影表面3D模型；S055将3D世界信息转换为3D透视信息并生成输出图像。本发明实现在异形投影表面进行实时演算并投影各种素材，且投影环境发生改变后，原本投射素材将可复用。

Description

一种实时演算异形投影表面进行素材投射的方法

技术领域

本发明涉及计算机图像处理技术，尤其是异形投影技术领域计算机实时演算图像处理的方法。

背景技术

传统的异形投影为单个或多个投影设备将图片及图像投射至单个或多个非标准投射介质表面，实现异形表面图像展示的功能（如图1、图2所示）。

由于异形投影投射介质较传统投影不同，故投射素材也相应较传统视频或图像内容有所区别，这里以正方体斜角投影为例，投影机投射图像为三个不同视频或图像组合成的一个不规则画面（如图3所示）。

传统异形投影中，投射素材为按照投影介质预制好的视频内容，为此需要针对不同投射介质制作不同视频内容，需要综合投影环境(包括将投射介质的大小、形状、位置、投影机位置、距离、角度等信息)，制作对应的投射素材（视频或图像或动画内容）。

可见，现有技术投影素材的制作难度大、费用高、素材内容单一固定、且投影环境(包括将投射介质的大小，形状，位置，投影机位置，距离，角度等信息)发生改变后，原本投射素材将不可复用。

发明内容

为了解决上述问题，本发明提出利用现代计算机3D图像技术，实时演算异型投影素材，不受投影环境影响，将传统平面素材实时转换为异形投影素材的方法。

本发明解决其技术问题所采用的技术方案是：

一种实时演算异形投影表面进行素材投射的方法，包括如下步骤：

S01获取异形投影面3D化模型数据；

S02标定异形投影面表面图像分布格式；

S03获取投影设备技术参数；

S04标定投影设备与异形投影面位置关系；

S05将单个或多个视频或图像内容进行实时3D演算；

S06输出到投影设备。

其中：

获取异形投影面3D化模型数据的步骤包括：

S011读取预制的异形投影面对应3D数据,获取异形投影表面3D坐标点阵列，坐标点连接关系。

S012将读取的数据进行验证，确保数据符合使用要求。

获取的数据应符合以下要求：

1）包含不少于三个点的3D坐标点阵列，每个点应包含X,Y,Z三个坐标值以及包含X,Y,Z三个方向的法向量。

2）将所有顶点连接为三角形所需的连接顺序，以确保可以将坐标点连接为三角形；

3）连接顺序应方向一致，三个点按照顺时针或者逆时针的方向进行连接。

标定异形投影面表面图像分布格式的步骤包括：

S021将获取的异形投影表面3D数据进行展开，将投影表面不规则空间面转换到同一平面。

S022将展开后的图像进行标定，以确定每个坐标点对应于图像或视频源的坐标位置。

标定完成后每个坐标点应添加以下内容：

UV坐标，即坐标点对应于图像或视频的坐标位置；

源序号，即坐标点对应于哪一个视频源；

同一个坐标点可能对应多个不同的UV坐标及源序号，但同一个三角形内，一个坐标点仅对应一个UV坐标及原序号。

以上两个步骤完成后可保存至文件并储存以便下次使用。

获取投影设备技术参数，至少应获取以下内容：

1）投影设备的分辨率；

2）投影设备的镜头数据（包括宽纵比、镜头投射角度）。

标定投影设备与异形投影面位置关系的步骤包括:

S041获取投影设备的安装位置及与异形投影面的位置关系，其中至少应获取一下内容：

1）投射设备的安装角度；

2）投影设备与异形投影面位置关系；

3）异形投影表面安装的位置信息，包括可能的旋转、倾斜。

S042标定完成后投影设备的最终呈现应契合异形投影表面，即投影内容应当正确的投影到预期的位置。

将单个或多个视频或图像内容进行实时3D演算的步骤包括：

S051切分模型，根据需求，将原始3D模型的每个三角形切分成N个小三角形，以确保图像的清晰准确及连贯，切分后应确保每个小三角形的源序号一致。

S052根据获取投影设备技术参数步骤获取的投影机分辨率，配置输出格式，具体指输出图像分辨率。

S053根据标定投影设备与异形投影面位置关系步骤获取的投影设备的安装位置及与异形投影面的位置关系信息及获取投影设备技术参数步骤获取投影设备镜头信息，配置输出视角及3D世界变换信息，包括：

1）视角位置，对应投影机安装位置；

2）视角方向，对应投影机安装方向；

3）目标位移，对应投影机与异形投影表面的位置关系；

4）目标旋转，对应异形投影表面安装的位置信息；

5）设置光源，对应投影机安装位置。

S054获取源视频或图像内容，作为图像纹理，按照设定的UV坐标及源序号，以贴图的形式，贴到切分后的异形投影表面3D模型。

S055根据以上全部信息，通过3D技术，将3D世界信息转换为3D透视信息，并生成输出图像。包括：

1）使用3D模型坐标点坐标数据，连接序列数据，生成3D模型；

2）使用UV坐标及源序号，生成坐标点对应纹理坐标；

3）必要3D模型世界转换，对坐标点进行世界变换，并进行必要的连接，补差等工作；

4）根据法向量，计算每个输出像素点的光照强度，并进行反补光，反射强度弱，则适当提高亮度，反之亦然，此步骤为确保每个面亮度一致。

输出到投影设备的步骤包括：

将将单个或多个视频或图像内容进行实时3D演算步骤生成的图像信息，按照投影设备的通讯方式，发送至投影设备。

本发明有益效果是

本发明实现在异形投影表面进行实时演算并投影各种素材，且投影环境(包括将投射介质的大小，形状，位置，投影机位置，距离，角度等信息)发生改变后，原本投射素材将可复用。本发明制作难度小，费用低，素材内容多变不固定。

附图说明

图1是传统的异形投影在曲面投影的示意图。

图2是传统的异形投在不规则形状的投影示意图。

图3是投射图像为三个不同视频或图像组合成的一个不规则画面原理示意图。

图4是本发明实施例一的步骤流程图。

图5是展示了一个金字塔型展开后所应呈现的形态图。

图6是3D实时演算过程图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施例对本发明作进一步详细的说明。

本发明实施例的核心构思之一在于，通过建立与真实世界精确匹配的模拟3D场景，在计算机中模拟真实世界环境，之后通过3D场景中观察矩阵与真实环境中投影设备位置关系的精确匹配，建立真实世界投影设备与模拟3D场景观察矩阵对应关系。此时，对模拟3D场景模型表面进行纹理操作，其所获取的图像信息，通过对应投影设备进行投射，即可实现对真实世界进行纹理操作，即可实现对异形投影素材实时演示。

实施例一：

参照图4，示出了本发明实施例的一种实时演算异形投影表面投射素材方法实施例一的步骤流程图

步骤101，获取异形投影面3D化模型数据，本例中此数据由安装人员对真实世界场景进行测量并以文档的形式保存。

本发明实时例中，异形投影表面可以是平面，曲面，不规则面及立体物体表面等各种表面，投影设备可以是普通，工程，微型等投影设备，视频或图像来源可以是文件，摄像机，视频采集卡等视频或图像源，异形投影面3D化模型数据来源可以是文档，数据流，实时测量数据等任何可以提供3D化模型数据的来源，本发明实施例不作任何的限制。

步骤101，获取异形投影面3D化模型数据，包含以下子步骤：

S1011：获取异形投影面3D化模型数据点坐标，连接顺序及法向量信息。

S1012：检查数据是否完整，正确。

S1013：如数据不符合预期格式，则根据不同情况进行分别处理

1）如坐标点总数少于三个或每坐标点不包含完整的X,Y,Z方向坐标值，则表示此异形投影面3D化模型数据完全不可用；

2）如连接顺序少于三个，或在以每三个连接顺序为一组的连接顺序中出现重复的连接顺序，（如：一组正确的连接{0，1，2}，一组错误的连接顺序{0，2，0}）则表示此连接顺序不正确，此异形投影面3D化模型数据完全不可用；

3）如符合以上两条，但连接顺序总数不为3的倍数，则此此异形投影面3D化模型数据部分可用，将连接顺序队列中无法组成一组的1或2连接顺序丢弃；

4）如坐标点不包含法向量或法向量不正确，则重新计算该坐标点于对应三角形的法向量。

其中S1011中使用行业通用标准或事先约定的数据格式或通讯协议解析原始数据，获得异形投影面3D化模型数据。

步骤102：标定异形投影面表面图像分布格式，用于建立异形投影面表面图像分布规则，包含以下子步骤：

S1021：将异形投影表面3D数据进行连接操作，得到场景中所包含的模型。

S1022：将每个模型中所有三角形转换到同一平面（参考图5展示了一个金字塔型展开后所应呈现的形态）。

S1023：将每个三角形中的各个顶点进行标定，每个顶点标定后都应包含该顶点的UV坐标及源序号。

其中，步骤S1021获取到的场景可能存在多个模型，应对每个模型进行单独处理。

步骤S1022主要是方便标定工作，便于图像或视频平面数据与模型表面的异形面数据进行匹配，如有足够把握或有特殊需求，也可略过此环节。

步骤S1023中标定工作可以是人工标定或其他任何可以实现标定的标定工作，本发明实例不做任何限制。此阶段标定工作应遵循同一三角形各顶点UV坐标不同，但原序号相同的原则。

步骤103：获取投影设备参数，用于获取投影设备的主要参数，其中至少应获得一下参数：1）投影设备的分辨率；

2）投影设备的镜头数据（包括宽纵比，镜头投射角度）。

此步骤中投影设备参数可以是厂家提供或实际测量获取，获取方式本发明实例不做任何限制，但获取的数据应确保准确。

步骤104：标定投影设备与异形投影面位置关系，用于确定异形投影面与投影设备之间的相对位置关系及投影设备安装的形态，其中至少应获取以下内容：

1）投影设备的相对异形投影面的的安装位置；

2）投影设备相对异形投影面的安装距离；

3）投影设备投影中轴线的角度；

4）投影设备投影水平角度。

本步骤104中标定投影设备与异形投影面位置关系的方法可以是实际测量，也可以是通过投射特定标定图像进行标定或其他任何可以实现获得以上数据的方式，本发明实例不做任何限制。

本步骤104中应遵循一下原则：

1）位置关系的标定应以异形投影面3D化模型数据中所采用的3D坐标体系保持一致，即X,Y,Z三个分量的方向应相同并按照真实世界与异形投影面3D化模型数据之间的比例关系进行换算，投影机安装位置最终应为一个空间坐标点，该点与异形投影面3D化模型的相对位置关系应与真实世界中投影设备与异形投影面的相对位置关系保持比例一致；

2）投影设备相对异形投影面的安装距离按照真实世界与异形投影面3D化模型数据之间的比例关系进行换算，原则同上条；

3）投影设备投影中轴线的角度应为3维向量，包含投影设备投影中轴线在空间中的前进方向；

4）投影设备投影水平角度应转换为真实世界中投影设备正上方在转换到异形投影面3D化模型所采用的世界坐标系，最终应为3维向量。

步骤101至104为基础数据设置或采集过程，可将设置或采集得到的数据保存后供下次直接使用，初次设置完成后在相关数据未发生变化的情况下则无需再次执行。

步骤105：3D实时演算过程，用于通过显卡将单个或多个视频或图像内容进行实时3D演算，并将结果输出至投影设备，本步骤105包含以下子步骤（参考图6）：

S1051：初始化显卡，建立必要3D程序运行环境；

S1052：获取步骤101至104所设置或采集的所有数据；

S1053：设置3D程序的视口，视口分辨率设置为投影设备分辨率；

S1054：设置3D程序的观察矩阵，其中：

1）观察矩阵位置应为投影设备的相对异形投影面的的安装位置；

2）观察矩阵方向应为对应投影设备投影中轴线角度的3维向量；

3）观察矩阵正上方向应为投影设备投影水平角度的3维向量。

S1055：设置3D程序的透视投影矩阵，其中：

1）y方向角度应与投影设备所采用的镜头保持一致；

2）宽纵比应采用投影设备通过当前镜头可有效投射的像素宽纵比；

3）最小深度与最大深度应设置为合适的值以确保所有我们期望获得的内容都可获得。

S1056：设置场景光源，光源向量为投影设备中轴线向量。

S1057:将异形投影面3D模型中每个三角形进行切分，将每个原始三角形切分为若干个小三角形。

S1058：建立3D世界场景，此子步骤将所有切分后的三角形包括坐标点，连接序列，UV坐标与法向量写入显存供显卡操作使用，应提供CPU操作权限以便在运行过程中修改某些数据以实现某些特殊的视觉效果。

S1059：根据输入的视频或图像源建立与源序号相对应的纹理数据并写入显存，主要应提供CPU操作权限以便实时更新相关数据。

S10510：在GPU中对数据进行计算，这里以标准的D3D着色器处理流程为例说明：

1）VS或顶点着色器阶段，实现标准的世界变换(WorldTransform), 相机变换(也称视角变换,ViewTransform), 透视投影变换(PerspectiveProjection)；

2）PS或像素着色器阶段，实现光栅化，将每个像素点填充进与其源序号对应的纹理数据，其中特别注意，法向量与光照计算结果应取反值，即计算结果反射较弱的区域应增强而不是减弱亮度，反之亦反，以确保必要的亮度平衡；

3）其他shader或着色器阶段无需介入，默认即可。

本步骤105涉及内容较多，具体流程如图6。

其中S1058：建立3D世界场景，S1059：根据输入的视频或图像源建立与源序号相对应的纹理数据并写入显存两步骤在将数据写入显存同时应设置CPU可操作权限，通过替换或更改相应数据，即可实现图像或视频内容呈现及诸如图像或视频移动，缩放。旋转等功能。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质（包括但不限于磁盘存储器、CD-ROM、光学存储器等）上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备（系统）、和计算机程序产品的流程图和或或方框图来描述的。应理解可由计算机程序指令实现流程图和或或方框图 中的每一流程和或或方框、以及流程图和或或方框图中的流程和或或方框的结合。可提供这些 计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设 备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器 执行的指令产生用于实现在流程图一个流程或多个流程和或或方框图一个方框或多个方框 中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和或或方框图一个方框或多个方框中指定的功能。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种方法，进行了详细介绍，对于本领域的一般技术人员，依据本发明的思想，在具体 实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (6)

1.一种实时演算异形投影表面进行素材投射的方法，包括如下步骤：

S01获取异形投影面3D化模型数据；

S02标定异形投影面表面图像分布格式；

S03获取投影设备技术参数；

S04标定投影设备与异形投影面位置关系；

S05将单个或多个视频或图像内容进行实时3D演算；

S06输出到投影设备，

其特征是：所述步骤S05将单个或多个视频或图像内容进行实时3D演算的具体包括如下步骤：

S051切分模型，根据需求，将原始3D模型的每个三角形切分成N个小三角形，以确保图像的清晰准确及连贯，切分后应确保每个小三角形的源序号一致；

S052根据获取投影设备技术参数步骤获取的投影机分辨率，配置输出格式，具体指输出图像分辨率；

S053根据标定投影设备与异形投影面位置关系步骤获取的投影设备的安装位置及与异形投影面的位置关系信息及获取投影设备技术参数步骤获取投影设备镜头信息，配置输出视角及3D世界变换信息；

S054获取源视频或图像内容，作为图像纹理，按照设定的UV坐标及源序号，以贴图的形式，贴到切分后的异形投影表面3D模型；

S055根据以上全部信息，通过3D技术，将3D世界信息转换为3D透视信息，并生成输出图像。

2.根据权利要求1所述的一种实时演算异形投影表面进行素材投射的方法，其特征是：所述步骤S01获取异形投影面3D化模型数据包括：S011读取预制的异形投影面对应3D数据,获取异形投影表面3D坐标点阵列，坐标点连接关系；S012将读取的数据进行验证，确保数据符合使用要求。

3.根据权利要求1所述的一种实时演算异形投影表面进行素材投射的方法，其特征是：步骤S02标定异形投影面表面图像分布格式包括：S021将获取的异形投影表面3D数据进行展开，将投影表面不规则空间面转换到同一平面；S022将展开后的图像进行标定，以确定每个坐标点对应于图像或视频源的坐标位置。

4.根据权利要求1所述的一种实时演算异形投影表面进行素材投射的方法，其特征是：步骤S03获取投影设备技术参数，至少应获取以下内容：投影设备的分辨率；投影设备的镜头数据。

5.根据权利要求1所述的一种实时演算异形投影表面进行素材投射的方法，其特征是：步骤S04标定投影设备与异形投影面位置关系包括:获取投影设备的安装位置及与异形投影面的位置关系，其中至少应获取一下内容；标定完成后投影设备的最终呈现应契合异形投影表面，即投影内容应当正确的投影到预期的位置。

6.根据权利要求1所述的一种实时演算异形投影表面进行素材投射的方法，其特征是：输出到投影设备的步骤包括：将将单个或多个视频或图像内容进行实时3D演算步骤生成的图像信息，按照投影设备的通讯方式，发送至投影设备。