CN117939100B - 一种折幕视频处理方法以及相关装置 - Google Patents

Abstract

本申请属于数据处理领域，尤其涉及一种折幕视频处理方法以及相关装置，该系统包括：获取待处理视频在模拟观察视角下的渲染效果影像；模拟观察视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度；渲染效果影像用于模拟待处理视频在模拟观察视角下的渲染效果；基于目标折叠屏幕的显示参数创建匹配的空白影像；显示参数至少包括：目标折叠屏幕的长宽比；确定渲染效果影像中与显示参数匹配的折叠区域，并标注出折叠区域的初始顶点信息；基于初始顶点信息以及折幕信息，将渲染效果影像按照顶点对齐合并到空白影像中，得到适用于目标折叠屏幕的目标折屏影像。该方法自动化实现从平面图像到折幕图像的转换，大大提升折幕视频的制作效率。

Description

一种折幕视频处理方法以及相关装置

技术领域

本申请属于数据处理领域，尤其涉及一种折幕视频处理方法以及相关装置。

背景技术

裸眼三维影像，是一种无需佩戴任何额外的眼镜或设备，即可使用户在裸眼状态下观看三维影像的技术。相较于传统三维影像技术中使用特殊眼镜或设备来实现立体感，裸眼三维影像通过在影像中引入图像差异来刺激人眼的立体视觉，使观众能够在裸眼状态下感受到真实的三维效果。这种技术的发展使得观看三维影像更加方便和自然，无需佩戴额外的眼镜。

相关技术中，裸眼三维影像的制作流程中，需要先渲染正常视角的渲染影像。进而，通过三维重映射到场景中的屏幕区域，烘焙序列帧贴图。最后，再一次使用正交镜头渲染得到裸眼三维影像。然而，在目前的三维软件中，需要耗费比较长时间进行烘焙序列帧的渲染，烘焙序列帧的制作效率较低，使得裸眼三维影像的成片效率较低。烘焙序列帧生成之后，往往还需要经过多次测试预览，甚至于重新烘焙，进一步降低了裸眼三维影像的成片效率。

因此，亟待设计一种全新的技术方案，用以克服上述技术问题。

发明内容

本申请提供了一种折幕视频处理方法以及相关装置，用以实现从平面图像到折幕图像的高效转换，大大提升折幕视频的制作效率。

第一方面，本申请提供了一种折幕视频处理方法，所述方法包括：

获取待处理视频在模拟观察视角下的渲染效果影像；所述模拟观察视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度；所述渲染效果影像用于模拟所述待处理视频在所述模拟观察视角下的渲染效果；

基于目标折叠屏幕的显示参数创建匹配的空白影像；所述显示参数至少包括：目标折叠屏幕的长宽比；

确定所述渲染效果影像中与所述显示参数匹配的折叠区域，并标注出所述折叠区域的初始顶点信息；

基于所述初始顶点信息以及折幕信息，将所述渲染效果影像按照顶点对齐合并到所述空白影像中，得到适用于目标折叠屏幕的目标折屏影像。

第二方面，本申请实施例提供了一种折幕视频处理装置，包括：

获取单元，被配置为获取待处理视频在模拟观察视角下的渲染效果影像；所述模拟观察视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度；所述渲染效果影像用于模拟所述待处理视频在所述模拟观察视角下的渲染效果；

创建单元，被配置为基于目标折叠屏幕的显示参数创建匹配的空白影像；所述显示参数至少包括：目标折叠屏幕的长宽比；

标注单元，被配置为确定所述渲染效果影像中与所述显示参数匹配的折叠区域，并标注出所述折叠区域的初始顶点信息；

合成单元，被配置为基于所述初始顶点信息以及折幕信息，将所述渲染效果影像按照顶点对齐合并到所述空白影像中，得到适用于目标折叠屏幕的目标折屏影像。

第三方面，本申请实施例提供了一种计算设备，所述计算设备包括：

至少一个处理器、存储器和输入输出单元；

其中，所述存储器用于存储计算机程序，所述处理器用于调用所述存储器中存储的计算机程序来执行第一方面的折幕视频处理方法。

第四方面，提供了一种计算机可读存储介质，其包括指令，当其在计算机上运行该指令时，使得计算机执行第一方面的折幕视频处理方法。

本申请实施例提供的技术方案中，首先，获取待处理视频在模拟观察视角下的渲染效果影像。该模拟观察视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度，渲染效果影像用于模拟待处理视频在模拟观察视角下的渲染效果。通过渲染效果影像可以模拟出用户在真实世界中观察得到的视觉效果，并以此作为折幕视频转换的数据基础，增强视频效果的视觉真实感，提升用户的沉浸感以及参与度。进而，基于目标折叠屏幕的显示参数创建匹配的空白影像。显示参数至少包括：目标折叠屏幕的长宽比。空白影像与目标折叠屏幕的显示区域适配，一方面，可以保证目标折叠屏幕能够显示待处理视频的完整内容，避免在折叠区域产生明显的视觉缺失或间断，保证视频显示效果的连贯性和完整性，另一方面，空白影像也可以作为从平面视频到折幕视频的转换基准，提供将渲染效果影像与目标折叠屏幕对齐的参考框架。接着，确定渲染效果影像中与显示参数匹配的折叠区域，并标注出折叠区域的初始顶点信息。通过这个步骤，可以准确找到渲染效果影像中需要进行折叠处理的区域。同时，标注初始顶点信息有助于后续对折叠区域进行准确的对齐和合并。最后，基于初始顶点信息以及折幕信息，将渲染效果影像按照顶点对齐合并到空白影像中，得到适用于目标折叠屏幕的目标折屏影像。通过将渲染效果影像合并到空白影像中，可以确保视频内容在折叠区域的整体连续性和完整性，合并后的目标折屏影像直接提供给折叠屏幕设备进行播放或展示。本申请实施例无需渲染烘焙序列帧并进行反复烘焙，即可实现从平面图像到折幕图像的高效转换，大大提升折幕视频（即裸眼三维影像）的制作效率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是本申请实施例的一种折幕视频处理方法的流程示意图；

图2是本申请实施例的一种折叠定位方法的流程示意图；

图3是本申请实施例的一种折叠定位模型的原理示意图；

图4是本申请实施例的一种合成方法的流程示意图；

图5是本申请实施例的一种折叠区域移动方法的流程示意图；

图6是本申请实施例的一种折幕视频处理装置的结构示意图；

图7是本申请实施例的一种电子设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的技术领域的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。

裸眼三维影像，是一种无需佩戴任何额外的眼镜或设备，即可使用户在裸眼状态下观看三维影像的技术。相较于传统三维影像技术中使用特殊眼镜或设备来实现立体感，裸眼三维影像通过在影像中引入图像差异来刺激人眼的立体视觉，使观众能够在裸眼状态下感受到真实的三维效果。这种技术的发展使得观看三维影像更加方便和自然，无需佩戴额外的眼镜。

相关技术中，裸眼三维影像的制作流程中，需要先渲染正常视角的渲染影像。进而，通过三维重映射到场景中的屏幕区域，烘焙序列帧贴图。最后，再一次使用正交镜头渲染得到裸眼三维影像。然而，在目前的三维软件中，需要耗费比较长时间进行烘焙序列帧的渲染，烘焙序列帧的制作效率较低，使得裸眼三维影像的成片效率较低。烘焙序列帧生成之后，往往还需要经过多次测试预览，甚至于重新烘焙，进一步降低了裸眼三维影像的成片效率。

综上，亟待提出一种技术方案，用以克服相关技术中存在的上述技术问题。

为解决上述至少一个技术问题，本申请实施例提供了一种折幕视频处理方案。

具体而言，折幕视频处理方案中，首先，获取待处理视频在模拟观察视角下的渲染效果影像。该模拟观察视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度，渲染效果影像用于模拟待处理视频在模拟观察视角下的渲染效果。通过渲染效果影像可以模拟出用户在真实世界中观察得到的视觉效果，并以此作为折幕视频转换的数据基础，增强视频效果的视觉真实感，提升用户的沉浸感以及参与度。进而，基于目标折叠屏幕的显示参数创建匹配的空白影像。显示参数至少包括：目标折叠屏幕的长宽比。空白影像与目标折叠屏幕的显示区域适配，一方面，可以保证目标折叠屏幕能够显示待处理视频的完整内容，避免在折叠区域产生明显的视觉缺失或间断，保证视频显示效果的连贯性和完整性，另一方面，空白影像也可以作为从平面视频到折幕视频的转换基准，提供将渲染效果影像与目标折叠屏幕对齐的参考框架。接着，确定渲染效果影像中与显示参数匹配的折叠区域，并标注出折叠区域的初始顶点信息。通过这个步骤，可以准确找到渲染效果影像中需要进行折叠处理的区域。同时，标注初始顶点信息有助于后续对折叠区域进行准确的对齐和合并。最后，基于初始顶点信息以及折幕信息，将渲染效果影像按照顶点对齐合并到空白影像中，得到适用于目标折叠屏幕的目标折屏影像。通过将渲染效果影像合并到空白影像中，可以确保视频内容在折叠区域的整体连续性和完整性，合并后的目标折屏影像直接提供给折叠屏幕设备进行播放或展示。

本折幕视频处理方案中，无需渲染烘焙序列帧并进行反复烘焙，即可实现从平面图像到折幕图像的高效转换，大大提升折幕视频（即裸眼三维影像）的制作效率。

本申请实施例提供的折幕视频处理方案，可以由一电子设备来执行，该电子设备可以是服务器、服务器集群、云服务器。该电子设备也可以是诸如手机、计算机、平板电脑、可穿戴设备、或者专用设备（如带有折幕视频处理系统的专用终端设备等）等终端设备。在一可选实施例中，该电子设备上可以安装有用于执行折幕视频处理方案的服务程序。

图1为本申请实施例提供的一种折幕视频处理方法的示意图，如图1所示，该方法包括如下步骤：

101，获取待处理视频在模拟观察视角下的渲染效果影像。

本申请实施例中，模拟观察视角，又称为正常视角，该视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度。即模拟观察视角用于表示用户在真实世界中观察环境的方式。可选地，模拟观察视角可以包括：视野范围、观察角度、视线方向、观察点位置。模拟观察视角的目的是尽可能地模拟用户的观察体验，使得待处理视频在模拟视角下呈现出更加真实和逼真的渲染效果。通过模拟观察视角，在渲染效果影像中可以得到模拟观察视角下的图像序列帧。这些图像序列帧就是模拟观察视角下待处理视频的渲染效果影像，反映了视频内容在模拟视角下的视觉渲染效果。总而言之，模拟观察视角是用于模拟用户在真实世界中观察周围环境时的视野范围和观察角度的视角。在本申请实施例中，通过获取待处理视频在模拟观察视角下的渲染效果影像，可以获得视频内容在模拟视角下的逼真渲染效果，进而提升用户观影体验和视觉效果。

本申请实施例中，渲染效果影像用于模拟待处理视频在模拟观察视角下的渲染效果。值得说明的是，该渲染效果影像仍属于二维图像。该渲染效果影像中至少包含：模拟观察视角下渲染得到的图像序列帧。在一示例中，渲染效果影像可以通过模拟渲染的方式生成。这种方式通过模拟光线、材质和场景等因素的交互作用来生成渲染结果。另一示例中，渲染效果影像可以通过实时计算和渲染技术来生成。这种方式中，可以实时渲染图像序列帧，以呈现连续的动态效果。

102，基于目标折叠屏幕的显示参数创建匹配的空白影像。

其中，目标折叠屏幕的显示参数至少包括：目标折叠屏幕的长宽比。长宽比是指屏幕的宽度与高度之间的比例关系，它决定了屏幕的显示形状。

举例来说，首先，获取目标折叠屏幕的显示参数。比如，目标折叠屏幕的长宽比、分辨率、色彩模式等。进而，根据目标折叠屏幕的长宽比，创建一个空白影像。这个图像的大小将与目标折叠屏幕的显示参数相匹配。例如，如果目标折叠屏幕的长宽比为16:9，则空白影像的宽度可以是1600像素，高度可以是900像素。进一步地，确定空白影像的像素格式和色彩空间，以便后续将渲染效果影像正确地合并进来。这通常根据目标折叠屏幕的显示需求来确定，可以是RGB格式、YUV格式等。通过这个步骤，可以创建出一个大小和长宽比与目标折叠屏幕显示参数匹配的空白影像。这个空白影像将被用作后续合并渲染效果影像的背景，以实现适应目标折叠屏幕的显示需求。

103，确定渲染效果影像中与显示参数匹配的折叠区域，并标注出折叠区域的初始顶点信息。

具体来说，首先，参考目标折叠屏幕的显示参数，确定折叠区域在渲染效果影像中所占的位置。折叠区域是指目标折叠屏幕的可折叠部分，通常位于屏幕的中央，并且具有特定的形状和尺寸。进而，根据折叠区域在渲染效果影像中的位置，标注出折叠区域的初始顶点信息。这些顶点信息通常包括折叠区域的左上角和右上角的坐标。实际应用中，还可能需要包括折叠区域的左下角和右下角的坐标。在渲染效果影像中，使用标注的顶点信息将折叠区域划分出来，并将其与其余部分分隔开来。这可以通过在渲染效果影像中绘制折叠区域的边界线或应用遮罩等方式实现。

示例性地，假设有一个渲染效果影像的大小为1280x960像素，而折叠区域的宽度占据了屏幕宽度的1/3。基于上述假设，103中，首先，根据屏幕的长宽比，可以计算出折叠区域的高度。由于屏幕长宽比为4:3，可以将屏幕宽度分为4个部分，折叠区域宽度占1个部分，所以折叠区域的高度将是屏幕高度的3/4。接下来，可以根据计算得到的折叠区域的尺寸，标注出折叠区域的初始顶点信息。假设屏幕左上角的坐标为(0, 0)，则折叠区域的左上角的坐标为(1280/3, 0)，右上角的坐标为(1280/3*2, 0)。在渲染效果影像中，通过将这些标注的顶点信息应用于折叠区域，可以将折叠区域与其余部分分隔开来。通过103步骤确定了渲染效果影像中与折叠屏幕显示参数匹配的折叠区域，并标注了折叠区域的初始顶点信息。这个初始顶点信息将应用到后续处理中，以确保在合并渲染效果影像时折叠区域可以正确地展示，从而获得更加准确和流畅的显示效果。上述示例展示了如何根据折叠屏幕的显示参数确定折叠区域，并标注出其初始顶点信息。

实际场景中，具体的折叠区域和顶点信息可能因折叠屏幕的设计和要求而有所不同，本申请并不限定。

在一个可选实施例，103中，确定渲染效果影像中与显示参数匹配的折叠区域，并标注出折叠区域的初始顶点信息，参考图2所示，可以实现如下步骤：

201，将渲染效果影像输入到折叠定位模型中；

202，通过折叠定位模型，从渲染效果影像中识别折叠区域，并在折叠区域中定位出六个初始顶点的位置坐标；

203，在折叠区域中标注六个初始顶点的位置坐标信息。

具体来说，假设有一个折叠屏手机，显示参数要求屏幕长宽比为16:9，并且存在一个向内折叠的折叠区域。步骤201中，将渲染效果影像输入到折叠定位模型中。在这一步骤中，将渲染效果影像传递给一个折叠定位模型，该模型通过分析影像中的边缘信息来识别折叠区域。步骤202中，通过折叠定位模型，从渲染效果影像中识别折叠区域，并定位出六个初始顶点的位置坐标。折叠定位模型会对渲染效果影像进行分析，并确定出折叠区域的位置。通过有效的边缘检测算法，折叠定位模型可以找到折叠区域的边缘轮廓并定位出六个初始顶点的位置坐标。这些顶点将标记折叠区域的形状和位置。步骤203中，在折叠区域中标注六个初始顶点的位置坐标信息。在这一步骤中，根据步骤202得到的顶点位置信息，将在折叠区域中标注出六个初始顶点的位置坐标。通过这三个步骤，可以确定渲染效果影像中与显示参数匹配的折叠区域，并标注出折叠区域的初始顶点信息。通过折叠定位模型能够有效识别折叠区域并获得了关键的初始顶点信息，为后续处理提供了必要的数据基础。

作为一个可选实施例，假设折叠定位模型至少包括以下结构：特征提取层、平面影像特征提议层、平面金字塔池化层、顶点定位层。

基于此假设，201中，通过折叠定位模型，从渲染效果影像中识别折叠区域，并在折叠区域中定位出六个初始顶点的位置坐标，可以如下步骤：

2011，通过特征提取层（Feature Extraction Layer），从渲染效果影像中提取候选影像特征图。

2012，通过平面影像特征提议层（Plane Image Proposal Layer），获取候选影像特征图中包含的多个候选折叠区域。

进一步可选地，在候选影像特征图的遍历过程中，可以利用针对每个定位锚滑动窗口设计的特征分类器，对当前窗口的候选影像特征图块进行分类，以识别是否属于折叠区域边界。如果分类结果显示当前候选影像特征图块属于折叠区域边界，该平面影像特征提议层将进行位置预测，以获得预测的折叠区域边界信息。最后，对预测得到的折叠区域边界信息进行四维回归处理，以修正其位置信息。

具体而言，首先，生成多个定位锚滑动窗。其中，各个定位锚滑动窗的尺寸固定不变，不同定位锚滑动窗的尺寸和长宽比例不同。进而，通过各个定位锚滑动窗，对候选影像特征图进行全图扫描。接着，在全图扫描过程中，采用各个定位锚滑动窗对应的特征分类器，对当前扫描到的候选影像特征图块进行分类，以判断当前候选影像特征图块是否属于折叠区域边界。若当前候选影像特征图块属于折叠区域边界，则对当前候选影像特征图块对应的折叠区域边界的位置信息进行预测。最后，对预测得到的折叠区域边界的位置信息进行四维回归处理，以修正折叠区域边界的位置信息。

2013，通过平面金字塔池化层，将每个候选折叠区域进行最大值池化处理，以获得候选特征向量。

进一步可选地，平面金字塔池化层对每个候选折叠区域进行最大值池化操作，以获取候选特征向量。此操作基于候选折叠区域的面积，确定与每个候选折叠区域相对应的候选空间单元的自适应尺寸信息。候选折叠区域的面积越大，候选空间单元的自适应尺寸越大。然后，将每个候选折叠区域划分为多个候选空间单元，并对每个候选空间单元进行最大值池化，以获得固定长度的候选特征向量。

具体而言，首先，基于每个候选折叠区域的区域面积，确定对应的候选空间单元的自适应尺寸信息。其中，候选折叠区域的区域面积越大，候选空间单元的自适应尺寸越大。接着，将每个候选折叠区域按照自适应尺寸信息划分为多个候选空间单元，并对划分得到的每个候选空间单元进行最大值池化处理，以获得长度固定的候选特征向量。

2014，通过顶点定位层，对候选特征向量进行目标分类，以获得折叠区域的边界框。

在这一步骤中，利用预训练好的分类器或者自定义的分类网络，将候选特征向量作为输入。分类器会对候选特征向量进行判断，以确定该候选折叠区域是否包含折叠区域的边界。如果分类结果为正，则表示该候选折叠区域中包含折叠区域的边界。通过这一步骤可以获得折叠区域的边界框。

2015，通过顶点定位层，采用边界框回归器对折叠区域的边界框进行顶点位置预测，以获得折叠区域中六个初始顶点的位置坐标。

在这一步骤中，通过使用边界框回归器对折叠区域的边界框进行顶点位置的预测，以获得折叠区域中六个初始顶点的位置坐标。边界框回归器是一个学习模型，通过训练数据集中的边界框以及对应的真实顶点位置，学习边界框和顶点位置之间的关系。

可以理解的是，折叠区域的初始顶点位置坐标是指屏幕折叠边缘上的顶点位置，可以随着屏幕展开收缩而发生变化。

示例性地，六个初始顶点包括四角以及中间上下两点。折叠区域的顶点可以是多种形态，具体取决于折叠区域的几何形状和特点。以下列举几种常见的折叠区域顶点形态：直角顶点，折叠区域可能具有直角形状，其中顶点以90度的角度相交。钝角顶点，折叠区域可能具有钝角形状，其中顶点以大于90度的角度相交。锐角顶点，折叠区域可能具有锐角形状，其中顶点以小于90度的角度相交。曲线顶点，折叠区域可能是曲线形状，在曲线的交汇处形成顶点。多边形顶点，折叠区域可以是任意多边形的形状，其中顶点是多边形的顶点。总之，折叠区域的顶点形态可以是各种各样的，取决于具体的几何形状。折叠区域可能是简单的直角或钝角，也可能是复杂的曲线或多边形。

进一步可选地，折叠定位模型还包括微调优化层。在2015之后，还可以采用微调优化层，对六个初始顶点的位置坐标进行微调优化，以得到六个初始顶点的优化位置坐标。

例如，微调优化层可以是一种用于增强模型预测结果的深度学习网络。在许多计算机视觉任务中，初始的模型预测结果可能存在一些不准确或粗糙的部分，需要进一步细化和优化。微调优化层的主要目标是通过在初始预测结果上进行迭代学习，改进和细化模型的输出，以获得更准确、更精细的结果。微调优化层的优势在于其能够从全局和局部两个层面上改善预测结果。全局精炼通过学习全局上下文信息和全局语义关系，可以辅助模型对整体结构和大范围特征进行更好的预测。而局部精炼则通过对细节和局部特征进行优化，能够更好地捕捉目标边界和细微的结构信息。

作为一个可选实施例，假设微调优化层中嵌入有局部修正模块。该局部修正模块至少包括：局部特征提取单元、形态变化定位单元、网格构建单元、修正单元。上述步骤中，采用微调优化层，对六个初始顶点的位置坐标进行微调优化，以得到六个初始顶点的优化位置坐标，如图3所示，可以实现为如下步骤：

301，通过局部特征提取单元，从各个初始顶点的位置坐标周围提取各个初始顶点对应的局部区域特征向量。

其中，局部区域特征向量对应的局部区域范围与各个初始顶点所处位置周围区域的形态相关。

302，通过形态变化定位单元，对各个初始顶点对应的局部区域特征向量进行形态变化，得到各个初始顶点对应的形态变化矩阵。

其中，形态变化矩阵的尺寸由各个初始顶点周围的局部区域范围决定。

303，通过网格构建单元，对各个初始顶点对应的形态变化矩阵进行规则网格采样，以构建得到各个初始顶点对应的局部区域网格图。

其中，局部区域网格图中包含排布间隔相等的采样点，采样点数量以及间隔距离基于各个初始顶点周围的局部区域形状自适应计算得到。

304，通过修正单元，将各个初始顶点对应的形态变化矩阵中的每一元素，与局部区域网格图中对应的采样点执行预设运算，以得到各个初始顶点对应的局部填充特征向量。

305，通过修正单元，采用局部填充特征向量对各个初始顶点的位置坐标进行位置修正处理，以得到各个初始顶点的优化位置坐标。

由于折叠区域的初始顶点位置坐标是指屏幕折叠边缘上的顶点位置，可以随着屏幕展开收缩而发生变化，因而，需要进一步地执行精细化调整。

步骤301中，通过局部特征提取单元，从各个初始顶点的位置坐标周围提取各个初始顶点对应的局部区域特征向量。在屏幕折叠区域中，可以从每个初始顶点的附近提取局部区域的特征向量，例如周围的像素强度、边缘信息等。

步骤302中，通过形态变化定位单元，对各个初始顶点对应的局部区域特征向量进行形态变化，得到各个初始顶点对应的形态变化矩阵。在屏幕折叠区域中，可以根据每个顶点周围局部区域的形态变化情况，例如折叠区域的平均折叠程度、角度等，得到形态变化矩阵。

步骤303中，通过网格构建单元，对各个初始顶点对应的形态变化矩阵进行规则网格采样，以构建得到各个初始顶点的局部区域网格图。在屏幕折叠区域中，可以在每个初始顶点周围构建规则网格，网格中的采样点可以以相等的间距排布。

步骤304中，通过修正单元，将各个初始顶点对应的形态变化矩阵中的每个元素与局部区域网格图中对应的采样点执行预设运算，以得到各个初始顶点的局部填充特征向量。在屏幕折叠区域中，可以将形态变化矩阵中的元素与局部区域网格图中的采样点进行运算，例如求和、均值等，得到局部填充特征向量。实际应用中，局部填充特征向量可以包括多个特征通道，如颜色特征、纹理特征、形状特征等，这些特征可以通过计算图像中不同区域的统计特征、梯度信息、滤波器响应等方式得到。通过提取目标区域内的局部填充特征，可以更好地区分不同的目标，提高图像处理任务的性能。也就是说，局部填充特征向量是指对目标区域进行局部区域的精细特征提取，并将提取得到的特征表示为一个向量。这样的特征向量可以提供更多的区域细节和区分度，用于支持匹配标注任务的准确性和性能。

步骤305中，通过修正单元，采用局部填充特征向量对各个初始顶点的位置坐标进行位置修正处理，以得到各个初始顶点的优化位置坐标。在屏幕折叠区域中，可以根据局部填充特征向量对初始顶点的位置坐标进行微调优化，以适应折叠区域的变化，得到初始顶点的优化位置坐标。

当涉及到屏幕折叠区域的情况时，通过修正单元和局部填充特征向量可以对初始顶点的位置坐标进行微调优化，从而适应折叠区域的变化。

在一个示例中，假设有一个折叠式智能手机，其中屏幕可折叠为两个部分：主显示区域和可折叠区域。折叠区域会在展开和折叠时发生尺寸和形状的变化。在该示例中，可以使用匹配标注模型来定位主显示区域和可折叠区域。在预测得到初始顶点的位置坐标之后，可以利用修正单元和局部填充特征向量来微调这些初始顶点的位置坐标，以适应折叠区域的变化。

具体而言，可以将折叠区域的局部填充特征向量添加到初始顶点的特征表示中。这些局部填充特征向量可以捕捉到折叠区域内的细粒度信息，比如折叠角度、尺寸变化等。通过将这些特征考虑在内，可以根据局部填充特征向量对初始顶点的位置坐标进行微调优化。例如，在折叠状态下，初始顶点位置可能与实际的目标位置存在偏差，由于折叠区域的存在，可以通过局部填充特征向量来判断偏差程度。然后，修正单元可以利用这些特征信息对初始顶点的位置坐标进行微调，使其更接近实际目标位置。通过修正单元和局部填充特征向量的使用，可以在折叠区域的变化下，对初始顶点的位置坐标进行微调优化，从而更好地适应不同的折叠状态，使得最终得到的顶点位置更准确和合适。这样就可以保证匹配标注结果在屏幕折叠区域中的质量和准确性。

通过上述步骤，可以对折叠区域的初始顶点位置进行优化，以提高屏幕折叠显示效果的质量和稳定性。

另一可选实施例中，折叠定位模型也可以采用富卷积特征（RicherConvolutional Features，RCF）模型实现。实际应用中，还可以采用其他算法模型来实现，此处不展开。

另一个可选实施例，103中，标注出折叠区域的初始顶点信息的步骤，可以实现为：在渲染效果影像的第一合成层中设置折叠区域的六个初始顶点，并分别标注出六个初始顶点的位置坐标。

具体来说，渲染效果影像可以由不同图层叠加合成。在这个实施例中，关注焦点主要是折叠区域，因此需要确保折叠区域在第一合成层中得到适当的展示。基于上文步骤确定折叠区域的初始顶点位置之后，可以在第一合成层的相应位置进行标注。例如，根据具体的应用需求和设计，可以大致确定折叠区域边缘的位置，然后在像素级别上进行精确标注。在第一合成层中，通过在折叠区域的六个初始顶点上标注出其位置坐标，即将每个顶点的坐标信息与渲染效果影像的像素位置对应起来。这可以通过在合成软件或者图形编辑软件中添加文本标注或者注释来完成。在完成对六个初始顶点的位置标注后，确保将标注信息保存在影像文件或相关文档中，以便后续使用和参考。

通过完成上述步骤，在渲染效果影像的第一合成层中成功标注出折叠区域的六个初始顶点，并记录了它们的位置坐标。这样，在后续的操作中，可以利用这些初始顶点信息进行折叠区域的定位、优化和处理，并进一步实现对折叠区域的有效编辑和处理。

104，基于初始顶点信息以及折幕信息，将渲染效果影像按照顶点对齐合并到空白影像中，得到适用于目标折叠屏幕的目标折屏影像。

基于上文实施例，标注出六个初始顶点的位置坐标之后，104中，获取目标折叠屏幕的折幕信息，包括但不限于：分辨率和/或折角关系。进而，根据六个初始顶点的位置坐标，将折叠区域移动到空白影像对应的目标位置，以使折叠区域的六个初始顶点对齐放置于空白影像对应的目标顶点位置。最终，基于目标折叠屏幕的分辨率和/或折角关系，将折叠区域合成到空白影像中，得到目标折屏影像。其中，折角关系至少包括：折角度数。

在104的一个可选实施例中，首先，需要获取目标折屏的分辨率和折角关系。其中，分辨率是指目标折屏的水平和垂直像素数量。折角关系是指折屏在展开和折叠状态之间的角度变化。这些信息可以通过设备反馈得知，或者通过测量目标折叠屏幕的物理属性来获取。进而，根据六个初始顶点的位置坐标，在空白影像中找到对应的目标位置。通过计算初始顶点与目标顶点的差值，可以确定需要移动折叠区域的距离和方向。将折叠区域移动到空白影像的目标位置，确保折叠区域的六个初始顶点与目标顶点位置对齐放置。接着，根据目标折屏的分辨率，在空白影像中创建一个与目标折屏分辨率匹配的画布。将移动后的折叠区域放置在这个画布上，以确保折叠区域与目标折屏的尺寸相匹配。同时，根据折角关系的折角度数，在合成过程中对折叠区域进行相应的变换和调整，以保持折屏的形状和效果。最终合成的影像即为目标折屏影像。

通过完成上述步骤，可以根据目标折屏的分辨率和折角关系，将折叠区域合成到空白影像中，得到最终的目标折屏影像。这样，可以针对具体的折屏设备进行针对性的平面视频转换以及转换后的优化，以获得更接近实际折屏设备的效果和体验。

作为一个可选实施例，104的上述步骤中，基于目标折叠屏幕的分辨率和/或折角关系，将折叠区域合成到空白影像中，得到目标折屏影像，参考图4所示，可以实现如下步骤：

401，将折叠区域的原始合成影像从第一合成层导入到空白影像的第二合成层中；

402，对第二合成层中导入的原始合成影像执行镜像效果处理，以优化原始合成影像中目标顶点位置与目标折叠屏幕中屏幕顶点的位置关系；

403，在第二合成层中，创建一个与目标折叠屏幕具有相同分辨率和/或相同折角关系的合成蒙版；

404，将第二合成层中优化后的原始合成影像通过蒙版绘制处理合成到合成蒙版中，以获得目标折屏影像。

具体地，步骤401中，假设有一个包含折叠区域的原始合成影像，该影像已经在第一合成层中制作好。可以将该原始合成影像导入到空白影像的第二合成层中。步骤402中，为了优化原始合成影像中折叠区域的顶点位置与目标折叠屏幕中屏幕顶点的位置关系，可以在第二合成层中对导入的原始合成影像执行镜像效果处理。这将使得折叠区域的顶点更加准确地对齐到目标折叠屏幕的屏幕顶点位置。步骤403中，在第二合成层中，需要创建一个与目标折叠屏幕具有相同分辨率和/或相同折角关系的合成蒙版。这个合成蒙版将作为后续合成步骤中的一个重要元素，用于将优化后的原始合成影像绘制到正确的位置。步骤404中，将在第二合成层中经过镜像效果处理的原始合成影像通过合成蒙版进行绘制处理，以获得目标折屏影像。即根据合成蒙版的分辨率和/或折角关系，将原始合成影像的内容与蒙版中对应的像素进行融合或者覆盖，最终合成出与目标折屏屏幕匹配的影像结果。

通过以上步骤的实施，可以根据目标折屏的分辨率和/或折角关系，将折叠区域合成到空白影像中，得到最终的目标折屏影像。这样，可以根据实际的折屏设备要求进行针对性的平面视频转换以及转换后的优化，以获得最佳的折屏效果和体验。

作为一个可选实施例，104的上述步骤中，根据六个初始顶点的位置坐标，将折叠区域移动到空白影像对应的目标位置，参考图5所示，可以实现如下步骤：

501，将初始顶点位置坐标投影到空白影像对应的三维图像空间中，以获得投影顶点坐标；三维图像空间是对空白影像进行三维场景模拟得到的；

502，将投影顶点坐标以及空白影像输入到匹配标注模型中；

503，通过匹配标注模型，从空白影像中识别与折叠区域匹配的目标位置区域，并在目标位置区域中定位与初始顶点位置坐标匹配的目标顶点位置坐标；

504，按照目标顶点位置坐标，将折叠区域的原始合成影像移动至对应的目标位置区域。

示例性地，步骤501中，将初始顶点位置坐标投影到空白影像对应的三维图像空间中，以获得投影顶点坐标。这一步骤的目的是将平面上的初始顶点位置映射到一个与空白影像场景相对应的三维空间中。例如，采用透视投影来实现这一步骤，其中投影顶点坐标可以通过以下表达式计算：

；/>

；

其中，Px，Py和Pz是初始顶点的平面坐标，P'x和P'y是投影顶点的坐标，f和k是虚拟屏幕空间的空间属性参数。进一步可选地，f和k可以根据实际情况中的折叠屏幕设置。

进而，步骤502中，将投影顶点坐标以及空白影像输入到匹配标注模型中。这一步骤涉及使用计算机视觉技术，在空白影像中通过物体识别和标注模型，找到与折叠区域匹配的目标位置。步骤503中，通过匹配标注模型，从空白影像中识别与折叠区域匹配的目标位置区域，并在目标位置区域中定位与初始顶点位置坐标匹配的目标顶点位置坐标。这一步骤根据匹配结果来找到目标位置区域，并在该区域中确定折叠区域的目标顶点位置。这可能涉及到形状匹配算法，如特征点匹配或相关性匹配。步骤504中，按照目标顶点位置坐标，将折叠区域的原始合成影像移动至对应的目标位置区域。这一步骤使用图像处理技术，将折叠区域的原始合成影像从初始位置移动到目标位置。这可能涉及到图像配准或图像变换，如仿射变换或透视变换。

例如，假设初始顶点的位置坐标为 (10, 20)，空白影像中的目标位置区域是一个矩形框，初始顶点在该区域中的位置坐标为 (100, 150)。使用透视投影模型，可以计算出投影顶点的坐标为 (110, 165)。然后，通过匹配标注模型，在空白影像中找到与折叠区域匹配的目标位置区域，并确定初始顶点在该区域中的位置坐标为 (200, 300)。最后，将折叠区域的原始合成影像从初始位置移动到目标位置，将初始顶点的位置 (10, 20) 移动到目标位置 (200, 300)。

示例性地，当制作裸眼三维视频时，按照结合上文提供的人工智能模型以及具体步骤，在Adobe After Effects中采用插件形式执行从平面视频到折幕视频的转换处理。

本申请实施例中，首先，获取待处理视频在模拟观察视角下的渲染效果影像。该模拟观察视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度，渲染效果影像用于模拟待处理视频在模拟观察视角下的渲染效果。通过渲染效果影像可以模拟出用户在真实世界中观察得到的视觉效果，并以此作为折幕视频转换的数据基础，增强视频效果的视觉真实感，提升用户的沉浸感以及参与度。进而，基于目标折叠屏幕的显示参数创建匹配的空白影像。显示参数至少包括：目标折叠屏幕的长宽比。空白影像与目标折叠屏幕的显示区域适配，一方面，可以保证目标折叠屏幕能够显示待处理视频的完整内容，避免在折叠区域产生明显的视觉缺失或间断，保证视频显示效果的连贯性和完整性，另一方面，空白影像也可以作为从平面视频到折幕视频的转换基准，提供将渲染效果影像与目标折叠屏幕对齐的参考框架。接着，确定渲染效果影像中与显示参数匹配的折叠区域，并标注出折叠区域的初始顶点信息。通过这个步骤，可以准确找到渲染效果影像中需要进行折叠处理的区域。同时，标注初始顶点信息有助于后续对折叠区域进行准确的对齐和合并。最后，基于初始顶点信息以及折幕信息，将渲染效果影像按照顶点对齐合并到空白影像中，得到适用于目标折叠屏幕的目标折屏影像。通过将渲染效果影像合并到空白影像中，可以确保视频内容在折叠区域的整体连续性和完整性，合并后的目标折屏影像直接提供给折叠屏幕设备进行播放或展示。本申请实施例无需渲染烘焙序列帧并进行反复烘焙，即可实现从平面图像到折幕图像的高效转换，大大提升折幕视频的制作效率。

在本申请的又一实施例中，还提供了一种折幕视频处理装置，参见图6所示，该装置包括以下单元：

获取单元，被配置为获取待处理视频在模拟观察视角下的渲染效果影像；所述模拟观察视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度；所述渲染效果影像用于模拟所述待处理视频在所述模拟观察视角下的渲染效果；

创建单元，被配置为基于目标折叠屏幕的显示参数创建匹配的空白影像；所述显示参数至少包括：目标折叠屏幕的长宽比；

标注单元，被配置为确定所述渲染效果影像中与所述显示参数匹配的折叠区域，并标注出所述折叠区域的初始顶点信息；

合成单元，被配置为基于所述初始顶点信息以及折幕信息，将所述渲染效果影像按照顶点对齐合并到所述空白影像中，得到适用于目标折叠屏幕的目标折屏影像。

进一步可选地，标注单元，标注出所述折叠区域的初始顶点信息时，具体被配置为：在所述渲染效果影像的第一合成层中设置所述折叠区域的六个初始顶点，并分别标注出六个初始顶点的位置坐标。

合成单元，基于所述初始顶点信息以及折幕信息，将所述渲染效果影像按照顶点对齐合并到所述空白影像中，得到适用于目标折叠屏幕的目标折屏影像时，具体被配置为：

获取目标折叠屏幕的分辨率和/或折角关系；所述折角关系至少包括：折角度数；

根据六个初始顶点的位置坐标，将所述折叠区域移动到所述空白影像对应的目标位置，以使所述折叠区域的六个初始顶点对齐放置于所述空白影像对应的目标顶点位置；

基于目标折叠屏幕的分辨率和/或折角关系，将所述折叠区域合成到所述空白影像中，得到所述目标折屏影像。

进一步可选地，所述合成单元，基于目标折叠屏幕的分辨率和/或折角关系，将所述折叠区域合成到所述空白影像中，得到所述目标折屏影像，具体被配置为：

将所述折叠区域的原始合成影像从第一合成层导入到所述空白影像的第二合成层中；

对第二合成层中导入的原始合成影像执行镜像效果处理，以优化原始合成影像中目标顶点位置与目标折叠屏幕中屏幕顶点的位置关系；

在第二合成层中，创建一个与目标折叠屏幕具有相同分辨率和/或相同折角关系的合成蒙版；

将第二合成层中优化后的原始合成影像通过蒙版绘制处理合成到合成蒙版中，以获得所述目标折屏影像。

进一步可选地，所述合成单元，根据六个初始顶点的位置坐标，将所述折叠区域移动到所述空白影像对应的目标位置，具体被配置为：

将初始顶点位置坐标投影到所述空白影像对应的三维图像空间中，以获得投影顶点坐标；所述三维图像空间是对所述空白影像进行三维场景模拟得到的；

将所述投影顶点坐标以及所述空白影像输入到匹配标注模型中；

通过所述匹配标注模型，从所述空白影像中识别与所述折叠区域匹配的目标位置区域，并在目标位置区域中定位与初始顶点位置坐标匹配的目标顶点位置坐标；

按照目标顶点位置坐标，将所述折叠区域的原始合成影像移动至对应的目标位置区域。

进一步可选地，所述标注单元，确定所述渲染效果影像中与所述显示参数匹配的折叠区域，并标注出所述折叠区域的初始顶点信息，具体被配置为：

将所述渲染效果影像输入到折叠定位模型中；

通过所述折叠定位模型，从所述渲染效果影像中识别所述折叠区域，并在所述折叠区域中定位出六个初始顶点的位置坐标；

在所述折叠区域中标注六个初始顶点的位置坐标信息。

进一步可选地，所述折叠定位模型至少包括以下结构：特征提取层、平面影像特征提议层、平面金字塔池化层、顶点定位层。

所述标注单元，通过所述折叠定位模型，从所述渲染效果影像中识别所述折叠区域，并在所述折叠区域中定位出六个初始顶点的位置坐标，具体被配置为：

通过所述特征提取层，从所述渲染效果影像中提取候选影像特征图；

通过所述平面影像特征提议层，获取所述候选影像特征图中包含的多个候选折叠区域；

通过所述平面金字塔池化层，将每个候选折叠区域进行最大值池化处理，以获得候选特征向量；

通过所述顶点定位层，对候选特征向量进行目标分类，以获得所述折叠区域的边界框；采用边界框回归器对所述折叠区域的边界框进行顶点位置预测，以获得所述折叠区域中六个初始顶点的位置坐标。

进一步可选地，所述标注单元，通过所述平面影像特征提议层，获取所述候选影像特征图中包含的多个候选折叠区域，被配置为：

生成多个定位锚滑动窗；各个定位锚滑动窗的尺寸固定不变，不同定位锚滑动窗的尺寸和长宽比例不同；

通过各个定位锚滑动窗，对所述候选影像特征图进行全图扫描；

在全图扫描过程中，采用各个定位锚滑动窗对应的特征分类器，对当前扫描到的候选影像特征图块进行分类，以判断当前候选影像特征图块是否属于折叠区域边界；

若当前候选影像特征图块属于折叠区域边界，则对当前候选影像特征图块对应的折叠区域边界的位置信息进行预测；

对预测得到的折叠区域边界的位置信息进行四维回归处理，以修正折叠区域边界的位置信息；

所述通过所述平面金字塔池化层，将每个候选折叠区域进行最大值池化处理，以获得候选特征向量，包括：

基于每个候选折叠区域的区域面积，确定对应的候选空间单元的自适应尺寸信息；其中，候选折叠区域的区域面积越大，候选空间单元的自适应尺寸越大；

将每个候选折叠区域按照自适应尺寸信息划分为多个候选空间单元，并对划分得到的每个候选空间单元进行最大值池化处理，以获得长度固定的候选特征向量。

进一步可选地，所述折叠定位模型还包括微调优化层。标注单元还被配置为：

通过所述顶点定位层，采用边界框回归器对所述折叠区域的边界框进行顶点位置预测，以获得所述折叠区域中六个初始顶点的位置坐标之后，采用所述微调优化层，对六个初始顶点的位置坐标进行微调优化，以得到六个初始顶点的优化位置坐标。

进一步可选地，所述微调优化层中嵌入有局部修正模块。所述局部修正模块至少包括：局部特征提取单元、形态变化定位单元、网格构建单元、修正单元。

所述标注单元，采用所述微调优化层，对六个初始顶点的位置坐标进行微调优化，以得到六个初始顶点的优化位置坐标，具体被配置为：

通过所述局部特征提取单元，从各个初始顶点的位置坐标周围提取各个初始顶点对应的局部区域特征向量；所述局部区域特征向量对应的局部区域范围与各个初始顶点所处位置周围区域的形态相关；

通过所述形态变化定位单元，对各个初始顶点对应的局部区域特征向量进行形态变化，得到各个初始顶点对应的形态变化矩阵；其中，所述形态变化矩阵的尺寸由各个初始顶点周围的局部区域范围决定；

通过所述网格构建单元，对各个初始顶点对应的形态变化矩阵进行规则网格采样，以构建得到各个初始顶点对应的局部区域网格图；其中，局部区域网格图中包含排布间隔相等的采样点，采样点数量以及间隔距离基于各个初始顶点周围的局部区域形状自适应计算得到；

通过所述修正单元，将各个初始顶点对应的形态变化矩阵中的每一元素，与局部区域网格图中对应的采样点执行预设运算，以得到各个初始顶点对应的局部填充特征向量；采用所述局部填充特征向量对各个初始顶点的位置坐标进行位置修正处理，以得到各个初始顶点的优化位置坐标。

本申请实施例中，通过折幕视频处理装置，获取待处理视频在模拟观察视角下的渲染效果影像。该模拟观察视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度，渲染效果影像用于模拟待处理视频在模拟观察视角下的渲染效果。通过渲染效果影像可以模拟出用户在真实世界中观察得到的视觉效果，并以此作为折幕视频转换的数据基础，增强视频效果的视觉真实感，提升用户的沉浸感以及参与度。进而，基于目标折叠屏幕的显示参数创建匹配的空白影像。显示参数至少包括：目标折叠屏幕的长宽比。空白影像与目标折叠屏幕的显示区域适配，一方面，可以保证目标折叠屏幕能够显示待处理视频的完整内容，避免在折叠区域产生明显的视觉缺失或间断，保证视频显示效果的连贯性和完整性，另一方面，空白影像也可以作为从平面视频到折幕视频的转换基准，提供将渲染效果影像与目标折叠屏幕对齐的参考框架。接着，确定渲染效果影像中与显示参数匹配的折叠区域，并标注出折叠区域的初始顶点信息。这样，可以准确找到渲染效果影像中需要进行折叠处理的区域。同时，标注初始顶点信息有助于后续对折叠区域进行准确的对齐和合并。最后，基于初始顶点信息以及折幕信息，将渲染效果影像按照顶点对齐合并到空白影像中，得到适用于目标折叠屏幕的目标折屏影像。

在本申请的又一实施例中，还提供一种电子设备，包括：处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；

存储器，用于存放计算机程序；

处理器，用于执行存储器上所存放的程序时，实现方法实施例所述的折幕视频处理方法。

上述电子设备提到的通信总线1140可以是外设部件互连标准（PeripheralComponent Interconnect，PCI）总线或扩展工业标准结构（Extended Industry StandardArchitecture，EISA）总线等。该通信总线1140可以分为地址总线、数据总线、控制总线等。

为便于表示，图7中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口1120用于上述电子设备与其他设备之间的通信。

存储器1130可以包括随机存取存储器（Random Access Memory，RAM），也可以包括非易失性存储器（non-volatil ememory），例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器1110可以是通用处理器，包括中央处理器（Central Pro-

cessing Unit，CPU）、网络处理器（Network Processor，NP）等；还可以是数字信号处理器（Digital Signal Processing，DSP）、专用集成电路(ApplicationSpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，计算机程序被执行时能够实现上述方法实施例中可由电子设备执行的各步骤。

Claims (7)

1.一种折幕视频处理方法，其特征在于，包括：

获取待处理视频在模拟观察视角下的渲染效果影像；所述模拟观察视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度；所述渲染效果影像用于模拟所述待处理视频在所述模拟观察视角下的渲染效果；

基于目标折叠屏幕的显示参数创建匹配的空白影像；所述显示参数至少包括：目标折叠屏幕的长宽比；

确定所述渲染效果影像中与所述显示参数匹配的折叠区域，并标注出所述折叠区域的初始顶点信息；

基于所述初始顶点信息以及折幕信息，将所述渲染效果影像按照顶点对齐合并到所述空白影像中，得到适用于目标折叠屏幕的目标折屏影像；

所述标注出所述折叠区域的初始顶点信息，包括：

在所述渲染效果影像的第一合成层中设置所述折叠区域的六个初始顶点，并分别标注出六个初始顶点的位置坐标；

所述基于所述初始顶点信息以及折幕信息，将所述渲染效果影像按照顶点对齐合并到所述空白影像中，得到适用于目标折叠屏幕的目标折屏影像，包括：

获取目标折叠屏幕的分辨率和/或折角关系；所述折角关系至少包括：折角度数；

根据六个初始顶点的位置坐标，将所述折叠区域移动到所述空白影像对应的目标位置，以使所述折叠区域的六个初始顶点对齐放置于所述空白影像对应的目标顶点位置；

基于目标折叠屏幕的分辨率和/或折角关系，将所述折叠区域合成到所述空白影像中，得到所述目标折屏影像；

所述确定所述渲染效果影像中与所述显示参数匹配的折叠区域，并标注出所述折叠区域的初始顶点信息，包括：

将所述渲染效果影像输入到折叠定位模型中；

通过所述折叠定位模型，从所述渲染效果影像中识别所述折叠区域，并在所述折叠区域中定位出六个初始顶点的位置坐标；

在所述折叠区域中标注六个初始顶点的位置坐标信息；

所述折叠定位模型至少包括以下结构：特征提取层、平面影像特征提议层、平面金字塔池化层、顶点定位层；

所述通过所述折叠定位模型，从所述渲染效果影像中识别所述折叠区域，并在所述折叠区域中定位出六个初始顶点的位置坐标，包括：

通过所述特征提取层，从所述渲染效果影像中提取候选影像特征图；

通过所述平面影像特征提议层，获取所述候选影像特征图中包含的多个候选折叠区域；

通过所述平面金字塔池化层，将每个候选折叠区域进行最大值池化处理，以获得候选特征向量；

通过所述顶点定位层，对候选特征向量进行目标分类，以获得所述折叠区域的边界框；采用边界框回归器对所述折叠区域的边界框进行顶点位置预测，以获得所述折叠区域中六个初始顶点的位置坐标。

2.根据权利要求1所述的折幕视频处理方法，其特征在于，所述基于目标折叠屏幕的分辨率和/或折角关系，将所述折叠区域合成到所述空白影像中，得到所述目标折屏影像，包括：

将所述折叠区域的原始合成影像从第一合成层导入到所述空白影像的第二合成层中；

对第二合成层中导入的原始合成影像执行镜像效果处理，以优化原始合成影像中目标顶点位置与目标折叠屏幕中屏幕顶点的位置关系；

在第二合成层中，创建一个与目标折叠屏幕具有相同分辨率和/或相同折角关系的合成蒙版；

将第二合成层中优化后的原始合成影像通过蒙版绘制处理合成到合成蒙版中，以获得所述目标折屏影像。

3.根据权利要求1所述的折幕视频处理方法，其特征在于，所述根据六个初始顶点的位置坐标，将所述折叠区域移动到所述空白影像对应的目标位置，包括：

将初始顶点位置坐标投影到所述空白影像对应的三维图像空间中，以获得投影顶点坐标；所述三维图像空间是对所述空白影像进行三维场景模拟得到的；

将所述投影顶点坐标以及所述空白影像输入到匹配标注模型中；

通过所述匹配标注模型，从所述空白影像中识别与所述折叠区域匹配的目标位置区域，并在目标位置区域中定位与初始顶点位置坐标匹配的目标顶点位置坐标；

按照目标顶点位置坐标，将所述折叠区域的原始合成影像移动至对应的目标位置区域。

4.根据权利要求1所述的折幕视频处理方法，其特征在于，所述通过所述平面影像特征提议层，获取所述候选影像特征图中包含的多个候选折叠区域，包括：

生成多个定位锚滑动窗；各个定位锚滑动窗的尺寸固定不变，不同定位锚滑动窗的尺寸和长宽比例不同；

通过各个定位锚滑动窗，对所述候选影像特征图进行全图扫描；

在全图扫描过程中，采用各个定位锚滑动窗对应的特征分类器，对当前扫描到的候选影像特征图块进行分类，以判断当前候选影像特征图块是否属于折叠区域边界；

若当前候选影像特征图块属于折叠区域边界，则对当前候选影像特征图块对应的折叠区域边界的位置信息进行预测；

对预测得到的折叠区域边界的位置信息进行四维回归处理，以修正折叠区域边界的位置信息；

所述通过所述平面金字塔池化层，将每个候选折叠区域进行最大值池化处理，以获得候选特征向量，包括：

基于每个候选折叠区域的区域面积，确定对应的候选空间单元的自适应尺寸信息；其中，候选折叠区域的区域面积越大，候选空间单元的自适应尺寸越大；

将每个候选折叠区域按照自适应尺寸信息划分为多个候选空间单元，并对划分得到的每个候选空间单元进行最大值池化处理，以获得长度固定的候选特征向量。

5.根据权利要求1所述的折幕视频处理方法，其特征在于，所述折叠定位模型还包括微调优化层；

所述通过所述顶点定位层，采用边界框回归器对所述折叠区域的边界框进行顶点位置预测，以获得所述折叠区域中六个初始顶点的位置坐标之后，所述方法还包括：

采用所述微调优化层，对六个初始顶点的位置坐标进行微调优化，以得到六个初始顶点的优化位置坐标。

6.根据权利要求5所述的折幕视频处理方法，其特征在于，所述微调优化层中嵌入有局部修正模块；

所述局部修正模块至少包括：局部特征提取单元、形态变化定位单元、网格构建单元、修正单元；

所述采用所述微调优化层，对六个初始顶点的位置坐标进行微调优化，以得到六个初始顶点的优化位置坐标，包括：

通过所述局部特征提取单元，从各个初始顶点的位置坐标周围提取各个初始顶点对应的局部区域特征向量；所述局部区域特征向量对应的局部区域范围与各个初始顶点所处位置周围区域的形态相关；

通过所述形态变化定位单元，对各个初始顶点对应的局部区域特征向量进行形态变化，得到各个初始顶点对应的形态变化矩阵；其中，所述形态变化矩阵的尺寸由各个初始顶点周围的局部区域范围决定；

通过所述网格构建单元，对各个初始顶点对应的形态变化矩阵进行规则网格采样，以构建得到各个初始顶点对应的局部区域网格图；其中，局部区域网格图中包含排布间隔相等的采样点，采样点数量以及间隔距离基于各个初始顶点周围的局部区域形状自适应计算得到；

通过所述修正单元，将各个初始顶点对应的形态变化矩阵中的每一元素，与局部区域网格图中对应的采样点执行预设运算，以得到各个初始顶点对应的局部填充特征向量；采用所述局部填充特征向量对各个初始顶点的位置坐标进行位置修正处理，以得到各个初始顶点的优化位置坐标。

7.一种折幕视频处理装置，其特征在于，所述装置包括：

获取单元，被配置为获取待处理视频在模拟观察视角下的渲染效果影像；所述模拟观察视角用于表示用户在真实世界中观察周围环境时的视野范围和观察角度；所述渲染效果影像用于模拟所述待处理视频在所述模拟观察视角下的渲染效果；

创建单元，被配置为基于目标折叠屏幕的显示参数创建匹配的空白影像；所述显示参数至少包括：目标折叠屏幕的长宽比；

标注单元，被配置为确定所述渲染效果影像中与所述显示参数匹配的折叠区域，并标注出所述折叠区域的初始顶点信息；

合成单元，被配置为基于所述初始顶点信息以及折幕信息，将所述渲染效果影像按照顶点对齐合并到所述空白影像中，得到适用于目标折叠屏幕的目标折屏影像；

标注单元，标注出所述折叠区域的初始顶点信息时，具体被配置为：在所述渲染效果影像的第一合成层中设置所述折叠区域的六个初始顶点，并分别标注出六个初始顶点的位置坐标；

合成单元，基于所述初始顶点信息以及折幕信息，将所述渲染效果影像按照顶点对齐合并到所述空白影像中，得到适用于目标折叠屏幕的目标折屏影像时，具体被配置为：

获取目标折叠屏幕的分辨率和/或折角关系；所述折角关系至少包括：折角度数；

根据六个初始顶点的位置坐标，将所述折叠区域移动到所述空白影像对应的目标位置，以使所述折叠区域的六个初始顶点对齐放置于所述空白影像对应的目标顶点位置；

基于目标折叠屏幕的分辨率和/或折角关系，将所述折叠区域合成到所述空白影像中，得到所述目标折屏影像；

标注单元，确定所述渲染效果影像中与所述显示参数匹配的折叠区域，并标注出所述折叠区域的初始顶点信息时，被具体配置为：

将所述渲染效果影像输入到折叠定位模型中；

通过所述折叠定位模型，从所述渲染效果影像中识别所述折叠区域，并在所述折叠区域中定位出六个初始顶点的位置坐标；

在所述折叠区域中标注六个初始顶点的位置坐标信息；

所述折叠定位模型至少包括以下结构：特征提取层、平面影像特征提议层、平面金字塔池化层、顶点定位层；

标注单元，通过所述折叠定位模型，从所述渲染效果影像中识别所述折叠区域，并在所述折叠区域中定位出六个初始顶点的位置坐标时，被具体配置为：

通过所述特征提取层，从所述渲染效果影像中提取候选影像特征图；

通过所述平面影像特征提议层，获取所述候选影像特征图中包含的多个候选折叠区域；

通过所述平面金字塔池化层，将每个候选折叠区域进行最大值池化处理，以获得候选特征向量；

通过所述顶点定位层，对候选特征向量进行目标分类，以获得所述折叠区域的边界框；采用边界框回归器对所述折叠区域的边界框进行顶点位置预测，以获得所述折叠区域中六个初始顶点的位置坐标。