CN113923379A - 一种自适应视窗的多画面合成方法及处理终端 - Google Patents

Abstract

本发明公开一种自适应视窗的多画面合成方法及处理终端，所述方法包括：获取多个视频源的多个视频图像以及布局参数，从而得到原始视频图层属性；根据获得的缩放系数f更新视频图层属性，并计算得到当前视窗大小信息；通过更新后的视频图层属性和当前视窗大小信息判断视频图像与当前视窗是否相交，若相交则执行下一步骤，否则，不合成；若更新后的视频图像的宽高与原始的宽高不相等，则进行缩放并执行下一步骤，否则，结束处理；将缩放前的视频图像相应位置的数据拷贝到画布中对应的缩放后的视频图像，从而得到多个视频图层的合成画面。本发明可自适应多画面视图的缩放自动变化，画面保证清晰度不变。

Description

一种自适应视窗的多画面合成方法及处理终端

技术领域

本发明涉及多画面合成技术领域，具体涉及一种自适应视窗的多画面合成方法及处理终端。

背景技术

随着图像处理技术的发展，用户对多个视频源合成同时观看以及通过合成实现虚拟场景的需求日益增加。相对于要搭建实体的场景成本高、效率低、灵活性差的问题，多画面合成技术催生了许多虚拟场景的设备，同时虚拟演播室实现2D的虚拟场景技术越来越成熟。

常见的虚拟场景，即多画面合成技术，是通过一个固定的画布以及每个图层的属性配置好后，对每个通道的视频进行缩小，再贴到画布上，这时候原始图像已经被缩小了，图像的很多细节已经被去掉，这时用户缩放多画面的视图，导致画面模糊、清晰度降低的问题。这种方案存在对多画面的视图越放大，则画面会越来越不清晰。因此，需要一种更好的特别是能够自适应视窗的多画面合成方法。

发明内容

针对现有技术的不足，本发明的目的之一提供一种自适应视窗的多画面合成方法，其能够解决多画面合成的问题；

本发明的目的之二提供一种处理终端，其能够解决多画面合成的问题；

实现本发明的目的之一的技术方案为：一种自适应视窗的多画面合成方法，包括以下步骤：

步骤1：获取多个视频源的多个视频图像，预设每一个视频图像在画布上的布局参数，布局参数包括视频图像在画布上所占的宽w、高h以及视频图像在画布中的位置，以及为每一个视频图像在画布中分配一个视频图层，从而得到视频图像在画布中的原始视频图层属性，原始视频图层属性包括布局参数和所属视频图层；

步骤2：获得当前时刻用户对画布的视窗进行缩放操作的缩放系数f和当前视窗中心点在画布中的位置，缩放系数f是指当前视窗大小与原始画布大小的比例，

根据缩放系数f将每一个视频图像的原始视频图层属性都更新到视窗缩放操作后的视频图层属性，得到更新后的视频图层属性B_i(x′,y′,w′,h′)，w′表示对应的视频图像的宽，h′表示对应的视频图像的宽高，B_i(x′,y′)表示对应的视频图像在画布中的位置，

获得当前视窗中心点在画布中的位置后，计算出当前视窗包括位置和宽高信息的当前视窗大小信息；

步骤3：通过更新后的视频图层属性与当前视窗大小信息判断缩放后的各个视频图像与当前视窗是否相交，若相交，则执行步骤4，否则，不对相应的视频图像合成至当前视窗内；

步骤4：若w′≠sw且h′≠sh，则对视频图层属性B_i(x′,y′,w′,h′)所对应的视频图像进行缩放处理，使得缩放后的视频图像的宽高与B_i(x′,y′)的宽高相等；

步骤5：以(x′,y′)为起点、每行w′且总共h′行将视频图像相应位置的数据拷贝到画布中对应的位置，从而得到多个视频图层的合成画面。

进一步地，视频图像在画布中的位置采用二维坐标表征。

进一步地，视频图像在画布中的位置采用视频图像最左上角顶点在画布中的二维坐标(x,y)来表征。

进一步地，缩放系数f的取值为：1≤f≤6。

进一步地，根据缩放系数f将每一个视频图像的原始视频图层属性都更新到视窗缩放操作后的视频图层属性，其具体实现根据公式②计算得到：

(x,y,w,h)依次表示原始视频图层属性的二维坐标(x,y)宽w和高h。

进一步地，当前视窗中心点在画布中的位置为当前视窗中心点在画布中的坐标P1(x_p,y_p)，x_p表示横坐标，y_p表示纵坐标。

进一步地，获得当前视窗中心点在画布中的位置后，计算出当前视窗包括位置和宽高信息的当前视窗大小信息，其具体实现根据公式③计算得到当前视窗大小信息P(x′_p,y′_p,w_p,h_p)，视窗大小信息包括坐标(x′_p,y′_p)、宽w_p、高h_p：

式中，cw表示原始画布的宽，ch表示原始画布的高。

进一步地，判断缩放后的各个视频图像与当前视窗是否相交，包括以下步骤：

若满足条件组合中的任意一种条件，则视为不相交，否则，视为相交，也即当均不满足条件组合中的所有条件，则视为相交，条件组合如下：

实现本发明的目的之二的技术方案为：一种处理终端，其包括：

存储器，用于存储程序指令；

处理器，用于运行所述程序指令，以执行所述自适应视窗的多画面合成方法的步骤。

本发明的有益效果为：本发明实时获取用户操作多画面视图的缩放以及移动操作，动态计算每个视频图层相对于缩放多画面视图后的在画布上的位置以及宽高。自适应了多画面视图的缩放自动变化，同时合成出来后的画面保证清晰度不变，解决虚拟场景缩放移动视图窗口画质变差变模糊的问题，满足用户对虚拟场景进行缩放移动操作下，保证清晰度不变的需要。

附图说明

图1为较佳实施例的流程示意图；

图2为处理终端的示意图。

具体实施方式

为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

参考图1，一种自适应视窗的多画面合成方法，包括以下步骤：

步骤1：获取多个视频源的多个视频图像，预设每一个视频图像在画布上的布局参数，布局参数包括视频图像在画布上所占的宽w、高h以及视频图像在画布中的位置，以及为每一个视频图像在画布中分配一个视频图层，从而得到视频图像在画布中的原始视频图层属性，原始视频图层属性包括布局参数和所属视频图层。这里的画布也即是各个视频图像合成在一起拼接组合而成的合成画面，因此，合成画面占据整个画布。

其中，视频图像在画布中的位置用二维坐标表征，例如，以视频图像最左上角顶点在画布中的二维坐标(x,y)来表征，其中，x表示横坐标，y表示纵坐标，当然也可以采用视频图像其他某一个位置的二维坐标来表征。因此，第i个视频图像在画布中的原始视频图层属性可以记为A_i(x,y,w,h)。

视频源为不同视频终端上的视频画面，例如，在一个视频会议中，每一个视频终端对应提供一个视频画面，各个视频终端通过对应的传输通道将视频图像传输到接收端(例如服务器)。

步骤2：获得当前时刻用户对画布的视窗进行缩放操作的缩放系数f和当前视窗中心点在画布中的坐标P1(x_p,y_p)，视窗的缩放系数f是指当前时刻的视窗(即是当前视窗)宽高与原始画布宽高的比例。缩放系数f大小可以预设，也即可以预先限定视窗缩放大小的倍数，本实施例中，1≤f≤6。若f＝1，也即表示视窗的画面大小等于合成画面的全画面(即诸如网页的“全屏”或“最大化”时的画面)，此时的，视窗无法移动。

根据缩放系数f可以计算出当前视窗的宽dcw和高dch，具体的按公式①计算得到：

dcw＝cw*f,dch＝ch*f------①

式中，cw表示原始画布的宽，ch表示原始画布的高。

由于画布的视窗进行了缩放操作，相应的，最初的视频图像在画布上的图层属性也需要基于缩放系数进行更新。将原始视频图层属性A_i(x,y,w,h)根据公式②更新为新的视频图层属性B_i(x′,y′,w′,h′)：

根据公式②将每一个视频图像的原始视频图层属性都更新到视窗缩放操作后的视频图层属性。

获得当前视窗中心点在画布中的坐标P1(x_p,y_p)后，根据公式③计算得到当前视窗大小信息P(x′_p,y′_p,w_p,h_p)，视窗大小信息包括坐标(x′_p,y′_p)、宽w_p、高h_p：

步骤3：通过更新后的视频图层属性B_i(x′,y′,w′,h′)与当前视窗大小信息P(x′_p,y′_p,w_p,h_p)判断缩放后的各个视频图像是否在当前的视窗里面，判断方法是把视频图像与视窗抽象成两个矩形，即判断两个矩形是否相交，若相交，则执行步骤4，否则，不需要将该视频图像合成至当前视窗内。其中，视频图像与当前视窗相交，表示视频图像的视频图层在当前视窗内，因此，需要合成该视频图像，若不相交，则意味着，视频图像的视频图层未在当前视窗的范围内，对应的视频图像不需要合成至当前视窗内。

本实施例的视窗为矩形，在实际应用时，也可以根据需要进行调整为其他规则或非规则几何形。

其中，满足条件组合中的任意一种条件，则视为不相交，否则，视为相交，也即当均不满足条件组合中的所有条件，则视为相交。条件组合如下：

步骤4：判断更新后的视频图层属性B_i(x′,y′,w′,h′)与对应的原始视频图像的宽sw、高sh是否相等，也即判断w′与sw是否相等，以及h′与sh是否相等，若w′≠sw且h′≠sh，则对视频图层属性B_i(x′,y′,w′,h′)所对应的视频图像进行缩放处理，即缩放后的视频图像的宽高与图像属性B_i的宽高相等。

步骤5：以(x′,y′)为起点、每行w′且总共h′行将视频图像相应位置的数据拷贝到画布中对应的位置，从而得到多个视频图层的合成画面，也即是将多个视频源的各个视频图像合成在同一个画布中，得到合成画面。

参考图2，本实施例还提供一种处理终端，其包括：

存储器101，用于存储程序指令；

处理器102，用于运行所述程序指令，以执行所述自适应视窗的多画面合成方法的步骤。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。

Claims (9)

1.一种自适应视窗的多画面合成方法，其特征在于，包括以下步骤：

步骤1：获取多个视频源的多个视频图像，预设每一个视频图像在画布上的布局参数，布局参数包括视频图像在画布上所占的宽w、高h以及视频图像在画布中的位置，以及为每一个视频图像在画布中分配一个视频图层，从而得到视频图像在画布中的原始视频图层属性，原始视频图层属性包括布局参数和所属视频图层；

步骤2：获得当前时刻用户对画布的视窗进行缩放操作的缩放系数f和当前视窗中心点在画布中的位置，缩放系数f是指当前视窗大小与原始画布大小的比例，

根据缩放系数f将每一个视频图像的原始视频图层属性都更新到视窗缩放操作后的视频图层属性，得到更新后的视频图层属性B_i(x′,y′,w′,h′)，w′表示对应的视频图像的宽，h′表示对应的视频图像的宽高，B_i(x′,y′)表示对应的视频图像在画布中的位置，

获得当前视窗中心点在画布中的位置后，计算出当前视窗包括位置和宽高信息的当前视窗大小信息；

步骤3：通过更新后的视频图层属性与当前视窗大小信息判断缩放后的各个视频图像与当前视窗是否相交，若相交，则执行步骤4，否则，不对相应的视频图像合成至当前视窗内；

步骤4：若w′≠sw且h′≠sh，则对视频图层属性B_i(x′,y′,w′,h′)所对应的视频图像进行缩放处理，使得缩放后的视频图像的宽高与B_i(x′,y′)的宽高相等；

步骤5：以(x′,y′)为起点、每行w′且总共h′行将视频图像相应位置的数据拷贝到画布中对应的位置，从而得到多个视频图层的合成画面。

2.根据权利要求1所述的自适应视窗的多画面合成方法，其特征在于，视频图像在画布中的位置采用二维坐标表征。

3.根据权利要求1所述的自适应视窗的多画面合成方法，其特征在于，视频图像在画布中的位置采用视频图像最左上角顶点在画布中的二维坐标(x,y)来表征。

4.根据权利要求3所述的自适应视窗的多画面合成方法，其特征在于，缩放系数f的取值为：1≤f≤6。

5.根据权利要求4所述的自适应视窗的多画面合成方法，其特征在于，根据缩放系数f将每一个视频图像的原始视频图层属性都更新到视窗缩放操作后的视频图层属性，其具体实现根据公式②计算得到：

(x,y,w,h)依次表示原始视频图层属性的二维坐标(x,y)宽w和高h。

6.根据权利要求5所述的自适应视窗的多画面合成方法，其特征在于，当前视窗中心点在画布中的位置为当前视窗中心点在画布中的坐标P1(x_p,y_p)，x_p表示横坐标，y_p表示纵坐标。

7.根据权利要求6所述的自适应视窗的多画面合成方法，其特征在于，获得当前视窗中心点在画布中的位置后，计算出当前视窗包括位置和宽高信息的当前视窗大小信息，其具体实现根据公式③计算得到当前视窗大小信息P(x′_p,y′_p,w_p,h_p)，视窗大小信息包括坐标(x′_p,y′_p)、宽w_p、高h_p：

式中，cw表示原始画布的宽，ch表示原始画布的高。

8.根据权利要求7所述的自适应视窗的多画面合成方法，其特征在于，判断缩放后的各个视频图像与当前视窗是否相交，包括以下步骤：

若满足条件组合中的任意一种条件，则视为不相交，否则，视为相交，也即当均不满足条件组合中的所有条件，则视为相交，条件组合如下：

9.一种处理终端，其特征在于，其包括：

存储器，用于存储程序指令；

处理器，用于运行所述程序指令，以执行如权利要求1-8任一项所述自适应视窗的多画面合成方法的步骤。

Images