CN109756768A - 视频流处理方法、装置和视频流显示方法、装置 - Google Patents

Abstract

本公开涉及一种视频流处理方法、装置和视频流显示方法、装置，涉及视频处理技术领域。该视频流处理方法包括：将由多个视频子流合并而成的一个视频流发送给视频流显示装置，视频流中包含各视频子流的显示区域信息，以便在视频流显示装置的屏幕上的相应区域显示各视频子流的画面及其对应的区域调整框；接收所述视频流显示装置返回的、根据用户对所述区域调整框的操作生成的区域调整信息；根据区域调整信息更新视频流中的显示区域信息，并将更新后的视频流发送给视频流显示装置。本公开能够在降低网络开销的同时实现用户侧对画面显示区域的调整。

Description

视频流处理方法、装置和视频流显示方法、装置

技术领域

本公开涉及视频处理技术领域，特别涉及一种视频流处理方法、视频流处理装置、视频流显示方法、视频流显示装置和计算机可读存储介质。

背景技术

视频处理中的画中画显示技术能够使得用户同时观看多个单独的视频源。画中画显示技术广泛被应用于游戏直播、在线教育、体育直播、视频娱乐互动等不同领域。

相关技术主要有两种。第一种是启动多个播放端接收并控制多条独立视频流的显示。这种相关技术允许用户在终端侧调整画中画的显示位置、大小等。第二种是在服务器端将多路子流混合成一路画中画视频流输出。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：第一种相关技术需要多个播放器同时播放多路流，导致高额的网络开销及解码计算压力，对终端性能要求高，而且不容易控制两路视频子流的同步；第二种相关技术无法在用户侧动态调整视频子流的显示区域。针对上述问题中的至少一个问题，本公开提出了一种网络开销低且能够动态调整画面显示区域的视频流处理技术方案。

根据本公开的一些实施例，提供了一种视频流处理方法，包括：将由多个视频子流合并而成的一个视频流发送给视频流显示装置，所述视频流中包含各视频子流的显示区域信息，以便在所述视频流显示装置的屏幕上的相应区域显示所述各视频子流的画面及其对应的区域调整框；接收所述视频流显示装置返回的、根据用户对所述区域调整框的操作生成的区域调整信息；根据所述区域调整信息更新所述视频流中的显示区域信息，并将更新后的视频流发送给所述视频流显示装置。

可选地，所述显示区域信息包括所述各视频子流的画面的大小和位置。

可选地，所述区域调整信息包括经用户操作后所述区域调整框的大小和位置，根据所述区域调整信息更新所述区域调整框对应的视频子流的显示区域信息。

根据本公开的另一些实施例，提供一种视频流显示方法，包括：从视频流处理装置接收视频流，所述视频流由多个视频子流合并而成，并包含各视频子流的显示区域信息；根据所述显示区域信息，在视频流显示装置的屏幕上的相应区域显示各视频子流的画面及其对应的区域调整框；根据用户对所述区域调整框的操作生成区域调整信息，并向所述视频流处理装置返回所述区域调整信息；从所述视频流处理装置接收更新后的视频流并显示。

可选地，所述区域调整信息包括经用户操作后所述区域调整框的大小和位置；所述更新后的视频流通过所述视频流处理装置根据所述区域调整信息更新所述区域调整框对应的视频子流的显示区域信息来生成。

可选地，响应于用户按压所述视频子流的画面的时间大于第一阈值，在所述视频子流的画面处显示所述区域调整框，所述区域调整框与所述视频子流的画面的大小相同。

可选地，响应于用户未对所述区域调整框进行操作的时间超过第二阈值，向所述视频流处理装置返回所述区域调整信息。

根据本公开的又一些实施例，提供一种视频流处理装置，包括：视频流发送模块，用于将由多个视频子流合并而成的一个视频流发送给视频流显示装置，所述视频流中包含各视频子流的显示区域信息，以便在所述视频流显示装置的屏幕上的相应区域显示所述各视频子流的画面及其对应的区域调整框；调整信息接收模块，用于接收所述视频流显示装置返回的、根据用户对所述区域调整框的操作生成的区域调整信息；视频流更新模块，用于根据所述区域调整信息更新所述视频流中的显示区域信息；所述视频流发送模块将更新后的视频流发送给所述视频流显示装置。

可选地，所述区域调整信息包括经用户操作后所述区域调整框的大小和位置，所述视频流更新模块根据所述区域调整信息更新所述区域调整框对应的视频子流的显示区域信息。

可选地，所述显示区域信息包括所述各视频子流的画面的大小和位置。

根据本公开的再一些实施例，提供一种视频流显示装置，包括：视频流接收模块，用于从视频流处理装置接收视频流，所述视频流由多个视频子流合并而成，并包含各视频子流的显示区域信息；视频流显示模块，用于根据所述显示区域信息，在视频流显示装置的屏幕上的相应区域显示各视频子流的画面及其对应的区域调整框；调整信息生成模块，用于根据用户对所述区域调整框的操作生成区域调整信息，并向所述视频流处理装置返回所述区域调整信息；所述视频流接收模块从所述视频流处理装置接收更新后的视频流，所述视频流显示模块显示所述更新后的视频流。

可选地，所述区域调整信息包括经用户操作后所述区域调整框的大小和位置；所述更新后的视频流通过所述视频流处理装置根据所述区域调整信息更新所述区域调整框对应的视频子流的显示区域信息来生成。

可选地，所述视频流显示模块响应于用户按压所述视频子流的画面的时间大于第一阈值，在所述视频子流的画面处显示所述区域调整框，所述区域调整框与所述视频子流的画面的大小相同。

可选地，所述调整信息生成模块响应于用户未对所述区域调整框进行操作的时间超过第二阈值，向所述视频流处理装置返回所述区域调整信息。

根据本公开的再一些实施例，提供一种视频流处理装置，包括：存储器以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述任一个实施例所述的视频流处理方法。

根据本公开的再一些实施例，提供一种视频流显示装置，包括：存储器以及耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行上述人一些实施例所述的视频流显示方法。

根据本公开的再一些实施例，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一个实施例所述的视频流处理方法或者上述任一个实施例所述的视频流显示方法。

在上述实施例中，将多个子流合并而成的视频流和各子流的显示区域信息发送给显示装置，并在显示装置相应区域显示各子流画面和区域调整框。这样用户可以通过调整区域调整框反馈子流画面的调整信息，并根据调整信息更新视频流，从而在降低网络开销的同时能够实现用户侧对画面显示区域的调整。

附图说明

构成说明书的一部分的附图描述了本公开的实施例，并且连同说明书一起用于解释本公开的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本公开，其中：

图1示出本公开的视频流处理方法的一些实施例的流程图。

图2示出本公开的视频流显示方法的一些实施例的流程图。

图3示出本公开的视频流处理和显示方法的一些实施例的示意图。

图4示出本公开的视频流处理装置的一些实施例的框图。

图5示出本公开的视频流显示装置的一些实施例的框图。

图6示出本公开的视频流处理装置和视频流显示装置的另一些实施例的框图。

具体实施方式

现在将参照附图来详细描述本公开的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本公开及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

图1示出本公开的视频流处理方法的一些实施例的流程图。

如图1所示，该视频流处理方法包括：步骤110，发送视频流；步骤120，接收区域调整信息；步骤130，更新并发送视频流。

在步骤110中，可以将多个视频子流合并为一个画中画视频流发送给视频流显示装置。视频流中包含各视频子流的显示区域信息。例如，显示区域信息可以为四元数组(x,y,w,h)，x和y表示视频流中的一个子流画面左上角的横纵坐标，w和h表示该子流画面的宽和高。视频流显示装置可以根据四元数组在屏幕上的相应区域显示各视频子流的画面及其对应的区域调整框。

在步骤120中，接收视频流显示装置返回的区域调整信息。区域调整信息根据用户对区域调整框的操作生成，区域调整信息可以包括经用户操作后，区域调整框的大小和位置。例如，用户对区域调整框的操作可以为拖动、缩放等。

在步骤130中，根据区域调整信息更新视频流中的显示区域信息，并将更新后的视频流发送给视频流显示装置。例如，根据区域调整信息更新区域调整框对应的视频子流的显示区域信息，然后将更新后的视频流和更新后的显示区域信息发送给视频流显示装置。

上述实施例从视频流发送侧描述了本公开的技术方案，下面结合图2从视频流接收测描述本公开的技术方案。

图2示出本公开的视频流显示方法的一些实施例的流程图。

如图2所示，该视频流显示方法包括：步骤210，接收视频流；步骤220，显示视频子流的画面及其对应的区域调整框；步骤230，生成并返回区域调整信息；步骤240，接收并显示更新后的视频流。

在步骤210中，从视频流处理装置接收视频流，视频流由多个视频子流合并而成，并包含各视频子流的显示区域信息。

在步骤220中，根据显示区域信息，在视频流显示装置的屏幕上的相应区域显示各视频子流的画面及其对应的区域调整框。例如，区域调整框可以是与其对应的视频子流的画面的大小相同的矩形框。在一个实施例中，可以先不显示区域调整框，只在用户长时间按压视频自流画面的情况下才显示区域调整框，以免影响用户观看视频的体验。

在步骤230中，根据用户对区域调整框的操作生成区域调整信息，并向视频流处理装置返回所述区域调整信息。例如，区域调整信息可以包括经用户操作后区域调整框的大小和位置。在一个实施例中，如果用户在预定的时间内没有对区域调整框进行任何操作，则可以判断子流画面区域调整完毕，自动将区域调整信息返回视频流处理装置。

在步骤240中，接收更新后的视频流和更新后的显示区域信息，可以根据更新后的显示区域信息显示各子流的画面及其对应的区域调整框。

为了使本公开的技术方案更清楚，下面结合图3从发送和接收两侧描述本公开的技术方案。

图3示出本公开的视频流处理和显示方法的一些实施例的示意图。

如图3所示，视频流处理装置31将视频子流S1和视频子流S2合并为视频流S。视频流S中包含视频子流S2的显示区域信息。视频流处理装置31将视频流S发送给视频流显示装置32。视频流显示装置32根据显示区域信息在屏幕上的相应区域显示子流画面SS1和子流画面SS2，分别对应视频子流S1和视频子流S2。在子流画面SS2的显示区域还可以显示与子流画面SS2大小相同的区域调整框(图中未示出)。

用户可以根据需要对区域调整框进行调整，调整后区域调整框AB的位置和大小如图3所示。可以看出，经用户调整后，区域调整框AB相对于子流画面SS2的大小和位置均有改变。视频流显示装置32根据区域调整框AB的调整情况生成区域调整信息，并返回视频流处理装置31。

视频流处理装置31根据区域调整信息将视频流S更新为视频流S'，并将视频流S'和更新后的区域显示信息发送给视频流显示装置32。视频流显示装置32根据视频流S'在屏幕上显示子流画面SS2’和子流画面SS1，子流画面SS2’的大小和位置与区域调整框AB完全相同。

上述实施例中，将多个子流合并而成的视频流和各子流的显示区域信息发送给显示装置，并在显示装置相应区域显示各子流画面和区域调整框。这样用户可以通过调整区域调整框反馈子流画面的调整信息，并根据调整信息更新视频流，从而在降低网络开销的同时能够实现用户侧对画面显示区域的调整。

图4示出本公开的视频流处理装置的一些实施例的框图。

如图4所示，视频流处理装置4包括视频流发送模块41、调整信息接收模块42和视频流更新模块43。

视频流发送模块41将由多个视频子流合并而成的一个视频流发送给视频流显示装置。视频流中包含各视频子流的显示区域信息，以便在视频流显示装置的屏幕上的相应区域显示各视频子流的画面及其对应的区域调整框。例如，显示区域信息包括各视频子流的画面的大小和位置。

调整信息接收模块42接收视频流显示装置返回的区域调整信息，区域调整信息根据用户对区域调整框的操作生成。例如，区域调整信息可以包括经用户操作后区域调整框的大小和位置，

视频流更新模块43根据区域调整信息更新视频流中的显示区域信息。视频流发送模块41将更新后的视频流发送给视频流显示装置。例如，视频流更新模块43根据区域调整信息更新区域调整框对应的视频子流的显示区域信息。

图5示出本公开的视频流显示装置的一些实施例的框图。

如图5所示，视频流显示装置5包括视频流接收模块51、视频流显示模块52和调整信息生成模块53。

视频流接收模块51从视频流处理装置接收视频流，视频流由多个视频子流合并而成，并包含各视频子流的显示区域信息。

视频流显示模块52根据显示区域信息，在视频流显示装置的屏幕上的相应区域显示各视频子流的画面及其对应的区域调整框。

在一个实施例中，视频流显示模块52响应于用户按压视频子流的画面的时间大于第一阈值，在视频子流的画面处显示区域调整框，区域调整框与视频子流的画面的大小相同。

调整信息生成模块53根据用户对区域调整框的操作生成区域调整信息，并向视频流处理装置返回区域调整信息。视频流接收模块51从视频流处理装置接收更新后的视频流，视频流显示模块显示所述更新后的视频流。例如，区域调整信息包括经用户操作后区域调整框的大小和位置。更新后的视频流通过视频流处理装置根据区域调整信息更新区域调整框对应的视频子流的显示区域信息来生成。

在一个实施例中，调整信息生成模块53响应于用户未对区域调整框进行操作的时间超过第二阈值，向视频流处理装置返回区域调整信息。

上述实施例中，将多个子流合并而成的视频流和各子流的显示区域信息发送给显示装置，并在显示装置相应区域显示各子流画面和区域调整框。这样用户可以通过调整区域调整框反馈子流画面的调整信息，并根据调整信息更新视频流，从而在降低网络开销的同时能够实现用户侧对画面显示区域的调整。

图6示出本公开的视频流处理装置和视频流显示装置的另一些实施例的框图。

如图6所示，计算机6包括：存储器61以及耦接至该存储器61的处理器62，处理器62被配置为基于存储在存储器61中的指令，执行本公开中任一个实施例中的视频流处理方法或视频流显示方法。

当处理器62执行视频流处理方法时，计算机6为视频流处理装置。当处理器62执行视频流显示方法时，计算机6为视频流显示装置。

存储器61例如可以包括系统存储器、固定非易失性存储介质等。系统存储器例如存储有操作系统、应用程序、引导装载程序(Boot Loader)、数据库以及其他程序等。

本领域内的技术人员应当明白，本公开的实施例可提供为方法、系统、或计算机程序产品。因此，本公开可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本公开可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

至此，已经详细描述了根据本公开的视频流处理方法、视频流处理装置、视频流显示方法、视频流显示装置和计算机可读存储介质。为了避免遮蔽本公开的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本公开的方法和系统。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。

虽然已经通过示例对本公开的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本公开的范围。本领域的技术人员应该理解，可在不脱离本公开的范围和精神的情况下，对以上实施例进行修改。本公开的范围由所附权利要求来限定。

Claims (17)

1.一种视频流处理方法，包括：

将由多个视频子流合并而成的一个视频流发送给视频流显示装置，所述视频流中包含各视频子流的显示区域信息，以便在所述视频流显示装置的屏幕上的相应区域显示所述各视频子流的画面及其对应的区域调整框；

接收所述视频流显示装置返回的，根据用户对所述区域调整框的操作生成的区域调整信息；

根据所述区域调整信息更新所述视频流中的显示区域信息，并将更新后的视频流发送给所述视频流显示装置。

2.根据权利要求1所述的视频流处理方法，其中，所述显示区域信息包括所述各视频子流的画面的大小和位置。

3.根据权利要求1或2所述的视频流处理方法，其中，

所述区域调整信息包括经用户操作后所述区域调整框的大小和位置，

根据所述区域调整信息更新所述视频流中的显示区域信息包括：

根据所述区域调整信息更新所述区域调整框对应的视频子流的显示区域信息。

4.一种视频流显示方法，包括：

从视频流处理装置接收视频流，所述视频流由多个视频子流合并而成，并包含各视频子流的显示区域信息；

根据所述显示区域信息，在视频流显示装置的屏幕上的相应区域显示各视频子流的画面及其对应的区域调整框；

根据用户对所述区域调整框的操作生成区域调整信息，并向所述视频流处理装置返回所述区域调整信息；

从所述视频流处理装置接收更新后的视频流并显示。

5.根据权利要求4所述的视频流显示方法，其中，

所述区域调整信息包括经用户操作后所述区域调整框的大小和位置；

所述更新后的视频流通过所述视频流处理装置根据所述区域调整信息更新所述区域调整框对应的视频子流的显示区域信息来生成。

6.根据权利要求4或5所述的视频流显示方法，其中，显示所述区域调整框包括：

响应于用户按压所述视频子流的画面的时间大于第一阈值，在所述视频子流的画面处显示所述区域调整框，所述区域调整框与所述视频子流的画面的大小相同。

7.根据权利要求4或5所述的视频流显示方法，其中，返回所述区域调整信息包括：

响应于用户未对所述区域调整框进行操作的时间超过第二阈值，向所述视频流处理装置返回所述区域调整信息。

8.一种视频流处理装置，包括：

视频流发送模块，用于将由多个视频子流合并而成的一个视频流发送给视频流显示装置，所述视频流中包含各视频子流的显示区域信息，以便在所述视频流显示装置的屏幕上的相应区域显示所述各视频子流的画面及其对应的区域调整框；

调整信息接收模块，用于接收所述视频流显示装置返回的，根据用户对所述区域调整框的操作生成的区域调整信息；

视频流更新模块，用于根据所述区域调整信息更新所述视频流中的显示区域信息；

所述视频流发送模块将更新后的视频流发送给所述视频流显示装置。

9.根据权利要求8所述的视频流处理装置，其中，所述显示区域信息包括所述各视频子流的画面的大小和位置。

10.根据权利要求8或9所述的视频流处理装置，其中，

所述区域调整信息包括经用户操作后所述区域调整框的大小和位置，

所述视频流更新模块根据所述区域调整信息更新所述区域调整框对应的视频子流的显示区域信息。

11.一种视频流显示装置，包括：

视频流接收模块，用于从视频流处理装置接收视频流，所述视频流由多个视频子流合并而成，并包含各视频子流的显示区域信息；

视频流显示模块，用于根据所述显示区域信息，在视频流显示装置的屏幕上的相应区域显示各视频子流的画面及其对应的区域调整框；

调整信息生成模块，用于根据用户对所述区域调整框的操作生成区域调整信息，并向所述视频流处理装置返回所述区域调整信息；

所述视频流接收模块从所述视频流处理装置接收更新后的视频流，所述视频流显示模块显示所述更新后的视频流。

12.根据权利要求11所述的视频流显示装置，其中，

所述区域调整信息包括经用户操作后所述区域调整框的大小和位置；

所述更新后的视频流通过所述视频流处理装置根据所述区域调整信息更新所述区域调整框对应的视频子流的显示区域信息来生成。

13.根据权利要求11或12所述的视频流显示装置，其中，

所述视频流显示模块响应于用户按压所述视频子流的画面的时间大于第一阈值，在所述视频子流的画面处显示所述区域调整框，所述区域调整框与所述视频子流的画面的大小相同。

14.根据权利要求11或12所述的视频流显示装置，其中，

所述调整信息生成模块响应于用户未对所述区域调整框进行操作的时间超过第二阈值，向所述视频流处理装置返回所述区域调整信息。

15.一种视频流处理装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行如权利要求1-3中任一项所述的视频流处理方法。

16.一种视频流显示装置，包括：

存储器；以及

耦接至所述存储器的处理器，所述处理器被配置为基于存储在所述存储器装置中的指令，执行如权利要求4-7中任一项所述的视频流显示方法。

17.一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-3中任一项所述的视频流处理方法或者如权利要求4-7中任一项所述的视频流显示方法。