CN109565598A - 用于动态地拼接视频流的系统和方法 - Google Patents

Abstract

视频编解码器[100]包括拼接模块[110]，其被配置为选择所存储的编码视频帧[119]，所述编码视频帧要被组合成用于显示的级联帧。拼接模块将所选择的编码视频帧排列成指定图案，并将排列的编码视频帧拼接在一起以生成拼接编码帧[118]。然后，视频编解码器的解码器[115]对拼接的编码帧进行解码以生成用于显示的帧。通过在解码之前将编码的视频帧拼接在一起，视频编解码器减少了必须初始化解码器的次数。

Description

用于动态地拼接视频流的系统和方法

技术领域

公开领域

本公开一般涉及视频处理，并且更具体地涉及视频解码。

现有技术描述

视频编码器和解码器用于各种应用中，以便以压缩方式存储和传输视频流。例如，视频流在被存储在存储器之前可以被编码，以便减少存储视频流所需的空间量，然后被解码以便生成用于在显示设备处显示的帧。通常，在解码视频流之前，必须初始化解码器，以便为解码过程准备存储器和其他系统资源。然而，初始化解码器所需的开销可能显着影响解码过程的效率，尤其是在需要解码许多不同视频流的应用中。

附图简述

通过参考附图，可更好地理解本公开，并且它的许多特征和优点对本领域技术人员来说变得显而易见。在不同图式中使用的相同元件符号指示类似或完全相同的项目。

图1是根据一些实施方案的视频编解码器的框图，该视频编解码器被配置为将编码的视频帧拼接在一起以生成用于拼接编码帧供解码。

图2是根据一些实施方案的图1的视频编解码器的实例的框图，该视频编解码器拼接一组编码视频帧以生成拼接编码帧。

图3是根据一些实施方案的图1的视频编解码器的实例的框图，该视频编解码器选择和拼接不同组的编码视频帧以生成不同的拼接编码帧。

图4是根据一些实施方案的图1的视频编解码器的实例的框图，该视频编解码器选择和拼接不同组的编码视频帧以生成由重叠编码视频帧组成的不同拼接编码帧。

图5是根据一些实施方案的图1的视频编解码器的实例的框图，该视频编解码器修改编码视频帧的标头以确定其将被拼接成拼接编码帧的顺序并生成其他视频标头。

图6是根据一些实施方案的将编码视频帧拼接在一起以生成用于解码的拼接编码帧的方法的流程图。

具体实施方式

图1-6示出了通过拼接独立编码的视频帧以生成用于解码的拼接编码帧来减少视频编解码器处的初始化开销的技术。视频编解码器包括拼接模块，该拼接模块被配置为选择要被组合成用于显示的级联帧的存储的编码视频帧。拼接模块将所选择的编码视频帧排列成指定图案，并将排列的编码视频帧拼接在一起以生成拼接编码帧。然后，视频编解码器的解码器对拼接的编码帧进行解码以生成用于显示的帧。通过在解码之前将编码的视频帧拼接在一起，视频编解码器减少了必须初始化解码器的次数，从而提高了处理效率。

为了说明，为了解码视频帧，必须通过例如分配用于解码的存储器，准备缓冲器和其他存储元件，清除在先前解码操作期间存储的数据等来初始化解码器。初始化解码器所需的开销(这里称为“初始化开销”)的量通常与要解码的视频的大小无关。因此，对于生成由许多独立视频流组成的显示帧的某些类型的设备，初始化开销可能对编解码器资源和性能具有显着影响。当视频流的分辨率相对较小时，特别是这种情况。例如，在娱乐场游戏和Pachinko/Pachislot设备中，每个显示帧由许多独立视频流组成，其中要显示的视频流可以随时间频繁改变。传统上，不同的独立视频流被独立地编码和解码，然后被组合成用于显示的帧。该方法要求针对每个独立视频流并且在每个帧级别下重新初始化解码器，使得初始化开销消耗不期望量的系统资源。使用本文描述的技术，视频编解码器可以将所选择的多个编码帧动态地拼接成单个拼接编码帧以用于解码。这支持解码大量可能视频帧的大量可能组合，而不需要过多的存储器或解码器初始化开销。此外，通过将所选择的编码帧动态拼接成拼接帧以进行解码，减少了解码器的初始化次数。

图1示出了根据一些实施方案的视频编解码器100的实例，该视频编解码器100被配置为对视频流进行编码和解码以生成用于在电子设备处显示的帧。这样，视频编解码器100可以用于各种设备中的任何一种，例如个人计算机、诸如智能电话的移动设备、视频播放器、视频游戏控制台、娱乐场游戏设备等。如本文进一步描述的，由视频编解码器100编码的视频流包括用于在显示设备119处显示的多个图像或图片。因为存储在每个视频流中的大量信息可能需要相当大的计算资源，例如处理能力和存储器，所以采用视频编解码器100来编码或压缩视频流中的信息而不会过度降低图像质量。在显示之前，视频编解码器解码，以便视频流中的未压缩图像可以在显示设备上显示。

为了支持视频流的编码和解码，视频编解码器100包括编码器105、存储器107、输入/输出模块108、拼接模块110、解码器115、去拼接模块117和显示设备119。编码器105被配置为接收视频流(VS)，包括VS1 111、VS2 112至第N个视频流VSN 113。编码器105还被配置为对每个接收的视频流进行编码以生成对应的编码帧流(例如，对应于VS1 111的编码帧(EF)119的流)。视频流111-113中的每一个表示不同的视频帧序列，因此可以表示各种视频内容项中的任何一个。例如，在一些实施方案中，每个视频流表示娱乐场游戏的游戏元素的动画，例如弹球机。在一些实施方案中，每个视频流表示不同的电视节目、电影或其他视频娱乐内容。

编码器105被配置为根据多种压缩或编码格式或标准中的任何一种，例如运动图像专家组(MPEG)-2第2部分、MPEG-4第2部分、H.264、H.265(HEVC)、Theora、Dirac、RealVideo RV40、VP8或VP9编码格式，来编码每个接收的视频流111-113以生成相应的编码视频流。编码器将对应的编码视频帧EF1、EF2...EFN输出到存储器107。这些编码帧由编码宏块或编码树单元(CTU)组成。

存储器107是通常被配置为从编码器105接收编码视频帧EF1、EF2......EFN并存储它们以通过拼接模块110进行检索的存储介质。这样，存储器107可以包括可由计算机系统访问的任何存储介质或存储介质的组合。此类存储介质可包括但不限于光学介质(例如，压缩光盘(CD)、数字通用光盘(DVD)、蓝光光盘)、磁性介质(例如，软盘、磁带或磁性硬盘驱动器)、易失性存储器(例如，随机存取存储器(RAM)或高速缓存)、非易失性存储器(例如，只读存储器(ROM)或闪存)或基于微机电系统(MEMS)的存储介质。存储器107可以嵌入在计算系统(例如，系统RAM或ROM)中，固定地连接到计算系统(例如，磁性硬盘驱动器)，可移除地连接到计算系统(例如，光盘或基于通用串行总线(USB)的闪存)，或经由有线或无线网络(例如，网络可访问存储(NAS))耦合到计算机系统。

输入/输出模块108通常被配置为生成表示用户与输入设备(未示出)的交互的电信号，例如触摸屏、键盘、一组按钮或其他输入、游戏控制器、计算机鼠标、轨迹球、指示设备、手动遥控杆、旋钮、眼睛注视跟踪器、数码相机、麦克风、操纵杆等。出于描述的目的，假设用户与输入设备的交互导致选择用于显示的视频流。在一些实施方案中，选择可以是直接选择，由此用户选择特定视频流用于显示。例如，用户可以使用鼠标或电视遥控器来选择要同时显示的视频剪辑的排列。在其他实施方案中，选择可以是间接选择，诸如响应于用户输入而生成的视频帧的随机选择。例如，选择可以是响应于用户按下娱乐场游戏机处的“旋转”按钮而生成的视频流的随机选择。

基于用户选择，输入/输出模块108生成拼接序列指令109以指示要显示的各个视频流以及要显示的视频流的排列。例如，输入/输出模块108可以被编程为基于所接收的用户输入生成拼接序列指令109，其描绘视频流的随机或伪随机选择以及要显示的视频流的排列。因此，在一种情况下，输入/输出模块108可以生成拼接指令109，其指示编码帧EF2、EF4(未示出)、EF5(未示出)和EF8(未示出)的选择，以及在一维堆栈中的相应视频流的排列，其中由编码帧EF2表示的视频流将显示在堆栈的顶部，由编码帧EF4表示的视频流将在编码帧EF2下方显示，由编码帧EF5表示的视频流在编码帧EF4下方显示，并且由编码帧EF8表示的视频流在编码帧EF5下方显示在堆栈的底部。

应当理解，输入/输出模块108可以改变拼接指令109以反映新的用户输入和要显示的视频帧的新的相应选择和排列。例如，在娱乐场游戏机的情况下，对于表示旋转或其他游戏事件的每个用户输入，输入/输出模块108可以生成新的拼接指令109，从而根据娱乐场游戏的规则生成视频帧的新的选择和排列。

拼接模块110被配置为接收拼接序列指令109，并且根据拼接序列指令109，选择存储在存储器107中的编码帧并拼接编码的帧以生成拼接编码帧118以输出到解码器115。每个独立编码帧变为拼接编码帧118的一部分。在一些实施方案中，并且如本文中进一步描述的，拼接模块110通过修改所选编码帧的像素块标头(例如，宏块或CTU标头)，例如通过修改像素块标头的序列号来拼接所选编码帧，所述序列号表示要显示的帧中相应像素块的位置。

解码器115通常被配置为将来自拼接模块110的拼接的编码帧118解码以生成解码帧116。解码器115根据多种解压缩或解码格式或标准中的任何一种对拼接的编码帧118进行解码，并且对应于编码器105对视频流进行编码的格式或标准。然后，解码器115将解码帧116提供给去拼接模块117。因为解码帧116是基于拼接编码帧118生成的，所以它对应于如果在编码之前合成每个单独显示的视频流将生成的帧。然而，通过以编码形式将视频流拼接在一起，视频编解码器100支持各种视频流选择和排列组合，同时减少设置开销。因为编码视频帧已经被选择并通过拼接模块110来拼接成拼接编码帧，所以解码器115需要每帧仅设置一次以解码拼接编码帧118，而不是针对每个编码视频帧EF1至EFn重新设置，但是编码的视频帧及其在拼接帧内的排列直到各个视频帧被编码之后才被确定。

去拼接模块117通常被配置为接收去拼接指令(未示出)，并且根据去拼接指令，对拼接的解码帧116进行去拼接处理以生成对应于VS1 111、VS2 112、......VSN 113的解码(未压缩)视频流。去拼接模块117输出解码视频流(未示出)，所述解码视频流由显示设备119合成，以产生用于在显示设备119上显示的显示帧。

为了说明，在操作中，编码器105接收视频流111-113，对每个接收的流进行编码以生成对应的编码视频帧，并将编码的视频帧存储在存储器107中。在至少一个实施方案中，在采用视频编解码器100的设备的一般操作之前完成视频流到编码视频帧的编码。例如，编码视频帧可以由编码器105在采用视频编解码器100的设备的制造或供应阶段期间生成，使得编码视频帧在用户对设备的一般操作期间准备就绪。

用户通过输入/输出模块108与设备交互，输入/输出模块108响应于用户交互，生成拼接序列指令109。基于拼接序列指令109，拼接模块110选择存储在存储器107中的编码帧并拼接编码的帧以生成拼接编码帧118以输出到解码器115。解码器对接收的拼接编码帧118进行解码，以生成拼接的解码帧116，以输出到去拼接模块117。去拼接模块117对接收到的拼接解码帧116进行去拼接，以生成解码视频流，以输出到显示设备119，所述显示设备119将视频流显示给用户。

图2示出了根据一些实施方案的生成拼接编码帧212的视频编解码器100的实例。在所示的实例中，编码视频帧EF1、EF2、EF3、EF4、EF5、EF6、EF7和EF8存储在存储器207(未示出)中。拼接模块110接收拼接序列指令209。出于所示实例的目的，假设拼接序列指令209指示编码视频帧EF1、EF2、EF3和EF5将被排列在一维堆栈中，其中EF3位于堆栈的顶部，EF1低于EF3，EF5低于EF1，EF2低于EF5，位于堆栈底部。

响应于接收到拼接序列指令209，拼接模块110从存储器207中检索编码视频帧EF1、EF2、EF3和EF5，并将它们拼接成具有四个垂直堆叠编码视频帧的拼接编码视频帧212，其中EF3在堆栈顶部，EF1低于EF3，EF5低于EF1，EF2低于EF5，位于堆栈底部。因此，拼接模块110将由拼接序列109指示的选择和排列加以匹配。在一些实施方案中，拼接模块110通过修改编码帧的一个或多个像素块标头来修改帧中对应像素块的位置，从而根据指示的排列来排列所选择的编码帧。下面参考图5进一步描述一个实例。

在一些实施方案中，由拼接模块110接收的拼接序列指令可以响应于用户输入而随时间改变，从而在不同时间生成编码视频帧的不同拼接排列成为不同的编码拼接帧。图3示出了根据一些实施方案的一个实例。在所示实例中，编码视频帧EF1、EF2、EF3、EF4、EF5、EF6、EF7和EF8存储在存储器107中。在时间T1，拼接模块110接收拼接序列指令(未示出)，该指令指示编码视频帧EF1、EF2、EF3和EF5将被排列在具有四个帧的堆栈中，其中EF3位于堆栈的顶部，EF1低于EF3，EF5低于EF1，EF2低于EF5，位于堆栈底部。根据接收到的拼接序列指令，拼接模块110检索编码视频帧EF1、EF2、EF3和EF5，并将它们拼接成具有四个堆叠帧的编码视频帧312，其中EF3位于堆栈顶部，EF1低于EF3，EF5低于EF1，EF2低于EF5，位于堆栈底部。

在时间T1之后的时间T2，拼接模块110接收新的拼接序列指令(未示出)，该指令指示编码的视频帧EF4、EF6、EF7和EF8将被排列在具有四个帧的堆叠中，其中EF6在堆栈顶部，EF4低于EF6，EF7低于EF4，EF8低于EF7，位于堆栈底部。根据接收到的拼接序列指令，拼接模块110检索编码视频帧EF4、EF6、EF7和EF8，并将它们拼接成具有四个垂直堆叠帧的编码视频帧313，其中EF6位于堆栈顶部，EF4低于EF6，EF7低于EF4，EF8低于EF7，低于堆栈底部。因此，在图3的实例中，拼接模块103响应于拼接序列指令的变化更新编码视频帧的选择和排列，从而改变在显示设备117处显示的视频流的排列。

图4示出了根据一些实施方案的图1的视频编解码器的实例，该视频编解码器选择和拼接不同组的编码视频帧以生成由重叠的编码视频帧组构成的不同拼接编码帧。在所描绘的实例中，编码视频帧EF1、EF2、EF3、EF4、EF5、EF6、EF7和EF8存储在存储器107中。在时间T1，拼接模块110接收拼接序列指令(未示出)。根据接收到的拼接序列指令，拼接模块110检索编码视频帧EF1、EF2、EF3和EF5，并将它们拼接成具有四个堆叠帧的编码视频帧412，其中EF3位于堆栈顶部，EF1低于EF3，EF5低于EF1，EF2低于EF5，位于堆栈底部。在时间T2，拼接模块110接收新的拼接序列指令(未示出)。根据接收到的拼接序列指令(未示出)，拼接模块110检索编码视频帧EF2、EF3、EF4和EF8，并将它们拼接到具有四个堆叠帧的编码视频帧413中，其中EF3位于堆栈顶部，EF3低于EF3，EF8低于EF4，EF2低于EF8，位于堆栈底部。

图5示出了根据一些实施方案的图1的视频编解码器的实例，该视频编解码器修改编码视频帧的像素块标识符(例如，宏块或CTU标头)以确定其将被拼接到拼接编码帧559中的顺序。在所描绘的实例中，存储器107存储编码的视频帧，例如编码的视频帧551。每个编码视频帧至少包括标头和有效载荷(例如，用于编码帧551的标头552和有效载荷553)。标头包括编码视频帧的指定像素块的地址信息。例如，位于像素块的左上角的第一像素块的地址可以指定为0。通过改变像素块标头中的地址信息，拼接模块110改变拼接帧中的像素块的位置。例如，通过将像素块标头中的地址从0改变为2，拼接模块110将像素块向下移位两个位置，假设每个拼接编码帧有四个像素块，并且拼接编码帧具有四个堆叠像素块。将像素块标头中的地址从0更改为8会使像素块向下移位8个位置。

在所描绘的实例中，拼接序列指令(未示出)指示编码视频帧EF3将被拼接到拼接编码帧559的顶部，编码视频帧EF1将被拼接在编码视频帧EF3下方，编码视频帧EF5将被拼接在编码的视频帧EF1下方，编码的视频帧EF2将被拼接在编码的视频帧EF5下方，在拼接的编码帧559的底部。因此，拼接模块110将编码视频帧EF3的像素块标头地址从0修改为N1；将编码视频帧EF1的像素块地址从0修改为N2，将编码视频帧EF5的像素块地址从0修改为N3，将编码视频帧EF2的地址从0修改为N4。在该实例中，假设地址N4被移位多于N3，N3被移位多于N3，N3被移位多于N1，以便实现拼接编码帧559中所示的排列。本领域技术人员可以理解，在其他实现中可以使用地址中的其他相对移位来实现相同的排序。因此，拼接模块110改变用于拼接编码帧559的每个编码视频帧的像素块的相对位置，从而将编码帧逻辑拼接到拼接编码帧559中。在一些实施方案中，为了根据相关编解码器标准确保正确解码，拼接模块110改变像素块标头而不改变存储地址信息的比特数。

图6示出了根据一些实施方案的将编码的视频帧拼接在一起以生成用于解码的拼接编码帧的方法600。在框610处，拼接模块110从输入/输出模块接收拼接序列指令109。在框620处，拼接模块110根据所接收的拼接指令109从存储器中检索所选择的编码视频帧。在框630处，拼接模块根据所接收的拼接指令109修改所选择的编码视频帧的像素块标头地址。在框640处，拼接模块110根据接收到的拼接指令109拼接编码视频帧以生成拼接编码帧。在框650处，拼接模块110将拼接的编码帧117输出到解码器115。

在一些实施方案中，上述技术的某些方面可以由执行软件的处理系统的一个或多个处理器来实现。软件包括存储或以其他方式有形地体现在非暂态计算机可读存储介质上的一个或多个可执行指令集。软件可包括指令和某些数据，当由一个或多个处理器执行时，所述指令和某些数据操纵所述一个或多个处理器来执行以上所描述的技术的一个或多个方面。非暂态计算机可读存储介质可包括：例如，磁盘或光盘存储装置、固态存储装置诸如闪存、高速缓存、随机存取存储器(RAM)或一种或多种其他非易失性存储器装置等。存储在非暂态计算机可读存储介质上的可执行指令可以是源代码、汇编语言代码、目标代码或可由一个或多个处理器解译或以其他方式执行的其他指令格式。

应注意，并非上文在一般说明中描述的所有活动或元件都是需要的，具体活动或设备的一部分可能是不需要的，并且一个或多个其他活动可加以执行，或者，除所描述的那些元件之外，还可包括其他元件。更进一步来说，列出活动的次序并非必须是它们被执行的次序。另外，已经参考具体实施方案描述了概念。然而，本领域中的普通技术人员会了解，在不背离所附权利要求书中所阐述的本公开范围的情况下，可做出各种修改和改变。因此，本说明书和附图将以说明性而非限制性意义来看待，并且所有此类修改意在包括在本公开的范围内。

上文已经参照具体实施方案描述了相应益处、其他优点以及问题的解决方案。然而，所述益处、优点、问题的解决方案，以及可使得任何益处、优点或解决方案出现或变得更为显著的任何特征，都不应解释为是任何或所有权利要求的关键、必需或必要特征。此外，以上所公开的特定实施方案仅为说明性的，因为所公开的主题可以受益于本文教义的本领域的技术人员显而易见的不同但等效的方式来修改和实践。除了如以下权利要求书中所描述之外，并不旨在限制本文所示出的构造或设计的细节。因此，明显的是，以上所公开的特定实施方案可更改或修改，并且所有此类变型被认为在所公开的主题的范围内。因此，本文所寻求的保护如以下权利要求书中所阐述。

Claims (15)

1.一种方法，其包括：

在解码器[100]处拼接[640]第一多个接收的编码视频帧[119]以生成第一组合多个编码帧[118]；和

解码[650]所述第一组合多个编码帧以生成第一多个显示帧。

2.如权利要求1所述的方法，所述方法还包括：

在所述解码器处拼接第二多个接收的编码视频帧以生成第二组合多个编码帧[212]，所述第二多个接收编码视频帧与所述第一多个编码视频帧不同；和

解码所述第二组合多个编码帧以生成第二多个显示帧。

3.如权利要求2所述的方法，其中所述第二多个视频帧包括所述第一多个视频帧中的至少一个视频帧。

4.如权利要求2所述的方法，其还包括：

在第一时间从存储的一组编码视频帧[107]中选择所述第一多个编码视频帧；和

在第二时间从所存储的一组编码视频帧中选择所述第二多个编码视频帧。

5.如权利要求1所述的方法，其中拼接包括：

修改所述第一多个视频帧的视频帧[551]的标头[552]中的像素块地址。

6.如权利要求5所述的方法，其中修改所述像素块地址包括维持所述像素块地址的位数。

7.如权利要求1所述的方法，所述方法还包括：

设置所述解码器以解码所有第一组合多个编码帧。

8.如权利要求1所述的方法，其中拼接包括拼接第一多个编码视频帧，每个编码视频帧已被独立编码。

9.一种装置，其包括：

拼接模块[110]，被配置为接收第一多个编码视频帧[119]以生成第一组合多个编码视频帧[118]；和

解码器[115]，被配置为对所述第一组合多个编码视频帧进行解码，以生成第一组合多个解码视频帧[116]。

10.如权利要求9所述的装置，其还包括：

输入/输出模块[108]，被配置为接收用户输入并至少部分地基于所接收的用户输入来生成拼接序列指令[109]。

11.如权利要求10所述的装置，其中所述拼接模块用于接收第二多个编码视频帧。

12.如权利要求11所述的装置，其中所述拼接模块用于：

在第一时间从存储的一组编码视频帧[107]中选择所述第一多个编码视频帧；和

在第二时间从存储的编码视频帧组中选择所述第二多个编码视频帧。

13.如权利要求9所述的装置，其中所述拼接模块通过以下方式拼接所述第一多个编码视频帧：

修改所述第一多个视频帧的第一视频帧[551]的标头[552]中的像素块地址。

14.如权利要求13所述的装置，其中所述拼接模块通过维持所述像素块地址的位数来修改所述像素块地址。

15.如权利要求9所述的装置，其中所述解码器用于：

设置所述解码器以解码所有组合的编码帧。