CN105723719B - 用于多个图像的单个比特流生成方法和生成设备 - Google Patents

Abstract

提供了一种用于生成单个比特流的设备和方法，该设备包括：图像获取单元，其用于获取多个独立视频流；图像信息提取单元，其用于从图像获取单元所获取的各个独立视频流提取独立图像代码和独立头信息；以及比特流生成单元，其通过针对各个独立图像代码经由对应独立视频流的重构生成合并的图像代码以与设定的显示图片的布局形式内的指定位置对应，并且通过利用各条独立头信息生成与合并的图像代码对应的合并的头信息，来生成包括合并的图像代码和合并的头信息的合并的视频流。

Description

用于多个图像的单个比特流生成方法和生成设备

技术领域

本公开的一些实施方式涉及一种生成多个图像的单个比特流的方法和设备。

背景技术

此部分中的声明仅提供与本公开有关的背景信息，而未必构成现有技术。

在广播服务中，可针对各个信道发送图像媒体内容；然而，近年来，提供了多信道服务，该多信道服务允许用户在一个信道上观看四信道图像。另外，还提供了多视点服务，该多视点服务允许用户在棒球、足球以及此类体育场地中选择性地观看多角度图像镜头，从而使得能够通过一次显示多个图像来同时回放多个图像，就像通过图像共享所提供的一样。尽管这种服务可在用户终端上独立地回放从各个信道接收的视频比特流，但是为接收和回放多个信道的视频图像而分配的资源不足的用户终端通常涉及发送端将多个信道的图像混合并且在一个信道上发送这些图像。

另外，在视频会议呼叫或者视频群呼叫的情况下，从各个参与者接收图像以利用硬件或软件形式的混合装置按照适合于各个参与者的方式对图像进行布局。然后图像的编码的代码被转码(即，在解码之后编码)以便于在一个信道上传输。例如，在四个用户A、B、C和D进行视频会议呼叫或者视频群呼叫的情况下，用户A接收将用户B、C和D的图像与用户A自己的图像组合保存的单个图像，而用户B接收除了用户B自己以外用户A、C和D的单个组合图像。CCTV控制系统也接收来自不同相机的图像并将其组合在画面上以便在其上统一地监测多个图像。

另外，在通过调节多信道输入图像的比特流的比特率来优化比特流的过程中，可通过设定整个图像或特定图像的ROI(关注区域)来对图像进行编码或者转码；然而，ROI的位置被固定，这要求整个图像被转码，甚至为转码重新设置的ROI也是如此。

在这种视频会议呼叫或视频群呼叫中，需要转码以将所传送的编码的图像解码，然后再对其进行编码。因此，不仅图像的质量可能下降，而且整个编码时间由于转码而延迟，这导致显示时间的延迟。

发明内容

技术问题

本公开的一些实施方式提供了一种方法和设备，其在通过多个信道接收到多个输入图像的比特流时生成多个图像的单个比特流，以提供比特流以及被更新以用于指示各个比特流的头的信息的单个组合画面，而无需执行转码。

技术方案

根据本公开的一些实施方式，一种用于生成多个图像的单个比特流的设备包括：图像获取单元，其被配置为获取多个独立视频流；图像信息提取单元，其被配置为从所述图像获取单元所获取的各个独立视频流提取独立图像代码和独立头信息；以及比特流生成单元，其被配置为通过重构独立图像代码以在显示图片的预定布局中与被指派给所述多个独立视频流中的相关独立视频流的各个位置对应来生成组合图像代码，基于各个独立头信息生成与所述组合图像代码对应的组合头信息，并且生成包括所述组合图像代码和所述组合头信息的组合视频流。

根据本公开的一些实施方式，一种用于生成多个图像的单个比特流的方法包括以下步骤：获取多个独立视频流；从在所述获取步骤获取的各个独立视频流提取独立图像代码和独立头信息；通过重构独立图像代码以在显示图片的预定布局中与被指派给所述多个独立视频流中的相关独立视频流的各个位置对应来生成组合图像代码；基于各个独立头信息生成与所述组合图像代码对应的组合头信息；以及生成包括所述组合图像代码和所述组合头信息的组合视频流。

有益效果

如上所述，本公开的一些实施方式响应于通过多个信道的多个输入图像的比特流，提供比特流和各个比特流头的信息的更新的一个组合画面图像，而无需执行转码。

附图说明

图1是根据本公开的一些实施方式的用于生成多个图像的单个比特流的设备的示意图，其经由网络连接到用户终端。

图2是根据本公开的一些实施方式的用于生成多个图像的单个比特流的设备的框图。

图3是被分割成3×3拼块结构的显示图像的示意图。

图4是根据本公开的一些实施方式的NAL单元的的示意图。

图5是用于描述根据本公开的一些实施方式的多比特流的同步功能的示意图。

图6是根据本公开的一些实施方式的用于生成多个图像的单个图像比特流的方法的流程图。

具体实施方式

以下，将参照附图详细描述本公开的至少一个实施方式。在描述本公开时，诸如“单元”、“模块”等的术语表示可由硬件、软件或其组合实现的用于处理至少一个功能或操作的单元。

图1是根据本公开的一些实施方式的用于生成多个图像的单个比特流的设备的示意图，其经由网络连接到用户终端。如图1所示，根据本公开的一些实施方式的用于生成多个图像的单个比特流的设备110连接到包括第一用户终端120、第二用户终端130和第三用户终端140的多个用户终端。

单个比特流生成设备110使得第一用户终端120能够将第二用户终端130所捕获的图像与第三用户终端140所捕获的图像共同显示(codisplay)，并且使得第二用户终端130能够将第一用户终端120所捕获的图像与第三用户终端140所捕获的图像共同显示。类似地，设备110使得第三用户终端140能够将第一用户终端120所捕获的图像和第二用户终端130所捕获的图像共同显示。设备110被配置为在第一用户终端、第二用户终端和第三用户终端中的任一个上显示从其它用户终端输入的图像的比特流，而无需执行转码。

第一用户终端120至第三用户终端140中的每一个可以是诸如个人计算机(PC)、笔记本计算机、平板计算机、个人数字助理(PDA)、游戏机、便携式多媒体播放器(PMP)、便携式游戏机(PSP)、无线通信终端、智能电话、TV、机顶盒、媒体播放器等的用户终端。

如上所述，单个比特流生成设备110不再需要转码，以借助IPTV、地面或有线TV、内部广播、互联网广播服务等在单个画面上共同显示由多个相机输出、VoD等提供的多个图像的比特流。

图2是根据本公开的一些实施方式的用于生成多个图像的单个比特流的设备的框图。如图2所示，根据本公开的一些实施方式的单个比特流设备可包括图像获取单元210、图像信息提取单元220、比特流生成单元230、拼块设定单元240、音频信道选择单元250、信道选择输入单元260、音频解码单元280和图像请求单元290。根据实施方式，单个比特流设备可被配置为还包括附加组件，或者从图像获取单元210、图像信息提取单元220、比特流生成单元230、拼块设定单元240、音频信道选择单元250、信道选择输入单元260、音频解码单元280和图像请求单元290中去除一些组件。

图像获取单元210获取经由多个信道输入的多个独立视频流。所述多个独立视频流通过对各个图像进行编码来生成。独立视频流具有图片单元，各个图片单元由一个或更多个切片组成，各个切片可被配置为由一个或更多个拼块组成。

切片和拼块被结构化为包括多个编码树块(CTB)的矩形形状并且适于通过H.265HEVC(高效视频编码)标准来进行编码和解码。各个拼块结构为CTB矩阵形式(例如，3×3CTB矩阵形式)，但不限于此。任何其它尺寸的CTB矩阵也是可以的。

图像信息提取单元220从图像获取单元210所获取的各个独立视频流提取包括独立图像代码和独立头信息的图像信息。独立图像代码表示具有实际视频编码流(VCL：视频编码层)的NAL(网络抽象层)，独立头信息包括具有头信息(例如，切片的数量、每切片的拼块的数量、各个拼块的尺寸、图片中的像素样本的数量)的NVCL(非视频编码层)。

比特流生成单元230通过基于为显示在终端上的图像设定的布局形式以及由图像信息提取单元220提取的图像信息执行多个独立视频流的同步来生成单个视频流。具体地讲，在接收到从图像信息提取单元220提取的各个独立图像代码时，比特流生成单元230在被设定为要通过同步而共同显示在单个画面上的图像的多个编码的比特流的预定布局中将这些独立图像代码插入被指派给独立视频流中的相关独立视频流的对应位置中，然后利用被共同显示在单个画面上的独立图像代码来生成组合图像代码。

比特流生成单元230基于各个独立头信息来生成与组合图像代码对应的组合头信息，然后生成包括组合图像代码和组合头信息的组合视频流。

这里，包括在所生成的组合视频流中的组合头信息包括指示显示图片中包括多少拼块的信息。另外，组合头信息包括关于图片内的横向方向和高度方向上的拼块的相应数量的信息以及指示各个拼块的横向方向和高度方向上的样本的相应数量的信息。另外，各个独立图像代码被重构为预定位置中的拼块的图像代码。

图3是被分割成3×3拼块结构的显示图像的示意图。

要显示在画面上以显示单个组合视频流的拼块的数量可由预定数量的拼块来指定。可设定这样数量的拼块以在关注的终端中或者单个比特流生成设备110中显示预定数量的独立视频流。另外，可通过用户选择来设定为了单个组合视频流要显示在画面上的拼块的数量。用户可使用选择装置来选择为了在一个画面上显示所选择的对应视频流而要显示的独立图像。选择要显示的独立图像的这一功能可由将独立图像发送给比特流生成单元230的信道选择输入单元260来执行。

信道选择输入单元260选择可用于显示在一个画面上的信道中的n个信道。

如图3所示，可在显示画面中设定三拼块×三拼块，各个拼块具有多个CTB。各个拼块的CTB数量被确定为等于独立视频流中编码的CTB的数量。

在图3中，任一个拼块的宽度方向上的样本的数量等于与其垂直相邻的拼块的宽度方向上的样本的数量。另外，任一个拼块的高度方向上的样本的数量等于与其水平相邻的拼块的高度方向上的样本的数量。

例如，拼块410、440和470的宽度方向上的样本的数量被设定为相同。另外，拼块410、420和430的高度方向上的样本的数量被设定为相同。在此设定中，可应用HEVC的拼块结构。

要显示的各个拼块的尺寸可在要显示的终端或者设备110中设定。另选地，要显示的各个拼块的尺寸可由用户利用诸如键盘等的选择装置来设定。

在设备110中，拼块设定单元240接收关于如上所述指定的拼块的数量和各个拼块的尺寸的信息，并且设定要显示的拼块的数量和各个拼块的尺寸。

比特流生成单元230接收关于拼块的配置的选择信息，并且选择包括所选择的n个拼块的显示图片的画面配置。

当比特流生成单元230布置n个拼块时，以I帧为单位来布置各个独立视频流，然后通过以拼块为单位布置各个独立视频来配置显示图片的画面。以I帧为单位的布置可在比特流生成单元230中执行，或者在连接到图像获取单元210的解复用器(未示出)中执行。在解复用器中，各个独立视频流以I帧为单位在时间轴上相等地布置，然后解复用器利用STC(系统时钟)-PCR(节目时钟参考)值来校正视频和音频的PTS(呈现时间戳)值以使各个独立视频和音频同步。

各个信道的比特流具有相同的GoP(图片组)结构。

各个信道的比特流被布置为使得帧按照它们在GOP结构中的布置顺序来彼此共同对准。例如，所有信道中的比特流基于GOP结构中的I帧来有序地布置，或者B帧(如果有的话)按照它们在GOP结构中的布置顺序来彼此共同对准，或者P帧类似地从信道到信道共同对准。

在GoP结构为IPPP结构(即，比特流由一个I帧和连续的P帧组成的图片结构)的情况下，当在所有图像的比特流的时间周期期间没有到达I帧时，比特流生成单元230放弃基于I帧来布置帧，而是尝试基于P帧来进行布置。在基于P帧进行布置时，比特流生成单元230放弃I帧并且获取各个图像的比特流中的P帧，并且形成n个拼块。即使在这种情况下，按照GOP结构的顺序在相同位置上的P帧也彼此对准。

在比特流的GoP结构重复相同的图案的情况下，比特流生成单元230基于按照GOP结构的顺序在相同位置上的I帧，或者基于按照GOP结构的顺序在相同位置上的B帧，或者基于按照GOP结构的顺序在相同位置上的P帧来布置所有信道的比特流，从而生成组合的比特流。

如果要显示的画面配置没有形成选择n个拼块的矩形(例如，没有选择与拼块490对应的视频流)，则图像信息提取单元220还从图像服务器接收预定的特定图像信息作为与显示图片的特定位置一致的拼块所对应的视频流，或者接收存储在设备110中的广告图像，然后从诸如广告图像等的图像的独立视频流提取包括独立图像代码和独立头信息的图像信息。

比特流生成单元230从图像信息提取单元220接收包括独立图像代码和独立头信息的图像信息，并且生成组合视频流以将广告图像显示在拼块490的位置上。在一些情况下，拼块的对应区域可使得黑色画面(黑色图像)作为没有服务的画面被显示。

比特流生成单元230可接收编码的广告图像或黑色图像，但是利用存储在设备110中的广告图像、黑色图像数据等编码并提供适合于画面的尺寸的广告图像或黑色图像。另外，比特流生成单元230可向图像服务器请求适合于尺寸的广告图像或黑色图像并且从图像服务器接收该广告图像或黑色图像。

此外，如果图像信息提取单元220接收存储在设备110中的广告图像，则图像信息提取单元220选择性地接收分别在宽度方向和高度方向上具有与要显示的位置上的拼块的尺寸对应的多个样本的广告图像。

如图3所示，拼块内的各个CTB上所指示的编号表示在由用户终端120、130和140接收并解码组合视频流时的解码顺序。

比特流生成单元230从位于显示图像的顶部的行中的拼块到位于显示图像的底部的行中的拼块依次生成图像的比特流。

图像是3×3矩阵形式，包括总共9个拼块410、420、430、440、450、460、470、480和490。在图3中，拼块410、420、430、440、450、460、470、480和490中的每一个通过粗线分开。拼块410、420、430、440、450、460、470、480和490中的每一个的尺寸可相同或不同。

拼块410、420、430、440、450、460、470、480和490中的每一个包括多个CTB(编码树块)，拼块410、420、430、440、450、460、470、480和490中的每一个中所包括的CTB的数量可相同或不同。

第一拼块410由12个CTB组成，扫描顺序可被设定为与各个CTB上所指示的编号相同。即，用于显示的扫描顺序可按照顺序被设定为CTB编号0、1、2、3、4、5、6、7、8、9、10、11。

如上所述，拼块和CTB的数量被设定为特定值，但不限于此；不用说，拼块和CTB可被设定为各种数量。另外，尽管可设定为按照从位于图像的顶部的行中的拼块(或CTB)到位于图像的底部的行中的拼块(或CTB)的顺序扫描，但是不限于此，也可设定为按照各种顺序来扫描。另外，各个拼块也可被执行为并行地解码。

此外，用户终端120、130和140经由这些扫描来将组合视频流解码以生成显示画面。可按照输入图像的尺寸和画面的纵横比来调节显示在用户终端上的图像以适合于用户终端的画面布局。在这种情况下，拼块设定单元240预先检查要显示在用户终端120、130和140上的画面的尺寸，并且设定要应用以适合于要显示在用户终端120、130和140上的画面的尺寸的拼块的尺寸。另选地，在将组合比特流解码之后要显示的终端内，与各个拼块对应的图像可被调整至期望的显示尺寸以适合于用户终端的画面布局。

音频信道选择单元250接收从多个独立视频流中选择与用户想要收听的音频信号对应的独立视频流的第一选择信息，并且根据所接收到的第一选择信息向音频解码单元280发送与从多个独立视频流选择的独立视频流对应的音频流。音频解码单元280将所接收到的音频流解码并且输出所解码的音频。在一些情况下，在音频信道选择单元250中选择的音频流被发送给比特流生成单元230并且与组合视频流同步以进行输出。

比特流生成单元230使所接收到的音频流与组合视频流同步，并且将输出发送给用户终端120、130、140。同步的视频和音频流可在通过应用MPEG-2TS或其它复用技术而被复用之后输出，或者在包括同步时间信息的格式的头信息分别被添加到视频流和音频流之后输出。

如上所述，设备110可包括信道选择输入单元260，并且还包括以下功能。

比特流生成单元230从信道选择输入单元260接收关于特定信道的图像的选择信息，并且生成由信道选择输入单元260选择的该特定信道的图像的比特流。

信道选择输入单元260向比特流生成单元230发送在用户终端120、130和140处输入的用户选择信息或者在设备110中设定的选择信息。

图4是根据本公开的一些实施方式的NAL单元的示意图。图4中的箭头指示参考关系。如图4所示，NAL单元包括NAL头和RBSP(原始字节序列有效载荷)。

表1示出关于SPS(序列参数集)头的句法。

表1

[表1]

表2示出关于PPS(图片参数集)头的句法。

表2

[表2]

表3示出关于切片头的句法。

表3

[表3]

表4示出一般切片片段的数据句法。

表4

[表4]

编码的独立图像的比特流通过NAL(网络抽象层)单元(是NAL的单位)来发送。NAL单元的NAL头包括非VCL(非视频编码单元)NAL单元和VCL NAL。非VCL NAL单元包括表示VPS(视频参数集)NAL的NAL(VPS)、表示SPS(序列参数集)NAL的NAL(SPS)、表示PPS(图片参数集)NAL的NAL(PPS)以及表示SEI(补充增强信息)NAL的NAL(SEI)。具体地讲，SPS包括编码工具的开/关信息，PPS包括关于拼块的信息。在本公开的一些实施方式中，比特流生成单元230通过修改要转换为拼块结构的头的SPS信息、PPS信息等来生成多个图像的单个比特流，以便根据解码器的规范来处理图像。

VCL NAL单元可包括诸如第一帧(帧1)、第二帧(帧2)等的多个帧。各个帧包括三个连续的NAL(VCL)。

在组合视频流中，关于拼块的信息被设定在PPS中。例如，作为设定在PPS中的信息，tiles_enabled_flag是指示图片中是否存在拼块结构的信息。

在组合视频流中，利用num_tile_columns_minus1、num_tile_rows_minus1和uniform_spacing_flag来设定各个拼块的尺寸。

num_tile_columns_minus1指示宽度方向上的拼块的数量；num_tile_rows_minus1指示高度方向上的拼块的数量。uniform_spacing_flag是指示所有拼块的尺寸是否相同的信息。

在所有拼块的尺寸相同的情况下，通过参考num_tile_columns_minus1和num_tile_rows_minus1来验证拼块的尺寸。在拼块的尺寸不相同的情况下，各个拼块的横向尺寸被设定在column_width_minus1[i]中，各个拼块的纵向尺寸被设定在row_height_minus1[i]中。

此外，各个独立视频流可具有一些约束以便生成组合视频流。

例如，所有独立视频流的独立头信息包括指示禁止跨切片的边界执行环路滤波的信息(例如，loop_filter_across_tiles_enabled_flag＝0)。当在限制条件下编码的独立视频流被组合在一起以生成组合视频流时，由于在拼块的边界处不发生环路滤波，所以可防止在拼块的边界中图像质量下降。在这种情况下，与一个独立视频流对应的一个拼块由一个切片组成。在一些情况下，这一个拼块可包括多个切片。

在编码是诸如Merge、Mergeskip等的运动矢量编码模式的情况下，在预测单元中，独立视频流被编码以使得在运动矢量中不参考独立视频流中的超出图像的范围的填充部分。因此，当利用诸如Merge、Mergeskip等的模式计算运动矢量时，防止了参考超出拼块的边界的运动信息以便确定运动矢量候选。

另外，当在编码中估计预测单元的运动时，独立视频流被编码以使得运动估计的范围不超过填充部分。即使在这种情况下，当对组合视频流进行解码时，防止了预测超出拼块的边界的运动。

另外，在独立视频流被输入至设备110之前的编码处理中，独立头信息包括指示在对预测单元中的运动矢量进行编码时禁止参考存在于与预测单元中的当前编码块相同的位置中的其它画面的运动矢量(时间运动矢量)的信息。当任一个独立视频流参考时间运动矢量来进行预测时，可能存在等待后续的其它画面并且超出必要地长时间缓冲数据的问题。因此，通过设定不参考时间运动矢量，各个独立视频流的同步延迟的可能性降低，从而防止整个组合视频流的解码性能的下降。

在生成与组合视频流对应的SPS、PPS、切片头信息等时，组合视频流的头信息被修改为不同于下面的信息中的其它独立视频流的头信息。

通过将pic_width_in_luma_samples和pic_width_in_luma_samples改变为要组合的图像画面的尺寸来在SPS中设定组合图像在宽度方向和高度方向上的尺寸。

表5通过比较来示出独立视频流和组合视频流的NAL头中的改变的值。具体地讲，表5示出PPS中的参数集。

表5

[表5]

此外，各个独立视频流通过要合并成拼块的CTU单元来分割。

通过接收独立头信息包括用于允许不被允许的拼块结构的信息的独立视频流的编码信息，可设定向构成组合视频流的一个独立视频流(一个拼块)指派一个切片。如果不是，则可能存在解析图像的整个比特流以便修改end_of_slice_segment_flag、end_of_sub_stream_one_bit的值的问题。

组合视频流的组合头信息包括信息first_slice_segment_in_pic_flag，其仅指示其第一切片头是否为图片中的第一切片。当指示第一切片头是组合视频流的整个图片中的第一切片时，first_slice_segment_in_pic_flag被设定为1，对于其它，设定first_slice_segment_in_pic_flag＝0以表示它们不是第一切片。另外，通过设定slice_segment_address来针对整个图片重置各个切片的位置。各个拼块中的切片的slice_segment_address用作指示切片中的第一CTU的完全组合的图像的绝对位置的地址。即，在组合的整个图片中，包括在各个拼块中的切片的第一CTU的顺序被设定为slice_segment_address。此顺序是与组合的整个图片中的顺序扫描(光栅扫描)顺序对应的CTU的顺序。另外，在所有切片头中，表示切片中的拼块的偏移的num_entry_point_offsets被设定为0。

图像信息提取单元220解析独立视频流。如果解析了预定类型的第二字节串，则图像信息提取单元220将它转换为第一字节串以生成组合视频流。例如，在独立视频流中，在解析了十六进制码的四个字节00 00 03 00至00 00 03 03的情况下，第三字节03被去除，将00 00 03 00至00 00 03 03转换为预设3字节的第一字节串(例如，00 00 00至00 0003)。

在比特流生成单元230生成组合视频流的过程中，在扫描组合视频流并且发现三字节的第一代码字节串(例如，00 00 00)的情况下，比特流生成单元230将十六进制码0x03添加在第二字节与第三字节之间，并且将所发现的三个字节转换为预设4字节的第二字节串(例如，00 00 03 00)以输出组合视频流。

图5是用于描述根据本公开的一些实施方式的多比特流的同步功能的示意图。如图5所示，示出了第一至第四相机(511、512、513和514)、比特流生成设备520和用户终端530。

在图5中，提供通过第一至第四相机511、512、513、514拍摄的足球场地中的各种视点的图像A、B、C和D。比特流生成设备520可接收通过相机拍摄的图像并且将组合图像(A、B、C和D)提供给用户终端530。

当用户终端530选择特定信道以请求多视点服务时，比特流生成设备520通过预先共享从备用相机输出的图像比特流的数量、GoP(图片组)信息(例如，是否为闭合GoP、GoP的数量、分辨率)等来执行呼叫设置。当比特流生成设备520与用户终端530之间的呼叫设置完成时，比特流生成设备520将向用户终端530发送比特流。在发送比特流之前，比特流生成设备520利用传输规范的传输时间、指示帧的特性的有效载荷类型信息以及将对应帧解码的GoP信息来使来自相机的图像同步。当有效载荷类型超过延迟阈值时，比特流生成设备520可通过经由所发送的各个比特流的缓冲或者去除不同步的帧中的一些帧以使图像适合来使图像同步。

比特流生成设备520可将通过第一至第四相机511、512、513和514发送的各个图像的独立比特流转换为拼块结构，并且将一个组合图像提供给终端。例如，在终端上与独立比特流对应的所有图像尺寸相同的情况下，可在终端上通过使独立图像的图像尺寸适合于终端图像的尺寸(在横向方向和高度方向上分别是独立图像的两倍)来布置独立图像。

另外，如果可进行所提供的比特流的分辨率调节，则比特流生成设备520可生成具有期望的分辨率的比特流并且调节比特流以使它适合于用户终端530的尺寸。为此，比特流生成设备520将比特流的序列组合，并且提供设定的拼块结构以根据拼块结构和解码结构来依据图像的顺序同时将多个图像解码。

当各种图像比特流被组合以适合于拼块结构时，可能需要分辨率调节。为此，在第一方法中，比特流生成设备520中的图像请求单元290向图像服务器或图像生成终端请求尺寸与所述分辨率对应的图像，从图像服务器或图像生成终端接收图像，并且将图像编码为期望的显示尺寸以发送所编码的比特流。

在第二方法中，当没有从图像服务器或图像生成终端提供所请求的尺寸的图像时，图像请求单元290向图像服务器或图像生成终端请求尺寸与要显示的尺寸类似的图像，并且接收与各个拼块对应的比特流。然后，比特流生成设备520通过将多个比特流组合来生成并输出组合比特流，并且接收到组合比特流的终端将各个拼块的图像调整至期望的尺寸的分辨率并且输出所调整的图像。

例如，由于按照扫描顺序首先出现第一相机511的拼块，所以可按照诸如第一相机511的第n帧、第二相机512的第n帧、第三相机513的第n帧、第四相机514的第n帧、第一相机511的第n+1帧、第二相机512的第n+1帧、第三相机513的第n+1帧、第四相机514的第n+1帧的形式进行组合。

图6是根据本公开的一些实施方式的生成多个图像的单个图像比特流的方法的流程图。

根据本公开的一些实施方式的用于生成单个图像比特流的方法包括以下步骤：选择要显示的独立图像(步骤S610)；接收关于要显示在画面上的拼块的数量以及各个拼块的尺寸的信息，并且设定要显示在画面上的拼块的数量和各个拼块的尺寸(步骤S620)；获取多个独立视频流(步骤S630)；从所获取的独立视频流提取独立图像代码和独立头信息(步骤S640)；通过在设定的显示图片的布局中将各个独立图像代码插入到与各个独立视频流对应的指定的位置中来生成组合图像代码(步骤S650)；以及利用各个独立头信息生成与组合图像代码对应的组合头信息，以生成包括组合图像代码和组合头信息的组合视频流(步骤S660)。

信道选择步骤(步骤S610)、拼块设定步骤(步骤S620)、图像获取步骤(步骤S630)和图像信息提取步骤(步骤S640)分别对应于信道选择输入单元260、拼块设定单元240、图像获取单元210和图像信息提取单元220的操作。另外，组合图像代码生成步骤(步骤S650)和组合视频流生成步骤(步骤S660)对应于比特流生成单元230的操作。因此，将省略其详细描述。

尽管图6示出了步骤S610至S640被依次执行，这仅是本公开的技术构思的示例性实施方式，也不限于此。即，在不脱离本公开的一些实施方式的基本特性的情况下，本领域普通技术人员可在本公开的一些实施方式内进行各种改变和修改，例如改变图6中所描述的顺序、并行地执行步骤S610至S640中的一个或更多个等等。因此，图6不限于所述时间顺序。

尽管出于例示性目的描述了本公开的示例性实施方式，本领域技术人员将理解，在不脱离要求保护的公开的构思和范围的情况下，可进行各种修改、添加和替代。本公开和附图中所使用的具体术语用于例示性目的，而不应解释为限制本公开。因此，为了简明和清晰起见，描述了本公开的示例性实施方式。因此，本领域普通技术人员将理解，要求保护的公开的范围不由上面明确描述的实施方式限制，而是由权利要求书及其等同物限制。

附图标号

110、520：单个比特流生成设备

120：第一用户终端

130：第二用户终端

140：第三用户终端

210：图像获取单元

220：图像信息提取单元

230：比特流生成单元

240：拼块设定单元

250：音频信道选择单元

260：信道选择输入单元

280：音频解码单元

290：图像请求单元

511：第一相机

512：第二相机

513：第三相机

514：第四相机

530：用户终端

相关申请的交叉引用

本申请要求2014年1月6日提交的韩国专利申请No.10-2014-0001447以及2014年10月29日提交的韩国专利申请No.10-2014-0147846在35U.S.C§119(a)下的优先权，其完整内容以引用方式并入本文。另外，此非临时申请基于所述韩国专利申请出于相同的理由要求美国以外的国家的优先权，其完整内容以引用方式并入本文。

Claims (13)

1.一种用于生成多个图像的单个比特流的设备，该设备包括：

图像获取单元，该图像获取单元被配置为获取多个独立视频流；

图像信息提取单元，该图像信息提取单元被配置为从所述图像获取单元所获取的各个独立视频流提取独立图像代码和独立头信息；以及

比特流生成单元，该比特流生成单元被配置为通过重构独立图像代码以在显示图片的预定布局中与被指派给所述多个独立视频流中的相关独立视频流的各个位置对应来生成组合图像代码，基于各个独立头信息来生成与所述组合图像代码对应的组合头信息，并且生成包括所述组合图像代码和所述组合头信息的组合视频流，

其中，所述组合头信息包括指示所述组合视频流包括多个拼块的信息。

2.根据权利要求1所述的设备，该设备还包括音频解码单元，该音频解码单元被配置为接收第一选择信息并且基于所述第一选择信息来将与所述多个独立视频流中的任一个独立视频流对应的音频流解码。

3.根据权利要求1所述的设备，其中，各个独立图像代码被配置为基于预定位置中的拼块来进行重构。

4.根据权利要求1所述的设备，其中，各个独立头信息包括指示不能跨切片的边界执行环路滤波的信息。

5.根据权利要求1所述的设备，其中，所述拼块包括一个或更多个切片。

6.根据权利要求1所述的设备，其中，

当在解析各个独立视频流时在所述各个独立视频流中解析了预定字节串时，已被解析的所述预定字节串被转换为第一字节串以用于生成所述组合视频流，并且

当在对所述组合视频流进行扫描时发现所述第一字节串时，已被发现的所述第一字节串被转换为所述预定字节串。

7.根据权利要求1所述的设备，其中，所述独立头信息包括指示在对预测单元中的运动矢量进行编码时不能参考在所述预测单元中与当前编码块共同定位的其它图片的另一运动矢量的信息。

8.根据权利要求1所述的设备，其中，所述比特流生成单元被配置为接收用户的选择信息以确定各个拼块的尺寸。

9.根据权利要求1所述的设备，其中，所述比特流生成单元被配置为接收用户的选择信息并且选择包括n个拼块的显示图片的画面配置。

10.根据权利要求9所述的设备，其中，当所述画面配置通过选择所述n个拼块而没有形成矩形时，所述比特流生成单元被配置为接收预定的特定图像信息作为与所述显示图片中的特定位置一致的拼块所对应的视频流，以使得所述画面配置能够形成为矩形。

11.根据权利要求1所述的设备，其中，

所述拼块中的任一个拼块的宽度方向上的样本的数量等于与该任一个拼块垂直相邻的拼块的宽度方向上的样本的数量，并且

所述拼块中的任一个拼块的高度方向上的样本的数量等于与该任一个拼块水平相邻的拼块的高度方向上的样本的数量。

12.根据权利要求1所述的设备，其中，所述组合头信息包括指示在所述布局中在宽度方向上布置的拼块的数量的信息以及指示在高度方向上布置的拼块的数量的信息。

13.一种用于生成多个图像的单个比特流的方法，该方法包括以下步骤：

获取多个独立视频流；

从在所述获取多个独立视频流的步骤获取的各个独立视频流提取独立图像代码和独立头信息；

通过重构独立图像代码以在显示图片的预定布局中与被指派给所述多个独立视频流中的相关独立视频流的各个位置对应来生成组合图像代码；

基于各个独立头信息来生成与所述组合图像代码对应的组合头信息；以及

生成包括所述组合图像代码和所述组合头信息的组合视频流，

其中，所述组合头信息包括指示所述组合视频流包括多个拼块的信息。