CN104038776A

CN104038776A - 视频处理装置和视频处理方法

Info

Publication number: CN104038776A
Application number: CN201410071948.6A
Authority: CN
Inventors: 矢野幸司; 藤本勇司; 榎润一郎
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-03-08
Filing date: 2014-02-28
Publication date: 2014-09-10
Anticipated expiration: 2034-02-28
Also published as: JP5812028B2; JP2014175857A; CN104038776B; US8817881B1; US20140253806A1

Abstract

视频处理装置包括：组合单元，其组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有被编码为片段的、在每个水平线上的编码单位；以及插入单元，其在多视频图像的观看区域移动时将插入流插入到由组合单元产生的多视频图像的编码的流中。该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块替代的编码的流。

Description

视频处理装置和视频处理方法

相关申请的交叉引用

本申请要求在2013年3月8日提交的日本优先权专利申请JP2013-046836的权益，其全部内容通过引用合并于此。

技术领域

本公开涉及视频处理装置和视频处理方法，更具体地，涉及配置为降低由多视频图像的观看区域的移动引起的处理负荷的视频处理装置和视频处理方法。

背景技术

由于内容数字化的进展以及视频传输基础结构的发展，通过因特网的视频分发在延伸。最近，除了个人计算机之外，网络可连接的电视接收机已经越来越多地作为接收侧设备，因此已经变得能够在电视接收机上观看分发的视频。此外，云服务近来的发展使得能够经由网络向观众提供各种频道，包括私有内容。因此，对于允许观众同时观看如图1所示的多个视频以便允许观众容易地搜索优选视频来观看的多视频再现系统已经存在越来越多的要求。

在图1的多视频再现系统中，在屏幕上显示的多视频图像由多个视频组成。在显示的视频之中，被认为主要观看的主视频以最大尺寸被布置在屏幕的中央。在该主视频周围，以比该主视频的尺寸更小的尺寸布置可选的（可切换的）视频。可选视频是例如TV广播频道、网屏幕、电影等的视频内容以及TV聊天屏幕，并且例如从云（网络）内获得。

在用于显示这样的多视频图像的方法之中，第一方法采用分别分发与多个视频相关联的多个编码的流的云中的服务器。客户端装置接收和解码该编码的流并对解码的流进行组合处理以便产生多视频图像。通过例子，日本未审查专利申请公开第2002-064818号公开了通过接收多个基本流（ES）并基于ES的显示优先级从较高优先级ES开始以降序的顺序向ES分配较大的观看区域而形成的多视频图像。

但是，多个编码的流的分发涉及充分宽的传输带。而且，客户端装置需要具有同时解码编码的流和对解码的流进行组合处理的能力，这使得客户端装置昂贵。

作为显示多视频图像的第二方法，存在其中服务器产生单个编码的流形式的多视频图像并且传递该流的方法，如图2所示。在此情况下，服务器解码要组合的多个视频，对视频调整大小，组合视频，然后重新编码组合的视频以便产生多视频图像的编码的流。这些处理对服务器施加了实质上巨大的处理负荷。

发明内容

当通过滚动或其它操作移动多视频图像的观看区域时，服务器需要解码该多视频图像的编码的流，改变运动向量，并且重新编码该解码的流。这些处理也对服务器施加了大的处理负荷。

考虑到这些情况已经做出本公开，并且本公开使能够减少由多视频图像的观看区域的移动引起的处理负荷。

根据本公开的一个实施例的视频处理装置包括：组合单元，其组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有在每个水平线上的被编码为片段的编码单位。该视频处理设备还包括插入单元，其在多视频图像的观看区域移动时将插入流插入到由组合单元产生的多视频图像的编码的流中，而该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块（skip macroblock）替代的编码的流。

根据本公开的一个实施例的视频处理方法与根据本公开的上述实施例的视频处理装置相关联。

在本公开的实施例中的视频处理方法包括：组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有在每个水平线上的被编码为片段的编码单位。该视频处理方法还包括在多视频图像的观看区域移动时将插入流插入到通过组合处理产生的多视频图像的编码的流中，该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块替代的编码的流。

根据本公开的实施例，可以降低由多视频图像的观看区域的移动引起的处理负荷。

附图说明

图1图示图示了多视频再现系统；

图2图示图示了用于分发多视频图像的编码的流的方法的例子；

图3是根据一个实施例的应用本技术的多视频再现系统的示例性配置；

图4是图示图示图3中的分发服务器的示例配置的框图；

图5图示多视频图像的基于帧编码的流的产生；

图6图示当移动观看区域时的多视频图像；

图7图示插入流；

图8图示在插入流的片段（slice）数据未被更新的情况下的插入视频图像；

图9图示在插入流的片段数据被更新的情况下的插入视频图像；

图10图示如何插入插入流；

图11A、11B和11C图示多视频图像的基于帧编码的流的更新；

图12是图示图4中的分发服务器如何进行产生处理的流程图；

图13是图示图12中的多视频图像更新处理的细节的流程图；以及

图14是图示计算机的示例性硬件配置的框图。

具体实施方式

<实施例>

[根据实施例的多视频再现系统的示例配置]

图3示出根据实施例的应用本技术的多视频再现系统的示例性配置。

多视频再现系统1用作视频处理装置，并且包括用于分发视频的分发服务器11以及经由网络12连接到该分发服务器11的接收设备13。多视频再现系统1分发由多个视频组成的多视频图像的编码的流以显示多视频图像。

具体地，视频的多个基于帧编码的流从外部源输入到多视频再现系统1的分发服务器11。分发服务器11基于指示观看区域的移动方向和移动量的并且从接收设备13发送的移动信息的历史从输入的视频的编码的流中选择要显示的视频的多个编码的流。分发服务器11以逐帧基础组合所选的视频的编码的流以产生多视频图像的基于帧编码的流。

如果移动信息指示的移动量是0，则分发服务器11将多视频图像的基于帧编码的流不改变地作为组合流发送到接收设备13。

另一方面，如果移动信息所指示的移动量是不同于0的，则分发服务器11基于该移动信息产生插入视频的编码的流，其与多视频图像的编码的流相关联并且是要插入在多视频图像的帧之间的多视频图像的一帧。所产生的插入视频的编码的流被称为插入流。然后，分发服务器11将该插入流插入到该多视频图像的基于帧编码的流中，并将作为组合流发送到接收设备13。

接收设备13经由诸如因特网之类的网络12接收由分发服务器11发送的组合流。接收设备13解码接收的组合流并在内置的液晶显示器或者其他类型的显示器上显示得到的多视频图像和插入视频图像。

在开始显示多视频图像之后，接收设备13响应于诸如滚动和光标移动之类的用户操作而产生移动信息，并将产生的移动信息发送到分发服务器11。因此，当移动量是不同于0时，要显示的视频的编码的流改变，因而观看区域偏移。

接收装置13不需要包括液晶显示器，而是可以在与其连接的显示设备上显示多视频图像。另外，接收设备13可以是例如具有网络连接功能的电视接收机、机顶盒（STP）、个人计算机或者可携式终端设备。

网络12可以配置为连接到多个接收设备13。在此情况下，分发服务器11将组合流多播（multicast）到接收设备13。

[分发服务器的示例性配置]

图4是图示图3中的分发服务器11的示例性配置的框图。

如图4所示，分发服务器11包括接收单元31、存储单元32、读取单元33、组合单元34、插入单元35和发送单元36。

分发服务器11的接收单元31经由图3所示的网络12接收从接收设备13发送的移动信息，并将该移动信息提供给读取单元33、组合单元34和插入单元35。存储单元32存储与指示不同于0的移动量的移动信息相关联的插入流。

读取单元33基于从接收单元31提供的移动信息从存储单元32读出与该移动信息相关联的插入流，并将该插入流提供给插入单元35。

组合单元34基于从接收单元31提供的移动信息的历史，从自外部源输入的视频的多个编码的流中选择要显示的视频的多个编码的流。组合单元34以逐帧基础组合所选的视频的编码的流，并将得到的多视频图像的基于帧编码的流提供给插入单元35。

当从读取单元33提供插入流时，或者即当移动量不同于0时，插入单元35基于移动信息利用从外部源输入的预定视频的基于帧编码的流来更新改插入流的片段数据。插入单元35将该插入流插入到从组合单元34提供的多视频图像的基于帧编码的流中。

在插入期间，插入单元35基于该多视频图像的基于帧编码的流的片段头部而改变（产生）插入流的片段头部，该基于帧编码的流的片段头部被放置为就在该插入流之后。插入单元35还改变在该插入流之后的多视频图像的编码的流的片段头部。

另外，插入单元35将被当作组合流的、已经被插入了插入流的多视频图像的基于帧编码的流提供给发送单元36。

另一方面，当未从读取单元33提供插入流时，或者即当移动量是0时，插入单元35将被当作组合流的、多视频图像的基于帧编码的流提供给发送单元36。

发送单元36将从插入单元35提供的该组合流经由图3所示的网络12发送到接收设备13。

[多视频图像的基于帧编码的流的产生的描述]

图5图示图4中的组合单元34如何产生多视频图像的基于帧编码的流。

注意，图5的例子示出组合单元34用分别布置在左上、右上、左下和游侠处的第0到第3视频（即视图0到视图3）产生多视频图像的基于帧编码的流。

如图5所示，在与输入到组合单元34的编码的流相关联的视频的周围区域中存在具有预定像素值（在此例子中是0）的一个或多个像素。输入到组合单元34的每个编码的流是通过高级视频编码（AVC）方法而编码的流，在该方法中，每个水平线中的作为编码单元的宏块被当作片段，并且该片段不参照（refer）屏幕的外部，而是参照在编码顺序上在当前帧之前一帧的帧。在内编码中，所参照的帧被称为参考帧。在图5的例子中，每个视频在垂直方向上具有四个宏块，因而每个视频中的片段的数量是4。

组合单元34将输入的编码的流中的要显示的第0到第3视频的各个编码的流中的片段重新排序，并组合第0到第3视频的编码的流，由此产生多视频图像的基于帧编码的流。

具体地，组合单元34将第0视频的第0片段布置为组合的编码的流的第0片段，而将第1视频的第0片段布置为组合的编码的流的第1片段。其后，第0视频的片段和第1视频的片段交替地布置，并且第1视频的最后的片段被布置为作为组合的编码的流中的第7片段。

然后，组合单元34将第2视频的第0片段布置为组合的编码的流的第8片段，而将第3视频的第0片段布置为组合的编码的流的第9片段。其后，第2视频的片段和第3视频的片段交替地布置，并且第3视频的最后的片段被布置为作为组合的编码的视频的第15片段。

因为输入到组合单元34的编码的流是在每个水平线上具有宏块作为片段的编码的流，所以在垂直不同的位置处布置的宏块之间不存在依赖性。因此，可以恰当地进行解码，即使片段按不同的顺序被解码。因此，组合单元34可以通过仅对各个视频的编码的流的片段重新排序而产生多视频图像的基于帧编码的流。

[关于插入流的描述]

图6图示当观看区域移动时的多视频图像。

在图6中，水平轴表示时间（T）。这与如稍后将描述的图7中相同。

如图6所示，当第1帧（帧1）的观看区域相对于在编码顺序上的第0帧（帧0）的观看区域位于左下处时，或者，换句话说，当第0帧的观看区域在朝向左下的方向上移动时，多视频图像中的视频的位置在屏幕上朝向右上的方向上移动。即，与第0帧的多视频图像41相关联的第1帧的多视频图像中的视频43在屏幕上相对于多视频图像41位于右上。

在此情况下，如果参考多视频图像41间编码（inter-code）的视频43中的宏块（MB间）52的运动向量（MV）不改变，则宏块52的参考块改变为相对于宏块52应该参照的块53位于右上的块。

简言之，当观看区域不移动时，宏块52对应于第1帧的多视频图像42的宏块51。因此，宏块52的运动向量需要指向作为宏块51的参考块的块53。但是，如果宏块51的运动向量应用于宏块52的运动向量，则宏块52参照相对于多视频图像41中的块53位于右上的块54，作为参考块，因为宏块52在屏幕上相对于宏块51位于右上。因此，宏块52未被恰当地解码。

为了即使当观看区域移动时也实现恰当的解码，需要在观看区域已经移动了观看区域的移动量的方向上偏移由间编码的宏块的运动向量所指在的位置。但是，解码多视频图像一次以改变多视频图像的运动向量并记录解码的多视频图像增加了处理负荷，由此使得难以实时传递组合流。另外，记录多视频图像可能恶化图像质量。

因此，分发服务器11插入插入流以便在观看区域已经移动了观看区域的移动量的方向上偏移间编码的宏块的运动向量所指在的位置。

更具体地，分发服务器11产生其中插入视频的所有宏块被具有指示观看区域已经移动的方向和良的运动向量的跳跃块替代的插入流，并将该插入流插入在其中观看区域已经移动的多视频图像的编码的流之前。

例如，当如图6所示观看区域在朝向左下移动时，分发服务器11产生其中所有宏块被具有指在朝向坐下的方向上的运动向量的跳跃块替代，如图7所示。因此，插入视频图像71对应于定位为比屏幕上的插入视频图像71进一步朝向左下的多视频图像41。简言之，插入视频图像71对应于具有已经在朝向左下的方向上移动的观看区域的多视频图像41。

插入流作为第0’帧（帧0’）的编码的流被插入在其中观看区域已经移动的第1帧的多视频图像的编码的流之前。其结果是，参考插入视频图像71而不是多视频图像41解码第1帧的多视频图像，该插入视频图像71是在第1帧的多视频图像之前的一帧。

如上所述，例如，参考插入视频图像71的块72来解码宏块52。块72位于屏幕上与块54对应的位置中，并且块54相对于宏块51参照的块53位于右上。而且，块72对应于在屏幕上定位为比块72进一步朝向左下的块53。因此，参考作为对应的宏块51的参考块的块53来解码宏块52。

如上所述，通过插入插入流而不记录，分发服务器11在观看区域已经移动了观看区域的移动量的方向上偏移宏块52的运动向量所指在的位置。

参考图8和9，将关于插入流的片段数据的更新进行描述。

图8图示在不更新插入流的片段数据的情况下的插入视频图像。

在图8的例子中，图5中产生的多视频图像的基于帧编码的流是第0帧的多视频图像的编码的流。接着第0帧，插入流被插入作为第0’帧的编码的流，并且该插入流的所有宏块被具有指示向下方向以及等于一个宏块大小的移动量的运动向量的跳跃块替代。这与稍后将描述的图9中相同。

当如图8所示不更新插入流的片段数据时，插入流的插入视频图像变为其中第0帧的多视频图像中的视频向上移动了正好一个片段的多视频图像。简言之，插入流的宏块是具有向下指向正好一个片段的运动向量的跳跃块。

因此，参考在屏幕上定位为比插入流的片段低一个宏块的第0帧的多视频图像的片段来解码插入的片段。因此，插入流的解码多视频图像的上部分由第0帧的多视频图像的第2到第15片段组成。

另一方面，不存在应该定位为比插入视频图像的最低片段低一个宏块的第0帧的多视频图像的片段。因此，插入视频图像的片段参照在屏幕内最靠近其参考的像素。在此例子中，像素在第14和15片段的最低部分中，并且具有预定像素值（在此例子中是0），该第14和15片段是第0帧的多视频图像的最低片段。因此，在插入流的解码的视频图像的最低部分处的片段的像素具有预定像素值（在此例子中是0）。

因为在构成多视频图像的视频的周围区域中的一个或多个像素具有预定像素值，所以参考屏幕的外部而解码的插入流的解码的视频图像的像素值可以被设置为预定值。

相反，如果构成多视频图像的视频的周围区域中的一个或多个像素不具有预定像素值，则应该参考屏幕以外的像素被解码的插入流的解码的视频图像参照最靠近参考的屏幕内部的像素，导致插入流的解码的视频图像的恶化。

如图8所示，即使分发服务器11不更新插入流的片段数据，也防止插入流的解码的视频图像恶化并且该插入流的解码的视频图像以高质量显示。

但是，如果观看区域的移动量等于n（n=整数）个片段（例如16×n个像素）并且观看区域在垂直方向上移动，则此实施例配置为显示应该显示的视频而不是固定颜色的视频（在此例子中是黑色）。这可以进一步改进插入流的解码的视频图像的质量。

图9图示在插入流的片段数据被更新的情况下的插入视频图像。

当观看区域在垂直方向上移动了n个片段的量时，来自插入视频图像的移动方向的n个片段的片段数据被更新为要在n个片段的位置处显示的、来自与视频的移动方向相反的方向的n个片段的内编码的片段数据。在此情况下，在多视频图像中不具有插入视频的片段所参照的参考片段的片段被要在片段被定位的位置处显示的视频的内编码的片段替代。

例如，如图9所示，当观看区域在向下方向上移动的一个片段的量时，来自插入视频图像的向下方向的一个片段的片段数据被更新为来自要在该一个片段的位置处显示的视频的向上方向的一个片段（片段A或片段B）的内编码的片段数据。

因而，解码插入视频图像的最低的片段而不参照多视频图像的第0帧，并且最低的片段的解码的视频图像变为应该在片段的位置处显示的视频图像。因此，改进了插入流的解码的视频图像的图像质量。

[关于插入流的插入的描述]

图10图示图4中的插入单元35如何插入插入流。

如图10所示，存储单元32存储与移动信息相关联的插入流（的位流）。具体地，存储单元32根据移动信息存储所包括的所有宏块被具有指示该移动信息的运动向量的跳跃宏块替代的插入流（的位流）。

读取单元33读出与从接收单元31提供的移动信息相关联的插入流（的位流）。然后，插入单元35基于该移动信息更新所读取的插入流（的位流）的片段数据，并将更新后的插入流插入到从组合单元34提供的多视频图像的基于帧编码的流（的位流）中。

例如，如图10所示，如果从接收单元31提供的移动信息是移动信息A并且没有指出等于n个片段的移动量和垂直方向，则插入流A（的位流）照原样被插入在第0帧和第1帧的多视频图像的编码的流（的位流）之间。

如上所述，因为存储单元32存储与移动信息相关联的插入流，所以分发服务器11可以以与分发服务器11在每次分发服务器11接收移动信息时产生与移动信息相关联的插入流的情况下相比轻得多的处理负荷来插入该插入流。

在插入该插入流时，插入流的片段头部改变，具体地，使得被包括在插入流的片段头部中的frame_num、pic_order_cnt_lsb、delta_pic_order_cnt_bottom、delta_pic_order_cnt[0]和delta_pic_order_cnt[1]与在插入流的帧的编码顺序上紧接在后的帧的片段头部中的那些相同。

frame_num是帧标识符，并且pic_order_cnt_lsb、delta_pic_order_cnt_bottom、delta_pic_order_cnt[0]和delta_pic_order_cnt[1]是用于确定画面顺序计数（POC）的信息。

在该插入流的插入期间内，从插入流的帧到IDR画面的所有帧的frame_num、pic_order_cnt_lsb、delta_pic_order_cnt_bottom、delta_pic_order_cnt[0]和delta_pic_order_cnt[1]的值增加了等于帧0’的值。

此外，当要用于更新的内编码的片段数据是IDR画面的片段数据时，更新插入流的片段数据涉及插入流的除了片段数据之外的数据的改变。

具体地，指示要用于更新的片段数据的网络抽象层（NAL）单元的类型的nal_unit_type从指示片段数据是IDR画面的片段数据的5改变为指示片段数据是不同于IDR画面的画面的片段数据的1。另外，作为IDR画面的标识符并且被包括在要用于更新的片段数据的片段头部中的idr_pic_id被删除。

当要用于更新的片段数据的nal_unit_type是5并且nal_ref_idc不是0时，被包括在片段头部中的no_output_of_prior_pics_flag和long_term_reference_flag被删除，并且adaptive_ref_pic_marking_mode_flag改变为0。

换句话说，当要用于更新的片段数据是参考画面等的片段数据时，no_output_of_prior_pics_flag和long_term_reference_flag被删除，并且adaptive_ref_pic_marking_mode_flag改变为0。

no_output_of_prior_pics_flag是指定在IDR画面的解码之后如何对待在IDR画面之前解码的画面的标志。long_term_reference_flag是指定IDR画面是否被用作长期参考画面的标志。adaptive_ref_pic_marking_mode_flag是要被设置为使用存储器管理控制操作（MMCO）的标志，并且当不使用MMCO时被设置为0。

[关于多视频图像的基于帧编码的流的更新的描述]

图11A、11B、11C图示图4中的组合单元34如何更新多视频图像的基于帧编码的流。

在图11A到11C所示的示例中，图11A所示的第0帧的多视频图像的编码的流对应于图5中的多视频图像的基于帧编码的流。如图11A所示，第1帧的多视频图像的第二片段参照作为该第1帧前一帧的第0帧的第0片段。

当在这样的多视频图像中观看区域在第0帧和第1帧之间向下移动一个片段时，如参考图9所述地产生插入流，并且该插入流作为第0’帧的编码的流被插入，如图11B所示。

然后，产生第1帧的多视频图像的编码的流以便在该1帧的多视频图像的上部分中包含与第0帧的多视频图像的第2到第15片段对应的片段。

具体地，产生由第1和第2视频的第1到第3片段以及第3和第4视频的第0到第3片段组成的多视频图像的编码的流，作为第1帧的多视频图像的编码的流。

但是，第1帧的多视频图像的第0片段（对应于第0帧的多视频图像的第2片段）参照第0’帧的片段，其位于第0片段以上一个片段，即在屏幕外部。从而，没有进行恰当的解码。

为了恰当的解码，组合单元34用具有0的运动向量的跳跃宏块替换在第1帧的多视频图像中的第1视频的片段中的并且参照屏幕外部的所有宏块，如图11C所示。这恰当地解码了第1帧的多视频图像中的第1视频，并且使得第1帧的多视频图像中的第1视频与第0’帧的多视频图像中的第1视频相同。从而，停止第1视频的显示。

在图11A到11C的例子中，第2视频还包含如第1视频的情况那样参照屏幕外部的片段的片段，因此第2视频的显示也停止。

另外，如果在第1帧的多视频图像中除了第1到第4视频之外的区域不是包含要显示的视频的所有片段的区域，则组合单元34用具有0的运动向量的跳跃宏块替换该区域的所有宏块，如图11C所示。因此，在第1帧的多视频图像中除了第1到第4视频之外的区域的显示停止。

[关于分发服务器的处理的描述]

图12是图示图4中的分发服务器11如何进行产生处理的流程图。

在图12中的步骤S11中，组合单元34从自外部源输入的多个视频的编码的流中选择等同于要显示的多个视频的每一个的一帧的编码的流，并将所选的流组合以产生多视频图像的第0帧的编码的流。组合单元34经由插入单元35将多视频图像的第0帧的编码的流提供给发送单元36。

在步骤S12中，发送单元36将从插入单元35提供的多视频图像的第0帧的编码的流作为组合流经由图3所示的网络12发送到接收单元13。

在步骤S13中，接收单元31接收经由网络12从接收设备13发送的移动信息，并将该移动信息提供给读取单元33、组合单元34和插入单元35。

在步骤S14中，组合单元34基于移动信息的历史从自外部源输入的多个视频的编码的流中选择等同于要显示的多个视频的每一个的一帧的编码的流，并将所选的流组合以产生多视频图像的基于帧编码的流。组合单元34将编码的流提供给插入单元35。

在步骤S15中，读取单元33确定由从接收单元31提供的移动信息指示的移动量是否是0。如果在步骤S15中确定移动量是0，则插入单元35将从组合单元34提供的多视频图像的基于帧编码的流提供给发送单元36。

在步骤S16中，发送单元36将从组合单元34提供的多视频图像的基于帧编码的流作为组合流经由网络12提供给接收设备13，并且处理来到步骤S25。

另一方面，如果在步骤S15中确定移动量不是0，则组合单元34在步骤S17中进行多视频图像更新处理以更新在步骤S14中产生的多视频图像的基于帧编码的流。将参考稍后描述的图13给出关于多视频图像更新处理的详细描述。

在步骤S18中，读取单元33基于从接收单元31提供的移动信息从存储单元32读出与移动信息相关联的插入流，并将该插入流提供给插入单元35。

在步骤S19中，插入单元35利用从组合单元34提供的多视频图像的基于帧编码的流的片段头部更新插入流的片段头部。具体地，插入单元使得被包含在插入流的片段头部中的frame_num、pic_order_cnt_lsb、delta_pic_order_cnt_bottom、delta_pic_order_cnt[0]和delta_pic_order_cnt[1]与从组合单元34提供的编码的流的片段头部中的那些相同。

在步骤S20中，插入单元35确定从接收单元31提供的移动信息是否指示移动方向是垂直方向并且移动量是n个片段。

如果在步骤S20中确定移动方向是垂直方向并且移动量是n个片段，则处理来到步骤S21。在步骤S21中，插入单元35将来自插入视频图像的移动方向的n个片段的片段数据更新为来自与要在该n个片段的位置处显示的视频的移动方向相反的方向的n个片段的片段数据。

从自外部源输入的多个视频的编码的流的片段数据中选择用于更新的片段数据。如果用于更新的片段数据是IDR画面的片段数据，则插入单元35改变插入流的nal_unit_type和idr_pic_id。如果nal_ref_idc不是0，则插入单元35还改变no_output_of_prior_pics_flag、long_term_reference_flag和adaptive_ref_pic_marking_mode_flag。在步骤S21中的处理之后，处理来到步骤S22。

另一方面，如果在步骤S20中确定移动方向不是垂直方向或者移动量不是n个片段，则处理跳过步骤S21并来到步骤S22。

在步骤S22，插入单元35更新从组合单元34提供的多视频图像的编码的流的片段头部。具体地，插入单元35将被包含在该多视频图像的编码的流的片段头部中的frame_num、pic_order_cnt_lsb、delta_pic_order_cnt_bottom、delta_pic_order_cnt[0]和delta_pic_order_cnt[1]的值增加要插入在IDR画面和多视频图像的画面之间的插入流的帧的数量。

在步骤S23中，插入单元35在多视频图像的基于帧编码的流之前插入片段头部步骤S22中被更新的插入流。因此，该插入流被插入在多视频图像的基于帧编码的流中。另外，插入单元35将其中插入了该插入流的多视频图像的基于帧编码的流提供给发送单元36。

在步骤S24中，发送单元36将其中插入了从插入单元35提供的插入流的多视频图像的基于帧编码的流作为组合流经由网络12发送到接收设备13，并且处理来到步骤S25。

在步骤S25中，分发服务器11响应于用户的指令等确定是否终止产生处理。如果分发服务器11在步骤S25中确定不终止产生处理，则处理返回到步骤S13，并且重复从步骤S13到步骤S25的处理直到产生处理终止。

如果分发服务器11在步骤S25中确定终止产生处理，则处理终止。

图13是详述图12中的步骤S17中的多视频图像更新处理的流程图。

在图13中的步骤S41中，组合单元34从构成多视频图像的视频中选择还未被处理的视频作为要处理的目标视频。在步骤S42中，组合单元34确定目标视频的所有片段是否存在于多视频图像中。

如果在步骤S42中确定目标视频的所有片段都存在于多视频图像中，则然后在步骤S43中确定目标视频的片段要参照的片段是否存在于插入视频图像之外。

如果在步骤S43中确定目标视频的片段要参照的片段存在于插入视频图像之外，则处理来到步骤S44。

另一方面，如果在步骤S42中确定目标视频的所有片段均不存在于多视频图像中，则处理来到步骤S44。

在步骤S44中，组合单元34将在图12的步骤S14中产生的多视频图像的基于帧编码的流中的目标视频的所有宏块改变为具有0的运动向量的跳跃宏块。然后，处理来到步骤S45。

另一方面，如果在步骤S43中确定目标视频的片段要参照的片段不存在于插入视频图像之外，则处理跳过步骤S44并且来到步骤S45。

在步骤S45中，组合单元34确定构成多视频图像的所有视频是否被选择为要处理的目标视频。如果在步骤S45中确定构成多视频图像的所有视频未被选择作为要处理的目标视频，则处理返回到步骤S41，并且重复步骤S41到步骤S45，直到所有视频被选择作为要处理的目标视频。

如果在步骤S45中确定构成多视频图像的所有视频被选择作为要处理的目标视频，则处理返回到步骤S17，并且来到图12中的步骤S18。

如上所述，当多视频图像的观看区域移动时，分发服务器11将插入流插入在多视频图像的编码的流中，由此消除改变多视频图像的编码的流的运动向量的需要。因而，分发服务器11可以产生组合流而不记录多视频图像的观看区域何时移动。

因此，由多视频图像的观看区域的移动引起的处理负荷降低。因此，即使分发服务器11具有低处理能力，分发服务器11也可以产生在多视频图像的观看区域已经移动之后应该出现的组合流。另外，可以防止通过记录引起的多视频图像的质量恶化。

[关于本公开所应用于的计算机的描述]

由分发服务器11进行的上述系列处理不仅可以由硬件而且可以由软件实现。当该系列处理由软件实现时，软件程序被安装在计算机中。在此使用的计算机可以是并入在用于专用目的的硬件中的计算机或者是例如可以通过在其上安装各种程序而进行各种功能的通用个人计算机。

图14是示出执行由分发服务器11用程序进行的上述系列处理的计算机的水平的硬件配置的框图。

在该计算机中，中央处理单元（CPU）201、只读存储器（ROM）202和随机存取存储器（RAM）203通过总线204互连。

总线204还与输入-输出接口205连接。输入-输出接口205与输入部分206、输出部分207、存储部分208、通信部分209和驱动器210连接。

输入部分206包括键盘、鼠标、麦克风等等。输出部分207包括显示器、扬声器等等。存储部分208包括硬盘、非易失性存储器等等。通信部分209包括网络接口等等。驱动器210驱动诸如磁盘、光盘、磁光盘或半导体存储器等等的可移除介质211。

在如上所述配置的计算机中，例如，CPU201经由输入-输出接口205和总线204将存储部分208中存储的程序加载到RAM203中，然后执行该程序。因此，进行上述的系列处理。

能够将要在计算机（CPU201）上执行的程序记录在诸如包装介质之类的可移除介质211上，并提供该可移除介质211。另外，可以经由诸如局域网、因特网、数字卫星广播等的有线或无线传输介质来提供该程序。

可以通过输入/输出接口205将该程序从加载到驱动器210中的可移除介质211安装到计算机的存储部分208。还可以从通过有线或无线传输介质接收程序的通信部分209将该程序安装到存储部分208中。另外，该程序可以被预安装在ROM202或存储部分208中。

由计算机执行的程序可以是根据在此说明书中所述的序列按时间序列处理的程序。或者，程序可以是要并行执行或者在需要的时刻、比如在被调用时等等进行的程序。

本公开的实施例不限于上述实施例，并且可以不脱离本公开的精神地做出各种改变。

例如，在本公开中，能够采用其中一个功能通过网络由多个设备共享并协作处理的云计算配置。

还能够由单个装置执行在上述流程图中的每个步骤或者在多个装置之间共享这些步骤。

此外，单个步骤可以包括可以由单个装置执行或者可以由多个装置共享的多个处理。

不管观看区域的移动信息如何，插入流的所有宏块可以改变为具有指示移动信息的运动向量的跳跃宏块。另外，视频的编码的流的编码方法可以是高效率视频编码（HEVC）方法。在此情况下，编码的单位是编码单位（CU）。

本公开可以如下配置。

一种视频处理装置，包括：组合单元，其组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有被编码为片段的、在每个水平线上的编码单位；以及插入单元，其在多视频图像的观看区域移动时将插入流插入到由组合单元产生的多视频图像的编码的流中，该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块替代的编码的流。

根据[1]的视频处理装置，其中在所述视频周围区域中的一个或多个像素具有预定像素值。

根据[1]或[2]的视频处理装置，其中该插入单元用要在所述片段所位于的位置处显示的视频的内编码的片段替代处于所述插入流中的并且在多视频图像中没有参考片段的片段。

根据[3]的视频处理装置，其中当所述观看区域的移动方向是垂直方向并且所述观看区域的移动量是片段的整数倍时，所述插入单元用要在所述片段所位于的位置处显示的视频的内编码的片段替代处于所述插入流中的并且在多视频图像中没有参考片段的片段：。

根据[1]到[4]的任意一项的视频处理装置，其中所述插入单元基于该多视频图像的、紧接在该插入流之后放置的编码的流的片段头部而产生所述插入流的片段头部。

根据[1]到[5]的任意一项的视频处理装置，其中当与该多视频图像的编码的流相关联的多视频图像中的视频的片段的参考片段存在于与该插入流相关联的多视频图像外部时，该组合单元用具有0的运动向量的跳跃宏块替代该视频中的所有编码单位。

根据[1]到[6]的任意一项的视频处理装置，其中当该视频的所有片段都没有存在于与该多视频图像的编码的流相关联的多视频图像中时，该组合单元用具有0的运动向量的跳跃宏块替代该视频的所有编码单位。

一种由视频处理装置进行的视频处理方法，包括：组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有被编码为片段的、在每个水平线上的编码单位；以及在多视频图像的观看区域移动时将插入流插入到通过组合处理产生的多视频图像的编码的流中，该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块替代的编码的流。

Claims

1.一种视频处理装置，包括：

组合单元，其组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有被编码为片段的、在每个水平线上的编码单位；以及

插入单元，其在多视频图像的观看区域移动时将插入流插入到由组合单元产生的多视频图像的编码的流中，该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块替代的编码的流。

2.根据权利要求1的视频处理装置，其中

在所述视频中的周围区域中的一个或多个像素具有预定像素值。

3.根据权利要求1的视频处理装置，其中

该插入单元用要在所述片段所位于的位置处显示的视频的内编码的片段替代处于所述插入流中的并且在多视频图像中没有参考片段的片段。

4.根据权利要求3的视频处理装置，其中

当所述观看区域的移动方向是垂直方向并且所述观看区域的移动量是片段的整数倍时，所述插入单元用要在所述片段所位于的位置处显示的视频的内编码的片段替代处于所述插入流中的并且在多视频图像中没有参考片段的片段。

5.根据权利要求1的视频处理装置，其中

所述插入单元基于该多视频图像的、紧接在该插入流之后放置的编码的流的片段头部产生所述插入流的片段头部。

6.根据权利要求1的视频处理装置，其中

当与该多视频图像的编码的流相关联的多视频图像中的视频的片段的参考片段存在于与该插入流相关联的多视频图像外部时，该组合单元用具有0的运动向量的跳跃宏块替代该视频中的所有编码单位。

7.根据权利要求1的视频处理装置，其中

当该视频的所有片段没有存在于与该多视频图像的编码的流相关联的多视频图像中时，该组合单元用具有0的运动向量的跳跃宏块替代该视频的所有编码单位。

8.一种视频处理装置进行的视频处理方法，包括：

组合多个视频的编码的流以产生由视频构成的多视频图像的编码的流，每个视频的每个编码的流具有被编码为片段的、在每个水平线上的编码单位；以及

在多视频图像的观看区域移动时将插入流插入到通过组合处理产生的多视频图像的编码的流中，该插入流是其中多视频图像中的所有编码单位被具有指示观看区域的移动方向和移动量的运动向量的跳跃宏块替代的编码的流。