CN107683605A - 编码装置、解码装置和传输控制方法 - Google Patents

编码装置、解码装置和传输控制方法 Download PDF

Info

Publication number
CN107683605A
CN107683605A CN201680034998.4A CN201680034998A CN107683605A CN 107683605 A CN107683605 A CN 107683605A CN 201680034998 A CN201680034998 A CN 201680034998A CN 107683605 A CN107683605 A CN 107683605A
Authority
CN
China
Prior art keywords
tile
transmission
video
image
subregion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680034998.4A
Other languages
English (en)
Other versions
CN107683605B (zh
Inventor
藤本勇司
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN107683605A publication Critical patent/CN107683605A/zh
Application granted granted Critical
Publication of CN107683605B publication Critical patent/CN107683605B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/164—Feedback from the receiver or from the transmission channel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Abstract

本发明可以容易地实现在用于解码视频的编码信息已经丢失或不存在的情况下恢复适当解码的视频的机制。本发明提供一种编码装置，包括：设置部，被配置为将包括在要编码的视频中的每个图像分割成多个瓦片，并且针对图像设置包括多个瓦片中的一个或多个瓦片的部分区域；编码部，被配置为以每个瓦片为基础对每个图像进行编码以生成编码流；以及传输控制部，被配置为控制编码流向解码视频的解码装置的传输。设置部被配置为针对部分区域内的瓦片将用于运动补偿的瓦片外参考设置为禁止，并且传输控制部被配置为在解码装置处检测到编码信息的丢失或不存在时限制传输，使得仅传输对应于部分区域内的瓦片的编码流。

Description

编码装置、解码装置和传输控制方法
技术领域
本公开涉及编码装置、解码装置和传输控制方法。
背景技术
高端终端的传播以及有线和无线网络的扩展已经越来越多地增加了通过网络传输或观看视频的机会。当使用有限的网络带宽实时或至少以低延迟传输视频时，视频通常以压缩编码和速率控制编码，以便在传输之前与带宽匹配。这种视频传输的预期目的包括例如视频会议、视频聊天、通过安全摄像头的监视和实时视频的分发(用于体育、音乐会等)。
诸如MPEG-2和H.264/AVC之类的传统压缩编码技术除了帧内的预测(帧内预测)之外还提供了基于帧间的预测(帧间预测)的运动补偿的支持，从而实现高编码效率。然而，在传输的编码信息由于诸如分组丢失之类的任何原因变得不可用的情况下，帧间预测将不能很好工作，并且内容的解码将失败。在这样的故障的情况下，可以通过传输至少一个仅使用帧内预测编码的图像(这里称为I(Intra)图像))来恢复内容的正常解码/再现。这种类型的传输被称为“刷新”。然而，由于与其他类型的图像(例如，可用于运动补偿的P图像或B图像)相比，I图像的代码量通常显著较大，所以在恢复期间可能发生传输延迟或另一解码失败。
专利文献1公开了一种技术，其通过在部分区域的多个帧上以分布式方式执行刷新来抑制上述刷新期间的代码量的增加。专利文献2公开了一种动态地控制运动补偿的搜索区域的技术，使得未对在多个帧上执行分布式刷新时尚未恢复的区域进行帧间参考。
H.265/HEVC(以下称为HEVC)是H.264/AVC之后的压缩编码技术，其由作为ITU-T和ISO/IEC的联合标准组的联合协作小组-视频编码(JCTVC)标准化(参见非专利文献1)。
参考列表
专利文献
专利文献1：JP H7-95564A
专利文献2：JP H7-95588A
非专利文献
非专利文献1：ITU-T,"H.265:High efficiency video coding",RecommendationITU-T H.265，2014年10月。
发明内容
技术问题
正如在专利文献2中所描述的，由于在多个帧上的常规分布式刷新需要复杂的帧间参考控制，因此难以实现简单的设备实现。
因此，仍然需要可以提供更简单实现的技术。
待解决的问题
根据本公开，提供了一种编码装置，包括：设置部，被配置为将包括在要编码的视频中的每个图像分割成多个瓦片，并且针对图像设置包括多个瓦片中的一个或多个瓦片的部分区域；编码部，被配置为以每个瓦片为基础对每个图像进行编码以生成编码流；以及传输控制部，被配置为控制编码流向解码视频的解码装置的传输。设置部被配置为针对部分区域内的瓦片将用于运动补偿的瓦片外参考设置为禁止，并且传输控制部被配置为在解码装置处检测到编码信息的丢失或不存在时限制传输，使得仅传输对应于部分区域内的瓦片的编码流。
此外，根据本公开，提供了一种在编码装置中控制视频到解码装置的传输的传输控制方法，方法包括：将包括在要编码的视频中的每个图像分割成多个瓦片；针对图像设置包括多个瓦片中的一个或多个瓦片的部分区域；以每个瓦片为基础对每个图像进行编码以生成编码流；以及控制编码流向解码视频的解码装置的传输。针对部分区域内的瓦片的运动补偿的瓦片外参考被设置为禁止，并且在解码装置处检测到编码信息的丢失或不存在时，传输被限制，使得仅传输对应于部分区域内的瓦片的编码流。
另外，根据本公开，提供了一种解码装置，包括：传输控制部，被配置为向编码装置提供关于包括要解码的视频中包括的图像的多个瓦片中的一个或多个瓦片的部分区域的区域信息，编码装置是视频的传输源；以及解码部分，被配置为解码从编码装置接收的视频的编码流以获得视频。在正常操作中，接收与多个瓦片中的全部瓦片相对应的编码流，并且在检测到所需的编码信息丢失或不存在时，仅与基于区域信息设置的部分区域内的瓦片相对应的编码流被接收，针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被禁止。
另外，根据本公开，提供了一种在解码装置中控制来自编码装置的视频的传输的传输控制方法，方法包括：向编码装置提供关于包括要解码的视频中包括的图像的多个瓦片中的一个或多个瓦片的部分区域的区域信息，编码装置是视频的传输源；以及从编码装置接收视频的编码流；以及解码所接收的编码流以获得视频。在正常操作中，接收与多个瓦片中的全部瓦片相对应的编码流，并且在检测到所需的编码信息丢失或不存在时，仅与基于区域信息设置的部分区域内的瓦片相对应的编码流被接收，针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被禁止。
本发明的有益效果如下：
根据本公开的技术使得可以以简单的方式实现在用于解码视频的编码信息已经丢失或已经不存在的情况下获得适当解码的视频的机制。
注意，上述效果不一定是限制性的。利用或取代上述效果，可以实现本说明书中描述的任何一种效果或可从本说明书中掌握的其它效果。
附图说明
[图1A]图1A是用于描述使用片分割的分布式刷新的说明图。
[图1B]图1B是用于描述使用片分割的分布式刷新中的帧间参考的控制的说明图。
[图2A]图2A是对比地示出片段分割和瓦片分割的说明图。
[图2B]图2B是用于描述在HEVC中禁止瓦片外参考的设置的说明图。
[图3]图3是示出根据实施例的视频传输系统的配置的示例的框图。
[图4]图4是表示编码装置的结构例的框图。
[图5]图5是用于描述恢复用传输区域的基本思想的说明图。
[图6A]图6A是用于描述确定恢复用传输区域的技术的第一示例的说明图。
[图6B]图6B是用于描述确定恢复用传输区域的技术的第二示例的说明图。
[图6C]图6C是用于描述确定恢复用传输区域的技术的第三示例的说明图。
[图7]图7是用于描述区域内恢复的示例的说明图。
[图8]图8是用于说明扩展传输区域的第一示例的说明图。
[图9]图9是用于说明扩展传输区域的第二示例的说明图。
[图10]图10是用于描述切入再现时的恢复的示例的说明图。
[图11]图11是用于描述场景变化时的恢复的示例的说明图。
[图12]图12是示出根据实施例的在编码侧的传输控制处理的流程的示例的流程图。
[图13A]图13A是示出图12所示的区域设置处理的详细流程的第一示例的流程图。
[图13B]图13B是表示图12所示的区域设置处理的详细流程的第二示例的流程图。
[图14]图14是示出图12所示的区域刷新处理的详细流程的示例的流程图。
[图15]图15是表示图12所示的瓦片刷新处理的详细流程的示例的流程图。
[图16A]图16A是示出图12所示的区域扩展处理的详细流程的第一示例的流程图。
[图16B]图16B是示出图12所示的区域扩展处理的详细流程的第二示例的流程图。
[图17]图17是表示解码装置的配置的示例的框图。
[图18]图18是用于描述缩放部分图像的示例的说明图。
[图19]图19是用于描述部分图像的矩形显示的示例的说明图。
[图20]图20是表示实施方式的解码侧的传输控制处理的流程的示例的流程图。
[图21]图21是表示装置的硬件结构的示例的框图。
[图22]图22是表示电视机的概略结构的示例的框图。
[图23]图23是表示移动电话的概略结构的示例的框图。
[图24]图24是示出记录/再现装置的示意性配置的示例的框图。
[图25]图25是示出成像装置的示意性配置的示例的框图。
具体实施方式
在下文中，将参考附图详细描述本公开的优选实施例。在本说明书和附图中，具有基本相同的功能和结构的结构元件用相同的附图标记表示，并且将省略其重复的说明。
另外，将按以下顺序提供描述。
1.介绍
1-1.相关技术说明
1-2.HEVC中的瓦片分割
2.系统概述
3.编码装置的配置
3-1.基本配置
3-2.设置恢复用传输区域
3-3.分组丢失时的恢复
3-4.由其他事件触发的恢复
4.编码过程流程
5.解码装置的配置
6.解码过程流程
7.硬件配置的示例
8.应用实例
9.结论
<1.介绍>
[1-1.相关技术说明]
如上所述，许多传统的压缩编码技术提供了两种预测编码模式的支持，即帧内预测和帧间预测。帧间预测涉及基于帧间预测的运动补偿，有助于实现高编码效率。然而，由于丢失或不存在要参考的编码信息，帧间预测有时可能失效而导致解码失败。在解码失败发生之后，可以通过传输仅用帧内预测编码的至少一个I图像来恢复内容的正常解码/再现。然而，在该刷新期间，存在编码I图像的代码量的增加导致传输延迟或另一解码失败的风险。如专利文献1和2中所公开的分布式刷新抑制了在恢复期间代码量的增加。
可以实现分布式刷新，例如使用H.264/AVC和HEVC支持的片段分割。片段(slices)是用于编码处理的一种单位，其通过沿着水平方向将图像分割成条纹而形成。图1A是用于描述使用片段分割的分布式刷新的说明图。参考图1，图像P00、P01、P02、P03和P04以解码顺序排列。这些图像中的每一个作为示例被分割为四个片段SL1、SL2、SL3和SL4。这里假设由于丢失或不存在编码信息而在图像P00中发生了解码失败。认识到解码失败的编码器将后续的第一图像P01的片段SL1设为内部片段。如果仅将四个片段SL1、SL2、SL3和SL4中的片段SL1编码为内部片段，与将整个画面P01设置为帧内画面的情况相比，抑制了代码量的增加。接下来，编码器将第二图像P02的片段SL2、第三图像P03的片段SL3和第四图像P04的片段SL4依次编码为内部片段。一旦在解码器侧完成对已经被顺序地设置为内部片段的四个片段的解码完成，则可以再次正常地解码/再现整个图像。
如图1A所示，如果内部片段的设置分布在多个帧上。生成的代码量的峰值更可能落在传输带宽内。然而，为了适当地解码内容，还需要如下所述的附加控制。图1B是用于描述使用片分割的分布式刷新中的帧间参考的控制的说明图。在图1B中，图1A所示的图像外的图像P01、P02和P03再次显示。在图像P01被解码的时间点，只要不存在新的信息丢失，片段SL1是可解码的，因为片段SL1是内部片段。同时，片段SL2、SL3和SL4可能是不可解码的(即，在该时间点不被恢复)，因为它们不是内部片段，因此可能受到前一图像的解码失败的影响。在图像P02被解码的时间点，片段SL2又是内部片段，并且片段SL2因此是可解码的。片段SL3和SL4仍然没有被恢复，因为它们还不是内部片段。片段SL1已经被恢复，并且它不是内部片段。这导致如果将SL1例如参考参考图像P01的片段SL2、SL3或SL4(它们尚未被恢复)，则片段SL1将不可解码。因此，编码器控制图像P02的片段SL1(可能是P或B片段)的帧间预测，使得不参考图像P01的片段SL2、SL3和SL4。类似地，编码器控制图像P03的片段SL1和SL2(可能是P或B片段)的帧间预测，使得图像P02的片段SL3和SL4(和先前图像的其他不可解码片段)不被参考。
因此，分布式刷新的传统技术要求设备的开发者另外实现帧间预测的相对复杂的控制，尽管分布式刷新可以结合H.264/AVC的片分割来应用。因此，仍然希望提供一种技术，假设实时或至少低延迟传输，这种技术允许在只有有限的传输带宽可用的情况下，通过更简单的实现来实现稳定的视频传输。根据本公开的技术的发明人已经认识到，HEVC中采用的瓦片分割是这种简单实现的合适框架。
[1-2.HEVC中的瓦片分割]
图2A对比地示出了H.264/AVC或HEVC中的片段分割和HEVC中的片段分割。如上所述，通过将图像沿着水平方向分割成条纹来形成片段。片段和下一个片段之间的边界可能不一定在图像的边缘，并且以图像中的光栅扫描顺序布置的LCU之间的两个连续的LCU之间的任何边界可以是片段边界(示例在图2A的左侧一半示出)。同时，通过用网格图案分割图像来形成瓦片。在图2A的右半部分的例子中，总共由两行和两列形成的四个瓦片T1至T4。当图像被编码或解码时，在每个瓦片内以光栅扫描顺序处理LCU(见图中的箭头)。因为在同一个图像中的瓦片之间没有依赖关系，而是有一些例外，例如循环滤波器，跨瓦片的并行处理是可能的。注意，图2A的示例不是限制，图像中的瓦片尺寸可能是不均匀的。
在HEVC中，
作为指定扩展补充信息的补充增强信息(SEI)消息之一的时间运动约束瓦片集SEI消息的语法包括定义是否进行了瓦片外参考的参数。下表显示了非专利文献1中指定的该消息的语法。
[表格1]
表1：时间运动约束瓦片集SEI消息的语法
如果表格第一行的旗标mc_all_tiles_exact_sample_value_match_flag为True(等于“1”)，则瓦片集中的每个瓦片都被编码而不参考另一个瓦片，并且瓦片的边界与图像边界类似。也就是说，在这种情况下，在瓦片集中通常禁止瓦片外参考。如果第十六行的旗标mc_exact_sample_value_match_flag[i]为True，则在不考虑另一个瓦片的情况下对瓦片集内的第i个瓦片进行编码，并将第i个瓦片的边界类似于图像边界进行处理。也就是说，通过利用旗标mc_exact_sample_value_match_flag[i]，可以禁止或允许特定瓦片的瓦片外参考。在本说明书中，这些旗标的至少一个旗标被称为瓦片外参考禁止旗标。如果第四行的旗标restrict_tile_set_display_flag为True，那么第九行的旗标display_tile_set_flag[i]分别被编码用于i瓦片。如果旗标display_tile_set_flag[i]为True，则意在显示第i个瓦片。因此，旗标display_tile_set_flag[i]可以用于编码器来指示每个瓦片应该在解码器侧为每个瓦片显示或不应该显示。
图2B是用于描述在HEVC中禁止瓦片外参考的设置的说明图。在图2B中，示出了图像P11和P12，其中每一个被分割成瓦片T1至T4。图像P12是在图像P11之后的图像。作为示例，在瓦片T1的瓦片外参考禁止旗标被设置为True的情况下，当图像P12被解码时，瓦片T1和其他瓦片之间的瓦片边界与图像边界类似地被处理。在瓦片T1的运动补偿中，禁止参考图像P11(或其他参考图像)的瓦片T2、T3和T4。同时，不禁止图像P12的瓦片T1到图像P11的瓦片T1的参考(即瓦片内参考)。因此，HEVC采用的瓦片分割框架的设计方式，适用于控制图像的部分区域之间的参考关系。该框架主要旨在实现解码器中的高级并行处理。然而，如从作为根据本公开的技术的实施例的下一部分所描述的，可以利用瓦片分割的框架来实现分布式刷新。
<2.系统概述>
图3示出了根据本公开的技术的实施例的视频传输系统1的配置的示例。视频传输系统1包括至少一个编码装置10a、10b和至少一个解码装置60a、60b、60c。这些装置经由网络5相互连接。
在图3的示例中，编码装置10a是诸如平板电脑(PC)或智能电话的移动终端。编码装置10b是摄像机。在本说明书中，编码装置10a、10b在不需要区别的情况下统称为编码装置10。编码装置10具有编码器，用于对由其自身或另一装置捕获的视频进行编码，并且通过流传输将经由网络5的编码器生成的编码流传输给解码装置60。用于网络通信的通信接口可以被布置在编码装置10内部或外部。
在图3的示例中，解码装置60a是笔记本PC。解码装置60b是诸如平板电脑或智能电话的移动终端。解码装置60c是电视接收机。在本说明书中，解码装置60a、60b、60c在不需要区别的情况下统称为解码装置60。解码装置60具有用于对通过网络5接收的编码流进行解码以获得视频的解码器。解码装置60还可以包括用于再现通过解码器解码获得的视频的显示器。通信接口和显示器可以被布置在解码装置60内部或外部。
网络5可以是诸如GSM、长期演进(LTE)、LTE-Advanced、WiMAX或无线局域网(LAN)或有线网络的无线网络。网络5可以至少在自身的一部分处具有窄带宽的链路。编码装置10和解码装置60利用上述的瓦片分割框架，使得传输/接收编码流的代码量的峰值不超过网络5的带宽。
<3.编码装置的配置>
[3-1.基本配置]
图4是示出编码装置10的结构的示例的框图。如图4所示，编码装置10具有重新排序缓冲器11、瓦片设置部12、减法部13、正交变换部14、量化部15、无损编码部16、传输控制部17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、去块滤波器24、SAO滤波器25、帧存储器26、开关27、模式设置部28、帧内预测部30，以及帧间预测部40。
重新排序缓冲器11根据与编码处理相关联的图像组(GOP)结构重新排列构成要编码的视频的图像序列的图像数据。重新排序缓冲器11在重新排序之后将图像数据输出到瓦片设置部12、帧内预测部30和帧间预测部40。
瓦片设置部12将与图像对应的图像分割成多个瓦片。每个图像可以包括任何数量的瓦片，并且每个瓦片可以具有任何尺寸。通常可以在多个帧中保持瓦片分割的模式(瓦片的数量和每个瓦片的大小)不变，但是也可以在任何时间改变。
在本实施例中，瓦片设置部12为要被编码的图像设置恢复用传输区域，其是包括多个瓦片中的一个或多个的部分区域。恢复用传输区域是在编码装置10或解码装置60检测到解码侧的编码信息的丢失或不存在之后的时间期间的目标传送区域，直到恢复完成。稍后将进一步描述用于设置恢复用传输区域的技术的一些示例。瓦片设置部12还控制恢复期间每个瓦片的预测编码模式的设置。例如，如稍后进一步描述的那样，由于丢失或不存在编码信息而变得不可解码的恢复用传输区域内的瓦片中的瓦片在恢复期间至少一次被设置为内部瓦片。内部瓦片是仅将内部预测用于每个块的预测编码的瓦片。另一方面，整个图像可以是在编码流被成功传输的正常时间期间的传输的目标。
根据瓦片设置部12的瓦片分割，在每个瓦片的基础上执行下述从减法部13到帧间预测部40的在编码器处的典型处理。瓦片设置部12将针对恢复用传输区域内的瓦片的用于运动补偿的瓦片外参考设置为禁止。瓦片设置部12然后创建包括表示瓦片分割模式的瓦片参数和上述的瓦片外参考禁止旗标的瓦片信息，并将所创建的瓦片信息输出到无损编码部16。
减法部13计算作为从瓦片设置部12输入的图像数据与预测图像数据之间的差的预测误差数据，并将计算出的预测误差数据输出到正交变换部14。
正交变换部14对在每个瓦片中的CTU内配置的一个或多个TU中的每一个执行正交变换处理。这里执行的正交变换可以是例如离散余弦变换或离散正弦变换。更具体地，正交变换部14对于每个TU，将从减法部13输入的预测误差数据从空间域中的图像信号变换为频域的变换系数数据。然后，正交变换部14将变换系数数据输出到量化部15。
从正交变换部14输入的变换系数数据与从稍后描述的速率控制部18馈送的速率控制信号一起被馈送到量化部15。量化部15通过根据速率控制信号确定的量化步骤量化变换系数数据。量化部15将量化变换系数数据(以下称为量化数据)输出到无损编码部16和逆量化部21。
无损编码部16对每个瓦片从量化部15输入的量化数据进行编码，从而生成编码流。此外，无损编码部16对解码器将要参考的各种参数进行编码，并将编码的参数插入到编码流中。由无损编码部16编码的参数可以包括上述瓦片信息，关于帧内预测的信息以及关于帧间预测的信息。无损编码部16将生成的编码流输出到传输控制部17。
传输控制部17控制经由网络5从无损编码部16输入的解码装置60的编码流的传输。传输控制部17例如响应于从解码装置60接收传输请求。由传输控制部17传输的编码流是对应于包括在传输区域中的一个或多个瓦片的编码流。通常，正常周期期间的传输区域对应于整个图像。传输控制部17还监视是否发生触发恢复的事件。触发恢复的事件包括例如在解码视频的设备上丢失或不存在编码信息。由于传输路径中的收敛或传输质量的暂时劣化，丢包可能会导致丢失必要的编码信息。例如，在请求视频内容的切入再现(没有传输再现的起始时间点之前的参考图像的信息)的情况下，可能不存在必要的编码信息。传输控制部17在检测到这种事件时，将传输区域收缩到由瓦片设置部12预先配置的恢复用传输区域，并且限制传输，使得只有对应于恢复用传输区域内部的瓦片的编码流被传输。在恢复期间，传输区域等于恢复用传输区域。在恢复完成时，将传输区域重置到整个图像，并且恢复用传输区域被重置为部分区域。
速率控制部18根据由传输控制部17确定的期望的传输速率产生速率控制信号，并将产生的速率控制信号输出到量化部15。例如，当期望的传输速率相对较低时，速率控制部18产生用于降低量化数据的比特率的速率控制信号。此外，例如，当期望的传输速率相对较高时，速率控制部18产生用于增加量化数据的比特率的速率控制信号。
逆量化部21、逆正交变换部22和加法部23构成本地解码器。本地解码器承担根据编码数据重构原始图像的角色。
逆量化部21通过与量化部15相同的量化步骤对量化数据进行逆量化，从而恢复变换系数数据。然后，逆量化部21将恢复的变换系数数据输出到逆正交变换部22。
逆正交变换部22对从逆量化部21输入的变换系数数据进行逆正交变换处理，从而恢复预测误差数据。然后，逆正交变换部22将恢复的预测误差数据输出到加法部23。
加法部23将从逆正交变换部22输入的恢复的预测误差数据与由帧内预测部30或帧间预测部40生成的预测图像数据相加，生成解码图像数据(重构图像)。然后，加法部23将生成的解码图像数据输出到去块滤波器24和帧存储器26。
去块滤波器24和SAO滤波器25都是用于改善重建图像的图像质量的环路滤波器。去块滤波器24通过对从加法部23输入的解码图像数据进行滤波来去除块失真，并将滤波后的解码图像数据输出到SAO滤波器25。SAO滤波器25通过应用边缘偏移处理或带偏移处理来去除噪声涉及从解块滤波器24输入的解码图像数据，并将处理的解码图像数据输出到帧存储器26。
帧存储器26将从加法部23输入的未经滤波的解码图像数据和已经被应用了环路滤波的解码图像数据从SAO滤波器25输入到存储介质中。
开关27从帧存储器26读出要用于帧内预测的未经滤波的解码图像数据，并将读取的解码图像数据作为参考图像数据提供给帧内预测部30。此外，开关27从帧存储器26读取将用于帧间预测的滤波后的解码图像数据，并将读取的解码图像数据作为参考图像数据提供给帧间预测部40。
模式设置部28基于从帧内预测部30输入的成本与帧间预测部40的比较，对每个CTU设置预测编码模式。然而，模式设置部28针对被设置为内部瓦片的瓦片内的所有CTU，将预测编码模式设置为帧内预测模式。模式设置部28对于将设置了帧内预测模式的CTU，将由帧内预测部30生成的预测图像数据输出至减法部13，并将关于帧内预测的信息输出至无损编码部16。另外，模式设置部28对于设置了帧间预测模式的CTU，将由帧间预测部40生成的预测图像数据输出至减法部13，并将关于帧间预测的信息输出到无损编码部16。
帧内预测部30基于原始图像数据和解码图像数据对每个瓦片内的CTU中配置的一个或多个PU中的每一个执行帧内预测处理。例如，帧内预测部30基于对搜索范围内的各预测模式候补生成的预测误差和代码量来评价成本。然后，帧内预测部30选择将成本最小的预测模式作为最佳预测模式。此外，帧内预测部30根据所选择的最佳预测模式生成预测图像数据。然后，帧内预测部30向模式设置部28输出包含表示最佳预测模式的预测模式信息、对应的成本以及预测图像数据的关于帧内预测的信息。
帧间预测部40基于原始图像数据和解码图像数据，对每个瓦片内的CTU中配置的一个或多个PU中的每一个执行帧间预测处理(运动补偿)。例如，帧间预测部40基于对搜索范围内的每个预测模式候补生成的预测误差和代码量来评价成本。在搜索用于运动补偿的运动矢量时，对于将块外参考禁止旗标设置为True的目标瓦片，帧间预测部40仅在搜索范围内包括所有参考图像中与目标瓦片在相同位置的瓦片。然后，帧间预测部40选择最小化成本的预测模式作为最佳预测模式。此外，帧间预测部40根据所选择的最佳预测模式生成预测图像数据。然后，帧间预测部40向模式设置部28输出关于帧间预测的信息、对应的成本以及预测图像数据。
[3-2.设置恢复用传输区域]
在该项目中，将更详细地描述由瓦片设置部12设置的恢复用传输区域。
(1)基本理念
图5是用于描述恢复用传输区域的基本思想的说明图。在图5中，沿着水平方向指示时间轴，从时间t1到时间t10绘制一些时间。在每个时间要编码的图像和要传输到解码装置的图像也在时间轴下方示出。这里，假设每个图像被分割成具有四行和四列的十六个瓦片。在时间t1，正常传输正在进行，并且传输区域R1对应于整个图像。由瓦片设置部12设置的恢复用传输区域R2占据具有两行和两列的图像中心的四个瓦片。在该时间点也传送恢复用传输区域R2外部的瓦片。
在时间t2，传输区域不改变，但是由于传输而丢失了一段编码信息，并且一些瓦片变得不可解码。在时间t3，传输控制部17例如根据来自解码装置60(或网络5中的任何节点)的信令来检测这样的丢失，并确定哪个瓦片已经变得不可解码。在时间t4，传输控制部17收缩传输区域R1以适应恢复用传输区域R2，导致对应于恢复用传输区域R2内的四个瓦片的唯一编码流被传输。对时间t5也应用这种对传输的限制，并且在该间隔期间，通过内部瓦片的编码、传输和解码来恢复恢复用传输区域R2的图像的正常解码/再现。
在包括时间t6的恢复期间的后期，瓦片设置部12一个瓦片一个瓦片地逐渐地扩展恢复用传输区域R2(等于传输区域R1)。对应于新扩展部分的瓦片被编码为内部瓦片。在恢复用传输区域R2之外的任何瓦片已经变得不可解码的情况下，将通过这种区域的逐渐扩展来恢复曾经变得不可解码的瓦片的图像的正常解码/再现。
在完成了所有瓦片的图像的正常解码/再现之后，在时间t10，恢复用传输区域R2被重置。这里，恢复用传输区域R2可以设置为与时刻t1相同的区域，也可以不同。传输区域R1对应于整个图像。
(2)恢复用传输区域的确定
图6A是用于描述确定恢复用传输区域的技术的第一示例的说明图。在图6A的示例中，图像P3a是包括在由安全摄像机捕获的视频中的帧。图像P3a显示被监视的城镇街道的一角。恢复用传输区域R2a是在图像P3的中心处期望稳定的监视的矩形区域。例如，设置安全摄像机的操作者用户定义了这种恢复用传输区域。定义恢复用传输区域的区域信息可以预先创建并存储在编码装置10的存储器中。区块设置部12可以从存储器读出这样的区域信息，并为图像P3a设置恢复用传输区域R2a(和后续的一组图像)。
图6B是用于描述确定恢复用传输区域的技术的第二示例的说明图。在图6B的示例中，图像P3b是包括在通过视频会议系统传输的视频中的帧。瓦片设置部12可以通过例如分析视频内容来识别参会者被主要看见的区域(例如人体或脸部的区域)，并且将识别的区域设置为图像P3b的用于恢复的传送区域R2b。
作为图6A和6B的示例，恢复用传输区域可以是(但不限于)重要的并且根据用户级别或应用级别要求而应该注意(应该提供稳定的视频)的关注区域。或者，恢复用传输区域可以是独立于这种要求而定义的固定区域。作为另一示例，当其用于分发运动视频时，可以将恢复用传输区域确定为可以看到体育游戏的场地的区域。此外，当用于分发音乐会视频时，恢复用传输区域可以被确定为可以看到艺术家或舞台的区域。
图6C是用于描述确定恢复用传输区域的技术的第三示例的说明图。在图6C的例子中，观看由解码装置60a解码并显示在显示屏幕上的视频的用户将恢复用传输区域R2c确定为期望稳定的视频再现的部分区域。解码装置60a基于经由用户接口获取的用户输入，创建关于用于恢复的传送区域R2c的区域信息，并向作为视频的传输源的编码装置10b提供所创建的区域信息。编码装置10b的瓦片设置部12基于从解码装置60a以这种方式接收的区域信息，为图像设置恢复用传输区域R2c。
[3-3.分组丢失时的恢复]
在该项目中，将更详细地描述通过将传输区域缩减到恢复用传输区域和基于瓦片的分布式刷新来执行视频内容的正常解码/再现的恢复方式。在本实施例中，恢复期间可以被分割为区域内恢复的周期(例如可以包括图5中的时间t4和时间t5)和用于扩展传输区域的周期(例如可以包括图6中的时间t6)。然而，在不可解码的瓦片仅存在于恢复用传输区域之外的情况下，可以不执行区域内恢复。
(1)区域内恢复
图7是用于描述区域内恢复的示例的说明图。在图7的示例中，恢复用传输区域R3在图像的右上部分的九个瓦片，三行三列。在检测到编码信息的丢失之前，将来自恢复用传输区域R3内的瓦片的瓦片外参考设置为禁止(参见图的左上角)。可以允许或禁止来自恢复用传输区域R3之外的瓦片的瓦片外参考。那么，例如，如果包括在恢复用传输区域R3中的瓦片T15由于编码信息的丢失而变得不可解码(参见图的左下角)，则传输控制部17收缩传输区域以适应恢复用传输区域R3，并且无损编码部16将瓦片T15编码为内部瓦片(参见图的右上角)。在由传输控制部17对传输进行限制的时间内，对应于作为内部瓦片的瓦片T15的编码流被传送到解码侧。
如前所述，在瓦片T15被编码为内部瓦片的情况下，对于瓦片T15生成的代码量与其他情况生成的量相比得到增加(即，在允许帧间预测的情况下)。然而，内部瓦片被限制在图像的一部分。此外，由于传输区域收缩到恢复用传输区域R3，并且在恢复周期期间没有传输与该区域外部的瓦片相对应的编码流，所以可以在时间上增加针对与该内部瓦片对应的编码流而消耗的带宽。通过这种方法，可以减少在恢复期间发生传输延迟或其他解码失败的风险。为了避免带宽溢出(例如，不适当的量化等)，还不需要执行可能劣化图像质量的不期望的处理。由于恢复用传输区域R3内的每个瓦片的瓦片外参考被预先设置为禁止，所以编码信息的丢失的影响将仅局限于信息直接丢失的瓦片。也就是说，在图7的示例中，已经变得不可解码的瓦片T15将通过被编码/解码为内部瓦片而被恢复，而恢复用传输区域R3内的其他瓦片(例如，瓦片T12、T13和T14)被保持准备进行帧间预测，而不受丢失的影响。因此，在恢复期间不需要将这些瓦片编码/解码为内部瓦片。由于在恢复期间不传输对应于允许瓦片外参考的瓦片的编码流，所以在所有传输的瓦片中都不会引起帧间预测中的参考误差。
应当注意，尽管在图7的示例中仅将单个瓦片T15设置为内部瓦片，但是要被设置为内部瓦片的瓦片的数量根据编码信息的丢失的影响程度而变化。在影响多个瓦片的情况下，瓦片设置部12可以根据可用的传输带宽来确定每个图像的多少瓦片将被设置为内部瓦片。
(2)扩展传输区域-第一示例
图8是用于说明扩展传输区域的第一示例的说明图。在图8中，顺序示出了使用图7描述的在区域内恢复之后传输到解码侧的示例性图像。在通过编码/解码为内部瓦片恢复瓦片T15之后，恢复用传输区域R3内的瓦片全部可解码。之后，瓦片设置部12在扩展传输区域的期间一瓦片一瓦片地逐渐地扩展恢复用传输区域R3。参考图8的示例，恢复用传输区域R3每图像扩展一个瓦片(T21->T22->T23...)。同时，编码部16将与恢复用传输区域R3的新扩展部分对应的瓦片编码为内部瓦片。同样在这种情况下，由于内部瓦片被限制在图像的一部分，所以代码量的峰值被抑制。此外，由于没有传输对应于允许瓦片外块参考的瓦片的编码流，所以可以扩大可解码区域，同时避免任何传输瓦片新造成的帧间预测中的参考误差。在恢复用传输区域R3之外的任何瓦片由于编码信息的丢失而变得不可解码的情况下，在通过恢复用传输区域R3的这种逐渐扩展而扩展传输区域的时间期间，该瓦片将被恢复为可解码。
在所有瓦片通过上述恢复用传输区域的逐渐扩展而变得可解码之后，瓦片设置部12将恢复用传输区域重置为部分区域。这种重置的示例在图5中示出。当恢复的传输区域被重置时，恢复期间结束，恢复正常的传输
(3)扩展传输区域-第二示例
图9是用于说明扩展传输区域的第二示例的说明图。在图9中，顺序地示出使用图7描述的在区域内恢复之后传输到解码侧的示例性图像。在第二示例中，瓦片设置部12在由传输控制部17对传输进行限制的时间期间基于传输带宽的可用性动态确定的时间，扩展恢复用传输区域。在图图9的示例中，瓦片T21被并入到恢复用传输区域R3中，并且恢复用传输区域R3不会在下一个图像处被扩展，因为几乎没有可用的传输带宽(例如，关注区域的图像内容的显著变化导致关注区域的大的带宽消耗)。此后，在足够的传输带宽可用的时刻，恢复用传输区域R3按照瓦片T22，然后是瓦片T23的顺序逐渐扩展。根据本实施例，由于瓦片块参考的禁止防止错误在恢复期间从瓦片传播到瓦片，所以可以在存在有限网络带宽的情况下以这种方式在任何动态地确定的时间安全地增加内部瓦片。初始设置的恢复用传输区域内的视频即使在恢复期间也将被连续且稳定地解码/再现。
从图8和图9所示的示例可以理解，在扩展传输区域期间，传输区域可能暂时具有非矩形形式。如果传输区域(其等于恢复用传输区域)以这种方式是非矩形的，则瓦片设置部12可以将每个瓦片设置为显示或者不显示，使得由解码装置解码的图像被矩形地显示。例如，通过对于在矩形部分之外的瓦片将使用表1描述的旗标display_tile_set_flag[i]设置为False(＝“0”)并且对于其他瓦片将相同的旗标设置为True，所显示的图像可以被形成为矩形，而不需要在解码器侧的任何附加的操作。
[3-4.由其他事件触发的恢复]
在本实施例中，触发恢复的事件的示例是上述分组的丢失。触发恢复的事件的另一示例可以包括视频内容的切入再现和场景变化。
(1)切入再现
图10是用于描述切入再现时的恢复的示例的说明图。参考图10，同样用从时间t2到时间t10绘制的一些时间来指示与图5类似的时间轴。虽然在图5的示例中从时刻t1到时刻t2已经执行了正常的传输，但是在这里应该注意的是，尽管编码装置10对视频进行了编码，但编码流不传输到解码装置60。然后，在时间t3，传输控制部17从想要观看视频内容的用户接收从图像P4开始的切入再现的请求。。在该时间点，在解码侧不存在关于用于解码图像P4而被参考的参考帧的编码信息。在时间t4，传输控制部17收缩传输区域R1以适应恢复用传输区域R4，并且仅传输对应于恢复用传输区域R4的两个瓦片的编码流。瓦片设置部12将恢复用传输区域R4内的瓦片设置为内部瓦片，并且这些瓦片因此可解码，而与切入再现无关。此外，由于收缩传输区域允许为从内部瓦片导出的编码流分配更多的带宽，因此降低了由开始插入再现而触发的恢复期间发生传输延迟或解码失败的风险。
从时间t5到时间t8，瓦片设置部12一个瓦片一个瓦片地(在图10的示例中，每两个瓦片为基础)逐渐扩展恢复用传输区域R4(等于传输区域R1)。对应于新扩展部分的瓦片被编码为内部瓦片。在时间t10，瓦片设置部12重置恢复用传输区域R4，因为图像内的所有瓦片都已经变得可解码。传输区域R1对应于整个图像。通过这种区域的逐渐扩展，可以从视频的中间开始对所有瓦片的图像的正常解码/再现，而不需要缩紧传输带宽。
切入再现的情况与分组丢失的情况的不同之处在于，不是瓦片的子集，而是图像内的所有瓦片都可能曾经处于它们将不可解码的状态。因此，在示例性变型中，瓦片设置部12可以为图像设置用于从分组丢失恢复的第一恢复用传输区域和用于在切入再现时恢复的第二恢复用传输区域。在这种情况下第二恢复用传输区域小于第一恢复用传输区域。传输控制部17限制传输，使得当传输到解码装置60的分组已经丢失时，仅传输对应于第一恢复用传输区域内的瓦片的编码流。由于在第一恢复用传输区域内的瓦片之间编码信息的丢失而已经变得不可解码的瓦片的子集在恢复期间被编码为内部瓦片。传输控制部17还限制传输，使得当请求了视频的切入再现时仅传输对应于第二恢复用传输区域内的瓦片的编码流。第二恢复用传输区域内的所有瓦片由于不存在编码信息而不可解码，并且这些瓦片的每一个在恢复期间将至少一次被编码为内部瓦片。通过同时使用这样的多个用于恢复是传输区域，可以根据触发恢复的事件的类型灵活地控制代码量，并且可以甚至大大降低在恢复期间发生传输延迟或其他解码失败的风险。
(2)场景变化
图11是用于描述场景变化时的恢复的示例的说明图。在图11的示例中，在时间t2的时间点进行正常传输。此后，传输控制部17基于在时间t3对视频的动态分析，确定已经发生了场景变化。在发生场景变化的情况下，不能从后续图像的帧间预测中获得编码增益，因此期望至少一次将图像内的所有瓦片编码为内部瓦片。因此，在时间t4，传输控制部17缩小传输区域R1以适应恢复用传输区域R5，并且仅传输对应于恢复用传输区域R5的两个瓦片的编码流。瓦片设置部12将恢复用传输区域R5内的瓦片设置为内部瓦片。由于收缩传输区域允许为从内部瓦片导出的编码流分配更多的带宽，因此降低了由场景变化触发的恢复期间发生传输延迟或解码失败的风险。
从时间t5到时间t8，瓦片设置部12一瓦片一瓦片地逐渐扩展恢复用传输区域R5(等于传输区域R1)。对应于新扩展部分的瓦片被编码为内部瓦片。在时间t10，瓦片设置部12重置恢复用传输区域R5，因为图像内的所有瓦片已经变得可解码。传输区域R1对应于整个图像。
<4.编码期间的处理流程>
(1)传输控制处理
图12是示出根据实施例的在编码侧的传输控制处理的流程的示例的流程图。注意，为了清楚说明起见，说明中省略了由编码装置10执行的与本公开的技术的主题不直接相关的处理步骤。
首先，瓦片设置部12确定如何将图像分割成多个瓦片，即，确定瓦片分割的模式(步骤S5)。接下来，瓦片设置部12通过执行稍后详细描述的区域设置处理来为图像设置恢复用传输区域，其是包括多个瓦片中的一个或多个的部分区域(步骤S10)。图12示出了在确定了瓦片分割之后为图像设置恢复用传输区域的示例。然而，该示例不是限制，并且也可以在获得指示期望的恢复用传输区域的区域信息之后确定瓦片分割，使得所确定的瓦片分割与期望的区域相符。
接下来，无损编码部16对图像内的每个瓦片的量化数据进行编码，从而生成编码流，并还将至少包括瓦片信息的编码参数插入到编码流中(步骤S20)。在解码装置60尚未请求编码流的传输的情况下，不传输编码流。在传输已经开始或接收到新的传输请求的情况下(步骤S25)，流程图进到步骤S30。
在步骤S30，传输控制部17确定是否请求开始切入再现(步骤S30)。在请求开始切入再现的情况下，流程图进行到步骤S50的区域刷新处理，稍后详细描述。在不请求开始切入再现的情况下，传输控制部17将对应于传输区域内的一个或多个瓦片的编码流传输到解码装置60(步骤S35)。接下来，传输控制部17例如基于分析来确定在待编码的下一图像中是否发生了场景变化(步骤S40)。此外，在确定已经发生场景变化的情况下，流程图进行到区域刷新处理。在没有发生场景变化的情况下，传输控制部17监视分组丢失的发生(步骤S55)。如果在此检测到分组丢失，则流程图进行到步骤S60的瓦片刷新处理，如稍后详细描述。如果没有检测到分组丢失并且当前恢复没有进行，则流程图返回到步骤S20，并且将针对后续图像重复基于每个瓦片的编码和传输。同时，如果当前恢复正在进行，则流程图进入到步骤S80的区域扩展处理，稍后详细描述。
在区域刷新处理之后(步骤S50)，瓦片刷新处理(步骤S60)或区域扩展处理(步骤S80)完成，流程图返回到步骤S20，并且将针对后续图像重复基于每个瓦片的编码和传输。尽管图12中未示出，如果瓦片分割或恢复用传输区域要改变，则可以再次执行步骤S5和S10。
(2)区域设置处理
图13A是示出图12所提到的区域设置处理的详细流程的第一示例的流程图。在第一示例中，瓦片设置部12基于预定义或由用户输入的区域信息，或者基于对视频的分析，首先设置恢复用传输区域(步骤S12)。接下来，瓦片设置部12将传输区域设置为整个图像(步骤S16)。接下来，瓦片设置部12针对恢复用传输区域内的所有瓦片将用于运动补偿的瓦片外参考设置为禁止(步骤S18)。瓦片设置部12可以针对恢复用传输区域外的瓦片允许或禁止瓦片外参考。
图13B是表示图12所提到的区域设置处理的详细流程的第二示例的流程图。在第二示例中，传输控制部17首先从解码装置60接收区域信息(步骤S13)。接下来，瓦片设置部12基于由传输控制部17接收的区域信息来设置恢复用传输区域(步骤S14)。接下来，瓦片设置部12将传输区域设置为整个图像(步骤S16)。接下来，瓦片设置部12针对恢复用传输区域内的所有瓦片将运动补偿的瓦片外参考设置为禁止(步骤S18)。
(3)区域刷新过程
图14是示出图12所提到的区域刷新处理的详细流程的示例的流程图。在区域刷新处理中，传输控制部17首先设置(即缩小)传输区域以适应恢复用传输区域(步骤S52)。瓦片设置部12针对下一个图像将缩小的传输区域内的所有瓦片的预测编码模式设置为帧内预测(步骤S54)。等于恢复用传输区域的传输区域内的所有瓦片将相应地被编码为内部瓦片。
(4)瓦片刷新过程
图15是表示图15所示的瓦片刷新处理的详细流程的示例的流程图。在瓦片刷新处理中，传输控制部17首先设置(即收缩)传输区域以适应恢复用传输区域(步骤S62)。瓦片设置部12进一步确定哪个瓦片由于分组丢失而变得不可解码(步骤S64)。然后，瓦片设置部12确定在传输区域内是否存在任何不可解码的瓦片(步骤S66)。在传输区域内存在不可解码的瓦片的情况下，瓦片设置部12将下一图像的不可解码瓦片的预测编码模式设置为帧内预测(步骤S68)。不可解码的瓦片将被相应地编码为内部瓦片。
(5)区域扩展处理
图16A是示出图12所提到的区域扩展处理的详细流程的第一示例的流程图。在第一示例中，瓦片设置部12首先确定传输区域是否等于整个图像(步骤S82)。由于该确定在恢复期间执行，所以这里的传输区域等于恢复用传输区域。在通过先前图像的区域扩展处理将传输区域扩展到整个图像的情况下，可以在步骤S82获得确定的肯定结果。在恢复期间并且传输区域尚未扩展到整个图像，可以获得确定的否定结果。
如果传输区域不等于整个图像，则瓦片块设置部12选择要添加到恢复用传输区域的一个或多个瓦片(步骤S84)。接下来，瓦片设置部12将所选择的瓦片添加到恢复用传输区域(步骤S86)。瓦片设置部12还设置传输区域以适合用于恢复的扩展传输区域(步骤S88)。瓦片设置部12还将后续图像中添加的瓦片的预测编码模式设置为帧内预测(步骤S90)。
如果传输区域等于整个图像，则瓦片设置部12重置恢复用传输区域(步骤S92)。在这里重置后的恢复用传输区域可以与恢复期之前设置的恢复用传输区域相同或不同。瓦片设置部12还将传输区域设置为整个图像(步骤S94)。
最后，瓦片设置部12针对用于恢复的(扩展或重置的)传输区域内的瓦片将瓦片外参考设置为禁止(步骤S96)。
图16B是示出图12所提到的区域扩展处理的详细流程的第二示例的流程图。同样在第二示例中，瓦片设置部12首先确定传输区域是否等于整个图像(步骤S82)。
如果传输区域不等于整个图像，则块设置部12确定传输带宽的可用性(步骤S83)。在这里确定没有剩余足够的传输带宽来编码新的内部瓦片的情况下，跳过后续处理步骤S85至S96，并且在该时间不扩展传输区域。在对新的内部瓦片进行编码的足够的传输带宽可用的情况下，瓦片设置部12基于可用带宽选择要添加到恢复用传输区域中的一个或多个瓦片(步骤S85)。接下来，瓦片设置部12将所选择的瓦片添加到恢复用传输区域(步骤S86)。瓦片设置部12还设置传输区域以适合扩展的恢复用传输区域(步骤S88)。瓦片设置部12还将后续图像中添加到瓦片的预测编码模式设置为帧内预测(步骤S90)。
如果传输区域等于整个图像，则瓦片设置部12重置恢复用传输区域(步骤S92)。重置后的恢复用传输区域可以与恢复期之前设置的恢复用传输区域相同或不同。瓦片设置部12还将传输区域设置为整个图像(步骤S94)。
最后，当恢复用传输区域被扩展或重置时，瓦片设置部12针对恢复用传输区域内的瓦片将瓦片外参考设置为禁止(步骤S96)。
<5.解码设备的配置>
图17是表示解码装置60的配置的示例的框图。参考图17，解码装置60包括传输控制部61、无损解码部62，逆量化部63、逆正交变换部64、加法部65、去块滤波器66、SAO滤波器67、重新排序缓冲器68、再现控制部6、帧存储器70、选择器71a和71b、帧内预测部80和帧间预测部90。
传输控制部61控制经由网络5从编码装置10接收的编码流。传输控制部61通过再现控制部69例如响应于用户输入，将视频内容的编码流的传输请求发送给编码装置10。然后，当传输已经开始时，传输控制部61顺序地从编码装置接收编码数据，将其输出到无损解码部62。传输控制部61对接收到的分组进行一种丢失检测，例如序列号验证或错误检测，并且在检测到由于分组丢失而丢失了必要的编码信息的情况下，传输控制部61向编码装置10发出说明丢失的分组的消息。
消息指示丢失的消息分组传输到。传输控制部61可以发出说明瓦片已经变得不可编码的消息，替代说明分组的消息。视频的编码流包含对应于在正常周期内的图像中所有多个瓦片的流，而在上述消息发出之后，其仅包含与恢复期间恢复用传输区域内的瓦片对应的流。。
恢复用传输区域可以在如使用图6A和6B所述的编码装置处或如使用图6C所述的在解码装置60处确定。在后一种情况下，例如，观看视频的用户经由用户界面指定期望视频的稳定再现的部分区域。传输控制部61创建关于由用户指定的部分区域的区域信息，并且向传输了视频的编码装置10提供创建的区域信息。因此，在编码装置10处根据区域信息来建立恢复用传输区域。如上所述，针对恢复用传输区域内的瓦片，禁止用于运动补偿的瓦片外参考。
传输请求可以是从视频内容的开始进行再现的正常请求，或者可以是从视频内容的中间进行再现的切入再现请求。在传输控制部61已经发送了从视频内容的中间进行再现的切入再现请求的情况下，响应于该请求发起的传输将不是正常传输，而是用于恢复的传输，并且将接收仅包括与恢复用传输区域内的瓦片相对应的流的编码流，直到恢复期结束。
无损解码部62为了解码视频内容，对与传输控制部61输入的每个瓦片相对应的编码流进行解码，以获得每个瓦片的量化数据。此外，无损解码部62解码并获得插入到编码流中的信息。由无损解码部62解码的信息可以包括例如瓦片信息、关于帧内预测的信息以及关于帧间预测的信息。无损解码部62将量化数据输出到逆量化部63。此外，无损解码部62将瓦片信息输出到再现控制部69，将关于帧内预测的信息输出到帧内预测部80和将关于帧间预测的信息输出到帧间预测部90。
逆量化部63通过与编码中使用的相同的量化步骤对从无损解码部62输入的量化数据进行逆量化，以恢复变换系数数据。逆量化部63将恢复的变换系数数据输出到逆正交变换部64。
逆正交变换部64根据在编码中使用的正交变换方案对从逆量化部63输入的变换系数数据执行逆正交变换，从而产生预测误差数据。逆正交变换部64将生成的预测误差数据输出到加法部65。
加法部65通过将从逆正交变换部64输入的预测误差数据与从选择器71b输入的预测图像数据相加来生成解码图像数据。然后，加法部65将生成的解码图像数据输出到去块滤波器66和帧存储器70。
解块滤波器66通过对从加法部65输入的解码图像数据进行滤波而去除块失真，并将滤波后的解码图像数据输出到SAO滤波器67。
SAO滤波器67通过对从去块滤波器66输入的解码图像数据应用边缘偏移处理或带偏移处理来去除噪声，并将处理的解码图像数据输出到重新排序缓冲器68和帧存储器70。
重新排序缓冲器68对从SAO滤波器67输入的图像重新排序，从而产生一系列时间序列图像数据。然后，重新排序缓冲器68将生成的图像数据输出到再现控制部69。
再现控制部69基于从重新排序缓冲器68输入的图像数据来控制视频的再现。再现控制部69例如将图像数据转换成用于视频输出的图像信号，并将转换的图像信号输出到显示装置(未示出)。
再现控制部69可以在检测到编码信息的丢失或不存在的情况下缩放在恢复期间被部分解码的恢复用传输区域的图像，使得图像的大小与帧大小相匹配，然后使显示设备对其进行显示。在图18的示例中，从右侧可以看出，用于图像P5的恢复用传输区域R2a的图像被放大以适应帧大小。
可以在编码侧确定要显示解码瓦片中的哪个瓦片，并使用如表1所述的旗标display_tile_set_flag[i]向解码侧发出信号。或者，再现控制部69可以确定解码图像的形状并且跳过瓦片的子集的显示，使得所显示的图像将是矩形的。再现控制部69还可以在不显示视频的部分上叠加用于通知用户恢复正在进行的显示对象。在图19的示例中，在右侧示出了包括在图像P6内仅矩形部分的再现图像的显示图像(具有非矩形的恢复用传输区域R2b)以及用于通知用户恢复正在进行的消息。
帧存储器70将从加法部65输入的未滤波解码图像数据和从SAO滤波器67输入的滤波解码图像数据存储在存储介质中。
选择器71a根据由无损解码部62获取的模式信息，针对图像中的每个块将来自帧存储器70的图像数据的输出目的地在帧内预测部80和帧间预测部90之间切换。在已经指定了帧内预测模式的情况下，例如，选择器71a将从帧存储器70提供的未被滤波的解码图像数据输出到帧内预测部80作为参考图像数据。此外，在指定了帧间预测模式的情况下，选择器71a将滤波后的解码图像数据输出到帧间预测部90作为参考图像数据。
选择器71b根据由无损解码部62获取的模式信息，将提供给加法部65的预测图像数据的输出源在帧内预测部80和帧间预测部90之间切换。在已经指定了帧内预测模式的情况下，例如，选择器71b将从帧内预测部80输出的预测图像数据提供给加法部65。此外，在已经指定了帧间预测模式的情况下，选择器71b将从帧间预测部90输出的预测图像数据提供给加法部65。
在恢复期间至少一次将由于编码信息的丢失或不存而变得不可解码的、恢复用传输区域内的瓦片中的瓦片设置为内部瓦片，并且从编码装置10接收其对应的编码流。在内部瓦片中，不进行帧间预测，并且由帧内预测部80生成预测图像数据。
帧内预测部80根据从无损解码部62输入的关于帧内预测的信息和来自帧存储器70的参考图像数据来执行帧内预测处理，从而生成预测图像数据。然后，帧内预测部80将生成的预测图像数据输出到选择器71b。
帧间预测部90基于从无损解码部62输入的关于帧间预测信息和来自帧存储器70的参考图像数据来执行帧间预测处理，生成预测图像数据。然后，帧间预测部90将生成的预测图像数据输出到选择器71b。
<6.解码过程中的处理流程>
图20是根据实施方式的解码侧的传输控制处理的流程的示例的流程图。注意，为了说明的清楚起见，说明中省略了解码装置60执行的与根据本公开的技术的主题不直接相关的处理步骤。
首先，传输控制部61将关于(例如由用户指定的)恢复用传输区域的区域信息发送给作为视频的传输源的编码装置10(步骤S110)。在编码侧确定恢复用传输区域的情况下，可以省略此步骤。
接下来，传输控制部61向编码装置10发送视频内容的编码流的传输请求(步骤S120)。这里，通常要求视频内容的实时传输或至少低延迟传输。响应于这里发送的传输请求，开始编码流的传输，然后逐个图像地重复从步骤S130到S170的后续处理步骤。
在对于图像的每次重复中，传输控制部61接收对应于当前设置的传输区域内的一个或多个瓦片的编码流(步骤S130)。
接下来，通过在无损解码部62处对量化数据的解码、在逆量化部63对变换系数数据的逆量化、在逆正交变换部64的预测误差数据的产生、预测图像数据和预测误差数据的相加等(步骤S140)，从编码流中解码每个瓦片的图像。
接下来，再现控制部69确定整个图像是否已被解码，或仅部分图像已被解码(步骤S150)。在仅部分图像被解码的情况下，再现控制部69缩放部分图像以使其与显示尺寸器对准(步骤S160)。然后，再现控制部69将图像信号输出到显示器，从而再现视频(步骤S170)。
<7.硬件配置的示例>
上述实施例可以使用软件、硬件以及软件和硬件的组合中的任何一种来实现。在编码装置10或解码装置60使用软件的情况下，构成软件的程序可以预先存储在例如设备内部或外部的存储介质(非暂时介质)中。然后，将每个程序读入例如用于其执行的随机存取存储器(RAM)，并由处理器诸如中央处理单元(CPU)来执行。
图21是表示装置的硬件配置的示例的框图。参考图21，图像处理装置800具有系统总线810、图像处理芯片820和片外存储器890。图像处理芯片820包括n个(n等于或大于1)处理电路830-1、830-2、...和830-n，参考缓冲器840，系统总线接口850和本地总线接口860。
系统总线810提供图像处理芯片820和外部模块(例如，中央控制功能、应用功能、通信接口、用户界面等)之间的通信路径。处理电路830-1、820-2、...和830-n经由系统总线接口850连接到系统总线810，经由本地总线接口860连接到片外存储器890。处理电路830-1、830-2、...和830-n也可以访问可对应于片上存储器(例如，SRAM)的参考缓冲器840。片外存储器890可以是例如存储由图像处理芯片820处理的图像数据的帧存储器。作为示例，处理电路830-1和830-2可以用于跨瓦片并行进行的编码处理或解码处理。注意，这些处理电路也可以形成在单独的芯片上，而不是在相同的图像处理芯片820上。图像处理设备800可以是编码装置10或解码设备60本身，或者可以是安装在那些设备上的模块。
<8.应用实例>
根据上述实施例的编码装置10和解码装置60可以应用于各种电子设备，例如：用于卫星广播的发射机或接收机，有线广播例如有线电视，因特网上的分配和通过蜂窝通信向终端的分配；在诸如光盘、磁盘和闪存之类的介质上记录图像的记录装置；或从上述存储介质再现图像的再现设备。下面将描述四个应用示例。
(1)第一应用实例
图22示出了应用了上述实施例的电视设备的示意性配置的示例。电视设备900具有天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从经由天线901接收的广播信号中提取期望频道的信号，并解调所提取的信号。然后，调谐器902将从解调获得的编码比特流输出到解复用器903。也就是说，调谐器902起到接收其中对图像被编码的编码流的电视装置900的传输装置的作用。
解复用器903从编码流中解码要观看的节目的视频流和音频流，并将解复用的流输出到解码器904。另外，解复用器903从编码比特流中提取诸如电子节目指南(EPG)的辅助数据，并将提取的数据提供给控制单元910。注意，在编码比特流已被加扰的情况下，解复用器903可以执行解扰。
解码器904解码从解复用器903输入的视频流和音频流。然后，解码器904将从解码处理生成的视频数据输出到视频信号处理单元905。另外，解码器904将从解码处理生成的音频信号输出到音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据，以使显示单元906显示视频。此外，视频信号处理单元905可以使显示单元906显示经由网络提供的应用屏幕。此外，视频信号处理单元905可以根据设置对视频数据执行附加处理，例如降噪。此外，视频信号处理单元905可以生成图形用户界面(GUI)的图像，例如菜单、按钮或光标，并将生成的图像叠加在输出图像上。
显示单元906由从视频信号处理单元905提供的驱动信号驱动，并在显示设备(例如，液晶显示器、等离子体显示器、OLED等)的视频平面上显示视频或图像。
音频信号处理单元907对从解码器904输入的音频数据执行包括D/A转换和放大的再现处理，并使扬声器908输出声音。此外，音频信号处理单元907可以对音频数据执行诸如噪声去除的附加处理。
外部接口909是用于将电视装置900连接到外部装置或网络的接口。例如，经由外部接口909接收的视频流或音频流可以由解码器904进行解码。换句话说，外部接口909还起电视装置900的传输装置的作用，该电视装置900接收其中图像被编码的编码流。
控制单元910具有诸如中央处理单元(CPU)的处理器和诸如随机存取存储器(RAM)和只读存储器(ROM)的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据和经由网络获取的数据。存储在存储器中的程序在例如电视装置900的启动时由CPU读取和执行。CPU通过响应于例如从用户接口911输入的操作信号执行程序来控制电视装置900的操作。
用户接口911连接到控制单元910。用户接口911包括例如用户操作电视设备900的按钮和开关、用于遥控信号的接收单元等。用户界面911通过检测用户经由任何上述构成元件进行的操作来产生操作信号，并将产生的操作信号输出到控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910彼此连接。
解码器904具有如上所述配置的电视装置900中的根据上述实施例的解码装置60的功能。因此，在电视设备900中，在丢失或不存在用于解码视频的必要编码信息的恢复期间发生传输延迟或其他解码失败的风险将会降低。
(2)第二应用实例
图23示出了应用了上述实施例的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、照相机单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933将通信单元922、音频编解码器923、照相机单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930和控制单元931互连。
移动电话920执行诸如传输/接收音频信号、传输/接收电子邮件或图像数据、拍摄图像以及以包括音频呼叫模式、数据通信模式、摄影模式和可视电话模式的各种操作模式记录数据的动作。
在音频呼叫模式中，由麦克风925产生的模拟音频信号被提供给音频编解码器923。然后，音频编解码器923将模拟音频信号转换成音频数据，对转换的音频数据执行A/D转换，并压缩数据。然后，音频编解码器923将压缩的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以产生传输信号。通信单元922然后通过天线921将生成的传输信号传输到基站(未示出)。此外，通信单元922放大通过天线921接收的无线电信号，进行频率转换，并获取接收信号。通信单元922此后对接收信号进行解调和解码以产生音频数据，并将生成的音频数据输出到音频编解码器923。音频编解码器923扩展音频数据，对数据进行D/A转换，并产生模拟音频信号。音频编解码器923然后将生成的音频信号提供给扬声器924以使其输出音频。
在数据通信模式中，例如，控制单元931根据操作单元932检测到的用户操作来生成构成电子邮件的字符数据。控制单元931还在显示单元930上显示字符。此外，控制单元931根据操作单元932从用户传输的指令生成电子邮件数据，并将生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以产生传输信号。然后，通信单元922通过天线921将生成的传输信号传输到基站(未示出)。通信单元922进一步放大通过天线921接收的无线电信号，进行频率转换，并获取接收信号。通信单元922此后解调和解码接收信号，恢复电子邮件数据，并将恢复的电子邮件数据输出到控制单元931。控制单元931在显示单元930上显示电子邮件的内容以及将电子邮件数据存储在记录/再现单元929的存储介质中。
记录/再现单元929包括可读写的任意存储介质。例如，存储介质可以是诸如RAM或闪存的内置存储介质，或者可以是外部安装的存储介质，诸如硬盘、磁盘、磁光盘、光学磁盘、USB存储器或存储卡。
在拍摄模式中，例如，照相机单元926对对象进行成像以生成图像数据，并将生成的图像数据输出到图像处理单元927。图像处理单元927对从照相机单元926输入的图像数据进行编码，并存储在记录/再现单元929的存储介质中的编码流。
在视频电话模式中，例如，复用/解复用单元928将由图像处理单元927编码的视频流和从音频编解码器923输入的音频流复用，并将多路复用的流输出到通信单元922。通信单元922编码和调制流以产生传输信号。通信单元922然后通过天线921将生成的传输信号传输到基站(未示出)。此外，通信单元922放大通过天线921接收的无线电信号，进行频率转换，并获取接收信号。传输信号和接收信号可以包括编码比特流。通信单元922因此对接收信号进行解调和解码以恢复流，并将恢复的流输出到复用/解复用单元928。复用/解复用单元928从输入流中解复用视频流和音频流，并分别将视频流和音频流传输至图像处理单元927和音频编解码器923。图像处理单元927解码视频流以产生视频数据。然后将视频数据提供给显示单元930，显示单元930显示一系列图像。音频编解码器923扩展并对音频流进行D/A转换以产生模拟音频信号。音频编解码器923然后将生成的音频信号提供给扬声器924以使其输出音频。
在这样配置的移动电话机920中，图像处理单元927具有上述实施方式的编码装置10和解码装置60的功能。因此，移动电话920可以减少在丢失或不存在编码信息之后在恢复期间发生传输延迟或其他解码失败的风险。
(3)第三应用实例
图24示出了应用了上述实施例的记录/再现装置的示意性配置的示例。记录/再现装置940对接收到的广播节目的音频数据和视频数据进行编码，并将数据记录到例如记录介质中。记录/再现装置940还可以对从另一装置获取的音频数据和视频数据进行编码，并将数据记录到记录介质中。记录/再现装置940例如响应于用户指令，在监视器和扬声器上再现记录在记录介质中的数据。在这种情况下，记录/再现装置940解码音频数据和视频数据。
记录/再现装置940包括调谐器941、外部接口942、编码器943、磁盘驱动器(HDD)944、磁盘驱动器945、选择器946、解码器947、屏幕显示器(OSD)948、控制单元949和用户接口950。
调谐器941从通过天线(未示出)接收的广播信号中提取期望频道的信号，并对所提取的信号进行解调。调谐器941然后将通过解调获得的编码比特流输出到选择器946。也就是说，调谐器941在记录/再现装置940中具有传输装置的作用。
外部接口942是将记录/再现装置940与外部设备或网络连接的接口。外部接口942可以是例如IEEE 1394接口、网络接口、USB接口或闪存接口。例如，通过外部接口942接收的视频数据和音频数据被输入到编码器943。也就是说，外部接口942在记录/再现装置940中具有传输装置的作用。
在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出到选择器946。
HDD944将其中内容数据如视频和音频被压缩的编码比特流、各种程序和其他数据记录在内部硬盘中。当再现视频和音频时，HDD 944从硬盘读取这些数据。
磁盘驱动器945将数据记录到附接到磁盘驱动器的记录介质中/从中读取数据。附接到磁盘驱动器945的记录介质可以是例如DVD盘(诸如DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或Blu-ray(注册商标)磁盘。
选择器946在记录视频和音频时选择从调谐器941或编码器943输入的编码比特流，并将所选择的编码比特流输出到HDD 944或磁盘驱动器945。当再现视频和音频时，在另一方面，选择器946将从HDD 944或磁盘驱动器945输入的编码比特流输出到解码器947。
解码器947解码编码比特流以产生视频数据和音频数据。然后，解码器904将产生的视频数据输出到OSD 948，并将生成的音频数据输出到外部扬声器。
OSD 948再现从解码器947输入的视频数据并显示视频。OSD 948还可以将诸如菜单、按钮或光标的GUI的图像叠加到所显示的视频上。
控制单元949包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序以及程序数据。存储在存储器中的程序由CPU在记录/再现装置940启动时被读取，并被执行。通过执行程序，CPU例如根据从用户接口950输入的操作信号来控制记录/再现装置940的操作。
用户接口950连接到控制单元949。用户接口950例如包括按钮和用于用户操作记录/再现装置940的开关以及接收远程控制信号的接收部分。用户界面950通过这些组件检测用户操作以产生操作信号，并将所生成的操作信号输出到控制单元949。
在这样配置的记录/再现装置940中，编码器943具有根据上述实施例的编码装置10的功能。此外，解码器947具有根据上述实施例的解码装置60的功能。因此，记录/再现装置940可以降低在丢失或不存在编码信息之后的恢复期间发生传输延迟或其他解码失败的风险。
(4)第四应用实例
图25示出了应用了上述实施例的成像装置的示意性配置的示例。成像装置960对对象进行成像以生成图像，对图像数据进行编码，并将数据记录到记录介质中。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、媒体驱动器968、OSD 969、控制单元970、用户接口971和总线972。
光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口971连接到控制单元970。总线972将图像处理单元964、外部接口966、存储器967、媒体驱动器968、OSD 969和控制单元970互连。
光学块961包括聚焦透镜和光阑机构。光学块961在成像单元962的成像平面上形成物体的光学图像。成像单元962包括诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像传感器，并且执行光电转换，将形成在成像平面上的光学图像转换为图像信号作为电信号。然后，成像单元962将图像信号输出到信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行诸如膝盖校正(kneecorrection)、伽马校正和颜色校正的各种相机信号处理。信号处理单元963将已经进行了相机信号处理的图像数据输出到图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码，并生成编码数据。然后，图像处理单元964将生成的编码数据输出到外部接口966或媒体驱动器968。图像处理单元964还对从外部接口966或媒体驱动器968输入的编码数据进行解码以生成图像数据。然后，图像处理单元964将生成的图像数据输出到显示单元965。此外，图像处理单元964可以向显示单元965输出从信号处理单元963输入的图像数据，以使显示单元965显示图像。此外，图像处理单元964可以将从OSD 969获取的显示数据叠加到在显示单元965上输出的图像上。
OSD 969生成诸如菜单、按钮或光标的GUI的图像，并将生成的图像输出到图像处理单元964。
外部接口966例如被配置为USB输入/输出端子。例如，当打印图像时，外部接口966将成像装置960与打印机连接。此外，根据需要将驱动器连接到外部接口966。诸如磁盘或光盘的可移除介质例如被附接到驱动器，使得从可移除介质读取的程序可以被安装到成像装置960。外部接口966还可以被配置为连接到网络诸如LAN或因特网的网络接口。也就是说，外部接口966在成像装置960中具有作为传输装置的作用。
连接到媒体驱动器968的记录介质可以是可读写的任意可移除介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以固定地附接到媒体驱动器968，使得配置不可运输的存储单元诸如内置磁盘驱动器或固态驱动器(SSD)。
控制单元970包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序以及程序数据。存储在存储器中的程序由CPU在成像装置960的启动时读取，然后执行。通过执行程序，CPU根据例如从用户界面971输入的操作信号来控制成像装置960的操作。
用户接口971连接到控制单元970。例如，用户接口971包括用于操作成像装置960的用户的按钮和开关。用户界面971通过这些组件检测用户操作以产生操作信号，并将产生的操作信号输出到控制单元970。
在像这样构成的摄像装置960中，图像处理部964具有上述实施方式的编码装置10和解码装置60的功能。因此，成像装置960可以降低在丢失或不存在编码信息之后的恢复期间发生传输延迟或其他解码失败的风险。
<9.结论>
已经使用图1至图25详细描述了根据本公开的技术的实施例。根据上述实施方式，对包含在要编码的视频中的图像的多个瓦片中的一个或多个的部分区域进行图像设置，并且将针对部分区域内的瓦片将用于运动补偿的瓦片外参考设置为禁止。此外，在视频的编码流被传输到解码装置的情况下，在解码装置检测到编码信息的丢失或不存在时，传输受到限制，使得只有对应于部分区域内的瓦片的编码流被传输。也就是说，由于在需要恢复的情况下，传输区域不能保持为整个图像而是临时收缩到部分区域，因此可以使用内部瓦片来增加用于刷新的可用带宽以降低发生传输延迟或其他解码失败的风险。此外，由于错误不会在部分区域内从瓦片到瓦片传播，所以保证了在恢复期间视频内容的连续且稳定的解码和再现。此外，由于用于控制以跨瓦片的并行处理为目的而设计的参考关系的参数可以用来上述机制，与使用未提供相似参数的片段的技术相比，其可以更容易地来实现。
此外，根据上述实施例，由于丢失或不存在编码信息而变得不可解码的部分区域内的瓦片被编码为内部瓦片，并且对应于内部瓦片的编码流是在恢复期间传输。由于禁止参与外部参考，因此编码信息的丢失或不存在的影响将仅局限于信息直接丢失的瓦片。如果要被编码为内部瓦片的区域是这样的小区域，则还将抑制由使用内部瓦片的刷新引起的代码量的增加。
另外，根据上述实施例，在恢复期间，部分区域一瓦片一瓦片地逐渐扩展，并且与部分区域的新扩展部分对应的瓦片被编码为内部瓦片。因此，即使当网络带宽受限时，也可以在保持原始部分区域内的视频内容的稳定再现的同时，随着时间的推移实现整个图像的恢复。在传输被限制的时间内，也可以在根据传输带宽的可用性确定的任意时间扩展上述部分区域。因此，可以避免由于变化的图像内容而导致的代码量的增加和由于使用内部瓦片而导致的代码量增加的同时发生(否则会干扰实时性能或导致图像质量的劣化)。
此外，作为示例，当在恢复期间可解码的部分区域不是矩形时，可以在编码器处设置每个瓦片被显示或不被显示，使得在解码侧解码的图像使用标准参数被矩形地显示。在这种情况下，解码器可以仅通过根据标准规范的动作再现自然的矩形视频。
另外，根据上述实施例，部分区域可以预定义、由用户(在编码或解码侧)输入或基于视频的分析设置，作为用户级别或应用级别的关注区域。因此，在网络带宽受限的情况下，即使发生了诸如分组丢失的事件，也可以提供对关注区域给予更多重要性的稳定视频。
应当注意的是，虽然根据HEVC中使用的标准术语在本说明书中使用术语“瓦片”，但是根据本公开的技术的范围不受与其主题不相关的术语的含义的限制。根据未来的标准化或其他协议，可以使用意指能够使区域间参考关系得到控制的小区域(小于图像)的其他术语来代替“瓦片”。
这里主要描述的是将关于瓦片的信息插入编码流并从编码侧传输到解码侧的示例。然而，传输这些信息的方式不限于上述示例。例如，这样的信息可以作为与编码比特流相关联的单独数据被传输或记录，而不被复用到编码比特流。这里，术语“关联”是指当解码时允许包含在比特流中的图像与与图像相对应的信息链接。也就是说，可以在与图像(或比特流)不同的传输路径上传输信息。该信息也可以记录在与图像(或比特流)不同的记录介质(或相同记录介质的不同记录区域中)中。此外，信息和图像(或比特流)可以通过诸如多个帧、一个帧或帧内的部分的任意单元彼此相关联。
以上已经参考附图描述了本公开的优选实施例，而本公开不限于上述示例。本领域技术人员可以在所附权利要求的范围内发现各种改变和修改，并且应当理解，它们将自然地落入本公开的技术范围内。
此外，本说明书中描述的效果仅仅是示例性或示例性的效果，并不是限制性的。也就是说，根据本公开的技术或以上的效果，根据本公开的技术可以实现本领域技术人员从本说明书的描述中清楚的其他效果。
另外，本技术也可以如下配置。
(1)
一种编码装置，包括：
设置部，被配置为将包括在要编码的视频中的每个图像分割成多个瓦片，并且针对所述图像设置包括所述多个瓦片中的一个或多个瓦片的部分区域；
编码部，被配置为以每个瓦片为基础对每个图像进行编码以生成编码流；以及
传输控制部，被配置为控制所述编码流向解码所述视频的解码装置的传输，
其中所述设置部被配置为针对所述部分区域内的瓦片将用于运动补偿的瓦片外参考设置为禁止，并且
所述传输控制部被配置为在所述解码装置处检测到编码信息的丢失或不存在时限制传输，使得仅传输对应于所述部分区域内的瓦片的编码流。
(2)
根据(1)的编码装置，其中
所述编码部被配置为将所述部分区域内由于编码信息的丢失或不存在而变得不可解码的瓦片编码为内部瓦片，以及
在所述传输受限于所述传输控制部的时间期间，与所述内部瓦片相对应的编码流被传输到所述解码装置。
(3)
根据(1)或(2)所述的编码装置，其中
所述设置部被配置为在所述传输受限于所述传输控制部的时间期间一个瓦片一个瓦片地逐渐地扩展所述部分区域，并且
所述编码部被配置为将对应于所述部分区域的新扩展部分的瓦片编码为内部瓦片。
(4)
根据(3)的编码装置，其中，通过所述部分区域的逐渐扩展，所述部分区域之外的由于编码信息的丢失或不存在而变得不可解码的瓦片变得可解码。
(5)
根据(3)或(4)所述的编码装置，其中，所述设置部被配置为在所有瓦片通过所述部分区域的逐渐扩展变得可解码之后重新设置所述部分区域。
(6)
根据(3)至(5)中任一项所述的编码装置，其中，所述设置部被配置为在所述传输受限于所述传输控制部的时间期间，以基于传输带宽的可用性而动态地确定的时间扩展所述部分区域。
(7)
根据(3)至(6)中任一项所述的编码装置，其中，所述设置部被配置为在所述部分区域不是矩形的情况下，将每个瓦片设置为要显示或不要显示，使得由所述解码装置解码的图像被矩形地显示。
(8)
根据(1)至(7)中任一项所述的编码装置，其中，所述设置部被配置为基于预定义的区域信息或由用户输入的区域信息或者基于视频的分析来对所述图像设置所述部分区域。
(9)
根据(1)至(7)中任一项所述的编码装置，其中，所述设置部被配置为基于从所述解码装置接收到的区域信息来所述图像设置所述部分区域。
(10)
根据(1)至(9)中任一项所述的编码装置，其中，所述传输控制部被配置为在传输到所述解码装置的分组已经丢失的情况下检测所需编码信息的所述丢失。
(11)
根据(1)至(9)中任一项所述的编码装置，其中，所述传输控制部被配置为在已经请求所述视频的切入再现的情况下检测所需编码信息的所述不存在。
(12)
根据(1)至(11)中任一项所述的编码装置，其中，所述传输控制部被配置为还在基于所述视频的分析确定已经发生了场景变化的情况下，限制所述传输，使得仅对应于所述部分区域内的瓦片的编码流被传输。
(13)
根据(1)至(12)中任一项所述的编码装置，其中，
所述设置部被配置为针对所述图像设置第一部分区域和第二部分区域，所述第二部分区域小于所述第一部分区域，以及
所述传输控制部被配置为限制传输，使得在传输到所述解码装置的分组已经丢失的情况下，仅传输对应于所述第一部分区域内的瓦片的编码流，并且在已经请求视频的切入再现的情况下，仅传输对应于所述第二部分区域内的瓦片的编码流。
(14)
根据(1)至(13)中任一项所述的编码装置，其中，
所述编码部被配置为根据高效率视频编码(HEVC)方案对每个图像进行编码，以及
在补充增强信息(SEI)消息中包括指示针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被设置为禁止的参数。
(15)
一种在编码装置中控制视频到解码装置的传输的传输控制方法，所述方法包括：
将包括在要编码的视频中的每个图像分割成多个瓦片；
针对所述图像设置包括所述多个瓦片中的一个或多个瓦片的部分区域；
以每个瓦片为基础对每个图像进行编码以生成编码流；以及
控制所述编码流向解码所述视频的解码装置的传输，
其中，针对所述部分区域内的瓦片的运动补偿的瓦片外参考被设置为禁止；以及
在所述解码装置处检测到编码信息的丢失或不存在时，传输被限制，使得仅传输对应于所述部分区域内的瓦片的编码流。
(16)
一种解码装置，包括：
传输控制部，被配置为向编码装置提供关于包括要解码的视频中包括的图像的多个瓦片中的一个或多个瓦片的部分区域的区域信息，所述编码装置是所述视频的传输源；以及
解码部分，被配置为解码从所述编码装置接收的视频的编码流以获得所述视频，
其中，在正常操作中，接收与所述多个瓦片中的全部瓦片相对应的编码流，以及
在检测到所需的编码信息丢失或不存在时，仅与基于区域信息设置的部分区域内的瓦片相对应的编码流被接收，针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被禁止。
(17)
根据(16)的解码装置，其中
由于所述编码信息的丢失或不存在而变得不可解码的部分区域内的瓦片被编码为内部瓦片，以及
在所述编码流的传输目标被限制到所述部分区域的时间期间，从编码装置接收与所述内部瓦片相对应的流。
(18)
根据(16)或(17)所述的解码装置，还包括：
再现控制部，被配置为控制由所述解码部分解码的视频的再现，
其中所述再现控制部被配置为缩放所述部分区域的图像以适合帧大小，所述部分区域的图像在检测到所述编码信息的丢失或不存在时被部分解码。
(19)
一种在解码装置中控制来自编码装置的视频的传输的传输控制方法，所述方法包括：
向编码装置提供关于包括要解码的视频中包括的图像的多个瓦片中的一个或多个瓦片的部分区域的区域信息，所述编码装置是所述视频的传输源；以及
从所述编码装置接收所述视频的编码流；以及
解码所接收的编码流以获得所述视频，
其中，在正常操作中，接收与所述多个瓦片中的全部瓦片相对应的编码流，以及
在检测到所需的编码信息丢失或不存在时，仅与基于区域信息设置的部分区域内的瓦片相对应的编码流被接收，针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被禁止。
参考标记列表
1图像处理系统
10编码装置
12瓦片设置部
16无损编码部
17传输控制部
60解码装置
61传输控制部
62无损解码部
69再现控制部。

Claims (19)

1.一种编码装置，包括：
设置部，被配置为将包括在要编码的视频中的每个图像分割成多个瓦片，并且针对所述图像设置包括所述多个瓦片中的一个或多个瓦片的部分区域；
编码部，被配置为以每个瓦片为基础对每个图像进行编码以生成编码流；以及
传输控制部，被配置为控制所述编码流向解码所述视频的解码装置的传输，
其中所述设置部被配置为针对所述部分区域内的瓦片将用于运动补偿的瓦片外参考设置为禁止，并且
所述传输控制部被配置为在所述解码装置处检测到编码信息的丢失或不存在时限制所述传输，使得仅传输对应于所述部分区域内的瓦片的编码流。
2.根据权利要求1所述的编码装置，其中
所述编码部被配置为将所述部分区域内由于编码信息的所述丢失或所述不存在而变得不可解码的瓦片编码为内部瓦片，以及
在所述传输受限于所述传输控制部的时间期间，与所述内部瓦片相对应的编码流被传输到所述解码装置。
3.根据权利要求1所述的编码装置，其中
所述设置部被配置为在所述传输受限于所述传输控制部的时间期间一个瓦片一个瓦片地逐渐地扩展所述部分区域，并且
所述编码部被配置为将对应于所述部分区域的新扩展部分的瓦片编码为内部瓦片。
4.根据权利要求3所述的编码装置，其中，通过所述部分区域的所述逐渐扩展，所述部分区域之外的由于编码信息的丢失或不存在而变得不可解码的瓦片变得可解码。
5.根据权利要求3所述的编码装置，其中，所述设置部被配置为在所有瓦片通过所述部分区域的所述逐渐扩展变得可解码之后重新设置所述部分区域。
6.根据权利要求3所述的编码装置，其中，所述设置部被配置为在所述传输受限于所述传输控制部的时间期间，以基于传输带宽的可用性而动态地确定的时间扩展所述部分区域。
7.根据权利要求3所述的编码装置，其中，所述设置部被配置为在所述部分区域不是矩形的情况下，将每个瓦片设置为要显示或不要显示，使得由所述解码装置解码的图像被矩形地显示。
8.根据权利要求1所述的编码装置，其中，所述设置部被配置为基于预定义的区域信息或由用户输入的区域信息或者基于所述视频的分析来对所述图像设置所述部分区域。
9.根据权利要求1所述的编码装置，其中，所述设置部被配置为基于从所述解码装置接收到的区域信息对所述图像设置所述部分区域。
10.根据权利要求1所述的编码装置，其中，所述传输控制部被配置为在传输到所述解码装置的分组已经丢失的情况下检测所需编码信息的所述丢失。
11.根据权利要求1所述的编码装置，其中，所述传输控制部被配置为在已经请求所述视频的切入再现的情况下检测所需编码信息的所述不存在。
12.根据权利要求1所述的编码装置，其中，所述传输控制部被配置为还在基于所述视频的分析确定已经发生了场景变化的情况下，限制所述传输，使得仅对应于所述部分区域内的瓦片的编码流被传输。
13.根据权利要求1所述的编码装置，其中，
所述设置部被配置为针对所述图像设置第一部分区域和第二部分区域，所述第二部分区域小于所述第一部分区域，以及
所述传输控制部被配置为限制所述传输，使得在传输到所述解码装置的分组已经丢失的情况下，仅传输对应于所述第一部分区域内的瓦片的编码流，并且在已经请求所述视频的切入再现的情况下，仅传输对应于所述第二部分区域内的瓦片的编码流。
14.根据权利要求1所述的编码装置，其中
所述编码部被配置为根据高效率视频编码(HEVC)方案对每个图像进行编码，以及
在补充增强信息(SEI)消息中包括指示针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被设置为禁止的参数。
15.一种在编码装置中控制视频到解码装置的传输的传输控制方法，所述方法包括：
将包括在要编码的视频中的每个图像分割成多个瓦片；
针对所述图像设置包括所述多个瓦片中的一个或多个瓦片的部分区域；
以每个瓦片为基础对每个图像进行编码以生成编码流；以及
控制所述编码流向解码所述视频的解码装置的传输，
其中，针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被设置为禁止；以及
在所述解码装置处检测到编码信息的丢失或不存在时，所述传输被限制，使得仅传输对应于所述部分区域内的瓦片的编码流。
16.一种解码装置，包括：
传输控制部，被配置为向编码装置提供关于包括要解码的视频中包括的图像的多个瓦片中的一个或多个瓦片的部分区域的区域信息，所述编码装置是所述视频的传输源；以及
解码部分，被配置为解码从所述编码装置接收的视频的编码流以获得所述视频，
其中，在正常操作中，接收与所述多个瓦片中的全部瓦片相对应的编码流，以及
在检测到所需的编码信息丢失或不存在时，仅与基于所述区域信息设置的所述部分区域内的瓦片相对应的编码流被接收，针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被禁止。
17.根据权利要求16所述的解码装置，其中
由于所述编码信息的所述丢失或所述不存在而变得不可解码的所述部分区域内的瓦片被编码为内部瓦片，以及
在所述编码流的传输目标被限制到所述部分区域的时间期间，从所述编码装置接收与所述内部瓦片相对应的流。
18.根据权利要求16所述的解码装置，还包括：
再现控制部，被配置为控制由所述解码部分解码的视频的再现，
其中所述再现控制部被配置为缩放所述部分区域的图像以适合帧大小，所述部分区域的所述图像在检测到所述编码信息的所述丢失或所述不存在时被部分解码。
19.一种在解码装置中控制来自编码装置的视频的传输的传输控制方法，所述方法包括：
向编码装置提供关于包括要解码的视频中包括的图像的多个瓦片中的一个或多个瓦片的部分区域的区域信息，所述编码装置是所述视频的传输源；以及
从所述编码装置接收所述视频的编码流；以及
解码所接收的编码流以获得所述视频，
其中，在正常操作中，接收与所述多个瓦片中的全部瓦片相对应的所述编码流，以及
在检测到所需的编码信息的丢失或不存在时，仅与基于所述区域信息设置的所述部分区域内的瓦片相对应的编码流被接收，针对所述部分区域内的瓦片用于运动补偿的瓦片外参考被禁止。
CN201680034998.4A 2015-06-24 2016-03-22 编码装置、解码装置和传输控制方法 Active CN107683605B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015126486 2015-06-24
JP2015-126486 2015-06-24
PCT/JP2016/058940 WO2016208241A1 (ja) 2015-06-24 2016-03-22 符号化装置、復号装置及び伝送制御方法

Publications (2)

Publication Number Publication Date
CN107683605A true CN107683605A (zh) 2018-02-09
CN107683605B CN107683605B (zh) 2021-12-03

Family

ID=57585466

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680034998.4A Active CN107683605B (zh) 2015-06-24 2016-03-22 编码装置、解码装置和传输控制方法

Country Status (4)

Country Link
US (2) US10609419B2 (zh)
JP (2) JP6642573B2 (zh)
CN (1) CN107683605B (zh)
WO (1) WO2016208241A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10999602B2 (en) 2016-12-23 2021-05-04 Apple Inc. Sphere projected motion estimation/compensation and mode decision
US11259046B2 (en) 2017-02-15 2022-02-22 Apple Inc. Processing of equirectangular object data to compensate for distortion by spherical projections
US10924747B2 (en) 2017-02-27 2021-02-16 Apple Inc. Video coding techniques for multi-view video
US10764575B2 (en) 2017-03-03 2020-09-01 Qualcomm Incorporated Coding MCTS-nested SEI messages to exclude other SEI messages that are not MCTS-nested
US11093752B2 (en) 2017-06-02 2021-08-17 Apple Inc. Object tracking in multi-view video
GB2569107B (en) * 2017-11-29 2022-04-06 Displaylink Uk Ltd Managing display data
TW201944778A (zh) * 2018-04-09 2019-11-16 晨星半導體股份有限公司 幀內預測模式決定裝置與幀內預測模式決定方法
US11758132B2 (en) * 2018-12-28 2023-09-12 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Encoder and decoder, encoding method and decoding method with complexity handling for flexibly sized picture partitions
TW202147850A (zh) * 2020-05-01 2021-12-16 美商Ｏｐ解決方案公司 用於組合無損和有損寫碼之方法和系統
EP4300957A1 (en) * 2022-06-30 2024-01-03 Nokia Technologies Oy A method, an apparatus and a computer program product for implementing gradual decoding refresh

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080055314A1 (en) * 2006-09-05 2008-03-06 Gerard Ziemski Pillarboxing correction
CN102946533A (zh) * 2011-09-02 2013-02-27 斯凯普公司 视频编码
CN103430545A (zh) * 2010-12-21 2013-12-04 英特尔公司 用于高效视频编码的内容适应性运动补偿滤波
WO2014045507A1 (ja) * 2012-09-19 2014-03-27 日本電気株式会社 動画像符号化装置
CN103718553A (zh) * 2011-08-11 2014-04-09 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN103733615A (zh) * 2011-05-04 2014-04-16 凯为公司 用于端到端编码的视频传输系统的按需内部更新
CN103947213A (zh) * 2011-10-28 2014-07-23 高通股份有限公司 瓦片边界上的环路滤波控制
CN104094604A (zh) * 2012-01-20 2014-10-08 松下电器（美国）知识产权公司 使用时间运动矢量预测对视频进行编码和解码的方法和装置
US20140301464A1 (en) * 2013-04-08 2014-10-09 Microsoft Corporation Control data for motion-constrained tile set
CN104170384A (zh) * 2012-06-25 2014-11-26 索尼公司 图像解码设备、图像解码方法、图像编码设备和图像编码方法
CN104221381A (zh) * 2012-04-11 2014-12-17 高通股份有限公司 用于视频译码的波前并行处理

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3450384B2 (ja) 1993-09-20 2003-09-22 株式会社東芝 動画像符号化装置
JPH0795588A (ja) 1993-09-20 1995-04-07 Toshiba Corp 動画像符号化装置
JP3630474B2 (ja) 1995-07-14 2005-03-16 沖電気工業株式会社 動画像伝送システム及び動画像伝送装置
JP3927422B2 (ja) 2002-02-27 2007-06-06 株式会社メガチップス 動画像送受信システム、動画像送受信方法及びそれらのプログラム
US8406296B2 (en) 2008-04-07 2013-03-26 Qualcomm Incorporated Video refresh adaptation algorithms responsive to error feedback
US9258541B2 (en) * 2010-08-17 2016-02-09 Lg Electronics Inc. Apparatus and method for receiving digital broadcasting signal
US8532464B2 (en) * 2010-11-08 2013-09-10 Deluxe Digital Studios, Inc. Methods and systems for use in controlling playback of content in relation to recorded content
US20120287987A1 (en) * 2011-05-13 2012-11-15 Madhukar Budagavi Coding of Scene Changes Using Picture Dropping
GB2495468B (en) 2011-09-02 2017-12-13 Skype Video coding
KR102107270B1 (ko) 2013-07-15 2020-05-06 소니 주식회사 상호작용성을 위한 모션-구속된 타일 세트들 sei 메시지의 확장들
JP2015106747A (ja) 2013-11-28 2015-06-08 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
JP6338429B2 (ja) * 2014-04-15 2018-06-06 キヤノン株式会社 被写体検出装置、被写体検出方法及びプログラム
US9800898B2 (en) * 2014-10-06 2017-10-24 Microsoft Technology Licensing, Llc Syntax structures indicating completion of coded regions
US9866789B2 (en) * 2015-02-25 2018-01-09 Echostar Technologies L.L.C. Automatic program formatting for TV displays

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080055314A1 (en) * 2006-09-05 2008-03-06 Gerard Ziemski Pillarboxing correction
CN103430545A (zh) * 2010-12-21 2013-12-04 英特尔公司 用于高效视频编码的内容适应性运动补偿滤波
CN103733615A (zh) * 2011-05-04 2014-04-16 凯为公司 用于端到端编码的视频传输系统的按需内部更新
CN103718553A (zh) * 2011-08-11 2014-04-09 松下电器产业株式会社 图像编码方法、图像解码方法、图像编码装置、图像解码装置及图像编码解码装置
CN102946533A (zh) * 2011-09-02 2013-02-27 斯凯普公司 视频编码
CN103947213A (zh) * 2011-10-28 2014-07-23 高通股份有限公司 瓦片边界上的环路滤波控制
CN104094604A (zh) * 2012-01-20 2014-10-08 松下电器（美国）知识产权公司 使用时间运动矢量预测对视频进行编码和解码的方法和装置
CN104221381A (zh) * 2012-04-11 2014-12-17 高通股份有限公司 用于视频译码的波前并行处理
CN104170384A (zh) * 2012-06-25 2014-11-26 索尼公司 图像解码设备、图像解码方法、图像编码设备和图像编码方法
WO2014045507A1 (ja) * 2012-09-19 2014-03-27 日本電気株式会社 動画像符号化装置
US20140301464A1 (en) * 2013-04-08 2014-10-09 Microsoft Corporation Control data for motion-constrained tile set

Also Published As

Publication number Publication date
JPWO2016208241A1 (ja) 2018-04-19
JP6860061B2 (ja) 2021-04-14
US11297354B2 (en) 2022-04-05
US10609419B2 (en) 2020-03-31
JP6642573B2 (ja) 2020-02-05
US20200204831A1 (en) 2020-06-25
WO2016208241A1 (ja) 2016-12-29
US20180176603A1 (en) 2018-06-21
JP2020065285A (ja) 2020-04-23
CN107683605B (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
JP6860061B2 (ja) 復号装置及び復号方法
JP6780761B2 (ja) 画像符号化装置および方法
US10924735B2 (en) Image processing apparatus and image processing method
TWI749530B (zh) 資訊處理設備及資訊處理方法
US10965943B2 (en) Image processing apparatus and image processing method
RU2639250C2 (ru) Устройство обработки изображения и способ обработки изображения
RU2690439C2 (ru) Устройство и способ кодирования изображений и устройство и способ декодирования изображений
US11095889B2 (en) Image processing apparatus and method
TWI684351B (zh) 解碼裝置、解碼方法、編碼裝置，以及編碼方法
US10362305B2 (en) Image processing device, image processing method, and recording medium
KR20200053645A (ko) 텔레비전 장치, 휴대 전화기, 재생 장치, 카메라 및 신호 처리 방법
WO2017094298A1 (ja) 画像処理装置、画像処理方法及びプログラム
TW201301901A (zh) 圖像處理裝置及圖像處理方法
US20190020877A1 (en) Image processing apparatus and method
JP6711353B2 (ja) 画像処理装置および画像処理方法
JP2014207536A (ja) 画像処理装置および方法
US20190132590A1 (en) Image processing device and method
JP2013074416A (ja) 画像処理装置および方法
US20180316914A1 (en) Image processing apparatus and method
WO2015059973A1 (ja) 画像処理装置及び画像処理方法
CN110036642A (zh) 图像处理设备和方法
CN104854869A (zh) 图像处理装置及方法
BR122015004025B1 (pt) dispositivo e método de processamento de imagem

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant