CN105324999A - 编码装置、传输装置以及接收装置 - Google Patents

Abstract

本发明能够在传送具有帧速率切换部分的视频数据时容易确保在接收侧上的显示连续性。生成具有从在第一序列内的编码图像数据切换成在具有与所述第一序列的帧速率不同的帧速率的第二序列内的编码图像数据的部分的视频数据。编码该视频数据，以便在第一序列内的编码图像数据的最后图片的显示结束定时和在第二序列内的编码图像数据的第一图片的显示开始定时是相同的定时。

Description

编码装置、传输装置以及接收装置

技术领域

本技术涉及一种编码装置、一种传输装置以及一种接收装置，并且尤其地，涉及一种生成具有帧速率切换部分的视频数据的编码装置等。

背景技术

例如，当前广播服务的帧速率被设置为29.97Hz。然而，存在在未来也提供采用另一个帧速率的广播服务的可能性(例如，参照专利文献1)。在这种情况下，还考虑在数据的中间分配具有帧速率切换部分的视频数据的情况。

引用列表

专利文献

专利文献1：JP2011-172164A

发明内容

技术问题

本技术的一个目标在于，在分配具有帧速率切换部分的视频数据时，使接收侧能够容易地确保显示连续性。

问题的解决方案

本技术的一个概念在于一种传输装置，包括：图像编码单元，被配置为生成视频数据，所述视频数据具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分；以及传输单元，被配置为传输包括所生成的视频数据的具有预定格式的容器。所述图像编码单元以将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式进行编码。

在本技术中，生成具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分的视频数据。在这种情况下，在图像编码单元中，以将第一序列的编码图像数据的最后图片的显示结束定时被设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式，进行编码。

传输单元传输包括上述视频数据的具有预定格式的容器。例如，容器可以是用于数字广播标准内的传输流(MPEG-2TS)。此外，例如，容器可以是用于在互联网等上的分配的MP4或者是具有除了这些格式以外的格式的容器。

如上所述，在本技术中，以将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式进行编码。因此，例如，接收侧可以容易地确保第一序列与第二序列之间的显示连续性。

例如，在本技术中，图像编码单元可以以第一序列的编码图像数据和第二序列的编码图像数据从解码到显示具有相同数量的延迟图片的方式进行编码。通过以这种方式进行编码，例如，接收侧可以避免缓冲失败。

例如，在本技术中，图像编码单元可以以在通过将第一序列的编码图像数据的一个图片的时间间隔加上第一序列的编码图像数据的最后图片的解码定时所获得的定时处设置第二序列的编码图像数据的第一图片的解码定时的方式，来进行编码。通过以这种方式进行编码，例如，接收侧可以容易确保第一序列和第二序列的解码定时的连续性，并且可以很好地避免较晚读取第二序列的第一图片。

例如，在本技术中，可以进一步包括信息插入单元，其被配置为将表示帧速率是否存在变化的信息插入所述视频数据的每个图片的每条编码图像数据内。在这种情况下，例如，在所述信息表示帧速率存在变化时，可以将表示变化的帧速率的值的信息加入上述信息中。通过以这种方式插入信息，接收侧可以容易确定从第一序列到第二序列的变化点。

例如，在本技术中，可以进一步包括信息插入单元，其被配置为将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入包含所述视频数据的数据包内。在这种情况下，例如，信息插入单元可以将通知信息插入在其有效载荷内包含每个图片的编码图像数据的PES数据包的扩展字段内。通过以这种方式插入信息，接收侧可以容易确定从第一序列到第二序列的变化。

在这种情况下，例如，所述通知信息可以包括表示在解码时间的值的变化中是否存在不连续性的信息。然后，例如，在所述信息表示存在不连续性时，可以将在发生不连续性的图片之前的图片的数量的倒计数值加入所述信息中。

此外，在这种情况下，例如，所述通知信息可以包括表示是否切换每个图片的显示时间间隔的信息。然后，例如，在所述信息表示切换时，可以将在所述切换之前的图片的数量的倒计数值加入上述信息中。

例如，在本技术中，可以进一步包括信息插入单元，其被配置为将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入所述容器的层内。例如，这种情况下，所述通知信息可以包括关于第一序列的帧速率和第二序列的帧速率的信息。通过以这种方式插入信息，接收侧可以容易确定从第一序列到第二序列的变化。

本技术的另一个概念是一种接收装置，包括接收单元，其被配置为接收包括视频数据的具有预定格式的容器，所述视频数据具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分。以将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式，编码所述视频数据。所述接收装置进一步包括图像解码单元，其被配置为解码包含在所接收的容器内的视频数据，以获得在所述第一序列与所述第二序列之间保持显示连续性的图像数据。

在本技术中，接收单元接收具有预定格式的容器。这个容器包括视频数据，所述视频数据具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分。此外，图像解码单元解码包含在所接收的容器内的视频数据，并且获得在所述第一序列与所述第二序列之间保持显示连续性的图像数据。

在本文中，以将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式，编码所述视频数据。因此，可以容易地确保在第一序列与第二序列之间的显示连续性。

例如，在本技术中，在相同定时之前，图像解码单元可以在与第一序列的每个图片的编码图像数据的解码定时同步的定时处解码第二序列的每个图片的编码图像数据。在这种情况下，可以避免同时生成两个异步垂直同步信号的实现方式。

例如，在本技术中，可以将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入包含所述视频数据的数据包以及所述容器的层中的至少一个内。可以基于所述通知信息，控制所述图像解码单元的处理。

本技术的另一个概念是一种接收装置，包括：接收单元，被配置为接收具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分的视频数据；以及处理单元，被配置为处理所接收的视频数据。以将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式，来编码所述视频数据。

在本技术中，接收单元接收具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分的视频数据。此外，处理单元处理所接收的视频数据。

在这种情况下，以将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式，编码所述视频数据。因此，可以容易地确保在第一序列与第二序列之间的显示连续性。

例如，可以以第一序列的编码图像数据和第二序列的编码图像数据从解码到显示具有相同数量的延迟图片的方式，编码该视频数据。此外，例如，可以在通过将第一序列的编码图像数据的一个图片的时间间隔加上第一序列的编码图像数据的最后图片的解码定时所获得的定时处，设置第二序列的编码图像数据的第一图片的解码定时的方式，编码所述视频数据。

本发明的有利效果

根据本技术，接收侧可以容易确保显示连续性。应注意的是，在本文中描述的效果不必具有限制性，并且可以表现出在本公开中描述的任何效果。

附图说明

[图1]是示出实施方式的传输和接收系统的配置实例的框图；

[图2]是示出传输装置的配置实例的框图；

[图3]是示出用于确保显示连续性的编码器的HRD控制的实例的示图；

[图4]是示出编码器的HRD控制的一个实例的示图；

[图5]是示出插入时间更新信息(temporalrefreshinformation)SEI的接口的一个结构实例以及“temporal_refresh_information()”的结构实例的示图；

[图6]是示出“temporal_refresh_information()”的结构实例的主要信息的内容的示图；

[图7]是示出编码器的配置实例的框图；

[图8]是示出编码器的处理流程的实例的示图；

[图9]是示出PES扩展字段数据(pes_extension_field_data)的一个结构实例及其主要信息的内容的示图；

[图10]是示出时间不连续性信息“temporal_discontinuity_information()”的结构实例的示图；

[图11]是示出时间不连续性信息“temporal_discontinuity_information()”的结构实例的主要信息的内容的示图；

[图12]是示出关于在从第一序列(序列A)切换到第二序列(序列B)时显示连续性的信息的转换的实例的示图；

[图13]是示出视频参数描述符“Video_parameter_descriptor”的结构实例的示图；

[图14]是示出视频参数描述符“Video_parameter_descriptor”的结构实例的主要信息的内容的示图；

[图15]是示出多路复用器的配置实例的框图；

[图16]是示出多路复用器的处理流程的实例的示图；

[图17]是示出传输流TS的配置实例的示图；

[图18]是示出接收装置的配置实例的框图；

[图19]是示出多路分用器(demultiplexer)的配置实例的框图；

[图20]是示出多路分用器的处理流程的实例的示图；

[图21]是示出解码器的配置实例的框图；

[图22]是用于描述垂直同步信号Vsync的切换定时的实例的示图；

[图23]是用于描述垂直同步信号Vsync的切换定时的另一个实例的示图；

[图24]是示出用于确保显示连续性和解码连续性的编码器的HRD控制的实例的示图。

具体实施方式

在后文中，描述用于实现本技术的实施方式(在后文中称为“实施方式”)。要注意的是，按照以下顺序提供描述。

1、实施方式

2、变形实例

<1、实施方式>

[传输和接收系统]

图1示出传输和接收系统10的配置实例作为实施方式。该传输和接收系统10被配置为具有传输装置100和接收装置200。

传输装置100通过使在广播波上承载流，来传输作为容器(container)的传输流TS。该传输流TS包括具有帧速率切换部分(framerateswitchpart)的视频流，即，从第一序列的编码图像数据切换到具有与第一序列不同的帧速率的第二序列的编码图像数据的部分。

例如，假设执行H.264/AVC、H.265/HEVC等的编码。在本文中，进行编码，以便将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时。因此，例如，接收侧可以容易地确保第一序列与第二序列之间的显示连续性。

将表示帧速率是否存在变化的信息插入视频流的每个图片的编码图像数据内。因此，例如，接收侧可以容易确定从第一序列到第二序列的变化点。

此外，将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入包含所述视频流的数据包内，例如，插入PES数据包内。此外，将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入容器的层内，即，传输流的层。因此，例如，接收侧可以容易确定从第一序列到第二序列的变化。

接收装置200从传输装置100中接收通过在广播波上承载的上述传输流TS。接收装置200解码包含在传输流TS内的视频流，以获得图像数据。如上所述，编码视频流，使得将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时。因此，获得在第一序列与第二序列之间具有显示连续性的图像数据。

在本文中，将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入到包含视频流的数据包和容器的层中的至少一个内。基于该通知信息，控制图像解码处理。例如，基于该通知信息，确定从第一序列到第二序列的切换部分，并且执行从与第一序列的编码图像数据同步的垂直同步信号到与第二序列的编码图像数据同步的垂直同步信号的切换。

此外，在上述相同定时之前，在与第一序列的每个图片的编码图像数据的解码定时同步的定时处，解码第二序列的每个图片的编码图像数据。因此，例如，可以避免同时生成两个异步垂直同步信号的实现方式。

[传输装置的配置]

图2示出传输装置100的配置实例。传输装置100具有中央处理单元(CPU)101、编码器102、压缩数据缓冲器(编码图片缓冲器或cpb)103、多路复用器104以及传输单元105。CPU101是控制单元，其控制传输装置100的每个单元的操作。

编码器102接收未压缩的图像数据的输入，并且对其执行编码。例如，编码器102以H.264/AVC、H.265/HEVC等进行编码。在这个实施方式中，以切换的方式将具有不同的帧速率的未压缩的图像数据输入至编码器102。因此，编码器102生成具有帧速率切换部分，即，从第一序列的编码图像数据切换到具有不同的帧速率的第二序列的编码图像数据的部分，的视频流(视频数据)。

在本文中，编码器102进行编码，使得将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时。

图3示出编码器102的假设参考解码器(HRD)控制的配置实例。阶梯形实线a表示在编码时生成的数据量的进度，并且每一阶对应于一个图片单元。每阶的高度表示在编码时生成的数据量。

定时P0表示第一序列(序列A)的第一图片的编码图片数据的第一字节进入编码图片缓冲器(cpd或压缩数据缓冲器)的定时。定时P1表示第一序列的最后图片的编码图片数据的第一字节进入cpd内的定时。定时P2表示第一序列的最后图片的编码图片数据的最后字节进入cpd内并且第二序列(序列B)的第一图片的编码图片数据的第一字节进入cpd内的定时。

此外，Ra表示第一序列的第一图片的编码图像数据至cpd内的输入位速率。在本文中，在第一序列的第一图片的编码图片数据的数据量被设置为Qa并且假设数据输入到cpd中用时为Ta时，Ra＝Qa/Ta。在示例性实例中，示出了第一序列的其他图片的编码图像数据至cpd内的输入位速率也被设置为Ra的情况。

此外，Rb表示第二序列的第一图片的编码图片数据至cpd内的输入位速率。在本文中，在第二序列的第一图片的编码图片数据的数据量被设置为Qb并且将数据输入cpd内用时Tb时，Rb＝Qb/Tb。在示出的实例中，示出了第二序列的其他图片的编码图像数据至cpd内的输入位速率也被设置为Rb的情况。应注意的是，尽管Ra和Rb示出了恒定的位速率(constant_bit_rate)的实例，但是这不限于此，并且相同的方法适用于可变位速率(variable_bit_rate)的情况。

阶梯形实线b表示在解码时消耗的数据量的进度，并且每个阶梯对应于一个图片单元。每个阶梯的高度表示在解码时消耗的数据量。Qcpb表示cpd的占有量。执行编码，使得占有量在任何定时满足在cpb的尺寸(内存容量)内。

在示出的实例中，第一序列由4个图片构成，这些图片按照a0、a1、a2以及a3的顺序解码并且按照a0、a2、a3以及a1的顺序显示。在这种情况下，每个解码的图片的图像数据被输入至解码的图片缓冲器(dpb或未压缩的数据缓冲器)中。在这个实例中，在解码第一序列之后直至其显示开始的延迟的图片的数量被设置为2。

以对应于其帧速率(帧频率)的时间间隔，在垂直同步信号(Vsync)的定时处，解码和显示第一序列的每个图片。例如，在定时Ta(0)、Ta(1)、Ta(2)以及Ta(3)处，解码图片a0、a1、a2以及a3，并且在定时Ta(2)、Ta(3)、Ta(4)以及Ta(5)处，开始图片a0、a2、a3以及a1的显示。

第二序列由6个图片构成，这些图片按照b0、b1、b2、b3、b4和b5的顺序解码并且按照b1、b2、b0、b4、b5和b3的顺序显示。在这种情况下，每个解码的图片的编码数据被输入至dpb。在这个实例中，在解码第二序列之后直至其显示开始的延迟的图片的数量被设置为2，与第一序列一样。因此，避免缓冲失败。

以对应于其帧速率(帧频率)的时间间隔，在垂直同步信号(Vsync)的定时处，解码和显示第二序列的每个图片。例如，在定时Tb(0)、Tb(1)、Tb(2)、Tb(3)、Tb(4)和Tb(5)处，解码图片b0、b1、b2、b3、b4以及b5，并且在定时Tb(2)、Tb(3)、Tb(4)、Tb(5)、Tb(6)和Tb(7)处，开始图片b1、b2、b0、b4、b5以及b3的显示。

在这个实例中，第一序列的最后图片的显示结束定时与第二序列的第一图片的显示开始定时相同。即，定时Ta(6)设置为与定时Tb(2)相同的定时。从而，确保在第一序列与第二序列之间的显示连续性。

此时，解码第二序列的第一图片的定时(Tb(0))是从第二序列的第一图片的前导字节开始在压缩数据缓冲器(cpb)内累积的定时(P2)延迟“Initial_cpb_removal_delayB”的定时。如果定时(Tb(0))设置为比定时(Ta(4))更晚，那么避免较晚读取第二序列的第一图片。

图4也示出HRD控制的实例。这个实例是与在图3中示出的上述HRD控制的比较实例。在这个实例中，解码第二序列的第一图片的定时(Tb(0))被设置为与通过将第二序列的一个帧的周期加上解码第一序列的最后图片的定时(Ta(3))所获得的定时(Ta(4))相同的定时。

在这种情况下，尽管确保了第一序列和第二序列的解码定时的连续性，但是在显示中没有连续性。换言之，第一序列的最后图片的显示结束定时(Ta(6))偏离第二序列的第一图片的显示开始定时(Tb(4))。在这种情况下，需要将第一序列的最后图片的显示延迟为直接位于由P4示出的定时(Tb(4))之前。

此外，编码器102插入表示视频流的每个图片的编码图像数据的帧速率是否存在变化的信息。编码器102插入时间更新信息SEI(temporal_refresh_informationSEI)，其将该信息最近限定为一个前缀SEI(Prefix_SEI)。

图5(a)示出用于插入时间更新信息SEI的接口(I/F)的一个结构实例(语法)。字段“uuid_iso_iec_11578”具有由“ISO/IEC11578:1996AnnexA”表示的UUID值。将“temporal_refresh_information()”插入字段“user_data_payload_byte”内。

图5(b)示出“temporal_refresh_information()”的结构实例(语法)。图6示出该结构实例的主要信息的内容(语义)。在16位字段“userdata_id”中给出预定用户数据的ID。8位字段“temporal_refresh_information_length”表示“temporal_refresh_information()”的字节数(从与这个元素相邻的元素开始计算)。

1位字段“temporal_timing_discontinuity_flag”是表示在显示定时信息和时间戳内发生不连续性的标志。“1”表示发生不连续性。“0”表示未发生不连续性。在标志是“1”时，显示8位字段“num_unit_in_tick”和8位字段“times_scale”。

8位字段“num_unit_in_tick”是表示相应片或图片的显示周期的块(block)的数量。8位字段“times_scale”表示定时信息标度值。在本文中，通过计算“times_scale”和“num_unit_in_tick”，可以获得帧速率(帧频率)。

图7示出编码器102的配置实例。该编码器102具有缓冲延迟控制单元122、假设参考解码器(hypotheticalreferencedecoder，HRD)设置单元123、参数组/SEI编码单元124、片编码单元(hypotheticalreferencedecoder)125以及NAL包格式化单元(NALpacketizingunit)126。

缓冲延迟控制单元122计算作为序列的缓冲的初始值的“initial_cpb_removal_delay”以及在切换之前和之后按时间顺序设置的序列的每个图片的“cpb_removal_delay”和“dpb_output_delay”。在这种情况下，为了确保两个序列之间的显示的连续连接关系，控制这两个序列的“dpb_output_delay”和“cpb_removal_delay”，使得前一个序列的最后图片的dpb缓冲输出与后一个序列的第一图片的dpb缓冲输出在定时序列上连续(见图3)。

“初始cpb去除时间”表示在解码cpb(压缩数据缓冲器)的图片组(GOP)的前导图片的编码图像数据时花费的时间(初始时间)。“cpb_removal_delay”是从cpb中挑出每个图片的编码图像数据的时间，以及根据“initial_cpb_removal_time”决定解码每个图片的时间。此外，“dpb_output_delay”表示在解码之后从进入dpb(未压缩的数据缓冲器)到取出数据的时间。

HRD设置单元123基于由缓冲延迟控制单元122计算的“初始cpb去除时间”、“cpb_removal_delay”以及“dpb_output_delay”的信息，执行HRD设置。除了参数组(例如，视频参数组(VPS)和序列参数组(SPS))以外，参数组/SEI编码单元124还基于HRD设置等生成SEI。

例如，生成包括“cpb_removal_delay”和“dpb_output_delay”的图片定时SEI。此外，例如，生成包括“initial_cpb_removal_time”的缓冲周期SEI。此外，例如，生成时间更新信息SEI(temporal_refresh_informationSEI)，其如上所述阐明切换定时。

片编码单元125通过编码每个图片的图像数据，获得片数据(片段报头和片段数据)。片编码单元125将“ref_idx_l0_active”(ref_idx_l1_active)(其表示作为“预测单元”的预测目的地的图片的索引)作为表示使用帧缓冲器的定时方向预测的状态的信息插入“片段报头”内。因此，在解码期间，决定参考源图片。此外，片编码单元125将当前片的索引作为“short_term_ref_pic_set_idx”或“it_idx_sps”插入“片段报头”内。

NAL包格式化单元126基于由参数组/SEI编码单元124生成的参数组和SEI以及由片编码单元125生成的片数据，生成每个图片的编码图像数据，并且输出视频流(编码流)。

图8示出编码器102的处理流程。编码器102在步骤ST1中开始处理，然后，移动到步骤ST2的处理。在该步骤ST2中，编码器102检查要编码的动态序列的参数。该参数也包括帧速率(帧频率)。

然后，编码器102在步骤ST3中确定在序列中的帧速率是否存在变化。在帧速率中存在变化时，编码器102前进到处理或步骤ST4。在步骤ST4中，编码器管理在变化点之前和之后缓冲输入和输出定时。

在这种情况下，满足以下表达式(1)。

T_2(first_presentation)＝T_1(last_presentation)+1*(T_1temporaldisctance)…(1)

在本文中，“T_2(first_presentation)”表示第二序列的第一图片的显示开始定时。“T_1(last_presentation)”表示第一序列的最后图片的显示开始定时。“(T_1temporaldisctance)”表示在垂直同步信号之间的时间间隔，即，第一序列的帧周期。

在步骤ST4的处理之后，编码器102前进至步骤ST5的处理。在上面描述的步骤ST3中，帧速率没有变化时，编码器102直接移动到步骤ST5的处理。在该步骤ST5中，编码器102在所有图片(片)中执行HRD管理，执行片、参数组、SEI等的编码，然后，以NAL数据包配置流。然后，在步骤ST6中，编码器102完成处理。

返回图2，压缩的数据缓冲器(cpb)103暂时累积包括由编码器102生成的每个图片的编码数据的视频流。多路复用器104读取在压缩的数据缓冲器103内累积的视频流，将视频流制成PES数据包，进一步将视频流制成传输数据包并且多路复用它们，从而获得传输流TS，作为多路复用流。

多路复用器104将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入包含视频数据的数据包内，例如，PES数据包内。在这个实施方式中，PES数据包的PES扩展字段内，限定时间不连续性信息(temporal_discontinuity_information)。

该时间不连续性信息包括表示在解码定时的值的变化中是否存在不连续性的信息，并且在所述信息表示存在不连续性时，将在发生不连续性的图片之前的图片的数量的倒计数值(count-downvalue)加入该信息中。此外，该时间不连续性信息包括表示是否切换每个图片的显示时间间隔的信息，并且在所述信息表示切换时，将在所述切换之前的图片的数量的倒计数值加入所述信息中。

图9(a)示出PES扩展字段数据(pes_extension_field_data)的结构实例(语法)。图9(b)示出在该结构信息内的主要信息的内容(语义)。应注意的是，假设在语法结构的外面提供“PES_extension字段长度”。8位字段“start_sync_byte”表示代码值，其表示扩展字段的开始。

8位字段“extension_field_type”表示扩展字段的类型。“0×01”表示“temporal_discontinuity_information”的类型，即，供应访问单元(图片)的定时不连续性的信息的结构。在扩展字段的类型是“0×01”时，时间不连续性信息(temporal_discontinuity_information)被插入“data_byte”的字段内。

图10示出时间不连续性信息“temporal_discontinuity_information()”的结构实例(语法)。图11示出结构实例的主要信息的内容(语义)。

1位字段“decode_time_discontinuity_flag”是表示在解码时间(或者解码时间戳)的值的变化中是否存在不连续性的标志。“1”表示存在不连续性，并且“0”表示不存在不连续性。1位字段“presentation_frequency_change_flag”是表示是否切换访问单元(accessunit)的显示时间间隔的标志信息。“1”表示切换，并且“0”表示不切换。

在“decode_time_discontinuity_flag”是“1”时，显示8位字段“au_count_down_to_decode_time_switching”。该字段表示在解码时间变化时发生不连续性之前以访问单元(图片)为单位的倒计数值。例如，“0×00”表示相应的访问单元是在不连续性点之前的最后访问单元，并且“0×01到0×FE”表示在不连续性点之前从相应的访问单元计算到最后的访问单元的值。

此外，在“presentation_frequency_change_flag”是“1”时，显示8位字段“au_count_down_to_presentation_frequency_change”。该字段表示在切换每个访问单元的显示时间间隔之前以访问单元为单位的倒计数值。例如，“0×00”表示相应的访问单元是在切换显示时间间隔之前的最后访问单元，并且“0×01到0×FE”表示在切换显示时间间隔之前从相应的访问单元计算到最后的访问单元的值。

图12是示出关于在从第一序列(序列A)切换到第二序列(序列B)时显示连续性的信息的转换的实例的示图。在本文中，假设第一序列的一个帧周期是“时间距离A”，并且假设第二序列的一个帧周期是“时间距离B”。此外，在本文中，示出了包含在时间更新信息SEI(temporal_refresh_informationSEI)内的“temporal_timing_discontinuity_flag”的标志信息以及包含在时间不连续性信息(temporal_discontinuity_information)内的“au_count_down_to_presentation_frequency_change”的倒计数值。

此外，多路复用器104将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入传输流TS内。

作为节目专用信息(programspecificinformation，PSI)，传输流TS包括节目映射表(PMT)。该PMT具有视频基本回路(视频ES1回路)，具有与每个视频流相关的信息。在该视频基本回路中，流类型的信息、数据包标识符(PID)等以及描述与视频流相关的信息的描述符被设置为对应于每个视频流。在该实施方式中，多路复用器104插入最近限定为一个描述符的视频参数描述符(Video_parameter_descriptor)。

图13示出视频参数描述符(Video_parameter_descriptor)的结构实例(语法)。此外，图14示出该结构实例的主要信息的内容(语义)。

8位字段“descriptor_tag”表示描述符的类型，在本文中表示视频参数描述符。8位字段“descriptor_length”表示描述符的长度(尺寸)，示出后续字节的数量，作为描述符的长度。

1位字段“resolution_change_flag”是表示水平和垂直分辨率是否存在变化的标志信息。1位字段“video_frame_rate_change_flag”是表示图片的帧频率(帧速率)总是否存在变化的1位字段。1位字段“video_bit_depth_change_flag”是表示编码位宽度是否存在变化的标志信息。1位字段“color_gamut_change_flag”是表示编码图片的色域是否存在变化的标志信息。1位字段“dynamic_range_change_flag”是表示照度(luminance)的亮度和暗度的范围内是否存在变化的标志信息。

4位字段“video_resolution1”表示当前水平和垂直分辨率。4位字段“video_frame_rate1”表示当前图片的帧频率。“video_bit_depth1”表示当前编码位宽度。“color_gamut1”表示当前编码图片的色域。“luma_dynamic_range1”表示当前照度的亮度和暗度的范围。

在“resolution_change_flag＝1”设置为表示水平和垂直分辨率存在变化时，显示4位字段“video_resolution2”。该字段表示变化的水平和垂直分辨率。此外，在“video_frame_rate_change_flag＝1”设置为表示图片的帧频率存在变化时，显示4位字段“video_frame_rate2”。该字段表示图片的变化的帧频率。

此外，在“video_bit_depth_change_flag＝1”设置为表示编码位宽度存在变化时，显示4位字段“video_bit_depth2”。该字段表示变化的编码位宽度。而且，在“color_gamut_change_flag＝1”设置为表示编码图片的色域存在变化时，显示4位字段“color_gamut2”。该字段表示编码图片的变化的色域。而且，在“dynamic_range_change_flag＝1”设置为表示照度的亮度和暗度的范围存在变化时，显示4位字段“luma_dynamic_range2”。该字段表示照度的亮度和暗度的变化的范围。

图15示出多路复用器104的配置实例。多路复用器具有分段编码单元(sectioncodingunit)142、PES包格式化单元(PESpacketizingunit)143以及传输包格式化单元(transportpacketizingunit)145。

PES包格式化单元143读取在压缩的数据缓冲器103内累积的视频流(基本流)，以生成PES数据包。此时，PES包格式化单元143基于视频流的HRD信息等，将时间戳(例如，解码时间戳(DTS)和呈现时间戳(PTS))放入PES报头中。在这种情况下，参考每个图片的“cpu_removal_delay”和“dpb_output_delay”，与系统时钟(STC)的定时精确同步地将时间戳转换成每个DTS和PTS，并且所述时间戳被设置在PES报头的预定位置内。

此外，此时，PES包格式化单元143基于关于包含在视频流内的图片(访问单元)的时间不连续性的信息，产生上述时间不连续性信息(temporal_discontinuity_information)(见图10)。然后，PES包格式化单元143将该信息插入PES数据包的PES扩展字段内。

分段编码单元142生成将插入传输流TS内的各种分段数据(sectiondata)。此时，分段编码单元142也基于(例如)关于包含在视频流内的图片(访问单元)的时间不连续性的信息，产生上述视频参数描述符(Video_parameter_descriptor)(见图13)。

由PES包格式化单元143生成的PES数据包被发送给传输包格式化单元145。此外，由分段编码单元142生成的各种分段数据也发送给传输包格式化单元145。传输包格式化单元145生成在其有效载荷内包括PES数据包和分段数据的TS数据包，然后，生成传输流TS。

图16示出多路复用器104的处理流程的实例。多路复用器104在步骤ST11中开始处理，然后，移动到步骤ST12的处理。在这个步骤ST12中，多路复用器104从视频流(基础流)的时间更新信息SEI、图片定时SEI、缓冲周期SEI或者HRD信息中计算时间戳。

然后，多路复用器104在步骤ST13中产生时间不连续性信息，作为不连续性信息，并且将该信息插入PES扩展字段内。然后，在步骤ST14中，多路复用器104将视频流(基础流)插入PES有效载荷内。

然后，多路复用器104在步骤ST15中生成各种分段数据。作为该分段数据的中的一种，还生成视频参数描述符，其表示在视频流(基础流)的参数内存在变化。然后，在步骤ST16中，多路复用器104产生并输出在其有效载荷内包括PES数据包和分段数据的TS数据包。在步骤ST16的处理之后，多路复用器104在步骤ST17中完成处理。

图17示出传输流TS的配置实例。该传输流TS包括一个视频流。换言之，在该配置实例中，存在视频流的PES数据包“视频PES1”。

在PES有效载荷内公开每个图片的编码图像数据。在HEVC编码的情况下，编码图像数据由NAL单元(例如，VPS、SPS、SEI、PPS、P-SEI、SLICE、S-SEI以及EOS)构成。插入上述时间更新信息SEI(temporal_refresh_informationSEI)，作为P-SEI中的一个。

此外，上述时间不连续信息(temporal_continuity_information)被插入PES报头的PES扩展字段内。应注意的是，DTS和PTS也设置在PES报头内。

此外，传输流TS包括节目映射表(PMT)，作为节目专用信息(PSI)。该PSI是描述包含在传输流内的每个基本流附属于哪个节目的信息。

在PMT中，存在节目回路，其描述与整个节目相关的信息。此外，在PMT中，存在基本回路，其具有与每个基本流相关的信息。在该配置实例中，存在视频基本回路(视频ES1回路)。

在视频基本回路中，设置流的类型的信息、数据包标识符(PID)等，并且还对应于视频流(视频PES1)描述描述了与视频流相关的信息的描述符。作为描述符中的一个，插入上述视频参数描述符(video_parameter_descriptor)。

返回图2，传输单元105在适合于广播的调制方案(例如，QPSK-OFDM)中调制传输流TS，并且从传输天线中传输RF调制信号。

将简要地描述在图2中示出的传输装置100的操作。编码器102接收未压缩的图像数据的输入。在编码器102中，例如，对图像数据执行在H.264/AVC、H.265/HEVC等内的编码。在这种情况下，切换不同的帧速率的图像数据，以输入给编码器102。因此，编码器102生成具有帧速率切换部分即，从第一序列的编码图像数据切换到具有与第一序列不同的帧速率的第二序列的编码图像数据的部分，的视频流。

编码器102进行编码，使得将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时。此外，编码器102进行编码，使得第一序列的编码图像数据和第二序列的编码图像数据在从解码到显示的时间具有相同数量的延迟图片。而且，编码器102进行编码，使得在比通过将第一序列的编码图像数据的一个帧周期加上第一序列的编码图像数据的最后图片的解码定时所获得的定时更晚的定时处，设置第二序列的编码图像数据的第一图片的解码定时。

此外，编码器102将表示帧速率是否存在变化的信息插入视频流的每个图片的每片编码图像数据内。换言之，编码器102将时间更新信息SEI(temporal_refresh_informationSEI)(见图5(b))插入每个图片的编码图像数据内，作为一种前缀SEI(Prefix_SEI)。

包括每层的图片的编码数据的由编码器102生成的视频流被供应给压缩的数据缓冲器(cpb)103，并且暂时储存在其内。在多路复用器104中，读取在压缩的数据缓冲器103内累积的视频流，将所述视频流进行PES包格式化，进一步将所述视频流进行传输包格式化并且多路复用所述视频流，从而获得传输流TS，作为多路复用流。

多路复用器104将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入到包含视频流的数据包内，例如，PES数据包。换言之，将时间不连续性信息(temporal_discontinuity_information)(见图10)插入PES数据包的PES扩展字段内。

此外，多路复用器104将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入传输流TS内。换言之，将视频参数描述符(Video_parameter_descriptor)插入视频基本回路内。

将由多路复用器104生成的传输流TS发送给传输单元105。在传输单元105中，在适合于广播的调制方案(例如，QPSK-OFDM)中调制传输流TS，并且从传输天线中传输RF调制信号。

<接收装置的配置>

图18示出接收装置200的配置实例。该接收装置200具有中央处理单元(CPU)201、接收单元202、多路分用器(demultiplexer)203以及压缩数据缓冲器(编码图片缓冲器或cpb)204。进一步，接收装置200具有解码器205、未压缩数据缓冲器(解码图片缓冲器或dpb)206、后处理单元207、时钟生成单元208以及分频器209。CPU201构成控制单元，其控制接收装置200的每个单元的操作。

接收单元202解调由接收天线接收的RF调制信号，以获取传输流TS。传输流TS包括视频流(视频数据)，具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分。多路分用器203取出视频流，并且将流发送给压缩数据缓冲器(编码图片缓冲器或cpb)204。

图19示出多路分用器203的配置实例。多路分用器203具有TS适配字段提取单元231、时钟信息提取单元232、TS有效载荷提取单元233、分段提取单元(sectionextractionunit)234、PSI表格/描述符提取单元235以及PES数据包提取单元236。进一步，多路分用器203具有PES报头提取单元237、时间戳提取单元238、不连续性/倒计数信息提取单元(discontinuity/count-downinformationextractionunit)239以及PES有效载荷提取单元240。

TS适配字段提取单元231从具有传输流TS的适配字段(adaptationfield)的TS数据包中提取适配字段。时钟信息提取单元232从包括PCR的适配字段中提取节目时钟参考(PCR)，并且将PCR发送给时钟生成单元208。

TS有效载荷提取单元233从具有传输流TS的TS有效载荷的TS数据包中提取TS有效载荷。分段提取单元234从包括分段数据的TS有效载荷中提取分段数据。PSI表格/描述符提取单元235分析由分段提取单元234提取的分段数据并且提取PSI表格或描述符。然后，PSI表格/描述符提取单元235将描述符信息发送给CPU201。

该描述符信息也包括上述视频参数描述符(Video_parameter_descriptor)。CPU201可以从视频参数描述符的信息中提前识别到帧频率(帧速率)的变化，并且进一步，还可以识别到变化的帧频率。

PES数据包提取单元236从包括PES数据包的TS有效载荷中提取PES数据包。PES报头提取单元237从由PES数据包提取单元236提取的PES数据包中提取PES报头。时间戳提取单元232提取以图片为单位插入PES报头内的时间戳(DTS和PTS)，并且将时间戳发送给CPU201。

此外，不连续性/倒计数信息提取单元239提取以图片为单位插入PES报头的PES扩展区域内的上述时间不连续性信息(temporal_discontinuity_information)，并且将不连续性信息和倒计数信息发送给CPU201。

在这种情况下，在解码定时(或解码时间戳)的值的变化中存在不连续性时，CPU201可以提前识别到不连续性，并且进一步，可以从倒计数信息(倒计数值)中以访问单元(图片)为单位明确地确定在发生不连续性之前的进度。此外，在切换每个访问单元(图片)的显示时间间隔时，CPU201可以提前识别到切换，并且可以从倒计数信息(倒计数值)中明确地确定在切换之前访问单元(图片)的单元进度。

PES有效载荷提取单元240从由PES数据包提取单元236提取的PES数据包中提取PES有效载荷，即，每个图片的编码图像数据，并且将该数据发送给压缩数据缓冲器(编码图片缓冲器或cpb)204。

图20示出多路分用器203的处理流程的实例。多路分用器203在步骤ST31中开始处理，然后，在步骤ST32中，提取TS有效载荷。然后，多路分用器203在步骤ST33中进行PID的分析，以确定是否是分段(section)。在确定是分段时，在步骤ST34中，多路分用器203多路分通过相应的PID滤波器传送的数据包，以执行分段解析。

然后，在步骤ST35中，多路分用器203分析视频参数描述符(Video_parameter_descriptor)。然后，在步骤ST36中，多路分用器203确定帧速率(帧频率)是否存在变化。在帧速率存在变化时，在步骤ST37中，多路分用器203通知系统(即，CPU201)变化的帧速率。

然后，多路分用器203移动到步骤ST38，并且完成处理。应注意的是，当在步骤ST36中帧速率没有变化时，多路分用器203直接移动到步骤ST38，以完成处理。

此外，当在步骤ST33中不是分段时，在步骤ST39中，多路分用器203提取PES数据包。然后，在步骤ST40中，多路分用器203确定是否是PES报头。当是PES报头时，在步骤ST41中，多路分用器203在视频参数描述符的分析中确定帧速率是否存在变化。

在帧速率存在变化时，在步骤ST42中，多路分用器203确定在PES扩展字段内是否存在时间不连续性信息(temporal_discontinuity_information)。假设步骤ST41的确定与步骤ST36的结果一致。

当存在时间不连续性信息时，多路分用器203通过时间不连续性信息的不连续性标志以及倒计数值检测时间戳的不连续性，并且在步骤ST43中，通知系统(即，CPU201)检测。然后，多路分用器203移动到步骤ST44的处理。应注意的是，在步骤ST41中帧速率没有变化时，或者在步骤ST42中没有时间不连续性信息时，多路分用器203直接移动到步骤ST44的处理。

在步骤ST44中，多路分用器203确定是否存在DTS和PTS。当存在DTS和PTS时，多路分用器203移动到步骤ST46的处理。另一方面，当不存在DTS和PTS时，在步骤ST45中，多路分用器203通过插入来生成DTS和PTS，然后，移动到步骤ST46的处理。在步骤ST46中，多路分用器203通知系统(即，CPU201)DTS和PTS。然后，多路分用器203移动到步骤ST38，以完成处理。

此外，当步骤ST40中没有PES报头时，在步骤ST47中，多路分用器203提取PES有效载荷。然后，多路分用器203在步骤ST48中将PID的编码流传输给压缩数据缓冲器(cpb)204。然后，多路分用器203移动到步骤ST38，以完成处理。

返回图18，压缩数据缓冲器(cpb)204暂时累积由多路分用器203取得的视频流(编码流)。解码器205在图片的解码定时处，解码在压缩数据缓冲器204中累积的视频流的每个图片的编码图像数据，并且将该数据发送给未压缩数据缓冲器(dpb)206。

在本文中，CPU201基于解码时间戳(DTS)给解码器205提供解码定时。应注意的是，在解码器205解码每个图片的编码图像数据时，解码器读取并且使用来自未压缩数据缓冲器206的参考源图片的图像数据。

图21示出解码器205的配置实例。该解码器205具有NAL数据包分析单元251和解码单元252。NAL数据包分析单元251分析构成编码数据的每个NAL数据包，以确定参数组，例如，VPS、SPS、PPS、SEI以及片。NAL数据包分析单元251将每个NAL数据包以及确定结果发送给解码单元252。

解码单元252在解码定时处顺序解码包含在通过NAL数据包分析单元251发送的视频流(编码流)内的每个图片的编码图像数据，并且将数据发送给未压缩数据缓冲器(dpb)206。在这种情况下，解码单元252执行VPS、SPS以及PPS的定时信息的分析，以确定作为整个流的位速率的等级的“general_level_idc”或者作为每个子层的位速率的等级的“sublayer_level_idc”，并且检查在其自身的解码处理能力内是否可以进行解码。此外，在这种情况下，解码单元252分析SEI，以确定(例如)“initial_cpb_removal_time”和“cpb_removal_delay”，并且检查从CPU201发送的解码定时是否合适。

此外，在这种情况下，解码单元252从包含在VPS内的“vps_num_units_in_tick”和“vps_times_scale”的信息中获得帧速率(帧频率)，并且将帧速率发送给CPU201。因此，CPU201可以检查目前正在经受解码的图片的帧速率。应注意的是，通过分析时间更新信息SEI，解码单元252可以确定图片是否是在时间信息以及时间戳中具有不连续性的图片，并且在图片是具有不连续性的图片时，也可以从包含在该SEI内的“num_units_in_tick”以及“times_scale”中获得帧速率(帧频率)。

在解码片时，解码单元252从片报头中获取“ref_idx_l0_active”(ref_idx_l1_active)，作为表示时间方向的预测目的地的信息，以对时间方向进行预测。应注意的是，解码图片被处理为由其他图片利用从片报头获得的“short_term_ref_pic_set_idx”或“it_idx_sps”作为索引而由其他图片参考。

返回图18，未压缩数据缓冲器(dpb)206暂时储存由解码器205解码的每个图片的图像数据。后处理单元207在显示定时对从未压缩数据缓冲器(dpb)206顺序读取的每个图片的图像数据执行处理，以使其帧速率与显示能力匹配。在这种情况下，基于呈现时间戳(presentationtimestamp，PTS)，从CPU201中给解码器205提供显示定时。

例如，当图片的解码图像数据的帧速率是120fps并且显示能力是120fps时，后处理单元207照原样将图片的解码图像数据发送给显示器。此外，例如，在图片的解码图像数据的帧速率是120fps并且显示能力是60fps时，后处理单元207执行二次采样处理，使得时间方向分辨率(time-directionresolution)变成图片的解码图像数据的1/2，并且将该数据作为60fps的图像数据发送给显示器。

此外，当图片的解码图像数据的帧速率是60fps并且显示能力是120fps时，后处理单元207执行插入处理，使得时间方向分辨率变成图片的解码图像数据的两倍，并且将该数据作120fps的图像数据发送给显示器。此外，例如，当图片的解码图像数据的帧速率是60fps并且显示能力是60fps时，后处理单元207照原样将图片的解码图像数据发送给显示器。

时钟生成单元CPU201生成系统时钟STC，该系统时钟与由多路分用器203提取的PCR同步。分频器209划分该系统时钟STC的频率并且输出垂直同步信号Vsync。将该垂直同步信号Vsync供应给CPU201，并且还供应给多路分用器203、解码器205以及后处理单元207，并且进一步供应给其他需要的点。

根据来自CPU201的分频值(分频器值)的供应，控制该垂直同步信号Vsync的频率。在该实施方式中，垂直同步信号Vsync的频率被切换为与第一序列的帧速率匹配，直到第二序列的第一图片的显示开始定时，并且从显示开始定时开始，和第二序列的帧速率匹配。

因此，在本实施方式中，在第二序列的第一图片的显示开始定时之前，在第一序列的每个图片的编码图像数据的解码定时处，解码第二序列的每个图片的编码图像数据。

图22示出了垂直同步信号Vsync的切换定时的实例。在该示出的实例中，第一序列由4个图片构成，这些图片按照a0、a1、a2以及a3的顺序解码并且按照a0、a2、a3以及a1的顺序显示。在这种情况下，解码第一序列之后在其显示开始之前的延迟的图片的数量设置为2。

在具有对应于其帧速率(帧频率)的时间间隔Va的垂直同步信号(Vsync)的定时处第一序列的每个图片被解码并被显示。例如，在定时Ta(0)、Ta(1)、Ta(2)以及Ta(3)处，解码图片a0、a1、a2以及a3，并且在定时Ta(2)、Ta(3)、Ta(4)以及Ta(5)处，开始图片a0、a2、a3以及a1的显示。

第二序列由7个图片构成，这些图片按照b0、b1、b2、b3、b4、b5以及b6的顺序解码并且按照b0、b2、b3、b1、b5、b6以及b3的顺序显示。在这种情况下，在解码第二序列之后在其显示开始之前的延迟的图片的数量设置为2，与第一序列一样。

在编码中设置解码和显示定时，使得第二序列的每个图片被解码并在具有对应于其帧速率(帧频率)的时间间隔Vb(<Va)的垂直同步信号(Vsync)的定时处被显示。然而，在该实施方式中，频率被切换为与第一序列的帧速率匹配，直到第二序列的第一图片的显示开始定时(Tb(2))，并且从这个定时开始，和第二序列的帧速率匹配。

因此，在第二序列的第一图片的显示开始定时(Tb(2))之前，解码器205在第一序列的每个图片的编码图像数据的解码定时处，解码第二序列的每个图片(在所示出的实例中的图片b0和b1)的编码图像数据，保持与第一序列的在解码定时上的连续性。

换言之，图片b0和b1在定时Ta(4)和Ta(5)处被解码。由于多路分用器203在第一序列的最后图片的前导字节最迟进入压缩数据缓冲器(cpb)204的定时(在图3中，定时P1)处，从PES扩展区域中提取时间不连续性信息(temporal_discontinuity_information)并且检测不连续性信息，所以甚至在定时(Tb(0))之前，可以解码图片b0。

此外，如上所述，在第二序列的第一图片的显示开始定时(Tb(2))，即，第一序列的最后图片的显示结束定时(Tb(6))，执行垂直同步信号Vsync的切换。CPU201可以从作为时间不连续性信息的不连续性信息中和倒计数信息中在该定时处检测切换垂直同步信号Vsync的必要性。

图23还示出了垂直同步信号Vsync的切换定时的另一个实例。图22的实例示出了第一序列的帧周期(时间间隔)设置为Va，并且第二序列的帧周期(时间间隔)设置为Vb(<Va)，但该实例反之亦可。换言之，在这个实例中，第一序列的帧周期(时间间隔)设置为Vb，并且第二序列的帧周期(时间间隔)设置为Va(>Vb)。

在所示出的实例中，第一序列由4个图片构成，这些图片按照b0、b1、b2以及b3的顺序解码并且按照b0、b2、b3以及b1的顺序显示。在这种情况下，在解码第一序列之后在其显示开始之前的延迟的图片的数量设置为2。

在具有对应于其帧速率(帧频率)的时间间隔Vb的垂直同步信号(Vsync)的定时处第一序列的每个图片被解码并被显示。例如，在定时Tb(0)、Tb(1)、Tb(2)以及Tb(3)，解码图片b0、b1、b2以及b3，并且在定时Tb(2)、Tb(3)、Tb(4)以及Tb(5)，开始图片b0、b2、b3以及b1的显示。

第二序列由4个图片构成，这些图片按照a0、a1、a2以及a3的顺序解码并且按照a0、a2、a3以及a1的顺序显示。在这种情况下，在解码第一序列之后在其显示开始之前的延迟的图片的数量设置为2，与第一序列一样。

在编码中设置解码和显示定时，使得第二序列的每个图片在具有对应于其帧速率(帧频率)的时间间隔Va(>Vb)的垂直同步信号(Vsync)的定时处被解码并被显示。然而，在这个实施方式中，频率被切换为和第一序列的帧速率匹配，直到第二序列的第一图片的显示开始定时(Ta(2))，并且从这个定时开始，和第二序列的帧速率匹配。

因此，在第二序列的第一图片的显示开始定时(Ta(2))之前，解码器205在第一序列的每个图片的编码图像数据的解码定时处，解码第二序列的每个图片(在所示出的实例中，图片a0和a1)的编码图像数据，保持与第一序列的在解码定时上的连续性。

换言之，在定时Tb(4)和Tb(5)，解码图片a0和a1。由于多路分用器203在第一序列的最后图片的前导字节最迟进入压缩数据缓冲器(cpb)204的定时(在图3中，定时P1)处，从PES扩展区域中提取时间不连续性信息(temporal_discontinuity_information)并且检测不连续性信息，所以甚至在定时(Tb(0))之后，可以解码图片a0。

此外，如上所述，在第二序列的第一图片的显示开始定时(Ta(2))处，即，第一序列的最后图片的显示结束定时(Tb(6))，执行垂直同步信号Vsync的切换。CPU201可以从作为时间不连续性信息的不连续性信息和倒计数信息中检测切换垂直同步信号Vsync的必要性。

将简要描述在图18中显示的接收装置200的操作。接收单元202解调由接收天线接收的RF调制信号，以获取传输流TS。传输流TS包括视频流，其具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分。将传输流TS发送给多路分用器203。多路分用器203从传输流TS中取出视频流，并且将流发送给压缩数据缓冲器(cpb)204，以使流被暂时累积。

此外，多路分用器203从TS数据包的适配字段中提取节目时钟参考(PCR)。该PCR被供应给时钟生成单元208。时钟生成单元208生成与PCR同步的系统时钟STC。然后，该系统时钟STC经受分频器209的频分，以获得垂直同步信号Vsync。该垂直同步信号Vsync被供应给CPU201，并且还供应给需要的点，例如，多路分用器203、解码器205以及后处理器单元207。

此外，多路分用器203从传输流TS中提取描述符，例如，视频参数描述符(Video_parameter_descriptor)，并且将该描述符供应给CPU201。CPU201可以从视频参数描述符的信息中提前识别到帧频率(帧速率)的变化，并且进一步，可以识别到变化的帧频率。

此外，多路分用器203提取插入到每个图片的PES报头的PES扩展区域内的时间不连续性信息(temporal_discontinuity_information)，并且不连续性信息和倒计数信息被供应给CPU201。

因此，在解码定时(或解码时间戳)的值的变化中存在不连续性时，CPU201可以提前识别到不连续性，并且进一步，可以从倒计数信息(倒计数值)中明确地确定在发生不连续性之前访问单元(图片)的单位的进度。此外，在切换每个访问单元(图片)的显示时间间隔时，CPU201可以提前识别到切换，并且进一步，可以从倒计数信息(倒计数值)中明确地确定在切换之前在访问单元(图片)的单位中的进度。

此外，多路分用器203提取设置在每个图片的PES报头内的DTS和PTS的时间戳，并且将它们供应给CPU201。CPU201基于时间戳将解码定时和显示定时提供给解码器205。

解码器205在图片的解码定时处，解码在压缩数据缓冲器204中累积的视频流的每个图片的编码图像数据，并且将该数据发送给未压缩数据缓冲器(dpb)206，以使得数据被暂时累积。在这种情况下，当解码每个图片的编码图像数据时，从解码图片缓冲器206中读取参考目标图片的图像数据，并且必要时使用该图像数据。

将在显示定时处依次从未压缩数据缓冲器(dpb)206中读取的每个图片的图像数据发送给后处理单元207。在这种情况下，第一序列的最后图片的显示结束定时被设置为与第二序列的第一图片的显示开始定时相同的定时。

后处理单元207执行插入或者二次采样，以使图片的图像数据的帧速率与显示能力匹配。将由后处理单元207处理的图片的图像数据供应给显示器，并且显示图片的图像数据的动态图像。

应注意的是，当从CPU201中供应的分频值(分频器值)改变时，切换垂直同步信号Vsync的频率。切换垂直同步信号Vsync的频率，以和第一序列的帧速率匹配，直到第二序列的第一图片的显示开始定时，并且从显示开始定时开始，和第二序列的帧速率匹配。CPU201基于作为时间不连续性信息的不连续性信息和倒计数信息，识别该切换定时。

此外，如上所述，在第二序列的第一图片的显示开始定时之前，垂直同步信号Vsync的频率被设置为和第一序列的帧速率匹配。为此，根据CPU201的控制，在第二序列的第一图片的显示开始定时之前，在第一序列的每个图片的编码图像数据的解码定时处，解码第二序列的每个图片的编码图像数据。由于检测了时间不连续性信息的不连续性信息，该控制是可能的。

如上所述，在图1中所示的传输和接收系统10中，传输侧进行编码，使得将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时。因此，例如，接收侧可以容易地确保第一序列与第二序列之间的显示连续性。

此外，在图1中所示的传输和接收系统10中，传输侧进行编码，使得第一序列的编码图像数据和第二序列的编码图像数据在解码之后直至显示具有相同数量的延迟图片。因此，例如，接收侧可以避免在从第一序列到第二序列的切换部分中可能发生的缓冲失败。

此外，在图1中所示的传输和接收系统10中，传输侧将表示帧速率是否存在变化的信息(即，时间更新信息SEI(temporal_refresh_informationSEI))插入视频数据的每个图片的编码图像数据内。因此，例如，接收侧可以容易地确定从第一序列到第二序列的变化点。

此外，在图1中所示的传输和接收系统10中，传输侧将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息(即，时间不连续性信息SEI(temporal_discontinuity_information))插入包含视频流的数据包内，例如，PES数据包。因此，例如，接收侧可以容易地确定从第一序列到第二序列的变化、时间信息、时间戳的不连续性信息以及在变化之前的倒计数信息。

此外，在图1中所示的传输和接收系统10中，传输侧将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息(即，视频参数描述符(Video_parameter_descriptor))插入容器的层内，即，传输流TS的层。因此，例如，接收侧可以容易地确定从第一序列到第二序列的变化以及变化的帧速率。

此外，在图1中示出的传输和接收系统10中，在第二序列的第一图片的显示开始定时之前，在第一序列的每个图片的编码图像数据的解码定时处，接收侧解码第二序列的每个图片的编码图像数据。因此，例如，可以避免同时生成两个异步垂直同步信号的实现方式。

<2、变形实例>

在上述实施方式中，示出了接收侧可以容易确保第一序列与第二序列之间的显示连续性的实例。为此，传输侧进行编码，使得将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时。

在本文中，接收侧被视为容易地确保在第一序列与第二序列之间的显示连续性，并且进一步容易地确保第一序列和第二序列的解码定时的连续性。为此，传输侧进行编码，使得在通过将第一序列的编码图像数据的一个图片的时间间隔加上第一序列的编码图像数据的最后图片的解码定时所获得的定时处，设置第二序列的编码图像数据的第一图片的解码定时。

图24示出在这种情况下编码器102的假设参考解码器(HRD)控制的实例。在图24中，适当地省略了与上述图3的部分对应的部分的详细描述。

在所示出的实例中，第一序列由4个图片构成，这些图片按照a0、a1、a2以及a3的顺序解码并且按照a0、a2、a3以及a1的顺序显示。在这种情况下，将每个解码图片的图像数据输入给未压缩数据缓冲器(解码图片缓冲器或dpb)。在这个实例中，在解码第一序列之后在其显示开始之前的延迟的图片的数量设置为2。

在具有对应于其帧速率(帧频率)的时间间隔的垂直同步信号(Vsync)的定时处第一序列的每个图片被解码并被显示。例如，在定时Ta(0)、Ta(1)、Ta(2)以及Ta(3)处，解码图片a0、a1、a2以及a3，并且在定时Ta(2)、Ta(3)、Ta(4)以及Ta(5)处，开始图片a0、a2、a3以及a1的显示。

第二序列由6个图片构成，这些图片按照b0、b1、b2、b3、b4以及b5的顺序解码并且按照b1、b2、b0、b4、b5以及b3的顺序显示。在这种情况下，将每个解码图片的编码数据输入给dpb。在这个实例中，在解码第二序列之后在其显示开始之前的延迟的图片的数量设置为2，与第一序列一样。因此，避免缓冲失败。

与在图3的实例中一样，第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同。换言之，定时Ta(6)被设置为与定时Tb(2)相同的定时。因此，确保了第一序列与第二序列之间的显示连续性。

从第二序列的第一图片的显示开始定时(Tb(2))，在具有对应于其帧速率(帧频率)的时间间隔的垂直同步信号(Vsync)的定时处，解码和显示该序列。例如，在定时Tb(2)、Tb(3)、Tb(4)以及Tb(5)处，解码图片b2、b3、b4以及b5，并且在定时Tb(2)、Tb(3)、Tb(4)、Tb(5)、Tb(6)以及Tb(7)处，开始图片b1、b2、b0、b4、b5和b3的显示。

此外，在其第一图片的显示开始定时(Tb(2))之前，在具有对应于其帧速率(帧频率)的时间间隔的垂直同步信号(Vsync)的定时处，第二序列被解码。在这个实例中，在Tb(0)＝Ta(4)和Tb(1)＝Ta(5)的设置之下，在Tb(0)和Tb(1)处解码图片b0和b1。

在这种情况下，在通过将第一序列的编码图像数据的一个图片的时间间隔加上第一序列的编码图像数据的最后图片的解码定时所获得的定时处，设置第二序列的编码图像数据的第一图片的解码定时。换言之，定时Ta(4)设置为与定时Tb(0)相同的定时。因此，“Initial_cpb_removal_delayB”被设置为使得定时Tb(0)被设置为与定时Ta(4)相同的定时。

通过进行编码使得定时Tb(0)被设置为与定时Tb(0)相同的定时，接收侧可以容易地确保第一序列和第二序列的解码定时的连续性，并且避免较晚读取第二序列的第一图片。在这种情况下，接收侧不需要调整位于第二序列的第一图片的显示开始定时之前的第二序列的图片的解码定时的处理，如上面在图22和23中所述。因此，也可以减少接收侧的负担。

<2、变形实例>

应注意的是，尽管上述实施方式示出了由传输装置100和接收装置200构成的传输和接收系统10，但是可以应用本技术的传输和接收系统的配置并不限于此。例如，接收装置200部分可以配置有与数字接口(例如，高清晰度多媒体接口(HDMI)和监视器)连接的机顶盒等。要注意的是，“HDMI”是注册商标。

此外，上述实施方式示出了容器是传输流(MPEG-2TS)的实例。然而，本技术还同样可以应用于被配置为使用网络(例如，互联网)将数据分配给接收终端的系统。在互联网上的分配中，存在使用具有MP4或其他格式的容器来分配的多种情况。换言之，作为容器，包括在数字广播标准中使用的传输流(MPEG-2TS)、用于互联网分配内的MP4等的各种格式等同于容器。

此外，本技术还可以如下配置。

(1)一种编码装置，包括：

图像编码单元，被配置为生成具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分的视频数据，

其中，所述图像编码单元以将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式进行编码。

(2)根据(1)所述的编码装置，其中，所述图像编码单元以第一序列的编码图像数据和第二序列的编码图像数据从解码到显示具有相同数量的延迟图片的方式进行编码。

(3)根据(1)或(2)所述的编码装置，其中，所述图像编码单元以在通过将第一序列的编码图像数据的一个图片的时间间隔加上第一序列的编码图像数据的最后图片的解码定时所获得的定时处，设置第二序列的编码图像数据的第一图片的解码定时的方式，进行编码。

(4)一种传输装置，包括：

图像编码单元，被配置为生成具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分的视频数据；以及

传输单元，被配置为传输包括所生成的视频数据的具有预定格式的容器，

其中，所述图像编码单元以将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式进行编码。

(5)根据(4)所述的传输装置，进一步包括：

信息插入单元，被配置为将表示帧速率是否存在变化的信息插入所述视频数据的每个图片的每条编码图像数据内。

(6)根据(5)所述的传输装置，其中，在所述信息表示帧速率存在变化时，将表示变化的帧速率的值的信息加入所述信息中。

(7)根据(4)到(6)中任一项所述的传输装置，进一步包括：

信息插入单元，被配置为将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入到包含所述视频数据的数据包内。

(8)根据(7)所述的传输装置，其中，所述通知信息包括表示在解码定时的值的变化中是否存在不连续性的信息。

(9)根据(8)所述的传输装置，其中，在所述信息表示存在不连续性时，将在发生不连续性之前的图片的数量的倒计数值加入所述信息中。

(10)根据(7)到(9)中任一项所述的传输装置，其中，所述通知信息包括表示是否切换每个图片的显示时间间隔的信息。

(11)根据(10)所述的传输装置，其中，在所述信息表示切换时，将在所述切换之前的图片的数量的倒计数值加入所述信息中。

(12)根据(7)到(11)中任一项所述的传输装置，其中，所述信息插入单元将所述通知信息插入到在有效载荷内包括每个图片的编码图像数据的PES数据包的扩展字段内。

(13)根据(4)到(12)中任一项所述的传输装置，进一步包括：

信息插入单元，被配置为将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入所述容器的层内。

(14)根据(13)所述的传输装置，其中，所述通知信息包括关于第一序列的帧速率和第二序列的帧速率的信息。

(15)一种接收装置，包括：

接收单元，被配置为接收具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分的视频数据；以及

处理单元，被配置为处理所接收的视频数据，

其中，以将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式，编码所述视频数据。

(16)根据(15)所述的接收装置，其中，以第一序列的编码图像数据和第二序列的编码图像数据从解码到显示具有相同数量的延迟图片的方式，编码所述视频数据。

(17)根据(15)或(16)所述的接收装置，其中，以在将第一序列的编码图像数据的一个图片的时间间隔加上第一序列的编码图像数据的最后图片的解码定时所获得的定时处，设置第二序列的编码图像数据的第一图片的解码定时的方式，编码所述视频数据。

(18)一种接收装置，包括：

接收单元，被配置为接收包括视频数据的具有预定格式的容器，所述视频数据具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分，

其中，以将第一序列的编码图像数据的最后图片的显示结束定时设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式，编码所述视频数据，并且

其中，所述接收装置进一步包括图像解码单元，所述图像解码单元被配置为解码包含在所接收的容器内的视频数据，以获得在所述第一序列与所述第二序列之间保持显示连续性的图像数据。

(19)根据(18)所述的接收装置，其中，在相同定时之前，在与第一序列的每个图片的编码图像数据的解码定时同步的定时处，所述图像解码单元解码第二序列的每个图片的编码图像数据。

(20)根据(18)或(19)所述的接收装置，

其中，将通知从第一序列的编码图像数据到第二序列的编码图像数据的变化的信息插入包含所述视频数据的数据包以及所述容器的层中的至少一个内，并且

其中，根据所述通知信息，控制所述图像解码单元的处理。

本技术的主要特征在于，在分配具有帧速率切换部分的视频数据时，接收侧可以容易确保在第一序列与第二序列之间的显示连续性，这是因为执行编码，以便第一序列的编码图像数据的最后图片的显示结束定时被设置为与第二序列的编码图像数据的第一图片的显示开始定时相同的定时(见图3)。

参考符号列表

10：传输和接收系统

100：传输装置

101：CPU

102：编码器

103：压缩数据缓冲器(cpb)

104：多路复用器

105：传输单元

122：缓冲延迟控制单元

123：HRD设置单元

124：参数组/SEI编码单元

125：片编码单元

126：NAL包格式化单元(NALpacketizingunit)

142：分段编码单元

143：PES包格式化单元

144：传输包格式化单元

200：接收装置

201：CPU

202：接收单元

203：多路分用器

204：压缩数据缓冲器(cpb)

205：解码器

206：未压缩数据缓冲器(dpb)

207：后处理单元

208：时钟生成单元

209：分频器

231：TS适配字段提取单元

232：时钟信息提取单元

233：TS有效载荷提取单元

234：分段提取单元

235：PSI表格/描述符提取单元

236：PES数据包提取单元

237：PES报头提取单元

238：时间戳提取单元

239：不连续性/倒计数信息提取单元

240：PES有效载荷提取单元

251：NAL数据包分析单元

252：解码单元。

Claims (20)

1.一种编码装置，包括：

图像编码单元，被配置为生成视频数据，所述视频数据具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分，

其中，所述图像编码单元以将所述第一序列的编码图像数据的最后图片的显示结束定时设置为与所述第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式进行编码。

2.根据权利要求1所述的编码装置，其中，所述图像编码单元以所述第一序列的编码图像数据和所述第二序列的编码图像数据从解码到显示具有相同数量的延迟图片的方式进行编码。

3.根据权利要求1所述的编码装置，其中，所述图像编码单元以在将所述第一序列的编码图像数据的一个图片的时间间隔加上所述第一序列的编码图像数据的最后图片的解码定时所获得的定时处，设置所述第二序列的编码图像数据的第一图片的解码定时的方式，进行编码。

4.一种传输装置，包括：

图像编码单元，被配置为生成视频数据，所述视频数据具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分；以及

传输单元，被配置为传输包括所生成的视频数据的具有预定格式的容器，

其中，所述图像编码单元以将所述第一序列的编码图像数据的最后图片的显示结束定时设置为与所述第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式，进行编码。

5.根据权利要求4所述的传输装置，进一步包括：

信息插入单元，被配置为将表示帧速率是否存在变化的信息插入所述视频数据的每个图片的每条编码图像数据内。

6.根据权利要求5所述的传输装置，其中，当所述信息表示帧速率存在变化时，将表示变化的帧速率的值的信息加入到所述信息中。

7.根据权利要求4所述的传输装置，进一步包括：

信息插入单元，被配置为将通知从所述第一序列的编码图像数据到所述第二序列的编码图像数据的变化的信息插入到包含所述视频数据的数据包内。

8.根据权利要求7所述的传输装置，其中，所述通知信息包括表示在解码定时的值的变化中是否存在不连续性的信息。

9.根据权利要求8所述的传输装置，其中，在所述信息表示存在不连续性时，将在发生不连续性之前的图片的数量的倒计数值加入到所述信息中。

10.根据权利要求7所述的传输装置，其中，所述通知信息包括表示是否切换每个图片的显示时间间隔的信息。

11.根据权利要求10所述的传输装置，其中，在所述信息表示切换时，将在所述切换之前的图片的数量的倒计数值加入到所述信息中。

12.根据权利要求7所述的传输装置，其中，所述信息插入单元将所述通知信息插入到在有效载荷内包括每个图片的编码图像数据的PES数据包的扩展字段内。

13.根据权利要求4所述的传输装置，进一步包括：

信息插入单元，被配置为将通知从所述第一序列的编码图像数据到所述第二序列的编码图像数据的变化的信息插入到所述容器的层内。

14.根据权利要求13所述的传输装置，其中，所述通知信息包括关于所述第一序列的帧速率和所述第二序列的帧速率的信息。

15.一种接收装置，包括：

接收单元，被配置为接收视频数据，所述视频数据具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分；以及

处理单元，被配置为处理所接收的视频数据，

其中，以将所述第一序列的编码图像数据的最后图片的显示结束定时被设置为与所述第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式，编码所述视频数据。

16.根据权利要求15所述的接收装置，其中，以所述第一序列的编码图像数据和所述第二序列的编码图像数据从解码到显示具有相同数量的延迟图片的方式，编码所述视频数据。

17.根据权利要求15所述的接收装置，其中，以在将所述第一序列的编码图像数据的一个图片的时间间隔加上所述第一序列的编码图像数据的最后图片的解码定时所获得的定时处，设置所述第二序列的编码图像数据的第一图片的解码定时的方式，编码所述视频数据。

18.一种接收装置，包括：

接收单元，被配置为接收包括视频数据的具有预定格式的容器，所述视频数据具有从第一序列的编码图像数据到具有与所述第一序列不同的帧速率的第二序列的编码图像数据的切换部分，

其中，以将所述第一序列的编码图像数据的最后图片的显示结束定时设置为与所述第二序列的编码图像数据的第一图片的显示开始定时相同的定时的方式，编码所述视频数据，并且

其中，所述接收装置进一步包括图像解码单元，所述图像解码单元被配置为解码包含在所接收的容器内的视频数据，以获得在所述第一序列与所述第二序列之间保持显示连续性的图像数据。

19.根据权利要求18所述的接收装置，其中，在相同定时之前，在与所述第一序列的每个图片的编码图像数据的解码定时同步的定时处，所述图像解码单元解码所述第二序列的每个图片的编码图像数据。

20.根据权利要求18所述的接收装置，

其中，将通知从所述第一序列的编码图像数据到所述第二序列的编码图像数据的变化的信息插入包含所述视频数据的数据包以及所述容器的层中的至少一个内，并且

其中，基于所述通知信息，控制所述图像解码单元的处理。