CN105765980B - 传输装置、传输方法、接收装置和接收方法 - Google Patents

Abstract

本发明的目的是较好地传输高帧速率的运动图像数据。以连续N(其中，N是大于或等于二的整数)个图片为单位处理预定帧速率的第一运动图像数据。通过使N个图片的图像数据经历平均处理而获得的图像数据作为第一图片的图像数据，并且使N个图片的第二至第N图片的图像数据原样地作为第二至第N图片的图像数据，从而获得预定帧速率的第二运动图像数据。编码构成第二运动图像数据的图片的图像数据以生成视频流，随后传输视频流。

Description

传输装置、传输方法、接收装置和接收方法

技术领域

本技术涉及传输装置、传输方法、接收装置和接收方法。详细地，本技术涉及例如传输高帧速率(High Frame Rate)的运动图像数据的传输装置。

背景技术

近年来，已经获知利用高速帧快门拍摄高帧速率的图像的照相机(例如，参见专利文献1)。例如，高帧速率比例如60fps或50fps的正常帧速率快几倍、几十倍或者几百倍。

在具有高帧速率的服务中，利用具有高速帧快门的照相机拍摄的运动图像数据可通过在传输运动图像数据之前以低于数据的频率的频率转换为运动图像序列来传输。然而，尽管图像具有提高运动模糊并且以高清晰度实现图像质量的效果，但是利用高速帧快门拍摄的图像具有造成接收和重放结束中使用的常规帧内插技术的图像质量的问题的因素。

利用高速帧快门拍摄的具有高清晰度的帧内插图像在运动矢量搜索可应用的帧与运动矢量搜索不可应用的帧之间产生较大差异。因此，该差异被显示为显著的图像劣化。需要高负载计算，以便在帧内插中提高运动矢量搜索的准确性。然而，高负载计算对接收器的成本产生不利影响。

现有技术文献

专利文献

专利文献1：特开2010-178124号公报

发明内容

本发明要解决的问题

为了允许与正常帧速率的常规接收器兼容，该兼容是具有高帧速率的服务，期望转换利用高速帧快门拍摄的图像数据，以便在以正常帧速率解码数据的常规接收器上显示具有预定质量或较高质量的图像。

本技术的目标是在良好状况下传输高帧速率的运动图像数据。

问题的解决方案

本技术的构思在于传输装置包括：

图像处理单元，通过以连续N个图片为单位处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项而提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二个至第个N图片的图像数据项作为第二至第N图片的图像数据项，来提供预定帧速率的第二运动图像数据，N是大于或等于二的整数；

图像编码单元，通过对图像处理单元中提供的第二运动图像数据中的图片的图像数据项进行编码来生成视频流；以及

传输单元，传输在图像编码单元中生成的视频流。

根据本技术，图像处理单元能够从预定帧速率的第一运动图像数据提供预定帧速率的第二运动图像数据。此时，图像处理单元通过以连续N个图片(N是大于或等于二的整数)为单位处理第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项而提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项。例如，平均处理是用于计算线性平均的处理或者用于计算非线性平均的处理。

图像编码单元通过对图像处理单元提供的第二运动图像数据中的每个图片的图像数据项进行编码来生成视频流。例如，图像编码单元可生成：第一视频流，包括N个图片的单位中的每一个中的第一图片的编码图像数据项；以及预定数量的第二视频流，包括N个图片的单位中的每一个中的第二至第N图片的编码图像数据项。例如，这允许具有解码预定帧速率的1/N的帧速率的运动图像数据的解码能力的接收端在解码处理中选择并仅解码第一视频流。接收端不需要具有复杂构造，以便执行例如用于结合几个视频流的处理。

应注意，在此情况下，图像编码单元可将图像处理单元中提供的第二运动图像数据中的图片的图像数据项分为多个分级层，编码分类后的分级层的每一个中的图片的图像数据项，将分级层分为预定数量的分级组，并且生成预定数量的视频流，该视频流可包括所划分的分级组的每一个中的图片的编码图像数据项，并且最低分级组包括N个图片的单位的每一个中的第一图片的编码图像数据项。

在此情况下，例如，图像编码单元可将第一识别信息插入到第一视频流中的编码图像数据项中，并且第一识别信息指示第一视频流包括第二视频流的时间改变元素。例如，图像编码单元可进一步将有关平均处理的信息插入到第一视频流中的编码图像数据项中。例如，该信息使接收端能够识别从平均处理中提供与第一视频流中的N个图片的单位中的每一个中的第一图片的编码图像数据项对应的图像数据项以及所执行的平均处理是哪种平均处理。

在此情况下，例如，传输单元可传输具有预定格式并且包括视频流的内容，并且传输装置可进一步包括：识别信息插入单元，将第二识别信息插入到内容中的层中，第二识别信息指示第一识别信息被插入到第一视频流中的编码图像数据项中。例如，这使接收端在没有处理编码图像数据的情况下能够从第二识别信息识别第一识别信息被插入到编码图像数据中。

此外，图像编码单元可被配置为将有关预定帧速率的第一运动图像数据中的每个图片的图像数据项的快门光圈时间比的信息插入到视频流中的每个图片的编码图像数据项中。例如，该插入使接收端能够根据有关快门光圈时间比的信息自适应地切换帧内插的处理。

根据如上所述的本技术，并不是无变化不传输预定帧速率的运动图像数据。传输其中通过在平均处理中平均N个图片的图像数据项而提供的图像数据项用作N个图片的单位的每一个中的第一图片的图像数据项的图像数据。例如，这允许具有解码预定帧速率的1/N的帧速率的运动图像数据的解码能力的接收端在解码处理中仅选择和解码N个图片单位的每一个中的第一图片的编码图像数据项，以便提供运动图像数据。这使接收端能够显示平滑图像，并且防止具有低负载计算的帧内插处理导致图像质量问题。

进一步地，本技术的另一构思在于接收装置，该接收装置包括：

接收单元，接收视频流，视频流是通过编码预定帧速率的运动图像数据中的每个图片的图像数据项而生成；以及

处理单元，处理利用接收单元接收的视频流，

其中，预定帧速率的运动图像数据是预定帧速率的第二运动图像数据，并且第二运动图像数据通过以下步骤提供：以连续N个图片为单元处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项而提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项，并且N是大于或等于二的整数。

根据本技术，接收单元接收通过编码预定帧速率的运动图像数据中的每个图片的图像数据项目而生成的视频流。预定帧速率的运动图像数据是预定帧速率的第二运动图像数据，并且第二运动图像数据是通过以连续N个图片(N是大于或等于二的整数)为单元处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项而提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项而提供。然后，处理单元处理所接收的视频流。

例如，利用接收单元接收的视频流可包括：第一视频流，包括N个图片的单位的每一个中的第一图片的编码图像数据项；以及预定数量的第二视频流，包括N个图片的单位每一个中的第二至第N图片的编码图像数据项。

进一步地，本技术的另一构思在于接收装置，该接收装置包括：

接收单元，接收通过编码预定帧速率的第二运动图像数据中的每个图片的图像数据项所生成的视频流，第二运动图像数据是通过以连续N个图片为单元处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项而提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项而提供，N是大于或等于二的整数；

图像解码单元，通过解码利用接收单元接收的视频流来提供预定帧速率的第二运动图像数据；以及

图像处理单元，通过处理在图像解码单元中提供的第二运动图像来提供第一运动图像数据。

根据本技术，接收单元接收视频流。该视频流是通过编码预定帧速率的第二运动图像数据中的每个图片的图像数据项而生成。第二运动图像数据是通过以连续N(N是大于或等于二的整数)个图片为单元处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项而提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项而提供。

例如，利用接收单元接收的视频流可包括：第一视频流，包括N个图片的单位的每一个中的第一图片的编码图像数据项；以及预定数量的第二视频流，包括N个图片的单位的每一个中的第二至第N图片的编码图像数据项。

图像解码单元通过解码利用接收单元接收的视频流提供预定帧速率的第二运动图像数据。图像处理单元通过处理利用图像解码单元提供的第二运动图像来提供第一运动图像数据。在该处理中，N个图片的单位的每一个中的第一图片的图像数据项从通过平均N个图片的图像数据项而提供的图像数据项恢复至平均处理之前的第一图片的图像数据项。

根据如上所述的本技术，N个图片的单位每一个中的第一图片的图像数据项被恢复至平均处理之前的第一图片的图像数据项。例如，这使具有解码预定帧速率的运动图像数据的解码能力的接收端能够显示具有高帧速率的高清晰度的光滑图像。

应注意，在本技术中，例如，可进一步包括显示处理单元，该显示处理单元通过在时间方向上插入图像处理单元中提供的第一运动图像数据来提供比预定帧速率高的帧速率的第三运动图像数据。在此情况下，例如，有关第一运动图像数据中的每个图片的图像数据项的快门光圈时间比的信息可插入利用接收单元接收的视频流中的每个图片的编码图像数据项中，并且显示处理单元可根据快门光圈时间比信息切换帧内插(frameinterpolation)处理。

进一步地，本技术的构思在于传输装置，该传输装置包括：

图像编码单元，通过编码预定帧速率的运动图像数据中的每个图片的图像数据项生成视频流；图像编码单元将有关预定帧速率的第一运动图像数据中的每个图片的图像数据项的快门光圈时间比的信息插入到视频流中的每个图片的编码图像数据项中；以及

传输单元，传输在图像编码单元中生成的视频流。

进一步地，本技术的构思在于接收装置，该接收装置包括：

接收单元，接收通过编码预定帧速率的运动图像数据中的每个图片的图像数据项而提供的视频流；

图像解码单元，通过解码利用接收单元接收的视频流来提供预定帧速率的运动图像数据；以及

显示处理单元，通过在时间方向上插入图像解码单元中所提供的第一图像数据来提供比预定帧速率高的帧速率的第三运动图像数据，

其中，有关预定帧速率的运动图像数据中的每个图片的图像数据项的快门光圈时间比的信息被插入利用接收单元接收的视频流中的每个图片的编码图像数据项中，并且

显示处理单元根据快门光圈时间比信息切换帧内插处理。

本发明的技术效果

根据本技术，可以在良好状况下传输高帧速率的运动图像数据。应注意，本技术的效果不必局限于本文中描述的效果，并且可包括本文中描述的任一效果。

附图说明

[图1]是作为实施方式的传输和接收系统的示例性构造的框图。

[图2]是用于改变帧速率的示例性处理的示图。

[图3]是传输装置的示例性构造的框图。

[图4]是包括在传输装置中的预处理器的示例性构造的框图。

[图5]是输入至包括在传输装置中的预处理器和从预处理器输出并且输入至包括在接收装置中的预处理器和从预处理器输出的数据项之间的示例性关系的示图。

[图6]是在编码器中执行的示例性分级编码的示图。

[图7]是示例性结构中的主要参数的NAL单元标题(header)和内容的示例性结构的示图。

[图8]是HEVC中的每个图片的编码图像数据项的形成的说明性示图。

[图9]是用于插入捕捉速度信息SEI的接口的示例性结构以及“capturing_speed_information()”的示例性结构的示图。

[图10]是“capturing_speed_information()”的示例性结构中的主要信息的内容的示图。

[图11]是快门速度信息描述符的示例性结构以及该示例性结构中的主要信息的内容的示图。

[图12]是HEVC描述符的示例性结构的示图。

[图13]是传送流TS的示例性形成的示图。

[图14]是(高帧速率兼容的)接收装置的示例性构造的框图。

[图15]是接收装置中的多路信号分离器(demultiplexer)中的流选择的说明性示图。

[图16]是接收装置中包括的后处理器的示例性构造的框图。

[图17]是(正常帧速率兼容的)接收装置的示例性构造的框图。

[图18]是输入至包括在传输装置中的预处理器和从预处理器输出并且输入至包括在接收装置中的预处理器和从预处理器输出的数据项之间的示例性关系的示图。

具体实施方式

在下文中，将描述用于执行本发明(以下称为“实施方式”)的方式。应注意，按以下顺序进行描述。

1.实施方式

2.示例性变形例

<1.实施方式>

[传输和接收系统]

图1示出了作为实施方式的传输和接收系统10的示例性构造。传输和接收系统10包括传输装置100和接收装置200。

传输装置100在广播波上传输作为为内容的传送流TS。传送流TS包括例如视频流，该视频流通过将形成高帧速率(在该实施方式中为120fps)的运动图像数据的每个图片的图像数据项分为多个分级层并且编码图像数据项而提供。例如，在这种情况下，图像数据项目以H.264/AVC或者H.265/HEVC进行编码。要编码的120fps的运动图像数据是120fps的第二运动图像数据，该第二运动图像数据是通过以连续两个图片为单元处理120fps的第一运动图像数据、使用通过在线性或非线性平均处理中平均两个图片的图像数据项而提供的图像数据项作为第一图片的图像数据项、并且无变化使用两个图片的第二图片的图像数据项作为第二图片的图像数据项来提供。

可替代地，例如，要编码的120fps的运动图像数据可以是来自输出120fps的运动图像数据的照相机的输出、或者可以是通过在改变处理中改变来自输出较高帧速率运动图像数据的照相机的输出的帧速率所提供的数据。

图2示出了用于改变帧速率的示例性处理。图2的(a)示出了从照相机输出的原始运动图像数据，快门光圈时间比为100％，并且帧速率为360fps。图2的(b)示出了帧速率在改变处理中改变之后为120fps的帧速率的示例性运动图像数据。在这个改变处理中，原始运动图像数据以三个图片为单位进行处理。三个图片的图像数据项被平均，使得生成具有改变的帧速率的运动图像数据中图片的图像数据项。三个图片的全部图像数据项被用在这个改变处理中，并且因此，先对通过原始图像序列覆盖的时间的快门光圈时间比为100％。

图2的(c)示出了帧速率改变之后的120fps的帧速率的示例性运动图像数据。在这个改变处理中，原始运动图像数据以三个图片为单位进行处理。三个图片中的两个图片的图像数据项被平均，使得生成具有改变的帧速率的运动图像数据中的图片的图像数据项。三个图片中的两个图片的图像数据项被用在这个改变处理中，并且因此，相对通过原始图像序列覆盖的时间的快门光圈时间比为66.7％。

图2的(d)示出了帧速率改变之后的120fps的帧速率的示例性运动图像数据。在这个改变处理中，原始运动图像数据以三个图片为单位进行处理。三个图片中的一个图片的图像数据项被用作改变的帧速率的运动图像数据中的图片的图像数据项。三个图片中的一个图片的图像数据项被用在这个改变处理中，并且因此，相对通过原始图像序列覆盖的时间的快门光圈时间比为33.3％。

图2的(e)示出了帧速率改变之后的180fps的帧速率的示例性运动图像数据。在这个改变处理中，原始运动图像数据以两个图片为单位进行处理。两个图片中的一个图片的图像数据项被用作改变的帧速率的运动图像数据中的图片的图像数据项。两个图片中的一个图片的图像数据项被用在这个改变处理中，并且因此，相对通过原始图像序列覆盖的时间的快门光圈时间比为50％。

图2的(f)示出了帧速率改变之后的60fps的帧速率的示例性运动图像数据。在这个改变处理中，原始运动图像数据以六个图片为单位进行处理。六个图片中的头三个图片的图像数据项被平均，使得生成具有改变的帧速率的运动图像数据中的图片的图像数据项。六个图片中的三个图片的图像数据项被用在这个改变处理中，并且因此，相对通过原始图像序列覆盖的时间的快门光圈时间比为50％。

传送流TS包括预定数量的视频流。在这个实施方式中，传送流TS包括：基础流(第一视频流)，包括两个图片为单位的每一个中的第一图片的编码图像数据项；以及增强流(第二视频流)，包括两个图片为单位的每一个中的第二图片的编码图像数据项。

在这个实施方式中，多个分级层被分成两个分级组。生成包括最低分级组中的图片的编码图像数据项的基础流以及包括比最低分级组高的分级组中的图片的编码图像数据项的增强流。在这种情况下，两个图片为单元的每一个中的第一图片的编码图像数据项与最低分级组中的图片的编码图像数据项相对应。

用于识别每个图片所属的分级层的分级识别信息被添加到每个分级层中的每个图片的编码图像数据项。在这个实施方式中，分级识别信息(“nuh_temporal_id_plus1”意指temporal_id)被放置在每个图片中的NAL单元(nal_unit)的标题部分处。如上所述添加分级识别信息使接收端能够识别NAL单元层中的每个图片的分级层。

在这个实施方式中，指示基础流包括增强流的时间改变元素(换言之，指示与基础流中的每个图片的编码图像数据项相对应的图像数据项从平均处理中被提供)的识别信息(第一识别信息)、以及指示执行平均处理的平均处理信息被插入在包括在基础流和增强流中的编码图像数据项中。该信息使接收端能够容易地识别从平均处理中提供与基础流中的两个图片为单位的每一个的第一图片的编码图像数据项相对应的图像数据项、以及所执行的平均处理是哪种平均处理。

在这个实施方式中，指示以上所述识别信息(第一识别信息)被插入编码图像数据项中的识别信息(第二识别信息)被插入传送流TS的层中。这个识别信息作为描述符被插入与节目映射表下的每个视频流对应的视频基本码流回路中。例如，这个信息使接收端能够在没有处理编码图像数据项的情况下从该识别信息识别在编码图像数据项中插入识别信息。

在这个实施方式中，有关第一运动图像数据中的每个图片的图像数据项的快门光圈时间比的信息被插入基础流和增强流中的编码图像数据项中。例如，这个信息使接收端能够根据有关快门光圈时间比的信息自适应地切换帧内插的处理。

接收装置200接收在广播波上从传输装置100传输的传送流TS。当具有解码60fps的运动图像数据的解码能力时，接收装置200仅解码包括在传送流TS中的基础流以提供60fps的运动图像数据，并且重放该图像。

可替代地，当具有解码120fps的运动图像数据的解码能力时，接收装置200解码包括在传送流TS中的基础流和增强流这两者，并且提供120fps的运动图像数据(第二运动图像数据)。然后，接收装置200例如根据平均处理信息从120fps的第二运动图像数据生成120fps的第一图像数据，并且重放该图像。

应注意，接收装置200根据需要在内插处理中在时间方向上内插运动图像数据，以在显示该图像之前提供较高帧速率的运动图像数据。然后，接收装置200显示图像。在这种情况下，接收装置200根据有关每个图片的编码图像数据项中插入的快门光圈时间比的信息切换帧内插的处理。

[传输装置的构造]

图3示出了传输装置100的示例性构造。传输装置100包括预处理器101、编码器102、多路复用器103和传输单元104。预处理器101处理120fps的运动图像数据P(n)(第一运动图像数据)以提供120fps的运动图像数据Q(n)(第二运动图像数据)。

在这个构造中，预处理器101通过如下步骤提供120fps的运动图像数据Q(n)：以连续两个图片为单位处理120fps的运动图像数据P(n)、使用通过在线性或非线性平均处理中平均两个图片的图像数据项提供的图像数据项作为第一图片的图像数据项；并且无变化地使用两个图片的第二图片的图像数据项作为第二图片的图像数据项。

图4示出了预处理器101的示例性构造。预处理器101包括切换电路(switchcircuit)110和114、用于帧周期的延迟元件111和113以及加法电路112。120fps的运动图像数据P(n)被提供至切换电路110的可移动终端。当提供偶数帧时切换电路110连接至“偶数”侧上的固定终端，并且当提供奇数帧时连接至“奇数”侧上的固定终端。

提供至切换电路110的“偶数”侧上的固定终端的偶数帧的图像数据项通过延迟元件111中的帧周期延迟并且以“1/2”的增益输入至加法电路112。提供至切换电路110的“奇数”侧上的固定终端的奇数帧的图像数据项以“1/2”的增益输入至加法电路112。

加法电路112计算连续两个图像数据项(偶数帧和奇数帧的图像数据项)的线性平均值。从加法电路112输出的图像数据项被输入至切换电路114的“奇数”侧上的固定终端。提供至切换电路110的一侧的固定终端的奇数帧的图像数据项通过延迟元件113中的帧周期延迟，并且被输入至切换电路114的“偶数”侧的固定终端。

当提供偶数帧时切换电路114连接至“偶数”侧的固定终端，并且当提供奇数帧时连接至“奇数”侧的固定终端。其中从平均处理中提供的偶数帧的图像数据项和奇数帧的图像数据项交替放置的120fps的运动图像数据Q(n)从切换电路114的可移动终端提供。

图5的(a)和图5的(b)示意性地示出了输入至预处理器101的数据(运动图像数据P(n))与从预处理器101输出的数据(运动图像数据Q(n))之间的示例性关系。运动图像数据Q(n)中的图片的图像数据项目Q0#、Q1、Q2#、Q3…分别从运动图像数据P(n)中的图片的图像数据项P0、P1、P2、P3…提供。

应注意，在图5的(a)和图5的(b)中，双引号“”中的数值是每个帧中的图像数据项中的示例性像素值。例如，图像数据项Q0#具有像素值“7”，该像素值是图像数据项P0的像素值“6”和图像数据项P1的像素值“8”的平均值。这个值表示图像数据Q0#通过在线性平均处理中平均图像数据项P0和图像数据项P1来提供。例如，图像数据项Q1具有像素值“8”，该像素值与图像数据项P1的像素值“8”相同。这个值表示图像数据项Q1与图像数据项P1相同。

再次参考图3，编码器102分级编码在预处理器101中提供的120fps的运动图像数据Q(n)。编码器102将运动图像数据Q(n)中的图片的图像数据项分为多个分级层。编码器102编码每一个分级层中的分类图像数据项并且生成包括在每一个分级层中的图片的编码图像数据项的视频流。例如，编码器102以H.264/AVC或H.265/HEVC执行编码。在编码中，编码器102执行编码，使得要参考的图片(参考图片)属于本分级层和/或低于本分级层的层。

图6示出了在编码器102中执行的示例性分级编码。在这个实例中，数据时间被分为从零至四的五个分级层。每一个分级层中的图片的图像数据项被编码。在纵轴上示出了分级层。零至四被设置为放置在NAL单元(nal_unit)的标题部分中的temporal_id(分级识别信息)，该标题部分被包括在从零至四的分级层中的图片的编码图像数据项中。另一方面，在水平轴上示出了组成的图片顺序(POC)。在水平轴的左侧上示出了初期显示时间，并且在右侧上示出了后期显示时间。

图7的(a)示出了NAL单元标题的示例性结构(语法)。图7的(b)示出了示例性结构中的主要参数的内容(语义)。“Forbidden_zero_bit”的一位字段需要零。“NaL_unit_type”的六位字段表示NAL单元的类型。在本文中，“Nuh_layer_id”的六位字段被设定为零。“nuh_temporal_id_plus1”的三位字段表示temporal_id并且采用增加了一(一至七)的值。

再次参考图6，每个矩形帧是一个图片并且数字是图片被编码的顺序，换言之，编码的顺序(接收端上的解码的顺序)。在图6的实例中，16个图片“2”至“17”形成子图片组(图片的子组合)。图片“2”是子图片组的第一图片。图片“1”是前一子图片组的图片。一些子图片组聚集并且形成图片组(GOP)。

如图8中所示，GOP的第一图片的编码图像数据项包括NAL单元AUD、VPS、SPS、PPS、PSEI、SLICE、SSEI和EOS。另一方面，除了GOP的第一图片的图片包括NAL单元AUD、PPS、PSEI、SLICE、SSEI和EOS。可以在序列(GOP)中与SPS一起传输VPS，同时可以在每个图片中传输PPS。应注意，EOS不一定存在。

再次参考图6，实线箭头示出了当图片被编码时的图片之间的参考关系。例如，图片“2”是P图片并且参考图片“1”被编码。图片“3”是可以参考的B图片并且参考图片“1”和图片“2”被编码。类似地，其他图片以显示顺序参考相近图片被编码。应注意，顶部分级层上的图片不被其他图片参考。

再次参考图3，编码器102生成预定数量的视频流。在这个实施方式中，编码器102生成包括偶数帧的编码图像数据项的基础流与包括奇数帧的编码图像数据项的增强流。然后，多个分级层被分为两组分级层。生成包括最低分级组上的图片的编码图像数据项的基础流以及包括比最低分级组高的分级组上的图片的编码图像数据项的增强流。上述偶数帧的编码图像数据项与最低分级组上的图片的编码图像数据项相对应。

在图6中的示例性分级编码中，编码器102例如通过将分级层0至3分为最低分级组并且分级层4至放置在最低分级组上的分级组，来将分级层分为两个分级组。在图6中，分级组利用虚线被分开。在这个划分中，包括最低分级组上的图片的编码图像数据项的视频流被确定为基础流，其流类型为“0x24”。包括放置在最低分级组合上的分级组上的图片的编码图像数据的视频流被确定为增强流，其流类型为重新定义的“0x25”。

流类型被包括在用于识别预定数量的视频流中的每一个是基础流还是增强流的识别信息中。流类型被插入传送流TS中的层中。换言之，流类型被插入放置在节目映射表(PMT)下的视频基本码流回路(视频ES回路)中，与预定数量的视频流中的每一个相对应。

如上所述，编码器102将识别信息(第一识别信息)和平均处理信息插入到基础流和增强流中包括的每个图片的编码图像数据项中。第一识别信息指示从平均处理中提供与基础流中包括的每个图片的编码图像数据项相对应的图像数据项。平均处理信息表示执行哪个平均处理。如上所述，编码器102进一步将有关运动图像数据P(n)中的每个图片的图像数据项的快门光圈时间比的信息插入到基础流和增强流中包括的每个图片的编码图像数据项中(参见图2的(b)至图2的(d))。

编码器102插入重新定义的捕捉速度信息SEI(Capturing_speed_informationSEI)作为前缀SEI之一(Prefix_SEI)。

图9的(a)示出了用于插入捕捉速度信息SEI的界面(I/F)的示例性结构(语法)。“uuid_iso_iec_11578”字段具有用“ISO/IEC 11578:1996附件A.”表示的UUID值。“capturing_speed_information()”被插入“user_data_payload_byte”字段中。

图9的(b)示出了“capturing_speed_information()”的示例性结构(语法)。图10示出了示例性结构中的主要信息的内容(语义)。预定用户数据的ID附接至16位字段的“userdata_id”。八位字段的“capturing_speed_information_length”表示“capturing_speed_information”的字节的数量(该数量是从元素的下一元素中计算得出的)。

当要输入至编码器的图像从照相机拍摄的源数据中生成时，五位字段的“shutter_ratio_denominator_minus1”表示快门光圈时间比的分母的值。当要输入至编码器的图像从照相机拍摄的源数据中生成时，五位字段的“shutter_ratio_numerator_minus1”表示快门光圈时间比的分子的值。在这个实例中，快门光圈时间比用(SRN+1)/(SRD+1)表示。

一位字段的“cross_stream_smoothing_base_flag”表示流是否被编码，使得服务中包括的多个流具有时间可伸缩性并且最低分级层上的基础流(base stream)除了最低分级层之外还包括层上的流的时间改变元素。换言之，一位字段表示是否从平均处理中提供与基础流中包括的每个图片的编码图像数据项相对应的图像数据项。“1”意指基础流包括除了最低分级层之外的层上的流的时间改变元素。“0”意指基础流不包括除了最低分级层之外的层上的流的时间改变元素。

当一位字段的“cross_stream_smoothing_base_flag”是“1”时，存在八位字段的“smoothing_type”。该字段表示平滑的方法，也就是，平均处理。“0x00”表示计算线性平均，而其他值表示计算非线性平均。根据类型指定平均处理的程序。应注意，图5的(a)和图5的(b)是线性平均值的示例性计算。当计算非线性平均时，例如，图片P0的增益与图片P1的增益不同。

再次参考图3，多路复用器103将编码器102中生成的视频流打包为打包的基本码流(PES)数据包。多路复用器103通过将视频流打包为传输数据包而多路复用视频流。然后，多路复用器103将传送流TS提供为多路复用流。在这个实施方式中，传送流TS包括基础流和增强流。

多路复用器103将识别信息(第二识别信息)插入到传送流TS中的层中。第二识别信息表示识别信息(第一识别信息)被插入基础流和增强流中包括的编码图像数据项中。识别信息作为描述符被插入放置在节目映射表下的视频基本码流回路中，与每个视频流相对应。

多路复用器103插入与HEVC描述符(HEVC_descriptor)一起重新定义的快门速度信息描述符(Shutter_speed_information_descriptor)中。图11的(a)示出了快门速度信息描述符的示例性结构(语法)。图11的(b)示出了示例性结构中的主要信息的内容(语义)。

八位字段的“Shutter_speed_information_descriptor_tag”表示描述符的类型。在这个实例中，八位字段表示描述符是快门速度信息描述符。八位字段的“Shutter_speed_information_descriptor_length”表示描述符的长度(大小)。八位字段表示随后字节作为描述符的长度的数量。在这个实例中，八位字段表示该长度是一字节。

一位字段的“Shutter_speed_information_SEI_existed”表示捕捉速度信息SEI(Capturing_speed_information SEI)是否被编码在视频流中。“1”表示保证SEI被编码在视频流中。“0”表示不保证SEI被编码在视频流中。

图12示出了HEVC描述符(HEVC_descriptor)的示例性结构(语法)。八位字段的“descriptor_tag”表示描述符的类型。在这个实例中，八位字段表示该描述符是HEVC描述符。八位字段的“descriptor_length”表示描述符的长度(大小)。八位字段表示随后字节作为描述符的长度的数量。

八位字段的“level_idc”表示位速率的水平指定值。当保持“temporal_layer_subset_flag＝1”时，存在五位字段的“temporal_id_min”和五位字段的“temporal_id_max”。“temporal_id_min”表示相应的视频流中包括的分级编码数据项的最低分级层上的temporal_id的值。“temporal_id_max”表示相应的视频流中包括的分级编码数据项的顶端分级层上的temporal_id的值。

图13示出了传送流TS的示例性形成。传送流TS包括两个视频流：基础流和增强流。换言之，在示例性形成中存在作为基础流的PES数据包“视频PES1”并且存在作为增强流的PES数据包“视频PES2”。捕捉速度信息SEI被插入PES数据包“视频PES1”和“视频PES2”中包含的每个图片的编码图像数据项中。

节目映射表(PMT)包括为传送流TS中的节目特定信息(PSI)的类型。PSI是表示包括在传输流中的每个基本码流属于哪个节目的信息。

在PMT中存在描述有关整个节目的信息的节目回路(Program loop)。在PMT中还存在包括有关每个视频流的信息的基本码流回路。在示例性形成中，存在与基础流对应的视频基本码流回路“视频ES1回路”，同时存在与增强流对应的视频基本码流回路“视频ES2回路”。

有关例如流的类型和数据包标识符(PID)的基础流(视频PES1)的信息与描述有关视频流的信息的描述符一起放置在“视频ES1回路”中。流类型是表示基础流的“0x24”。上述HEVC描述符和快门速度信息描述符作为描述符被插入。

有关例如流的类型和数据包标识符(PID)的增强流(视频PES2)的信息与描述有关视频流的信息的描述符一起放置在“视频ES2回路”中。流类型表示增强流，并且例如是重新定义的“0x25”。上述HEVC描述符和快门速度信息描述符作为描述符被插入。

再次参考图3，传输单元104利用适合于广播的调制方法，例如利用QPSK/OFDM调制来调制传送流TS。传输单元104从传输天线传输RF调制信号。

将简要描述图3中示出的传输装置100的操作。120fps的运动图像数据P(n)(第一运动图像数据)作为高帧速率的运动图像数据被输入至预处理器101。预处理器101处理120fps的运动图像数据P(n)并且提供120fps的运动图像数据Q(n)(第二运动图像数据)。

在这个处理中，预处理器101通过如下步骤提供120fps的运动图像数据Q(n)：以连续两个图片为单位处理运动图像数据P(n)、使用通过在线性或非线性平均处理中平均两个图片的图像数据项所提供的图像数据项作为第一图片的图像数据项、并且无变化地使用两个图片的第二图片的图像数据项作为第二图片的图像数据项(参见图5的(a)和图5的(b))。

在预处理器101中提供的120fps的运动图像数据Q(n)被提供至编码器102。编码器102分级编码运动图像数据Q(n)。换言之，编码器102将运动图像数据Q(n)中的图片的图像数据项分为多个分级层以编码图像数据项，并且生成包括每个分级层中的图片的编码图像数据项的视频流。执行分级编码，使得要参考的图片属于本分级层和/或低于本分级层的分级层。

编码器102生成包括偶数帧的编码图像数据项的基础流与包括奇数帧的编码图像数据项的增强流。在生成中，分级层被分为两个分级组。因此，编码器102生成：基础流，包括最低分级组中的图片的编码图像数据项；以及增强流，包括高于最低组的分级组中的图片的编码图像数据项。上述偶数帧的编码图像数据项与最低分级组中的图片的编码图像数据项相对应。

编码器102将识别信息(第一识别信息)和平均处理信息插入到基础流和增强流中包括的每个图片的编码图像数据项中。第一识别信息指示从平均处理中提供与基础流中包括的每个图片的编码图像数据项相对应的图像数据项。平均处理信息表示执行哪个平均处理。编码器102进一步将有关运动图像数据P(n)中包括的每个图片的图像数据项的快门光圈时间比的信息插入到基础流和增强流中包括的每个图片的编码图像数据项中。具体地，编码器102将重新定义的捕捉速度信息SEI作为前缀SEI中的一个而插入。

在编码器102中生成的视频流被提供至多路复用器103。多路复用器103将在编码器102中生成的视频流打包为PES数据包，并且将视频流多路复用为传输数据包以将传送流TS提供为多路复用流。传送流TS包括基础流和增强流。

多路复用器103将识别信息(第二识别信息)插入到传送流TS中的层中。第二识别信息指示识别信息(第一识别信息)被插入基础流和增强流中包括的编码图像数据项中。识别信息作为描述符被插入到放置在节目映射表下的视频基本码流回路中，与每个视频流相对应。具体地，多路复用器103将重新定义的快门速度信息描述符与HEVC描述符一起插入。

在多路复用器103中生成的传送流TS被传输至传输单元104。传输单元104在适合于广播的调制方法例如在QPSK/OFDM调制中调制传送流TS，并且从传输天线传输RF调制信号。

[接收装置的构造]

图14示出了接收装置200A的示例性构造，该接收装置具有解码120fps的运动图像数据的解码能力。接收装置200A包括接收单元201、多路信号分离器202、解码器203、后处理器204和显示处理器205。

接收单元201解调以接收天线接收的RF调制信号以获取传送流TS。如图15的(b)中所示，多路信号分离器202通过过滤PID从传送流TS提取基础流和增强流。然后，多路信号分离器202根据解码时间信息将基础流和增强流结合到视频流中，并且将该视频流提供至解码器203。

多路信号分离器202从传送流TS中的层提取部分信息，并且将该部分信息传输至控制单元(未示出)。此时，还提取快门速度信息描述符。从该信息中，控制单元识别捕捉速度信息SEI被插入基础流和增强流中包括的编码图像数据项中。

解码器203解码从多路信号分离器202提供的视频流以提供与传输装置100中的运动图像数据Q(n)相对应的120fps的运动图像数据Q’(n)。解码器203提取视频流中包括的每个图片的编码图像数据项中插入的捕捉速度信息SEI，并且将该捕捉速度信息SEI传输至控制单元(未示出)。

从该信息中，控制单元识别从平均处理中提供与基础流中包括的每个图片的编码图像数据项相对应的图像数据项。控制单元进一步识别执行哪个平均处理。控制单元进一步识别以下将描述后处理器204中提供的120fps的运动图像数据Z(n)中包括的每个图片的图像数据项的快门光圈时间比。

后处理器204在至利用传输装置100中的预处理器101的处理的逆向处理中处理120fps的运动图像数据Q’(n)，以提供与运动图像数据P(n)相对应的120fps的运动图像数据Z(n)。当与基础流中包括的每个图片的编码图像数据项对应的图像数据项从平均处理中提供时，后处理器204在控制单元的控制下参考平均处理信息执行该处理。

图16示出了后处理器204的示例性构造。后处理器204包括切换电路240和244、用于帧周期的延迟元件241和243以及加法电路242。120fps的运动图像数据Q’(n)被提供至切换电路240的可移动终端。当提供偶数帧时切换电路240连接至“偶数”侧上的固定终端，并且提供奇数帧时连接至“奇数”侧上的固定终端。

提供至切换电路240的“偶数”侧上的固定终端的偶数帧的图像数据项通过延迟元件241中的帧周期延迟，并且以增益“1”输入至加法电路242。提供至切换电路110的“奇数”侧上的固定终端的奇数帧的图像数据项以增益“-1/2”输入至加法电路242。

加法电路242在连续两个图像数据项的单位的每一个中从偶数帧的图像数据项减去奇数帧的半个图像数据项(偶数帧和奇数帧的图像数据项)。从加法电路242输出的图像数据项以增益“2”输入至切换电路244的“奇数”侧上的固定终端。提供至切换电路240的侧面上的固定终端的奇数帧的图像数据项通过延迟元件243中的帧周期延迟，并且被输入至切换电路244的“偶数”侧上的固定终端。

切换电路244连接至提供偶数帧的“偶数”侧的固定终端，并且连接至提供奇数帧的“奇数”侧的固定终端。其中恢复至平均处理之前的状态的偶数帧的图像数据项和奇数帧的图像数据项被交替放置的120fps的运动图像数据Z(n)从切换电路244的可移动终端中提供。

图5的(b)和图5的(c)示意性地示出了输入至后处理器204的数据(运动图像数据Q’(n))与从后处理器204输出的数据(运动图像数据Z(n))之间的关系。运动图像数据Q(n)中的图片的图像数据项目Z0、Z1、Z2、Z3…从运动图像数据Q’(n)中的图片的图像数据项Q0#、Q1、Q2#、Q3…中被提供。

应注意，在图5的(b)和图5的(c)中，双引号“”中的数值是每个帧中的图像数据项中的示例性像素值。例如，图像数据项Z0、Z2和Z4分别具有像素值“6”、“12”和“8”，它们与图像数据项P0、P2和P4的像素值“6”、“12”和“8”相同。该值表示帧的图像数据项恢复至平均处理之前的状态。

显示处理器205在时间方向上也就是在帧内插处理中内插后处理器204中所提供的120fps的运动图像数据Z(n)，以提供高于120fps的帧速率的运动图像数据。显示处理器205在控制单元的控制下根据运动图像数据Z(n)中的每个图片的图像数据项的快门光圈时间比切换帧内插的处理。

例如，当快门速度与帧速率的比例减小(当快门速度相当增加)时，换言之，随着快门光圈时间比减小，这个切换减小在运动预测处理中要处理的块大小。将预测算法切换为具有较高准确度的预测算法。这使能够显示利用高清晰度的稳定质量。

将简要描述图14中示出的接收装置200的操作。接收单元201解调以接收天线接收的RF调制信号以提供传送流TS。传送流TS被传输至多路信号分离器202。多路信号分离器202通过过滤PID从传送流TS提取基础流和增强流。然后，多路信号分离器202根据解码时间信息将基础流和增强流结合到视频流中，并且将该视频流提供至解码器203。

多路信号分离器202从传送流TS中的层提取部分信息，并且将该部分信息传输至控制单元(未示出)。那时，还提取快门速度信息描述符。从该信息中，控制单元识别捕捉速度信息SEI被插入基础流和增强流中包括的编码图像数据项中。

解码器203解码从多路信号分离器202提供的视频流以提供与传输装置100中的运动图像数据Q(n)相对应的120fps的运动图像数据Q’(n)。解码器203提取视频流中包括的每个图片的编码图像数据项中插入的捕捉速度信息SEI，并且将该捕捉速度信息SEI传输至控制单元(未示出)。

从该信息中，控制单元识别从平均处理中提供与基础流中包括的每个图片的编码图像数据项相对应的图像数据项。控制单元进一步识别执行哪个平均处理。控制单元进一步识别以下将描述后处理器204中提供的120fps的运动图像数据Z(n)中包括的每个图片的图像数据项的快门光圈时间比。

在解码器203中提供的120fps的运动图像数据被提供至后处理器204。后处理器204在控制单元的控制下在至利用传输装置100中的预处理器101的处理的逆向处理中处理120fps的运动图像数据Q’(n)，以提供与运动图像数据P(n)相对应的120fps的运动图像数据Z(n)。此时，控制单元根据捕捉速度信息SEI识别从平均处理中提供与基础流中包括的每个图片的编码图像数据项相对应的图像数据项。后处理器204参考平均处理信息执行处理。

后处理器204中提供的120Hz的运动图像数据Z(n)被提供至显示处理器205。显示处理器205在时间方向上也就是在帧内插处理中内插后处理器204中提供的120fps的运动图像数据Z(n)，以提供高于120fps的帧速率的运动图像数据。图像数据被提供至显示单元，使得显示图像。

图17示出了接收装置200B的示例性构造，该接收装置具有解码60fps的运动图像数据的解码能力。在图17中，与图14中的部件相对应的部件具有相同的参考符号，并且将适当省略对细节的描述。接收装置200B包括接收单元201、多路信号分离器202、解码器203和显示处理器205。

接收单元201解调以接收天线接收的RF调制信号以获取传送流TS。如图15的(a)中所示，多路信号分离器202通过过滤PID从传送流TS仅提取基础流，以将基础流提供至解码器203。

解码器203解码从多路信号分离器202提供的基础流以提供60fps的运动图像数据。显示处理器205在时间方向上也就是在帧内插处理中内插解码器203中提供的60fps的运动图像数据，以提供高于60fps的帧速率的运动图像数据。图像数据被提供至显示单元，使得显示图像。

如上所述，图1中示出的传输和接收系统10中的传输端并不原样地传输120fps的运动图像数据P(n)(其是高帧速率的运动图像数据)。传输端传输如下图像数据：其中，通过在平均处理中平均两个图片为单位的每一个中的图像数据项而提供的图像数据项被用作两个图片为单位的每一个中的第一图片的图像数据项。

因此，例如，当具有解码60fps的运动图像数据的解码能力时(参见图17)，接收端仅选择两个图片为单位的每一个中的第一图片的编码图像数据项，并且解码图像数据项以提供60fps的运动图像数据。这使接收端能够显示平滑图像。这可以防止以低负载计算的帧内插处理导致图像质量的问题。

图1中示出的传输和接收系统10中的接收端将两个图片为单位的每一个中的第一图片的图像数据项恢复至平均处理之前的第一图片的图像数据项。当接收端具有解码例如120fps的运动图像数据的解码能力时(参见图14)，这使接收端能够以高帧速率显示具有高清晰度的平滑图像。

<2.示例性变形例>

应注意，在本实施方式中，尽管整个数据的帧速率为120fps，而基础流的帧速率为60fps，但是帧速率的组合不限于本实施方式。例如，100fps和50fps的帧速率的组合可以类似方式进行处理。

在本实施方式中，整个数据的帧速率与基础流的帧速率的比例为2：1，换言之，保持N＝2。然而，本技术不仅可适用于比例2：1，而且以类似方式可适用于另一比例。

图18的(a)和图18的(b)示意性地示出了当比例为4：1时，换言之，保持N＝4，输入至预处理器101的数据(运动图像数据P(n))与从预处理器101输出的数据(运动图像数据Q(n))之间的示例性关系。在这个实例中，计算线性平均值。运动图像数据Q(n)中的图片的图像数据项Q0#、Q1、Q2、Q3、Q4#、Q5、Q26#、Q7…分别从运动图像数据P(n)中的图片的图像数据项P0、P1、P2、P3、P4、P5、P6、P7…中提供。

应注意，在图18的(a)和图18的(b)中，双引号“”中的数值是每个帧中的图像数据项中的示例性像素值。例如，图像数据项目Q0#具有像素值“9”，该像素值是图像数据项P0、P1、P2和P3的像素值“6”、“8”、“12”和“10”的平均值。这个值表示通过线性均分图像数据项P0、P1、P2和P3来提供图像数据Q0#。例如，图像数据项Q1、Q2和Q3具有像素值“8”、“12”和“10”，它们与图像数据项P1、P2和P3的像素值“8”、“12”和“10”相同。该值表示图像数据项Q1、Q2和Q3与图像数据项P1、P2和P3相同。

图18的(b)和图18的(c)示意性地示出了当比例为4:1时，换言之，保持N＝4，输入至后处理器204的数据(运动图像数据Q’(n))与从后处理器204输出的数据(运动图像数据Z(n))之间的示例性关系。运动图像数据Q(n)中的图片的图像数据项Z0、Z1、Z2、Z3、Z4、Z5、Z6、Z7…分别从运动图像数据Q’(n)中的图片的图像数据项Q0#、Q1、Q2、Q3、Q4#、Q5、Q26#、Q7…中提供。

应注意，在图18的(b)和图18的(c)中，双引号“”中的数值是每个帧中的图像数据项中的示例性像素值。例如，图像数据项Z0和Z4分别具有像素值“6”和“8”，它们与图像数据项P0和P4的像素值“6”和“8”相同。该值表示帧的图像数据项恢复至平均处理之前的状态。

在实施方式中，传输和接收系统10包括传输装置100和接收装置200。然而，本技术可适用的传输和接收系统的构造不限于本实施方式。例如，接收装置200可包括机顶盒和监控器，它们经由诸如高清晰度多媒体接口(HDMI)的数字接口连接。应注意，“HDMI”是注册商标。

在本实施方式中，内容是传送流(MPEG-2TS)。然而，本技术类似地适用于系统，该系统被配置为使用诸如互联网的网络将数据分布至接收终端。MP4格式或者另一格式中的内容经常用于经由互联网进行分布。换言之，可以使用数字广播标准中使用的诸如传输流(MPEG-2TS)的各种内容或者用于经由互联网分布的MP4格式的内容作为该内容。

可替代地，本技术可具有以下构造。

(1)一种传输装置，包括：

图像处理单元，通过以连续N个图片为单位处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项而提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项，来提供预定帧速率的第二运动图像数据，N是大于或等于二的整数；

图像编码单元，通过编码图像处理单元中提供的第二运动图像数据中的图片的所述图像数据项来生成视频流；以及

传输单元，传输在图像编码单元中生成的视频流。

(2)根据(1)所述的传输装置，其中，图像编码单元生成：第一视频流，包括N个图片为单位的每一个中的第一图片的编码图像数据项；以及预定数量的第二视频流，包括N个图片为单位的每一个中的第二至第N图片的编码图像数据项。

(3)根据(2)所述的传输装置，其中

图像编码单元将在图像处理单元中提供的第二运动图像数据中的图片的图像数据项分为多个分级层、编码分类的分级层中的每一个中的图片的图像数据项、将分级层分为预定数量的分级组、并且生成预定数量的视频流，视频流包括划分的分级组中的每一个中的图片的编码图像数据项，并且

最低分级组包括N个图片为单位的每一个中的第一图片的编码图像数据项。

(4)根据(2)或(3)所述的传输装置，其中

图像编码单元将第一识别信息插入到第一视频流中的编码图像数据项中，并且第一识别信息指示第一视频流包括第二视频流的时间改变元素。

(5)根据(2)至(4)中任一项所述的传输装置，其中

图像编码单元进一步将有关平均处理的信息插入到第一视频流中的编码图像数据项中。

(6)根据(4)或(5)所述的传输装置，其中

传输单元传输具有预定格式并且包括视频流的内容，

传输装置进一步包括：

识别信息插入单元，将第二识别信息插入到内容中的层中，第二识别信息指示第一识别信息被插入第一视频流中的编码图像数据项中。

(7)根据(1)至(6)中任一项所述的传输装置，其中

图像编码单元将有关预定帧速率的第一运动图像数据中的图片中的每一个的图像数据项的快门光圈时间比的信息插入到视频流中包括的编码图像数据项中。

(8)一种传输方法，包括：

图像处理步骤，通过以连续N个图片为单位处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项而提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项，来提供预定帧速率的第二运动图像数据，N是大于或等于二的整数；

图像编码步骤，通过编码图像处理步骤中提供的第二运动图像数据中的图片的图像数据项来生成视频流；以及

传输步骤，传输在图像编码步骤中生成的视频流。

(9)一种接收装置，包括：

接收单元，接收视频流，该视频流是通过编码预定帧速率的运动图像数据中的每个图片的图像数据项而生成；以及

处理单元，处理利用接收单元接收的视频流，

其中，预定帧速率的运动图像数据是预定帧速率的第二运动图像数据，并且第二运动图像数据是通过以连续N个图片为单位处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项所提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项来提供，并且N是大于或等于二的整数。

(10)根据(9)所述的接收装置，其中

利用接收单元接收的视频流包括：第一视频流，包括N个图片为单位的每一个中的第一图片的编码图像数据项；以及预定数量的第二视频流，包括N个图片为单位的每一个中的第二至第N图片的编码图像数据项。

(11)一种接收装置，包括：

接收单元，接收通过编码预定帧速率的第二运动图像数据中的每个图片的图像数据项所生成的视频流，第二运动图像数据是通过以连续N个图片为单位处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项所提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项来提供，N是大于或等于二的整数；

图像解码单元，通过解码利用接收单元接收的视频流提供预定帧速率的第二运动图像数据；以及

图像处理单元，通过处理在图像解码单元中提供的第二运动图像来提供第一运动图像数据。

(12)根据(11)所述的接收装置，其中

利用接收单元接收的视频流包括：第一视频流，包括N个图片为单位的每一个中的第一图片的编码图像数据项；以及预定数量的第二视频流，包括N个图片为单位的每一个中的第二至第N图片的编码图像数据项。

(13)根据(11)或(12)所述的接收装置，进一步包括：

显示处理单元，通过在时间方向上内插图像处理单元中所提供的第一运动图像数据来提供高于预定帧速率的帧速率的第三运动图像数据。

(14)根据(13)所述的接收装置，其中

有关第一运动图像数据中的每个图片的图像数据项的快门光圈时间比的信息被插入利用接收单元接收的视频流中的每个图片的编码图像数据项中，并且

显示处理单元根据快门光圈时间比信息切换帧内插处理。

(15)一种接收方法，包括：

接收步骤，接收通过编码预定帧速率的第二运动图像数据中的每个图片的图像数据项所生成的视频流，第二运动图像数据通过以连续N个图片为单位处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均N个图片的图像数据项而提供的图像数据项作为第一图片的图像数据项、并且无变化地使用N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项来提供，N是大于或等于二的整数；

图像解码步骤，通过解码利用接收步骤接收的视频流来提供预定帧速率的第二运动图像数据；以及

图像处理步骤，通过处理在图像解码步骤中所提供的第二运动图像来提供第一运动图像数据。

(16)一种传输装置，包括：

图像编码单元，通过编码预定帧速率的运动图像数据中的每个图片的图像数据项生成视频流；图像编码单元将有关预定帧速率的第一运动图像数据中的每个图片的图像数据项的快门光圈时间比的信息插入到视频流中的每个图片的编码图像数据项中；以及

传输单元，传输在图像编码单元中生成的视频流。

(17)一种接收装置，包括：

接收单元，接收通过编码预定帧速率的运动图像数据中的每个图片的图像数据项所提供的视频流；

图像解码单元，通过解码利用接收单元接收的视频流来提供预定帧速率的运动图像数据；以及

显示处理单元，通过在时间方向上内插图像解码单元中所提供的第一图像数据来提供高于预定帧速率的帧速率的第三运动图像数据，

其中，有关预定帧速率的运动图像数据中的每个图片的图像数据项的快门光圈时间比的信息被插入利用接收单元接收的视频流中的每个图片的编码图像数据项中，并且

显示处理单元根据快门光圈时间比信息切换帧内插处理。

本技术是主要特征是传输通过平均N个图片的图像数据项作为N个图片为单位的每一个中的第一图片的图像数据项而提供的图像数据项，以便传输高帧速率的运动图像数据。这可以保证与和正常帧速率兼容的传统接收器的兼容性(参见图3至图5)。

符号说明

10 传输和接收系统

100 传输装置

101 预处理器

102 编码器

103 多路复用器

104 传输单元

110、114 切换电路

111、113 延迟元件

112 加法电路

200、200A、200B 接收装置

201 接收单元

202 多路信号分离器

203 解码器

204 后处理器

205 显示处理器

240、244 切换电路

241、243 延迟元件

242 加法电路。

Claims (12)

1.一种传输装置，包括：

图像处理单元，通过以连续N个图片为单位处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均所述N个图片的图像数据项所提供的图像数据项作为第一图片的图像数据项、并且无变化地使用所述N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项，来提供所述预定帧速率的第二运动图像数据，所述N是大于或等于二的整数；其中所述平均处理包括通过使用不同的增益计算所述N个图片的图像数据项的非线性平均值；

图像编码单元，通过对所述图像处理单元中提供的所述第二运动图像数据中的图片的图像数据项进行编码来生成视频流；以及

传输单元，传输在所述图像编码单元中生成的所述视频流；

其中，所述图像编码单元生成：第一视频流，包括所述N个图片为单位的每个中的所述第一图片的编码图像数据项；以及预定数量的第二视频流，包括所述N个图片为单位的每个中的所述第二至第N图片的编码图像数据项。

2.根据权利要求1所述的传输装置，其中，

所述图像编码单元将在所述图像处理单元中提供的所述第二运动图像数据中的图片的图像数据项分类为多个分级层、编码分类的所述分级层中的每一个中的图片的图像数据项、将所述分级层划分为预定数量的分级组、并且生成预定数量的视频流，所述视频流包括划分的所述分级组中的每一个中的图片的编码图像数据项，并且

最低分级组包括所述N个图片为单位的每个中的所述第一图片的编码图像数据项。

3.根据权利要求1所述的传输装置，其中，

所述图像编码单元将第一识别信息插入到所述第一视频流中的编码图像数据项中，并且所述第一识别信息指示所述第一视频流包括所述第二视频流的时间改变元素。

4.根据权利要求3所述的传输装置，其中，

所述图像编码单元进一步将有关所述平均处理的信息插入到所述第一视频流中的编码图像数据项中。

5.根据权利要求3所述的传输装置，其中，

所述传输单元传输具有预定格式并且包括所述视频流的内容，

所述传输装置进一步包括：

识别信息插入单元，将第二识别信息插入到内容的层中，所述第二识别信息指示所述第一识别信息被插入在所述第一视频流中的编码图像数据项中。

6.根据权利要求1所述的传输装置，其中，

所述图像编码单元将有关所述预定帧速率的所述第一运动图像数据中的图片中的每一个的图像数据项的快门光圈时间比的信息插入到包括在所述视频流中的编码图像数据项中。

7.一种传输方法，包括：

图像处理步骤，通过以连续N个图片为单位处理预定帧速率的第一运动图像数据、使用通过在平均处理中平均所述N个图片的图像数据项所提供的图像数据项作为第一图片的图像数据项、并且无变化地使用所述N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项，来提供所述预定帧速率的第二运动图像数据，所述N是大于或等于二的整数；其中所述平均处理包括通过使用不同的增益计算所述N个图片的图像数据项的非线性平均值；

图像编码步骤，通过对所述图像处理步骤中提供的所述第二运动图像数据中的图片的图像数据项进行编码来生成视频流；以及

传输步骤，传输在所述图像编码步骤中生成的所述视频流；

其中，图像编码单元生成：第一视频流，包括所述N个图片为单位的每个中的所述第一图片的编码图像数据项；以及预定数量的第二视频流，包括所述N个图片为单位的每个中的所述第二至第N图片的编码图像数据项。

8.一种接收装置，包括：

接收单元，接收视频流，所述视频流是通过对预定帧速率的运动图像数据中的每个图片的图像数据项进行编码而生成；以及

处理单元，处理利用所述接收单元接收的所述视频流，

其中，所述预定帧速率的所述运动图像数据是所述预定帧速率的第二运动图像数据，并且所述第二运动图像数据通过以下步骤提供：以连续N个图片为单位处理所述预定帧速率的第一运动图像数据、使用通过在平均处理中平均所述N个图片的图像数据项所提供的图像数据项作为第一图片的图像数据项、并且无变化地使用所述N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项，并且所述N是大于或等于二的整数；其中所述平均处理包括通过使用不同的增益计算所述N个图片的图像数据项的非线性平均值；

其中，利用所述接收单元接收的所述视频流包括：第一视频流，包括所述N个图片为单位的每一个中的所述第一图片的编码图像数据项；以及预定数量的第二视频流，包括所述N个图片为单位的每一个中的所述第二至第N图片的编码图像数据项。

9.一种接收装置，包括：

接收单元，接收通过对预定帧速率的第二运动图像数据中的每个图片的图像数据项进行编码而生成的视频流，所述第二运动图像数据通过以下步骤提供：以连续N个图片为单位处理所述预定帧速率的第一运动图像数据、使用通过在平均处理中平均所述N个图片的图像数据项所提供的图像数据项作为第一图片的图像数据项、并且无变化地使用所述N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项，所述N是大于或等于二的整数；其中所述平均处理包括通过使用不同的增益计算所述N个图片的图像数据项的非线性平均值；

图像解码单元，通过解码利用所述接收单元接收的所述视频流来提供所述预定帧速率的所述第二运动图像数据；以及

图像处理单元，通过处理在所述图像解码单元中提供的所述第二运动图像来提供所述第一运动图像数据；

其中，利用所述接收单元接收的所述视频流包括：第一视频流，包括所述N个图片为单位的每一个中的所述第一图片的编码图像数据项；以及预定数量的第二视频流，包括所述N个图片为单位的每一个中的所述第二至第N图片的编码图像数据项。

10.根据权利要求9所述的接收装置，进一步包括：

显示处理单元，通过在时间方向上内插所述图像处理单元中提供的所述第一运动图像数据来提供比所述预定帧速率高的帧速率的第三运动图像数据。

11.根据权利要求10所述的接收装置，其中，

有关所述第一运动图像数据中的每个图片的图像数据项的快门光圈时间比的信息被插入到利用所述接收单元接收的所述视频流中的每个图片的编码图像数据项中，并且

所述显示处理单元根据快门光圈时间比信息切换帧内插处理。

12.一种接收方法，包括：

接收步骤，接收通过对预定帧速率的第二运动图像数据中的每个图片的图像数据项进行编码所生成的视频流，所述第二运动图像数据通过以下步骤提供：以连续N个图片为单位处理所述预定帧速率的第一运动图像数据、使用通过在平均处理中平均所述N个图片的图像数据项提供的图像数据项作为第一图片的图像数据项、并且无变化地使用所述N个图片的第二至第N图片的图像数据项作为第二至第N图片的图像数据项，所述N是大于或等于二的整数；其中所述平均处理包括通过使用不同的增益计算所述N个图片的图像数据项的非线性平均值；

图像解码步骤，通过解码利用所述接收步骤接收的所述视频流来提供所述预定帧速率的所述第二运动图像数据；以及

图像处理步骤，通过处理在所述图像解码步骤中提供的所述第二运动图像来提供所述第一运动图像数据；

其中，利用接收单元接收的所述视频流包括：第一视频流，包括所述N个图片为单位的每一个中的所述第一图片的编码图像数据项；以及预定数量的第二视频流，包括所述N个图片为单位的每一个中的所述第二至第N图片的编码图像数据项。

Images