CN104604242A - 传输设备、传输方法、接收设备和接收方法 - Google Patents

传输设备、传输方法、接收设备和接收方法 Download PDF

Info

Publication number
CN104604242A
CN104604242A CN201380044781.8A CN201380044781A CN104604242A CN 104604242 A CN104604242 A CN 104604242A CN 201380044781 A CN201380044781 A CN 201380044781A CN 104604242 A CN104604242 A CN 104604242A
Authority
CN
China
Prior art keywords
resolution
information
image data
space
container
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380044781.8A
Other languages
English (en)
Other versions
CN104604242B (zh
Inventor
塚越郁夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104604242A publication Critical patent/CN104604242A/zh
Application granted granted Critical
Publication of CN104604242B publication Critical patent/CN104604242B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Graphics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Systems (AREA)

Abstract

为了当在不进行可扩展编码的情况下，传送对应于超高清晰度服务的图像数据时，在不支持超高清晰度服务的接收器中，容易地获得具有适合于其显示能力的分辨率的图像数据，传送具有包括编码图像数据的视频流的预定格式的容器。在视频流中，插入用于缩减图像数据的空间和/或时间分辨率的辅助信息。例如，所述辅助信息是指示包含在编码图像数据中的运动向量的精度限制的信息。另一方面，例如，辅助信息是识别当按预定比率，缩减时间分辨率时选择的图像的信息。

Description

传输设备、传输方法、接收设备和接收方法
技术领域
本技术涉及传输设备、传输方法、接收设备和接收方法，尤其涉及传送空间或时间超高分辨率图像的图像数据的传输设备等。
背景技术
例如，除了关于具有1920×1080有效像素的HD图像的服务之外，还提出了关于空间超高分辨率图像，比如在水平方向和垂直方向，分别具有2倍和4倍所述有效像素的4K和8K图像的服务(例如，参见专利文献1)。此外，例如，除了关于具有30Hz的帧频的图像的服务之外，还提出了关于具有诸如60Hz和120Hz之类帧频的时间超高分辨率图像的服务。注意，关于超高分辨率图像的这些服务将被适当地称为超高清晰度服务。
引文列表
专利文献
专利文献1：日本专利申请公开No.2011-057069
发明内容
在对上述超高清晰度服务的图像数据应用可扩展编码的情况下，即使在不支持超高清晰度服务的接收器中，也能够容易地获得具有适合于自身显示能力的分辨率的图像数据。然而，在不对超高清晰度服务的图像数据应用可扩展编码的情况下，在不支持超高清晰度服务的接收器中，难以获得具有适合于自身显示能力的分辨率的图像数据。
本技术的目的是当在不进行可扩展编码的情况下，传送超高清晰度服务的图像数据时，使不支持超高清晰度服务的接收器中，具有适合于自身显示能力的分辨率的图像数据的获取更容易。
按照本技术的一个方面，传输设备包括：传输单元，所述传输单元被配置成传送具有包含编码图像数据的视频流的预定格式的容器(container)；和辅助信息插入单元，所述辅助信息插入单元被配置成把用于缩减图像数据的空间和/或时间分辨率的辅助信息插入视频流中。
按照本技术，具有包括编码图像数据的视频流的预定格式的容器由传输单元传送。例如，编码图像数据是施加以诸如MPEG4-AVC(MVC)、MPEG2视频、或HEVC之类编码的图像数据。例如，容器可以是在数字广播标准中采用的传输流(MPEG-2TS)。此外，容器可以是例如采用在因特网传送中使用的MP4格式或其它格式的容器。
缩减图像数据的空间和/或时间分辨率的辅助信息由辅助信息插入单元插入视频流中。例如，辅助信息可指示包含在编码图像数据中的运动向量的精度的极限。另外，例如，辅助信息可识别在按预定比率，缩减时间分辨率之际选择的图像。
从而，按照本技术，缩减图像数据的空间和/或时间分辨率的辅助信息被插入视频流中。于是，当在不进行可扩展编码的情况下，传送超高清晰度服务的图像数据时，在不支持超高清晰度服务的接收器中，能够容易地获得具有适合于自身显示能力的分辨率的图像数据。
同时，按照本技术，例如，进一步设置配置成把指示辅助信息被插入视频流中的识别信息插入容器的层中的识别信息插入单元。这种情况下，即使不解码视频流，接收器也能够掌握辅助信息被插入视频流中，从而能够适当地提取辅助信息。
例如，识别信息可被附加指示缩减空间和/或时间分辨率的可用比率的缩减信息。此外，识别信息可被附加包含在视频流中的图像数据的空间和/或时间分辨率信息。此外，容器例如是传输流，识别信息插入单元可被配置成把识别信息插入在包含于传输流中的节目映射表的视频基本循环之下的描述符中。
此外，按照本技术，例如，可进一步设置配置成把包含在视频流中的图像数据的空间和/或时间分辨率信息插入容器的层中的分辨率信息插入单元。这种情况下，当在不进行可扩展编码的情况下，传送超高清晰度服务的图像数据时，根据不支持超高清晰度服务的接收器中的分辨率信息，可确定缩减处理的内容。
例如，分辨率信息可被附加识别信息，所述识别信息识别视频流是否具备对不支持图像数据的空间和/或时间分辨率的低性能解码器的支持。此外，容器例如是传输流，分辨率信息插入单元可被配置成把分辨率信息插入在包含于传输流中的事件信息表之下的描述符中。
另外，按照本技术的另一个方面，传输设备包括：传输单元，所述传输单元被配置成传送具有包括编码图像数据的视频流的预定格式的容器；和识别信息插入单元，所述识别信息插入单元被配置成在所述容器的层中，插入识别信息，以致至少基于每个节目，能够识别利用所述视频流的超高清晰度服务。
按照本技术，具有包括图像数据的视频流的预定格式的容器由传输单元传送。容器可以是例如在数字广播标准中采用的传输流(MPEG-2TS)。此外，容器可以是例如在因特网传送中使用的MP4格式或者其它格式的容器。
识别信息由识别信息插入单元插入容器的层中，以致至少基于每个节目，能够识别利用所述视频流的超高清晰度服务。例如，识别信息可被附加图像数据的空间和/或时间分辨率信息。容器例如是传输流，识别信息插入单元可被配置成把识别信息插入在包含于传输流中的事件信息表之下的描述符中。
从而，按照本技术，识别信息被插入容器的层中，以致至少基于每个节目，能够识别利用所述视频流的超高清晰度服务。于是，接收器能够容易地识别超高清晰度服务，并且通过与自身显示能力进行比较，能够适当并且立即判定是否需要空间和/或时间分辨率的缩减处理及其比率。
同时，按照本技术，识别信息可被附加例如支持信息，所述支持信息指示视频流是否具备对不支持图像数据的空间和/或时间分辨率的低性能解码器的支持。这种情况下，接收器能够容易地判定视频流是否具备对低性能解码器的支持，更具体地，判定用于缩减空间和/或时间分辨率的辅助信息是否被插入等。
此外，按照本技术的另一个方面，接收设备包括：接收单元，所述接收单元被配置成接收包括编码图像数据的视频流；和处理单元，所述处理单元被配置成根据用于缩减图像数据的空间和/或时间分辨率的辅助信息，对编码图像数据应用空间和/或时间分辨率的缩减处理，从而获得具有期望分辨率的显示图像数据，其中所述辅助信息被插入视频流中。
按照本技术，接收单元接收包括编码图像数据的视频流。用于缩减图像数据的空间和/或时间分辨率的辅助信息被插入视频流中。此外，处理单元根据辅助信息，对编码图像数据应用空间和/或时间分辨率的缩减处理，从而能够获得具有期望分辨率的显示图像数据。
从而，按照本技术，根据插入视频流中的辅助信息，对编码图像数据应用空间和/或时间分辨率的缩减处理，能够获得具有期望分辨率的显示图像数据。于是，能够减轻缩减处理的负荷。
同时，按照本技术，例如，接收单元可接收包括视频流的预定格式的容器，指示缩减空间和/或时间分辨率时的可用比率的缩减信息可被插入容器的层中，处理单元可根据缩减信息，控制缩减处理，以便获得显示图像数据。
此外，按照本技术，例如，接收单元可接收包括视频流的预定格式的容器，包含在视频流中的图像数据的空间和/或时间分辨率信息可被插入容器的层中，处理单元可根据所述分辨率信息，控制缩减处理，以获得显示图像数据。
按照本技术，当在不进行可扩展编码的情况下，传送超高清晰度服务的图像数据时，在不支持超高清晰度服务的接收器中，能够容易地获得具有适合于自身显示能力的分辨率的图像数据。
附图说明
图1是图解说明作为实施例的图像传输和接收系统的例证结构的方框图。
图2(a)-2(c)是空间分辨率的缩减处理的说明图。
图3是图解说明接收器的解码器的例证结构的方框图。
图4(a)-4(d)是空间分辨率的缩减处理的说明图。
图5是关于其中不对运动向量MV的精度设置限制的情况，例如其中运动向量MV1的精度为1/4像素(四分之一像素)精度的情况的说明图。
图6是关于其中对运动向量MV的精度设置限制的情况，例如其中运动向量MV2的精度为1/2像素(二分之一像素)精度的情况的说明图。
图7(a)-7(c)是时间分辨率的缩减处理的说明图。
图8是图解说明配置成生成传输流TS的传输数据生成单元的例证结构的方框图。
图9(a)和9(b)是图解说明SEI消息作为辅助信息被插入其中的GOP的头部存取单元，和除头部存取单元外的存取单元的示图。
图10(a)和10(b)是图解说明都包括作为辅助信息的，指示运动向量MV的精度极限的信息的SEI消息(downscaling_spatial SEI消息)的例证结构(语法)的示图。
图11是图解说明SEI消息(downscaling_spatial SEI消息)的例证结构中的主要信息的内容的示图。
图12(a)和12(b)是图解说明都包括作为辅助信息的，指示在按预定比率缩减时间分辨率之际选择的图像的信息的SEI消息(picture_temporal_pickup SEI消息)的例证结构(语法)的示图。
图13是图解说明SEI消息(picture_temporal_pickup SEI消息)的例证结构中的主要信息的内容的示图。
图14是图解说明缩减描述符(downscaling_descriptor)的例证结构(语法)的示图。
图15是图解说明缩减描述符(downscaling_descriptor)的结构(语法)的变形例的示图。
图16是图解说明缩减描述符(downscaling_descriptor)的例证结构中的主要信息的内容的示图。
图17是图解说明超高分辨率描述符的例证结构(语法)的示图。
图18是图解说明超高分辨率描述符的例证结构中的主要信息的内容的示图。
图19是图解说明传输流TS的例证结构的示图。
图20是图解说明接收器的例证结构的方框图。
具体实施方式
下面，说明实现本发明的方式(下面称为“实施例”)。注意，将按照以下顺序进行说明。
1.实施例
2.变形例
<1.实施例>
[图像传输和接收系统]
图1是图解说明作为实施例的图像传输和接收系统10的例证结构的示图。图像传输和接收系统10包括广播站100和接收器200。广播站100通过广播电波，传送作为容器的传输流TS。
传输流TS具有包括编码图像数据的视频流。传输图像数据包括对应于各种成像服务的数据。除了关于具有1920×1080的有效像素的高清晰度(HD)图像的服务之外，成像服务的例子还可包括关于空间超高分辨率图像，比如在水平方向和垂直方向，分别具有2倍和4倍所述有效像素的4K和8K图像的服务(超高清晰度服务)。此外，除了关于帧频30Hz的图像的成像服务之外，成像服务的例子还可包括具有诸如60Hz和120Hz之类帧频的时间超高分辨率图像的服务(超高清晰度服务)。
就超高清晰度服务的图像数据来说，存在以下情况：在应用可扩展编码之后，传送图像数据；和在不进行可扩展编码的情况下，传送图像数据。通过对图像数据应用可扩展编码，保证向后兼容性，即使在不支持超高清晰度服务的接收器中，也能够容易地获得具有适合于自身显示能力的分辨率的图像数据。
在传送超高清晰度服务的图像数据的情况下，用于缩减图像数据的空间和/或时间分辨率的辅助信息被插入视频流中。辅助信息被插入视频流的图像头标或序列头标的用户数据区中。
例如，用于缩减空间分辨率的辅助信息指示包含在编码图像数据中的运动向量的精度极限。例如，当通常的运动向量的精度极限为1/4像素精度时，运动向量的精度极限被改变成1/2像素精度或1像素精度，以便减轻在接收器侧的缩减空间分辨率的处理负荷。
另外，用于缩减时间分辨率的辅助信息识别在按预定比率，缩减时间分辨率之际选择的图像。例如，利用该信息指出在按1/2的比率，缩减分辨率之际选择的图像对应于每隔一个图像(帧)的图像(帧)。此外，例如，利用该信息指出在按1/4的比率，缩减分辨率之际选择的图像对应于每隔三个图像(帧)的图像(帧)。
通过如上所述插入辅助信息，当在不进行可扩展编码的情况下，传送超高清晰度服务的图像数据的情况下，在不支持超高清晰度服务的接收器中，能够容易地获得具有适合于自身显示能力的分辨率的图像数据。辅助信息的细节将在后面说明。
此外，在传输流TS的层中，插入指示辅助信息被插入视频流中的识别信息。例如，在包含在传输流TS中的节目映射表(PMT：节目映射表)的视频基本循环(视频ES循环)之下，插入识别信息。所述识别信息使接收方即使不解码视频流，也能够发现辅助信息被插入视频流中，从而能够适当地提取辅助信息。
可能存在上述缩减信息被附加包含在视频流中的图像数据的空间和/或时间分辨率信息的情况。在这种情况下，接收方能够在不解码视频流的情况下，掌握图像数据的空间和/或时间分辨率。缩减信息的细节将在后面说明。
此外，在传输流TS的层中，插入识别信息，以致至少基于每个节目，能够识别利用视频流的超高清晰度服务。例如，按照本实施例，包含在视频流中的图像数据的空间和/或时间分辨率信息被插入传输流TS的层中。例如，在包含在传输流TS中的事件信息表(EIT：事件信息表)之下，插入分辨率信息。利用所述分辨率信息(识别信息)，能够在不解码视频流的情况下，掌握图像数据的空间和/或时间分辨率。
分辨率信息被附加识别信息，所述识别信息识别视频流是否具备对不支持图像数据的空间和/或时间分辨率的低性能解码器的支持。这种情况下，接收方能够容易地判定视频流是否具备对低性能解码器的支持，更具体地，判定用于缩减空间和/或时间分辨率的辅助信息是否被插入等。分辨率信息的细节将在后面说明。
接收器200接收通过广播电波，从广播站100传送的传输流TS。传输流TS具有包括编码图像数据的视频流。接收器200执行视频流的解码处理，从而获得显示图像数据。
当在不进行可扩展编码的情况下，传送超高清晰度服务的图像数据，并且自身显示能力不支持超高清晰度服务时，接收器200根据辅助信息，对编码图像数据应用空间和/或时间分辨率的缩减处理，从而获得具有期望分辨率的显示图像数据。这种情况下，依据接收图像数据的分辨率和可能的缩减比率，控制缩减处理。
例如，可能存在其中取决于接收图像数据的分辨率和可能的缩减比率，不能获得具有期望分辨率的显示图像数据的情况，不过在这种情况下，不执行缩减处理。此外，在存在多个可能的缩减比率的情况下，通过按照接收图像数据的分辨率，选择缩减比率，获得具有期望分辨率的显示图像数据。
[分辨率的缩减处理]
下面说明在接收器200执行的缩减处理。首先，说明空间分辨率的缩减处理。例如，考虑其中接收的图像数据是如图2(a)中图解所示的8K图像的图像数据的情况。更具体地，在具有4K图像的显示能力的接收器200，应用在水平方向和垂直方向，把空间分辨率减小到1/2的缩减处理，从而如图2(b)中图解所示，能够获得4K图像的图像数据。另外，例如，在具有HD图像的显示能力的接收器200，应用在水平方向和垂直方向，把空间分辨率减小到1/4的缩减处理，从而如图2(c)中图解所示，能够获得HD图像的图像数据。
图3是图解说明接收器200的解码器的例证结构的示图。在熵解码单元353a，对接收的编码图像数据Ve应用熵解码处理，在逆量化单元353b，应用逆量化处理。此外，在空间-频率逆变换单元353c，对逆量化处理后的数据应用空间-频率逆变换处理，从而获得数据D(n)。
这种情况下，每N*N个编码块，只对在与缩减比率对应的区域中的频率分量应用空间-频率逆变换处理(参见图4(a)中的阴影区)，从而获得缩减的图像数据，作为数据D(n)。注意，图4中的例子是其中缩减比率为1/2的情况。
按编码块，从记录在帧缓冲器353d中的在先帧中的图像数据(参见图4(b))，读取对应于运动向量MV的区域中的像素数据，并提供给插值滤波器353e，然后执行插值算术运算，以生成插值后的预测块(参见图4(c))。此外，在加法器353f中，相加在插值滤波器353e生成的插值后的预测块和数据D(n)(参见图4(d))，从而能够获得当前帧中的缩减图像数据Vd(n)。
这里，附加到编码图像数据Ve的运动向量MV的像素精度被定义为P。例如，当在空间-频率逆变换单元353c，执行到1/2的缩小解码时，与原始精度P相比，像素精度变得更粗，即1/2。为了以原始运动向量MV的像素精度P进行运动补偿，在帧缓冲器353d的图像数据需要被插值，以便与像素精度P相符。
例如，在以1/4像素精度，编码原始运动向量MV的情况下，在对被应用缩小编码，并保存在帧缓冲器353d中的图像数据应用运动补偿之际的精度被减小到图像数据的1/2像素精度。于是，帧缓冲器353d中的图像数据需要被插值到1/(1/4*1/2)，以便以原始运动向量MV的精度进行运动补偿。
于是，在未对运动向量MV的精度设置限制的情况下，成为插值滤波器的算术运算的对象的预测像素的范围变大，从而插值滤波器的抽头的数目被增大。结果，算术运算的负荷被增大。相反，在对运动向量MV的精度设置限制的情况下，成为插值滤波器的算术运算的对象的预测像素的范围变小，从而插值滤波器的抽头的数目被减小。结果，算术运算的负荷被减轻。
图5是图解说明其中未对运动向量MV的精度设置限制的情况，更具体地，其中运动向量MV1的精度为1/4像素(四分之一像素)精度的情况的示图。这种情况下，为了从相邻的预测像素中，获得插值像素，需要执行与足以覆盖MV1的精度的阶段数对应的滤波器算术运算。在利用低通滤波器执行插值算术运算的情况下，插值滤波器的滤波器抽头的数目被增大，从而，成为对象的预测像素的数目被增大，以便确保高于一定水平的通带，和使截止频率附近变得陡峭。
图6是图解说明其中对运动向量MV的精度设置限制的情况，更具体地，其中运动向量MV2的精度为1/2像素(二分之一像素)精度的情况的示图。这种情况下，为了从相邻的预测像素中，获得插值像素，需要执行与足以覆盖MV2的精度的阶段数对应的滤波器算术运算。由于MV2的精度比MV1的精度粗，因此阶段数减少。这种情况下，与未设置限制的上述情况相比，为了确保同等的通过，需要数目较少的插值滤波器的抽头，和数目较少的成为对象的预测像素。
据此判断，按照本实施例，通过类似于上述运动向量MV2，在传输方适当设置运动向量MV的精度限制，执行编码。这种情况下，按照本实施例，与运动向量MV的限制精度相关的信息作为辅助信息被插入视频流中。在执行空间分辨率的缩减处理之际，接收器200根据所述辅助信息，识别运动向量MV的精度限制，从而能够进行与所述精度限制一致的插值处理。结果，能够减轻处理负荷。
下面，说明时间分辨率的缩减处理。例如，考虑其中如图7(a)中图解所示，接收的图像数据是120fps的图像数据的情况。二分之一图像率标记和四分之一图像率标记作为辅助信息被插入视频流中。
在每隔一个图像(帧)，二分之一图像率标记为“1”。换句话说，在把时间分辨率缩减到1/2之际，依据二分之一图像率标记，能够识别待选择的图像。此外，每隔3个图像(帧)，四分之一图像率标记为“1”。换句话说，在把时间分辨率缩减到1/4之际，依据四分之一图像率标记，能够识别待选择的图像。
例如，在具有对于60fps的图像的显示能力的接收器200中，如图7(b)中图解所示，根据二分之一图像率标记，仅仅挑选并解码每隔一个的图像，以获得60fps的图像的图像数据。此外，例如，在具有对于30fps的图像的显示能力的接收器200中，如图7(c)中图解所示，根据四分之一图像率标记，挑选并解码每隔三个的图像，以获得30fps的图像的图像数据。
[传输数据生成单元的例证结构]
图8是广播站100中，配置成生成上述传输流TS的传输数据生成单元110的例证结构。传输数据生成单元110包括图像数据输出单元111、视频编码器112、音频数据输出单元115、音频编码器116和复用器117。
图像数据输出单元111输出对应于各种成像服务的图像数据。除了关于具有1920×1080有效像素的高清晰度(HD)图像的服务之外，成像服务的例子还包括关于空间超高分辨率图像，比如在水平方向和垂直方向，分别具有2倍和4倍所述有效像素的4K和8K图像的服务(超高清晰度服务)。此外，除了关于具有30Hz帧频的图像的成像服务之外，成像服务的例子还包括关于具有诸如60Hz和120Hz之类帧频的时间超高分辨率图像的服务(超高清晰度服务)。图像数据输出单元111由例如配置成捕捉被摄物体的图像，并输出其图像数据的摄像机，或者配置成从存储介质读取图像数据，并输出所述图像数据的图像数据读取单元构成。
视频编码器112对从图像数据输出单元111输出的图像数据，应用诸如MPEG4-AVC(MVC)、MPEG2video或HEVC之类的编码，从而获得编码的图像数据。此外，视频编码器112利用置于后一级的流格式化器(未图示)，生成包括编码图像数据的视频流(视频基本流)。
这种情况下，例如，可能存在其中为了保证向后兼容性，对超高清晰度服务的图像数据应用可扩展编码的情况，然而也可能存在不对图像数据应用可扩展编码的情况。在不对图像数据应用可扩展编码的情况下，为了方便不支持超高清晰度服务的接收器，视频编码器112把用于缩减空间和/或时间分辨率的辅助信息插入视频流中。
音频数据输出单元115输出对应于图像数据的音频数据。音频数据输出单元115例如由麦克风，或者配置成从存储介质读出音频数据，然后输出音频数据的音频数据读取单元构成。音频编码器116对从音频数据输出单元115输出的音频数据应用诸如MPEG-2Audio和AAC之类的编码，从而生成音频流(音频基本流)。
复用器117打包并复用在视频编码器112、图形编码器114和音频编码器116生成的各个基本流，从而生成传输流TS。这种情况下，为了在接收方的同步再现，在每个PES(打包基本流)的头标中，插入PTS(展现时间戳)。
当在不进行可扩展编码的情况下，传送超高清晰度服务的图像数据时，复用器117把指示按可用比率的空间和/或时间缩减的缩减信息插入传输流TS的层中。更具体地，在包含在传输流TS中的节目映射表(PMT：节目映射表)的视频基本循环(视频ES循环)之下，插入缩减信息。
另外，复用器117把识别信息插入传输流TS的层中，以致至少基于每个节目，能够识别利用视频流的超高清晰度服务。例如，按照本实施例，复用器117把包含在视频流中的图像数据的空间和/或时间分辨率信息插入传输流TS的层中。更具体地，在包含在传输流TS中的事件信息表(EIT：事件信息表)之下，插入所述分辨率信息。
下面简要说明图8中例示的传输数据生成单元110的操作。与从图像数据输出单元111输出的各种图像服务对应的图像数据被提供给视频编码器112。在视频编码器112中，对图像数据应用诸如MPEG4-AVC(MVC)、MPEG2视频或HEVC之类的编码，从而生成包括编码图像数据的视频流(视频基本流)。所述视频流被提供给复用器117。
这种情况下，例如，可能存在其中为了保证向后兼容性，对超高清晰度服务的图像数据应用可扩展编码的情况，然而也可能存在不对图像数据应用可扩展编码的情况。在视频编码器112中，在不应用可扩展编码的情况下，为了方便不支持超高清晰度服务的接收器，用于缩减空间和/或时间分辨率的辅助信息被插入视频流中。
从音频数据输出单元115输出的对应于图像数据的音频数据被提供给音频编码器116。在音频编码器116中，对音频数据应用诸如MEPG-2Audio和AAC之类的编码，从而生成音频流(音频基本流)。所述音频流被提供给复用器117。
在复用器117中，从各个编码器供给的基本流被打包和复用，从而生成传输流TS。这种情况下，为了在接收方的同步再现，在每个PES的头标中插入PTS。此外，在复用器117中，在PMT的视频基本循环(视频ES循环)之下，插入指示按可用比率的空间和/或时间缩减的缩减信息。此外，在复用器117中，在分辨率EIT之下，插入包含在视频流中的图像数据的空间和/或时间分辨率信息。
[辅助信息、识别信息和分辨率信息的构造，和TS结构]
如上所述，用于缩减图像数据的空间和/或时间分辨率的辅助信息被插入视频流中。例如，在编码方法是MPEG4-AVC的情况下，或者在其中NAL分组等的编码结构类似的编码类型，比如HEVC的情况下，辅助信息作为SEI消息，被插入存取单元(AU)的“SEI”部分中。
这种情况下，作为指示运动向量MV的精度限制的辅助信息的信息作为SEI消息(downscaling_spatial SEI消息)被插入。此外，作为在按预定比率，缩减时间分辨率之际选择的图像的辅助信息的信息作为SEI消息(picture_temporal_pickup SEI消息)被插入。图9(a)是图解说明GOP(图像组)的头部存取单元的示图，图9(b)是图解说明GOP的除头部存取单元外的存取单元的示图。SEI消息在比特流上的比像素数据被编码的切片早的位置被编码，于是，接收器识别SEI内容，从而可以确定随后的解码处理。
图10(a)是图解说明“downscaling_spatial SEI消息”的例证结构(语法)的示图。“uuid_iso_iec_11578”具有在“ISO/IEC 11578:1996Annex A”中规定的UUID值。在“user_data_payload_byte”字段中，插入“userdata_for_downscaling_spatial()”。图10(b)是图解说明“userdata_for_downscaling_spatial()”的例证结构(语法)的示图。在该结构中包括标记“constrained_to_half_pixel_MV_flag”和标记“constrained_to_integer_pixel_MV_flag”。“userdata_id”是利用无符号的16比特表示的标识符。
当如图11中图解所示，标记“constrained_to_half_pixel_MV_flag”为“1”时，指出运动向量MV的精度局限于1/2像素精度。此外，当如图11中图解所示，“constrained_to_integer_pixel_MV_flag”是“1”时，指出运动向量的精度局限于整数像素精度。
图12(a)是“picture_temporal_pickup SEI消息”的例证结构(语法)。“uuid_iso_iec_11578”包括在“ISO/IEC 11578:1996Annex A”中规定的UUID值。在“user_data_payload_byte”字段中，插入“userdata_for_picture_temporal()”。图12(b)是“userdata_for_picture_temporal()”的例证结构(语法)。标记“半图像率标记”和标记“四分之一图像率标记”包含在该结构中。“userdata_id”是利用无符号的16比特表示的标识符。
当如图13中图解所示，标记“半图像率标记”为“1”时，指示图像将由具有1/2时间分辨率的显示能力的解码器挑选和解码。此外，当如图13中图解所示，标记“四分之一图像率标记”为“1”时，指示图像将由具有1/4时间分辨率的显示能力的解码器挑选和解码。
另外，如上所述，例如，在传输流TS中的节目映射表(PMT)的视频基本循环(视频ES循环)之下，在视频流中，插入指示用于缩减上面说明的图像数据的空间和/或时间分辨率的辅助信息的识别信息。
图14是例示作为识别信息的缩减描述符(downscaling_descriptor)的例证结构(语法)的示图。此外，图15是图解说明缩减描述符(downscaling_descriptor)的结构(语法)的变形例的示图。图16是图解说明这些例证结构中的主要信息(语义)的内容的示图。
8比特的“downscaling_descriptor_tag”字段指示描述符类型，这里指示缩减描述符。8比特的“downscaling_descriptor_length”字段指示描述符的长度(大小)，把后续字节的数目指示为描述符的长度。
2比特的“downscaling_type”字段指示缩减类型。例如，“01”指示时间分辨率缩减，“10”指示空间分辨率缩减，而“11”指示时间和空间分辨率缩减。
当“downscaling_type”为“01”和“11”时，2比特的“temporal_downscaling_factor”字段变得有效。该2比特字段指示在缩减时间分辨率时的可用比率(缩减)。例如，“00”指出不能进行缩减。此外，“01”指出能够进行比率为1/2的缩减。“10”指出能够进行比率为1/4的缩减，还指出也能够进行比率为1/2的缩减。另外，当“temporal_downscaling_factor”为“01”和“10”时，还指出用于缩减时间分辨率的辅助信息被插入视频流中。
此外，当“downscaling_type”为“10”和“11”时，2比特的“spatial_downscaling_factor”字段变得有效。该2比特字段指示在缩减空间分辨率时的可用比率(缩减)。例如，“00”指示不能进行缩减。此外，“01”指示可按1/2的比率，水平和垂直地进行缩减。“10”指示可按1/4的比率，水平和垂直地进行缩减，还指示可按1/2的比率，进行缩减。另外，当“spatial_downscaling_factor”为“01”和“10”时，指示用于缩减空间分辨率的辅助信息被插入视频流中。
3比特的“空间分辨率类类型”指示传输图像数据的空间分辨率的类类型。例如，“001”指示1920×1080，即，HD分辨率。此外，例如，“010”指示3840×2160，即，4K分辨率。另外，例如，“011”指示7680×4320，即，8K分辨率。
3比特的“时间分辨率类类型”字段指示传输图像数据的时间分辨率的类类型。例如，“001”指示24Hz、25Hz、29.97Hz、30Hz等，“010”指示50Hz、59.94Hz、60Hz等，“011”指示100Hz、120Hz等，而“100”指示200Hz、240Hz等。
此外，如上所述，例如，在传输流TS的事件信息表(EIT)之下，插入包含在视频流中的图像数据的空间和/或时间分辨率信息。图17是作为分辨率信息的超高分辨率描述符的例证结构(语法)。此外，图18是图解说明例证结构中的主要信息(语义)的内容的示图。
3比特的“空间分辨率类类型”字段指示传输图像数据的空间分辨率的类类型。例如，“001”指示1920×1080，即，HD分辨率。此外，例如，“010”指示3840×2160，即，4K分辨率。另外，例如，“011”指示7680×4320，即，8K分辨率。
3比特的“时间分辨率类类型”字段指示传输图像数据的时间分辨率的类类型。例如，“001”指示24Hz、25Hz、29.97Hz、30Hz等，“010”指示50Hz、59.94Hz、60Hz等，“011”指示100Hz、120Hz等，而“100”指示200Hz、240Hz等。
2比特的“Backward_compatible_type”字段指示关于传输图像数据，是否保证向后兼容性。例如，“00”指示不保证向后兼容性。“01”指示相对于空间分辨率，保证向后兼容性。这种情况下，传输图像数据被应用关于空间分辨率的可扩展编码。“10”指示相对于时间分辨率，保证向后兼容性。这种情况下，传输图像数据被应用关于时间分辨率的可扩展编码。
“lower_capable_decoder_support_flag”的标记信息指示是否提供对不支持传输图像数据的空间和/或时间分辨率的低性能解码器的支持。例如，“0”指出不提供支持。“1”指出提供支持。例如，如上所述，在用于缩减图像数据的空间和/或时间分辨率的辅助信息被插入视频流中的情况下，该标记信息变成“1”。
图19是图解说明传输流TS的例证结构的示图。传输流TS包括视频基本流的PES分组“PID1:video PES1”，和音频基本流的PES分组“PID2:Audio PES1”。用于缩减图像数据的空间和/或时间分辨率的辅助信息作为SEI消息，被插入视频基本流中。
这种情况下，作为SEI消息(downscaling_spatial SEI消息)(参见图10)，插入作为指示运动向量MV的精度限制的辅助信息的信息。此外，作为SEI消息(picture_temporal_pickup SEI消息)(参见图12)，插入作为指示在按预定比率，缩减时间分辨率之际选择的图像的辅助信息的信息。
此外，传输流TS包括作为PSI(节目特有信息)的PMT(节目映射表)。PSI指示包含在传输流中的每个基本流属于哪个节目。此外，传输流TS包括作为SI(服务信息)的EIT(事件信息表)，以便每个事件(节目)地进行控制。
在PMT中，存在具有与各个基本流相关的信息的基本循环。在例证结构中，存在视频基本循环(视频ES循环)。在视频基本循环中，对应于上面说明的一个视频基本流，布置诸如流类型和分组标识符(PID)之类的信息，另外还布置描述与其视频基本流相关的信息的描述符。
在PMT的视频基本循环(视频ES循环)之下，插入缩减描述符(downscaling_descriptor)(参见图14)。如上所述，描述符指示用于缩减图像数据的空间和/或时间分辨率的辅助信息被插入视频流中。
此外，超高清晰度描述符在EIT之下(参见图17)。该描述符构成如上所述，至少基于每个节目地识别利用视频流的超高清晰度服务的识别信息。更具体地，描述符包括传输图像数据的空间和/或时间分辨率信息。
[接收器的例证结构]
图20是图解说明接收器200的例证结构的示图。接收器200包括CPU 201、闪速ROM 202、DRAM 203、内部总线204、遥控接收单元(RC接收单元)205和遥控发射器(RC发射器)206。
此外，接收器200包括天线端子211、数字调谐器212、传输流缓冲器(TS缓冲器)213和分用器214。此外，接收器200包括编码缓冲器215、视频解码器216、解码缓冲器217、视频RAM 218、编码缓冲器241、音频解码器242和声道混合单元243。
CPU 201控制接收器200中的各个单元的操作。闪速ROM 202保存控制软件和保持数据。DRAM 203构成CPU 201的工作区。CPU 201在DRAM 203上展开从闪速ROM 202读取的软件和数据，并启动所述软件，以控制接收器200中的各个单元。RC发射器205接收从RC发射器206传送的遥控信号(遥控代码)，并把接收的遥控代码提供给CPU 201。CPU 201根据遥控代码，控制接收器200中的各个单元。CPU 201、闪速ROM 202和DRAM 203通过内部总线204相互连接。
天线端子211是输入利用接收天线(未图示)接收的电视广播信号的端子。数字调谐器212处理在天线端子211接收的电视广播信号，然后输出与用户选择的频道对应的预定传输流TS。传输流缓冲器(TS缓冲器)213临时保存从数字调谐器212输出的传输流TS。传输流TS包括视频基本流和音频基本流。
分用器214从临时保存在TS缓冲器213中的传输流TS中，分别提取视频流和音频流(基本流)。此外，分用器214从传输流TS中，提取上述缩减描述符(downscaling_descriptor)和超高分辨率描述符，然后把这些描述符传送给CPU 201。
从超高清晰度描述符，CPU 201能够掌握接收的图像数据的空间和时间分辨率信息，以及关于接收的图像数据是否具有向后兼容性的信息，和关于接收的图像数据是否具备对低性能解码器的支持的信息。另外，从缩减描述符，CPU 201能够掌握关于用于空间和/或时间分辨率的缩减处理的辅助信息是否被插入视频流中的信息，以及关于在缩减空间和/或时间分辨率时的可用比率的信息。
CPU 201根据这些掌握的信息，控制接收器200中的诸如解码之类的处理。例如，在收到自身显示能力不支持的超高清晰度服务的图像数据，并且不对图像数据应用可扩展编码的情况下，CPU 201根据插入视频流中的辅助信息，执行空间和/或时间分辨率的缩减处理，并且进行控制，以致能够获得具有期望分辨率的显示图像数据。
编码缓冲器215临时保存在分用器214提取的视频基本流。视频解码器216在CPU 201的控制下，对保存在编码缓冲器215中的视频流应用解码处理，从而获得显示图像数据。注意取决于接收图像数据的内容，可能存在不能执行空间和/或时间分辨率的缩减处理，从而不能获得具有适合于自身显示能力的分辨率的显示图像数据的情况。
此外，视频解码器216提取插入视频流中的SEI消息，把提取的SEI消息传送给CPU 201。SEI消息还包括“downscaling_spatial SEI消息”和“picture_temporal_pickup SEI消息”。当在视频解码器216执行空间和/或时间分辨率的缩减处理时，CPU 201致使根据包含在SEI消息中的辅助信息，执行所述缩减处理。
更具体地，在执行空间分辨率的缩减处理的情况下，根据和包含在SEI消息“downscaling_spatial SEI消息”中的运动向量MV的精度限制相关的信息，进行缩减处理，从而减轻处理负荷。另一方面，在进行时间分辨率的缩减处理的情况下，根据和与包含在SEI消息“picture_temporal_pickup SEI消息”中的比率相应的选择图像相关的信息，执行缩减处理，从而减轻处理负荷。
解码缓冲器217临时保存在视频解码器216获得的显示图像数据。视频RAM 218输入保存在解码缓冲器217中的显示图像数据，并在适当的定时，把图像数据输出给显示器。
编码缓冲器241临时保存在分用器214提取的音频流。音频解码器242对保存在编码缓冲器241中的音频流应用解码处理，从而获得解码的音频数据。对于在音频解码器242获得的音频数据，声道混合单元243获得每个声道的音频数据，以便实现5.1声道声音，然后把音频数据提供给扬声器。
下面说明接收器200的操作。在天线端子211接收的电视广播信号被提供给数字调谐器212。在数字调谐器212中，处理电视广播信号，输出与用户选择的频道对应的预定传输流TS。传输流TS被临时保存在TS缓冲器213。传输流TS包括视频基本流和音频基本流。
在分用器214，从临时保存在TS缓冲器213的传输流TS中，分别提取视频流和音频流(基本流)。此外，在分用器214，从传输流TS提取缩减描述符(downscaling_descriptor)和超高分辨率描述符，然后传送给CPU 201。在CPU 201中，根据包含在这些描述符中的信息，控制在接收器200执行的诸如解码之类的处理。
在分用器214提取的视频流被提供给编码缓冲器215，并被临时保存。在视频解码器216中，在CPU 201的控制下，对保存在编码缓冲器215中的视频流应用解码处理，从而能够获得适合于自身显示能力的显示图像数据。
这种情况下，在视频解码器216中，插入基本视频流中的包括“downscaling_spatial SEI消息”、“picture_temporal_pickup SEI消息”等的SEI消息被提取和传送给CPU 201。在CPU 201中，当在视频解码器216执行空间和/或时间分辨率的缩减处理时，根据包含在SEI消息中的辅助信息，执行缩减处理。
在视频解码器216获得的显示图像数据被临时保存在解码缓冲器217中。之后，保存在解码缓冲器217中的显示图像数据被输入视频RAM218中，随后在适当的定时，被输出给显示器。按照这种方式，图像被显示在显示器上。
此外，在分用器214提取的音频流被提供给编码缓冲器241，并被临时保存。在音频解码器242中，对保存在编码缓冲器241中的音频流应用解码处理，从而获得解码的音频数据。音频数据被提供给声道混合单元243。在声道混合单元243中，例如，对于音频数据，生成用于实现5.1声道声音的每个声道的音频数据。所述音频数据被提供给例如扬声器，从而与图像显示一致地输出音频。
如上所述，按照图1中图解所示的图像传输和接收系统10，当把用于缩减图像数据的空间和/或时间分辨率的辅助信息插入视频流时，执行传输。于是，当在不进行可扩展编码的情况下，传送超高清晰度服务的图像数据时，即使在不支持超高清晰度服务的接收器200中，也能够容易地获得具有适合于自身显示能力的分辨率的图像数据。
<2.变形例>
注意，在上述实施例中，说明了其中容器是传输流(MPEG-2TS)的例子。不过，本技术适用于具有其中通过利用诸如因特网之类的网络，对接收终端进行传送的结构的系统。在因特网传送的情况下，传送主要是利用MP4格式或其它格式的容器进行的。换句话说，各种格式的容器，比如在数字广播标准中采用的传输流(MPEG-2TS)，和在因特网传送中使用的MP4格式可用作容器。
此外，本技术可具有以下结构。
(1)一种传输设备，包括：传输单元，所述传输单元被配置成传送具有包含编码图像数据的视频流的预定格式的容器；和辅助信息插入单元，所述辅助信息插入单元被配置成把用于缩减图像数据的空间和/或时间分辨率的辅助信息插入视频流中。
(2)按照上述(1)所述的传输设备，其中辅助信息指示包含在编码图像数据中的运动向量的精度的极限。
(3)按照上述(1)或(2)所述的传输设备，其中辅助信息识别在按预定比率，缩减时间分辨率之际选择的图像。
(4)按照上述(1)-(3)任意之一所述的传输设备，还包括识别信息插入单元，所述识别信息插入单元被配置成把指示辅助信息被插入视频流中的识别信息插入容器的层中。
(5)按照上述(4)所述的传输设备，其中指示缩减空间和/或时间分辨率的可用比率的缩减信息被附加到识别信息中。
(6)按照上述(4)或(5)所述的传输设备，其中包含在视频流中的图像数据的空间和/或时间分辨率信息被附加到识别信息中。
(7)按照上述(4)-(6)任意之一所述的传输设备，其中容器是传输流，识别信息插入单元把识别信息插入在包含于传输流中的节目映射表的视频基本循环之下的描述符中。
(8)按照上述(1)-(7)任意之一所述的传输设备，还包括分辨率信息插入单元，所述分辨率信息插入单元被配置成把包含在视频流中的图像数据的空间和/或时间分辨率信息插入容器的层中。
(9)按照上述(8)所述的传输设备，其中识别信息被附加到分辨率信息中，所述识别信息识别视频流是否具备对不支持图像数据的空间和/或时间分辨率的低性能解码器的支持。
(10)按照上述(8)或(9)所述的传输设备，其中容器是传输流，分辨率信息插入单元把分辨率信息插入在包含于传输流中的事件信息表之下的描述符中。
(11)一种传输方法，包括以下步骤：传送具有包含编码图像数据的视频流的预定格式的容器；和把用于缩减图像数据的空间和/或时间分辨率的辅助信息插入视频流中。
(12)一种传输设备，包括：传输单元，所述传输单元被配置成传送具有包括编码图像数据的视频流的预定格式的容器；和识别信息插入单元，所述识别信息插入单元被配置成在所述容器的层中，插入识别信息，以致至少基于每个节目，能够识别利用所述视频流的超高清晰度服务。
(13)按照上述(12)所述的传输设备，其中识别信息包括图像数据的空间和/或时间分辨率信息。
(14)按照上述(12)或(13)所述的传输设备，其中支持信息被附加到识别信息中，所述支持信息指示视频流是否具备对不支持图像数据的空间和/或时间分辨率的低性能解码器的支持。
(15)按照上述(12)-(14)任意之一所述的传输设备，其中容器是传输流，识别信息插入单元把识别信息插入在包含于传输流中的事件信息表之下的描述符中。
(16)一种传输方法，包括以下步骤：传送具有包括编码图像数据的视频流的预定格式的容器；和在所述容器的层中，插入识别信息，以致至少基于每个节目，能够识别利用所述视频流的超高清晰度服务。
(17)一种接收设备，包括：接收单元，所述接收单元被配置成接收包括编码图像数据的视频流；和处理单元，所述处理单元被配置成根据用于缩减图像数据的空间和/或时间分辨率的辅助信息，对编码图像数据应用空间和/或时间分辨率的缩减处理，从而获得具有期望分辨率的显示图像数据，其中所述辅助信息被插入视频流中。
(18)按照上述(17)所述的接收设备，其中接收单元接收包括视频流的预定格式的容器，指示缩减空间和/或时间分辨率时的可用比率的缩减信息被插入容器的层中，处理单元根据缩减信息，控制缩减处理，以便获得显示图像数据。
(19)按照上述(17)或(18)所述的接收设备，其中接收单元接收包括视频流的预定格式的容器，包含在视频流中的图像数据的空间和/或时间分辨率信息被插入容器的层中，处理单元根据所述分辨率信息，控制缩减信息，以获得显示图像数据。
(20)一种接收方法，包括以下步骤：接收包括编码图像数据，并被插入用于缩减图像数据的空间和/或时间分辨率的辅助信息的视频流；和根据所述辅助信息，对编码图像数据应用空间和/或时间分辨率的缩减处理，从而获得具有期望分辨率的显示图像数据。
本技术的主要特征在于由于通过把用于缩减图像数据的空间和/或时间分辨率的辅助信息(SEI消息)插入视频流中，执行传输，因此能够减轻接收方的缩减处理的负荷(参见图19)。另外，本技术的主要特征在于通过把识别信息插入容器(传输流)的层中，以致至少基于每个节目，能够识别利用视频流的超高清晰度服务，从而在接收方，能够在不解码视频流的情况下识别超高清晰度服务(参见图19)。
附图标记列表
10   图像传输和接收系统
100  广播站
110  传输数据生成单元
111  图像数据输出单元
112  视频编码器
115  音频数据输出单元
116  音频编码器
117  复用器
200  接收器
201  CPU
212  数字调谐器
213  传输流缓冲器(TS缓冲器)
214  分用器
215  编码缓冲器
216  视频解码器
217  解码缓冲器
218  视频RAM
241  编码缓冲器
242  音频解码器
243  声道混合单元

Claims (20)

1.一种传输设备，包括：
传输单元，所述传输单元被配置成传送具有包含编码图像数据的视频流的预定格式的容器；和
辅助信息插入单元，所述辅助信息插入单元被配置成把用于缩减图像数据的空间和/或时间分辨率的辅助信息插入视频流中。
2.按照权利要求1所述的传输设备，其中辅助信息指示包含在编码图像数据中的运动向量的精度的极限。
3.按照权利要求1所述的传输设备，其中辅助信息识别在按预定比率缩减时间分辨率时要选择的图像。
4.按照权利要求1所述的传输设备，还包括识别信息插入单元，所述识别信息插入单元被配置成把指示辅助信息被插入视频流中的识别信息插入容器的层中。
5.按照权利要求4所述的传输设备，其中指示缩减空间和/或时间分辨率的可用比率的缩减信息被附加到识别信息中。
6.按照权利要求4所述的传输设备，其中包含在视频流中的图像数据的空间和/或时间分辨率信息被附加到识别信息中。
7.按照权利要求4所述的传输设备，其中所述容器是传输流，并且识别信息插入单元把识别信息插入在包含于传输流中的节目映射表的视频基本循环之下的描述符中。
8.按照权利要求1所述的传输设备，还包括分辨率信息插入单元，所述分辨率信息插入单元被配置成把包含在视频流中的图像数据的空间和/或时间分辨率信息插入所述容器的层中。
9.按照权利要求8所述的传输设备，其中识别信息被附加到分辨率信息中，所述识别信息识别视频流是否具备对不支持图像数据的空间和/或时间分辨率的低性能解码器的支持。
10.按照权利要求8所述的传输设备，其中所述容器是传输流，并且分辨率信息插入单元把分辨率信息插入在包含于传输流中的事件信息表之下的描述符中。
11.一种传输方法，包括以下步骤：
传送具有包含编码图像数据的视频流的预定格式的容器；和
把用于缩减图像数据的空间和/或时间分辨率的辅助信息插入视频流中。
12.一种传输设备，包括：
传输单元，所述传输单元被配置成传送具有包括编码图像数据的视频流的预定格式的容器；和
识别信息插入单元，所述识别信息插入单元被配置成在所述容器的层中插入识别信息，以致能够至少按节目单位识别利用所述视频流的超高清晰度服务。
13.按照权利要求12所述的传输设备，其中所述识别信息包括图像数据的空间和/或时间分辨率信息。
14.按照权利要求12所述的传输设备，其中支持信息被附加到识别信息中，所述支持信息指示视频流是否具备对不支持图像数据的空间和/或时间分辨率的低性能解码器的支持。
15.按照权利要求12所述的传输设备，其中所述容器是传输流，并且识别信息插入单元把识别信息插入在包含于传输流中的事件信息表之下的描述符中。
16.一种传输方法，包括以下步骤：
传送具有包括编码图像数据的视频流的预定格式的容器；和
在所述容器的层中插入识别信息，以致至少基于每个节目，能够识别利用所述视频流的超高清晰度服务。
17.一种接收设备，包括：
接收单元，所述接收单元被配置成接收包括编码图像数据的视频流；和
处理单元，所述处理单元被配置成基于用于缩减图像数据的空间和/或时间分辨率的辅助信息，对编码图像数据应用空间和/或时间分辨率的缩减处理，从而获得具有期望分辨率的显示图像数据，其中所述辅助信息被插入视频流中。
18.按照权利要求17所述的接收设备，其中接收单元接收包括视频流的预定格式的容器，指示缩减空间和/或时间分辨率时的可用比率的缩减信息被插入容器的层中，并且处理单元基于缩减信息控制用于获得显示图像数据的缩减处理。
19.按照权利要求17所述的接收设备，其中接收单元接收包括视频流的预定格式的容器，包含在视频流中的图像数据的空间和/或时间分辨率信息被插入容器的层中，并且处理单元基于所述分辨率信息控制用于获得显示图像数据的缩减处理。
20.一种接收方法，包括以下步骤：
接收包括编码图像数据并被插入有用于缩减图像数据的空间和/或时间分辨率的辅助信息的视频流；和
基于所述辅助信息对编码图像数据应用空间和/或时间分辨率的缩减处理，从而获得具有期望分辨率的显示图像数据。
CN201380044781.8A 2012-09-07 2013-09-02 发送设备、发送方法、接收设备和接收方法 Active CN104604242B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012-197922 2012-09-07
JP2012197922 2012-09-07
PCT/JP2013/073576 WO2014038522A1 (ja) 2012-09-07 2013-09-02 送信装置、送信方法、受信装置および受信方法

Publications (2)

Publication Number Publication Date
CN104604242A true CN104604242A (zh) 2015-05-06
CN104604242B CN104604242B (zh) 2018-06-05

Family

ID=50237131

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380044781.8A Active CN104604242B (zh) 2012-09-07 2013-09-02 发送设备、发送方法、接收设备和接收方法

Country Status (10)

Country Link
US (3) US10432957B2 (zh)
EP (1) EP2894861B1 (zh)
JP (4) JP6258206B2 (zh)
KR (1) KR102142735B1 (zh)
CN (1) CN104604242B (zh)
BR (1) BR112015004393B1 (zh)
DK (1) DK2894861T3 (zh)
HU (1) HUE047946T2 (zh)
RU (1) RU2645717C2 (zh)
WO (1) WO2014038522A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020034984A1 (zh) * 2018-08-14 2020-02-20 广州虎牙信息科技有限公司 视频图像处理
CN112822537A (zh) * 2015-11-09 2021-05-18 交互数字Vc控股公司 使视频内容适应到显示特性的方法、设备及介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6288921B2 (ja) * 2013-02-25 2018-03-07 日本放送協会 タイムコード、タイムコード信号発生装置、動画記録再生装置及び動画編集装置
JP6288923B2 (ja) * 2013-02-25 2018-03-07 日本放送協会 符号化方法、タイムコード信号発生装置、動画記録再生装置及び動画編集装置
JP6288922B2 (ja) * 2013-02-25 2018-03-07 日本放送協会 符号化方法、タイムコード信号発生装置、動画記録再生装置及び動画編集装置
JP5641090B2 (ja) 2013-03-14 2014-12-17 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
US9854333B2 (en) * 2013-10-29 2017-12-26 Lg Electronics Inc. Method and apparatus for transmitting and receiving broadcast signal for providing HEVC based IP broadcast service
CA2949826C (en) * 2014-05-21 2021-06-29 Arris Enterprises Llc Signaling and selection for the enhancement of layers in scalable video
JP6652056B2 (ja) * 2014-07-31 2020-02-19 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
PT3179729T (pt) * 2014-08-07 2021-09-21 Sony Group Corp Dispositivo de transmissão, método de transmissão e dispositivo de receção
JP6555798B2 (ja) * 2014-11-28 2019-08-07 シャープ株式会社 デジタル放送受信装置、デジタル放送受信方法、およびプログラム
JP6373179B2 (ja) * 2014-11-28 2018-08-15 シャープ株式会社 デジタル放送受信装置、デジタル放送受信方法、およびプログラム
JP6735643B2 (ja) * 2015-09-29 2020-08-05 日本放送協会 受信装置およびプログラム
KR20180063063A (ko) * 2015-09-30 2018-06-11 소니 주식회사 송신 장치, 송신 방법, 수신 장치 및 수신 방법
WO2017065128A1 (ja) 2015-10-13 2017-04-20 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
CN116074532A (zh) * 2016-02-01 2023-05-05 Oppo广东移动通信有限公司 预测图像生成装置、运动图像解码装置、以及运动图像编码装置
US10440366B2 (en) 2016-07-01 2019-10-08 Intel Corporation Method and system of video coding using content based metadata
US10965971B2 (en) * 2016-07-13 2021-03-30 Sony Corporation Server device, method of transmission processing of server device, client device, method of reception processing of client device, and server system
US10841610B2 (en) * 2017-10-23 2020-11-17 Avago Technologies International Sales Pte. Limited Block size dependent interpolation filter selection and mapping
KR20210093605A (ko) * 2020-01-20 2021-07-28 삼성전자주식회사 디스플레이 장치 및 그 동작 방법

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050058205A1 (en) * 2003-09-07 2005-03-17 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
JP2005130313A (ja) * 2003-10-24 2005-05-19 Sony Corp 立体視画像処理装置
CN1926607A (zh) * 2004-03-01 2007-03-07 杜比实验室特许公司 多信道音频编码
US20080310513A1 (en) * 2007-06-15 2008-12-18 Canon Kabushiki Kaisha High-fidelity motion summarisation method
CN102132568A (zh) * 2008-08-21 2011-07-20 松下电器产业株式会社 运动检测装置
CN102318202A (zh) * 2006-03-29 2012-01-11 维德约股份有限公司 用于可缩放与非可缩放视频编解码器之间的译码的系统和方法
JP2012060575A (ja) * 2010-09-13 2012-03-22 Canon Inc 映像処理装置およびその制御方法
CN102450010A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
WO2012111320A1 (ja) * 2011-02-16 2012-08-23 パナソニック株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7486952B1 (en) * 2000-02-09 2009-02-03 Alcatel-Lucent Usa Inc. Facilitated security for handoff in wireless communications
US7136417B2 (en) * 2002-07-15 2006-11-14 Scientific-Atlanta, Inc. Chroma conversion optimization
US7317839B2 (en) * 2003-09-07 2008-01-08 Microsoft Corporation Chroma motion vector derivation for interlaced forward-predicted fields
US20060140224A1 (en) * 2004-12-27 2006-06-29 William Yoshida Generating a half rate/quarter rate flag stream for enhanced VSB decoder
JP4561482B2 (ja) * 2005-06-01 2010-10-13 株式会社日立製作所 映像表示装置
US8699583B2 (en) * 2006-07-11 2014-04-15 Nokia Corporation Scalable video coding and decoding
JP2008283561A (ja) * 2007-05-11 2008-11-20 Sony Corp 通信システム、映像信号伝送方法、送信装置、送信方法、受信装置および受信方法
US8804845B2 (en) * 2007-07-31 2014-08-12 Cisco Technology, Inc. Non-enhancing media redundancy coding for mitigating transmission impairments
WO2009104850A1 (en) 2008-02-20 2009-08-27 Lg Electronics Inc. Method for encoding and decoding image, and apparatus for encoding and decoding image
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
US20100218232A1 (en) * 2009-02-25 2010-08-26 Cisco Technology, Inc. Signalling of auxiliary information that assists processing of video according to various formats
JP5271211B2 (ja) 2009-09-09 2013-08-21 本田技研工業株式会社 自動二輪車用シート高調整装置
JP5594002B2 (ja) * 2010-04-06 2014-09-24 ソニー株式会社 画像データ送信装置、画像データ送信方法および画像データ受信装置
JP2011239169A (ja) * 2010-05-10 2011-11-24 Sony Corp 立体画像データ送信装置、立体画像データ送信方法、立体画像データ受信装置および立体画像データ受信方法
EP2602999A1 (en) * 2010-08-06 2013-06-12 Panasonic Corporation Encoding method, display device, and decoding method
JP2014531807A (ja) * 2011-09-09 2014-11-27 パナモーフ, インコーポレイテッドPanamorph, Inc. 画像処理システム及び方法
CA2816434C (en) * 2011-10-28 2017-10-24 Panasonic Corporation Recording medium, playback device, recording device, playback method and recording method for editing recorded content while maintaining compatibility with old format
JP6073477B2 (ja) 2012-08-10 2017-02-01 エルジー エレクトロニクス インコーポレイティド 信号送受信装置および信号送受信方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050058205A1 (en) * 2003-09-07 2005-03-17 Microsoft Corporation Extended range variable length coding/decoding of differential motion vector information
JP2005130313A (ja) * 2003-10-24 2005-05-19 Sony Corp 立体視画像処理装置
CN1926607A (zh) * 2004-03-01 2007-03-07 杜比实验室特许公司 多信道音频编码
CN102318202A (zh) * 2006-03-29 2012-01-11 维德约股份有限公司 用于可缩放与非可缩放视频编解码器之间的译码的系统和方法
US20080310513A1 (en) * 2007-06-15 2008-12-18 Canon Kabushiki Kaisha High-fidelity motion summarisation method
CN102132568A (zh) * 2008-08-21 2011-07-20 松下电器产业株式会社 运动检测装置
CN102450010A (zh) * 2009-04-20 2012-05-09 杜比实验室特许公司 定向内插和数据后处理
JP2012060575A (ja) * 2010-09-13 2012-03-22 Canon Inc 映像処理装置およびその制御方法
WO2012111320A1 (ja) * 2011-02-16 2012-08-23 パナソニック株式会社 映像符号化装置、映像符号化方法、映像符号化プログラム、映像再生装置、映像再生方法及び映像再生プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112822537A (zh) * 2015-11-09 2021-05-18 交互数字Vc控股公司 使视频内容适应到显示特性的方法、设备及介质
US11711569B2 (en) 2015-11-09 2023-07-25 Interdigital Vc Holdings, Inc. Method and device for adapting the video content decoded from elementary streams to the characteristics of a display
WO2020034984A1 (zh) * 2018-08-14 2020-02-20 广州虎牙信息科技有限公司 视频图像处理

Also Published As

Publication number Publication date
BR112015004393A2 (pt) 2017-07-04
RU2015107001A (ru) 2016-09-20
HUE047946T2 (hu) 2020-05-28
JP2016220233A (ja) 2016-12-22
KR102142735B1 (ko) 2020-08-07
EP2894861A1 (en) 2015-07-15
US20210243463A1 (en) 2021-08-05
KR20150052029A (ko) 2015-05-13
JP2016213888A (ja) 2016-12-15
US10951910B2 (en) 2021-03-16
WO2014038522A1 (ja) 2014-03-13
JP6038379B1 (ja) 2016-12-07
EP2894861A4 (en) 2016-03-30
JP2016213887A (ja) 2016-12-15
US20150172690A1 (en) 2015-06-18
US11700388B2 (en) 2023-07-11
DK2894861T3 (da) 2020-02-10
JP6038381B1 (ja) 2016-12-07
CN104604242B (zh) 2018-06-05
US20190373277A1 (en) 2019-12-05
RU2645717C2 (ru) 2018-03-01
JP6038380B1 (ja) 2016-12-07
JP6258206B2 (ja) 2018-01-10
US10432957B2 (en) 2019-10-01
BR112015004393B1 (pt) 2023-01-17
JPWO2014038522A1 (ja) 2016-08-08
EP2894861B1 (en) 2020-01-01

Similar Documents

Publication Publication Date Title
CN104604242A (zh) 传输设备、传输方法、接收设备和接收方法
CN105765980B (zh) 传输装置、传输方法、接收装置和接收方法
RU2511595C2 (ru) Устройство декодирования сигнала изображения, способ декодирования сигнала изображения, устройство кодирования сигнала изображения, способ кодирования изображения и программа
CN102804773B (zh) 在mpeg‑2系统中组合多视角视频译码子位流
US8428122B2 (en) Method and system for frame buffer compression and memory resource reduction for 3D video
US11412176B2 (en) Transmission device, transmission method, reception device, and reception method
EP3038365B1 (en) Encoding device, encoding method, transmission device, decoding device, decoding method, and reception device
CN104584562A (zh) 发送设备、发送方法、接收设备和接收方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant