CN107810631A - 广播信号发送装置、广播信号接收装置、广播信号发送方法和广播信号接收方法 - Google Patents

广播信号发送装置、广播信号接收装置、广播信号发送方法和广播信号接收方法 Download PDF

Info

Publication number
CN107810631A
CN107810631A CN201680035049.8A CN201680035049A CN107810631A CN 107810631 A CN107810631 A CN 107810631A CN 201680035049 A CN201680035049 A CN 201680035049A CN 107810631 A CN107810631 A CN 107810631A
Authority
CN
China
Prior art keywords
information
video
frame
frame rate
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680035049.8A
Other languages
English (en)
Inventor
黄修振
徐琮烈
吴世珍
吴炫默
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN107810631A publication Critical patent/CN107810631A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440281—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the temporal resolution, e.g. by frame skipping
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明提供了用于下拉信号恢复的广播信号发送/接收方法和装置。根据本发明的一个实施方式的一种广播信号发送方法包括以下步骤：下拉并重构视频数据；对重构后的视频数据进行编码；对用于重构后的视频数据的信令信息进行编码；生成包括编码后的视频数据和编码后的信令信息的广播信号；以及发送所生成的广播信号。

Description

广播信号发送装置、广播信号接收装置、广播信号发送方法和 广播信号接收方法
技术领域
本发明涉及广播信号发送装置、广播信号接收装置和广播信号收发方法。
背景技术
被称为移动照片的移动视频在拍摄和制作中可以被分类为TV视频和影院放映视频两种类型。首先，在使用胶片拍摄的影院放映视频的情况下，典型的静态照片被连续拍摄，然后按照时间顺序进行显示。在这种情况下，容易注意到，每个视频剪辑都变成了静态视频。然而，由于通过电视广播的视频包括两个场而不是一个剪辑的整张照片，所以这些场应该被彼此组合，以允许用户看到整张照片。在这种情况下，可能存在各种原因。由于阴极射线管的TV传输技术和性能在早期阶段并不好，因此通过阴极射线激发荧光材料而发光的时间非常短是很大的原因。在NTSC制式的情况下，由于1秒需要30张的帧(29.97fps)，因此在显示一帧之后直到显示下一帧之前，视频应该在阴极射线管上保持此至少1/30秒或更长。然而，由于早期阶段的阴极射线管不支持这种技术，因此使用将一帧分成两个场并且将它们进行交织的有利方法。以这种方式，视频可以通过阴极射线管和低性能的传输方案进行传输。然而，不足之处在于，快速场景或复杂视频的移动不能被详细显示。这种隔行扫描方案迄今为止已经应用于大多数TV，并且所有视频中的大多数已经根据隔行扫描方案被拍摄、编辑和播放。此外，用胶片拍摄的影院放映视频按适当顺序逐行以每秒24张图像(24fps)显示，其中，24帧指示未被分割的一张照片。因此，影院放映视频的优点在于，即使在快速移动的情况下，也能够显示更清晰的图像并且不会丢失细节。
存在逐行扫描方案和隔行扫描方案。逐行扫描方案的主要示例可以包括计算机监视器或者诸如PDP或LCD这样的数字TV。逐行扫描方案一次显示一帧中的视频的所有水平行。另一方面，当显示一个图像时，大多数人目前使用的TV无论NTSC方案还是PAL方案都只显示一个图像帧中的水平行的一半。这种方案将被称为隔行扫描方案。也就是说，隔行扫描方案通过将一帧分成两个场(上/下、上/下/奇/偶等)并且以适当顺序交替地显示场来在屏幕上显示图像。
与3:2下拉逐行扫描方案最紧密相关的那些中的一个是用胶片制作的电影。这是因为，最近发行的所有DVD电影名中的大多数的原始来源是用胶片制作的电影。与NTSC TV不同，通过每秒24帧来制作电影。以与原始电影相同的方式，用24帧的原始图像来直接制作DVD。然而，由于目前使用的诸如TV的大多数显示设备是隔行型设备，因此实际上应该按照此隔行用隔行扫描方案来制作DVD。此时，将24帧的胶片切换成60个场的视频的任务将被称为3:3下拉或电视电影(telecine)。这可以被总结为通过每两个胶片帧添加一个场用四张胶片制造五个视频帧这样的方式。3:2下拉意指用第一帧来制成三个场并且用第二帧来制作两个场。
近来，按照显示技术的发展，已经出现了逐行型显示装置，因此需要研究用于恢复3:2下拉视频的方法。另外，帧速率会在服务中改变，因此还需要研究用于帧速率的信令信息。
发明内容
技术问题
数字广播系统可以提供超高清(UHD)图像、多信道音频和各种附加服务。然而，对于数字广播，需要增强考虑到大量数据传输效率、收发网络的鲁棒性和移动接收装置的网络灵活性。
设计用于解决该问题的本发明的一个目的在于恢复下拉信号的方法。
设计用于解决该问题的本发明的一个目的在于用信号通知下拉信号的方法。
设计用于解决该问题的本发明的一个目的在于恢复帧速率改变编码信号的方法。
设计用于解决该问题的本发明的一个目的在于用信号通知帧速率改变编码信号的方法。
设计用于解决该问题的本发明的一个目的在于传输高帧速率和下拉广播信号的信令信息的方法。
技术方案
本发明的目的可以通过提供一种用于发送广播信号的方法来实现，该方法包括以下步骤：改变视频数据的帧速率并且对所述视频数据进行编码；对用于帧速率改变的视频数据的信令信息进行编码；生成包括编码后的视频数据和编码后的信令信息的广播信号；以及发送所生成的广播信号。
改变所述视频数据的帧速率的步骤可以包括对所述视频数据中包括的帧进行重复或插值。
所述信令信息可以包括指示帧速率改变的所述视频数据中包括的复制帧是被重复还是插值的信息。
所述信令信息可以指示帧速率改变的所述视频数据中包括的帧当中的与帧速率改变之前的所述视频数据中包括的帧匹配的帧的信息。
所述信令信息可以包括帧速率信息，并且所述帧速率信息可以被包括在编码的视频数据中并可以被发送。
所述信令信息可以包括帧速率信息，所述帧速率信息可以包括关于所述帧速率改变之前的原始帧速率的信息，并且所述信令信息可以被作为所述视频数据的单独信令数据进行发送。
所述信令信息可以被包括在编码后的所述视频数据的SEI消息中并且与其一起发送。
在本发明的另一方面，本文中提供了一种用于接收广播信号的方法，该方法包括以下步骤：接收广播信号，该广播信号包括与原始视频数据相比帧速率改变的视频数据和用于帧速率改变的所述视频数据的信令信息；从所接收到的广播信号中提取所述信令信息和帧速率改变的所述视频数据；以及使用所提取的所述信令信息对帧速率改变的所述视频数据进行解码。
对所提取的帧速率改变的视频数据进行解码的步骤可以包括选择所述视频数据中包括的帧当中的与所述原始视频数据中包括的帧匹配的帧。
所述信令信息可以包括指示是通过重复还是插值来生成帧速率改变的所述视频数据中包括的复制帧的信息。
所述信令信息可以包括指示帧速率改变的所述视频数据中包括的帧当中的与所述原始视频数据中包括的帧匹配的帧的信息。
所述信令信息可以包括帧速率信息，所述帧速率信息被包括在编码后的所述视频数据中并且被接收，并且所述方法还可以包括以下步骤：将帧速率改变的所述视频数据转换成所述原始视频数据的帧速率。
所述信令信息可以包括帧速率信息，所述帧速率信息可以包括关于所述帧速率改变之前的原始帧速率的信息，并且所述信令信息可以被作为所述视频数据的单独信令数据进行接收。
所述视频数据可以被编码为ISOBMFF，所述信令信息可以被包括在编码为ISOBMFF的视频数据中并且被与该视频数据一起发送，并且所述信令信息还可以包括关于所述帧速率的转换的信息和所述帧速率的兼容性的信息。
在本发明的另一方面，本文中提供了一种广播信号发送装置，该广播信号发送装置包括：视频编码器，该视频编码器被配置成改变视频数据的帧速率并且对所述视频数据进行编码；信令编码器，该信令编码器被配置成对用于帧速率改变的视频数据的信令信息进行编码；以及发送机，该发送机被配置成发送包括编码后的视频数据和编码后的信令信息的广播信号。
在本发明的另一方面，本文中提供了一种广播信号接收装置，该广播信号接收装置包括：接收机，该接收机被配置成接收广播信号，该广播信号包括与原始视频数据相比帧速率改变的视频数据和用于帧速率改变的所述视频数据的信令信息；提取器，该提取器被配置成从所接收到的广播信号中提取所述信令信息和帧速率改变的所述视频数据；以及解码器，该解码器被配置成使用所提取的所述信令信息对帧速率改变的所述视频数据进行解码。
有益效果
本发明可以提供恢复帧速率改变编码信号的方法。
本发明可以提供恢复帧速率改变编码信号的信令方法。
本发明可以提供在媒体文件中定义和存储高帧速率(HRF)和下拉信息并且发送所述信息的方法。
根据本发明的方法能够有效地存储和传输高帧速率(HRF)和下拉信息。本发明能够提出当在视频采样或轨道分段单元中改变视频样本的高帧速率(HRF)和下拉信息时的有效信令方法。
根据本发明的方法能够针对每级别有效地用信号通知高帧速率(HRF)和下拉信息。根据本发明的方法能够在使用对应媒体文件格式的各种存储和传输系统中提供优异的兼容性。
附图说明
附图被包括以提供对本发明的进一步理解，附图示出本发明的实施方式并且与说明书一起用来说明本发明的原理。
图1是示出根据本发明的实施方式的协议栈的图。
图2是示出根据本发明的一个实施方式的服务发现过程的图。
图3是示出根据本发明的一个实施方式的低级别信令(LLS)表和服务列表表(SLT)的图。
图4是示出根据本发明的一个实施方式的通过ROUTE传送的USBD和S-TSID的图。
图5是示出根据本发明的一个实施方式的通过MMT传送的USBD的图。
图6是示出根据本发明的一个实施方式的链路层操作的图。
图7是示出根据本发明的一个实施方式的链路映射表(LMT)的图。
图8是示出根据本发明的实施方式的下一代广播服务的广播信号发送装置的结构的图。
图9是根据本发明的实施方式的时间交织器的写操作。
图10是根据本发明的实施方式的包括在频率交织器中的交织地址生成器的框图，该交织地址生成器根据各个FFT模式包括主PRBS生成器和子PRBS生成器。
图11是示出根据本发明的实施方式的混合广播接收装置的框图。
图12是示出根据本发明的实施方式的基于DASH的自适应流传输模型的总体操作的图。
图13是根据本发明的实施方式的接收机的框图。
图14是示出根据本发明的实施方式的媒体文件的配置的图。
图15是示出根据本发明的一个实施方式的用于发送广播信号的方法的图。
图16是例示根据本发明的一个实施方式的用24p视频的3:2下拉来生成60i视频的过程的图。
图17是例示根据本发明的一个实施方式的pull_down_info的配置的图。
图18是例示根据本发明的一个实施方式的用3:2下拉的60i视频来恢复24p视频的过程的图。
图19是示出根据本发明的一个实施方式的用于接收广播信号的装置的配置的图。
图20是例示根据本发明的一个实施方式的用于接收广播信号的方法的图。
图21是例示根据本发明的一个实施方式的用于发送广播信号的装置的配置的图。
图22是例示根据本发明的一个实施方式的用于接收广播信号的装置的配置的图。
图23是示出根据本发明的实施方式的用于发送帧速率改变编码的视频源的发送装置和用于接收所述视频源的接收装置的图。
图24是示出根据本发明的实施方式的将60p视频提高两倍以生成120p视频的过程的图。
图25是示出根据本发明的实施方式的帧标记信息的图。
图26是示出根据本发明的一个实施方式的用于接收广播信号的装置的配置的图。
图27是示出根据本发明的实施方式的发送帧速率改变编码的视频源的方法的图。
图28是示出根据本发明的实施方式的接收和发送帧速率改变编码的视频源的方法的图。
图29是示出根据本发明的实施方式的用于提供帧速率相关参数的配置的图。
图30是示出根据本发明的实施方式的在tkhd盒中定义帧速率信息的方法的图。
图31是示出根据本发明的实施方式的将包括帧速率相关信息的HFR配置盒和下拉恢复配置盒添加到轨道头盒的方法的图。
图32是示出根据本发明的实施方式的在视频媒体头(vmhd)盒中定义帧速率相关信息的方法的图。
图33是示出根据本发明的实施方式的在trex盒中定义帧速率信息的方法的图。
图34是示出根据本发明的实施方式的在轨道分段头(tkhd)盒中定义帧速率信息的方法的图。
图35是示出根据本发明的实施方式的在轨道分段头(tkhd)盒中定义帧速率信息的方法的图。
图36是示出根据本发明的实施方式的在轨道运行(trun)盒中定义帧速率信息的方法的图。
图37和图38是示出根据本发明的另一个实施方式的在轨道运行(trun)盒中定义帧速率信息的方法的图。
图39是示出根据本发明的实施方式的在各种标志或样本组条目中定义帧速率信息的方法的图。
图40是示出根据本发明的实施方式的在视觉样本条目中定义帧速率信息的方法的图。
图41是示出根据本发明的实施方式的在HEVC样本条目、HEVC配置盒或HEVC解码器配置记录中定义帧速率信息的方法的图。
图42是示出根据本发明的实施方式的定义帧速率信息SEI盒并且存储/发送帧速率信息的方法的图。
图43是示出根据本发明的实施方式的基于HFR信息处理能力的接收装置的媒体引擎操作的图。
图44是示出根据本发明的实施方式的基于下拉恢复信息的接收装置的媒体引擎操作的图。
图45是示出根据本发明的实施方式的接收广播信号的方法的图。
图46是示出根据本发明的实施方式的广播信号发送装置的图。
具体实施方式
现在将详细参照本发明的优选实施方式，在附图中示出了这些优选实施方式的示例。在下面将参考伴随的附图给出详细说明，其意欲解释本发明的示例性实施方式，而不是示出可以根据本发明实现的仅有的实施方式。以下的详细说明包括特定的细节，以便提供对本发明深入的理解。然而，对于那些本领域技术人员将是显而易见的，无需这样的特定的细节也可以实践本发明。
虽然在本发明中使用的术语是从通常已知和使用的术语中选择出来的，在本发明的描述中提及的一些术语已经由本申请人以他的或者她的判断选择，其详细的含义在此处本说明书的相关部分中描述。此外，所需要的是，不只是通过实际使用的术语，而是通过每个术语的含义来理解本发明。
本发明提供了用于发送和接收针对未来广播服务的广播信号的设备和方法。根据本发明的实施方式的未来广播服务包括地面广播服务、移动广播服务、超高清电视(UHDTV)服务等。本发明可以根据一个实施方式通过非MIMO(多输入多输出)或者MIMO来处理用于未来广播服务的广播信号。根据本发明的实施方式的非MIMO方案可以包括MISO(多输入单输出)方案、SISO(单输入单输出)方案等。
图1是示出根据本发明的实施方式的协议栈的图。
服务可以通过多个层传送给接收机。首先，发送侧可以生成服务数据。服务数据可以被处理以用于在发送侧的传送层上传输，并且服务数据可以被编码为广播信号并在物理层处经由广播或者宽带网络发送。
这里，服务数据可以按照ISO基础媒体文件格式(BMFF)生成。ISO BMFF媒体文件可以用于广播/宽带网络传送、媒体封装和/或同步格式。这里，服务数据是与服务相关的所有数据，并且可以包括配置线性服务的服务组件、其信令信息、非实时(NRT)数据和其它文件。
将描述传送层。传送层可以提供用于发送服务数据的功能。服务数据可以经由广播和/或宽带网络传送。
广播服务传送可以包括两种方法。
作为第一种方法，服务数据可以基于MPEG媒体传输(MMT)在媒体处理单元(MPU)中处理，并且使用MMT协议(MMTP)发送。在这种情况下，使用MMTP传送的服务数据可以包括用于线性服务的服务组件和/或其服务信令信息。
作为第二种方法，服务数据可以被处理为DASH分段，并且基于MPEG DASH使用经由单向传输(ROUTE)的实时对象传送来发送。在这种情况下，通过ROUTE协议传送的服务数据可以包括用于线性服务的服务组件、其服务信令信息和/或NRT数据。也就是说，NRT数据和非定时数据(例如，文件)可以通过ROUTE传送。
根据MMTP或者ROUTE协议处理的数据可以通过UDP/IP层被处理为IP分组。在经由广播网络的服务数据传送中，服务列表表(SLT)也可以通过UDP/IP层经由广播网络传送。SLT可以在低级别信令(LLS)表中传送。稍后将描述SLT和LLS表。
IP分组可以在链路层中被处理为链路层分组。链路层可以将从高层传送的各种格式的数据封装进链路层分组中，然后将分组传送给物理层。稍后将描述链路层。
在混合服务传送中，至少一个服务元素可以通过宽带路径传送。在混合服务传送中，经由宽带传送的数据可以包括DASH格式的服务组件、其服务信令信息和/或NRT数据。此数据可以通过HTTP/TCP/IP处理，并且通过用于宽带传输的链路层传送给用于宽带传输的物理层。
物理层可以处理从传送层(高层和/或链路层)接收的数据，并且经由广播或者宽带网络发送该数据。稍后将给出物理层的详细描述。
将描述服务。服务可以是显示给用户的服务组件的集合，组件可以具有各种媒体类型，服务可以是连续的或者间断的，服务可以是实时的或者非实时的，并且实时服务可以包括一系列TV节目。
服务可以具有各种类型。第一，服务可以是线性音频/视频或者具有基于app的增强的音频服务。第二，服务可以是由下载的应用控制其再现/配置的基于app的服务。第三，服务可以是用于提供电子服务指南(ESG)的ESG服务。第四，服务可以是用于提供紧急警报信息的紧急警报(EA)服务。
当没有基于app的增强的线性服务经由广播网络传送时，服务组件可以由(1)一个或更多个ROUTE会话或者(2)一个或更多个MMTP会话传送。
当具有基于app的增强的线性服务经由广播网络传送时，服务组件可以由(1)一个或更多个ROUTE会话或者(2)零或更多个MMTP会话传送。在这种情况下，用于基于app的增强的数据可以按照NRT数据或者其它文件的形式通过ROUTE会话传送。在本发明的一个实施方式中，使用两个协议同时传送一个服务的线性服务组件(流媒体组件)可能是不被允许的。
当基于app的服务经由广播网络传送时，服务组件可以由一个或更多个ROUTE会话传送。在这种情况下，用于基于app的服务的服务数据可以按照NRT数据或者其它文件的形式通过ROUTE会话传送。
这种服务的一些服务组件、一些NRT数据、文件等可以通过宽带传送(混合服务传送)。
也就是说，在本发明的一个实施方式中，一个服务的线性服务组件可以通过MMT协议传送。在本发明的另一个实施方式中，一个服务的线性服务组件可以通过ROUTE协议传送。在本发明的另一个实施方式中，一个服务的线性服务组件和NRT数据(NRT服务组件)可以通过ROUTE协议传送。在本发明的另一个实施方式中，一个服务的线性服务组件可以通过MMT协议传送，并且NRT数据(NRT服务组件)可以通过ROUTE协议传送。在以上描述的实施方式中，服务的一些服务组件或者一些NRT数据可以通过宽带传送。这里，基于app的服务和关于基于app的增强的数据可以根据ROUTE经由广播网络传送，或者按照NRT数据的形式通过宽带传送。NRT数据可以称为本地缓存数据。
各个ROUTE会话包括用于完整地或者部分地传送配置服务的内容组件的一个或更多个LCT会话。在流服务传送中，LCT会话可以传送用户服务的各个组件，例如音频、视频或者隐藏式字幕流(closed caption stream)。流媒体被格式化为DASH分段。
各个MMTP会话包括用于传送所有或者一些内容组件或者MMT信令消息的一个或更多个MMTP分组流。MMTP分组流可以传送已格式化为MPU的组件或者MMT信令消息。
对于NRT用户服务或者系统元数据的传送，LCT会话传送基于文件的内容项目。这些内容文件可以包括NRT服务的连续的(定时的)或者离散的(非定时的)媒体组件或者诸如服务信令或者ESG分段的元数据。诸如服务信令或者ESG分段的系统元数据可以通过MMTP的信令消息模式传送。
在调谐器调谐到频率的同时，接收机可以检测广播信号。接收机可以提取并发送SLT给处理模块。SLT解析器可以解析SLT，并且在信道映射(channel map)中获取和存储数据。接收机可以获取SLT的引导信息(bootstrap information)并将其传送给ROUTE或者MMT客户端。接收机可以获取和存储SLS。USBD可以由信令解析器获取和解析。
图2是示出根据本发明的一个实施方式的服务发现过程的图。
由物理层的广播信号帧传送的广播流可以承载低级别信令(LLS)。LLS数据可以通过传送给公知的IP地址/端口的IP分组的有效载荷来承载。此LLS可以根据其类型包括SLT。LLS数据可以按照LLS表的形式被格式化。承载LLS数据的每个UDP/IP分组的第一字节可以是LLS表的开始。与所示出的实施方式不同，用于传送LLS数据的IP流可以与其它服务数据一起被传送给PLP。
SLT可以使得接收机能够通过快速信道扫描生成服务列表，并且提供用于定位SLS的访问信息。SLT包括引导信息。此引导信息可以使得接收机能够获取各个服务的服务层信令(SLS)。当SLS(也就是说，服务信令信息)通过ROUTE传送时，引导信息可以包括承载SLS的LCT信道、包括LCT信道的ROUTE会话的目的地IP地址以及目的地端口信息。当SLS通过MMT传送时，引导信息可以包括承载SLS的MMTP会话的目的地IP地址和目的地端口信息。
在所示出的实施方式中，在SLT中描述的服务#1的SLS通过ROUTE传送，并且SLT可以包括包含由SLS传送的LCT信道的ROUTE会话的引导信息sIP1、dIP1和dPort1。在SLT中描述的服务#2的SLS通过MMT传送，并且SLT可以包括包含由SLS传送的MMTP分组流的MMTP会话的引导信息sIP2、dIP2和dPort2。
SLS是描述服务的性质的信令信息，并且可以包括用于显著地再现服务或者提供用于获取服务和服务的服务组件的信息的接收机能力信息。当各个服务具有单独的服务信令时，无需解析在广播流内传送的所有SLS，接收机即可获取用于期望的服务的合适SLS。
当SLS通过ROUTE协议传送时，SLS可以通过由SLT指示的ROUTE会话的专用LCT信道传送。在一些实施方式中，该LCT信道可以是通过tsi＝0识别的LCT信道。在这种情况下，SLS可以包括用户服务包描述(bundle description)(USBD)/用户服务描述(USD)、基于服务的传输会话实例描述(S-TSID)和/或媒体呈现描述(MPD)。
这里，USBD/USD是一个SLS分段，并且可以用作描述服务的详细描述信息的信令中心(signaling hub)。USBD可以包括服务识别信息、设备能力信息等。USBD可以包括其它SLS分段(S-TSID、MPD等)的引用信息(URI引用)。也就是说，USBD/USD可以引用S-TSID和MPD。此外，USBD可以进一步包括用于使得接收机能够判定传输模式(广播/宽带网络)的元数据信息。USBD/USD的详细描述将在下面给出。
S-TSID是一个SLS分段，并且可以提供承载服务的服务组件的传输会话的总体会话描述信息。S-TSID可以提供传送服务的服务组件的ROUTE会话，和/或用于ROUTE会话的LCT信道的传输会话描述信息。S-TSID可以提供与一个服务相关联的服务组件的组件获取信息。S-TSID可以在MPD的DASH表示与服务组件的tsi之间提供映射。S-TSID的组件获取信息可以按照相关联的DASH表示和tsi的标识符的形式提供，并且在一些实施方式中可以包括或者可以不包括PLP ID。通过组件获取信息，接收机可以收集一个服务的音频/视频组件，并且执行DASH媒体分段的缓冲和解码。S-TSID可以如上所述由USBD引用。S-TSID的详细描述将在下面给出。
MPD是一个SLS分段，并且可以提供服务的DASH媒体呈现的描述。MPD可以提供媒体分段的资源标识符，并且提供在所识别的资源的媒体呈现内的上下文信息。MPD可以描述经由广播网络传送的DASH表示(服务组件)，并且描述经由宽带(混合传送)传送的附加DASH呈现。MPD可以如上所述由USBD引用。
当SLS通过MMT协议传送时，SLS可以通过由SLT指示的MMTP会话的专用MMTP分组流传送。在一些实施方式中，传送SLS的MMTP分组的packet_id可以具有00的值。在这种情况下，SLS可以包括USBD/USD和/或MMT分组(MP)表。
这里，USBD是一个SLS分段，并且可以如ROUTE中一样描述服务的详细描述信息。此USBD可以包括其它SLS分段的引用信息(URI信息)。MMT的USBD可以引用MMT信令的MP表。在一些实施方式中，MMT的USBD可以包括S-TSID和/或MPD的引用信息。这里，S-TSID是用于通过ROUTE协议传送的NRT数据。甚至当线性服务组件通过MMT协议传送时，NRT数据也可以经由ROUTE协议传送。MPD是在混合服务传送中用于经由宽带传送的服务组件。MMT的USBD的详细描述将在下面给出。
MP表是用于MPU组件的MMT的信令消息，并且可以提供承载服务的服务组件的MMTP会话的总体会话描述信息。此外，MP表可以包括通过MMTP会话传送的资产(asset)的描述。MP表是用于MPU组件的流信令信息，并且可以提供对应于一个服务的资产列表和这些组件的位置信息(组件获取信息)。MP表的详细描述可以在MMT中定义或者修改。这里，资产是多媒体数据实体，通过一个唯一ID组合，并且可以意指用于一个多媒体呈现的数据实体。资产可以对应于配置一个服务的服务组件。对应于期望的服务的流服务组件(MPU)可以使用MP表来访问。MP表可以如上所述由USBD引用。
可以定义其它MMT信令消息。与服务和MMTP会话关联的附加信息可以由这些MMT信令消息描述。
ROUTE会话通过源IP地址、目的地IP地址和目的地端口号来识别。LCT会话通过在父ROUTE会话的范围内唯一的传输会话标识符(TSI)来识别。MMTP会话通过目的地IP地址和目的地端口号来识别。MMTP分组流通过在父MMTP会话的范围内唯一的packet_id来识别。
在ROUTE的情况下，S-TSID、USBD/USD、MPD或者传送其的LCT会话可以称为服务信令信道。在MMTP的情况下，USBD/UD、MMT信令消息或者传送其的分组流可以称为服务信令信道。
与所示出的实施方式不同，一个ROUTE或者MMTP会话可以经由多个PLP传送。也就是说，一个服务可以通过一个或更多个PLP传送。
与所示出的实施方式不同，在一些实施方式中，配置一个服务的组件可以通过不同的ROUTE会话传送。此外，在一些实施方式中，配置一个服务的组件可以通过不同的MMTP会话传送。在一些实施方式中，配置一个服务的组件可以被分割并在ROUTE会话和MMTP会话中传送。虽然未示出，配置一个服务的组件可以通过宽带(混合传送)传送。
图3是示出根据本发明的一个实施方式的低级别信令(LLS)表和服务列表表(SLT)的图。
LLS表的一个实施方式t3010可以包括根据LLS_table_id字段、provider_id字段、LLS_table_version字段和/或LLS_table_id字段的信息。
LLS_table_id字段可以识别LLS表的类型，并且provider_id字段可以识别与由LLS表用信号通知的服务相关联的服务提供商。这里，服务提供商是使用所有或者一些广播流的广播商，并且provider_id字段可以识别正在使用广播流的多个广播商中的一个。LLS_table_version字段可以提供LLS表的版本信息。
根据LLS_table_id字段的值，LLS表可以包括以上描述的SLT、包括关于内容咨询评级的信息的评级区域表(RRT)、用于提供与系统时间相关联的信息的SystemTime信息、用于提供与紧急警报相关联的信息的公共警报协议(CAP)消息中的一个。在一些实施方式中，其它信息可以包括在LLS表中。
所示出的SLT的一个实施方式t3020可以包括@bsid属性、@sltCapabilities属性、sltInetUrl元素和/或Service元素。各个字段可以根据所示出的使用列的值被省略，或者可以存在多个字段。
@bsid属性可以是广播流的标识符。@sltCapabilities属性可以提供解码和显著地再现SLT中描述的所有服务所需的能力信息。sltInetUrl元素可以提供用于经由宽带获得用于SLT的服务的服务信令信息和ESG的基础URL信息。sltInetUrl元素可以进一步包括@urlType属性，其可以指示能够通过URL获得的数据的类型。
Service元素可以包括关于SLT中描述的服务的信息，并且可以存在各个服务的Service元素。Service元素可以包括@serviceId属性、@sltSvcSeqNum属性、@protected属性、@majorChannelNo属性、@minorChannelNo属性、@serviceCategory属性、@shortServiceName属性、@hidden属性、@broadbandAccessRequired属性、@svcCapabilities属性、BroadcastSvcSignaling元素和/或svcInetUrl元素。
@serviceId属性是服务的标识符，并且@sltSvcSeqNum属性可以指示服务的SLT信息的序列号。@protected属性可以指示服务的显著再现所需的至少一个服务组件是否受到保护。@_majorChannelNo属性和@_minorChannelNo属性可以分别指示服务的主信道号和次信道号
@serviceCategory属性可以指示服务的类别。服务的类别可以包括线性A/V服务、线性音频服务、基于app的服务、ESG服务、EAS服务等。@shortServiceName属性可以提供服务的短名称。@hidden属性可以指示服务是否用于测试或者专用用途。@broadbandAccessRequired属性可以指示服务的显著再现是否需要宽带接入。@svcCapabilities属性可以提供服务的解码和显著再现所需的能力信息。
BroadcastSvcSignaling元素可以提供与服务的广播信令相关联的信息。此元素可以相对于经由服务的广播网络的信令提供诸如位置、协议和地址的信息。其细节将在下面描述。
svcInetUrl元素可以提供用于经由宽带访问服务的信令信息的URL信息。sltInetUrl元素可以进一步包括@urlType属性，其可以指示能够通过URL获得的数据的类型。
以上描述的BroadcastSvcSignaling元素可以包括@slsProtocol属性、@slsMajorProtocolVersion属性、@slsMinorProtocolVersion属性、@slsPlpId属性、@slsDestinationIpAddress属性、@slsDestinationUdpPort属性和/或@slsSourceIpAddress属性。
@slsProtocol属性可以指示用于传送服务的SLS的协议(ROUTE、MMT等)。@slsMajorProtocolVersion属性和@slsMinorProtocolVersion属性可以分别指示用于传送服务的SLS的协议的主版本号和次版本号。
@slsPlpId属性可以提供用于识别传送服务的SLS的PLP的PLP标识符。在一些实施方式中，此字段可以被省略，并且由SLS传送的PLP信息可以使用以下描述的LMT的信息和SLT的引导信息的组合来检查。
@slsDestinationIpAddress属性、@slsDestinationUdpPort属性和@slsSourceIpAddress属性可以分别指示传送服务的SLS的传输分组的目的地IP地址、目的地UDP端口和源IP地址。这些可以识别由SLS传送的传输会话(ROUTE会话或者MMTP会话)。这些可以包括在引导信息中。
图4是示出根据本发明的一个实施方式的通过ROUTE传送的USBD和S-TSID的图。
所示出的USBD的一个实施方式t4010可以具有bundleDescription根元素。bundleDescription根元素可以具有userServiceDescription元素。userServiceDescription元素可以是一个服务的实例。
userServiceDescription元素可以包括@_globalServiceID属性、@_serviceId属性、@serviceStatus属性、@fullMPDUri属性、@sTSIDUri属性、name元素、serviceLanguage元素、capabilityCode元素和/或deliveryMethod元素。各个字段可以根据所示出的使用列的值被省略，或者可以存在多个字段。
@globalServiceID属性是服务的全球唯一标识符，并且可以用于与ESG数据(Service@globalServiceID)相联系。@serviceId属性是对应于SLT的服务条目的引用，并且可以等于SLT的服务ID信息。@serviceStatus属性可以指示服务的状态。这个字段可以指示服务是活动的还是不活动的。
@fullMPDUri属性可以引用服务的MPD分段。MPD可以如上所述提供经由广播或者宽带网络传送的服务组件的再现描述。@sTSIDUri属性可以引用服务的S-TSID分段。S-TSID可以如上所述提供与访问承载服务的传输会话相关联的参数。
name元素可以提供服务的名称。这个元素可以进一步包括@lang属性，并且这个字段可以指示由name元素提供的名称的语言。serviceLanguage元素可以指示服务的可用语言。也就是说，这个元素可以安排能够由服务提供的语言。
capabilityCode元素可以指示显著地再现服务所需的接收机的能力或者能力组信息。此信息与在服务通告中提供的能力信息格式兼容。
deliveryMethod元素可以针对经由服务的广播或者宽带网络访问的内容提供传输相关信息。deliveryMethod元素可以包括broadcastAppService元素和/或unicastAppService元素。这些元素中的每一个可以具有basePattern元素作为子元素。
broadcastAppService元素可以包括经由广播网络传送的DASH表示的传输相关信息。DASH表示可以包括在服务呈现的所有周期上的媒体组件。
这个元素的basePattern元素可以指示用于接收机执行与分段URL的匹配的字符图形。这可以用于DASH客户端请求表示的分段。匹配可以意指经由广播网络传送媒体分段。
unicastAppService元素可以包括经由宽带传送的DASH表示的传输相关信息。DASH表示可以包括在服务媒体呈现的所有周期上的媒体组件。
这个元素的basePattern元素可以指示用于接收机执行与分段URL的匹配的字符图形。这可以用于DASH客户端请求表示的分段。匹配可以意指经由宽带传送媒体分段。
所示出的S-TSID的一个实施方式t4020可以具有S-TSID根元素。S-TSID根元素可以包括@serviceId属性和/或RS元素。各个字段可以根据所示出的使用列的值被省略，或者可以存在多个字段。
@serviceId属性是服务的标识符，并且可以引用USBD/USD的服务。RS元素可以描述关于传送服务的服务组件的ROUTE会话的信息。根据ROUTE会话的数目，可以存在多个元素。RS元素可以进一步包括@bsid属性、@sIpAddr属性、@dIpAddr属性、@dport属性、@PLPID属性和/或LS元素。
@bsid属性可以是传送服务的服务组件的广播流的标识符。如果这个字段被省略，则默认广播流可以是包括传送服务的SLS的PLP的广播流。这个字段的值可以等于@bsid属性的值。
@sIpAddr属性、@dIpAddr属性和@dport属性可以分别指示ROUTE会话的源IP地址、目的地IP地址和目的地UDP端口。当这些字段被省略时，默认值可以是传送SLS(也就是说，S-TSID)的当前ROUTE会话的源地址、目的地IP地址和目的地UDP端口值。不在当前ROUTE会话中，这个字段可以在传送服务的服务组件的另一个ROUTE会话中不被省略。
@PLPID属性可以指示ROUTE会话的PLP ID信息。如果这个字段被省略，则默认值可以是由S-TSID传送的当前PLP的PLP ID值。在一些实施方式中，这个字段被省略，并且ROUTE会话的PLP ID信息可以使用以下描述的LMT的信息和RS元素的IP地址/UDP端口信息的组合来检查。
LS元素可以描述关于发送服务的服务组件的LCT信道的信息。根据LCT信道的数目，可以存在多个元素。LS元素可以包括@tsi属性、@PLPID属性、@bw属性、@startTime属性、@endTime属性、SrcFlow元素和/或RepairFlow元素。
@tsi属性可以指示LCT信道的tsi信息。使用此信息，传送服务的服务组件的LCT信道可以被识别。@PLPID属性可以指示LCT信道的PLP ID信息。在一些实施方式中，这个字段可以被省略。@bw属性可以指示LCT信道的最大带宽。@startTime属性可以指示LCT会话的开始时间，并且@endTime属性可以指示LCT信道的结束时间。
SrcFlow元素可以描述ROUTE的源流。ROUTE的源协议被用于发送传送对象，并且可以在一个ROUTE会话内建立至少一个源流。源流可以将关联的对象作为对象流传送。
RepairFlow元素可以描述ROUTE的修复流。根据源协议传送的传送对象可以根据前向纠错(FEC)来保护，并且修复协议可以定义允许FEC保护的FEC框架。
图5是示出根据本发明的一个实施方式的通过MMT传送的USBD的图。
所示出的USBD的一个实施方式可以具有bundleDescription根元素。bundleDescription根元素可以具有userServiceDescription元素。userServiceDescription元素可以是一个服务的实例。
userServiceDescription元素可以包括@globalServiceID属性、@serviceId属性、Name元素、serviceLanguage元素、contentAdvisoryRating元素、Channel元素、mpuComponent元素、routeComponent元素、broadbandComponent元素和/或ComponentInfo元素。各个字段可以根据所示出的使用列的值被省略，或者可以存在多个字段。
@globalServiceID属性、@serviceId属性、Name元素和/或serviceLanguage元素可以等于通过ROUTE传送的USBD的字段。contentAdvisoryRating元素可以指示服务的内容咨询评级。此信息与在服务通告中提供的内容咨询评级信息格式兼容。Channel元素可以包括与服务相关联的信息。这个元素的详细描述将在下面给出。
mpuComponent元素可以提供作为服务的MPU传送的服务组件的描述。这个元素可以进一步包括@mmtPackageId属性和/或@nextMmtPackageId属性。@mmtPackageId属性可以引用作为服务的MPU传送的服务组件的MMT包。@nextMmtPackageId属性可以在时间方面引用在@mmtPackageId属性所引用的MMT包之后要使用的MMT包。通过这个元素的信息，MP表可以被引用。
routeComponent元素可以包括服务的服务组件的描述。即使当线性服务组件通过MMT协议传送时，NRT数据也可以如上所述根据ROUTE协议传送。这个元素可以描述关于这种NRT数据的信息。这个元素的详细描述将在下面给出。
broadbandComponent元素可以包括经由宽带传送的服务的服务组件的描述。在混合服务传送中，一个服务的一些服务组件或者其它的文件可以经由宽带传送。这个元素可以描述关于这种数据的信息。这个元素可以进一步包括@fullMPDUri属性。这个属性可以引用描述经由宽带传送的服务组件的MPD。除了混合服务传送之外，广播信号可能由于在隧道中传播而减弱，并且因此，这个元素可能是支持宽带和宽带之间的切换所必需的。当广播信号弱时，服务组件经由宽带获取，并且当广播信号变强时，服务组件经由广播网络获取以确保服务连续性。
ComponentInfo元素可以包括关于服务的服务组件的信息。根据服务的服务组件的数目，可以存在多个元素。这个元素可以描述各个服务组件的类型、作用、名称、标识符或者保护。这个元素的详细信息将在下面描述。
以上描述的Channel元素可以进一步包括@serviceGenre属性、@serviceIcon属性和/或ServiceDescription元素。@serviceGenre属性可以指示服务的流派(genre)，并且@serviceIcon属性可以包括服务的代表性图标的URL信息。ServiceDescription元素可以提供服务的服务描述，并且这个元素可以进一步包括@serviceDescrText属性和/或@serviceDescrLang属性。这些属性可以指示服务描述的文本以及在文本中使用的语言。
以上描述的routeComponent元素可以进一步包括@sTSIDUri属性、@sTSIDDestinationIpAddress属性、@sTSIDDestinationUdpPort属性、@sTSIDSourceIpAddress属性、@sTSIDMajorProtocolVersion属性和/或@sTSIDMinorProtocolVersion属性。
@sTSIDUri属性可以引用S-TSID分段。这个字段可以等于通过ROUTE传送的USBD的字段。这个S-TSID可以提供通过ROUTE传送的服务组件的访问相关信息。这个S-TSID可以在根据MMT协议传送线性服务组件的状态下对于根据ROUTE协议传送的NRT数据存在。
@sTSIDDestinationIpAddress属性、@sTSIDDestinationUdpPort属性和@sTSIDSourceIpAddress属性可以指示承载上述S-TSID的传输分组的目的地IP地址、目的地UDP端口和源IP地址。也就是说，这些字段可以识别承载以上描述的S-TSID的传输会话(MMTP会话或者ROUTE会话)。
@sTSIDMajorProtocolVersion属性和@sTSIDMinorProtocolVersion属性可以分别指示用于传送以上描述的S-TSID的传输协议的主版本号和次版本号。
以上描述的ComponentInfo元素可以进一步包括@componentType属性、@componentRole属性、@componentProtectedFlag属性、@componentId属性和/或@componentName属性。
@componentType属性可以指示组件的类型。例如，这个属性可以指示组件是否是音频、视频或者隐藏式字幕组件。@componentRole属性可以指示组件的作用。例如，如果组件是音频组件，则这个属性可以指示主音频、音乐、评论(commentary)等。如果组件是视频组件，则这个属性可以指示主视频。如果组件是隐藏式字幕组件，则这个属性可以指示常规字幕或者易于阅读的类型。
@componentProtectedFlag属性可以指示服务组件是否受到保护，例如，被加密。@componentId属性可以指示服务组件的标识符。这个属性的值可以是对应于这个服务组件的MP表的asset_id(资产ID)。@componentName属性可以指示服务组件的名称。
图6是示出根据本发明的一个实施方式的链路层操作的图。
链路层可以是物理层和网络层之间的层。发送侧可以从网络层到物理层发送数据，并且接收侧可以从物理层到网络层发送数据(t6010)。链路层的目的是将所有输入分组类型压缩(抽象)为用于由物理层处理的一个格式，并且确保还未定义的输入分组类型的灵活性和可扩展性。此外，链路层可以提供压缩(抽象)输入分组的头的不必要的信息以有效地发送输入数据的选项。链路层的诸如开销降低、封装等的操作被称为链路层协议，并且使用这个协议生成的分组可以称为链路层分组。链路层可以执行诸如分组封装、开销降低和/或信令传输的功能。
在发送侧，链路层(ALP)可以针对输入分组执行开销降低过程，然后将输入分组封装进链路层分组。此外，在一些实施方式中，链路层可以在不执行开销降低过程的情况下执行封装进链路层分组。由于链路层协议的使用，在物理层上的数据传输开销可以显著地降低，并且根据本发明的链路层协议可以提供IP开销降低和/或MPEG-2TS开销降低。
当所示出的IP分组作为输入分组输入时(t6010)，链路层可以依次执行IP头压缩、适配和/或封装。在一些实施方式中，一些处理可以被省略。例如，RoHC模块可以执行IP分组头压缩以降低不必要的开销。上下文信息可以通过适配过程提取并且带外发送。IP头压缩和适配过程可以被统称为IP头压缩。此后，IP分组可以通过封装过程被封装进链路层分组。
当MPEG 2TS分组作为输入分组输入时，链路层可以针对TS分组依次执行开销降低和/或封装过程。在一些实施方式中，一些过程可以被省略。在开销降低中，链路层可以提供同步字节去除、空分组删除和/或公共头去除(压缩)。通过同步字节去除，每TS分组可以提供1字节的开销降低。空分组删除可以按照可在接收侧进行重新插入的方式执行。此外，删除(压缩)可以按照连续头之间的公共信息可以在接收侧恢复的方式执行。一些开销降低过程可以被省略。此后，通过封装过程，TS分组可以被封装进链路层分组。用于TS分组的封装的链路层分组结构可以不同于其它类型的分组。
首先，将描述IP头压缩。
IP分组可以具有固定的头格式，但是通信环境所需的一些信息对于广播环境可能是不必要的。链路层协议可以压缩IP分组的头以提供用于降低广播开销的机制。
IP头压缩可以包括头压缩器/解压缩器和/或适配模块。IP头压缩器(RoHC压缩器)可以基于RoHC方法来减小各个IP分组的大小。然后，适配模块可以提取上下文信息，并且从各个分组流生成信令信息。接收机可以解析与对应分组流相关的信令信息，并且将上下文信息附加给分组流。RoHC解压缩器可以恢复分组头以重构原始IP分组。在下文中，IP头压缩可仅指经由头压缩器的IP头压缩器，并且可以是将IP头压缩器和适配模块的适配过程组合的概念。这可与解压缩中一样。
在下文中，将描述适配。
在单方向链路的传输中，当接收机不具有上下文信息时，解压缩器无法恢复所接收的分组头，直到接收到完整的上下文为止。这可能导致信道变化延迟和接通延迟。因此，通过适配功能，在压缩器和解压缩器之间的配置参数和上下文信息可以带外发送。适配功能可利用上下文信息和/或配置参数来构造链路层信令。适配功能可利用先前配置参数和/或上下文信息通过各个物理帧周期性地发送链路层信令。
从压缩的IP分组中提取上下文信息，并且可以根据适配模式使用各种方法。
模式#1是指对于压缩的分组流不执行操作并且适配模块作为缓冲器操作的模式。
模式#2是指从压缩的分组流检测IR分组以提取上下文信息(静态链)的模式。在提取之后，IR分组被转换为IR-DYN分组，并且IR-DYN分组可以代替原始IR分组在分组流内以相同的顺序发送。
模式#3(t6020)是指从压缩的分组流检测IR和IR-DYN分组以提取上下文信息的模式。可以从IR分组提取静态链和动态链，并且可以从IR-DYN分组提取动态链。在提取之后，IR和IR-DYN分组被转换为常规压缩分组。所转换的分组可以代替原始IR和IR-DYN分组在分组流内以相同的顺序发送。
在各个模式中，上下文信息被提取，并且剩余分组可以根据用于压缩的IP分组的链路层分组结构来封装和发送。上下文信息可以作为链路层信令根据用于信令信息的链路层分组结构来封装和发送。
所提取的上下文信息可以被包括在RoHC-U描述表(RDT)中，并且可以与RoHC分组流分开地发送。上下文信息可以通过特定物理数据路径与其它信令信息一起发送。特定物理数据路径可以意指常规PLP、传送低级别信令(LLS)的PLP、专用PLP或者L1信令路径中的一个。这里，RDT可以是上下文信息(静态链和/或动态链)和/或包括与头压缩相关联的信息的信令信息。在一些实施方式中，RDT可每当上下文信息改变时发送。在一些实施方式中，RDT可在每一个物理帧中发送。为了在每一个物理帧中发送RDT，可重用先前RDT。
接收机可选择第一PLP并且在获取分组流之前首先获取SLT、RDT等的信令信息。在获取信令信息时，接收机可组合信息以获取服务-IP信息-上下文信息-PLP的映射。即，接收机可识别发送服务的IP流、通过PLP发送的IP流等，并且获取PLP的对应上下文信息接收机可选择用于传送特定分组流的PLP并且对PLP进行解码。适配模块可解析上下文信息并将上下文信息与压缩的分组组合。由此，分组流可被恢复并发送到RoHC解压缩器。然后，可开始解压缩。在这种情况下，接收机可检测IR分组并根据适配模式从首先接收到的IR分组开始解压缩(模式1)，可检测IR-DYN分组并从首先接收到的IR-DYN分组开始解压缩(模式2)，或者可以从任何一般压缩的分组开始解压缩(模式3)。
在下文中，将描述分组封装。
链路层协议可以将诸如IP分组、TS分组等的所有类型的输入分组封装进链路层分组。为此，独立于网络层的协议类型，物理层仅处理一种分组格式(这里，MPEG-2TS分组被视为网络层分组)。各个网络层分组或者输入分组被修改为通用链路层分组的有效载荷。
在分组封装过程中，可以使用分段。如果网络层分组太大而无法在物理层中被处理，则网络层分组可以被分段为两个或更多个分段。链路层分组头可以包括用于发送侧的分段和接收侧的重组的字段。各个分段可以按照与原始位置相同的顺序封装进链路层分组。
在分组封装过程中，也可以使用级联。如果网络层分组足够地小，使得链路层分组的有效载荷包括多个网络层分组，则可以执行级联。链路层分组头可以包括用于执行级联的字段。在级联时，输入分组可以按照与原始输入顺序相同的顺序封装进链路层分组的有效载荷。
链路层分组可以包括头和有效载荷。头可以包括基础头、附加头和/或可选头。附加头可以根据情形(例如，级联或者分段)被进一步增加，并且附加头可以包括适用于情形的字段。此外，对于附加信息的传送，可以进一步包括可选头。可以预先定义各个头结构。如上所述，如果输入分组是TS分组，则可以使用具有不同于其它分组的分组的链路层头。
在下文中，将描述链路层信令。
链路层信令可以在比IP层更低的级别上操作。接收侧可以比LLS、SLT、SLS等的IP级别信令更快地获取链路层信令。因此，链路层信令可以在会话建立之前获取。
链路层信令可以包括内部链路层信令和外部链路层信令。内部链路层信令可以是在链路层生成的信令信息。这包括以上描述的RDT或者以下描述的LMT。外部链路层信令可以是从外部模块、外部协议或者高层接收的信令信息。链路层可以将链路层信令封装进链路层分组，并且传送该链路层分组。可以定义用于链路层信令的链路层分组结构(头结构)，并且可以根据该结构封装链路层信令信息。
图7是示出根据本发明的一个实施方式的链路映射表(LMT)的图。
LMT可以提供通过PLP承载的高层会话的列表。此外，LMT可以提供用于处理承载高层会话的链路层分组的附加信息。这里，高层会话可被称为多播。有关通过一个PLP发送的IP流或者传输会话的信息可以通过LMT来获取。相比之下，可以获取有关特定传输会话通过哪个PLP传送的信息。
LMT可通过被识别为传送LLS的任何PLP来发送。这里，用于传送LLS的PLP可通过物理层的L1详细信令信息的LLS标志来识别。LLS标志可以是针对各个PLP指示是否通过对应PLP发送LLS的标志字段。这里，L1详细信令信息可对应于稍后将描述的PLS2数据。
即，LMT也可与LLS一起通过同一PLP来发送。各个LMT可如上所述描述PLP与IP地址/端口之间的映射。如上所述，LLS可以包括SLT，并且在这方面，LMT所描述的IP地址/端口可以是与通过诸如对应LMT的PLP发送的SLT所描述的任何服务有关的任何IP地址/端口。
在一些实施方式中，以上描述的SLT、SLS等中的PLP标识符信息可用于确认指示通过哪个PLP发送由SLT或者SLS指示的特定传输会话的信息。
在另一个实施方式中，以上描述的SLT、SLS等中的PLP标识符信息将被省略，并且由SLT或者SLS指示的特定传输会话的PLP信息可以通过参考LMT中的信息来确认。在这种情况下，接收机可以组合LMT和其它IP级别信令信息以识别PLP。即使在这个实施方式中，SLT、SLS等中的PLP信息也不被省略，并且可以留在SLT、SLS等中。
根据所示出的实施方式的LMT可以包括signaling_type字段、PLP_ID字段、num_session字段和/或有关各个会话的信息。虽然所示出的实施方式的LMT描述了通过一个PLP发送的IP流，在一些实施方式中可将PLP循环添加到LMT以描述有关多个PLP的信息。在这种情况下，如上所述，LMT可利用PLP循环描述与随其发送的SLT所描述的所有服务有关的所有IP地址/端口的PLP。
signaling_type字段可以指示由表传送的信令信息的类型。用于LMT的signaling_type字段的值可被设定为0x01。signaling_type字段可被省略。PLP_ID字段可识别要描述的目标PLP。当使用PLP循环时，各个PLP_ID字段可识别各个目标PLP。从PLP_ID字段起的字段可被包括在PLP循环中。这里，下面所述的PLP_ID字段可以是PLP循环的一个PLP的标识符，随后的字段可以是与对应PLP对应的字段。
num_session字段可以指示通过PLP_ID字段所识别的PLP传送的高层会话的数目。根据由num_session字段指示的数目，可以包括有关各个会话的信息。此信息可以包括src_IP_add字段、dst_IP_add字段、src_UDP_port字段、dst_UDP_port字段、SID_flag字段、compressed_flag字段、SID字段和/或context_id字段。
src_IP_add字段、dst_IP_add字段、src_UDP_port字段和dst_UDP_port字段可以指示通过PLP_ID字段所识别的PLP传送的高层会话当中的传输会话的源IP地址、目的地IP地址、源UDP端口和目的地UDP端口。
SID_flag字段可以指示传送传输会话的链路层分组是否在可选头中具有SID字段。传送高层会话的链路层分组可以在可选头中具有SID字段，并且SID字段值可以等于LMT中的SID字段的值。
compressed_flag字段可以指示头压缩是否被应用于传送传输会话的链路层分组的数据。此外，以下描述的context_id字段的存在/不存在可以根据这个字段的值来确定。当应用头压缩(compressed_flag＝1)时，RDT可存在，并且RDT的PLP ID字段可以具有与当前compressed_flag字段有关的对应PLP_ID字段相同的值。
SID字段可以指示用于传送对应传输会话的链路层分组的子流ID(SID)。链路层分组可以包括具有与可选头中的当前SID字段相同的值的SID。由此，接收机可利用LMT的信息和链路层分组头的SID信息来过滤链路层分组，而无需解析所有链路层分组。
context_id字段可以提供对RDT中的上下文id(CID)的引用。RDT的CID信息可以指示压缩IP分组流的上下文ID。RDT可以提供压缩IP分组流的上下文信息。通过这个字段，RDT和LMT可以相关联。
在本发明的信令信息/表的以上描述的实施方式中，字段、元素或者属性可以被省略，或者可以由其它字段替换。在一些实施方式中，可添加附加字段、元素或者属性。
在本发明的一个实施方式中，一个服务的服务组件可以通过多个ROUTE会话传送。在这种情况下，SLS可以通过SLT的引导信息获取。S-TSID和MPD可以通过SLS的USBD被引用。S-TSID可以不仅描述由SLS传送的ROUTE会话，而且描述由服务组件承载的另一个ROUTE会话的传输会话描述信息。为此，通过多个ROUTE会话传送的服务组件可以全部被收集。这类似地适用于一个服务的服务组件通过多个MMTP会话传送的情况。仅供参考，一个服务组件可以同时由多个服务使用。
在本发明的另一个实施方式中，ESG服务的引导可以由广播或者宽带网络执行。通过经由宽带获取ESG，可以使用SLT的URL信息。可以使用该URL来请求ESG信息。
在本发明的另一个实施方式中，一个服务的一个服务组件可以经由广播网络传送，并且另一个服务组件可以经由宽带(混合)传送。S-TSID可以描述经由广播网络传送的组件，使得ROUTE客户端获取期望的服务组件。此外，USBD可以具有基础模式信息以描述哪些分段(哪些组件)通过哪个路径传送。因此，接收机可以确认要从宽带服务请求的分段和要在广播流中检测的分段。
在本发明的另一个实施方式中，可以执行服务的可伸缩编码。USBD可以具有渲染服务所需的所有能力信息。例如，当以HD或者UHD提供一个服务时，USBD的能力信息可以具有值“HD或者UHD”。接收机可以使用MPD检查哪个组件被再现以便渲染UHD或者HD服务。
在本发明的另一个实施方式中，通过经由传送SLS的LCT信道传送的LCT分组的TOI字段，可以识别使用LCT分组(USBD、S-TSID、MPD等)传送哪个SLS分段。
在本发明的另一个实施方式中，要用于基于app的增强/基于app的服务的app组件可以作为NRT组件经由广播网络传送，或者可以经由宽带传送。此外，用于基于app的增强的app信令可以通过与SLS一起传送的应用信令表(AST)来执行。此外，作为要由app执行的操作的信令的事件可以按照事件消息表(EMT)的形式与SLS一起被传送，可以在MPD中用信号通知，或者可以在DASH表示内以盒的形式带内用信号通知。AST、EMT等可以经由宽带传送。基于App的增强等可以使用所收集的app组件和这样的信令信息来提供。
在本发明的另一个实施方式中，可以在以上描述的LLS表中包括和提供CAP消息以用于紧急警报。也可以提供用于紧急警报的富媒体内容。富媒体可以由CAP消息用信号通知，并且如果富媒体存在，则富媒体可以作为由SLT用信号通知的EAS服务来提供。
在本发明的另一个实施方式中，线性服务组件可以根据MMT协议经由广播网络传送。在这种情况下，服务的NRT数据(例如，app组件)可以根据ROUTE协议经由广播网络传送。此外，服务的数据可以经由宽带传送。接收机可以使用SLT的引导信息访问传送SLS的MMTP会话。根据MMT的SLS的USBD可以引用MP表，使得接收机获取已格式化为根据MMT协议传送的MPU的线性服务组件。此外，USBD可以进一步引用S-TSID，使得接收机获取根据ROUTE协议传送的NRT数据。此外，USBD可以进一步引用MPD以提供经由宽带传送的数据的再现描述。
在本发明的另一个实施方式中，接收机可以通过网络套接字(web socket)方法将能够获取文件内容项目(文件等)和/或流组件的位置URL信息传送给配套设备(companiondevice)。配套装置的应用可以使用该URL通过HTTP GET经由请求获取组件、数据等。此外，接收机可以将诸如系统时间信息、紧急警报信息等的信息传送给配套设备。
图8是示出根据本发明的实施方式的下一代广播服务的广播信号发送装置的结构的图。
根据本发明的实施方式的下一代广播服务的广播信号发送装置可以包括输入格式块1000、比特交织编码和调制(BICM)块1010、帧构建块1020、正交频分复用(OFDM)生成块1030和信令生成块1040。将描述广播信号发送装置的各个块的操作。
根据本发明的实施方式，输入数据可使用IP流/分组和MPEG2-TS作为主输入格式，并且其它流类型可被处理为一般流。
输入格式块1000可利用应用了独立编码和调制的一个或更多个数据管道将各个输入流解复用。数据管道可以是用于鲁棒性控制的基本单位并且可影响服务质量(QoS)。一个或更多个服务或服务组件可影响一个数据管道。数据管道可以是用于传送服务数据的物理层中的逻辑信道或者用于传送一个或更多个服务或服务组件的元数据。
由于QoS依赖于根据本发明的实施方式的下一代广播服务的广播信号发送装置所提供的服务的特性，所以需要经由不同的方法来处理与各个服务对应的数据。
BICM块1010可以包括应用于没有应用MIMO的配置(或系统)的处理块和/或应用了MIMO的配置(或系统)的处理块，并且可以包括多个处理块以用于处理各个数据管道。
没有应用MIMO的BICM块的处理块可以包括数据FEC编码器、比特交织器、星座映射器、信号空间分集(SSD)编码块和时间交织器。应用了MIMO的BICM块的处理块与没有应用MIMO的BICM块的处理块的不同之处在于还包括信元字解复用器和MIMO编码块。
数据FEC编码器可对输入BBF执行FEC编码以利用外编码(BCH)和内编码(LDPC)生成FECBLOCK过程。外编码(BCH)可以是选择性编码方法。比特交织器可对数据FEC编码器的输出进行交织以利用LDPC码和调制方法的组合实现优化的性能。星座映射器可使用QPSK、QAM-16、不规则QAM(NUQ-64、NUQ-256、NUQ-1024)或不规则星座(NUC-16、NUC-64、NUC-256，NUC-1024)来调制来自比特交织器或信元字解复用器的信元字，并提供功率归一化星座点。NUQ具有任意类型，但是QAM-16和NUQ具有正方形形状。所有的NUQ和NUC均可针对各个码率具体地定义并且由PLS2数据的参数DP_MOD用信号通知。时间交织器可在数据管道级别上操作。时间交织的参数可针对各个数据管道不同地设定。
根据本发明的时间交织器可被设置在BICM链与帧构建器之间。在这种情况下，根据本发明的时间交织器可以根据物理层管道(PLP)模式选择性地使用卷积交织器(CI)和块交织器(BI)，或者可使用全部。根据本发明的实施方式的PLP可以是使用与上述DP相同的概念使用的物理路径，并且其术语可以根据设计者意图而改变。根据本发明的实施方式的PLP模式可以根据广播信号发送机或广播信号发送装置所处理的PLP的数目包括单PLP模式或多PLP模式。根据PLP模式使用不同时间交织方法的时间交织可被称为混合时间交织。
混合时间交织器可以包括块交织器(BI)和卷积交织器(CI)。在PLP_NUM＝1的情况下，可不应用BI(BI关)，仅CI可应用。在PLP_NUM>1的情况下，可应用BI和CI二者(BI开)。在PLP_NUM>1的情况下应用的CI的结构和操作可能不同于在PLP_NUM＝1的情况下应用的CI的结构和操作。混合时间交织器可执行与上述混合时间交织器的逆操作对应的操作。
信元字解复用器可用于将单信元字流分成双信元字流以便于MIMO处理。MIMO编码块可使用MIMO编码方法来处理信元字解复用器的输出。根据本发明的MIMO编码方法可被定义为全速率空间复用(FR-SM)，以用于经由接收机侧的复杂度的相对低的增加来提供容量的增加。MIMO处理可在数据管道级别应用。当一对星座映射器输出NUQ e1,i和e2,i被输入到MIMO编码器时，一对MIMO编码器输出g1,i和g2,i可由各个传输天线的相同载波k和OFDM符号l发送。
帧构建块1020可将一个帧中的输入数据管道的数据信元映射到OFDM符号，并执行频率交织以用于频域分集。
根据本发明的实施方式，帧可被分成前导码、一个或更多个帧信令符号(FSS)和正常数据符号。前导码可以是用于提供基本传输参数的组合以便于信号的有效发送和接收的特殊符号。前导码可用信号通知帧的基本传输参数和传输类型。具体地，前导码可以指示在当前帧中当前是否提供紧急警报服务(EAS)。FSS的目标可以是发送PLS数据。为了快速同步和信道估计以及PLS数据的快速解码，FSS可以具有密度比正常数据符号更高的管道模式。
帧构建块可以包括：延迟补偿块，其用于调节数据管道与对应PLS数据之间的定时以确保在发送侧数据管道与对应PLS数据之间时间一致；信元映射器，其用于将PLS、数据管道、辅助流、虚拟流等映射到帧中的OFDM符号的有效载波；以及频率交织器。
频率交织器可随机地交织从信元映射器接收的数据信元以提供频率分集。频率交织器可针对与包括两个顺序的OFDM符号的OFDM符号对相对应的数据进行操作，或者使用不同的交织种子顺序针对与一个OFDM符号对应的数据进行操作，以便在单个帧中获取最大交织增益。
OFDM生成块1030可通过由帧构建块生成的信元来调制OFDM载波，插入导频，并生成时域信号以用于传输。对应块可依次插入保护间隔，并且可应用PAPR降低处理以生成最后RF信号。
信令生成块1040可生成在各个功能块的操作中使用的物理层信令信息。根据本发明的实施方式的信令信息可以包括PLS数据。PLS可以提供用于将接收机连接到物理层数据管道的元件。PLS数据可以包括PLS1数据和PLS2数据。
PLS1数据可以是在具有固定大小、编码和调制的帧中发送到FSS的PLS数据的第一组合，用于发送关于系统的基本信息以及数据PLS2数据所需的参数。PLS1数据可以提供包括接收和解码PLS2数据所需的参数的基本传输参数。PLS2数据可以是发送到FSS的PLP数据的第二组合，用于发送数据管道和系统的更详细的PLS数据。PLS2信令还可以包括PLS2静态数据(PLS2-STAT数据)和PLS2动态数据(PLS2-DYN数据)的两种类型的参数。PLS2静态数据可以是在帧组的持续时间期间为静态的PLS2数据，而PLS2动态数据可以是每帧动态地改变的PLS2数据。
PLS2数据可以包括FIC_FLAG信息。快速信息信道(FIC)可以是用于发送跨层信息以用于实现快速服务获取和信道扫描的专用信道。FIC_FLAG信息可经由1比特字段指示当前帧组中是否使用快速信息信道(FIC)。当对应字段的值被设定为1时，在当前帧中可以提供FIC。当对应字段的值被设定为0时，在当前帧中可不发送FIC。BICM块1010可以包括用于保护PLS数据的BICM块。用于保护PLS数据的BICM块可以包括PLS FEC编码器、比特交织器和星座映射器。
PLS FEC编码器可以包括：加扰器，其用于加扰PLS1数据和PLS2数据；BCH编码/零插入块，其用于使用缩短用于PLS保护的BCH码对加扰的PLS1和2数据执行外编码，并且在BCH编码之后插入零比特；LDPC编码块，其用于使用LDPC码来执行编码；以及LDPC奇偶校验打孔块。在零插入的输出比特被LDPC编码之前，仅PLS1数据可被置换。比特交织器可交织各个缩短并打孔的PLS1数据和PLS2数据，并且星座映射器可将比特交织的PLS1数据和PLS2数据映射到星座。
根据本发明的实施方式的下一代广播服务的广播信号接收装置可执行参照图8所描述的下一代广播服务的广播信号发送装置的逆操作。
根据本发明的实施方式的下一代广播服务的广播信号接收装置可以包括：同步和解调模块，其用于执行与广播信号发送装置所执行的逆操作对应的解调；帧解析模块，其用于解析输入信号帧以提取由用户所选择的服务发送的数据；解映射和解码模块，其用于将输入信号转换成比特区域数据，根据需要将比特区域数据解交织，对为了传输效率而应用的映射执行解映射，并且纠正在传输信道中出现的错误以用于解码；输出处理器，其用于执行由广播信号发送装置应用的各种压缩/信号处理过程的逆操作；以及信令解码模块，其用于从同步和解调模块所解调的信号中获取并处理PLS信息。帧解析模块、解映射和解码模块以及输出处理器可使用从信令解码模块输出的PLS数据来执行功能。
在下文中，将描述定时器交织器。根据本发明的实施方式的时间交织组可被直接映射到一个帧，或者可被分散在PI个帧上。另外，各个时间交织组可被分成一个或更多个(NTI)时间交织块。这里，各个时间交织块可对应于时间交织器存储器的一个使用。时间交织组中的时间交织块可以包括不同数目的XFECBLOCK。通常，在帧生成过程之前，时间交织器也可用作关于数据管道数据的缓冲器。
根据本发明的实施方式的时间交织器可以是扭曲行列块交织器。根据本发明的实施方式的扭曲行列块交织器可将第一XFECBLOCK写到时间交织存储器的第一列中，将第二XFECBLOCK写到下一列中，并且按照相同的方式将剩余XFECBLOCK写到时间交织块中。在交织阵列中，可在对角方向上从第一行到最后一行读取信元(作为起始列的最左列在右方向上沿着行读取)。在这种情况下，为了在接收机侧实现单存储器去交织，而不管时间交织块中的XFECBLOCK的数目如何，用于扭曲行列块交织器的交织阵列可将虚拟XFECBLOCK插入到时间交织存储器中。在这种情况下，为了在接收机侧实现单存储器去交织，虚拟XFECBLOCK需要被插入到另一最前面的XFECBLOCK中。
图9是示出根据本发明的实施方式的时间交织器的写操作的图。
图的左部所示的块示出了TI存储器地址阵列，并且图的右部所示的块示出了针对两个连续的TI组，两个或一个虚拟FEC块被插入到TI组的最前面的组中时的写操作。
根据本发明的实施方式的频率交织器可以包括用于生成要应用于与符号对相对应的数据的交织地址的交织地址生成器。
图10是根据本发明的实施方式的包括在频率交织器中的交织地址生成器的框图，该交织地址生成器根据各个FFT模式包括主PRBS生成器和子PRBS生成器。
(a)是针对8K FFT模式的交织地址生成器的框图，(b)是针对16K FFT模式的交织地址生成器的框图，(c)是针对32K FFT模式的交织地址生成器的框图。
针对OFDM符号对的交织过程可使用一个交织序列并且将在下面描述。首先，对于l＝0、…、Nsym-1，要在一个OFDM符号Om,l中交织的可用数据信元(来自信元映射器的输出信元)可被定义为Om,l＝[xm,l,0,…,xm,l,p,…,xm,l,Ndata-1]。在这种情况下，xm,l,p可以是第m帧中的第l OFDM符号的第p信元，并且Ndata可以是数据信元的数目。在帧信令符号的情况下，Ndata＝CFSS，在正常数据的情况下，Ndata＝Cdata，在帧边缘符号的情况下，Ndata＝CFES。另外，对于l＝0、…、Nsym-1，交织数据信元可被定义为Pm,l＝[vm,l,0,…,vm,l,Ndata-1]。
针对OFDM符号对，对于每一对的第一OFDM符号，交织的OFDM符号对可以根据vm,l,Hi(p)＝xm,l,p,p＝0,…,Ndata-1给出，对于每一对的第二OFDM符号可以根据vm,l,p＝xm,l,Hi(p),p＝0,…,Ndata-1给出。在这种情况下，Hl(p)可以是基于PRBS生成器和子PRBS生成器的循环移位值(符号偏移)生成的交织地址。
图11是示出根据本发明的实施方式的混合广播接收装置的框图。
混合广播系统可与地面广播网络和互联网结合发送广播信号。混合广播接收装置可通过地面广播网络(广播网络)和互联网(宽带)接收广播信号。混合广播接收设装置可以包括物理层模块、物理层I/F模块、服务/内容获取控制器、互联网访问控制模块、信令解码器、服务信令管理器、服务指南管理器、应用信令管理器、警报信号管理器、警报信令解析器、定向信令解析器、流媒体引擎、非实时文件处理器、组件同步器、定向处理器、应用处理器、A/D处理器、装置管理器、数据共享和通信单元、再分配模块、配套装置和/或外部管理模块。
物理层模块可通过地面广播信道接收广播相关信号，处理所接收的信号，将所处理的信号转换为适当格式，并将该信号传送给物理层I/F模块。
物理层I/F模块可以从自物理层模块获得的信息获取IP数据报。另外，物理层I/F模块可将所获取的IP数据报转换为特定帧(例如，RS帧、GSE等)。
服务/内容获取控制器可执行控制操作以用于通过广播信道和/或宽带信道获取服务、内容以及与其有关的信令数据。
互联网访问控制模块可控制通过宽带信道获取服务、内容等的接收机操作。
信令解码器可对通过广播信道获取的信令信息进行解码。
服务信令管理器可以从IP数据报提取与服务扫描和/或内容有关的信令信息，解析所提取的信令信息并管理信令信息。
服务指南管理器可以从IP数据报提取通告信息，管理服务指南(SG)数据库并提供服务指南。
应用信令管理器可以从IP数据报提取与应用获取有关的信令信息，解析信令信息并管理信令信息。
警报信令解析器可以从IP数据报提取与警报有关的信令信息，解析所提取的信令信息并管理信令信息。
定向信令解析器可以从IP数据报提取与服务/内容个性化或定向有关的信令信息，解析所提取的信令信息并管理信令信息。另外，定向信令解析器可将所解析的信令信息传送给定向处理器。
流媒体引擎可以从IP数据报提取用于A/V流的音频/视频数据并且将音频/视频数据解码。
非实时文件处理器可提取诸如应用的NRT数据和文件类型数据，解码并管理所提取的数据。
组件同步器可使诸如流音频/视频数据和NRT数据的内容和服务同步。
定向处理器可基于从定向信令解析器接收的定向信令数据来处理与服务/内容个性化有关的操作。
应用处理器可处理应用相关信息和下载的应用状态并表示参数。
A/V处理器可基于解码的音频/视频数据和应用数据来执行音频/视频渲染相关操作。
装置管理器可执行与外部装置的连接和数据交换。另外，装置管理器可执行管理可连接的外部装置的操作(例如，外部装置的添加/删除/更新)。
数据共享和通信单元可处理与混合广播接收机与外部装置之间的数据传输和交换有关的信息。这里，可在混合广播接收机与外部装置之间发送和交换的数据可以是信令数据、A/V数据等。
当广播接收机无法直接接收地面广播信号时，再分配模块可获取与未来广播服务和内容有关的信息。另外，当广播接收机无法直接接收地面广播信号时，再分配模块可支持未来广播系统获取未来广播服务和内容。
配套装置可通过连接到根据本发明的广播接收机来共享音频、视频或信令数据。配套装置可以是连接到广播接收机的外部装置。
外部管理模块可指用于广播服务/内容提供的模块。例如，外部管理模块可以是未来广播服务/内容服务器。外部管理模块可以是连接到广播接收机的外部装置。
图12是示出根据本发明的实施方式的基于DASH的自适应流传输模型的总体操作的图。
本发明提出了提供用于提供HFR内容的方法的下一代媒体服务。本发明提出了当提供了用于提供对象的平滑移动的HFR内容的帧速率信息时的相关元数据和发送元数据的方法。由此，能够自适应地调节内容并且能够提供内容得以增强的图像质量。
在UHD广播等的情况下，无法由现有内容表现亮度，从而提供高真实感。通过引入HDR，内容图像的亮度的表现范围增加，因此与先前情况相比，内容的各个场景的特性之间的差异可增加。为了在显示器上用HDR有效地表现HFR内容，可以定义元数据并且将其发送到接收机。可基于接收机所接收的元数据根据服务提供商的意图适当地提供内容的图像。
本发明提出了一种基于诸如ISOBMFF这样的媒体文件用信号通知与用于提供HFR内容的视频轨道、视频样本等相关的帧速率参数的方法。本发明提出了一种存储并用信号通知与视频轨道(流)有关的帧速率参数的方法。本发明提出了一种存储并用信号通知与视频样本、视频样本组或视频样本条目有关的帧速率参数的方法。本发明提出了一种存储并用信号通知包含HFR内容的帧速率相关信息的SEI NAL单元的方法。
根据本发明的发送/接收HFR内容的帧速率信息的方法可用于生成用于支持HFR的内容。即，当生成用于支持HFR的内容的媒体文件，生成在MPEG DASH中操作的DASH分段，或者生成在MPEG MMT中操作的MPU时，可使用根据本发明的方法。接收机(其包括DASH客户端、MMT客户端等)可以从解码器等获取帧速率信息(标志、参数、盒等)，并且可基于该信息有效地提供对应内容。
下述帧速率配置盒或帧速率相关标志信息可同时存在于媒体文件、DASH分段或MMT MPU中的多个盒中。在这种情况下，较高盒中定义的帧速率信息可被较低盒中定义的帧速率信息覆盖。例如，当帧速率信息同时被包括在tkhd盒和vmhd盒中时，tkhd盒的帧速率信息可被vmhd盒的帧速率信息覆盖。
根据所示实施方式的基于DASH的自适应流传输模型可在HTTP服务器和DASH客户端之间写操作。这里，经由HTTP的动态自适应流传输(DASH)可以是用于支持基于HTTP的自适应流传输的协议，并且可以根据网络情况动态地支持流传输。因此，可无缝地提供AV内容再现。
首先，DASH客户端可获取MPD。可以从诸如HTTP服务器的服务提供商发送MPD。MPD可依据根据上述实施方式的传送来发送。DASH客户端可使用MPD中描述的分段的访问信息来向服务器请求对应分段。这里，该请求可反映网络状态并且可被执行。
DASH客户端可获取对应分段，然后在媒体引擎中处理该分段，然后将该分段显示在画面上。DASH客户端可实时地反映再现时间和/或网络情况，并且请求并获取所需的分段(自适应流传输)。由此，可无缝地再现内容。
媒体呈现描述(MPD)可以按照XML的形式被表示为包含用于允许DASH客户端动态地获取分段的详细信息的文件。在一些实施方式中，MPD可与上述MPD相同。
DASH客户端控制器可反映网络情况以生成用于请求MPD和/或分段的命令。控制器可控制所获取的信息用在诸如媒体引擎的内部块中。
MPD解析器可实时地解析所获取的MPD。由此，DASH客户端控制器可生成用于获取所需分段的命令。
分段解析器可实时地解析所获取的分段。诸如媒体引擎的内部块可以根据分段中所包括的信息来执行特定操作。
HTTP客户端可向HTTP服务器请求所需的MPD和/或分段。HTTP客户端可将从服务器获取的MPD和/或分段发送到MPD解析器或分段解析器。
媒体引擎可使用包括在分段中的媒体数据将内容显示在画面上。在这种情况下，可使用MPD的信息。
图13是根据本发明的实施方式的接收机的框图。
根据所示实施方式的接收机可以包括调谐器、物理层控制器、物理帧解析器、链路层帧处理器、IP/UDP数据报过滤器、DTV控制引擎、路由客户端、分段缓冲器控制、MMT客户端、MPU重构、媒体处理器、信令解析器、DASH客户端、ISO BMFF解析器、媒体解码器和/或HTTP访问客户端。接收机的各个详细块可以是硬件处理器。
调谐器可通过地面广播信道来接收和处理广播信号以按照适当形式(物理帧等)调谐广播信号。物理层控制器可使用作为接收目标的广播信道的RF信息等来控制调谐器、物理帧解析器等的操作。物理帧解析器可解析所接收的物理帧，并经由与物理帧有关的处理来获取链路层帧等。
链路层帧处理器可以从链路层帧获取链路层信令等，或者可获取IP/UDP数据报并且可执行相关计算。IP/UDP数据报过滤器可以从所接收的IP/UDP数据报过滤特定IP/UDP数据报。DTV控制引擎可管理组件之间的接口并经由参数的传输等来控制各个操作。
路由客户端可处理经由单向传输的实时对象传送(ROUTE)分组以用于支持实时对象传输，并且收集和处理多个分组以生成一个或更多个基础媒体文件格式(ISOBMFF)对象。分段缓冲器控制可控制与路由客户端与dash客户端之间的分段传输有关的缓冲器。
MMT客户端可处理MPEG媒体传输(MMT)传输协议分组以用于支持实时对象传输，并且收集和处理多个分组。MPU重构可以从MMTP分组重构媒体处理单元(MPU)。媒体处理器可收集和处理重构的MPU。
信令解析器可以获取和解析DTV广播服务相关信令(链路层/服务层信令)并基于此来生成和/或管理信道映射等。该组件可处理低级别信令和服务级别信令。
DASH客户端可执行实时流或自适应流传输相关计算并处理所获取的DASH分段等。ISO BMFF解析器可以从ISO BMFF对象提取音频/视频的数据、相关参数等。媒体解码器可处理所接收的音频和视频数据的解码和/或呈现。HTTP访问客户端可向HTTP服务器请求特定信息并处理对该请求的响应。
图14是示出根据本发明的实施方式的媒体文件的配置的图。
为了存储和发送诸如音频或视频的媒体数据，可以定义形式化的媒体文件格式。在一些实施方式中，根据本发明的媒体文件可以具有基于ISO基础媒体文件格式(ISOBMFF)的文件格式。
根据本发明的媒体文件可以包括至少一个盒。这里，盒可以是包括媒体数据或者与媒体数据有关的元数据的数据块或对象。盒可以是层级间结构，因此，可以根据层级间结构对媒体进行分类，使得媒体文件具有适合于存储和/或发送大规模媒体数据的格式。媒体文件可以具有用于容易地访问媒体信息的结构，例如，用于允许用户移动媒体内容的特定点的结构。
根据本发明的媒体文件可以包括ftyp盒、moov盒和/或mdat盒。
ftyp盒(文件类型盒)可以提供对应媒体文件的文件类型或兼容性相关信息。ftyp盒可以包括对应媒体文件的媒体数据的配置版本信息。解码器可以参考ftyp盒识别对应媒体文件。
moov盒(电影盒)可以是包括对应媒体文件的媒体数据的元数据的盒。moov盒可用作所有元数据的容器。moov盒可以是元数据相关盒当中的最上层的盒。在一些实施方式中，媒体文件中可仅存在一个moov盒。
mdat盒(媒体数据盒)可以是包含对应媒体文件的实际媒体数据的盒。媒体数据可以包括音频样本和/或视频样本，并且mdat盒可用作包含媒体样本的容器。
在一些实施方式中，上述moov盒还可以包括作为下层盒的mvhd盒、trak盒和/或mvex盒。
mvhd盒(电影头盒)可以包括对应媒体文件中所包括的媒体数据的媒体呈现相关信息。即，mvhd盒可以包括诸如对应媒体呈现的媒体生成时间、改变时间、时间间隔、周期等的信息。
trak盒(轨道盒)可以提供与对应媒体数据的轨道有关的信息。trak盒可以包括诸如音频轨道或视频轨道的流相关信息、呈现相关信息以及访问相关信息的信息。根据轨道的数目，可存在多个trak盒。
在一些实施方式中，trak盒还可以包括tkhd盒(轨道头盒)作为下层盒。tkhd盒可以包括关于trak盒所指示的对应轨道的信息。tkhd盒可以包括诸如对应轨道的生成时间、改变时间和轨道标识符的信息。
mvex盒(电影扩展盒)可以指示对应媒体文件中存在下述moof盒。为了知道特定轨道的所有媒体样本，需要扫描moof盒。
在一些实施方式中，根据本发明的媒体文件可被分割成多个分段(t14010)。由此，媒体文件可被分段并存储或发送。媒体文件的媒体数据(mdat盒)可被分段成多个分段，并且各个分段可以包括moof盒和分段的mdat盒。在一些实施方式中，为了使用分段，可能需要ftyp盒和/或moov盒的信息。
moof盒(电影分段盒)可以提供对应分段的媒体数据的元数据。moof盒可以是对应分段的元数据相关盒当中的最上层的盒。
mdat盒(媒体数据盒)可以如上所述包括实际媒体数据。该mdat盒可以包括与各个对应分段对应的媒体数据的媒体样本。
在一些实施方式中，上述moof盒可以包括mfhd盒和/或traf盒作为下层盒。
mfhd盒(电影分段头盒)可以包括与多个分段化分段的关系有关的信息。mfhd盒可以包括序列号，并且可以指示通过将对应分段的媒体数据分段而获得的数据序列。可使用mfhd盒来检查分段的数据是否被省略。
traf盒(轨道分段盒)可以包括关于对应轨道分段的信息。traf盒可以提供包括在对应分段中的分段的轨道分段的元数据。traf盒可以提供元数据以解码/再现对应轨道分段中的媒体样本。根据轨道分段的数目，可存在多个traf盒。
在一些实施方式中，上述traf盒可以包括tfhd盒和/或trun盒作为下层盒。
tfhd盒(轨道分段头盒)可以包括对应轨道分段的头信息。tfhd盒可针对上述traf盒所指示的轨道分段的媒体样本提供基本样本大小、周期、偏移和标识符的信息。
trun盒(轨道分段运行盒)可以包括对应轨道分段相关信息。trun盒可以包括诸如各个媒体样本的周期、大小和再现时间的信息。
上述媒体文件和媒体文件的分段可作为分段被处理和发送。该分段可以包括初始化分段和/或媒体分段。
根据所示实施方式t14020的文件可以是包含除了媒体数据之外与媒体解码器的初始化有关的信息的文件。该文件可对应于例如上述初始化分段。初始化分段可以包括上述ftyp盒和/或moov盒。
根据所示实施方式t14030的文件可以是包含上述分段的文件。该文件可对应于例如上述媒体分段。媒体分段可以包括上述moof盒和/或mdat盒。媒体分段还可以包括styp盒和/或sidx盒。
styp盒(分段类型盒)可以提供用于识别分段的分段的媒体数据的信息。styp盒可针对分段的分段执行与上述ftyp盒相同的功能。在一些实施方式中，styp盒可以具有与ftyp盒相同的格式。
sidx盒(分段索引盒)可以提供指示分段的分段的索引的信息。由此，该盒可以指示对应分段的分段的序列。
在一些实施方式(t14040)中，还可以包括ssix盒，并且ssix盒(子分段索引盒)可被进一步分段为子分段，并且在这种情况下，可以提供指示子分段的索引的信息。媒体文件的盒还可以包括基于所示实施方式t14050中所示的盒和FullBox形式的进一步扩展信息。在该实施方式中，size字段和largesize字段可以按照字节为单位指示对应盒的长度。version字段可以指示对应盒格式的版本。type字段可以指示对应盒的类型和标识符。flags字段可以指示与对应盒有关的标志等。
图15是示出根据本发明的一个实施方式的发送广播信号的方法的图。
根据本发明的一个实施方式的用于发送广播信号的方法可以包括通过下拉来重构视频数据的步骤SL1010、对重构后的视频数据进行编码的步骤SL1020、对用于重构后的视频数据的信令信息进行编码的步骤SL1030、生成包括编码后的视频数据和编码后的信令信息的广播信号的步骤SL1040和/或发送所生成的广播信号的步骤SL1050。
根据本发明的另一个实施方式，信令信息可以包括用于用信号通知重构后的视频数据的配置的图片定时信息和用于关于应用于重构后的视频数据的下拉的信令信息的下拉信息中的至少一个。在这种情况下，图片定时信息可以指示包括在图片定时SEI消息中的信息。下拉信息可以指示包括在下拉信息SEI消息中的信息。随后，将参照图17和图18来描述下拉信息的细节。
根据本发明的另一个实施方式，图片定时信息可以包括指示图片的扫描类型的源扫描类型信息、指示图片的配置信息的图片配置信息和指示是否复制图片的复制标志信息。在这种情况下，源扫描类型信息可以指示由source_scan_type元素指示的信息，图片配置信息可以指示由pic_struct元素指示的信息，并且复制标志信息可以指示由duplicate_flag元素指示的信息。将参照图18和图19来描述以上信息的细节。
根据本发明的另一个实施方式，下拉信息可以包括指示应用于重构后的视频数据的下拉类型的下拉类型信息、指示应用同一类型的下拉的图片集合的节奏(cadence)大小的节奏大小信息、指示节奏的第一图片的节奏起始信息、指示图片的配对是否与视频数据被重构之前的配对相匹配的配对失配信息和指示是否复制图片的复制标志信息中的至少一个。在这种情况下，下拉类型信息可以指示由pull_down_type元素指示的信息，节奏大小信息可以指示由size_of_cadence元素指示的信息，节奏起始信息可以指示由start_of_cadence_flag元素指示的信息，并且配对失配信息可以指示由pairing_mismatch_flag元素指示的信息。将参照图17来描述以上信息的细节。
根据本发明的另一个实施方式，图片定时信息和下拉信息可以通过被包括在辅助增强信息(SEI)消息中而进行发送。将参照图17和图18来描述这些种类信息的细节。
图16是例示根据本发明的一个实施方式的用24p视频的3:2下拉来生成60i视频的过程的图。
根据本发明的一个实施方式的发射机可以将24Hz的每秒24帧(24p)的逐行型视频转换成60Hz的每秒60场(60i)的隔行型视频。根据本发明的一个实施方式，这个过程可以被称为3：2下拉过程。
该图的L2010指示具有24Hz的每秒24帧(24p)的逐行型原始视频。根据本发明的一个实施方式的发射机可以通过将一个帧分割成奇数行和偶数行来产生两个场。根据本发明的一个实施方式，分割出的奇数行可以被称为顶场(T)，而分割出的偶数行可以被称为底场(B)。在该图中，帧0指示第0帧，帧1指示第1帧，帧2指示第2帧，并且帧3指示第3帧。
该图的L2020指示通过将构成具有24Hz的每秒24帧(24p)的逐行型原始视频的每个帧分割成顶场和底场而获得的视频。根据本发明的一个实施方式的发射机可以通过复制至少一个分割的场并且将分割的场的顺序交织来重构场。在该图中，T0和B0指示从第0帧分割的顶场和底场，T1和B1指示从第一帧分割的顶场和底场，T2和B2指示从第二帧分割的顶场和底场，并且T3和B3指示从第三帧分割的顶场和底场。
该图的L2030指示具有通过3:2下拉过程而重构的60Hz的每秒60场(60i)的隔行型视频。根据本发明的一个实施方式，由下拉过程重构的10个场可以配置一个集合。在这种情况下，该集合可以被称为节奏。在该图中，场T0表示构成该集合的第一场。在该图中，场T0和B2已经被复制(复制，D)，并且场T0、B1、T1、B2、T2和B2已经按照它们的顺序被重构(失配，M)。根据本发明的一个实施方式的发送机可以用信号通知重构的场中的每一个是否是重构的集合的第一场(start_of_cadence_flag)，是否已经被复制(duplicate_flag)并且以它们的顺序进行交织(pairing_mismatch_flag)。将描述信令的细节。
参考该图，当pic_struct元素的值是从9至12时，根据本发明的一个实施方式的发送机可以通过8个连续场的3:2下拉来生成10个场。在这种情况下，所产生的10个场可以按60隔行场模式进行广播。可以在所产生的10个场的第一场中显示“S”。可以在所产生的10个场的第三场和第八场中显示“D”。可以在所产生的10个场中的除了第一场、第二场、第九场和第十场之外的其它场中显示“M”。根据本发明的一个实施方式，标记有“S”的图片指示包括start_of cadence_flag元素的图片，标记有“D”的图片指示包括duplicate_flag元素的图片并且标记有“M”的图片指示包括pairing_mismatch_flag元素的图片。在这种情况下，对应图片包括对应元素的表述意指对应元素的值为1。已经如上所述地描述了每个场中显示的字母。
图17是例示根据本发明的一个实施方式的pull_down_info的配置的图。
根据本发明的一个实施方式，前缀SEI(补充增强信息)NAL(网络抽象信息)单元或后缀SEI NAL单元可以包括user_data_registered_itu_t_t35()SEI消息。user_data_registered_itu_t_t35()SEI消息可以包括下拉信息SEI消息。根据本发明的一个实施方式，下拉信息SEI消息可以包括pull_down_info。
根据本发明的一个实施方式，pull_down_info可以被包括在每个图片中。
根据本发明的一个实施方式的pull_down_info可以包括pull_down_type元素、size_of_cadence元素、start_of_cadence_flag元素、pairing_mismatch_flag元素、duplicate_flag元素和/或预留元素。
pull_down_type元素指示应用于编码后的视频流的下拉类型。例如，该元素指示下拉是否对应于3:2、2:3或其它类型。3:2下拉适用于先前附图的本发明的一个实施方式。在这种情况下，该元素指示3:2下拉类型。
size_of_cadence元素指示包括在一个下拉图案的序列中的图片的数目。根据本发明的一个实施方式，一个下拉模式的序列可以被称为一个节奏或场的集合。该元素指示依据编码顺序的从标记有“S”的图片到下一个标记有“S”的图片的多个图片。在先前附图的本发明的一个实施方式中，该元素值指示10。
start_of_cadence_flag元素指示当前图片是否是下拉图案的起始点。根据本发明的一个实施方式的编码器可以相对于一个下拉序列的第一图片将该元素的值设置成1。
pairing_mismatch_flag元素指示编码流内的一对当前顶场和底场是否与原始序列内的一对顶场和底场匹配。如果此元素的值为1，则当前场指示当前字段与另一个奇偶性的字段匹配，而不是与原始视频源中的当前字段匹配的字段。也就是说，这个元素的值1指示当前配对的场是不属于同一帧的那些场。在先前附图的本发明的一个实施方式中，除了头两个图片和最后两个图片之外的一个下拉序列内的所有图片中显示有“M”，并且标记有“M”的图片的pairing_mismatch_flag元素的值指示1。
duplicate_flag元素指示当前图片是否是由于下拉而生成的，因此针对现有图片或复制版本进行重复。根据本发明的一个实施方式的编码器可以相对于重复或复制的图片将该元素的值设置成1。根据本发明的一个实施方式，该元素的值可以与图片定时SEI消息内的duplicate_flag元素的值相同。
预留元素指示稍后包含另一信息的元素。
图18是例示根据本发明的一个实施方式的用3:2下拉的60i视频来恢复24p视频的过程的图。
根据本发明的一个实施方式的接收机可以接收3:2下拉的60i视频。该图的L4010可以对应于60Hz的每秒多场的信号。在这种情况下，标记有“S”的场指示包括start_of_cadence_flag元素的场，标记有“D”的场指示包括duplicate_flag元素的场并且标记有“M”的场指示包括pairing_mismatch_flag元素的场。
根据本发明的一个实施方式的接收机可以从接收到的3:2下拉的60i视频中去除包括duplicate_flag元素的场。该图的(步骤1)L4010指示包括从接收机接收到的3:2下拉的60i视频中去除包括duplicate_flag元素的场而成的视频。该视频可以对应于按编码之前的顺序恢复的具有24Hz的每秒多场的信号。在这种情况下，标记有“S”的场指示包括start_of_cadence_flag元素的场，并且标记有“M”的场指示包括pairing_mismatch_flag元素的场。
根据本发明的一个实施方式的接收机可以将从中去除了包括duplicate_flag元素的场的视频中的包括pairing_mismatch_flag元素的两个相邻场的顺序颠倒。该图的(步骤2)L4030指示从中去除了包括duplicate_flag元素的场的视频中包括pairing_mismatch_flag元素的两个相邻场的顺序被颠倒的视频。该视频可以对应于按编码之前的顺序恢复的具有24Hz的每秒多场的信号。
根据本发明的一个实施方式的接收机可以通过将其中包括pairing_mismatch_flag元素的两个相邻场的顺序被颠倒的视频中的两个场进行交织而将构成一帧的(一对)两个场恢复成一帧。该图的(步骤3)L4040指示其中构成一帧的(一对)两个场被恢复成一帧的视频。该视频可以对应于24Hz的每秒24帧(24p)的逐行型视频。
图19是例示根据本发明的一个实施方式的用于接收广播信号的装置的配置的图。
根据本发明的一个实施方式的视频流可以包括图片定时SEI消息和/或下拉信息SEI消息。图片定时SEI消息可以包括frame_field_info_present_flag元素、pic_struct元素、source_scan_type元素和/或duplicate_flag元素。下拉信息SEI消息可以包括以上提到的元素。
当包括在图片定时SEI消息中的frame_field_info_present_flag具有值1时，根据本发明的一个实施方式的接收装置可以使用由source_scan_type元素和/或duplicate_flag元素指示的信息。根据本发明的一个实施方式，可以使用从9至12的pic_struct元素的值来从3:2下拉的60i视频恢复24p视频。由于值为1和2的pic_struct元素没有发送场相关信息，因此这些值不能被用于比特流。值为3至6的pic_struct元素不能被用于比特流，因为具有值为3到6的pic_struct元素的所有场被包括在一个AU(存取单元)中。
根据本发明的一个实施方式的接收装置可以通过使用下拉信息SEI消息来恢复下拉视频。接收装置可以从接收到的下拉视频中读取与包括start_of_cadence_flag元素的图片(先前附图中标记有“S”的场(图片))相关的信息。接收装置可以通过使用pull_down_type元素和/或size_of_cadence元素来识别恢复处理。接收装置可以去除使用duplicate_flag元素复制的场(在先前附图中标记有“D”的场)。接收装置可以通过使用包括在图片定时SEI消息中的pairing_mismatch_flag元素和/或pic_struct元素来将两个相邻图片的顺序颠倒。在这种情况下，由于pic_struct元素可以包括字段的顺序信息，因此应该用信号通知pairing_mismatch_flag元素，由此接收装置可以恢复下拉视频。
根据本发明的一个实施方式的接收装置可以包括解复用器L5010、解码器L5020、交换相邻场处理器L5060、去除复制场处理器L5050和/或交织奇偶场处理器L5070。解码器L5020可以包括VCL(视频编码层)解码器L5030和/或非VCL解码器L5040。
根据本发明的一个实施方式，在视频流被VCL解码器解码之前，去除复制场处理器L5050和/或交换相邻场处理器L5060可以被包括在接收装置中，由此删除对应的场并且颠倒顺序。另选地，在视频流被VCL解码器解码之后，去除复制场处理器L5050和/或交换相邻场处理器L5060可以被包括在接收装置中，由此删除对应的场并且颠倒顺序。
解复用器L5010可以接收广播信号，从接收到的广播信号中解析SI/PSI信令信息并且将解析后的结果输出到解码器。此外，解复用器可以从广播信号中解析3:2下拉的60i视频，并且将解析后的结果输出到VCL解码器，并且可以从广播信号中解析图片定时SEI消息和/或下拉信息SEI消息并且将解析后的结果输出到非VCL解码器。
解码器L5020可以对输入的SI/PSI信令信息、3:2下拉的60i视频流、图片定时SEI消息和/或下拉信息SEI消息进行解码。
VCL(视频编码层)解码器L5030可以对3:2下拉的60i视频流进行解码。
非VCL解码器L5040可以对输入的图片定时SEI消息和/或下拉信息SEI消息进行解码。
去除复制场处理器L5050可以通过使用图片定时SEI消息和/或下拉信息SEI消息中包括的duplicate_flag元素来删除按对应的下拉顺序复制的场。
交换相邻场处理器L5060可以通过使用下拉信息SEI消息中包括的pairing_mismatch_flag元素和/或图片定时SEI消息中包括的pic_struct元素来颠倒两个相邻图片的顺序。
交织奇偶场处理器L5070可以通过交织来将其中删除了复制场并且两个相邻图片的顺序被正常对齐的一个序列中的构成一帧的(一对)两个场恢复成一帧。从该处理器输出的视频可以对应于24Hz的每秒24帧(24p)的逐行型视频。
当发送机通过3:2下拉按24p拍摄的视频来生成60i视频并且发送所生成的60i视频时，根据本发明的一个实施方式的用于接收广播信号的装置可以接收3:2下拉的60i视频，并且将接收到的视频恢复成原始视频。
根据本发明的一个实施方式的接收装置可以接收包括访问单元定界符NAL(网络抽象层)单元的第一NAL单元，并且可以按照VPS(视频参数集)NAL单元、SPS(序列参数集)NAL单元、PPS(图像参数集)NAL单元和前缀SEI NAL单元(其nal_unit_type为39的NAL单元)的顺序来接收NAL单元。
根据本发明的一个实施方式的接收装置可以接收其前缀SEI NAL单元的palyloadType为1的图片定时SEI消息，并且可以通过当图片定时SEI消息中包括的frame_field_info_present_flag元素的值为1时图片定时SEI消息中包括的source_scan_type元素来识别当前图片是隔行型还是逐行型。此外，接收装置可以通过图片定时SEI消息中包括的pic_struct元素来识别当前图片是顶场、底场还是帧，以及下一场或前一场是顶场还是底场和/或如何配置其顺序。此外，接收装置可以通过图片定时SEI消息中包括的duplicate_flag元素来识别关于对应场是否与前一场相同的信息，并且可以通过去除复制场处理器来删除重复图片。
例如，去除复制场处理器删除具有source_scan_type＝0、pic_struct＝9-12和duplicate flag＝1的图片，并且被删除的场没有被输出到下一个处理器。又如，去除复制场处理器没有删除具有source_scan_type＝0、pic_struct＝9-12和duplicate flag！＝1的图片，并且可以被按原样输出到下一个处理器。
除了图片定时SEI消息之外，根据本发明的一个实施方式的接收装置可以附加地从前缀SEI NALU(或者其nal_unit_type为40的后缀SEI NALU)接收其payloadType为4的user_data_registered_itu_t_t35SEI消息的下拉信息SEI消息。结果，接收装置可以识别节奏结构，并且可以在发送机处进行编码之前将3:2下拉的隔行视频流恢复成原始的逐行视频。
根据本发明的一个实施方式的接收装置可以通过下拉信息SEI消息中包括的start_flag_of_cadence元素和/或size_of_cadence元素来识别对应节奏的起始字段和/或大小。在这种情况下，节奏可以指示通过同一图案下拉的一个序列组。此外，接收装置可以通过下拉信息SEI消息中包括的pull_down_type元素来识别重构和接收的视频流的下拉类型。也就是说，接收装置可以通过pull_down_type元素来识别原始视频的帧速率(fps)和接收到的视频的帧速率。根据本发明的另一个实施方式，代替pull_down_type元素，可以用信号通知原始视频的帧速率和下拉视频的帧速率。此外，接收装置可以识别已经使用下拉信息SEI消息中包括的pull_down_type元素、start_flag_of_cadence元素和/或size_of_cadence元素重复了多少场和/或已经重复了要删除的哪些(哪个)场，并且可以识别有多少场失配和/或哪些(哪个)场失配。
去除复制场处理器可以删除对应节奏内的其duplicate_flag元素值为1的图片，并且可以仅将其它图片输出到下一个处理器。
在当前图片为pairing_mismatch_flag＝1时，基于图片定时SEI消息中包括的pic_struct元素的值，交换相邻场处理器可以通过断开当前图片(场)的现有配对并且重新将基于当前图片配对的场相对的场与当前图片配对来重新组合场，并且能够显示重新组合后的场。
例如，如果图片定时SEI消息的pic_struct元素的值是9至12，则根据本发明的一个实施方式的接收装置可以附加地接收下拉信息SEI消息。在start_flag_of_cadence＝1、size_of_cadence字段＝10、pull_down_type＝3:2下拉类型的情况下，接收装置可以识别应当忽略10个连续场中的2个场并且应该通过8个场来配置4个帧。接收装置可以在对应场的duplicate_flag＝1的情况下确定要删除的场，并且可以删除对应的场。在对应场的duplicate_flag＝0的情况下，接收装置可以将对应的场输出到下一个处理器。在paring_mismatch_flag＝1的情况下，接收装置可以基于图片定时SEI消息中包括的pic_struct元素的值来断开当前图片(场)的现有配对，并且重新将基于当前图片配对的场相对的场与当前图片配对。例如，在pic_struct＝9的情况下(顶场按输出顺序与前一底场配对)，接收装置可以将当前场与当前场之后的底场配对。在pic_struct＝10的情况下(顶场按输出顺序与前一顶场配对)，接收装置可以将当前场与当前场之后的顶场配对。在pic_struct＝11的情况下(顶场按输出顺序与下一底场配对)，接收装置可以将当前场与当前场之前的底场配对。在pic_struct＝10的情况下(顶场按输出顺序与下一顶场配对)，接收装置可以将当前场与当前场之前的顶场配对。
图20是例示根据本发明的一个实施方式的用于接收广播信号的方法的图。
根据本发明的一个实施方式的用于接收广播信号的方法可以包括接收包括通过下拉而重构的视频数据和用于重构后的视频数据的信令信息的广播信号的广播信号步骤SL6010、从接收到的广播信号中提取重构后的视频数据和信令信息的步骤SL6020和/或使用所提取的信令信息对所提取的重构后的视频数据进行解码的步骤SL6030。已经参照图19对此进行了详细描述。
根据本发明的另一个实施方式，信令信息可以包括用于用信号通知重构后的视频数据的配置的图片定时信息和用于用信号通知关于应用于重构后的视频数据的下拉的信息的下拉信息中的至少一个。在这种情况下，图片定时信息可以指示包括在图片定时SEI消息中的信息。下拉信息可以指示包括在下拉信息SEI消息中的信息。将参照图18来描述下拉信息的细节。
根据本发明的另一个实施方式，图片定时信息可以包括指示图片的扫描类型的源扫描类型信息、指示图片的配置信息的图片配置信息和指示是否复制图片的复制标志信息中的至少一个。在这种情况下，源扫描类型信息可以指示由source_scan_type元素指示的信息，图片配置信息可以指示由pic_struct元素指示的信息，并且复制标志信息可以指示由duplicate_flag元素指示的信息。已经参照图18和图19描述了以上信息的细节。
根据本发明的另一个实施方式，下拉信息可以包括指示用于重构后的视频数据的下拉类型的下拉类型信息、指示被应用同一类型的下拉的图片集合的节奏大小的节奏大小信息、指示节奏的第一图片的节奏起始信息、指示图片的配对是否与视频数据被重构之前的配对相匹配的配对失配信息和指示是否复制图片的复制标志信息中的至少一个。在这种情况下，下拉类型信息可以指示由pull_down_type元素指示的信息，节奏大小信息可以指示由size_of_cadence元素指示的信息，节奏起始信息可以指示由start_of_cadence_flag元素指示的信息，并且配对失配信息可以指示由pairing_mismatch_flag元素指示的信息。已经参照图17描述了以上信息的细节。
根据本发明的另一个实施方式，图片定时信息和下拉信息可以通过被包括在辅助增强信息(SEI)消息中进行发送。已经参照图17和图18描述了这些种类信息的细节。
根据本发明的另一个实施方式，恢复步骤可以包括：通过使用图片定时信息中包括的复制标志信息和下拉信息中包括的复制标志信息中的至少一个从重构后的视频数据中删除重复图片的步骤、通过使用图片配置信息和配对失配信息并且将图片的顺序重新排列来控制从中删除了重复图片的视频数据中包括的图片的配对的步骤、和/或将重新排列的视频数据中包括的配对图片恢复成一帧的步骤。已经参照图19描述了恢复步骤的细节。
根据本发明的另一个实施方式，可以在解码步骤之前执行删除重复图片的步骤和重新排列图片的顺序的步骤中的至少一个。已经参照图19对此进行了详细描述。
图21是例示根据本发明的一个实施方式的用于发送广播信号的装置的配置的图。
根据本发明的一个实施方式的用于发送广播信号的装置L7010可以包括：用于下拉并重构视频数据的下拉模块L7020、用于对重构后的视频数据进行编码的视频编码器L7030、用于对用于重构后的视频数据的信令信息进行编码的信令编码器L7040、用于生成包括编码后的视频数据和编码后的信令信息的广播信号的广播信号生成器L7050和/或用于发送所生成的广播信号的发送模块L7060。已经参照例示根据本发明的一个实施方式的用于发送广播信号的方法的附图描述了相应模块所执行的功能的详细说明。
图22是例示根据本发明的一个实施方式的用于接收广播信号的装置的配置的图。
根据本发明的一个实施方式的用于接收广播信号的装置L8010可以包括：接收模块L8020，该接收模块L8020用于接收包括通过下拉而重构的视频数据和用于重构后的视频数据的信令信息的广播信号；提取模块L8030，该提取模块L8030用于从接收到的广播信号中提取重构后的视频数据和信令信息；和/或解码器L8040，该解码器L8040用于使用所提取的信令信息对所提取的重构后的视频数据进行解码。已经参照例示根据本发明的一个实施方式的用于接收广播信号的方法的附图描述了相应模块所执行的功能的详细说明。在这种情况下，接收模块和/或提取模块可以指示以上提到的解复用器。解码器可以指示以上提到的视频解码器。
图23是示出根据本发明的实施方式的用于发送帧速率改变编码的视频源的发送装置和用于接收所述视频源的接收装置的图。发送装置D23000可以包括视频编码器D23010、信令编码器D23020和/或发送机D23030。视频编码器可以增加原始视频源的帧速率，并且可以产生帧速率改变编码的视频源，以下将参照图24对其进行详细描述。信令编码器可以生成关于帧速率改变编码视频的信令信息，并且可以生成以下将描述的加倍信息、重复信息、原始帧信息和/或帧速率改变起始/结束帧信息等，以下将参照图25对此进行详细描述。另外，发送机可以发送所产生的帧速率改变编码的视频源和信令信息。接收装置D23040可以包括接收机D23050、提取器D23060和/或解码器D23070。接收机可以接收包括帧速率改变视频数据及其信令数据的广播信号。提取器可以提取广播信号中包括的视频数据和信令数据，并且可以将视频样本发送到解码器。解码器可以对视频样本进行解码并且可以使用在该过程期间提取的信令数据来将视频样本恢复到原始帧速率，以下将参照图26对此进行描述。
图24是示出根据本发明的实施方式的将60p视频提高两倍以生成120p视频的过程的图。根据本发明的实施方式，发送端可以将具有60Hz的帧速率(每秒60帧，60p)的逐行方法的视频转换成具有120Hz的帧速率(每秒120帧，120p)的逐行方法的视频。根据本发明的实施方式，这个过程可以被称为将原始视频源提高两倍。在本实施方式中，虽然已经描述了将原始视频源中包括的每个帧提高两倍，但是本发明的特征也可以按相同的方式应用于将原始视频源中包括的每个帧提高三倍、四倍、五倍和六倍。
附图中的D24010可以指示具有60Hz的帧速率(每秒60帧，60p)的逐行方法的原始视频源。如所示出的，原始视频源可以包括帧1、帧2、帧3、帧4、...。根据本发明的实施方式的发送端可以对原始视频源中包括的帧提高两倍并且进行复制，以生成如同D24020的120p帧。也就是说，如所示出的，作为提高两倍结果的120p帧可以包括帧1、帧1’、帧2、帧2’、帧3、帧3’、帧4、帧4’、...。也就是说，可以看出，与D24010相比，D24020包括两倍的帧。这里，帧中的每一个可以按与原始帧相同的方式被复制，或者可以通过应用插值结果被复制。当按与原始帧相同的方式复制每个帧时，帧1和帧1’可以具有相同的数据。当通过应用插值结果来复制每个帧时，帧1和帧1’可以具有近似但不相同的数据。这里，可以使用当前原始帧和下一原始帧的值来执行插值。也就是说，帧1'可以是通过对帧1和帧2进行插值而产生的结果。根据本发明的实施方式的发送端可以将帧标记信息与复制并生成的帧一起发送。根据本发明的实施方式的发送端可以在每个帧上设置帧标记信息，并且可以将每个帧上的帧标记信息连同对应帧一起发送。帧标记信息可以包括指示对应帧是否是提高两倍的帧的组合的第一帧的信息(start_of_cadence_flag)和指示对应帧是否是原始帧的信息(original_frame_flag)。
如所示出的，帧1可以是原始帧并且也可以是提高两倍的帧当中的第一帧，因此可以包括帧标记信息S和O。另外，帧2、3和4可以包括指示对应帧是原始帧的帧标记信息O。复制的帧1'、2'、3'和4'可以不与其对应，因此帧标记信息可以不被指派给复制的帧。如此，根据本发明的实施方式的发送端可以将帧标记信息添加到使用复制帧的方法而编码的视频源，以提供恢复原始视频源所需的信令信息。在本说明书中，帧标记信息也可以被称为原始帧信息。
在以上实施方式中，简要地描述了指示帧速率改变的第一帧应用于帧标记信息的信息和指示原始帧的信息，并且以下将参照附图来描述具体信令信息。
图25是示出根据本发明的实施方式的帧标记信息的图。以上提到的帧标记信息可以包括从被编码并且被发送端接收的视频源恢复原始视频源所需的信息。关于原始帧的信息可以经由SI/PSI信令被发送到接收端。如上所述，例如，发送端将60p的原始视频源编码成120p、180p、240p、300p、360p等的编码后的视频，并且发送编码后的视频。这里，原始帧速率可以是60p，并且编码后的视频帧速率可以是120p、180p、240p、300p或360p。根据本发明的另一个实施方式，可以基于胶片的帧速率来生成关于原始帧的信息，并且可以经由SI/PSI信令将该信息发送到接收端。发送端可以将帧速率为25p的原始视频源编码成50p、75p、100p、125p、150p等的编码后的视频源，并且发送编码后的视频源。这里，原始视频帧速率可以是25p，并且编码后的视频帧速率可以是50p、75p、100p、125p或150p。根据本发明的另一个实施方式，例如，发送端可以将帧速率为24p的原始视频源编码成48p、72p、96p、120p、144p等的编码后的视频源，并且发送视频源。这里，原始视频帧速率可以是25p，并且编码后的视频帧速率可以是48p、72p、96p、120p或144p。在这种情况下，可以通过将原始帧提高两倍、三倍、四倍、五倍或六倍来形成接收到的帧，并且在一些实施方式中，可以利用使用重复或插值的复制方法。因此，帧标记信息可以指示每个帧是使用帧特定加倍方法来生成的并且是重复帧或插值帧。如上所述，在提高两倍的帧当中，可以用S(起始)标记第一帧并且可以用E(结束)标记最后一帧。在一些实施方式中，可以使用随机接入点来表示帧标记S。可以用O(原始)来标记与原始视频源中的帧匹配的帧。接收端可以恢复原始视频，以将原始视频中包含的艺术意图没有改变地传达给观众。接收端能够恢复由发送端编码的原始视频帧视频，并且可以使用原始视频来生成使用接收端拥有的帧速率控制器(FRC)将其图像质量高度改进的视频。
图25的上部的D25010是示出帧标记信息的语法的第一实施方式。根据本发明的实施方式，前缀补充增强信息(SEI)网络抽象信息(NAL)单元或后缀SEI NAL单元可以包括user_data_registered_itu_t_t35()SEI消息。user_data_registered_itu_t_t35()SEI消息可以包括原始帧信息SEI消息。根据本发明的实施方式，原始帧信息SEI消息可以被表示为original_frame_info。根据本发明的实施方式，可以每张图片包括original_frame_info。
根据本发明的实施方式，original_frame_info可以包括frame_type元素、duplicate_frame_flag元素、start_of_cadence_flag元素、end_of_cadence_flag元素、original_frame_flag元素和/或预留元素。frame_type元素可以指示帧速率改变的类型。也就是说，发送端可以包括关于当使用原始视频数据生成编码后的视频数据时使用的帧加倍方法的信息。如上所述，帧加倍方法可以使用帧提高两倍、帧提高三倍、帧提高四倍、帧提高五倍或帧提高六倍，并且frame_type元素可以包括关于提高两倍时使用的倍增倍数的倍增信息。frame_type元素的值可以与图片定时SEI消息中包括的pic_struct元素的值相同。在一些实施方式中，original_frame_info可以用信号通知原始视频源的帧速率和编码视频源的帧速率来替代frame_type元素。也就是说，original_frame_info可以包括替代提高两倍信息的关于使用原始帧速率元素和编码帧速率元素的每个帧速率的信息。
duplicate_frame_flag元素可以指示生成当前帧的方法。在以上实施方式中，复制帧可以被重复或者可以经由插值进行复制。当duplicate_frame_flag元素被设置成1时，这可以指示当前帧是输出序列中的前一帧的重复帧。original_frame_info中包括的duplicate_frame_flag元素的值可以与图片定时SEI消息中包括的duplicate_flag的值相同。当duplicate_frame_flag元素被设置成0时，这可以指示当前帧是输出序列中的经由前一帧和下一帧之间的插值而生成的插值帧。start_of_cadence_flag元素可以指示当前帧是否是与帧速率改变相关的图案的起始点。也就是说，这可以指示当前帧是应用帧速率改变的帧当中的第一帧。发送端的编码器需要相对于经由帧速率改变而编码的视频序列中的第一帧将start_of_cadence_flag元素的值设置成1。end_of_cadence_flag元素可以指示当前帧是否是与帧速率改变相关的图案的结束点。也就是说，这可以指示当前帧是应用帧速率改变的帧当中的最后一帧。发送端的编码器需要相对于经由帧速率改变而编码的视频序列中的最后一帧将end_of_cadence_flag元素的值设置成1。original_frame_flag元素可以指示当前帧是否是与原始视频源的帧匹配的帧。original_frame_flag元素可以指示所设置的帧不是重复帧或者插值帧。预留元素可以指示为将来预留其它信息的元素。
图25的中间端D25020示出了帧标记信息的语法的第二实施方式。将依据与第一实施方式的差异来描述第二实施方式。第一实施方式中的除了以下差异之外的描述可以没有改变地应用于第二实施方式。在D25020中，original_frame_info可以在frame_type元素中包括第一实施方式中描述的duplicate_frame_flag元素的信息。也就是说，在第二实施方式中，frame_type元素可以指示应用于编码后的视频流的帧速率改变的类型。这里，frame_type元素还可以包括应用于帧速率改变的倍增倍数的倍增信息和指示复制帧的方法的复制信息。复制信息可以包括指示为了提高两倍而对帧进行重复或者插值的信息。图25的下部的D25030示出了在第二实施方式中使用的frame_type元素的示例。也就是说，当frame_type元素被设置成0时，这可以指示经由简单复制将帧提高两倍。当frame_type元素被设置成1时，这可以指示经由插值将帧提高两倍，当该元素被设置成2时，经由简单复制将帧提高三倍，并且当该元素被设置成3时，经由插值将帧提高三倍。如此，frame_type元素包括加倍信息和复制信息，以将关于帧速率改变方法的信息发送到接收装置，并且接收装置可以通过对应信息用原始帧速率来恢复视频源。以上提到的原始帧速率的信息也可以经由SI/PSI信令被发送到接收端。
图26是示出根据本发明的一个实施方式的用于接收广播信号的装置的配置的图。根据本发明的实施方式，视频流可以包括图片定时SEI消息和/或original_frame_infoSEI消息。图片定时SEI消息可以包括frame_field_info_present_flag元素、pic_struct元素、和/或duplicate_flag元素。original_frame_info SEI消息可以包括以上提到的元素。在一些实施方式中，可以扩展pic_struct元素以包括附加信息，并且在这种情况下，可以包括扩展码。也就是说，当用信号发送扩展码时，接收端可以检查新SEI消息的扩展pic_struct元素，以获取信息。
当图片定时SEI消息中包括的frame_field_info_present_flag被设置成1时，接收端可以使用图片定时SEI消息中包括的pic_struct元素和duplicate_flag元素的信令。当pic_struct元素的值被设置成0、7或8时，接收端能够恢复原始帧。当原始帧可恢复时，接收端可以参照original_frame_info SEI消息来恢复原始帧。接收端可以读取与以上提到的标记有S的帧相关的信息，并且可以使用frame_type元素和duplicate_frame_flag元素来识别要应用的恢复处理。为了识别原始视频源中包括的匹配帧，可以使用标记为“O”信令的帧。
根据本发明的实施方式的接收装置可以包括解复用器D26010、解码器D26020、选择原始帧处理器D26050和/或帧速率控制处理器D26070。解码器D26020可以包括视频编码层(VCL)解码器D26030和/或非VCL解码器D26040。
解复用器D26010可以接收广播信号，并且对接收到的广播信号中的SI/PSI信令信息进行解复用，以将该信息输出到解码器。这里，SI/PSI信令信息可以包括关于原始帧速率的信息。另外，解复用器可以对广播信号中的帧速率改变编码视频进行解复用，以将该视频输出到VCL解码器，并且可以对广播信号中的图片定时SEI消息和/或original_frame_infoSEI消息进行解复用，以将所述消息输出到非VCL解码器。
解码器D26020可以对输入的SI/PSI信令信息、帧速率改变编码视频流、图片定时SEI消息和/或original_frame_info SEI消息进行解码。视频编码层(VCL)解码器D26030可以对帧速率改变编码视频流进行解码。非VCL解码器D26040可以对输入的图片定时SEI消息和/或original_frame_info SEI消息进行解码。
选择原始帧处理器D26050可以基于经非VCL解码器D26040解码的图片定时SEI消息和/或original_frame_info SEI消息来选择原始帧。也就是说，在由VCL解码器D26030解码的帧速率改变编码的帧当中，可以选择性地提取与原始视频源中包括的帧匹配的帧。也就是说，可以选择性地提取以上提到的标记有“O”的帧，换句话说，可以选择性地提取设置有original_frame_flag元素的帧，以恢复原始帧速率。结果，选择原始帧处理器D26050的输出可以是恢复的原始视频。在一些实施方式中，选择原始帧处理器D26050可以被包括在以上提到的解码器D26020中并且可以被操作。
帧速率控制处理器D26070可以控制恢复的原始视频的帧速率。也就是说，接收端可以使用接收装置中包括的帧速率控制处理器D26070来提供图像质量与接收到的编码视频相比增强的视频。在该过程期间，可以使用帧加倍方法，并且可以经由渲染来提供帧速率正被接收装置改变的视频。在一些实施方式中，可以从接收装置的配置中省略帧速率控制处理器D26070，并且在这种情况下，接收装置可以以原始帧速率提供原始视频，而单独的帧速率没有改变。
图27是示出根据本发明的实施方式的发送帧速率改变编码的视频源的方法的图。根据本发明的实施方式的发送装置可以复制原始视频源中包括的帧，并且可以执行帧速率改变编码(DS27010)。在这个过程中，可以使用参照图24描述的帧加倍方法，并且在一些实施方式中，原始帧速率可以被提高2倍、3倍、4倍、5倍和6倍。在增加帧速率的过程中，发送装置可以仅仅对视频源中包括的帧进行复制或插值，将在下面参照图24对此进行描述。根据本发明的实施方式的发送装置可以在帧速率改变编码之后生成关于编码后的视频源的信令信息(DS27020)，这与以上对图25的详细描述相同。发送装置可以生成指示帧速率改变时使用的加倍方法和复制方法以及被应用帧速率改变的第一和/或最后一帧的信息。发送装置还可以生成指示帧速率改变编码的视频源中的帧是否与原始帧匹配的信息。发送装置可以将帧速率改变编码的视频源与所生成的信令信息一起发送(DS27030)。
图28是示出根据本发明的实施方式的接收和发送帧速率改变编码的视频源的方法的图。根据本发明的实施方式的接收装置可以接收与原始视频源相关的信令信息和帧速率改变编码的视频源(DS28010)。接收装置可以使用信令信息来恢复原始视频源(DS28020)。也就是说，接收装置可以检查用信令信息编码的视频源中的帧当中的帧是否与原始视频源中的帧匹配，并且可以选择与以上对图26的描述相同。接收装置可以处理恢复的原始视频源(DS28030)。接收装置可以使用以上提到的帧速率控制器对恢复的原始视频源执行帧速率改变编码，并且可以显示处理后的视频源。在一些实施方式中，接收装置可以不改变恢复的原始视频源的帧速率，并且可以输出原始视频源。
如上所述，根据本发明的实施方式的发送装置可以改变并发送原始视频源的帧速率，并且接收装置可以将帧速率改变的视频源恢复成原始视频源。由此，接收装置可以向用户提供具有原始帧速率的视频源，或者可以将使用接收装置中包括的帧速率控制器将图像质量增强的视频源提供到用户。
图29是示出根据本发明实施方式的用于提供帧速率相关参数的配置盒的图。也就是说，该图示出了用于提供高帧速率(HFR)和下拉恢复相关参数的HFR配置盒和下拉恢复盒。本发明提出了当生成基于ISO基础媒体文件格式(以下称为ISOBMFF)的文件等时存储与视频轨道(流)、样本等关联的HFR相关参数并且用信号通知所述参数的方法。与包括在ISOBMFF中的样本、视频轨道等关联的HFR参数可以按照该图上部中所示的盒的方式来表示。为了提供媒体文件中的视频轨道和与视频样本相关的HFR信息，可以定义HFR配置盒。HFR配置盒可以被定位在媒体文件中。在一些实施方式中，HFR配置盒可以被包括在moov盒、moof盒或third盒中。HFR配置盒也可以被称为hfrc盒。
HFR配置盒可以包括SFR_compatibility元素、HFR_SFR_transition元素、SFR_HFR_transition元素和/或HFR_type_transition元素。SFR_compatibility元素可以是指示对应的视频轨道、样本等是否与标准帧速率(SFR)或传统帧速率兼容的标志。HFR_SFR_transition元素可以是指示在对应的视频轨道、样本等中是否发生从HFR到SFR(或传统帧速率)的发送的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从SFR(或传统帧速率)到HFR的转变的标志。SFR_HFR_transition元素可以是指示在对应的视频轨道、样本等中是否发生从SFR(或传统帧速率)到HFR的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从SFR(或传统帧速率)到HFR的转变的标志。HFR_type_transition元素可以是指示在对应的视频轨道、样本等中是否发生从HFR类型1到HFR类型2的转变的标志。在一些实施方式下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生HFR类型1到HFR类型2的转变的标志。这里，当HFR类型1为120p时，HFR类型2可以被定义为240p。
本发明提出了一种当生成基于ISO基础媒体文件格式(以下，ISOBMFF)的格式等时存储与视频轨道(流)、样本等关联的下拉恢复或帧速率恢复相关参数并且用信号通知该参数的方法。与包括在ISOBMFF中的视频轨道、样本等关联的帧速率相关参数可以按照该图下部中所示的盒的方式来表示。为了提供与媒体文件中的视频轨道和视频样本相关的恢复信息，可以定义PullDownRecovery配置盒。PullDownRecovery配置盒可以被定位在媒体文件中。在一些实施方式中，HFR配置盒可以被包括在moov盒、moof盒或third盒中。PullDownRecovery配置盒也可以被称为pdrc盒。
PullDownRecovery配置盒可以包括pull_down_type元素、pull_down_start_transition元素、pull_down_end_transition元素、pull_down_type_transition元素、original_frame_rate元素和/或original_scan_type元素。pull_down_type元素可以指示用于形成包括在原始视频流(捕获视频)中的对应的视频轨道、样本等中的编码后的视频流的下拉类型。例如，该元素可以是3:2、2:3或其它类型。pull_down_start_transition元素可以是指示在对应的视频轨道、样本等中是否包括下拉视频的开始的标志。pull_down_end_transition元素可以是指示在对应的视频轨道、样本等中是否包括下拉视频的结束的标志。Pull_down_type_transition元素可以是指示在对应的视频轨道、样本等中是否包括下拉类型的改变部分的标志。在一些实施方式中，元素可以指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生下拉类型的转变。original_frame_rate元素可以指示对应的视频轨道、样本等中的原始视频流(捕获视频)的帧速率。也就是说，该元素可以指示编码之前原始视频流(而非经由下拉编码的视频流)的帧速率。original_scan_type元素可以指示对应的视频轨道、样本等中的原始视频流(捕获视频)的扫描类型(逐行、隔行)。该元素可以指示编码之前原始视频流(而非经由下拉编码的视频流)的扫描类型。
图30是示出根据本发明的实施方式的在tkhd盒中定义帧速率信息的方法的图。帧速率信息可以被包括在以上提到的媒体文件中并且可以被存储/发送。在本实施方式中，帧速率信息(参数)可以被添加到以上提到的moov盒中的TrackHeader(tkhd)盒。现在，描述新添加到tkhd盒的帧速率信息。tkhd盒可以包括以下信息中的至少一个作为帧速率相关信息。
SFR_compatibility元素可以是指示对应的视频轨道是否与标准帧速率(SFR)或传统帧速率兼容的标志。HFR_SFR_transition元素可以是指示在视频轨道中是否发生从HFR到SFR(或传统帧速率)的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从HFR到SFR(或传统帧速率)的转变的标志。SFR_HFR_transition元素可以是指示在视频轨道中是否发生从SFR(或传统帧速率)到HFR的转变的标志。在一些实施方式中，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从SFR(或传统帧速率)到HFR的转变的标志。HFR_type_transition元素可以是指示在视频轨道中是否发生从HFR类型1到HFR类型2的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从HFR类型1到HFR类型2的转变的标志。这里，当HFR类型1为120p时，HFR类型2可以被定义为240p。pull_down_type元素可以指示用于形成包括在原始视频流(捕获视频)中对应的视频轨道中的编码后的视频流的下拉类型。例如，该元素可以是3:2、2:3或其它类型。pull_down_start_transition元素可以是指示在对应的视频轨道中是否包括下拉视频的开始的标志。pull_down_end_transition元素可以是指示在对应的视频轨道中是否包括下拉视频的结束的标志。pull_down_type_transition元素可以是指示在对应的视频轨道中是否包括下拉类型的改变部分的标志。original_frame_rate元素可以指示对应的视频轨道中的原始视频流(捕获视频)的帧速率。如上所述，元素可以指示原始视频流而非被编码以改变帧速率的视频流的帧速率。original_scan_type元素可以指示对应的视频轨道中的原始视频流(捕获视频)的扫描类型(逐行、隔行)。类似地，元素可以指示原始视频流而非被编码以改变帧速率的视频流的扫描类型。
如上所述，各个场可以被包括在轨道头盒中并且可用信号通知帧速率信息。
图31是示出根据本发明的实施方式的将包括帧速率相关信息的HFR配置盒和下拉恢复配置盒添加到轨道头盒的方法的图。包括关于帧速率相关参数的详细信息的HFRConfigurationBox和PullDownRecoveryConfigurationBox可以被包括在ISOBMFF的moov盒中所包括的“tkhd”盒中。轨道头盒可以包括指示在现有信息中是否另外存在HFR视频的标志信息、指示是否存在下拉视频的标志信息、HFR配置盒和下拉恢复配置盒。hfr_flag元素可以是指示视频轨道中是否包括HFR视频的标志。当元素的值为1时，这可以指示视频轨道中包括HFR视频。在这种情况下，“tkhd”盒可以包括HFRConfigurationBox。pull_down_flag元素可以是指示视频轨道中是否包括下拉视频的标志。当元素的值为1时，这可以指示视频轨道中包括下拉视频，并且在这种情况下，“tkhd”盒可以包括PullDownRecoveryConfigurationBox。hfr_cfg可以包括与诸如HFRConfigurationBox这样的包括在视频轨道中的HFR视频的HFR相关的详细参数。现在描述包括在HFRConfigurationBox中的详细参数。SFR_compatibility元素可以是指示对应的视频轨道是否与标准帧速率(SFR)或传统帧速率兼容的标志。HFR_SFR_transition元素可以是指示在视频轨道中是否发生从HFR到SFR(或传统帧速率)的转变的标志。在一些实施方式中，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从HFR到SFR(或传统帧速率)的转变的标志。SFR_HFR_transition元素可以是指示在视频轨道中是否发生从SFR(或传统帧速率)到HFR的转变的标志。在一些实施方式中，该元素可以指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从SFR(或传统帧速率)到HFR的转变。HFR_type_transition元素可以是指示在视频轨道中是否发生从HFR类型1到HFR类型2的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从HFR类型1到HFR类型2的转变的标志。这里，当HFR类型1为120p时，HFR类型2可以被定义为240p。
pull_down_recovery_cfg可以包括与作为原始视频源的用于形成作为PullDownRecoveryConfigurationBox的视频轨道中包括的下拉视频的下拉恢复相关详细参数。现在描述包括在PullDownRecoveryConfigurationBox中的详细参数。pull_down_type元素可以指示用于形成包括在原始视频流(捕获视频)中的对应的视频轨道中的编码后的视频流的下拉类型(例如，3:2、2:3或其它类型)。pull_down_start_transition元素可以是指示在对应的视频轨道中是否包括下拉视频的开始的标志。pull_down_end_transition元素可以是指示在对应的视频轨道中是否包括下拉视频的结束的标志。pull_down_type_transition元素可以是指示在对应的视频轨道中是否包括下拉类型的改变部分的标志。original_frame_rate元素可以指示对应的视频轨道中的原始视频流(捕获视频)的帧速率。对应元素的帧速率可以不指示编码后的帧速率改变的视频流。original_scan_type元素可以指示对应的视频轨道中的原始视频流(捕获视频)的扫描类型(逐行、隔行)。对应元素的扫描类型可以不指示编码后的帧速率改变的视频流。这些场(元素)的定义与以上描述中相同，但是在本实施方式中，HFR配置盒和下拉恢复配置盒存在于轨道头(tkhd)盒中，因此，这些场可以描述关于对应视频轨道的信息。
图32是示出根据本发明的实施方式的在视频媒体头(vmhd)盒中定义帧速率相关信息的方法的图。如上所述，帧速率信息可以被包括在媒体文件的结构中并且可以被存储/发送。在本实施方式中，帧速率信息(参数)可以被添加到trak盒中的以上提到的vmhd盒。这里，vmhd框(视频媒体头盒)可以提供对应视频轨道的一般呈现相关信息作为以上提到的trak盒的下盒。
在该图上部所示出的实施方式中，vmhd盒可以包括hfr_flag和pull_down_flag元素(字段)。对对应字段的描述与以上对先前图的描述相同。当hfr_flag字段被设置成1时，vmhd盒可以包括SFR_compatibility元素、HFR_SFR_transition元素、SFR_HFR_transition元素和/或HFR_type_transition元素。当pull_down_flag字段被设置成1时，vmhd盒可以包括pull_down_type元素、pull_down_start_transition元素、pull_down_end_transition元素、pull_down_type_transition元素、original_frame_rate元素和/或original_scan_type元素。每个元素与以上对先前图的描述相同。
在该图下部所示出的实施方式中，vmhd盒可以包括hfr_flag和pull_down_flag元素(字段)。根据hfr_flag和pull_down_flag元素(字段)的值，该盒还可以包括作为HFRConfigurationBox的hfr_cfg和作为PullDownRecoveryConfigurationBox的pull_down_recovery_cfg。hfr_flag、pull_down_flag元素、hfr_cfg和pull_down_recovery_cfg可以执行与以上提到的tkhd盒中的具有相同名称的字段和框相同的功能。也就是说，在所示出的实施方式中，vmhd盒中包括的多条帧速率信息可以提供关于包括在对应视频轨道中的视频数据的帧速率信息。
在一些实施方式中，当在以上提到的轨道头(tkhd)盒和视频媒体头(vmhd)盒中同时包括帧速率相关标志和详细参数时，在轨道头盒或HFRConfiguration和PullDownRecoveryConfiguration盒中定义的HFR标志和pull_down_flag的元素(字段)的值可以被视频媒体头中定义的值覆盖。也就是说，当两个字段中定义的值不同时，可以使用vmhd盒中的值。当vmhd盒中不包括帧速率信息时，可以使用tkhd盒中的帧速率信息。
图33是示出根据本发明的实施方式的在trex盒中定义帧速率信息的方法的图。如上所述，根据本发明的实施方式，帧速率信息可以被包括在媒体文件的结构中并且可以被存储/发送。在本实施方式中，帧速率信息(参数)可以被添加到以上提到的电影扩展(mvex)盒中的轨道扩展(trek)盒。
这里，轨道扩展(trex)盒可以将每个电影分段使用的默认值设置为以上提到的mvex盒的下盒。该盒可以提供默认值以减小traf盒中的空间和复杂性。
trex盒还可以包括default_hfr_flag元素、default_sample_hfr_flag元素、default_pull_down_flag元素和/或default_sample_pull_down_flag元素。当default_hfr_flag元素被设置成1时，trex盒可以包括default_hfr_cfg作为HFRConfiguration盒。当default_sample_hfr_flag元素被设置成1时，trex盒可以包括default_sample_hfr_cfg作为HFRConfiguration盒。当default_pull_down_flag元素被设置成1时，trex盒可以包括default_pull_down_recovery_cfg作为PullDownRecoveryConfigurationBox。当default_sample_pull_down_flag元素被设置成1时，trex盒可以包括default_sample_pull_down_recovery_cfg作为PullDownRecoveryConfigurationBox。
default_sample_disparity_flag元素可以是指示包括在电影分段中的视频轨道分段中是否包括HFR视频的标志。当该元素的值为1时，这可以指示电影分段的视频轨道中默认地包括HFR视频，并且在这种情况下，该元素可以包括HFRConfigurationBox等，包括公共适用于对应轨道分段的视频样本的HFR参数的详细信息。Default_sample_hfr_flag元素可以是指示包括在电影分段中的视频轨道分段中是否包括HFR视频样本的标志。当该元素值为1时，这可以指示电影分段的视频轨道中默认地包括HER视频样本，并且在这种情况下，该元素可以包括HFRConfigurationBox等(包括HFRConfigurationBox等)，包括公共适用于对应轨道分段的视频样本的HFR参数的详细信息。default_pull_down_flag元素可以是指示包括在电影分段中的视频轨道分段中是否包括下拉视频的标志。当该元素的值为1时，这可以指示电影分段的视频轨道中默认地包括下拉视频，并且在这种情况下，该元素可以包括PullDownRecoveryConfigurationBox等，包括公共适用于对应轨道分段的视频样本的下拉恢复参数的详细信息。default_sample_pull_down_flag元素可以是指示包括在电影分段中的视频轨道分段中是否包括下拉视频样本的标志。当该元素的值为1时，这可以指示电影分段的视频轨道中默认地包括下拉视频，并且在这种情况下，该元素可以包括PullDownRecoveryConfigurationBox等，包括公共适用于对应轨道分段的视频样本的下拉恢复参数的详细信息。
现在描述包括在trex盒中的帧速率相关盒。default_hfr_cfg可以包括电影分段的轨道分段中包括的HFR视频的HFR相关详细参数。在这种情况下，包括在HFRConfigurationBox中的HFRConfiguration中的元素的含义可以与以上描述中相同。
default_sample_hfr_cfg可以包括公共适用于电影分段的轨道分段中包括的HFR视频样本的HFR相关详细参数。在这种情况下，包括在HFRConfigurationBox中的HFRConfiguration中的元素的含义可以与以上描述中相同。default_pull_down_recovery_cfg可以包括电影分段的轨道分段中包括的下拉视频的下拉恢复相关详细参数。在这种情况下，包括在PullDownRecoveryConfigurationBox中的PullDownRecoeryConfiguration中的元素可以指示与以上建议中相同的含义。Default_sample_pull_down_recovery_cfg可以包括公共适用于电影分段的轨道分段中包括的下拉视频样本的下拉恢复相关详细参数。在这种情况下，包括在PullDownRecoveryConfigurationBox中的PullDownRecoveryConfiguration中的元素的含义可以与以上建议中相同的含义。
图34是示出根据本发明的实施方式的在轨道分段头(tkhd)盒中定义帧速率信息的方法的图。如上所述，帧速率信息可以被包括在媒体文件的结构中并且可以被存储/发送。在该图上部所示出的实施方式中，帧速率信息(参数)可以被添加到以上提到的moof盒中的tfhd盒。
在该图上部所示出的实施方式中，tfhd盒可以包括hfr_flag和pull_down_flag元素(字段)。对对应字段的描述与以上对先前图的描述相同，但是不同之处在于，对对应字段的描述是依据轨迹分段单位给出的。当hfr_flag字段被设置成1时，tfhd盒可以包括SFR_compatibility元素、HFR_SFR_transition元素、SFR_HFR_transition元素和/或HFR_type_transition元素。当pull_down_flag字段被设置成1时，tfhd盒可以包括pull_down_type元素、pull_down_start_transition元素、pull_down_end_transition元素、pull_down_type_transition元素、original_frame_rate元素和/或original_scan_type元素。SFR_compatibility元素可以是指示电影分段中包括的轨道分段是否与标准帧速率(SFR)或传统帧速率兼容的标志。HFR_SFR_transition元素可以是指示在电影分段中包括的视频轨道中是否发生从HFR到SFR(或传统帧速率)的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从HFR到SFR(或传统帧速率)的转变的标志。SFR_HFR_transition元素可以是指示在电影分段中包括的轨道分段中是否发生从SFR(或传统帧速率)到HFR的转变的标志。在一些情况下，该元素可以指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从SFR(或传统帧速率)到HFR的转变。HFR_type_transition元素可以是指示在电影分段中包括的轨道分段中是否发生从HFR类型1到HFR类型2的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从HFR类型1到HFR类型2的转变的标志。这里，当HFR类型1为120p时，HFR类型2可以被定义为240p。pull_down_type元素可以是指示用于形成包括在原始视频流(捕获视频)中的电影分段中的视频轨道中的编码后的视频流的下拉类型(例如，3:2、2:3或其它类型)的标志。pull_down_start_transition元素可以是指示包括在电影分段中的轨道分段中是否包括下拉视频的开始的标志。pull_down_end_transition元素可以是指示包括在电影分段中的轨道分段中是否包括下拉视频的结束的标志。pull_down_type_transition元素可以是指示包括在电影分段中的轨道分段中是否包括下拉类型的改变部分的标志。original_frame_rate元素可以指示原始视频流(捕获视频)而非包括在电影分段中的轨道分段的编码后的视频流的帧速率。original_scan_type元素可以指示原始视频流(捕获视频)而非包括在电影分段中的轨道分段的编码后的视频流的扫描类型(逐行、隔行)。
在该图下部所示出的实施方式中，tfhd盒可以包括hfr_flag和pull_down_flag元素(字段)。根据hfr_flag和pull_down_flag元素(字段)的值，该盒还可以包括作为HFRConfigurationBox的hfr_cfg和作为PullDownRecoveryConfigurationBox的pull_down_recovery_cfg。hfr_flag、pull_down_flag元素、hfr_cfg和pull_down_recovery_cfg可以执行与该图上部中的具有相同名称的字段和框相同的功能。hfr_cfg可以包括电影分段的轨道分段中包括的HFR视频的HFR相关详细参数。在这种情况下，包括在HFRConfigurationBox中的HFRConfiguration中的元素可以指示与以上建议中相同的含义。pull_down_recovery_cfg可以包括电影分段的轨道分段中包括的下拉视频的下拉恢复相关详细参数。在这种情况下，包括在PullDownRecoveryConfigurationBox中的PullDownRecoveryConfiguration中的元素可以指示与以上建议中相同的含义。也就是说，在所示出的实施方式中，tfhd盒中的帧速率信息可以提供关于包括在对应视频轨道分段中的视频数据的帧速率信息。
图35是示出根据本发明的实施方式的在轨道分段头(tkhd)盒中定义帧速率信息的方法的图。如上所述，帧速率信息可以被包括在媒体文件的结构中并且可以被存储/发送。在该图中所示出的实施方式中，根据tf_flags的值，tfhd盒还可以包括帧速率信息。tf_flags可以指示与对应盒关联的标志。例如，当tf_flags包括值0x000001时，这可以指示tfhd盒中包括基础数据偏移信息，当tf_flags包括值0x000002时，这可以指示tfhd盒中包括样本描述索引信息。
根据该图上部中所示的实施方式，当tf_flags的值是0x100000(0x100000：default-sample-hfr-configuration-present)时，这可以指示存在对应分段中的轨道分段中包括的视频样本的HFR信息的默认值。在一些实施方式中，指示存在帧速率信息的tf_flags的值可以具有不同于0x100000的不同值。也就是说，在一些实施方式中，当tf_flags的值是0x100000(0x200000：default-sample-pull-down-recovery-configuration-present)时，这可以指示存在对应分段中的轨道分段中包括的视频样本的下拉恢复信息的默认值。换句话说，当tf_flags值具有0x100000的值时，tfhd盒可以包括作为HFR配置盒的default_sample_hfr_cfg盒，并且当tf_flags值具有0x200000的值时，该盒可以包括作为下拉恢复配置盒的default_sample_pull_down_recovery_cfg盒。default_sample_hfr_cfg盒和default_sample_pull_down_recovery_cfg可以默认公共适用于电影分段的轨道分段中包括的包括帧速率信息的视频样本的HFR信息和下拉恢复信息。Default_sample_hfr_cfg盒可以包括适用于电影分段的轨道分段中包括的每个HFR视频样本的HFR相关详细参数。在这种情况下，包括在HFRConfigurationBox中的HFRConfiguration中的元素可以指示与以上建议中相同的含义。default_sample_pull_down_recovery_cfg盒可以包括适用于电影分段的轨道分段中包括的每个下拉视频样本的下拉恢复相关详细参数。在这种情况下，包括在PullDownRecoveryConfigurationBox中的PullDownRecoveryConfiguration中的元素的含义可以具有与以上建议中相同。
图36是示出根据本发明的实施方式的在轨道运行(trun)盒中定义帧速率信息的方法的图。如上所述，帧速率信息可以被包括在媒体文件的结构中并且可以被存储/发送。在本实施方式中，帧速率信息(参数)可以被添加到以上提到的traf盒中的trun盒。当在电影分段中的轨道分段盒中存在轨道运行盒时，可以存储并用信号通知公共适用于轨道分段中包括的视频样本的帧速率相关元素，如图中所示。该信息的含义可以具有与以上针对轨道分段头盒的建议中相同的含义。在图左部所示出的实施方式中，trun盒可以包括hfr_flag和pull_down_flag元素(字段)。对对应字段的描述与以上对先前图的描述相同，该字段所指示的目标是轨道分段单元。当hfr_flag字段被设置成1时，trun盒可以包括SFR_compatibility元素、HFR_SFR_transition元素、SFR_HFR_transition元素和/或HFR_type_transition元素。当pull_down_flag字段被设置成1时，trun盒可以包括pull_down_type元素、pull_down_start_transition元素、pull_down_end_transition元素、pull_down_type_transition元素、original_frame_rate元素和/或original_scan_type元素。当在轨道分段头(tfhd)盒和轨道运行(trun)盒中同时包括帧速率相关标志元素和详细参数时，轨道头盒或HFRConfiguration和PullDownRecoveryConfiguration盒中定义的HFR标志和下拉标志的元素的值可以被轨道运行盒中定义的值覆盖。也就是说，当两个字段中定义的帧速率信息的值不同时，可以使用trun盒中的值。当trun盒中不包括帧速率信息时，可以使用tfhd盒中的帧速率信息。
根据该图下部中所示出的实施方式中，trun盒可以包括hfr_flag和pull_down_flag元素(字段)，并且根据hfr_flag和pull_down_flag元素的值，该盒还可以包括作为HFRConfigurationBo的hfr_cfg和作为PullDownRecoveryConfigurationBox的pull_down_recovery_cfg盒。该盒可以包括公共适用于对应轨道分段中的视频样本的帧速率信息。盒中的字段的含义可以与具有以上提到的tfhd盒中的帧速率配置盒的相同含义的字段或元素相同。
图37和图38是示出根据本发明的另一个实施方式的在轨道运行(trun)盒中定义帧速率信息的方法的图。本实施方式可以是其中在电影分段中的轨道分段盒中存在轨道运行盒的实施方式。
在图37上部中所示出的实施方式中，根据tr_flags的值，trun盒还可以包括帧速率信息。tr_flags可以指示与对应盒关联的标志。当在电影分段中的轨道分段盒中存在轨道运行盒时，如果以下tr_flag的值是0x002000，则这可以指示关于存在公共适用于轨道分段中包括的视频样本的HFR参数的信息。当tr_flags的值是0x001000时，这可以指示关于存在公共适用于轨道分段中的每一个视频样本的HFR参数的信息。如同HFR参数，还可以定义下拉恢复。也就是说，当tr_flag的值是0x008000时，这可以指示关于存在公共适用于轨道分段中的视频样本的下拉恢复参数的信息。当tr_flag的值是0x004000时，这可以指示关于存在公共适用于轨道分段中的每一个视频样本的下拉恢复参数的信息。与以上提到的tr_flag对应的帧速率相关信息的含义仅仅是实施方式，因此在一些实施方式中，可以以不同方式进行组合。
当tr_flags包括0x002000时，trun盒包括作为HFRConfigurationBox的hfr_cfg，如图37的中间部分中所示。在这种情况下，所包括的HFRConfigurationBox的属性的含义可以与以上提到的轨道分段头中的所建议的HFRConfigurationBox的元素相同。当tr_flags包括0x001000时，可以用信号通知对应于每个样本的HFR参数，如图37的下部中所示。在这种情况下，作为HFRConfigurationBox的sample_hfr_cfg的元素的含义可以与上述在轨道分段头中的以上建议的HFRConfigurationBox的元素相同。当tr_flags包括0x008000时，trun盒可以包括作为PullDownRecoveryConfigurationBox的pull_down_recovery_cfg，如图38的上部中所示。在这种情况下，所包括的PullDownRecoveryConfigurationBox的元素的含义可以与以上建议的轨道分段头中的PullDownRecoveryConfigurationBox的元素相同。当tr_flags包括0x004000时，可以用信号通知对应于每个样本的下拉恢复参数，如图38的下部中所示。在这种情况下，作为PullDownRecoveryConfigurationBox的sample_pull_down_recovery_cfg的元素的含义可以与以上建议的轨道分段头中的PullDownRecoveryConfigurationBox相同。
图39是示出根据本发明的实施方式的在各种标志或样本组条目中定义帧速率信息的方法的图。
在该图上部中所示出的实施方式中，可以在trex盒中的default_sample_flags、tfhd盒中的default_sample_flags、trun盒中的sample_flags和/或trun盒中的first_sample_flags上添加所示的帧速率相关标志。在这种情况下，可以总共添加四比特的标志。以上标志可以表示标志的组合并且可以包括多条标志信息。
hfr_flag元素可以是指示样本是否是HFR视频的样本的标志。当元素的值为1时，这可以指示对应样本是HFR视频的样本。SFR_compatibility_flag元素可以是指示当前HFR视频样本是否与用于支持SFR的解码器/显示器兼容的标志。当元素的值为1时，这可以指示对应HFR视频样本与SFR兼容。在这种情况下，在仅支持SFR的解码器/显示器的情况下，可以经由对应的标志对当前HFR视频样本进行解码/显示。pull_down_flag元素可以是指示样本是否是下拉视频样本的标志。当元素的值为1时，这可以指示对应样本是HFR视频样本。pull_down_transition_flag元素可以指示当前样本是下拉视频的起点或终点或下拉类型的改变点。另选地，pull_down_transition_flag元素可以指示当前样本之后的下一个样本是下拉视频的起点或终点或下拉类型的改变点。
在图中间部分中所示出的实施方式中，帧速率信息可以被包括在可视样本组条目中。当相同帧速率相关标志适用于存在于一个媒体文件或电影分段中的一个或更多个视频样本时，可视样本组条目中还可以包括与所示实施方式中示出的帧速率标志。
所示的帧速率相关标志的含义可以与以上提到的具有相同名称的标志相同，而是可以相对于对应样本组进行描述。SFR_compatibility元素可以是指示样本组是否与标准帧速率(SFR)或传统帧速率兼容的标志。
HFR_SFR_transition元素可以是指示在视频样本组中是否发生从HFR到SFR(或传统帧速率)的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从HFR到SFR(或传统帧速率)的转变的标志。SFR_HFR_transition元素可以是指示在视频样本组中是否发生从SFR(或传统帧速率)到HFR的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从SFR(或传统帧速率)到HFR的转变的标志。HFR_type_transition元素可以是指示在视频样本组中是否发生从HFR类型1到HFR类型2的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从HFR类型1到HFR类型2的转变的标志。这里，当HFR类型1为120p时，HFR类型2可以被定义为240p。pull_down_type元素可以是指示用于形成包括在原始视频流(捕获视频)中的视频样本组中的编码后的视频流的下拉类型(例如，3:2、2:3或其它类型)的标志。pull_down_start_transition元素可以是指示在视频样本组中是否包括下拉视频的开始的标志。pull_down_end_transitio元素可以是指示在视频样本组中是否包括下拉视频的结束的标志。Pull_down_type_transition元素可以是指示在视频样本组中是否包括下拉类型的改变部分的标志。original_frame_rate元素可以指示视频样本组中的原始视频流(捕获视频)的帧速率。该元素是关于原始视频流而非编码后的帧速率改变的视频流的信息。original_scan_type元素可以指示视频组中的原始视频流(捕获视频)的扫描类型(逐行、隔行)。该元素可以是关于原始视频流而非编码后的帧速率改变的视频流的信息。
在图下部中所示的实施方式中，当相同的HFR和下拉恢复参数应用于一个文件或电影分段中存在的一个或更多个样本时，以下信息可以被添加到可视样本组条目的HFRConfiguration Box、PullDown Recovery Configuration盒等，等等。hfr_flag元素可以是指示样本组是否包括HFR视频的标志。当该元素的值为1时，这可以指示样本组中包括HFR视频，并且在这种情况下，HFRConfigurationBox可以被包括在tkhd盒中。pull_down_flag元素可以是指示样本组中是否包括下拉视频的标志。当该元素的值为1时，这可以指示样本组中包括下拉视频，并且在这种情况下，PullDownRecoveryConfigurationBox可以被包括在tkhd盒中。hfr_cfg元素可以指示样本组包括HFR详细参数。包括在HFRConfigurationBox中的HFRConfiguration中的每一个元素的含义可以与以上建议相同。pull_down_recovery_cfg元素可以包括用于形成作为原始视频源的样本组中包括的下拉视频的下拉恢复相关详细参数。PullDownRecoveryConfigurationBox中包括的PullDownRecoveryConfiguration的元素的含义可以与以上建议的轨道分段头中的PullDownRecoveryConfigurationBox的元素相同。
图40是示出根据本发明的实施方式的在视觉样本条目中定义帧速率信息的方法的图。如该图左部中所示，对一个媒体文件或电影分段中存在的每个样本进行解码所需的初始化信息、与每个样本关联的帧速率信息等还可以被包括在visual sample entry()中。visual sample entry()可以包括hfr_flag和pull_down_flag元素(字段)。当hfr_flag字段被设置成1时，可视样本条目可以包括SFR_compatibility元素、HFR_SFR_transition元素、SFR_HFR_transition元素和/或HFR_type_transition元素。当pull_down_flag字段被设置成1时，可视样本条目可以包括pull_down_type元素、pull_down_start_transition元素、pull_down_end_transition元素、pull_down_type_transition元素、original_frame_rate元素和/或original_scan_type元素。SFR_compatibility元素可以是指示关联的视频轨道/样本等是否与标准帧速率(SFR)或传统帧速率兼容的标志。
HFR_SFR_transition元素可以是指示在关联的视频轨道/样本等中是否发生从HFR到SFR(或传统帧速率)的转变的标志。在一些实施方式中，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从HFR到SFR(或传统帧速率)的转变的标志。SFR_HFR_transition元素可以是指示在关联的视频轨道/样本等中是否发生从SFR(或传统帧速率)到HFR的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生从SFR(或传统帧速率)到HFR的转变的标志。HFR_type_transition元素可以是指示在关联的视频轨道/样本等中是否发生从HFR类型1到HFR类型2的转变的标志。在一些情况下，该元素可以是指示在对应的视频轨道、样本等之后的下一个视频轨道、样本等中是否发生HFR类型1到HFR类型2的转变的标志。这里，当HFR类型1为120p时，HFR类型2可以被定义为240p。pull_down_type元素可以是指示用于形成包括在原始视频流(捕获视频)中的关联的视频轨道/样本等中的编码后的视频流的下拉类型(例如，3:2、2:3或其它类型)的标志。pull_down_start_transition元素可以是指示在关联的轨道/样本等中是否包括下拉视频的开始的标志。pull_down_end_transition元素可以是指示在关联的轨道/样本等中是否包括下拉视频的结束的标志。Pull_down_type_transition元素可以是指示关联的轨道/样本等是否包括下拉类型的改变部分的标志。original_frame_rate元素可以是关联的视频轨道/样本等的原始视频流(捕获视频)的帧速率。该元素可以是关于原始视频流而非编码后的帧速率改变的视频流的信息。original_scan_type元素可以指示关联的视频轨道/样本等的原始视频流(捕获视频)的扫描类型(逐行、隔行)。它可以是关于原始视频流而非编码后的帧速率改变的视频流的信息。
在该图右部中所示的实施方式中，当与每个样本关联的HFR和下拉恢复参数等被应用作为对一个文件或电影分段中存在的每个样本进行解码所需的初始化信息时，以下信息(例如，HFR Configuration Box和Pull Down Recovery Configuration盒)可以被添加到可视样本条目。hfr_flag元素可以是指示HFR视频是否被包括在关联的视频/样本等中的标志。当该元素的值为1时，这可以指示关联的视频轨道/样本等中包括HFR视频，并且在这种情况下，HFRConfigurationBox可以被包括在“tkhd”盒中。pull_down_flag元素可以是指示下拉视频是否被包括在关联的视频轨道/样本等中的标志。当该元素的值为1时，这可以指示样本组中包括下拉视频，并且在这种情况下，PullDownRecoveryConfigurationBox可以被包括在“tkhd”盒中。hfr_cfg元素可以包括与关联的视频轨道/样本关联的HFR详细参数等。HFRConfigurationBox中包括的HFRConfiguration中的属性的含义可以与以上建议中的相同。pull_down_recovery_cfg元素可以包括用于形成作为原始视频源的关联的视频轨道/样本等中包括的下拉视频的下拉恢复相关详细参数。PullDownRecoveryConfigurationBox中包括的PullDownRecoveryConfiguration的元素的含义可以与以上建议的轨道分段头中的PullDownRecoveryConfigurationBox的元素相同。
图41是示出根据本发明的实施方式的在HEVC样本条目、HEVC配置盒或HEVC解码器配置记录中定义帧速率信息的方法的图。
在该图上部中所示出的实施方式中，帧速率信息可以被包括在HEVCSampleEntry中。该信息可以是对存在于媒体文件或电影分段中的每一个HEVC样本进行解码所需的初始化信息，并且在这方面，可以如图中所示添加与每个HEVC样本相关的帧速率信息等。在一些实施方式中，所添加的帧速率信息可以按照以上提到的HFRConfigurationBox和/或PullDownRecoveryConfigurationBox的形式进行添加。在一些实施方式中，帧速率信息可以按照相同的方式被添加到HEVCLHVCSampleEntry、LHEVCSampleEntry、HEVCTileSampleEntry、LHEVCTileSampleEntry、AVCSampleEntry、AVC2SampleEntry、SVCSampleEntry和/或MVCSampleEntry等。
在该图中间部分中所示出的实施方式中，帧速率信息可以被包括在HEVCConfigurationBox中。该信息可以是对存在于媒体文件或电影分段中的每一个HEVC样本进行解码所需的初始化信息，并且在这方面，可以添加与每个HEVC样本等相关的帧速率信息，如图中所示。在一些实施方式中，所添加的帧速率信息可以按照以上提到的HFRConfigurationBox和/或PullDownRecoveryConfigurationBox的方式进行添加。在一些实施方式中，帧速率信息可以按照相同的方式被添加到HEVCLHVCSampleEntry、LHEVCSampleEntry、HEVCTileSampleEntry、LHEVCTileSampleEntry、AVCSampleEntry、AVC2SampleEntry、SVCSampleEntry和/或MVCSampleEntry等。
在图下部中所示出的实施方式中，帧速率信息可以被包括在HEVCDecoderConfigurationRecord中。该信息可以是对存在于媒体文件或电影分段中的每一个HEVC样本进行解码所需的初始化信息，并且在这方面，可以添加与每个HEVC样本相关的帧速率信息等，如图中所示。在一些实施方式中，所添加的帧速率信息可以按照以上提到的HFRConfigurationBox和/或PullDownRecoveryConfigurationBox的形式进行添加。在这种情况下，可以用hfr_flag和/或pull_down_flag元素用信号通知是否添加FRConfigurationBox和/或PullDownRecoveryConfigurationBox。在一些实施方式中，帧速率信息可以按照相同的方式被添加到HEVCLHVCSampleEntry、LHEVCSampleEntry、HEVCTileSampleEntry、LHEVCTileSampleEntry、AVCecoderConfigurationRecord、SVCecoderConfigurationRecord和/或MVCecoderConfigurationRecord等。
图42是示出根据本发明的实施方式的定义帧速率信息SEI盒并且存储/发送帧速率信息的方法的图。如图上部中所示，可以定义HFRInformationSEIBox(hisb)D42010和PullDownRecoveryInfoSEIBox(pdri)D42020作为帧速率信息SEI盒。该盒可以包括SEI NAL单元，SEI NAL单元可以具有包括帧速率相关信息的SEI消息。作为帧速率信息SEI盒的Hisb和pdri可以分别包括hfrinfosei和pdrinfosei。hfrinfosei可以包括包含HFR信息SEI消息的SEI NAL。pdrinfosei可以包括包含下拉恢复信息SEI消息的SEI NAL单元。
在该图的中间部分和下部中所示出的实施方式中，作为帧速率信息SEI的hisb和pdri可以被包括在可视样本条目D42030、HEVC配置盒D42040和/或HEVC样本条目D42050中。在一些实施方式中，hisb和pdri可以被包括在AVC样本条目、MVC样本条目、SVC样本条目、HEVCLHVCSampleEntry、LHEVCSampleEntry、HEVCTileSampleEntry和/或LHEVCTileSampleEntry中。
当支持HFR并且基于ISOBMFF来生成下拉内容的文件或者生成能在DASH分段上操作的MPU或能在MPEG DASH上操作的MPEG MMT时，可以应用本发明所提出的方法。在这方面，接收装置(其包括DASH客户端、MMT客户端等)的解码器等可以基于HFR相关元数据(标志、参数等)有效地解码/显示对应内容。
包括用于以上建议的HFR的参数和下拉相关标志或HFR和下拉恢复的HFRConfigurationBox和PullDownRecoveryConfiguration可以被同时包括在一个ISOBMFF文件或DASH分段中以及MMT MPU中的盒中。在这种情况下，在较高盒中定义的HFR相关标志或HFR参数值和下拉恢复参数值可以被较低盒中定义的值覆盖。例如，当HFR相关标志和详细参数同时被包括在轨道头(tkhd)盒和视频媒体头(vmhd)盒中时，轨道头盒或HFRConfiguration盒中定义的HFR标志的元素的值可以被视频媒体头中定义的值覆盖。
图43是示出根据本发明的实施方式的基于HFR信息处理能力的接收装置的媒体引擎操作的图。接收装置的解析器(ISOBMFF解析器)D43010可以对基于ISOBMFF的媒体文件、DASH分段和/或MMT MPU等进行解析。根据解析结果，视频样本可以被发送到视频解码器D43030和D43040并且帧速率信息(高帧速率(HFR)和元数据)可以被发送到元数据解析器D43020。ISOBMFF解析器可以是硬件块并且可以被称为解析处理器或解析电路。这里，第一视频解码器D43030和第二视频解码器D43040可以是包括在不同接收装置中的解码器，并且在一些实施方式中，可以被同时包括在一个接收装置中。
视频解码器可以对视频样本进行解码，以获取HFR视频数据。当存在在此过程中获取的HFR信息时，该信息可以被发送到元数据解析器。元数据解析器可以对接收到的HFR元数据进行解析。这里，视频解码器中所需的控制信息等可以被发送到视频解码器，或者可以被用于在使用所获取的HFR元数据进行解码之前转换帧速率。元数据解析器可以用作缓冲器或者可以更新元数据。可以使用set_number、version_number等来执行更新。视频解码器和元数据解析器可以是硬件块并且可以分别被称为解码处理器和元数据解析处理器或者解码电路和元数据解析电路。
可以根据接收装置的HFR视频的解码能力来改变后续操作。能够执行HFR解码和显示的接收装置可以使用视频解码器D43030来对从ISOBMFF解析器发送的HFR视频进行解码，并且可以使用HFR显示器来显示HFR视频内容。不能够执行HFR解码和显示的接收装置可以确定对应的HFR视频数据是否具有标准帧速率(SFR)能力。当数据具有SFR兼容性时，接收装置可以使用从元数据解析器接收到的HFR元数据来执行帧速率转换。接收装置可以使用视频解码器D43040用SFR对帧速率转换的视频数据进行解码，并且可以显示转换后的原始帧速率视频数据。
如此，根据本发明的帧速率信息可以被用于将HFR相关信息发送到接收装置，因此可以根据接收装置的性能对HFR视频数据进行自适应性解码和显示。
图44是示出根据本发明的实施方式的基于下拉恢复信息的接收装置的媒体引擎操作的图。接收装置的解析器(ISOBMFF解析器)D44010可以对基于ISOBMFF的媒体文件、DASH分段和/或MMT MPU等进行解析。根据解析结果，视频样本可以被发送到视频解码器D43030并且下拉恢复信息(下拉恢复元数据)可以被发送到元数据解析器D44020。ISOBMFF解析器可以是硬件解析器并且可以被称为解析处理器或解析电路。视频解码器可以对视频样本进行解码，以获取下拉视频数据。当存在在此过程期间获取的下拉恢复信息时，该信息可以被发送到元数据解析器。元数据解析器可以对接收到的下拉恢复元数据进行解析。接收装置可以使用所获取的下拉恢复元数据来执行原始帧速率恢复操作。元数据解析器可以用作缓冲器并且可以更新元数据。可以使用set_number、version_number等来执行更新。视频解码器和元数据解析器可以是硬件块并且可以分别被称为解码处理器和元数据解析处理器或者解码电路和元数据解析电路。
后续操作可以根据解码后的视频数据是否是下拉视频数据来改变。当指示以上获取的下拉恢复元数据是否是下拉视频数据的pulldownflag信息被设置成1时，也就是说，当解码后的视频数据是下拉视频数据时，接收装置可以恢复原始帧速率。接收装置可以基于包括在下拉恢复元数据中的下拉类型信息将下拉视频数据恢复成原始帧速率数据。接收装置可以将恢复的视频显示为原始帧速率的视频内容。当指示以上获取的下拉恢复元数据是否是下拉视频数据的pulldownflag信息被设置成0时，也就是说，当解码后的视频数据不是下拉视频数据时，接收装置可以没有改变地显示解码后的视频数据。如上所述，根据本发明的实施方式的下拉恢复元数据可以被用于将关于下拉视频数据的信息发送到接收装置，因此，接收装置可以将下拉视频数据恢复到原始帧速率并且显示数据。
图45是示出根据本发明的实施方式的接收广播信号的方法的图。根据本发明的实施方式的广播信号发送方法可以包括生成媒体文件(DS45010)，将媒体文件处理成分段(DS45020)，并且发送分段(DS45030)。
在生成媒体文件时，视频组件可以被生成为以上提到的ISOBMFF媒体文件。在此操作中，以上提到的帧速率信息可以被包括在ISOBMFF媒体文件中并且用信号通知。如以上参照图29至图42所描述的，帧速率信息可以被包括在媒体文件中的特定盒中并进行发送，并且可以被包括在SEI盒中并进行发送。在将媒体文件处理成分段时，以上提到的ISOBMFF媒体文件可以被分段以生成多个分段。在发送分段时，所生成的分段可以经由广播或宽带被发送到接收端。这里，帧速率信息可以经由盒在被划分成分段的ISOBMFF中用信号通知。
图46是示出根据本发明的实施方式的广播信号发送装置的图。根据本发明的实施方式的广播信号发送装置可以包括媒体文件生成器D46010、分段处理器D46020、信令生成器D46030和/或发送机D46040。
媒体文件生成器可以将视频内容组件生成为以上提到的ISOBMFF媒体文件。媒体文件生成器可以将以上提到的帧速率信息包括在ISOBMFF媒体文件中。如以上参照图29至图42所描述的，帧速率信息可以被包括在媒体文件中的特定盒中或SEI盒中。
用于将媒体文件处理成分段的分段处理器可以对以上提到的ISOBMFF媒体文件进行分段，以生成多个分段。发送机可以经由广播或宽带将所生成的分段和MPD发送到接收端。这里，帧速率信息可以通过盒在被划分成分段的ISOBMFF中用信号通知。
模块或者单元可以是执行被存储在存储器(或者存储单元)中的连续过程的处理器。在前面提到的实施方式中描述的步骤可以由硬件/处理器执行。在以上所述的实施方式中描述的模块/块/单元可以作为硬件/处理器操作。由本发明提出的方法可以作为代码被执行。这样的代码能够被写在处理器可读的存储介质上，并且因此能够由设备所提供的处理器读取。
虽然为了方便起见，已经参照各个附图描述了实施方式，但是这些实施方式可以被组合以实现新的实施方式。此外，设计存储用于实现上述实施方式的程序的计算机可读的记录介质在本发明的范围之内。
根据本发明的设备和方法不局限于以上描述的实施方式的配置和方法，并且实施方式中的全部或者一些可以被选择性地组合以获得各种修改。
由本发明提出的方法可以被作为存储在包括在网络设备中的处理器可读记录介质中的处理器可读代码实现。处理器可读记录介质包括存储由处理器可读的数据的各种记录介质。处理器可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光数据存储设备等和作为载波(诸如通过互联网的传输)实现。此外，处理器可读记录介质可以以分布方式被分布到经由网络连接的计算机系统，作为可读的代码被存储和执行。
用于执行本发明的模式
已经以用于执行本发明的最佳模式描述了各种实施方式。
工业实用性
本发明适用于广播信号提供领域。
如相关领域技术人员将认识和理解的，能够在本发明的精神和范围内做出各种等效的修改。因此，本发明旨在覆盖本发明的落入所附的权利要求及其等同物的范围内的修改和变型。

Claims (15)

1.一种用于发送广播信号的方法，该方法包括以下步骤：
改变视频数据的帧速率并且对所述视频数据进行编码；
对用于帧速率改变的视频数据的信令信息进行编码；
生成包括编码后的视频数据和编码后的信令信息的广播信号；以及
发送所生成的广播信号。
2.根据权利要求1所述的方法，其中，改变所述视频数据的帧速率的步骤包括以下步骤：对所述视频数据中包括的帧进行重复或插值。
3.根据权利要求2所述的方法，其中，所述信令信息包括指示帧速率改变的所述视频数据中包括的复制帧是被重复还是插值的信息。
4.根据权利要求2所述的方法，其中，所述信令信息包括指示帧速率改变的所述视频数据中包括的帧当中的与帧速率改变之前的所述视频数据中包括的帧匹配的帧的信息。
5.根据权利要求2所述的方法，其中，所述信令信息包括帧速率信息，所述帧速率信息包括关于所述帧速率改变之前的原始帧速率的信息，并且所述信令信息被作为所述视频数据的单独信令数据进行发送。
6.根据权利要求1所述的方法，其中，所述视频数据被编码为ISOBMFF，所述信令信息被包括在编码为所述ISOBMFF的视频数据中并且与该视频数据一起发送，并且所述信令信息还包括关于所述帧速率的转换的信息和所述帧速率的兼容性的信息。
7.根据权利要求1所述的方法，其中，所述信令信息被包括在编码后的所述视频数据的SEI消息中并且与编码后的所述视频数据一起发送。
8.一种用于接收广播信号的方法，该方法包括以下步骤：
接收广播信号，该广播信号包括与原始视频数据相比帧速率改变的视频数据和用于帧速率改变的所述视频数据的信令信息；
从所接收到的广播信号中提取所述信令信息和帧速率改变的所述视频数据；以及
使用所提取的所述信令信息对帧速率改变的所述视频数据进行解码。
9.根据权利要求8所述的方法，其中，对所提取的帧速率改变的视频数据进行解码的步骤包括以下步骤：选择所述视频数据中包括的帧当中的与所述原始视频数据中包括的帧匹配的帧。
10.根据权利要求9所述的方法，其中，所述信令信息包括指示是否通过重复或插值来生成帧速率改变的所述视频数据中包括的复制帧的信息。
11.根据权利要求9所述的方法，其中，所述信令信息包括指示帧速率改变的所述视频数据中包括的帧当中的与所述原始视频数据中包括的帧匹配的帧的信息。
12.根据权利要求9所述的方法，其中，所述信令信息包括帧速率信息，所述帧速率信息被包括在编码后的所述视频数据中并且被接收，并且所述方法还包括以下步骤：将帧速率改变的所述视频数据转换成所述原始视频数据的帧速率。
13.根据权利要求8所述的方法，其中，所述信令信息包括帧速率信息，所述帧速率信息包括关于所述帧速率改变之前的原始帧速率的信息，并且所述信令信息被作为所述视频数据的单独信令数据进行接收。
14.一种广播信号发送装置，该广播信号发送装置包括：
视频编码器，该视频编码器被配置成改变视频数据的帧速率并且对所述视频数据进行编码；
信令编码器，该信令编码器被配置成对用于帧速率改变的视频数据的信令信息进行编码；以及
发送机，该发送机被配置成发送包括编码后的视频数据和编码后的信令信息的广播信号。
15.一种广播信号接收装置，该广播信号接收装置包括：
接收机，该接收机被配置成接收广播信号，该广播信号包括与原始视频数据相比帧速率改变的视频数据和用于帧速率改变的所述视频数据的信令信息；
提取器，该提取器被配置成从所接收到的广播信号中提取所述信令信息和帧速率改变的所述视频数据；以及
解码器，该解码器被配置成使用所提取的所述信令信息对帧速率改变的所述视频数据进行解码。
CN201680035049.8A 2015-06-16 2016-06-14 广播信号发送装置、广播信号接收装置、广播信号发送方法和广播信号接收方法 Pending CN107810631A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562180056P 2015-06-16 2015-06-16
US62/180,056 2015-06-16
US201562186382P 2015-06-30 2015-06-30
US62/186,382 2015-06-30
PCT/KR2016/006309 WO2016204490A1 (ko) 2015-06-16 2016-06-14 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법

Publications (1)

Publication Number Publication Date
CN107810631A true CN107810631A (zh) 2018-03-16

Family

ID=57545775

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680035049.8A Pending CN107810631A (zh) 2015-06-16 2016-06-14 广播信号发送装置、广播信号接收装置、广播信号发送方法和广播信号接收方法

Country Status (4)

Country Link
US (1) US10362342B2 (zh)
EP (1) EP3313065A4 (zh)
CN (1) CN107810631A (zh)
WO (1) WO2016204490A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180232287A1 (en) * 2015-10-09 2018-08-16 Sony Corporation Information processing apparatus and information processing method
WO2020007922A1 (en) * 2018-07-05 2020-01-09 Dolby International Ab Processing media data structures
CN113542809B (zh) * 2020-04-15 2023-08-04 联咏科技股份有限公司 帧插补方法及其视频处理器
KR20230020424A (ko) 2020-06-09 2023-02-10 바이트댄스 아이엔씨 비디오 코딩에서 보충 향상 정보 메시지에 대한 제약들

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090161009A1 (en) * 2007-12-20 2009-06-25 Ati Technologies Ulc Method, apparatus and machine-readable medium for handling interpolated video content
US20100098152A1 (en) * 2008-09-15 2010-04-22 Glenn William E Method and system for conversion of digital video
US20120148214A1 (en) * 2003-12-09 2012-06-14 David Robert Black Insertion and usage of metadata in digital video
CN103369314A (zh) * 2012-04-01 2013-10-23 中兴通讯股份有限公司 帧场信息的编码方法及解码方法、编码器和解码器

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2377737C2 (ru) * 2004-07-20 2009-12-27 Квэлкомм Инкорпорейтед Способ и устройство для преобразования с повышением частоты кадров с помощью кодера (ea-fruc) для сжатия видеоизображения
US8731065B2 (en) * 2008-01-24 2014-05-20 Nec Corporation Dynamic image stream processing method and device, and dynamic image reproduction device and dynamic image distribution device using the same
KR20080111439A (ko) * 2008-08-05 2008-12-23 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘 피 스틸 이미지 변환 방법 및 시스템
US8964013B2 (en) * 2009-12-31 2015-02-24 Broadcom Corporation Display with elastic light manipulator
TWI486055B (zh) * 2011-06-29 2015-05-21 Nueteq Technology Inc 影像訊號傳送裝置、接收裝置、傳輸系統及其方法
JP5971072B2 (ja) * 2012-10-12 2016-08-17 富士通株式会社 フレーム転送装置及びフレーム転送方法
KR102120155B1 (ko) * 2013-10-04 2020-06-08 한국전자통신연구원 모바일 융합형 3dtv 방송 송수신 장치 및 방법
KR20150057149A (ko) * 2013-11-18 2015-05-28 한국전자통신연구원 재전송망에 기초한 3ｄ 방송 서비스 제공 시스템 및 방법
EP3105938B1 (en) * 2014-02-10 2020-12-16 Dolby International AB Embedding encoded audio into transport stream for perfect splicing
US9973707B2 (en) * 2015-07-28 2018-05-15 Mediatek Inc. Image processing method and apparatus and system for dynamically adjusting frame rate
US10142707B2 (en) * 2016-02-25 2018-11-27 Cyberlink Corp. Systems and methods for video streaming based on conversion of a target key frame

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120148214A1 (en) * 2003-12-09 2012-06-14 David Robert Black Insertion and usage of metadata in digital video
US20090161009A1 (en) * 2007-12-20 2009-06-25 Ati Technologies Ulc Method, apparatus and machine-readable medium for handling interpolated video content
US20100098152A1 (en) * 2008-09-15 2010-04-22 Glenn William E Method and system for conversion of digital video
CN103369314A (zh) * 2012-04-01 2013-10-23 中兴通讯股份有限公司 帧场信息的编码方法及解码方法、编码器和解码器

Also Published As

Publication number Publication date
US20180139475A1 (en) 2018-05-17
US10362342B2 (en) 2019-07-23
EP3313065A1 (en) 2018-04-25
WO2016204490A1 (ko) 2016-12-22
EP3313065A4 (en) 2018-11-14

Similar Documents

Publication Publication Date Title
KR102603459B1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
US11178436B2 (en) Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
CN106233692B (zh) 广播信号发送装置、广播信号接收装置、广播信号发送方法和广播信号接收方法
JP6449897B2 (ja) 放送信号生成処理方法及び放送信号受信機
US11336934B2 (en) Broadcast signal transmitting/receiving apparatus and method
JP2018532294A (ja) 放送信号送信装置、放送信号受信装置、放送信号送信方法、及び放送信号受信方法
US10171849B1 (en) Broadcast signal transmission device, broadcast signal reception device, broadcast signal transmission method, and broadcast signal reception method
CN105934953B (zh) 广播信号发送设备、广播信号接收设备、广播信号发送方法和广播信号接收方法
US10349095B2 (en) Transmission device for processing video data related to HDR/SDR and method for controlling the same
CN105900359A (zh) 广播信号发送设备、广播信号接收设备、广播信号发送方法和广播信号接收方法
CN107810631A (zh) 广播信号发送装置、广播信号接收装置、广播信号发送方法和广播信号接收方法
CN106134158A (zh) 广播信号传输设备、广播信号接收设备、广播信号传输方法和广播信号接收方法
US10666549B2 (en) Broadcast signal transmission apparatus, broadcast signal reception apparatus, broadcast signal transmission method and broadcast signal reception method
KR102023018B1 (ko) 방송 신호 송신 장치, 방송 신호 수신 장치, 방송 신호 송신 방법, 및 방송 신호 수신 방법
CN107637083A (zh) 广播信号发送设备、广播信号接收设备、广播信号发送方法和广播信号接收方法
CN107852409A (zh) 广播信号发送装置、广播信号接收装置、广播信号发送方法以及广播信号接收方法
CN106416284B (zh) 广播信号发送设备和广播信号发送方法
CN106416284A (zh) 广播信号发送设备、广播信号接收设备、广播信号发送方法和广播信号接收方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180316