CN101068367B - 用于改变编解码器的方法和装置 - Google Patents

用于改变编解码器的方法和装置 Download PDF

Info

Publication number
CN101068367B
CN101068367B CN2007101097288A CN200710109728A CN101068367B CN 101068367 B CN101068367 B CN 101068367B CN 2007101097288 A CN2007101097288 A CN 2007101097288A CN 200710109728 A CN200710109728 A CN 200710109728A CN 101068367 B CN101068367 B CN 101068367B
Authority
CN
China
Prior art keywords
codec
program element
changes
video
program
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2007101097288A
Other languages
English (en)
Other versions
CN101068367A (zh
Inventor
郑春植
咸喆熙
崔允镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101068367A publication Critical patent/CN101068367A/zh
Application granted granted Critical
Publication of CN101068367B publication Critical patent/CN101068367B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8193—Monomedia components thereof involving executable data, e.g. software dedicated tools, e.g. video decoder software or IPMP tool

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

本发明提供一种改变编解码器以再现视频和/或音频数据流的方法和装置。该方法和装置通过利用包含在数据分组中的与编解码器变化有关的信息，预先确定在存储在缓冲器中的视频和/或音频数据流中编解码器发生改变的节目元素的开始位置，并在编解码器发生改变的节目元素被开始解码时，改变用来解码的编解码器，从而能够在编解码器发生改变时，无缝地再现以两个或者更多不同编解码器编码的视频和/或音频数据流。

Description

用于改变编解码器的方法和装置
相关专利申请的交叉引用
本申请要求2006年1月10日向韩国专利局提交的韩国专利申请No.10-2006-0002715的优先权，并通过引用将其全部公开内容结合于此。
技术领域
根据本发明的方法和装置涉及改变编解码器以再现视频和/或音频数据流，并更具体地说，涉及改变编解码器以无缝地再现在使用不同编解码器的信道内编码的视频和/或音频数据流。
背景技术
通过例如地面波、卫星波、电缆等各种介质的数字广播已变得越发普及。数字广播可分类为基于高级电视系统委员会(ATSC)标准的地面广播、基于数字视频广播(DVB)的卫星广播、以及基于OpenCable的有线广播。在提供数字广播的发送部分，通过根据MPEG-2规范对关于视频、音频以及附加服务的信息进行压缩和复用(multiplex)，将关于视频、音频以及附加服务的信息作为传输流分组来传送；以及在接收部分，通过解析传送的传输流来提取关于附加服务等的信息，并且解码提取的信息。
目前，在数字广播的每一个信道中，利用单个编解码器对用于传送的视频和音频进行解码。然而，根据信道内的广播节目的特性，应用不同编解码器的要求正在增加。例如，在传送包括相对较大量的数据的高质量电影的情况下，可以通过利用H.264/MPEG-4高级视频编码(AVC)来克服信道带宽的限制，与传统的MPEG-2编解码器相比，这提供了更高的压缩比率。
然而，由于假设信道内的广播节目通常是以单个编解码器编码的，所以当为了传送以不同的编解码器对信道内的广播节目进行编码时，信道缓冲器的清空和初始化如同在多个信道中改变一样被执行，因此在编解码器出现变化时，视频或音频的再现可能是不连续的。
另外，当再现存储在诸如DVD或CD-ROM的存储介质中的、以不同编解码器编码的视频和/或音频数据时，在编解码器发生改变时出现在再现的图像中的不连续性(discontinuance)。
发明内容
本发明提供一种用于在编解码器变化时改变无缝地再现信道内以不同的编解码器编码的视频和/或音频数据流的编解码器的方法和装置。
另外，本发明还提供一种方法和装置，其能够在编解码器变化时无缝地再现视频和/或音频数据流，而不用缓冲器初始化、下溢(underflow)或溢出(overflow)。
根据本发明的一个方面，提供一种改变编解码器的方法，用于再现信道内以至少两个不同的编解码器编码的视频和/或音频数据流，该方法包括：通过解复用(demultiplex)包括视频和音频节目元素以及节目信息的传输流，提取视频和音频节目元素以及节目信息；分别将解复用的视频和音频节目元素以及节目信息存储到预定的缓冲器中；利用节目信息确定编解码器是否发生改变以及在编码器发生改变的节目元素的开始位置；利用编解码器发生改变的节目元素的开始位置，提取编解码器发生改变的节目元素的地址；以及利用缓冲器中的提取的地址，选择已经用于编码存储在缓冲器中的视频和音频节目元素的编解码器。
根据本发明的另一个方面，提供一种改变编解码器的装置，用于再现信道内以至少两个不同的编解码器编码的视频和/或音频数据流，该装置包括：流解复用单元，其通过解复用包括视频和音频节目元素以及节目信息的传输流，输出视频和音频节目元素以及节目信息；缓冲器单元，其存储解复用的视频和音频节目元素以及节目信息；控制单元，其利用存储于缓冲器单元的节目信息确定编解码器是否发生改变以及编解码器发生改变的节目元素的开始位置，并选择要用于解码(encode)视频和音频节目元素的编解码器；以及解码单元，其利用由控制单元选择的编解码器解码存储在缓冲器内的视频和音频节目元素。
附图说明
通过结合附图对本发明的示范性实施例进行详细的描述，本发明的上述和其它特征和优点将变得更加清楚，其中：
图1是根据本发明一个示范性实施例的用于改变编解码器以再现信道内以不同编解码器编码的视频和/或音频数据流的装置的方框图；
图2是说明根据本发明一个示范性实施例的传输流的数据结构的示意图；
图3是示出了根据本发明一个示范性实施例的节目映射表(program maptable，PMT)分组的结构的示意图；
图4是示出了根据本发明一个示范性实施例的分组化基本流(packetizedelementary stream，PES)分组的结构的示意图；
图5是说明在编码的视频帧的输入顺序与由图1的装置再现的视频帧的显示顺序之间的关系的示意图；
图6是说明根据本发明一个示范性实施例的在编解码器发生改变的时候基本视频流缓冲器的状态的示意图；
图7是根据本发明一个示范性实施例的改变用于再现视频和音频数据流的编解码器的方法的流程图；
图8和图9是包括图7所示方法中的确定传输流分组的开始点的处理的详细的流程图。
具体实施方式
现在将结合示出了本发明示范性实施例的附图，对本发明进行更充分的描述。但是，本发明可以具体实施成许多不同的形式，而不应该被解释为限于在此详细描述的示范性实施例；相反，提供这些示范性实施例以便使本公开彻底和完全，并将使本发明的原理充分地传达给本领域的技术人员。附图中相同的参考标记表示相同的元素。
在根据本发明示范性实施例的用于改变编解码器以再现视频和/或音频数据流的装置和方法中，使用包含在预定分组中的与编解码器变化相关的信息预先确定在存储在缓冲器中的视频和/或音频数据流中编解码器发生改变的节目元素的位置，并且当解码在编解码器发生改变的节目元素时，立刻改变编解码器，以便在编解码器发生改变时，无缝地再现视频和/或音频数据流。
数据流可以通过从广播站传送的数字广播节目、通过预定网络发送的网络发送节目、或者存储在诸如蓝光盘或者数字多功能盘(digital versatile disc，DVD)的预定存储介质中的节目输出。以下为了便于说明，将详细考虑在作为以至少两个不同编解码器编码的视频和/或音频数据流的虚拟信道中从广播站传送的数字广播节目的情况。
图1是装置100的框图，该装置100用于改变编解码器以再现信道内以不同编解码器编码的视频和/或音频数据流。
参见图1，装置100包括流解复用单元110、缓冲器单元120、控制单元130、解码单元140、视频帧缓冲器150、音频帧缓冲器160、显示单元170以及音频再现单元180。
流解复用单元110接收包含视频和音频节目元素以及节目信息的传输流，对接收的传输流进行解复用，并输出视频和音频节目元素以及节目信息。现在，将描述由流解复用单元110解复用的传输流。
在其中多个节目被时分复用的(time-division multiplexed)数字广播节目被作为传输流来传送。参见说明传输流的数据结构的图2，该传输流包含被称为传输流(transport stream，TS)分组的连续重复的分组，该分组具有188字节的固定长度。指示定义节目的位序列(bit sequence)的类型的节目信息、用于同步位系列(series of bits)和媒体的节目时钟基准(program clockreference，PCR)、以及编码的视频数据21和音频数据22在传输流分组中被一起传送。在此，假设将要再现的视频和/或音频数据流已被以不同编解码器编码。例如，可以使用诸如MPEG-1、MPEG-2、MPEG-3、MPEG-4、VC-1或者H-264的编解码器对视频数据进行编码，以及可以使用诸如AC-3、PCM或者DTS的编解码器对音频数据进行编码。编码的视频数据21和编码的音频数据22被复用成分组化基本流(PES)分组23，并且节目信息被复用成段(section)24和25，并且PES分组23和段24和25被复用成传输流分组。
再次参见图1，将在流解复用单元110中解复用的视频、音频节目元素以及节目信息分别存储在基本视频流缓冲器121、基本音频流缓冲器122和节目说明信息(program specific information，PSI)缓冲器中。
控制单元130通过分析存储在PSI缓冲器123中的节目信息，确定接收的传输流中编解码器发生改变的节目元素的开始位置，并控制解码单元140选择用于对视频和音频节目元素进行解码的编解码器。
当所接收的传输流中包括编解码器发生改变的节目元素时，应当认识到在编解码器发生改变的节目元素被解码以无缝地再现视频和音频流之前发生了编解码器的改变。为了检查是否发生了编解码器的改变，控制单元130利用PSI和/或包括节目信息的传输流分组的节目和系统信息协议(PSIP)数据来确定包括编解码器发生改变的节目元素的传输流分组在所接收传输流中的位置。众所周知，PSI是定义在MPEG中的信息，其是ISO/IEC13818-1，并包括与节目说明(program specification)有关的信息。PSI是在具有节目标识符(PID)＝0的分组中传送的特殊信息，其包括四个表，包括：节目关联表(PAT)，其包括描述每个节目的节目元素的节目映射表(PMT)的PID值的；PMT，其包括节目的识别号和传输流分组的PID列表，通过该传输流分组来运送诸如组成节目的视频和音频以及附加信息的位序列；条件访问表(CAT)，需要其来只允许授权用户解码并再现通过在位序列的再现上设置限制(restriction)而被加扰(scramble)的位序列；以及网络信息表(NIT)，其包括与接收区域的物理网络相关的信息。控制单元130利用包含在PMT中的与编解码器的改变相关的信息或者包含在虚拟信道表(VCT)中的与编解码器的改变相关的信息，确定包含编解码器发生改变的节目元素的传输流分组的位置，其中所述虚拟信道表(VCT)在根据PSIP的表中包括与虚拟信道有关的信息。此外，控制单元130利用PES分组的流标识符stream_id和子流(substream)标识符sub_stream_id的组合，来确定用于编码所接收的节目元素的编解码器，并从与所确定的编解码器相关的信息中可以确定编解码器发生改变的节目元素的开始位置。
图3是示出了根据本发明一个示范性实施例的PMT分组30的结构的示意图。参见图3，与用于编码节目元素的编解码器相关的信息被存储在PMT分组30的流类型字段中。另外，指示在PMT分组的空间位置和编解码器发生改变的传输流分组的空间位置之间差别的code_transition_descriptor被插入到PMT分组30的N环(N loop)描述符字段中。
控制单元130从流类型和版本号字段可以确定是否存在用于编码所接收的分组的编解码器的改变，其中每次改变PMT分组30的段信息时，版本号加1。供参考，在下表1中示出了定义在ISO/IEC13818-1中的流类型。
            [表1]
  值   描述
  0×00 ITU-T|ISO/IEC保留
  0×01 ISO/IEC 11172-2视频
    0×02 ITU-T Rec.H.262|ISO/IEC 13818-2视频或ISO/IEC 11172-2受约束的参数视频流
    0×03 ISO/IEC 11172-3音频
    0×04 ISO/IEC 13818-3音频
    0×05 ITU-T Rec.H.222.0|ISO/IEC 13818-1 private_sections
    0×06 ITU-T Rec.H.222.0|ISO/IEC 13818-1 PES包含专用数据的分组
    0×07 ISO/IEC 13522 MHEG
    0×02 ITU-T Rec.H.262|ISO/IEC 13818-2视频或ISO/IEC 11172-2受约束的参数视频流
    0×08 ITU-T Rec.H.222.0|ISO/IEC 13818-1 Annex A DSM-CC
    0×09 ITU-T Rec.H.222.1
    0×0A ISO/IEC 13818-6 类型A
    0×0B ISO/IEC 13818-6 类型B
    0×0C ISO/IEC 13818-6 类型C
    0×0D ISO/IEC 13818-6 类型D
    0×0E ITU-T Rec.H.222.0|ISO/IEC 13818-1辅助
    0×0F ISO/IEC 13818-7音频，具有ADTS传输语法
    0×10 ISO/IEC 14496-2视觉的
    0×11 ISO/IEC 14496-3音频，具有定义在ISO/IEC 14496-3/AMD-1中的LATM传输语法
    0×12 ISO/IEC 14496-1 SL-分组化流或者FlexMux流，在PES分组中运送
    0×13 ISO/IEC 14496-1 SL-分组化流或者FlexMux流，在ISO/IEC14496_sections中运送
    0×14 ISO/IEC 13818-6同步下载协议
    0×15 在PES分组中的运送的元数据
    0×16 在metadata_sections中运送的元数据
    0×17 在ISO/IEC 13818-6数据传送带中运送的元数据
    0×18 在ISO/IEC 13818-6对象传送带中运送的元数据
    0×19 在ISO/IEC 13818-6同步下载协议中运送的元数据
    0×02 ITU-T Rec.H.262|ISO/IEC 13818-2视频或ISO/IEC 11172-2受约束的参数视频流
    0×1A IPMP流(定义在ISO/IEC 13818-11.MPEG-2 IPMP)
0×1B AVC视频流，如定义在ITU-T Rec.H.264|ISO/IEC 14496-10视频中
0×1C-0×7E ITU-T Rec.H.222.0|ISO/IEC 13818-1保留
0×7F IPMP流
0×80-0xFF 用户专用
控制单元130从流类型字段和版本号字段中确定所接收的传输流的编解码器是否改变，并且当编解码器发生改变时，分析codec_transition_descriptor以获得关于编解码器发生改变的传输流分组的相对位置信息。
所述codec_transition_descriptor包括指示以与包括节目信息的PMT分组不同的编解码器编码的传输流分组的相对位置的num_ts_cnt_next_codec信息。例如，参见图2，当在包括节目信息的PMT分组26之后所接收的包括以不同的编解码器编码的视频或音频数据的传输流分组位于PMT分组26之后的n个分组时，那么num_ts_cnt_next_codec的值为n。因此，控制单元130可以从codec_transition_descriptor的num_ts_cnt_next_codec的值确定在当前PMT分组之后的哪个传输流分组处发生了编解码器的变化。所述codec_transition_descriptor的descriptor_tag被用来识别节目元素的各种描述符，而descriptor_length指示描述符的长度。
图4是示出了根据本发明一个示范性实施例的PES分组的结构的示意图。
代替利用codec_transition_descriptor分离地描述编解码器发生改变的分组的位置信息，控制单元130可以利用包含在PES的标题(header)中的流标识符stream_id与包含在PES分组数据中的子流标识符sub_stream_id的组合来确定用于编码包含在所接收的传输流分组中的视频或音频节目元素的编解码器。另外，控制单元130可以从关于所确定的编解码器的信息中确定编解码器发生改变的节目元素的开始位置。
表2示出了根据包含在PES标题中的流标识符stream_id和包含在PES分组数据中的子流标识符sub_stream_id的组合的编解码器类型的例子。
                 [表2]
  流标识符   子流标识符   编解码器类型
  (stream_id)   (sub_stream_id)
  11100 000b   MPEG-2视频流
  11100 010b   MPEG-4AVC视频流
  1111 1101b   VC-1视频流
  110x xxxb   MPEG音频流
  1011 1101b   1000 0xxxb   AC-3音频流
  1011 1101b   1000 1xxxb   DTS音频流
  ....   ....   ....
控制单元130可以利用流标识符stream_id与子流标识符sub_stream_id的组合来确定当前处理中用来编码分组的编解码器，并通过监控用来编码输入分组的编解码器的改变来确定包含利用不同编解码器的节目元素的传输流分组的开始位置。
在如上所述控制单元130分析包含在传输流中的节目信息之后，将节目元素的PID以及编解码器发生改变的节目元素的开始位置信息传送到解复用单元110，并请求存储编解码器发生改变的节目元素的缓冲器的特定地址。
当流解复用单元110从控制单元130接收对于地址信息的请求时，流解复用单元110比较包括对应于编解码器的流标识符的节目元素的传输流的PES分组的流标识字段来确定编解码器发生改变的位置，并传送其中存储有编解码器发生改变的节目元素的视频和基本音频缓冲器121和122中的地址。
控制单元130利用经由流解复用单元110从视频和基本音频流缓冲器121和122中获得的、编解码器发生改变的地址，选择和控制包含在解码单元140中的视频和音频解码器单元141和142的解码器，以便使用先前的编解码器来解码具有在解码器发生改变的地址之前的地址的节目元素，并使用新的编解码器来解码具有和解码器发生改变的地址相同的地址或在该地址之后的地址的节目元素。视频解码单元141包括多个视频解码器141a至141c，用于对以不同编解码器编码并由基本视频流缓冲器121输出的视频数据进行解码。音频解码单元142包括多个音频解码器142a和142b，用于对以不同编解码器编码(decoded)并由基本音频流缓冲器122输出的音频数据进行解码。视频解码器141a至141c以及音频解码器142a和142b的数量不限于图1所示的那些，并且可以根据用于编码的编解码器的数量而变化。
在视频和音频解码单元141和142中解码的视频和音频数据被分别存储在视频和音频帧缓冲器150和160中，并分别输出到显示单元170和音频再现单元180。显示单元170可以通过屏上图形(OSG)显示与当前使用的编解码器相关的信息。
根据本发明一个示范性实施例，为了无缝地再现以不同编解码器编码的视频和/或音频数据流，缓冲器单元120的视频和音频流缓冲器121和122的大小需要被设置成不同编解码器所需要的各种缓冲器的大小中的最大尺寸。这是为了防止缓冲器121和122中的溢出，溢出可能在编解码器发生改变时、由于编解码器的比特率等不同而发生。
图5是说明根据本发明一个示范性实施例的在编码的视频帧的输入顺序与由用于改变编解码器以再现视频和音频数据流的装置再现的视频帧的显示顺序之间的关系。图6是说明根据本发明一个示范性实施例的在编解码器改变时基本视频流缓冲器的状态的示意图。
参见图5，视频数据流包括内帧(intra frame)(I帧)、前向预测帧(P帧)和双向预测帧(B帧)。由于I帧不参考其它帧来预测，因此I帧可以仅利用包含在该帧中的数据来重建原始图像。P帧参考先前的I帧或P帧来预测。由于B帧参考先前的以及随后的I帧和/或P帧来预测，因此不利用先前的或随后的I帧或P帧便不能重建B帧。当根据再现的视频帧的类型再现视频数据流时，需要将参考帧存储在视频流缓冲器中。在图6中示出了基本视频流缓冲器121在解码处理期间的状态。参见图6，如果基本视频流缓冲器121被设置成具有与MPEG-2编解码器所需的限制相等的存储上限，那么当编解码器从MPEG-2编解码器改变成H.264编解码器时，就可能发生溢出。因此，基本视频流缓冲器121具有由所有可以使用的编解码器所需要的最大存储容量。
类似地，音频流缓冲器122具有由所有可以使用的编解码器所需要的最大存储容量，以便在再现音频数据流时，防止在编解码器发生改变时出现溢出。
对于数字广播节目，当在虚拟信道内用于节目元素的不同编解码器的所需要的输入缓冲器容量未知时，基本视频和音频流缓冲器121和122的大小可以被调整(adjustable)成记录在接收到的节目元素的特定区域中的缓冲器大小。
图7是根据本发明一个示范性实施例的改变用于再现视频和音频数据流的编解码器的方法的流程图。
参见图7，在操作710中，流解复用单元110接收包含视频和音频节目元素以及节目信息的传输流，并对解复用接收的传输流以输出视频和音频节目元素以及节目信息。如上所述，视频和音频数据流可以通过数字广播节目、网络传输节目或者存储在特定存储介质的节目来输出。在操作720中，流解复用单元110将解复用的视频和音频节目以及节目信息存储在缓冲器单元120中。
在操作730中，控制单元130利用存储在缓冲器单元120中的节目信息，确定包含编解码器发生改变的节目元素的传输流分组的开始位置。
如上所述，为了确定包含编解码器发生改变的节目元素的传输流分组的开始位置，可以使用PMT、VCT或者包含在PES的标题中的流标识符和包含在PES的数据区域中的子流标识符的组合。
参见图8，其说明当使用PMT或者VCT时的操作730，在操作731中，控制单元130从接收的传输流中提取包含节目信息的PMT或者VCT，以确定包含编解码器发生改变的节目元素的传输流分组的开始位置。
接下来，在操作732中，控制单元利用PMT或者VCT的流类型字段和version_number字段中的信息来确定编解码器是否发生改变。
在操作733中，当在操作732中发现编解码器的改变时，控制单元130利用包含在PMT或者VCT的特定区域中的codec_transition_descriptor来确定编解码器发生改变的传输流分组相对于当前分组的位置。另外，控制单元130向流解复用单元110请求存储使用不同编解码器的节目元素的缓冲器单元120的地址。
在另一个示范性实施例中，参见图9，图9说明操作730，在操作735中，控制单元130从包含在PES的标题中的流标识符stream_id和包含在PES的数据区域中的子流标识符sub_stream_id的组合，确定在接收的节目元素中使用的编解码器。
在操作736中，控制单元130确定在接收的传输流中编解码器发生改变的节目元素的开始位置，并从流解复用单元110请求存储节目元素的缓冲器单元120的地址。
再次参见图7，在操作740中，响应于来自控制单元130的地址请求，流解复用单元110将存储节目元素的缓冲器单元120的地址提供给控制单元130。
在操作750中，控制单元130利用地址信息选择和控制视频和音频解码单元141和142的解码器，以便在编解码器发生改变之前，用先前的编解码器对节目元素进行解码，而在编解码器发生改变之后，用不同的编解码器对节目元素进行解码。
本发明可以用来无缝地再现以不同编解码器编码的视频和/或音频数据流，这些数据流包括在网络传输节目或存储在特定存储介质的节目以及数字广播节目中。
本发明还可以由计算机可读记录介质上的计算机可读代码来实现。计算机可读记录介质是任何可存储数据的数据存储设备，其中所存储的这些数据此后可被计算机系统读取。计算机可读记录介质的例子包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘以及光数据存储设备等。计算机可读记录介质还可以在连接计算机系统的网络上分布，从而可使计算机可读代码以分布的形式被存储和执行。此外，本发明所属领域中熟悉编程的技术人员可以容易地构造出用来实现本发明的函数式程序、代码以及代码段。
根据本发明的示范性实施例，可以在再现视频和/或音频数据流期间编解码器发生改变时，不对缓冲器进行初始化或者缓冲器不溢出的情况下，可以无缝地再现视频和/或音频数据流。
虽然，已经参考本发明的示范性实施例具体地示出和描述了本发明，但是本领域的技术人员应理解，在不脱离附加权利要求书所限定的本发明的精神和范围的情况下，可以对本发明做出形式上和细节上的各种改变。示范性实施例应被认为仅用于说明本发明，而不是用于限制本发明。因此，本发明的范围不是由本发明的详细描述来限定，而是由附加的权利要求书来限定，并且落入该范围中的所有变化均被认为包括在本发明之中。

Claims (23)

1.一种改变编解码器以再现信道内以至少两个不同编解码器编码的视频和音频数据流的方法，该方法包括：
通过对包括视频和音频节目元素以及节目信息的传输流进行解复用，提取所述视频和音频节目元素以及所述节目信息；
将所述提取的视频和音频节目元素以及所述提取的节目信息存储在缓冲器中；
利用所述节目信息确定编解码器是否发生改变以及编解码器发生改变的节目元素的开始位置；
利用所述编解码器发生改变的节目元素的开始位置，提取在缓冲器中编解码器发生改变的节目元素的地址；以及
利用所述在缓冲器中提取的地址，选择已经用于编码所述存储在缓冲器中的视频和音频节目元素的编解码器。
2.如权利要求1所述的方法，其中，利用节目说明信息、以及节目和系统信息协议数据中至少一个，所述节目信息包括了含有编解码器发生改变的节目元素的传输流分组的位置的信息。
3.如权利要求1所述的方法，其中所述确定编解码器是否发生改变以及编解码器发生改变的节目元素的开始位置包括：
从所接收的传输流提取节目映射表(PMT)；
利用所述节目映射表的流类型字段以及版本号字段，确定编解码器是否发生改变；
利用包含在所述节目映射表的区域中的编解码器转变描述符，确定包含编解码器发生改变的节目元素的传输流分组的位置。
4.如权利要求1所述的方法，其中所述确定编解码器是否发生改变以及编解码器发生改变的节目元素的开始位置包括：
从所接收的传输流提取虚拟信道表(VCT)；以及
利用包含在所述虚拟信道表的特定区域中的编解码器转变描述符，确定包含编解码器发生改变的节目元素的传输流分组的位置。
5.如权利要求3所述的方法，其中所述编解码器转变描述符包括指示所述传输流分组的相对位置的信息，所述传输流分组包括以对于当前接收的传输流分组不同的编解码器编码的节目元素。
6.如权利要求4所述的方法，其中所述编解码器转变描述符包括指示所述传输流分组的相对位置的信息，所述传输流分组包括以对于当前接收的传输流分组不同的编解码器编码的节目元素。
7.如权利要求1所述的方法，其中所述确定编解码器是否发生改变以及编解码器发生改变的节目元素的开始位置包括：
利用包含在分组化基本流(PES)的标题中的流标识符与包含在PES的数据区域中的子流标识符的组合，确定用于编码所接收的节目元素的编解码器；以及
从关于所述确定的编解码器的信息中确定编解码器发生改变的节目元素的开始位置。
8.如权利要求1所述的方法，其中所述选择要用于编码所述视频和音频节目元素的编解码器还包括选择先前的编解码器对具有在缓冲器中提取的位置之前的位置的视频和音频节目元素进行解码，以及选择不同的编解码器对具有在缓冲器中提取的位置之后的位置的视频和音频节目元素进行解码。
9.如权利要求1所述的方法，其中所述缓冲器具有可以使用的编解码器所需要的最大存储容量。
10.如权利要求1所述的方法，其中所述缓冲器的大小被转换成记录在接收的节目元素的区域中的缓冲器大小。
11.如权利要求1所述的方法，其中所述传输流通过数字广播节目、网络传输节目或者存储在存储介质中的节目来输出。
12.一种改变用于再现信道内以至少两个不同的编解码器编码的视频和/或音频数据流的编解码器的装置，该装置包括：
流解复用单元，其通过解复用包含视频和音频节目元素以及节目信息的传输流，输出视频和音频节目元素以及节目信息；
缓冲器单元，其存储由所述流解复用单元输出的视频和音频节目元素以及节目信息；
控制单元，其利用存储在所述缓冲器单元的节目信息确定编解码器是否发生改变以及编解码器发生改变的节目元素的开始位置，并且选择要用于解码视频和音频节目元素的编解码器；以及
解码单元，其利用由所述控制单元选择的编解码器对存储在所述缓冲器单元中的视频和音频节目元素进行解码。
13.如权利要求12所述的装置，其中所述控制单元将在所接收的传输流中编解码器发生改变的节目元素的开始位置传送给所述流解复用单元，并且所述流解复用单元利用所述开始位置将所述编解码器发生改变的节目元素的所述缓冲器单元中的地址传送给所述控制单元。
14.如权利要求12所述的装置，其中，利用节目说明信息、以及节目和系统信息协议数据中的至少一个，所述节目信息包括了含有编解码器发生改变的节目元素的传输流分组的位置信息。
15.如权利要求12所述的装置，其中所述控制单元从所接收的传输流中提取的节目映射表(PMT)的流类型以及版本号字段确定是否存在编解码器的改变，并利用包含在所述节目映射表(PMT)的区域中的编解码器转变描述符确定包含编解码器发生改变的节目元素的传输流分组的开始位置。
16.如权利要求12所述的装置，其中所述控制单元利用包含在从所接收的传输流提取的虚拟信道表的区域中的编解码器转变描述符，确定包含编解码器发生改变的节目元素的传输流分组的开始位置。
17.如权利要求14所述的装置，其中所述编解码器转变描述符包括关于含有编解码器发生改变的节目元素的传输流分组对于当前接收的传输流分组的相对位置的信息。
18.如权利要求15所述的装置，其中所述编解码器转变描述符包括关于含有编解码器发生改变的节目元素的传输流分组对于当前接收的传输流分组的相对位置的信息。
19.如权利要求12所述的装置，其中所述控制单元利用包含在分组化基本流(PES)的标题中的流标识符与包含在PES的数据区域中的子流标识符的组合，确定用于编码所接收的节目元素的编解码器，以及从关于所确定的编解码器的信息确定编解码器发生改变的节目元素的开始位置。
20.如权利要求12所述的装置，其中所述解码单元以先前的编解码器对位置在编解码器发生改变的节目元素的地址之前的视频和音频节目元素进行解码，并利用不同的编解码器对位置在编解码器发生改变的节目元素的地址之后的视频和音频节目元素进行解码。
21.如权利要求12所述的装置，其中所述缓冲器单元具有可以使用的编解码器所需要的最大存储容量。
22.如权利要求12所述的装置，其中所述缓冲器单元的大小被转换成记录在所接收的节目元素的区域中的缓冲器大小。
23.如权利要求12所述的装置，其中所述传输流通过数字广播节目、网络传输节目或者存储在存储媒体中的节目输出。
CN2007101097288A 2006-01-10 2007-01-10 用于改变编解码器的方法和装置 Expired - Fee Related CN101068367B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060002715A KR101215615B1 (ko) 2006-01-10 2006-01-10 동일 채널 내에서 서로 다른 코덱을 이용하여 부호화된 비디오 및 오디오 데이터 스트림의 재생을 위한 코덱 변경 방법 및 장치
KR2715/06 2006-01-10

Publications (2)

Publication Number Publication Date
CN101068367A CN101068367A (zh) 2007-11-07
CN101068367B true CN101068367B (zh) 2010-09-29

Family

ID=38234165

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007101097288A Expired - Fee Related CN101068367B (zh) 2006-01-10 2007-01-10 用于改变编解码器的方法和装置

Country Status (5)

Country Link
US (1) US20070162852A1 (zh)
EP (1) EP1827030A3 (zh)
JP (1) JP5133567B2 (zh)
KR (1) KR101215615B1 (zh)
CN (1) CN101068367B (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5087985B2 (ja) * 2007-04-27 2012-12-05 ソニー株式会社 データ処理装置、データ処理方法、及びプログラム
KR100960147B1 (ko) * 2007-11-23 2010-05-27 한국전자통신연구원 움직임 보상기의 움직임 보상 방법
KR100900293B1 (ko) * 2008-01-10 2009-05-29 엘지전자 주식회사 방송수신장치 및 이를 이용한 외부장치의 데이터 재생방법
KR101439381B1 (ko) * 2008-04-24 2014-11-04 (주)휴맥스 홀딩스 부호화/복호화 방법 및 장치
EP2120416A1 (en) 2008-05-16 2009-11-18 Deutsche Telekom AG Apparatus, method and system for improved quality of voice calls over a packet based network
KR100970145B1 (ko) * 2008-07-18 2010-07-14 (주)휴맥스 부호화/복호화 방법 및 장치
GB2483081A (en) * 2010-08-25 2012-02-29 Sony Corp America Tamper resistance in media processing using an obfuscated buffer handle
KR101641612B1 (ko) * 2010-11-30 2016-07-21 삼성전자주식회사 영상처리장치 및 그 영상처리방법
CA2837532C (en) 2011-06-23 2018-10-02 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
KR102062283B1 (ko) 2011-06-24 2020-01-03 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
CA2830046C (en) 2011-06-24 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN103563375B (zh) 2011-06-27 2017-04-05 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
CA2837535C (en) 2011-06-28 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
MX2013010892A (es) 2011-06-29 2013-12-06 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, aparato de decodificacion de imagenes, aparato de codificacion de imagenes y aparato de codificacion y decodificacion de imagenes.
AU2012277219A1 (en) 2011-06-30 2013-09-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
CN103583048B (zh) 2011-06-30 2017-05-17 太阳专利托管公司 图像解码方法、图像编码方法、图像解码装置、图像编码装置及图像编码解码装置
KR20140034209A (ko) 2011-07-11 2014-03-19 파나소닉 주식회사 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
US8938422B1 (en) * 2011-09-02 2015-01-20 Google Inc. Delay retrieval of synchronization information
KR101347827B1 (ko) 2013-07-22 2014-01-10 주식회사 알엠 Ｍｐｅｇ-ｔｓ 신호 처리부의 능동형 오디오 코덱 변경 방법 및 장치
GB2536887B (en) * 2015-03-27 2021-05-05 Sony Europe Bv Video content replay
JP6475559B2 (ja) * 2015-04-28 2019-02-27 日本放送協会 符号化装置、復号装置及びこれらのプログラム
CN116631416A (zh) * 2017-01-10 2023-08-22 弗劳恩霍夫应用研究促进协会 音频解码器、提供解码的音频信号的方法、和计算机程序
US10826838B2 (en) 2019-01-29 2020-11-03 Microsoft Technology Licensing, Llc Synchronized jitter buffers to handle codec switches
WO2021015484A1 (ko) * 2019-07-19 2021-01-28 인텔렉추얼디스커버리 주식회사 무선 통신 시스템에서 적응적인 오디오 처리 방법, 장치, 컴퓨터 프로그램 및 그 기록 매체

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720716A (zh) * 2002-12-04 2006-01-11 皇家飞利浦电子股份有限公司 选择基于位流格式探测的特殊解码器的方法和设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5899578A (en) * 1995-12-25 1999-05-04 Sony Corporation Digital signal processor, processing method, digital signal recording/playback device and digital signal playback method
KR100238136B1 (ko) * 1996-11-28 2000-01-15 윤종용 디지털 비디오 재생장치
JP3879231B2 (ja) * 1997-02-24 2007-02-07 ヤマハ株式会社 ディジタルチューナおよびそのチャンネル切換方法
JP3791720B2 (ja) * 1997-06-11 2006-06-28 ソニー株式会社 伝送装置及び伝送方法
US6477202B1 (en) * 1997-09-03 2002-11-05 Matsushita Electric Industrial Co., Ltd. Apparatus of layered picture coding, apparatus of picture decoding, methods of picture decoding, apparatus of recording for digital broadcasting signal, and apparatus of picture and audio decoding
EP0990346B1 (en) * 1998-04-20 2014-10-15 TP Vision Holding B.V. Digital television system which switches channels in response to control data in a television signal
ATE392758T1 (de) * 2000-01-05 2008-05-15 Mitsubishi Electric Inf Tech Verfahren und vorrichtung zur feststellung der paketübertragungspriorität zwischen mehreren datenströmen
JP2002290973A (ja) * 2001-03-28 2002-10-04 Mitsubishi Electric Corp マルチメディア通信装置
EP1267579A3 (en) * 2001-06-11 2003-03-19 Canal+ Technologies Société Anonyme MPEG table structure
JP4416361B2 (ja) * 2001-09-14 2010-02-17 パナソニック株式会社 マルチフォーマットトランスポートストリームデコーダ
US7457359B2 (en) * 2001-09-26 2008-11-25 Mabey Danny L Systems, devices and methods for securely distributing highly-compressed multimedia content
JP2003152546A (ja) * 2001-11-15 2003-05-23 Matsushita Electric Ind Co Ltd マルチフォーマットストリーム復号化装置及びマルチフォーマットストリーム送出装置
JP4447197B2 (ja) * 2002-01-07 2010-04-07 三菱電機株式会社 動画像符号化装置および動画像復号装置
JP3731554B2 (ja) * 2002-03-19 2006-01-05 ソニー株式会社 信号処理装置、信号処理方法
US7127604B2 (en) * 2002-07-09 2006-10-24 Texas Instruments Incorporated Changing a codec or MAC size without affecting the encryption key in PacketCable communication
KR100604032B1 (ko) * 2003-01-08 2006-07-24 엘지전자 주식회사 복수 코덱을 지원하는 장치와 방법
KR100532997B1 (ko) 2003-05-23 2005-12-02 엘지전자 주식회사 디지털 티브이의 클로즈 캡션 운용 장치
JP4250631B2 (ja) * 2003-12-17 2009-04-08 キヤノン株式会社 通信装置及び制御方法
KR100606827B1 (ko) * 2004-01-27 2006-08-01 엘지전자 주식회사 가상 채널 테이블 데이터 구조, 전송 스트림 판별 방법, 및 방송 수신기
US8842175B2 (en) * 2004-03-26 2014-09-23 Broadcom Corporation Anticipatory video signal reception and processing
JP4508728B2 (ja) * 2004-06-07 2010-07-21 アルパイン株式会社 車載用電子機器およびその機器におけるディジタル放送の表示方法
WO2006025489A1 (ja) * 2004-09-01 2006-03-09 Matsushita Electric Industrial Co., Ltd. 画像再生方法及び画像再生装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1720716A (zh) * 2002-12-04 2006-01-11 皇家飞利浦电子股份有限公司 选择基于位流格式探测的特殊解码器的方法和设备

Also Published As

Publication number Publication date
KR20070074760A (ko) 2007-07-18
JP2007189688A (ja) 2007-07-26
CN101068367A (zh) 2007-11-07
EP1827030A3 (en) 2008-07-23
KR101215615B1 (ko) 2012-12-26
JP5133567B2 (ja) 2013-01-30
US20070162852A1 (en) 2007-07-12
EP1827030A2 (en) 2007-08-29

Similar Documents

Publication Publication Date Title
CN101068367B (zh) 用于改变编解码器的方法和装置
CN102396221B (zh) 阻止特技模式操作的支持
KR101501333B1 (ko) 강화된 비디오 스트림을 디코딩하는 방법 및 장치
CN102484731B (zh) 用于产生和接收3维图像数据流的方法和设备
US8780999B2 (en) Assembling multiview video coding sub-BITSTREAMS in MPEG-2 systems
US9307287B2 (en) Transport-stream provider, DAB signal provider, transport stream analyzer, DAB receiver, method, computer program, and transport stream signal
US20120320168A1 (en) Method and apparatus for transmission and reception in the provision of a plurality of transport interactive 3dtv broadcasting services
RU2547624C2 (ru) Способ сигнализации для широковещания видео-контента, способ записи и устройство, использующее сигнализацию
CN112369042B (zh) 用于自适应流传输对齐的帧转换
CN103168473B (zh) 数字接收机以及用于处理数字接收机中的3d 内容的方法
US20080013542A1 (en) Apparatus and method for transmitting media data and apparatus and method for receiving media data
CN101980541A (zh) 数字电视接收装置及其换台方法
US20140112395A1 (en) Method and apparatus for decoder buffering in hybrid coded video system
US9271017B2 (en) Apparatus and method for transmitting and receiving broadcasting
US10506265B2 (en) Transmitting method, receiving method, transmitting device and receiving device
CN102104795A (zh) 基于mpeg-2的多路ps流转复用为一路ts流的方法
CN101984655A (zh) 数字电视接收装置及其换台方法
CN101977326B (zh) 一种基于mpeg-2传输流的特技流生成方法
CN101986712A (zh) 数字电视接收装置及其换台方法
JP2010171799A (ja) デジタル放送の再多重システム、デジタル放送の再多重方法およびデジタル放送の再多重プログラム
KR20110068821A (ko) 송, 수신 장치 및 송, 수신 방법
JP6641344B2 (ja) 符号化装置
KR100913397B1 (ko) Ｄｍｂ기반의 3차원 입체영상 서비스를 위한 객체 기술방법과, 그에 따른 3차원 입체영상 서비스 수신 및 영상포맷 변환 방법
JP7457930B2 (ja) 送信方法、受信方法、送信装置及び受信装置
KR101414638B1 (ko) 인터넷 프로토콜 텔레비전 수신기 및 채널 전환 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100929

Termination date: 20200110

CF01 Termination of patent right due to non-payment of annual fee