CN102420981A - 转码装置和转码方法 - Google Patents

转码装置和转码方法 Download PDF

Info

Publication number
CN102420981A
CN102420981A CN2011102857129A CN201110285712A CN102420981A CN 102420981 A CN102420981 A CN 102420981A CN 2011102857129 A CN2011102857129 A CN 2011102857129A CN 201110285712 A CN201110285712 A CN 201110285712A CN 102420981 A CN102420981 A CN 102420981A
Authority
CN
China
Prior art keywords
video
transcoding
timestamp
tts
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011102857129A
Other languages
English (en)
Other versions
CN102420981B (zh
Inventor
松永光浩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Publication of CN102420981A publication Critical patent/CN102420981A/zh
Application granted granted Critical
Publication of CN102420981B publication Critical patent/CN102420981B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/433Content storage operation, e.g. storage operation in response to a pause request, caching operations
    • H04N21/4334Recording operations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385Multiplex stream processing, e.g. multiplex stream decrypting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种转码装置和转码方法。用于简化TTS(具有时间戳的传输流)的转码的装置、方法和程序。在对输入TTS中的视频数据进行转码的情况下,视频处理器单元在再压缩之后在每个视频帧的可应用帧时段内按顺序将时间戳再附连到可应用视频帧内的每个视频分组。在对输入TTS中的音频数据进行转码的情况下,音频处理器单元在再压缩之后在每个视频帧的可应用视频帧时段内按顺序将时间戳再附连到可应用视频帧中的每个音频分组。

Description

转码装置和转码方法
相关申请的交叉参考
包括说明书、附图和摘要的2010年9月27日提交的日本专利申请No.2010-215471的公开内容的全部内容通过引用并入本申请。
技术领域
本发明涉及转码,并且具体地涉及TTS(具有时间戳的传输流)转码技术。
背景技术
当发送或存储在复用压缩视频数据或音频数据以后所获得的内容数据时将时间戳附连到每个分组。包含全部都被给定了时间戳的分组的内容数据被称为TTS或具有时间戳的传输流。
时间戳是用于控制内容数据的读取时刻的时间信息。诸如日本未经审查的专利申请公开No.2008-263404中公开的传统TTS播放装置包含内部计数器,该内部计数器对基准时钟脉冲进行计数,将从TTS分离的时间戳与计数器的计数值进行比较,并且根据那些比较结果,控制将视频数据和音频数据输出到解码器的时刻。
存在用于压缩视频数据并且包括MPEG2(注册商标)、H.264、VC-1等的现有技术中有公知的各种标准。根据具体应用来做出关于是否基于一种标准来压缩包含在内容数据中的视频数据。
例如,在数字广播中,经常在用于传输系统的应用中通过MPEG2来压缩视频数据,该传输系统沿着传输路径来传送内容数据;并且经常在存储系统应用中通过H.264或VC-1来压缩视频数据,该存储系统应用将内容数据记录在诸如硬盘或光盘的记录介质上。
基于不同的标准,根据内容数据应用以相同的方式来压缩音频数据。
当例如记录数字广播时,将匹配传输系统应用的内容数据转换为匹配存储系统应用的内容数据。在该转换中,使复用的视频数据和音频数据彼此分离,并且然后通过独立的标准对该视频数据或音频数据或者二者进行解码和再压缩,并且在再复用之后进行使用。
而且,例如当将大量内容数据复制到小容量记录介质时执行转换以减小内容数据的大小。在该转换中,使复用的视频数据和音频数据分离,并且然后通过解码、再压缩,并且然后再复用来使用该视频数据或音频数据或二者。再压缩可以利用将数据再压缩为不同标准的技术,或者在相同的标准下将数据再压缩为更高压缩比的技术。
对压缩的视频数据或音频数据进行解码并且然后以不同的压缩比将该数据再压缩为单独的标准或者再压缩为相同的标准的处理被称为视频数据或音频数据的转码。例如,日本未经审查的专利申请公开No.2008-136187公开了将MPEG2视频数据转码为H.264视频数据的技术。
在本说明书的以下描述中,对包含在内容数据中的音频数据或视频数据或二者进行转码和再复用的处理被称为内容数据转码或转码处理。
在内容数据的转码期间分别处理音频数据和视频数据,因此视频数据的转码和音频数据的转码以及再复用通常通过相同时钟(脉冲)的同步来进行。
视频数据或音频数据的转码改变视频数据或音频数据中分组的大小和数目。日本未经审查的专利申请公开No.2008-131570公开了一种技术,该技术避免了由于视频数据或音频数据的转码所造成的更小分组大小导致的当分组数目减少时在再复用所转码的视频数据或音频数据期间的同步误差(口型同步)。参照日本未经审查的专利申请公开No.2008-131570的图2(本说明书中的图5)描述该技术。
在日本未经审查的专利申请公开No.2008-131570中的技术中,输入的TTS被分离为视频TTS分组和音频TTS分组,在各自的转码处理以后使得成为TTS分组以获得TTS视频和TTS音频,并且然后进行再复用。
例如,当对视频TTS分组进行转码和进行TTS分组化时,仍然使用与输入TTS时相同的时间戳。下面描述该处理。
该处理检测来自视频TTS的第一PES(分组化的基本流)分组,与集合的TTS分组净荷一起获得PES分组,并且执行对PES分组的转码,以获得转码结果。该处理继续仍然使用PES分组报头的DTS(解码时间戳)和PTS(呈现时间戳)。然后,将转码结果覆写到输入的TTS分组净荷部分。与前-转码数据相比,后-转码数据的数据大小小,因此除了通过填充(附图中的P)来填满剩余区域之外,TTS分组中的不需要的分组由空分组(附图中的空)来代替。以该方式,上述处理获得后-转码视频TTS。
以相同的方式,该处理还对TTS分组的音频进行转码,以获得转码的音频TTS。然后,该处理将输入的TTS与后-转码音频和视频TTS的时间戳作比较,并且用被转码的分组代替匹配时间戳的分组。
该技术在转码前后不变地保持首先输入的相同的视频和音频TTS分组时间戳,以防止在再复用期间的同步误差。此外,可以异步地转码和再复用视频数据和音频数据,而不需要使用相同的时钟。
发明内容
日本未经审查的专利申请公开No.2008-131570中的技术实质上对包含在可应用PES分组中的多个TTS分组中的每一个分组中的视频和音频数据进行转码,并且按顺序将时间戳再附连到输入的TTS的可应用PES分组中的每个转码的TTS分组。在再附连期间不再需要的TTS分组用空分组来代替。
因此,该技术在获得输入的TTS的每个PES中的各个视频数据和音频数据的转码结果之后替换分组的净荷部分,并且因此需要一些形式的控制,以处理已经变得比源流更小的分组量。
考虑到现有技术的上述背景,本发明的目的是提供一种用于转码内容数据的更简单的技术。
在本发明的一个方面中,转码装置通过对包含在输入TTS(具有时间戳的传输流)中的附连有时间戳的每个分组的视频数据或音频数据或者二者进行转码来获得输出TTS。转码装置包括视频处理器单元、音频处理器单元以及再复用器。
为了对视频数据进行转码,视频处理器单元对输入TTS中的视频分组进行解码和再压缩,并且将时间戳再附连到再压缩之后获得的每个视频分组。然而,如果没有对视频数据进行转码,则视频处理器单元不变地输出输入TTS中的每个视频分组。
为了对音频数据进行转码,音频处理器单元对输入TTS中的音频分组进行解码和再压缩,并且将时间戳再附连到再压缩之后获得的每个音频分组。但是,如果没有对音频数据进行转码,则音频处理器单元将相对输入的TTS不变地输出每个音频分组。
再复用器按每个时间戳上所示的时间顺序来对从视频处理器单元和音频处理器单元输出的视频分组和音频分组进行排列,并且获得输出TTS。
在再压缩每个视频帧之后,视频处理器单元在可应用视频帧时段内按顺序将时间戳再附连到可应用视频帧的每个视频分组。
在再压缩每个视频帧之后,音频处理器单元在可应用视频帧时段内按顺序将时间戳再附连到可应用视频帧的每个音频分组。
上述本发明的转码装置在由在用作转码装置或者包括可应用转码装置的广播装置和记录装置的计算机上执行的方法和系统或者程序来代替时仍然有效和可应用。
本发明的一方面的技术基于视频帧时段在再压缩之后将时间戳附连到视频分组或音频分组,并且因此除了防止口型同步(lip synch)偏差之外,还能够不论分组大小的改变或者再压缩之后分组的增加还是减少都简单地对TSS进行转码。
附图说明
图1是示出关于本发明的实施例的转码装置的示图;
图2是示出用于描述图1中所示转码装置的操作的示例的示图;
图3是用于描述关于本发明的技术的效果的示图(两个示图中的第一个);
图4是用于描述关于本发明的技术的效果的示图(两个示图中的第二个);
图5是用于描述现有技术中的技术的示图。
具体实施方式
接下来参考附图来描述本发明的实施例。为了明确描述,在方便时简化或省略了下面的描述和附图。此外,附图中用作用于实现不同处理的功能块的每个结构元件都可以包括硬件,诸如CPU、存储器和其他电路;或者包括软件,诸如存储器中加载的程序。因此,本领域技术人员可以理解,可以仅通过硬件或者仅通过软件或者通过硬件与软件的组合来呈现这些功能块,并且不受特定形式限制。相同的附图标记被指配给每个附图中相同的结构元件,并且在需要时省略多余描述。
上述程序可以被存储在不同类型的非临时性计算机可读介质中并且被提供给计算机。这里,非临时性计算机可读介质包括各种有形的存储介质类型。典型的非临时性计算机可读介质包括磁记录介质(例如软盘、磁带、硬盘驱动器)、磁光式记录介质(例如,磁光盘)、CD-ROM(只读存储器)、CD-R、CD-R/W、半导体存储器(例如,掩模ROM)、PROM(可编程ROM)、EPROM(可擦除PROM)、闪速ROM、RAM(随机存取存储器)。还可以通过各种类型的临时性计算机可读介质将程序提供给计算机。临时性计算机可读介质的典型示例包括电信号、光信号以及电磁波。通过线缆通信路径(诸如导线和光纤)或者通过无线(无线电)通信路径可以以程序的方式将临时性计算机可读介质提供给计算机。
图1是示出关于本发明的实施例的转码装置100的示图。转码装置100是用于将存储在作为硬盘的记录介质(诸如盘102)上的TTS读出并对其进行转码、以及在作为光盘的单独记录介质(例如盘172)上进行写入的装置。转码单元100包括读出单元104、解复用器110、STC 120、视频处理器单元130、音频处理器单元140、缓冲器150、再复用器160和记录单元170。视频处理器单元130包含缓冲器132、再压缩器单元134以及视频分组器单元136。音频处理器单元140包含缓冲器142、再压缩器单元144以及音频分组器单元146。再复用器160包含校正单元162。
读出单元104读出存储在盘102上的TTS,并且将其输出到解复用器110。下文中,读出单元104从盘102读出并且输入到解复用器110的该TTS被称为输入TTS。
该输入TTS包括视频数据分组(视频分组)和音频数据分组(音频分组)以及其他分组。除了视频分组和音频分组之外,这些其他分组例如是包含在数字广播中的数字广播分组。在TTS的转码期间不对这些其他分组进行再压缩。
解复用器110将视频分组、音频分组以及其他分组从输入TTS分离,并且按顺序将它们分别输出到缓冲器132、缓冲器142以及缓冲器150。
根据输入TTS中的每个视频帧中的第一视频分组上的时间戳上所示的时间,解复用器110进一步依次将分组输出到STC 120。下文中每个视频帧中的第一视频分组被称为“第一视频分组”,并且用于第一视频分组的通过时间戳示出的时间被称为可应用视频帧的“开始时间”。
如果转码视频数据,则再压缩器单元134对存储在缓冲器132中的视频分组进行解码和再压缩,并且将通过再压缩获得的视频分组依次输出到视频分组器单元136。如果没有对视频数据进行转码,则再压缩器单元134将存储在缓冲器132中的视频分组不改变地输出到视频分组器单元136。
下文中解复用器110输出到缓冲器132的视频分组被称为“输入视频分组”;并且再压缩器单元134输出到分组器单元160的视频分组被称为“输出视频分组”。不用于转码的输出视频分组与输入视频分组相同,并且被附连其原始时间戳。如果对视频数据进行转码,然后不对输出视频分组附连时间戳,则诸如分组数目和分组大小的项目与输入视频分组不同。
在完成单个视频帧中的最终视频分组的处理之后,再压缩器单元134向STC 120输出完成信号E,该完成信号E示出处理完成。
如果对音频数据进行转码,则再压缩器单元144对存储在缓冲器142中的音频分组进行解码和再压缩,并且将通过再压缩获得的音频分组依次发送到音频分组器单元146。如果没有对音频数据进行转码,则再压缩器单元144将存储在缓冲器142中的音频分组不改变地输出到音频分组器单元146。
下文中解复用器110输出到缓冲器142的音频分组被称为“输入音频分组”;并且此后,再压缩器单元144输出到音频分组器单元146的音频分组被称为“输出音频分组”。如果没有对音频数据进行转码,则输出音频分组与输入音频分组相同,并且附连原始时间戳。如果对音频数据进行转码,则不对输出音频分组附连时间戳,并且诸如分组数目和分组大小的项目与输入视频分组不同。
如果不对视频数据进行转码,则视频分组器单元136将来自再压缩器单元134的输出视频数据不改变地发送到再复用器单元160。如果对视频数据进行转码,则在再附连时间戳之后,视频分组器单元136输出来自再压缩器单元134的输出视频分组。
如果不对音频数据进行转码,则音频分组器单元146将来自再压缩器单元144的输出视频数据不改变地发送到再复用器单元160。如果对音频数据进行转码,则在再附连时间戳之后,音频分组器单元146输出来自再压缩器单元144的输出视频分组。
视频分组器单元136和音频分组器单元146基于由STC 120报告的每个视频帧的开始时间T来再附连时间戳。
每次从再压缩器单元134接收到完成信号E,STC 120增加计数值,并且而且将用于与可应用完成信号E相对应的视频帧之后的下一视频帧(或者换言之,通过再压缩器单元134完成其处理的视频帧)的开始时间T输出到视频分组器单元136和音频分组器单元146。例如,STC 120在接收到示出从再压缩器单元134接收到的第三音频帧的处理完成的完成信号E(3)之后增加计数值,并且还将用于第四视频帧的开始时间T(4)输出到视频分组器单元136和音频分组器单元146。
接下来详细描述通过视频分组器单元136和音频分组器单元146进行的时间戳的再附连。
再复用器单元160对来自视频分组器单元136的视频分组、和来自音频分组器单元146的音频分组以及来自缓冲器150的其他分组进行再复用,获得输出TTS并且将输出TTS发送到记录单元170。在再复用期间,再复用器单元160按时间戳所示的时间顺序来排列所有分组。来自视频分组器单元136的视频分组具有再附连的时间戳或者原始时间戳,如上所述,并且来自音频分组器单元146的音频分组具有再附连的时间戳或者原始时间戳。来自缓冲器150的其他分组被附连有原始时间戳。
再复用器单元160包括校正单元162,该校正单元162用于校正视频分组或音频分组的时间戳,使得在再复用期间,在时间戳上示出的各个时间不会重叠。下面详细描述校正单元162。
记录单元170将从再复用器单元160获得的输出TTS写到盘172上。
转码装置100对包含在输入TTS中的视频数据或音频数据或二者进行转码,并且获得输出TTS。这里,参考图2中的示例来描述对输入TTS中的视频数据进行转码以及不对音频数据进行转码时的转码装置100的操作。
在图2中,字符“V”、“A”和“O”分别表示“视频分组”、“音频分组”和“其他分组”。此外,水平轴指示通过时间戳显示的时间。
首先,解复用器110将输入视频分组、输入音频分组以及其他分组从输入TTS分离,并且将它们输入缓冲器132、缓冲器142以及缓冲器150。与将这些分组输出到各个缓冲器一起,解复用器110将每个视频帧的开始时间T输出到STC 120。解复用器110例如将视频帧vf(n)的开始时间T(附图中的t0)和视频帧vf(n+1)的开始时间T(附图中的t1)输出到STC 120。
在这里给出的示例中,转码装置100仅对视频数据进行转码,因此音频处理器单元140的再压缩器单元144将输入音频分组不改变地输出到音频分组器单元146,作为输出音频分组。因此每个输出音频分组的时间戳与对应的输入音频分组的时间戳相同。
然而,转码装置对视频数据进行转码,因此再压缩器单元134对临时存储在缓冲器132中的输入视频分组进行解码和再压缩,并且获得输出视频分组(步骤S1)。
每次完成用于一个帧部分的视频分组的处理时,再压缩器单元134就向STC 120输出完成信号E。在图2中所示的示例中,再压缩器单元134获得视频帧vf(n)的最终输出视频分组,并且向STC 120输出完成信号E。
由于通过再压缩器单元134进行转码而导致用于每个单个视频帧的视频分组的数目如图2中所示被改变。图2中的示例示出在视频分组上以5/13进行的再压缩,并且因此每个单个视频帧的13个分组变换为5个输出视频分组V1至V5。
视频分组器单元136将时间戳再附连到每个输出视频分组(步骤S2)。更具体地,视频分组器单元136将时间戳依次再附连到可应用视频帧中的每个输出视频分组,并且在可应用视频帧的时间段内。这里,视频帧时间段指示从可应用视频帧的开始时间T直到可应用视频帧的下一个视频帧的开始时间的时段。
在本实施例中,视频分组器单元136将时间戳再附连到每个视频帧中的输出视频分组,使得包含在可应用视频帧中的多个输出视频分组中的时间戳所示的时间以有规律地隔开的间隔被布置。
考虑图2所示的示例。当再压缩器单元134完成视频帧vf(n)之前的视频帧的处理时,STC 120向视频分组器单元236通知视频帧vf(n)的开始时间t0并且保留该开始时间。然后,再压缩器单元134对视频帧vf(n)的每个输入视频分组进行解码和再压缩,并且将视频帧vf(n)的输出视频分组V1至V5中的每一个输出到视频分组器单元136。当再压缩器单元134完成视频帧vf(n)的处理时,向视频分组器单元136通知视频帧vf(n+1)的开始时间t1。
视频分组器单元136根据以下公式将时间戳再附连到多个视频帧vf(n)的输出视频分组。
t(j)=t0+(j-1)×((t1-t0)/m)    (1)
其中,t(j)表示视频帧vf(n)的j个数目的输出视频分组时间戳;并且m表示视频帧vf(n)的输出视频分组的数目。
在图2所示的示例中,在视频帧vf(n)中存在5个输出视频分组,因此将以下5个时间戳“t0”、“t0+(t1-t0)/5”、“t0+2×(t1-t0)/5”、“t0+3×(t1-t0)/5”、“t0+4×(t1-t0)/5”再附连到这5个输出视频分组V1至V5。
在图2所示的示例中,“t1-t0”是视频帧vf(n)的时段。视频分组器单元136将时间戳再附连到输出视频分组中的每一个,使得包含在可应用视频帧中的多个输出视频分组中的时间戳所示的时间具有有规律地隔开的间隔。
另一方面,当处理音频数据时,再压缩器单元134将输入音频数据分组作为输出音频数据分组不改变地输出到音频分组器单元146。该音频分组器单元146不将时间戳再附连到输出音频分组。
视频分组器单元136、音频分组器单元146和缓冲器150分别将具有再附连时间戳的输出视频分组、附连有其原始时间戳的输出音频分组以及其他分组输出到再复用器单元160。其他分组不经过再压缩,并且仍然保留其原始时间戳。
如图2中所示,视频帧vf(n)的5个输出视频分组V1至V5以及6个输出音频分组A1至A6以及两个其他分组O1至O2被输出到再复用器160。在这些分组中,视频分组器单元136将时间戳再附连到输出视频分组V1至V5,并且将原始时间戳附加到输出音频分组A1至A6以及其他分组O1至O2。
再复用器160对这些分组进行再复用并且获得输出TTS(步骤S3)。依据下面的程序来执行再复用。
(1)再复用器160按照附连到每个分组的时间戳所示的时间顺序来布置分组。在该情况下,在再压缩的分组上利用再附连的时间戳,并且在没有再压缩的分组上利用原始时间戳。
在该示例中,视频分组V1至V5利用由视频分组器单元136再附连的时间戳;并且音频分组A1至A6以及其他分组O1至O2利用其原始时间戳。
(2)当存在具有在其时间戳上示出的重叠时间的分组时,校正单元校正时间戳上的时间,以便将分组向前或向后移动。校正单元162进行该校正。
在图2所示的示例中,输出视频分组V1的时间戳所示的时间不与任何其他时间戳上所示的时间重叠,因此输出视频分组V1被排列在输出音频分组A1之前,正如时间戳(再附连的时间戳)上所示。
然而,输出视频分组V3的时间戳所示的时间与输出音频分组A3的时间戳所示的时间彼此重叠,因此校正单元162通过将输出音频分组A3的时间戳所示的时间移动到较早的时间来进行校正。因此输出视频分组V3被排列在输出音频分组A3之后,如校正的时间戳上所示。
上述示例描述了仅对输入TTS的视频数据进行转码的情况。如果对视频数据和音频数据都进行转码,或者当仅对音频数据进行转码,则再压缩器144对临时存储在缓冲器142中的输入音频数据进行解码和再压缩,并且将压缩的数据输出到音频分组器单元146。音频分组器单元146将时间戳再附连到从再压缩器144获得的每个输出音频分组。
音频分组器单元146按顺序将时间戳再附连到与可应用视频帧相对应的每个输出音频分组,使得在可应用视频帧时段内,时间具有有规律地隔开的间隔。
这里,“与可应用视频帧相对应的每个输出音频分组”指示在可应用视频帧时段内对包含时间戳的输入音频分组再压缩之后获得的输出音频分组。
以该方式,本实施例的转码装置100基于视频帧的开始时间来将时间戳再附连到再压缩的分组(视频分组和/或音频分组),并且还通过利用用于再压缩分组的再附连的时间戳以及利用用于未再压缩的分组的原始时间戳来执行再复用。因此,视频处理器单元130的功能块、音频处理器单元140的功能块以及再复用器160能够进行异步操作。因此,每个功能块能够执行与其本身的负载匹配的处理;并且从总体上来说转码装置100能够进行全力处理。
此外,在视频帧时段内再附连时间戳允许使用可选压缩比。
而且,每个功能块能够异步地进行操作,因此能够根据可选定时或者根据输入TTS的输入或输出TTS的输出来开始或停止再压缩。
转码装置100使用视频帧时段作为标准,基于视频帧开始时间来将时间戳再附连到任何视频分组或音频分组,并且因此装置可以被保持在小尺寸,并且控制简单,只需要一个STC 120。
此外,在将时间戳再附连到再压缩分组期间,沿着可应用视频帧时段,每个分组的时间戳上所示的时间以相等隔开的间隔布置,因此可以实现均匀的输出TTS比特率,如图3和图4所示。图3和图4所示的示例利用单个帧的总共5个分组,但是每个帧的分组数目不限于5个分组。
例如,在图3所示的TTS中的每个视频帧时段中,并且应用聚集在分组的第一半的时间戳,每个视频帧中的第一分组的时间戳与最后分组的时间戳之间的间隙(“t0(5)-t0(1)”和“t1(5)-t1(1)”)是短的。这里,与从t0(5)到t1(0)的时段相对,读取可应用TTS的处理装置从t1(5)到t2的时段没有分组可供处理;而在从t1(1)到t1(5)的时段内必须分别处理5个分组中的每个分组,因此需要相应的处理能力。
另一方面,在图4中,当在每个视频帧中附连时间戳使得分组具有相等隔开的间隔时,每个视频帧中的第一分组的时间戳与最后分组的时间戳之间的间隙变长,使得实现均匀的比特率。因此,用于读取可应用TTS的处理装置仅需要能够在单个帧时段内处理5个分组。
基于实施例描述了本发明。这里所述的实施例仅仅是示例,只要不脱离本发明的精神和范围,在上述实施例中可以做出所有方式的改变、增加和减少。对于本领域技术人员而言,通过做出这些改变、增加和减少所实现的变体在本发明的范围和精神内的事实显而易见。

Claims (5)

1.一种转码装置,所述转码装置对包含在输入TTS中的视频数据或音频数据中的任何一个或二者进行转码,其中,所述TTS为具有时间戳的传输流,所述输入TTS包括附连到每个分组的时间戳,所述转码装置包括:
视频处理器单元,所述视频处理器单元在对所述视频数据进行转码的情况下,对所述输入TTS中的视频分组进行解码和再压缩,并且还在再压缩之后在每个视频帧的可应用帧时段内按顺序将时间戳再附连到可应用视频帧中的每个视频分组,以及在不对所述视频数据进行转码的情况下,不改变地输出所述输入TTS中的每个视频分组;
音频处理器单元,所述音频处理器单元在对所述音频数据进行转码的情况下,对所述输入TTS中的音频分组进行解码和再压缩,并且还在再压缩之后在每个视频帧的可应用视频帧时段内按顺序将时间戳再附连到所述可应用视频帧中的每个音频分组,以及在不对所述音频数据进行转码情况下,不改变地输出所述输入TTS中的音频分组;以及
再复用器单元,所述再复用器单元按每个时间戳上所示的时间顺序来排列从所述视频处理器单元和所述音频处理器单元输出的所述视频分组和所述音频分组,并且获得输出TTS。
2.根据权利要求1所述的转码装置,
其中,所述视频处理器单元再附连所述时间戳,使得在再压缩之后的每个视频分组的时间戳上所示的时间在所述可应用视频帧时段内以有规律地隔开的间隔被布置。
3.根据权利要求1所述的转码装置,
其中,所述音频处理器单元再附连所述时间戳,使得在再压缩之后的每个音频分组的时间戳上所示的时间在所述可应用视频帧时段内以有规律地隔开的间隔被布置。
4.根据权利要求1所述的转码装置,
其中,所述再复用器单元包括校正单元,所述校正单元用于校正所述视频分组或所述音频分组的时间戳,使得在再复用期间所述时间戳上所示的各个时间不重叠。
5.一种用于使转码装置对包含在输入TTS中的视频数据或音频数据中的任何一个或二者进行转码的转码方法,其中,所述TTS为具有时间戳的传输流,所述输入TTS包括附连到每个分组的时间戳,所述转码方法包括下述步骤:
执行视频处理,所述视频处理在对视频数据进行转码的情况下,对所述输入TTS中的视频分组进行解码和再压缩,并且还在再压缩之后在每个视频帧的可应用视频帧时段内按顺序将时间戳再附连到所述可应用视频帧的每个视频分组;以及在不对视频数据进行转码的情况下,不改变地输出所述输入TTS中的每个视频分组;
执行音频处理,所述音频处理在对音频数据进行转码的情况下,对所述输入TTS中的音频分组进行解码和再压缩,并且还在再压缩之后在每个视频帧的可应用视频帧时段内按顺序将时间戳再附连到所述可应用视频帧的每个音频分组;以及在不对音频数据进行转码的情况下,不改变地输出所述输入TTS中的每个音频分组;以及
执行再复用处理,所述再复用处理按每个时间戳上所示的时间顺序来排列从所述视频处理和所述音频处理获得的所述视频分组和所述音频分组,并且获得输出TTS。
CN201110285712.9A 2010-09-27 2011-09-23 转码装置和转码方法 Expired - Fee Related CN102420981B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-215471 2010-09-27
JP2010215471A JP5400009B2 (ja) 2010-09-27 2010-09-27 トランスコード装置及びトランコード方法並びにプログラム

Publications (2)

Publication Number Publication Date
CN102420981A true CN102420981A (zh) 2012-04-18
CN102420981B CN102420981B (zh) 2014-07-23

Family

ID=45870626

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201110285712.9A Expired - Fee Related CN102420981B (zh) 2010-09-27 2011-09-23 转码装置和转码方法

Country Status (3)

Country Link
US (1) US9172995B2 (zh)
JP (1) JP5400009B2 (zh)
CN (1) CN102420981B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647970A (zh) * 2013-12-02 2014-03-19 天脉聚源(北京)传媒科技有限公司 一种分布式转码的音视频同步方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130336379A1 (en) * 2012-06-13 2013-12-19 Divx, Llc System and Methods for Encoding Live Multimedia Content with Synchronized Resampled Audio Data
JP2017073680A (ja) * 2015-10-08 2017-04-13 ソニー株式会社 受信装置および方法
US10231001B2 (en) 2016-05-24 2019-03-12 Divx, Llc Systems and methods for providing audio content during trick-play playback
CN115668955A (zh) * 2020-04-28 2023-01-31 艾锐势企业有限责任公司 用于从转码器恢复呈现时间戳的系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1336764A (zh) * 2000-06-02 2002-02-20 索尼公司 图像编码装置和方法、图像解码装置和方法、记录载体
JP2003143017A (ja) * 2001-11-06 2003-05-16 Victor Co Of Japan Ltd 符号量変換方法及び装置
JP2008136001A (ja) * 2006-11-28 2008-06-12 Matsushita Electric Ind Co Ltd 符号化方式変換装置
JP2010171799A (ja) * 2009-01-23 2010-08-05 Nippon Telegr & Teleph Corp <Ntt> デジタル放送の再多重システム、デジタル放送の再多重方法およびデジタル放送の再多重プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7088725B1 (en) * 1999-06-30 2006-08-08 Sony Corporation Method and apparatus for transcoding, and medium
JP2001251616A (ja) * 2000-03-02 2001-09-14 Media Glue Corp 多重化音響・動画圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体
JP4765192B2 (ja) * 2000-06-02 2011-09-07 ソニー株式会社 画像符号化装置および方法、画像復号化装置および方法、並びに記録媒体
US20030200548A1 (en) * 2001-12-27 2003-10-23 Paul Baran Method and apparatus for viewer control of digital TV program start time
EP1751986A1 (en) * 2004-04-08 2007-02-14 Koninklijke Philips Electronics N.V. Coding method applied to multimedia data
US8756626B2 (en) * 2005-12-22 2014-06-17 Broadcom Corporation Method and apparatus for using the host-pod interface of a digital television or other digital audio/video receiver for new services
US20080101473A1 (en) 2006-10-26 2008-05-01 Matsushita Electric Industrial Co., Ltd. Transcoding apparatus and transcoding method
JP4942610B2 (ja) 2006-10-26 2012-05-30 パナソニック株式会社 トランスコード装置及びトランスコード方法
JP2008131570A (ja) 2006-11-24 2008-06-05 Toshiba Corp デジタル放送装置
JP2008263404A (ja) 2007-04-12 2008-10-30 Sony Corp 受信装置および受信方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1336764A (zh) * 2000-06-02 2002-02-20 索尼公司 图像编码装置和方法、图像解码装置和方法、记录载体
JP2003143017A (ja) * 2001-11-06 2003-05-16 Victor Co Of Japan Ltd 符号量変換方法及び装置
JP2008136001A (ja) * 2006-11-28 2008-06-12 Matsushita Electric Ind Co Ltd 符号化方式変換装置
JP2010171799A (ja) * 2009-01-23 2010-08-05 Nippon Telegr & Teleph Corp <Ntt> デジタル放送の再多重システム、デジタル放送の再多重方法およびデジタル放送の再多重プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103647970A (zh) * 2013-12-02 2014-03-19 天脉聚源(北京)传媒科技有限公司 一种分布式转码的音视频同步方法及系统
CN103647970B (zh) * 2013-12-02 2017-04-12 天脉聚源(北京)传媒科技有限公司 一种分布式转码的音视频同步方法及系统

Also Published As

Publication number Publication date
JP5400009B2 (ja) 2014-01-29
US9172995B2 (en) 2015-10-27
CN102420981B (zh) 2014-07-23
US20120076209A1 (en) 2012-03-29
JP2012070330A (ja) 2012-04-05

Similar Documents

Publication Publication Date Title
US7359006B1 (en) Audio module supporting audio signature
US5588029A (en) MPEG audio synchronization system using subframe skip and repeat
US6456782B1 (en) Data processing device and method for the same
US20050259946A1 (en) Video editing apparatus and video editing method
US7292610B2 (en) Multiplexed data producing apparatus, encoded data reproducing apparatus, clock conversion apparatus, encoded data recording medium, encoded data transmission medium, multiplexed data producing method, encoded data reproducing method, and clock conversion method
JP5586511B2 (ja) 同期制御装置及びプログラム
CN101729908B (zh) 一种传输流视音频同步复用方法
GB2358775A (en) MPEG transport stream encoder
CN1349719A (zh) 转换数据流的方法和装置
US20090024400A1 (en) Multiplexed audio data decoding apparatus and receiver apparatus
CN102420981A (zh) 转码装置和转码方法
US20070165676A1 (en) Information processing device, information processing method, program, and data structure
US20060203853A1 (en) Apparatus and methods for video synchronization by parsing time stamps from buffered packets
CN102104795A (zh) 基于mpeg-2的多路ps流转复用为一路ts流的方法
CN103177725B (zh) 用于输送对齐的多通道音频的方法和设备
CN103474076B (zh) 用于输送对齐的多通道音频的方法和设备
JP3893643B2 (ja) 信号多重化方法およびそれを用いた伝送信号生成装置
JPH11205789A (ja) Mpeg2トランスポートストリーム伝送レート変換装 置
US20080310647A1 (en) Audio stream processing method, playback apparatus, and output apparatus
CN102934435A (zh) 视频显示装置
US20070165621A1 (en) System and method for transport PID broadcast scheme
JP2001111610A (ja) 情報データ伝送システムの受信装置
JP2000049726A (ja) 多重化装置及び方法
JP4007575B2 (ja) 画像・音声ビットストリーム分割装置
US7050460B1 (en) Method and apparatus for multiplexing data streams using time constraints

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Tokyo, Japan

Patentee after: Renesas Electronics Corporation

Address before: Kanagawa

Patentee before: Renesas Electronics Corporation

CP02 Change in the address of a patent holder
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20140723

Termination date: 20200923

CF01 Termination of patent right due to non-payment of annual fee