CN102938848A - 瞬时解码器刷新帧对准的多位速率代码转换器输出 - Google Patents

瞬时解码器刷新帧对准的多位速率代码转换器输出 Download PDF

Info

Publication number
CN102938848A
CN102938848A CN 201210116623 CN201210116623A CN102938848A CN 102938848 A CN102938848 A CN 102938848A CN 201210116623 CN201210116623 CN 201210116623 CN 201210116623 A CN201210116623 A CN 201210116623A CN 102938848 A CN102938848 A CN 102938848A
Authority
CN
China
Prior art keywords
frame
idr
profile
pts
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN 201210116623
Other languages
English (en)
Inventor
尤瓦尔·费希尔
刘翰青
丹·R·亨特
尚卡尔·文卡塔拉曼
黄项云
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
RGB MEDIA Inc
RGB Networks Inc
Original Assignee
RGB MEDIA Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by RGB MEDIA Inc filed Critical RGB MEDIA Inc
Publication of CN102938848A publication Critical patent/CN102938848A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2402—Monitoring of the downstream path of the transmission network, e.g. bandwidth available
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/61—Network physical structure; Signal processing
    • H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
    • H04N21/6125—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种对视频流进行代码转换以提供多个主要简档的方法。所述视频流的个别帧具有出现时戳PTS。使用PTS作为令牌来识别待编码为每一简档中的瞬时解码器刷新IDR帧的特定帧。确定指示两个IDR帧之间的所需视频帧数目的IDR帧周期。每IDR帧周期将一IDR帧插入到每一简档中。每一简档的IDR帧与其它简档的相同IDR帧对准。监视每一简档中的每一IDR帧的PTS。在确定PTS未对准后，使受影响简档的下一PTS与其余简档的对应PTS对准。备份代码转换器产生备份简档，所述备份简档维持彼此及与所述主要简档对准。

Description

瞬时解码器刷新帧对准的多位速率代码转换器输出
技术领域
本发明涉及适合多位速率自适应超文本传送协议(HTTP)流式传输的代码转换器输出的创建。更明确地说，本发明使视频输出能够从多个编码进程中创建，其适合自适应HTTP流式传输。这种视频需要多个流，所述流在其输出中的相同帧处具有瞬时解码器刷新(IDR)帧。本发明提供用于在相同位置处为所有不同多个编码进程插入IDR帧的设备及方法，及还提供合适的错误恢复技术。
背景技术
因特网协议(IP)网络上的流式视频的蓬勃发展已导致所谓的自适应HTTP视频流式协议的发展。虽然存在这些协议的各种不同实施方案，但它们共享某些特征。明确地说，视频流分裂成较短的若干秒长的文件，其由客户端下载且随后播放以形成无缝的视频画面。所述文件或“块”可以不同的位速率及分辨率来编码(称作“简档”)。播放列表文件用于让客户端了解各种可用简档，使得其可基于本地条件(例如可用下载带宽)选择待下载块。在典型的情况下，客户端可以低分辨率及低带宽开始下载块，且接着切换到从较高带宽简档下载块，从而以随后改进的视频质量给予用户快速调入。
为了无缝地重放所述块(即，不含任何由块边界处的错误引起的视频假象)，使每一块以IDR(瞬时解码器刷新)帧开始是便利的。IDR帧是特殊的视频帧，其经编码以可独立于先前视频帧而解码，且从而可重放以IDR帧开始的块，而与之前下载及解码了什么块无关。
为了使客户端能够重放来自全部可用简档的块，应满足下列标准：
·特定简档中的每一块必须在其它可用简档中的每一者中具有可识别的对应块。
·每一块必须以IDR帧开始。
任选地：
·来自每一简档的块可有相等的持续时间。
·所述块可各自具有相同出现时戳(PTS)。
所述方案还必须足够健全以从全部错误情形恢复。注意，在所述块上可能存在其它情形，例如涉及音频的情形，其与本发明无关。
直播视频代码转换链涉及经编码的视频位流的摄入、视频代码转换器、及以不同位速率及分辨率编码的多个视频简档的输出。由代码转换器摄入的输入视频流已经编码。这些输入视频流通常为由卫星(或其它装置)递送给服务提供商的流，所述服务提供商随后为了各种原因(例如，为了改变编码格式，分辨率或位速率)而再编码所述视频。所述代码转换器的输出可接着进一步由分段器(有时称作封装器或分片段器)处理，所述分段器将输出简档分裂成若干个块，且使其可用于HTTP上向多个客户端的递送。
为了在代码转换器失效的情况下保证服务的连贯性，常见的是运行多个通常来自不同物理位置的代码转换器。在自适应HTTP流式传输的情况下，希望从主要及备份代码转换器产生的块经IDR对准。在所述情况下，主要代码转换器的失效将导致从所述备份代码转换器创建的块的递送。如果这些块与主要代码转换器中的块完全对准，那么客户端体验将保持流畅。
本发明提供一种用于使代码转换器能够创建适合分段及自适应递送的经IDR对准的输出简档的方法。所述方法还确保摄入相同输入的不同代码转换器将使其所有输出经IDR对准，使得主要及备份代码转换器可创建经对准且彼此兼容的块。
过去，从多个编码进程创建适合自适应HTTP流式传输的视频输出已利用所述编码进程之间的消息接发。此类型的消息接发具有对编码器及代码转换器有效(即，其在输入处于“基带”时有效)的优势。然而，此消息接发实施方案是非常复杂的、昂贵的且效率低的。
提供使得能够在无需不同编码进程之间的消息接发的情况下从多个编码进程创建适合自适应HTTP流式传输的视频输的方法及设备将是有利的。提供此种对代码转换情况有效的系统将是进一步有利的，其中所述输入以压缩格式被摄入并代码转换成不同的经压缩格式。更进一步，使所述系统能够提供任意数目的具有经同步输出的编码进程将是有利的。提供使分开位置处的编码器具有经同步输出的能力也将是有利的。
本发明提供具有上述及其它优势的方法及设备。此外，本文中所揭示的组件/技术的特别的组合提供优于先前已知结构及技术的各种改进。
发明内容
本发明提供一种用于在多个不同简档中流式传输视频的方法。视频流经代码转换以提供所述多个不同简档。所述视频流包括具有出现时戳(PTS)的帧，所述PTS用作令牌以识别视频流的将被编码为每一简档中的瞬时解码器刷新(IDR)帧的特定帧。确定指示两个IDR帧之间所要视频帧数目的IDR帧周期。每IDR帧周期将一IDR帧插入到所述视频流的每一简档中。每一简档的IDR帧与在多个不同简档中的其它简档的相同IDR帧对准。监视每一简档中的每一IDR帧的PTS。如果监视步骤确定PTS未对准，那么使受影响简档的下一PTS与其余简档的对应PTS再对准。
可提供一个或一个以上备份代码转换器以将所述视频流的代码转换复制到备份简档中。在此实施例中，监视及再对准步骤独立地应用于处理所述视频流的代码转换器中的每一者，以使由不同代码转换器(例如，主要代码转换器及备份代码转换器)提供的简档维持彼此对准。
所述方法可包含以下步骤：识别用于代码转换的视频流的第一帧、获得所述第一帧的PTS、确定用于开始代码转换进程的时戳阈值、及根据所确定的时戳阈值开始代码转换。如果在代码转换进程期间基于一个或一个以上外部触发器(例如，广告插入提示)将IDR帧插入到视频流中，那么可调整后续IDR帧的插入以维持多个简档之间的PTS对准。
提供一种用于在多个不同简档中流式传输视频的设备。主要代码转换器经耦合以接收输入视频流及代码转换所述流以提供第一简档。所述视频流包含具有出现时戳(PTS)的帧。主要代码转换器包含视频解码器、视频编码器、PTS检测器、全局IDR帧计算器、IDR插入命令器、IDR PTS检测器及全局IDR帧比较器。视频解码器解码输入视频流，且提供未压缩视频流。视频编码器接收所述未压缩视频流。PTS检测器与用于检测帧中的PTS的视频解码器操作地相关联。所述全局IDR帧计算器与用于识别视频流的待编码为IDR帧的第一帧的PTS检测器操作地相关联。IDR插入命令器响应用于指示视频编码器将所述未压缩视频流的帧编码为IDR帧的全局IDR帧计算器。IDR PTS检测器获得由所述视频编码器编码的IDR帧的PTS。全局IDR帧比较器响应由用于确定所述IDR帧的一者中是否存在简档对准错误的IDR PTS检测器获得的PTS。所述IDR插入命令器响应用于指示视频编码器将未压缩视频流的后一帧编码为IDR帧以便校正对准错误的IDR帧比较器。
备份代码转换器可经耦合以接收所述输入视频流，且将所述视频流的代码转换复制到备份简档中。所述备份代码转换器适于每IDR帧周期将一IDR帧插入到所述视频流的每一备份简档中。每一备份简档的IDR帧与其它备份简档及由主要代码转换器提供的简档的相同IDR帧对准。因为每一简档独立地操作，所以所述主要及备份代码转换器的操作是完全相同的(或至少功能上等效)。
可提供多个备份代码转换器。在此实施例中，使由所述主要代码转换器及多个备份代码转换器中的每一者提供的简档维持对准。
主要分段器可与用于将多个简档封装成块的主要代码转换器相关联。备份分段器可与用于将备份简档封装成块的每一备份代码转换器相关联。可提供至少一个服务器用于将所述块流式传输到多个客户端。
附图说明
图1是说明用于代码转换、分段及将输入视频流供应到客户端的设备的框图。
图2是说明如图1中的具有备份代码转换器及备份分段器以用于将备份输入视频流提供给客户端的设备的框图。
图3是根据本发明的具有相关联设备的代码转换器的框图。
具体实施方式
如上文所指示，本发明提供一种允许代码转换器创建适合分段及自适应递送的经IDR对准的输出简档的方法。所述方法还确保接收相同输入的不同代码转换器将对所有输出执行IDR对准，使得主要及备份代码转换器可创建彼此对准且兼容的块。
图1说明向代码转换器10提供输入视频流的设备。该代码转换器处理视频流，且将其作为经代码转换的多简档IDR对准输出提供给分段器12。该分段器向HTTP服务器14提供数据块。数据块随后可供应给多个客户端16a…16n。客户端可包括(例如)想要在个人电脑、写字板、智能手机等设备上观看视频的用户。
为了使代码转换器10或分段器12免于失效，可提供一个或一个以上备份代码转换器及分段器。此实施方案在图2中说明，其中主要代码转换器20提供具有多简档IDR对准输出的主要分段器22。该主要分段器向HTTP服务器28提供数据块，数据块可供应给客户端。该服务器继而可向一个或一个以上客户端16a…16n提供该数据块。提供备份代码转换器24及备份分段器26以分别备份主要代码转换器20及主要分段器22的功能。可提供任何数目的备份代码转换器及分段器。这些备份装置提供与由主要代码转换器提供的对应数据块对准的数据块。
符合运动图片专家组(MPEG)标准的视频流含有用于数据流的视频、音频及数据部分的出现时戳(PTS)。当呈现给观看者时，PTS用于实现程序(例如视频、音频、字幕)的单独初级流的同步。PTS提供在与程序的整体时钟参考(程序时钟参考(PCR)或系统时钟参考(SCR))有关的单元中，该时钟参考也在输送流或程序流中发射。
根据本发明，包含于摄入流中的PTS被用作令牌来识别哪些帧应编码为IDR帧。因为代码转换器的每一实例可以使用PTS，所以利用相同算法的所述代码转换器的每个实例将选择与应被编码为IDR帧的帧相同的帧。这应用于同一代码转换器的不同输出简档或不同代码转换器的输出简档两者。本发明的系统可如下文所陈述被细分成三部分。
步骤1：首先选择待编码的第一帧。典型地，HTTP顺畅流式传输使用29.27(或针对PAL为25)渐进帧速率，而广播内容使用每秒交错的59.94(或针对PAL为50)个字段或每秒渐进的59.94(或针对PAL为50)个帧。因此，第一编码帧的选择对于从每秒59.94(或针对PAL为50)个交错字段或59.94(或针对PAL为50)渐进帧速率转换到29.97(或针对PAL为50)渐进帧速率是至关重要的。为此，解码进程如下：
1.对于H.264输入流，搜索序列参数集(SPS)及其对应的帧内编码帧或IDR帧。对于MPEG-2输入流，搜索序列起始码及其对应的帧内编码帧。一旦识别出所述帧，解码进程开始。
2.获得第一帧内编码/IDR帧的出现时戳，且确定时戳阈值以启动编码器，如下：
a.分别依据输入是渐进的还是交错的来界定ticksPerOutputFrame为ticksPerInputFrame或ticksPerInputField的两倍大。
b.假定编码器需要至少n帧(例如，其中n＝4)才能恰当地执行命令。
c.将firstPresentationTimeStamp界定为第一输入帧或字段的时戳。
d.计算：desiredFirstTS＝floor(
(firstPresentationTimeStamp+nFrame*ticksPerOutputFrame)
/ticksPerOutputFrame)*ticksPerOutputFrame；
e.指示编码器在时戳desiredFirstTS处启动。
在优选实施例中，将“desiredFirstPTS”参数实施为供解码器触发所述编码器启动的阈值。因为输入时戳可能波动，所以减除较小的偏移量以补偿任何此类波动将是有利的。
上述进程包含用于59.94(或针对PAL为50)与29.97(或针对PAL为25)之间的转换的一致帧选择进程。在上述进程之后，同一简档中的所有输出流将选择正确的帧/字段来编码。因而，可避免异相帧选择。
在所输入的经交错视频具有59.94(或针对PAL为50)个字段的情况下，一些编码器指定顶部字段作为转换成帧输出的基础。因此，对于那些编码器，因为同一简档中的输出流始终将同相，所以可避免上述进程。
步骤2：所述进程的下一步骤为计算IDR周期。基于两个IDR帧之间的所要视频帧数目(idrInterval)，选择所要IDR帧周期(idrInterval90k)。将此指定为90KHz时钟滴答(出现时戳的时钟基础)的整数数目。当开始编码进程时，指示编码器每idrInterval90k个时钟滴答插入一IDR帧。
本发明使用PTS作为参考源，且通过idrInterval90k向下取整到IDR帧所预期的其最近的下一全局时戳(以90kHz滴答为单位)。接着使用此时戳值来指示编码器插入IDR帧。因为所述编码器将每idrInterval个帧插入一IDR帧，因此一旦插入正确的IDR帧，编码器就将使用相同摄入流及相同的IDR插入参数产生具有与其它经编码流同步的IDR帧的流。更具体地说，使用下列进程来使IDR帧越过来自同一译码源的多个经代码转换的流而对准：
a.获得第一IDR帧的PTS，ptsFirstIDR。此应对应于上面提供的desiredFirstTS。
b.令targetPTSNextIDR＝ptsFirstIDR+idrInterval90k；
c.令initRemainder＝targetPTSNextIDR-
floor(targetPTSNextIDR/idrInterval90k)*idrInterval90k；
d.令targetPTSNextIDR＝floor(targetPTSNextIDR/idrInterval90k)；
e.令targetPTSNextIDR＝(targetPTSNextIDR+1)*idrInterval90k；
f.指示编码器在具有等于或大于targetPTSNextIDR的PTS的帧处插入IDR。
在步骤e之后，来自同一输入的所有输出流在所述输出流的同一界定位置处将周期性地含有IDR帧。
步骤3：在所述进程中的此点，监视IDR周期。如从上面“步骤2”(f)中将了解，一旦编码输出被锁定到IDR插入周期中，全部的输出流就将在相同视频帧处产生IDR帧，除非在输入时引入错误。在此些情形下，代码转换器或重复先前帧或跳过所述帧并跳到下一帧。因为输入错误可被仅局部化到一个特定编码器，因此错误恢复进程不在属于同一简档的全部代码转换器处运行。作为错误处理的结果，特定代码转换器可渐渐远离被锁定的IDR周期。为了校正此进程，代码转换器将密切监视每个IDR帧的PTS，并确保其被恰当地锁定。更具体地说，以下进程用于监视IDR周期：
a.假设来自当前IDR的PTS为ptsIDR，且将targetPTSNextIDR设定为下一所要IDR帧的时戳。
b.令curRemainder＝ptsIDR-targetPTSNextIDR；
c.如果(abs(curRemainder-initRemainder)＞MAX_ALLOWED_DEV)，那么重新开始步骤2的(d)处的进程(继续经到步骤2的(f))以在预期帧处插入IDR。
如果插入其它IDR帧(例如，响应于外部触发器，例如广告插入提示)，那么将执行步骤2的(d)到(f)，使得可在预期帧位置处插入下一IDR帧。
图3是根据本发明的代码转换器设备(大体上指定为35)的一个可能实施例的框图。应了解，其它实施例是可能的，且所属领域的技术人员将明白所述其它实施例。
如图3所示，提供视频解码器35以接收经压缩的输入视频流，并解码视频流以提供未压缩视频流到视频编码器31。出现时戳(PTS)检测器32获得由视频解码器30从输入视频流提取的PTS值，并将其转发到全局瞬时解码器刷新(IDR)帧计算器36。计算器36使用(例如)上文在“步骤1”中陈述的程序来选择待编码的第一帧。全局IDR帧计算器36的输出是desiredFirstPTS。将此值提供给IDR插入命令器34，IDR插入命令器34指示视频编码器31将帧编码为desiredFirst PTS处的IDR帧。在全局IDR帧计算器36为视频流确定desiredFirstPTS之后，视频流将不再使用，直到新的视频流被呈现给视频解码器30为止。如下文所描述，用于视频流的后续IDR插入命令将由全局IDR帧比较器38起始。
如上文在“步骤2”中所陈述，IDR PTS检测器37从视频编码器获得第一IDR帧的PTS(ptsFirstIDR)。将此PTS转发到全局IDR帧比较器38，其执行步骤2的步骤(b)到(f)。在步骤(f)处，全局IDR帧比较器将新的IDR命令发送到IDR插入命令器34以起始新的IDR插入。
IDR PTS检测器37及全局IDR帧比较器38还执行上文在“步骤3”中陈述的程序，以监视IDR周期，且在期望时确定是否存在来自IDR的PTS。如果不存在，那么全局IDR帧比较器38将发送IDR命令到IDR插入命令器34以在指定帧处插入IDR。
提供按需IDR请求器39以(例如)响应于外部触发器(例如广告插入提示)而插入其它IDR帧。所述插入进程通过发送具有特定提示时间的IDR命令而开始。随后，逻辑执行步骤2的(d)到(f)，从而可在预期帧位置处插入下一IDR帧以实现全局IDR对准。
视频编码器31的输出包括经代码转换的视频流。如图3所说明，提供多个简档，每一简档由功能相同的代码转换器(例如，代码转换器35)来处理。出于解说目的，将图3中所示的代码转换器35称作“主要代码转换器”，而耦合到线路40及42的另外两个代码转换器(未显示)分别被称作第一及第二“备份代码转换器”。
图3中所说明的实施方案确保IDR对准被建立于所述设计中，使得当代码转换器经历上述步骤时，输出经代码转换视频流将使PTS在来自遵照本发明教示的不同代码转换器(“主要”及“备份”)的所有简档之中的IDR处对准。如先前所指示，每一简档为含有不同位速率或“分辨率”的相同视频信息的单独流。
如图2所指示，可提供任何数目的代码转换器(例如，一主要代码转换器及多个备份代码转换器)。对于每一代码转换器，可提供如图3中所陈述的设备，以维持由所述代码转换器提供的各种简档的恰当对准。不仅为每一代码转换器的所有简档提供对准，而且提供由不同代码转换器提供的简档之间的对准。
图3中所说明的设备的组件可实施于硬件、软件、固件或其组合中。典型地，如所属领域的技术人员充分理解，所述系统将在计算机处理器上运行，所述计算机处理器执行固件以提供必要的功能性。
现在应了解，本发明提供用于在多个不同简档中流式传输视频的设备及方法。代码转换视频流以提供多个不同简档。所述视频流包括具有PTS的帧，所述PTS作为令牌用以识别视频流的将被编码为每一简档中的瞬时解码器刷新(IDR)帧的特定帧。确定指示两个IDR帧之间的所要视频帧数目的IDR帧周期。每IDR帧周期将一IDR帧插入到视频流的每一简档中。每一简档的IDR帧与多个不同简档中的其它简档的相同DR帧对准。监视每一简档中的每一IDR帧的PTS。如果监视步骤确定PTS未对准，那么使受影响简档中的下一PTS与其余简档的对应PTS再对准。多个代码转换器可各自提供相同简档集合，其全部根据本发明的教示保持对准。
虽然已根据特定实例实施例描述了本发明，但所属领域的技术人员将了解，可使用本发明的教示提供各种其它实施例、变化及修改，其全部既定包含于所附权利要求书的范围内。

Claims (11)

1.一种用于在多个不同简档中流式传输视频的方法，其特征在于，它包括：对视频流进行代码转换以提供所述多个不同简档，所述视频流包括具有出现时戳PTS的帧；
使用所述PTS作为令牌来识别所述视频流中待编码为每一简档中的瞬时解码器刷新IDR帧的特定帧；
确定指示两个IDR帧之间的所需视频帧数目的IDR帧周期；
在每个IDR帧周期将一IDR帧插入到所述视频流的每一简档中，每一简档的所述IDR帧与所述多个不同简档中的其它简档的相同IDR帧对准；
监视每一简档中的每一IDR帧的所述PTS；以及
在所述监视步骤确定PTS未对准的情况下，使受影响简档的下一PTS与其余简档的对应PTS再对准。
2.根据权利要求1所述的方法，其特征在于：
提供备份代码转换器以将所述视频流的所述代码转换复制到所述简档中；以及将所述监视及对准步骤独立地应用于处理所述视频流的所述代码转换器中的每一个，以使所述不同代码转换器提供的所述简档维持彼此对准。
3.根据权利要求2所述的方法，其特征在于：
提供多个备份代码转换器，且使所述多个代码转换器中的每一个提供的所述简档维持对准。
4.根据权利要求1所述的方法，其特征在于，它包括：
识别所述视频流的第一帧以用于代码转换；
获得所述第一帧的所述PTS；
确定时戳阈值以开始代码转换进程；以及
根据所述所确定的时戳阈值开始代码转换。
5.根据权利要求1所述的方法，其特征在于：
如果所述代码转换进程期间基于外部触发器将IDR帧插入到所述视频流中，则调整后续IDR帧的插入以维持所述多个简档之间的PTS对准。
6.一种用于在多个不同简档中流式传输视频的设备，其特征在于，它包括：
主要代码转换器，经耦合以接收输入视频流且对所述流进行代码转换以提供第一简档，所述视频流包括具有出现时戳PTS的帧，所述主要代码转换器包含：
视频解码器，用于解码所述输入视频流且提供未压缩视频流；
视频编码器，用于接收所述未压缩视频流；
PTS检测器，与所述用于检测所述帧中的所述PTS的视频解码器可操作地相关联；
全局瞬时解码器刷新IDR帧计算器，与所述用于识别所述视频流的待编码为IDR帧的第一帧的PTS检测器可操作地相关联；
IDR插入命令器，响应所述用于指示所述视频编码器将所述未压缩视频流的帧编码为IDR帧的全局IDR帧计算器；
IDR PTS检测器，用于获得由所述视频编码器编码的IDR帧的所述PTS；以及全局IDR帧比较器，响应由用于确定所述IDR帧之一中是否存在简档对准错误的所述IDR PTS检测器获得的所述PTS；
所述IDR插入命令器响应所述全局IDR帧比较器，所述全局IDR帧比较器用于指示所述视频编码器将所述未压缩视频流的后一帧编码为IDR帧以便校正对准错误。
7.根据权利要求6所述的设备，其特征在于，它包括：
备份代码转换器，经耦合以接收所述输入视频流且将所述视频流的所述代码转换复制到备份简档中；
所述备份代码转换器适于每IDR帧周期将一IDR帧插入到所述备份简档中，所述备份简档的所述IDR帧与由所述主要代码转换器提供的所述简档的相同IDR帧对准。
8.根据权利要求7所述的设备，其特征在于，所述备份代码转换器功能上等效于所述主要代码转换器。
9.根据权利要求8所述的设备，其特征在于：
提供多个功能等效的备份代码转换器，且所述主要及多个备份代码转换器提供的所述简档维持对准。
10.根据权利要求7所述的设备，其特征在于，它包括：
主要分段器，与所述主要代码转换器相关联，用于将所述多个简档封装成块；以及
备份分段器，与所述备份代码转换器相关联，用于将所述备份简档封装成块。
11.根据权利要求10所述的设备，其特征在于，它包括：
至少一个服务器，用于将所述块流式传输到多个客户端。
CN 201210116623 2011-08-15 2012-04-19 瞬时解码器刷新帧对准的多位速率代码转换器输出 Pending CN102938848A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/209,490 2011-08-15
US13/209,490 US8855197B2 (en) 2011-08-15 2011-08-15 Method and apparatus for aligning IDR frames in transcoded multi-bitrate video streams

Publications (1)

Publication Number Publication Date
CN102938848A true CN102938848A (zh) 2013-02-20

Family

ID=47697714

Family Applications (1)

Application Number Title Priority Date Filing Date
CN 201210116623 Pending CN102938848A (zh) 2011-08-15 2012-04-19 瞬时解码器刷新帧对准的多位速率代码转换器输出

Country Status (3)

Country Link
US (1) US8855197B2 (zh)
CN (1) CN102938848A (zh)
IL (1) IL219815A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210884A (zh) * 2016-07-13 2016-12-07 腾讯科技（深圳）有限公司 视频文件的转码方法和装置
CN112672163A (zh) * 2019-10-16 2021-04-16 迪士尼企业公司 用于分段流动性的代码转换器调节

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8458362B2 (en) 2010-09-30 2013-06-04 Comcast Cable Communications, Llc Delivering content in multiple formats
WO2013028565A1 (en) * 2011-08-19 2013-02-28 General Instrument Corporation Encoder-aided segmentation for adaptive streaming
US9380327B2 (en) 2011-12-15 2016-06-28 Comcast Cable Communications, Llc System and method for synchronizing timing across multiple streams
US9591098B2 (en) 2012-02-01 2017-03-07 Cisco Technology, Inc. System and method to reduce stream start-up delay for adaptive streaming
US9386267B1 (en) * 2012-02-14 2016-07-05 Arris Enterprises, Inc. Cooperative transcoding to multiple streams
US20140140417A1 (en) * 2012-11-16 2014-05-22 Gary K. Shaffer System and method for providing alignment of multiple transcoders for adaptive bitrate streaming in a network environment
US9462270B1 (en) * 2012-12-10 2016-10-04 Arris Enterprises, Inc. Video frame alignment in adaptive bitrate streaming
US9813325B2 (en) 2012-12-27 2017-11-07 Comcast Cable Communications, Llc Information stream management
US9553906B2 (en) * 2013-02-27 2017-01-24 Aruba Networks, Inc. Method and system for synchronization of data streams
US10382512B2 (en) * 2013-03-14 2019-08-13 Microsoft Technology Licensing, Llc Distributed fragment timestamp synchronization
KR20150039425A (ko) * 2013-10-02 2015-04-10 삼성전자주식회사 비디오/이미지 데이터 처리 방법 및 비디오/이미지 데이터 처리 시스템
US9923945B2 (en) 2013-10-10 2018-03-20 Cisco Technology, Inc. Virtual assets for on-demand content generation
US10440080B2 (en) * 2013-10-18 2019-10-08 Telefonaktiebolaget Lm Ericsson (Publ) Software-defined media platform
US9706509B2 (en) * 2013-12-05 2017-07-11 Cisco Technology, Inc. Synchronization of streaming data
US10135945B2 (en) * 2014-01-15 2018-11-20 Cisco Technology, Inc. Methods and systems for boundary placement in a data stream
US9414100B2 (en) * 2014-03-31 2016-08-09 Arris Enterprises, Inc. Adaptive streaming transcoder synchronization
US9794313B2 (en) * 2014-05-09 2017-10-17 Cisco Technology, Inc. Methods and systems to facilitate synchronization of multiple media streams
US10250937B2 (en) * 2014-05-30 2019-04-02 Apple Inc. Item to item transitions
EP3175624A4 (en) * 2014-07-31 2018-02-28 LG Electronics Inc. Apparatus and method for transmitting/receiving processes of a broadcast signal
US9538137B2 (en) 2015-04-09 2017-01-03 Microsoft Technology Licensing, Llc Mitigating loss in inter-operability scenarios for digital video
US20170127101A1 (en) * 2015-11-02 2017-05-04 Echostar Technologies L.L.C. Reducing startup latency in a video place-shifting system
CN105721892B (zh) * 2016-02-04 2019-01-15 北京广慧科技有限公司 一种地面数字电视单频网的数字电视内容监测方法及系统
US10375430B2 (en) * 2017-08-24 2019-08-06 Skitter, Inc. Method for synchronizing GOPs and IDR-frames on multiple encoders without communication
CN107360464A (zh) * 2017-09-05 2017-11-17 珠海迈科智能科技股份有限公司 一种转码装置及方法
CN110708604B (zh) * 2019-09-03 2021-09-28 中国联合网络通信集团有限公司 一种视频转发服务器的ip信道带宽的适配方法及装置
WO2022112579A2 (en) * 2020-11-29 2022-06-02 Appario Global Solutions (AGS) AG Method and system for capturing images
JP2023551520A (ja) * 2020-12-01 2023-12-08 アリス エンタープライジズ リミティド ライアビリティ カンパニー Ｒ－ｍａｃｐｈｙデバイスを使用した部分的なビデオ非同期サポート
MX2023008862A (es) * 2021-02-01 2023-08-15 Arris Entpr Llc Velocidad de rotacion de video adaptativa para el suministro de video.
US11962400B2 (en) * 2021-05-03 2024-04-16 Arris Enterprises Llc System for channel map delivery for hi split cable networks
US20230247097A1 (en) * 2022-02-03 2023-08-03 At&T Intellectual Property I, L.P. Split input and output (io) for managing interactive sessions between users
US11700402B1 (en) * 2022-03-25 2023-07-11 Nvidia Corporation Dynamically reducing stutter and latency in video streaming applications

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5835493A (en) * 1996-01-02 1998-11-10 Divicom, Inc. MPEG transport stream remultiplexer
US6931071B2 (en) * 2001-08-31 2005-08-16 Stmicroelectronics, Inc. Apparatus and method for synchronizing video and audio MPEG streams in a video playback device
US20030169813A1 (en) 2002-03-08 2003-09-11 Van Der Schaar Mihaela Method and apparatus to execute a smooth transition between FGS encoded structures
EP1791346A1 (en) * 2005-11-25 2007-05-30 BRITISH TELECOMMUNICATIONS public limited company Backup system for video and signal processing systems
US20100312828A1 (en) * 2009-06-03 2010-12-09 Mobixell Networks Ltd. Server-controlled download of streaming media files
US9100689B2 (en) * 2010-03-24 2015-08-04 Google Technology Holdings LLC Moving content between set top box and end devices in home
US9369723B2 (en) * 2011-07-14 2016-06-14 Comcast Cable Communications, Llc Preserving image quality in temporally compressed video streams

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106210884A (zh) * 2016-07-13 2016-12-07 腾讯科技（深圳）有限公司 视频文件的转码方法和装置
WO2018010662A1 (zh) * 2016-07-13 2018-01-18 腾讯科技（深圳）有限公司 视频文件的转码方法，装置及存储介质
CN106210884B (zh) * 2016-07-13 2019-02-26 腾讯科技（深圳）有限公司 视频文件的转码方法和装置
CN112672163A (zh) * 2019-10-16 2021-04-16 迪士尼企业公司 用于分段流动性的代码转换器调节

Also Published As

Publication number Publication date
US20130044803A1 (en) 2013-02-21
IL219815A (en) 2016-06-30
US8855197B2 (en) 2014-10-07

Similar Documents

Publication Publication Date Title
CN102938848A (zh) 瞬时解码器刷新帧对准的多位速率代码转换器输出
US11627351B2 (en) Synchronizing playback of segmented video content across multiple video playback devices
US10820065B2 (en) Service signaling recovery for multimedia content using embedded watermarks
EP2752023B1 (en) Method to match input and output timestamps in a video encoder and advertisement inserter
US12010401B2 (en) Systems and methods for production of fragmented video content
US10397633B2 (en) Receiver apparatus and synchronization processing method thereof
US8803906B2 (en) Method and system for converting a 3D video with targeted advertisement into a 2D video for display
CN105144727A (zh) 用于快速切换的编解码技术
CN105247437A (zh) 同步多个ott流传输客户端
US11765409B2 (en) Publishing a disparate live media output stream manifest that includes one or more media segments corresponding to key events
US10693642B1 (en) Output switching for encoded content streams
CN103686203A (zh) 视频转码方法及装置
US20130064308A1 (en) Coding and decoding synchronized compressed video bitstreams
EP3826313B1 (en) Video/audio transmission system, transmission method, transmission device, and reception device
CA2969721A1 (en) Location agnostic media control room and broadcasting facility
US20150201012A1 (en) Synchronization of streaming data with variable boundary placement
JP5632711B2 (ja) 送信装置、受信装置及び伝送システム
JP6679500B2 (ja) 視聴覚コンテンツストリームをｍｐｅｇ−２プライベートセクションでカプセル化する方法、ｍｐｅｇ−２トランスポートストリームで多重送信されるように視聴覚コンテンツをｍｐｅｇ−２プライベートセクションでカプセル化するためのデバイス、及び、視聴覚コンテンツおよび／またはデータを配信する方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1178721

Country of ref document: HK

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20130220

REG Reference to a national code

Ref country code: HK

Ref legal event code: WD

Ref document number: 1178721

Country of ref document: HK