CN102217309A - 使用hrd信息共享和比特分配等待的多线程视频编码 - Google Patents

使用hrd信息共享和比特分配等待的多线程视频编码 Download PDF

Info

Publication number
CN102217309A
CN102217309A CN2009801454776A CN200980145477A CN102217309A CN 102217309 A CN102217309 A CN 102217309A CN 2009801454776 A CN2009801454776 A CN 2009801454776A CN 200980145477 A CN200980145477 A CN 200980145477A CN 102217309 A CN102217309 A CN 102217309A
Authority
CN
China
Prior art keywords
gop
wait
semaphore
bit
thread
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2009801454776A
Other languages
English (en)
Other versions
CN102217309B (zh
Inventor
杨华
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
International Digital Madison Patent Holding SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN102217309A publication Critical patent/CN102217309A/zh
Application granted granted Critical
Publication of CN102217309B publication Critical patent/CN102217309B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/142—Detection of scene cut or scene change
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/177—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a group of pictures [GOP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

一种对视频进行编码的方法，其中单遍地从缓冲器对多个线程的GOP并列地进行编码。在该缓冲器中，场景末尾的具有比低帧阈值少的帧的GOP与前一GOP合并。用于每个GOP的假想参考解码器(HRD)信息被存储在缓冲器中，并且用于相邻GOP的HRD信息在缓冲器中被合并。

Description

使用HRD信息共享和比特分配等待的多线程视频编码
相关申请的交叉引用
本申请要求结合于此的2008年11月13日递交的美国临时申请No.61/199,180的权益。
技术领域
本发明涉及视频编码，更具体地，涉及使用HRD信息共享和比特分配等待来在具有多个线程的GOP(图片组)并行的单遍视频编码器中支持HRD(假想参考解码器)一致性。
背景技术
HRD一致性(conformance)是已编码视频比特流在实际的视频流系统中被成功递送的必要条件，在实际的视频流系统中，已编码比特流需要通过网络被发送到远程客户解码器并被解码器成功解码以用于平滑的视频播放。解码器具有将不停地从网络接收递送的视频比特流的有限大小的解码缓冲器。同时，解码模块将从缓冲器中取出每个编码单元(例如，帧)的缓冲比特流，进行解码并播出重新构造的视频信号。在实际的视频流系统中，解码器缓冲是必需的以便吸收现今网络的信道传输速率的不可避免的抖动，从而呈现不间断而平滑的解码视频播出。
因此，HRD一致性本质上是与满足对于已编码视频比特流的解码器缓冲约束相同的问题。
通过在编码器处假设一组HRD参数并在对每个帧(或者一般地，H.264中的片(slice))进行编码时遵守所假设的HRD参数，产生的已编码比特流于是能够被同样遵守同一组HRD参数的任何解码器成功解码。这有助于来自视频编解码相关行业的不同制造商的编码器和解码器之间的合作。HRD一致性的重要性已被广泛认识到并在最新的H.264/AVC视频编码标准的附录C中被标准化。
一般地，有关的HRD或解码器缓冲参数包括：定义公知的漏桶模型的缓冲大小、初始缓冲水平(initial buffer level)和信道速率。HRD一致性意味着当将已编码比特流数据填充到缓冲器中以及取出用于每编码单元解码的比特流时，将不存在缓冲上溢或下溢。因此，为了支持HRD一致性，视频编码器必须：(i)在对每个单元(例如，帧或场)进行编码后准确跟踪当前缓冲水平；(ii)基于此，导出下一单元的编码比特的上界限和/或下界限；(iii)确保该单元的已编码比特不超过所述界限。实践中，缓冲约束问题是通过视频编码器的速率控制方案来解决的。
在具有多个线程的GOP并行的单遍(single-pass)视频编码器中支持HRD一致性提出了一个要解决的难题。在实时视频编码系统的该通用体系结构中，多个GOP可分别通过多个编码线程来同时编码，并且每个GOP仅可被编码一次。虽然GOP并行和单遍编码容易地大大加快了编码处理，但是副作用是支持HRD一致性成为比在GOP串行单线程编码的传统情况中难得多的任务。在GOP串行视频编码中，当对GOP进行编码时，所有先前的帧都已被编码，它们的已编码比特因此可被容易地用来准确地跟踪当前缓冲水平和导出用于HRD一致性编码的正确界限。然而，在GOP并行编码的情况中，当一个线程正要对当前GOP进行编码时，其先前的GOP中的某些可能仍在被某些其他线程编码。这被示于图1，其中阴影区域表示GOP中的已编码部分。对于这些GOP，当对当前GOP进行编码时，准确的已编码比特是未知的，这使得HRD一致性编码不可能。
一般地，在多遍系统(multi pass system)中，人们必须让每个GOP准确地消耗在其实际编码之前被分配给它的所有预算比特(budget bit)。这样，对于那些部分被编码的GOP，人们只能将它们的分配比特假设为它们的最终已编码比特，并使用它们来跟踪缓冲状态。然而，在单遍实时视频编码场合中，准确地实现任一GOP的预分配的比特对于速率控制而言是非常有挑战性的任务。注意，如果多遍编码被允许，则准确的GOP比特实现更容易也更直观(straightforward)。在这种情况下，即使GOP的预分配的比特可能未准确地被已编码的GOP实现，考虑到所有GOP一次被编码，人们也可以进行HRD一致性检查。如果发现了HRD违反(violation)(即，缓冲上溢或下溢)，则编码器可以用新分配的比特对故障GOP重新编码以防止违反。在第二遍编码之后，编码器可以再次进行HRD检查，依此类推，直至没有HRD违反产生。然而，该HRD调整在单遍视频编码中是不可能的，其中为了支持HRD一致性，准确地实现GOP分配的比特是唯一可行之路。
解码器缓冲约束或HRD一致性问题长期以来被认为是开发用于视频流应用中的视频编码器的实用速率控制方案的重要问题。然而，到目前为止，大多数现有工作集中于GOP串行单线程编码情况，其中满足缓冲约束在实践中通常不是什么难题。
发明内容
提供了一种对视频进行编码的方法，其中单遍地从缓冲器对多个线程的GOP并列地进行编码。在该缓冲器中，场景末尾的具有比低帧阈值少的帧的GOP与前一GOP合并。用于每个GOP的假想参考解码器(HRD)信息被存储在缓冲器中，并且缓冲器中的相邻GOP的HRD信息被合并。该方法还可包括为每个GOP分配若干比特，其中所述多个线程可在开始它们各自的编码之前等待所有未编码的GOP的比特分配，其中在完成编码后，每个已编码线程向每个等待线程发出相应的等待终止旗语。另外，每个等待线程可从已编码线程接收等待终止旗语。为了防止旗语等待死锁，每当一个等待线程在接收到等待终止旗语之后终止其等待并且然后立即建立用于等待在其GOP之前且尚未被分配比特的新的最早GOP的比特分配结果的新旗语时，该新的等待旗语是与等待终止旗语分开且不同的旗语。
提供了视频编码器等，所述视频编码器等包含：缓冲器；编码模块，所述编码模块单遍地从缓冲器对多个线程的图片组(GOP)并列地进行编码；合并模块，所述合并模块将场景末尾的具有比低帧阈值少的帧的GOP与缓冲器中的前一GOP合并；以及HRD、HRD类型等信息监视模块，该模块为缓冲器中的每个GOP存储假想参考解码器(HRD)、HRD类型等信息，并合并缓冲器中的相邻GOP的信息。该编码器还可包括用于为每个GOP分配若干比特的分配模块，其中所述多个线程可在开始它们各自的编码之前等待所有未编码的GOP的比特分配。所述编码器可包括多个等待终止旗语，每个等待终止旗语被从已编码线程发送到相应的等待线程。每个等待线程可从已编码线程接收等待终止旗语。为了防止编码器中的旗语等待死锁，每当一个等待线程在接收到等待终止旗语之后终止其等待并且然后立即建立用于等待在其GOP之前且尚未被分配比特的新的最早GOP的比特分配结果的新旗语时，该新的等待旗语是与等待终止旗语分开且不同的旗语。
附图说明
现在将以示例方式参考附图来描述本发明，附图中：
图1是示出根据本发明的通过实时视频编码器中的多个编码线程来进行的多个GOP的并行编码的示图；
图2是根据本发明的用于GOP并行多线程单遍实时视频编码的HRD一致性支持速率控制方案的总体框架的框图；
图3是示出根据本发明的比特过剩(overshooting)补偿的MB级速率控制的框图；并且
图4是示出在对GOP中的最后一帧进行编码后的填充单元添加的框图。
具体实施方式
本公开中的至少一个实施方式正好解决了这种GOP级准确比特实现的问题，并且提出了用于实现该目标的补偿性速率控制方案。所提议的方案主要包括：场景末尾(scene-end)短GOP合并，比特预算舍入(rounding)，GOP和帧级比特保留，比特过剩补偿的MB级速率控制，填充单元添加，以及高效多线程编码信息缓冲和通信。利用具有多个线程的实际单遍实时视频编码器进行的广泛试验表明所提出的方案总是保证HRD一致性，其中失败总是罕见的。
对于有关的GOP并行多线程视频编码情况，如果多遍GOP编码被允许，则支持HRD一致性对于该方案的实施也显得直观而容易，即每当发现了违反，就通过HRD调整来对相关GOP重新编码直到整个已编码比特流通过指定的HRD一致性检查。因此，这种情况下，虽然精确的GOP比特实现是有用的技术，但是准确的GOP比特实现不是必须的。
然而，在本公开中的至少一个实施方式中，考虑作为用于实时视频编码的重要而有效的体系结构的GOP并行和单遍视频编码。这种情况下，准确的GOP比特实现对于HRD一致性支持是必须的，而这在实践中是个非常难的问题。这是因为视频信号是高度非静止的信号。然而，速率控制基于来自过去的已编码视频单元的估计模型来进行比特分配或实现。因此，过去的已编码视频单元和当前的编码视频单元的特性之间的不匹配或差别将导致速率控制的不准确，并因此导致不可避免的比特过剩或不足(undershooting)。对于有效的HRD一致性支持，人们必须开发使得速率控制对于视频信号的非静止性足够鲁棒并因此总是准确地实现用于每个GOP编码的预分配比特的技术。
至少一个实施例给出了用于实现每个GOP的准确的预分配比特、因此在如前所讨论的具有多个线程的GOP并行单遍实时视频编码的情况中有效地支持HRD一致性的综合有效的速率控制方案。所提出的方案主要包括下面将更详细地描述的以下技术：
(i)场景末尾短GOP合并：将场景末尾处的太短的GOP与其前一GOP合并，以避免太短的GOP的可能高度不准确的速率控制。
(ii)比特预算舍入：用于GOP的预分配比特预算以及用于GOP中的最后一个编码帧的预分配比特预算都被舍入成用于比特准确的比特实现的字节。
(iii)比特保留：GOP级和帧级比特保留，以防止帧级和MB级比特分配中的短缺比特的情形。
(iv)比特过剩补偿：在MB级速率控制中，比特过剩影响被补偿以防止对帧进行编码的比特过剩。
(v)填充单元添加：适当量的填充单元字节被添加到GOP中最后一个已编码帧之后以便最终用光所有剩余比特。
(vi)多线程编码信息缓冲和通信：其在所有编码线程之间缓冲和共享编码信息，包括：用于减小的缓冲器大小的有效的已编码GOP合并，以及具有两个旗语(semaphore)的线程间等待机制等等。所提出的方案的细节在图2中描述。首先，在步骤20，输入帧被分割成随后被缓冲到FIFO(先进先出)队列中的GOP。在步骤22，第一可用编码线程将从编码队列的顶部取出最早的可用GOP。注意，在GOP分割中，场景末尾的短GOP合并是优选的。这是因为由于短GOP的有限的总比特预算，因此如(iii)所述的用于防止帧级比特分配中的比特短缺的GOP级保留比特也有限。因此，比特过剩比大GOP更难防止。因此，如果场景末尾的GOP太短(例如，小于5帧)，则GOP将与前一GOP合并以形成更大的GOP，这将减轻用于速率控制的准确GOP比特实现的负担。
接着，在步骤24，对当前GOP进行编码的线程将检查当前GOP是否立即跟着该线程的上一已编码GOP。如果是，则该线程可以仅继续跟踪从上一已编码GOP产生的缓冲状态。否则，在当前的和上一已编码GOP之间存在正在被或已被某些其他线程编码的一个或多个GOP。这种情况下，当前线程需要基于HRD_info_buffer(HRD信息缓冲器)中缓冲的所有线程的编码信息来更新当前缓冲器状态，这将在稍后详细说明。具体地，对于中间的GOP，它们的分配比特或者它们的实际已编码比特将被假设为它们的最终已编码比特以导出当前缓冲水平。如果存在甚至尚未被分配比特的GOP，则当前线程将在步骤25等待那些GOP的比特分配的完成。由于从GOP被指派给线程到GOP的比特分配完成的时间总是可以忽视的，因此该等待将不会在编码中产生严重的延迟。关于线程间的等待，另一个重要问题是避免等待死锁。在实践中，发现为了防止死锁，有必要拥有两个分开的等待旗语。考虑图1，我们假设当线程2、3、4将分别对GOP_(i+1)，(i+3)，(i+4)进行编码，线程1仍未完成GOP_i的比特分配。因此，线程2、3、4必须等待线程1的对GOP_i的比特分配。在实践中，通用的线程间通信机制被称为旗语。因此，当线程1完成GOP_i的比特分配时，它将向那3个等待线程发出3个旗语。接收到期待的等待终止旗语后，线程将终止其等待状态。然而，在我们的情况中，如果线程3或4比线程2早接收到等待终止旗语，则它们将继续其处理并立即建立用于GOP_(i+1)的分配比特的新等待。因此，如果只有一个等待旗语，则由于GOP_i的比特分配的完成，新的等待将直接采用又一个等待终止旗语。这种情况下，线程2将不会从线程1成功接收其期待的等待终止旗语，因此，等待死锁。因此，两个分开的旗语是必要的。这样，线程2的新等待将不会采用来自线程1的等待终止旗语，并且因此，等待死锁将不会发生。
从图2可以看出，线程随后继续移动到当前GOP编码。首先，在步骤26，当前GOP的比特预算将经由GOP级速率控制被计算。这里，对于准确GOP分配比特实现的本目标，人们必须将分配比特预算舍入成字节，如在所有现今视频编码标准(例如，H.264/AVC)中那样，每个编码单元(例如，片)将以整数个字节被编码到比特流中。因此，GOP比特预算舍入对于准确比特实现是必需的。类似地，每个帧的比特预算也被舍入成字节，如图2所示。
当前线程随后会将当前GOP的分配比特记录到HRD_info_buffer中。如果如前所讨论存在等待当前GOP的比特分配结果的某些其他线程，则当前线程将发出相应数目的等待终止旗语以将结果通知给它们并终止它们的等待(步骤28)。
然后，来到用于GOP级比特保留的步骤30。基本上，在对GOP进行编码之前，一定量的比特首先被保留，以防止剩余帧的比特分配中可能的比特短缺情形。由于速率控制的不准确，如果没有足够的比特来对某一帧进行编码，则对于该帧将很可能发生比特过剩，这可能使最终的GOP的准确比特实现失败。因此，比特保留是必需的。在当前的实施方式中，GOP级比特保留和保留比特的花费像下面这样被执行。注意，这里，分别为防止GOP的中间帧的比特短缺情形和对最后一帧的编码单独保留比特。这是因为防止比特过剩对于最终的准确GOP比特实现至关重要，并且因此绝对比其他中间帧重要得多。
GOP级比特保留基于以下公式来在步骤30中完成：
reserved_bits_to_prevent_FBA_short_of_bits＝Round_to_bytes[0.5*min(min(current_GOP_length，5)*target_bit_tate/frame_tate，curr_GOP_target_bits)*0.1].
reserved_bits_for_the_last_frame＝reserved_bits_to_prevent_FBA_short_of_bits.
curr_GOP_target_bits＝curr_GOP_target_bits-reserved_bits_for_the_last_frame-reserved_bits_to_prevent_FBA_short_of_bits.
FBA(帧级比特分配)中的GOP级保留比特的花费在步骤32中被管理并基于以下公式和逻辑：
·如果当前帧不是GOP中的最后一帧，并且如果当为该帧分配比特时发生比特短缺，则在当前帧比特分配中使用目前剩余的reserved_bits_to_prevent_FBA_short_of_bits的一半。如果仍然短缺比特，则继续花费剩余的保留比特的一半，直到没有比特短缺发生或没有剩余的保留比特。
·如果当前帧是GOP中的最后一帧，则将所有剩余的保留比特、即reserved_bits_for_the_last_frame加上剩余的reserved_bits_to_prevent_FBA_short_of_bits(如果有的话)之后添加到其帧目标比特预算上。
在实践中，FBA中的比特短缺应被适当地限定以帮助防止不受控的比特过剩进行帧编码。在我们目前的实施方式中，当对于帧的比特分配并且考虑到所有剩余比特和所有剩余帧，用于预测残余编码的估计剩余比特不代表总剩余比特的大部分(例如，小于15％)时，被认为是比特短缺。该用于预测残余编码的估计剩余比特是不包括估计总首部比特和运动向量等在内的总剩余比特，估计总首部比特包括NAL或VCL单元首部、图片首部和MB(宏块)首部。由于在比特短缺的情况下，即使用于残余编码的预分配比特不够，实践中，为了保持可接受的编码质量，最少数目的比特也仍将被用于对该残余进行编码，因此，对于已编码的帧，比特过剩。
除了GOP级比特保留，实践中，根据本发明的帧级比特保留技术被示于步骤50-60并如下所述。对于GOP中的最后一帧，curr_frm_target_bits＝curr_frm_target_bits*0.8。否则，对于短GOP(即，GOP长度小于5)中的第一个I帧，curr_frm_target_bits＝curr_frm_target_bits*0.9。
虽然为帧分配了足够的比特，但是帧编码内的速率控制不准确仍可能使最终的已编码帧比特超过原始目标。为此，我们提出了用于有效的帧比特过剩防止的另一种技术，即比特过剩补偿的MB级速率控制，它在图3中被详细描述。这里，相关变量在步骤50被初始化并且检查点(步骤52)定义在MB级速率控制中多久进行一次比特过剩补偿。参考步骤54、56，在一个实施例中，每当额外数目(curr_frm_target_bits*10％)的比特被编码在帧中，就将被认为到达新的检查点。比特过剩比率将基于该新编码的10％的curr_frm_target_bits的编码结果而被估计，并且被应用于剩余目标比特以补偿估计的比特过剩影响。从图3可以看出，如果一个帧不是GOP中的最后一帧，则松弛的(relaxed)比特过剩比率将被使用，因为这种情况中的比特过剩防止不像在最后一帧编码的情况中那么急迫。
参考图4，最后，在对GOP中的所有帧进行编码后，编码器线程此时将检查是否所有的预分配GOP比特都已被使用。如果仍剩余了大量分配比特，则填充单元将在步骤73、74处被添加到GOP中的最后一帧的已编码比特流之后，这将消耗所有剩余比特以便使GOP的总的已编码比特与其预分配比特准确地相同，并因此成功地支持HRD一致性。填充单元是在H.264/AVC中定义的只包含例如全1或全0比特的哑内容(dummy content)的哑单元。所提出的填充单元添加方案在图4中被描述。这里，对于H.264定义的填充单元，其首部字节的数目为6。注意，在这里，curr_frm_target_bytes表示帧级比特保留之前的原始当前帧目标字节。从图3可以看出，如果在步骤70中curr_frm_target_bytes本身与HRD上界限和/或下界限冲突，则即使有了当前GOP的准确比特实现，HRD一致性也将失败(步骤76)。如果对于最后一帧存在比特过剩，即，curr_frm_target_bytes＜curr_frm_coded_bytes，或者如果剩余的未使用分配字节少于最小填充单元字节即步骤72所示的填充单元首部字节，则HRD一致性也将失败。
在对GOP进行编码之后，已编码的GOP比特将被适当地记录在HRD_info_buffer中。注意，与记录分配GOP比特不同，由于GOP编码花费大量时间，因此等待GOP已编码比特的线程在实时视频编码情况中不实用。
此外，所提出的高效机制被引入以在多个编码线程之间缓冲和共享GOP编码信息。编码信息缓冲器被表示为HRD_info_buffer。为了简洁，HRD_info_buffer初始化未被包含在图2中。所提出的HRD_info_buffer由两部分构成：(i)一个用来缓冲从序列的第一个GOP开始可以被串接(concatenate)在一起的所有已编码GOP的HRD信息的单个CodedSeqHrdInfo缓冲器；(ii)用于缓冲不能与CodedSeqHrdInfo缓冲器中的最后一个GOP串接在一起的所有正在编码或已编码GOP的编码信息的(2*total_number_of_threads)个CodedGOPHrdInfo缓冲器。如图1所例示，CodedGOPHrdInfo用于存储每个已编码的GOP(即，GOP_(i+2))或正在编码的GOP(即，GOP_i，(i+1)，(i+3)，(i+4))的已分配和已编码的GOP比特，而CodedSeqHrdInfo记录从序列的最开头起、可以与所有过去的已编码GOP连续串接在一起的、直到最后一个已编码GOP的缓冲器状态信息，即图1中标记的“已编码序列”的信息。
在实践中，用于高效地管理CodedGOPHrdInfo缓冲器的有效技术是相邻已编码GOP合并，它是指：如果在CodedGOPHrdInfo缓冲器中存在彼此相邻的两个已编码GOP，则这两个GOP已编码信息将被合并到一起。该合并在图2中的“更新HRD_info_buffer w/t GOP已编码比特”模块中被涉及，并且大大减小了所提出的CodedGOPHrdInfo缓冲器的缓冲器大小。例如，在我们当前的实施方式中，人们可以安全地将其缓冲器大小设为(2*total_number_of_threads)。否则，缓冲器大小将会为(2*total_number_of_threads*max_GOP_length)，其中max_GOP_length在实践中可能非常大(例如，＞150)。
最后，要重要强调的是，已针对所提出的HRD一致性支持方案利用实际的GOP并行单遍实时视频编码器进行了广泛试验。结果表明利用所提出的方案，HRD失败总是罕见的，因此，HRD一致性被有效地支持。
提供了具有特定特征和方面的一个或多个实施方式。然而，所描述的实施方式的特征和方面还可适用于其他实施方式。虽然这里描述的实施方式可能是在特定语境中描述的，但是这种描述绝不应被理解为将所述特征和概念限制在该实施方式或语境上。
这里描述的实施方式例如可以通过方法或处理、设备或软件程序来实现。即使仅在单一形式的实施方式的语境下讨论(例如，仅作为方法来讨论)，所讨论的实施方式或特征也可以通过其他形式(例如，设备或程序)来实现。设备例如可以通过适当的硬件、软件和固件来实现。方法例如可以通过诸如计算机或其他处理设备之类的设备来实现。另外，方法可以通过被处理设备或其他装置执行的指令来实现，并且这种指令可被存储在例如CD或其他计算机可读存储设备之类的计算机可读介质或集成电路上。此外，计算机可读介质可存储由实施方式产生的数据值。
本领域技术人员应该明白，实施方式还可产生被格式化以便承载例如可被存储或传送的信息的信号。该信息例如可包括用于执行方法的指令或由所描述的实施方式之一产生的数据。
另外，很多实施方式可以通过编码器、编码器的预处理器、解码器或解码器的后处理器中的一个或多个来实现。所描述或构想的实施方式可用在各种不同的应用和产品中。应用或产品的某些示例包括机顶盒、移动电话、个人数字助理(PDA)、电视、个人记录设备(例如，PVR、计算机运行的记录软件、VHS记录设备)、摄录机(camcorder)、数据通过因特网或其他通信链路的流传输和点播视频。
此外，其他实施方式可通过本公开来构想。例如，另外的实施方式可通过组合、删除、修改或补充所公开的实施例的各种特征来创建。
以下列表提供了各种实施方式的短列表。该列表不打算成为穷尽性的，而仅打算提供多个可能的实施方式中的很小数目的简短描述。
1.GOP并行多线程单遍视频编码器，采用所提出的综合速率控制方案来经由准确的GOP比特实现而支持HRD一致性。
2.实施方式1，其中准确的GOP比特实现是通过包含以下提议的技术中的一个或多个来实现的：(i)场景末尾短GOP合并以减少短GOP的出现；(ii)GOP级和帧级比特预算舍入成字节；(iii)GOP级比特保留，用于防止帧级比特分配中的比特短缺；(iv)帧级比特保留；(v)MB级速率控制中的比特过剩补偿；(vi)填充单元添加到对GOP进行编码的末尾；(vii)多线程编码信息缓冲和通信机制，具有用于减小缓冲器大小的相邻GOP合并，并使用两个分开的线程间等待旗语来防止等待死锁。
3.实施方式2，其中在GOP级比特保留中，为GOP的中间帧和GOP的最后一帧分开保留比特，以防止GOP中间帧的帧级比特分配中的比特短缺情形和防止GOP最后一帧的比特过剩。
4.实施方式3，其中帧级比特分配中的比特短缺被定义为没有足够的比特来进行帧的预测残余编码。
5.实施方式2，其中MB级速率控制中的比特过剩补偿包括如图3所定义的周期性的比特过剩检查、自适应的比特过剩比率估计以及剩余目标比特调整。
6.从本公开描述的任何实施方式产生的信号。
7.根据本公开描述的一个或多个实施方式来创建、聚集、存储、发送、接收和/或处理视频编码信息，包括HRD信息。
8.能够根据所描述的实施方式之一来操作或与所描述的实施方式之一通信的设备(例如，编码器、解码器、预处理器或后处理器)。
9.根据本公开描述的一个或多个实施方式的、用于存储一组用于执行HRD一致性的指令或一个或多个HRD一致性引擎的设备(例如，计算机可读介质)。
10.根据本公开描述的一个或多个实施方式的、被格式化以便包含与HRD或与HRD输出或操作有关的信息的信号。
11.实施方式10，其中所述信号表示数字信息。
12.实施方式10，其中所述信号是电磁波。
13.实施方式10，其中所述信号是基带信号。
14.实施方式10，其中所述信息包括残余数据、运动向量数据和参考指示符数据中的一个或多个。
这些实施方式有利地给出用于确保每个GOP在编码之后不多不少地准确使用预分配的比特预算的综合方案，这有效地在单遍实时视频编码系统中支持HRD一致性。
以上例示了用于实施本发明的某些可能性。在本发明的范围和精神内，很多其他实施例是可能的。因此，希望前述说明被当作例示性而非限制性的，并且发明的范围由所附权利要求及其完整范围的等同物来给出。

Claims (15)

1.一种对视频进行编码的方法，包括以下步骤：
单遍地从缓冲器对多个线程的GOP并列地进行编码；
在所述缓冲器中，将场景末尾的具有比低帧阈值少的帧的GOP与前一GOP合并；
将每个GOP的假想参考解码器(HRD)信息存储在所述缓冲器中；以及
合并所述缓冲器中的相邻GOP的HRD信息。
2.根据权利要求1所述的方法，还包括为每个GOP分配若干比特的步骤，其中所述多个线程在开始它们各自的编码之前等待所有未编码的GOP的比特分配。
3.根据权利要求2所述的方法，其中在完成编码后，每个已编码线程向每个等待线程发出相应的等待终止旗语。
4.根据权利要求2所述的方法，其中每个等待线程从已编码线程接收等待终止旗语。
5.根据权利要求4所述的方法，其中为了防止旗语等待死锁，每当一个等待线程在接收到等待终止旗语之后终止其等待并且然后立即建立用于等待在其GOP之前且尚未被分配比特的新的最早GOP的比特分配结果的新旗语时，该新的等待旗语是与所述等待终止旗语分开且不同的旗语。
6.一种视频编码器，包括：
缓冲器；
编码模块，所述编码模块单遍地从所述缓冲器对多个线程的图片组(GOP)并列地进行编码；
合并模块，所述合并模块将场景末尾的具有比低帧阈值少的帧的GOP与所述缓冲器中的前一GOP合并；以及
HRD信息监视模块，所述HRD信息监视模块为所述缓冲器中的每个GOP存储假想参考解码器(HRD)信息，并合并所述缓冲器中的相邻GOP的HRD信息。
7.根据权利要求6所述的编码器，还包括用于为每个GOP分配若干比特的分配模块，其中所述多个线程在开始它们各自的编码之前等待所有未编码的GOP的比特分配。
8.根据权利要求7所述的编码器，还包括多个等待终止旗语，每个等待终止旗语被从已编码线程发送到相应的等待线程。
9.根据权利要求7所述的编码器，其中每个等待线程从已编码线程接收等待终止旗语。
10.根据权利要求9所述的编码器，其中为了防止旗语等待死锁，每当一个等待线程在接收到等待终止旗语之后终止其等待并且然后立即建立用于等待在其GOP之前且尚未被分配比特的新的最早GOP的比特分配结果的新旗语时，该新的等待旗语是与所述等待终止旗语分开且不同的旗语。
11.一种对视频进行编码的方法，包括以下步骤：
单遍地从缓冲器对多个线程的GOP并列地进行编码；
在所述缓冲器中，将场景末尾的具有比低帧阈值少的帧的GOP与前一GOP合并；
将每个GOP的解码器信息存储在所述缓冲器中；以及
合并所述缓冲器中的相邻GOP的信息。
12.根据权利要求11所述的方法，还包括为每个GOP分配若干比特的步骤，其中所述多个线程在开始它们各自的编码之前等待所有未编码的GOP的比特分配。
13.根据权利要求12所述的方法，其中在完成编码后，每个已编码线程向每个等待线程发出相应的等待终止旗语。
14.根据权利要求12所述的方法，其中每个等待线程从已编码线程接收等待终止旗语。
15.根据权利要求14所述的方法，其中为了防止旗语等待死锁，每当一个等待线程在接收到等待终止旗语之后终止其等待并且然后立即建立用于等待在其GOP之前且尚未被分配比特的新的最早GOP的比特分配结果的新旗语时，该新的等待旗语是与所述等待终止旗语分开且不同的旗语。
CN200980145477.6A 2008-11-13 2009-11-12 使用hrd信息共享和比特分配等待的多线程视频编码 Active CN102217309B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US19918008P 2008-11-13 2008-11-13
US61/199,180 2008-11-13
PCT/US2009/006084 WO2010056327A1 (en) 2008-11-13 2009-11-12 Multiple thread video encoding using hrd information sharing and bit allocation waiting

Publications (2)

Publication Number Publication Date
CN102217309A true CN102217309A (zh) 2011-10-12
CN102217309B CN102217309B (zh) 2014-04-09

Family

ID=42170209

Family Applications (2)

Application Number Title Priority Date Filing Date
CN200980145217.9A Active CN102217308B (zh) 2008-11-13 2009-11-12 使用画面组合并和位分配的多线程视频编码
CN200980145477.6A Active CN102217309B (zh) 2008-11-13 2009-11-12 使用hrd信息共享和比特分配等待的多线程视频编码

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN200980145217.9A Active CN102217308B (zh) 2008-11-13 2009-11-12 使用画面组合并和位分配的多线程视频编码

Country Status (5)

Country Link
US (2) US9143788B2 (zh)
EP (2) EP2345243B1 (zh)
JP (2) JP5774995B2 (zh)
CN (2) CN102217308B (zh)
WO (3) WO2010056315A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8792550B2 (en) * 2011-08-04 2014-07-29 Qualcomm Incorporated Color/gray patch prevention for video coding
US20130041975A1 (en) * 2011-08-10 2013-02-14 Nathalie Pham Distributed media access
US20130077690A1 (en) * 2011-09-23 2013-03-28 Qualcomm Incorporated Firmware-Based Multi-Threaded Video Decoding
CN103124345A (zh) * 2011-11-18 2013-05-29 江南大学 并行编码方法
EP2608537A1 (en) * 2011-12-21 2013-06-26 Thomson Licensing Parallel and distributed processing of video data
US9432664B2 (en) * 2012-09-28 2016-08-30 Qualcomm Incorporated Signaling layer identifiers for operation points in video coding
CN104704823B (zh) * 2012-10-09 2019-01-29 索尼公司 图像处理装置和方法
US9148672B2 (en) * 2013-05-08 2015-09-29 Mediatek Inc. Method and apparatus for residue transform
US20140362098A1 (en) * 2013-06-10 2014-12-11 Sharp Laboratories Of America, Inc. Display stream compression
WO2014205690A1 (zh) * 2013-06-26 2014-12-31 北京大学深圳研究生院 视频压缩编码方法及编码器
US10523957B2 (en) * 2014-10-08 2019-12-31 Vid Scale, Inc. Optimization using multi-threaded parallel processing framework
KR101897959B1 (ko) 2015-02-27 2018-09-12 쏘닉 아이피, 아이엔씨. 라이브 비디오 인코딩 및 스트리밍에서의 프레임 복제 및 프레임 확장을 위한 시스템 및 방법
US10602153B2 (en) * 2015-09-11 2020-03-24 Facebook, Inc. Ultra-high video compression
CN105306949B (zh) * 2015-12-04 2020-05-26 中星技术股份有限公司 视频编码方法和装置
CN105721874B (zh) * 2016-02-05 2019-05-17 南京云岩信息科技有限公司 一种并行高效视频编码的帧内闪烁减弱法
CN109429070A (zh) * 2017-08-23 2019-03-05 杭州海康威视系统技术有限公司 一种移动终端视频编码方法、装置及移动终端
CN109218722B (zh) * 2018-11-22 2020-10-02 北京金山云网络技术有限公司 一种视频编码方法、装置及设备
CN110677664B (zh) * 2019-09-24 2021-07-13 杭州当虹科技股份有限公司 一种面向4k/8k超高清视频编码的低抖动码率控制方法
CN112019856A (zh) * 2020-08-27 2020-12-01 上海七牛信息技术有限公司 一种用于智能手机的视频倒转方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208691B1 (en) * 1997-03-28 2001-03-27 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
US20020021756A1 (en) * 2000-07-11 2002-02-21 Mediaflow, Llc. Video compression using adaptive selection of groups of frames, adaptive bit allocation, and adaptive replenishment
US20040172631A1 (en) * 2001-06-20 2004-09-02 Howard James E Concurrent-multitasking processor
US20040230794A1 (en) * 2003-05-02 2004-11-18 Paul England Techniques to support hosting of a first execution environment by a second execution environment with protection for the first execution environment
US6963608B1 (en) * 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US20060126728A1 (en) * 2004-12-10 2006-06-15 Guoyao Yu Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
US20080232459A1 (en) * 2007-03-19 2008-09-25 Sony Corporation System and method to control compressed video picture quality for a given average bit rate
CN101287112A (zh) * 2008-06-03 2008-10-15 方春 快速高效应码率控制的优化方法

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5842033A (en) * 1992-06-30 1998-11-24 Discovision Associates Padding apparatus for passing an arbitrary number of bits through a buffer in a pipeline system
US5623424A (en) * 1995-05-08 1997-04-22 Kabushiki Kaisha Toshiba Rate-controlled digital video editing method and system which controls bit allocation of a video encoder by varying quantization levels
JP2795223B2 (ja) * 1995-07-18 1998-09-10 日本電気株式会社 画像信号の符号化方法
DE19630295A1 (de) 1996-07-26 1998-01-29 Thomson Brandt Gmbh Verfahren zur Codierung und Decodierung von digitalisierten Bildern eines Trickfilms sowie Vorrichtung zur Codierung und Decodierung von digitalisierten Bildern eines Trickfilms
JP4462643B2 (ja) * 1997-04-25 2010-05-12 ソニー株式会社 画像符号化方法及び画像符号化装置
JPH10304372A (ja) * 1997-04-30 1998-11-13 Sony Corp 画像符号化方法および装置、画像伝送方法
JPH1127662A (ja) * 1997-07-03 1999-01-29 Matsushita Electric Ind Co Ltd 画像符号化装置
JP3305999B2 (ja) * 1997-12-26 2002-07-24 日本ビクター株式会社 画像圧縮ストリーム編集装置及びその方法
EP0935395A2 (en) 1998-02-06 1999-08-11 Sony Corporation Video encoding methods and apparatus
US6278735B1 (en) * 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder
DE69815159T2 (de) * 1998-03-20 2004-04-08 Stmicroelectronics Asia Pacific Pte Ltd. Kodierung von bewegten bildern mit globaler konstanter bitrate
EP1092321A1 (en) 1999-04-30 2001-04-18 Koninklijke Philips Electronics N.V. Video encoding method with selection of b-frame encoding mode
US6771825B1 (en) * 2000-03-06 2004-08-03 Sarnoff Corporation Coding video dissolves using predictive encoders
KR20010087552A (ko) 2000-03-07 2001-09-21 구자홍 엠펙（ｍｐｅｇ）압축 비디오 환경에서 매크로 블록의시공간상의 분포를 이용한 디졸브/페이드 검출 방법
JP2002010259A (ja) 2000-06-21 2002-01-11 Mitsubishi Electric Corp 画像符号化装置及び画像符号化方法及び画像符号化プログラムを記録した記録媒体
US20020057739A1 (en) * 2000-10-19 2002-05-16 Takumi Hasebe Method and apparatus for encoding video
US7023924B1 (en) * 2000-12-28 2006-04-04 Emc Corporation Method of pausing an MPEG coded video stream
JP2003153268A (ja) * 2001-11-19 2003-05-23 Matsushita Electric Ind Co Ltd 映像符号化方法及び装置並びに記録媒体
US7035333B2 (en) * 2001-12-05 2006-04-25 Matsushita Electric Industrial Co., Ltd. Method of reverse play for predictively coded compressed video
US6788227B2 (en) * 2002-03-28 2004-09-07 International Business Machines Corporation Apparatus for integrated cascade encoding
US7483488B1 (en) * 2002-05-30 2009-01-27 Intervideo, Inc. Systems and methods for improving bit rate control of video encoding by correcting for the effects of scene changes and bit stuffing in a video buffer verifier (VBV) buffer model
US7388912B1 (en) * 2002-05-30 2008-06-17 Intervideo, Inc. Systems and methods for adjusting targeted bit allocation based on an occupancy level of a VBV buffer model
JP2004054069A (ja) 2002-07-23 2004-02-19 Advanced Display Inc 表示装置及び表示装置の断線修復方法
KR100794797B1 (ko) * 2002-10-14 2008-01-21 삼성전자주식회사 디지털 ａ/ｖ 데이터의 기록/재생 장치 및 그 제어방법
WO2004111789A2 (en) * 2003-06-10 2004-12-23 Rensselaer Polytechnic Institute A method for processing i-blocks used with motion compensated temporal filtering
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US7593580B2 (en) * 2003-07-14 2009-09-22 Texas Instruments Incorporated Video encoding using parallel processors
US7400683B2 (en) * 2003-11-18 2008-07-15 Lsi Corporation Device with virtual tilized image memory
US8315307B2 (en) * 2004-04-07 2012-11-20 Qualcomm Incorporated Method and apparatus for frame prediction in hybrid video compression to enable temporal scalability
JP4359184B2 (ja) 2004-05-11 2009-11-04 日本放送協会 予測情報・量子化値制御圧縮符号化装置、予測情報・量子化値制御圧縮符号化プログラム
US7881546B2 (en) * 2004-09-08 2011-02-01 Inlet Technologies, Inc. Slab-based processing engine for motion video
US7474701B2 (en) * 2004-09-23 2009-01-06 International Business Machines Corporation Single pass variable bit rate control strategy and encoder for processing a video frame of a sequence of video frames
BRPI0515723A (pt) 2004-11-04 2008-08-05 Thomson Licensing método e aparelho para a decisão de modo rápido de b-quadros em um codificador de vìdeo
US20060114995A1 (en) * 2004-12-01 2006-06-01 Joshua Robey Method and system for high speed video encoding using parallel encoders
JP2006186420A (ja) * 2004-12-24 2006-07-13 Canon Inc 撮像装置及び撮像装置の制御方法
US8325799B2 (en) * 2004-12-28 2012-12-04 Nec Corporation Moving picture encoding method, device using the same, and computer program
US7653129B2 (en) * 2004-12-28 2010-01-26 General Instrument Corporation Method and apparatus for providing intra coding frame bit budget
US20060159352A1 (en) * 2005-01-18 2006-07-20 Faisal Ishtiaq Method and apparatus for encoding a video sequence
EP1839446A1 (en) * 2005-01-19 2007-10-03 THOMSON Licensing Method and apparatus for real time parallel encoding
CN100505874C (zh) * 2005-02-01 2009-06-24 华为技术有限公司 一种视频编码速率控制的方法
JP4285431B2 (ja) * 2005-03-31 2009-06-24 Ｋｄｄｉ株式会社 ビデオ情報編集装置、方法及びプログラム
US7974341B2 (en) * 2005-05-03 2011-07-05 Qualcomm, Incorporated Rate control for multi-layer video design
US20060256854A1 (en) 2005-05-16 2006-11-16 Hong Jiang Parallel execution of media encoding using multi-threaded single instruction multiple data processing
JP2006324848A (ja) * 2005-05-18 2006-11-30 Nec Electronics Corp 情報処理装置及び情報処理方法
US7295642B2 (en) 2005-06-30 2007-11-13 Teradyne, Inc. Jitter compensation and generation in testing communication devices
EP1908303A4 (en) * 2005-07-01 2011-04-06 Sonic Solutions METHOD, DEVICE AND SYSTEM FOR USE IN MULTIMEDIA SIGNAL CODING
JP4528694B2 (ja) * 2005-08-12 2010-08-18 株式会社東芝 動画像符号化装置
CN100574427C (zh) * 2005-08-26 2009-12-23 华中科技大学 视频编码比特率的控制方法
JP4246723B2 (ja) 2005-08-29 2009-04-02 日本電信電話株式会社 フレーム内予測符号化制御方法、フレーム内予測符号化制御装置、フレーム内予測符号化制御プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体
JP4236654B2 (ja) * 2005-09-13 2009-03-11 株式会社東芝 動画像符号化装置及びその方法
US8239766B2 (en) * 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
US9602840B2 (en) 2006-02-06 2017-03-21 Thomson Licensing Method and apparatus for adaptive group of pictures (GOP) structure selection
JP4449915B2 (ja) * 2006-02-08 2010-04-14 ソニー株式会社 符号化装置、符号化方法およびプログラム、並びに、記録媒体
JP4286259B2 (ja) 2006-02-15 2009-06-24 三菱電機株式会社 映像再生装置及び逆方向再生方法
JP4178480B2 (ja) * 2006-06-14 2008-11-12 ソニー株式会社 画像処理装置、画像処理方法、撮像装置および撮像方法
US8036270B2 (en) * 2006-07-27 2011-10-11 Sharp Laboratories Of America, Inc. Intra-frame flicker reduction in video coding
JP4923866B2 (ja) 2006-08-30 2012-04-25 ソニー株式会社 液晶表示装置および映像表示装置
JP4358215B2 (ja) * 2006-09-27 2009-11-04 株式会社東芝 動画像符号化装置及びその方法
NO326065B1 (no) * 2007-01-11 2008-09-08 Tandberg Telecom As Atte pixlers heltallstransform
KR100846802B1 (ko) * 2007-02-14 2008-07-16 삼성전자주식회사 동영상 프레임의 디코딩 방법 및 인코딩 방법
JP5524063B2 (ja) * 2007-09-28 2014-06-18 ドルビー ラボラトリーズ ライセンシング コーポレイション ビデオ情報処理
US8325800B2 (en) * 2008-05-07 2012-12-04 Microsoft Corporation Encoding streaming media as a high bit rate layer, a low bit rate layer, and one or more intermediate bit rate layers

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208691B1 (en) * 1997-03-28 2001-03-27 Philips Electronics North America Corp. Method for seamless splicing in a video encoder
US6963608B1 (en) * 1998-10-02 2005-11-08 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
US20020021756A1 (en) * 2000-07-11 2002-02-21 Mediaflow, Llc. Video compression using adaptive selection of groups of frames, adaptive bit allocation, and adaptive replenishment
US20040172631A1 (en) * 2001-06-20 2004-09-02 Howard James E Concurrent-multitasking processor
US20040230794A1 (en) * 2003-05-02 2004-11-18 Paul England Techniques to support hosting of a first execution environment by a second execution environment with protection for the first execution environment
US20060126728A1 (en) * 2004-12-10 2006-06-15 Guoyao Yu Parallel rate control for digital video encoder with multi-processor architecture and picture-based look-ahead window
US20080232459A1 (en) * 2007-03-19 2008-09-25 Sony Corporation System and method to control compressed video picture quality for a given average bit rate
CN101287112A (zh) * 2008-06-03 2008-10-15 方春 快速高效应码率控制的优化方法

Also Published As

Publication number Publication date
JP2012509013A (ja) 2012-04-12
WO2010056333A1 (en) 2010-05-20
JP2012509014A (ja) 2012-04-12
US20110206138A1 (en) 2011-08-25
EP2345244A4 (en) 2012-10-17
JP5763540B2 (ja) 2015-08-12
US9143788B2 (en) 2015-09-22
JP5774995B2 (ja) 2015-09-09
EP2345244A1 (en) 2011-07-20
US9210431B2 (en) 2015-12-08
EP2345244B1 (en) 2014-08-06
EP2345243A4 (en) 2012-10-17
WO2010056315A1 (en) 2010-05-20
WO2010056327A1 (en) 2010-05-20
CN102217308A (zh) 2011-10-12
US20110222604A1 (en) 2011-09-15
CN102217309B (zh) 2014-04-09
EP2345243B1 (en) 2014-08-06
EP2345243A1 (en) 2011-07-20
CN102217308B (zh) 2014-10-22

Similar Documents

Publication Publication Date Title
CN102217309B (zh) 使用hrd信息共享和比特分配等待的多线程视频编码
US8817887B2 (en) Apparatus and method for splicing encoded streams
CN101606389B (zh) 用于视频流拼接的方法及装置
US9712838B2 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US20200177907A1 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
US6351564B1 (en) Method of switching of coded video sequences and corresponding device
CN102761741B (zh) 基于编解码端缓存的视频编码码率控制系统和方法
JP2008306705A (ja) イントラピクチャーのみを利用した動画シーケンスの符号化時のビット率制御方法及び装置
US8724710B2 (en) Method and apparatus for video encoding with hypothetical reference decoder compliant bit allocation
US6993080B2 (en) Signal processing
EP1058459A2 (en) Video transmission method and remote monitoring system using it

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: BLONY-BIYANGU CITY, FRANCE

Patentee before: THOMSON LICENSING

CP02 Change in the address of a patent holder
TR01 Transfer of patent right

Effective date of registration: 20190307

Address after: Paris France

Patentee after: International Digital Madison Patent Holding Co.

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

Effective date of registration: 20190307

Address after: I Si Eli Murli Nor, France

Patentee after: THOMSON LICENSING

Address before: I Si Eli Murli Nor, France

Patentee before: THOMSON LICENSING

TR01 Transfer of patent right