CN102077598A - 用于视频编码器中的计算有效的帧内模式预测的设备和方法 - Google Patents

用于视频编码器中的计算有效的帧内模式预测的设备和方法 Download PDF

Info

Publication number
CN102077598A
CN102077598A CN2009801250425A CN200980125042A CN102077598A CN 102077598 A CN102077598 A CN 102077598A CN 2009801250425 A CN2009801250425 A CN 2009801250425A CN 200980125042 A CN200980125042 A CN 200980125042A CN 102077598 A CN102077598 A CN 102077598A
Authority
CN
China
Prior art keywords
intra
coded blocks
block
prediction mode
macro block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN2009801250425A
Other languages
English (en)
Inventor
周建
孔豪松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HAOWEI TECH Co Ltd
Omnivision Technologies Inc
Original Assignee
HAOWEI TECH Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by HAOWEI TECH Co Ltd filed Critical HAOWEI TECH Co Ltd
Publication of CN102077598A publication Critical patent/CN102077598A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明公开了一种计算机可读存储介质，其具有可执行指令，以在待编码的视频序列中选择多个块作为帧内编码块。其中，基于相邻块的初始像素，可为宏块中的所有帧内编码块选择帧内预测模式；可平行地进行所有帧内编码块的模式选择；基于相邻块的重构像素，通过选定的帧内预测模式，预测宏块中的帧内编码块。

Description

用于视频编码器中的计算有效的帧内模式预测的设备和方法
相关申请
本申请要求2008年4月30日提交的名称为“ApparatusAnd Method For Computationally Efficient Intra Mode Prediction In AVideo Coder”的美国专利申请No.：12/113,202的优先权，该美国专利申请的公开在此以参考的方式并入。
背景技术
数字视频编码技术使得组成数字视频序列的大量可视化数据的有效存储和传输成为可能。随着国际数字视频编码标准的发展，数字视频目前已在从视频会议和DVD至数字TV、移动视频、和因特网视频流和共享的大量应用中变得普通。数字视频编码标准提供世界性地刺激数字视频应用的增长所需的互用性和灵活性。
目前，负责开发和实现数字视频编码标准的两个国际组织为：在国际电信联盟-电信标准局(“ITU-T”)授权下的视频编码专家组以及在国际标准组织(“ISO”)与国际电工委员会(“IEC”)授权下的运动图像专家组(“MPEG”)。ITU-T已开发了H.26x(例如H.261、H.263)系列视频编码标准，而ISO/IEC已开发了MPEG-x(例如MPEG-1、MPEG-4)系列视频编码标准。H.26x标准主要设计用于诸如视频会议和视频电话的实时视频通信应用，而MPEG标准则设计用于解决视频存储、视频广播、和视屏流应用的需求。
ITU-T和ISO/IEC还共同开发高性能、高质量视频编码标准，包括先前的H.262(或MPEG-2)和新近的H.264(或MPEG-4Part10/AVC)标准。在2003年采用的H.264视频编码标准以明显比先前的视屏编码标准低的比特率(达到50％)而提供高的视频质量。H.264标准提供了足够的适用于各种应用的灵活性，包括低的和高的比特率应用以及低的和高的分辨率应用。新应用可在现有和将来网络上开发出来。
H.264视频解码标准在与其它现有的视频编码标准共享共有特征的同时，也具有与这些其它现有标准相区别的许多优点。图1显示了H.264的基本视频编码结构。H.264视频编码器100将数字视频序列的各视频帧分成16×16像素块(称为“宏块”)，使得能以块级进行帧的处理。
各宏块可利用来自其当前视频帧的信息编码成帧内编码宏块，或利用来自其先前帧的信息编码成帧间编码宏块。对帧内编码宏块进行编码，以便通过变化、量化、和熵(或可变长度)编码(或称乱度编码)，而充分利用在给定的视频帧内存在的空间性冗余。对帧内编码宏块进行编码，以充分利用连续的帧中在宏块之间存在的临时性冗余，这样，仅需要对连续帧之间的变化进行编码。这可通过运动估计和补偿而予以实现。
为了提高用于帧内编码宏块的帧内编码过程的效率，通过利用帧内预测105充分利用在给定的帧中相邻的宏块之间的空间相关性。由于给定的帧中相邻的宏块倾向于具有相似的可视化特性，所以可从已编码的周围宏块预测帧中给定的宏块；然后，对给定的宏块与其预测之间的差异进行编码，这与对给定的宏块直接编码比较起来产生表示该给定的宏块的较少的位(比特，比特)。图2中示出了更详细地显示了帧内预测的方框图200。
可对整个16×16的宏块进行帧内预测，或者可对16×16的宏块内各4×4的块进行帧内预测。这两种不同的预测类型分别由“Intra_16×16”和“Intra_4×4”表示。Intra_16×16模式更适于编码视频帧非常平滑的区域，而Inta_4×4模式更适于编码具有重要细节的视频帧的区域。
在Intra_4×4模式中，如图3A-3B所示，从空间相邻的样本预测各4×4的块。利用标记为“A-Q”的相邻块中在先解码的即重构的样本，预测标记为“a-p”的4×4的块300的16个样本。也就是说，从相邻块A310、B315、C320和D325的重构像素来预测块X305。具体地，可以利用位于被预测块之上方的和左侧的块中的数据，进行帧内预测，例如，通过取得在被预测块之上方的和左侧的块的右下方像素、在被预测块之上方的块的下面行的像素、在被预测块之上方的和右侧的块的下面行的像素、以及在被预测块值左侧的块的右侧列的像素，进行预测。
对于宏块中的各4×4的块，可使用由H.264视频编码标准限定的九种预测模式中的一种。图4显示了九种预测模式400。除“DC”预测模式(模式2)之外，指定了八种方向预测模式。这些模式适于预测视频帧中的方向结构，例如各种角度的边缘。
典型的H.264视频编码器在通常称为帧内编码“模式决策”或“模式选择”的过程中，根据某些准则从九种可能的Intra_4×4预测模式选择一种，以对帧内编码宏块内的各4×4的块进行编码。一旦选定帧内预测模式，就从相邻块的重构版本取得预测像素，以形成预测块。然后如图2所示，通过从当前的块减去预测块来获得残差。
模式决策准则通常包括如图5所示的、通过可在http://iphome.hhi.de/suehring/tml/公开获得的JM参考编码器中实现的伪码500对残差编码的代价的优化。残差是当前块与由相邻块中重构像素形成的预测块之间的像素值的差异。评估的代价可以是初始块与预测块之间的绝对误差代价的和(“SAD”)、初始块与预测块之间误差代价平方和(“SSE”)、或更常用的率失真代价(rate-distortion cost)。
率失真代价可以利用九种可能模式中每一候选模式来评估预测块的拉格朗日代价，并选择出具有最小拉格朗日代价的模式。由于用于编码宏块存在大量可用模式，所以用于确定代价的过程需要进行许多次。因此，在帧内模式决策阶段中包括的计算非常密集。
此外，如图3A-B所示，块的预测依赖于其相邻的块，即其左侧、上侧、右上和左上相邻的块，所以，在重构其相邻的块A310、B315、C320、和D325之后，才能处理块X305的预测。在存在可用于执行编码模式决策阶段的多个处理单元(多重处理单元，multipleprocessing units)的情况下，由于编码模式决策阶段几乎是连续地实施，所以，这些多个处理单元利用不足。
例如，假设可用于执行编码模式决策阶段的处理单元共有16个。对于给定的块，各处理单元应平行地进行编码模式决策。图6显示了通常情况下多重处理单元是如何进行编码模式决策的。编码模式决策过程是从给定宏块的第一块即标记为块“0”的块605、开始阶段600的。由于在该初始阶段没有近邻，所以在选择预测模式以预测块“0”(605)之前，利用可用的预测模式、例如由H.264视频编码标准指定并在图4中显示的九种预测模式中的每一模式来计算残差和对残差编码的代价时，只有一个处理单元被利用，其它15个处理单元则处于闲置状态。
在完成块“0”(605)的编码之后，编码模式决策过程移至阶段610，并继续对标记为块“1”的块615进行编码。在该点处，仅块“0”(605)可用于块“1”(615)，因此，仅需要一个处理单元；其它的15个处理单元仍处于闲置状态。
在重构块“0”(605)和块“1”(615)之后，编码模式决策过程移至阶段620，并继续对标记为块“2”的块625和标记为“4”的块630进行编码。在这种情况下，可使用两个处理单元，以平行地对块“2”(625)和“4”(630)进行编码模式决策过程；其它14个处理单元仍闲置。相同的情形适用于编码模式决策过程的下一阶段即阶段635，其通过两个处理单元平行地对块“3”(640)和“5”(645)进行编码，其它14个处理单元则保持闲置；相同的情形也适用于编码模式决策过程的后续阶段，例如编码块“6”和“8”、“7”和“9”、等等。
由于编码模式决策过程对于重构相邻块的依赖性，所以可清楚地知道，对于给定的16×16宏块中的16个4×4块，是不可能完全平行地进行处理的。图7显示了通过Intra_4×4预测处理宏块的计算时间。不管可用的处理单元有多少，在Intra_4×4的预测模式中可平行处理的块的最大数量为两块。需要总共10个阶段来处理整个宏块。每一阶段具有两部分，即模式决策阶段和编码阶段。模式决策阶段由产生残差和用于通过九种可用帧内预测模式中的每一模式对残差编码的代价的时间构成。根据对块的残差进行编码的代价，来选择帧内预测模式，以预测宏块中的每一块。一旦为宏块确定帧内预测模式，就通过编码模块来处理相应的残差，其包括DCT/量化/反量化/逆DCT阶段，其中每一阶段分别具有一个块大小的计算时间。这会导致为了对一宏块进行帧内4×4的预测，总共需要220个单元的计算时间。
发明内容
在一实施方式中，计算机可读存储介质包括可执行指令，以在待编码的视频序列中选择作为帧内编码块的多个块。基于相邻块的初始像素，可为宏块中的所有帧内编码块选择其帧内预测模式；基于相邻块的重构像素，可利用选定的帧内预测模式，对宏块中的帧内编码块进行编码。
在一实施方式中，本发明则公开了一种用于对视频序列中的帧内编码块进行帧内预测的方法。基于相邻块的初始像素，可为宏块中每一帧内编码块选择其帧内预测模式；基于相邻块的重构像素，可利用选定的帧内预测模式，预测每一帧内编码块。
另一实施方式则包括一种用于使视频序列中帧内编码块的帧内编码模式决策平行化的方法。其平行地处理宏块中的帧内编码块，以基于相邻块的初始像素，为宏块中每一帧内编码块选择帧内预测模式。其平行地处理宏块中的帧内编码块，利用它们选定的帧内预测模式，预测帧内编码块。
另一实施方式包括一种视频编码设备，其具有用于接收视频序列的接口和编码视频序列的处理器。处理器具有可执行指令，以从待编码的视频序列中选择作为帧内编码块的多个块，并基于相邻块的初始像素，为宏块中的所有帧内编码块选择其帧内预测模式。
附图说明
以下结合附图进行详细地说明，以更充分地理解本发明的实施方式，且附图中相同的附图标记至始至终指的是相同的部分。
图1显示了H.264视频编码标准的基本视频编码结构。
图2显示了H.264视频编码标准的帧内预测的方框图。
图3A显示了根据H.264视频编码标准从空间相邻的样本预测的4×4的块。
图3B显示了根据H.264视频编码标准从相邻的块预测的4×4的块。
图4显示了H.264视频编码标准的九种Intra_4×4的预测模式。
图5显示了参考H.264编码器的、用于Intra_4×4的编码模式决策阶段的伪码。
图6显示了利用并行处理单元、用于H.264编码器的Intra_4×4编码模式决策阶段的原理图。
图7显示了利用Intra_4×4预测的、处理宏块的计算时间的表格。
图8显示了根据一实施方式用于在视频编码器中进行Intra_4×4预测的流程图。
图9显示了根据一实施方式的16×16的宏块中的4×4的帧内编码块。
图10显示了根据一实施方式用于通过Intra_4×4预测处理宏块的计算时间的表格。
图11显示了根据一实施方式的视频编码设备的方框图。
具体实施方式
本发明了提供了一种技术，以分离编码模式决策过程对重构的相邻块的依赖性，并获得编码模式决策过程较高的平行化。如通常在此所使用地，帧内模式预测指的是利用给定的帧内预测模式的数字视频序列的宏块中的块的预测。如通常在此所使用地，帧内模式预测指的是利用给定的帧内预测模式的数字视频序列的宏块中的块的预测。可从用于对视频序列编码的诸如由给定的视频编码标准或视频编码器、例如H.264视频编码标准指定的预测模式的多种帧内预测模式选择帧内预测模式。块可以是来自16×16的宏块的4×4的块或16×16的块，或者可以是如由视频编码标准或视频编码器指定的任何其它尺寸的块或宏块。
根据一实施方式，基于相邻块的初始像素为给定的帧内编码宏块中的各块选择帧内预测模式。这通过利用相邻块的初始的非重构的像素实现，以便为帧内编码块形成预测块，该预测块对应于多种帧内预测模式。然后，基于通过帧内预测模式对块编码的帧内预测代价选择帧内预测模式。产生最低帧内预测代缴的帧内预测模式是用于对帧内编码块编码所选择的一种模式。
在一实施方式中，通过预测初始的非重构相邻块而形成预测块、并对预测块与给定块之间的残差进行编码，从而计算给定帧内编码块的帧内预测代价。如通常在此所使用地，给定帧内编码块的帧内预测代价指的是与选择用于对块编码的给定帧内预测模式相关的帧内预测代价。计算代价可以是初始块与预测块之间的绝对误差代价的和(“SAD”)、初始块与预测块之间的误差代价平方和(“SSE”)、或更一般地利用的率失真代价。
也就是说，在模式决策阶段期间，代替如传统地在现有技术的帧内编码模式决策阶段中进行的一样将相邻块的重构像素用于预测帧内编码块，根据实施方式，基于相邻块的初始的非重构像素形成帧内预测。如在此以下更详细地描述地，由于可平行地联合处理宏块中的所有帧内编码块，所以这样做使得视频编码器的帧内编码模式决策阶段完全平行化。
图8显示根据实施方式用于在视频编码器中进行帧内预测的流程图。首先，对于给定的视频编码序列，在步骤800中选择作为帧内编码块待编码的多个块。
如在H.264及例如视频编码标准的MPEG系列的其它相似的视频编码标准中所指定地，宏块可以是具有16个4×4或一个16×16的帧内编码块的16×16的宏块。诸如例如通过利用帧内预测如在视频编码标准中所指定地对每一帧内编码块编码。
接下来，在步骤805中，基于相邻块初始的非重构的像素，为宏块中的帧内编码块选择帧内预测模式。这通过从候选帧内预测模式池、诸如例如在H.264标准中指定的九种帧内预测模式为每一帧内编码块选择帧内预测模式实现。然后，利用给定的帧内编码块的相邻块的初始非重构像素通过各候选帧内预测模式预测该给定的帧内编码块，以形成预测块。在预测块与初始的帧内编码块之间产生残差。对位候选帧内预测模式产生的所有残差计算帧内预测代价。被选择以预测帧内编码块的帧内预测模式是所有候选帧内预测模式中产生最低的帧内预测代价的一种模式。
最后，在步骤810中，通过宏块中的帧内编码块选定的帧内预测模式，预测所述帧内编码块。如在此以上参考图2更详细地描述地，基于相邻块的重构像素预测帧内编码块。应理解的是，尽管在模式决策阶段，可基于相邻块的初始非重构像素选择给定的宏块的帧内预测模式，但基于相邻块的重构像素、诸如例如由H.264标准支配并在此以上参考图2描述的帧内预测进行给定的宏块中的块在最后的编码阶段的帧内预测。
另外，应理解的是，由于相邻块的重构像素用于预测给定的宏块中的块，所以相同的重构像素还用于为现有技术的传统帧内预测方法中的所述块选择帧内预测模式。然而，在此提出的实施方式将帧内预测模式选择与帧内预测本身分离，以获得现有技术中可用的任何传统帧内预测方法未设想的计算节省。
还应理解的是，与在现有技术的方法中进行的传统帧内模式选择形成对比，可同时选择为宏块选择的帧内预测模式。也就是说，可平行地进行用于给定的宏块中的一些或所有块的帧内预测模式的选择。由于相邻块初始非重构的像素用于为给定的宏块、而不是如在传统帧内预测的现有技术方法中一样为相邻块的重构像素选择帧内预测模式，所以所有相邻的块同时可用，并且可使帧内预测平行化。
在这情况下，如以下参考图10所描述地，可以较少的计算时间更加有效地实现视频编码器的帧内编码模式决策阶段。根据实施方式，可对给定宏块的所有块使帧内编码模式决策阶段平行化。在该情况下，可同时选择用于给定宏块的所有块的帧内预测模式。例如，对于16×16的宏块中的16个4×4的块，可将多重处理单元、例如16个处理单元用于对16个4×4的块同时进行平行计算。
还应理解的是，在确定帧内预测模式之后，用和现有技术的方法中进行的一样的方式形成预测残差，即用于产生给定的宏块中的块的压缩位流的残差的形成取决于相邻块的重构。同样地，如在此以上参考图6更详细地描述地，可平行处理给定的宏块中达到两个的块。
现在参考图9，描述根据实施方式的16×16的宏块中的4×4的帧内编码块。宏块900是具有从0标记值15的16个4×4的帧内编码块的16×16的宏块。在视频编码器的帧内预测编码模式决策阶段中平行地处理所有的块0-15。如在此以上所描述地，这通过基于块0-15的相邻块(阴影块)的初始非重构像素、而不是如在现有技术的帧内预测方法中传统进行的一样基于块0-15的相邻块的重构像素选择用于块0-15的帧内预测模式来实现。
对于宏块900中的每个块0-15，相邻块的初始非重构像素全部可用于平行地进行帧内编码模式决策。例如，相邻块905、910、915和920同时可用，以帮助宏块900中的块925的帧内预测。也就是说，与诸如参考图6所描述的现有技术中的传统方法形成对比，进行帧内编码模式决策的处理器无需等待相邻的块重构。处理器能同时为宏块900中所有的0-15个块选择帧内预测模式。
现在参考图10，描述示出根据实施方式通过Intra_4×4的预测处理宏块的计算时间的表格。表格1000示出当在视频编码器的帧内编码模式决策阶段中一起处理16×16的宏块的16个4×4的块时的计算时间。由于一起处理所有的块，所以对于16×16的宏块中的所有16个4×4的块处理在H.264标准中指定的所有9种帧内预测模式仅花费例如9个单元的计算时间，产生总共59个单元的计算时间。
这与用于传统帧内预测方法的图7的表格700所示的总共220个单元的计算时间形成鲜明对比。与仅基于相邻块的重构像素的传统帧内预测方法相比较，利用相邻块的初始非重构的像素进行视频编码器的帧内编码模式决策阶段产生总共73.18％的计算和实践节省。
应理解的是，由于相邻块的重构像素用于预测给定的宏块中的块，所以相同的重构像素还用于为现有技术的传统帧内预测方法中的所述块选择帧内预测模式。同样地，在此提出用于利用相邻块的初始非重构像素以便为给定的宏块选择帧内预测模式的实施方式将帧内预测模式选择与帧内预测本身分离，以获得现有技术中可用的任何传统帧内预测方法未设想的计算节省。
现在参考图11，描述根据实施方式的视频编码设备的方框图。视频编码设备1100具有用于接收视频序列的接口1105和用于对视频序列编码的处理器1110。接口1105例如可以是数字照相机或俘获光学图像的其它这样的图像传感器装置中的图像传感器、计算机或其它这样的处理装置中的输入口、或连接至处理器并能够接收视频序列的任何其它的接口。
根据实施方式并如上所述，处理器1110具有用于为给定的宏块选择帧内预测模式的可执行指令或例程。例如，处理器1110具有通过利用帧内预测在待帧内编码的视频序列中选择帧、宏块、和块的例程1115、以及基于相邻块的初始非重构像素为给定的宏块中的各块选择帧内预测模式的例程1120。
应理解的是，处理器1110可具有多重处理单元，以平行地进行给定的宏块中的块的帧内预测模式选择和帧内预测。例如，如在此以上所描述地，处理器1110可包括16个处理单元，以同时处理16×16的宏块的所有16个4×4的块。
还应理解的是，视频编码设备1100可以是孤立的设备或者可以是诸如例如数字照相机和摄像放像机、手持式移动装置、网络摄影机、个人计算机、便携式电脑、移动装置、个人数字助理等的另一装置的一部分。
有利地，在此描述的实施方式使得比传统帧内预测方法更有效地为宏块选择帧内预测模式成为可能。与传统的帧内预测方法形成对比，基于相邻块的初始像素选择用于宏块的帧内预测模式。在这情况下，可使帧内模式决策完全平行化，从而获得对传统帧内预测方法超过70％的计算节省。
前述的说明只是为了解释本发明，所使用的特定术语是为了更彻底地理解本发明。然而，本领域技术人员可以理解，在实施本发明时，一些特定细节并不是必须的。因此，前述本发明特定实施方式的叙述目的只是为了说明及描述，而并非是为了穷尽或限制本发明于特定的公开形式；显而易见的是，经本发明的以上启示，就完全可能做出许多其它的改进和改变。

Claims (23)

1.一种计算机可读存储介质，其包括如下可执行指令：
在待编码的视频序列中选择多个块作为帧内编码块；
基于相邻块的初始像素，为宏块中所有的帧内编码块选择帧内预测模式；以及
基于相邻块的重构像素，用选定的帧内预测模式预测所述宏块中的帧内编码块。
2.如权利要求1所述的计算机可读存储介质，其中，所述的视频序列包括多个帧内编码帧，其中，每一帧内编码帧包括多个宏块。
3.如权利要求2所述的计算机可读存储介质，其中，在待编码的视频序列中选择作为帧内编码块的多个块的可执行指令包括从宏块选择帧内编码块的可执行指令。
4.如权利要求1所述的计算机可读存储介质，其中，用选定的帧内预测模式预测所述宏块中的帧内编码块的可执行指令每次同时预测两个帧内编码块的可执行指令。
5.如权利要求1所述的计算机可读存储介质，其中，为宏块中所有的帧内编码块选择帧内预测模式的可执行指令包括利用相邻块的初始像素为所述宏块中所有的帧内编码块同时选择帧内预测模式的可执行指令，每一预测块对应于一帧内预测模式。
6.如权利要求5所述的计算机可读存储介质，其进一步包括通过从所述帧内编码块减去所述预测块以同时为所述宏块中的每一帧内编码块形成残差块的可执行指令，每一残差块对应于一帧内预测模式。
7.如权利要求6所述的计算机可读存储介质，其进一步包括为每一帧内编码块的残差块进行编码而同时计算帧内预测代价的可执行指令，每一帧内预测代价对应于帧内预测模式。
8.如权利要求7所述的计算机可读存储介质，其进一步包括基于所述帧内预测代价为每一帧内编码块而选择帧内预测模式的可执行指令。
9.一种对视频序列中帧内编码块进行帧内预测的方法，其包括：
基于相邻块的初始像素，为宏块中每一帧内编码块选择帧内预测模式；以及
基于相邻块的重构像素，利用选定的帧内预测模式预测所述每一帧内编码块。
10.如权利要求9所述的方法，其中，为每一帧内编码块选择帧内预测模式包括：平行地为所述宏块中所有的帧内编码块选择帧内预测模式。
11.如权利要求9所述的方法，其中，为每一帧内编码块选择帧内预测模式包括：利用相邻块的初始像素，同时预测所述宏块中所有的帧内编码块，其中，每一预测块对应于帧内预测模式。
12.如权利要求11所述的方法，其进一步包括：通过从所述帧内编码块减去所述预测块，以同时为所述宏块中每一帧内编码块形成残差块，其中，每一残差块对应于一帧内预测模式。
13.如权利要求12所述的方法，其进一步包括：为每一帧内编码块的残差块进行编码而同时计算帧内预测代价，其中，每一帧内预测代价对应于一帧内预测模式。
14.如权利要求13所述的方法，其中，为每一帧内编码块选择帧内预测模式包括：基于帧内预测代价，选择帧内预测模式。
15.一种使视频序列中帧内编码块的帧内编码模式决策平行化的方法，其包括：
基于相邻块的初始像素，平行地处理宏块中的帧内编码块，为所述宏块中每一帧内编码块选择帧内预测模式；以及
利用选定的帧内预测模式，平行地处理所述宏块中的帧内编码块以预测所述帧内编码块。
16.如权利要求15所述的车辆，其中，平行地处理宏块中的帧内编码块包括：利用相邻块的初始像素，同时预测所述宏块中的一组帧内编码块，以便为该组帧内编码块中的每一帧内编码块形成预测块，其中，每一预测块对应于一帧内预测模式。
17.如权利要求16所述的方法，其进一步包括：通过从所述每一帧内编码块减去所述预测块，同时为该组帧内编码块中的每一帧内编码块形成残差块，其中，每一残差块对应于一帧内预测模式。
18.如权利要求17所述的方法，其进一步包括：为该组帧内编码块中每一帧内编码块的残差块进行编码，而同时计算帧内预测代价，其中，每一帧内预测代价对应于一帧内预测模式。
19.如权利要求18所述的方法，其进一步包括：基于帧内预测代价，为该组帧内编码块中每一帧内编码块选择其帧内预测模式。
20.如权利要求15所述的方法，其中，平行地处理所述宏块中的帧内编码块以预测所述帧内编码块包括：单独地预测所述宏块中第一和第二帧内编码块，并通过每次同时预测两个帧内编码块而平行地预测所述宏块中的其它帧内编码块。
21.一种视频编码设备，其包括：
接口，其用于接收视频序列；以及
处理器，其用于对所述视屏序列进行编码，并包括如下可执行指令：
在待编码的视频序列中选择多个块作为帧内编码块；以及
基于相邻块的初始像素，为宏块中的帧内编码块选择帧内预测模式。
22.如权利要求21所述的视频编码设备，其中，所述处理器进一步包括如下的可执行指令：基于相邻块的重构像素，利用选定的帧内预测模式来预测所述宏块中所有的帧内编码块。
23.如权利要求22所述的视频编码设备，其中，预测所述宏块中所有的帧内编码块的可执行指令是平行地执行的。
CN2009801250425A 2008-04-30 2009-04-21 用于视频编码器中的计算有效的帧内模式预测的设备和方法 Pending CN102077598A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/113,202 US20090274213A1 (en) 2008-04-30 2008-04-30 Apparatus and method for computationally efficient intra prediction in a video coder
US12/113,202 2008-04-30
PCT/US2009/041305 WO2009134642A2 (en) 2008-04-30 2009-04-21 Apparatus and method for computationally efficient intra prediction in a video coder

Publications (1)

Publication Number Publication Date
CN102077598A true CN102077598A (zh) 2011-05-25

Family

ID=41255685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2009801250425A Pending CN102077598A (zh) 2008-04-30 2009-04-21 用于视频编码器中的计算有效的帧内模式预测的设备和方法

Country Status (5)

Country Link
US (1) US20090274213A1 (zh)
EP (1) EP2283658A4 (zh)
CN (1) CN102077598A (zh)
TW (1) TW200952499A (zh)
WO (1) WO2009134642A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102364948A (zh) * 2011-10-28 2012-02-29 上海国茂数字技术有限公司 视频编码合并模式双向补偿方法
CN103141091A (zh) * 2010-06-21 2013-06-05 汤姆逊许可公司 图像数据编码/解码的方法及其设备
CN110419214A (zh) * 2018-07-27 2019-11-05 深圳市大疆创新科技有限公司 帧内预测模式搜索方法及装置、视频编码方法及装置以及记录介质
CN112911285A (zh) * 2021-01-26 2021-06-04 北京博雅慧视智能技术研究院有限公司 硬件编码器帧内模式决策电路、方法、装置、设备及介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100566427C (zh) * 2007-07-31 2009-12-02 北京大学 用于视频编码的帧内预测编码最佳模式的选取方法及装置
US20090274211A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for high quality intra mode prediction in a video coder
RU2573222C2 (ru) 2010-04-09 2016-01-20 Мицубиси Электрик Корпорейшн Устройство кодирования движущихся изображений и устройство декодирования движущихся изображений
US8619857B2 (en) * 2010-04-09 2013-12-31 Sharp Laboratories Of America, Inc. Methods and systems for intra prediction
KR102439252B1 (ko) 2010-05-26 2022-08-31 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
US8902978B2 (en) 2010-05-30 2014-12-02 Lg Electronics Inc. Enhanced intra prediction mode signaling
GB2494468B (en) 2011-09-12 2014-01-15 Canon Kk Method and device for encoding or decoding information representing prediction modes
US9693064B2 (en) * 2011-09-30 2017-06-27 Avago Technologies General Ip (Singapore) Pte. Ltd Video coding infrastructure using adaptive prediction complexity reduction
US20130101029A1 (en) * 2011-10-21 2013-04-25 Texas Instruments Incorporated Multimedia data encoding
TWI486908B (zh) * 2012-05-11 2015-06-01 Mstar Semiconductor Inc 影像編碼的方法與相關裝置
EP2814254A1 (en) 2013-02-21 2014-12-17 ST-Ericsson SA Combined parallel and pipelined video encoder
US10827186B2 (en) * 2016-08-25 2020-11-03 Intel Corporation Method and system of video coding with context decoding and reconstruction bypass
CN110662078B (zh) * 2019-09-28 2021-10-15 杭州当虹科技股份有限公司 适用于avs2和hevc的4k/8k超高清编码帧间编码帧快速算法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2309751A2 (en) * 2000-03-17 2011-04-13 Panasonic Corporation Image signal encoding device and method
US7289672B2 (en) * 2002-05-28 2007-10-30 Sharp Laboratories Of America, Inc. Methods and systems for image intra-prediction mode estimation
US7194035B2 (en) * 2003-01-08 2007-03-20 Apple Computer, Inc. Method and apparatus for improved coding mode selection
KR101029762B1 (ko) * 2003-03-03 2011-04-19 에이전시 포 사이언스, 테크놀로지 앤드 리서치 고급 비디오 코딩에 대한 인트라 프레딕션을 위한 신속모드 결정 알고리즘
KR100750110B1 (ko) * 2003-04-22 2007-08-17 삼성전자주식회사 ４×４인트라 휘도 예측 모드 결정방법 및 장치
KR20050072526A (ko) * 2004-01-06 2005-07-12 삼성전자주식회사 예측 부호화 장치, 예측 부호화 방법 및 상기 예측 부호화방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
US7881386B2 (en) * 2004-03-11 2011-02-01 Qualcomm Incorporated Methods and apparatus for performing fast mode decisions in video codecs
KR20060008523A (ko) * 2004-07-21 2006-01-27 삼성전자주식회사 영상의 인트라 예측 방법 및 그 장치
US7706442B2 (en) * 2005-02-15 2010-04-27 Industrial Technology Research Institute Method for coding mode selection of intra prediction in video compression
JP4050754B2 (ja) * 2005-03-23 2008-02-20 株式会社東芝 ビデオエンコーダ及び動画像信号の符号化方法
US20070206681A1 (en) * 2006-03-02 2007-09-06 Jun Xin Mode decision for intra video encoding
KR101200865B1 (ko) * 2006-03-23 2012-11-13 삼성전자주식회사 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
US8000390B2 (en) * 2006-04-28 2011-08-16 Sharp Laboratories Of America, Inc. Methods and systems for efficient prediction-mode selection
US8295349B2 (en) * 2006-05-23 2012-10-23 Flextronics Ap, Llc Methods and apparatuses for video compression intra prediction mode determination
US8369411B2 (en) * 2007-03-29 2013-02-05 James Au Intra-macroblock video processing
US20090274211A1 (en) * 2008-04-30 2009-11-05 Omnivision Technologies, Inc. Apparatus and method for high quality intra mode prediction in a video coder

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141091A (zh) * 2010-06-21 2013-06-05 汤姆逊许可公司 图像数据编码/解码的方法及其设备
CN102364948A (zh) * 2011-10-28 2012-02-29 上海国茂数字技术有限公司 视频编码合并模式双向补偿方法
CN102364948B (zh) * 2011-10-28 2013-10-16 上海国茂数字技术有限公司 视频编码合并模式双向补偿方法
CN110419214A (zh) * 2018-07-27 2019-11-05 深圳市大疆创新科技有限公司 帧内预测模式搜索方法及装置、视频编码方法及装置以及记录介质
WO2020019316A1 (zh) * 2018-07-27 2020-01-30 深圳市大疆创新科技有限公司 帧内预测模式搜索方法及装置、视频编码方法及装置以及记录介质
CN112911285A (zh) * 2021-01-26 2021-06-04 北京博雅慧视智能技术研究院有限公司 硬件编码器帧内模式决策电路、方法、装置、设备及介质
CN112911285B (zh) * 2021-01-26 2023-04-07 北京博雅慧视智能技术研究院有限公司 硬件编码器帧内模式决策电路、方法、装置、设备及介质

Also Published As

Publication number Publication date
EP2283658A4 (en) 2011-08-03
WO2009134642A2 (en) 2009-11-05
WO2009134642A3 (en) 2010-03-04
TW200952499A (en) 2009-12-16
US20090274213A1 (en) 2009-11-05
EP2283658A2 (en) 2011-02-16

Similar Documents

Publication Publication Date Title
CN102077598A (zh) 用于视频编码器中的计算有效的帧内模式预测的设备和方法
CN102077599B (zh) 用于视频编码器中的高质量帧内模式预测的设备和方法
CN104363457B (zh) 图像处理设备和方法
CN102792688B (zh) 用于视频的数据压缩
KR100739714B1 (ko) 인트라 예측 모드 결정 방법 및 장치
KR102024516B1 (ko) 화상 부호화 장치, 화상 복호 장치, 화상 부호화 방법, 화상 복호 방법 및 기억 매체
JP5219089B2 (ja) 画像データの生成方法
CN102422643A (zh) 图像处理装置、方法和程序
WO2012176381A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
CN102415098B (zh) 图像处理设备和方法
CN102833532B (zh) 用于对数字视频数据进行编码的方法和数字视频编码器系统
CN104284197A (zh) 视频编码器及其操作方法
WO2011064673A1 (en) Method of and apparatus for encoding video frames, method of and apparatus for decoding video frames
CN102187668B (zh) 编码图像或图像序列的方法和装置及其解码方法和装置
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
CN102572424A (zh) 图像处理设备、方法和程序
JP4786612B2 (ja) 動画像符号化装置の予測動きベクトル生成装置
WO2020263472A1 (en) Method and apparatus for motion vector refinement
CN102396231A (zh) 图像处理设备及方法
KR20170114598A (ko) 적응적 색상 순서에 따른 색상 성분 간 예측을 이용한 동영상 부호화 및 복호화 방법 및 장치
JP2008271127A (ja) 符号化装置
KR100771640B1 (ko) 고속 모드 결정 기능을 구비한 ｈ.２６４ 인코더
Ahmmed et al. Discrete cosine basis oriented motion modeling for fisheye and 360 degree video coding
KR100771641B1 (ko) Ｈ.２６４ 고속 모드 결정 방법
US20130170565A1 (en) Motion Estimation Complexity Reduction

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20110525