CN101822058A - 使用像素抽取的视频编码 - Google Patents

使用像素抽取的视频编码 Download PDF

Info

Publication number
CN101822058A
CN101822058A CN200880111545A CN200880111545A CN101822058A CN 101822058 A CN101822058 A CN 101822058A CN 200880111545 A CN200880111545 A CN 200880111545A CN 200880111545 A CN200880111545 A CN 200880111545A CN 101822058 A CN101822058 A CN 101822058A
Authority
CN
China
Prior art keywords
pixel
macro block
pattern
determining
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880111545A
Other languages
English (en)
Inventor
吉安·普拉卡什·潘迪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Entropic Communications LLC
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101822058A publication Critical patent/CN101822058A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种视频编码方法，包括：接收图像、选择图像中的宏块、确定宏块的最佳帧内编码模式、根据确定的最佳帧内编码模式来确定像素方向、以及根据确定的像素方向来选择像素抽取图案。

Description

使用像素抽取的视频编码
技术领域
本发明涉及一种用于视频编码的方法和系统。
背景技术
视频序列是一种在时域中采样的图像序列。由于多数视频序列所需的存储空间相对较大，对于有限存储设备或传输带宽而言，经常需要对视频数据进行压缩。通过移除存在于视频数据中的各种冗余来实现视频压缩。存在于视频数据中的一个这种冗余是时间冗余，这参考了时域中的相邻帧是类似的。运动估计是一种广泛使用于视频编码器中以移除时间冗余的压缩技术。
运动估计处理采用当前帧中的块，并在参考帧(时域中的先前或未来帧)中找出当前块的最接近匹配。通过当前块和参考帧中类似大小的块之间的块匹配准则来实现找出当前块的最接近匹配。一个这种准则是找到当前块和参考帧中类似块之间的SAD(同一位置像素的绝对差之和)。运动估计涉及像素级操作，因此在计算量方面要求较高。有两种用于降低视频编码器中运动估计的复杂性的方法，即，搜索点减少和像素抽取。
像素抽取基于帧/块中邻近像素是高度相关的假定，即，亮度值是类似的。因此，不需要块中的每个像素成为SAD计算的一部分。如果编码器在块匹配中跳过少数冗余像素计算，则可以降低块匹配的计算复杂性。这种从块匹配计算中跳过像素的方式被称为像素抽取。对于视频编码器中的运动估计，通常将像素抽取划分成两类，静态像素抽取和动态像素抽取。在静态像素抽取中，要跳过的像素和要在计算中使用的像素是固定的(例如，1/4像素抽取)。在这种情况下的实现简单且快速，然而，静态像素抽取在一定时间间隔内像素相关不遵循任何规律的情况下执行欠佳。例如，如果帧中的矩形条具有的旋转运动，则静态像素抽取不会很好地适应这种情况。
动态像素抽取将动态选择要在块匹配计算中使用的像素集合。根据存在于块中的像素相关的类型，动态像素抽取技术可以挑选用于块匹配计算的不同像素集合。因此，动态像素抽取适合于块中像素相关的改变，并被期待给出比静态像素抽取更好的结果。然而，需要额外时间来确定无需作为块匹配计算的一部分的冗余像素的集合，因此增加了运动估计的计算负担。
在美国专利5475446中示出了一种像素抽取的示例，其中公开了一种采用像素块的部分抽取的画面信号运动检测器。在该文献中，对定义了参考画面的多个图像像素的参考画面信号进行存储。将输入画面信号划分成多个输入块信号，每一个输入块信号定义了相应输入块的多个图像像素。为了在每个输入块的多个图像像素中指定要抽取的部分，预先设置抽取信息。相对于每一个输入块的多个图像像素，根据块抽取信息来对每个输入块的所选图像像素进行寻址，以获得具有寻址图像像素子集合的相应抽取输入块。通过将每个相应抽取输入块的寻址图像像素子集合与参考图像的图像像素进行比较来估计与每个输入块相关联的图像运动。
所有已知像素抽取方案的问题在于，这些方案是静态的(使用单一预定抽取图案)，不提供足够灵活的解决方案；或者这些方案是动态的(使用若干预定抽取图案之一)，但是由于处理器循环必须用于确定应当使用的图案，因此在计算方面效率较低。
因此，本发明的目的是对现有技术的改进。
发明内容
根据本发明的第一方面，提供了一种视频编码的方法，包括：接收图像、选择图像中的宏块、确定宏块的最佳编码模式、根据确定的最佳编码模式来确定像素方向、以及根据确定的像素方向来选择像素抽取图案。
根据本发明的第二方面，提供了一种视频编码系统，包括：接收器，被设置为接收图像；以及处理器，被设置为选择图像中的宏块，以确定针对宏块的最佳编码模式、根据确定的最佳编码模式来确定像素方向、以及根据确定的像素方向来选择像素抽取图案。
根据本发明的第三方面，提供了一种用于视频编码的计算机可读介质上的计算机程序产品，该产品包括用于进行以下操作的指令：接收图像、选择图像中的宏块、确定针对宏块的最佳编码模式、根据确定的最佳编码模式来确定像素方向、以及根据确定的像素方向来选择像素抽取图案。
根据本发明，能够提供一种动态像素抽取解决方案，由于使用在编码过程中已经产生的信息来确定要使用哪个像素抽取模式，不会增加处理的载荷。在本发明中，提出了一种可以在例如H.264编码器中使用的动态像素抽取的方法。
优选地，该方法还包括：重复以下操作：选择图像中的宏块、确定宏块的最佳编码模式、根据确定的最佳编码模式来确定像素方向、以及根据确定的像素为图像中的每个宏块选择像素抽取图案。像素抽取图案的动态选择可以被应用于图像内要被编码为P或B图像条的每个宏块，因此不会发生处理器循环损失。
有利地，该方法还包括：对多个像素抽取图案进行存储。每个存储的像素抽取图案包括定义了像素方向的报头，并且，根据确定的像素方向来选择像素抽取图案的步骤包括：将确定的像素方向与存储的像素抽取图案的报头进行匹配。这提供了一种从编码器存储的那些像素抽取图案中选择最适合的像素抽取图案的简单方法。每个图案与报头(例如，“垂直”、“水平”或“对角线”)一起存储，并且可以将该报头与特定宏块内确定的像素方向进行匹配，并形成选择过程以获得最适合的像素抽取图案。
理想地，确定宏块的最佳编码模式的步骤包括：确定宏块的最佳帧内模式。根据在编码器中使用的编码方案，这种最佳编码模式的确定可以是确定最佳帧内16×16模式。例如，本发明提供了一种适于在H.264视频编码器的运动估计中使用的动态像素抽取方案。在H.264编码器中的模式判定期间，对帧内16×16模式进行评估，并推断最佳帧内16×16编码模式。该最佳帧内16×16编码模式给出宏块中像素相关方向的指示。该像素相关方向在运动估计中用于跳过宏块中少数像素的SAD(绝对差之和)的计算。
附图说明
参照附图，现在仅作为示例来描述本发明的实施例，在附图中：
图1是视频编码系统的示意图，
图2是视频流中连续图像对的示意图，
图3是视频编码器的示意图，
图4至6是像素抽取图案的示意图。
具体实施方式
图1示出了视频编码系统的示例，即视频编码器10。编码器10在接收器14侧接收图像序列12。这些图像12由摄像机实时提供，或能够从适合的存储器中调取，该适合的存储器可以在编码器10本地，或能够通过诸如互联网的广域网远程连接。编码器10在连接至存储器18的处理器16处对图像12进行处理。尽管处理器16的输出可以由编码器10直接实时输出，但存储器18可以记录该输出。存储器还向处理器16提供在处理图像12中使用的信息。存储器18还用于存储运动估计的参考画面。这些参考画面在编码期间产生。编码器10的输出、压缩的码流可以在分离的块中输出或实时输出。
为了向终端用户提供具有足够运动真实感的视频序列，终端用户的显示设备需要示出每秒至少30幅图像(一些方案使用每秒50幅图像)。由于期望向终端用户提供具有高分辨率的视频序列以提高终端图像的质量，提供每秒30幅高质量图像所需的数据量非常大，并对于到终端显示设备的传输信道造成约束/成本问题。为了解决该问题，公知的是，使用对图像12进行压缩来降低必须传输的数据量，而不影响最终输出的质量。公知的压缩方案包括MPEG-2和MPEG-4第10部分，也被称为H.264。
方案(例如，上述那些方案)中出现的一种压缩方式是使用运动估计。图2示意性示出了运动估计的构思。该图示出了视频流20中连续图像对12的示意图。图像12a是在时间上较早的图像，图像12b是流20中下一个连续图像。如将认识到的，流20将包含大量图像12。在诸如MPEG-2和H.264等压缩方案中，在逻辑上将图像12分成例如16×16像素的宏块。在图像12a中示出并标记了单独的宏块22a，尽管出于解释的目的，没有对宏块22进行缩放，但在实际中其相对于图像12a的尺寸更小。
使用运动估计的压缩方案的原理的一部分在于，在紧密相关图像(例如，图像12a和12b)中，将出现非常类似但已经相对于整幅图像移动的元素。普遍的是，摄像机的所有形式的视频序列要在一定时间段内保持静止，而图像内仅少数部分在移动。由于图像12a和12b之间的时间间隙能够小到1/30或1/50秒，则运动部分(例如，其余均为静态的镜头中的足球)将不会改变外观，而将改变位置。有效地，相同宏块22a出现在图像12b中，但是作为在新位置中的新宏块22b。并不再次记录新图像12b的相同宏块22b，而是可以为该宏块22b提供运动矢量，则意味着可以有效地在新图像12b中使用旧宏块22a。
然而，由处理器16所执行的编码过程必须识别已经移动的宏块22。H.264视频编码器的运算计算量很大，特别是软件H.264编码器。仅在运动估计上具有良好的处理器循环量。为了适用于便携式设备和移动应用，必须降低编码器的计算复杂性。为了降低运动估计的复杂性，同时不折衷编码效率，必须在运动估计中使用动态像素抽取。像素抽取意味着，当处理器正搜索后续图像22b中的宏块22a时，在匹配处理中仅使用宏块22a中的一些像素。然而，需要额外时间来确定不需要作为块匹配计算的一部分的冗余像素集合，因此增加了运动估计的某些计算负担。
针对视频编码器中的运动估计模块中动态像素抽取的这种限制，本发明提供了一种例如可以在H.264编码器中使用的运动估计的新动态像素抽取方法。在这种H.264视频编码器中，可以实现动态像素抽取，而无需任何额外计算成本，在找到要从块匹配计算中跳过的冗余像素集合中需要该额外计算成本。
在本发明的一个实施例中，帧内16×16预测模式辅助在H.264视频编码器的运动估计中使用的动态像素抽取。
H.264是新近由ITU-T和MPEG团体联合开发的视频编码标准。编码的基本单元是宏块，包含16×16亮度采样和关联的色度采样(8×8Cb和8×8Cr)。在H.264中，可以将宏块编码为帧内宏块或帧间宏块。使用根据当前帧中已经解码的相邻采样的帧内预测来预测帧内宏块。(a)针对完整宏块或针对(b)针对亮度和关联的色度采样的每一个4×4块来形成预测。可以根据参考帧使用帧间预测来预测帧间宏块。可以将帧间编码的宏块划分成大小为16×16、16×8、8×16、8×8、8×4、4×8、4×4的亮度采样和关联的色度采样的较小块，以用于预测。一旦形成宏块预测，则，通过从经过变换、量化和VLC编码之后的原始像素中减去预测来形成每个4×4块残差。
为了确定宏块的编码模式(帧内或帧间)，必须针对帧的每个宏块来进行帧内模式和帧间模式(运动估计)评估。为了判定具有分块(partition)大小的宏块的编码模式，必须计算该特定模式的宏块SAD(同一位置像素的绝对差之和)。因此作为模式判定的一部分，编码器10必须始终找到最佳帧内模式(例如，具有最小SAD的最佳帧内16×16模式)。该最佳帧内16×16模式与最佳帧间模式以及与最佳帧内4×4模式进行比较，并且选择具有最小SAD的宏块模式作为宏块的编码模式。对于H.264编码器中的运动估计中的动态像素抽取，本发明使用最佳帧内16×16模式信息。最佳帧内16×16模式可用作H.264编码器中模式判定的一部分，因此，关于所关心的其针对动态像素抽取的使用，不会耗费任何附加CPU循环。
图3更详细地示出了图1的编码器10的操作。将输入画面信号(图像12)分割成大小为16×16的宏块(MB)。MB选择器24将以光栅扫描的顺序从输入画面12中选择宏块用于处理。对于当前选择的宏块，首先在选择器26处对最佳帧内16×16编码模式进行评估，同样将该最佳帧内16×16编码模式输入至像素抽取图案选择器28。以下将更详细描述像素抽取图案选择。
所选像素抽取图案将用于当前宏块的运动估计。图中所示的运动估计单元30通常是一个。在如上文献美国专利US 5475446中详细描述该运动估计单元的操作。适用于H.264视频编码器并由参照以上图1和3描述的编码器10使用的动态相似抽取方案可以与类似全搜索、三步搜索方法等任何运动估计算法一同操作。对于输入图像12中的所有宏块，可以重复上述处理。
处理器16被设置为选择图像12的宏块22，以确定宏块22的最佳编码模式(可以是最佳帧内编码模式)、从确定的最佳编码模式中确定像素相关方向、以及根据确定的像素方向来选择像素抽取图案。处理器16还被设置为针对图像中的每个宏块重复该过程。存储器18被设置为存储在运动估计中由处理器使用的多个像素抽取图案。存储器18还用于存储重构的画面(也用作运动估计中的参考画面)。代替使用存储器18，可以将像素抽取图案存储在像素抽取图案选择器单元28中。
在一个实施例中，每个存储的像素抽取图案包括定义了像素相关方向的报头。处理器16被设置为，当根据确定的像素方向来选择像素抽取图案时，将确定的像素方向与存储的像素抽取图案的报头进行匹配。
处理器16被设置为，当确定宏块的最佳编码模式时，确定宏块的最佳帧内16×16模式。在H.264编码标准中存在4个可用的帧内16×16模式。这些模式被称作垂直、水平、平面和DC。每个模式适合于以不同角度(例如，垂直、水平、对角线)预测图像中的方向结构。如果结构以图像的水平方向为方向，则对于包含该结构的宏块，最佳帧16×16模式可能是水平模式。换言之，最佳帧内16×16模式指示16×16宏块中的主导像素相关方向。基于最佳帧内16×16模式，处理器16可以推断宏块中的像素相关方向，并因此可以从针对运动估计的SAD计算中省略少数冗余像素，从而在H.264编码器中实现了基于最佳帧内16×16模式的动态像素抽取。以下给出了针对每个最佳帧内16×16模式情况的用于宏块的运动估计的像素抽取方案的细节。
图4示出了与16×16宏块有关的像素抽取图案32，并且表的每个单元与宏块的像素相对应。用X标记的单元(像素)是块匹配计算的一部分，而在块匹配计算中跳过空单元。箭头指示了相应最佳帧内16×16模式的预测方向，这意味着相比于其他方向，宏块中的像素沿由箭头指示的方向上更具相关性。该图示出了在最佳帧内16×16模式为垂直模式时将使用的像素抽取图案32的示例。
当最佳帧内16×16模式为垂直时，特定宏块中的像素沿垂直方向上更具相关性，因此，沿垂直方向上跳过备选像素以节省运动估计的计算。从图4中清楚看到，在16×16宏块中的256个像素中，将在块匹配计算中跳过一半像素。
当确定最佳帧内16×16模式为水平时，则像素沿水平方向上更具相关性，因此沿水平方向上交替跳过像素，以节省运动估计的计算。图5是示出了在最佳帧内16×16模式为水平情况时适合的像素抽取图案。从图中清楚看出，在宏块中的256个像素中，将在块匹配计算中跳过一半的像素。处理器16在确定宏块中像素相关方向是沿着水平方向时将选择该图案。
当最佳帧内16×16模式为平面时，则像素沿着对角线方向更具有相关性，因此沿着对角线方向交替跳过像素，以节省运动估计中的计算。图6示出了平面情况下的最佳帧内16×16模式。从图中清楚看出，在宏块中的256个像素中，在块匹配计算中跳过120个像素。图中的箭头示意了宏块内的检测方向。
如果最佳帧内16×16模式被检测为DC，则宏块中的像素不具有任何优选相关方向，因此为了更好的编码效率将所有像素用于块匹配计算。在这种情况下不执行像素抽取。
如上所述，沿着宏块中像素相关的方向(由最佳帧内16×16模式给出)，为了块匹配计算交替跳过像素。关于垂直模式，使用像素抽取的效果在于，针对块匹配计算采用交替的宏块行。针对实际用于块匹配计算的每个像素(例如，针对计算所采用的每个像素，可以跳过三个像素)通过跳过多于一个像素来扩展该构思。这将等同于采用宏块的一个行用于块匹配计算，并跳过随后的三个行以进行垂直模式情况下的计算。该相同构思也可以应用于其他两种模式(水平和平面)。
像素抽取图案的实际设计对于本发明不是实质性的。改进的编码器提供了一种基于来自已经存在于编码过程内的最佳模式的像素抽取图案的动态选择。该最佳模式用于确定特定宏块内像素的一般(或最普通的)方向，并且该信息用于自动选择将用于特定宏块的期望像素抽取图案。根据针对每个单独宏块的最佳模式选择，图像内的其他宏块可以使用相同或不同的像素抽取图案。图4至6给出了可以有效用于三个特定像素相关方向的像素抽取模式的示例。其他图案能够用于这些方向，并且其他附加方向确实能够用于选择图案。编码器提供了无需任何附加处理器循环的动态像素抽取，就好像当前具有现有编码器的情况一样。本发明的应用包括其针对便携式视频设备和以及在移动应用中使用。本发明提供了基于最佳帧内16×16预测模式运动的针对H.264编码器的运动估计中的动态像素抽取。

Claims (18)

1.一种视频编码的方法，包括：
接收图像(12)，
选择图像(12)中的宏块(22)，
确定宏块(22)的最佳编码模式，
根据确定的最佳编码模式来确定像素方向，以及
根据确定的像素方向选择像素抽取图案(32)。
2.根据权利要求1所述的方法，还包括重复以下操作：选择图像(12)中的宏块(22)、确定宏块(22)的最佳编码模式、根据确定的最佳编码模式来确定像素方向、以及针对图像(12)中的每个宏块(22)根据确定的像素方向来选择像素抽取图案(32)。
3.根据权利要求1或2所述的方法，还包括：存储多个像素抽取图案(32)。
4.根据权利要求3所述的方法，其中，每个存储的像素抽取图案(32)包括定义了像素方向的报头。
5.根据权利要求4所述的方法，其中，根据确定的像素方向来选择像素抽取图案(32)的步骤包括：将确定的像素方向与存储的像素抽取图案(32)的报头进行匹配。
6.根据前述权利要求中任一项所述的方法，其中，确定宏块(22)的最佳编码模式的步骤包括：确定宏块(22)的最佳帧内16×16模式。
7.一种视频编码系统，包括：
接收器(14)，被设置为接收图像(12)，以及
处理器(16)，被设置为选择图像(12)中的宏块(22)，以确定宏块(22)的最佳编码模式、根据确定的最佳编码模式来确定像素方向、以及根据确定的像素方向来选择像素抽取图案(32)。
8.根据权利要求7所述的系统，其中，处理器(16)还被设置为，对以下操作进行重复：选择图像(12)中的宏块(22)、确定宏块(22)的最佳编码模式、从确定的最佳编码模式中确定像素方向、以及针对图像(12)中的每个宏块(22)根据确定的像素方向来选择像素抽取图案(32)。
9.根据权利要求7或8所述的系统，还包括：被设置为存储多个像素抽取图案(32)的存储器(18；28)。
10.根据权利要求9所述的系统，其中，每个存储的像素抽取图案(32)包括定义像素方向的报头。
11.根据权利要求10所述的系统，其中，处理器(16)被设置为，当根据确定的像素来选择像素抽取图案(32)时，将确定的像素方向与存储的像素抽取图案(32)的报头进行匹配。
12.根据权利要求7至11中任一项所述的系统，其中，处理器(16)被设置为，当确定宏块(22)的最佳编码模式时，确定宏块(22)的最佳帧内16×16模式。
13.一种用于视频编码的计算机可读介质上的计算机程序产品，所述产品包括用于以下操作的指令：
接收图像(12)，
选择图像(12)中的宏块(22)，
确定宏块(22)的最佳编码模式，
根据确定的最佳编码模式来确定像素方向，以及
根据确定的像素方向来选择像素抽取图案(32)。
14.根据权利要求13所述的计算机程序产品，还包括对以下操作进行重复的指令：选择图像(12)中的宏块(22)、确定宏块(22)的最佳编码模式、从确定的最佳编码模式中确定像素方向、以及针对图像(12)中的每个宏块(22)根据确定的像素方向来选择像素抽取图案(32)。
15.根据权利要求13或14所述的计算机程序产品，还包括：用于存储多个像素抽取图案(32)的指令。
16.根据权利要求15所述的计算机程序产品，其中，每个存储的像素抽取图案(32)包括定义像素方向的报头。
17.根据权利要求16所述的计算机程序产品，其中，用于根据确定的像素方向来选择像素抽取图案(32)的指令包括：用于将确定的像素方向与存储的像素抽取图案(32)的报头进行匹配的指令。
18.根据权利要求13至17中任一项所述的计算机程序产品，其中，用于确定宏块(22)的最佳编码模式的指令包括：确定宏块(22)的最佳帧内16×16模式的指令。
CN200880111545A 2007-10-16 2008-10-13 使用像素抽取的视频编码 Pending CN101822058A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP07118597 2007-10-16
EP07118597.9 2007-10-16
PCT/IB2008/054204 WO2009050638A2 (en) 2007-10-16 2008-10-13 Video encoding using pixel decimation pattern according to best intra mode

Publications (1)

Publication Number Publication Date
CN101822058A true CN101822058A (zh) 2010-09-01

Family

ID=40459572

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880111545A Pending CN101822058A (zh) 2007-10-16 2008-10-13 使用像素抽取的视频编码

Country Status (4)

Country Link
US (1) US20100290534A1 (zh)
EP (1) EP2201780A2 (zh)
CN (1) CN101822058A (zh)
WO (1) WO2009050638A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020094049A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Extensions of inter prediction with geometric partitioning
WO2020103936A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Pruning method for inter prediction with geometry partition
US11671586B2 (en) 2018-12-28 2023-06-06 Beijing Bytedance Network Technology Co., Ltd. Modified history based motion prediction
US11956431B2 (en) 2018-12-30 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Conditional application of inter prediction with geometric partitioning in video processing

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013040287A1 (en) * 2011-09-15 2013-03-21 Vid Scale, Inc. Systems and methods for spatial prediction
CN108063947B (zh) * 2017-12-14 2021-07-13 西北工业大学 一种基于像素纹理的无损参考帧压缩方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940911B2 (en) * 2000-03-14 2005-09-06 Victor Company Of Japan, Ltd. Variable picture rate coding/decoding method and apparatus
JP2002084540A (ja) * 2000-06-28 2002-03-22 Canon Inc 画像処理装置、画像処理方法、電子カメラ、及び、プログラム
TW548990B (en) * 2001-12-31 2003-08-21 Univ Nat Chiao Tung Fast motion estimation method using N-queen pixel decimation
US7170934B2 (en) * 2002-12-20 2007-01-30 Lsi Logic Corporation Method and/or apparatus for motion estimation using a hierarchical search followed by a computation split for different block sizes
JP4284501B2 (ja) * 2003-03-28 2009-06-24 セイコーエプソン株式会社 画像データ縮小装置、マイクロコンピュータ及び電子機器
GB2435360B (en) 2006-02-16 2009-09-23 Imagination Tech Ltd Method and apparatus for determining motion between video images

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457226B2 (en) 2018-11-06 2022-09-27 Beijing Bytedance Network Technology Co., Ltd. Side information signaling for inter prediction with geometric partitioning
US11070821B2 (en) 2018-11-06 2021-07-20 Beijing Bytedance Network Technology Co., Ltd. Side information signaling for inter prediction with geometric partitioning
US11070820B2 (en) 2018-11-06 2021-07-20 Beijing Bytedance Network Technology Co., Ltd. Condition dependent inter prediction with geometric partitioning
US11159808B2 (en) 2018-11-06 2021-10-26 Beijing Bytedance Network Technology Co., Ltd. Using inter prediction with geometric partitioning for video processing
US11166031B2 (en) 2018-11-06 2021-11-02 Beijing Bytedance Network Technology Co., Ltd. Signaling of side information for inter prediction with geometric partitioning
WO2020094049A1 (en) * 2018-11-06 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Extensions of inter prediction with geometric partitioning
US11570450B2 (en) 2018-11-06 2023-01-31 Beijing Bytedance Network Technology Co., Ltd. Using inter prediction with geometric partitioning for video processing
US11611763B2 (en) 2018-11-06 2023-03-21 Beijing Bytedance Network Technology Co., Ltd. Extensions of inter prediction with geometric partitioning
WO2020103936A1 (en) * 2018-11-22 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Pruning method for inter prediction with geometry partition
US11677941B2 (en) 2018-11-22 2023-06-13 Beijing Bytedance Network Technology Co., Ltd Construction method for inter prediction with geometry partition
US11924421B2 (en) 2018-11-22 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Blending method for inter prediction with geometry partition
US11671586B2 (en) 2018-12-28 2023-06-06 Beijing Bytedance Network Technology Co., Ltd. Modified history based motion prediction
US11956431B2 (en) 2018-12-30 2024-04-09 Beijing Bytedance Network Technology Co., Ltd Conditional application of inter prediction with geometric partitioning in video processing

Also Published As

Publication number Publication date
US20100290534A1 (en) 2010-11-18
WO2009050638A3 (en) 2009-06-11
EP2201780A2 (en) 2010-06-30
WO2009050638A2 (en) 2009-04-23

Similar Documents

Publication Publication Date Title
US6618439B1 (en) Fast motion-compensated video frame interpolator
US8098733B2 (en) Multi-directional motion estimation using parallel processors and pre-computed search-strategy offset tables
US7362808B2 (en) Device for and method of estimating motion in video encoder
US8559515B2 (en) Apparatus and method for encoding and decoding multi-view video
KR100739281B1 (ko) 움직임 추정 방법 및 장치
JPH09179987A (ja) 動きベクトル検出方法及び動きベクトル検出装置
JP3778721B2 (ja) 動画像符号化方法および装置
US20050207663A1 (en) Searching method and system for best matching motion vector
CN100521744C (zh) 图像处理设备和方法
JP4514203B2 (ja) 動きベクトル検出装置及び方法
US20070092007A1 (en) Methods and systems for video data processing employing frame/field region predictions in motion estimation
CN101822058A (zh) 使用像素抽取的视频编码
JPH07193822A (ja) 動き予測プロセッサ及び動き予測装置
JP2003284091A (ja) 動画像符号化方法及び動画像符号化装置
CN101888546A (zh) 一种运动估计的方法及装置
US20070133689A1 (en) Low-cost motion estimation apparatus and method thereof
WO1999059341A1 (en) Motion vector generation by temporal interpolation
JP2004032355A (ja) 動画像符号化方法，動画像復号方法，動画像符号化装置および動画像復号装置
JPH0654315A (ja) 動画像符号化方法及び装置
KR100994771B1 (ko) 블록정합에 의한 움직임 벡터 탐색방법 및 탐색장치
US10448047B2 (en) Encoder circuit and encoding method
CN100496126C (zh) 影像编码装置及其方法
JP2007221602A (ja) 動き補償器、動き補償処理方法、コンピュータプログラム及び記憶媒体
JP2002247584A (ja) 画像符号化方法および装置、並びに、画像符号化処理用プログラム及びそのプログラムの記録媒体
US20070153909A1 (en) Apparatus for image encoding and method thereof

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: CAYMAN ISLANDS BUSINESS TRIDENT MICROSYSTEMS CO.,

Free format text: FORMER OWNER: KONINKL PHILIPS ELECTRONICS NV

Effective date: 20101119

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: EINDHOVEN, HOLLAND TO: ENGLISH CAYMAN ISLANDS

TA01 Transfer of patent application right

Effective date of registration: 20101119

Address after: Cayman Islands

Applicant after: NXP BV

Address before: Holland Ian Deho Finn

Applicant before: Koninkl Philips Electronics NV

ASS Succession or assignment of patent right

Owner name: ENTROPIC COMMUNICATIONS, INC.

Free format text: FORMER OWNER: CAYMAN ISLANDS BUSINESS TRIDENT MICROSYSTEMS CO., LTD.

Effective date: 20131008

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20131008

Address after: American California

Applicant after: Entropic Communications, Inc.

Address before: Cayman Islands

Applicant before: NXP BV

C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100901