CN101409834A - 支持逐行式与隔行式数据的系统的宏块对编码方法 - Google Patents

支持逐行式与隔行式数据的系统的宏块对编码方法 Download PDF

Info

Publication number
CN101409834A
CN101409834A CN200810003237.XA CN200810003237A CN101409834A CN 101409834 A CN101409834 A CN 101409834A CN 200810003237 A CN200810003237 A CN 200810003237A CN 101409834 A CN101409834 A CN 101409834A
Authority
CN
China
Prior art keywords
video image
macro block
search window
memory
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200810003237.XA
Other languages
English (en)
Other versions
CN101409834B (zh
Inventor
黄毓文
郭志辉
陈庆晔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xueshan Technology Co.,Ltd.
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN101409834A publication Critical patent/CN101409834A/zh
Application granted granted Critical
Publication of CN101409834B publication Critical patent/CN101409834B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种逐行式数据的视频图像的宏块对编码方法，包括：接收视频图像；将视频图像存储至第一存储器；将该视频图像的当前宏块对及当前搜寻窗口加载至第二存储器并利用当前搜寻窗口执行当前宏块对的块匹配；以及将下一宏块对及对应于下一搜寻窗口的非重叠区域的多个宏块加载至第二存储器用以执行下一宏块对的块匹配。上述方法通过数据再利用的方式提高了系统的整体效能，同时也有效地节约了制造成本。

Description

支持逐行式与隔行式数据的系统的宏块对编码方法
技术领域
本发明涉及一种宏块编码，特别指一种可用于逐行式及隔行式数据的宏块对编码(Macroblock pair coding)。
背景技术
预测编码(Predictive coding)是一种广泛应用于视频转换中的技术，用来缩减编码后图像的大小。通常，一个帧(Frame)会被划分为多个块，这种块被称为宏块(Macroblock)。在对当前帧(Current frame)中的当前宏块(Currentmacroblock)进行编码时，将会利用到一个或更多参考帧(Reference frame)的信息，因此需要对参考帧的指定区域进行搜寻操作，用来找出具有最小预测误差的最佳匹配块。因此，对于每个当前宏块的编码操作而言，来自参考帧的信息都将被再次利用。
现有编码系统首先将视频数据寄存至动态存储器(Dynamic storage)，例如动态随机存取存储器(Dynamic Random Access Memory，DRAM)。在对当前宏块编码时，再将当前宏块及用于编码当前宏块的搜寻窗口(Search window)由DRAM加载至静态随机存取存储器(Static Random Access Memory，SRAM)。由于相邻宏块的搜寻窗口之间存在重叠区域，因此只需加载非重叠区域至SRAM即可。此外，数据的再利用级别通常有两种：C级(level C)和D级(level D)。由于上述方法已为该领域的技术人员所了解，因此细节部分不再赘述。进一步的相关信息请参考J.C.Tuan，T.S.Chang以及C.W.Jen于2002年1月发表在IEEE Transactions on Circuits and Systems for Video Technology第12卷第1期，第61页至第72页的“On the data reuse and memory bandwidthanalysis for full-search block-matching VLSI architecture”。若执行C级的再利用，只需要存储容量小的SRAM，但DRAM带宽(Bandwidth)会受到强烈影响；而对D级的再利用而言，则需要存储容量大的SRAM，但其所利用的DRAM带宽则要小于C级的再利用的DRAM带宽。
举例来说，一个包含16×16像素(Pixels)的宏块，该宏块具有两个参考帧并且搜寻窗口的范围为水平方向±64像素，垂直方向±32像素。假设视频格式为1280×720×30Hz，对C级的数据再利用而言，当一个宏块被编码时，每个参考帧将会有16×80像素的区域从DRAM加载至SRAM，每个参考帧的搜寻窗口的大小总共为144×80像素，所需SRAM的存储容量共计23,040字节(Bytes)；而对于D级的数据再利用而言，由于要利用参考帧中的所有列，因此其搜寻窗口相对于C级的数据再利用要大的多，所需SRAM的存储容量为204,800字节。如果仅考虑SRAM的价格，那么C级的数据再利用无疑是更好的选择，但若是考虑到DRAM的带宽，D级的数据再利用则因其不需要持续快速地将数据加载至SRAM而显得更为有效。在实时处理1280×720×30Hz视频的情况下，C级的数据再利用所需DRAM的带宽为276,480,000字节/秒(Bytes per second)，而D级的数据再利用所需DRAM的带宽仅为55,296,000字节/秒。
因此，需要在DRAM效率及SRAM耗费之间做一种折衷考虑，但这样也可能会导致上述两种数据再利用方法难以应用。
发明内容
为解决上述技术问题，特提出一种宏块的编码方法，用来平衡C级与D级的数据再利用方法的利弊。
本发明提出一种逐行式数据的视频图像的块匹配方法，包括：接收视频图像；存储视频图像至第一存储器；加载视频图像的当前宏块对及当前搜寻窗口至第二存储器并利用搜寻窗口执行当前宏块对的块匹配；以及加载下一宏块对及对应于下一搜寻窗口的非重叠区域的多个宏块至第二存储器以执行下一宏块对的块匹配，下一搜寻窗口的非重叠区域包括未在当前搜寻窗口中出现的宏块。
本发明又提出一种视频图像的块匹配方法，该方法利用宏块对作为编码单位并且支持隔行式及逐行式数据，包括：接收视频图像；存储视频图像至第一存储器；检查视频图像的格式；若视频图像的格式为逐行式，选择帧编码方式用来处理视频图像的宏块对；加载视频图像的当前宏块对及当前搜寻窗口至第二存储器并利用搜寻窗口执行当前宏块对的块匹配；以及加载下一宏块对及对应于下一搜寻窗口的非重叠区域的多个宏块至第二存储器以执行下一宏块对的块匹配。其中，下一搜寻窗口的非重叠区域包括未在当前搜寻窗口中出现的宏块。
以上所述为C级与D级的数据再利用方法的折衷技术方案，本发明提出的上述技术方案兼有降低DRAM的带宽要求以及减少所需SRAM的容量的优点，在提高系统效能的同时也有效地节约了总体制造成本。
附图说明
图1是根据本发明实施例的宏块对编码方法的流程图。
图2a是编码当前宏块对的当前搜寻窗口的示意图。
图2b是编码下一宏块对的下一搜寻窗口的示意图。
图2c是当前宏块对的当前搜寻窗口与下一宏块对的下一搜寻窗口重叠区域的示意图。
具体实施方式
在说明书及权利要求当中使用了某些词汇来指称特定的元件。所属技术领域的技术人员应可理解，硬件制造商可能会用不同的名词来称呼同一个元件。本说明书及权利要求并不以名称的差异作为区分元件的方式，而是以元件在功能上的差异作为区分的准则。在通篇说明书及后续的权利要求项中所提及的「包括」为一开放式的用语，故应解释成「包括但不限定于」。此外，「耦接」一词在此包括任何直接及间接的电气连接手段。因此，若文中描述第一装置耦接于第二装置，则代表第一装置可直接电气连接于第二装置，或透过其它装置或连接手段间接地电气连接至第二装置。
当视频源为隔行式数据(Interlaced data)时，现有编码系统利用宏块自适应帧-场(Macroblock Adaptive Frame-Field，MBAFF)编码技术对其进行编码，其原因是由于帧中的某些部分(相对固定的部分)采用帧编码方式效果较好，而帧中的其它部分(例如快速移动的部分)则采用场编码方式效果较好。MBAFF编码是以宏块对(Macroblock pair)作为编码单元。本发明也提出利用MBAFF编码技术对逐行式数据(Progressive data)进行编码。
当视频源被接收时，其视频格式就可以被确定。若视频格式为隔行式数据，则编码方式将沿用现有的MBAFF编码。取决于图像，编码系统可以决定是根据场编码方式来编码某个宏块对或是根据帧编码方式来编码某个宏块对。若视频格式为逐行式数据，编码系统仍会执行MBAFF编码，但会跳过决定帧/场编码方式的步骤，而对所有宏块对都采用帧编码方式。
请参图1，图1是根据本发明实施例的宏块对编码方法的流程图，显示了处理逐行式数据及隔行式数据的不同流程，包括以下步骤：
步骤120：接收宏块对并检查视频源格式，若视频源为隔行式数据，则执行步骤130，若视频源为逐行式数据，则执行步骤140；
步骤130：决定依据帧编码方式或场编码方式对当前宏块对编码，若决定帧编码方式则执行步骤140，若决定场编码方式则执行步骤150；
步骤140：根据帧编码方式编码当前宏块对；以及
步骤150：根据场编码方式编码当前宏块对。
请一并参考图2a、2b及2c，显示了数据再利用方案的示意图，该方案结合一个具有搜寻窗口范围为水平方向±64像素，垂直方向±32像素的16×32像素的宏块对。图中标号210、240、270是参考帧。图2a是编码当前宏块对(如220所示)的当前搜寻窗口(如230所示)的示意图；图2b是编码下一宏块对(如250所示)的下一搜寻窗口(如260所示)的示意图；以及图2c是当前宏块对的当前搜寻窗口与下一宏块对的下一搜寻窗口的重叠区域(如290所示)的示意图。由图中可以看出，每次对下一宏块对编码时，需要加载至SRAM的区域为16×96像素，如图2c中280所示，相当于搜寻窗口的非重叠区域。对帧编码方式而言，一个宏块对是对应于同一帧内连续行中的顶部宏块与底部宏块。
如上所述，对于C级的数据再利用而言，所需搜寻窗口的区域为144×80像素，而宏块对编码还需要将一行额外的宏块加载至SRAM，因此所需SRAM的容量总共为27,648字节(144×96×2像素，其中2是参考帧的数量)，这样才能保证C级的数据再利用顺利实施。就DRAM而言，由于编码单元为宏块对，因此DRAM的带宽仅为C级的数据再利用所需的DRAM的带宽的一半。例如，在1280×720×30Hz视频的实时处理中，宏块对编码总共所需DRAM的带宽为165,888,000字节/秒。虽然这样仍然高出D级的数据再利用的DRAM的带宽，但却比C级的数据再利用节省很多，因此不失为一种兼顾SRAM与DRAM的策略。
本发明所提供的技术方案可应用于同时支持逐行式及隔行式数据的系统，也可以应用于仅支持逐行式数据的系统。由于当系统检测到数据源为逐行式之后无须再执行决定帧/场编码方式的步骤，故其编码过程相对于现有的系统来说更为简单。该技术方案可以应用于支持MBAFF编码方式(如H.264及更高级标准)的系统。
本发明所提供的技术方案就数据存储的部分在C级与D级的数据再利用之间做出了折衷考虑，通过平衡DRAM的带宽与SRAM的容量间的利弊而使现有技术得以改善。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。

Claims (9)

1.一种宏块对编码方法，用于逐行式数据的视频图像的编码，包括：
接收该视频图像；
将该视频图像存储至第一存储器；
将该视频图像的当前宏块对及当前搜寻窗口加载至第二存储器，并利用该当前搜寻窗口执行该当前宏块对的块匹配；以及
将下一宏块对及对应于下一搜寻窗口的非重叠区域的多个宏块加载至该第二存储器以执行该下一宏块对的块匹配，该下一搜寻窗口的该非重叠区域包括未在该当前搜寻窗口中出现的宏块。
2.如权利要求1所述的宏块对编码方法，其特征在于：该宏块对是以帧模式上载至该第二存储器。
3.如权利要求1所述的宏块对编码方法，其特征在于：该视频图像是以H.264标准编码。
4.如权利要求1所述的宏块对编码方法，其特征在于：该视频图像是以支持宏块自适应帧-场编码方式的视频标准编码。
5.如权利要求1所述的宏块对编码方法，其特征在于：该第一存储器是动态随机存取存储器，而该第二存储器是静态随机存取存储器。
6.一种视频图像的编码方法，利用多个宏块对作为编码单元并支持逐行式及隔行式数据，包括：
接收该视频图像；
将该视频图像存储至第一存储器；
检查该视频图像的格式；以及
当该视频图像的格式为逐行式时，选择帧编码方式以处理该视频图像的该多个宏块对，将该视频图像的当前宏块对及当前搜寻窗口加载至第二存储器，并利用该当前搜寻窗口执行该当前宏块对的块匹配，以及将下一宏块对及对应于下一搜寻窗口的非重叠区域的多个宏块加载至该第二存储器以执行该下一宏块对的块匹配，该下一搜寻窗口的该非重叠区域包括未在该当前搜寻窗口中出现的宏块。
7.如权利要求6所述的视频图像的编码方法，其特征在于：该视频图像是以H.264标准编码。
8.如权利要求6所述的视频图像的编码方法，其特征在于：该视频图像是以支持宏块自适应帧-场编码方式的视频标准编码。
9.如权利要求6所述的视频图像的编码方法，其特征在于：该第一存储器是动态随机存取存储器，而该第二存储器是静态随机存取存储器。
CN200810003237.XA 2007-10-12 2008-01-28 支持逐行式与隔行式数据的系统的宏块对编码方法 Active CN101409834B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/871,158 US8665946B2 (en) 2007-10-12 2007-10-12 Macroblock pair coding for systems that support progressive and interlaced data
US11/871,158 2007-10-12

Publications (2)

Publication Number Publication Date
CN101409834A true CN101409834A (zh) 2009-04-15
CN101409834B CN101409834B (zh) 2011-02-09

Family

ID=40534159

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810003237.XA Active CN101409834B (zh) 2007-10-12 2008-01-28 支持逐行式与隔行式数据的系统的宏块对编码方法

Country Status (3)

Country Link
US (1) US8665946B2 (zh)
CN (1) CN101409834B (zh)
TW (1) TWI375471B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106797444A (zh) * 2014-09-30 2017-05-31 英特尔公司 内容自适应影视化和隔行反转器

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8285068B2 (en) 2008-06-25 2012-10-09 Cisco Technology, Inc. Combined deblocking and denoising filter
JP5029543B2 (ja) * 2008-09-09 2012-09-19 富士通株式会社 符号化装置および符号化プログラム
US8638395B2 (en) 2009-06-05 2014-01-28 Cisco Technology, Inc. Consolidating prior temporally-matched frames in 3D-based video denoising
US9635308B2 (en) * 2010-06-02 2017-04-25 Cisco Technology, Inc. Preprocessing of interlaced video with overlapped 3D transforms
US9628674B2 (en) 2010-06-02 2017-04-18 Cisco Technology, Inc. Staggered motion compensation for preprocessing video with overlapped 3D transforms
US8472725B2 (en) 2010-06-02 2013-06-25 Cisco Technology, Inc. Scene change detection and handling for preprocessing video with overlapped 3D transforms
TW201409994A (zh) * 2012-08-30 2014-03-01 Novatek Microelectronics Corp 立體視訊的編碼方法與編碼裝置
US9762912B2 (en) 2015-01-16 2017-09-12 Microsoft Technology Licensing, Llc Gradual updating using transform coefficients for encoding and decoding
US9832351B1 (en) 2016-09-09 2017-11-28 Cisco Technology, Inc. Reduced complexity video filtering using stepped overlapped transforms

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088047A (en) 1997-12-30 2000-07-11 Sony Corporation Motion compensated digital video decoding with buffered picture storage memory map
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
FR2872974A1 (fr) * 2004-07-06 2006-01-13 Thomson Licensing Sa Procede ou dispositif de codage adaptatif
US20060050976A1 (en) 2004-09-09 2006-03-09 Stephen Molloy Caching method and apparatus for video motion compensation
US8270480B2 (en) * 2004-09-16 2012-09-18 Thomson Licensing Method and apparatus for rapid video and field coding
KR100640592B1 (ko) 2004-10-25 2006-11-01 삼성전자주식회사 향상된 압축 속도를 가지는 동영상 압축 장치 및 그 방법
US7450180B2 (en) * 2004-12-29 2008-11-11 General Instrument Corporation Method for detecting interlaced material and field order
US20070121728A1 (en) * 2005-05-12 2007-05-31 Kylintv, Inc. Codec for IPTV
US8045618B2 (en) * 2005-08-05 2011-10-25 Lsi Corporation Method and apparatus for MPEG-2 to VC-1 video transcoding
US8787465B2 (en) 2006-03-31 2014-07-22 Intel Corporation Method for neighboring block data management of advanced video decoder
EP1879399A1 (en) * 2006-07-12 2008-01-16 THOMSON Licensing Method for deriving motion data for high resolution pictures from motion data of low resolution pictures and coding and decoding devices implementing said method
CN1925616B (zh) * 2006-09-14 2010-05-12 清华大学 一种宏块对级帧场自适应编解码方法
US8265136B2 (en) * 2007-02-20 2012-09-11 Vixs Systems, Inc. Motion refinement engine for use in video encoding in accordance with a plurality of sub-pixel resolutions and methods for use therewith
US20080310515A1 (en) * 2007-06-14 2008-12-18 Yasutomo Matsuba MPEG-2 2-Slice Coding for Simple Implementation of H.264 MBAFF Transcoder

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106797444A (zh) * 2014-09-30 2017-05-31 英特尔公司 内容自适应影视化和隔行反转器
CN106797444B (zh) * 2014-09-30 2019-10-25 英特尔公司 用于处理视频以便进行编码和/或显示的方法、装置和系统

Also Published As

Publication number Publication date
TW200917849A (en) 2009-04-16
US8665946B2 (en) 2014-03-04
TWI375471B (en) 2012-10-21
CN101409834B (zh) 2011-02-09
US20090097566A1 (en) 2009-04-16

Similar Documents

Publication Publication Date Title
CN101409834B (zh) 支持逐行式与隔行式数据的系统的宏块对编码方法
Chen et al. Level C+ data reuse scheme for motion estimation with corresponding coding orders
US12010330B2 (en) Method and apparatus of HEVC de-blocking filter
CN101547354B (zh) 实现运动估计的视频编码器与其运动估计方法
US8265157B2 (en) Motion vector refinement for MPEG-2 to H.264 video transcoding
CN101198057B (zh) 具有提供参考运动向量的读取缓冲器的运动预测处理器
US20170118485A1 (en) Methods and systems for encoding pictures associated with video data
CN111630856A (zh) 基于响应于相邻样本的线性模型进行视频编码和解码的方法和设备
CN103399802B (zh) 一种图片预加载方法以及装置
CN101496411A (zh) 用于运动补偿视频解码过程的有效存储器提取
US20050190976A1 (en) Moving image encoding apparatus and moving image processing apparatus
JP2014525176A (ja) 輝度に基づく色度イントラ予測
CN101248673A (zh) 用于根据多个视频标准进行视频编码的去块滤波技术
US20060239349A1 (en) Image coding unit and image coding method
CN101133648A (zh) 用于帧内预测视频编码的模式选择技术
CN103220529A (zh) 一种视频编解码环路滤波的实现方法
CN101540911A (zh) 产生图像数据流的方法和设备及重建图像的方法和设备
CN101472176A (zh) 基于边界强度因子进行去块效应滤波的解码方法和装置
CN103109535B (zh) 图像再生方法、图像再生装置、摄像系统及再生系统
EP3844951A1 (en) Method and apparatus of intra prediction with mpm generation in image and video processing
CN101179724B (zh) 帧间压缩编码中的帧存储方法及装置
CN102196253B (zh) 一种帧类型自适应选择的视频编码方法及装置
US20170318304A1 (en) Dynamic frame padding in a video hardware engine
CN102647592B (zh) 一种高清编码器的运动估计搜索窗数据复用方法
CN101321288B (zh) 参考数据载入方法、装置及视频编码器

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20210916

Address after: Ontario, Canada

Patentee after: Xueshan Technology Co.,Ltd.

Address before: Hsinchu Science Industrial Park, Taiwan, China

Patentee before: MEDIATEK Inc.