CN103458255B - 影像编码的方法与相关装置 - Google Patents

影像编码的方法与相关装置 Download PDF

Info

Publication number
CN103458255B
CN103458255B CN201210175467.0A CN201210175467A CN103458255B CN 103458255 B CN103458255 B CN 103458255B CN 201210175467 A CN201210175467 A CN 201210175467A CN 103458255 B CN103458255 B CN 103458255B
Authority
CN
China
Prior art keywords
data
those
component
storage area
datas
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201210175467.0A
Other languages
English (en)
Other versions
CN103458255A (zh
Inventor
洪伟翔
何嘉强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MStar Software R&D Shenzhen Ltd
MStar Semiconductor Inc Taiwan
Original Assignee
MStar Software R&D Shenzhen Ltd
MStar Semiconductor Inc Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MStar Software R&D Shenzhen Ltd, MStar Semiconductor Inc Taiwan filed Critical MStar Software R&D Shenzhen Ltd
Priority to CN201210175467.0A priority Critical patent/CN103458255B/zh
Publication of CN103458255A publication Critical patent/CN103458255A/zh
Application granted granted Critical
Publication of CN103458255B publication Critical patent/CN103458255B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及影像编码的方法与相关装置,包括:将一参考帧的多笔亮度数据分解为多笔主数据与多笔副数据,并分别储存于一缓冲器的一第一存储区域与一第二存储区域;存取第一存储区域以进行一移动估计(motion?estimation);以及,存取第二存储区域以进行一亮度移动补偿(motion?compensation)。

Description

影像编码的方法与相关装置
技术领域
本发明有关于一种影像编码的方法与相关装置,且特别是关于一种得以在影像编码时减少缓冲器频宽需求以增进效能的影像编码方法与相关装置。
背景技术
影像数据能传达并记录丰富多元的视听讯息,已成为现代资讯生活中不可或缺的一部分。为了缩减影像数据的档案大小,要对影像数据进行影像编码;如何增进影像编码的效能,也就成为现代资讯业者的研发重点。
影像数据由多个依序排列的画面形成,每个画面中有多个像素,每个像素关联于三个分量数据,例如YUV色彩空间中的一亮度(luma)数据与两个彩度(chroma)数据。在对一原始影像数据进行影像编码时,会逐一对原始影像数据的各画面进行编码,例如将一画面编码为一帧内编码帧(intra-codedframe,或称I帧)、一预测帧(predictedframe,或称P帧)或一双向预测帧(bi-directionalpredictedframe,或称B帧)。
要将一目前画面编码为一P帧或B帧时,需引用一或多个参考帧,以下说明引用一参考帧的情况;对应于一参考帧,目前画面会被划分为多个区块(例如16*16像素的巨块,macro-block),各区块关联于参考帧中的一搜寻窗(searchwindow),各搜寻窗在其所属参考帧中涵盖对应区块与其周边区域的多个邻近像素。在针对目前画面的一个目前区块进行影像编码时,会比较目前区块的亮度数据与对应搜寻窗的亮度数据,据以进行一亮度移动估计,并得到一亮度移动向量(motionvector);依据亮度移动向量与搜寻窗中各像素的亮度数据与两彩度数据,便可进行一移动补偿,包括一亮度移动补偿与一彩度移动补偿,以得到一近似区块;此近似区块即近似于目前区块。由目前区块中减去近似区块可得到一残余区块,此残余区块可进一步被压缩,而压缩后的残余区块与移动向量就代表对目前区块的编码结果。引用多参考帧的情况可以此类推。
从影像解码的角度而言,在对一编码后的目前帧进行影像解码时,依据参考帧和目前帧中各区块所对应的移动向量,便可为目前帧的各区块取得对应的近似区块;针对目前帧的各区块结合对应的近似区块与残余区块,便可组合重建出编码前的原始画面。
在实现影像编码技术时,会以一缓冲器(例如帧缓冲器,framebuffer)储存参考帧。请参考图1,其所绘示的是依据一已知技术存取一缓冲器10以进行影像编码的示意图。为进行影像编码,缓冲器10内会为一参考帧配置两个存储区域12a与12b;参考帧的亮度数据会被储存于存储区域12a,参考帧的另外两彩度数据则被储存于存储区域12b。图1中,即是以区块(例如16*16像素的巨块)为单位来示意参考帧所关联的亮度数据与两彩度数据;在4:2:0的影像编码格式下,每区块关联于16*16笔亮度数据Y、8*8笔彩度数据U与8*8笔彩度数据V。各笔亮度数据Y包括8个位元(一位元组),各笔彩度数据U与V亦分别包括8个位元(一位元组)。在存储区域12a内,各区块的16*16笔亮度数据Y被储存为16个相邻列(row)中的16个相邻位元组;在存储区域12b内,各区块的8*8笔彩度数据U与8*8笔彩度数据V则被储存于8个相邻列中,沿着每一列交替地存放彩度数据V与彩度数据U。也就是说,彩度数据V与彩度数据U以一行(column)彩度数据U接替着一行彩度数据V的方式交替地储存。当要进行影像编码的亮度移动估计与亮度移动补偿时,已知技术会存取(例如载入)存储区域12a;等要进行彩度移动补偿时,已知技术会进一步存取存储区域12b。
已知技术的缺点之一是对缓冲器10的频宽(单位时间内的数据量)需求较高。当要进行影像编码时,图1已知技术要从存储区域12a中存取较多数据才能进行亮度移动估计;因此,若要在相同时间内完成亮度移动估计,就需要以较大的频宽来存取缓冲器10的存储区域12a。高频宽需求对影像编码技术的实现与普及十分不利;对高解析度的影像而言,由于高解析度画面有更多区块,已知影像编码技术的缺点也会更明显。
发明内容
为克服已知技术的缺点,本发明提供一种改良的影像编码技术,可以有效降低对缓冲器的频宽需求。
本发明的目的之一是提供一种影像编码的方法,依据一或多个参考帧进行影像编码;各参考帧关联于多笔第一分量数据(例如亮度数据)、多笔第二分量数据与多笔第三分量数据(例如彩度数据)。而本发明方法包括:进行参考帧转换,将该些第一分量数据区分为多笔主数据与多笔副数据,分别储存于缓冲器的一第一存储区域与一第二存储区域;在不需存取第二存储区域的情形下,存取(如载入)该第一存储区域以进行移动估计(例如一亮度移动估计);以及,存取该第二存储区域以进行第一移动补偿(motioncompensation),例如亮度移动补偿。
一实施例中,可将该些第二分量数据与该些第三分量数据储存于该缓冲器中的一第三存储区域,并存取该第三存储区域以进行第二移动补偿,例如彩度移动补偿。另一实施例中,该些第二分量数据与该些第三分量数据和该些副数据一并储存于该第二存储区域;依据对该第二存储区域的存取,便可进行第二移动补偿。举例而言,该些副数据可以用交错(interlace)形式而和该些第二分量数据与该些第三分量数据一并储存于该缓冲器中的该第二存储区域。
一实施例中,该参考帧转换包括:以一第一数目笔该第一分量数据的多个包含最高效位元(MSB,mostsignificantbit)的位元形成该些主数据,并以一第二数目笔该第一分量数据的多个包含最低效位元(LSB,leastsignificantbit)的位元形成该些副数据。
一实施例中,该参考帧转换步骤包括:以一第一数目笔该第一分量数据作为该些主数据,并以一第二数目笔该第一分量数据作为该些副数据。举例而言,在参考帧一区块的16*16笔亮度数据中,可以依据行(column)序或列序的奇偶来将16*16笔亮度数据均分为16*8笔主数据与16*8笔副数据,也就是依据各该第一分量数据关联的像素的位置是否符合一预设样式(是否位于奇数行或列)而选择性地将各该第一分量数据作为该些主数据的其中之一或该些副数据的其中之一。或者,亦可依据各笔第一分量数据的数值是否符合一统计特性(例如是否大于一临界值)而选择性地将该笔第一分量数据作为一笔主数据或一笔副数据。
一实施例中,每一该些主数据包含该些第一分量数据之一的多个位元以及另一第一分量数据的多个位元,以及每一副数据包含该些第一分量数据之一的多个位元以及另一第一分量数据的多个位元。
举例而言,可由偶数行中的每笔8位元亮度数据中取出5个最高效位元,并由相邻奇数行中的每笔8位元亮度数据中取出3个最高效位元,以合成一笔8位元的主数据;据此,16*16像素的区块的16*16笔亮度数据共可形成16*8笔主数据。同理,可由偶数行中的每笔亮度数据中取出3个最低效位元,并由相邻奇数行中的每笔亮度数据中取出5个最低效位元,以合成一笔8位元的副数据;据此,16*16像素的区块的16*16笔亮度数据共可形成16*8笔副数据。在选择该第一数目笔第一分量数据与该第二数目笔第一分量数据时,可依据各第一分量数据关联的像素的位置是否符合一预设样式而将各该第一分量数据选至该第一数目笔第一分量数据之一或该第二数目笔第一分量数据之一。以及/或者,可依据各第一分量数据的数值是否符合一统计特性而将各该第一分量数据选至该第一数目笔第一分量数据之一或该第二数目笔第一分量数据之一。
本发明的目的之一是提供一种影像编码的装置,如一影像编码器,依据一参考帧进行影像编码;其包括一参考帧转换模块、一载入器、一移动估计模块与一移动补偿模块。参考帧转换模块实现本发明的帧转换步骤,将参考帧的多笔第一分量数据区分为多笔主数据与多笔副数据,使该些主数据与该些副数据分别被储存于一缓冲器中的一第一存储区域与一第二存储区域。一实施例中,参考帧转换模块更使参考帧的多笔第二分量数据与多笔第三分量数据储存于缓冲器中的一第三存储区域;另一实施例中,参考帧转换模块使该些第二分量数据与该些第三分量数据与该些副数据储存于该第二存储区域。载入器用以存取缓冲器。移动估计模块依据载入器对第一存储区域的存取进行移动估计(如亮度移动估计)。一移动补偿模块则依据载入器对第二存储区域(以及第三存储区域)的存取进行移动补偿,包括亮度移动补偿与彩度移动补偿。
为了对本发明的上述及其他方面有更佳的了解,下文特举较佳实施例,并配合附图,作详细说明如下:
附图说明
图1示意的是已知技术于影像编码时的缓冲器配置。
图2示意的是依据本发明一实施例的影像编码缓冲器配置。
图3示意的是依据本发明一实施例而以图2配置进行影像编码的流程。
图4与图5绘示的是依据本发明各实施例而将不同亮度数据分类为主数据或副数据的示意图。
图6示意的是依据本发明一实施例的影像编码缓冲器配置。
图7示意的是依据本发明一实施例而以图6配置进行影像编码的流程。
图8示意的是依据本发明一实施例的影像编码器。
主要元件符号说明
10、20:缓冲器
12a-12b、22a-22c、24:存储区域
30:区块
32:参考帧转换模块
34:移动估计模块
36:亮度移动补偿模块
38:彩度移动补偿模块
40:影像编码器
42:载入器
46:内部存储体
50:处理器
100、200:流程
102-108、202-208:步骤
Y:亮度数据
Y1-Y2:子数据
P:主数据
S:副数据
U、V:彩度数据
px1-px4:像素
具体实施方式
请参考图2,其所示意的是依据本发明一实施例而将一参考帧储存于一缓冲器20的示意图。为进行影像编码,缓冲器20内可为一参考帧配置三个存储区域22a、22b与22c。参考帧的多笔亮度数据Y可被分解为多笔主数据P与多笔副数据S,并分别储存于存储区域22a与22b中;参考帧的多笔彩度数据U与V则储存于存储区域22c中。举例而言,每一笔8位元亮度数据Y可依据位元次序而被分解为两笔子数据Y1与Y2;最高效4位元为子数据Y1,最低效4位元为子数据Y2。每两笔4位元子数据Y1可合并以形成一笔8位元的主数据P;每两笔4位元子数据Y2可合并以形成一笔8位元的副数据S,而主数据P与副数据S就可被分别储存至存储区域22a与22b。在存储区域22a中,各笔主数据P两两相邻地存放;在存储区域22b中,各笔副数据P也相邻地存放。
以区块(例如16*16像素的巨块)为单位来说明:在4:2:0的影像编码格式下,每区块关联于16*16笔亮度数据Y、8*8笔彩度数据U与8*8笔彩度数据V。16*16笔8位元亮度数据可拆解为16*16笔4位元子数据Y1与16*16笔4位元子数据Y2。16*16笔4位元子数据Y1可合并为8*16笔8位元主数据P,于存储区域22a中占用8*16个位元组;同理,16*16笔4位元子数据Y2可合并为8*16笔8位元副数据S,于存储区域22b中占用8*16个位元组。因此,在参考帧大小(解析度)相同的情形下,存储区域22a与22b的大小会是图1中存储区域12的一半。
存储区域22c内,各区块的8*8笔8位元彩度数据U与8*8笔8位元彩度数据V可以被储存于8个相邻列中,沿每一列交替地储存彩度数据V与彩度数据U。若影像编码需要多个参考帧,另一参考帧可被储存在存储区域22c之后,或是存储区域22a之前。
请参考图3,其所示意的是依据本发明一实施例的流程100,用以依据图2的缓冲器配置进行影像编码。当要依据一(或多个)参考帧对一目前画面进行影像编码时,就可开始流程100。流程100的各步骤可描述如下。
步骤102:进行参考帧转换,将各参考帧的多笔亮度数据Y分解为多笔主数据P与多笔副数据S,使这些主数据P与副数据S得以分别被储存于缓冲器20中的存储区域22a与22b;参考帧的多笔彩度数据U与V则储存于存储区域22c中。
步骤104:在不需存取存储区域22b的情形下,存取(载入)存储区域22a,以依据存储区域22a中的主数据P进行亮度移动估计。举例而言,在对目前画面的一个目前区块进行影像编码时,可于参考帧的对应搜寻窗中划分出多个参考区块,并经由对存储区域22a的存取而取得各参考区块的对应主数据P;如此,便可逐一比对目前区块与各该参考区块的差异,并据以求出一移动向量。移动向量的相关计算与细节为本领域技术人员所熟知,在此不赘述。一实施例中,当要比对目前区块与参考区块时,可以由参考区块的主数据P中得到各笔4位元子数据Y1,并由目前区块的各笔8位元亮度数据中取出最高效4位元,以和参考区块的各笔4位元子数据Y1进行比对,据此求出对应的移动向量。另一实施例中,当要比对目前区块与参考区块时,可以依据参考区块中相邻的4位元子数据Y1计算(例如内插)出8位元数据,以和目前区块中的各笔8位元亮度数据进行比对,据此求出对应的移动向量。
在步骤104的亮度移动估计中,可以包括一整数处理(integerprocessing)与一微调处理(fine-tuneprocessing);前者用以得出整数(以一个像素为单位)的移动向量,后者则用以将整数移动向量的精确度扩展至分数,例如说是以1/2像素或1/4像素为单位。亮度移动估计也可以只进行至整数处理而不进行后续的微调处理。应注意的是,不论是整数处理或微调处理,皆是依据存储区域22a中的主数据P而进行,不需存取存储区域22b中的副数据S。
步骤106:存取(载入)存储区域22b,以依据存储区域22a的主数据P、存储区域22b的副数据S与步骤104的移动向量进行亮度移动补偿,为目前画面的各个区块的各笔亮度数据提供一对应的亮度近似数据。由存储区域22a的主数据P与存储区域22b的副数据S可结合得出参考帧的各笔8位元亮度数据Y;当要为目前画面的一个目前区块进行亮度移动补偿时,便可依据对应移动向量的指示而于参考帧中取得多笔8位元亮度数据,作为目前区块的8位元亮度近似数据,用以近似目前区块原本的多笔亮度数据。
步骤108:存取(载入)存储区域22c,以依据存储区域22c的彩度数据U/V与步骤104的移动向量进行彩度移动补偿,为目前画面的各个区块的各笔彩度数据提供对应的彩度近似数据。当要为目前画面的一个目前区块进行彩度移动补偿时,可依据步骤104的移动向量推导出一个用于彩度移动补偿的移动向量,据此于参考帧中取得多笔彩度数据作为目前区块的彩度近似数据,以近似目前区块原本的各笔彩度数据。整合步骤106的亮度近似数据与步骤108的彩度近似数据,便可为目前区块得出一对应的近似区块。然后,由目前区块减去近似区块,便可为目前区块得出一对应的残余区块;此残余区块可进一步被压缩,而步骤104的移动向量与压缩后的残余区块就代表对目前区块进行影像编码的结果。
在进行亮度移动估计时,第1图已知技术需存取参考帧的完整8位元亮度数据Y;相较之下,本发明于图3的流程100则只经由主数据P存取参考帧的4位元子数据Y1,故本发明流程100可有效减少对缓冲器的存取,进而降低对缓冲器的存取频宽需求。在对一目前区块进行至步骤106的亮度移动补偿时,流程100会存取参考帧的另外4位元子数据Y2;不过,由于移动向量已于步骤104中确定,故流程100不需存取对应搜寻窗中的全部子数据Y2,只需在全部的子数据Y2存取所需的部分。因此,流程100对缓冲器存取的总次数也会减少。
举例而言,在对1080p、帧率30的高解析度影像进行影像编码时,假设亮度移动估计所使用的搜寻窗涵盖17*17个区块,每个区块为16*16像素的巨块,则已知技术在为一目前区块进行亮度移动估计时需使用73984(=17*17*256)个位元组,因为搜寻窗中的每个区块有256笔完整的8位元(一位元组)亮度数据Y;连带地,已知技术由缓冲器载入搜寻窗的频宽需求则为每秒1065百万位元组。
相较之下,当本发明流程100为一目前区块进行步骤104的亮度移动估计时,由于各笔子数据Y1可以只有半个位元组(4个位元),故步骤104载入搜寻窗时仅需使用36992(=17*17*256*0.5)个位元组,对缓冲器的频宽需求也缩减为每秒532百万位元组,为已知技术的一半。流程100在为一目前区块进行步骤106的亮度移动补偿时会另行存取存储区域22b中的子数据Y2,但不需存取整个搜寻窗的所有子数据Y2,故频宽需求约莫可缩减为每秒125百万位元组。总和步骤104与106的频宽需求,还是远小于图1已知技术的频宽需求。步骤108的频宽需求可以是和已知技术一样的;由于搜寻窗中的彩度数据较少,相对地,亮度移动估计的频宽需求就会主导影像编码的整体频宽需求;而本发明即可针对亮度移动估计进行改进,有效地降低频宽需求。
在进行参考帧转换时,图2实施例是依据截短(truncate)的原理而将亮度数据Y分解为主数据P与副数据S,以降低亮度移动估计的频宽需求。本发明亦可依据次取样(sub-sample)的原理而将参考帧的多笔亮度数据Y分散为多笔主数据P与多笔副数据S;于一实施例中,本发明可依据预设的次取样规则而在参考帧的所有亮度数据Y中选出第一数目笔亮度数据Y以作第一数目笔主数据P,并选出第二数目笔亮度数据作为第二数目笔副数据S,其中,第一数目与第二数目皆小于参考帧中亮度数据的总数。
举例而言,依据参考帧中各亮度数据Y关联的像素的位置是否符合一预设样式(例如是否位于奇数行或列),便可将参考帧中的各亮度数据Y选为一主数据P或一副数据S。请参考图4与图5,其所绘示的是依据本发明不同实施例而将多笔亮度数据Y分别归类为主数据P与副数据S的示意图。
在参考帧中,本发明依据各笔亮度数据Y对应的像素行(column)序或列序将各笔亮度数据Y选为一笔主数据P或一笔副数据S。如第4图所示,在参考帧的一个区块30中,若某一亮度数据Y对应的像素位于偶数行(例如像素px1或px3),则该笔亮度数据Y可作为一主数据P,以被储存于存储区域22a(图3);若另一笔亮度数据Y对应的像素位于奇数行(例如像素px2或px4),则该笔亮度数据Y成为一笔副数据S,以被储存于另一存储区域22b。如此,在16*16像素的区块30中,16*16笔亮度数据Y就可以被分别归类为8*16笔主数据P与8*16笔副数据S,藉此降低亮度移动估计的频宽需求。
于另一实施例中,如图5所示,在参考帧的一个区块30中,若某一亮度数据Y对应的像素位于偶数对角线(例如像素px1或px3),则该笔亮度数据Y作为一主数据P,储存于存储区域22a;若另一笔亮度数据Y对应的像素位于奇数对角线(例如像素px2或px4),则该笔亮度数据Y作为一笔副数据S,储存于另一存储区域22b。如此,在16*16像素的区块30中,16*16笔亮度数据Y就可以被分别归类为8*16笔主数据P与8*16笔副数据S,以降低亮度移动估计的频宽需求。
在其他实施例中,本发明亦可依据参考帧中各笔亮度数据Y的数值是否符合一统计特性而选择性地将各笔亮度数据Y分类为一笔主数据P或一笔副数据S。举例而言,可针对参考帧的所有亮度数据Y统计出一亮度平均值,据此设定一临界值;然后,依据各笔亮度数据Y的数值是否符合大于此临界值,选择性地将各笔亮度数据Y分类至一主数据P或一副数据S。
在进行参考帧转换而由多笔亮度数据Y拆分出多笔主数据P与多笔副数据S时,不仅可依据截短(图2实施例)或次取样(图4、5实施例)的技术,也可将截短与次取样两种技术结合。于一实施例(未图示)中,依据预设的次取样规则,可由参考帧的所有亮度数据Y中选出第一数目笔亮度数据Y与第二数目笔亮度数据Y。自该第一数目笔亮度数据Y中的每一笔亮度数据Y中,取出第三数目个位元与第五数目个位元,分别作为一子数据Ys1与一子数据Ys3。自该第二数目笔亮度数据Y中的每一笔亮度数据Y,分别取出第四数目个位元与第六数目个位元,分别作为一子数据Ys2与一子数据Ys4。然后,每一子数据Ys1便可和一子数据Ys2结合为一笔主数据P,每一子数据Ys3则可和一子数据Ys4结合为一笔主数据S。
于一实施例中,在参考帧内,可由偶数行中的每笔8位元亮度数据Y中取出5个最高效位元成为子数据Ys1,并由奇数行中的每笔8位元亮度数据Y中取出3个最高效位元作为子数据Ys2;将子数据Ys1与Ys2结合,便可形成一笔8位元的主数据P。据此,16*16像素的区块的16*16笔亮度数据Y共可形成8*16笔主数据P。同理,可由偶数行中的每笔亮度数据Y中取出3个最低效位元成为子数据Ys3,并由相邻奇数行中的每笔亮度数据Y中取出5个最低效位元为子数据Ys4;将子数据Ys3与Ys4结合,可形成一笔8位元的副数据S。据此,16*16像素的区块的16*16笔亮度数据共可形成8*16笔副数据S。如此,在依据主数据P进行亮度移动估计时,就能降低亮度移动估计的频宽需求。
请参考图6与图7;图6绘示的是依据本发明一实施例而将一参考帧储存于一缓冲器20的配置示意图,图7示意的则是依据本发明一实施例的流程200,用以依据图6配置进行影像编码。为进行影像编码,缓冲器20内可为一参考帧配置二个存储区域22a与24。参考帧的多笔亮度数据Y可被分解为多笔主数据P与多笔副数据S;主数据P可被储存于存储区域22a,副数据S与和参考帧的多笔彩度数据U与V一并储存于存储区域24中。
举例而言,在参考帧中,以区块(例如16*16像素的巨块)为一单位,每区块会在4:2:0的影像编码格式下关联于16*16笔亮度数据Y、8*8笔彩度数据U与8*8笔彩度数据V。假设16*16笔亮度数据Y可形成8*16笔主数据P与8*16笔副数据S,则这些副数据S可以用交错形式而和彩度数据U与V一并储存于缓冲器20中的存储区域24,如图6所示。在图6的实施例中,各笔副数据S和彩度数据U/V奇偶交错地储存于存储区域24的相邻列,各笔彩度数据U与V则沿同一列以行为单位交错地储存。若影像编码需要多个参考帧,另一参考帧可被储存在存储区域24之后,或是存储区域22a之前。
当要依据图6配置而对一目前画面进行影像编码时,就可开始图7流程200。流程200的各步骤可描述如下。
步骤202:进行参考帧转换,将各参考帧的多笔亮度数据Y分解为多笔主数据P与多笔副数据S,使这些主数据P被储存于缓冲器20中的存储区域22a,副数据S则得以和彩度数据U与V一并被储存于存储区域24。
步骤204:在不需存取存储区域24的情形下,存取(载入)存储区域22a,以依据存储区域22a中的主数据P进行亮度移动估计。步骤204的进行可由图3步骤104推论得知;类似步骤104,步骤204亦可包括整数处理与微调处理。
步骤206:存取(载入)存储区域24,以依据存储区域22a的主数据P、存储区域24的副数据S与步骤104的移动向量进行亮度移动补偿,为目前画面的各个区块的各笔亮度数据提供一对应的亮度近似数据。由存储区域22a的主数据P与存储区域24的副数据S可结合得出参考帧的各笔8位元亮度数据Y;当要为目前画面的一个目前区块进行亮度移动补偿时,便可依据对应移动向量的指示而于参考帧中求出多笔8位元亮度数据,作为目前区块的8位元亮度近似数据,以近似目前区块原本的多笔亮度数据。
步骤208:依据对存储区域24的存取以及步骤204的移动向量进行彩度移动补偿,为目前画面的各个区块的各笔彩度数据提供对应的彩度近似数据。步骤208的进行可由图3步骤108推论得知。整合步骤206的亮度近似数据与步骤208的彩度近似数据,便可为目前区块得出一对应的近似区块。然后,由目前区块减去近似区块,便可为目前区块得出一对应的残余区块;此残余区块可进一步被压缩,而步骤204的移动向量与压缩后的残余区块就代表对目前区块进行影像编码的结果。
流程200不仅承袭流程100的优点,存储区域24的配置还能在进行步骤206与208时进一步提升影像编码的效能。由于副数据S与彩度数据U/V邻近地被存放,流程200在存取副数据S与对应彩度数据U/V时就不需跨越不同存储区域,减少缓冲器跨页存取的效能损失(crosspagepenalty)。
举例而言,一实施例中,各笔8位元副数据S由两笔亮度数据Y的最低效4位元合成;因此,两笔副数据S就会关联于4笔亮度数据Y。依据图6实施例的交错排列,同一列的两笔副数据S会对应于邻列的一笔彩度数据U与一笔彩度数据V;由于排列相近,当进行步骤206与208时,这两笔副数据S可以和邻列的对应彩度数据U与V一同被存取。当这两笔副数据S和邻列的对应彩度数据U与V一同被存取,恰好可符合4:2:0格式的数据需求;因为4:2:0的格式是以2*2笔亮度数据Y对应同一行的一笔彩度数据U与一笔彩度数据V为单位进行处理,而由同时载入的两笔副数据S、一笔彩度数据U与一笔彩度数据V,搭配步骤204的主数据P,正好可得到4笔亮度数据Y、一彩度数据U与一彩度数据V,使步骤206与208可以进行得更有效率。
请参考图8,其所示意的是依据本发明一实施例的影像编码器40,其可内建于一处理器50,用以实现本发明的影像编码技术,例如图3流程100及/或第7图流程200。处理器50可以是一讯号处理晶片或一手机的基频处理晶片,具有一内嵌的内部存储体46,例如一静态随机存取存储体(SRAM,staticrandomaccessmemory)。处理器50耦接于外接的缓冲器20,例如一动态随机存取存储体(DRAM,dynamicrandomaccessmemory)。
影像编码器40为一影像编码的装置,依据一参考帧进行影像编码;影像编码器40包括有一参考帧转换模块32、一载入器42、一移动估计模块34与一移动补偿模块48。影像编码器40取得参考帧后,参考帧转换模块32可将参考帧的多笔亮度数据Y分解为多笔主数据P与多笔副数据S,使这些主数据P与副数据S得以分别被储存于缓冲器20的存储区域22a与存储区域22b;参考帧的彩度数据U与V则被储存于存储区域22c。载入器42耦接于内部存储体46,用以存取缓冲器20,将缓冲器20储存的数据载入至内部存储体46。移动估计模块34依据载入器20对存储区域22a的存取进行亮度移动估计。移动补偿模块48中可包括一亮度移动补偿模块36与一彩度移动补偿模块38,分别依据载入器20对存储区域22b与22c的存取进行亮度移动补偿与彩度移动补偿。参考帧转换模块32、移动估计模块34、亮度移动补偿模块36与彩度移动补偿模块38的运作情形与实施例可分别由步骤102、104、106与108推论得知。
影像编码器40亦可以沿用图6的配置实施例,以实现图7流程200。参考帧转换模块32可使副数据S得以和彩度数据U与V一并被储存于缓冲器20的存储区域24,如图6所示。移动补偿模块48中的亮度移动补偿模块36与彩度移动补偿模块38则依据载入器20对存储区域24的存取分别进行亮度移动补偿与彩度移动补偿。影像编码器40的各模块与载入器42可用软体、硬体及/或韧体实现。
总结来说,相较于已知技术,本发明可缩减亮度移动估计所需的数据,故可有效减少影像编码耗用的内部存储体资源,并降低影像编码对缓冲器存取的频宽需求,使影像编码的效能提升,成本降低。
综上所述,虽然本发明已以较佳实施例揭示如上,然其并非用以限定本发明。本发明所属技术领域中具有通常知识者,在不脱离本发明的精神和范围内,当可作各种的更动与润饰。因此,本发明的保护范围当由权利要求书界定为准。

Claims (18)

1.一种影像编码的方法,依据一参考帧进行影像编码,该参考帧关联于多笔第一分量数据,该第一分量数据为影像亮度数据,该方法包含:
进行参考帧转换,将该些第一分量数据区分为多笔主数据与多笔副数据,分别储存于一缓冲器中的一第一存储区域与一第二存储区域;
存取该第一存储区域以进行移动估计;以及
存取该第二存储区域以进行第一移动补偿。
2.如权利要求1所述的方法,其特征在于,进行移动估计时,不存取该第二存储区域。
3.如权利要求1所述的方法,其特征在于,每一该些主数据包含该些第一分量数据之一的最高效位元,以及每一该些副数据包含该些第一分量数据之一的最低效位元。
4.如权利要求1所述的方法,其特征在于,该些主数据包括一第一数目笔该第一分量数据,该些副数据包括一第二数目笔该第一分量数据。
5.如权利要求1所述的方法,其特征在于,各该第一分量数据关联于该参考帧的一个像素,该参考帧转换包含:
依据各该第一分量数据关联的该像素的位置将各该第一分量数据区分为该些主数据其中之一或该些副数据其中之一。
6.如权利要求1所述的方法,其特征在于,每一该些主数据包含该些第一分量数据之一的多个位元以及另一该第一分量数据的多个位元,以及每一副数据包含该些第一分量数据之一的多个位元以及另一该第一分量数据的多个位元。
7.如权利要求1所述的方法,其特征在于,该参考帧更关联于多笔第二分量数据与多笔第三分量数据,该方法还包含:
将该些第二分量数据与该些第三分量数据储存于该缓冲器中的一第三存储区域;以及
存取该第三存储区域以进行第二移动补偿。
8.如权利要求1所述的方法,其特征在于,该参考帧还关联于多笔第二分量数据与多笔第三分量数据,该方法还包含:
将该些第二分量数据与该些第三分量数据储存于该缓冲器中的该第二存储区域;以及
依据对该第二存储区域的存取,进行第二移动补偿。
9.如权利要求8所述的方法,其特征在于,该些副数据以交错形式和该些第二分量数据与该些第三分量数据储存于该缓冲器中的该第二存储区域。
10.一种影像编码的装置,依据一参考帧进行影像编码,该参考帧关联于多笔第一分量数据,该第一分量数据为影像亮度数据,该装置包含:
一参考帧转换模块,将该些第一分量数据区分为多笔主数据与多笔副数据,并将该些主数据与该些副数据分别储存于一缓冲器中的一第一存储区域与一第二存储区域;
一载入器,用以存取该缓冲器;
一移动估计模块,依据该载入器对该第一存储区域的存取进行移动估计;以及
一移动补偿模块,依据该载入器对该第二存储区域的存取进行移动补偿。
11.如权利要求10所述的装置,其特征在于,该移动估计模块不依据对该第二存储区域的存取进行移动估计。
12.如权利要求10所述的装置,其特征在于,该参考帧转换模块以一第一数目笔该第一分量数据的多个包含最高效位元的位元形成该些主数据,并以一第二数目笔该第一分量数据的多个包含最低效位元的位元形成该些副数据。
13.如权利要求10所述的装置,其特征在于,该参考帧转换模块以一第一数目笔该第一分量数据作为该些主数据,并以一第二数目笔该第一分量数据作为该些副数据。
14.如权利要求10所述的装置,其特征在于,各该第一分量数据关联于该参考帧的一个像素,该参考帧转换模块依据各该第一分量数据关联的该像素的位置将各该第一分量数据区分为该些主数据的其中之一或该些副数据的其中之一。
15.如权利要求10所述的装置,其特征在于,该参考帧转换模块以该些第一分量数据之一的多个位元及另一该第一分量数据的多个位元形成该些主数据其中之一,以及以该些第一分量数据之一的多个位元及另一该第一分量数据的多个位元形成该些副数据其中之一。
16.如权利要求10所述的装置,其特征在于,该参考帧还关联于多笔第二分量数据与多笔第三分量数据,该参考帧转换模块还将该些第二分量数据与该些第三分量数据储存于该缓冲器中的一第三存储区域,且该移动补偿模块依据该载入器对该第二存储区域与该第三存储区域的存取进行该移动补偿。
17.如权利要求10所述的装置,其特征在于,该参考帧还关联于多笔第二分量数据与多笔第三分量数据,该参考帧转换模块使该些副数据、该些第二分量数据与该些第三分量数据储存于该缓冲器中的该第二存储区域。
18.如权利要求17所述的装置,其特征在于,该参考帧转换模块使该些副数据以交错形式而和该些第二分量数据与该些第三分量数据储存于该缓冲器中的该第二存储区域。
CN201210175467.0A 2012-05-31 2012-05-31 影像编码的方法与相关装置 Expired - Fee Related CN103458255B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201210175467.0A CN103458255B (zh) 2012-05-31 2012-05-31 影像编码的方法与相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201210175467.0A CN103458255B (zh) 2012-05-31 2012-05-31 影像编码的方法与相关装置

Publications (2)

Publication Number Publication Date
CN103458255A CN103458255A (zh) 2013-12-18
CN103458255B true CN103458255B (zh) 2016-04-06

Family

ID=49740149

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201210175467.0A Expired - Fee Related CN103458255B (zh) 2012-05-31 2012-05-31 影像编码的方法与相关装置

Country Status (1)

Country Link
CN (1) CN103458255B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114449183B (zh) * 2020-11-02 2024-03-15 瑞昱半导体股份有限公司 影像处理芯片与影像处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860746A (zh) * 2009-04-08 2010-10-13 晨星软件研发(深圳)有限公司 移动估测方法
CN102263944A (zh) * 2010-05-27 2011-11-30 晨星软件研发(深圳)有限公司 视频编码系统、移动估算装置及移动估算的计算方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8345167B2 (en) * 2006-03-20 2013-01-01 Mediatek Inc. Methods of storing and accessing pictures
TWI325274B (en) * 2006-10-12 2010-05-21 Ind Tech Res Inst Method for mapping memory addresses, memory accessing apparatus and method thereof
KR20120011685A (ko) * 2010-07-29 2012-02-08 삼성전자주식회사 Cbp 추정을 이용한 부호화기

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101860746A (zh) * 2009-04-08 2010-10-13 晨星软件研发(深圳)有限公司 移动估测方法
CN102263944A (zh) * 2010-05-27 2011-11-30 晨星软件研发(深圳)有限公司 视频编码系统、移动估算装置及移动估算的计算方法

Also Published As

Publication number Publication date
CN103458255A (zh) 2013-12-18

Similar Documents

Publication Publication Date Title
CN104768061B (zh) 操作图像数据处理装置的显示驱动器和方法
US20060098735A1 (en) Apparatus for motion estimation using a two-dimensional processing element array and method therefor
US8345764B2 (en) Motion estimation device having motion estimation processing elements with adder tree arrays
US9294778B2 (en) Block motion estimation
Cetin et al. An adaptive true motion estimation algorithm for frame rate conversion of high definition video and its hardware implementations
US6516031B1 (en) Motion vector detecting device
CN102291531A (zh) 图像处理装置、图像处理方法和程序
US6850569B2 (en) Effective motion estimation for hierarchical search
US20090295817A1 (en) Method for reading and writing image data in memory
CN103458255B (zh) 影像编码的方法与相关装置
US8644380B2 (en) Integer pixel motion estimation system, motion estimation system for quarter-pixel luminance, motion estimation system for quarter-pixel chrominance, motion estimation system for combined luminance, motion estimation system for combined luminance and chrominance, and motion estimation system for quarter-pixel luminance and chrominance
Akin et al. An adaptive bilateral motion estimation algorithm and its hardware architecture
CN101778280B (zh) 一种基于avs运动补偿亮度插值运算的电路及方法
CN111327901B (zh) 视频编码方法、装置、存储介质及编码设备
US20050047502A1 (en) Method and apparatus for the efficient representation of interpolated video frames for motion-compensated coding
US8305500B2 (en) Method of block-based motion estimation
CN109889851B (zh) 视频编码的块匹配方法、装置、计算机设备和存储介质
CN102647592B (zh) 一种高清编码器的运动估计搜索窗数据复用方法
CN100521790C (zh) 用于减少视频伪影的偏移运动矢量内插
US20110305279A1 (en) Tertiary Content Addressable Memory Based Motion Estimator
CN102377995B (zh) 分数像素运动估计方法和系统
US10085022B1 (en) Two-dimensional transformation with minimum buffering
TWI486908B (zh) 影像編碼的方法與相關裝置
Dinh et al. A novel parallel hardware architecture for inter motion estimation in HEVC
US20100254618A1 (en) Method for Accessing Image Data and Related Apparatus

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20160406

Termination date: 20190531