CN104754343B - 图像处理方法与系统、解码方法、编码器与解码器 - Google Patents
图像处理方法与系统、解码方法、编码器与解码器 Download PDFInfo
- Publication number
- CN104754343B CN104754343B CN201410821814.1A CN201410821814A CN104754343B CN 104754343 B CN104754343 B CN 104754343B CN 201410821814 A CN201410821814 A CN 201410821814A CN 104754343 B CN104754343 B CN 104754343B
- Authority
- CN
- China
- Prior art keywords
- block
- sub
- coding
- blocks
- module
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 24
- 238000000034 method Methods 0.000 title claims abstract description 22
- 238000005194 fractionation Methods 0.000 claims description 72
- 238000012545 processing Methods 0.000 claims description 25
- 238000003709 image segmentation Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000011218 segmentation Effects 0.000 claims description 5
- 230000010076 replication Effects 0.000 claims 10
- 241000208340 Araliaceae Species 0.000 claims 1
- 235000005035 Panax pseudoginseng ssp. pseudoginseng Nutrition 0.000 claims 1
- 235000003140 Panax quinquefolius Nutrition 0.000 claims 1
- 235000008434 ginseng Nutrition 0.000 claims 1
- 230000015654 memory Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 2
- 238000009472 formulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 241001269238 Data Species 0.000 description 1
- 230000003139 buffering effect Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
Abstract
一种图像处理方法与系统、解码方法、编码器与解码器。本图像处理方法包括在编码画面中将编码单元分割为多个子区块，其中编码单元的大小为2N×2N，并且子区块的大小为N×2N或2N×N，其中N为正整数。本图像处理方法还包括在编码画面中的搜寻范围内搜寻对应于子区块中的其中一个子区块的参考区块并且记录此其中一个子区块与对应此其中一个子区块的参考区块之间的相对位置。本图像处理方法还包括依据相对位置来编码此其中一个子区块。
Description
技术领域
本公开涉及一种将编码单元分割以用于画面内区块复制的图像处理方法与解码方法，以及使用此方法的图像处理系统、编码器与解码器。
背景技术
随着科技的演进，视频显示器的解析、规格、尺寸越来越高，人们对视频画面质量与尺寸的要求也随之不断上升。为满足此需求，国际电信联盟(ITU-T)下的视频编码专家小组VCEG(Video Coding Experts Group)与国际标准化组织ISO/IEC下的动态图像专家小组MPEG(Moving Picture Experts Group)共同成立视频编码联合工作小组JCT-VC(JointCollaborative Team on Video Coding)，并开始H.265/HEVC(High Efficiency VideoCoding)专案，目标为提供比H.264/AVC(Advanced Video Coding)视频压缩标准更高的编码效率(在相同主观质量下约可节省50％的比特率)，尤其以高解析度(High Definition，HD)、超高解析度(Ultra High Definition，Ultra HD)等解析度高的视频为重。
此大尺寸与高解析度的视频应用的环境多以自然视频图像为主，并已在2013年完成制订，目前正在制定的是H.265/HEVC应用范围扩展(Range Extensions)，其中包含制定针对屏幕分享应用服务所需要的屏幕视频内容编码(Screen Content Coding，SCC)标准。屏幕分享的视频内容通常会有混合的视频内容素材，例如画面可能同时包含自然图像、大量文字图片、鼠标指针及各种线条等，由于此屏幕应用环境已不符H.265/HEVC当初所设计的目标，故JCT-VC近来已将重心转至发展新的高效能屏幕编码标准技术。SCC乃基于H.265/HEVC现有的工具下进行开发，画面内区块复制(Intra Block Copy，IBC)技术就是其所发展出来的新工具。IBC的技术概念是将邻近区块的画面内容直接复制到目前正在编码的编码单元(Coding Unit，CU)的区块，以减少比特传输量，此设计背景乃是因为屏幕应用环境会有较多的线条与字母等，所以邻近区块画面会有很高比例与目前正在编码的编码单元的画面相似。
在H.265/HEVC的标准与IBC的实作上，是以一个编码树单元(Coding Tree Unit，CTU)作为编码单元编码时的最大处理区块，此编码树单元的大小通常是设定为64×64的区块，其中编码树单元的大小的单位为像素。编码单元则可以是小于或等于编码树单元的区块大小，例如，编码单元会是正方矩形并且其大小可以为64×64、32×32、16×16与8×8的区块。
图1是根据现有技术所绘示的使用目前画面内区块复制(IBC)技术的操作的范例。
请参照图1，编码端会在指定的搜寻范围内，搜寻与目前正在编码的编码单元102相同大小的邻近参考区块进行比对，每一个参考区块进行比对后便可找出与目前正在编码的编码单元102画面最相近的参考区块104。而编码端传输所选定的参考区块与目前正在编码的编码单元102的相对位置给解码端。解码端即可根据此相对位置将参考区块的画面复制到目前正在编码的编码单元的区块。IBC技术的搜寻范围可以是局限在一个编码树单元(例如，编码树单元100-1)的大小，也可以是两个编码树单元(例如，编码树单元100-1与编码树单元100-2)的大小。
由上述可知，目前的画面内区块复制的概念是将与目前正在编码的编码单元相同大小的参考区块复制到目前正在编码的编码单元区块，然而，IBC技术会限定基于编码单元区块的大小来搜寻对应的参考区块，因此找到匹配的参考区块的比率会偏低，进而影响编码的效能。据此，如何能更快速地找到适当的参考区块，以减少编码运算所需要的时间，已成为当务之急。
发明内容
本公开提供一种图像处理方法以及使用此方法的图像处理系统、编码器与解码器，其能够有效地提升屏幕视频编码技术的编码效能。
本公开的一范例实施例提出一种图像处理方法，本图像处理方法包括：在一编码画面中，将第一编码树单元中的编码单元分割为多个子区块，其中编码单元的大小为2N×2N，并且子区块的大小为N×2N或2N×N，其中N为正整数。本图像处理方法也包括：在编码画面中的一搜寻范围内搜寻对应于所述子区块之中的其中一个子区块的参考区块，并且记录所述其中一个子区块与对应于所述其中一个子区块的参考区块之间的一相对位置。本图像处理方法还包括：依据所述相对位置来编码所述其中一个子区块。
本公开的一范例实施例提出一种用于一编码画面中图像处理的编码器，此编码器包括分割模式设定模块、图像分割模块以及编码模块。分割模式设定模块用以选择一分割模式。图像分割模块用以在所述编码画面中，根据所述分割模式将第一编码树单元中的编码单元分割多个子区块，其中编码单元的大小为2N×2N，并且子区块的大小为N×2N或2N×N，其中N为正整数。编码模块用以在编码画面中的一搜寻范围内搜寻对应子区块之中的其中一个子区块的参考区块。编码模块还用以记录所述其中一个子区块与对应于所述其中一个子区块的参考区块之间的相对位置，并且依据所述相对位置来编码所述其中一个子区块。
本公开的一范例实施例提出一种用于解码画面中图像处理的解码器，本解码器包括分割模式接收模块与解码模块。分割模式接收模块用以接收一分割模式，以及解码模块用以接收第一编码树单元的编码单元所被分割为多个子区块中的其中一个子区块与对应于所述其中一个子区块的参考区块之间的相对位置，其中编码单元的大小为2N×2N，并且子区块的大小为N×2N或2N×N，其中N为正整数。解码模块还用以根据所述分割模式、所述相对位置与对应所述其中一个子区块的参考区块，在解码画面中解码所述其中一个子区块。其中参考区块为在解码画面中的一搜寻范围内对应于所述子区块之中的其中一个子区块。
本公开的一范例实施例提出一种图像处理系统，本图像处理系统包括：编码器模块与解码器模块。编码器模块具有一分割模式设定模块、一图像分割模块与一编码模块，解码器模块具有一分割模式接收模块与一解码模块。分割模式设定模块用以选择一分割模式，以及图像分割模块用以在一编码画面中，根据所述分割模式将第一编码树单元中的编码单元分割多个子区块，其中编码单元的大小为2N×2N，并且子区块的大小为N×2N或2N×N，其中N为正整数。编码模块用以在编码画面中的一搜寻范围内搜寻对应子区块之中的其中一个子区块的参考区块并且记录所述其中一个子区块与对应于所述其中一个子区块的参考区块之间的相对位置。此外，编码模块还用以依据所述相对位置来编码其中一个子区块。
本公开的一范例实施例提出一种解码方法，本解码方法包括：接收第一编码树单元中的编码单元所被分割为多个子区块中的其中一个子区块与对应于所述其中一个子区块的参考区块之间的相对位置，其中编码单元的大小为2N×2N，并且子区块的大小为N×2N或2N×N，其中N为正整数。根据所述相对位置与对应所述其中一个子区块的参考区块，在一解码画面中解码所述其中一个子区块。其中所述参考区块为在解码画面中的一搜寻范围内对应于子区块之中的其中一个子区块。
基于上述，本公开的范例实施例所提出的图像处理方法与解码方法及使用此方法的图像处理系统、编码器与解码器能够在被分割为两个大小为N×2N或2N×N的子区块的编码单元中，快速地找到对应于每一子区块的适当且匹配的参考区块，进而大幅减少编码运算所需要的时间。
为让本公开的上述特征和优点能更明显易懂，下文特举实施例，并配合附图作详细说明如下。
附图说明
图1是根据现有技术所绘示的使用目前画面内区块复制(IBC)技术的操作的范例。
图2为根据本公开所绘示的图像处理方法的流程图。
图3A是根据本公开的第一范例实施例所绘示的编码器。
图3B是根据本公开的第一范例实施例所绘示的解码器。
图3C是根据本公开的第一范例实施例所绘示的图像处理芯片。
图4是根据本公开的第一范例实施例所绘示的图像处理运作示意图。
图5是根据本公开的第二范例实施例所绘示的图像处理运作示意图。
【符号说明】
100-1、100-2、400-1、400-2、500-1、500-2：编码树单元
102、402、502：编码单元
104、404、504：参考区块
S201、S203、S205、S207、S209：图像处理方法的步骤
300：图像处理芯片
302、342、352：处理电路
304：缓冲存储器
306：图像感测元件
310：编码器
312：分割模式设定模块
314：图像分割模块
316：编码模块
320：解码器
322：分割模式接收模块
324：解码模块
330、340、350：存储电路
360：编码器模块
370：解码器模块
402-1、402-2、502-1、502-2：子区块
410、510：向量
401a、401b、401c、401d、501a、501b、501c、501d：区块
具体实施方式
图2为根据本公开所绘示的图像处理方法的流程图。请参照图2，为了能有效地提升屏幕视频编码技术的编码效能，本公开范例实施例提出一种图像处理方法，此方法包括在一编码画面中，将第一编码树单元中的编码单元分割为多个子区块，其中编码单元的大小为2N×2N，并且子区块的大小为N×2N或2N×N，其中N为正整数(S201)，并且在一搜寻范围内搜寻对应于所述子区块之中的其中一个子区块的参考区块(S203)。接着，此方法还包括记录所述其中一个子区块与对应于所述其中一个子区块的参考区块之间的相对位置(例如，所述其中一个子区块与对应于所述其中一个子区块的参考区块之间的移动向量)(S205)，并且依据对应所述其中一个子区块的参考区块与相对位置来编码所述其中一个子区块(S207)。之后，此方法还包括根据相对位置与对应所述其中一个子区块的参考区块，在一解码画面中解码所述其中一个子区块(S209)。基此，藉由将编码单元分割为大小为N×2N或2N×N的两个子区块，可快速地找到对应于此些子区块的最适当且匹配的参考区块，来进行画面内区块复制的图像编解码程序以减少编码运算所需要的时间，由此可有效地提升屏幕视频编码技术的编码效能。为了能够更明了本公开，以下将以数个范例实施例来进行说明。
[第一范例实施例]
图3A是根据本公开的第一范例实施例所绘示的编码器。
请参照图3A，编码器310包括分割模式设定模块312、图像分割模块314、编码模块316、存储电路340与处理器电路342。
在本范例实施例中，存储电路340用以存储各种数据、程序代码或待处理及处理后的图像。例如，存储电路340可以是存储器(memory)或硬盘(Hard Disk Drive，HDD)等存储介质，但不限于此。处理器电路340可以是中央处理器(CPU)、微处理器(micro-processor)或嵌入式控制器(embedded controller)，本公开并不加以限制。处理器电路342耦接至存储电路340，并且用以执行分割模式设定模块312、图像分割模块314与编码模块316。
分割模式设定模块312用以选择一分割模式，而图像分割模块314用以在一编码画面中，根据分割模式设定模块312所选择的分割模式将一编码树单元中的编码单元分割为多个子区块。例如，分割模式设定模块312会根据执行每一分割模式的所需的效能与编码器310的性能来选择适当的分割模式，然而，在另一范例实施中，分割模式设定模块312也可以根据任意的条件或算法来选择分割模式，本公开不加以限制。例如，在一范例实施例中，分割模式设定模块312可以随机地或依序地选择多种分割模式中的其中之一。此外，分割模式设定模块312也可以通过使用者的输入选择，来设定分割模式。
例如，在H.265/HEVC的标准下，是以一个编码树单元(Coding Tree Unit，CTU)作为编码单元编码时的最大编码区块，此编码树单元的大小通常是设定为64×64的区块。编码单元则可以是小于或等于编码树单元的区块大小。举例而言，编码单元为一正方矩形并且其大小可以是64×64、32×32、16×16与8×8的区块。在本公开范例实施例中所述的编码树单元、编码单元、子区块、参考区块等区块及范围的大小的单位皆为像素。而图像分割模块314会根据从分割模式设定模块312所接收的分割模式将编码单元分割为大小为N×2N或2N×N的两个子区块。
具体而言，编码模块316会在编码画面中的搜寻范围内分别搜寻对应于上述被分割的子区块的参考区块并且记录此些子区块与对应于此些子区块的参考区块之间的相对位置，以分别地依据对应于此些子区块的参考区块与其相对位置来编码图像分割模块314所分割的多个子区块。在本公开的一范例实施例中，子区块与参考区块之间的相对位置例如是移动向量，可使解码端依据移动向量定位参考区块的相对位置，将参考区块的内容复制到解码区块；在另一实施例中，编码模块316可将对应于所述相对位置的移动向量压缩，以使得编码的过程中，编码模块316可利用先前的移动向量来预测目前的移动向量。在又一实施例中，编码区块与参考区块未必会完全相同且可允许些微误差，例如，编码区块与参考区块之间的误差值亦称为残余值，编码模块316亦会将此些残余值压缩。
在完成上述编码后，编码器310可将编码后的数据传送至一解码器来进行解码。具体而言，编码后的数据为一串编码位信息，其可包括上述用以定位参考区块的相对位置、残余值以及分割模式等信息，由此解码器可根据此些信息正确地还原像素数据。例如，在本公开范例实施例中，编码器310是实作在图像发送终端中，而解码器是实作在图像接收终端中，其中编码器与解码器可通过有线或无线方式来通信。
图3B是根据本公开的第一范例实施例所绘示的解码器。
请参照图3B，解码器320包括分割模式接收模块322、解码模块324、处理器电路352与存储电路350。存储电路350用以存储各种数据、程序代码或待处理及处理后的图像，并且处理器电路352耦接至存储电路350以执行上述分割模式接收模块322与解码模块324。
相对于编码器310，解码器320会接收到上述编码位信息，并从此串编码位信息中解析出每个位信息所代表的意义。例如，解码器320会解析出用以定位参考区块的相对位置、残余值以及分割模式。据此，解码器320的分割模式接收模块322会从编码器310的分割模式设定模块312接收对应所接收的编码图像的分割模式，解码器320的解码模块324会根据分割模式接收模块322所接收的分割模式得知编码单元中子区块的分割模式，并且从编码器310的编码模块316接收并获得图像分割模块314所分割的多个子区块与对应于此些子区块的参考区块之间的相对位置，并且根据所接收的分割模式、此些相对位置与对应于此些子区块的参考区块，在解码画面中分别地解码此些子区块。在解码模块324解码子区块的操作中，解码模块324会依据所获得的相对位置从解码画面中获取对应的参考区块的内容，并且在此解码画面中将对应此参考区块的内容复制到所对应的子区块的位置上。
值得一提的是，上述编码器与解码器是分别实作于不同的终端中，并且通过网络传递彼此所需要的数据，然而，本公开不限于此。在另一范例实施例中，编码器与解码器可实作于同一个芯片或系统中。
图3C是根据本公开的第一范例实施例所绘示的图像处理芯片。
请参照图3C，图像处理芯片300(也可为图像处理系统)包括处理器电路302、缓冲存储器304、图像感测元件306、存储电路330、编码器模块360以及解码器模块370。其中存储电路330用以存储各种数据、程序代码或待处理及处理后的图像。
处理器电路302用以控制图像处理芯片300的整体运作。例如，处理器电路302会下达指令给编码器模块360与解码器模块370，以对视频图像进行编码与解码的操作。
缓冲存储器304耦接至处理器电路302，并且用以暂存数据。在本范例实施例中，缓冲存储器304为静态随机存取存储器(Static Random-Access Memory，SRAM)。必须了解的是，本公开不限于此，在另一范例实施例中，缓冲存储器304可以是动态随机存取存储器(Dynamic Random Access Memory)或其他存储器。
图像感测元件306耦接至处理器电路302。图像感测元件306用以根据处理器电路302的控制来感测图像，并且输出对应的图像数据。例如，处理器电路302会将图像感测元件306所输出的图像数据暂存于缓冲存储器304中。值得一提的是，本公开并不加以限制图像的来源，例如，在另一范例实施例中，图像处理芯片300可不包括图像感测元件306，图像可来自任何的外部图像提取装置，并且通过传输由处理器电路302接收所述外部图像。此外，在另一范例实施例中，图像数据可事先存储在存储电路330。
存储电路330耦接至处理器电路302、缓冲存储器304与图像感测元件306。编码器模块360与解码器模块370的运作是分别相似于上述图3A与图3B中所示的编码器310与解码器320。例如，编码器模块360包括分割模式设定模块312、图像分割模块314与编码模块316。解码器模块370包括分割模式接收模块322与解码模块324。
值得注意的是，本公开中的编码器与解码器可以是由软件模块或程序代码来实作，例如，存储电路330会存储上述分割模式设定模块、图像分割模块、编码模块、分割模式接收模块以及解码模块的软件程序代码，并且当图像处理芯片300致能时，此些软件程序代码会从存储电路330被载入至缓冲存储器304且由处理器电路302执行以运作分割模式设定模块、图像分割模块、编码模块、分割模式接收模块以及解码模块的功能。然而，本公开不限于此，例如，在本公开另一范例实施例中，图像处理芯片、编码器与解码器可以是由硬件电路来实作。例如，上述分割模式设定模块、图像分割模块、编码模块、分割模式接收模块以及解码模块可以硬件电路实作为分割模式设定电路、图像分割电路、编码电路、分割模式接收电路以及解码电路。
为了更清楚地描述编码器310、解码器320与图像处理芯片300的运作，以下将参照图3C的图像处理芯片300以一范例来进行说明。
图4是根据本公开的第一范例实施例所绘示的图像处理运作示意图。
请参照图4，在此假设编码单元402的大小为2N×2N，其中N为正整数，并且图像分割模块314根据分割模式设定模块312所选择的分割模式将编码单元402分割为大小为N×2N的两个子区块402-1与402-2。举例来说，编码模块316会在预定的搜寻范围内(例如，在本范例实施例中，搜寻范围为两个编码树单元，即，编码树单元400-1与编码树单元400-2)搜寻与子区块402-1与402-2大小一样的多个搜寻区块来进行比对，以寻找对应每一子区块402-1与402-2的最相似的参考区块。在本范例实施例中，搜寻范围为两个编码树单元，亦即，编码树单元400-1与编码树单元400-2，换句话说，搜寻范围是欲编码的编码单元402所在的编码树单元400-1延伸至其左边64个像素宽的区块(以编码树单元的大小为64×64的区块为例)，但不包括目前欲编码的编码单元或编码树单元内未编码的区域。然而，本公开并不加以限制搜寻范围的区域，例如，在另一范例实施例中，搜寻范围也可包括目前欲编码的编码单元或编码树单元内未解码的区域。
例如，在本范例实施例中，当编码模块316在搜寻范围内搜寻对应于此些子区块之中的其中一个子区块(例如，子区块402-1)的参考区块的操作中，编码模块316会在搜寻范围内搜寻多个搜寻区块并且计算每一搜寻区块的像素值，并且根据此些搜寻区块的像素值计算此些搜寻区块分别与子区块402-1之间的亮度失真值与编码此些搜寻区块与子区块402-1所需的亮度位数。在此，编码搜寻区块与子区块所需的亮度位数可以是搜寻区块与子区块之间的移动向量和/或残余值编码所需的位数。
此后，编码模块316会根据对应每一搜寻区块的亮度失真值与编码此些搜寻区块与子区块402-1所需的亮度位数选出多个候选区块。例如，编码模块316是根据对应每一搜寻区块的亮度失真值与编码此些搜寻区块与子区块402-1所需的亮度位数计算出对应每一搜寻区块的一亮度代价值，并将上述对应每一搜寻区块的亮度代价值之中的多个最小值所对应的多个搜寻区块作为候选区块。上述多个候选区块例如是八个候选区块，在另一实施例中，候选区块也可能是六个、七个、九个或十六个候选区块，但并不以此为限。
之后，编码模块316会根据此些候选区块的像素值计算此些候选区块分别与子区块402-1之间的彩度失真值及编码此些候选区块与子区块402-1所需要的彩度位数，并且计算对应每一候选区块的彩度失真值与亮度失真值的总和失真值和计算对应每一候选区块的彩度位数与亮度位数的总和位数。接着，编码模块316会根据编码每一候选区块与子区块402-1所需的总和位数与对应每一候选区块的总和失真值计算出对应每一候选区块的总代价值，并且编码模块316会将上述对应每一候选区块的总代价值之中的一个最小值所对应的候选区块作为参考区块404。其中上述亮度失真值可以由绝对误差合(Sum of AbsoluteDifference，SAD)、均方差(Mean Squared Error，MSE)等方式来表示。
在本范例实施例中，是先以亮度失真值及所需的亮度位数先筛选出多个候选区块，再使用亮度失真值、彩度失真值及所需位数选出参考区块404，然而本公开不限于此。在又一范例实施例中，编码模块316可全部使用亮度失真值及所需的位数挑选最佳的参考区块，或是编码模块316可全部使用亮度失真值、彩度失真值及所需位数挑选出最佳的参考区块，而不需先挑选出候选区块。
值得一提的是，本公开并不加以限制获得参考区块的计算方法，例如，在另一范例实施例中，亮度失真值、彩度失真值与编码所需的位数是根据编码单元402(即，合并后的子区块402-1和子区块402-2)以及多个搜寻区块所计算，举例来说，编码模块316会计算多个搜寻区块分别与编码单元402之间的亮度失真值以及编码此些搜寻区块与编码单元402所需的位数。也就是说，亮度失真值与编码所需的位数并不局限于由个别的根据子区块402-1与多个搜寻区块来计算，或由个别的根据子区块402-2与多个搜寻区块来计算。
在编码模块316获得上述参考区块404之后，编码模块316会记录子区块402-1与对应于子区块402-1的参考区块404之间的相对位置，以依据对应于子区块402-1的参考区块404以及子区块402-1与参考区块404之间相对位置来编码子区块402-1。具体而言，编码模块316会根据子区块402-1的位置与参考区块404的位置来计算出向量410，并且藉由此向量410识别子区块402-1与参考区块404的相对位置。在本范例实施例中，编码模块316会将此相对位置传送给解码端的解码器320的解码模块324，亦即，解码端的解码模块324会从编码端的编码模块316接收到子区块402-1与对应于此子区块402-1的参考区块404之间的相对位置。特别是，在编码器310的分割模式设定模块314根据所选择的分割模式进行设定后，亦会将所选择的分割模式传送至解码端的解码器320的分割模式接收模块322。因此，在解码端的解码模块324解码子区块402-1的操作中，解码端的解码模块324是根据解码端的分割模式接收模块322所接收的分割模式以及依据所获得的相对位置从解码画面(例如编码树单元400-2)中获取对应于参考区块404的内容，并且在解码画面中根据此相对位置将对应于参考区块404的内容复制到子区块402-1的位置上。
在本公开范例实施例中，上述编码模块316的搜寻范围会包括至少一其他子区块，并且在解码模块324于解码画面中解码其中一个子区块(例如，子区块402-1)之前，此至少一其他子区块(例如，参考区块404)是已经先被解码的区块，亦即，搜寻范围不包括目前欲编码的编码单元或编码树单元内未解码的区域，然而，本公开并不加以限制搜寻范围，例如，在另一范例实施例中，搜寻范围也可包括目前欲编码的编码单元或编码树单元内未解码的区域。此外，在本公开范例实施例中，搜寻范围可包括第一编码树单元400-1以及邻近于此第一编码树单元400-1的至少一第二编码树单元400-2。换句话说，搜寻范围可以是一个编码树单元(例如，编码树单元400-1)的大小，也可以是两个编码树单元(例如，编码树单元400-1与编码树单元400-2，其中编码树单元400-2是邻近于编码树单元400-1的编码树单元)的大小，甚至也可以是包括编码树单元400-1与邻近于编码树单元400-1的多个编码树单元的大小，然而，本公开并不限于此，本公开的搜寻范围也可以是整张画面的大小。
在本范例实施例中，对应于子区块402-1的最相似的参考区块为参考区块404，且对应于子区块402-1与参考区块404之间的相对位置的向量为向量410。值得一提的是，在编码模块316比对与搜寻对应于子区块402-1、402-2的参考区块的操作中，以水平方向搜寻而言，编码模块316最远可以搜寻到区块401a的画面，以垂直方向搜寻而言，编码模块316最远可以搜寻到区块401d的画面，而以二维搜寻而言，最远可以搜寻到区块401b的画面。
[第二范例实施例]
第二范例实施例与第一范例实施例主要差异处在于第二范例实施例是将大小为2N×2N的编码单元分割为两个大小为2N×N的子区块来进行图像处理。以下将使用第一范例实施例的系统及元件标号来说明第二范例实施例与第一范例实施例的差异之处。
图5是根据本公开的第二范例实施例所绘示的图像处理运作示意图。
在本例实施例中，当分割模式设定模块312选择的分割模式为将编码单元分割为两个大小为2N×N的子区块时，图像分割模块314会根据从分割模式设定模块312所接收到的分割模式将编码单元分割为两个大小为2N×N的子区块。请参照图5，图像分割模块314将编码单元502分割为两个子区块502-1与502-2，并且每一子区块的大小皆为2N×N。在此范例实施例中，编码模块316是以相似于第一范例实施例所示的操作方式来获得对应于子区块502-1与502-2的最适当的参考区块以及其与参考区块之间的相对位置，以在解码时将此些参考区块复制到所对应的子区块502-1与502-2的位置上，在此不再重述。例如，在本范例实施例中，所获得的对应于子区块502-1的最适当的参考区块为参考区块504，且对应于子区块502-1与参考区块504之间的相对位置的向量为向量510。此外，在编码模块316比对与搜寻对应于子区块502-1与502-2的参考区块的操作中，以水平方向搜寻而言，编码模块516最远可以搜寻到区块501a的画面，以垂直方向搜寻而言，编码模块316最远可以搜寻到区块501d的画面，而以二维搜寻而言，最远可以搜寻到区块501b的画面。
综上所述，本公开的范例实施例所提出的图像处理方法及使用此方法的图像处理系统、编码器与解码器藉由将目前正在编码的编码单元分割为大小为N×2N或2N×N的两个子区块，由此能够快速地找到对应于此些子区块的最适当且匹配的参考区块，进而减少编码运算所需要的时间，并可有效地提升屏幕视频编码技术的编码效能。
Claims (18)
1.一种图像处理方法，其特征在于，包括：
在编码画面中，将第一编码树单元中的编码单元分割为多个子区块，其中该编码单元的大小为2N×2N，并且这些子区块的大小为N×2N或者为2N×N，其中该N为正整数；
在该编码画面中的搜寻范围内搜寻对应于这些子区块之中的其中一个子区块的参考区块；
记录该其中一个子区块与对应于该其中一个子区块的该参考区块之间的相对位置；以及
依据该相对位置以画面内区块复制模式来编码该其中一个子区块，
其中在该画面内区块复制模式中，该其中一个子区块与该参考区块都在该编码画面中，
其中在该搜寻范围内搜寻对应于这些子区块之中的该其中一个子区块的该参考区块的步骤包括：
在该搜寻范围内搜寻多个搜寻区块并且计算这些搜寻区块中每一搜寻区块的一像素值；
根据这些搜寻区块的像素值计算这些搜寻区块分别与该其中一个子区块之间的多个亮度失真值与编码这些搜寻区块与该其中一个子区块所需的亮度位数；
根据对应这些搜寻区块中每一搜寻区块的亮度失真值以及编码这些搜寻区块与该其中一个子区块所需的亮度位数选出多个候选区块；
根据这些候选区块的像素值计算这些候选区块分别与该其中一个子区块之间的多个彩度失真值及编码这些候选区块与该其中一个子区块所需的彩度位数，且计算对应这些候选区块的每一候选区块的彩度失真值与亮度失真值的一总和失真值和计算对应这些候选区块的每一候选区块的彩度位数与亮度位数的一总和位数；以及
根据对应这些候选区块的每一候选区块所需的该总和位数以及对应这些候选区块的每一候选区块的该总和失真值计算出对应这些候选区块的每一候选区块的总代价值，并将对应这些候选区块的每一候选区块的该总代价值之中的最小值所对应的候选区块作为该参考区块。
2.如权利要求1所述的图像处理方法，还包括根据该相对位置与对应该其中一个子区块的该参考区块，在解码画面中解码该其中一个子区块。
3.如权利要求2所述的图像处理方法，其中根据该相对位置与对应该其中一个子区块的该参考区块，解码该其中一个子区块的步骤包括：
获取该相对位置；
依据该相对位置从该解码画面中获取对应该参考区块的内容；以及
在该解码画面中将对应该参考区块的内容复制到对应该其中一个子区块的位置上。
4.如权利要求2或3所述的图像处理方法，其中该搜寻范围包括至少一其他子区块，其中在该解码画面中在解码该其中一个子区块之前，该至少一其他子区块已经被解码。
5.如权利要求1、2或3所述的图像处理方法，其中该搜寻范围包括该第一编码树单元以及邻近于该第一编码树单元的至少一第二编码树单元。
6.一种编码器，其特征在于，用于编码画面中的图像处理，该编码器包括：
分割模式设定模块，用以选择分割模式；
图像分割模块，用以在该编码画面中，根据该分割模式将第一编码树单元中的编码单元分割多个子区块，其中该编码单元的大小为2N×2N，并且这些子区块的大小为N×2N或者为2N×N，其中该N为正整数；以及
编码模块，用以在该编码画面中的搜寻范围内搜寻对应这些子区块之中的其中一个子区块的参考区块，
其中该编码模块还用以记录该其中一个子区块与对应于该其中一个子区块的该参考区块之间的相对位置，
其中该编码模块还用以依据该相对位置以画面内区块复制模式来编码该其中一个子区块，
其中在该画面内区块复制模式中，该其中一个子区块与该参考区块都在该编码画面中，
其中在该编码模块在该搜寻范围内搜寻对应于这些子区块之中的该其中一个子区块的该参考区块的操作中，该编码模块还用以在该搜寻范围内搜寻多个搜寻区块并且计算这些搜寻区块中每一搜寻区块的像素值，
其中该编码模块还用以根据这些搜寻区块的像素值计算这些搜寻区块分别与该其中一个子区块之间的多个亮度失真值与编码这些搜寻区块与该其中一个子区块所需的亮度位数，
其中该编码模块还用以根据对应这些搜寻区块中每一搜寻区块的亮度失真值以及编码这些搜寻区块与该其中一个子区块所需的亮度位数选出多个候选区块，
其中该编码模块还用以根据这些候选区块的像素值计算这些候选区块分别与该其中一个子区块之间的多个彩度失真值及编码这些候选区块与该其中一个子区块所需的彩度位数，且计算对应这些候选区块的每一候选区块的彩度失真值与亮度失真值的总和失真值和计算对应这些候选区块的每一候选区块的彩度位数与亮度位数的总和位数，
其中该编码模块还用以根据对应这些候选区块的每一候选区块所需的该总和位数以及对应这些候选区块的每一候选区块的该总和失真值计算出对应这些候选区块的每一候选区块的总代价值，并将对应这些候选区块的每一候选区块的该总代价值之中的最小值所对应的候选区块作为该参考区块。
7.如权利要求6所述的编码器，其中该搜寻范围包括该第一编码树单元以及邻近于该第一编码树单元的至少一第二编码树单元。
8.一种解码器，其特征在于，用于解码画面中的图像处理，该解码器包括：
分割模式接收模块，用以接收分割模式；以及
解码模块，用以接收第一编码树单元中的编码单元所被分割为多个子区块中的其中一个子区块与对应于该其中一个子区块的如权利要求6所述的编码器中所述的参考区块之间的相对位置，其中该编码单元的大小为2N×2N，并且这些子区块的大小为N×2N或者为2N×N，其中该N为正整数，
其中该解码模块还用以根据该分割模式、该相对位置与对应该其中一个子区块的该参考区块，在该解码画面中以画面内区块复制模式解码该其中一个子区块，
其中在该画面内区块复制模式中，该其中一个子区块与该参考区块都在该编码画面中，
其中该参考区块为在该解码画面中的搜寻范围内对应于这些子区块之中的其中一个子区块。
9.如权利要求8所述的解码器，其中该解码模块根据该相对位置与对应该其中一个子区块的该参考区块，解码该其中一个子区块的操作中，其中该解码模块还用以依据该相对位置从该解码画面中获取对应该参考区块的内容，
其中该解码模块还用以在该解码画面中将对应该参考区块的内容复制到对应该其中一个子区块的位置上。
10.如权利要求8或9所述的解码器，其中该搜寻范围包括至少一其他子区块，其中在该解码画面中在解码该其中一个子区块之前，该至少一其他子区块已经被解码。
11.一种图像处理系统，其特征在于，包括：
编码器模块，具有分割模式设定模块、图像分割模块与编码模块；以及
解码器模块，具有分割模式接收模块与解码模块，
其中该分割模式设定模块用以选择分割模式，
其中该图像分割模块用以在编码画面中，根据该分割模式将第一编码树单元中的编码单元分割多个子区块，其中该编码单元的大小为2N×2N，并且这些子区块的大小为N×2N或者为2N×N，其中该N为正整数，
其中该编码模块用以在该编码画面中的搜寻范围内搜寻对应这些子区块之中的其中一个子区块的一参考区块，
其中该编码模块还用以记录该其中一个子区块与对应于该其中一个子区块的该参考区块之间的相对位置，
其中该编码模块还用以依据该相对位置以画面内区块复制模式来编码该其中一个子区块，
其中在该画面内区块复制模式中，该其中一个子区块与该参考区块都在该编码画面中，
在该编码模块在该搜寻范围内搜寻对应于这些子区块之中的该其中一个子区块的该参考区块的操作中，该编码模块还用以在该搜寻范围内搜寻多个搜寻区块并且计算这些搜寻区块中每一搜寻区块的像素值，
其中该编码模块还用以根据这些搜寻区块的像素值计算这些搜寻区块分别与该其中一个子区块之间的多个亮度失真值与编码这些搜寻区块与该其中一个子区块所需的亮度位数，
其中该编码模块还用以根据对应这些搜寻区块中每一搜寻区块的亮度失真值以及编码这些搜寻区块与该其中一个子区块所需的亮度位数选出多个候选区块，
其中该编码模块还用以根据这些候选区块的像素值计算这些候选区块分别与该其中一个子区块之间的多个彩度失真值及编码这些候选区块与该其中一个子区块所需的彩度位数，且计算对应这些候选区块的每一候选区块的彩度失真值与亮度失真值的总和失真值和计算对应这些候选区块的每一候选区块的彩度位数与亮度位数的总和位数，
其中该编码模块还用以根据对应这些候选区块的每一候选区块所需的该总和位数以及对应这些候选区块的每一候选区块的该总和失真值计算出对应这些候选区块的每一候选区块的总代价值，并将对应这些候选区块的每一候选区块的该总代价值之中的最小值所对应的候选区块作为该参考区块。
12.如权利要求11所述的图像处理系统，其中该分割模式接收模块用以接收该分割模式，
其中该解码模块用以根据该分割模式、该相对位置与对应该其中一个子区块的该参考区块，在解码画面中解码该其中一个子区块。
13.如权利要求12所述的图像处理系统，其中在该解码模块根据该相对位置与对应该其中一个子区块的该参考区块，在该解码画面中解码该其中一个子区块的操作中，该解码模块还用以获取该相对位置，
其中该解码模块还用以依据该相对位置从该解码画面中获取对应该参考区块的内容，
其中该解码模块还用以在该解码画面中将对应该参考区块的内容复制到对应该其中一个子区块的位置上。
14.如权利要求12或13所述的图像处理系统，其中该搜寻范围包括至少一其他子区块，其中在该解码画面中在解码该其中一个子区块之前，该至少一其他子区块已经被解码。
15.如权利要求11、12或13所述的图像处理系统，其中该搜寻范围包括该第一编码树单元以及邻近于该第一编码树单元的至少一第二编码树单元。
16.一种解码方法，其特征在于，包括：
接收第一编码树单元中的编码单元所被分割为多个子区块中的其中一个子区块与对应于该其中一个子区块的如权利要求1中所述的图像处理方法中所述的参考区块之间的相对位置，其中该编码单元的大小为2N×2N，并且这些子区块的大小为N×2N或者为2N×N，其中该N为正整数；以及
根据该相对位置与对应该其中一个子区块的该参考区块，在解码画面中以画面内区块复制模式解码该其中一个子区块，
其中在该画面内区块复制模式中，该其中一个子区块与该参考区块都在该编码画面中，
其中该参考区块为在该解码画面中的搜寻范围内的对应于这些子区块之中的其中一个子区块。
17.如权利要求16所述的解码方法，其中根据该相对位置与对应该其中一个子区块的该参考区块，解码该其中一个子区块的步骤包括：
获取该相对位置；
依据该相对位置从解码画面中获取对应该参考区块的内容；以及
在该解码画面中将对应该参考区块的内容复制到对应该其中一个子区块的位置上。
18.如权利要求17所述的解码方法，其中该搜寻范围包括至少一其他子区块，其中在该解码画面中在解码该其中一个子区块之前，该至少一其他子区块已经被解码。
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201361921091P | 2013-12-27 | 2013-12-27 | |
| US61/921,091 | 2013-12-27 | ||
| TW103142135A TWI536811B (zh) | 2013-12-27 | 2014-12-04 | 影像處理方法與系統、解碼方法、編碼器與解碼器 |
| TW103142135 | 2014-12-04 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104754343A CN104754343A (zh) | 2015-07-01 |
| CN104754343B true CN104754343B (zh) | 2019-07-19 |
Family
ID=53483435
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201410821814.1A Active CN104754343B (zh) | 2013-12-27 | 2014-12-25 | 图像处理方法与系统、解码方法、编码器与解码器 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20150189333A1 (zh) |
| CN (1) | CN104754343B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AU2016299036B2 (en) * | 2015-07-27 | 2019-11-21 | Hfi Innovation Inc. | Method of system for video coding using intra block copy mode |
| US10986349B2 (en) | 2017-12-29 | 2021-04-20 | Microsoft Technology Licensing, Llc | Constraints on locations of reference blocks for intra block copy prediction |
| WO2020244658A1 (en) * | 2019-06-06 | 2020-12-10 | Beijing Bytedance Network Technology Co., Ltd. | Sub-block based intra block copy |
| CN113994699B (zh) | 2019-06-06 | 2024-01-12 | 北京字节跳动网络技术有限公司 | 视频编解码的运动候选列表构建 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009260941A (ja) * | 2008-03-21 | 2009-11-05 | Nippon Telegr & Teleph Corp <Ntt> | 映像品質客観評価方法、映像品質客観評価装置、及びプログラム |
| CN101755462A (zh) * | 2008-05-20 | 2010-06-23 | 松下电器产业株式会社 | 图像编码装置以及图像编码方法 |
| CN102187670B (zh) * | 2008-10-15 | 2014-05-14 | 法国电信公司 | 通过前向移动期间的补偿来预测图像 |
| KR101064883B1 (ko) * | 2009-10-06 | 2011-09-16 | 한국과학기술원 | 왜곡 측정 방법 |
| US8369609B2 (en) * | 2010-02-01 | 2013-02-05 | Telefonaktiebolaget Lm Ericsson (Publ) | Reduced-complexity disparity map estimation |
| CN102215396A (zh) * | 2010-04-09 | 2011-10-12 | 华为技术有限公司 | 一种视频编解码方法和系统 |
| PL2391129T3 (pl) * | 2010-05-25 | 2019-04-30 | Lg Electronics Inc | Nowy tryb predykcji planarnej |
| CN101877792B (zh) * | 2010-06-17 | 2012-08-08 | 无锡中星微电子有限公司 | 帧内模式预测方法与装置、编码器 |
| US10440373B2 (en) * | 2011-07-12 | 2019-10-08 | Texas Instruments Incorporated | Method and apparatus for coding unit partitioning |
| US20130163664A1 (en) * | 2011-12-22 | 2013-06-27 | Qualcomm Incorporated | Unified partition mode table for intra-mode coding |
| US20140064359A1 (en) * | 2012-08-31 | 2014-03-06 | Qualcomm Incorporated | Intra prediction most probable mode order improvement for scalable video coding |
| KR102197505B1 (ko) * | 2013-10-25 | 2020-12-31 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 비디오 및 이미지 코딩 및 디코딩에서의 해시 값을 갖는 블록의 표현 |
| EP3114838B1 (en) * | 2014-03-04 | 2018-02-07 | Microsoft Technology Licensing, LLC | Hash table construction and availability checking for hash-based block matching |
-
2014
- 2014-12-25 US US14/583,111 patent/US20150189333A1/en not_active Abandoned
- 2014-12-25 CN CN201410821814.1A patent/CN104754343B/zh active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US20150189333A1 (en) | 2015-07-02 |
| CN104754343A (zh) | 2015-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI536811B (zh) | 影像處理方法與系統、解碼方法、編碼器與解碼器 | |
| US11750809B2 (en) | Encoding and decoding methods and apparatuses with multiple image block division manners | |
| US10791339B2 (en) | Coding of last significant coefficient flags | |
| WO2020253831A1 (zh) | 一种编解码方法、装置及存储介质 | |
| RU2518635C2 (ru) | Способ и устройство для кодирования и декодирования блока кодирования границы картинки | |
| US20120275522A1 (en) | Method and apparatus for motion vector encoding/decoding using spatial division, and method and apparatus for image encoding/decoding using same | |
| US11595663B2 (en) | Secondary transform designs for partitioned transform units in video coding | |
| US20190098312A1 (en) | Image prediction method and related device | |
| CN105850132B (zh) | 编解码视频数据块的方法和装置 | |
| US20170006285A1 (en) | Method and Device for Coding Image and Method and Device for Decoding Image | |
| CN104754343B (zh) | 图像处理方法与系统、解码方法、编码器与解码器 | |
| CN107734341A (zh) | 编码和解码变换单位的残差系数的有效性映射的方法 | |
| CN104853211A (zh) | 使用多种形式的参考像素存储空间的图像压缩方法和装置 | |
| CN110691250B (zh) | 结合块匹配和串匹配的图像压缩装置 | |
| CN106067976A (zh) | 在hevc中的采样自适应偏移中的灵活带偏移模式 | |
| WO2023082834A1 (zh) | 视频压缩方法、装置、计算机设备和存储介质 | |
| CN113347416B (zh) | 色度帧内预测方法和装置、及计算机存储介质 | |
| US11856153B2 (en) | Intra prediction method and device and computer-readable storage medium | |
| US9049432B1 (en) | Motion differential set partition coding for color image sequence compression | |
| CN103248885A (zh) | 帧内图像预测编解码方法及视频编解码器 | |
| CN109218729A (zh) | 视频编码方法、视频解码方法、视频编码器及视频解码器 | |
| US11930163B2 (en) | Methods and systems for combined lossless and lossy coding | |
| US11889055B2 (en) | Methods and systems for combined lossless and lossy coding | |
| CN107667529A (zh) | 用于有效地对数据进行嵌入式压缩的方法、装置和计算机可读记录介质 | |
| CN103391443A (zh) | 一种大尺寸块的亮度变换域帧内预测编解码方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |