CN104853211A - 使用多种形式的参考像素存储空间的图像压缩方法和装置 - Google Patents

使用多种形式的参考像素存储空间的图像压缩方法和装置 Download PDF

Info

Publication number
CN104853211A
CN104853211A CN201510084195.7A CN201510084195A CN104853211A CN 104853211 A CN104853211 A CN 104853211A CN 201510084195 A CN201510084195 A CN 201510084195A CN 104853211 A CN104853211 A CN 104853211A
Authority
CN
China
Prior art keywords
decoding
sample value
module
reference pixel
pixel sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201510084195.7A
Other languages
English (en)
Inventor
林涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Tianhe Electronic Information Co Ltd
Original Assignee
Shanghai Tianhe Electronic Information Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Tianhe Electronic Information Co Ltd filed Critical Shanghai Tianhe Electronic Information Co Ltd
Priority to CN201510084195.7A priority Critical patent/CN104853211A/zh
Publication of CN104853211A publication Critical patent/CN104853211A/zh
Pending legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • H04N19/433Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction

Abstract

本发明提供一种图像压缩方法和装置。对编码单元进行预测和匹配编码(或者解码)时,把用作参考像素样值的历史数据用至少两种形式来表示,并分别存储在至少两个参考像素样值存储空间内。一个参考像素样值存储空间是主参考像素样值存储空间,含有最多的历史数据。其他参考像素样值存储空间的历史数据是主参考像素样值存储空间的历史数据的子集,但有不同的表现形式。所有的预测和匹配编码(或者解码)的方式也都对应地归为至少两类,分别使用不同的参考像素样值存储空间来施行各自的预测和匹配编码(或者解码)。不同的参考像素样值存储空间中放置的实际上是同样的历史数据,只是表现形式不同。因此,不同的参考像素样值存储空间内的历史数据需保持同步。

Description

使用多种形式的参考像素存储空间的图像压缩方法和装置
技术领域
本发明涉及一种数字视频压缩编码及解码系统,特别是含计算机屏幕图像的复合图像和视频的编码及解码的的方法和装置。
背景技术
图像的数字视频信号的自然形式是图像的序列。一帧图像通常是由若干像素组成的矩形区域,而数字视频信号就是由几十帧至成千上万帧图像组成的视频图像序列,有时也简称为视频序列或序列。对数字视频信号进行编码就是对一帧一帧图像进行编码。
在几乎所有视频图像编码的国际标准如MPEG-1/2/4,H.264/AVC以及最新国际视频压缩标准HEVC(High Efficiency Video Coding)中,对一帧图像进行编码(以及相应的解码)时,把一帧图像划分成若干块MxM像素的子图像,称为“编码单元(Coding Unit简称CU)”,以CU为基本编码单位,对子图像一块一块进行编码。常用的M的大小是8,16,32,64。因此,对一个视频图像序列进行编码就是对各帧的各个编码单元依次进行编码。同样,解码时也是对各帧的各个编码单元按照同样的顺序依次进行解码,最终重构出整个视频图像序列。
为适应一帧图像内各部分图像内容与性质的不同,有针对性地进行最有效的编码,一帧图像内各CU的大小可以是不同的,有的是8x8,有的是64x64,等等。为了使不同大小的CU能够无缝拼接起来,一帧图像总是先划分成大小完全相同具有NxN像素的“最大编码单元(Largest Coding Unit简称LCU)”,然后每个LCU再进一步划分成树状结构的多个大小不一定相同的CU。因此,LCU也称为“编码树单元(Coding Tree Unit简称CTU)”。例如,一帧图像先划分成大小完全相同的64x64像素的LCU(N=64)。其中某个LCU由3个32x32像素的CU和4个16x16像素的CU构成,这样7个成树状结构的CU构成一个CTU。而另一个LCU由2个32x32像素的CU、3个16x16像素的CU和20个8x8像素的CU构成。这样25个成树状结构的CU构成另一个CTU。对一帧图像进行编码,就是依次对一个一个CTU中的一个一个CU进行编码。在任一时刻,正在编码中的CU称为当前编码CU。对一帧图像进行解码,也是按照同样的顺序依次对一个一个CTU中的一个一个CU进行解码。在任一时刻,正在解码中的CU称为当前解码CU。当前编码CU或当前解码CU都通常为当前CU。
在以MPEG-1/2/4,H.264/AVC以及HEVC等为代表的现有技术中,为了提高编码效率,通常还将一个CU进一步划分成更小的子区域。所述子区域包括但不限于:预测单元(PU),变换单元(TU),不对称划分(AMP)的区域,宏块,块,微块,条(宽度或高度为一个像素或一个像素分量的区域),可变大小的矩形区域,可变大小的像素串(段)或像素分量串(段)或像素索引串(段)。对一个CU进行编码(以及相应的解码)就是对一个一个子区域进行编码(以及相应的解码)。在编码中,子区域称为编码子区域,而在解码中,子区域称为解码子区域。编码子区域和解码子区域统称为编解码子区域。在现有技术中,所述子区域(特别是预测单元,变换单元,不对称划分的区域,宏块,块,微块,条的情形)常称为“块”。所以,编码子区域和解码子区域在很多情况下常分别称为编码块和解码块,统称为编解码块。
一个彩色像素有3个分量(component)组成。最常用的两种像素色彩格式(pixel color format)是由绿色分量、蓝色分量、红色分量组成的GBR色彩格式和由一个亮度(luma)分量及两个色度(chroma)分量组成的通称YUV色彩格式如YCbCr色彩格式。因此,对一个子区域进行编码时,可以把一个子区域分成3个分量平面(G平面、B平面、R平面或Y平面、U平面、V平面),对3个分量平面分别进行编码;也可以把一个像素的3个分量捆绑组合成一个3元组,对由这些3元组组成的子区域整体进行编码。前一种像素及其分量的排列方式称为图像(及其子区域)的平面格式(planar format),而后一种像素及其分量的排列方式称为图像(及其子区域)的叠包格式(packed format)。
以像素的GBR色彩格式p[x][y]={g[x][y], b[x][y], r[x][y]}为例,一种平面格式的排列方式是先排列宽度为W个像素高度为H个像素的一帧图像(或者一个CU)的所有WxH个G分量,然后排列所有WxH个B分量,最后排列所有WxH个R分量:
g[1][1],g[2][1],…,g[W-1][1],g[W][1],
g[1][2],g[2][2],…,g[W-1][2],g[W][2],
………………………………………,
………………………………………,
g[1][H],g[2][H],…,g[W-1][H],g[W][H],
b[1][1],b[2][1],…,b[W-1][1],b[W][1],
b[1][2],b[2][2],…,b[W-1][2],b[W][2],
………………………………………,
………………………………………,
b[1][H],b[2][H],…,b[W-1][H],b[W][H],
r[1][1],r[2][1],…,r[W-1][1],r[W][1],
r[1][2],r[2][2],…,r[W-1][2],r[W][2],
………………………………………,
………………………………………,
r[1][H],r[2][H],…,r[W-1][H],r[W][H]。
而一种叠包格式的排列方式是先排列第一个像素的G分量,然后排列其B分量和R分量,接着排列第二个像素的G分量、B分量和R分量,等等,最后排列最后一个(第WxH个)像素的G分量、B分量和R分量:
g[1][1],b[1][1],r[1][1], g[2][1],b[2][1],r[2][1], …………, g[W][1],b[W][1],r[W][1],
g[1][2],b[1][2],r[1][2], g[2][2],b[2][2],r[2][2], …………, g[W][2],b[W][2],r[W][2],
………………………………………………………………………………………,
………………………………………………………………………………………,
g[1][H],b[1][H],r[1][H], g[2][H],b[2][H],r[2][H], ………, g[W][H],b[W][H],r[W][H]。
这种叠包格式的排列方式也可以简化地表示为:
p[1][1],p[2][1],……,p[W-1][1],p[W][1],
p[1][2],p[2][2],……,p[W-1][2],p[W][2],
…………………………………………,
…………………………………………,
p[1][H],p[2][H],……,p[W-1][H],p[W][H]。
除了以上的平面格式的排列方式和叠包格式的排列方式外,按照三个分量的不同顺序,还可以有其他多种平面格式的排列方式和叠包格式的排列方式。
像素及其分量的另一种常用表示形式是调色板索引形式。在调色板索引表示形式中,一个像素的分量的数值用调色板的索引来表示。调色板空间中存储了需要被表示的像素的3个分量的数值或近似数值,调色板的地址被称为这个地址中存储的像素(称为调色板颜色)的索引。一个索引可以表示像素的一个分量,一个索引也可以同时表示像素的3个分量。调色板可以是一个,也可以是多个。在多个调色板的情形,一个完整的索引实际上由调色板编号和该编号的调色板的索引两部分组成。像素及其分量的索引表示形式就是用索引来表示这个像素。像素的索引表示形式在现有技术中也被称为像素的索引颜色(indexed color)或仿颜色(pseudo color)表示形式,或者常常被直接称为索引像素(indexed pixel)或仿像素(pseudo pixel)或像素索引或索引。索引有时也被称为指数。把像素用其索引表示形式来表示也称为索引化或指数化。像素及其分量的调色板索引表示形式是像素及其分量的一种按照颜色的聚集和排序格式。
其他的常用的现有技术的像素表示形式包括CMYK色彩格式和灰度色彩格式。
像素的索引表示形式也是一种像素的色彩格式,称为索引色彩格式(index color format)或仿色彩格式(pseudo color format)。
YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式:1个像素由1个Y分量、1个U分量、1个V分量组成的YUV4:4:4像素色彩格式;左右相邻的2个像素由2个Y分量、1个U分量、1个V分量组成的YUV4:2:2像素色彩格式;左右上下相邻按2x2空间位置排列的4个像素由4个Y分量、1个U分量、1个V分量组成的YUV4:2:0像素色彩格式。一个分量一般用1个8~16比特的数字来表示。YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式都是对YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值(pixel sample)或简单地称为一个样值(sample)。一个样值可以是一个8比特的数即一个样值占用一个字节。一个样值也可以是一个10比特的数或一个12比特的数或一个14比特的数或一个16比特的数。
在对任一个子区域进行编码或解码时,都会产生重构像素,又分为编码或解码过程之中产生的不同程度的部分重构像素和编码或解码过程全部完成后产生的完全重构像素。如果完全重构像素样值与编码之前的原始输入像素样值有相等的数值,则所经历的编码和解码过程称为无损编码和解码。如果完全重构像素样值与编码之前的原始输入像素样值有不相等的数值,则所经历的编码和解码过程称为有损编码和解码。在对各子区域依次进行编码或解码时,所产生的重构像素样值通常都作为历史数据保存起来,用作后续子区域编码或解码时的参考像素样值。保存重构像素历史数据的存储空间称为参考像素样值存储空间。参考像素样值存储空间都是有限的,只能保存一部分历史数据。参考像素样值存储空间中的历史数据也可以包括当前CU的已重构的子区域的重构像素样值。
随着以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发展和普及,多台计算机之间、计算机主机与智能电视、智能手机、平板电脑等其他数字设备之间及各种各类数字设备之间的互联已经成为现实并日趋成为一种主流趋势。这使得服务器端(云)到用户端的实时屏幕传输成为当前的迫切需求。由于需要传输的屏幕视频数据量巨大,对计算机屏幕图像必须进行高效高质量的数据压缩。
充分利用计算机屏幕图像的特点,对计算机屏幕图像进行超高效率的压缩,也是最新国际视频压缩标准HEVC的一个主要目标。
计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样(pixel pattern)。例如,计算机屏幕图像中常出现的中文或外文文字,都是由少数几种基本笔划所构成,同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等,也具有很多相似或相同的图样。现有的图像和视频压缩技术中采用的帧内预测(intra prediction)方式,仅参考相邻的像素样值,无法利用一帧图像中的相似性或相同性来提高压缩效率。现有技术中的帧内运动补偿(intra motion compensation)方式也称为帧内块复制(intra block copy)方式,用几种固定大小(8x8,16x16,32x32,64x64像素)的块来进行帧内块匹配(intra block matching)编码,不能达到具有各种不同大小和形状的比较精细的匹配。而另几种现有技术中的微块匹配方式、精细划分匹配方式、串匹配(string matching)方式、调色板(palette)匹配方式(也称调色板索引匹配方式或简称索引匹配方式),虽然能有效找到各种不同大小和形状的精细匹配,但在某些图像情况下,却可能需要较多参数来表示各种不同大小和形状的精细匹配,也存在复杂度、计算量、存储器读写带宽都较大等问题。
因此,必须把多种预测编码方式和匹配编码方式(包括块匹配方式、微块匹配方式、精细划分匹配方式、串匹配方式、调色板匹配方式等)结合起来,才能实现对屏幕图像的高效编码。需要说明的是,“匹配”是编码的操作,对应的重构和解码操作是“复制”。因此,块匹配方式、微块匹配方式、精细划分匹配方式、串匹配方式、调色板匹配方式等也称为块复制方式、微块复制方式、精细划分复制方式、串复制方式、调色板复制方式(也称调色板索引复制方式或简称索引复制方式)等。
所有的预测方式和匹配方式都有一个共同点,就是必须用到编码(或解码)的重构像素样值的历史数据作为参考像素样值。一般来说,参考像素样值存储空间越大,预测和匹配的效率性能就越好。现有技术中,参考像素样值存储空间通常可以容纳少则几帧甚至几十个像素(如调色板像素),多则几十帧的历史数据。现有技术中,重构像素的历史数据用一种单一的形式来表示,放在一个单一的参考像素样值存储空间模块内。以一帧640x480像素的YUV4:4:4图像且每个像素样值占用一个字节为例,最常见的一种历史数据的形式及其在具有线性(1维)地址的存储空间模块内的线性放置顺序是平面格式且每个平面划分成大小相等的块,每个块有WxH个像素样值(即像素的一个分量),首先以块为单位把这些块按照一定的线性顺序前后排列起来放置在存储空间模块中,而每个块内部的像素样值则再按照某种确定的线性扫描格式排列成1维数据后放置到线性地址存储空间中,如下表所示(其中WxH=8x8):
每种预测方式或匹配方式,都有其特定的最有效的历史数据的形式。结合多种预测方式和匹配方式对屏幕图像进行编码时,如果继续采用现有技术中的单一形式的历史数据和参考像素样值存储空间,就会大大降低编码效率。因此必须使用多种形式的历史数据和参考像素样值存储空间,以提高预测或匹配性能,减少读取和写入历史数据所需带宽。
发明内容
本发明的主要技术特征是在对一个当前编码单元进行结合了多种预测和匹配方式的编码或解码时,相应地使用多种形式的历史数据和参考像素样值存储空间。
一般的像素样值存储空间的形式通常由4个要素组成:
1)              像素及其分量排列格式,如叠包格式和平面格式;
2)              像素的色彩格式,如GBR色彩格式、RGB色彩格式、YCbCr色彩格式、YUV色彩格式、CMYK色彩格式、YIQ色彩格式、HSV色彩格式、HSL色彩格式、索引色彩格式等等,不同的色彩格式之间通常可以互相转换;
3)              像素的聚集和排序格式。例如,像素按照其位置坐标聚集和排序:形状为2维区域的像素或其各分量的历史数据聚集放在一个2维数组空间中,或者聚集放在一个1维数组空间中。在1维的情形,还要确定所述历史数据在具有线性(1维)地址的存储空间中的线性放置方式;一种典型的线性放置方式是首先将所述2维区域划分成大小相等的块,每个块有WxH个像素(在叠包格式的情形)或其一个分量(在平面格式的情形),然后将这些块按照一种确定的线性顺序(例如:行顺序或列顺序或深度为D的4分树顺序)前后排列起来放置到线性地址存储空间中,而每个块内部的像素或其一个分量则按照一种确定的线性扫描(例如:行扫描或列扫描或zigzag扫描或Z扫描或弓形扫描或深度为D的4分树扫描)格式排列成1维数据后放置到线性地址存储空间中;再如,像素按照其颜色聚集和排序:产生调色板颜色,构造调色板,调色板中的像素按照其一种特性排序,组成一个具有线性地址的参考像素样值存储空间;所述特性的两个例:1)调色板颜色在一个CU中出现的顺序,2)调色板颜色在一个CU中出现的频度;
4)              色度分量的下采样格式,如YUV4:4:4格式或YUV4:2:2格式或YUV4:2:0格式等。
所述4要素决定了参考像素样值存储空间的形式。这4要素中有一点不同就是一种不同的参考像素样值存储空间的形式。
本发明的编码方法和装置中,最基本的特有技术特征就是,确定A(2≤A≤5)种预测编码方式和匹配编码方式,确定历史数据的B(2≤B≤A≤5)个不同形式的参考像素样值存储空间,并且把A种预测编码方式和匹配编码方式归成B类,分别与B个参考像素样值存储空间一一对应。B个不同形式的参考像素样值存储空间可能有不同的空间大小来存储不同数量的历史数据,其中,存储历史数据最多的那一个称为主参考像素样值存储空间,而其他参考像素样值存储空间中的历史数据都是主参考像素样值存储空间的历史数据的子集,但有不同的表现形式并且可能处于不同程度的部分重构阶段(如已经经过颜色聚类或已加上匹配残差或尚未加上匹配残差)。在对当前子区域进行编码时,每种预测编码方式或匹配编码方式都根据其归类使用对应的那个参考像素样值存储空间进行预测编码或匹配编码,依据预定的评估准则,选择A种预测编码方式和匹配编码方式中的一种对当前子区域进行编码。不管选择哪种预测编码方式和匹配编码方式对当前子区域进行编码,所产生的新的历史数据,都要转换成主参考像素样值存储空间的形式并放入主参考像素样值存储空间,也可能要转换成其他参考像素样值存储空间的形式(可能处于另一程度的部分重构阶段)并放入其他参考像素样值存储空间。不同的参考像素样值存储空间内的历史数据需保持同步。
本发明的解码方法和装置中,最基本的特有技术特征就是,确定A(2≤A≤5)种预测解码方式和复制解码方式,确定历史数据的B(2≤B≤A≤5)个不同形式的参考像素样值存储空间,并且把A种预测解码方式和匹配解码方式归成B类,分别与B个参考像素样值存储空间一一对应。B个不同形式的参考像素样值存储空间可能有不同的空间大小来存储不同数量的历史数据,其中,存储历史数据最多的那一个称为主参考像素样值存储空间,而其他参考像素样值存储空间中的历史数据都是主参考像素样值存储空间的历史数据的子集,但有不同的表现形式并且可能处于不同程度的部分重构阶段(如已经经过颜色聚类或已加上匹配残差或尚未加上匹配残差)。在对当前解码子区域的压缩后的视频码流数据进行解码时,每种预测解码方式或复制解码方式都根据其归类使用对应的那个参考像素样值存储空间进行预测解码或复制解码,依据从视频码流数据中读出的信息或者依据从视频码流数据中读出的信息再加上当前解码子区域以及邻近子区域的特征,选择A种预测解码方式和复制解码方式中的一种对当前子区域进行解码。不管选择哪种预测解码方式和复制解码方式对当前子区域进行解码,所产生的新的历史数据,都要转换成主参考像素样值存储空间的形式并放入主参考像素样值存储空间,也可能要转换成其他参考像素样值存储空间的形式(可能处于另一程度的部分重构阶段)并放入其他参考像素样值存储空间。不同的参考像素样值存储空间内的历史数据需保持同步。
根据本发明的一个方面,提供了一种图像编码方法或装置,至少包括:完成下列功能和操作的步骤或模块的至少之一:
1)分析和评估编码子区域和/或邻近区域的特性(如像素的位置和/或颜色的特性),根据分析和评估的结果,依据预定的评估准则,选择和确定所述编码子区域的编码方式;
2)使用所述编码方式对应的参考像素样值存储空间对所述编码子区域进行编码,并将编码结果写入视频码流;视频码流中至少包括在解码方法和装置中确定对应的解码方式与参考像素样值存储空间所需要的部分或全部信息。
根据本发明的另一个方面,还提供了一种图像解码方法或装置,至少包括:完成下列功能和操作的步骤或模块的至少之一:
1)解析视频码流和/或分析与评估解码子区域和/或邻近区域的特性(如像素的位置和/或颜色的特性),根据解析、分析和评估的结果,选择和确定所述解码子区域的解码方式;
2)使用所述解码方式及其对应的参考像素样值存储空间对所述解码子区域进行解码,产生重构像素。
以上从几个方面阐述了本发明的主要技术特征。本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在不背离本发明的精神下进行各种修饰或改变。
本发明的编码装置的一个实施例至少包括下列模块之一:
预测和匹配编码模块,配置成为使用不同编码方式的多个编码处理单元,其中,所述编码处理单元配置成为使用帧内预测编码、帧间预测编码或多种不同匹配编码方式之一对数据进行处理;
编码存储模块,配置成为存储不同形式的重构像素样值数据的多个存储单元;
编码数据控制模块,配置成为控制所述预测和匹配编码模块读取预先设定的所述编码存储模块中对应的一个或多个存储单元的数据;根据所述读入数据,控制所述预测和匹配编码模块将待编码数据移交对应编码处理单元;控制所述预测和匹配编码模块将所述编码处理单元的输出数据写入预先设定的所述编码存储模块中一个或多个存储单元。
本发明的解码装置的一个实施例至少包括下列模块之一:
预测和复制解码模块,配置成为使用不同解码方式的多个解码处理单元,其中,所述解码处理单元配置成为使用帧内预测解码、帧间预测解码或多种不同复制解码方式之一对数据进行处理;
解码存储模块,配置成为存储不同形式的重构像素样值数据的多个存储单元;
解码数据控制模块,配置成为控制所述预测和复制解码模块读取预先设定的所述解码存储模块中对应的一个或多个存储单元的数据;根据所述读入数据,控制所述预测和复制解码模块将待解码数据移交对应解码处理单元;控制所述预测和复制解码模块将所述解码处理单元的输出数据写入预先设定的所述解码存储模块中一个或多个存储单元。
本发明的编码装置的一个实施例,其示意图如图1所示,由以下模块组成:
1)        预测编码方式模块、匹配编码方式1模块、匹配编码方式2模块、…… 、匹配编码方式A-1模块:A是一个满足2≤A≤5的正整数;这A个编码方式模块分别使用预测(帧内预测或帧间预测或两者)编码方式、匹配编码方式1、匹配编码方式2、…… 、匹配编码方式A-1这A种编码方式对输入视频图像的一个输入编码单元中的一个当前编码子区域施行预测或匹配编码运算;所述预测编码方式模块的输出是预测模式,帧间预测的运动矢量,预测残差即所述输入视频图像的原始输入像素样值与预测像素样值之差;各所述匹配编码方式模块的输出是匹配模式、匹配位置,未匹配样值,匹配残差;所述匹配位置是用来表示与所述当前编码子区域中当前编码像素样值相匹配的参考像素样值在参考像素样值存储空间中的什么位置的变量,所述与当前编码像素样值相匹配的参考像素样值称为匹配像素样值,所述匹配像素样值的位置并不一定在所述参考像素样值存储空间中形成连在一起的一个区域,也可能是所述参考像素样值存储空间中分离的几个区域;所述未匹配样值是依据预先确定的匹配准则在所述参考像素样值存储空间中未找到匹配的原始输入像素样值,如果一种匹配编码方式预先确定的匹配准则很宽松,允许任意大的匹配误差,因而总是能找到匹配,那么这种匹配编码方式就没有未匹配样值作为输出;所述匹配残差是原始输入像素样值与所述匹配像素样值之差,如果一种匹配编码方式预先确定的匹配准则是绝对精确的无损匹配,则所述匹配残差为零,即这种匹配编码方式就没有匹配残差作为输出,如果一种匹配编码方式预先确定的匹配准则是近似的有损匹配,则所述匹配残差可能不为零,另一种有损匹配的情形是首先对原始输入像素样值进行样值量化、颜色量化或者基于颜色的像素聚类的前处理,然后再施行匹配编码运算,在这种情形,由于样值量化、颜色量化或者基于颜色的像素聚类是有损的,即使匹配编码运算本身是无损的,所述匹配残差(即原始输入像素样值与所述匹配像素样值之差)也可能不为零;
2)        参考像素样值存储空间1模块、参考像素样值存储空间2模块、…… 、参考像素样值存储空间B模块:B是一个满足2≤B≤A≤5的正整数;这B个参考像素样值存储空间用独特的彼此不同的形式存储在编码过程中产生的重构像素样值历史数据,用作后续的编码和重构各种运算时需要的参考像素样值;这B个不同形式的参考像素样值存储空间可能有不同的空间大小来存储不同数量的历史数据,其中,存储历史数据最多的那一个称为主参考像素样值存储空间,而其他参考像素样值存储空间中的历史数据都是主参考像素样值存储空间的历史数据的子集,但有不同的表现形式并且可能处于不同程度的部分重构阶段(如已经经过颜色聚类或已加上匹配残差或尚未加上匹配残差);对应于这B个参考像素样值存储空间,所述预测编码方式模块、匹配编码方式1模块、匹配编码方式2模块、…… 、匹配编码方式A-1模块的A种编码方式也相应地划分归并成B类,与B个参考像素样值存储空间一一对应;在对所述当前编码子区域进行编码时,每种预测编码方式或匹配编码方式都根据其归类使用对应的那个参考像素样值存储空间进行预测编码或匹配编码,依据预定的评估准则,选择A种预测编码方式和匹配编码方式中的一种对所述当前编码子区域进行编码;
3)        其余的各种常用技术编码和重构模块:对输入的各种参数和变量施行各种常用技术,如变换、量化、逆变换、反量化、对应于预测残差和匹配残差的补偿(即取残差运算的逆运算)、预测并求残差、DPCM、一阶和高阶差分、映射、游程、索引、去块效应滤波、样值自适应补偿(Sample Adaptive Offset),的编码和重构运算以及熵编码运算;本模块的输入是模块1)所述各模块的输出和所述原始输入像素样值;本模块的输出是重构像素和视频码流;所述重构像素都要转换成主参考像素样值存储空间的形式并放入模块2)所述主参考像素样值存储空间,也可能要转换成其他参考像素样值存储空间的形式(可能处于另一程度的部分重构阶段)并放入模块2)所述其他参考像素样值存储空间,用作后续的编码和重构各种运算时需要的参考像素样值;所述视频码流是本编码装置的最后输出,包含了对应的解码装置施行解码和重构运算所需要的全部语法元素,特别是预测模式、运动矢量、匹配模式、匹配位置、未匹配样值等语法元素;
4)        像素样值存储空间的形式转换模块:把B种参考像素样值存储空间的形式的一种形式转换成另一种形式;模块3)产生和输出的重构像素,都要经过本模块转换成主参考像素样值存储空间的形式并放入模块2)所述主参考像素样值存储空间,也可能要经过本模块转换成其他参考像素样值存储空间的形式(可能处于另一程度的部分重构阶段)并放入模块2)所述其他参考像素样值存储空间,用作后续的编码和重构各种运算时需要的参考像素样值;本模块使不同的参考像素样值存储空间内的历史数据互相之间保持同步。
本发明的解码装置的一个实施例,其示意图如图2所示,由以下模块组成:
1)        码流数据解析与部分解码模块:对当前解码CU的含预测模式、运动矢量、匹配模式、匹配位置、未匹配样值的压缩数据以及所有其他语法元素压缩数据的视频码流施行熵解码,并解析出熵解码得到的各种数据的意义;把解析和施行部分解码(如变换解码、预测并做补偿即求残差运算的逆运算、DPCM解码、一阶和高阶差分解码、映射解码、游程解码、索引解码)运算后得到的预测模式、运动矢量、匹配模式、匹配位置、未匹配样值等参数和变量送往各预测解码方式模块和匹配解码方式模块;把解析得到的所有其他语法元素如预测残差和匹配残差的熵解码输出数据(即熵解码的结果)送往其余的各种常用技术解码和重构模块;特别是,依据从视频码流数据中解析得到的信息或者依据从视频码流数据中解析得到的信息再加上当前解码子区域以及邻近子区域的特征,选择一种对应的预测解码方式或匹配解码方式,把预测模式、运动矢量、匹配模式、匹配位置、未匹配样值等对应的几个参数和变量送往一个对应的预测解码方式模块或匹配解码方式模块,启动所述对应的预测解码方式模块或匹配解码方式模块对当前解码子区域进行解码;
2)        预测解码方式模块、匹配解码方式1模块、匹配解码方式2模块、…… 、匹配解码方式A-1模块:A是一个满足2≤A≤5的正整数;这A个解码方式模块分别使用预测(帧内预测或帧间预测或两者)解码方式、匹配解码方式1、匹配解码方式2、…… 、匹配解码方式A-1这A种解码方式对相对应的A种当前解码子区域施行预测或匹配解码运算;所述预测解码方式模块的输入是预测模式和帧间预测的运动矢量;所述匹配解码方式模块的输入是匹配模式、匹配位置,也可能还有未匹配样值;所述匹配位置是用来表示从参考像素样值存储空间中的什么位置复制匹配的参考像素样值并将其粘贴到当前解码子区域的当前解码中像素样值(称为被匹配像素样值)的位置,所述匹配的参考像素样值称为匹配像素样值(显而易见,被匹配像素样值是匹配像素样值的复制品,两者在数值上是相等的),所述匹配像素样值的位置并不一定在所述参考像素样值存储空间中形成连在一起的一个区域,也可能是所述参考像素样值存储空间中分离的几个区域;所述未匹配样值是直接从视频码流数据中解析和解码得到的像素样值并将其粘贴到当前解码子区域的当前解码中像素样值的位置,所述未匹配样值通常不存在于所述参考像素样值存储空间中;所述A个解码方式模块的输出是预测像素样值或所述匹配像素样值(在数值上与被匹配像素样值相等)加上所述未匹配样值(在有些匹配解码方式中存在);所述被匹配像素样值和可能存在的所述未匹配样值全部合起来就构成所述当前解码CU的完整的匹配解码输出;
3)        参考像素样值存储空间1模块、参考像素样值存储空间2模块、…… 、参考像素样值存储空间B模块:B是一个满足2≤B≤A≤5的正整数;这B个参考像素样值存储空间用独特的彼此不同的形式存储在解码过程中产生的重构像素样值历史数据,用作后续的解码和重构各种运算时需要的参考像素样值;这B个不同形式的参考像素样值存储空间可能有不同的空间大小来存储不同数量的历史数据,其中,存储历史数据最多的那一个称为主参考像素样值存储空间,而其他参考像素样值存储空间中的历史数据都是主参考像素样值存储空间的历史数据的子集,但有不同的表现形式并且可能处于不同程度的部分重构阶段(如已加上匹配残差或尚未加上匹配残差);对应于这B个参考像素样值存储空间,所述预测解码方式模块、匹配解码方式1模块、匹配解码方式2模块、…… 、匹配解码方式A-1模块的A种解码方式也相应地划分归并成B类,与B个参考像素样值存储空间一一对应;在对所述当前解码子区域进行解码时,每种预测解码方式或匹配解码方式都根据其归类使用对应的那个参考像素样值存储空间进行预测解码或匹配解码,每个参考像素样值存储空间为相对应的那一类解码方式的所有解码方式(可能有多种)提供参考像素样值;
4)        其余的各种常用技术解码和重构模块:对所述当前解码子区域施行其余的各种常用技术,如逆变换、反量化、对应于预测残差和匹配残差的补偿(即取残差运算的逆运算)、预测并做补偿(即求残差运算的逆运算)、DPCM、一阶和高阶差分、映射、游程、索引、去块效应滤波、样值自适应补偿(Sample Adaptive Offset),的解码和重构运算;本模块的输入是模块1)输出的所有其他语法元素如预测残差和匹配残差的熵解码输出数据和模块2)所述各模块的输出即所述预测像素样值或所述匹配像素样值加上可能存在的所述未匹配样值;本模块的输出是重构像素(包括完全重构像素和不同程度的部分重构像素);所述重构像素都要转换成主参考像素样值存储空间的形式并放入模块3)所述主参考像素样值存储空间,也可能要转换成其他参考像素样值存储空间的形式(可能处于另一程度的部分重构阶段)并放入模块2)所述其他参考像素样值存储空间,用作后续的解码和重构各种运算时需要的参考像素样值;所述完全重构像素也是本解码装置的最后输出;
5)        像素样值存储空间的形式转换模块:把B种参考像素样值存储空间的形式的一种形式转换成另一种形式;模块4)产生和输出的重构像素,都要经过本模块转换成主参考像素样值存储空间的形式并放入模块3)所述主参考像素样值存储空间,也可能要经过本模块转换成其他参考像素样值存储空间的形式(可能处于另一程度的部分重构阶段)并放入模块3)所述其他参考像素样值存储空间,用作后续的解码和重构各种运算时需要的参考像素样值;本模块使不同的参考像素样值存储空间内的历史数据互相之间保持同步。
以上所提供的图示仅以示意方式说明本发明的基本构想,图示中仅显示与本发明直接有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
以下是本发明的更多的实施细节和变体。
实施或变体例1 4种编码方式和2个不同形式的参考像素样值存储空间的实施例
所述正整数A等于4,所述4个编码方式模块分别是预测编码方式模块,块匹配编码方式模块,串匹配编码方式模块,调色板匹配编码方式模块;所述正整数B等于2,所述2个参考像素样值存储空间分别是平面格式和2维数组空间之形式的参考像素样值存储空间(简称为平面2维参考空间)与叠包格式和1维数组空间之形式的参考像素样值存储空间(简称为叠包1维参考空间);所述主参考像素样值存储空间是所述平面2维参考空间,所述叠包1维参考空间中的历史数据都是所述平面2维参考空间的历史数据的子集,但有不同的表现形式并且可能处于不同程度的部分重构阶段(如已加上匹配残差或尚未加上匹配残差);所述4种编码方式也相应地划分归并成2类,预测编码方式和块匹配编码方式都是第1类编码方式,与所述平面2维参考空间相对应,而串匹配编码方式和调色板匹配编码方式都是第2类编码方式,与所述叠包1维参考空间相对应;在对所述当前编码子区域进行编码时,预测编码方式使用所述平面2维参考空间进行预测编码,块匹配编码方式也使用所述平面2维参考空间进行块匹配编码,串匹配编码方式则使用所述叠包1维参考空间进行串匹配编码,调色板匹配编码方式也使用所述叠包1维参考空间进行调色板匹配编码;所述平面2维参考空间为预测编码和块匹配编码提供参考像素样值,而所述叠包1维参考空间则为串匹配编码和调色板匹配编码提供参考像素样值;
块匹配编码方式以若干一定大小(如64x64样值、32x32样值、16x16样值、8x8样值、8x4样值、4x8样值、4x4样值等)的块(称为被匹配块,其在一帧图像内的位置可用一个2维坐标来表示)为单位进行匹配编码,所述匹配像素样值形成所述平面2维参考空间内的一个匹配块,其在一帧图像内的位置也可用一个2维坐标来表示,因而在块匹配编码方式中,所述匹配位置可用匹配块的2维坐标与被匹配块的2维坐标之差,称为位移矢量来表示;
串匹配编码方式将所述当前编码子区域的像素样值按照预先确定的线性扫描格式排列成叠包格式的1维的像素样值串,以可变长度的像素样值串(称为被匹配串,其位置既可用一个2维坐标也可用一个线性地址来表示)为单位进行匹配编码,所述匹配像素样值形成所述叠包1维参考空间内的一个匹配串,其位置也是既可用一个2维坐标也可用一个线性地址来表示,因而在串匹配编码方式中,所述匹配位置既可用匹配串的2维坐标与被匹配串的2维坐标之差也可用匹配串的线性地址与被匹配串的线性地址之差,通称为位移矢量来表示,由于匹配串的长度(等于被匹配串的长度)是可变的,所以还需要另一个称为匹配长度的变量与所述位移矢量一起,即(位移矢量,匹配长度),来完整地表示所述匹配位置;对所述当前编码CU进行串匹配编码的结果是M(M ≥ 1)个匹配串和N(N ≥ 0)个未匹配像素样值,输出M对(位移矢量,匹配长度)和N个未匹配像素样值;
调色板匹配编码仅使用所述叠包1维参考空间的一部分像素(通常含当前CU内的若干像素样值)作为参考像素,因而从所述叠包1维参考空间中按照预先确定的方法挑选出并适时更新一组K个像素(通常4≤K≤64),这K个像素组成一个调色板,调色板中的每个像素都用一个索引来表示,调色板匹配编码方式使用所述调色板的像素作为参考像素,而所述匹配像素样值的所述匹配位置就是所述匹配像素样值在调色板中的索引,所述当前编码CU的所有所述匹配像素样值的索引整体组成一个索引数组,称为索引映射;
所述其余的各种常用技术编码和重构模块的功能之一是对匹配模式,位移矢量,匹配长度,索引映射,未匹配样值等参数和变量施行各种常用的可能需要的变换、预测并求残差、DPCM、一阶和高阶差分、映射、游程、索引编码;
所述像素样值存储空间的形式转换模块进行像素的下列两种表现形式之间的互相转换:1)平面格式和2维数组空间之形式,2)叠包格式和1维数组空间之形式;
所述调色板匹配编码方式模块和所述调色板是可选的,可以省略,从而在所述的编码装置中,所述正整数A等于3,所述3个编码方式模块分别是预测编码方式模块,块匹配编码方式模块,串匹配编码方式模块;
所述串匹配编码方式模块是可选的,可以省略,从而在所述的编码装置中,所述正整数A等于3,所述3个编码方式模块分别是预测编码方式模块,块匹配编码方式模块,调色板匹配编码方式模块。
实施或变体例2 4种解码方式和2个不同形式的参考像素样值存储空间的实施例1
所述正整数A等于4,所述4个解码方式模块分别是预测解码方式模块,块匹配解码方式模块,串匹配解码方式模块,调色板匹配解码方式模块;所述正整数B等于2,所述2个参考像素样值存储空间分别是平面格式和2维数组空间之形式的参考像素样值存储空间(简称为平面2维参考空间)与叠包格式和1维数组空间之形式的参考像素样值存储空间(简称为叠包1维参考空间);所述主参考像素样值存储空间是所述平面2维参考空间,所述叠包1维参考空间中的历史数据都是所述平面2维参考空间的历史数据的子集,但有不同的表现形式并且可能处于不同程度的部分重构阶段(如已加上匹配残差或尚未加上匹配残差);所述4种解码方式也相应地划分归并成2类,预测解码方式和块匹配解码方式都是第1类解码方式,与所述平面2维参考空间相对应,而串匹配解码方式和调色板匹配解码方式都是第2类解码方式,与所述叠包1维参考空间相对应;在对所述当前解码CU进行解码时,预测解码方式使用所述平面2维参考空间进行预测解码,块匹配解码方式也使用所述平面2维参考空间进行块匹配解码,串匹配解码方式则使用所述叠包1维参考空间进行串匹配解码,调色板匹配解码方式也使用所述叠包1维参考空间进行调色板匹配解码;所述平面2维参考空间为预测解码和块匹配解码提供参考像素样值,而所述叠包1维参考空间则为串匹配解码和调色板匹配解码提供参考像素样值;
块匹配解码方式以若干一定大小(如64x64样值、32x32样值、16x16样值、8x8样值、8x4样值、4x8样值、4x4样值等)的块(称为被匹配块,其在一帧图像内的位置可用一个2维坐标来表示)为单位进行匹配解码,所述匹配像素样值形成所述平面2维参考空间内的一个匹配块,其在一帧图像内的位置也可用一个2维坐标来表示,因而在块匹配解码方式中,所述匹配位置可用匹配块的2维坐标与被匹配块的2维坐标之差,称为位移矢量来表示;
串匹配解码方式将所述当前解码CU的像素样值按照预先确定的线性扫描格式排列成叠包格式的1维的像素样值串,以可变长度的像素样值串(称为被匹配串,其位置既可用一个2维坐标也可用一个线性地址来表示)为单位进行匹配解码,所述匹配像素样值形成所述叠包1维参考空间内的一个匹配串,其位置也是既可用一个2维坐标也可用一个线性地址来表示,因而在串匹配解码方式中,所述匹配位置既可用匹配串的2维坐标与被匹配串的2维坐标之差也可用匹配串的线性地址与被匹配串的线性地址之差,通称为位移矢量来表示,由于匹配串的长度(等于被匹配串的长度)是可变的,所以还需要另一个称为匹配长度的变量与所述位移矢量一起,即(位移矢量,匹配长度),来完整地表示所述匹配位置;对所述当前解码CU进行串匹配解码时的输入是从视频码流数据中解析和解码得到的匹配模式,M(M ≥ 1)对(位移矢量,匹配长度)和N(N ≥ 0)个未匹配像素样值;
调色板匹配解码仅使用所述叠包1维参考空间的一部分像素(通常含当前CU内的若干像素样值)作为参考像素,因而从所述叠包1维参考空间中按照预先确定的方法挑选出并适时更新一组K个像素(通常4≤K≤64),这K个像素组成一个调色板,调色板中的每个像素都用一个索引来表示,调色板匹配解码方式使用所述调色板的像素作为参考像素,而所述匹配像素样值的所述匹配位置就是所述匹配像素样值在调色板中的索引,所述当前解码CU的所有所述匹配像素样值的索引整体组成一个索引数组,称为索引映射;索引映射是从视频码流数据中解析和解码得到的,是调色板匹配解码的输入之一;
所述码流数据解析与部分解码模块的功能之一是对从所述视频码流中经熵解码得到的代表匹配模式,位移矢量,匹配长度,索引映射,未匹配样值等参数和变量的语法元素的部分解码数据施行各种常用的可能需要的变换解码、预测并做补偿即求残差运算的逆运算、DPCM解码、一阶和高阶差分解码、映射解码、游程解码、索引解码的运算,得到原始的匹配模式,位移矢量,匹配长度,索引映射,未匹配样值等参数和变量,用作块匹配解码方式模块,串匹配解码方式模块,调色板匹配解码方式模块的输入;
所述像素样值存储空间的形式转换模块进行像素的下列两种表现形式之间的互相转换:1)平面格式和2维数组空间之形式,2)叠包格式和1维数组空间之形式;
所述调色板匹配解码方式模块和所述调色板是可选的,可以省略,从而在所述的解码装置中,所述正整数A等于3,所述3个解码方式模块分别是预测解码方式模块,块匹配解码方式模块,串匹配解码方式模块;
所述串匹配解码方式模块是可选的,可以省略,从而在所述的解码装置中,所述正整数A等于3,所述3个解码方式模块分别是预测解码方式模块,块匹配解码方式模块,调色板匹配解码方式模块。
实施或变体例3 4种解码方式和2个不同形式的参考像素样值存储空间的实施例2
本实施或变体例与以上实施或变体例的差别是:所述4种解码方式也相应地划分归并成2类,预测解码方式、块匹配解码方式、串匹配解码方式都是第1类解码方式,与所述平面2维参考空间相对应,而调色板匹配解码方式是第2类解码方式,与所述叠包1维参考空间相对应;所述平面2维参考空间采用非索引色彩格式的像素色彩格式,而所述叠包1维参考空间采用索引色彩格式的像素色彩格式。
实施或变体例4 含预测和匹配方式标识码和其他编码结果的视频码流以及预测和匹配方式归类的实施例
所述视频码流中的编码单元即CU部分由载入了下列信息的语法元素构成:
CU头、预测和匹配方式标识码、预测模式或匹配模式、运动矢量1或匹配位置1、未匹配像素样值1、运动矢量2或匹配位置2、未匹配像素样值2、…………… 、更多运动矢量或匹配位置、更多未匹配像素样值、预测残差或匹配残差、其他编码结果;
除了所述CU头语法元素,所有其他所述语法元素在码流中的放置排列顺序并不是唯一的,可采用任意一种预先确定的合理的顺序;任何一个语法元素也可以被拆成几部分,所述几部分可以集中放置在码流中同一地方,也可以分别放置在码流中不同的地方;任何若干语法元素也可以合并成一个语法元素;除了所述CU头语法元素以及预测和匹配方式标识码语法元素,其他语法元素也可以不存在于某个CU的压缩码流数据中;
所述预测和匹配方式标识码可以取以下几个码值并具有以下语义:
码值 语义
0 当前编码或解码CU(简称为当前CU)采用预测编码或解码方式
1 当前编码或解码CU(简称为当前CU)采用匹配编码或解码方式1
2 当前编码或解码CU(简称为当前CU)采用匹配编码或解码方式2
……………………………………
A-1 当前编码或解码CU(简称为当前CU)采用匹配编码或解码方式A-1
所述A个编码方式或A个解码方式的划分归类由预先确定的一个A-元数组ClassOfCoding[A]来定义,每一个j = ClassOfCoding[i](其中i满足0 ≤ i < A)的取值范围是1至B,分别与B个参考像素样值存储空间一一对应,由此,从当前CU的预测和匹配方式标识码的码值和A-元数组ClassOfCoding[A]就可以按照下列判断条件确定当前CU采用哪个参考像素样值存储空间来进行编码或解码:
如果(预测和匹配方式标识码的码值==0)则采用参考像素样值存储空间j对当前CU进行编码或解码,其中j = ClassOfCoding[0];
如果(预测和匹配方式标识码的码值==1)则采用参考像素样值存储空间j对当前CU进行编码或解码,其中j = ClassOfCoding[1];
如果(预测和匹配方式标识码的码值==2)则采用参考像素样值存储空间j对当前CU进行编码或解码,其中j = ClassOfCoding[2];
……………………………………
如果(预测和匹配方式标识码的码值==i)则采用参考像素样值存储空间j对当前CU进行编码或解码,其中j = ClassOfCoding[i];
……………………………………
如果(预测和匹配方式标识码的码值==A-1)则采用参考像素样值存储空间j对当前CU进行编码或解码,其中j = ClassOfCoding[A-1];
以上符号“==”表示“相等于”。
实施或变体例5 含预测和匹配方式标识码和其他编码结果的视频码流以及2类编码或解码方式的实施例1
所述视频码流中的编码单元即CU部分由载入了下列信息的语法元素构成:
CU头、预测和匹配方式标识码、预测模式或匹配模式、运动矢量1或位移矢量1或(位移矢量1,匹配长度1)或索引映射1、未匹配像素样值1、运动矢量2或位移矢量2或(位移矢量2,匹配长度2)或索引映射2、未匹配像素样值2、…………… 、更多运动矢量或位移矢量或(位移矢量,匹配长度)或索引映射、更多未匹配像素样值、预测残差或匹配残差、其他编码结果;
除了所述CU头语法元素,所有其他所述语法元素在码流中的放置排列顺序并不是唯一的,可采用任意一种预先确定的合理的顺序;任何一个语法元素也可以被拆成几部分,所述几部分可以集中放置在码流中同一地方,也可以分别放置在码流中不同的地方;任何若干语法元素也可以合并成一个语法元素;除了所述CU头语法元素以及预测和匹配方式标识码语法元素,其他语法元素也可以不存在于某个CU的视频码流数据中;
所述预测和匹配方式标识码可以取以下几个码值并具有以下语义:
码值 语义
0 当前编码或解码CU(简称为当前CU)采用预测编码或解码方式
1 当前编码或解码CU(简称为当前CU)采用块匹配编码或解码方式
2 当前编码或解码CU(简称为当前CU)采用串匹配编码或解码方式
3 当前编码或解码CU(简称为当前CU)采用调色板匹配编码或解码方式
所述4个编码方式或4个解码方式的划分归类由预先确定的一个4-元数组ClassOfCoding[4]来定义,每一个ClassOfCoding[i](其中i满足0 ≤ i < 4)的取值是:
ClassOfCoding[0] = ClassOfCoding[1] = 1,
ClassOfCoding[2] = ClassOfCoding[3] = 2,
取值为1和2分别与参考像素样值存储空间1(即平面2维参考空间)和参考像素样值存储空间2(叠包1维参考空间)一一对应,由此,从当前CU的预测和匹配方式标识码的码值和4-元数组ClassOfCoding[4]就可以按照下列判断条件确定当前CU采用哪个参考像素样值存储空间来进行编码或解码:
如果(预测和匹配方式标识码的码值==i)则采用参考像素样值存储空间j对当前CU进行编码或解码,其中0 ≤ i < 4,j = ClassOfCoding[i];
此判断条件也可展开写为:
如果(预测和匹配方式标识码的码值==0)则采用平面2维参考空间对当前CU进行编码或解码;
如果(预测和匹配方式标识码的码值==1)则采用平面2维参考空间对当前CU进行编码或解码;
如果(预测和匹配方式标识码的码值==2)则采用叠包1维参考空间对当前CU进行编码或解码;
如果(预测和匹配方式标识码的码值==3)则采用叠包1维参考空间对当前CU进行编码或解码。
实施或变体例6 含预测和匹配方式标识码和其他编码结果的视频码流以及2类编码或解码方式的实施例2
所述视频码流中的编码单元即CU部分由载入了下列信息的语法元素构成:
CU头、预测和匹配方式标识码、预测模式或匹配模式、运动矢量1或位移矢量1或(位移矢量1,匹配长度1)、未匹配像素样值1、运动矢量2或位移矢量2或(位移矢量2,匹配长度2)、未匹配像素样值2、…………… 、更多运动矢量或位移矢量或(位移矢量,匹配长度)、更多未匹配像素样值、预测残差或匹配残差、其他编码结果;
除了所述CU头语法元素,所有其他所述语法元素在码流中的放置排列顺序并不是唯一的,可采用任意一种预先确定的合理的顺序;任何一个语法元素也可以被拆成几部分,所述几部分可以集中放置在码流中同一地方,也可以分别放置在码流中不同的地方;任何若干语法元素也可以合并成一个语法元素;除了所述CU头语法元素以及预测和匹配方式标识码语法元素,其他语法元素也可以不存在于某个CU的视频码流数据中;
所述预测和匹配方式标识码可以取以下几个码值并具有以下语义:
码值 语义
0 当前编码或解码CU(简称为当前CU)采用预测编码或解码方式
1 当前编码或解码CU(简称为当前CU)采用块匹配编码或解码方式
2 当前编码或解码CU(简称为当前CU)采用串匹配编码或解码方式
所述3个编码方式或3个解码方式的划分归类由预先确定的一个3-元数组ClassOfCoding[3]来定义,每一个ClassOfCoding[i](其中i满足0 ≤ i < 3)的取值是:
ClassOfCoding[0] = ClassOfCoding[1] = 1,
ClassOfCoding[2] = 2,
取值为1和2分别与参考像素样值存储空间1(即平面2维参考空间)和参考像素样值存储空间2(叠包1维参考空间)一一对应,由此,从当前CU的预测和匹配方式标识码的码值和3-元数组ClassOfCoding[3]就可以按照下列判断条件确定当前CU采用哪个参考像素样值存储空间来进行编码或解码:
如果(预测和匹配方式标识码的码值==i)则采用参考像素样值存储空间j对当前CU进行编码或解码,其中0 ≤ i < 3,j = ClassOfCoding[i];
此判断条件也可展开写为:
如果(预测和匹配方式标识码的码值==0)则采用平面2维参考空间对当前CU进行编码或解码;
如果(预测和匹配方式标识码的码值==1)则采用平面2维参考空间对当前CU进行编码或解码;
如果(预测和匹配方式标识码的码值==2)则采用叠包1维参考空间对当前CU进行编码或解码。
  
实施或变体例7 含预测和匹配方式标识码和其他编码结果的视频码流以及2类编码或解码方式的实施例3
所述视频码流中的编码单元即CU部分由载入了下列信息的语法元素构成:
CU头、预测和匹配方式标识码、预测模式或匹配模式、运动矢量1或位移矢量1或索引映射1、未匹配像素样值1、运动矢量2或位移矢量2或索引映射2、未匹配像素样值2、…………… 、更多运动矢量或位移矢量或索引映射、更多未匹配像素样值、预测残差或匹配残差、其他编码结果;
除了所述CU头语法元素,所有其他所述语法元素在码流中的放置排列顺序并不是唯一的,可采用任意一种预先确定的合理的顺序;任何一个语法元素也可以被拆成几部分,所述几部分可以集中放置在码流中同一地方,也可以分别放置在码流中不同的地方;任何若干语法元素也可以合并成一个语法元素;除了所述CU头语法元素以及预测和匹配方式标识码语法元素,其他语法元素也可以不存在于某个CU的视频码流数据中;
所述预测和匹配方式标识码可以取以下几个码值并具有以下语义:
码值 语义
0 当前编码或解码CU(简称为当前CU)采用预测编码或解码方式
1 当前编码或解码CU(简称为当前CU)采用块匹配编码或解码方式
2 当前编码或解码CU(简称为当前CU)采用调色板匹配编码或解码方式
所述3个编码方式或3个解码方式的划分归类由预先确定的一个3-元数组ClassOfCoding[3]来定义,每一个ClassOfCoding[i](其中i满足0 ≤ i < 3)的取值是:
ClassOfCoding[0] = ClassOfCoding[1] = 1,
ClassOfCoding[2] = 2,
取值为1和2分别与参考像素样值存储空间1(即平面2维参考空间)和参考像素样值存储空间2(叠包1维参考空间)一一对应,由此,从当前CU的预测和匹配方式标识码的码值和3-元数组ClassOfCoding[3]就可以按照下列判断条件确定当前CU采用哪个参考像素样值存储空间来进行编码或解码:
如果(预测和匹配方式标识码的码值==i)则采用参考像素样值存储空间j对当前CU进行编码或解码,其中0 ≤ i < 3,j = ClassOfCoding[i];
此判断条件也可展开写为:
如果(预测和匹配方式标识码的码值==0)则采用平面2维参考空间对当前CU进行编码或解码;
如果(预测和匹配方式标识码的码值==1)则采用平面2维参考空间对当前CU进行编码或解码;
如果(预测和匹配方式标识码的码值==2)则采用叠包1维参考空间对当前CU进行编码或解码。
实施或变体例8 平面格式和2维数组空间之形式的参考像素样值存储空间的实施例
所述平面格式和2维数组空间之形式的参考像素样值存储空间由按照下列顺序放置的两帧图像的像素样值构成;
第L-1帧图像的第一行像素的Y分量,按从左到右的扫描顺序放置
第L-1帧图像的第二行像素的Y分量,按从左到右的扫描顺序放置
……………………………………
第L-1帧图像的最后行像素的Y分量,按从左到右的扫描顺序放置
第L-1帧图像的第一行像素的U分量,按从左到右的扫描顺序放置
第L-1帧图像的第二行像素的U分量,按从左到右的扫描顺序放置
……………………………………
第L-1帧图像的最后行像素的U分量,按从左到右的扫描顺序放置
第L-1帧图像的第一行像素的V分量,按从左到右的扫描顺序放置
第L-1帧图像的第二行像素的V分量,按从左到右的扫描顺序放置
……………………………………
第L-1帧图像的最后行像素的V分量,按从左到右的扫描顺序放置
第L帧图像的第一行像素的Y分量,按从左到右的扫描顺序放置
第L帧图像的第二行像素的Y分量,按从左到右的扫描顺序放置
……………………………………
第L帧图像的最后行像素的Y分量,按从左到右的扫描顺序放置
第L帧图像的第一行像素的U分量,按从左到右的扫描顺序放置
第L帧图像的第二行像素的U分量,按从左到右的扫描顺序放置
……………………………………
第L帧图像的最后行像素的U分量,按从左到右的扫描顺序放置
第L帧图像的第一行像素的V分量,按从左到右的扫描顺序放置
第L帧图像的第二行像素的V分量,按从左到右的扫描顺序放置
……………………………………
第L帧图像的最后行像素的V分量,按从左到右的扫描顺序放置
以上第L帧图像是当前编码或解码中的那帧图像,而第L-1帧图像是第L帧图像之前(按照编码或解码顺序)的那帧图像。
实施或变体例9 叠包格式和1维数组空间之形式的参考像素样值存储空间的实施例
所述叠包格式和1维数组空间之形式的参考像素样值存储空间由1帧图像的像素样值组成,所述1帧图像首先被划分成64x64个像素(叠包格式,有64x64x3个像素样值)的块,按照块的光栅扫描顺序给每个块一个序号,即最左上角的块的序号为1,序号为1的块之右边的块的序号为2,序号为2的块之右边的块的序号为3,依此类推,如果序号为X的块是最右边的块,其右边已经没有块,那么序号为X的块之直接下方最左边的块的序号为X+1,序号为X+1的块之右边的块的序号为X+2,序号为X+2的块之右边的块的序号为X+3,依此类推,所述1帧图像的所有的块就都有一个序号;然后,按照下列顺序放置和排列所有像素构成一个1维数组空间:
序号为1的块的第1列像素,1列内从上到下按像素排列,一个像素内按Y、U、V排列
序号为1的块的第2列像素,1列内从上到下按像素排列,一个像素内按Y、U、V排列
……………………………………
序号为1的块的第64列像素,1列内从上到下按像素排列,一个像素内按Y、U、V排列
序号为2的块的第1列像素,1列内从上到下按像素排列,一个像素内按Y、U、V排列
序号为2的块的第2列像素,1列内从上到下按像素排列,一个像素内按Y、U、V排列
……………………………………
序号为2的块的第64列像素,1列内从上到下按像素排列,一个像素内按Y、U、V排列
……………………………………
……………………………………
……………………………………
序号最大的块的第1列像素,1列内从上到下按像素排列,一个像素内按Y、U、V排列
序号最大的块的第2列像素,1列内从上到下按像素排列,一个像素内按Y、U、V排列
……………………………………
序号最大的块的第64列像素,1列内从上到下按像素排列,一个像素内按Y、U、V排列。
  
以上这个实施例中,块以行顺序排列而块内像素则以列扫描格式排列。将这个实施例中的行顺序改成其他顺序(如列顺序或深度为D的4分树顺序)或者列扫描格式改成其他扫描格式(如行扫描或zigzag扫描或Z扫描或深度为D的4分树扫描等格式),就可以得到更多的实施例。
以上这个实施例中,块的大小是64x64个像素。改变块的大小,如改成32x32或16x16或8x8或8x4或4x8或4x4个像素,就可以得到更多的实施例。
实施或变体例10           块内的像素首先分割成以深度为D的4分树顺序排列的子块的实施例
所述叠包格式和1维数组空间之形式的参考像素样值存储空间由1帧图像的像素样值组成,所述1帧图像首先被划分成64x64个像素(叠包格式,有64x64x3个像素样值)的块(简称为64x64块),按照块的光栅扫描顺序给每个块一个序号,即最左上角的块的序号为1,序号为1的块之右边的块的序号为2,序号为2的块之右边的块的序号为3,依此类推,如果序号为X的块是最右边的块,其右边已经没有块,那么序号为X的块之直接下方最左边的块的序号为X+1,序号为X+1的块之右边的块的序号为X+2,序号为X+2的块之右边的块的序号为X+3,依此类推,所述1帧图像的所有的块就都有一个序号;然后,把一个64x64块按照4分树方法划分成不同深度的子块并给每个子块一个序号;划分方法如下:
深度为1的划分是把64x64块分割成上下左右4个深度为1的32x32子块,左上、右上、左下、右下4个深度为1的子块的序号(称为深度1序号)分别为1,2,3,4,如图5所示;
深度为2的划分是把4个深度为1的子块再分别分割成上下左右4个深度为2的16x16子块,深度1序号为1的子块分割出来的左上、右上、左下、右下4个深度为2的子块的序号(称为深度2序号)分别为1,2,3,4,深度1序号为2的子块分割出来的左上、右上、左下、右下4个深度为2的子块的序号(称为深度2序号)分别为5,6,7,8,深度1序号为3的子块分割出来的左上、右上、左下、右下4个深度为2的子块的序号(称为深度2序号)分别为9,10,11,12,深度1序号为4的子块分割出来的左上、右上、左下、右下4个深度为2的子块的序号(称为深度2序号)分别为13,14,15,16,这样,深度为2的子块共有16个,如图6所示;
深度为3的划分是把16个深度为2的子块再分别分割成上下左右4个深度为3的8x8子块,深度2序号为k(1≤k≤16)的子块分割出来的左上、右上、左下、右下4个深度为3的子块的序号(称为深度3序号)分别为4x(k-1)+1,4x(k-1)+2,4x(k-1)+3,4x(k-1)+4,这样,深度为3的子块共有64个,如图7所示;
深度为4的划分是把64个深度为3的子块再分别分割成上下左右4个深度为4的4x4子块,深度3序号为k(1≤k≤64)的子块分割出来的左上、右上、左下、右下4个深度为4的子块的序号(称为深度4序号)分别为4x(k-1)+1,4x(k-1)+2,4x(k-1)+3,4x(k-1)+4,这样,深度为4的子块共有256个,如图8所示;
最后,选定一个深度D(D=1或2或3或4),按照下列顺序放置和排列所有像素构成一个1维数组空间:
深度D序号为1的子块的第1列像素,1列内像素样值按一个预定顺序排列
深度D序号为1的子块的第2列像素,1列内像素样值按一个预定顺序排列
……………………………………
深度D序号为1的子块的最后列像素,1列内像素样值按一个预定顺序排列
深度D序号为2的子块的第1列像素,1列内像素样值按一个预定顺序排列
深度D序号为2的子块的第2列像素,1列内像素样值按一个预定顺序排列
……………………………………
深度D序号为2的子块的最后列像素,1列内像素样值按一个预定顺序排列
……………………………………
……………………………………
……………………………………
深度D序号最大的子块的第1列像素,1列内像素样值按一个预定顺序排列
深度D序号最大的子块的第2列像素,1列内像素样值按一个预定顺序排列
……………………………………
深度D序号最大的子块的最后列像素,1列内像素样值按一个预定顺序排列。
  
以上这个实施例中,块的大小是64x64个像素。改变块的大小,如改成32x32或16x16或8x8或8x4或4x8或4x4个像素,就可以得到更多的实施例。
实施或变体例11           
所述编解码方法或装置中的所述分析与评估编解码子区域和/或邻近区域的的特性以选择和确定所述编解码子区域的编解码方式及其对应的参考像素样值存储空间的操作至少包括下列之一或其组合:
1)根据编解码子区域的位置来选择和确定编解码方式及其对应的参考像素样值存储空间;
2)根据编解码子区域的参考像素的位置来选择和确定编解码方式及其对应的参考像素样值存储空间;
3)根据编解码子区域和/或邻近区域的像素的颜色的特征量来选择和确定编解码方式及其对应的参考像素样值存储空间。
4)根据编解码子区域的像素和/或其参考像素的颜色的特征量来选择和确定编解码方式及其对应的参考像素样值存储空间。
实施或变体例12           至少2种解码方式和至少2种参考像素样值存储空间的实施例1
所述解码方法或装置采用至少下列两种解码方式和分别对应的两种参考像素样值存储空间:
1)像素串复制方式,对应的参考像素样值存储空间是当前解码CU外部但邻近的一部分的已重构像素样值组成的参考像素样值存储空间1;
2)索引复制方式,对应的参考像素样值存储空间是当前解码CU内部的部分或全部的已重构索引组成的参考像素样值存储空间2;
解码一个子区域(像素串或索引串)时,如果当前解码像素的参考像素位于当前解码CU外部,则采用像素串复制方式,从参考像素样值存储空间1中复制参考像素的数值作为所述当前解码像素的预测值或重构值;如果当前解码像素的参考像素位于当前解码CU内部,则采用索引复制方式,从参考像素样值存储空间2中复制参考索引的数值作为所述当前解码像素的索引并从调色板中获取该索引对应的调色板颜色作为当前解码像素的预测值或重构值。
实施或变体例13           至少2种解码方式和至少2种参考像素样值存储空间的实施例2
实施或变体例12中的参考像素样值存储空间1采用非索引色彩格式的像素色彩格式;实施或变体例12中的参考像素样值存储空间2采用索引色彩格式的像素色彩格式。
实施或变体例14           至少2种解码方式和至少2种参考像素样值存储空间的实施例3
所述解码方法或装置采用至少下列两种解码方式和分别对应的两种参考像素样值存储空间:
1)像素串复制方式,对应的参考像素样值存储空间是当前解码CU外部但邻近的一部分的已重构像素样值组成的参考像素样值存储空间1;
2)索引复制方式,对应的参考像素样值存储空间是与当前解码CU关联的一个调色板,即当前解码CU的部分或全部像素可用所述调色板的索引来表示;
解码一个子区域(像素串或索引串)时,如果当前解码像素的参考像素的位置在当前解码CU之外,则采用像素串复制方式,从参考像素样值存储空间1中复制参考像素的数值作为所述当前解码像素的预测值或重构值;如果当前解码像素的参考像素的位置在当前解码CU之内,则采用索引复制方式,首先解码得到参考索引,然后从调色板中获取该索引对应的调色板颜色作为当前解码像素的预测值或重构值。
实施或变体例15           至少2种解码方式和至少2种参考像素样值存储空间的实施例4
实施或变体例14中的参考像素样值存储空间1采用非索引色彩格式的像素色彩格式;实施或变体例14中的由调色板组成的参考像素样值存储空间采用索引色彩格式的像素色彩格式。
附图说明
图1是本发明的编码装置的模块组成示意图
图2是本发明的解码装置的模块组成示意图
图3是4种编码方式和2个不同形式的参考像素样值存储空间的实施例
图4是4种解码方式和2个不同形式的参考像素样值存储空间的实施例
图5是深度为1的子块和各子块的深度1序号
图6是深度为2的子块和各子块的深度2序号
图7是深度为3的子块和各子块的深度3序号
图8是深度为4的子块和各子块的深度4序号。

Claims (10)

1.一种图像编码方法或装置,其特征在于,至少包括完成下列功能和操作的步骤或模块的至少之一:
1)分析和评估编码子区域和/或邻近区域的特性,根据分析和评估的结果,依据预定的评估准则,选择和确定所述编码子区域的编码方式;
2)使用所述编码方式对应的参考像素样值存储空间对所述编码子区域进行编码,并将编码结果写入视频码流;视频码流中至少包括在解码方法和装置中确定对应的解码方式与参考像素样值存储空间所需要的部分或全部信息。
2.一种图像解码方法或装置,其特征在于,至少包括完成下列功能和操作的步骤或模块的至少之一:
1)解析视频码流和/或分析与评估解码子区域和/或邻近区域的特性,根据解析、分析和评估的结果,选择和确定所述解码子区域的解码方式;
2)使用所述解码方式及其对应的参考像素样值存储空间对所述解码子区域进行解码,产生重构像素。
3.根据权利要求1所述的编码方法或装置或根据权利要求2所述的解码方法或装置,其特征在于:
所述编码子区域或解码子区域是图像的一个编码区域或一个解码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、宏块、微块、矩形、线条、像素段、像素串、索引段、索引串。
4.根据权利要求1所述的编码装置,其特征在于至少包括下列模块之一:
预测和匹配编码模块,配置成为使用不同编码方式的多个编码处理单元,其中,所述编码处理单元配置成为使用帧内预测编码、帧间预测编码或多种不同匹配编码方式之一对数据进行处理;
编码存储模块,配置成为存储不同形式的重构像素样值数据的多个存储单元;
编码数据控制模块,配置成为控制所述预测和匹配编码模块读取预先设定的所述编码存储模块中对应的一个或多个存储单元的数据;根据所述读入数据,控制所述预测和匹配编码模块将待编码数据移交对应编码处理单元;控制所述预测和匹配编码模块将所述编码处理单元的输出数据写入预先设定的所述编码存储模块中一个或多个存储单元。
5.根据权利要求1所述的编码装置,其特征在于至少由以下模块的部分或全部组成;
模块1)   预测编码方式模块、匹配编码方式1模块、匹配编码方式2模块、…… 、匹配编码方式A-1模块:A是一个满足2≤A≤5的正整数;这A个编码方式模块分别使用预测(帧内预测或帧间预测或两者)编码方式、匹配编码方式1、匹配编码方式2、…… 、匹配编码方式A-1这A种编码方式对输入视频图像的一个输入编码单元中的一个当前编码子区域施行预测或匹配编码运算;
模块2)   参考像素样值存储空间1模块、参考像素样值存储空间2模块、…… 、参考像素样值存储空间B模块:B是一个满足2≤B≤A≤5的正整数;这B个参考像素样值存储空间用独特的彼此不同的形式存储在编码过程中产生的重构像素样值历史数据,用作后续的编码和重构各种运算时需要的参考像素样值;这B个不同形式的参考像素样值存储空间可能有不同的空间大小来存储不同数量的历史数据,其中,存储历史数据最多的那一个称为主参考像素样值存储空间,而其他参考像素样值存储空间中的历史数据都是主参考像素样值存储空间的历史数据的子集,但有不同的表现形式并且可能处于不同程度的部分重构阶段;对应于这B个参考像素样值存储空间,所述预测编码方式模块、匹配编码方式1模块、匹配编码方式2模块、…… 、匹配编码方式A-1模块的A种编码方式也相应地划分归并成B类,与B个参考像素样值存储空间一一对应;在对所述当前编码子区域进行编码时,每种预测编码方式或匹配编码方式都根据其归类使用对应的那个参考像素样值存储空间进行预测编码或匹配编码;
模块3)   其余的各种常用技术编码和重构模块:对输入的各种参数和变量施行各种常用技术的编码和重构运算以及熵编码运算;
模块4)   像素样值存储空间的形式转换模块:把B种参考像素样值存储空间的形式的一种形式转换成另一种形式。
6.根据权利要求2所述的解码装置,其特征在于至少包括下列模块之一:
预测和复制解码模块,配置成为使用不同解码方式的多个解码处理单元,其中,所述解码处理单元配置成为使用帧内预测解码、帧间预测解码或多种不同复制解码方式之一对数据进行处理;
解码存储模块,配置成为存储不同形式的重构像素样值数据的多个存储单元;
解码数据控制模块,配置成为控制所述预测和复制解码模块读取预先设定的所述解码存储模块中对应的一个或多个存储单元的数据;根据所述读入数据,控制所述预测和复制解码模块将待解码数据移交对应解码处理单元;控制所述预测和复制解码模块将所述解码处理单元的输出数据写入预先设定的所述解码存储模块中一个或多个存储单元。
7.根据权利要求2所述的解码装置,其特征在于至少包括下列模块之一:
模块1)   码流数据解析与部分解码模块:对当前解码CU的含预测模式、运动矢量、匹配模式、匹配位置、未匹配样值的压缩数据以及所有其他语法元素压缩数据的视频码流施行熵解码,并解析出熵解码得到的各种数据的意义;
模块2)   预测解码方式模块、匹配解码方式1模块、匹配解码方式2模块、…… 、匹配解码方式A-1模块:A是一个满足2≤A≤5的正整数;这A个解码方式模块分别使用预测(帧内预测或帧间预测或两者)解码方式、匹配解码方式1、匹配解码方式2、…… 、匹配解码方式A-1这A种解码方式对相对应的A种当前解码子区域施行预测或匹配解码运算;
模块3)   参考像素样值存储空间1模块、参考像素样值存储空间2模块、…… 、参考像素样值存储空间B模块:B是一个满足2≤B≤A≤5的正整数;这B个参考像素样值存储空间用独特的彼此不同的形式存储在解码过程中产生的重构像素样值历史数据;这B个不同形式的参考像素样值存储空间可能有不同的空间大小来存储不同数量的历史数据,其中,存储历史数据最多的那一个称为主参考像素样值存储空间,而其他参考像素样值存储空间中的历史数据都是主参考像素样值存储空间的历史数据的子集,但有不同的表现形式并且可能处于不同程度的部分重构阶段;对应于这B个参考像素样值存储空间,所述预测解码方式模块、匹配解码方式1模块、匹配解码方式2模块、…… 、匹配解码方式A-1模块的A种解码方式也相应地划分归并成B类,与B个参考像素样值存储空间一一对应;在对所述当前解码子区域进行解码时,每种预测解码方式或匹配解码方式都根据其归类使用对应的那个参考像素样值存储空间进行预测解码或匹配解码,每个参考像素样值存储空间为相对应的那一类解码方式的所有解码方式(可能有多种)提供参考像素样值量;
模块4)   其余的各种常用技术解码和重构模块:对所述当前解码子区域施行其余的各种常用技术的解码和重构运算;
模块5)   像素样值存储空间的形式转换模块:把B种参考像素样值存储空间的形式的一种形式转换成另一种形式。
8.根据权利要求1所述的编码方法或装置或权利要求2所述的解码方法或装置,其特征在于:
所述编解码方法或装置中的所述分析与评估编解码子区域和/或邻近区域的的特性以选择和确定所述编解码子区域的编解码方式及其对应的参考像素样值存储空间的操作至少包括下列之一或其组合:
1)根据编解码子区域的位置来选择和确定编解码方式及其对应的参考像素样值存储空间
2)根据编解码子区域的参考像素的位置来选择和确定编解码方式及其对应的参考像素样值存储空间;
3)根据编解码子区域和/或邻近区域的像素的颜色的特征量来选择和确定编解码方式及其对应的参考像素样值存储空间;
4)根据编解码子区域的像素和/或其参考像素的颜色的特征量来选择和确定编解码方式及其对应的参考像素样值存储空间。
9.根据权利要求2所述的解码方法或装置,其特征在于:
所述解码方法或装置采用至少下列两种解码方式和分别对应的两种参考像素样值存储空间:
1)像素串复制方式,对应的参考像素样值存储空间是当前解码CU外部但邻近的一部分的已重构像素样值组成的参考像素样值存储空间1;
2)索引复制方式,对应的参考像素样值存储空间是当前解码CU内部的部分或全部的已重构索引组成的参考像素样值存储空间2;
解码一个子区域时,如果当前解码像素的参考像素位于当前解码CU外部,则采用像素串复制方式,从参考像素样值存储空间1中复制参考像素的数值作为所述当前解码像素的预测值或重构值;如果当前解码像素的参考像素位于当前解码CU内部,则采用索引复制方式,从参考像素样值存储空间2中复制参考索引的数值作为所述当前解码像素的索引并从调色板中获取该索引对应的调色板颜色作为当前解码像素的预测值或重构值。
10.根据权利要求2所述的解码方法或装置,其特征在于:
所述解码方法或装置采用至少下列两种解码方式和分别对应的两种参考像素样值存储空间:
1)像素串复制方式,对应的参考像素样值存储空间是当前解码CU外部但邻近的一部分的已重构像素样值组成的参考像素样值存储空间1;
2)索引复制方式,对应的参考像素样值存储空间是与当前解码CU关联的一个调色板,即当前解码CU的部分或全部像素可用所述调色板的索引来表示;
解码一个子区域时,如果当前解码像素的参考像素的位置在当前解码CU之外,则采用像素串复制方式,从参考像素样值存储空间1中复制参考像素的数值作为所述当前解码像素的预测值或重构值;如果当前解码像素的参考像素的位置在当前解码CU之内,则采用索引复制方式,首先解码得到参考索引,然后从调色板中获取该索引对应的调色板颜色作为当前解码像素的预测值或重构值。
CN201510084195.7A 2014-02-16 2015-02-16 使用多种形式的参考像素存储空间的图像压缩方法和装置 Pending CN104853211A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510084195.7A CN104853211A (zh) 2014-02-16 2015-02-16 使用多种形式的参考像素存储空间的图像压缩方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201410051372 2014-02-16
CN2014100513727 2014-02-16
CN201510084195.7A CN104853211A (zh) 2014-02-16 2015-02-16 使用多种形式的参考像素存储空间的图像压缩方法和装置

Publications (1)

Publication Number Publication Date
CN104853211A true CN104853211A (zh) 2015-08-19

Family

ID=53799612

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510084195.7A Pending CN104853211A (zh) 2014-02-16 2015-02-16 使用多种形式的参考像素存储空间的图像压缩方法和装置

Country Status (2)

Country Link
CN (1) CN104853211A (zh)
WO (1) WO2015120823A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770527A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 使用邻近编码参数和最近编码参数的数据压缩方法和装置
CN107770544A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 采用多类匹配参数及前参数缓冲区的数据压缩方法和装置
CN107770540A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 融合多种具有不同参考关系的基元的数据压缩方法和装置
CN107770543A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 多类匹配参数中按顺序递增截断值的数据压缩方法和装置
CN108184113A (zh) * 2017-12-05 2018-06-19 上海大学 一种基于图像间参考的图像压缩编码方法和系统
CN108235007A (zh) * 2016-12-12 2018-06-29 上海天荷电子信息有限公司 各模式使用不同精度同种编码参数的数据压缩方法和装置
CN112532988A (zh) * 2020-06-02 2021-03-19 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备
CN112532989A (zh) * 2020-06-02 2021-03-19 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备
CN113395515A (zh) * 2021-04-08 2021-09-14 同济大学 对分量下采样格式数据进行点预测的编码解码方法及装置
CN113678448A (zh) * 2019-04-09 2021-11-19 北京字节跳动网络技术有限公司 调色板模式编解码的条目构造
CN113808225A (zh) * 2021-09-27 2021-12-17 东华理工大学南昌校区 一种图像的无损编码方法
US11924432B2 (en) 2019-07-20 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Condition dependent coding of palette mode usage indication

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383780B (zh) * 2013-08-16 2023-05-02 上海天荷电子信息有限公司 点匹配参考集和索引来回扫描串匹配的编解码方法和装置
CN107483942B (zh) * 2016-06-08 2023-07-14 同济大学 视频数据压缩码流的解码、视频数据的编码方法及装置
CN107770553B (zh) * 2016-08-21 2023-06-27 上海天荷电子信息有限公司 采用多类匹配参数及参数存储地址的数据压缩方法和装置
FR3068558A1 (fr) * 2017-07-05 2019-01-04 Orange Procede de codage et decodage d'images,dispositif de codage et decodage et programmes d'ordinateur correspondants
CN109995573B (zh) * 2018-01-02 2022-04-01 中国移动通信有限公司研究院 确定用于预测计算资源的样本空间的方法、计算资源分配方法及装置
CN110662029A (zh) * 2018-06-30 2020-01-07 上海天荷电子信息有限公司 动态和自适应地限制取值范围的数据压缩方法和装置
CN110944178B (zh) * 2018-09-22 2023-03-07 上海天荷电子信息有限公司 数据压缩的编码方法及编码装置、解码方法及解码装置
CN114900690B (zh) * 2020-07-29 2023-09-01 腾讯科技(深圳)有限公司 视频解码方法、视频编码方法、装置、设备及存储介质
CN115119046B (zh) * 2022-06-02 2024-04-16 绍兴市北大信息技术科创中心 一种参考像素集的图像编解码方法、装置及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102497546A (zh) * 2011-11-28 2012-06-13 同济大学 一种屏幕图像压缩装置及压缩方法
CN102592259A (zh) * 2011-01-05 2012-07-18 索尼公司 图像处理设备以及图像处理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009212790A (ja) * 2008-03-04 2009-09-17 Mitsubishi Electric Corp 予測モード選択装置および画像符号化装置
JP2011109172A (ja) * 2009-11-12 2011-06-02 Hitachi Kokusai Electric Inc 映像符号化装置、および、そのデータ処理方法
CN106937113B (zh) * 2011-12-05 2020-06-02 同济大学 基于混合色度采样率的图像压缩方法和装置
CN111800641B (zh) * 2013-06-13 2023-08-25 上海天荷电子信息有限公司 同模式采用不同种类重构像素的图像编码解码方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102592259A (zh) * 2011-01-05 2012-07-18 索尼公司 图像处理设备以及图像处理方法
CN102497546A (zh) * 2011-11-28 2012-06-13 同济大学 一种屏幕图像压缩装置及压缩方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAO LIN: "Mixed Chroma Sampling-Rate High Efficiency Video Coding for Full-Chroma Screen Content", 《 IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY》 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107770527B (zh) * 2016-08-21 2021-12-14 上海天荷电子信息有限公司 使用邻近编码参数和最近编码参数的数据压缩方法和装置
CN107770544A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 采用多类匹配参数及前参数缓冲区的数据压缩方法和装置
CN107770540A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 融合多种具有不同参考关系的基元的数据压缩方法和装置
CN107770543A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 多类匹配参数中按顺序递增截断值的数据压缩方法和装置
CN107770540B (zh) * 2016-08-21 2024-01-09 上海天荷电子信息有限公司 融合多种具有不同参考关系的基元的数据压缩方法和装置
CN107770544B (zh) * 2016-08-21 2023-12-08 上海天荷电子信息有限公司 采用多类匹配参数及前参数缓冲区的数据压缩方法和装置
CN107770543B (zh) * 2016-08-21 2023-11-10 上海天荷电子信息有限公司 多类匹配参数中按顺序递增截断值的数据压缩方法和装置
CN107770527A (zh) * 2016-08-21 2018-03-06 上海天荷电子信息有限公司 使用邻近编码参数和最近编码参数的数据压缩方法和装置
CN108235007B (zh) * 2016-12-12 2023-06-27 上海天荷电子信息有限公司 各模式使用不同精度同种编码参数的数据压缩方法和装置
CN108235007A (zh) * 2016-12-12 2018-06-29 上海天荷电子信息有限公司 各模式使用不同精度同种编码参数的数据压缩方法和装置
CN108184113B (zh) * 2017-12-05 2021-12-03 上海大学 一种基于图像间参考的图像压缩编码方法和系统
CN108184113A (zh) * 2017-12-05 2018-06-19 上海大学 一种基于图像间参考的图像压缩编码方法和系统
CN113678448A (zh) * 2019-04-09 2021-11-19 北京字节跳动网络技术有限公司 调色板模式编解码的条目构造
US11924432B2 (en) 2019-07-20 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Condition dependent coding of palette mode usage indication
CN112532989A (zh) * 2020-06-02 2021-03-19 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备
CN112532988B (zh) * 2020-06-02 2022-05-06 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备
CN114827618A (zh) * 2020-06-02 2022-07-29 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备
CN112532989B (zh) * 2020-06-02 2022-02-25 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备
CN112532988A (zh) * 2020-06-02 2021-03-19 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备
WO2021244182A1 (zh) * 2020-06-02 2021-12-09 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备
CN113395515B (zh) * 2021-04-08 2022-06-14 同济大学 对分量下采样格式数据进行点预测的编码解码方法及装置
CN113395515A (zh) * 2021-04-08 2021-09-14 同济大学 对分量下采样格式数据进行点预测的编码解码方法及装置
CN113808225B (zh) * 2021-09-27 2023-09-19 东华理工大学南昌校区 一种图像的无损编码方法
CN113808225A (zh) * 2021-09-27 2021-12-17 东华理工大学南昌校区 一种图像的无损编码方法

Also Published As

Publication number Publication date
WO2015120823A1 (zh) 2015-08-20

Similar Documents

Publication Publication Date Title
CN104853211A (zh) 使用多种形式的参考像素存储空间的图像压缩方法和装置
WO2015120818A1 (zh) 图像编码、解码方法及装置
CN105308959B (zh) 用于视频译码的自适应颜色变换
CN108605142A (zh) 用于视频译码的多遍不可分开的变换
CN108605141A (zh) 用于紧凑多遍变换的高效参数存储
TW201545543A (zh) 基於調色板之視訊寫碼
CN104244007A (zh) 基于任意形状匹配的图像压缩方法和装置
CN106797468A (zh) 高效视频编码(hevc)屏幕内容编码(scc)中改进的调色板模式
KR101946598B1 (ko) 이미지 코딩, 디코딩 방법 및 장치
CN104754362B (zh) 使用精细划分块匹配的图像压缩方法
CN110691250B (zh) 结合块匹配和串匹配的图像压缩装置
CN105491376A (zh) 图像编码、解码方法及装置
CN104754361A (zh) 图像编码、解码方法及装置
JP2022525024A (ja) ビデオコーディングにおける暗黙的な変換選択
CN107483942B (zh) 视频数据压缩码流的解码、视频数据的编码方法及装置
JP6794364B2 (ja) 画像符号化方法及び装置並びに画像復号方法及び装置
CN104811731A (zh) 多层次子块匹配图像压缩方法
CN104935945B (zh) 扩展参考像素样值集的图像编码或解码方法
CN104918050B (zh) 使用动态排列重组的参考像素样值集的图像编解码方法
CN113115041B (zh) 支持alpha通道的无损图片压缩方法、装置及介质
CN105828080A (zh) 图像编解码方法及装置
CN105828079B (zh) 图像处理方法及装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150819

WD01 Invention patent application deemed withdrawn after publication