CN105704491B - 图像编码方法、解码方法、编码装置和解码装置 - Google Patents

图像编码方法、解码方法、编码装置和解码装置 Download PDF

Info

Publication number
CN105704491B
CN105704491B CN201410709902.2A CN201410709902A CN105704491B CN 105704491 B CN105704491 B CN 105704491B CN 201410709902 A CN201410709902 A CN 201410709902A CN 105704491 B CN105704491 B CN 105704491B
Authority
CN
China
Prior art keywords
decoding
copy
class
coding
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201410709902.2A
Other languages
English (en)
Other versions
CN105704491A (zh
Inventor
林涛
李明
尚国强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
ZTE Corp
Original Assignee
Tongji University
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University, ZTE Corp filed Critical Tongji University
Priority to CN201410709902.2A priority Critical patent/CN105704491B/zh
Priority to US15/529,998 priority patent/US10341651B2/en
Priority to PCT/CN2015/094817 priority patent/WO2016082699A1/zh
Priority to EP15862330.6A priority patent/EP3211900A4/en
Priority to EP21170107.3A priority patent/EP3876537A1/en
Publication of CN105704491A publication Critical patent/CN105704491A/zh
Application granted granted Critical
Publication of CN105704491B publication Critical patent/CN105704491B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/11Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Abstract

本发明公开了一种图像编码方法,该方法包括:确定编码块的编码方式;对所述编码块使用多种编码方式进行混合编码,包括:对所述编码块中的像素样值段采用多种编码方式中的一种进行编码。本发明还公开了一种图像解码方法,该方法包括:解析解码块的码流数据,确定所述解码块的像素样值段的解码方式;对所述解码块进行多种解码方式混合的解码,包括:对所述解码块的所述像素样值段采用对应的解码方式进行解码。本发明能够充分发掘和利用图像中各编码图像区域的特点,提高图像压缩效果。本发明还公开了一种图像编码装置和图像解码装置。

Description

图像编码方法、解码方法、编码装置和解码装置
技术领域
本发明涉及数字视频压缩编解码技术领域,尤其涉及的是一种图像编码方法、图像解码方法、图像编码装置和图像解码装置。
背景技术
随着以远程桌面为典型表现形式的新一代云计算与信息处理模式及平台的发展和普及,多台计算机之间、计算机主机与智能电视、智能手机、平板电脑等其他数字设备之间及各种各类数字设备之间的互联已经成为现实并日趋成为一种主流趋势。这使得服务器端(云)到用户端的实时屏幕传输成为当前的迫切需求。由于需要传输的屏幕视频数据量很大,以平板电脑2048x1536像素分辨率且60帧/秒刷新率的24位真彩色屏幕图像为例,需要传输的数据达每秒2048x1536x60x24=4320兆比特,如此多的数据要想在现实的网络条件下实现实时传输是不可能的,因此对于计算机屏幕图像的有效的数据压缩必不可少。
充分利用计算机屏幕图像的特点,对计算机屏幕图像进行超高效率的压缩,也是正在制定中的最新国际视频压缩标准HEVC(High Efficiency Video Coding)和其他若干国际标准、国内标准、行业标准的一个主要目标。
屏幕图像的数字视频信号的自然形式是图像的序列。一帧图像通常是由若干像素组成的矩形区域,如果一个数字视频信号每秒有50帧图像,那么一段30分钟的数字视频信号就是一个由30x60x50=90000帧图像组成的视频图像序列,有时也简称为视频序列或序列。对数字视频信号进行编码就是对一帧一帧图像进行编码。在任一时刻,正在编码中的那一帧图像称为当前编码图像。同样,对数字视频信号的压缩后的视频码流(简称码流也称为比特流)进行解码就是对一帧一帧图像的码流进行解码。在任一时刻,正在解码中的那一帧图像称为当前解码图像。当前编码图像或当前解码图像都统称为当前图像。
在几乎所有视频图像编码的国际标准如MPEG-1/2/4,H.264/AVC以及HEVC中,对一帧图像进行编码时,把一帧图像划分成若干块MxM像素的子图像,称为“编码单元(CodingUnit简称CU)”,以CU为基本编码单位,对子图像一块一块进行编码。常用的M的大小是4,8,16,32,64。因此,对一个视频图像序列进行编码就是对各帧图像的各个编码单元即CU依次一个一个CU进行编码。在任一时刻,正在编码中的CU称为当前编码CU。同样,对一个视频图像序列的码流进行解码也是对各帧图像的各个CU依次一个一个CU进行解码,最终重构出整个视频图像序列。在任一时刻,正在解码中的CU称为当前解码CU。当前编码CU或当前解码CU统称为当前CU。
为适应一帧图像内各部分图像内容与性质的不同,有针对性地进行最有效的编码,一帧图像内各CU的大小可以是不同的,有的是8x8,有的是64x64,等等。为了使不同大小的CU能够无缝拼接起来,一帧图像通常先划分成大小完全相同具有NxN像素的“最大编码单元(Largest Coding Unit简称LCU)”,然后每个LCU再进一步划分成多个大小不一定相同的CU。例如,一帧图像先划分成大小完全相同的64x64像素的LCU(N=64)。其中,某个LCU由3个32x32像素的CU和4个16x16像素的CU构成,而另一个LCU由2个32x32像素的CU、3个16x16像素的CU和20个8x8像素的CU构成。由于一个LCU内的各个CU呈树状结构,LCU的另一个名称是编码树单元(Coding Tree Unit简称CTU)”。在HEVC国际标准中,LCU与CTU是同义词。
CU也可以再进一步被划分成若干子区域。子区域包括但不限于预测单元(PU)、变换单元(TU)、或不对称划分(AMP)。
编码块或解码块是指一帧图像中对其施行编码或解码的一个区域。
一个彩色像素通常由3个分量(component)组成。最常用的两种像素表现格式,也即像素色彩格式(pixel color format)是由绿色分量、蓝色分量、红色分量组成的GBR色彩格式和由一个亮度(luma)分量及两个色度(chroma)分量组成的YUV色彩格式。通称为YUV的色彩格式实际包括多种色彩格式,如YCbCr色彩格式。因此,对一个CU进行编码时,可以把一个CU分成3个分量平面(G平面、B平面、R平面或Y平面、U平面、V平面),对3个分量平面分别进行编码;也可以把一个像素的3个分量捆绑组合成一个3元组,对由这些3元组组成的CU整体进行编码。前一种像素及其分量的排列方式称为图像(及其CU)的平面格式(planarformat),而后一种像素及其分量的排列方式称为图像(及其CU)的叠包格式(packedformat)。像素的GBR色彩格式和YUV色彩格式都是像素的3分量表现格式。
除了像素的3分量表现格式,像素的另一种常用的表现格式是调色板索引表现格式。在调色板索引表现格式中,一个像素的数值也可以用调色板的索引来表现。调色板空间中存储了需要被表现的像素的3个分量的数值或近似数值,调色板的地址被称为这个地址中存储的像素的索引。一个索引可以表现像素的一个分量或3个分量。调色板可以是一个或多个。在多个调色板的情形,一个完整的索引实际上由调色板编号和该编号的调色板的索引两部分组成。像素的索引表现格式就是用索引来表现这个像素。像素的索引表现格式也被称为像素的索引颜色(indexed color)或仿颜色(pseudo color)表现格式,或者常常被直接称为索引像素(indexed pixel)或仿像素(pseudo pixel)或像素索引或索引。索引有时也被称为指数。把像素用其索引表现格式来表现也称为索引化或指数化。
其他的常用的现有技术的像素表现格式包括CMYK表现格式和灰度表现格式。
YUV色彩格式又可根据是否对色度分量进行下采样再细分成若干种子格式:1个像素由1个Y分量、1个U分量、1个V分量组成的YUV4:4:4像素色彩格式;左右相邻的2个像素由2个Y分量、1个U分量、1个V分量组成的YUV4:2:2像素色彩格式;左右上下相邻按2x2空间位置排列的4个像素由4个Y分量、1个U分量、1个V分量组成的YUV4:2:0像素色彩格式。一个分量一般用1个8~16比特的数字来表示。YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式都是对YUV4:4:4像素色彩格式施行色度分量的下采样得到。一个像素分量也称为一个像素样值或简单地称为一个样值。
编码或解码时的最基本元素可以是一个像素,也可以是一个像素分量,也可以是一个像素索引(即索引像素)。作为编码或解码的最基本元素的一个像素或一个像素分量或一个像素索引(索引像素)通称为一个像素样值,有时也通称为一个像素值,或简单地称为一个样值。
CU是由若干像素值组成的一个区域。CU的形状可以是矩形、正方形、平行四边形、梯形、多边形、圆形、椭圆形及其他各种形状。矩形也包括宽度或高度为一个像素值的退化为线(即线段或线形)的矩形。一帧图像中,各个CU可以具有各不相同的形状和大小。一帧图像中,某些或全部CU可以有互相重叠部分,也可以所有CU都互不重叠。一个CU,可以由“像素”组成,也可以由“像素的分量”组成,也可以由“索引像素”组成,也可以由这3者混合组成,也可以由这3者中之任意2种混合组成。
计算机屏幕图像的一个显著特点是同一帧图像内通常会有很多相似甚至完全相同的像素图样(pixel pattern)。例如,计算机屏幕图像中常出现的中文或外文文字,都是由少数几种基本笔划所构成,同一帧图像内可以找到很多相似或相同的笔划。计算机屏幕图像中常见的菜单、图标等,也具有很多相似或相同的图样。
现有的图像和视频压缩技术中通常采用的编码方式包括:
1)帧内块复制:又称为“帧内块匹配”、或“帧内运动补偿”、或“块复制”、或“块匹配”。块复制编码或解码的基本运算是:从重构参考像素样值集内复制一个预定大小(如64x64或32x32或16x16或8x8或4x4或64x32或16x32或16x4或8x4或4x8像素样值)的参考块,并将所述参考块的数值赋值予当前块。
2)帧内微块复制:又称为“帧内微块匹配”、或“微块复制”或“微块匹配”。在微块复制中,把块(如8x8像素样值)分成更精细的微块(如4x2像素样值或8x2像素样值或2x4像素样值或2x8像素样值),微块复制编码或解码的基本运算是:从重构参考像素样值集内复制一个参考微块,并将所述参考微块的数值赋值予当前微块。
3)帧内线条(简称条)复制:又称为“帧内条匹配”、或“条复制”、或“条匹配”。条是指高度(或宽度)为1的微块,如4x1或8x1或1x4或1x8像素样值的微块。条复制编码或解码的基本运算是:从重构参考像素样值集内复制一个参考条,并将所述参考条的数值赋值予当前条。显然,条复制是微块复制的一种特殊情况。
4)帧内串复制:又称为“帧内串匹配”、或“串复制”、或“串匹配”。这里的串是指把一个任意形状的二维区域内的像素样值排列成一个长度远大于宽度的串(如宽度为1个像素样值而长度为37个像素样值的串,或宽度为2个像素样值而长度为111个像素样值的串,通常但不限于长度是一个独立编码或解码参数而宽度是一个由其他编码或解码参数导出的参数)。串复制编码或解码的基本运算是:从重构参考像素样值集内复制一个参考串,并将所述参考串的数值赋值予当前串。其中,串复制根据串的路径形状又可分为下列子类型:
4a)一维水平扫描串复制
参考串和当前串都是在CTU或CU内按照水平扫描的顺序排列形成的一维像素样值串,具有相等的长度,但这两个串各自形成的二维区域不一定有相同的二维形状。
4b)一维垂直扫描串复制
参考串和当前串都是在CTU或CU内按照垂直扫描的顺序排列形成的一维像素样值串,具有相等的长度,但这两个串各自形成的二维区域不一定有相同的二维形状。
4c)仿二维水平扫描保形等宽串复制(简称仿二维水平串复制)
参考串和当前串具有相等的长度,都是按照水平扫描的顺序排列成完全相同的二维形状,形成的二维区域的宽度与当前编码块或解码块的宽度相等。
4d)仿二维垂直扫描保形等高串复制(简称仿二维垂直串复制)
参考串和当前串具有相等的长度,都是按照垂直扫描的顺序排列成完全相同的二维形状,形成的二维区域的高度与当前编码块或解码块的高度相等。
4e)二维水平扫描保形变宽串复制(简称二维水平串复制)
参考串和当前串具有相等的长度,都是按照水平扫描的顺序排列成完全相同的二维形状,但形成的二维区域的宽度不一定与当前编码块或解码块的宽度相等,而是不大于当前编码块或解码块的宽度的可变宽度。
4f)二维垂直扫描保形变高串复制(简称二维垂直串复制)
参考串和当前串具有相等的长度,都是按照垂直扫描的顺序排列成完全相同的二维形状,但形成的二维区域的高度不一定与当前编码块或解码块的高度相等,而是不大于当前编码块或解码块的高度的可变高度。
5)帧内矩形复制(又称帧内矩形匹配或矩形复制或矩形匹配)
这里的矩形是指一个用宽度和高度来表征的任意大小的二维区域。矩形复制编码或解码的基本运算是:从重构参考像素样值集内复制一个参考矩形,并将所述参考矩形的数值赋值予当前矩形。参考矩形和当前矩形具有相等的宽度和高度,因而具有完全相同的二维矩形形状。这样的矩形也是一个像素样值串形成的,这个串的长度是矩形的高与宽的乘积,也就是串的长度正好是串所形成的二维区域的宽度的倍数(这个倍数就是这个二维区域的高度),又正好是串所形成的二维区域的高度的倍数(这个倍数就是这个二维区域的宽度)。显然,矩形复制是以上4e)或4f)的一种特殊情况,即串的长度正好是矩形的高与宽的乘积的特殊情况。
现有的图像和视频压缩技术中通常采用的另一种编码(解码)方式是调色板编码(解码)方式。在调色板编码(解码)方式中,首先构造(获取)一个调色板,然后将当前编码块(当前解码块)的部分或全部像素用调色板的索引来表示,再对索引进行编码(解码)。其中,对索引进行编码(解码)的方式包括但不限于游程和/或熵编码(解码)。
由于屏幕图像通常有各种不同性质的区域,比如,有的具有比较大的或形状较规则的相似或相同的图样,而有的则具有很小的或形状不规则的相似或相同的图样。而任意一种编码方式都仅适用于某一类性质的编码图像区域。
对于多种性质的编码图像区域混合的屏幕图像,难以找到一种统一的匹配方式。因此,必须寻求新的编码工具来充分发掘和利用计算机屏幕图像中的编码图像区域特点,提高压缩效果。
发明内容
本发明所要解决的技术问题是提供一种图像编码方法、图像解码方法、图像编码装置和图像解码装置,能够充分发掘和利用图像中各编码图像区域的特点,提高图像压缩效果。
为了解决上述技术问题,本发明提供了一种图像编码方法,该方法包括:
确定编码块的编码方式;
对所述编码块使用多种编码方式进行混合编码,包括:对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码。
进一步地,该方法还包括下述特点:
所述编码方式包括以下编码方式中的一种或多种:调色板编码、块复制编码、微块复制编码、条复制编码、串复制编码和矩形复制编码。
进一步地,该方法还包括下述特点:
所述编码块是图像的一个编码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
进一步地,该方法还包括下述特点:
对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,包括:
构造或获取调色板,对所述像素样值段进行调色板编码,生成与调色板解码有关的调色板参数;或者
对所述像素样值段进行复制编码,生成与复制解码有关的复制参数。
进一步地,该方法还包括下述特点:
对所述编码块使用多种编码方式进行混合编码,包括:
将所述编码块中的所述像素样值段分别进行编码后生成的解码参数混合写入所述编码块的码流中。
为了解决上述技术问题,本发明提供了一种图像解码方法,该方法包括:
解析解码块的码流数据,确定所述解码块的像素样值段的解码方式;
对所述解码块进行多种解码方式混合的解码,包括:对所述解码块的所述像素样值段采用对应的解码方式进行解码。
进一步地,该方法还包括下述特点:
所述解码方式包括以下解码方式的一种或多种:调色板解码、块复制解码、微块复制解码、条复制解码、串复制解码和矩形复制解码。
进一步地,该方法还包括下述特点:
所述解码块是图像的一个解码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
进一步地,该方法还包括下述特点:
对所述解码块进行多种解码方式混合的解码,包括:从所述解码块的码流数据中获取像素样值段的解码参数;
其中,所述解码参数包括调色板参数和/或复制参数。
进一步地,该方法还包括下述特点:
解析所述解码块的码流数据,确定所述解码块的各像素样值段对应的解码方式,包括:
从所述解码块的码流数据中获取像素样值段对应的解码方式的标识码。
进一步地,该方法还包括下述特点:
对所述解码块的所述像素样值段采用对应的解码方式进行解码,包括:
在所述像素样值段使用调色板解码方式时,根据调色板参数对所述像素样值段进行调色板解码;和/或
在所述像素样值段使用复制解码方式时,根据复制参数对所述像素样值段进行复制解码。
为了解决上述技术问题,本发明还提供了一种图像编码装置,该方法包括:
编码方式确定模块,用于确定编码块的编码方式;
编码模块,用于对所述编码块使用多种编码方式进行混合编码,包括:对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码。
进一步地,该装置还包括下述特点:
所述编码方式包括以下编码方式中的一种或多种:调色板编码、块复制编码、微块复制编码、条复制编码、串复制编码和矩形复制编码。
进一步地,该装置还包括下述特点:
所述编码块是图像的一个编码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
进一步地,该装置还包括下述特点:
编码模块,用于对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,包括:
对所述像素样值段进行调色板编码,生成与调色板解码有关的调色板参数;或者
对所述像素样值段进行复制编码,生成与复制解码有关的复制参数。
进一步地,该装置还包括下述特点:
编码模块,用于对所述编码块使用多种编码方式进行混合编码,包括:
将所述编码块中的所述像素样值段分别进行编码后生成的解码参数混合写入所述编码块的码流中。
为了解决上述技术问题,本发明还提供了一种图像解码装置,包括:
解析模块,用于解析解码块的码流数据,确定所述解码块的像素样值段的解码方式;
解码模块,用于对所述解码块进行多种解码方式混合的解码,包括:对所述解码块的所述像素样值段采用对应的解码方式进行解码。
进一步地,该装置还包括下述特点:
所述解码方式包括以下解码方式的一种或多种:调色板解码、块复制解码、微块复制解码、条复制解码、串复制解码和矩形复制解码。
进一步地,该装置还包括下述特点:
所述解码块是图像的一个解码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
进一步地,该装置还包括下述特点:
解码模块,用于对所述解码块进行多种解码方式混合的解码,包括:从所述解码块的码流数据中获取像素样值段的解码参数;
其中,所述解码参数包括调色板参数和/或复制参数。
进一步地,该装置还包括下述特点:
解析模块,用于解析当前解码块的码流数据,确定当前解码块的各像素样值段对应的解码方式,包括:
从当前解码块的码流数据中获取像素样值段对应的解码方式的标识码。
进一步地,该装置还包括下述特点:
解码模块,用于对所述解码块的所述像素样值段采用对应的解码方式进行解码,包括:
在所述像素样值段使用调色板解码方式时,根据调色板参数对所述像素样值段进行调色板解码;和/或
在所述像素样值段使用复制解码方式时,根据复制参数对所述像素样值段进行复制解码。
与现有技术相比,本发明提供的一种图像编码方法、图像解码方法、图像编码装置和图像解码装置,通过对编码块使用多种编码方式进行混合编码,对解码块使用多种解码方式混合的解码,能够充分发掘和利用图像中各编码图像区域的特点,提高图像压缩效果。
附图说明
图1为本发明实施例的一种图像编码方法的流程图。
图2为本发明实施例的一种图像解码方法的流程图。
图3为本发明实施例的一种图像编码装置的结构示意图。
图4为本发明实施例的一种图像解码装置的结构示意图。
图5为本发明实施例的一种进行混合编码的编码块(解码块)的示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白,下文中将结合附图对本发明的实施例进行详细说明。需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互任意组合。
如图1所示,本发明实施例提供了一种图像编码方法,该方法包括:
S10,确定编码块的编码方式;
S20,对所述编码块使用多种编码方式进行混合编码,包括:对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码。
所述方法还可以包括下述特点:
其中,所述编码方式包括以下编码方式中的一种或多种:调色板编码、块复制编码、微块复制编码、条复制编码、串复制编码和矩形复制编码。
其中,块复制编码、微块复制编码、条复制编码、串复制编码和矩形复制编码均属于复制编码;
其中,对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,也即,对所述编码块中的任一像素样值段采用所述多种编码方式中的任意一种进行编码;
其中,所述编码块是图像的一个编码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
其中,对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,包括:
构造或获取调色板,对所述像素样值段进行调色板编码,生成与调色板解码有关的调色板参数;或者
对所述像素样值段进行复制编码,生成与复制解码有关的复制参数。
其中,对所述编码块使用多种编码方式进行混合编码,包括:
将所述编码块中的所述像素样值段分别进行编码后生成的解码参数混合写入所述编码块的码流中。
其中,将所述编码块中的所述像素样值段分别进行编码后生成的解码参数混合写入所述编码块的码流中,包括:
在所述编码块的码流中混合写入所述像素段的解码方式的标识码。
其中,所述调色板参数包括以下参数的至少一种:调色板像素样值的索引和重复该索引的索引游程的长度、复制上方索引的索引游程的长度;
所述复制参数包括以下参数的至少一种:复制位置、和复制大小。
其中,对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,包括:
在对所述编码块中的像素样值段采用串复制编码时,根据所述编码块的串复制编码的复制路径形状模式从重构参考像素样值集内获取与所述像素样值段匹配的参考像素样值串。
其中,所述串复制编码的复制路径形状模式包括以下模式的任意一种:
模式1:垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描;
模式2:水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描从左向右扫描;
模式3:垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描,列间从左至右扫描;
模式4:水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行扫描,行中样值水平扫描从左向右扫描,行间从上至下扫描;
模式5:衍生的垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式6:衍生的水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描;
模式7:衍生的垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列间从左至右扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式8:衍生的水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行排列,行间从上至下扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描。
其中,在所述编码块采用了调色板编码和串复制编码混合的编码方式时,所述调色板编码的路径扫描方式与所述串复制编码的复制路径形状模式一致。
其中,所述方法还包括:
图像中只使用一种串复制编码的复制路径形状模式时,在所述图像对应的图像层信息单元中编码所述复制路径形状模式信息;和/或
视频序列中只使用一种串复制编码的复制路径形状模式时,在所述视频序列的序列层信息单元中编码所述复制路径形状模式信息。
其中,所述图像层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息;和/或
所述序列层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息。
其中,对所述像素样值段进行复制编码,包括:从重构参考像素样值集中获取与所述像素样值段匹配的参考像素样值段;
其中,所述重构参考像素样值集包括:重构样值和/或重构样值的变体;
其中,重构样值的变体包括:对重构样值进行处理和/或变换生成的样值。
其中,所述方法还包括:
在所述编码块所在图像对应的图像层信息单元中编码编码块模式信息,其中,所述编码块模式信息包括以下模式的至少一种:
模式1:所述图像包含四种编码块类型:第1类、第2类、第3类、第4类;
模式2:所述图像包含三种编码块类型:第1类、第2类、第3类;
模式3:所述图像包含三种编码块类型:第1类、第2类、第4类;
模式4:所述图像包含三种编码块类型:第1类、第3类、第4类;
模式5:所述图像包含三种编码块类型:第2类、第3类、第4类;
模式6~11:所述图像包含两种编码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述图像包含一种编码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述编码块类型包括:
第1类:编码块采用了调色板编码、串复制编码和矩形复制编码;
第2类:编码块采用了串复制编码和矩形复制编码;
第3类:编码块采用了调色板编码和串复制编码;
第4类:编码块采用了调色板编码和矩形复制编码。
其中,所述方法还包括:
在所述编码块所在视频序列对应的序列层信息单元中编码编码块模式信息,其中,所述编码块模式信息包括以下模式的至少一种:
模式1:所述视频序列包含四种编码块类型:第1类、第2类、第3类、第4类;
模式2:所述视频序列包含三种编码块类型:第1类、第2类、第3类;
模式3:所述视频序列包含三种编码块类型:第1类、第2类、第4类;
模式4:所述视频序列包含三种编码块类型:第1类、第3类、第4类;
模式5:所述视频序列包含三种编码块类型:第2类、第3类、第4类;
模式6~11:所述视频序列包含两种编码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述视频序列包含一种编码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述编码块类型包括:
第1类:编码块采用了调色板编码、串复制编码和矩形复制编码;
第2类:编码块采用了串复制编码和矩形复制编码;
第3类:编码块采用了调色板编码和串复制编码;
第4类:编码块采用了调色板编码和矩形复制编码。
其中,所述像素样值段的组成元素至少包括以下一种:像素、像素分量、像素索引。
其中,所述解码参数由多个子参数域组成,所述解码参数的同种类型的子参数域的编码比特放置在码流中的前后相连的一个或多个字段,或者,放置在码流中的不同字段。
其中,所述解码参数的子参数域是单分量子参数域、双分量子参数域、或三分量子参数域。
其中,所述子参数域包括以下子参数域的至少一种:
子参数域1:编码方式类型;所述编码方式类型包括以下类型的任意一种:调色板编码、块复制编码、微块复制编码、条复制编码、串复制编码、矩形复制编码和无参考像素复制编码;
子参数域2:索引或复制位置;
子参数域3:索引长度或复制大小;
子参数域4:无参考像素样值。
其中,所述方法还包括:
在所述编码块的码流中混合编码像素样值段的信息字段,所述码流中包含以下一种或多种信息字段:
信息字段1:编码块采用的编码模式;
信息字段2:复制路径形状模式;
信息字段3:像素样值排列方式;
信息字段4:信息字段对应的参数编码方式列表;
信息字段5:调色板编码头信息,包括调色板中像素的个数以及各像素的数值或者复用规则;
信息字段6:包含以下信息的至少一种:像素样值段对应的调色板编码或复制编码标识码、像素样值段对应的样值子集编号或空、像素样值段对应的索引或复制位置、像素样值段对应的索引长度或复制大小、和像素样值段对应的无参考像素样值或空;
信息字段7:复制残差或空。
其中,确定编码块的编码方式,包括:
构造或获取调色板,和/或对编码块的像素进行预编码以确定像素样值段的编码方式,和/或确定编码块的串复制编码的复制路径形状模式、和/或确定编码块的调色板编码的路径扫描方式。
如图2所示,本发明实施例提供了一种图像解码方法,该方法包括:
S10,解析解码块的码流数据,确定所述解码块的像素样值段的解码方式;
S20,对所述解码块进行多种解码方式混合的解码,包括:对所述解码块的所述像素样值段采用对应的解码方式进行解码。
所述方法还可以包括下述特点:
其中,所述解码方式包括以下解码方式的一种或多种:调色板解码、块复制解码、微块复制解码、条复制解码、串复制解码和矩形复制解码。
其中,块复制解码、微块复制解码、条复制解码、串复制解码和矩形复制解码均属于复制解码;
其中,所述解码块是图像的一个解码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
其中,所述解码块包含一个或多个像素样值段,每一个像素样值段对应于多种解码方式中的一种解码方式。
其中,对所述解码块进行多种解码方式混合的解码,包括:从所述解码块的码流数据中获取像素样值段的解码参数;
其中,所述解码参数包括调色板参数和/或复制参数。
其中,所述调色板参数用于调色板解码,复制参数用于复制解码;
其中,解析所述解码块的码流数据,确定所述解码块的各像素样值段对应的解码方式,包括:
从所述解码块的码流数据中获取像素样值段对应的解码方式的标识码。
其中,对所述解码块的所述像素样值段采用对应的解码方式进行解码,包括:
在所述像素样值段使用调色板解码方式时,根据调色板参数对所述像素样值段进行调色板解码;和/或
在所述像素样值段使用复制解码方式时,根据复制参数对所述像素样值段进行复制解码。
其中,所述调色板参数包括以下参数的至少一种:调色板像素样值的索引和重复该索引的索引游程的长度、复制上方索引的索引游程的长度;和/或
所述复制参数包括以下参数的至少一种:复制位置、和复制大小。
其中,在所述像素样值段使用复制解码方式时,根据复制参数对所述像素样值段进行复制解码,包括:
在所述像素样值段采用串复制解码时,确定所述解码块的串复制解码的复制路径形状模式,根据所述复制路径形状模式和复制参数从重构参考像素样值集内获取参考像素样值串。
其中,在根据所述复制路径形状模式和复制参数从重构参考像素样值集内获取参考像素样值串后,还包括:将所述参考像素样值串的值直接或间接赋值予所述像素样值段。
其中,所述串复制解码的复制路径形状模式包括以下模式的任意一种:
模式1:垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描;
模式2:水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描从左向右扫描;
模式3:垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描,列间从左至右扫描;
模式4:水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行扫描,行中样值水平扫描从左向右扫描,行间从上至下扫描;
模式5:衍生的垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式6:衍生的水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描;
模式7:衍生的垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列间从左至右扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式8:衍生的水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行排列,行间从上至下扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描。
其中,所述解码块使用调色板解码和串复制解码混合的解码方式时,调色板解码的路径扫描方式与串复制解码的复制路径形状模式一致。
其中,所述重构参考像素样值集包括:重构样值和/或重构样值的变体;
其中,重构样值的变体包括:对重构样值进行处理和/或变换生成的样值。
其中,所述方法还包括:
从图像的图像层信息单元中获取所述复制路径形状模式信息,所述信息指示所述图像中所有解码块使用指定的复制路径形状模式;和/或
从视频序列的序列层信息单元中获取所述复制路径形状模式信息,所述信息指示所述序列中所有解码块使用指定的复制路径形状模式。
其中,所述图像层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息;和/或
所述序列层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息。
其中,所述方法还包括:
从所述解码块所在图像对应的图像层信息单元中获取解码块模式信息,其中,所述解码块模式信息包括以下模式的至少一种:
模式1:所述图像包含四种解码块类型:第1类、第2类、第3类、第4类;
模式2:所述图像包含三种解码块类型:第1类、第2类、第3类;
模式3:所述图像包含三种解码块类型:第1类、第2类、第4类;
模式4:所述图像包含三种解码块类型:第1类、第3类、第4类;
模式5:所述图像包含三种解码块类型:第2类、第3类、第4类;
模式6~11:所述图像包含两种解码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述图像包含一种解码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述解码块类型包括:
第1类:解码块采用了调色板解码、串复制解码和矩形复制解码;
第2类:解码块采用了串复制解码和矩形复制解码;
第3类:解码块采用了调色板解码和串复制解码;
第4类:解码块采用了调色板解码和矩形复制解码。
其中,所述方法还包括:
从所述解码块所在视频序列对应的序列层信息单元中获取解码块模式信息,其中,所述解码块模式信息包括以下模式的至少一种:
模式1:所述视频序列包含四种解码块类型:第1类、第2类、第3类、第4类;
模式2:所述视频序列包含三种解码块类型:第1类、第2类、第3类;
模式3:所述视频序列包含三种解码块类型:第1类、第2类、第4类;
模式4:所述视频序列包含三种解码块类型:第1类、第3类、第4类;
模式5:所述视频序列包含三种解码块类型:第2类、第3类、第4类;
模式6~11:所述视频序列包含两种解码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述视频序列包含一种解码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述解码块类型包括:
第1类:解码块采用了调色板解码、串复制解码和矩形复制解码;
第2类:解码块采用了串复制解码和矩形复制解码;
第3类:解码块采用了调色板解码和串复制解码;
第4类:解码块采用了调色板解码和矩形复制解码。
其中,所述像素样值段的组成元素至少包括以下一种:像素、像素分量、像素索引。
其中,所述解码参数由多个子参数域组成,所述解码参数的同种类型的子参数域的输入比特位于码流中的前后相连的一个或多个字段,或者,位于码流中的不同字段。
其中,所述解码参数的子参数域是单分量子参数域、双分量子参数域、或三分量子参数域。
其中,所述解码参数的子参数域包括以下子参数域的至少一种:
子参数域1:解码方式类型;所述解码方式类型包括以下类型的任意一种:调色板解码、块复制解码、微块复制解码、条复制解码、串复制解码、矩形复制解码和无参考像素复制解码;
子参数域2:索引或复制位置;
子参数域3:索引长度或复制大小;
子参数域4:无参考像素样值。
其中,解析解码块的码流数据,确定所述解码块的像素样值段的解码方式,包括:
从所述解码块的码流中混合解码像素样值段的信息字段,所述码流中包含以下一种或多种信息字段:
信息字段1:解码块采用的解码模式;
信息字段2:复制路径形状模式;
信息字段3:像素样值排列方式;
信息字段4:信息字段对应的参数解码方式列表;
信息字段5:调色板解码头信息,包括调色板中像素的个数以及各像素的数值或者复用规则;
信息字段6:包含以下信息的至少一种:像素样值段对应的调色板解码或复制解码标识码、像素样值段对应的样值子集编号或空、像素样值段对应的索引或复制位置、像素样值段对应的索引长度或复制大小、和像素样值段对应的无参考像素样值或空;
信息字段7:复制残差或空。
如图3所示,本发明实施例提供了一种图像编码装置,包括:
编码方式确定模块,用于确定编码块的编码方式;
编码模块,用于对所述编码块使用多种编码方式进行混合编码,包括:对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码。
所述图像编码装置还可以包括下述特点:
其中,所述编码方式包括以下编码方式中的一种或多种:调色板编码、块复制编码、微块复制编码、条复制编码、串复制编码和矩形复制编码。
其中,所述编码块是图像的一个编码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
其中,编码模块,用于对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,包括:
对所述像素样值段进行调色板编码,生成与调色板解码有关的调色板参数;或者
对所述像素样值段进行复制编码,生成与复制解码有关的复制参数。
其中,编码模块,用于对所述编码块使用多种编码方式进行混合编码,包括:
将所述编码块中的所述像素样值段分别进行编码后生成的解码参数混合写入所述编码块的码流中。
其中,编码模块,用于将所述编码块中的所述像素样值段分别进行编码后生成的解码参数混合写入所述编码块的码流中,包括:
在所述编码块的码流中混合写入所述像素段的解码方式的标识码。
其中,所述调色板参数包括以下参数的至少一种:调色板像素样值的索引和重复该索引的索引游程的长度、复制上方索引的索引游程的长度;和/或
所述复制参数包括以下参数的至少一种:复制位置、和复制大小。
其中,编码模块,用于对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,包括:
在对所述编码块中的像素样值段采用串复制编码时,根据所述编码块的串复制编码的复制路径形状模式从重构参考像素样值集内获取与所述像素样值段匹配的参考像素样值串。
其中,所述串复制编码的复制路径形状模式包括以下模式的任意一种:
模式1:垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描;
模式2:水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描从左向右扫描;
模式3:垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描,列间从左至右扫描;
模式4:水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行扫描,行中样值水平扫描从左向右扫描,行间从上至下扫描;
模式5:衍生的垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式6:衍生的水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描;
模式7:衍生的垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列间从左至右扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式8:衍生的水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行排列,行间从上至下扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描。
其中,在所述编码块采用了调色板编码和串复制编码混合的编码方式时,所述调色板编码的路径扫描方式与所述串复制编码的复制路径形状模式一致。
其中,编码模块,用于在图像中只使用一种串复制编码的复制路径形状模式时,在所述图像对应的图像层信息单元中编码所述复制路径形状模式信息;和/或,在视频序列中只使用一种串复制编码的复制路径形状模式时,在所述视频序列的序列层信息单元中编码所述复制路径形状模式信息。
其中,所述图像层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息;和/或
所述序列层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息。
其中,编码模块,用于对所述像素样值段进行复制编码,包括:从重构参考像素样值集中获取与所述像素样值段匹配的参考像素样值段;
其中,所述重构参考像素样值集包括:重构样值和/或重构样值的变体;
其中,重构样值的变体包括:对重构样值进行处理和/或变换生成的样值。
其中,编码模块,还用于在所述编码块所在图像对应的图像层信息单元中编码编码块模式信息,其中,所述编码块模式信息包括以下模式的至少一种:
模式1:所述图像包含四种编码块类型:第1类、第2类、第3类、第4类;
模式2:所述图像包含三种编码块类型:第1类、第2类、第3类;
模式3:所述图像包含三种编码块类型:第1类、第2类、第4类;
模式4:所述图像包含三种编码块类型:第1类、第3类、第4类;
模式5:所述图像包含三种编码块类型:第2类、第3类、第4类;
模式6~11:所述图像包含两种编码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述图像包含一种编码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述编码块类型包括:
第1类:编码块采用了调色板编码、串复制编码和矩形复制编码;
第2类:编码块采用了串复制编码和矩形复制编码;
第3类:编码块采用了调色板编码和串复制编码;
第4类:编码块采用了调色板编码和矩形复制编码。
其中,编码模块,还用于在所述编码块所在视频序列对应的序列层信息单元中编码编码块模式信息,其中,所述编码块模式信息包括以下模式的至少一种:
模式1:所述视频序列包含四种编码块类型:第1类、第2类、第3类、第4类;
模式2:所述视频序列包含三种编码块类型:第1类、第2类、第3类;
模式3:所述视频序列包含三种编码块类型:第1类、第2类、第4类;
模式4:所述视频序列包含三种编码块类型:第1类、第3类、第4类;
模式5:所述视频序列包含三种编码块类型:第2类、第3类、第4类;
模式6~11:所述视频序列包含两种编码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述视频序列包含一种编码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述编码块类型包括:
第1类:编码块采用了调色板编码、串复制编码和矩形复制编码;
第2类:编码块采用了串复制编码和矩形复制编码;
第3类:编码块采用了调色板编码和串复制编码;
第4类:编码块采用了调色板编码和矩形复制编码。
其中,所述像素样值段的组成元素至少包括以下一种:像素、像素分量、像素索引。
其中,所述解码参数由多个子参数域组成,所述解码参数的同种类型的子参数域的编码比特放置在码流中的前后相连的一个或多个字段,或者,放置在码流中的不同字段。
其中,所述解码参数的子参数域是单分量子参数域、双分量子参数域、或三分量子参数域。
其中,所述子参数域包括以下子参数域的至少一种:
子参数域1:编码方式类型;所述编码方式类型包括以下类型的任意一种:调色板编码、块复制编码、微块复制编码、条复制编码、串复制编码、矩形复制编码和无参考像素复制编码;
子参数域2:索引或复制位置;
子参数域3:复制大小;
子参数域4:无参考像素样值。
其中,编码模块,还用于在所述编码块对应的码流中混合编码像素样值段的信息字段,所述码流中包含以下一种或多种信息字段:
信息字段1:编码块采用的编码模式;
信息字段2:复制路径形状模式;
信息字段3:像素样值排列方式;
信息字段4:信息字段对应的参数编码方式列表;
信息字段5:调色板编码头信息,包括调色板中像素的个数以及各像素的数值或者复用规则;
信息字段6:包含以下信息的至少一种:像素样值段对应的调色板编码或复制编码标识码、像素样值段对应的样值子集编号或空、像素样值段对应的索引或复制位置、像素样值段对应的索引长度或复制大小、和像素样值段对应的无参考像素样值或空;
信息字段7:复制残差或空。
其中,编码方式确定模块,用于确定编码块的编码方式,包括:构造或获取调色板,和/或对编码块的像素进行预编码以确定像素样值段的编码方式,和/或确定编码块的串复制编码的复制路径形状模式、和/或确定编码块的调色板编码的路径扫描方式。
如图4所示,本发明实施例提供了一种图像解码装置,包括:
解析模块,用于解析解码块的码流数据,确定所述解码块的像素样值段的解码方式;
解码模块,用于对所述解码块进行多种解码方式混合的解码,包括:对所述解码块的所述像素样值段采用对应的解码方式进行解码。
所述图像解码装置还可以包括下述特点:
其中,所述解码方式包括以下解码方式的一种或多种:调色板解码、块复制解码、微块复制解码、条复制解码、串复制解码和矩形复制解码。
其中,所述解码块是图像的一个解码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
其中,解码模块,用于对所述解码块进行多种解码方式混合的解码,包括:从所述解码块的码流数据中获取像素样值段的解码参数;
其中,所述解码参数包括调色板参数和/或复制参数。
其中,解析模块,用于解析当前解码块的码流数据,确定当前解码块的各像素样值段对应的解码方式,包括:
从当前解码块的码流数据中获取像素样值段对应的解码方式的标识码。
其中,解码模块,用于对所述解码块的所述像素样值段采用对应的解码方式进行解码,包括:
在所述像素样值段使用调色板解码方式时,根据调色板参数对所述像素样值段进行调色板解码;和/或
在所述像素样值段使用复制解码方式时,根据复制参数对所述像素样值段进行复制解码。
其中,所述调色板参数包括以下参数的至少一种:调色板像素样值的索引和重复该索引的索引游程的长度、复制上方索引的索引游程的长度;和/或
所述复制参数包括以下参数的至少一种:复制位置、和复制大小。
其中,解码模块,用于在所述像素样值段使用复制解码方式时,根据复制参数对所述像素样值段进行复制解码,包括:
在所述像素样值段采用串复制解码时,确定所述解码块的串复制解码的复制路径形状模式,根据所述复制路径形状模式和复制参数从重构参考像素样值集内获取参考像素样值串。
其中,解码模块,用于在根据所述复制路径形状模式和复制参数从重构参考像素样值集内获取参考像素样值串后,还包括:将所述参考像素样值串的值直接或间接赋值予所述像素样值段。
其中,所述串复制解码的复制路径形状模式包括以下模式的任意一种:
模式1:垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描;
模式2:水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描从左向右扫描;
模式3:垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描,列间从左至右扫描;
模式4:水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行扫描,行中样值水平扫描从左向右扫描,行间从上至下扫描;
模式5:衍生的垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式6:衍生的水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描;
模式7:衍生的垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列间从左至右扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式8:衍生的水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行排列,行间从上至下扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描。
其中,所述解码块使用调色板解码和串复制解码混合的解码方式时,调色板解码的路径扫描方式与串复制解码的复制路径形状模式一致。
其中,所述重构参考像素样值集包括:重构样值和/或重构样值的变体;
其中,重构样值的变体包括:对重构样值进行处理和/或变换生成的样值。
其中,解析模块,用于从图像的图像层信息单元中获取所述复制路径形状模式信息,所述信息指示所述图像中所有解码块使用指定的复制路径形状模式;和/或,从视频序列的序列层信息单元中获取所述复制路径形状模式信息,所述信息指示所述序列中所有解码块使用指定的复制路径形状模式。
其中,所述图像层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息;和/或
所述序列层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息。
其中,解析模块,还用于从所述解码块所在图像对应的图像层信息单元中获取解码块模式信息,其中,所述解码块模式信息包括以下模式的至少一种:
模式1:所述图像包含四种解码块类型:第1类、第2类、第3类、第4类;
模式2:所述图像包含三种解码块类型:第1类、第2类、第3类;
模式3:所述图像包含三种解码块类型:第1类、第2类、第4类;
模式4:所述图像包含三种解码块类型:第1类、第3类、第4类;
模式5:所述图像包含三种解码块类型:第2类、第3类、第4类;
模式6~11:所述图像包含两种解码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述图像包含一种解码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述解码块类型包括:
第1类:解码块采用了调色板解码、串复制解码和矩形复制解码;
第2类:解码块采用了串复制解码和矩形复制解码;
第3类:解码块采用了调色板解码和串复制解码;
第4类:解码块采用了调色板解码和矩形复制解码。
其中,解析模块,还用于从所述解码块所在视频序列对应的序列层信息单元中获取解码块模式信息,其中,所述解码块模式信息包括以下模式的至少一种:
模式1:所述视频序列包含四种解码块类型:第1类、第2类、第3类、第4类;
模式2:所述视频序列包含三种解码块类型:第1类、第2类、第3类;
模式3:所述视频序列包含三种解码块类型:第1类、第2类、第4类;
模式4:所述视频序列包含三种解码块类型:第1类、第3类、第4类;
模式5:所述视频序列包含三种解码块类型:第2类、第3类、第4类;
模式6~11:所述视频序列包含两种解码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述视频序列包含一种解码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述解码块类型包括:
第1类:解码块采用了调色板解码、串复制解码和矩形复制解码;
第2类:解码块采用了串复制解码和矩形复制解码;
第3类:解码块采用了调色板解码和串复制解码;
第4类:解码块采用了调色板解码和矩形复制解码。
其中,所述像素样值段的组成元素至少包括以下一种:像素、像素分量、像素索引。
其中,所述解码参数由多个子参数域组成,所述解码参数的同种类型的子参数域的输入比特位于码流中的前后相连的一个或多个字段,或者,位于码流中的不同字段。
其中,所述解码参数的子参数域是单分量子参数域、双分量子参数域、或三分量子参数域。
其中,所述解码参数的子参数域包括以下子参数域的至少一种:
子参数域1:解码方式类型;所述解码方式类型包括以下类型的任意一种:调色板解码、块复制解码、微块复制解码、条复制解码、串复制解码、矩形复制解码和无参考像素复制解码;
子参数域2:索引或复制位置;
子参数域3:索引长度或复制大小;
子参数域4:无参考像素样值。
其中,解析模块,用于解析解码块的码流数据,确定所述解码块的像素样值段的解码方式,包括:
从所述解码块码流中混合解码像素样值段的信息字段,所述码流中包含以下一种或多种信息字段:
信息字段1:解码块采用的解码模式;
信息字段2:复制路径形状模式;
信息字段3:像素样值排列方式;
信息字段4:信息字段对应的参数解码方式列表;
信息字段5:调色板解码头信息,包括调色板中像素的个数以及各像素的数值或者复用规则;
信息字段6:包含以下信息的至少一种:像素样值段对应的调色板解码或复制解码标识码、像素样值段对应的样值子集编号或空、像素样值段对应的索引或复制位置、像素样值段对应的复制大小、和像素样值段对应的无参考像素样值或空;
信息字段7:复制残差或空。
如图5所示,本发明的基本技术特征是在一个编码块或解码块中混合调色板编码(或对应的解码)方式与复制编码(或对应的解码)方式,也就是一个编码块(解码块)中一部分像素使用调色板和索引方式进行编码或解码,而另一部分像素则使用像素复制方式进行编码或解码。
编码器将调色板编码产生的调色板解码所需要的语法元素和复制编码产生的复制解码所需要的语法元素混合写入一个CU的码流段,产生一个CU的码流数据。解码器从一个CU的码流数据中获取调色板解码的语法元素及各种调色板解码参数和复制解码的语法元素及各种复制解码参数,根据调色板解码参数和复制解码参数分别进行调色板解码和复制解码,产生调色板方式重构像素和复制方式重构像素混合的当前解码CU的全部重构像素。
本发明的编码方法和装置的最基本的特有技术特征是在对当前编码块进行编码时,首先构造出一个调色板,然后把当前编码块的部分或全部像素用所述调色板的索引来表示,一个索引通常比一个像素占用更少的比特数;对当前编码块的一部分像素使用调色板和索引方式进行包括但不限于游程编码和/或熵编码的编码运算;对当前编码块的另一部分像素,则在原始输入图像或重构参考像素样值集内一个预先规定的搜索窗口范围内,搜索得到一个或多个最优的复制参考串(简称参考串)和/或复制参考矩形(简称参考矩形)和/或复制参考微块(简称参考微块)和/或复制参考条(简称参考条)。调色板编码的结果用一个或多个与调色板解码有关的调色板参数来表示。而参考串、参考矩形、参考微块、参考条用一个或多个与串复制解码、矩形复制解码、微块复制解码、条复制解码有关的复制参数(或称匹配参数)来表示。包括但不限于调色板的部分或全部像素、调色板参数和复制参数等解码所需要的参数被混合放入码流。
本发明的解码方法和装置的最基本的特有技术特征是在对当前解码块进行解码时,从码流中获取调色板的部分或全部像素,并且获取与调色板解码有关的调色板参数和与复制解码有关的复制参数。根据调色板参数的部分或全部,解码,包括但不限于索引游程解码,得到当前解码块的部分像素的索引,并使用索引从调色板中得到对应的像素样值,将所述像素样值的数值直接或间接赋值予当前解码像素。根据复制参数的部分或全部,从重构参考像素样值集内获取参考串和/或参考矩形和/或参考微块和/或参考条,并将其数值直接或间接赋值予当前解码串(简称当前串)和/或当前解码矩形(简称当前矩形)和/或当前解码微块(简称当前微块)和/或当前解码条(简称当前条)。
调色板参数包括但不限于:索引,复制左边索引的索引游程(即索引串)的长度,复制上方索引的索引游程(即索引串)的长度。
复制参数包括但不限于复制位置和/或复制大小。对参考串,复制大小包括但不限于复制长度。对参考矩形,复制大小包括但不限于复制宽度和复制长度这两个复制参数分量或者复制高度和复制长度这两个复制参数分量或者复制宽度和复制高度这两个复制参数分量。
复制位置是在重构参考像素样值集内的参考串和/或参考矩形和/或参考微块和/或参考条的第一个像素样值与当前CU中当前串和/或当前矩形和/或当前微块和/或当前条的第一个像素样值之间的线性(1维)距离或平面(2维)距离,其单位是样值或若干样值。复制位置有时也称为帧内运动矢量。
对参考串和/或参考矩形,复制大小是参考串和/或参考矩形的大小,其单位也是样值或若干样值。显然,参考串和/或参考矩形的大小也是当前串和/或当前矩形的大小。
调色板解码与复制解码混合的一种优选解码过程是执行或重复下列语句或等价的语句的解码过程:
获取调色板/复制类型(即解码方式)的模式标识码;
如果调色板/复制类型是调色板,则
{
解码得到一个索引游程的一个或多个索引
使用索引将调色板中对应的像素的数值直接或间接赋值予一个或多个当前解码像素
}
否则,如果调色板/复制类型是串复制,则
{
解码得到一个参考串的复制位置和复制大小
将由复制位置和复制大小指定的重构参考像素样值集内的参考串的数值直接或间接赋值予当前解码串
}
否则,如果调色板/复制类型是矩形复制,则
{
解码得到一个参考矩形的复制位置和复制大小
将由复制位置和复制大小指定的重构参考像素样值集内的参考矩形的数值直接或间接赋值予当前解码矩形
}
否则,如果调色板/复制类型是无参考像素,则
{
将从码流中获取的无参考像素的数值直接或间接赋值予当前解码像素
}
否则
{
进行其他解码运算
}
重构参考像素样值集的像素样值可以等同于重构样值,也可以是重构样值的各种变体,如经过像素聚类、颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合。
在本发明专利申请中,“重构样值”和“参考样值”有时被统称为“重构参考像素样值”。根据上下文,可以明确“重构参考像素样值”是表示“重构样值”还是“参考样值”还是同时表示两者之任一。
在本发明专利申请中,“重构参考样值集”和“重构参考像素样值集”是同义词,在不引起混淆的情况下,有时也被简称为“样值集”。
重构参考像素样值集可以是含有至少一个CTU区域的连成一片的二维区域,也可以是由按照预先规定的规则选择的若干互不关联的部分区域或像素组成。
对含有至少一个CTU区域的重构参考像素样值集和/或当前CU来说,从参考串和/或当前串的路径形状来分,串复制编码或解码至少有4种基本复制路径形状模式。
基本复制路径形状模式1是垂直路径1维串形复制的复制路径形状模式。在本复制路径形状模式中,重构参考像素样值集和/或当前CU先以CTU序号或CU序号的顺序排列,而在一个CTU或CU内,样值逐列排列,每列中样值垂直扫描自上而下排列。这样,重构参考像素样值集也被排列成一个一维的样值串。
基本复制路径形状模式2是水平路径1维串形复制的复制路径形状模式。基本复制路径形状模式2是上述基本复制路径形状模式1的对偶模式。把基本复制路径形状模式1中的“垂直”置换成“水平”,“列”置换成“行”,“自上而下”置换成“从左向右”,就是基本复制路径形状模式2。
基本复制路径形状模式3是垂直路径2维保形复制的复制路径形状模式。在本复制路径形状模式中,重构参考像素样值集保留原始图像平面固有的2维排列方式,而在当前CU内,样值则以垂直扫描方式逐列排列并且在1列内自上而下排列。在重构参考像素样值集之中搜索或复制参考串时,在当前CU内,当前样值以垂直扫描方式自上而下移动,一列扫描和复制完了之后,接着扫描和复制右边相邻的一列。在重构参考像素样值集之中找到的参考串必须与当前CU中的当前串保持完全一致的2维形状和扫描方式的路径走向。参考串和当前串各自形成的二维区域的高度与当前编码块或解码块的高度相等。
基本复制路径形状模式4是水平路径2维保形复制的复制路径形状模式。基本复制路径形状模式4是上述基本复制路径形状模式3的对偶模式。在本复制路径形状模式中,重构参考像素样值集保留原始图像平面固有的2维排列方式,而在当前CU内,样值则以水平扫描方式逐行排列并且在1行内从左向右排列。在重构参考像素样值集之中搜索或复制参考串时,在当前CU内,当前样值以水平扫描方式从左向右移动,一行扫描和复制完了之后,接着扫描和复制下边相邻的一行。在重构参考像素样值集之中找到的参考串必须与当前CU中的当前串保持完全一致的2维形状和扫描方式的路径走向。参考串和当前串各自形成的二维区域的宽度与当前编码块或解码块的宽度相等。
从以上4种基本复制路径形状模式还可以衍生出其他各种复制路径形状模式,包括但不限于:
1)与基本复制路径形状模式1基本相同但扫描路径走向交替变换,即扫描方式是奇数列自上而下移动而偶数列自下而上移动;
2)与基本复制路径形状模式1基本相同但扫描路径走向交替变换,即扫描方式是偶数列自上而下移动而奇数列自下而上移动;
3)与基本复制路径形状模式2基本相同但扫描路径走向交替变换,即扫描方式是奇数行从左向右移动而偶数行从右向左移动;
4)与基本复制路径形状模式2基本相同但扫描路径走向交替变换,即扫描方式是偶数行从左向右移动而奇数行从右向左移动;
5)与基本复制路径形状模式3基本相同但扫描路径走向交替变换,即扫描方式是奇数列自上而下移动而偶数列自下而上移动;
6)与基本复制路径形状模式3基本相同但扫描路径走向交替变换,即扫描方式是偶数列自上而下移动而奇数列自下而上移动;
7)与基本复制路径形状模式4基本相同但扫描路径走向交替变换,即扫描方式是奇数行从左向右移动而偶数行从右向左移动;
8)与基本复制路径形状模式4基本相同但扫描路径走向交替变换,即扫描方式是偶数行从左向右移动而奇数行从右向左移动;
其中,参考串和当前串的宽度为1、2、3、…、W个样值。
当复制编码或解码采用一种水平或垂直扫描的路径形状模式时,与之混合的调色板编码或解码的索引或索引游程也采用同样的水平或垂直扫描的路径形状。
本发明的解码方法和装置的进一步技术特征就是在对当前解码块的码流数据进行解码时,首先从码流数据中解析出该序列或该图像或该CU采用的复制路径形状模式(如以上所述复制路径形状模式之一),然后从码流数据中依次获取一个一个索引和/或索引游程和/或参考串和/或参考矩形和/或参考微块和/或参考条的复制参数。在得到了一个调色板参数或一个复制参数之后,解码工作就是根据根据调色板参数计算得到一个或多个连续位置的索引,并使用索引从调色板中得到对应的像素样值,并将所述像素样值的数值直接或间接赋值予一个或多个连续位置的当前解码像素,或者根据复制路径形状模式,从当前解码样值的位置和复制参数计算出重构参考像素样值集之中的参考串和/或参考矩形和/或参考微块和/或参考条的第一个样值的位置,然后,再根据复制路径形状模式和复制参数,就可以从重构参考像素样值集之中复制参考串和/或参考矩形和/或参考微块和/或参考条的部分或全部样值,并将所述样值的数值直接或间接赋值予当前串和/或当前矩形和/或参考微块和/或参考条,复原出当前串和/或当前矩形和/或参考微块和/或参考条。
一帧图像中,可以所有CU都使用同一种复制路径形状模式。这样解码器就仅需要从一帧图像的对应的图像参数集或头信息中解析出该图像采用哪一种复制路径形状模式,而不需要每个CU都解析出该CU采用哪一种复制路径形状模式。编码器也仅需要在一帧图像的对应的图像参数集或头信息中直接或间接写入复制路径形状模式。一个视频序列中,可以所有图像和所有CU都使用同一种复制路径形状模式。这样解码器就仅需要从一个序列的对应的序列参数集或头信息中解析出该序列采用哪一种复制路径形状模式,而不需要每个图像、每个CU都解析出该图像、该CU采用哪一种复制路径形状模式。编码器也仅需要在一个序列的对应的序列参数集或头信息中直接或间接写入复制路径形状模式。有些CU也可以再划分成若干个子区域(如PU),各个子区域(如PU)采用不同的复制路径形状模式。
在一个CU或一个CU的子区域的码流数据中,混合存在调色板参数和多种复制参数,统称为调色板/复制参数:调色板参数、参考串的复制参数、参考矩形的复制参数、参考微块的复制参数、参考条的复制参数;码流数据中的一个或多个调色板/复制参数前都有一个直接(包括但不限于存在于码流中)或间接(包括但不限于从编码或解码过程中的其他信息获取)的模式标识码,用来直接或间接地载明后面跟着的调色板/复制参数是调色板参数还是参考串的复制参数还是参考矩形的复制参数还是参考微块的复制参数还是参考条的复制参数。
在一种优选的方案中,在一个CU或一个CU的子区域的码流数据中,混合存在三种调色板/复制参数:调色板参数、参考串的复制参数、参考矩形的复制参数;码流数据中的一个或多个调色板/复制参数前都有一个直接(包括但不限于存在于码流中)或间接(包括但不限于从编码或解码过程中的其他信息获取)的模式标识码,用来直接或间接地载明后面跟着的调色板/复制参数是调色板参数还是参考串的复制参数还是参考矩形的复制参数。
在一种优选的方案中,在一个CU或一个CU的子区域的码流数据中,混合存在两种调色板/复制参数:调色板参数、参考串的复制参数;码流数据中的一个或多个调色板/复制参数前都有一个直接(包括但不限于存在于码流中)或间接(包括但不限于从编码或解码过程中的其他信息获取)的模式标识码,用来直接或间接地载明后面跟着的调色板/复制参数是调色板参数还是参考串的复制参数。
在一种优选的方案中,在一个CU或一个CU的子区域的码流数据中,混合存在两种调色板/复制参数:调色板参数、参考矩形的复制参数;码流数据中的一个或多个调色板/复制参数前都有一个直接(包括但不限于存在于码流中)或间接(包括但不限于从编码或解码过程中的其他信息获取)的模式标识码,用来直接或间接地载明后面跟着的调色板/复制参数是调色板参数还是参考矩形的复制参数。
在一帧图像的码流数据中,存在着包括但不限于下列4类CU或CU的子区域的某一类或某两类或某三类或全部四类:
第一类:混有三种调色板/复制参数:调色板参数、参考串的复制参数、参考矩形的复制参数的CU或CU的子区域;
第二类:混有两种调色板/复制参数:参考串的复制参数、参考矩形的复制参数的CU或CU的子区域;
第三类:混有两种调色板/复制参数:调色板参数、参考串的复制参数的CU或CU的子区域;
第四类:混有两种调色板/复制参数:调色板参数、参考矩形的复制参数的CU或CU的子区域;
在一帧图像及其码流数据的对应的图像参数集或图像头信息中,使用直接或间接的模式标识码来直接或间接地载明包括但不限于下列情形之一:
情形1:当前图像及其码流数据中存在着以上4类CU或CU的子区域:第1类,第2类,第3类,第4类的CU或CU的子区域;
情形2:当前图像及其码流数据中存在着以上4类中三类CU或CU的子区域:第1类,第2类,第3类的CU或CU的子区域;
情形3:当前图像及其码流数据中存在着以上4类中三类CU或CU的子区域:第1类,第2类,第4类的CU或CU的子区域;
情形4:当前图像及其码流数据中存在着以上4类中三类CU或CU的子区域:第1类,第3类,第4类的CU或CU的子区域;
情形5:当前图像及其码流数据中存在着以上4类中三类CU或CU的子区域:第2类,第3类,第4类的CU或CU的子区域;
情形6:当前图像及其码流数据中存在着以上4类中某两类CU或CU的子区域,例如第1类和第3类的CU或CU的子区域,例如第2类和第3类的CU或CU的子区域;
情形7:当前图像及其码流数据中存在着以上4类中某一类CU或CU的子区域,例如第1类的CU或CU的子区域,例如第2类的CU或CU的子区域,例如第3类的CU或CU的子区域,例如第4类的CU或CU的子区域;
在一个序列及其码流数据的对应的序列参数集或序列头信息中,使用直接或间接的模式标识码来直接或间接地载明包括但不限于下列情形之一:
情形8:序列及其码流数据中存在着以上4类CU或CU的子区域:第1类,第2类,第3类,第4类的CU或CU的子区域;
情形9:序列及其码流数据中存在着以上4类中三类CU或CU的子区域:第1类,第2类,第3类的CU或CU的子区域;
情形10:序列及其码流数据中存在着以上4类中三类CU或CU的子区域:第1类,第2类,第4类的CU或CU的子区域;
情形11:序列及其码流数据中存在着以上4类中三类CU或CU的子区域:第1类,第3类,第4类的CU或CU的子区域;
情形12:序列及其码流数据中存在着以上4类中三类CU或CU的子区域:第2类,第3类,第4类的CU或CU的子区域;
情形13:序列及其码流数据中存在着以上4类中某两类CU或CU的子区域,例如第1类和第3类的CU或CU的子区域,例如第2类和第3类的CU或CU的子区域;
情形14:序列及其码流数据中存在着以上4类中某一类CU或CU的子区域,例如第1类的CU或CU的子区域,例如第2类的CU或CU的子区域,例如第3类的CU或CU的子区域,例如第4类的CU或CU的子区域;
以上通过若干特定的具体实例说明本发明的技术特征。本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在不背离本发明的精神下进行各种修饰或改变。
本发明专利申请中使用的术语也可以用其他来自物理学或数学的名词来表示,如复制位置也可以使用以下别名之一:匹配位置,位置,距离,相对距离,位移量,位移矢量,移动量,移动矢量,偏移量,偏移矢量,块矢量,串矢量,补偿量,补偿,线性地址,地址,2维坐标,1维坐标,坐标,索引,指数,等等。复制长度也可以被称为以下别名之一:复制行程,复制个数,复制计数,复制游程,匹配行程,匹配个数,匹配计数,匹配游程,长度,行程,个数,计数,游程,等等。串复制也称为串匹配,矩形复制也称为矩形匹配,点复制也称为点匹配等等。
本发明的一种优选编码方法包括如下步骤的全部或部分:
1)对一个编码块的像素进行调色板和/或串复制和/或矩形复制的混合编码,产生出调色板参数和/或参考串的复制参数和/或参考矩形的复制参数和/或无参考像素样值;
2)其余编码、重构及产生视频码流数据的步骤,进行编码块的其余编码和重构运算,对输入的像素、各种参数和变量进行各种常用技术,如帧内预测、帧间预测、块复制、微块复制、条复制、变换、量化、逆变换、反量化、对应于预测残差和复制残差的补偿(即取残差运算的逆运算)、预测并求残差、DPCM、一阶和高阶差分、映射、游程、索引、去块效应滤波、样值自适应补偿(Sample Adaptive Offset),的编码和重构运算以及熵编码运算;本步骤的输出是已重构像素(包括完全重构像素和不同阶段程度的部分重构像素)和含调色板和/或串复制和/或矩形复制混合的编码结果和其他编码结果的视频码流;所述视频码流是本编码方法的输出,包含了对应的解码方法进行解码和重构所需要的全部语法元素,包括但不限于调色板和/或串复制和/或矩形复制混合的编码的调色板参数和/或参考串的复制参数和/或参考矩形的复制参数的语法元素和/或无参考像素样值的语法元素。
本发明的一种优选解码方法包括如下步骤的全部或部分:
1)解析码流,获取包括但不限于调色板参数和/或参考串的复制参数和/或参考矩形的复制参数和/或无参考像素样值的解码参数和变量;
2)使用获取的调色板参数和/或参考串的复制参数和/或参考矩形的复制参数和/或无参考像素样值,进行调色板和/或串复制和/或矩形复制混合的解码;
本发明的一种优选编码装置由以下模块的全部或部分组成:
1)调色板和/或串复制和/或矩形复制混合的搜索和编码模块:对输入像素样值施行调色板和/或串复制和/或矩形复制混合的调色板兼复制编码,对索引进行游程编码,对像素在重构参考像素样值集之中搜索最优参考串和/或最优参考矩形,并产生出调色板参数和/或参考串的复制参数和/或参考矩形的复制参数和/或无参考像素样值;
2)重构参考像素样值集模块:用来暂存重构像素样值和参考像素样值,用作后续各种编码方式,包括但不限于块复制编码、微块复制编码、条复制编码、串复制编码、矩形复制编码、多种类型复制方式混合的复制编码、预测编码,的搜索、编码、重构时的参考像素样值;所述重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过像素聚类、颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
3)调色板模块:暂存若干像素,即调色板像素;
4)其余编码、重构及产生视频码流数据的模块:施行其余编码和重构运算,对输入的像素、各种参数和变量进行各种常用技术,如帧内预测、帧间预测、块复制、微块复制、条复制、变换、量化、逆变换、反量化、对应于预测残差和复制残差的补偿(即取残差运算的逆运算)、预测并求残差、DPCM、一阶和高阶差分、映射、游程、索引、去块效应滤波、样值自适应补偿(Sample Adaptive Offset),的编码和重构运算以及熵编码运算;本步骤的输出是已重构像素(包括完全重构像素和不同阶段程度的部分重构像素)和含调色板和/或串复制和/或矩形复制混合的编码结果、各种其他复制编码方式的编码结果和其他编码结果的视频码流;所述视频码流是本编码方法的输出,包含了对应的解码方法进行解码和重构所需要的全部语法元素,包括但不限于调色板和/或串复制和/或矩形复制混合的编码的调色板参数和/或参考串的复制参数和/或参考矩形的复制参数的语法元素和/或无参考像素样值的语法元素和/或其他复制参数的语法元素和/或其他编码参数的语法元素。
本发明的一种优选解码装置由以下模块的全部或部分组成:
1)解析码流,获取调色板参数、复制参数、无参考像素样值等的模块:对输入码流数据施行码流解析,获取解码参数和变量,包括但不限于:调色板参数和/或参考串的复制参数和/或参考矩形的复制参数,和/或无参考像素样值,和/或其他复制解码方式的复制参数,和/或其他解码参数和变量;
2)调色板/串复制/矩形复制混合的复制解码模块:本模块的功能是对从码流中获取的调色板参数和/或参考串的复制参数和/或参考矩形的复制参数,和/或无参考像素样值,施行调色板和/或串复制和/或矩形复制混合的解码运算,即按照已知的复制路径形状模式,在参考串和/或参考矩形的情形,将重构参考像素样值集之中由参考串的复制参数和/或参考矩形的复制参数(包括但不限于复制位置)指定的位置上的参考串和/或参考矩形,其大小也由参考串的复制参数和/或参考矩形的复制参数(包括但不限于复制大小)所指定,的像素样值的数值直接或间接赋值予当前串和/或当前矩形,而在调色板的情形,则施行包括但不限于游程解码的运算,得到一个或若干索引,并根据索引将调色板的像素的数值直接或间接赋值予一个或若干当前解码像素;
3)重构参考像素样值集模块:用来暂存重构像素样值和参考像素样值,用作后续各种解码方式,包括但不限于块复制解码、微块复制解码、条复制解码、串复制解码、矩形复制解码、多种类型复制方式混合的复制解码、预测解码,的解码和重构时的参考像素样值;所述重构参考像素样值集的输入是重构样值而输出是参考样值,参考样值可以等同于重构样值,也可以是重构样值的各种变体,如经过像素聚类、颜色量化、数值量化、向量量化、去噪音、滤波、特征抽取等处理的样值或经过色彩格式转换、排列方式转换、频率域转换、空间域映射、DPCM、一阶或高阶差分运算、索引化等变换的样值或经过多重处理与变换的像素值变体,当参考样值不等同于重构样值时,参考样值可以一次性产生后暂存供以后需要时多次使用,也可以每次需要时即时产生,也可以是这两种产生方法的组合;
4)调色板模块:暂存若干像素,即调色板像素。
以下是本发明的更多的实施细节和变体。
本发明适用于叠包格式图像的编码和解码。当前CU的像素和重构参考像素样值集的像素都以叠包格式排列。参考块,参考微块,参考条,参考串,参考矩形,参考点和当前块,当前微块,当前条,当前串,当前矩形,当前点都以叠包格式排列。即以由3个分量样值单个交叉叠在一起形成的单个像素为单位排列,形成3个分量样值单个交叉排列的样值集。在这样的重构参考像素样值集之中搜索或复制参考块,参考微块,参考条,参考串,参考矩形等。
本发明也同样适用于分量平面格式图像的编码和解码。当前CU的像素和重构参考像素样值集的像素都分解成3个分量平面,所有像素的一个分量形成一个平面。参考块,参考微块,参考条,参考串,参考矩形,参考点和当前块,当前微块,当前条,当前串,当前矩形,当前点都分解成3个分量平面,所有像素的一个分量形成一个平面。一个参考块,参考微块,参考条,参考串,参考矩形,参考点和当前块,当前微块,当前条,当前串,当前矩形,当前点都仅包含一个分量的样值。块复制,微块复制,条复制,串复制,矩形复制,点复制都在3个平面内分别进行。但为了减少复制参数,同时由于3个平面有很大相关性,故也可以3个平面共享同样的复制参数。
本发明的分量平面格式图像的复制编码和解码,如果应用于YUV4:2:2像素色彩格式和YUV4:2:0像素色彩格式等对色度分量U和V进行下采样的情形,那么Y平面的复制参数应用到U平面和V平面时,要根据下采样的比例对复制参数进行相应的变换和调整。
重构参考像素样值集可以分成若干子集,各子集的像素可以具有互不相同的分量排列格式、色彩格式和像素样值排列方式。
重构参考像素样值集可以分成若干子集,各子集的像素也可以处于互不相同程度的各自特有的重构阶段的完全重构像素或阶段性重构像素。
1)实施和变体例1:调色板和复制方式混合的优选实施方式1
在一个编码块或解码块或PU或CU或CTU或LCU的码流数据中,混合存在三种调色板/复制参数:调色板参数、参考串的复制参数、参考矩形的复制参数;混合进行三种调色板/复制方式的编码或解码:调色板、串复制、矩形复制。
2)实施和变体例2:调色板和复制方式混合的优选实施方式2
在一个编码块或解码块或PU或CU或CTU或LCU的码流数据中,混合存在两种调色板/复制参数:调色板参数、参考串的复制参数;混合进行两种调色板/复制方式的编码或解码:调色板、串复制。
3)实施和变体例3:调色板参数和复制参数,统称为调色板/复制参数的语法元素在码流中的放置顺序的一种优选实施方式
记述调色板/复制参数的语法元素(语法元素用粗体字表示)在码流中的放置顺序是:
调色板/复制参数1,调色板/复制参数2,调色板/复制参数3,……,调色板/复制参数i,复调色板/制参数i+1,……
4)实施和变体例4:调色板/复制参数的组成域的一种优选实施方式
调色板/复制参数由若干调色板/复制子参数的域组成,调色板/复制子参数域包括但不限于:
调色板/复制子参数域1:调色板/复制类型,表示调色板/复制方式是调色板还是串复制还是矩形复制还是微块复制还是条复制还是无参考像素;
调色板/复制子参数域2:索引或复制位置,表示调色板的索引或参考像素在重构参考像素样值集内的位置;
调色板/复制子参数域3:复制大小,表示索引游程的长度或当前串或当前矩形的像素数目;
调色板/复制子参数域4:无参考像素,表示无参考像素的数值;
在一个调色板/复制参数中,某些调色板/复制子参数域可以取值为空。
5)实施和变体例5:调色板/复制参数的组成域在码流中的语法元素的表述格式的一种优选方案
码流数据包括但不限于直接表述或间接表述(间接表述的例:经过一阶或高阶差分编码和/或预测编码和/或匹配编码和/或映射编码和/或变换编码和/或量化编码和/或索引编码和/或游程编码和/或二值化编码和/或熵编码后再表述)下列调色板/复制子参数域的语法元素:
T1,P1,S1,N1,T2,P2,S2,N2,……,Ti,Pi,Si,Ni,……
其中Ti,Pi,Si,Ni,分别是调色板/复制参数i的调色板/复制类型,索引或复制位置,复制大小,无参考像素;所述调色板/复制子参数域的语法元素在码流中的放置排列顺序并不是唯一的,可采用任意一种预先确定的合理的顺序;一个语法元素也可以被拆成几部分,所述几部分可以集中放置在码流中同一地方,也可以分别放置在码流中不同的地方;若干语法元素也可以合并成一个语法元素;某些语法元素也可以不存在于某个调色板/复制参数的码流数据中;某个语法元素也可以不直接存在于码流数据中而是从其他编码或解码参数或者变量中导出;表述同一种调色板/复制子参数域的多个语法元素可以集中放置在码流中同一地方,如:
T1,T2……Ti……,P1,P2……Pi……,S1,S2……Si……,N1,N2……Ni……
也可以分别放置在码流中不同的地方,如:
T1,P1,S1,N1,T2,P2,S2,N2,……,Ti,Pi,Si,Ni,……
也可以是这两种放置方式的组合,如
T1,S1,T2,S2……Ti,Si……,P1,P2……Pi……,N1,N2……,Ni……
也可以是以上各种放置方式的混合。
6)实施和变体例5:复制子参数域是单分量子参数域或双分量子参数域或三分量子参数域
复制位置Pi或其变体是单分量子参数域或双分量子参数域或三分量子参数域;所述复制位置Pi或其变体对应的码流中的语法元素具有但不限于下列形式之一:
一个参考串的复制位置Pi或其变体对应的语法元素:d(一个分量,如位置线性地址)
或者
一个参考串的复制位置Pi或其变体对应的语法元素:d[0],d[1](两个分量,如位置水平分量,位置垂直分量或重构参考像素样值集的CTU序号,位置线性地址)
或者
一个参考串的复制位置Pi或其变体对应的语法元素:d[0],d[1],d[2](三个分量,如重构参考像素样值集的CTU序号,位置水平分量,位置垂直分量)
复制位置Pi或其变体是单分量子参数域或双分量子参数域或三分量子参数域;所述复制位置Pi或其变体对应的码流中的语法元素具有但不限于下列形式之一:
一个参考矩形的复制位置Pi或其变体对应的语法元素:d(一个分量,如位置线性地址)
或者
一个参考矩形的复制位置Pi或其变体对应的语法元素:d[0],d[1](两个分量,如位置水平分量,位置垂直分量或重构参考像素样值集的CTU序号,位置线性地址)
或者
一个参考矩形的复制位置Pi或其变体对应的语法元素:d[0],d[1],d[2](三个分量,如重构参考像素样值集的CTU序号,位置水平分量,位置垂直分量)
复制大小Si或其变体是单分量子参数域或双分量子参数域或三分量子参数域;所述复制大小Si或其变体对应的码流中的语法元素具有但不限于下列形式之一:
一个参考串的复制大小Si或其变体对应的语法元素:r(一个分量)
或者
一个参考串的复制大小Si或其变体对应的语法元素:r[0],r[1](两个分量)
或者
一个参考串的复制大小Si或其变体对应的语法元素:r[0],r[1],r[2](三个分量)
复制大小Si或其变体是单分量子参数域或双分量子参数域或三分量子参数域;所述复制大小Si或其变体对应的码流中的语法元素具有但不限于下列形式之一:
一个参考矩形的复制大小Si或其变体对应的语法元素:r(一个分量)
或者
一个参考矩形的复制大小Si或其变体对应的语法元素:r[0],r[1](两个分量)
或者
一个参考矩形的复制大小Si或其变体对应的语法元素:r[0],r[1],r[2](三个分量)
无参考像素Ni或其变体是单分量子参数域或双分量子参数域或三分量子参数域;所述无参考像素Ni或其变体对应的码流中的语法元素具有但不限于下列形式之一:
无参考像素Ni或其变体对应的语法元素:p(一个分量)
或者
无参考像素Ni或其变体对应的语法元素:p[0],p[1](两个分量)
或者
无参考像素Ni或其变体对应的语法元素:p[0],p[1],p[2](三个分量)。
7)实施和变体例7:码流含有的语法元素
码流的编码块或解码块或PU或CU或CTU或LCU部分码流段含有但不限于载入了下列参数或其变体的语法元素的全部或部分:
第一类模式(如编解码模式),
第二类模式(如复制路径形状模式),
第三类模式(如像素样值排列方式),
第四类模式(如2-4种不同的参数编码模式,不同的参数2值化和/或熵编码模式),
调色板头信息(如,调色板中像素的个数以及各像素的数值或者复用规则),
调色板/复制标记位1,样值子集编号1或空,(索引或复制位置1,复制大小1)或无参考样值1或空,
调色板/复制标记位2,样值子集编号2或空,(索引或复制位置2,复制大小2)或无参考样值2或空,
…………
更多的调色板/复制标记位,样值子集编号或空,(索引或复制位置,复制大小)或无参考样值或空,
…………
调色板/复制标记位N,样值子集编号N或空,(索引或复制位置N,复制大小N)或无参考样值N或空,
复制残差或空;
所有所述语法元素在码流中的放置排列顺序并不是唯一的,可采用任意一种预先确定的合理的顺序;任何一个语法元素也可以被拆成几部分,所述几部分可以集中放置在码流中同一地方,也可以分别放置在码流中不同的地方;任何若干语法元素也可以合并成一个语法元素;任何语法元素也可以不存在于某个编码块或解码块或PU或CU或CTU或LCU的码流段中;
码流段中的调色板/复制标记位,索引或复制位置,复制大小,无参考像素样值等参数,可以是这些参数本身,也可以是这些参数经过预测编码、匹配编码、变换编码、量化编码、DPCM、一阶和高阶差分编码、映射编码、游程编码、索引编码等各种常用技术编码后的变体;
所述复制位置,复制大小,无参考像素分别可以仅有一个分量,也可以有两个分量,或者进一步划分成三个分量甚至更多分量
所述样值子集编号可以是复制位置的一部分,或者只有一个样值子集,这时,样值子集编号为空。
8)实施和变体例8:重构参考像素样值集的分量排列格式、色彩格式和像素样值排列方式
重构参考像素样值集有但不限于下列分量排列格式、色彩格式、像素样值排列方式:
叠包格式、YUV或GBR色彩格式、LCU或CU内垂直扫描1维串形排列方式,或者
叠包格式、YUV或GBR色彩格式、LCU或CU内水平扫描1维串形排列方式,或者
叠包格式、YUV或GBR色彩格式、图像固有的2维排列方式,或者
平面格式、YUV或GBR色彩格式、LCU或CU内垂直扫描1维串形排列方式,或者
平面格式、YUV或GBR色彩格式、LCU或CU内水平扫描1维串形排列方式,或者
平面格式、YUV或GBR色彩格式、图像固有的2维排列方式,或者
空集。
9)实施和变体例9:参考串和其复制位置及复制长度的例(复制左边,复制上边)
参考串和当前串可以有互相重叠的样值位置,即参考串的复制位置D和复制长度L满足下列关系:D<L;这时,当前串的L个样值是参考串的第一个样值与当前串的第一个样值之间的D个样值(即当前串的第一个样值之前的D个样值)的重复,也就是:
当D=1<L时,当前串是当前串的第一个样值(即当前样值)之前的那个样值P重复L次:PPP……PP,即当前串的L个样值都是P;这种情况等同与当前样值之前的那个样值P重复L+1次;如果P在第二参考缓存中,其在第二参考缓存中的复制位置是D2,那么这个P就可以与当前串合并,用复制位置=D2,复制大小=L+1的点复制的参考点来表示;
当D=2<L而L是偶数时,当前串是当前样值之前的两个样值P1P2重复L/2次:P1P2P1P2……P1P2,即当前串的L个样值都是P1P2的重复;
当D=2<L而L是奇数时,当前串是当前样值之前的两个样值P1P2重复(L-1)/2次后再加上P1:P1P2P1P2……P1P2P1,即当前串的L个样值都是P1P2的重复,最后再加上P1;
当D=3<L时,当前串是当前样值之前的三个样值P1P2P3的重复一直到长度达到L为止;
当D=4<L时,当前串是当前样值之前的四个样值P1P2P3P4的重复一直到长度达到L为止;
当D<L时,匹配当前串是当前样值之前的D个样值P1P2……PD-1PD的重复一直到长度达到L为止;
或者
在一个水平(或垂直)方向的总样值数为X的CU内,参考串在当前串的相邻正上方(或正左边),即参考串的复制位置D=X;当这种情况出现的频度很高时,D=X用一个特殊的较短的码放入码流;
或者
在一个水平(或垂直)方向的总样值数为X的CU内,匹配参考串在匹配当前串的正上方(或正左边)但并不一定相邻,即匹配串的复制位置D满足下列关系:D=nX;当这种情况出现的频度很高时,D=nX用若干特殊的较短的码来表示n并放入码流。
10)实施和变体例10:参考像素样值是重构像素样值的变体的例
参考像素样值是重构像素样值经过数值量化和反量化运算的样值;或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,计算一次之后,不再变动;或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用编码或解码量化参数来计算;或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用参考像素样值所在CU的编码或解码量化参数来计算;或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用参考像素样值所在CU的编码或解码量化参数来计算,计算一次之后,不再变动;或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用当前CU的编码或解码量化参数来计算;或者
参考像素样值是重构像素样值经过数值量化和反量化运算的样值,所述数值量化和反量化运算使用当前CU的编码或解码量化参数来计算,每编码或解码一个CU,要重新计算一次;或者
参考像素样值是重构像素样值经过颜色量化的样值;或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用基于颜色的像素聚类获得的一个调色板来计算;或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与参考像素样值所在编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算;或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与参考像素样值所在编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算,计算一次之后,不再变动;或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与参考像素样值所在编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的动态更新部分内容的调色板来计算,计算一次之后,不再变动;或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与当前编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算;或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个与当前编码块或解码块或PU或CU或CTU或LCU关联的基于颜色的像素聚类获得的调色板来计算,每编码或解码一个编码块或解码块或PU或CU或CTU或LCU,要重新计算一次;或者
参考像素样值是重构像素样值经过颜色量化的样值,所述颜色量化采用一个全局的基于颜色的像素聚类获得的调色板来计算。
11)实施和变体例11:复制位置的变体(差分等)和格式(1维或2维等)
重构参考像素样值集的样值和当前CU的样值按照预先规定的方式排列成一个1维的数组,数组中每个样值都有一个线性地址,当前串的复制位置是对应的参考串的第一个样值的线性地址减去所述当前串的第一个样值的线性地址;所述复制位置在压缩数据比特流中对应的语法元素是所述复制位置经过熵编码的语法元素;所述复制位置通常是一个单变量参数即只有1个分量;或者
重构参考像素样值集的样值和当前CU的样值按照预先规定的方式排列成一个1维的数组,数组中每个样值都有一个线性地址,当前串的复制位置是对应的参考串的第一个样值的线性地址减去所述当前串的第一个样值的线性地址;所述复制位置在压缩数据比特流中对应的语法元素是所述复制位置与其他复制位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述复制位置通常是一个单变量参数即只有1个分量;或者
重构参考像素样值集的样值和当前CU的样值按照预先规定的方式排列成一个2维的数组,数组中每个样值都有一个平面坐标,当前串的复制位置是对应的参考串的第一个样值的平面坐标减去所述当前串的第一个样值的平面坐标;所述复制位置在压缩数据比特流中对应的语法元素是所述复制位置经过熵编码的语法元素;所述复制位置通常是一个双变量参数即有2个分量;或者
重构参考像素样值集的样值和当前CU的样值按照预先规定的方式排列成一个2维的数组,数组中每个样值都有一个平面坐标,当前串的复制位置是对应的参考串的第一个样值的平面坐标减去所述当前串的第一个样值的平面坐标;所述复制位置在压缩数据比特流中对应的语法元素是所述复制位置与其他复制位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述复制位置通常是一个双变量参数即有2个分量;或者
重构参考像素样值集的样值和当前CU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个2维的数组,区域和数组中每个样值都有一个区域编号和一个平面坐标,当前串的复制位置是对应的参考串的第一个样值的区域编号和平面坐标减去所述当前串的第一个样值的区域编号和平面坐标;所述复制位置在压缩数据比特流中对应的语法元素是所述复制位置经过熵编码的语法元素;所述复制位置通常是一个三变量参数即有3个分量;或者
重构参考像素样值集的样值和当前CU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个2维的数组,区域和数组中每个样值都有一个区域编号和一个平面坐标,当前串的复制位置是对应的参考串的第一个样值的区域编号和平面坐标减去所述当前串的第一个样值的区域编号和平面坐标;所述复制位置在压缩数据比特流中对应的语法元素是所述复制位置与其他复制位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述复制位置通常是一个三变量参数即有3个分量;或者
重构参考像素样值集的样值和当前CU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个1维的数组,区域和数组中每个样值都有一个区域编号和一个线性地址,当前串的复制位置是对应的参考串的第一个样值的区域编号和线性地址减去所述当前串的第一个样值的区域编号和线性地址;所述复制位置在压缩数据比特流中对应的语法元素是所述复制位置经过熵编码的语法元素;所述复制位置通常是一个双变量参数即有2个分量;或者
重构参考像素样值集的样值和当前CU的样值按照预先规定的方式先划分成若干区域,每个区域内的样值再排列成一个1维的数组,区域和数组中每个样值都有一个区域编号和一个线性地址,当前串的复制位置是对应的参考串的第一个样值的区域编号和线性地址减去所述当前串的第一个样值的区域编号和线性地址;所述复制位置在压缩数据比特流中对应的语法元素是所述复制位置与其他复制位置经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;所述复制位置通常是一个双变量参数即有2个分量。
12)实施和变体例12:复制长度的变体(差分等)和格式(单变量或双变量等)
当前串的复制长度L是一个单变量参数;所述复制长度在压缩数据比特流中对应的语法元素是所述复制长度的单变量参数经过熵编码的语法元素;或者
当前串的复制长度L是一个单变量参数;所述复制长度在压缩数据比特流中对应的语法元素是所述复制长度的单变量参数与其他复制长度的单变量参数经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;或者
在一个水平(或垂直)方向的总样值数为X的CU内,当前串的复制长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X+1≤L≤kX的一个正整数,而LL=L-(k-1)X;所述复制长度在压缩数据比特流中对应的语法元素是所述复制长度的双变量参数经过熵编码的语法元素;或者
在一个水平(或垂直)方向的总样值数为X的CU内,当前串的复制长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X+1≤L≤kX的一个正整数,而LL=L-(k-1)X;所述复制长度在压缩数据比特流中对应的语法元素是所述复制长度的双变量参数与其他复制长度的双变量参数经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;或者
其第一个像素样值与当前CU的右边界(或下边界)之间的水平(或垂直)距离为X的当前串的复制长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X+1≤L≤kX的一个正整数,而LL=L-(k-1)X;所述复制长度在压缩数据比特流中对应的语法元素是所述复制长度的双变量参数经过熵编码的语法元素;或者
其第一个像素样值与当前CU的右边界(或下边界)之间的水平(或垂直)距离为X的当前串的复制长度L被分解成一对双变量参数(k,LL),其中k是满足(k-1)X+1≤L≤kX的一个正整数,而LL=L-(k-1)X;所述复制长度在压缩数据比特流中对应的语法元素是所述复制长度的双变量参数与其他复制长度的双变量参数经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素。
13)实施和变体例13:无参考像素的变体(差分等)
无参考像素在压缩数据比特流中对应的语法元素是所述无参考像素经过熵编码的语法元素;或者
无参考像素在压缩数据比特流中对应的语法元素是所述无参考像素与其他无参考像素经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过熵编码的语法元素;或者
无参考像素在压缩数据比特流中对应的语法元素是所述无参考像素经过量化运算后再经过熵编码的语法元素;或者
无参考像素在压缩数据比特流中对应的语法元素是所述无参考像素与其他无参考像素经过排列方式转换和/或映射运算和/或串匹配编码和/或一阶或高阶预测和差分运算后再经过量化运算后再经过熵编码的语法元素。
上述实施例提供的图像处理的方法和装置,能够充分发掘和利用图像中各编码图像区域的特点,提高图像压缩效果。
本领域普通技术人员可以理解上述方法中的全部或部分步骤可通过程序来指令相关硬件完成,所述程序可以存储于计算机可读存储介质中,如只读存储器、磁盘或光盘等。可选地,上述实施例的全部或部分步骤也可以使用一个或多个集成电路来实现,相应地,上述实施例中的各模块/单元可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。本发明不限制于任何特定形式的硬件和软件的结合。
需要说明的是,本发明还可有其他多种实施例,在不背离本发明精神及其实质的情况下,熟悉本领域的技术人员可根据本发明作出各种相应的改变和变形,但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (74)

1.一种图像编码方法,该方法包括:
确定编码块的编码方式;
对所述编码块使用多种编码方式进行混合编码,包括:对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,
其中,所述编码方式包括以下编码方式中的一种或多种:调色板编码、块复制编码、微块复制编码、条复制编码、串复制编码和矩形复制编码;
所述对所述编码块使用多种编码方式进行混合编码,包括:将所述编码块中的所述像素样值段分别进行编码后生成的解码参数混合写入所述编码块的码流中;
在所述编码块采用了调色板编码和串复制编码混合的编码方式时,所述调色板编码的路径扫描方式与所述串复制编码的复制路径形状模式一致。
2.如权利要求1所述的方法,其特征在于:
所述编码块是图像的一个编码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
3.如权利要求1或2所述的方法,其特征在于:
对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,包括:
构造或获取调色板,对所述像素样值段进行调色板编码,生成与调色板解码有关的调色板参数;或者
对所述像素样值段进行复制编码,生成与复制解码有关的复制参数。
4.如权利要求3所述的方法,其特征在于:
将所述编码块中的所述像素样值段分别进行编码后生成的解码参数混合写入所述编码块的码流中,包括:
在所述编码块的码流中混合写入所述像素样值段的解码方式的标识码。
5.如权利要求3所述的方法,其特征在于:
所述调色板参数包括以下参数的至少一种:调色板像素样值的索引和重复该索引的索引游程的长度、复制上方索引的索引游程的长度;
所述复制参数包括以下参数的至少一种:复制位置、和复制大小。
6.如权利要求1所述的方法,其特征在于:
对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,包括:
在对所述编码块中的像素样值段采用串复制编码时,根据所述编码块的串复制编码的复制路径形状模式从重构参考像素样值集内获取与所述像素样值段匹配的参考像素样值串。
7.如权利要求6所述的方法,其特征在于:
所述串复制编码的复制路径形状模式包括以下模式的任意一种:
模式1:垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描;
模式2:水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描从左向右扫描;
模式3:垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描,列间从左至右扫描;
模式4:水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行扫描,行中样值水平扫描从左向右扫描,行间从上至下扫描;
模式5:衍生的垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式6:衍生的水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描;
模式7:衍生的垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列间从左至右扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式8:衍生的水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行排列,行间从上至下扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描。
8.如权利要求6所述的方法,其特征在于,还包括:
图像中只使用一种串复制编码的复制路径形状模式时,在所述图像对应的图像层信息单元中编码复制路径形状模式信息;和/或
视频序列中只使用一种串复制编码的复制路径形状模式时,在所述视频序列的序列层信息单元中编码复制路径形状模式信息。
9.如权利要求8所述的方法,其特征在于:
所述图像层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息;和/或
所述序列层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息。
10.如权利要求3所述的方法,其特征在于:
对所述像素样值段进行复制编码,包括:从重构参考像素样值集中获取与所述像素样值段匹配的参考像素样值段;
其中,所述重构参考像素样值集包括:重构样值和/或重构样值的变体;
其中,重构样值的变体包括:对重构样值进行处理和/或变换生成的样值。
11.如权利要求3所述的方法,其特征在于,还包括:
在所述编码块所在图像对应的图像层信息单元中编码编码块模式信息,其中,所述编码块模式信息包括以下模式的至少一种:
模式1:所述图像包含四种编码块类型:第1类、第2类、第3类、第4类;
模式2:所述图像包含三种编码块类型:第1类、第2类、第3类;
模式3:所述图像包含三种编码块类型:第1类、第2类、第4类;
模式4:所述图像包含三种编码块类型:第1类、第3类、第4类;
模式5:所述图像包含三种编码块类型:第2类、第3类、第4类;
模式6~11:所述图像包含两种编码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述图像包含一种编码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述编码块类型包括:
第1类:编码块采用了调色板编码、串复制编码和矩形复制编码;
第2类:编码块采用了串复制编码和矩形复制编码;
第3类:编码块采用了调色板编码和串复制编码;
第4类:编码块采用了调色板编码和矩形复制编码。
12.如权利要求3所述的方法,其特征在于,还包括:
在所述编码块所在视频序列对应的序列层信息单元中编码编码块模式信息,其中,所述编码块模式信息包括以下模式的至少一种:
模式1:所述视频序列包含四种编码块类型:第1类、第2类、第3类、第4类;
模式2:所述视频序列包含三种编码块类型:第1类、第2类、第3类;
模式3:所述视频序列包含三种编码块类型:第1类、第2类、第4类;
模式4:所述视频序列包含三种编码块类型:第1类、第3类、第4类;
模式5:所述视频序列包含三种编码块类型:第2类、第3类、第4类;
模式6~11:所述视频序列包含两种编码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述视频序列包含一种编码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述编码块类型包括:
第1类:编码块采用了调色板编码、串复制编码和矩形复制编码;
第2类:编码块采用了串复制编码和矩形复制编码;
第3类:编码块采用了调色板编码和串复制编码;
第4类:编码块采用了调色板编码和矩形复制编码。
13.如权利要求1-2中任一项所述的方法,其特征在于:
所述像素样值段的组成元素至少包括以下一种:像素、像素分量、像素索引。
14.如权利要求3所述的方法,其特征在于:
所述解码参数由多个子参数域组成,所述解码参数的同种类型的子参数域的编码比特放置在码流中的前后相连的一个或多个字段,或者,放置在码流中的不同字段。
15.如权利要求14所述的方法,其特征在于:
所述解码参数的子参数域是单分量子参数域、双分量子参数域、或三分量子参数域。
16.如权利要求14或15所述的方法,其特征在于:
所述子参数域包括以下子参数域的至少一种:
子参数域1:编码方式类型;所述编码方式类型包括以下类型的任意一种:调色板编码、块复制编码、微块复制编码、条复制编码、串复制编码、矩形复制编码和无参考像素复制编码;
子参数域2:索引或复制位置;
子参数域3:索引长度或复制大小;
子参数域4:无参考像素样值。
17.如权利要求14或15所述的方法,其特征在于,还包括:
在所述编码块的码流中混合编码像素样值段的信息字段,所述码流中包含以下一种或多种信息字段:
信息字段1:编码块采用的编码模式;
信息字段2:复制路径形状模式;
信息字段3:像素样值排列方式;
信息字段4:信息字段对应的参数编码方式列表;
信息字段5:调色板编码头信息,包括调色板中像素的个数以及各像素的数值或者复用规则;
信息字段6:包含以下信息的至少一种:像素样值段对应的调色板编码或复制编码标识码、像素样值段对应的样值子集编号或空、像素样值段对应的索引或复制位置、像素样值段对应的索引长度或复制大小、和像素样值段对应的无参考像素样值或空;
信息字段7:复制残差或空。
18.如权利要求1或2所述的方法,其特征在于:
确定编码块的编码方式,包括:
构造或获取调色板,和/或对编码块的像素进行预编码以确定像素样值段的编码方式,和/或确定编码块的串复制编码的复制路径形状模式、和/或确定编码块的调色板编码的路径扫描方式。
19.一种图像解码方法,该方法包括:
解析解码块的码流数据,确定所述解码块的像素样值段的解码方式;
对所述解码块进行多种解码方式混合的解码,包括:对所述解码块的所述像素样值段采用对应的解码方式进行解码;
其中,所述解码方式包括以下解码方式的一种或多种:调色板解码、块复制解码、微块复制解码、条复制解码、串复制解码和矩形复制解码;
所述解码块使用调色板解码和串复制解码混合的解码方式时,调色板解码的路径扫描方式与串复制解码的复制路径形状模式一致。
20.如权利要求19所述的方法,其特征在于:
所述解码块是图像的一个解码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
21.如权利要求19或20所述的方法,其特征在于:
对所述解码块进行多种解码方式混合的解码,包括:从所述解码块的码流数据中获取像素样值段的解码参数;
其中,所述解码参数包括调色板参数和/或复制参数。
22.如权利要求21所述的方法,其特征在于:
解析解码块的码流数据,确定所述解码块的像素样值段的解码方式,包括:
从所述解码块的码流数据中获取像素样值段对应的解码方式的标识码。
23.如权利要求21所述的方法,其特征在于:
对所述解码块的所述像素样值段采用对应的解码方式进行解码,包括:
在所述像素样值段使用调色板解码方式时,根据调色板参数对所述像素样值段进行调色板解码;和/或
在所述像素样值段使用复制解码方式时,根据复制参数对所述像素样值段进行复制解码。
24.如权利要求21所述的方法,其特征在于:
所述调色板参数包括以下参数的至少一种:调色板像素样值的索引和重复该索引的索引游程的长度、复制上方索引的索引游程的长度;和/或
所述复制参数包括以下参数的至少一种:复制位置、和复制大小。
25.如权利要求23所述的方法,其特征在于:
在所述像素样值段使用复制解码方式时,根据复制参数对所述像素样值段进行复制解码,包括:
在所述像素样值段采用串复制解码时,确定所述解码块的串复制解码的复制路径形状模式,根据所述复制路径形状模式和复制参数从重构参考像素样值集内获取参考像素样值串。
26.如权利要求25所述的方法,其特征在于:
在根据所述复制路径形状模式和复制参数从重构参考像素样值集内获取参考像素样值串后,还包括:将所述参考像素样值串的值直接或间接赋值予所述像素样值段。
27.如权利要求25所述的方法,其特征在于:
所述串复制解码的复制路径形状模式包括以下模式的任意一种:
模式1:垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描;
模式2:水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描从左向右扫描;
模式3:垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描,列间从左至右扫描;
模式4:水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行扫描,行中样值水平扫描从左向右扫描,行间从上至下扫描;
模式5:衍生的垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式6:衍生的水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描;
模式7:衍生的垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列间从左至右扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式8:衍生的水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行排列,行间从上至下扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描。
28.如权利要求25所述的方法,其特征在于:
所述重构参考像素样值集包括:重构样值和/或重构样值的变体;
其中,重构样值的变体包括:对重构样值进行处理和/或变换生成的样值。
29.如权利要求25所述的方法,其特征在于,还包括:
从图像的图像层信息单元中获取复制路径形状模式信息,所述信息指示所述图像中所有解码块使用指定的复制路径形状模式;和/或
从视频序列的序列层信息单元中获取复制路径形状模式信息,所述信息指示所述序列中所有解码块使用指定的复制路径形状模式。
30.如权利要求29所述的方法,其特征在于:
所述图像层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息;和/或
所述序列层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息。
31.如权利要求22所述的方法,其特征在于,还包括:
从所述解码块所在图像对应的图像层信息单元中获取解码块模式信息,其中,所述解码块模式信息包括以下模式的至少一种:
模式1:所述图像包含四种解码块类型:第1类、第2类、第3类、第4类;
模式2:所述图像包含三种解码块类型:第1类、第2类、第3类;
模式3:所述图像包含三种解码块类型:第1类、第2类、第4类;
模式4:所述图像包含三种解码块类型:第1类、第3类、第4类;
模式5:所述图像包含三种解码块类型:第2类、第3类、第4类;
模式6~11:所述图像包含两种解码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述图像包含一种解码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述解码块类型包括:
第1类:解码块采用了调色板解码、串复制解码和矩形复制解码;
第2类:解码块采用了串复制解码和矩形复制解码;
第3类:解码块采用了调色板解码和串复制解码;
第4类:解码块采用了调色板解码和矩形复制解码。
32.如权利要求22所述的方法,其特征在于,还包括:
从所述解码块所在视频序列对应的序列层信息单元中获取解码块模式信息,其中,所述解码块模式信息包括以下模式的至少一种:
模式1:所述视频序列包含四种解码块类型:第1类、第2类、第3类、第4类;
模式2:所述视频序列包含三种解码块类型:第1类、第2类、第3类;
模式3:所述视频序列包含三种解码块类型:第1类、第2类、第4类;
模式4:所述视频序列包含三种解码块类型:第1类、第3类、第4类;
模式5:所述视频序列包含三种解码块类型:第2类、第3类、第4类;
模式6~11:所述视频序列包含两种解码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述视频序列包含一种解码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述解码块类型包括:
第1类:解码块采用了调色板解码、串复制解码和矩形复制解码;
第2类:解码块采用了串复制解码和矩形复制解码;
第3类:解码块采用了调色板解码和串复制解码;
第4类:解码块采用了调色板解码和矩形复制解码。
33.如权利要求19-20中任一项所述的方法,其特征在于:
所述像素样值段的组成元素至少包括以下一种:像素、像素分量、像素索引。
34.如权利要求21所述的方法,其特征在于:
所述解码参数由多个子参数域组成,所述解码参数的同种类型的子参数域的输入比特位于码流中的前后相连的一个或多个字段,或者,位于码流中的不同字段。
35.如权利要求34所述的方法,其特征在于:
所述解码参数的子参数域是单分量子参数域、双分量子参数域、或三分量子参数域。
36.如权利要求34或35所述的方法,其特征在于:
所述解码参数的子参数域包括以下子参数域的至少一种:
子参数域1:解码方式类型;所述解码方式类型包括以下类型的任意一种:调色板解码、块复制解码、微块复制解码、条复制解码、串复制解码、矩形复制解码和无参考像素复制解码;
子参数域2:索引或复制位置;
子参数域3:索引长度或复制大小;
子参数域4:无参考像素样值。
37.如权利要求19或20所述的方法,其特征在于:
解析解码块的码流数据,确定所述解码块的像素样值段的解码方式,包括:
从所述解码块的码流中混合解码像素样值段的信息字段,所述码流中包含以下一种或多种信息字段:
信息字段1:解码块采用的解码模式;
信息字段2:复制路径形状模式;
信息字段3:像素样值排列方式;
信息字段4:信息字段对应的参数解码方式列表;
信息字段5:调色板解码头信息,包括调色板中像素的个数以及各像素的数值或者复用规则;
信息字段6:包含以下信息的至少一种:像素样值段对应的调色板解码或复制解码标识码、像素样值段对应的样值子集编号或空、像素样值段对应的索引或复制位置、像素样值段对应的索引长度或复制大小、和像素样值段对应的无参考像素样值或空;
信息字段7:复制残差或空。
38.一种图像编码装置,包括:
编码方式确定模块,用于确定编码块的编码方式;
编码模块,用于对所述编码块使用多种编码方式进行混合编码,包括:对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码;
其中,所述编码方式包括以下编码方式中的一种或多种:调色板编码、块复制编码、微块复制编码、条复制编码、串复制编码和矩形复制编码;
编码模块,用于对所述编码块使用多种编码方式进行混合编码,包括:将所述编码块中的所述像素样值段分别进行编码后生成的解码参数混合写入所述编码块的码流中;
在所述编码块采用了调色板编码和串复制编码混合的编码方式时,所述调色板编码的路径扫描方式与所述串复制编码的复制路径形状模式一致。
39.如权利要求38所述的装置,其特征在于:
所述编码块是图像的一个编码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
40.如权利要求38或39所述的装置,其特征在于:
编码模块,用于对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,包括:
对所述像素样值段进行调色板编码,生成与调色板解码有关的调色板参数;或者
对所述像素样值段进行复制编码,生成与复制解码有关的复制参数。
41.如权利要求40所述的装置,其特征在于:
编码模块,用于将所述编码块中的所述像素样值段分别进行编码后生成的解码参数混合写入所述编码块的码流中,包括:
在所述编码块的码流中混合写入所述像素样值段的解码方式的标识码。
42.如权利要求40所述的装置,其特征在于:
所述调色板参数包括以下参数的至少一种:调色板像素样值的索引和重复该索引的索引游程的长度、复制上方索引的索引游程的长度;和/或
所述复制参数包括以下参数的至少一种:复制位置、和复制大小。
43.如权利要求38所述的装置,其特征在于:
编码模块,用于对所述编码块中的像素样值段采用所述多种编码方式中的一种进行编码,包括:
在对所述编码块中的像素样值段采用串复制编码时,根据所述编码块的串复制编码的复制路径形状模式从重构参考像素样值集内获取与所述像素样值段匹配的参考像素样值串。
44.如权利要求38所述的装置,其特征在于:
所述串复制编码的复制路径形状模式包括以下模式的任意一种:
模式1:垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描;
模式2:水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描从左向右扫描;
模式3:垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描,列间从左至右扫描;
模式4:水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行扫描,行中样值水平扫描从左向右扫描,行间从上至下扫描;
模式5:衍生的垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式6:衍生的水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描;
模式7:衍生的垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列间从左至右扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式8:衍生的水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行排列,行间从上至下扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描。
45.如权利要求43所述的装置,其特征在于:
编码模块,还用于在图像中只使用一种串复制编码的复制路径形状模式时,在所述图像对应的图像层信息单元中编码复制路径形状模式信息;和/或,在视频序列中只使用一种串复制编码的复制路径形状模式时,在所述视频序列的序列层信息单元中编码复制路径形状模式信息。
46.如权利要求45所述的装置,其特征在于:
所述图像层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息;和/或
所述序列层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息。
47.如权利要求40所述的装置,其特征在于:
编码模块,用于对所述像素样值段进行复制编码,包括:从重构参考像素样值集中获取与所述像素样值段匹配的参考像素样值段;
其中,所述重构参考像素样值集包括:重构样值和/或重构样值的变体;
其中,重构样值的变体包括:对重构样值进行处理和/或变换生成的样值。
48.如权利要求40所述的装置,其特征在于:
编码模块,还用于在所述编码块所在图像对应的图像层信息单元中编码编码块模式信息,其中,所述编码块模式信息包括以下模式的至少一种:
模式1:所述图像包含四种编码块类型:第1类、第2类、第3类、第4类;
模式2:所述图像包含三种编码块类型:第1类、第2类、第3类;
模式3:所述图像包含三种编码块类型:第1类、第2类、第4类;
模式4:所述图像包含三种编码块类型:第1类、第3类、第4类;
模式5:所述图像包含三种编码块类型:第2类、第3类、第4类;
模式6~11:所述图像包含两种编码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述图像包含一种编码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述编码块类型包括:
第1类:编码块采用了调色板编码、串复制编码和矩形复制编码;
第2类:编码块采用了串复制编码和矩形复制编码;
第3类:编码块采用了调色板编码和串复制编码;
第4类:编码块采用了调色板编码和矩形复制编码。
49.如权利要求40所述的装置,其特征在于:
编码模块,还用于在所述编码块所在视频序列对应的序列层信息单元中编码编码块模式信息,其中,所述编码块模式信息包括以下模式的至少一种:
模式1:所述视频序列包含四种编码块类型:第1类、第2类、第3类、第4类;
模式2:所述视频序列包含三种编码块类型:第1类、第2类、第3类;
模式3:所述视频序列包含三种编码块类型:第1类、第2类、第4类;
模式4:所述视频序列包含三种编码块类型:第1类、第3类、第4类;
模式5:所述视频序列包含三种编码块类型:第2类、第3类、第4类;
模式6~11:所述视频序列包含两种编码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述视频序列包含一种编码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述编码块类型包括:
第1类:编码块采用了调色板编码、串复制编码和矩形复制编码;
第2类:编码块采用了串复制编码和矩形复制编码;
第3类:编码块采用了调色板编码和串复制编码;
第4类:编码块采用了调色板编码和矩形复制编码。
50.如权利要求38-39中任一项所述的装置,其特征在于:
所述像素样值段的组成元素至少包括以下一种:像素、像素分量、像素索引。
51.如权利要求40所述的装置,其特征在于:
所述解码参数由多个子参数域组成,所述解码参数的同种类型的子参数域的编码比特放置在码流中的前后相连的一个或多个字段,或者,放置在码流中的不同字段。
52.如权利要求51所述的装置,其特征在于:
所述解码参数的子参数域是单分量子参数域、双分量子参数域、或三分量子参数域。
53.如权利要求51或52所述的装置,其特征在于:
所述子参数域包括以下子参数域的至少一种:
子参数域1:编码方式类型;所述编码方式类型包括以下类型的任意一种:调色板编码、块复制编码、微块复制编码、条复制编码、串复制编码、矩形复制编码和无参考像素复制编码;
子参数域2:索引或复制位置;
子参数域3:复制大小;
子参数域4:无参考像素样值。
54.如权利要求51或52所述的装置,其特征在于:
编码模块,还用于在所述编码块对应的码流中混合编码像素样值段的信息字段,所述码流中包含以下一种或多种信息字段:
信息字段1:编码块采用的编码模式;
信息字段2:复制路径形状模式;
信息字段3:像素样值排列方式;
信息字段4:信息字段对应的参数编码方式列表;
信息字段5:调色板编码头信息,包括调色板中像素的个数以及各像素的数值或者复用规则;
信息字段6:包含以下信息的至少一种:像素样值段对应的调色板编码或复制编码标识码、像素样值段对应的样值子集编号或空、像素样值段对应的索引或复制位置、像素样值段对应的索引长度或复制大小、和像素样值段对应的无参考像素样值或空;
信息字段7:复制残差或空。
55.如权利要求38或39所述的装置,其特征在于:
编码方式确定模块,用于确定编码块的编码方式,包括:构造或获取调色板,和/或对编码块的像素进行预编码以确定像素样值段的编码方式,和/或确定编码块的串复制编码的复制路径形状模式、和/或确定编码块的调色板编码的路径扫描方式。
56.一种图像解码装置,包括:
解析模块,用于解析解码块的码流数据,确定所述解码块的像素样值段的解码方式;
解码模块,用于对所述解码块进行多种解码方式混合的解码,包括:对所述解码块的所述像素样值段采用对应的解码方式进行解码;
其中,所述解码方式包括以下解码方式的一种或多种:调色板解码、块复制解码、微块复制解码、条复制解码、串复制解码和矩形复制解码;
所述解码块使用调色板解码和串复制解码混合的解码方式时,调色板解码的路径扫描方式与串复制解码的复制路径形状模式一致。
57.如权利要求56所述的装置,其特征在于:
所述解码块是图像的一个解码区域,包括以下至少一种:最大编码单元LCU、编码树单元CTU、编码单元CU、CU的子区域、预测单元PU、变换单元TU、和不对称划分AMP。
58.如权利要求56或57所述的装置,其特征在于:
解码模块,用于对所述解码块进行多种解码方式混合的解码,包括:从所述解码块的码流数据中获取像素样值段的解码参数;
其中,所述解码参数包括调色板参数和/或复制参数。
59.如权利要求58所述的装置,其特征在于:
解析模块,用于解析当前解码块的码流数据,确定当前解码块的各像素样值段对应的解码方式,包括:
从当前解码块的码流数据中获取像素样值段对应的解码方式的标识码。
60.如权利要求58所述的装置,其特征在于:
解码模块,用于对所述解码块的所述像素样值段采用对应的解码方式进行解码,包括:
在所述像素样值段使用调色板解码方式时,根据调色板参数对所述像素样值段进行调色板解码;和/或
在所述像素样值段使用复制解码方式时,根据复制参数对所述像素样值段进行复制解码。
61.如权利要求58所述的装置,其特征在于:
所述调色板参数包括以下参数的至少一种:调色板像素样值的索引和重复该索引的索引游程的长度、复制上方索引的索引游程的长度;和/或
所述复制参数包括以下参数的至少一种:复制位置、和复制大小。
62.如权利要求60所述的装置,其特征在于:
解码模块,用于在所述像素样值段使用复制解码方式时,根据复制参数对所述像素样值段进行复制解码,包括:
在所述像素样值段采用串复制解码时,确定所述解码块的串复制解码的复制路径形状模式,根据所述复制路径形状模式和复制参数从重构参考像素样值集内获取参考像素样值串。
63.如权利要求62所述的装置,其特征在于:
解码模块,用于在根据所述复制路径形状模式和复制参数从重构参考像素样值集内获取参考像素样值串后,还包括:将所述参考像素样值串的值直接或间接赋值予所述像素样值段。
64.如权利要求62所述的装置,其特征在于:
所述串复制解码的复制路径形状模式包括以下模式的任意一种:
模式1:垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描;
模式2:水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描从左向右扫描;
模式3:垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列中样值垂直扫描自上而下扫描,列间从左至右扫描;
模式4:水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行扫描,行中样值水平扫描从左向右扫描,行间从上至下扫描;
模式5:衍生的垂直路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按列扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式6:衍生的水平路径一维串形复制模式,参考像素样值串和当前像素样值串为一维样值串,样值按行扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描;
模式7:衍生的垂直路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按列扫描,列间从左至右扫描,列中样值垂直扫描路径走向列间交替变化,具体是:奇数列自上而下扫描而偶数列自下而上扫描,或者偶数列自上而下扫描而奇数列自下而上扫描;
模式8:衍生的水平路径二维保形复制模式,参考像素样值串和当前像素样值串为形状相同的二维样值串,样值按行排列,行间从上至下扫描,行中样值水平扫描路径走向行间交替变化,具体是:奇数行从左向右扫描而偶数行从右向左扫描,或者偶数行从左向右扫描而奇数行从右向左扫描。
65.如权利要求62所述的装置,其特征在于:
所述重构参考像素样值集包括:重构样值和/或重构样值的变体;
其中,重构样值的变体包括:对重构样值进行处理和/或变换生成的样值。
66.如权利要求59所述的装置,其特征在于:
解析模块,还用于从图像的图像层信息单元中获取复制路径形状模式信息,所述信息指示所述图像中所有解码块使用指定的复制路径形状模式;和/或,从视频序列的序列层信息单元中获取复制路径形状模式信息,所述信息指示所述序列中所有解码块使用指定的复制路径形状模式。
67.如权利要求66所述的装置,其特征在于:
所述图像层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息;和/或
所述序列层信息单元包括以下信息单元中的至少一种:视频参数集VPS、序列参数集SPS、图像参数集PPS、和分片头信息。
68.如权利要求59所述的装置,其特征在于:
解析模块,还用于从所述解码块所在图像对应的图像层信息单元中获取解码块模式信息,其中,所述解码块模式信息包括以下模式的至少一种:
模式1:所述图像包含四种解码块类型:第1类、第2类、第3类、第4类;
模式2:所述图像包含三种解码块类型:第1类、第2类、第3类;
模式3:所述图像包含三种解码块类型:第1类、第2类、第4类;
模式4:所述图像包含三种解码块类型:第1类、第3类、第4类;
模式5:所述图像包含三种解码块类型:第2类、第3类、第4类;
模式6~11:所述图像包含两种解码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述图像包含一种解码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述解码块类型包括:
第1类:解码块采用了调色板解码、串复制解码和矩形复制解码;
第2类:解码块采用了串复制解码和矩形复制解码;
第3类:解码块采用了调色板解码和串复制解码;
第4类:解码块采用了调色板解码和矩形复制解码。
69.如权利要求59所述的装置,其特征在于:
解析模块,还用于从所述解码块所在视频序列对应的序列层信息单元中获取解码块模式信息,其中,所述解码块模式信息包括以下模式的至少一种:
模式1:所述视频序列包含四种解码块类型:第1类、第2类、第3类、第4类;
模式2:所述视频序列包含三种解码块类型:第1类、第2类、第3类;
模式3:所述视频序列包含三种解码块类型:第1类、第2类、第4类;
模式4:所述视频序列包含三种解码块类型:第1类、第3类、第4类;
模式5:所述视频序列包含三种解码块类型:第2类、第3类、第4类;
模式6~11:所述视频序列包含两种解码块类型:第1类、第2类、第3类和第4类中的任意两种类型;
模式12~15:所述视频序列包含一种解码块类型:第1类、第2类、第3类和第4类中的任意一种类型;
其中,所述解码块类型包括:
第1类:解码块采用了调色板解码、串复制解码和矩形复制解码;
第2类:解码块采用了串复制解码和矩形复制解码;
第3类:解码块采用了调色板解码和串复制解码;
第4类:解码块采用了调色板解码和矩形复制解码。
70.如权利要求56-57中任一项所述的装置,其特征在于:
所述像素样值段的组成元素至少包括以下一种:像素、像素分量、像素索引。
71.如权利要求58所述的装置,其特征在于:
所述解码参数由多个子参数域组成,所述解码参数的同种类型的子参数域的输入比特位于码流中的前后相连的一个或多个字段,或者,位于码流中的不同字段。
72.如权利要求71所述的装置,其特征在于:
所述解码参数的子参数域是单分量子参数域、双分量子参数域、或三分量子参数域。
73.如权利要求71或72所述的装置,其特征在于:
所述解码参数的子参数域包括以下子参数域的至少一种:
子参数域1:解码方式类型;所述解码方式类型包括以下类型的任意一种:调色板解码、块复制解码、微块复制解码、条复制解码、串复制解码、矩形复制解码和无参考像素复制解码;
子参数域2:索引或复制位置;
子参数域3:索引长度或复制大小;
子参数域4:无参考像素样值。
74.如权利要求56或57所述的装置,其特征在于:
解析模块,用于解析解码块的码流数据,确定所述解码块的像素样值段的解码方式,包括:
从所述解码块码流中混合解码像素样值段的信息字段,所述码流中包含以下一种或多种信息字段:
信息字段1:解码块采用的解码模式;
信息字段2:复制路径形状模式;
信息字段3:像素样值排列方式;
信息字段4:信息字段对应的参数解码方式列表;
信息字段5:调色板解码头信息,包括调色板中像素的个数以及各像素的数值或者复用规则;
信息字段6:包含以下信息的至少一种:像素样值段对应的调色板解码或复制解码标识码、像素样值段对应的样值子集编号或空、像素样值段对应的索引或复制位置、像素样值段对应的复制大小、和像素样值段对应的无参考像素样值或空;
信息字段7:复制残差或空。
CN201410709902.2A 2014-11-28 2014-11-28 图像编码方法、解码方法、编码装置和解码装置 Active CN105704491B (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201410709902.2A CN105704491B (zh) 2014-11-28 2014-11-28 图像编码方法、解码方法、编码装置和解码装置
US15/529,998 US10341651B2 (en) 2014-11-28 2015-11-17 Image coding method, decoding method, coding device and decoding device
PCT/CN2015/094817 WO2016082699A1 (zh) 2014-11-28 2015-11-17 图像编码方法、解码方法、编码装置和解码装置
EP15862330.6A EP3211900A4 (en) 2014-11-28 2015-11-17 Image coding method, decoding method, coding device and decoding device
EP21170107.3A EP3876537A1 (en) 2014-11-28 2015-11-17 Image coding method, decoding method, coding device and decoding device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410709902.2A CN105704491B (zh) 2014-11-28 2014-11-28 图像编码方法、解码方法、编码装置和解码装置

Publications (2)

Publication Number Publication Date
CN105704491A CN105704491A (zh) 2016-06-22
CN105704491B true CN105704491B (zh) 2020-03-13

Family

ID=56073592

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410709902.2A Active CN105704491B (zh) 2014-11-28 2014-11-28 图像编码方法、解码方法、编码装置和解码装置

Country Status (4)

Country Link
US (1) US10341651B2 (zh)
EP (2) EP3211900A4 (zh)
CN (1) CN105704491B (zh)
WO (1) WO2016082699A1 (zh)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104853209B (zh) * 2014-02-16 2020-09-29 同济大学 图像编码、解码方法及装置
JP6164360B2 (ja) * 2014-03-14 2017-07-19 富士通株式会社 画像符号化装置、画像復号装置、画像符号化方法、及び画像復号方法
CN105828080B (zh) 2015-01-26 2020-02-14 同济大学 图像编解码方法及装置
US10205968B2 (en) * 2015-02-13 2019-02-12 Mediatek Inc. Method and apparatus for palette index coding in video and image compression
GB2547047B (en) * 2016-02-08 2018-07-18 Canon Kk Encoder optimizations for palette lossless encoding of content with subsampled colour component
CN106157988B (zh) * 2016-07-25 2019-09-17 合一网络技术(北京)有限公司 播放多媒体文件的方法及装置
CN107770544B (zh) * 2016-08-21 2023-12-08 上海天荷电子信息有限公司 采用多类匹配参数及前参数缓冲区的数据压缩方法和装置
CN106385585B (zh) * 2016-09-14 2019-10-11 西安万像电子科技有限公司 帧编解码的方法、装置、系统、存储介质
CN110546955A (zh) * 2017-02-24 2019-12-06 真实网络公司 视频编码系统和方法中的运动向量选择和预测
CN108574845A (zh) * 2017-03-12 2018-09-25 上海天荷电子信息有限公司 动态采用多种采样格式的数据压缩方法和装置
US10742975B2 (en) * 2017-05-09 2020-08-11 Futurewei Technologies, Inc. Intra-prediction with multiple reference lines
CN108989820B (zh) * 2017-06-03 2022-07-05 上海天荷电子信息有限公司 各阶段采用各自相应色度采样格式的数据压缩方法和装置
FR3075540A1 (fr) * 2017-12-15 2019-06-21 Orange Procedes et dispositifs de codage et de decodage d'une sequence video multi-vues representative d'une video omnidirectionnelle.
CA3130472A1 (en) * 2019-02-24 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Independent coding of palette mode usage indication
CA3132071A1 (en) * 2019-03-08 2020-08-27 Beijing Bytedance Network Technology Co., Ltd. Joint coding of palette mode usage indication
CA3229435A1 (en) * 2019-03-22 2020-10-01 Lg Electronics Inc. Image decoding method and device and image encoding method and device in image coding system
CN113196764A (zh) 2019-04-23 2021-07-30 Oppo广东移动通信有限公司 图像解码方法、解码器以及存储介质
CN110087090B (zh) * 2019-05-20 2021-04-06 绍兴文理学院 采用混合串匹配和帧内预测的数据编码、解码方法
JP7359936B2 (ja) 2019-07-20 2023-10-11 北京字節跳動網絡技術有限公司 パレットモードの使用の指示の条件依存符号化
CN117221536A (zh) 2019-07-23 2023-12-12 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
WO2021018166A1 (en) 2019-07-29 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Scanning order improvements for palette mode coding
US11330306B2 (en) * 2019-08-07 2022-05-10 Tencent America LLC Method and apparatus for video coding
CN112543332B (zh) * 2020-05-26 2021-08-17 腾讯科技(深圳)有限公司 视频解码方法、视频编码方法及相关设备
CN114827618B (zh) * 2020-06-02 2023-03-14 腾讯科技(深圳)有限公司 视频编码方法、视频解码方法及相关设备
US11503336B2 (en) * 2020-12-07 2022-11-15 Tencent America LLC Method and apparatus for video coding
CN112637600B (zh) * 2020-12-14 2024-04-05 绍兴文理学院 对数据进行有损或无损压缩的编码、解码的方法或装置
CN113452995A (zh) * 2021-03-31 2021-09-28 同济大学 当前串与参考串有不同扫描方向的数据编解码方法及装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7016547B1 (en) * 2002-06-28 2006-03-21 Microsoft Corporation Adaptive entropy encoding/decoding for screen capture content
CN100576921C (zh) * 2008-01-14 2009-12-30 浙江大学 基于块分类的混合图像压缩方法
CN101583036B (zh) * 2009-06-22 2010-11-17 浙江大学 像素域视频转码中确定运动特征和高效编码模式关系的方法
CN102098507B (zh) * 2010-06-08 2013-12-25 同济大学 图像统合压缩方法及装置
CN102497546B (zh) * 2011-11-28 2014-03-05 同济大学 一种屏幕图像压缩装置及压缩方法
CN104853209B (zh) * 2014-02-16 2020-09-29 同济大学 图像编码、解码方法及装置
CA2959682C (en) * 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
TW201626798A (zh) * 2014-10-06 2016-07-16 Vid Scale Inc 用於螢幕內容編碼之改良調色編碼

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《CE 7 Test 3: Hybrid 1-D/2-D String-based Index Coding for Palette Index Coding》;Meng. Xu, Zhan Ma, Wei Wang, H. Yu;《Joint Collaborative Team on Video Coding (JCT-VC)》;20141024;全文 *
《Description of screen content coding technology proposal by Qualcomm》;Jianle Chen, Ying Chen, Ted Hsieh, Rajan;《Joint Collaborative Team on Video Coding (JCT-VC)》;20140404;全文 *
《Yu-Wen Huang 》;Yu-Wen Huang;《Joint Collaborative Team on Video Coding (JCT-VC)》;20140404;全文 *

Also Published As

Publication number Publication date
EP3211900A1 (en) 2017-08-30
CN105704491A (zh) 2016-06-22
US10341651B2 (en) 2019-07-02
EP3211900A4 (en) 2017-09-06
WO2016082699A1 (zh) 2016-06-02
US20170332073A1 (en) 2017-11-16
EP3876537A1 (en) 2021-09-08

Similar Documents

Publication Publication Date Title
CN105704491B (zh) 图像编码方法、解码方法、编码装置和解码装置
CN105491376B (zh) 图像编码、解码方法及装置
CN111800640B (zh) 方向交替变换来回扫描串匹配的图像编码解码方法和装置
CN112383780B (zh) 点匹配参考集和索引来回扫描串匹配的编解码方法和装置
CN105847842B (zh) 图像编码方法及装置、图像解码方法及装置
KR101946598B1 (ko) 이미지 코딩, 디코딩 방법 및 장치
CN104754362B (zh) 使用精细划分块匹配的图像压缩方法
WO2015120818A1 (zh) 图像编码、解码方法及装置
US10575022B2 (en) Image encoding and decoding method, image processing device and computer storage medium
CN106254865B (zh) 一种图像编码及解码方法、图像处理设备
CN106254878B (zh) 一种图像编码及解码方法、图像处理设备
WO2016202189A1 (zh) 图像编码及解码方法、图像处理设备、计算机存储介质
CN105992003B (zh) 依据排序或频度对调色板颜色编号的图像压缩方法和装置
CN110505488B (zh) 扩展预测像素数组的图像编码或解码方法
CN106303534B (zh) 多种索引串与像素串融合复制方式的图像压缩方法和装置
CN106303535B (zh) 参考像素取自不同程度重构像素的图像压缩方法和装置
WO2016119746A1 (zh) 图像编码方法及装置、图像解码方法及装置
WO2016197893A1 (zh) 图像编码及解码方法、图像处理设备、计算机存储介质
KR20200130487A (ko) 나머지를 갖는 균일한 타일 분열을 포함하는 비디오 코딩
CN105828080B (zh) 图像编解码方法及装置
CN105828079B (zh) 图像处理方法及装置
KR20130070618A (ko) 트리 구조를 이용한 부호화/복호화 방법 및 장치

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant