CN102761738B - 基于混合色度采样率的图像压缩方法和装置 - Google Patents

基于混合色度采样率的图像压缩方法和装置 Download PDF

Info

Publication number
CN102761738B
CN102761738B CN201110399025.XA CN201110399025A CN102761738B CN 102761738 B CN102761738 B CN 102761738B CN 201110399025 A CN201110399025 A CN 201110399025A CN 102761738 B CN102761738 B CN 102761738B
Authority
CN
China
Prior art keywords
coding
pixel
group
reconstruct
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201110399025.XA
Other languages
English (en)
Other versions
CN102761738A (zh
Inventor
林涛
周开伦
王淑慧
赵利平
李明
吴平
吴钊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tongji University
ZTE Corp
Original Assignee
Tongji University
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tongji University, ZTE Corp filed Critical Tongji University
Priority to CN201710132351.1A priority Critical patent/CN106937113B/zh
Priority to CN201110399025.XA priority patent/CN102761738B/zh
Publication of CN102761738A publication Critical patent/CN102761738A/zh
Application granted granted Critical
Publication of CN102761738B publication Critical patent/CN102761738B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component

Abstract

本发明提供一种图像和视频序列的压缩方法和装置,包含两组不同类型的编码工具,分别对两种不同格式的像素进行压缩编码。第一种格式的像素是原始输入像素,经过对其色度分量的下采样得到第二种格式的像素。编码以具有一定像素的编码单元为基本单位逐个进行。两组编码工具同时对两种像素格式的编码单元进行编码,然后选择率‑失真特性最优的那组编码工具的压缩结果并将其放入输出压缩码流。两组编码工具分别有两种像素格式的历史像素暂存区。这两个暂存区通过上采样和下采样同步更新。本发明特别适用于既含有非连续色调的由计算机产生的文字、背景、图形等非自然图像又含有连续色调的摄像机拍摄的自然图像的复合图像和视频序列的压缩编码。

Description

基于混合色度采样率的图像压缩方法和装置
技术领域
本发明涉及一种视频压缩编码及解码系统,特别是复合图像和视频编码及解码的方法和装置。
背景技术
计算机和信息处理已经进入以“远程屏幕”为特征的“云计算”与“移动计算”相结合的时代。实时远程屏幕传输已成为当前迫切的需求。由于需要传输的屏幕视频数据量很大,以1920*1200像素分辨率且60帧/秒刷新率的24位真彩色屏幕图像为例,需要传输的数据超过每秒3千兆比特,如此多的数据要想在当前的网络条件下实现实时传输是不可能的,因此有效的屏幕图像数据压缩是必不可少的。
屏幕图像的数字视频信号的自然形式是图像的序列。一幅图像通常是由若干像素组成的矩形区域,如果一个数字视频信号每秒有50幅图像,那么一个30分钟的数字视频信号就是一个由30x60x50=90000幅图像组成的视频图像序列,有时也简称为视频序列或序列。对数字视频信号进行编码就是对一幅一幅图像进行编码。为了降低编码和解码的延迟,需要把一幅图像划分成若干块子图像,称为编码单元,以编码单元为基本编码单位,对子图像一块一块进行编码。一种常用的编码单元的大小是16x16个像素,这种编码单元称为宏块。因此,对一个视频图像序列进行编码就是对各个编码单元依次进行编码。同样,解码时也是对各个编码单元依次进行解码,最终重构出整个视频图像序列。
像素有各种格式,如:1个像素由1个红色分量、1个绿色分量、1个蓝色分量组成的RGB像素格式;1个像素由1个亮度Y分量、1个色度U分量、1个色度V分量组成的YUV4:4:4像素格式;左右相邻的2个像素由2个亮度Y分量、1个色度U分量、1个色度V分量组成的YUV4:2:2像素格式;左右上下相邻按2x2空间位置排列的4个像素由4个亮度Y分量、1个色度U分量、1个色度V分量组成的YUV4:2:0像素格式。一个分量一般用1个8~16比特的数字来表示。YUV4:2:2像素格式和YUV4:2:0像素格式都是对YUV4:4:4像素格式施行色度分量的下采样得到,下采样后,数据率分别降低了33%和50%。
图像可以分为两类:1)计算机生成的文字、背景、图形等非自然图像,具有非连续色调的特性,线条精细,棱角分明,色彩相对简单;2)摄像机拍摄的自然图像,具有连续色调的特性,色彩丰富,但少有很细的线条和尖锐的棱角。对自然图像,色度下采样几乎没有视觉影响又可降低数据率。所以对自然图像的压缩编码,绝大多数都是针对YUV4:2:0像素格式的图像的编码。另一方面,色度下采样对非自然图像中的线条和棱角有非常明显的视觉影响。所以对非自然图像的高质量压缩编码,必须是直接对YUV4:4:4像素格式的图像进行编码。
包括屏幕图像在内的各种类型图像和视频序列的编码技术中,使用最多的现有技术的编码方法的流程示意图如图1所示。现有技术的编码方法包括如下步骤:
1)读入具有同一像素格式的一个图像编码单元;
2)对该编码单元进行有损编码;
3)对步骤2)的编码结果继续进行无损编码,并输出编码得到的压缩码流数据;
4)对步骤2)的编码结果进行所述有损编码的逆运算,即重构出所述编码单元的像素,并把重构编码单元的像素放入历史像素暂存区,用作后续编码的参考像素,由于编码是有损的,重构像素不等于原先输入的像素;
5)判断是否已经完成对所有编码单元的编码,如果是,则结束编码,否则回到步骤1),开始对下一个编码单元的编码。
现有技术的解码方法的流程示意图如图2所示。现有技术的解码方法包括如下步骤:
1)读入一段对应与一个图像编码单元的部分输入视频码流数据;
2)解码并重构具有同一像素格式的一个编码单元,并把重构编码单元的像素放入历史像素暂存区,用作后续解码的参考像素;
3)输出重构编码单元;
4)判断是否已经完成对所有编码单元的压缩码流数据的解码,如果是,则结束解码,否则回到步骤1),开始对下一个编码单元的解码。
现有技术的编码装置示意图如图3所示。整个编码装置由以下模块组成:
1)可以存储至少一个编码单元的像素的存储模块;
2)单一像素格式的有损编码模块;
3)单一像素格式的无损编码模块;
4)像素的重构模块;
5)同一像素格式的历史像素暂存模块。
现有技术的的解码装置示意图如图4所示。整个解码装置由以下模块组成:
1)单一像素格式的解码重构模块;
2)同一像素格式的历史像素暂存模块。
如上所述,现有技术中,对一幅图像中的所有编码单元,都是采用同样的单一的像素格式直接对其进行编码。在整幅图像都是自然图像或非自然图像的场合,现有技术是有效的。随着多媒体技术在计算机中的普及,今天和未来的计算机屏幕图像中,如浏览中的多媒体网页,部分屏幕区域是自然图像而另一部分屏幕区域则是非自然图像,两种区域交错混合。因此,现有技术不适用于对含自然图像区域和非自然图像区域的复合图像进行既有高质量又有高压缩率的编码。
发明内容
为了解决复合图像视频编码和解码的现有技术中的这一问题,本发明提供了一种基于混合色度采样率的图像编码与解码的方法和装置。
本发明的主要技术特征如图5所示。
本发明的编码方法和装置中,输入图像是亮度采样率和色度采样率完全一致的图像,如图5所示YUV4:4:4像素格式的图像。输入图像被分割成具有一定像素的基本编码单位,称为编码单元(Coding Unit简称CU),对CU逐个进行编码。
对一个CU进行编码时,首先读入一个YUV4:4:4像素格式的CU(称为4:4:4编码单元或简称4:4:4CU)的全部像素。这个4:4:4CU有3个分量。对该4:4:4CU的两个色度分量进行下采样,得到对应的4:2:0CU。如果在对一幅YUV4:4:4图像进行编码前,已经对该图像的所有色度分量进行了下采样而产生了对应的YUV4:2:0图像,那么所述对应的4:2:0CU也可以从所述对应的YUV4:2:0图像中直接读入。
然后,本发明同时使用两组不同类型的编码工具,分别对4:4:4CU和4:2:0CU进行压缩编码。两组编码完成后,分别计算两种编码结果的率-失真特性,选择率-失真特性最优的那组编码工具的编码结果作为对该CU的最后编码结果,并把相应的压缩码流数据写入输出压缩码流。最终的输出压缩码流是既含有YUV4:4:4像素格式的压缩码流数据又含有YUV4:2:0像素格式的压缩码流数据的具有混合色度采样率的压缩码流。
在压缩码流的解码端,本发明从码流中不断读入部分码流数据,按照CU在码流中的顺序,逐个进行以CU为单位的解码。解码端有两组不同类型的解码工具:YUV4:4:4解码工具和YUV4:2:0解码工具。对一个CU的码流数据进行解码时,首先解析出该CU是以YUV4:4:4还是YUV4:2:0像素格式进行编码的,然后把码流数据送往相应的那组解码工具进行解码。从YUV4:4:4解码工具得到的是YUV4:4:4像素格式的重构CU,而从YUV4:2:0解码工具得到的是YUV4:2:0像素格式的重构CU。后者还必须经过色度上采样,得到YUV4:4:4像素格式的重构CU。这样,就得到最终的完整的YUV4:4:4像素格式的重构图像。
本发明的编码方法的流程示意图如图6所示。本发明对一幅图像的编码方法包括如下步骤:
1)读入具有第一像素格式的一个图像编码单元,称其为第一编码单元;
2)对所述第一编码单元的色度分量进行下采样,保持亮度分量不变,生成第二像素格式的编码单元,称其为第二编码单元;
3)用第一组编码工具对所述第一编码单元进行第一编码,产生第一组编码工具的编码结果;
4)用第二组编码工具对所述第二编码单元进行第二有损编码;
5)用所述第二组编码工具继续对步骤4)的编码结果进行第二无损编码,产生第二组编码工具的编码结果;
6)对步骤3)的编码结果进行所述第一编码的逆运算,产生出第一重构编码单元,并把所述第一重构编码单元的像素放入第一像素格式的历史像素暂存区,用作所述第一组编码工具的后续编码的参考像素,由于编码可能是有损的,所述第一重构编码单元的像素不一定等于所述第一编码单元的像素;
7)对步骤4)的编码结果进行所述第二有损编码的逆运算,产生出第二重构编码单元,并把所述第二重构编码单元的像素放入第二像素格式的历史像素暂存区,用作所述第二组编码工具的后续编码的参考像素,由于编码是有损的,所述第二重构编码单元的像素不一定等于所述第二编码单元的像素;
8)使用步骤3)的编码结果和步骤6)的重构结果,计算第一组编码工具的编码结果的率-失真特性;
9)对所述第二重构编码单元进行色度上采样,得到第一像素格式的第二重构上采样编码单元;
10)使用步骤5)的编码结果和步骤9)的重构上采样结果,计算第二组编码工具的编码结果的率-失真特性;
11)选择率-失真特性最优的那组编码工具的编码结果作为对所述第一编码单元的最后编码结果,并输出相应压缩码流数据;
12)判断率-失真特性最优的那组编码工具是否是第一组编码工具,如果是,则顺序执行下一步骤,否则跳至步骤14);
13)对所述第一重构编码单元进行色度下采样,得到第二像素格式的第一重构下采样编码单元,并用所述第一重构下采样编码单元的像素更新和替换步骤7)中放入第二像素格式的历史像素暂存区的第二重构编码单元的像素,然后跳至步骤15);
14)用所述第二重构上采样编码单元的像素更新和替换步骤6)中放入第一像素格式的历史像素暂存区的第一重构编码单元的像素;
15)判断是否已经完成对一幅图像所有编码单元的编码,如果是,则结束编码,否则回到步骤1),开始对下一个编码单元的编码。
本发明的解码方法的流程示意图如图7所示。本发明对压缩码流的解码方法包括如下步骤:
1)从输入压缩码流中读入属于一个被编码的编码单元,称其为被编码单元,的一段压缩码流数据;
2)从所述一段压缩码流数据中解析出该段压缩码流数据所含的当前被编码单元采用第一像素格式还是第二像素格式,并把该段压缩码流数据送往对应的第一组解码工具或第二组解码工具;
3)所述当前被编码单元采用第一像素格式的场合,本步骤包括下列子步骤:
3a)用所述第一组解码工具对压缩码流进行解码,产生出第一像素格式的第一重构编码单元,并把所述第一重构编码单元的像素放入第一像素格式的历史像素暂存区,用作所述第一组解码工具的后续解码的参考像素;
3b)对所述第一重构编码单元进行色度下采样,得到第二像素格式的第一重构下采样编码单元,并把所述第一重构下采样编码单元的像素放入第二像素格式的历史像素暂存区,用作所述第二组解码工具的后续解码的参考像素;
3c)输出所述第一重构编码单元;
4)所述当前被编码单元采用第二像素格式的场合,本步骤包括下列子步骤:
4a)用所述第二组解码工具对压缩码流进行解码,产生出第二像素格式的第二重构编码单元,并把所述第二重构编码单元的像素放入第二像素格式的历史像素暂存区,用作所述第二组解码工具的后续解码的参考像素;
4b)对所述第二重构编码单元进行色度上采样,得到第一像素格式的第二重构上采样编码单元,并把所述第二重构上采样编码单元的像素放入第一像素格式的历史像素暂存区,用作所述第一组解码工具的后续解码的参考像素;
4c)输出所述第二重构上采样编码单元;
5)判断是否已经完成对一幅图像或一个视频序列所有被编码单元压缩码流数据的解码,如果是,则结束解码,否则回到步骤1),开始对下一个被编码单元的解码。
本发明的编码装置示意图如图8所示。整个编码装置由以下模块组成:
1)第一像素格式像素存储模块,用于存储至少一个编码单元的第一输入像素;
2)使用第一组编码工具的编码模块,用于对第一像素格式的第一输入像素编码单元进行编码;
3)第一重构模块,用于重构产生第一重构编码单元,第一重构编码单元的一个用途是用于第一组编码工具所需的参考像素,另一个用途是用于计算第一率-失真特性;
4)第一像素格式的历史像素暂存模块,用于暂存第一组编码工具所需的参考像素;
5)第一率-失真特性计算模块,用于计算所述使用第一组编码工具的编码模块产生的编码结果的第一率-失真特性;
6)色度下采样模块,有两个用途:
6a)对第一像素格式的第一输入像素进行色度下采样,产生第二像素格式的第二输入像素;
6b)对第一像素格式的参考像素进行色度下采样,产生第二组编码工具所需的第二像素格式的参考像素;
7)第二像素格式像素存储模块,用于存储至少一个编码单元的第二输入像素;
8)使用第二组编码工具的有损编码模块,用于对第二像素格式的第二输入像素编码单元进行有损编码;
9)使用第二组编码工具的无损编码模块,用于对所述使用第二组编码工具的有损编码模块产生的编码结果继续进行无损编码;
10)第二重构模块,用于重构产生第二重构编码单元,第二重构编码单元的一个用途是用于第二组编码工具所需的参考像素,另一个用途是经过色度上采样后用于计算第二率-失真特性;
11)第二像素格式的历史像素暂存模块,用于暂存第二组编码工具所需的参考像素;
12)色度上采样模块,有两个用途:
12a)对第二重构编码单元进行色度上采样,提供给第二率-失真特性计算模块用于计算第二率-失真特性;
12b)对第二像素格式的参考像素进行色度上采样,产生第一组编码工具所需的第一像素格式的参考像素;
13)第二率-失真特性计算模块,用于计算所述使用第二组编码工具的编码模块产生的编码结果的第二率-失真特性;
14)最优编码工具选择模块,连接于所述第一和第二率-失真特性计算模块,用于对所述率-失真特性计算结果进行分析,并选择出率-失真特性最优的那组编码工具的编码结果作为对当前第一输入像素编码单元的最后编码结果;
15)码流暂存输出模块,连接于所述最优编码工具选择模块,用于暂存所述最优编码工具编码模块所产生的压缩码流数据,并在特定的时间,把所述的压缩码流数据输出到压缩码流。
本发明的解码装置示意图如图9所示。整个解码装置由以下模块组成:
1)码流像素格式解析模块,用于接收从一外部装置输入的视频压缩码流,解析出接收到的一段压缩码流数据内压缩的当前编码单元,称为当前被编码单元,是第一像素格式编码单元还是第二像素格式编码单元,选择相对应的第一组解码工具或第二组解码工具对所述一段压缩码流数据进行解码,并把所述一段压缩码流数据输出至相对应的第一解码重构模块或第二解码重构模块;
2)第一解码重构模块,在所述当前被编码单元是第一像素格式的场合,使用第一组解码工具对第一像素格式的压缩码流数据进行解码,重构产生出第一像素格式的第一重构编码单元;
3)第一像素格式的历史像素暂存模块,用于暂存第一组解码工具所需的参考像素;
4)第二解码重构模块,在所述当前被编码单元是第二像素格式的场合,使用第二组解码工具对第二像素格式的压缩码流数据进行解码,重构产生出第二像素格式的第二重构编码单元;
5)第二像素格式的历史像素暂存模块,用于暂存第二组解码工具所需的参考像素;
6)色度下采样模块,在所述当前被编码单元是第一像素格式的场合,对所述第一重构编码单元的像素进行色度下采样,产生第二组解码工具后续解码所需的第二像素格式的参考像素;
7)色度上采样模块,在所述当前被编码单元是第二像素格式的场合,对所述第二重构编码单元的像素进行色度上采样,产生符合最终输出像素格式要求的第一像素格式的重构像素,同时也是第一组解码工具后续解码所需的参考像素;
8)重构图像暂存输出模块,连接于所述的第一解码重构模块和所述的色度上采样模块,用以暂存解码重构的一幅或多幅图像,并在预设的时间按照图像的显示顺序,把图像输出。
附图说明
图1、现有技术中编码方法流程示意图
图2、现有技术中解码方法流程示意图
图3、现有技术中编码装置的模块组成示意图
图4、现有技术中解码装置的模块组成示意图
图5、本发明的主要技术特征说明图
图6、本发明的编码方法流程示意图
图7、本发明的解码方法流程示意图
图8、本发明的编码装置的模块组成示意图
图9、本发明的解码装置的模块组成示意图
图10、混合YUV4:4:4和YUV4:2:0像素格式的编码方法流程示意图
具体实施方式
以下通过特定的具体实例说明本发明的实施方式,本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用,本说明书中的各项细节也可以基于不同观点与应用,在不背离本发明的精神下进行各种修饰或改变。
实施例中所提供的图示仅以示意方式说明本发明的基本构想,遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制,其实际实施时各组件的型态、数量及比例可为一种随意的改变,且其组件布局型态也可能更为复杂。
实施例:混合YUV4:4:4和YUV4:2:0像素格式的编码方法
第一个实施例是图6所表示的编码方法的一个具体和优化的实施,其中第一像素格式是YUV4:4:4格式而第二像素格式是YUV4:2:0格式;第一组编码工具是无损编码工具,即第一重构编码单元的像素完全等同于第一编码单元的像素,故相应的重构步骤和重构之后的下采样步骤都可省略;第一组编码工具仅使用选择了第一组编码工具的编码结果作为最后编码结果的那些编码单元的像素为参考像素,故当选择了第二组编码工具的编码结果作为最后编码结果的时候,不需要用第二重构上采样编码单元的像素更新和替换放入第一像素格式的历史像素暂存区的第一编码单元的像素。
本实施例的编码方法的流程示意图如图10所示。本实施例的编码方法包括如下步骤:
1)读入YUV4:4:4格式的一个图像编码单元,称其为第一编码单元;
2)对所述第一编码单元的色度分量进行下采样,生成YUV4:2:0格式的编码单元,称其为第二编码单元;
3)用无损的第一组编码工具对所述第一编码单元进行第一编码,产生第一组编码工具的编码结果;
4)用第二组编码工具对所述第二编码单元进行第二有损编码;
5)用所述第二组编码工具继续对步骤4)的编码结果进行第二无损编码,产生第二组编码工具的编码结果;
6)对步骤4)的编码结果进行所述第二有损编码的逆运算,产生出第二重构编码单元,并把所述第二重构编码单元的像素放入YUV4:2:0格式的历史像素暂存区,用作所述第二组编码工具的后续编码的参考像素,由于编码是有损的,所述第二重构编码单元的像素不一定等于所述第二编码单元的像素;
7)使用步骤3)的编码结果,计算第一组编码工具的编码结果的率-失真特性,由于第一组编码工具是无损的,失真为零;
8)对所述第二重构编码单元进行色度上采样,得到YUV4:4:4格式的第二重构上采样编码单元;
9)使用步骤5)的编码结果和步骤8)的重构上采样结果,计算第二组编码工具的编码结果的率-失真特性;
10)选择率-失真特性最优的那组编码工具的编码结果作为对所述第一编码单元的最后编码结果,并输出相应压缩码流数据;
11)判断率-失真特性最优的那组编码工具是否是第一组编码工具,如果是,则顺序执行下一步骤,否则跳至步骤14);
12)把所述第一编码单元的像素放入YUV4:4:4格式的历史像素暂存区;
13)用所述第二编码单元的像素更新和替换步骤6)中放入第二像素格式的历史像素暂存区的第二重构编码单元的像素;
14)判断是否已经完成对一幅图像所有编码单元的编码,如果是,则结束编码,否则回到步骤1),开始对下一个编码单元的编码。
第二个实施例也是图6所表示的编码方法的一个具体和优化的实施,其中第一像素格式是YUV4:4:4格式而第二像素格式是YUV4:2:2格式,其他方面与第一个实施例相同。
第三个实施例也是图6所表示的编码方法的一个具体和优化的实施,其中第一像素格式是YUV4:2:2格式而第二像素格式是YUV4:2:0格式,其他方面与第一个实施例相同。

Claims (5)

1.一种图像编码方法,其特征在于包括以下步骤:
1)读入具有第一像素格式的一个图像编码单元,称其为第一编码单元;
2)对所述第一编码单元的色度分量进行下采样,保持亮度分量不变,生成第二像素格式的编码单元,称其为第二编码单元;
3)用第一组编码工具对所述第一编码单元进行第一编码,产生第一组编码工具的编码结果;
4)用第二组编码工具对所述第二编码单元进行第二有损编码;
5)用所述第二组编码工具继续对步骤4)的编码结果进行第二无损编码,产生第二组编码工具的编码结果;
6)对步骤3)的编码结果进行所述第一编码的逆运算,产生出第一重构编码单元,并把所述第一重构编码单元的像素放入第一像素格式的历史像素暂存区,用作所述第一组编码工具的后续编码的参考像素,由于编码可能是有损的,所述第一重构编码单元的像素不一定等于所述第一编码单元的像素;
7)对步骤4)的编码结果进行所述第二有损编码的逆运算,产生出第二重构编码单元,并把所述第二重构编码单元的像素放入第二像素格式的历史像素暂存区,用作所述第二组编码工具的后续编码的参考像素,由于编码是有损的,所述第二重构编码单元的像素不一定等于所述第二编码单元的像素;
8)使用步骤3)的编码结果和步骤6)的重构结果,计算第一组编码工具的编码结果的率-失真特性;
9)对所述第二重构编码单元进行色度上采样,得到第一像素格式的第二重构上采样编码单元;
10)使用步骤5)的编码结果和步骤9)的重构上采样结果,计算第二组编码工具的编码结果的率-失真特性;
11)选择率-失真特性最优的那组编码工具的编码结果作为对所述第一编码单元的最后编码结果,并输出相应压缩码流数据;
12)判断率-失真特性最优的那组编码工具是否是第一组编码工具,如果是,则顺序执行下一步骤,否则跳至步骤14);
13)对所述第一重构编码单元进行色度下采样,得到第二像素格式的第一重构下采样编码单元,并用所述第一重构下采样编码单元的像素更新和替换步骤7)中放入第二像素格式的历史像素暂存区的第二重构编码单元的像素,然后跳至步骤15);
14)用所述第二重构上采样编码单元的像素更新和替换步骤6)中放入第一像素格式的历史像素暂存区的第一重构编码单元的像素;
15)判断是否已经完成对一幅图像所有编码单元的编码,如果是,则结束编码,否则回到步骤1),开始对下一个编码单元的编码。
2.根据权利要求1所述的图像编码方法,其特征在于:所述第一像素格式是YUV4:4:4格式,所述第二像素格式是YUV4:2:0格式,所述第一组编码工具是无损编码工具,所述第一组编码工具仅使用选择了所述第一组编码工具的编码结果作为最后编码结果的那些编码单元的像素为参考像素,所述步骤1)~15)优化为以下步骤1)~14):
1)读入YUV4:4:4格式的一个图像编码单元,称其为第一编码单元;
2)对所述第一编码单元的色度分量进行下采样,生成YUV4:2:0格式的编码单元,称其为第二编码单元;
3)用无损的第一组编码工具对所述第一编码单元进行第一编码,产生第一组编码工具的编码结果;
4)用第二组编码工具对所述第二编码单元进行第二有损编码;
5)用所述第二组编码工具继续对步骤4)的编码结果进行第二无损编码,产生第二组编码工具的编码结果;
6)对步骤4)的编码结果进行所述第二有损编码的逆运算,产生出第二重构编码单元,并把所述第二重构编码单元的像素放入YUV4:2:0格式的历史像素暂存区,用作所述第二组编码工具的后续编码的参考像素,由于编码是有损的,所述第二重构编码单元的像素不一定等于所述第二编码单元的像素;
7)使用步骤3)的编码结果,计算第一组编码工具的编码结果的率-失真特性,由于第一组编码工具是无损的,失真为零;
8)对所述第二重构编码单元进行色度上采样,得到YUV4:4:4格式的第二重构上采样编码单元;
9)使用步骤5)的编码结果和步骤8)的重构上采样结果,计算第二组编码工具的编码结果的率-失真特性;
10)选择率-失真特性最优的那组编码工具的编码结果作为对所述第一编码单元的最后编码结果,并输出相应压缩码流数据;
11)判断率-失真特性最优的那组编码工具是否是第一组编码工具,如果是,则顺序执行下一步骤,否则跳至步骤14);
12)把所述第一编码单元的像素放入YUV4:4:4格式的历史像素暂存区;
13)用所述第二编码单元的像素更新和替换步骤6)中放入第二像素格式的历史像素暂存区的第二重构编码单元的像素;
14)判断是否已经完成对一幅图像所有编码单元的编码,如果是,则结束编码,否则回到步骤1),开始对下一个编码单元的编码。
3.一种图像解码方法,其特征在于包括以下步骤:
1)从输入压缩码流中读入属于一个被编码的编码单元,称其为被编码单元,的一段压缩码流数据;
2)从所述一段压缩码流数据中解析出该段压缩码流数据所含的当前被编码单元采用第一像素格式还是第二像素格式,并把该段压缩码流数据送往对应的第一组解码工具或第二组解码工具;
3)所述当前被编码单元采用第一像素格式的场合,本步骤包括下列子步骤:
3a)用所述第一组解码工具对压缩码流进行解码,产生出第一像素格式的第一重构编码单元,并把所述第一重构编码单元的像素放入第一像素格式的历史像素暂存区,用作所述第一组解码工具的后续解码的参考像素;
3b)对所述第一重构编码单元进行色度下采样,得到第二像素格式的第一重构下采样编码单元,并把所述第一重构下采样编码单元的像素放入第二像素格式的历史像素暂存区,用作所述第二组解码工具的后续解码的参考像素;
3c)输出所述第一重构编码单元;
4)所述当前被编码单元采用第二像素格式的场合,本步骤包括下列子步骤:
4a)用所述第二组解码工具对压缩码流进行解码,产生出第二像素格式的第二重构编码单元,并把所述第二重构编码单元的像素放入第二像素格式的历史像素暂存区,用作所述第二组解码工具的后续解码的参考像素;
4b)对所述第二重构编码单元进行色度上采样,得到第一像素格式的第二重构上采样编码单元,并把所述第二重构上采样编码单元的像素放入第一像素格式的历史像素暂存区,用作所述第一组解码工具的后续解码的参考像素;
4c)输出所述第二重构上采样编码单元;
5)判断是否已经完成对一幅图像或一个视频序列所有被编码单元压缩码流数据的解码,如果是,则结束解码,否则回到步骤1),开始对下一个被编码单元的解码。
4.一种图像编码装置,其特征在于包括以下模块:
1)第一像素格式像素存储模块,用于存储至少一个编码单元的第一输入像素;
2)使用第一组编码工具的编码模块,用于对第一像素格式的第一输入像素编码单元进行编码;
3)第一重构模块,用于重构产生第一重构编码单元,第一重构编码单元的一个用途是用于第一组编码工具所需的参考像素,另一个用途是用于计算第一率-失真特性;
4)第一像素格式的历史像素暂存模块,用于暂存第一组编码工具所需的参考像素;
5)第一率-失真特性计算模块,用于计算所述使用第一组编码工具的编码模块产生的编码结果的第一率-失真特性;
6)色度下采样模块,有两个用途:
6a)对第一像素格式的第一输入像素进行色度下采样,产生第二像素格式的第二输入像素;
6b)对第一像素格式的参考像素进行色度下采样,产生第二组编码工具所需的第二像素格式的参考像素;
7)第二像素格式像素存储模块,用于存储至少一个编码单元的第二输入像素;
8)使用第二组编码工具的有损编码模块,用于对第二像素格式的第二输入像素编码单元进行有损编码;
9)使用第二组编码工具的无损编码模块,用于对所述使用第二组编码工具的有损编码模块产生的编码结果继续进行无损编码;
10)第二重构模块,用于重构产生第二重构编码单元,第二重构编码单元的一个用途是用于第二组编码工具所需的参考像素,另一个用途是经过色度上采样后用于计算第二率-失真特性;
11)第二像素格式的历史像素暂存模块,用于暂存第二组编码工具所需的参考像素;
12)色度上采样模块,有两个用途:
12a)对第二重构编码单元进行色度上采样,提供给第二率-失真特性计算模块用于计算第二率-失真特性;
12b)对第二像素格式的参考像素进行色度上采样,产生第一组编码工具所需的第一像素格式的参考像素;
13)第二率-失真特性计算模块,用于计算所述使用第二组编码工具的编码模块产生的编码结果的第二率-失真特性;
14)最优编码工具选择模块,连接于所述第一和第二率-失真特性计算模块,用于对所述率-失真特性计算结果进行分析,并选择出率-失真特性最优的那组编码工具的编码结果作为对当前第一输入像素编码单元的最后编码结果;
15)码流暂存输出模块,连接于所述最优编码工具选择模块,用于暂存所述最优编码工具编码模块所产生的压缩码流数据,并在特定的时间,把所述的压缩码流数据输出到压缩码流。
5.一种图像解码装置,其特征在于包括以下模块:
1)码流像素格式解析模块,用于接收从一外部装置输入的视频压缩码流,解析出接收到的一段压缩码流数据内压缩的当前编码单元,称为当前被编码单元,是第一像素格式编码单元还是第二像素格式编码单元,选择相对应的第一组解码工具或第二组解码工具对所述一段压缩码流数据进行解码,并把所述一段压缩码流数据输出至相对应的第一解码重构模块或第二解码重构模块;
2)第一解码重构模块,在所述当前被编码单元是第一像素格式的场合,使用第一组解码工具对第一像素格式的压缩码流数据进行解码,重构产生出第一像素格式的第一重构编码单元;
3)第一像素格式的历史像素暂存模块,用于暂存第一组解码工具所需的参考像素;
4)第二解码重构模块,在所述当前被编码单元是第二像素格式的场合,使用第二组解码工具对第二像素格式的压缩码流数据进行解码,重构产生出第二像素格式的第二重构编码单元;
5)第二像素格式的历史像素暂存模块,用于暂存第二组解码工具所需的参考像素;
6)色度下采样模块,在所述当前被编码单元是第一像素格式的场合,对所述第一重构编码单元的像素进行色度下采样,产生第二组解码工具后续解码所需的第二像素格式的参考像素;
7)色度上采样模块,在所述当前被编码单元是第二像素格式的场合,对所述第二重构编码单元的像素进行色度上采样,产生符合最终输出像素格式要求的第一像素格式的重构像素,同时也是第一组解码工具后续解码所需的参考像素;
8)重构图像暂存输出模块,连接于所述的第一解码重构模块和所述的色度上采样模块,用以暂存解码重构的一幅或多幅图像,并在预设的时间按照图像的显示顺序,把图像输出。
CN201110399025.XA 2011-12-05 2011-12-05 基于混合色度采样率的图像压缩方法和装置 Active CN102761738B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710132351.1A CN106937113B (zh) 2011-12-05 2011-12-05 基于混合色度采样率的图像压缩方法和装置
CN201110399025.XA CN102761738B (zh) 2011-12-05 2011-12-05 基于混合色度采样率的图像压缩方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201110399025.XA CN102761738B (zh) 2011-12-05 2011-12-05 基于混合色度采样率的图像压缩方法和装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201710132351.1A Division CN106937113B (zh) 2011-12-05 2011-12-05 基于混合色度采样率的图像压缩方法和装置

Publications (2)

Publication Number Publication Date
CN102761738A CN102761738A (zh) 2012-10-31
CN102761738B true CN102761738B (zh) 2017-11-24

Family

ID=47056043

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201110399025.XA Active CN102761738B (zh) 2011-12-05 2011-12-05 基于混合色度采样率的图像压缩方法和装置
CN201710132351.1A Active CN106937113B (zh) 2011-12-05 2011-12-05 基于混合色度采样率的图像压缩方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201710132351.1A Active CN106937113B (zh) 2011-12-05 2011-12-05 基于混合色度采样率的图像压缩方法和装置

Country Status (1)

Country Link
CN (2) CN102761738B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937113A (zh) * 2011-12-05 2017-07-07 同济大学 基于混合色度采样率的图像压缩方法和装置

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112383781B (zh) * 2013-08-16 2023-05-02 上海天荷电子信息有限公司 参考块的位置决定其重构阶段的块匹配编解码方法和装置
CN110691250B (zh) * 2013-10-12 2022-04-08 广州中广国科测控技术有限公司 结合块匹配和串匹配的图像压缩装置
KR102144329B1 (ko) 2013-12-31 2020-08-13 엘지디스플레이 주식회사 유기 발광 디스플레이 장치와 이의 구동 방법
CN104853211A (zh) * 2014-02-16 2015-08-19 上海天荷电子信息有限公司 使用多种形式的参考像素存储空间的图像压缩方法和装置
AU2014385774B2 (en) 2014-03-04 2019-01-17 Microsoft Technology Licensing, Llc Adaptive switching of color spaces, color sampling rates and/or bit depths
CN105264888B (zh) * 2014-03-04 2018-09-14 微软技术许可有限责任公司 用于对色彩空间、色彩采样率和/或比特深度自适应切换的编码策略
BR122022001585B1 (pt) 2014-03-27 2023-05-16 Microsoft Technology Licensing, Llc Método para ajustar quantização/escalada, memória legível por computador e dispositivo de computação
US9704213B2 (en) * 2014-08-13 2017-07-11 Qualcomm Incorporated Texture element streaming
CN105960802B (zh) 2014-10-08 2018-02-06 微软技术许可有限责任公司 切换色彩空间时对编码和解码的调整
CN108347602B (zh) * 2017-01-22 2021-07-30 上海澜至半导体有限公司 用于无损压缩视频数据的方法和装置
CN108989820B (zh) * 2017-06-03 2022-07-05 上海天荷电子信息有限公司 各阶段采用各自相应色度采样格式的数据压缩方法和装置
CN110381278A (zh) * 2019-09-05 2019-10-25 无锡思朗电子科技有限公司 用于色彩空间4:4:4传输的方法及设备
CN111681252B (zh) * 2020-05-30 2022-05-03 重庆邮电大学 一种基于多路径注意力融合的医学图像自动分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1513349A2 (en) * 2003-09-07 2005-03-09 Microsoft Corporation Bitstream-controlled post-processing video filtering
CN1701616A (zh) * 2003-07-18 2005-11-23 索尼株式会社 图像信息编码装置和方法,以及图像信息解码装置和方法
EP1617679A2 (en) * 2004-07-15 2006-01-18 Daeyang Foundation Method and apparatus for scalably encoding and decoding colour video
CN101222644A (zh) * 2007-01-12 2008-07-16 三菱电机株式会社 运动图像编码、解码装置以及运动图像编码、解码方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU4601697A (en) * 1996-12-18 1998-07-15 Thomson Consumer Electronics, Inc Efficient fixed-length block compression and decompression
CN101098473B (zh) * 2006-06-30 2012-05-09 联想(北京)有限公司 一种图像编码方法及装置
JP2011119921A (ja) * 2009-12-02 2011-06-16 Victor Co Of Japan Ltd 符号変換装置
CN102761738B (zh) * 2011-12-05 2017-11-24 同济大学 基于混合色度采样率的图像压缩方法和装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1701616A (zh) * 2003-07-18 2005-11-23 索尼株式会社 图像信息编码装置和方法,以及图像信息解码装置和方法
EP1513349A2 (en) * 2003-09-07 2005-03-09 Microsoft Corporation Bitstream-controlled post-processing video filtering
EP1617679A2 (en) * 2004-07-15 2006-01-18 Daeyang Foundation Method and apparatus for scalably encoding and decoding colour video
CN101222644A (zh) * 2007-01-12 2008-07-16 三菱电机株式会社 运动图像编码、解码装置以及运动图像编码、解码方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937113A (zh) * 2011-12-05 2017-07-07 同济大学 基于混合色度采样率的图像压缩方法和装置
CN106937113B (zh) * 2011-12-05 2020-06-02 同济大学 基于混合色度采样率的图像压缩方法和装置

Also Published As

Publication number Publication date
CN106937113B (zh) 2020-06-02
CN106937113A (zh) 2017-07-07
CN102761738A (zh) 2012-10-31

Similar Documents

Publication Publication Date Title
CN102761738B (zh) 基于混合色度采样率的图像压缩方法和装置
CN104754361B (zh) 图像编码、解码方法及装置
CN101142821B (zh) 新压缩格式和用其在帧存储器中暂存图像数据的设备
CN106464887A (zh) 图像解码方法及其装置以及图像编码方法及其装置
CN1416650A (zh) 数字图像的过滤方法和过滤设备
CN109831668B (zh) 数据压缩方法及装置、数据编码/解码方法及装置
KR20050027442A (ko) 모바일 디바이스용 정지영상 압축 방법
EP4270916A2 (en) Method and device for color gamut mapping
RU2008150330A (ru) Сжатие видеоданных без видимых потерь
US20100118947A1 (en) Decoder for selectively decoding predetermined data units from a coded bit stream
US20130156113A1 (en) Video signal processing
WO2015038156A1 (en) An efficient progressive jpeg decode method
CN104581177A (zh) 一种结合块匹配和串匹配的图像压缩方法和装置
CN1875635A (zh) 用于视频转码的变换域子采样
US20020154331A1 (en) Image data transmission apparatus and image data receiving apparatus
KR100834439B1 (ko) 그래픽 데이터 압축 및 복원 장치와 그 방법
Lin et al. Cnn-based super resolution for video coding using decoded information
CN105472442A (zh) 一种用于超高清帧率上变换的片外缓存压缩系统
CN109963176A (zh) 视频码流处理方法、装置、网络设备和可读存储介质
CN108881915B (zh) 基于dsc编码技术视频播放的装置和方法
CN114125448B (zh) 视频编码方法、解码方法及相关装置
US10200697B2 (en) Display stream compression pixel format extensions using subpixel packing
CA2808271A1 (en) Video signal processing
CN115118964A (zh) 视频编码方法、装置、电子设备及计算机可读存储介质
CN110798705A (zh) 一种视频图像传输方法、装置及设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information
CB03 Change of inventor or designer information

Inventor after: Lin Tao

Inventor after: Zhou Kailun

Inventor after: Wang Shuhui

Inventor after: Zhao Liping

Inventor after: Li Ming

Inventor after: Wu Ping

Inventor after: Wu Zhao

Inventor before: Lin Tao

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20170306

Address after: 200092 Shanghai City, Yangpu District Siping Road No. 1239

Applicant after: Tongji University

Applicant after: ZTE Corporation

Address before: 200233 Liuzhou Road, Shanghai, No. 600 1-9A

Applicant before: Shanghai Tianhe Electronic Information Co., Ltd.

GR01 Patent grant
GR01 Patent grant