CN101496406A - 图像编码/解码方法和设备 - Google Patents

图像编码/解码方法和设备 Download PDF

Info

Publication number
CN101496406A
CN101496406A CNA2007800064961A CN200780006496A CN101496406A CN 101496406 A CN101496406 A CN 101496406A CN A2007800064961 A CNA2007800064961 A CN A2007800064961A CN 200780006496 A CN200780006496 A CN 200780006496A CN 101496406 A CN101496406 A CN 101496406A
Authority
CN
China
Prior art keywords
color component
component images
pixels
block
reconstruct
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800064961A
Other languages
English (en)
Other versions
CN101496406B (zh
Inventor
宋秉哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020060063485A external-priority patent/KR101200865B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN101496406A publication Critical patent/CN101496406A/zh
Application granted granted Critical
Publication of CN101496406B publication Critical patent/CN101496406B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

提供了一种图像编码/解码方法和设备,其中从使用多幅颜色分量图像之间的相关性重构的不同颜色分量图像来预测多幅颜色分量图像中的一幅。使用从构成单幅彩色图像的多幅颜色分量图像之中选择的第一颜色分量图像的重构后的图像,预测其它颜色分量图像。

Description

图像编码/解码方法和设备
技术领域
与本发明一致的设备和方法涉及图像编码和解码,更加具体地说,涉及这样的图像编码/解码:其中使用颜色分量图像之间的相关性,从不同的颜色分量图像来预测图像的多幅颜色分量图像中的一幅,由此改进编码效率。
背景技术
一般地,当捕获图像时,所捕获的原始图像为红绿蓝三原色(RGB)颜色格式的。为了将RGB颜色格式的图像编码,将RGB颜色格式的图像变换成YUV(或YCbCr)颜色格式。Y为黑白图像并具有亮度分量,并且U(或Cb)和V(或Cr)具有颜色分量。虽然信息均匀地分布于RGB图像中的R、G和B上,但是在YUV(或YCbCr)图像中,信息集中于Y中,而U(或Cb)和V(或Cr)中的信息量相对较小。因而,能够以高的压缩效率压缩YUV(或YCbCr)图像。为了进一步提高压缩效率,一般使用通过以1∶4的比例对YUV(或YCbCr)图像的颜色分量U(或Cb)和V(或Cr)采样而获得的YUV(或YCbCr)4:2:0图像。
然而,由于在YUV(或YCbCr)4:2:0图像中的U(或Cb)和V(或Cr)的1/4采样引起颜色失真,因此所述采样不适合于提供高的显示质量。因而,需要在不对U(或Cb)和V(或Cr)采样的条件下对YUV(或YCbCr)4:4:4图像进行有效编码的方法。最近,已建议残余色变换(Residual colortransform,RCT),其直接将RGB 4:4:4图像编码以消除在RGB图像到YUV(或YCbCr)图像的变换中出现的颜色失真。
当使用相关领域的编码方法直接对像YUV(或YCbCr)4:4:4图像或RGB 4:4:4图像这样的、其中的颜色分量具有相同分辨率的图像进行编码时,编码效率降低。因而,对于其中将YUV(或YCbCr)4:4:4图像编码、或者其中在不将RGB图像变换为YUV(或YCbCr)格式的条件下在RGB域中对其进行编码的情况,需要通过基于图像的统计特性的预测、在保持高的显示质量的同时改进编码效率的方法。
发明内容
技术方案
本发明的一个方面提供一种图像编码/解码方法和设备,其中使用颜色分量图像之间的相关性,从不同的颜色分量图像来预测构成彩色图像的多幅颜色分量图像中的一幅,由此改进编码效率。
有益效果
根据本发明的示范性实施例,使用形成单个的图像的多幅颜色分量图像之间的相关性来执行预测编码,由此改进编码效率。
此外,根据本发明的示范性实施例,在不进行到YUV域的变换的条件下,在RGB域中对RGB输入图像执行编码,由此防止当将RGB图像变换成另一种颜色格式时出现的颜色失真等,从而改进显示质量。
附图说明
图1A至1C说明单个的彩色图像的红(R)颜色分量图像、绿(G)颜色分量图像和蓝(B)颜色分量图像;
图2A为示出图1B的G颜色分量图像和图1C的B颜色分量图像之间的相关性的图;
图2B为示出图1A的R颜色分量图像和图1B的G颜色分量图像之间的相关性的图;
图3为根据本发明的示范性实施例的图像编码设备的框图;
图4说明根据H.264的16×16的帧内预测模式;
图5说明根据H.264的4×4的帧内预测模式;
图6为说明根据本发明的示范性实施例的图像编码方法的流程图;
图7A说明包含在输入图像中的G颜色分量图像的16×16像素块;
图7B说明包含在输入图像中的B颜色分量图像的16×16像素块;
图7C说明包含在输入图像中的R颜色分量图像的16×16像素块;
图8A说明在根据本发明的示范性实施例的图像编码方法和设备中的8×8像素块的处理次序;
图8B说明在根据本发明的示范性实施例的图像编码方法和设备中的4×4像素块的处理次序;
图9为根据本发明的另一个示范性实施例的图像编码设备的框图;
图10为说明根据本发明的另一个示范性实施例的图像编码方法的流程图;
图11A说明其中使用由图9中所示的区域划分单元检测到的边缘来划分G颜色分量图像的像素块的示例;
图11B说明其中使用由图9中所示的区域划分单元检测到的边缘来划分B颜色分量图像的像素块的示例;
图11C说明其中使用由图9中所示的区域划分单元检测到的边缘来划分R颜色分量图像的像素块的示例;
图12为根据本发明的示范性实施例的图像解码设备的框图;
图13为说明根据本发明的示范性实施例的图像解码方法的流程图;
图14为说明根据本发明的另一个示范性实施例的图像解码方法的流程图。
最佳实施方式
根据本发明的一个方面,提供一种图像编码方法,包含:(a)对至少包含两幅颜色分量图像的输入图像的第一颜色分量图像的具有预定大小的像素块上执行预测编码;(b)重构第一颜色分量图像的经预测编码后的像素块;以及(c)使用第一颜色分量图像的重构后的相邻像素块的像素值、第二颜色分量图像的重构后的相邻像素块的像素值和第一颜色分量图像的重构后的像素块的像素值,预测第二颜色分量图像的相应像素块。
根据本发明的一个方面,还提供一种图像编码方法,包含:(a)对至少包含两幅颜色分量图像的输入图像的第一颜色分量图像的具有预定大小的像素块上执行预测编码;(b)重构第一颜色分量图像的经预测编码后的像素块;(c)检测第一颜色分量图像的重构后的像素块中的边缘;(d)使用所检测到的边缘,将第一颜色分量图像的像素块和第二颜色分量图像的相应像素块分成区域;以及(e)使用第一颜色分量图像的重构后的相邻像素块的像素值、第二颜色分量图像的重构后的相邻像素块的像素值和第一颜色分量图像的重构后的像素块的像素值,预测第二颜色分量图像的区域中每一个区域中的像素值。
根据本发明的另一个方面,提供一种图像编码设备,包含:预测编码单元,其对至少包含两幅颜色分量图像的图像的第一颜色分量图像的具有预定大小的像素块执行预测编码;重构单元,其重构第一颜色分量图像的经预测编码后的像素块;和相关性预测单元,其使用第一颜色分量图像的重构后的相邻像素块的像素值、第二颜色分量图像的重构后的相邻像素块的像素值和第一颜色分量图像的重构后的像素块的像素值,预测第二颜色分量图像的相应像素块。
根据本发明的一个方面,还提供一种图像编码设备,包含:预测编码单元,其在至少包含两幅颜色分量图像的输入图像的第一颜色分量图像的具有预定大小的像素块上执行预测编码;重构单元,其重构第一颜色分量图像的被预测编码的像素块;边缘检测单元,其检测第一颜色分量图像的重构后的像素块中的边缘;区域划分单元,其使用所检测到的边缘,将第一颜色分量图像的像素块分成区域,并将第二颜色分量图像的相应的像素块分成区域;和相关性预测单元,其使用第一颜色分量图像的重构后的相邻像素块的像素值、第二颜色分量图像的重构后的相邻像素块的像素值和第一颜色分量图像的重构后的像素块的像素值,预测第二颜色分量图像的区域中每一个区域中的像素值。
根据本发明的另一个方面,提供一种图像解码方法,包含:(a)接收至少包含两幅颜色分量图像的编码后的图像的比特流;(b)对颜色分量图像之中的第一颜色分量图像的具有预定大小的像素块解码;以及(c)使用先前经过处理的第一颜色分量图像的解码后的相邻像素块的像素值、第二颜色分量图像的解码后的相邻像素块的像素值和第一颜色分量图像的解码后的像素块的像素值,将第二颜色分量图像的相应像素块解码。
本发明的一个方面还提供一种图像解码方法,包含:(a)接收至少包含两幅颜色分量图像的编码后的图像的比特流;(b)将颜色分量图像之中的第一颜色分量图像的具有预定大小的像素块解码;(c)检测第一颜色分量图像的解码后的像素块中的边缘;(d)使用所检测到的边缘,将第一颜色分量图像的解码后的像素块和第二颜色分量图像的相应像素块分成区域;以及(e)通过使用第一颜色分量图像的解码后的相邻像素块的像素值、第二颜色分量图像的解码后的相邻像素块的像素值和第一颜色分量图像的解码后的像素块的像素值来预测第二颜色分量图像的区域中每一个区域中的像素值,将第二颜色分量图像的像素块解码。
根据本发明的另一个方面,提供一种图像解码设备,包含:第一颜色分量解码单元,其接收包含多幅编码后的颜色分量图像的比特流,而所述多幅编码后的颜色分量图像至少包含两个分量,并将颜色分量图像之中的第一颜色分量图像的具有预定大小的像素块解码;和相关性解码单元,其使用先前经过处理的第一颜色分量图像的解码后的相邻像素块的像素值、第二颜色分量图像的解码后的相邻像素块的像素值和第一颜色分量图像的解码后的像素块的像素值,将第二颜色分量图像的相应像素块解码。
本发明的一个方面还提供一种图像解码设备,包含:第一颜色分量解码单元,其接收至少包含两幅编码后的颜色分量图像的比特流,通过帧内预测将颜色分量图像之中的第一颜色分量图像的具有预定大小的像素块解码,并输出第一颜色分量图像的解码后的像素块;边缘检测单元,其检测第一颜色分量图像的解码后的像素块中的边缘;区域划分单元,其使用所检测到的边缘,将第一颜色分量图像的解码后的像素块和第二颜色分量图像的相应的像素块分成区域;和相关性解码单元,其通过使用第一颜色分量图像的解码后的相邻像素块的像素值、第二颜色分量图像的解码后的相邻像素块的像素值和第一颜色分量图像的解码后的像素块的像素值来预测第二颜色分量图像的区域中每一个区域中的像素值,将第二颜色分量图像的像素块解码。
本发明的实施方式
在下文中,将参考附图来详细地描述本发明的示范性实施例。
图1A至1C说明单幅彩色图像的R颜色分量图像、G颜色分量图像和B颜色分量图像,图2A为示出图1B的G颜色分量图像和图1C的B颜色分量图像之间的相关性的图,图2B为示出在图1A的R颜色分量图像和图1B的G颜色分量图像之间的相关性的图。
一般地,当将彩色图像编码时,对颜色分量图像中的每一幅图像执行预测编码以消除每一个颜色分量中的冗余信息。参考图1A至1C,在相同的位置处单幅彩色图像的RGB颜色分量图像的像素具有相似的像素值,这也能够从图2A和2B中所示的图看出。
因而,根据本发明的示范性实施例,根据诸如H.264这样的通用预测编码来将从图像的多幅颜色分量图像选择的第一颜色分量图像编码,并且基于颜色分量图像之间的相关性从重构后的第一颜色分量图像预测剩余的颜色分量图像。例如,根据本发明,如果图像包含RGB三个颜色分量,那么首先通过帧内预测或帧间预测将G颜色分量图像预测解码,从重构后的G颜色分量图像来预测相应的R颜色分量图像,并且从重构后的G颜色分量图像或重构后的R颜色分量图像来预测其它B颜色分量图像。在该示例中,颜色分量图像的编码次序可以有所变化。
图3为根据本发明的示范性实施例的图像编码设备300的框图。虽然为了解释的方便而假设图像编码设备300遵照H.264,但是还可以将图像编码设备300应用于执行残余量编码(residue coding)的其它图像编码设备。
参考图3,图像编码设备300包括运动估计单元302、运动补偿单元304、帧内预测单元306、减法单元307、变换单元308、量化单元309、重排单元310、熵编码单元311、逆量化(inverse quantization)单元312、逆变换(inversetransformation)单元313、相关性预测单元314、加法单元315、滤波器316、帧存储器317和控制单元318。
运动估计单元302和运动补偿单元304执行帧间预测,在该帧间预测中在前面的或随后的参考图片中搜索第一颜色分量图像的当前像素块的预测值。帧内预测单元306执行帧内预测,在该帧内预测中在当前的图片中搜索第一颜色分量图像的当前的像素块的预测值。例如,参考说明根据H.264的16×16帧内预测模式的图4和说明根据H.264的4×4帧内预测模式的图5,帧内预测单元306从所输入的R,G和B颜色分量图像选择第一颜色分量图像,并将所选择的第一颜色分量图像分成具有预定大小的像素块。然后,帧内预测单元306以16×16帧内预测模式、4×4帧内预测模式和8×8帧内预测模式(与4×4帧内预测模式相似)对第一颜色分量图像的像素块执行帧内预测。用于形成第一颜色分量图像的像素块的预测像素块的帧间预测和帧内预测不限于上述的示例,并且可以使用其它帧间预测和帧内预测的方法。
减法单元307通过从所输入的第一颜色分量图像的像素块减去通过帧间预测或帧内预测来预测的预测像素块来生成第一残余量(residue)。所生成的第一残余量由变换单元308变换到频域中,并由量化单元309量化。量化后的第一残余量的变换系数由重排单元310重排,由熵编码单元314编码,并以比特流的形式输出。
变换并量化后的第一残余量由逆量化单元312逆量化,并由逆变换单元313逆变换。加法单元315将逆量化并逆变换后的第一残余量加上第一颜色分量图像的预测像素块,由此重构第一颜色分量图像的像素块。重构后的第一颜色分量图像通过执行解块滤波的滤波器316,并将重构后的第一颜色分量图像存储在帧存储器317中,以将其用于下一幅图片的帧间预测。将第一颜色分量图像的重构后的像素块输入到帧内预测单元306,以将其用作对于下一个像素块的帧内预测的参考。第一颜色分量图像的重构后的像素块还被输入到相关性预测单元314,用于除第一颜色分量图像之外的其它颜色分量图像的像素块的预测。
相关性预测单元314使用彩色图像的颜色分量图像之间的相关性,从重构后的第一颜色分量图像的像素块来预测相应于另一幅颜色分量图像的像素块。返回来参考图2A和2B,彩色图像的颜色分量图像的像素值相互之间具有相关性。相关性预测单元314通过将第一颜色分量图像和另一幅颜色分量图像之间的相关性建模为预定的函数来生成预测器,并将第一颜色分量图像的重构后的像素块的像素值用作为所生成的预测器的参数来在相同的位置处预测另一幅颜色分量图像的像素值。具体来说,当生成预测器时,根据本发明的示范性实施例的相关性预测单元314使用第一颜色分量图像的重构后的相邻像素块的像素值和另一幅颜色分量图像的重构后的相邻像素块的像素值。稍后将在建模的解释中描述相关性预测单元314的这些操作。
当相关性预测单元314将至少包含三个颜色分量的输入图像预测编码为RGB彩色图像格式时,相关性预测单元314可以使用第一颜色分量图像的重构后的像素块来预测剩余的第二和第三颜色分量图像两者的像素块,或者从第一颜色分量图像的重构后的像素块预测第二颜色分量图像的像素块,并从第二颜色分量图像的重构后的像素块预测第三颜色分量图像的像素块。换言之,相关性预测单元314可以从第一颜色分量图像的重构后的像素块预测其它颜色分量图像的像素块,或者可以从另一幅颜色分量图像的重构后的像素块预测一幅颜色分量图像的像素块,该另一幅颜色分量图像的重构后的像素块是从第一颜色分量图像的重构后的像素块预测的。
减法单元307从由相关性预测单元314预测的第二和第三颜色分量图像的像素块减去原始的第二和第三颜色分量图像的像素块,由此生成第二残余量和第三残余量。像第一残余量那样,通过变换、量化和熵编码来将第二残余量和第三残余量编码,并以比特流的形式输出第二残余量和第三残余量。
由逆量化单元312来逆量化经变换并量化后的第二残余量和第三残余量,由逆变换单元313来逆变换经变换并量化后的第二残余量和第三残余量,并且加法单元315将经逆量化并逆变换后的第二残余量和第三残余量加上由相关性预测单元314预测的第二和第三颜色分量图像的像素块,由此重构第二和第三颜色分量图像的像素块。重构后的第二和第三颜色分量图像通过执行解块滤波的滤波器316,并将所述重构后的第二和第三颜色分量图像存储在帧存储器317中以将其用于下一幅图片的帧间预测。如上所述,当从第二颜色分量图像的重构后的像素块预测第三颜色分量图像的像素块时,将在加法单元315中被重构的第二颜色分量图像的像素块输入到相关性预测单元314。
控制单元318控制图像编码设备300的组件,并确定用于当前的像素块的预测模式。更具体地说,控制单元318计算经帧间预测的图像、经帧内预测的图像和根据本发明的示范性实施例使用颜色分量图像之间的相关性来进行预测的图像的成本,并将具有最低成本的预测模式确定为最终的预测模式。如果根据本发明的示范性实施例的预测图像的成本高于预定阈值时,那么控制单元318可以选择用于将颜色分量图像中的每一幅图像进行编码的、相关领域的帧间预测或帧内预测,而非根据本发明的预测编码。
控制单元318还计算指示在如图2A和2B中所示的颜色分量图像之间的相关性的参考值,并且如果参考值小于预定的阈值,那么所述控制单元318可以选择用于将颜色分量图像中的每一幅进行编码的、相关领域的帧间预测或帧内预测,而非根据本发明的示范性实施例的预测编码。此处,参考值可以为指示颜色分量图像之间的色散程度的色散值或标准差。
根据本发明的示范性实施例,将预测模式信息插入到通过根据本发明的示范性实施例的图像编码方法编码的图像的比特流的头部内,以基于颜色分量图像之间的相关性执行解码。
图6为说明根据本发明的示范性实施例的图像编码方法的流程图。在下文中,将参考图3和图4描述根据本发明的示范性实施例的图像编码设备300的操作和图像编码方法。
在操作410中,对第一颜色分量图像的具有预定大小的像素块执行预测编码,该第一颜色分量图像是从输入图像的多幅颜色分量图像之中选出的。如上所述,通过运动估计单元302和运动补偿单元304的帧间预测或帧内预测单元306的帧内预测来执行预测编码。
图7A说明包含在输入图像中的G颜色分量图像的16×16像素块710,图7B说明包含在输入图像中的B颜色分量图像的16×16像素块720,并且图7C说明包含在输入图像中的R颜色分量图像的16×16像素块730。gi,j、bi,j和ri,j指示在G、B和R颜色分量图像中的每一幅的16×16像素块的第i行和第j列中的像素值。在图7A至7C中,画阴影线的像素指示先于当前像素块被处理的、相邻像素块的重构后的像素。
当将G颜色分量图像、B颜色分量图像和R颜色分量图像顺序地编码时,通过运动估计单元302和运动补偿单元304的帧间预测或帧内预测单元306的帧内预测来生成G颜色分量图像的16×16像素块的预测像素块。
减法单元307通过计算G颜色分量图像的16×16像素块的预测像素块和原始的G颜色分量图像的16×16像素块之间的差来计算第一残余量。所生成的第一残余量通过变换、量化和熵编码,并且然后将所述所生成的第一残余量输出为比特流。
在操作420中,对第一残余量执行逆量化和逆变换,并且将经逆量化并逆变换后的第一残余量加上G颜色分量图像的16×16预测像素块,以便重构G颜色分量图像的原始的16×16像素块。
在操作430中,相关性预测单元314使用G颜色分量图像的重构后的相邻像素块的像素值、B和R颜色分量图像的重构后的相邻像素块的像素值和G颜色分量图像的重构后的当前像素块的像素值,在相应的位置处预测B颜色分量图像的像素块的像素值和R颜色分量图像的像素块的像素值。
如果在G颜色分量图像的重构后的16×16像素块的第i行和第j列中的像素的像素值为g’i,j,并且相应于g’i,j的、B颜色分量图像的像素块的第i行和第j列中的像素的预测值为bi,j那么能够使用G颜色分量图像的重构后的相邻像素块的像素值g’-1,0,g’-1,1,...,g’-1,15,g’0,-1,g’1,-1,...,g’15,-1,B颜色分量图像的重构后的相邻像素块的像素值b’-1,0,b’-1,1,...,b’-1,15,b’0,-1,b’1,-1,...,b’15,-1,和G颜色分量图像的重构后的当前像素块的像素值g’i,j,预测B颜色分量图像的像素块,如下:
bi,j=f(g′i,j,g′-1,0,g′-1,1,...,g′-1,15,g′0,-1,g′1,-1,...,g′15,-1,b′-1,0,...,b′-1,15,b′0,-1,...,b′15,-1)
(1)
其中可以多样地定义函数f。例如,能够将在G颜色分量图像的重构后的当前像素块的像素值g’i,j和相应于g’i,j的、B颜色分量图像的当前的像素块的预测值bi,j之间的关系定义为一阶函数如下:
bi,j=a×g′i,j+b
(2)
其中a指示预定权重,该预定的权重指示G颜色分量图像和B颜色分量图像之间的相关性,b指示预定偏移值。当以8比特表达图像的像素值时,将通过公式2获得的预测像素值限制为0和255之间的整数。
虽然公式2中的a和b可以根据像素的位置(i,j)而变化,但是在本发明的当前示范性实施例中的预定块内将a和b假设为常数。例如,可以将a和b确定为将使用第一颜色分量图像的重构后的相邻像素块的像素值来预测的第二颜色分量图像的相邻像素块的预测像素值和第二颜色分量图像的重构后的相邻像素块的像素值之间的差最小化的值。换言之,当第一颜色分量图像为G颜色分量图像,并且另一幅颜色分量图像为B颜色分量图像时,可以将a和b确定为将B颜色分量图像的重构后的相邻像素块的像素值b’i,j和使用公式2预测的B颜色分量图像的相邻像素块的相应预测像素值bi,j的之间的差的和最小化的值,如下:
( a , b ) = arg a , b Σ i = 0 15 | b - 1 , j - ( a · g ′ - 1 , j + b ) | + Σ j = - 1 15 | b j , - 1 - ( a · g ′ j , - 1 + b ) |
(3)
为了确定公式2中的a和b,可以将a确定为1,并且可以将b确定为B颜色分量图像的重构后的相邻像素块的像素值和G颜色分量图像的重构后的相邻像素块的像素值之间的差的平均值,如下:
b = Σ i = 0 15 ( b ′ - 1 , i - g ′ - 1 , i ) + Σ j = 0 15 ( b ′ j , - 1 - g ′ j , - 1 ) 32
(4)
一旦确定了公式2中的a和b,相关性预测单元314就将重构后的G颜色分量图像的像素块的像素值g’i,j代入公式2,以便预测B颜色分量图像的像素块的相应像素值。
为了确定公式2中的a和b,可以使用被广泛用于统计学领域中的基于线性回归模型的方法。
图8A说明在根据本发明的示范性实施例的图像编码方法和设备中的8×8像素块的处理次序,图8B说明在根据本发明的示范性实施例的图像编码方法和设备中的4×4像素块的处理次序。
参考图8A,当以8×8模式处理B颜色分量图像的像素块时,从左向右并自顶向下顺序地预测B颜色分量图像的四个8×8像素块。以与上述B颜色分量图像的16×16像素块的像素值的预测相似的方式,使用公式2来预测B颜色分量图像的8×8像素块的像素值。在以8×8模式的处理中,可以将公式2的a和b确定为将B颜色分量图像的重构后的相邻像素块的像素值和B颜色分量图像的相邻像素块的相应预测像素值之间的差的和最小化的值,或者可以将a确定为1,并且可以将b确定为B颜色分量图像的重构后的8×8相邻像素块的像素值和G颜色分量图像的重构后的8×8相邻像素块的像素值之间的差的平均值,如下:
b = Σ i = 0 7 ( b ′ - 1 , i - g ′ - 1 , i ) + Σ j = 0 7 ( b ′ j , - 1 - g ′ j , - 1 ) 16
(5)
参考图8B,当以4×4模式处理B颜色分量图像的像素块时,从左向右并自顶向下顺序地预测B颜色分量图像的16个4×4像素块。能够以与上述B颜色分量图像的16×16像素块或8×8像素块的像素值的预测相似的方式,使用公式2来预测B颜色分量图像的4×4像素块的像素值。
可以将公式2的a和b确定为把在B颜色分量图像的重构后的4×4相邻像素块的像素值和B颜色分量图像的相邻像素块的相应预测像素值之间的差的和最小化的值,或者可以将a确定为1,并且可以将b确定为在B颜色分量图像的重构后的8×8相邻像素块的像素值和G颜色分量图像的重构后的8×8相邻像素块的像素值之间的差的平均值,如下:
b = Σ i = 0 3 ( b ′ - 1 , i - g ′ - 1 , i ) + Σ j = 0 3 ( b ′ j , - 1 - g ′ j , - 1 ) 8
(6)
如上所述,可以以16×16的块、8×8的块或4×4的块为单位执行用于宏块(16×16)的相关性预测。如适应示例那样,可以以三种块模式中的一种为块的单位执行用于每一个宏块的相关性预测。
减法单元307使用G颜色分量图像的重构后的像素块的像素值,计算原始的B颜色分量图像的像素块和由相关性预测单元314预测的预测像素块之间的差,由此生成第二残余量。所生成的第二残余量通过变换、量化和熵编码,并且以比特流的形式输出。
像B颜色分量图像的像素块的像素值那样,也能够使用G颜色分量图像的重构后的像素块的像素值,预测R颜色分量图像的像素块的像素值。
相关性预测单元314可以使用先前经过处理的B颜色分量图像的重构后的像素块的像素值以代替重构后的G颜色分量图像的像素值,预测R颜色分量图像的像素块的像素值。换言之,将第二残余量的经变换并量化后的值逆变换并逆量化,该第二残余量的经变换并量化后的值为原始的B颜色分量图像的像素块和B颜色分量图像的预测像素块之间的差,并且可以将B颜色分量图像的像素块用于R颜色分量图像的像素块的预测,该B颜色分量图像的像素块是通过将逆变换并逆量化后的第二残余量加上B颜色分量图像的预测像素块来重构的。
更具体地说,当B颜色分量图像的重构后的像素块的第i行和第j列中的像素的像素值为b’i,j时,相应于b’i,j的、R颜色分量图像的像素块的第i行和第j列中的像素的预测值为ri,j,并且指示B颜色分量图像和R颜色分量图像之间的相关性的预定权重为c,预定的偏移值为d,并且相关性预测单元314将B颜色分量图像和R颜色分量图像之间的相关性建模为一阶函数,由此预测与B颜色分量图像的像素值相对应的R颜色分量图像的像素值,如下:
ri,j=c×b′i,j+d
(7)
如上所述,当以8比特表达图像的像素值时,将使用公式7获得的预测像素值限制为0和255之间的整数。可以以与a和b的确定相似的方式,使用B颜色分量图像的重构后的相邻像素块的像素值和R颜色分量图像的重构后的相邻像素块的像素值来确定c和d。
一旦确定了公式7的常数c和d,相关性预测单元314就将B颜色分量图像的重构后的像素块的像素值代入公式6,以预测R颜色分量图像的像素块的相应的像素值。
可以将公式2的值a和b与公式7的c和d作为预测模式信息,插入到所生成的比特流的头部内,并将所述公式2的值a和b与公式7的c和d传输到用于解码的解码级。然而,由于图像解码设备还能够以与图像编码设备相同的方式,使用每一个颜色分量的重构后的相邻像素来生成a、b、c和d,因此可以在不插入a、b、c和d到比特流的条件下由图像解码设备生成a、b、c和d。
图9为根据本发明的另一个示范性实施例的图像编码设备900的框图,图10为说明根据本发明的另一个示范性实施例的图像编码方法的流程图。
虽然根据本发明的另一个示范性实施例的图像编码设备900的结构和操作与图3中所示的图像编码设备300的所述结构和操作相似,但是图像编码设备900还包括检测重构后的第一颜色分量图像中的边缘的边缘检测单元901和区域划分单元902。在接下来的描述中,将不描述如图像编码设备300的组件那样的、图像编码设备900的相同的组件,并且根据本发明的另一个示范性实施例的图像编码设备900和图像编码方法的解释将集中在与根据本发明的一个示范性实施例的图像编码设备300的差别上。
在操作1010中,通过运动估计单元903和运动补偿单元904的运动估计/补偿或帧内预测单元905的帧内预测,生成G颜色分量图像的像素块的预测像素块。通过变换、量化和熵编码将第一残余量编码,并将该第一残余量输出为比特流,该第一残余量为G颜色分量图像的预测像素块和G颜色分量图像的原始像素块之间的差。
在操作1020中,对经变换并量化后的第一残余量执行逆变换和逆量化,由此重构第一残余量。将重构后的第一残余量加上G颜色分量图像的预测像素块,由此重构G颜色分量图像的像素块。
在操作1030中,边缘检测单元901检测第一颜色分量图像的预定大小的重构后的像素块中的边缘。这是因为颜色特征在由像素块中的边缘划分的区域之间会有所改变。因而,在本发明的另一个示范性实施例中,检测像素块中的边缘,由检测到的边缘将像素块分成区域,并且以与本发明的在前的示范性实施例相似的方式,从重构后的第一颜色分量的像素值,预测另一幅颜色分量图像的每一个区域中的像素值。
对于边缘检测,可以使用像sobel算子和canny边缘检测那样的、各种各样的边缘检测算法。可以将由帧内预测单元905确定的帧内预测模式的方向确定为边缘方向,而不需要边缘检测单元901。
在操作1040中,区域划分单元902使用所检测到的边缘,划分第一颜色分量图像的像素块和另一幅颜色分量图像的相应像素块。
图11A说明其中使用所检测到的边缘划分G颜色分量图像的像素块的示例,图11B说明其中使用所检测到的边缘划分B颜色分量图像的像素块的示例,并且图11C说明其中使用所检测到的边缘划分R颜色分量图像的像素块的示例。参考图11A至11C,如果边缘检测单元901检测到G颜色分量图像的重构后的像素块中的边缘,那么区域划分单元902确定在B颜色分量图像的像素块和R颜色分量图像的像素块中存在相同的边缘,并使用所检测到的边缘将每一幅颜色分量图像的像素块分成两个区域I和II。
在操作1050中,相关性预测单元913使用G颜色分量图像的相应的重构后的像素块,预测B颜色分量图像的区域I和II内的每一个区域中的像素值,和R颜色分量图像的像素值。换言之,相关性预测单元913使用重构后的G颜色分量的第一区域I中的像素值g’i,j,预测B颜色分量图像的像素块的第一区域I中的像素值,和R颜色分量图像的像素块的第一区域I的像素值。相似地,相关性预测单元913使用重构后的G颜色分量图像的第二区域II中的像素值g’i,j,预测B颜色分量图像的像素块的第二区域II中的像素值,和R颜色分量图像的像素块的第二区域II中的像素值。
更具体地说,如果将每一幅颜色分量图像的像素块分成n个区域,那么G颜色分量图像的重构后的像素块的第k个区域(k=1,2,...,n)中的像素值为g(k)i,j,相应于g(k)i,j的、B颜色分量图像的像素块的第k个区域中的像素的预测像素值为b(k)i,j,指示G颜色分量图像的第k个区域和B颜色分量图像的第k个区域之间的相关性的预定权重为e,预定的偏移值为f,并且能够如使用公式2那样来预测B颜色分量图像的像素块的像素值,如下:
b(k)i,j=e×g(k)i,j+f
(8)
其中可以将常数e和f确定为将第二颜色分量图像的相邻像素块的预测像素值和第二颜色分量图像的重构后的相邻像素块的像素值之间的差最小化的值,该第二颜色分量图像的相邻像素块邻接于使用第一颜色分量图像的重构后的相邻像素块的像素值预测的第二颜色分量图像的像素块的第k个区域,并且该第二颜色分量图像的重构后的相邻像素块邻接于第二颜色分量图像的像素块的第k个区域。
例如,可以将e确定为1,并且可以使用第二颜色分量图像的重构后的相邻像素块的像素值和第一颜色分量图像的重构后的相邻像素块的像素值之间的差的平均值来确定f,该第二颜色分量图像的重构后的相邻像素块邻接于第二颜色分量图像的像素块的第k个区域,并且该第一颜色分量图像的重构后的相邻像素块邻接于第二颜色分量图像的像素块的第k个区域。参考图11A和11B,当第一颜色分量图像为G颜色分量图像、并且第二颜色分量图像为B颜色分量图像时,能够使用邻接于当前的像素块的第一区域I的G颜色分量图像的重构后的相邻像素块的像素1110的像素值和B颜色分量图像的重构后的相邻像素块的相应的像素1112的像素值,来定义将施加到第一区域I的公式9的f,如下:
f = Σ i = - 1 8 ( b ′ - 1 , i - g ′ - 1 , i ) + Σ j = 0 10 ( b ′ j , - 1 - g ′ j , - 1 ) 21
(9)
相似地,能够使用邻接于当前像素块的第二区域II的、G颜色分量图像的重构后的相邻像素块的像素1120与1130的像素值,和B颜色分量图像的重构后的相邻像素块的相应像素1122与1132的像素值,来定义将施加到第二区域II的公式8的f,如下:
f = Σ i = 9 15 ( b ′ - 1 , i - g ′ - 1 , i ) + Σ j = 11 15 ( b ′ j , - 1 - g ′ j , - 1 ) 12
(10)
像B颜色分量图像的像素块的第一区域I和第二区域II内的每一个区域中的像素值的预测那样,也能够预测R颜色分量图像的像素块的第一区域I和第二区域II内的每一个区域中的像素值。
当预测R颜色分量图像的像素块的像素值时,可以像在公式7中那样在相同的区域中使用B颜色分量图像的重构后的像素块的像素值,而非G颜色分量图像的重构后的像素块的像素值。
图12为根据本发明的示范性实施例的图像解码设备1200的框图。
参考图12,图像解码设备1200包括熵解码单元1210、重排单元1220、逆量化单元1230、逆变换单元1240、帧内预测单元1250、运动补偿单元1260、相关性预测单元1270和滤波器1280。
熵解码单元1210和重排单元1220接收被压缩的比特流并执行熵解码,由此生成量化系数。逆量化单元1230和逆变换单元1240对量化系数执行逆量化和逆变换,以便提取每一幅颜色分量图像的残余量信息、运动向量信息和预测模式信息。此处,预测模式信息可以包含指示被压缩的比特流是否为由根据本发明的示范性实施例编码的比特流的预定语法。如果根据本发明的示范性实施例将被压缩的比特流编码,那么预测模式信息可以包含用于预测其它颜色分量图像的像素块的像素值的预测器信息。例如,预测模式信息可以包括公式2的a和b、公式7的c和d与公式8的e和f。
如果当前像素块为经帧间预测的像素块,那么运动补偿单元1260通过运动补偿和估计来生成当前像素块的预测像素块。如果当前的像素块为经帧内预测的像素块,那么帧内预测单元1250通过执行帧内预测来生成当前像素块的预测像素块。
加法单元1275将第一颜色分量图像的预测像素块和从逆变换单元1240输出的第一残余量相加,以便将第一颜色分量图像的像素块解码。
将第一颜色分量图像的解码后的像素块输入到相关性预测单元1270。相关性预测单元1270使用第一颜色分量图像的解码后的像素块,将另一幅颜色分量图像的相应像素块解码。
更具体地说,像图3的相关性预测单元314那样,相关性预测单元1270将第一颜色分量图像的解码后的像素块的像素值代入公式2,由此预测第二或第三颜色分量图像的像素块的像素值。如果使用重构后的第二颜色分量图像来预测第三颜色分量图像,那么能够像在公式7中那样,使用颜色分量图像的重构后的像素块的像素值,预测第三颜色分量图像的像素块的像素值。
通过将从逆变换单元1240输出的第二残余量和第三残余量加上由相关性预测单元1270预测的第二颜色分量图像和第三颜色分量图像的预测像素块,将第二颜色分量图像的像素块和第三颜色分量图像的像素块解码。
当根据本发明的另一个示范性实施例,检测像素块的每一个区域中的边缘并将编码后的比特流编码时,图像解码设备1200还可以包括边缘检测单元(未示出),其检测来自接收到的比特流的第一颜色分量图像的像素块中的边缘,该接收到的比特流包含多幅编码后的颜色分量图像;和区域划分单元(未示出),其使用所检测到的边缘来划分颜色分量图像中的每一幅的像素块。在这种情况下,像图9的相关性预测单元913那样,相关性预测单元1270使用G颜色分量图像的解码后的像素块,预测B颜色分量图像和R颜色分量图像的相应像素块的每一个区域中的像素值。如上所述,可以使用重构后的相邻像素块的像素值或包含在比特流中的预测模式信息,确定用于预测其它颜色分量图像的像素值的预测器的常数。
图13为说明根据本发明的示范性实施例的图像解码方法的流程图。
参考图13,在操作1310中接收至少包含两幅编码后的颜色分量图像的比特流。
在操作1320中,生成包含在比特流内的多幅颜色分量图像之中的第一颜色分量图像的具有预定大小的像素块的预测像素块,并且在操作1330中,将第一颜色分量图像的预测像素块加上第一残余量,,以便将第一颜色分量图像的像素块解码。
在操作1340中,使用第一颜色分量图像的解码后的像素块、第一颜色分量图像的解码后的相邻像素块和另一幅颜色分量图像的解码后的相邻像素块,预测另一幅颜色分量图像的像素块的像素值,由此生成另一幅颜色分量图像的像素块的预测像素块。如上所述,为了生成像公式2或7中那样的、用于预测另一幅颜色分量图像的像素块的预测器,可以使用包含在比特流中的预测模式信息或第一颜色分量图像的解码后的相邻像素块和另一幅颜色分量图像的解码后的相邻像素块。相关性预测单元1270使用第一颜色分量图像的解码后的像素块的像素值来预测第二颜色分量图像和第三颜色分量图像的像素块的像素值,或使用第二颜色分量图像来预测第三颜色分量图像的解码后的像素块的像素值。
在操作1350中,将逆变换后的第二残余量和逆变换后的第三残余量加上第二颜色分量图像和第三颜色分量图像的像素块的预测像素块,由此将第二颜色分量图像和第三颜色分量图像的像素块解码。
图14为说明根据本发明的另一个示范性实施例的图像解码方法的流程图。除了将颜色分量图像的像素块中的每一个区域解码之外,其中由每一个像素块中的边缘划分所述区域,根据本发明的另一个示范性实施例的图像解码方法与根据本发明的前述示范性实施例的所述图像解码方法相似。
参考图14,在操作1410中接收至少包含两幅编码后的颜色分量图像的比特流。
在操作1420中,将颜色分量图像中的第一颜色分量图像的具有预定大小的像素块解码。
在操作1430中,检测第一颜色分量图像的解码后的像素块中的边缘。
在操作1440中,使用所检测到的边缘来划分第一颜色分量图像的解码后的像素块和其它颜色分量图像的相应像素块。
在操作1450中,使用第一颜色分量图像的解码后的像素块,预测第二颜色分量图像和第三颜色分量图像的像素块的每一个区域中的像素值。
组合在第二颜色分量图像或第三颜色分量图像的每一个区域中预测的像素值,以形成第二颜色分量图像或第三颜色分量图像的预测像素块。将预测像素块加上经逆变换的第二残余量和第三残余量,由此将第二颜色分量图像和第三颜色分量图像的像素块解码。
还能够将本发明具体实施为在计算机可读记录介质上的计算机可读代码。计算机可读记录介质为能够存储数据的任何数据存储装置,所述数据之后能够由计算机系统读取。计算机可读记录介质的示例包括只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘、光学数据存储装置和载波。由于还能够将计算机可读记录介质分布于被耦接的计算机系统的网络之上,因此以分布式存储并执行计算机可读代码。
尽管已参考本发明的示范性实施例具体示出并描述了本发明,但是本领域普通技术人员应当理解的是,在不背离如后附权利要求所定义的本发明的精神和范畴的条件下,在这里可以在形式和细节上进行各种各样的改变。

Claims (44)

1、一种图像编码方法,包含:
(a)对包含多幅分量图像的输入图像的第一颜色分量图像的具有预定大小的像素块执行预测编码;
(b)重构所述第一颜色分量图像的经预测编码的像素块;以及
(c)使用所述第一颜色分量图像的重构后的相邻像素块的像素值、第二颜色分量图像的重构后的相邻像素块的像素值和所述第一颜色分量图像的重构后的像素块的像素值,预测所述第二颜色分量图像的相应像素块。
2、如权利要求1所述的图像编码方法,其中,所述输入图像包含红(R)颜色分量图像、绿(G)颜色分量图像和蓝(B)颜色分量图像。
3、如权利要求1所述的图像编码方法,其中(c)包含预测
Yi,j
如下:
Yi,j=a×X′i,j+b
,其中i×j表示所述第一颜色分量图像的重构后的像素块的大小,其中i和j为整数,X′i,j表示所述第一颜色分量图像的重构后的像素块的第i行和第j列中的像素值,
Yi,j
,其相应于X′i,j,表示第二颜色分量图像的预测像素块的第i行和第j列中的预测像素值,a表示指示所述第一颜色分量图像和所述第二颜色分量图像之间的相关性的预定权重,并且b表示预定偏移值。
4、如权利要求3所述的图像编码方法,其中,将a和b确定为将所述第二颜色分量图像的相邻像素块的预测像素值和所述第二颜色分量图像的重构后的相邻像素块的像素值之间的差最小化的值,所述第二颜色分量图像的相邻像素块的预测像素值是使用所述第一颜色分量图像的重构后的相邻像素块的像素值进行预测的。
5、如权利要求3所述的图像编码方法,其中,a为1,并且b为所述第二颜色分量图像的重构后的相邻像素块的像素值和所述第一颜色分量图像的重构后的相邻像素块的像素值之间的差的平均值。
6、如权利要求3所述的图像编码方法,其中,基于线性回归模型确定a和b。
7、如权利要求3所述的图像编码方法,其中(c)还包含:
使用所述第一颜色分量图像的重构后的像素块来生成所述第二颜色分量图像的像素块的预测像素块,并使用所述第二颜色分量图像的重构后的像素块来生成第三颜色分量图像的像素块的预测像素块。
8、一种图像编码方法,包含:
(a)对包含多幅颜色分量图像的输入图像的第一颜色分量图像的具有预定大小的像素块执行预测编码;
(b)重构所述第一颜色分量图像的经预测编码的像素块;
(c)检测所述第一颜色分量图像的重构后的像素块中的边缘;
(d)使用所述所检测到的边缘,将所述第一颜色分量图像的像素块和第二颜色分量图像的相应的像素块分成区域;以及
(e)使用所述第一颜色分量图像的重构后的相邻像素块的像素值、所述第二颜色分量图像的重构后的相邻像素块的像素值和所述第一颜色分量图像的重构后的像素块的像素值,预测所述第二颜色分量图像的区域内的每一个区域中的像素值。
9、如权利要求8所述的图像编码方法,其中(e)包含预测
Y(k)i,j
如下:
Y(k)i,j=e×X(k)i,j+f
,其中将所述第一颜色分量图像的像素块和所述第二颜色分量图像的相应像素块中的每一个分成n个区域,其中n为整数,X(k)i,j表示所述第一颜色分量图像的重构后的像素块的第k个区域(k=1,2,...,n)中的像素值,
Y(k)i,j
,其相应于X(k)i,j,表示所述第二颜色分量图像的像素块的第k个区域中的预测像素值,e表示指示所述第一颜色分量图像的第k个区域和所述第二颜色分量图像的第k个区域之间的相关性的预定权重,f表示预定偏移值。
10、如权利要求9所述的图像编码方法,其中,e和f将所述第二颜色分量图像的相邻像素块的预测像素值和所述第二颜色分量图像的重构后的相邻像素块的像素值之间的差最小化,所述第二颜色分量图像的相邻像素块邻接于使用所述第一颜色分量图像的重构后的相邻像素块的像素值进行预测的所述第二颜色分量图像的像素块的第k个区域,所述第二颜色分量图像的重构后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域。
11、如权利要求9所述的图像编码方法,其中,e为1,并且f为所述第二颜色分量图像的重构后的相邻像素块的像素值和所述第一颜色分量图像的重构后的相邻像素块的像素值之间的差的平均值,其中所述第二颜色分量图像的重构后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域,并且所述第一颜色分量图像的重构后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域。
12、如权利要求9所述的图像编码方法,其中,基于线性回归模型确定e和f。
13、一种图像编码设备,包含:
预测编码单元,其对包含多幅颜色分量图像的图像的第一颜色分量图像的具有预定大小的像素块执行预测编码;
重构单元,其重构所述第一颜色分量图像的经预测编码的像素块;和
相关性预测单元,其使用所述第一颜色分量图像的重构后的相邻像素块的像素值、第二颜色分量图像的重构后的相邻像素块的像素值和所述第一颜色分量图像的重构后的像素块的像素值,预测所述第二颜色分量图像的相应像素块。
14、如权利要求13所述的图像编码设备,其中,所述输入图像包含红(R)颜色分量图像、绿(G)颜色分量图像和蓝(B)颜色分量图像。
15、如权利要求13所述的图像编码设备,其中,所述相关性预测单元使用:
Yi,j=a×X′i,j+b
来预测
Yi,j
,其中i×j表示所述第一颜色分量的重构后的像素块的大小,其中i和j为整数,X′i,j表示所述第一颜色分量图像的重构后的像素块的第i行和第j列中的像素值,
Yi,j
,其相应于X′i,j,表示第二颜色分量图像的预测像素块的第i行和第j列中的预测像素值,a表示指示所述第一颜色分量图像和所述第二颜色分量图像之间的相关性的预定权重,并且b表示预定偏移值。
16、如权利要求15所述的图像编码设备,其中,将a和b确定为将所述第二颜色分量图像的相邻像素块的预测像素值和所述第二颜色分量图像的重构后的相邻像素块的像素值之间的差最小化的值,所述第二颜色分量图像的相邻像素块的预测像素值是使用所述第一颜色分量图像的重构后的相邻像素块的像素值来进行预测的。
17、如权利要求15所述的图像编码设备,其中,a为1,并且b为所述第二颜色分量图像的重构后的相邻像素块的像素值和所述第一颜色分量图像的重构后的相邻像素块的像素值之间的差的平均值。
18、如权利要求15所述的图像编码设备,其中,基于线性回归模型确定a和b。
19、如权利要求13所述的图像编码设备,其中,所述相关性预测单元使用所述第一颜色分量图像的重构后的像素块来生成所述第二颜色分量图像的预测像素块,并使用所述第二颜色分量图像的重构后的像素块来生成第三颜色分量图像的预测像素块。
20、一种图像编码设备,包含:
预测编码单元,其对包含多幅颜色分量图像的输入图像的第一颜色分量图像的具有预定大小的像素块执行预测编码;
重构单元,其重构所述第一颜色分量图像的经预测编码的像素块;
边缘检测单元,其检测所述第一颜色分量图像的重构后的像素块中的边缘;
区域划分单元,其使用所述所检测到的边缘,将所述第一颜色分量图像的像素块和第二颜色分量图像的相应像素块分成区域;和
相关性预测单元,其使用所述第一颜色分量图像的重构后的相邻像素块的像素值、所述第二颜色分量图像的重构后的相邻像素块的像素值和所述第一颜色分量图像的重构后的像素块的像素值,预测所述第二颜色分量图像的区域中每一个区域中的像素值。
21、如权利要求20所述的图像编码设备,其中,所述相关性预测单元使用公式:
Y(k)i,j=e×X(k)i,j+f
预测
Y(k)i,j
,其中将所述第一颜色分量图像的像素块和所述第二颜色分量图像的相应像素块中的每一个像素块分成n个区域,其中n为整数,X(k)i,j表示所述第一颜色分量图像的重构后的像素块的第k个区域中的像素值,其中k=1,2,...,n,
Y(k)i,j
,其相应于X(k)i,j,表示所述第二颜色分量图像的像素块的第k个区域中的预测像素值,e表示指示所述第一颜色分量图像的第k个区域和所述第二颜色分量图像的第k个区域之间的相关性的预定权重,并且f表示预定的偏移值。
22、如权利要求21所述的图像编码设备,其中,e和f将所述第二颜色分量图像的相邻像素块的预测像素值和所述第二颜色分量图像的重构后的相邻像素块的像素值之间的差最小化,其中所述第二颜色分量图像的相邻像素块邻接于使用所述第一颜色分量图像的重构后的相邻像素块的像素值来进行预测的所述第二颜色分量图像的像素块的第k个区域,并且所述第二颜色分量图像的重构后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域。
23、如权利要求21所述的图像编码设备,其中,e为1,并且f为所述第二颜色分量图像的重构后的相邻像素块的像素值和所述第一颜色分量图像的重构后的相邻像素块的像素值之间的平均值,其中所述第二颜色分量图像的重构后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域,并且所述第一颜色分量图像的重构后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域。
24、如权利要求22所述的图像编码设备,其中,基于线性回归模型确定e和f。
25、一种图像解码方法,包含:
(a)接收包含多幅颜色分量图像的编码后的图像的比特流;
(b)将所述颜色分量图像之中的第一颜色分量图像的具有预定大小的像素块解码;以及
(c)使用所述先前经过处理的第一颜色分量图像的解码后的相邻像素块的像素值、第二颜色分量图像的解码后的相邻像素块的像素值和所述第一颜色分量图像的解码后的像素块的像素值,将所述第二颜色分量图像的相应像素块解码。
26、如权利要求25所述的图像解码方法,其中,所述编码后的图像包含红(R)颜色分量图像、绿(G)颜色分量图像和蓝(B)颜色分量图像。
27、如权利要求25所述的图像解码方法,其中,(c)包含:
(c1)从所述比特流提取指示所述第一颜色分量图像和所述第二颜色分量图像之间的相关性的预定权重a和预定偏移值b;
(c2)生成所述第二颜色分量图像的预测像素块,其由
Yi,j
组成,使用
Yi,j=a×X′i,j+b
来预测该Yi,j
其中i×j表示所述第一颜色分量的解码后的像素块的大小,其中i和j为整数,X′i,j表示所述第一颜色分量图像的重构后的像素块的第i行和第j列中的像素值,并且
Yi,j
,其相应于X′i,j,表示第二颜色分量图像的预测像素块的第i行和第j列中的预测像素值;
(c3)将包含在所述比特流中的第二残余量解码,而所述第二残余量为所述第二颜色分量图像的像素块和所述第二颜色分量图像的预测像素块之间的差;以及
(c4)通过将所述解码后的第二残余量加上所述第二颜色分量图像的预测像素块,将所述第二颜色分量图像的像素块解码。
28、如权利要求27所述的图像解码方法,其中,将a和b确定为将所述第二颜色分量图像的相邻像素块的预测像素值和所述第二颜色分量图像的解码后的相邻像素块的像素值之间的差最小化的值,其中所述第二颜色分量图像的相邻像素块的预测像素值是使用所述第一颜色分量图像的解码后的相邻像素块的像素值来进行预测的。
29、如权利要求27所述的图像解码方法,其中,a为1,并且b为所述第二颜色分量图像的解码后的相邻像素块的像素值和所述第一颜色分量图像的解码后的相邻像素块的像素值之间的差的平均值。
30、如权利要求28所述的图像解码方法,其中,基于线性回归模型确定a和b。
31、如权利要求27所述的图像解码方法,其中,(c)还包含:
使用所述第一颜色分量图像的解码后的像素块来将所述第二颜色分量图像的像素块解码,并使用所述第二颜色分量图像的解码后的像素块来将第三颜色分量图像的像素块解码。
32、一种图像解码方法,包含:
(a)接收包含多幅颜色分量图像的编码后的图像的比特流;
(b)将所述颜色分量图像之中的第一颜色分量图像的具有预定大小的像素块解码;
(c)检测所述第一颜色分量图像的解码后的像素块中的边缘;
(d)使用所述所检测到的边缘,将所述第一颜色分量图像的解码后的像素块和第二颜色分量图像的相应的像素块分成区域;以及
(e)通过使用所述第一颜色分量图像的解码后的相邻像素块的像素值、所述第二颜色分量图像的解码后的相邻像素块的像素值和所述第一颜色分量图像的解码后的像素块的像素值来预测所述第二颜色分量图像的区域中每一个区域中的像素值,将第二颜色分量图像的像素块解码。
33、如权利要求32所述的图像解码方法,其中,(e)包含:
(e1)从所述比特流提取指示所述第一颜色分量图像和所述第二颜色分量图像之间的相关性的预定权重e和预定偏移值f;
(e2)生成所述第二颜色分量图像的预测像素块,该预测像素块具有像素值
Y(k)i,j
使用
Y(k)i,j=e×X(k)i,j+f
来预测所述Y(k)i,j
,其中将所述第一颜色分量图像的解码后的像素块和所述第二颜色分量图像的相应的像素块中的每一个像素块分成n个区域,其中n为整数,X(k)i,j表示所述第一颜色分量图像的解码后的像素块的第k个区域中的像素值,其中k=1,2,...,n,
Y(k)i,j
,其相应于X(k)i,j,表示所述第二颜色分量图像的像素块的第k个区域中的预测像素值,e表示指示所述第一颜色分量图像的第k个区域和所述第二颜色分量图像的第k个区域之间的相关性的预定权重,f表示预定偏移值;
(e3)将包含在所述比特流中的第二残余量解码,而所述第二残余量为所述第二颜色分量图像的像素块和所述第二颜色分量图像的预测像素块之间的差;以及
(e4)通过将所述解码后的第二残余量加上所述第二颜色分量图像的预测像素块,将所述第二颜色分量图像的像素块解码。
34、如权利要求33所述的图像解码方法,其中,e和f将所述第二颜色分量图像的相邻像素块的预测像素值和所述第二颜色分量图像的解码后的相邻像素块的像素值之间的差最小化,其中所述第二颜色分量图像的相邻像素块邻接于使用所述第一颜色分量图像的解码后的相邻像素块的像素值来进行预测的所述第二颜色分量图像的像素块的第k个区域,并且所述第二颜色分量图像的解码后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域。
35、如权利要求33所述的图像解码方法,其中,e为1,并且f为所述第二颜色分量图像的解码后的相邻像素块的像素值和所述第一颜色分量图像的解码后的相邻像素块的像素值之间的平均值,其中所述第二颜色分量图像的解码后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域,并且所述第一颜色分量图像的解码后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域。
36、一种图像解码设备,包含:
第一颜色分量解码单元,其接收包含多幅编码后的颜色分量图像的比特流,并将所述颜色分量图像之中的第一颜色分量图像的具有预定大小的像素块解码,其中所述多幅编码后的颜色分量图像包含多个颜色分量;和
相关性解码单元,其使用所述先前经过处理的第一颜色分量图像的解码后的相邻像素块的像素值、第二颜色分量图像的解码后的相邻像素块的像素值和所述第一颜色分量图像的解码后的像素块的像素值,将所述第二颜色分量图像的相应像素块解码。
37、如权利要求36所述的图像解码设备,其中,所述相关性解码单元生成所述第二颜色分量图像的预测像素块,该预测像素块具有像素值
Yi,j
使用
Yi,j=a×X′i,j+b
来预测所述Yi,j
,其中i×j表示所述第一颜色分量的解码后的像素块的大小,其中i和j为整数,X′i,j表示所述第一颜色分量图像的重构后的像素块的第i行和第j列中的像素值,
Yi,j
,其相应于X′i,j,表示第二颜色分量图像的预测像素块的第i行和第j列中的预测像素值,a表示指示包含在所述比特流中的所述第一颜色分量图像和所述第二颜色分量图像之间的相关性的预定权重,并且b表示预定偏移值。
38、如权利要求37所述的图像解码设备,其中,将a和b确定为将所述第二颜色分量图像的相邻像素块的预测像素值和所述第二颜色分量图像的解码后的相邻像素块的像素值之间的差最小化的值,而使用所述第一颜色分量图像的解码后的相邻像素块的像素值来预测所述第二颜色分量图像的相邻像素块的预测像素值。
39、如权利要求37所述的图像解码方法,其中,a为1,并且b为在所述第二颜色分量图像的解码后的相邻像素块的像素值和所述第一颜色分量图像的解码后的相邻像素块的像素值之间的差的平均值。
40、如权利要求37所述的图像编码方法,其中,基于线性回归模型确定a和b。
41、一种图像解码设备,包含:
第一颜色分量解码单元,其接收包含多幅编码后的颜色分量图像的比特流,通过帧内预测将所述颜色分量图像之中的第一颜色分量图像的具有预定大小的像素块解码,并输出所述第一颜色分量图像的解码后的像素块;
边缘检测单元,其检测所述第一颜色分量图像的解码后的像素块中的边缘;
区域划分单元,其使用所述所检测到的边缘,将所述第一颜色分量图像的解码后的像素块和第二颜色分量图像的相应的像素块分成区域;和
相关性解码单元,其通过使用所述第一颜色分量图像的解码后的相邻像素块的像素值、所述第二颜色分量图像的解码后的相邻像素块的像素值和所述第一颜色分量图像的解码后的像素块的像素值来预测所述第二颜色分量图像的区域中每一个区域中的像素值,将所述第二颜色分量图像的像素块解码。
42、如权利要求41所述的图像解码设备,其中,所述相关性解码单元生成所述第二颜色分量图像的预测像素块,该预测像素块具有像素值
Y(k)i,j
使用
Y(k)i,j=e×X(k)i,j+f
来预测所述Y(k)i,j
,其中将所述第一颜色分量图像的解码后的像素块和所述第二颜色分量图像的相应的像素块中的每一个像素块分成n个区域,其中n为整数,Y(k)i,j表示所述第一颜色分量图像的解码后的像素块的第k个区域中的像素值,其中k=1,2,...,n,
Y(k)i,j
,其相应于X(k)i,j,表示第二颜色分量图像的像素块的第k个区域中的预测像素值,e表示指示包含于所述比特流中的所述第一颜色分量图像和所述第二颜色分量图像之间的相关性的预定权重,并且f表示预定偏移值。
43、如权利要求42所述的图像解码设备,其中,e和f将所述第二颜色分量图像的相邻像素块的预测像素值和所述第二颜色分量图像的解码后的相邻像素块的像素值之间的差最小化,其中所述第二颜色分量图像的相邻像素块邻接于使用所述第一颜色分量图像的解码后的相邻像素块的像素值来进行预测的所述第二颜色分量图像的像素块的第k个区域,并且所述第二颜色分量图像的解码后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域。
44、如权利要求42所述的图像解码设备,其中,e为1,并且f为在所述第二颜色分量图像的解码后的相邻像素块的像素值和所述第一颜色分量图像的解码后的相邻像素块的像素值之间的差的平均值,其中所述第二颜色分量图像的解码后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域,并且所述第一颜色分量图像的解码后的相邻像素块邻接于所述第二颜色分量图像的像素块的第k个区域。
CN2007800064961A 2006-03-23 2007-03-20 图像编码/解码方法和设备 Expired - Fee Related CN101496406B (zh)

Applications Claiming Priority (8)

Application Number Priority Date Filing Date Title
US78491106P 2006-03-23 2006-03-23
US60/784,911 2006-03-23
US78672206P 2006-03-29 2006-03-29
US60/786,722 2006-03-29
KR1020060063485A KR101200865B1 (ko) 2006-03-23 2006-07-06 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
KR1020060063485 2006-07-06
KR10-2006-0063485 2006-07-06
PCT/KR2007/001365 WO2007108640A2 (en) 2006-03-23 2007-03-20 Image encoding/decoding method and apparatus

Publications (2)

Publication Number Publication Date
CN101496406A true CN101496406A (zh) 2009-07-29
CN101496406B CN101496406B (zh) 2012-02-01

Family

ID=41190737

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800064961A Expired - Fee Related CN101496406B (zh) 2006-03-23 2007-03-20 图像编码/解码方法和设备

Country Status (2)

Country Link
JP (1) JP5143120B2 (zh)
CN (1) CN101496406B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2529553A1 (en) * 2010-01-25 2012-12-05 Thomson Licensing Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
CN103329538A (zh) * 2011-01-15 2013-09-25 Sk电信有限公司 利用双向帧内预测对图像进行编码/解码的方法和装置
CN105915926A (zh) * 2011-01-12 2016-08-31 三菱电机株式会社 图像编码装置和方法、以及图像译码装置和方法
CN103329538B (zh) * 2011-01-15 2016-11-30 Sk电信有限公司 利用双向帧内预测对图像进行编码/解码的方法和装置
CN108134931A (zh) * 2012-04-26 2018-06-08 索尼公司 视频解码方法、视频编码方法和非暂时性计算机可读媒体
CN110072108A (zh) * 2019-05-06 2019-07-30 上海兆芯集成电路有限公司 图像压缩的方法及装置
WO2020186763A1 (zh) * 2019-03-18 2020-09-24 Oppo广东移动通信有限公司 图像分量预测方法、编码器、解码器以及存储介质
CN113518228A (zh) * 2012-09-28 2021-10-19 交互数字麦迪逊专利控股公司 用于视频译码中的色度信号增强的交叉平面滤波
WO2024125617A1 (en) * 2022-12-15 2024-06-20 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012081636A1 (ja) * 2010-12-15 2012-06-21 シャープ株式会社 画像復号装置、画像符号化装置、および符号化データのデータ構造
JP2014168107A (ja) * 2011-06-24 2014-09-11 Mitsubishi Electric Corp 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP5707261B2 (ja) * 2011-07-12 2015-04-22 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
BR112014003165A2 (pt) * 2011-08-09 2017-03-01 Samsung Electronics Co Ltd método para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, aparelho para codificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, método para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações, e aparelho para decodificar um mapa de profundidade de dados de vídeo de múltiplas visualizações
US8615138B2 (en) 2011-11-03 2013-12-24 Google Inc. Image compression using sub-resolution images
JP5753062B2 (ja) * 2011-11-16 2015-07-22 Kddi株式会社 色コンポーネント間予測型画像符号化装置および復号装置
WO2017059926A1 (en) * 2015-10-09 2017-04-13 Telefonaktiebolaget Lm Ericsson (Publ) Cross component prediction in video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5513128A (en) * 1993-09-14 1996-04-30 Comsat Corporation Multispectral data compression using inter-band prediction
JPH08205172A (ja) * 1995-01-26 1996-08-09 Mitsubishi Electric Corp 領域分割型動き予測回路、領域分割型動き予測回路内蔵画像符号化装置および領域分割型動き予測画像復号化装置
US7469069B2 (en) * 2003-05-16 2008-12-23 Samsung Electronics Co., Ltd. Method and apparatus for encoding/decoding image using image residue prediction

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2529553A4 (en) * 2010-01-25 2014-06-18 Thomson Licensing VIDEO CODIER, VIDEO CODE, VIDEO CODING AND VIDEO CODING METHOD, SEPARATE FOR EACH COLOR LEVEL
US9083947B2 (en) 2010-01-25 2015-07-14 Thomson Licensing Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
CN102763417B (zh) * 2010-01-25 2015-12-02 汤姆森特许公司 单独地针对每个色彩平面的视频编码器、视频解码器、视频编码方法和视频解码方法
EP2529553A1 (en) * 2010-01-25 2012-12-05 Thomson Licensing Video encoder, video decoder, method for video encoding and method for video decoding, separately for each colour plane
CN105915926B (zh) * 2011-01-12 2019-05-21 三菱电机株式会社 图像编码装置和方法、以及图像译码装置和方法
CN105915926A (zh) * 2011-01-12 2016-08-31 三菱电机株式会社 图像编码装置和方法、以及图像译码装置和方法
CN103329538A (zh) * 2011-01-15 2013-09-25 Sk电信有限公司 利用双向帧内预测对图像进行编码/解码的方法和装置
CN103329538B (zh) * 2011-01-15 2016-11-30 Sk电信有限公司 利用双向帧内预测对图像进行编码/解码的方法和装置
US9544584B2 (en) 2011-01-15 2017-01-10 Sk Telecom Co., Ltd. Method and apparatus for encoding/decoding video using bidirectional intra prediction
CN108134931A (zh) * 2012-04-26 2018-06-08 索尼公司 视频解码方法、视频编码方法和非暂时性计算机可读媒体
CN108134931B (zh) * 2012-04-26 2022-03-01 索尼公司 视频解码方法、视频编码方法和非暂时性计算机可读媒体
CN113518228A (zh) * 2012-09-28 2021-10-19 交互数字麦迪逊专利控股公司 用于视频译码中的色度信号增强的交叉平面滤波
CN113518228B (zh) * 2012-09-28 2024-06-11 交互数字麦迪逊专利控股公司 用于视频编码的方法、用于视频解码的方法及其装置
WO2020186763A1 (zh) * 2019-03-18 2020-09-24 Oppo广东移动通信有限公司 图像分量预测方法、编码器、解码器以及存储介质
US11368680B2 (en) 2019-03-18 2022-06-21 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Colour component prediction method, encoder, decoder and storage medium
US11778172B2 (en) 2019-03-18 2023-10-03 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Colour component prediction method, encoder, decoder and storage medium
CN110072108A (zh) * 2019-05-06 2019-07-30 上海兆芯集成电路有限公司 图像压缩的方法及装置
CN110072108B (zh) * 2019-05-06 2022-10-28 格兰菲智能科技有限公司 图像压缩的方法及装置
WO2024125617A1 (en) * 2022-12-15 2024-06-20 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing

Also Published As

Publication number Publication date
JP5143120B2 (ja) 2013-02-13
CN101496406B (zh) 2012-02-01
JP2009534876A (ja) 2009-09-24

Similar Documents

Publication Publication Date Title
CN101496406B (zh) 图像编码/解码方法和设备
CN101416521B (zh) 图像编码/解码方法和设备
CN101352046B (zh) 图像编码/解码方法与装置
CN101356818B (zh) 图像编码/解码方法和设备
CN101507277B (zh) 图像编码/解码方法和设备
US8111914B2 (en) Method and apparatus for encoding and decoding image by using inter color compensation
KR101200865B1 (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
JP5128443B2 (ja) 映像の符号化、復号化の方法及びその装置
CN104094601B (zh) 用于采样自适应偏移编码和/或信令的装置和方法
EP3179720B1 (en) Quantization method and apparatus in encoding/decoding
CN106170092A (zh) 用于无损编码的快速编码方法
CN1599462B (zh) 图像编码和解码装置及方法
CN105027160A (zh) 空间自适应视频编码

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120201

Termination date: 20200320