CN107580222A - 一种基于线性模型预测的图像或视频编码方法 - Google Patents
一种基于线性模型预测的图像或视频编码方法 Download PDFInfo
- Publication number
- CN107580222A CN107580222A CN201710647011.2A CN201710647011A CN107580222A CN 107580222 A CN107580222 A CN 107580222A CN 201710647011 A CN201710647011 A CN 201710647011A CN 107580222 A CN107580222 A CN 107580222A
- Authority
- CN
- China
- Prior art keywords
- image component
- image
- sampling
- video
- component
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明公开一种基于线性模型预测的图像或视频编码方法，使用第一图像分量、第二图像分量和第三图像分量表征待编码的图像或视频；使用预设数量的不同滤波器对所述图像或视频的当前待编码块相邻的已编码块的所述第一和第二图像分量进行采样，通过线性模型对所述第二和第三图像分量的已编码值进行预测并计算预测误差，按照误差最小原则确定最佳的滤波器并根据所述第一图像分量为基础对所述当前待编码块的所述第二和第三图像分量进行预测编码。在编码过程中，该方法通过使用不同类型的滤波器可以适应不同的图像或视频源，通过误差最小原则，自适应的选择滤波器，以提高不同图像分量的预测精度。
Description
技术领域
本发明涉及图像、视频压缩编码领域。更具体地，涉及一种基于线性模型预测的图像或视频编码方法。
背景技术
随着信息技术的迅速发展，网络带宽的提高，芯片处理能力的增强，视频应用越来越广泛。从固定端如电视，电脑，到移动端手机。视频内容变得越来越丰富，对质量的要求也在不断的提高，从标清到高清，再到超高清，从标准动态范围到高动态范围(HDR，HighDynamic Range)，虚拟现实(VR，Virtual Reality)，360度视频也正快速走入人们的生活。据统计，视频内容占据了绝大部分的网络带宽，所以对压缩技术也提出了越来越高的要求。
最新的视频编码国际标准H.265/HEVC(High Efficiency Video Coding)由国际电信联盟(ITU-T)于2013年制定完成，H.265/HEVC的压缩性能比前一代视频编码标准H.264/AVC(Advanced Video Coding)提高约50％，但仍然满足不了视频应用迅速发展的需求。尤其是超高清，VR等应用，对视频压缩提高了更高的要求。
ITU-T的视频编码专家组(VCEG)和ISO/IEC的运动图像专家组(MPEG)于2015年联合成立JVET(Joint Video Exploration Team)着手制定下一代的视频编码标准。JEM(Joint Exploration Model)为通用的参考软件平台，不同编码工具基于此平台验证。现有测试视频格式为YCbCr，YCbCr属于YUV模型，又被称为亮度-色度模型(Luma-Chroma)，它是通过数学转换，将RGB三个通道，转换为一个代表亮度的通道(Y,又称为Luma)，和两个代表色度的通道(UV，并成为Chroma)，即蓝色色度(Cb)以及红色色度(Cr)；YUV模型可以将绝大多数的有效信息分配到Y通道，YCbCr 4:2:0格式的图像视频在实际储存和传输中，通常将Y以全分辨率记录，UV以减半的分辨率记录，也就是说这种采样是亮度Y保留全部，色度Cb和Cr只以(1/2)x(1/2)的分辨率记录。参考软件JEM中已经集成了一种基于线性模型的预测方法，色度分量Cb和Cr通过线性模型由Y分量得到预测值。现有技术中，色度分量Cb和Cr都通过亮度分量Y进行预测，但在很多情况下色度分量Cb与Cr之间的相关性更强，所以Cr也可已从Cb预测。另一个缺点为，对于4:2:0格式视频，现有技术采用固定的下采样滤波器{{1 21}，{1 2 1}}/8，对于不同类型的视频应该选择不同的滤波器。本发明针对以上现有技术的缺点，提出了一种基于线性模型预测的图像或视频编码方法。
发明内容
本发明的目的在于提供一种基于线性模型预测的图像或视频编码方法，通过使用不同类型的滤波器可以适应不同的视频源，通过误差最小原则，自适应的选择采样滤波器，以提高不同图像分量的预测精度。
为达到上述目的，本发明采用下述技术方案：一种基于线性模型预测的图像或视频编码方法，该方法包括步骤：
S11：使用第一图像分量、第二图像分量和第三图像分量表征待编码的图像或视频。
S13：使用滤波器对所述图像或视频的当前待编码块相邻的已编码块的所述第一和第二图像分量进行采样。
在一个具体实施例中，具体包括步骤：S301：使用滤波器对所述图像或视频的当前待编码块的上边和左边相邻已编码块的所述第一图像分量进行采样，得到所述第一图像分量的一行和一列采样值，并对所述第一图像分量进行重建采样；S303：使用滤波器对所述图像或视频的当前待编码块的上边和左边相邻已编码块的所述第二图像分量进行采样，得到所述第二图像分量的一行和一列采样值。
S15：通过线性模型对所述第二图像分量的已编码值进行预测并计算预测误差。
在一个具体实施例中，具体包括步骤：S501：使用所述第一和第二图像分量的采样值，根据公式计算出线性方程系数α和β，其中所述线性方程系数公式为：
其中所述L(n)为所述第一图像分量的采样值，C(n)为所述第二图像分量的采样值，N为采样个数；
S503：利用α和β，通过所述第一图像分量的重建采样值，根据线性模型公式计算出所述第二图像分量已编码值的预测值，其中所述线性模型公式为：
predC(i，j)＝α·recL′(i，j)+β；
其中所述i，j为位置的横、纵坐标，predC(i，j)为所述第二图像分量的预测值，recL′(i，j)为所述第一图像分量的重建采样值；
S505：根据所述预测值和实际已编码值计算出预测误差，其中所述预测误差公式为：
Efilter1＝Sum(Abs(Cb(n)-Cb′(n)))
其中，所述Cb(n)为所述第二图像分量实际已编码值，Cb’(n)为所述第二图像分量的预测值，即上式中的predC(i，j)，Efilter1为预测误差。
S17：使用预设数量的不同滤波器重复步骤S13至S15进行预测并计算相应预测误差，按照误差最小原则确定最佳的滤波器，并根据所述第一图像分量为基础对当前待编码块的所述第二图像分量进行预测编码。
S19：重复步骤S13至S17，将所述第二图像分量替换为所述第三图像分量，以所述第一图像分量为基础，使用使得误差最小的滤波器对当前待编码块的所述第三图像分量进行预测编码。
在另一个具体的实施例中，对于所述步骤S301和S303中对所述当前待编码块的上边和左边相邻已编码块的图像分量进行采样时，若上边或左边有一边不可用时使用可用的一边，若上边和左边均不可使用时使用像素均值替代。
在另一个具体的实施例中，对于所述步骤S19中所述第三图像分量，使用所述第二图像分量的重建采样值作为基础对所述第三图像分量进行预测并计算出预测误差；最终比较使用所述第一图像分量和第二图像分量为基础进行预测的预测误差，根据误差最小原则确定对所述第三图像分量进行预测编码的基础。
在另一个具体的实施例中，对于YCbCr 4:2:0格式的图像或视频，所述第一图像分量Y与所述第二图像分量Cb和第三图像分量Cr的信息比为2:1:1，使用滤波器对所述第一图像分量Y进行下采样；对于YCbCr 4:4:4格式的图像或视频，所述第一图像分量Y与所述第二图像分量Cb和所述第三图像分量Cr的信息比为1:1:1；对于RGB格式的图像或视频，所述第一图像分量为G，所述第二图像分量为B，所述第三图像分量为R。
一种基于线性模型预测的图像或视频解码方法，该方法包括步骤：
S61：接收待解码的图像或视频，其中待解码的图像或视频是使用第一图像分量、第二图像分量和第三图像分量表征的；
S63：使用滤波器对所述图像或视频的当前待解码块相邻的已解码块的所述第一和第二图像分量进行采样；
在另一个具体实施例中，具体包括步骤：S301’：使用滤波器对所述图像或视频的当前待解码块的上边和左边相邻已解码块的所述第一图像分量进行采样，得到所述第一图像分量的一行和一列采样值，并对所述第一图像分量进行重建采样；
S303’：使用滤波器对所述图像或视频的当前待解码块的上边和左边相邻已解码块的所述第二图像分量进行采样，得到所述第二图像分量的一行和一列采样值。
S65：通过线性模型对所述第二图像分量的已解码值进行预测并计算预测误差；
在另一个具体实施例中，具体包括步骤：S501’：使用所述第一和第二图像分量的采样值，根据公式计算出线性方程系数α和β，其中所述线性方程系数公式为：
其中所述L(n)为所述第一图像分量的采样值，C(n)为所述第二图像分量的采样值，N为采样个数；
S503’：利用α和β，通过所述第一图像分量的重建采样值，根据线性模型公式计算出所述第二图像分量已解码值的预测值，其中所述线性模型公式为：
predC(i，j)＝α·recL′(i，j)+β；
其中所述i，j为位置的横、纵坐标，predC(i，j)为所述第二图像分量的预测值，recL′(i，j)为所述第一图像分量的重建采样值；
S505’：根据所述预测值和实际已解码值计算出预测误差，其中所述预测误差公式为：
Efilter1＝Sum(Abs(Cb(n)-Cb′(n)))
其中，所述Cb(n)为所述第二图像分量实际已解码值，Cb’(n)为所述第二图像分量的预测值，即上式中的predC(i，j)，Efilter1为预测误差。
S67：使用预设数量的不同滤波器重复步骤S63至S65进行预测并计算相应预测误差，按照误差最小原则确定最佳的滤波器，并根据所述第一图像分量为基础对当前待解码块的所述第二图像分量进行预测解码；
S69：重复步骤S63至S67，将所述第二图像分量替换为所述第三图像分量，以所述第一图像分量为基础，使用使得误差最小的滤波器对当前待解码块的所述第三图像分量进行预测解码。
在另一个具体实施例中，对于所述步骤S301’和S303’中对所述当前待解码块的上边和左边相邻已解码块的图像分量进行采样时，若上边或左边有一边不可用时使用可用的一边，若上边和左边均不可使用时使用像素均值替代。
在另一个具体实施例中，对于所述步骤S69中所述第三图像分量，使用所述第二图像分量的重建采样值作为基础对所述第三图像分量进行预测并计算出预测误差；最终比较使用所述第一图像分量和第二图像分量为基础进行预测的预测误差，根据误差最小原则确定对所述第三图像分量进行预测解码的基础。
在另一个具体实施例中，对于YCbCr 4:2:0格式的图像或视频，所述第一图像分量Y与所述第二图像分量Cb和第三图像分量Cr的信息比为2:1:1，使用滤波器对所述第一图像分量Y进行下采样；对于YCbCr 4:4:4格式的图像或视频，所述第一图像分量Y与所述第二图像分量Cb和所述第三图像分量Cr的信息比为1:1:1；对于RGB格式的图像或视频，所述第一图像分量为G，所述第二图像分量为B，所述第三图像分量为R。
本发明的有益效果如下：
本发明所述的技术方案能够利用相邻像素的空间相关性，通过使用不同类型的滤波器可以适应不同的视频源，通过误差最小原则，自适应的选择采样滤波器。对于第三图像分量，根据第二和第三图像分量之间的强相关性，通过误差最小原则，该方法可以自适应的选择以第一图像分量或第二图像分量为预测基础。同时，在解码端可以采用相同的方法推导出采样滤波器类型和第三图像分量的预测基础，在提高不同图像分量预测精度的同时节省了比特开销，提高了压缩效率。本方法在下一代压缩标准验证模型JEM5.0参考软件中实验，取得了显著的编码增益，对于ClassF的Screen content测试序列，即HEVC给出的官方测试视频，第三图像分量获得4％以上编码增益，具有更好的实用性。
附图说明
下面结合附图对本发明的具体实施方式作进一步详细的说明。
图1示出本发明对图像或视频信号进行编码的流程示意图；
图2示出本发明编码时对图像分量采样的流程示意图；
图3示出本发明编码时对图像分量预测的流程示意图；
图4示出本发明以YCbCr 4:2:0视频格式的采样示意图；
图5示出本发明中{{1 2 1}，{1 2 1}}/8滤波器采样位置示意图；
图6示出本发明中预设的不同采样滤波器方程对应的采样位置；
图7示出本发明对图像或视频信号进行压缩解码的流程示意图；
图8示出本发明解码时对图像分量采样的流程示意图；
图9示出本发明解码时对图像分量预测的流程示意图。
具体实施方式
为了更清楚地说明本发明，下面结合优选实施例和附图对本发明做进一步的说明。附图中相似的部件以相同的附图标记进行表示。本领域技术人员应当理解，下面所具体描述的内容是说明性的而非限制性的，不应以此限制本发明的保护范围。
随着信息技术的迅速发展、网络带宽的提高、芯片处理能力的增强，视频应用越来越广泛。从固定端如电视、电脑、到移动端手机，视频内容变得越来越丰富，对质量的要求也在不断的提高，从标清到高清、再到超高清，对视频压缩提高了更高的要求。
在一个具体的实施例中，以YCbCr 4:2:0格式的视频编码为例，如图1所示本发明对图像或视频信号进行编码的流程示意图，包括步骤S11：使用第一图像分量、第二图像分量和第三图像分量表征待编码的图像或视频，在YCbCr4:2:0格式中，第一图像分量为亮度Y，第二图像分量为蓝色色度Cb，第三图像分量为红色色度Cr。
步骤S13：使用滤波器对所述图像或视频的当前待编码块相邻的已编码块的所述第一和第二图像分量进行采样。具体包括步骤S301和S303，如图2所示本发明编码时对图像分量采样的流程示意图，步骤S301：使用滤波器对所述图像或视频的当前待编码块的上边和左边相邻已编码块的所述第一图像分量进行采样，得到所述第一图像分量的一行和一列采样值，并对所述第一图像分量进行重建采样；如图4所示本发明以YCbCr 4∶2∶0视频格式的采样示意图，YCbCr 4∶2∶0格式的图像或视频中亮度分量Y与色度分量CbCr的信息比例为2∶1，因此可以对当前待编码块的上边和左边相邻已编码块的亮度分量Y以采样滤波器(f)进行下采样滤波得到一行和一列采样值，并计算出亮度分量Y的重建采样值，如图5所示该{{121}，{121}}/8采样滤波器采样位置示意图，
Rec′L[x，y]＝
(RecL[2x-1，2y]+2*RecL[2x，2y]+RecL[2x+1，2y]+RecL[2x-1，2y+1]+2*RecL[2x，2y+1]+RecL[2x+1，2y+]+4)＞＞3
(f)
其中x、y为像素的坐标，RecL为重建的亮度像素值，Rec′L为采样后的值。
步骤S303：使用滤波器对所述图像或视频的当前待编码块的上边和左边相邻已编码块的所述第二图像分量进行采样，得到所述第二图像分量的一行和一列采样值；即得到蓝色色度分量Cb当前待编码块的上边和左边相邻已编码块的一行和一列采样值。
在另一个具体实施例中，采样时如果其中一边(上边或左边)不可用时，只用可用的一边(左边或上边)。如果上边和左边块均不可用时，则用像素均值替代，如使用8比特采样，则均值为28-1(128)。
步骤S15：通过线性模型对所述第二图像分量的已编码值进行预测并计算预测误差。具体包括步骤S501和S505，如图3所示本发明编码时对图像分量预测的流程示意图，步骤S501：使用所述第一和第二图像分量的采样值，根据公式计算出线性方程系数α和β，其中所述线性方程系数公式为：
其中所述L(n)为所述第一图像分量的采样值，C(n)为所述第二图像分量的采样值，N为采样个数；即使用亮度分量Y和蓝色色度分量Cb当前待编码块的上边和左边相邻已编码块的一行和一列采样值计算出线性方程系数α和β。
步骤S503：利用α和β，通过所述第一图像分量的重建采样值，根据线性模型公式计算出所述第二图像分量已编码值的预测值，其中所述线性模型公式为：
predC(i，j)＝α·recL′(i，j)+β；
其中所述i，j为位置的横、纵坐标，predC(i，j)为所述第二图像分量的预测值，recL′(i，j)为所述第一图像分量的重建采样值；即使用亮度分量Y的重建采样值根据线性模型公式计算出蓝色色度分量Cb的已编码值的预测值。
步骤S505：根据所述预测值和实际已编码值计算出预测误差，其中所述预测误差公式为：
Efilter1＝Sum(Abs(Cb(n)-Cb′(n)))
其中，所述Cb(n)为所述第二图像分量实际已编码值，Cb’(n)为所述第二图像分量的预测值，即上式中的predC(i，j)，Efilter1为预测误差。即计算出蓝色色度分量Cb的预测值和实际已编码值的预测误差。
步骤S17：使用预设数量的不同滤波器重复步骤S13至S15进行预测并计算相应预测误差，按照误差最小原则确定最佳的滤波器，并根据所述第一图像分量为基础对当前待编码块的所述第二图像分量进行预测编码。公式(a-e)为本发明预设的5个滤波器，如图6所示为本发明中预设的不同采样滤波器方程对应的采样位置。重复使用滤波器(a-e)分别计算出亮度分量Y和蓝色色度分量Cb的采样值和亮度分量Y的重建值，使用线性模型计算出相应的预测误差；再根据误差最小原则，从使用滤波器(a-f)得出的预测误差中找到最小值，该使得误差最小的滤波器作为最终使用的滤波器，使用亮度Y的重建采样值为基础对当前待编码块的蓝色色度分量Cb进行预测编码。
Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x，2y+1]+1)＞＞1
Rec′L[x，y]＝(RecL[2x+1，2y]+RecL[2x+1，2y+1]+1)＞＞1
Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x+1，2y]+1)＞＞1
Rec′L[x，y]＝(RecL[2x，2y+1]+RecL[2x+1，2y+1]+1)＞＞1
Rec′L[x,y]＝(RecL[2x,2y]+RecL[2x,2y+1]+RecL[2x+1,2y]+RecL[2x+1,2y+1]+2)>>2
采样滤波器公式(a-e)
其中x、y为像素的坐标，RecL为重建的亮度像素值，Rec'L为采样后的值。
步骤S19：重复步骤S13至S17，将所述第二图像分量替换为所述第三图像分量，以所述第一图像分量为基础，使用使得误差最小的滤波器对当前待编码块的所述第三图像分量进行预测编码。即重复上述步骤S13至S17，重复使用滤波器(a-f)分别计算出亮度分量Y和红色色度分量Cr的采样值和亮度分量Y的重建值，使用线性模型计算出相应的预测误差；再根据误差最小原则，从上述预测误差中找到最小值，该使得误差最小的滤波器作为最终使用的滤波器，使用亮度Y的重建采样值为基础对当前待编码块的红色色度分量Cr进行预测编码。
在另一个具体实施例中，还可以采用蓝色色度分量Cb的重建值为基础，对红色色度分量Cr进行预测。最终比较预测误差估计值，确定最终采用Y或Cb作为基础对红色色度分量Cr进行预测编码。
在另一个具体实施例中，当输入视频格式为YCbCr4:4:4时，由于亮度分量与色度分量分辨率相同，所以不需要下采样滤波器，其它步骤与实施例一相同。
在另一个具体实施例中，当输入视频格式为RGB时，三个颜色分量的分辨率相同，则不需要下采样滤波器。RGB按照一定的顺序进行编码，与实施例一中编码YCbCr格式视频相比，对RGB视频进行编码时，第一个编码的颜色分量相当于实施例一中的Y分量，第二个编码的颜色分量相当于实施例一中的Cb分量，最后一个编码的颜色分量相当于实施例一中的Cr分量。假设编码顺序为G->B->R，则G相当于Y，B相当于Cb,R相当于Cr；其它编码过程同实施例一。
在另一个具体实施例中，一种基于线性模型预测的图像或视频解码方法，与编码端同理，如图7所示本发明对图像或视频信号进行压缩解码的流程示意图，包括步骤S61：接收待解码的图像或视频，其中待解码的图像或视频是使用第一图像分量、第二图像分量和第三图像分量表征的；
步骤S63：使用滤波器对所述图像或视频的当前待解码块相邻的已解码块的所述第一和第二图像分量进行采样；如图8本发明解码时对图像分量采样的流程示意图，具体包括步骤S301’：使用滤波器对所述图像或视频的当前待解码块的上边和左边相邻已解码块的所述第一图像分量进行采样，得到所述第一图像分量的一行和一列采样值，并对所述第一图像分量进行重建采样；步骤S303’：使用滤波器对所述图像或视频的当前待解码块的上边和左边相邻已解码块的所述第二图像分量进行采样，得到所述第二图像分量的一行和一列采样值；
S65：通过线性模型对所述第二图像分量的已解码值进行预测并计算预测误差；如图9所示本发明解码时对图像分量预测的流程示意图，具体包括步骤S501’：使用所述第一和第二图像分量的采样值，根据公式计算出线性方程系数α和β，其中所述线性方程系数公式为：
其中所述L(n)为所述第一图像分量的采样值，C(n)为所述第二图像分量的采样值，N为采样个数；
步骤S503’：利用α和β，通过所述第一图像分量的重建采样值，根据线性模型公式计算出所述第二图像分量已解码值的预测值，其中所述线性模型公式为：
predC(i，j)＝α·recL′(i，j)+β；
其中所述i，j为位置的横、纵坐标，predC(i，j)为所述第二图像分量的预测值，recL′(i，j)为所述第一图像分量的重建采样值；
步骤S505’：根据所述预测值和实际已解码值计算出预测误差，其中所述预测误差公式为：
Efilter1＝Sum(Abs(Cb(n)-Cb′(n)))
其中，所述Cb(n)为所述第二图像分量实际已解码值，Cb’(n)为所述第二图像分量的预测值，即上式中的predC(i，j)，Efilter1为预测误差。
步骤S67：使用预设数量的不同滤波器重复步骤S63至S65进行预测并计算相应预测误差，按照误差最小原则确定最佳的滤波器，并根据所述第一图像分量为基础对当前待解码块的所述第二图像分量进行预测解码；
步骤S69：重复步骤S63至S67，将所述第二图像分量替换为所述第三图像分量，以所述第一图像分量为基础，使用使得误差最小的滤波器对当前待解码块的所述第三图像分量进行预测解码。
在另一个具体实施例中，对于所述步骤S301’和S303’中对所述当前待解码块的上边和左边相邻已解码块的图像分量进行采样时，若上边或左边有一边不可用时使用可用的一边，若上边和左边均不可使用时使用像素均值替代。
在另一个具体实施例中，还可以采用蓝色色度分量Cb的重建值为基础，对红色色度分量Cr进行预测。最终比较预测误差估计值，确定最终采用Y或Cb作为基础对红色色度分量Cr进行预测解码。
在另一个具体实施例中，当输入视频格式为YCbCr4:4:4时，由于亮度分量与色度分量分辨率相同，所以不需要下采样滤波器，其它步骤与上述解码实施例相同。
在另一个具体实施例中，当输入视频格式为RGB时，三个颜色分量的分辨率相同，则不需要下采样滤波器。RGB按照一定的顺序进行解码，与上述解码实施例中解码YCbCr格式视频相比，对RGB视频进行解码时，第一个解码的颜色分量相当于上述解码实施例中的Y分量，第二个解码的颜色分量相当于上述解码实施例中的Cb分量，最后一个解码的颜色分量相当于上述解码实施例中的Cr分量。假设解码顺序为G->B->R，则G相当于Y，B相当于Cb,R相当于Cr；其它解码过程同上述解码实施例。
显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定，对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
Claims (10)
1.一种基于线性模型预测的图像或视频编码方法，其特征在于，
S11：使用第一图像分量、第二图像分量和第三图像分量表征待编码的图像或视频；
S13：使用滤波器对所述图像或视频的当前待编码块相邻的已编码块的所述第一和第二图像分量进行采样；
S15：通过线性模型对所述第二图像分量的已编码值进行预测并计算预测误差；
S17：使用预设数量的不同滤波器重复步骤S13至S15进行预测并计算相应预测误差，按照误差最小原则确定最佳的滤波器，并根据所述第一图像分量为基础对当前待编码块的所述第二图像分量进行预测编码；
S19：重复步骤S13至S17，将所述第二图像分量替换为所述第三图像分量，以所述第一图像分量为基础，使用使得误差最小的滤波器对当前待编码块的所述第三图像分量进行预测编码。
2.根据权利要求1所述的编码方法，其特征在于，
在步骤S13中，所述方法包括以下步骤：
S301：使用滤波器对所述图像或视频的当前待编码块的上边和左边相邻已编码块的所述第一图像分量进行采样，得到所述第一图像分量的一行和一列采样值，并对所述第一图像分量进行重建采样；
S303：使用滤波器对所述图像或视频的当前待编码块的上边和左边相邻已编码块的所述第二图像分量进行采样，得到所述第二图像分量的一行和一列采样值；
在步骤S15中，所述方法包括以下步骤：
S501：使用所述第一和第二图像分量的采样值，根据公式计算出线性方程系数α和β，其中所述线性方程系数公式为：
<mrow>
<mi>&alpha;</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>N</mi>
<mo>&CenterDot;</mo>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>&Sigma;</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>&Sigma;</mi>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>N</mi>
<mo>&CenterDot;</mo>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>&Sigma;</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>&Sigma;</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>&beta;</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>&Sigma;</mi>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>&CenterDot;</mo>
<mi>&Sigma;</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>N</mi>
</mfrac>
<mo>;</mo>
</mrow>
其中所述L(n)为所述第一图像分量的采样值，C(n)为所述第二图像分量的采样值，N为采样个数；
S503：利用α和β，通过所述第一图像分量的重建采样值，根据线性模型公式计算出所述第二图像分量已编码值的预测值，其中所述线性模型公式为：
predC(i，j)＝αrecL′(i,j)+β；
其中所述i，j为位置的横、纵坐标，predC(i，j)为所述第二图像分量的预测值，recL′(i，j)为所述第一图像分量的重建采样值；
S505：根据所述预测值和实际已编码值计算出预测误差，其中所述预测误差公式为：
Efilter1＝Sum(Abs(Cb(n)-Cb′(n)))
其中，所述Cb(n)为所述第二图像分量实际已编码值，Cb’(n)为所述第二图像分量的预测值，Efilter1为预测误差。
3.根据权利要求2所述的编码方法，其特征在于，对于所述步骤S301和S303中对所述当前待编码块的上边和左边相邻已编码块的图像分量进行采样时，若上边或左边有一边不可用时使用可用的一边，若上边和左边均不可使用时使用像素均值替代。
4.根据权利要求3所述的编码方法，其特征在于，对于所述步骤S19中所述第三图像分量，使用所述第二图像分量的重建采样值作为基础对所述第三图像分量进行预测并计算出预测误差；最终比较使用所述第一图像分量和第二图像分量为基础进行预测的预测误差，根据误差最小原则确定对所述第三图像分量进行预测编码的基础。
5.根据权利要求4所述的编码方法，其特征在于，对于YCbCr 4:2:0格式的图像或视频，所述第一图像分量Y与所述第二图像分量Cb和第三图像分量Cr的信息比为2:1:1，使用滤波器对所述第一图像分量Y进行下采样；对于YCbCr 4:4:4格式的图像或视频，所述第一图像分量Y与所述第二图像分量Cb和所述第三图像分量Cr的信息比为1:1:1；对于RGB格式的图像或视频，所述第一图像分量为G，所述第二图像分量为B，所述第三图像分量为R。
6.一种基于线性模型预测的图像或视频解码方法，其特征在于，
S61：接收待解码的图像或视频，其中待解码的图像或视频是使用第一图像分量、第二图像分量和第三图像分量表征的；
S63：使用滤波器对所述图像或视频的当前待解码块相邻的已解码块的所述第一和第二图像分量进行采样；
S65：通过线性模型对所述第二图像分量的已解码值进行预测并计算预测误差；
S67：使用预设数量的不同滤波器重复步骤S63至S65进行预测并计算相应预测误差，按照误差最小原则确定最佳的滤波器，并根据所述第一图像分量为基础对当前待解码块的所述第二图像分量进行预测解码；
S69：重复步骤S63至S67，将所述第二图像分量替换为所述第三图像分量，以所述第一图像分量为基础，使用使得误差最小的滤波器对当前待解码块的所述第三图像分量进行预测解码。
7.根据权利要求6所述的解码方法，其特征在于，
在步骤S63中，所述方法包括以下步骤：
S301’：使用滤波器对所述图像或视频的当前待解码块的上边和左边相邻已解码块的所述第一图像分量进行采样，得到所述第一图像分量的一行和一列采样值，并对所述第一图像分量进行重建采样；
S303’：使用滤波器对所述图像或视频的当前待解码块的上边和左边相邻已解码块的所述第二图像分量进行采样，得到所述第二图像分量的一行和一列采样值；
在步骤S65中，所述方法还包括以下步骤：
S501’：使用所述第一和第二图像分量的采样值，根据公式计算出线性方程系数α和β，其中所述线性方程系数公式为：
<mrow>
<mi>&alpha;</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>N</mi>
<mo>&CenterDot;</mo>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>&Sigma;</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>&Sigma;</mi>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mrow>
<mi>N</mi>
<mo>&CenterDot;</mo>
<mi>&Sigma;</mi>
<mrow>
<mo>(</mo>
<mi>L</mi>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>)</mo>
<mo>-</mo>
<mi>&Sigma;</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>&CenterDot;</mo>
<mi>&Sigma;</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
</mfrac>
</mrow>
<mrow>
<mi>&beta;</mi>
<mo>=</mo>
<mfrac>
<mrow>
<mi>&Sigma;</mi>
<mi>C</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
<mo>-</mo>
<mi>&alpha;</mi>
<mo>&CenterDot;</mo>
<mi>&Sigma;</mi>
<mi>L</mi>
<mrow>
<mo>(</mo>
<mi>n</mi>
<mo>)</mo>
</mrow>
</mrow>
<mi>N</mi>
</mfrac>
<mo>;</mo>
</mrow>
其中所述L(n)为所述第一图像分量的采样值，C(n)为所述第二图像分量的采样值，N为采样个数；
S503’：利用α和β，通过所述第一图像分量的重建采样值，根据线性模型公式计算出所述第二图像分量已解码值的预测值，其中所述线性模型公式为：
predC(i，j)＝α·recL′(i,j)+β；
其中所述i，j为位置的横、纵坐标，predC(i，j)为所述第二图像分量的预测值，recL′(i，j)为所述第一图像分量的重建采样值；
S505’：根据所述预测值和实际已解码值计算出预测误差，其中所述预测误差公式为：
Efilter1＝Sum(Abs(Cb(n)-Cb′(n)))
其中，所述Cb(n)为所述第二图像分量实际已解码值，Cb’(n)为所述第二图像分量的预测值，Efilter1为预测误差。
8.根据权利要求7所述的解码方法，其特征在于，对于所述步骤S301’和S303’中对所述当前待解码块的上边和左边相邻已解码块的图像分量进行采样时，若上边或左边有一边不可用时使用可用的一边，若上边和左边均不可使用时使用像素均值替代。
9.根据权利要求8所述的解码方法，其特征在于，对于所述步骤S69中所述第三图像分量，使用所述第二图像分量的重建采样值作为基础对所述第三图像分量进行预测并计算出预测误差；最终比较使用所述第一图像分量和第二图像分量为基础进行预测的预测误差，根据误差最小原则确定对所述第三图像分量进行预测解码的基础。
10.根据权利要求9所述的解码方法，其特征在于，对于YCbCr 4:2:0格式的图像或视频，所述第一图像分量Y与所述第二图像分量Cb和第三图像分量Cr的信息比为2:1:1，使用滤波器对所述第一图像分量Y进行下采样；对于YCbCr 4:4:4格式的图像或视频，所述第一图像分量Y与所述第二图像分量Cb和所述第三图像分量Cr的信息比为1:1:1；对于RGB格式的图像或视频，所述第一图像分量为G，所述第二图像分量为B，所述第三图像分量为R。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710647011.2A CN107580222B (zh) | 2017-08-01 | 2017-08-01 | 一种基于线性模型预测的图像或视频编码方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201710647011.2A CN107580222B (zh) | 2017-08-01 | 2017-08-01 | 一种基于线性模型预测的图像或视频编码方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN107580222A true CN107580222A (zh) | 2018-01-12 |
| CN107580222B CN107580222B (zh) | 2020-02-14 |
Family
ID=61035845
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201710647011.2A Active CN107580222B (zh) | 2017-08-01 | 2017-08-01 | 一种基于线性模型预测的图像或视频编码方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107580222B (zh) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2020029187A1 (zh) * | 2018-08-09 | 2020-02-13 | Oppo广东移动通信有限公司 | 视频图像分量的预测方法、装置及计算机存储介质 |
| CN110858903A (zh) * | 2018-08-22 | 2020-03-03 | 华为技术有限公司 | 色度块预测方法及装置 |
| CN110876061A (zh) * | 2018-09-03 | 2020-03-10 | 华为技术有限公司 | 色度块预测方法及装置 |
| WO2020186763A1 (zh) * | 2019-03-18 | 2020-09-24 | Oppo广东移动通信有限公司 | 图像分量预测方法、编码器、解码器以及存储介质 |
| WO2020192109A1 (zh) * | 2019-03-25 | 2020-10-01 | Oppo广东移动通信有限公司 | 图像分量预测方法、编码器、解码器以及存储介质 |
| WO2020258052A1 (zh) * | 2019-06-25 | 2020-12-30 | Oppo广东移动通信有限公司 | 图像分量预测方法、装置及计算机存储介质 |
| CN112313950A (zh) * | 2018-09-21 | 2021-02-02 | Oppo广东移动通信有限公司 | 视频图像分量的预测方法、装置及计算机存储介质 |
| CN113132722A (zh) * | 2018-08-09 | 2021-07-16 | Oppo广东移动通信有限公司 | 视频图像分量的预测方法和装置、及计算机存储介质 |
| US11388397B2 (en) | 2018-10-12 | 2022-07-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Video picture component prediction method and apparatus, and computer storage medium |
| WO2022179600A1 (zh) * | 2021-02-26 | 2022-09-01 | 维沃移动通信有限公司 | 视频编码方法、视频解码方法、装置及电子设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1578477A (zh) * | 2003-07-16 | 2005-02-09 | 三星电子株式会社 | 用于色彩图像的视频编码/解码装置和方法 |
| CN101507277A (zh) * | 2006-08-16 | 2009-08-12 | 三星电子株式会社 | 图像编码/解码方法和设备 |
| CN103379321A (zh) * | 2012-04-16 | 2013-10-30 | 华为技术有限公司 | 视频图像分量的预测方法和装置 |
| CN104255028A (zh) * | 2012-05-02 | 2014-12-31 | 索尼公司 | 图像处理设备及图像处理方法 |
| US20160219283A1 (en) * | 2015-01-27 | 2016-07-28 | Qualcomm Incorporated | Adaptive cross component residual prediction |
-
2017
- 2017-08-01 CN CN201710647011.2A patent/CN107580222B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1578477A (zh) * | 2003-07-16 | 2005-02-09 | 三星电子株式会社 | 用于色彩图像的视频编码/解码装置和方法 |
| CN101507277A (zh) * | 2006-08-16 | 2009-08-12 | 三星电子株式会社 | 图像编码/解码方法和设备 |
| CN103379321A (zh) * | 2012-04-16 | 2013-10-30 | 华为技术有限公司 | 视频图像分量的预测方法和装置 |
| CN104255028A (zh) * | 2012-05-02 | 2014-12-31 | 索尼公司 | 图像处理设备及图像处理方法 |
| US20160219283A1 (en) * | 2015-01-27 | 2016-07-28 | Qualcomm Incorporated | Adaptive cross component residual prediction |
Non-Patent Citations (2)
| Title |
|---|
| XIANG LI等: "REGION BASED INTER-LAYER CROSS-COLOR FILTERING FOR SCALABLE EXTENSION OF HEVC", 《2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING》 * |
| 李云栋等: "基于联想记忆的彩色图像自适应预测编码方法", 《信号处理》 * |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113132722B (zh) * | 2018-08-09 | 2023-02-17 | Oppo广东移动通信有限公司 | 视频图像分量的预测方法和装置、及计算机存储介质 |
| US11503312B2 (en) | 2018-08-09 | 2022-11-15 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Method and devices for video predicting a first color component from a second component |
| US11743466B2 (en) | 2018-08-09 | 2023-08-29 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Video colour component prediction method and apparatus, and computer storage medium |
| WO2020029187A1 (zh) * | 2018-08-09 | 2020-02-13 | Oppo广东移动通信有限公司 | 视频图像分量的预测方法、装置及计算机存储介质 |
| CN113132722A (zh) * | 2018-08-09 | 2021-07-16 | Oppo广东移动通信有限公司 | 视频图像分量的预测方法和装置、及计算机存储介质 |
| US11218701B2 (en) | 2018-08-09 | 2022-01-04 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Video colour component prediction method and apparatus, and computer storage medium |
| CN110858903A (zh) * | 2018-08-22 | 2020-03-03 | 华为技术有限公司 | 色度块预测方法及装置 |
| CN110876061A (zh) * | 2018-09-03 | 2020-03-10 | 华为技术有限公司 | 色度块预测方法及装置 |
| CN110876061B (zh) * | 2018-09-03 | 2022-10-11 | 华为技术有限公司 | 色度块预测方法及装置 |
| CN112313950A (zh) * | 2018-09-21 | 2021-02-02 | Oppo广东移动通信有限公司 | 视频图像分量的预测方法、装置及计算机存储介质 |
| CN112313950B (zh) * | 2018-09-21 | 2023-06-02 | Oppo广东移动通信有限公司 | 视频图像分量的预测方法、装置及计算机存储介质 |
| US11388397B2 (en) | 2018-10-12 | 2022-07-12 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Video picture component prediction method and apparatus, and computer storage medium |
| US11876958B2 (en) | 2018-10-12 | 2024-01-16 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Video picture component prediction method and apparatus, and computer storage medium |
| US11368680B2 (en) | 2019-03-18 | 2022-06-21 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Colour component prediction method, encoder, decoder and storage medium |
| US11778172B2 (en) | 2019-03-18 | 2023-10-03 | Guangdong Oppo Mobile Telecommunications Corp., Ltd. | Colour component prediction method, encoder, decoder and storage medium |
| WO2020186763A1 (zh) * | 2019-03-18 | 2020-09-24 | Oppo广东移动通信有限公司 | 图像分量预测方法、编码器、解码器以及存储介质 |
| CN113992916A (zh) * | 2019-03-25 | 2022-01-28 | Oppo广东移动通信有限公司 | 图像分量预测方法、编码器、解码器以及存储介质 |
| WO2020192109A1 (zh) * | 2019-03-25 | 2020-10-01 | Oppo广东移动通信有限公司 | 图像分量预测方法、编码器、解码器以及存储介质 |
| WO2020258052A1 (zh) * | 2019-06-25 | 2020-12-30 | Oppo广东移动通信有限公司 | 图像分量预测方法、装置及计算机存储介质 |
| WO2022179600A1 (zh) * | 2021-02-26 | 2022-09-01 | 维沃移动通信有限公司 | 视频编码方法、视频解码方法、装置及电子设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107580222B (zh) | 2020-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107580222B (zh) | 一种基于线性模型预测的图像或视频编码方法 | |
| US20200366910A1 (en) | Complexity reduction in parameter derivation for intra prediction | |
| US11115655B2 (en) | Neighboring sample selection for intra prediction | |
| US20200382800A1 (en) | Parameter derivation for intra prediction | |
| CN108495135B (zh) | 一种屏幕内容视频编码的快速编码方法 | |
| CN107431818B (zh) | 图像数据处理方法 | |
| US9247250B2 (en) | Method and system for motion compensated picture rate up-conversion of digital video using picture boundary processing | |
| EP2292004B1 (en) | Boundary artifact correction within video units | |
| CN110446041B (zh) | 一种视频编解码方法、装置、系统及存储介质 | |
| US6862372B2 (en) | System for and method of sharpness enhancement using coding information and local spatial features | |
| US20090175338A1 (en) | Methods and Systems for Inter-Layer Image Prediction Parameter Determination | |
| US11438581B2 (en) | Conditions in parameter derivation for intra prediction | |
| Zhang et al. | Chroma intra prediction based on inter-channel correlation for HEVC | |
| WO2014154094A1 (en) | Method of cross color intra prediction | |
| KR20080015592A (ko) | 영상의 부호화, 복호화 방법 및 장치 | |
| JP2007116558A (ja) | 動画像符号化装置 | |
| US20200404339A1 (en) | Loop filter apparatus and method for video coding | |
| JP2000050274A (ja) | フィ―ルドモ―ド符号化を含む画像フレ―ムのサイズ変更のための方法及び装置 | |
| CN116456101A (zh) | 图像编码方法、图像解码方法及相关装置 | |
| US10225561B2 (en) | Method and apparatus for syntax signaling in image and video compression | |
| CN113497937B (zh) | 图像编码方法、图像解码方法及相关装置 | |
| WO2020192717A1 (en) | Parameter derivation for inter prediction | |
| CN110719484B (zh) | 图像处理方法 | |
| CN114788280A (zh) | 视频的编解码方法与装置 | |
| CN101188765A (zh) | 用于对rgb图像编码和解码的方法和设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |