CN108810552A - 图像预测方法和相关产品 - Google Patents

图像预测方法和相关产品 Download PDF

Info

Publication number
CN108810552A
CN108810552A CN201710300302.4A CN201710300302A CN108810552A CN 108810552 A CN108810552 A CN 108810552A CN 201710300302 A CN201710300302 A CN 201710300302A CN 108810552 A CN108810552 A CN 108810552A
Authority
CN
China
Prior art keywords
current block
pixel
weighting coefficient
block
threshold value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710300302.4A
Other languages
English (en)
Other versions
CN108810552B (zh
Inventor
鲁晓牧
高山
杨海涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN201710300302.4A priority Critical patent/CN108810552B/zh
Priority to PCT/CN2018/084955 priority patent/WO2018196864A1/zh
Publication of CN108810552A publication Critical patent/CN108810552A/zh
Priority to US16/662,627 priority patent/US11039145B2/en
Application granted granted Critical
Publication of CN108810552B publication Critical patent/CN108810552B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/14Coding unit complexity, e.g. amount of activity or edge presence estimation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117Filters, e.g. for pre-processing or post-processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请实施例公开了图像预测方法和相关产品。一种图像预测方法包括:利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值。所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。本申请实施例方案有利于提升图像预测准确性。

Description

图像预测方法和相关产品
技术领域
本申请涉及视频图像处理领域,尤其涉及图像预测方法和相关产品。
背景技术
随着光电采集技术的发展及不断增长的高清数字视频需求,视频数据量越来越大,有限异构的传输带宽、多样化的视频应用不断地对视频编码效率提出了更高的需求,高性能视频编码(英文:high efficient video coding,缩写:HEVC)标准的制定工作因需启动。视频编码压缩的基本原理是利用空域、时域和码字之间的相关性,尽可能去除冗余。目前流行做法是采用基于块的混合视频编码框架,通过预测(包括帧内预测和帧间预测)、变换、量化、熵编码等步骤实现视频编码压缩。这种编码框架显示了很强的生命力,HEVC也仍沿用这种基于块的混合视频编码框架。
HEVC标准中一般将图像划分成多个正方形的编码单元(英文:codingunit,缩写:CU)进行编码,大多数情况下CU的水平方向和垂直方向的纹理特性大致相同,这种情况下运用传统图像预测方法可以获得相对较好预测准确性。但测试发现,在CU的水平方向和垂直方向的纹理特性具有相当差异性的某些情况下,运用传统图像预测方法有时候难以获得较好预测准确性。
发明内容
本申请实施例提供图像预测方法和相关产品。
第一方面,本申请实施例提供了一种图像预测方法,包括:利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值。所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
具体例如,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
又例如,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出所述差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子同于作用于所述垂直加权系数的衰减速度因子。
可以理解,在事先无法获知所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性的情况下,那么可以先确定所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,而后基于确定出的所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,来确定作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子。
当然,如果所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性是事先已知确定的(例如假设纹理特性为边长,当前块如果是按照特定的划分方式划分得到的,那么当前块的形状尺寸就是一种已知确定参数,因此,当前块的长宽之间差异性就是一种已知确定参数),那么也可认为作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子也就对应确定了,那么就无需执行“先确定所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,而后基于确定出的所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,来确定作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子”的步骤了。
这也就是说,在“当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值”的情况已知确定的情况下,或在“当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出差异性阈值”的情况已知确定的情况下,是无需执行“当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性是否超出差异性阈值”的条件判定的,而是可以直接按照当前已知确定的情况,来选用与之对应的作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子。
其中,本申请各实施例中提及的帧内预测例如为方向性帧内预测、直流系数帧内预测或插值帧内预测或其它帧内预测。
其中,本申请各实施例中的图像预测方法例如可应用于视频编码过程或者应用于视频解码过程。
其中,当前块的参考块例如可包括当前块的上相邻参考块、左相邻参考块和左上相邻参考块等等。
其中,衰减速度因子例如可等于1、1.5、1.65、2、3或其它值。
其中,纹理特性例如可包括边长、自方差和/或边缘锐度等。因此水平方向纹理特性可包括水平方向边长(长)、水平方向自方差和/或水平方向边缘锐度等;垂直方向纹理特性可包括垂直方向边长(宽)、垂直方向自方差和/或垂直方向边缘锐度等。
可以理解,鉴于纹理特性的参数类型(例如边长、自方差和/或边缘锐度等等)是多种多样的,因此差异性阈值的取值类型可能是多种多样的。
可以理解,衰减速度因子在一定程度上反应出所作用加权系数的衰减速度。衰减速度因子不同,那么就可使得所作用加权系数的衰减速度体现出差异性。作用于水平加权系数的衰减速度因子是否同于作用于垂直加权系数的衰减速度因子,主要取决于所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性。
可以看出,上述技术方案中,对所述当前块中像素点的初始预测像素值进行加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,由于针对垂直加权系数和水平加权系数设置差异性的衰减速度因子,也就是说,作用于所述水平加权系数的衰减速度因子可不同于作用于所述垂直加权系数的衰减速度因子,这有利于差异性的控制垂直加权系数和水平加权系数衰减速度,进而有利于满足垂直加权系数和水平加权系数需按不同衰减速度进行衰减的一些场景需要,由于增强了控制垂直加权系数和水平加权系数衰减速度的灵活性,有利于提升图像预测准确性。例如在当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值等情况下,有利于使得加权系数衰减速度差异性和纹理特性差异性之间更匹配,进而有利于提升图像预测准确性。
例如,在一些可能实施方式中,利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值可包括:对参考块中参考像素点的重建像素值进行滤波处理以得到所述参考块中参考像素点的滤波像素值;利用所述参考块中参考像素点的滤波像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
又例如,在另一些可能实施方式中,利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值可包括:利用所述参考块中参考像素点的重建像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
其中,加权滤波处理所使用的加权滤波公式可能是多种多样的。
例如对所述当前块中像素点的初始预测像素值进行加权滤波以得到所述当前块中像素点的预测像素值可包括:基于如下加权滤波公式,对所述当前块中像素点的初始预测像素值进行加权滤波以得到所述当前块中像素点的预测像素值,
其中,ccur=64-(ctop>>[y/d2])-(cleft>>[x/d1])+(ctopleft>>[x/d1]),
其中,所述ctop属于水平加权系数,所述cleft和所述ctopleft属于垂直加权系数。
其中,所述ctop表示所述当前块的上相邻参考块重建像素值对应的加权系数。所述cleft表示所述当前块的左相邻参考块重建像素值对应的加权系数。所述ctopleft表示所述当前块的左上相邻参考块重建像素值对应的加权系数。x表示当前块中像素点相对于所述当前块的左上顶点的横坐标,y表示当前块中像素点相对于所述当前块的左上顶点的纵坐标。所述d2为作用于水平加权系数的衰减速度因子。所述d1为作用于垂直加权系数的衰减速度因子,所述d1和所述d2为实数。p″[x,y]表示当前块中坐标为[x,y]的像素点的预测像素值,p'[x,y]表示当前块中坐标为[x,y]的像素点的初始预测像素值,r[x,-1]表示所述当前块的上相邻参考块中坐标为[x,-1]的像素点重建像素值,r[-1,-1]表示所述当前块的左上相邻参考块中坐标为[-1,-1]的像素点的重建像素值,r[-1,y]表示所述当前块的左相邻参考块中坐标为[-1,y]的像素点的重建像素值。
其中,衰减速度因子d1和d2取值的确定方式可以是多种多样的。
举例来说,当所述纹理特性包括边长,所述差异性阈值包括阈值thresh1,在所述当前块的长宽比大于所述阈值thresh1的情况下,例如所述d1=1且所述d2=2;在所述当前块的宽长比大于所述阈值thresh1的情况下,例如所述d1=2且所述d2=1,其中,所述thresh1为大于2的实数。例如thresh1等于2.5、4、6、8、16、32或者其它值。
进一步的,在所述当前块的长宽比小于所述阈值thresh1,且所述当前块的长大于或者等于宽,且所述当前块的长宽和大于阈值thresh4的情况下,所述d1=d2=2。和/或,在所述当前块的长宽比小于所述阈值thresh1,且所述当前块的长大于或等于宽,且所述当前块的长宽和小于或等于所述阈值thresh4的情况下,所述d1=d2=1。
其中,所述thresh4为大于或等于64的实数,例如thresh4等于64、65、80、96、128或其它值。
又例如,在所述当前块的长大于阈值thresh2的情况下所述d1=2,在所述当前块的长小于或等于阈值thresh2的情况下所述d1=1,所述thresh2为大于或等于16的实数。例如thresh2等于16、17、32、64、128或者其它值。
又例如,在所述当前块的宽大于阈值thresh3的情况下所述d2=2,在所述当前块的宽小于或等于阈值thresh3的情况下所述d2=1,所述thresh3为大于或等于16的实数。例如thresh2等于16、18、32、64、128或者其它值。
第二方面,本申请实施例提供一种图像预测装置,包括用于实施第一方面的任意一种方法的若干个功能单元。举例来说,图像预测装置可以包括:预测单元和滤波单元。
预测单元,用于利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
滤波单元,用于对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值,其中,所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
具体例如,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
又例如,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出所述差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子同于作用于所述垂直加权系数的衰减速度因子。
其中,所述图像预测装置例如应用于视频编码装置或视频解码装置。
第三方面,本申请实施例提供一种图像预测装置,包括:
相互耦合的存储器和处理器;所述处理器用于执行第一方面的任意一种方法的部分或全部步骤。
第四方面,本申请实施例提供一种计算机可读存储介质,所述计算机可读存储介质存储了程序代码,其中,所述程序代码包括用于执行第一方面的任意一种方法的部分或全部步骤的指令。
第五方面,本申请实施例提供一种计算机程序产品,当所述计算机程序产品在计算机上运行时,使得所述计算机执行第一方面的任意一种方法的部分或全部步骤。
附图说明
为了更清楚地说明本申请实施例或背景技术中的技术方案,下面将对本申请实施例或背景技术中所需要使用的附图进行说明。
图1-A~图1-B为本申请实施例提供的几种图像块的划分示意图;
图1-C为本申请实施例提供的当前块的几个可能相邻参考块的位置示意图;
图1-D~图1-G为本申请实施例举例的几种尺寸图像块的速度衰减因子取值的示意图;
图2为本申请实施例提供的一种图像预测方法的流程示意图;
图3为本申请实施例提供的一种图像编码方法的流程示意图;
图4为本申请实施例提供的一种图像解码方法的流程示意图;
图5-A~图5-C为本申请实施例提供的ctop的几种衰减过程示意图;
图6是本申请实施例提供的一种图像预测装置的流程示意图;
图7是本申请实施例提供的另一种图像预测装置的流程示意图;
图8是本申请实施例提供的一种视频编码器的示意图;
图9是本申请实施例提供的一种视频解码器的示意图;
图10是本申请实施例提供的电子装置的一种示意性框图;
图11是本申请实施例提供的电子装置的另一种示意性框图;
图12是本发明实施例适用于电视机应用的示意性结构图;
图13是本发明实施例适用于移动电话应用的示意性结构图。
具体实施方式
下面结合本申请实施例中的附图对本申请实施例进行描述。
下面介绍本申请实施例提供的图像预测方法、视频编解码方法。本申请实施例提供的图像预测方法的执行主体是视频编码装置或视频解码装置,该视频编码装置或视频解码装置可以是任何需要输出或存储视频的装置,如笔记本电脑、平板电脑、个人电脑、手机、视频服务器、数字电视、数字直播系统、无线广播系统、个人数字助理(PDA)、膝上型或桌上型计算机、电子书阅读器、数码相机、数字记录装置、数字媒体播放器、视频游戏装置、视频游戏控制台、蜂窝式或卫星无线电电话、视频会议装置、视频流装置等设备。上述这些数字视频装置实施视频压缩技术,例如由MPEG-2、MPEG-4、ITU-TH.263、ITU-TH.264/MPEG-4第10部分高级视频编解码(AVC)、ITU-TH.265高效率视频编解码(HEVC)标准定义的标准和所述标准的扩展部分中所描述的那些视频压缩技术,从而更高效地发射及接收数字视频信息。视频装置可通过实施这些视频编解码技术来更高效地发射、接收、编码、解码和/或存储数字视频信息。
在视频编解码领域中,帧的概念是指一副完整的图像,由一帧一帧的图像按照一定的次序和帧速率组成视频格式后即可播放。当帧速率达到一定的速度后,两帧之间的间隔时间小于人眼的分辨极限,会出现短暂的视觉停留,方才能看似动态的出现在屏幕上。视频文件能够实现压缩的基础是单帧数字图像的压缩编码,数字化后的图像中存在很多的重复表示信息,称之为冗余信息。一帧图像中往往存有许多空间结构相同或相似的地方,例如同一物体或背景中的采样点颜色之间大都存在着紧密关联性和相似性。在多帧图像组中,一帧图像和其前一帧或后一帧基本上都有巨大的相关性,描述信息的像素值差别很小,这些都是可以被压缩的部分。同样的道理,视频文件中不但存在着空间冗余信息,而且包含大量的时间冗余信息,这是由视频的组成结构导致的。例如,视频采样的帧速率一般为25帧/秒至30帧/秒,特殊情况中会出现60帧/秒的可能。也就是说,相邻两帧间的采样时间间隔至少为1/30秒到1/25秒。在这么短的时间内,采样得到的图像画面中基本上都存在大量的相似信息,画面之间存在巨大关联性。但在原始的数字视频录入系统中是各自独立的记录,未考虑和利用到这些连贯相似特性,这就造成了相当巨大的重复多余的数据量。另外,已通过研究表明,从人眼的视觉敏感度这一心理特性的角度出发,视频信息中也是存在可以用来压缩的部分,即视觉冗余。所谓视觉冗余,是指利用人眼对亮度变化比较敏感,而对色度的变化相对不敏感的胜利特性来适当的压缩视频比特流。在高亮度的区域,人眼视觉对亮度变化的敏感度呈现下降趋势,转而对物体的边缘处较为敏感,内部区域相对不敏感;对整体结构较为敏感,对内部细节变换相对不敏感。因为视频图像信息的最终服务对象是我们人类群体,所以可充分利用人眼的这些特性对原有的视频图像信息进行压缩处理,达到更佳压缩效果。除了上面提到的空间冗余、时间冗余和视觉冗余外,视频图像信息中还存在信息熵冗余、结构冗余、知识冗余、重要性冗余等等这一系列的冗余信息。视频压缩编码的目的就是使用各种技术方法将视频序列中的冗余信息去除掉,以达到减小存储空间和节省传输带宽的效果。
就目前的技术发展现状而言,视频压缩处理技术主要包括了帧内预测、帧间预测、变换量化、熵编码以及消块滤波处理等。在国际通用范围内,存在的视频压缩编码标准中主流的压缩编码方式主要有四种:色度抽样、预测编码、变换编码和量化编码。
色度抽样:此方式充分利用了人眼的视觉心理特点,从底层的数据表示中就开始设法最大限度的缩减单个元素描述的数据量。在电视系统中多数采用的是亮度-色度-色度(YUV)颜色编码,它是欧洲电视系统广泛采用的标准。YUV颜色空间中包括一个亮度信号Y和两个色差信号U和V,三个分量彼此独立。YUV颜色模式彼此分开的表示方式更加灵活,传输占用带宽少,比传统的红绿蓝(RGB)色彩模型更具优势。例如,YUV4:2:0形式表示两色度分量U和V在水平方向和垂直方向上都只有亮度Y分量的一半,即4个采样像素点中存在4个亮度分量Y,而色度分量U和V则只有一个。这样表示时,数据量进一步缩小,仅为原始的33%左右。利用人眼生理视觉特性,通过这种色度抽样的方式实现视频压缩的目的,是目前广泛采用的视频数据压缩方式之一。
预测编码:即利用之前已编码帧的数据信息来预测当前将要编码的帧。通过预测得到一个预测值,它不完全等同与实际值,之间存在着一定的残差值。如果预测越适合,则预测值就会越接近实际值,残差值就越小,这样对残差值进行编码就能大大减小数据量,在解码端解码时运用残差值加上预测值还原重构出初始图像,这就是预测编码的基本思想方法。在主流编码标准中预测编码分为帧内预测和帧间预测两种基本类型。
变换编码:是不直接对原本的空间域信息进行编码,而是将信息采样值按照某种形式的变换函数,从当前域转换到另外一种人为定义域中(通常称为变换域),再根据信息在变换域的分布特性进行压缩编码。变换编码的原因包括:视频图像数据往往在空间域的数据相关性大,导致大量冗余信息的存在,直接编码需要很大的比特量。而在变换域中数据相关性则大大减少,使得编码的冗余信息减少,编码所需的数据量也随之大大减少,这样就能够得到较高的压缩比,而且可以实现较好的压缩效果。典型的变换编码有卡洛(K-L)变换、傅立叶变换等。整数离散余弦变换(DCT)是许多国际标准中都普遍采用的变换编码方式。
量化编码:上述提到的变换编码其实本身并不压缩数据,量化过程才是压缩数据的有力手段,也是有损压缩中数据“损失”的主要原因。量化的过程就是将动态范围较大的输入值强行规划成较少的输出值的过程。因为量化输入值范围较大,需要较多的比特数表示,而“强行规划”后的输出值范围较小,从而只需要少量的比特数即可表示。每个量化输入被归一化到一个量化输出,即量化到某个数量级中,这些数量级通常被称之为量化级(通常由编码器规定)。
在基于混合编码架构的编码算法中,上述压缩编码方式被混合使用,编码器控制模块根据视频帧中不同图像块的局部特性,选择该图像块所采用的编码模式。对帧内预测编码的块进行频域或空域预测,对帧间预测编码的块进行运动补偿预测,预测的残差再通过变换和量化处理形成残差系数,最后通过熵编码器生成最终的码流。为避免预测误差的累积,帧内或帧间预测的参考信号是通过编码端的解码模块得到。变换和量化后的残差系数经过反量化和反变换重建残差信号,再与预测的参考信号相加得到重建的图像。
在多数的编码框架中,视频序列包括一系列图像(英文:picture),图像被进一步划分为切片(英文:slice),slice再被划分为块(英文:block)。视频编码以块为单位,可从picture的左上角位置开始从左到右从上到下一行一行进行编码处理。一些新视频编码标准将block的概念被进一步扩展。在H.264标准中有宏块(英文:macroblock,缩写:MB),MB可进一步划分成多个可用于预测编码的预测块(英文:partition)。
在高性能视频编码(英文:high efficiency video coding,缩写:HEVC)标准中,采用编码单元(英文:coding unit,缩写:CU),预测单元(英文:prediction unit,缩写:PU)和变换单元(英文:transform unit,缩写:TU)等基本概念,从功能上划分了多种Unit,并采用全新的基于树结构进行描述。比如CU可按照四叉树进行划分为更小CU,而更小的CU还可继续划分,从而形成一种四叉树结构。对于PU和TU也有类似树结构。无论CU,PU还是TU,本质上都属于块(block)的概念,CU类似于宏块MB或编码块,是对编码图像进行划分和编码的基本单元。PU可对应预测块,是预测编码的基本单元。对CU按照划分模式进一步划分成多个PU。TU可以对应变换块,是对预测残差进行变换的基本单元。HEVC标准中则可把它们统一称之为编码树块(英文:coding tree block,缩写:CTB)等等。
在HEVC标准中,编码单元的大小可包括64×64,32×32,16×16和8×8等几个尺寸级别,每个级别的编码单元按照帧内预测和帧间预测由可划分为不同大小的预测单元。例如图1-A和图1-B所示,图1-A举例示出了一种与帧内预测对应的预测单元划分方式,图1-B举例示出了几种与帧间预测对应的预测单元划分方式。
本申请方案主要针对帧内预测场景,图1-C中示出当前块的几个可能相邻参考块,参考块A为当前块的左相邻参考块,参考块B为当前块的左上相邻参考块,参考块C为当前块的上相邻参考块。
在一些技术方案中,图像预测方法可包括:利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值;利用如下加权滤波公式对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值。
其中,ccur=64-(ctop>>[y/d])-(cleft>>[x/d])+(ctopleft>>[x/d]) (公式2)
其中,公式1是一种可能的加权滤波公式。“>>”表示移位运算符。
在公式1中,所述ctop表示所述当前块的上相邻参考块重建像素值对应的加权系数,所述cleft表示所述当前块的左相邻参考块重建像素值对应的加权系数,所述ctopleft表示所述当前块的左上相邻参考块重建像素值对应的加权系数。x表示当前块中像素点相对于所述当前块的左上顶点的横坐标,y表示当前块中像素点相对于所述当前块的左上顶点的纵坐标,所述当前块的左上顶点的坐标例如为[0,0]。其中,p″[x,y]表示当前块中坐标为[x,y]的像素点的预测像素值,p'[x,y]表示当前块中坐标为[x,y]的像素点的初始预测像素值,r[x,-1]表示所述当前块的上相邻参考块中坐标为[x,-1]的像素点重建像素值,r[-1,-1]表示所述当前块的左上相邻参考块中坐标为[-1,-1]的像素点的重建像素值,r[-1,y]表示所述当前块的左相邻参考块中坐标为[-1,y]的像素点的重建像素值。
其中,所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,水平加权系数包括:ctop。垂直加权系数包括:cleft和ctopleft。其中,d表示衰减速度因子,由于d既作用于水平加权系数,并且也作用于垂直加权系数,因此公式1和公式2中作用于所述水平加权系数的衰减速度因子等于作用于垂直加权系数的衰减速度因子。
按照位置相关组合帧内预测(英文:position dependent intra predictioncombination,缩写:PDPC)的算法原理,加权滤波公式需要反应出相邻像素点之间存在的相关性,这种相关性随两点间距离增加将以类似指数的关系来衰减。例如公式1中的“>>[y/d]”和“>>[x/d]”反应了衰减特性。具体例如,坐标为(0,0)与(0,-1)的这两个像素点的位置相邻,那么按照公式1则ctop不进行缩小操作,从而使r(0,-1)对坐标(0,0)的像素点的预测结果影响较大。
衰减速度因子d的值反应了衰减速度。如图1-D所示,在当前块的尺寸为32x32的情况下d=2,坐标为(4,4)的预测像素点a的系数ctop和cleft,相比于左上顶点衰减了4倍。在当前块的尺寸为8x8的情况下d=1,坐标(4,4)的预测像素点a的系数ctop和cleft,相比于左上顶点衰减了16倍。像素点a在32x32的CU中靠近左上,而在8x8的CU中位于中心,其与坐标(0,0)点的相邻程度相对降低了。从上述分析可见,边长较长的CU(例如边长>=32)系数衰减慢于边长较短的CU。
近期JVET会议中提出四叉树联合二叉树划分(英文:quadtree plus binarytree,缩写:QTBT)方法。QTBT方法的特点包括:允许出现长宽不相等的非正方形CU;CU一边的长度范围从4到128。
为了适应QTBT方法,PDPC进一步对衰减速度因子d的取值进行调整。
在一种可能实施方式中,当适用QTBT方法划分CU时,衰减速度因子d的取值取决于CU的长宽和。例如当长宽和小于64时d=1;长宽和大于等于64时d=2。研究发现,衰减速度因子d的取值取决于CU的长宽和的这种方案也存在一些问题,例如当长宽和相等但形状不同的CU的d取值相同,d与CU形状之间相关性弱。如图1-E所示,32x8、8x32、16x16三种大小和形状的CU,d的取值都为1。又例如,长宽比大的CU,长和宽对应的d的取值相同,即d与CU长宽之间相关性弱。如图1-E所示,虽然8x32和32x8的CU长宽比达到1:4或4:1,但因为d取值为1,那么长和宽两个方向的系数衰减程度被看作一致;虽然4x64和64x4的CU长宽比达到1:8或8:1,但因为d取值为2,那么长和宽两个方向的系数衰减速度被看作一致。
在上面举例的几种方案中,在任何情况下,作用于水平加权系数的衰减速度因子等于作用于垂直加权系数的衰减速度因子,也使得在某些情况下,加权滤波公式所体现的衰减速度和实际衰减速度之间出现较大偏差,进而降低了图像预测的准确性,进而可能较大影响到系统编解码性能。
下面继续探讨其它技术方案。
请参见图2,图2是本申请一个实施例提供的一种图像预测方法的流程示意图,这种图像预测方法可应用于视频编码过程或视频解码过程,图像预测方法具体可以包括但不限于如下步骤:
210、利用当前块的参考块对所述当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
其中,帧内预测例如为方向性帧内预测、直流系数帧内预测、插值帧内预测或其它帧内预测方法。
可以理解,利用参考块对当前块进行帧内预测的方式可能多种多样。
具体例如利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值包括:对参考块中参考像素点的重建像素值进行滤波处理以得到所述参考块中参考像素点的滤波像素值;利用所述参考块中参考像素点的滤波像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
又例如,利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值包括:利用参考块中参考像素点的重建像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
220、对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值。其中,所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
具体例如,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
又例如,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子同于作用于所述垂直加权系数的衰减速度因子。
可以理解,在事先无法获知所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性的情况下,那么可以先确定所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,而后基于确定出的所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,来确定作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子。
当然,如果所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性是事先已知确定的(例如假设纹理特性为边长,当前块如果是按照特定的划分方式划分得到的,那么当前块的形状尺寸就是一种已知确定参数,因此,当前块的长宽之间差异性就是一种已知确定参数),那么也可认为作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子也就对应确定了,那么就无需执行“先确定所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,而后基于确定出的所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,来确定作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子”的步骤了。
这也就是说,在“当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值”的情况已知确定的情况下,或在“当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出差异性阈值”的情况已知确定的情况下,是无需执行“当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性是否超出差异性阈值”的条件判定的,而是可以直接按照当前已知确定的情况,来选用与之对应的作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子。
可以理解,如果当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值,说明当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性较大,那么这种差异性应当被考虑,如果当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出差异性阈值,说明前块的水平方向纹理特性与垂直方向纹理特性之间的差异性较小,那么这种差异性可能允许被忽略。
例如可基于所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性确定作用于水平加权系数的衰减速度因子和作用于垂直加权系数的衰减速度因子。
其中,纹理特性例如可包括边长、自方差和/或边缘锐度等。因此,水平方向纹理特性可包括水平方向边长(长)、水平方向自方差和/或水平方向边缘锐度等;垂直方向纹理特性可包括垂直方向边长(宽)、垂直方向自方差和/或垂直方向边缘锐度等。
举例来说,当纹理特性为边长,那么在所述当前块的长与宽长之间的差异性超出差异性阈值,并且所述当前块的长大于宽的情况下,作用于所述水平加权系数的衰减速度因子大于作用于所述垂直加权系数的衰减速度因子;在所述当前块的长与宽之间的差异性超出差异性阈值,且所述当前块的长小于宽的情况下,作用于所述水平加权系数的衰减速度因子小于作用于所述垂直加权系数的衰减速度因子。
又举例来说,当纹理特性为自方差,那么在所述当前块的水平方向自方差与垂直方向自方差之间的差异性超出差异性阈值,且所述当前块的水平方向自方差大于垂直方向自方差的情况下,作用于所述水平加权系数的衰减速度因子大于作用于所述垂直加权系数的衰减速度因子;在当前块的水平方向自方差与垂直方向自方差之间的差异性超出差异性阈值,且所述当前块的水平方向自方差小于垂直方向自方差的情况下,作用于所述水平加权系数的衰减速度因子小于作用于所述垂直加权系数的衰减速度因子。
又举例来说,当纹理特性为边缘锐度,那么在所述当前块的水平方向边缘锐度与垂直方向边缘锐度之间的差异性超出差异性阈值,且所述当前块的水平方向边缘锐度大于垂直方向边缘锐度的情况下,作用于所述水平加权系数的衰减速度因子大于作用于所述垂直加权系数的衰减速度因子;在所述当前块的水平方向边缘锐度与垂直方向边缘锐度之间的差异性超出差异性阈值,且所述当前块的水平方向边缘锐度小于垂直方向边缘锐度的情况下,作用于所述水平加权系数的衰减速度因子小于作用于所述垂直加权系数的衰减速度因子。
可以理解,衰减速度因子在一定程度上反应出所作用加权系数的衰减速度。衰减速度因子不同,那么就可使得所作用加权系数的衰减速度体现出差异性。作用于水平加权系数的衰减速度因子是否同于作用于垂直加权系数的衰减速度因子,主要取决于所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性。
举例来说,对所述当前块中像素点的初始预测像素值进行加权滤波以得到所述当前块中像素点的预测像素值可包括:基于如下加权滤波公式,对所述当前块中像素点的初始预测像素值进行加权滤波以得到所述当前块中像素点的预测像素值,
其中,ccur=64-(ctop[y/d2])-(cleft>>[x/d1])+(ctooleft[x/d1]) (公式4)
其中,公式3是一种加权滤波公式。“>>”表示移位运算符。
其中,所述ctop属于水平加权系数,所述cleft和所述ctopleft属于垂直加权系数。
其中,所述ctop表示所述当前块的上相邻参考块重建像素值对应的加权系数,所述cleft表示所述当前块的左相邻参考块重建像素值对应的加权系数,所述ctopleft表示所述当前块的左上相邻参考块重建像素值对应的加权系数。其中,x表示当前块中像素点相对于所述当前块的左上顶点的横坐标,y表示当前块中像素点相对于所述当前块的左上顶点的纵坐标。
所述d1为作用于水平加权系数的衰减速度因子,所述d2为作用于垂直加权系数的衰减速度因子,所述d1和所述d2为实数,p″[x,y]表示当前块中坐标为[x,y]的像素点的预测像素值,p'[x,y]表示当前块中坐标为[x,y]的像素点的初始预测像素值,r[x,-1]表示所述当前块的上相邻参考块中坐标为[x,-1]的像素点重建像素值,r[-1,-1]表示所述当前块的左上相邻参考块中坐标为[-1,-1]的像素点的重建像素值,r[-1,y]表示所述当前块的左相邻参考块中坐标为[-1,y]的像素点的重建像素值。
可以理解,作用于水平加权系数的衰减速度因子和作用于垂直加权系数的衰减速度因子的取值,主要取决于当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,它们之间的具体对应关系可以是多种多样的。其中,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值的情况下,所述d1不等于所述d2,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出差异性阈值的情况下,所述d1等于所述d2
下面以纹理特性包括边长的情况来举例。
举例来说,在所述当前块的长大于阈值thresh2的情况下所述d1=2,在所述当前块的长小于或等于阈值thresh2的情况下所述d1=1,所述thresh2为大于或等于16的实数。例如thresh2等于16、17、32、64、128或者其它值。
又例如,在所述当前块的宽大于阈值thresh3的情况下所述d2=2,在所述当前块的宽小于或等于阈值thresh3的情况下所述d2=1,所述thresh3为大于或等于16的实数。例如thresh2等于16、18、32、64、128或者其它值。
具体例如图1-F所示,图1-F举例中以thresh2和thresh2等于16为例,在当前块的尺寸为32x8、64x4的情况下d1=2,d2=1。在当前块的尺寸为16x16的情况下d1=1,d2=1,在当前块的尺寸为8x32、4x64的情况下d1=1,d2=2。如此设置后,对于尺寸为32x8、64x4的当前块,垂直加权系数(ctop)的衰减程度是水平加权系数(cleft和ctopleft)的一倍,对于尺寸为8x32、4x64的当前块,垂直加权系数(ctop)的衰减程度是是水平加权系数(cleft和ctopleft)的一半;对于尺寸为16x16的当前块d1=d2=1,ctop、cleft和ctopleft的衰减程度相同。可见这个举例场景中,系数的衰减速度可根据图像块的长宽比、形状等自适应改变。
又例如,当所述纹理特性包括边长,所述差异性阈值包括阈值thresh1,在所述当前块的长宽比大于所述阈值thresh1的情况下,例如所述d1=1且所述d2=2;在所述当前块的宽长比大于所述阈值thresh1的情况下,例如所述d1=2且所述d2=1,其中,所述thresh1为大于2的实数。例如thresh1等于2.5、4、6、8、16、32或者其它值。
进一步的,在所述当前块的长宽比小于所述阈值thresh1,且所述当前块的长大于或者等于宽,且所述当前块的长宽和大于阈值thresh4的情况下,所述d1=d2=2。和/或,在所述当前块的长宽比小于所述阈值thresh1,且所述当前块的长大于或等于宽,且所述当前块的长宽和小于或等于所述阈值thresh4的情况下,所述d1=d2=1。
其中,所述thresh4为大于或等于64的实数,例如thresh4等于64、65、80、96、128或其它值。
具体例如图1-G所示,图1-G举例中以thresh1等于4,thresh1等于64为例,在当前块尺寸为32x8、64x4的情况下d1=2,d2=1。在当前块尺寸为32x16的情况下d1=d2=1。在当前块尺寸为64x32的情况下d1=d2=2。如此设置后,对于尺寸为32x8、64x4的当前块,垂直加权系数(ctop)的衰减程度是水平加权系数(cleft和ctopleft)的一倍,对于尺寸为32x16、64x32的当前块,ctop、cleft和ctopleft的衰减程度相同。可见这个举例场景中,系数的衰减速度可根据图像块的长宽比、形状等自适应改变。
可以理解,图1-F和图1-G只是一些可能的举例实施方式,当然在实际应用中可能并不限于这样的举例实施方式。
可以看出,上述技术方案中,对所述当前块中像素点的初始预测像素值进行加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,由于针对垂直加权系数和水平加权系数设置差异性的衰减速度因子,也就是说,作用于所述水平加权系数的衰减速度因子可不同于作用于所述垂直加权系数的衰减速度因子,这有利于差异性的控制垂直加权系数和水平加权系数衰减速度,进而有利于满足垂直加权系数和水平加权系数需按不同衰减速度进行衰减的一些场景需要,由于增强了控制垂直加权系数和水平加权系数衰减速度的灵活性,有利于提升图像预测准确性。例如在当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值等情况下,有利于使得加权系数衰减速度差异性和纹理特性差异性之间更匹配,进而有利于提升图像预测准确性。
请参见图3,图3是本申请另一实施例提供的一种视频编码方法的流程示意图,视频编码方法具体可包括但不限于如下步骤:
301、视频编码装置对参考块中参考像素点的重建像素值进行滤波处理以得到所述参考块中参考像素点的滤波像素值。
302、视频编码装置利用所述参考块中参考像素点的滤波像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
其中,帧内预测例如为方向性帧内预测、直流系数帧内预测、插值帧内预测或其它帧内预测方法。
303、视频编码装置基于所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性确定作用于水平加权系数的衰减速度因子和作用于垂直加权系数的衰减速度因子。
可以理解,在事先无法获知所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性的情况下,那么可以先确定所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,而后基于确定出的所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,来确定作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子。
当然,如果所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性是事先已知确定的(例如假设纹理特性为边长,当前块如果是按照特定的划分方式划分得到的,那么当前块的形状尺寸就是一种已知确定参数,因此,当前块的长宽之间差异性就是一种已知确定参数),那么也可认为作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子也就对应确定了,那么就无需执行“先确定所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,而后基于确定出的所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性,来确定作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子”的步骤了。
这也就是说,在“当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值”的情况已知确定的情况下,或在“当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出差异性阈值”的情况已知确定的情况下,是无需执行“当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性是否超出差异性阈值”的条件判定的,而是可以直接按照当前已知确定的情况,来选用与之对应的作用于所述水平加权系数的衰减速度因子和作用于所述垂直加权系数的衰减速度因子。
其中,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子同于作用于所述垂直加权系数的衰减速度因子。
其中,纹理特性例如可包括边长、自方差和/或边缘锐度等。因此,水平方向纹理特性可包括水平方向边长(长)、水平方向自方差和/或水平方向边缘锐度等;垂直方向纹理特性可包括垂直方向边长(宽)、垂直方向自方差和/或垂直方向边缘锐度等。
可以理解,步骤301~302和步骤303之间没有必然的先后顺序。具体例如步骤303的执行可先于、晚于或同步于步骤301~302的执行。
304、视频编码装置对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值。其中,所述加权滤波处理所使用的加权系数包括所述水平加权系数和所述垂直加权系数。
其中,步骤304中对所述当前块中像素点的初始预测像素值进行加权滤波处理所使用的加权滤波公式可为公式3。
其中,视频编码装置确定作用于水平加权系数的衰减速度因子和作用于垂直加权系数的衰减速度因子的具体方式,可参考图2所对应实施例的相关描述,此处不在赘述。
305、视频编码装置基于当前块中像素点的预测像素值得到当前块的预测残差。视频编码装置可将当前块的预测残差写入视频码流。
可以看出,在上述举例的视频编码方案中,对所述当前块中像素点的初始预测像素值进行加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,由于针对垂直加权系数和水平加权系数设置差异性的衰减速度因子,也就是说,作用于所述水平加权系数的衰减速度因子可不同于作用于所述垂直加权系数的衰减速度因子,这有利于差异性的控制垂直加权系数和水平加权系数衰减速度,进而有利于满足垂直加权系数和水平加权系数需按不同衰减速度进行衰减的一些场景需要,由于增强了控制垂直加权系数和水平加权系数衰减速度的灵活性,有利于提升图像预测准确性。例如在当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值等情况下,有利于使得加权系数衰减速度差异性和纹理特性差异性之间更匹配,进而有利于提升图像预测准确性,进而有利于提升视频解码质量。
请参见图4,图4是本申请另一实施例提供的一种视频解码方法的流程示意图,视频解码方法具体可包括但不限于如下步骤:
401、视频解码装置对参考块中参考像素点的重建像素值进行滤波处理以得到所述参考块中参考像素点的滤波像素值。
402、视频解码装置利用所述参考块中参考像素点的滤波像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
其中,帧内预测例如为方向性帧内预测、直流系数帧内预测、插值帧内预测或其它帧内预测方法。
403、视频解码装置基于所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性确定作用于水平加权系数的衰减速度因子和作用于垂直加权系数的衰减速度因子。
其中,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子同于作用于所述垂直加权系数的衰减速度因子。
其中,纹理特性例如可包括边长、自方差和/或边缘锐度等。因此,水平方向纹理特性可包括水平方向边长(长)、水平方向自方差和/或水平方向边缘锐度等;垂直方向纹理特性可包括垂直方向边长(宽)、垂直方向自方差和/或垂直方向边缘锐度等。
可以理解,步骤401~402和步骤403之间没有必然的先后顺序。具体例如步骤303的执行可先于、晚于或同步于步骤401~402的执行。
404、视频解码装置对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值。其中,所述加权滤波处理所使用的加权系数包括所述水平加权系数和所述垂直加权系数。
其中,步骤404中对所述当前块中像素点的初始预测像素值进行加权滤波处理所使用的加权滤波公式可为公式3。
其中,视频解码装置确定作用于水平加权系数的衰减速度因子和作用于垂直加权系数的衰减速度因子的具体方式,可参考实施例一的相关描述,此处不在赘述。
405、视频解码装置基于所述当前块中像素点的预测像素值和预测残差对所述当前块进行重建。
其中,视频解码装置可从视频码流中获得当前块中像素点的预测残差。
可以看出,,在上述举例的视频解码方案中,对所述当前块中像素点的初始预测像素值进行加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,由于针对垂直加权系数和水平加权系数设置差异性的衰减速度因子,也就是说,作用于所述水平加权系数的衰减速度因子可不同于作用于所述垂直加权系数的衰减速度因子,这有利于差异性的控制垂直加权系数和水平加权系数衰减速度,进而有利于满足垂直加权系数和水平加权系数需按不同衰减速度进行衰减的一些场景需要,由于增强了控制垂直加权系数和水平加权系数衰减速度的灵活性,有利于提升图像预测准确性。例如在当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值等情况下,有利于使得加权系数衰减速度差异性和纹理特性差异性之间更匹配,进而有利于提升图像预测准确性,进而有利于提升视频解码质量。
通过测试发现,相对于使用公式1的相关方案,运用图2~图4举例所示方案,有时候在影视序列编解码中能带来0.2%左右的性能提升。
下面以尺寸为8x32、8x16的图像块的ctop的衰减过程为例,来说明一下使用公式1和公式3的区别。参见图5-A~图5-C,图5-A举例示出了在使用公式1的情况下,尺寸为8x32的图像块的ctop的衰减过程,到第七行像素点时ctop已衰减为0了。图5-B举例示出在使用公式1的情况下,尺寸为8x16的图像块的ctop的衰减过程,到第七行像素点时ctop也衰减为0,其与尺寸为8x32的图像块的ctop衰减速度基本一样。
图5-C举例示出在使用公式3的情况下(以d1=1,d2=2为例),尺寸为8x32的图像块的ctop的衰减过程,到第十一行像素点时ctop才衰减为0。可见,使用公式3对预测像素值的滤波程度相对更深,有利于提高编解码性能。
下面对ctop和cleft的取值进行举例说明。
例如,若图像块的长为4,那么可基于预测方向,从下面35个数组中选择与预测方向对应的一个数组,从这个数组包括的6个数中选择其中一个数作为ctop的取值。同理,若图像块的宽为4,那么可基于预测方向,从下面35个数组中选择与预测方向对应的一个数组,从这个数组包括的6个数中选择其中一个数作为cleft的取值。
又例如,若图像块的长为8,那么可基于预测方向,从下面35个数组中选择与预测方向对应的一个数组,从这个数组包括的6个数中选择其中一个数作为ctop的取值。同理,若图像块的宽为8,那么可基于预测方向,从下面35个数组中选择与预测方向对应的一个数组,从这个数组包括的6个数中选择其中一个数作为cleft的取值。
又例如若图像块的长为16,那么基于预测方向,从下面35个数组中选择与预测方向对应的一个数组,从这个数组包括的6个数中选择其中1个数作为ctop的取值。同理,若图像块的宽为16,那么基于预测方向,从下面35个数组中选择与预测方向对应的1个数组,从这个数组包括的6个数中选择其中一个数作为cleft的取值。
又例如若图像块的长为32,那么基于预测方向,从下面35个数组中选择与预测方向对应的一个数组,从这个数组包括的6个数中选择其中1个数作为ctop的取值。同理,若图像块的宽为32,那么基于预测方向,从下面35个数组中选择与预测方向对应的1个数组,从这个数组包括的6个数中选择其中一个数作为cleft的取值。
又例如若图像块的长为64,那么基于预测方向,从下面35个数组中选择与预测方向对应的一个数组,从这个数组包括的6个数中选择其中1个数作为ctop的取值。同理,若图像块的宽为64,那么基于预测方向,从下面35个数组中选择与预测方向对应的1个数组,从这个数组包括的6个数中选择其中一个数作为cleft的取值。
当然,ctop和cleft的取值也可以是其它经验值,ctopleft可基于ctop和cleft得到,也可以是其它经验值。
下面还提供用于实施上述方案的相关装置。
参见图6,本申请实施例提供一种图像预测装置600,包括:
预测单元610,用于利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
其中,所述帧内预测例如为方向性帧内预测、直流系数帧内预测或插值帧内预测。
滤波单元620,用于对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值,其中,所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
具体例如,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
又例如,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出所述差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子同于作用于所述垂直加权系数的衰减速度因子。
其中,纹理特性例如可包括边长、自方差和/或边缘锐度等。因此水平方向纹理特性可包括水平方向边长(长)、水平方向自方差和/或水平方向边缘锐度等;垂直方向纹理特性可包括垂直方向边长(宽)、垂直方向自方差和/或垂直方向边缘锐度等。
例如预测单元610具体用于对参考块中参考像素点的重建像素值进行滤波处理以得到所述参考块中参考像素点的滤波像素值;利用所述参考块中参考像素点的滤波像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值;或利用参考块中参考像素点的重建像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
例如所述滤波单元用于基于如下加权滤波公式,对所述当前块中像素点的初始预测像素值进行加权滤波以得到所述当前块中像素点的预测像素值,
其中,ccur=64-(ctop>>[y/d2])-(cleft>>[x/d1])+(ctopleft>>[x/d1]),
其中,所述ctop属于水平加权系数,所述cleft和所述ctopleft属于垂直加权系数。
其中,所述ctop表示所述当前块的上相邻参考块重建像素值对应的加权系数,所述cleft表示所述当前块的左相邻参考块重建像素值对应的加权系数,所述ctopleft表示所述当前块的左上相邻参考块重建像素值对应的加权系数;x表示当前块中像素点相对于所述当前块的左上顶点的横坐标,y表示当前块中像素点相对于所述当前块的左上顶点的纵坐标,所述d2为作用于水平加权系数的衰减速度因子,所述d1为作用于垂直加权系数的衰减速度因子,所述d1和所述d2为实数,p″[x,y]表示当前块中坐标为[x,y]的像素点的预测像素值,p'[x,y]表示当前块中坐标为[x,y]的像素点的初始预测像素值,r[x,-1]表示所述当前块的上相邻参考块中坐标为[x,-1]的像素点重建像素值,r[-1,-1]表示所述当前块的左上相邻参考块中坐标为[-1,-1]的像素点的重建像素值,r[-1,y]表示所述当前块的左相邻参考块中坐标为[-1,y]的像素点的重建像素值。
举例来说,所述纹理特性包括边长,所述差异性阈值包括阈值thresh1。
在所述当前块的长宽比大于所述阈值thresh1的情况下,所述d1=1且所述d2=2;在所述当前块的宽长比大于所述阈值thresh1的情况下,所述d1=2且所述d2=1,所述thresh1为大于2的实数。
又举例来说,在所述当前块的长宽比小于所述阈值thresh1,且所述当前块的长大于或等于宽,且所述当前块的长宽和大于阈值thresh4的情况下,所述d1=d2=2;和/或,在所述当前块的长宽比小于所述阈值thresh1,且所述当前块的长大于或等于宽,且所述当前块的长宽和小于或等于所述阈值thresh4的情况下,所述d1=d2=1。
其中,所述thresh4为大于或等于64的实数。
又例如,所述纹理特性包括边长,其中,在所述当前块的长大于阈值thresh2的情况下所述d1=2,在所述当前块的长小于或等于阈值thresh2的情况下所述d1=1,所述thresh2为大于或等于16的实数;和/或,在所述当前块的宽大于阈值thresh3的情况下所述d2=2,在所述当前块的宽小于或等于阈值thresh3的情况下所述d2=1,其中,所述thresh3为大于或等于16的实数。
可以理解,图像预测装置600可应用于视频编码装置或视频解码装置,该视频编码装置或者视频解码装置可以是任何需要输出或存储视频的装置,如笔记本电脑、平板电脑、个人电脑、手机或者视频服务器等设备。本实施例中的图像预测装置600的功能,可基于上述方法实施例的方案的来具体实现,一些未描述的部分可参考上述实施例。
参见图7,本申请实施例提供一种图像预测装置700,包括:包括相互耦合的处理器710和存储器720。所述存储器720用于存储指令和数据,所述处理器710用于执行所述指令。处理器710例如用于执行以上各方法实施例中的方法的部分或全部步骤。
处理器710还称中央处理单元(英文:Central Processing Unit,缩写:CPU)。具体的应用中图像预测装置的各组件例如通过总线系统耦合在一起。其中,总线系统除了可包括数据总线之外,还可包括电源总线、控制总线和状态信号总线等。但是为清楚说明起见,在图中将各种总线都标为总线系统730。上述本申请实施例揭示的方法可应用于处理器710中,或由处理器710实现。其中,处理器710可能是一种集成电路芯片,具有信号的处理能力。在一些实现过程中,上述方法的各步骤可通过处理器710中的硬件的集成逻辑电路或者软件形式的指令完成。上述处理器710可以是通用处理器、数字信号处理器、专用集成电路、现成可编程门阵列或其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。处理器710可实现或执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器710可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可直接体现为硬件译码处理器执行完成,或用译码处理器中的硬件及软件模块组合执行完成。软件模块可位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等等本领域成熟的存储介质之中。该存储介质位于存储器720,例如处理器710可读取存储器720中的信息,结合其硬件完成上述方法的步骤。
例如所述处理器710例如可用于,利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值;对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值,其中,所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,作用于所述水平加权系数的衰减速度因子可不同于作用于所述垂直加权系数的衰减速度因子。
具体例如,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
又例如,在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子同于作用于所述垂直加权系数的衰减速度因子。
可以理解,图像预测装置700可应用于视频编码装置或视频解码装置,该视频编码装置或者视频解码装置可以是任何需要输出或存储视频的装置,如笔记本电脑、平板电脑、个人电脑、手机或者视频服务器等设备。本实施例中的图像预测装置700的功能,可基于上述方法实施例的方案的来具体实现,一些未描述的部分可参考上述实施例。
参见图8,图8是本申请实施例可运用的视频编码器20的示意性框图,包括编码端预测模块201、变换量化模块202、熵编码模块203、编码重建模块204、编码端滤波模块205、图9是本申请实施例可运用的视频解码器30的示意性框图,包括解码端预测模块206、反变换反量化模块207、熵解码模块208、解码重建模块209、解码滤波模块210。
视频编码器20可用于实施本申请实施例的图像预测方法或视频编码方法。视频编码器30可用于实施本申请实施例的图像预测方法或视频解码方法。具体的:
编码端预测模块201和解码端预测模块206用于产生预测数据。视频编码器20可产生每一不再分割CU的一个或多个预测单元(PU)。CU的每一个PU可与CU的像素块内的不同像素块相关联。视频编码器20可针对CU的每一个PU产生预测性像素块。视频编码器20可使用帧内预测或帧间预测来产生PU的预测性像素块。如果视频编码器20使用帧内预测来产生PU的预测性像素块,则视频编码器20可基于与PU相关联的图片的解码后的像素来产生PU的预测性像素块。如果视频编码器20使用帧间预测来产生PU的预测性像素块,则视频编码器20可基于不同于与PU相关联的图片的一个或多个图片的解码后的像素来产生PU的预测性像素块。视频编码器20可基于CU的PU的预测性像素块来产生CU的残余像素块。CU的残余像素块可指示CU的PU的预测性像素块中的采样值与CU的初始像素块中的对应采样值之间的差。
变换量化模块202用于对经过预测的残差数据进行处理。视频编码器20可对CU的残余像素块执行递归四叉树分割以将CU的残余像素块分割成与CU的变换单元(TU)相关联的一个或多个较小残余像素块。因为与TU相关联的像素块中的像素各自对应一个亮度采样及两个色度采样,所以每一个TU可与一个亮度的残余采样块及两个色度的残余采样块相关联。视频编码器20可将一个或多个变换应用于与TU相关联的残余采样块以产生系数块(即,系数的块)。变换可以是DCT变换或者它的变体。采用DCT的变换矩阵,通过在水平和竖直方向应用一维变换计算二维变换,获得所述系数块。视频编码器20可对系数块中的每一个系数执行量化程序。量化一般指系数经量化以减少用以表示系数的数据量,从而提供进一步压缩的过程。反变换反量化模块207执行的是变换量化模块202的逆过程。
视频编码器20可产生表示量化后系数块中的系数的语法元素的集合。视频编码器20通过熵编码模块203可将熵编码操作(例如,上下文自适应二进制算术译码(CABAC)操作)应用于上述语法元素中的部分或者全部。为将CABAC编码应用于语法元素,视频编码器20可将语法元素二进制化以形成包括一个或多个位(称作“二进位”)的二进制序列。视频编码器20可使用规则(regular)编码来编码二进位中的一部分,且可使用旁通(bypass)编码来编码二进位中的其它部分。
除熵编码系数块的语法元素外,视频编码器20通过编码重建模块204,可将逆量化及逆变换应用于变换后的系数块,以从变换后的系数块重建残余采样块。视频编码器20可将重建后的残余采样块加到一个或多个预测性采样块的对应采样块,以产生重建后的采样块。通过重建每一色彩分量的采样块,视频编码器20可重建与TU相关联的像素块。以此方式重建CU的每一TU的像素块,直到CU的整个像素块重建完成。
在视频编码器20重建构CU的像素块之后,视频编码器20通过编码端滤波模块205,执行消块滤波操作以减少与CU相关联的像素块的块效应。而在视频编码器20执行消块滤波操作之后,视频编码器20可使用采样自适应偏移(SAO)来修改图片的CTB的重建后的像素块。在执行这些操作之后,视频编码器20可将CU的重建后的像素块存储于解码图片缓冲器中以用于产生其它CU的预测性像素块。
视频解码器30可接收码流。所述码流以比特流的形式包含了由视频编码器20编码的视频数据的编码信息。视频解码器30通过熵解码模块208,解析所述码流以从所述码流提取语法元素。当视频解码器30执行CABAC解码时,视频解码器30可对部分二进位执行规则解码且可对其它部分的二进位执行旁通解码,码流中的二进位与语法元素具有映射关系,通过解析二进位获得语法元素。
其中,视频解码器30通过解码重建模块209,可基于从码流提取的语法元素来重建视频数据的图片。基于语法元素来重建视频数据的过程大体上与由视频编码器20执行以产生语法元素的过程互逆。举例来说,视频解码器30可基于与CU相关联的语法元素来产生CU的PU的预测性像素块。另外,视频解码器30可逆量化与CU的TU相关联的系数块。视频解码器30可对逆量化后的系数块执行逆变换以重建与CU的TU相关联的残余像素块。视频解码器30可基于预测性像素块及残余像素块来重建CU的像素块。
在视频解码器30重建CU的像素块之后,视频解码器30通过解码滤波模块210,执行消块滤波操作以减少与CU相关联的像素块的块效应。另外,基于一个或多个SAO语法元素,视频解码器30可执行与视频编码器20相同的SAO操作。在视频解码器30执行这些操作之后,视频解码器30可将CU的像素块存储于解码图片缓冲器中。解码图片缓冲器可以提供用于后续运动补偿、帧内预测及显示装置呈现的参考图片。
本申请实施例还提供一种计算机可读存储介质,其中,所述计算机可读存储介质存储了程序代码,其中,所述程序代码包括用于执行以上各方法实施例中的方法的部分或全部步骤的指令。
本申请实施例还提供一种计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本申请实施例还提供一种计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本申请实施例还提供一种应用发布平台,其中,所述应用发布平台用于发布计算机程序产品,其中,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如以上各方法实施例中的方法的部分或全部步骤。
图10和图11是电子装置50的两种示意性框图,电子装置50可并入本申请实施例可运用的编码解码器。图11是根据本申请实施例的用于视频编码的示意性装置图。下面将说明图10和图11中的单元。
电子装置50可以例如是无线通信系统的移动终端或者用户设备。应理解,可以在可能需要对视频图像进行编码和解码,或者编码,或者解码的任何电子设备或者装置内实施本申请的实施例。
装置50可以包括用于并入和保护设备的壳30。装置50还可以包括形式为液晶显示器的显示器32。在本申请的其它实施例中,显示器可以是适合于显示图像或者视频的任何适当的显示器技术。装置50还可以包括小键盘34。在本申请的其它实施例中,可以运用任何适当的数据或者用户接口机制。例如,可以实施用户接口为虚拟键盘或者数据录入系统作为触敏显示器的一部分。装置可以包括麦克风36或者任何适当的音频输入,该音频输入可以是数字或者模拟信号输入。装置50还可以包括如下音频输出设备,该音频输出设备在本申请的实施例中可以是以下各项中的任何一项:耳机38、扬声器或者模拟音频或者数字音频输出连接。装置50也可以包括电池40,在本申请的其它实施例中,设备可以由任何适当的移动能量设备,比如太阳能电池、燃料电池或者时钟机构生成器供电。装置还可以包括用于与其它设备的近程视线通信的红外线端口42。在其它实施例中,装置50还可以包括任何适当的近程通信解决方案,比如蓝牙无线连接或者USB/火线有线连接。
装置50可以包括用于控制装置50的控制器56或者处理器。控制器56可以连接到存储器58,该存储器在本申请的实施例中可以存储形式为图像的数据和音频的数据,和/或也可以存储用于在控制器56上实施的指令。控制器56还可以连接到适合于实现音频和/或视频数据的编码和解码或者由控制器56实现的辅助编码和解码的编码解码器电路54。
装置50还可以包括用于提供用户信息并且适合于提供用于在网络认证和授权用户的认证信息的读卡器48和智能卡46,例如UICC和UICC读取器。
装置50还可以包括无线电接口电路52,该无线电接口电路连接到控制器并且适合于生成例如用于与蜂窝通信网络、无线通信系统或者无线局域网通信的无线通信信号。装置50还可以包括天线44,该天线连接到无线电接口电路52用于向其它(多个)装置发送在无线电接口电路52生成的射频信号并且用于从其它(多个)装置接收射频信号。
在本申请的一些实施例中,装置50包括能够记录或者检测单帧的相机,编码解码器54或者控制器接收到这些单帧并对它们进行处理。在本申请一些实施例中,装置可在传输和/或存储之前从另一设备接收待处理的视频图像数据。在本申请的一些实施例中,装置50可以通过无线或者有线连接接收图像用于编码/解码。
本申请实施例方案可应用于各种电子装置中,示例性的,下面给出本申请实施例应用于电视设备和移动电话设备的例子。
图12是本申请实施例适用于电视机应用的示意性结构图。
电视设备900包括可天线901、调谐器902、多路解复用器903、解码器904、视频信号处理器905、显示单元906、音频信号处理器907、扬声器908、外部接口909、控制器910、用户接口911和总线912等。
其中,调谐器902从经天线901接收到的广播信号提取期望频道的信号,并且解调提取的信号。调谐器902随后将通过解调获得的编码比特流输出到多路解复用器903。也就是说调谐器902在接收编码图像的编码流的电视设备900中用作发送装置。
多路解复用器903从编码比特流分离将要观看的节目的视频流和音频流,且将分离的流输出到解码器904。多路解复用器903还从编码比特流提取辅助数据,例如电子节目指南,并且将提取的数据提供给控制器910。如果编码比特流被加扰,则多路解复用器903可对编码比特流进行解扰。
解码器904对从多路解复用器903输入的视频流和音频流进行解码。解码器904随后将通过解码产生的视频数据输出到视频信号处理器905。解码器904还将通过解码产生的音频数据输出到音频信号处理器907。
视频信号处理器905再现从解码器904输入的视频数据,并且,在显示单元906上显示视频数据。视频信号处理器905还可在显示单元906上显示经网络提供的应用画面。另外,视频信号处理器905可根据设置对视频数据执行额外的处理,例如,噪声去除。视频信号处理器905还可产生GUI(图形用户界面)的图像并且将产生的图像叠加在输出图像上。
显示单元906由从视频信号处理器905提供的驱动信号驱动,并且在显示装置,例如液晶显示器、等离子体显示器或OELD(有机场致发光显示器)的视频屏幕上显示视频或图像。
音频信号处理器907对从解码器904输入的音频数据执行再现处理,例如,数模转换和放大等,并且通过扬声器908输出音频。另外,音频信号处理器907可以对音频数据执行额外的处理,例如噪声去除等。
外部接口909是用于连接电视设备900与外部装置或网络的接口。例如,经外部接口909接收的视频流或音频流可由解码器904解码。也就是说,外部接口909也在接收编码图像的编码流的电视设备900中用作发送装置。
控制器910包括处理器和存储器。存储器存储将要由处理器执行的程序、节目数据、辅助数据、经网络获取的数据等。例如,当电视设备900启动时,存储在存储器中的程序由处理器读取并且执行。处理器根据从用户接口911输入的控制信号控制电视设备900的操作。
其中,用户接口911连接到控制器910。例如,用户接口911包括用于使用户操作电视设备900的按钮和开关以及用于接收遥控信号的接收单元。用户接口911检测由用户经这些部件执行的操作,产生控制信号,并且将产生的控制信号输出到控制器910。
总线912将调谐器902、多路解复用器903、解码器904、视频信号处理器905、音频信号处理器907、外部接口909和控制器910彼此连接。
在具有这种结构的电视设备900中,解码器904可具有根据上述实施例的视频解码装置或图像预测装置的功能。例如解码器904可用于,利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值;对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值,所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
图13是本申请实施例适用于移动电话应用的示意性结构图。移动电话装置920可以包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理器927、多路解复用器928、记录/再现单元929、显示单元930、控制器931、操作单元932和总线933等。
天线921连接到通信单元922。扬声器924和麦克风925连接到音频编码解码器923。操作单元932连接到控制器931。总线933将通信单元922、音频编解码器923、相机单元926、图像处理器927、多路解复用器928、记录/再现单元929、显示单元930和控制器931彼此连接。
移动电话装置920在各种操作模式下执行操作,例如,音频信号的发送/接收、电子邮件和图像数据的发送/接收、图像的拍摄、数据的记录等,所述各种操作模式包括语音呼叫模式、数据通信模式、成像模式和视频电话模式。
在语音呼叫模式下,由麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据,对转换的音频数据执行模数转换,并且压缩音频数据。音频编码解码器923随后将作为压缩结果得到的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制以产生待发送的信号。通信单元922随后经天线921将产生的待发送的信号发送给基站。通信单元922还放大经天线921接收到的无线电信号并且对经天线921接收到的无线电信号执行频率转换以获得接收到的信号。通信单元922随后对接收到的信号进行解调和解码以产生音频数据,并且将产生的音频数据输出到音频编解码器923。音频编解码器923解压缩音频数据并且对音频数据执行数模转换以产生模拟音频信号。音频编码解码器923随后将产生的音频信号提供给扬声器924以从扬声器924输出音频。
在数据通信模式下,例如,控制器931根据由用户经操作单元932的操作产生将要被包括在电子邮件中的文本数据。控制器931还在显示单元930上显示文本。控制器931还响应于经操作单元932来自用户的用于发送的指令产生电子邮件数据,并且将产生的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以产生待发送的信号。通信单元922随后经天线921将产生的待发送的信号发送给基站。通信单元922还放大经天线921接收到的无线电信号并且对经天线921接收到的无线电信号执行频率转换以获得接收到的信号。通信单元922随后对接收到的信号进行解调和解码以恢复电子邮件数据,并且将恢复的电子邮件数据输出到控制器931。控制器931在显示单元930上显示电子邮件的内容,并且将电子邮件数据存储在记录/再现单元929的存储介质中。
记录/再现单元929包括可读/可写存储介质。例如,存储介质可以是内部存储介质,或者可以是在外部安装的存储介质,例如,硬盘、磁盘、磁光盘、USB(通用串行总线)存储器或存储卡。
在成像模式下,相机单元926对对象成像以产生图像数据,并且将产生的图像数据输出到图像处理器927。图像处理器927对从相机单元926输入的图像数据进行编码,并且将编码流存储在存储/再现单元929的存储介质中。
在视频电话模式下,多路解复用器928多路复用由图像处理器927编码的视频流和从音频编码解码器923输入的音频流,并且将多路复用流输出到通信单元922。通信单元922对多路复用流进行编码和调制以产生待发送的信号。通信单元922随后经天线921将产生的待发送的信号发送给基站。通信单元922还放大经天线921接收到的无线电信号并且对经天线921接收到的无线电信号执行频率转换以获得接收到的信号。待发送的信号和接收到的信号可包括编码比特流。通信单元922随后对接收到的信号进行解调和解码以恢复流,并且将恢复的流输出到多路解复用器928。多路解复用器928从输入流分离视频流和音频流,将视频流输出到图像处理器927并且将音频流输出到音频编解码器923。图像处理器927对视频流进行解码以产生视频数据。视频数据被提供给显示单元930,并且一系列图像由显示单元930显示。音频编解码器923解压缩音频流并且对音频流执行数模转换以产生模拟音频信号。音频编解码器923随后将产生的音频信号提供给扬声器924以从扬声器924输出音频。
在具有这种结构的移动电话装置920中,图像处理器927具有根据上述实施例的视频编码装置(视频编码器、图像预测装置)和/或视频解码装置(视频解码器)的功能。
例如图像处理器927可用于利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值;对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值,所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此,在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指相同的实施例。此外,这些特定特征、结构或特性可以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉,说明书中所描述的实施例均属于可选实施例,所涉及的动作和模块并不一定是本申请所必须的。
在本申请的各种实施例中,应理解,上述各过程的序号的大小并不意味着执行顺序的必然先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
另外,本文中术语“系统”和“网络”在本文中常可互换使用。应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。
在本申请所提供的实施例中,应理解,“与A相应的B”表示B与A相关联,根据A可以确定B。但还应理解,根据A确定B并不意味着仅仅根据A确定B,还可以根据A和/或其它信息确定B。
在上述实施例中,可全部或部分地通过软件、硬件、固件或其任意组合来实现。当使用软件实现时,可全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可为通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(磁性介质例如可以是软盘、硬盘、磁带)、光介质(例如光盘)、或半导体介质(例如固态硬盘)等。在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可以通过其它的方式来实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或者讨论的相互之间的耦合或直接耦合或通信连接可以通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可位于一个地方,或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可获取的存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分,可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等,具体可以是计算机设备中的处理器)执行本申请的各个实施例上述方法的全部或部分步骤。
以上所述,以上实施例仅用以说明本申请的技术方案而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,然而本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (23)

1.一种图像预测方法,其特征在于,包括:利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值;
对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值,
所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
2.根据权利要求1所述的方法,其特征在于,
在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子;
在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出所述差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子同于作用于所述垂直加权系数的衰减速度因子。
3.根据权利要求2所述的方法,其特征在于,所述纹理特性包括边长、自方差和/或边缘锐度。
4.根据权利要求2至3任一项所述的方法,其特征在于,所述对所述当前块中像素点的初始预测像素值进行加权滤波以得到所述当前块中像素点的预测像素值包括:基于如下加权滤波公式,对所述当前块中像素点的初始预测像素值进行加权滤波以得到所述当前块中像素点的预测像素值,
其中,ccur=64-(ctop>>[y/d2])-(cleft>>[x/d1])+(ctopleft>>[x/d1]),
其中,所述ctop属于水平加权系数,所述cleft和所述ctopleft属于垂直加权系数;
其中,所述ctop表示所述当前块的上相邻参考块重建像素值对应的加权系数,所述cleft表示所述当前块的左相邻参考块重建像素值对应的加权系数,所述ctopleft表示所述当前块的左上相邻参考块重建像素值对应的加权系数;x表示当前块中像素点相对于所述当前块的左上顶点的横坐标,y表示当前块中像素点相对于所述当前块的左上顶点的纵坐标,所述d1为作用于垂直加权系数的衰减速度因子,所述d2为作用于水平加权系数的衰减速度因子,所述d1和所述d2为实数,p”[x,y]表示当前块中坐标为[x,y]的像素点的预测像素值,p'[x,y]表示当前块中坐标为[x,y]的像素点的初始预测像素值,r[x,-1]表示所述当前块的上相邻参考块中坐标为[x,-1]的像素点重建像素值,r[-1,-1]表示所述当前块的左上相邻参考块中坐标为[-1,-1]的像素点的重建像素值,r[-1,y]表示所述当前块的左相邻参考块中坐标为[-1,y]的像素点的重建像素值。
5.根据权利要求4所述的方法,其特征在于,所述纹理特性包括边长,所述差异性阈值包括阈值thresh1,
在所述当前块的长宽比大于所述阈值thresh1的情况下,所述d1=1且所述d2=2;在所述当前块的宽长比大于所述阈值thresh1的情况下,所述d1=2且所述d2=1,所述thresh1为大于2的实数。
6.根据权利要求5所述的方法,其特征在于,
在所述当前块的长宽比小于所述阈值thresh1,且所述当前块的长大于或等于宽,且所述当前块的长宽和大于阈值thresh4的情况下,所述d1=d2=2;和/或,在所述当前块的长宽比小于所述阈值thresh1,且所述当前块的长大于或等于宽,且所述当前块的长宽和小于或等于所述阈值thresh4的情况下,所述d1=d2=1;
其中,所述thresh4为大于或等于64的实数。
7.根据权利要求4所述的方法,其特征在于,
在所述当前块的长大于阈值thresh2的情况下所述d1=2,在所述当前块的长小于或等于阈值thresh2的情况下所述d1=1,所述thresh2为大于或等于16的实数;和/或,在所述当前块的宽大于阈值thresh3的情况下所述d2=2,在所述当前块的宽小于或等于阈值thresh3的情况下所述d2=1,所述thresh3为大于或等于16的实数。
8.根据权利要求1至7任一项所述方法,其特征在于,所述利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值包括:
对参考块中参考像素点的重建像素值进行滤波处理以得到所述参考块中参考像素点的滤波像素值;利用所述参考块中参考像素点的滤波像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值;
或者,利用参考块中参考像素点的重建像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
9.根据权利要求1至8任一项所述的方法,其特征在于,
所述帧内预测为方向性帧内预测、直流系数帧内预测或插值帧内预测。
10.根据权利要求1至9任一项所述的方法,其特征在于,所述图像预测方法应用于视频编码过程或视频解码过程。
11.一种图像预测装置,其特征在于,包括:
预测单元,用于利用参考块对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值;
滤波单元,用于对所述当前块中像素点的初始预测像素值进行加权滤波处理以得到所述当前块中像素点的预测像素值,其中,所述加权滤波处理所使用的加权系数包括水平加权系数和垂直加权系数,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子。
12.根据权利要求11所述的装置,其特征在于,
在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性超出差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子不同于作用于所述垂直加权系数的衰减速度因子;
在所述当前块的水平方向纹理特性与垂直方向纹理特性之间的差异性未超出所述差异性阈值的情况下,作用于所述水平加权系数的衰减速度因子同于作用于所述垂直加权系数的衰减速度因子。
13.根据权利要求12所述的装置,其特征在于,所述纹理特性包括边长、自方差和/或边缘锐度。
14.根据权利要求12至13任一项所述的装置,其特征在于,所述滤波单元用于基于如下加权滤波公式,对所述当前块中像素点的初始预测像素值进行加权滤波以得到所述当前块中像素点的预测像素值,
其中,ccur=64-(ctop>>[y/d2])-(cleft>>[x/d1])+(ctopleft>>[x/d1]),
其中,所述ctop属于水平加权系数,所述cleft和所述ctopleft属于垂直加权系数;
其中,所述ctop表示所述当前块的上相邻参考块重建像素值对应的加权系数,所述cleft表示所述当前块的左相邻参考块重建像素值对应的加权系数,所述ctopleft表示所述当前块的左上相邻参考块重建像素值对应的加权系数;x表示当前块中像素点相对于所述当前块的左上顶点的横坐标,y表示当前块中像素点相对于所述当前块的左上顶点的纵坐标,所述d2为作用于水平加权系数的衰减速度因子,所述d1为作用于垂直加权系数的衰减速度因子,所述d1和所述d2为实数,p”[x,y]表示当前块中坐标为[x,y]的像素点的预测像素值,p'[x,y]表示当前块中坐标为[x,y]的像素点的初始预测像素值,r[x,-1]表示所述当前块的上相邻参考块中坐标为[x,-1]的像素点重建像素值,r[-1,-1]表示所述当前块的左上相邻参考块中坐标为[-1,-1]的像素点的重建像素值,r[-1,y]表示所述当前块的左相邻参考块中坐标为[-1,y]的像素点的重建像素值。
15.根据权利要求14所述的装置,其特征在于,所述纹理特性包括边长,所述差异性阈值包括阈值thresh1,
在所述当前块的长宽比大于所述阈值thresh1的情况下,所述d1=1且所述d2=2;在所述当前块的宽长比大于所述阈值thresh1的情况下,所述d1=2且所述d2=1,所述thresh1为大于2的实数。
16.根据权利要求15所述的装置,其特征在于,
在所述当前块的长宽比小于所述阈值thresh1,且所述当前块的长大于或等于宽,且所述当前块的长宽和大于阈值thresh4的情况下,所述d1=d2=2;和/或,在所述当前块的长宽比小于所述阈值thresh1,且所述当前块的长大于或等于宽,且所述当前块的长宽和小于或等于所述阈值thresh4的情况下,所述d1=d2=1;
其中,所述thresh4为大于或等于64的实数。
17.根据权利要求14所述的装置,其特征在于,所述纹理特性包括边长,
在所述当前块的长大于阈值thresh2的情况下所述d1=2,在所述当前块的长小于或等于阈值thresh2的情况下所述d1=1,所述thresh2为大于或等于16的实数;和/或,在所述当前块的宽大于阈值thresh3的情况下所述d2=2,在所述当前块的宽小于或等于阈值thresh3的情况下所述d2=1,所述thresh3为大于或等于16的实数。
18.根据权利要求11至17任一项所述装置,其特征在于,
所述预测单元具体用于,对参考块中参考像素点的重建像素值进行滤波处理以得到所述参考块中参考像素点的滤波像素值;利用所述参考块中参考像素点的滤波像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值;或者,利用参考块中参考像素点的重建像素值对当前块进行帧内预测以得到所述当前块中像素点的初始预测像素值。
19.根据权利要求11至18任一项所述的装置,其特征在于,所述帧内预测为方向性帧内预测、直流系数帧内预测或插值帧内预测。
20.根据权利要求11至19任一项所述的装置,其特征在于,所述图像预测装置应用于视频编码装置或视频解码装置。
21.一种图像预测装置,其特征在于,包括:相互耦合的存储器和处理器;所述处理器用于执行如权利要求1至10任一项所述方法。
22.一种计算机可读存储介质,其特征在于,
所述计算机可读存储介质存储了程序代码,所述程序代码包括用于执行如权利要求1至10任一项所述方法的指令。
23.一种计算机程序产品,其特征在于,当所述计算机程序产品在计算机上运行时,使得所述计算机执行如权利要求1至10任一项所述方法。
CN201710300302.4A 2017-04-28 2017-04-28 图像预测方法和相关产品 Active CN108810552B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201710300302.4A CN108810552B (zh) 2017-04-28 2017-04-28 图像预测方法和相关产品
PCT/CN2018/084955 WO2018196864A1 (zh) 2017-04-28 2018-04-27 图像预测方法和相关产品
US16/662,627 US11039145B2 (en) 2017-04-28 2019-10-24 Image prediction method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710300302.4A CN108810552B (zh) 2017-04-28 2017-04-28 图像预测方法和相关产品

Publications (2)

Publication Number Publication Date
CN108810552A true CN108810552A (zh) 2018-11-13
CN108810552B CN108810552B (zh) 2021-11-09

Family

ID=63920253

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710300302.4A Active CN108810552B (zh) 2017-04-28 2017-04-28 图像预测方法和相关产品

Country Status (3)

Country Link
US (1) US11039145B2 (zh)
CN (1) CN108810552B (zh)
WO (1) WO2018196864A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200296421A1 (en) * 2019-03-11 2020-09-17 Tencent America LLC Nter pdpc mode
CN113302934A (zh) * 2019-12-23 2021-08-24 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
CN114501004A (zh) * 2020-07-03 2022-05-13 杭州海康威视数字技术股份有限公司 滤波处理方法、装置及机器可读存储介质
CN115103183A (zh) * 2018-11-14 2022-09-23 腾讯美国有限责任公司 用于视频编解码的方法和装置、存储介质和计算机设备
WO2023217235A1 (en) * 2022-05-12 2023-11-16 Mediatek Inc. Prediction refinement with convolution model

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10965941B2 (en) 2017-10-09 2021-03-30 Qualcomm Incorporated Position-dependent prediction combinations in video coding
KR20230154085A (ko) * 2018-12-17 2023-11-07 엘지전자 주식회사 고주파 제로잉을 기반으로 변환 계수 스캔 순서를 결정하는 방법 및 장치

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020196854A1 (en) * 2001-06-15 2002-12-26 Jongil Kim Fast video encoder using adaptive hierarchical video processing in a down-sampled domain
US20050201462A1 (en) * 2004-03-09 2005-09-15 Nokia Corporation Method and device for motion estimation in scalable video editing
CN101668207A (zh) * 2009-09-25 2010-03-10 天津大学 Mpeg到avs视频编码转换系统
CN101919253A (zh) * 2008-01-08 2010-12-15 高通股份有限公司 基于水平和垂直对称的滤波系数的视频译码
CN102196265A (zh) * 2010-03-16 2011-09-21 索尼公司 图像编码装置和方法、图像解码装置和方法、以及程序
US20120140821A1 (en) * 2010-12-07 2012-06-07 Virginie Drugeon Pixel adaptive intra smoothing
CN102640184A (zh) * 2009-10-20 2012-08-15 苹果公司 用于图像信号处理的时域滤波技术
US20140177714A1 (en) * 2010-09-15 2014-06-26 Google Inc. Coding video data with an alternate reference frame generated using a temporal filter

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010515392A (ja) * 2007-01-04 2010-05-06 ブリティッシュ・テレコミュニケーションズ・パブリック・リミテッド・カンパニー 映像信号符号化
US11272175B2 (en) * 2016-10-05 2022-03-08 Telefonaktiebolaget Lm Ericsson (Publ) Deringing filter for video coding
EP3560204A4 (en) * 2016-12-23 2019-12-04 Telefonaktiebolaget LM Ericsson (publ) DERINGING FILTER FOR VIDEO CODING
WO2019017694A1 (ko) * 2017-07-18 2019-01-24 엘지전자 주식회사 인트라 예측 모드 기반 영상 처리 방법 및 이를 위한 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020196854A1 (en) * 2001-06-15 2002-12-26 Jongil Kim Fast video encoder using adaptive hierarchical video processing in a down-sampled domain
US20050201462A1 (en) * 2004-03-09 2005-09-15 Nokia Corporation Method and device for motion estimation in scalable video editing
CN101919253A (zh) * 2008-01-08 2010-12-15 高通股份有限公司 基于水平和垂直对称的滤波系数的视频译码
CN101668207A (zh) * 2009-09-25 2010-03-10 天津大学 Mpeg到avs视频编码转换系统
CN102640184A (zh) * 2009-10-20 2012-08-15 苹果公司 用于图像信号处理的时域滤波技术
CN102196265A (zh) * 2010-03-16 2011-09-21 索尼公司 图像编码装置和方法、图像解码装置和方法、以及程序
US20140177714A1 (en) * 2010-09-15 2014-06-26 Google Inc. Coding video data with an alternate reference frame generated using a temporal filter
US20120140821A1 (en) * 2010-12-07 2012-06-07 Virginie Drugeon Pixel adaptive intra smoothing

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115103183A (zh) * 2018-11-14 2022-09-23 腾讯美国有限责任公司 用于视频编解码的方法和装置、存储介质和计算机设备
US20200296421A1 (en) * 2019-03-11 2020-09-17 Tencent America LLC Nter pdpc mode
WO2020185943A1 (en) * 2019-03-11 2020-09-17 Tencent America LLC Improvement for inter pdpc mode
US11470354B2 (en) * 2019-03-11 2022-10-11 Tencent America LLC Inter PDPC mode
CN113302934A (zh) * 2019-12-23 2021-08-24 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
CN113302934B (zh) * 2019-12-23 2022-10-18 Oppo广东移动通信有限公司 图像预测方法、编码器、解码器以及存储介质
CN114501004A (zh) * 2020-07-03 2022-05-13 杭州海康威视数字技术股份有限公司 滤波处理方法、装置及机器可读存储介质
WO2023217235A1 (en) * 2022-05-12 2023-11-16 Mediatek Inc. Prediction refinement with convolution model

Also Published As

Publication number Publication date
US20200059650A1 (en) 2020-02-20
WO2018196864A1 (zh) 2018-11-01
US11039145B2 (en) 2021-06-15
CN108810552B (zh) 2021-11-09

Similar Documents

Publication Publication Date Title
CN108810552A (zh) 图像预测方法和相关产品
CN107566848B (zh) 编解码的方法及装置
CN104782125B (zh) 对编码单位的变换单位编码和解码的方法、设备和系统
US9462277B2 (en) Method and apparatus for encoding/decoding image using variable sized macroblocks
US11330285B2 (en) Picture prediction method and related device
CN106658019B (zh) 参考帧编解码的方法与装置
Lin et al. Mixed chroma sampling-rate high efficiency video coding for full-chroma screen content
CN104054344B (zh) 对色度数据进行解块以用于视频译码
CN103718554B (zh) 用于视频译码的变换系数的译码
CN101990098B (zh) 图像处理设备和方法
CN105791838B (zh) 在hevc中的采样自适应偏移中的灵活带偏移模式
US9344731B2 (en) Image encoding and decoding apparatus and method
AU2011236109B2 (en) Method, apparatus and system for encoding and decoding the significance map for residual coefficients of a transform unit
CN106998470B (zh) 解码方法、编码方法、解码设备和编码设备
CN108028931A (zh) 用于视频编解码的自适应帧间预测的方法及装置
CN106851316A (zh) 对帧内预测模式进行解码的方法
CN108683914A (zh) 对编码单位的变换单位编码和解码的方法
CN107005698A (zh) 支持尽力服务解码的元数据提示
JP2017508415A (ja) 画像符号化/復号方法及び装置
CN102761739B (zh) 用来动态地调整视频译码复杂度的装置与方法
CN110291789A (zh) 用于选择用于对残差块进行编码/解码的编码模式的方法和装置
CN107409212A (zh) 用于编码和解码的使用变换系数的逐渐更新
KR20180039324A (ko) 정방형 또는 직방형 블록의 화면 내 예측모드 정보 추출 방법 및 장치
KR20170125154A (ko) 곡선 화면 내 예측을 사용하는 비디오 복호화 방법 및 장치
KR100543443B1 (ko) 동영상 압축을 위한 내장형 메모리 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant