CN104079942A - 一种图像处理方法、装置及系统 - Google Patents
一种图像处理方法、装置及系统 Download PDFInfo
- Publication number
- CN104079942A CN104079942A CN201410294340.XA CN201410294340A CN104079942A CN 104079942 A CN104079942 A CN 104079942A CN 201410294340 A CN201410294340 A CN 201410294340A CN 104079942 A CN104079942 A CN 104079942A
- Authority
- CN
- China
- Prior art keywords
- component
- pixel
- prediction
- image processing
- predicted picture
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
Abstract
本发明的实施例提供一种图像处理方法、装置及系统,涉及多媒体领域,能减少对深度图进行SDC图像处理时DLT产生的变换误差。具体方案为:获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,获取每种图像处理模式各自对应的预测图像块;根据原始图像块获取原始直流分量;根据预测图像块中一个像素点的像素值获取预测直流分量;根据深度查询表和预测直流分量、原始直流分量获得索引残差值;根据预设规则从至少一种图像处理模式中选取优选的图像处理模式;对所述优选的图像处理模式、所述优选的图像处理模式对应的索引残差值和所述深度查询表进行编码以得到编码数据。本发明用于图像处理。
Description
技术领域
本发明涉及多媒体领域,尤其涉及一种图像处理方法、装置及系统。
背景技术
SDC(Segment-wise Direct Component Coding,分区域的直流分量编码)是应用在3D-HEVC(High Efficiency Video Coding,高效视频编码标准)中的一种残差数据编码方法。使用SDC对深度图像进行图像处理时,通过建立DLT(Depth Lookup Table,深度查询表)编码索引残差值到编码数据中发送给视频解码装置(例如解码器),视频解码装置再通过DLT将索引残差值转化为深度残差值,最后将深度残差值加到相应区域(例如预测图像块)中每个像素点的像素值上得到重建图像块。
DC(Direct Component,直流分量)是对待处理深度图像进行SDC处理时用于DLT变换的参数,SDC中需要当前深度图像块的原始DC(Original DC)及预测DC(Prediction DC)结合DLT得到对应索引值,进而得到索引残差值。深度图像的不同像素值很少。通过建立DLT,可以有效减少编码信号比特数。在对深度图像进行SDC的传统方法中,对于当前预测图像块,利用预测图像块的左上角、右上角、左下角、右下角这四个角像素点的四个像素值的均值作为预测DC。因为在SDC编解码过程中,预测DC起到协助计算深度残差值的作用,深度残差值代表预测图像块与原始图像块的整体偏差,深度残差值预测的精确与否直接关系到生成重建图像块时的编码性能优劣。然而,DLT变换会产生变换误差,影响深度残差值预测的精确度,进而影响到生成重建图像块时的编码性能优劣。所以有了一些试图减少变换误差的方法,以求提高生成重建图像块时的编码性能,然而均未能获得编码增益,编码增益体现生成重建图像块时编码性能的提升程度。
所以,对深度图像进行SDC的传统方法的现有改进技术,均不能减少DLT产生的变换误差,无法提升在生成深度图像的重建图像块时的编码性能。
发明内容
本发明的实施例提供一种图像处理方法、装置及系统,能减少对深度图进行SDC图像处理时DLT产生的变换误差,从而提升了图像处理结果的编码性能。
为达到上述目的,本发明的实施例采用如下技术方案:
第一方面,提供一种图像处理方法,包括:
获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
根据所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块;
根据所述预测图像块中一个像素点的像素值获取预测直流分量;
根据所述深度查询表和所述预测直流分量获得预测索引值;
根据所述原始图像块获取原始直流分量;
根据所述深度查询表和所述原始直流分量获得原始索引值;
将所述原始索引值减所述预测索引值得到索引残差值;
根据所述预测图像块和预设规则从所述至少一种图像处理模式中选取优选的图像处理模式;
对所述优选的图像处理模式、所述优选的图像处理模式对应的索引残差值和所述深度查询表进行编码以得到编码数据。
结合第一方面,在第一种可能的实现方式中,根据所述预测图像块中一个像素点的像素值获取预测直流分量,具体为:
根据所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,
根据所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
结合第一方面或第一种可能的实现方式,在第二种可能的实现方式中,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为角度模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量;
结合第一方面或第一种或第二种可能的实现方式中的任一种,在第三种可能的实现方式中,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为平面模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
结合第一方面或第一种至第三种可能的实现方式中的任一种,在第四种可能的实现方式中,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为直流分量模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
结合第一方面或第一种至第四种可能的实现方式中的任一种,在第五种可能的实现方式中,根据所述原始图像块获取原始直流分量,具体包括:
根据所述原始图像块中一个像素点的像素值获取原始直流分量。
结合第一方面和第五种可能的实现方式,在第六种可能的实现方式中,根据所述原始图像块中一个像素点的像素值获取原始直流分量,具体包括:
根据所述原始图像块中右下角像素点的像素值获取原始直流分量;
或者,
根据所述原始图像块中心区域的一个像素点的像素值获取原始直流分量,所述原始图像块中心区域是所述原始图像块中心处边长为2个像素的正方形图像区域。
结合第一方面或第一种至第六种可能的实现方式中的任一种,在第七种可能的实现方式中,根据所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块,具体包括:
在关闭帧内参考像素滤波器时,根据所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块。
结合第一方面或第一种至第七种可能的实现方式中的任一种,在第八种可能的实现方式中,根据所述预测图像块和预设规则从所述至少一种图像处理模式中选取优选的图像处理模式,具体包括:
根据所述预测图像块计算所述至少一种图像处理模式中与所述预测图像块对应的图像处理模式的率失真代价;
根据所述率失真代价,将所述至少一种图像处理模式中率失真代价最小的图像处理模式作为优选的图像处理模式。
第二方面,提供一种图像处理方法,包括:
获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
根据所述图像处理模式,获取预测图像块;
根据所述预测图像块中一个像素点的像素值获取预测直流分量;
根据所述深度查询表和所述预测直流分量获得预测索引值;
将所述索引残差值加所述预测索引值得到重建索引值;
根据所述深度查询表和所述重建索引值获得重建像素值,将所述重建像素值作为重建直流分量;
将所述重建直流分量减所述预测直流分量得到深度残差值;
为所述预测图像块的每一个像素点的像素值加上所述深度残差值得到重建图像块,所述重建图像块用于重建所述待重建深度图像。
结合第二方面,在第一种可能的实现方式中,根据所述预测图像块中一个像素点的像素值获取预测直流分量,具体为:
根据所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,
根据所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
结合第二方面或第一种可能的实现方式,在第二种可能的实现方式中,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为角度模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量;
结合第二方面或第一种或第二种可能的实现方式,在第三种可能的实现方式中,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为平面模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
结合第二方面或第一种至第三种可能的实现方式中的任一种,在第四种可能的实现方式中,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为直流分量模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
结合第二方面或第一种至第四种可能的实现方式中的任一种,在第种可能的实现方式中,根据所述图像处理模式,获取预测图像块,具体包括:
在关闭帧内参考像素滤波器时,根据所述图像处理模式,获取预测图像块。
第三方面,提供一种视频编码装置,包括:
获取单元,用于获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
所述获取单元还用于根据所述获取单元获取的所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块;
预测直流分量单元,用于根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量;
预测索引值单元,用于根据所述获取单元获取的所述深度查询表和所述直流分量单元获取的所述预测直流分量获得预测索引值。
原始直流分量单元,用于根据所述获取单元获取的所述原始图像块获取原始直流分量;
原始索引值单元,用于根据所述获取单元获取的所述深度查询表和所述原始直流分量单元获取的所述原始直流分量获得原始索引值;
索引残差值单元,用于将所述原始索引值单元获取的所述原始索引值减所述预测索引值单元获取的所述预测索引值得到索引残差值;
优选单元,用于根据所述获取单元获取的所述预测图像块和预设规则从所述至少一种图像处理模式中选取优选的图像处理模式;
编码单元,用于对所述优选单元选取的所述优选的图像处理模式、所述索引残差值单元获取的所述优选的图像处理模式对应的索引残差值和所述获取单元获取的所述深度查询表进行编码以得到编码数据。
结合第三方面,在第一种可能的实现方式中,所述预测直流分量单元具体用于根据所述获取单元获取的所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,
所述预测直流分量单元具体用于根据所述获取单元获取的所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
结合第三方面或第一种可能的实现方式,在第二种可能的实现方式中,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为角度模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量;
结合第三方面或第一种或第二种可能的实现方式中的任一种,在第三种可能的实现方式中,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为平面模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
结合第三方面或第一种至第三种可能的实现方式中的任一种,在第四种可能的实现方式中,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为直流分量模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
结合第三方面或第一种至第四种可能的实现方式中的任一种,在第五种可能的实现方式中,所述原始直流分量单元具体用于根据所述获取单元获取的所述原始图像块中一个像素点的像素值获取原始直流分量。
结合第三方面和第五种可能的实现方式,在第六种可能的实现方式中,所述原始直流分量单元具体用于根据所述获取单元获取的所述原始图像块中右下角像素点的像素值获取原始直流分量;
或者,
所述原始直流分量单元具体用于根据所述获取单元获取的所述原始图像块中心区域的一个像素点的像素值获取原始直流分量,所述原始图像块中心区域是所述原始图像块中心处边长为2个像素的正方形图像区域。
结合第三方面或第一种至第六种可能的实现方式中的任一种,在第七种可能的实现方式中,所述获取单元具体用于在关闭帧内参考像素滤波器时,根据所述获取单元获取的所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块。
结合第三方面或第一种至第七种可能的实现方式中的任一种,在第八种可能的实现方式中,所述优选单元,具体包括:
率失真子单元,用于根据所述获取单元获取的所述预测图像块计算所述至少一种图像处理模式中与所述预测图像块对应的图像处理模式的率失真代价;
优选子单元,用于根据所述率失真子单元计算的所述率失真代价,将所述获取单元获取的所述至少一种图像处理模式中率失真代价最小的图像处理模式作为优选的图像处理模式。
第四方面,提供一种视频解码装置,包括:
获取单元,用于获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
所述获取单元还用于根据所述获取单元获取的所述图像处理模式,获取预测图像块;
预测直流分量单元,用于根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量;
预测索引值单元,用于根据所述获取单元获取的所述深度查询表和所述直流分量单元获取的所述预测直流分量获得预测索引值。
重建索引值单元,用于将所述获取单元获取的所述索引残差值加所述预测索引值单元获取的所述预测索引值得到重建索引值;
重建直流分量单元,用于根据所述获取单元获取的所述深度查询表和所述重建索引值单元得到的所述重建索引值获得重建像素值,将所述重建像素值作为重建直流分量;
深度残差值单元,用于将所述重建直流分量单元获得的所述重建直流分量减所述预测直流分量得到深度残差值;
重建单元,用于为所述获取单元获取的所述预测图像块的每一个像素点的像素值加上所述深度残差值单元得到的所述深度残差值得到重建图像块,所述重建图像块用于重建所述待重建深度图像。
结合第四方面,在第一种可能的实现方式中,所述预测直流分量单元具体用于根据所述获取单元获取的所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,
所述预测直流分量单元具体用于根据所述获取单元获取的所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
结合第四方面或第一种可能的实现方式,在第二种可能的实现方式中,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为角度模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
结合第四方面或第一种或第二种可能的实现方式,在第三种可能的实现方式中,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为平面模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
结合第四方面或第一种至第三种可能的实现方式中的任一种,在第四种可能的实现方式中,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为直流分量模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
结合第四方面或第一种至第四种可能的实现方式中的任一种,在第五种可能的实现方式中,所述获取单元具体用于在关闭帧内参考像素滤波器时,根据所述获取单元获取的所述图像处理模式,获取预测图像块。
本发明实施例提供的图像处理方法、装置及系统,能通过视频编码装置,获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,根据图像处理模式获取预测图像块,并根据这些获取到的信息得出原始直流分量,结合具体的图像处理模式根据所述预测图像块中一个像素点的像素值获取预测直流分量,根据原始直流分量和预测直流分量进行DLT计算出索引残差值,以便根据索引残差值重建被编码的深度图像。并且,能通过视频解码装置,获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,并结合具体的图像处理模式根据所述预测图像块中一个像素点的像素值获取预测直流分量,之后进行DLT变换,并结合索引残差值和DLT逆变换获取重建图像块,以便最终获得重建图像。因只使用一个像素点的像素值作为直流分量,相对现有技术中使用多个像素点的像素值的平均值作为直流分量而言,提高了直流分量的值完全由有效像素值得出的概率(多个像素点的像素值的平均值作为直流分量时,若平均值为小数则会对数值进行近似处理,会产生更多误差。同时,只有在所有参考像素点的像素值为有效像素值时,使用根据这些像素值得出的直流分量才不会产生DLT引起的变化误差,单个像素值是有效像素值的概率远大于多个像素值均是有效像素的概率),所以减少了SDC的编码过程中DLT产生的变换误差,从而提升了图像处理结果的编码性能。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明的实施例提供的一种图像处理方法的流程示意图;
图2为本发明的实施例提供的一种图像处理模式的示意图;
图3为本发明的实施例提供的一种深度查询表的应用示意图;
图4为本发明的实施例提供的另一种深度查询表的应用示意图;
图5为本发明的又一实施例提供的一种图像处理方法的流程示意图;
图6为本发明的另一实施例提供的一种图像处理方法的流程示意图;
图7为本发明的另一个实施例提供的一种获取预测直流分量的示意图;
图8为本发明的再一个实施例提供的一种图像处理方法的流程示意图;
图9为本发明的实施例提供的一种视频编码装置的结构示意图;
图10为本发明的实施例提供的又一种视频编码装置的结构示意图;
图11为本发明的实施例提供的一种视频解码装置的结构示意图;
图12为本发明的又一个实施例提供的一种视频编码装置的结构示意图;
图13为本发明的又一个实施例提供的一种视频解码装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明实施例提供一种图像处理系统,应用于多媒体领域,具体可以用于对深度图像的编码处理和解码处理。可以应用于在3D-HEVC中对深度图的SDC处理。所述图像处理系统包括能够相互连接进行数据通信的视频编码装置和视频解码装置。
在对深度图像的SDC处理中,视频编码装置需要先选取深度图像的待编码图像块(如原始图像块)和参照图像块(如预测图像块),然后分别获取原始图像块的原始直流分量和预测图像块的预测直流分量,并结合已经建立好的DLT(Depth Lookup Table,深度查询表)对预测直流分量进行变换得到预测索引值,并对和原始直流分量进行变换得到原始索引值,计算出原始索引值和预测索引值之间的索引残差值,并将所述索引残差值编码到编码数据中。
之后,视频解码装置解码所述编码数据得到所述索引残差值,并使用与所述视频编码端装置相同的预测图像块选取模式得到预测图像块,得出预测直流分量,结合DLT得出预测索引值,将所述索引残差值与预测索引值相加得到重建索引值,再结合DLT进行逆变换得到重建直流分量,并用重建直流分量与预测直流分量相减得到深度残差值,将所述深度残差值与预测图像块的每一个像素点的像素值相加得到重建图像块。以上是一个对深度图像进行SDC处理的过程。
其中,SDC是应用在3D-HEVC中的一种残差数据编码方法。SDC可以应用在深度图像的所有帧内预测模式中,帧内预测模式是利用每一帧待处理图像自身对所述待处理图像进行预测编码的图像处理模式,其中包括HEVC帧内预测模式。HEVC帧内预测模式又包括直流分量模式、planar(平面)模式与33种角度模式。使用SDC对深度图像进行图像处理时,将深度图像中每个PU(Prediction Unit,预测单元)作为一个区域,该区域的尺寸总为2N×2N,单位为像素,N为大于1的整数。每个区域(例如预测图像块)在视频编码装置(例如编码器)通过建立DLT(Depth Lookup Table,深度查询表)编码一个索引残差值到编码数据中发送给视频解码装置(例如解码器),视频解码装置再通过DLT将索引残差值转化为深度残差值,最后将深度残差值加到相应区域(例如预测图像块)中每个像素点的像素值上得到重建图像块。
DC(Direct Component,直流分量)是对待处理深度图像进行SDC处理时用于DLT变换的参数,SDC中需要当前深度图像块的原始DC(Original DC)及预测DC(Prediction DC)输入到DLT中得到对应索引值,进而得到索引残差值。深度图像的不同像素值很少。通过建立DLT,可以有效减少编码信号比特数。例如:深度像素值的范围为0-7,其中0、4、7为在原始深度图像中存在的像素值;1、2、3、5、6为在原始深度图像中不存在的像素值,直接编码深度值0、4、7需要7个编码,二进制中需要3位(23=8)编码。通过DLT映射后,只需要编码0、4、7对应的3个编码,此时二进制中只需要2位(22=4)编码,因此DLT可以减少编码比特数。然而,结合DLT进行的变换是不可逆的。由非有效像素获得的直流分量经DLT变换得到索引值后,因在DLT中无直接对应的索引值,所以会产生误差,无法再经逆变换重建出非有效像素值,所以直流分量与原始像素值相同的概率大小,直接影响到对单个图像块的DLT变换过程中误差产生概率的大小,也就影响对整幅图像的DLT变换过程中总误差的大小。
其中,所述视频编码装置可以用于对待处理图像(比如深度图)进行编码处理得到编码数据,所述视频解码装置可以用于所述对待处理图像的编码数据进行解码处理,完成图像重建。
所述视频编码装置可以与所述视频解码装置分处于不同的装置中,也可以处于同一装置中。或者所述视频编码装置可以与所述视频解码装置为同一装置,该装置既能够实现视频编码装置的编码功能,也可以实现所述视频解码装置的解码功能。
参照图1所示,本发明实施例提供一种图像处理方法,应用于多媒体领域,具体可以用于对深度图像的编码处理,可以应用于本发明上述实施例提供的图像处理系统中的视频编码装置,包括以下步骤:
101、获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表。
其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值,所述深度查询表可以是预设的;所述至少一种图像处理模式可以包括平面模式、直流分量模式和角度模式中的一种或多种,所述角度模式包括33种角度模式。所述至少一种图像处理模式也可以包括这35种图像处理模式之外的图像处理模式。例如,所述至少一种图像处理模式,可以包括平面模式、直流分量模式和33种角度模式这35种图像处理模式,也可以只包括33种角度模式。在编码过程中,使用所述至少一种图像处理模式中的每种模式对待编码深度图像进行编码,结合后续步骤选取符合预设规则的图像处理模式。示例性的,参照图2所示,所述角度模式包括33种角度模式。所述原始图像块是边长为2N像素的正方形图像块,N为正偶数。
102、根据所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块。
其中,所述预测图像块是边长为2N个像素的正方形图像块,N为正偶数;每种图像处理模式各自对应的预测图像块是预定的。
可选的,可以在关闭帧内参考像素滤波器时,根据所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块。
这样做的原因是,相对于所述帧内参考像素滤波器功能的状态为开启状态,帧内参考像素滤波器功能的状态为关闭状态时能获得更高的编码增益。
因为预测图像块是通过当前原始图像块的左一列和上一行参考像素预测得到的,所以参考像素的值直接影响着本发明的性能。由DLT建表过程可知,最初映射的深度像素值越接近原始像素值,DLT变换的误差就越小。帧内参考像素滤波器平滑了参考像素的值,会影响使用单个参考像素值作为预测DC的效果(不利于降低DLT变换引起的误差),所以在关闭帧内参考像素滤波器时,能获得更高的增益。
103、根据所述预测图像块中一个像素点的像素值获取预测直流分量。
具体的,可以根据所述预测图像块中右下角像素点的像素值获取预测直流分量;或者,可以根据所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
因使用了单一像素的像素值作为预测直流分量,避免了对像素值平均带来的大概率DLT变换误差,可有效的减少DLT产生的变换误差,从而提升了在生成深度图像的重建图像块时的编码性能。
可选的,在所述图像处理模式为角度模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量;
进一步可选的,在所述图像处理模式为平面模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
更进一步可选的,在所述图像处理模式为直流分量模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
本步骤的更进一步的可选方案相对于本步骤的其他方案,因使更多的图像处理模式使用了单一像素的像素值作为预测直流分量,于是更有效的避免了对像素值平均带来的大概率DLT变换误差,有效的减少对深度图进行SDC图像处理时DLT产生的变换误差,从而提升了图像处理结果的编码性能,是本步骤的最佳可选方案。
另外,在所述图像处理模式为所述平面模式或所述直流分量模式时,还可以将所述预测图像块四个角像素点的像素值的均值作为预测直流分量。
这种另外的可选方案,是结合现有技术的改进方案,也能减少对深度图进行SDC图像处理时DLT产生的变换误差,从而提升了图像处理结果的编码性能,并且因和现有技术结合,利于本发明推广。
这里需要注意的是,本步骤中获取所述预测直流分量的以上的可选方案,均是根据实际需求提前预定的。
104、根据所述深度查询表和所述预测直流分量获得预测索引值。
具体的,可以参照图3所示:假设深度像素值的范围为D0-D7,其中D0、D4、D7为在深度图像中存在的像素值;D1、D2、D3、D5、D6为在原始深度图像中不存在的像素值,此时预设的深度查询表中仅有与像素值D0、D4、D7对应的索引值I0、I1、I2。若预测直流分量的值对应的像素值为D0、D4、D7,则获得像素值为D0、D4、D7时各自对应的索引值I0、I1、I2作为预测直流分量对应的索引值。同时,还可以参照图4所示:若预测直流分量不为D0、D4、D7,是D1、D2、D3、D5、D6,则按照预定规则选择临近像素值的预测索引值作为该预测直流分量对应的预测索引值。
105、根据所述原始图像块获取原始直流分量。
具体的,可以根据所述原始图像块中一个像素点的像素值获取原始直流分量。
更为具体的,可以根据所述原始图像块中右下角像素点的像素值获取原始直流分量;或者,根据所述原始图像块中心区域的一个像素点的像素值获取原始直流分量,所述原始图像块中心区域是所述原始图像块中心处边长为2个像素的正方形图像区域。
这样做的好处,类似于所述步骤103中各相似可选方案的有益效果。在此不再赘述。同时,结合各种可选方案,原始直流分量的获取方式中像素点的选取,可以参照获取所述预测直流分量选取像素点的位置,也可以不参照,如果获取所述原始直流分量参考的像素点位与获取所述预测直流分量参考的像素点位相同,则SDC会有最好的编码性能。
另外,还可以使用其他常用的方法获取所述原始直流分量,这样有利于本发明的实际推广。
这里需要注意的是,本步骤中获取所述原始直流分量的以上的可选方案,均是根据实际需求提前预定的。
106、根据所述深度查询表和所述原始直流分量获得原始索引值。
具体的,可以参照所述步骤104中获取预测索引值的方式来获取原始索引值,只需将预测直流分量替换为原始直流分量,预测索引值替换为原始索引值即可,其他部分相同,在此不再赘述。
107、将所述原始索引值减所述预测索引值得到索引残差值。
具体的,可以依照公式DeltaDC=I(OrigDC)-I(PredDC)得到所述索引残差值,其中,I(OrigDC)为所述原始索引值,I(OrigDC)为所述预测索引值,DeltaDC为所述索引残差值,OrigDC为所述原始直流分量。
108、根据所述预测图像块和预设规则从所述至少一种图像处理模式中选取优选的图像处理模式。
具体的,可以根据所述预测图像块计算所述至少一种图像处理模式中与所述预测图像块对应的图像处理模式的率失真代价;然后,根据所述率失真代价,将所述至少一种图像处理模式中率失真代价最小的图像处理模式作为优选的图像处理模式。
比如,所述至少一种图像处理模式包括所述平面模式、所述直流分量模式和33种角度模式这一共35种图像处理模式,如果经计算,所述直流分量模式带来的率失真代价最小,则此时选择所述直流分量模式作为优选的图像处理模式。
109、对所述优选的图像处理模式、所述优选的图像处理模式对应的索引残差值和所述深度查询表进行编码以得到编码数据。
可选的,还可以发送编码数据,以便根据所述编码数据重建深度图像,所述编码数据包括所述优选的图像处理模式、所述优选的图像处理模式对应的索引残差值和所述深度查询表
本发明实施例提供的图像处理方法,能通过视频编码装置,获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,根据图像处理模式获取预测图像块,并根据这些获取到的信息得出原始直流分量,结合具体的图像处理模式根据所述预测图像块中一个像素点的像素值获取预测直流分量,根据原始直流分量和预测直流分量进行DLT计算出索引残差值,以便根据索引残差值重建被编码的深度图像。因只使用一个像素点的像素值作为直流分量,相对现有技术中使用多个像素点的像素值的平均值作为直流分量而言,提高了直流分量的值完全由有效像素值得出的概率(多个像素点的像素值的平均值作为直流分量时,若平均值为小数则会对数值进行近似处理,会产生更多误差。同时,只有在所有参考像素点的像素值为有效像素值时,使用根据这些像素值得出的直流分量才不会产生DLT引起的变化误差,单个像素值是有效像素值的概率远大于多个像素值均是有效像素的概率),所以减少了SDC的编码过程中DLT产生的变换误差,从而提升了图像处理结果的编码性能。
参照图5所示,本发明实施例提供一种图像处理方法,应用于多媒体领域,具体可以用于对深度图像的图像处理,可以应用于本发明上述实施例提供的图像处理系统中的解码端,包括以下步骤:
501、获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表。
其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值,所述深度查询表可以是预设的;所述图像处理模式可以包括平面模式、直流分量模式和角度模式中的一种,所述角度模式包括33种角度模式。所述图像处理模式也可以是这35种图像处理模式之外的一种图像处理模式。示例性的,参照图2所示,所述角度模式包括33种角度模式。所述原始图像块是边长为2N像素的正方形图像块,N为正偶数。
502、根据所述图像处理模式,获取预测图像块。
其中,所述预测图像块是边长为2N个像素的正方形图像块,N为正偶数;每种图像处理模式各自对应的预测图像块是预定的。
可选的,可以在关闭帧内参考像素滤波器时,根据所述图像处理模式,获取预测图像块。
这样做的原因是,相对于所述帧内参考像素滤波器功能的状态为开启状态,帧内参考像素滤波器功能的状态为关闭状态时能获得更高的编码增益。
因为预测图像块是通过待重建深度图像中待重建图像块的左一列和上一行参考像素预测得到的,所以参考像素的值直接影响着本发明的性能。由DLT建表过程可知,最初映射的深度像素值越接近原始像素值,DLT变换的误差就越小。帧内参考像素滤波器平滑了参考像素的值,会影响使用单个参考像素值作为预测DC的效果(不利于降低DLT变换引起的误差),所以在关闭帧内参考像素滤波器时,能获得更高的增益。
503、根据所述预测图像块中一个像素点的像素值获取预测直流分量。
具体的,可以根据所述预测图像块中右下角像素点的像素值获取预测直流分量;或者,还可以根据所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
因使用了单一像素的像素值作为预测直流分量,避免了对像素值平均带来的大概率DLT变换误差,可有效的减少DLT产生的变换误差,从而提升了在生成深度图像的重建图像块时的编码性能。
可选的,在所述图像处理模式为角度模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量;
进一步可选的,在所述图像处理模式为平面模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
更进一步可选的,在所述图像处理模式为直流分量模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
本步骤的更进一步的可选方案相对于本步骤的其他方案,因使更多的图像处理模式使用了单一像素的像素值作为预测直流分量,于是更有效的避免了对像素值平均带来的大概率DLT变换误差,有效的减少对深度图进行SDC图像处理时DLT产生的变换误差,从而提升了图像处理结果的编码性能,是本步骤的最佳可选方案。
另外,在所述图像处理模式为所述平面模式或所述直流分量模式时,还可以将所述预测图像块四个角像素点的像素值的均值作为预测直流分量。
这种另外的可选方案,是结合现有技术的改进方案,也能减少对深度图进行SDC图像处理时DLT产生的变换误差,从而提升了图像处理结果的编码性能,并且因和现有技术结合,利于本发明推广。
这里需要注意的是,本步骤中获取所述预测直流分量的以上的可选方案,均是提前预定的,与图像处理系统中视频编码装置获取预测直流分量的预设方法相同。
504、根据所述深度查询表和所述预测直流分量获得预测索引值。
具体的,可以参照图3所示:假设深度像素值的范围为D0-D7,其中D0、D4、D7为在深度图像中存在的像素值;D1、D2、D3、D5、D6为在原始深度图像中不存在的像素值,此时预设的深度查询表中仅有与像素值D0、D4、D7对应的索引值I0、I1、I2。若预测直流分量的值对应的像素值为D0、D4、D7,则获得像素值为D0、D4、D7时各自对应的索引值I0、I1、I2作为预测直流分量对应的索引值。同时,还可以参照图4所示:若预测直流分量不为D0、D4、D7,是D1、D2、D3、D5、D6,则按照预定规则选择临近像素值的预测索引值作为该预测直流分量对应的预测索引值。
505、将所述索引残差值加所述预测索引值得到重建索引值。
506、根据所述深度查询表和所述重建索引值获得重建像素值,将所述重建像素值作为重建直流分量。
具体的,可以结合深度查询表,逆向参照所述步骤504中获取预测索引值的方式来逆向获取重建直流分量。即进行DLT逆变换。可以结合图4中所示的双向箭头连线,DLT逆变换时,只能根据重建索引值得到深度查询表中与索引值可以唯一对应的像素值作为重建直流分量。比如直流分量对应的像素值D1经DLT变换为索引值I0,而索引值I0只能逆变换为像素值D0对应的直流分量。
507、将所述重建直流分量减所述预测直流分量得到深度残差值。
具体的,可以参照公式DCOffset0=I-1(I(PredDC)+DeltaDC)-PredDC获取所述深度残差值,其中DCOffset0为所述深度残差值,I(PredDC)为预测索引值,DeltaDC为索引残差值,I-1(I(PredDC)+DeltaDC)为所述重建直流分量(经DLT逆变换),PredDC为所述预测直流分量。
508、为所述预测图像块的每一个像素点的像素值加上所述深度残差值得到重建图像块,所述重建图像块用于重建所述待重建深度图像。
本发明实施例提供的图像处理方法,能通过视频解码装置,获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,并结合具体的图像处理模式根据所述预测图像块中一个像素点的像素值获取预测直流分量,之后进行DLT变换,并结合索引残差值和DLT逆变换获取重建图像块,以便最终获得重建图像。因只使用一个像素点的像素值作为直流分量,相对现有技术中使用多个像素点的像素值的平均值作为直流分量而言,提高了直流分量的值完全由有效像素值得出的概率(多个像素点的像素值的平均值作为直流分量时,若平均值为小数,而像素值不可为小数,则会产生更多误差。同时,只有在所有参考像素点的像素值为有效像素值时,使用根据这些像素值得出的直流分量才不会产生DLT引起的变化误差,单个像素值是有效像素值的概率远大于多个像素值均是有效像素的概率),所以减少了SDC的编码过程中DLT产生的变换误差,从而提升了图像处理结果的编码性能。
在图1所示的实施例的基础上,参照图6所示,本发明实施例提供一种图像处理方法,应用于多媒体领域,具体可以用于对深度图像的图像处理,可以应用于本发明上述实施例提供的图像处理系统中的编码端,包括以下步骤:
601、获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表。
其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值,所述深度查询表可以是预设的;所述至少一种图像处理模式可以包括平面模式、直流分量模式和角度模式中的一种或多种,所述角度模式包括33种角度模式。所述至少一种图像处理模式也可以包括这35种图像处理模式之外的图像处理模式。例如,所述至少一种图像处理模式,可以包括平面模式、直流分量模式和33种角度模式这35种图像处理模式,也可以只包括33种角度模式。在编码过程中,使用所述至少一种图像处理模式中的每种模式对待编码深度图像进行编码,结合后续步骤选取符合预设规则的图像处理模式。示例性的,参照图2所示,所述角度模式包括33种角度模式。所述原始图像块是边长为2N像素的正方形图像块,N为正偶数。
602、在关闭帧内参考像素滤波器时,根据所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块。
其中,所述预测图像块是边长为2N个像素的正方形图像块,N为正偶数;每种图像处理模式各自对应的预测图像块是预定的。
这样做的原因是,相对于所述帧内参考像素滤波器功能的状态为开启状态,帧内参考像素滤波器功能的状态为关闭状态时能获得更高的编码增益。
因为预测图像块是通过当前原始图像块的左一列和上一行参考像素预测得到的,所以参考像素的值直接影响着本发明的性能。由DLT建表过程可知,最初映射的深度像素值越接近原始像素值,DLT变换的误差就越小。帧内参考像素滤波器平滑了参考像素的值,会影响使用单个参考像素值作为预测DC的效果(不利于降低DLT变换引起的误差),所以在关闭帧内参考像素滤波器时,能获得更高的增益。
603、根据所述预测图像块中右下角像素点的像素值获取预测直流分量;
具体的,可以参照图7所示,根据第一预测等式PredDC=PW-1,W-1获取预测直流分量,其中,PredDC为所述预测直流分量,PW-1,W-1为所述预测图像块中右下角像素点的像素值,W为所述预测图像块的边长数值。
或者,可选的,可以根据所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
具体的,可以参照图7所示,根据第二预测等式PredDC=P(W-1)>>1,(W-1)>>1获取预测直流分量,其中,PredDC为所述预测直流分量,P(W-1)>>1,(W-1)>>1为所述预测图像块中心区域的左上角像素点的像素值,W为所述预测图像块的边长数值;
或者,根据第三预测等式PredDC=P(W-1)>>1,W>>1获取预测直流分量,其中,PredDC为所述预测直流分量,P(W-1)>>1,W>>1为所述预测图像块中心区域的左下角像素点的像素值,W为所述预测图像块的边长数值;
或者,根据第四预测等式PredDC=PW>>1,(W-1)>>1获取预测直流分量,其中,PredDC为所述预测直流分量,PW>>1,(W-1)>>1为所述预测图像块中心区域的右上角像素点的像素值,W为所述预测图像块的边长数值;
或者,根据第五预测等式PredDC=PW>>1,W>>1获取预测直流分量,其中,PredDC为所述预测直流分量,PW>>1,W>>1为所述预测图像块中心区域的右下角像素点的像素值,W为所述预测图像块的边长数值。
因使用了单一像素的像素值作为预测直流分量,避免了对像素值平均带来的大概率DLT变换误差,可有效的减少DLT产生的变换误差,从而提升了在生成深度图像的重建图像块时的编码性能。
另外,在所述图像处理模式为所述平面模式或所述直流分量模式时,还可以将所述预测图像块四个角像素点的像素值的均值作为预测直流分量。具体的,在所述图像处理模式为所述平面模式或所述直流分量模式时,可以参照如下公式Pred DC=(P0,0+P(W-1),0+P0,(W-1)+P(W-1),(W-1)+2)>>2,获得预测直流分量,其中,Pred DC是预测直流分量,P0,0为左上角像素点的像素值,P(W-1),0为右上角像素点的像素值,P0,(W-1)为左下角像素点的像素值,P(W-1),(W-1)为右下角像素点的像素值,>>2表示计算机计算中的位移操作,是向右位移2位,因为计算机计算普遍使用的时二进制计算方式,所以向右位移2位相当于将Pred DC除以2的2次方,即除以4,此时因选取了4个像素点,这样的计算就相当于对4个像素点的像素值求均值。
这种另外的可选方案,是结合现有技术的改进方案,也能减少对深度图进行SDC图像处理时DLT产生的变换误差,从而提升了图像处理结果的编码性能,并且因和现有技术结合,利于本发明推广。
因为右下角像素值在33种角度模式中可以有33个不同位置的参考像素,中心点像素可以有16-17个不同位置的参考像素,这些位置的预测值的参考像素值的位置范围较广,在VSO进行RDO选择时就能选择到优选的模式(例如根据率失真代价进行对各图像处理模式的选择)。同时,单个像素值存在于原始深度图像中的可能性比均值存在于原始深度图像中的可能性要大很多,因此在DLT变换与反变换后引起的误差也就会小的多。
这里需要注意的是,本步骤中获取所述预测直流分量的以上的可选方案,均是根据实际需求提前预定的。
604、根据所述深度查询表和所述预测直流分量获得预测索引值。
具体的,可以参照图3所示:假设深度像素值的范围为D0-D7,其中D0、D4、D7为在深度图像中存在的像素值;D1、D2、D3、D5、D6为在原始深度图像中不存在的像素值,此时预设的深度查询表中仅有与像素值D0、D4、D7对应的索引值I0、I1、I2。若预测直流分量的值对应的像素值为D0、D4、D7,则获得像素值为D0、D4、D7时各自对应的索引值I0、I1、I2作为预测直流分量对应的索引值。同时,还可以参照图4所示:若预测直流分量不为D0、D4、D7,是D1、D2、D3、D5、D6,则按照预定规则选择临近像素值的预测索引值作为该预测直流分量对应的预测索引值。
605、根据所述原始图像块中右下角像素点的像素值获取原始直流分量。
具体的,根据第一原始等式Orig DC=PW-1,W-1获取原始直流分量,其中,OrigDC为所述原始直流分量,PW-1,W-1为所述原始图像块中右下角像素点的像素值,W为所述原始图像块的边长数值。
或者,可选的,结合所述步骤603具体选择的方案,本步骤还可以根据所述原始图像块中心区域的一个像素点的像素值获取原始直流分量,所述原始图像块中心区域是所述原始图像块中心处边长为2个像素的正方形图像区域。
具体的,根据第二原始等式OrigDC=P(W-1)>>1,(W-1)>>1获取原始直流分量,其中,OrigDC为所述原始直流分量,P(W-1)>>1,(W-1)>>1为所述原始图像块中心区域的左上角像素点的像素值,W为所述原始图像块的边长数值;
或者,根据第三原始等式OrigDC=P(W-1)>>1,W>>1获取原始直流分量,其中,OrigDC为所述原始直流分量,P(W-1)>>1,W>>1为所述原始图像块中心区域的左下角像素点的像素值,W为所述原始图像块的边长数值;
或者,根据第四原始等式OrigDC=PW>>1,(W-1)>>1获取原始直流分量,其中,OrigDC为所述原始直流分量,PW>>1,(W-1)>>1为所述原始图像块中心区域的右上角像素点的像素值,W为所述原始图像块的边长数值;
或者,根据第五原始等式OrigDC=PW>>1,W>>1获取原始直流分量,其中,OrigDC为所述原始直流分量,PW>>1,W>>1为所述原始图像块中心区域的右下角像素点的像素值,W为所述原始图像块的边长数值。
这样做的好处,类似于所述步骤103中各相似可选方案的有益效果。在此不再赘述。同时,结合各种可选方案,原始直流分量的获取方式中像素点的选取,可以参照获取所述预测直流分量选取像素点的位置,也可以不参照,如果获取所述原始直流分量参考的像素点位与获取所述预测直流分量参考的像素点位相同,则SDC会有最好的编码性能。
另外,还可以使用其他常用的方法获取所述原始直流分量,这样有利于本发明的实际推广。
比如,如果所述原始图像块尺寸为64×64或者32×32(单位是像素),则先对原始块进行2:1的下采样,再将下采样块的所有像素值的均值作为原始直流分量,即如果所述原始图像块尺寸小于32×32,则直接将原始块的所有像素值的均值作为原始直流分量,即此种可选方案可作为一种默认的可选方案,图像处理效果并非优选,但是最常用,对现有技术的改动最小,最利于推广。
这里需要注意的是,本步骤中获取所述原始直流分量的以上的可选方案,均是根据实际需求提前预定的。
606、根据所述深度查询表和所述原始直流分量获得原始索引值。
具体的,可以参照步骤604中获得预测索引值的方式获取原始索引值,只需将预测直流分量替换为原始直流分量,预测索引值替换为原始索引值即可,其他部分相同,在此不再赘述。
607、将所述原始索引值减所述预测索引值得到索引残差值。
具体的,可以依照公式DeltaDC=I(OrigDC)-I(PredDC)得到所述索引残差值,其中,I(OrigDC)为所述原始索引值,I(OrigDC)为所述预测索引值,DeltaDC为所述索引残差值,OrigDC为所述原始直流分量。
608、根据所述预测图像块和预设规则从所述至少一种图像处理模式中选取优选的图像处理模式。
具体的,可以根据所述预测图像块计算所述至少一种图像处理模式中与所述预测图像块对应的图像处理模式的率失真代价;然后,根据所述率失真代价,将所述至少一种图像处理模式中率失真代价最小的图像处理模式作为优选的图像处理模式。
比如,所述至少一种图像处理模式包括所述平面模式、所述直流分量模式和33种角度模式这一共35种图像处理模式,如果经计算,所述直流分量模式带来的率失真代价最小,则此时选择所述直流分量模式作为优选的图像处理模式。
609、对所述优选的图像处理模式、所述优选的图像处理模式对应的索引残差值和所述深度查询表进行编码以得到编码数据。
可选的,还可以发送编码数据,以便根据所述编码数据重建深度图像,所述编码数据包括所述优选的图像处理模式、所述优选的图像处理模式对应的索引残差值和所述深度查询表。
本发明实施例提供的图像处理方法,能通过视频编码装置,获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,根据图像处理模式获取预测图像块,结合具体的图像处理模式根据所述预测图像块右下角像素点的像素值获取预测直流分量,并根据原始图像块右下角像素点的像素值得出原始直流分量,根据原始直流分量和预测直流分量进行DLT计算出索引残差值,以便根据索引残差值重建被编码的深度图像。因右下角像素点在33种角度模式中可更大的提高直流分量的值完全由有效像素值得出的概率,所以减少了SDC的编码过程中DLT产生的变换误差,能在VSO进行RDO选择时选择到更合适的编码结果,从而提升了图像处理结果的编码性能。
在图5所示的实施例的基础上,参照图8所示,本发明实施例提供一种图像处理方法,应用于多媒体领域,具体可以用于对深度图像的图像处理,可以应用于本发明上述实施例提供的图像处理系统中的解码端,包括以下步骤:
801、获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表。
其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值,所述深度查询表可以是预设的;所述图像处理模式可以包括平面模式、直流分量模式和角度模式中的一种,所述角度模式包括33种角度模式。所述图像处理模式也可以是这35种图像处理模式之外的一种图像处理模式。示例性的,参照图2所示,所述角度模式包括33种角度模式。所述原始图像块是边长为2N像素的正方形图像块,N为正偶数。
802、在关闭帧内参考像素滤波器时,根据所述图像处理模式,获取预测图像块。
其中,所述预测图像块是边长为2N个像素的正方形图像块,N为正偶数;每种图像处理模式各自对应的预测图像块是预定的。
这样做的原因是,相对于所述帧内参考像素滤波器功能的状态为开启状态,帧内参考像素滤波器功能的状态为关闭状态时能获得更高的编码增益。
因为预测图像块是通过待重建深度图像中待重建图像块的左一列和上一行参考像素预测得到的,所以参考像素的值直接影响着本发明的性能。由DLT建表过程可知,最初映射的深度像素值越接近原始像素值,DLT变换的误差就越小。帧内参考像素滤波器平滑了参考像素的值,会影响使用单个参考像素值作为预测DC的效果(不利于降低DLT变换引起的误差),所以在关闭帧内参考像素滤波器时,能获得更高的增益。
803、根据所述预测图像块中右下角像素点的像素值获取预测直流分量;
具体的,可以参照图7所示,根据第一预测等式PredDC=PW-1,W-1获取预测直流分量,其中,PredDC为所述预测直流分量,PW-1,W-1为所述预测图像块中右下角像素点的像素值,W为所述预测图像块的边长数值。
或者,可选的,还可以根据所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
具体的,可以参照图7所示,根据第二预测等式PredDC=P(W-1)>>1,(W-1)>>1获取预测直流分量,其中,PredDC为所述预测直流分量,P(W-1)>>1,(W-1)>>1为所述预测图像块中心区域的左上角像素点的像素值,W为所述预测图像块的边长数值;
或者,根据第三预测等式PredDC=P(W-1)>>1,W>>1获取预测直流分量,其中,PredDC为所述预测直流分量,P(W-1)>>1,W>>1为所述预测图像块中心区域的左下角像素点的像素值,W为所述预测图像块的边长数值;
或者,根据第四预测等式PredDC=PW>>1,(W-1)>>1获取预测直流分量,其中,PredDC为所述预测直流分量,PW>>1,(W-1)>>1为所述预测图像块中心区域的右上角像素点的像素值,W为所述预测图像块的边长数值;
或者,根据第五预测等式PredDC=PW>>1,W>>1获取预测直流分量,其中,PredDC为所述预测直流分量,PW>>1,W>>1为所述预测图像块中心区域的右下角像素点的像素值,W为所述预测图像块的边长数值。
因使用了单一像素的像素值作为预测直流分量,避免了对像素值平均带来的大概率DLT变换误差,可有效的减少DLT产生的变换误差,从而提升了在生成深度图像的重建图像块时的编码性能。
另外,在所述图像处理模式为所述平面模式或所述直流分量模式时,还可以将所述预测图像块四个角像素点的像素值的均值作为预测直流分量。具体的,在所述图像处理模式为所述平面模式或所述直流分量模式时,可以参照如下公式Pred DC=(P0,0+P(W-1),0+P0,(W-1)+P(W-1),(W-1)+2)>>2,获得预测直流分量,其中,Pred DC是预测直流分量,P0,0为左上角像素点的像素值,P(W-1),0为右上角像素点的像素值,P0,(W-1)为左下角像素点的像素值,P(W-1),(W-1)为右下角像素点的像素值,>>2表示计算机计算中的位移操作,是向右位移2位,因为计算机计算普遍使用的时二进制计算方式,所以向右位移2位相当于将PredDC除以2的2次方,即除以4,此时因选取了4个像素点,这样的计算就相当于对4个像素点的像素值求均值。
这种另外的可选方案,是结合现有技术的改进方案,也能减少对深度图进行SDC图像处理时DLT产生的变换误差,从而提升了图像处理结果的编码性能,并且因和现有技术结合,利于本发明推广。
这些具体可选方案带来的好处是,右下角像素值在33种角度模式中可以有33个不同位置的参考像素,中心点像素可以有16-17个不同位置的参考像素,这些位置的预测值的参考像素值的位置范围较广,在VSO(View Synthesis Optimization,视点合成优化)进行RDO(Rate Distortion Optimization,率失真优化)选择时就能选择到优选的模式(例如根据率失真代价进行对各图像处理模式的选择)。同时,单个像素值存在于原始深度图像中的可能性比均值存在于原始深度图像中的可能性要大很多,因此在DLT变换与反变换后引起的误差也就会小的多。
这里需要注意的是,本步骤中获取所述预测直流分量的以上的可选方案,均是提前预定的,与图像处理系统中视频编码装置获取预测直流分量的预设方法相同。
804、根据所述深度查询表和所述预测直流分量获得预测索引值。
具体的,可以参照图3所示:假设深度像素值的范围为D0-D7,其中D0、D4、D7为在深度图像中存在的像素值;D1、D2、D3、D5、D6为在原始深度图像中不存在的像素值,此时预设的深度查询表中仅有与像素值D0、D4、D7对应的索引值I0、I1、I2。若预测直流分量的值对应的像素值为D0、D4、D7,则获得像素值为D0、D4、D7时各自对应的索引值I0、I1、I2作为预测直流分量对应的索引值。同时,还可以参照图4所示:若预测直流分量不为D0、D4、D7,是D1、D2、D3、D5、D6,则按照预定规则选择临近像素值的预测索引值作为该预测直流分量对应的预测索引值。
805、将所述索引残差值加所述预测索引值得到重建索引值。
806、根据所述深度查询表和所述重建索引值获得重建像素值,将所述重建像素值作为重建直流分量。
具体的,可以结合深度查询表,逆向参照所述步骤804中获取预测索引值的方式来逆向获取重建直流分量。即进行DLT逆变换。可以结合图4中所示的双向箭头连线,DLT逆变换时,只能根据重建索引值得到深度查询表中与索引值可以唯一对应的像素值作为重建直流分量。比如直流分量对应的像素值D1经DLT变换为索引值I0,而索引值I0只能逆变换为像素值D0对应的直流分量。
807、将所述重建直流分量减所述预测直流分量得到深度残差值。
具体的,可以参照公式DCOffset0=I-1(I(PredDC)+DeltaDC)-PredDC获取所述深度残差值,其中DCOffset0为所述深度残差值,I(PredDC)为预测索引值,DeltaDC为索引残差值,I-1(I(PredDC)+DeltaDC)为所述重建直流分量(经DLT逆变换),PredDC为所述预测直流分量。
808、为所述预测图像块的每一个像素点的像素值加上所述深度残差值得到重建图像块,所述重建图像块用于重建所述待重建深度图像。
本发明实施例提供的图像处理方法,能通过视频解码装置,获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,并结合具体的图像处理模式根据所述预测图像块中一个像素点的像素值获取预测直流分量,之后进行DLT变换,并结合索引残差值和DLT逆变换获取重建图像块,以便最终获得重建图像。因右下角像素点在33种角度模式中可更大的提高直流分量的值完全由有效像素值得出的概率,所以减少了SDC的编码过程中DLT产生的变换误差,能在VSO进行RDO选择时选择到更合适的编码结果,从而提升了图像处理结果的编码性能。
针对本发明以上各实施例提供的图像处理方法,为了更直观的说明本发明实施例获得的编码增益,以展现带来的编码性能提升,下面提供表1.1、表1.2、表2.1和表2.2、表3和表4用来说明所述步骤803中各种可替代方案带来的有益效果,表中左列是进行测试使用的测试视频的名称,这些视频是国际公认的标准测试视频:
表1.1、角度模式的预测图像块中心区域左下角像素值作为预测DC
表1.2、角度模式的预测图像块右下角像素值作为预测DC
表1.1与1.2中展示了AI(All Intra,全部为帧内模式)2帧下将本发明只应用在深度图的33种角度模式中的测试结果,其中,表1.1表明的方案是采用预测块的中心块内左下角像素值作为预测DC,带来的平均编码增益是0.10%;表1.2表明的方案是采用预测块的右下角像素值作为预测DC,带来的平均编码增益是0.08%。
表2.1、DC模式与角度模式的预测图像块中心区域左下角像素值作为预测DC的结果
表2.2、planar模式与角度模式的预测图像块内右下角像素值作为预测DC的结果
本发明对角度模式最有效,但是因为单个像素值预测会减少DLT变换的误差,所以在表1.1与表1.2应用情形的基础上,再扩大本发明的应用模式到DC模式与planar模式也会带来一定的增益。表2.1和表2.2展示了AI2帧下的测试结果,其中,表2.1表示深度图的DC模式与角度模式采用中心区域内左下角像素作预测DC,planar模式采用4个角像素均值作预测DC的结果,带来的平均编码增益是0.15%;表2.2表示深度图的planar模式与角度模式采用预测块内右下角像素作预测的DC,DC模式采用4个角像素均值作预测DC的结果,带来的平均编码增益是0.11%。
结合本发明实施例的步骤803和之前实施例的步骤603、步骤605,下面提供表3和表4用来说明这三个步骤中各种可替代方案的组合带来的有益效果:
表3、所有HEVC帧内SDC模式的原始DC与预测DC都采用图像块右下角像素点的像素值
对于深度图的所有HEVC帧内模式SDC的原始DC与预测DC的计算都采用本发明技术,原始DC与预测DC都采用一个像素值作为DC,会比单独在预测DC中应用本发明带来更多的增益。表3展示了该方案AI2帧下的测试结果,对于深度图像的所有HEVC帧内SDC模式,原始DC与预测DC都采用右下角位置的像素值,此时的平均编码增益是0.29%。
表4、表3的设定条件下,关闭帧内参考像素滤波器功能
其中,表4展示了关闭帧内参考像素滤波器功能后再获取预测DC时表3设定条件下的实验结果,此时的平均编码增益是0.31%,表4所展示的技术方案为本发明的优选技术方案。
上述各表能展示二维视频编码时只需要编码一个视点的彩色视频;三维视频则需要分别编码多个视点的彩色及深度视频,不同视点的视频才能让观看者产生立体感受。不同视点的视频就相当于从不同方向看到的同一个场景的画面。深度视频反映场景的距离信息,不是用来直接观看的,而用来辅助彩色视频合成其他视点视频的。所以不会直接检验深度图像的编码质量,而是通过合成视点的质量来评价深度图像与彩色视频的编码质量。在国际标准测试视频中,同时编码传输三个视点的彩色与深度视频,再通过深度视频与彩色视频合成任意视点的视频,通过合成视频质量的好坏来衡量整体编码性能。表1.1与1.2中的video0、video1、video2分别表示三个不同视点的彩色视频,对应的实验数据表示对原始视频中的原始图像进行编码处理,再解码处理后得到的重建图像组成的重建视频与原始视频的PSNR(Peak Signal to Noise Ratio,峰值信噪比)。video只表示彩色视频,total表示彩色加上深度视频。video PSNR/video bitrate表示彩色视频的PSNR与彩色视频的比特数的比值;video PSNR/total bitrate表示彩色视频的PSNR与彩色视频与深度视频的比特数和的比值;synth PSNR/total bitrate表示合成视频的PSNR与彩色视频与深度视频的比特数和的比值,这个数值最能反映编码性能的好坏。
由上可知,本发明实施例提供的图像处理方法,在视频解码装置对编码数据的解码过程中,对任意所述图像处理模式,能根据所述预测图像块中一个像素点的像素值获取预测直流分量,且所述解码端使用的预测直流分量具体获取方式与所述编码端相同,这样就能减少解码过程中DLT产生的变换误差,从而提升了在生成深度图像的重建图像块时的编码性能。
参照图9所示,本发明实施例提供一种视频编码装置,应用于多媒体领域,具体可以用于对深度图像的图像处理,可以应用于本发明的实施例提供的图像处理系统,可以结合本发明的上述实施例为图像处理系统中视频编码装置提供的图像处理方法进行使用,包括以下结构:
获取单元901,用于获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
所述获取单元901还用于根据所述获取单元901获取的所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块;
预测直流分量单元902,用于根据所述获取单元901获取的所述预测图像块中一个像素点的像素值获取预测直流分量;
预测索引值单元903,用于根据所述获取单元901获取的所述深度查询表和所述直流分量单元获取的所述预测直流分量获得预测索引值。
原始直流分量单元904,用于根据所述获取单元901获取的所述原始图像块获取原始直流分量;
原始索引值单元905,用于根据所述获取单元901获取的所述深度查询表和所述原始直流分量单元904获取的所述原始直流分量获得原始索引值;
索引残差值单元906,用于将所述原始索引值单元905获取的所述原始索引值减所述预测索引值单元903获取的所述预测索引值得到索引残差值;
优选单元907,用于根据所述获取单元901获取的所述预测图像块和预设规则从所述至少一种图像处理模式中选取优选的图像处理模式;
编码单元908,用于对所述优选单元907选取的所述优选的图像处理模式、所述索引残差值单元906获取的所述优选的图像处理模式对应的索引残差值和所述获取单元901获取的所述深度查询表进行编码以得到编码数据。
所述视频编码装置还可以向外发送所述编码数据,以便其他装置根据所述编码数据生成重建深度图像。
可选的,所述预测直流分量单元902具体用于根据所述获取单元901获取的所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,所述预测直流分量单元902具体用于根据所述获取单元901获取的所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
可选的,所述预测直流分量单元902,还用于在所述获取单元901获取的所述图像处理模式为角度模式时,根据所述获取单元901获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述预测直流分量单元902,还用于在所述获取单元901获取的所述图像处理模式为平面模式时,根据所述获取单元901获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述预测直流分量单元902,还用于在所述获取单元901获取的所述图像处理模式为直流分量模式时,根据所述获取单元901获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述原始直流分量单元904具体用于根据所述获取单元901获取的所述原始图像块中一个像素点的像素值获取原始直流分量。
可选的,所述原始直流分量单元904具体用于根据所述获取单元901获取的所述原始图像块中右下角像素点的像素值获取原始直流分量;
或者,所述原始直流分量单元904具体用于根据所述获取单元901获取的所述原始图像块中心区域的一个像素点的像素值获取原始直流分量,所述原始图像块中心区域是所述原始图像块中心处边长为2个像素的正方形图像区域。
可选的,所述获取单元901具体用于在关闭帧内参考像素滤波器时,根据所述获取单元901获取的所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块。
可选的,参照图10所示,所述优选单元907,具体包括:
率失真子单元9071,用于根据所述获取单元901获取的所述预测图像块计算所述至少一种图像处理模式中与所述预测图像块对应的图像处理模式的率失真代价;
优选子单元9072,用于根据所述率失真子单元9071计算的所述率失真代价,将所述获取单元901获取的所述至少一种图像处理模式中率失真代价最小的图像处理模式作为优选的图像处理模式。
本发明实施例提供的视频编码装置,能获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,根据图像处理模式获取预测图像块,结合具体的图像处理模式根据所述预测图像块右下角像素点的像素值获取预测直流分量,并根据原始图像块右下角像素点的像素值得出原始直流分量,根据原始直流分量和预测直流分量进行DLT计算出索引残差值,以便根据索引残差值重建被编码的深度图像。因右下角像素点在33种角度模式中可更大的提高参考像素值和索引值的契合度,所以减少了SDC的编码过程中DLT产生的变换误差,能在VSO进行RDO选择时选择到更合适的编码结果,从而提升了图像处理结果的编码性能。
参照图11所示,本发明实施例提供一种视频解码装置,应用于多媒体领域,具体可以用于对深度图像的图像处理,可以应用于本发明的实施例提供的图像处理系统,可以结合本发明的上述实施例为图像处理系统中视频解码装置提供的图像处理方法进行使用,包括以下结构:
获取单元1101,用于获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
所述获取单元1101还用于根据所述获取单元1101获取的所述图像处理模式,获取预测图像块;
预测直流分量单元1102,用于根据所述获取单元1101获取的所述预测图像块中一个像素点的像素值获取预测直流分量;
预测索引值单元1103,用于根据所述获取单元1101获取的所述深度查询表和所述直流分量单元获取的所述预测直流分量获得预测索引值。
重建索引值单元1104,用于将所述获取单元1101获取的所述索引残差值加所述预测索引值单元1103获取的所述预测索引值得到重建索引值;
重建直流分量单元1105,用于根据所述获取单元1101获取的所述深度查询表和所述重建索引值单元1104得到的所述重建索引值获得重建像素值,将所述重建像素值作为重建直流分量;
深度残差值单元1106,用于将所述重建直流分量单元1105获得的所述重建直流分量减所述预测直流分量得到深度残差值;
重建单元1107,用于为所述获取单元1101获取的所述预测图像块的每一个像素点的像素值加上所述深度残差值单元1106得到的所述深度残差值得到重建图像块,所述重建图像块用于重建所述待重建深度图像。
可选的,所述预测直流分量单元1102具体用于根据所述获取单元1101获取的所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,所述预测直流分量单元1102具体用于根据所述获取单元1101获取的所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
可选的,所述预测直流分量单元1102,还用于在所述获取单元1101获取的所述图像处理模式为角度模式时,根据所述获取单元1101获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述预测直流分量单元1102,还用于在所述获取单元1101获取的所述图像处理模式为平面模式时,根据所述获取单元1101获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述预测直流分量单元1102,还用于在所述获取单元1101获取的所述图像处理模式为直流分量模式时,根据所述获取单元1101获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述获取单元1101具体用于在关闭帧内参考像素滤波器时,根据所述获取单元1101获取的所述图像处理模式,获取预测图像块。
本发明实施例提供的视频解码装置,能获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,并结合具体的图像处理模式根据所述预测图像块中一个像素点的像素值获取预测直流分量,之后进行DLT变换,并结合索引残差值和DLT逆变换获取重建图像块,以便最终获得重建图像。因右下角像素点在33种角度模式中可更大的提高直流分量的值完全由有效像素值得出的概率,所以减少了SDC的编码过程中DLT产生的变换误差,能在VSO进行RDO选择时选择到更合适的编码结果,从而提升了图像处理结果的编码性能。
本发明的实施例提供一种视频编码装置,应用于多媒体领域,具体可以用于对深度图像的图像处理,可以应用于本发明的实施例提供的图像处理系统,可以结合本发明的上述实施例为图像处理系统中视频编码装置提供的图像处理方法进行使用,参照图12所示,该视频编码装置可以嵌入或本身就是微处理计算机,比如:通用计算机、客户定制机、手机终端或平板机等便携设备,该视频编码装置12001包括:至少一个数据端口12011、处理器12012、存储器12013和总线12014,该至少一个数据端口12011、处理器12012和存储器12013通过总线12014连接并完成相互间的通信。
该总线12014可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(Peripheral Component,外部设备互连)总线或EISA(Extended Industry Standard Architecture,扩展工业标准体系结构)总线等。该总线12014可以分为地址总线、数据总线、控制总线等。为便于表示,图12中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。其中:
存储器12013用于存储可执行程序代码,该程序代码包括计算机操作指令。存储器12013可能包括高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器12012可能是一个中央处理器(Central ProcessingUnit,简称为CPU),或者是特定集成电路(Application SpecificIntegrated Circuit,简称为ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。
其中,所述数据端口12011,用于获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
所述数据端口12011还用于根据所述数据端口12011获取的所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块;
所述处理器12012,用于根据所述数据端口12011获取的所述预测图像块中一个像素点的像素值获取预测直流分量;
所述处理器12012,用于根据所述数据端口12011获取的所述深度查询表和所述直流分量单元获取的所述预测直流分量获得预测索引值。
所述处理器12012,用于根据所述数据端口12011获取的所述原始图像块获取原始直流分量;
所述处理器12012,用于根据所述数据端口12011获取的所述深度查询表和所述处理器12012获取的所述原始直流分量获得原始索引值;
所述处理器12012,用于将所述处理器12012获取的所述原始索引值减所述处理器12012获取的所述预测索引值得到索引残差值;
所述处理器12012,用于根据所述数据端口12011获取的所述预测图像块和预设规则从所述至少一种图像处理模式中选取优选的图像处理模式;
所述处理器12012,用于对所述处理器12012选取的所述优选的图像处理模式、所述处理器12012获取的所述优选的图像处理模式对应的索引残差值和所述数据端口12011获取的所述深度查询表进行编码以得到编码数据。
所述视频编码装置还可以向外发送所述编码数据,以便其他装置根据所述编码数据生成重建深度图像。具体可以由所述数据端口12011执行发送所述编码数据的功能。
可选的,所述处理器12012具体用于根据所述数据端口12011获取的所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,所述处理器12012具体用于根据所述数据端口12011获取的所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
可选的,所述处理器12012,还用于在所述数据端口12011获取的所述图像处理模式为角度模式时,根据所述数据端口12011获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述处理器12012,还用于在所述数据端口12011获取的所述图像处理模式为平面模式时,根据所述数据端口12011获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述处理器12012,还用于在所述数据端口12011获取的所述图像处理模式为直流分量模式时,根据所述数据端口12011获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述处理器12012具体用于根据所述数据端口12011获取的所述原始图像块中一个像素点的像素值获取原始直流分量。
可选的,所述处理器12012具体用于根据所述数据端口12011获取的所述原始图像块中右下角像素点的像素值获取原始直流分量;
或者,所述处理器12012具体用于根据所述数据端口12011获取的所述原始图像块中心区域的一个像素点的像素值获取原始直流分量,所述原始图像块中心区域是所述原始图像块中心处边长为2个像素的正方形图像区域。
可选的,所述数据端口12011具体用于在关闭帧内参考像素滤波器时,根据所述数据端口12011获取的所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块。
可选的,所述处理器12012,具体用于根据所述数据端口12011获取的所述预测图像块计算所述至少一种图像处理模式中与所述预测图像块对应的图像处理模式的率失真代价;
所述处理器12012,用于根据所述处理器12012计算的所述率失真代价,将所述数据端口12011获取的所述至少一种图像处理模式中率失真代价最小的图像处理模式作为优选的图像处理模式。
本发明实施例提供的视频编码装置,能获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,根据图像处理模式获取预测图像块,结合具体的图像处理模式根据所述预测图像块右下角像素点的像素值获取预测直流分量,并根据原始图像块右下角像素点的像素值得出原始直流分量,根据原始直流分量和预测直流分量进行DLT计算出索引残差值,以便根据索引残差值重建被编码的深度图像。因右下角像素点在33种角度模式中可更大的提高直流分量的值完全由有效像素值得出的概率,所以减少了SDC的编码过程中DLT产生的变换误差,能在VSO进行RDO选择时选择到更合适的编码结果,从而提升了图像处理结果的编码性能。
本发明的实施例提供一种视频解码装置,应用于多媒体领域,具体可以用于对深度图像的图像处理,可以应用于本发明的实施例提供的图像处理系统,可以结合本发明的上述实施例为图像处理系统中视频解码装置提供的图像处理方法进行使用,参照图13所示,该视频解码装置可以嵌入或本身就是微处理计算机,比如:通用计算机、客户定制机、手机终端或平板机等便携设备,该视频解码装置13001包括:至少一个数据端口13011、处理器13012、存储器13013和总线13014,该至少一个数据端口13011、处理器13012和存储器13013通过总线13014连接并完成相互间的通信。
该总线13014可以是ISA(Industry Standard Architecture,工业标准体系结构)总线、PCI(Peripheral Component,外部设备互连)总线或EISA(Extended Industry Standard Architecture,扩展工业标准体系结构)总线等。该总线13014可以分为地址总线、数据总线、控制总线等。为便于表示,图13中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。其中:
存储器13013用于存储可执行程序代码,该程序代码包括计算机操作指令。存储器13013可能包括高速RAM存储器,也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
处理器13012可能是一个中央处理器(Central ProcessingUnit,简称为CPU),或者是特定集成电路(Application SpecificIntegrated Circuit,简称为ASIC),或者是被配置成实施本发明实施例的一个或多个集成电路。
其中,所述数据端口13011,用于获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
所述数据端口13011还用于根据所述数据端口13011获取的所述图像处理模式,获取预测图像块;
所述处理器13012,用于根据所述数据端口13011获取的所述预测图像块中一个像素点的像素值获取预测直流分量;
所述处理器13012,用于根据所述数据端口13011获取的所述深度查询表和所述直流分量单元获取的所述预测直流分量获得预测索引值。
所述处理器13012,用于将所述数据端口13011获取的所述索引残差值加所述处理器13012获取的所述预测索引值得到重建索引值;
所述处理器13012,用于根据所述数据端口13011获取的所述深度查询表和所述处理器13012得到的所述重建索引值获得重建像素值,将所述重建像素值作为重建直流分量;
所述处理器13012,用于将所述处理器13012获得的所述重建直流分量减所述预测直流分量得到深度残差值;
所述处理器13012,用于为所述数据端口13011获取的所述预测图像块的每一个像素点的像素值加上所述处理器13012得到的所述深度残差值得到重建图像块,所述重建图像块用于重建所述待重建深度图像。
可选的,所述处理器13012具体用于根据所述数据端口13011获取的所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,所述处理器13012具体用于根据所述数据端口13011获取的所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
可选的,所述处理器13012,还用于在所述数据端口13011获取的所述图像处理模式为角度模式时,根据所述数据端口13011获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述处理器13012,还用于在所述数据端口13011获取的所述图像处理模式为平面模式时,根据所述数据端口13011获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述处理器13012,还用于在所述数据端口13011获取的所述图像处理模式为直流分量模式时,根据所述数据端口13011获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
可选的,所述数据端口13011具体用于在关闭帧内参考像素滤波器时,根据所述数据端口13011获取的所述图像处理模式,获取预测图像块。
本发明实施例提供的视频解码装置,能获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,并结合具体的图像处理模式根据所述预测图像块中一个像素点的像素值获取预测直流分量,之后进行DLT变换,并结合索引残差值和DLT逆变换获取重建图像块,以便最终获得重建图像。因右下角像素点在33种角度模式中可更大的提高直流分量的值完全由有效像素值得出的概率,所以减少了SDC的编码过程中DLT产生的变换误差,能在VSO进行RDO选择时选择到更合适的编码结果,从而提升了图像处理结果的编码性能。
通过以上的实施方式的描述,所属领域的技术人员可以清楚地了解到本发明可以用硬件实现,或固件实现,或它们的组合方式来实现。当使用软件实现时,可以将上述功能存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。以此为例但不限于:计算机可读介质可以包括RAM(Random Access Memory,随机存储器)、ROM(Read OnlyMemory,只读内存)、EEPROM(Electrically Erasable ProgrammableRead Only Memory,电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory,即只读光盘)或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。此外,任何连接可以适当的成为计算机可读介质。例如,如果软件是使用同轴电缆、光纤光缆、双绞线、DSL(Digital Subscriber Line,数字用户专线)或者诸如红外线、无线电和微波之类的无线技术从网站、服务器或者其他远程源传输的,那么同轴电缆、光纤光缆、双绞线、DSL或者诸如红外线、无线和微波之类的无线技术包括在所属介质的定影中。如本发明所使用的,盘和碟包括CD(Compact Disc,压缩光碟)、激光碟、光碟、DVD碟(Digital Versatile Disc,数字通用光)、软盘和蓝光光碟,其中盘通常磁性的复制数据,而碟则用激光来光学的复制数据。上面的组合也应当包括在计算机可读介质的保护范围之内。
本发明的各实施例提供的图像处理方法、装置及系统,可以扩展到深度图像的其他涉及DLT变换的技术中,例如基于DLT的DMM(DepthModelling Mode,深度图像建模模式)模式的原始DC值的计算过程、基于DLT的帧间SDC的原始DC与预测DC的计算等等。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。
Claims (30)
1.一种图像处理方法,其特征在于,包括:
获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
根据所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块;
根据所述预测图像块中一个像素点的像素值获取预测直流分量;
根据所述深度查询表和所述预测直流分量获得预测索引值;
根据所述原始图像块获取原始直流分量;
根据所述深度查询表和所述原始直流分量获得原始索引值;
将所述原始索引值减所述预测索引值得到索引残差值;
根据所述预测图像块和预设规则从所述至少一种图像处理模式中选取优选的图像处理模式;
对所述优选的图像处理模式、所述优选的图像处理模式对应的索引残差值和所述深度查询表进行编码以得到编码数据。
2.根据权利要求1所述的方法,其特征在于,根据所述预测图像块中一个像素点的像素值获取预测直流分量,具体为:
根据所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,
根据所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
3.根据权利要求1或2所述的方法,其特征在于,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为角度模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
4.根据权利要求1-3任一项所述的方法,其特征在于,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为平面模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
5.根据权利要求1-4任一项所述的方法,其特征在于,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为直流分量模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
6.根据权利要求1-5任一项所述的方法,其特征在于,根据所述原始图像块获取原始直流分量,具体包括:
根据所述原始图像块中一个像素点的像素值获取原始直流分量。
7.根据权利要求6所述的方法,其特征在于,根据所述原始图像块中一个像素点的像素值获取原始直流分量,具体包括:
根据所述原始图像块中右下角像素点的像素值获取原始直流分量;
或者,
根据所述原始图像块中心区域的一个像素点的像素值获取原始直流分量,所述原始图像块中心区域是所述原始图像块中心处边长为2个像素的正方形图像区域。
8.根据权利要求1-7任一项所述的方法,其特征在于,根据所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块,具体包括:
在关闭帧内参考像素滤波器时,根据所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块。
9.根据权利要求1-8任一项所述的方法,其特征在于,根据所述预测图像块和预设规则从所述至少一种图像处理模式中选取优选的图像处理模式,具体包括:
根据所述预测图像块计算所述至少一种图像处理模式中与所述预测图像块对应的图像处理模式的率失真代价;
根据所述率失真代价,将所述至少一种图像处理模式中率失真代价最小的图像处理模式作为优选的图像处理模式。
10.一种图像处理方法,其特征在于,包括:
获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
根据所述图像处理模式,获取预测图像块;
根据所述预测图像块中一个像素点的像素值获取预测直流分量;
根据所述深度查询表和所述预测直流分量获得预测索引值;
将所述索引残差值加所述预测索引值得到重建索引值;
根据所述深度查询表和所述重建索引值获得重建像素值,将所述重建像素值作为重建直流分量;
将所述重建直流分量减所述预测直流分量得到深度残差值;
为所述预测图像块的每一个像素点的像素值加上所述深度残差值得到重建图像块,所述重建图像块用于重建所述待重建深度图像。
11.根据权利要求10所述的方法,其特征在于,根据所述预测图像块中一个像素点的像素值获取预测直流分量,具体为:
根据所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,
根据所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
12.根据权利要求10或11所述的方法,其特征在于,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为角度模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
13.根据权利要求10-12任一项所述的方法,其特征在于,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为平面模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
14.根据权利要求10-13任一项所述的方法,其特征在于,根据所述预测图像块中一个像素点的像素值获取预测直流分量,包括:
在所述图像处理模式为直流分量模式时,根据所述预测图像块中一个像素点的像素值获取预测直流分量。
15.根据权利要求10-14任一项所述的方法,其特征在于,根据所述图像处理模式,获取预测图像块,具体包括:
在关闭帧内参考像素滤波器时,根据所述图像处理模式,获取预测图像块。
16.一种视频编码装置,其特征在于,包括:
获取单元,用于获取待编码深度图像的原始图像块、至少一种图像处理模式和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
所述获取单元还用于根据所述获取单元获取的所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块;
预测直流分量单元,用于根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量;
预测索引值单元,用于根据所述获取单元获取的所述深度查询表和所述直流分量单元获取的所述预测直流分量获得预测索引值;
原始直流分量单元,用于根据所述获取单元获取的所述原始图像块获取原始直流分量;
原始索引值单元,用于根据所述获取单元获取的所述深度查询表和所述原始直流分量单元获取的所述原始直流分量获得原始索引值;
索引残差值单元,用于将所述原始索引值单元获取的所述原始索引值减所述预测索引值单元获取的所述预测索引值得到索引残差值;
优选单元,用于根据所述获取单元获取的所述预测图像块和预设规则从所述至少一种图像处理模式中选取优选的图像处理模式;
编码单元,用于对所述优选单元选取的所述优选的图像处理模式、所述索引残差值单元获取的所述优选的图像处理模式对应的索引残差值和所述获取单元获取的所述深度查询表进行编码以得到编码数据。
17.根据权利要求16所述的装置,其特征在于,所述预测直流分量单元具体用于根据所述获取单元获取的所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,
所述预测直流分量单元具体用于根据所述获取单元获取的所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
18.根据权利要求16或17所述的装置,其特征在于,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为角度模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
19.根据权利要求16-18任一项所述的装置,其特征在于,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为平面模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
20.根据权利要求16-19任一项所述的装置,其特征在于,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为直流分量模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
21.根据权利要求16-20任一项所述的装置,其特征在于,所述原始直流分量单元具体用于根据所述获取单元获取的所述原始图像块中一个像素点的像素值获取原始直流分量。
22.根据权利要求21所述的装置,其特征在于,所述原始直流分量单元具体用于根据所述获取单元获取的所述原始图像块中右下角像素点的像素值获取原始直流分量;
或者,
所述原始直流分量单元具体用于根据所述获取单元获取的所述原始图像块中心区域的一个像素点的像素值获取原始直流分量,所述原始图像块中心区域是所述原始图像块中心处边长为2个像素的正方形图像区域。
23.根据权利要求16-22所述的装置,其特征在于,所述获取单元具体用于在关闭帧内参考像素滤波器时,根据所述获取单元获取的所述至少一种图像处理模式,获取每种图像处理模式各自对应的预测图像块。
24.根据权利要求16-23任一项所述的装置,其特征在于,所述优选单元,具体包括:
率失真子单元,用于根据所述获取单元获取的所述预测图像块计算所述至少一种图像处理模式中与所述预测图像块对应的图像处理模式的率失真代价;
优选子单元,用于根据所述率失真子单元计算的所述率失真代价,将所述获取单元获取的所述至少一种图像处理模式中率失真代价最小的图像处理模式作为优选的图像处理模式。
25.一种视频解码装置,其特征在于,包括:
获取单元,用于获取待重建深度图像的编码数据,所述编码数据包括图像处理模式、索引残差值和深度查询表,其中,所述深度查询表包含至少一个索引值以及每个索引值对应的像素值,所述索引值用于表示所述索引值自身对应的像素值;
所述获取单元还用于根据所述获取单元获取的所述图像处理模式,获取预测图像块;
预测直流分量单元,用于根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量;
预测索引值单元,用于根据所述获取单元获取的所述深度查询表和所述直流分量单元获取的所述预测直流分量获得预测索引值;
重建索引值单元,用于将所述获取单元获取的所述索引残差值加所述预测索引值单元获取的所述预测索引值得到重建索引值;
重建直流分量单元,用于根据所述获取单元获取的所述深度查询表和所述重建索引值单元得到的所述重建索引值获得重建像素值,将所述重建像素值作为重建直流分量;
深度残差值单元,用于将所述重建直流分量单元获得的所述重建直流分量减所述预测直流分量得到深度残差值;
重建单元,用于为所述获取单元获取的所述预测图像块的每一个像素点的像素值加上所述深度残差值单元得到的所述深度残差值得到重建图像块,所述重建图像块用于重建所述待重建深度图像。
26.根据权利要求25所述的装置,其特征在于,所述预测直流分量单元具体用于根据所述获取单元获取的所述预测图像块中右下角像素点的像素值获取预测直流分量;
或者,
所述预测直流分量单元具体用于根据所述获取单元获取的所述预测图像块中心区域的一个像素点的像素值获取预测直流分量,所述预测图像块中心区域是所述预测图像块中心处边长为2个像素的正方形图像区域。
27.根据权利要求25或26所述的装置,其特征在于,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为角度模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
28.根据权利要求25-27任一项所述的装置,其特征在于,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为平面模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
29.根据权利要求25-28任一项所述的装置,其特征在于,所述预测直流分量单元,还用于在所述获取单元获取的所述图像处理模式为直流分量模式时,根据所述获取单元获取的所述预测图像块中一个像素点的像素值获取预测直流分量。
30.根据权利要求16-29任一项所述的装置,其特征在于,所述获取单元具体用于在关闭帧内参考像素滤波器时,根据所述获取单元获取的所述图像处理模式,获取预测图像块。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410294340.XA CN104079942B (zh) | 2014-06-25 | 2014-06-25 | 一种图像处理方法、装置及系统 |
PCT/CN2015/077721 WO2015196860A1 (zh) | 2014-06-25 | 2015-04-28 | 一种图像处理方法、装置及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201410294340.XA CN104079942B (zh) | 2014-06-25 | 2014-06-25 | 一种图像处理方法、装置及系统 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104079942A true CN104079942A (zh) | 2014-10-01 |
CN104079942B CN104079942B (zh) | 2017-06-06 |
Family
ID=51600950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201410294340.XA Active CN104079942B (zh) | 2014-06-25 | 2014-06-25 | 一种图像处理方法、装置及系统 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN104079942B (zh) |
WO (1) | WO2015196860A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015196860A1 (zh) * | 2014-06-25 | 2015-12-30 | 华为技术有限公司 | 一种图像处理方法、装置及系统 |
CN105637865A (zh) * | 2015-02-05 | 2016-06-01 | 华为技术有限公司 | 图像预测处理方法和相关设备 |
WO2017132933A1 (zh) * | 2016-02-04 | 2017-08-10 | 华为技术有限公司 | 一种图像处理方法以及相关装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120183057A1 (en) * | 2011-01-14 | 2012-07-19 | Samsung Electronics Co., Ltd. | System, apparatus, and method for encoding and decoding depth image |
CN103237214A (zh) * | 2013-04-12 | 2013-08-07 | 华为技术有限公司 | 深度图像的编解码方法和编解码装置 |
CN103813173A (zh) * | 2014-03-14 | 2014-05-21 | 北方工业大学 | 基于bcim的3d-hevc快速帧内预测方案 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104079942B (zh) * | 2014-06-25 | 2017-06-06 | 华为技术有限公司 | 一种图像处理方法、装置及系统 |
-
2014
- 2014-06-25 CN CN201410294340.XA patent/CN104079942B/zh active Active
-
2015
- 2015-04-28 WO PCT/CN2015/077721 patent/WO2015196860A1/zh active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120183057A1 (en) * | 2011-01-14 | 2012-07-19 | Samsung Electronics Co., Ltd. | System, apparatus, and method for encoding and decoding depth image |
CN103237214A (zh) * | 2013-04-12 | 2013-08-07 | 华为技术有限公司 | 深度图像的编解码方法和编解码装置 |
CN103813173A (zh) * | 2014-03-14 | 2014-05-21 | 北方工业大学 | 基于bcim的3d-hevc快速帧内预测方案 |
Non-Patent Citations (2)
Title |
---|
一种三维视频深度图像快速帧内编码方法;杨旭;常义林;霍俊彦;元辉;李兵兵;陈涛;;《西安电子科技大学学报》;20120630;全文 * |
杨旭;常义林;霍俊彦;元辉;李兵兵;陈涛;: "一种三维视频深度图像快速帧内编码方法", 《西安电子科技大学学报》 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015196860A1 (zh) * | 2014-06-25 | 2015-12-30 | 华为技术有限公司 | 一种图像处理方法、装置及系统 |
CN105637865A (zh) * | 2015-02-05 | 2016-06-01 | 华为技术有限公司 | 图像预测处理方法和相关设备 |
WO2016123783A1 (zh) * | 2015-02-05 | 2016-08-11 | 华为技术有限公司 | 图像预测处理方法和相关设备 |
CN105637865B (zh) * | 2015-02-05 | 2019-11-19 | 华为技术有限公司 | 图像预测处理方法和相关设备 |
WO2017132933A1 (zh) * | 2016-02-04 | 2017-08-10 | 华为技术有限公司 | 一种图像处理方法以及相关装置 |
CN107735800A (zh) * | 2016-02-04 | 2018-02-23 | 华为技术有限公司 | 一种图像处理方法以及相关装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2015196860A1 (zh) | 2015-12-30 |
CN104079942B (zh) | 2017-06-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN114650419B (zh) | 进行帧内预测的编码器、解码器和对应方法 | |
US20160373767A1 (en) | Encoding and Decoding Methods and Apparatuses | |
CN110881129B (zh) | 视频解码方法及视频解码器 | |
CN112673633B (zh) | 合并模式的编码器、解码器及对应方法 | |
CN112040247B (zh) | 视频解码方法、视频解码器以及计算机可读存储介质 | |
US9503751B2 (en) | Method and apparatus for simplified depth coding with extended prediction modes | |
CN117499669A (zh) | 用于色度子块的仿射帧间预测的方法及装置 | |
CN114885166B (zh) | 编码器,解码器和使用压缩mv存储的对应方法 | |
CN113660497B (zh) | 编码器、解码器和使用ibc合并列表的对应方法 | |
CN115426491A (zh) | 一种使用基于历史的运动矢量预测的编码器、解码器及相应方法 | |
KR20210090700A (ko) | 화상의 블록을 인트라 예측하는 방법 | |
CN114600454A (zh) | 几何分割模式的译码过程 | |
CN114125468A (zh) | 帧内预测方法和装置 | |
CN112740663B (zh) | 图像预测方法、装置以及相应的编码器和解码器 | |
CN113383550A (zh) | 光流修正的提前终止 | |
CN104079942A (zh) | 一种图像处理方法、装置及系统 | |
KR102464520B1 (ko) | 적응형 곱셈 계수를 이용한 이미지 필터링을 위한 방법 및 장치 | |
CN112637590A (zh) | 视频编码器、视频解码器及相应方法 | |
CN113302929A (zh) | 几何分割模式的样本距离计算 | |
CN112740703A (zh) | 编码器、解码器和用于变换处理的对应方法 | |
CN110958452A (zh) | 视频解码方法及视频解码器 | |
CN113767636B (zh) | 帧内模式编解码的方法和系统 | |
CN115348449B (zh) | 编码器,解码器和使用压缩mv存储的对应方法 | |
CN115211109A (zh) | 对通用帧内预测过程的滤波器修改的编码器、解码器及相应方法 | |
CN118018765A (zh) | 视频解码方法及视频解码器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |