CN115546065A - 图像数据处理方法、装置、设备及存储介质 - Google Patents
图像数据处理方法、装置、设备及存储介质 Download PDFInfo
- Publication number
- CN115546065A CN115546065A CN202211340719.0A CN202211340719A CN115546065A CN 115546065 A CN115546065 A CN 115546065A CN 202211340719 A CN202211340719 A CN 202211340719A CN 115546065 A CN115546065 A CN 115546065A
- Authority
- CN
- China
- Prior art keywords
- basic block
- pixel
- target
- image
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003860 storage Methods 0.000 title claims abstract description 26
- 238000003672 processing method Methods 0.000 title claims abstract description 20
- 238000012545 processing Methods 0.000 claims abstract description 199
- 230000000694 effects Effects 0.000 claims abstract description 136
- 238000000034 method Methods 0.000 claims abstract description 92
- 238000005562 fading Methods 0.000 claims abstract description 80
- 230000000903 blocking effect Effects 0.000 claims abstract description 61
- 238000009499 grossing Methods 0.000 claims description 57
- 230000008569 process Effects 0.000 claims description 56
- 238000009826 distribution Methods 0.000 claims description 43
- 238000004590 computer program Methods 0.000 claims description 23
- 238000005516 engineering process Methods 0.000 abstract description 19
- 230000002829 reductive effect Effects 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 25
- 238000001514 detection method Methods 0.000 description 21
- 238000010612 desalination reaction Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 11
- 238000004891 communication Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 230000007613 environmental effect Effects 0.000 description 6
- 230000000717 retained effect Effects 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000001914 filtration Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本申请实施例公开了一种图像数据处理方法、装置、设备及存储介质,应用于云技术中的云游戏等场景,其中,该方法包括:若目标图像中的目标基本块与第一方向上的第一邻近基本块,及第二方向上的第二邻近基本块均满足块效应淡化条件,则在目标基本块中确定第一边界区域和第二边界区域;目标基本块、第一邻近基本块及第二邻近基本块在目标图像中所属的图像块不同;对第一边界区域所覆盖的原始像素值进行单线性插值处理,得到第一图像区域;对第二边界区域所覆盖的原始像素值进行双线性插值处理,得到第二图像区域;根据第一图像区域和第二图像区域,确定去块效应后的目标基本块。采用本申请实施例,可以降低基本块之间的块效应,并提高图像质量。
Description
技术领域
本申请涉及云技术领域,尤其涉及一种图像数据处理方法、装置、设备及存储介质。
背景技术
在图像数据处理过程中,图像经过编码、变换以及量化等后,由于原始图像的码率过低、量化步长过大等因素的影响,导致解码得到的图像存在块效应,即图像中的图像块之间的边界出现像素值不连续的现象。
目前的块效应处理技术中,通常使用加权均值滤波的方式对存在块效应的图像块进行平滑处理,然而由此经过平滑后的像素点与未经过平滑的像素点之间的像素差异仍然可能存在明显差异,造成块效应淡化处理后的图像质量不佳。
发明内容
本申请实施例所要解决的技术问题在于,提供一种图像数据处理方法、装置、设备及存储介质,可以降低基本块之间的块效应,提高图像质量。
本申请实施例一方面提供一种图像数据处理方法,包括:
获取目标图像;
若目标图像中的目标基本块与第一方向上的第一邻近基本块,以及目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在目标基本块中确定第一边界区域和第二边界区域;第一方向和第二方向互相垂直,目标基本块、第一邻近基本块以及第二邻近基本块在目标图像中所属的图像块是不同的,且目标基本块、第一邻近基本块以及第二邻近基本块的尺寸均小于目标图像中的图像块的尺寸;
对第一边界区域所覆盖的原始像素值进行单线性插值处理,得到第一图像区域;
对第二边界区域所覆盖的原始像素值进行双线性插值处理,得到第二图像区域;
根据第一图像区域和第二图像区域,确定去块效应后的目标基本块。
本申请实施例一方面提供一种图像数据处理装置,包括:
图像获取模块,用于获取目标图像;
条件判定模块,用于若目标图像中的目标基本块与第一方向上的第一邻近基本块,以及目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在目标基本块中确定第一边界区域和第二边界区域;第一方向和第二方向互相垂直,目标基本块、第一邻近基本块以及第二邻近基本块在目标图像中所属的图像块是不同的,且目标基本块、第一邻近基本块以及第二邻近基本块的尺寸均小于目标图像中的图像块的尺寸;
第一插值处理模块,用于对第一边界区域所覆盖的原始像素值进行单线性插值处理,得到第一图像区域;
第二插值处理模块,用于对第二边界区域所覆盖的原始像素值进行双线性插值处理,得到第二图像区域;
确定模块,用于根据第一图像区域和第二图像区域,确定去块效应后的目标基本块。
其中,条件判定模块用于:
若目标图像中的目标基本块与第一方向上的第一邻近基本块,以及目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在目标基本块中,将与第一邻近基本块相邻且与第二邻近基本块不相邻的边界区域确定为第一边界子区域;
在目标基本块中,将与第二邻近基本块相邻且与第一邻近基本块相邻的边界区域确定为第二边界子区域,将第一边界子区域和第二边界子区域确定为第一边界区域;第一边界子区域与第二边界子区域互不重叠;
在除第一边界区域的目标基本块中,将与第一邻近基本块和第二邻近基本块均相邻的边界区域确定为第二边界区域。
其中,第一插值处理模块用于:
在目标基本块中获取与第一边界子区域内的像素行R相邻的像素值a,在第一邻近基本块中获取与像素值a相对称的像素值b;像素值a和像素值b之间的对称轴为目标基本块和第一邻近基本块的边界,R为小于或等于第一边界子区域内的行数量;
根据像素值a和像素值b,对像素行R内的各个原始像素值进行单线性插值处理,得到第一图像子区域;
在目标基本块中获取与第二边界子区域内的像素列L相邻的像素值c,在第二邻近基本块中获取与像素值c相对称的像素值d;像素值c和像素值d之间的对称轴为目标基本块和第二邻近基本块的边界,L为小于或等于第二边界子区域内的列数量;
根据像素值c和像素值d,对像素列L内的各个原始像素值进行单线性插值处理,得到第二图像子区域,将第一图像子区域和第二图像子区域确定为第一图像区域。
其中,第一插值处理模块根据像素值a和像素值b,对像素行R内的各个原始像素值进行单线性插值处理,得到第一图像子区域,包括:
获取像素值b和像素值a之间的第一像素差值,以及获取像素值b和像素值a之间的第一位置距离;
获取像素行R内的各个原始像素值分别与像素值a之间的第二位置距离,将第一像素差值,以及第二位置距离和第一位置距离的比值之间的乘积确定为第一像素平滑值;
根据像素值a和第一像素平滑值,确定像素行R内的各个原始像素值分别对应的更新像素值,将具有像素行R内的各个更新像素值的第一边界子区域,确定为第一图像子区域。
其中,第一差值处理模块根据像素值c和像素值d,对像素列L内的各个原始像素值进行单线性插值处理,得到第二图像子区域,包括:
获取像素值d和像素值c之间的第二像素差值,以及获取像素值d和像素值c之间的第三位置距离;
获取像素列L内的各个原始像素值分别与像素值c之间的第四位置距离,将第二像素差值,以及第四位置距离和第三位置距离的比值之间的乘积确定为第二像素平滑值;
将像素值c和第二像素平滑值之和,确定为像素列L内的各个原始像素值分别对应的更新像素值,将具有像素列L内的各个更新像素值的第二边界子区域,确定为第二图像子区域。
其中,第二插值处理模块用于:
在目标基本块中获取与第二边界区域相邻的第一像素行区域和第一像素列区域;第一像素行区域内的列数量与第二边界区域内的列数量相同,第一像素列区域内的行数量与第二边界区域内的行数量相同;
在第一邻近基本块中确定与第一像素列区域相对称的第二像素列区域,在第二邻近基本块中确定与第一像素行区域相对称的第二像素行区域;第一像素列区域和第二像素列区域之间的对称轴为目标基本块和第一邻近基本块的边界,第一像素行区域和第二像素行区域之间的对称轴为目标基本块和第二邻近基本块的边界;
根据第一像素列区域内的像素值和第二像素列区域内的像素值,对第二边界区域内的各个原始像素值进行第一方向上的插值处理,得到第二边界区域内的各个原始像素值分别对应的第一方向插值结果;
根据第一像素行区域内的像素值和第二像素行区域内的像素值,对第二边界区域内的各个原始像素值进行第二方向上的插值处理,得到第二边界区域内的各个原始像素值分别对应的第二方向插值结果;
将第一方向插值结果和第二方向插值结果的平均值,确定为第二边界区域内的各个原始像素值对应的更新像素值,将具有更新像素值的第二边界区域确定为第二图像区域。
其中,确定模块用于:
将第一图像区域和第二图像区域确定为候选图像区域,获取与候选图像区域内的各个更新像素值相对应的原始像素值;
若候选图像区域内的各个更新像素值与对应的原始像素值之间的像素差值小于或等于像素阈值,则保留候选图像区域内的各个更新像素值,根据候选图像区域得到去块效应后的目标基本块;
若候选图像区域内存在更新像素值e与对应的原始像素值之间的像素差值大于像素阈值,则将更新像素值e替换为对应的原始像素值,得到更新后的候选图像区域,根据更新后的候选图像区域得到去块效应后的目标基本块。
其中,上述条件判定模块还用于:
若目标基本块与第一方向上的第一邻近基本块满足块效应淡化条件,且目标基本块与第二方向上的第二邻近基本块不满足块效应淡化条件,则在目标基本块中,将与第一邻近基本块和第二邻近基本块相邻的边界区域确定为第三边界区域;第三边界区域内的行数量与目标基本块的行数量相同;
对第三边界区域内的原始像素值进行第一方向上的单线性插值处理,得到去块效应后的目标基本块。
其中,上述条件判定模块还用于:
若目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,且目标基本块与第一方向上的第一邻近基本块不满足块效应淡化条件,则在目标基本块中,将与第一邻近基本块和第二邻近基本块相邻的边界区域确定为第四边界区域;第四边界区域内的列数量与目标基本块的列数量相同;
对第四边界区域内的原始像素值进行第二方向上的单线性插值处理,得到去块效应后的目标基本块。
其中,该图像数据处理装置还包括:
区域像素获取模块,用于获取目标图像中的目标基本块的第一区域像素信息;第一区域像素信息包括目标基本块中的未被平滑处理的像素信息;以及
区域像素获取模块,还用于获取目标基本块在第一方向上的第一邻近基本块,获取第一邻近基本块的第二区域像素信息;第二区域像素信息包括第一邻近基本块中的未被平滑处理的像素信息;
分布特征确定模块,用于根据第一区域像素信息,确定目标基本块对应的第一像素分布特征,根据第二区域像素信息,确定第一邻近基本块对应的第二像素分布特征;
块效应淡化条件确定模块,用于若基于第一像素分布特征和第二像素分布特征,确定目标基本块和第一邻近基本块处于非纹理复杂区域,且目标基本块和第一邻近基本块之间存在块效应,则确定目标基本块和第一邻近基本块满足块效应淡化条件;非纹理复杂区域为目标图像中纹理复杂度小于复杂度阈值的区域。
其中,区域像素获取模块获取目标图像中的目标基本块的第一区域像素信息,包括:
在目标图像中获取包含N*N个原始像素值的目标图像块,将目标图像块中连续的K*K个原始像素值构成的区域,确定为未被平滑处理区域;未被平滑处理区域内的原始像素值为未被平滑处理的像素信息,N、K均为正整数,且N大于K,未被平滑处理区域与目标图像块之间具有相同的中心点;
将目标图像块划分为多个不重叠的基本块,从多个不重叠的基本块中选择目标基本块;每个基本块均为目标图像块的四分之一区域;
将目标基本块在未被平滑处理区域内所覆盖的原始像素值,确定为目标基本块的第一区域像素信息。
其中,第一区域像素信息包括未被平滑处理区域内的(K/2)*(K/2)个原始像素值;
分布特征确定模块根据第一区域像素信息,确定目标基本块对应的第一像素分布特征,包括:
根据目标基本块对应的(K/2)*(K/2)个原始像素值,以及目标基本块在未被平滑处理区域内所覆盖的像素数量,确定目标基本块对应的像素均值;
根据目标基本块对应的像素均值、像素数量以及目标基本块对应的(K/2)*(K/2)个原始像素值,确定目标基本块对应的像素标准差;
将目标基本块对应的像素均值和目标基本块对应的像素标准差,确定为目标基本块对应的第一像素分布特征。
其中,块效应淡化条件确定模块还用于:
若目标基本块对应的像素标准差和第一邻近基本块对应的像素标准差均小于标准差阈值,则确定目标基本块和第一邻近基本块处于非纹理复杂区域;
获取处于非纹理复杂区域中的目标基本块对应的像素均值,与第一邻近基本块对应的像素均值之间的均值差;
若均值差的绝对值大于或等于第一均值阈值,且均值差的绝对值小于或等于第二均值阈值,则确定目标基本块和第一邻近基本块之间存在块效应。
本申请一方面提供了一种计算机设备,包括:处理器及存储器;
其中,上述存储器用于存储计算机程序,上述处理器用于调用上述计算机程序,以执行上述方法中的步骤。
本申请实施例一方面提供了一种计算机可读存储介质,上述计算机可读存储介质存储有计算机程序,上述计算机程序包括程序指令,上述程序指令当被处理器执行时,以执行上述方法中的步骤。
本申请实施例一方面提供了一种计算机程序产品,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现上述方法的步骤。
本申请实施例中,获取目标图像,若目标图像中的目标基本块与第一方向上的第一邻近基本块,以及该目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在该目标基本块中确定第一边界区域和第二边界区域,该第一方向和第二方向互相垂直,目标基本块、第一邻近基本块以及第二邻近基本块在目标图像中所属的图像块是不同的;通过对第一边界区域内的原始像素值进行单线性插值处理,对第二边界区域内的原始像素值进行双线性插值处理,可以得到去块效应后的目标基本块。可见,当目标基本块与不同方向上的邻近基本块均满足块效应淡化条件时,可以将目标基本块划分为不同的区域,不同的区域可以采用不同的插值处理方式进行像素平滑,可以降低基本块之间的块效应,提高图像质量。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请提供的一种网络架构的结构示意图;
图2是本申请实施例提供的一种图像划分示意图;
图3是本申请提供的一种图像数据处理方法的流程示意图;
图4是本申请实施例提供的一种目标图像中的目标基本块的插值处理示意图;
图5是本申请实施例提供的另一种目标图像中的目标基本块的插值处理示意图;
图6是本申请实施例提供的又一种目标图像中的目标基本块的插值处理示意图;
图7是本申请实施例提供的另一种图像数据处理方法的流程示意图;
图8是本申请实施例提供的一种目标图像中第一方向上相邻的两个图像块的示意图;
图9是本申请实施例提供的一种目标图像中的图像块的插值区域示意图;
图10是本申请实施例提供的一种目标图像的去块效应处理流程示意图;
图11是本申请实施例提供的一种图像数据处理装置的结构示意图;
图12是本申请实施例提供的一种计算机设备的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请实施例涉及云技术中的云游戏场景,例如,本申请中云服务器将游戏场景渲染为初始视频音频流,对初始视频音频流中的游戏画面进行去块效应处理,得到最终的视频音频流,将视频音频流传输给玩家游戏终端,能够提升游戏画面的画面质量(如清晰度等),提升用户体验。
其中,云技术(Cloud Technology)是指在广域网或局域网内将硬件、软件、网络等系列资源统一起来,实现数据的计算、储存、处理和共享的一种托管技术。云技术(CloudTechnology)基于云计算商业模式应用的网络技术、信息技术、整合技术、管理平台技术、应用技术等的总称,可以组成资源池,按需所用,灵活便利。云计算技术将变成重要支撑。技术网络系统的后台服务需要大量的计算、存储资源,如视频网站、图片类网站和更多的门户网站。伴随着互联网行业的高度发展和应用,将来每个物品都有可能存在自己的识别标志,都需要传输到后台系统进行逻辑处理,不同程度级别的数据将会分开处理,各类行业数据皆需要强大的系统后盾支撑,只能通过云计算来实现。
可以理解的是,云技术被广泛应用于医疗、安全、云游戏等场景中,其中,云游戏(Cloud gaming)又可称为游戏点播(gaming on demand),是一种以云计算技术为基础的在线游戏技术。云游戏技术使图形处理与数据运算能力相对有限的轻端设备(Thin clienT)能运行高品质游戏。在云游戏场景下,游戏并不在玩家游戏终端,而是在云端服务器中运行,并由云端服务器将游戏场景渲染为视频音频流,通过网络传输给玩家游戏终端。玩家游戏终端无需拥有强大的图形运算与数据处理能力,仅需拥有基本的流媒体播放能力与获取玩家输入指令并发送给云端服务器的能力即可。
为便于理解,下面对本申请实施例所涉及的基本概念进行简单介绍:
H.264:是由国际电联(ITU-T)视频编码专家组(Video Coding Expert Group,VCEG)和ISO/IEC(国际标准化组织/国际电工委员会)动态图像专家组(Moving PictureExperts Group,MPEG)组成的联合视频组(Joint Video Team,JVT)提出的高度压缩数字视频编解码器标准。
块效应:在基于块的视频压缩编码中,量化误差过大导致的解码图像中块边界出现视觉上的不连续现象。
请参见图1,图1是本申请实施例提供的一种网络架构的结构示意图,如图1所示,该网络架构可以包括服务器10a和终端集群,该终端集群可以包括一个或多个终端设备,这里不对终端集群所包含的终端设备的数量进行限定。如图1所示,该终端集群具体可以包括终端设备10b、终端设备10c、终端设备10d以及终端设备10e等;其中,该终端设备10b、终端设备10c、终端设备10d以及终端设备10e等均可以与服务器10a进行网络连接,以便于每个终端设备都可以通过网络连接与服务器进行数据交互。
可以理解的是,服务器10a可以是指用于为图像数据提供后端服务的设备,例如,该服务器10a可以是指对图像数据进行编码处理、解码处理、去块效应处理的后端设备。各个终端设备可以是指面向用户的电子设备,终端设备可以是指用于为图像数据提供前端服务的设备,如终端设备可以是指用于对图像数据进行渲染、播放的电子设备。终端设备上可以安装应用客户端,如音视频播放客户端、短视频客户端、直播客户端、游戏客户端等可以用于播放图像数据的客户端。
其中,终端集群中的各个终端设备可以包括但不限于:智能手机、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobile internet device,MID)、可穿戴设备(例如智能手表、智能手环等)、智能语音交互设备、智能家电(例如智能电视等)、车载设备、VR设备(如VR头盔、VR眼镜等)、飞行器等支持播放图像数据的电子设备。服务器10a可以是独立的一个物理服务器,也可以是至少两个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network,CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器,本申请对此不做限定。各个终端设备以及服务器10a可以通过有线或无线通信方式进行直接或间接地连接,同时,终端设备以及服务器的数量可以为一个或至少两个,本申请在此不做限制。
本申请实施例中,以图1所示的终端设备10b为例进行描述;对于以图像块(该图像块可以为宏块,即Marco Block,可简称为MB)为单位对目标图像进行编码处理的编码标准(例如,前述编码标准H.264,或者可以为其余编码标准,本申请对此不做限定),终端设备10b可以接收服务器10a发送的由该编码标准的编码器生成的编码码流,并利用该编码标准的解码器对该编码码流进行解码处理,得到解码后的图像数据。
终端设备10b可以从解码后的图像数据中获取目标图像,该目标图像可以包括多个图像块,一个图像块可以划分为四个不重叠的基本块,基本块为本申请实施例中的基本处理单元,一个基本块为图像块的四分之一区域,如图像块的尺寸为16*16时,一个基本块的尺寸可以为8*8。请参见图2,图2是本申请实施例提供的一种图像划分示意图;如图2所示,目标图像20a可以包括6个图像块,分别记为图像块1、图像块2、图像块3、图像块4、图像块5以及图像块6。目标图像20a中的每一个图像块都可以划分为四个基本块,例如图像块4可以均等划分为基本块1、基本块2、基本块3以及基本块4。
进一步地,终端设备10b可以从目标图像的图像块中确定目标基本块(例如,图像块4中的基本块2),该目标基本块可以为目标图像的单个图像块中的任意一个基本块,终端设备10b需要判断该目标基本块是否需要进行去块效应处理,此处的去块效应处理可以认为是块效应淡化处理,如对目标基本块中的像素进行平滑处理,降低目标基本块的块效应,本申请实施例中的去块效应处理可以包括插值处理,该插值处理可以包括单线性插值和双线性插值中的至少一种。终端设备10b判断目标基本块是否需要进行去块效应处理的步骤可以包括:判断该目标基本块是否处于非纹理复杂区域(非纹理复杂区域为目标图像中纹理复杂度小于复杂度阈值的区域,该复杂度阈值可以根据实际需求进行设置,本申请对此不做限定)、以及判断该目标基本块是否存在块效应。
当目标基本块与相邻的基本块处于非纹理复杂区域,且目标基本块与相邻的基本块存在块效应时,则可以确定需要对该目标基本块进行去块效应处理。其中,前述相邻的基本块可以是指在水平方向上与目标基本块相邻的基本块(为便于理解,可以称为第一邻近基本块),或者是指在垂直方向上与目标基本块相邻的基本块(为便于理解,可以称为第二邻近基本块)。终端设备10b可以采用线性插值处理的方式对目标基本块进行平滑,以得到去块效应后的目标基本块,具体过程在后续进行详细描述;换言之,本申请实施例所提供的图像数据处理方法也可以称为去块效应方法。
其中,本申请实施例所涉及的目标图像可以是指解码后的图像数据中的任一帧图像,或者,目标图像可以属于解码后的目标视频数据中的任一帧图像,该目标视频数据可以包括但不限于:赛事直播、游戏直播、会议直播等直播视频数据,日常短视频、美食短视频、影视剪辑短视频等,影视视频数据等。
可以理解的是,本申请实施例所涉及的去块效应处理过程可以由图1所示的任一终端设备独立执行,或者可以由图1所示的服务器10a独立执行,或者可以由服务器10a和终端设备协同执行,本申请对此不做限定。
此外,需要说明的是,本申请实施例描述的网络架构是为了更加清楚地说明本申请实施例的技术方案,并不构成对于本申请实施例的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本申请实施例提供的技术方案对于类似的技术问题,同样适用。
请参见图3,图3是本申请实施例提供的一种图像数据处理方法的流程示意图;可以理解地,该图像数据处理方法可以由计算机设备执行,该计算机设备可以为图1所示的终端集群中的任意终端设备执行,或者可以为图1所示的服务器10a;其中,该图像数据处理方法可以包括以下步骤:
步骤S101,获取目标图像,若目标图像中的目标基本块与第一方向上的第一邻近基本块,以及目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在目标基本块中确定第一边界区域和第二边界区域;第一方向和第二方向互相垂直,目标基本块、第一邻近基本块以及第二邻近基本块在目标图像中所属的图像块是不同的,且目标基本块、第一邻近基本块以及第二邻近基本块的尺寸均小于目标图像中的图像块的尺寸。
本申请实施例中,计算机设备可以获取解码后的图像数据,该解码后的图像数据可以为利用解码器输出的解码图像集合,该解码图像集合可以是计算机设备在本地解码得到的,或者可以是由其它设备完成解码后传输给计算机设备的,本申请对此不做限定。
其中,在图像数据的解码过程中,通常会对解码后的图像数据中的图像块的边界区域进行平滑处理,也就是说,计算机设备所获取到的解码后的图像数据可以认为是经过平滑处理后的解码图像,可以将平滑处理后的解码图像作为目标图像。此处的平滑处理可以是指平滑滤波处理,实践中发现,平滑处理后的目标图像中的图像块之间仍然存在块效应。由于图像块中被平滑处理区域的像素点的像素值之间差异性比较小,不能准确地反映图像块之间是否存在块效应,因此,需要计算机设备获取目标图像的图像块中未被平滑处理的原始像素值,并基于这些未被平滑处理的原始像素值来检测目标图像中的图像块是否存在块效应。本申请实施例是以目标图像中的基本块作为基本处理单元,基本块可以为图像块的四分之一区域,该基本块同样可以包含部分经过平滑处理的原始像素值和部分未被平滑处理的原始像素值,因此同样可以基本块中未被平滑处理的原始像素值来检测目标图像中的基本块是否存在块效应,这样可以提高基本块之间是否存在块效应的准确度;其中,基本块是否存在块效应的判定方式将在后续实施例中进行描述。
计算机设备可以将当前正在处理的基本块称为目标基本块,该目标本块可以为目标图像中的任意一个基本块,可以获取该目标基本块在第一方向上的第一邻近基本块,以及该目标基本块在第二方向上的第二邻近基本块。其中,目标基本块、第一邻近基本块以及第二邻近基本块为目标图像中互不重叠的图像区域,且目标基本块、第一邻近基本块以及第二邻近基本块分别属于目标图像中不同的图像块,即目标基本块与第一邻近基本块之间的共同边界为目标图像中的图像块的边界,目标基本块与第二邻近基本块之间的共同边界同样为目标图像中的图像块的边界;第一方向可以为目标图像的水平方向,第二方向可以为目标图像的垂直方向,第一方向和第二方向互相垂直,即第一方向与第二方向之间的夹角为90度。
若目标基本块与第一邻近基本块,以及目标基本块与第二邻近基本块均满足块效应淡化条件,则可以在目标基本块中确定第一边界区域和第二边界区域。其中,块效应淡化条件可以是指相邻的两个基本块处于非纹理复杂区域,且相邻的两个基本块之间存在块效应,满足块效应淡化条件的两个基本块表示需要进行去块效应处理,此处的去块效应处理可以理解为平滑处理,如该平滑处理可以为单线性插值处理或双线性插值处理;非纹理复杂区域可以是指目标图像中纹理复杂度小于复杂度阈值的区域,该复杂度阈值可以根据实际需求进行自定义设置,本申请对此不做限定;纹理复杂度与非纹理复杂区域所覆盖的原始像素值的像素分布特征相关联,如纹理复杂度可以为像素分布特征中的像素标准差,或者可以为其他分布特征,本申请对此不做限定。目标基本块与第一邻近基本块(或者目标基本块与第二邻近基本块)是否处于非纹理复杂区域的判定过程,以及目标基本块与第一邻近基本块(或者目标基本块与第二邻近基本块)之间是否存在块效应的检测过程将在后续实施例中进行描述。第一边界区域可以包括两个不重叠的两个边界子区域,一个边界子区域仅与第一邻近基本块相邻,另一个边界子区域仅与第二邻近基本块相邻,两个边界子区域所包含的原始像素值的数量是相同的;第二边界区域可以同时与第一邻近基本块和第二邻近基本块相邻,第二边界区域的宽度与高度是相同的。
可选地,若目标基本块与第一邻近基本块,以及目标基本块与第二邻近基本块均满足块效应淡化条件,则在该目标基本块中将与第一邻近基本块相邻且与第二邻近基本块不相邻的边界区域确定为第一边界子区域;在该目标基本块中,将与第二邻近基本块相邻且与第一邻近基本块不相邻的边界区域确定为第二边界子区域,该第一边界子区域和第二边界子区域可以称为第一边界区域,该第一边界子区域与第二边界子区域互不重叠;在除上述第一边界区域的目标基本块中,可以将同时与第一邻近基本块和第二邻近基本块相邻的边界区域确定为第二边界区域。可以理解的是,目标基本块中的第一边界区域和第二边界区域中的原始像素值都需要进行平滑处理。
请参见图4,图4是本申请实施例提供的一种目标图像中的目标基本块的插值处理示意图;如图4所示,黑色虚线框区域表示目标图像中的目标基本块,该目标基本块的尺寸为8*8,该目标基本块在第一方向(如图4所示的x方向,也称为目标图像的水平方向,即目标图像中像素行的方向)上的第一邻近基本块如图4中的基本块30b所示,该目标基本块在第二方向(如图4所示的y方向,也称为目标图像的垂直方向,即目标图像中的像素列的方向)上的第二邻近基本块如图4中的基本块30a所示;其中目标基本块、基本块30a以及基本块30b具有相同的尺寸,即均为8*8。若目标基本块与基本块30a之间满足块效应淡化条件,且目标基本块与基本块30b也满足块效应淡化条件,则可以对目标基本块进行区域划分,第一边界区域可以包括与基本块30b相邻的边界子区域30e(第一边界子区域)以及与基本块30a相邻的边界子区域30d(第二边界子区域),目标基本块中的第二边界区域如图4中的边界区域30c所示。
可以理解的是,如图4所示的第一边界子区域(12个像素值)、第二边界子区域(12个像素值)以及第二边界区域(36个像素值)仅为本申请实施例的一种举例说明,具体可以根据实际需求来设置需要进行插值处理的像素点数量,即根据实际需求来确定第一边界子区域、第二边界子区域以及第二边界区域的尺寸。
步骤S102,对第一边界区域所覆盖的原始像素值进行单线性插值处理,得到第一图像区域。
本申请实施例中,计算机设备可以采用不同的方式对目标基本块中的第一边界区域和第二边界区域进行插值处理,可以提高目标基本块的平滑效果。例如,第一边界区域只需进行一个方向上的平滑即可,即单线性插值处理,第一边界区域中的第一边界子区域需要进行第一方向上的平滑,第一边界区域中的第二边界子区域需要进行第二方向上的平滑;第二边界区域需要进行两个方向上的平滑,即双线性插值处理,此处的两个方向包括第一方向和第二方向。如图4所示,边界子区域30d和边界子区域30e需要进行单线性插值处理,边界区域30c需要进行双线性插值平滑。
可选地,第一边界区域的单线性插值处理可以包括:在目标基本块中获取与第一边界子区域内的像素行R相邻的像素值a,在第一邻近基本块中获取与像素值a相对称的像素值b;像素值a和像素值b之间的对称轴为目标基本块和第一邻近基本块的边界,R为小于或等于第一边界子区域内的行数量;根据像素值a和像素值b,对像素行R内的各个原始像素值进行单线性插值处理,可以得到第一图像子区域;在目标基本块中获取与第二边界子区域内的像素列L相邻的像素值c,在第二邻近基本块中获取与像素值c相对称的像素值d;像素值c和像素值d之间的对称轴为目标基本块和第二邻近基本块的边界,L为小于或等于第二边界子区域内的列数量;根据像素值c和像素值d,对像素列L内的各个原始像素值进行单线性插值处理,得到第二图像子区域,将第一图像子区域和第二图像子区域确定为第一图像区域。
举例来说,如图4所示,第一边界子区域为图4中的边界子区域30e所示,此时第一边界子区域内所包含的原始像素值的坐标编号在第一方向(水平方向)上的取值范围为:p=2,3,…,7(p用于表示第一方向上的坐标编号),第一边界子区域内所包含的原始像素值的坐标编号在第二方向(垂直方向)上的取值范围为:q=0,1(q用于表示第二方向上的坐标编号),那么第一边界子区域内的行数量为2(包含两个像素行),即上述像素行R的取值可以为1,也可以取值为2。
当像素行R为第一边界子区域中的第一个像素行(第一个像素行中的原始像素值的坐标编号q均为1,也可以称为第1行)时,目标基本块中与第一个像素行相邻的像素值a可以记为I(p=1,q=1),此时第一邻近基本块(基本块30b)中与该像素值a相对称的像素值b可以记为I(p=14,q=1)。像素行R为第一边界子区域中的第二个像素行(第二个像素行中的原始像素值的坐标编号q均为0,也可以称为第0行)时,目标基本块中与第二个像素行相邻的像素值a可以记为I(p=1,q=0),此时第一邻近基本块(基本块30b)中与该像素值a相对称的像素值b可以记为I(p=14,q=0)。
进一步地,可以根据像素值I(p=1,q=1)和像素值I(p=14,q=1),对第一边界子区域中的第一个像素行的各个原始像素值进行单线性插值处理,根据像素值I(p=1,q=0)和像素值I(p=14,q=0),对第一边界子区域中的第二个像素行的各个原始像素值进行单线性插值处理,完成第一边界子区域内的各个像素行的单线性插值处理后,可以得到第一图像子区域。
如图4所示,第二边界子区域为图4中的边界子区域30d所示,此时第二边界子区域内所包含的原始像素值的坐标编号在第一方向(水平方向)上的取值范围为:p=0,1,第二边界子区域内所包含的原始像素值的坐标编号在第二方向(垂直方向)上的取值范围为:q=2,3,…,7,那么第二边界子区域内的列数量为2(包含两个像素列),即上述像素列L的取值可以为1,也可以取值为2。
当像素列L为第二边界子区域中的第一个像素列(第一个像素列中的原始像素值的坐标编号p均为0,也可以称为第0列)时,目标基本块中与第一个像素列相邻的像素值c可以记为I(p=0,q=1),此时第二邻近基本块(基本块30a)中与该像素值c相对称的像素值d可以记为I(p=0,q=14)。像素列L为第二边界子区域中的第二个像素列(第二个像素列中的原始像素值的坐标编号p均为1,也可以称为第1列)时,目标基本块中与第二个像素列相邻的像素值c可以记为I(p=1,q=1),此时第二邻近基本块(基本块30a)中与该像素值c相对称的像素值d可以记为I(p=1,q=14)。
进一步地,可以根据像素值I(p=0,q=1)和像素值I(p=0,q=14),对第二边界子区域中的第一个像素列的各个原始像素值进行单线性插值处理,根据像素值I(p=1,q=1)和像素值I(p=1,q=14),对第二边界子区域中的第二个像素列的各个原始像素值进行单线性插值处理,完成第二边界子区域内的各个像素列的单线性插值处理后,可以得到第二图像子区域;第一图像子区域和第二图像子区域可以统称为第一图像区域。
可选地,第一边界子区域内的单线性插值处理的具体过程可以包括但不限于:可以获取像素值b和像素值a之间的第一像素差值,以及获取像素值b和像素值a之间的第一位置距离;获取像素行R内的各个原始像素值分别与像素值a之间的第二位置距离,将第一像素差值,以及第二位置距离和第一位置距离的比值之间的乘积确定为第一像素平滑值;根据像素值a和第一像素平滑值,确定像素行R内的各个原始像素值分别对应的更新像素值,将具有像素行R内的各个更新像素值的第一边界子区域,确定为第一图像子区域。
以图4所示的目标基本块为例,计算机设备可以采用下述公式(1)来计算第一边界子区域(边界子区域30e)内的各个原始像素值的更新像素值:
其中,在公式(1)中,I′(p,q)表示边界子区域30e内第一方向上的坐标编号为p,第二方向上的坐标编号为q的原始像素值进行单线性插值处理(第一方向上的平滑)后所得到的更新像素值;I(1,q)表示边界子区域30e内第一方向上的坐标编号为1,第二方向上的坐标编号为q的原始像素值(前述像素值a);I(14,q)表示第一邻近基本块(基本块30b)内第一方向上的坐标编号为14,第二方向上的坐标编号为q的原始像素值(前述像素值b)。(p-1)表示像素行R内的原始像素值与像素值a之间的第二位置距离,13即为像素值b和像素值a之间的第一位置距离,表示第一像素平滑值。可以理解的是,通过利用前述公式(1)对边界子区域30e内的各个原始像素值在第一方向上进行单线性插值处理,可以得到包含各个原始像素值所对应的更新像素值的第一图像子区域。
可选地,第二边界子区域内的单线性插值处理的具体过程可以包括但不限于:获取像素值d和像素值c之间的第二像素差值,以及获取像素值d和像素值c之间的第三位置距离;获取像素列L内的各个原始像素值分别与像素值c之间的第四位置距离,将第二像素差值,以及第四位置距离和第三位置距离的比值之间的乘积确定为第二像素平滑值;将像素值c和第二像素平滑值之和,确定为像素列L内的各个原始像素值分别对应的更新像素值,将具有像素列L内的各个更新像素值的第二边界子区域,确定为第二图像子区域。
以图4所示的目标基本块为例,计算机设备可以采用下述公式(2)来计算第二边界子区域(边界子区域30d)内的各个原始像素值的更新像素值:
其中,在公式(2)中,I′(p,q)表示边界子区域30e内第一方向上的坐标编号为p,第二方向上的坐标编号为q的原始像素值进行单线性插值处理(第二方向上的平滑)后所得到的更新像素值;I(p,1)表示边界子区域30e内第一方向上的坐标编号为p,第二方向上的坐标编号为1的原始像素值(前述像素值c);I(p,14)表示第二邻近基本块(基本块30a)内第一方向上的坐标编号为p,第二方向上的坐标编号为14的原始像素值(前述像素值d)。(q-1)表示像素列L内的原始像素值与像素值c之间的第四位置距离,13即为像素值d和像素值c之间的第三位置距离(此处的第三位置距离与前述第一位置距离相等),表示第二像素平滑值。可以理解的是,通过利用前述公式(2)对边界子区域30d内的各个原始像素值在第二方向上进行单线性插值处理,可以得到包含各个原始像素值所对应的更新像素值的第二图像子区域。
可以理解的是,计算机设备可以采用上述公式(1)对第一边界子区域进行第一方向上的单线性插值处理,采用上述公式(2)对第二边界子区域进行第二方向上的单线性插值处理,可以得到第一图像区域,该第一图像区域包含的像素值均为单线性插值处理后所得到的更新像素值。
步骤S103,对第二边界区域所覆盖的原始像素值进行双线性插值处理,得到第二图像区域。
本申请实施例中,由于第二边界区域是目标基本块的水平边界和垂直边界共用的,因此需要对第二边界区域中的原始像素值进行两个方向上的线性插值处理,即双线性插值处理。
其中,第二边界区域的双线性插值处理可以包括但不限于:可以在目标基本块中获取与第二边界区域相邻的第一像素行区域和第一像素列区域;第一像素行区域内的列数量与第二边界区域内的列数量相同,第一像素列区域内的行数量与第二边界区域内的行数量相同。如图4所示,第一像素行区域可以为边界子区域30e中的第一个像素行,第一像素列区域可以为边界子区域30d中的第二个像素列。
在第一邻近基本块中确定与第一像素列区域相对称的第二像素列区域,在第二邻近基本块中确定与第一像素行区域相对称的第二像素行区域;其中,第一像素列区域和第二像素列区域之间的对称轴为目标基本块和第一邻近基本块的边界,第一像素行区域和第二像素行区域之间的对称轴为目标基本块和第二邻近基本块的边界。如图4所示,第二像素行区域内包含基本块30a(第二邻近基本块)中第一方向上的坐标编号p从2到7,第二方向上的坐标编号q为14的所有原始像素值;第二像素列区域内包含基本块30b(第一邻近基本块)中第一方向上的坐标编号为14,第二方向上的坐标编号q从2到7的所有原始像素值。
进一步地,可以根据第一像素列区域内的像素值和第二像素列区域内的像素值,对第二边界区域内的各个原始像素值进行第一方向上的插值处理,得到第二边界区域内的各个原始像素值分别对应的第一方向插值结果;进而可以根据第一像素行区域内的像素值和第二像素行区域内的像素值,对第二边界区域内的各个原始像素值进行第二方向上的插值处理,得到第二边界区域内的各个原始像素值分别对应的第二方向插值结果;将第一方向插值结果和第二方向插值结果的平均值,确定为第二边界区域内的各个原始像素值对应的更新像素值,将具有更新像素值的第二边界区域确定为第二图像区域。其中,第一像素列区域内的像素值以及第一像素行区域内的像素值,可以为目标基本块未进行插值处理之前的原始像素值,或者可以为经过前述公式(1)和前述公式(2)进行单线性插值处理后的更新像素值,本申请对此不做限定。
以图4所示的目标基本块为例,计算机设备可以采用下述公式(3)来计算第二边界区域(边界区域30c)中的各个原始像素值的更新像素值:
其中,在公式(3)中,I′(p,q)表示边界区域30c内第一方向上的坐标编号为p,第二方向上的坐标编号为q的原始像素值进行双线性插值处理后所得到的更新像素值,I(1,q)表示第一像素列区域内的原始像素值,I(14,q)表示第二像素列区域内的原始像素值,I(p,1)表示第一像素行区域内的原始像素值,I(p,14)表示第二像素行区域内的原始像素值。
可以理解的是,计算机设备可以采用上述公式(3)对第二边界区域进行第一方向和第二方向上的双线性插值处理,可以得到第二图像区域,该第二图像区域所包含的像素值均为双线性插值处理后所得到的更新像素值。
步骤S104,根据第一图像区域和第二图像区域,确定去块效应后的目标基本块。
本申请实施例中,计算机设备可以将单线性插值处理后得到第一图像区域、双线性插值处理后得到的第二图像区域,以及目标基本块中未进行插值处理的原始像素值,确定为去块效应后的目标基本块。通过在目标基本块中划分不同的边界区域。并采用单线性插值处理和双线性插值处理对不同的边界区域进行平滑处理,可以提高目标基本块的平滑效果,提高图像质量。
可选地,根据第一图像区域和第二图像区域,确定去块效应后的目标基本块的步骤可以包括:计算机设备可以将第一图像区域和第二图像区域确定为候选图像区域,获取与候选图像区域内的各个更新像素值相对应的原始像素值;若候选图像区域内的各个更新像素值与对应的原始像素值之间的像素差值小于或等于像素阈值,则保留候选图像区域内的各个更新像素值,根据候选图像区域得到去块效应后的目标基本块;若候选图像区域内存在更新像素值e与对应的原始像素值之间的像素差值大于像素阈值,则将更新像素值e替换为对应的原始像素值,得到更新后的候选图像区域,根据更新后的候选图像区域得到去块效应后的目标基本块。
其中,需要插值处理的目标基本块中可能存在细小纹理,例如天空中的星星等,这些纹理需要尽可能地保留下来,因此本申请实施例可以对目标基本块中的少量细节纹理实施保护措施,如当插值处理后得到的更新像素值与原始像素值相差过大时,表示该原始像素值代表细节纹理部分,需要保留原始像素信息。例如,当候选图像区域中的更新像素值与其对应的原始像素值之间的像素差值的绝对值大于或等于像素阈值(该像素阈值用于管理更新像素值与原始像素值之间的差异,可以根据实际需求进行自定义设置,如该像素阈值可以设置为15)时,可以将更新像素值重新替换为原始像素值;当候选图像区域中的更新像素值与其对应的原始像素值之间的像素差值的绝对值小于像素阈值时,可以保留插值处理后的更新像素值。在对目标基本块中经过插值处理后的各个更新像素值均执行前述操作后,可以得到去块效应后的目标基本块。通过对目标基本块中的细节纹理进行保护,可以避免删除目标基本块中真实存在的细节纹理,可以提高图像质量,确保图像的真实性。
可选地,若目标基本块与第一方向上的第一邻近基本块满足块效应淡化条件,且目标基本块与第二方向上的第二邻近基本块不满足块效应淡化条件,则在目标基本块中,将与第一邻近基本块和第二邻近基本块相邻的边界区域确定为第三边界区域;第三边界区域内的行数量与目标基本块的行数量相同;对第三边界区域内的原始像素值进行第一方向上的单线性插值处理,得到去块效应后的目标基本块。换言之,当目标基本块仅与第一方向上的第一邻近基本块满足块效应淡化条件时,需要对目标基本块进行第一方向上的单线性插值处理,无需对目标基本块进行双线性插值处理。
请参见图5,图5是本申请实施例提供的另一种目标图像中的目标基本块的插值处理示意图。图5所示的黑色虚线框区域表示目标图像中的目标基本块,若目标基本块与第一方向(如图5所示的x方向)上的基本块30b(第一邻近基本块)满足块效应淡化条件,且目标基本块与第二方向(如图5所示的y方向)上的基本块30a(第二邻近基本块)不满足块效应淡化条件,则可以在目标基本块中确定需要进行单线性插值处理的边界区域30f(第三边界区域),该边界区域30f中的原始像素值在第一方向上的坐标编码p的取值范围为:p=2,3,...,7;该边界区域30f中的原始像素值在第二方向上的坐标编码q的取值范围为:q=0,1,2,3,...,7。
以图5所示的目标基本块为例,计算机设备可以采用下述公式(4)计算第三边界区域(边界区域30f)内的各个原始像素值的更新像素值:
其中,在公式(4)中,I′(p,q)表示边界区域30f内第一方向上的坐标编号为p,第二方向上的坐标编号为q的原始像素值进行第一方向上的线性插值处理后所得到的更新像素值,该公式(4)中的其他符号可以参见前述公式(1)至公式(2)中的描述,此处不再进行赘述。
可选地,若目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,且目标基本块与第一方向上的第一邻近基本块不满足块效应淡化条件,则在目标基本块中,将与第一邻近基本块和第二邻近基本块相邻的边界区域确定为第四边界区域;第四边界区域内的列数量与目标基本块的列数量相同;对第四边界区域内的原始像素值进行第二方向上的单线性插值处理,得到去块效应后的目标基本块。换言之,当目标基本块仅与第二方向上的第二邻近基本块满足块效应淡化条件时,需要对目标基本块进行第二方向上的单线性插值处理,无需对目标基本块进行双线性插值处理。
请参见图6,图6是本申请实施例提供的又一种目标图像中的目标基本块的插值处理示意图。图6所示的黑色虚线框区域表示目标图像中的目标基本块,若目标基本块与第一方向(如图6所示的x方向)上的基本块30b(第一邻近基本块)不满足块效应淡化条件,且目标基本块与第二方向(如图6所示的y方向)上的基本块30a(第二邻近基本块)满足块效应淡化条件,则可以在目标基本块中确定需要进行单线性插值处理的边界区域30g(第四边界区域),该边界区域30g中的原始像素值在第一方向上的坐标编码p的取值范围为:p=0,1,...,7;该边界区域30f中的原始像素值在第二方向上的坐标编码q的取值范围为:q=2,3,...,7。
以图6所示的目标基本块为例,计算机设备可以采用下述公式(5)计算第四边界区域(边界区域30g)内的各个原始像素值的更新像素值:
其中,在公式(5)中,I′(p,q)表示边界区域30g内第一方向上的坐标编号为p,第二方向上的坐标编号为q的原始像素值进行第二方向上的线性插值处理后所得到的更新像素值,该公式(5)中的其他符号可以参见前述公式(1)至公式(2)中的描述,此处不再进行赘述。
可选地,若目标图像中的目标基本块与第一方向上的第一邻近基本块不满足块效应淡化条件,且目标基本块与第二方向上的第二近邻基本块不满足块效应淡化条件,则无需对该目标基本块进行插值处理。
可以理解的是,前述步骤S101至步骤S104的描述均是以目标图像中的一个基本块(即目标基本块)为例进行描述的,而对于整个目标图像而言,该目标图像中的每一个基本块都可以执行前述步骤,这样可以基于基本块的插值处理,得到去块效应后的目标图像。可选地,计算机设备可以按照第一方向(目标图像的水平方向),依次对目标图像中的基本块进行去块效应处理(如前述插值处理),或者可以按照第二方向(目标图像的垂直方向),依次对目标图像中的基本块进行去块效应处理,或者也可以按照其他预先设定的顺序,依次对目标图像中的基本块进行去块效应处理,本申请对此不做限定。举例来说,假设目标图像中的基本块可以包括:基本块B11、基本块B12、基本块B13、基本块B14、基本块B21、基本块B22、基本块B23、基本块B24、基本块B31、基本块B32、基本块B33、基本块B34,那么在对目标图像进行去块效应处理时,可以按照前述顺序依次对目标图像中的各个基本块进行去块效应处理,得到去块效应后的基本块,通过各个去块效应后的基本块可以构成去块效应后的目标图像;其中,去块效应后的目标图像包括经过插值处理后的基本块,以及无需进行去块效应的基本块。
本申请实施例中,当目标图像中的目标基本块与两个方向上的邻近基本块(第一方向上的第一邻近基本块和第二方向上的第二邻近基本块)均满足块效应淡化条件时,可以在目标基本块中确定需要进行单线性插值处理的第一边界区域,以及需要进行双线性插值处理的第二边界区域,即不同的边界区域可以采用不同的插值处理方式。当目标图像中的目标基本块仅与一个方向上的邻近基本块(例如,第一方向上的第一邻近基本块,或者第二方向上的第二邻近基本块)满足块效应淡化条件时,可以在目标区域中确定需要进行单线性插值处理的区域(例如,前述第三边界区域,或者第四边界区域),在该情形下,目标基本块中没有需要进行双线性插值处理的区域。也就是说,基于目标图像中的目标基本块是否与两个方向上的邻近基本块满足块效应淡化条件,也可以理解为目标基本块的边界区域是否被两个方向的基本块共用,对目标基本块进行单线性插值处理或双线性插值处理,可以提高目标基本块的平滑效果,降低目标基本块的块效应,进而可以提高图像质量。
请参见图7,图7是本申请实施例提供的另一种图像数据处理方法的流程示意图;可以理解地,该图像数据处理方法可以由计算机设备执行,该计算机设备可以为图1所示的终端集群中的任意终端设备执行,或者可以为图1所示的服务器10a;其中,该图像数据处理方法可以包括以下步骤:
步骤S201,获取目标图像中的目标基本块的第一区域像素信息;第一区域像素信息包括目标基本块中的未被平滑处理的像素信息。
本申请实施例中,计算机设备在获取到解码后的图像数据后,可以将解码后的图像数据中的任一图像帧作为目标图像。该目标图像可以包括多个图像块,每个图像块可以划分为多个基本块,所有基本块的尺寸是相同的。由于目标图像中的图像块之间可能存在块效应,那么基本块作为图像块中的部分区域,目标图像中的基本块之间也有可能会存在块效应,因此需要计算机设备获取目标图像中的基本块的区域像素信息,该区域像素信息为该目标图像的基本块中未被平滑处理的原始像素值(图像块的边界区域在解码过程中进行了平滑处理,平滑处理后的像素值之间差异性较小,不能准确地反映图像块之间的块效应),以便根据基本块的区域像素信息确定目标图像中的基本块是否存在块效应,可以提高基本块是否存在块效应的准确度。
计算机设备可以将当前正在处理的基本块作为目标基本块,并将该目标基本块中所包含的未被平滑处理的原始像素值,确定为目标基本块对应的区域像素信息(为便于理解,此处的区域像素信息可以称为第一区域像素信息)。可以理解的是,在获取目标基本块对应的第一区域像素信息之前,可以先确定目标基本块所属的目标图像块中的未被平滑处理区域,该未被平滑处理区域是指目标图像块中未被平滑处理的原始像素值所在的区域,即未被平滑处理区域内的像素值均为未被平滑处理的原始像素值,而目标基本块在该未被平滑处理区域内所覆盖的原始像素值,可以作为该目标基本块对应的第一区域像素信息。
其中,目标图像块中的未被平滑处理区域的确定方式可以包括:计算机设备可以从解码器中获取关于目标图像中的图像块的平滑处理参数,根据平滑处理参数,可以确定目标图像块中的未被平滑处理区域;此处的平滑处理参数可以用于指示目标图像块中已经过平滑处理或即将进行平滑处理的区域。
可选地,目标图像块中的未被平滑处理区域的确定方式还可以包括:在解码过程中通常会对目标图像中的图像块的目标边界区域进行平滑处理,图像块的目标边界区域可以是指由目标图像的图像块中与图像块的上边界线最近的Z行像素点,与该图像块的下边界线最近的Z行像素点、与图像块的左侧边线最近的Z列像素点、与图像块的右侧边线最近的Z列像素点所构成的,Z可以根据需求进行设定,如Z可以为1,或者也可以为3等。假设目标图像中的目标图像块包含N*N个原始像素值,那么计算机设备可以将目标图像块中连续的K*K个原始像素值构成的区域,确定为未被平滑处理区域;该未被平滑处理区域内的原始像素值为未被平滑处理的像素信息,N、K均为正整数,且N大于K,N与K之间的差值为2*Z,该未被平滑处理区域与目标图像块具有相同的中心点;也就是说,未被平滑处理区域可以认为是目标图像块中的中心位置区域。
进一步地,目标图像块可以被划分为多个不重叠的基本块,可以从多个不重叠的基本块中任意选取一个基本块作为目标基本块,此处的每个基本块都可以为目标图像块的四分之一区域,进而可以将目标基本块在未被平滑处理区域内所覆盖的原始像素值,确定为目标基本块对应的第一区域像素信息;由于目标图像块中的未被平滑处理区域包含K*K个原始像素值,而目标基本块为目标图像块的四分之一区域,因此目标基本块的第一区域像素信息可以包括未被平滑处理区域内的(K/2)*(K/2)个原始像素值。通过目标基本块对应的第一区域像素信息来检测该目标基本块是否存在块效应,可以避免已经过平滑处理的像素信息的干扰,可以提高目标基本块是否存在块效应的检测准确性。
步骤S202,获取目标基本块在第一方向上的第一邻近基本块,获取第一邻近基本块的第二区域像素信息;第二区域像素信息包括第一邻近基本块中的未被平滑处理的像素信息。
本申请实施例中,计算机设备可以获取目标基本块在第一方向上的第一邻近基本块,即可以在目标图像的水平方向上获取与目标基本块相邻的基本块,该水平方向上相邻的基本块可以称为第一邻近基本块,目标基本块与第一邻近基本块分别属于目标图像中水平方向相邻的两个图像块;并将该第一邻近基本块中所包含的未被平滑处理的原始像素值,确定为第一邻近基本块对应的区域像素信息(为便于理解,此处的区域像素信息可以称为第二区域像素信息)。可以理解的是,第一邻近基本块的第二区域像素信息的获取方式与前述第一区域像素信息的获取方式相同,此处不再进行赘述。
举例来说,请参见图8,图8是本申请实施例提供的一种目标图像中第一方向上相邻的两个图像块的示意图。如图8所示,目标图像包括图像块1和图像块2,图像块1和图像块2均由16*16个像素值构成,图像块1中的未被平滑处理区域1、图像块2中的未平滑处理区域2均由10*10个像素值(未被平滑处理的原始像素值)构成。其中,未被平滑处理区域1的中心点与图像块1的中心点相同,未被平滑处理区域2的中心点与图像块2的中心点相同。如图8所示,图像块1和图像块2都可以被划分为4个基本块,每个基本块可以由8*8个像素值构成,图8所示的两个虚线框区域表示目标图像中的第一方向(水平方向)上相邻的两个基本块,如图像块1中的虚线框区域为目标基本块,图像2中的虚线框区域为目标图像中的基本块在第一方向上的第一邻近基本块。
步骤S203,根据第一区域像素信息,确定目标基本块对应的第一像素分布特征,根据第二区域像素信息,确定第一邻近基本块对应的第二像素分布特征。
本申请实施例中,计算机设备可以根据目标基本块的第一区域像素信息,确定该目标基本块中未被平滑处理的原始像素值所对应的第一像素分布特征,此处的第一像素分布特征可以包括像素均值、像素标准差中的至少一个,像素均值用于反映目标基本块中的原始像素值的集中趋势,像素标准差用于反映目标基本块中的原始像素值的离散程度。同样地,计算机设备可以根据第一邻近基本块的第二区域像素信息,确定该第一邻近基本块中未被平滑处理的原始像素值所对应的第二像素分布特征。
其中,目标基本块的第一区域像素信息可以包括未被平滑处理区域内的(K/2)*(K/2)个原始像素值,第一像素分布特征的计算方式可以包括:计算机设备可以根据目标基本块对应的(K/2)*(K/2)个原始像素值,以及目标基本块在未被平滑处理区域内所覆盖的像素数量,确定目标基本块对应的像素均值;进一步地,可以根据目标基本块对应的像素均值、像素数量以及目标基本块对应的(K/2)*(K/2)个原始像素值,确定目标基本块对应的像素标准差;将目标基本块对应的像素均值和目标基本块对应的像素标准差,确定为目标基本块对应的第一像素分布特征。其中,为便于理解,可以将目标基本块在未被平滑处理区域内所覆盖的区域(即前述(K/2)*(K/2)个原始像素值所处的区域)称为检测区域,该检测区域的尺寸为(K/2)*(K/2),如图8所示的图像块1的虚线框区域(目标基本块)内的灰色区域。
其中,目标基本块对应的像素均值的具体计算方式可以包括:计算机设备可以累计该目标基本块的检测区域内的(K/2)*(K/2)个原始像素值,得到原始像素值总和;进而可以将该原始像素值总和与该目标基本块的检测区域内的像素数量之间的比值,确定为该目标基本块中的检测区域对应的像素均值。例如,假设上述K为10,那么目标基本块可以包括未被平滑处理区域内的25个原始像素值,即目标基本块的检测区域内包括25个原始像素值,目标基本块的像素均值可以采用如下公式(6)表示:
其中,在公式(6)中,Ii表示目标基本块中的检测区域内的第i个原始像素值,s表示目标基本块的像素均值。
其中,目标基本块对应的像素标准差的具体计算方式可以包括:计算机设备可以获取该目标基本块对应的(K/2)*(K/2)个原始像素值分别与该目标基本块对应的像素均值之间像素差值,作为第三像素差值,进而可以对目标基本块对应的(K/2)*(K/2)个第三像素差值进行平方和处理,得到累计像素差值;对累计像素差值与目标基本块中的像素点数量之间比值进行开方处理,得到目标基本块的检测区域内的像素标准差。例如,上述K为10,基本块的检测区域中包括25个原始像素值,目标基本块的像素标准差可以采用如下公式(7)表示:
其中,在公式(7)中,σs表示目标基本块的像素标准差。
可以理解的是,第二像素分布特征可以包括第一邻近基本块对应的像素均值和第一邻近基本块对应的像素标准差,第一邻近基本块的像素均值同样可以利用公式(6)计算得到,第一邻近基本块的像素标准值可以利用公式(7)计算得到,具体计算过程可以参见前述描述,此处不再进行赘述。
步骤S204,若基于第一像素分布特征和第二像素分布特征,确定目标基本块和第一邻近基本块处于非纹理复杂区域,且目标基本块和第一邻近基本块之间存在块效应,则确定目标基本块和第一邻近基本块满足块效应淡化条件。
本申请实施例中,由于非纹理复杂区域内的纹理掩盖效应比较弱,非纹理复杂区域内的基本块更容易受到块效应影响,也就是说,如果非纹理复杂区域内的基本块存在块效应,对基本块的质量影响更加明显,即人眼更容易看出基本块中的块效应,如从视觉上可以肉眼看到基本块中一个一个的方块。此处的非纹理复杂区域可以是指目标图像中纹理复杂度小于复杂度阈值的区域,该非纹理复杂区域也可以称为低纹理复杂度区域,即非纹理复杂区域是指像素分布比较均匀的区域,非纹理复杂区域可以包括天空所在区域、湖面所在区域、墙面所在的区域等等。此处的复杂度阈值可以是根据目标图像的拍摄时的环境参数确定的,环境参数可以包括天气、光照等信息。相反,纹理复杂区域是指目标图像中纹理复杂度大于或等于复杂度阈值的区域,该纹理复杂度可以通过像素标准值来表示。
因此,计算机设备可以只需要检测处于非纹理复杂区域内相邻的两个基本块之间是否存在块效应。换言之,若计算机设备需要判定相邻的两个基本块之间是否存在块效应,需要先判定这两个基本块是否处于非纹理复杂区域,即在确定了相邻的两个基本块都处于非纹理复杂区域后,才会继续判定这两个基本块之间是否存在块效应;当相邻的两个基本块都处于非纹理复杂区域,且这两个基本块之间存在块效应时,可以确定这两个基本块满足块效应淡化条件,即这两个基本块需要进行去块效应处理。
可以理解的是,通常非纹理复杂区域内的像素值分布比较均匀,即非纹理复杂区域的像素标准差比较小。目标基本块和第一邻近基本块作为目标图像的第一方向上相邻的两个基本块,在计算得到目标基本块的像素均值和像素标准差,以及第一邻近基本块的像素均值和像素标准差后,可以将目标基本块的像素标准差和第一邻近基本块的像素标准差分别与标准差阈值进行比对;若目标基本块的像素标准差和第一邻近基本块的像素标准差均小于标准差阈值,则表明目标基本块和第一邻近基本块内的像素值分布均比较均匀,可以确定目标基本块和第一邻近基本块均处于非纹理复杂区域;若目标基本块的像素标准差和第一邻近基本块的像素标准差大于或等于标准差阈值,则表明目标基本块和第一邻近基本块内的像素值分布均比较离散,可以确定目标基本块和第一邻近基本块均处于纹理复杂区域。通过基本块的像素标准差,检测出属于非纹理复杂区域内相邻的两个基本块(目标基本块和第一邻近基本块),有利于后续检测相邻的两个基本块之间是否存在块效应。
其中,标准差阈值可以是由目标图像拍摄时的环境参数确定的,环境参数可以包括天气、光照等信息,也可以是经验值。例如,该标准差阈值可以为5,或者为其它数值,本申请对此不做限定,该标准差阈值还可以作为非纹理复杂区域对应的复杂度阈值。假设目标基本块和第一邻近基本块的像素标准差分别为σs、σt,当σs和σt均小于5时,可以确定目标基本块和第一邻近基本块均处于纹理复杂区域。
进一步地,若目标基本块和第一邻近基本块均处于非纹理复杂区域,则可以获取处于非纹理复杂区域中的目标基本块对应的像素均值,与第一邻近基本块对应的像素均值之间的均值差;若目标基本块和第一邻近基本块之间的均值差的绝对值过大,则表明目标基本块和第一邻近基本块不属于同一纹理区域,即目标基本块和第一邻近基本块之间的像素值差异是由于目标图像内的纹理本身造成的,而不是由于块效应导致的;若目标基本块和第一邻近基本块之间的均值差的绝对值过小,则表明目标基本块和第一邻近基本块之间不存在块效应。若均值差的绝对值大于或等于第一均值阈值,且均值差的绝对值小于或等于第二均值阈值,则可以确定目标基本块和第一邻近基本块之间存在块效应。通过目标基本块和第一邻近基本块之间的均值差,检测目标基本块和第一邻近基本块之间是否存在块效应,提高块效应检测的准确度。
其中,第一均值阈值和第二均值阈值可以构成像素差异区间,该像素差异区间可以是由目标图像拍摄时的环境参数确定的,环境参数可以包括天气、光照等信息,也可以是经验值。该差异度区间可以设置为[2,10],此时的第一均值阈值可以设置为2,第二均值阈值可以设置为10,假设目标基本块和第一邻近基本块的像素均值分别为μs、μt,当μs和μt满足2≤|μ1-μ2|≤10时,可以确定目标基本块和第一邻近基本块之间存在块效应。当然,该差异度区间还可以设置为其他数值。
需要说明的是,当目标基本块与第一邻近基本块均处于非纹理复杂区域,且目标基本块与第一邻近基本块之间存在块效应时,可以确定目标基本块与第一邻近基本块满足块效应淡化条件,这表明目标基本块需要进行去块效应处理。当目标基本块与第一邻近基本块均处于非纹理复杂区域,且目标基本块与第一邻近基本块之间不存在块效应时,可以确定目标基本块与第一邻近基本块不满足块效应淡化条件;当目标基本块与第一邻近基本块处于纹理复杂区域时,可以直接判定目标基本块与第一邻近基本块不存在块效应,也就意味着目标基本块与第一邻近基本块不满足块效应淡化条件。
其中,目标基本块与第一邻近基本块为第一方向上相邻的两个基本块,通过前述步骤S201至步骤S204,可以判定目标基本块与第一邻近基本块是否满足块效应淡化条件。计算机设备还可以获取目标基本块第二方向上相邻的基本块(即第二邻近基本块,目标基本块与第二邻近基本块分别属于目标图像中的垂直方向相邻的两个图像块),并判定目标基本块与第二邻近基本块是否满足块效应淡化条件,其判定过程与目标基本块和第一邻近基本块之间的判定过程一致,此处不在进行赘述。
步骤S205,若目标图像中的目标基本块与第一方向上的第一邻近基本块,以及目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在目标基本块中确定第一边界区域和第二边界区域;第一方向和第二方向互相垂直。
步骤S206,对第一边界区域所覆盖的原始像素值进行单线性插值处理,得到第一图像区域。
步骤S207,对第二边界区域所覆盖的原始像素值进行双线性插值处理,得到第二图像区域。
步骤S208,根据第一图像区域和第二图像区域,确定去块效应后的目标基本块。
其中,步骤S205至步骤S208的具体实现过程可以参见前述图3所对应实施例的步骤S101至步骤S104中的描述,此处不再进行赘述。可以理解的是,对于目标图像的第一方向上相邻的两个图像块,若两个图像块中的基本块与两个方向(水平方向和垂直方向)上相邻的基本块均满足块效应淡化条件,那么这两个图像块中的插值区域如图9所示,图9是本申请实施例提供的一种目标图像中的图像块的插值区域示意图。图9表示目标图像中的第一方向(水平方向)上的两个图像块,其中,与区域1具有相同颜色的区域是指需要进行单线性插值处理的区域,与区域2具有相同颜色的区域是指需要进行双线性插值处理的区域。
本申请实施例中,当目标图像中的目标基本块与两个方向上的邻近基本块均满足块效应淡化条件时,可以在目标基本块中确定需要进行单线性插值处理的第一边界区域,以及需要进行双线性插值处理的第二边界区域,即不同的边界区域可以采用不同的插值处理方式。当目标图像中的目标基本块仅与一个方向上的邻近基本块满足块效应淡化条件时,可以在目标基本块中确定需要进行单线性插值处理的区域,此情形下的目标基本块中没有需要进行双线性插值处理的区域。也就是说,基于目标图像中的目标基本块是否与两个方向上的邻近基本块满足块效应淡化条件,也可以理解为目标基本块的边界区域是否被两个方向的图像块共用,对目标基本块进行单线性插值处理或双线性插值处理,可以提高目标基本块的平滑效果,降低目标基本块间的块效应,进而可以提高图像质量;通过目标基本块中未被平滑处理的原始像素值来检测该目标基本块是否满足块效应淡化条件,这样可以避免目标基本块中被平滑处理的原始像素值,对目标基本块的块效应淡化条件检测过程的干扰,可以提高目标基本块的块效应淡化条件的检测准确度。
请参见图10,图10是本申请实施例提供的一种目标图像的去块效应处理流程示意图。该去块效应处理流程可以包括以下步骤S301至步骤S307:
S301,目标图像中是否存在基本块未被遍历。计算机设备可以获取解码后的图像数据,并将解码后的图像帧作为目标图像,获取该目标图像中的所有基本块,并依次遍历该目标图像中的基本块,若目标图像中的所有基本块均已遍历完成,则结束本次流程;若目标图像中存在未被遍历的基本块,则执行步骤S302。
S302,判断水平方向相邻基本块(第一邻近基本块)和垂直方向基本块(第二邻近基本块),与当前基本块(目标基本块)间是否需要进行块效应淡化插值。计算机设备可以获取当前基本块中的检测区域对应的像素均值和像素标准差、水平方向相邻基本块中的检测区域对应的像素均值和像素标准差,以及垂直方向基本块中的检测区域对应的像素均值和像素标准差。进一步地,计算机设备可以根据当前基本块和水平方向相邻基本块的像素均值、像素标准差,判断当前基本块和水平方向相邻基本块是否满足块效应淡化条件;根据当前基本块和垂直方向相邻基本块的像素均值、像素标准差,判断当前基本块和垂直方向相邻基本块是否满足块效应淡化条件;该块效应淡化条件可以包括检测当前基本块与相邻基本块(水平方向相邻基本块,或者垂直方向基本块)是否处于非纹理复杂区域,以及检测当前基本块与两个方向上的相邻基本块之间是否存在块效应。
若当前基本块和水平方向相邻基本块不处于非纹理复杂区域,或者当前基本块和水平方向相邻基本块之间不存在块效应,则确定当前基本块和水平方向相邻基本块不满足块效应淡化条件,无需在水平方向上进行块效应淡化插值;若当前基本块和水平方向相邻基本块处于非纹理复杂区域,且当前基本块和水平方向相邻基本块之间存在块效应,则确定当前基本块和水平方向相邻基本块满足块效应淡化条件,需要在水平方向上进行块效应淡化插值。若当前基本块和垂直方向相邻基本块不处于非纹理复杂区域,或者当前基本块和垂直方向相邻基本块之间不存在块效应,则确定当前基本块和垂直方向相邻基本块不满足块效应淡化条件,无需在垂直方向上进行块效应淡化插值;若当前基本块和垂直方向相邻基本块处于非纹理复杂区域,且当前基本块和垂直方向相邻基本块之间存在块效应,则确定当前基本块和垂直方向相邻基本块满足块效应淡化条件,需要在垂直方向上进行块效应淡化插值。
S303,判断当前基本块是否需要在两个方向(水平方向和垂直方向)上进行插值。若当前基本块和水平方向相邻基本块不满足块效应淡化条件,且当前基本块和垂直方向相邻基本块不满足块效应淡化条件,则表明当前基本块在水平方向和垂直方向上都不需要进行块效应淡化插值,可以继续执行步骤S301。若当前基本块和水平方向相邻基本块满足块效应淡化条件,和/或,当前基本块和垂直方向相邻基本块满足块效应淡化条件,则执行步骤S304。
S304,判断当前基本块是否需要在一个方向上进行插值。若当前基本块和水平方向相邻基本块满足块效应淡化条件,或者,当前基本块和垂直方向相邻基本块满足块效应淡化条件,则表明当前基本块需要在一个方向上进行块效应淡化插值,并执行步骤S305。若当前基本块和水平方向相邻基本块满足块效应淡化条件,且当前基本块和垂直方向相邻基本块满足块效应淡化条件,则表明当前基本块需要在两个方向上进行块效应淡化插值,并执行步骤S306。
S305,单线性插值应用于所有需要插值的像素点。计算机设备可以采用公式(4),或者采用公式(5)对当前基本块中需要插值的原始像素值进行单线性插值处理,得到当前基本块内的更新像素值。
S306,图像块夹角区域使用双线性插值,其他需要插值的区域使用单线性插值。可以采用公式(3)对当前基本块中的图像块夹角区域(当前基本块所属的图像块的夹角区域,如第二边界区域)中的原始像素值进行双线性插值处理,得到图像块夹角区域内的更新像素值。可以采用公式(1)和公式(1)对当前基本块中其他需要插值的区域内的原始像素值进行单线性插值处理,得到其他需要插值的区域内的更新像素值。
S307,细节纹理保护。更新像素值与原始像素值之间的差异过大时,使用原始像素值。计算机设备可以计算当前基本块内的更新像素值与原始像素值之间的像素差值,若当前基本块中更新像素值e与其对应的原始像素值之间的像素差值小于或等于像素阈值,表明该原始像素值不属于目标图像中的细节纹理区域,则将更新像素值e确定为去块效应处理后的最终像素值。若当前基本块中的更新像素值e与其对应的原始像素值之间的像素差值大于像素阈值,表明更新像素值e与其对应的原始像素值之间的像素差值过大,表明更新像素值e对应的原始像素值属于目标图像中的细节纹理区域,则保留该原始像素值,丢弃该更新像素值e,即不对细节纹理区域内的像素点的像素值进行更新,实现保护细节纹理区域,提高图像质量。像素点e可以为当前基本块内的任一像素点。
综上,基于目标图像中的目标基本块是否与两个方向上相邻的基本块满足块效应淡化条件,也可以理解为目标基本块的边界区域是否被两个方向的图像块共用,对目标基本块进行单线性插值处理或双线性插值处理,可以提高目标基本块的平滑效果,降低目标基本块间的块效应,进而可以提高图像质量;通过目标基本块中未被平滑处理的原始像素值来检测该目标基本块是否满足块效应淡化条件,这样可以避免目标基本块中被平滑处理的原始像素值,对目标基本块的块效应淡化条件检测过程的干扰,可以提高目标基本块的块效应淡化条件的检测准确度。同时,对目标图像中的细节纹理区域进行保护,避免删除目标图像中真实存在的细节纹理,提高图像质量,确保图像的真实性。
请参见图11,是本申请实施例提供的一种图像数据处理装置的结构示意图。上述图像数据处理装置可以是运行于计算机设备中的一个计算机程序(包括程序代码),例如该图像数据处理装置为一个应用软件;该装置可以用于执行本申请实施例提供的方法中的相应步骤。如图11所示,该图像数据处理装置1可以包括:图像获取模块10,条件判定模块11,第一插值处理模块12,第二插值处理模块13,确定模块14;
图像获取模块10,用于获取目标图像;
条件判定模块11,用于若目标图像中的目标基本块与第一方向上的第一邻近基本块,以及目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在目标基本块中确定第一边界区域和第二边界区域;第一方向和第二方向互相垂直,目标基本块、第一邻近基本块以及第二邻近基本块在目标图像中所属的图像块是不同的,且目标基本块、第一邻近基本块以及第二邻近基本块的尺寸均小于目标图像中的图像块的尺寸;
第一插值处理模块12,用于对第一边界区域所覆盖的原始像素值进行单线性插值处理,得到第一图像区域;
第二插值处理模块13,用于对第二边界区域所覆盖的原始像素值进行双线性插值处理,得到第二图像区域;
确定模块14,用于根据第一图像区域和第二图像区域,确定去块效应后的目标基本块。
在一个或多个实施例中,条件判定模块11用于:
若目标图像中的目标基本块与第一方向上的第一邻近基本块,以及目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在目标基本块中,将与第一邻近基本块相邻且与第二邻近基本块不相邻的边界区域确定为第一边界子区域;
在目标基本块中,将与第二邻近基本块相邻且与第一邻近基本块相邻的边界区域确定为第二边界子区域,将第一边界子区域和第二边界子区域确定为第一边界区域;第一边界子区域与第二边界子区域互不重叠;
在除第一边界区域的目标基本块中,将与第一邻近基本块和第二邻近基本块均相邻的边界区域确定为第二边界区域。
在一个或多个实施例中,第一插值处理模块12用于:
在目标基本块中获取与第一边界子区域内的像素行R相邻的像素值a,在第一邻近基本块中获取与像素值a相对称的像素值b;像素值a和像素值b之间的对称轴为目标基本块和第一邻近基本块的边界,R为小于或等于第一边界子区域内的行数量;
根据像素值a和像素值b,对像素行R内的各个原始像素值进行单线性插值处理,得到第一图像子区域;
在目标基本块中获取与第二边界子区域内的像素列L相邻的像素值c,在第二邻近基本块中获取与像素值c相对称的像素值d;像素值c和像素值d之间的对称轴为目标基本块和第二邻近基本块的边界,L为小于或等于第二边界子区域内的列数量;
根据像素值c和像素值d,对像素列L内的各个原始像素值进行单线性插值处理,得到第二图像子区域,将第一图像子区域和第二图像子区域确定为第一图像区域。
在一个或多个实施例中,第一插值处理模块12根据像素值a和像素值b,对像素行R内的各个原始像素值进行单线性插值处理,得到第一图像子区域,包括:
获取像素值b和像素值a之间的第一像素差值,以及获取像素值b和像素值a之间的第一位置距离;
获取像素行R内的各个原始像素值分别与像素值a之间的第二位置距离,将第一像素差值,以及第二位置距离和第一位置距离的比值之间的乘积确定为第一像素平滑值;
根据像素值a和第一像素平滑值,确定像素行R内的各个原始像素值分别对应的更新像素值,将具有像素行R内的各个更新像素值的第一边界子区域,确定为第一图像子区域。
在一个或多个实施例中,第一差值处理模块12根据像素值c和像素值d,对像素列L内的各个原始像素值进行单线性插值处理,得到第二图像子区域,包括:
获取像素值d和像素值c之间的第二像素差值,以及获取像素值d和像素值c之间的第三位置距离;
获取像素列L内的各个原始像素值分别与像素值c之间的第四位置距离,将第二像素差值,以及第四位置距离和第三位置距离的比值之间的乘积确定为第二像素平滑值;
将像素值c和第二像素平滑值之和,确定为像素列L内的各个原始像素值分别对应的更新像素值,将具有像素列L内的各个更新像素值的第二边界子区域,确定为第二图像子区域。
在一个或多个实施例中,第二插值处理模块13用于:
在目标基本块中获取与第二边界区域相邻的第一像素行区域和第一像素列区域;第一像素行区域内的列数量与第二边界区域内的列数量相同,第一像素列区域内的行数量与第二边界区域内的行数量相同;
在第一邻近基本块中确定与第一像素列区域相对称的第二像素列区域,在第二邻近基本块中确定与第一像素行区域相对称的第二像素行区域;第一像素列区域和第二像素列区域之间的对称轴为目标基本块和第一邻近基本块的边界,第一像素行区域和第二像素行区域之间的对称轴为目标基本块和第二邻近基本块的边界;
根据第一像素列区域内的像素值和第二像素列区域内的像素值,对第二边界区域内的各个原始像素值进行第一方向上的插值处理,得到第二边界区域内的各个原始像素值分别对应的第一方向插值结果;
根据第一像素行区域内的像素值和第二像素行区域内的像素值,对第二边界区域内的各个原始像素值进行第二方向上的插值处理,得到第二边界区域内的各个原始像素值分别对应的第二方向插值结果;
将第一方向插值结果和第二方向插值结果的平均值,确定为第二边界区域内的各个原始像素值对应的更新像素值,将具有更新像素值的第二边界区域确定为第二图像区域。
在一个或多个实施例中,确定模块14用于:
将第一图像区域和第二图像区域确定为候选图像区域,获取与候选图像区域内的各个更新像素值相对应的原始像素值;
若候选图像区域内的各个更新像素值与对应的原始像素值之间的像素差值小于或等于像素阈值,则保留候选图像区域内的各个更新像素值,根据候选图像区域得到去块效应后的目标基本块;
若候选图像区域内存在更新像素值e与对应的原始像素值之间的像素差值大于像素阈值,则将更新像素值e替换为对应的原始像素值,得到更新后的候选图像区域,根据更新后的候选图像区域得到去块效应后的目标基本块。
在一个或多个实施例中,条件判定模块11还用于:
若目标基本块与第一方向上的第一邻近基本块满足块效应淡化条件,且目标基本块与第二方向上的第二邻近基本块不满足块效应淡化条件,则在目标基本块中,将与第一邻近基本块和第二邻近基本块相邻的边界区域确定为第三边界区域;第三边界区域内的行数量与目标基本块的行数量相同;
对第三边界区域内的原始像素值进行第一方向上的单线性插值处理,得到去块效应后的目标基本块。
在一个或多个实施例中,条件判定模块11还用于:
若目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,且目标基本块与第一方向上的第一邻近基本块不满足块效应淡化条件,则在目标基本块中,将与第一邻近基本块和第二邻近基本块相邻的边界区域确定为第四边界区域;第四边界区域内的列数量与目标基本块的列数量相同;
对第四边界区域内的原始像素值进行第二方向上的单线性插值处理,得到去块效应后的目标基本块。
在一个或多个实施例中,该图像数据处理装置1还包括:区域像素获取模块15,分布特征确定模块16,块效应淡化条件确定模块17;
区域像素获取模块15,用于获取目标图像中的目标基本块的第一区域像素信息;第一区域像素信息包括目标基本块中的未被平滑处理的像素信息;
区域像素获取模块15,还用于获取目标基本块在第一方向上的第一邻近基本块,获取第一邻近基本块的第二区域像素信息;第二区域像素信息包括第一邻近基本块中的未被平滑处理的像素信息;
分布特征确定模块16,用于根据第一区域像素信息,确定目标基本块对应的第一像素分布特征,根据第二区域像素信息,确定第一邻近基本块对应的第二像素分布特征;
块效应淡化条件确定模块17,用于若基于第一像素分布特征和第二像素分布特征,确定目标基本块和第一邻近基本块处于非纹理复杂区域,且目标基本块和第一邻近基本块之间存在块效应,则确定目标基本块和第一邻近基本块满足块效应淡化条件;非纹理复杂区域为目标图像中纹理复杂度小于复杂度阈值的区域。
在一个或多个实施例中,区域像素获取模块15获取目标图像中的目标基本块的第一区域像素信息,包括:
在目标图像中获取包含N*N个原始像素值的目标图像块,将目标图像块中连续的K*K个原始像素值构成的区域,确定为未被平滑处理区域;未被平滑处理区域内的原始像素值为未被平滑处理的像素信息,N、K均为正整数,且N大于K,未被平滑处理区域与目标图像块之间具有相同的中心点;
将目标图像块划分为多个不重叠的基本块,从多个不重叠的基本块中选择目标基本块;每个基本块均为目标图像块的四分之一区域;
将目标基本块在未被平滑处理区域内所覆盖的原始像素值,确定为目标基本块的第一区域像素信息。
在一个或多个实施例中,第一区域像素信息包括未被平滑处理区域内的(K/2)*(K/2)个原始像素值;
分布特征确定模块16根据第一区域像素信息,确定目标基本块对应的第一像素分布特征,包括:
根据目标基本块对应的(K/2)*(K/2)个原始像素值,以及目标基本块在未被平滑处理区域内所覆盖的像素数量,确定目标基本块对应的像素均值;
根据目标基本块对应的像素均值、像素数量以及目标基本块对应的(K/2)*(K/2)个原始像素值,确定目标基本块对应的像素标准差;
将目标基本块对应的像素均值和目标基本块对应的像素标准差,确定为目标基本块对应的第一像素分布特征。
在一个或多个实施例中,块效应淡化条件确定模块17还用于:
若目标基本块对应的像素标准差和第一邻近基本块对应的像素标准差均小于标准差阈值,则确定目标基本块和第一邻近基本块处于非纹理复杂区域;
获取处于非纹理复杂区域中的目标基本块对应的像素均值,与第一邻近基本块对应的像素均值之间的均值差;
若均值差的绝对值大于或等于第一均值阈值,且均值差的绝对值小于或等于第二均值阈值,则确定目标基本块和第一邻近基本块之间存在块效应。
根据本申请的一种实施例,前文所示的图像处理方法所涉及的步骤可以由图11所示的图像数据处理装置1中的各个模块来执行。例如,图3所示的步骤S101可由图11所示的图像获取模块10和条件判定模块11来执行,图3所示的步骤S102可由图11所示的第一插值处理模块12来执行,图3所示的步骤S103可由图11所示的第二插值处理模块13来执行,图3所示的步骤S104可由图11所示的确定模块14来执行等。
根据本申请的一个实施例,图11所示的图像数据处理装置1中的各个模块可以分别或全部合并为一个或若干个单元来构成,或者其中的某个(些)单元还可以再拆分为功能上更小的至少两个子单元,可以实现同样的操作,而不影响本申请的实施例的技术效果的实现。上述模块是基于逻辑功能划分的,在实际应用中,一个模块的功能也可以由至少两个单元来实现,或者至少两个模块的功能由一个单元实现。在本申请的其它实施例中,图像数据处理装置1也可以包括其它单元,在实际应用中,这些功能也可以由其它单元协助实现,并且可以由至少两个单元协作实现。
本申请实施例中,当目标图像中的目标基本块与两个方向上的邻近基本块均满足块效应淡化条件时,可以在目标基本块中确定需要进行单线性插值处理的第一边界区域,以及需要进行双线性插值处理的第二边界区域,即不同的边界区域可以采用不同的插值处理方式。当目标图像中的目标基本块仅与一个方向上的邻近基本块满足块效应淡化条件时,可以在目标基本块中确定需要进行单线性插值处理的区域,此情形下的目标基本块中没有需要进行双线性插值处理的区域。也就是说,基于目标图像中的目标基本块是否与两个方向上的邻近基本块满足块效应淡化条件,也可以理解为目标基本块的边界区域是否被两个方向的基本块共用,对目标基本块进行单线性插值处理或双线性插值处理,可以提高目标基本块的平滑效果,降低目标基本块的块效应,进而可以提高图像质量;通过目标基本块中未被平滑处理的原始像素值来检测该目标基本块是否满足块效应淡化条件,这样可以避免目标基本块中被平滑处理的原始像素值,对目标基本块的块效应淡化条件检测过程的干扰,可以提高目标基本块的块效应淡化条件的检测准确度。
请参见图12,是本申请实施例提供的一种计算机设备的结构示意图。如图12所示,上述计算机设备1000可以包括:处理器1001,网络接口1004和存储器1005,此外,上述计算机设备1000还可以包括:用户接口1003,和至少一个通信总线1002。其中,通信总线1002用于实现这些组件之间的连接通信。其中,用户接口1003可以包括显示屏(Display)、键盘(Keyboard),可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。存储器1005可以是高速RAM存储器,也可以是非易失性的存储器(non-volaTile memory),例如至少一个磁盘存储器。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图12所示,作为一种计算机可读存储介质的存储器1005中可以包括操作系统、网络通信模块、媒体内容接口模块以及设备控制应用程序。
在图12所示的计算机设备1000中,网络接口1004可提供网络通讯功能;而用户接口1003主要用于为媒体内容提供输入的接口。
可理解的是,处理器1001可以用于调用存储器1005中存储的设备限定应用程序,以实现:
获取目标图像;
若目标图像中的目标基本块与第一方向上的第一邻近基本块,以及目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在目标基本块中确定第一边界区域和第二边界区域;第一方向和第二方向互相垂直,目标基本块、第一邻近基本块以及第二邻近基本块在目标图像中所属的图像块是不同的,且目标基本块、第一邻近基本块以及第二邻近基本块的尺寸均小于目标图像中的图像块的尺寸;
对第一边界区域所覆盖的原始像素值进行单线性插值处理,得到第一图像区域;
对第二边界区域所覆盖的原始像素值进行双线性插值处理,得到第二图像区域;
根据第一图像区域和第二图像区域,确定去块效应后的目标基本块。
应当理解,本申请实施例中所描述的计算机设备1000可执行前文图3、图7以及图10任一个所对应实施例中对图像数据处理方法的描述,也可执行前文图11所对应实施例中图像数据处理装置1的描述,在此不再赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。
此外,这里需要指出的是:本申请实施例还提供了一种计算机可读存储介质,且上述计算机可读存储介质中存储有前文提及的图像数据处理装置1所执行的计算机程序,且上述计算机程序包括程序指令,当上述处理器执行上述程序指令时,能够执行前文图3、图7以及图10任一个所对应实施例中对图像数据处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机可读存储介质实施例中未披露的技术细节,请参照本申请方法实施例的描述。
作为示例,上述程序指令可被部署在一个计算机设备上执行,或者被部署位于一个地点的至少两个计算机设备上执行,又或者,在分布在至少两个地点且通过通信网络互连的至少两个计算机设备上执行,分布在至少两个地点且通过通信网络互连的至少两个计算机设备可以组成区块链网络。
上述计算机可读存储介质可以是前述任一实施例提供的图像数据处理装置或者上述计算机设备的内部存储单元,例如计算机设备的硬盘或内存。该计算机可读存储介质也可以是该计算机设备的外部存储设备,例如该计算机设备上配备的插接式硬盘,智能存储卡(smarT media card,SMC),安全数字(secure digiTal,SD)卡,闪存卡(flash card)等。进一步地,该计算机可读存储介质还可以既包括该计算机设备的内部存储单元也包括外部存储设备。该计算机可读存储介质用于存储该计算机程序以及该计算机设备所需的其他程序和数据。该计算机可读存储介质还可以用于暂时地存储已经输出或者将要输出的数据。
此外,需要说明的是:本申请实施例还提供了一种计算机程序产品或计算机程序,该计算机程序产品或者计算机程序可以包括计算机指令,该计算机指令可以存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器可以执行该计算机指令,使得该计算机设备执行前文图3、图7以及图10任一个所对应实施例中对点云处理方法的描述,因此,这里将不再进行赘述。另外,对采用相同方法的有益效果描述,也不再进行赘述。对于本申请所涉及的计算机程序产品或者计算机程序实施例中未披露的技术细节,请参照本申请方法实施例的描述。
本申请实施例的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别不同媒体内容,而非用于描述特定顺序。此外,术语“包括”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或设备没有限定于已列出的步骤或模块,而是可选地还包括没有列出的步骤或模块,或可选地还包括对于这些过程、方法、装置、产品或设备固有的其他步骤单元。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,为了清楚地说明硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
本申请实施例提供的方法及相关装置是参照本申请实施例提供的方法流程图和/或结构示意图来描述的,具体可由计算机程序指令实现方法流程图和/或结构示意图的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。这些计算机程序指令可提供到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或结构示意图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或结构示意一个方框或多个方框中指定的功能的步骤。
以上所揭露的仅为本申请较佳实施例而已,当然不能以此来限定本申请之权利范围,因此依本申请权利要求所作的等同变化,仍属本申请所涵盖的范围。
Claims (17)
1.一种图像数据处理方法,其特征在于,包括:
获取目标图像;
若所述目标图像中的目标基本块与第一方向上的第一邻近基本块,以及所述目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在所述目标基本块中确定第一边界区域和第二边界区域;所述第一方向和所述第二方向互相垂直,所述目标基本块、所述第一邻近基本块以及第二邻近基本块在所述目标图像中所属的图像块是不同的,且所述目标基本块、所述第一邻近基本块以及第二邻近基本块的尺寸均小于所述目标图像中的图像块的尺寸;
对所述第一边界区域所覆盖的原始像素值进行单线性插值处理,得到第一图像区域;
对所述第二边界区域所覆盖的原始像素值进行双线性插值处理,得到第二图像区域;
根据所述第一图像区域和所述第二图像区域,确定去块效应后的目标基本块。
2.根据权利要求1所述的方法,其特征在于,所述若所述目标图像中的目标基本块与第一方向上的第一邻近基本块,以及所述目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在所述目标基本块中确定第一边界区域和第二边界区域,包括:
若所述目标图像中的目标基本块与第一方向上的第一邻近基本块,以及所述目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在所述目标基本块中,将与所述第一邻近基本块相邻且与所述第二邻近基本块不相邻的边界区域确定为第一边界子区域;
在所述目标基本块中,将与所述第二邻近基本块相邻且与所述第一邻近基本块相邻的边界区域确定为第二边界子区域,将所述第一边界子区域和所述第二边界子区域确定为第一边界区域;所述第一边界子区域与所述第二边界子区域互不重叠;
在除所述第一边界区域的目标基本块中,将与所述第一邻近基本块和所述第二邻近基本块均相邻的边界区域确定为第二边界区域。
3.根据权利要求2所述的方法,其特征在于,所述对所述第一边界区域所覆盖的原始像素值进行单线性插值处理,得到第一图像区域,包括:
在所述目标基本块中获取与所述第一边界子区域内的像素行R相邻的像素值a,在所述第一邻近基本块中获取与所述像素值a相对称的像素值b;所述像素值a和所述像素值b之间的对称轴为所述目标基本块和所述第一邻近基本块的边界,R为小于或等于所述第一边界子区域内的行数量;
根据所述像素值a和所述像素值b,对所述像素行R内的各个原始像素值进行单线性插值处理,得到第一图像子区域;
在所述目标基本块中获取与所述第二边界子区域内的像素列L相邻的像素值c,在所述第二邻近基本块中获取与所述像素值c相对称的像素值d;所述像素值c和所述像素值d之间的对称轴为所述目标基本块和所述第二邻近基本块的边界,L为小于或等于所述第二边界子区域内的列数量;
根据所述像素值c和所述像素值d,对所述像素列L内的各个原始像素值进行单线性插值处理,得到第二图像子区域,将所述第一图像子区域和所述第二图像子区域确定为第一图像区域。
4.根据权利要求3所述的方法,其特征在于,所述根据所述像素值a和所述像素值b,对所述像素行R内的各个原始像素值进行单线性插值处理,得到第一图像子区域,包括:
获取所述像素值b和所述像素值a之间的第一像素差值,以及获取所述像素值b和所述像素值a之间的第一位置距离;
获取所述像素行R内的各个原始像素值分别与所述像素值a之间的第二位置距离,将所述第一像素差值,以及所述第二位置距离和所述第一位置距离的比值之间的乘积确定为第一像素平滑值;
根据所述像素值a和所述第一像素平滑值,确定所述像素行R内的各个原始像素值分别对应的更新像素值,将具有所述像素行R内的各个更新像素值的第一边界子区域,确定为第一图像子区域。
5.根据权利要求3所述的方法,其特征在于,所述根据所述像素值c和所述像素值d,对所述像素列L内的各个原始像素值进行单线性插值处理,得到第二图像子区域,包括:
获取所述像素值d和所述像素值c之间的第二像素差值,以及获取所述像素值d和所述像素值c之间的第三位置距离;
获取所述像素列L内的各个原始像素值分别与所述像素值c之间的第四位置距离,将所述第二像素差值,以及所述第四位置距离和所述第三位置距离的比值之间的乘积确定为第二像素平滑值;
将所述像素值c和所述第二像素平滑值之和,确定为所述像素列L内的各个原始像素值分别对应的更新像素值,将具有所述像素列L内的各个更新像素值的第二边界子区域,确定为第二图像子区域。
6.根据权利要求1或2任一项所述的方法,其特征在于,所述对所述第二边界区域所覆盖的原始像素值进行双线性插值处理,得到第二图像区域,包括:
在所述目标基本块中获取与所述第二边界区域相邻的第一像素行区域和第一像素列区域;所述第一像素行区域内的列数量与所述第二边界区域内的列数量相同,所述第一像素列区域内的行数量与所述第二边界区域内的行数量相同;
在所述第一邻近基本块中确定与所述第一像素列区域相对称的第二像素列区域,在所述第二邻近基本块中确定与所述第一像素行区域相对称的第二像素行区域;所述第一像素列区域和所述第二像素列区域之间的对称轴为所述目标基本块和所述第一邻近基本块的边界,所述第一像素行区域和所述第二像素行区域之间的对称轴为所述目标基本块和所述第二邻近基本块的边界;
根据所述第一像素列区域内的像素值和所述第二像素列区域内的像素值,对所述第二边界区域内的各个原始像素值进行第一方向上的插值处理,得到所述第二边界区域内的各个原始像素值分别对应的第一方向插值结果;
根据所述第一像素行区域内的像素值和所述第二像素行区域内的像素值,对所述第二边界区域内的各个原始像素值进行第二方向上的插值处理,得到所述第二边界区域内的各个原始像素值分别对应的第二方向插值结果;
将所述第一方向插值结果和第二方向插值结果的平均值,确定为所述第二边界区域内的各个原始像素值对应的更新像素值,将具有更新像素值的第二边界区域确定为第二图像区域。
7.根据权利要求1所述的方法,其特征在于,所述根据所述第一图像区域和所述第二图像区域,确定去块效应后的目标基本块,包括:
将所述第一图像区域和所述第二图像区域确定为候选图像区域,获取与候选图像区域内的各个更新像素值相对应的原始像素值;
若所述候选图像区域内的各个更新像素值与对应的原始像素值之间的像素差值小于或等于像素阈值,则保留所述候选图像区域内的各个更新像素值,根据所述候选图像区域得到去块效应后的目标基本块;
若所述候选图像区域内存在更新像素值e与对应的原始像素值之间的像素差值大于所述像素阈值,则将所述更新像素值e替换为对应的原始像素值,得到更新后的候选图像区域,根据所述更新后的候选图像区域得到去块效应后的目标基本块。
8.根据权利要求1所述的方法,其特征在于,还包括:
若所述目标基本块与第一方向上的第一邻近基本块满足块效应淡化条件,且所述目标基本块与第二方向上的第二邻近基本块不满足块效应淡化条件,则在所述目标基本块中,将与所述第一邻近基本块和所述第二邻近基本块相邻的边界区域确定为第三边界区域;所述第三边界区域内的行数量与所述目标基本块的行数量相同;
对所述第三边界区域内的原始像素值进行第一方向上的单线性插值处理,得到去块效应后的目标基本块。
9.根据权利要求1所述的方法,其特征在于,还包括:
若所述目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,且所述目标基本块与第一方向上的第一邻近基本块不满足块效应淡化条件,则在所述目标基本块中,将与所述第一邻近基本块和所述第二邻近基本块相邻的边界区域确定为第四边界区域;所述第四边界区域内的列数量与所述目标基本块的列数量相同;
对所述第四边界区域内的原始像素值进行第二方向上的单线性插值处理,得到去块效应后的目标基本块。
10.根据权利要求1所述的方法,其特征在于,还包括:
获取所述目标图像中的目标基本块的第一区域像素信息;所述第一区域像素信息包括所述目标基本块中的未被平滑处理的像素信息;
获取所述目标基本块在第一方向上的第一邻近基本块,获取所述第一邻近基本块的第二区域像素信息;所述第二区域像素信息包括所述第一邻近基本块中的未被平滑处理的像素信息;
根据所述第一区域像素信息,确定所述目标基本块对应的第一像素分布特征,根据所述第二区域像素信息,确定所述第一邻近基本块对应的第二像素分布特征;
若基于所述第一像素分布特征和所述第二像素分布特征,确定所述目标基本块和所述第一邻近基本块处于非纹理复杂区域,且所述目标基本块和所述第一邻近基本块之间存在块效应,则确定所述目标基本块和所述第一邻近基本块满足块效应淡化条件;所述非纹理复杂区域为所述目标图像中纹理复杂度小于复杂度阈值的区域。
11.根据权利要求10所述的方法,其特征在于,所述获取所述目标图像中的目标基本块的第一区域像素信息,包括:
在所述目标图像中获取包含N*N个原始像素值的目标图像块,将所述目标图像块中连续的K*K个原始像素值构成的区域,确定为未被平滑处理区域;所述未被平滑处理区域内的原始像素值为未被平滑处理的像素信息,N、K均为正整数,且N大于K,所述未被平滑处理区域与所述目标图像块之间具有相同的中心点;
将所述目标图像块划分为多个不重叠的基本块,从所述多个不重叠的基本块中选择目标基本块;每个基本块均为所述目标图像块的四分之一区域;
将所述目标基本块在所述未被平滑处理区域内所覆盖的原始像素值,确定为所述目标基本块的第一区域像素信息。
12.根据权利要求11所述的方法,其特征在于,所述第一区域像素信息包括所述未被平滑处理区域内的(K/2)*(K/2)个原始像素值;
所述根据所述第一区域像素信息,确定所述目标基本块对应的第一像素分布特征,包括:
根据所述目标基本块对应的(K/2)*(K/2)个原始像素值,以及所述目标基本块在所述未被平滑处理区域内所覆盖的像素数量,确定所述目标基本块对应的像素均值;
根据所述目标基本块对应的像素均值、所述像素数量以及所述目标基本块对应的(K/2)*(K/2)个原始像素值,确定所述目标基本块对应的像素标准差;
将所述目标基本块对应的像素均值和所述目标基本块对应的像素标准差,确定为所述目标基本块对应的第一像素分布特征。
13.根据权利要求12所述的方法,其特征在于,还包括:
若所述目标基本块对应的像素标准差和所述第一邻近基本块对应的像素标准差均小于标准差阈值,则确定所述目标基本块和所述第一邻近基本块处于非纹理复杂区域;
获取处于所述非纹理复杂区域中的所述目标基本块对应的像素均值,与所述第一邻近基本块对应的像素均值之间的均值差;
若所述均值差的绝对值大于或等于第一均值阈值,且所述均值差的绝对值小于或等于第二均值阈值,则确定所述目标基本块和所述第一邻近基本块之间存在块效应。
14.一种图像数据处理装置,其特征在于,包括:
图像获取模块,用于获取目标图像;
条件判定模块,用于若目标图像中的目标基本块与第一方向上的第一邻近基本块,以及所述目标基本块与第二方向上的第二邻近基本块满足块效应淡化条件,则在所述目标基本块中确定第一边界区域和第二边界区域;所述第一方向和所述第二方向互相垂直,所述目标基本块、所述第一邻近基本块以及第二邻近基本块在所述目标图像中所属的图像块是不同的,且所述目标基本块、所述第一邻近基本块以及第二邻近基本块的尺寸均小于所述目标图像中的图像块的尺寸;
第一插值处理模块,用于对所述第一边界区域所覆盖的原始像素值进行单线性插值处理,得到第一图像区域;
第二插值处理模块,用于对所述第二边界区域所覆盖的原始像素值进行双线性插值处理,得到第二图像区域;
确定模块,用于根据所述第一图像区域和所述第二图像区域,确定去块效应后的目标基本块。
15.一种计算机设备,其特征在于,包括:处理器以及存储器;
上述处理器与存储器相连;所述存储器用于存储程序代码,所述处理器用于调用所述程序代码,以执行如权利要求1至13任一项所述的方法。
16.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序包括程序指令,所述程序指令当被处理器执行时使所述处理器执行如权利要求1至13任一项所述的方法。
17.一种计算机程序产品,其特征在于,包括计算机程序/指令,所述计算机程序/指令被处理器执行时实现权利要求1至13任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211340719.0A CN115546065A (zh) | 2022-10-29 | 2022-10-29 | 图像数据处理方法、装置、设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211340719.0A CN115546065A (zh) | 2022-10-29 | 2022-10-29 | 图像数据处理方法、装置、设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115546065A true CN115546065A (zh) | 2022-12-30 |
Family
ID=84717868
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211340719.0A Pending CN115546065A (zh) | 2022-10-29 | 2022-10-29 | 图像数据处理方法、装置、设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115546065A (zh) |
-
2022
- 2022-10-29 CN CN202211340719.0A patent/CN115546065A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111681167B (zh) | 画质调整方法和装置、存储介质及电子设备 | |
CN111918066B (zh) | 视频编码方法、装置、设备及存储介质 | |
CN105472205B (zh) | 编码过程中的实时视频降噪方法和装置 | |
CN109379594B (zh) | 视频编码压缩方法、装置、设备和介质 | |
US9984504B2 (en) | System and method for improving video encoding using content information | |
CN103037214A (zh) | 视频压缩方法 | |
CN112672149B (zh) | 一种视频处理方法、装置、存储介质及服务器 | |
CN113068034B (zh) | 视频编码方法及装置、编码器、设备、存储介质 | |
CN113096233B (zh) | 图像处理方法、装置、电子设备及可读存储介质 | |
CN110766637B (zh) | 一种视频处理方法、处理装置、电子设备及存储介质 | |
CN109587491A (zh) | 一种帧内预测方法、装置及存储介质 | |
CN109783658A (zh) | 图像处理方法、装置及存储介质 | |
CN113556582A (zh) | 视频数据处理方法、装置、设备以及存储介质 | |
CN112565887A (zh) | 一种视频处理方法、装置、终端及存储介质 | |
CN115209147B (zh) | 摄像头视频传输带宽优化方法、装置、设备及存储介质 | |
CN115546065A (zh) | 图像数据处理方法、装置、设备及存储介质 | |
CN116980604A (zh) | 视频编码方法、视频解码方法及相关设备 | |
CN113852816A (zh) | 视频帧处理方法、装置、计算机设备和可读存储介质 | |
CN116567247A (zh) | 视频编码方法、实时通信方法、装置、设备及存储介质 | |
CN114071161B (zh) | 图像编码方法、图像解码方法及相关装置 | |
CN114677464A (zh) | 图像处理方法、图像处理装置、计算机设备及存储介质 | |
CN113613024A (zh) | 视频预处理方法及设备 | |
CN111869211B (zh) | 图像编码装置和方法 | |
CN115546066A (zh) | 图像数据处理方法、装置、设备及存储介质 | |
CN113542864A (zh) | 视频的花屏区域检测方法、装置、设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40079078 Country of ref document: HK |