CN111652818B - 一种基于金字塔的图像滤波方法、装置及存储介质 - Google Patents

一种基于金字塔的图像滤波方法、装置及存储介质 Download PDF

Info

Publication number
CN111652818B
CN111652818B CN202010475358.5A CN202010475358A CN111652818B CN 111652818 B CN111652818 B CN 111652818B CN 202010475358 A CN202010475358 A CN 202010475358A CN 111652818 B CN111652818 B CN 111652818B
Authority
CN
China
Prior art keywords
image
image block
filtering
pyramid
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010475358.5A
Other languages
English (en)
Other versions
CN111652818A (zh
Inventor
粘春湄
方瑞东
林聚财
殷俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Dahua Technology Co Ltd
Original Assignee
Zhejiang Dahua Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Dahua Technology Co Ltd filed Critical Zhejiang Dahua Technology Co Ltd
Priority to CN202010475358.5A priority Critical patent/CN111652818B/zh
Publication of CN111652818A publication Critical patent/CN111652818A/zh
Application granted granted Critical
Publication of CN111652818B publication Critical patent/CN111652818B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20016Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Abstract

本申请公开了一种基于金字塔的图像滤波方法、装置及存储介质,该方法包括:构建待处理图像的图像金字塔;按照分辨率的顺序依次从图像金字塔中取出下采样图像作为当前层图像;对当前层图像进行滤波,得到中间滤波图像;对中间滤波图像进行上采样,得到上采样图像;将上采样图像与当前层图像的下一层图像进行融合,得到融合图像;将融合图像作为当前层图像,并判断当前层是否为最后一层;若当前层不为最后一层,则返回对当前层图像进行滤波,得到中间滤波图像的步骤;若当前层为最后一层,则得到中间处理图像,将中间处理图像与待处理图像融合,对融合后的图像进行滤波,得到滤波图像,并输出。通过上述方式,本申请能够抑制误差,提升滤波效果。

Description

一种基于金字塔的图像滤波方法、装置及存储介质
技术领域
本申请涉及图像处理技术领域,具体涉及一种基于金字塔的图像滤波方法、装置及存储介质。
背景技术
目前在图像和视频编码领域有些方案采用基于块的编码方式,能够大幅降低码率,节省带宽,便于图像数据信息的传输;然而随着比特率的降低,量化过程变得更粗糙,图像块/编码块在边界处容易出现不连续的失真,造成重建图像质量下降,产生块效应。现有技术中为了改善块效应,可构建基于变换系数的去块效应优化函数,通过求解有约束的最优化问题,用滤波器处理边界像素点,并且保证变换系数在去块效应前后的一致性,避免引起二次误差,但是其没有对样本块进行分类,对所有类型的样本块采用相同的优化函数,限制整体质量的提升;还有方案采用自适应滤波器对图像块进行完全平滑滤波、部分平滑滤波和边界调整滤波,但其是对单一尺度的图像进行处理,无法降低处理后的误差。
发明内容
本申请提供一种基于金字塔的图像滤波方法、装置及存储介质,能够抑制误差,提升滤波效果。
为解决上述技术问题,本申请采用的技术方案是提供一种基于金字塔的图像滤波方法,该方法包括:构建待处理图像的图像金字塔,其中,图像金字塔包括待处理图像以及对待处理图像进行下采样得到的至少一张下采样图像,每张下采样图像的分辨率不同;按照分辨率的顺序依次从图像金字塔中取出下采样图像作为当前层图像;对当前层图像进行滤波,得到中间滤波图像;对中间滤波图像进行上采样,得到上采样图像;将上采样图像与当前层图像的下一层图像进行融合,得到融合图像;将融合图像作为当前层图像,并判断当前层是否为最后一层;若当前层不为最后一层,则返回对当前层图像进行滤波,得到中间滤波图像的步骤;若当前层为最后一层,则得到中间处理图像,将中间处理图像与待处理图像融合,对融合后的图像进行滤波,得到滤波图像,并输出。
为解决上述技术问题,本申请采用的技术方案是提供一种基于金字塔的图像滤波装置,该图像滤波装置包括互相连接的存储器和处理器,其中,存储器用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述的基于金字塔的图像滤波方法。
为解决上述技术问题,本申请采用的另一技术方案是提供一种存储介质,该存储介质用于存储计算机程序,计算机程序在被处理器执行时,用于实现上述的基于金字塔的图像滤波方法。
通过上述方案,本申请的有益效果是:先构建待处理图像的图像金字塔,该图像金字塔包括待处理图像与至少一张对待处理图像进行下采样而生成的下采样图像;然后按照分辨率的高低顺序依次从图像金字塔中取出下采样图像作为当前层图像,对当前层图像进行滤波与上采样,得到上采样图像;再将上采样图像与下一层图像进行融合,得到融合图像;将融合图像作为当前层图像,返回滤波的步骤,直至不再有其他图像可以融合时,输出最终的图像;由于将待处理图像分为不同的分辨率,可对不同分辨率的图像进行滤波,而且在图像融合后,再次进行滤波,能够有效抑制误差,使得滤波的效果更好,可以有效消除编码块中的块效应现象,保留图像细节,提升图像的主观质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:
图1是本申请提供的基于金字塔的图像滤波方法一实施例的流程示意图;
图2是图1所示的实施例中图像金字塔的结构示意图;
图3是本申请提供的基于金字塔的图像滤波方法另一实施例的流程示意图;
图4是图3所示的实施例中的步骤305的流程示意图;
图5是图4所示的实施例中的步骤45的流程示意图;
图6是图3所示的实施例中当前图像块与相邻图像块的示意图;
图7是本申请提供的基于金字塔的图像滤波装置一实施例的结构示意图;
图8是本申请提供的基于金字塔的图像滤波装置另一实施例的结构示意图;
图9是本申请提供的存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
请参阅图1,图1是本申请提供的基于金字塔的图像滤波方法一实施例的流程示意图,该方法包括:
步骤11:构建待处理图像的图像金字塔。
该图像金字塔包括待处理图像与至少一张下采样图像,待处理图像为含有噪声、需要进行滤波处理的图像,下采样图像为对待处理图像进行下采样得到的图像,每张下采样图像的分辨率不同;具体地,图像金字塔是一系列以金字塔形状排列的分辨率逐步降低的图像集合,金字塔的底部是待处理图像,金字塔的顶部是低分辨率的图像,其是待处理图像的近似,当向金字塔的上层移动时,图像的尺寸和分辨率降低。
例如,如图2所示,该图像金字塔的层数为五层,分别记作L0-L4,层L0对应待处理图像,层L1-L4分别对应一张下采样图像,且分辨率逐渐降低。
步骤12:按照分辨率的顺序依次从图像金字塔中取出下采样图像作为当前层图像。
在建立起图像金字塔后,可按照分辨率的高低顺序,从该图像金字塔中取出未经过滤波处理且分辨率最低的下采样图像,将其作为当前层图像。
可以理解地,最开始时,当前层图像为图像金字塔中的顶层图像,在顶层图像被滤波后,当前层图像为次顶层图像,依次类推,直至当前层图像为次底层图像;例如,以图2为例,当前层图像依次为L4、L3、L2以及L1对应的下采样图像,层L1为次底层。
步骤13:对当前层图像进行滤波,得到中间滤波图像。
在确定了当前层图像后,可采用滤波方法对其进行滤波,生成中间滤波图像;具体地,所采用的滤波方法为能够改善块效应的方法。
步骤14:对中间滤波图像进行上采样,得到上采样图像。
在对当前层图像进行滤波,生成了滤波后的图像(即中间滤波图像)后,可使用上采样方法对该中间滤波图像进行上采样,生成上采样图像,例如,可采用金字塔分解的逆过程对中间滤波图像进行上采样。
步骤15:将上采样图像与当前层图像的下一层图像进行融合,得到融合图像。
在生成了当前层图像对应的上采样图像后,可利用图像融合方法将该上采样图像与当前层图像的下一层图像进行融合,例如,可采用加权平均的融合方法,能够较快地生成融合图像。
步骤16:将融合图像作为当前层图像,并判断当前层是否为最后一层。
如果当前层不是最后一层,则返回步骤13,依次执行步骤13-步骤15,直至将生成的融合图像作为当前层图像时,当前层为最后一层(即底层),结束循环。
步骤17:若当前层图像的层数为最后一层,则得到中间处理图像,将中间处理图像与待处理图像融合,对融合后的图像进行滤波,得到滤波图像,并输出。
在结束循环后,可生成中间处理图像,按照与步骤15相同的图像融合方式将该中间处理图像与待处理图像融合,并可采用与步骤13相同的滤波方式进行滤波,从而得到最终的滤波结果,即对待处理图像进行滤波后的结果。
在一具体的实施例中,图像金字塔的层数为三层:底层、次顶层以及底层,分别记作A1-A3,它们对应的图像分别记作I1-I3,对图像I1进行滤波与上采样,生成图像I4;将图像I4与图像I2进行融合,得到图像I5,对图像I5进行滤波与上采样,生成图像I6,即中间处理图像;对图像I6与图像I3融合后再进行滤波,即可得到最终输出的图像。
本实施例提供了一种基于金字塔分层融合的去块效应的滤波方法,可先构建待处理图像的图像金字塔,该图像金字塔包括待处理图像与至少一张对待处理图像进行下采样而生成的下采样图像;先对顶层图像进行滤波与上采样,得到上采样图像;然后将上采样图像与次顶层图像进行融合,得到融合图像;将融合图像作为当前层图像,进行滤波与上采样处理,直至不再有其他图像可以融合时,输出最终的图像;由于将待处理图像分为不同的分辨率,可对不同分辨率的图像进行图像增强,而且在图像融合后,再次进行滤波,能够有效抑制误差,使得滤波的效果更好,能够有效消除编码块中的块效应现象,保留图像细节,提升图像的主观质量。
请参阅图3,图3是本申请提供的基于金字塔的图像滤波方法另一实施例的流程示意图,该方法包括:
步骤301:对待处理图像进行金字塔下采样分层,得到至少一张下采样图像。
可采用高斯金字塔对输入的待处理图像进行下采样,分别得到相较于待处理图像来说分辨率较低的下采样图像;例如,待处理图像的分辨率记作原始分辨率,假设图像金字塔为三层结构,其包括:顶层、次顶层以及底层,顶层与次顶层对应的下采样图像的分辨率可以分别为原始分辨率的1/16和1/4,顶层对应的下采样图像的长和宽可以分别为待处理图像的长和宽的1/4,次顶层对应的下采样图像的长和宽可以分别为待处理图像的长和宽的1/2。
进一步地,可用高斯核对待处理图像进行卷积,删除卷积后的图像的所有偶数行和偶数列,得到的下采样图像的分辨率即为待处理图像的分辨率的1/4,依次进行两次下采样,可以得到原始分辨率的1/16的图像,即顶层对应的图像。
步骤302:按照分辨率的顺序依次从图像金字塔中取出下采样图像作为当前层图像。
该步骤与上述实施例中步骤12相同,在此不再赘述。
步骤303:对当前层图像进行分块,得到至少一个图像块。
可将当前层图像划分为多个互不重叠且大小相同的图像块,以当前层图像的大小为M*N为例,可将其划分为m*n个大小为a*b的图像块,M=m*a,N=n*b,比如,M和N为256,a和b为8。
步骤304:对每个图像块进行处理,以判断图像块是否属于纹理区域。
对于每个图像块可利用索贝尔(sobel)算子计算每个图像块中像素点的梯度值;然后根据像素点的梯度值计算梯度方向,该梯度方向包括第一方向、第二方向、第三方向以及第四方向;再将所有梯度值叠加,得到图像块的梯度和;然后判断图像块的梯度和是否大于预设阈值,若图像块的梯度和大于预设阈值,则确定图像块属于纹理区域;若图像块的梯度和小于或等于预设阈值,则确定图像块属于非纹理区域。
进一步地,可采用如下公式(1)-(3)计算图像块中像素点的梯度值:
其中,Gx和Gy分别为像素点(x,y)在水平方向和垂直方向的梯度值,梯度和如下所示:
其中,Si为第i个图像块的梯度和,像素点(x,y)对应的梯度方向为:
θ(x,y)=arctan(Gy/Gx)+π/2 (5)
进一步地,梯度方向可分为以下四种情况:
第一方向:θ(x,y)∈[0,π/8]∪[7*π/8,π],其相当于水平方向,其对应的方向滤波器为水平滤波器。
第二方向:θ(x,y)∈[π/8,3*π/8],其相当于45°的方向,其对应的方向滤波器为45°对角线滤波器。
第三方向:θ(x,y)∈[3*π/8,5*π/8],其相当于垂直方向,其对应的方向滤波器为垂直滤波器。
第四方向:θ(x,y)∈[5*π/8,7*π/8],其相当于135°的方向,其对应的方向滤波器为135°对角线滤波器。
步骤305:若图像块属于纹理区域,则根据纹理区域的边缘方向与第一预设次数,选择相应的方向滤波器对图像块进行滤波,生成中间滤波图像。
如果判断出该图像块属于纹理区域,可采用图4所示的步骤进行滤波,具体如下:
步骤41:统计图像块中每种梯度方向出现的总次数。
根据计算公式(1)可知:图像块中除了最外面一圈的像素点无法计算出梯度方向,其他像素点均可计算出梯度方向,可统计该图像块中每种梯度方向出现的总次数。
可以理解地,也可通过在图像块的边缘补0,来计算出最外面一圈的像素点的梯度方向。
步骤42:判断是否存在梯度方向出现的总次数大于第一预设数量。
可判断图像块中每种梯度方向出现的总次数与第一预设数量之间的大小关系,例如,对于8*8的图像块,该第一预设数量可以设置为12。
步骤43:若存在梯度方向出现的总次数大于第一预设数量,则判断是否存在多种梯度方向出现的总次数均大于第一预设数量。
当存在至少一种梯度方向出现的总次数大于第一预设数量,为了选取合适的方向滤波器,可进一步判断是否存在多种梯度方向出现的总次数均大于第一预设数量。
步骤44:若不存在多种梯度方向出现的总次数均大于第一预设数量,则图像块的梯度方向为梯度方向出现的总次数大于第一预设数量的梯度方向,利用与边缘方向对应的方向滤波器进行滤波。
若只有一种梯度方向的出现总次数大于第一预设数量,则该图像块为纹理块,此时可以采用与该梯度方向对应的方向滤波器进行滤波,该图像块的边缘方向即为该梯度方向。
步骤45:若存在多种梯度方向出现的总次数均大于第一预设数量,则根据与图像块相邻的图像块的边缘方向选择方向滤波器。
如果存在一种以上的梯度方向出现的总次数大于第一预设数量,则该图像块为未知块,此时无法直接利用梯度方向来确定滤波器的种类,可利用与该图像块相邻的图像块来预测当前图像块的边缘方向,从而确定滤波器。
在一具体的实施例中,可从全局统计与该图像块相邻的八个图像块中边缘方向相同的相邻图像块的数量,若超过设定的第二预设数量,则将当前图像块判定为具有相同的边缘方向;若未超过第二预设数量,则可从局部统计,如果上下方向、左右方向或对角线方向有足够数量的图像块具有相同的边缘方向,则可以确定当前图像块的边缘方向,从而选择对应的方向滤波器,具体如图5所示,包括以下步骤:
步骤51:将当前的图像块记作当前图像块,并将与当前图像块相邻的图像块记作相邻图像块。
可将当前在处理的图像块记作当前图像块,并将该当前图像块周围一圈的八个相邻的图像块记作相邻图像块。
步骤52:根据相邻图像块的边缘方向预测当前图像块的边缘方向,并选择与当前图像块的边缘方向对应的方向滤波器进行滤波。
由于在处理当前图像块时,可能存在该当前图像块周围的相邻图像块还未计算出边缘方向,因而可统计所有相邻图像块中已计算出边缘方向且边缘方向相同的相邻图像块的数量;判断统计出的数量是否大于第二预设数量,该第二预设数量可以为3;若统计出的数量大于第二预设数量,则将与当前图像块的边缘方向设置为与已计算出边缘方向且边缘方向相同的相邻图像块的边缘方向;若统计出的数量小于或等于第二预设数量,则进一步进行局部判断,根据多个相邻图像快的边缘方向确定当前图像块的边缘方向。
进一步地,相邻图像块包括左上角图像块、右上角图像块、左下角图像块、右下角图像块、上侧图像块、下侧图像块、左侧图像块以及右侧图像块;当左侧图像块的边缘方向与右侧图像块的边缘方向均为第一方向时,利用第一方向滤波器对当前图像块进行滤波;当上侧图像块的边缘方向与下侧图像块的边缘方向均为第二方向时,利用第二方向滤波器对当前图像块进行滤波;当上侧图像块、右上侧图像块、右侧图像块、左侧图像块、左下侧图像块以及下侧图像块中有超过第三预设数量个图像块的边缘方向为第三方向时,利用第三方向滤波器对当前图像块进行滤波,该第三预设数量小于第二预设数量;当左侧图像块、左上侧图像块、上侧图像块、下侧图像块、右下侧图像块以及右侧图像块中有超过第三预设数量个图像块的边缘方向为第四方向时,利用第四方向滤波器对当前图像块进行滤波。
如图6所示,当前图像块记作M,相邻图像块分别记作Mtop-left、Mtop-right、Mbottom-left、Mbottom-right、Mtop、Mbottom、Mleft以及Mright
如果左侧图像块Mleft和右侧图像块Mrigh的边缘方向均为水平方向,则当前图像块采用水平滤波器进行滤波;如果上侧图像块Mtop和下侧图像块Mbottomt的边缘方向均为垂直方向,则当前图像块采用垂直滤波器进行滤波;如果上侧图像块Mtop、右上角图像块Mtop-right、右侧图像块Mright、左侧图像块Mleft、左下角图像块Mbottom-left以及下侧图像块Mbottom中有超过2个图像块的边缘方向为45°,则当前图像块采用45°对角线滤波器进行滤波;如果左侧图像块Mleft、左上角图像块Mtop-left、上侧图像块Mtop、下侧图像块Mbottom、右下角图像块Mbottom-right以及右侧图像块Mright中有超过2个图像块的边缘方向为135°,则当前图像块采用135°对角线滤波器进行滤波。
在一具体的实施例中,可采用3*3的滤波模板,滤波步长为1,滤波模板分别为:
第一方向:
第二方向:
第三方向:
第四方向:
步骤46:若不存在梯度方向出现的总次数大于第一预设数量,则根据与图像块相邻的图像块的边缘方向选择方向滤波器。
如果该图像块中不存在梯度方向出现的总次数大于第一预设数量,此时该图像块为未知块,无法直接利用梯度方向来确定方向滤波器的种类,可利用与该图像块相邻的图像块来选取合适的滤波器,即采用步骤45所示的步骤进行滤波。
步骤306:若图像块不属于纹理区域,则利用平滑滤波器对图像块进行滤波,生成中间滤波图像。
若当前在处理的图像块不属于纹理区域,即其为平坦块,可采用5*5的滤波模板进行均值滤波,滤波步长为1,该滤波模板如下所示:
其中,λ是常数。
步骤307:对中间滤波图像进行上采样,得到上采样图像。
该步骤与上述实施例中步骤14相同,在此不再赘述。
步骤308:将上采样图像的每个像素值与下一层图像中相应的像素值进行求和平均,得到融合图像的像素值。
该上采样图像的大小与下一层图像的大小相同,在生成上采样图像后,可将该上采样图像的像素值与下一层图像的像素值进行相加再平均,从而生成融合图像;例如,当前层图像的大小为32*32,下一层图像的大小为64*64,对当前层图像进行滤波与上采样后,得到64*64的上采样图像,将该64*64的上采样图像与64*64的下一层图像进行融合,可生成64*64的融合图像。
步骤309:将融合图像作为当前层图像,并判断当前层是否为最后一层。
步骤310:若当前层图像的层数为最后一层,则得到中间处理图像,将中间处理图像与待处理图像融合,对融合后的图像进行滤波,得到滤波图像,并输出。
步骤309-步骤310与上述实施例中步骤16-步骤17相同,在此不再赘述。
本实施例所提供的图像滤波方法首先采用由粗到细的金字塔分层融合框架,对不同尺度的图像进行滤波处理,然后进行融合后再次进行滤波处理,能够有效抑制误差,使得预测更准确;还可采用sobel算子判断当前图像块是否为纹理块,然后对具有不同边缘方向的图像块采用不同的方向滤波器,能够保护纹理细节,同时可使用平滑滤波器可以去除平坦区域的块效应,并且对于没有滤波的图像块进一步使用相邻图像块与当前图像块的相关性,使用适当的方向滤波器对当前图像块进行滤波处理,能够根据图像块的类型选择不同的滤波器,有助于提高滤波效果,提高去块效应的效果。
请参阅图7,图7是本申请提供的基于金字塔的图像滤波装置一实施例的结构示意图,基于金字塔的图像滤波装置70包括互相连接的存储器71和处理器72,存储器71用于存储计算机程序,计算机程序在被处理器72执行时,用于实现上述实施例中的基于金字塔的图像滤波方法。
该图像滤波装置可以有效保护纹理细节,在平坦区域有显著的平滑效果,并且能够充分利用相邻图像块与当前图像块的相关性,可以降低预测误差,充分地处理整张待处理图像,得到滤波后的图像,提升滤波效果。
请参阅图8,图8是本申请提供的基于金字塔的图像滤波装置另一实施例的结构示意图,基于金字塔的图像滤波装置80包括金字塔分层模块81、图像块分类模块82、邻块相关性判断模块83以及滤波模块84。
金字塔分层模块81可采用高斯金字塔分层算法,对输入的待处理图像进行下采样,比如,将待处理图像下采样为原始分辨率的1/4和1/16,下采样得到的图像与待处理图像构成三层金字塔结构。
图像块分类模块82可对下采样图像进行分类,具体地,可使用sobel算子将每个图像块分为纹理块、平坦块和未知块。
对于未知块,可采用邻块相关性判断模块83进行处理,利用与当前图像块相邻的图像块来判断当前图像块的边缘方向,并反馈给滤波模块84。
滤波模块84可对不同类型的图像块采用不同的滤波器进行滤波,对于纹理块,可直接使用相应的方向滤波器进行滤波;对于平坦块,可使用平滑滤波器进行滤波;对于未知块,可在采用相同滤波器的相邻图像块的数量超过第二预设数量时,采用相同的滤波器对当前图像块进行滤波;还可在在采用相同滤波器的相邻图像块的数量超过第三预设数量时,采用相同的滤波器对当前图像块进行滤波。
在滤波后,对于非底层图像,还可在滤波后,利用高斯金字塔的逆过程进行上采样,得到上采样图像,将上采样图像与下一层图像进行融合,得到融合图像,将融合图像输入上述的模块,重复上述的处理过程,最终可输出滤波后的图像。
本实施例的装置可应用在编码图像去块效应的过程中,金字塔分层模块81可将待处理图像分为不同的尺度,图像块分类模块82可区分图像块的类型,邻块相关性判断模块83可利用相邻图像块与当前图像块的相关性,判定当前图像块的边缘方向,滤波模块84可对不同类型的图像块自适应选择不同的滤波器来进行滤波,提高算法预测的精度,相对于单尺度的处理算法,更具有鲁棒性,可以达到有效消除块效应以及提高图像主观质量的目的。
请参阅图9,图9是本申请提供的存储介质一实施例的结构示意图,存储介质90用于存储计算机程序91,计算机程序91在被处理器执行时,用于实现上述实施例中的基于金字塔的图像滤波方法。
存储介质90可以是服务端、U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
在本申请所提供的几个实施方式中,应该理解到,所揭露的方法以及设备,可以通过其它的方式实现。例如,以上所描述的设备实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施方式中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
以上仅为本申请的实施例,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。

Claims (11)

1.一种基于金字塔的图像滤波方法,其特征在于,包括:
构建待处理图像的图像金字塔,其中,所述图像金字塔包括所述待处理图像以及对所述待处理图像进行下采样得到的至少一张下采样图像,每张所述下采样图像的分辨率不同;
按照分辨率的顺序依次从所述图像金字塔中取出所述下采样图像作为当前层图像;
对所述当前层图像进行滤波,得到中间滤波图像;
对所述中间滤波图像进行上采样,得到上采样图像;
将所述上采样图像与所述当前层图像的下一层图像进行融合,得到融合图像;
将所述融合图像作为所述当前层图像,并判断当前层是否为最后一层;
若否,则返回所述对所述当前层图像进行滤波,得到中间滤波图像的步骤;
若是,则得到中间处理图像,将所述中间处理图像与所述待处理图像融合,对融合后的图像进行滤波,得到滤波图像,并输出;
所述对所述当前层图像进行滤波,得到中间滤波图像的步骤,包括:
对所述当前层图像进行分块,得到至少一个图像块;
对每个所述图像块进行处理,在所述图像块属于纹理区域的情况下,根据所述纹理区域的边缘方向与第一预设次数,选择相应的方向滤波器对所述图像块进行滤波,生成所述中间滤波图像;
所述根据所述纹理区域的边缘方向与第一预设次数,选择相应的方向滤波器对所述图像块进行滤波的步骤,包括:
统计所述图像块中每种梯度方向出现的总次数;
只存在一种所述梯度方向出现的总次数大于等于第一预设数量的情况下,则所述图像块的梯度方向为所述梯度方向出现的总次数大于所述第一预设数量的梯度方向,利用与所述边缘方向对应的方向滤波器进行滤波。
2.根据权利要求1所述的基于金字塔的图像滤波方法,其特征在于,所述构建待处理图像的图像金字塔的步骤,包括:
对所述待处理图像进行金字塔下采样分层,得到至少一张所述下采样图像。
3.根据权利要求1所述的基于金字塔的图像滤波方法,其特征在于,
以判断所述图像块是否属于纹理区域;所述对所述当前层图像进行滤波,得到中间滤波图像的步骤,包括:
对所述当前层图像进行分块,得到至少一个图像块;
对每个所述图像块进行处理,在所述图像块不属于纹理区域的情况下,则利用平滑滤波器对所述图像块进行滤波,生成所述中间滤波图像。
4.根据权利要求3所述的基于金字塔的图像滤波方法,其特征在于,所述对每个所述图像块进行处理,以判断所述图像块是否属于纹理区域的步骤,包括:
利用索贝尔算子计算每个所述图像块中像素点的梯度值;
根据所述像素点的梯度值计算梯度方向,其中,所述梯度方向包括第一方向、第二方向、第三方向以及第四方向;
将所有所述梯度值叠加,得到所述图像块的梯度和;
判断所述图像块的梯度和是否大于预设阈值;
若是,则确定所述图像块属于纹理区域;
若否,则确定所述图像块属于非纹理区域。
5.根据权利要求4所述的基于金字塔的图像滤波方法,其特征在于,所述根据所述纹理区域的边缘方向与第一预设次数,选择相应的方向滤波器对所述图像块进行滤波的步骤,包括:
统计所述图像块中每种所述梯度方向出现的总次数;
判断是否存在所述梯度方向出现的总次数大于第一预设数量;
若存在所述梯度方向出现的总次数大于所述第一预设数量,则判断是否存在多种所述梯度方向出现的总次数均大于所述第一预设数量;
若存在多种所述梯度方向出现的总次数均大于所述第一预设数量,则根据与所述图像块相邻的图像块的边缘方向选择方向滤波器;
若不存在所述梯度方向出现的总次数大于所述第一预设数量,则根据与所述图像块相邻的图像块的边缘方向选择方向滤波器。
6.根据权利要求5所述的基于金字塔的图像滤波方法,其特征在于,所述根据与所述图像块相邻的图像块的边缘方向选择方向滤波器的步骤,包括:
将当前的图像块记作当前图像块,并将与所述当前图像块相邻的图像块记作相邻图像块;
根据所述相邻图像块的边缘方向预测所述当前图像块的边缘方向;
选择与所述当前图像块的边缘方向对应的方向滤波器进行滤波。
7.根据权利要求6所述的基于金字塔的图像滤波方法,其特征在于,所述根据所述相邻图像块的边缘方向预测所述当前图像块的边缘方向的步骤,包括:
统计所有所述相邻图像块中已计算出边缘方向且所述边缘方向相同的所述相邻图像块的数量;
判断统计出的数量是否大于第二预设数量;
若是,则将与所述当前图像块的边缘方向设置为与所述已计算出边缘方向且所述边缘方向相同的所述相邻图像块的边缘方向;
若否,则根据多个所述相邻图像快的边缘方向确定所述当前图像块的边缘方向。
8.根据权利要求7所述的基于金字塔的图像滤波方法,其特征在于,所述相邻图像块包括左上角图像块、右上角图像块、左下角图像块、右下角图像块、上侧图像块、下侧图像块、左侧图像块以及右侧图像块,所述根据多个所述相邻图像快的边缘方向确定所述当前图像块的边缘方向的步骤,包括:
当所述左侧图像块的边缘方向与所述右侧图像块的边缘方向均为所述第一方向时,利用第一方向滤波器对所述当前图像块进行滤波;
当所述上侧图像块的边缘方向与所述下侧图像块的边缘方向均为所述第二方向时,利用第二方向滤波器对所述当前图像块进行滤波;
当所述上侧图像块、所述右上角图像块、所述右侧图像块、所述左侧图像块、所述左下角图像块以及所述下侧图像块中有超过第三预设数量个图像块的边缘方向为所述第三方向时,利用第三方向滤波器对所述当前图像块进行滤波;
当所述左侧图像块、所述左上角图像块、所述上侧图像块、所述下侧图像块、所述右下角图像块以及所述右侧图像块中有超过所述第三预设数量个图像块的边缘方向为所述第四方向时,利用第四方向滤波器对所述当前图像块进行滤波。
9.根据权利要求1所述的基于金字塔的图像滤波方法,其特征在于,所述上采样图像的大小与所述下一层图像的大小相同,所述将所述上采样图像与所述当前层图像的下一层图像进行融合,得到融合图像的步骤,包括:
将所述上采样图像的每个像素值与所述下一层图像中相应的像素值进行求和平均,得到所述融合图像的像素值。
10.一种基于金字塔的图像滤波装置,其特征在于,包括互相连接的存储器和处理器,其中,所述存储器用于存储计算机程序,所述计算机程序在被所述处理器执行时,用于实现权利要求1-9中任一项所述的基于金字塔的图像滤波方法。
11.一种存储介质,用于存储计算机程序,其特征在于,所述计算机程序在被处理器执行时,用于实现权利要求1-9中任一项所述的基于金字塔的图像滤波方法。
CN202010475358.5A 2020-05-29 2020-05-29 一种基于金字塔的图像滤波方法、装置及存储介质 Active CN111652818B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010475358.5A CN111652818B (zh) 2020-05-29 2020-05-29 一种基于金字塔的图像滤波方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010475358.5A CN111652818B (zh) 2020-05-29 2020-05-29 一种基于金字塔的图像滤波方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN111652818A CN111652818A (zh) 2020-09-11
CN111652818B true CN111652818B (zh) 2023-09-29

Family

ID=72348365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010475358.5A Active CN111652818B (zh) 2020-05-29 2020-05-29 一种基于金字塔的图像滤波方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN111652818B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102297B (zh) * 2020-09-17 2021-04-20 哈尔滨市科佳通用机电股份有限公司 一种铁路货车转向架弹簧托板折断故障识别方法
CN112419215B (zh) * 2020-11-11 2024-04-09 广东拓斯达科技股份有限公司 图像处理方法、装置、电子设备及存储介质
CN115496670A (zh) * 2021-06-18 2022-12-20 影石创新科技股份有限公司 图像处理方法、装置、计算机设备和存储介质
CN113573055B (zh) * 2021-07-26 2024-03-01 北京百度网讯科技有限公司 用于图片序列的去块滤波方法、装置、电子设备和介质
CN113709504B (zh) * 2021-10-27 2022-02-15 深圳传音控股股份有限公司 图像处理方法、智能终端及可读存储介质
CN115841425B (zh) * 2022-07-21 2023-11-17 爱芯元智半导体(宁波)有限公司 视频降噪方法、装置、电子设备及计算机可读取存储介质

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208763B1 (en) * 1998-04-14 2001-03-27 General Electric Company Method and apparatus for enhancing discrete pixel images
WO2012049276A1 (en) * 2010-10-15 2012-04-19 DigitalOptics Corporation Europe Limited Improved image sharpening via gradient environment detection
CN103124356A (zh) * 2013-01-17 2013-05-29 浙江工业大学 基于方向信息的自适应空域差错掩盖方法
CN103208097A (zh) * 2013-01-29 2013-07-17 南京理工大学 图像多方向形态结构分组的主分量分析协同滤波方法
WO2015009068A1 (ko) * 2013-07-16 2015-01-22 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
JP2016103095A (ja) * 2014-11-27 2016-06-02 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 画像処理装置、画像処理方法、及びプログラム
CN108038833A (zh) * 2017-12-28 2018-05-15 福州瑞芯微电子股份有限公司 一种梯度相关性检测的图像自适应锐化方法和存储介质
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法
CN110047058A (zh) * 2019-03-25 2019-07-23 杭州电子科技大学 一种基于残差金字塔的图像融合方法
WO2019153651A1 (zh) * 2018-02-06 2019-08-15 江苏宇特光电科技股份有限公司 基于双边滤波金字塔的三光图像智能融合方法
CN110866878A (zh) * 2019-11-13 2020-03-06 首都师范大学 一种低剂量x射线ct图像的多尺度去噪方法
CN110956594A (zh) * 2019-11-27 2020-04-03 北京金山云网络技术有限公司 图像滤波方法、装置、电子设备及存储介质

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6956582B2 (en) * 2001-08-23 2005-10-18 Evans & Sutherland Computer Corporation System and method for auto-adjusting image filtering
US7856150B2 (en) * 2007-04-10 2010-12-21 Arcsoft, Inc. Denoise method on image pyramid
US11017541B2 (en) * 2019-06-18 2021-05-25 Intel Corporation Texture detector for image processing

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6208763B1 (en) * 1998-04-14 2001-03-27 General Electric Company Method and apparatus for enhancing discrete pixel images
WO2012049276A1 (en) * 2010-10-15 2012-04-19 DigitalOptics Corporation Europe Limited Improved image sharpening via gradient environment detection
CN103124356A (zh) * 2013-01-17 2013-05-29 浙江工业大学 基于方向信息的自适应空域差错掩盖方法
CN103208097A (zh) * 2013-01-29 2013-07-17 南京理工大学 图像多方向形态结构分组的主分量分析协同滤波方法
WO2015009068A1 (ko) * 2013-07-16 2015-01-22 삼성전자 주식회사 비트 뎁스 및 컬러 포맷의 변환을 동반하는 업샘플링 필터를 이용하는 스케일러블 비디오 부호화 방법 및 장치, 스케일러블 비디오 복호화 방법 및 장치
JP2016103095A (ja) * 2014-11-27 2016-06-02 三星ディスプレイ株式會社Samsung Display Co.,Ltd. 画像処理装置、画像処理方法、及びプログラム
CN108038833A (zh) * 2017-12-28 2018-05-15 福州瑞芯微电子股份有限公司 一种梯度相关性检测的图像自适应锐化方法和存储介质
WO2019153651A1 (zh) * 2018-02-06 2019-08-15 江苏宇特光电科技股份有限公司 基于双边滤波金字塔的三光图像智能融合方法
CN108550130A (zh) * 2018-04-23 2018-09-18 南京邮电大学 一种图像金字塔模型的多尺度透射图融合方法
CN110047058A (zh) * 2019-03-25 2019-07-23 杭州电子科技大学 一种基于残差金字塔的图像融合方法
CN110866878A (zh) * 2019-11-13 2020-03-06 首都师范大学 一种低剂量x射线ct图像的多尺度去噪方法
CN110956594A (zh) * 2019-11-27 2020-04-03 北京金山云网络技术有限公司 图像滤波方法、装置、电子设备及存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
黄丽,庄越挺,苏从勇,吴飞.基于多尺度和多方向特征的人脸超分辨率算法.计算机辅助设计与图形学学报.2004,(第07期),全文. *

Also Published As

Publication number Publication date
CN111652818A (zh) 2020-09-11

Similar Documents

Publication Publication Date Title
CN111652818B (zh) 一种基于金字塔的图像滤波方法、装置及存储介质
CN110599401A (zh) 遥感图像超分辨率重建方法、处理装置及可读存储介质
CN109345456B (zh) 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN112862689B (zh) 一种图像超分辨率重建方法及系统
CN110084155B (zh) 一种密集人数计数的方法、装置、设备以及存储介质
CN111415323B (zh) 图像的检测方法及装置,神经网络的训练方法及装置
CN113450288B (zh) 基于深度卷积神经网络单图像去雨方法、系统和存储介质
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113436112B (zh) 一种图像增强方法、装置及设备
CN108921788A (zh) 基于深层残差cnn的图像超分辨率方法、装置及存储介质
CN115601574A (zh) 一种改进akaze特征的无人机影像匹配方法
Li Image super-resolution using attention based densenet with residual deconvolution
CN107944497A (zh) 基于主成分分析的图像块相似性度量方法
Pham Kriging-weighted laplacian kernels for grayscale image sharpening
CN114241388A (zh) 基于时空记忆信息的视频实例分割方法和分割装置
Getreuer Contour stencils for edge-adaptive image interpolation
CN115423697A (zh) 图像修复方法、终端及计算机存储介质
CN116245764A (zh) 一种图像去噪方法、装置、设备和存储介质
CN115587934A (zh) 基于损失分类与双分支网络的图像超分辨率重建和去雾方法及系统
CN112584154A (zh) 视频编码块划分方法、装置、电子设备及存储介质
CN115909013B (zh) 一种图像的卷积方法、装置、电子设备和存储介质
Hossain et al. Image resolution enhancement using improved edge directed interpolation algorithm
Chen et al. Structural similarity-based nonlocal edge-directed image interpolation
CN116012266B (zh) 图像去噪方法、系统、设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant