CN110503611A - 图像处理的方法和装置 - Google Patents
图像处理的方法和装置 Download PDFInfo
- Publication number
- CN110503611A CN110503611A CN201910666379.2A CN201910666379A CN110503611A CN 110503611 A CN110503611 A CN 110503611A CN 201910666379 A CN201910666379 A CN 201910666379A CN 110503611 A CN110503611 A CN 110503611A
- Authority
- CN
- China
- Prior art keywords
- image
- blur kernel
- resolution
- processing unit
- deblurring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 80
- 238000005070 sampling Methods 0.000 claims abstract description 46
- 238000012545 processing Methods 0.000 claims description 69
- 238000004590 computer program Methods 0.000 claims description 10
- 238000004422 calculation algorithm Methods 0.000 description 29
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 230000002146 bilateral effect Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000003708 edge detection Methods 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000007796 conventional method Methods 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013500 data storage Methods 0.000 description 1
- 239000011541 reaction mixture Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
- G06T2207/20028—Bilateral filtering
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
本申请提供了一种图像处理的方法和装置,能够对真实的高分辨率图像不失真的快速去模糊,提高图像质量。该图像处理的方法,包括:获取第一图像,该第一图像为高分辨率的模糊图像;对该第一图像进行下采样得到第二图像;根据该第二图像确定第一模糊核;根据该第一模糊核得到第三图像,其中,该第三图像为与该第一图像分辨率相同的去模糊图像。
Description
技术领域
本申请涉及图像处理领域,并且更具体的,涉及图像处理的方法和装置。
背景技术
随着电子设备的摄像头的分辨率越来越高,照片像素数普遍达到10M以上。当电子设备的摄像头处于不稳定的状态,例如,手抖或暗光条件,容易拍出模糊照片,影响图片质量,对识别和分析图像信息的内容带来很大的不便。
传统去模糊技术,能够较好的实现图像的去模糊,得到质量较好的去模糊图像。但随着图片分辨率的增大,基于传统去模糊方法计算量很大,去模糊速度很慢,耗时较大。随着深度学习技术的兴起,基于深度学习去模糊技术迅速发展。但由于基于深度学习的去迷糊方法中在训练去模糊模型时的训练集为算法合成的模糊图,并不是真实的图像,当去模糊的图像与训练集中的图像不同时,基于训练模型得到的去模糊图像会存在失真,而且基于深度学习的去模糊算法在对高分辨率图像进行去模糊时,耗时过大,影响去模糊的实时性。
因此,如何对真实的高分辨率图像不失真的快速去模糊,提高图像质量成为我们亟待解决的问题。
发明内容
本申请提供了一种图像处理的方法和装置,能够对真实的高分辨率图像不失真的快速去模糊,提高图像质量。
第一方面,提供了一种图像处理的方法,包括:获取第一图像,该第一图像为高分辨率的模糊图像;对该第一图像进行下采样得到第二图像;根据该第二图像确定第一模糊核;根据该第一模糊核得到第三图像,其中,该第三图像为与该第一图像分辨率相同的去模糊图像。
上述技术方案中,对获取的高分辨率模糊图像进行下采样得到低分辨率模糊图像,根据得到的低分辨率模糊图像估计第一模糊核,并根据得到的第一模糊核得到与原始获取的高分辨率模糊图像分辨率相同的去模糊图像,从而实现在减小去模糊耗时的同时提高了图像质量。
结合第一方面,在第一方面的某些可能的实现方式中,根据该第二图像确定第一模糊核,包括:获取该第二图像的边缘图;确定该边缘图的至少一个第一区域,其中,该至少一个第一区域中的每一个第一区域为该边缘图的边缘显著区域;根据该至少一个第一区域确定该第一模糊核。
先利用边缘检测算法求取第二图像的边缘图像,然后截取包含显著性边缘的一块或多块区域估计第一模糊核。例如,根据下式所示的梯度域的迭代自适应先验模型来估计第二图像的模糊核:
其中,为清晰图像X的梯度图,参数p和λ是模糊和估计的迭代优化参数,通过迭代优化,即可得到第一模糊核k。
在一些可能的实现方式中,为了获得更加理想的复原效果,可以采用各项异性的全变分(total vation,TV)模型,使得估计出的第一模糊核更加准确。从而获得更加准确的第一模糊核。
应说明,上述在估计第一模糊核的过程中,在获取第二图像边缘时,可以采用任何现有算法中的边缘检测算法,例如,Sobel算法、Canny算法以及Laplacian算法等,本申请实施例对于具体算法并不作任何限定,只要能够获得较为准确的边缘图像即可。
另外,在估计第一模糊核时,上述所示的公式仅仅为示例性说明,本申请实施例对于估计第一模糊核的方法不作具体限定。
结合第一方面,在第一方面的某些可能的实现方式中,根据该第一模糊核得到第三图像,包括:根据该第一模糊核对该第二图像进行非盲去模糊得到第四图像;对该第四图像进行上采样得到该第三图像。
估计出第一模糊核后,根据该第一模糊核对第二图像进行去模糊处理,得到第四图像,其中,第四图像为与第二图像分辨率相同的去模糊图像。
在一些可能的实现方式中,虽然经过一些列后续处理,但估计出的第一模糊核不可避免的仍然存在一定的误差。为了减小第一模糊核估计误差带来的振铃效应,可以采用双边滤波器对去模糊后的第四图像进行处理,并减去双边滤波器的响应值,从而可以有效抑制振铃效应,减小第一模糊核估计误差对复原结果的影响,从而得到较为理想的清晰化图像。
根据估计出的第一模糊核对低分辨率的模糊图像(第二图像)进行去模糊处理后,得到与该第二图像分辨率相同的去模糊后图像(第四图像)。为了得到与原始采集的高分辨率模糊图像(第一图像)相同分辨率的图像,需要对获得的第四图像进行与下采样的倍数相应的上采样,从而得到与第一图像分辨率相同的去模糊后图像(第三图像)。
其中,“对获得的第四图像进行与下采样的倍数相应的上采样”应理解为:如果对第一图像下采样得到的第二图像为第一图像的1/N大小时,则对第四图像应该进行N倍插值得到第三图像,其中,N可以为任意正整数。
另外,本申请实施例对上采样的具体插值过程不作任何限定,可以采用现有算法中任意一种插值算法,例如最邻近插值、双线性二次插值、双立方插值等。
上述技术方案中,对获取的高分辨率模糊图像进行下采样得到低分辨率模糊图像,根据得到的低分辨率模糊图像估计第一模糊核,根据估计的第一模糊核对下采样后的低分辨率模糊图像进行去模糊处理,最后对得到的低分辨率去模糊图像进行上采样得到与初始的模糊图像分辨率相同的去模糊图像,从而实现对高分辨率模糊图像快速的去模糊,另外通过模糊核估计的方法减小了基于深度学习的去模糊方法的结果的失真,在减小去模糊耗时的同时提高了图像质量。
结合第一方面,在第一方面的某些可能的实现方式中,该根据该第一模糊核得到第三图像,还包括:对该第一模糊核进行上采样得到第二模糊核;根据该第二模糊核对该第一图像进行非盲去模糊得到该第三图像。
为了进一步减小去模糊的耗时,可以对第一模糊核进行上采样得到第二模糊核。由于第一模糊核相对于去模糊图像很小,因此,对第一模糊核进行上采样的算法复杂度比对第四图像上采样得到第三图像的算法复杂度要低很多,大大简化了上采样的过程,减小了整个去模糊过程的耗时。
应理解,为了最终得到与第一图像分辨率相同的去模糊图像(即第三图像),应当进行与下采样的倍数相应的上采样。
其中,“应当进行与下采样的倍数相应的上采样”应理解为:如果对第一图像下采样得到的第二图像为第一图像的1/N大小时,则对第一模糊核应该进行N倍插值得到第二模糊核,其中,N可以为任意正整数。
另外,本申请实施例对上采样的具体插值过程不作任何限定,可以采用现有算法中任意一种插值算法,例如最邻近插值、双线性二次插值、双立方插值等。
上述技术方案中,对获取的高分辨率模糊图像进行下采样得到低分辨率模糊图像,根据得到的低分辨率模糊图像估计第一模糊核,并对第一模糊核进行上采样得到第二模糊核,根据得到的第二模糊核对原始获取的高分辨率模糊图像进行去模糊处理得到与初始的模糊图像分辨率相同的去模糊图像,从而实现对高分辨率模糊图像快速的去模糊。由于第一模糊核相对于第四图像较小,所以直接对第二模糊核进行上采样,可以降低上采样过程的复杂度,从而减小去模糊的耗时。另外通过直接在高分辨率的模糊图像上进行去模糊处理可以减小由于上采样带来的图像失真,从而实现在减小去模糊耗时的同时提高了图像质量。
结合第一方面,在第一方面的某些可能的实现方式中,根据该第二图像确定第一模糊核,包括:对该第二图像进行去噪处理得到第五图像,该第五图像与该第二图像分辨率相同;根据该第五图像确定该第一模糊核。
通过对下采样后的第二图像进行去噪处理,从而减小了摄像头带来的噪声干扰,减小图像失真,再根据去噪后的第五图像估计第一模糊核,减小第一模糊核估计的误差,从而减小基于第一模糊核得到的去模糊图像的失真。
结合第一方面,在第一方面的某些可能的实现方式中,该方法还包括:对该第三图像进行去噪处理得到第六图像,该第六图像与该第三图像分辨率相同。
可选地,在一些可能的实现方式中,为了避免噪声对去模糊结果的干扰,可以对获得的第三图像进行去噪处理,从而减小图像失真。
第二方面,提供了一种图像处理的装置,所述装置用于执行上述第一方面或第一方面的任一可能的实现方式中的方法。具体地,所述装置可以包括用于执行第一方面或第一方面的任一可能的实现方式中的方法的模块。
第三方面,提供一种图像处理的装置,所述装置包括存储器和处理器,所述存储器用于存储指令,所述处理器用于执行所述存储器存储的指令,并且对所述存储器中存储的指令的执行使得所述处理器执行第一方面或第一方面的任一可能的实现方式中的方法。
第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,当所述指令在计算机上运行时,使得计算机执行第一方面或第一方面的任一可能的实现方式中的方法。
第五方面,提供一种包含指令的计算机程序产品,当该计算机程序产品在计算机上运行时,使得计算机执行第一方面或第一方面的任一可能的实现方式中的方法。
附图说明
图1示出了本申请实施例提供的一种图像处理的方法的示意性流程图;
图2示出了本申请实施例提供的另一种图像处理的方法的示意性流程图;
图3示出了本申请实施例提供的一种图像处理的方法的处理结果;
图4示出了本申请实施例提供的又一种图像处理的方法的示意性流程图;
图5示出了本申请实施例提供的又一种图像处理的方法的处理结果;
图6示出了本申请实施例提供的一种图像处理的装置的示意性框图;
图7示出了本申请实施例提供的另一种图像处理的装置的示意性框图。
具体实施方式
下面将结合附图,对本申请中的技术方案进行描述。
图1示出了本申请实施例提供的图像处理的方法100的示意性流程图。应理解,图1示出了图像处理的方法的步骤或操作,但这些步骤或操作仅是示例,本申请实施例还可以执行其他操作或者图1中的各个操作的变形。此外,图1中的各个步骤可以按照与图1呈现的不同的顺序来执行,并且有可能并非要执行图1中的全部操作。
S110,获取第一图像。
该第一图像为高分辨率的模糊图像。例如,通过电子设备拍摄得到该第一图像,其中,该电子设备可以为具有高分辨率摄像头的智能手机、照相机、平板电脑等,本申请实施例对获取第一图像的方式不作任何限定。
S120,对第一图像进行下采样得到第二图像。
由于获取的第一图像为高分辨率的模糊图像,图像较大,如果直接对第一图像进行去迷糊处理,会导致计算量过大,去模糊的耗时较大。因此,为了降低去模糊过程的复杂度,减小耗时,可以先对第一图像进行下采样,得到第二图像,对第二图像进行去模糊处理。
其中,在对第一图像进行下采样时,可以将第一图像下采样为第一图像的1/2,即得到的第二图像的像素点为第一图像的像素点的一半。或者,可以将第一图像下采样为第一图像的1/3,即得到的第二图像的像素点为第一图像的像素点的1/3,具体的采样倍数,本申请实施例对此并不作限定。
在一些可选的实施方式中,为了减小摄像头的噪声干扰,在得到第二图像后,可以先对第二图像进行去噪处理,得到干扰较小的低分辨率模糊图像(即第五图像)。例如,可以基于卷积神经网络(convolutional neural network,CNN)的去噪模型,或者传统方法中的去噪模型,本申请实施例对此并不作限定。
在另外一些可选的实施方式中,也可以直接对获取的第一图像进行去噪声处理,从而减小第一图像中的噪声干扰。
S130,根据该第二图像确定第一模糊核。
通过对高分辨率的模糊图像,即第一图像,下采样后得到低分辨率的第二图像,为了减小去模糊处理的耗时,可以对第二图像进行去模糊处理。
现有技术中,按照模糊核是否已知,将图像去模糊分为盲的图像去模糊(blindimage deblurring,BID)和非盲的图像去模糊(non-blind image deblurring,NBID)两类。其中,盲的图像去模糊是指在模糊核未知的情况下,只有模糊图像本身。而非盲的图像去模糊指模糊核已知,只需要进行图像复原的过程。本申请实施例中为了不失真的获得去模糊后的清晰图像,采用非盲的图像去模糊方法。
首先根据需要去模糊的图像,即第二图像估计第一模糊核。先利用边缘检测算法求取第二图像的边缘图像,然后截取包含显著性边缘的一块或多块区域估计第一模糊核。例如,根据式(1)所示的梯度域的迭代自适应先验模型来估计第二图像的模糊核:
式(1)中,为清晰图像X的梯度图,参数p和λ是模糊和估计的迭代优化参数,通过迭代优化,即可得到第一模糊核k。
在一些可能的实现方式中,为了获得更加理想的复原效果,可以采用各项异性的全变分(total vation,TV)模型,使得估计出的第一模糊核更加准确。从而获得更加准确的第一模糊核。
应说明,上述在估计第一模糊核的过程中,在获取第二图像边缘时,可以采用任何现有算法中的边缘检测算法,例如,Sobel算法、Canny算法以及Laplacian算法等,本申请实施例对于具体算法并不作任何限定,只要能够获得较为准确的边缘图像即可。
另外,在估计第一模糊核时,式(1)所示的公式仅仅为示例性说明,本申请实施例对于估计第一模糊核的方法不作具体限定。
S140,根据第一模糊核得到第三图像。
在估计得到第一模糊核后,可以根据该第一模糊核得到第三图像,其中,该第三图像为与第一图像分辨率相同的去模糊图像。
图2示出了本申请实施例提供的图像处理的方法200的示意性流程图。应理解,图2示出了图像处理的方法的步骤或操作,但这些步骤或操作仅是示例,本申请实施例还可以执行其他操作或者图2中的各个操作的变形。此外,图2中的各个步骤可以按照与图2呈现的不同的顺序来执行,并且有可能并非要执行图2中的全部操作。
S210,获取第一图像。
S220,对第一图像进行下采样得到第二图像。
S230,根据该第二图像确定第一模糊核。
其中,步骤S210至步骤S230与步骤S110至步骤S130相同,详细描述可以参考步骤S110至步骤S130,此处为了简洁不再赘述。
其中,第三图像为与第一图像分辨率相同的去模糊图像。
上述技术方案中,通过对高分辨率的模糊图像进行下采样得到低分辨率的模糊图像,并根据该低分辨率的模糊图像估计第一模糊核,根据估计出的第一模糊核进行去模糊处理,得到与原始获取的高分辨模糊图像分辨率相同的去模糊图像,从而实现在减小去模糊耗时的同时提高了图像质量。
S240,根据估计出的第一模糊核对第二图像进行去模糊得到第四图像。
经过步骤S230,估计出第一模糊核后,根据该第一模糊核对第二图像进行去模糊处理,得到第四图像,其中,第四图像为与第二图像分辨率相同的去模糊图像。
在一些可能的实现方式中,虽然经过一些列后续处理,但估计出的第一模糊核不可避免的仍然存在一定的误差。为了减小第一模糊核估计误差带来的振铃效应,可以采用双边滤波器对去模糊后的第四图像进行处理,并减去双边滤波器的响应值,从而可以有效抑制振铃效应,减小第一模糊核估计误差对复原结果的影响,从而得到较为理想的清晰化图像。
S250,对第四图像进行上采样得到第三图像。
根据估计出的第一模糊核对低分辨率的模糊图像(第二图像)进行去模糊处理后,得到与该第二图像分辨率相同的去模糊后图像(第四图像)。为了得到与原始采集的高分辨率模糊图像(第一图像)相同分辨率的图像,需要对获得的第四图像进行与步骤S220中下采样的倍数相应的上采样,从而得到与第一图像分辨率相同的去模糊后图像(第三图像)。
其中,“对获得的第四图像进行与步骤S220中下采样的倍数相应的上采样”应理解为:如果步骤S220中对第一图像下采样得到的第二图像为第一图像的1/N大小时,则在S240中,对第四图像应该进行N倍插值得到第三图像,其中,N可以为任意正整数。
另外,本申请实施例对上采样的具体插值过程不作任何限定,可以采用现有算法中任意一种插值算法,例如最邻近插值、双线性二次插值、双立方插值等。
在一些可能的实现方式中,方法200还可以包括S260,对第三图像进行去噪处理得到第六图像。
为了减小由于上采样引入的噪声干扰,使得得到的第三图像更加准确,可以对第三图像进行去噪处理得到与第三图像分辨率相同的第六图像。例如,可以基于卷积神经网络(convolutional neural network,CNN)的去噪模型,或者传统方法中的去噪模型,本申请实施例对此并不作限定。
上述技术方案中,对获取的高分辨率模糊图像进行下采样得到低分辨率模糊图像,根据得到的低分辨率模糊图像估计第一模糊核,根据估计的第一模糊核对下采样后的低分辨率模糊图像进行去模糊处理,最后对得到的低分辨率去模糊图像进行上采样得到与初始的模糊图像分辨率相同的去模糊图像,从而实现对高分辨率模糊图像快速的去模糊,另外通过模糊核估计的方法减小了基于深度学习的去模糊方法的结果的失真,在减小去模糊耗时的同时提高了图像质量。
图3示出了方法200处理结果。如图3所示,图3(a)为获取的高分辨率模糊图像(即第一图像),图3(b)为对高分辨率迷糊图像下采样后的低分辨率模糊图像(即第二图像),其中,第二图像的像素点个数为第一图像的像素点个数的1/2。图3(c)为根据第二图像估计的第一模糊核,图3(d)为根据第一模糊核对第二图像去模糊后得到的与第二图像分辨率相同的去模糊图像(即第四图像),图3(e)为对图3(d)上采样后得到的与原始获取的第一图像分辨率相同的去模糊图像(即第三图像)。从图3中可以看出,经过去模糊处理后,图3(e)相对于图3(a)中的图像质量得到了提高。
图4示出了本申请实施例提供的另一种图像处理的方法300。应理解,图4示出了图像处理的方法的步骤或操作,但这些步骤或操作仅是示例,本申请实施例还可以执行其他操作或者图4中的各个操作的变形。此外,图4中的各个步骤可以按照与图4呈现的不同的顺序来执行,并且有可能并非要执行图4中的全部操作。
S310,获取第一图像。
S320,对第一图像进行下采样得到第二图像。
S330,根据该第二图像确定第一模糊核。
其中,步骤S310至步骤S330与步骤S110至步骤S130相同,具体可参考S110至S130的描述,此处为了简洁不再赘述。
S340,对第一模糊核进行上采样得到第二模糊核。
经过步骤S330后,得到了第一模糊核。为了进一步减小去模糊的耗时,可以对第一模糊核进行上采样得到第二模糊核。由于第一模糊核相对于去模糊图像很小,因此,对第一模糊核进行上采样的算法复杂度比S150中对第四图像上采样得到第三图像的算法复杂度要低很多,大大简化了上采样的过程,减小了整个去模糊过程的耗时。
应理解,为了最终得到与第一图像分辨率相同的去模糊图像(即第三图像),步骤S340中应当进行与步骤S320中下采样的倍数相应的上采样。
其中,“步骤S340中应当进行与步骤S320中下采样的倍数相应的上采样”应理解为:如果步骤S320中对第一图像下采样得到的第二图像为第一图像的1/N大小时,则在S340中,对第一模糊核应该进行N倍插值得到第二模糊核,其中,N可以为任意正整数。
另外,本申请实施例对上采样的具体插值过程不作任何限定,可以采用现有算法中任意一种插值算法,例如最邻近插值、双线性二次插值、双立方插值等。
S350,根据第二模糊核对第一图像进行去模糊得到第三图像。
经过步骤S340,通过对第一模糊核进行上采样得到第二模糊核后,根据该第二模糊核对第一图像进行去模糊处理,得到第三图像,其中,第三图像为与初始获取的第一图像分辨率相同的去模糊图像。
在一些可能的实现方式中,虽然经过一些列后续处理,但估计出的第一模糊核不可避免的仍然存在一定的误差,在对第一模糊核进行上采样得到第二模糊核时,也会引入一部分误差,为了减小第二模糊核估计误差带来的振铃效应,可以采用双边滤波器对去模糊后的第三图像进行处理,并减去双边滤波器的响应值,从而可以有效抑制振铃效应,减小第二模糊核估计误差对复原结果的影响,从而得到较为理想的清晰化图像。
在一些可能的实现方式中,方法300还可以包括S360,对第三图像进行去噪处理得到第六图像。
为了减小由于上采样引入的噪声干扰,使得得到的第三图像更加准确,可以对第三图像进行去噪处理得到与第三图像分辨率相同的第六图像。例如,可以基于卷积神经网络(convolutional neural network,CNN)的去噪模型,或者传统方法中的去噪模型,本申请实施例对此并不作限定。
上述技术方案中,对获取的高分辨率模糊图像进行下采样得到低分辨率模糊图像,根据得到的低分辨率模糊图像估计第一模糊核,并对第一模糊核进行上采样得到第二模糊核,根据得到的第二模糊核对原始获取的高分辨率模糊图像进行去模糊处理得到与初始的模糊图像分辨率相同的去模糊图像,从而实现对高分辨率模糊图像快速的去模糊。由于第一模糊核相对于第四图像较小,所以直接对第二模糊核进行上采样,可以降低上采样过程的复杂度,从而减小去模糊的耗时。另外通过直接在高分辨率的模糊图像上进行去模糊处理可以减小由于上采样带来的图像失真,从而实现在减小去模糊耗时的同时提高了图像质量。
图5示出了方法300处理结果。如图5所示,图5(a)为获取的高分辨率模糊图像(即第一图像),图5(b)为对高分辨率迷糊图像下采样后的低分辨率模糊图像(即第二图像),其中,第二图像的像素点个数为第一图像的像素点个数的1/2。图5(c)为根据第二图像估计的第一模糊核,图5(d)为对第一模糊核进行上采样后得到的第二模糊核,图5(e)为根据第二模糊核对图5(a)进行去模糊处理后的去模糊图像(即第三图像)。从图5中可以看出,经过去模糊处理后,图5(e)相对于图5(a)中的图像质量得到了提高。
上文中结合图1至图5,详细描述了根据本申请实施例的图像处理的方法,下面将结合图6至图7详细描述根据本申请实施例的图像处理的装置。
图6示出了本申请实施例提供的图像处理的装置500的示意性框图。该图像处理的装置包括获取单元510和处理单元520。
获取单元510,用于获取第一图像,其中,该第一图像为高分辨率的模糊图像。
处理单元520,用于对第一图像进行下采样得到第二图像。
该处理单元520,还用于根据该第二图像确定第一模糊核。
该处理单元520,还用于根据第一模糊核得到第三图像,其中,第三图像为与第一图像分辨率相同的去模糊图像。
可选地,获取单元510具体用于:获取第二图像的边缘图。
可选地,处理单元520具体用于:确定该边缘图的至少一个第一区域,其中,该至少一个第一区域中的每一个第一区域为该边缘图的边缘显著区域。
可选地,处理单元520具体用于:根据该至少一个第一区域确定第一模糊核。
可选地,处理单元520还具体用于:
根据该第一模糊核对该第二图像进行非盲去模糊得到第四图像;
对该第四图像进行上采样得到该第三图像。
可选地,处理单元520还具体用于:
对该第一模糊核进行上采样得到第二模糊核;
根据该第二模糊核对该第一图像进行非盲去模糊得到该第三图像。
可选地,处理单元520还具体用于:
对该第二图像进行去噪处理得到第五图像,该第五图像与该第二图像分辨率相同;
根据该第五图像确定该第一模糊核。
可选地,处理单元520还具体用于:对该第三图像进行去噪处理得到第六图像,该第六图像与该第三图像分辨率相同。
应理解,本申请实施例提供的图像处理的装置500用于实施上述方法实施例中的任一方法,具体细节可参见上述方法,此处不再赘述。
应注意,本申请实施例中,获取单元510可以由通信接口实现,处理单元520可以由处理器实现。如图7所示,图像处理的装置600可以包括处理器610、存储器620和通信接口630。其中,存储器620可以用于存储处理器610执行的代码等,处理器610可以用于对数据或程序进行处理。
在实现过程中,上述方法的各步骤可以通过处理器610中的硬件的集成逻辑电路或者软件形式的指令完成。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器620,处理器610读取存储器620中的信息,结合其硬件完成上述方法的步骤。为避免重复,这里不再详细描述。
图6所示的装置500或图7所示的装置600能够实现前述方法实施例对应的图像处理的方法的各个过程,具体的,该装置500或装置600可以参见上文中的描述,为避免重复,这里不再赘述。
本申请实施例还提供了一种计算机可读介质,用于存储计算机程序,该计算机程序包括用于执行上述方法实施例中对应的方法的指令。
本申请实施例还提供了一种计算机程序产品,所述计算机程序产品包括:计算机程序代码,使得该图像处理的装置执行上述任方法实施例中对应的方法。
本申请中的各个实施例可以独立的使用,也可以进行联合的使用,这里不做限定。
应理解,本申请实施例中出现的第一、第二等描述,仅作示意与区分描述对象之用,没有次序之分,也不表示本申请实施例中对设备个数的特别限定,不能构成对本申请实施例的任何限制。
还应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
上述实施例,可以全部或部分地通过软件、硬件、固件或其他任意组合来实现。当使用软件实现时,上述实施例可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行该计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。该计算机可以为通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集合的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质。半导体介质可以是固态硬盘。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。
Claims (14)
1.一种图像处理的方法,其特征在于,包括:
获取第一图像,所述第一图像为高分辨率的模糊图像;
对所述第一图像进行下采样得到第二图像;
根据所述第二图像确定第一模糊核;
根据所述第一模糊核得到第三图像,其中,所述第三图像为与所述第一图像分辨率相同的去模糊图像。
2.根据权利要求1所述的方法,其特征在于,所述根据所述第二图像确定第一模糊核,包括:
获取所述第二图像的边缘图;
确定所述边缘图的至少一个第一区域,其中,所述至少一个第一区域中的每一个第一区域为所述边缘图的边缘显著区域;
根据所述至少一个第一区域确定所述第一模糊核。
3.根据权利要求1或2所述的方法,其特征在于,所述根据所述第一模糊核得到第三图像,包括:
根据所述第一模糊核对所述第二图像进行非盲去模糊得到第四图像;
对所述第四图像进行上采样得到所述第三图像。
4.根据权利要求1或2所述的方法,其特征在于,所述根据所述第一模糊核得到第三图像,还包括:
对所述第一模糊核进行上采样得到第二模糊核;
根据所述第二模糊核对所述第一图像进行非盲去模糊得到所述第三图像。
5.根据权利要求1至4中任一项所述的方法,其特征在于,所述根据所述第二图像确定第一模糊核,包括:
对所述第二图像进行去噪处理得到第五图像,所述第五图像与所述第二图像分辨率相同;
根据所述第五图像确定所述第一模糊核。
6.根据权利要求1至5中任一项所述的方法,其特征在于,所述方法还包括:
对所述第三图像进行去噪处理得到第六图像,所述第六图像与所述第三图像分辨率相同。
7.一种图像处理的装置,其特征在于,包括:
获取单元,用于获取第一图像,所述第一图像为高分辨率的模糊图像;
处理单元,用于对所述第一图像进行下采样得到第二图像;
所述处理单元,还用于根据所述第二图像确定第一模糊核;
所述处理单元,还用于根据所述第一模糊核得到第三图像,其中,所述第三图像为与所述第一图像分辨率相同的去模糊图像。
8.根据权利要求7所述的装置,其特征在于,所述获取单元具体用于:
获取所述第二图像的边缘图;
所述处理单元具体用于:确定所述边缘图的至少一个第一区域,其中,所述至少一个第一区域中的每一个第一区域为所述边缘图的边缘显著区域;
所述处理单元还具体用于:根据所述至少一个第一区域确定所述第一模糊核。
9.根据权利要求7或8所述的装置,其特征在于,所述处理单元还具体用于:
根据所述第一模糊核对所述第二图像进行非盲去模糊得到第四图像;
对所述第四图像进行上采样得到所述第三图像。
10.根据权利要求7或8所述的装置,其特征在于,所述处理单元还具体用于:
对所述第一模糊核进行上采样得到第二模糊核;
根据所述第二模糊核对所述第一图像进行非盲去模糊得到所述第三图像。
11.根据权利要求7至10中任一项所述的装置,其特征在于,所述处理单元还具体用于:
对所述第二图像进行去噪处理得到第五图像,所述第五图像与所述第二图像分辨率相同;
根据所述第五图像确定所述第一模糊核。
12.根据权利要求7至11中任一项所述的装置,其特征在于,所述处理单元还具体用于:
对所述第三图像进行去噪处理得到第六图像,所述第六图像与所述第三图像分辨率相同。
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,当该计算机程序在处理器上运行时,使得所述处理器执行权利要求1至6中任一项所述的方法中的步骤。
14.一种计算机程序产品,其特征在于,所述计算机程序产品包括用于执行权利要求1至6中任一项所述的方法的指令。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910666379.2A CN110503611A (zh) | 2019-07-23 | 2019-07-23 | 图像处理的方法和装置 |
PCT/CN2020/103150 WO2021013139A1 (zh) | 2019-07-23 | 2020-07-21 | 图像处理的方法和装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910666379.2A CN110503611A (zh) | 2019-07-23 | 2019-07-23 | 图像处理的方法和装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN110503611A true CN110503611A (zh) | 2019-11-26 |
Family
ID=68586704
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910666379.2A Pending CN110503611A (zh) | 2019-07-23 | 2019-07-23 | 图像处理的方法和装置 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN110503611A (zh) |
WO (1) | WO2021013139A1 (zh) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021013139A1 (zh) * | 2019-07-23 | 2021-01-28 | 华为技术有限公司 | 图像处理的方法和装置 |
CN112435205A (zh) * | 2020-11-12 | 2021-03-02 | 鹏城实验室 | 一种无监督图像超分辨率模糊核估计方法及终端 |
WO2021233232A1 (zh) * | 2020-05-18 | 2021-11-25 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理模型的训练方法及装置 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514582A (zh) * | 2012-06-27 | 2014-01-15 | 郑州大学 | 基于视觉显著的图像去模糊方法 |
US20140354886A1 (en) * | 2013-05-29 | 2014-12-04 | Yeda Research & Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
CN105493140A (zh) * | 2015-05-15 | 2016-04-13 | 北京大学深圳研究生院 | 图像去模糊方法及系统 |
CN105913392A (zh) * | 2016-04-08 | 2016-08-31 | 西安电子科技大学昆山创新研究院 | 复杂环境下退化图像综合质量提升方法 |
CN107784631A (zh) * | 2016-08-24 | 2018-03-09 | 中安消物联传感(深圳)有限公司 | 图像去模糊方法及装置 |
CN108629741A (zh) * | 2018-03-26 | 2018-10-09 | 中南大学 | 一种基于l0和l1正则项的模糊核估计方法 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2010036251A1 (en) * | 2008-09-24 | 2010-04-01 | Nikon Corporation | Method and device for image deblurring using joint bilateral filtering |
US9245328B2 (en) * | 2012-03-29 | 2016-01-26 | Nikon Corporation | Algorithm for minimizing latent sharp image cost function and point spread function with a spatial mask in a fidelity term |
CN105809642B (zh) * | 2016-03-11 | 2018-10-09 | 中山大学 | 一种基于l0正则化的自然图像盲去运动模糊的方法 |
CN106204445A (zh) * | 2016-06-30 | 2016-12-07 | 北京大学 | 基于结构张量全变差的图像视频超分辨率方法 |
CN110503611A (zh) * | 2019-07-23 | 2019-11-26 | 华为技术有限公司 | 图像处理的方法和装置 |
-
2019
- 2019-07-23 CN CN201910666379.2A patent/CN110503611A/zh active Pending
-
2020
- 2020-07-21 WO PCT/CN2020/103150 patent/WO2021013139A1/zh active Application Filing
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103514582A (zh) * | 2012-06-27 | 2014-01-15 | 郑州大学 | 基于视觉显著的图像去模糊方法 |
US20140354886A1 (en) * | 2013-05-29 | 2014-12-04 | Yeda Research & Development Co. Ltd. | Device, system, and method of blind deblurring and blind super-resolution utilizing internal patch recurrence |
CN105493140A (zh) * | 2015-05-15 | 2016-04-13 | 北京大学深圳研究生院 | 图像去模糊方法及系统 |
CN105913392A (zh) * | 2016-04-08 | 2016-08-31 | 西安电子科技大学昆山创新研究院 | 复杂环境下退化图像综合质量提升方法 |
CN107784631A (zh) * | 2016-08-24 | 2018-03-09 | 中安消物联传感(深圳)有限公司 | 图像去模糊方法及装置 |
CN108629741A (zh) * | 2018-03-26 | 2018-10-09 | 中南大学 | 一种基于l0和l1正则项的模糊核估计方法 |
Non-Patent Citations (1)
Title |
---|
任冬伟: "面向盲反卷积的模糊核估计与图像复原方法研究", 《中国博士学位论文全文数据库 信息科技辑》 * |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021013139A1 (zh) * | 2019-07-23 | 2021-01-28 | 华为技术有限公司 | 图像处理的方法和装置 |
WO2021233232A1 (zh) * | 2020-05-18 | 2021-11-25 | 京东方科技集团股份有限公司 | 图像处理方法、图像处理模型的训练方法及装置 |
CN112435205A (zh) * | 2020-11-12 | 2021-03-02 | 鹏城实验室 | 一种无监督图像超分辨率模糊核估计方法及终端 |
Also Published As
Publication number | Publication date |
---|---|
WO2021013139A1 (zh) | 2021-01-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP2489007B1 (en) | Image deblurring using a spatial image prior | |
CN111275626B (zh) | 一种基于模糊度的视频去模糊方法、装置及设备 | |
CN108694705B (zh) | 一种多帧图像配准与融合去噪的方法 | |
US8379120B2 (en) | Image deblurring using a combined differential image | |
EP2294808B1 (en) | Method and system for efficient video processing | |
CN108765343B (zh) | 图像处理的方法、装置、终端及计算机可读存储介质 | |
US8203615B2 (en) | Image deblurring using panchromatic pixels | |
US9142009B2 (en) | Patch-based, locally content-adaptive image and video sharpening | |
US7522782B2 (en) | Digital image denoising | |
US20110115934A1 (en) | Increasing image resolution using combined differential image | |
US20130058588A1 (en) | Motion Deblurring Using Image Upsampling | |
Fortunato et al. | Fast high-quality non-blind deconvolution using sparse adaptive priors | |
WO2021013139A1 (zh) | 图像处理的方法和装置 | |
WO2017100971A1 (zh) | 一种失焦模糊图像的去模糊方法和装置 | |
US11615510B2 (en) | Kernel-aware super resolution | |
US10250782B2 (en) | Camera module, electronic device, and method of operating the same using pre-estimated lens-customized point spread function (PSF) | |
Khattab et al. | Regularization-based multi-frame super-resolution: a systematic review | |
Mosleh et al. | Explicit ringing removal in image deblurring | |
Zhang et al. | Improved image deblurring based on salient-region segmentation | |
CN103632356B (zh) | 提高图像空间分辨率的方法及装置 | |
CN111325671B (zh) | 网络训练方法、装置、图像处理方法及电子设备 | |
EP3540685B1 (en) | Image-processing apparatus to reduce staircase artifacts from an image signal | |
CN116320792A (zh) | 多帧图像中增强分辨率和降低噪声的方法 | |
Mohan | Adaptive super-resolution image reconstruction with lorentzian error norm | |
Robinson et al. | Blind deconvolution of Gaussian blurred images containing additive white Gaussian noise |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20191126 |