CN108810322B - 图像处理方法以及相关装置 - Google Patents
图像处理方法以及相关装置 Download PDFInfo
- Publication number
- CN108810322B CN108810322B CN201710300254.9A CN201710300254A CN108810322B CN 108810322 B CN108810322 B CN 108810322B CN 201710300254 A CN201710300254 A CN 201710300254A CN 108810322 B CN108810322 B CN 108810322B
- Authority
- CN
- China
- Prior art keywords
- term
- image
- gradient
- constraint
- iteration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 25
- 238000000034 method Methods 0.000 claims abstract description 33
- 230000006870 function Effects 0.000 claims description 70
- 238000012545 processing Methods 0.000 claims description 41
- 238000009499 grossing Methods 0.000 claims description 25
- 239000000126 substance Substances 0.000 claims description 13
- 238000010586 diagram Methods 0.000 description 14
- 230000008859 change Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 3
- 238000012804 iterative process Methods 0.000 description 3
- 238000013441 quality evaluation Methods 0.000 description 3
- OAICVXFJPJFONN-UHFFFAOYSA-N Phosphorus Chemical compound [P] OAICVXFJPJFONN-UHFFFAOYSA-N 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000001629 suppression Effects 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000021615 conjugation Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Processing (AREA)
Abstract
本发明实施例公开了一种图像处理方法以及相关装置,该方法包括:获取源图像、模糊核;根据所述源图像的能量梯度构建分布式惩罚因子;所述源图像中不同能量梯度的像素点对应不同的分布式惩罚因子;将所述源图像、所述模糊核以及所述分布式惩罚因子代入能量函数;所述能量函数包括数值保真项以及约束项;所述约束项包括梯度约束项;所述梯度约束项用于基于所述分布式惩罚因子对不同能量梯度的像素点采用不同的约束力度;对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像,通过本发明所述发方法在针对微小模糊量的带噪图像进行复原处理时,可以在抑制噪声的兼顾去模糊,提高图像的质量。
Description
技术领域
本发明涉及图像处理技术领域,尤其涉及一种图像处理方法以及相关装置。
背景技术
具有摄像功能的终端设备,如智能手机、平板电脑、数码相机等成为人们日常生活中不可或缺的生活和娱乐工具,同时,人们对照片的质量要求也越来越高。在摄像终端生成图像的过程中,可能受到目标场景中运动物体,摄像的终端设备的抖动、摄像终端本身的电子学噪声等影响而生成模糊降质的图像。
目前,对模糊降质图像的复原处理一般包括去模糊处理和去噪处理。基于总变分正则化L1范数约束的能量方程如公式(1):
该方法通过参数λ对图像梯度进行约束,从而控制噪声,避免迭代过程中噪声被放大,对于模糊量较大的模糊降质图像,可有效地在去模糊的同时兼顾去噪。然而,该方法对于不同梯度信息的局部图像约束力度相同,在对于微小模糊量的带噪图像进行复原处理时,在抑制噪声的同时对去模糊有一定的副作用。
发明内容
本发明实施例所要解决的技术问题在于,提供一种图像处理方法以及相关装置,解决现有技术中对于微小模糊量的带噪图像进行复原处理时,在抑制噪声的不能兼顾去模糊。
本发明实施例第一方面公开了一种图像处理方法,包括:
获取源图像、模糊核;
根据所述源图像的能量梯度构建分布式惩罚因子;所述源图像中不同能量梯度的像素点对应不同的分布式惩罚因子;
将所述源图像、所述模糊核以及所述分布式惩罚因子代入能量函数;所述能量函数包括数值保真项以及约束项;所述约束项包括梯度约束项;所述梯度约束项用于基于所述分布式惩罚因子对不同能量梯度的像素点采用不同的约束力度;
对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像。
本发明一实施例中,所述能量函数为:
本发明一实施例中,所述梯度约束项包括:梯度惩罚项和二次梯度平滑项;所述梯度惩罚项用于去模糊;所述二次梯度平滑项用于去噪。
本发明一实施例中,所述约束项还包括第一变量约束项;所述第一变量约束项用于约束wn。
本发明一实施例中,所述约束项还包括第二变量约束项,用于约束vn;所述能量函数为:
其中,所述数值保真项为所述第一变量约束项为所述第二变量约束项为In为第n次迭代求解的清晰图像;I0为源图像,k为模糊核,λx为分布式惩罚因子;β和/或θ为迭代参数。实际计算时,wn、vn数值基于In-1得到,特别地,当n=1时,In-1=I0。
本发明一实施例中,所述对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像包括:
步骤S1:选定所述外循环迭代参数β为第一初始值以及选定所述内循环迭代参数θ为第二初始值;
步骤S2:根据所述能量函数、所述模糊核k、当前外循环迭代参数、当前内循环参数、上一次迭代求解的清晰图像以及所述上一次迭代求解的图像对应的分布式惩罚因子,求解本次迭代的清晰图像;其中,当本次为第一次时,所述当前外循环迭代参数β为所述第一初始值,所述当前内循环参数θ为所述第二初始值,所述上一次迭代求解的清晰图像为所述源图像;
步骤S3:在当前内循环迭代参数θ不小于第一阈值时,更新所述内循环迭代参数θ,重复执行所述步骤S2;或,在当前内循环迭代参数θ小于所述第一阈值时,更新所述外循环迭代参数β以及初始化所述内循环迭代参数θ为所述第二初始值;
步骤S4:在当前外循环迭代参数β不小于第二阈值时,重复执行所述步骤S2以及所述步骤S3;
步骤S5:在当前外循环迭代参数β小于所述第二阈值时,输出最后一次迭代求解的清晰图像。
本发明一实施例中,所述分布式惩罚因子λ为:
其中,In-1为第n-1次迭代求解的清晰图像;I0为源图像;λ0、α为定值。
本发明一实施例中,所述对所述能量函数进行迭代求解包括:
选定所述迭代参数β以及所述迭代参数θ,基于所述能量方程通过交替最小化方法,对所述能量函数进行求解。
上述发明实施例,通过获取源图像、模糊核;根据所述源图像的能量梯度构建分布式惩罚因子;所述源图像中不同能量梯度的像素点对应不同的分布式惩罚因子;将所述源图像、所述模糊核以及所述分布式惩罚因子代入能量函数;所述能量函数包括数值保真项以及约束项;所述约束项包括梯度约束项;所述梯度约束项用于基于所述分布式惩罚因子对不同能量梯度的像素点采用不同的约束力度;对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像,该图像处理方法在针对微小模糊量的带噪图像进行复原处理时,可以在抑制噪声的兼顾去模糊,提高图像的质量。
第二方面,本发明实施例还提供了一种图像处理装置,包括:
获取单元,用于获取源图像、模糊核;
处理单元,用于:根据所述源图像的能量梯度构建分布式惩罚因子;所述源图像中不同能量梯度的像素点对应不同的分布式惩罚因子;
将所述源图像、所述模糊核以及所述分布式惩罚因子代入能量函数;所述能量函数包括数值保真项以及约束项;所述约束项包括梯度约束项;所述梯度约束项用于基于所述分布式惩罚因子对不同能量梯度的像素点采用不同的约束力度;以及,
对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像。
本发明一实施例中,所述能量函数为:
本发明一实施例中,所述梯度约束项包括:梯度惩罚项和二次梯度平滑项;所述梯度惩罚项用于去模糊;所述二次梯度平滑项用于去噪。
本发明一实施例中,所述约束项还包括第一变量约束项;所述第一变量约束项用于约束wn。
本发明一实施例中,所述约束项还包括第二变量约束项,用于约束vn;所述能量函数为:
其中,所述数值保真项为||vn||;所述第一变量约束项为所述第二变量约束项为In为第n次迭代求解的清晰图像;I0为源图像,k为模糊核,λx为分布式惩罚因子;β和/或θ为迭代参数。实际计算时,wn、vn数值基于In-1得到,特别地,当n=1时,In-1=I0。
本发明一实施例中,所述处理单元还用于执行下述步骤:
步骤S1:选定所述外循环迭代参数β为第一初始值以及选定所述内循环迭代参数θ为第二初始值;
步骤S2:根据所述能量函数、所述模糊核k、当前外循环迭代参数、当前内循环参数、上一次迭代求解的清晰图像以及所述上一次迭代求解的图像对应的分布式惩罚因子,求解本次迭代的清晰图像;其中,当本次为第一次时,所述当前外循环迭代参数β为所述第一初始值,所述当前内循环参数θ为所述第二初始值,所述上一次迭代求解的清晰图像为所述源图像;
步骤S3:在当前内循环迭代参数θ不小于第一阈值时,更新所述内循环迭代参数θ,重复执行所述步骤S2;或,在当前内循环迭代参数θ小于所述第一阈值时,更新所述外循环迭代参数β以及初始化所述内循环迭代参数θ为所述第二初始值;
步骤S4:在当前外循环迭代参数β不小于第二阈值时,重复执行所述步骤S2以及所述步骤S3;
步骤S5:在当前外循环迭代参数β小于所述第二阈值时,输出最后一次迭代求解的清晰图像。
本发明一实施例中,所述分布式惩罚因子λ为:
其中,In-1为第n-1次迭代求解的清晰图像;I0为源图像;λ0、α为定值。
本发明一实施例中,所述处理单元还用于:
选定所述迭代参数β以及所述迭代参数θ,基于所述能量方程通过交替最小化方法,对所述能量函数进行求解。
第三方面,本发明实施例还提供了一种图像处理芯片,包括:至少一个处理器以及至少一个存储器,所述处理器用于耦合所述存储器,调用所述存储器存储的数据和指令,执行第一方面的部分或全部流程。
第四方面,本发明实施例还提供了一种终端,包括:至少一个处理器以及至少一个存储器,所述处理器用于耦合所述存储器,调用所述存储器存储的数据和指令,执行第一方面的部分或全部流程。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的微小模糊量的示意性说明图;
图2是本发明实施例提供的一种图像模糊量的评价方法的原理示意图;
图3是本发明实施例提供的一种终端的结构示意图;
图4是本发明实施例提供的一种图像处理芯片的结构示意图;
图5是本发明实施例提供的一种图像处理方法的流程示意图;
图6是本发明实施例提供的一种迭代求解清晰图像的流程示意图;
图7是本发明实施例提供的图像处理算法示意说明图;
图8是本发明实施例提供的微小模糊量的图像处理前后的效果比对示意图;
图9是本发明实施例提供的另一携带高斯噪声的图像处理前后的效果比对示意图;
图10是本发明实施例提供的微小模糊量的图像通过三种不同图像处理方法的效果比对示意图;
图11是本发明实施例提供的一种图像处理装置的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
为了便于理解本发明实施例,这里先说明本发明实施例涉及的应用场景:微小模糊量。
图像模糊是摄像中一类常见的问题,即使是具有摄像功能的终端对于静止目标的稳定成像,也仍然存在小幅度的图像模糊,即微小模糊量,且噪声也难以避免。例如,图1所示的图像为日常拍摄图像以及日常拍摄图像中线框标注区域经若干倍数的放大后的细节图像。如图1可见,细节图像的中字体“品质”边缘较模糊。
可以理解,请参阅图2,图2是本发明实施例提供的一种图像模糊量的评价方法的原理示意图。如图2所示,图像一和图像二为相同分辨率的图像;第一灰度变化曲线为图像一沿虚线方向的灰度值的变化曲线;第二灰度变化曲线为图像二沿虚线方向的灰度值的变化曲线。可见,可以通过图像中边缘区域从低灰度值到高灰度值的灰度变化率来描述描述图像模糊量大小。边缘区域灰度变化率越大图像越清晰,模糊量越小。本发明实施例中满足微小模糊量的图像可以是边缘区域的灰度变化率小于预设阈值的图像,该预设阈值可以是0.23。
也可以通过其他的方式来评价图像的模糊量,比如图像的边缘的尺寸,该图像的边缘的尺寸可以通过图像的边缘从低灰度值到高灰度值的像素点的个数来表示,可以理解,模糊量为7个像素点或以下可以认为为微小模糊量。
需要说明的是,本发明实施例所述的图像处理方法也可以对较大模糊量的图像进行去噪和去模糊处理。
下面介绍本发明实施例涉及的图像处理装置的一种实现方式。
本发明各个实施例中图像处理装置(设备)可以是图像处理芯片,也可以是智能手机、相机、平板电脑、媒体播放器、便携式电脑等电子终端,还可以是智能手环、VR(VirtualReality)眼镜、智能手表等可穿戴设备等。
请参阅图3,图3是本发明实施例提供的一种终端的结构示意图。该终端可以包括一个或多个处理器310、存储器320、输入装置330以及输出装置340等,处理器310可以通过通信总线350连接到存储器320、输入装置330以及输出装置340。其中,输入装置330可以包括摄像头3301,输出装置340可以包括显示屏3401。摄像头3301可以用于获取本发明各个实施例中所涉及的源图像;显示屏3401可以用于显示本发明各个实施例中所涉及的各种图像。
处理器310为终端的控制中心,利用各种接口和线路连接整个终端的各个部分,通过运行或执行存储在存储器320内的软件程序和/或指令,以及调用存储在存储器320内的数据,以执行终端的各种功能以及本发明实施例涉及的图像处理方法。所述处理器310可以由集成电路(Integrated Circuit,简称IC)组成,例如可以由单颗封装的IC所组成,也可以由连接多颗相同功能或不同功能的封装IC而组成。举例来说,处理器310可以仅包括中央处理器310(Central Processing Unit,简称CPU),也可以是CPU、数字信号处理器(digitalsignal processor,简称DSP)、图像处理器(Graphic Processing Unit,简称GPU)及通信单元中的控制芯片(例如基带芯片)的组合。在本发明实施方式中,CPU可以是单运算核心,也可以包括多运算核心。
存储器320与处理器310耦合,用于存储各种软件程序和/或指令、数据等。具体实现中,存储器320可包括高速随机存取的存储器,并且也可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。存储器320可以存储操作系统,例如ANDROID,IOS,WINDOWS,或者LINUX等嵌入式操作系统。存储器320还用于存储各种数据,例如本发明各个实施例中通过输入装置330获取的源图像以及每次迭代求解的清晰图像。存储器320还可以存储一个或一个以上程序,如图1所示,这些程序可包括:相机应用程序,社交应用程序,例如Facebook;图像管理应用程序,例如相册;浏览器,例如GoogleChrome等等。
输入装置330用于实现用户与终端的交互和/或信息输入到终端中。例如,输入装置330可以接收用户输入的数字或字符信息,以产生与用户设置或功能控制有关的信号输入。在本发明具体实施方式中,输入装置330可以是触控面板,也可以是其他人机交互界面,例如实体输入键、麦克风等,还可是其他外部信息撷取装置,例如摄像头3301等,摄像头3301可以用于采集本发明各个实施例中涉及的源图像。触控面板,也称为触摸屏或触控屏,可收集用户在其上触摸或接近的操作动作。比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或接近触控面板的位置的操作动作,并根据预先设定的程式驱动相应的连接装置。
输出装置340可以包括但不限于影像输出单元、声音输出和触感输出单元。影像输出单元用于输出文字、图片和/或视频。所述影像输出单元可包括显示屏3401,例如采用LCD(Liquid Crystal Display,液晶显示器)、OLED(Organic Light-Emitting Diode,有机发光二极管)、场发射显示器(field emission display,简称FED)等形式来配置的显示屏。虽然在图1中,输入装置330与输出装置340是作为两个独立的部件来实现移动终端的输入和输出功能,但是在某些实施例中,可以将触控面板与显示屏3401集成一体而实现终端的输入和输出功能,例如,触控显示屏,以供用户通过触控方式进行操作。
可选地,终端还可以包括通信模块360,该通信模块360用于建立通信信道,使终端通过所述通信信道以连接至通信对端,并通过所述通信信道与所述通信对端交互数据。通信模块360可以包括蓝牙模块、NFC模块、移动通信模块、WiFi模块、定位模块(如GPS模块)等。终端通过通信模块可以帮助用户收发电子邮件、浏览网页和访问流式媒体等,也可以用于获取其他终端发送的本发明实施例涉及的源图像。
需要说明的是,虽然图3示出了输入装置330、输出装置340以及通信模块360,但是可以理解的是,其并不属于终端的必须构成,完全可以根据需要在不改变发明的本质的范围内而省略。
请参阅图4,图4是本发明实施例提供的一种图像处理芯片的结构示意图,该图像处理芯片包括至少一个处理器410以及至少一个存储器420。
处理器410为终端的控制中心,利用各种接口和线路连接整个芯片的各个部分,通过运行或执行存储在存储器420内的软件程序和/或指令,以及调用存储在存储器420内的数据,以执行终端的各种功能以及本发明实施例涉及的图像处理方法。可选地,处理器410可以通过数据接口连接图像传感器,如摄像头,以获取本发明各实施例中的源图像。
存储器420与处理器410耦合,用于存储各种软件程序和/或指令、数据等。具体实现中,存储器420可以存储本发明各个实施例中通过连接摄像头的数据接口获取的源图像以及每次迭代求解的清晰图像等。
图3所示的终端或图4所示的图像处理芯片中的处理器能够耦合至少一个存储器,并可调用所述至少一个存储器中的可执行程序代码和数据执行本发明实施例公开的图5以及图6所示的图像处理方法的部分或全部步骤。以下以终端为例对本发明实施例提供的图像处理方法进行详细论述。
请参阅图5,图5是本发明实施例提供的一种图像处理方法的流程示意图。
步骤S510:获取源图像、模糊核。
具体地,源图像可以是终端通过摄像头获取的模糊图像,也可以是通过其他方式,比如接收互联网或其他终端发送的模糊图像。模糊核可以根据源图像生成,也可以是固定的值。
步骤S520:根据所述源图像的能量梯度构建分布式惩罚因子。
其中,所述源图像中不同能量梯度的像素点对应不同的分布式惩罚因子。
可以理解,源图像可以通过一个矩阵表示,矩阵中的元素与源图像中像素点的能量一一对应。图像的能量梯度包括横向梯度和纵向梯度。
本发明一实施例中,所述分布式惩罚因子λx可以如公式(2):
其中,I0为源图像;λ0、α为定值。可以理解,以源图像为基础通过能量函数迭代计算清晰图像的能量被限制在一定的范围之内,对于同一像素点,其能量与源图像的能量变化不大,每次迭代求解的清晰图像的能量梯度与源图像的能量梯度变化不大,在后面步骤迭代求解清晰图像的过程中,λ可以为定值仅仅与为源图像I0的梯度有关。
本发明一实施例中,所述分布式惩罚因子λ可以如公式(3):
其中,In-1为第n-1次迭代求解的清晰图像;I0为源图像;λ0、α为定值。为获取更加清晰的图像,在后面步骤迭代求解清晰图像的过程中,λ可以参与迭代过程,λ值与上一次迭代的求解的清晰图像的梯度有关。
需要说明的是,λ0为经验值,可以是0.05、0.1、0.4等;α为经验值,可以是0.1、0.2、0.3等。
本发明各个实施例中,||f||2表示函数f采用L2约束,||f||1表示函数f采用L1约束,||f||表示函数f既可以采用L1范数约束也可以采用L2范数约束。其中L1范数是指向量中各个元素绝对值之和;L2范数是指向量各元素的平方和然后求平方根。
步骤S520:将所述源图像、所述模糊核以及所述分布式惩罚因子代入能量函数。其中,所述能量函数包括数值保真项以及约束项;所述约束项包括梯度约束项;所述梯度约束项用于基于所述分布式惩罚因子对不同能量梯度的像素点采用不同的约束力度。
本发明一实施例中,基于公式(1),可以分布式惩罚因子λx替代定值λ,连续总变分的能量函数可以转换为离散的能量函数如公式(4):
与现有技术中传统的总变分正则化能量函数(如公式(1)所示)不同,公式(4)中分布式惩罚因子λx可以如公式(2)或公式(4)所示,可以对不同能量梯度的像素点采用不同的约束力度。
本发明一实施例中,所述梯度约束项可以包括:梯度惩罚项和二次梯度平滑项;所述梯度惩罚项用于去模糊;所述二次梯度平滑项用于去噪。
可选地,梯度约束项的一种实施方式可以是:所述梯度惩罚项为λx||wn||;所述二次梯度平滑项为γ||wn||2;其中,γ为约束系数,用于控制所述二次梯度平滑项的约束力度;In为第n次迭代求解的清晰图像;n为正整数。
可选地,可以基于能量函数如公式(4)引入新的变量wn、vn、θ、β,加入梯度惩罚项、二次梯度平滑项以及分别用于约束wn、vn的第一变量约束项和第二变量约束项。离散形式的能量函数如公式(5):
实际计算时,wn、vn数值基于In-1得到,特别地,当n=1时,In-1=I0。
可以理解,当β趋近于0,θ趋近于0以及γ趋近于0时,公式(5)所示的能量函数的解收敛于公式(4)所示的能量函数的解。
步骤S520:对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像。
公式(5)是关于变量I,w,v的最优化函数,关于I有一闭合形式的最优解,作傅里叶变换后可等效求得In的表达式如公式(6)所示:
具体地,F和F-1代表傅里叶变换与傅里叶逆变换,F*代表复共轭操作。wnx表示第n次迭代求解的图像的横向梯度,wny表示第n次迭代求解的图像的纵向梯度。
具体地,在第n次迭代求解的过程中,关于wn和vn的求解,由于wn和vn在能量函数中各自独立,故其值可通过交替最小化的方法依次求解,由此将求解In的问题化解为求解wn和vn的两个子问题:
求解wn子问题:vn取定值,转化为求解自变量为wn的二次问题,求解式子为公式(7):
其中,λx如公式(2)或(3)所示,在实际求解时,In-1为已知,将In替换为In-1,对式(7)求解可得:
求解vn子问题:wn取定值,转化为自变量为vn的最小值求解问题:
在实际求解时,In-1为已知,将In替换为In-1进行求解,可得:
终端可以通过控制迭代参数β、θ,通过交替最小化的方法求解变量wn和vn,进而通过公式(6)求解In。
上述发明实施例,通过获取源图像、模糊核;根据所述源图像的能量梯度构建分布式惩罚因子;所述源图像中不同能量梯度的像素点对应不同的分布式惩罚因子;将所述源图像、所述模糊核以及所述分布式惩罚因子代入能量函数;所述能量函数包括数值保真项以及约束项;所述约束项包括梯度约束项;所述梯度约束项用于基于所述分布式惩罚因子对不同能量梯度的像素点采用不同的约束力度;对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像,该图像处理方法在针对微小模糊量的带噪图像进行复原处理时,可以在抑制噪声的兼顾去模糊,提高图像的质量。
下面介绍两种迭代求解清晰图像的迭代方式。
请参阅图6,图6是本发明实施例提供的一种迭代求解清晰图像的流程示意图。可一并参见图7所示的图像处理算法。
步骤S610:选定所述外循环迭代参数β为第一初始值β0,以及选定所述内循环迭代参数θ为第二初始值θ0。
具体地,第一初始值β0可以是1;第二初始值θ0可以是2.79。
步骤S620:根据所述能量函数、所述模糊核k、当前外循环迭代参数、当前内循环参数、上一次迭代求解的清晰图像以及所述上一次迭代求解的清晰图像对应的分布式惩罚因子,求解本次迭代的清晰图像。
其中,当本次为第一次时,所述当前外循环迭代参数β为所述第一初始值,所述当前内循环参数θ为所述第二初始值,所述上一次迭代求解的清晰图像为所述源图像。
需要说明的是,求解的原理可以参见步骤S520中相关描述,当分布式惩罚因子为公式(2)所示时,分布式惩罚因子仅与源图像有关,每次迭代时采用的分布式惩罚因子不变。当分布式惩罚因子为公式(3)所示时,每次迭代时采用的分布式惩罚因子与上一次迭代生成的清晰图像有关,随着迭代次数增加,分布式惩罚因子不断地调整。
步骤S630:判断当前内循环迭代参数θ是否小于第一阈值θmin。
其中,第一阈值θmin可以是0.01。
如果是,执行步骤S640;否者执行步骤S650。
步骤S640:更新所述内循环迭代参数θ,重复执行所述步骤S620。
具体地,内循环迭代参数θ可以按照规律θ=θ'/2变化,更新后的θ为更新前θ'的1/2。内循环参数θ也可以按照其他的规律赋值,本发明不作限制。
步骤S650:更新所述外循环迭代参数β以及初始化所述内循环迭代参数θ为所述第二初始值θ0。
具体地,外循环迭代参数β可以按照规律β=β'/2变化,更新后的β为更新前β'的1/2。外循环参数β也可以按照其他的规律赋值,本发明不作限制。
步骤S660:判断当前外循环迭代参数β是否小于第二阈值βmin。
其中,第二阈值βmin可以是0.01。
如果是,重复执行步骤S620、S630以及S640或S650;否者,执行步骤S670。
步骤S670:输出最后一次迭代求解的清晰图像。
在另一种求解清晰图像的迭代方式中,在步骤S630判断结果为当前内循环迭代参数小于第一阈值时,终端可以更新所述外循环迭代参数β,并重复执行步骤S620;在当前外循环迭代参数β不小于第二阈值时,重复执行所述更新所述外循环迭代参数β的步骤以及步骤S2以及步骤S620;在当前外循环迭代参数β小于所述第二阈值时,输出最后一次迭代求解的清晰图像。
请参阅图8,图8是本发明实施例提供的微小模糊量的图像处理前后的效果比对示意图。左图为处理前具有微小模糊量的图像,该图像具有3-5个像素的模糊量,右图为微小模糊量的图像在应用本申请所述的图像处理方法处理后的图像。对比可见,分布式梯度惩罚因子,可在去模糊的同时保留图像边缘细节,可以兼顾图像复原中去模糊与去噪,且针对微小模糊量的图像去模糊效果明显。
图9是本发明实施例提供的另一携带高斯噪声的图像处理前后的效果比对示意图。左图为处理前携带高斯噪声的图像,右图为携带高斯噪声的图像在应用本申请所述的图像处理方法处理后的图像。对比可见,本发明实施例提供的图像处理方法可以有效地抑制高斯噪声,提高图片质量。
图10是本发明实施例提供的微小模糊量的图像通过三种不同图像处理方法的效果比对示意图。如图10所示,(a)图为处理前携带微小模糊量的图像;(b)图为通过Richardson Lucy(简称RL)算法处理后的图像;(c)图为通过总变分正则化算法(简称FTVD)处理后的图像;(d)图为通过本申请图像处理方法处理后的图像。表1为上述处理前后的图像质量评价数据:
表1
其中,峰值信噪比(英文:Peak Signal to Noise Ratio,简称PSNR),是一种全参考的图像质量评价指标。PSNR的数值越大表示图像失真越小;结构相似性(英文:structural similarity,简称SSIM),也是一种全参考的图像质量评价指标,它分别从亮度、对比度、结构三方面度量图像相似性。SSIM取值范围[0,1],值越大,表示图像失真越小。
通过图10以及表1的对比,可见,RL算法、FTVD算法、本发明图像处理方法对携带微小模糊量的图像皆有一定去模糊作用,但RL算法在去模糊的同时图像噪声有所放大,SSIM和PSNR评价因子有所降低,FTVD算法抑制噪声效果较好,但去模糊效果有限,而本发明方法兼顾去噪和去模糊,评价指标为三种方法最佳方法。
请参阅图11,图11是本发明实施例提供的一种图像处理装置的结构示意图,如图11所示,该图像处理装置包括:
获取单元1110,用于获取源图像、模糊核;
处理单元1120,用于:根据所述源图像的能量梯度构建分布式惩罚因子;所述源图像中不同能量梯度的像素点对应不同的分布式惩罚因子;
将所述源图像、所述模糊核以及所述分布式惩罚因子代入能量函数;所述能量函数包括数值保真项以及约束项;所述约束项包括梯度约束项;所述梯度约束项用于基于所述分布式惩罚因子对不同能量梯度的像素点采用不同的约束力度;以及,
对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像。
本发明一实施例中,所述能量函数为:
本发明一实施例中,所述梯度约束项包括:梯度惩罚项和二次梯度平滑项;所述梯度惩罚项用于去模糊;所述二次梯度平滑项用于去噪。
本发明一实施例中,所述约束项还包括第一变量约束项;所述第一变量约束项用于约束wn。
本发明一实施例中,所述约束项还包括第二变量约束项,用于约束vn;所述能量函数为:
其中,所述数值保真项为||vn||;所述第一变量约束项为所述第二变量约束项为In为第n次迭代求解的清晰图像;I0为源图像,k为模糊核,λx为分布式惩罚因子;β和/或θ为迭代参数。实际计算时,wn、vn数值基于In-1得到,特别地,当n=1时,In-1=I0。
本发明一实施例中,所述处理单元1120还用于执行下述步骤:
步骤S1:选定所述外循环迭代参数β为第一初始值以及选定所述内循环迭代参数θ为第二初始值;
步骤S2:根据所述能量函数、所述模糊核k、当前外循环迭代参数、当前内循环参数、上一次迭代求解的清晰图像以及所述上一次迭代求解的图像对应的分布式惩罚因子,求解本次迭代的清晰图像;其中,当本次为第一次时,所述当前外循环迭代参数β为所述第一初始值,所述当前内循环参数θ为所述第二初始值,所述上一次迭代求解的清晰图像为所述源图像;
步骤S3:在当前内循环迭代参数θ不小于第一阈值时,更新所述内循环迭代参数θ,重复执行所述步骤S2;或,在当前内循环迭代参数θ小于所述第一阈值时,更新所述外循环迭代参数β以及初始化所述内循环迭代参数θ为所述第二初始值;
步骤S4:在当前外循环迭代参数β不小于第二阈值时,重复执行所述步骤S2以及所述步骤S3;
步骤S5:在当前外循环迭代参数β小于所述第二阈值时,输出最后一次迭代求解的清晰图像。
本发明一实施例中,所述分布式惩罚因子λ为:
其中,In-1为第n-1次迭代求解的清晰图像;I0为源图像;λ0、α为定值。
本发明一实施例中,所述处理单元1120还用于:
选定所述迭代参数β以及所述迭代参数θ,基于所述能量方程通过交替最小化方法,对所述能量函数进行求解。
上述发明实施例,图像处理装置通过获取源图像、模糊核;根据所述源图像的能量梯度构建分布式惩罚因子;所述源图像中不同能量梯度的像素点对应不同的分布式惩罚因子;将所述源图像、所述模糊核以及所述分布式惩罚因子代入能量函数;所述能量函数包括数值保真项以及约束项;所述约束项包括梯度约束项;所述梯度约束项用于基于所述分布式惩罚因子对不同能量梯度的像素点采用不同的约束力度;对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像,该图像处理装置在针对微小模糊量的带噪图像进行复原处理时,可以在抑制噪声的兼顾去模糊,提高图像的质量。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory,ROM)或随机存储记忆体(Random AccessMemory,RAM)等。
以上所揭露的仅为本发明较佳实施例而已,当然不能以此来限定本发明之权利范围,因此依本发明权利要求所作的等同变化,仍属本发明所涵盖的范围。
Claims (18)
1.一种图像处理方法,其特征在于,包括:
获取源图像、模糊核;
根据所述源图像的能量梯度构建分布式惩罚因子;所述源图像中不同能量梯度的像素点对应不同的分布式惩罚因子;
将所述源图像、所述模糊核以及所述分布式惩罚因子代入能量函数;所述能量函数包括数值保真项以及约束项;所述约束项包括梯度约束项;所述梯度约束项用于基于所述分布式惩罚因子对不同能量梯度的像素点采用不同的约束力度;
对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像;
所述梯度约束项包括:梯度惩罚项和二次梯度平滑项;所述梯度惩罚项用于去模糊;所述二次梯度平滑项用于去噪。
4.如权利要求3所述的方法,其特征在于,所述约束项还包括第一变量约束项;所述第一变量约束项用于约束wn。
6.如权利要求5所述的方法,其特征在于,β为外循环迭代参数,θ为内循环迭代参数;所述对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像包括:
步骤S1:选定所述外循环迭代参数β为第一初始值以及选定所述内循环迭代参数θ为第二初始值;
步骤S2:根据所述能量函数、所述模糊核k、当前外循环迭代参数、当前内循环参数、上一次迭代求解的清晰图像以及所述上一次迭代求解的清晰图像对应的分布式惩罚因子,求解本次迭代的清晰图像;其中,当本次为第一次时,所述当前外循环迭代参数β为所述第一初始值,所述当前内循环参数θ为所述第二初始值,所述上一次迭代求解的清晰图像为所述源图像;
步骤S3:在当前内循环迭代参数θ不小于第一阈值时,更新所述内循环迭代参数θ,重复执行所述步骤S2;或,在当前内循环迭代参数θ小于所述第一阈值时,更新所述外循环迭代参数β以及初始化所述内循环迭代参数θ为所述第二初始值;
步骤S4:在当前外循环迭代参数β不小于第二阈值时,重复执行所述步骤S2以及所述步骤S3;
步骤S5:在当前外循环迭代参数β小于所述第二阈值时,输出最后一次迭代求解的清晰图像。
8.如权利要求5或6任一权利要求所述的方法,其特征在于,所述对所述能量函数进行迭代求解包括:
选定所述迭代参数β以及所述迭代参数θ,基于所述能量方程通过交替最小化方法,对所述能量函数进行求解。
9.一种图像处理装置,其特征在于,包括:
获取单元,用于获取源图像、模糊核;
处理单元,用于:根据所述源图像的能量梯度构建分布式惩罚因子;所述源图像中不同能量梯度的像素点对应不同的分布式惩罚因子;
将所述源图像、所述模糊核以及所述分布式惩罚因子代入能量函数;所述能量函数包括数值保真项以及约束项;所述约束项包括梯度约束项;所述梯度约束项用于基于所述分布式惩罚因子对不同能量梯度的像素点采用不同的约束力度;以及,
对所述能量函数进行迭代求解,并在满足迭代条件时,输出最后一次迭代求解的清晰图像;
所述梯度约束项包括:梯度惩罚项和二次梯度平滑项;所述梯度惩罚项用于去模糊;所述二次梯度平滑项用于去噪。
12.如权利要求11所述的装置,其特征在于,所述约束项还包括第一变量约束项;所述第一变量约束项用于约束wn。
14.如权利要求13所述的装置,其特征在于,β为外循环迭代参数,θ为内循环迭代参数;所述处理单元还用于执行下述步骤:
步骤S1:选定所述外循环迭代参数β为第一初始值以及选定所述内循环迭代参数θ为第二初始值;
步骤S2:根据所述能量函数、所述模糊核k、当前外循环迭代参数、当前内循环参数、上一次迭代求解的清晰图像以及所述上一次迭代求解的清晰图像对应的分布式惩罚因子,求解本次迭代的清晰图像;其中,当本次为第一次时,所述当前外循环迭代参数β为所述第一初始值,所述当前内循环参数θ为所述第二初始值,所述上一次迭代求解的清晰图像为所述源图像;
步骤S3:在当前内循环迭代参数θ不小于第一阈值时,更新所述内循环迭代参数θ,重复执行所述步骤S2;或,在当前内循环迭代参数θ小于所述第一阈值时,更新所述外循环迭代参数β以及初始化所述内循环迭代参数θ为所述第二初始值;
步骤S4:在当前外循环迭代参数β不小于第二阈值时,重复执行所述步骤S2以及所述步骤S3;
步骤S5:在当前外循环迭代参数β小于所述第二阈值时,输出最后一次迭代求解的清晰图像。
16.如权利要求13或14任一权利要求所述的装置,其特征在于,所述处理单元还用于:
选定所述迭代参数β以及所述迭代参数θ,基于所述能量方程通过交替最小化方法,对所述能量函数进行求解。
17.一种图像处理芯片,其特征在于,包括:至少一个处理器以及至少一个存储器,所述处理器用于耦合所述存储器,调用所述存储器存储的数据和指令,执行如权利要求1-8所述的任一图像处理方法。
18.一种终端,其特征在于,包括:至少一个处理器以及至少一个存储器,所述处理器用于耦合所述存储器,调用所述存储器存储的数据和指令,执行如权利要求1-8所述的任一图像处理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710300254.9A CN108810322B (zh) | 2017-04-28 | 2017-04-28 | 图像处理方法以及相关装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201710300254.9A CN108810322B (zh) | 2017-04-28 | 2017-04-28 | 图像处理方法以及相关装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN108810322A CN108810322A (zh) | 2018-11-13 |
CN108810322B true CN108810322B (zh) | 2021-02-12 |
Family
ID=64053384
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201710300254.9A Expired - Fee Related CN108810322B (zh) | 2017-04-28 | 2017-04-28 | 图像处理方法以及相关装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN108810322B (zh) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761710A (zh) * | 2014-01-08 | 2014-04-30 | 西安电子科技大学 | 基于边缘自适应的高效图像盲去模糊方法 |
CN104361562A (zh) * | 2014-10-31 | 2015-02-18 | 河南大学 | 一种变分pde图像保边保结构复原方法 |
CN106023116A (zh) * | 2016-05-30 | 2016-10-12 | 中国科学院深圳先进技术研究院 | 一种基于块加权约束的压缩感知图像重建方法及装置 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100158320A1 (en) * | 2008-12-19 | 2010-06-24 | Himax Technologies Limited | Method of motion detection using content adaptive penalty function |
-
2017
- 2017-04-28 CN CN201710300254.9A patent/CN108810322B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103761710A (zh) * | 2014-01-08 | 2014-04-30 | 西安电子科技大学 | 基于边缘自适应的高效图像盲去模糊方法 |
CN104361562A (zh) * | 2014-10-31 | 2015-02-18 | 河南大学 | 一种变分pde图像保边保结构复原方法 |
CN106023116A (zh) * | 2016-05-30 | 2016-10-12 | 中国科学院深圳先进技术研究院 | 一种基于块加权约束的压缩感知图像重建方法及装置 |
Non-Patent Citations (1)
Title |
---|
《基于局部自适应稀疏先验的图像盲去模糊》;吕雪银;《中国优秀硕士学位论文全文数据库》;20160331;1-49页 * |
Also Published As
Publication number | Publication date |
---|---|
CN108810322A (zh) | 2018-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108921806B (zh) | 一种图像处理方法、图像处理装置及终端设备 | |
US9772771B2 (en) | Image processing for introducing blurring effects to an image | |
AU2014402162B2 (en) | Method and apparatus for setting background of UI control, and terminal | |
CN110933334B (zh) | 视频降噪方法、装置、终端及存储介质 | |
US20170351932A1 (en) | Method, apparatus and computer program product for blur estimation | |
CN112767281A (zh) | 图像鬼影消除方法、装置、电子设备及存储介质 | |
CN110766610A (zh) | 一种超分辨率图像的重建方法及电子设备 | |
CN107395983B (zh) | 一种图像处理方法、移动终端及计算机可读存储介质 | |
CN116596748A (zh) | 图像风格化处理方法、装置、设备、存储介质和程序产品 | |
CN108810322B (zh) | 图像处理方法以及相关装置 | |
CN111784726A (zh) | 人像抠图方法和装置 | |
CN112383708B (zh) | 拍摄方法、装置、电子设备及可读存储介质 | |
CN115049572A (zh) | 图像处理方法、装置、电子设备和计算机可读存储介质 | |
CN111314627B (zh) | 用于处理视频帧的方法和装置 | |
CN114299014A (zh) | 图像处理架构、方法、电子设备及存储介质 | |
CN113902639A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
CN110599437A (zh) | 用于处理视频的方法和装置 | |
CN112446848A (zh) | 图像处理方法、装置及电子设备 | |
CN112508801A (zh) | 图像处理方法及计算设备 | |
CN112367470B (zh) | 图像处理方法、装置及电子设备 | |
CN113709372B (zh) | 图像生成方法和电子设备 | |
CN116681597A (zh) | 一种图像处理方法、装置、存储介质及终端 | |
CN117372240A (zh) | 特效图像的展示方法、装置、电子设备和存储介质 | |
CN115619653A (zh) | 视频降噪方法、装置、设备以及计算机可读存储介质 | |
CN113709370A (zh) | 图像生成方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20210212 |
|
CF01 | Termination of patent right due to non-payment of annual fee |