CN104966274B - 一种采用图像检测与区域提取的局部模糊复原方法 - Google Patents

一种采用图像检测与区域提取的局部模糊复原方法 Download PDF

Info

Publication number
CN104966274B
CN104966274B CN201510322849.5A CN201510322849A CN104966274B CN 104966274 B CN104966274 B CN 104966274B CN 201510322849 A CN201510322849 A CN 201510322849A CN 104966274 B CN104966274 B CN 104966274B
Authority
CN
China
Prior art keywords
fuzzy
region
image
local
pixel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510322849.5A
Other languages
English (en)
Other versions
CN104966274A (zh
Inventor
赵巨峰
高秀敏
张钰
逯鑫淼
臧月
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Nanyi Software Co ltd
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN201510322849.5A priority Critical patent/CN104966274B/zh
Publication of CN104966274A publication Critical patent/CN104966274A/zh
Application granted granted Critical
Publication of CN104966274B publication Critical patent/CN104966274B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种采用图像检测与区域提取的局部模糊复原方法，包括如下步骤：（1）局部模糊区域即前景的标记；（2）抠图手段（image matting）实现模糊区域提取；（3）对模糊区域进行复原并修复。本发明方法针对局部模糊图像的复原，考虑利用模糊检测手段标记出大致的模糊区域，进而使用抠图手段实现模糊区域提取，分割出前景与背景，进而对模糊区域进行复原，并进一步整合得到局部复原图像。在本发明方法中，输入观测的局部模糊退化图像，给出相关的几个参数，即可获取效果好的复原图像。本发明方法可应用于清晰背景、运动前景图像的复原。

Description

一种采用图像检测与区域提取的局部模糊复原方法
技术领域
本发明涉及图像处理技术，尤其涉及一种采用图像检测与区域提取的局部模糊复原方法。
背景技术
模糊图像的复原，旨在研究将模糊退化的图像分析求解获取接近原始场景的最优化图像。目前，几乎所有的模糊图像复原方法都是针对场景与相机的相对运动、相机的整体离焦等，也就说这种模糊是全局性的，在这基础上的复原也就是全局性的复原。然而，而对于场景中只有部分景物对象模糊的情况研究得很少，比如部分景物的与相机的相对运动(如常见的人、汽车等在相对静态的场景中的移动)，局部的离焦模糊等。在局部模糊中，模糊的景物称为前景，而清晰的景物称为背景，这就是“前景与后景”。
局部图像复原工作相对全局复原更为复杂，一般先提取模糊区域，估计模糊程度，然后复原，最后进行图像的前后景的修补。目前，在局部模糊复原方面研究少，尤其是模糊区域提取等相关方面，一般只能针对简单的背景才会有相对较好结果，如“基于Z变换的局部匀速运动模糊图像恢复算法”。该方法在前景和背景色差较大的假设前提下，利用基于背景差方法将前景从图像中分离出，进而进行处理。
现有方法，希望能针对一般的前后背景，能实现局部模糊的复原。使得局部模糊复原的技术能够应用到科研与日常生活的图像处理中。
发明内容
本发明针对现有技术的不足，提出一种采用图像检测与区域提取的局部模糊复原方法，可从局部模糊的图像，利用模糊检测手段标记出大致的模糊区域，进而使用抠图手段实现模糊区域提取，分割出前景与背景，进而对模糊区域进行复原，并进一步整合得到局部复原图像。
一种采用图像检测与区域提取的局部模糊复原方法，该方法具体包括以下步骤：
(1)局部模糊区域的标记
输入灰度图像g，若g为彩色图，则利用其亮度信息；
假设IG是图像g的傅里叶形式，对于IG中任意像素(u,v)，设计S：
M×N是图像的尺寸；把IG(u,v)在极坐标下表示，构建S(f,θ)，f为离原点的距离即频率值，θ为与x轴正方向的角度；其中u＝f cosθ，v＝f sinθ；对所有方向求和即对θ求和，其结果近似有：
这里，是对应每个方向幅度比例因子，而γ为频率指数，也就是所谓的功率谱斜率；
设计提出局部γ值与全局γ值的对比来实现对模糊的估计；
首先计算整幅图像的功率谱斜率即全局γ0，然后在各个尺寸为A×A的局部块ν内计算出每个像素处的γp，定义指标q1
对于整幅图像的像素，都有对应的q1，最后形成与图像g同物理尺寸的数据矩阵Q1，在Q1中值越大的区域，模糊的概率越高；
对Q1进行归一化；
设定两个阈值T1与T2，T1>T2，Q1中的像素若满足大于T1，则认为是模糊区域，标记为模糊区域即前景；而满足小于T2的位置被认为是清晰区域，即背景；其余区域认为是过渡区域；
(2)抠图手段实现模糊区域提取
进行模糊区域的识别标识后，采用抠图的方法来准确分割模糊区域；抠图是一种图像软分割技术，它假设图像由不同透明度的前景和背景组成，即是模糊——前景区域与清晰——背景区域，估计出每个像素的透明度，即可区分出前景背景所包含的区域，完成分割；若将图像像素表示为x＝(i,j)，那么图像g(x)可表示为前景F(x)和背景B(x)的线性组合：
g(x)＝αxF(x)+(1-αx)B(x)
其中αx是像素透明度，取值范围为[0,1]；
在(1)中，已经标记出模糊区域、清晰区域、过渡区域，那么，对应于αx中，模糊区域对应的像素为1，清晰区域对应的像素为0，而过渡区域为未知待求，将此αx作为输入应用于接下去的优化计算中；
对matting方程等式两边求偏导，则：
式中的是梯度算子，那么相对于来说是很小的，那么将可上式简写并变形为：
从式中可以看出透明度分布α的梯度与图像本身的梯度成正比；而求解α即是最小化以下问题：
于是，求解获取透明度分布α，取值范围为[0,1]，p为邻域Ω内任意像素；
设定抠图阈值Th，α图中大于Th的都认为是准确的模糊区域；
(3)对模糊区域进行复原并修复
由于(2)中已经获取了模糊区域，对模糊区域进行退化函数估计，并同时复原；方法采用盲复原技术，由于本发明主要针对线性模糊，初始退化函数h0设定为线性运动，运动像素为N个，运动方向可根据实际情况设定；在本发明的方法中，对于观测退化图像g，使用快速傅立叶变换，实现空域和频域中交替迭代；从给定真实图像和退化函数的初始估计值f0(x,y)和h0(x,y)出发，每次迭代循环包括利用当前的估计值fk(x,y)和hk(x,y)确定新的估计值fk+1(x,y)和hk+1(x,y)，再对新的估计值依约束条件进行修正，然后将修正后的估计值作为下一次迭代循环的输入值；循环体中确定新估计值的处理在频域中进行，其具体表达式为：
其中实数a代表噪声的能量，此外，G、F、H分别为g、f、h的频域表达形式，而F*代表F的复共轭，H*代表H的复共轭，k为迭代次数；
在局部模糊区域复原之后，需要将这部分区域与背景的清晰区域整合起来；本发明利用inpainting算法修复局部模糊复原图像的清晰区域和模糊区域之间的“破损部分”，利用技术：Oliveira M M,Bowen B,Mckenna R,et al.Fast digital image inpainting[C].Proceedings of the International Conference on Visualization,Imaging andImage Processing(VIIP 2001),Citeseer,2001:261-266.；
于是，最终获取了局部复原结果。
本发明方法针对局部模糊图像的复原，考虑利用模糊检测手段标记出大致的模糊区域，进而使用抠图手段实现模糊区域提取，分割出前景与背景，进而对模糊区域进行复原，并进一步整合得到局部复原图像。在本发明方法中，输入观测的局部模糊退化图像，给出相关的几个参数，即可获取效果好的复原图像。本发明方法可应用于清晰背景、运动前景图像的复原。
附图说明
图1为本发明方法的操作流程框图；
图2为具体实施例图：
图2a为输入局部模糊图像；
图2b为经本文方法处理后获取的复原结果。
具体实施方式
面结合附图，通过具体实施例，对本发明的技术方案进行清楚、完整的描述。
利用本发明方法处理图像，如图1所示，输入原始局部模糊观测图像，即可得到复原结果。以图2a(观测图像)为例(以下分别称为g),参数设置如下：
是对应每个方向幅度比例因子,局部块尺寸A＝17，阈值
T1＝0.8·max(Q1)，T2＝0.2·max(Q1),a代表噪声的能量,a＝0.001,
其主要操作步骤如下：
(1)局部模糊区域的标记
输入灰度图像g，若g为彩色图，则利用其亮度信息；
假设IG是图像g的傅里叶形式，对于IG中任意像素(u,v)，设计S：
M×N是图像的尺寸；把IG(u,v)在极坐标下表示，构建S(f,θ)，f为离原点的距离即频率值，θ为与x轴正方向的角度；其中u＝f cosθ，v＝f sinθ；对所有方向求和即对θ求和，其结果近似有：
这里，是对应每个方向幅度比例因子，而γ为频率指数，也就是所谓的功率谱斜率；
设计提出局部γ值与全局γ值的对比来实现对模糊的估计；
首先计算整幅图像的功率谱斜率即全局γ0，然后在各个尺寸为A×A的局部块ν内计算出每个像素处的γp，定义指标q1
对于整幅图像的像素，都有对应的q1，最后形成与图像g同物理尺寸的数据矩阵Q1，在Q1中值越大的区域，模糊的概率越高；
对Q1进行归一化；
设定两个阈值T1与T2，T1>T2，Q1中的像素若满足大于T1，则认为是模糊区域，标记为模糊区域即前景；而满足小于T2的位置被认为是清晰区域，即背景；其余区域认为是过渡区域；
(2)抠图手段实现模糊区域提取
进行模糊区域的识别标识后，采用抠图的方法来准确分割模糊区域；抠图是一种图像软分割技术，它假设图像由不同透明度的前景和背景组成，即是模糊——前景区域与清晰——背景区域，估计出每个像素的透明度，即可区分出前景背景所包含的区域，完成分割；若将图像像素表示为x＝(i,j)，那么图像g(x)可表示为前景F(x)和背景B(x)的线性组合：
g(x)＝αxF(x)+(1-αx)B(x)
其中αx是像素透明度，取值范围为[0,1]；
在(1)中，已经标记出模糊区域、清晰区域、过渡区域，那么，对应于αx中，模糊区域对应的像素为1，清晰区域对应的像素为0，而过渡区域为未知待求，将此αx作为输入应用于接下去的优化计算中；
对matting方程等式两边求偏导，则：
式中的是梯度算子，那么相对于来说是很小的，那么将可上式简写并变形为：
从式中可以看出透明度分布α的梯度与图像本身的梯度成正比；而求解α即是最小化以下问题：
于是，求解获取透明度分布α，取值范围为[0,1]，p为邻域Ω内任意像素；
设定抠图阈值Th，α图中大于Th的都认为是准确的模糊区域；
(3)对模糊区域进行复原并修复
由于(2)中已经获取了模糊区域，对模糊区域进行退化函数估计，并同时复原；方法采用盲复原技术，由于本发明主要针对线性模糊，初始退化函数h0设定为线性运动，运动像素为N个，运动方向可根据实际情况设定；在本发明的方法中，对于观测退化图像g，使用快速傅立叶变换，实现空域和频域中交替迭代；从给定真实图像和退化函数的初始估计值f0(x,y)和h0(x,y)出发，每次迭代循环包括利用当前的估计值fk(x,y)和hk(x,y)确定新的估计值fk+1(x,y)和hk+1(x,y)，再对新的估计值依约束条件进行修正，然后将修正后的估计值作为下一次迭代循环的输入值；循环体中确定新估计值的处理在频域中进行，其具体表达式为：
其中实数a代表噪声的能量，此外，G、F、H分别为g、f、h的频域表达形式，而F*代表F的复共轭，H*代表H的复共轭，k为迭代次数；
在局部模糊区域复原之后，需要将这部分区域与背景的清晰区域整合起来；本发明利用inpainting算法修复局部模糊复原图像的清晰区域和模糊区域之间的“破损部分”，利用技术：Oliveira M M,Bowen B,Mckenna R,et al.Fast digital image inpainting[C].Proceedings of the International Conference on Visualization,Imaging andImage Processing(VIIP 2001),Citeseer,2001:261-266.；
于是，最终获取了局部复原结果。如图2b所示。
本发明虽然已以较佳实施例公开如上，但其并不是用来限定本发明，任何本领域技术人员在不脱离本发明的精神和范围内，都可以利用上述揭示的方法和技术内容对本发明技术方案做出可能的变动和修改，因此，凡是未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化及修饰，均属于本发明技术方案的保护范围。

Claims (1)

1.一种采用图像检测与区域提取的局部模糊复原方法，其特征在于，包括如下步骤：
(1)局部模糊区域的标记
输入灰度图像g，若g为彩色图，则利用其亮度信息；
假设IG是图像g的傅里叶形式，对于IG中任意像素(u,v)，设计S：
M×N是图像的尺寸；把IG(u,v)在极坐标下表示，构建S(f',θ)，f'为离原点的距离即频率值，θ为与X轴正方向的角度；其中u＝f'cosθ，v＝f'sinθ；对所有方向求和即对θ求和，其结果近似为：
这里，是对应每个方向幅度的比例因子，γ为频率指数，即功率谱斜率；
提出局部γ值与全局γ值的对比，来实现对模糊的估计；
计算整幅图像的功率谱斜率即全局γ0，在各个尺寸为A×A的局部块内计算出每个像素处的γp，定义指标q1
对于整幅图像的像素，都有对应的q1，形成与图像g同物理尺寸的数据矩阵Q1，在Q1中值越大的区域，模糊的概率越高；
对Q1进行归一化；
设定两个阈值T1与T2，T1>T2，Q1中的像素若满足q1大于T1，则认为是模糊区域，标记为模糊区域即前景；满足q1小于T2的位置被认为是清晰区域，即背景；其余区域认为是过渡区域；
(2)利用抠图手段实现模糊区域提取
进行模糊区域的识别标识后，采用抠图的方法来准确分割模糊区域；若将图像像素表示为m＝(i,j)，图像g(m)表示为前景F`(m)和背景B(m)的线性组合：
g(m)＝αxF`(m)+(1-αx)B(m)
其中αx是像素透明度，取值范围为[0,1]；
在(1)中，已经标记出模糊区域、清晰区域、过渡区域，对应于αx中，模糊区域对应的像素为1，清晰区域对应的像素为0，过渡区域为未知待求，将此αx作为输入应用于接下来的优化计算中；
对matting方程等式两边求偏导，则：
式中的是梯度算子，相对于是能忽略的，将上式简写并变形为：
从式中看出透明度分布α的梯度与图像本身的梯度成正比；求解α即是最小化以下问题：
求解获取透明度分布α，p为邻域Ω内的任意像素；
设定抠图阈值Th，透明度分布α大于Th的区域都认为是准确的模糊区域；
(3)对模糊区域进行复原并修复
对模糊区域进行退化函数估计，并同时复原；采用盲复原技术，针对线性模糊，初始退化函数h0设定为线性运动，运动像素为N’个，运动方向根据实际情况设定；对于观测退化图像g’，使用快速傅立叶变换，实现空域和频域交替迭代；从给定真实图像和退化函数的初始估计值f0(x,y)和h0(x,y)出发，每次迭代循环包括利用当前的估计值fk(x,y)和hk(x,y)确定新的估计值fk+1(x,y)和hk+1(x,y)，再对新的估计值依约束条件进行修正，然后将修正后的估计值作为下一次迭代循环的输入值；循环体中确定新估计值的处理在频域中进行，其具体表达式为：
其中实数a代表噪声的能量，此外，G、F、H分别为g、f、h的频域表达形式，而F*代表F的复共轭，H*代表H的复共轭，k为迭代次数；
在局部模糊区域复原之后，将这部分区域与背景的清晰区域整合起来；利用OliveiraM M,Bowen B,Mckenna R,et al，Fast digital image inpainting[C]，Proceedings ofthe International Conference on Visualization,Imaging and Image Processing(VIIP 2001),Citeseer,2001:261-266，提出的inpainting算法修复局部模糊复原图像的清晰区域和模糊区域之间的破损部分，最终获取了局部复原结果。
CN201510322849.5A 2015-06-12 2015-06-12 一种采用图像检测与区域提取的局部模糊复原方法 Active CN104966274B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510322849.5A CN104966274B (zh) 2015-06-12 2015-06-12 一种采用图像检测与区域提取的局部模糊复原方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201510322849.5A CN104966274B (zh) 2015-06-12 2015-06-12 一种采用图像检测与区域提取的局部模糊复原方法

Publications (2)

Publication Number Publication Date
CN104966274A CN104966274A (zh) 2015-10-07
CN104966274B true CN104966274B (zh) 2019-01-29

Family

ID=54220305

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201510322849.5A Active CN104966274B (zh) 2015-06-12 2015-06-12 一种采用图像检测与区域提取的局部模糊复原方法

Country Status (1)

Country Link
CN (1) CN104966274B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108460770B (zh) * 2016-12-13 2020-03-10 华为技术有限公司 抠图方法及装置
CN110097509B (zh) * 2019-03-26 2021-05-18 杭州电子科技大学 一种局部运动模糊图像的复原方法
CN110223245B (zh) * 2019-05-16 2021-07-16 华南理工大学 基于深度神经网络的模糊图片清晰化处理方法及系统
CN110264417B (zh) * 2019-05-31 2022-04-12 西安理工大学 基于分层模型的局部运动模糊区域自动检测提取方法
CN116095291B (zh) * 2023-03-07 2023-06-16 山东爱特云翔计算机有限公司 一种用于媒体流图像传输的图像预处理方法
CN116503291B (zh) * 2023-06-21 2023-10-27 广东广宇科技发展有限公司 一种基于色彩增强的图像处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236884A (zh) * 2010-05-07 2011-11-09 耿则勋 气象数据修正的增量维纳滤波大气模糊遥感影像恢复方法
CN103093436A (zh) * 2013-01-29 2013-05-08 南京理工大学 利用图像局部结构方向导数的模糊核多尺度迭代估计方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102236884A (zh) * 2010-05-07 2011-11-09 耿则勋 气象数据修正的增量维纳滤波大气模糊遥感影像恢复方法
CN103093436A (zh) * 2013-01-29 2013-05-08 南京理工大学 利用图像局部结构方向导数的模糊核多尺度迭代估计方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Non Local Image Restoration Using Iterative Method;K.Sakthidasan;《International Conference on Communication and Signal Processing,》;20140405;第1740-1744页 *
一种图像局部模糊检测方法及其在被动图像认证中的应用;王睿 等;《高技术通讯》;20091231;第19卷(第7期);第718-723页 *
图像局部模糊的自动检测方法;吴昊 等;《计算机工程》;20110930;第37卷(第8期);第219-221页 *

Also Published As

Publication number Publication date
CN104966274A (zh) 2015-10-07

Similar Documents

Publication Publication Date Title
CN104966274B (zh) 一种采用图像检测与区域提取的局部模糊复原方法
CN107301623B (zh) 一种基于暗通道和图像分割的交通图像去雾方法及系统
CN103325112B (zh) 动态场景中运动目标快速检测方法
Gao et al. Sand-dust image restoration based on reversing the blue channel prior
CN105913407B (zh) 一种基于差值图对多聚焦度图像融合优化的方法
Wang et al. Variational single nighttime image haze removal with a gray haze-line prior
CN102170574A (zh) 一种实时视频去雾处理系统
CN104318524A (zh) 一种基于YCbCr色彩空间的图像增强方法、装置及系统
Kil et al. A dehazing algorithm using dark channel prior and contrast enhancement
CN104463870A (zh) 一种图像显著区域检测方法
CN102831591A (zh) 一种基于高斯滤波的单幅图像的实时去雾方法
CN104537622B (zh) 单幅图像中去除雨滴影响的方法和系统
CN108510491A (zh) 虚化背景下人体骨骼关键点检测结果的过滤方法
CN105096272A (zh) 一种基于双树复小波的除雾方法
WO2015181179A1 (en) Method and apparatus for object tracking and segmentation via background tracking
CN104717400A (zh) 一种监控视频的实时去雾方法
CN109118440B (zh) 基于透射率融合与自适应大气光估计的单幅图像去雾方法
Yu et al. Image and video dehazing using view-based cluster segmentation
Dawod et al. A new method for hand segmentation using free-form skin color model
CN110807738A (zh) 一种基于边缘图块锐化的模糊图像非盲复原方法
Zhang et al. Dehazing with improved heterogeneous atmosphere light estimation and a nonlinear color attenuation prior model
CN102629368B (zh) 一种基于照度表面建模的彩色图像渐晕复原方法
Lai et al. Single image dehazing with optimal transmission map
CN105894489B (zh) 一种眼角膜地形图像处理方法
Wang et al. Accurate depth estimation for image defogging using Markov Random Field

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201110

Address after: 310016 room 3003-1, building 1, Gaode land center, Jianggan District, Hangzhou City, Zhejiang Province

Patentee after: Zhejiang Zhiduo Network Technology Co.,Ltd.

Address before: Hangzhou City, Zhejiang province 310018 Xiasha Higher Education Park No. 2 street

Patentee before: HANGZHOU DIANZI University

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20201130

Address after: 241100 8 / F, building 5, Wuhu TONGHANG Innovation Park, Wanbi Town, Wuhu City, Anhui Province

Patentee after: Wuhu Digital Information Industrial Park Co., Ltd

Address before: 310016 room 3003-1, building 1, Gaode land center, Jianggan District, Hangzhou City, Zhejiang Province

Patentee before: Zhejiang Zhiduo Network Technology Co.,Ltd.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211129

Address after: 201600 No.3, Lane 1800, xinsongjiang Road, Songjiang District, Shanghai

Patentee after: Shanghai Nanyi Software Co.,Ltd.

Address before: 241100 8 / F, building 5, Wuhu TONGHANG Innovation Park, Wanbi Town, Wuhu City, Anhui Province

Patentee before: Wuhu Digital Information Industrial Park Co., Ltd