CN104851079B - 基于噪声/模糊图像对的低照度车牌图像恢复方法 - Google Patents
基于噪声/模糊图像对的低照度车牌图像恢复方法 Download PDFInfo
- Publication number
- CN104851079B CN104851079B CN201510226441.8A CN201510226441A CN104851079B CN 104851079 B CN104851079 B CN 104851079B CN 201510226441 A CN201510226441 A CN 201510226441A CN 104851079 B CN104851079 B CN 104851079B
- Authority
- CN
- China
- Prior art keywords
- image
- light
- level
- low
- noise
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Processing (AREA)
Abstract
本发明涉及图像信息处理领域,具体公开了一种基于噪声/模糊图像对的低照度车牌图像恢复方法,首先对低照度拍摄相机设置编码曝光,采集长时、短时曝光时间交替的图像序列,然后对短曝光噪声图像进行去噪处理,抑制低照度噪声。在此基础上,利用去噪图像和长曝光模糊图像,进行模糊核估计和优化。最后针对低照度环境下大强度混合噪声特点,对模糊图像进行去模糊。与传统的低照度车牌图像恢复算法相比,能够充分利用不同曝光时间的车牌图像包含的信息,更好地应对低照度混合噪声环境,获得更高质量的低照度车牌恢复图像。
Description
技术领域
本发明属于图像信息处理领域,具体涉及低照度车牌图像恢复方法。
背景技术
低照度环境下,采用编码曝光技术能够获得长曝光和短曝光的图像,其中短曝光图像边缘清晰,但噪声强度大,信噪比低;长曝光图像信噪比较高,但有明显的运动模糊。在模糊核估计过程中,将短曝光大噪声图像和长曝光模糊图像相结合,能够比传统方法获得更高的估计精度。低照度拍摄条件下,运动车辆车牌图像信噪比低,噪声强度大且成分复杂,而目前大部分图像复原方法都是针对某种已知分布的特定的先验项,往往只能解决噪声成分相对单一的情况,对于混合噪声来说效果很难保证,因此无法解决低照度环境中混合噪声情况下的图像复原问题。通过对现有先验项进行有效组合,能够使图像复原算法更好地应对混合噪声情况,提高低照度条件下图像恢复效果。
发明内容
本发明为解决低照度车牌图像恢复问题,提供一种基于噪声/模糊图像对的低照度车牌图像恢复方法,具体技术方案如下
一种基于噪声/模糊图像对的低照度车牌图像恢复方法,包括如下步骤:
(S1)对低照度拍摄相机设置编码曝光,分别采集长时、短时曝光时间的车牌图像,记为短曝光噪声图像和长曝光模糊图像;
(S2)对短曝光噪声图像进行去噪处理,并利用去噪后的图像和长曝光模糊图像,进行模糊核估计,获得初始模糊核估计值;
(S3)对初始模糊核进行优化处理;
(S4)将长曝光模糊图像进行去模糊处理,获得车牌恢复图像。
进一步,所述步骤(S2)中的去噪方法采用双边滤波算法。
进一步,所述步骤(S2)中的模糊核估计过程为:
设置目标约束:
min{||Ak-b||2+λ2||k||2}
其中,||||2为2范数,A为去噪图像的矩阵形式,b为向量形式的长曝光模糊图像,k为向量形式的模糊核,λ为系数;
将目标约束转化为求解方程:(ATA+λ2E0)k=ATb,
求解得到模糊核估计值为:其中,T表示矩阵转置,()-1表示矩阵求逆,E0为单位矩阵。
进一步,所述步骤(S3)的具体过程为,
将优化处理转化公式的最小化过程,其中,B表示迭代处理过程中的模糊图像,B的迭代初始值为长曝光模糊图像的矩阵形式,I表示迭代过程中的清晰图像,I迭代初始值为短曝光噪声图像进行去噪处理后的图像;K表示迭代过程中的模糊核,其迭代初始值为模糊核估计值 符号为卷积运算,▽为求梯度运算,K*为优化后的模糊核,I*为K*对应的去模糊图像,μ1,μ2为系数;
采用共轭梯度法求解该优化问题,得到优化后模糊核K*。
进一步,所述步骤(S4)的具体过程为:
设长曝光模糊车牌图像像素行列数分别为m,n,Iv为向量形式的车牌恢复图像。对于像素(i,j),其梯度近似可以写成G(i,j)Iv,其中G(i,j)=[ei+1+(j-1)m-ei+(j-1)m,ei+jm-ei+(j-1)m]T,er表示第r位置取值为1,其他位置取值为0的m*n维向量,即:
通过G(i,j)组合成梯度矩阵G:
设Kma为K*的矩阵形式,K*为优化后的模糊核,Iv为向量形式的车牌恢复图像,b为向量形式的长曝光模糊图像,,引入先验项和||KmaIv-b||1,低照度模糊图像去模糊问题归结为求解下述问题:
其中λ1,λ2,λ3为系数,求解该优化问题,获得低照度车牌恢复图像的向量形式,表示为Ivm,将Ivm转化为矩阵形式为Im,即获得车牌恢复图像。
采用本发明获得的有益效果,本发明方法首先对低照度拍摄相机设置编码曝光,采集长时、短时曝光时间的图像。其中,短曝光图像边缘清晰,但噪声强度大,信噪比低;长曝光图像信噪比较高,但有明显的运动模糊。然后对短曝光噪声图像进行去噪处理,并利用去噪图像和长曝光模糊图像,进行模糊核估计和优化。最后针对低照度环境下大强度混合噪声特点,对模糊图像进行去模糊。与传统的低照度车牌图像恢复算法相比,能够充分利用不同曝光时间的车牌图像包含的信息,更好地应对低照度混合噪声环境,获得更高质量的低照度车牌恢复图像。
附图说明
图1是本发明所述方法的流程图;
图2是长曝光模糊图像;
图3是短曝光噪声图像;
图4是采用现有技术去模糊获得的车牌恢复图像;
图5是本方法去模糊获得的车牌恢复图像。
具体实施方式:
下面,将结合附图和具体实施例对本发明作进一步说明。
如图1所示,本发明提供了一种基于噪声/模糊图像对的低照度车牌图像恢复方法,包括如下步骤:
步骤一:对低照度拍摄相机设置编码曝光,采集长时、短时曝光时间的图像,如图2所示为短曝光噪声图像、图3为长曝光模糊图像。
步骤二:对短曝光噪声图像进行去噪处理,利用短曝光去噪图像和长曝光模糊图像,进行模糊核估计,获得初始模糊核估计值;
首先对短曝光噪声图像IN进行去噪预处理,采用双边滤波算法(具体参考文献[2])获得去噪图像IND。综合考虑恢复图像的精度和模糊核的稀疏性(具体参考文献[1]),目标约束项如下:
min{||Ak-b||2+λ2||k||2}
其中,A为去噪图像的矩阵形式,b为向量形式的长曝光模糊图像,k为向量形式的模糊核,λ为系数。上述目标约束可以转化为求解方程:
(ATA+λ2E0)k=ATb
得到向量形式的模糊核近似值为:
其中,()-1表示矩阵求逆,E0为单位矩阵。
步骤三:在获得初始模糊核基础上,进一步对模糊核进行优化;
优化过程可以转化为下述公式的最小化:
其中,B表示迭代处理过程中的模糊图像,B的迭代初始值为长曝光模糊图像的矩阵形式,I表示迭代过程中的清晰图像,I迭代初始值为短曝光噪声图像进行去噪处理后的图像;K表示迭代过程中的模糊核,其迭代初始值为模糊核估计值 符号为卷积运算,▽为求梯度运算,K*为优化后的模糊核,I*为K*对应的去模糊图像,μ1,μ2为系数;本文实施例中取μ1=μ2=1。
步骤四:针对低照度环境下大强度混合噪声特点,对长曝光车牌模糊图像进行去模糊。
低照度环境下拍摄的视频噪声种类繁多,包括高斯噪声、泊松噪声、脉冲噪声等,且成分复杂、噪声强度大,而现有的去模糊算法往往只能处理低噪声模糊图像,对于低照度大噪声模糊图像难以取得理想效果。图4为采用LuYuan去模糊算法(具体参考文献[1])得到的去模糊效果,车牌字符无法辨认。因此需要针对低照度环境下的噪声特点设计新型的去模糊算法。
设长曝光模糊车牌图像像素行列数分别为m,n,Iv为向量形式的车牌恢复图像。对于像素(i,j),其梯度近似可以写成G(i,j)Iv,其中G(i,j)=[ei+1+(j-1)m-ei+(j-1)m,ei+jm-ei+(j-1)m]T,er表示第r位置取值为1,其他位置取值为0的m*n维向量,即:
通过G(i,j)组合成梯度矩阵G:
设Kma为K*的矩阵形式,Iv,b分别为向量形式的车牌恢复图像和长曝光车牌模糊图像。为了适应低照度环境下混合复杂噪声的情况,引入先验项和||KmaIv-b||1。其中,先验项对于高斯噪声和高斯-泊松混合噪声效果明显,而先验项||KmaIv-b||1能够更好地处理脉冲和高斯、脉冲混合噪声,因此将两种先验项进行组合以解决混合复杂噪声问题。
低照度模糊图像去模糊问题可以归结为求解下述问题:
其中λ1,λ2,λ3为系数,具体实施过程中取值为λ1=λ2=λ3=1。按照参考文献[3]中方法,求解该优化问题,获得低照度车牌恢复图像如图5所示。
参考文献
[1]LuYuan,JianSun,LongQuan,Heung-YeungShum,ImageDeblurringwithBlurred/NoisyImagePairs,ACMTOG,2007.
[2]张闯,迟健男,张朝晖,王志良,基于边缘检测与双边滤波的彩色图像去噪,电子学报,2010.
[3]A.Levin,BlindMotiondeblurringusingimagestatistics,NeuralInformationProcessingSystems,2006.
以上实施例的说明只是用于帮助和理解本发明的方法及其核心思想,应当指出,对于所述技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以对本发明进行若干修饰和改进,这些修饰和改进也落入本发明权利要求的保护范围内。
Claims (4)
1.一种基于噪声/模糊图像对的低照度车牌图像恢复方法,其特征在于,包括如下步骤:
(S1)对低照度拍摄相机设置编码曝光,分别采集长时、短时曝光时间的车牌图像,记为短曝光噪声图像和长曝光模糊图像;
(S2)对短曝光噪声图像进行去噪处理,并利用去噪后的图像和长曝光模糊图像,进行模糊核估计,获得初始模糊核估计值;
(S3)对初始模糊核进行优化处理;
(S4)将长曝光模糊图像进行去模糊处理,获得车牌恢复图像,具体过程为:设长曝光模糊图像像素行列数分别为m,n,Iv为向量形式的车牌恢复图像;对于像素(i,j),其梯度近似可以写成G(i,j)Iv,其中G(i,j)=[ei+1+(j-1)m-ei+(j-1)m,ei+jm-ei+(j-1)m]T,er表示第r位置取值为1,其他位置取值为0的m*n维向量,即:
通过G(i,j)组合成梯度矩阵G:
设Kma为K*的矩阵形式,K*为优化后的模糊核,Iv为向量形式的车牌恢复图像,b为向量形式的长曝光模糊图像,引入先验项和||KmaIv-b||1,低照度模糊图像去模糊问题归结为求解下述问题:
其中λ1,λ2,λ3为系数,求解该优化问题,获得低照度车牌恢复图像。
2.如权利要求1所述的一种基于噪声/模糊图像对的低照度车牌图像恢复方法,其特征在于,所述步骤(S2)中的去噪方法采用双边滤波算法。
3.如权利要求1所述的一种基于噪声/模糊图像对的低照度车牌图像恢复方法,其特征在于,所述步骤(S2)中的模糊核估计过程为:
设置目标约束:
min{||Ak-b||2+λ2||k||2}
其中,A为去噪图像的矩阵形式,b为向量形式的长曝光模糊图像,k为向量形式的模糊核,λ为系数;
将目标约束转化为求解方程:(ATA+λ2E0)k=ATb,
求解得到模糊核估计值为:其中,T表示矩阵转置,()-1表示矩阵求逆,E0为单位矩阵。
4.如权利要求1所述的一种基于噪声/模糊图像对的低照度车牌图像恢复方法,其特征在于,所述步骤(S3)的具体过程为,
将优化处理转化公式的最小化过程,其中,B表示迭代处理过程中的模糊图像,B的迭代初始值为长曝光模糊图像的矩阵形式,I表示迭代过程中的清晰图像,I迭代初始值为短曝光噪声图像进行去噪处理后的图像;K表示迭代过程中的模糊核,其迭代初始值为模糊核估计值 符号为卷积运算,▽为求梯度运算,K*为优化后的模糊核,I*为K*对应的去模糊图像,μ1,μ2为系数;采用共轭梯度法求解该优化问题,得到优化后模糊核K*。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510226441.8A CN104851079B (zh) | 2015-05-06 | 2015-05-06 | 基于噪声/模糊图像对的低照度车牌图像恢复方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201510226441.8A CN104851079B (zh) | 2015-05-06 | 2015-05-06 | 基于噪声/模糊图像对的低照度车牌图像恢复方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN104851079A CN104851079A (zh) | 2015-08-19 |
CN104851079B true CN104851079B (zh) | 2016-07-06 |
Family
ID=53850706
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201510226441.8A Active CN104851079B (zh) | 2015-05-06 | 2015-05-06 | 基于噪声/模糊图像对的低照度车牌图像恢复方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN104851079B (zh) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106254782A (zh) * | 2016-09-28 | 2016-12-21 | 北京旷视科技有限公司 | 图像处理方法及装置和相机 |
CN106851115B (zh) * | 2017-03-31 | 2020-05-26 | 联想(北京)有限公司 | 一种图像处理方法和装置 |
CN108830802B (zh) * | 2018-05-16 | 2022-07-08 | 浙江大学 | 一种基于短曝图像梯度导向的图像模糊核估计方法 |
CN109284719A (zh) * | 2018-09-28 | 2019-01-29 | 成都臻识科技发展有限公司 | 一种基于机器学习的初始数据处理方法和系统 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101574733B1 (ko) * | 2008-11-19 | 2015-12-04 | 삼성전자 주식회사 | 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법 |
US8390704B2 (en) * | 2009-10-16 | 2013-03-05 | Eastman Kodak Company | Image deblurring using a spatial image prior |
CN102393955B (zh) * | 2011-07-18 | 2013-11-20 | 西安电子科技大学 | 用于图像复原的全信息非局部约束全变分方法 |
CN103337057B (zh) * | 2013-07-05 | 2015-12-02 | 西北工业大学 | 基于多尺度自相似的运动模糊图像盲复原方法 |
-
2015
- 2015-05-06 CN CN201510226441.8A patent/CN104851079B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN104851079A (zh) | 2015-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104851079B (zh) | 基于噪声/模糊图像对的低照度车牌图像恢复方法 | |
CN102254309B (zh) | 一种基于近红外图像的运动模糊图像去模糊方法和装置 | |
Zheng et al. | Single-image-based rain and snow removal using multi-guided filter | |
CN101639938B (zh) | 一种基于双边滤波器和余量去卷积的图像复原方法 | |
CN102326379B (zh) | 从图像中去除模糊的方法 | |
US20150178899A1 (en) | Non-local mean-based video denoising method and apparatus | |
CN103873743A (zh) | 一种基于结构张量和卡尔曼滤波的视频去噪方法 | |
CN103854264A (zh) | 一种基于改进型阈值函数的小波变换图像去噪方法 | |
CN102354395A (zh) | 基于稀疏表示的模糊图像盲复原方法 | |
CN103310430A (zh) | 对非均匀运动模糊进行去模糊的方法和设备 | |
CN105046664A (zh) | 一种基于自适应epll算法的图像去噪方法 | |
CN103514582A (zh) | 基于视觉显著的图像去模糊方法 | |
CN102147915A (zh) | 一种权重的稀疏边缘正则化图像复原方法 | |
CN103337057B (zh) | 基于多尺度自相似的运动模糊图像盲复原方法 | |
CN102663695A (zh) | 基于小波变换的dr图像去噪方法及系统 | |
CN109949234B (zh) | 基于深度网络的视频复原模型训练方法及视频复原方法 | |
CN104050646B (zh) | 基于迭代非局部均值抑制图像脉冲噪声的方法 | |
CN102768756B (zh) | 目标探测多谱图像的通用复原方法 | |
CN105809633A (zh) | 去除颜色噪声的方法及装置 | |
KR101231212B1 (ko) | 영상에서의 잡음 제거 방법 | |
Cao et al. | Single image motion deblurring with reduced ringing effects using variational Bayesian estimation | |
CN103310423A (zh) | 一种矿井图像增强方法 | |
CN101567079B (zh) | 基于Hopfield神经网络的运动模糊图像恢复方法 | |
Bai et al. | Restoration of turbulence-degraded images based on deep convolutional network | |
CN103337055A (zh) | 一种基于梯度拟合的文本图像去模糊方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
EXSB | Decision made by sipo to initiate substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant |