CN115830325A - 基于语义分割和维纳滤波的图像复原方法、系统及存储介质 - Google Patents

基于语义分割和维纳滤波的图像复原方法、系统及存储介质 Download PDF

Info

Publication number
CN115830325A
CN115830325A CN202211611345.1A CN202211611345A CN115830325A CN 115830325 A CN115830325 A CN 115830325A CN 202211611345 A CN202211611345 A CN 202211611345A CN 115830325 A CN115830325 A CN 115830325A
Authority
CN
China
Prior art keywords
image
semantic segmentation
wiener filtering
psf
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211611345.1A
Other languages
English (en)
Inventor
魏文晖
周扬帆
嵇亚飞
刘欣
王旭光
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Original Assignee
Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Suzhou Institute of Nano Tech and Nano Bionics of CAS filed Critical Suzhou Institute of Nano Tech and Nano Bionics of CAS
Priority to CN202211611345.1A priority Critical patent/CN115830325A/zh
Publication of CN115830325A publication Critical patent/CN115830325A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/10Internal combustion engine [ICE] based vehicles
    • Y02T10/40Engine management systems

Landscapes

  • Image Processing (AREA)

Abstract

本发明揭示了一种基于语义分割和维纳滤波的图像复原方法、系统及存储介质,所述图像复原方法包括:S1、基于轻量化模型对图像进行语义分割,得到语义分割图像;S2、根据图像评价指标评估图像模糊程度;当图像评价指标小于或等于指标阈值时,判定为运动模糊图像,以语义分割图像为基础,将运动模糊图像划分为前景区域和后景区域;S3、获取前景区域和后景区域的PSF参数;S4、根据前景区域和后景区域的PSF参数,对前景区域和后景区域进行维纳滤波处理;S5、根据图像评价指标评估维纳滤波处理后的图像模糊程度;当图像评价指标小于或等于指标阈值时,判定图像复原未完成,调整PSF参数后返回步骤S4,直至图像复原完成。本发明能够提高图像复原精度和速度。

Description

基于语义分割和维纳滤波的图像复原方法、系统及存储介质
技术领域
本发明属于图像处理技术领域,具体涉及一种基于语义分割和维纳滤波的图像复原方法、系统及存储介质。
背景技术
图像在各个领域均具有着重要的意义,在航天航空、军事技术、安全监控、自动驾驶等均受到广泛的关注和应用。其中,大多数场景应用下,相机将会以视频图像序列的形式获取或保存数据。然而,在拍摄过程中,图像数据往往会受到外界环境的干扰,其中,相机和目标物体的相对运动所导致的图像模糊,称之为运动模糊。由于运动模糊的普遍存在性和影响严重性,于是,针对运动模糊图像的复原处理成为了一个研究热点。
针对上述运动模糊的复原处理可以分为软件和硬件两种处理方式。相对于硬件处理,软件处理具有灵活性高、成本低、精确度高等优势。其中,维纳滤波算法作为经典的软件图像复原处理方法,相对于其他方法,具有显著的优越性。维纳滤波算法在保证了图像复原质量和精度的同时,还避免了庞大的计算量。维纳滤波算法基于最小均方误差原理,综合了退化函数和噪声统计特征两个方面,能够针对输入图像获取相应的先验知识,保证原始图像和恢复后的图像两者之间的均方误差最小。其中,根据运动模糊的基本原理,点扩散函数(PSF)被提出作为对模糊图像的先验知识。PSF描述了运动模糊参数:模糊长度和模糊角度,利用合适的PSF以及图像信噪比SNR,维纳滤波可以得到一个高质量的复原图像,从而满足各种应用的需求。
针对视频图像序列的图像复原处理,仅仅使用现有的技术往往难以达到实时、高精度的需求。其主要的原因有三个:
第一,由于在视频图像序列中往往不是每一帧图像均存在运动模糊影响。然而,对单一图像实现维纳滤波图像复原算法没有考虑到此问题,若对所有的输入图像序列均进行维纳滤波算法实现图像复原,将会大大降低实时性。
第二,维纳滤波算法可通过Radon变换计算PSF中的模糊长度和模糊方向,而通常计算出的PSF参数并没有达到高精度的需求。因此,若仅简单的使用计算出的PSF参数,很难达到高质量图像复原的需求。其次,视频图像序列的相邻帧之间具有很强的连续性和相关性,而计算Radon变换将会使用大量的计算资源,若对视频图像序列的每一帧均计算Radon变换,将难以满足实时性的需求。
最后,在实际应用中,图像中的运动物体和相机的运动往往是不同的,因此,所对应的PSF也是不同的。若对一张图像整体计算PSF,将会导致PSF的计算不准确,从而引起图像复原的精度下降。
因此,针对上述技术问题,有必要提供一种基于语义分割和维纳滤波的图像复原方法、系统及存储介质。
发明内容
有鉴于此,本发明的目的在于提供一种基于语义分割和维纳滤波的图像复原方法、系统及存储介质,以提高图像复原精度和速度。
为了实现上述目的,本发明一实施例提供的技术方案如下:
一种基于语义分割和维纳滤波的图像复原方法,所述图像复原方法包括以下步骤:
S1、基于轻量化模型对图像进行语义分割,得到语义分割图像;
S2、根据图像评价指标评估图像模糊程度;
当图像评价指标大于指标阈值时,判定图像为非模糊图像,直接输出图像;
当图像评价指标小于或等于指标阈值时,判定为运动模糊图像,以语义分割图像为基础,将运动模糊图像划分为前景区域和后景区域,其中,前景区域为动态物体所产生的运动模糊部分,后景区域为相机运动所产生的运动模糊部分;
S3、获取前景区域和后景区域的PSF参数,所述PSF参数包括模糊角度和模糊长度;
S4、根据前景区域和后景区域的PSF参数,对前景区域和后景区域进行维纳滤波处理;
S5、根据图像评价指标评估维纳滤波处理后的图像模糊程度;
当图像评价指标大于指标阈值时,判定图像复原完成,输出复原后的图像;
当图像评价指标小于或等于指标阈值时,判定图像复原未完成,调整PSF参数后返回步骤S4,直至图像复原完成。
一实施例中,所述步骤S1前还包括:
将原始图像转换为灰度图像。
一实施例中,所述步骤S1中的图像评价指标为Laplace算子,其计算值L为:
Figure BDA0003998933490000031
其中,Src为输入图像,x和y分别表示为输入图像笛卡尔坐标系下的横轴方向和纵轴方向,Δ2为二阶线性微分运算。
一实施例中,所述步骤S3中的模糊角度和模糊长度通过Radon变换计算而得,所述步骤S3具体为:
对图像f(x,y)执行汉明窗口;
对执行汉明窗口后的图像进行快速傅里叶变换,并将得到的FFT结果取对数,得到对数频谱F(u,v);
在θ=0~180°范围内计算Radon变换矩阵:
Figure BDA0003998933490000041
其中,θ是水平方向与原点和直线垂直线的夹角,δ表示原点到输入图像中的任意一点(x,y)的间距,即ρ=xcosθ+ysinθ;δ表示冲击函数,
Figure BDA0003998933490000042
获取Radon变换矩阵中的峰值,即为模糊角度;
获取Radon变换矩阵中所有的局部最小值,并计算局部最小值之间的平均距离d,模糊长度即为图像大小N×N与平均距离d的比值N/d。
一实施例中,所述步骤S4包括:
对输入图像使用高斯滤波、中值滤波进行降噪处理,得到理想图像,获取输入图像与理想图像的SNR:
Figure BDA0003998933490000043
其中,fi(x,y)为降噪后的理想图像,f(x,y)为输入图像,N、M分别对应输入图像的宽和长;
建立图像的运动模糊数学模型:
f(x,y)=g(x,y)*h(x,y)+n(x,y),
其中,g(x,y)为无噪声图像;h(x,y)为运动模糊函数,n(x,y)为加性噪声;
对运动模糊数学模型进行快速傅里叶变换:
F(u,v)=G(u,v)H(u,v)+N(u,v)
其中,F(u,v),G(u,v),H(u,v),N(u,v)分别为对应函数的频域表示,H(u,v)即为PSF参数;
根据最小均方误差E={[g(x,y,)-f(x,y,)]2},对运动模糊图像进行维纳滤波处理:
Figure BDA0003998933490000051
其中,k为1/SNR。
一实施例中,所述步骤S5中包括:
获取当前图像Laplace算子的计算值;
获取当前图像与上一次图像的SNR;
根据Laplace算子的计算值及SNR自适应调整PSF参数。
一实施例中,所述步骤S5中包括:
以预设步长调整前景区域及后景区域的模糊角度和/或模糊长度。
一实施例中,所述步骤S1前还包括:
将视频转换为包括多帧图像的图片序列;
所述步骤S5后还包括:
将复原后的多帧图像转换为视频。
本发明另一实施例提供的技术方案如下:
一种基于语义分割和维纳滤波的图像复原系统,所述图像复原系统包括:
语义分割模块,用于基于轻量化模型对图像进行语义分割,得到语义分割图像;
模糊程度评估模块,用于根据图像评价指标评估图像模糊程度;当图像评价指标大于指标阈值时,判定图像为非模糊图像;当图像评价指标小于或等于指标阈值时,判定为运动模糊图像;
图像划分模块,用于以语义分割图像为基础,将运动模糊图像划分为前景区域和后景区域,其中,前景区域为动态物体所产生的运动模糊部分,后景区域为相机运动所产生的运动模糊部分;
PSF参数获取模块,用于获取前景区域和后景区域的PSF参数,所述PSF参数包括模糊角度和模糊长度;
维纳滤波模块,用于根据前景区域和后景区域的PSF参数,对前景区域和后景区域进行维纳滤波处理;
PSF参数调整模块,用于在图像复原未完成时调整PSF参数。
本发明又一实施例提供的技术方案如下:
一种机器可读存储介质,其存储有可执行指令,当所述指令被执行时使得所述机器执行上述的图像复原方法。
本发明具有以下有益效果:
本发明基于语义分割和维纳滤波的图像复原方法中,针对图像中物体的不同运动状态,引入语义分割算法将图像划分成多个区域实现针对性的图像复原处理,对于原始的维纳滤波算法引入了基于Laplace的自适应算法,提高了算法对不同场景的鲁棒性,从而大大提高了图像复原精度和速度。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请中记载的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明一具体实施例中基于语义分割和维纳滤波的图像复原方法的流程示意图;
图2为本发明一具体实施例中基于语义分割和维纳滤波的图像复原系统的模块示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。
为了方便理解本发明实施例,首先在此介绍本发明实施例描述中会引入的几个要素。
PSF:point spread function(点扩散函数)。
SNR:signal noise ratio(信噪比)。
Laplace:拉普拉斯算子。
Radon变换:拉东变换,将数字图像矩阵在某一指定角度射线方向上做投影变换。
语义分割:像素级别的图像物体类别的分类。
傅里叶变换:在图像处理领域,表示为将图像的灰度分布函数变换为图像的频率分布函数。
参图1所示,本发明一具体实施例中基于语义分割和维纳滤波的图像复原方法,包括以下步骤:
S1、基于轻量化模型对图像进行语义分割,得到语义分割图像;
S2、根据图像评价指标评估图像模糊程度;
当图像评价指标大于指标阈值时,判定图像为非模糊图像,直接输出图像;
当图像评价指标小于或等于指标阈值时,判定为运动模糊图像,以语义分割图像为基础,将运动模糊图像划分为前景区域和后景区域,其中,前景区域为动态物体所产生的运动模糊部分,后景区域为相机运动所产生的运动模糊部分;
S3、获取前景区域和后景区域的PSF参数,所述PSF参数包括模糊角度和模糊长度;
S4、根据前景区域和后景区域的PSF参数,对前景区域和后景区域进行维纳滤波处理;
S5、根据图像评价指标评估维纳滤波处理后的图像模糊程度;
当图像评价指标大于指标阈值时,判定图像复原完成,输出复原后的图像;
当图像评价指标小于或等于指标阈值时,判定图像复原未完成,调整PSF参数后返回步骤S4,直至图像复原完成。
以下结合图像复原方法中的各步骤对本实施例进行详细说明。
本实施例中为针对视频图像序列的复原,首先将视频转换为包括多帧图像的图片序列,视频转换为图片序列的方法为现有技术,此处不再进行赘述。
进一步地,将图像序列中的原始图像转换为灰度图像,以降低后续计算量的需求。
而后,以多线程的方式将灰度图像分别输送给语义分割线程和图像运动模糊程度评估线程中,进行图像复原。
图像复原具体步骤如下:
1、在语义分割线程中,基于轻量化模型对图像进行语义分割,得到语义分割图像。
语义分割是计算机视觉领域中一项基础任务,其目标是对图像中的每一个像素标注出其所属的语义标签。相对于基于传统机器学习算法以及Transformer架构实现的语义分割模型,现有基于卷积神经网络的语义分割模型表现出了更加优异的精度以及速度,更加符合本发明的需求。
因此,本发明采用基于卷积神经网络实现的轻量化语义分割模型。现有提出的基于卷积神经网络的轻量化语义分割模型,如:DeepLab系列模型、SegNet模型、PP-LiteSeg模型等等均能够应用到本发明中。
2、在图像运动模糊程度评估线程中,根据图像评价指标评估图像模糊程度。
Laplace算子是一个二阶线性微分算子,相对于其他的图像评价指标有很强的图像边缘检测能力,因此,本实施例中以此来作为图像评价指标,其计算值L为:
Figure BDA0003998933490000091
其中,Src为输入图像,x和y分别表示为输入图像笛卡尔坐标系下的横轴方向和纵轴方向,Δ2为二阶线性微分运算。
根据Laplace算子计算所得到的指标L,以及设定的指标阈值来判断输入的图像是否产生了运动模糊。针对不同的场景和应用,设定的指标阈值不同,本实施例中的指标阈值设定为11。
当图像评价指标L大于指标阈值时,判定图像为非模糊图像,直接输出图像;
当图像评价指标L小于或等于指标阈值时,判定为运动模糊图像,以语义分割线程产生的语义分割图像为基础,将运动模糊图像划分为前景区域和后景区域,其中,前景区域为动态物体所产生的运动模糊部分,后景区域为相机运动所产生的运动模糊部分。在此,可以针对性的根据实际应用场景划分前、后景,以及调整前景动态物体类别数。
3、获取前景区域和后景区域的PSF参数,PSF参数包括模糊角度和模糊长度。
本实施例中的模糊角度和模糊长度通过Radon变换计算而得,具体为:
由于后续将对图像f(x,y)进行傅里叶变换,首先对图像f(x,y)执行汉明窗口,,来减少图像伪影(高频分量);
对执行汉明窗口后的图像进行快速傅里叶变换(FFT),并将得到的FFT结果取对数,得到对数频谱F(u,v);
接下来,在θ=0~180°范围内计算Radon变换矩阵R:
Figure BDA0003998933490000101
其中,θ是水平方向与原点和直线垂直线的夹角,δ表示原点到输入图像中的任意一点(x,y)的间距,即ρ=xcosθ+ysinθ;δ表示冲击函数,
Figure BDA0003998933490000102
获取Radon变换矩阵R中的峰值,即为模糊角度;
获取Radon变换矩阵R中所有的局部最小值,并计算局部最小值之间的平均距离d,模糊长度即为图像大小N×N与平均距离d的比值N/d。
4、根据前景区域和后景区域的PSF参数,采用多线程的方式分别对前景区域和后景区域进行维纳滤波处理,以提高实时性。
本实施例中维纳滤波处理步骤具体为:
对输入图像使用高斯滤波、中值滤波进行降噪处理,得到理想图像,获取输入图像与理想图像的SNR:
Figure BDA0003998933490000103
其中,fi(x,y)为降噪后的理想图像,f(x,y)为输入图像,N、M分别对应输入图像的宽和长;
建立图像的运动模糊数学模型:
f(x,y)=g(x,y)*h(x,y)+n(x,y),
其中,g(x,y)为无噪声图像;h(x,y)为运动模糊函数,n(x,y)为加性噪声;
对运动模糊数学模型进行快速傅里叶变换:
F(u,y)=G(u,v)H(u,v)+N(u,v),
其中,F(u,v),G(u,v),H(u,v),N(u,v)分别为对应函数的频域表示,H(u,v)即为PSF参数;
根据最小均方误差E={[g(x,y)-f(x,y)]2},对运动模糊图像进行维纳滤波处理:
Figure BDA0003998933490000111
其中,k为1/SNR。
5、根据图像评价指标L评估维纳滤波处理后的图像模糊程度;
当图像评价指标L大于指标阈值时,判定图像复原完成,输出复原后的图像;
当图像评价指标L小于或等于指标阈值时,判定图像复原未完成,调整PSF参数后返回步骤4,直至图像复原完成。
在经过维纳滤波处理后,Laplace算子将会再一次计算处理后的图像模糊程度,如果超过所设定的指标阈值,则认定图像复原完成,输出复原后的结果;若小于所设定的指标阈值,则认定复原图像未满足要求,调整PSF参数后继续执行维纳滤波处理,直到满足条件。
其中,PSF参数的调整具体为:
获取当前图像Laplace算子的计算值;
获取当前图像与上一次图像的SNR;
根据Laplace算子的计算值及SNR自适应调整PSF参数中的模糊长度和模糊角度。
通过PSF参数的自适应调整,能进一步优化图像复原结果。优选地,本实施例中以一个小步长微调PSF中的模糊角度和模糊长度,从而获得更高质量的复原图像。
最后,便将满足应用需求的高质量复原图像输出至下流任务。
本实施例中为针对视频图像序列的复原,在获得复原后的图像序列后,还需将所有的图像序列转换为视频,图像序列转换为视频的方法为现有技术,此处不再进行赘述。
本发明提出的基于语义分割和维纳滤波的图像复原方法提高图像复原精度和速度。
由于原有图像复原方法没有考虑视频图像序列的内在关系(连续性和相关性)、PSF参数计算不准确以及图像内运动状态不同的问题,导致对图像运动模糊复原实时性低且精度不高。
因此,本发明首先对视频图像序列的内在关系提出针对性的框架,可以高效、高实时性的处理视频图像序列的运动模糊复原;再者,对输入的图像进行了语义分割处理,保证了当多个区域存在不同运动状态时计算PSF的准确性;最后,在此基础上,引入基于Laplace的自适应图像复原算法,对PSF进一步优化。最终,实现了速度更快、精度更高的视频图像序列的运动模糊复原处理。
参图2所示,本发明一具体实施例中基于语义分割和维纳滤波的图像复原系统,包括:
语义分割模块,用于基于轻量化模型对图像进行语义分割,得到语义分割图像;
模糊程度评估模块,用于根据图像评价指标评估图像模糊程度;当图像评价指标大于指标阈值时,判定图像为非模糊图像;当图像评价指标小于或等于指标阈值时,判定为运动模糊图像;
图像划分模块,用于以语义分割图像为基础,将运动模糊图像划分为前景区域和后景区域,其中,前景区域为动态物体所产生的运动模糊部分,后景区域为相机运动所产生的运动模糊部分;
PSF参数获取模块,用于获取前景区域和后景区域的PSF参数,所述PSF参数包括模糊角度和模糊长度;
维纳滤波模块,用于根据前景区域和后景区域的PSF参数,对前景区域和后景区域进行维纳滤波处理;
PSF参数调整模块,用于在图像复原未完成时调整PSF参数。
本发明还公开了一种机器可读存储介质,其存储有可执行指令,当指令被执行时使得机器执行上述的图像复原方法。
具体地,可以提供配有可读存储介质的系统或者装置,在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码,且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。
在这种情况下,从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能,因此机器可读代码和存储机器可读代码的可读存储介质构成了本说明书的一部分。
可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地,可以由通信网络从服务器计算机上或云上下载程序代码。
本领域技术人员应当理解,上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此,本说明书的保护范围应当由所附的权利要求书来限定。
需要说明的是,上述各流程和各系统结构图中不是所有的步骤和单元都是必须的,可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的,可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构,也可以是逻辑结构,即,有些单元可能由同一物理客户实现,或者,有些单元可能分由多个物理客户实现,或者,可以由多个独立设备中的某些部件共同实现。
以上各实施例中,硬件单元或模块可以通过机械方式或电气方式实现。例如,一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器,FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器),可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。
上面结合附图阐述的具体实施方式描述了示例性实施例,但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”,并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的,具体实施方式包括具体细节。然而,可以在没有这些具体细节的情况下实施这些技术。在一些实例中,为了避免对所描述的实施例的概念造成难以理解,公知的结构和装置以框图形式示出。
本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说,对本公开内容进行的各种修改是显而易见的,并且,也可以在不脱离本公开内容的保护范围的情况下,将本文所对应的一般性原理应用于其它变型。因此,本公开内容并不限于本文所描述的示例和设计,而是与符合本文公开的原理和新颖性特征的最广范围相一致。

Claims (10)

1.一种基于语义分割和维纳滤波的图像复原方法,其特征在于,所述图像复原方法包括以下步骤:
S1、基于轻量化模型对图像进行语义分割,得到语义分割图像;
S2、根据图像评价指标评估图像模糊程度;
当图像评价指标大于指标阈值时,判定图像为非模糊图像,直接输出图像;
当图像评价指标小于或等于指标阈值时,判定为运动模糊图像,以语义分割图像为基础,将运动模糊图像划分为前景区域和后景区域,其中,前景区域为动态物体所产生的运动模糊部分,后景区域为相机运动所产生的运动模糊部分;
S3、获取前景区域和后景区域的PSF参数,所述PSF参数包括模糊角度和模糊长度;
S4、根据前景区域和后景区域的PSF参数,对前景区域和后景区域进行维纳滤波处理;
S5、根据图像评价指标评估维纳滤波处理后的图像模糊程度;
当图像评价指标大于指标阈值时,判定图像复原完成,输出复原后的图像;
当图像评价指标小于或等于指标阈值时,判定图像复原未完成,调整PSF参数后返回步骤S4,直至图像复原完成。
2.根据权利要求1所述的基于语义分割和维纳滤波的图像复原方法,其特征在于,所述步骤S1前还包括:
将原始图像转换为灰度图像。
3.根据权利要求1所述的基于语义分割和维纳滤波的图像复原方法,其特征在于,所述步骤S1中的图像评价指标为Laplace算子,其计算值L为:
Figure FDA0003998933480000021
其中,Src为输入图像,x和y分别表示为输入图像笛卡尔坐标系下的横轴方向和纵轴方向,Δ2为二阶线性微分运算。
4.根据权利要求1所述的基于语义分割和维纳滤波的图像复原方法,其特征在于,所述步骤S3中的模糊角度和模糊长度通过Radon变换计算而得,所述步骤S3具体为:
对图像f(x,y)执行汉明窗口;
对执行汉明窗口后的图像进行快速傅里叶变换,并将得到的FFT结果取对数,得到对数频谱F(u,v);
在θ=0~180°范围内计算Radon变换矩阵:
Figure FDA0003998933480000022
其中,θ是水平方向与原点和直线垂直线的夹角,δ表示原点到输入图像中的任意一点(x,y)的间距,即ρ=xcosθ+ysinθ;δ表示冲击函数,
Figure FDA0003998933480000023
获取Radon变换矩阵中的峰值,即为模糊角度;
获取Radon变换矩阵中所有的局部最小值,并计算局部最小值之间的平均距离d,模糊长度即为图像大小N×N与平均距离d的比值N/d。
5.根据权利要求1所述的基于语义分割和维纳滤波的图像复原方法,其特征在于,所述步骤S4包括:
对输入图像使用高斯滤波、中值滤波进行降噪处理,得到理想图像,获取输入图像与理想图像的SNR:
Figure FDA0003998933480000031
其中,fi(x,y)为降噪后的理想图像,f(x,y)为输入图像,N、M分别对应输入图像的宽和长;
建立图像的运动模糊数学模型:
f(x,y)=g(x,y)*h(x,y)+n(x,y),
其中,g(x,y)为无噪声图像;h(x,y)为运动模糊函数,n(x,y)为加性噪声;
对运动模糊数学模型进行快速傅里叶变换:
F(u,v)=G(u,v)H(u,v)+N(u,v),
其中,F(u,v),G(u,v),H(u,v),N(u,v)分别为对应函数的频域表示,H(u,v)即为PSF参数;
根据最小均方误差E={[g(x,y)-f(x,y)]2},对运动模糊图像进行维纳滤波处理:
Figure FDA0003998933480000032
其中,k为1/SNR。
6.根据权利要求5所述的基于语义分割和维纳滤波的图像复原方法,其特征在于,所述步骤S5中包括:
获取当前图像Laplace算子的计算值;
获取当前图像与上一次图像的SNR;
根据Laplace算子的计算值及SNR自适应调整PSF参数。
7.根据权利要求5所述的基于语义分割和维纳滤波的图像复原方法,其特征在于,所述步骤S5中包括:
以预设步长调整前景区域及后景区域的模糊角度和/或模糊长度。
8.根据权利要求1所述的基于语义分割和维纳滤波的图像复原方法,其特征在于,所述步骤S1前还包括:
将视频转换为包括多帧图像的图片序列;
所述步骤S5后还包括:
将复原后的多帧图像转换为视频。
9.一种基于语义分割和维纳滤波的图像复原系统,其特征在于,所述图像复原系统包括:
语义分割模块,用于基于轻量化模型对图像进行语义分割,得到语义分割图像;
模糊程度评估模块,用于根据图像评价指标评估图像模糊程度;当图像评价指标大于指标阈值时,判定图像为非模糊图像;当图像评价指标小于或等于指标阈值时,判定为运动模糊图像;
图像划分模块,用于以语义分割图像为基础,将运动模糊图像划分为前景区域和后景区域,其中,前景区域为动态物体所产生的运动模糊部分,后景区域为相机运动所产生的运动模糊部分;
PSF参数获取模块,用于获取前景区域和后景区域的PSF参数,所述PSF参数包括模糊角度和模糊长度;
维纳滤波模块,用于根据前景区域和后景区域的PSF参数,对前景区域和后景区域进行维纳滤波处理;
PSF参数调整模块,用于在图像复原未完成时调整PSF参数。
10.一种机器可读存储介质,其存储有可执行指令,当所述指令被执行时使得所述机器执行如权利要求1至8中任一所述的图像复原方法。
CN202211611345.1A 2022-12-14 2022-12-14 基于语义分割和维纳滤波的图像复原方法、系统及存储介质 Pending CN115830325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211611345.1A CN115830325A (zh) 2022-12-14 2022-12-14 基于语义分割和维纳滤波的图像复原方法、系统及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211611345.1A CN115830325A (zh) 2022-12-14 2022-12-14 基于语义分割和维纳滤波的图像复原方法、系统及存储介质

Publications (1)

Publication Number Publication Date
CN115830325A true CN115830325A (zh) 2023-03-21

Family

ID=85547372

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211611345.1A Pending CN115830325A (zh) 2022-12-14 2022-12-14 基于语义分割和维纳滤波的图像复原方法、系统及存储介质

Country Status (1)

Country Link
CN (1) CN115830325A (zh)

Similar Documents

Publication Publication Date Title
US7570309B2 (en) Methods for adaptive noise reduction based on global motion estimation
US9202263B2 (en) System and method for spatio video image enhancement
EP3944603A1 (en) Video denoising method and apparatus, and computer-readable storage medium
CN111462019A (zh) 基于深度神经网络参数估计的图像去模糊方法及系统
Ramya et al. Restoration of blurred images using Blind Deconvolution Algorithm
CN111161172A (zh) 一种红外图像列向条纹消除方法、系统及计算机存储介质
CN109949234B (zh) 基于深度网络的视频复原模型训练方法及视频复原方法
CN108270945B (zh) 一种运动补偿去噪方法及装置
Malik et al. Llrnet: A multiscale subband learning approach for low light image restoration
CN110111261B (zh) 图像的自适应平衡处理方法、电子设备和计算机可读存储介质
Liu et al. Video stabilization algorithm based on Pearson correlation coefficient
Wang et al. An improved image blind deblurring based on dark channel prior
Zhang et al. Dehazing with improved heterogeneous atmosphere light estimation and a nonlinear color attenuation prior model
CN113011433B (zh) 一种滤波参数调整方法及装置
CN115830325A (zh) 基于语义分割和维纳滤波的图像复原方法、系统及存储介质
Rama Lakshmi et al. A Review on Image Denoising Algorithms for Various Applications
Bertalmio et al. Movie denoising by average of warped lines
Ishak et al. Image quality assessment for image filtering algorithm: Qualitative and quantitative analyses
Li et al. A proportional algorithm for rotary motion blurred images restoration
Hu et al. Maritime video defogging based on spatial-temporal information fusion and an improved dark channel prior
Khmag et al. Blur removal in natural digital images using self-reference generative networks
Nunes et al. A novel approach for mitigating atmospheric turbulence using weighted average Sobolev gradient and Laplacian
El Abbadi et al. A Survey on Blind De-Blurring of Digital Image.
Miao et al. Handling noise in image deblurring via joint learning
Patil et al. Implementation of restoration of blurred image using blind deconvolution algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination