CN116862800B - 一种大视场单透镜空变模糊图像复原方法和装置 - Google Patents
一种大视场单透镜空变模糊图像复原方法和装置 Download PDFInfo
- Publication number
- CN116862800B CN116862800B CN202310843771.6A CN202310843771A CN116862800B CN 116862800 B CN116862800 B CN 116862800B CN 202310843771 A CN202310843771 A CN 202310843771A CN 116862800 B CN116862800 B CN 116862800B
- Authority
- CN
- China
- Prior art keywords
- variant
- space
- image
- view
- scale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 238000013178 mathematical model Methods 0.000 claims abstract description 48
- 238000000605 extraction Methods 0.000 claims abstract description 42
- 238000013528 artificial neural network Methods 0.000 claims abstract description 22
- 230000010354 integration Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 7
- 238000005070 sampling Methods 0.000 claims description 4
- 238000004088 simulation Methods 0.000 claims description 4
- 230000000007 visual effect Effects 0.000 claims description 4
- 238000004364 calculation method Methods 0.000 claims description 3
- 239000000758 substrate Substances 0.000 claims description 3
- 238000011084 recovery Methods 0.000 claims description 2
- 230000000694 effects Effects 0.000 abstract description 6
- 230000008859 change Effects 0.000 abstract description 5
- 230000004075 alteration Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 229920003229 poly(methyl methacrylate) Polymers 0.000 description 1
- 239000004926 polymethyl methacrylate Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/52—Scale-space analysis, e.g. wavelet analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Biomedical Technology (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种大视场单透镜空变模糊图像复原方法和装置，包括：步骤S1、建立获取空变程度的单透镜空变模糊数学模型；步骤S2、根据单透镜空变模糊数学模型，得到单透镜空变模糊特征；步骤S3、将单透镜空变模糊特征送入多尺度特征提取卷积结构，得到多尺度空变特征；步骤S4、将多尺度空变特征作为权重作用于多尺度图像特征，得到加权空变图像特征，再经过神经网络进行图像复原，得到高质量图像复原结果。采用本发明技术方案，以解决针对单透镜大视场像差造成的空间变化模糊以及神经网络对空变模糊图像复原效果差的问题。
Description
技术领域
本发明属于图像复原技术领域，特别是涉及大视场单透镜空变模糊的图像复原方法和装置。
背景技术
对于一个单透镜系统，各种轴外像差在不同视场之间叠加产生的模糊差别很大。现有算法复原大视场空变模糊往往会产生伪影，振铃效应等，影响复原效果。所以目前需要一种单透镜空变复原方法解决大视场空变复原效果差的问题。
发明内容
本发明的目的是提供一种大视场单透镜空变模糊图像复原方法和装置，以解决上述现有技术存在的问题。
为了实现上述目的，本发明采用如下的技术方案：
一种大视场单透镜空变模糊图像复原方法，包括：
步骤S1、建立获取空变程度的单透镜空变模糊数学模型；
步骤S2、根据单透镜空变模糊数学模型，得到单透镜空变模糊特征；
步骤S3、将单透镜空变模糊特征送入多尺度特征提取卷积结构，得到多尺度空变特征；
步骤S4、将多尺度空变特征作为权重作用于多尺度图像特征，得到加权空变图像特征，再经过神经网络进行图像复原，得到高质量图像复原结果。
作为优选，在步骤S1中，通过单透镜空变模糊数学模型，获取单透镜模糊图像各个像素处空变程度，其中，所述单透镜空变模糊数学模型利用图像质量指标来表征不同视场空变模糊的大小。
作为优选，步骤S2中，将空变模糊数学模型中拟合得到的图像各个像素处的空变程度设置为可学习参数，并经过卷积特征提取，得到单透镜空变模糊特征。
作为优选，在步骤S3中，所述多尺度特征提取卷积结构由多个感受野下的卷积特征提取层和一个特征整合层构成，其中，将步骤S2中单透镜空变模糊特征通过多感受野下的卷积特征提取结构，得到多尺度的空变特征，再将多尺度的空变特征进行特征拼接并送入一个用于特征整合的卷积结构，得到整合的多尺度的空变特征。
作为优选，在步骤S4中，将多尺度图像特征和多尺度空变特征通过特征拼接整合为加权的空变图像特征，通过神经网络复原就能够得到复原图像；其中，所述神经网络是由多个多尺度卷积结构构成，根据神经网络优化原理，以复原图像和清晰场景图像的差异最小为优化目标建立均方误差损失函数，通过梯度下降的方式不断更新空变模糊数学模型参数和神经网络参数，最终得到高质量的复原图像。
本发明还提供一种大视场单透镜空变模糊图像复原装置，包括：
建立模块，用于建立获取空变程度的单透镜空变模糊数学模型；
第一处理模块，用于根据单透镜空变模糊数学模型，得到单透镜空变模糊特征；
第二处理模块，用于将单透镜空变模糊特征送入多尺度特征提取卷积结构，得到多尺度空变特征；
复原模块，用于将多尺度空变特征作为权重作用于多尺度图像特征，得到加权空变图像特征，再经过神经网络进行图像复原，得到高质量图像复原结果。
作为优选，获取模块通过单透镜空变模糊数学模型，获取单透镜模糊图像各个像素处空变程度，其中，所述单透镜空变模糊数学模型利用图像质量指标来表征不同视场空变模糊的大小。
作为优选，第一处理模块将空变模糊数学模型中拟合得到的图像各个像素处的空变程度设置为可学习参数，并经过卷积特征提取，得到单透镜空变模糊特征。
作为优选，所述多尺度特征提取卷积结构由多个感受野下的卷积特征提取层和一个特征整合层构成。
本发明具有以下的技术效果：
(1)本发明建立了空变模糊数学模型，能够提取单透镜的空变模糊先验信息，并以一种特征权重的方式作用于图像特征，从而引入到复原网络中，弥补了传统卷积神经网络因整张图像使用单一卷积核而难以学习空变特征的不足。
(2)本发明提出了包含可学习参数的空变模糊数学模型，用网络迭代优化空变模糊数学模型，可以表征各种复杂变化的单透镜空变特性，从而具有广泛的适用性。
(3)本发明提出了多尺度的空变特征提取层，能够将空变特征由细节到全局地提取出来，使空变特征更加具体，更加丰富，从而有助于图像复原。这种方式相比以往图像复原方法应对大视场的空变模糊能有更好的复原结果。
附图说明
为了更清楚地说明本发明的技术方案，下面对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图：
图1为本发明实施例中的大视场单透镜空变模糊图像复原方法的流程图；
图2为本发明实施例中单透镜的模糊图像、空变程度参数学习结果及算法复原图像；其中，图(a)代表单透镜空变模糊图像，图(b)代表经过学习后的空变模糊程度的灰度示意图，图(c)代表复原图像
图3为本发明实施例中的单透镜空变模糊数学模型流程图；
图4为本发明实施例中的多尺度特征提取卷积结构的结构示意图；
图5为本发明实施例中的整个网络模型的结构示意图。
具体实施方案
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
实施例1：
如图1所示，本发明实施例提供一种大视场单透镜空变模糊图像复原方法，包括：
步骤S1、建立获取空变程度的单透镜空变模糊数学模型；
步骤S2、根据单透镜空变模糊数学模型，得到单透镜空变模糊特征；
步骤S3、将单透镜空变模糊特征送入多尺度特征提取卷积结构，得到多尺度空变特征；
步骤S4、将多尺度空变特征作为权重作用于多尺度图像特征，得到加权空变图像特征，再经过神经网络进行图像复原，得到高质量图像复原结果。
作为本发明实施例的一种实施方式，在S1中建立单透镜空变模糊数学模型，该模型利用图像质量指标来表征不同视场空变模糊的大小。对于旋转对称的单透镜，采用像素位置到图像中心的距离来表征视场位置。对上述图像质量指标随视场位置的变化关系进行数学拟合，得到图像空变曲线。根据该曲线可以拟合图像各个像素处的空变程度。
这里使用多张模糊图像与对应清晰图的峰值信噪比。采样单透镜7×7个视场的点扩散函数，通过仿真得到7×7个视场的模糊数据集，通过计算得到7×7个视场的平均峰值信噪比大小。表达式为：
其中，n表示数据集个数，H,W表示图像尺寸，Iθ分别表示采样视场θ的模糊图与对应清晰图，i,j表示像素在图像上的位置。
对于旋转对称的单透镜，采用像素位置到图像中心的距离来表征视场位置。
采用最小二乘法将距离中心视场的距离和7×7个视场的平均峰值信噪比拟合为图像空变曲线。
选用多项式作为拟合基底，最终曲线f(i,j)表达式为:
其中,表示不同视场的平均峰值信噪比，r为像素对于中心视场的距离，ki为拟合系数。
计算出图像所有像素位置距离中心视场的欧氏距离，并带入图像空变曲线，就能得到空变模糊数学模型，表达式如下：
G0(i,j)＝f[r(i,j)]
其中G0(i,j)表示(i,j)像素位置的模糊程度。
作为本发明实施例的一种实施方式，步骤S2中，将空变模糊数学模型中拟合得到的图像各个像素处的空变程度设置为可学习参数，并经过卷积特征提取，得到单透镜空变模糊特征，具体方法为：将空变模糊数学模型中拟合得到的图像各个像素处的空变程度设置为可学习参数，通过深度学习网络自适应地优化参数，从而代替曲线拟合的过程，得到待优化的图像不同位置处更准确的空变程度；将上述空变程度经过卷积层进行特征提取，得到单透镜的空变模糊特征。
作为本发明实施例的一种实施方式，所述步骤S3中将空变模糊特征送入多尺度特征提取卷积结构。
所述多尺度特征提取卷积结构是由多个感受野下的卷积特征提取层和一个特征整合层构成。
多个感受野的卷积特征提取层是由多个不同扩张率的扩张卷积构成，单一尺度空变特征经过该结构后能够提取出多种不同尺度的特征，从而使空变特征更丰富更具体。
特征整合层先将多个尺度的特征用特征拼接的方式整合为整合的特征，再将整合的特征通过一个特征整合卷积，提取出整合的多尺度空变特征。
作为本发明实施例的一种实施方式，所述步骤S4中，整合的多尺度空变特征可以作为权重作用于多尺度图像特征，是由于多尺度空变特征是以特征拼接的方式与多尺度图像特征进行整合，从而以一种空变加权的方式监督多尺度图像特征提取，得到加权的空变图像特征。
多尺度图像特征是由图像经过多尺度特征提取卷积结构得到的。
所述神经网络是多个多尺度特征提取卷积结构构成。
将加权的空变图像特征经过神经网络后，得到复原图像。
以复原图像和清晰场景图像的差异最小为优化目标建立均方误差损失函数，通过神经网络的迭代优化原理，更新各个网络结构的权重参数，最终达到复原出高质量清晰图像的效果。
可选地，使用的均方误差损失函数表达式如下：
其中H,W为图像尺寸，I为模糊图及清晰图，k为不同颜色通道。
实施例2：
本发明实施例提供一种大视场单透镜空变模糊图像复原方法，适用于校正给定单透镜的大视场空变模糊，包括：
步骤一、建立可获取空变程度的单透镜空变模糊数学模型
以双面偶次非球面单透镜为例，口径D＝10.0mm，曲率半径分别为r1＝-13.668mm，r2＝-8.757mm，焦距f＝40.0mm，厚度d＝3.448mm，材质为PMMA，对角视场为40°，前表面第四阶偶次非球面系数为-5.802E-4，后表面第四阶偶次非球面系数为-1.849E-4，其余偶次非球面系数均为0；探测器尺寸为1616×1080。
由Zemax仿真可以得到单透镜空间变化模糊数据集，空变模糊图如图2中的(a)所示，并且能够获取像面7×7个视场的点扩散函数。根据7×7个点扩散函数可以仿真出对应单一视场的模糊数据集。
空变模糊数学模型的建立流程图如图3所示，首先利用50张单一视场的模糊图像与清晰图像之间的平均峰值信噪比，可以计算出7×7个视场的空变模糊程度。θ处视场的平均峰值信噪比的表达式为：
其中Iθ(i,j)，分别代表θ视场清晰图与模糊图i,j位置像素值，/>代表50张图的平均峰值信噪比。
使用7×7个视场的平均峰值信噪比以及7×7个视场的中心视场的距离作为拟合数据，用最小二乘法，以多项式作为基，可以得到图像空变曲线。中心视场距离r(i,j)以及图像空变曲线f(r)的表达式为：
其中，kn为拟合系数。
将图像空变曲线应用于图像不同像素位置得到空变模糊数学模型G0(i,j)，表达式为：
G0(i,j)＝f[r(i,j)]
步骤二、根据空变模糊数学模型得到各个像素处空变程度，将空变程度设置为可学习参数并经过卷积特征提取层，得到单透镜的空变模糊特征
将空变模糊数学模型G0(i,j)的所有参数设置为网络参数，经过一个由3×3卷积层，批量归一化层以及ReLU激活函数构成的卷积特征提取层提取出单透镜的空变模糊特征。
步骤三、将空变模糊特征送入多尺度特征提取卷积结构，得到整合的多尺度空变特征
图4为多尺度特征提取卷积结构，是由三个感受野下的卷积特征提取层和一个特征整合层构成。
卷积特征提取层是由扩张率分别为1，2，4的3×3的卷积层构成。
特征整合层是通过通道维度拼接上述三个不同尺度特征后经过一个3×3的卷积层，批量归一化层以及ReLU激活函数。经过该结构后得到整合的多尺度空变特征。
步骤四、将整合的多尺度空变特征作为权重作用于多尺度图像特征，得到加权的空变图像特征，再经过神经网络进行图像复原，得到高质量图像复原结果。
整个网络结构如图5所示，三维图像信息与单透镜空变模糊模型分别经过多尺度特征提取卷积结构，在通道维度特征拼接后得到加权的空变图像特征。将加权的空变图像特征送入神经网络得到复原图。神经网络的基本模块是由上下采样卷积与带有残差结构的多尺度特征提取卷积构成。复原结果如图2中的(c)所示。
整个训练过程为300轮，以100张图像作为训练集，50张图像作为测试集，使用的损失函数为复原图与清晰图之间的均方误差损失，表达式为：
其中，I(i,j,k)为清晰图像素值，为模糊图像素值，k为不同颜色通道。根据梯度下降原理优化300轮后的50张测试集平均PSNR/SSIM分别为29.96dB/0.859。
最终的单透镜空变程度参数学习结果用灰度图表示，如图2的中(b)所示。所示灰度图越亮位置空变程度越大，越暗位置空变程度越小，可以看到空变程度参数学习结果符合该单透镜空间变化模糊随视场变化规律。
实施例3：
本发明还提供一种大视场单透镜空变模糊图像复原装置，包括：
建立模块，用于建立获取空变程度的单透镜空变模糊数学模型；
第一处理模块，用于根据单透镜空变模糊数学模型，得到单透镜空变模糊特征；
第二处理模块，用于将单透镜空变模糊特征送入多尺度特征提取卷积结构，得到多尺度空变特征；
复原模块，用于将多尺度空变特征作为权重作用于多尺度图像特征，得到加权空变图像特征，再经过神经网络进行图像复原，得到高质量图像复原结果。
作为本发明实施例的一种实施方式，获取模块通过单透镜空变模糊数学模型，获取单透镜模糊图像各个像素处空变程度，其中，所述单透镜空变模糊数学模型利用图像质量指标来表征不同视场空变模糊的大小。
作为本发明实施例的一种实施方式，第一处理模块将空变模糊数学模型中拟合得到的图像各个像素处的空变程度设置为可学习参数，并经过卷积特征提取，得到单透镜空变模糊特征。
作为本发明实施例的一种实施方式，，所述多尺度特征提取卷积结构由多个感受野下的卷积特征提取层和一个特征整合层构成。
以上所述的实施例仅是对本发明优选方式进行的描述，并非对本发明的范围进行限定，在不脱离本发明设计精神的前提下，本领域普通技术人员对本发明的技术方案做出的各种变形和改进，均应落入本发明权利要求书确定的保护范围内。
Claims (9)
1.一种大视场单透镜空变模糊图像复原方法，其特征在于，包括：
步骤S1、建立获取空变程度的单透镜空变模糊数学模型；
步骤S2、根据单透镜空变模糊数学模型，得到单透镜空变模糊特征；
步骤S3、将单透镜空变模糊特征送入多尺度特征提取卷积结构，得到多尺度空变特征；
步骤S4、将多尺度空变特征作为权重作用于多尺度图像特征，得到加权空变图像特征，再经过神经网络进行图像复原，得到高质量图像复原结果；
其中，步骤S1中，采样单透镜7×7个视场的点扩散函数，通过仿真得到7×7个视场的模糊数据集，通过计算得到7×7个视场的平均峰值信噪比大小，表达式为：
其中，n表示数据集个数，H,W表示图像尺寸，/>分别表示采样视场θ的模糊图与对应清晰图，i,j表示像素在图像上的位置；
对于旋转对称的单透镜，采用像素位置到图像中心的距离来表征视场位置；
采用最小二乘法将距离中心视场的距离和7×7个视场的平均峰值信噪比拟合为图像空变曲线；
选用多项式作为拟合基底，最终曲线表达式为:
其中,/>表示不同视场的平均峰值信噪比，/>为像素对于中心视场的距离，/>为拟合系数；
计算出图像所有像素位置距离中心视场的欧氏距离，并带入图像空变曲线，就能得到空变模糊数学模型，表达式如下：
其中，/>表示/>像素位置的模糊程度。
2.根据权利要求1所述的大视场单透镜空变模糊图像复原方法，其特征在于，在步骤S1中，通过单透镜空变模糊数学模型，获取单透镜模糊图像各个像素处空变程度，其中，所述单透镜空变模糊数学模型利用图像质量指标来表征不同视场空变模糊的大小。
3.根据权利要求2所述的大视场单透镜空变模糊图像复原方法，其特征在于，步骤S2中，将空变模糊数学模型中拟合得到的图像各个像素处的空变程度设置为可学习参数，并经过卷积特征提取，得到单透镜空变模糊特征。
4.根据权利要求3所述的大视场单透镜空变模糊图像复原方法，其特征在于，在步骤S3中，所述多尺度特征提取卷积结构由多个感受野下的卷积特征提取层和一个特征整合层构成，其中，将步骤S2中单透镜空变模糊特征通过多感受野下的卷积特征提取结构，得到多尺度的空变特征，再将多尺度的空变特征进行特征拼接并送入一个用于特征整合的卷积结构，得到整合的多尺度的空变特征。
5.根据权利要求4所述的大视场单透镜空变模糊图像复原方法，其特征在于，在步骤S4中，将多尺度图像特征和多尺度空变特征通过特征拼接整合为加权的空变图像特征，通过神经网络复原就能够得到复原图像；其中，所述神经网络是由多个多尺度卷积结构构成，根据神经网络优化原理，以复原图像和清晰场景图像的差异最小为优化目标建立均方误差损失函数，通过梯度下降的方式不断更新空变模糊数学模型参数和神经网络参数，最终得到高质量的复原图像。
6.一种大视场单透镜空变模糊图像复原装置，其特征在于，包括：
建立模块，用于建立获取空变程度的单透镜空变模糊数学模型；
第一处理模块，用于根据单透镜空变模糊数学模型，得到单透镜空变模糊特征；
第二处理模块，用于将单透镜空变模糊特征送入多尺度特征提取卷积结构，得到多尺度空变特征；
复原模块，用于将多尺度空变特征作为权重作用于多尺度图像特征，得到加权空变图像特征，再经过神经网络进行图像复原，得到高质量图像复原结果；
其中，采样单透镜7×7个视场的点扩散函数，通过仿真得到7×7个视场的模糊数据集，通过计算得到7×7个视场的平均峰值信噪比大小，表达式为：
其中，n表示数据集个数，H,W表示图像尺寸，/>分别表示采样视场θ的模糊图与对应清晰图，i,j表示像素在图像上的位置；
对于旋转对称的单透镜，采用像素位置到图像中心的距离来表征视场位置；
采用最小二乘法将距离中心视场的距离和7×7个视场的平均峰值信噪比拟合为图像空变曲线；
选用多项式作为拟合基底，最终曲线表达式为:
其中,/>表示不同视场的平均峰值信噪比，/>为像素对于中心视场的距离，/>为拟合系数；
计算出图像所有像素位置距离中心视场的欧氏距离，并带入图像空变曲线，就能得到空变模糊数学模型，表达式如下：
其中，/>表示/>像素位置的模糊程度。
7.根据权利要求6所述的大视场单透镜空变模糊图像复原装置，其特征在于，获取模块通过单透镜空变模糊数学模型，获取单透镜模糊图像各个像素处空变程度，其中，所述单透镜空变模糊数学模型利用图像质量指标来表征不同视场空变模糊的大小。
8.根据权利要求7所述的大视场单透镜空变模糊图像复原装置，其特征在于，第一处理模块将空变模糊数学模型中拟合得到的图像各个像素处的空变程度设置为可学习参数，并经过卷积特征提取，得到单透镜空变模糊特征。
9.根据权利要求8所述的大视场单透镜空变模糊图像复原装置，其特征在于，所述多尺度特征提取卷积结构由多个感受野下的卷积特征提取层和一个特征整合层构成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843771.6A CN116862800B (zh) | 2023-07-11 | 2023-07-11 | 一种大视场单透镜空变模糊图像复原方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310843771.6A CN116862800B (zh) | 2023-07-11 | 2023-07-11 | 一种大视场单透镜空变模糊图像复原方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116862800A CN116862800A (zh) | 2023-10-10 |
| CN116862800B true CN116862800B (zh) | 2024-01-30 |
Family
ID=88229978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310843771.6A Active CN116862800B (zh) | 2023-07-11 | 2023-07-11 | 一种大视场单透镜空变模糊图像复原方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116862800B (zh) |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107833186A (zh) * | 2017-10-26 | 2018-03-23 | 长沙全度影像科技有限公司 | 一种基于Encoder‑Decoder深度学习模型的单透镜空间变化图像复原方法 |
| CN110969589A (zh) * | 2019-12-03 | 2020-04-07 | 重庆大学 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
| CN112053308A (zh) * | 2020-10-22 | 2020-12-08 | 润联软件系统(深圳)有限公司 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
| CN113793284A (zh) * | 2021-11-17 | 2021-12-14 | 武汉工程大学 | 气动光学效应空变模糊图像不均匀分块的图像复原方法 |
| CN114897752A (zh) * | 2022-05-09 | 2022-08-12 | 四川大学 | 一种基于深度学习的单透镜大景深计算成像系统及方法 |
| CN114967121A (zh) * | 2022-05-13 | 2022-08-30 | 哈尔滨工业大学 | 一种端到端的单透镜成像系统设计方法 |
| KR20230029382A (ko) * | 2021-08-24 | 2023-03-03 | 연세대학교 산학협력단 | 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109829863B (zh) * | 2019-01-22 | 2021-06-25 | 深圳市商汤科技有限公司 | 图像处理方法及装置、电子设备和存储介质 |
-
2023
- 2023-07-11 CN CN202310843771.6A patent/CN116862800B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107833186A (zh) * | 2017-10-26 | 2018-03-23 | 长沙全度影像科技有限公司 | 一种基于Encoder‑Decoder深度学习模型的单透镜空间变化图像复原方法 |
| CN110969589A (zh) * | 2019-12-03 | 2020-04-07 | 重庆大学 | 基于多流注意对抗网络的动态场景模糊图像盲复原方法 |
| CN112053308A (zh) * | 2020-10-22 | 2020-12-08 | 润联软件系统(深圳)有限公司 | 一种图像去模糊方法、装置、计算机设备及存储介质 |
| KR20230029382A (ko) * | 2021-08-24 | 2023-03-03 | 연세대학교 산학협력단 | 공간 가변적 정규화에 기반한 ToF 카메라 초해상도 영상 복원 방법 및 장치 |
| CN113793284A (zh) * | 2021-11-17 | 2021-12-14 | 武汉工程大学 | 气动光学效应空变模糊图像不均匀分块的图像复原方法 |
| CN114897752A (zh) * | 2022-05-09 | 2022-08-12 | 四川大学 | 一种基于深度学习的单透镜大景深计算成像系统及方法 |
| CN114967121A (zh) * | 2022-05-13 | 2022-08-30 | 哈尔滨工业大学 | 一种端到端的单透镜成像系统设计方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于空不变图像复原的光学遥感成像系统优化;智喜洋 等;光学精密工程;第23卷(第5期);1490-1497 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116862800A (zh) | 2023-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112233038B (zh) | 基于多尺度融合及边缘增强的真实图像去噪方法 | |
| CN108549892B (zh) | 一种基于卷积神经网络的车牌图像清晰化方法 | |
| CN110188685B (zh) | 一种基于双注意力多尺度级联网络的目标计数方法及系统 | |
| CN109360171B (zh) | 一种基于神经网络的视频图像实时去模糊方法 | |
| CN108550125B (zh) | 一种基于深度学习的光学畸变修正方法 | |
| CN111310862A (zh) | 复杂环境下基于图像增强的深度神经网络车牌定位方法 | |
| CN111275637A (zh) | 一种基于注意力模型的非均匀运动模糊图像自适应复原方法 | |
| CN112184577B (zh) | 基于多尺度自注意生成对抗网络的单幅图像去雾方法 | |
| CN107274378B (zh) | 一种融合记忆cnn的图像模糊类型识别及参数整定方法 | |
| CN116309559B (zh) | 一种中硼硅玻璃生产瑕疵智能识别方法 | |
| CN112215119B (zh) | 一种基于超分辨率重建的小目标识别方法、装置及介质 | |
| CN111145102A (zh) | 一种基于卷积神经网络的合成孔径雷达图像去噪方法 | |
| CN111931857A (zh) | 一种基于mscff的低照度目标检测方法 | |
| CN112634171A (zh) | 基于贝叶斯卷积神经网络的图像去雾方法及存储介质 | |
| CN109376782B (zh) | 基于眼部影像特征的支持向量机白内障分级方法及装置 | |
| CN112785517B (zh) | 一种基于高分辨率表征的图像去雾方法和装置 | |
| CN116862800B (zh) | 一种大视场单透镜空变模糊图像复原方法和装置 | |
| CN110136105B (zh) | 一种基于方差和平滑度的同一内容图像的清晰度评价方法 | |
| CN112381177A (zh) | 一种基于深度学习的表盘数字字符识别方法及系统 | |
| CN117314787A (zh) | 基于自适应多尺度融合和注意力机制的水下图像增强方法 | |
| CN115880175A (zh) | 一种基于改进生成对抗网络的模糊图像复原方法 | |
| CN116797468A (zh) | 基于软边重建的自校准深度曲线估计的低光照图像增强方法 | |
| CN114862724A (zh) | 一种基于指数移动平均知识蒸馏的对比式图像去雾方法 | |
| CN114140361A (zh) | 融合多级特征的生成式对抗网络图像去雾方法 | |
| CN113763261A (zh) | 一种海雾气象条件下的远小目标实时检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |