CN116152103A - 基于多头交叉注意机制的神经网络光场图像去模糊方法 - Google Patents
基于多头交叉注意机制的神经网络光场图像去模糊方法 Download PDFInfo
- Publication number
- CN116152103A CN116152103A CN202310144230.4A CN202310144230A CN116152103A CN 116152103 A CN116152103 A CN 116152103A CN 202310144230 A CN202310144230 A CN 202310144230A CN 116152103 A CN116152103 A CN 116152103A
- Authority
- CN
- China
- Prior art keywords
- light field
- lfdof
- attention mechanism
- data set
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 30
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims abstract description 20
- 230000001537 neural effect Effects 0.000 claims description 33
- 238000012360 testing method Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 5
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000007670 refining Methods 0.000 claims description 3
- 238000005070 sampling Methods 0.000 claims description 3
- 238000012546 transfer Methods 0.000 claims description 3
- 230000017105 transposition Effects 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 2
- 230000009977 dual effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10052—Images from lightfield camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明属于图像去模糊技术领域，公开了基于多头交叉注意机制的神经网络光场图像去模糊方法，具体为在光场生成的LFDOF数据集上训练网络；通过二次方法收集的DPDD数据集上使用特征损失对网络进行微调，以减轻两个域中存在的散焦模糊之间的差异；分析了两个散焦模糊数据集LFDOF和DPDD的特征，开发了一种新的基于多头交叉注意机制的去模糊训练策略；提出了一种端到端的网络架构，配备了新颖的动态残差块，以从粗到细的方式重建清晰的图像。本发明设计的端到端神经网络可有效消除空间变化的散焦模糊，解决了简单的二次拍摄无法实现散焦和全焦图像对之间的像素级对应的问题。
Description
技术领域
本发明属于图像去模糊技术领域，具体是涉及一种基于多头交叉注意机制的神经网络光场图像去模糊方法。
背景技术
使用大光圈可以增加光通量，从而以更短的曝光时间拍摄图像；然而，这也降低了景深(DOF)，只有靠近焦平面的点才能被清晰地捕捉到，而远离焦平面的点将投射到相机传感器上，而不是单个图像点，此现象被称为散焦模糊，这个点被称为混乱圈。浅景深有时是摄影师刻意追求的美学效果，但它也可能会降低重要的视觉信息，因此，需要从散焦版本恢复全焦图像以揭示潜在信息，并有利于人工智能应用。尽管从散焦版本恢复全焦图像具有巨大的潜力，但因为它的空间变化的性质，每个点都有自己的混乱圈直径，具体取决于相应场景点的深度，所以去焦点去模糊仍然是一个具有挑战性的问题。此外，混乱圈的形状随着与光轴的相对位置而变化。为了解决散焦模糊，最直观的方法为两步法，首先估计每个像素的模糊核，然后应用非盲去卷积；然而，这两个步骤都有局限性。首先，基于简单的高斯或磁盘核假设，模糊核的估计经常不准确；其次，即使给出了准确的模糊核，由于吉布斯现象，反卷积也会在边缘引入环形伪影。
最近，研究人员采用端到端的深度神经网络直接从散焦模糊中恢复清晰的图像，这在性能和效率方面大大优于传统的两步法；这些网络都在称为双像素散焦去模糊(DPDD)的数据集上进行训练，该数据集使用不同的光圈大小连续捕获，以获得散焦和全焦图像对；然而，几乎不可能在两张照片中捕捉到具有准确对应关系的散焦和全焦图像对，尤其是对于由于移动物体(例如植物、汽车)和照度变化而导致的户外场景：以DPDD数据集为例，由于该数据集使用不同大小的光圈进行捕获，散焦和全聚焦图像对之间由于两次拍摄而存在未对准的问题，进而会有像素方向的损失。
发明内容
为解决上述技术问题，本发明提供了一种基于多头交叉注意机制的神经网络光场图像去模糊方法，构建通过光场生成的散焦模糊数据集LFDOF和通过二次方法收集的DPDD数据集，从单个光场样本生成大量具有各种自由度和焦距的散焦图像来训练构建的神经光场网络获得具有对应关系的图像对，再使用特征损失对网络进行微调，减轻两个域中存在的散焦模糊之间的差异；采用端到端的深度神经网络直接从散焦模糊中恢复清晰的图像。
本发明所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其步骤为：
步骤1、构建数据集LFDOF、数据集DPDD以及测试集；其中数据集LFDOF作为训练集，数据集DPDD作为辅助网络微调集；
步骤2、构建基于多头交叉注意机制的神经光场网络模型，建立基于多头交叉注意机制的神经光场的去模糊训练策略；
步骤3、使用数据集LFDOF对所述基于多头交叉注意机制的神经光场网络模型进行训练，以获得具有对应关系的散焦和全焦图像对；利用数据集DPDD使用特征损失进行网络微调，得到训练完成的神经光场网络模型；
步骤4、利用训练完成的神经光场网络模型，对含有模糊图像的测试集进行处理测试，得到处理后的清晰的测试图像。
进一步的，所述神经光场网络模型包括编码器、解码器和若干级联的动态残差块；所述神经光场网络模型的输入为数据集LFDOF和数据集DPDD中的模糊图像xLFDOF和xDPDD，通过编码器ε提取多尺度金字塔特征，然后通过跳过连接将其添加到解码器D的相应尺度；若干动态残差块添加到解码器D的每个尺度,若干动态残差块的输入为来自数据集LFDOF中的模糊图像xLFDOF及解码器D输出的不同尺度的数据，输出为去模糊化后的图像。
进一步的，所述动态残差块包括基于多头交叉注意机制模块和多层感知器；
对每个多头交叉注意机制模块的输入特征进行标记化，将特征重塑为扁平化的二维斑块序列，其大小分别为P、P/2；斑块映射到其对应尺度的编码器特征的相同区域；通过这个过程，保持原始通道的尺寸；
把这两个输入特征的标记
作为密钥，值T∑＝Concat(T1,T2)；这些标记被送入多头交叉注意机制模块和多层感知器的残余结构，以编码信道和依赖关系，提炼来自每个编码器的特征Qi，每个编码器使用多尺度特征；
多头交叉注意机制模块包含了3个输入(Q1，Q2，C∑)，包括两个标记Ti作为查询以及一个串联的标记T∑作为键和值；
Qi＝TiWQ,K＝T∑WK,V＝T∑WV
其中
是不同输入的权重，d是序列长度，Ci(i＝1,2)是两个输入信道的尺寸，C∑＝Concat(C1,C2)；Qi为每个编码器的特征，V，K为两个经过加权后参与计算的参数；
由于
在上述过程中，产生了相似性矩阵
并通过交叉注意CA机制对V进行加权；
其中ψ(·)和σ(·)分别表示实例规范化函数和softmax函数；上标T为转置标记；
沿着通道轴进行注意操作，并且采用了实例归一化，；在N头注意的情况下，多头交叉注意机制模块处理后的输出计算如下：
其中N是输入的数量；此后，应用一个MLP和残差运算器，得到的输出如下：
Oi＝MCAi+MLP(Qi+MCAi)
为了简单起见，省略了方程中的层归一化LN；将上式中的操作重复L次，构建一个L层的变换器；第L层的两个输出O1,O2通过一个上采样操作进行重构，然后通过卷积层重建，得到残差块的输出。
进一步的，基于多头交叉注意机制的神经光场的去模糊训练策略具体为：
首先在光场生成的数据集LFDOF上训练神经光场网络模型，以获得具有对应关系的散焦和全焦图像对；然后，使用双镜头方法收集数据集DPDD上的特征损失对神经光场网络模型进行微调，以评估两个域中散焦模糊之间的差异。
进一步的，在光场生成的数据集LFDOF上训练神经光场网络模型，以获得具有对应关系的散焦和全焦图像对，具体为：
将所构建的神经光场网络模型训练为由θ参数化的映射函数F，从而将输入的LFDOF图像xLFDOF恢复至清晰图像
其中，该映射函数表示为：
其中，(xi,yi)是散焦和全焦图像对；
为调整损失函数优化后的θ。
进一步的，利用数据集DPDD使用特征损失进行网络微调，得到训练完成的神经网络光场模型，具体为：
在训练阶段，使用l1范数：
其中
是数据集LFDOF的稀疏规则算子，
和yLF分别是在数据集LFDOF下输出的清晰图像和理论理想情况下的清晰图像；
在微调阶段，应用基于VGG的特征损失将学习到的知识转移到特征空间中的目标域，此损失记为
其中
是数据集DPDD基于VGG的特征损失算子，
为实例规范化函数，
和yDPDD分别是在数据集DPDD下输出的清晰图像和理论理想情况下的清晰图像。
本发明所述的有益效果为：本发明通过训练分析了两个散焦模糊数据集LFDOF和DPDD的特征，并开发了一种新的单图像散焦去模糊训练策略；提出了一种端到端的网络架构，该架构配备了一种新颖的动态残差块，以级联的方式将若干个动态残差块对应连接到每个解码器之后，以从粗到细的方式重新构建清晰的图像，与传统的两步方法(首先估计每个像素的模糊核，然后应用非盲解卷积)相比，可有效消除空间变化的散焦模糊，解决了简单的二次拍摄无法实现散焦和全焦图像对之间的像素级对应的问题，提高性能和效率；本发明引入了一个基于多头交叉注意机制模块，该模块使用共享卷积核来提取公共信息，并使用私有核来提取特定于模态的信息，通过多头交叉注意机制以及多尺度信道，弥补低级和高级特征之间的语义和分辨率差距，以捕获更复杂的通道相关性。
附图说明
图1为本发明所述方法的流程图；
图2为本发明实施例中算法模型总体框架；
图3为本发明提出的一种基于多头交叉注意机制的特征提取模块的框架；
图4为多头交叉注意机制的特征提取模块的具体内部结构；
图5为仅在LFDOF、仅在DPDD和同时在两数据集上训练的网络的视觉比较示意图；
具体实施方式
为了使本发明的内容更容易被清楚地理解，下面根据具体实施例并结合附图，对本发明作进一步详细的说明。
如图1所示，本发明所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其步骤为：
步骤1、构建数据集LFDOF、数据集DPDD以及测试集CUHK和PixelDP；
步骤2、构建基于多头交叉注意机制的神经光场网络模型，建立基于多头交叉注意机制的神经光场的去模糊训练策略；
步骤3、使用数据集LFDOF对所述基于多头交叉注意机制的神经光场网络模型进行训练，以获得具有对应关系的散焦和全焦图像对；利用数据集DPDD使用特征损失进行网络微调，得到训练完成的神经光场网络模型；
步骤4、利用训练完成的神经光场网络模型，对含有模糊图像的测试集进行处理测试，得到处理后的清晰的测试图像。
其中，步骤1中，生成LFDOF数据集作为主要训练集：该数据集利用光场合成孔径和重新聚焦技术，生成一组真实的散焦和全聚焦图像对，描绘各种自然场景，用于网络训练；
生成DPDD数据集作为辅助网络微调集：该数据集利用了大多数现代相机上双像素(DP)传感器的可用数据；DP传感器用于通过在单个图像拍摄中捕获场景的两个子孔径视图来辅助相机的自动对焦；这两个子孔径图像用于计算聚焦在特定场景区域上的适当透镜位置。其中每个场景都有：(i)在大光圈下拍摄的散焦模糊图像；(ii)两个相关联的DP子孔径视图；以及(iii)用小孔径捕获的对应的全聚焦图像。
如图2所示，所述神经光场网络模型包括编码器、解码器和若干级联的动态残差块；所述神经光场网络模型的输入为数据集LFDOF和数据集DPDD中的模糊图像xLFDOF和xDPDD，通过编码器ε提取多尺度金字塔特征，然后通过跳过连接将其添加到解码器D的相应尺度；若干动态残差块添加到解码器D的每个尺度,动态残差块的输入为来自数据集LFDOF中的模糊图像xLFDOF及解码器D输出的不同尺度的数据，上一个动态残差块的输出作为下一个残差块的两个输入之一，直至最后一个残差块的输出作为最终输出的清晰图像。
如图3所示，所述动态残差块的输入进行归一化处理，引入了一个基于多头交叉注意机制模块及多层感知器，并在添加多层感知器前进行归一化处理，具体如下：
对每个模块的输入特征进行标记化，将特征重塑为扁平化的二维斑块序列，大小分别为P，P/2；斑块映射到其对应尺度的编码器特征的相同区域；通过这个过程，我们保持原始通道的尺寸；
把这两个输入特征的标记
作为密钥，值T∑＝Concat(T1,T2)；这些标记被送入多头交叉注意机制模块和多层感知器的残余结构，以编码信道和依赖关系，这样提炼来自每个编码器的特征Qi，每个编码器使用多尺度特征；
如图4所示，多头交叉注意机制模块包含了3个输入(Q1，Q2，C∑)，包括两个标记Ti作为查询以及一个串联的标记T∑作为键和值；
Qi＝TiWQ,K＝T∑WK,V＝T∑WV
其中
是不同输入的权重，d是序列长度，Ci(i＝1,2)是两个输入信道的尺寸，C∑＝Concat(C1,C2)，concat是一个函数，用于将两个及以上的特征图按照在channel或num维度上进行拼接；Qi为每个编码器的特征，V，K为两个经过加权后参与计算的参数；
由于
在上述过程中，产生了相似性矩阵
并通过交叉注意(CA)机制对V进行加权；
其中ψ(·)和σ(·)分别表示实例规范化函数和softmax函数，前者为私有卷积核，用于提取特定于模态的信息，后者为共享卷积核，用于提取公共信息；上标T为转置标记；
沿着通道轴进行注意操作，并且采用了实例归一化，；在N头注意的情况下，多头交叉注意机制模块处理后的输出计算如下：
其中N是头(输入)的数量；此后，应用一个MLP和残差运算器，得到的输出如下：
Oi＝MCAi+MLP(Qi+MCAi)
为了简单起见，我们省略了方程中的层归一化LN；将上式中的操作重复L次，以建立一个L层变压器；构建一个L层的变换器；第L层的两个输出O1,O2通过一个上采样操作进行重构，然后通过卷积层重建，得到残差块的输出。
步骤3的具体实现如下：使用数据集LFDOF对所述基于多头交叉注意机制的神经光场网络模型进行训练，以获得具有对应关系的散焦和全焦图像对：
将所构建的深度学习网络模型训练为由θ参数化的映射函数F，从而将输入的LFDOF图像xLFDOF恢复至清晰图像
其中，该映射函数表示为：
其中(xi,yi)是散焦和全焦图像对；
为调整损失函数优化后的θ。
利用数据集DPDD使用特征损失进行网络微调，得到训练完成的神经网络光场模型：
传统数码相机和光场相机产生的散焦模糊是不同的。为了弥补这一差距，我们提出了一种利用强度并克服光场数据缺点的训练策略。具体来说，我们在主训练轮中应用光场生成数据集LFDOF以获得高度准确的图像对应；然后，我们使用DPDD数据集对网络进行微调，以缓解两个领域之间的差异。每个阶段使用不同的损失，在主训练阶段，使用l1范数：
在微调阶段，应避免像素损失，因为DPDD数据集中的散焦和全焦对之间的未对准(由两次拍摄引起)。我们在这一步应用基于VGG的特征损失将学习到的知识转移到特征空间中的目标域，从而避免在图像空间中的精确匹配。此损失记为
其中
是数据集DPDD基于VGG的特征损失算子，
为实例规范化函数，
和yDPDD分别是在DPDD数据集下输出的清晰图像和理论理想情况下的清晰图像。请注意，该损失适用于所有规模。
我们对比分析了仅在LFDOF或DPDD数据集上进行网络训练和是在LFDOF上训练网络，然后在DPDD上进行微调，得到的结果上后者很大程度上超过了前者(如表1所示)，并产生了最佳的定量(PSNR增加了11.57％和4.23％)和定性结果(如图5所示)。
表1
| 训练数据集 | PSNR↑ | SSIM↑ | LPIPS↓ |
| LFDOF | 23.076 | 0.698 | 0.378 |
| DPDD | 24.700 | 0.744 | 0.337 |
| LFDOF&DPDD | 25.745 | 0.711 | 0.257 |
以上所述仅为本发明的优选方案，并非作为对本发明的进一步限定，凡是利用本发明说明书及附图内容所作的各种等效变化均在本发明的保护范围之内。
Claims (6)
1.基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，所述方法步骤为：
步骤1、构建数据集LFDOF、数据集DPDD以及测试集；其中数据集LFDOF作为训练集，数据集DPDD作为辅助网络微调集；
步骤2、构建基于多头交叉注意机制的神经光场网络模型，建立基于多头交叉注意机制的神经光场的去模糊训练策略；
步骤3、使用数据集LFDOF对所述基于多头交叉注意机制的神经光场网络模型进行训练，以获得具有对应关系的散焦和全焦图像对；利用数据集DPDD使用特征损失进行网络微调，得到训练完成的神经光场网络模型；
步骤4、利用训练完成的神经光场网络模型，对含有模糊图像的测试集进行处理测试，得到处理后的清晰的测试图像。
2.根据权利要求1所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，所述神经光场网络模型包括编码器、解码器和若干级联的动态残差块；所述神经光场网络模型的输入为数据集LFDOF和数据集DPDD中的模糊图像xLFDOF和xDPDD，通过编码器ε提取多尺度金字塔特征，然后通过跳过连接将其添加到解码器D的相应尺度；若干动态残差块添加到解码器D的每个尺度,若干动态残差块的输入为来自数据集LFDOF中的模糊图像xLFDOF及解码器D输出的不同尺度的数据，输出为去模糊化后的图像。
3.根据权利要求2所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，所述动态残差块包括基于多头交叉注意机制模块和多层感知器；
对每个多头交叉注意机制模块的输入特征进行标记化，将特征重塑为扁平化的二维斑块序列，其大小分别为P、P/2；斑块映射到其对应尺度的编码器特征的相同区域；通过这个过程，保持原始通道的尺寸；
把这两个输入特征的标记
作为密钥，值T∑＝Concat(T1,T2)；这些标记被送入多头交叉注意机制模块和多层感知器的残余结构，以编码信道和依赖关系，提炼来自每个编码器的特征Qi，每个编码器使用多尺度特征；
多头交叉注意机制模块包含了3个输入(Q1，Q2，C∑)，包括两个标记Ti作为查询以及一个串联的标记T∑作为键和值；
Qi＝TiWQ,K＝T∑WK，V＝T∑WV
其中
是不同输入的权重，d是序列长度，Ci(i＝1,2)是两个输入信道的尺寸，C∑＝Concat(C1,C2)；Qi为每个编码器的特征，V，K为两个经过加权后参与计算的参数；
由于
在上述过程中，产生了相似性矩阵
并通过交叉注意CA机制对V进行加权；
其中ψ(·)和σ(·)分别表示实例规范化函数和softmax函数；上标T为转置标记；
沿着通道轴进行注意操作，并且采用了实例归一化，；在N头注意的情况下，多头交叉注意机制模块处理后的输出计算如下：
其中N是输入的数量；此后，应用一个MLP和残差运算器，得到的输出如下：
Oi＝MCAi+MLP(Qi+MCAi)
为了简单起见，省略了方程中的层归一化LN；将上式中的操作重复L次，构建一个L层的变换器；第L层的两个输出O1,O2通过一个上采样操作进行重构，然后通过卷积层重建，得到残差块的输出。
4.根据权利要求1所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，基于多头交叉注意机制的神经光场的去模糊训练策略具体为：
首先在光场生成的数据集LFDOF上训练神经光场网络模型，以获得具有对应关系的散焦和全焦图像对；然后，使用双镜头方法收集数据集DPDD上的特征损失对神经光场网络模型进行微调，以评估两个域中散焦模糊之间的差异。
5.根据权利要求3所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，在光场生成的数据集LFDOF上训练神经光场网络模型，以获得具有对应关系的散焦和全焦图像对，具体为：
将所构建的神经光场网络模型训练为由θ参数化的映射函数F，从而将输入的LFDOF图像xLFDOF恢复至清晰图像
其中，该映射函数表示为：
其中，(xi,yi)是散焦和全焦图像对；
为调整损失函数优化后的θ。
6.根据权利要求5所述的基于多头交叉注意机制的神经网络光场图像去模糊方法，其特征在于，利用数据集DPDD使用特征损失进行网络微调，得到训练完成的神经网络光场模型，具体为：
在训练阶段，使用l1范数：
其中
是数据集LFDOF的稀疏规则算子，
和yLF分别是在数据集LFDOF下输出的清晰图像和理论理想情况下的清晰图像；
在微调阶段，应用基于VGG的特征损失将学习到的知识转移到特征空间中的目标域，此损失记为
其中
是数据集DPDD基于VGG的特征损失算子，
为实例规范化函数，
和yDPDD分别是在数据集DPDD下输出的清晰图像和理论理想情况下的清晰图像。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310144230.4A CN116152103A (zh) | 2023-02-21 | 2023-02-21 | 基于多头交叉注意机制的神经网络光场图像去模糊方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310144230.4A CN116152103A (zh) | 2023-02-21 | 2023-02-21 | 基于多头交叉注意机制的神经网络光场图像去模糊方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116152103A true CN116152103A (zh) | 2023-05-23 |
Family
ID=86355933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310144230.4A Pending CN116152103A (zh) | 2023-02-21 | 2023-02-21 | 基于多头交叉注意机制的神经网络光场图像去模糊方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116152103A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823680A (zh) * | 2023-08-30 | 2023-09-29 | 深圳科力远数智能源技术有限公司 | 一种基于级联神经网络的混储电池识别去模糊方法 |
-
2023
- 2023-02-21 CN CN202310144230.4A patent/CN116152103A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116823680A (zh) * | 2023-08-30 | 2023-09-29 | 深圳科力远数智能源技术有限公司 | 一种基于级联神经网络的混储电池识别去模糊方法 |
| CN116823680B (zh) * | 2023-08-30 | 2023-12-01 | 深圳科力远数智能源技术有限公司 | 一种基于级联神经网络的混储电池识别去模糊方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111028177B (zh) | 一种基于边缘的深度学习图像去运动模糊方法 | |
| Wang et al. | Hyperspectral image super-resolution via deep prior regularization with parameter estimation | |
| CN113673590B (zh) | 基于多尺度沙漏密集连接网络的去雨方法、系统和介质 | |
| CN113658057B (zh) | 一种Swin Transformer微光图像增强方法 | |
| CN116797488A (zh) | 一种基于特征融合与注意力嵌入的低照度图像增强方法 | |
| CN111369466B (zh) | 基于可变形卷积的卷积神经网络的图像畸变矫正增强方法 | |
| CN115456914B (zh) | 一种基于先验知识的散焦图像去模糊方法、装置及介质 | |
| Chen et al. | Attention-guided progressive neural texture fusion for high dynamic range image restoration | |
| CN113628134B (zh) | 图像降噪方法及装置、电子设备及存储介质 | |
| Zhang et al. | Unleashing the power of self-supervised image denoising: A comprehensive review | |
| Zheng et al. | Neural augmented exposure interpolation for two large-exposure-ratio images | |
| CN116152103A (zh) | 基于多头交叉注意机制的神经网络光场图像去模糊方法 | |
| Zhao et al. | A simple and robust deep convolutional approach to blind image denoising | |
| TWI805282B (zh) | 使用焦點資訊深度估計的方法和裝置 | |
| de Stoutz et al. | Fast perceptual image enhancement | |
| CN118212136A (zh) | 基于光场数据的全聚焦图像扩散生成方法 | |
| Wang et al. | Tuning-free plug-and-play hyperspectral image deconvolution with deep priors | |
| CN115311149A (zh) | 图像去噪方法、模型、计算机可读存储介质及终端设备 | |
| CN110852947A (zh) | 一种基于边缘锐化的红外图像超分辨方法 | |
| CN113554567B (zh) | 一种基于小波变换的鲁棒去重影系统及方法 | |
| Lu et al. | Event Camera Demosaicing via Swin Transformer and Pixel-focus Loss | |
| CN115393491A (zh) | 一种基于实例分割和参考帧的水墨视频生成方法及装置 | |
| Dudhane et al. | Burst Image Restoration and Enhancement | |
| US20240303783A1 (en) | A method of training a neural network, apparatus and computer program for carrying out the method | |
| Lin | Learning degraded image classification with restoration data fidelity |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |