CN108280814B - 基于感知损失的光场图像角度超分辨率重建方法 - Google Patents

基于感知损失的光场图像角度超分辨率重建方法 Download PDF

Info

Publication number
CN108280814B
CN108280814B CN201810129036.8A CN201810129036A CN108280814B CN 108280814 B CN108280814 B CN 108280814B CN 201810129036 A CN201810129036 A CN 201810129036A CN 108280814 B CN108280814 B CN 108280814B
Authority
CN
China
Prior art keywords
image
loss
network
super
light field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810129036.8A
Other languages
English (en)
Other versions
CN108280814A (zh
Inventor
秦红星
王孟辉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Yucheng Technology Co ltd
Dragon Totem Technology Hefei Co ltd
Original Assignee
Chongqing University of Post and Telecommunications
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chongqing University of Post and Telecommunications filed Critical Chongqing University of Post and Telecommunications
Priority to CN201810129036.8A priority Critical patent/CN108280814B/zh
Publication of CN108280814A publication Critical patent/CN108280814A/zh
Application granted granted Critical
Publication of CN108280814B publication Critical patent/CN108280814B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10052Images from lightfield camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Abstract

本发明涉及一种基于感知损失的光场图像角度超分辨率重建方法,属于光场成像领域。该方法将预训练模型提取的图像高维特征的均方差作为损失函数,通过构建一个由四个残差块组成的网络模型,学习观测图像与目标视角图像之间的非线性映射关系,从而重建出新视角图像。本发明通过引入表达高维特征的感知损失,可以更好地保持超分辨率重建后新视角图像的纹理细节,拥有更好的视觉效果。

Description

基于感知损失的光场图像角度超分辨率重建方法
技术领域
本发明属于光场成像领域,涉及基于感知损失的光场图像角度超分辨率重建方法。
背景技术
光场成像已经成为下一代成像系统研究中的焦点。光场图像包含光线的空间信息和角度信息,因此,光场相机可以一次拍摄多个视角的图像。多个研究表明,光场图像在很多领域有良好的应用前景,比如图像显著度检测、图像的深度估计等。全光场相机的基本原理是在普通成像系统的一次像面处插入一个微透镜阵列,每个微透镜记录的光线对应相同位置不同视角的场景图像,从而得到一个4维光场信息,包括2维空间信息和2维角度信息。由于传感器分辨率的局限性,全光场相机通常牺牲空间分辨率而提升角度分辨率。这种限制阻碍了光场成像技术的应用。因此,光场图像超分辨率重建变得至关重要。
图像超分辨率重建从低分辨率图像中恢复出高分辨率图像。近期,很多研究者用卷积神经网络(CNN)来实现图像超分辨率重建。主要原因是CNN有强大的泛化能力,能够通过训练大量数据拟合模型,在测试中获得了良好的效果。然而,单张图像的超分辨率重建方法不能直接用于光场图像,因为光场图像不仅包含图像的空间信息,而且包含图像的角度信息。
为了增大空间分辨率和角度分辨率,很多研究采用了对极平面图像(EPI,4维光场数据在空间维度和方向维度的2维切片)。因为对极平面图像仅包含不同斜率的线段,包含的数据维度低于原始维度,使得图像处理和优化变得简单。然而,消费级光场相机获取的光场图像质量较低,影响了以上方法的表现。正如这篇文章所讨论的那样,消费级光场相机受镜头畸变、微透镜畸变、光晕的影响,难以获取准确的极平面图像。
2012年,Wanner等人首次提出了在贝叶斯框架下,以最大后验估计作为数据项,全变分模型作为能量函数的先验模型,渲染得到多视角全光场图像。2016年,yoon等人提出了一种基于数据驱动的监督学习方法,用一个由空间超分辨率网络和角度超分辨率网络组成的串行卷积神经网络进行光场图像超分辨率重建。同年,Kalantari等人把视图生成分为视差估计和颜色估计,分别用一个卷积神经网络进行估计,通过最小化合成视图与目标视图的误差进行训练。
以上几种方法都是通过最小化新视角图像与目标图像之间的均方差进行模型估计,但像素级的损失与人眼观察到的视觉损失并不一致,有可能像素级的损失较高者反而比损失较低者更加模糊。因为人眼对亮度不敏感,而对亮度差比较敏感。
发明内容
有鉴于此,本发明的目的在于提供一种基于感知损失的光场图像角度超分辨率重建方法。
为达到上述目的,本发明提供如下技术方案:
基于感知损失的光场图像角度超分辨率重建方法,该方法为:将预训练模型提取的图像高维特征的均方差作为损失函数,通过构建一个由四个残差块组成的卷积神经网络模型,学习观测图像与目标视角图像之间的非线性映射关系,从而重建出新视角图像。
进一步,所述预训练模型由两部分组成,一是学习观测图像到新视角图像的映射函数,即光场图像角度超分辨率网络fW,参数为W;二是感知损失网络φ,定义一系列的损失函数li,i=1,2,3...为损失函数的序号;设观测图像x通过角度超分辨率网络fW计算得到新视角图像yp,则定义yp=fW(x),每个损失函数计算新视角图像yp和目标新视角图像y的损失大小li(yp,y),权重比例为λi;通过梯度下降法最小化能量函数E,求解出最优的W值,表示为:
Figure BDA0001574374660000021
该模型在不同卷积层提取特征,表达人类对图像的视觉感知情况,层越深,提取的特征越复杂,代表物体的高维特征;利用卷积特征计算观测图像和新视角图像的视觉感知对比损失情况,根据不同卷积层的特征图定义损失函数
Figure BDA0001574374660000022
设观测图像x通过角度超分辨率网络fW计算得到新视角图像yp,则定义yp=fW(x),每个损失函数计算新视角图像y和新视角图像yp的损失大小
Figure BDA0001574374660000023
fW的求解过程转化为利用公式(1)进行梯度下降求最优解。
进一步,在所述方法中引入深度残差网络,形成一种深层的网络结构;在构建的具有深度残差网络结构的卷积神经网络中,各卷积层之间采用跨层连接,用于解决增加深度带来的副作用,增加网络的深度,提高网络的性能;
在所述方法中引入感知损失,用于学习图像高维特征之间的映射关系,保留图像的细节信息。
进一步,采用VGG19网络的第二块的第二层的激活值relu2_2作为所述高维特征,在时间和精度上达到平衡。
进一步,在所述预训练中,先采用像素级损失,后采用感知损失,用于避免仅采用感知损失带来的收敛较慢的问题。
本发明的有益效果在于:本发明将预训练模型提取的图像高层次特征的均方差作为损失函数,可以更好地保持超分辨率重建后新视角图像的纹理细节,拥有更好的视觉效果。
附图说明
为了使本发明的目的、技术方案和有益效果更加清楚,本发明提供如下附图进行说明:
图1为本发明概要介绍图;
图2为本发明模型图;
图3为本发明的角度超分辨率网络残差块的结构;
图4为本发明的实验对比。
具体实施方式
下面将结合附图,对本发明的优选实施例进行详细的描述。
如图1所示,输入为四个观测视角的图像,本发明通过三个不同的角度超分辨率模型,生成了新的视角图像,提高了光场图像的角度分辨率。模型由两部分组成,一是光场图像角度超分辨率网络fW,二是感知损失网络φ,如图2。
角度超分辨率网络fW是一个深度残差卷积神经网络如表1所示:
激活尺寸
输入层 6×36×36或12×36×36
卷积层1,滤波器大小64×9×9 64×36×36
残差块1,64个滤波器 64×36×36
残差块2,64个滤波器 64×36×36
残差块3,64个滤波器 64×36×36
残差块4,64个滤波器 64×36×36
输出层2,滤波器大小3×9×9 3×36×36
如图3所示,主体由四个残差块组成,除了残差卷积层和输出层,所有卷积层都使用批归一化层和非线性激活函数。输出层使用一个双曲正切函数来保证输出值在[0,255]内;除了第一个和最后一个卷积层使用9×9大小的卷积核,其他卷积层使用3×3大小的卷积核。
不同于传统的像素级损失函数(公式2),本发明采用感知损失函数衡量图像间的差异。采用VGG19预训练模型作为感知损失网络φ。把通过角度超分辨率网络fW获得的新视角图像yp和目标视角图像y作为感知损失网络φ的输入图像,获得各卷积层的图像特征φ,φ的第j个激活函数的特征定义为φj,计算均方误差(Mean Squared Error,MSE),最终定义损失函数如公式(3)所示:
Figure BDA0001574374660000041
Figure BDA0001574374660000042
本发明使用Kalantari等人的数据集,此数据集的光场图像全部由lytro相机拍摄,包含自行车、汽车、树木等各种各样的场景,其中的100张作为训练集,其余作为测试集。这些光场图像的角度分辨率为14×14,本发明仅使用横向和纵向编号为3、10的四张视角图像作为输入,横向和纵向编号都为7的视角图像作为目标图像用于对比。
将观测图像的颜色通道堆叠起来,横向、纵向、中心角度超分辨率模型输入分别有2、2、4个观测图像,堆叠起来的颜色通道数分别为6、6、12。为了加快训练的速度,将输入图像裁切为36×36大小的图像块,步长为18,这样就有39672个图像片用于训练。
为了达到速度与精度的平衡,本发明使用批处理大小为64。通过LeCun正态分布初始化网络权重,采用Adam优化器,学习率为1e-3。第一次初步训练使用像素级的均方差损失加快收敛速度。第二次采用感知损失函数代替像素级损失,然后进行梯度下降1000个周期进行权值优化。
为了验证方法的有效性,将本发明方法与yoon等人提出的FLCNN和仅使用像素级损失函数的方法进行超分辨率重建的结果进行对比分析。
图4中,在汽车1的细节中可以看出,LFCNN出现了明显的细节和分叉;本发明方法很好地保留了线段的细节,没有出现明显的模糊和分叉;像素级方法也存在一定的模糊和分叉。在汽车2的细节中,LFCNN由于太模糊以至于不能分辨汽车的轮廓;本发明方法很好地保留了汽车的轮廓;像素级方法也存在一定的模糊。实验结果表明,本发明可以更好地保持超分辨率重建后新视角图像的纹理细节,拥有更好的视觉效果。
最后说明的是,以上优选实施例仅用以说明本发明的技术方案而非限制,尽管通过上述优选实施例已经对本发明进行了详细的描述,但本领域技术人员应当理解,可以在形式上和细节上对其作出各种各样的改变,而不偏离本发明权利要求书所限定的范围。

Claims (4)

1.基于感知损失的光场图像角度超分辨率重建方法,其特征在于:该方法为:将预训练模型提取的图像高维特征的均方差作为损失函数,通过构建一个由四个残差块组成的卷积神经网络模型,学习观测图像与目标视角图像之间的非线性映射关系,从而重建出新视角图像;
所述预训练模型由两部分组成,一是学习观测图像到新视角图像的映射函数,即光场图像角度超分辨率网络fW,参数为W;二是感知损失网络φ,定义一系列的损失函数li,i=1,2,3...为损失函数的序号;设观测图像x通过角度超分辨率网络fW计算得到新视角图像yp,则定义yp=fW(x),每个损失函数计算新视角图像yp和目标新视角图像y的损失大小li(yp,y),权重比例为λi;通过梯度下降法最小化能量函数E,求解出最优的W值,表示为:
Figure FDA0003179748740000011
该模型在不同卷积层提取特征,表达人类对图像的视觉感知情况,层越深,提取的特征越复杂,代表物体的高维特征;利用卷积特征计算观测图像和新视角图像的视觉感知对比损失情况,根据不同卷积层的特征图定义损失函数
Figure FDA0003179748740000012
设观测图像x通过角度超分辨率网络fW计算得到新视角图像yp,则定义yp=fW(x),每个损失函数计算目标新视角图像y和新视角图像yp的损失大小
Figure FDA0003179748740000013
fW的求解过程转化为利用公式(1)进行梯度下降求最优解。
2.根据权利要求1所述的基于感知损失的光场图像角度超分辨率重建方法,其特征在于:在所述方法中引入深度残差网络,形成一种深层的网络结构;在构建的具有深度残差网络结构的卷积神经网络中,各卷积层之间采用跨层连接,用于解决增加深度带来的副作用,增加网络的深度,提高网络的性能;
在所述方法中引入感知损失,用于学习图像高维特征之间的映射关系,保留图像的细节信息。
3.根据权利要求2所述的基于感知损失的光场图像角度超分辨率重建方法,其特征在于:采用VGG19网络的第二块的第二层的激活值relu2_2作为所述高维特征,在时间和精度上达到平衡。
4.根据权利要求2所述的基于感知损失的光场图像角度超分辨率重建方法,其特征在于:在所述预训练中,先采用像素级损失,后采用感知损失,用于避免仅采用感知损失带来的收敛较慢的问题。
CN201810129036.8A 2018-02-08 2018-02-08 基于感知损失的光场图像角度超分辨率重建方法 Active CN108280814B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810129036.8A CN108280814B (zh) 2018-02-08 2018-02-08 基于感知损失的光场图像角度超分辨率重建方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810129036.8A CN108280814B (zh) 2018-02-08 2018-02-08 基于感知损失的光场图像角度超分辨率重建方法

Publications (2)

Publication Number Publication Date
CN108280814A CN108280814A (zh) 2018-07-13
CN108280814B true CN108280814B (zh) 2021-08-31

Family

ID=62808068

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810129036.8A Active CN108280814B (zh) 2018-02-08 2018-02-08 基于感知损失的光场图像角度超分辨率重建方法

Country Status (1)

Country Link
CN (1) CN108280814B (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110827341A (zh) * 2018-08-10 2020-02-21 中国移动通信有限公司研究院 一种图片深度估计方法、装置和存储介质
CN109308679B (zh) * 2018-08-13 2022-08-30 深圳市商汤科技有限公司 一种图像风格转换方法及装置、设备、存储介质
CN109379550B (zh) * 2018-09-12 2020-04-17 上海交通大学 基于卷积神经网络的视频帧率上变换方法及系统
CN109712098B (zh) * 2019-01-08 2022-07-08 重庆邮电大学 一种基于统计推理的图像修复方法
CN110969633B (zh) * 2019-11-28 2024-02-27 南京安科医疗科技有限公司 一种心脏ct成像自动最优相位识别方法
CN111311520B (zh) * 2020-03-12 2023-07-18 Oppo广东移动通信有限公司 图像处理方法、装置、终端及存储介质
CN111738267B (zh) * 2020-05-29 2023-04-18 南京邮电大学 基于线性多步残差学习的视觉感知方法及视觉感知装置
CN111818298B (zh) * 2020-06-08 2021-10-22 北京航空航天大学 一种基于光场的高清视频监控系统及方法
CN112365400A (zh) * 2020-10-27 2021-02-12 深圳大学 一种快速光场角度超分辨重建方法
CN112330053A (zh) * 2020-11-23 2021-02-05 香港中文大学(深圳) 数据感知方法及装置
CN113256772B (zh) * 2021-05-10 2023-08-01 华中科技大学 一种基于视角转换的双角度光场高分辨重构系统及方法
CN113487715A (zh) * 2021-06-24 2021-10-08 之江实验室 一种基于生成对抗网络的数据增强方法
CN114926339B (zh) * 2022-05-30 2023-02-03 北京拙河科技有限公司 基于深度学习的光场多视角图像超分辨率重建方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167578A (zh) * 2013-04-02 2013-06-19 山东大学 用Hopfield 神经网络对无线传感器网络分簇的方法
CN103903017A (zh) * 2014-03-26 2014-07-02 浙江大学 一种基于自适应软直方图局部二值模式的人脸识别方法
CN104008392A (zh) * 2014-05-09 2014-08-27 南京邮电大学 一种基于连续最小能量表观模型的多目标跟踪方法
CN106683067A (zh) * 2017-01-20 2017-05-17 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法
CN107358182A (zh) * 2017-06-29 2017-11-17 维拓智能科技(深圳)有限公司 行人检测方法及终端设备
CN107578377A (zh) * 2017-08-31 2018-01-12 北京飞搜科技有限公司 一种基于深度学习的超分辨率图像重建方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103167578A (zh) * 2013-04-02 2013-06-19 山东大学 用Hopfield 神经网络对无线传感器网络分簇的方法
CN103903017A (zh) * 2014-03-26 2014-07-02 浙江大学 一种基于自适应软直方图局部二值模式的人脸识别方法
CN104008392A (zh) * 2014-05-09 2014-08-27 南京邮电大学 一种基于连续最小能量表观模型的多目标跟踪方法
CN106683067A (zh) * 2017-01-20 2017-05-17 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法
CN107358182A (zh) * 2017-06-29 2017-11-17 维拓智能科技(深圳)有限公司 行人检测方法及终端设备
CN107578377A (zh) * 2017-08-31 2018-01-12 北京飞搜科技有限公司 一种基于深度学习的超分辨率图像重建方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
《VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE一SCALE IMAGE RECOGNITION》;Karen Simonyan等;《ICLR 2015》;20151231;全文 *
《基于深度学习的图像超分辨率复原研究进展》;孙旭等;《自动化学报》;20170531;第43卷(第5期);全文 *
《基于深度特征学习的图像超分辨率重建》;胡长胜等;《自动化学报》;20170531;第43卷(第5期);正文第814-821页 *

Also Published As

Publication number Publication date
CN108280814A (zh) 2018-07-13

Similar Documents

Publication Publication Date Title
CN108280814B (zh) 基于感知损失的光场图像角度超分辨率重建方法
CN110570353B (zh) 密集连接生成对抗网络单幅图像超分辨率重建方法
CN111539879B (zh) 基于深度学习的视频盲去噪方法及装置
Yuan et al. Light-field image superresolution using a combined deep CNN based on EPI
CN108074218B (zh) 基于光场采集装置的图像超分辨率方法及装置
CN109447930B (zh) 小波域光场全聚焦图像生成算法
CN104021548A (zh) 一种获取场景4d信息的方法
Liu et al. Gradnet image denoising
CN110880162B (zh) 基于深度学习的快照光谱深度联合成像方法及系统
Tang et al. Single image dehazing via lightweight multi-scale networks
CN104539928A (zh) 一种光栅立体印刷图像合成方法
CN106127696A (zh) 一种基于bp神经网络拟合运动场的图像去除反射方法
CN114170286B (zh) 一种基于无监督深度学习的单目深度估计方法
CN112651469A (zh) 一种红外与可见光图像融合方法及系统
CN114049434A (zh) 一种基于全卷积神经网络的3d建模方法及系统
CN114897752A (zh) 一种基于深度学习的单透镜大景深计算成像系统及方法
CN112330795A (zh) 基于单张rgbd图像的人体三维重建方法及系统
CN114757862B (zh) 用于红外光场设备的图像增强渐进式融合方法
CN115546442A (zh) 基于感知一致损失的多视图立体匹配重建方法及系统
CN105809650A (zh) 一种基于双向迭代优化的图像融合方法
CN109218706B (zh) 一种由单张图像生成立体视觉图像的方法
CN110889868A (zh) 一种结合梯度和纹理特征的单目图像深度估计方法
CN110335228B (zh) 一种图像视差的确定方法、装置及系统
CN112785517B (zh) 一种基于高分辨率表征的图像去雾方法和装置
CN110717947A (zh) 一种基于外部和内部训练的高质量光谱重构方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20230901

Address after: No. 501, Building V6, Poly Entrepreneurship Culture Plaza Community (Poly Champagne), No. 3666 South Fourth Ring Road, Jingyue Development Zone, Changchun City, Jilin Province, 130000

Patentee after: Changchun Yucheng Technology Co.,Ltd.

Address before: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee before: Dragon totem Technology (Hefei) Co.,Ltd.

Effective date of registration: 20230901

Address after: 230000 floor 1, building 2, phase I, e-commerce Park, Jinggang Road, Shushan Economic Development Zone, Hefei City, Anhui Province

Patentee after: Dragon totem Technology (Hefei) Co.,Ltd.

Address before: 400065 Chongqing Nan'an District huangjuezhen pass Chongwen Road No. 2

Patentee before: CHONGQING University OF POSTS AND TELECOMMUNICATIONS