CN111369443A - 光场跨尺度的零次学习超分辨率方法 - Google Patents

光场跨尺度的零次学习超分辨率方法 Download PDF

Info

Publication number
CN111369443A
CN111369443A CN202010196773.7A CN202010196773A CN111369443A CN 111369443 A CN111369443 A CN 111369443A CN 202010196773 A CN202010196773 A CN 202010196773A CN 111369443 A CN111369443 A CN 111369443A
Authority
CN
China
Prior art keywords
image
light field
sub
resolution
aperture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010196773.7A
Other languages
English (en)
Other versions
CN111369443B (zh
Inventor
肖照林
刘崟海
金海燕
杨秀红
蔡磊
李秀秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hubei Pascal Technology Co ltd
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010196773.7A priority Critical patent/CN111369443B/zh
Publication of CN111369443A publication Critical patent/CN111369443A/zh
Application granted granted Critical
Publication of CN111369443B publication Critical patent/CN111369443B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了光场跨尺度的零次学习超分辨率方法，对输入的光场原始图像进行解码得到四维的光场矩阵；通过循环四维光场矩阵中的角度信息坐标提取u×v张不同角度的子孔径信息；在每一行子孔径图像中依次提取每幅图像相同高度的素点得到s幅光场EPI图像；光场EPI图像进行零次学习超分辨；超分辨以后的结果依次投影回原子孔径图像中的对应位置；通过步骤1‑6最终可以得到经过零次学习超分辨以后的光场子孔径图像，即代表了光场图像的不同视角。通过将零次学习与光场图像相结合，实现一种光场图像跨尺度超分辨的全新方法，为解决光场图像问题提供了一种新的思路，取得了不错的成果。

Description

光场跨尺度的零次学习超分辨率方法
技术领域
本发明属于计算机数字图像处理技术领域，涉及光场跨尺度的零次学习超分辨率方法。
背景技术
在实际生活中，我们身边的物体和场景都是三维的。传统相机只能采集到空间光线的强度信息，丢失了光线的方向信息，从而损失了很多可利用信息，导致由传统相机拍摄得到的图像无法实现三维重建等效果。
近年来基于光场和计算机成像理论的光场相机成为研究的热点，因为光场相机在一次拍照中可以获取场景的四维特征数据：包括二维空间信息和二维角度信息，可以实现先拍照后聚焦的功能。由于在光场中获得的额外二维角度信息使得其可以得到广泛的应用，如合成孔径图像，重聚焦以及光场显微镜等。
光场成像的原理与传统相机成像原理在电子构件上有所差异，传统相机成像是光线穿过镜头而后传播到成像平面上；光场成像原理差异在于在传感器平面前增加一个微透镜阵列，将穿过主镜头的光线再次穿过每个微透镜，从而收获光线的方向与位置信息，使成像结果在后期具有更多的可调节性。然而全光场相机能够获得比传统相机更多的场景信息，是通过牺牲相机的空间分辨率换取角度分辨率来实现的。因此全光场相机需要平衡空间和角度分辨率之间的关系，目前来说，提高全光场相机主要有两种方法：一是提高全光场相机的硬件配置，即提高微透镜阵列的数量，这样可以记录来自更多方向的光线信息。二是利用计算机图像处理的算法来提高分辨率。由于提高硬件配置在实施方面难度大，成本高，因此我们更多的选择使用计算机图像处理的算法来提高全光场相机的空间分辨率和角度分辨率。
传统的深度学习超分辨是通过预先搭建好的网络结构，输入大量的训练数据，通过长时间的训练得到期望的模型，再利用该模型对输入的测试图像进行超分辨率重建，最终得到期望的图像。而零次学习超分辨方法不依赖任何其他样本图片和预先训练，使用图像内部相似信息，在重建一张高分辨率图像LR时，对输入图像LR进行降采样，通过一个小型的CNN网络学习二者之间的超分辨参数，最终利用超分辨率参数对图像LR完成重建，得到最终结果。
发明内容
本发明的目的是提供一种光场跨尺度的零次学习超分辨率方法，在不改变全光场相机的硬件配置的前提下，通过使用跨尺度的零次学习超分辨方法实现光场图像超分辨率重建，解决了图像处理技术领域硬件配置实施难度大，成本高的问题。
本发明所采用的技术方案是，光场跨尺度的零次学习超分辨率方法，具体包括如下步骤：
步骤1：将光场原始图像，光场白图像以及相机参数依次读入计算机软件MATLAB中；
步骤2、对输入的光场原始图像进行解码得到四维光场矩阵；
步骤3、通过循环四维光场矩阵中的角度信息[u,v]坐标提取u×v张不同角度信息的子孔径图像；
步骤4、对u行v列子孔径图像依次进行以下操作：从第一行子孔径图像开始循环，在每一行子孔径图像中依次提取每幅图像相同高度的像素点得到s幅光场EPI图像；
步骤5、对步骤4中得到的光场EPI图像进行零次学习超分辨；
步骤6、将步骤5中超分辨以后的结果依次投影回原子孔径图像中的对应位置；
步骤7、通过步骤1-6最终可以得到经过零次学习超分辨以后的光场子孔径图像，即代表了光场图像的不同视角。
本发明的特点还在于，
步骤2具体如下：
步骤2.1，对光场原图像与光场白图像进行角度为angle的图像旋转；其中，angle为微透镜阵列旋转角度；
步骤2.2，对微透镜阵列的水平间隔与垂直间隔(x,y)进行如公式(1)的操作，得到光场图像的微透镜角度分辨率[u,v]，即光场图像的二维角度信息；
u＝ceil(y/2)*2+1
v＝ceil(x/2)*2+1 (1)
其中，x是微透镜的水平间隔，y是微透镜的垂直间隔；
步骤2.3，通过光场相机参数1_CentersXY.txt中的参数(height,width)为光场图像微透镜大小[s,t]赋值，其中s＝height,t＝width；即光场图像的二维位置信息；
光场原始图像文件为1_LensletRaw.bmp，光场白图像文件为whiteImage.bmp，光场相机参数1_CentersXY.txt包括微透镜大小(height,width),微透镜阵列旋转角angle，微透镜中心点坐标centers。
步骤3具体如下：
步骤3.1：建立一个五维光场坐标LF_STUV(s,t,u,v,3),其中[s,t]也称为空间分辨率；
步骤3.2：利用双平面参数化表征光场图像成像原理建立UV平面,其中UV平面的高UV.height＝u，宽UV.width＝v；建立ST平面，其中ST平面的高ST.height＝s,宽ST.width＝t；使用公式(2)计算出UV平面的中心点,即主镜头的理想中心：
UV_center.width＝floor(u/2)+1
UV_center.height＝floor(v/2)+1 (2)
步骤3.3：将光场白图像转换为二维灰度图像，同时对二维灰度图像进行二值化操作，其中，二值化阈值设定为50/255。
步骤4具体如下：
步骤4.1：依次遍历每一个微透镜，即一个宏像素；当每选取一个宏像素时，使用公式(3)计算每个宏像素中心点坐标
center_coords.x＝round(centers((s-1)*ST.width+t,1))+1
center_coords.y＝round(centers((t-1)*ST.width+t,2))+1 (3)
步骤4.2：当每选取一个宏像素时，使用公式(4)依次计算宏像素中水平及垂直方向相对于中心点的偏移量；再使用公式(5)计算出光场原图中位于该方向像素点的位置；
Figure BDA0002417915860000051
步骤4.3：利用公式(5)中的结果对光场原图中每一个像素点的R,G,B三个通道进行赋值；
raw_piexl.r＝raw_image(piexl_coords.y,piexl_coords.x,1)
raw_piexl.g＝raw_image(piexl_coords.y,piexl_coords.x,2)
raw_piexl.b＝raw_image(piexl_coords.y,piexl_coords.x,3)
步骤4.4：将步骤4.3中的结果赋值到光场五维坐标，至此，当所有循环终止，光场解码结束，后面步骤中可以使用LF_STUV(s,t,u,v,3)五维光场坐标表征光场图像：
LF_STUV(s,t,u,v,1)＝raw_piexl.r
LF_STUV(s,t,u,v,2)＝raw_piexl.g
LF_STUV(s,t,u,v,3)＝raw_piexl.b
步骤4.5：解码之后五维光场坐标LF_STUV(s,t,u,v,3)，其中(s,t)表征二维空间信息，(u,v)表征二维位置信息；通过循环提取不同的(u,v)坐标进而获取(u×v)幅不同视角的图像，称为光场子孔径图像；
步骤4.6：当取u＝1时，即固定了第一行子孔径图像，针对1×4幅不同的子孔径图像，取每幅图像的相同行像素点组成一幅新的图像，称为光场EPI图像；
步骤4.7：记每幅子孔径图像大小为s×t，首先从第一行子孔径图像开始循环，即u＝1,v＝1:4，根据步骤4.6提取光场EPI的方法，在一行子孔径图像中可以提取s张光场EPI图像，每幅图像的大小为v×t，。
步骤5具体如下：
步骤5.1：将步骤4.7中提取到的光场EPI图像依次进行零次学习超分辨，该算法是跨尺度图像重建，即输入一张大小为v×t的EPI图像，输出大小为2v×2t的EPI图像；
步骤5.2:将步骤5.1中重建的结果进行插值，插值成大小为[n×t]，其中n表示新的光场子孔径图像中的列坐标；
步骤5.3：将步骤5.2中重建插值后的结果投影回步骤4.7中每幅子孔径图像中的对应位置；当一行子孔径图像的全部EPI图像全部重建完成后，返回步骤5.1，从u＝2,v＝1:4第二列开始执行，直到所有列全部执行完毕，至此光场视图中的行已经变成新的视角；
步骤5.4:当步骤5.3执行完毕后，开始从光场子孔径图像中的列开始循环，即u＝1:4,v＝1,在一列子孔径图像中可以提取t张光场EPI图像，每幅图像大小为u×s；
步骤5.5:执行步骤5.1的相似操作，将步骤5.4中提取到的光场EPI图像依次进行零次学习超分辨，输入一张大小为u×s的EPI图像，输出大小为2u×2s的EPI图像；
步骤5.6:将步骤5.5中重建的结果进行插值，插值成大小为[n×s]，其中n同时也表示新的光场子孔径图像中的行坐标。
步骤6具体如下：
将步骤5.6中重建插值后的结果投影回步骤18中每幅子孔径图像中的对应位置；当一列子孔径图像全部执行完毕，返回步骤18，接着从u＝1:4,v＝2第二列开始执行，直到所有列全部执行完毕，至此光场视图中的行已经变成新的视角。
步骤5的零次超分辨具体操作步骤为：
步骤5.1.1：构建一个简单小型的CNN网络，该网络结构包含8个64通道的卷积层，即全卷积结构；其中前7个卷积层使用RELU函数激活，最后一个卷积层不使用RELU激活函数；
步骤5.1.2：利用参数初始化网络结构，参数包括L1损失函数，学习率初始值为0.001，初始迭代次数为0，最大迭代次数为3000，步长为20；
步骤5.1.3：开始训练，进行第一次迭代；
步骤5.1.4：记输入的图像为hr_father，重建的比例因子为sf,通过对输入图像hr_father进行比例为1/sf的降采样得到降采样后的图像记为lr_son；
步骤5.1.5：将图像lr_son与图像hr_father输入网络中开始传播，首先在网络第一层将图像lr_son插值到大小与图像hr_father大小一致的网格，经过一次网络传播返回重建出的图像，并且显示迭代次数与损失；
步骤5.1.6：将图像hr_father输入步骤5.1.5中训练出来的网络结构进行重建，记重建出的图像为hr_father_sr,计算图像hr_father与图像hr_father_sr之间的均方误差，记为mse_rec；
步骤5.1.7：对输入图像hr_father进行比例为sf的插值，记插值后的图像为hr_father_interp，重新计算图像hr_father与图像hr_father_interp之间的均方误差，与步骤5.16中的均方误差mse_rec做对比，记为mse_rec_interp；
步骤5.1.8：通过迭代次数与真实的均方误差mse_rec线性出一个拟合函数，并且计算该函数的斜率与标准差，其中斜率记为slope，标准差记为std；
步骤5.1.9：计算学习率的变化率learn_rate_change_ratio与斜率slope的乘积与std进行比较，当前者小于后者时，学习率发生改变learning_rate＝learning_rate/10，反之不变，进行下一次迭代；
步骤5.1.10：最终如果达到最大迭代次数3000或者学习率learning_rate达到1*10-6时则停止重建，表示得到想要的结果，保存重建图像reconstruct。
本发明的有益效果是，本发明提供的光场跨尺度的零次学习超分辨率方法，通过将零次学习与光场图像相结合，实现一种光场图像跨尺度超分辨的全新方法，为解决光场图像问题提供了一种新的思路。从实验结果上看，通过使用光场EPI图像进行零次学习超分辨，最终得到不同尺度的光场视角，取得了不错的成果。
附图说明
图1是本发明光场跨尺度的零次学习超分辨率方法的光场原始图像；
图2是本发明光场跨尺度的零次学习超分辨率方法的光场白图像；
图3是本发明光场跨尺度的零次学习超分辨率方法的光场子孔径图像阵列图；
图4本发明光场跨尺度的零次学习超分辨率方法的光场行EPI图像；
图5本发明光场跨尺度的零次学习超分辨率方法的光场列EPI图像；
图6本发明光场跨尺度的零次学习超分辨率方法的重建后的光场新视角图像；
图7本发明光场跨尺度的零次学习超分辨率方法的实验流程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明的光场跨尺度的零次学习超分辨率方法流程如图7所示，具体操作步骤如下：
步骤1：将光场原始图像(如图1所示)，光场白图像(如图2所示)以及相机参数依次读入计算机软件MATLAB中；
步骤2、对输入的光场原始图像进行解码得到四维的光场矩阵；
步骤2.1，对光场原图像与光场白图像进行角度为angle的图像旋转；其中，angle为微透镜阵列旋转角度；
步骤2.2，对微透镜阵列的水平间隔x与垂直间隔y进行如公式(1)的操作，得到光场图像的微透镜角度分辨率[u,v]，即光场图像的二维角度信息；
u＝ceil(y/2)*2+1
v＝ceil(x/2)*2+1 (1)
其中，x是微透镜的水平间隔，y是微透镜的垂直间隔；
步骤2.3，通过光场相机参数1_CentersXY.txt中的参数(height,width)为光场图像微透镜大小[s,t]赋值，其中s＝height,t＝width；即光场图像的二维位置信息；
光场原始图像文件为1_LensletRaw.bmp，光场白图像文件为whiteImage.bmp，光场相机参数1_CentersXY.txt包括微透镜大小(height,width),微透镜阵列旋转角angle，微透镜中心点坐标centers；
步骤3、通过对循环四维矩阵中的角度信息[u,v]坐标提取(u×v)张不同角度的子孔径信息；
步骤3.1：建立一个五维光场坐标LF_STUV(s,t,u,v,3),其中[s,t]也称为空间分辨率；
步骤3.2：利用双平面参数化表征光场图像成像原理建立UV平面,其中UV平面的高UV.height＝u，宽UV.width＝v；建立ST平面，其中ST平面的高ST.height＝s,宽ST.width＝t；使用公式(2)计算出UV平面的中心点,即主镜头的理想中心：
UV_center.width＝floor(u/2)+1
UV_center.height＝floor(v/2)+1 (2)
步骤3.3：将光场白图像转换为二维灰度图像，同时对二维灰度图像进行二值化操作，其中，二值化阈值设定为50/255；
步骤4、对u行v列子孔径图像依次进行以下操作：从第一行子孔径图像开始循环，在每一行子孔径图像中依次提取每幅图像相同高度的像素点得到s幅光场EPI图像；
步骤4.1：依次遍历每一个微透镜，即一个宏像素；当每选取一个宏像素时，使用公式(3)计算每个宏像素中心点坐标
center_coords.x＝round(centers((s-1)*ST.width+t,1))+1
center_coords.y＝round(centers((t-1)*ST.width+t,2))+1 (3)
步骤4.2：当每选取一个宏像素时，使用公式(4)依次计算宏像素中水平及垂直方向相对于中心点的偏移量；再使用公式(5)计算出光场原图中位于该方向像素点的位置；
Figure BDA0002417915860000111
步骤4.3：利用公式(5)中的结果对光场原图中每一个像素点的R,G,B三个通道进行赋值；
raw_piexl.r＝raw_image(piexl_coords.y,piexl_coords.x,1)
raw_piexl.g＝raw_image(piexl_coords.y,piexl_coords.x,2)
raw_piexl.b＝raw_image(piexl_coords.y,piexl_coords.x,3)
步骤4.4：将步骤4.3中的结果赋值到光场五维坐标，至此，当所有循环终止，光场解码结束，后面步骤中可以使用LF_STUV(s,t,u,v,3)五维光场坐标表征光场图像：
LF_STUV(s,t,u,v,1)＝raw_piexl.r
LF_STUV(s,t,u,v,2)＝raw_piexl.g
LF_STUV(s,t,u,v,3)＝raw_piexl.b
步骤4.5：解码之后五维光场坐标LF_STUV(s,t,u,v,3)，其中(s,t)表征二维空间信息，(u,v)表征二维位置信息；通过循环提取不同的(u,v)坐标进而获取u×v幅不同视角的图像，称为光场子孔径图像(如图3所示)；
步骤4.6：当取u＝1时，即固定了第一行子孔径图像，针对1×4幅不同的子孔径图像，取每幅图像的相同行像素点组成一幅新的图像，称为光场EPI图像(如图4和图5所示)；
步骤4.7：记每幅子孔径图像大小为s×t，首先从第一行子孔径图像开始循环，即u＝1,v＝1:4，根据步骤4.6提取光场EPI的方法，在一行子孔径图像中可以提取s张光场EPI图像，每幅图像的大小为v×t；
步骤5、对步骤4中得到的光场EPI图像进行零次学习超分辨；
步骤5.1：将步骤4.7中提取到的光场EPI图像依次进行零次学习超分辨，该算法是跨尺度图像重建，即输入一张大小为v×t的EPI图像，输出大小为2u×2s的EPI图像；
步骤5.2:将步骤5.1中重建的结果进行插值，插值成大小为[n×s]，其中n表示新的光场子孔径图像中的列坐标；
步骤5.3：将步骤5.2中重建插值后的结果投影回步骤4.7中每幅子孔径图像中的对应位置；当一行子孔径图像的全部EPI图像全部重建完成后，返回步骤5.1，从u＝2,v＝1:4第二列开始执行，直到所有列全部执行完毕，至此光场视图中的行已经变成新的视角；
步骤5.4:当步骤5.3执行完毕后，开始从光场子孔径图像中的列开始循环，即u＝1:4,v＝1,在一列子孔径图像中可以提取t张光场EPI图像，每幅图像大小为u×s；如图6所示
步骤5.5:执行步骤5.1的相似操作，将步骤5.4中提取到的光场EPI图像依次进行零次学习超分辨，输入一张大小为u×s的EPI图像，输出大小为2u×2s的EPI图像；
步骤5.6:将步骤5.5中重建的结果进行插值，插值成大小为[n×s]，其中n同时也表示新的光场子孔径图像中的行坐标；
步骤6、将步骤5中超分辨以后的结果依次投影回原子孔径图像中的对应位置；
将步骤5.6中重建插值后的结果投影回步骤18中每幅子孔径图像中的对应位置。当一列子孔径图像全部执行完毕，返回步骤18，接着从u＝1:4,v＝2第二列开始执行，直到所有列全部执行完毕，至此光场视图中的行已经变成新的视角；
步骤7、通过步骤1-6最终可以得到经过零次学习超分辨以后的光场子孔径图像，即代表了光场图像的不同视角。
其中步骤5.1的零次学习超分辨的具体操作步骤如下：
步骤5.1.1：构建一个简单小型的CNN网络，该网络结构包含8个64通道的卷积层，即全卷积结构；其中前7个卷积层使用RELU函数激活，最后一个卷积层不使用RELU激活函数；
步骤5.1.2：利用参数初始化网络结构，参数包括L1损失函数，学习率初始值为0.001，初始迭代次数为0，最大迭代次数为3000，步长为20；
步骤5.1.3：开始训练，进行第一次迭代；
步骤5.1.4：记输入的图像为hr_father，重建的比例因子为sf,通过对输入图像hr_father进行比例为1/sf的降采样得到降采样后的图像记为lr_son；
步骤5.1.5：将图像lr_son与图像hr_father输入网络中开始传播，首先在网络第一层将图像lr_son插值到大小与图像hr_father大小一致的网格，经过一次网络传播返回重建出的图像，并且显示迭代次数与损失；
步骤5.1.6：将图像hr_father输入步骤5.1.5中训练出来的网络结构进行重建，记重建出的图像为hr_father_sr,计算图像hr_father与图像hr_father_sr之间的均方误差，记为mse_rec；
步骤5.1.7：对输入图像hr_father进行比例为sf的插值，记插值后的图像为hr_father_interp，重新计算图像hr_father与图像hr_father_interp之间的均方误差，与步骤5.16中的均方误差mse_rec做对比，记为mse_rec_interp；
步骤5.1.8：通过迭代次数与真实的均方误差mse_rec线性出一个拟合函数，并且计算该函数的斜率与标准差，其中斜率记为slope，标准差记为std；
步骤5.1.9：计算学习率的变化率learn_rate_change_ratio与斜率slope的乘积与std进行比较，当前者小于后者时，学习率发生改变learning_rate＝learning_rate/10，反之不变，进行下一次迭代；
步骤5.1.10：最终如果达到最大迭代次数3000或者学习率learning_rate达到1*10-6时则停止重建，表示得到想要的结果，保存重建图像reconstruct。
如图6所示，可以清楚明晰的得到了不同尺度的光场视觉图像，由此说明本发明方法是确实有效的，具有可行性。

Claims (7)

1.光场跨尺度的零次学习超分辨率方法，其特征在于：具体包括如下步骤：
步骤1：将光场原始图像，光场白图像以及相机参数依次读入计算机软件MATLAB中；
步骤2、对输入的光场原始图像进行解码得到四维光场矩阵；
步骤3、通过循环四维光场矩阵中的角度信息[u,v]坐标提取u×v张不同角度的子孔径信息；
步骤4、对u行v列子孔径图像依次进行以下操作：从第一行子孔径图像开始循环，在每一行子孔径图像中依次提取每幅图像相同高度的像素点得到s幅光场EPI图像；
步骤5、对步骤4中得到的光场EPI图像进行零次学习超分辨；
步骤6、将步骤5中超分辨以后的结果依次投影回原子孔径图像中的对应位置；
步骤7、通过步骤1-6最终可以得到经过零次学习超分辨以后的光场子孔径图像，即代表了光场图像的不同视角。
2.根据权利要求1所述的光场跨尺度的零次学习超分辨率方法，其特征在于：步骤2具体如下：
步骤2.1，对光场原图像与光场白图像进行角度为angle的图像旋转；其中，angle为微透镜阵列旋转角度；
步骤2.2，对微透镜阵列的水平间隔与垂直间隔(x,y)进行如公式(1)的操作，得到光场图像的微透镜角度分辨率[u,v]，即光场图像的二维角度信息；
u＝ceil(y/2)*2+1
v＝ceil(x/2)*2+1 (1)
其中，x是微透镜的水平间隔，y是微透镜的垂直间隔；
步骤2.3，通过光场相机参数1_CentersXY.txt中的参数(height,width)为光场图像微透镜大小[s,t]赋值，其中s＝height,t＝width；即光场图像的二维位置信息；
所述光场原始图像文件为1_LensletRaw.bmp，光场白图像文件为hiteImage.bmp，光场相机参数1_CentersXY.txt包括微透镜大小(height,width),微透镜阵列旋转角angle，微透镜中心点坐标centers。
3.根据权利要求2所述的光场跨尺度的零次学习超分辨率方法，其特征在于：步骤3具体如下：
步骤3.1：建立一个五维光场坐标LF_STUV(s,t,u,v,3),其中[s,t]也称为空间分辨率；
步骤3.2：利用双平面参数化表征光场图像成像原理建立UV平面,其中UV平面的高UV.height＝u，宽UV.width＝v；建立ST平面，其中ST平面的高ST.height＝s,宽ST.width＝t；使用公式(2)计算出UV平面的中心点,即主镜头的理想中心：
UV_center.width＝floor(u/2)+1
UV_center.height＝floor(v/2)+1 (2)
步骤3.3：将光场白图像转换为二维灰度图像，同时对二维灰度图像进行二值化操作，其中，二值化阈值设定为50/255。
4.根据权利要求3所述的光场跨尺度的零次学习超分辨率方法，其特征在于：步骤4具体如下：
步骤4.1：依次遍历每一个微透镜，即一个宏像素；当每选取一个宏像素时，使用公式(3)计算每个宏像素中心点坐标
center_coords.x＝round(centers((s-1)*ST.width+t,1))+1
center_coords.y＝round(centers((t-1)*ST.width+t,2))+1 (3)
步骤4.2：当每选取一个宏像素时，使用公式(4)依次计算宏像素中水平及垂直方向相对于中心点的偏移量；再使用公式(5)计算出光场原图中位于该方向像素点的位置；
offset_y＝UV_center.height-u
offset_x＝UV_center.width-v (4)
piexl_coords.x＝center_coords.x+offset_x
piexl_coords.y＝center_coords.y+offset_y (5)
步骤4.3：利用公式(5)中的结果对光场原图中每一个像素点的R,G,B三个通道进行赋值；
raw_piexl.r＝raw_image(piexl_coords.y,piexl_coords.x,1)
raw_piexl.g＝raw_image(piexl_coords.y,piexl_coords.x,2)
raw_piexl.b＝raw_image(piexl_coords.y,piexl_coords.x,3)
步骤4.4：将步骤4.3中的结果赋值到光场五维坐标，至此，当所有循环终止，光场解码结束，后面步骤中可以使用LF_STUV(s,t,u,v,3)五维光场坐标表征光场图像：
LF_STUV(s,t,u,v,1)＝raw_piexl.r
LF_STUV(s,t,u,v,2)＝raw_piexl.g
LF_STUV(s,t,u,v,3)＝raw_piexl.b
步骤4.5：解码之后五维光场坐标LF_STUV(s,t,u,v,3)，其中(s,t)表征二维空间信息，(u,v)表征二维位置信息；通过循环提取不同的(u,v)坐标进而获取(u×v)幅不同视角的图像，称为光场子孔径图像；
步骤4.6：当取u＝1时，即固定了第一行子孔径图像，针对1×4幅不同的子孔径图像，取每幅图像的相同行像素点组成一幅新的图像，称为光场EPI图像；
步骤4.7：记每幅子孔径图像大小为s×t，首先从第一行子孔径图像开始循环，即u＝1,v＝1:4，根据步骤4.6提取光场EPI的方法，在一行子孔径图像中可以提取s张光场EPI图像，每幅图像的大小为v×t，。
5.根据权利要求4所述的光场跨尺度的零次学习超分辨率方法，其特征在于：步骤5具体如下：
步骤5.1：将步骤4.7中提取到的光场EPI图像依次进行零次学习超分辨，该算法是跨尺度图像重建，即输入一张大小为v×t的EPI图像，输出大小为2u×2s的EPI图像；
步骤5.2:将步骤5.1中重建的结果进行插值，插值成大小为[n×s]，其中n表示新的光场子孔径图像中的列坐标；
步骤5.3：将步骤5.2中重建插值后的结果投影回步骤4.7中每幅子孔径图像中的对应位置；当一行子孔径图像的全部EPI图像全部重建完成后，返回步骤5.1，从u＝2,v＝1:4第二列开始执行，直到所有列全部执行完毕，至此光场视图中的行已经变成新的视角；
步骤5.4:当步骤5.3执行完毕后，开始从光场子孔径图像中的列开始循环，即u＝1:4,v＝1,在一列子孔径图像中可以提取t张光场EPI图像，每幅图像大小为u×s；
步骤5.5:执行步骤5.1的相似操作，将步骤5.4中提取到的光场EPI图像依次进行零次学习超分辨，输入一张大小为u×s的EPI图像，输出大小为2u×2s的EPI图像；
步骤5.6:将步骤5.5中重建的结果进行插值，插值成大小为[n×s]，其中n同时也表示新的光场子孔径图像中的行坐标。
6.根据权利要求5所述的光场跨尺度的零次学习超分辨率方法，其特征在于：步骤6具体如下：
将步骤5.6中重建插值后的结果投影回步骤18中每幅子孔径图像中的对应位置；当一列子孔径图像全部执行完毕，返回步骤18，接着从u＝1:4,v＝2第二列开始执行，直到所有列全部执行完毕，至此光场视图中的行已经变成新的视角。
7.根据权利要求5所述的光场跨尺度的零次学习超分辨率方法，其特征在于，步骤5所述的零次超分辨具体操作步骤为：
步骤5.1.1：构建一个简单小型的CNN网络，该网络结构包含8个64通道的卷积层，即全卷积结构；其中前7个卷积层使用RELU函数激活，最后一个卷积层不使用RELU激活函数；
步骤5.1.2：利用参数初始化网络结构，所述参数包括L1损失函数，学习率初始值为0.001，初始迭代次数为0，最大迭代次数为3000，步长为20；
步骤5.1.3：开始训练，进行第一次迭代；
步骤5.1.4：记输入的图像为hr_father，重建的比例因子为sf,通过对输入图像hr_father进行比例为1/sf的降采样得到降采样后的图像记为lr_son；
步骤5.1.5：将图像lr_son与图像hr_father输入网络中开始传播，首先在网络第一层将图像lr_son插值到大小与图像hr_father大小一致的网格，经过一次网络传播返回重建出的图像，并且显示迭代次数与损失；
步骤5.1.6：将图像hr_father输入步骤5.1.5中训练出来的网络结构进行重建，记重建出的图像为hr_father_sr,计算图像hr_father与图像hr_father_sr之间的均方误差，记为mse_rec；
步骤5.1.7：对输入图像hr_father进行比例为sf的插值，记插值后的图像为hr_father_interp，重新计算图像hr_father与图像hr_father_interp之间的均方误差，与步骤5.16中的均方误差mse_rec做对比，记为mse_rec_interp；
步骤5.1.8：通过迭代次数与真实的均方误差mse_rec线性出一个拟合函数，并且计算该函数的斜率与标准差，其中斜率记为slope，标准差记为std；
步骤5.1.9：计算学习率的变化率learn_rate_change_ratio与斜率slope的乘积与std进行比较，当前者小于后者时，学习率发生改变learning_rate＝learning_rate/10，反之不变，进行下一次迭代；
步骤5.1.10：最终如果达到最大迭代次数3000或者学习率learning_rate达到1*10-6时则停止重建，表示得到想要的结果，保存重建图像reconstruct。
CN202010196773.7A 2020-03-19 2020-03-19 光场跨尺度的零次学习超分辨率方法 Active CN111369443B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010196773.7A CN111369443B (zh) 2020-03-19 2020-03-19 光场跨尺度的零次学习超分辨率方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010196773.7A CN111369443B (zh) 2020-03-19 2020-03-19 光场跨尺度的零次学习超分辨率方法

Publications (2)

Publication Number Publication Date
CN111369443A true CN111369443A (zh) 2020-07-03
CN111369443B CN111369443B (zh) 2023-04-28

Family

ID=71207685

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010196773.7A Active CN111369443B (zh) 2020-03-19 2020-03-19 光场跨尺度的零次学习超分辨率方法

Country Status (1)

Country Link
CN (1) CN111369443B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102165A (zh) * 2020-08-18 2020-12-18 北京航空航天大学 一种基于零样本学习的光场图像角域超分辨系统及方法
CN112116646A (zh) * 2020-09-23 2020-12-22 南京工程学院 一种基于深度卷积神经网络的光场图像深度估计方法
CN114897680A (zh) * 2022-04-14 2022-08-12 安庆师范大学 融合光场子孔径图像与宏像素图像的角度超分辨率方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199627A (zh) * 2014-07-11 2014-12-10 上海交通大学 基于多尺度在线字典学习的可分级视频编码系统
WO2018024006A1 (zh) * 2016-08-04 2018-02-08 深圳市未来媒体技术研究院 一种聚焦型光场相机的渲染方法和系统
CN110599400A (zh) * 2019-08-19 2019-12-20 西安理工大学 一种基于epi的光场图像超分辨的方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104199627A (zh) * 2014-07-11 2014-12-10 上海交通大学 基于多尺度在线字典学习的可分级视频编码系统
WO2018024006A1 (zh) * 2016-08-04 2018-02-08 深圳市未来媒体技术研究院 一种聚焦型光场相机的渲染方法和系统
CN110599400A (zh) * 2019-08-19 2019-12-20 西安理工大学 一种基于epi的光场图像超分辨的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
贾琦;王安红;武迎春;魏计林;: "一种微透镜光场相机的子孔径图像提取方法" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112102165A (zh) * 2020-08-18 2020-12-18 北京航空航天大学 一种基于零样本学习的光场图像角域超分辨系统及方法
CN112102165B (zh) * 2020-08-18 2022-12-06 北京航空航天大学 一种基于零样本学习的光场图像角域超分辨系统及方法
CN112116646A (zh) * 2020-09-23 2020-12-22 南京工程学院 一种基于深度卷积神经网络的光场图像深度估计方法
CN112116646B (zh) * 2020-09-23 2023-11-24 南京工程学院 一种基于深度卷积神经网络的光场图像深度估计方法
CN114897680A (zh) * 2022-04-14 2022-08-12 安庆师范大学 融合光场子孔径图像与宏像素图像的角度超分辨率方法

Also Published As

Publication number Publication date
CN111369443B (zh) 2023-04-28

Similar Documents

Publication Publication Date Title
Bishop et al. The light field camera: Extended depth of field, aliasing, and superresolution
Liu et al. Efficient space-time sampling with pixel-wise coded exposure for high-speed imaging
CN111369443B (zh) 光场跨尺度的零次学习超分辨率方法
CN110599400B (zh) 一种基于epi的光场图像超分辨的方法
Wang et al. The light field attachment: Turning a DSLR into a light field camera using a low budget camera ring
Narasimhan et al. Enhancing resolution along multiple imaging dimensions using assorted pixels
WO2021093584A1 (zh) 基于深度卷积神经网络的自由视点视频生成及交互方法
CN103413286B (zh) 一种基于学习的高动态范围与高分辨率图像联合重建方法
US8335371B2 (en) Method for vision field computing
CN101916455B (zh) 一种高动态范围纹理三维模型的重构方法及装置
CN110225260B (zh) 一种基于生成对抗网络的立体高动态范围成像方法
WO2022016350A1 (zh) 光场图像的处理方法、编码器、解码器及存储介质
Liu et al. A single frame and multi-frame joint network for 360-degree panorama video super-resolution
Ziegler et al. Acquisition system for dense lightfield of large scenes
Cheng et al. A dual camera system for high spatiotemporal resolution video acquisition
CN115086550B (zh) 元成像系统
CN114897680B (zh) 融合光场子孔径图像与宏像素图像的角度超分辨率方法
CN116957931A (zh) 一种基于神经辐射场的相机图像画质提升方法
CN112785502A (zh) 一种基于纹理迁移的混合相机的光场图像超分辨率方法
Chandramouli et al. A generative model for generic light field reconstruction
Huang et al. Light-field reconstruction and depth estimation from focal stack images using convolutional neural networks
CN112116646A (zh) 一种基于深度卷积神经网络的光场图像深度估计方法
Goldlücke et al. Plenoptic Cameras.
CN116402908A (zh) 一种基于异构式成像的密集光场图像重建方法
CN111951159B (zh) 一种强噪声条件下光场epi图像超分辨率的处理方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20230403

Address after: 710000 No. B49, Xinda Zhongchuang space, 26th Street, block C, No. 2 Trading Plaza, South China City, international port district, Xi'an, Shaanxi Province

Applicant after: Xi'an Huaqi Zhongxin Technology Development Co.,Ltd.

Address before: 710048 Shaanxi province Xi'an Beilin District Jinhua Road No. 5

Applicant before: XI'AN University OF TECHNOLOGY

Effective date of registration: 20230403

Address after: Room 207, 2nd Floor, Building 3, No. 7 Wenzhong Road, Taozhu Street, Zhuji City, Shaoxing City, Zhejiang Province, 311800

Applicant after: Zhejiang Xinwei Electronic Technology Co.,Ltd.

Address before: 710000 No. B49, Xinda Zhongchuang space, 26th Street, block C, No. 2 Trading Plaza, South China City, international port district, Xi'an, Shaanxi Province

Applicant before: Xi'an Huaqi Zhongxin Technology Development Co.,Ltd.

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240625

Address after: 435000, No. 16 Guilin North Road, Xialu District, Huangshi City, Hubei Province (Hubei University of Technology College Student Entrepreneurship Base)

Patentee after: Hubei Pascal Technology Co.,Ltd.

Country or region after: China

Address before: Room 207, 2nd Floor, Building 3, No. 7 Wenzhong Road, Taozhu Street, Zhuji City, Shaoxing City, Zhejiang Province, 311800

Patentee before: Zhejiang Xinwei Electronic Technology Co.,Ltd.

Country or region before: China