CN106067162A - 集成成像超分辨率微单元图像阵列采集与重构方法 - Google Patents

集成成像超分辨率微单元图像阵列采集与重构方法 Download PDF

Info

Publication number
CN106067162A
CN106067162A CN201610392887.2A CN201610392887A CN106067162A CN 106067162 A CN106067162 A CN 106067162A CN 201610392887 A CN201610392887 A CN 201610392887A CN 106067162 A CN106067162 A CN 106067162A
Authority
CN
China
Prior art keywords
micro unit
unit pattern
resolution
pattern matrix
low resolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610392887.2A
Other languages
English (en)
Other versions
CN106067162B (zh
Inventor
王晓蕊
袁影
穆江浩
郭丹凤
张建磊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201610392887.2A priority Critical patent/CN106067162B/zh
Publication of CN106067162A publication Critical patent/CN106067162A/zh
Application granted granted Critical
Publication of CN106067162B publication Critical patent/CN106067162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

本发明公开一种集成成像超分辨率微单元图像阵列采集与重构方法,主要解决现有相机分辨率不能满足集成成像要求的问题。本发明的成像方法包括:(1).设置多值编码掩膜阵列;(2).获取低分辨率压缩编码微单元图像阵列;(3).图像预处理;(4).重构超分辨率微单元图像阵列。本发明在微透镜阵列的中间像平面添加多值编码掩膜阵列,记录多幅低分辨率压缩编码微单元图像阵列,采用稀疏优化重构算法获得超分辨率微单元图像阵列。本发明具有微单元图像阵列超分辨率重构,集成成像显示视场范围大的优点。本发明可用于3D电影、医学成像等领域。

Description

集成成像超分辨率微单元图像阵列采集与重构方法
技术领域
本发明属于图像处理技术领域,更进一步涉及三维光学成像与立体显示超分辨率图像成像技术领域中的一种集成成像超分辨率微单元图像阵列采集与重构方法。本发明可用于3D电影、医学成像等领域,实现集成成像微单元图像的超分辨率的采集和重构。
背景技术
观看分辨率低是限制集成成像技术发展的一个重要因素。其中,集成成像的分辨率取决于探测器的像元,提高微单元图像阵列的分辨率意味着要在更大的传感器基底上面制造更多更小尺寸的像元。然而受到探测器加工工艺和制作成本的限制,很难通过采用减小像元尺寸和增加像元数量的方式来提高分辨率。
长春理工大学在其申请的专利“一种提高计算机集成图像重构分辨率的方法”(专利申请号201210500935.7,公开号CN 103021014 A)中公开了一种通过低分辨率采样及元素图像拼接的高分辨率成像方法。该方法利用集成成像微单元图像阵列中相邻微单元图像具有部分相似信息的特点,在计算机重构时对微单元图像集合进行周期性选取,从每个选取的微单元图像中提取若干像素进行拼接,从而获得最终的高分辨率重构图像。该方法存在的不足之处是,通过简单拼接重组重构的高分辨率微单元图像比较模糊,重构本身仍然受低分辨率微单元图像的限制,不能解决现有技术中难以通过减小像元尺寸或增加像元数量的方式提高成像分辨率的问题,集成成像显示端观测视场范围变化不大。
Dong-Hak Shin和Chun-Wei Tan等人在其发表的论文“Resolution-enhancedthree-dimensional image reconstruction by use of smart pixel mapping incomputational integral imaging.”(《Applied Optics》47(35):6656-6665 2008)中提出了一种基于智能像素映射的计算集成成像高分辨率重建方法。该方法利用智能像素映射将记录远距离的微单元图像阵列转换为记录微透镜阵列附近的微单元图像阵列,通过计算集成成像技术得到远距离场景的更高分辨率微单元图像阵列。该方法存在的不足之处是,采用的智能像素映射只是简单的将远距离的三维场景映射到靠近微透镜阵列的位置,三维图像的分辨率仍然受到探测器像元大小的限制。
发明内容
本发明的目的在于克服上述已有技术的不足,提出一种集成成像超分辨率微单元图像阵列采集与重构方法,以实现利用低分辨率的探测器阵列获得超分辨率微单元图像阵列,提升集成成像显示质量,降低成像系统的实现难度和图像重构复杂度。
实现本发明的基本思路是:设置多值编码掩膜阵列,将多值编码掩膜阵列放在在微透镜阵列的中间像平面,多值编码掩膜阵列对进入微透镜阵列的光束进行空域调制,利用时变技术控制多值编码掩膜阵列变换,记录多幅低分辨率压缩编码微单元图像阵列,利用稀疏优化重构算法对多幅低分辨率压缩编码微单元图像阵列进行重构,获得超分辨率微单元图像阵列。
实现本发明目的的具体步骤如下:
(1)建立集成成像模型:
(1a)在相机的探测器阵列中心的前端设置中继镜头,探测器阵列的平面与中继镜头之间的距离等于中继镜头的焦距;
(1b)在中继镜头中心的前端设置M×V的微透镜阵列,M表示微透镜水平排列的数目,V表示微透镜垂直排列的数目,相邻微透镜之间间距为d;中继镜头与微透镜阵列之间的距离等于微透镜阵列的焦距,不同微透镜记录来自不同方向的光线,微透镜阵列经过中继镜头在探测器阵列上成像的大小等于探测器阵列的大小,每一个微透镜对应探测器阵列上S×S个像元,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目;
(2)设置多值编码掩膜阵列:
(2a)在空间光调制器的工作区域模板的左上角上,划分一个正方形区域,该正方形区域边长等于单个微透镜通光孔径的直径;
(2b)在正方形区域上,按水平和垂直方向划分为多个与微透镜对应探测器阵列上像元尺寸相同的小正方形区域,将每一个小正方形按水平和垂直方向设置为m×m的多值编码掩膜,m表示探测器阵列上单个像元对应的多值编码掩膜的垂直和水平排列的数目;
(2c)以相邻微透镜间距d为间隔,按水平方向M-1次和垂直方向V-1次复制设置好的多值编码掩膜的正方形区域,得到多值编码掩膜阵列,M表示微透镜水平排列的数目,V表示微透镜垂直排列的数目;
(2e)将多值编码掩膜阵列置于集成成像模型中微透镜阵列的中间像平面处,多值编码掩膜阵列上的每个正方形区域中心与每个微透镜中心对准;
(3)获取低分辨率压缩编码微单元图像阵列:
(3a)将采集低分辨率压缩编码微单元图像阵列的帧数i赋值为1,0<i<R,R表示采集低分辨率压缩编码微单元图像阵列的总次数;
(3b)按下相机快门,多值编码掩膜阵列对进入集成成像模型的光束进行空域调制,在探测器阵列平面记录第i幅低分辨率压缩编码微单元图像阵列,每一个多值编码掩膜对应一个低分辨率压缩编码微单元图像阵列中的一个低分辨率压缩编码像素点;
(3c)随机选取满足同一高斯随机分布的一个高斯随机矩阵,用所选取的高斯随机矩阵对每一个多值编码掩膜进行编码,得到同一个空间光调制器上编码后的多值编码掩膜阵列;
(3d)判断低分辨率压缩编码微单元图像阵列的帧数i是否等于采集低分辨率压缩编码微单元图像阵列的总次数R,若是,则执行步骤(4);否则,将低分辨率压缩编码微单元图像阵列的帧数i加1后,执行步骤(3b);
(4)图像预处理:
通过中值滤波器,对获得的多幅低分辨率压缩编码微单元图像阵列进行预处理,滤除多幅低分辨率压缩编码微单元图像阵列中的噪声,获得多幅滤除噪声的低分辨率压缩编码微单元图像阵列;
(5)重构超分辨率微单元图像阵列:
(5a)将待重构的每一幅低分辨率压缩编码微单元图像阵列中的低分辨率压缩编码像素点的水平坐标x赋值为1,0<x≤M×S;将待重构的每一幅低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的垂直坐标y赋值为1,0<x≤V×S,其中M表示微透镜水平排列的数目,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目,V表示微透镜垂直排列的数目;
(5b)按采集低分辨率压缩编码微单元图像阵列的顺序,依次取出每一幅低分辨率压缩编码微单元图像阵列中,坐标为(x,y)的低分辨率压缩编码像素点,组成低分辨率压缩编码像素点列向量;
(5c)采用稀疏优化重构方法,对低分辨率压缩编码像素点列向量进行重构,获得重建的超分辨率单元图像列向量;
(5d)将重建的超分辨率单元图像列向量组成m×m的超分辨率单元图像矩阵,得到超分辨率微单元图像阵列中坐标为(x,y)的超分辨率单元图像,m表示探测器阵列上单个像元对应的多值编码掩膜的垂直和水平排列的数目;
(5e)判断x是否等于M×S,若是,则执行步骤(5f);否则,将x加1后,执行步骤(5b),其中,x表示低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的水平坐标,M表示微透镜水平排列的数目,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目;
(5f)判断y是否等于V×S,若是,则执行步骤(6);否则,将y加1,且将x赋值为1后,执行步骤(5b),其中,y表示低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的垂直坐标,V表示微透镜垂直排列的数目,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目,x表示低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的水平坐标;
(6)输出超分辨率微单元图像阵列。
本发明与现有技术相比具有以下优点:
第一,由于本发明在微透镜阵列的中间像平面添加了多值编码掩膜阵列,获取三维场景中更多的细节信息,克服了现有技术中难以通过减小探测器阵列像元尺寸或增加探测器阵列像元数量的方式提高微单元图像阵列分辨率的不足,使得本发明具有了超分辨率成像能力,节省焦平面阵列像元的优点。
第二,由于本发明通过稀疏优化重构方法得到了超分辨率微单元图像阵列,提高了单个微单元图像中像素点数目,克服了现有技术获得微单元图像阵列角分辨率低的不足,使得本发明具有了更高的集成成像显示端观测视场范围,更大的角分辨率的优点。
附图说明
图1为本发明的流程图;
图2为本发明光路的示意图;
图3为本发明的多值编码掩膜阵列位置设置示意图;
图4为本发明的获取低分辨率压缩编码微单元图像阵列步骤的流程图;
图5为本发明的重构超分辨率微单元图像阵列步骤的流程图。
具体实施方式
下面结合附图对本发明做进一步描述。
参照附图1,本发明的具体步骤如下。
步骤1:建立集成成像模型。
在相机的探测器阵列中心前端设置中继镜头,中继镜头与探测器阵列平面之间的距离等于中继镜头的焦距。
在中继镜头中心的前端设置M×V的微透镜阵列,M表示微透镜水平排列的数目,V表示微透镜垂直排列的数目,相邻微透镜之间间距为d;中继镜头与微透镜阵列之间的距离等于微透镜阵列的焦距,不同微透镜记录来自不同方向的光线,微透镜阵列经过中继镜头在探测器阵列上成像的大小等于探测器阵列的大小,每一个微透镜对应探测器阵列上S×S个像元,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目;
参照附图2,对建立的集成成像模型的光学结构加以描述。在相机的探测器阵列中心前端设置中继镜头,中继镜头与探测器阵列平面之间的距离等于中继镜头的焦距f2,在中继镜头中心前端设置M×V的微透镜阵列,微透镜阵列与中继镜头之间的距离等于微透镜阵列的焦距f1,相邻微透镜间距为d,探测器阵列、中继镜头和微透镜阵列处于同一条光轴。
M取100~2000的正整数,当步骤1中M的值确定后,步骤2、步骤5中M的取值与步骤1中M的值相同。V取100~2000的正整数,当步骤1中V的值确定后,步骤2、步骤5中V的取值与步骤1中V的值相同。d取值范围为1~0.01mm,当步骤1中d的值确定后,步骤2中d的取值与步骤1中d的值相同。S取5~200的正整数,当步骤1中S的值确定后,步骤5中S的取值与步骤1中S的值相同。
M的取值、d的取值和V的取值之间没有固定关系,按具体使用要求设置,当相邻微透镜的间距d的值和探测器阵列确定后,微透镜对应的探测器阵列上像元水平和垂直排列的数目S的值也将确定。
步骤2:设置多值编码掩膜阵列。
在空间光调制器的工作区域模板的左上角上,划分一个正方形区域,该正方形区域边长等于单个微透镜通光孔径的直径。
在正方形区域上,按水平和垂直方向划分为多个与微透镜对应探测器阵列上像元尺寸相同的小正方形区域,将每一个小正方形按水平和垂直方向设置为m×m的多值编码掩膜,m表示探测器阵列上单个像元对应的多值编码掩膜的垂直和水平排列的数目。
m取2~8的正整数,当步骤2中m的值确定后,步骤5中m的取值与步骤2中m的值相同。
多值编码掩膜是指满足同一个N(0,1)独立正态分布的高斯随机矩阵。
以相邻微透镜间距d为间隔,按水平方向M-1次和垂直方向V-1次复制设置好的多值编码掩膜的正方形区域,得到多值编码掩膜阵列,M表示微透镜水平排列的数目,V表示微透镜垂直排列的数目。
M取100~2000的正整数,当步骤1中M的值确定后,步骤2、步骤5中M的取值与步骤1中M的值相同。
V取100~2000的正整数,当步骤1中V的值确定后,步骤2、步骤5中V的取值与步骤1中V的值相同。
d取值范围为1~0.01mm,当步骤1中d的值确定后,步骤2中d的取值与步骤1中d的值相同。
多值编码掩膜是指满足同一个N(0,1)独立正态分布的高斯随机矩阵。
参照附图3,对设置多值编码掩膜阵列的位置加以描述。将多值编码掩膜阵列置于集成成像模型中微透镜阵列的中间像平面处,多值编码掩膜阵列上的每个正方形区域中心与每个微透镜中心对准。
步骤3:获取低分辨率压缩编码微单元图像阵列。
参照附图4,对获取低分辨率压缩编码微单元图像阵列的具体步骤描述如下。
第一步,设置初始帧数。将采集低分辨率压缩编码微单元图像阵列的帧数i赋值为1,0<i<R,R表示采集低分辨率压缩编码微单元图像阵列的总次数。
第二步,按下相机快门,多值编码掩膜阵列对进入集成成像模型的光束进行空域调制,在探测器阵列平面记录第i幅低分辨率压缩编码微单元图像阵列,每一个多值编码掩膜对应一个低分辨率压缩编码微单元图像阵列中的一个低分辨率压缩编码像素点。
空域调制是指,在多值编码掩膜对应的高斯随机矩阵的指导下,对空间中的光线进行调制,使得高斯随机矩阵中取值为1对应空间区域的光线完全通过,高斯随机矩阵中取值为0对应空间区域的光线完全阻挡,高斯随机矩阵中取值在0和1之间对应空间的区域光线部分通过。
多值编码掩膜是指满足同一个N(0,1)独立正态分布的高斯随机矩阵。
第三步,变换多值编码掩膜阵列。随机选取满足同一高斯随机分布的一个高斯随机矩阵,用所选取的高斯随机矩阵对每一个多值编码掩膜进行编码,得到同一个空间光调制器上编码后的多值编码掩膜阵列。
多值编码掩膜是指满足同一个N(0,1)独立正态分布的高斯随机矩阵。
第四步,判断低分辨率压缩编码微单元图像阵列的帧数i是否等于采集低分辨率压缩编码微单元图像阵列的总次数R,若是,则得到多幅低分辨率压缩编码微单元图像阵列,执行步骤4,否则,将低分辨率压缩编码微单元图像阵列的帧数i加1后,执行本步骤的第二步。
步骤4:图像预处理。
通过中值滤波器,对获得的多幅低分辨率压缩编码微单元图像阵列进行预处理,滤除多幅低分辨率压缩编码微单元图像阵列中的噪声,获得多幅滤除噪声的低分辨率压缩编码微单元图像阵列。
步骤5:重构超分辨率微单元图像阵列。
参照附图5,对获取低分辨率压缩编码微单元图像阵列的具体步骤如下。
(5a)设置初始坐标。将待重构的每一幅低分辨率压缩编码微单元图像阵列中的低分辨率压缩编码像素点的水平坐标x赋值为1,0<x≤M×S;将待重构的每一幅低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的垂直坐标y赋值为1,0<x≤V×S,其中M表示微透镜水平排列的数目,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目,V表示微透镜垂直排列的数目。
M取100~2000的正整数,当步骤1中M的值确定后,步骤2、步骤5中M的取值与步骤1中M的值相同。
V取100~2000的正整数,当步骤1中V的值确定后,步骤2、步骤5中V的取值与步骤1中V的值相同。
S取5~200的正整数,当步骤1中S的值确定后,步骤5中S的取值与步骤1中S的值相同。
(5b)组合像素点列向量。按采集低分辨率压缩编码微单元图像阵列的顺序,依次取出每一幅低分辨率压缩编码微单元图像阵列中,坐标为(x,y)的低分辨率压缩编码像素点,组成低分辨率压缩编码像素点列向量。
(5c)获得超分辨率列向量。采用稀疏优化重构方法,对低分辨率压缩编码像素点列向量进行重构,获得重建的超分辨率单元图像列向量。
稀疏优化重构方法的具体步骤如下:
第一步,按采集低分辨率压缩编码微单元图像阵列时,使用多值编码掩膜阵列的顺序,在每一个多值编码掩膜阵列中取出一个多值编码掩膜,将每一个多值编码掩膜对应的高斯随机矩阵按行展开,得到多个高斯随机行向量,将多个高斯随机行向量组成观测矩阵;
第二步,将低分辨率压缩编码像素点列向量用稀疏分解矩阵投影到稀疏域,得到初始稀疏分解系数向量;
第三步,按照下式,求解最佳稀疏分解估计系数向量:
h = arg m i n o 1 2 || Q - &Phi; &psi; o || 2 2 + &tau; || o || 1
其中,h表示最佳稀疏分解估计系数向量,argmin(·)表示取最小值操作,o表示初始稀疏分解系数向量,Q表示低分辨率压缩编码像素点列向量,Φ表示观测矩阵,Ψ表示稀疏分解矩阵,τ表示惩罚因子,τ的取值范围为0~1的小数,表示取二范数的平方值操作,||·||1表示一范数操作;
第四步,按照下式,将最佳稀疏分解估计系数向量h逆投影到实域,获得重建的超分辨率单元图像列向量;
f=Ψh
其中,f表示重建的超分辨率单元图像列向量,Ψ表示稀疏分解矩阵,h表示最佳稀疏分解估计系数向量。
(5d)重组超分辨率单元图像。将重建的超分辨率单元图像列向量组成m×m的超分辨率单元图像矩阵,得到超分辨率微单元图像阵列中坐标为(x,y)的超分辨率单元图像,m表示探测器阵列上单个像元对应的多值编码掩膜的垂直和水平排列的数目。
m取2~8的正整数,当步骤2中m的值确定后,步骤5中m的取值与步骤2中m的值相同。
(5e)判断x是否等于M×S,若是,则执行步骤(5f);否则,将x加1后,执行步骤(5b),其中,x表示低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的水平坐标,M表示微透镜水平排列的数目,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目。
M取100~2000的正整数,当步骤1中M的值确定后,步骤2、步骤5中M的取值与步骤1中M的值相同。
S取5~200的正整数,当步骤1中S的值确定后,步骤5中S的取值与步骤1中S的值相同。
(5f)判断y是否等于V×S,若是,则执行步骤6;否则,将y加1,且将x赋值为1后,执行步骤(5b),其中,y表示低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的垂直坐标,V表示微透镜垂直排列的数目,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目,x表示低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的水平坐标。
V取100~2000的正整数,当步骤1中V的值确定后,步骤2、步骤5中V的取值与步骤1中V的值相同。
S取5~200的正整数,当步骤1中S的值确定后,步骤5中S的取值与步骤1中S的值相同。
步骤6:输出超分辨率微单元图像阵列。
集成成像显示端角分辨率与超分辨率微单元图像阵列中微单元图像的像素点数目成正比。

Claims (9)

1.一种集成成像超分辨率微单元图像阵列采集与重构方法,包括以下步骤:
(1)建立集成成像模型:
(1a)在相机的探测器阵列中心的前端设置中继镜头,探测器阵列的平面与中继镜头之间的距离等于中继镜头的焦距;
(1b)在中继镜头中心的前端设置M×V的微透镜阵列,M表示微透镜水平排列的数目,V表示微透镜垂直排列的数目,相邻微透镜之间间距为d;中继镜头与微透镜阵列之间的距离等于微透镜阵列的焦距,不同微透镜记录来自不同方向的光线,微透镜阵列经过中继镜头在探测器阵列上成像的大小等于探测器阵列的大小,每一个微透镜对应探测器阵列上S×S个像元,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目;
(2)设置多值编码掩膜阵列:
(2a)在空间光调制器的工作区域模板的左上角上,划分一个正方形区域,该正方形区域边长等于单个微透镜通光孔径的直径;
(2b)在正方形区域上,按水平和垂直方向划分为多个与微透镜对应探测器阵列上像元尺寸相同的小正方形区域,将每一个小正方形按水平和垂直方向设置为m×m的多值编码掩膜,m表示探测器阵列上单个像元对应的多值编码掩膜的垂直和水平排列的数目;
(2c)以相邻微透镜间距d为间隔,按水平方向M-1次和垂直方向V-1次复制设置好的多值编码掩膜的正方形区域,得到多值编码掩膜阵列,M表示微透镜水平排列的数目,V表示微透镜垂直排列的数目;
(2e)将多值编码掩膜阵列置于集成成像模型中微透镜阵列的中间像平面处,多值编码掩膜阵列上的每个正方形区域中心与每个微透镜中心对准;
(3)获取低分辨率压缩编码微单元图像阵列:
(3a)将采集低分辨率压缩编码微单元图像阵列的帧数i赋值为1,0<i<R,R表示采集低分辨率压缩编码微单元图像阵列的总次数;
(3b)按下相机快门,多值编码掩膜阵列对进入集成成像模型的光束进行空域调制,在探测器阵列平面记录第i幅低分辨率压缩编码微单元图像阵列,每一个多值编码掩膜对应一个低分辨率压缩编码微单元图像阵列中的一个低分辨率压缩编码像素点;
(3c)随机选取满足同一高斯随机分布的一个高斯随机矩阵,用所选取的高斯随机矩阵对每一个多值编码掩膜进行编码,得到同一个空间光调制器上编码后的多值编码掩膜阵列;
(3d)判断低分辨率压缩编码微单元图像阵列的帧数i是否等于采集低分辨率压缩编码微单元图像阵列的总次数R,若是,则执行步骤(4);否则,将低分辨率压缩编码微单元图像阵列的帧数i加1后,执行步骤(3b);
(4)图像预处理:
通过中值滤波器,对获得的多幅低分辨率压缩编码微单元图像阵列进行预处理,滤除多幅低分辨率压缩编码微单元图像阵列中的噪声,获得多幅滤除噪声的低分辨率压缩编码微单元图像阵列;
(5)重构超分辨率微单元图像阵列:
(5a)将待重构的每一幅低分辨率压缩编码微单元图像阵列中的低分辨率压缩编码像素点的水平坐标x赋值为1,0<x≤M×S;将待重构的每一幅低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的垂直坐标y赋值为1,0<x≤V×S,其中M表示微透镜水平排列的数目,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目,V表示微透镜垂直排列的数目;
(5b)按采集低分辨率压缩编码微单元图像阵列的顺序,依次取出每一幅低分辨率压缩编码微单元图像阵列中,坐标为(x,y)的低分辨率压缩编码像素点,组成低分辨率压缩编码像素点列向量;
(5c)采用稀疏优化重构方法,对低分辨率压缩编码像素点列向量进行重构,获得重建的超分辨率单元图像列向量;
(5d)将重建的超分辨率单元图像列向量组成m×m的超分辨率单元图像矩阵,得到超分辨率微单元图像阵列中坐标为(x,y)的超分辨率单元图像,m表示探测器阵列上单个像元对应的多值编码掩膜的垂直和水平排列的数目;
(5e)判断x是否等于M×S,若是,则执行步骤(5f);否则,将x加1后,执行步骤(5b),其中,x表示低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的水平坐标,M表示微透镜水平排列的数目,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目;
(5f)判断y是否等于V×S,若是,则执行步骤(6);否则,将y加1,且将x赋值为1后,执行步骤(5b),其中,y表示低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的垂直坐标,V表示微透镜垂直排列的数目,S表示一个微透镜对应的探测器阵列上像元水平和垂直排列的数目,x表示低分辨率压缩编码微单元图像阵列中低分辨率压缩编码像素点的水平坐标;
(6)输出超分辨率微单元图像阵列。
2.根据权利要求1所述的集成成像超分辨率微单元图像阵列采集与重构方法,其特征在于:步骤(1b)、步骤(2c)、步骤(5a)、步骤(5e)中所述的M取100~2000的正整数,当步骤(1b)中M的值确定后,步骤(2c)、步骤(5a)、步骤(5e)中M的取值与步骤(1b)中M的值相同。
3.根据权利要求1所述的集成成像超分辨率微单元图像阵列采集与重构方法,其特征在于:步骤(1b)、步骤(2c)、步骤(5a)、步骤(5f)中所述的V取100~2000的正整数,当步骤(1b)中V的值确定后,步骤(2c)、步骤(5a)、步骤(5f)中V的取值与步骤(1b)中V的值相同。
4.根据权利要求1所述的集成成像超分辨率微单元图像阵列采集与重构方法,其特征在于:步骤(1b)、步骤(2c)中所述d的取值范围为1~0.01mm,当步骤(1b)中d的值确定后,步骤(2c)中d的取值与步骤(1b)中d的值相同。
5.根据权利要求1所述的集成成像超分辨率微单元图像阵列采集与重构方法,其特征在于:步骤(1b)、步骤(5a)、步骤(5e)、步骤(5f)中所述的S取5~200的正整数,当步骤(1b)中S的值确定后,步骤(5a)、步骤(5e)、步骤(5f)中S的取值与步骤(1b)中S的值相同。
6.根据权利要求1所述的集成成像超分辨率微单元图像阵列采集与重构方法,其特征在于:步骤(2b)、步骤(5d)中所述的m取2~8的正整数,当步骤(2b)中m的值确定后,步骤(5d)中m的取值与步骤(2b)中m的值相同。
7.根据权利要求1所述的集成成像超分辨率微单元图像阵列采集与重构方法,其特征在于:步骤(2b)、步骤(2c)、步骤(3b)、步骤(3c)中所述的多值编码掩膜是指满足同一个N(0,1)独立正态分布的高斯随机矩阵。
8.根据权利要求1所述的集成成像超分辨率微单元图像阵列采集与重构方法,其特征在于:步骤(3b)中所述的空域调制是指,在多值编码掩膜对应的高斯随机矩阵的指导下,对空间中的光线进行调制,使得高斯随机矩阵中取值为1对应空间区域的光线完全通过,高斯随机矩阵中取值为0对应空间区域的光线完全阻挡,高斯随机矩阵中取值在0和1之间对应空间的区域光线部分通过。
9.根据权利要求1所述的集成成像超分辨率微单元图像阵列采集与重构方法,其特征在于:步骤(5c)中所述的稀疏优化重构方法的具体步骤如下:
第一步,按采集低分辨率压缩编码微单元图像阵列时,使用多值编码掩膜阵列的顺序,在每一个多值编码掩膜阵列中取出一个多值编码掩膜,将每一个多值编码掩膜对应的高斯随机矩阵按行展开,得到多个高斯随机行向量,将多个高斯随机行向量组成观测矩阵;
第二步,将低分辨率压缩编码像素点列向量用稀疏分解矩阵投影到稀疏域,得到初始稀疏分解系数向量;
第三步,按照下式,求解最佳稀疏分解估计系数向量:
h = arg m i n o 1 2 | | Q - &Phi; &psi; o | | 2 2 + &tau; | | o | | 1
其中,h表示最佳稀疏分解估计系数向量,argmin(·)表示取最小值操作,o表示初始稀疏分解系数向量,Q表示低分辨率压缩编码像素点列向量,Φ表示观测矩阵,Ψ表示稀疏分解矩阵,τ表示惩罚因子,τ的取值范围为0~1的小数,表示取二范数的平方值操作,||·||1表示一范数操作;
第四步,按照下式,将最佳稀疏分解估计系数向量h逆投影到实域,获得重建的超分辨率单元图像列向量;
f=Ψh
其中,f表示重建的超分辨率单元图像列向量,Ψ表示稀疏分解矩阵,h表示最佳稀疏分解估计系数向量。
CN201610392887.2A 2016-06-03 2016-06-03 集成成像超分辨率微单元图像阵列采集与重构方法 Active CN106067162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610392887.2A CN106067162B (zh) 2016-06-03 2016-06-03 集成成像超分辨率微单元图像阵列采集与重构方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610392887.2A CN106067162B (zh) 2016-06-03 2016-06-03 集成成像超分辨率微单元图像阵列采集与重构方法

Publications (2)

Publication Number Publication Date
CN106067162A true CN106067162A (zh) 2016-11-02
CN106067162B CN106067162B (zh) 2019-03-01

Family

ID=57421061

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610392887.2A Active CN106067162B (zh) 2016-06-03 2016-06-03 集成成像超分辨率微单元图像阵列采集与重构方法

Country Status (1)

Country Link
CN (1) CN106067162B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109084679A (zh) * 2018-09-05 2018-12-25 天目爱视(北京)科技有限公司 一种基于空间光调制器的3d测量及获取装置
CN109147036A (zh) * 2018-08-03 2019-01-04 北京航空航天大学 一种基于深度学习的集成成像微图像阵列快速生成方法
CN111258046A (zh) * 2020-02-26 2020-06-09 清华大学 基于前置微透镜阵列的光场显微系统及方法
CN111586316A (zh) * 2020-04-03 2020-08-25 吉林大学 一种基于球面相机阵列生成立体元图像阵列的方法
CN112802135A (zh) * 2021-01-15 2021-05-14 安徽大学 一种超薄无透镜可分离压缩成像系统及其标定与重建方法
CN113252793A (zh) * 2021-04-30 2021-08-13 西安交通大学 基于掩膜压缩的单传感器三维超声成像装置及方法
WO2023231140A1 (zh) * 2022-05-30 2023-12-07 元潼(北京)技术有限公司 用于元成像的cis系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102891956A (zh) * 2012-09-25 2013-01-23 北京理工大学 基于编码孔径透镜阵列的压缩成像系统的设计方法
CN103384300A (zh) * 2013-07-03 2013-11-06 西安电子科技大学 基于压缩编码孔径的超分辨率成像系统
CN103428500A (zh) * 2013-08-31 2013-12-04 西安电子科技大学 一种超分辨率大视场红外成像方法
CN103442234A (zh) * 2013-08-31 2013-12-11 西安电子科技大学 基于时变编码测量的红外超分辨率成像方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102891956A (zh) * 2012-09-25 2013-01-23 北京理工大学 基于编码孔径透镜阵列的压缩成像系统的设计方法
CN103384300A (zh) * 2013-07-03 2013-11-06 西安电子科技大学 基于压缩编码孔径的超分辨率成像系统
CN103428500A (zh) * 2013-08-31 2013-12-04 西安电子科技大学 一种超分辨率大视场红外成像方法
CN103442234A (zh) * 2013-08-31 2013-12-11 西安电子科技大学 基于时变编码测量的红外超分辨率成像方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YONGSEOK OH等: "Resolution-enhanced integral imaging in focal mode with a time-multiplexed electrical mask array", 《OPTICS EXPRESS》 *
肖龙龙等: "焦平面编码高分辨率红外成像方法", 《红外与激光工程》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109147036A (zh) * 2018-08-03 2019-01-04 北京航空航天大学 一种基于深度学习的集成成像微图像阵列快速生成方法
CN109084679A (zh) * 2018-09-05 2018-12-25 天目爱视(北京)科技有限公司 一种基于空间光调制器的3d测量及获取装置
CN111258046A (zh) * 2020-02-26 2020-06-09 清华大学 基于前置微透镜阵列的光场显微系统及方法
CN111586316A (zh) * 2020-04-03 2020-08-25 吉林大学 一种基于球面相机阵列生成立体元图像阵列的方法
CN112802135A (zh) * 2021-01-15 2021-05-14 安徽大学 一种超薄无透镜可分离压缩成像系统及其标定与重建方法
CN112802135B (zh) * 2021-01-15 2022-12-02 安徽大学 一种超薄无透镜可分离压缩成像系统及其标定与重建方法
CN113252793A (zh) * 2021-04-30 2021-08-13 西安交通大学 基于掩膜压缩的单传感器三维超声成像装置及方法
WO2023231140A1 (zh) * 2022-05-30 2023-12-07 元潼(北京)技术有限公司 用于元成像的cis系统

Also Published As

Publication number Publication date
CN106067162B (zh) 2019-03-01

Similar Documents

Publication Publication Date Title
CN106067162A (zh) 集成成像超分辨率微单元图像阵列采集与重构方法
CN103428500B (zh) 一种超分辨率大视场红外成像方法
CN104156972B (zh) 基于激光扫描测距仪与多相机融合的透视成像方法
CN104778671B (zh) 一种基于sae和稀疏表示的图像超分辨率方法
CN101356546B (zh) 图像高分辨率化装置、方法及系统
CN104463949B (zh) 一种基于光场数字重聚焦的快速三维重建方法及其系统
CN109413407A (zh) 高空间分辨率光场采集装置与图像生成方法
Feng et al. 3D face reconstruction from light field images: A model-free approach
CN107103626A (zh) 一种基于智能手机的场景重建方法
CN108513123A (zh) 一种集成成像光场显示的图像阵列生成方法
CN109447919A (zh) 结合多视角与语义纹理特征的光场超分辨率重建方法
WO2017046272A1 (en) Method for encoding a light field content
CN104168430B (zh) 一种tdi ccd焦平面编码超分辨率成像装置及方法
CN110120071A (zh) 一种面向光场图像的深度估计方法
CN103021014A (zh) 一种提高计算机集成图像重构分辨率的方法
CN105704371A (zh) 一种光场重聚焦方法
CN111369443B (zh) 光场跨尺度的零次学习超分辨率方法
CN116168067B (zh) 基于深度学习的有监督多模态光场深度估计方法
CN110662014A (zh) 一种光场相机四维数据大景深三维显示的方法
US20190295232A1 (en) A method and an apparatus for generating data representative of a pixel beam
Vadathya et al. Learning light field reconstruction from a single coded image
CN104090476B (zh) 用于全息显示的三维场景信息的获取方法
CN103442234B (zh) 基于时变编码测量的红外超分辨率成像方法
Yan et al. Performance-improved smart pseudoscopic to orthoscopic conversion for integral imaging by use of lens array shifting technique
US10909704B2 (en) Apparatus and a method for generating data representing a pixel beam

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant