CN111583191A - 基于光场epi傅里叶变换的折射特征检测方法 - Google Patents

基于光场epi傅里叶变换的折射特征检测方法 Download PDF

Info

Publication number
CN111583191A
CN111583191A CN202010301723.0A CN202010301723A CN111583191A CN 111583191 A CN111583191 A CN 111583191A CN 202010301723 A CN202010301723 A CN 202010301723A CN 111583191 A CN111583191 A CN 111583191A
Authority
CN
China
Prior art keywords
light field
image
original image
images
epi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010301723.0A
Other languages
English (en)
Other versions
CN111583191B (zh
Inventor
金海燕
孙彤鑫
肖照林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010301723.0A priority Critical patent/CN111583191B/zh
Publication of CN111583191A publication Critical patent/CN111583191A/zh
Application granted granted Critical
Publication of CN111583191B publication Critical patent/CN111583191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0012Optical design, e.g. procedures, algorithms, optimisation routines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20021Dividing image into blocks, subimages or windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optics & Photonics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明基于光场EPI傅里叶变换的折射特征检测方法,具体按照以下步骤实施:步骤1、对光场原始图像进行解码得到四维参数化矩阵L[s,t,u,v];步骤2、利用四维参数化矩阵L[s,t,u,v]提取得到多个子孔径图像,并将所有的子孔径图像处理得到多个光场水平EPI图像;步骤3、将每个光场水平EPI图像划分为多等份图像,对每等份图像依次进行傅里叶变换、频谱中心化操作得到每等份图像对应的频域图像;步骤4、对每个光场水平EPI图像对应的所有等份频域图像依次进行检测分析确定频域图像上是否存在折射特征,进而确定光场原始图像上的折射区域。本发明基于光场EPI傅里叶变换的折射特征检测方法,能够精确检测出折射特征。

Description

基于光场EPI傅里叶变换的折射特征检测方法
技术领域
本发明属于数字成像及光学技术领域,具体涉及基于光场EPI傅里叶变换的折射特征检测方法。
背景技术
光场成像技术可以记录4D空间中光线的位置信息和方向信息,研究人员提出光线与两个平行双平面的交点来参数化表示光场,则一条光线可用L(s,t,u,v)唯一确定,L为光线强度,(s,t)和(u,v)分别表示光线与双平面的交点坐标,(s,t)代表光线位置信息,(u,v)代表光线方向信息。目前,研究人员采用机器人视觉方法对光场图像中的光线特征进行观察检测,而现有的机器人视觉方法大多遵循朗伯假设,即认为空间中一点所反射的光线遵循漫反射原则。例如,CHris Harris和Mike Stephens提出了Harris角点检测方法,由于Harris角点检测方法不能区分不同比例的兴趣点,David Lowe提出了SIFT特征检测方法,由于SIFT特征检测方法计算成本较高,Rosten提出了FAST特征检测方法。但是由于自然界存在大量非朗伯表面,如镜面表面、折射表面、起偏表面等,这些非朗伯表面的检测给现有的机器人视觉方法带来了较大挑战,其中折射物体表面具有透明特性,光场图像中的折射区域常存在背景纹理的非线性变化,这与朗伯表面区域的变化属性存在较大差异。以上列举的现有图像特征检测方法均针对朗伯表面特征的检测与提取,无法满足对折射区域特征的检测、描述要求。
随着光场成像理论发展,对光场图像的独有特征进行检测受到了学界的广泛关注。由于光场相机拍摄的数据包含有场景目标不同角度的信息,研究人员提出采用光场EPI图像(epipolar plane image)来描述和检测光线折射特征的新思路。例如Ghasemi提出了一种使用改进的Hough变换来检测EPI图像内坡度变化的方法,该方法可用于检测场景内折射特征是否存在,但对于折射区域的定位精度不高。Texeira提出在光场所有子视图中检测SIFT特征并将其投影到相应的EPI图像中,最终在EPI图像中检测投影结果是否满足直线分布特性来判断该区域是否存在折射。Maeno提出将光线穿过中心视图与其他视图的相对差的集合表示为光场失真特征(LFD)。Xu使用LFD作为非朗伯表面图像分割的基础,并提出在4D空间中,对各子图像特征进行奇异值分解(SVD)可得到特征分布4D超平面的法线,进而利用最小的奇异值用作最佳拟合超平面的误差度量,此时,折射表面由于特征分布与朗伯表面存在差异,因此其特征分布超平面拟合的最小奇异值具有可区分性。Xu提出的方法虽然相比Ghasemi、Texeira、Maeno的方法可获得准确率较高的折射区域检测结果,但是其方法复杂度较高,且奇异值分解过程易受到外点的影响,导致折射特征的检测精度并不十分理想。因此,寻找一种计算复杂度低,能够精确检测出折射特征的方法势在必行。
发明内容
本发明的目的是提供基于光场EPI傅里叶变换的折射特征检测方法,能够精确检测出折射特征。
本发明所采用的技术方案是:基于光场EPI傅里叶变换的折射特征检测方法,具体按照以下步骤实施:
步骤1、对光场原始图像进行解码得到四维参数化矩阵L[s,t,u,v];
步骤2、利用四维参数化矩阵L[s,t,u,v]提取得到多个子孔径图像,并将所有的子孔径图像处理得到多个光场水平EPI图像;
步骤3、将每个光场水平EPI图像划分为多等份图像,对每等份图像依次进行傅里叶变换、频谱中心化操作得到每等份图像对应的频域图像;
步骤4、对每个光场水平EPI图像对应的所有等份频域图像依次进行检测分析确定频域图像上是否存在折射特征,进而确定光场原始图像上的折射区域。
本发明的特点还在于,
步骤1具体操作如下:
步骤1.1、将光场原始图像以及光场原始图像对应的txt文件、白图像分别输入至MATLAB软件中进行读取,并利用im2double函数将txt文件进行double操作转化为双精度型浮点数据,双精度型浮点数据包含微透镜阵列的旋转角数据rot_angle、水平间隔和垂直间隔数据[lens.x,lens.y]以及每个微透镜的高度数据height、宽度数据width、中心点坐标数据[center.x,center.y];
步骤1.2、利用imrotate函数将光场原始图像、白图像分别以微透镜阵列的旋转角rot_angle进行旋转从而对光场原始图像、白图像中的每个微透镜中心进行定位;
步骤1.3、利用微透镜阵列的水平间隔和垂直间隔数据[lens.x,lens.y]计算得到光场原始图像的方向信息数据[u,v],具体操作如式(1)所示:
Figure BDA0002454244810000031
其中,ceil为取整函数;
步骤1.4、利用微透镜阵列中每个微透镜的高度数据height对光场原始图像中每个微透镜的垂直方向数据s进行赋值,利用微透镜阵列中每个微透镜的宽度数据width对光场原始图像中每个微透镜的水平方向数据t进行赋值,得到光场原始图像的位置信息数据[s,t];
步骤1.5、以光场原始图像的方向信息数据的u为高度,v为宽度建立光场原始图像的UV平面,以光场原始图像的位置信息数据的s为高度,t为宽度建立光场原始图像的ST平面,以光线与UV平面和ST平面的交点参数化表示光场,在光场中计算UV平面的中心点坐标,并利用for循环遍历微透镜阵列中的每个微透镜,计算得到每个微透镜中心对应在光场原始图像上的宏像素坐标,再嵌套for循环计算在光场原始图像上每个宏像素在水平和垂直方向相对于UV平面中心点坐标的偏移量,再利用宏像素坐标和对应的偏移量求和从而得到光场原始图像上每个像素的坐标,并将每个像素的坐标通过r、g、b三个通道输出,得到四维参数化矩阵L[s,t,u,v]。
步骤1.5具体操作如下:
步骤1.5.1、计算得到UV平面的中心点坐标,具体操作如式(2)所示:
Figure BDA0002454244810000041
其中,floor为取整函数;
步骤1.5.2、计算得到每个微透镜中心对应在光场原始图像上的宏像素坐标,具体操作如式(3)所示:
Figure BDA0002454244810000042
其中,round为取整函数;
步骤1.5.3、计算在光场原始图像上每个宏像素在水平和垂直方向相对于UV平面中心点坐标的偏移量,具体操作如式(4)所示:
Figure BDA0002454244810000051
步骤1.5.4、计算得到光场原始图像上每个像素的坐标,具体操作如式(5)所示:
Figure BDA0002454244810000052
步骤2具体操作如下:
步骤2.1、利用for循环遍历四维参数化矩阵L[s,t,u,v]中的[u,v]数据,并用squeeze函数提取每一对(u,v)角度的图像,得到有序排列的多个子孔径图像;
步骤2.2、利用squeeze函数提取每个子孔径图像的水平方向像素坐标,再将提取得到的像素坐标按照多个子孔径图像的排列顺序进行堆叠,得到多个光场水平EPI图像。
步骤3具体操作为:利用imcrop函数将每个光场水平EPI图像划分为多等份图像,利用rgb2gray函数对每等份图像进行灰度化处理得到对应的灰度图像和灰度矩阵,利用im2double函数依次将每等份图像对应的灰度图像进行double处理,再先利用fft2函数将double处理后的灰度图像先进行傅里叶变换,后利用fftshift函数进行频谱中心化操作,最后使用abs函数对频谱中心化操作后的图像进行取模操作从而得到每等份图像对应的频域图像。
步骤4具体操作为:
步骤4.1、针对一个光场水平EPI图像而言,将其对应的其中一等份频域图像记为img,将该等份频域图像的水平分辨率记为水平宽度x,垂直分辨率记为垂直高度y,通过imcrop(img,[0,0,x,y/2])操作截取该等份频域图像上半部分,记为图像A;
步骤4.2、对图像A依次进行imcrop(A,[0,0,x/2,y/2])操作、imcrop(A,[x/2,0,x/2,y/2])操作以将图像A分为左右两等份,再使用sum函数分别统计两等份图像各自的灰度值总和,选择灰度值总和最大的图像记为图像B;
步骤4.3、将图像B的水平分辨率记为水平宽度M,垂直分辨率记为垂直高度N,取图像B的灰度矩阵中位于M/3、M/2、2M/3处的三列像素,利用diff函数分别计算这三列像素中每一列上相邻两个像素灰度值的差值,再通过abs函数将计算得到的差值绝对值化;
步骤4.4、观察计算得到的每一列上相邻两个像素灰度值的差值绝对值,若三列像素上的所有差值绝对值均不大于1,则判断该图像B所在的等份频域图像对应的光场水平EPI图像存在非线性特征线条,该光场水平EPI图像在光场原始图像中对应的区域存在折射特征,否则判断该光场水平EPI图像在光场原始图像中对应的区域不存在折射特征;
步骤4.5、若经步骤4.4确定光场原始图像中对应的区域存在折射特征,则对该等份频域图像重复进行步骤4.1至步骤4.4,若像素上的所有差值绝对值仍然均不大于1,则确定光场原始图像上存在折射特征的区域为稳定区域;
步骤4.6、若步骤4.4确定光场原始图像中对应的区域不存在折射特征,则对这个光场水平EPI图像的其它等份频域图像依次重复步骤4.1至步骤4.5,直至找到这个光场水平EPI图像在光场原始图像中存在折射特征的所有稳定区域,并将稳定区域显示在光场原始图像上;
步骤4.7、类似地,重复步骤4.1至步骤4.6,得到其他光场水平EPI图像在光场原始图像中存在折射特征的所有稳定区域,并将稳定区域显示在光场原始图像上,至此得到光场原始图像上的全部折射特征。
本发明基于光场EPI傅里叶变换的折射特征检测方法的有益效果是:本发明通过对光场水平EPI图像分段进行傅里叶变换,将普通2D空域图像转变为频谱中心化的频域图像,由于光场EPI图像上折射区域在空域不具有直线分布特性,因此其在频域的能量分布与非折射区域具有明显方向性存在明显差异,本发明利用这种折射区域图像与非折射区域图像在频域能量分布的差异以实现准确的折射特征检测,大大提高了对光场折射区域的检测精度,同时由于采用频域计算方法,本发明的计算复杂度明显低于现有空域的对应算法。
附图说明
图1是本发明基于光场EPI傅里叶变换的折射特征检测方法的流程图;
图2是本发明基于光场EPI傅里叶变换的折射特征检测方法中对一等份频域图像的检测步骤流程图;
图3是本发明基于光场EPI傅里叶变换的折射特征检测方法中对多等份频域图像之间的检测步骤流程图;
图4是本发明基于光场EPI傅里叶变换的折射特征检测方法中实施例待检测的光场原始图像;
图5是图4光场原始图像的白图像。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于光场EPI傅里叶变换的折射特征检测方法,具体如图1所示,按照以下步骤实施:
步骤1、对光场原始图像进行解码得到四维参数化矩阵L[s,t,u,v];
步骤2、利用四维参数化矩阵L[s,t,u,v]提取得到多个子孔径图像,并将所有的子孔径图像处理得到多个光场水平EPI图像;
步骤3、将每个光场水平EPI图像划分为多等份图像,对每等份图像依次进行傅里叶变换、频谱中心化操作得到每等份图像对应的频域图像;
步骤4、对每个光场水平EPI图像对应的所有等份频域图像依次进行检测分析确定频域图像上是否存在折射特征,进而确定光场原始图像上的折射区域。
进一步地,步骤1具体操作如下:
步骤1.1、将光场原始图像以及光场原始图像对应的txt文件、白图像分别输入至MATLAB软件中进行读取,并利用im2double函数将txt文件进行double操作转化为双精度型浮点数据,双精度型浮点数据包含微透镜阵列的旋转角数据rot_angle、水平间隔和垂直间隔数据[lens.x,lens.y]以及每个微透镜的高度数据height、宽度数据width、中心点坐标数据[center.x,center.y];
步骤1.2、利用imrotate函数将光场原始图像、白图像分别以微透镜阵列的旋转角rot_angle进行旋转从而对光场原始图像、白图像中的每个微透镜中心进行定位;
步骤1.3、利用微透镜阵列的水平间隔和垂直间隔数据[lens.x,lens.y]计算得到光场原始图像的方向信息数据[u,v],具体操作如式(1)所示:
Figure BDA0002454244810000081
其中,ceil为取整函数;
步骤1.4、利用微透镜阵列中每个微透镜的高度数据height对光场原始图像中每个微透镜的垂直方向数据s进行赋值,利用微透镜阵列中每个微透镜的宽度数据width对光场原始图像中每个微透镜的水平方向数据t进行赋值,得到光场原始图像的位置信息数据[s,t];
步骤1.5、以光场原始图像的方向信息数据的u为高度,v为宽度建立光场原始图像的UV平面,以光场原始图像的位置信息数据的s为高度,t为宽度建立光场原始图像的ST平面,以光线与UV平面和ST平面的交点参数化表示光场,在光场中计算UV平面的中心点坐标,并利用for循环遍历微透镜阵列中的每个微透镜,计算得到每个微透镜中心对应在光场原始图像上的宏像素坐标,再嵌套for循环计算在光场原始图像上每个宏像素在水平和垂直方向相对于UV平面中心点坐标的偏移量,再利用宏像素坐标和对应的偏移量求和从而得到光场原始图像上每个像素的坐标,并将每个像素的坐标通过r、g、b三个通道输出,得到四维参数化矩阵L[s,t,u,v]。
步骤1.5具体操作如下:
步骤1.5.1、计算得到UV平面的中心点坐标,具体操作如式(2)所示:
Figure BDA0002454244810000091
其中,floor为取整函数;
步骤1.5.2、计算得到每个微透镜中心对应在光场原始图像上的宏像素坐标,具体操作如式(3)所示:
Figure BDA0002454244810000092
其中,round为取整函数;
步骤1.5.3、计算在光场原始图像上每个宏像素在水平和垂直方向相对于UV平面中心点坐标的偏移量,具体操作如式(4)所示:
Figure BDA0002454244810000093
步骤1.5.4、计算得到光场原始图像上每个像素的坐标,具体操作如式(5)所示:
Figure BDA0002454244810000101
进一步地,步骤2具体操作如下:
步骤2.1、利用for循环遍历四维参数化矩阵L[s,t,u,v]中的[u,v]数据,并用squeeze函数提取每一对(u,v)角度的图像,得到有序排列的多个子孔径图像;
步骤2.2、利用squeeze函数提取每个子孔径图像的水平方向像素坐标,再将提取得到的像素坐标按照多个子孔径图像的排列顺序进行堆叠,得到多个光场水平EPI图像。
进一步地,步骤3具体操作为:利用imcrop函数将每个光场水平EPI图像划分为多等份图像,利用rgb2gray函数对每等份图像进行灰度化处理得到对应的灰度图像和灰度矩阵,利用im2double函数依次将每等份图像对应的灰度图像进行double处理,再先利用fft2函数将double处理后的灰度图像先进行傅里叶变换,后利用fftshift函数进行频谱中心化操作,最后使用abs函数对频谱中心化操作后的图像进行取模操作从而得到每等份图像对应的频域图像。
进一步地,步骤4如图2所示,具体操作如下:
步骤4.1、针对一个光场水平EPI图像而言,将其对应的其中一等份频域图像记为img,将该等份频域图像的水平分辨率记为水平宽度x,垂直分辨率记为垂直高度y,通过imcrop(img,[0,0,x,y/2])操作截取该等份频域图像上半部分,记为图像A;
步骤4.2、对图像A依次进行imcrop(A,[0,0,x/2,y/2])操作、imcrop(A,[x/2,0,x/2,y/2])操作以将图像A分为左右两等份,再使用sum函数分别统计两等份图像各自的灰度值总和,选择灰度值总和最大的图像记为图像B;
步骤4.3、将图像B的水平分辨率记为水平宽度M,垂直分辨率记为垂直高度N,取图像B的灰度矩阵中位于M/3、M/2、2M/3处的三列像素,利用diff函数分别计算这三列像素中每一列上相邻两个像素灰度值的差值,再通过abs函数将计算得到的差值绝对值化;
步骤4.4、观察计算得到的每一列上相邻两个像素灰度值的差值绝对值,若三列像素上的所有差值绝对值均不大于1,则判断该图像B所在的等份频域图像对应的光场水平EPI图像存在非线性特征线条,该光场水平EPI图像在光场原始图像中对应的区域存在折射特征,否则判断该光场水平EPI图像在光场原始图像中对应的区域不存在折射特征;
步骤4.5、如图3所示,若经步骤4.4确定光场原始图像中对应的区域存在折射特征,则对该等份频域图像重复进行步骤4.1至步骤4.4,若像素上的所有差值绝对值仍然均不大于1,则确定光场原始图像上存在折射特征的区域为稳定区域;
步骤4.6、如图3所示,若步骤4.4确定光场原始图像中对应的区域不存在折射特征,则对这个光场水平EPI图像的其它等份频域图像依次重复步骤4.1至步骤4.5,直至找到这个光场水平EPI图像在光场原始图像中存在折射特征的所有稳定区域,并将稳定区域显示在光场原始图像上;
步骤4.7、类似地,重复步骤4.1至步骤4.6,得到其他光场水平EPI图像在光场原始图像中存在折射特征的所有稳定区域,并将稳定区域显示在光场原始图像上,至此得到光场原始图像上的全部折射特征。
实施例
本发明针对一张如图4所示的大小为3785*3935*3,包含玻璃球即折射特征的光场原始图像进行检测,该光场原始图像对应的白图像如图5所示,检测折射特征具体按照如下步骤:
执行步骤1.1、在MATLAB软件中读入光场原始图像raw_image和对应的包含有微透镜阵列数据的txt文件、光场白图像whiteimage,txt文件进行double操作,数据的第一行为微透镜阵列中单个微透镜的大小378*328,第二行为微透镜阵列的旋转角数据值-0.000004,第三行为微透镜阵列的水平间隔12和垂直间隔10,第四行之后为每个微透镜的中心坐标;
执行步骤1.2和1.3、得到光场原始图像的方向信息数据[11,13];
执行步骤1.4、得到光场原始图像的位置信息数据[378,328];
执行步骤1.5、得到光场原始图像的四维参数化矩L[378,328,11,13];
执行步骤2.1、得到11*13幅子孔径图像,每幅子孔径图像大小为378*328;
执行步骤2.2、得到378幅光场水平EPI图像,每幅图像大小为13*328;
执行步骤3、将每幅光场水平EPI图像划分为4等份,得到光场水平EPI图像每等份对应的频域图像,每幅频域图像的水平分辨率为82,垂直分辨率为13;
执行步骤4.1、将一等份频域图像img做imcrop(img,[0,0,82,6.5])操作得到该图像的上半部分,记为图像A;
执行步骤4.2、用imcrop(A,[0,0,41,6.5])和imcrop(A,[41,0,41,6.5])操作把图像A划分为左右两部分,再用sum函数分别统计两部分图像各自的灰度值总和,分别为852.8、45571.5,选择灰度值总和为45571.5的图像记为图像B;
执行步骤4.3、图像B的水平分辨率为41,取图像B的灰度矩阵中位于14、21、27列处的三列像素,得到三列像素中每一列上相邻两个像素灰度值的差值;
执行步骤4.4至步骤4.7、得到光场水平EPI图像上稳定的特征区域,再将其显示在光场原始图像上。
经对比判断显示结果与光场原始图像上折射特征存在的区域一致,可见本发明提出的基于光场EPI傅里叶变换的折射特征检测方法检测精度高,可以有效区分出光场原始图像中包含的玻璃球带来的折射特征。

Claims (6)

1.基于光场EPI傅里叶变换的折射特征检测方法,其特征在于,具体按照以下步骤实施:
步骤1、对光场原始图像进行解码得到四维参数化矩阵L[s,t,u,v];
步骤2、利用四维参数化矩阵L[s,t,u,v]提取得到多个子孔径图像,并将所有的子孔径图像处理得到多个光场水平EPI图像;
步骤3、将每个光场水平EPI图像划分为多等份图像,对每等份图像依次进行傅里叶变换、频谱中心化操作得到每等份图像对应的频域图像;
步骤4、对每个光场水平EPI图像对应的所有等份频域图像依次进行检测分析确定频域图像上是否存在折射特征,进而确定光场原始图像上的折射区域。
2.如权利要求1所述的基于光场EPI傅里叶变换的折射特征检测方法,其特征在于,所述步骤1具体操作如下:
步骤1.1、将光场原始图像以及光场原始图像对应的txt文件、白图像分别输入至MATLAB软件中进行读取,并利用im2double函数将txt文件进行double操作转化为双精度型浮点数据,所述双精度型浮点数据包含微透镜阵列的旋转角数据rot_angle、水平间隔和垂直间隔数据[lens.x,lens.y]以及每个微透镜的高度数据height、宽度数据width、中心点坐标数据[center.x,center.y];
步骤1.2、利用imrotate函数将光场原始图像、白图像分别以微透镜阵列的旋转角rot_angle进行旋转从而对光场原始图像、白图像中的每个微透镜中心进行定位;
步骤1.3、利用微透镜阵列的水平间隔和垂直间隔数据[lens.x,lens.y]计算得到光场原始图像的方向信息数据[u,v],具体操作如式(1)所示:
Figure FDA0002454244800000021
其中,ceil为取整函数;
步骤1.4、利用微透镜阵列中每个微透镜的高度数据height对光场原始图像中每个微透镜的垂直方向数据s进行赋值,利用微透镜阵列中每个微透镜的宽度数据width对光场原始图像中每个微透镜的水平方向数据t进行赋值,得到光场原始图像的位置信息数据[s,t];
步骤1.5、以光场原始图像的方向信息数据的u为高度,v为宽度建立光场原始图像的UV平面,以光场原始图像的位置信息数据的s为高度,t为宽度建立光场原始图像的ST平面,以光线与UV平面和ST平面的交点参数化表示光场,在光场中计算UV平面的中心点坐标,并利用for循环遍历微透镜阵列中的每个微透镜,计算得到每个微透镜中心对应在光场原始图像上的宏像素坐标,再嵌套for循环计算在光场原始图像上每个宏像素在水平和垂直方向相对于UV平面中心点坐标的偏移量,再利用宏像素坐标和对应的偏移量求和从而得到光场原始图像上每个像素的坐标,并将每个像素的坐标通过r、g、b三个通道输出,得到四维参数化矩阵L[s,t,u,v]。
3.如权利要求2所述的基于光场EPI傅里叶变换的折射特征检测方法,其特征在于,所述步骤1.5具体操作如下:
步骤1.5.1、计算得到UV平面的中心点坐标,具体操作如式(2)所示:
Figure FDA0002454244800000022
其中,floor为取整函数;
步骤1.5.2、计算得到每个微透镜中心对应在光场原始图像上的宏像素坐标,具体操作如式(3)所示:
Figure FDA0002454244800000031
其中,round为取整函数;
步骤1.5.3、计算在光场原始图像上每个宏像素在水平和垂直方向相对于UV平面中心点坐标的偏移量,具体操作如式(4)所示:
Figure FDA0002454244800000032
步骤1.5.4、计算得到光场原始图像上每个像素的坐标,具体操作如式(5)所示:
Figure FDA0002454244800000033
4.如权利要求1所述的基于光场EPI傅里叶变换的折射特征检测方法,其特征在于,所述步骤2具体操作如下:
步骤2.1、利用for循环遍历四维参数化矩阵L[s,t,u,v]中的[u,v]数据,并用squeeze函数提取每一对(u,v)角度的图像,得到有序排列的多个子孔径图像;
步骤2.2、利用squeeze函数提取每个子孔径图像的水平方向像素坐标,再将提取得到的像素坐标按照多个子孔径图像的排列顺序进行堆叠,得到多个光场水平EPI图像。
5.如权利要求1所述的基于光场EPI傅里叶变换的折射特征检测方法,其特征在于,所述步骤3具体操作为:利用imcrop函数将每个光场水平EPI图像划分为多等份图像,利用rgb2gray函数对每等份图像进行灰度化处理得到对应的灰度图像和灰度矩阵,利用im2double函数依次将每等份图像对应的灰度图像进行double处理,再先利用fft2函数将double处理后的灰度图像先进行傅里叶变换,后利用fftshift函数进行频谱中心化操作,最后使用abs函数对频谱中心化操作后的图像进行取模操作从而得到每等份图像对应的频域图像。
6.如权利要求5所述的基于光场EPI傅里叶变换的折射特征检测方法,其特征在于,所述步骤4具体操作如下:
步骤4.1、针对一个光场水平EPI图像而言,将其对应的其中一等份频域图像记为img,将该等份频域图像的水平分辨率记为水平宽度x,垂直分辨率记为垂直高度y,通过imcrop(img,[0,0,x,y/2])操作截取该等份频域图像上半部分,记为图像A;
步骤4.2、对图像A依次进行imcrop(A,[0,0,x/2,y/2])操作、imcrop(A,[x/2,0,x/2,y/2])操作以将图像A分为左右两等份,再使用sum函数分别统计两等份图像各自的灰度值总和,选择灰度值总和最大的图像记为图像B;
步骤4.3、将图像B的水平分辨率记为水平宽度M,垂直分辨率记为垂直高度N,取图像B的灰度矩阵中位于M/3、M/2、2M/3处的三列像素,利用diff函数分别计算这三列像素中每一列上相邻两个像素灰度值的差值,再通过abs函数将计算得到的差值绝对值化;
步骤4.4、观察计算得到的每一列上相邻两个像素灰度值的差值绝对值,若三列像素上的所有差值绝对值均不大于1,则判断该图像B所在的等份频域图像对应的光场水平EPI图像存在非线性特征线条,该光场水平EPI图像在光场原始图像中对应的区域存在折射特征,否则判断该光场水平EPI图像在光场原始图像中对应的区域不存在折射特征;
步骤4.5、若经步骤4.4确定光场原始图像中对应的区域存在折射特征,则对该等份频域图像重复进行步骤4.1至步骤4.4,若像素上的所有差值绝对值仍然均不大于1,则确定光场原始图像上存在折射特征的区域为稳定区域;
步骤4.6、若步骤4.4确定光场原始图像中对应的区域不存在折射特征,则对这个光场水平EPI图像的其它等份频域图像依次重复步骤4.1至步骤4.5,直至找到这个光场水平EPI图像在光场原始图像中存在折射特征的所有稳定区域,并将稳定区域显示在光场原始图像上;
步骤4.7、类似地,重复步骤4.1至步骤4.6,得到其他光场水平EPI图像在光场原始图像中存在折射特征的所有稳定区域,并将稳定区域显示在光场原始图像上,至此得到光场原始图像上的全部折射特征。
CN202010301723.0A 2020-04-16 2020-04-16 基于光场epi傅里叶变换的折射特征检测方法 Active CN111583191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010301723.0A CN111583191B (zh) 2020-04-16 2020-04-16 基于光场epi傅里叶变换的折射特征检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010301723.0A CN111583191B (zh) 2020-04-16 2020-04-16 基于光场epi傅里叶变换的折射特征检测方法

Publications (2)

Publication Number Publication Date
CN111583191A true CN111583191A (zh) 2020-08-25
CN111583191B CN111583191B (zh) 2022-02-22

Family

ID=72111641

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010301723.0A Active CN111583191B (zh) 2020-04-16 2020-04-16 基于光场epi傅里叶变换的折射特征检测方法

Country Status (1)

Country Link
CN (1) CN111583191B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113191369A (zh) * 2021-04-09 2021-07-30 西安理工大学 一种基于光场角度域变化矩阵的特征点检测方法
CN113284152A (zh) * 2021-04-01 2021-08-20 西安理工大学 一种光场特征油画鉴别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120188508A1 (en) * 2011-01-24 2012-07-26 Huvitz Co., Ltd. Automatic Refracto-Keratometer
CN203191680U (zh) * 2012-11-08 2013-09-11 耿征 真三维图像显示系统
CN106097343A (zh) * 2016-06-14 2016-11-09 西安理工大学 光场成像设备轴向分辨率测定装置与方法
CN108369399A (zh) * 2015-10-09 2018-08-03 维斯比相机公司 全息光场成像装置和及其使用方法
CN110490209A (zh) * 2019-07-30 2019-11-22 西安理工大学 基于epi的光场图像特征点检测方法
CN110580481A (zh) * 2019-08-09 2019-12-17 西安理工大学 一种基于epi的光场图像关键位置检测方法
CN110599400A (zh) * 2019-08-19 2019-12-20 西安理工大学 一种基于epi的光场图像超分辨的方法
EP3599091A1 (en) * 2018-07-24 2020-01-29 King Abdullah University Of Science And Technology Printed catadioptric high numerical aperture lens and method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120188508A1 (en) * 2011-01-24 2012-07-26 Huvitz Co., Ltd. Automatic Refracto-Keratometer
CN203191680U (zh) * 2012-11-08 2013-09-11 耿征 真三维图像显示系统
CN108369399A (zh) * 2015-10-09 2018-08-03 维斯比相机公司 全息光场成像装置和及其使用方法
CN106097343A (zh) * 2016-06-14 2016-11-09 西安理工大学 光场成像设备轴向分辨率测定装置与方法
EP3599091A1 (en) * 2018-07-24 2020-01-29 King Abdullah University Of Science And Technology Printed catadioptric high numerical aperture lens and method
CN110490209A (zh) * 2019-07-30 2019-11-22 西安理工大学 基于epi的光场图像特征点检测方法
CN110580481A (zh) * 2019-08-09 2019-12-17 西安理工大学 一种基于epi的光场图像关键位置检测方法
CN110599400A (zh) * 2019-08-19 2019-12-20 西安理工大学 一种基于epi的光场图像超分辨的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DORIAN TSAI ET AL.: ""Distinguishing Refracted Features Using Light Field Cameras With Application to Structure From Motion"", 《IEEE ROBOTICS AND AUTOMATION LETTERS》 *
张占强 等: ""基于微透镜阵列的光场成像系统"", 《首都师范大学学报(自然科学版)》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113284152A (zh) * 2021-04-01 2021-08-20 西安理工大学 一种光场特征油画鉴别方法
CN113284152B (zh) * 2021-04-01 2023-06-27 西安理工大学 一种光场特征油画鉴别方法
CN113191369A (zh) * 2021-04-09 2021-07-30 西安理工大学 一种基于光场角度域变化矩阵的特征点检测方法
CN113191369B (zh) * 2021-04-09 2024-02-09 西安理工大学 一种基于光场角度域变化矩阵的特征点检测方法

Also Published As

Publication number Publication date
CN111583191B (zh) 2022-02-22

Similar Documents

Publication Publication Date Title
EP3516625B1 (en) A device and method for obtaining distance information from views
CN103345755B (zh) 一种基于Harris算子的棋盘格角点亚像素提取方法
Fechteler et al. Adaptive colour classification for structured light systems
US20120024952A1 (en) System and method for identifying qr code
CN110580481B (zh) 一种基于epi的光场图像关键位置检测方法
CN111583191B (zh) 基于光场epi傅里叶变换的折射特征检测方法
CN105046743A (zh) 一种基于全局变分技术的超高分辨率三维重建方法
Feng et al. Motion-oriented high speed 3-D measurements by binocular fringe projection using binary aperiodic patterns
CN112161586A (zh) 一种基于编码棋盘格的线结构光视觉传感器标定方法
Tabata et al. High-speed 3D sensing with three-view geometry using a segmented pattern
CN110634137A (zh) 一种基于视觉感知的桥梁变形的监测方法、装置及设备
Huo et al. Feature points extraction of defocused images using deep learning for camera calibration
Chen et al. Camera calibration with global LBP-coded phase-shifting wedge grating arrays
CN101882220A (zh) 一种基于动态模板的条码图像校正方法及校正点获取方法
CN113506276A (zh) 一种测量结构位移的标志物及方法
CN111325218B (zh) 基于光场图像的Hog特征检测与匹配方法
CN112233139A (zh) 用于在3d数据重建过程中检测运动的系统和方法
Shi et al. Depth sensing with coding-free pattern based on topological constraint
CN116205993A (zh) 一种用于3d aoi的双远心镜头高精度标定方法
Song et al. Automatic calibration method based on improved camera calibration template
CN113807238A (zh) 一种河道水面漂浮物面积的视觉测量方法
Fang et al. One-shot monochromatic symbol pattern for 3D reconstruction using perfect submap coding
Liu et al. Research on corner detection algorithm based on the long depth of field binocular camera with wavefront coding
CN102052900B (zh) 快速测量亚像素位移的峰谷运动探测方法及装置
CN113191369B (zh) 一种基于光场角度域变化矩阵的特征点检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant