CN111353537A - 基于EPI_Volume的LF_SURF光场图像特征匹配方法 - Google Patents

Abstract

本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法，具体按照以下步骤实施：步骤1、将第一张光场图像读入至MATLAB软件中得到光场图像五维矩阵[s,t,u,v,3]；步骤2、计算得到四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵；步骤3、进行SURF特征点检测得到光场图像精确特征点；步骤4、每个光场图像精确特征点生成128维特征描述向量；步骤5、将第一张光场图像的特征点与第二张光场图像的特征点按照欧式距离进行相似性度量进而完成特征点匹配；步骤6、根据特征匹配的精确率对特征匹配的正确性进行验证。本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法，克服了现有的光场图像特征检测方法检测出的特征点不稳定，计算复杂度高，没有对特征点进行描述做进一步匹配的问题。

Description

基于EPI_Volume的LF_SURF光场图像特征匹配方法

技术领域

本发明属于光学图像处理技术领域，具体涉及基于EPI_Volume的LF_SURF光场图像特征匹配方法。

背景技术

光场是光线在空间传播中四维的概念，是空间中同时包含位置和方向信息的四维光辐射场的参数化表示，是空间中所有光线光辐射函数的总体。光场成像可以获得空间内任意的角度、任意的位置、空间环境的真实信息，克服了传统成像因视角的局限性存在遮挡、丢失深度等缺点，对场景的捕捉更加全面，而广泛应用于三维重建和安防监控领域。

光场图像特征的检测、匹配是完成图像配准、姿态估计、三维重建、位置识别等各种计算机视觉任务的基础，特征检测和匹配的准确性会直接影响计算机视觉任务的效果。现有的光场图像特征检测方法有：跨视图重复SIFT特征检测方法，LIFF光场特征点检测方法，基于Lisad空间的3维特征点检测方法等。但是这些特征检测方法均存在不足：跨视图重复SIFT特征检测方法计算复杂度高，检测出的特征点鲁棒性差；LIFF光场特征点检测方法时间复杂度大，焦点堆栈的斜率不具有自适应性，特征检测结果精确率和召回率较低；基于Lisad空间的3维特征点检测方法提取的是边缘特征，并且没有讨论特征描述以促进在多个光场上的后续匹配对应，当SfM需要唯一点时，边缘点不是唯一的，很容易与它们的相邻特征混淆。

发明内容

本发明的目的是提供基于EPI_Volume的LF_SURF光场图像特征匹配方法，克服了现有的光场图像特征检测方法检测出的特征点不稳定，计算复杂度高，没有对特征点进行描述做进一步匹配的问题。

本发明所采用的技术方案是：基于EPI_Volume的LF_SURF光场图像特征匹配方法，具体按照以下步骤实施：

步骤1、取两张在不同视角下拍摄的具有相同场景的光场图像，将第一张光场图像读入至MATLAB软件中进行解码得到光场图像信息，利用光场图像信息得到光场图像五维矩阵[s,t,u,v,3]；

步骤2、利用步骤1得到的光场图像五维矩阵计算得到四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵；

步骤3、分别对四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵进行SURF特征点检测得到各自的候选特征点并进行筛选得到精确特征点，再将四维水平EPI_Volume矩阵和四维垂直EPI_Volume矩阵上的精确特征点合并得到光场图像精确特征点；

步骤4、提取每个光场图像精确特征点在四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵中的Harr小波特征，并在四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵上分别生成64维特征描述向量，再将每个光场图像精确特征点在四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵上生成的64维特征描述向量串联，使得每个光场图像精确特征点生成128维特征描述向量；

步骤5、重复步骤1至步骤5，对第二张光场图像进行相同的处理使得第二张光场图像中的每个特征点生成128维特征描述向量，依次计算第一张光场图像的每个特征点的特征描述向量与第二张光场图像的所有特征点的特征描述向量之间的欧式距离，并将第一张光场图像的特征点与第二张光场图像的特征点按照欧式距离进行相似性度量进而完成特征点匹配；

步骤6、利用MSAC算法筛除步骤5匹配结果中的错误匹配，并计算得到特征匹配的精确率，根据特征匹配的精确率对特征匹配的正确性进行验证。

本发明的特点还在于，

步骤1具体按照如下操作进行：

步骤1.1、将光场图像读入至MATLAB软件的imread函数中解析得到光场图像真实大小，将光场图像对应的文件读入至MATLAB软件的dlmread函数中解析得到光场图像宏像素之间的水平间隔、垂直间隔以及光场图像位置分辨率，利用光场图像宏像素之间的水平间隔、垂直间隔计算得到光场图像角度分辨率，具体操作如式(1)所示；

u＝round(x)

v＝round(y) (1)

式中，x、y分别表示光场图像宏像素之间的水平间隔、垂直间隔，[u,v]表示光场图像角度分辨率；

步骤1.2、利用光场图像位置分辨率计算得到光场图像对应的理论图像大小，具体操作如式(2)所示：

s*u＝M'

t*v＝N' (2)

式中，[s,t]表示光场图像位置分辨率，[M',N']表示光场图像对应的理论图像大小；

步骤1.3、计算光场图像真实大小与理论图像大小的差值，具体操作如式(3)所示：

Δx＝M'-M,Δy＝N'-N (3)

式中，[M,N]表示光场图像真实大小，[M',N']表示理论图像大小，Δx、Δy表示光场图像真实大小与理论图像大小的差值；

步骤1.4、利用光场图像真实大小与理论图像大小的差值对光场图像的真实大小进行更新，得到更新后的光场图像三维矩阵[M',N',3]；

步骤1.5、利用MATLAB软件的reshape函数对光场图像三维矩阵[M',N',3]进行重排列，得到光场图像五维矩阵[s,t,u,v,3]。

步骤1.4中的更新具体操作为：在光场图像的真实大小矩阵[M,N]的最末行后补Δx行的0，在光场图像的真实大小矩阵[M,N]的最末列后补Δy列的0。

步骤2具体按照如下操作进行：

步骤2.1、利用光场图像五维矩阵[s,t,u,v,3]的光场图像角度分辨率计算得到光场图像角度分辨率的中间行和中间列，具体操作如式(4)所示：

u'＝ceil(u/2)

v'＝ceil(v/2) (4)

式中，u'表示光场图像角度分辨率的中间行，v'表示光场图像角度分辨率的中间列。

步骤2.2、使用MATLAB的squeeze函数对五维光场矩阵[s,t,u,v,3]中角度分辨率分别为[u',v]和[u,v']的光场图像视图进行提取，得到四维水平EPI_Volume矩阵和四维垂直EPI_Volume矩阵。

步骤3具体按照如下操作进行：

步骤3.1、使用MATLAB软件的squeeze函数分别提取四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵的每一个角度分辨率对应的三维矩阵，分别得到四维水平EPI_Volume矩阵的v个三维矩阵EPI_r和四维垂直EPI_Volume矩阵的u个三维矩阵EPI_c；

步骤3.2、使用MATLAB软件的rgb2gray函数分别对每个三维矩阵EPI_r、EPI_c进行灰度化处理，再使用MATLAB软件的detectSURFFeatures函数分别对灰度化处理后的三维矩阵EPI_r、EPI_c进行SURF特征点检测得到每个三维矩阵EPI_r、EPI_c上的候选特征点，最后使用MATLAB软件的round函数分别对每个三维矩阵EPI_r、EPI_c上的候选特征点进行向上取整，分别得到每个三维矩阵EPI_r上的候选特征点location_x[m,n,σ,v]、每个三维矩阵EPI_c上的候选特征点location_y[m,n,σ,u]，location_x[m,n,σ,v]包含三维矩阵EPI_r上的候选特征点位置信息[m,n]、尺度信息σ以及在光场图像中的角度分辨率v，location_y[m,n,σ,u]包含三维矩阵EPI_c上的候选特征点位置信息[m,n]、尺度信息σ以及在光场图像中的角度分辨率u；

步骤3.3、将每一个location_x[m,n,σ,v]投影到水平EPI_Volume矩阵上的第n个二维水平切片上形成第一投影图像，对第一投影图像进行hough线检测得到由候选特征点组成的关键位置线以及关键位置线与坐标系原点之间所连垂线与x轴的夹角，筛选出垂线与x轴的夹角在[-45°,45°]之间的关键位置线、候选特征点的个数大于二分之一光场图像水平采样角度的关键位置线，同时对交叉的关键位置线，筛选出含有最多候选特征点个数的关键位置线，则筛选出的关键位置线上的候选特征点为在四维水平EPI_Volume矩阵上的精确光场特征点；

步骤3.4、将每一个location_y[m,n,σ,u]投影到垂直EPI_Volume矩阵上的第m个2维垂直切片上形成第二投影图像，对第二投影图像进行hough线检测得到由候选特征点组成的关键位置线以及关键位置线与坐标系原点之间所连垂线与x轴的夹角，筛选出垂线与x轴的夹角在[0°,89°]之间的关键位置线、候选特征点的个数大于二分之一光场图像垂直采样角度的关键位置线，同时对交叉的关键位置线，筛选出含有最多候选特征点个数的关键位置线，则筛选出的关键位置线上的候选特征点为在四维垂直EPI_Volume矩阵上的精确光场特征点；

步骤3.5、将在四维水平EPI_Volume矩阵上的精确光场特征点与在四维垂直EPI_Volume矩阵上的精确光场特征点合并得到光场图像精确特征点。

步骤4具体按照如下操作进行：提取每个光场图像精确特征点在四维水平EPI_Volume矩阵的对应层和对应尺度下的圆形区域内的Harr小波特征，并将圆形区域以60°圆周角等分为多个扇形，统计每个扇形内光场图像精确特征点的水平、垂直Harr小波特征的总和，再将每个扇形旋转0.2弧度统计每个扇形内的Harr小波特征值，将具有最大Harr小波值的扇形方向作为光场图像精确特征点的主方向，再沿着光场图像精确特征点的主方向，在光场图像精确特征点周围4*4像素区域内取一个矩形块，等分矩形区域为十六个子区域，在每个子区域内统计相对于光场图像精确特征点主方向为水平方向的25个像素的第一Harr小波特征以及相对于光场图像精确特征点主方向为垂直方向的25个像素的第二Harr小波特征，计算第一Harr小波特征、第二Harr小波特征的绝对值，并将第一Harr小波特征的值、第二Harr小波特征的值、第一Harr小波特征的绝对值、第二Harr小波特征的绝对值作为子区域的特征向量，将十六个子区域的特征向量联合作为每个光场图像精确特征点的描述向量，从而每个光场图像精确特征点在四维水平EPI_Volume矩阵上生成64维描述向量，类似地，每个光场图像精确特征点在四维垂直EPI_Volume矩阵上生成64维描述向量，将每个光场图像精确特征点在四维水平EPI_Volume矩阵和四维垂直EPI_Volume矩阵上生成的特征向量串联，使得每个光场图像精确特征点生成128维特征描述向量。

步骤5中相似性度量的具体操作为：对于第一张光场图像中的每个特征点来说，在其与第二张光场图像的所有特征点计算得到的欧式距离中筛选出两个最小的欧式距离d1、d2，其中d1＜d2按照式(5)计算得到相似性阈值，当相似性阈值小于预先设置值时确认d1代表的第二张光场图像的特征点与此特征点匹配成功，否则认为此特征点在第二张光场图像中没有匹配的特征点，类似地，对第一张光场图像中的所有特征点一一进行相似性度量直至完成所有特征点匹配，式(5)如下所示：

Radio＝d1/d2 (5)。

预先设置值大小为0.85。

步骤6的具体包括如下步骤：

步骤6.1、将步骤5匹配成功的每对特征点输入至MATLAB软件的estimateGeometricTransform函数中进行迭代直至寻找到最优参数模型，删除不符合最优参数模型的特征点，从而筛除错误匹配；

步骤6.2、利用单应性矩阵对步骤6.1中符合最优参数模型的特征点进行验证，得到特征点正确匹配个数、错误匹配个数，并利用式(6)计算得到特征点匹配的精确率，式(6)如下所示：

Precision＝1-false_matches/(correct_matches+flase_matches)(6)

式中，false_matches为特征点错误匹配个数，correct_matches为特征点正确匹配个数，Precison为特征匹配结果的精确率。

本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法的有益效果是：本发明提出一种基于EPI_Volume的LF_SURF光场图像特征匹配方法，通过提取四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵并进一步在对四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵上进行SURF特征点检测并筛选能够得到光场图像上稳定存在的特征点，并大大降低了光场图像特征检测的计算复杂度；本申请通过在EPI_Volume矩阵上对特征点进行描述进而利用两个特征点间特征向量之间的欧氏距离来确定匹配度进行特征匹配，并在匹配的结果上使用MSAC算法剔除错误匹配结果，成功地将光场图像进行特征匹配，并保证了匹配的精确率。

附图说明

图1是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法步骤的流程框架图；

图2是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法步骤1的流程框架图；

图3是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法步骤3的流程框架图；

图4是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法实施例中第一张光场图像；

图5是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法实施例中第二张光场图像；

图6是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法实施例中第一张光场图像的四维水平EPI_Volume矩阵示意图；

图7是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法实施例中第一张光场图像的四维垂直EPI_Volume矩阵示意图；

图8是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法实施例中第一张光场图像经过步骤3处理后将光场图像精确特征点显示在光场图像中间采样角度上的示意图；

图9是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法实施例中第二张光场图像经过步骤3处理后将光场图像精确特征点显示在光场图像中间采样角度上的示意图；

图10是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法实施例中第一张光场图像与第二张图像经过步骤5处理后的特征点匹配示意图；

图11是本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法实施例中第一张光场图像与第二张图像经过步骤6处理后的特征点匹配示意图；

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法，具体按照如图1所示的步骤实施：

步骤1、取两张在不同视角下拍摄的具有相同场景的光场图像，将第一张光场图像读入至MATLAB软件中进行解码得到光场图像信息，利用光场图像信息得到光场图像五维矩阵[s,t,u,v,3]；

步骤2、利用步骤1得到的光场图像五维矩阵计算得到四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵；

步骤3、分别对四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵进行SURF特征点检测得到各自的候选特征点并进行筛选得到精确特征点，再将四维水平EPI_Volume矩阵和四维垂直EPI_Volume矩阵上的精确特征点合并得到光场图像精确特征点；

步骤4、提取每个光场图像精确特征点在四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵中的Harr小波特征，并在四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵上分别生成64维特征描述向量，再将每个光场图像精确特征点在四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵上生成的64维特征描述向量串联，使得每个光场图像精确特征点生成128维特征描述向量；

步骤5、重复步骤1至步骤5，对第二张光场图像进行相同的处理使得第二张光场图像中的每个特征点生成128维特征描述向量，依次计算第一张光场图像的每个特征点的特征描述向量与第二张光场图像的所有特征点的特征描述向量之间的欧式距离，并将第一张光场图像的特征点与第二张光场图像的特征点按照欧式距离进行相似性度量进而完成特征点匹配；

步骤6、利用MSAC算法筛除步骤5匹配结果中的错误匹配，并计算得到特征匹配的精确率，根据特征匹配的精确率对特征匹配的正确性进行验证。

具体地，步骤1具体按照图2所示的步骤进行：

步骤1.1、将光场图像读入至MATLAB软件的imread函数中解析得到光场图像真实大小，将光场图像对应的文件读入至MATLAB软件的dlmread函数中解析得到光场图像宏像素之间的水平间隔、垂直间隔以及光场图像位置分辨率，利用光场图像宏像素之间的水平间隔、垂直间隔计算得到光场图像角度分辨率，具体操作如式(1)所示；

u＝round(x)

v＝round(y) (1)

式中，x、y分别表示光场图像宏像素之间的水平间隔、垂直间隔，[u,v]表示光场图像角度分辨率；

步骤1.2、利用光场图像位置分辨率计算得到光场图像对应的理论图像大小，具体操作如式(2)所示：

s*u＝M'

t*v＝N' (2)

式中，[s,t]表示光场图像位置分辨率，[M',N']表示光场图像对应的理论图像大小；

步骤1.3、计算光场图像真实大小与理论图像大小的差值，具体操作如式(3)所示：

Δx＝M'-M,Δy＝N'-N (3)

式中，[M,N]表示光场图像真实大小，[M',N']表示理论图像大小，Δx、Δy表示光场图像真实大小与理论图像大小的差值；

步骤1.4、利用光场图像真实大小与理论图像大小的差值对光场图像的真实大小进行更新，得到更新后的光场图像三维矩阵[M',N',3]；

步骤1.5、利用MATLAB软件的reshape函数对光场图像三维矩阵[M',N',3]进行重排列，得到光场图像五维矩阵[s,t,u,v,3]。

具体地，步骤1.4中的更新具体操作为：在光场图像的真实大小矩阵[M,N]的最末行后补Δx行的0，在光场图像的真实大小矩阵[M,N]的最末列后补Δy列的0。

具体地，步骤2具体按照如下操作进行：

步骤2.1、利用光场图像五维矩阵[s,t,u,v,3]的光场图像角度分辨率计算得到光场图像角度分辨率的中间行和中间列，具体操作如式(4)所示：

u'＝ceil(u/2)

v'＝ceil(v/2) (4)

式中，u'表示光场图像角度分辨率的中间行，v'表示光场图像角度分辨率的中间列。

步骤2.2、使用MATLAB的squeeze函数对五维光场矩阵[s,t,u,v,3]中角度分辨率分别为[u',v]和[u,v']的光场图像视图进行提取，得到四维水平EPI_Volume矩阵和四维垂直EPI_Volume矩阵。

具体地，步骤3具体按照如图3所示的步骤进行：

步骤3.1、使用MATLAB软件的squeeze函数分别提取四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵的每一个角度分辨率对应的三维矩阵，分别得到四维水平EPI_Volume矩阵的v个三维矩阵EPI_r和四维垂直EPI_Volume矩阵的u个三维矩阵EPI_c；

步骤3.2、使用MATLAB软件的rgb2gray函数分别对每个三维矩阵EPI_r、EPI_c进行灰度化处理，再使用MATLAB软件的detectSURFFeatures函数分别对灰度化处理后的三维矩阵EPI_r、EPI_c进行SURF特征点检测得到每个三维矩阵EPI_r、EPI_c上的候选特征点，最后使用MATLAB软件的round函数分别对每个三维矩阵EPI_r、EPI_c上的候选特征点进行向上取整，分别得到每个三维矩阵EPI_r上的候选特征点location_x[m,n,σ,v]、每个三维矩阵EPI_c上的候选特征点location_y[m,n,σ,u]；

步骤3.3、将每一个location_x[m,n,σ,v]投影到水平EPI_Volume矩阵上的第n个二维水平切片上形成第一投影图像，对第一投影图像进行hough线检测得到由候选特征点组成的关键位置线以及关键位置线与坐标系原点之间所连垂线与x轴的夹角，筛选出垂线与x轴的夹角在[-45°,45°]之间的关键位置线、候选特征点的个数大于二分之一光场图像水平采样角度的关键位置线，同时对交叉的关键位置线，筛选出含有最多候选特征点个数的关键位置线，则筛选出的关键位置线上的候选特征点为在四维水平EPI_Volume矩阵上的精确光场特征点；

步骤3.4、将每一个location_y[m,n,σ,u]投影到垂直EPI_Volume矩阵三维矩阵EPI_c上的第m个2维垂直切片上形成第二投影图像，对第二投影图像进行hough线检测得到由候选特征点组成的关键位置线以及关键位置线与坐标系原点之间所连垂线与x轴的夹角，筛选出垂线与x轴的夹角在[0°,89°]之间的关键位置线、候选特征点的个数大于二分之一光场图像垂直采样角度的关键位置线，同时对交叉的关键位置线，筛选出含有最多候选特征点个数的关键位置线，则筛选出的关键位置线上的候选特征点为在四维垂直EPI_Volume矩阵上的精确光场特征点；

步骤3.5、将在四维水平EPI_Volume矩阵上的精确光场特征点与在四维垂直EPI_Volume矩阵上的精确光场特征点合并得到光场图像精确特征点。

具体地，步骤4具体按照如下操作进行：提取每个光场图像精确特征点在四维水平EPI_Volume矩阵的对应层和对应尺度下的圆形区域内的Harr小波特征，并将圆形区域以60°圆周角等分为多个扇形，统计每个扇形内光场图像精确特征点的水平、垂直Harr小波特征的总和，再将每个扇形旋转0.2弧度统计每个扇形内的Harr小波特征值，将具有最大Harr小波值的扇形方向作为光场图像精确特征点的主方向，再沿着光场图像精确特征点的主方向，在光场图像精确特征点周围4*4像素区域内取一个矩形块，等分矩形区域为十六个子区域，在每个子区域内统计相对于光场图像精确特征点主方向为水平方向的25个像素的第一Harr小波特征以及相对于光场图像精确特征点主方向为垂直方向的25个像素的第二Harr小波特征，计算第一Harr小波特征、第二Harr小波特征的绝对值，并将第一Harr小波特征的值、第二Harr小波特征的值、第一Harr小波特征的绝对值、第二Harr小波特征的绝对值作为子区域的特征向量，将十六个子区域的特征向量联合作为每个光场图像精确特征点的描述向量，从而每个光场图像精确特征点在四维水平EPI_Volume矩阵上生成64维描述向量，类似地，每个光场图像精确特征点在四维垂直EPI_Volume矩阵上生成64维描述向量，将每个光场图像精确特征点在四维水平EPI_Volume矩阵和四维垂直EPI_Volume矩阵上生成的特征向量串联，使得每个光场图像精确特征点生成128维特征描述向量。

具体地，步骤5中相似性度量的具体操作为：对于第一张光场图像中的每个特征点来说，在其与第二张光场图像的所有特征点计算得到的欧式距离中筛选出两个最小的欧式距离d1、d2，其中d1＜d2，按照式(5)计算得到相似性阈值，当相似性阈值小于预先设置值时确认d1代表的第二张光场图像的特征点与此特征点匹配成功，否则认为此特征点在第二张光场图像中没有匹配的特征点，类似地，对第一张光场图像中的所有特征点一一进行相似性度量直至完成所有特征点匹配，式(5)如下所示：

Radio＝d1/d2 (5)。

进一步地，预先设置值大小为0.85。

具体地，步骤6的具体包括如下步骤：

步骤6.1、将步骤5匹配成功的每对特征点输入至MATLAB软件的estimateGeometricTransform函数中进行迭代直至寻找到最优参数模型，删除不符合最优参数模型的特征点，从而筛除错误匹配；

步骤6.2、利用单应性矩阵对步骤6.1中符合最优参数模型的特征点进行验证，得到特征点正确匹配个数、错误匹配个数，并利用式(6)计算得到特征点匹配的精确率，式(6)如下所示：

Precision＝1-false_matches/(correct_matches+flase_matches)

(6)

式中，false_matches为特征点错误匹配个数，correct_matches为特征点正确匹配个数，Precison为特征匹配结果的精确率。

下面以具体实施例对本发明基于EPI_Volume的LF_SURF光场图像特征匹配方法进行说明：

实验准备：取两张在不同视角下拍摄的具有相同场景的光场图像，其中第一张光场图像如图4所示，第二张光场图像如图5所示；

实验操作：将第一张光场图像进行解码得到光场图像五维矩阵[s,t,u,v,3]，再计算得到如图6所示的四维水平EPI_Volume矩阵、如图7所示的四维垂直EPI_Volume矩阵，再在四维水平EPI_Volume矩阵、四维垂直EPI_Volume上进行SURF特征点检测，将四维水平EPI_Volume矩阵和四维垂直EPI_Volume矩阵上的精确特征点合并得到光场图像精确特征点，将光场图像精确特征点显示在光场图像中间采样角度上，具体如图8所示；类似地，得到第二张光场图像上的光场图像精确特征点，将光场图像精确特征点显示在光场图像中间采样角度上，具体如图9所示，再将第一、二张光场图像上的光场图像精确特征点按照欧式距离进行相似性度量而匹配，匹配结果如图10所示，图中线条的起始点分别代表两张光场图像上匹配到的特征点对，再将两张光场图像的匹配到的特征点利用MSAC算法剔除匹配结果中的错误匹配，结果如图11所示，并计算得到特征匹配的精确率约为98％。

实验总结：从匹配结果图11所示，可以看出本发明提出的基于EPI_Volume的LF_SURF光场图像特征匹配方法可以找到不同视角下的同一场景下的两张光场图像上稳定存在的特征点并进行的特征匹配，并在此基础上利用MSAC算法剔除匹配结果中的错误匹配，得到的高精确率的光场图像特征匹配结果。可见本方法克服了现有的光场图像特征点检测方法所检测出的特征点不稳定、计算时间复杂度且没有对检测出的特征进行描述从而做进一步匹配等问题，可以很好的提高光场图像特征匹配的精确率从而可以应用到图像配准、姿态估计、三维重建、位置识别等视觉领域。

本发明提出的基于EPI_Volume的LF_SURF光场图像特征匹配方法，通过在水平EPI_Volume矩阵和垂直EPI_Volume矩阵上分别进行候选特征点检测并利用光场空间的线性约束来确定稳定的光场特征点，并在水平EPI_Volume矩阵和垂直EPI_Volume矩阵上对特征点进行描述进而利用两个特征点之间特征向量的欧氏距离来进行特征匹配，进而在上一步的匹配结果上使用MSAC算法剔除错误匹配结果并利用单应性矩阵计算特征匹配的精确率。实验证明本项目提出的方法能够有效提升光场图像特征点检测的重复率和特征点匹配的精度。

Claims (9)

1.基于EPI_Volume的LF_SURF光场图像特征匹配方法，其特征在于，具体按照以下步骤实施：

步骤1、取两张在不同视角下拍摄的具有相同场景的光场图像，将第一张光场图像读入至MATLAB软件中进行解码得到光场图像信息，利用光场图像信息得到光场图像五维矩阵[s,t,u,v,3]；

步骤2、利用步骤1得到的光场图像五维矩阵计算得到四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵；

步骤3、分别对四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵进行SURF特征点检测得到各自的候选特征点并进行筛选得到精确特征点，再将四维水平EPI_Volume矩阵和四维垂直EPI_Volume矩阵上的精确特征点合并得到光场图像精确特征点；

步骤4、提取每个光场图像精确特征点在四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵中的Harr小波特征，并在四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵上分别生成64维特征描述向量，再将每个光场图像精确特征点在四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵上生成的64维特征描述向量串联，使得每个光场图像精确特征点生成128维特征描述向量；

步骤5、重复步骤1至步骤5，对第二张光场图像进行相同的处理使得第二张光场图像中的每个特征点生成128维特征描述向量，依次计算第一张光场图像的每个特征点的特征描述向量与第二张光场图像的所有特征点的特征描述向量之间的欧式距离，并将第一张光场图像的特征点与第二张光场图像的特征点按照欧式距离进行相似性度量进而完成特征点匹配；

步骤6、利用MSAC算法筛除步骤5匹配结果中的错误匹配，并计算得到特征匹配的精确率，根据特征匹配的精确率对特征匹配的正确性进行验证。

2.根据权利要求1所述的基于EPI_Volume的LF_SURF光场图像特征匹配方法，其特征在于，所述步骤1具体按照如下操作进行：

步骤1.1、将光场图像读入至MATLAB软件的imread函数中解析得到光场图像真实大小，将光场图像对应的文件读入至MATLAB软件的dlmread函数中解析得到光场图像宏像素之间的水平间隔、垂直间隔以及光场图像位置分辨率，利用光场图像宏像素之间的水平间隔、垂直间隔计算得到光场图像角度分辨率，具体操作如式(1)所示；

u＝round(x)

v＝round(y) (1)

式中，x、y分别表示光场图像宏像素之间的水平间隔、垂直间隔，[u,v]表示光场图像角度分辨率；

步骤1.2、利用光场图像位置分辨率计算得到光场图像对应的理论图像大小，具体操作如式(2)所示：

s*u＝M'

t*v＝N' (2)

式中，[s,t]表示光场图像位置分辨率，[M',N']表示光场图像对应的理论图像大小；

步骤1.3、计算光场图像真实大小与理论图像大小的差值，具体操作如式(3)所示：

Δx＝M'-M,Δy＝N'-N (3)

式中，[M,N]表示光场图像真实大小，[M',N']表示理论图像大小，Δx、Δy表示光场图像真实大小与理论图像大小的差值；

步骤1.4、利用光场图像真实大小与理论图像大小的差值对光场图像的真实大小进行更新，得到更新后的光场图像三维矩阵[M',N',3]；

步骤1.5、利用MATLAB软件的reshape函数对光场图像三维矩阵[M',N',3]进行重排列，得到光场图像五维矩阵[s,t,u,v,3]。

3.根据权利要求2所述的基于EPI_Volume的LF_SURF光场图像特征匹配方法，其特征在于，所述步骤1.4中的更新具体操作为：在光场图像的真实大小矩阵[M,N]的最末行后补Δx行的0，在光场图像的真实大小矩阵[M,N]的最末列后补Δy列的0。

4.根据权利要求1所述的基于EPI_Volume的LF_SURF光场图像特征匹配方法，其特征在于，所述步骤2具体按照如下操作进行：

步骤2.1、利用光场图像五维矩阵[s,t,u,v,3]的光场图像角度分辨率计算得到光场图像角度分辨率的中间行和中间列，具体操作如式(4)所示：

u'＝ceil(u/2)

v'＝ceil(v/2) (4)

式中，u'表示光场图像角度分辨率的中间行，v'表示光场图像角度分辨率的中间列。

步骤2.2、使用MATLAB的squeeze函数对五维光场矩阵[s,t,u,v,3]中角度分辨率分别为[u',v]和[u,v']的光场图像视图进行提取，得到四维水平EPI_Volume矩阵和四维垂直EPI_Volume矩阵。

5.根据权利要求1所述的基于EPI_Volume的LF_SURF光场图像特征匹配方法，其特征在于，所述步骤3具体按照如下操作进行：

步骤3.1、使用MATLAB软件的squeeze函数分别提取四维水平EPI_Volume矩阵、四维垂直EPI_Volume矩阵的每一个角度分辨率对应的三维矩阵，分别得到四维水平EPI_Volume矩阵的v个三维矩阵EPI_r和四维垂直EPI_Volume矩阵的u个三维矩阵EPI_c；

步骤3.2、使用MATLAB软件的rgb2gray函数分别对每个三维矩阵EPI_r、EPI_c进行灰度化处理，再使用MATLAB软件的detectSURFFeatures函数分别对灰度化处理后的三维矩阵EPI_r、EPI_c进行SURF特征点检测得到每个三维矩阵EPI_r、EPI_c上的候选特征点，最后使用MATLAB软件的round函数分别对每个三维矩阵EPI_r、EPI_c上的候选特征点进行向上取整，分别得到每个三维矩阵EPI_r上的候选特征点location_x[m,n,σ,v]、每个三维矩阵EPI_c上的候选特征点location_y[m,n,σ,u]；

步骤3.3、将每一个location_x[m,n,σ,v]投影到水平EPI_Volume矩阵上的第n个二维水平切片上形成第一投影图像，对第一投影图像进行hough线检测得到由候选特征点组成的关键位置线以及关键位置线与坐标系原点之间所连垂线与x轴的夹角，筛选出所述垂线与x轴的夹角在[-45°,45°]之间的关键位置线、候选特征点的个数大于二分之一光场图像水平采样角度的关键位置线，同时对交叉的关键位置线，筛选出含有最多候选特征点个数的关键位置线，则筛选出的关键位置线上的候选特征点为在四维水平EPI_Volume矩阵上的精确光场特征点；

步骤3.4、将每一个location_y[m,n,σ,u]投影到垂直EPI_Volume矩阵上的第m个2维垂直切片上形成第二投影图像，对第二投影图像进行hough线检测得到由候选特征点组成的关键位置线以及关键位置线与坐标系原点之间所连垂线与x轴的夹角，筛选出所述垂线与x轴的夹角在[0°,89°]之间的关键位置线、候选特征点的个数大于二分之一光场图像垂直采样角度的关键位置线，同时对交叉的关键位置线，筛选出含有最多候选特征点个数的关键位置线，则筛选出的关键位置线上的候选特征点为在四维垂直EPI_Volume矩阵上的精确光场特征点；

步骤3.5、将在四维水平EPI_Volume矩阵上的精确光场特征点与在四维垂直EPI_Volume矩阵上的精确光场特征点合并得到光场图像精确特征点。

6.根据权利要求1所述的基于EPI_Volume的LF_SURF光场图像特征匹配方法，其特征在于，所述步骤4具体按照如下操作进行：提取每个光场图像精确特征点在四维水平EPI_Volume矩阵的对应层和对应尺度下的圆形区域内的Harr小波特征，并将所述圆形区域以60°圆周角等分为多个扇形，统计每个扇形内光场图像精确特征点的水平、垂直Harr小波特征的总和，再将每个扇形旋转0.2弧度统计每个扇形内的Harr小波特征值，将具有最大Harr小波值的扇形方向作为光场图像精确特征点的主方向，再沿着光场图像精确特征点的主方向，在光场图像精确特征点周围4*4像素区域内取一个矩形块，等分所述矩形区域为十六个子区域，在每个子区域内统计相对于光场图像精确特征点主方向为水平方向的25个像素的第一Harr小波特征以及相对于光场图像精确特征点主方向为垂直方向的25个像素的第二Harr小波特征，计算第一Harr小波特征、第二Harr小波特征的绝对值，并将第一Harr小波特征的值、第二Harr小波特征的值、第一Harr小波特征的绝对值、第二Harr小波特征的绝对值作为子区域的特征向量，将十六个子区域的特征向量联合作为每个光场图像精确特征点的描述向量，从而每个光场图像精确特征点在四维水平EPI_Volume矩阵上生成64维描述向量，类似地，每个光场图像精确特征点在四维垂直EPI_Volume矩阵上生成64维描述向量，将每个光场图像精确特征点在四维水平EPI_Volume矩阵和四维垂直EPI_Volume矩阵上生成的特征向量串联，使得每个光场图像精确特征点生成128维特征描述向量。

7.根据权利要求1所述的基于EPI_Volume的LF_SURF光场图像特征匹配方法，其特征在于，所述步骤5中相似性度量的具体操作为：对于第一张光场图像中的每个特征点来说，在其与第二张光场图像的所有特征点计算得到的欧式距离中筛选出两个最小的欧式距离d1、d2，其中d1＜d2，按照式(5)计算得到相似性阈值，当相似性阈值小于预先设置值时确认d1代表的第二张光场图像的特征点与此特征点匹配成功，否则认为此特征点在第二张光场图像中没有匹配的特征点，类似地，对第一张光场图像中的所有特征点一一进行相似性度量直至完成所有特征点匹配，所述式(5)如下所示：

Radio＝d1/d2 (5)。

8.根据权利要求7所述的基于EPI_Volume的LF_SURF光场图像特征匹配方法，其特征在于，所述预先设置值大小为0.85。

9.根据权利要求1所述的基于EPI_Volume的LF_SURF光场图像特征匹配方法，其特征在于，所述步骤6的具体包括如下步骤：

步骤6.1、将步骤5匹配成功的每对特征点输入至MATLAB软件的estimateGeometricTransform函数中进行迭代直至寻找到最优参数模型，删除不符合所述最优参数模型的特征点，从而筛除错误匹配；

步骤6.2、利用单应性矩阵对步骤6.1中符合最优参数模型的特征点进行验证，得到特征点正确匹配个数、错误匹配个数，并利用式(6)计算得到特征点匹配的精确率，式(6)如下所示：

Precision＝1-false_matches/(correct_matches+flase_matches) (6)

式中，false_matches为特征点错误匹配个数，correct_matches为特征点正确匹配个数，Precison为特征匹配结果的精确率。

Images