CN113191369B - 一种基于光场角度域变化矩阵的特征点检测方法 - Google Patents

Abstract

本发明公开了一种基于光场角度域变化矩阵的特征点检测方法，具体包括：对光场图像进行解码、预处理，利用光场不同角度间的变化关系，通过提取子孔径图像，对中心子孔径图像进行边缘检测，构建光场角度域变化矩阵M，在角度域变化矩阵M中筛选特定像素点进行差值阈值判断，进而提取出光场数据中的特定点作为特征点，此外，该方法提取出的特征点适合于包含非朗伯表面目标的场景，对视角变化具有更高的鲁棒性，拓宽了特征点检测与识别的适用条件，计算出来的特征点效率高。

Description

一种基于光场角度域变化矩阵的特征点检测方法

技术领域

本发明属于计算机视觉与计算摄影学领域，具体涉及一种基于光场角度域变化矩阵的特征点检测方法。

背景技术

图像特征点检测是计算机视觉应用的一个重要基础。依据图像特征点检测的经典应用包括图像拼接、场景重建、目标识别等。近年来，为突破传统计算机视觉理论和应用的成像性能瓶颈，光场成像技术将计算机视觉及计算摄影学理论相结合，形成了成像领域新的研究热点。光场成像技术通过创新成像模型及数据采集的方式，可同时记录光线传播过程中的位置和角度信息。光场成像技术的本质是采用双平面模型，通过在成像光路上增加微透镜阵列或编码孔径，采用四维参数化方式对空间中光线进行表达，如用(u,v,s,t)来表示每条光线，即一条光线可用其穿过平行双平面的两个坐标点(u,v)和(s,t)唯一确定。由于光场成像数据包含空间光线的角度信息和位置信息，其可实现“先拍照，后聚焦”、景深可控、场景深度可计算等一系列创新成像效果。

目前，图像特征点检测常用方法包括对图像区域、边缘、斑块、角点等进行检测的各种算子，如Harris、SIFT、HoG、SURF、FAST等。然而，对于光场图像特征检测方法仍处于理论探索期。斯坦福大学Donald在传统二维图像上的SIFT特征检测以及描述算子进行扩展，提出四维LIFF特征点，算法效率更高，计算速度更快，基于极平面的光场图像特征检测，无论何种方式都可能存在噪声干扰、图片过大、计算耗时长等问题。本发明提出一种基于光场角度域变化矩阵的特征点检测方法，该方法有效利用了光场不同角度间的变化关系，构建了光场角度域变化矩阵，进而由该矩阵提取出光场数据中的特定点作为特征点。该方法所检测的特征点，对于视角变化更为稳定，能够更好地对场景中非朗伯目标进行检测和表述，拓宽了特征点检测与识别的适用条件。

发明内容

本发明提出一种基于光场角度域变化矩阵的特征点检测方法，即依据光场不同视角的变化特性筛选特征点，解决现有特征点提取对于非朗伯表面视角变化不稳定的问题。

为了实现上述目的，本发明所采用的技术方案为：

一种基于光场角度域变化矩阵的特征点检测方法，具体按照以下步骤实施：

步骤1，输入光场图像，对光场图像进行解码、预处理；

步骤2，对预处理后的光场图像提取对应的子孔径图像矩阵，并对其进行编号从(1,1)到(u,v)；

步骤3，从步骤2提取出的u*v张不同视角的子孔径图像中选择第张子孔径图像，结合Canny算子对图像进行边缘检测，筛选出梯度变化大的点作为候选特征点，并记录对应的候选特征点对应像素点坐标(i,j)；

步骤4，根据步骤3筛选出的候选特征点(i,j)，依次遍历所有子孔径图像相同位置像素点(i,j)，利用梯度公式计算该像素点的梯度值，存储至角度域变化矩阵M(i,j)，具体按照以下方式实施：

步骤4.1，根据候选特征点(i,j)，从(1,1)到(u,v)张子孔径图像依次计算(i,j)像素点的梯度值，利用一阶微分可得到第(u,v)张子孔径图像(i,j)像素点的梯度值为M_(u,v)(i,j)；

步骤4.2，将每一张子孔径图像(i,j)像素点的梯度值存储至角度域变化矩阵M，如公式(1)所示，

依次遍历所有候选特征点，便可得到每个候选特征点(i,j)的角度域变化矩阵M(i,j)，角度域变化矩阵M大小为u行v列；

步骤5，在角度域变化矩阵M(i,j)中选取特定像素点进行做差取绝对值，选定特定阈值进行判断，确定该像素点是否可以视为特征点，具体按照以下方式实施：

以处像素为中心，选择不同视角的子孔径图像的相同像素点与中心像素值/>做差取绝对值，选取特定阈值，若满足超过80％的点的差值均小于阈值，则该像素点都可以视为特征点；

步骤6，重复步骤5，直到将所有将候选特征点遍历结束，并作为最终光场图像特征点。

进一步地，所述步骤1具体按照以下方式实施：

步骤1.1，读入光场图像和其对应的微透镜中心数据文件；读入的微透镜中心数据包括微透镜阵列大小，微透镜阵列的旋转角，微透镜的水平间隔和垂直间隔，微透镜阵列的每个微透镜的中心点的对应坐标；

步骤1.2，依据步骤1.1读取的微透镜阵列的旋转角，对光场图像进行旋转，得到新的光场图像；

步骤1.3，对新的光场图像进行解码标定，将二维光场图像转化为四维坐标，得到二维的位置信息[s,t]和二维的角度信息[u,v]，完成对光场图像的预处理。

进一步地，所述步骤2具体按照以下方式实施：

根据步骤1预处理后的光场图像，将每个微透镜下相同位置的子像素提取出来，按照相对位置重新排列，形成场景在一个视角下的图像，即一张分辨率为s*t的子孔径图像，光场图像的角度域为(u,v)，故可以提取到u*v张不同角度的子孔径图像，并对子孔径图像进行编号从(1,1)到(u,v)。

本发明的有益效果是：

1、本发明利用了光场不同角度间的变化关系，构建角度域变化矩阵，从而由该矩阵提取出特定点作为特征点，该发明提取出的特征点适合于包含非朗伯表面目标的场景，对视角变化具有更高的鲁棒性。

2、本发明通过构建角度域变化矩阵，可以直接反映出不同视角之间的特征变化，在角度域变化矩阵中直接选取特定点进行差值阈值判断，进行有效计算，拓展了特征点检测的条件，计算出来的特征点效率高。

附图说明

图1是本发明一种基于光场角度域变化矩阵的特征点检测方法的全局流程图；

图2是本发明一种基于光场角度域变化矩阵的特征点检测方法的实施例1中的光场图像；

图3是本发明一种基于光场角度域变化矩阵的特征点检测方法法的实施例1中的对应子孔径图像；

图4是本发明一种基于光场角度域变化矩阵的特征点检测方法的实施例1中的对应选取的中心子孔径图像；

图5是本发明一种基于光场角度域变化矩阵的特征点检测方法的实施例1中的对应选取的中心子孔径图像边缘检测结果。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明，以使本发明的优点和特征能更易于被本领域技术人员理解。

如图1所示，一种基于光场角度域变化矩阵的特征点检测方法，具体按照以下步骤实施：

步骤1，输入光场图像，对光场图像进行解码、预处理；

具体按照以下方式实施：

步骤1.1，读入光场图像和其对应的微透镜中心数据文件；读入name_CentersXY.txt文件中的数据包括包括微透镜阵列大小，微透镜阵列的旋转角，微透镜的水平间隔和垂直间隔，微透镜阵列的每个微透镜的中心点的对应坐标；

步骤1.2，依据步骤1.1读取的微透镜阵列的旋转角，对光场图像进行旋转，得到新的光场图像；

步骤1.3，对新的光场图像进行解码标定，将二维光场图像转化为四维坐标，得到二维的位置信息[s,t]和二维的角度信息[u,v]，完成对光场图像的预处理。

步骤2，对预处理后的光场图像提取对应的子孔径图像矩阵，并对其进行编号从(1,1)到(u,v)；

具体按照以下方式实施：

根据步骤1预处理后的光场图像，将每个微透镜下相同位置的子像素提取出来，按照相对位置重新排列，形成场景在一个视角下的图像，即一张分辨率为s*t的子孔径图像，光场图像的角度域为(u,v)，故可以提取到u*v张不同角度的子孔径图像，并对子孔径图像进行编号从(1,1)到(u,v)。

步骤3，从步骤2提取出的u*v张不同视角的子孔径图像中选择第张子孔径图像，结合Canny算子对图像进行边缘检测，筛选出梯度变化大的点作为候选特征点，并记录对应的候选特征点对应像素点坐标(i,j)；

步骤4，根据步骤3筛选出的候选特征点(i,j)，依次遍历所有子孔径图像相同位置像素点(i,j)，利用梯度公式计算该像素点的梯度值，存储至角度域变化矩阵M(i,j)；

具体按照以下方式实施：

步骤4.1，根据候选特征点(i,j)，从(1,1)到(u,v)张子孔径图像依次计算(i,j)像素点的梯度值，利用一阶微分可得到第(u,v)张子孔径图像(i,j)像素点的梯度值为M_(u,v)(i,j)；

步骤4.2，将每一张子孔径图像(i,j)像素点的梯度值存储至角度域变化矩阵M，如公式(1)所示，依次遍历所有候选特征点，便可得到每个候选特征点(i,j)的角度域变化矩阵M(i,j)，角度域变化矩阵M大小为u行v列；

步骤5，在角度域变化矩阵M(i,j)中选取特定像素点进行做差取绝对值，选定特定阈值进行判断，确定该像素点是否可以视为特征点；

具体按照以下方式实施：

以处像素为中心，如表1所示选择不同视角的子孔径图像的相同像素点与中心像素值/>做差取绝对值，选取特定阈值，若满足超过80％的点的差值均小于阈值，则该像素点都可以视为特征点。

表1

步骤6，重复步骤5，直到将所有将候选特征点遍历结束，并作为最终光场图像特征点。

实施例1

本实施例是在matlab2016上实施的；

执行步骤1，输入光场图像，对光场图像进行解码、预处理，具体的：

执行步骤1.1，其中光场图像如图2所示，图像大小为6075*8656*3，其中由微透镜中心数据文件可知，光场图像的微透镜阵列的大小为434*541，微透镜间的水平间隔和垂直间隔分别为16和14；

执行步骤1.2～1.3，得到的四维光场坐标LF4为[434,541,15,17]；

执行步骤2，对预处理后的光场图像提取对应的子孔径图像矩阵，得到的子孔径图像矩阵如图3所示，子孔径图像矩阵的个数为15*17幅，其中每幅子孔径图像的大小均为434*541，编号为(1,1)到(15,17)；

执行步骤3，对第(7,8)张子孔径图像，如图4所示，进行Canny边缘检测，得到的结果如图5所示，并记录所有候选特征点的对应像素坐标(i,j)；

执行步骤4.1，根据候选特征点(i,j)，从(1,1)到(15,17)张子孔径图像依次计算(i,j)像素点的梯度值，利用一阶微分可得到第(15,17)张子孔径图像(i,j)像素点的梯度值为M_(15,17)(i,j)；

执行步骤4.2，将第(1,1)到(15,17)张子孔径图像(i,j)像素点的梯度值存储至角度域变化矩阵M，结果公式(2)所示，依次遍历所有候选特征点，便可得到每个候选特征点(i,j)的角度域变化矩阵M(i,j)，角度域变化矩阵M大小为15行17列；

执行步骤5～6，以M_(7,8)(i,j)像素为中心，以表1为基准选取周围的若干像素点，进行差值阈值判断，若满足超过80％的点的差值均小于阈值，则该像素点都可以视为特征点，最终得到光场图像的特征点。

虽然以上描述了本发明的具体实施方式，但是本领域的技术人员应当理解，这仅是举例说明，本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下，可以对这些实施方式做出多种变更或修改，但这些变更和修改均落入本发明的保护范围。

Claims (3)

1.一种基于光场角度域变化矩阵的特征点检测方法，其特征在于，具体按照以下步骤实施：

步骤1，输入光场图像，对光场图像进行解码、预处理；

步骤2，对预处理后的光场图像提取对应的子孔径图像矩阵，并对其进行编号从(1,1)到(u,v)；

步骤3，从步骤2提取出的u*v张不同视角的子孔径图像中选择第张子孔径图像，结合Canny算子对图像进行边缘检测，筛选出梯度变化大的点作为候选特征点，并记录对应的候选特征点对应像素点坐标(i,j)；

步骤4，根据步骤3筛选出的候选特征点(i,j)，依次遍历所有子孔径图像相同位置像素点(i,j)，利用梯度公式计算该像素点的梯度值，存储至角度域变化矩阵M(i,j)，具体按照以下方式实施：

步骤4.1，根据候选特征点(i,j)，从(1,1)到(u,v)张子孔径图像依次计算(i,j)像素点的梯度值，利用一阶微分可得到第(u,v)张子孔径图像(i,j)像素点的梯度值为M_(u,v)(i,j)；

步骤4.2，将每一张子孔径图像(i,j)像素点的梯度值存储至角度域变化矩阵M，如公式(1)所示，

依次遍历所有候选特征点，便可得到每个候选特征点(i,j)的角度域变化矩阵M(i,j)，角度域变化矩阵M大小为u行v列；

步骤5，在角度域变化矩阵M(i,j)中选取特定像素点进行做差取绝对值，选定特定阈值进行判断，确定该像素点是否可以视为特征点，具体按照以下方式实施：

以处像素为中心，选择不同视角的子孔径图像的相同像素点与中心像素值做差取绝对值，选取特定阈值，若满足超过80％的点的差值均小于阈值，则该像素点都可以视为特征点；

步骤6，重复步骤5，直到将所有将候选特征点遍历结束，并作为最终光场图像特征点。

2.根据权利要求1所述的一种基于光场角度域变化矩阵的特征点检测方法，其特征在于，所述步骤1具体按照以下方式实施：

步骤1.1，读入光场图像和其对应的微透镜中心数据文件；读入的微透镜中心数据包括微透镜阵列大小，微透镜阵列的旋转角，微透镜的水平间隔和垂直间隔，微透镜阵列的每个微透镜的中心点的对应坐标；

步骤1.2，依据步骤1.1读取的微透镜阵列的旋转角，对光场图像进行旋转，得到新的光场图像；

步骤1.3，对新的光场图像进行解码标定，将二维光场图像转化为四维坐标，得到二维的位置信息[s,t]和二维的角度信息[u,v]，完成对光场图像的预处理。

3.根据权利要求1所述的一种基于光场角度域变化矩阵的特征点检测方法，其特征在于，所述步骤2具体按照以下方式实施：

根据步骤1预处理后的光场图像，将每个微透镜下相同位置的子像素提取出来，按照相对位置重新排列，形成场景在一个视角下的图像，即一张分辨率为s*t的子孔径图像，光场图像的角度域为(u,v)，故可以提取到u*v张不同角度的子孔径图像，并对子孔径图像进行编号从(1,1)到(u,v)。