CN113191369A - 一种基于光场角度域变化矩阵的特征点检测方法 - Google Patents
一种基于光场角度域变化矩阵的特征点检测方法 Download PDFInfo
- Publication number
- CN113191369A CN113191369A CN202110383372.7A CN202110383372A CN113191369A CN 113191369 A CN113191369 A CN 113191369A CN 202110383372 A CN202110383372 A CN 202110383372A CN 113191369 A CN113191369 A CN 113191369A
- Authority
- CN
- China
- Prior art keywords
- light field
- sub
- image
- points
- field image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000011159 matrix material Substances 0.000 title claims abstract description 50
- 230000008859 change Effects 0.000 title claims abstract description 46
- 238000001514 detection method Methods 0.000 title description 14
- 238000000034 method Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 7
- 238000003708 edge detection Methods 0.000 claims abstract description 6
- 238000012216 screening Methods 0.000 claims abstract description 4
- 230000003287 optical effect Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 8
- 230000004069 differentiation Effects 0.000 claims description 4
- 238000003384 imaging method Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/211—Selection of the most significant subset of features
- G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于光场角度域变化矩阵的特征点检测方法,具体包括:对光场图像进行解码、预处理,利用光场不同角度间的变化关系,通过提取子孔径图像,对中心子孔径图像进行边缘检测,构建光场角度域变化矩阵M,在角度域变化矩阵M中筛选特定像素点进行差值阈值判断,进而提取出光场数据中的特定点作为特征点,此外,该方法提取出的特征点适合于包含非朗伯表面目标的场景,对视角变化具有更高的鲁棒性,拓宽了特征点检测与识别的适用条件,计算出来的特征点效率高。
Description
技术领域
本发明属于计算机视觉与计算摄影学领域,具体涉及一种基于光场角度域变化矩阵的特征点检测方法。
背景技术
图像特征点检测是计算机视觉应用的一个重要基础。依据图像特征点检测的经典应用包括图像拼接、场景重建、目标识别等。近年来,为突破传统计算机视觉理论和应用的成像性能瓶颈,光场成像技术将计算机视觉及计算摄影学理论相结合,形成了成像领域新的研究热点。光场成像技术通过创新成像模型及数据采集的方式,可同时记录光线传播过程中的位置和角度信息。光场成像技术的本质是采用双平面模型,通过在成像光路上增加微透镜阵列或编码孔径,采用四维参数化方式对空间中光线进行表达,如用(u,v,s,t)来表示每条光线,即一条光线可用其穿过平行双平面的两个坐标点(u,v)和(s,t)唯一确定。由于光场成像数据包含空间光线的角度信息和位置信息,其可实现“先拍照,后聚焦”、景深可控、场景深度可计算等一系列创新成像效果。
目前,图像特征点检测常用方法包括对图像区域、边缘、斑块、角点等进行检测的各种算子,如Harris、SIFT、HoG、SURF、FAST等。然而,对于光场图像特征检测方法仍处于理论探索期。斯坦福大学Donald在传统二维图像上的SIFT特征检测以及描述算子进行扩展,提出四维LIFF特征点,算法效率更高,计算速度更快,基于极平面的光场图像特征检测,无论何种方式都可能存在噪声干扰、图片过大、计算耗时长等问题。本发明提出一种基于光场角度域变化矩阵的特征点检测方法,该方法有效利用了光场不同角度间的变化关系,构建了光场角度域变化矩阵,进而由该矩阵提取出光场数据中的特定点作为特征点。该方法所检测的特征点,对于视角变化更为稳定,能够更好地对场景中非朗伯目标进行检测和表述,拓宽了特征点检测与识别的适用条件。
发明内容
本发明提出一种基于光场角度域变化矩阵的特征点检测方法,即依据光场不同视角的变化特性筛选特征点,解决现有特征点提取对于非朗伯表面视角变化不稳定的问题。
为了实现上述目的,本发明所采用的技术方案为:
一种基于光场角度域变化矩阵的特征点检测方法,其特征在于,具体按照以下步骤实施:
步骤1,输入光场图像,对光场图像进行解码、预处理;
步骤2,对预处理后的光场图像提取对应的子孔径图像矩阵,并对其进行编号从(1,1)到(u,v);
步骤4,根据步骤3筛选出的候选特征点(i,j),依次遍历所有子孔径图像相同位置像素点(i,j),利用梯度公式计算该像素点的梯度值,存储至角度域变化矩阵M(i,j);
步骤5,在角度域变化矩阵M(i,j)中选取特定像素点进行做差取绝对值,选定特定阈值进行判断,确定该像素点是否可以视为特征点;
步骤6,重复步骤5,直到将所有将候选特征点遍历结束,并作为最终光场图像特征点。
进一步地,所述步骤1具体按照以下方式实施:
步骤1.1,读入光场图像和其对应的微透镜中心数据文件;读入的微透镜中心数据包括微透镜阵列大小,微透镜阵列的旋转角,微透镜的水平间隔和垂直间隔,微透镜阵列的每个微透镜的中心点的对应坐标;
步骤1.2,依据步骤1.1读取的微透镜阵列的旋转角,对光场图像进行旋转,得到新的光场图像;
步骤1.3,对新的光场图像进行解码标定,将二维光场图像转化为四维坐标,得到二维的位置信息[s,t]和二维的角度信息[u,v],完成对光场图像的预处理。
进一步地,所述步骤2具体按照以下方式实施:
根据步骤1预处理后的光场图像,将每个微透镜下相同位置的子像素提取出来,按照相对位置重新排列,形成场景在一个视角下的图像,即一张分辨率为s*t的子孔径图像,光场图像的角度域为(u,v),故可以提取到u*v张不同角度的子孔径图像,并对子孔径图像进行编号从(1,1)到(u,v)。
进一步地,所述步骤4具体按照以下方式实施:
步骤4.1,根据候选特征点(i,j),从(1,1)到(u,v)张子孔径图像依次计算(i,j)像素点的梯度值,利用一阶微分可得到第(u,v)张子孔径图像(i,j)像素点的梯度值为M(u,v)(i,j);
步骤4.2,将每一张子孔径图像(i,j)像素点的梯度值存储至角度域变化矩阵M,如公式(1)所示,
依次遍历所有候选特征点,便可得到每个候选特征点(i,j)的角度域变化矩阵M(i,j),角度域变化矩阵M大小为u行v列。
进一步地,所述步骤5具体按照以下方式实施:
本发明的有益效果是:
1、本发明利用了光场不同角度间的变化关系,构建角度域变化矩阵,从而由该矩阵提取出特定点作为特征点,该发明提取出的特征点适合于包含非朗伯表面目标的场景,对视角变化具有更高的鲁棒性。
2、本发明通过构建角度域变化矩阵,可以直接反映出不同视角之间的特征变化,在角度域变化矩阵中直接选取特定点进行差值阈值判断,进行有效计算,拓展了特征点检测的条件,计算出来的特征点效率高。
附图说明
图1是本发明一种基于光场角度域变化矩阵的特征点检测方法的全局流程图;
图2是本发明一种基于光场角度域变化矩阵的特征点检测方法的实施例1中的光场图像;
图3是本发明一种基于光场角度域变化矩阵的特征点检测方法法的实施例1中的对应子孔径图像;
图4是本发明一种基于光场角度域变化矩阵的特征点检测方法的实施例1中的对应选取的中心子孔径图像;
图5是本发明一种基于光场角度域变化矩阵的特征点检测方法的实施例1中的对应选取的中心子孔径图像边缘检测结果。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明,以使本发明的优点和特征能更易于被本领域技术人员理解。
如图1所示,一种基于光场角度域变化矩阵的特征点检测方法,具体按照以下步骤实施:
步骤1,输入光场图像,对光场图像进行解码、预处理;
具体按照以下方式实施:
步骤1.1,读入光场图像和其对应的微透镜中心数据文件;读入name_CentersXY.txt文件中的数据包括包括微透镜阵列大小,微透镜阵列的旋转角,微透镜的水平间隔和垂直间隔,微透镜阵列的每个微透镜的中心点的对应坐标;
步骤1.2,依据步骤1.1读取的微透镜阵列的旋转角,对光场图像进行旋转,得到新的光场图像;
步骤1.3,对新的光场图像进行解码标定,将二维光场图像转化为四维坐标,得到二维的位置信息[s,t]和二维的角度信息[u,v],完成对光场图像的预处理。
步骤2,对预处理后的光场图像提取对应的子孔径图像矩阵,并对其进行编号从(1,1)到(u,v);
具体按照以下方式实施:
根据步骤1预处理后的光场图像,将每个微透镜下相同位置的子像素提取出来,按照相对位置重新排列,形成场景在一个视角下的图像,即一张分辨率为s*t的子孔径图像,光场图像的角度域为(u,v),故可以提取到u*v张不同角度的子孔径图像,并对子孔径图像进行编号从(1,1)到(u,v)。
步骤4,根据步骤3筛选出的候选特征点(i,j),依次遍历所有子孔径图像相同位置像素点(i,j),利用梯度公式计算该像素点的梯度值,存储至角度域变化矩阵M(i,j);
具体按照以下方式实施:
步骤4.1,根据候选特征点(i,j),从(1,1)到(u,v)张子孔径图像依次计算(i,j)像素点的梯度值,利用一阶微分可得到第(u,v)张子孔径图像(i,j)像素点的梯度值为M(u,v)(i,j);
步骤4.2,将每一张子孔径图像(i,j)像素点的梯度值存储至角度域变化矩阵M,如公式(1)所示,依次遍历所有候选特征点,便可得到每个候选特征点(i,j)的角度域变化矩阵M(i,j),角度域变化矩阵M大小为u行v列;
步骤5,在角度域变化矩阵M(i,j)中选取特定像素点进行做差取绝对值,选定特定阈值进行判断,确定该像素点是否可以视为特征点;
具体按照以下方式实施:
表1
步骤6,重复步骤5,直到将所有将候选特征点遍历结束,并作为最终光场图像特征点。
实施例1
本实施例是在matlab2016上实施的;
执行步骤1,输入光场图像,对光场图像进行解码、预处理,具体的:
执行步骤1.1,其中光场图像如图2所示,图像大小为6075*8656*3,其中由微透镜中心数据文件可知,光场图像的微透镜阵列的大小为434*541,微透镜间的水平间隔和垂直间隔分别为16和14;
执行步骤1.2~1.3,得到的四维光场坐标LF4为[434,541,15,17];
执行步骤2,对预处理后的光场图像提取对应的子孔径图像矩阵,得到的子孔径图像矩阵如图3所示,子孔径图像矩阵的个数为15*17幅,其中每幅子孔径图像的大小均为434*541,编号为(1,1)到(15,17);
执行步骤3,对第(7,8)张子孔径图像,如图4所示,进行Canny边缘检测,得到的结果如图5所示,并记录所有候选特征点的对应像素坐标(i,j);
执行步骤4.1,根据候选特征点(i,j),从(1,1)到(15,17)张子孔径图像依次计算(i,j)像素点的梯度值,利用一阶微分可得到第(15,17)张子孔径图像(i,j)像素点的梯度值为M(15,17)(i,j);
执行步骤4.2,将第(1,1)到(15,17)张子孔径图像(i,j)像素点的梯度值存储至角度域变化矩阵M,结果公式(2)所示,依次遍历所有候选特征点,便可得到每个候选特征点(i,j)的角度域变化矩阵M(i,j),角度域变化矩阵M大小为15行17列;
执行步骤5~6,以M(7,8)(i,j)像素为中心,以表1为基准选取周围的若干像素点,进行差值阈值判断,若满足超过80%的点的差值均小于阈值,则该像素点都可以视为特征点,最终得到光场图像的特征点。
虽然以上描述了本发明的具体实施方式,但是本领域的技术人员应当理解,这仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
Claims (5)
1.一种基于光场角度域变化矩阵的特征点检测方法,其特征在于,具体按照以下步骤实施:
步骤1,输入光场图像,对光场图像进行解码、预处理;
步骤2,对预处理后的光场图像提取对应的子孔径图像矩阵,并对其进行编号从(1,1)到(u,v);
步骤4,根据步骤3筛选出的候选特征点(i,j),依次遍历所有子孔径图像相同位置像素点(i,j),利用梯度公式计算该像素点的梯度值,存储至角度域变化矩阵M(i,j);
步骤5,在角度域变化矩阵M(i,j)中选取特定像素点进行做差取绝对值,选定特定阈值进行判断,确定该像素点是否可以视为特征点;
步骤6,重复步骤5,直到将所有将候选特征点遍历结束,并作为最终光场图像特征点。
2.根据权利要求1所述的一种基于光场角度域变化矩阵的特征点检测方法,其特征在于,所述步骤1具体按照以下方式实施:
步骤1.1,读入光场图像和其对应的微透镜中心数据文件;读入的微透镜中心数据包括微透镜阵列大小,微透镜阵列的旋转角,微透镜的水平间隔和垂直间隔,微透镜阵列的每个微透镜的中心点的对应坐标;
步骤1.2,依据步骤1.1读取的微透镜阵列的旋转角,对光场图像进行旋转,得到新的光场图像;
步骤1.3,对新的光场图像进行解码标定,将二维光场图像转化为四维坐标,得到二维的位置信息[s,t]和二维的角度信息[u,v],完成对光场图像的预处理。
3.根据权利要求1所述的一种基于光场角度域变化矩阵的特征点检测方法,其特征在于,所述步骤2具体按照以下方式实施:
根据步骤1预处理后的光场图像,将每个微透镜下相同位置的子像素提取出来,按照相对位置重新排列,形成场景在一个视角下的图像,即一张分辨率为s*t的子孔径图像,光场图像的角度域为(u,v),故可以提取到u*v张不同角度的子孔径图像,并对子孔径图像进行编号从(1,1)到(u,v)。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110383372.7A CN113191369B (zh) | 2021-04-09 | 2021-04-09 | 一种基于光场角度域变化矩阵的特征点检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110383372.7A CN113191369B (zh) | 2021-04-09 | 2021-04-09 | 一种基于光场角度域变化矩阵的特征点检测方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN113191369A true CN113191369A (zh) | 2021-07-30 |
CN113191369B CN113191369B (zh) | 2024-02-09 |
Family
ID=76975408
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110383372.7A Active CN113191369B (zh) | 2021-04-09 | 2021-04-09 | 一种基于光场角度域变化矩阵的特征点检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN113191369B (zh) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017188729A (ja) * | 2016-04-01 | 2017-10-12 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2019214568A1 (zh) * | 2018-05-07 | 2019-11-14 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
CN110490924A (zh) * | 2019-07-16 | 2019-11-22 | 西安理工大学 | 一种基于多尺度Harris的光场图像特征点检测方法 |
CN110490209A (zh) * | 2019-07-30 | 2019-11-22 | 西安理工大学 | 基于epi的光场图像特征点检测方法 |
CN111325218A (zh) * | 2020-01-21 | 2020-06-23 | 西安理工大学 | 基于光场图像的Hog特征检测与匹配方法 |
CN111583191A (zh) * | 2020-04-16 | 2020-08-25 | 西安理工大学 | 基于光场epi傅里叶变换的折射特征检测方法 |
-
2021
- 2021-04-09 CN CN202110383372.7A patent/CN113191369B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017188729A (ja) * | 2016-04-01 | 2017-10-12 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
WO2019214568A1 (zh) * | 2018-05-07 | 2019-11-14 | 清华大学深圳研究生院 | 一种基于深度的光场拼接方法 |
CN110490924A (zh) * | 2019-07-16 | 2019-11-22 | 西安理工大学 | 一种基于多尺度Harris的光场图像特征点检测方法 |
CN110490209A (zh) * | 2019-07-30 | 2019-11-22 | 西安理工大学 | 基于epi的光场图像特征点检测方法 |
CN111325218A (zh) * | 2020-01-21 | 2020-06-23 | 西安理工大学 | 基于光场图像的Hog特征检测与匹配方法 |
CN111583191A (zh) * | 2020-04-16 | 2020-08-25 | 西安理工大学 | 基于光场epi傅里叶变换的折射特征检测方法 |
Non-Patent Citations (2)
Title |
---|
毛一鸣;王建明;晏涛;陈丽芳;刘渊;: "基于空间平面分割和投影变换的光场图像拼接算法", 激光与光电子学进展, no. 10 * |
贾琦;王安红;武迎春;魏计林;: "一种微透镜光场相机的子孔径图像提取方法", 太原科技大学学报, no. 04 * |
Also Published As
Publication number | Publication date |
---|---|
CN113191369B (zh) | 2024-02-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CA3040002C (en) | A device and method for obtaining distance information from views | |
CN108921781B (zh) | 一种基于深度的光场拼接方法 | |
CN105809640B (zh) | 基于多传感器融合的低照度视频图像增强方法 | |
CN109685078B (zh) | 基于自动标注的红外图像识别方法 | |
KR20170106931A (ko) | 광 필드 데이터 처리 방법 및 디바이스 | |
CN110580481B (zh) | 一种基于epi的光场图像关键位置检测方法 | |
US10949700B2 (en) | Depth based image searching | |
CN110381268B (zh) | 生成视频的方法,装置,存储介质及电子设备 | |
Agrafiotis et al. | Underwater photogrammetry in very shallow waters: main challenges and caustics effect removal | |
CN109376641B (zh) | 一种基于无人机航拍视频的运动车辆检测方法 | |
Lou et al. | A cost-effective automatic 3D reconstruction pipeline for plants using multi-view images | |
CN111414931B (zh) | 一种基于图像深度的多分支多尺度小目标检测方法 | |
CN110490924B (zh) | 一种基于多尺度Harris的光场图像特征点检测方法 | |
CN112215925A (zh) | 自适应采煤机随动跟踪多摄像头视频拼接方法 | |
WO2021035627A1 (zh) | 获取深度图的方法、装置及计算机存储介质 | |
CN117036641A (zh) | 一种基于双目视觉的公路场景三维重建与缺陷检测方法 | |
CN111899295A (zh) | 一种基于深度学习的单目场景深度预测方法 | |
CN113436130B (zh) | 一种非结构光场智能感知系统与装置 | |
Wang et al. | Visual object tracking based on light-field imaging in the presence of similar distractors | |
CN110490209A (zh) | 基于epi的光场图像特征点检测方法 | |
CN111325218B (zh) | 基于光场图像的Hog特征检测与匹配方法 | |
CN117612153A (zh) | 基于图像与点云信息补全的三维目标识别与定位方法 | |
CN110766609B (zh) | 一种针对ToF相机的景深图超分辨率重建方法 | |
Boyun | Intelligent selective perception of visual information in vision systems | |
CN113191369B (zh) | 一种基于光场角度域变化矩阵的特征点检测方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |