CN111325218B - 基于光场图像的Hog特征检测与匹配方法 - Google Patents

基于光场图像的Hog特征检测与匹配方法 Download PDF

Info

Publication number
CN111325218B
CN111325218B CN202010071527.9A CN202010071527A CN111325218B CN 111325218 B CN111325218 B CN 111325218B CN 202010071527 A CN202010071527 A CN 202010071527A CN 111325218 B CN111325218 B CN 111325218B
Authority
CN
China
Prior art keywords
image
epi
feature
light field
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010071527.9A
Other languages
English (en)
Other versions
CN111325218A (zh
Inventor
金海燕
曹甜
肖照林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN202010071527.9A priority Critical patent/CN111325218B/zh
Publication of CN111325218A publication Critical patent/CN111325218A/zh
Application granted granted Critical
Publication of CN111325218B publication Critical patent/CN111325218B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/22Matching criteria, e.g. proximity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于EPI的光场图像特征点检测方法,具体按照以下步骤实施:步骤1,输入光场图像A和光场图像B并提取子孔径图像矩阵A和子孔径图像矩阵B;步骤2,分别提取子孔径图像矩阵A和子孔径图像矩阵B的EPI图像的EPI图像作为EPI图像集合A和EPI图像集合B;步骤3,对EPI图像集合A和EPI图像集合B进行特征点检测得特征点集合A和特征点集合B;步骤4,对特征点集合A和特征点集合B进行特征描述并进行归一化得到特征向量集合A特征向量集合B;步骤5,对特征向量集合A和特征向量集合B中相对应的特征向量进行特征匹配输出匹配点集合。本发明能够实现对光场图像的特征点检测和匹配且具有较高的匹配准确率。

Description

基于光场图像的Hog特征检测与匹配方法
技术领域
本发明属于计算机视觉技术领域,涉及一种基于光场图像的Hog特征检测与匹配方法。
背景技术
光场是空间中同时包含位置和方向信息的四维光辐射场的参数化表示。在空间内任意的角度、任意的位置都以获得整个空间环境的真实信息,用光场获得的图像信息更全面。
光场成像技术是计算机视觉领域的热点研究方向,光场通常用双平面表示。L(u,v,s,t)表示光场的一个采样,L为光线强度,(u,v)和(s,t)分别为光线与两个平面的交点坐标。(u,v)表示方向信息,(s,t)表示位置信息。光场图像含有大量丰富的信息,即位置和角度信息,所以可在后期进行焦点的调节,达到先拍照后聚焦的效果。从而解决特殊场合图像的失焦、背景目标过多的问题。克服了传统成像存在遮挡,丢失深度等缺点,对场景的描述更加的全面。
图像的特征点检测和匹配是计算机视觉应用中的一个重要组成部分,传统的特征点检测和匹配算法大多都针对二维图像,但是随着图像表示技术以及图像获取技术的快速发展,出现了越来越多其他格式的图像数据,如三维图像和全景图像等。对光场相机曝光得到的多视角图像进行特征检测与匹配有广泛应用前景,包括差错检测、视觉跟踪、三维重建、深度估计等。
发明内容
本发明的目的是提供一种基于光场图像的Hog特征检测与匹配方法能够实现对光场图像的特征点检测和匹配,且具有较高的匹配准确率。
本发明所采用的技术方案是,
基于EPI的光场图像特征点检测方法,具体按照以下步骤实施:
步骤1,输入待匹配的光场图像A和光场图像B,分别提取光场图像A和光场图像B的子孔径图像矩阵,记为子孔径图像矩阵A和子孔径图像矩阵B;
步骤2,提取子孔径图像矩阵A中中心行和中心列的所有EPI图像,作为EPI图像集合A;
提取子孔径图像矩阵B中中心行和中心列的所有EPI图像,作为EPI图像集合B;
步骤3,分别对EPI图像集合A和EPI图像集合B进行特征点检测,得到特征点集合A和特征点集合B;
步骤4,对特征点集合A中每一个特征点进行特征描述得到特征向量进行归一化,得到特征向量集合A;
对特征点集合B中每一个特征点进行特征描述得到特征向量并进行归一化,得到特征向量集合B;
步骤5,根据最近邻、次近邻匹配算法,对特征向量集合A和特征向量集合B进行特征匹配,输出匹配点集合。
本发明的特点还在于,
步骤1中,提取光场图像A的孔径图像矩阵的具体方法为:
步骤1.1,读入光场图像A和其对应的微透镜中心数据文件;
步骤1.2,根据微透镜中心数据文件中微透镜阵列的旋转角对光场图像进行旋转,得到旋转后的光场图像,记为LF′;
步骤1.3,对LF′进行解码,将光场图像的二维坐标转化为四维光场坐标,记为LF4
步骤1.4,提取LF4中每个角度的图像,即为子孔径图像矩阵A;
光场图像A和光场图像B提取子孔径图像矩阵的方法相同。
步骤2中,提取子孔径图像矩阵A中中心行的所有EPI图像具体方法为:
假设子孔径图像矩阵A中的子孔径图像的个数为U*V幅,每幅子孔径图像的大小为S*T,先选定子孔径图像矩阵A中心行的V幅图片中某一行像素,提取该行像素对应的V个角度的像素,并依次叠加起来,共叠加V次,得到一副水平EPI图像,其大小为T*V,T为水平EPI图像的宽度,V为水平EPI图像的高度;按照上述操作提取中心行每一行像素的水平的EPI图像,即为子孔径图像矩阵A中中心行的所有EPI图像,共有S行像素,所以最终得到S幅水平EPI图像;
提取子孔径图像矩阵A中中心行的所有EPI图像与提取子孔径图像矩阵B中中心行的所有EPI图像方法相同;
提取子孔径图像矩阵A中中心列的所有EPI图像具体方法为:
选取子孔径图像矩阵A中中心列的U幅子孔径图像,先选定某一列像素,提取该列像素对应的U个角度的像素,并依次叠加起来,共叠加U次,得到一副垂直EPI图像,其大小为S*U,U为垂直EPI图像的宽度,S为垂直EPI的高度;按照上述操作提取中心列每一列像素的EPI图像,共有T列像素,最终得到T幅垂直EPI图像;
提取子孔径图像矩阵A中中心列的所有EPI图像与提取子孔径图像矩阵B中中心列的所有EPI图像方法相同。
步骤3中,对EPI图像集合A进行特征点检测的具体步骤为:
步骤3.1,将EPI图像集合A中的每一张EPI图像转化为灰度图像后进行Gamma校正;
步骤3.2,对步骤3.1校正后的每一张图像,遍历每一个像素点,像素点的像素值为H(x,y),在以像素点为中心的3*3邻域内,根据公式(1)和(2)计算得到像素点(x,y)处水平方向的梯度分量Gx、垂直方向的梯度分量Gy
Gx(x,y)=H(x+1,y)-H(x-1,y)  (1)
Gy(x,y)=H(x,y+1)-H(x,y-1)  (2)
根据公式(3)计算得到像素点(x,y)处的梯度幅值G(x,y):
Figure BDA0002377429630000041
根据公式(4)计算得到像素点(x,y)处的梯度方向α(x,y):
Figure BDA0002377429630000042
根据梯度方向加权投影,映射到相应角度范围,得到每个像素点梯度方向分布直方图;
步骤3.3,设定一个阈值t,计算每个直方图中大于该阈值t的个数count,若count>=2,则表明该像素点附近有较大的梯度值,判定该像素点为一个特征点;
步骤3.4,对于所有判定为特征点的像素点,以该像素点作为中心的3*3邻域内,计算像素点与邻域内其他像素差值之和sum,并按sum值降序排列,保留前60%的像素点作为特征点集合A;
对EPI图像集合B进行特征点检测的方法与对EPI图像集合A进行特征点检测的方法相同。
步骤4中得到特征向量集合A的具体步骤为:
步骤4.1:对特征点集合A中某一个特征点对应的水平的EPI的局部邻域内和垂直EPI的局部邻域内分别进行hog特征描述,得到水平特征描述向量和垂直特征描述向量;
步骤4.2,将水平特征描述向量和垂直特征描述向量串联并进行归一化即为特征向量;
对特征点集合A中的每一个特征点均进行步骤4.1~步骤4.2的操作,得到的所有特征向量即为特征点集合A;
步骤4中得到特征向量集合B的方法与得到特征向量集合A的方法相同。
步骤4.1中对特征点集合A中特征点对应的水平EPI图像的局部邻域内进行hog特征描述的具体方法为:求整幅水平EPI图像的梯度幅值和大小,选取描述邻域,将该邻域分为2*4个cell,每个cell有8个方向块,2*2个cell组成一个block,最终得到64位的水平特征描述向量;
步骤4.1中对特征点集合A中特征点对应的垂直EPI图像的局部邻域内进行hog特征描述的具体方法为:求整幅垂直EPI的梯度幅值和大小,选取描述邻域,将该邻域分为4*2个cell,每个cell有8个方向块,2*2个cell组成一个block,最终得到64位的垂直特征描述向量。
步骤5的具体方法为:
步骤5.1,在特征向量集合A中找一特征向量,并找出计算该特征向量与特征向量集合B中所有向量的欧氏距离;找出最近欧氏距离和第二近欧氏距离的两个特征向量;
步骤5.2,计算最近距离与第二近距离的比值ratio:
步骤5.3,若ratio小于阈值T,则特征向量集合A中的特征向量与其最近距离的特征向量即为一对匹配向量,所述匹配向量相对应的特征点即为一对匹配点;
步骤5.4,按照步骤5.1~步骤5.3遍历特征向量集合A中的所有特征向量,得到的所有匹配点即为输出的匹配点集合。
本发明的有益效果是
一、EPI图像可以良好的反映出光场图像的视差关系,基于光场EPI的Hog特征检测与匹配方法可以检测到更多、更准确的边缘点,并达到良好的匹配效果。
二、本发明从光场EPI特性出发,与Hog算法相结合,提出一种适用于光场EPI的Hog特征检测与匹配方法,并达到良好的效果。
附图说明
图1是本发明基于光场图像的Hog特征检测与匹配方法的流程图;
图2是本发明基于光场图像的Hog特征检测与匹配方法中实施例1输入的光场图像A;
图3为本发明基于光场图像的Hog特征检测与匹配方法中实施例1输入的光场图像B;
图4为本发明基于光场图像的Hog特征检测与匹配方法中实施例1的孔径图像矩阵A;
图5为本发明基于光场图像的Hog特征检测与匹配方法中实施例1中提取子孔径图像矩阵A中中心行中第189行像素的EPI图像的过程图;
图6为本发明基于光场图像的Hog特征检测与匹配方法中实施例1中提取子孔径图像矩阵A中中心列中第164列像素的EPI图像的过程图;
图7为本发明基于光场图像的Hog特征检测与匹配方法中实施例1中EPI图像集合A中其中一张EPI图像的灰度图;
图8为图7进行Gamma校正后的图像;
图9为图8中某一点梯度方向分布直方图;
图10为本发明基于光场图像的Hog特征检测与匹配方法中实施例1中特征点集合A在图上的表现;
图11为为本发明基于光场图像的Hog特征检测与匹配方法中实施例1中特征点集合B在图上的表现;
图12为本发明基于光场图像的Hog特征检测与匹配方法中实施例1的特征点匹配图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明基于EPI的光场图像特征点检测方法,如图1,具体按照以下步骤实施:
步骤1,输入待匹配的光场图像A和光场图像B,分别提取光场图像A和光场图像B的子孔径图像矩阵,记为子孔径图像矩阵A和子孔径图像矩阵B;
步骤2,提取子孔径图像矩阵A中中心行和中心列的所有EPI图像,作为EPI图像集合A;
提取子孔径图像矩阵B中中心行和中心列的所有EPI图像,作为EPI图像集合B;
步骤3,分别对EPI图像集合A和EPI图像集合B进行特征点检测,分别得到特征点集合A和特征点集合B;
步骤4,对特征点集合A中每一个特征点进行特征描述得到特征向量进行归一化,得到特征向量集合A;
对特征点集合B中每一个特征点进行特征描述得到特征向量并进行归一化,得到特征向量集合B;
步骤5,根据最近邻、次近邻匹配算法,对特征向量集合A和特征向量集合B进行特征匹配,输出匹配点集合。
步骤1中,提取光场图像A的孔径图像矩阵的具体方法为:
步骤1.1,读入光场图像A和其对应的微透镜中心数据文件;其中微透镜中心数据文件的第一行为光场图像的位置分辨率,即微透镜阵列大小。第二行为微透镜阵列的旋转角,第三行中的x和y分别为微透镜间的水平间隔与垂直间隔,第四行及以后为各个微透镜的中心点坐标。
步骤1.2,根据微透镜中心数据文件中微透镜阵列的旋转角对光场图像进行旋转,得到旋转后的光场图像,记为LF′;
步骤1.3,对LF′进行解码,将光场图像的二维坐标转化为四维光场坐标,记为LF4
步骤1.4,提取LF4中每个角度的图像,即为子孔径图像矩阵A;
光场图像A和光场图像B提取子孔径图像矩阵的方法相同。
步骤2中,提取子孔径图像矩阵A中中心行的所有EPI图像具体方法为:
假设子孔径图像矩阵A中的子孔径图像的个数为U*V幅,每幅子孔径图像的大小为S*T,先选定子孔径图像矩阵A中心行的V幅图片中某一行像素,提取该行像素对应的V个角度的像素,并依次叠加起来,共叠加V次,得到一副水平EPI图像,其大小为T*V,T为水平EPI图像的宽度,V为水平EPI图像的高度;按照上述操作提取中心行每一行像素的水平的EPI图像,即为子孔径图像矩阵A中中心行的所有EPI图像,共有S行像素,所以最终得到S幅水平EPI图像;
提取子孔径图像矩阵A中中心行的所有EPI图像与提取子孔径图像矩阵B中中心行的所有EPI图像方法相同;
提取子孔径图像矩阵A中中心列的所有EPI图像具体方法为:
选取子孔径图像矩阵A中中心列的U幅子孔径图像,先选定某一列像素,提取该列像素对应的U个角度的像素,并依次叠加起来,共叠加U次,得到一副垂直EPI图像,其大小为S*U,U为垂直EPI图像的宽度,S为垂直EPI的高度;按照上述操作提取中心列每一列像素的EPI图像,共有T列像素,最终得到T幅垂直EPI图像;
提取子孔径图像矩阵A中中心列的所有EPI图像与提取子孔径图像矩阵B中中心列的所有EPI图像方法相同。
步骤3中,对EPI图像集合A进行特征点检测的具体步骤为:
步骤3.1,将EPI图像集合A中的每一张EPI图像转化为灰度图像后进行Gamma校正;
步骤3.2,对步骤3.1校正后的每一张图像,遍历每一个像素点,像素点的像素值为H(x,y),在以像素点为中心的3*3邻域内,根据公式(1)和(2)计算得到像素点(x,y)处水平方向的梯度分量Gx、垂直方向的梯度分量Gy
Gx(x,y)=H(x+1,y)-H(x-1,y)  (1)
Gy(x,y)=H(x,y+1)-H(x,y-1)  (2)
根据公式(3)计算得到像素点(x,y)处的梯度幅值G(x,y):
Figure BDA0002377429630000101
根据公式(4)计算得到像素点(x,y)处的梯度方向α(x,y):
Figure BDA0002377429630000111
根据梯度方向加权投影,映射到相应角度范围,得到每个像素点梯度方向分布直方图;
步骤3.3,设定一个阈值t,计算每个直方图中大于该阈值t的个数count,若count>=2,则表明该像素点附近有较大的梯度值,判定该像素点为一个特征点;
步骤3.4,对于所有判定为特征点的像素点,以该像素点作为中心的3*3邻域内,计算像素点与邻域内其他像素差值之和sum,并按sum值降序排列,保留前60%的像素点作为特征点集合A;
对EPI图像集合B进行特征点检测的方法与对EPI图像集合A进行特征点检测的方法相同。
步骤4中得到特征向量集合A的具体步骤为:
步骤4.1:对特征点集合A中某一个特征点对应的水平的EPI的局部邻域内和垂直EPI的局部邻域内分别进行hog特征描述,得到水平特征描述向量和垂直特征描述向量;
步骤4.2,将水平特征描述向量和垂直特征描述向量串联并进行归一化即为特征向量;
对特征点集合A中的每一个特征点均进行步骤4.1~步骤4.2的操作,得到的所有特征向量即为特征点集合A;
步骤4中得到特征向量集合B的方法与得到特征向量集合A的方法相同。
步骤4.1中对特征点集合A中特征点对应的水平EPI图像的局部邻域内进行hog特征描述的具体方法为:求整幅水平EPI图像的梯度幅值和大小,选取描述邻域,将该邻域分为2*4个cell,每个cell有8个方向块,2*2个cell组成一个block,最终得到64位的水平特征描述向量;
述步骤4.1中对特征点集合A中特征点对应的垂直EPI图像的局部邻域内进行hog特征描述的具体方法为:求整幅垂直EPI的梯度幅值和大小,选取描述邻域,将该邻域分为4*2个cell,每个cell有8个方向块,2*2个cell组成一个block,最终得到64位的垂直特征描述向量。
步骤5的具体方法为:
步骤5.1,在特征向量集合A中找一特征向量,并找出计算该特征向量与特征向量集合B中所有向量的欧氏距离;找出最近欧氏距离和第二近欧氏距离的两个特征向量;
步骤5.2,计算最近距离与第二近距离的比值ratio:
步骤5.3,若ratio小于阈值T,则特征向量集合A中的特征向量与其最近距离的特征向量即为一对匹配向量,所述匹配向量相对应的特征点即为一对匹配点;
步骤5.4,按照步骤5.1~步骤5.3遍历特征向量集合A中的所有特征向量,得到的所有匹配点即为输出的匹配点集合。
实施例1
本实施例是在matlab2016b上实施的;本实施例采集的光场图像A和光场图像B是通过光场相机lytro拍摄的;
执行步骤1:
输入待匹配的光场图像A和光场图像B,如图2和图3,光场图像A和光场图像B的大小均为3785*3935*3。从读取微透镜中心数据文件可知,光场图像A和光场图像B的微透镜阵列的大小均为378*328,微透镜间的水平间隔和垂直间隔分别为12和10;获得的子孔径图像矩阵A与子孔径图像矩阵B中子孔径图像的个数均为11*13,每幅子孔径图像的大小均为378*328;其中以子孔径图像矩阵A为例如图4所示;
执行步骤2,获得EPI图像集合A和EPI图像集合B;
以其中获得EPI图像集合A的过程为例,如图5为提取子孔径图像矩阵A中中心行中第189行像素的EPI图像的过程:先选定子孔径图像矩阵A中心行的13幅图片中某一行像素,提取该行像素对应的13个角度的像素,并依次叠加起来,共叠加13次,得到水平EPI图像,其图像大小为13*328;最终共得到378幅水平EPI图像。
如图7为提取子孔径图像矩阵A中中心列中第164列像素的EPI图像的过程:先选定子孔径图像矩阵A中心列的11幅图片中某一列像素,提取该列像素对应的11个角度的像素,并依次叠加起来,共叠加11次,得到垂直EPI图像,其图像大小为378*11;最终共得到328幅垂直EPI图像。
执行步骤3,如图6为EPI图像集合A中其中一张EPI图像的灰度图,图8为图7进行Gamma校正后的图像;图9为校正后的图像中某一点梯度方向分布直方图,其中阈值t设置为0.47,可以看出该直方图内有大于阈值0.47的2个幅值,则该点为一个特征点。
最终得到的特征点集合A表现在图像上如图10,检测到的特征点个数为568个;得到的特征点集合B表现在图像上如图11所示,检测到的特征点个数为661个。
执行步骤4~5,设置T=0.8,最终输出匹配点集合。
本实施例对匹配结果做了验证,验证方法为根据单应性矩阵,选择4对匹配点得出矩阵H,根据H计算光场图像A的特征点应该在光场图像B中的位置,再与实际匹配点的位置相比较,若距离小于30,则认为是正确匹配,否则是错误匹配。如图12所示白色线条代表正确匹配,黑色线条代表错误匹配,其中正确匹配对共113对,错误匹配4个。
本实施例将本申请方法和经典的光场图像特征检测方法LIFF、传统图像SIFT方法进行对比,如表1所示,证明了本方法可以准确提取出光场数据的边缘点,能提高光场图像特征匹配正确率。
表1,本方法与其他方法的匹配率的对比结果表
Figure BDA0002377429630000141

Claims (7)

1.基于EPI的光场图像特征点检测方法,其特征在于,具体按照以下步骤实施:
步骤1,输入待匹配的光场图像A和光场图像B,分别提取光场图像A和光场图像B的子孔径图像矩阵,记为子孔径图像矩阵A和子孔径图像矩阵B;
步骤2,提取子孔径图像矩阵A中中心行和中心列的所有EPI图像,作为EPI图像集合A;
提取子孔径图像矩阵B中中心行和中心列的所有EPI图像,作为EPI图像集合B;
步骤3,分别对EPI图像集合A和EPI图像集合B进行特征点检测,分别得到特征点集合A和特征点集合B;
步骤4,对特征点集合A中每一个特征点进行特征描述得到特征向量进行归一化,得到特征向量集合A;
对特征点集合B中每一个特征点进行特征描述得到特征向量并进行归一化,得到特征向量集合B;
步骤5,根据最近邻、次近邻匹配算法,对特征向量集合A和特征向量集合B进行特征匹配,输出匹配点集合。
2.如权利要求1所述的基于EPI的光场图像特征点检测方法,其特征在于,提取所述光场图像A的孔径图像矩阵的具体方法为:
步骤1.1,读入光场图像A和其对应的微透镜中心数据文件;
步骤1.2,根据微透镜中心数据文件中微透镜阵列的旋转角对光场图像进行旋转,得到旋转后的光场图像,记为LF′;
步骤1.3,对LF′进行解码,将光场图像的二维坐标转化为四维光场坐标,记为LF4
步骤1.4,提取LF4中每个角度的图像,即为子孔径图像矩阵A;
所述光场图像A和光场图像B提取子孔径图像矩阵的方法相同。
3.如权利要求1所述的基于EPI的光场图像特征点检测方法,其特征在于,提取所述子孔径图像矩阵A中中心行的所有EPI图像具体方法为:
假设子孔径图像矩阵A中的子孔径图像的个数为U*V幅,每幅子孔径图像的大小为S*T,先选定子孔径图像矩阵A中心行的V幅图片中某一行像素,提取该行像素对应的V个角度的像素,并依次叠加起来,共叠加V次,得到一副水平EPI图像,其大小为T*V,T为水平EPI图像的宽度,V为水平EPI图像的高度;按照上述操作提取中心行每一行像素的水平EPI图像,即为子孔径图像矩阵A中中心行的所有EPI图像,共有S行像素,所以最终得到S幅水平EPI图像;
提取所述子孔径图像矩阵A中中心行的所有EPI图像与提取子孔径图像矩阵B中中心行的所有EPI图像方法相同;
提取所述子孔径图像矩阵A中中心列的所有EPI图像具体方法为:
选取子孔径图像矩阵A中中心列的U幅子孔径图像,先选定某一列像素,提取该列像素对应的U个角度的像素,并依次叠加起来,共叠加U次,得到一副垂直EPI图像,其大小为S*U,U为垂直EPI图像的宽度,S为垂直EPI的高度;按照上述操作提取中心列每一列像素的EPI图像,共有T列像素,最终得到T幅垂直EPI图像;
提取所述子孔径图像矩阵A中中心列的所有EPI图像与提取子孔径图像矩阵B中中心列的所有EPI图像方法相同。
4.如权利要求1所述的基于EPI的光场图像特征点检测方法,其特征在于,所述步骤3中,对EPI图像集合A进行特征点检测的具体步骤为:
步骤3.1,将EPI图像集合A中的每一张EPI图像转化为灰度图像后进行Gamma校正;
步骤3.2,对步骤3.1校正后的每一张图像,遍历每一个像素点,像素点的像素值为H(x,y),在以像素点为中心的3*3邻域内,根据公式(1)和(2)计算得到像素点(x,y)处水平方向的梯度分量Gx、垂直方向的梯度分量Gy
Gx(x,y)=H(x+1,y)-H(x-1,y)    (1)
Gy(x,y)=H(x,y+1)-H(x,y-1)    (2)
根据公式(3)计算得到像素点(x,y)处的梯度幅值G(x,y):
Figure FDA0002377429620000031
根据公式(4)计算得到像素点(x,y)处的梯度方向α(x,y):
Figure FDA0002377429620000032
根据梯度方向加权投影,映射到相应角度范围,得到每个像素点梯度方向分布直方图;
步骤3.3,设定一个阈值t,计算每个直方图中大于该阈值t的个数count,若count>=2,则表明该像素点附近有较大的梯度值,判定该像素点为一个特征点;
步骤3.4,对于所有判定为特征点的像素点,以该像素点作为中心的3*3邻域内,计算像素点与邻域内其他像素差值之和sum,并按sum值降序排列,保留前60%的像素点作为特征点集合A;
对所述EPI图像集合B进行特征点检测的方法与对所述EPI图像集合A进行特征点检测的方法相同。
5.如权利要求1所述的基于EPI的光场图像特征点检测方法,其特征在于,所述步骤4中得到特征向量集合A的具体步骤为:
步骤4.1:对特征点集合A中某一个特征点对应的水平的EPI的局部邻域内和垂直EPI的局部邻域内分别进行hog特征描述,得到水平特征描述向量和垂直特征描述向量;
步骤4.2,将所述水平特征描述向量和垂直特征描述向量串联并进行归一化即为特征向量;
对特征点集合A中的每一个特征点均进行步骤4.1~步骤4.2的操作,得到的所有特征向量即为特征点集合A;
所述步骤4中得到特征向量集合B的方法与得到特征向量集合A的方法相同。
6.如权利要求5所述的基于EPI的光场图像特征点检测方法,其特征在于,所述步骤4.1中对特征点集合A中特征点对应的水平EPI图像的局部邻域内进行hog特征描述的具体方法为:求整幅水平EPI图像的梯度幅值和大小,选取描述邻域,将该邻域分为2*4个cell,每个cell有8个方向块,2*2个cell组成一个block,最终得到64位的水平特征描述向量;
述步骤4.1中对特征点集合A中特征点对应的垂直EPI图像的局部邻域内进行hog特征描述的具体方法为:求整幅垂直EPI的梯度幅值和大小,选取描述邻域,将该邻域分为4*2个cell,每个cell有8个方向块,2*2个cell组成一个block,最终得到64位的垂直特征描述向量。
7.如权利要求1所述的基于EPI的光场图像特征点检测方法,其特征在于,所述步骤5的具体方法为:
步骤5.1,在特征向量集合A中找一特征向量,并找出计算该特征向量与特征向量集合B中所有向量的欧氏距离;找出最近欧氏距离和第二近欧氏距离的两个特征向量;
步骤5.2,计算最近距离与第二近距离的比值ratio:
步骤5.3,若ratio小于阈值T,则特征向量集合A中的特征向量与其最近距离的特征向量即为一对匹配向量,所述匹配向量相对应的特征点即为一对匹配点;
步骤5.4,按照步骤5.1~步骤5.3遍历特征向量集合A中的所有特征向量,得到的所有匹配点即为输出的匹配点集合。
CN202010071527.9A 2020-01-21 2020-01-21 基于光场图像的Hog特征检测与匹配方法 Active CN111325218B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010071527.9A CN111325218B (zh) 2020-01-21 2020-01-21 基于光场图像的Hog特征检测与匹配方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010071527.9A CN111325218B (zh) 2020-01-21 2020-01-21 基于光场图像的Hog特征检测与匹配方法

Publications (2)

Publication Number Publication Date
CN111325218A CN111325218A (zh) 2020-06-23
CN111325218B true CN111325218B (zh) 2023-04-18

Family

ID=71167079

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010071527.9A Active CN111325218B (zh) 2020-01-21 2020-01-21 基于光场图像的Hog特征检测与匹配方法

Country Status (1)

Country Link
CN (1) CN111325218B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112116646B (zh) * 2020-09-23 2023-11-24 南京工程学院 一种基于深度卷积神经网络的光场图像深度估计方法
CN113191369B (zh) * 2021-04-09 2024-02-09 西安理工大学 一种基于光场角度域变化矩阵的特征点检测方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018024006A1 (zh) * 2016-08-04 2018-02-08 深圳市未来媒体技术研究院 一种聚焦型光场相机的渲染方法和系统
CN110490209A (zh) * 2019-07-30 2019-11-22 西安理工大学 基于epi的光场图像特征点检测方法
CN110580481A (zh) * 2019-08-09 2019-12-17 西安理工大学 一种基于epi的光场图像关键位置检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018024006A1 (zh) * 2016-08-04 2018-02-08 深圳市未来媒体技术研究院 一种聚焦型光场相机的渲染方法和系统
CN110490209A (zh) * 2019-07-30 2019-11-22 西安理工大学 基于epi的光场图像特征点检测方法
CN110580481A (zh) * 2019-08-09 2019-12-17 西安理工大学 一种基于epi的光场图像关键位置检测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于光场成像的双目深度图像获取;杨韬等;《西北工业大学学报》(第05期);全文 *

Also Published As

Publication number Publication date
CN111325218A (zh) 2020-06-23

Similar Documents

Publication Publication Date Title
US11570423B2 (en) System and methods for calibration of an array camera
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN111429533B (zh) 一种相机镜头畸变参数估计装置及方法
CN109685078B (zh) 基于自动标注的红外图像识别方法
US10165263B2 (en) Point spread function estimation of optics blur
CN110120071B (zh) 一种面向光场图像的深度估计方法
CN110009690A (zh) 基于极线校正的双目立体视觉图像测量方法
CN110580481B (zh) 一种基于epi的光场图像关键位置检测方法
CN110889829A (zh) 一种基于鱼眼镜头的单目测距方法
CN104392416A (zh) 一种运动场景的视频拼接方法
CN111325218B (zh) 基于光场图像的Hog特征检测与匹配方法
CN102509304A (zh) 基于智能优化的摄像机标定方法
CN112801870B (zh) 一种基于网格优化的图像拼接方法,拼接系统及可读存储介质
EP3247107B1 (en) Method and device for obtaining a hdr image by graph signal processing
CN108596960B (zh) 一种光场相机的子孔径图像对齐方法
CN110544202A (zh) 一种基于模板匹配与特征聚类的视差图像拼接方法及系统
CN111325828B (zh) 一种基于三目相机的三维人脸采集方法及装置
CN107067441B (zh) 摄像机标定方法及装置
CN116309844A (zh) 一种基于无人机单张航空图片的三维测量方法
CN107256563B (zh) 基于差异液位图像序列的水下三维重建系统及其方法
Cecchetto Correction of chromatic aberration from a single image using keypoints
Swaminathan et al. Polycameras: Camera clusters for wide angle imaging
CN112365400B (zh) 一种快速光场角度超分辨重建方法
JP2018081378A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
CN112132835A (zh) 基于SeFa和人工智能的光伏轨道相机果冻效应分析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant