CN110490924B - 一种基于多尺度Harris的光场图像特征点检测方法 - Google Patents

一种基于多尺度Harris的光场图像特征点检测方法 Download PDF

Info

Publication number
CN110490924B
CN110490924B CN201910641121.7A CN201910641121A CN110490924B CN 110490924 B CN110490924 B CN 110490924B CN 201910641121 A CN201910641121 A CN 201910641121A CN 110490924 B CN110490924 B CN 110490924B
Authority
CN
China
Prior art keywords
light field
image
slope
scale
corner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910641121.7A
Other languages
English (en)
Other versions
CN110490924A (zh
Inventor
金海燕
张萌
肖照林
蔡磊
李秀秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910641121.7A priority Critical patent/CN110490924B/zh
Publication of CN110490924A publication Critical patent/CN110490924A/zh
Application granted granted Critical
Publication of CN110490924B publication Critical patent/CN110490924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种基于多尺度Harris的光场图像特征检测方法,具体过程为:将光场原始图像参数文件读入MATLAB,解码并处理为有效四维光场矩阵;将角度分辨率[u,v]中的最大值作为斜率列表的长度n,得到斜率列表,斜率列表中每个斜率进行重聚焦,得到斜率对应的焦点堆栈图像;对每一个焦点堆栈图像进行多尺度Harris角点检测;对当前角点堆栈的每一个尺度检测的角点进行非极大值抑制,减少多响应的影响。再对候选角点进行多尺度判断,若在多个尺度出现,则保留;否则删除;最终保留的角点即为光场图像的特征点;采用光场图像中的位置信息和角度信息获得整个空间的真实信息,克服了传统成像存在遮挡,丢失深度等缺点,对场景的描述更加的全面。

Description

一种基于多尺度Harris的光场图像特征点检测方法
技术领域
本发明属于数字图像处理技术领域,具体涉及一种基于多尺度Harris的光场图像特征点检测方法。
背景技术
图像中总是存在一些独特的像素点,这些点可以看做是这幅图像的特征,称作特征点。计算机视觉领域的许多应用都是基于图像特征点为基础而进行的,因此,图像特征点的定义与检测变得尤为重要。在计算机视觉领域,图像特征点的检测得到了广泛的应用,例如图像匹配、图像拼接、故障检测和三维重建等等。
图像特征点检测是图像分析与识别的前提,它是将高维的图像数据进行简化表达最有效的方式,从一幅图像的的数据矩阵中,很难直接提取到有用的信息,所以必须根据这些原始的图像数据提取出图像中的关键信息及它们的关系。从图像中选取某些特征点并对图像进行局部分析,而非观察整幅图像。只要图像中有足够多可检测的特征点,并且这些特征点各不相同且特征稳定,能被精确地定位,针对其的应用也就十分有效。
特征点检测与匹配分为三个环节。在“特征检测”环节,从每一幅图像中寻找那些独特的点,可以和其他图像很好匹配的位置的点。在“特征描述”环节,将检测到的关键点与其邻域结合起来,生成一组数字或向量的稳定而独特的局部描述子来表征当前特征。
图像的特征主要分为两种:色度信息和形状特征。色度信息又要有颜色、亮度等。形状特征包括几何形状、边缘特征、纹理特征及空间关系等等。图像特征有三大类别:像素级特征、局部特征和全局特征。像素级特征是从像素点计算的特征,如颜色、位置。局部特征是从局部的区域计算的特征,如几何特征、边缘特征、纹理特征等等。全局特征是从整个图像级提取的特征。
特征检测与匹配中局部特征是一个非常重要的概念,而局部特征的研究发展的核心问题是不变性和鲁棒性。局部不变性特征是指局部特征不随图像的变形而改变,主要有尺度不变性、平移不变性、旋转不变性及灰度不变性等等。局部特征的鲁棒性是指局部特征对噪声、图像压缩和图像模糊等不敏感。
尺度不变性是指人类在识别物体时,不论距离物体的远近,总是可以正确地对其进行辨别。当用计算机视觉系统分析未知场景时,计算机没有办法预知图像中物体尺度,因此,需要同时考虑图像在多尺度下的描述,获知感兴趣物体的最佳尺度。所以我们会将图像构建为一系列不同尺度的图像集,在不同的尺度中去检测我们感兴趣的特征,即尺度空间理论。图像的尺度空间理论是指图像在所有尺度下的描述,通过对原始图像进行尺度变化,获得图像多尺度下的尺度空间表示序列。高斯金字塔是一种经典的尺度表示方法,通过对原始图像进行一系列降采样和平滑处理得到。
图像的特征点主要分为斑点、边缘点和角点。其中角点是局部窗口沿各方向移动,灰度均产生明显变化的点,也是局部曲率突变的点。Harris角点检测算法是经典的角点检测算法之一。而且Harris角点检测算子对亮度和对比度变化不敏感,也具有旋转不变性,但是不具有尺度不变性。
光场成像理论是计算成像领域的热门话题之一,与传统成像只记录二维光强不同,光场成像利用二维成像平面同时记录光场的四维信息,即二维的位置信息和二维的角度信息,称作平行双平面光场成像系统。光场成像可以用位置信息和角度信息获得整个空间的真实信息,克服了传统成像存在遮挡,丢失深度等缺点,对场景的描述更加的全面。
发明内容
本发明的目的是提供一种基于多尺度Harris的光场图像特征点检测方法,能够准确提取反映光场图像特征点的Harris角点。
本发明采用的技术方案是,一种基于多尺度Harris的光场图像特征检测方法,具体按照以下步骤实施:
步骤1、将光场原始图像和其位置分辨率[s,t]与初始角度分辨率[U,V]读入MATLAB,对初始角度分辨率[U,V]取整得角度分辨率[u,v],根据位置分辨率[s,t]与角度分辨率[u,v]将光场原始图像解码得到四维的光场矩阵;对四维的光场矩阵进行归一化和灰度化,得有效四维光场矩阵;
步骤2、将角度分辨率[u,v]中的最大值作为斜率列表的长度n,得到斜率列表,斜率列表中每个斜率进行重聚焦,得到斜率对应的焦点堆栈图像;
步骤3、对任一焦点堆栈图像定义尺度列表[σ1,…,σm],分别计算该焦点堆栈图像在不同尺度下的自相关矩阵
Figure BDA0002131908300000031
再计算当前尺度σi处的Harris角点响应值R;
若角点响应值R大于设定的阈值T,认为当前角点是候选角点;否则不是;
步骤4、对当前焦点堆栈的每一个尺度检测的角点进行非极大值抑制,减少多响应的影响;再对候选角点进行多尺度判断,若在多个尺度出现,则保留;否则删除,最终保留的角点即为光场图像的特征点。
本发明的特点还在于:
步骤1具体过程为:
步骤1.1、用MATLAB中的imread函数读入光场原始图像name_Lenslet.bmp,再用MATLAB中dlmread函数读入光场原始图像对应的参数文件name_LensletRaw.txt,name_LensletRaw.txt文件的第一行为光场原始图像的位置分辨率[s,t],第二行为光场原始图像的旋转角,第三行为光场原始图像的初始角度分辨率[U,V];
步骤1.2、对初始角度分辨率[U,V]取整得:
Figure BDA0002131908300000041
更新光场图像的角度分辨率为[u,v];
步骤1.3、通过公式(2)计算光场图像大小为[M',N'],通过公式(3)计算真实的图像与理论图像的差值,在真实图像的最末行和最末列后补Δx行的0和Δy列的0,得到大小为[M',N',3]的光场图像;
Figure BDA0002131908300000042
Δx=M'-M,Δy=N'-N (3);
步骤1.4、通过MATLAB中的rgb2gray函数将光场图像[M',N',3]灰度化为二维矩阵[M',N'];再通过MATLAB中的reshape函数对光场图像的二维矩阵[M',N']进行重排列,将其重塑为[u,v,s,t]的四维格式,记为LF4,该四维格式即为解码后的四维的光场矩阵;
步骤1.5、通过公式(4)对四维的光场矩阵进行归一化,得有效四维光场矩阵;
LF4′=LF4/max(LF4(:)) (4)。
步骤2得到斜率列表具体过程为:根据公式(5)确定光场图像的焦点堆栈的数目n,并强制焦点堆栈的数目n为奇数;
n=round(max(u,v)/2)*2+1 (5);
令当前光场图像的相对深度范围为[-1,1],通过MATLAB中的linspace函数将深度范围划分为[-1:2/(n-1):1],即斜率列表。
步骤2得到斜率对应的焦点堆栈图像具体过程为:记斜率列表中的任一斜率为cur_slope,用公式(6)计算当前坐标(curS,curT)在角度分辨率为[ui,vi]时在四维的光场矩阵LF′4中对应的坐标索引(curS,curT,curU,curV),其中Scent=(u-1)/2+1,Tcent=(v-1)/2+1,ui∈[1,u],vi∈[1,v];
Figure BDA0002131908300000051
对当前像素点(curS,curT)累加所有角度分辨率[ui,vi]在有效四维光场矩阵LF′4中的像素值,作为重聚焦图像中(curS,curT)点的像素值,遍历所有位置得到斜率为cur_slope时的重聚焦图像,即当前斜率的焦点堆栈图像FocalStackcur_slope
FocalStackcur_slope(curS,curT)+=LF′4(curU,curV,curS,curT) (7)。
步骤3具体过程为:
步骤3.1、按照公式(8)定义x方向和y方向的卷积核h_x,h_y;通过MATLAB中的imfilter函数对焦点堆栈图像FocalStackcur_slope和h_x,h_y进行卷积操作,得到焦点堆栈图像FocalStackcur_slope在x,y方向的一阶偏导Ix,Iy
Figure BDA0002131908300000052
步骤3.2、定义多尺度的变化范围为[0.5:0.5:5],在不同的焦点堆栈的不同尺度下按照公式(9)、公式(10)形成自相关矩阵M;
Figure BDA0002131908300000061
Figure BDA0002131908300000062
其中,G(σi)是尺度为σi的高斯核函数,其表达式如式(11);
Figure BDA0002131908300000063
步骤3.3、通过如下公式(12)计算当前尺度为σi时Harris角点响应值R(σi);
Figure BDA0002131908300000064
步骤3.4、定义阈值T,若角点响应值R大于该阈值T,则该点为当前焦点堆栈的候选角点,该点的信息其记为[x,y,σi,R,cur_slope],其中x,y为该点坐标值,σi为当前尺度值,cur_slope为当前所属的焦点堆栈,R为当前焦点堆栈在当前尺度下的响应值,否则不是当前焦点堆栈的角点。
步骤4具体过程为:
步骤4.1、对每一个焦点堆栈图像的每一个尺度采用非极大值抑制进行角点精确定位;非极大值抑制的尺度为4*σi+1,在以该候选角点为中心的4*σi+1邻域中,通过MATLAB中的max函数计算该邻域的角点响应值的最大值并记录其索引位置,将其他候选角点剔除;
步骤4.2、将所有角点响应值R降序排列,选取前20%的点作为候选角点;对每一幅焦点堆栈图像查找候选角点是否在多个尺度下出现,若有,则保留该点;否则剔除;最终保留的角点即为光场图像的特征点。
本发明的有益效果是:
本发明一种基于多尺度Harris的光场图像特征检测方法,采用光场图像中的位置信息和角度信息获得整个空间的真实信息,克服了传统成像存在遮挡,丢失深度等缺点,对场景的描述更加的全面。
本发明一种基于多尺度Harris的光场图像特征检测方法,基于多尺度Harris的角点检测满足特征局部不变性中的尺度不变性、平移不变性、旋转不变性和灰度不变性;相比于传统图像的特征检测,基于光场图像焦点堆栈的特征检测更为准确全面,为后续的图像匹配、拼接等做好了基础。
附图说明
图1是本发明一种基于多尺度Harris的光场图像特征检测方法流程图;
图2是本发明种光场图像解码的方法流程图;
图3是本发明中建立焦点堆栈图像的方法流程图;
图4是本发明中多尺度Harris角点检测的方法流程图;
图5是本发明实施例中采用的原始图像及原始图像局部放大图;
图6是本发明实施例中斜率为0的焦点堆栈图像示意图;
图7是本发明实施例中检测的角色显示示意图;
图8是图7中方框部分局部放大图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于多尺度Harris的光场图像特征检测方法,如图1所示,具体按照以下步骤实施:
步骤1、将光场原始图像和其位置分辨率[s,t]与初始角度分辨率[U,V]读入MATLAB,对初始角度分辨率[U,V]取整得角度分辨率[u,v],根据位置分辨率[s,t]与角度分辨率[u,v]将光场原始图像解码得到四维的光场矩阵;对四维的光场矩阵进行归一化和灰度化,得有效四维光场矩阵;
具体过程为:
步骤1.1、用MATLAB中的imread函数读入光场原始图像name_Lenslet.bmp,再用MATLAB中dlmread函数读入光场原始图像对应的参数文件name_LensletRaw.txt,name_LensletRaw.txt文件的第一行为光场原始图像的位置分辨率[s,t],第二行为光场原始图像的旋转角,第三行为光场原始图像的初始角度分辨率[U,V];
步骤1.2、对初始角度分辨率[U,V]取整得:
Figure BDA0002131908300000081
更新光场图像的角度分辨率为[u,v];
步骤1.3、通过公式(2)计算光场图像大小为[M',N'],通过公式(3)计算真实的图像与理论图像的差值,在真实图像的最末行和最末列后补Δx行的0和Δy列的0,得到大小为[M',N',3]的光场图像;
Figure BDA0002131908300000082
Δx=M'-M,Δy=N'-N (3);
步骤1.4、如图2所示,通过MATLAB中的rgb2gray函数将光场图像[M',N',3]灰度化为二维矩阵[M',N'];再通过MATLAB中的reshape函数对光场图像的二维矩阵[M',N']进行重排列,将其重塑为[u,v,s,t]的四维格式,记为LF4,该四维格式即为解码后的四维的光场矩阵;
步骤1.5、通过公式(4)对四维的光场矩阵进行归一化,得有效四维光场矩阵;
LF′4=LF4/max(LF4(:)) (4)。
步骤2、将角度分辨率[u,v]中的最大值作为斜率列表的长度n,得到斜率列表,斜率列表中每个斜率进行重聚焦,得到斜率对应的焦点堆栈图像;
如图3所示,得到斜率列表具体过程为:根据公式(5)确定光场图像的焦点堆栈的数目n,并强制焦点堆栈的数目n为奇数;
n=round(max(u,v)/2)*2+1 (5);
令当前光场图像的相对深度范围为[-1,1],通过MATLAB中的linspace函数将深度范围划分为[-1:2/(n-1):1],即斜率列表。
得到斜率对应的焦点堆栈图像具体过程为:记斜率列表中的任一斜率为cur_slope,用公式(6)计算当前坐标(curS,curT)在角度分辨率为[ui,vi]时在四维的光场矩阵LF4中对应的坐标索引(curS,curT,curU,curV),其中Scent=(u-1)/2+1,Tcent=(v-1)/2+1,ui∈[1,u],vi∈[1,v];
Figure BDA0002131908300000091
对当前像素点(curS,curT)累加所有角度分辨率[ui,vi]在有效四维光场矩阵LF4′中的像素值,作为重聚焦图像中(curS,curT)点的像素值,遍历所有位置得到斜率为cur_slope时的重聚焦图像,即当前斜率的焦点堆栈图像FocalStackcur_slope
FocalStackcur_slope(curS,curT)+=LF′4(curU,curV,curS,curT) (7)。
步骤3、对任一焦点堆栈图像定义尺度列表[σ1,…,σm],分别计算该焦点堆栈图像在不同尺度下的自相关矩阵
Figure BDA0002131908300000092
再计算当前尺度σi处的Harris角点响应值R;
若角点响应值R大于设定的阈值T,认为当前焦点是候选角点;否则不是;
具体过程为:
步骤3.1、如图4所示,按照公式(8)定义x方向和y方向的卷积核h_x,h_y;通过MATLAB中的imfilter函数对焦点堆栈图像FocalStackcur_slope和h_x,h_y进行卷积操作,得到焦点堆栈图像FocalStackcur_slope在x,y方向的一阶偏导Ix,Iy;
Figure BDA0002131908300000101
步骤3.2、定义多尺度的变化范围为[0.5:0.5:5],在不同的焦点堆栈的不同尺度下按照公式(9)、公式(10)形成自相关矩阵M;
Figure BDA0002131908300000102
Figure BDA0002131908300000103
其中,G(σi)是尺度为σi的高斯核函数,其表达式如式(11);
Figure BDA0002131908300000104
步骤3.3、通过如下公式(12)计算当前尺度为σi时Harris角点响应值R(σi);
Figure BDA0002131908300000105
步骤3.4、定义阈值T,若角点响应值R大于该阈值T,则该点为当前焦点堆栈的候选角点,该点的信息其记为[x,y,σi,R,cur_slope],其中x,y为该点坐标值,σi为当前尺度值,cur_slope为当前所属的焦点堆栈,R为当前焦点堆栈在当前尺度下的响应值,否则不是当前焦点堆栈的角点。
步骤4、对当前焦点堆栈的每一个尺度检测的角点进行非极大值抑制,减少多响应的影响;再对候选角点进行多尺度判断,若在多个尺度出现,则保留;否则删除,最终保留的角点即为光场图像的特征点。
具体过程为:
步骤4.1、对每一个焦点堆栈图像的每一个尺度采用非极大值抑制进行角点精确定位;非极大值抑制的尺度为4*σi+1,在以该候选角点为中心的4*σi+1邻域中,通过MATLAB中的max函数计算该邻域的角点响应值的最大值并记录其索引位置,将其他候选角点剔除;
步骤4.2、将所有角点响应值R降序排列,选取前20%的点作为候选角点;对每一幅焦点堆栈图像查找候选角点是否在多个尺度下出现,若有,则保留该点;否则剔除;最终保留的角点即为光场图像的特征点。
最后,对不同斜率焦点堆栈图像不同尺度检测到的Harris角点统一显示到光场图像的最中心子孔径图像LF4(round(u),round(v),:,:)上。不同斜率的焦点堆栈上的角点用不同的颜色显示,不同的尺度用不同大小的圆圈表示。
实施例
通过光场相机lytro拍摄的一个光场图像作为实施例,采用本发明的方法进行特征点检测提取。
读入光场原始图像11_LensletRaw.bmp和对应的11_CentersXY.txt文件到MATLAB中,执行步骤1,该光场原始图像如图5所示,左上角为图中方框部分的局部放大。通过读入的光场原始图像可知二维光场图像的大小为[3786,3935,3],通过txt文件可知位置分辨率为[378,328],微透镜中心的水平间隔和垂直间隔为[10,12]。也是角度分辨率的大小[10,12]。通过公式(2)得到理论图像的大小为[M',N']=[378*10,328*12],用理论图像的大小减去实际大小[3786,3935],得到差值Δx=-6,Δy=1,因此对原始图像的执行删除末尾6行,在最末列后补一列0的操作,使得光场图像大小更新为[3780,3936,3]。将光场图像灰度化,其大小为[3780,3936]。再使用reshape函数对其进行重排列,将二维矩阵解码成四维形式[10,12,378,328],记为LF4。将光场图像LF4的像素范围归一化到[0,1]。
执行步骤2,得到斜率列表如表1所示。
表1
-1 -0.8333 -0.6667 -0.5000 -0.3333 -0.1667 0 0.1667 0.3333 0.5000 0.6667 0.8333 1
得到光场图像的焦点堆栈FocalStack,其大小为[13,378,328],即就是焦点堆栈的数目为13,每一幅焦点堆栈图像的大小为[378,328]。如图6所示为斜率为0的焦点堆栈图像示意图。
执行步骤3,对不同斜率的焦点堆栈图像进行多尺度Harris角点检测。再执行步骤4,对不同斜率的焦点堆栈图像中检测到的多尺度Harris候选角点进行非极大值抑制和精确定位,抑制多响应的影响。
将检测到的角点统一显示,其结果如图7所示,图8为图7方框部分的局部放大。图7所示的结果中圆圈表示的是本发明检测的角点,圆圈的大小代表了尺度的大小。同时也可以看出本发明检测的角点较为准确全面,抗噪性较强。图8可以验证本发明的多尺度特征,检测的角点有多个圆圈表示多个尺度下均可检测到该角点。
通过上述方式,本发明一种基于多尺度Harris的光场图像特征检测方法,基于多尺度Harris的角点检测满足特征局部不变性中的尺度不变性、平移不变性、旋转不变性和灰度不变性;相比于传统图像的特征检测,基于光场图像焦点堆栈的特征检测更为准确全面,为后续的图像匹配、拼接等做好了基础。

Claims (1)

1.一种基于多尺度Harris的光场图像特征检测方法,其特征在于,具体按照以下步骤实施:
步骤1、将光场原始图像和其位置分辨率[s,t]与初始角度分辨率[U,V]读入MATLAB,对初始角度分辨率[U,V]取整得角度分辨率[u,v],根据位置分辨率[s,t]与角度分辨率[u,v]将光场原始图像解码得到四维的光场矩阵;对四维的光场矩阵进行归一化和灰度化,得有效四维光场矩阵;具体过程为:
步骤1.1、用MATLAB中的imread函数读入光场原始图像name_Lenslet.bmp,再用MATLAB中dlmread函数读入光场原始图像对应的参数文件name_LensletRaw.txt,所述name_LensletRaw.txt文件的第一行为光场原始图像的位置分辨率[s,t],第二行为光场原始图像的旋转角,第三行为光场原始图像的初始角度分辨率[U,V];
步骤1.2、对初始角度分辨率[U,V]取整得:
u=round(U)
v=round(V) (1)
更新光场图像的角度分辨率为[u,v];
步骤1.3、通过公式(2)计算光场图像大小为[M',N'],通过公式(3)计算真实的图像与理论图像的差值,在真实图像的最末行和最末列后补Δx行的0和Δy列的0,得到大小为[M',N',3]的光场图像;
Figure FDA0003549271800000011
Δx=M'-M,Δy=N'-N (3);
步骤1.4、通过MATLAB中的rgb2gray函数将光场图像[M',N',3]灰度化为二维矩阵[M',N'];再通过MATLAB中的reshape函数对光场图像的二维矩阵[M',N']进行重排列,将其重塑为[u,v,s,t]的四维格式,记为LF4,该四维格式即为解码后的四维的光场矩阵;
步骤1.5、通过公式(4)对四维的光场矩阵进行归一化,得有效四维光场矩阵;
LF′4=LF4/max(LF4(:)) (4);
步骤2、将角度分辨率[u,v]中的最大值作为斜率列表的长度n,得到斜率列表,斜率列表中每个斜率进行重聚焦,得到斜率对应的焦点堆栈图像;
所述得到斜率列表具体过程为:根据公式(5)确定光场图像的焦点堆栈的数目n,并强制焦点堆栈的数目n为奇数;
n=round(max(u,v)/2)*2+1 (5);
令当前光场图像的相对深度范围为[-1,1],通过MATLAB中的linspace函数将深度范围划分为[-1:2/(n-1):1],即斜率列表;
所述得到斜率对应的焦点堆栈图像具体过程为:记斜率列表中的任一斜率为cur_slope,用公式(6)计算当前坐标(curS,curT)在角度分辨率为[ui,vi]时在四维的光场矩阵LF4中对应的坐标索引(curS,curT,curU,curV),其中Scent=(u-1)/2+1,Tcent=(v-1)/2+1,ui∈[1,u],vi∈[1,v];
Figure FDA0003549271800000021
对当前像素点(curS,curT)累加所有角度分辨率[ui,vi]在有效四维光场矩阵LF′4中的像素值,作为重聚焦图像中(curS,curT)点的像素值,遍历所有位置得到斜率为cur_slope时的重聚焦图像,即当前斜率的焦点堆栈图像FocalStackcur_slope
FocalStackcur_slope(curS,curT)+=LF′4(curU,curV,curS,curT) (7);
步骤3、对任一焦点堆栈图像定义尺度列表[σ1,…,σm],分别计算该焦点堆栈图像在不同尺度下的自相关矩阵
Figure FDA0003549271800000022
再计算当前尺度σi处的Harris角点响应值R;步骤3具体过程为:
步骤3.1、按照公式(8)定义x方向和y方向的卷积核h_x,h_y;通过MATLAB中的imfilter函数对焦点堆栈图像FocalStackcur_slope和h_x,h_y进行卷积操作,得到焦点堆栈图像FocalStackcur_slope在x,y方向的一阶偏导Ix,Iy;
Figure FDA0003549271800000031
步骤3.2、定义多尺度的变化范围为[0.5:0.5:5],在不同的焦点堆栈的不同尺度下按照公式(9)、公式(10)形成自相关矩阵M;
Figure FDA0003549271800000032
Figure FDA0003549271800000033
Figure FDA0003549271800000034
Figure FDA0003549271800000035
其中,G(σi)是尺度为σi的高斯核函数,其表达式如式(11);
Figure FDA0003549271800000036
步骤3.3、通过如下公式(12)计算当前尺度为σi时Harris角点响应值R(σi);
Figure FDA0003549271800000037
步骤3.4、定义阈值T,若角点响应值R大于该阈值T,则该点为当前焦点堆栈的候选角点,该点的信息其记为[x,y,σi,R,cur_slope],其中x,y为该点坐标值,σi为当前尺度值,cur_slope为当前所属的焦点堆栈,R为当前焦点堆栈在当前尺度下的响应值,否则不是当前焦点堆栈的角点;
若角点响应值R大于设定的阈值T,认为当前焦点是候选角点;否则不是;
步骤4、对当前焦点堆栈的每一个尺度检测的角点进行非极大值抑制,减少多响应的影响;再对候选角点进行多尺度判断,若在多个尺度出现,则保留;否则删除,最终保留的角点即为光场图像的特征点;具体过程为:
步骤4.1、对每一个焦点堆栈图像的每一个尺度采用非极大值抑制进行角点精确定位;所述非极大值抑制的尺度为4*σi+1,在以该候选角点为中心的4*σi+1邻域中,通过MATLAB中的max函数计算该邻域的角点响应值的最大值并记录其索引位置,将其他候选角点剔除;
步骤4.2、将所有角点响应值R降序排列,选取前20%的点作为候选角点;对每一幅焦点堆栈图像查找候选角点是否在多个尺度下出现,若有,则保留该点;否则剔除;最终保留的角点即为光场图像的特征点。
CN201910641121.7A 2019-07-16 2019-07-16 一种基于多尺度Harris的光场图像特征点检测方法 Active CN110490924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910641121.7A CN110490924B (zh) 2019-07-16 2019-07-16 一种基于多尺度Harris的光场图像特征点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910641121.7A CN110490924B (zh) 2019-07-16 2019-07-16 一种基于多尺度Harris的光场图像特征点检测方法

Publications (2)

Publication Number Publication Date
CN110490924A CN110490924A (zh) 2019-11-22
CN110490924B true CN110490924B (zh) 2022-07-01

Family

ID=68547246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910641121.7A Active CN110490924B (zh) 2019-07-16 2019-07-16 一种基于多尺度Harris的光场图像特征点检测方法

Country Status (1)

Country Link
CN (1) CN110490924B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353537B (zh) * 2020-02-28 2023-02-07 西安理工大学 基于EPI_Volume的LF_SURF光场图像特征匹配方法
CN112465796B (zh) * 2020-12-07 2023-11-21 清华大学深圳国际研究生院 一种融合焦点堆栈和全聚焦图像的光场特征提取方法
CN113129351B (zh) * 2021-03-10 2023-08-11 西安理工大学 一种基于光场傅里叶视差分层的特征检测方法
CN113191369B (zh) * 2021-04-09 2024-02-09 西安理工大学 一种基于光场角度域变化矩阵的特征点检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529548A (zh) * 2016-10-24 2017-03-22 南京工业大学 亚像素级的多尺度Harris角点检测算法
CN108141610A (zh) * 2015-09-07 2018-06-08 汤姆逊许可公司 用于编码和解码基于光场的图像的方法和设备,以及相应的计算机程序产品

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141610A (zh) * 2015-09-07 2018-06-08 汤姆逊许可公司 用于编码和解码基于光场的图像的方法和设备,以及相应的计算机程序产品
CN106529548A (zh) * 2016-10-24 2017-03-22 南京工业大学 亚像素级的多尺度Harris角点检测算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
一种多尺度Harris角点检测方法;王德超 等;《计算机应用与软件》;20081231;第25卷(第12期);第242、243、262页 *
基于光场成像的三维图像特征点提取与匹配;王晓飞;《中国优秀硕士学位论文全文数据库 信息科技辑》;20150815;全文 *
基于变分法的光场深度流估计;方水越;《中国优秀硕士学位论文全文数据库信息科技辑》;20180615;I138-188 *

Also Published As

Publication number Publication date
CN110490924A (zh) 2019-11-22

Similar Documents

Publication Publication Date Title
CN110490924B (zh) 一种基于多尺度Harris的光场图像特征点检测方法
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
CN112288008B (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN108764358B (zh) 一种太赫兹图像识别方法、装置、设备及可读存储介质
RU2659745C1 (ru) Реконструкция документа из серии изображений документа
CN109948566B (zh) 一种基于权重融合与特征选择的双流人脸反欺诈检测方法
CN108961180B (zh) 红外图像增强方法及系统
KR101723738B1 (ko) 딕셔너리 학습 기반 해상도 향상 장치 및 방법
KR101409810B1 (ko) 파티클 필터를 이용한 움직임 카메라에서의 실시간 객체 추적 방법
CN111369605B (zh) 一种基于边缘特征的红外与可见光图像的配准方法和系统
CN108509925B (zh) 一种基于视觉词袋模型的行人重识别方法
CN109977834B (zh) 从深度图像中分割人手与交互物体的方法和装置
CN108288256A (zh) 一种多光谱马赛克图像复原方法
CN107154017A (zh) 一种基于sift特征点匹配的图像拼接方法
Fang et al. Laser stripe image denoising using convolutional autoencoder
CN115294145A (zh) 一种输电线路弧垂的测量方法及系统
CN109064444B (zh) 基于显著性分析的轨道板病害检测方法
CN114065798A (zh) 基于机器识别的视觉识别方法及装置
CN117392187A (zh) 基于空间注意力模型的sar图像变化检测方法及设备
CN108960285B (zh) 一种分类模型生成方法、舌体图像分类方法及装置
Wang et al. LBP-based edge detection method for depth images with low resolutions
CN115719414A (zh) 基于任意四边形回归的目标检测与精确定位方法
CN114511631A (zh) 摄像机视觉物体高度测量方法、装置及计算机可读存储介质
JP6276504B2 (ja) 画像検出装置及び制御プログラム並びに画像検出方法
CN113159158A (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant