CN110490924A - 一种基于多尺度Harris的光场图像特征点检测方法 - Google Patents

一种基于多尺度Harris的光场图像特征点检测方法 Download PDF

Info

Publication number
CN110490924A
CN110490924A CN201910641121.7A CN201910641121A CN110490924A CN 110490924 A CN110490924 A CN 110490924A CN 201910641121 A CN201910641121 A CN 201910641121A CN 110490924 A CN110490924 A CN 110490924A
Authority
CN
China
Prior art keywords
light field
image
slope
point
scale
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201910641121.7A
Other languages
English (en)
Other versions
CN110490924B (zh
Inventor
金海燕
张萌
肖照林
蔡磊
李秀秀
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xian University of Technology
Original Assignee
Xian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian University of Technology filed Critical Xian University of Technology
Priority to CN201910641121.7A priority Critical patent/CN110490924B/zh
Publication of CN110490924A publication Critical patent/CN110490924A/zh
Application granted granted Critical
Publication of CN110490924B publication Critical patent/CN110490924B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/557Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image

Abstract

本发明公开了一种基于多尺度Harris的光场图像特征检测方法,具体过程为:将光场原始图像参数文件读入MATLAB,解码并处理为有效四维光场矩阵;将角度分辨率[u,v]中的最大值作为斜率列表的长度n,得到斜率列表,斜率列表中每个斜率进行重聚焦,得到斜率对应的焦点堆栈图像;对每一个焦点堆栈图像进行多尺度Harris角点检测;对当前角点堆栈的每一个尺度检测的角点进行非极大值抑制,减少多响应的影响。再对候选角点进行多尺度判断,若在多个尺度出现,则保留;否则删除;最终保留的角点即为光场图像的特征点;采用光场图像中的位置信息和角度信息获得整个空间的真实信息,克服了传统成像存在遮挡,丢失深度等缺点,对场景的描述更加的全面。

Description

一种基于多尺度Harris的光场图像特征点检测方法
技术领域
本发明属于数字图像处理技术领域,具体涉及一种基于多尺度Harris的光场图像特征点检测方法。
背景技术
图像中总是存在一些独特的像素点,这些点可以看做是这幅图像的特征,称作特征点。计算机视觉领域的许多应用都是基于图像特征点为基础而进行的,因此,图像特征点的定义与检测变得尤为重要。在计算机视觉领域,图像特征点的检测得到了广泛的应用,例如图像匹配、图像拼接、故障检测和三维重建等等。
图像特征点检测是图像分析与识别的前提,它是将高维的图像数据进行简化表达最有效的方式,从一幅图像的的数据矩阵中,很难直接提取到有用的信息,所以必须根据这些原始的图像数据提取出图像中的关键信息及它们的关系。从图像中选取某些特征点并对图像进行局部分析,而非观察整幅图像。只要图像中有足够多可检测的特征点,并且这些特征点各不相同且特征稳定,能被精确地定位,针对其的应用也就十分有效。
特征点检测与匹配分为三个环节。在“特征检测”环节,从每一幅图像中寻找那些独特的点,可以和其他图像很好匹配的位置的点。在“特征描述”环节,将检测到的关键点与其邻域结合起来,生成一组数字或向量的稳定而独特的局部描述子来表征当前特征。
图像的特征主要分为两种:色度信息和形状特征。色度信息又要有颜色、亮度等。形状特征包括几何形状、边缘特征、纹理特征及空间关系等等。图像特征有三大类别:像素级特征、局部特征和全局特征。像素级特征是从像素点计算的特征,如颜色、位置。局部特征是从局部的区域计算的特征,如几何特征、边缘特征、纹理特征等等。全局特征是从整个图像级提取的特征。
特征检测与匹配中局部特征是一个非常重要的概念,而局部特征的研究发展的核心问题是不变性和鲁棒性。局部不变性特征是指局部特征不随图像的变形而改变,主要有尺度不变性、平移不变性、旋转不变性及灰度不变性等等。局部特征的鲁棒性是指局部特征对噪声、图像压缩和图像模糊等不敏感。
尺度不变性是指人类在识别物体时,不论距离物体的远近,总是可以正确地对其进行辨别。当用计算机视觉系统分析未知场景时,计算机没有办法预知图像中物体尺度,因此,需要同时考虑图像在多尺度下的描述,获知感兴趣物体的最佳尺度。所以我们会将图像构建为一系列不同尺度的图像集,在不同的尺度中去检测我们感兴趣的特征,即尺度空间理论。图像的尺度空间理论是指图像在所有尺度下的描述,通过对原始图像进行尺度变化,获得图像多尺度下的尺度空间表示序列。高斯金字塔是一种经典的尺度表示方法,通过对原始图像进行一系列降采样和平滑处理得到。
图像的特征点主要分为斑点、边缘点和角点。其中角点是局部窗口沿各方向移动,灰度均产生明显变化的点,也是局部曲率突变的点。Harris角点检测算法是经典的角点检测算法之一。而且Harris角点检测算子对亮度和对比度变化不敏感,也具有旋转不变性,但是不具有尺度不变性。
光场成像理论是计算成像领域的热门话题之一,与传统成像只记录二维光强不同,光场成像利用二维成像平面同时记录光场的四维信息,即二维的位置信息和二维的角度信息,称作平行双平面光场成像系统。光场成像可以用位置信息和角度信息获得整个空间的真实信息,克服了传统成像存在遮挡,丢失深度等缺点,对场景的描述更加的全面。
发明内容
本发明的目的是提供一种基于多尺度Harris的光场图像特征点检测方法,能够准确提取反映光场图像特征点的Harris角点。
本发明采用的技术方案是,一种基于多尺度Harris的光场图像特征检测方法,具体按照以下步骤实施:
步骤1、将光场原始图像和其位置分辨率[s,t]与初始角度分辨率[U,V]读入MATLAB,对初始角度分辨率[U,V]取整得角度分辨率[u,v],根据位置分辨率[s,t]与角度分辨率[u,v]将光场原始图像解码得到四维的光场矩阵;对四维的光场矩阵进行归一化和灰度化,得有效四维光场矩阵;
步骤2、将角度分辨率[u,v]中的最大值作为斜率列表的长度n,得到斜率列表,斜率列表中每个斜率进行重聚焦,得到斜率对应的焦点堆栈图像;
步骤3、对任一焦点堆栈图像定义尺度列表[σ1,…,σm],分别计算该焦点堆栈图像在不同尺度下的自相关矩阵再计算当前尺度σi处的Harris角点响应值R;
若角点响应值R大于设定的阈值T,认为当前角点是候选角点;否则不是;
步骤4、对当前焦点堆栈的每一个尺度检测的角点进行非极大值抑制,减少多响应的影响;再对候选角点进行多尺度判断,若在多个尺度出现,则保留;否则删除,最终保留的角点即为光场图像的特征点。
本发明的特点还在于:
步骤1具体过程为:
步骤1.1、用MATLAB中的imread函数读入光场原始图像name_Lenslet.bmp,再用MATLAB中dlmread函数读入光场原始图像对应的参数文件name_LensletRaw.txt,name_LensletRaw.txt文件的第一行为光场原始图像的位置分辨率[s,t],第二行为光场原始图像的旋转角,第三行为光场原始图像的初始角度分辨率[U,V];
步骤1.2、对初始角度分辨率[U,V]取整得:
更新光场图像的角度分辨率为[u,v];
步骤1.3、通过公式(2)计算光场图像大小为[M',N'],通过公式(3)计算真实的图像与理论图像的差值,在真实图像的最末行和最末列后补Δx行的0和Δy列的0,得到大小为[M',N',3]的光场图像;
Δx=M'-M,Δy=N'-N (3);
步骤1.4、通过MATLAB中的rgb2gray函数将光场图像[M',N',3]灰度化为二维矩阵[M',N'];再通过MATLAB中的reshape函数对光场图像的二维矩阵[M',N']进行重排列,将其重塑为[u,v,s,t]的四维格式,记为LF4,该四维格式即为解码后的四维的光场矩阵;
步骤1.5、通过公式(4)对四维的光场矩阵进行归一化,得有效四维光场矩阵;
LF4′=LF4/max(LF4(:)) (4)。
步骤2得到斜率列表具体过程为:根据公式(5)确定光场图像的焦点堆栈的数目n,并强制焦点堆栈的数目n为奇数;
n=round(max(u,v)/2)*2+1 (5);
令当前光场图像的相对深度范围为[-1,1],通过MATLAB中的linspace函数将深度范围划分为[-1:2/(n-1):1],即斜率列表。
步骤2得到斜率对应的焦点堆栈图像具体过程为:记斜率列表中的任一斜率为cur_slope,用公式(6)计算当前坐标(curS,curT)在角度分辨率为[ui,vi]时在四维的光场矩阵LF′4中对应的坐标索引(curS,curT,curU,curV),其中Scent=(u-1)/2+1,Tcent=(v-1)/2+1,ui∈[1,u],vi∈[1,v];
对当前像素点(curS,curT)累加所有角度分辨率[ui,vi]在有效四维光场矩阵LF′4中的像素值,作为重聚焦图像中(curS,curT)点的像素值,遍历所有位置得到斜率为cur_slope时的重聚焦图像,即当前斜率的焦点堆栈图像FocalStackcur_slope
FocalStackcur_slope(curS,curT)+=LF′4(curU,curV,curS,curT) (7)。
步骤3具体过程为:
步骤3.1、按照公式(8)定义x方向和y方向的卷积核h_x,h_y;通过MATLAB中的imfilter函数对焦点堆栈图像FocalStackcur_slope和h_x,h_y进行卷积操作,得到焦点堆栈图像FocalStackcur_slope在x,y方向的一阶偏导Ix,Iy
步骤3.2、定义多尺度的变化范围为[0.5:0.5:5],在不同的焦点堆栈的不同尺度下按照公式(9)、公式(10)形成自相关矩阵M;
其中,G(σi)是尺度为σi的高斯核函数,其表达式如式(11);
步骤3.3、通过如下公式(12)计算当前尺度为σi时Harris角点响应值R(σi);
步骤3.4、定义阈值T,若角点响应值R大于该阈值T,则该点为当前焦点堆栈的候选角点,该点的信息其记为[x,y,σi,R,cur_slope],其中x,y为该点坐标值,σi为当前尺度值,cur_slope为当前所属的焦点堆栈,R为当前焦点堆栈在当前尺度下的响应值,否则不是当前焦点堆栈的角点。
步骤4具体过程为:
步骤4.1、对每一个焦点堆栈图像的每一个尺度采用非极大值抑制进行角点精确定位;非极大值抑制的尺度为4*σi+1,在以该候选角点为中心的4*σi+1邻域中,通过MATLAB中的max函数计算该邻域的角点响应值的最大值并记录其索引位置,将其他候选角点剔除;
步骤4.2、将所有角点响应值R降序排列,选取前20%的点作为候选角点;对每一幅焦点堆栈图像查找候选角点是否在多个尺度下出现,若有,则保留该点;否则剔除;最终保留的角点即为光场图像的特征点。
本发明的有益效果是:
本发明一种基于多尺度Harris的光场图像特征检测方法,采用光场图像中的位置信息和角度信息获得整个空间的真实信息,克服了传统成像存在遮挡,丢失深度等缺点,对场景的描述更加的全面。
本发明一种基于多尺度Harris的光场图像特征检测方法,基于多尺度Harris的角点检测满足特征局部不变性中的尺度不变性、平移不变性、旋转不变性和灰度不变性;相比于传统图像的特征检测,基于光场图像焦点堆栈的特征检测更为准确全面,为后续的图像匹配、拼接等做好了基础。
附图说明
图1是本发明一种基于多尺度Harris的光场图像特征检测方法流程图;
图2是本发明种光场图像解码的方法流程图;
图3是本发明中建立焦点堆栈图像的方法流程图;
图4是本发明中多尺度Harris角点检测的方法流程图;
图5是本发明实施例中采用的原始图像及原始图像局部放大图;
图6是本发明实施例中斜率为0的焦点堆栈图像示意图;
图7是本发明实施例中检测的角色显示示意图;
图8是图7中方框部分局部放大图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明。
本发明一种基于多尺度Harris的光场图像特征检测方法,如图1所示,具体按照以下步骤实施:
步骤1、将光场原始图像和其位置分辨率[s,t]与初始角度分辨率[U,V]读入MATLAB,对初始角度分辨率[U,V]取整得角度分辨率[u,v],根据位置分辨率[s,t]与角度分辨率[u,v]将光场原始图像解码得到四维的光场矩阵;对四维的光场矩阵进行归一化和灰度化,得有效四维光场矩阵;
具体过程为:
步骤1.1、用MATLAB中的imread函数读入光场原始图像name_Lenslet.bmp,再用MATLAB中dlmread函数读入光场原始图像对应的参数文件name_LensletRaw.txt,name_LensletRaw.txt文件的第一行为光场原始图像的位置分辨率[s,t],第二行为光场原始图像的旋转角,第三行为光场原始图像的初始角度分辨率[U,V];
步骤1.2、对初始角度分辨率[U,V]取整得:
更新光场图像的角度分辨率为[u,v];
步骤1.3、通过公式(2)计算光场图像大小为[M',N'],通过公式(3)计算真实的图像与理论图像的差值,在真实图像的最末行和最末列后补Δx行的0和Δy列的0,得到大小为[M',N',3]的光场图像;
Δx=M'-M,Δy=N'-N (3);
步骤1.4、如图2所示,通过MATLAB中的rgb2gray函数将光场图像[M',N',3]灰度化为二维矩阵[M',N'];再通过MATLAB中的reshape函数对光场图像的二维矩阵[M',N']进行重排列,将其重塑为[u,v,s,t]的四维格式,记为LF4,该四维格式即为解码后的四维的光场矩阵;
步骤1.5、通过公式(4)对四维的光场矩阵进行归一化,得有效四维光场矩阵;
LF′4=LF4/max(LF4(:)) (4)。
步骤2、将角度分辨率[u,v]中的最大值作为斜率列表的长度n,得到斜率列表,斜率列表中每个斜率进行重聚焦,得到斜率对应的焦点堆栈图像;
如图3所示,得到斜率列表具体过程为:根据公式(5)确定光场图像的焦点堆栈的数目n,并强制焦点堆栈的数目n为奇数;
n=round(max(u,v)/2)*2+1 (5);
令当前光场图像的相对深度范围为[-1,1],通过MATLAB中的linspace函数将深度范围划分为[-1:2/(n-1):1],即斜率列表。
得到斜率对应的焦点堆栈图像具体过程为:记斜率列表中的任一斜率为cur_slope,用公式(6)计算当前坐标(curS,curT)在角度分辨率为[ui,vi]时在四维的光场矩阵LF4中对应的坐标索引(curS,curT,curU,curV),其中Scent=(u-1)/2+1,Tcent=(v-1)/2+1,ui∈[1,u],vi∈[1,v];
对当前像素点(curS,curT)累加所有角度分辨率[ui,vi]在有效四维光场矩阵LF4′中的像素值,作为重聚焦图像中(curS,curT)点的像素值,遍历所有位置得到斜率为cur_slope时的重聚焦图像,即当前斜率的焦点堆栈图像FocalStackcur_slope
FocalStackcur_slope(curS,curT)+=LF′4(curU,curV,curS,curT) (7)。
步骤3、对任一焦点堆栈图像定义尺度列表[σ1,…,σm],分别计算该焦点堆栈图像在不同尺度下的自相关矩阵再计算当前尺度σi处的Harris角点响应值R;
若角点响应值R大于设定的阈值T,认为当前焦点是候选角点;否则不是;
具体过程为:
步骤3.1、如图4所示,按照公式(8)定义x方向和y方向的卷积核h_x,h_y;通过MATLAB中的imfilter函数对焦点堆栈图像FocalStackcur_slope和h_x,h_y进行卷积操作,得到焦点堆栈图像FocalStackcur_slope在x,y方向的一阶偏导Ix,Iy;
步骤3.2、定义多尺度的变化范围为[0.5:0.5:5],在不同的焦点堆栈的不同尺度下按照公式(9)、公式(10)形成自相关矩阵M;
其中,G(σi)是尺度为σi的高斯核函数,其表达式如式(11);
步骤3.3、通过如下公式(12)计算当前尺度为σi时Harris角点响应值R(σi);
步骤3.4、定义阈值T,若角点响应值R大于该阈值T,则该点为当前焦点堆栈的候选角点,该点的信息其记为[x,y,σi,R,cur_slope],其中x,y为该点坐标值,σi为当前尺度值,cur_slope为当前所属的焦点堆栈,R为当前焦点堆栈在当前尺度下的响应值,否则不是当前焦点堆栈的角点。
步骤4、对当前焦点堆栈的每一个尺度检测的角点进行非极大值抑制,减少多响应的影响;再对候选角点进行多尺度判断,若在多个尺度出现,则保留;否则删除,最终保留的角点即为光场图像的特征点。
具体过程为:
步骤4.1、对每一个焦点堆栈图像的每一个尺度采用非极大值抑制进行角点精确定位;非极大值抑制的尺度为4*σi+1,在以该候选角点为中心的4*σi+1邻域中,通过MATLAB中的max函数计算该邻域的角点响应值的最大值并记录其索引位置,将其他候选角点剔除;
步骤4.2、将所有角点响应值R降序排列,选取前20%的点作为候选角点;对每一幅焦点堆栈图像查找候选角点是否在多个尺度下出现,若有,则保留该点;否则剔除;最终保留的角点即为光场图像的特征点。
最后,对不同斜率焦点堆栈图像不同尺度检测到的Harris角点统一显示到光场图像的最中心子孔径图像LF4(round(u),round(v),:,:)上。不同斜率的焦点堆栈上的角点用不同的颜色显示,不同的尺度用不同大小的圆圈表示。
实施例
通过光场相机lytro拍摄的一个光场图像作为实施例,采用本发明的方法进行特征点检测提取。
读入光场原始图像11_LensletRaw.bmp和对应的11_CentersXY.txt文件到MATLAB中,执行步骤1,该光场原始图像如图5所示,左上角为图中方框部分的局部放大。通过读入的光场原始图像可知二维光场图像的大小为[3786,3935,3],通过txt文件可知位置分辨率为[378,328],微透镜中心的水平间隔和垂直间隔为[10,12]。也是角度分辨率的大小[10,12]。通过公式(2)得到理论图像的大小为[M',N']=[378*10,328*12],用理论图像的大小减去实际大小[3786,3935],得到差值Δx=-6,Δy=1,因此对原始图像的执行删除末尾6行,在最末列后补一列0的操作,使得光场图像大小更新为[3780,3936,3]。将光场图像灰度化,其大小为[3780,3936]。再使用reshape函数对其进行重排列,将二维矩阵解码成四维形式[10,12,378,328],记为LF4。将光场图像LF4的像素范围归一化到[0,1]。
执行步骤2,得到斜率列表如表1所示。
表1
-1 -0.8333 -0.6667 -0.5000 -0.3333 -0.1667 0 0.1667 0.3333 0.5000 0.6667 0.8333 1
得到光场图像的焦点堆栈FocalStack,其大小为[13,378,328],即就是焦点堆栈的数目为13,每一幅焦点堆栈图像的大小为[378,328]。如图6所示为斜率为0的焦点堆栈图像示意图。
执行步骤3,对不同斜率的焦点堆栈图像进行多尺度Harris角点检测。再执行步骤4,对不同斜率的焦点堆栈图像中检测到的多尺度Harris候选角点进行非极大值抑制和精确定位,抑制多响应的影响。
将检测到的角点统一显示,其结果如图7所示,图8为图7方框部分的局部放大。图7所示的结果中圆圈表示的是本发明检测的角点,圆圈的大小代表了尺度的大小。同时也可以看出本发明检测的角点较为准确全面,抗噪性较强。图8可以验证本发明的多尺度特征,检测的角点有多个圆圈表示多个尺度下均可检测到该角点。
通过上述方式,本发明一种基于多尺度Harris的光场图像特征检测方法,基于多尺度Harris的角点检测满足特征局部不变性中的尺度不变性、平移不变性、旋转不变性和灰度不变性;相比于传统图像的特征检测,基于光场图像焦点堆栈的特征检测更为准确全面,为后续的图像匹配、拼接等做好了基础。

Claims (6)

1.一种基于多尺度Harris的光场图像特征检测方法,其特征在于,具体按照以下步骤实施:
步骤1、将光场原始图像和其位置分辨率[s,t]与初始角度分辨率[U,V]读入MATLAB,对初始角度分辨率[U,V]取整得角度分辨率[u,v],根据位置分辨率[s,t]与角度分辨率[u,v]将光场原始图像解码得到四维的光场矩阵;对四维的光场矩阵进行归一化和灰度化,得有效四维光场矩阵;
步骤2、将角度分辨率[u,v]中的最大值作为斜率列表的长度n,得到斜率列表,斜率列表中每个斜率进行重聚焦,得到斜率对应的焦点堆栈图像;
步骤3、对任一焦点堆栈图像定义尺度列表[σ1,…,σm],分别计算该焦点堆栈图像在不同尺度下的自相关矩阵再计算当前尺度σi处的Harris角点响应值R;
若角点响应值R大于设定的阈值T,认为当前焦点是候选角点;否则不是;
步骤4、对当前焦点堆栈的每一个尺度检测的角点进行非极大值抑制,减少多响应的影响;再对候选角点进行多尺度判断,若在多个尺度出现,则保留;否则删除,最终保留的角点即为光场图像的特征点。
2.根据权利要求1所述一种基于多尺度Harris的光场图像特征检测方法,其特征在于,步骤1具体过程为:
步骤1.1、用MATLAB中的imread函数读入光场原始图像name_Lenslet.bmp,再用MATLAB中dlmread函数读入光场原始图像对应的参数文件name_LensletRaw.txt,所述name_LensletRaw.txt文件的第一行为光场原始图像的位置分辨率[s,t],第二行为光场原始图像的旋转角,第三行为光场原始图像的初始角度分辨率[U,V];
步骤1.2、对初始角度分辨率[U,V]取整得:
u=round(U)
v=round(V) (1)
更新光场图像的角度分辨率为[u,v];
步骤1.3、通过公式(2)计算光场图像大小为[M',N'],通过公式(3)计算真实的图像与理论图像的差值,在真实图像的最末行和最末列后补Δx行的0和Δy列的0,得到大小为[M',N',3]的光场图像;
Δx=M'-M,Δy=N'-N (3);
步骤1.4、通过MATLAB中的rgb2gray函数将光场图像[M',N',3]灰度化为二维矩阵[M',N'];再通过MATLAB中的reshape函数对光场图像的二维矩阵[M',N']进行重排列,将其重塑为[u,v,s,t]的四维格式,记为LF4,该四维格式即为解码后的四维的光场矩阵;
步骤1.5、通过公式(4)对四维的光场矩阵进行归一化,得有效四维光场矩阵;
LF4′=LF4/max(LF4(:)) (4)。
3.根据权利要求1所述一种基于多尺度Harris的光场图像特征检测方法,其特征在于,步骤2所述得到斜率列表具体过程为:根据公式(5)确定光场图像的焦点堆栈的数目n,并强制焦点堆栈的数目n为奇数;
n=round(max(u,v)/2)*2+1 (5);
令当前光场图像的相对深度范围为[-1,1],通过MATLAB中的linspace函数将深度范围划分为[-1:2/(n-1):1],即斜率列表。
4.根据权利要求1所述一种基于多尺度Harris的光场图像特征检测方法,其特征在于,步骤2所述得到斜率对应的焦点堆栈图像具体过程为:记斜率列表中的任一斜率为cur_slope,用公式(6)计算当前坐标(curS,curT)在角度分辨率为[ui,vi]时在四维的光场矩阵LF4中对应的坐标索引(curS,curT,curU,curV),其中Scent=(u-1)/2+1,Tcent=(v-1)/2+1,ui∈[1,u],vi∈[1,v];
对当前像素点(curS,curT)累加所有角度分辨率[ui,vi]在有效四维光场矩阵LF′4中的像素值,作为重聚焦图像中(curS,curT)点的像素值,遍历所有位置得到斜率为cur_slope时的重聚焦图像,即当前斜率的焦点堆栈图像FocalStackcur_slope
FocalStackcur_slope(curS,curT)+=LF′4(curU,curV,curS,curT) (7)。
5.根据权利要求1所述一种基于多尺度Harris的光场图像特征检测方法,其特征在于,步骤3具体过程为:
步骤3.1、按照公式(8)定义x方向和y方向的卷积核h_x,h_y;通过MATLAB中的imfilter函数对焦点堆栈图像FocalStackcur_slope和h_x,h_y进行卷积操作,得到焦点堆栈图像FocalStackcur_slope在x,y方向的一阶偏导Ix,Iy;
步骤3.2、定义多尺度的变化范围为[0.5:0.5:5],在不同的焦点堆栈的不同尺度下按照公式(9)、公式(10)形成自相关矩阵M;
其中,G(σi)是尺度为σi的高斯核函数,其表达式如式(11);
步骤3.3、通过如下公式(12)计算当前尺度为σi时Harris角点响应值R(σi);
步骤3.4、定义阈值T,若角点响应值R大于该阈值T,则该点为当前焦点堆栈的候选角点,该点的信息其记为[x,y,σi,R,cur_slope],其中x,y为该点坐标值,σi为当前尺度值,cur_slope为当前所属的焦点堆栈,R为当前焦点堆栈在当前尺度下的响应值,否则不是当前焦点堆栈的角点。
6.根据权利要求1所述一种基于多尺度Harris的光场图像特征检测方法,其特征在于,步骤4具体过程为:
步骤4.1、对每一个焦点堆栈图像的每一个尺度采用非极大值抑制进行角点精确定位;所述非极大值抑制的尺度为4*σi+1,在以该候选角点为中心的4*σi+1邻域中,通过MATLAB中的max函数计算该邻域的角点响应值的最大值并记录其索引位置,将其他候选角点剔除;
步骤4.2、将所有角点响应值R降序排列,选取前20%的点作为候选角点;对每一幅焦点堆栈图像查找候选角点是否在多个尺度下出现,若有,则保留该点;否则剔除;最终保留的角点即为光场图像的特征点。
CN201910641121.7A 2019-07-16 2019-07-16 一种基于多尺度Harris的光场图像特征点检测方法 Active CN110490924B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910641121.7A CN110490924B (zh) 2019-07-16 2019-07-16 一种基于多尺度Harris的光场图像特征点检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910641121.7A CN110490924B (zh) 2019-07-16 2019-07-16 一种基于多尺度Harris的光场图像特征点检测方法

Publications (2)

Publication Number Publication Date
CN110490924A true CN110490924A (zh) 2019-11-22
CN110490924B CN110490924B (zh) 2022-07-01

Family

ID=68547246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910641121.7A Active CN110490924B (zh) 2019-07-16 2019-07-16 一种基于多尺度Harris的光场图像特征点检测方法

Country Status (1)

Country Link
CN (1) CN110490924B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353537A (zh) * 2020-02-28 2020-06-30 西安理工大学 基于EPI_Volume的LF_SURF光场图像特征匹配方法
CN112465796A (zh) * 2020-12-07 2021-03-09 清华大学深圳国际研究生院 一种融合焦点堆栈和全聚焦图像的光场特征提取方法
CN113129351A (zh) * 2021-03-10 2021-07-16 西安理工大学 一种基于光场傅里叶视差分层的特征检测方法
CN113191369A (zh) * 2021-04-09 2021-07-30 西安理工大学 一种基于光场角度域变化矩阵的特征点检测方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106529548A (zh) * 2016-10-24 2017-03-22 南京工业大学 亚像素级的多尺度Harris角点检测算法
CN108141610A (zh) * 2015-09-07 2018-06-08 汤姆逊许可公司 用于编码和解码基于光场的图像的方法和设备,以及相应的计算机程序产品

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108141610A (zh) * 2015-09-07 2018-06-08 汤姆逊许可公司 用于编码和解码基于光场的图像的方法和设备,以及相应的计算机程序产品
CN106529548A (zh) * 2016-10-24 2017-03-22 南京工业大学 亚像素级的多尺度Harris角点检测算法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
方水越: "基于变分法的光场深度流估计", 《中国优秀硕士学位论文全文数据库信息科技辑》 *
王德超 等: "一种多尺度Harris角点检测方法", 《计算机应用与软件》 *
王晓飞: "基于光场成像的三维图像特征点提取与匹配", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111353537A (zh) * 2020-02-28 2020-06-30 西安理工大学 基于EPI_Volume的LF_SURF光场图像特征匹配方法
CN111353537B (zh) * 2020-02-28 2023-02-07 西安理工大学 基于EPI_Volume的LF_SURF光场图像特征匹配方法
CN112465796A (zh) * 2020-12-07 2021-03-09 清华大学深圳国际研究生院 一种融合焦点堆栈和全聚焦图像的光场特征提取方法
CN112465796B (zh) * 2020-12-07 2023-11-21 清华大学深圳国际研究生院 一种融合焦点堆栈和全聚焦图像的光场特征提取方法
CN113129351A (zh) * 2021-03-10 2021-07-16 西安理工大学 一种基于光场傅里叶视差分层的特征检测方法
CN113129351B (zh) * 2021-03-10 2023-08-11 西安理工大学 一种基于光场傅里叶视差分层的特征检测方法
CN113191369A (zh) * 2021-04-09 2021-07-30 西安理工大学 一种基于光场角度域变化矩阵的特征点检测方法
CN113191369B (zh) * 2021-04-09 2024-02-09 西安理工大学 一种基于光场角度域变化矩阵的特征点检测方法

Also Published As

Publication number Publication date
CN110490924B (zh) 2022-07-01

Similar Documents

Publication Publication Date Title
CN110490924A (zh) 一种基于多尺度Harris的光场图像特征点检测方法
CN106651752B (zh) 三维点云数据配准方法及拼接方法
Moghadam et al. Fast vanishing-point detection in unstructured environments
CN109859226B (zh) 一种图形分割的棋盘格角点亚像素的检测方法
López et al. Two-view line matching algorithm based on context and appearance in low-textured images
Bu et al. Concentric circle grids for camera calibration with considering lens distortion
CN110580481B (zh) 一种基于epi的光场图像关键位置检测方法
CN104182973A (zh) 基于圆形描述算子csift的图像复制粘贴检测方法
CN112396643A (zh) 一种尺度不变特征与几何特征融合的多模态高分影像配准方法
CN108537286A (zh) 一种基于关键区域检测的复杂目标精准识别方法
CN102739911A (zh) 图像处理装置及图像处理方法
CN112560538B (zh) 一种根据图像冗余信息快速定位受损qr码的方法
CN104123554A (zh) 基于mmtd的sift图像特征提取方法
CN109493384A (zh) 相机位姿估计方法、系统、设备及存储介质
CN114331879A (zh) 一种均衡化二阶梯度直方图描述子的可见光与红外图像配准方法
CN111222507A (zh) 数字式仪表读数的自动识别方法、计算机可读存储介质
CN117036641A (zh) 一种基于双目视觉的公路场景三维重建与缺陷检测方法
CN113435219B (zh) 防伪检测方法、装置、电子设备及存储介质
Mustafa et al. Segmentation based features for wide-baseline multi-view reconstruction
Satoh et al. Occlusion detectable stereo-systematic comparison of detection algorithms
Matusiak et al. Unbiased evaluation of keypoint detectors with respect to rotation invariance
Liu et al. Camera calibration method with checkerboard pattern under complicated illumination
Nasiri et al. Using expectation-maximization for exposing image forgeries by revealing inconsistencies in shadow geometry
CN113409334B (zh) 一种基于质心的结构光角点检测方法
Wang et al. Unified detection of skewed rotation, reflection and translation symmetries from affine invariant contour features

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant