CN106204593A - 一种基于序列图像合成的特征点提取方法 - Google Patents

一种基于序列图像合成的特征点提取方法 Download PDF

Info

Publication number
CN106204593A
CN106204593A CN201610546235.XA CN201610546235A CN106204593A CN 106204593 A CN106204593 A CN 106204593A CN 201610546235 A CN201610546235 A CN 201610546235A CN 106204593 A CN106204593 A CN 106204593A
Authority
CN
China
Prior art keywords
image
sequence
relative
benchmark
extraction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610546235.XA
Other languages
English (en)
Other versions
CN106204593B (zh
Inventor
贾振元
徐鹏涛
刘巍
刘阳
樊超楠
杨景豪
李士杰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dalian University of Technology
Original Assignee
Dalian University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dalian University of Technology filed Critical Dalian University of Technology
Priority to CN201610546235.XA priority Critical patent/CN106204593B/zh
Publication of CN106204593A publication Critical patent/CN106204593A/zh
Application granted granted Critical
Publication of CN106204593B publication Critical patent/CN106204593B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462Salient features, e.g. scale invariant feature transforms [SIFT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20164Salient point detection; Corner detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

本发明一种基于序列图像合成的特征点提取方法属于图像处理和计算机视觉检测领域,涉及一种基于序列图像合成的特征点提取方法。该方法首先在被测场景内放置一块高精度角点的棋盘格标定板,利用一台摄像机对被测场景进行图像采集,并将第一帧图像作为基准图像。然后在保证被测物不出视场的前提下随机轻微移动摄像机同时继续对被测场景进行图像采集,以此获取N幅彼此之间存在相对微小位移的图像序列。再利用Harris角点提取法对各图像中标定板的所有角点进行提取。该方法采用同一场景图像序列合成高分辨率图像之后再进行特征点提取,和单幅图像直接提取相比具有更高的精度和稳定性,从而为视觉测量中标定、测量的精度提供更好的基础。

Description

一种基于序列图像合成的特征点提取方法
技术领域
本发明属于图像处理和计算机视觉检测领域,特别涉及一种基于序列图像合成的特征点提取方法,
背景技术
随着科学技术的不断进步,对于高端装备的需求日益广泛,它们通常在较特殊的生产环境下进行加工,而且对于精度具有很高的要求。为了保证加工精度和效率,对工件进行高效高精度的测量至关重要,视觉测量具有非接触、高效、高精度的优点,同时对特殊工况的适应性较好,近些年获得了长足的发展。由于视觉测量过程中特征点的提取精度直接影响着最终的测量精度,因此国内外学者针对图像中特征点的提取技术进行了广泛的研究。2013年5月王小超等在期刊《计算机辅助设计与图像学学报》(刊号:CN 11-2925/TP;页码:659-665)上发表“基于局部重建的点云特征点提取”一文,文中提出了一种基于局部重建的改善特征点提取效果的方法,该方法首先利用局部邻域协方差分析数据点的特征度量,设定阈值筛选初始特征点集合,再构造反映局部区域特征的三角形集合,利用法向聚类算法对构造的局部三角形集合法向进行聚类,并对特征点局部区域数据点进行分类,最后对每一类点拟合平面,通过判断当前点是否同时落在多个平面来准确提取特征点。该方法可以较好的区分噪声点和特征点,但是特征点的提取精度不够高,且提取方法较复杂。2011年5月苑玮琦等人在期刊《仪器仪表学报》(刊号:CN 11-2179/TH;页码:1069-1076)上发表“基于序列图像提取稳定特征点的虹膜识别方法”一文,文中提出了一种基于序列图像提取稳定特征点的虹膜识别方法,该方法先用二维Gabor滤波器对序列虹膜图像提取特征编码,然后对该序列特征编码求交集以提取稳定特征点,并利用这些稳定特征点建立虹膜的特征模板库,最后通过计算相似度,获得识别结果。该方法具有较好的分类精度,有效改善了虹膜的识别性能,但是该方法需要采集大量图像建立特征模板库,处理周期很长,且仅适用于被提取特征相似度较高的情况。针对这些问题,本发明考虑在同一目标场景下采集具有微小偏差的序列图像,对序列图像进行配准后合成一幅高分辨率图像,再基于该合成高分辨率图像进行特征点提取,以提高特征点提取的精度。
发明内容
本发明所要解决的技术问题是克服现有技术的缺陷,发明一种利用具有微小偏差的序列图像来合成更高分辨率图像,再基于该合成图像对特征点进行高精度提取的方法,该方法可以避免通过提高图像采集设备分辨率以及改进现有特征点提取算法的极大困难,而仅在现有硬件设备和软件提取方法的基础上实现特征点提取精度的进一步提高。
本发明采取的技术方案是首先在被测场景内放置一块可以实现高精度角点提取的棋盘格标定板,利用一台摄像机对被测场景进行图像采集,并将第一帧图像作为基准图像,然后在保证被测物不出视场的前提下随机轻微移动摄像机同时继续对被测场景进行图像采集,以此获取N幅彼此之间存在相对微小位移的图像序列。再利用Harris角点提取法对各图像中标定板的所有角点进行提取,按照仿射变换的原则,利用标定板角点对图像序列进行配准,求取各图像相对于基准图像的亚像素级精度的位移。再对各图像相对基准图像位移的整数像素部分按照反方向平移,只保留相对于基准图像的亚像素位移偏差。将基准图像通过双线性插值放大为原分辨率的4倍作为初始高分辨率图像,然后根据序列图像相对于基准图像的亚像素位移偏差的大小来修正逐帧初始高分辨率图像。最后,利用合成的高分辨率图像进行特征点的提取。具体步骤如下:
步骤1:序列图像获取
首先在被测场景内摆放一块棋盘格标定板3、第一特征点图像1和第二特征点图像2,调整摄像机参数,拍摄第一幅图像作为基准图像。在保证被测场景完全位于摄像机视场内的情况下轻微移动摄像机,待摄像机稳定后拍摄第二帧图像,以此类推,摄像机经过多次移动和拍摄,可以获得N张同一场景但又不完全相同的图像。
步骤2:序列图像配准
由于棋盘格标定板的角点具有很高的提取精度,因此本发明基于各帧图像之间对应标定板的角点位置进行配准。首先使用Harris角点提取法获得各帧图像中的标定板角点坐标,记为:
V k = x 1 y 1 · · · x i y i · · · x n y n , ( k = 1 , ... , N ) - - - ( 1 )
其中,Vk为第k帧图像中n个标定板角点的坐标值矩阵,N为图像序列数目,xi yi为第i个角点的坐标值。
由于摄像机只有轻微移动,可以近似认为各图像之间只存在平移和旋转,因此本发明按照仿射变换的原则,利用各图像中标定板角点坐标矩阵Vk,(k=1,…,N)求解各帧图像相对于基准图像的转换关系,并利用最小二乘法进行优化,得到各帧图像相对于基准图像的转换矩阵为:
T k = a k b k 0 c k d k 0 u k v k 1 , ( k = 2 , ... , N ) - - - ( 2 )
其中,和(uk vk)分别表征了各待配准图像相对于基准图像的旋转分量和平移分量。
步骤3:高分辨率图像合成
根据步骤2中求得的转换矩阵,第k幅图像相对于基准图像的平移分量可以记为:
u k = m 1 k λ + m 2 k λ v k = n 1 k λ + n 2 k λ - - - ( 3 )
其中,uk指图像在水平方向上的平移量,vk指图像在竖直方向上的平移量,λ为整像素单位,m1k,n1k为整数,-1<m2k<1,-1<n2k<1。
将各帧图像相对于基准图像平移分量中的小数部分保存至另一矩阵中,再将各转换矩阵中平移分量的小数部分去除,只保留整数像素部分,得到新的转换矩阵,依次求解所得新转换矩阵的逆矩阵,利用逆矩阵对除基准图像外的各帧图像进行变换,则新得到的图像序列相对于基准图像只存在亚像素的位移m2kλ和n2kλ。
对基准图像进行双线性插值,使其分辨率分别在横纵方向上扩充为原图的2倍,该图为合成图像的初始估计f(1),然后利用第二帧图像对初始估计进行修正,其相对于基准图像在x和y方向上的亚像素位移为分别为p2和q2,则根据p2和q2与半像素的大小关系依次对f(1)中每个像素的灰度值进行修正,得到f(2)。同样地,利用图像序列依次对当前获得的最新合成图像进行修正。对于第k幅图像为fk,根据其与基准图像之间的相对亚像素位移的大小分为七种情况,图像均用矩阵来表示,分别对合成图像每行和每列像素值进行修正,具体计算公式如下:
f ( k ) ( 2 * i - 1 : 2 * i , 2 * j - 1 : 2 * j ) = f ( k - 1 ) ( 2 * i - 1 : 2 * i , 2 * j - 1 : 2 * j ) + f k ( i , j ) - 0.5 < p < 0.5 , - 0.5 < p < 0.5 f ( k ) ( 2 * i - 1 : 2 * i , 2 * j : 2 * j + 1 ) = f ( k - 1 ) ( 2 * i - 1 : 2 * i , 2 * j : 2 * j + 1 ) + f k ( i , j ) 0 < p < 0.5 , 0.5 &le; p < 1 f ( k ) ( 2 * i : 2 * i + 1 , 2 * j : 2 * j + 1 ) = f ( k - 1 ) ( 2 * i : 2 * i + 1 , 2 * j : 2 * j + 1 ) + f k ( i , j ) 0.5 &le; p < 1 , 0.5 &le; p < 1 f ( k ) ( 2 * i : 2 * i + 1 , 2 * j - 1 : 2 * j ) = f ( k - 1 ) ( 2 * i : 2 * i + 1 , 2 * j - 1 : 2 * j ) + f k ( i , j ) 0.5 &le; p < 1 , 0 < p < 0.5 f ( k ) ( 1, 2 * j - 1 : 2 * j ) = f ( k - 1 ) ( 1 , 2 * j - 1 : 2 * j ) + f k ( 1 , j ) f ( k ) ( 2 * i - 2 : 2 * i - 1 , 2 * j - 1 : 2 * j ) = f ( k - 1 ) ( 2 * i - 2 : 2 * i - 1 , 2 * j - 1 : 2 * j ) + f k ( i , j ) 0.5 < p < 0 , - 1 < p &le; - 0.5 f ( k ) ( 1, 2 * j - 2 : 2 * j - 1 ) = f ( k - 1 ) ( 1 , 2 * j - 2 : 2 * j - 1 ) + f k ( 1 , j ) f ( k ) ( 2 * i - 2 : 2 * i - 1 , 1 ) = f ( k - 1 ) ( 2 * i - 2 : 2 * i - 1 , 1 ) + f k ( i , 1 ) f ( k ) ( 2 * i - 2 : 2 * i - 1 , 2 * j - 2 : 2 * j - 1 ) = f ( k - 1 ) ( 2 * i - 2 : 2 * i - 1 , 2 * j - 2 : 2 * j - 1 ) + f k ( i , j ) - 1 < p &le; - 0.5 , - 1 < p &le; - 0.5 f ( k ) ( 2 * i - 1 : 2 * i , 1 ) = f ( k - 1 ) ( 2 * i - 1 : 2 * i , 1 ) + f k ( i , 1 ) f ( k ) ( 2 * i - 1 : 2 * i , 2 * j - 2 : 2 * j - 1 ) = f ( k - 1 ) ( 2 * i - 1 : 2 * i , 2 * j - 2 : 2 * j - 1 ) + f k ( i , j ) - 1 < p &le; - 0.5 , - 0.5 &le; q < 0 - - - ( 4 )
其中,f(k)为合成图像的第k次修正值,fk为待处理的第k帧图像,i,j分别用来表示图像的第i行和第j列,p,q分别为待处理的图像相对于基准图像在水平和数值方向上的亚像素平移分量。
若图像序列共有N幅图像,则所有图像处理完成后得到合成图像f(N),最后再将f(N)中每个像素值都除以N,即得到最终的合成图像。
步骤4:特征点精确提取
基于图像序列合成的图像的分辨率为原图像序列分辨率的4倍,打开合成图像,使用传统Harris角点提取法对对第一特征点图像1和第二特征点图像2进行提取,得到像素坐标后除以2,即是特征点最终的坐标位置。
本发明的有益效果是采用同一场景图像序列合成高分辨率图像之后再进行特征点提取,和单幅图像直接提取相比具有更高的精度和稳定性,从而为视觉测量中标定、测量的精度提供更好的基础。
附图说明
图1为序列图像及合成图像的示意图,其中,1-第一特征点图像,2-第二特征点图像,3-标定板。
图2为图像序列合成时相对于基准图像的亚像素位移示意图。为方便表示,单幅图像用4个像素表示,A为基准图像,4个像素分别标记为A1,A2,A3,A4。标有虚线的A图像指其经过双线性插值后的高分辨率图像初始估计,B为图像序列中某一幅待处理图像,同样用4个像素表示,分别标记为B1,B2,B3,B4。pk,qk分别为第k幅图像B经过整像素平移后相对于图像A在x和y轴方向上的相对微位移。
具体实施方式
下面结合技术方案和附图详细说明本发明的具体实施方式。
附图1为序列图像及合成图像的示意图,在被测场景内放置一块可以实现高精度角点提取的棋盘格标定板3,第一特征点图像1和第二特征点图像2。实施例是利用一台摄像机对被测场景进行图像采集,并将第一帧图像作为基准图像,然后在保证被测物不出视场的前提下随机轻微移动摄像机同时继续对被测场景进行图像采集,以此获取N幅彼此之间存在相对微小位移的图像序列。再利用Harris角点提取法对各图像中标定板的所有角点进行提取,按照仿射变换的原则,利用标定板角点对图像序列进行配准,求取各图像相对于基准图像的亚像素级精度的位移。然后根据序列图像相对于基准图像的亚像素位移偏差的大小来修正逐帧初始高分辨率图像。最后,利用合成的高分辨率图像进行特征点的提取。方法的具体步骤如下:
步骤1:序列图像获取
首先在被测场景内摆放一块棋盘格标定板3,本实施例使用角点数n=24的标定板,如图1中所示。
调整摄像机参数,拍摄第一幅图像作为基准图像。在保证被测场景完全位于摄像机视场内的情况下轻微移动摄像机,待摄像机稳定后拍摄第二帧图像,以此类推,摄像机经过多次移动和拍摄,获得N张同一场景但又不完全相同的图像。
在光学成像领域中,低分辨率图像可以看作是摄像机对真实影像进行采样的过程,由于摄像机自身分辨率的限制以及外界因素的干扰,导致获得的图像分辨率较低。因此,为了方便对比提取效果,采用常用的仿真方式来获取序列图像,拍摄一张高分辨率图像作为标准图像,然后对该图像进行随机平移和旋转,最后通过降采样来获得一系列同一场景且具有微小偏差的低分辨率图像序列。降采样参数设为2,利用该方法获得N=16帧低分辨率图像,第一幅图像作为基准图像。
步骤2:序列图像配准
由于棋盘格标定板的角点具有很高的提取精度,因此本发明基于各帧图像之间对应标定板的角点位置进行配准。首先使用Harris角点提取法,按公式(1)获得各帧图像中的标定板角点坐标。
由于摄像机只有轻微移动,可以近似认为各图像之间只存在平移和旋转,因此按照仿射变换的原则,利用各图像中标定板角点坐标矩阵Vk,(k=1,…,N)求解各帧图像相对于基准图像的转换关系,并利用最小二乘法进行优化,通过公式(2)得到各帧图像相对于基准图像的
转换矩阵如,以第2幅图像为例,求得其转换矩阵为
T 2 = 1.0001 - 0.0001 0 - 0.0002 1.0007 0 22.1453 - 2.281 1 .
步骤3:高分辨率图像合成
根据步骤2中求得的转换矩阵,第k幅图像相对于基准图像的平
移分量如公式(3)所示,以第2幅图像为例,其平移分量为
u 2 = 22 &lambda; + 0.1453 &lambda; v 2 = - 2 &lambda; - 0.281 &lambda; .
将各帧图像相对于基准图像平移分量中的小数部分保存至另一矩阵中,再将各转换矩阵中平移分量的小数部分去除,只保留整数像素部分,得到新的转换矩阵,依次求解所得新转换矩阵的逆矩阵,利用逆矩阵对除基准图像外的各帧图像进行变换,则新得到的图像序列相对于基准图像只存在亚像素的位移m2kλ和n2kλ。
对基准图像进行双线性插值,使其分辨率分别在横纵方向上扩充为原图的2倍,该图为合成图像的初始估计f(1),然后利用第二帧图像对初始估计进行修正,其相对于基准图像在x和y方向上的亚像素位移为分别为p2和q2,如图2所示,则根据p2和q2与半像素的大小关系依次对f(1)中每个像素的灰度值进行修正,得到f(2)。同样地,利用图像序列依次对当前获得的最新合成图像进行修正。对于第k幅图像为fk,根据其与基准图像之间的相对亚像素位移的大小分为七种情况,图像均用矩阵来表示,分别对合成图像每行和每列像素值进行修正,具体计算按公式(4)进行。仿真图像序列共有16幅图像,所有图像处理完成后得到合成图像f(16),最后再将图像矩阵f(16)中每个像素值都除以16,即得到最终的合成图像。
步骤4:特征点精确提取
基于图像序列合成的图像的分辨率为原图像序列分辨率的4倍,打开合成图像,使用传统Harris角点提取法对如图1所示第一特征点图像1和第二特征点图像2进行提取,得到像素坐标后除以2,即是特征点最终的坐标位置。
本实施例中利用标准图像提取的靶标点坐标距离为(270.3726,460.8624),利用图像序列基准图像即第一幅图像直接提取结果为(271.6960,460.1145),绝对误差为(1.3234,-0.7479),对序列图像合成后进行提取的结果为(270.5980,461.0054),绝对误差为(0.2254,0.143),特征点提取精度具有明显的改善。
本发明提出了一种基于序列图像合成的特征点提取方法,通过不断移动摄像机拍摄放有标定板的同一场景序列图像,然后对序列图像进行配准,根据配准参数对序列图像进行逆变换,利用序列图像相对于基准图像的微位移关系合成高分辨率图像,再对高分辨率图像特征点进行提取,在不改变硬件设备和特征点提取算法的前提下实现了特征点更高精度的提取。

Claims (1)

1.一种基于序列图像合成的特征点提取方法,其特征是,该方法首先在被测场景内放置一块高精度角点的棋盘格标定板,利用一台摄像机对被测场景进行图像采集,并将第一帧图像作为基准图像,然后在保证被测物不出视场的前提下随机轻微移动摄像机同时继续对被测场景进行图像采集,以此获取N幅彼此之间存在相对微小位移的图像序列;再利用Harris角点提取法对各图像中标定板的所有角点进行提取,按照仿射变换的原则,利用标定板角点对图像序列进行配准,求取各图像相对于基准图像的亚像素级精度的位移;再对各图像相对基准图像位移的整数像素部分按照反方向平移,只保留相对于基准图像的亚像素位移偏差;将基准图像通过双线性插值放大为原分辨率的4倍作为初始高分辨率图像,然后根据序列图像相对于基准图像的亚像素位移偏差的大小来修正逐帧初始高分辨率图像;最后,利用合成的高分辨率图像进行特征点的提取;具体步骤如下:
步骤1:序列图像获取
首先在被测场景内摆放一块棋盘格标定板(3)、第一特征点图像(1)和第二特征点图像(2),调整摄像机参数,拍摄第一幅图像作为基准图像;在保证被测场景完全位于摄像机视场内的情况下轻微移动摄像机,待摄像机稳定后拍摄第二帧图像,以此类推,摄像机经过多次移动和拍摄,获得N张同一场景但又不完全相同的图像;
步骤2:序列图像配准
由于棋盘格标定板的角点具有很高的提取精度,因此本发明基于各帧图像之间对应标定板的角点位置进行配准;首先使用Harris角点提取法获得各帧图像中的标定板角点坐标,记为:
V k = x 1 y 1 . . . x i y i . . . x n y n , ( k = 1 , ... , N ) - - - ( 1 )
其中,Vk为第k帧图像中n个标定板角点的坐标值矩阵,N为图像序列数目,xi yi为第i个角点的坐标值;
由于摄像机只有轻微移动,近似认为各图像之间只存在平移和旋转,按照仿射变换的原则,利用各图像中标定板角点坐标矩阵Vk,(k=1,…,N)求解各帧图像相对于基准图像的转换关系,并利用最小二乘法进行优化,得到各帧图像相对于基准图像的转换矩阵为:
T k = a k b k 0 c k d k 0 u k v k 1 , ( k = 2 , ... , N ) - - - ( 2 )
其中,和(uk vk)分别表征了各待配准图像相对于基准图像的旋转分量和平移分量;
步骤3:高分辨率图像合成
根据步骤2中求得的转换矩阵,第k幅图像相对于基准图像的平移分量记为:
u k = m 1 k &lambda; + m 2 k &lambda; v k = n 1 k &lambda; + n 2 k &lambda; - - - ( 3 )
其中,uk指图像在水平方向上的平移量,vk指图像在竖直方向上的平移量,λ为整像素单位,m1k,n1k为整数,-1<m2k<1,-1<n2k<1;
将各帧图像相对于基准图像平移分量中的小数部分保存至另一矩阵中,再将各转换矩阵中平移分量的小数部分去除,只保留整数像素部分,得到新的转换矩阵,依次求解所得新转换矩阵的逆矩阵,利用逆矩阵对除基准图像外的各帧图像进行变换,则新得到的图像序列相对于基准图像只存在亚像素的位移m2kλ和n2kλ;
对基准图像进行双线性插值,使其分辨率分别在横纵方向上扩充为原图的2倍,该图为合成图像的初始估计f(1),然后利用第二帧图像对初始估计进行修正,其相对于基准图像在x和y方向上的亚像素位移为分别为p2和q2,则根据p2和q2与半像素的大小关系依次对f(1)中每个像素的灰度值进行修正,得到f(2);同样地,利用图像序列依次对当前获得的最新合成图像进行修正;对于第k幅图像为fk,根据其与基准图像之间的相对亚像素位移的大小分为七种情况,图像均用矩阵来表示,分别对合成图像每行和每列像素值进行修正,具体计算公式如下:
f ( k ) ( 2 * i - 1 : 2 * i , 2 * j - 1 : 2 * j ) = f ( k - 1 ) ( 2 * i - 1 : 2 * i , 2 * j - 1 : 2 * j ) + f k ( i , j ) - 0.5 < p < 0.5 , - 0.5 < q < 0.5 f ( k ) ( 2 * i - 1 : 2 * i , 2 * j : 2 * j + 1 ) = f ( k - 1 ) ( 2 * i - 1 : 2 * i , 2 * j : 2 * j + 1 ) + f k ( i , j ) 0 < p < 0.5 , 0.5 &le; q < 1 f ( k ) ( 2 * i : 2 * i + 1 , 2 * j : 2 * j + 1 ) = f ( k - 1 ) ( 2 * i : 2 * i + 1 , 2 * j : 2 * j + 1 ) + f k ( i , j ) 0.5 &le; p < 1 , 0.5 &le; q < 1 f ( k ) ( 2 * i : 2 * i + 1 , 2 * j - 1 : 2 * j ) = f ( k - 1 ) ( 2 * i : 2 * i + 1 , 2 * j - 1 : 2 * j ) + f k ( i , j ) 0.5 &le; p < 1 , 0 < q < 0.5 f ( k ) ( 1 , 2 * j - 1 : 2 * j ) = f ( k - 1 ) ( 1 , 2 * j - 1 : 2 * j ) + f k ( 1 , j ) f ( k ) ( 2 * i - 2 : 2 * i - 1 , 2 * j - 1 : 2 * j ) = f ( k - 1 ) ( 2 * i - 2 : 2 * i - 1 , 2 * j - 1 : 2 * j ) + f k ( i , j ) 0.5 < p < 0 , - 1 < q &le; - 0.5 f ( k ) ( 1 , 2 * j - 2 : 2 * j - 1 ) = f ( k - 1 ) ( 1 , 2 * j - 2 : 2 * j - 1 ) + f k ( 1 , j ) f ( k ) ( 2 * i - 2 : 2 * i - 1 , 1 ) = f ( k - 1 ) ( 2 * i - 2 : 2 * i - 1 , 1 ) + f k ( i , 1 ) f ( k ) ( 2 * i - 2 : 2 * i - 1 , 2 * j - 2 : 2 * j - 1 ) = f ( k - 1 ) ( 2 * i - 2 : 2 * i - 1 , 2 * j - 2 : 2 * j - 1 ) + f k ( i , j ) - 1 < p &le; - 0.5 , - 1 < q &le; - 0.5 f ( k ) ( 2 * i - 1 : 2 * i , 1 ) = f ( k - 1 ) ( 2 * i - 1 : 2 * i , 1 ) + f k ( i , 1 ) f ( k ) ( 2 * i - 1 : 2 * i , 2 * j - 2 : 2 * j - 1 ) = f ( k - 1 ) ( 2 * i - 1 : 2 * i , 2 * j - 2 , 2 * j - 1 ) + f k ( i , j ) - 1 < p &le; - 0.5 , - 0.5 &le; q < 0 - - - ( 4 )
其中,f(k)为合成图像的第k次修正值,fk为待处理的第k帧图像,i,j分别用来表示图像的第i行和第j列,p,q分别为待处理的图像相对于基准图像在水平和数值方向上的亚像素平移分量;
若图像序列共有N幅图像,则所有图像处理完成后得到合成图像f(N),最后再将f(N)中每个像素值都除以N,即得到最终的合成图像;
步骤4:特征点精确提取
基于图像序列合成的图像的分辨率为原图像序列分辨率的4倍,打开合成图像,使用传统Harris角点提取法对第一特征点图像(1)和第二特征点图像(2)进行提取,得到像素坐标后除以2,即是特征点最终的坐标位置。
CN201610546235.XA 2016-07-12 2016-07-12 一种基于序列图像合成的特征点提取方法 Active CN106204593B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610546235.XA CN106204593B (zh) 2016-07-12 2016-07-12 一种基于序列图像合成的特征点提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610546235.XA CN106204593B (zh) 2016-07-12 2016-07-12 一种基于序列图像合成的特征点提取方法

Publications (2)

Publication Number Publication Date
CN106204593A true CN106204593A (zh) 2016-12-07
CN106204593B CN106204593B (zh) 2018-11-09

Family

ID=57477699

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610546235.XA Active CN106204593B (zh) 2016-07-12 2016-07-12 一种基于序列图像合成的特征点提取方法

Country Status (1)

Country Link
CN (1) CN106204593B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109187591A (zh) * 2018-06-04 2019-01-11 东南大学 一种x射线超分辨成像方法及其应用
CN109584304A (zh) * 2018-12-07 2019-04-05 中国科学技术大学 一种方向盘转角测量方法及装置、系统
CN109884988A (zh) * 2019-02-26 2019-06-14 浙江大学 一种五轴数控制孔机床的制孔法向插补修正方法
CN113375555A (zh) * 2018-07-02 2021-09-10 广西电网有限责任公司北海供电局 一种基于手机影像的电力线夹测量方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166299A1 (en) * 2007-03-06 2010-07-01 Kunio Nobori Apparatus and method for image processing, image processing program and image processor
CN101980291A (zh) * 2010-11-03 2011-02-23 天津大学 基于随机微位移的超分辨率图像重建方法
CN104732553A (zh) * 2015-04-10 2015-06-24 大连理工大学 一种基于多台激光辅助靶标的特征点提取方法
CN104766272A (zh) * 2015-04-17 2015-07-08 河海大学 一种基于亚像素偏移模型的图像超分辨率重建方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100166299A1 (en) * 2007-03-06 2010-07-01 Kunio Nobori Apparatus and method for image processing, image processing program and image processor
CN101980291A (zh) * 2010-11-03 2011-02-23 天津大学 基于随机微位移的超分辨率图像重建方法
CN104732553A (zh) * 2015-04-10 2015-06-24 大连理工大学 一种基于多台激光辅助靶标的特征点提取方法
CN104766272A (zh) * 2015-04-17 2015-07-08 河海大学 一种基于亚像素偏移模型的图像超分辨率重建方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
MOSHE BEN-EZRA 等: "Video Super-Resolution Using Controlled Subpixel Detector Shifts", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
张进: "微型零件高精度影像测量系统中关键技术研究", 《中国博士学位论文全文数据库》 *
徐志刚: "序列图像超分辨率重建技术研究", 《中国博士学位论文全文数据库》 *
郑杰 等: "基于微位移的超分辨率重建技术", 《计算机科学》 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109187591A (zh) * 2018-06-04 2019-01-11 东南大学 一种x射线超分辨成像方法及其应用
CN109187591B (zh) * 2018-06-04 2020-10-02 东南大学 一种x射线超分辨成像方法及其应用
CN113375555A (zh) * 2018-07-02 2021-09-10 广西电网有限责任公司北海供电局 一种基于手机影像的电力线夹测量方法及系统
CN109584304A (zh) * 2018-12-07 2019-04-05 中国科学技术大学 一种方向盘转角测量方法及装置、系统
CN109884988A (zh) * 2019-02-26 2019-06-14 浙江大学 一种五轴数控制孔机床的制孔法向插补修正方法

Also Published As

Publication number Publication date
CN106204593B (zh) 2018-11-09

Similar Documents

Publication Publication Date Title
CN105069746B (zh) 基于局部仿射和颜色迁移技术的视频实时人脸替换方法及其系统
EP2761594B1 (en) Automated image registration with varied amounts of a priori information using a minimum entropy method
CN104574347B (zh) 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
CN104930985B (zh) 基于时空约束的双目视觉三维形貌测量方法
CN104408725B (zh) 一种基于tld优化算法的目标重捕获系统及方法
CN104835175B (zh) 一种基于视觉注意机制的核环境中目标检测方法
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN105809640B (zh) 基于多传感器融合的低照度视频图像增强方法
CN105956582A (zh) 一种基于三维数据的人脸识别系统
CN110009690A (zh) 基于极线校正的双目立体视觉图像测量方法
CN106204593A (zh) 一种基于序列图像合成的特征点提取方法
CN103065135A (zh) 基于数字图像处理的车牌号码匹配算法
CN113177977B (zh) 一种非接触式三维人体尺寸的测量方法
CN103020898B (zh) 序列虹膜图像超分辨率重建方法
CN102930534A (zh) 人体背部穴位自动定位方法
Kim et al. Semiautomatic reconstruction of building height and footprints from single satellite images
CN111462198B (zh) 一种尺度、旋转和辐射不变性的多模态影像配准方法
CN104240180A (zh) 一种实现图像自动调整的方法及装置
CN103632384B (zh) 组合式标记点及标记点中心的快速提取方法
Zhu et al. Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features
CN106023187A (zh) 一种基于sift特征和角度相对距离的图像配准方法
CN111274944A (zh) 一种基于单张图像的三维人脸重建方法
CN101661623B (zh) 基于线性规划的变形体三维跟踪方法
CN102999895A (zh) 利用两个同心圆线性求解摄像机内参数
CN109711420A (zh) 基于人类视觉注意机制的多仿射目标的检测与识别方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant