CN109559273B - 一种面向车底图像的快速拼接方法 - Google Patents

一种面向车底图像的快速拼接方法 Download PDF

Info

Publication number
CN109559273B
CN109559273B CN201811405069.7A CN201811405069A CN109559273B CN 109559273 B CN109559273 B CN 109559273B CN 201811405069 A CN201811405069 A CN 201811405069A CN 109559273 B CN109559273 B CN 109559273B
Authority
CN
China
Prior art keywords
image
feature
points
images
characteristic points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811405069.7A
Other languages
English (en)
Other versions
CN109559273A (zh
Inventor
高春艳
吕盛璠
赵文辉
李培卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hebei University of Technology
Original Assignee
Hebei University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hebei University of Technology filed Critical Hebei University of Technology
Priority to CN201811405069.7A priority Critical patent/CN109559273B/zh
Publication of CN109559273A publication Critical patent/CN109559273A/zh
Application granted granted Critical
Publication of CN109559273B publication Critical patent/CN109559273B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明为一种面向车底图像的快速拼接方法，该方法基于SURF算法，不仅保留了抗亮度、噪声和尺度变化的优点，而且在输入图像的时候采用了经过小波变换后保留基本信息较多的低频图像，提取特征点之后，建立特征点的主方向，通过计算两幅待拼接图像中可能正确匹配的特征点的主方向角的差值和对应的尺度因子的差值并和相应设置的阈值进行比较大小再次剔除特征点，然后在构建特征描述向量时通过PCA主成分分析来降低特征描述向量的维度，近而进一步缩短特征点提取和匹配的时间，在特征点匹配时用最近邻比次近邻特征点的比值大小求取特征点匹配对，最后通过RANSAC算法剔除误匹配点对，提高了配准的准确性。

Description

一种面向车底图像的快速拼接方法
技术领域
本发明属于车底图像数字图像处理技术领域，具体涉及一种面向车底图像的快速拼接方法。
背景技术
随着恐怖活动的加剧，各式汽车炸弹袭击事件频发，社会公共安全和恐怖主义威胁成为世界上很多国家共同关注的焦点。在我国有些犯罪分子利用车辆底盘藏匿违禁品或爆炸物的情况时常发生，给人民生命安全和社会稳定造成了极大的危害，因此，在重要场合对进入车辆底盘实时监测的需求越来越迫切。车底图像主要是灰度图像，车底图像的特点是弱光、纹理复杂，存在遮挡问题，因此在设计过程中涉及到采用多个相机对图像进行拼接的问题，在这个过程中主要涉及到图像拼接技术。图像拼接其实就是将在同一个场景下，该图像中有重叠区域的两幅或者多幅小图像拼接形成一幅宽视角、高质量的图像。
图像拼接涉及到图像配准和图像融合技术，其中图像配准是图像拼接的基础。图像配准的主要方法：基于区域的图像配准和基于特征的图像配准。由于基于区域的图像配准鲁棒性比较差，速度较慢，因此要达到快速拼接图像的要求，就要采用基于特征的图像配准。基于特征的图像配准比较依赖图像特征算子的选取，由此如何选取鲁棒性较强的图像特征算子成为图像配准的主要难题。目前一般采用常见的如SIFT(Scale InvariantFeature)和SURF(Speeded Up Robust Features)进行图像配准，然后进行图像拼接。SIFT算法存在鲁棒性差，速度慢的缺点，尤其是在图像中存在尺度变换、视角变换、光照变化时，图像拼接和图像匹配时处理效果不理想。SURF算法有着很好的抗亮度、噪声和尺度变化的特性，但稳定性有所欠缺。
发明内容
针对现有技术的不足，本发明拟解决的技术问题是，提供了一种面向车底图像的快速拼接方法，该方法基于SURF(Speeded Up Robust Features)算法，不仅保留了抗亮度、噪声和尺度变化的优点，而且在输入图像的时候采用了经过小波变换后保留基本信息较多的低频图像，提取特征点之后，建立特征点的主方向，通过计算两幅待拼接图像中可能正确匹配的特征点的主方向角的差值和对应的尺度因子的差值并和相应设置的阈值进行比较大小再次剔除特征点，然后在构建特征描述向量时通过PCA主成分分析来降低特征描述向量的维度，近而进一步缩短特征点提取和匹配的时间，在特征点匹配时用最近邻比次近邻特征点的比值大小求取特征点匹配对，最后通过RANSAC算法剔除误匹配点对，提高了配准的准确性。本发明总体上改善了图像拼接的速度和拼接质量，解决了采用SIFT算法和传统的SURF算法存在特征点提取速度慢，而且鲁棒性低，致使图像拼接速度慢、处理效果不理想的问题。
本发明为解决上述技术问题采取的技术方案是：
一种面向车底图像的快速拼接方法，该方法包括以下步骤：
步骤1，采集两幅车底图像，分别记为基准图像和待拼接图像，将两幅图像经小波变换后分别得到基准低频图像和待拼接低频图像，分别记为图像1和图像2，在SURF算法的基础上，输入两幅经小波变换后的低频图像，Hessian矩阵检测极值点，确定特征点以及特征点的位置和尺度因子；
步骤2，将步骤1的图像1中的特征点一一与图像2中的特征点的主方向及尺度因子作差值计算，分别通过与相应设置的阈值进行比较，并限制至少满足一个条件即可剔除图像2中的特征点，未剔除的即为满足条件的保留特征点；
步骤3，对步骤2中保留特征点建立特征描述向量，用PCA主成分分析降低特征描述向量的维度；
步骤4，步骤1中图像1上的特征点与步骤2中图像2上的保留特征点一一计算欧氏距离，通过比较最近邻特征点欧氏距离与次近邻特征点的欧式距离的比值，找出图像2保留特征点点集中与图像1中相匹配的特征点对，认为该特征点对为正确匹配；
步骤5，用RANSAC算法剔除步骤4中的误匹配点对，保留正确的匹配点对；
步骤6：用步骤5中保留的正确的匹配点对，每次至少选择三对点对通过迭代并用最小二乘法计算仿射变换矩阵，用该仿射变换矩阵估计小波变换前的两幅图像的仿射变换矩阵，将待拼接图像和仿射变换矩阵相乘，得到新的待拼接图像；
步骤7：用渐入渐出法将基准图像和步骤6中新的待拼接图像进行融合，完成拼接。
与现有技术相比，本发明的有益效果是，
本发明一种面向车底图像的快速拼接方法，采用小波变换后的低频图像作为输入图像，利用Hessian矩阵求出极值点，再求出特征点，确定特征点的位置和尺度因子，对特征点建立主方向，通过设置阈值来比较可能正确匹配点对的特征点的尺度因子的差值和特征点主方向的差值来进行初步筛选，将筛选后保留的特征点建立特征描述向量，用PCA主成分分析降低特征描述向量的维度，在特征点匹配时用最近邻比次近邻特征点的比值大小求取特征点匹配对，并通过RANSAC算法剔除错误匹配点对，根据最小二乘法求出正确的仿射变换矩阵，用渐入渐出法进行图像融合，最终完成图像拼接。
本发明采用保留图像大致信息的小波变换后的低频图像作为输入，并通过减少特征点个数，在计算正确匹配点对之前剔除误匹配点，大大缩短了图像配准过程中的时间，进而提高了图像拼接速度的速度，改善了拼接质量。解决了采用SIFT算法和传统的SURF算法存在特征点提取速度慢，而且鲁棒性低，致使图像拼接速度慢、处理效果不理想的问题。应用在车底图像上，可以加快车底图像的成像速度，提高成像质量，通过多相机拼接图像，可以增大视角，及时发现可能存在遮挡的隐蔽物。
附图说明
图1渐入渐出法图像融合
图2一种快速图像拼接方法流程图
图3小波变换图像
图4特征点主方向分配
具体实施方式
下面结合实施例及附图进一步解释本发明，但并不以此作为对本申请保护范围的限定。
本发明一种面向车底图像的快速拼接方法，该方法包括以下步骤：
步骤1，采集两幅车底图像，分别记为基准图像和待拼接图像，将两幅图像经小波变换后分别得到基准低频图像和待拼接低频图像，分别记为图像1和图像2，在SURF算法的基础上，输入两幅经小波变换后的低频图像，Hessian矩阵检测极值点，确定特征点以及特征点的位置和尺度因子；
步骤2，将步骤1图像1中的特征点一一与图像2中的特征点的主方向及尺度因子作差值计算，分别通过与相应设置的阈值进行比较，并限制至少满足一个条件即可剔除图像2中的特征点，未剔除的即为满足条件的保留特征点；
步骤3，对步骤2中保留特征点建立特征描述向量，用PCA主成分分析降低特征描述向量的维度；
步骤4，步骤1中图像1上的特征点与步骤2中图像2上的保留特征点一一计算欧氏距离，通过比较最近邻特征点欧氏距离与次近邻特征点的欧式距离的比值，找出图像2保留特征点点集中与图像1中相匹配的特征点对，认为该特征点对为正确匹配；
步骤5，用RANSAC算法剔除步骤4中的误匹配点对，保留正确的匹配点对；
步骤6：用步骤5中保留的正确的匹配点对，每次至少选择三对点对通过迭代并用最小二乘法计算仿射变换矩阵，用该仿射变换矩阵估计小波变换前的两幅图像的仿射变换矩阵，将待拼接图像和仿射变换矩阵相乘，得到新的待拼接图像；
步骤7：用渐入渐出法将基准图像和步骤6中新的待拼接图像进行融合，完成拼接。
本发明中所涉及的SURF算法、RANSAC算法均为现有方法。
步骤1中，包括以下步骤：
第一步，对待拼接图像进行小波变换，只做一层分解，得到在低频分量、水平高频分量、垂直高频分量和对角高频分量上的图像，仅将待拼接图像的低频分量图像作为本发明面向车底图像的快速拼接方法的输入。
第二步，构建尺度空间并进行特征点检测。用盒式滤波器对第一步中两张输入图像进行卷积，通过改变盒式滤波器的尺寸和模糊系数，在待拼接的两张图像上作x、y、z方向上的卷积，构建尺度空间金字塔。Hessian矩阵的原始判别式用det H来表示：
Figure BDA0001877150890000031
Lxx为高斯滤波后图像在水平方向的二阶导数，Lyy为高斯滤波后图像在垂直方向的二阶导数，Lxy为高斯滤波后图像在水平、垂直方向的二阶导数，L为高斯滤波处理后的图像。使用了盒式滤波器，为了平衡因使用盒式滤波器近似所带来的误差，在Dxy上乘了一个加权系数0.9:
detH＝Dxx*Dyy-(0.9*Dxy)2
其中Dxx表示待检测的特征点的水平二阶偏导，Dyy表示待检测的特征点的垂直二阶偏导，Dxy代表待检测点的水平、垂直二阶偏导。
将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个极值点进行比较，如果它是这26个点中的最大值或者最小值，则保留下来，当作初步特征点，然后，采用3维线性插值法得到亚像素级的特征点，同时也去掉那些值小于一定阈值的点，增加极值使检测到的特征点数量减少，最终只有几个特征最强点会被检测出来，筛选出最终的稳定的特征点,进而完成特征点检测，确定特征点的位置和尺度因子，特征点个数为n。
步骤2中，包括以下步骤：
第一步：统计特征点圆形邻域内的harr小波特征。即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征(响应)总和，并给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小，然后60度范围内的响应相加以形成新的矢量，扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，遍历整个圆形区域，选择最长矢量的方向为该特征点的主方向。该过程示意图如图4所示。
第二步，用θ和S分别代表两幅图中特征点的主方向和尺度因子。把两幅经过小波变换的图像中图像1中的选取的特征点的主方向同图像2中的特征点主方向进行比较，两幅图中特征点的差的绝对值小于角度差阈值时，认为图像1中的这个特征点有可能与图像2中的这个特征点匹配，用公式表示如下：|θ1-θ2|≤α，用θ1表示图像1中特征点的主方向角，用θ2表示图像2中特征点的主方向角，α用来表示两者角度差阈值。同样比较图像1中选取的特征点与图像2中特征点的尺度因子，如果两点尺度因子的差值的绝对值小于尺度因子差值阈值m，则认为基准图像中选取的特征点有可能和待拼接中的这个特征点相匹配，用公式表示如下：|S1-S2|≤m，S1表示图像1中选取特征点的尺度因子的大小，S2表示图像2中特征点的尺度因子的大小，α一般取20度，m一般取4。采用同时满足尺度因子和主方向角两个条件或者是满足其中一个条件的策略对特征点进行初步筛选，然后保留满足条件的特征点。
步骤3中，包括以下步骤：
第一步，建立特征描述向量。通过计算邻域内的Haar小波响应来构造特征点描述子。在保留特征点周围取一个4*4的矩形区域块，所取得矩形区域的方向是沿着特征点的主方向，矩形区域具有16个子区域。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。令dx为Haar小波在x方向上响应，dy为该Haar小波在y方向上的响应，对响应dx和dy采用高斯加权求和，得到∑dx和∑dy，再求取响应绝对值之和得到∑|dx|和∑|dy|。最终形成一个4维的描述向量：D＝(∑dx,∑dy,∑|dx|，∑|dy|),然后将所有子区域的描述向量串联起来形成64维特征描述向量。
第二步，使用PCA主成分分析对提取到的特征点降维，将原来的64维的特征描述向量降低成32维特征描述向量。
步骤4中，包括以下步骤：
根据特征描述向量之间的欧式距离来计算特征点的相似度，选取图像1中的一个特征点分别与图像2中所有特征点分别求取欧式距离，从中选出最近邻特征点欧式距离和次近邻特征点欧式距离，计算二者的比值ratio。计算公式如下：
Figure BDA0001877150890000051
阈值0.7经过大量实验证明为最佳选择。满足该比值条件的特征点对保留，不满足的进行剔除。
步骤6中，包括以下步骤：
利用步骤5得到的正确匹配点对，使用最小二乘法拟合得到6个仿射变换参数完成配准，求出仿射变换矩阵，根据图像特征之间的对应关系将待拼接图像转换到基准图像的坐标系中,完成统一坐标变换。
步骤7中，包括以下步骤：
将待拼接图像的重合区域进行融合得到拼接重构的拼接图像。在图像拼接之前，需要完成图像重叠区域的图像融合，根据权值的选择不同，采用渐入渐出法(如图1所示)进行图像融合。公式如下所示：
Figure BDA0001877150890000052
其中f1和f2分别表示拼接前的两幅图像，f表示融合后的图像，ω1和ω2分别表示拼接前的两幅图像重叠区域对应像素点灰度的权值，且ω1+ω2＝1，0<ω1<1，0<ω2<1(见图3)。假设经单应性矩阵变换过后的重叠区域的宽度为d,d1为f1(x，y)到重叠区域左边边界的距离,d2为f2(x，y)到重叠区域右边边界的距离,则ω1＝d1/d,ω2＝d2/d,且d＝d1+d2，可以通过选择合适的权值来实现重叠区域的平滑过渡，保障拼接的平滑性，达到无缝拼接的效果。
实施例
参照图2，一种面向车底图像的快速拼接方法流程图。
步骤1：(1)图像小波变换。将基准图像与待拼接图像分别进行小波变换，只做一层分解，得到在低频分量、水平高频分量、垂直高频分量和对角高频分量上的图像。仅将基准图像与待拼接图像的低频分量图像作为SURF算法的输入，输入图像分别记为图像1和图像2。小波变换过程如下：哈尔小波是最简单也是最早用到拥有紧支撑性的一个正交小波基函数，定义为：
Figure BDA0001877150890000053
其尺度函数为：
Figure BDA0001877150890000054
通过哈尔小波对待拼接图像进行二维小波分解，先对两幅原始图像的x方向分别用Ψh(x)和
Figure BDA0001877150890000055
做分析，将图像分解为低高频两部分，然后在y方向做类似分析。两幅待拼接图像最终经过一层小波分解得到低频分量、水平高频分量、垂直高频分量和对角高频分量上的四幅图像，如图3所示。
(2)通过Hessian矩阵检测极值点。用盒式滤波器对两张输入图像进行卷积，通过改变盒式滤波器的尺寸，在待拼接的两张图像上作x、y、z方向上的卷积，构建尺度空间金字塔。Hessian矩阵的原始判别式用det H来表示：
Figure BDA0001877150890000061
使用了盒式滤波器，在Dxy上乘了一个加权系数0.9，是为了平衡因使用盒式滤波器近似所带来的误差:detH＝Dxx*Dyy-(0.9*Dxy)2，将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个点进行比较，如果它是这26个点中的最大值或者最小值，则保留下来，当作初步特征点，然后，采用3维线性插值法得到亚像素级的特征点，同时也去掉那些值小于一定阈值的点，增加极值使检测到的特征点数量减少，最终只有几个特征最强点会被检测出来，筛选出最终的稳定的特征点,进而完成特征点检测。
步骤2：(1)确定特征点的主方向。统计特征点圆形邻域内的harr小波特征。即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波特征总和，然后扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，最后将值最大的那个扇形的方向作为该特征点的主方向。该过程示意图如图4所示。(2)用θ和S分别代表两幅图中特征点的主方向和Hessian中的尺度因子。把两幅经过小波变换的图像1中的选取的特征点的主方向同图像2中的特征点主方向进行比较，两幅图中特征点的差的绝对值小于某个值时，认为图像1中的这个特征点有可能与图像2中的这个特征点匹配，用公式表示如下：|θ1-θ2|≤α，用θ1表示图像1中特征点的主方向角，用θ2表示图像2中特征点的主方向角，α用来表示两者角度差阈值。同样比较图像1中选取的特征点与图像2中特征点的尺度因子，如果两点尺度因子的差值的绝对值小于某个阈值，则认为图像1中选取的特征点有可能和图像2中的这个特征点相匹配，用公式表示如下：|S1-S2|≤m，S1表示图像1中选取特征点的尺度因子的大小，S2表示图像2中特征点的尺度因子的大小。实验数据表明α选取20°，m选取4时效果最佳。采用同时满足尺度因子和主方向角两个条件或者是满足其中一个条件的策略对特征点进行初步筛选，将满足条件的图像2中的特征点保留，不满足的条件的特征点剔除。
步骤3：(1)特征描述向量生成和初步筛选。通过计算邻域内的Haar小波响应来构造特征点描述向量。在特征点周围取一个4*4的矩形区域块，所取得矩形区域方向是沿着特征点的主方向。每个子区域统计25个像素的水平方向和垂直方向的haar小波特征，这里的水平和垂直方向都是相对主方向而言的。令dx为Haar小波在x方向上响应，dy为该响应在y方向上的响应，对响应dx和dy采用高斯加权求和，得到∑dx和∑dy，再求取响应绝对值之和得到∑|dx|和∑|dy|。最终形成一个4维的描述向量：D＝(∑dx,∑dy,∑|dx|，∑|dy|),然后将所有子区域的描述向量串联起来形成64维特征描述向量。(2)PCA主成分分析降维。使用PCA主成分分析对提取到的特征点降维，将原来的64维的特征描述向量降低成32维特征描述向量。
步骤4：根据特征向量之间的欧式距离来计算特征点的相似度，选取图像1中的一个特征点与别图像2中所有特征点分别求取欧式距离，从中选出最近邻特征点欧式距离和次近邻特征点欧式距离，计算二者的比值ratio。计算公式如下：
Figure BDA0001877150890000071
阈值0.7经过大量实验证明为最佳选择。小于此阈值时保留该特征点对，大于该阈值时剔除该特征点对。
步骤5：随机抽样一致性算法RANSAC算法剔除误匹配点。RANSAC算法的输入是一组观测数据，一个可以解释或者适应于观测数据的参数化模型，一些可信的参数。RANSAC通过反复选择数据中的一组随机子集来达成目标。被选取的子集被假设为局内点。算法中用到一个重要的概率公式为：
Figure BDA0001877150890000072
其中inline_max是已经找到的最多的符合模型的样本数量，m是最小建模数量；k是随机选择次数；p实际上是RANSAC算法迭代k次，找到数量为inline_max的符合模型样本时出现错误的概率；p<pbad是算法迭代结束的重要条件。估算过程如下：①自动提取两幅图像的特征点集，建立初始匹配对集；②RANSAC去除错误匹配对。计算当前抽样所确定的映射矩阵H及其一致集S(H)，如果当前的S(H)大于原先的一致集，则保持当前的S(H)和相应的H，并删去原先的S(H)和相应的H，由自适应算法终止抽样过程，获得最大一致集，最大一致集中的匹配对(内点)是正确匹配对；③用最大一致集重新估计H。
步骤6：求出仿射变换矩阵。根据图像1和图像2求出的仿射变换矩阵估计初始两幅图间的仿射变换矩阵。公式如下：
Figure BDA0001877150890000073
(x1，y1)为基准图像中特征点的坐标，(x2，y2)为待拼接图像中特征点的坐标，a,b,c,m,l,p为仿射变换参数。将上步中经过RANSAC剔除剩余的正确的匹配点对每次选3组配准点代入上式，即可确定仿射矩阵中的6个参数。经过2次距离阈值值不同的RANSAC算法剔除错误匹配点对之后，将保留下来的配准点对运用最小二乘法进行空间几何变换参数的估计，完成图像的配准。最小二乘配准方法充分利用了图像窗口内的信息，使图像配准可以精确到亚像素，该方法是一种高精度图像配准方法。公式如下：
Figure BDA0001877150890000074
M表示两幅待拼接图像误差的平方和。其中I1(x，y)为图像1中的特征点，I2(x，y)为图像2中的特征点。用待拼接图像乘仿射变换矩阵，求出新的待拼接图像。
步骤7：图像融合。据权值的选择不同，用渐入渐出法进行图像融合。公式如下所示：
Figure BDA0001877150890000081
其中f1和f2分别表示拼接前的两幅图像，f表示融合后的图像，ω1和ω2分别表示拼接前的两幅图像重叠区域对应像素点灰度的权值，且ω1+ω2＝1，0<ω1<1，0<ω2<1(见图3)。假设经单应性矩阵变换过后的重叠区域的宽度为d,d1为f1(x，y)到重叠区域左边边界的距离,d2为f2(x，y)到重叠区域右边边界的距离,则ω1＝d1/d,ω2＝d2/d,且d＝d1+d2，可以通过选择合适的权值来实现重叠区域的平滑过渡，保障拼接的平滑性，达到无缝拼接的效果。
本发明方法通过输入小波变换后的低频图像，保留了图像的基本特征，在小波域上进行图像配准可缩小搜索范围，大大减少求仿射变换参数的的计算量，计算速度也可以得到提高。在建立特征描述向量之前计算两图像之间特征点主方向角和尺度因子的差值，通过比对可能正确匹配特征点的尺度因子和特征点主方向的差值，并且在建立特征描述向量后用PCA主成分分析对其降维，减小了特征点匹配部分的计算时间，并用RANSAC算法去除误匹配，提高准确度，得到较为准确的仿射变换矩阵。
本发明未述及之处适用于现有技术。

Claims (4)

1.一种面向车底图像的快速拼接方法，该方法包括以下步骤：
步骤1，采集两幅车底图像，分别记为基准图像和待拼接图像，将两幅图像经小波变换后分别得到基准低频图像和待拼接低频图像，分别记为图像1和图像2，在SURF算法的基础上，输入两幅经小波变换后的低频图像，Hessian矩阵检测极值点，确定特征点以及特征点的位置和尺度因子；
步骤2，将步骤1的图像1中的特征点一一与图像2中的特征点的主方向及尺度因子作差值计算，分别通过与相应设置的阈值进行比较，并限制至少满足一个条件即可剔除图像2中的特征点，未剔除的即为满足条件的保留特征点；
步骤3，对步骤2中保留特征点建立特征描述向量，用PCA主成分分析降低特征描述向量的维度；
步骤4，步骤1中图像1上的特征点与步骤2中图像2上的保留特征点一一计算欧氏距离，通过比较最近邻特征点欧氏距离与次近邻特征点的欧式距离的比值，找出图像2保留特征点点集中与图像1中相匹配的特征点对，认为该特征点对为正确匹配；最近邻特征点欧氏距离与次近邻特征点的欧式距离的比值不大于0.7时，则保留该特征点对，不满足的进行剔除；
步骤5，用RANSAC算法剔除步骤4中的误匹配点对，保留正确的匹配点对；
步骤6：用步骤5中保留的正确的匹配点对，每次至少选择三对点对通过迭代并用最小二乘法计算仿射变换矩阵，用该仿射变换矩阵估计小波变换前的两幅图像的仿射变换矩阵，将待拼接图像和仿射变换矩阵相乘，得到新的待拼接图像；
步骤7：用渐入渐出法将基准图像和步骤6中新的待拼接图像进行融合，完成拼接；
步骤2中，包括以下步骤：
第一步：统计特征点圆形邻域内的harr小波特征：即在特征点的圆形邻域内，统计60度扇形内所有点的水平、垂直harr小波响应总和，并给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，而远离特征点的响应贡献小，然后60度范围内的响应相加以形成新的矢量，扇形以0.2弧度大小的间隔进行旋转并再次统计该区域内harr小波特征值之后，遍历整个圆形区域，选择最长矢量的方向为该特征点的主方向；
第二步，用θ和S分别代表两幅图中特征点的主方向和尺度因子，把图像1中的选取的特征点的主方向同图像2中的特征点的主方向进行比较，两幅图中特征点的差的绝对值小于角度差阈值时，认为图像1中的这个特征点有可能与图像2中的这个特征点匹配，用公式表示：|θ1-θ2|≤α，用θ1表示图像1中特征点的主方向角，用θ2表示图像2中特征点的主方向角，α用来表示两者角度差阈值；
同样比较图像1中选取的特征点与图像2中特征点的尺度因子，如果两点尺度因子的差值的绝对值小于尺度因子差值阈值m，则认为图像1中选取的特征点有可能和图像2中的这个特征点相匹配，用公式表示：|S1-S2|≤m，S1表示图像1中选取特征点的尺度因子的大小，S2表示图像2中特征点的尺度因子的大小；采用同时满足尺度因子和主方向角两个条件或者是满足其中一个条件的策略对特征点进行初步筛选，然后保留满足条件的特征点；
α为20度，m为4；在建立特征描述向量之前计算两图像之间特征点主方向角和尺度因子的差值，通过比对可能正确匹配特征点的尺度因子和特征点主方向的差值，并且在建立特征描述向量后用PCA主成分分析对其降维，减小了特征点匹配部分的计算时间。
2.根据权利要求1所述的拼接方法，其特征在于，步骤1中，包括以下步骤：
第一步，对基准图像和待拼接图像进行小波变换，只做一层分解，得到在低频分量、水平高频分量、垂直高频分量和对角高频分量上的图像，仅将基准图像和待拼接图像的低频分量图像作为SURF算法的输入；
第二步，构建尺度空间并进行特征点检测：用盒式滤波器对第一步中两张输入图像进行卷积，通过改变盒式滤波器的尺寸和模糊系数，在待拼接的两张图像上作x、y、z方向上的卷积，构建尺度空间金字塔；Hessian矩阵的判别式用detH来表示：detH＝Dxx*Dyy-(0.9*Dxy)2，
其中Dxx表示待检测的特征点的水平二阶偏导，Dyy表示待检测的特征点的垂直二阶偏导，Dxy代表待检测点的水平、垂直二阶偏导；
将经过Hessian矩阵处理的每个像素点与二维图像空间和尺度空间邻域内的26个极值点进行比较，如果它是这26个点中的最大值或者最小值，则保留下来，当作初步特征点，然后，采用3维线性插值法得到亚像素级的特征点，筛选出最终的稳定的特征点，进而完成特征点检测，确定特征点的位置和尺度因子，特征点个数为n。
3.根据权利要求1所述的拼接方法，其特征在于，步骤3中，包括以下步骤：
第一步，建立特征描述向量：在保留特征点周围取一个4*4的矩形区域块，所取得矩形区域的方向是沿着特征点的主方向，矩形区域具有16个子区域，每个子区域统计25个像素的水平方向和垂直方向的haar小波特征；令dx为Haar小波在x方向上响应，dy为该Haar小波在y方向上的响应，对响应dx和dy采用高斯加权求和，得到∑dx和∑dy，再求取响应绝对值之和得到∑|dx|和∑|dy|；最终形成一个4维的描述向量：
D＝(Σdx,Σdy,Σ|dx|，∑|dy|),
然后将所有子区域的描述向量串联起来形成64维特征描述向量；
第二步，使用PCA主成分分析对提取到的特征点降维，将原来的64维的特征描述向量降低成32维特征描述向量。
4.根据权利要求1所述的拼接方法，其特征在于，步骤7中，所述渐入渐出法包括以下步骤：
根据权值的选择不同，按照公式
Figure FDA0002331344360000021
进行图像融合，
其中f1和f2分别表示拼接前的两幅图像，f表示融合后的图像，ω1和ω2分别表示拼接前的两幅图像重叠区域对应像素点灰度的权值，且ω1+ω2＝1，0<ω1<1，0<ω2<1。
CN201811405069.7A 2018-11-23 2018-11-23 一种面向车底图像的快速拼接方法 Active CN109559273B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811405069.7A CN109559273B (zh) 2018-11-23 2018-11-23 一种面向车底图像的快速拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811405069.7A CN109559273B (zh) 2018-11-23 2018-11-23 一种面向车底图像的快速拼接方法

Publications (2)

Publication Number Publication Date
CN109559273A CN109559273A (zh) 2019-04-02
CN109559273B true CN109559273B (zh) 2020-03-13

Family

ID=65866920

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811405069.7A Active CN109559273B (zh) 2018-11-23 2018-11-23 一种面向车底图像的快速拼接方法

Country Status (1)

Country Link
CN (1) CN109559273B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110232673B (zh) * 2019-05-30 2023-06-23 电子科技大学 一种基于医疗显微成像的快速稳健的图像拼接方法
CN111127311B (zh) * 2019-12-25 2023-07-18 中航华东光电有限公司 基于微重合区域的图像配准方法
CN111191426B (zh) * 2020-01-08 2023-03-14 山东大学 一种基于Gaussian程序输出文件的数据提取及处理方法
CN111553845B (zh) * 2020-04-29 2023-04-28 南京邮电大学 一种基于优化的三维重建的快速图像拼接方法
CN112330538B (zh) * 2020-09-29 2022-04-19 电子科技大学 一种基于特征点优化提取的损伤温度重构图像拼接方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105608671A (zh) * 2015-12-30 2016-05-25 哈尔滨工业大学 一种基于surf算法的图像拼接方法
US9898682B1 (en) * 2012-01-22 2018-02-20 Sr2 Group, Llc System and method for tracking coherently structured feature dynamically defined within migratory medium

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103593832A (zh) * 2013-09-25 2014-02-19 重庆邮电大学 一种基于高斯二阶差分特征检测算子的图像拼接方法
CN104376548B (zh) * 2014-11-07 2017-11-03 中国电子科技集团公司第二十八研究所 一种基于改进型surf算法的图像快速拼接方法
CN107423768A (zh) * 2017-08-02 2017-12-01 上海应用技术大学 基于surf和pca结合的图像哈希序列生成方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9898682B1 (en) * 2012-01-22 2018-02-20 Sr2 Group, Llc System and method for tracking coherently structured feature dynamically defined within migratory medium
CN105608671A (zh) * 2015-12-30 2016-05-25 哈尔滨工业大学 一种基于surf算法的图像拼接方法

Also Published As

Publication number Publication date
CN109559273A (zh) 2019-04-02

Similar Documents

Publication Publication Date Title
CN109559273B (zh) 一种面向车底图像的快速拼接方法
Wu et al. Stereo matching with fusing adaptive support weights
CN108765465B (zh) 一种无监督sar图像变化检测方法
CN103426182B (zh) 基于视觉注意机制的电子稳像方法
CN111080529A (zh) 一种加强鲁棒性的无人机航拍图像拼接方法
CN106940876A (zh) 一种基于surf的快速无人机航拍图像拼接算法
CN104134200B (zh) 一种基于改进加权融合的运动场景图像拼接方法
CN107945111B (zh) 一种基于surf特征提取结合cs-lbp描述符的图像拼接方法
CN110310310B (zh) 一种针对航空影像配准的改进方法
CN113159043B (zh) 基于语义信息的特征点匹配方法及系统
CN113076802A (zh) 基于缺少断开图像样本的变电站开关分合状态图像识别方法
CN110135438B (zh) 一种基于梯度幅值预运算的改进surf算法
CN113592923B (zh) 一种基于深度局部特征匹配的批图像配准方法
CN112288758B (zh) 一种电力设备红外与可见光图像配准方法
CN109410248B (zh) 一种基于r-K算法的浮选泡沫运动特征提取方法
CN111126412A (zh) 基于特征金字塔网络的图像关键点检测方法
CN108960280B (zh) 一种图片相似度检测方法及系统
CN108401565B (zh) 基于改进的KAZE特征和Pseudo-RANSAC算法的遥感图像配准方法
CN111429485B (zh) 基于自适应正则化和高信度更新的跨模态滤波跟踪方法
CN111091111A (zh) 一种车底危险目标识别方法
CN111192194A (zh) 一种针对幕墙建筑立面的全景图像拼接方法
CN113673515A (zh) 一种计算机视觉目标检测算法
CN111127353B (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
CN113887624A (zh) 一种基于双目视觉的改进特征立体匹配方法
CN112329764A (zh) 一种基于tv-l1模型的红外弱小目标检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant