CN111784576A - 一种基于改进orb特征算法的图像拼接方法 - Google Patents

一种基于改进orb特征算法的图像拼接方法 Download PDF

Info

Publication number
CN111784576A
CN111784576A CN202010529312.7A CN202010529312A CN111784576A CN 111784576 A CN111784576 A CN 111784576A CN 202010529312 A CN202010529312 A CN 202010529312A CN 111784576 A CN111784576 A CN 111784576A
Authority
CN
China
Prior art keywords
point
image
matching
points
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010529312.7A
Other languages
English (en)
Other versions
CN111784576B (zh
Inventor
任卫军
王茹
黄金文
张力波
吴学致
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Yanshi Information Technology Co ltd
Original Assignee
Changan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changan University filed Critical Changan University
Priority to CN202010529312.7A priority Critical patent/CN111784576B/zh
Publication of CN111784576A publication Critical patent/CN111784576A/zh
Application granted granted Critical
Publication of CN111784576B publication Critical patent/CN111784576B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了本发明提供一种基于改进ORB特征算法的图像拼接方法；包括以下步骤：构建Hessian矩阵，确定每个待拼接图像的特征点；使用BRIEF二进制特征描述符提取每个待拼接图像的特征描述子；使用Hamming距离进行粗匹配，并使用网格运动特征算法区分正确匹配和错误匹配点对；使用改进后的随机采样一致性算法去除错误匹配特征点对；搜索最佳缝合线；重叠区域划分；分段融合，完成图像拼接。本发明通过多尺度空间理论，使用Hessian矩阵和高斯金字塔对配准方法进行改进，达到尺度不变的目的，同时提高了匹配点对的匹配精度。

Description

一种基于改进ORB特征算法的图像拼接方法
技术领域
本发明属于计算机视觉技术领域，尤其涉及一种基于改进ORB特征算法 的图像拼接方法。
背景技术
图像在人类社会活动的信息传播中占据重要地位，视觉是进行信息获取 的重要渠道之一，大自然中一切事物通过视觉系统在人脑中以“图像”的形式展 现。随着计算机视觉相关技术的不断完善，普通相机由于视角限制，难以获 取高分辨率和大视野图像，全景相机虽能满足人们的需求，但其价格昂贵成 本过高，市场需求变化催生了利用计算机视觉技术对图像拼接进行研究。
图像拼接是一种被广泛应用的图像处理技术，主要过程通常包括确定图 像重叠部分，对图像进行特征检测并对处理后图像进行融合等相关操作。全 景图像拼接为图像拼接技术的一个主要研究方向，其主要是对多幅图像进行 处理，判断彼此之间是否存在一定的重叠区域，对存在一定差异的部分进行 校准进一步完成缝合。
图像融合通常是对采集到的图像提取关键信息，并将其融合为一副图像 的过程，图像采集过程中会存在一定的客观因素影响，主要有光照差异、图 像噪声影响以及坐标变换计算误差等，如果直接对采集到的图像进行融合， 得到的结果图像可能会出现一定的拼接缝隙和重影错位等现象，因此图像融 合就是为解决图像配准后在缝合区域出现的重影、模糊及存在明显拼接缝隙 等问题，融合结果对最终图像的质量有着直接的影响。
随着图像处理技术的不断发展，对图像拼接的质量以及效率有了更高的 要求，主要包括不同视角下的图像配准问题，图像重叠区域的确定和特征点 的提取和匹配，对融合结果图的效果进行提升等问题。
ORB(Oriented FAST and Rotated BRIEF)算法是一种快速特征点提取和 描述的算法，ORB算法分为两部分，分别是特征点提取和特征点描述，其具 有计算速度快的优点，但是传统的ORB算法仍存在不具有尺度不变性以及匹 配点对精度低的问题。
发明内容
针对现有方法的不足，本发明的目的是提供一种基于改进ORB特征算法 的图像拼接方法。通过多尺度空间理论，使用Hessian矩阵和高斯金字塔对配 准方法进行改进，达到尺度不变的目的，同时提高了匹配点对的匹配精度。
一种基于改进ORB特征算法的图像拼接方法，包括以下步骤：
步骤1，对待拼接图像进行预处理，然后构建Hessian矩阵，使用Hessian 矩阵局部极值来确定每个待拼接图像的特征点；
步骤2，使用带有旋转特性的BRIEF二进制特征描述符提取每个待拼接 图像的特征描述子；
步骤3，使用Hamming距离对特征点进行粗匹配，并使用网格运动特征 算法区分正确匹配和错误匹配点对；然后使用改进后的随机采样一致性算法 去除错误匹配特征点对，以提高匹配精度；
步骤4，采用基于动态规划算法对两张待拼接图像的重叠区域进行搜索， 得到最佳缝合线；
步骤5，利用最佳缝合线将两张待拼接图像的重叠区域划分为：缝合线左 侧区域、缝合线区域、缝合线右侧区域；
步骤6，根据区域划分结果，对两张待拼接图像的重叠区域进行分段融合， 完成图像拼接。
进一步地，所述对待拼接图像进行预处理为：对待拼接图像进行空间几 何变换，所述空间几何变换包括平移、旋转、缩放。
进一步地，所述构建Hessian矩阵，使用Hessian矩阵局部极值来确定每 个待拼接图像的特征点，具体步骤为：
1.1，对每个待拼接图像构建多层金字塔：最底层图像为原始待拼接图像， 模糊度最小，由最底层往上每层图像的模糊度依次增加，且相邻两层金字塔 间的缩放比例因子为2；
1.2，使用不同方向的盒子滤波器对金字塔的每层图像进行滤波处理，得 到滤波后的多尺度图像；
其中，盒子滤波器的滤波函数为高斯函数；改变盒子滤波器的滤波窗口 的尺存来获得图像特征点的尺度不变性；
1.3，构建Hessian矩阵，使用Hessian矩阵局部极值来确定响应点，
(a)对于每张待拼接图像上任意点p(x，y)，利用近似海森矩阵的局部极 大值计算不同尺度下感兴趣的响应点值：
det(H)＝DxxDyy-(0.9Dxy)2
其中，H为Hessian矩阵，Dxx、Dyy、Dxy分别对应点p(x，y)经过不同方向盒子 滤波器处理后的结果；
(b)将点p(x，y)的响应点值与预先设定的Hessian矩阵阈值进行比较，若 满足响应点值大于阈值，且在其位置空间(8邻域点)和尺度空间(上下层2x9个 点)，共26个邻域点大于响应点值时，判定为点p(x，y)不是特征点，否则，判 断点p(x，y)为对应图像的检测特征点；
(c)遍历每个待拼接图像，重复步骤(a)和(b)，得到对应的检测特征 点；
1.4，采用灰度质心法确定不同尺度下特征点的方向，使特征点经过旋转 变换后方向不变，具体为：获取每张待拼接图像的灰度质心C；将每个检测特 征点作为原点，构建检测特征点到灰度质心的向量。
进一步地，步骤2包含以下子步骤：
2.1，在每一个特征点的邻域内，选择n对像素点pi、qi(i＝1，2，…，n)；
2.2，比较每个点对的灰度值的大小；如果I(pi)＞I(qi)，则生成二进制串中 的1，否则为0；
其中，I(pi)表示像素点pi的灰度值，I(qi)表示像素点qi的灰度值；
2.3，所有的点对都进行比较，则生成长度为n的二进制串，作为该特征 点的二进制描述子；n取值为128、256或512。
进一步地，所述使用Hamming距离对特征点进行粗匹配为根据待拼接图 像的特征描述进行特征点的匹配，具体为：选取一个特征点的特征描述与其 他任意一张待拼接图像的特征点的特征描述进行逐位的异或运算，运算结果 的相似率高于设定匹配阈值，则表示特征点匹配成功。
进一步地，所述使用网格运动特征算法区分正确匹配和错误匹配点对，具 体为：
3.1，将两张待拼接图像分别进行网格化，设每一个区域对存在{M，N}个特 征点，任意网格中的匹配点的匹配都是独立的，则Si所在网格的匹配点数量服 从二项分布函数：
Figure BDA0002534649020000041
其中，Kn为待匹配网格数，pt为正确匹配的概率，pf为错误匹配的概率；
3.2，计算正确匹配和错误匹配分别对应的均值mt、mf，标准差st、sf：
Figure BDA0002534649020000051
Figure BDA0002534649020000052
3.3，根据网格划分结果，得到每个网格区域中的匹配点对对应的二值化 表达式：
Figure BDA0002534649020000053
根据正确匹配和错误匹配对应的均值和标准差，区分正确匹配和错误匹 配点对，并剔除错误匹配点对；
Figure BDA0002534649020000054
其中，xi k j k表示任一网格区域中的第k个匹配点对，k＝1，2，…，K，K为任 意区域内网格总数，pair{i，j}表示匹配点对(i，j)，F表示错误匹配，T表示 正确匹配，α为经验系数。
进一步地，所述使用改进后的随机采样一致性算法去除错误匹配特征点 对，具体过程为：
3.4，对于步骤3.3后得到的正确匹配点对形成的匹配特征点集S，在S中 随机选取4对匹配点，对这4对匹配点进行拟合，得到一个变换矩阵；
3.5，利用变换矩阵模拟S中的剩余点，如果某个点满足步骤3.4中得到的 变换矩阵且拟合误差小于设定误差阈值，则判断该点为内点，并将其加入内 点集合中，更新内点集；
3.6，判断更新后的内点集中的特征点个数是否大于设定的最大值，若是， 则按照步骤3.4重新计算新的变换矩阵，否则重复步骤3.4-3.5。
3.7，将内点集中的特征点进行匹配，保留满足精度的特征点对，去除错 误匹配特征点对。
进一步地，所述采用基于动态规划算法对两张待拼接图像的重叠区域进 行搜索，具体为：遍历两张待拼接图像的重叠区域的每个位置，将每行像素 中颜色差异最小且结构相似度最高的点作为最佳缝合线上的点，遍历整个重 叠区域即得到最佳缝合线；即最佳缝合线上的点满足差异E(x，y)最小：
E(x，y)＝Ecolor 2(x，y)+Egeometry(x，y)
Figure BDA0002534649020000061
其中，Ecolor(x，y)和Egeometry(x，y)分别表示两张待拼接图像的颜色差值和结构差值；I1(x，y)、I2(x，y)分别表示两张待拼接图像对应位置的灰度值；Sx、Sy分别 为x方向、y方向的差异系数。
进一步地，所述根据区域划分结果，对两张待拼接图像的重叠区域进行 分段融合，其具体为：对缝合线左侧区域和缝合线右侧区域分别采用渐入渐 出加权融合法进行融合；对缝合线区域采用最佳缝合线进行融合；最后采用 多分辨率融合算法对整个重叠区域进行处理，得到拼接后图像；
Figure BDA0002534649020000062
其中，f′(x，y)表示融合后图像，f1(x，y)表示缝合线左侧未重叠区域的像 素点，fc(x，y)表示缝合线区域的像素点，f2(x.y)表示缝合线右侧未重叠区域的 像素点，w1、w2分别为加权值，
Figure BDA0002534649020000063
R1表示缝合线左侧未 重叠区域，R2表示缝合线左侧区域与缝合线区域的重叠区域，R3表示缝合线 区域，R4表示缝合线区域与缝合线右侧区域的重叠区域，R5表示缝合线右侧 未重叠区域，x1、x2分别表示R2的左侧边界点和右侧边界点，x3、x4分别表 示R4的左侧边界点和右侧边界点。
与现有技术相比，本发明的优点在于：
本发明通过多尺度空间理论，使用Hessian矩阵和高斯金字塔对配准方法 进行改进，使图像达到尺度不变的目的；对于不同缩放、光照、模糊等条件 下的图像，有匹配质量高、实时性强的优点，能够使图像实现平滑过渡，消 除曝光差异问题，解决拼接缝隙处的重影现象，提高拼接质量。
附图说明
图1为本发明一种基于改进ORB特征算法的图像拼接方法总体实现流程 图；
图2为本发明实施例使用的盒子滤波器的滤波模板图；其中，(a)对应 Lxx的模板，(b)对应Lyy的模板(c)对应Lxy的模板，(d)对应Dxx的模板， (e)对应Dyy的模板，(f)对应Dxy的模板；
图3为本发明实施例确定不同尺度下感兴趣的响应点过程示意图；
图4为本发明实施例的融合区域划分的示意图；
图5为本发明实施例中融合算法流程图；
图6为本发明实施例的两张待拼接图像中正确匹配与错误匹配的对比示 意图。
具体实施方式
为详细说明本发明的技术内容、操作流程、所实现目的和效果，给出以 下实施例说明。
参考图1，一种基于改进ORB特征算法的图像拼接方法，包括以下步骤：
步骤1，对待拼接图像进行预处理，然后构建Hessian矩阵，使用Hessian 矩阵局部极值来确定每个待拼接图像的特征点；
首先，对于待拼接图像进行预处理为：对待拼接图像进行空间几何变换， 即对齐进行包括平移、旋转、缩放等操作。
然后，对图像构建尺度金字塔，从而获得尺度不变的特征点，即所需的 特征点是在每个尺度空间中都出现的特征点，使得不同层图像模糊程度不同， 同时使用3*3*3的盒子滤波器对每一层的金字塔进行处理，滤波器模板如图2 所示。
具体步骤为：
1.1，对每个待拼接图像构建多层金字塔：最底层图像为原始待拼接图像， 模糊度最小，由最底层往上每层图像的模糊度依次增加，且相邻两层金字塔 间的缩放比例因子为2；
1.2，使用不同方向的盒子滤波器对金字塔的每层图像进行滤波处理，得 到滤波后的多尺度图像；
其中，盒子滤波器的滤波函数为高斯函数；改变盒子滤波器的滤波窗口 的尺存来获得图像特征点的尺度不变性；
1.3，构建Hessian矩阵，使用Hessian矩阵局部极值来确定响应点，
(a)对于每张待拼接图像上任意点p(x，y)，利用近似海森矩阵的局部极 大值计算不同尺度下感兴趣的响应点值：
det(H)＝DxxDyy-(0.9Dxy)2
其中，H为Hessian矩阵，Dxx、Dyy、Dxy分别对应点p(x，y)经过不同方向盒子 滤波器处理后的结果；
Figure BDA0002534649020000091
其中σ为尺度信息，Lxx(p，σ)，Lxy(p，σ)，Lyy(p，σ)为该点p(x，y)的二阶导数， 与图2中对应。
(b)将点p(x，y)的响应点值与预先设定的Hessian矩阵阈值进行比较，若 满足响应点值大于阈值，且在其位置空间(8邻域点)和尺度空间(上下层2x9个 点)，共26个邻域点大于响应点值时，判定为点p(x，y)不是特征点，否则，判 断点p(x，y)为对应图像的检测特征点；过程如图3所示。
(c)遍历每个待拼接图像，重复步骤(a)和(b)，得到对应的检测特征 点；
1.4，采用灰度质心法确定不同尺度下特征点的方向，使特征点经过旋转 变换后方向不变，具体为：获取每张待拼接图像的灰度质心C；将每个检测特 征点作为原点，构建检测特征点到灰度质心的向量。
实际上，为了使检测到的特征点在存在旋转变换时方向不发生改变，通 过使用灰度质心法来确定不同尺度下特征点的方向，特征点中心到质心的方 向θ即为角点检测区域的主方向，其中mpq为邻域内像素的矩，I(x，y)为点(x，y) 处的灰度值：
Figure BDA0002534649020000092
Figure BDA0002534649020000093
Figure BDA0002534649020000094
其中，U为特征点的邻域，p，q为像素距的阶数。
步骤2，使用带有旋转特性的BRIEF(稳健独立二进制特征)二进制特征 描述符提取每个待拼接图像的特征描述子；具体过程为：
2.1，在每一个特征点的邻域内，选择n对像素点pi、qi(i＝1，2，…，n)；
2.2，比较每个点对的灰度值的大小；如果I(pi)＞I(qi)，则生成二进制串中 的1，否则为0；
2.3，所有的点对都进行比较，则生成长度为n的二进制串，作为该特征 点的二进制描述子；n取值为128、256或512。本实施例中为n＝256。
直接提取到的特征描述子对噪声很敏感，需要对其进行处理：在特征点 周围的31*31的区域内随机选取5×5的子窗口内像素点灰度平均值来代替某 点的灰度值。
步骤3，使用Hamming距离对特征点进行粗匹配，并使用网格运动特征 算法区分正确匹配和错误匹配点对；然后使用改进后的随机采样一致性算法 (RANSAC)去除错误匹配特征点对，以提高匹配精度；
粗匹配过程为：选取一个特征点的特征描述与其他任意一张待拼接图像 的特征点的特征描述进行逐位的异或运算，运算结果的相似度高于设定匹配 阈值，则表示特征点匹配成功。此处的相似度为字符串中相同数字的个数， 即二进制字符串(特征描述子)中相同数字越多匹配成功率越高。
粗匹配完成后，使用网格运动特征算法(GMS)对特征点对进一步配准， 通过统计邻域内的匹配点个数来判断一个匹配是否正确，能够将正确匹配与 错误匹配进行区分，从而得到匹配结果。具体过程为：
3.1，将两张待拼接图像分别进行网格化，设每一个区域对存在{M，N}个特 征点，任意网格中的匹配点的匹配都是独立的，则Si所在网格的匹配点数量服 从二项分布函数：
Figure BDA0002534649020000111
其中，Kn为待匹配网格数，pt为正确匹配的概率，pf为错误匹配的概率；
3.2，计算正确匹配和错误匹配分别对应的均值mt、mf，标准差st、Sf：
Figure BDA0002534649020000112
Figure BDA0002534649020000113
3.3，根据网格划分结果，得到每个网格区域中的匹配点对对应的二值化 表达式：
Figure BDA0002534649020000114
根据正确匹配和错误匹配对应的均值和标准差，区分正确匹配和错误匹 配点对，并剔除错误匹配点对；
Figure BDA0002534649020000115
其中，xi k j k表示任一网格区域中的第k个匹配点对，k＝1，2，…，K，K为任 意区域内网格总数(通常为9)，pair{i，j}表示匹配点对(i，j)，F表示错误匹 配，T表示正确匹配，α为经验系数。
如图6所示，图中直线连接的两点为两张图中的匹配点对，可以看出， 狗鼻子处的特征点匹配正确，而狗脚趾处的特征点匹配错误。
该算法中α值受平均每个网格特征点数量的影响，通常选择α＝6，使用 GMS进行误匹配的剔除时，先对参考图像和待匹配图像进行划分，成为互不 重叠的网格区域，确定各网格的特征匹配对数量及位置，遍历非空网格即可， 空网格的存在会增加不必要的遍历，增加计算复杂度。
使用GMS误匹配剔除后，初步筛选出匹配对，再采用随机采样一致性(RANSAC)算法能够在匹配集中存在大量误匹配的情况下，求出正确的特征点 匹配关系并且有效去除误匹配点，从而保证图像配准的高精度。其基本思想 为通过迭代方法对特征点集进行拟合，筛选出内点和外点(内点为需要保留 的正确数据，外点为需要剔除的数据)，RANSAC算法通过对内点子集不断迭 代从而将内点与外点区分出来，完成最终的配准过程对。它描述的是图像之 间几何变化关系，任意点(x，y)通过变换得到(x1，y1)：
Figure BDA0002534649020000121
其中，
Figure BDA0002534649020000122
为变换矩阵，m2、m5分别代表水平和垂直方向位移，m0、 m1、m3、m4分别代表尺度与旋转量，m6、m7分别代表垂直与水平变形量。
进一步地，使用改进后的随机采样一致性算法去除错误匹配特征点对， 具体过程为：
3.4，对于步骤3.3后得到的正确匹配点对形成的匹配特征点集S，在S中 随机选取4对匹配点，对这4对匹配点进行拟合，得到一个变换矩阵(即图1 中的投影矩阵)；
3.5，利用变换矩阵模拟S中的剩余点，如果某个点满足步骤3.4中得到的 变换矩阵且拟合误差小于设定误差阈值，则判断该点为内点，并将其加入内 点集合中，更新内点集；
3.6，判断更新后的内点集中的特征点个数是否大于设定的最大值，若是， 则按照步骤3.4重新计算新的变换矩阵，否则重复步骤3.4-3.5。
3.7，将内点集中的特征点进行匹配，保留满足精度的特征点对，去除错 误匹配特征点对。
步骤4，采用基于动态规划算法对两张待拼接图像的重叠区域进行搜索， 得到最佳缝合线；
具体过程为：遍历两张待拼接图像的重叠区域的每个位置，将每行像素 中颜色差异最小且结构相似度最高的点作为最佳缝合线上的点，遍历整个重 叠区域即得到最佳缝合线；即最佳缝合线上的点满足差异E(x，y)最小：
E(x，y)＝Ecolor 2(x，y)+Egeometry(x，y)
Figure BDA0002534649020000131
Figure BDA0002534649020000132
Figure BDA0002534649020000133
其中，Ecolor(x，y)和Egeometry(x，y)分别表示两张待拼接图像的颜色差值和结构差值；I1(x，y)、I2(x，y)分别表示两张待拼接图像对应位置的灰度值；Sx、Sy分别 为x方向、y方向的差异系数。
步骤5，利用最佳缝合线将两张待拼接图像的重叠区域划分为：缝合线左 侧区域、缝合线区域、缝合线右侧区域；
如图4所示，重叠区域分为R2、R3、R4三个区域，再加上未重叠的R1 和R2区域，总共划分成5个区域。
步骤6，根据区域划分结果，对两张待拼接图像的重叠区域进行分段融合， 完成图像拼接；
参考图5，具体过程为：对缝合线左侧区域和缝合线右侧区域分别采用渐 入渐出加权融合法进行融合；对缝合线区域采用最佳缝合线进行融合；最后 采用多分辨率融合算法对整个重叠区域进行处理，得到拼接后图像；
Figure BDA0002534649020000141
其中，f′(x，y)表示融合后图像，f1(x，y)表示缝合线左侧未重叠区域的像 素点，fc(x，y)表示缝合线区域的像素点，f2(x.y)表示缝合线右侧未重叠区域的 像素点，w1、w2分别为加权值，
Figure BDA0002534649020000142
R1表示缝合线左侧未 重叠区域，R2表示缝合线左侧区域与缝合线区域的重叠区域，R3表示缝合线 区域，R4表示缝合线区域与缝合线右侧区域的重叠区域，R5表示缝合线右侧 未重叠区域，x1、x2分别表示R2的左侧边界点和右侧边界点，x3、x4分别表 示R4的左侧边界点和右侧边界点。
上述重叠区域划分完成后对其做分段融合处理，实现平滑过渡。
本发明的图像拼接方法可以应用于各个领域，例如：在视频实时监控领域， 通常需要对不同区域的场景进行大视角范围的监控，可以将多幅有重叠区域 的图像使用图像拼接技术生成宽视角的图像，从而得到信息更直观、便于观 察的图像；也可以对实时观测的视频进行处理，将多个摄像头获取到的具有 一定重叠区域的画面拼接成一幅大场景的图像，可以展现动态的视频监控信 息，从而提高监控的实时性和准确性。
本发明方法通过对图像进行特征点的提取配准和图像融合，不但提高了待 匹配图像间的匹配精度，而且对于重叠区域的融合能够提高分辨率和精度， 使得融合结果更加清晰自然，大大提高了图像拼接的应用范围。在图像缩放、 光照、模糊等现象下有匹配质量高、实时性强的优点，能够使图像实现平滑 过渡，消除曝光差异问题、解决拼接缝隙处的重影现象，提高拼接质量。
虽然，本说明书中已经用一般性说明及具体实施方案对本发明作了详尽 的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术 人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修 改或改进，均属于本发明要求保护的范围。

Claims (10)

1.一种基于改进ORB特征算法的图像拼接方法，其特征在于，包括以下步骤：
步骤1，对待拼接图像进行预处理，然后构建Hessian矩阵，使用Hessian矩阵局部极值来确定每个待拼接图像的特征点；
步骤2，使用带有旋转特性的BRIEF二进制特征描述符提取每个待拼接图像的特征描述子；
步骤3，使用Hamming距离对特征点进行粗匹配，并使用网格运动特征算法区分正确匹配和错误匹配点对；然后使用改进后的随机采样一致性算法去除错误匹配特征点对，以提高匹配精度；
步骤4，采用基于动态规划算法对两张待拼接图像的重叠区域进行搜索，得到最佳缝合线；
步骤5，利用最佳缝合线将两张待拼接图像的重叠区域划分为：缝合线左侧区域、缝合线区域、缝合线右侧区域；
步骤6，根据区域划分结果，对两张待拼接图像的重叠区域进行分段融合，完成图像拼接。
2.根据权利要求1所述的基于改进ORB特征算法的图像拼接方法，其特征在于，步骤1中，所述对待拼接图像进行预处理为：对待拼接图像进行空间几何变换，所述空间几何变换包括平移、旋转、缩放。
3.根据权利要求1所述的基于改进ORB特征算法的图像拼接方法，其特征在于，步骤1中，所述构建Hessian矩阵，使用Hessian矩阵局部极值来确定每个待拼接图像的特征点，具体步骤为：
1.1，对每个待拼接图像构建多层金字塔：最底层图像为原始待拼接图像，模糊度最小，由最底层往上每层图像的模糊度依次增加，且相邻两层金字塔间的缩放比例因子为2；
1.2，使用不同方向的盒子滤波器对金字塔的每层图像进行滤波处理，得到滤波后的多尺度图像；
其中，盒子滤波器的滤波函数为高斯函数；改变盒子滤波器的滤波窗口的尺存来获得图像特征点的尺度不变性；
1.3，构建Hessian矩阵，使用Hessian矩阵局部极值来确定响应点，即特征点；
1.4，采用灰度质心法确定不同尺度下特征点的方向，使特征点经过旋转变换后方向不变，具体为：获取每张待拼接图像的灰度质心C；将每个检测特征点作为原点，构建检测特征点到灰度质心的向量。
4.根据权利要求3所述的基于改进ORB特征算法的图像拼接方法，其特征在于，所述使用Hessian矩阵局部极值来确定响应点，具体过程为：
(a)对于每张待拼接图像上任意点p(x，y)，利用近似海森矩阵的局部极大值计算不同尺度下感兴趣的响应点值：
det(H)＝DxxDyy-(0.9Dxy)2
其中，H为Hessian矩阵，Dxx、Dyy、Dxy分别对应点p(x，y)经过不同方向盒子滤波器处理后的结果；
(b)将点p(x，y)的响应点值与预先设定的Hessian矩阵阈值进行比较，若满足响应点值大于阈值，且在其位置空间(8邻域点)和尺度空间(上下层2x9个点)，共26个邻域点大于响应点值时，判定为点p(x，y)不是特征点，否则，判断点p(x，y)为对应图像的检测特征点；
(c)遍历每个待拼接图像，重复步骤(a)和(b)，得到对应的检测特征点。
5.根据权利要求1所述的基于改进ORB特征算法的图像拼接方法，其特征在于，步骤2包含以下子步骤：
2.1，在每一个特征点的邻域内，选择n对像素点pi、qi(i＝1，2，...，n)；
2.2，比较每个点对的灰度值的大小；如果I(pi)＞I(qi)，则生成二进制串中的1，否则为0；
其中，I(pi)表示像素点pi的灰度值，I(qi)表示像素点qi的灰度值；
2.3，所有的点对都进行比较，则生成长度为n的二进制串，作为该特征点的二进制描述子；n取值为128、256或512。
6.根据权利要求1所述的基于改进ORB特征算法的图像拼接方法，其特征在于，所述使用Hamming距离对特征点进行粗匹配为根据待拼接图像的特征描述进行特征点的匹配，具体为：选取一个特征点的特征描述与其他任意一张待拼接图像的特征点的特征描述进行逐位的异或运算，运算结果的相似率高于设定匹配阈值，则表示特征点匹配成功。
7.根据权利要求6所述的基于改进ORB特征算法的图像拼接方法，其特征在于，所述使用网格运动特征算法区分正确匹配和错误匹配点对，具体为：
3.1，将两张待拼接图像分别进行网格化，设每一个区域对存在{M，N}个特征点，任意网格中的匹配点的匹配都是独立的，则Si所在网格的匹配点数量服从二项分布函数：
Figure FDA0002534649010000031
其中，Kn为待匹配网格数，pt为正确匹配的概率，pf为错误匹配的概率；
3.2，计算正确匹配和错误匹配分别对应的均值mt、mf，标准差st、sf：
Figure FDA0002534649010000041
Figure FDA0002534649010000042
3.3，根据网格划分结果，得到每个网格区域中的匹配点对对应的二值化表达式：
Figure FDA0002534649010000043
根据正确匹配和错误匹配对应的均值和标准差，区分正确匹配和错误匹配点对，并剔除错误匹配点对；
Figure FDA0002534649010000044
其中，xi k j k表示任一网格区域中的第k个匹配点对，k＝l，2，…，K，K为任意区域内网格总数，pair{i，j}表示匹配点对(i，j)，F表示错误匹配，T表示正确匹配，α为经验系数。
8.根据权利要求7所述的基于改进ORB特征算法的图像拼接方法，其特征在于，所述使用改进后的随机采样一致性算法去除错误匹配特征点对，具体过程为：
3.4，对于步骤3.3后得到的正确匹配点对形成的匹配特征点集S，在S中随机选取4对匹配点，对这4对匹配点进行拟合，得到一个变换矩阵；
3.5，利用变换矩阵模拟S中的剩余点，如果某个点满足步骤3.4中得到的变换矩阵且拟合误差小于设定误差阈值，则判断该点为内点，并将其加入内点集合中，更新内点集；
3.6，判断更新后的内点集中的特征点个数是否大于设定的最大值，若是，则按照步骤3.4重新计算新的变换矩阵，否则重复步骤3.4-3.5。
3.7，将内点集中的特征点进行匹配，保留满足精度的特征点对，去除错误匹配特征点对。
9.根据权利要求1所述的基于改进ORB特征算法的图像拼接方法，其特征在于，所述采用基于动态规划算法对两张待拼接图像的重叠区域进行搜索，具体为：遍历两张待拼接图像的重叠区域的每个位置，将每行像素中颜色差异最小且结构相似度最高的点作为最佳缝合线上的点，遍历整个重叠区域即得到最佳缝合线；即最佳缝合线上的点满足差异E(x，y)最小：
E(x，y)＝Ecolor 2(x，y)+Egeometry(x，y)
Figure FDA0002534649010000051
其中，Ecolor(x，y)和Egeometry(x，y)分别表示两张待拼接图像的颜色差值和结构差值；I1(x，y)、I2(x，y)分别表示两张待拼接图像对应位置的灰度值；Sx、Sy分别为x方向、y方向的差异系数。
10.根据权利要求1所述的基于改进ORB特征算法的图像拼接方法，其特征在于，所述根据区域划分结果，对两张待拼接图像的重叠区域进行分段融合，其具体为：对缝合线左侧区域和缝合线右侧区域分别采用渐入渐出加权融合法进行融合；对缝合线区域采用最佳缝合线进行融合；最后采用多分辨率融合算法对整个重叠区域进行处理，得到拼接后图像；
Figure FDA0002534649010000052
其中，f′(x，y)表示融合后图像，f1(x，y)表示缝合线左侧未重叠区域的像素点，fc(x，y)表示缝合线区域的像素点，f2(x.y)表示缝合线右侧未重叠区域的像素点，w1、w2分别为加权值，
Figure FDA0002534649010000053
R1表示缝合线左侧未重叠区域，R2表示缝合线左侧区域与缝合线区域的重叠区域，R3表示缝合线区域，R4表示缝合线区域与缝合线右侧区域的重叠区域，R5表示缝合线右侧未重叠区域；x1、x2分别表示R2的左侧边界点和右侧边界点，x3、x4分别表示R4的左侧边界点和右侧边界点。
CN202010529312.7A 2020-06-11 2020-06-11 一种基于改进orb特征算法的图像拼接方法 Active CN111784576B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010529312.7A CN111784576B (zh) 2020-06-11 2020-06-11 一种基于改进orb特征算法的图像拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010529312.7A CN111784576B (zh) 2020-06-11 2020-06-11 一种基于改进orb特征算法的图像拼接方法

Publications (2)

Publication Number Publication Date
CN111784576A true CN111784576A (zh) 2020-10-16
CN111784576B CN111784576B (zh) 2024-05-28

Family

ID=72757536

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010529312.7A Active CN111784576B (zh) 2020-06-11 2020-06-11 一种基于改进orb特征算法的图像拼接方法

Country Status (1)

Country Link
CN (1) CN111784576B (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381841A (zh) * 2020-11-27 2021-02-19 广东电网有限责任公司肇庆供电局 一种动态场景下基于gms特征匹配的语义slam方法
CN112785505A (zh) * 2021-02-23 2021-05-11 深圳市来科计算机科技有限公司 一种昼夜图像拼接方法
CN112950468A (zh) * 2021-02-01 2021-06-11 咪咕文化科技有限公司 图像拼接方法、电子设备及可读存储介质
CN113052765A (zh) * 2021-04-23 2021-06-29 中国电子科技集团公司第二十八研究所 基于最优栅格密度模型的全景图像拼接方法
CN113657194A (zh) * 2021-07-27 2021-11-16 武汉理工大学 基于改进的surf算法的车辆摄像头图像特征提取匹配方法
CN113658238A (zh) * 2021-08-23 2021-11-16 重庆大学 一种基于改进特征检测的近红外静脉图像高精度匹配方法
CN113791722A (zh) * 2021-09-13 2021-12-14 统信软件技术有限公司 一种截图处理方法、计算设备及可读存储介质
CN114119437A (zh) * 2021-11-10 2022-03-01 哈尔滨工程大学 一种基于gms的用于改善运动物体畸变的图像拼接方法
CN114240845A (zh) * 2021-11-23 2022-03-25 华南理工大学 一种应用于切削工件的光切法表面粗糙度测量方法
CN115187791A (zh) * 2022-08-10 2022-10-14 哈尔滨理工大学 一种融合颜色和尺度特征的orb图像匹配方法
CN116664790A (zh) * 2023-07-26 2023-08-29 昆明人为峰科技有限公司 基于无人机测绘的三维地形分析系统及方法
CN117221466A (zh) * 2023-11-09 2023-12-12 北京智汇云舟科技有限公司 基于网格变换的视频拼接方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599258A (zh) * 2014-12-23 2015-05-06 大连理工大学 一种基于各向异性特征描述符的图像拼接方法
CN108805812A (zh) * 2018-06-04 2018-11-13 东北林业大学 用于图像拼接的多尺度不变orb算法
WO2019031873A1 (en) * 2017-08-11 2019-02-14 Samsung Electronics Co., Ltd. CONTINUOUS IMAGE ASSEMBLY
CN110992263A (zh) * 2019-11-27 2020-04-10 国网山东省电力公司电力科学研究院 一种图像拼接方法及系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104599258A (zh) * 2014-12-23 2015-05-06 大连理工大学 一种基于各向异性特征描述符的图像拼接方法
WO2019031873A1 (en) * 2017-08-11 2019-02-14 Samsung Electronics Co., Ltd. CONTINUOUS IMAGE ASSEMBLY
CN108805812A (zh) * 2018-06-04 2018-11-13 东北林业大学 用于图像拼接的多尺度不变orb算法
CN110992263A (zh) * 2019-11-27 2020-04-10 国网山东省电力公司电力科学研究院 一种图像拼接方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
刘婷婷;张惊雷;: "基于ORB特征的无人机遥感图像拼接改进算法", 计算机工程与应用, no. 02 *
张翔;王伟;肖迪;: "基于改进最佳缝合线的图像拼接方法", 计算机工程与设计, no. 07 *
曾海长;马银平;: "基于改进ORB的无人机航拍图像拼接算法", 工业控制计算机, no. 05 *
李振宇;田源;陈方杰;韩军;: "基于改进ORB和PROSAC的无人机航拍图像拼接算法", 激光与光电子学进展, no. 23 *
雍玖;王阳萍;雷晓妹;王松;: "基于改进ORB特征检测的全景视频拼接", 计算机应用与软件, no. 05 *

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112381841A (zh) * 2020-11-27 2021-02-19 广东电网有限责任公司肇庆供电局 一种动态场景下基于gms特征匹配的语义slam方法
CN112950468A (zh) * 2021-02-01 2021-06-11 咪咕文化科技有限公司 图像拼接方法、电子设备及可读存储介质
CN112785505A (zh) * 2021-02-23 2021-05-11 深圳市来科计算机科技有限公司 一种昼夜图像拼接方法
CN113052765A (zh) * 2021-04-23 2021-06-29 中国电子科技集团公司第二十八研究所 基于最优栅格密度模型的全景图像拼接方法
CN113052765B (zh) * 2021-04-23 2021-10-08 中国电子科技集团公司第二十八研究所 基于最优栅格密度模型的全景图像拼接方法
CN113657194A (zh) * 2021-07-27 2021-11-16 武汉理工大学 基于改进的surf算法的车辆摄像头图像特征提取匹配方法
CN113657194B (zh) * 2021-07-27 2023-09-22 武汉理工大学 基于改进的surf算法的车辆摄像头图像特征提取匹配方法
CN113658238A (zh) * 2021-08-23 2021-11-16 重庆大学 一种基于改进特征检测的近红外静脉图像高精度匹配方法
CN113658238B (zh) * 2021-08-23 2023-08-08 重庆大学 一种基于改进特征检测的近红外静脉图像高精度匹配方法
CN113791722A (zh) * 2021-09-13 2021-12-14 统信软件技术有限公司 一种截图处理方法、计算设备及可读存储介质
CN114119437A (zh) * 2021-11-10 2022-03-01 哈尔滨工程大学 一种基于gms的用于改善运动物体畸变的图像拼接方法
CN114119437B (zh) * 2021-11-10 2024-05-14 哈尔滨工程大学 一种基于gms的用于改善运动物体畸变的图像拼接方法
CN114240845A (zh) * 2021-11-23 2022-03-25 华南理工大学 一种应用于切削工件的光切法表面粗糙度测量方法
CN114240845B (zh) * 2021-11-23 2024-03-26 华南理工大学 一种应用于切削工件的光切法表面粗糙度测量方法
CN115187791A (zh) * 2022-08-10 2022-10-14 哈尔滨理工大学 一种融合颜色和尺度特征的orb图像匹配方法
CN115187791B (zh) * 2022-08-10 2023-04-28 哈尔滨理工大学 一种融合颜色和尺度特征的orb图像匹配方法
CN116664790B (zh) * 2023-07-26 2023-11-17 昆明人为峰科技有限公司 基于无人机测绘的三维地形分析系统及方法
CN116664790A (zh) * 2023-07-26 2023-08-29 昆明人为峰科技有限公司 基于无人机测绘的三维地形分析系统及方法
CN117221466A (zh) * 2023-11-09 2023-12-12 北京智汇云舟科技有限公司 基于网格变换的视频拼接方法及系统
CN117221466B (zh) * 2023-11-09 2024-01-23 北京智汇云舟科技有限公司 基于网格变换的视频拼接方法及系统

Also Published As

Publication number Publication date
CN111784576B (zh) 2024-05-28

Similar Documents

Publication Publication Date Title
CN111784576B (zh) 一种基于改进orb特征算法的图像拼接方法
Uittenbogaard et al. Privacy protection in street-view panoramas using depth and multi-view imagery
US8929602B2 (en) Component based correspondence matching for reconstructing cables
CN112686812B (zh) 银行卡倾斜矫正检测方法、装置、可读存储介质和终端
CN110956661B (zh) 基于双向单应矩阵的可见光与红外相机动态位姿计算方法
CN111445389A (zh) 一种高分辨率图像的宽视角快速拼接方法
CN110020995B (zh) 针对复杂图像的图像拼接方法
CN110738216A (zh) 基于改进surf算法的药品识别方法
CN110008833B (zh) 基于光学遥感图像的目标船只检测方法
CN107154017A (zh) 一种基于sift特征点匹配的图像拼接方法
CN111639580A (zh) 一种结合特征分离模型和视角转换模型的步态识别方法
CN112614167A (zh) 一种结合单偏光与正交偏光图像的岩石薄片图像对齐方法
CN114241372A (zh) 一种应用于扇扫拼接的目标识别方法
CN111861866A (zh) 一种变电站设备巡检图像全景重建方法
CN113506342A (zh) 一种基于多相机全景视觉的slam全向回环校正方法
CN115393519A (zh) 一种基于红外可见光融合图像的三维重构方法
Yalic et al. Automatic Object Segmentation on RGB-D Data using Surface Normals and Region Similarity.
CN111260555A (zh) 一种基于surf的改进图像拼接方法
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN115311691B (zh) 一种基于腕部静脉和腕部纹理的联合识别方法
CN115035281B (zh) 一种快速的红外全景图像拼接方法
CN107341151B (zh) 图像检索数据库生成方法、增强现实的方法及装置
CN112070048B (zh) 基于RDSNet的车辆属性识别方法
CN103617616A (zh) 一种仿射不变的图像匹配方法
CN113159158A (zh) 一种基于生成对抗网络的车牌矫正与重构方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240306

Address after: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant after: Shenzhen Wanzhida Technology Co.,Ltd.

Country or region after: China

Address before: 710061 No. 33, South Second Ring Road, Shaanxi, Xi'an

Applicant before: CHANG'AN University

Country or region before: China

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240429

Address after: 200000 room 207, building 216, No. 1269, Shuichan Road, Baoshan District, Shanghai

Applicant after: SHANGHAI YANSHI INFORMATION TECHNOLOGY Co.,Ltd.

Country or region after: China

Address before: 518000 1002, Building A, Zhiyun Industrial Park, No. 13, Huaxing Road, Henglang Community, Longhua District, Shenzhen, Guangdong Province

Applicant before: Shenzhen Wanzhida Technology Co.,Ltd.

Country or region before: China

GR01 Patent grant