CN115619637A - 一种可移植到arm端的全景图像自动拼接融合方法 - Google Patents

一种可移植到arm端的全景图像自动拼接融合方法 Download PDF

Info

Publication number
CN115619637A
CN115619637A CN202211155326.2A CN202211155326A CN115619637A CN 115619637 A CN115619637 A CN 115619637A CN 202211155326 A CN202211155326 A CN 202211155326A CN 115619637 A CN115619637 A CN 115619637A
Authority
CN
China
Prior art keywords
image
matching
images
matched
sigma
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211155326.2A
Other languages
English (en)
Inventor
胡逸飞
张俊举
高巍
胡宥成
白宗宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing University of Science and Technology
Original Assignee
Nanjing University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing University of Science and Technology filed Critical Nanjing University of Science and Technology
Priority to CN202211155326.2A priority Critical patent/CN115619637A/zh
Publication of CN115619637A publication Critical patent/CN115619637A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种可移植到ARM的全景图像自动拼接融合方法。基于图像多尺度显著特征点，采用泰勒展开拟合容差最小，消除非关键性匹配特征点，采用传统矩形邻域提取特征描述符，通过概率逆向检验完成各图像之间的特征点自动匹配，降低图像匹配错误率，再通过最优化模型最小化所有图像拼接融合误差，并进行邻域补偿、多频段融合和平滑处理，通过MIPI摄像头获取图像数据，将算法程序移植到ARM端，可提高硬件利用率，提高便携性。

Description

一种可移植到ARM端的全景图像自动拼接融合方法
技术领域
本发明属于图像处理技术，具体为一种可移植到ARM端的全景图像自动拼 接融合方法。
背景技术
无论是手机还是相机，在拍照时，得到的都是具有一定成像范围的图像，并 且得到的角度信息都有限，想要得到一个大视场的角度图像信息，就可以利用多 幅图像拼接融合而成，将多幅图像的信息，融合进一幅图像中，拼接融合形成一 张无缝的全景图像。
其中全景图像拼接融合包括五个步骤：
第一步首先对图像进行预处理，对图像进行一些基本的处理，比如去噪、直 方图处理等，方便进行后续的图像匹配操作；
第二步对待拼接图像进行图像匹配，采取一定策略，进而确定待拼接图像的 变换关系；
第三步根据待拼接图像的变换关系建立相应的数学变换模型；
第四步根据建立的数学变换模型，将待拼接图像完成统一坐标变换；
第五步将待拼接图像的重合区域进行融合得到拼接重构的平滑无缝的全景 图像。
其中在图像匹配上，第一类是基于频域的方法，最早由Kuglin和Hines在 1975年提出的，该方法对拼接的图像进行快速傅里叶变换，将待拼接图像变换 到频域，通过它们的互功率谱直接计算两幅图像的平移矢量，从而实现配准，具 有简单而精确的特点，但如果图像的重合部分比较低时，就容易造成平移矢量的 错误估计，从而得到错误的图像配准。第二类是以区域为基础的匹配算法，其中 最具有代表性的就是相位相关算法，是计算图像间相位的相似度，依据相位的改 变来判断图像间的变换，使用最优化相似性准则计算待拼接图像的参数变换，因 此计算量比较大，对图像的普适性比较差。
发明内容
本发明的目的在于提出了一种可移植到ARM端的全景图像自动拼接融合方 法。
实现本发明目的的技术方案为：一种可移植到ARM的全景图像自动拼接融 合方法，具体步骤为：
步骤1：采集待拼接图像；
步骤2：对待拼接图像进行多尺度关键性特征点提取，并消除非关键性匹配 特征点；
步骤3：以多尺度关键性特征点为中心采用矩形邻域计算特征描述符；
步骤4：基于概率逆向检验，完成各图像自动匹配过程；
步骤5：通过最优化模型，最小化所有图像拼接融合误差；
步骤6：对初始拼接融合图像进行补偿，采用邻域平均法补偿增强图像；
步骤7：将补偿后图片进行高低频融合，平滑图像细节完成全景图像自动拼 接融合。
优选地，由A311D平台MIPI摄像头完成待拼接图像的采集。
优选地，对待拼接图像进行多尺度显著特征点提取，并消除非关键性匹配特 征点的具体方法为：
步骤2.1：将待拼接图像通过高斯滤波变换到不同尺度下；
步骤2.2：将变换后不同尺度下的图像进行下采样差分，即D(x,y,σ)＝ L(x,y,kσ)-L(x,y,σ)，其中D(x,y,σ)是差分采样函数，L(x,y,σ) 是图像经高斯尺度变换后的函数，x,y为图像位置信息，σ为图像尺度参数，k 为尺度变换系数，得到候选极值点；
步骤2.3：利用泰勒级数对差分采样原函数进行拟合，求导得
Figure BDA0003858230000000021
Figure BDA0003858230000000022
其中
Figure BDA0003858230000000023
x为(x,y,σ)一维向量，D为差 分采样原函数，
Figure BDA0003858230000000024
为一阶求导矩阵，
Figure BDA0003858230000000025
为一阶求导矩阵的转置，
Figure BDA0003858230000000026
为二阶 求导矩阵的转置，
Figure BDA0003858230000000027
为二阶求导矩阵的逆矩阵， x,y为图像位置信息，σ为图像尺度参数；
步骤2.4：计算边界值，将大于边界值的非关键特征点消除，得到多尺度关 键性特征点。
优选地，将待拼接图像通过高斯滤波变换到不同尺度下的具体公式为：
L(x,y,σ)＝G(x,y,σ)*I(x,y)
其中
Figure BDA0003858230000000031
为高斯尺度变换函数，I(x,y)为图像信息， L(x,y,σ)是图像经高斯尺度变换后的函数，x,y为图像位置信息，σ为图像尺度 参数。
优选地，边界值的计算公式为：
Figure BDA0003858230000000032
式中，H为Hessian矩阵，具体为
Figure BDA0003858230000000033
其中 x,y为图像位置信息，Dxx(x,y)，Dyy(x,y)为差分采样原函数的二阶求导矩阵， Dxy(x,y)为差分采样原函数的二阶求偏导矩阵，σ为最大的特征值，β为最小的 特征值。
优选地，多尺度关键性特征点包括位置和方向信息，其中m(x,y)为位置信 息，θ(x,y)为方向信息，具体为：
Figure BDA0003858230000000034
Figure BDA0003858230000000035
其中x,y为图像位置信息，L为多尺度关键性特征点集合函数。
优选地，基于概率逆向检验，完成各图像自动匹配，具体方法为：
步骤4.1：使用k-d二叉树将每幅图像的特征点进行关联化建立相关关系， 即S＝(s1,s2,s3,s4,s5.....)，是以中间特征点为中心，向两边延伸建立的特征点 k-d二叉树，并包含每个特征点的坐标信息；
步骤4.2：通过k-d二叉树的坐标信息进行主匹配，将主匹配的子树进行特 征点数目匹配，比较任一幅图像与另一幅图像的特征点的k-d树相关关系，并划 分为非匹配图片P1和待匹配图片P2，重复本步骤完成所有图像的划分，得到待 匹配集P2；
步骤4.3：从任一图像和其待匹配集P2中随机选取图像进行特征点匹配， 将匹配后与匹配前的两幅图像的交集特征点集计作K1，完成待匹配集中所有图 像的匹配，选取特征点集数最大的为匹配对象；
步骤4.4：对匹配对象进行检验，计算匹配图像成功的概率，当匹配图像成 功的概率大于预设门限值pthreshold时，认为当前匹配图像相符。
本发明与现有技术相比，其显著优点为：
(1)本发明通过ARM端A311D平台独立完成了全景图像的拼接融合，与 传统的PC端的图像处理相比，大大提升了便携性和实用性；
(2)本发明采用基于多尺度关键性特征点提取方法，有效的提取了图像中 的重要构成成分，然后采用特征双向验证进行图像匹配，选取特征点匹配数最多 的组合，进一步使用概率检验验证特征点匹配图像成功的概率，大大提高了图像 匹配的成功率和相匹配度。
(3)本发明采用平均补偿和多频段融合对图像细节进行增益补偿处理。
下面结合附图对本发明做进一步详细的描述。
附图说明
图1为本发明实施例的MIPI摄像头采集到的待拼接图像1。
图2为本发明实施例的MIPI摄像头采集到的待拼接图像2。
图3为本发明实施例的MIPI摄像头采集到的待拼接图像3。
图4为本发明实施例的MIPI摄像头采集到的待拼接图像4。
图5为本发明实施例的MIPI摄像头采集到的待拼接图像5。
图6为本发明实施例的MIPI摄像头采集到的待拼接图像6。
图7为本发明实施例的MIPI摄像头采集到的待拼接图像7。
图8为本发明实施例的MIPI摄像头采集到的待拼接图像8。
图9为本发明实施例的MIPI摄像头采集到的待拼接图像9。
图10为本发明实施例的待拼接图像1提取特征点后图像。
图11为本发明实施例的待拼接图像3与待拼接图像4双向匹配处理后的特 征点图像。
图12为本发明实施例的待拼接图像1-9拼接之后的图像。
图13为本发明实施例的图像拼接后经过补偿、融合和平滑处理的最终结果。
图14为本发明的流程图。
具体实施方式
如图14所示，一种可移植到ARM端的全景图像自动拼接融合方法，首先 由ARM端A311D平台的MIPI摄像头完成对图像的采集，提取采集到的图像后 基于多尺度关键性的特征点，通过特征点匹配和概率检验的方法自动确定图像之 间的匹配组合，然后采用平均补偿、高低频融合和平滑处理增强图像细节，进而 完成全景图像的拼接融合。具体步骤为：
步骤1：采集待拼接图像；
步骤2：对待拼接图像进行多尺度显著特征点提取，并消除非关键性匹配特 征点；具体方法为：
步骤2.1：将待拼接图像通过高斯滤波变换到不同尺度下，即L(x,y,z)＝ G(x,y,σ)*I(x,y)，其中
Figure BDA0003858230000000051
是高斯滤波函数；
步骤2.2：将变换后不同尺度下的图像进行下采样差分，即D(x,y,σ)＝ L(x,y,kσ)-L(x,y,σ)，得到候选极值点；
步骤2.3：由于候选极值点与真实极值点同时分布在同一函数曲线上，利用 泰勒级数对原函数进行拟合，求导得
Figure BDA0003858230000000052
其中
Figure BDA0003858230000000053
步骤2.4：图像的候选极值点中因为存在一些非关键特征点，需要进一步消 除，得到其关键性匹配特征点，通过Hessian矩阵
Figure BDA0003858230000000054
令σ为最大的特征值，β为最小的特征值，有
Figure BDA0003858230000000055
求出边界 值r，即大于r的非关键特征点被消除；
步骤2.5：得到多尺度关键性特征点，包括其位置和方向信息，其中m(x,y) 为位置信息，θ(x,y)为方向信息。
Figure BDA0003858230000000056
Figure BDA0003858230000000057
步骤3：以特征点为中心采用矩形邻域计算特征描述符；
步骤4：基于概率逆向检验，完成各幅图像自动匹配；具体方法为：
步骤4.1：使用k-d二叉树将每幅图像的特征点进行关联化建立相关关系， 即S＝(s1,s2,s3,s4,s5.....)，是以中间特征点为中心，向两边延伸建立的特征点 k-d二叉树，并包含每个特征点的坐标信息；
步骤4.2：通过k-d二叉树的特征点坐标信息和二叉树的子树排序特点，即 图像任意两特征点距离可求，根据距离选中的某些特征点所组成的子树排序可得 到，并且两幅可匹配的图像必然存在相同的特征且特征在k-d二叉树中组成的子 树排序是一致的，因此就能得出任一幅图像与另一幅图像的k-d树相符关系，并 划分为非匹配图片P1和待匹配图片P2，重复上述操作与其余的图，得到待匹配 图像集合P2；
通过k-d二叉树的特征点坐标信息和二叉树的子树排序特点，即图像两最近 特征点距离可求，根据距离选中的某些特征点所组成的子树排序可得到，并且两 幅可匹配的图像必然存在相同的特征，因此就能得出任一幅图像与另一幅图像的 k-d树相符关系，
步骤4.3：从任一图像和其待匹配集P2中随机选取图像进行特征点匹配， 将匹配后与匹配前的两幅图像的交集特征点集计作K1，完成待匹配集中所有图 像的匹配，选取特征点集数最大的为匹配对象。
步骤4.4：对匹配对象进行检验，计算匹配图像成功的概率，当匹配图像成 功的概率大于预设门限值pthreshold时，认为当前匹配图像相符。
有p(f(1:n)|m＝1)＝B(ni；n；p1)，为匹配图像成功时交集特征点集也匹配无 误的概率，其中
Figure BDA0003858230000000061
其中ni为匹配中使用的 特征点数，n为特征点数集数K1，p1为正确图像匹配下特征点匹配成功的概率， 可求出计算匹配图像成功的概率
Figure BDA0003858230000000062
此概率大 于预设门限值pthreshold时，即可认为当前匹配图像相符，如果不符合，则按步骤 4.3中特征点集数目由多到少排序的下一幅图像作为匹配对象，再次进行此操作， 如果皆不符合，则提示图像输入错误。
步骤5：通过最优化模型，最小化所有图像拼接融合误差u，使其达到最小 umin，对于任意两个特征点有欧式距离
Figure BDA0003858230000000063
记待匹配 图像匹配使用的特征点与其它特征点总距离为df，与之相匹配图像的匹配特征点 在拼接融合后与待匹配图像的其它特征点距离为dh，要达到拼接融合误差最小， 则要任意两两拼接融合图像的df＝dh；
步骤6：对初始拼接融合图像进行补偿，采用邻域平均的方法补偿其图像；
步骤7：将补偿后图像进行高低频融合，平滑图像细节完成全景图像自动拼 接融合。
本发明可移植至ARM端A311D平台，实现了移动ARM端的全景图像拼接融合 的整体过程，大大提升了便携性和实用性。
本发明采用的是基于多尺度关键特征点的提取方法，可有效的提取图像的重 要构成部分，提高运算效率，具有很好的鲁棒性。
本发明对图像匹配采取的是先匹配后检验再确定的方法，提升了图像匹配的 成功率和相匹配度。
本发明对图像细节采取多频段的融合处理，显著提高了图像拼接融合质量。
实施例
实现本实施例的硬件平台为基于Amlogic A311D芯片的Khadas-VIM系列的 VIM3开发板，该开发板配备了6核大小核构架，其中大核为四核ARM-Cortex-A73， 频率高达2.2Ghz，小核为双核ARM-Cortex-A53，频率为1.8Ghz既满足了高性 能，又满足了低功耗的要求，支持四通道MIPI-CSI摄像头视频输入和HDMI视频 输出。
本实施例图像源由VIM3开发板搭载MIPI摄像头采集，该摄像头焦距为 3.47mm，阵列尺寸为2.0μm*2.0μm，像素为800W，可视角度为160°，采集到 的图像分辨率为640*480，如图1、2、3、4、5、6、7、8、9所示。
本实施例采用的A311D平台移植的opencv，版本为4.5.3，为了保证图像匹 配的正确性，将对待拼接图像进行多尺度显著特征点的提取，并消除非关键性特 征点。
对于采用的以特征为基础的图像匹配方法而言，特征点的选取对于后续的图 像处理尤为重要，对图像的像素点进行相应的归纳，得到相应的特征向量，并以 此为图像匹配的基本凭据，因此采用多尺度显著特征点提取方法，有效的提取了 图像中的重要构成部分，提高了图像匹配的成功率。
针对特征点提取分为以下几步：
将待拼接图像通过高斯滤波变换到不同尺度下，即L(x,y,z)＝G(x,y,σ)* I(x,y)，其中
Figure BDA0003858230000000081
是高斯滤波函数；
将变换后不同尺度下的图像进行下采样差分，即D(x,y,σ)＝L(x,y,kσ)- L(x,y,σ),得到候选极值点；
由于候选极值点与真实极值点同时分布在同一函数曲线上，利用泰勒级数对 原函数进行拟合，求导得
Figure BDA0003858230000000082
其中
Figure BDA0003858230000000083
Figure BDA0003858230000000084
图像的候选极值点中因为存在一些非关键特征点，需要进一步消除，得到其 关键性匹配特征点，通过Hessian矩阵
Figure BDA0003858230000000085
令σ为最 大的特征值，β为最小的特征值，有
Figure BDA0003858230000000086
求出边界值r，即 大于r的非关键特征点被消除；
得到多尺度关键性特征点，包括其位置和方向信息如图10所示。
多尺度关键性特征点是在图像经过多尺度的变换后，再对所有特征点集进行 筛选而得到的，因此其具有独有性和特殊性的特点，也因此在图像匹配的过程中， 提高了成功率图像匹配的成功率。
图像匹配的方法还是以特征点为基础，对特征点分类进行关联化分析，选取 待匹配图片，再对待匹配图片进行随机选取特征点的匹，使用概率检验进行图像 匹配验证，进而减小图像误匹配的概率，避免图像匹配错误。
图像匹配的过程分为以下几步：
使用k-d树将每幅图像的特征点进行关联化建立相关关系，即S＝ (s1,s2,s3,s4,s5.....)；
比较某幅图像与另一幅图像的特征点的k-d树相关关系，并划分为非匹配图 片P1和待匹配图片P2，重复上述操作与其余的图，得到待匹配集P2；
从某幅图像和其待匹配集中随机选取特征点 (s1,s2,s3,s4,s5,s6,s7,s8,s9,s10)进行匹配，匹配后图像与匹配前两幅图像的交 集特征点集计作K1，重复上述操作，并与待匹配集中其余图像进行上述操作， 选取特征点集数最大的为匹配对象。
对于匹配对象进行检验，有p(f(1:n)|m＝1)＝B(ni；n；p1)，为匹配图像成功 时交集特征点集也匹配无误的概率，其中
Figure BDA0003858230000000091
可求出当特征点集匹配成功时匹配图像成功的概率
Figure BDA0003858230000000092
Figure BDA0003858230000000093
此概率大于预设门限值pthreshold时，即可认为当前匹配图像 相符。
经过概率逆向检验后待拼接图像3和待拼接图像4双向匹配的特征点图像如 图11所示。
将待拼接图像1-9拼接融合后全景图像如图12所示。
对拼接融合后的全景图像进行补偿、高低频融合和平滑处理后的拼接效果图 如图13所示。

Claims (8)

1.一种可移植到ARM的全景图像自动拼接融合方法，其特征在于，具体步骤为：
步骤1：采集待拼接图像；
步骤2：对待拼接图像进行多尺度关键性特征点提取，并消除非关键性匹配特征点；
步骤3：以多尺度关键性特征点为中心采用矩形邻域计算特征描述符；
步骤4：基于概率逆向检验，完成各图像自动匹配过程；
步骤5：通过最优化模型，最小化所有图像拼接融合误差；
步骤6：对初始拼接融合图像进行补偿，采用邻域平均法补偿增强图像；
步骤7：将补偿后图片进行高低频融合，平滑图像细节完成全景图像自动拼接融合。
2.根据权利要求1所述的可移植到ARM的全景图像自动拼接融合方法，其特征在于，由A311D平台MIPI摄像头完成待拼接图像的采集。
3.根据权利要求1所述的可移植到ARM的全景图像自动拼接融合方法，其特征在于，对待拼接图像进行多尺度显著特征点提取，并消除非关键性匹配特征点的具体方法为：
步骤2.1：将待拼接图像通过高斯滤波变换到不同尺度下；
步骤2.2：将变换后不同尺度下的图像进行下采样差分，即D(x,y,σ)＝L(x,y,kσ)-L(x,y,σ)，其中D(x,y,σ)是差分采样函数，L(x,y,σ)是图像经高斯尺度变换后的函数，x,y为图像位置信息，σ为图像尺度参数，k为尺度变换系数，得到候选极值点；
步骤2.3：利用泰勒级数对差分采样原函数进行拟合，求导得
Figure FDA0003858229990000011
Figure FDA0003858229990000012
其中
Figure FDA0003858229990000013
x为(x,y,σ)一维向量，D为差分采样原函数，
Figure FDA0003858229990000014
为一阶求导矩阵，
Figure FDA0003858229990000015
为一阶求导矩阵的转置，
Figure FDA0003858229990000016
为二阶求导矩阵的转置，
Figure FDA0003858229990000017
为二阶求导矩阵的逆矩阵，x,y为图像位置信息，σ为图像尺度参数；
步骤2.4：计算边界值，将大于边界值的非关键特征点消除，得到多尺度关键性特征点。
4.根据权利要求3所述的可移植到ARM的全景图像自动拼接融合方法，其特征在于，将待拼接图像通过高斯滤波变换到不同尺度下的具体公式为：
L(x，y，σ)＝G(x，y，σ)*I(x，y)
其中
Figure FDA0003858229990000021
为高斯尺度变换函数，I(x,y)为图像信息，L(x,y,σ)是图像经高斯尺度变换后的函数，x,y为图像位置信息，σ为图像尺度参数。
5.根据权利要求3所述的可移植到ARM的全景图像自动拼接融合方法，其特征在于，边界值的计算公式为：
Figure FDA0003858229990000022
式中，H为Hessian矩阵，具体为
Figure FDA0003858229990000023
其中x,y为图像位置信息，Dxx(x,y)，Dyy(x,y)为差分采样原函数的二阶求导矩阵，Dxy(x,y)为差分采样原函数的二阶求偏导矩阵，σ为最大的特征值，β为最小的特征值。
6.根据权利要求3所述的可移植到ARM的全景图像自动拼接融合方法，其特征在于，多尺度关键性特征点包括位置和方向信息，其中m(x,y)为位置信息，θ(x,y)为方向信息，具体为：
Figure FDA0003858229990000024
Figure FDA0003858229990000025
其中x,y为图像位置信息，L为多尺度关键性特征点集合函数。
7.根据权利要求1所述的可移植到ARM的全景图像自动拼接融合方法，其特征在于，基于概率逆向检验，完成各图像自动匹配，具体方法为：
步骤4.1：使用k-d二叉树将每幅图像的特征点进行关联化建立相关关系，即S＝(s1,s2,s3,s4,s5.....)，是以中间特征点为中心，向两边延伸建立的特征点k-d二叉树，并包含每个特征点的坐标信息；
步骤4.2：通过k-d二叉树的坐标信息进行主匹配，将主匹配的子树进行特征点数目匹配，比较任一幅图像与另一幅图像的特征点的k-d树相关关系，并划分为非匹配图片P1和待匹配图片P2，重复本步骤完成所有图像的划分，得到待匹配集P2；
步骤4.3：从任一图像和其待匹配集P2中随机选取图像进行特征点匹配，将匹配后与匹配前的两幅图像的交集特征点集计作K1，完成待匹配集中所有图像的匹配，选取特征点集数最大的为匹配对象；
步骤4.4：对匹配对象进行检验，计算匹配图像成功的概率，当匹配图像成功的概率大于预设门限值pthreshold时，认为当前匹配图像相符。
8.根据权利要求7所述的可移植到ARM的全景图像自动拼接融合方法，其特征在于，对匹配对象进行检验，计算匹配图像成功的概率的具体方法为
p(f(1:n)|m＝1)＝B(ni；n；p1)为匹配图像成功时交集特征点集也匹配无误的概率，其中
Figure FDA0003858229990000031
其中ni为匹配中使用的特征点数，n为特征点数集数K1，p1为正确图像匹配下特征点匹配成功的概率，求出计算匹配图像成功的概率
Figure FDA0003858229990000032
此概率大于预设门限值pthreshold时，即可认为当前匹配图像相符，如果不符合，则按步骤4.3中特征点集数目由多到少排序的下一幅图像作为匹配对象，再次进行此操作，如果皆不符合，则提示图像输入错误。
CN202211155326.2A 2022-09-22 2022-09-22 一种可移植到arm端的全景图像自动拼接融合方法 Pending CN115619637A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211155326.2A CN115619637A (zh) 2022-09-22 2022-09-22 一种可移植到arm端的全景图像自动拼接融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211155326.2A CN115619637A (zh) 2022-09-22 2022-09-22 一种可移植到arm端的全景图像自动拼接融合方法

Publications (1)

Publication Number Publication Date
CN115619637A true CN115619637A (zh) 2023-01-17

Family

ID=84858854

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211155326.2A Pending CN115619637A (zh) 2022-09-22 2022-09-22 一种可移植到arm端的全景图像自动拼接融合方法

Country Status (1)

Country Link
CN (1) CN115619637A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151968A (zh) * 2023-10-25 2023-12-01 南京芯驰半导体科技有限公司 车辆的图像处理方法、装置、电子设备及存储介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117151968A (zh) * 2023-10-25 2023-12-01 南京芯驰半导体科技有限公司 车辆的图像处理方法、装置、电子设备及存储介质
CN117151968B (zh) * 2023-10-25 2024-02-27 南京芯驰半导体科技有限公司 车辆的图像处理方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
Tan et al. DeepDemosaicking: Adaptive image demosaicking via multiple deep fully convolutional networks
CN111080529A (zh) 一种加强鲁棒性的无人机航拍图像拼接方法
US20210019872A1 (en) Detecting near-duplicate image
CN108288012B (zh) 一种基于手机实现的艺术品备案验证方法及其系统
Liu et al. Deep fusion network for splicing forgery localization
CN103999124A (zh) 多谱成像系统
CN109559273B (zh) 一种面向车底图像的快速拼接方法
CN102572450A (zh) 基于sift特征与grnn网络的立体视频颜色校正方法
Kim Ciratefi: An RST-invariant template matching with extension to color images
Routray et al. An efficient image denoising method based on principal component analysis with learned patch groups
CN115619637A (zh) 一种可移植到arm端的全景图像自动拼接融合方法
CN116664892A (zh) 基于交叉注意与可形变卷积的多时相遥感图像配准方法
CN111127353A (zh) 一种基于块配准和匹配的高动态图像去鬼影方法
CN114898412A (zh) 一种针对低质量指纹、残缺指纹的识别方法
CN117541629B (zh) 基于可穿戴头盔的红外图像和可见光图像配准融合方法
CN114066954A (zh) 一种用于多模态图像的特征提取配准方法
CN106651756B (zh) 一种基于sift和验证机制的图像配准方法
CN110070626B (zh) 一种基于多视角分类的三维物体检索方法
CN104751412B (zh) 一种基于仿射不变特征的图像拼接方法
Wu et al. Review of imaging device identification based on machine learning
CN111709434B (zh) 一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法
CN114979470A (zh) 摄像机旋转角度分析方法、装置、设备与存储介质
Zeng et al. Automatic 3D ear reconstruction based on binocular stereo vision
Ge et al. Template-based object detection through partial shape matching and boundary verification
Tong et al. Epipolar geometry estimation for non-static scenes by 4D tensor voting

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination