CN112150359A - 基于机器学习和特征点识别的无人机图像快速拼接方法 - Google Patents

基于机器学习和特征点识别的无人机图像快速拼接方法 Download PDF

Info

Publication number
CN112150359A
CN112150359A CN202010969798.6A CN202010969798A CN112150359A CN 112150359 A CN112150359 A CN 112150359A CN 202010969798 A CN202010969798 A CN 202010969798A CN 112150359 A CN112150359 A CN 112150359A
Authority
CN
China
Prior art keywords
feature
image
characteristic
aerial vehicle
unmanned aerial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010969798.6A
Other languages
English (en)
Other versions
CN112150359B (zh
Inventor
雷添杰
邓安军
张春再
李爱丽
胡海华
徐瑞瑞
王党伟
王嘉宝
宫阿都
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Hangyao Tiandi Technology Co ltd
China Institute of Water Resources and Hydropower Research
Original Assignee
Beijing Hangyao Tiandi Technology Co ltd
China Institute of Water Resources and Hydropower Research
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Hangyao Tiandi Technology Co ltd, China Institute of Water Resources and Hydropower Research filed Critical Beijing Hangyao Tiandi Technology Co ltd
Priority to CN202010969798.6A priority Critical patent/CN112150359B/zh
Publication of CN112150359A publication Critical patent/CN112150359A/zh
Application granted granted Critical
Publication of CN112150359B publication Critical patent/CN112150359B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于机器学习和特征点识别的无人机图像快速拼接方法，首先选定一张基准影像，使其与其周围9张临近影像使用基于GPU并行加速优化的改进SURF算法进行特征点的提取，减少了基准影像多次提取特征点所耗费的时间，并减少了影像连乘累积误差，再使用机器学习计算的描述特征向量改进SURF算法的描述特征向量，大幅度提高特征点匹配的精度，实现影像配准。本发明基于SURF算法+机器学习+GPU+PROSAC算法+图像分块拼接技术，构建了一种无人机遥感影像快速高效的处理方法，速度比传统SURF算法运行更快，精度得到了大幅度提高，在实时性方面的发挥更突出。

Description

基于机器学习和特征点识别的无人机图像快速拼接方法
技术领域
本发明属于全景图像拼接技术领域，具体涉及一种基于机器学习和特征点识别的无人机图像快速拼接方法的设计。
背景技术
全景图像拼接在摄影测量、计算机视觉、图像处理和计算机图形学等领域有着广泛的研究文献和若干商业应用。随着无人机在军事侦察、抗灾救灾、森林火灾监测、遥感遥测等领域的应用越来越广泛,它的独有特点吸引了越来越多的国内外专家学者投入到无人机关键技术的研究中。无人机图像拼接技术是运用图像拼接技术,将无人机航拍图像进行拼接,形成一幅大场景的直观易理解的图像。由于航拍图像的数据量大、数据处理时间长及作业强度高等问题的存在，如何高效的实现无人机航拍序列图像的拼接已经成为了一个热点研究问题。
为了得到大视场、高分辨率、高清晰度的无人机影像，需要将多幅小视场的序列图像进行拼接融合。目前应用最广泛的图像拼接方法为基于尺度不变换特征(sift)的图像拼接方法，该方法对图像旋转、缩放、尺度变换及光照差异等都具有很强的鲁棒性，但也存在原理复杂、计算量大、耗时长等缺点。现有的无人机影像拼接方法通过两幅影像配准结束在与下一幅影像进行拼接，直至所有影像拼接完成，虽然部分方法通过在重叠区范围内提取特征点，进行影像拼接，虽在一定程度提高了运算效率，但运算效率提高较低，这类拼接方式需对每一幅影像进行多次特征点提取、匹配等操作，耗费大量时间，无法满足实时性的要求，并且部分方法通过降低影像分辨率的方式进行快速拼接，虽然提高了算法运行时间，但丢失了大量影像细节信息，不利于后续的实际应用。现有技术中的拼接方法都或多或少的存在拼接效果不理想、冗余消息多、拼接效率低且拼接时间长的缺点，鉴于此，如何提供一种稳定性和拼接效果好、拼接时间短、拼接效率高的无人机航拍序列图像快速拼接方法是本领域技术人员需要解决的技术问题。
发明内容
本发明的目的是为了解决现有的无人机图像快速拼接方法存在拼接效果不理想、冗余消息多、拼接效率低且拼接时间长的问题，提出了一种基于机器学习和特征点识别的无人机图像快速拼接方法。
本发明的技术方案为：一种基于机器学习和特征点识别的无人机图像快速拼接方法，包括以下步骤：
S1、实时获取无人机航拍采集的影像数据，从影像数据中随机指定基准影像，并通过无人机航拍过程中的经纬度信息确定基准影像的9张临近影像。
S2、采用基于GPU并行加速优化的改进SURF算法对基准影像以及9张临近影像同时进行特征关键点提取，并根据提取的特征关键点得到第一特征向量。
S3、对步骤S2提取的特征关键点在周围64×64的像素区域进行特征点裁剪，得到深度学习模型的输入影像。
S4、对训练好的VGG16深度学习模型进行剪枝，得到改进的深度学习模型。
S5、将深度学习模型的输入影像输入至改进的深度学习模型中，提取改进的深度学习模型中第一层全连接层的4096维特征向量。
S6、对步骤S5中提取得到的4096维特征向量进行PCA降维，得到第二特征向量。
S7、将第一特征向量和第二特征向量进行结合，得到新的特征向量描述子。
S8、根据新的特征向量描述子，采用基于最近邻和次近邻距离比值的方法对两幅影像中的特征点进行匹配，得到正确匹配的特征点对与错误匹配的特征点对。
S9、采用PROSAC算法剔除错误匹配的特征点对，得到两幅影像的变换矩阵。
S10、采用步骤S8～S9相同的方法同时计算9张临近影像到基准影像的变换矩阵，实现基准影像与9张临近影像的拼接。
S11、将9张临近影像分别作为基准影像，重复步骤S1～S10，实现所有影像的拼接。
进一步地，步骤S2包括以下分步骤：
S21、将基准影像以及9张临近影像从主机存储器传输到GPU显示存储器。
S22、在GPU中对图像进行集成，生成完整的影像。
S23、固定影像不变，通过改变盒式滤波器来获取不同尺度的影像，构建SURF算法的尺度空间。
S24、由积分影像经过高斯滤波构造Hessian矩阵，经过盒式滤波器与影像卷积得到Hessian矩阵的判别式，当Hessian矩阵的判别式取得局部极大值时，判定该点为Surf算法的特征关键点。
S25、根据特征关键点，通过GPU并行计算的方式计算特征主方向。
S26、以特征关键点以及特征主方向为基准，通过GPU中的16个线程进行特征描述符计算，得到第一特征向量。
S27、将第一特征向量从GPU下载到CPU主机内存。
进一步地，步骤S25中计算特征主方向的具体方法为：
A1、在特征点的圆形邻域内，统计60度扇形区域内所有点的水平、垂直Haar小波特征值总和。
A2、将扇形区域以设定间隔进行旋转，再次统计扇形区域内所有点的水平、垂直Haar小波特征值总和。
A3、重复步骤A1～A2，直到统计完成圆形邻域中每个扇形区域内所有点的水平、垂直Haar小波特征值总和。
A4、将特征值总和最大的扇形方向作为该特征点的特征主方向。
进一步地，步骤S26中计算得到第一特征向量的具体方法为：
B1、以特征关键点以及特征主方向为基准，选取一个边长为20σ的正方形框，σ表示影像尺度。
B2、将正方形框分成16个子区域。
B3、分别计算每个子区域内所有像素的水平方向和水平方向绝对值之和的Haar小波特征，垂直方向和垂直方向绝对值之和的Haar小波特征，生成一个64维的第一特征向量。
进一步地，步骤S4中的VGG16深度学习模型要求输入的图片数据大小为224×224×3，初始卷积核的大小为3×3×3，步幅stride的大小为1，有效填充padding的大小为1，池化层pooling采用2×2的最大池化函数max pooling的方式。
进一步地，步骤S4中的VGG16深度学习模型中卷积过程为：
C1、使用两次64个卷积核的卷积处理，并进行一次池化层pooling处理。
C2、使用两次128个卷积核的卷积处理，并进行一次池化层pooling处理。
C3、使用三次256个卷积核的卷积处理，并进行一次池化层pooling处理。
C4、使用三次512个卷积核的卷积处理，并进行一次池化层pooling处理。
C5、使用三次512个卷积核的卷积处理，并进行一次池化层pooling处理。
C6、使用三次全连接层Fc_layer，并经过softmax分类器处理。
进一步地，步骤S4中对训练好的VGG16深度学习模型进行剪枝的具体方法为：
D1、通过LASSO回归算法进行通道选择，在损失函数中添加L1范数对权重进行约束。
D2、通过建立基于最小二乘的目标对通道剪枝力度进行控制，使得剪枝后输出的特征图和剪枝前输出的特征图差异最小。
进一步地，步骤S6包括以下分步骤：
S61、通过计算4096维特征向量的协方差矩阵，求出协方差矩阵的特征值与正交单位特征向量。
S62、对特征值按从大到小进行排序，选择其中最大的k个特征值。
S63、将最大的k个特征值对应的k个正交单位特征向量分别作为行向量，组成特征向量矩阵J1，得到降维后的第二特征向量数据集。
进一步地，步骤S8包括以下分步骤：
S81、设I1、I2为两幅输入影像，ti为影像I1上第i个特征点。
S82、在影像I2上寻找与特征点ti之间距离最近的特征点t0和距离次近的特征点t1，分别计算得到其欧氏距离为平方和d1和d2。
S83、判断是否满足d1≤a*d2，若是则认为特征点ti与t0为正确匹配的特征点对，否则认为其为错误匹配的特征点对，其中a为比值阈值。
S84、遍历影像I1中所有特征点，得到影像I2中所有正确匹配的特征点对与错误匹配的特征点对。
进一步地，步骤S9包括以下分步骤：
S91、设置迭代次数N。
S92、在迭代次数范围内，依据匹配质量从高到低对特征点对进行排序。
S93、选取前n个正确匹配的特征点对，从中随机抽取特征点对计算得到单应矩阵模型，并计算模型误差。
S94、判断模型误差是否小于内点误差阈值，若是则将该特征点对判定为内点对，否则将该特征点对判定为外点对。
S95、重复步骤S92～S94直至达到迭代次数N，获取迭代次数范围内内点对数量最多的内点对集合。
S96、判断步骤S95得到的内点对集合中内点对的数量是否大于设定数量阈值，若是则进入步骤S97，否则返回步骤S92。
S97、根据内点对数量最多的内点对集合认为的外点对剔除，利用内点对集合中所有的内点对计算两幅影像的变换矩阵H。
本发明的有益效果是：
(1)本发明针对传统SURF算法运行效率较慢的问题，使用了GPU改进SURF算法的速度，使运行结果具有实时性，尤其适用于应急救援等实时性要求较高的领域。
(2)传统的SURF算法只能提取特征点周围的低维特征，使用影像信息较少，因此会使匹配点相似度较为接近，造成大量误匹配点对的出现，不利于后续的误匹配点滤除，本发明结合机器学习算法，按照特征点选取周围一定区域，输入神经网络中计算高维特征，通过低维特征和高维特征相结合的方式，使得特征点的匹配错误率明显降低，有利于后续操作。
(3)本发明使用PROSAC算法，对比传统RANSAC算法，在质量较高的匹配点集中计算变换矩阵，运行速度更加高效。
(4)本发明采用分块拼接的思想，随机选定一张影像，然后将该张影像周围的9张影像同时与该影像进行特征点匹配，计算变换矩阵，一次操作即可完成10张影像拼接成图，大大提高了本发明对于整个研究区域的拼接效率。
综上，本发明基于SURF算法+机器学习+GPU+PROSAC算法，构建了一种分块无人机遥感影像快速高效的拼接处理方法，速度比传统SURF算法运行更快，精度得到了大幅度提高，在实时性方面的发挥更为突出。
附图说明
图1所示为本发明实施例提供的一种基于机器学习和特征点识别的无人机图像快速拼接方法流程图。
图2所示为本发明实施例提供的VGG16深度学习模型示意图。
具体实施方式
现在将参考附图来详细描述本发明的示例性实施方式。应当理解，附图中示出和描述的实施方式仅仅是示例性的，意在阐释本发明的原理和精神，而并非限制本发明的范围。
本发明实施例提供了一种基于机器学习和特征点识别的无人机图像快速拼接方法，如图1所示，包括以下步骤S1～S11：
S1、实时获取无人机航拍采集的影像数据，从影像数据中随机指定基准影像，并通过无人机航拍过程中的经纬度信息确定基准影像的9张临近影像。
S2、采用基于GPU并行加速优化的改进SURF算法对基准影像以及9张临近影像同时进行特征关键点提取，并根据提取的特征关键点得到第一特征向量。
本发明实施例中，针对无人机遥感影像分辨率高的特点，传统的SURF算法只在CPU中完成特征点的提取和特征点的描述，计算量大，处理速度不能满足实时性要求。因此，基于GPU并行加速改进的SURF算法可以在GPU中完成积分图计算、特征点的提取、特征点描述符计算、特征匹配过程。GPU可以启动足够多的线程，每个线程完成简单的计算任务，有效地提高数据处理的性能，该方法提高了无人机遥感影像配准的效率。
步骤S2包括以下分步骤S21～S27：
S21、将基准影像以及9张临近影像从主机存储器传输到GPU显示存储器。
S22、在GPU中对图像进行集成，生成完整的影像。
S23、固定影像不变，通过改变盒式滤波器(Box filter)来获取不同尺度的影像，构建SURF算法的尺度空间。
本发明实施例中，利用不同尺寸的盒式滤波器去近似不同尺度的二阶高斯滤波器，并采用盒式滤波器和图像卷积。例如在图像I的尺度σ上采用不同尺度的盒式滤波器与图像卷积，可以得到该层上不同尺度的滤波响应图。本发明实施例中选择6的倍数作为基本的尺度间隔，每次翻倍作为下一层滤波器的尺度间隔，即第一层滤波器的尺度间隔为6，之后每一层滤波器的尺度间隔依次为12，24，48....初始滤波模板为9×9，则第一层滤波模板大小为9、15、21，第二层滤波模板大小为15、27、39，第三层滤波模板大小为27、51、75，第四层滤波模板大小为51、99、147。
S24、由积分影像经过高斯滤波构造Hessian矩阵，经过盒式滤波器与影像卷积得到Hessian矩阵的判别式，当Hessian矩阵的判别式取得局部极大值时，判定该点为Surf算法的特征关键点。
S25、根据特征关键点，通过GPU并行计算的方式计算特征主方向。
本发明实施例采用Harr小波特征分配SURF算法特征点的主方向，步骤S25中计算特征主方向的具体方法为：
A1、在特征点的圆形邻域内，统计60度扇形区域内所有点的水平、垂直Haar小波特征值总和。
A2、将扇形区域以设定间隔进行旋转，再次统计扇形区域内所有点的水平、垂直Haar小波特征值总和。
A3、重复步骤A1～A2，直到统计完成圆形邻域中每个扇形区域内所有点的水平、垂直Haar小波特征值总和。
A4、将特征值总和最大的扇形方向作为该特征点的特征主方向。
S26、以特征关键点以及特征主方向为基准，通过GPU中的16个线程进行特征描述符计算，得到第一特征向量。
步骤S26中计算得到第一特征向量的具体方法为：
B1、以特征关键点以及特征主方向为基准，选取一个边长为20σ的正方形框，σ表示影像尺度。
B2、将正方形框分成16(4×4)个子区域。
B3、分别计算每个子区域内所有像素的水平方向和水平方向绝对值之和的Haar小波特征，垂直方向和垂直方向绝对值之和的Haar小波特征，生成一个64维的第一特征向量。
S27、将第一特征向量从GPU下载到CPU主机内存。
S3、对步骤S2提取的特征关键点在周围64×64的像素区域进行特征点裁剪，得到深度学习模型的输入影像。
S4、对训练好的VGG16深度学习模型进行剪枝，得到改进的深度学习模型。
VGG卷积神经网络的层次结构包括卷积层、激活层、池化层和全连接层，卷积核是卷积层的核心，在卷积核的作用下可以提取位于图像中不同位置同一物体的形状，在起到降维作用的同时也减少了需要训练的参数。池化层pool中用池化过滤器对输入数据进行降维，最后是全连接层，它的作用相当于“分类器”。
如图2所示，VGG16深度学习模型包括13层卷积层和3层全连接层，该模型要求输入的图片数据大小为224×224×3，初始卷积核的大小为3×3×3，步幅stride的大小为1，有效填充padding的大小为1，池化层pooling采用2×2的最大池化函数max pooling的方式。
如图2所示，VGG16深度学习模型中卷积过程为：
C1、使用两次64个卷积核的卷积处理，并进行一次池化层pooling处理。
C2、使用两次128个卷积核的卷积处理，并进行一次池化层pooling处理。
C3、使用三次256个卷积核的卷积处理，并进行一次池化层pooling处理。
C4、使用三次512个卷积核的卷积处理，并进行一次池化层pooling处理。
C5、使用三次512个卷积核的卷积处理，并进行一次池化层pooling处理。
C6、使用三次全连接层Fc_layer，并经过softmax分类器处理。
步骤S4中对训练好的VGG16深度学习模型进行剪枝的具体方法为：
D1、通过LASSO回归算法进行通道选择(Channel selection)，在损失函数中添加L1范数对权重进行约束。以目标函数优化的角度考虑，L1范数可以使得权重中大部分值为0，使得通道内权重具有稀疏性，从而可以将系数的Channel剪掉。
D2、通过建立基于最小二乘(Linear least squares)的目标对通道剪枝力度进行控制，使得剪枝后输出的特征图(Feature map)和剪枝前输出的特征图差异最小。
S5、将深度学习模型的输入影像输入至改进的深度学习模型中，提取改进的深度学习模型中第一层全连接层的4096维特征向量。
S6、对步骤S5中提取得到的4096维特征向量进行PCA降维，得到第二特征向量。
步骤S6包括以下分步骤：
S61、通过计算4096维特征向量的协方差矩阵，求出协方差矩阵的特征值与正交单位特征向量。
S62、对特征值按从大到小进行排序，选择其中最大的k个特征值。
S63、将最大的k个特征值对应的k个正交单位特征向量分别作为行向量，组成特征向量矩阵J1，得到降维后的第二特征向量数据集。
S7、将第一特征向量和第二特征向量进行结合，得到新的特征向量描述子。
S8、根据新的特征向量描述子，采用基于最近邻和次近邻距离比值的方法对两幅影像中的特征点进行匹配，得到正确匹配的特征点对与错误匹配的特征点对。
步骤S8包括以下分步骤：
S81、设I1、I2为两幅输入影像，ti为影像I1上第i个特征点。
S82、在影像I2上寻找与特征点ti之间距离最近的特征点t0和距离次近的特征点t1，分别计算得到其欧氏距离为平方和d1和d2。
S83、判断是否满足d1≤a*d2，若是则认为特征点ti与t0为正确匹配的特征点对，否则认为其为错误匹配的特征点对，其中a为比值阈值。
S84、遍历影像I1中所有特征点，得到影像I2中所有正确匹配的特征点对与错误匹配的特征点对。
S9、采用PROSAC算法剔除错误匹配的特征点对，得到两幅影像的变换矩阵。
步骤S9包括以下分步骤：
S91、设置迭代次数N。
S92、在迭代次数范围内，依据匹配质量从高到低对特征点对进行排序。
S93、选取前n个正确匹配的特征点对，从中随机抽取特征点对计算得到单应矩阵模型，并计算模型误差。
S94、判断模型误差是否小于内点误差阈值，若是则将该特征点对判定为内点对，否则将该特征点对判定为外点对。
S95、重复步骤S92～S94直至达到迭代次数N，获取迭代次数范围内内点对数量最多的内点对集合。
S96、判断步骤S95得到的内点对集合中内点对的数量是否大于设定数量阈值，若是则进入步骤S97，否则返回步骤S92。
S97、根据内点对数量最多的内点对集合认为的外点对剔除，利用内点对集合中所有的内点对计算两幅影像的变换矩阵H。
S10、采用步骤S8～S9相同的方法同时计算9张临近影像到基准影像的变换矩阵，实现基准影像与9张临近影像的拼接。
S11、将9张临近影像分别作为基准影像，重复步骤S1～S10，实现所有影像的拼接。
本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。

Claims (10)

1.一种基于机器学习和特征点识别的无人机图像快速拼接方法，其特征在于，包括以下步骤：
S1、实时获取无人机航拍采集的影像数据，从影像数据中随机指定基准影像，并通过无人机航拍过程中的经纬度信息确定基准影像的9张临近影像；
S2、采用基于GPU并行加速优化的改进SURF算法对基准影像以及9张临近影像同时进行特征关键点提取，并根据提取的特征关键点得到第一特征向量；
S3、对步骤S2提取的特征关键点在周围64×64的像素区域进行特征点裁剪，得到深度学习模型的输入影像；
S4、对训练好的VGG16深度学习模型进行剪枝，得到改进的深度学习模型；
S5、将深度学习模型的输入影像输入至改进的深度学习模型中，提取改进的深度学习模型中第一层全连接层的4096维特征向量；
S6、对步骤S5中提取得到的4096维特征向量进行PCA降维，得到第二特征向量；
S7、将第一特征向量和第二特征向量进行结合，得到新的特征向量描述子；
S8、根据新的特征向量描述子，采用基于最近邻和次近邻距离比值的方法对两幅影像中的特征点进行匹配，得到正确匹配的特征点对与错误匹配的特征点对；
S9、采用PROSAC算法剔除错误匹配的特征点对，得到两幅影像的变换矩阵；
S10、采用步骤S8～S9相同的方法同时计算9张临近影像到基准影像的变换矩阵，实现基准影像与9张临近影像的拼接；
S11、将9张临近影像分别作为基准影像，重复步骤S1～S10，实现所有影像的拼接。
2.根据权利要求1所述的无人机图像快速拼接方法，其特征在于，所述步骤S2包括以下分步骤：
S21、将基准影像以及9张临近影像从主机存储器传输到GPU显示存储器；
S22、在GPU中对图像进行集成，生成完整的影像；
S23、固定影像不变，通过改变盒式滤波器来获取不同尺度的影像，构建SURF算法的尺度空间；
S24、由积分影像经过高斯滤波构造Hessian矩阵，经过盒式滤波器与影像卷积得到Hessian矩阵的判别式，当Hessian矩阵的判别式取得局部极大值时，判定该点为Surf算法的特征关键点；
S25、根据特征关键点，通过GPU并行计算的方式计算特征主方向；
S26、以特征关键点以及特征主方向为基准，通过GPU中的16个线程进行特征描述符计算，得到第一特征向量；
S27、将第一特征向量从GPU下载到CPU主机内存。
3.根据权利要求2所述的无人机图像快速拼接方法，其特征在于，所述步骤S25中计算特征主方向的具体方法为：
A1、在特征点的圆形邻域内，统计60度扇形区域内所有点的水平、垂直Haar小波特征值总和；
A2、将扇形区域以设定间隔进行旋转，再次统计扇形区域内所有点的水平、垂直Haar小波特征值总和；
A3、重复步骤A1～A2，直到统计完成圆形邻域中每个扇形区域内所有点的水平、垂直Haar小波特征值总和；
A4、将特征值总和最大的扇形方向作为该特征点的特征主方向。
4.根据权利要求2所述的无人机图像快速拼接方法，其特征在于，所述步骤S26中计算得到第一特征向量的具体方法为：
B1、以特征关键点以及特征主方向为基准，选取一个边长为20σ的正方形框，σ表示影像尺度；
B2、将正方形框分成16个子区域；
B3、分别计算每个子区域内所有像素的水平方向和水平方向绝对值之和的Haar小波特征，垂直方向和垂直方向绝对值之和的Haar小波特征，生成一个64维的第一特征向量。
5.根据权利要求1所述的无人机图像快速拼接方法，其特征在于，所述步骤S4中的VGG16深度学习模型要求输入的图片数据大小为224×224×3，初始卷积核的大小为3×3×3，步幅stride的大小为1，有效填充padding的大小为1，池化层pooling采用2×2的最大池化函数max pooling的方式。
6.根据权利要求5所述的无人机图像快速拼接方法，其特征在于，所述步骤S4中的VGG16深度学习模型中卷积过程为：
C1、使用两次64个卷积核的卷积处理，并进行一次池化层pooling处理；
C2、使用两次128个卷积核的卷积处理，并进行一次池化层pooling处理；
C3、使用三次256个卷积核的卷积处理，并进行一次池化层pooling处理；
C4、使用三次512个卷积核的卷积处理，并进行一次池化层pooling处理；
C5、使用三次512个卷积核的卷积处理，并进行一次池化层pooling处理；
C6、使用三次全连接层Fc_layer，并经过softmax分类器处理。
7.根据权利要求1所述的无人机图像快速拼接方法，其特征在于，所述步骤S4中对训练好的VGG16深度学习模型进行剪枝的具体方法为：
D1、通过LASSO回归算法进行通道选择，在损失函数中添加L1范数对权重进行约束；
D2、通过建立基于最小二乘的目标对通道剪枝力度进行控制，使得剪枝后输出的特征图和剪枝前输出的特征图差异最小。
8.根据权利要求1所述的无人机图像快速拼接方法，其特征在于，所述步骤S6包括以下分步骤：
S61、通过计算4096维特征向量的协方差矩阵，求出协方差矩阵的特征值与正交单位特征向量；
S62、对特征值按从大到小进行排序，选择其中最大的k个特征值；
S63、将最大的k个特征值对应的k个正交单位特征向量分别作为行向量，组成特征向量矩阵J1，得到降维后的第二特征向量数据集。
9.根据权利要求1所述的无人机图像快速拼接方法，其特征在于，所述步骤S8包括以下分步骤：
S81、设I1、I2为两幅输入影像，ti为影像I1上第i个特征点；
S82、在影像I2上寻找与特征点ti之间距离最近的特征点t0和距离次近的特征点t1，分别计算得到其欧氏距离为平方和d1和d2；
S83、判断是否满足d1≤a*d2，若是则认为特征点ti与t0为正确匹配的特征点对，否则认为其为错误匹配的特征点对，其中a为比值阈值；
S84、遍历影像I1中所有特征点，得到影像I2中所有正确匹配的特征点对与错误匹配的特征点对。
10.根据权利要求1所述的无人机图像快速拼接方法，其特征在于，所述步骤S9包括以下分步骤：
S91、设置迭代次数N；
S92、在迭代次数范围内，依据匹配质量从高到低对特征点对进行排序；
S93、选取前n个正确匹配的特征点对，从中随机抽取特征点对计算得到单应矩阵模型，并计算模型误差；
S94、判断模型误差是否小于内点误差阈值，若是则将该特征点对判定为内点对，否则将该特征点对判定为外点对；
S95、重复步骤S92～S94直至达到迭代次数N，获取迭代次数范围内内点对数量最多的内点对集合；
S96、判断步骤S95得到的内点对集合中内点对的数量是否大于设定数量阈值，若是则进入步骤S97，否则返回步骤S92；
S97、根据内点对数量最多的内点对集合认为的外点对剔除，利用内点对集合中所有的内点对计算两幅影像的变换矩阵H。
CN202010969798.6A 2020-09-15 2020-09-15 基于机器学习和特征点识别的无人机图像快速拼接方法 Active CN112150359B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010969798.6A CN112150359B (zh) 2020-09-15 2020-09-15 基于机器学习和特征点识别的无人机图像快速拼接方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010969798.6A CN112150359B (zh) 2020-09-15 2020-09-15 基于机器学习和特征点识别的无人机图像快速拼接方法

Publications (2)

Publication Number Publication Date
CN112150359A true CN112150359A (zh) 2020-12-29
CN112150359B CN112150359B (zh) 2022-04-12

Family

ID=73892797

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010969798.6A Active CN112150359B (zh) 2020-09-15 2020-09-15 基于机器学习和特征点识别的无人机图像快速拼接方法

Country Status (1)

Country Link
CN (1) CN112150359B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907972A (zh) * 2021-04-06 2021-06-04 昭通亮风台信息科技有限公司 基于无人机的道路车流量检测方法、系统及计算机可读存储介质
CN113658235A (zh) * 2021-08-06 2021-11-16 北京理工大学 基于vgg网络与高斯差分网络的光学遥感影像精确配准方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106940876A (zh) * 2017-02-21 2017-07-11 华东师范大学 一种基于surf的快速无人机航拍图像拼接算法
RU2654127C1 (ru) * 2016-12-20 2018-05-16 Федеральное государственное автономное образовательное учреждение высшего образования "Белгородский государственный национальный исследовательский университет" (НИУ "БелГУ") Способ формирования цифрового панорамного изображения
CN108537732A (zh) * 2018-04-10 2018-09-14 福州大学 基于pca-sift的快速图像拼接方法
CN109345575A (zh) * 2018-09-17 2019-02-15 中国科学院深圳先进技术研究院 一种基于深度学习的图像配准方法及装置
CN111009001A (zh) * 2019-09-17 2020-04-14 哈工大机器人(中山)无人装备与人工智能研究院 一种图像配准方法、装置、设备及存储介质
CN111414968A (zh) * 2020-03-26 2020-07-14 西南交通大学 一种基于卷积神经网络特征图的多模态遥感影像匹配方法
CN111553845A (zh) * 2020-04-29 2020-08-18 南京邮电大学 一种基于优化的三维重建的快速图像拼接方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2654127C1 (ru) * 2016-12-20 2018-05-16 Федеральное государственное автономное образовательное учреждение высшего образования "Белгородский государственный национальный исследовательский университет" (НИУ "БелГУ") Способ формирования цифрового панорамного изображения
CN106940876A (zh) * 2017-02-21 2017-07-11 华东师范大学 一种基于surf的快速无人机航拍图像拼接算法
CN108537732A (zh) * 2018-04-10 2018-09-14 福州大学 基于pca-sift的快速图像拼接方法
CN109345575A (zh) * 2018-09-17 2019-02-15 中国科学院深圳先进技术研究院 一种基于深度学习的图像配准方法及装置
CN111009001A (zh) * 2019-09-17 2020-04-14 哈工大机器人(中山)无人装备与人工智能研究院 一种图像配准方法、装置、设备及存储介质
CN111414968A (zh) * 2020-03-26 2020-07-14 西南交通大学 一种基于卷积神经网络特征图的多模态遥感影像匹配方法
CN111553845A (zh) * 2020-04-29 2020-08-18 南京邮电大学 一种基于优化的三维重建的快速图像拼接方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MAN YUAN,ET AL.: "Fast image stitching of unmanned aerial vehicle remote sensing image based on SURF algorithm", 《ELEVENTH INTERNATIONAL CONFERENCE ON DIGITAL IMAGE》 *
张欢等: "无人机影像自动快速拼接研究及实现", 《微计算机信息》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112907972A (zh) * 2021-04-06 2021-06-04 昭通亮风台信息科技有限公司 基于无人机的道路车流量检测方法、系统及计算机可读存储介质
CN113658235A (zh) * 2021-08-06 2021-11-16 北京理工大学 基于vgg网络与高斯差分网络的光学遥感影像精确配准方法
CN113658235B (zh) * 2021-08-06 2022-08-09 北京理工大学 基于vgg网络与高斯差分网络的光学遥感影像精确配准方法

Also Published As

Publication number Publication date
CN112150359B (zh) 2022-04-12

Similar Documents

Publication Publication Date Title
Lin et al. Convolution in the cloud: Learning deformable kernels in 3d graph convolution networks for point cloud analysis
CN112446270B (zh) 行人再识别网络的训练方法、行人再识别方法和装置
Guo et al. 3D object recognition in cluttered scenes with local surface features: A survey
CN110348399B (zh) 基于原型学习机制和多维残差网络的高光谱智能分类方法
Risojević et al. Gabor descriptors for aerial image classification
CN111767882A (zh) 一种基于改进yolo模型的多模态行人检测方法
CN109543548A (zh) 一种人脸识别方法、装置及存储介质
Faraki et al. More about VLAD: A leap from Euclidean to Riemannian manifolds
CN106446936B (zh) 基于卷积神经网络的空谱联合数据转波形图的高光谱数据分类方法
Xia et al. Loop closure detection for visual SLAM using PCANet features
CN112150359B (zh) 基于机器学习和特征点识别的无人机图像快速拼接方法
Chen et al. Dr-tanet: Dynamic receptive temporal attention network for street scene change detection
CN111160436A (zh) 旋转等变的图卷积神经网络的球形图像分类方法及系统
CN103093226B (zh) 一种用于图像特征处理的ratmic描述子的构造方法
Jin Kim et al. Learned contextual feature reweighting for image geo-localization
Hamouda et al. Modified convolutional neural network based on adaptive patch extraction for hyperspectral image classification
Wang et al. GA-STIP: Action recognition in multi-channel videos with geometric algebra based spatio-temporal interest points
CN111597367A (zh) 基于视图和哈希算法的三维模型检索方法
Özyurt et al. A new method for classification of images using convolutional neural network based on Dwt-Svd perceptual hash function
Elashry et al. Feature matching enhancement using the graph neural network (gnn-ransac)
Farfan-Escobedo et al. Towards accurate building recognition using convolutional neural networks
CN112818779B (zh) 一种基于特征优选与多种特征融合的人体行为识别方法
Khedher et al. Fusion of interest point/image based descriptors for efficient person re-identification
CN110458037B (zh) 基于多视角间共性特性挖掘的多任务动作识别方法
JP2023013293A (ja) 教師データ生成装置、学習モデル生成装置、および教師データの生成方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant