CN115358930A - 一种基于多无人机实时图像拼接方法及目标检测方法 - Google Patents

一种基于多无人机实时图像拼接方法及目标检测方法 Download PDF

Info

Publication number
CN115358930A
CN115358930A CN202211276583.1A CN202211276583A CN115358930A CN 115358930 A CN115358930 A CN 115358930A CN 202211276583 A CN202211276583 A CN 202211276583A CN 115358930 A CN115358930 A CN 115358930A
Authority
CN
China
Prior art keywords
image
spliced
type
unmanned aerial
reference image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202211276583.1A
Other languages
English (en)
Other versions
CN115358930B (zh
Inventor
张昆
廖元垲
杨汶
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Chengdu Jingrong Lianchuang Technology Co ltd
Original Assignee
Chengdu Jingrong Lianchuang Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Chengdu Jingrong Lianchuang Technology Co ltd filed Critical Chengdu Jingrong Lianchuang Technology Co ltd
Priority to CN202211276583.1A priority Critical patent/CN115358930B/zh
Publication of CN115358930A publication Critical patent/CN115358930A/zh
Application granted granted Critical
Publication of CN115358930B publication Critical patent/CN115358930B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/08—Projecting images onto non-planar surfaces, e.g. geodetic screens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种基于多无人机实时图像拼接方法及目标检测方法，涉及图像处理技术领域，包括以下步骤：S1、确定参考图像和待拼接图像；S2、构建图像金字塔，对每个无人机拍摄的图像计算参考图像特征点和待拼接图像特征点；S3、将待拼接图像投影到参考图像的平面，使用K邻近算法计算参考图像的特征点和待拼接图像的特征点的欧式距离，其计算所得的最小值作为匹配结果；S4、根据匹配结果将待拼接的图像和参考图像进行拼接，得到拼接后的图像，完成多无人机实时图像拼接。与现有技术相比，本发明拼接速度更快、拼接效果更好、检测速度更快，能减少误匹配；能修正误差；不同目标之间的关联性更强。

Description

一种基于多无人机实时图像拼接方法及目标检测方法
技术领域
本发明涉及图像处理技术领域，具体包括一种基于多无人机实时图像拼接方法及目标检测方法。
背景技术
图像拼接是将多张连续或有重叠部分的图像拼成一幅无缝的全景图或高分辨率图像的技术。目标检测技术是一种基于目标几何和统计特征的图像分割。两种技术大量运用于医疗病灶诊断成像，无人机航拍，遥感成像，军事目标检测等方面。现有的图像拼接和目标检测方法用于无人机航拍作业时多为单无人机的图像采集和拼接。现有技术中，一般有以下几种无人机图像拼接和目标检测方法：
基于无人机的面积测量方法、设置及存储介质：接收并保存无人机采集的地面图像和距离地面的高度，拼接地面图像得到全景图；对全景图进行目标检测处理和语义分割处理，得到目标物体在全景图中的像素集合；基于高度得到像素集合中每个像素对应的地面面积，累加地面面积得到目标物体的目标面积。由于无人机功耗和目前电池技术的限制，单个无人机可检测范围有限，覆盖范围小，对于面积测量和目标检测范围较小，实用价值有限。
基于多用户多无人机系统进行实时堤坝目标检测方法：S1、通过大量的无人机对堤坝进行大量视频采集；S2、对采集的视频进行抽帧和筛选得到符合条件的图片数据集；S3、使用LableImg对图片数据集标注得到xml文件；S4、在darknet框架下创建自己的数据集目录，将原始图片和xml文件放到相应的目录下；S5、根据数据集的情况对相应的配置文件进行修改，运行相应的Python文件生成带全路径的训练文件和测试文件，并将xml文件转换成TXT文件；S6、建立并检测模型利用数据集对检测模型进行训练，当模型收敛时得到损失值和权重文件，根据权重文件完成对视频流数据进行实时检测完成堤坝目标的检测。该方法存在的缺陷是，仅使用多无人机对目标进行检测，并未使用到多无人机对多图像进行融合拼接和，不能及时发现多个目标点的关联性。
发明内容
针对现有技术中的上述不足，本发明提供的一种基于多无人机实时图像拼接方法及目标检测方法解决了单个无人机可检测范围有限，多个目标点的关联性不强的问题。
为了达到上述发明目的，本发明采用的技术方案为：
一种基于多无人机实时图像拼接方法，包括以下步骤：
S1、确定参考图像和待拼接图像；
S2、构建图像金字塔，对每个无人机拍摄的图像计算参考图像特征点和待拼接图像特征点；
S3、将待拼接图像投影到参考图像的平面，使用K邻近算法计算参考图像的特征点和待拼接图像的特征点的欧式距离，其计算所得的最小值作为匹配结果；
S4、根据匹配结果使用改进的RANSAC方法计算投影矩阵，将待拼接的图像和参考图像进行拼接，得到拼接后的图像，完成多无人机实时图像拼接。
进一步地，步骤S1的具体实现方式如下：
对无人机进行编号，当无人机为奇数时选择编号为偶数的无人机作为参考无人机，当无人机为偶数时选择编号为奇数的无人机作为参考无人机，将每个无人机拍摄的第一帧图像作为第一类参考图像，其余帧为第一类待拼接图像；将参考无人机拍摄并进行拼接后的图片作为第二类参考图像，将非参考无人机拍摄并进行拼接后的图片作为第二类待拼接图像。
进一步地，步骤S2的具体实现方式如下：
S2-1、使用3种不同尺寸的Boxfilter模板计算第一类参考图像每个像素的近似Hessian值
Figure 138522DEST_PATH_IMAGE001
，组成一个三维的近似Hessian值矩阵图；选择图像的中间图层的近似Hessian值矩阵作为第一类参考图像；
S2-2、将第一类参考图像的每个像素点和三维的近似Hessian值矩阵图相邻的26个点的值比较大小，当该像素点为最大值或最小值时，确定该像素点为特征点；
S2-3、计算Harr小波特征值确保特征点方向不变性，对特征点添加方向属性，并将添加了方向属性的特征点放入集合FP中，得到与第一类参考图像相对应的集合FP；
S2-4、使用步骤S2-1至步骤S2-3同样的方法得到与第一类待拼接图像相对应的集合PJ。
进一步地，步骤S3的具体实现方式如下：
对于属于同一个无人机的所有图像，进行以下操作：
S3-1、将第一类待拼接图像投影到第一类参考图像平面；
S3-2、当采集的图像未出现刚性变换时，进入步骤S3-5；当采集的图像出现非刚性变换时，提取第一类参考图像和第一类待拼接图像的四个顶点坐标并进入步骤S3-3；
S3-3、根据公式：
Figure 910038DEST_PATH_IMAGE002
Figure 15397DEST_PATH_IMAGE003
Figure 964898DEST_PATH_IMAGE004
得到四个顶点的偏移角度
Figure 726181DEST_PATH_IMAGE005
，
Figure 786541DEST_PATH_IMAGE006
，
Figure 11986DEST_PATH_IMAGE007
，
Figure 384586DEST_PATH_IMAGE008
；其中，
Figure 633165DEST_PATH_IMAGE009
为图像出现非刚性变换时的横纵坐标偏移量；
Figure 231636DEST_PATH_IMAGE010
为第一类参考图像的顶点坐标，
Figure 514850DEST_PATH_IMAGE011
为第一类待拼接图像的顶点坐标；
Figure 55422DEST_PATH_IMAGE012
为四个顶点偏移角度的平均值；
S3-4、根据公式：
S3-4、根据公式：
Figure 588034DEST_PATH_IMAGE013
得到四个顶点偏移角度的方差
Figure 255776DEST_PATH_IMAGE014
；其中，
Figure 393496DEST_PATH_IMAGE015
=4；
Figure 590122DEST_PATH_IMAGE017
表示第
Figure 62561DEST_PATH_IMAGE017
个顶点的偏移角度；
S3-5、当0 ≤ s ≤ 1.5时，使用光速平差法对第一类待拼接图像进行修正；当s＞ 1.5时，将第一类待拼接图像舍弃；
S3-6、根据公式：
Figure 330731DEST_PATH_IMAGE018
得到第一类参考图像的特征点和待拼接图像的特征点的欧式距离
Figure 322958DEST_PATH_IMAGE019
；其中，
Figure 690485DEST_PATH_IMAGE020
为第一类参考图像特征点，
Figure 400952DEST_PATH_IMAGE021
为第一类待拼接图像特征点；
S3-7、计算由第一类参考图像特征点构成的数据集的中点与由第一类待拼接图像特征点构成的数据集的中点之间的欧式距离，并将其与第一类参考图像的特征点和第一类待拼接图像的特征点的欧式距离
Figure 659764DEST_PATH_IMAGE019
相比较，把距离最小的匹配结果作为最终匹配结果；
S3-8、筛选出匹配结果对应的匹配点组成匹配点集，即得到与每个无人机对应的匹配点集。
进一步地，步骤S4的具体实现方式如下：
对于每一个匹配点集，进行如下操作：
S4-1、从匹配点集中随机抽取不共线的9对样本数据，使用RANSAC方法计算变化矩阵；
S4-2、根据刚性变换函数：
Figure 303235DEST_PATH_IMAGE022
构造模型M等式：
Figure 372822DEST_PATH_IMAGE023
Figure 39427DEST_PATH_IMAGE024
Figure 852662DEST_PATH_IMAGE025
其中，
Figure 350640DEST_PATH_IMAGE026
、
Figure 843325DEST_PATH_IMAGE027
为第一类参考图像特征点，
Figure 262806DEST_PATH_IMAGE028
为第一类待拼接图像特征点，
Figure 348573DEST_PATH_IMAGE029
、
Figure 169899DEST_PATH_IMAGE030
分别表示对图像刚性变换时横纵坐标偏移量；
Figure 378026DEST_PATH_IMAGE031
表示匹配点的偏移角度；a、b、c、d、e、f、 g、h、i表示根据从匹配点集中随机抽取的9对数据带入模型M等式中求得的参数；
S4-3、将匹配点集中的匹配点随机带入模型M等式中进行迭代，并设置迭代次数上限为40次，计算匹配点集中的匹配点与模型M的投影误差，将误差小于阈值的特征点计入初始为空的内点集I；
S4-4、当内点集I的元素个数N与第一类参考图像上内点组成的多边形面积大于初始为0的最优内点集描述值Best_N时，更新Best_N=N*R，并将初始为空的最优内点集更新为内点集I，否则舍弃当前内点集I；其中，R为第一类参考图像上内点组成的多边形面积；
S4-5、重复步骤S4-3至步骤S4-4直到40次，得到每个匹配点集对应的最优内点集；
S4-6、通过将单个匹配点集对应的最优内点集对齐，完成单个无人机拍摄的图片的拼接，即得到第二类参考图像和第二类待拼接图像；
S4-7、将第二类参考图像和第二类待拼接图像根据步骤S2至步骤S4-6相同的方法进行拼接，得到所有无人机拍摄的图片进行拼接后的图像，即拼接后的图像。
进一步地，步骤S2-1的具体实现方式如下：
S2-1-1、对第一类参考图像制作积分图，计算每个像素点的积分值，并将其放入积分图中；
S2-1-2、根据公式：
Figure 268491DEST_PATH_IMAGE032
得到使用Boxfilter计算3种不同大小的积分区域的积分值E；其中，A、B、C、D分别表示积分区域的四个顶点像素点的积分值；
S2-1-3、根据公式：
Figure 423528DEST_PATH_IMAGE033
Figure 99360DEST_PATH_IMAGE034
Figure 478389DEST_PATH_IMAGE035
Figure 872461DEST_PATH_IMAGE036
得到Boxfilter滤波后的像素在水平和垂直方向的二阶导
Figure 549299DEST_PATH_IMAGE037
；其中，
Figure 345217DEST_PATH_IMAGE038
为像素点
Figure 629568DEST_PATH_IMAGE039
的灰度值，即积分区域的积分值E；
Figure 510936DEST_PATH_IMAGE040
表示对
Figure 7776DEST_PATH_IMAGE041
求j的偏导；D m 表示对
Figure 641889DEST_PATH_IMAGE042
求m的偏导；
S2-1-4、根据公式：
Figure 565983DEST_PATH_IMAGE043
得到近似Hessian值
Figure 465806DEST_PATH_IMAGE001
；其中，
Figure 500758DEST_PATH_IMAGE044
为常数，
Figure 5688DEST_PATH_IMAGE045
0.9。
一种目标检测方法，基于多无人机实时图像拼接方法，将拼接后的图像放入YOLOv7框架中进行目标检测。
本发明的有益效果为：
1. 多无人机图像采集，目标检测，覆盖范围更大，在采集农田，草地，森林等图像信息时具有优势，在进行图像拼接后能及时发现不同目标之间的关联性
2. 使用改进的RANSAC，使得拼接速度更快，拼接效果更好，在农田、草地、森林这些特征点集中的区域，在进行特征匹配的时候能减少误匹配。
3.由于无人机在草地、森林区域可能会遭遇恶劣的气流影响导致采集的图像产生非刚性变换，使用光束平差法对误差进行修正。
4.更快的目标检测速度能捕获高速运动的目标物体，使之不会漏检。
附图说明
图1为基于无人机实时图像拼接方法流程图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种基于多无人机实时图像拼接方法，包括以下步骤：
S1、确定参考图像和待拼接图像；
S2、构建图像金字塔，对每个无人机拍摄的图像计算参考图像特征点和待拼接图像特征点；
S3、将待拼接图像投影到参考图像的平面，使用K邻近算法计算参考图像的特征点和待拼接图像的特征点的欧式距离，其计算所得的最小值作为匹配结果；
S4、根据匹配结果使用改进的RANSAC方法计算投影矩阵，将待拼接的图像和参考图像进行拼接，得到拼接后的图像，完成多无人机实时图像拼接。
步骤S1的具体实现方式如下：
对无人机进行编号，当无人机为奇数时选择编号为偶数的无人机作为参考无人机，当无人机为偶数时选择编号为奇数的无人机作为参考无人机，将每个无人机拍摄的第一帧图像作为第一类参考图像，其余帧为第一类待拼接图像；将参考无人机拍摄并进行拼接后的图片作为第二类参考图像，将非参考无人机拍摄并进行拼接后的图片作为第二类待拼接图像。
步骤S2的具体实现方式如下：
S2-1、使用3种不同尺寸的Boxfilter模板计算第一类参考图像每个像素的近似Hessian值
Figure 364599DEST_PATH_IMAGE001
，组成一个三维的近似Hessian值矩阵图；选择图像的中间图层的近似Hessian值矩阵作为第一类参考图像；
S2-2、将第一类参考图像的每个像素点和三维的近似Hessian值矩阵图相邻的26个点的值比较大小，当该像素点为最大值或最小值时，确定该像素点为特征点；
S2-3、计算Harr小波特征值确保特征点方向不变性，对特征点添加方向属性，并将添加了方向属性的特征点放入集合FP中，得到与第一类参考图像相对应的集合FP；
S2-4、使用步骤S2-1至步骤S2-3同样的方法得到与第一类待拼接图像相对应的集合PJ。
步骤S3的具体实现方式如下：
对于属于同一个无人机的所有图像，进行以下操作：
S3-1、将第一类待拼接图像投影到第一类参考图像平面；
S3-2、当采集的图像未出现刚性变换时，进入步骤S3-5；当采集的图像出现非刚性变换时，提取第一类参考图像和第一类待拼接图像的四个顶点坐标并进入步骤S3-3；
S3-3、根据公式：
Figure 751718DEST_PATH_IMAGE002
Figure 590361DEST_PATH_IMAGE003
Figure 215378DEST_PATH_IMAGE004
得到四个顶点的偏移角度
Figure 215695DEST_PATH_IMAGE005
，
Figure 542640DEST_PATH_IMAGE006
，
Figure 716132DEST_PATH_IMAGE007
，
Figure 195655DEST_PATH_IMAGE008
；其中，
Figure 632453DEST_PATH_IMAGE009
为图像出现非刚性变换时的横纵坐标偏移量；
Figure 931847DEST_PATH_IMAGE010
为第一类参考图像的顶点坐标，
Figure 361560DEST_PATH_IMAGE011
为第一类待拼接图像的顶点坐标；
Figure 492327DEST_PATH_IMAGE012
为四个顶点偏移角度的平均值；
S3-4、根据公式：
Figure 100026DEST_PATH_IMAGE013
得到四个顶点偏移角度的方差
Figure 886716DEST_PATH_IMAGE014
；其中，
Figure 870853DEST_PATH_IMAGE015
=4；
Figure 308656DEST_PATH_IMAGE017
表示第
Figure 883994DEST_PATH_IMAGE017
个顶点的偏移角度；
S3-5、当0 ≤ s ≤ 1.5时，使用光速平差法对第一类待拼接图像进行修正；当s＞ 1.5时，将第一类待拼接图像舍弃；
S3-6、根据公式：
Figure 423560DEST_PATH_IMAGE018
得到第一类参考图像的特征点和待拼接图像的特征点的欧式距离
Figure 680229DEST_PATH_IMAGE019
；其中，
Figure 988851DEST_PATH_IMAGE020
为第一类参考图像特征点，
Figure 735090DEST_PATH_IMAGE021
为第一类待拼接图像特征点；
S3-7、计算由第一类参考图像特征点构成的数据集的中点与由第一类待拼接图像特征点构成的数据集的中点之间的欧式距离，并将其与第一类参考图像的特征点和第一类待拼接图像的特征点的欧式距离
Figure 14149DEST_PATH_IMAGE019
相比较，把距离最小的匹配结果作为最终匹配结果；
S3-8、筛选出匹配结果对应的匹配点组成匹配点集，即得到与每个无人机对应的匹配点集。
步骤S4的具体实现方式如下：
对于每一个匹配点集，进行如下操作：
S4-1、从匹配点集中随机抽取不共线的9对样本数据，使用RANSAC方法计算变化矩阵；
S4-2、根据刚性变换函数：
Figure 74509DEST_PATH_IMAGE022
构造模型M等式：
Figure 972058DEST_PATH_IMAGE023
Figure 358039DEST_PATH_IMAGE024
Figure 403356DEST_PATH_IMAGE025
其中，
Figure 516674DEST_PATH_IMAGE026
、
Figure 534309DEST_PATH_IMAGE027
为第一类参考图像特征点，
Figure 825613DEST_PATH_IMAGE028
为第一类待拼接图像特征点，
Figure 561488DEST_PATH_IMAGE029
、
Figure 25967DEST_PATH_IMAGE030
分别表示对图像刚性变换时横纵坐标偏移量；
Figure 412955DEST_PATH_IMAGE031
表示匹配点的偏移角度；a、b、c、d、e、f、 g、h、i表示根据从匹配点集中随机抽取的9对数据带入模型M等式中求得的参数；
S4-3、将匹配点集中的匹配点随机带入模型M等式中进行迭代，并设置迭代次数上限为40次，计算匹配点集中的匹配点与模型M的投影误差，将误差小于阈值的特征点计入初始为空的内点集I；
S4-4、当内点集I的元素个数N与第一类参考图像上内点组成的多边形面积大于初始为0的最优内点集描述值Best_N时，更新Best_N=N*R，并将初始为空的最优内点集更新为内点集I，否则舍弃当前内点集I；其中，R为第一类参考图像上内点组成的多边形面积；
S4-5、重复步骤S4-3至步骤S4-4直到40次，得到每个匹配点集对应的最优内点集；
S4-6、通过将单个匹配点集对应的最优内点集对齐，完成单个无人机拍摄的图片的拼接，即得到第二类参考图像和第二类待拼接图像；
S4-7、将第二类参考图像和第二类待拼接图像根据步骤S2至步骤S4-6相同的方法进行拼接，得到所有无人机拍摄的图片进行拼接后的图像，即拼接后的图像。
步骤S2-1的具体实现方式如下：
S2-1-1、对第一类参考图像制作积分图，计算每个像素点的积分值，并将其放入积分图中；
S2-1-2、根据公式：
Figure 609581DEST_PATH_IMAGE032
得到使用Boxfilter计算3种不同大小的积分区域的积分值E；其中，A、B、C、D分别表示积分区域的四个顶点像素点的积分值；
S2-1-3、根据公式：
Figure 832752DEST_PATH_IMAGE033
Figure 38605DEST_PATH_IMAGE034
Figure 827570DEST_PATH_IMAGE035
Figure 975523DEST_PATH_IMAGE036
得到Boxfilter滤波后的像素在水平和垂直方向的二阶导
Figure 420411DEST_PATH_IMAGE037
；其中，
Figure 164376DEST_PATH_IMAGE038
为像素点
Figure 276689DEST_PATH_IMAGE039
的灰度值，即积分区域的积分值E；
Figure 877434DEST_PATH_IMAGE040
表示对
Figure 327395DEST_PATH_IMAGE041
求j的偏导；D m 表示对
Figure 609472DEST_PATH_IMAGE042
求m的偏导；
S2-1-4、根据公式：
Figure 576291DEST_PATH_IMAGE043
得到近似Hessian值
Figure 613517DEST_PATH_IMAGE001
；其中，
Figure 32997DEST_PATH_IMAGE044
为常数，
Figure 368032DEST_PATH_IMAGE045
0.9。
在本发明的一个实施例中，改进的RANSAC方法计算投影矩阵，避免了匹配点集随机迭代的区域过于集中的问题；将参考无人机所拍摄并拼接的图像作为第二类参考图像，以防误差累积。
对YOLOv7神经网络训练过程为：使用imglabel对待训练的图像进行标注，得到标注好的图像；在YOLOv7神经网络中使用模型重参数化对网络模型中的卷积块进行优化；将标注好的图像放入YOLOv7神经网络中进行训练，在神经网络中使用模型重参数化对网络模型中的卷积块进行优化，提高网络训练速度；模型重参数化也能提高推理速度，确保目标检测的实时性。得到权重W。
本发明拼接速度更快、拼接效果更好，能够在特征匹配时减少误匹配；能够在图像产生非刚性变换时修正误差；能够提高检测速度，能够在图像拼接后及时发现不同目标之间的关联性。

Claims (7)

1.一种基于多无人机实时图像拼接方法，其特征在于，包括以下步骤：
S1、确定参考图像和待拼接图像；
S2、构建图像金字塔，对每个无人机拍摄的图像计算参考图像特征点和待拼接图像特征点；
S3、将待拼接图像投影到参考图像的平面，使用K邻近算法计算参考图像的特征点和待拼接图像的特征点的欧式距离，其计算所得的最小值作为匹配结果；
S4、根据匹配结果使用改进的RANSAC方法计算投影矩阵，将待拼接的图像和参考图像进行拼接，得到拼接后的图像，完成多无人机实时图像拼接。
2.根据权利要求1所述的一种基于多无人机实时图像拼接方法，其特征在于，步骤S1的具体方式如下：
对无人机进行编号，当无人机为奇数时选择编号为偶数的无人机作为参考无人机，当无人机为偶数时选择编号为奇数的无人机作为参考无人机，将每个无人机拍摄的第一帧图像作为第一类参考图像，其余帧为第一类待拼接图像；将参考无人机拍摄并进行拼接后的图片作为第二类参考图像，将非参考无人机拍摄并进行拼接后的图片作为第二类待拼接图像。
3.根据权利要求2所述的一种基于多无人机实时图像拼接方法，其特征在于，步骤S2的具体方式如下：
S2-1、使用3种不同尺寸的Boxfilter模板计算第一类参考图像每个像素的近似Hessian值
Figure 470620DEST_PATH_IMAGE001
，组成一个三维的近似Hessian值矩阵图；选择图像的中间图层的近似Hessian值矩阵作为第一类参考图像；
S2-2、将第一类参考图像的每个像素点和三维的近似Hessian值矩阵图相邻的26个点的值比较大小，当该像素点为最大值或最小值时，确定该像素点为特征点；
S2-3、计算Harr小波特征值确保特征点方向不变性，对特征点添加方向属性，并将添加了方向属性的特征点放入集合FP中，得到与第一类参考图像相对应的集合FP；
S2-4、使用步骤S2-1至步骤S2-3同样的方法得到与第一类待拼接图像相对应的集合PJ。
4.根据权利要求3所述的一种基于多无人机实时图像拼接方法，其特征在于，步骤S3的具体实现方式如下：
对于属于同一个无人机的所有图像，进行以下操作：
S3-1、将第一类待拼接图像投影到第一类参考图像平面；
S3-2、当采集的图像未出现刚性变换时，进入步骤S3-5；当采集的图像出现非刚性变换时，提取第一类参考图像和第一类待拼接图像的四个顶点坐标并进入步骤S3-3；
S3-3、根据公式：
Figure 462847DEST_PATH_IMAGE002
Figure 345221DEST_PATH_IMAGE003
Figure 852426DEST_PATH_IMAGE004
得到四个顶点的偏移角度
Figure 861970DEST_PATH_IMAGE005
，
Figure 443124DEST_PATH_IMAGE006
，
Figure 512711DEST_PATH_IMAGE007
，
Figure 697092DEST_PATH_IMAGE008
；其中，
Figure 307065DEST_PATH_IMAGE009
为图像出现非刚性变换时的横纵坐标偏移量；
Figure 273884DEST_PATH_IMAGE010
为第一类参考图像的顶点坐标，
Figure 983214DEST_PATH_IMAGE011
为第一类待拼接图像的顶点坐标；
Figure 668274DEST_PATH_IMAGE012
为四个顶点偏移角度的平均值；
S3-4、根据公式：
Figure 816358DEST_PATH_IMAGE013
得到四个顶点偏移角度的方差
Figure 886951DEST_PATH_IMAGE014
；其中，
Figure 767182DEST_PATH_IMAGE015
=4；
Figure 673959DEST_PATH_IMAGE016
表示第
Figure 625734DEST_PATH_IMAGE016
个顶点的偏移角度；
S3-5、当0 ≤ s ≤ 1.5时，使用光速平差法对第一类待拼接图像进行修正；当s ＞1.5时，将第一类待拼接图像舍弃；
S3-6、根据公式：
Figure 301566DEST_PATH_IMAGE017
得到第一类参考图像的特征点和待拼接图像的特征点的欧式距离
Figure 133125DEST_PATH_IMAGE018
；其中，
Figure 527197DEST_PATH_IMAGE019
为第一类参考图像特征点，
Figure 954767DEST_PATH_IMAGE020
为第一类待拼接图像特征点；
S3-7、计算由第一类参考图像特征点构成的数据集的中点与由第一类待拼接图像特征点构成的数据集的中点之间的欧式距离，并将其与第一类参考图像的特征点和第一类待拼接图像的特征点的欧式距离
Figure 750685DEST_PATH_IMAGE018
相比较，把距离最小的匹配结果作为最终匹配结果；
S3-8、筛选出匹配结果对应的匹配点组成匹配点集，即得到与每个无人机对应的匹配点集。
5.根据权利要求4所述的一种基于多无人机实时图像拼接方法，其特征在于，步骤S4的具体实现方式如下：
对于每一个匹配点集，进行如下操作：
S4-1、从匹配点集中随机抽取不共线的9对样本数据；
S4-2、根据刚性变换函数：
Figure 753145DEST_PATH_IMAGE021
构造模型M等式：
Figure 165672DEST_PATH_IMAGE022
Figure 662512DEST_PATH_IMAGE023
Figure 47357DEST_PATH_IMAGE024
其中，
Figure 971451DEST_PATH_IMAGE025
、
Figure 136853DEST_PATH_IMAGE026
为第一类参考图像特征点，
Figure 424002DEST_PATH_IMAGE027
为第一类待拼接图像特征点，
Figure 928933DEST_PATH_IMAGE028
、
Figure 758349DEST_PATH_IMAGE029
分别表示对图像刚性变换时横纵坐标偏移量；
Figure 348730DEST_PATH_IMAGE030
表示匹配点的偏移角度；a、b、c、d、e、f、g、 h、i表示根据从匹配点集中随机抽取的9对数据带入模型M等式中求得的参数；
S4-3、将匹配点集中的匹配点随机带入模型M等式中进行迭代，并设置迭代次数上限为40次，计算匹配点集中的匹配点与模型M的投影误差，将误差小于阈值的特征点计入初始为空的内点集I；
S4-4、当内点集I的元素个数N与第一类参考图像上内点组成的多边形面积大于初始为0的最优内点集描述值Best_N时，更新Best_N=N*R，并将初始为空的最优内点集更新为内点集I，否则舍弃当前内点集I；其中，R为第一类参考图像上内点组成的多边形面积；
S4-5、重复步骤S4-3至步骤S4-4直到40次，得到每个匹配点集对应的最优内点集；
S4-6、通过将单个匹配点集对应的最优内点集对齐，完成单个无人机拍摄的图片的拼接，即得到第二类参考图像和第二类待拼接图像；
S4-7、将第二类参考图像和第二类待拼接图像根据步骤S2至步骤S4-6相同的方法进行拼接，得到所有无人机拍摄的图片进行拼接后的图像，即拼接后的图像。
6.根据权利要求3所述的一种基于多无人机实时图像拼接方法，其特征在于，步骤S2-1的具体实现方式如下：
S2-1-1、对第一类参考图像制作积分图，计算每个像素点的积分值，并将其放入积分图中；
S2-1-2、根据公式：
Figure 984111DEST_PATH_IMAGE031
得到使用Boxfilter计算3种不同大小的积分区域的积分值E；其中，A、B、C、D分别表示积分区域的四个顶点像素点的积分值；
S2-1-3、根据公式：
Figure 858395DEST_PATH_IMAGE032
Figure 858712DEST_PATH_IMAGE033
Figure 936389DEST_PATH_IMAGE034
Figure 109881DEST_PATH_IMAGE035
得到Boxfilter滤波后的像素在水平和垂直方向的二阶导
Figure 589404DEST_PATH_IMAGE036
；其中，
Figure 9890DEST_PATH_IMAGE037
为像素点
Figure 574864DEST_PATH_IMAGE038
的灰度值，即积分区域的积分值E；
Figure 552047DEST_PATH_IMAGE039
表示对
Figure 151656DEST_PATH_IMAGE040
求j的偏导；D m 表示对
Figure 759354DEST_PATH_IMAGE041
求m的偏导；
S2-1-4、根据公式：
Figure 529733DEST_PATH_IMAGE042
得到近似Hessian值
Figure 513870DEST_PATH_IMAGE001
；其中，
Figure 764723DEST_PATH_IMAGE043
为常数，
Figure 543323DEST_PATH_IMAGE044
0.9。
7.一种目标检测方法，包括权利要求1~6任一所述的基于多无人机实时图像拼接方法，其特征在于，将拼接后的图像放入YOLOv7框架中进行目标检测。
CN202211276583.1A 2022-10-19 2022-10-19 一种基于多无人机实时图像拼接方法及目标检测方法 Active CN115358930B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211276583.1A CN115358930B (zh) 2022-10-19 2022-10-19 一种基于多无人机实时图像拼接方法及目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211276583.1A CN115358930B (zh) 2022-10-19 2022-10-19 一种基于多无人机实时图像拼接方法及目标检测方法

Publications (2)

Publication Number Publication Date
CN115358930A true CN115358930A (zh) 2022-11-18
CN115358930B CN115358930B (zh) 2023-02-03

Family

ID=84008710

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211276583.1A Active CN115358930B (zh) 2022-10-19 2022-10-19 一种基于多无人机实时图像拼接方法及目标检测方法

Country Status (1)

Country Link
CN (1) CN115358930B (zh)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150213619A1 (en) * 2012-08-17 2015-07-30 Sony Corporation Image processing apparatus, image processing method, program, and image processing system
CN206931119U (zh) * 2016-10-21 2018-01-26 微景天下（北京）科技有限公司 图像拼接系统
CN108416732A (zh) * 2018-02-02 2018-08-17 重庆邮电大学 一种基于图像配准与多分辨率融合的全景图像拼接方法
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和系统
CN109829853A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种无人机航拍图像拼接方法
CN111080529A (zh) * 2019-12-23 2020-04-28 大连理工大学 一种加强鲁棒性的无人机航拍图像拼接方法
CN111260555A (zh) * 2020-01-15 2020-06-09 东华大学 一种基于surf的改进图像拼接方法
CN111951162A (zh) * 2020-08-05 2020-11-17 南京师范大学 一种基于改进的surf算法的图像拼接方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150213619A1 (en) * 2012-08-17 2015-07-30 Sony Corporation Image processing apparatus, image processing method, program, and image processing system
CN206931119U (zh) * 2016-10-21 2018-01-26 微景天下（北京）科技有限公司 图像拼接系统
CN108416732A (zh) * 2018-02-02 2018-08-17 重庆邮电大学 一种基于图像配准与多分辨率融合的全景图像拼接方法
CN108765298A (zh) * 2018-06-15 2018-11-06 中国科学院遥感与数字地球研究所 基于三维重建的无人机图像拼接方法和系统
CN109829853A (zh) * 2019-01-18 2019-05-31 电子科技大学 一种无人机航拍图像拼接方法
CN111080529A (zh) * 2019-12-23 2020-04-28 大连理工大学 一种加强鲁棒性的无人机航拍图像拼接方法
CN111260555A (zh) * 2020-01-15 2020-06-09 东华大学 一种基于surf的改进图像拼接方法
CN111951162A (zh) * 2020-08-05 2020-11-17 南京师范大学 一种基于改进的surf算法的图像拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王亚洲: ""基于无人机航拍图像的拼接算法研究"", 《中国优秀硕士学位论文全文数据库 基础科学辑》 *

Also Published As

Publication number Publication date
CN115358930B (zh) 2023-02-03

Similar Documents

Publication Publication Date Title
CN105245841B (zh) 一种基于cuda的全景视频监控系统
CN110211043B (zh) 一种用于全景图像拼接的基于网格优化的配准方法
CN111583110A (zh) 一种航拍图像的拼接方法
CN105957007A (zh) 基于特征点平面相似度的图像拼接方法
CN105205781A (zh) 输电线路航拍图像拼接方法
CN111369495B (zh) 一种基于视频的全景图像的变化检测方法
CN115205489A (zh) 一种大场景下的三维重建方法、系统及装置
CN110020995B (zh) 针对复杂图像的图像拼接方法
CN111899164B (zh) 一种针对多焦段场景的图像拼接方法
CN109118544B (zh) 基于透视变换的合成孔径成像方法
CN106920210B (zh) 一种基于球面展开模型的鱼眼视频实时全景校正方法
CN108447022A (zh) 基于单个固定摄像头图像序列的运动目标拼接方法
CN111144213A (zh) 一种对象检测方法和相关设备
CN105335977B (zh) 摄像系统及目标对象的定位方法
CN109859137B (zh) 一种广角相机非规则畸变全域校正方法
CN111553845B (zh) 一种基于优化的三维重建的快速图像拼接方法
CN112802186B (zh) 基于二值化特征编码匹配的动态场景实时三维重建方法
CN114463521B (zh) 一种面向空地影像数据融合的建筑目标点云快速生成方法
CN111798373A (zh) 一种基于局部平面假设及六自由度位姿优化的快速无人机图像拼接方法
CN114782628A (zh) 基于深度相机的室内实时三维重建方法
CN109658366A (zh) 基于改进ransac和动态融合的实时视频拼接方法
CN115456870A (zh) 基于外参估计的多图像拼接方法
CN116977328B (zh) 车底机器人主动视觉中的图像质量评估方法
CN115358930B (zh) 一种基于多无人机实时图像拼接方法及目标检测方法
CN115393196B (zh) 一种无人机面阵摆扫的红外多序列影像无缝拼接方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant