CN112163995A - 一种超大航拍条带图像的拼接生成方法及装置 - Google Patents

一种超大航拍条带图像的拼接生成方法及装置 Download PDF

Info

Publication number
CN112163995A
CN112163995A CN202010932226.0A CN202010932226A CN112163995A CN 112163995 A CN112163995 A CN 112163995A CN 202010932226 A CN202010932226 A CN 202010932226A CN 112163995 A CN112163995 A CN 112163995A
Authority
CN
China
Prior art keywords
image
registered
aerial
reference image
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010932226.0A
Other languages
English (en)
Other versions
CN112163995B (zh
Inventor
潘亮
李铭慧
胡天江
张新
王法魁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Yat Sen University
Original Assignee
Sun Yat Sen University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Yat Sen University filed Critical Sun Yat Sen University
Priority to CN202010932226.0A priority Critical patent/CN112163995B/zh
Priority claimed from CN202010932226.0A external-priority patent/CN112163995B/zh
Publication of CN112163995A publication Critical patent/CN112163995A/zh
Application granted granted Critical
Publication of CN112163995B publication Critical patent/CN112163995B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/80—Geometric correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明公开了一种超大航拍条带图像的拼接生成方法及装置。所述方法包括：接收无人机航拍图像和所述无人机航拍图像对应的传感器数据，并根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像；以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域；对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标；根据所述传感器数据将所述像素坐标转换为经纬度坐标，并根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像。本发明能够快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。

Description

一种超大航拍条带图像的拼接生成方法及装置
技术领域
本发明涉及图像处理技术领域，尤其涉及一种超大航拍条带图像的拼接生成方法及装置。
背景技术
近年来，无人机被广泛应用于各种航拍、遥感场景，宽视场、高分辨率航空图像，在情报分析、战前侦察、作战评估等军用领域有着重要意义，但受机载相机传感器尺寸的限制，存在着视场与分辨率间的矛盾，单张无人机航拍图像的覆盖范围较小，不能满足实际应用需求。
为了扩大视场范围获取全局信息，通常将无人机航拍图像拼接成过渡自然的完整大图。现有的无人机航拍图像拼接技术主要是针对没有相机传感器的摆角信息、无人机的飞行高度和速度等先验信息的无人机航拍图像进行特征点提取配准从而拼接，直接整图拼接的运算数据量大且未能充分利用无人机传感器信息，拼接效率和精度较低。因此，如何快速拼接无人机航拍图像生成超大分辨率的航拍条带图像，成为当前的研究热点。
发明内容
为了克服现有技术的缺陷，本发明提供一种超大航拍条带图像的拼接生成方法及装置，能够快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。
为了解决上述技术问题，第一方面，本发明一实施例提供一种超大航拍条带图像的拼接生成方法，包括：
接收无人机航拍图像和所述无人机航拍图像对应的传感器数据，并根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像；
以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域；
对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标；
根据所述传感器数据将所述像素坐标转换为经纬度坐标，并根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像。
进一步地，在所述根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像之后，还包括：
将所述航拍条带图像保存为vrt格式图。
进一步地，所述根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像，具体为：
根据所述传感器数据将所述无人机航拍图像校正为正下视视图，得到所述待拼接图像。
进一步地，所述以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域，具体为：
分别对所述参考图像和所述待配准图像进行图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像；
根据所述传感器数据确定所述低分辨率参考图像和所述低分辨率待配准图像的重叠区域，并将所述重叠区域作为匹配模板；
基于所述匹配模板对所述低分辨率参考图像和所述低分辨率待配准图像进行粗匹配，得到两块所述感兴趣区域。
进一步地，所述对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标，具体为：
采用SURF特征检测算法对两块所述感兴趣区域进行特征提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵；
根据所述仿射变换矩阵计算所述参考图像和所述待配准图像相对的像素坐标。
第二方面，本发明一实施例提供一种超大航拍条带图像的拼接生成装置，包括：
图像预处理模块，用于接收无人机航拍图像和所述无人机航拍图像对应的传感器数据，并根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像；
区域提取模块，用于以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域；
坐标计算模块，用于对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标；
图像拼接模块，用于根据所述传感器数据将所述像素坐标转换为经纬度坐标，并根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像。
进一步地，所述图像拼接模块，还用于在所述根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像之后，将所述航拍条带图像保存为vrt格式图。
进一步地，所述根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像，具体为：
根据所述传感器数据将所述无人机航拍图像校正为正下视视图，得到所述待拼接图像。
进一步地，所述以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域，具体为：
分别对所述参考图像和所述待配准图像进行图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像；
根据所述传感器数据确定所述低分辨率参考图像和所述低分辨率待配准图像的重叠区域，并将所述重叠区域作为匹配模板；
基于所述匹配模板对所述低分辨率参考图像和所述低分辨率待配准图像进行粗匹配，得到两块所述感兴趣区域。
进一步地，所述对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标，具体为：
采用SURF特征检测算法对两块所述感兴趣区域进行特征提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵；
根据所述仿射变换矩阵计算所述参考图像和所述待配准图像相对的像素坐标。
本发明的实施例，具有如下有益效果：
通过根据无人机航拍图像对应的传感器数据对无人机航拍图像进行预处理得到待拼接图像，进而以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域，并对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，从而根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像。相比于现有技术，本发明的实施例通过根据传感器数据对无人机航拍图像进行预处理，能够充分利用无人机传感器信息处理无人机航拍图像；通过仅针对参考图像和待配准图像中的两块感兴趣区域进行特征点提取和匹配，能够在保证拼接质量的前提下有效提高拼接效率；通过将像素坐标转换为经纬度坐标，能够突破拼接范围的限制，从而实现快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。
进一步地，本发明的实施例通过将航拍条带图像保存为vrt格式图，能够在存储航拍条带图像时降低存储空间，在显示航拍条带图像时进行金字塔多尺度查看。
附图说明
图1为本发明第一实施例中的一种超大航拍条带图像的拼接生成方法的流程示意图；
图2为本发明第二实施例中的一种超大航拍条带图像的拼接生成装置的结构示意图。
具体实施方式
下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。
第一实施例：
如图1所示，第一实施例提供一种超大航拍条带图像的拼接生成方法，包括步骤S1～S4：
S1、接收无人机航拍图像和无人机航拍图像对应的传感器数据，并根据传感器数据对无人机航拍图像进行预处理，得到待拼接图像；
S2、以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域；
S3、对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标；
S4、根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像。
作为示例性地，在步骤S1中，通过接收无人机下传的无人机航拍图像及其对应的传感器数据，并根据传感器数据对无人机航拍图像进行预处理得到待拼接图像，能够充分利用无人机传感器信息处理无人机航拍图像。
其中，传感器数据包括无人机的GPS位置、姿态、高度、速度、航向，相机传感器的摆角，以及无人机航拍图像的空间分辨率等。预处理包括图像增强、图像去模糊、几何校正等。
在优选的实施例当中，根据传感器数据对无人机航拍图像进行预处理，得到待拼接图像，具体为：根据传感器数据将无人机航拍图像校正为正下视视图，得到待拼接图像。
本实施例通过根据无人机的GPS位置、高度、相机传感器的摆角等传感器数据对无人机航拍图像进行几何校正，将无人机航拍图像校正为正下视视图，方便后续拼接同一视角的无人机航拍图像，有利于保证拼接质量。
作为示例性地，在步骤S2中，通过采用不同待拼接图像作为参考图像和待配准图像，并提取参考图像和待配准图像中最相似的两块感兴趣区域，使得后续仅针对参考图像和待配准图像中的两块感兴趣区域进行特征点提取和匹配，能够在保证拼接质量的前提下有效提高拼接效率。
在优选的实施例当中，以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域，具体为：分别对参考图像和待配准图像进行图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像；根据传感器数据确定低分辨率参考图像和低分辨率待配准图像的重叠区域，并将重叠区域作为匹配模板；基于匹配模板对低分辨率参考图像和低分辨率待配准图像进行粗匹配，得到两块感兴趣区域。
图像金字塔下采样具体指高斯金字塔下采样，即对图像重复进行高斯滤波和下采样。高斯滤波是指一种线性平滑滤波，适用于消除高斯噪声，具体应用过程中，每个像素点都是由其本身和领域经过加权平均后得到的。
例如，分别对参考图像和待配准图像进行16倍图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像，根据无人机的航向、相机传感器的摆动规则等传感器数据确定低分辨率参考图像和低分辨率待配准图像的重叠区域，将重叠区域作为匹配模板，基于匹配模板对低分辨率参考图像和低分辨率待配准图像进行粗匹配，得到两块感兴趣区域。
可以理解的是，经过几何校正的图像已经初步具备模板匹配的条件，根据确定的图像重叠区域，从待拼接图像上选取一个小型感兴趣(ROI)区域A作为模板，对下采样后的图像进行快速粗匹配，得到与之匹配的感兴趣(ROI)区域B。
本实施例通过降低参考图像和待配准图像的分辨率，在低分辨率参考图像和低分辨率待配准图像上根据缩小后的匹配范围选定匹配模板并进行粗匹配，有利于降低匹配难度，减少匹配耗时。
作为示例性地，在步骤S3中，通过仅针对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，能够在保证拼接质量的前提下有效提高拼接效率。
在优选的实施例当中，对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，具体为：采用SURF特征检测算法对两块感兴趣区域进行特征提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵；根据仿射变换矩阵计算参考图像和待配准图像相对的像素坐标。
本实施例采用鲁棒性良好的SURF特征检测算法对两块感兴趣区域进行特征提取和匹配，有利于准确提取和匹配特征。
获得图像之间的仿射变换矩阵以及相对的像素坐标的具体过程如下所示：
1、计算前后帧匹配图像的SURF特征，利用式(1)和式(2)得到每个待匹配特征点F0的最近邻点与次近邻点F1和F2，F1、F2与待配点F0对应的欧氏距离为Dnear和Dsub_near。
Figure BDA0002669887020000071
Figure BDA0002669887020000072
式(1)中，(x1,y1)和(x1’,y1’)为一对待匹配的特征向量。
2、以待匹配的SURF特征点F0为圆心，特征点主方向对应的尺度(记为smain)为半径，建立平行于特征点主方向为Y轴，垂直于特征点主方向为X轴的正交系，分别统计圆内四个象限中灰度级大于特征点灰度的像素个数{N1，N2，N3，N4}，若统计得到的像素数为0，视该待配点为噪声点将其剔除，然后对统计结果做归一化处理。
3、依据最近邻欧氏距离比率法进行粗匹配，在式(2)中将起始阈值设为η1，初步选出区分度较强的特征点。
4、在确定上一帧图像中满足第3步中粗匹配条件的特征点后，计算当前匹配帧中与之对应最近邻点邻域灰度分布的Pearson相关系数；
其中，Pearson相关系数的表达式为：
Figure BDA0002669887020000081
P0为点F0四个方向邻域的灰度分布，P1为点F1四个方向邻域的灰度分布。
同样地，依照上述方法即可计算出次近邻点灰度分布相关系数ρsub_near。
5、候选特征点再匹配，即对符合粗匹配要求的特征点求取近邻灰度分布相关系数比，若此比值大于阈值，则确定此时得到的最近邻点为正确匹配点，否则，剔除此对匹配。
6、对特征点匹配对进行仿射变换，仿射变换公式如式(3)所示：
Figure BDA0002669887020000082
式(3)中，(tx,ty)表示平移量，而参数ai则反映了图像旋转，缩放等变化；
将tx，ty，ai(i＝1～4)计算出，即可得到两幅图像的坐标变换关系。
作为示例性地，在步骤S4中，通过根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，能够突破拼接范围的限制，从而实现快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。
获得航拍条带图像的具体过程如下：
1、根据空间分辨率等传感器数据将像素坐标转换为经纬度坐标。
像素坐标转换到经纬度坐标的转换公式如式(4)、(5)所示：
Xgeo＝dGeoTrans[0]+Xpixel*dGeoTrans[1]+Yline*dGeoTrans[2] (4)
Ygeo＝dGeoTrans[3]+Xpixel*dGeoTrans[4]+Yline*dGeoTrans[5] (5)
式(4)、(5)中，(dGeoTrans[0]，dGeoTrans[3])表示图像左上角点经纬度坐标，dGeoTrans[1]表示影像在宽度上的分辨率，dGeoTrans[5]表示影像在高度上的分辨率，如果影像是指北的，dGeoTrans[2]和dGeoTrans[4]均为0。
2、将经纬度坐标通过gdal指令：gdal_translate-of Gtiff-a_ullr％f％f％f％foldimages newiimages对应赋给相应图像，随后通过gdalbuildvrt指令对图像进行拼接，得到航拍条带图像。
在优选的实施例当中，在根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像之后，还包括：将航拍条带图像保存为vrt格式图。
本实施例通过将航拍条带图像保存为内存占用很小的vrt格式图，能够在存储航拍条带图像时降低存储空间，同时可使用osg viewer直接进行金字塔多尺度查看，能够在显示航拍条带图像时进行金字塔多尺度查看。
第二实施例：
如图2所示，第二实施例提供一种超大航拍条带图像的拼接生成装置，包括：图像预处理模块21，用于接收无人机航拍图像和无人机航拍图像对应的传感器数据，并根据传感器数据对无人机航拍图像进行预处理，得到待拼接图像；区域提取模块22，用于以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域；坐标计算模块23，用于对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标；图像拼接模块24，用于根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像。
作为示例性地，通过图像预处理模块21，接收无人机下传的无人机航拍图像及其对应的传感器数据，并根据传感器数据对无人机航拍图像进行预处理得到待拼接图像，能够充分利用无人机传感器信息处理无人机航拍图像。
其中，传感器数据包括无人机的GPS位置、姿态、高度、速度、航向，相机传感器的摆角，以及无人机航拍图像的空间分辨率等。预处理包括图像增强、图像去模糊、几何校正等。
在优选的实施例当中，根据传感器数据对无人机航拍图像进行预处理，得到待拼接图像，具体为：根据传感器数据将无人机航拍图像校正为正下视视图，得到待拼接图像。
本实施例通过图像预处理模块21，根据无人机的GPS位置、高度、相机传感器的摆角等传感器数据对无人机航拍图像进行几何校正，将无人机航拍图像校正为正下视视图，方便后续拼接同一视角的无人机航拍图像，有利于保证拼接质量。
作为示例性地，通过区域提取模块22，采用不同待拼接图像作为参考图像和待配准图像，并提取参考图像和待配准图像中最相似的两块感兴趣区域，使得后续仅针对参考图像和待配准图像中的两块感兴趣区域进行特征点提取和匹配，能够在保证拼接质量的前提下有效提高拼接效率。
在优选的实施例当中，以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域，具体为：分别对参考图像和待配准图像进行图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像；根据传感器数据确定低分辨率参考图像和低分辨率待配准图像的重叠区域，并将重叠区域作为匹配模板；基于匹配模板对低分辨率参考图像和低分辨率待配准图像进行粗匹配，得到两块感兴趣区域。
图像金字塔下采样具体指高斯金字塔下采样，即对图像重复进行高斯滤波和下采样。高斯滤波是指一种线性平滑滤波，适用于消除高斯噪声，具体应用过程中，每个像素点都是由其本身和领域经过加权平均后得到的。
例如，分别对参考图像和待配准图像进行16倍图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像，根据无人机的航向、相机传感器的摆动规则等传感器数据确定低分辨率参考图像和低分辨率待配准图像的重叠区域，将重叠区域作为匹配模板，基于匹配模板对低分辨率参考图像和低分辨率待配准图像进行粗匹配，得到两块感兴趣区域。
可以理解的是，经过几何校正的图像已经初步具备模板匹配的条件，根据确定的图像重叠区域，从待拼接图像上选取一个小型感兴趣(ROI)区域A作为模板，对下采样后的图像进行快速粗匹配，得到与之匹配的感兴趣(ROI)区域B。
本实施例通过区域提取模块22，降低参考图像和待配准图像的分辨率，在低分辨率参考图像和低分辨率待配准图像上根据缩小后的匹配范围选定匹配模板并进行粗匹配，有利于降低匹配难度，减少匹配耗时。
作为示例性地，通过坐标计算模块23，仅针对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，能够在保证拼接质量的前提下有效提高拼接效率。
在优选的实施例当中，对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，具体为：采用SURF特征检测算法对两块感兴趣区域进行特征提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵；根据仿射变换矩阵计算参考图像和待配准图像相对的像素坐标。
本实施例通过坐标计算模块23，采用鲁棒性良好的SURF特征检测算法对两块感兴趣区域进行特征提取和匹配，有利于准确提取和匹配特征。
获得图像之间的仿射变换矩阵以及相对的像素坐标的具体过程如下所示：
1、计算前后帧匹配图像的SURF特征，利用式(6)和式(7)得到每个待匹配特征点F0的最近邻点与次近邻点F1和F2，F1、F2与待配点F0对应的欧氏距离为Dnear和Dsub_near。
Figure BDA0002669887020000111
Figure BDA0002669887020000112
式(6)中，(x1,y1)和(x1’,y1’)为一对待匹配的特征向量。
2、以待匹配的SURF特征点F0为圆心，特征点主方向对应的尺度(记为smain)为半径，建立平行于特征点主方向为Y轴，垂直于特征点主方向为X轴的正交系，分别统计圆内四个象限中灰度级大于特征点灰度的像素个数{N1，N2，N3，N4}，若统计得到的像素数为0，视该待配点为噪声点将其剔除，然后对统计结果做归一化处理。
3、依据最近邻欧氏距离比率法进行粗匹配，在式(7)中将起始阈值设为η1，初步选出区分度较强的特征点。
4、在确定上一帧图像中满足第3步中粗匹配条件的特征点后，计算当前匹配帧中与之对应最近邻点邻域灰度分布的Pearson相关系数；
其中，Pearson相关系数的表达式为：
Figure BDA0002669887020000121
P0为点F0四个方向邻域的灰度分布，P1为点F1四个方向邻域的灰度分布。
同样地，依照上述方法即可计算出次近邻点灰度分布相关系数ρsub_near。
5、候选特征点再匹配，即对符合粗匹配要求的特征点求取近邻灰度分布相关系数比，若此比值大于阈值，则确定此时得到的最近邻点为正确匹配点，否则，剔除此对匹配。
6、对特征点匹配对进行仿射变换，仿射变换公式如式(8)所示：
Figure BDA0002669887020000122
式(8)中，(tx,ty)表示平移量，而参数ai则反映了图像旋转，缩放等变化；
将tx，ty，ai(i＝1～4)计算出，即可得到两幅图像的坐标变换关系。
作为示例性地，通过图像拼接模块24，根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，能够突破拼接范围的限制，从而实现快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。
获得航拍条带图像的具体过程如下：
1、根据空间分辨率等传感器数据将像素坐标转换为经纬度坐标。
像素坐标转换到经纬度坐标的转换公式如式(9)、(10)所示：
Xgeo＝dGeoTrans[0]+Xpixel*dGeoTrans[1]+Yline*dGeoTrans[2]： (9)
Ygeo＝dGeoTrans[3]+Xpixel*dGeoTrans[4]+Yline*dGeoTrans[5] (10)
式(9)、(10)中，(dGeoTrans[0]，dGeoTrans[3])表示图像左上角点经纬度坐标，dGeoTrans[1]表示影像在宽度上的分辨率，dGeoTrans[5]表示影像在高度上的分辨率，如果影像是指北的，dGeoTrans[2]和dGeoTrans[4]均为0。
2、将经纬度坐标通过gdal指令：gdal_translate-of Gtiff-a_ullr％f％f％f％foldimages newiimages对应赋给相应图像，随后通过gdalbuildvrt指令对图像进行拼接，得到航拍条带图像。
在优选的实施例当中，图像拼接模块24，还用于在根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像之后，将航拍条带图像保存为vrt格式图。
本实施例通过图像拼接模块24，将航拍条带图像保存为内存占用很小的vrt格式图，能够在存储航拍条带图像时降低存储空间，同时可使用osg viewer直接进行金字塔多尺度查看，能够在显示航拍条带图像时进行金字塔多尺度查看。综上所述，实施本发明的实施例，具有如下有益效果：
通过根据无人机航拍图像对应的传感器数据对无人机航拍图像进行预处理得到待拼接图像，进而以不同待拼接图像作为参考图像和待配准图像，提取参考图像和待配准图像中最相似的两块感兴趣区域，并对两块感兴趣区域进行特征点提取和匹配，得到参考图像和待配准图像之间的仿射变换矩阵以及相对的像素坐标，从而根据传感器数据将像素坐标转换为经纬度坐标，并根据经纬度坐标拼接参考图像和待配准图像，得到航拍条带图像。本发明的实施例通过根据传感器数据对无人机航拍图像进行预处理，能够充分利用无人机传感器信息处理无人机航拍图像；通过仅针对参考图像和待配准图像中的两块感兴趣区域进行特征点提取和匹配，能够在保证拼接质量的前提下有效提高拼接效率；通过将像素坐标转换为经纬度坐标，能够突破拼接范围的限制，从而实现快速拼接无人机航拍图像生成超大分辨率的航拍条带图像。
进一步地，本发明的实施例通过将航拍条带图像保存为vrt格式图，能够在存储航拍条带图像时降低存储空间，在显示航拍条带图像时进行金字塔多尺度查看。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
本领域普通技术人员可以理解实现上述实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

Claims (10)

1.一种超大航拍条带图像的拼接生成方法，其特征在于，包括：
接收无人机航拍图像和所述无人机航拍图像对应的传感器数据，并根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像；
以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域；
对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标；
根据所述传感器数据将所述像素坐标转换为经纬度坐标，并根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像。
2.如权利要求1所述的超大航拍条带图像的拼接生成方法，其特征在于，在所述根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像之后，还包括：
将所述航拍条带图像保存为vrt格式图。
3.如权利要求1或2所述的超大航拍条带图像的拼接生成方法，其特征在于，所述根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像，具体为：
根据所述传感器数据将所述无人机航拍图像校正为正下视视图，得到所述待拼接图像。
4.如权利要求1或2所述的超大航拍条带图像的拼接生成方法，其特征在于，所述以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域，具体为：
分别对所述参考图像和所述待配准图像进行图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像；
根据所述传感器数据确定所述低分辨率参考图像和所述低分辨率待配准图像的重叠区域，并将所述重叠区域作为匹配模板；
基于所述匹配模板对所述低分辨率参考图像和所述低分辨率待配准图像进行粗匹配，得到两块所述感兴趣区域。
5.如权利要求1或2所述的超大航拍条带图像的拼接生成方法，其特征在于，所述对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标，具体为：
采用SURF特征检测算法对两块所述感兴趣区域进行特征提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵；
根据所述仿射变换矩阵计算所述参考图像和所述待配准图像相对的像素坐标。
6.一种超大航拍条带图像的拼接生成装置，其特征在于，包括：
图像预处理模块，用于接收无人机航拍图像和所述无人机航拍图像对应的传感器数据，并根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像；
区域提取模块，用于以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域；
坐标计算模块，用于对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标；
图像拼接模块，用于根据所述传感器数据将所述像素坐标转换为经纬度坐标，并根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像。
7.如权利要求6所述的超大航拍条带图像的拼接生成装置，其特征在于，所述图像拼接模块，还用于在所述根据所述经纬度坐标拼接所述参考图像和所述待配准图像，得到航拍条带图像之后，将所述航拍条带图像保存为vrt格式图。
8.如权利要求6或7所述的超大航拍条带图像的拼接生成装置，其特征在于，所述根据所述传感器数据对所述无人机航拍图像进行预处理，得到待拼接图像，具体为：
根据所述传感器数据将所述无人机航拍图像校正为正下视视图，得到所述待拼接图像。
9.如权利要求6或7所述的超大航拍条带图像的拼接生成装置，其特征在于，所述以不同所述待拼接图像作为参考图像和待配准图像，提取所述参考图像和所述待配准图像中最相似的两块感兴趣区域，具体为：
分别对所述参考图像和所述待配准图像进行图像金字塔下采样处理，得到低分辨率参考图像和低分辨率待配准图像；
根据所述传感器数据确定所述低分辨率参考图像和所述低分辨率待配准图像的重叠区域，并将所述重叠区域作为匹配模板；
基于所述匹配模板对所述低分辨率参考图像和所述低分辨率待配准图像进行粗匹配，得到两块所述感兴趣区域。
10.如权利要求6或7所述的超大航拍条带图像的拼接生成装置，其特征在于，所述对两块所述感兴趣区域进行特征点提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵以及相对的像素坐标，具体为：
采用SURF特征检测算法对两块所述感兴趣区域进行特征提取和匹配，得到所述参考图像和所述待配准图像之间的仿射变换矩阵；
根据所述仿射变换矩阵计算所述参考图像和所述待配准图像相对的像素坐标。
CN202010932226.0A 2020-09-07 一种超大航拍条带图像的拼接生成方法及装置 Active CN112163995B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010932226.0A CN112163995B (zh) 2020-09-07 一种超大航拍条带图像的拼接生成方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010932226.0A CN112163995B (zh) 2020-09-07 一种超大航拍条带图像的拼接生成方法及装置

Publications (2)

Publication Number Publication Date
CN112163995A true CN112163995A (zh) 2021-01-01
CN112163995B CN112163995B (zh) 2024-06-21

Family

ID=

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862678A (zh) * 2021-01-26 2021-05-28 中国铁道科学研究院集团有限公司 一种无人机图像拼接方法、装置及存储介质
CN112991186A (zh) * 2021-04-27 2021-06-18 湖南大学 一种无人机大视场高光谱图像生成方法及系统
CN113284048A (zh) * 2021-04-15 2021-08-20 哈尔滨工程大学 一种侧扫声呐图像拼接方法
CN115641506A (zh) * 2022-11-04 2023-01-24 中咨数据有限公司 基于深度学习的拌合站遥感影像识别方法、系统及应用

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN107808362A (zh) * 2017-11-15 2018-03-16 北京工业大学 一种基于无人机pos信息与图像surf特征结合的图像拼接方法
CN108320304A (zh) * 2017-12-18 2018-07-24 广州亿航智能技术有限公司 一种无人机航拍视频媒体的自动编辑方法与系统
CN111583110A (zh) * 2020-04-24 2020-08-25 华南理工大学 一种航拍图像的拼接方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN107808362A (zh) * 2017-11-15 2018-03-16 北京工业大学 一种基于无人机pos信息与图像surf特征结合的图像拼接方法
CN108320304A (zh) * 2017-12-18 2018-07-24 广州亿航智能技术有限公司 一种无人机航拍视频媒体的自动编辑方法与系统
CN111583110A (zh) * 2020-04-24 2020-08-25 华南理工大学 一种航拍图像的拼接方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
王亚洲;赵德群;张楠西;石;邓钱华;: "基于无人机POS信息的拼接方法", 计算机系统应用, no. 03 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112862678A (zh) * 2021-01-26 2021-05-28 中国铁道科学研究院集团有限公司 一种无人机图像拼接方法、装置及存储介质
CN113284048A (zh) * 2021-04-15 2021-08-20 哈尔滨工程大学 一种侧扫声呐图像拼接方法
CN112991186A (zh) * 2021-04-27 2021-06-18 湖南大学 一种无人机大视场高光谱图像生成方法及系统
CN112991186B (zh) * 2021-04-27 2021-07-27 湖南大学 一种无人机大视场高光谱图像生成方法及系统
CN115641506A (zh) * 2022-11-04 2023-01-24 中咨数据有限公司 基于深度学习的拌合站遥感影像识别方法、系统及应用

Similar Documents

Publication Publication Date Title
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN104599258B (zh) 一种基于各向异性特征描述符的图像拼接方法
CN107766864B (zh) 提取特征的方法和装置、物体识别的方法和装置
Lee et al. Accurate registration using adaptive block processing for multispectral images
CN106780309A (zh) 一种合成孔径雷达图像拼接方法
CN114897705A (zh) 一种基于特征优化的无人机遥感图像拼接方法
CN114037992A (zh) 仪表示数识别方法、装置、电子设备及存储介质
CN116152068A (zh) 一种可用于太阳能板图像的拼接方法
Attard et al. Image mosaicing of tunnel wall images using high level features
CN113095316B (zh) 基于多级融合和角点偏移的图像旋转目标检测方法
Lijing et al. A warped document image mosaicing method based on registration and TRS transform
CN110956664A (zh) 一种手持式三维扫描系统的相机位置实时重定位方法
CN114004770B (zh) 一种卫星时空图的精校正方法、装置及存储介质
CN112163995A (zh) 一种超大航拍条带图像的拼接生成方法及装置
CN116385477A (zh) 一种基于图像分割的杆塔图像配准方法
CN116128919A (zh) 基于极线约束的多时相图像异动目标检测方法及系统
CN112163995B (zh) 一种超大航拍条带图像的拼接生成方法及装置
CN113538232B (zh) 大尺寸航空航天复合材料构件全局缺陷定量识别方法
CN113537397B (zh) 基于多尺度特征融合的目标检测与图像清晰联合学习方法
CN115410089A (zh) 自适应局部上下文嵌入的光学遥感小尺度目标检测方法
CN114565516A (zh) 一种融合传感器数据的安全壳表面区域鲁棒拼接方法
CN115457120A (zh) 一种gps拒止条件下的绝对位置感知方法与系统
CN113112531A (zh) 一种图像匹配方法及装置
CN114067130B (zh) 用于机载光电图像模板匹配的特征点提取方法及系统
CN111833384A (zh) 一种可见光和红外图像快速配准方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant