CN111768337B - 一种图像处理方法、装置和电子设备 - Google Patents

一种图像处理方法、装置和电子设备 Download PDF

Info

Publication number
CN111768337B
CN111768337B CN202010486172.XA CN202010486172A CN111768337B CN 111768337 B CN111768337 B CN 111768337B CN 202010486172 A CN202010486172 A CN 202010486172A CN 111768337 B CN111768337 B CN 111768337B
Authority
CN
China
Prior art keywords
images
image
feature extraction
pixel number
corrected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010486172.XA
Other languages
English (en)
Other versions
CN111768337A (zh
Inventor
吴羽纶
赵凤军
范怀涛
张志敏
王宇
禹卫东
邓云凯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aerospace Information Research Institute of CAS
Original Assignee
Aerospace Information Research Institute of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aerospace Information Research Institute of CAS filed Critical Aerospace Information Research Institute of CAS
Priority to CN202010486172.XA priority Critical patent/CN111768337B/zh
Publication of CN111768337A publication Critical patent/CN111768337A/zh
Application granted granted Critical
Publication of CN111768337B publication Critical patent/CN111768337B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038Image mosaicing, e.g. composing plane images from plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种图像处理方法、装置和电子设备,所述方法包括:获取待处理的至少两幅图像,所述至少两幅图像为扫描合成孔径雷达ScanSAR图像中至少两个子带对应的图像;利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像;基于ORB方法对修正后的至少两幅图像进行特征提取,得到特征提取结果;根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接;如此,根据图像的地理信息对图像的比例进行修正,基于ORB方法对修正后的图像进行拼接,实现对图像的快速、高精度拼接。

Description

一种图像处理方法、装置和电子设备
技术领域
本发明涉及图像处理领域,尤其涉及一种图像处理方法、装置和电子设备。
背景技术
相关技术中,扫描合成孔径雷达(Scanning Synthetic Aperture Radar,ScanSAR)图像拼接流程通常采用尺度不变特征转换(Scale Invariant FeatureTransform,SIFT)算法,或SURF(Speeded Up Robust Features)算法对整幅图像提取特征点,随后对所有特征点进行匹配与筛选,完成图像拼接。在ScanSAR图像测绘带宽和面积较大的情况下,由于实际匹配上的特征点只有重叠区域的点,如果对整幅图像提取特征点,使得图像非重叠区域产生大量冗余特征点,会消耗匹配时间,因而,采用该类方法拼接ScanSAR图像时,会影响拼接速度,而且非重叠区域的冗余特征点还会成为干扰因素,可能发生误匹配,导致拼接精度下降。另外,如果将ORB(Oriented FAST and Rotated BRIEF)方法直接应用于ScanSAR图像时,ORB特征点提取算法受到ScanSAR图像噪声影响,提取特征点质量严重下降;ORB特征点匹配受特征点质量、图像形变影响,将导致匹配错误,进而导致拼接精度下降。
发明内容
本发明实施例提供一种图像处理方法、装置和电子设备;根据ScanSAR图像的地理信息对ScanSAR图像的比例进行修正,基于ORB方法对修正后的ScanSAR图像进行拼接,实现对图像的快速、高精度拼接。
本发明实施例的技术方案是这样实现的:
本发明实施例提供了一种图像处理方法,所述方法包括:
获取待处理的至少两幅图像,所述至少两幅图像为ScanSAR图像中至少两个子带对应的图像;
利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像;修正后的各幅图像中,任意两幅图像的像素指标的差值小于预设值,所述像素指标为单个像素表征的实际距离;
基于ORB方法对修正后的至少两幅图像进行特征提取,得到特征提取结果;根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接。
可选的,所述修正后的各幅图像中,任意两幅图像的像素指标相等。
可选的,所述利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像,包括:
根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订;所述列像素数表示图像中长度方向的像素数,所述行像素数表示图像中宽度方向的像素数;
根据比例修订后的列像素数和行像素数,对所述至少两幅图像进行重采样,得到修正后的至少两幅图像。
可选的,所述根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订,包括:
根据所述至少两幅图像的地理位置信息,确定所述至少两幅图像的长度矢量和宽度矢量,其中,所述长度矢量表示图像中长度方向的相对位置矢量,所述宽度矢量表示图像中宽度方向相对位置的矢量;
根据所述至少两幅图像的长度矢量,得出所述至少两幅图像的列像素数的修订系数;基于所述列像素数的修订系数,对所述列像素数进行比例修订;
根据所述至少两幅图像的宽度矢量,得出所述至少两幅图像的行像素数的修订系数;基于所述行像素数的修订系数,对所述行像素数进行比例修订。
可选的,所述基于ORB方法对修正后的所述至少两幅图像进行特征提取,得到特征提取结果,包括:
利用所述图像的地理位置信息,确定第一待匹配图像和第二待匹配图像的重叠区域,所述第一待匹配图像和所述第二待匹配图像为所述修正后的所述至少两幅图像中需要进行图像拼接的任意两幅图像;
基于ORB方法对第一区域进行特征提取,得到第一提取结果,所述第一区域至少包括第一待匹配图像的重叠区域;
基于ORB方法对第二区域进行特征提取,得到第二提取结果,所述第二区域至少包括第二待匹配图像的重叠区域;
得到所述特征提取结果,所述特征提取结果包括所述第一提取结果和所述第二提取结果。
可选的,所述基于ORB方法对第一区域进行特征提取,包括:
对所述第一区域进行区块划分处理,得到第一区块集;基于ORB方法对所述第一区块集的区块进行特征提取;
所述基于ORB方法对第二区域进行特征提取,包括:
对所述第二区域进行区块划分处理,得到第二区块集;基于ORB方法对所述第二区块集的区块进行特征提取。
可选的,所述基于ORB方法对所述第一区块集的区块进行特征提取,包括:
基于ORB方法对所述第一区块集的区块进行并行化特征提取;
所述基于ORB方法对所述第二区块集的区块进行特征提取,包括:
基于ORB方法对所述第二区块集的区块进行并行化特征提取。
可选的,所述根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接,包括:
对所述第一提取结果中各个区块的提取结果与所述第二提取结果中各个区块的提取结果进行并行化特征匹配;
根据特征匹配结果,进行所述修正后的至少两幅图像的拼接。
可选的,所述至少两幅图像为ScanSAR图像中至少两个方位向的图像组,所述图像组包括至少两个子带对应的图像;
相应地,所述根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接,包括:
根据所述特征提取结果,对所述至少两个方位向的图像组的拼接过程进行行并行化处理,进行所述修正后的至少两幅图像的拼接;每个方位向的图像组的拼接过程包括图像组中至少两个子带对应的图像的拼接过程。
可选的,在基于ORB方法对修正后的所述至少两幅图像进行特征提取之前,所述方法还包括:
对所述至少两幅图像进行扇贝效应的抑制处理。
本发明实施例提供一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理的至少两幅图像,所述至少两幅图像为ScanSAR图像中至少两个子带对应的图像;
修正模块,用于利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像;修正后的各幅图像中,任意两幅图像的像素指标的差值小于预设值,所述像素指标为单个像素表征的实际距离;
拼接模块,用于基于ORB方法对修正后的至少两幅图像进行特征提取,得到特征提取结果;根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接。
可选的,所述修正后的各幅图像中,任意两幅图像的像素指标相等。
可选的,所述修正模块,用于利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像,包括:
根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订;所述列像素数表示图像中长度方向的像素数,所述行像素数表示图像中宽度方向的像素数;
根据比例修订后的列像素数和行像素数,对所述至少两幅图像进行重采样,得到修正后的至少两幅图像。
可选的,所述修正模块,还用于根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订,包括:
根据所述至少两幅图像的地理位置信息,确定所述至少两幅图像的长度矢量和宽度矢量,其中,所述长度矢量表示图像中长度方向的相对位置矢量,所述宽度矢量表示图像中宽度方向相对位置的矢量;
根据所述至少两幅图像的长度矢量,得出所述至少两幅图像的列像素数的修订系数;基于所述列像素数的修订系数,对所述列像素数进行比例修订;
根据所述至少两幅图像的宽度矢量,得出所述至少两幅图像的行像素数的修订系数;基于所述行像素数的修订系数,对所述行像素数进行比例修订。
可选的,所述拼接模块,用于基于ORB方法对修正后的所述至少两幅图像进行特征提取,得到特征提取结果,包括:
利用所述图像的地理位置信息,确定第一待匹配图像和第二待匹配图像的重叠区域,所述第一待匹配图像和所述第二待匹配图像为所述修正后的所述至少两幅图像中需要进行图像拼接的任意两幅图像;
基于ORB方法对第一区域进行特征提取,得到第一提取结果,所述第一区域至少包括第一待匹配图像的重叠区域;
基于ORB方法对第二区域进行特征提取,得到第二提取结果,所述第二区域至少包括第二待匹配图像的重叠区域;
得到所述特征提取结果,所述特征提取结果包括所述第一提取结果和所述第二提取结果。
可选的,所述拼接模块,用于基于ORB方法对第一区域进行特征提取,包括:
对所述第一区域进行区块划分处理,得到第一区块集;基于ORB方法对所述第一区块集的区块进行特征提取;
所述拼接模块,用于基于ORB方法对第二区域进行特征提取,包括:
对所述第二区域进行区块划分处理,得到第二区块集;基于ORB方法对所述第二区块集的区块进行特征提取。
可选的,所述拼接模块,还用于基于ORB方法对所述第一区块集的区块进行特征提取,包括:
基于ORB方法对所述第一区块集的区块进行并行化特征提取;
所述拼接模块,还用于基于ORB方法对所述第二区块集的区块进行特征提取,包括:
基于ORB方法对所述第二区块集的区块进行并行化特征提取。
所述拼接模块,还用于根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接,包括:
对所述第一提取结果中各个区块的提取结果与所述第二提取结果中各个区块的提取结果进行并行化特征匹配;
根据特征匹配结果,进行所述修正后的至少两幅图像的拼接。
可选的,所述至少两幅图像为ScanSAR图像中至少两个方位向的图像组,所述图像组包括至少两个子带对应的图像;
相应地,所述拼接模块,还用于根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接,包括:
根据所述特征提取结果,对所述至少两个方位向的图像组的拼接过程进行行并行化处理,进行所述修正后的至少两幅图像的拼接;每个方位向的图像组的拼接过程包括图像组中至少两个子带对应的图像的拼接过程。
可选的,所述获取模块,还用于在基于ORB方法对修正后的所述至少两幅图像进行特征提取之前,对所述至少两幅图像进行扇贝效应的抑制处理。
本发明实施例提供一种电子设备,所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现前述一个或多个技术方案提供的图像处理方法。
本发明实施例提供一种图像处理方法、装置和电子设备,所述方法包括:获取待处理的至少两幅图像,所述至少两幅图像为ScanSAR图像中至少两个子带对应的图像;利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像;修正后的各幅图像中,任意两幅图像的像素指标的差值小于预设值,所述像素指标为单个像素表征的实际距离;基于ORB方法对修正后的至少两幅图像进行特征提取,得到特征提取结果;根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接;如此,一方面根据图像的地理信息对图像的比例进行修正,使每幅图像的像素指标接近统一,能够避免因为图像像素指标不一致而导致的误匹配,提升图像拼接的精度;另一方面,有利于在基于ORB方法进行图像特征提取的基础上进行图像拼接,而ORB方法具有特征提取速度快的特点,如此,在特征提取的基础上进行图像拼接,可以显著提升图像的拼接速度;进一步的,基于图像的地理信息对图像之间的重叠区域进行确定,能够减少冗余提取,通过对重叠区域分块后进行特征点匹配,能够避免不同区块间出现误匹配点,有效提升特征点匹配精准度。
附图说明
图1为本发明实施例的图像处理方法的流程图;
图2为本发明实施例中图像顶点坐标的示意图;
图3为本发明实施例中根据地理信息计算重叠区域的示意图;
图4为本发明实施例中对不同线程中的图像进行特征点提取和特征点匹配的示意图;
图5为本发明实施例中将重叠区域划分为较小区块匹配示意图;
图6为本发明实施例中图像拼接并行化处理的示意图;
图7为本发明实施例中星载ScanSAR图像拼接方法流程图;
图8a为相关技术中直接使用ORB方法进行特征点提取和匹配的结果示意图;
图8b为相关技术中直接使用SIFT算法进行特征点提取和匹配的结果示意图;
图8c为本发明实施例中进行特征点提取和匹配的结果示意图;
图9a为相关技术中未进行比例校正的基准图像示意图;
图9b为相关技术中未进行比例校正的待配准图像示意图;
图9c为本发明实施例中经过比例校正的基准图像示意图;
图9d为本发明实施例中经过比例校正的待配准图像示意图;
图10a为本发明实施例中进行拼接的子带一第一幅图像的示意图;
图10b为本发明实施例中进行拼接的子带一第二幅图像的示意图;
图10c为本发明实施例中进行拼接的子带一第三幅图像的示意图;
图10d为本发明实施例中进行拼接的子带二第一幅图像的示意图;
图10e为本发明实施例中进行拼接的子带二第二幅图像的示意图;
图10f为本发明实施例中进行拼接的子带二第三幅图像的示意图;
图10g为本发明实施例中对六幅图像进行拼接的结果示意图;
图11为本发明实施例的图像处理装置的组成结构示意图
图12为本发明实施例提供的电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述。
星载合成孔径雷达具备全天候、全天时、远距离、高分辨率对地成像能力,已经成为现代微波遥感领域的重要技术手段。其中,ScanSAR是星载合成孔径雷达(SyntheticAperture Radar,SAR)技术发展的重要方向,包括我国高分三号卫星在内的许多合成孔径雷达卫星也都具备扫描工作模式,ScanSAR的工作原理为在一个合成孔径时间内,改变天线的角度,沿着距离向进行多次扫描获得多个子带,有利于减少观测时间,以便实现全球大范围宽测绘带地表监测。
ScanSAR是一种宽测绘带合成孔径雷达扫描模式,其能够避免距离模糊、天线波束宽度、数据率和回波窗口大小等因素对距离向测绘带宽度的限制,其通过天线指向的变化实现不同子带间的扫描,形成ScanSAR图像,通过图像拼接能够更进一步地满足用户对于图像超广视角的需求,扩大单一SAR成像的场景范围。
由于ScanSAR测绘面积大,图像数据量大,并且其利用照射时间换取测绘宽度,使得图像噪声较大,进而,对图像拼接方法提出了很高的要求。
下面结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所提供的实施例仅仅用以解释本发明,并不用于限定本发明。另外,以下所提供的实施例是用于实施本发明的部分实施例,而非提供实施本发明的全部实施例,在不冲突的情况下,本发明实施例记载的技术方案可以任意组合的方式实施。
需要说明的是,在本发明实施例中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的方法或者装置不仅包括所明确记载的要素,而且还包括没有明确列出的其他要素,或者是还包括为实施方法或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个......”限定的要素,并不排除在包括该要素的方法或者装置中还存在另外的相关要素(例如方法中的步骤或者装置中的单元,例如的单元可以是部分电路、部分处理器、部分程序或软件等等)。
本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
例如,本发明实施例提供的图像处理方法包含了一系列的步骤,但是本发明实施例提供的图像处理方法不限于所记载的步骤,同样地,本发明实施例提供的图像处理装置包括了一系列模块,但是本发明实施例提供的图像处理装置不限于包括所明确记载的模块,还可以包括为获取相关信息、或基于信息进行处理时所需要设置的模块。
本发明实施例可以基于电子设备实现,这里,电子设备可以是瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统,等等。
电子设备可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统可以在分布式云计算环境中实施,在分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。
本发明的实施例提出了一种图像处理方法,可以应用于任何需要对ScanSAR图像进行拼接的场景中。
图1为本发明实施例的图像处理方法的流程图,如图1所示,该流程可以包括:
步骤100:获取待处理的至少两幅图像,所述至少两幅图像为ScanSAR图像中至少两个子带对应的图像。
这里,ScanSAR是一种特殊的雷达工作模式,它通过雷达天线波束在距离向的扫描,获取宽测绘带微波遥感图像,即ScanSAR图像;在ScanSAR工作模式下,雷达始终处于工作状态,天线波束周期性的在不同的子带之间进行持续的扫描。
其中,宽测绘带是由多个子带组成的,而子带的数目越多,使得ScanSAR测绘面积越大,进而,有利于减少观测时间,可以实现全球大范围宽测绘带地表监测。
在一种实施方式中,ScanSAR图像可以是星载ScanSAR图像,也可以是机载ScanSAR图像。
在一种实施方式中,待处理的至少两幅图像可以表示进行拼接操作的至少两幅图像,而待处理的至少两幅图像可以为ScanSAR图像中不同子带对应的图像;至少两幅图像还可以为ScanSAR图像中至少两个方位向的图像组,所述图像组包括至少两个子带对应的图像。
示例性的,在ScanSAR图像包括3个子带的情况下,待处理的至少两幅图像可以是子带1对应的图像与子带2对应的图像;还可以是子带2对应的图像与子带3对应的图像。
示例性的,在ScanSAR图像包括2个子带,且每个子带对应2幅图像的情况下,子带1对应的第一幅图像与子带2对应的第一幅图像为第1个方位向的图像组,子带1对应的第二幅图像与子带2对应的第二幅图像为第2个方位向的图像组。
步骤101:利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像;修正后的各幅图像中,任意两幅图像的像素指标的差值小于预设值,所述像素指标为单个像素表征的实际距离。
这里,地理位置信息可以为图像的经纬度信息,根据经纬度信息可以确定图像中每个像素的坐标;其中,经纬度信息可以通过数据采集的方式获取,例如可以直接从图像对应的卫星参数中获取,本发明实施例不作限制。
本发明实施例中,像素指标可以表示图像长度方向上单个像素的像素指标,也可以表示图像宽度方向上单个像素的像素指标;其中,图像长度方向上单个像素的像素指标为图像长度方向上单个像素表征的实际距离,图像宽度方向上单个像素的像素指标为图像宽度方向上单个像素表征的实际距离。
示例性的,图像的像素指标为5公里,可以说明图像长度方向上和宽度方向上单个像素表征的实际距离为5公里,这里,图像长度方向上和宽度方向上单个像素的像素指标可以相同,也可以不同;对于像素指标的设置可以根据实际应用场景进行设置,本发明实施例不作限制。
本发明实施例中,对于预设值的取值可以根据实际应用场景进行确定,本发明实施例不进行限制。
示例性的,由于像素指标表征图像长度方向上和宽度方向上单个像素表征的实际距离,因而,预设值可以根据不同图像的像素指标进行对应设置;例如,图像1的像素指标的为5公里,图像2的像素指标的为6公里,在预设值为2公里的情况下,图像1与图像2的像素指标的差值小于预设值。
可以看出,在任意两幅图像的像素指标的差值小于预设值的情况下,可以说明这两幅图像的像素表示的实际距离比较一致。
步骤102:基于ORB方法对修正后的至少两幅图像进行特征提取,得到特征提取结果;根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接。
这里,对图像进行特征提取中图像特征的定义可以根据具体的应用场景进行确定,本发明实施例不进行限制,示例性的,图像特征可以为图像特征点,例如,可以为图像边缘线上的像素点,还可以为图像中的曲率极大值点等。
这里,ORB方法是将FAST算法与BRIEF算法结合并进行改进的一种快速特征检测方法。ORB方法可分为两部分,分别是特征点提取和特征点描述。ORB方法最大的特点就是计算速度快,计算时间大概只有SIFT算法的1%,SURF算法的10%,这主要是因为使用了FAST算法来加速了特征点的提取。再次是使用BRIEF算法计算描述子,该描述子特有的2进制串的表现形式不仅节约了存储空间,而且大大缩短了匹配的时间。
相关技术中ScanSAR图像的拼接流程中采用SIFT算法或SURF算法进行特征点的提取,其特征点效率低,拼接10GBytes级别的高清ScanSAR图像需要消耗大量时间。而ORB方法已经较为成熟,其性能提升非常可观,但其鲁棒性较差,尤其是对于图像比例变换的鲁棒性较差,因此很少在ScanSAR图像拼接中应用,需要对输入图像进行预处理后才能使用,即,ORB方法无法直接应用于ScanSAR图像。
在实际应用中,步骤S100至步骤S102可以利用图像处理装置的控制装置中的处理器实现,上述处理器可以为特定用途集成电路(Application Specific IntegratedCircuit,ASIC)、数字信号处理器(Digital Signal Processor,DSP)、数字信号处理装置(Digital Signal Processing Device,DSPD)、可编程逻辑装置(Programmable LogicDevice,PLD)、现场可编程逻辑门阵列(Field Programmable Gate Array,FPGA)、中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器中的至少一种。
本发明实施例中,基于ORB方法对拼接前的图像进行特征点提取,取代ScanSAR图像拼接时使用的SIFT算法,显著提升了特征点提取速度;由于ORB方法是对修正后的至少两幅图像进行特征点提取,因而,能够很好的解决ORB方法无法应用在ScanSAR图像,鲁棒性不佳问题,显著提升了匹配精度。
在一种实施方式中,修正后的各幅图像中,任意两幅图像的像素指标相等。
示例性的,在修正后的各幅图像的像素指标相同的情况下,即,在各幅图像长度方向上单个像素的像素指标相等,且各幅图像宽度方向上单个像素的像素指标也相等的情况下,各幅图像中单个像素表示的实际距离完全一致,即,各幅图像中特征点的比例完全一致,如此,本发明实施例可以有效提高图像在特征点匹配过程中的准确度,进而,提高拼接精度。
在一种实施方式中,所述利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像,可以包括:根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订;所述列像素数表示图像中长度方向的像素数,所述行像素数表示图像中宽度方向的像素数;根据比例修订后的列像素数和行像素数,对所述至少两幅图像进行重采样,得到修正后的至少两幅图像。
这里,列像素数可以表示图像长度方向的像素数,列像素数的数目即对应图像的长边大小;行像素数可以表示图像中宽度方向的像素数,行像素数的数目即对应图像的宽边大小。
示例性的,对于一幅分辨率为512*256的图像,256表示图像中宽度方向的像素数,对应图像的宽边大小;512表示图像长度方向的像素数对应图像的长边大小。
本发明实施例中,在得到修订后的列像素数和行像素数的情况下,将修订后的列像素数和行像素数作为目标像素值,对图像进行重采样,完成对图像的比例修正。
示例性的,可以根据列像素数和行像素数的修订系数,重新确定图像对应的列像素数和行像素数,使用重新确定的列像素数和行像素数对图像进行重采样,得到修正后的图像。
示例性的,对于一幅分辨率为512*512的图像,可以根据计算得到的列像素数和行像素数的修订系数,将该图像对应修正为分辨率为256*512的图像或者256*256的图像。
这里,重采样方法可以最邻近内插法、双线性内插法和三次卷积法内插等,本发明实施例不进行限制。
示例性的,在ScanSAR图像包括2个子带,且每个子带对应3幅图像的情况下,可以对子带1对应的3幅图像与子带2对应的3幅图像进行比例修正;在一个具体的示例中,可以根据子带1对应与子带2对应的六幅图像中各个顶点的经纬度信息,分别对这六幅图像的列像素数和行像素数进行比例修订;将进行比例修订后的列像素数和行像素数作为目标像素数对这六幅图像进行重采样,完成这六幅图像的比例修正。
示例性的,根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订,可以包括:根据所述至少两幅图像的地理位置信息,确定所述至少两幅图像的长度矢量和宽度矢量,其中,所述长度矢量表示图像中长度方向的相对位置矢量,所述宽度矢量表示图像中宽度方向相对位置的矢量;根据所述至少两幅图像的长度矢量,得出所述至少两幅图像的列像素数的修订系数;基于所述列像素数的修订系数,对所述列像素数进行比例修订;根据所述至少两幅图像的宽度矢量,得出所述至少两幅图像的行像素数的修订系数;基于所述行像素数的修订系数,对所述行像素数进行比例修订。
示例性的,可以根据每幅图像中各个顶点的地理位置信息确定对应图像的长度矢量和宽度矢量;每幅图像列像素数的修订系数可以为所有图像中长度矢量大小与列像素数的比值最小的数值,该数值可以通过计算比较每幅图像的长度矢量大小与列像素数的比值进行确定;每幅图像行像素数的修订系数可以为所有图像中宽度矢量大小与行像素数的比值最小的数值,该数值可以通过计算比较每幅图像的宽度矢量大小与行像素数的比值进行确定。
示例性的,在ScanSAR图像包括2个子带,且每个子带对应1幅图像的情况下,若三幅图像的长度矢量大小与列像素数的比值依次为:0.8、0.7、0.9;宽度矢量大小与行像素数的比值依次为0.5、0.6、0.7;可以将0.7作为这三幅图像列像素数的修订系数,将0.5作为这三幅图像行像素数的修订系数。
示例性的,图像中长度矢量大小与列像素数的比值、宽度矢量大小与行像素数的比值越小,即,长度方向上每个像素的单位长度与宽度方向上每个像素的单位宽度越小,可以说明图像中行像素数和列像素数的分辨率越好,精度越高。
可见,本发明实施例中可以根据每幅图像列像素数的修订系数以及行像素数的修订系数重新确定对应图像的像素值。
示例性的,可以利用图像四个顶点的经纬度数据修正图像比例,修正后不同图像间的物体特征形状保持一致。
在一种实施方式中,首先通过对ScanSAR图像原始数据进行地理定位,得到ScanSAR图像各个顶点的经纬度数据,该经纬度数据存在一些误差,但仍可满足比例修正精度的需求。
由于经度1°和纬度1°在不同地区所代表真实距离的比例不一致,因此将ScanSAR图像中每个坐标点的经度重新计算,将其转换成与纬度比例一致的经度lon′,表示为:
lon′=lon×cos(lat) (1)
公式(1)中,lon表示坐标点的经度,lat表示坐标点的纬度,lon′表示经坐标转换后坐标点的经度,cos()表示余弦函数。
图2为本发明实施例中图像顶点坐标的示意图,如图2所示,和/>分别表示图像的长度矢量和宽度矢量,在地理坐标中表示为:
其中,A、B、C和D分别表示图像的四个顶点,lonA′、lonB′和lonC′分别表示对经坐标转换后点A、B和C的经度,latA、latB和latC分别表示点A、B和C的纬度。
为了在修正图像比例的同时保证图像精度,分别计算所有图像中长度和宽度中精度最高的比例作为修订系数klmin和kwmin,表示为:
其中,l表示图像的数目,l为大于或等于2的正整数;表示第i幅图像的长度矢量、/>表示第i幅图像的宽度矢量,/>表示/>的模,/>表示的模;rowsi表示第i幅图像的行像素数,colsi表示第i幅图像的列像素数;因此,表示第i幅图像的每个像素在经纬度坐标系下的长度,可以理解为“每像素所代表的单位长度”。显然“每像素所代表的单位长度”越小,单位长度内的像素数越多,分辨率越高,精度越高;同样地,/>表示第i幅图像的每个像素在经纬度坐标系下的宽度,可以理解为“每像素所代表的单位宽度”。显然“每像素所代表的单位宽度”越小,单位宽度内的像素数越多,分辨率越高,精度越高,这里,i为大于等于1且小于等于l的正整数。
使用修订系数klmin和kwmin分别计算图像的目标分辨率,得到新的列像素数cols′i和行像素数rows′i,其中,cols′i和rows′i为:
随后以cols′i和rows′i为目标像素数对每幅图像进行重采样,完成图像的比例修正。
在一种实施方式中,由于ScanSAR图像不同的子带中,距离向采样频率、脉冲重复频率(Pulse Repeat Frequency)、啁啾带宽(Chirp Bandwidth)不一定相同,会导致不同图像每一像素代表的距离向真实距离不同,这将导致各子带在相同扫描范围内图像距离向的比例不同。
例如,高分三号(GF-3)卫星图像数据在距离向采样频率可为33.3MHz,也可以为66.6MHz,成像后的图像将在距离向上产生形变,相同物体会产生比例变形,这将会对图像匹配过程产生严重的影响。因此需要在进行图像特征点提取前,利用图像的地理位置信息对待处理图像的比例进行修正,得到修正后的图像。
本发明实施例中,通过对ScanSAR图像各个子带对应的所有图像进行比例修正,能够避免不同子带对应的图像在拼接过程中因为比例不一致而导致的拼接精度下降问题,因而,在对图像进行拼接之前,对不同子带对应的图像进行比例修正能够有效提高拼接精度。
在一种实施方式中,基于ORB方法对修正后的所述至少两幅图像进行特征提取,得到特征提取结果,可以包括:利用所述图像的地理位置信息,确定第一待匹配图像和第二待匹配图像的重叠区域,所述第一待匹配图像和所述第二待匹配图像为所述修正后的所述至少两幅图像中需要进行图像拼接的任意两幅图像;基于ORB方法对第一区域进行特征提取,得到第一提取结果,所述第一区域至少包括第一待匹配图像的重叠区域;基于ORB方法对第二区域进行特征提取,得到第二提取结果,所述第二区域至少包括第二待匹配图像的重叠区域;得到所述特征提取结果,所述特征提取结果包括所述第一提取结果和所述第二提取结果。
由于相关技术中ScanSAR图像的拼接流程中直接对整幅图像提取特征点,在没有重叠的图像区域提取到大量冗余特征点,进而,导致特征点提取和匹配时间过长,并增加了拼接误差。虽然,部分ScanSAR图像的拼接流程考虑到了重叠区域,但其要求图像重叠率高,ScanSAR图像并不满足其要求,并且需要人工指定一个大致重叠率进行裁剪,但可能导致重叠的有效提取区域被裁剪或冗余量依旧过大,对于重叠区域变化幅度较大的ScanSAR图像依旧会产生大量冗余特征点,影响匹配精度。
本发明实施例可以利用地理信息自动计算ScanSAR图像的重叠区域,并精准并得到了仅含有重叠区域的图像,进而,能够有效提高图像拼接的精准度。
示例性的,图3为本发明实施例中根据地理信息计算重叠区域的示意图;如图3所示,矩形ABCD表示基准图像,基准图像为第一待匹配图像,基准图像对应子带1,矩形A′B′C′D′表示待配准图像,待配准图像为第二待匹配图像,待配准图像对应子带2;取两幅图像上下边重合比例最大值,确保全部重叠区域在一定范围内,得到基准图像的重合率rate基准和待配准图像的重合率rate待配准分别为:
这里,E为线段AB与线段A′D′的交点,E′为线段A′B′与线段BC延长线的交点,F为线段DC与线段A′D′延长线的交点,F′为线段C′D′与线段BC的交点;dA′,dD′,dB,dC分别为点A′到线段BC的距离、点D′到线段BC的距离、点B到线段A′D′的距离、点C到线段A′D′的距离。
其中,ABCDA′B′C′D′坐标已知,且ABCDA′B′C′D′坐标为真实经纬度坐标,EB为:
其中,(xB,yB)表示B点的坐标,(xE,yE)表示E点的坐标。
E点坐标(xE,yE)可由四点确定的两条直线交点求得,为:
其中,(xA,yA)表示A点的坐标,(xA′,yA′)为A′点的坐标,(xD′,yD′)为D′点的坐标。
同理可得|CF|、|A′E′|和|D′F′|。
本发明实施例的图像重叠区域可以根据上述得到的基准图像的重合率rate基准和待配准图像的重合率rate待配准进行确定。
使用I基准(i1,j1)表示基准图像中坐标为(i1,j1)的像素点的灰度值,i1∈[1,rows1],j1∈[1,cols1],rows1,cols1分别表示基准图像的行像素数和列像素数,其中,i1、j1为整数;I待配准(i2,j2)表示待配准图像中坐标为(i2,j2)的像素点的灰度值,i2∈[1,rows2],j2∈[1,cols2],rows2,cols2分别表示待配准图像的行像素数和列像素数,其中,i2、j2为整数。
可以利用基准图像像素点的灰度值I基准(i1,j1)和待配准图像像素点的灰度值I待配准(i2,j2)确定基准图像的重叠区域和待配准图像的重叠区域。
其中,基准图像的重叠区域表示为:
I基准′=I基准(i1,k1)(i1∈[1,rows1],k1∈[[cols1×(1-rate基准)+0.5],cols1]) (13)
待配准图像的重叠区域表示为:
I待配准′=I待配准(i2,k2)(i2∈[1,rows2],k2∈[1,[cols2×rate待配准+0.5]]) (14)
式中,i1、k1、i2和k2为整数,I基准(i1,k1)表示基准图像重叠区域中坐标为(i1,k1)的像素点的灰度值,I待配准(i2,k2)表示待配准图像重叠区域中坐标为(i2,k2)的像素点的灰度值;[cols1×(1-rate基准)+0.5]中[]表示向下取整,[cols2×rate待配准+0.5]中[]表示向下取整。
可以看出,本发明实施例可以结合图像四个顶点经纬度坐标信息计算图像之间的重叠率,再根据所得的重叠率对图像之间的重叠区域进行确定,进而,能够精准地在重叠区域进行特征点提取,提高图像拼接精度。
在一种实施方式中,基于ORB方法对第一区域进行特征提取,可以包括:对所述第一区域进行区块划分处理,得到第一区块集;基于ORB方法对所述第一区块集的区块进行特征提取;基于ORB方法对第二区域进行特征提取,可以包括:对所述第二区域进行区块划分处理,得到第二区块集;基于ORB方法对所述第二区块集的区块进行特征提取。
示例性的,分别对基准图像和待配准图像确定的重叠区域进行区块划分处理,使用ORB方法对对区块划分后的区域进行特征点提取,得到基准图像上重叠区域的特征点提取结果和待配准图像上重叠区域的特征点提取结果。
在一种实施方式中,基于ORB方法对所述第一区块集的区块进行特征提取,可以包括:基于ORB方法对所述第一区块集的区块进行并行化特征提取;所述基于ORB方法对所述第二区块集的区块进行特征提取,包括:基于ORB方法对所述第二区块集的区块进行并行化特征提取。
可选的,可以将基准图像确定的重叠区域划分为N个区块,N为大于1的正整数,并将待配准图像确定的重叠区域也划分为N个区块,使用ORB方法同时对基准图像的N个区块和待配准图像的N个区块进行并行特征点提取,得到基准图像N个区块的特征点提取结果和待配准图像N个区块的特征点提取结果。
示例性的,在基准图像的重叠区域和待配准图像的重叠区域均划分为5个区块的情况下,可以使用ORB方法同时对基准图像和待配准图像所包括的10个区块同时进行特征点提取。
本发明实施例中,通过对重叠区域进行分块处理,并基于ORB方法对划分的每个区块进行并行特征点提取,能够有效提升图像特征点提取速度。
在一种实施方式中,对第一提取结果与所述第二提取结果进行特征匹配,包括:对所述第一提取结果中各个区块的提取结果与所述第二提取结果中各个区块的提取结果进行并行化特征匹配;根据所述特征匹配结果,进行所述修正后的至少两幅图像的拼接。
示例性的,可以对基准图像的重叠区域和待配准图像的重叠区域进行并行特征点提取,得到基准图像的重叠区域的特征点提取结果和待配准图像的重叠区域的特征点提取结果,根据特征点提取结果,对基准图像的重叠区域和待配准图像的重叠区域进行特征点匹配,根据特征点匹配结果,进行基准图像和待配准图像的拼接。
在一种实施方式中,重叠区域的特征点提取和特征点匹配都是并行进行的,图4为本发明实施例中对不同线程中的图像进行特征点提取和特征点匹配的示意图,如图4所示,对于线程1和线程2的图像,先进行并行特征点提取后,再进行并行特征点的匹配,其主要目的是将提取到的特征点进行两两配对,确定位置,实现图像间的拼接。
本发明实施例中,可以对基准图像的重叠区域和待配准图像的重叠区域分块后进行特征点匹配,由于基准图像和待配准图像划分后的各个区块是一一对应的,因而,能够避免不同区块间出现误匹配点,进行提升特征点匹配精准度。
图5为本发明实施例中将重叠区域划分为较小区块匹配示意图,如图5所示,将基准图像的重叠区域和待配准图像确定的重叠区域分别划分为N个区块,N为大于1的正整数。利用ORB方法时间复杂度为O(n2)的特点,其中,n为各个区块中的像素点数,分别独立进行特征匹配;将图像的重叠区域划分为N个区块后,每一个区块的特征匹配的处理时间减少至在对N个区块的特征匹配进行串行处理的条件下,图像特征匹配的总处理时间为可以看出,特征匹配的处理时间可减少至/>tori表示在未对图像的重叠区域进行划分的基础上进行特征匹配的处理时间。
由于图像地理信息精度有限,如果划分区块N的个数过多,会导致特征匹配范围较小,在两幅图像的重叠区域偏差较为严重时,图像间匹配的特征数量过少,甚至不存在两两匹配的特征。因此为了解决上述问题,在此处N选取一个适中的数值为:
其中,[]表示向下取整,lenghti为第i幅图像重叠区域长边,widthi为第i幅图像重叠区域短边。
通过公式(15)对N进行取值,可以使得图像重叠区域划分的区块形状接近正方形,且划分数量适中,在速度提升的同时保证图像特征匹配的数量。
示例性的,可以利用共享内存并行编程(Open Multi-Processing,OpenMP)对基准图像和待配准图像重叠区域划分后的所有独立区块的特征匹配过程进行并行化处理,即,各个区块之间的特征匹配过程同时进行,充分利用服务器处理器多核心提高计算速度,在并行线程数为M的情况下,图像特征匹配的处理时间进一步减少至M为小于或等于N的正整数。
在一种实施方式中,至少两幅图像为ScanSAR图像中至少两个方位向的图像组,所述图像组包括至少两个子带对应的图像;相应地,所述根据特征提取结果,进行所述修正后的至少两幅图像的拼接,可以包括:根据所述特征提取结果,对所述至少两个方位向的图像组的拼接过程进行并行化处理,进行所述修正后的至少两幅图像的拼接;每个方位向的图像组的拼接过程包括图像组中至少两个子带对应的图像的拼接过程。
示例性的,在ScanSAR图像包括3个子带的情况下,每个子带对应3幅图像的情况下,可以是子带1对应的第一幅图像与子带2对应的第一幅图像进行拼接,待拼接完成后,再与子带3对应的第一幅图像进行拼接;还可以是子带3对应的第一幅图像与子带2对应的第一幅图像进行拼接,待拼接完成后,再与子带1对应的第一幅图像进行拼接;这里,对于不同子带之间图像的拼接顺序,本发明实施例不进行限制。
本发明实施例中,可以对沿方位向的不同图像组之间的拼接过程进行并行化处理。这里,图6为本发明实施例中图像拼接并行化处理的示意图,如图6所示,图像沿距离向由子带1、子带2、子带3、子带4和子带5组成,其中,每个子带对应七幅图像;这里,子带1至子带5对应的第一幅图像表示第一个图像组,子带1至子带5对应的第二幅图像表示第二个图像组,依此类推,子带1至子带5均有七个图像组;对不同方位向的图像组的拼接过程进行行并行化处理。
其中,第一个图像组的拼接过程可以为:子带1对应的第一幅图像和子带2对应的第1幅图像进行拼接,再将拼接完成后的图像与子带3对应的第1幅图像进行拼接,依此类推,第二个图像组至第七个图像组的拼接过程与第一个图像组的拼接过程相同。
每个图像组沿距离向拼接完成后,沿方位向的拼接过程为串行拼接,即,第一个图像组与第二个图像组进行拼接,再将拼接完成后的图像与第三个图像组进行拼接,依此类推。
本发明实施例中,在并行线程数为M的情况下,图像特征匹配的处理时间为当每个子带对应的图像个数为L时,L为大于1的正整数,在计算机处理器核心数量超过L×M的情况下,图像特征匹配的处理时间进一步减少至/>可以看出,随着子带对应图像个数的增加,图像特征匹配的并行化处理的速度,进而,图像拼接速度提升明显。
相关技术中,ScanSAR图像的拼接流程中对于特征匹配的算法时间优化不足,对于O(n2)时间复杂度的算法直接输入大量数据计算,会造成计算时间陡增,进而,使得图像特征匹配速度严重变慢。此外,ScanSAR图像的拼接流程的并行化程度不高,大数据量图像通常使用多核心服务器进行拼接,并行度较低会导致计算资源无法充分利用,造成图像拼接速度缓慢。
本发明实施例,利用时间复杂度为O(n2)的匹配算法的特点,将每个图像重叠区域划分为多个较小区块,基于ORB方法对所有区块进行并行化特征提取与匹配,减少运算时间。最后,对子带对应的各个图像组中的特征匹配过程进行并行化处理,进一步提升在多核心系统中的拼接效率。
本发明实施例中,可以通过单应性矩阵计算得到基准图像和待配准图像之间的映射关系,该映射关系可以用一个3x3大小的矩阵进行表示,该映射关系决定了对待配准图像的平移、缩放、旋转和拉伸等变换操作。在对基准图像和待配准图像进行单应性矩阵计算操作后,对待配准图像进行透视变换,其中,透视变换是一种改变图像尺寸和形状的操作,在透视变换完成后,将待配准图像与基准图像进行图像融合操作,得到基准图像和待配准图像的拼接图像。
为了能够更加体现本发明的目的,在本发明上述实施例的基础上,进行进一步的举例说明。
图7为本发明实施例中星载ScanSAR图像拼接方法流程图,如图7所示,该流程图主要由以下步骤组成:
步骤700:开始;
步骤701:输入卫星图像与卫星参数;
在一实施方式中,可以输入待处理的ScanSAR模式的卫星图像和卫星参数。
步骤702:亮度均衡处理;
在一实施方式中,对输入的卫星图像进行亮度均衡处理,由于不同的卫星图像之间亮度差异很大,因此图像拼接流程中需要对不同卫星图像之间的亮度进行均衡。
步骤703:地理定位;
在一实施方式中,根据卫星参数对图像进行地理定位,卫星参数可以是卫星轨道数据和雷达系统参数,其中,卫星轨道数据和雷达系统参数可以为斜视角等数据。
步骤704:图像比例修正;
在一实施方式中,通过步骤703的地理定位,得到图像的经纬度信息,利用图像的经纬度信息进行图像比例修正。
步骤705:重叠区域计算;
在一实施方式中,确定基准图像和待配准图像,根据步骤704中图像的经纬度信息计算基准图像和待配准图像之间的重叠率,根据重叠率确定基准图像的重叠区域和待配准图像的重叠区域。
步骤706:重叠区域分块;
在一实施方式中,将步骤705确定的基准图像的重叠区域和待配准图像的重叠区域划分为多个较小区块。
步骤707:并行ORB特征点提取;
在一实施方式中,利用ORB方法,对步骤706重叠区域划分后的各个区块的特征点进行并行提取;进一步的,如果每个子带对应的图像个数为至少两幅时,则对每个子带对应的图像进行并行化特征点提取。
步骤708:并行特征点匹配;
在一实施方式中,对步骤707提取到的所有特征点进行并行化特征点匹配;进一步的,如果每个子带对应的图像个数为至少两幅时,则对每个子带对应的图像进行并行化特征点匹配。
步骤709:单应性矩阵计算与透视变换;
在一实施方式中,通过单应性矩阵计算得到基准图像和待配准图像之间的映射关系,根据该映射关系确定对待配准图像的变换操作,在变换操作完成后,对待配准图像进行透视变换。
步骤710:图像融合;
在一实施方式中,将进行透视变换后的待配准图像与基准图像进行图像融合操作得到超宽幅图像。
步骤711:输出超宽幅图像;
在一实施方式中,将融合操作后得到的超宽幅图像进行输出。
步骤712:结束。
本发明实施例中的星载ScanSAR图像拼接方法可以利用图像处理装置的控制装置中的处理器实现,上述处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
下面通过一个具体的应用实施例进行进一步说明。
目前,我国ScanSAR图像拼接相关研究相对较少,拼接效果普遍不佳,且拼接速度较慢,本发明实施例提供一种图像处理方法能够快速拼接生成超宽幅图像;这里选取高分三号(GF-3)卫星ScanSAR图像进行测试,测试数据量为3个子带、各子带对应2幅图像。
在拼接速度方面,表1为本发明与相关技术中ScanSAR图像的拼接流程的对比结果。
表1
如表1所示,在拼接时间上,本发明实施例提供的图像处理方法相对于SIFT算法速度有非常明显的提升。此外,该测试结果是在3个子带、各子带对应2幅图像的情况下,随着子带对应的图像数量增加,图像并行处理的数量增多,拼接速度提升将更为明显。
在拼接准确度上,图8a为相关技术中直接使用ORB方法进行特征点提取和匹配的结果示意图,图8b为相关技术中直接使用SIFT算法进行特征点提取和匹配的结果示意图,图8c为本发明实施例中进行特征点提取和匹配的结果示意图,图8a-图8c中的白色线段表示进行图像间进行匹配的特征点之间的连线,可以看出,图8a可以看出ORB方法不能直接用于ScanSAR图像拼接;图8b相比图8a能够准确地匹配出更多的特征点,SIFT算法鲁棒性较好,但由于ScanSAR图像中目标物体形状不一致、噪声较大,导致还有一些误匹配点存在;图8c中图像目标物体形状一致,算法鲁棒性更好,匹配点数量和匹配准确度有了大幅度提升。
参见图9a,为相关技术中未进行比例校正的基准图像示意图,图9b为相关技术中未进行比例校正的待配准图像示意图,图9c为本发明实施例中经过比例校正的基准图像示意图,图9d为本发明实施例中经过比例校正的待配准图像示意图;从图9a和图9b可以看出,基准图像与待配准图像中相同物体的比例不一致,例如,图中的黑色河流区域,图9b明显比图9a中的要宽一些,而经过比例校正后的效果图为图9c和图9d所示,图中的黑色河流区域比例一致,可见,通过与基准图像与待配准图像进行比例修正后,可以使得图像间的物体特征形状保持一致,使用ORB方法可以提取匹配出更多匹配点,鲁棒性得到了提升,能够适用于ScanSAR图像。此外,在根据图像地理信息确定图像重的叠区域后,实现了误匹配点几乎不可见,使得图像拼接结果更加精确。
图10a为本发明实施例中进行拼接的子带一第一幅图像的示意图;图10b为本发明实施例中进行拼接的子带一第二幅图像的示意图;图10c为本发明实施例中进行拼接的子带一第三幅图像的示意图;图10d为本发明实施例中进行拼接的子带二第一幅图像的示意图;图10e为本发明实施例中进行拼接的子带二第二幅图像的示意图;图10f为本发明实施例中进行拼接的子带二第三幅图像的示意图;图10g为本发明实施例中对六幅图像进行拼接的结果示意图;如图10g所示,这六幅图像的重叠区域没有出现模糊的情况,拼接精度高,由于基于ORB方法对图像特征点进行并行匹配,而ORB方法具有特征点提取速度快的特点,能够使得拼接速度得到了明显提升,实现ScanSAR图像的快速拼接合成。
图11为本发明实施例的图像处理装置的组成结构示意图,如图11所示,装置包括:获取模块1100、修正模块1101和拼接模块1102,其中:
获取模块1100,用于获取待处理的至少两幅图像,所述至少两幅图像为ScanSAR图像中至少两个子带对应的图像;
修正模块1101,用于利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像;修正后的各幅图像中,任意两幅图像的像素指标的差值小于预设值,所述像素指标为单个像素表征的实际距离;
拼接模块1102,用于基于ORB方法对修正后的至少两幅图像进行特征提取,得到特征提取结果;根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接。
在一种实施方式中,所述修正后的各幅图像中,任意两幅图像的像素指标相等。
在一种实施方式中,所述修正模块1101,用于利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像,包括:
根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订;所述列像素数表示图像中长度方向的像素数,所述行像素数表示图像中宽度方向的像素数;
根据比例修订后的列像素数和行像素数,对所述至少两幅图像进行重采样,得到修正后的至少两幅图像。
在一种实施方式中,所述修正模块1101,还用于根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订,包括:
根据所述至少两幅图像的地理位置信息,确定所述至少两幅图像的长度矢量和宽度矢量,其中,所述长度矢量表示图像中长度方向的相对位置矢量,所述宽度矢量表示图像中宽度方向相对位置的矢量;
根据所述至少两幅图像的长度矢量,得出所述至少两幅图像的列像素数的修订系数;基于所述列像素数的修订系数,对所述列像素数进行比例修订;
根据所述至少两幅图像的宽度矢量,得出所述至少两幅图像的行像素数的修订系数;基于所述行像素数的修订系数,对所述行像素数进行比例修订。
在一种实施方式中,所述拼接模块1102,用于基于ORB方法对修正后的所述至少两幅图像进行特征提取,得到特征提取结果,包括:
利用所述图像的地理位置信息,确定第一待匹配图像和第二待匹配图像的重叠区域,所述第一待匹配图像和所述第二待匹配图像为所述修正后的所述至少两幅图像中需要进行图像拼接的任意两幅图像;
基于ORB方法对第一区域进行特征提取,得到第一提取结果,所述第一区域至少包括第一待匹配图像的重叠区域;
基于ORB方法对第二区域进行特征提取,得到第二提取结果,所述第二区域至少包括第二待匹配图像的重叠区域;
得到所述特征提取结果,所述特征提取结果包括所述第一提取结果和所述第二提取结果。
在一种实施方式中,所述拼接模块1102,用于基于ORB方法对第一区域进行特征提取,包括:
对所述第一区域进行区块划分处理,得到第一区块集;基于ORB方法对所述第一区块集的区块进行特征提取;
所述拼接模块1102,用于基于ORB方法对第二区域进行特征提取,包括:
对所述第二区域进行区块划分处理,得到第二区块集;基于ORB方法对所述第二区块集的区块进行特征提取。
在一种实施方式中,所述拼接模块1102,还用于基于ORB方法对所述第一区块集的区块进行特征提取,包括:
基于ORB方法对所述第一区块集的区块进行并行化特征提取;
所述拼接模块1102,还用于基于ORB方法对所述第二区块集的区块进行特征提取,包括:
基于ORB方法对所述第二区块集的区块进行并行化特征提取。
在一种实施方式中,所述拼接模块1102,还用于根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接,包括:
对所述第一提取结果中各个区块的提取结果与所述第二提取结果中各个区块的提取结果进行并行化特征匹配;
根据特征匹配结果,进行所述修正后的至少两幅图像的拼接。
在一种实施方式中,所述至少两幅图像为ScanSAR图像中至少两个方位向的图像组,所述图像组包括至少两个子带对应的图像;
相应地,所述拼接模块1102,还用于根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接,包括:
根据所述特征提取结果,对所述至少两个方位向的图像组的拼接过程进行行并行化处理,进行所述修正后的至少两幅图像的拼接;每个方位向的图像组的拼接过程包括图像组中至少两个子带对应的图像的拼接过程。
在一种实施方式中,所述获取模块1100,还用于在基于ORB方法对修正后的所述至少两幅图像进行特征提取之前,对所述至少两幅图像进行扇贝效应的抑制处理。
在实际应用中,上述获取模块1100、修正模块1101和拼接模块1102均可以由位于电子设备中的处理器实现,该处理器可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。
另外,在本实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
基于前述实施例相同的技术构思,参见图12,其示出了本发明实施例提供的一种电子设备1200,可以包括:存储器1201和处理器1202;其中,
存储器1201,用于存储计算机程序和数据;
处理器1202,用于执行存储器中存储的计算机程序,以实现前述实施例的任意一种图像处理方法。
在实际应用中,上述存储器1201可以是易失性存储器(volatile memory),例如RAM;或者非易失性存储器(non-volatile memory),例如ROM、快闪存储器(flash memory)、硬盘(Hard Disk Drive,HDD)或固态硬盘(Solid-State Drive,SSD);或者上述种类的存储器的组合,并向处理器1202提供指令和数据。
上述处理器1202可以为ASIC、DSP、DSPD、PLD、FPGA、CPU、控制器、微控制器、微处理器中的至少一种。可以理解地,对于不同的增强现实云平台,用于实现上述处理器功能的电子器件还可以为其它,本发明实施例不作具体限定。
在一些实施例中,本发明实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述
上文对各个实施例的描述倾向于强调各个实施例之间的不同之处,其相同或相似之处可以互相参考,为了简洁,本文不再赘述
本发明所提供的各方法实施例中所揭露的方法,在不冲突的情况下可以任意组合,得到新的方法实施例。
本发明所提供的各产品实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的产品实施例。
本发明所提供的各方法或设备实施例中所揭露的特征,在不冲突的情况下可以任意组合,得到新的方法实施例或设备实施例。
本领域内的技术人员应明白,本发明的实施例可提供为方法、系统、或计算机程序产品。因此,本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。

Claims (9)

1.一种图像处理方法,其特征在于,所述方法包括:
获取待处理的至少两幅图像,所述至少两幅图像为扫描合成孔径雷达ScanSAR图像中至少两个子带对应的图像;
利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像;修正后的各幅图像中,任意两幅图像的像素指标的差值小于预设值,所述像素指标为单个像素表征的实际距离;所述修正后的各幅图像中,任意两幅图像的像素指标相等;
基于ORB方法对修正后的至少两幅图像进行特征提取,得到特征提取结果;根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接;
所述利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像,包括:
根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订;所述列像素数表示图像中长度方向的像素数,所述行像素数表示图像中宽度方向的像素数;
根据比例修订后的列像素数和行像素数,对所述至少两幅图像进行重采样,得到修正后的至少两幅图像;
所述根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订,包括:
根据所述至少两幅图像的地理位置信息,确定所述至少两幅图像的长度矢量和宽度矢量,其中,所述长度矢量表示图像中长度方向的相对位置矢量,所述宽度矢量表示图像中宽度方向相对位置的矢量;
根据所述至少两幅图像的长度矢量,得出所述至少两幅图像的列像素数的修订系数;基于所述列像素数的修订系数,对所述列像素数进行比例修订;
根据所述至少两幅图像的宽度矢量,得出所述至少两幅图像的行像素数的修订系数;基于所述行像素数的修订系数,对所述行像素数进行比例修订。
2.根据权利要求1所述的方法,其特征在于,所述基于ORB方法对修正后的所述至少两幅图像进行特征提取,得到特征提取结果,包括:
利用所述图像的地理位置信息,确定第一待匹配图像和第二待匹配图像的重叠区域,所述第一待匹配图像和所述第二待匹配图像为所述修正后的至少两幅图像中需要进行图像拼接的任意两幅图像;
基于ORB方法对第一区域进行特征提取,得到第一提取结果,所述第一区域至少包括第一待匹配图像的重叠区域;
基于ORB方法对第二区域进行特征提取,得到第二提取结果,所述第二区域至少包括第二待匹配图像的重叠区域;
得到所述特征提取结果,所述特征提取结果包括所述第一提取结果和所述第二提取结果。
3.根据权利要求2所述的方法,其特征在于,所述基于ORB方法对第一区域进行特征提取,包括:
对所述第一区域进行区块划分处理,得到第一区块集;基于ORB方法对所述第一区块集的区块进行特征提取;
所述基于ORB方法对第二区域进行特征提取,包括:
对所述第二区域进行区块划分处理,得到第二区块集;基于ORB方法对所述第二区块集的区块进行特征提取。
4.根据权利要求3所述的方法,其特征在于,所述基于ORB方法对所述第一区块集的区块进行特征提取,包括:
基于ORB方法对所述第一区块集的区块进行并行化特征提取;
所述基于ORB方法对所述第二区块集的区块进行特征提取,包括:
基于ORB方法对所述第二区块集的区块进行并行化特征提取。
5.根据权利要求3或4所述的方法,其特征在于,所述根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接,包括:
对所述第一提取结果中各个区块的提取结果与所述第二提取结果中各个区块的提取结果进行并行化特征匹配;
根据特征匹配结果,进行所述修正后的至少两幅图像的拼接。
6.根据权利要求1所述的方法,其特征在于,所述至少两幅图像为ScanSAR图像中至少两个方位向的图像组,所述图像组包括至少两个子带对应的图像;
相应地,所述根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接,包括:
根据所述特征提取结果,对所述至少两个方位向的图像组的拼接过程进行行并行化处理,进行所述修正后的至少两幅图像的拼接;每个方位向的图像组的拼接过程包括图像组中至少两个子带对应的图像的拼接过程。
7.根据权利要求1所述的方法,其特征在于,在基于ORB方法对修正后的所述至少两幅图像进行特征提取之前,所述方法还包括:
对所述至少两幅图像进行扇贝效应的抑制处理。
8.一种图像处理装置,其特征在于,所述装置包括:
获取模块,用于获取待处理的至少两幅图像,所述至少两幅图像为ScanSAR图像中至少两个子带对应的图像;
修正模块,用于利用所述图像的地理位置信息对所述至少两幅图像的比例进行修正,得到修正后的至少两幅图像;修正后的各幅图像中,任意两幅图像的像素指标的差值小于预设值,所述像素指标为单个像素表征的实际距离,所述修正后的各幅图像中,任意两幅图像的像素指标相等;
拼接模块,用于基于ORB方法对修正后的至少两幅图像进行特征提取,得到特征提取结果;根据所述特征提取结果,进行所述修正后的至少两幅图像的拼接;
所述修正模块,还用于根据所述至少两幅图像的地理位置信息,对所述至少两幅图像的列像素数和行像素数进行比例修订;所述列像素数表示图像中长度方向的像素数,所述行像素数表示图像中宽度方向的像素数;根据比例修订后的列像素数和行像素数,对所述至少两幅图像进行重采样,得到修正后的至少两幅图像;
所述修正模块,还用于根据所述至少两幅图像的地理位置信息,确定所述至少两幅图像的长度矢量和宽度矢量,其中,所述长度矢量表示图像中长度方向的相对位置矢量,所述宽度矢量表示图像中宽度方向相对位置的矢量;根据所述至少两幅图像的长度矢量,得出所述至少两幅图像的列像素数的修订系数;基于所述列像素数的修订系数,对所述列像素数进行比例修订;根据所述至少两幅图像的宽度矢量,得出所述至少两幅图像的行像素数的修订系数;基于所述行像素数的修订系数,对所述行像素数进行比例修订。
9.一种电子设备,其特征在于,所述设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现权利要求1至7任一项所述方法的步骤。
CN202010486172.XA 2020-06-01 2020-06-01 一种图像处理方法、装置和电子设备 Active CN111768337B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010486172.XA CN111768337B (zh) 2020-06-01 2020-06-01 一种图像处理方法、装置和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010486172.XA CN111768337B (zh) 2020-06-01 2020-06-01 一种图像处理方法、装置和电子设备

Publications (2)

Publication Number Publication Date
CN111768337A CN111768337A (zh) 2020-10-13
CN111768337B true CN111768337B (zh) 2024-05-14

Family

ID=72719997

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010486172.XA Active CN111768337B (zh) 2020-06-01 2020-06-01 一种图像处理方法、装置和电子设备

Country Status (1)

Country Link
CN (1) CN111768337B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112750077B (zh) * 2020-12-14 2023-01-20 中国船舶重工集团公司第七0九研究所 一种并行化的合成孔径雷达图像子带拼接效应处理方法
CN112966548B (zh) * 2021-01-18 2023-10-27 中国农业科学院农业信息研究所 一种大豆地块识别方法及系统
CN112819729B (zh) * 2021-02-23 2022-08-30 中国科学院空天信息创新研究院 一种图像校正方法、装置、计算机存储介质及设备
CN113298720B (zh) * 2021-04-21 2022-08-19 重庆邮电大学 一种自适应的重叠图像旋转方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN107945113A (zh) * 2017-11-17 2018-04-20 北京天睿空间科技股份有限公司 局部图像拼接错位的矫正方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106023086A (zh) * 2016-07-06 2016-10-12 中国电子科技集团公司第二十八研究所 一种基于orb特征匹配的航拍影像及地理数据拼接方法
CN107945113A (zh) * 2017-11-17 2018-04-20 北京天睿空间科技股份有限公司 局部图像拼接错位的矫正方法

Also Published As

Publication number Publication date
CN111768337A (zh) 2020-10-13

Similar Documents

Publication Publication Date Title
CN111768337B (zh) 一种图像处理方法、装置和电子设备
CN112017224B (zh) Sar数据区域网平差处理方法和系统
CN110728706B (zh) 基于深度学习的sar图像精细配准方法
CN108564532B (zh) 大尺度地距星载sar图像镶嵌方法
CN116109706B (zh) 基于先验几何约束的空间目标反演方法、装置和设备
CN108562900B (zh) 一种基于高程校正的sar图像几何配准方法
Re et al. Evaluation of area-based image matching applied to DTM generation with Hirise images
CN114972545A (zh) 一种高光谱卫星的在轨数据快速预处理方法
CN110109104B (zh) 一种阵列sar等距离切片成像几何畸变校正方法
CN111652931A (zh) 一种地理定位方法、装置、设备及计算机可读存储介质
CN109579796B (zh) 一种投影后影像的区域网平差方法
Hu et al. Planetary3D: A photogrammetric tool for 3D topographic mapping of planetary bodies
WO2023088487A1 (zh) 一种高光谱影像正摄校正方法及装置、存储介质
CN114693755B (zh) 多模图像最大矩与空间一致性的非刚性配准方法及系统
JP5252855B2 (ja) 地図の座標補正方法及び座標補正装置並びに座標補正プログラム
CN116681844A (zh) 一种基于亚米级立体像对卫星影像的建筑物白膜构建方法
CN114332440B (zh) 采用stl格式3D模型反演生成目标SAR图像的方法
CN113592744B (zh) 一种适用于高分辨率遥感影像的几何精校正方法
CN115689941A (zh) 一种跨域生成对抗的sar影像补偿方法及计算机可读介质
CN109035312A (zh) 一种dem辅助的sar图像高精度配准方法
CN115330619A (zh) 适用于高分辨率遥感影像的局部几何精校正方法
CN109919998B (zh) 卫星姿态确定方法、装置和终端设备
CN112598717A (zh) 高光谱卫星影像全谱段配准方法及介质
Wan et al. Ortho-rectification of high-resolution SAR image in mountain area by DEM
Crespi et al. Radiometric quality and DSM generation analysis of CartoSat-1 stereo imagery

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant