CN116310832A - 遥感图像处理方法、装置、设备、介质及产品 - Google Patents

遥感图像处理方法、装置、设备、介质及产品 Download PDF

Info

Publication number
CN116310832A
CN116310832A CN202310312119.1A CN202310312119A CN116310832A CN 116310832 A CN116310832 A CN 116310832A CN 202310312119 A CN202310312119 A CN 202310312119A CN 116310832 A CN116310832 A CN 116310832A
Authority
CN
China
Prior art keywords
shallow
feature
deep
map
farmland
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310312119.1A
Other languages
English (en)
Inventor
程飞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industrial and Commercial Bank of China Ltd ICBC
Original Assignee
Industrial and Commercial Bank of China Ltd ICBC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industrial and Commercial Bank of China Ltd ICBC filed Critical Industrial and Commercial Bank of China Ltd ICBC
Priority to CN202310312119.1A priority Critical patent/CN116310832A/zh
Publication of CN116310832A publication Critical patent/CN116310832A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本申请属于金融科技领域或其他相关领域，具体提供一种遥感图像处理方法、装置、设备、介质及产品，该方法包括：基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图；预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构；对深层特征图和浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征；根据深层纹理特征和浅层纹理特征确定图像分割尺度；根据图像分割尺度对深层特征图和浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域；将深层农田特征区域和浅层农田特征区域进行融合，生成农田特征图。本申请的方法，准确性更高。

Description

遥感图像处理方法、装置、设备、介质及产品
技术领域
本申请涉及金融科技领域或其他相关领域，尤其涉及一种遥感图像处理方法、装置、设备、介质及产品。
背景技术
随着计算机视觉和卫星技术的快速发展和应用落地，卫星遥感图像数据和目标检测技术相结合可以大规模的降低成本来监测农田信息，高效且实时。在农田产量预测方面，快速精准的获取该区域作物和空间分布信息，对作物进行准确的产能预测，对于农业生产安全预警、产业结构优化以及农产品销售流通有着重要的支撑意义。在金融领域，比如银行业，同样也需要农业产量的实时监测，协助提供客户画像，核实申请信息是否真实、掌握农田信息变化以及农产品长势情况等。
目前的农业遥感图像识别方式一般是采用传统方式或深度学习方式，两者都没有考虑到在复杂环境中小户农田的特征提取和融合问题。在复杂背景中遥感农业图像小目标多且像素信息较少，在特征多次采样过程中容易丢失，从而导致从农业遥感图像的提取出的农田特征图的准确性较低。
发明内容
本申请提供一种遥感图像处理方法、装置、设备、介质及产品，用以解决目前在复杂背景中遥感农业图像小目标多且像素信息较少，在特征多次采样过程中容易丢失，从而导致从农业遥感图像的提取出的农田特征图的准确性的问题。
本申请第一方面提供一种遥感图像处理方法，包括：
基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图；所述预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构；
对所述深层特征图和所述浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征；
根据所述深层纹理特征和浅层纹理特征确定图像分割尺度；
根据所述图像分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域；
将所述深层农田特征区域和所述浅层农田特征区域进行融合，生成农田特征图。
进一步地，如上所述的方法，所述预设特征处理模型包括：预设特征提取网络和特征金字塔结构；
所述基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图，包括：
将待处理的农业遥感图像输入预设特征提取网络，生成自下而上的多个特征图像；
基于特征金字塔结构对各所述特征图像进行融合，生成对应深层特征图和浅层特征图。
进一步地，如上所述的方法，所述基于特征金字塔结构对各所述特征图像进行融合，生成对应深层特征图和浅层特征图，包括：
基于特征金字塔结构和最上层的特征图像确定深层特征图；
将深层特征图确定为当前特征图，循环以下步骤直至生成浅层特征图：
采用空间细化模块对所述当前特征图进行上采样，得到上采样特征图以及上采样特征图对应的上采样偏移量；
采用可微双线性采样机制对所述当前特征图进行全局信息采集处理，以生成所述当前特征图对应的全局信息；
采用空间细化模块根据所述上采样偏移量以及全局信息对所述上采样特征图与同层特征图像进行融合，得到自上而下结构中当前特征图对应的下一层特征图；所述同层特征图像为与所述上采样特征图相同维度的特征图像；
将下一层特征图确定为当前特征图。
进一步地，如上所述的方法，所述根据所述深层纹理特征和浅层纹理特征确定图像分割尺度，包括：
采用K均值聚类算法基于所述深层纹理特征和浅层纹理特征对浅层特征图进行聚类处理，生成浅层同质区域；所述浅层同质区域为浅层特征图上像素颜色差异小的区域；
根据所述浅层同质区域和所述深层特征图确定图像分割尺度。
进一步地，如上所述的方法，所述图像分割尺度包括空间分割尺度、光谱分割尺度和纹理分割尺度；
所述根据所述浅层同质区域和所述深层特征图确定图像分割尺度，包括：
对所述浅层同质区域和所述深层特征图中目标选择窗口的尺寸进行迭代增加，生成当前迭代次数对应的当前迭代尺寸；
确定窗口区域内所有像素的均值和各像素的局部方差；所述窗口区域为当前迭代尺寸对应的目标选择窗口中选择的浅层同质区域的局部区域和深层特征图的局部区域；
确定当前迭代次数与前一次迭代次数之间所述均值的一阶变化率和二阶变化率；
若一阶变化率小于预设一阶变化阈值，且二阶变化率小于预设二阶变化阈值，则结束迭代，并将结束迭代时的当前迭代尺寸输入预设尺寸尺度关系算法，生成对应空间分割尺度；
将结束迭代时目标选择窗口中的各像素的局部方差输入预设尺度确定算法，生成对应光谱分割尺度和纹理分割尺度。
进一步地，如上所述的方法，所述根据所述图像分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域，包括：
采用均值位移算法基于空间分割尺度、光谱分割尺度和纹理分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域。
进一步地，如上所述的方法，所述将所述深层农田特征区域和所述浅层农田特征区域进行融合，生成农田特征图，包括：
构建所述深层农田特征区域对应的深层区域邻接图和所述浅层农田特征区域对应的浅层区域邻接图；
基于合并成本函数和预设合并成本阈值对浅层区域邻接图中各区域进行合并，生成合并后的浅层区域邻接图；
基于合并成本函数和预设合并成本阈值对深层区域邻接图中各区域进行合并，生成合并后的深层区域邻接图；
对合并后的深层区域邻接图以及合并后的浅层区域邻接图进行融合，生成农田特征图。
进一步地，如上所述的方法，所述基于合并成本函数和预设合并成本阈值对浅层区域邻接图中各区域进行合并，生成合并后的浅层区域邻接图，包括：
基于合并成本函数确定浅层区域邻接图中各相邻区域的合并成本；
选择合并成本小于所述预设合并成本阈值的相邻区域进行合并，生成合并后的浅层区域邻接图。
进一步地，如上所述的方法，所述将所述深层农田特征和所述浅层农田特征进行融合，生成农田特征图之后，还包括：
根据所述农田特征图提取所述农业遥感图像中的农田区域，生成农田图像。
本申请第二方面提供一种遥感图像处理装置，包括：
第一生成模块，用于基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图；所述预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构；
第二生成模块，用于对所述深层特征图和所述浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征；
确定模块，用于根据所述深层纹理特征和浅层纹理特征确定图像分割尺度；
第三生成模块，用于根据所述图像分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域；
第四生成模块，用于将所述深层农田特征区域和所述浅层农田特征区域进行融合，生成农田特征图。
进一步地，如上所述的装置，所述预设特征处理模型包括：预设特征提取网络和特征金字塔结构；
所述第一生成模块具体用于：
将待处理的农业遥感图像输入预设特征提取网络，生成自下而上的多个特征图像；基于特征金字塔结构对各所述特征图像进行融合，生成对应深层特征图和浅层特征图。
进一步地，如上所述的装置，所述第一生成模块在基于特征金字塔结构对各所述特征图像进行融合，生成对应深层特征图和浅层特征图时，具体用于：
基于特征金字塔结构和最上层的特征图像确定深层特征图；将深层特征图确定为当前特征图，循环以下步骤直至生成浅层特征图：采用空间细化模块对所述当前特征图进行上采样，得到上采样特征图以及上采样特征图对应的上采样偏移量；采用可微双线性采样机制对所述当前特征图进行全局信息采集处理，以生成所述当前特征图对应的全局信息；采用空间细化模块根据所述上采样偏移量以及全局信息对所述上采样特征图与同层特征图像进行融合，得到自上而下结构中当前特征图对应的下一层特征图；所述同层特征图像为与所述上采样特征图相同维度的特征图像；将下一层特征图确定为当前特征图。
进一步地，如上所述的装置，所述确定模块具体用于：
采用K均值聚类算法基于所述深层纹理特征和浅层纹理特征对浅层特征图进行聚类处理，生成浅层同质区域；所述浅层同质区域为浅层特征图上像素颜色差异小的区域；根据所述浅层同质区域和所述深层特征图确定图像分割尺度。
进一步地，如上所述的装置，所述图像分割尺度包括空间分割尺度、光谱分割尺度和纹理分割尺度；
所述确定模块在根据所述浅层同质区域和所述深层特征图确定图像分割尺度时，具体用于：
对所述浅层同质区域和所述深层特征图中目标选择窗口的尺寸进行迭代增加，生成当前迭代次数对应的当前迭代尺寸；确定窗口区域内所有像素的均值和各像素的局部方差；所述窗口区域为当前迭代尺寸对应的目标选择窗口中选择的浅层同质区域的局部区域和深层特征图的局部区域；确定当前迭代次数与前一次迭代次数之间所述均值的一阶变化率和二阶变化率；若一阶变化率小于预设一阶变化阈值，且二阶变化率小于预设二阶变化阈值，则结束迭代，并将结束迭代时的当前迭代尺寸输入预设尺寸尺度关系算法，生成对应空间分割尺度；将结束迭代时目标选择窗口中的各像素的局部方差输入预设尺度确定算法，生成对应光谱分割尺度和纹理分割尺度。
进一步地，如上所述的装置，所述第三生成模块在根据所述图像分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域时，具体用于：
采用均值位移算法基于空间分割尺度、光谱分割尺度和纹理分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域。
进一步地，如上所述的装置，所述第四生成模块具体用于：
构建所述深层农田特征区域对应的深层区域邻接图和所述浅层农田特征区域对应的浅层区域邻接图；基于合并成本函数和预设合并成本阈值对浅层区域邻接图中各区域进行合并，生成合并后的浅层区域邻接图；基于合并成本函数和预设合并成本阈值对深层区域邻接图中各区域进行合并，生成合并后的深层区域邻接图；对合并后的深层区域邻接图以及合并后的浅层区域邻接图进行融合，生成农田特征图。
进一步地，如上所述的装置，所述第四生成模块在基于合并成本函数和预设合并成本阈值对浅层区域邻接图中各区域进行合并，生成合并后的浅层区域邻接图时，具体用于：
基于合并成本函数确定浅层区域邻接图中各相邻区域的合并成本；选择合并成本小于所述预设合并成本阈值的相邻区域进行合并，生成合并后的浅层区域邻接图。
进一步地，如上所述的装置，所述装置还包括：
第五生成模块，用于根据所述农田特征图提取所述农业遥感图像中的农田区域，生成农田图像。
本申请第三方面提供一种电子设备，包括：存储器和处理器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如第一方面任一项所述的遥感图像处理方法。
本申请第四方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面任一项所述的遥感图像处理方法。
本申请第五方面提供一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现第一方面任一项所述的遥感图像处理方法。
本申请提供的一种遥感图像处理方法、装置、设备、介质及产品，该方法包括：基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图；所述预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构；对所述深层特征图和所述浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征；根据所述深层纹理特征和浅层纹理特征确定图像分割尺度；根据所述图像分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域；将所述深层农田特征区域和所述浅层农田特征区域进行融合，生成农田特征图。本申请的遥感图像处理方法，通过在预设特征处理模型中设置自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构，从而可以在进行特征提取和特征融合时保留小目标特征和更多语义信息。同时，为了增强特征边缘信息和减少融合出现的冗余模糊，在自上而下的过程中增加空间细化模块，使特征信息更加明确。在得到深层特征图和所述浅层特征图后，根据图像分割尺度进行分割、融合后得到的农田特征图准确性更高。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。
图1为可以实现本申请实施例的遥感图像处理方法的场景图；
图2为本申请提供的遥感图像处理方法的流程示意图一；
图3为本申请提供的遥感图像处理方法的流程示意图二；
图4为本申请提供的遥感图像处理方法的特征提取融合流程示意图一；
图5为本申请提供的遥感图像处理方法的特征提取融合流程示意图二；
图6为本申请提供的遥感图像处理方法的采样偏移和全局信息示意图；
图7a为本申请提供的区域邻接图示意图一；
图7b为本申请提供的区域邻接图示意图二；
图7c为本申请提供的区域邻接图示意图三；
图7d为本申请提供的区域邻接图示意图四；
图8为本申请提供的遥感图像处理装置的结构示意图；
图9为本申请提供的电子设备的结构示意图。
通过上述附图，已示出本申请明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本申请构思的范围，而是通过参考特定实施例为本领域技术人员说明本申请的概念。
具体实施方式
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
本申请实施例的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
需要说明的是，本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
需要说明的是，本公开遥感图像处理方法、装置、设备、介质及产品可用于金融科技领域或其他相关领域。也可用于除金融科技领域或其他相关领域以外的任意领域。本公开遥感图像处理方法、装置、设备、介质及产品应用领域不作限定。
下面对相关术语进行解释：
特征金字塔(英文全称为：Feature Pyramid Network，英文简称为：FPN)：对不同尺度的特征提取进行融合，用于多尺度检测对象识别模型的基本组件。
浅层特征：在特征融合自上向下中最后一层的特征。
深层特征：在特征融合自上向下中最初一层的特征。
同质区域：农业遥感图中像素颜色差异小的区域。
异质区域：农业遥感图中像素颜色差异大的区域。
纹理特征：纹理是一种反映像素空间分布属性的图像特性，包含对象表面结构组织排列的重要信息以及它们与周围环境的关系。
高斯过程(英文全称为：Gaussian Process，英文简称为：GP)，是一系列服从正态分布的随机变量在一指数集内的组合。
下面以具体地实施例对本申请的技术方案进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。
为了清楚理解本申请的技术方案，首先对现有技术的方案进行详细介绍。目前，现有的农田提取技术主要分为传统方法和深度学习两大类。传统方法主要是采用多分辨率分割方法从极高分辨率图像中获取目标，并提取光谱、形状和纹理特征作为GP的输入，然后利用GP自动化出最优分类器，提取农田。而深度学习方法主要分为多任务编码-解码器网络，其中解码(检测、连续和离线)利用基于空间、光谱和时间线索的深度学习从遥感图像中自动提取准确的边界。端到端、单阶段的遥感图像时间序列的全景分割方法，该模块依赖于时间自注意的新型图像序列编码网络，提出了丰富、自适应的多尺度时空特征，在特征单元与最大池之间引入空间和信道注意力机制模块、并添加多尺度融合。
目前在传统和深度学习方法，没有考虑到在复杂环境中小户农田的特征提取和融合问题。由于部分农田之间的山脊和道路通常很窄，会造成相邻农田混淆特征，细分不足，会在农田的边界上，导致不准确和不完整的农田地块识别(体积小，形状不规则)。在复杂背景中遥感农业图像小目标多且像素信息较少，在特征多次采样过程中容易丢失，从而导致从农业遥感图像的提取出的农田特征图的准确性较低。
所以针对现有技术中在复杂背景中遥感农业图像小目标多且像素信息较少，在特征多次采样过程中容易丢失，从而导致从农业遥感图像的提取出的农田特征图的准确性较低的问题，发明人在研究中发现，为了解决该问题，可以通过在预设特征处理模型中设置自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构，从而可以在进行特征提取和特征融合时保留小目标特征和更多语义信息。同时，为了增强特征边缘信息和减少融合出现的冗余模糊，在自上而下的过程中增加空间细化模块，使特征信息更加明确。从而提高农田特征图准确性。
具体的，基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图。预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构。对深层特征图和浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征。根据深层纹理特征和浅层纹理特征确定图像分割尺度。根据图像分割尺度对深层特征图和浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域。将深层农田特征区域和浅层农田特征区域进行融合，生成农田特征图。
本实施例的遥感图像处理方法，通过在预设特征处理模型中设置自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构，从而可以在进行特征提取和特征融合时保留小目标特征和更多语义信息。同时，为了增强特征边缘信息和减少融合出现的冗余模糊，在自上而下的过程中增加空间细化模块，使特征信息更加明确。在得到深层特征图和浅层特征图后，根据图像分割尺度进行分割、融合后得到的农田特征图准确性更高。
发明人基于上述的创造性发现，提出了本申请的技术方案。
下面对本申请实施例提供的遥感图像处理方法的应用场景进行介绍。如图1所示，其中，1为第一电子设备，2为第二电子设备，3为第三电子设备。本申请实施例提供的遥感图像处理方法对应的应用场景的网络架构中包括：第一电子设备1、第二电子设备2和第三电子设备3。第二电子设备2存储有农业遥感图像。
示例性的，需要提取农业遥感图像中农田特征图时，第一电子设备1从第二电子设备2处获取待处理的农业遥感图像，第一电子设备1基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图。其中，预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构。第一电子设备1对深层特征图和浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征。同时，根据深层纹理特征和浅层纹理特征确定图像分割尺度。根据图像分割尺度对深层特征图和浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域。第一电子设备1将深层农田特征区域和浅层农田特征区域进行融合，生成农田特征图。在生成农田特征图后，第一电子设备1可以输出农田特征图至第三电子设备3，以供第三电子设备3进行农田图像提取处理或者农田识别处理等。
下面结合说明书附图对本申请实施例进行介绍。
图2为本申请提供的遥感图像处理方法的流程示意图一，如图2所示，本实施例中，本申请实施例的执行主体为遥感图像处理装置，该遥感图像处理装置可以集成在电子设备中，电子设备可以为计算机、移动终端等设备。则本实施例提供的遥感图像处理方法包括以下几个步骤：
步骤S101，基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图。预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构。
本实施例中，预设特征处理模型可以包括特征金字塔结构，特征金字塔结构为对不同尺度的特征提取进行融合，用于多尺度检测对象识别模型的基本组件。特征金字塔结构可以在进行特征提取和特征融合时保留小目标特征和更多语义信息。
深层特征图为在特征融合自上向下中最初一层的特征图，在本实施例应用场景中，可以指复杂地形中不好区分且难以提取农田轮廓的图像特征部分。浅层特征图为在特征融合自上向下中最后一层的特征，浅层特征图在本实施例应用场景中可以指相对开阔且能很容易得到农田轮廓的图像特征部分。
空间细化模块嵌于特征金字塔自上而下相邻层之间，具体网络结构如图4所示。空间细化模块整体的工作过程包括两个子任务：采样点偏移和全局信息细化。用于解决农田特征上采样时导致的偏移问题，可以增强特征边缘信息和减少融合出现的冗余模糊，使特征信息更加明确。
步骤S102，对深层特征图和浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征。
本实施例中，可以通过对深层特征图和浅层特征图进行纹理特征计算和可分离性分析，从而实现纹理特征提取，生成深层纹理特征和浅层纹理特征。
步骤S103，根据深层纹理特征和浅层纹理特征确定图像分割尺度。
由于浅层特征图中包含较多语义信息和其它环境干扰，可以根据深层纹理特征和浅层纹理特征进一步筛选浅层特征图，从而去除干扰信息。通过确定去除干扰信息的浅层特征图以及深层特征图对应的图像分割尺度，可以提高图像分割尺度的准确性。
步骤S104，根据图像分割尺度对深层特征图和浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域。
基于图像分割尺度，可以采用均值位移算法对深层特征图和浅层特征图进行分割，提高分割准确性。
步骤S105，将深层农田特征区域和浅层农田特征区域进行融合，生成农田特征图。
由于浅层特征图中的特征可以用于将简单的目标区分开，利用深层特征图中的特征可以用于将复杂的目标区分开。因此，将深层农田特征区域和浅层农田特征区域进行融合可以提高对小目标农田和大目标农田的提取，从而提高农田特征图准确性。
本申请实施例提供的一种遥感图像处理方法、装置、设备、介质及产品，该方法包括：基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图。预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构。对深层特征图和浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征。根据深层纹理特征和浅层纹理特征确定图像分割尺度。根据图像分割尺度对深层特征图和浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域。将深层农田特征区域和浅层农田特征区域进行融合，生成农田特征图。
本申请的遥感图像处理方法，通过在预设特征处理模型中设置自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构，从而可以在进行特征提取和特征融合时保留小目标特征和更多语义信息。同时，为了增强特征边缘信息和减少融合出现的冗余模糊，在自上而下的过程中增加空间细化模块，使特征信息更加明确。在得到深层特征图和浅层特征图后，根据图像分割尺度进行分割、融合后得到的农田特征图准确性更高。
图3为本申请提供的遥感图像处理方法的流程示意图二，如图3所示，本实施例提供的遥感图像处理方法，是在本申请上一实施例提供的遥感图像处理方法的基础上，进行了进一步的细化。则本实施例提供的遥感图像处理方法包括以下步骤。
步骤S201，将待处理的农业遥感图像输入预设特征提取网络，生成自下而上的多个特征图像。
本实施例中，预设特征提取网络可以为ResNet网络(残差网络)，通过预训练的ResNet网络构建自下而上的网络。示例性的，如图4所示，通过ResNet网络进行特征提取，生成多个自下而上的特征图像C2、C3、C4、C5。
步骤S202，基于特征金字塔结构对各特征图像进行融合，生成对应深层特征图和浅层特征图。
示例性的，如图4所示，对各特征图像进行融合后生成多个融合后的特征图P5、P4、P3以及P2，其中，P5为深层特征图，P2为浅层特征图。
可选的，本实施例中，步骤S202具体为：
基于特征金字塔结构和最上层的特征图像确定深层特征图。
将深层特征图确定为当前特征图，循环以下步骤直至生成浅层特征图：
采用空间细化模块对当前特征图进行上采样，得到上采样特征图以及上采样特征图对应的上采样偏移量。
采用可微双线性采样机制对当前特征图进行全局信息采集处理，以生成当前特征图对应的全局信息。
采用空间细化模块根据上采样偏移量以及全局信息对上采样特征图与同层特征图像进行融合，得到自上而下结构中当前特征图对应的下一层特征图。同层特征图像为与上采样特征图相同维度的特征图像。
将下一层特征图确定为当前特征图。
本实施例中，空间细化模块具体细节如下：
空间细化模块整体的工作过程包括两个子任务：采样点偏移和全局信息细化。采样点偏移主要是在相邻层之间进行，如图4中，Ci和Pi之间，由于传统的叠加没有考虑到特征在上采样中的变化，需要在进行特征融合之前，评估采样点的偏移，在图中目标为农田，特征处理过程中，区域特征会沿着多个方向偏移，新的偏移会造成原图映射问题，比如特征采样点可能会沿着垂直或者水平方向变化，形成特征采样位移量，该位移量在特征融合的过程中会造成特征的交叉和叠合，进而使图像边缘特征产生形变、冗余以及模糊。
为了更好的记录偏移变化，本实施例中采用了坐标变化量来表示采样点的位置变化，将矩阵特征图看成二维平面，用(x，y)来表示采样点的坐标位置，记录采样前后的坐标变化，计算最终的变化量Δ(x，y)，用于在融合时的特征校正。之后在采样点偏移的基础上又加入全局信息细化，通过周围特征信息来进一步优化采样点的位置和语义信息。
空间细化模块具体计算流程如图5所示，给定两个相邻的特征图Cn和Pn，比如图4中的C4和P5，使用一个1*1conv卷积层来压缩他们的通道，减少计算成本。同时，通过反卷积网络3*3deconv将P5上采样到C4大小。之后，将C4和上采样后的P5连接到一起，合并通道，作为两个子网的输入，该子网包含两个卷积层，其大小为3*3。为了让模型更加的收敛，采用坐标的偏移量来表示采样点的位置，并使用采样点的权重来合并上下文信息。子网包含两个输出：一个是在垂直和水平方向上的采样点偏移图
Figure BDA0004148882110000121
另一个则是每一个像素重新排列的权重/>
Figure BDA0004148882110000122
数学表达式如下所示。
s＝con v1(cat(decon v(Cn)，Cn-1))
w＝con v2(cat(decon v(Cn)，Cn-1))
其中，cat(.)表示连接操作，con v1表示双通道的3*3卷积层，con v2表示单通道的3*3卷积层，decon v表示3*3的反卷积层，Hn-1表示长度的平均值，Wn-1表示宽度的平均值。采样点偏移和全局信息细化还可以参考图6，先进行采样点偏移处理，然后进行全局信息化处理，其中全局信息细化主要指对当前像素点周围的环境信息的细化。从粗分辨率图pn-1定义了上采样特征图pn的位置，然后将偏移量s(pn-1)添加到pn-1，同时，为了提高训练的稳定性，将偏移量s除以特征层Cn-1和Pn-1的长度和宽度的平均值。其映射数学关系如下所示。
Figure BDA0004148882110000131
其中，长度和宽度的平均值用Hn-1和Wn-1表示。
同时，为了解决由浮点偏移引起的量化问题，本实施例中还采用了空间变换网络中提出的可微双线性采样机制，该机制采用pn特征图中像素的最近邻的四个像素值来近似输出。在所有像素都被映射后，它们形成一个与底层特征图具有相同大小的特征图，记为Gn-1。Gn-1的每个位置计算公式如下所示。
Figure BDA0004148882110000132
其中，N(pn)表示在Gn中pn像素的相邻像素，wp表示双线性核距离估计的权值。
之后是进一步使用全局信息细化生成的特征映射Gn-1的每个像素，具体来说，直接将Gn-1乘以权值w。最后，将结果添加到浅层特征图中，然后使用3*3卷积层输出Pn-1，数学公式如下所示：
Pn-1＝conv3((ω⊙Gn-1+up(Cn))+Cn-1)
conv3代表3*3的卷积，up代表上采样。
步骤S203，对深层特征图和浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征。
本实施例中，S203的实现方式与上述实施例中的S102的实现方式类似，在此不再一一赘述。
步骤S204，采用K均值聚类算法基于深层纹理特征和浅层纹理特征对浅层特征图进行聚类处理，生成浅层同质区域。浅层同质区域为浅层特征图上像素颜色差异小的区域。
本实施例中，聚类处理的目的是改进细分割的尺度预估，并排除颜色不容易与农田区分的复杂对象。由于小农农业地貌的复杂性，基于整个图像信息预估的图像分割尺度h并不一定合适，这主要是由于所有类型的对象获得的预估h值可能忽略目标对象的特定特征。对于农田碎片化程度较高的区域，较小的h值更适合分割小对象，而较大的h值则适合较大的对象。为了获取不同农田的最优h，本实施例中，首先使用最优纹理特征的聚类方法将整个浅层特征图划分为浅层同质区域和浅层异质区域。在本实施例中，K均值聚类具有高效的计算效率和良好的分割性能，选择K均值聚类，其聚类数设置为2。
浅层异质区域为农业遥感图中像素颜色差异大的区域更大对象，由于在小空间尺度上快速变化的特点，在农田应用场景中的体现为小农田或稀疏林地，浅层异质区域包含的信息过于杂乱，干扰较大。相反，浅层同质区域为浅层特征图上像素颜色差异小的区域，例如大农田地块、河流和大片森林。为了预估分割地块的最佳h值，基于小农田和大农田的h值相同的原则，将浅层异质区域排除，保留浅层同质区域，去除浅层特征图中的干扰因素，从而减少预估图像分割尺度的不确定性，提高确定图像分割尺度的准确性。
步骤S205，根据浅层同质区域和深层特征图确定图像分割尺度。图像分割尺度包括空间分割尺度、光谱分割尺度和纹理分割尺度。
本实施例中，S205的实现方式与上述实施例中的S103的实现方式类似，在此不再一一赘述。
可选的，本实施例中，S205具体为：
对浅层同质区域和深层特征图中目标选择窗口的尺寸进行迭代增加，生成当前迭代次数对应的当前迭代尺寸。
确定窗口区域内所有像素的均值和各像素的局部方差。窗口区域为当前迭代尺寸对应的目标选择窗口中选择的浅层同质区域的局部区域和深层特征图的局部区域。
确定当前迭代次数与前一次迭代次数之间均值的一阶变化率和二阶变化率。
若一阶变化率小于预设一阶变化阈值，且二阶变化率小于预设二阶变化阈值，则结束迭代，并将结束迭代时的当前迭代尺寸输入预设尺寸尺度关系算法，生成对应空间分割尺度。
将结束迭代时目标选择窗口中的各像素的局部方差输入预设尺度确定算法，生成对应光谱分割尺度和纹理分割尺度。
本实施例中，将多尺度选择方法扩展到多层图像，来预估空间-光谱-纹理中的最佳分割尺度h值，即分别为空间分割尺度hs，光谱分割尺度hr和纹理分割尺度ht。其中hs与目标选择窗口的窗口大小(w)的关系，即预设尺寸尺度关系算法可以表示为如下方程：
W＝2×hs+1
通过迭代增加W值，计算窗口区域内的局部方差，其收敛来预估hs。首先，使用W×W窗口大小内的所有像素来计算每个像素的局部方差LV。对于边界处的局部方差LV的计算，使用对称填充方法来填充区域外的缺失像素。同时，计算窗口区域内所有像素的均值ALV，然后计算每次迭代的ALV的一阶变化率(FOALV)和二阶变化率(SOALV)，如下方程：
Figure BDA0004148882110000151
SOALVi＝FOALVi-1-FOALVi
其中，i和i-1分别表示当前和前一次迭代次数。FOALVi表示第i次迭代时ALV的一阶变化率。SOALVi表示FOALVi的变化即二阶变化率。FOALV和SOALV都被用来评估ALV随着迭代次数的增加而变化的动态，它们的值在0到1之间。如果FOALV小于预设一阶变化阈值a与SOALV小于预设二阶变化阈值b，则采用当前迭代次数对应的hsi作为最优hs值。在本本实施例中，a和b分别设置为0.1和0.01。
基于所得到的最优hs，hr和ht值可以进一步分别计算为窗口内光谱和纹理层的平均局部标准偏差，可以基于预设尺度确定算法进行计算，具体如下：
Figure BDA0004148882110000152
其中，LVj表示光谱层或纹理层上的最佳hs值导出的窗口区域内第j个像素的局部方差。术语n表示包括在所有同质区域中像素的数量。
步骤S206，采用均值位移算法基于空间分割尺度、光谱分割尺度和纹理分割尺度对深层特征图和浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域。
本实施例中，均值位移算法用于像素级分割图像，基于空间分割尺度、光谱分割尺度和纹理分割尺度可以直接对深层特征图和浅层特征图进行分割，从而生成分割后得到的深层农田特征区域和浅层农田特征区域。
步骤S207，构建深层农田特征区域对应的深层区域邻接图和浅层农田特征区域对应的浅层区域邻接图。
本实施例中，均值移位法用于像素级分割图像，这不可避免地会生成许多的小片段。在本实施例中，采用了一个区域合并的过程来处理这些小片段，以提高导出农田地块的准确性。区域合并是一个自底向上的过程，它将小但相似的相邻区域组合起来，以获得具有特定处理规则的整个大区域。相邻判断和合并标准是区域合并过程中需要仔细处理的两个先决条件。区域邻接图(英文全称为：Region Adjacency Graph，英文简称为：RAG)是一种广泛用于描述图像内大面积对象之间数据结构和邻接关系。
步骤S208，基于合并成本函数和预设合并成本阈值对浅层区域邻接图中各区域进行合并，生成合并后的浅层区域邻接图。
可选的，本实施例中，S208具体用于：
基于合并成本函数确定浅层区域邻接图中各相邻区域的合并成本。选择合并成本小于预设合并成本阈值的相邻区域进行合并，生成合并后的浅层区域邻接图。
预设合并成本阈值可以按照实际需求进行设置，本实施例对此不作限定。
步骤S209，基于合并成本函数和预设合并成本阈值对深层区域邻接图中各区域进行合并，生成合并后的深层区域邻接图。
步骤S210，对合并后的深层区域邻接图以及合并后的浅层区域邻接图进行融合生成农田特征图。
本实施例中，RAG的表达式可以定义为G＝(V，E)，其中V是表示图像分割产生区域的顶点集，E是用于判断相邻的边缘集。就合并标准而言，采用提出的合并成本函数，该函数可以写成等式如下：
Figure BDA0004148882110000161
其中，i和j表示两个相邻区域，Mi和Mj是这两个区域的面积，ui和uj分别表示区域i和j的特征向量，l(vi,vj)表示两个区域之间的边界长度。合并成本函数使碎小片段与其相邻区域合并，让其具有更大的面积、更长的公共边界长度和更小的特征差异。图7a、图7b、图7c和图7d分别展示了初始分割过程、构建的RAG、区域合并的RAG和区域合并分割过程的示例。在初始RAG构建之后，我们基于RAG和合并成本函数进行了区域合并过程。具体地，计算目标区域与其相邻区域之间的合并成本，然后通过选择最小合并成本将目标区域与其一个相邻区域合并。
示例性的，如果图7A中1-5区域中的区域2需要合并，基于区域2及其相邻区域之间的合并成本计算，导出的合并最小化(vi，vj)，则区域1和区域2将被合并以获得标签为1的新区域。合并随后为下一个区域合并过程重建RAG，直到所有对象都满足区域合并标准。
可选的，本实施例中，S210之后，还包括：
根据农田特征图提取农业遥感图像中的农田区域，生成农田图像。
在确定农田特征图后，可以基于农田特征图提取农业遥感图像中的农田区域生成农田图像，为后续的农田分析提供基础。
本实施例的方法，针对特征提取和分割进行改进，在通用的特征提取中，很多网络只使用了单个高层特征，难以保留小目标特征信息，而在复杂背景中遥感农业图像小目标多且像素信息较少，在特征多次采样过程中容易丢失，使用特征金字塔的结构能够保留小目标特征和更多语义信息，同时为了增强特征边缘信息和减少融合出现的冗余模糊，在自上而下的过程中增加空间细化模块，使特征信息更加明确，便于后续的处理。之后通过最优分割空间尺度计算和均值移位，将图像进行分割与合并。通过在不同农业图像区域的测试，该方法提升了复杂农田分割的准确率，而且在不同农业图像上具有良好的可转移性。此外，该方法在提取农田地块的完整性方面优于其他广泛使用的方法。这些表明，使用本实施例的方法进行图像分割并结合不同尺度的特征融合可以有效的提取复杂农业遥感图像中的地块。
在特征处理过程中，除了在自上向下的结构中增加空间细化模块，也可以采用空间注意力机制，让模型或者方法更加关注边缘特征，当然，也可以将空间细化和注意力机制结合，完成特征融合处理。在对特征进行分割时，除了本实施例采用的传统分割计算方法外，还可以使用深度学习模型等。
图8为本申请提供的遥感图像处理装置的结构示意图，如图8所示，本实施例中，该遥感图像处理装置300可以设置在电子设备中，遥感图像处理装置300包括：
第一生成模块301，用于基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图。预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构。
第二生成模块302，用于对深层特征图和浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征。
确定模块303，用于根据深层纹理特征和浅层纹理特征确定图像分割尺度。
第三生成模块304，用于根据图像分割尺度对深层特征图和浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域。
第四生成模块305，用于将深层农田特征区域和浅层农田特征区域进行融合，生成农田特征图。
本实施例提供的遥感图像处理装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果与图2所示方法实施例类似，在此不再一一赘述。
本申请提供的遥感图像处理装置在上一实施例提供的遥感图像处理装置的基础上，对遥感图像处理装置进行了进一步的细化，则遥感图像处理装置300包括：
可选的，本实施例中，预设特征处理模型包括：预设特征提取网络和特征金字塔结构。
第一生成模块301具体用于：
将待处理的农业遥感图像输入预设特征提取网络，生成自下而上的多个特征图像。基于特征金字塔结构对各特征图像进行融合，生成对应深层特征图和浅层特征图。
可选的，本实施例中，第一生成模块301在基于特征金字塔结构对各特征图像进行融合，生成对应深层特征图和浅层特征图时，具体用于：
基于特征金字塔结构和最上层的特征图像确定深层特征图。将深层特征图确定为当前特征图，循环以下步骤直至生成浅层特征图：采用空间细化模块对当前特征图进行上采样，得到上采样特征图以及上采样特征图对应的上采样偏移量。采用可微双线性采样机制对当前特征图进行全局信息采集处理，以生成当前特征图对应的全局信息。采用空间细化模块根据上采样偏移量以及全局信息对上采样特征图与同层特征图像进行融合，得到自上而下结构中当前特征图对应的下一层特征图。同层特征图像为与上采样特征图相同维度的特征图像。将下一层特征图确定为当前特征图。
可选的，本实施例中，确定模块303具体用于：
采用K均值聚类算法基于深层纹理特征和浅层纹理特征对浅层特征图进行聚类处理，生成浅层同质区域。浅层同质区域为浅层特征图上像素颜色差异小的区域。根据浅层同质区域和深层特征图确定图像分割尺度。
可选的，本实施例中，图像分割尺度包括空间分割尺度、光谱分割尺度和纹理分割尺度。
确定模块303在根据浅层同质区域和深层特征图确定图像分割尺度时，具体用于：
对浅层同质区域和深层特征图中目标选择窗口的尺寸进行迭代增加，生成当前迭代次数对应的当前迭代尺寸。确定窗口区域内所有像素的均值和各像素的局部方差。窗口区域为当前迭代尺寸对应的目标选择窗口中选择的浅层同质区域的局部区域和深层特征图的局部区域。确定当前迭代次数与前一次迭代次数之间均值的一阶变化率和二阶变化率。若一阶变化率小于预设一阶变化阈值，且二阶变化率小于预设二阶变化阈值，则结束迭代，并将结束迭代时的当前迭代尺寸输入预设尺寸尺度关系算法，生成对应空间分割尺度。将结束迭代时目标选择窗口中的各像素的局部方差输入预设尺度确定算法，生成对应光谱分割尺度和纹理分割尺度。
可选的，本实施例中，第三生成模块304在根据图像分割尺度对深层特征图和浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域时，具体用于：
采用均值位移算法基于空间分割尺度、光谱分割尺度和纹理分割尺度对深层特征图和浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域。
可选的，本实施例中，第四生成模块305具体用于：
构建深层农田特征区域对应的深层区域邻接图和浅层农田特征区域对应的浅层区域邻接图。基于合并成本函数和预设合并成本阈值对浅层区域邻接图中各区域进行合并，生成合并后的浅层区域邻接图。基于合并成本函数和预设合并成本阈值对深层区域邻接图中各区域进行合并，生成合并后的深层区域邻接图。对合并后的深层区域邻接图以及合并后的浅层区域邻接图进行融合，生成农田特征图。
可选的，本实施例中，第四生成模块305在基于合并成本函数和预设合并成本阈值对浅层区域邻接图中各区域进行合并，生成合并后的浅层区域邻接图时，具体用于：
基于合并成本函数确定浅层区域邻接图中各相邻区域的合并成本。选择合并成本小于预设合并成本阈值的相邻区域进行合并，生成合并后的浅层区域邻接图。
可选的，本实施例中，遥感图像处理装置还包括：
第五生成模块，用于根据农田特征图提取农业遥感图像中的农田区域，生成农田图像。
本实施例提供的遥感图像处理装置可以执行图2-图7d所示方法实施例的技术方案，其实现原理和技术效果与图2-图7d所示方法实施例类似，在此不再一一赘述。
根据本申请的实施例，本申请还提供了一种电子设备、一种计算机可读存储介质和一种计算机程序产品。
如图9所示，图9是本申请提供的电子设备的结构示意图。电子设备旨在各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、刀片式服务器、大型计算机、和其它适合的计算机。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图9所示，该电子设备包括：处理器401和存储器402。各个部件利用不同的总线互相连接，并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理。
存储器402即为本申请所提供的非瞬时计算机可读存储介质。其中，存储器存储有可由至少一个处理器执行的指令，以使至少一个处理器执行本申请所提供的遥感图像处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令，该计算机指令用于使计算机执行本申请所提供的遥感图像处理方法。
存储器402作为一种非瞬时计算机可读存储介质，可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块，如本申请实施例中的遥感图像处理方法对应的程序指令/模块(例如，附图8所示的第一生成模块301、第二生成模块302、确定模块303、第三生成模块304和第四生成模块305)。处理器401通过运行存储在存储器402中的非瞬时软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现上述方法实施例中的遥感图像处理方法。
同时，本实施例还提供一种计算机产品，当该计算机产品中的指令由电子设备的处理器执行时，使得电子设备能够执行上述实施例的遥感图像处理方法。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请实施例的其它实施方案。本申请旨在涵盖本申请实施例的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请实施例的一般性原理并包括本申请实施例未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是，本申请实施例并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请实施例的范围仅由所附的权利要求书来限制。

Claims (13)

1.一种遥感图像处理方法，其特征在于，包括：
基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图；所述预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构；
对所述深层特征图和所述浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征；
根据所述深层纹理特征和浅层纹理特征确定图像分割尺度；
根据所述图像分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域；
将所述深层农田特征区域和所述浅层农田特征区域进行融合，生成农田特征图。
2.根据权利要求1所述的方法，其特征在于，所述预设特征处理模型包括：预设特征提取网络和特征金字塔结构；
所述基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图，包括：
将待处理的农业遥感图像输入预设特征提取网络，生成自下而上的多个特征图像；
基于特征金字塔结构对各所述特征图像进行融合，生成对应深层特征图和浅层特征图。
3.根据权利要求2所述的方法，其特征在于，所述基于特征金字塔结构对各所述特征图像进行融合，生成对应深层特征图和浅层特征图，包括：
基于特征金字塔结构和最上层的特征图像确定深层特征图；
将深层特征图确定为当前特征图，循环以下步骤直至生成浅层特征图：
采用空间细化模块对所述当前特征图进行上采样，得到上采样特征图以及上采样特征图对应的上采样偏移量；
采用可微双线性采样机制对所述当前特征图进行全局信息采集处理，以生成所述当前特征图对应的全局信息；
采用空间细化模块根据所述上采样偏移量以及全局信息对所述上采样特征图与同层特征图像进行融合，得到自上而下结构中当前特征图对应的下一层特征图；所述同层特征图像为与所述上采样特征图相同维度的特征图像；
将下一层特征图确定为当前特征图。
4.根据权利要求3所述的方法，其特征在于，所述根据所述深层纹理特征和浅层纹理特征确定图像分割尺度，包括：
采用K均值聚类算法基于所述深层纹理特征和浅层纹理特征对浅层特征图进行聚类处理，生成浅层同质区域；所述浅层同质区域为浅层特征图上像素颜色差异小的区域；
根据所述浅层同质区域和所述深层特征图确定图像分割尺度。
5.根据权利要求4所述的方法，其特征在于，所述图像分割尺度包括空间分割尺度、光谱分割尺度和纹理分割尺度；
所述根据所述浅层同质区域和所述深层特征图确定图像分割尺度，包括：
对所述浅层同质区域和所述深层特征图中目标选择窗口的尺寸进行迭代增加，生成当前迭代次数对应的当前迭代尺寸；
确定窗口区域内所有像素的均值和各像素的局部方差；所述窗口区域为当前迭代尺寸对应的目标选择窗口中选择的浅层同质区域的局部区域和深层特征图的局部区域；
确定当前迭代次数与前一次迭代次数之间所述均值的一阶变化率和二阶变化率；
若一阶变化率小于预设一阶变化阈值，且二阶变化率小于预设二阶变化阈值，则结束迭代，并将结束迭代时的当前迭代尺寸输入预设尺寸尺度关系算法，生成对应空间分割尺度；
将结束迭代时目标选择窗口中的各像素的局部方差输入预设尺度确定算法，生成对应光谱分割尺度和纹理分割尺度。
6.根据权利要求5所述的方法，其特征在于，所述根据所述图像分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域，包括：
采用均值位移算法基于空间分割尺度、光谱分割尺度和纹理分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域。
7.根据权利要求6所述的方法，其特征在于，所述将所述深层农田特征区域和所述浅层农田特征区域进行融合，生成农田特征图，包括：
构建所述深层农田特征区域对应的深层区域邻接图和所述浅层农田特征区域对应的浅层区域邻接图；
基于合并成本函数和预设合并成本阈值对浅层区域邻接图中各区域进行合并，生成合并后的浅层区域邻接图；
基于合并成本函数和预设合并成本阈值对深层区域邻接图中各区域进行合并，生成合并后的深层区域邻接图；
对合并后的深层区域邻接图以及合并后的浅层区域邻接图进行融合，生成农田特征图。
8.根据权利要求7所述的方法，其特征在于，所述基于合并成本函数和预设合并成本阈值对浅层区域邻接图中各区域进行合并，生成合并后的浅层区域邻接图，包括：
基于合并成本函数确定浅层区域邻接图中各相邻区域的合并成本；
选择合并成本小于所述预设合并成本阈值的相邻区域进行合并，生成合并后的浅层区域邻接图。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述将所述深层农田特征和所述浅层农田特征进行融合，生成农田特征图之后，还包括：
根据所述农田特征图提取所述农业遥感图像中的农田区域，生成农田图像。
10.一种遥感图像处理装置，其特征在于，包括：
第一生成模块，用于基于预设特征处理模型对待处理的农业遥感图像进行特征提取以及特征融合处理，生成对应深层特征图和浅层特征图；所述预设特征处理模型包括自上而下相邻层的结构中嵌入了空间细化模块的特征金字塔结构；
第二生成模块，用于对所述深层特征图和所述浅层特征图进行纹理特征提取，生成深层纹理特征和浅层纹理特征；
确定模块，用于根据所述深层纹理特征和浅层纹理特征确定图像分割尺度；
第三生成模块，用于根据所述图像分割尺度对所述深层特征图和所述浅层特征图进行分割，生成深层农田特征区域和浅层农田特征区域；
第四生成模块，用于将所述深层农田特征区域和所述浅层农田特征区域进行融合，生成农田特征图。
11.一种电子设备，其特征在于，包括：存储器和处理器；
所述存储器存储计算机执行指令；
所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1至9任一项所述的遥感图像处理方法。
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1至9任一项所述的遥感图像处理方法。
13.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1至9任一项所述的遥感图像处理方法。
CN202310312119.1A 2023-03-27 2023-03-27 遥感图像处理方法、装置、设备、介质及产品 Pending CN116310832A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310312119.1A CN116310832A (zh) 2023-03-27 2023-03-27 遥感图像处理方法、装置、设备、介质及产品

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310312119.1A CN116310832A (zh) 2023-03-27 2023-03-27 遥感图像处理方法、装置、设备、介质及产品

Publications (1)

Publication Number Publication Date
CN116310832A true CN116310832A (zh) 2023-06-23

Family

ID=86823924

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310312119.1A Pending CN116310832A (zh) 2023-03-27 2023-03-27 遥感图像处理方法、装置、设备、介质及产品

Country Status (1)

Country Link
CN (1) CN116310832A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670527A (zh) * 2024-02-02 2024-03-08 北京佳格天地科技有限公司 基于地块数据的农户贷款授信额度确定方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117670527A (zh) * 2024-02-02 2024-03-08 北京佳格天地科技有限公司 基于地块数据的农户贷款授信额度确定方法及系统
CN117670527B (zh) * 2024-02-02 2024-04-09 北京佳格天地科技有限公司 基于地块数据的农户贷款授信额度确定方法及系统

Similar Documents

Publication Publication Date Title
CN113298818B (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
Jiang et al. Edge-enhanced GAN for remote sensing image superresolution
Demiray et al. D-SRGAN: DEM super-resolution with generative adversarial networks
Huang et al. Deep point embedding for urban classification using ALS point clouds: A new perspective from local to global
CN113362329B (zh) 病灶检测模型的训练方法及识别图像中的病灶的方法
CN107067405B (zh) 基于尺度优选的遥感影像分割方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
Su et al. Deep convolutional neural network–based pixel-wise landslide inventory mapping
CN111814794A (zh) 文本检测方法、装置、电子设备及存储介质
CN116645592B (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN113378897A (zh) 基于神经网络的遥感图像分类方法、计算设备及存储介质
Li et al. Automatic road extraction from remote sensing imagery using ensemble learning and postprocessing
CN113673400A (zh) 基于深度学习的实景三维语义重建方法、装置及存储介质
CN115457492A (zh) 目标检测方法、装置、计算机设备及存储介质
CN116310832A (zh) 遥感图像处理方法、装置、设备、介质及产品
Zuo et al. A remote sensing image semantic segmentation method by combining deformable convolution with conditional random fields
CN114663598A (zh) 三维建模方法、装置和存储介质
Li et al. 3DCentripetalNet: Building height retrieval from monocular remote sensing imagery
CN115019163A (zh) 基于多源大数据的城市要素识别方法
CN114463624A (zh) 一种应用于城市管理监督的违章建筑物检测方法及装置
Xu et al. Extended non-local feature for visual saliency detection in low contrast images
CN117291790A (zh) 一种sar图像配准方法、装置、设备及介质
Jiang et al. Semantic segmentation network combined with edge detection for building extraction in remote sensing images
CN117132649A (zh) 人工智能融合北斗卫星导航的船舶视频定位方法及装置
CN110084203B (zh) 基于上下文关联的全卷积网络飞机层级检测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination