CN112734772B - 图像处理方法、装置、电子设备以及存储介质 - Google Patents

图像处理方法、装置、电子设备以及存储介质 Download PDF

Info

Publication number
CN112734772B
CN112734772B CN202110044732.0A CN202110044732A CN112734772B CN 112734772 B CN112734772 B CN 112734772B CN 202110044732 A CN202110044732 A CN 202110044732A CN 112734772 B CN112734772 B CN 112734772B
Authority
CN
China
Prior art keywords
feature
feature map
level
characteristic
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110044732.0A
Other languages
English (en)
Other versions
CN112734772A (zh
Inventor
李祥泰
何昊
程光亮
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202110044732.0A priority Critical patent/CN112734772B/zh
Publication of CN112734772A publication Critical patent/CN112734772A/zh
Application granted granted Critical
Publication of CN112734772B publication Critical patent/CN112734772B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本公开提供了一种图像处理方法、装置、电子设备以及存储介质，其中，该方法包括：获取待处理遥感图像，并提取待处理遥感图像的多层级特征图；确定多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，得到至少一组特征值；根据至少一组特征值确定多层级特征图中每个层级特征图的相似性特征；基于每个层级特征图的相似性特征对待处理遥感图像进行图像分割处理，得到图像分割结果。本公开实施例通过确定匹配特征点，并根据匹配特征点进行语义信息传递的方式，可以平衡遥感背景图像中的像素比重，在提高数据计算效率的同时，还可以提高图像分割的质量。

Description

图像处理方法、装置、电子设备以及存储介质
技术领域
本公开涉及图像处理的技术领域，具体而言，涉及一种图像处理方法、装置、电子设备以及存储介质。
背景技术
目前，遥感图像分割属于图像语义分割的一个任务。遥感图像分割有着广泛的应用领域，比如无人机定位，航拍图像处理，城市的运行管理等领域。然而，针对遥感图像来说，由于遥感背景图像的像素的比重或者种类多于遥感前景图像，以及遥感背景图像过于复杂，因此，在按照现有的图像分割方法对遥感图像进行图像分割处理时将导致遥感前景图像的分割得到的目标质量较差。除此之外，由于遥感图像中包含过多的小目标，因此，在采用现有的图像分割技术对遥感图像进行分割处理时，针对遥感图像中的小目标，则无法达到较好的分割效果。
发明内容
本公开实施例至少提供一种图像处理方法、装置、电子设备以及存储介质。
第一方面，本公开实施例提供了一种图像处理方法，包括：获取待处理遥感图像，并提取所述待处理遥感图像的多层级特征图；确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，得到至少一组特征值；根据所述至少一组特征值确定所述多层级特征图中每个层级特征图的相似性特征；所述相似性特征用于表征所述匹配特征点之间的相似性；基于所述每个层级特征图的相似性特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
在本公开实施例中，通过提取遥感图像的多层级特征图，并确定多层级特征图中相邻层级特征图的匹配特征点，并根据匹配特征点的特征值确定匹配特征点之间的相似性特征，以根据该相似性特征进行语义信息的传递，可以平衡遥感图像中背景像素的比重。在平衡遥感图像中背景像素的比重之后，就可以简化遥感背景图像的复杂程度，从而提高图像分割质量，同时还可以提高数据计算效率。针对遥感图像中的小目标分割，现有技术所选用的图像分割方法会传递大量的上下文语义信息，从而为遥感图像中的每个像素产生了相应的噪声。本公开实施例中通过确定匹配特征点，进而通过匹配特征点的特征值确定相似性特征，以根据该相似性特征进行上下文语义信息传递，可以减少所传递的上下文语义信息的信息量，从而针对遥感图像中的小目标，依然可以达到较好的分割效果。
一种可选的实施方式中，所述基于所述每个层级特征图的相似性特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果，包括：将所述相似性特征与相对应层级特征图中匹配特征点的原始特征值进行融合，得到各个层级特征图的目标融合特征；对各个层级特征图的目标融合特征进行特征拼接，并根据拼接之后的特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
在本公开实施例中，在将相似性特征与每个层级特征图中匹配特征点的原始特征值进行融合，得到目标融合特征之后，通过特征的融合可以实现将高层级特征图的语义信息传递至低层级特征图中，从而实现将语义信息从上到下进行传递。采用上述所描述的语义信息的传递方式，可以提高语义信息传递的有效性，从而提高图像语义分割处理的精度。
一种可选的实施方式中，所述确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点，包括：在每组相邻层级特征图中选择匹配特征点，其中，所述匹配特征点包括：显著性特征点和/或目标的边缘特征点，其中，所述目标为所述待处理遥感图像中所包含的目标。
在本公开实施例中，由于待处理遥感图像中前景图像和背景图像之间的像素比重的不平衡，在待处理遥感图像中，包含显著物体的显著性区域中的特征点可以为用于对上述前景像素和背景像素的比重进行平衡的匹配特征点。同时，由于空中场景中有许多小目标需要更细粒度的定位线索，因此待处理遥感图像中边界区域的特征点也可以作为匹配特征点，因此，在本公开实施例中，在确定匹配特征点时，可以确定显著性特征点和/或边缘特征点。通过该处理方式，可以平衡遥感背景图像中的像素比重，还可以在保证数据处理效率以及节省内存的基础上，还可以提高图像分割的质量。
一种可选的实施方式中，所述相邻层级特征图包括：第一层级特征图和第二层级特征图，所述第一层级特征图的图像分辨率小于所述第二层级特征图的图像分辨率；所述确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，包括：根据所述第一层级特征图和所述第二层级特征图，生成显著性特征图；根据所述显著性特征图确定所述匹配特征点，并确定所述匹配特征点的特征值。
在本公开实施例中，通过生成显著性特征图来确定匹配特征点的方式，可以更加精确的从多层级特征图中确定匹配特征点，从而进一步提高图像分割处理的精度。
一种可选的实施方式中，所述根据所述第一层级特征图和所述第二层级特征图，生成显著性特征图，包括：分别对所述第一层级特征图和所述第二层级特征图进行压缩处理；对压缩处理之后的第二层级特征图进行降采样处理；对压缩处理之后的第一层级特征图和降采样处理之后的第二层级特征图进行特征拼接处理，得到拼接特征；对所述拼接特征进行卷积计算，得到所述显著性特征图。
在本公开实施例中，通过第一层级特征图和第二层级特征图进行压缩处理，可以减少特征图的层数，从而减少计算量；通过对压缩处理之后的低层级特征图进行降采样处理，可以实现统一高层级特征图和低层级特征图的分辨率，从而实现将压缩处理之后的高层级特征图和降采样处理之后的低层级特征图进行特征拼接处理。在对拼接特征进行卷积计算的方式，可以准确的得到用户的感兴趣物体的特征值的显著性特征图。
一种可选的实施方式中，所述匹配特征点包括：显著性特征点；所述根据所述显著性特征图确定所述匹配特征点，包括：对所述显著特征图进行最大池化层处理，得到所述显著性特征点的第一坐标索引；对所述显著特征图和所述第一层级特征图进行注意力处理，得到注意力特征图；分别在所述注意力特征图和所述第二层级特征图中确定与所述第一坐标索引相对应的特征点，得到所述显著性特征点。
在本公开实施例中，通过最大池化层处理可以突出显示待处理遥感图像中前景物体的显著性物体，因此，可以得到更加准确的第一坐标索引，在根据第一坐标索引确定显著性特征点时，就可以更加准确的在注意力特征图和低层级特征图中对显著性特征点进行定位，从而提高了数据处理的准确度。
一种可选的实施方式中，所述匹配特征点包括：边缘特征点；所述根据所述显著性特征图确定所述匹配特征点，包括：根据所述显著性特征图对所述第一层级特征图进行差分预测，得到所述待处理遥感图像中所包含目标的边缘预测图；确定所述边缘预测图中每个像素点的置信度值，并根据所述置信度确定所述边缘特征点的第二坐标索引；分别在所述第二层级特征图和所述第一层级特征图中确定与所述第二坐标索引相对应的特征点，得到所述边缘特征点。
在本公开实施例中，对于边缘特征的选择，并不是简单地使用相邻层级特征图进行边界预测，通过差分预测方法来得到边缘预测图的方式，针对待处理遥感图像中的小目标来说，可以得到准确的目标的边缘预测图。进一步地，通过置信度来确定边缘特征的第二坐标索引的方式，可以从边缘预测图中选择位于目标边缘可能性最高的点，因此，上述处理方式提高了边缘特征点的定位精度。
一种可选的实施方式中，所述根据所述显著性特征图对所述第一层级特征图进行差分预测，得到所述待处理遥感图像中所包含目标的边缘预测图，包括：根据所述显著性特征图对所述第一层级特征图进行平滑处理，得到平滑处理之后的所述第一层级特征图；计算所述第一层级特征图的特征值和平滑处理之后的所述第一层级特征图的特征值之间的差值，并根据所述差值确定所述边缘预测图，其中，所述差值为所述边缘预测图的特征值。
在本公开实施例中，通过对高层级特征图进行平滑处理，并根据高层级特征图的特征值和平滑处理之后的高层级特征图的特征值之间的差值确定边缘预测图的方式，可以得到提高边缘预测图的精度，从而得到更加准确的边缘预测图。
一种可选的实施方式中，所述根据所述显著性特征图对所述第一层级特征图进行平滑处理，得到平滑处理之后的所述第一层级特征图，包括：对所述显著特征图进行平均池化处理，得到平均池化处理结果；利用所述平均池化处理结果对所述第一层级特征图进行平滑处理，得到平滑处理之后的所述第一层级特征图。
一种可选的实施方式中，所述根据所述至少一组特征值确定所述多层级特征图中每个层级特征图的相似性特征，包括：对所述匹配特征点的特征值进行亲和度计算，得到亲和度计算结果；计算第一特征值和所述亲和度计算结果之间的乘积，得到乘积计算结果，其中，所述第一特征值为所述匹配特征点中包含在所述多层级特征图中第一层级特征图中的匹配特征点的特征值；对所述乘积计算结果和第二特征值进行求和运算，得到所述相似性特征，其中，所述第二特征值为每组所述匹配特征点中包含在所述多层级特征图中第二层级特征图中的匹配特征点的特征值，所述第一层级特征图的图像分辨率小于所述第二层级特征图的图像分辨率。
通过上述描述可知，在本公开实施例中，通过相似性特征来实现对多层级特征图各个层级之间的上下文语义信息进行传递的方式，可以提高语义信息传递的有效性，从而提高图像语义分割处理的精度。
一种可选的实施方式中，所述将所述相似性特征与所述每个层级特征图中匹配特征点的原始特征值进行融合，得到所述每层级特征图的目标融合特征，包括：获取所述匹配特征点的位置信息；根据所述位置信息在每个层级特征图中确定目标特征点；获取所述目标特征点的原始特征值，并将所述相似性特征和所述目标特征点的原始特征值进行融合，得到所述目标融合特征。
在本公开实施例中，通过匹配特征点的位置信息，将相似性特征和所述相似性特征点的原始特征进行融合的方式，可以从低层级特征图中准确的对相似性特征点进行定位，从而实现高效的特征融合。
第二方面，本公开实施例提供了一种图像处理装置，包括：获取单元，用于获取待处理遥感图像，并提取所述待处理遥感图像的多层级特征图；第一确定单元，用于确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，得到至少一组特征值；第二确定单元，用于根据所述至少一组特征值确定所述多层级特征图中每个层级特征图的相似性特征；所述相似性特征用于表征所述匹配特征点之间的相似性；图像分割单元，用于基于所述每个层级特征图的相似性特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
第三方面，本公开实施例提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
第四方面，本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述第一方面，或第一方面中任一种可能的实施方式中的步骤。
为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种图像处理方法的流程图；
图2示出了本公开实施例所提供的一种匹配特征点的位置示意图；
图3示出了本公开实施例所提供的图像处理方法中，确定所述多层级特征图中任意相邻层级特征图之间相匹配的至少一组匹配特征点的特征值的具体方法的流程图；
图4示出了本公开实施例所提供的另一种图像处理方法的处理流程图；
图5示出了本公开实施例所提供的一种插入PFM框架的FPN网络的结构示意图；
图6(a)示出了本公开实施例所提供的一种边缘特征点和数据处理精度之间的关系图；
图6(b)示出了本公开实施例所提供的一种最大池化层核尺寸和数据处理精度之间的关系图；
图7(a)示出了本公开实施例所提供的一种显著性特征点的可视化效果图；
图7(b)示出了本公开实施例所提供的另一种显著性特征点的可视化效果图；
图8(a)示出了本公开实施例所提供的一种边缘特征点的可视化效果图；
图8(b)示出了本公开实施例所提供的另一种边缘特征点的可视化效果图；
图9示出了本公开实施例所提供的一种试验结果比对图；
图10示出了本公开实施例所提供的一种图像处理装置的示意图；
图11示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”，仅仅是描述一种关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合，例如，包括A、B、C中的至少一种，可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
经研究发现，针对遥感图像来说，由于遥感背景图像的像素的比重多于遥感前景图像，以及遥感背景图像过于复杂，因此，在按照现有的图像分割方法对遥感图像进行图像分割处理时将导致遥感前景图像的分割得到的目标质量较差。除此之外，由于遥感图像中包含过多的小目标，因此，在采用现有的图像分割技术对遥感图像进行分割处理时，针对遥感图像中的小目标，则无法达到较好的分割效果。
基于上述研究，本公开提供了一种图像处理方法，在该方法中，首先，获取待处理遥感图像，并提取待处理遥感图像的多层级特征图，之后，确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值。
其中，由于匹配特征点是多层级特征图中相邻层级特征图之间相匹配的特征点，因此，匹配特征点的特征值也分别是该匹配特征点在该相邻层级特征图中的特征值。接下来，就可以根据匹配特征点的特征值确定每个层级特征图的相似性特征。
其中，匹配特征点分别为相邻层级特征图的高分辨率特征图(低层级特征图)和低分辨率特征图(高层级特征图)中用于表示相同目标的特征点，那么匹配特征点的特征值分别为高分辨率特征图和低分辨率特征图中用于表示相同目标的特征点的特征值。在高分辨率特征图和低分辨率特征图中用于表示相同目标的特征点的特征值确定相似性特征时，可以确定高分辨率特征图(低层级特征图)的相似性特征，此时，就可以实现将低分辨率特征图的语义信息传递至高分辨率级特征图中，从而实现将语义信息从上到下进行传递。
在本公开实施例中，通过确定匹配特征点，并根据匹配特征点的特征值确定相似性特征，以根据该相似性特征进行语义信息传递的方式，可以平衡遥感背景图像中的像素比重。在平衡遥感图像中背景像素的比重之后，就可以简化遥感背景图像的复杂程度，从而提高图像分割质量。针对遥感图像中的小目标分割，现有技术所选用的图像分割方法会传递大量的上下文语义信息，从而为图像中的每个像素产生了不必要的噪声。本公开实施例中通过确定匹配特征点，进而通过匹配特征点的特征值确定相似性特征，以根据该相似性特征进行上下文语义信息传递的方式，可以减少所传递的上下文语义信息的信息量，从而针对遥感图像中的小目标，依然可以达到较好的分割效果。
为便于对本实施例进行理解，首先对本公开实施例所公开的一种图像处理方法进行详细介绍，本公开实施例所提供的图像处理方法的执行主体一般为具有一定计算能力的计算机设备，该计算机设备例如包括：终端设备或服务器或其它处理设备，终端设备可以为用户设备(User Equipment，UE)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(Personal Digital Assistant，PDA)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中，该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示，为本公开实施例提供的图像处理方法的流程图，所述方法包括步骤S101～S107，其中：
S101：获取待处理遥感图像，并提取所述待处理遥感图像的多层级特征图。
在本公开实施例中，可以通过特征金字塔网络提取待处理遥感图像的多层级特征图，其中，多层级特征图中每个层级的特征图对应的尺度不同(或分辨率不同)，因此，多层级特征图还可以理解为多尺度特征图(或者多分辨率特征图)。
S103：确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值。
在本公开实施例中，在得到多层级特征图之后，针对多层级特征图中任意相邻层级的特征图，确定匹配特征点，并确定匹配特征点的特征值。
例如，相邻层级特征图包括第一层级特征图和第二层级特征图，其中，第一层级特征图可以理解为高层级特征图，第二层级特征图可以理解为低层级特征图。匹配特征点是指高层级特征图和低层级特征图中相匹配的特征点。其中，高层级特征图的分辨率小于低层级特征图的分辨率。其中，相匹配的特征点可以理解为高层级特征图和低层级特征图中用于表征待处理遥感图像中同一目标的特征点。
例如，如图2所示，Fl表示高层级特征图，Fl-1表示低层级特征图，从图2中可以看出，在Fl中包含特征点A1至特征点A6，在Fl-1中包含特征点B1至特征点B6。Ai和Bi即为匹配特征点，用于表征待处理遥感图像中的同一目标的特征点，然而，由于Fl和Fl-1的尺度(或者分辨率)不同，因此，特征点Ai在Fl中的位置坐标与Bi在Fl-1中的位置坐标是不相同的。
S105：根据所述至少一组特征值确定所述多层级特征图中每个层级特征图的相似性特征；所述相似性特征用于表征所述匹配特征点之间的相似性。
S107：基于所述每个层级特征图的相似性特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
在本公开实施例中，在确定出匹配特征点的特征值之后，可以根据匹配特征点的特征值确定相似性特征，在将相似性特征与匹配特征点的原始特征值进行融合之后，就可以实现通过相似性特征将高层级特征图中的语义特征传递至低层级特征图中。
在本公开实施例中，例如，如图5所示的原始特征金字塔，在通过原始特征金字塔对待处理遥感图像进行处理之后，得到原始多层级特征图，原始多层级特征图的特征值即为上述所描述的原始特征值。
需要说明的是，在本公开实施例中，如果待处理遥感图像的多层级特征图的层级数量为L，假设，任意相邻层级特征图为Fl和Fl-1，采用上述所描述的方式进行处理，得到Fl-1特征图的相似性特征，从而可以得到每个层级的相似性特征。之后，就可以根据每个层级特征图的相似性特征对待处理遥感图像进行图像语义分割，得到图像分割结果。
在本公开实施例中，首先获取待处理遥感图像，然后，通过特征金字塔网络提取待处理遥感图像的多层级特征图。之后，针对多层级特征图中至少一组相邻层级特征图，确定相邻层级特征图之间匹配特征点，以及匹配特征点的特征值。
在一个可选的实施方式中，步骤S103，确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点，包括如下过程：
在每组相邻层级特征图中选择匹配特征点，其中，所述匹配特征点包括：显著性特征点和/或目标的边缘特征点，其中，所述目标为所述待处理遥感图像中所包含的目标。
针对待处理遥感图像，一种可选的实施方式是通过基于密集相似性(denseaffinity)的语义分割方法对待处理遥感图像进行图像分割处理，但是，在通过基于密集相似性(dense affinity)的语义分割方法在进行图像分割时，由于待处理遥感图像中前景图像和背景图像之间的像素比重的不平衡，因此，复杂的背景图像可能为每个像素点带来不必要的噪声，从而导致该语义分割方法在数据处理过程中性能急剧下降。例如，针对任意一张遥感图像，该遥感图像的前景图像中所包含目标的类别为汽车，此时，在遥感图像中的路面或者房屋就变成了汽车的背景。但是，针对iSAID数据集来说，路面和房屋却是一个类别，然而，路面和房屋在语义和外观上是存在一定差异的，该差异即为上述所描述的不必要的噪声。此时，背景图像中所包含目标的语义和/或外观上的差值将导致基于密集相似性(dense affinity)的语义分割方法在数据处理过程中性能下降较大，其中，语义可以表示为遥感图像中每个物体的类别，具体包括前景物体的类别和背景物体的类别。
基于此，在本公开实施例中，在每组相邻层级特征图之间选择匹配特征点，进而根据该匹配特征点的特征值来传播上下文信息。通过该处理方式，可以平衡遥感背景图像中的像素比重，还可以在保证数据处理效率以及节省内存的基础上，还可以提高图像分割的质量。在本公开实施例中，在确定匹配特征点时，可以根据相邻层级特征图确定显著性特征点和/或目标的边缘特征点。
由于待处理遥感图像中前景图像和背景图像之间的像素比重的不平衡，发明人认为，在待处理遥感图像中，包含显著物体的显著性区域中的特征点可以包含用于对上述像素比重进行平衡的匹配特征点。同时，由于空中场景中有许多小目标需要更细粒度的定位线索，因此待处理遥感图像中边界区域也可以作为匹配特征点，因此，在本公开实施例中，在确定组匹配特征点时，可以确定显著性特征点和/或边缘特征点。
需要说明的是，在本公开实施例中，显著物体可以为用户在待处理遥感图像中感兴趣物体，显著性区域可以理解为待处理遥感图像中包含用户感兴趣物体的区域。例如，针对一张待处理遥感图像，在该待处理遥感图像中包含房屋、车辆、路面。如果用户感兴趣物体为车辆，那么房屋和路面就变成了车辆的背景，同样地，如果用户感兴趣物体为房屋，那么车辆和路面就变成了房屋的背景。因此，在本公开实施例中，显著性区域与待处理遥感图像中用户感兴趣物体相关联。
在另一个可选的实施方式中，如图3所示，步骤S103，确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，还包括如下过程：
步骤S1031，根据第一层级特征图和第二层级特征图，生成显著性特征图；所述相邻层级特征图包括：第一层级特征图和第二层级特征图，所述第一层级特征图的图像分辨率小于所述第二层级特征图的图像分辨率；
步骤S1032，根据所述显著性特征图确定所述匹配特征点，并确定所述匹配特征点的特征值。
在本公开实施例中，假设，相邻层级特征图中的高层级特征图(也即，第一层级特征图)记为Fl，相邻层级特征图中的低层级特征图(也即，第二层级特征图)记为Fl-1。此时，可以根据高层级特征图Fl和低层级特征图Fl-1生成显著性特征图，记为Ml。需要说明的是，在本公开实施例中，显著性特征图用于表征待处理遥感图像中显著性物体的特征值，该显著性物体为用户对待处理遥感图像中的感兴趣物体。
之后，就可以根据显著性特征图Ml和对偶坐标生产器(Dual Index Generator)确定匹配特征点的坐标索引，进而通过该坐标索引在高层级特征图Fl和低层级特征图Fl-1执行匹配特征点的采样取点操作，从而得到匹配特征点，并在高层级特征图Fl和低层级特征图Fl-1中分别确定匹配特征点的特征值。
在本公开实施例中，可以通过下述所描述的方式生成显著性特征图，具体包括：
(1)、分别对所述第一层级特征图和所述第二层级特征图进行压缩处理；对压缩处理之后的第二层级特征图进行降采样处理；
(2)、对压缩处理之后的第一层级特征图和降采样处理之后的第二层级特征图进行特征拼接处理，得到拼接特征；
(3)、对所述拼接特征进行卷积计算，得到所述显著性特征图。
示例性的，首先可以通过1*1的卷积层分别对高层级特征图(也即，第一层级特征图)Fl和低层级特征图(也即，第二层级特征图)Fl-1进行压缩处理，其中，此处的压缩处理还可以理解为特征降维，减少特征图的层数，从而减少计算量。之后，对压缩处理之后的低层级特征图Fl-1进行下采样(Down)处理，得到降采样处理之后的低层级特征图，即为
Figure BDA0002897042960000141
在本公开实施例中，对压缩处理之后的低层级特征图Fl-1进行下采样(Down)处理是指降低压缩处理之后的低层级特征图Fl-1的分辨率，使得压缩处理之后的低层级特征图Fl-1的分辨率与高层级特征图Fl的分辨率相同。在分辨率相同之后，就可以执行特征拼接的操作。
之后，就可以通过拼接(Concat)函数对压缩之后的高层级特征图Fl和降采样处理之后的低层级特征图
Figure BDA0002897042960000142
进行特征拼接，得到拼接特征
Figure BDA0002897042960000151
接下来，就可以通过3*3的卷积层对拼接特征进行卷积计算，最后，还可以通过归一化函数(Sogmoid)对卷积计算之后的结果进行归一化处理，得到显著性特征图。
在本公开实施例中，上述所描述的过程可以通过下述公式来进行表示：
Figure BDA0002897042960000152
其中，Sigmoid表示归一化函数，convl表示卷积计算，Concat表示拼接函数，Fl表示高层级特征图，
Figure BDA0002897042960000153
表示降采样处理之后的低层级特征图。
通过上述描述可知，在本公开实施例中，通过对高层级特征图和低层级特征图进行压缩处理，可以减少特征图的层数，从而减少计算量；通过对压缩处理之后的低层级特征图进行降采样处理，可以实现统一高层级特征图和低层级特征图的分辨率，从而实现将压缩处理之后的高层级特征图和降采样处理之后的低层级特征图进行特征拼接处理。在对拼接特征进行卷积计算的方式，可以准确的得到用户的感兴趣物体的特征值的显著性特征图。
在本公开实施例中，在匹配特征点包括显著性特征点的情况下，上述步骤S1032，根据所述显著性特征图确定所述匹配特征点，包括如下过程：
步骤S11，对所述显著特征图进行最大池化层处理，得到所述显著性特征点的第一坐标索引；
步骤S12，对所述显著特征图和所述第一层级特征图进行注意力处理，得到注意力特征图；
步骤S13，分别在所述注意力特征图和所述第二层级特征图中确定与所述第一坐标索引相对应的特征点，得到所述显著性特征点。
在本公开实施例中，在确定出显著特征图Ml之后，可以将显著特征图Ml和高层级特征图(也即，第一层级特征图)Fl输入至对偶坐标生产器(Dual Index Generator)中，此时，对偶坐标生产器(Dual Index Generator)可以对显著特征图进行最大池化层处理，即：MaxPool(Ml)。通过对显著特征图进行最大池化运算，可以得到显著性特征点的第一坐标索引，记为I(s)。
示例性的，最大池化层的核尺寸例如可以选择为14*14。图6(b)所示的是最大池化层的核尺寸和数据处理精度之间的关系图。如图6(b)所示，如果核尺寸大于14*14，则所选择出的显著性特征点的数量增大，此时，对数据处理精度有一定的影响，从图6(b)中可以看出，数据处理精度直线下降。因此，从图6(b)中可以看出显著性特征点的增大可能会导致数据处理精度下降。
之后，对偶坐标生产器(Dual Index Generator)还可以对输入的特征图(即显著特征图Ml和高层级特征图Fl)进行注意力处理，得到注意力特征图，记为Fl s。具体地，在本公开实施例中，对偶坐标生产器可以通过下述所描述的方式对输入的特征图进行处理：Fl s＝MaxPool(Ml)×Fl+Fl。
在本公开实施例中，确定出注意力特征图之后，就可以按照第一坐标索引，在注意力特征图和低层级特征图中确定与第一坐标索引相对应的特征点，得到显著性特征点。
在本公开实施例中，通过最大池化层处理可以突出显示待处理遥感图像中前景物体的显著性物体，因此，可以得到更加准确的第一坐标索引，在根据第一坐标索引确定显著性特征点时，就可以更加准确的在注意力特征图和低层级特征图中对显著性特征点进行定位，从而提高了数据处理的准确度。
在本公开实施例中，在匹配特征点包括边缘特征点的情况下，步骤S1032，根据所述显著性特征图确定所述匹配特征点，包括如下过程：
步骤S21，根据所述显著性特征图对所述第一层级特征图进行差分预测，得到所述待处理遥感图像中所包含目标的边缘预测图；
步骤S22，确定所述边缘预测图中每个像素点的置信度值，并根据所述置信度确定所述边缘特征点的第二坐标索引；
步骤S23，分别在所述第二层级特征图和所述第一层级特征图中确定与所述第二坐标索引相对应的特征点，得到所述边缘特征点。
在本公开实施例中，在确定边缘点特征时，可以根据显著性特征图Ml对高层级特征图(也即，第一层级特征图)Fl进行差分预测，从而通过差分预测的方式来进行边缘预测，从而得到待处理遥感图像的边缘部分，也即边缘预测图。之后，可以确定边缘预测图中每个像素点的置信度值，该置信度值用于表征每个像素点位于边缘上的概率。之后，就可以根据该置信度从边缘预测图中选择Top-K个点作为边缘特征点，其中，Top-K个点是指置信度最高的K个像素点，进而，根据置信度最高的K个像素点确定边缘特征点的第二坐标索引I(b)，其中，K的取值可以根据实际需要来进行设定，本公开对此不作具体限定。
在一个可选的实施方式中，为了保证数据处理精度，K的取值可以为90至160之间。图6(a)所示的是边缘特征点的数量和数据处理精度之间的关系图，从图6(a)中可以看出，边缘特征的最佳数量是128，边缘特征点越多，结果就越差，这说明缺少背景对数据处理精度的影响也很大。
在确定出第二坐标索引I(b)之后，就可以分别在低层级特征图和高层级特征图中确定与第二坐标索引相对应的特征点，得到所述边缘特征点。
需要说明的是，对于边缘特征的选择，并不是简单地使用输入特征Fl或Fl-1进行边界预测，通过差分预测方法来得到边缘预测图的方式，针对待处理遥感图像中的小目标来说，可以得到准确的目标的边缘预测图。进一步地，通过置信度来确定边缘特征的第二坐标索引的方式，可以从边缘预测图中选择位于目标边缘可能性最高的点，因此，上述处理方式提高了边缘特征点的定位精度。
图7(a)和图7(b)所示的为显著性特征点的可视化图。从图7(a)和图7(b)中可以看出，白色圆形区域所表示的位置即为显著性特征点，显著性特征点均匀地分布在前景物体周围，并且其中几个稀疏地位于背景。图8(a)和图8(b)所示的为显著性特征点的可视化图。从图8(a)和图8(b)中可以看出，边缘特征点主要分布在前景大目标的边界和小目标的内部区域，这是因为下采样特征表示使得小目标边界预测困难。
在本公开实施例中，步骤S21，根据所述显著性特征图对所述第一层级特征图进行差分预测，得到所述待处理遥感图像中所包含目标的边缘预测图，包括如下过程：
(1)、根据所述显著性特征图对所述第一层级特征图进行平滑处理，得到平滑处理之后的所述第一层级特征图。
具体地，在本公开实施例中，可以通过公式AvgPool(Ml)对所述显著特征图进行平均池化处理，得到平均池化处理结果。之后，利用所述平均池化处理结果AvgPool(Ml)对所述高层级特征图(也即，第一层级特征图)Fl进行平滑处理，得到平滑处理之后的高层级特征图。例如，可以通过公式对高层级特征图Fl进行平滑处理：AvgPool(Ml)×Fl。
(2)、计算所述第一层级特征图的特征值和平滑处理之后的所述第一层级特征图的特征值之间的差值，并根据所述差值确定所述边缘预测图，其中，所述差值为所述边缘预测图的特征值。
具体地，在本公开实施例中，从高层级特征图Fl中减去平滑部分，得到的差值即为边缘预测图的特征值。
在本公开实施例中，上述所描述的过程可以通过以下公式进行确定：
Figure BDA0002897042960000181
在本公开实施例中，通过对高层级特征图进行平滑处理，并根据高层级特征图的特征值和平滑处理之后的高层级特征图的特征值之间的差值确定边缘预测图的方式，可以得到提高边缘预测图的精度，从而得到更加准确的边缘预测图。
在本公开实施例中，在按照上述所描述的方式确定多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，就可以根据特征值确定所述多层级特征图中每个层级特征图的相似性特征，假设，相邻层级特征图包括：第一层级特征图和第二层级特征图，所述第一层级特征图的图像分辨率小于所述第二层级特征图的图像分辨率，在此情况下，上述步骤具体包括：
步骤S1051，对匹配特征点的特征值进行亲和度计算，得到亲和度计算结果；
步骤S1052，计算第一特征值和所述亲和度计算结果之间的乘积，得到乘积计算结果，其中，所述第一特征值为所述匹配特征点中包含在所述多层级特征图中第一层级特征图中的匹配特征点的特征值；
步骤S1053，对所述乘积计算结果和第二特征值进行求和运算，得到所述相似性特征，其中，所述第二特征值为每组所述匹配特征点中包含在所述第二层级特征图中的匹配特征点的特征值。
在本公开实施例中，首先，通过亲和度函数对匹配特征点的特征值进行亲和度计算，例如，亲和度函数为Affinity，亲和度表示表示一个实体与其他实体之间的亲和程度，即，对匹配特征点的特征值之间的亲和程度。其中，亲和度函数的计算表达式可以为
Figure BDA0002897042960000191
其中，
Figure BDA0002897042960000192
表示匹配特征点，
Figure BDA0002897042960000193
表示匹配特征点在相邻层级特征图中第二层级特征图中的特征，
Figure BDA0002897042960000194
表示匹配特征点在相邻层级特征图中第一层级特征图中的特征。之后，可以将第一特征值
Figure BDA0002897042960000195
与亲和度计算结果进行相乘运算，得到乘积计算结果。接下来，对所述乘积计算结果和第二特征值
Figure BDA0002897042960000196
进行求和运算，得到相似性特征。具体地，上述过程可以通过下述公式进行表示：
Figure BDA0002897042960000197
通过上述描述可知，在本公开实施例中，通过相似性特征来实现对多层级特征图各个层级之间的上下文语义信息进行传递的方式，可以提高语义信息传递的有效性，从而提高图像语义分割处理的精度。
在本公开实施例中，在确定出每个层级特征图的相似性特征之后，就可以基于所述每个层级特征图的相似性特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果，具体包括：
(1)、将所述相似性特征与相对应层级特征图中匹配特征点的原始特征值进行融合，得到各个层级特征图的目标融合特征；其中，此处的相对应层级特征图是指，针对一组相邻层级特征图来说，该组相邻层级特征图中的低层级特征图(或者，分辨率较大的特征图)。
(2)、对各个层级特征图的目标融合特征进行特征拼接，并根据拼接之后的特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
在本公开实施例中，在将所述相似性特征与相对应层级特征图中匹配特征点的原始特征值进行融合，得到所述每层级特征图的目标融合特征时，可以首先获取所述匹配特征点的位置信息；之后，根据所述位置信息在相对应层级特征图中确定目标特征点；最后，获取目标特征点的原始特征值，并将所述相似性特征和目标特征点的原始特征值进行融合，得到目标融合特征。其中，在得到目标融合特征之后，可以根据匹配特征点的位置信息将目标融合特征存储在每个层级特征图的原始底层特征上。
在本公开实施例中，相邻层级特征图中的第一层级特征图记为Fl，相邻层级特征图中的第二层级特征图记为Fl-1。在按照上述所描述的方式确定出第二层级特征图的目标融合特征之后，就可以将目标融合特征确定为Fl-1特征图的特征值执行下一层级的操作。例如，针对特征图Fl-1和Fl-2，此时，可以将该目标融合特征确定为该特征图Fl-1的特征值，对特征图Fl-1和Fl-2同样执行上述所描述的过程，直至确定出多层级特征图中每个层级特征图的目标融合特征，之后，例如，可以对每个层级特征图的目标融合特征进行特征拼接，并利用特征拼接之后的特征进行图像语义分割，得到分割结果。
下面结合图4对上述图像处理方法进行介绍，如图4所示的为图像处理方法的处理流程图。如图4所示，该图像处理方法主要通过以下模块来执行：对偶点匹配器(Dual PointMatcher)和对偶传播器(Dual region propagation)，下面将分别介绍两个模块的工作流程。
第一、对偶点匹配器(Dual Point Matcher)。
以多层级特征图中的高层级特征图Fl和低层级特征图Fl-1来进行介绍。首先，分别通过1*1的卷积层对高层级特征图Fl和低层级特征图Fl-1进行压缩处理；之后，如图4所示，对压缩处理之后的低层级特征图Fl-1进行降采样(Down采样)。其中，高层级特征图Fl的分辨率小于低层级特征图Fl-1的分辨率。接下来，对降采样之后的低层级特征图Fl-1和压缩处理之后的高层级特征图Fl进行特征拼接，得到拼接特征。如图4所示，接下来，可以通过3*3的卷积层对拼接特征进行处理，并利用Sigmoid函数对处理结果进行归一化处理，得到显著特征图。如图4所示，之后，将显著特征图和高层级特征图Fl输入至对偶坐标生成器(DualIndex Generator)进行处理，分别得到显著特征点的坐标索引I(s)和边缘特征点的坐标索引I(b)。在本公开实施例中，还可以通过对偶坐标生成器(Dual Index Generator)对输入的特征图(即显著特征图Ml和高层级特征图Fl)进行注意力处理，得到注意力特征图，记为Fl s。
如图4所示，之后，可以根据显著特征点的坐标索引I(s)对注意力特征图Fl s和低层级特征图Fl-1进行采点sample操作，得到显著性特征点；并根据边缘特征点的坐标索引I(b)对高层级特征图Fl和低层级特征图Fl-1进行采点sample操作，得到边缘特征点。
第二、对偶传播器(Dual region propagation)。
确定匹配特征点的特征值，并根据该特征值进行匹配特征点之间相似性特征的计算。之后，通过计算出的相似性特征将多层级特征图的语义信息传递至低层级特征图。最后，通过将传递的语义信息散射到低层级特征图Fl-1中，得到目标融合特征。
在本公开实施例中，上述所描述的方法可以通过PointFlowModule(简称PFM框架)来执行。在搭建好PFM框架之后，可以将PFM框架插入到FPN的结构中构建PFnet，在将PFM框架插入到FPN网络中之后，所构建的PFnet模型可以高效将语义信息从上到下进行传递，从而提高图像语义分割的精度。其中，PFnet的结构如图5所示。
如图5左侧所示的为原始特征金字塔(即，未改进的特征金字塔)，如图5左侧所示的为改进之后的特征金字塔，其中，改进之后的特征金字塔是指加入了PFM框架的特征金字塔。针对改进之后的特征金字塔，从图5中可以看出，在获取到待处理遥感图像之后，待处理遥感图像首先经过特征金字塔得到多层级特征图。针对多层级特征图中任意相邻层级的特征图之间插入了PFM框架，通过该PFM框架可以将高层级特征图的语义信息传递至低层级特征图，直至传递至多层级特征图中的最底层特征图。之后，就可以将每个层级特征图的目标融合特征进行特征拼接，从而根据拼接之后的特征进行图像语义分割处理。
在本公开实施例中，发明人将本申请所提供的图像分割方法与其他图像分割方法进行了对比试验，对比试验所选用的数据集为iSAID验证集，如图9所示的即为试验结果图。如图9所示，其他图像分割方法包括：图像分割方法1至图像分割方法4，其中，图像分割方法1至图像分割方法4依次为以下图像分割方法：PSPNet、Deeplabv3++、Semantic FPN、PointRend。其中，PFNet是指本公开实施例所提供的图像处理方法。从图9中可以看出，与样本标签(Ground truth)相比，本公开实施例所提供的方法PFNet针对小目标可以得到更好的分割效果。
本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一发明构思，本公开实施例中还提供了与图像处理方法对应的图像处理装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述图像处理方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参照图10所示，为本公开实施例提供的一种图像处理装置的示意图，所述装置包括：获取单元11、第一确定单元12、第二确定单元13、图像分割单元14；其中，
获取单元11，用于获取待处理遥感图像，并提取所述待处理遥感图像的多层级特征图；
第一确定单元12，用于确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，得到至少一组特征值；
第二确定单元13，用于根据所述至少一组特征值确定所述多层级特征图中每个层级特征图的相似性特征；所述相似性特征用于表征所述匹配特征点之间的相似性；
图像分割单元14，用于基于所述每个层级特征图的相似性特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
在本公开实施例中，通过确定匹配特征点，并根据匹配特征点的特征值确定相似性特征，以根据该相似性特征进行语义信息传递的方式，可以平衡遥感背景图像中的像素比重，在提高数据计算效率的同时，还可以提高图像分割的质量。
一种可能的实施方式中，图像分割单元，还用于：将所述相似性特征与相对应层级特征图中匹配特征点的原始特征值进行融合，得到各个层级特征图的目标融合特征；对各个层级特征图的目标融合特征进行特征拼接，并根据拼接之后的特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
一种可能的实施方式中，第一确定单元，还用于：在每组相邻层级特征图中选择匹配特征点，其中，所述匹配特征点包括：显著性特征点和/或目标的边缘特征点，其中，所述目标为所述待处理遥感图像中所包含的目标。
一种可能的实施方式中，第一确定单元，还用于：在所述相邻层级特征图包括：第一层级特征图和第二层级特征图，所述第一层级特征图的图像分辨率小于所述第二层级特征图的图像分辨率的情况下，根据所述第一层级特征图和所述第二层级特征图，生成显著性特征图；根据所述显著性特征图确定所述匹配特征点，并确定所述匹配特征点的特征值。
一种可能的实施方式中，第一确定单元，还用于：分别对所述第一层级特征图和所述第二层级特征图进行压缩处理；对压缩处理之后的第二层级特征图进行降采样处理；对压缩处理之后的第一层级特征图和降采样处理之后的第二层级特征图进行特征拼接处理，得到拼接特征；对所述拼接特征进行卷积计算，得到所述显著性特征图。
一种可能的实施方式中，第一确定单元，还用于：在匹配特征点包括显著性特征点的情况下，对所述显著特征图进行最大池化层处理，得到所述显著性特征点的第一坐标索引；对所述显著特征图和所述第一层级特征图进行注意力处理，得到注意力特征图；分别在所述注意力特征图和所述第二层级特征图中确定与所述第一坐标索引相对应的特征点，得到所述显著性特征点。
一种可能的实施方式中，第一确定单元，还用于：在匹配特征点包括边缘特征点的情况下，根据所述显著性特征图对所述第一层级特征图进行差分预测，得到所述待处理遥感图像中所包含目标的边缘预测图；确定所述边缘预测图中每个像素点的置信度值，并根据所述置信度确定所述边缘特征点的第二坐标索引；分别在所述第二层级特征图和所述第一层级特征图中确定与所述第二坐标索引相对应的特征点，得到所述边缘特征点。
一种可能的实施方式中，第一确定单元，还用于：根据所述显著性特征图对所述第一层级特征图进行平滑处理，得到平滑处理之后的所述第一层级特征图；计算所述第一层级特征图的特征值和平滑处理之后的所述第一层级特征图的特征值之间的差值，并根据所述差值确定所述边缘预测图，其中，所述差值为所述边缘预测图的特征值。
一种可能的实施方式中，第一确定单元，还用于：对所述显著特征图进行平均池化处理，得到平均池化处理结果；利用所述平均池化处理结果对所述第一层级特征图进行平滑处理，得到平滑处理之后的所述第一层级特征图。
一种可能的实施方式中，第二确定单元，还用于：在相邻层级特征图包括：第一层级特征图和第二层级特征图，所述第一层级特征图的图像分辨率小于所述第二层级特征图的图像分辨率的情况下，对所述匹配特征点的特征值进行亲和度计算，得到亲和度计算结果；计算第一特征值和所述亲和度计算结果之间的乘积，得到乘积计算结果，其中，所述第一特征值为所述匹配特征点中包含在所述第一层级特征图中的匹配特征点的特征值；对所述乘积计算结果和第二特征值进行求和运算，得到所述相似性特征，其中，所述第二特征值为每组所述匹配特征点中包含在所述第二层级特征图中的匹配特征点的特征值。
一种可能的实施方式中，图像分割单元，还用于：获获取所述匹配特征点的位置信息；根据所述位置信息在相对应层级特征图中确定目标特征点；获取所述目标特征点的原始特征值，并将所述相似性特征和所述目标特征点的原始特征值进行融合，得到各个层级特征图的目标融合特征。
对应于图1中的图像处理方法，本公开实施例还提供了一种电子设备1200，如图11所示，为本公开实施例提供的电子设备1200结构示意图，包括：
处理器121、存储器122、和总线123；存储器122用于存储执行指令，包括内存1221和外部存储器1222；这里的内存1221也称内存储器，用于暂时存放处理器121中的运算数据，以及与硬盘等外部存储器1222交换的数据，处理器121通过内存1221与外部存储器1222进行数据交换，当所述电子设备1200运行时，所述处理器121与所述存储器122之间通过总线123通信，使得所述处理器121执行以下指令：
获取待处理遥感图像，并提取所述待处理遥感图像的多层级特征图；确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，得到至少一组特征值；根据所述至少一组特征值确定所述多层级特征图中每个层级特征图的相似性特征；所述相似性特征用于表征所述匹配特征点之间的相似性；基于所述每个层级特征图的相似性特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例中所述的图像处理方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例还提供一种计算机程序产品，该计算机程序产品承载有程序代码，所述程序代码包括的指令可用于执行上述方法实施例中所述的图像处理方法的步骤，具体可参见上述方法实施例，在此不再赘述。
其中，上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (14)

1.一种图像处理方法，其特征在于，包括：
获取待处理遥感图像，并提取所述待处理遥感图像的多层级特征图；其中，所述多层级特征图中每个层级的特征图对应的尺度不同；
确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，得到至少一组特征值；
根据所述至少一组特征值确定所述多层级特征图中每个层级特征图的相似性特征；所述相似性特征用于表征所述匹配特征点之间的相似性；
基于所述每个层级特征图的相似性特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述每个层级特征图的相似性特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果，包括：
将所述相似性特征与相对应层级特征图中匹配特征点的原始特征值进行融合，得到各个层级特征图的目标融合特征；
对各个层级特征图的目标融合特征进行特征拼接，并根据拼接之后的特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
3.根据权利要求1所述的方法，其特征在于，所述确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点，包括：
在每组相邻层级特征图中选择匹配特征点，其中，所述匹配特征点包括：显著性特征点和/或目标的边缘特征点，其中，所述目标为所述待处理遥感图像中所包含的目标。
4.根据权利要求1至3中任一项所述的方法，其特征在于，所述相邻层级特征图包括：第一层级特征图和第二层级特征图，所述第一层级特征图的图像分辨率小于所述第二层级特征图的图像分辨率；
所述确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，包括：
根据所述第一层级特征图和所述第二层级特征图，生成显著性特征图；
根据所述显著性特征图确定所述匹配特征点，并确定所述匹配特征点的特征值。
5.根据权利要求4所述的方法，其特征在于，所述根据所述第一层级特征图和所述第二层级特征图，生成显著性特征图，包括：
分别对所述第一层级特征图和所述第二层级特征图进行压缩处理；对压缩处理之后的第二层级特征图进行降采样处理；
对压缩处理之后的第一层级特征图和降采样处理之后的第二层级特征图进行特征拼接处理，得到拼接特征；
对所述拼接特征进行卷积计算，得到所述显著性特征图。
6.根据权利要求4所述的方法，其特征在于，所述匹配特征点包括：显著性特征点；
所述根据所述显著性特征图确定所述匹配特征点，包括：
对所述显著性特征图进行最大池化层处理，得到所述显著性特征点的第一坐标索引；
对所述显著性特征图和所述第一层级特征图进行注意力处理，得到注意力特征图；
分别在所述注意力特征图和所述第二层级特征图中确定与所述第一坐标索引相对应的特征点，得到所述显著性特征点。
7.根据权利要求4所述的方法，其特征在于，所述匹配特征点包括：边缘特征点；
所述根据所述显著性特征图确定所述匹配特征点，包括：
根据所述显著性特征图对所述第一层级特征图进行差分预测，得到所述待处理遥感图像中所包含目标的边缘预测图；
确定所述边缘预测图中每个像素点的置信度值，并根据所述置信度确定所述边缘特征点的第二坐标索引；
分别在所述第二层级特征图和所述第一层级特征图中确定与所述第二坐标索引相对应的特征点，得到所述边缘特征点。
8.根据权利要求7所述的方法，其特征在于，所述根据所述显著性特征图对所述第一层级特征图进行差分预测，得到所述待处理遥感图像中所包含目标的边缘预测图，包括：
根据所述显著性特征图对所述第一层级特征图进行平滑处理，得到平滑处理之后的所述第一层级特征图；
计算所述第一层级特征图的特征值和平滑处理之后的所述第一层级特征图的特征值之间的差值，并根据所述差值确定所述边缘预测图，其中，所述差值为所述边缘预测图的特征值。
9.根据权利要求8所述的方法，其特征在于，所述根据所述显著性特征图对所述第一层级特征图进行平滑处理，得到平滑处理之后的所述第一层级特征图，包括：
对所述显著性特征图进行平均池化处理，得到平均池化处理结果；
利用所述平均池化处理结果对所述第一层级特征图进行平滑处理，得到平滑处理之后的所述第一层级特征图。
10.根据权利要求1至3中任一项所述的方法，其特征在于，所述相邻层级特征图包括：第一层级特征图和第二层级特征图，所述第一层级特征图的图像分辨率小于所述第二层级特征图的图像分辨率；
所述根据所述至少一组特征值确定所述多层级特征图中每个层级特征图的相似性特征，包括：
对所述匹配特征点的特征值进行亲和度计算，得到亲和度计算结果；
计算第一特征值和所述亲和度计算结果之间的乘积，得到乘积计算结果，其中，所述第一特征值为所述匹配特征点中包含在所述第一层级特征图中的匹配特征点的特征值；
对所述乘积计算结果和第二特征值进行求和运算，得到所述相似性特征，其中，所述第二特征值为每组所述匹配特征点中包含在所述第二层级特征图中的匹配特征点的特征值。
11.根据权利要求2所述的方法，其特征在于，所述将所述相似性特征与相对应层级特征图中匹配特征点的原始特征值进行融合，得到各个层级特征图的目标融合特征，包括：
获取所述匹配特征点的位置信息；
根据所述位置信息在相对应层级特征图中确定目标特征点；
获取所述目标特征点的原始特征值，并将所述相似性特征和所述目标特征点的原始特征值进行融合，得到各个层级特征图的目标融合特征。
12.一种图像处理装置，其特征在于，包括：
获取单元，用于获取待处理遥感图像，并提取所述待处理遥感图像的多层级特征图；其中，所述多层级特征图中每个层级的特征图对应的尺度不同；
第一确定单元，用于确定所述多层级特征图中至少一组相邻层级特征图之间匹配特征点的特征值，得到至少一组特征值；
第二确定单元，用于根据所述至少一组特征值确定所述多层级特征图中每个层级特征图的相似性特征；所述相似性特征用于表征所述匹配特征点之间的相似性；
图像分割单元，用于基于所述每个层级特征图的相似性特征对所述待处理遥感图像进行图像分割处理，得到图像分割结果。
13.一种电子设备，其特征在于，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如权利要求1至11任一所述方法的步骤。
14.一种计算机可读存储介质，其特征在于，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如权利要求1至11任一所述方法的步骤。
CN202110044732.0A 2021-01-13 2021-01-13 图像处理方法、装置、电子设备以及存储介质 Active CN112734772B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110044732.0A CN112734772B (zh) 2021-01-13 2021-01-13 图像处理方法、装置、电子设备以及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110044732.0A CN112734772B (zh) 2021-01-13 2021-01-13 图像处理方法、装置、电子设备以及存储介质

Publications (2)

Publication Number Publication Date
CN112734772A CN112734772A (zh) 2021-04-30
CN112734772B true CN112734772B (zh) 2022-03-22

Family

ID=75592112

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110044732.0A Active CN112734772B (zh) 2021-01-13 2021-01-13 图像处理方法、装置、电子设备以及存储介质

Country Status (1)

Country Link
CN (1) CN112734772B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113822901B (zh) * 2021-07-21 2023-12-12 南京旭锐软件科技有限公司 图像分割方法、装置、存储介质及电子设备
CN113869325A (zh) * 2021-08-27 2021-12-31 北京旷视科技有限公司 图像处理方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349167A (zh) * 2019-07-10 2019-10-18 北京悉见科技有限公司 一种图像实例分割方法及装置
CN110751027A (zh) * 2019-09-09 2020-02-04 华中科技大学 一种基于深度多示例学习的行人重识别方法
CN111666960A (zh) * 2019-03-06 2020-09-15 南京地平线机器人技术有限公司 图像识别方法、装置、电子设备及可读存储介质

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111666960A (zh) * 2019-03-06 2020-09-15 南京地平线机器人技术有限公司 图像识别方法、装置、电子设备及可读存储介质
CN110349167A (zh) * 2019-07-10 2019-10-18 北京悉见科技有限公司 一种图像实例分割方法及装置
CN110751027A (zh) * 2019-09-09 2020-02-04 华中科技大学 一种基于深度多示例学习的行人重识别方法

Also Published As

Publication number Publication date
CN112734772A (zh) 2021-04-30

Similar Documents

Publication Publication Date Title
Zorzi et al. Polyworld: Polygonal building extraction with graph neural networks in satellite images
US11636306B2 (en) Implementing traditional computer vision algorithms as neural networks
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN111967467B (zh) 图像目标检测方法、装置、电子设备和计算机可读介质
CN108960001A (zh) 训练用于人脸识别的图像处理装置的方法和装置
CN111831844A (zh) 图像检索方法、图像检索装置、图像检索设备及介质
CN112734772B (zh) 图像处理方法、装置、电子设备以及存储介质
CN115423946B (zh) 大场景弹性语义表征与自监督光场重建方法及装置
CN113793370B (zh) 三维点云配准方法、装置、电子设备及可读介质
CN113284237A (zh) 一种三维重建方法、系统、电子设备及存储介质
Yang et al. A real-time image forensics scheme based on multi-domain learning
CN112990440A (zh) 用于神经网络模型的数据量化方法、可读介质和电子设备
CN110717405B (zh) 人脸特征点定位方法、装置、介质及电子设备
WO2023082588A1 (zh) 一种语义标注的方法、装置、电子设备、存储介质及计算机程序产品
CN110163095B (zh) 回环检测方法、回环检测装置及终端设备
CN110135428B (zh) 图像分割处理方法和装置
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
CN112749576B (zh) 图像识别方法和装置、计算设备以及计算机存储介质
CN113920256A (zh) 一种大场景的三维重建方法、装置及设备
CN113139617B (zh) 一种输电线路自主定位方法、装置及终端设备
CN113610856B (zh) 训练图像分割模型和图像分割的方法和装置
CN117036658A (zh) 一种图像处理方法及相关设备
CN114612572A (zh) 一种基于深度学习的激光雷达与相机外参标定方法及装置
Porzi et al. An automatic image-to-DEM alignment approach for annotating mountains pictures on a smartphone
CN110807452A (zh) 预测模型构建方法、装置、系统及银行卡卡号识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant