CN112633185A - 图像处理的方法及装置 - Google Patents

图像处理的方法及装置 Download PDF

Info

Publication number
CN112633185A
CN112633185A CN202011565601.9A CN202011565601A CN112633185A CN 112633185 A CN112633185 A CN 112633185A CN 202011565601 A CN202011565601 A CN 202011565601A CN 112633185 A CN112633185 A CN 112633185A
Authority
CN
China
Prior art keywords
image
processed
channel
semantic segmentation
remote sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011565601.9A
Other languages
English (en)
Other versions
CN112633185B (zh
Inventor
劳江微
汪佳
王剑
陈景东
顾欣欣
孙剑哲
甘利民
余泉
孙晓冬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alipay Hangzhou Information Technology Co Ltd
Original Assignee
Alipay Hangzhou Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alipay Hangzhou Information Technology Co Ltd filed Critical Alipay Hangzhou Information Technology Co Ltd
Priority to CN202011565601.9A priority Critical patent/CN112633185B/zh
Publication of CN112633185A publication Critical patent/CN112633185A/zh
Application granted granted Critical
Publication of CN112633185B publication Critical patent/CN112633185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本说明书实施例提供一种图像处理的方法和装置，将光谱遥感图像切割为多个待处理图像进行处理，尽可能保留光谱遥感图像的信息。在处理光谱遥感图像时，按照不同的分辨率，对光谱遥感图像在多个尺度(对应分辨率)上进行缩放，从而得到各个尺度分别的语义分割结果，以及相应的注意力图。进一步地，利用注意力图，对各个语义分割结果进行融合。该方法引入注意力图，来描述语义分割的重要度，从而提高目标识别结果的准确度。

Description

图像处理的方法及装置
本申请为2020年09月04日提交的、申请号202010923823.7的发明专利申请“图像处理的方法及装置”的分案申请。
技术领域
本说明书一个或多个实施例涉及计算机技术领域，尤其涉及利用计算机进行图像处理的方法与装置。
背景技术
目标识别是通过计算机从一幅或多幅图像，或者是视频中，识别出物体的技术。目标识别可以广泛应用于自动驾驶、商品自动补货、车辆损伤识别、人脸考勤、自助购物等等多种场景。遥感图像，是各种传感器所获信息的产物，是遥感探测目标的信息载体。遥感图像可以包含很多信息，如水体、植被、土地、山地等等，从遥感图像上能辨别出较小的物体，如一棵树、一个人、一条交通标志线、一个足球场内的标志线等。光谱遥感图像是通过基于光谱的传感器采集的图像。然而，遥感图像通常涵盖区域较广，图像视野较大，在处理过程中，如何更准确地识别预定目标，是值得探索的问题。
发明内容
本说明书一个或多个实施例描述了一种图像处理的方法及装置，用以解决背景技术提到的一个或多个问题。
根据第一方面，提供一种图像处理的方法，用于从光谱遥感图像中识别预定目标，包括：获取待处理的光谱遥感图像；检测所述待处理的光谱遥感图像中是否存在云团和/或云影，在存在的情况下进行去云团处理和/或云影去除处理；将所述待处理的光谱遥感图像按照预定尺寸和预定步长，切割为若干待处理图像；针对各个待处理图像的各个图像通道，分别执行标准化操作，针对单个图像通道，所述标准化操作用于将各个像元对应的通道值限定在预定范围；基于预先训练的卷积神经网络，对所述若干待处理图像分别进行语义分割，得到基于语义分割的各个目标识别结果；将各个目标识别结果按照若干待处理图像的位置关系进行拼接，得到针对所述待处理的光谱遥感图像在预定目标上的识别结果。
第二方面，提供一种图像处理的方法，其中，待处理图像基于光谱遥感影像获取，所述方法用于从所述待处理图像中识别预定目标，包括：针对所述待处理图像进行分辨率缩放，得到对应于第一分辨率的第一图像；提取所述第一图像在多个预定图像通道上的图像特征，得到与各个预定图像通道一一对应的多个特征图；通过预先训练的卷积神经网络，处理所述多个特征图，得到针对所述第一图像的第一语义分割结果和第一注意力图，其中，所述卷积神经网络包括基础卷积模块，以及并列与基础卷积模块连接的语义卷积模块和注意力卷积模块，所述第一语义分割结果为所述语义卷积模块的输出结果，包括分别对应于各个目标类别的各个概率图，单个概率图描述所述第一图像映射到所述待处理图像上，各个像元识别为预定目标中的单个目标类别的概率，所述第一注意力图为所述注意力卷积模块输出，所述注意力图指示出针对所述待处理图像，各个像元各自对应的语义分割结果的重要程度；将所述第一语义分割结果与经由其他图像得到的其他语义分割结果，基于所述第一注意力图以及以其他语义分割结果对应的其他注意力图进行融合，从而确定对所述待处理图像关于预定目标的识别结果，所述其他图像是针对所述待处理图像进行分辨率缩放，得到的对应于其他分辨率的图像。
在一个实施例中，所述待处理图像是对所述光谱遥感影像按照预定尺度进行切分得到。
在一个实施例中，对所述光谱遥感影像在按照预定尺度进行切分得到所述待处理图像之前，还经过以下中的至少一项预处理：去云团处理、云影去除。
在一个实施例中，在光谱遥感图像的各个图像通道上分别对应有通过若干光谱遥感图像统计确定的各个通道均值和各个通道方差；对所述待处理图像进行分辨率缩放之前，针对各个图像通道，还进行以下光谱标准化处理：将各个像元在单个图像通道上分别对应的通道值，减去相应的通道均值，得到所述单个图像通道对应的通道差值；根据所述通道差值与所述单个图像通道对应的通道方差，确定各个像元在所述单个图像通道上的标准化值。
在一个实施例中，所述待处理图像对应有初始分辨率，所述对所述待处理图像进行分辨率缩放，得到对应于第一分辨率的第一图像包括：在所述第一分辨率大于所述初始分辨率的情况下，通过上采样得到对应于第一分辨率的第一图像；在所述第一分辨率小于所述初始分辨率的情况下，通过下采样得到对应于第一分辨率的第一图像。
在一个实施例中，在预定目标包括植被、水体中的至少一项的业务场景下，所述多个预定通道包括近红外通道。
在一个实施例中，所述基础卷积模块包括多分辨率卷积层，所述多分辨率卷积层将单个卷积通道分为若干子卷积通道，各个子卷积通道对应分辨率依次递减的卷积操作，单个子卷积通道与下级子卷积通道之间进行连接时，通过下采样方式降低分辨率。
在一个实施例中，所述基础卷积模块还包括融合层，所述融合层用于将各个卷积通道的卷积结果进行统一分辨率的融合，得到融合特征图，其中，统一分辨率的方式为上采样和/或下采样，融合方式包括求平均、求最大值、求和中的至少一项。
在一个实施例中，所述融合层还包括特征上下文表示层，所述特征上下文表示层用于通过以下方式更新各个特征点的特征值：按照所述融合特征图确定各个特征点的预分类结果，所述预分类结果指示出各个特征点对应的预定目标类别；针对单个特征点，利用与该单个特征点在所述与分类结果上具有相同预定目标类别的若干特征点的特征值融合值，更新该单个特征点的特征值。
在一个实施例中，所述融合层还包括特征上下文表示层，所述特征上下文表示层用于通过以下方式更新单个特征点的特征值：通过注意力机制确定单个特征点与其他各个特征点之间的关联度；对关联度大于预定阈值的各个特征点的特征值进行融合，用得到的特征值融合值更新该单个特征点的特征值。
在一个实施例中，所述将所述第一语义分割结果与经由其他图像得到的其他语义分割结果，基于所述第一注意力图以及以其他语义分割结果对应的其他注意力图进行融合，从而确定对所述待处理图像关于预定目标的识别结果包括：将各个注意力图与相应语义分割结果的乘积进行相加操作，得到的和结果作为对所述待处理图像关于预定目标的识别结果。
在一个实施例中，所述方法还包括：
将对所述待处理图像关于预定目标的识别结果，与对其他待处理图像关于预定目标的其他识别结果进行拼接，得到所述光谱遥感影像关于预定目标的识别结果，所述其他待处理图像为所述光谱遥感影像按照预定尺度进行切分得到的其他图像。
根据第三方面，提供一种图像处理的装置，用于从光谱遥感图像中识别预定目标，包括以下单元：
图像获取单元：获取待处理的光谱遥感图像；
去云处理单元：检测所述待处理的光谱遥感图像中是否存在云团和/或云影，在存在的情况下进行去云团处理和/或云影去除处理；
切割单元：将所述待处理的光谱遥感图像按照预定尺寸和预定步长，切割为若干待处理图像；
标准化单元：针对各个待处理图像的各个图像通道，分别执行标准化操作，针对单个图像通道，所述标准化操作用于将各个像元对应的通道值限定在预定范围；
语义分割单元：基于预先训练的卷积神经网络，对所述切割操作确定的若干待处理图像分别进行语义分割，得到基于语义分割的各个目标识别结果；
结果拼接单元：将各个目标识别结果按照若干待处理图像的位置关系进行拼接，得到针对所述待处理的光谱遥感图像在预定目标上的识别结果。
根据第四方面，提供一种图像处理的装置，其中，待处理图像基于光谱遥感影像获取，所述装置用于从所述待处理图像中识别预定目标，包括：
分辨率调整单元，配置为针对所述待处理图像进行分辨率缩放，得到对应于第一分辨率的第一图像；
特征提取单元，配置为提取所述第一图像在多个预定通道上的图像特征，得到与各个预定通道一一对应的多个特征图；
卷积处理单元，配置为通过预先训练的卷积神经网络，处理所述多个特征图，得到第一语义分割结果和第一注意力图，其中，所述卷积神经网络包括基础卷积模块，以及并列与基础卷积模块连接的语义卷积模块和注意力卷积模块，所述第一语义分割结果为所述语义卷积模块的输出结果，包括分别对应于各个目标类别的各个概率图，单个概率图描述所述第一图像映射到所述待处理图像上，各个像元识别为单个目标类别的概率，所述第一注意力图为所述注意力卷积模块输出，所述注意力图指示出针对所述第一图像，各个像元各自对应的语义分割结果的重要程度；
识别结果合并单元，配置为将所述第一语义分割结果与经由其他图像得到的其他语义分割结果，基于所述第一注意力图以及以其他语义分割结果对应的其他注意力图进行融合，从而确定对所述待处理图像关于预定目标的识别结果，所述其他图像是针对所述待处理图像进行分辨率缩放，得到的对应于其他分辨率的图像。
根据第五方面，提供了一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面或第二方面的方法。
根据第六方面，提供了一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面或第二方面的方法。
通过本说明书实施例提供的方法和装置，整体流程上，通过对多光谱图像进行切割，对切割后的单个待处理图像进行多光谱标准化、语义分割等处理，再将各个待处理图像语义分割得到的目标识别结果进行拼接，最终得到对多光谱图像的目标识别结果。这种图像处理方式基于分割和深度学习，提供更加有效的目标识别方式。
细节上，针对待处理图像，按照不同的分辨率，对光谱遥感图像在多个尺度(对应分辨率)上进行缩放，从而得到各个尺度分别的语义分割结果，以及相应的注意力图。进一步地，利用注意力图，对各个语义分割结果进行融合。该技术架构通过引入注意力图，来描述语义分割的重要度，从而提高目标识别结果的准确度。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1示出本说明书的一个实施场景示意图；
图2示出本说明书一个实施例的整体实施架构示意图；
图3示出本说明书一个实施例的图像处理具体实施架构示意图
图4示出根据一个实施例的图像处理的方法流程图；
图5示出在一个具体例子中的卷积神经网络处理流程示意图；
图6示出在另一个具体例子的卷积神经网络处理流程示意图；
图7示出根据另一个实施例的图像处理的方法流程图；
图8示出根据一个实施例的图像处理的装置的示意性框图；
图9示出根据另一个实施例的图像处理的装置的示意性框图。
具体实施方式
下面结合附图，对本说明书提供的方案进行描述。
首先，结合图1示出的一个具体实施场景进行说明。如图1所示，是一个遥感影像示意图。该影像中可以包括水体、建筑、以及多种植被等。图1示出的影像可以是实际面积很大的区域，可能是一个县、一个市、一个省、一个国家。该影像可以通过光谱摄像机等遥感设备从高空俯视采集。
图1示出的遥感影像可以用于相应的目标识别业务场景，例如预定植被识别业务场景、水体识别业务场景、地形识别(包括水体、建筑物、植被等等识别)业务场景等等。
具体地，参考图2给出的实施架构，在获取待处理的光谱遥感图像之后，可以先利用去云算法进行去云团处理，即检测图像中的云团、云团产生的云影等，并将检测到的云团和/或云影去除。例如，对包含云团、云影的图像切掉。然后，对光谱遥感图像进行切割操作。可以理解，遥感图像通常对应着地面面积，例如500千米×500千米。与普通图像类似，遥感影像可以由多个像元(相当于普通图像的一个像素)构成，一个像元通常对应着地面的一个区域，例如100米×100米区域等。在对遥感影像进行识别时，如果影像的像元数量较少，意味着较低的分辨率，可以直接使用遥感影像作为进行目标识别的图像来处理，而如果影像的像元数量较多，意味着较高的分辨率，则可以对遥感影像按照设定尺寸进行切割，并对切割后的图像分别进行目标识别。将用于识别预定目标的图像称为待处理图像，则待处理图像可以是光谱遥感影像本身，也可以是对光谱遥感影像进行切割得到的小图像。
之后，可以针对各个待处理图像分别执行多光谱标准化操作：对于各个图像通道中的单个图像通道，将各个像元对应的通道值与相应通道上的通道均值之间的通道差值，以基于相应通道上的通道方差为标准化因子，确定相应的各个标准化值。其中，通道均值和通道方差均通过统计确定。之后，对各个待处理图像进行语义分割操作，得到相应的目标识别结果，并将各个待处理图像的目标识别结果拼接得到针对待处理的光谱遥感图像在预定目标上的识别结果。可以理解，在待处理图像中，对于相对较小的目标(例如农作物植被)来说，可能需要“放大图像”才能识别，而相对较大的目标(例如水体、山体等)，可能可以正常识别，或者“缩小图像”进行识别。这里，“放大图像”也就是增大图像分辨率，“缩小图像”也就是减小图像分辨率。例如，待处理图像为300×300个像元的分辨率，“放大”后，为包括600×600个像元分辨率的图像，相应地，单个像元对应的地面区域减小。也就是说，在进行目标识别时，针对待处理图像，可以基于分辨率的缩小或放大，得到多种分辨率的图像，以识别多尺寸的预定目标。这里，多种分辨率的图像也可以称为多尺度图像。
图3示出了一个具体例子中，待处理图像经过缩放得到多种分辨率的各个图像之后的处理架构。如图3所示，可以在原分辨率h×w基础上，缩小为h×w的1/2的分辨率、h×w的1/4的分辨率等多种分辨率。其中，分辨率缩放可以通过上采样、下采样等方式进行，也可以采用双线性插值等方式进行，在此不再赘述。
参考图3，对于针对待处理图像缩放得到的每个图像，可以通过预先训练的卷积神经网络进行处理，得到相应的语义分割结果(概率图)和注意力图。语义分割可以用于进行更细节的目标识别，例如识别每个像素的目标类别。在本说明书架构下，可以针对各个目标类别，分别确定对应于单个目标类别，各个像素分类到该目标类别的概率。
其中，为了通过卷积神经网络处理待处理图像，可以对待处理图像提取若干图像通道(如R、G、B等颜色通道)上的特征，得到多个特征图。如图3所示，对于分辨率为h×w的待处理图像，可以得到4个图像通道分别对应的4个特征图，每个特征图的大小均为h×w，单个通道上，各个元素分别对应着相应像素在该图像通道上的特征值，例如R颜色通道上的颜色值255等。为了便于描述，在本说明书中，可以将卷积神经网络中，功能分支之前对多个特征图的卷积操作部分，称为基础卷积模块。这里的功能分支为语义分割和注意力确定分支，分别对应语义卷积模块和注意力卷积模块。由于预先训练的卷积神经网络在基础卷积模块之后，包括并列卷积通道上的语义卷积模块和注意力卷积模块，因此将该待处理图像经由该卷积神经网络处理，可以得到相应的语义分割结果和注意力图。
一方面，通过语义卷积模块可以输出语义分割结果，语义分割结果可以包括若干概率图。例如概率图的数量与目标类别的数量一致，单个概率图描述出待处理图像映射到光谱遥感影像上每个像素分类到相应目标类别的概率。在待处理图像分辨率为h×w的情况下，单个概率图的元素数也为h×w。图3中示出的概率图数量为c，对应着c个目标类别。例如c＝3，在图1的实施架构下，目标类别为植被1、植被2、植被3，则可以得到3个h×w的概率图。
另一方面，通过注意力卷积模块，可以输出一个注意力图。该注意力图的元素数可以与当前所针对的图像映射到待处理图像的像素一致。注意力图中的各个元素可以描述出相应像素在当前分辨率下的重要程度。
同理，对于通过同一个待处理图像得到的各种分辨率的图像，分别可以经过上述预先训练的卷积神经网络进行处理，并各自得到与目标类别数c一致的若干概率图，以及一个注意力图。图3中，原始光谱遥感影像分辨率为h×w，原分辨率、缩放为二分之一分辨率、四分之一分辨率的待处理图像均可以得到c个h×w的概率图，以及一个注意力图。值得说明的是，图3中用于处理不同分辨率的卷积神经网络可以是相同的卷积神经网络，为了更清晰地描述处理过程，图3中分别画出。
进一步地，可以以注意力值为权重，将各个图像对应的语义分割结果(概率图)进行融合，从而得到针对待处理图像的预定目标的识别结果。在一个实施例中，可以将各个语义分割结果与相应注意力图相乘，之后将各个相乘结果叠加，得到待处理图像最终的语义分割结果，作为预定目标的识别结果。
根据可能的设计，可以对最初待处理的光谱遥感图像进行切割，每切割来的一部分作为上述处理过程中的一个待处理图像，得到相应预定目标的识别结果。之后，还可以将切割得到的各个待处理图像的预定目标的识别结果拼接在一起，得到针对最初的光谱遥感图像的综合目标识别结果。
以上对本说明书的实施架构进行了描述，下面结合图4，对本说明书一个实施例的光谱遥感影像的处理流程进行详细描述。
在图4中，以单个待处理图像为处理对象，进行说明。在一个可选的实现方式中，这里的待处理图像可以是初始的整幅光谱遥感影像，这种光谱遥感影像可以对应较大地理区域，例如一个县的光谱遥感影像，光谱遥感图像的像素可以称为像元，例如一个像元对应20米×20米的地面区域。在另一个可选的实现方式中，这里的待处理图像可以是对整幅光谱遥感影像按照预定方式进行切割之后的部分光谱遥感影像。例如按照预定尺寸(如500×500个像元)和预定步长(200)进行切割后得到的图像。其中，预定尺寸可以对应着预定分辨率，例如500×500个像元的储存可以理解为分辨率为500×500。在一个像元对应20米×20米的地面区域的情况下，分辨率为500×500的图像对应着10千米×10千米的地面区域。
在可能的实施例中，光谱遥感图像的分辨率还可以通过一个像元对应的地理面积表示，例如50米×50米，当分辨率增大的时候，感受野增大，当分辨率减小的时候，感受野减小。这样，对光谱遥感图像的切割还可以是按照这种地面分辨率进行的切割。例如按照预定尺寸500米×500米进行切割。
对于目标识别来说，通常具有明确要识别的目标，例如树木、人物、山脉、水体、农作物类别等等。这种明确的要识别的目标可以称为预定目标。如图4所示，具体以待处理图像对应的任一个分辨率的图像(称为第一图像)为例说明针对待处理图像的目标识别过程。图像处理的流程400可以包括：步骤401，针对待处理图像进行分辨率缩放，得到对应于第一分辨率的第一图像；步骤402，提取第一图像在多个预定图像通道上的图像特征，得到与各个预定图像通道一一对应的多个特征图；步骤403，通过预先训练的卷积神经网络，处理多个特征图，得到第一语义分割结果和第一注意力图，其中，卷积神经网络包括基础卷积模块，以及并列与基础卷积模块连接的语义卷积模块和注意力卷积模块，第一语义分割结果为语义卷积模块的输出结果，包括分别对应于各个目标类别的各个概率图，单个概率图描述第一图像映射到待处理图像上，各个像元识别为预定目标中的单个目标类别的概率，第一注意力图为注意力卷积模块输出，注意力图指示出针对第一图像，各个像元各自对应的语义分割结果的重要程度；步骤404，将第一语义分割结果与经由其他图像得到的其他语义分割结果，基于第一注意力图以及以其他语义分割结果对应的其他注意力图进行融合，从而确定对待处理图像关于预定目标的识别结果，其他图像是针对待处理图像进行分辨率缩放，得到的对应于其他分辨率的图像。
首先，在步骤401中，针对待处理图像进行分辨率缩放，得到对应于第一分辨率的第一图像。可以理解，光谱遥感图像有自身的分辨率，如通过像元数表示为500×500。在光谱遥感图像中，由于高空远距离拍摄，且目标物体的大小可能较大或较小。这样，对于较小的目标物体，例如一颗农作物，需要将光谱遥感图像的分辨率缩小，例如缩小为10米×10米才能识别，而大树可能通过20米×20米分辨率可以识别。
在该步骤401中，可以通过下采样方式缩小待处理图像的分辨率，或者通过上采样方式放大待处理图像的分辨率。分辨率缩小时，像素(或像元)数增多，光谱遥感影像的一个像元对应的地面区域面积减小，相当于对图像进行了放大，分辨率放大时，像素数减少，光谱遥感影像的一个像元对应的地面区域面积增大，相当于对图像进行了缩小。
在识别目标为大面积作物、水体等的情况下，可以针对待处理图像缩小分辨率，得到更少像素描述的图像。例如从h×w减少为h×w的二分之一，相当于将待处理图像缩小为二分之一等。实践中，可以按照预定比例进行缩放，也可以按照设定的分辨率进行缩放，在此不作限定。在缩放后的图像与待处理图像像素一致的情况下，还可以认为是进行了1:1比例缩放。
这里，为了描述方便，将待处理图像进行缩放后得到的某个分辨率的图像中，分辨率记为第一分辨率，相应的图像记为第一图像。这里的第一分辨率可以是预先设定或按照预定缩放比例确定的任意分辨率，例如待处理图像的分辨率为500×500，缩小为原来的1/2，为250×250等。这里，由于分辨率的描述有两个方向，分辨率缩放时，通常以单个方向上的视觉尺寸增大或减小的比例记录分辨率的缩放比例。
接着，在步骤402，提取第一图像在多个预定图像通道上的图像特征，得到与各个预定图像通道分别对应的各个特征图。可以理解，第一图像通常对应多个像素，并且可以分解为分别在多个预定图像通道的描述，例如颜色的三原色R、G、B图像通道，光强、亮度图像通道等等。在光谱遥感图像中，还可以包括近红外通道等等，用于描述近红外光线的光谱特征。
通常图像可以由3通道颜色表示，例如：在颜色编码方式为RGB方式的情况下，多个预定图像通道可以包括分别与红色R、绿色G、蓝色B三个颜色分量对应的三个颜色编码通道，单个颜色编码通道上，单个特征点的编码值为相应像素在相应颜色分量的取值；在颜色编码方式为YUV方式的情况下，多个预定图像通道可以包括分别与明亮度Y、色度U、浓度V三个编码分量对应的三个颜色编码通道，单个颜色编码通道上，单个特征点的编码值为相应像素在相应编码分量的取值。
其中，近红外光(Near Infrared，NIR)是介于可见光(ⅥS)和中红外光(MIR)之间的电磁波，其对于蓝色、绿色之类的颜色具有更敏感的捕捉效果，因此，尤其利于识别绿植、水体等目标。如此，在用于植被、水体之类的目标识别业务场景中，可选地，可以将近红外光对应的通道作为预定图像通道。在近红外光对应的图像通道上，可以将发射波与反射波之间的频率差、幅值差等作为像素特征。
单个预定图像通道上，各个像素对应的图像特征可以构成与第一图像大小一致，分布一致的特征阵列，称之为特征图。假设预定通道数为N(正整数)，则可以得到N个特征图。例如，在多个预定通道为近红外(NIR)、R、G、B四个图像通道的情况下，如图2所示，针对第一图像可以提取到4个特征图。假设第一图像的分辨率为1/2(h×w)，单个特征图的元素数量也为1/2(h×w)。
在可能的设计中，在对各个图像通道提取特征之前，还可以针对各个图像特征中的单个图像特征，还可以对各个图像通道分别执行标准化操作，以将各个像元的通道值标准化。由于各个图像通道上，像元之间的通道值相差较大，可能影响模型训练的性能。因此，通过标准化操作，目的是将各个像元的通道值限定在预定范围。
作为示例，以第一像元为例，通道值标准化的方法例如是：将原始通道值减去该图像通道对应的通道均值，得到与第一像元对应的通道差值，根据通道差值与通道方差的比值，确定第一像元在该图像通道的标准化值。标准化值例如和通道差值与通道方差的比值正相关。其中，通道均值和通道方差都可以是对大量光谱遥感图像的统计结果。例如通道均值为大量光谱遥感图像的各个像元在该图像通道上的通道值的平均值，通道方差为这些像元在该图像通道上的通道值基于通道均值确定的方差。
标准化操作还可以通过其他方式实现，例如某个图像通道上的标准化因子为各个像元对应的通道值的最大差值(最大值与最小值的差值)，第一像元的标准化值可以为，第一像元在该图像通道的通道值与最小值的差值，与最大差值的比值。再例如，第一像元的标准化值可以为，第一像元在该图像通道的通道值与通道均值的差值，与最大差值的比值，等等。
使用通道值的标准化值可以简化计算，并使得在相应图像通道提取的特征更加明显。例如标准化值的正值和负值可能是相反的特征等。
如此，针对各个预定图像通道，都可以通过各个像元在相应图像通道的通道值或标准化值，得到相应的特征图。
接着，在步骤403中，通过预先训练的卷积神经网络，处理各个特征图，得到针对第一图像的第一语义分割结果和第一注意力图。其中，在本说明书的实施架构下，卷积神经网络可以包括基础卷积模块，以及并列与基础卷积模块连接的语义卷积模块和注意力卷积模块。第一语义分割结果可以为语义卷积模块的输出结果，注意力图可以为注意力卷积模块的输出结果。
针对第一图像，语义卷积模块可以输出第一语义分割结果，第一语义分割结果包括分别对应于各个目标类别的各个概率图，单个概率图描述第一图像映射到待处理图像上，各个像素识别为相应目标类别的概率。
针对第一图像，注意力卷积模块可以输出第一注意力图。第一注意力图指示出针对待处理图像，第一语义分割结果中各个像素分别对应的语义分割结果的重要程度。该重要程度在之一力图中对应的量化表示可以称为注意力值，或者置信度。
值得注意的是，这里说的第一语义分割结果、第一注意力图等中的第一，是为了与第一图像相呼应，而不对其实质含义进行限定。
卷积神经网络的基础卷积模块可以用于处理叠在一起的多个特征图，以挖掘各个像素之间、像素的各个通道之间的关联关系，从而为语义分割、注意力确定做准备。
在一个实施例中，上述卷积神经网络中的基础卷积模块可以是多个卷积核的常规卷积结构，图5给出一个具体例子的常规卷积结构下的卷积神经网络实施架构。在基础卷积模块中，每个卷积层通过不同的感受野(神经元连接的前一层在宽度和高度上呈现的局部区域)提取特征。不同的感受野提取特征过程中，需要诸如卷积核表示的权重、偏置之类的各种参数。通过在卷积神经网络训练过程中，按照样本标签(针对图片的样本标签可以为目标标注结果)不断进行参数调整，可以使得基础卷积模块提取对目标识别结果具有重要意义的各种隐含特征，并输出各个像素的语义分割结果，以及确定其重要程度。如图5所示，卷积神经网络的部分语义卷积模块和注意力卷积模块可以通过并列的两个卷积单元实现，每个卷积单元的深度(卷积层层数)和通道数可以根据需要设定，例如语义卷积模块对应的卷积层输出通道数可以与目标类别数相对应，注意力卷积模块对应的卷积层输出通道数可以为1或与语义卷积模块对应的卷积层输出通道数一致。图5示出的语义卷积模块和注意力卷积模块的深度都是1，在实践中，可以根据需要设置为其他任意合理的数值。
在另一个实施例中，上述基础卷积模块可以采用多分辨率卷积(High-ResolutionRepresentations for Labeling Pixels and Regions，HRnet)架构实现。图6给出一个具体例子的采用分辨率卷积结构下的实施架构。
多分辨率层可以通过诸如HRnet、HRnet+(改进的HRnet)、可变形卷积(DeformableConvolutional Networks，DCN)、金字塔卷积(Atrous Spatial Pyramid Pooling，ASPP)之类的卷积方式实现。图6的示例中采用的是HRnet，其将输入的卷积通道分成几个子卷积通道，并对每个子卷积通道中不同的空间分辨率进行常规卷积。在多分辨率卷积中，每个子卷积通道的分辨率是不同的，各个子卷积通道可以对分辨率依次递减的特征图进行卷积操作。如图6所示，单个子卷积通道与下级子卷积通道之间进行连接时，通过下采样方式降低分辨率。下级子卷积通道可以理解为新增的卷积通道。图6的示例中，新增的子卷积通道处理的初始特征图，由所有上级子卷积通道当前层的下采样结果确定。值得说明的是，这里的子卷积通道可以理解为不同的卷积线路，而和特征图的图像通道数和输出通道有不同的概念。图像通道数也可以理解为特征图的数量，例如步骤402中采集的图像特征，分别为红R、绿G、蓝B、近红外NIR四个图像通道上的特征图，共4个特征图。进一步地，可以通过一个卷积通道(线路)进行处理这4个特征图，也可以通过多个卷积通道，各个卷积通道均可以对这4个特征图进行处理。输出通道和图像通道具有类似的概念，在此不再赘述。
根据一个实施例，如图6所示，基础卷积模块包括多分辨率卷积层的架构下，其还可以包括融合层，多分辨率卷积层的卷积结果可以在融合层融合，得到融合特征图。例如可以通过上采样等方式，将低分辨率卷积结果调整为高分辨率，并进行融合，或者可以将较高分辨率卷积结果下采样，将较低分辨率卷积结果上采样，从而将各个子卷积通道的卷积结果都调整为预定分辨率的特征图，并进行融合。融合方式例如可以是按各个特征图上相对应位置的特征点取平均、取最大值等。融合后的卷积结果可以分别通过语义卷积模块和注意力卷积模块的卷积处理，得到语义分割结果和注意力图。融合特征图可以包括一个或多个特征图。
在可选的实现方式中，融合层还可以包括特征上下文标识层。特征上下文表示层的作用是进行特征增强，以更好地区分对应到不同预定目标类别的特征点。
在一个实施例中，特征上下文标识层通过OCR(Object-ContextualRepresentations，对象上下文表示)实现。OCR的基本架构包括，粗分类和同类特征点融合，还可以包括利用同类特征点融合结果处理中间卷积结果，得到特征增强结果。在OCR架构下，可以按照融合特征图，确定各个特征点的预分类结果(粗分类结果)。这里的与分类结果例如可以指示出各个特征点对应的预定目标类别，例如对应植被或水体等。针对单个特征点，可以将预分类结果上具有相同预定目标类别(例如均为植被)的若干特征点的特征值进行融合，得到特征值融合值，并利用该特征值融合值更新该单个特征点的特征值，使得该单个特征点更能体现相应预定目标类别的特征，达到特征增强的目的。
其中，特征值融合的方式例如可以是求和、求平均、求最大值等中的至少一项。例如，对于某个特征点，将其邻居特征点的特征值求平均后，作为当前特征点的特征值。其中，邻居节点可以预先定义，例如只包括距离最近(如分别位于其上、下、左、右)的四个特征点，也可以包括距离最近(如分别位于其上、下、左、右、左上、左下、右上、右下)的8个特征点。可选地，融合层在OCR层之后还可以连接点渲染(如PointRender等)层，以提高图像分辨率，在此不再赘述。
在另一个实施例中，特征上下文标识层还可以通过注意力机制实现。例如可以针对单个特征点：通过注意力机制确定单个特征点与其他各个特征点之间的关联度，按照关联度由大到小的顺序，选择若干个特征点进行特征值融合，用得到的特征值融合值更新该单个特征点的特征值。其中，单个特征点与其他各个特征点之间的关联度例如可以与特征点之间的特征值差值正相关，或者与该特征点对应于各个通道上的特征值构成的向量之间的相似性来确定。如前述的融合结果包括3个特征图，则每个特征点，例如第一行第一列的特征点在各个特征图上各对应一个值，于是该特征点可以对应一个3维向量。两个特征点之间的关联度可以通过两者分别对应的3维向量之间的向量相似度描述。当两个特征点对应的向量相似度较大时，可以认为两者较可能具有一致的预定目标类别，则可以相互用来进行特征增强。
在可选的实施例中，前述的OCR或注意力机制方式下，还可以从相应特征点中选出部分特征点用来进行特征值融合。例如注意力机制下，针对单个特征点，选择关联度值大于预定阈值的特征点进行特征值融合，或者按照关联度由大到小，选择预定数量的特征点进行特征值融合。
进一步地，语义卷积模块可以通过至少一个卷积层处理基础卷积模块的处理结果，输出若干个概率图，用于通过与待处理图像一致的特征点数，描述各个像素被分类到预定目标类别(或被识别为预定目标)的概率。概率图的数量可以与目标类别一致。注意力卷积模块可以通过至少一个卷积层处理基础卷积模块的处理结果，输出若干个具有与待处理图像的像素数一致的特征点数注意力图，描述语义卷积模块输出的概率图中各个像素点当前概率的重要程度或置信程度。
除了第一图像，还可以利用与步骤401相似的方式得到待处理图像对应于其他分辨率的若干其他图像，例如对应于第二分辨率的第二图像、对应于第三分辨率的第三图像等。之后，对于这若干其他图像，可以分别利用与步骤402、403相似的方式进行，从而得到相应的其他语义分割结果，以及注意力图。例如，对第二图像进行处理，得到第二语义分割结果和第二注意力图，对第三图像进行处理，得到第三语义分割结果和第三注意力图，等等。
进一步地，通过步骤404，将第一语义分割结果与经由其他图像得到的其他语义分割结果，基于第一注意力图以及以其他语义分割结果对应的其他注意力图进行融合，从而确定对待处理图像关于预定目标的识别结果。这里，其他图像是与步骤401中涉及的第一图像类似的图像，可以由待处理图像通过分辨率缩放得到，例如前述的第二图像、第三图像等。可以理解的是，各个图像得到的语义分割结果中，概率图数量、各个概率图的分辨率可以一致，注意力图与单个概率图的分辨率一致。
作为一个具体示例，假设待处理图像的分辨率为h×w，可以将第一图像对应的概率图，对应某个预定目标(如小麦作物)的概率图，h×w个元素与注意力图中的h×w个元素一一对应相乘，作为第一乘积。对其他图像在该预定目标的概率图做相似处理，得到其他乘积，例如第二乘积、第三乘积等。然后，将第一图像和各个其他图像对应的各个乘积相加，得到待处理图像对应该预定目标的概率图。同理，可以得到待处理图像在各个预定目标上的概率图，将这些概率图结果综合(例如对每个像素点选择概率最大的目标类别作为最终识别的目标类别)，从而得到针对待处理图像的目标识别结果。
作为另一个具体示例，假设待处理图像的分辨率为h×w，将语义分割结果看作h×w×C的三维矩阵，注意力图看作h×w的二维矩阵，则注意力图可以作为语义分割结果权重系数矩阵，各个语义分割结果的融合可以是以相应注意力图为权重系数矩阵的加权融合。假设与待处理图像对应的不同分辨率的图像数量为N，某个分辨率的图像i，对应的语义分割结果为Ci，注意力图为Ei，则光谱遥感图像的目标识别结果可以为：
Figure BDA0002860557140000191
其中，
Figure BDA0002860557140000192
表示元素按顺序或按位置一一对应相乘。
Figure BDA0002860557140000193
的相乘结果例如为h×w×C的三维矩阵。
在一个可能的实施方式下，如果待处理图像是初始的光谱遥感图像中切割得到的一部分，则可以将各个切割部分按照切割之前的排列位置，将相应目标识别结果拼接，从而得到初始的光谱遥感图像对应的目标识别结果。
其中，以上流程中的卷积神经网络可以通过从光谱遥感图像中获取的大量图片样本进行训练。单个图片样本为初始的光谱遥感图像或者从光谱遥感图像切割得到的其他待处理图像。单个图片样本还可以对应有预先标注的目标识别结果。目标识别结果可以指示出各个像素所属的目标类别。将各个图片样本经过图4示出的图像处理流程的处理，将步骤404得到的目标识别结果与预先标注的目标识别结果相对比，得到损失，并向损失减小的方向调整模型参数，例如卷积神经网络中的卷积核、偏置等参数。
在可能的设计中，参考图2所示，在图片样本构建过程中，还需要将光谱遥感图像可视化。所谓可视化，可以理解为人眼或标注模型识别的便利化。例如将光谱遥感图像的R、G、B通道转换成真彩色图像，方便一些房屋、车辆、船舶等的标注，再例如将光谱遥感图像的NIR、R、G通道转换成伪彩色图像，方便于一些树林、耕地等的标注，等等。然后由标注人员或者标注模型进行兴趣区域标注，例如标注出预定目标的边界线。
在一个实施例中，为了提高语义分割模型的训练效率以及稳定性，对于切割后的待处理图像以及感兴趣区域标注图像，还可以进行数据增强。数据增强的方式例如可以是多尺度变换、随机裁剪、随机镜像、随机光照变换、随机伽马(gamma)校正等。数据增强的直接作用是减少光照不均对图像的影响。
本领域技术人员容易理解，在卷积神经网络训练时，语义卷积模块和注意力卷积模块的输出结果的含义被假定，因此，从原理上来说，后续处理过程将相应输出结果作为预先假定含义的中间结果使用，得到最终步骤404的目标识别结果，因此，依据最终输出结果与图片样本的标注结果的对比调整参数后，卷积神经网络的语义卷积模块和注意力卷积模块的输出结果，可以认为是神经网络训练之前假定的含义，即分别为语义分割结果和注意力图。
可以理解的是，在光谱遥感图像采集过程中，采集设备通常从高空通过发射光线采集相应光谱信号，因此，所采集的图像可能包含一些障碍物，例如云层、云层投影，等等。在可选的实现方式中，确定待处理图像之前或之后，还可以进行去云团处理、去阴影处理等中的至少一项预处理操作，以去除光谱遥感影像中的云层、云层投影等。去云团处理例如可以采用诸如deeplabv3+、HRNetOCR(Object-Contextual Representations，对象上下文表示)等算法建立一个深度学习云分割算法，更加精准地去除云层、阴影等对结果准确度有影响的部分。
回顾以上过程，本说明书实施例提供的方法，在处理待处理图像时，按照不同的分辨率，对待处理图像在多个尺度(对应多个分辨率)上进行缩放，从而得到各个尺度分别的语义分割结果，以及相应的注意力图。进一步地，利用注意力图，对各个语义分割结果进行融合。该方法通过引入注意力图，来描述各个尺度上的语义分割的重要度，从而提高目标识别结果的准确度。
参考图7，是一个具体例子下针对光谱遥感图像的图像处理流程。该流程的执行主体可以是具有一定计算能力的任何电子设备、设备集群等。流程700包括：
步骤701，获取待处理的光谱遥感图像。
步骤702，检测待处理的光谱遥感图像中是否存在云团和/或云影，在存在的情况下进行相应的去云团处理和/或云影去除处理。其中，检测方式可以是各种去云算法，例如deeplabv3+、HRNetOCR等算法构建的深度学习去云模型。云团和云影去除的方式例如是抠除相应部分图像。
步骤703，将待处理的光谱遥感图像按照预定尺寸和预定步长，切割为若干待处理图像。例如按照像元数量50×50，步长20像元，或者对应地面面积500米×500米，步长200米等方式切割光谱遥感图像。
步骤704，针对各个待处理图像的各个图像通道，分别执行标准化操作。针对单个图像通道，标准化操作用于将各个像元对应的通道值限定在预定范围。例如第一像元在某个图像通道的标准化值与以下比值正相关：该像元对应的通道值与该单个图像通道上的通道均值之间的通道差值，与该单个图像通道上的通道方差的比值。再例如某个图像通道上的标准化因子为各个像元对应的通道值的最大差值(最大值与最小值的差值)，第一像元的标准化值可以为，第一像元在该图像通道的通道值与最小值/通道均值的差值，与最大差值的比值。
步骤705，基于预先训练的卷积神经网络，对若干待处理图像分别进行语义分割，得到基于语义分割的各个目标识别结果。例如可以利用图4示出的流程对各个待处理图像分别确定目标识别结果，在此不再赘述。
步骤706，将各个目标识别结果按照若干待处理图像的位置关系进行拼接，得到针对待处理的光谱遥感图像在预定目标上的识别结果。可以理解，待处理图像由对光谱遥感图像按照预定大小和预定步长切割，因此相互之间位置关系已知。根据这种位置关系，可以将各个待处理图像的识别结果拼接。由于待处理图像是从光谱遥感图像切割得到的图像，而非压缩等处理方式得到的图像，可以较好地保留图像本身更多的信息，从而使得对光谱遥感图像的目标识别结果更加准确。
根据另一方面的实施例，还提供一种图像处理的装置。该装置可以设于具有一定计算能力的终端、服务器或计算设备，用于针对待处理图像识别出预定目标。如图8所示，图像处理的装置800可以包括：
分辨率调整单元81，配置为针对待处理图像进行分辨率缩放，得到对应于第一分辨率的第一图像；
特征提取单元82，配置为提取第一图像在多个预定图像通道上的图像特征，得到与各个预定图像通道一一对应的多个特征图；
卷积处理单元83，配置为通过预先训练的卷积神经网络，处理多个特征图，得到第一语义分割结果和第一注意力图，其中，卷积神经网络包括基础卷积模块，以及并列与基础卷积模块连接的语义卷积模块和注意力卷积模块，第一语义分割结果为语义卷积模块的输出结果，包括分别对应于各个目标类别的各个概率图，单个概率图描述第一图像映射到待处理图像上，各个像元识别为单个目标类别的概率，第一注意力图为注意力卷积模块输出，注意力图指示出针对第一图像，各个像元各自对应的语义分割结果的重要程度；
识别结果合并单元84，配置为将第一语义分割结果与经由其他图像得到的其他语义分割结果，基于第一注意力图以及以其他语义分割结果对应的其他注意力图进行融合，从而确定对待处理图像关于预定目标的识别结果，其他图像是针对待处理图像进行分辨率缩放，得到的对应于其他分辨率的图像。
在一个实施例中，待处理图像是对光谱遥感影像按照预定尺度进行切分得到的。
在一个实施例中，装置800还可以包括预处理单元(未示出)，配置为对光谱遥感影像在按照预定尺度进行切分得到待处理图像之前，还经过以下中的至少一项预处理：去云团处理、云影去除。
根据一个可能的设计，待处理图像对应有初始分辨率，分辨率调整单元81进一步配置为：
在第一分辨率大于初始分辨率的情况下，通过上采样得到对应于第一分辨率的第一图像；
在第一分辨率小于初始分辨率的情况下，通过下采样得到对应于第一分辨率的第一图像。
在一个具体例子中，在预定目标包括植被、水体中的至少一项的业务场景下，多个预定图像通道包括近红外通道。
根据一个可选的实现方式，基础卷积模块包括多分辨率卷积层，多分辨率卷积层将单个卷积通道分为若干子卷积通道，各个子卷积通道对应分辨率依次递减的卷积操作，单个子卷积通道与下级子卷积通道之间进行连接时，通过下采样方式降低分辨率。
在可选的实施例中，基础卷积模块还包括融合层，融合层用于将各个卷积通道的卷积结果进行统一分辨率的融合，其中，统一分辨率的方式为上采样或下采样，融合方式包括求平均、求最大值、求和中的至少一项。
在进一步可选的实施例中，融合层还包括特征上下文表示层，特征上下文表示层可以通过对象上下文表示OCR实现，用于通过以下方式更新各个特征点的特征值：
按照融合特征图确定各个特征点的预分类结果，预分类结果指示出各个特征点对应的预定目标类别；
针对单个特征点，利用与该单个特征点在预分类结果中具有相同预定目标类别的若干特征点的特征值融合值，更新该单个特征点的特征值。
在另一个进一步可选的实施例中，特征上下文表示层通过注意力机制实现，用于通过以下方式更新单个特征点的特征值：
通过注意力机制确定单个特征点与其他各个特征点之间的关联度；
按照关联度由大到小的顺序，选择若干个特征点进行特征值融合，用得到的特征值融合值更新该单个特征点的特征值。
可选地，将第一语义分割结果与经由其他图像得到的其他语义分割结果，识别结果合并单元84进一步配置为：
将各个注意力图与相应语义分割结果的乘积进行相加操作，得到的和结果作为对待处理图像关于预定目标的识别结果。
在一个可能的设计中，装置800还可以包括拼接单元(未示出)，配置为：
将对待处理图像关于预定目标的识别结果，与对其他待处理图像关于预定目标的其他识别结果进行拼接，得到光谱遥感影像关于预定目标的识别结果，其他待处理图像为光谱遥感影像按照预定尺度进行切分得到的其他图像。
值得说明的是，图8所示的装置800是与图4示出的方法实施例相对应的装置实施例，图4示出的方法实施例中的相应描述同样适用于装置800，在此不再赘述。
根据由一方面的实施例，还提供一种图像处理的装置。该装置可以设于具有一定计算能力的终端、服务器、计算设备或设备集群，用于针对光谱遥感图像识别出预定目标。如图9所示，图像处理的装置900可以包括：
图像获取单元91：获取待处理的光谱遥感图像；
去云处理单元92：检测待处理的光谱遥感图像中是否存在云团和/或云影，在存在的情况下进行去云团处理/云影去除处理；
切割单元93：将待处理的光谱遥感图像按照预定尺寸和预定步长，切割为若干待处理图像；
标准化单元94：针对各个待处理图像的各个图像通道，分别执行标准化操作，标准化操作可以将各个像元对应的通道值限定在预定范围；
语义分割单元95：基于预先训练的卷积神经网络，对切割操作确定的若干待处理图像分别进行语义分割，得到基于语义分割的各个目标识别结果；
结果拼接单元96：将各个目标识别结果按照若干待处理图像的位置关系进行拼接，得到针对待处理的光谱遥感图像在预定目标上的识别结果。
值得说明的是，图9所示的装置900是与图7示出的方法实施例相对应的装置实施例，图7示出的方法实施例中的相应描述同样适用于装置900，在此不再赘述。
根据另一方面的实施例，还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行结合图4或图7所描述的方法。
根据再一方面的实施例，还提供一种计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现结合图4或图7所述的方法。
本领域技术人员应该可以意识到，在上述一个或多个示例中，本说明书实施例所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时，可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。
以上所述的具体实施方式，对本说明书的技术构思的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本说明书的技术构思的具体实施方式而已，并不用于限定本说明书的技术构思的保护范围，凡在本说明书实施例的技术方案的基础之上，所做的任何修改、等同替换、改进等，均应包括在本说明书的技术构思的保护范围之内。

Claims (12)

1.一种图像处理的方法，用于从光谱遥感图像中识别预定目标，包括：
获取待处理的光谱遥感图像；
检测所述待处理的光谱遥感图像中是否存在云团或云影，在存在的情况下进行去云团处理或云影去除处理；
将所述待处理的光谱遥感图像按照预定尺寸和预定步长，切割为若干待处理图像；
针对各个待处理图像的各个图像通道，分别执行标准化操作，针对单个图像通道，所述标准化操作用于将各个像元对应的通道值限定在预定范围；
基于预先训练的卷积神经网络，对所述若干待处理图像分别进行语义分割，得到基于语义分割的各个目标识别结果，其中，针对单个待处理图像通过以下方式进行语义分割：通过分辨率缩小或放大得到多个分辨率下的图像，以便于对不同目标类别或不同尺寸的目标进行识别；针对各个分辨率下的图像分别进行语义分割，得到各个语义分割结果；将各个语义分割结果融合得到所述单个待处理图像对应的单个目标识别结果；
将各个目标识别结果按照若干待处理图像的位置关系进行拼接，得到针对所述待处理的光谱遥感图像在预定目标上的识别结果。
2.根据权利要求1所述的方法，其中，所述针对各个待处理图像的各个图像通道，分别执行标准化操作包括：
针对单个待处理图像，将各个像元在单个图像通道上分别对应的通道值，减去相应的通道均值，得到所述单个图像通道对应的通道差值；
根据所述通道差值与所述单个图像通道对应的通道方差，确定各个像元在所述单个图像通道上的标准化值。
3.根据权利要求1所述的方法，其中，在预定目标包括植被、水体中的至少一项的业务场景下，各个图像通道包括近红外通道。
4.根据权利要求1所述的方法，其中，所述将各个语义分割结果融合得到所述单个待处理图像对应的单个目标识别结果包括：
针对各个分辨率下的图像，在进行语义分割的同时，利用得到语义分割结果之前的处理数据确定各个语义分割结果分别对应的各个注意力图，所述注意力图指示出针对所述待处理图像，各个像元各自对应的相应语义分割结果的重要程度；
将各个分辨率下的图像分别对应的各个语义分割结果，基于各个注意力图进行融合，从而得到该单个待处理图像对应的单个目标识别结果。
5.根据权利要求4所述的方法，其中，所述将各个分辨率下的图像分别对应的各个语义分割结果，基于各个注意力图进行融合，从而得到该单个待处理图像对应的单个目标识别结果包括：
将各个语义分割结果分别与相应注意力图相乘，得到各个相乘结果；
根据对各个相乘结果的叠加，得到该单个待处理图像对应的单个目标识别结果。
6.一种图像处理的装置，用于从光谱遥感图像中识别预定目标，包括以下单元：
图像获取单元：获取待处理的光谱遥感图像；
去云处理单元：检测所述待处理的光谱遥感图像中是否存在云团或云影，在存在的情况下进行去云团处理或云影去除处理；
切割单元：将所述待处理的光谱遥感图像按照预定尺寸和预定步长，切割为若干待处理图像；
标准化单元：针对各个待处理图像的各个图像通道，分别执行标准化操作，针对单个图像通道，所述标准化操作用于将各个像元对应的通道值限定在预定范围；
语义分割单元：基于预先训练的卷积神经网络，对所述切割操作确定的若干待处理图像分别进行语义分割，得到基于语义分割的各个目标识别结果，其中，针对单个待处理图像通过以下方式进行语义分割：通过分辨率缩小或放大得到多个分辨率下的图像，以便于对不同目标类别或不同尺寸的目标进行识别；针对各个分辨率下的图像分别进行语义分割，得到各个语义分割结果；将各个语义分割结果融合得到所述单个待处理图像对应的单个目标识别结果；
结果拼接单元：将各个目标识别结果按照若干待处理图像的位置关系进行拼接，得到针对所述待处理的光谱遥感图像在预定目标上的识别结果。
7.根据权利要求6所述的装置，其中，标准化单元进一步配置为：
针对单个待处理图像，将各个像元在单个图像通道上分别对应的通道值，减去相应的通道均值，得到所述单个图像通道对应的通道差值；
根据所述通道差值与所述单个图像通道对应的通道方差，确定各个像元在所述单个图像通道上的标准化值。
8.根据权利要求6所述的装置，其中，在预定目标包括植被、水体中的至少一项的业务场景下，各个图像通道包括近红外通道。
9.根据权利要求6所述的装置，其中，所述语义分割单元还配置为通过以下方式将各个语义分割结果融合得到所述单个待处理图像对应的单个目标识别结果：
针对各个分辨率下的图像，在进行语义分割的同时，利用得到语义分割结果之前的处理数据确定各个语义分割结果分别对应的各个注意力图，所述注意力图指示出针对所述待处理图像，各个像元各自对应的相应语义分割结果的重要程度；
将各个分辨率下的图像分别对应的各个语义分割结果，基于各个注意力图进行融合，从而得到该单个待处理图像对应的单个目标识别结果。
10.根据权利要求9所述的装置，其中，所述所述语义分割单元进一步配置为通过以下方式将各个分辨率下的图像分别对应的各个语义分割结果，基于各个注意力图进行融合，从而得到该单个待处理图像对应的单个目标识别结果：
将各个语义分割结果分别与相应注意力图相乘，得到各个相乘结果；
根据对各个相乘结果的叠加，得到该单个待处理图像对应的单个目标识别结果。
11.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-5中任一项的所述的方法。
12.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-5中任一项所述的方法。
CN202011565601.9A 2020-09-04 2020-09-04 图像处理的方法及装置 Active CN112633185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011565601.9A CN112633185B (zh) 2020-09-04 2020-09-04 图像处理的方法及装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010923823.7A CN111814771B (zh) 2020-09-04 2020-09-04 图像处理的方法及装置
CN202011565601.9A CN112633185B (zh) 2020-09-04 2020-09-04 图像处理的方法及装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN202010923823.7A Division CN111814771B (zh) 2020-09-04 2020-09-04 图像处理的方法及装置

Publications (2)

Publication Number Publication Date
CN112633185A true CN112633185A (zh) 2021-04-09
CN112633185B CN112633185B (zh) 2023-04-18

Family

ID=72859992

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202011565601.9A Active CN112633185B (zh) 2020-09-04 2020-09-04 图像处理的方法及装置
CN202010923823.7A Active CN111814771B (zh) 2020-09-04 2020-09-04 图像处理的方法及装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202010923823.7A Active CN111814771B (zh) 2020-09-04 2020-09-04 图像处理的方法及装置

Country Status (1)

Country Link
CN (2) CN112633185B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743300A (zh) * 2021-09-03 2021-12-03 中化现代农业有限公司 基于语义分割的高分遥感图像云检测方法和装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112560716B (zh) * 2020-12-21 2024-05-28 浙江万里学院 一种基于低层特征融合的高分辨率遥感影像水体提取方法
CN113191261B (zh) * 2021-04-29 2022-12-06 北京百度网讯科技有限公司 图像类别的识别方法、装置和电子设备
CN114913428A (zh) * 2022-04-26 2022-08-16 哈尔滨理工大学 一种基于深度学习的遥感图像目标检测系统
CN114821333B (zh) * 2022-05-16 2022-11-18 中国人民解放军61540部队 一种高分辨率遥感影像道路材质识别方法及装置
CN116524442B (zh) * 2023-07-04 2024-05-17 深圳大学 基于视角贡献加权的人群检测方法及相关装置
CN117011550B (zh) * 2023-10-08 2024-01-30 超创数能科技有限公司 一种电子显微镜照片中的杂质识别方法及装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
WO2018232592A1 (en) * 2017-06-20 2018-12-27 Microsoft Technology Licensing, Llc. SEMANTIC SEGMENTATION TAKING INTO ACCOUNT AN EVENT WITH COMPLETE CONVOLUTION
CN109583345A (zh) * 2018-11-21 2019-04-05 平安科技（深圳）有限公司 道路识别方法、装置、计算机装置及计算机可读存储介质
CN109886106A (zh) * 2019-01-15 2019-06-14 浙江大学 一种基于深度学习的遥感图像建筑物变化检测方法
CN111524150A (zh) * 2020-07-03 2020-08-11 支付宝(杭州)信息技术有限公司 图像处理的方法及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018101336A4 (en) * 2018-09-12 2018-10-11 Hu, Yuan Miss Building extraction application based on machine learning in Urban-Suburban-Integration Area

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170076438A1 (en) * 2015-08-31 2017-03-16 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
WO2018232592A1 (en) * 2017-06-20 2018-12-27 Microsoft Technology Licensing, Llc. SEMANTIC SEGMENTATION TAKING INTO ACCOUNT AN EVENT WITH COMPLETE CONVOLUTION
CN108564587A (zh) * 2018-03-07 2018-09-21 浙江大学 一种基于全卷积神经网络的大范围遥感影像语义分割方法
CN109583345A (zh) * 2018-11-21 2019-04-05 平安科技（深圳）有限公司 道路识别方法、装置、计算机装置及计算机可读存储介质
CN109886106A (zh) * 2019-01-15 2019-06-14 浙江大学 一种基于深度学习的遥感图像建筑物变化检测方法
CN111524150A (zh) * 2020-07-03 2020-08-11 支付宝(杭州)信息技术有限公司 图像处理的方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
JUN FU，ET AL: "《Dual Attention Network for Scene Segmentation》", 《CVPR》 *
孙鹏慧: "《辽宁省钼矿资源潜力评价》", 31 October 2019, 北京地质出版社 *
梁新宇，等: "《基于深度学习的图像语义分割技术研究进展》", 《计算机工程与应用》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743300A (zh) * 2021-09-03 2021-12-03 中化现代农业有限公司 基于语义分割的高分遥感图像云检测方法和装置

Also Published As

Publication number Publication date
CN111814771B (zh) 2021-01-05
CN111814771A (zh) 2020-10-23
CN112633185B (zh) 2023-04-18

Similar Documents

Publication Publication Date Title
CN112633185B (zh) 图像处理的方法及装置
CN109584248B (zh) 基于特征融合和稠密连接网络的红外面目标实例分割方法
Shao et al. Cloud detection in remote sensing images based on multiscale features-convolutional neural network
Liang et al. Material based salient object detection from hyperspectral images
US8913826B2 (en) Advanced cloud cover assessment for panchromatic images
CN112154451A (zh) 提取图像中对象的代表性特征的方法、设备和计算机程序
Aytekın et al. Unsupervised building detection in complex urban environments from multispectral satellite imagery
WO2018076138A1 (zh) 基于大尺度高分辨率高光谱图像的目标探测方法及装置
CN111027497B (zh) 基于高分辨率光学遥感影像的弱小目标快速检测方法
CN113239736B (zh) 一种基于多源遥感数据的土地覆盖分类标注图获取方法
Congalton Remote sensing: an overview
CN113822352B (zh) 基于多特征融合的红外弱小目标检测方法
Kim et al. Building detection in high resolution remotely sensed images based on automatic histogram-based fuzzy c-means algorithm
Zhang et al. Preprocessing and fusion analysis of GF-2 satellite Remote-sensed spatial data
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
US9396552B1 (en) Image change detection
Manaf et al. Hybridization of SLIC and Extra Tree for Object Based Image Analysis in Extracting Shoreline from Medium Resolution Satellite Images.
Azevedo et al. Shadow detection using object area-based and morphological filtering for very high-resolution satellite imagery of urban areas
Venkatakrishnamoorthy et al. Cloud enhancement of NOAA multispectral images by using independent component analysis and principal component analysis for sustainable systems
AU2015376657B2 (en) Image change detection
Hamam et al. Single-band infrared texture-based image colorization
Luo et al. An Evolutionary Shadow Correction Network and A Benchmark UAV Dataset for Remote Sensing Images
Kathirvelu et al. Spectral unmixing based random forest classifier for detecting surface water changes in multitemporal pansharpened Landsat image
Chijioke Satellite remote sensing technology in spatial modeling process: technique and procedures
CN113361355B (zh) 联合多时相特征的遥感影像地表要素识别方法及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant