CN108830221A - 图像的目标对象分割及训练方法和装置、设备、介质、产品 - Google Patents

图像的目标对象分割及训练方法和装置、设备、介质、产品 Download PDF

Info

Publication number
CN108830221A
CN108830221A CN201810623306.0A CN201810623306A CN108830221A CN 108830221 A CN108830221 A CN 108830221A CN 201810623306 A CN201810623306 A CN 201810623306A CN 108830221 A CN108830221 A CN 108830221A
Authority
CN
China
Prior art keywords
image
process block
information
soil
sample image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810623306.0A
Other languages
English (en)
Inventor
田超
李聪
石建萍
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN201810623306.0A priority Critical patent/CN108830221A/zh
Publication of CN108830221A publication Critical patent/CN108830221A/zh
Priority to SG11202012531TA priority patent/SG11202012531TA/en
Priority to PCT/CN2019/091328 priority patent/WO2019238126A1/zh
Priority to JP2020569112A priority patent/JP7045490B2/ja
Priority to US17/121,670 priority patent/US20210097325A1/en
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请实施例公开了一种图像的目标对象分割及训练方法和装置、设备、介质、产品，其中，图像的目标对象分割方法包括：基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，所述处理块包括至少一个处理单元；将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于所述目标图像特征信息，确定所述图像的目标对象分割结果。基于本申请上述实施例，通过相邻图像特征信息的至少两级融合，获得了更多信息，有利于对图像中的目标对象进行较为准确的分割。

Description

图像的目标对象分割及训练方法和装置、设备、介质、产品
技术领域
本申请涉及图像处理技术，尤其是一种图像的目标对象分割及训练方法和装置、设备、介质、产品。
背景技术
随着遥感卫星的快速发展，遥感影像也开始为各个领域所应用。由于卫星遥感影像的场景较大，而且没有清晰的边界，没有一个准确的结构信息，遥感影像与传统的图像分割场景不同，导致在使用传统神经网络在分割上存在一些困难，效果较差且难以提升。对于土地覆盖类型分类，遥感影像所覆盖的场景较大，景象受到分辨率的约束和影响，同时由标注带来的噪声都会给图像的分割带来很大的影响。
发明内容
本申请实施例提供的一种图像的目标对象分割及土地分割神经网络的训练技术。
根据本申请实施例的一个方面，提供的一种图像的目标对象分割方法，包括：
基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，所述处理块包括至少一个处理单元；
将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；
基于所述目标图像特征信息，确定所述图像的目标对象分割结果。
可选地，所述将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息，包括：
将每对所述相邻处理块输出的图像特征信息进行第一级融合处理，得到第一融合特征信息；
将至少一对相邻的所述第一融合特征信息进行第二级融合处理，得到至少一个第二融合特征信息；
基于所述至少一个第二融合特征信息，确定所述目标图像特征信息。
可选地，所述基于所述至少一个第二融合特征信息，确定所述目标图像特征信息，包括：
对所述至少一个第二融合特征信息进行后续特征融合处理，直到所述后续融合处理得到的后续融合特征信息的数量为一个；
将所述数量为一个的后续融合特征信息作为所述目标图像特征信息。
可选地，所述将所述相邻处理块输出的图像特征信息进行融合，包括：
将所述相邻两个处理块输出的图像特征信息逐元素相加。
可选地，所述多个处理块之间顺序连接。
可选地，所述处理单元包括至少一个特征提取层和一个特征调整层；
所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，包括：
基于所述处理单元中的所述至少一个特征提取层对输入信息进行特征提取处理，得到第一特征信息；
基于所述处理单元中的所述特征调整层对所述第一特征信息进行调整处理，得到所述图像特征信息，其中，每对所述相邻处理块输出的图像特征信息具有相同的大小和相同的通道数。
可选地，所述将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息之前，还包括：
对所述多个处理块中的处理块M1输出的图像特征信息进行特征缩减处理；
对所述多个处理块中的处理块M2输出的图像特征信息进行特征扩展处理；
其中，所述处理块M2的输入端与所述处理块M1的输出端直接或间接连接。
可选地，所述基于多个处理块对所述图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，包括：
利用所述多个处理块中的处理块N1对输入信息进行特征提取处理，得到所述处理块N1对应的第一图像特征信息，其中，所述处理块N1的输入信息包括图像和/或位于所述处理块N1之前的至少一个处理块输出的图像特征信息，N1为大于或等于1的整数；
将所述第一图像特征信息输入到所述处理块N1的下一处理块进行特征提取处理，得到所述下一处理块输出的第二图像特征信息。
可选地，所述将所述第一图像特征信息输入到所述处理块N1的下一处理块进行处理，得到所述下一处理块输出的第二图像特征信息，包括：
将所述图像和/或至少一个处理块N2输出的图像特征信息以及所述第一图像特征信息输入到所述处理块N1的下一处理块进行特征提取处理，得到所述下一处理块输出的第二图像特征信息，其中，所述处理块N1的输入端与所述处理块N2的输出端直接或间接连接。
可选地，所述将所述图像和/或至少一个处理块N2输出的图像特征信息以及所述第一图像特征信息输入到所述处理块N1的下一处理块进行特征提取处理之前，还包括：
将所述至少一个处理块N2输出的图像特征信息进行融合处理，并将融合处理得到的图像特征信息输入所述处理块N1的下一处理块。
可选地，所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息之前，还包括：
通过一个卷积层对所述图像进行特征提取处理，得到所述图像对应的特征，将所述图像对应的特征输入所述多个处理块。
可选地，所述图像为遥感图像，所述目标对象为土地。
可选地，所述方法利用分割神经网络实现，所述图像为具有标注信息的样本图像；
所述方法还包括：
基于所述样本图像的目标对象分割结果和所述样本图像的标注信息，训练所述分割神经网络。
可选地，所述样本图像为土地样本图像；
所述方法还包括：
利用所述分割神经网络对道路样本图像进行处理，得到所述道路样本图像的分割结果，所述道路样本图像具有标注信息；
所述基于所述样本图像的目标对象分割结果和所述样本图像的标注信息，训练所述分割神经网络，包括：
基于所述土地样本图像的目标对象预测结果和所述土地样本图像的标注信息，以及所述道路样本图像的分割结果和所述道路样本图像的标注信息，调整所述分割神经网络的参数。
可选地，所述目标图像特征信息是基于所述分割神经网络对所述土地样本图像和所述道路样本图像进行批量处理得到的混合图像特征信息得到的。
可选地，所述基于所述土地样本图像的目标对象预测结果和所述土地样本图像的标注信息，以及所述道路样本图像的分割结果和所述道路样本图像的标注信息，调整所述分割神经网络的参数，包括：
基于所述土地样本图像的目标对象预测结果和所述土地样本图像的标注信息获得第一损失；
基于所述道路样本图像的分割结果和所述道路样本图像的标注信息获得第二损失；
基于所述第一损失和所述第二损失调整所述分割神经网络的参数。
可选地，所述基于所述第一损失和所述第二损失调整所述分割神经网络的参数，包括：
将所述第一损失和所述第二损失加权求和，得到总损失；
基于所述总损失，调整所述分割神经网络的参数。
可选地，所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息之前，还包括：
基于设定大小的剪裁框对所述样本图像进行剪裁，获得至少一个剪裁图像；
所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，包括：
基于多个处理块对所述裁剪图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息。
可选地，所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息之前，还包括：
通过设定参数对所述样本图像进行以下至少一种增强处理：
调整所述样本图像的大小、旋转所述样本图像的角度、改变所述样本图像的亮度；
所述基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，包括：
基于多个处理块对所述至少一种增强处理后的图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息。
根据本申请实施例的另一个方面，提供的一种图像的目标对象分割装置，其特征在于，包括：
图像处理模块，用于基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，所述处理块包括至少一个处理单元；
融合模块，用于将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；
分割模块，用于基于所述目标图像特征信息，确定所述图像的目标对象分割结果。
可选地，所述融合模块，具体用于将每对所述相邻处理块输出的图像特征信息进行第一级融合处理，得到第一融合特征信息；将至少一对相邻的所述第一融合特征信息进行第二级融合处理，得到至少一个第二融合特征信息；基于所述至少一个第二融合特征信息，确定所述目标图像特征信息。
可选地，所述融合模块基于所述至少一个第二融合特征信息，确定所述目标图像特征信息时，用于对所述至少一个第二融合特征信息进行后续特征融合处理，直到所述后续融合处理得到的后续融合特征信息的数量为一个；将所述数量为一个的后续融合特征信息作为所述目标图像特征信息。
可选地，所述融合模块将所述相邻处理块输出的图像特征信息进行融合时，用于将所述相邻两个处理块输出的图像特征信息逐元素相加。
可选地，所述多个处理块之间顺序连接。
可选地，所述处理单元包括至少一个特征提取层和一个特征调整层；
所述图像处理模块，具体用于基于所述处理单元中的所述至少一个特征提取层对输入信息进行特征提取处理，得到第一特征信息；基于所述处理单元中的所述特征调整层对所述第一特征信息进行调整处理，得到所述图像特征信息，其中，每对所述相邻处理块输出的图像特征信息具有相同的大小和相同的通道数。
可选地，还包括：特征图像处理模块，用于对所述多个处理块中的处理块M1输出的图像特征信息进行特征缩减处理；对所述多个处理块中的处理块M2输出的图像特征信息进行特征扩展处理；
其中，所述处理块M2的输入端与所述处理块M1的输出端直接或间接连接。
可选地，所述图像处理模块，具体用于利用所述多个处理块中的处理块N1对输入信息进行特征提取处理，得到所述处理块N1对应的第一图像特征信息，其中，所述处理块N1的输入信息包括图像和/或位于所述处理块N1之前的至少一个处理块输出的图像特征信息，N1为大于或等于1的整数；将所述第一图像特征信息输入到所述处理块N1的下一处理块进行特征提取处理，得到所述下一处理块输出的第二图像特征信息。
可选地，所述图像处理模块将所述第一图像特征信息输入到所述处理块N1的下一处理块进行处理，得到所述下一处理块输出的第二图像特征信息时，用于将所述图像和/或至少一个处理块N2输出的图像特征信息以及所述第一图像特征信息输入到所述处理块N1的下一处理块进行特征提取处理，得到所述下一处理块输出的第二图像特征信息，其中，所述处理块N1的输入端与所述处理块N2的输出端直接或间接连接。
可选地，所述图像处理模块，还用于将所述至少一个处理块N2输出的图像特征信息进行融合处理，并将融合处理得到的图像特征信息输入所述处理块N1的下一处理块。
可选地，还包括：
特征提取模块，用于通过一个卷积层对所述图像进行特征提取处理，得到所述图像对应的特征，将所述图像对应的特征输入所述多个处理块。
可选地，所述图像为遥感图像，所述目标对象为土地。
可选地，所述装置利用分割神经网络实现，所述图像为具有标注信息的样本图像；
所述装置还包括：
训练模块，用于基于所述样本图像的目标对象分割结果和所述样本图像的标注信息，训练所述分割神经网络。
可选地，所述样本图像为土地样本图像；
所述装置还包括：
道路图像处理模块，用于利用所述分割神经网络对道路样本图像进行处理，得到所述道路样本图像的分割结果，所述道路样本图像具有标注信息；
所述训练模块，用于基于所述土地样本图像的目标对象预测结果和所述土地样本图像的标注信息，以及所述道路样本图像的分割结果和所述道路样本图像的标注信息，调整所述分割神经网络的参数。
可选地，所述目标图像特征信息是基于所述分割神经网络对所述土地样本图像和所述道路样本图像进行批量处理得到的混合图像特征信息得到的。
可选地，所述训练模块，用于基于所述土地样本图像的目标对象预测结果和所述土地样本图像的标注信息获得第一损失；基于所述道路样本图像的分割结果和所述道路样本图像的标注信息获得第二损失；基于所述第一损失和所述第二损失调整所述分割神经网络的参数。
可选地，所述训练模块基于所述第一损失和所述第二损失调整所述分割神经网络的参数时，用于将所述第一损失和所述第二损失加权求和，得到总损失；基于所述总损失，调整所述分割神经网络的参数。
可选地，还包括：
预处理模块，用于基于设定大小的剪裁框对所述样本图像进行剪裁，获得至少一个剪裁图像；
所述图像处理模块，用于基于多个处理块对所述裁剪图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息。
可选地，还包括：
增强图像处理模块，用于通过设定参数对所述样本图像进行以下至少一种增强处理：调整所述样本图像的大小、旋转所述样本图像的角度、改变所述样本图像的亮度；
所述图像处理模块，用于基于多个处理块对所述至少一种增强处理后的图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息。
根据本申请实施例的另一个方面，提供的一种土地分割神经网络的训练方法，包括：
将至少一个土地样本图像和至少一个道路样本图像输入所述土地分割神经网络，获得所述至少一个土地样本图像的预测分割结果以及所述至少一个道路样本图像的预测分割结果；
基于所述至少一个土地样本图像的预测分割结果以及所述至少一个道路样本图像的预测分割结果，调整所述土地分割神经网络的参数。
可选地，所述土地分割神经网络包括多个顺序连接处理块、融合网络和分割网络；
所述将至少一个土地样本图像和至少一个道路样本图像输入所述土地分割神经网络，获得所述至少一个土地样本图像的预测分割结果以及所述至少一个道路样本图像的预测分割结果，包括：
基于所述多个处理块对所述至少一个土地样本图像和所述至少一个道路样本图像进行特征提取处理，得到所述多个处理块中每个处理块输出的样本图像特征信息；
将所述多个处理块中的至少两对相邻处理块输出的样本图像特征信息进行至少两级融合处理，得到目标样本图像特征信息；
基于所述目标样本图像特征信息，确定所述至少一个土地样本图像的预测分割结果和所述至少一个道路样本图像的预测分割结果。
可选地，所述基于所述多个处理块对所述至少一个土地样本图像和所述至少一个道路样本图像进行特征提取处理，得到所述多个处理块中每个处理块输出的样本图像特征信息，包括：
基于所述多个处理块分别对各所述土地样本图像和各所述道路样本图像进行处理，得到至少两组样本图像特征信息，每个所述土地样本图像对应至少两组样本图像特征信息，每个所述道路样本图像对应至少两组样本图像特征信息。
可选地，所述将所述多个处理块中的至少两对相邻处理块输出的样本图像特征信息进行至少两级融合处理，得到目标样本图像特征信息，包括：
分别对每个所述土地样本图像对应的至少两组样本图像特征信息进行至少两级融合，得到至少一个目标样本图像特征信息；
分别对每个所述道路样本图像对应的至少两组样本图像特征信息进行至少两级融合，得到至少一个目标样本图像特征信息。
可选地，所述土地分割神经网络还包括切片层；
所述基于所述目标样本图像特征信息，确定所述至少一个土地样本图像的预测分割结果和所述至少一个道路样本图像的预测分割结果之前，还包括：
通过所述切片层对所述土地样本图像对应的目标样本图像特征信息与所述道路样本图像对应的目标样本图像特征信息进行分组；
将所述土地样本图像对应的目标样本图像特征信息和所述道路样本图像对应的目标样本图像特征信息分别输入所述分割网络；
基于所述分割网络分别获得所述土地样本图像对应的预测分割结果和所述道路样本图像对应的预测分割结果。
可选地，所述土地样本图像和所述道路样本图像分别具有标注信息；
所述基于所述至少一个土地样本图像的预测分割结果以及所述至少一个道路样本图像的预测分割结果，调整所述土地分割神经网络的参数，包括：
基于所述土地样本图像对应的预测分割结果和所述土地样本图像对应的标注信息获得第一损失；
基于所述道路样本图像对应的预测分割结果和所述道路样本图像对应的标注信息获得第二损失；
基于所述第一损失和所述第二损失调整所述土地分割神经网络的参数。
可选地，所述基于所述第一损失和所述第二损失训练所述分割神经网络，包括：
将所述第一损失和所述第二损失加权求和，得到总损失；
基于所述总损失，调整所述土地分割神经网络的参数。
根据本申请实施例的另一个方面，提供的一种土地分割神经网络的训练装置，其特征在于，包括：
结果预测模块，用于将至少一个土地样本图像和至少一个道路样本图像输入所述土地分割神经网络，获得所述至少一个土地样本图像的预测分割结果以及所述至少一个道路样本图像的预测分割结果；
参数调整模块，用于基于所述至少一个土地样本图像的预测分割结果以及所述至少一个道路样本图像的预测分割结果，调整所述土地分割神经网络的参数。
可选地，所述土地分割神经网络包括多个顺序连接处理块、融合网络和分割网络；
所述结果预测模块，用于基于所述多个处理块对所述至少一个土地样本图像和所述至少一个道路样本图像进行特征提取处理，得到所述多个处理块中每个处理块输出的样本图像特征信息；将所述多个处理块中的至少两对相邻处理块输出的样本图像特征信息进行至少两级融合处理，得到目标样本图像特征信息；基于所述目标样本图像特征信息，确定所述至少一个土地样本图像的预测分割结果和所述至少一个道路样本图像的预测分割结果。
可选地，所述结果预测模块基于所述多个处理块对所述至少一个土地样本图像和所述至少一个道路样本图像进行特征提取处理，得到所述多个处理块中每个处理块输出的样本图像特征信息时，用于基于所述多个处理块分别对各所述土地样本图像和各所述道路样本图像进行处理，得到至少两组样本图像特征信息，每个所述土地样本图像对应至少两组样本图像特征信息，每个所述道路样本图像对应至少两组样本图像特征信息。
可选地，所述结果预测模块将所述多个处理块中的至少两对相邻处理块输出的样本图像特征信息进行至少两级融合处理，得到目标样本图像特征信息时，用于分别对每个所述土地样本图像对应的至少两组样本图像特征信息进行至少两级融合，得到至少一个目标样本图像特征信息；
分别对每个所述道路样本图像对应的至少两组样本图像特征信息进行至少两级融合，得到至少一个目标样本图像特征信息。
可选地，所述土地分割神经网络还包括切片层；
所述结果预测模块还用于通过所述切片层对所述土地样本图像对应的目标样本图像特征信息与所述道路样本图像对应的目标样本图像特征信息进行分组；将所述土地样本图像对应的目标样本图像特征信息和所述道路样本图像对应的目标样本图像特征信息分别输入所述分割网络；基于所述分割网络分别获得所述土地样本图像对应的预测分割结果和所述道路样本图像对应的预测分割结果。
可选地，所述土地样本图像和所述道路样本图像分别具有标注信息；
所述参数调整模块，用于基于所述土地样本图像对应的预测分割结果和所述土地样本图像对应的标注信息获得第一损失；基于所述道路样本图像对应的预测分割结果和所述道路样本图像对应的标注信息获得第二损失；基于所述第一损失和所述第二损失调整所述土地分割神经网络的参数。
可选地，所述参数调整模块基于所述第一损失和所述第二损失训练所述分割神经网络时，用于将所述第一损失和所述第二损失加权求和，得到总损失；基于所述总损失，调整所述土地分割神经网络的参数。
根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的图像的目标对象分割装置或如上任意一项所述的土地分割神经网络的训练装置。
根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述图像的目标对象分割方法的操作，或者，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述土地分割神经网络的训练方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述图像的目标对象分割方法或如上任意一项所述土地分割神经网络的训练方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述图像的目标对象分割方法或如上任意一项所述土地分割神经网络的训练方法的指令。
根据本申请实施例的再一个方面，提供的另一种计算机程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的图像的目标对象分割方法，或执行任一可能的实现方式中所述的土地分割神经网络的训练方法的操作。
在一个可选实施方式中，所述计算机程序产品具体为计算机存储介质，在另一个可选实施方式中，所述计算机程序产品具体为软件产品，例如SDK等。
根据本申请实施例还提供了另一种图像的目标对象分割及土地分割神经网络的训练方法和装置、电子设备、计算机存储介质、计算机程序产品，其中，基于多个处理块对图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息；将多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于目标图像特征信息，确定图像的目标对象分割结果。
基于本申请上述实施例提供的一种图像的目标对象分割及土地分割神经网络的训练方法和装置、设备、介质、产品，基于多个处理块对图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息；将多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于目标图像特征信息，确定图像的目标对象分割结果，通过相邻图像特征信息的至少两级融合，获得了更多信息，有利于对图像中的目标对象进行较为准确的分割。
下面通过附图和实施例，对本申请的技术方案做进一步的详细描述。
附图说明
构成说明书的一部分的附图描述了本申请的实施例，并且连同描述一起用于解释本申请的原理。
参照附图，根据下面的详细描述，可以更加清楚地理解本申请，其中：
图1为本申请图像的目标对象分割方法一个实施例的流程图。
图2为本申请图像的目标对象分割方法中处理块的一个示例性结构图。
图3为本申请图像的目标对象分割方法中分割神经网络在训练过程的一个示例性结构示意图。
图4为本申请实施例与FC-DenseNet分割效果对比的一个示例图。
图5为本申请实施例与FC-DenseNet和ClassmateNet结构分割效果对比的一个示例图。
图6为本申请实施例图像的目标对象分割装置一个实施例的结构示意图。
图7为本申请实施例土地分割神经网络的训练方法一个实施例的流程图。
图8为本申请实施例土地分割神经网络的训练装置一个实施例的结构示意图。
图9为适于用来实现本申请实施例的终端设备或服务器的电子设备的结构示意图。
具体实施方式
现在将参照附图来详细描述本申请的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本申请的范围。
同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本申请及其应用或使用的任何限制。
对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为说明书的一部分。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。
图1为本申请图像的目标对象分割方法一个实施例的流程图。如图1所示，该实施例方法包括：
步骤110，基于多个处理块对图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息。
其中，处理块包括至少一个处理单元。可选地，多个处理块之间可以顺序连接，即多个处理块分别位于不同深度，例如，多个处理块中的任意处理块的输出端可以与其下一处理块的输入端连接。
可以利用多个处理块对图像依次进行特征提取处理。例如，多个处理块中的第一个处理块可以对输入的图像进行特征提取处理，得到第一个处理块输出的图像特征信息。第二个处理块可以对输入的图像特征信息进行特征提取处理，得到第二处理块输出的图像特征信息，其中，该第二个处理块中输入的图像特征信息可以包括第一处理块输出的图像特征信息，或者还可以进一步包括所述图像，以此类推，可以得到多个处理块中每个处理块输出的图像特征信息。
在一个或多个可选的实施例中，利用多个处理块中的处理块N1对输入信息进行特征提取处理，得到处理块N1对应的第一图像特征信息。其中，N1为大于或等于1的整数。
将第一图像特征信息输入到处理块N1的下一处理块进行特征提取处理，得到下一处理块输出的第二图像特征信息。
可选地，处理块N1可以为多个处理块中的第一个处理块，此时，处理块N1的输入信息可以为图像或图像的初始图像特征信息；或者，处理块N1可以为多个处理块中的第二个或更后面的处理块，此时，处理块N1的输入信息可以包括上一个处理块输出的图像特征信息，或者还可以进一步包括位于该上一个处理块之前的任意一个或多个处理块输出的图像特征信息，或者还可以包括图像，即处理块N1的输入信息可以包括图像和/或位于处理块N1之前的一个或多个处理块输出的图像特征信息。由于处理块的输入信息包括不同深度的图像特征信息，使处理块输出的图像特征信息可以包含更多图像信息。
处于前面的处理块获得的图像特征信息中包括的浅层信息越多，结合后面处理块输出的图像特征信息，可以将图像中的浅层信息及深层信息都获得。
可选地，将第一图像特征信息输入到处理块N1的下一处理块进行处理，得到下一处理块输出的第二图像特征信息，包括：
将图像和/或至少一个处理块N2输出的图像特征信息以及第一图像特征信息输入到处理块N1的下一处理块进行特征提取处理，得到下一处理块输出的第二图像特征信息。
其中，处理块N1的输入端与处理块N2的输出端直接或间接连接。
在本实施例中，处理块N1在网络结构上位于处理块N2之后。
可选地，处理块N1的下一处理块的输入可以仅是处理块N1输出的图像特征信息，例如：处理块N1为第三处理块，处理块N1的下一处理块为第四处理块，第四处理块的输入为第三处理块输出的图像特征信息。
可选地，处理块N1的下一处理块的输入包括处理块N1输出的图像处理信息和至少一个处理块N2输出的图像处理信息；例如：处理块N1为第三处理块，处理块N1的下一处理块为第四处理块，至少一个处理块N2包括第一处理块和/或第二处理块，此时第四处理块的输入为第三处理块输出的图像特征信息和第一处理块输出的图像特征信息，或，第三处理块输出的图像特征信息和第二处理块输出的图像特征信息，或，第三处理块输出的图像特征信息、第一处理块输出的图像特征信息和第二处理块输出的图像特征信息。
可选地，处理块N1的下一处理块的输入包括处理块N1输出的图像处理信息和图像，或者，处理块N1的下一处理块的输入包括处理块N1输出的图像处理信息、图像和至少一个处理块N2输出的图像处理信息。
可选地，在处理块N1的下一处理块的输入包括处理块N1和至少一个处理块N2输出的图像特征信息的情况下，在将这些图像特征信息输入到下一处理块之前，还可以将至少一个处理块N2和处理块N1中的部分或全部处理块输出的图像特征信息进行融合处理，并将融合处理得到的图像特征信息输入处理块N1的下一处理块。
当需要将至少两个处理块输出的图像特征信息输入到一个处理块中时，可以将这些特征信息进行融合，以便处理块的处理，具体融合方式可以是按位相加(逐元素相加)或按通道叠加或其他方式。
在一个或多个可选的实施例中，在将图像输入到多个处理块之前，还可以利用一个或多个卷积层对图像进行特征提取处理，得到初始图像特征信息，相应地，可以将初始图像特征信息输入到多个处理块中依次进行特征提取处理，本申请实施例对此不做限定。
此时，处理块N1的下一处理块的输入还可以包括初始图像特征信息。可选地，假设处理块N1的下一处理块的输入包括处理块N1输出的图像处理信息和图像时，则可以将初始图像特征信息与处理块N1输出的图像特征信息进行融合处理，或者假设处理块N1的下一处理块的输入包括处理块N1输出的图像处理信息、图像和至少一个处理块N2输出的图像处理信息，则可以将初始图像特征信息与处理块N1输出的图像处理信息、图像和至少一个处理块N2输出的图像处理信息进行融合处理，等等，本申请实施例对此不做限定。
步骤120，将多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息。
在一个或多个可选的实施例中，将每对相邻处理块输出的图像特征信息进行第一级融合处理，得到第一融合特征信息；
将至少一对相邻的第一融合特征信息进行第二级融合处理，得到至少一个第二融合特征信息；
基于至少一个第二融合特征信息，确定目标图像特征信息。
在本实施例中，多个处理块被分成多对相邻处理块，每对相邻处理块包括两个相邻的处理块(即直接连接的两个处理块)，可选地，不同对的相邻处理块中包含不同的处理块，或者不同对的相邻处理块中可以不包括相同的处理块，例如，第一个处理块和第二个处理块组成第一对相邻处理块，第三个处理块和第四个处理块组成第二对相邻处理块，以此类推。
在一些实施例中，可以通过将每对相邻处理块输出的图像特征信息进行融合处理(例如，将每对相邻处理块输出的图像特征信息逐元素相加)，实现了图像特征信息的两两融合。
由于具有多对相邻处理块，融合了每对处理块的图像特征信息之后可以得到多个第一融合特征信息，此时可以将第一融合特征信息(例如，两个第一融合特征信息或至少两个第一融合特征信息)中的部分或全部进行第二级融合处理，获得一个第二融合特征信息，并以该第二融合特征信息作为目标图像特征信息；或者，可以将多个第一融合特征信息进行两两相邻融合，得到多个第二融合特征信息，此时，可选地，可以对多个第二融合特征信息进行后续特征融合处理，直到后续融合处理得到的后续融合特征信息的数量为一个，并将数量为一个的后续融合特征信息作为目标图像特征信息。
此时的后续融合处理，可以是将第二融合特征信息两两融合(例如，将两个第二融合特征信息逐元素相加)，两两融合后得到的后续融合特征信息包括至少一个或多个，当后续融合特征信息的数量为一个，将该后续融合特征信息作为目标图像特征信息；而当后续融合特征信息的数量为多个，将该后续融合特征信息继续两两融合(例如，将两个后续融合特征信息逐元素相加)，直到后续融合处理得到的后续融合特征信息的数量为一个，将该后续融合特征信息作为目标图像特征信息；例如：包括8个处理块，经过一级融合获得4个第一融合特征信息，经过二级融合获得2个第二融合特征信息，经过三级融合获得一个后续融合特征信息，将该后续融合特征信息作为目标图像特征信息。
为了进一步的处理细节信息，在本申请实施例中提出了密集融合(Dense Fusion)结构，将不同深度的层(Layer)进行两两融合，通过逐元素求和(Element-wise Sum)进行融合，一直递归融合到最后一层。通过密集融合结构可以更好的使得网络获取更多深层和浅层的信息，有利于在细节上准确的分割。
应理解，上文描述以处理块两两逐级融合为例进行描述，本申请实施例中，也可以以相邻的三个或更多个处理块为单位进行逐级融合，本申请实施例对此不走限定。
步骤130，基于目标图像特征信息，确定图像的目标对象分割结果。
基于本申请上述实施例提供的一种图像的目标对象分割方法，基于多个处理块对图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息；将多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于目标图像特征信息，确定图像的目标对象分割结果，通过相邻图像特征信息的至少两级融合，获得了更多信息，有利于对图像中的目标对象进行较为准确的分割。
在本申请实施例中，特征信息可以为三阶向量，例如包括多个二维矩阵，或者包括具有至少一个通道的特征图，每个特征图对应一个二维向量，本申请实施例对此不做限定。
在一个或多个可选实施例中，处理块可以包括一个或多个处理单元，每个处理单元可以对输入信息进行特征提取处理，例如，每个处理单元可以包括一个或多个卷积层，或者还包括其它层，例如批归一化(BatchNormalization，BN)层、激活层等中的一种或任意组合。或者，处理块还可以包括位于处理单元之后的其他单元，例如降分辨率层、特征缩放层、BN层、激活层中的任意一种或组合。
在一个或多个可选地实施例中，处理单元包括至少一个特征提取层和一个特征调整层；
步骤110可以包括：
基于处理单元中的至少一个特征提取层对输入信息进行特征提取处理，得到第一特征信息；
基于处理单元中的特征调整层对第一特征信息进行调整处理，得到图像特征信息。
其中，每对相邻处理块输出的图像特征信息具有相同的大小和相同的通道数。
为了实现图像特征信息之间的两两融合，需要每对相邻处理块输出的图像特征信息具有相同的大小和相同的通道数，本实施例通过在处理单元中增加一个用于调整特征信息的大小和通道数的特征调整层实现，该特征调整层可以设置在处理单元内，也可以单独设置，本申请实施例对特征调整层的位置不做限制。在一个可选的示例中，每个处理单元可以包括至少一个特征提取层(如：卷积层、标准化层BN和激活层ReLU等)和一个特征调整层(如：卷积层、标准化层BN和激活层ReLU等)，图2为本申请土地图像分割方法中处理块的一个示例性结构图。如图2所示，处理块(Dense Block)中包括多个处理单元(Layer Unit)，每个处理单元中包括三个卷积层，每个卷积层之后各连接一个批归一化层(BN)和一个激活层(ReLU)，其中，前两个卷积层输出的特征图输入到下一个处理单元中，而向旁边输出的卷积层作为特征调整层，用于对第二个卷积层输出的特征图进行大小和通道的调整，以便输出的特征信息(如：特征图)与其他处理单元输出的特征信息大小和通道数相同，为特征信息的融合做准备。
在一个或多个可选的实施例中，操作120之前，还可以包括：
对多个处理块中的处理块M1输出的图像特征信息进行特征缩减处理；对多个处理块中的处理块M2输出的图像特征信息进行特征扩展处理。
其中，处理块M2的输入端与处理块M1的输出端直接或间接连接，或，处理块M2输出的图像特征信息是至少部分地基于处理块M1输出的图像特征信息得到的。
通常神经网络中，上层处理块得到的图像特征信息由于经过的处理层数较少，其包括的图像信息较少，而下层处理块得到的图像特征信息由于经过的处理层数较多，其包括的图像信息较多，因此，可选地，在两两融合时，当相邻处理块对应的图像特征信息为浅层特征，对相邻处理块中位置靠下的处理块输出的图像特征信息进行特征缩减处理(例如：下采样处理)；当相邻处理块对应的图像处理特征为深层特征，对相邻处理块中位置靠上的处理块输出的图像特征信息进行特征扩展处理(例如：插值处理，可以为双线性差值处理)。
在一个或多个可选的实施例中，本申请实施例处理的图像可以为遥感图像，此时目标对象为土地，即通过本申请上述实施例的方法实现通过遥感图像对土地实现分割，例如：将遥感图像中的土地分割为森林、草原、城市、耕地等。
本申请上述实施例提供的图像的目标对象分割方法可以应用于但不限于：土地规划、土地利用监测、土地现状调查等。
在一个或多个可选的实施例中，本申请实施例图像的目标对象分割方法利用分割神经网络实现，图像为具有标注信息的样本图像；
本申请实施例图像的目标对象分割方法还包括：
基于样本图像的目标对象分割结果和样本图像的标注信息，训练分割神经网络。
为了获得更准确的目标对象分割结果，需要对实现图像分割的分割神经网络进行训练，通过训练提高该网络对特定目标对象(例如：土地)的分割任务的准确性。
可选地，样本图像为土地样本图像；
本实施例方法还包括：
利用分割神经网络对道路样本图像进行处理，得到道路样本图像的分割结果，道路样本图像具有标注信息；
基于样本图像的目标对象分割结果和样本图像的标注信息，训练分割神经网络，包括：
基于土地样本图像的目标对象预测结果和土地样本图像的标注信息，以及道路样本图像的分割结果和道路样本图像的标注信息，调整分割神经网络的参数。
通过传统的CNN对土地图像(例如：遥感图像)进行分割时会缺失中间层次的结构信息，而结构信息对于辅助图像分割和分类是有着重要作用的，因此如何有效且准确的获取土地图像的结构信息成为了解决分割问题的关键。本申请实施例提出的分割神经网络，引入道路数据进行训练，弥补了土地图像的结构缺失问题，并且改善了细节信息。
对于土地覆盖的遥感影像，由于影像的尺度较大，包含的场景多而且杂乱无章没有光滑的边界线，并且由于土地覆盖本身没有明确量化的分界线，标注会存在歧义。传统的CNN很难针对场景较大的遥感影像获取结构信息，从而导致分割效果较差。在本实施例中提出利用已经获取的道路数据来作为辅助数据帮助网络的训练。由于道路数据存在明显的结构特征，而且在土地覆盖中，会存在一些道路数据。且在不同的土地类型中，道路的分布呈现不同的状态。因此基于这个想法，通过分割神经网络(例如：密集融合同学网络DenseFusion Classmate Network，DFCNet)用以同时获取土地和道路的信息，使得道路辅助土地的分类。由于道路数据相对土地覆盖，更加容易获得，而且在标注上也会简单，因此这个在实际应用中，能够利用较少较难标注的土地覆盖数据，加上部分容易标注的道路数据，辅助土地覆盖类型的分类。
可选地，目标图像特征信息是基于分割神经网络对土地样本图像和道路样本图像进行批量处理得到的混合图像特征信息得到的。
当获得的样本图像集经过将分割神经网络的处理得到对应的目标样本图像特征信息集后，为了区分土地样本图像和道路图像，本实施例通过切片层(slice)对土地样本图像对应的目标样本图像特征信息与道路图像对应的目标样本图像特征信息进行区分，具体区分可根据输入土地样本图像和道路图像的顺序进行区分。
可选地，基于土地样本图像的目标对象预测结果和土地样本图像的标注信息，以及道路样本图像的分割结果和道路样本图像的标注信息，调整分割神经网络的参数，包括：
基于土地样本图像的目标对象预测结果和土地样本图像的标注信息获得第一损失；
基于道路样本图像的分割结果和道路样本图像的标注信息获得第二损失；
基于第一损失和第二损失调整分割神经网络的参数。
可选地，将第一损失和第二损失加权求和，得到总损失；基于总损失，调整分割神经网络的参数。通过对第一损失和第二损失加权求和对分割神经网络的参数进行调整，该加权求和的权重值可以预先设定或通过实验或多次训练获得，通常第一损失的权重值大于第二损失的权重值，例如：第一损失的权重值:第二损失的权重值为8:7，具体的权重值的大小本申请实施例不作限定。
本实施例中，利用道路数据弥补土地分类的结构缺失信息，提高了分割神经网络对土地分割任务的准确性。利用容易获得且容易标准的道路数据，在加入道路数据进行分割之后，能够提升土地覆盖分类的效率和准确率。并且在细节上的处理更加完善。
在一个或多个可选的实施例中，步骤110之前，还可以包括：
基于设定大小的剪裁框对样本图像进行剪裁，获得至少一个剪裁图像；
步骤110可以包括：
基于多个处理块对裁剪图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息。
本实施例实现数据预处理，为了获取更多的信息，增大网络的感受野，加速整个训练过程，可以通过剪裁以减小样本图像的大小，例如：将2448x2448的土地数据裁剪成1024x1024大小，此时一个土地数据经过剪裁将获得多个样本数据。在网路的训练过程中加大了训练数据的裁剪尺寸，有助于网络对很多场景信息的提取，从而提升分割的效果。
在一个或多个可选的实施例中，步骤110之前，还可以包括：
通过设定参数对样本图像进行以下至少一种增强处理：
调整样本图像的大小、旋转样本图像的角度、改变样本图像的亮度；
步骤110可以包括：
基于多个处理块对至少一种增强处理后的图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息。
本实施例实现了数据增强处理，通过调整上述至少一个参数，可以获得更多样本图像，或将样本图像的显示效果提升，以达到更好的训练效果。例如：网络训练数据的裁剪大小为513x513，对于道路数据图像的随机调整大小(resize)取值范围[0.5,1.5]，对于土地分类图像的随机resize取值范围[0.8,1.25]。对于道路和土地数据的随机旋转(rotate)范围为[-180,180]，亮度调整(color jitter)参数为0.3。
为了进一步的处理细节信息，在本实施例提出了密集融合Dense Fusion结构，将不同深度的Layer进行两两融合，通过Element-wise Sum进行融合，一直递归融合到最后一层。通过密集融合结构可以更好的使得网络获取更多深层和浅层的信息，有利于在细节上准确的分割。同时融合可以使得网络的反向传播(backpropagation)更好更快的回传到较浅层的Layer，有利于网络更好的监督。
图3为本申请土地图像分割方法中分割神经网络在训练过程的一个示例性结构示意图。如图3所示，将道路数据与样本土地数据经过concat层结合在一起，在第0维度上进行结合。整个分割神经网络(DFCNet)的结构图如图3所示，conv1位卷积层，Dense Block2～Dense Block9为处理块，包含不同数量的处理单元。在图中有参数说明。以Dense Block2为例，l＝6表示DenseBlock2包含6个处理单元。Conv_TD表示是降采样操作，(128,1*1,0,1)表示卷积通道数为128，卷积核尺寸为1*1，padding值为0，步长为1。
Pooling1、2、3、4为池化层，策略为平均池化，池化区间为2x2，Interp5、6、7、8是上采样过程，通过双线性插值，将特征放大两倍。
每一个Dense Block中都包含若干个处理单元Layer Unit，每一个处理单元中都包含两个卷积层conv_x1/conv_x2(如图2所示)，后面各自接了BN和RULU层。Conv_x1的卷积核数目为64，conv_x2卷积核数目为16。Conv_2x后接一个conv_f卷积层用以对特征融合过程中特征进行统一。
图3中右侧部分表示的是不同Dense Block之间的特征融合过程，像素较低的Dense Block后接一个插补层(Interp)然后与像素较高的的Dense Block进行Element-wise求和。最终融合到最后一层，在最后一个特征融合层上加入slice层，将道路和土地数据分开，用以分别预测。
对土地分类任务与之前经典的FC-DenseNet网络结构进行对比。在卷积网络最深层，将特征图存储，图4为本申请实施例与FC-DenseNet分割效果对比的一个示例图。如图4所示，(a)表示传统FC-DenseNet分割的结果，(b)表示本申请实施例分割的结果；对于加入道路数据的DFCNet，在特征上能够具有更好的结构信息。在城市、耕地和草地上能更好的辅助分割。
对于分割效果，图5为本申请实施例与FC-DenseNet和ClassmateNet结构分割效果对比的一个示例图。如图5所示，(a)表示FC-DenseNet结构分割的结果，(b)表示ClassmateNet结构分割的结果，(c)表示本申请实施DFCNet结构分割的结果。未加密集融合结构的ClassmateNet相比经典的FC-DenseNet在分割上效果更好，DFCNet相比未加密集融合Dense Fusion结构的ClassmateNet在细节上能有进一步的提升。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图6为本申请实施例土地图像分割装置一个实施例的结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图6所示，该实施例的装置包括：
图像处理模块61，用于基于多个处理块对图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息。
其中，处理块包括至少一个处理单元。可选地，多个处理块之间可以顺序连接，即多个处理块分别位于不同深度，例如，多个处理块中的任意处理块的输出端可以与其下一处理块的输入端连接。
融合模块62，用于将多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息。
融合模块62，具体用于将每对相邻处理块输出的图像特征信息进行第一级融合处理，得到第一融合特征信息；将至少一对相邻的第一融合特征信息进行第二级融合处理，得到至少一个第二融合特征信息；基于至少一个第二融合特征信息，确定目标图像特征信息。
在本实施例中，多个处理块被分成多对相邻处理块，每对相邻处理块包括两个相邻的处理块(即直接连接的两个处理块)，可选地，不同对的相邻处理块中包含不同的处理块，或者不同对的相邻处理块中可以不包括相同的处理块，例如，第一个处理块和第二个处理块组成第一对相邻处理块，第三个处理块和第四个处理块组成第二对相邻处理块，以此类推。
融合模块62基于至少一个第二融合特征信息，确定目标图像特征信息时，用于对至少一个第二融合特征信息进行后续特征融合处理，直到后续融合处理得到的后续融合特征信息的数量为一个；将数量为一个的后续融合特征信息作为目标图像特征信息。
融合模块62将相邻处理块输出的图像特征信息进行融合时，用于将相邻两个处理块输出的图像特征信息逐元素相加。
为了进一步的处理细节信息，在本申请实施例中提出了密集融合(Dense Fusion)结构，将不同深度的层(Layer)进行两两融合，通过逐元素求和(Element-wise Sum)进行融合，一直递归融合到最后一层。通过密集融合结构可以更好的使得网络获取更多深层和浅层的信息，有利于在细节上准确的分割。
分割模块63，用于基于目标图像特征信息，确定图像的目标对象分割结果。
基于本申请上述实施例提供的一种图像的目标对象分割装置，基于多个处理块对图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息；将多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于目标图像特征信息，确定图像的目标对象分割结果，通过相邻图像特征信息的至少两级融合，获得了更多信息，有利于对图像中的目标对象进行较为准确的分割。
在一个或多个可选实施例中，处理块可以包括一个或多个处理单元，每个处理单元可以对输入信息进行特征提取处理，例如，每个处理单元可以包括一个或多个卷积层，或者还包括其它层，例如批归一化(Batch Normalization，BN)层、激活层等中的一种或任意组合。或者，处理块还可以包括位于处理单元之后的其他单元，例如降分辨率层、特征缩放层、BN层、激活层中的任意一种或组合。
在一个或多个可选的实施例中，处理单元包括至少一个特征提取层和一个特征调整层；
图像处理模块61，具体用于基于处理单元中的至少一个特征提取层对输入信息进行特征提取处理，得到第一特征信息；基于处理单元中的特征调整层对第一特征信息进行调整处理，得到图像特征信息。
其中，每对相邻处理块输出的图像特征信息具有相同的大小和相同的通道数。
为了实现图像特征信息之间的两两融合，需要每对相邻处理块输出的图像特征信息具有相同的大小和相同的通道数，本实施例通过在处理单元中增加一个用于调整特征信息的大小和通道数的特征调整层实现，该特征调整层可以设置在处理单元内，也可以单独设置，本申请实施例对特征调整层的位置不做限制。在一个可选的示例中，每个处理单元可以包括至少一个特征提取层(如：卷积层、标准化层BN和激活层ReLU等)和一个特征调整层(如：卷积层、标准化层BN和激活层ReLU等)。
在一个或多个可选的实施例中，还包括：特征图像处理模块，用于对多个处理块中的处理块M1输出的图像特征信息进行特征缩减处理；对多个处理块中的处理块M2输出的图像特征信息进行特征扩展处理；
其中，处理块M2的输入端与处理块M1的输出端直接或间接连接，或，处理块M2输出的图像特征信息是至少部分地基于处理块M1输出的图像特征信息得到的。
通常神经网络中，上层处理块得到的图像特征信息由于经过的处理层数较少，其包括的图像信息较少，而下层处理块得到的图像特征信息由于经过的处理层数较多，其包括的图像信息较多，因此，可选地，在两两融合时，当相邻处理块对应的图像特征信息为浅层特征，对相邻处理块中位置靠下的处理块输出的图像特征信息进行特征缩减处理(例如：下采样处理等)；当相邻处理块对应的图像处理特征为深层特征，对相邻处理块中位置靠上的处理块输出的图像特征信息进行特征扩展处理(例如：插值处理等，可以为双线性差值处理)。
在一个或多个可选的实施例中，图像处理模块61，具体用于利用多个处理块中的处理块N1对输入信息进行特征提取处理，得到处理块N1对应的第一图像特征信息；将第一图像特征信息输入到处理块N1的下一处理块进行特征提取处理，得到下一处理块输出的第二图像特征信息。
其中，处理块N1的输入信息包括图像和/或位于处理块N1之前的至少一个处理块输出的图像特征信息，N1为大于或等于1的整数。
可选地，处理块N1可以为多个处理块中的第一个处理块，此时，处理块N1的输入信息可以为图像或图像的初始图像特征信息；或者，处理块N1可以为多个处理块中的第二个或更后面的处理块，此时，处理块N1的输入信息可以包括上一个处理块输出的图像特征信息，或者还可以进一步包括位于该上一个处理块之前的任意一个或多个处理块输出的图像特征信息，或者还可以包括图像，即处理块N1的输入信息可以包括图像和/或位于处理块N1之前的一个或多个处理块输出的图像特征信息。由于处理块的输入信息包括不同深度的图像特征信息，使处理块输出的图像特征信息可以包含更多图像信息。
处于前面的处理块获得的图像特征信息中包括的浅层信息越多，结合后面处理块输出的图像特征信息，可以将图像中的浅层信息及深层信息都获得。
可选地，图像处理模块61将所述第一图像特征信息输入到处理块N1的下一处理块进行处理，得到下一处理块输出的第二图像特征信息时，用于将图像和/或至少一个处理块N2输出的图像特征信息以及第一图像特征信息输入到处理块N1的下一处理块进行特征提取处理，得到下一处理块输出的第二图像特征信息，其中，处理块N1的输入端与处理块N2的输出端直接或间接连接。
可选地，图像处理模块61，还用于将至少一个处理块N2输出的图像特征信息进行融合处理，并将融合处理得到的图像特征信息输入处理块N1的下一处理块。
可选地，还包括：
特征提取模块，用于通过一个卷积层对图像进行特征提取处理，得到图像对应的特征，将图像对应的特征输入多个处理块。
本申请实施例处理的图像可以为遥感图像，此时目标对象为土地，即通过本申请上述实施例的方法实现通过遥感图像对土地实现分割，例如：将遥感图像中的土地分割为森林、草原、城市、耕地等。
本申请上述实施例提供的图像的目标对象分割方法可以应用于但不限于：土地规划、土地利用监测、土地现状调查等。
在一个或多个可选的实施例中，本申请实施例图像的目标对象分割装置利用分割神经网络实现，图像为具有标注信息的样本图像；
本申请实施例图像的目标对象分割装置还包括：
训练模块，用于基于样本图像的目标对象分割结果和样本图像的标注信息，训练分割神经网络。
为了获得更准确的目标对象分割结果，需要对实现图像分割的分割神经网络进行训练，通过训练提高该网络对特定目标对象(例如：土地)的分割任务的准确性。
可选地，样本图像为土地样本图像；
本实施例装置还包括：
道路图像处理模块，用于利用分割神经网络对道路样本图像进行处理，得到道路样本图像的分割结果，道路样本图像具有标注信息；
训练模块，用于基于土地样本图像的目标对象预测结果和土地样本图像的标注信息，以及道路样本图像的分割结果和道路样本图像的标注信息，调整分割神经网络的参数。
通过传统的CNN对土地图像(例如：遥感图像)进行分割时会缺失中间层次的结构信息，而结构信息对于辅助图像分割和分类是有着重要作用的，因此如何有效且准确的获取土地图像的结构信息成为了解决分割问题的关键。本申请实施例提出的分割神经网络，引入道路数据进行训练，弥补了土地图像的结构缺失问题，并且改善了细节信息。
对于土地覆盖的遥感影像，由于影像的尺度较大，包含的场景多而且杂乱无章没有光滑的边界线，并且由于土地覆盖本身没有明确量化的分界线，标注会存在歧义。传统的CNN很难针对场景较大的遥感影像获取结构信息，从而导致分割效果较差。在本实施例中提出利用已经获取的道路数据来作为辅助数据帮助网络的训练。由于道路数据存在明显的结构特征，而且在土地覆盖中，会存在一些道路数据。且在不同的土地类型中，道路的分布呈现不同的状态。因此基于这个想法，通过分割神经网络(例如：密集融合同学网络DenseFusion Classmate Network，DFCNet)用以同时获取土地和道路的信息，使得道路辅助土地的分类。由于道路数据相对土地覆盖，更加容易获得，而且在标注上也会简单，因此这个在实际应用中，能够利用较少较难标注的土地覆盖数据，加上部分容易标注的道路数据，辅助土地覆盖类型的分类。
可选地，目标图像特征信息是基于分割神经网络对土地样本图像和道路样本图像进行批量处理得到的混合图像特征信息得到的。
可选地，训练模块，用于基于土地样本图像的目标对象预测结果和土地样本图像的标注信息获得第一损失；基于道路样本图像的分割结果和道路样本图像的标注信息获得第二损失；基于第一损失和第二损失调整分割神经网络的参数。
可选地，训练模块基于第一损失和第二损失调整分割神经网络的参数时，用于将第一损失和第二损失加权求和，得到总损失；基于总损失，调整分割神经网络的参数。
在一个或多个可选的实施例中，还可以包括：
预处理模块，用于基于设定大小的剪裁框对样本图像进行剪裁，获得至少一个剪裁图像；
图像处理模块61，用于基于多个处理块对裁剪图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息。
本实施例实现数据预处理，为了获取更多的信息，增大网络的感受野，加速整个训练过程，可以通过剪裁以减小样本图像的大小，例如：将2448x2448的土地数据裁剪成1024x1024大小，此时一个土地数据经过剪裁将获得多个样本数据。在网路的训练过程中加大了训练数据的裁剪尺寸，有助于网络对很多场景信息的提取，从而提升分割的效果。
在一个或多个可选的实施例中，还可以包括：
增强图像处理模块，用于通过设定参数对样本图像进行以下至少一种增强处理：调整样本图像的大小、旋转样本图像的角度、改变样本图像的亮度；
图像处理模块61，用于基于多个处理块对至少一种增强处理后的图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息。
本实施例实现了数据增强处理，通过调整上述至少一个参数，可以获得更多样本图像，或将样本图像的显示效果提升，以达到更好的训练效果。例如：网络训练数据的裁剪大小为513x513，对于道路数据图像的随机调整大小(resize)取值范围[0.5,1.5]，对于土地分类图像的随机resize取值范围[0.8,1.25]。对于道路和土地数据的随机旋转(rotate)范围为[-180,180]，亮度调整(color jitter)参数为0.3。
图7为本申请土地分割神经网络的训练方法一个实施例的流程图。如图7所示，该实施例方法包括：
步骤710，将至少一个土地样本图像和至少一个道路样本图像输入土地分割神经网络，获得至少一个土地样本图像的预测分割结果以及至少一个道路样本图像的预测分割结果。
步骤720，基于至少一个土地样本图像的预测分割结果以及至少一个道路样本图像的预测分割结果，调整土地分割神经网络的参数。
对于土地图像，通常尺度较大，包含的场景多而且杂乱无章没有光滑的边界线，并且由于土地覆盖本身没有明确量化的分界线，标注会存在歧义。传统的CNN很难针对场景较大的土地图像获取结构信息，从而导致分割效果较差。
在本实施例中提出利用具有标注信息的道路数据来作为辅助数据帮助土地分割神经网络的训练。由于道路数据存在明显的结构特征，而且在土地图像中，会存在一些道路数据。且在不同的土地类型中，道路的分布呈现不同的状态。因此基于这个想法，通过土地分割神经网络(例如：密集融合同学网络Dense FusionClassmate Network，DFCNet)用以同时获取土地和道路的信息，使得道路辅助土地的分类。由于道路数据相对土地覆盖，更加容易获得，而且在标注上也会简单，因此这个在实际应用中，能够利用较少较难标注的土地覆盖数据，加上部分容易标注的道路数据，辅助土地覆盖类型的分类。
当图1所示的图像的目标对象分割方法中的图像为遥感图像，目标对象为土地时，经过本实施例训练获得的土地分割神经网络可以应用于上述图1所示的图像的目标对象分割方法，以实现对遥感图像中的土地进行分割，以获得土地分割结果。
在一个或多个可选的实施例中，土地分割神经网络包括多个顺序连接处理块、融合网络和分割网络；
步骤710可以包括：
基于多个处理块对至少一个土地样本图像和至少一个道路样本图像进行特征提取处理，得到多个处理块中每个处理块输出的样本图像特征信息；
将多个处理块中的至少两对相邻处理块输出的样本图像特征信息进行至少两级融合处理，得到目标样本图像特征信息；
基于目标样本图像特征信息，确定至少一个土地样本图像的预测分割结果和至少一个道路样本图像的预测分割结果。
为了进一步的处理细节信息，在本实施例提出了密集融合Dense Fusion结构，将不同深度的Layer进行两两融合，通过Element-wise Sum进行融合，一直递归融合到最后一层。通过密集融合结构可以更好的使得网络获取更多深层和浅层的信息，有利于在细节上准确的分割。同时融合可以使得网络的反向传播(back propagation)更好更快的回传到较浅层的Layer，有利于网络更好的监督。
可选地，基于多个处理块对至少一个土地样本图像和至少一个道路样本图像进行特征提取处理，得到多个处理块中每个处理块输出的样本图像特征信息，包括：
基于多个处理块分别对各土地样本图像和各道路样本图像进行处理，得到至少两组样本图像特征信息，每个土地样本图像对应至少两组样本图像特征信息，每个道路样本图像对应至少两组样本图像特征信息。
本实施例土地分割神经网络对于输入的各土地样本图像和各道路样本图像分别进行处理，防止批量处理时出现不同样本图像之间的图像特征信息出现混淆，而导致训练结果不准确。
可选地，将多个处理块中的至少两对相邻处理块输出的样本图像特征信息进行至少两级融合处理，得到目标样本图像特征信息，包括：
分别对每个土地样本图像对应的至少两组样本图像特征信息进行至少两级融合，得到至少一个目标样本图像特征信息；
分别对每个道路样本图像对应的至少两组样本图像特征信息进行至少两级融合，得到至少一个目标样本图像特征信息。
每个图像样本图像和每个道路样本图像都分别具有不同的图像特征信息，如果不同样本图像的图像特征信息融合将会导致训练结果不准确，本实施例土地分割神经网络并将每个样本图像(土地样本图像或道路样本图像)对应的两组样本图像特征信息分别进行，防止多个样本图像对应的样本图像特征信息之间融合。
可选地，土地分割神经网络还包括切片层；
基于目标样本图像特征信息，确定至少一个土地样本图像的预测分割结果和至少一个道路样本图像的预测分割结果之前，还包括：
通过切片层对土地样本图像对应的目标样本图像特征信息与道路样本图像对应的目标样本图像特征信息进行分组；
将土地样本图像对应的目标样本图像特征信息和道路样本图像对应的目标样本图像特征信息分别输入分割网络；
基于分割网络分别获得土地样本图像对应的预测分割结果和道路样本图像对应的预测分割结果。
当至少一个土地样本图像和至少一个道路样本图像经过土地分割神经网络包括多个顺序连接处理块处理后，得到对应的目标样本图像特征信息集合后，为了区分土地样本图像和道路样本图像，以实现利用道路图像的信息对土地分割神经网络进行训练，本实施例通过切片层(slice)对土地样本图像对应的目标样本图像特征信息与道路样本图像对应的目标样本图像特征信息进行区分，具体区分可根据输入土地样本图像和道路样本图像的顺序进行区分。
可选地，土地样本图像和道路样本图像分别具有标注信息；
基于至少一个土地样本图像的预测分割结果以及至少一个道路样本图像的预测分割结果，调整土地分割神经网络的参数，包括：
基于土地样本图像对应的预测分割结果和土地样本图像对应的标注信息获得第一损失；
基于道路样本图像对应的预测分割结果和道路图像对应的标注信息获得第二损失；
基于第一损失和第二损失调整土地分割神经网络的参数。
可选地，将第一损失和第二损失加权求和，得到总损失；基于总损失，调整土地分割神经网络的参数。
可选地，将第一损失和第二损失加权求和，得到总损失；基于总损失，调整土地分割神经网络的参数。通过对第一损失和第二损失加权求和对土地分割神经网络的参数进行调整，该加权求和的权重值可以预先设定或通过实验或多次训练获得，通常第一损失的权重值大于第二损失的权重值，例如：第一损失的权重值:第二损失的权重值为8:7，具体的权重值的大小本申请实施例不作限定。
本实施例中，利用道路数据弥补土地分类的结构缺失信息，提高了土地分割神经网络对土地分割任务的准确性。利用容易获得且容易标准的道路数据，在加入道路数据进行分割之后，能够提升土地覆盖分类的效率和准确率。并且在细节上的处理更加完善。
本申请土地分割神经网络的训练过程的一个示例可以如图3所示，其实现的分割效果与FC-DenseNet分割效果对比可以如图4所示，其实现的分割效果与与FC-DenseNet和ClassmateNet结构分割效果对比可以图5所示。
在实际应用中，由于道路数据是相对简单的，在标注和获取途径上都比土地覆盖的图像更易获得。因此引入简单的道路数据，可以很大程度的提升较难获取和较难标注的土地覆盖图像的分类可以节约标准的人力。以及在加入密集融合模型网络结构，可以在细节上有助于土地覆盖的分类。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
图8为本申请实施例土地分割神经网络的训练装置一个实施例的结构示意图。该实施例的装置可用于实现本申请上述各方法实施例。如图8所示，该实施例的装置包括：
结果预测模块81，用于将至少一个土地样本图像和至少一个道路样本图像输入所述土地分割神经网络，获得至少一个土地样本图像的预测分割结果以及至少一个道路样本图像的预测分割结果。
参数调整模块82，用于基于至少一个土地样本图像的预测分割结果以及至少一个道路样本图像的预测分割结果，调整土地分割神经网络的参数。
对于土地图像，通常尺度较大，包含的场景多而且杂乱无章没有光滑的边界线，并且由于土地覆盖本身没有明确量化的分界线，标注会存在歧义。传统的CNN很难针对场景较大的土地图像获取结构信息，从而导致分割效果较差。
在本实施例中提出利用具有标注信息的道路数据来作为辅助数据帮助土地分割神经网络的训练。由于道路数据存在明显的结构特征，而且在土地图像中，会存在一些道路数据。且在不同的土地类型中，道路的分布呈现不同的状态。因此基于这个想法，通过土地分割神经网络(例如：密集融合同学网络Dense Fusion Classmate Network，DFCNet)用以同时获取土地和道路的信息，使得道路辅助土地的分类。由于道路数据相对土地覆盖，更加容易获得，而且在标注上也会简单，因此这个在实际应用中，能够利用较少较难标注的土地覆盖数据，加上部分容易标注的道路数据，辅助土地覆盖类型的分类。
在一个或多个可选的实施例中，土地分割神经网络包括多个顺序连接处理块、融合网络和分割网络；
结果预测模块81，用于基于多个处理块对至少一个土地样本图像和至少一个道路样本图像进行特征提取处理，得到多个处理块中每个处理块输出的样本图像特征信息；将多个处理块中的至少两对相邻处理块输出的样本图像特征信息进行至少两级融合处理，得到目标样本图像特征信息；基于目标样本图像特征信息，确定至少一个土地样本图像的预测分割结果和至少一个道路样本图像的预测分割结果。
为了进一步的处理细节信息，在本实施例提出了密集融合Dense Fusion结构，将不同深度的Layer进行两两融合，通过Element-wise Sum进行融合，一直递归融合到最后一层。通过密集融合结构可以更好的使得网络获取更多深层和浅层的信息，有利于在细节上准确的分割。同时融合可以使得网络的反向传播(back propagation)更好更快的回传到较浅层的Layer，有利于网络更好的监督。
可选地，结果预测模块81基于多个处理块对至少一个土地样本图像和至少一个道路样本图像进行特征提取处理，得到多个处理块中每个处理块输出的样本图像特征信息时，用于基于多个处理块分别对各土地样本图像和各道路样本图像进行处理，得到至少两组样本图像特征信息，每个土地样本图像对应至少两组样本图像特征信息，每个道路样本图像对应至少两组样本图像特征信息。
可选地，结果预测模块81将多个处理块中的至少两对相邻处理块输出的样本图像特征信息进行至少两级融合处理，得到目标样本图像特征信息时，用于分别对每个土地样本图像对应的至少两组样本图像特征信息进行至少两级融合，得到至少一个目标样本图像特征信息；
分别对每个道路样本图像对应的至少两组样本图像特征信息进行至少两级融合，得到至少一个目标样本图像特征信息。
可选地，土地分割神经网络还包括切片层；
结果预测模块81还用于通过切片层对土地样本图像对应的目标样本图像特征信息与道路样本图像对应的目标样本图像特征信息进行分组；将土地样本图像对应的目标样本图像特征信息和道路样本图像对应的目标样本图像特征信息分别输入分割网络；基于分割网络分别获得土地样本图像对应的预测分割结果和道路样本图像对应的预测分割结果。
可选地，土地样本图像和道路样本图像分别具有标注信息；
参数调整模块82，用于基于土地样本图像对应的预测分割结果和土地样本图像对应的标注信息获得第一损失；基于道路样本图像对应的预测分割结果和道路样本图像对应的标注信息获得第二损失；基于第一损失和第二损失调整土地分割神经网络的参数。
可选地，参数调整模块基于第一损失和第二损失训练分割神经网络时，用于将第一损失和第二损失加权求和，得到总损失；基于总损失，调整土地分割神经网络的参数。
根据本申请实施例的另一个方面，提供的一种电子设备，包括处理器，所述处理器包括如上任意一项所述的图像的目标对象分割装置或如上任意一项所述的土地分割神经网络的训练装置。
根据本申请实施例的另一个方面，提供的一种电子设备，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述图像的目标对象分割方法的操作，或者，用于与所述存储器通信以执行所述可执行指令从而完成如上任意一项所述土地分割神经网络的训练方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机可读存储介质，用于存储计算机可读取的指令，所述指令被执行时执行如上任意一项所述图像的目标对象分割方法或如上任意一项所述土地分割神经网络的训练方法的操作。
根据本申请实施例的另一个方面，提供的一种计算机程序产品，包括计算机可读代码，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现如上任意一项所述图像的目标对象分割方法或如上任意一项所述土地分割神经网络的训练方法的指令。
在一个或多个可选实施方式中，本申请实施例还提供了一种计算机程序程序产品，用于存储计算机可读指令，所述指令被执行时使得计算机执行上述任一可能的实现方式中所述的图像的目标对象分割方法，或执行任一可能的实现方式中所述的土地分割神经网络的训练方法的操作。
该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选例子中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选例子中，所述计算机程序产品具体体现为软件产品，例如软件开发包(Software Development Kit，SDK)等等。
根据本申请实施例还提供了图像的目标对象分割及土地分割神经网络的训练方法和装置、电子设备、计算机存储介质、计算机程序产品，其中，基于多个处理块对图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息；将多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于目标图像特征信息，确定图像的目标对象分割结果。
在一些实施例中，该目标跟踪指示可以具体为调用指令，第一装置可以通过调用的方式指示第二装置执行目标跟踪，相应地，响应于接收到调用指令，第二装置可以执行上述目标跟踪方法中的任意实施例中的步骤和/或流程。
应理解，本申请实施例中的“第一”、“第二”等术语仅仅是为了区分，而不应理解成对本申请实施例的限定。
还应理解，在本申请中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本申请中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
还应理解，本申请对各个实施例的描述着重强调各个实施例之间的不同之处，其相同或相似之处可以相互参考，为了简洁，不再一一赘述。
本申请实施例还提供了一种电子设备，例如可以是移动终端、个人计算机(PC)、平板电脑、服务器等。下面参考图9，其示出了适于用来实现本申请实施例的终端设备或服务器的电子设备900的结构示意图：如图9所示，电子设备900包括一个或多个处理器、通信部等，所述一个或多个处理器例如：一个或多个中央处理单元(CPU)901，和/或一个或多个图像处理器(GPU)913等，处理器可以根据存储在只读存储器(ROM)902中的可执行指令或者从存储部分908加载到随机访问存储器(RAM)903中的可执行指令而执行各种适当的动作和处理。通信部912可包括但不限于网卡，所述网卡可包括但不限于IB(Infiniband)网卡。
处理器可与只读存储器902和/或随机访问存储器903中通信以执行可执行指令，通过总线904与通信部912相连、并经通信部912与其他目标设备通信，从而完成本申请实施例提供的任一项方法对应的操作，例如，基于多个处理块对图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息；将多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于目标图像特征信息，确定图像的目标对象分割结果。
此外，在RAM 903中，还可存储有装置操作所需的各种程序和数据。CPU901、ROM902以及RAM903通过总线904彼此相连。在有RAM903的情况下，ROM902为可选模块。RAM903存储可执行指令，或在运行时向ROM902中写入可执行指令，可执行指令使中央处理单元901执行上述通信方法对应的操作。输入/输出(I/O)接口905也连接至总线904。通信部912可以集成设置，也可以设置为具有多个子模块(例如多个IB网卡)，并在总线链接上。
以下部件连接至I/O接口905：包括键盘、鼠标等的输入部分906；包括诸如阴极射线管(CRT)、液晶显示器(LCD)等以及扬声器等的输出部分907；包括硬盘等的存储部分908；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分909。通信部分909经由诸如因特网的网络执行通信处理。驱动器910也根据需要连接至I/O接口905。可拆卸介质911，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器910上，以便于从其上读出的计算机程序根据需要被安装入存储部分908。
需要说明的，如图9所示的架构仅为一种可选实现方式，在具体实践过程中，可根据实际需要对上述图9的部件数量和类型进行选择、删减、增加或替换；在不同功能部件设置上，也可采用分离设置或集成设置等实现方式，例如GPU913和CPU901可分离设置或者可将GPU913集成在CPU901上，通信部可分离设置，也可集成设置在CPU901或GPU913上，等等。这些可替换的实施方式均落入本申请公开的保护范围。
特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，计算机程序包含用于执行流程图所示的方法的程序代码，程序代码可包括对应执行本申请实施例提供的方法步骤对应的指令，例如，基于多个处理块对图像进行特征提取处理，得到多个处理块中每个处理块输出的图像特征信息；将多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；基于目标图像特征信息，确定图像的目标对象分割结果。在这样的实施例中，该计算机程序可以通过通信部分909从网络上被下载和安装，和/或从可拆卸介质911被安装。在该计算机程序被中央处理单元(CPU)901执行时，执行本申请的方法中限定的上述功能的操作。
可能以许多方式来实现本申请的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本申请的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本申请的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本申请实施为记录在记录介质中的程序，这些程序包括用于实现根据本申请的方法的机器可读指令。因而，本申请还覆盖存储用于执行根据本申请的方法的程序的记录介质。
本申请的描述是为了示例和描述起见而给出的，而并不是无遗漏的或者将本申请限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本申请的原理和实际应用，并且使本领域的普通技术人员能够理解本申请从而设计适于特定用途的带有各种修改的各种实施例。

Claims (10)

1.一种图像的目标对象分割方法，其特征在于，包括：
基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，所述处理块包括至少一个处理单元；
将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；
基于所述目标图像特征信息，确定所述图像的目标对象分割结果。
2.根据权利要求1所述的方法，其特征在于，所述将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息，包括：
将每对所述相邻处理块输出的图像特征信息进行第一级融合处理，得到第一融合特征信息；
将至少一对相邻的所述第一融合特征信息进行第二级融合处理，得到至少一个第二融合特征信息；
基于所述至少一个第二融合特征信息，确定所述目标图像特征信息。
3.根据权利要求2所述的方法，其特征在于，所述基于所述至少一个第二融合特征信息，确定所述目标图像特征信息，包括：
对所述至少一个第二融合特征信息进行后续特征融合处理，直到所述后续融合处理得到的后续融合特征信息的数量为一个；
将所述数量为一个的后续融合特征信息作为所述目标图像特征信息。
4.一种图像的目标对象分割装置，其特征在于，包括：
图像处理模块，用于基于多个处理块对图像进行特征提取处理，得到所述多个处理块中每个处理块输出的图像特征信息，所述处理块包括至少一个处理单元；
融合模块，用于将所述多个处理块中的至少两对相邻处理块输出的图像特征信息进行至少两级融合处理，得到目标图像特征信息；
分割模块，用于基于所述目标图像特征信息，确定所述图像的目标对象分割结果。
5.一种土地分割神经网络的训练方法，其特征在于，包括：
将至少一个土地样本图像和至少一个道路样本图像输入所述土地分割神经网络，获得所述至少一个土地样本图像的预测分割结果以及所述至少一个道路样本图像的预测分割结果；
基于所述至少一个土地样本图像的预测分割结果以及所述至少一个道路样本图像的预测分割结果，调整所述土地分割神经网络的参数。
6.一种土地分割神经网络的训练装置，其特征在于，包括：
结果预测模块，用于将至少一个土地样本图像和至少一个道路样本图像输入所述土地分割神经网络，获得所述至少一个土地样本图像的预测分割结果以及所述至少一个道路样本图像的预测分割结果；
参数调整模块，用于基于所述至少一个土地样本图像的预测分割结果以及所述至少一个道路样本图像的预测分割结果，调整所述土地分割神经网络的参数。
7.一种电子设备，其特征在于，包括处理器，所述处理器包括权利要求4所述的图像的目标对象分割装置或权利要求6所述的土地分割神经网络的训练装置。
8.一种电子设备，其特征在于，包括：存储器，用于存储可执行指令；
以及处理器，用于与所述存储器通信以执行所述可执行指令从而完成权利要求1至3任意一项所述图像的目标对象分割方法的操作，或者，用于与所述存储器通信以执行所述可执行指令从而完成权利要求5所述土地分割神经网络的训练方法的操作。
9.一种计算机可读存储介质，用于存储计算机可读取的指令，其特征在于，所述指令被执行时执行权利要求1至3任意一项所述图像的目标对象分割方法或权利要求5所述土地分割神经网络的训练方法的操作。
10.一种计算机程序产品，包括计算机可读代码，其特征在于，当所述计算机可读代码在设备上运行时，所述设备中的处理器执行用于实现权利要求1至3任意一项所述图像的目标对象分割方法或权利要求5所述土地分割神经网络的训练方法的指令。
CN201810623306.0A 2018-06-15 2018-06-15 图像的目标对象分割及训练方法和装置、设备、介质、产品 Pending CN108830221A (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201810623306.0A CN108830221A (zh) 2018-06-15 2018-06-15 图像的目标对象分割及训练方法和装置、设备、介质、产品
SG11202012531TA SG11202012531TA (en) 2018-06-15 2019-06-14 Method, apparatus, device, medium and product for segmenting image, and method, apparatus, device, medium and product for training segmentation network
PCT/CN2019/091328 WO2019238126A1 (zh) 2018-06-15 2019-06-14 图像分割及分割网络训练方法和装置、设备、介质、产品
JP2020569112A JP7045490B2 (ja) 2018-06-15 2019-06-14 画像分割と分割ネットワークトレーニング方法および装置、機器、媒体、並びに製品
US17/121,670 US20210097325A1 (en) 2018-06-15 2020-12-14 Method and apparatus for segmenting image, and method and apparatus for training segmentation network

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810623306.0A CN108830221A (zh) 2018-06-15 2018-06-15 图像的目标对象分割及训练方法和装置、设备、介质、产品

Publications (1)

Publication Number Publication Date
CN108830221A true CN108830221A (zh) 2018-11-16

Family

ID=64142272

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810623306.0A Pending CN108830221A (zh) 2018-06-15 2018-06-15 图像的目标对象分割及训练方法和装置、设备、介质、产品

Country Status (5)

Country Link
US (1) US20210097325A1 (zh)
JP (1) JP7045490B2 (zh)
CN (1) CN108830221A (zh)
SG (1) SG11202012531TA (zh)
WO (1) WO2019238126A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109635813A (zh) * 2018-12-13 2019-04-16 银河水滴科技（北京）有限公司 一种钢轨区域图像分割方法及装置
CN109934223A (zh) * 2019-03-01 2019-06-25 北京地平线机器人技术研发有限公司 一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置
CN110062164A (zh) * 2019-04-22 2019-07-26 深圳市商汤科技有限公司 视频图像处理方法及装置
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
WO2019238126A1 (zh) * 2018-06-15 2019-12-19 北京市商汤科技开发有限公司 图像分割及分割网络训练方法和装置、设备、介质、产品
CN111178445A (zh) * 2019-12-31 2020-05-19 上海商汤智能科技有限公司 图像处理方法及装置
CN111260564A (zh) * 2018-11-30 2020-06-09 北京市商汤科技开发有限公司 一种图像处理方法和装置及计算机存储介质
CN111626313A (zh) * 2019-02-28 2020-09-04 银河水滴科技（北京）有限公司 一种特征提取模型训练方法、图像处理方法及装置
CN112686274A (zh) * 2020-12-31 2021-04-20 上海智臻智能网络科技股份有限公司 目标对象的检测方法及设备

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111667440B (zh) * 2020-05-14 2024-02-13 涡阳县幸福门业有限公司 一种金属门烤漆温度分布图像的融合方法
CN112132832B (zh) * 2020-08-21 2021-09-28 苏州浪潮智能科技有限公司 一种增强图像实例分割的方法、系统、设备及介质
CN112529863B (zh) * 2020-12-04 2024-01-23 推想医疗科技股份有限公司 测量骨密度的方法及装置
CN113705718B (zh) * 2021-09-06 2024-04-02 齐齐哈尔大学 基于多层次特征密集融合的遥感场景图像分类方法
CN114596620B (zh) * 2022-05-10 2022-08-05 深圳市海清视讯科技有限公司 人脸识别设备补光控制方法、装置、设备及存储介质
CN115222638B (zh) * 2022-08-15 2023-03-07 深圳市眼科医院 一种基于神经网络模型的视网膜血管图像分割方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101216890B (zh) * 2008-01-09 2011-02-16 北京中星微电子有限公司 一种彩色图像分割方法
CN101425184B (zh) * 2008-10-30 2011-08-24 西安电子科技大学 基于第二代Bandelet域隐马尔科夫树模型的图像分割方法
CN105488534B (zh) * 2015-12-04 2018-12-07 中国科学院深圳先进技术研究院 交通场景深度解析方法、装置及系统
CN108830221A (zh) * 2018-06-15 2018-11-16 北京市商汤科技开发有限公司 图像的目标对象分割及训练方法和装置、设备、介质、产品

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019238126A1 (zh) * 2018-06-15 2019-12-19 北京市商汤科技开发有限公司 图像分割及分割网络训练方法和装置、设备、介质、产品
JP7045490B2 (ja) 2018-06-15 2022-03-31 北京市商▲湯▼科技▲開▼▲發▼有限公司 画像分割と分割ネットワークトレーニング方法および装置、機器、媒体、並びに製品
JP2021526276A (ja) * 2018-06-15 2021-09-30 北京市商▲湯▼科技▲開▼▲發▼有限公司Ｂｅｉｊｉｎｇ Ｓｅｎｓｅｔｉｍｅ Ｔｅｃｈｎｏｌｏｇｙ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｏ．，Ｌｔｄ． 画像分割と分割ネットワークトレーニング方法および装置、機器、媒体、並びに製品
CN111260564A (zh) * 2018-11-30 2020-06-09 北京市商汤科技开发有限公司 一种图像处理方法和装置及计算机存储介质
CN109635813A (zh) * 2018-12-13 2019-04-16 银河水滴科技（北京）有限公司 一种钢轨区域图像分割方法及装置
CN111626313A (zh) * 2019-02-28 2020-09-04 银河水滴科技（北京）有限公司 一种特征提取模型训练方法、图像处理方法及装置
CN111626313B (zh) * 2019-02-28 2023-06-02 银河水滴科技（北京）有限公司 一种特征提取模型训练方法、图像处理方法及装置
CN109934223A (zh) * 2019-03-01 2019-06-25 北京地平线机器人技术研发有限公司 一种基于神经网络的实例分割确定方法、神经网络模型训练方法及装置
CN109934223B (zh) * 2019-03-01 2022-04-26 北京地平线机器人技术研发有限公司 实例分割结果评价参数确定方法及装置
CN110062164A (zh) * 2019-04-22 2019-07-26 深圳市商汤科技有限公司 视频图像处理方法及装置
CN110245710A (zh) * 2019-06-18 2019-09-17 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
CN110245710B (zh) * 2019-06-18 2022-11-29 腾讯科技（深圳）有限公司 语义分割模型的训练方法、语义分割方法及装置
CN111178445A (zh) * 2019-12-31 2020-05-19 上海商汤智能科技有限公司 图像处理方法及装置
CN112686274A (zh) * 2020-12-31 2021-04-20 上海智臻智能网络科技股份有限公司 目标对象的检测方法及设备
CN112686274B (zh) * 2020-12-31 2023-04-18 上海智臻智能网络科技股份有限公司 目标对象的检测方法及设备

Also Published As

Publication number Publication date
WO2019238126A1 (zh) 2019-12-19
JP7045490B2 (ja) 2022-03-31
US20210097325A1 (en) 2021-04-01
SG11202012531TA (en) 2021-01-28
JP2021526276A (ja) 2021-09-30

Similar Documents

Publication Publication Date Title
CN108830221A (zh) 图像的目标对象分割及训练方法和装置、设备、介质、产品
CN106778821B (zh) 基于slic和改进的cnn的极化sar图像分类方法
CN110176027A (zh) 视频目标跟踪方法、装置、设备及存储介质
CN106548192B (zh) 基于神经网络的图像处理方法、装置和电子设备
CN107730515B (zh) 基于区域增长和眼动模型的全景图像显著性检测方法
US20240037926A1 (en) Segmenting objects by refining shape priors
CN108537192A (zh) 一种基于全卷积网络的遥感影像地表覆盖分类方法
CN108229355A (zh) 行为识别方法和装置、电子设备、计算机存储介质、程序
CN110046537A (zh) 使用递归神经网络进行动态面部分析的系统和方法
CN108334848A (zh) 一种基于生成对抗网络的微小人脸识别方法
CN108121931A (zh) 二维码数据处理方法、装置及移动终端
CN107909015A (zh) 基于卷积神经网络及空谱信息融合的高光谱图像分类方法
CN109241871A (zh) 一种基于视频数据的公共区域人流跟踪方法
CN108229591A (zh) 神经网络自适应训练方法和装置、设备、程序和存储介质
CN108510504A (zh) 图像分割方法和装置
US8351654B2 (en) Image processing using geodesic forests
CN109598234A (zh) 关键点检测方法和装置
CN113012150A (zh) 一种特征融合的高密度稻田无人机图像稻穗计数方法
CN110163831A (zh) 三维虚拟沙盘的物体动态展示方法、装置及终端设备
CN108230354A (zh) 目标跟踪、网络训练方法、装置、电子设备和存储介质
CN109272487A (zh) 一种基于视频的公共区域内人群的数量统计方法
CN109165644A (zh) 目标检测方法和装置、电子设备、存储介质、程序产品
CN110047081A (zh) 胸部x光图像的实例分割方法、装置、设备及介质
CN108664986A (zh) 基于lp范数正则化的多任务学习图像分类方法及系统
CN114663771A (zh) 一种基于分区分层理论的山区耕地智能化提取方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20181116