CN109801293B - 遥感影像分割方法、装置及存储介质、服务器 - Google Patents

遥感影像分割方法、装置及存储介质、服务器 Download PDF

Info

Publication number
CN109801293B
CN109801293B CN201910015344.2A CN201910015344A CN109801293B CN 109801293 B CN109801293 B CN 109801293B CN 201910015344 A CN201910015344 A CN 201910015344A CN 109801293 B CN109801293 B CN 109801293B
Authority
CN
China
Prior art keywords
features
target
convolution
remote sensing
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910015344.2A
Other languages
English (en)
Other versions
CN109801293A (zh
Inventor
曹靖康
王义文
王健宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Priority to CN201910015344.2A priority Critical patent/CN109801293B/zh
Publication of CN109801293A publication Critical patent/CN109801293A/zh
Priority to PCT/CN2019/118530 priority patent/WO2020143323A1/zh
Application granted granted Critical
Publication of CN109801293B publication Critical patent/CN109801293B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection

Abstract

本发明涉及图像检测、图像分类技术领域,本申请实施例提供的一种遥感影像分割方法,包括:获取目标图像,通过深度卷积神经网络的各卷积层提取目标图像的分层特征;依次基于两不同尺度卷积层提取出的分层特征确定目标图像的目标特征;依据目标特征确定目标图像中各物体的物体类别,依据物体类别对目标图像进行分割。在本申请中采用卷积神经网络提取由浅到深的多尺度特征,还通过跳跃式的方式融合深层、中层和浅层特征,用以获取高级别的语义信息和低级别的几何信息,之后再通过上采样实现空间输出,以达到像素级别分割的目的,提高遥感影像在云、强光照等干扰因素下的分割精度。

Description

遥感影像分割方法、装置及存储介质、服务器
技术领域
本发明涉及图像检测、图像分类技术领域,具体涉及一种遥感影像分割方法、装置及存储介质、服务器。
背景技术
遥感影像数据还作为地理信息系统(Geographic information System,GIS),全球定位系统(Global Positioning System,GPS)、遥感测绘技术(remote sensing system,RS)三大空间信息技术中的基础数据,广泛应用于环境监测、资源调查、土地利用、城市规划、自然灾害分析和军事等各个领域。近年来,随着高分辨率遥感卫星、成像雷达以及无人机驾驶飞机(Unmanned Aerial Vehicle)技术的发展,遥感影像数据进一步呈现海量、复杂和高分辨率的特点,实现精细分割对于促进遥感影像信息的准确提取和数据共享具有重要的研究意义和应用价值。
发明内容
为克服以上技术问题,特别是现有遥感影像中信息提取不够准确,导致不能够精准分割遥感影像的问题,特提出以下技术方案:
本发明实施例提供的一种遥感影像分割方法,包括:
获取目标图像,通过深度卷积神经网络不同尺度的各卷积层提取所述目标图像的分层特征;
依次基于两不同尺度卷积层提取出的所述分层特征确定所述目标图像的目标特征;
依据所述目标特征确定所述目标图像中各物体的物体类别,依据所述物体类别对所述目标图像进行分割。
可选地,所述依次基于两不同尺度卷积层提取出的所述分层特征确定所述目标图像的目标特征,包括:
依次融合两不同尺度中最后两卷积层提取出的所述分层特征,获得融合特征;
基于所述融合特征确定所述目标图像的所述目标特征。
可选地,所述依次融合两不同尺度中最后两卷积层提取出的所述分层特征,获得融合特征,包括:
获取最后一个尺度,获取所述尺度的最后一个卷积层提取出的特征;
对所述特征进行反卷积,得到该尺度相邻且大一尺度的相邻尺度中的还原特征,所述反卷积层位于所述相邻尺度中,所述还原特征位于反卷积层中;
连接所述反卷积层和与所述相邻尺度位于同一尺度中的用于提取所述分层特征的最后一个所述卷积层,获得卷积联合体;
对所述卷积联合体执行卷积获得所述融合特征,所述卷积联合体和所述反卷积位于同一尺度中;
判断所述相邻尺度是否为所述深度卷积神经网络的第一层,若不是,获取所述相邻尺度的最后一个所述卷积层,继续所述对所述卷积层提取出的特征进行反卷积的步骤。
可选地,所述基于所述融合特征确定所述目标图像的所述目标特征,包括:
当所述相邻尺度为所述深度卷积神经网络的第一层时,将所述融合特征确定为所述目标特征。
可选地,所述目标特征包括语义特征、几何特征、纹理特征中的一种或者多种。
可选地,所述依据所述目标特征确定所述目标图像中各物体的物体类别,包括:
获取所述目标特征与物体类别的映射关系;
基于所述映射关系确定所述目标图像中各物体的物体类别。
可选地,所述通过深度卷积神经网络不同尺度的各卷积层提取所述目标图像的分层特征,包括:
依据所述目标图像对所述深度卷积神经网络进行训练,获得图像分割模型;
通过所述图像分割模型提取所述目标图像在所述深度卷积神经网络各卷积层中的分层特征。
可选地,所述依据所述目标图像对所述深度卷积神经网络进行训练,获得图像分割模型,包括:
依据所述目标图像对所述深度卷积神经网络进行训练,确定所述深度卷积神经网络的损失函数;
将所述损失函数输入所述深度卷积神经网络,获得所述图像分割模型。
本发明实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现任一技术方案所述的遥感影像分割方法。
本发明实施例还提供了一种服务器,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行根据任一技术方案所述的遥感影像分割方法的步骤。
本发明与现有技术相比,具有以下有益效果:
1、本申请实施例提供的一种遥感影像分割方法,包括:包括:获取目标图像,通过深度卷积神经网络不同尺度的各卷积层提取所述目标图像的分层特征;依次基于两不同尺度卷积层提取出的所述分层特征确定所述目标图像的目标特征;依据所述目标特征确定所述目标图像中各物体的物体类别,依据所述物体类别对所述目标图像进行分割。通过提取多层次的不同尺度的特征,进而能够获得更多的同一物体的特征,之后将该不同尺度的特征进行融合,使得最后能够得到同一物体更为丰富的特征,在进行遥感影像目标物分割时,也能够更为准确的描述和判断遥感影像中的目标物。由于获取到同一个物体不同尺度下的特征,进而可以区分不同像素对应的物体类别,实现对遥感影像的像素级分割,同样的,也能降低云、强光照等因素对遥感影像分割影像程度。
2、本申请实施例提供的一种遥感影像分割方法,所述依次融合两不同尺度中最后两卷积层提取出的所述分层特征,获得融合特征,包括:以最后一个尺度的最后一个卷积层为基准,依次将该卷积层以及该卷积层之后的同一尺度的最后一个所述卷积层提取出的所述分层特征进行反卷积,获得该尺度的所述分层特征在该尺度相邻前一尺度下的还原特征,所述还原特征位于反卷积层中;连接所述反卷积层和与所述相邻尺度位于同一尺度中的用于提取所述分层特征的最后一个所述卷积层,获得卷积联合体,所述卷积联合体包括融合特征,所述融合特征包括所述还原特征和所述分层特征。通过该过程实现了不同尺度下特征的融合,即跳跃式的融合深层、中层和浅层特征,进而使得最后得到目标特征可以包括多层次的特征,如:语义特征、纹理特征、几何特征中的多种。通过多层级特征对遥感影像物体的描述,提高了遥感影像中物体类别区分的精准度。
本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。
附图说明
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:
图1为本发明遥感影像分割方法的典型实施例中一种实施方式的流程示意图;
图2为本发明遥感影像分割方法的中卷积神经网络的结构示意图;
图3为本发明遥感影像分割装置的典型实施例的结构示意图;
图4为本发明服务器的一实施例结构示意图。
具体实施方式
下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。
本技术领域技术人员可以理解,除非特意声明,这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是,本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作,但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作。
本技术领域技术人员可以理解,除非另外定义,这里使用的所有术语(包括技术术语和科学术语),具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是,诸如通用字典中定义的那些术语,应该被理解为具有与现有技术的上下文中的意义一致的意义,并且除非像这里一样被特定定义,否则不会用理想化或过于正式的含义来解释。
本领域技术人员应当理解,本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念,是业内技术人员所公知的相同概念,是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定,这种命名本身不受编程语言种类、级别,也不受其赖以运行的操作系统或平台所限制。理所当然地,此类概念也不受任何形式的终端所限制。
本申请实施例提供的一种遥感影像分割方法,在其中一种实施方式中,如图1所示,包括:S100、S200、S300。
S100:获取目标图像,通过深度卷积神经网络不同尺度的各卷积层提取所述目标图像的分层特征;
S200:依次基于两不同尺度卷积层提取出的所述分层特征确定所述目标图像的目标特征;
S300:依据所述目标特征确定所述目标图像中各物体的物体类别,依据所述物体类别对所述目标图像进行分割。
本申请中的目标图像为遥感影像,其包括卫星及航空器拍摄的一类特殊图像,本申请中遥感影像的分割主要通过深度卷积神经网络实现。在本申请提供的实施例中,将所述遥感影像输入深度卷积神经网络中,深度卷积神经网络在获取遥感影像后,对该遥感影像进行卷积,通过卷积提取其在各卷积层和池化层中的分层特征,其中分层特征包括通过不同尺度下各卷积层和池化层之后的特征。由于在神经网络结果中,同一个尺度下,具有一个池化层和一个以上的卷积层。卷积层是对输入的图片进行特征提取,池化层:对输入的特征图进行压缩,一方面使特征图变小,简化网络计算复杂度;一方面进行特征压缩,提取主要特征。在一个卷积层之后,下一个尺度的池化层对上一个尺度卷积层提取出的特征进行采样,池化层对上个上一个尺度卷积层提取出的特征做了下采样,可以得到了更小的同样数量的特征;之后通过该池化层所在尺度下的卷积层卷积,细化经过池化层之后的特征,进而可以得到更准确和/或更多的特征,因此,在后续随着卷积的深入,提取的特征会更能表达出对应的目标物,进而使得深度卷积神经网络能够更为准确的区分遥感影像中的物体类别,如区分出目标物和背景。进一步,结合前述可知,不同尺度下则会提取到不同的特征,进而可以获得分层特征。为了能够使得遥感影像中同一目标物对应的特征更多,对不同尺度下卷积层提取出的所述分层特征进行融合,具体的分层特征详见后文,在此不做赘述。在获得目标特征之后,由于目标特征包括一个目标的底层几何特征、中层纹理特征以及高层语义特征中的一种或者多种,使得该目标的特征较为丰富,则深度卷积神经网络可以综合该目标特征对目标图像中各物体进行准确的分类,之后则依据该分类对遥感影像进行分割,如区分出目标地物和背景,遥感影像分割为将同一类的物体进行采用相同的颜色进行覆盖,不同类的物体覆盖的颜色不同,实现对遥感影像中物体的区分,即是对遥感影像的分割,遥感影像的分割是通过深度卷积神经网络上采样实现空间输出,以通过该方法实现对遥感影像像素级别的分割,同时通过深度卷积神经网络实现本方法的步骤,由于深度卷积神经网络提取由浅到深的多尺度特征,并进行不同尺度的跳跃性融合,进而可以提高遥感影像在云、强光照等干扰因素下的分割精度。
可选地,所述依次基于两不同尺度卷积层提取出的所述分层特征确定所述目标图像的目标特征,包括:
依次融合两不同尺度中最后两卷积层提取出的所述分层特征,获得融合特征;
基于所述融合特征确定所述目标图像的所述目标特征。
结合前述过程,为了能够得到同一目标多层次的特征,使得该目标的特征更为丰富,进而实现对目标的准确描述和判别(分类),依次融合两不同尺度中最后两卷积层提取出的分层特征,由于不同尺度卷积层,其提取出的特征层次不同,进而为了在深度卷积神经网络卷积按照尺度完成卷积之后,依次融合两不同尺度中最后两卷集层提取出的分层特征,获得包括两个尺度的特征,即前述融合特征,在后续过程中,也可以通过包括两个尺度的融合特征确定目标图像中的目标特征,特别地,同一个目标具有前述的融合特征之后,则使得同一个目标的特征更为丰富,进而便于通过丰富的目标特征对遥感影像中的物体进行准确的描述和分类。
可选地,所述依次融合两不同尺度中最后两卷积层提取出的所述分层特征,获得融合特征,包括:
获取最后一个尺度,获取所述尺度的最后一个卷积层提取出的特征;
对所述特征进行反卷积,得到该尺度相邻且大一尺度的相邻尺度中的还原特征,所述反卷积层位于所述相邻尺度中,所述还原特征位于反卷积层中;
连接所述反卷积层和与所述相邻尺度位于同一尺度中的用于提取所述分层特征的最后一个所述卷积层,获得卷积联合体;
对所述卷积联合体执行卷积获得所述融合特征,所述卷积联合体和所述反卷积位于同一尺度中;
判断所述相邻尺度是否为所述深度卷积神经网络的第一层,若不是,获取所述相邻尺度的最后一个所述卷积层,继续所述对所述卷积层提取出的特征进行反卷积的步骤。
可选地,所述基于所述融合特征确定所述目标图像的所述目标特征,包括:
当所述相邻尺度为所述深度卷积神经网络的第一层时,将所述融合特征确定为所述目标特征。
结合前述说明,本申请的深度卷积神经网络结构如图2所示,包括卷积层A、反卷积层B以及池化层C,在具体的特征融合过程中,在遥感影像依次经过池化层C和/或卷积层A之后,则实现了对遥感影像中各物体的特征,在完成特征提取之后,以最后一个尺度的最后一个卷积层为基准,即从该卷积层开始,向前推进进行反卷积,其中,反卷积过程在反卷积层实现。在最后一个尺度下的卷积层完成卷积之后,则对最后一个卷积层A提取出的特征在反卷积层B进行反卷积,获得该尺度前一个尺度下的卷积层,其中反卷积层中包含有该尺度提取出来的分层特征,所述反卷积层包括还原特征,即将该尺度卷积提取出的特征转换为到上一尺度,以便于两种尺度下的特征进行融合。融合过程为将最后一个尺度L下的卷积层反卷积得到的还原特征,与最后一个尺度L相邻前一个尺度M下最后一个卷积层的分层特征进行融合,即将连接最后一个尺度L下的卷积层对应的反卷积层和与该尺度相邻前一个尺度M下的最后一个卷积层,进而可以获得前述的卷积联合体,卷积联合体中则包括了前述的融合特征,由于是将反卷积层和卷积层进行连接,因此,融合特征应包括反卷积层中的还原特征和卷积层的分层特征。之后对该卷积联合体进行卷积,即经过至少一个卷积层,即对融合特征进行特征提取,将尺度M下对卷积联合体执行卷积获得特征进行反卷积,获得尺度M相邻前一个尺度N下的还原特征,然后将尺度N下的最后一个卷积层提取出的分层特征与尺度N下反卷积提取出来的还原特征进行融合,即连接尺度N下的最后一个卷积层和尺度N下的反卷积层,获得又一个卷积联合体,之后依次对该卷积联合体进行如前述的过程,进而可以得到目标特征。获取到目标特征之后,则可以依据该目标特征实现对遥感影像的分割。可选地,所述目标特征包括语义特征、几何特征、纹理特征中的一种或者多种。
在具体的实施过程如:
可选地,所述依据所述目标特征确定所述目标图像中各物体的物体类别,包括:
获取所述目标特征与物体类别的映射关系;
基于所述映射关系确定所述目标图像中各物体的物体类别。
在获得到遥感影像目标特征,经过前述过程的多次卷积和反卷积,使得该目标特征为像素级特征,结合前述目标特征的种类,为了能够对遥感影像进行分割,获取目标特征和物体类别的映射关系,即同一个物体对应的语音特征、纹理特征、几何特征等,基于该映射关系和目标特征则可以确定遥感影像中各物体的类别,以便于后续实现如前述的遥感影像分割,结合前述可知,该遥感影像为像素级的分割。
综合前述过程可知,首先通过不同尺度的卷积和池化层获取遥感影像的分层特征,然后对最后一个卷基层进行反卷积,使之的尺度还原到上一部分卷积的尺寸。同时将上一部分的最后一个卷积层与反卷积层连接(如图2中虚线部分和C部分)。然后对联合体执行卷积获取特征,此时的特征包含了抽象程度最高的特征以及抽象程度次高的特征。之后的步骤以此类推,每次将末端卷积反卷积,然后与对应卷积层连接,再执行卷积。这样融合的原因是底层的卷积反映的是目标的边、角、点等底层特征,中间层卷积反映的是纹理等中层特征,高层卷积反映的是语义等高层特征,当一个目标的特征越丰富,描述和判别越准确。在整个网络后端将特征图映射至两个特征,此时获取的两个特征所对应的索引即为类别。在本网络中分为两类:目标地物和背景。
可选地,所述通过深度卷积神经网络不同尺度的各卷积层提取所述目标图像的分层特征,包括:
依据所述目标图像对所述深度卷积神经网络进行训练,获得图像分割模型;
通过所述图像分割模型提取所述目标图像在所述深度卷积神经网络各卷积层中的分层特征。
可选地,所述依据所述目标图像对所述深度卷积神经网络进行训练,获得图像分割模型,包括:
依据所述目标图像对所述深度卷积神经网络进行训练,确定所述深度卷积神经网络的损失函数;
将所述损失函数输入所述深度卷积神经网络,获得所述图像分割模型。
为了实现更精准对遥感影像的分割,在获取到遥感影像之后,需要将该遥感影像输入深度卷积神经网络进行训练,以确定遥感影像的图像分割模型。其中,本申请中深度卷积神经网络的参入如下:
Figure BDA0001938853830000091
Figure BDA0001938853830000101
进而便于通过图像分割模型实现对图像的分割,即通过该图像分割模型进行如前述的过程。在图像分割模型确定过程中,主要通过目标图像进行训练,确定深度卷积神经网络的损失函数,将该损失函数输入深度卷积神经网络之后,即可获得图像分割模型。
其中,损失函数的确定过程如下:
损失函数采用交叉熵代价函数和正则项之和。其中交叉熵函数如下所示:
Figure BDA0001938853830000102
其中,y为期望输出,α为神经网络实际输出,x为输入值。交叉熵损失函数可以衡量神经网络实际输出与期望输出之间的相似性,其作为损失函数在梯度下降时能避免均方误差损失函数学习速率降低的问题。同时,交叉熵作为对数函数,在接近上边界的时候,梯度值仍然较高,因此模型的收敛速度不会减慢。
正则项用以使卷积神经网络参数衰减,产生了稀疏性,减少了特征向量的,从而降低模型的复杂度,防止深度神经网络在训练过程中过拟合。综合交叉熵代价函数和正则项,损失函数为:
Figure BDA0001938853830000111
其中,λ为正则项的系数,θ为模型参数,k为参数个数。
训练采用的优化器是批量随机梯度下降法,为了稳定更新过程,我们引入了动量项。公式如下:
xt+1=xt+Δxt
Δxt=ρΔxt-1-ηgt
其中x为要学习的参数,ρ为动量项,设置为0.99,t为迭代的次数,η为学习率,设置为0.00004,gt为x在t时刻的梯度。训练时每个批次的样本数为4。
本发明实施例还提供了一种遥感影像分割装置,在其中一种实施方式中,如图3所示,包括:目标图像获取模块100、目标特征提取模块200、分割模块300:
目标图像获取模块100,用于获取目标图像,通过深度卷积神经网络不同尺度的各卷积层提取所述目标图像的分层特征;
目标特征提取模块200,用于依次基于两不同尺度卷积层提取出的所述分层特征确定所述目标图像的目标特征;
分割模块300,用于依据所述目标特征确定所述目标图像中各物体的物体类别,依据所述物体类别对所述目标图像进行分割。
进一步地,如图3所示,本发明实施例中提供的一种遥感影像分割方法装置还包括:融合单元210,用于依次融合两不同尺度中最后两卷积层提取出的所述分层特征,获得融合特征;第一目标特征确定单元220,用于基于所述融合特征确定所述目标图像的所述目标特征。最后一个卷积层获取单元211,用于获取最后一个尺度,获取所述尺度的最后一个卷积层提取出的特征;反卷积单元212,用于对所述特征进行反卷积,得到该尺度相邻且大一尺度的相邻尺度中的还原特征,所述反卷积层位于所述相邻尺度中,所述还原特征位于反卷积层中;连接单元213,用于连接所述反卷积层和与所述相邻尺度位于同一尺度中的用于提取所述分层特征的最后一个所述卷积层,获得卷积联合体;卷积单元214,用于对所述卷积联合体执行卷积获得所述融合特征,所述卷积联合体和所述反卷积位于同一尺度中;判断单元215,用于判断所述相邻尺度是否为所述深度卷积神经网络的第一层,若不是,获取所述相邻尺度的最后一个所述卷积层,继续所述对所述卷积层提取出的特征进行反卷积的步骤。第二目标特征确定单元221,用于当所述相邻尺度为所述深度卷积神经网络的第一层时,将所述融合特征确定为所述目标特征。映射关系获取单元310,用于获取所述目标特征与物体类别的映射关系;物体类别确定单元320,用于基于所述映射关系确定所述目标图像中各物体的物体类别。分割模型获得单元110,用于依据所述目标图像对所述深度卷积神经网络进行训练,获得图像分割模型;分层特征提取单元120,用于通过所述图像分割模型提取所述目标图像在所述深度卷积神经网络各卷积层中的分层特征。损失函数确定单元111,用于依据所述目标图像对所述深度卷积神经网络进行训练,确定所述深度卷积神经网络的损失函数;图像分割模型获得单元112,用于将所述损失函数输入所述深度卷积神经网络,获得所述图像分割模型。
本发明实施例提供的一种遥感影像分割方法装置可以实现上述遥感影像分割方法的实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。
本发明实施例提供的一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现任一项技术方案所述的遥感影像分割方法。其中,所述计算机可读存储介质包括但不限于任何类型的盘(包括软盘、硬盘、光盘、CD-ROM、和磁光盘)、ROM(Read-Only Memory,只读存储器)、RAM(Random AcceSS Memory,随即存储器)、EPROM(EraSable Programmable Read-Only Memory,可擦写可编程只读存储器)、EEPROM(Electrically EraSable Programmable Read-Only Memory,电可擦可编程只读存储器)、闪存、磁性卡片或光线卡片。也就是,存储设备包括由设备(例如,计算机、手机)以能够读的形式存储或传输信息的任何介质,可以是只读存储器,磁盘或光盘等。
本发明实施例提供的一种计算机可读存储介质,可实现上述遥感影像分割方法的实施例,在本申请中采用卷积神经网络提取由浅到深的多尺度特征,还通过跳跃式的方式融合深层、中层和浅层特征,用以获取高级别的语义信息和低级别的几何信息,最后通过上采样实现空间输出,以达到像素级别分割的目的,利用本申请中的卷积神经网络,可以提高遥感影像在云、强光照等干扰因素下的分割精度;本申请实施例提供的一种遥感影像分割方法,包括:获取目标图像,通过深度卷积神经网络不同尺度的各卷积层提取所述目标图像的分层特征;依次基于两不同尺度卷积层提取出的所述分层特征确定所述目标图像的目标特征;依据所述目标特征确定所述目标图像中各物体的物体类别,依据所述物体类别对所述目标图像进行分割。本申请中的目标图像为遥感影像,其包括卫星及航空器拍摄的一类特殊图像,本申请中遥感影像的分割主要通过深度卷积神经网络实现。在本申请提供的实施例中,将所述遥感影像输入深度卷积神经网络中,深度卷积神经网络在获取遥感影像后,对该遥感影像进行卷积,通过卷积提取其在各卷积层和池化层中的分层特征,其中分层特征包括通过不同尺度下各卷积层和池化层之后的特征。由于在神经网络结果中,同一个尺度下,具有一个池化层和一个以上的卷积层。卷积层是对输入的图片进行特征提取,池化层:对输入的特征图进行压缩,一方面使特征图变小,简化网络计算复杂度;一方面进行特征压缩,提取主要特征。在一个卷积层之后,下一个尺度的池化层对上一个尺度卷积层提取出的特征进行采样,池化层对上个上一个尺度卷积层提取出的特征做了下采样,可以得到了更小的同样数量的特征;之后通过该池化层所在尺度下的卷积层卷积,细化经过池化层之后的特征,进而可以得到更准确和/或更多的特征,因此,在后续随着卷积的深入,提取的特征会更能表达出对应的目标物,进而使得深度卷积神经网络能够更为准确的区分遥感影像中的物体类别,如区分出目标物和背景。进一步,结合前述可知,不同尺度下则会提取到不同的特征,进而可以获得分层特征。为了能够使得遥感影像中同一目标物对应的特征更多,对不同尺度下卷积层提取出的所述分层特征进行融合,具体的分层特征详见后文,在此不做赘述。在获得目标特征之后,由于目标特征包括一个目标的底层几何特征、中层纹理特征以及高层语义特征中的一种或者多种,使得该目标的特征较为丰富,则深度卷积神经网络可以综合该目标特征对目标图像中各物体进行准确的分类,之后则依据该分类对遥感影像进行分割,如区分出目标地物和背景,遥感影像分割为将同一类的物体进行采用相同的颜色进行覆盖,不同类的物体覆盖的颜色不同,实现对遥感影像中物体的区分,即是对遥感影像的分割,遥感影像的分割是通过深度卷积神经网络上采样实现空间输出,以通过该方法实现对遥感影像像素级别的分割,同时通过深度卷积神经网络实现本方法的步骤,由于深度卷积神经网络提取由浅到深的多尺度特征,并进行不同尺度的跳跃性融合,进而可以提高遥感影像在云、强光照等干扰因素下的分割精度。
此外,在又一种实施例中,本发明还提供一种服务器,如图4所示,所述服务器处理器503、存储器505、输入单元507以及显示单元509等器件。本领域技术人员可以理解,图4示出的结构器件并不构成对所有服务器的限定,可以包括比图示更多或更少的部件,或者组合某些部件。存储器505可用于存储应用程序501以及各功能模块,处理器503运行存储在存储器505的应用程序501,从而执行设备的各种功能应用以及数据处理。存储器505可以是内存储器或外存储器,或者包括内存储器和外存储器两者。内存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦写可编程ROM(EEPROM)、快闪存储器、或者随机存储器。外存储器可以包括硬盘、软盘、ZIP盘、U盘、磁带等。本发明所公开的存储器包括但不限于这些类型的存储器。本发明所公开的存储器505只作为例子而非作为限定。
输入单元507用于接收信号的输入,以及用户输入的个人信息和相关的身体状况信息。输入单元507可包括触控面板以及其它输入设备。触控面板可收集客户在其上或附近的触摸操作(比如客户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作),并根据预先设定的程序驱动相应的连接装置;其它输入设备可以包括但不限于物理键盘、功能键(比如播放控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。显示单元509可用于显示客户输入的信息或提供给客户的信息以及计算机设备的各种菜单。显示单元509可采用液晶显示器、有机发光二极管等形式。处理器503是计算机设备的控制中心,利用各种接口和线路连接整个电脑的各个部分,通过运行或执行存储在存储器503内的软件程序和/或模块,以及调用存储在存储器内的数据,执行各种功能和处理数据。图4中所示的一个或多个处理器503能够执行、实现图3中所示的目标图像获取模块100的功能、目标特征提取模块200的功能、分割模块300的功能、目标图像获取模块100的功能、目标特征提取模块200的功能、分割模块300的功能、融合单元210的功能、第一目标特征确定单元220的功能、最后一个卷积层获取单元211的功能、反卷积单元212的功能、连接单元213的功能、卷积单元214的功能、判断单元215的功能、连接单元212的功能、第二目标特征确定单元221的功能、映射关系获取单元310的功能、物体类别确定单元320的功能、分割模型获得单元110的功能、分层特征提取单元120的功能、损失函数确定单元111的功能、图像分割模型获得单元112的功能。
在一种实施方式中,所述服务器包括一个或多个处理器503,以及一个或多个存储器505,一个或多个应用程序501,其中所述一个或多个应用程序501被存储在存储器505中并被配置为由所述一个或多个处理器503执行,所述一个或多个应用程序301配置用于执行以上实施例所述的遥感影像分割方法。
本发明实施例提供的一种服务器,可实现上述遥感影像分割方法的实施例,在本申请中采用卷积神经网络提取由浅到深的多尺度特征,还通过跳跃式的方式融合深层、中层和浅层特征,用以获取高级别的语义信息和低级别的几何信息,最后通过上采样实现空间输出,以达到像素级别分割的目的,利用本申请中的卷积神经网络,可以提高遥感影像在云、强光照等干扰因素下的分割精度;本申请实施例提供的一种遥感影像分割方法,包括:获取目标图像,通过深度卷积神经网络不同尺度的各卷积层提取所述目标图像的分层特征;依次基于两不同尺度卷积层提取出的所述分层特征确定所述目标图像的目标特征;依据所述目标特征确定所述目标图像中各物体的物体类别,依据所述物体类别对所述目标图像进行分割。本申请中的目标图像为遥感影像,其包括卫星及航空器拍摄的一类特殊图像,本申请中遥感影像的分割主要通过深度卷积神经网络实现。在本申请提供的实施例中,将所述遥感影像输入深度卷积神经网络中,深度卷积神经网络在获取遥感影像后,对该遥感影像进行卷积,通过卷积提取其在各卷积层和池化层中的分层特征,其中分层特征包括通过不同尺度下各卷积层和池化层之后的特征。由于在神经网络结果中,同一个尺度下,具有一个池化层和一个以上的卷积层。卷积层是对输入的图片进行特征提取,池化层:对输入的特征图进行压缩,一方面使特征图变小,简化网络计算复杂度;一方面进行特征压缩,提取主要特征。在一个卷积层之后,下一个尺度的池化层对上一个尺度卷积层提取出的特征进行采样,池化层对上个上一个尺度卷积层提取出的特征做了下采样,可以得到了更小的同样数量的特征;之后通过该池化层所在尺度下的卷积层卷积,细化经过池化层之后的特征,进而可以得到更准确和/或更多的特征,因此,在后续随着卷积的深入,提取的特征会更能表达出对应的目标物,进而使得深度卷积神经网络能够更为准确的区分遥感影像中的物体类别,如区分出目标物和背景。进一步,结合前述可知,不同尺度下则会提取到不同的特征,进而可以获得分层特征。为了能够使得遥感影像中同一目标物对应的特征更多,对不同尺度下卷积层提取出的所述分层特征进行融合,具体的分层特征详见后文,在此不做赘述。在获得目标特征之后,由于目标特征包括一个目标的底层几何特征、中层纹理特征以及高层语义特征中的一种或者多种,使得该目标的特征较为丰富,则深度卷积神经网络可以综合该目标特征对目标图像中各物体进行准确的分类,之后则依据该分类对遥感影像进行分割,如区分出目标地物和背景,遥感影像分割为将同一类的物体进行采用相同的颜色进行覆盖,不同类的物体覆盖的颜色不同,实现对遥感影像中物体的区分,即是对遥感影像的分割,遥感影像的分割是通过深度卷积神经网络上采样实现空间输出,以通过该方法实现对遥感影像像素级别的分割,同时通过深度卷积神经网络实现本方法的步骤,由于深度卷积神经网络提取由浅到深的多尺度特征,并进行不同尺度的跳跃性融合,进而可以提高遥感影像在云、强光照等干扰因素下的分割精度。
本发明实施例提供的服务器可以实现上述提供的遥感影像分割方法的实施例,具体功能实现请参见方法实施例中的说明,在此不再赘述。
以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种遥感影像分割方法,其特征在于,包括:
获取目标图像,通过深度卷积神经网络不同尺度的各卷积层提取所述目标图像的分层特征;
依次基于两不同尺度卷积层提取出的所述分层特征确定所述目标图像的目标特征;
依据所述目标特征确定所述目标图像中各物体的物体类别,依据所述物体类别对所述目标图像进行分割;
所述依次基于两不同尺度卷积层提取出的所述分层特征确定所述目标图像的目标特征,包括:
依次融合两不同尺度中最后两卷积层提取出的所述分层特征,获得融合特征;
基于所述融合特征确定所述目标图像的所述目标特征;
所述依次融合两不同尺度中最后两卷积层提取出的所述分层特征,获得融合特征,包括:
获取最后一个尺度,获取所述尺度的最后一个卷积层提取出的特征;
对所述特征进行反卷积,得到该尺度相邻且大一尺度的相邻尺度中的还原特征,反卷积层位于所述相邻尺度中,所述还原特征位于反卷积层中;
连接所述反卷积层和与所述相邻尺度位于同一尺度中的用于提取所述分层特征的最后一个所述卷积层,获得卷积联合体;
对所述卷积联合体执行卷积获得所述融合特征,所述卷积联合体和所述反卷积位于同一尺度中;
判断所述相邻尺度是否为所述深度卷积神经网络的第一层,若不是,获取所述相邻尺度的最后一个所述卷积层,继续对所述卷积层提取出的特征进行反卷积的步骤。
2.根据权利要求1所述的遥感影像分割方法,其特征在于,所述基于所述融合特征确定所述目标图像的所述目标特征,包括:
当所述相邻尺度为所述深度卷积神经网络的第一层时,将所述融合特征确定为所述目标特征。
3.根据权利要求1至2任一项所述的遥感影像分割方法,其特征在于,所述目标特征包括语义特征、几何特征、纹理特征中的一种或者多种。
4.根据权利要求1至2任一项所述的遥感影像分割方法,其特征在于,所述依据所述目标特征确定所述目标图像中各物体的物体类别,包括:
获取所述目标特征与物体类别的映射关系;
基于所述映射关系确定所述目标图像中各物体的物体类别。
5.根据权利要求1至2任一项所述的遥感影像分割方法,其特征在于,所述通过深度卷积神经网络不同尺度的各卷积层提取所述目标图像的分层特征,包括:
依据所述目标图像对所述深度卷积神经网络进行训练,获得图像分割模型;
通过所述图像分割模型提取所述目标图像在所述深度卷积神经网络各卷积层中的分层特征。
6.根据权利要求5所述的遥感影像分割方法,其特征在于,所述依据所述目标图像对所述深度卷积神经网络进行训练,获得图像分割模型,包括:
依据所述目标图像对所述深度卷积神经网络进行训练,确定所述深度卷积神经网络的损失函数;
将所述损失函数输入所述深度卷积神经网络,获得所述图像分割模型。
7.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,该程序被处理器执行时实现权利要求1至6任一项所述的遥感影像分割方法。
8.一种服务器,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个应用程序配置用于执行根据权利要求1至6任一项所述的遥感影像分割方法的步骤。
CN201910015344.2A 2019-01-08 2019-01-08 遥感影像分割方法、装置及存储介质、服务器 Active CN109801293B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910015344.2A CN109801293B (zh) 2019-01-08 2019-01-08 遥感影像分割方法、装置及存储介质、服务器
PCT/CN2019/118530 WO2020143323A1 (zh) 2019-01-08 2019-11-14 遥感影像分割方法、装置及存储介质、服务器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910015344.2A CN109801293B (zh) 2019-01-08 2019-01-08 遥感影像分割方法、装置及存储介质、服务器

Publications (2)

Publication Number Publication Date
CN109801293A CN109801293A (zh) 2019-05-24
CN109801293B true CN109801293B (zh) 2023-07-14

Family

ID=66556995

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910015344.2A Active CN109801293B (zh) 2019-01-08 2019-01-08 遥感影像分割方法、装置及存储介质、服务器

Country Status (2)

Country Link
CN (1) CN109801293B (zh)
WO (1) WO2020143323A1 (zh)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109801293B (zh) * 2019-01-08 2023-07-14 平安科技(深圳)有限公司 遥感影像分割方法、装置及存储介质、服务器
CN109859209B (zh) * 2019-01-08 2023-10-17 平安科技(深圳)有限公司 遥感影像分割方法、装置及存储介质、服务器
CN110443813B (zh) * 2019-07-29 2024-02-27 腾讯医疗健康(深圳)有限公司 血管、眼底图像的分割方法、装置、设备及可读存储介质
CN110909195A (zh) * 2019-10-12 2020-03-24 平安科技(深圳)有限公司 基于区块链的图片标注方法、装置及存储介质、服务器
CN110942013A (zh) * 2019-11-22 2020-03-31 佛山科学技术学院 一种基于深度神经网络的卫星影像特征提取方法及系统
CN111047602A (zh) * 2019-11-26 2020-04-21 中国科学院深圳先进技术研究院 图像分割方法、装置及终端设备
CN111091091A (zh) * 2019-12-16 2020-05-01 北京迈格威科技有限公司 目标对象重识别特征的提取方法、装置、设备及存储介质
CN111563439B (zh) * 2020-04-28 2023-08-08 京东科技信息技术有限公司 一种水产生物病害检测方法、装置及设备
CN111798461B (zh) * 2020-06-19 2022-04-01 武汉大学 粗粒度标签引导深度学习的像素级遥感影像云区检测方法
CN111916050A (zh) * 2020-08-03 2020-11-10 北京字节跳动网络技术有限公司 语音合成方法、装置、存储介质和电子设备
CN112084865A (zh) * 2020-08-06 2020-12-15 中国科学院空天信息创新研究院 目标检测方法、装置、电子设备和存储介质
CN111985487B (zh) * 2020-08-31 2024-03-19 香港中文大学(深圳) 一种遥感影像目标提取方法、电子设备及存储介质
CN112017178A (zh) * 2020-09-08 2020-12-01 重庆市地理信息和遥感应用中心 一种基于双时相差值图像法的遥感图像区域变化检测方法
CN112364699A (zh) * 2020-10-14 2021-02-12 珠海欧比特宇航科技股份有限公司 基于加权损失融合网络的遥感图像分割方法、装置及介质
CN112215243A (zh) * 2020-10-30 2021-01-12 百度(中国)有限公司 图像特征提取方法、装置、设备及存储介质
CN112580641A (zh) * 2020-11-23 2021-03-30 上海明略人工智能(集团)有限公司 图像特征的提取方法及装置、存储介质、电子设备
CN112530011A (zh) * 2020-12-10 2021-03-19 北京市生态环境监测中心 一种消纳场环境级别确定方法、装置及设备
CN112800964B (zh) * 2021-01-27 2021-10-22 中国人民解放军战略支援部队信息工程大学 基于多模块融合的遥感影像目标检测方法及系统
CN113139552A (zh) * 2021-04-29 2021-07-20 航天新气象科技有限公司 一种小麦抽穗期识别方法、装置、电子设备及存储介质
CN113222039B (zh) * 2021-05-24 2023-09-05 中国平安财产保险股份有限公司 遥感影像标的查勘模型的训练方法、装置、设备及介质
CN113344871A (zh) * 2021-05-27 2021-09-03 中国农业大学 农业遥感图像分析方法及系统
CN113487483A (zh) * 2021-07-05 2021-10-08 上海商汤智能科技有限公司 影像分割网络的训练方法和装置
CN113673369A (zh) * 2021-07-30 2021-11-19 中国科学院自动化研究所 遥感图像场景规划方法、装置、电子设备和存储介质
CN113554032B (zh) * 2021-09-22 2021-12-14 南京信息工程大学 基于高度感知的多路并行网络的遥感图像分割方法
CN114708513B (zh) * 2022-03-04 2023-12-01 深圳市规划和自然资源数据管理中心 一种顾及角点特征的边缘建筑物提取方法及系统
CN114638767B (zh) * 2022-05-18 2022-08-16 山东师范大学 基于生成对抗网络的腹腔镜影像除烟方法
CN114913330B (zh) * 2022-07-18 2022-12-06 中科视语(北京)科技有限公司 点云部件分割方法、装置、电子设备与存储介质
CN116229272B (zh) * 2023-03-14 2023-10-31 中国人民解放军陆军军事交通学院镇江校区 一种基于代表点表示的高精度遥感图像检测方法及系统
CN116703744A (zh) * 2023-04-18 2023-09-05 二十一世纪空间技术应用股份有限公司 一种基于卷积神经网络的遥感影像匀光匀色方法和装置
CN116863352B (zh) * 2023-09-05 2024-01-02 江西啄木蜂科技有限公司 一种超大幅面遥感影像异常区域检测方法
CN117095299B (zh) * 2023-10-18 2024-01-26 浙江省测绘科学技术研究院 破碎化耕作区的粮食作物提取方法、系统、设备及介质
CN117197878B (zh) * 2023-11-07 2024-03-05 中影年年(北京)科技有限公司 基于机器学习的人物面部表情捕捉方法及系统
CN117253156B (zh) * 2023-11-17 2024-03-29 深圳元戎启行科技有限公司 基于图像分割的特征描述提取方法、装置、终端及介质
CN117876538A (zh) * 2024-03-11 2024-04-12 成都环境工程建设有限公司 一种垃圾发电厂可视化管理方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201617798D0 (en) * 2016-10-21 2016-12-07 Nokia Technologies Oy A method for analysing media content
CN107180430A (zh) * 2017-05-16 2017-09-19 华中科技大学 一种适用于语义分割的深度学习网络构建方法及系统
CN107610141A (zh) * 2017-09-05 2018-01-19 华南理工大学 一种基于深度学习的遥感图像语义分割方法
WO2018036293A1 (zh) * 2016-08-26 2018-03-01 杭州海康威视数字技术股份有限公司 图像分割方法、装置及全卷积网络系统
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108830322A (zh) * 2018-06-15 2018-11-16 联想(北京)有限公司 一种图像处理方法及装置、设备、存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105512661B (zh) * 2015-11-25 2019-02-26 中国人民解放军信息工程大学 一种基于多模态特征融合的遥感影像分类方法
CN106778867B (zh) * 2016-12-15 2020-07-07 北京旷视科技有限公司 目标检测方法和装置、神经网络训练方法和装置
CN108460411B (zh) * 2018-02-09 2021-05-04 北京市商汤科技开发有限公司 实例分割方法和装置、电子设备、程序和介质
CN109801293B (zh) * 2019-01-08 2023-07-14 平安科技(深圳)有限公司 遥感影像分割方法、装置及存储介质、服务器

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018036293A1 (zh) * 2016-08-26 2018-03-01 杭州海康威视数字技术股份有限公司 图像分割方法、装置及全卷积网络系统
GB201617798D0 (en) * 2016-10-21 2016-12-07 Nokia Technologies Oy A method for analysing media content
CN107180430A (zh) * 2017-05-16 2017-09-19 华中科技大学 一种适用于语义分割的深度学习网络构建方法及系统
CN107610141A (zh) * 2017-09-05 2018-01-19 华南理工大学 一种基于深度学习的遥感图像语义分割方法
CN108230329A (zh) * 2017-12-18 2018-06-29 孙颖 基于多尺度卷积神经网络的语义分割方法
CN108830322A (zh) * 2018-06-15 2018-11-16 联想(北京)有限公司 一种图像处理方法及装置、设备、存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度神经网络的遥感目标检测及特征提取;王港 等;无线电工程(第09期);全文 *

Also Published As

Publication number Publication date
WO2020143323A1 (zh) 2020-07-16
CN109801293A (zh) 2019-05-24

Similar Documents

Publication Publication Date Title
CN109801293B (zh) 遥感影像分割方法、装置及存储介质、服务器
CN106909924B (zh) 一种基于深度显著性的遥感影像快速检索方法
CN109859209B (zh) 遥感影像分割方法、装置及存储介质、服务器
US9466013B2 (en) Computer vision as a service
Li et al. Cross-layer attention network for small object detection in remote sensing imagery
CN108304761A (zh) 文本检测方法、装置、存储介质和计算机设备
CN106295613A (zh) 一种无人机目标定位方法及系统
CN112990010B (zh) 点云数据处理方法、装置、计算机设备和存储介质
CN113326851B (zh) 图像特征提取方法、装置、电子设备及存储介质
Hamida et al. Deep learning for semantic segmentation of remote sensing images with rich spectral content
Li et al. Dept: depth estimation by parameter transfer for single still images
Pirotti et al. Detection of building roofs and facades from aerial laser scanning data using deep learning
Wang et al. Cross-domain learning using optimized pseudo labels: toward adaptive car detection in different weather conditions and urban cities
Dong et al. RETRACTED ARTICLE: Research on North Gulf distributed big data submarine 3D terrain computing system based on remote sensing and multi-beam
CN116824413A (zh) 一种基于多尺度空洞卷积的航拍图像目标检测方法
Osei et al. Long term monitoring of Ghana’s forest reserves Using Google Earth Engine
Feng et al. Improved deep fully convolutional network with superpixel-based conditional random fields for building extraction
CN115565072A (zh) 一种道路垃圾识别和定位方法、装置、电子设备及介质
CN109657556A (zh) 道路及其周边地物的分类方法及系统
CN114610938A (zh) 遥感图像检索方法、装置、电子设备和计算机可读介质
CN113762271A (zh) 基于不规则卷积核神经网络模型的sar图像语义分割方法和系统
CN112200845A (zh) 一种图像配准方法和装置
Datcu et al. Deep learning training and benchmarks for earth observation images: Data sets, features, and procedures
CN114973023B (zh) 基于Faster RCNN的高分辨率SAR图像车辆目标关键部位提取方法
CN114693988B (zh) 卫星自主位姿的判定方法、系统及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant