CN110570427A - 一种融合边缘检测的遥感影像语义分割方法及装置 - Google Patents

一种融合边缘检测的遥感影像语义分割方法及装置 Download PDF

Info

Publication number
CN110570427A
CN110570427A CN201910655764.7A CN201910655764A CN110570427A CN 110570427 A CN110570427 A CN 110570427A CN 201910655764 A CN201910655764 A CN 201910655764A CN 110570427 A CN110570427 A CN 110570427A
Authority
CN
China
Prior art keywords
image
edge detection
semantic segmentation
remote sensing
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910655764.7A
Other languages
English (en)
Inventor
王艳杰
杨泽宇
冷伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JIAHE TECHNOLOGY Co Ltd WUHAN
Original Assignee
JIAHE TECHNOLOGY Co Ltd WUHAN
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JIAHE TECHNOLOGY Co Ltd WUHAN filed Critical JIAHE TECHNOLOGY Co Ltd WUHAN
Priority to CN201910655764.7A priority Critical patent/CN110570427A/zh
Publication of CN110570427A publication Critical patent/CN110570427A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20112Image segmentation details
    • G06T2207/20128Atlas-based segmentation

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明提出一种融合边缘检测的遥感影像语义分割方法及装置,所述方法包括:根据高分辨率遥感影像制作训练样本;分别训练HED边缘检测模型和图像语义分割模型;使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测,生成边缘概率图,对所述边缘概率图进行后处理;使用训练好的图像语义分割模型对所述待分割遥感影像进行影像分割;将所述边缘检测后处理的结果与所述影像分割后的图像基于地理位置进行叠加,得到待分割遥感影像的语义分割矢量结果。本发明结合了边缘检测模型,分割对象的边缘更加精确,减少了对语义分割模型的精度依赖,大幅降低大型图像语义分割模型的复杂度,且模型具有可拓展性。

Description

一种融合边缘检测的遥感影像语义分割方法及装置
技术领域
本发明属于测绘遥感/图像处理领域,具体涉及一种融合边缘检测的遥感影像语义分割方法及装置。
背景技术
随着高分辨率遥感卫星资源和数据量的日益增多,遥感获取的地物信息越来越精细,同时也给图像解译技术带来了更大的挑战。遥感图像分割是一种自动化或半自动化的遥感图像解译手段,能将遥感图像像元标记为一个个具有语义概念的对象,目前在遥感图像分析中的应用越来越普遍。常见的遥感商业软件如ENVI、Erdas和PCI等都集成了遥感图像分割算法,同时也存在像易康这样功能强大的专业遥感图像分割平台。遥感图像分割技术经历了基于像元的分割、面向对象分割和基于深度学习的图像分割三个阶段。目前面向对象分割技术仍然是使用较多一种分割手段,但其分割参数调节过于复杂,需要大量的人工干预,且容易出现过分割和欠分割现象。基于深度学习的图像语义分割算法则不需要进行繁琐的参数调节或人工干预,在具有一定数量标记样本的情况下,可以自动寻找图像分割特征并能取得比较理想的分割效果,且分割效率明显高于面向对象的方法,是目前遥感图像分割领域的研究热点。
目前常用的深度遥感图像语义分割算法有FCN、U-Ne和Mask R-CNN等,这些算法在常见的图像数据集中如2012 PASCAL VOC、COCO和Cityscapes等都能取得不错的分割效果。不同于常规图像,遥感图像的复杂性更高,地物类型繁多,表现形式多样化,同一属性的地物在不同空间位置和时间点的情况下也会呈现出不同的特征,这给图像分割算法都带来了很大的挑战。常见的语义分割算法分割不够精细,输出的预测标签比较粗糙,即使一些改进模型不断涌现,并通过数据增强、CRF后处理等方式优化分割结果,仍然难以取得理想的分割效果。其中一个比较明显的问题是分割对象边缘不准确,尤其是相邻的同一属性地物边界经常串联在一起,在很多需要精确确定边缘位置的应用场景中如田块分割、对象计数等会出现明显的偏差。
发明内容
针对现有遥感影像深度语义分割算法分割对象边缘不准确的问题,本发明提出一种融合了边缘检测算法的遥感影像深度语义分割方法及装置,明显提升了分割对象的边缘精度。
本发明第一方面,提出一种融合边缘检测的遥感影像语义分割方法,所述方法包括:
S1、根据高分辨率遥感影像制作用于边缘检测的第一训练样本和用于语义分割的第二训练样本;
S2、通过所述第一训练样本训练HED边缘检测模型,同时通过所述第二训练样本训练图像语义分割模型;
S3、使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测,生成边缘概率图,对所述边缘概率图进行后处理;
S4、使用训练好的图像语义分割模型对所述待分割遥感影像进行影像分割;
S5、将所述边缘检测后处理的结果与所述影像分割后的图像基于地理位置进行叠加,得到待分割遥感影像的语义分割结果。
优选的,所述步骤S1的具体过程为:
S11、绘制每个地物对象的封闭边界并保存为第一多边形矢量格式,用不同的整数值对绘制的每类地物属性进行标记并保存为第二多边形矢量格式;
S12、将所述第一多边形矢量转换为线矢量后栅格化,按照固定的长和高进行采样制作第一训练样本;
S13、将所述第二多边形矢量栅格化,栅格化图像值设置为所述标记地物属性的整数值,按照固定的长和高进行采样制作第二训练样本。
优选的,所述步骤S2中,所述HED边缘检测模型采用Adam优化器,最后一个网络层激活函数选择sigmoid函数,其中代价函数选择加权信息熵,其权重参数设置为背景像素数和边缘像素数的比值;
所述图像语义分割模型通过将HED模型的代价函数修改为交叉信息熵得到,优化器设置为Adam,选择softmax函数为最后一个网络层的激活函数。
优选的,所述步骤S2中,所述HED边缘检测模型和所述图像语义分割模型训练时,学习率根据训练轮数从1×10-3到1×10-8逐渐递减,分别训练两个模型直到各自的代价函数收敛。
优选的,所述步骤S3中,所述对所述边缘概率图进行后处理具体包括:
使用预设阈值对所述边缘概率图进行二值化处理,将二值化后的图像使用骨架提取算法提取成单个像素相互连接的骨架,并将提取后的骨架导出为第三多边形矢量。
优选的,所述步骤S5的具体过程为:
S51、遍历所述第三多边形矢量的每个多边形要素,将所述每个多边形要素和所述语义分割后的图像基于地理位置进行叠加;
S52、提取所述每个多边形要素范围内包含的所有像元值,统计像元值中的众数,并将所述众数值以及所述众数值对应的地物名称标记为该多边形要素属性。
本发明第二方面,提供一种融合边缘检测的遥感影像语义分割装置,所述装置包括:
样本制作模块:用于绘制高分辨率遥感影像的每个地物对象的封闭边界并标记地物属性,制作用于边缘检测的第一训练样本和用于语义分割的第二训练样本;
模型训练模块:用于通过所述第一训练样本训练HED边缘检测模型,同时通过所述第二训练样本训练图像语义分割模型;
边缘检测模块:用于使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测,生成边缘概率图,对所述边缘概率图进行后处理;
影像分割模块:用于使用训练好的图像语义分割模型对所述待分割遥感影像进行影像分割;
图像融合模块:用于将所述边缘检测后处理的结果与所述影像分割后的图像基于地理位置进行叠加,得到待分割遥感影像的语义分割结果。
优选的,所述模型训练模块中,所述HED边缘检测模型采用Adam优化器,最后一个网络层激活函数选择sigmoid函数,其中代价函数选择加权信息熵,所述代价函数的权重参数设置为背景像素数和边缘像素数的比值;
所述图像语义分割模型通过将HED模型的代价函数修改为交叉信息熵得到,优化器设置为Adam,选择softmax函数为最后一个网络层的激活函数。
优选的,所述边缘检测模块中,所述后处理具体包括:
使用预设阈值对所述边缘概率图进行二值化处理,将二值化后的图像使用骨架提取算法提取成单个像素相互连接的骨架,并将提取后的骨架导出为第三多边形矢量。
优选的,所述图像融合模块具体包括:
叠加单元:遍历所述第三多边形矢量的每个多边形要素,将所述每个多边形要素和所述语义分割后的图像基于地理位置进行叠加;
统计单元:提取所述每个多边形要素范围内包含的所有像元值,统计像元值中的众数,并将所述众数值以及所述众数值对应的地物名称标记为该多边形要素属性。
本发明的有益效果是:
1)分割对象边缘准确率高。由于结合了边缘检测模型,分割对象的边缘更加精确,大大减少了一般语义分割模型带来对象边界混淆问题,尤其是对于相邻的同类地物分割效果提升明显,部分分割结果可以媲美人工标记的样本。
2)减少了对语义分割模型的精度依赖。由于融合了边缘检测模型,遥感图像上的地物首先根据边缘信息被划分为一个个对象,然后再根据图像语义分割的结果确定对象的属性,因此即使在图像语义分割模型精度比较差的情况下依然可以获得很好的分割精度。
3)分割效率高。图像语义分割模型为了达到较高的精度往往网络结构复杂,参数数量庞大,由于融合模型减小了对图像语义分割模型精度的依赖,可以大幅降低大型图像语义分割模型的复杂度,明显减少其参数数量,因此可以大幅缩短模型训练和应用的时间,提高图像分割效率。
4)高可拓展性。融合后的模型中,边缘检测模型和图像语义分割模型独立性高,后续可以单独对它们进行优化以提高总体分割精度。另外,也可以将默认的边缘检测或图像语义分割模型替换为其他模型,整个融合模型具有灵活的拓展性。
附图说明
为了更清楚地说明本发明的技术方案,下面将对本发明技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明提供的图像语义分割方法流程示意图;
图2位本发明提供的图像语义分割结果图;
图3为本发明提供的图像语义分割装置结构示意图。
具体实施方式
为使得本发明的发明目的、特征、优点能够更加的明显和易懂,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,下面所描述的实施例仅仅是本发明一部分实施例,而非全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例,都属于本发明保护的范围。
请参阅图1,本发明提出一种融合边缘检测的遥感影像语义分割方法,用标记好地物类型的高分辨率遥感图像制作训练样本,分别训练边缘检测模型和影像分割模型,用边缘检测模型对待分割遥感图像进行边缘检测和后处理,用图像语义分割并对同一待分割遥感图像进行分割,最后将边缘检测后处理结果和图像语义分割结果进行融合,得到了边缘更加准确的图像语义分割结果。所述方法具体包括如下步骤:
S1、根据高分辨率遥感影像制作用于边缘检测的第一训练样本和用于语义分割的第二训练样本;
进一步的,所述步骤S1的具体过程为:
S11、绘制每个地物对象的封闭边界并保存为第一多边形矢量格式,用不同的整数值对绘制的每类地物属性进行标记并保存为第二多边形矢量格式;
S12、将所述第一多边形矢量转换为线矢量后栅格化,按照固定的长和高进行采样制作第一训练样本;
S13、将所述第二多边形矢量栅格化,栅格化图像值设置为所述标记地物属性的整数值,按照固定的长和高进行采样制作第二训练样本。
具体的,可以在常见的GIS软件内如ArcGIS或QGIS内进行勾绘,绘制的边界应尽可能贴近地物的真实边缘,将结果保存为矢量格式,然后将矢量格式的数据栅格化,按照固定的尺寸进行采样制作训练样本。可将训练样本尺寸设置为1024×1024,长和高的大小应根据实际的显卡显存大小确定,偏大的宽高值会可能出现显存不足的问题。
S2、通过所述第一训练样本训练HED边缘检测模型,同时通过所述第二训练样本训练图像语义分割模型;
进一步的,所述HED边缘检测模型采用Adam优化器,最后一个网络层激活函数选择sigmoid函数,其中代价函数选择加权信息熵,其权重参数设置为背景像素数和边缘像素数的比值;所述图像语义分割模型通过将HED模型的代价函数修改为交叉信息熵得到,即:将HED模型的代价函数修改为交叉信息熵函数,得到本发明所述图像语义分割模型。所述图像语义分割模型的优化器设置为Adam,选择softmax函数为最后一个网络层的激活函数;所述HED边缘检测模型和所述图像语义分割模型训练时,学习率根据训练轮数从1×10-3到1×10-8逐渐递减,分别训练两个模型直到各自的代价函数收敛到一个稳定的较小值。
具体的,首先设置训练超参数,然后训练HED边缘检测模型。HED(Holistically-Nested Edge Detection,整体嵌套边缘检测算法)模型是一种高精度的深度边缘检测网络,该网络通过在VGG 16模型每个卷积层加上side layer反卷积层,共5个采样层,并将这些反卷积层串联到一起进行卷积操作生成边缘概率图。该模型具有边缘检测精度高和速度快的特点。在HED模型的基础上,融合HED深度边缘检测模型可以在很大程度上克服图像语义分割模型的在高分辨率图像分割时边缘精度差的缺陷,使分割结果同时具有较高的边缘和标签精度。
S3、使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测,生成边缘概率图,对所述边缘概率图进行后处理;
具体的,由于高分辨率影像一般尺寸很大,对待分割遥感影像进行边缘检测前应将图像分块,避免将整个图像输入进模型产生显存不足的错误,将分块后的图像块输入HED边缘检测模型,然后将分块边缘检测结果拼接即形成了一个完整的边缘概率图,每个像元值表示该位置是边缘的概率,值越大,表明是边缘的概率越高。
进一步的,所述对所述边缘概率图进行后处理具体包括:使用预设阈值对所述边缘概率图进行二值化处理,阈值不应设置偏大,否则会丢失一部分图像边缘细节,建议设置为0.4。将二值化后的图像使用骨架提取算法提取成单个像素相互连接的骨架,并将提取后的骨架导出为第三多边形矢量,其中矢量内的每个多边形要素则代表一个图像对象。
至此,步骤S3已完成图像边缘检测和对象划分,接下来步骤S4、S5将完成图像语义分割和对象属性标记。
S4、使用训练好的图像语义分割模型对所述待分割遥感影像进行影像分割;
使用训练后的语义分割模型对同一张遥感图像进行分割,语义分割后的图像每个像元都具有一个整型值,代表其地物属性。
S5、将所述边缘检测后处理的结果与所述影像分割后的图像基于地理位置进行叠加,得到待分割遥感影像的语义分割结果。
进一步的,所述步骤S5的具体过程为:
S51、遍历所述第三多边形矢量的每个多边形要素,将所述每个多边形要素和所述语义分割后的图像基于地理位置进行叠加;
S52、提取所述每个多边形要素范围内包含的所有像元值,统计像元值中的众数,并将所述众数值以及所述众数值对应的地物名称标记为该多边形要素属性。
具体的,由于所述第三多边形矢量的每个多边形要素代表一个图像对象,而语义分割后的图像每个像元都具有一个整型值,代表其地物属性;将每个多边形要素和所述语义分割后的图像基于地理位置进行叠加,统计每个多边形内各类地物的像元数,将多边形属性标记为像元数最多的类,即可得到分割后每个图形对象的属性标记,以此得到完整的待分割遥感影像的语义分割结果。
请参阅2,图2为使用本发明所述方法对一张高分辨率遥感影像的语义分割结果,该图像为矢量格式,由图2可知,图中相邻地物的边界被明显地分割出来,地物属性明确,边界清晰,具有较好的语义分割效果。
请参阅图3,本发明提出一种融合边缘检测的遥感影像语义分割装置,所述装置包括:
样本制作模块310:用于绘制高分辨率遥感影像的每个地物对象的封闭边界并标记地物属性,制作用于边缘检测的第一训练样本和用于语义分割的第二训练样本;
模型训练模块320:用于通过所述第一训练样本训练HED边缘检测模型,同时通过所述第二训练样本训练图像语义分割模型;
边缘检测模块330:用于使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测,生成边缘概率图,对所述边缘概率图进行后处理;
影像分割模块340:用于使用训练好的图像语义分割模型对所述待分割遥感影像进行影像分割;
图像融合模块350:用于将所述边缘检测后处理的结果与所述影像分割后的图像基于地理位置进行叠加,得到待分割遥感影像的语义分割结果。
进一步的,所述模型训练模块320中,所述HED边缘检测模型采用Adam优化器,最后一个网络层激活函数选择sigmoid函数,其中代价函数选择加权信息熵,所述代价函数的权重参数设置为背景像素数和边缘像素数的比值;
所述图像语义分割模型通过将HED模型的代价函数修改为交叉信息熵得到,优化器设置为Adam,选择softmax函数为最后一个网络层的激活函数。
进一步的,所述边缘检测模块330中,所述后处理具体包括:
使用预设阈值对所述边缘概率图进行二值化处理,将二值化后的图像使用骨架提取算法提取成单个像素相互连接的骨架,并将提取后的骨架导出为第三多边形矢量。
进一步的,所述图像融合模块具体包括:
叠加单元:遍历所述第三多边形矢量的每个多边形要素,将所述每个多边形要素和所述语义分割后的图像基于地理位置进行叠加;
统计单元:提取所述每个多边形要素范围内包含的所有像元值,统计像元值中的众数,并将所述众数值以及所述众数值对应的地物名称标记为该多边形要素属性。
本发明提出一种融合边缘检测的遥感影像语义分割方法及装置,由于结合了边缘检测模型,分割对象的边缘更加精确,减少了对语义分割模型的精度依赖,大幅降低大型图像语义分割模型的复杂度,且模型具有可拓展性。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统,装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,RandomAccess Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读介质不包括电载波信号和电信信号。
以上所述,以上实施例仅用以说明本发明的技术方案,而非对其限制,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种融合边缘检测的遥感影像语义分割方法,其特征在于,所述方法包括:
S1、根据高分辨率遥感影像制作用于边缘检测的第一训练样本和用于语义分割的第二训练样本;
S2、通过所述第一训练样本训练HED边缘检测模型,同时通过所述第二训练样本训练图像语义分割模型;
S3、使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测,生成边缘概率图,对所述边缘概率图进行后处理;
S4、使用训练好的图像语义分割模型对所述待分割遥感影像进行影像分割;
S5、将所述边缘检测后处理的结果与所述影像分割后的图像基于地理位置进行叠加,得到待分割遥感影像的语义分割矢量结果。
2.根据权利要求1所述融合边缘检测的遥感影像语义分割方法,其特征在于,所述步骤S1的具体过程为:
S11、绘制每个地物对象的封闭边界并保存为第一多边形矢量格式,用不同的整数值对绘制的每类地物属性进行标记并保存为第二多边形矢量格式;
S12、将所述第一多边形矢量转换为线矢量后栅格化,按照固定的长和高进行采样制作第一训练样本;
S13、将所述第二多边形矢量栅格化,栅格化图像值设置为所述标记地物属性的整数值,按照固定的长和高进行采样制作第二训练样本。
3.根据权利要求2所述融合边缘检测的遥感影像语义分割方法,其特征在于,所述步骤S2中,所述HED边缘检测模型采用Adam优化器,最后一个网络层激活函数选择sigmoid函数,其中代价函数选择加权信息熵,其权重参数设置为背景像素数和边缘像素数的比值;
所述图像语义分割模型通过将HED模型的代价函数修改为交叉信息熵得到,优化器设置为Adam,选择softmax函数为最后一个网络层的激活函数。
4.根据权利要求3所述融合边缘检测的遥感影像语义分割方法,其特征在于,所述步骤S2中,所述HED边缘检测模型和所述图像语义分割模型训练时,学习率根据训练轮数从1×10-3到1×10-8逐渐递减,分别训练两个模型直到各自的代价函数收敛。
5.根据权利要求1所述融合边缘检测的遥感影像语义分割方法,其特征在于,所述步骤S3中,所述对所述边缘概率图进行后处理具体包括:
使用预设阈值对所述边缘概率图进行二值化处理,将二值化后的图像使用骨架提取算法提取成单个像素相互连接的骨架,并将提取后的骨架导出为第三多边形矢量。
6.根据权利要求4所述融合边缘检测的遥感影像语义分割方法,其特征在于,所述步骤S5的具体过程为:
S51、遍历所述第三多边形矢量的每个多边形要素,将所述每个多边形要素和所述语义分割后的图像基于地理位置进行叠加;
S52、提取所述每个多边形要素范围内包含的所有像元值,统计像元值中的众数,并将所述众数值以及所述众数值对应的地物名称标记为该多边形要素属性。
7.一种融合边缘检测的遥感影像语义分割装置,其特征在于,所述装置包括:
样本制作模块:用于绘制高分辨率遥感影像的每个地物对象的封闭边界并标记地物属性,制作用于边缘检测的第一训练样本和用于语义分割的第二训练样本;
明细训练模块:用于通过所述第一训练样本训练HED边缘检测模型,同时通过所述第二训练样本训练图像语义分割模型;
边缘检测模块:用于使用训练好的HED边缘检测模型对待分割遥感影像进行边缘检测,生成边缘概率图,对所述边缘概率图进行后处理;
影像分割模块:用于使用训练好的图像语义分割模型对所述待分割遥感影像进行影像分割;
图像融合模块:用于将所述边缘检测后处理的结果与所述影像分割后的图像基于地理位置进行叠加,得到待分割遥感影像的语义分割矢量结果。
8.根据权利要求7所述融合边缘检测的遥感影像语义分割装置,其特征在于,所述训练模块中,所述HED边缘检测模型采用Adam优化器,最后一个网络层激活函数选择sigmoid函数,其中代价函数选择加权信息熵,所述代价函数的权重参数设置为背景像素数和边缘像素数的比值;
所述图像语义分割模型通过将HED模型的代价函数修改为交叉信息熵得到,优化器设置为Adam,选择softmax函数为最后一个网络层的激活函数。
9.根据权利要求7所述融合边缘检测的遥感影像语义分割装置,其特征在于,所述检测模块中,所述后处理具体包括:
使用预设阈值对所述边缘概率图进行二值化处理,将二值化后的图像使用骨架提取算法提取成单个像素相互连接的骨架,并将提取后的骨架导出为第二多边形矢量。
10.根据权利要求7所述融合边缘检测的遥感影像语义分割装置,其特征在于,所述融合模块具体包括:
叠加单元:遍历所述第二多边形矢量的每个多边形要素,将所述每个多边形要素和所述语义分割后的图像基于地理位置进行叠加;
统计单元:提取所述每个多边形要素范围内包含的所有像元值,统计像元值中的众数,并将所述众数值以及所述众数值对应的地物名称标记为该多边形要素属性。
CN201910655764.7A 2019-07-19 2019-07-19 一种融合边缘检测的遥感影像语义分割方法及装置 Pending CN110570427A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910655764.7A CN110570427A (zh) 2019-07-19 2019-07-19 一种融合边缘检测的遥感影像语义分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910655764.7A CN110570427A (zh) 2019-07-19 2019-07-19 一种融合边缘检测的遥感影像语义分割方法及装置

Publications (1)

Publication Number Publication Date
CN110570427A true CN110570427A (zh) 2019-12-13

Family

ID=68773174

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910655764.7A Pending CN110570427A (zh) 2019-07-19 2019-07-19 一种融合边缘检测的遥感影像语义分割方法及装置

Country Status (1)

Country Link
CN (1) CN110570427A (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259905A (zh) * 2020-01-17 2020-06-09 山西大学 一种基于下采样的特征融合遥感图像语义分割方法
CN111860208A (zh) * 2020-06-29 2020-10-30 中山大学 基于超像素的遥感影像地物分类方法、系统、装置及介质
CN111931782A (zh) * 2020-08-12 2020-11-13 中国科学院上海微系统与信息技术研究所 语义分割方法、系统、介质及装置
CN112000099A (zh) * 2020-08-26 2020-11-27 大连理工大学 动态环境下协作机器人柔性路径规划方法
CN112084872A (zh) * 2020-08-10 2020-12-15 浙江工业大学 一种融合语义分割与边缘的高分遥感目标精准检测方法
CN112884764A (zh) * 2021-03-24 2021-06-01 深圳前海微众银行股份有限公司 提取图像中地块的方法、装置、电子设备及存储介质
CN115861297A (zh) * 2023-02-14 2023-03-28 联禾印享文化科技(南京)有限公司 基于深度学习的印版网点图像检测和分割方法及装置
CN116630790A (zh) * 2023-03-17 2023-08-22 安徽理工大学 一种基于边缘精度评价的分类结果优化方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745453A (zh) * 2013-12-11 2014-04-23 河海大学 基于Google Earth遥感影像的城镇信息提取方法
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
CN107358803A (zh) * 2017-08-22 2017-11-17 哈尔滨理工大学 一种交通信号控制系统及其控制方法
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN108376232A (zh) * 2018-01-04 2018-08-07 北京星衡科技有限公司 一种用于遥感影像的自动解译的方法与装置
CN109389585A (zh) * 2018-09-20 2019-02-26 东南大学 一种基于全卷积神经网络的脑组织提取方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103745453A (zh) * 2013-12-11 2014-04-23 河海大学 基于Google Earth遥感影像的城镇信息提取方法
EP3171297A1 (en) * 2015-11-18 2017-05-24 CentraleSupélec Joint boundary detection image segmentation and object recognition using deep learning
US20180129912A1 (en) * 2016-11-07 2018-05-10 Nec Laboratories America, Inc. System and Method for Learning Random-Walk Label Propagation for Weakly-Supervised Semantic Segmentation
CN107358803A (zh) * 2017-08-22 2017-11-17 哈尔滨理工大学 一种交通信号控制系统及其控制方法
CN108376232A (zh) * 2018-01-04 2018-08-07 北京星衡科技有限公司 一种用于遥感影像的自动解译的方法与装置
CN109389585A (zh) * 2018-09-20 2019-02-26 东南大学 一种基于全卷积神经网络的脑组织提取方法

Non-Patent Citations (7)

* Cited by examiner, † Cited by third party
Title
DONGCAI CHENG ET AL.: "FusionNet: Edge Aware Deep Convolutional Networks for Semantic Segmentation of Remote Sensing Harbor Images", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》 *
DONGCAI CHENG ET AL.: "FusionNet: Edge Aware Deep Convolutional Networks for Semantic Segmentation of Remote Sensing Harbor Images", 《IEEE JOURNAL OF SELECTED TOPICS IN APPLIED EARTH OBSERVATIONS AND REMOTE SENSING》, vol. 10, no. 12, 20 September 2017 (2017-09-20), pages 5769 - 5783, XP011674695, DOI: 10.1109/JSTARS.2017.2747599 *
LIEGANG XIA ET AL.: "Deep Extraction of Cropland Parcels from Very High-Resolution Remotely Sensed Imagery", 《2018 7TH INTERNATIONAL CONFERENCE ON AGRO-GEOINFORMATICS (AGRO-GEOINFORMATICS)》 *
LIEGANG XIA ET AL.: "Deep Extraction of Cropland Parcels from Very High-Resolution Remotely Sensed Imagery", 《2018 7TH INTERNATIONAL CONFERENCE ON AGRO-GEOINFORMATICS (AGRO-GEOINFORMATICS)》, 30 September 2018 (2018-09-30), pages 1 - 5 *
杨嘉树: "顾及区域信息的卷积神经网络影像分类方法研究", 《中国优秀硕士学位论文全文数据库 信息科技辑》, no. 08, 15 August 2018 (2018-08-15), pages 140 - 39 *
熊春宝 等编著: "《地球科学大辞典 应用学科卷》", 天津:天津大学出版社, pages: 841 - 842 *
熊春宝 等编著: "《地理信息系统原理与工程应用》", 天津:天津大学出版社 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111259905A (zh) * 2020-01-17 2020-06-09 山西大学 一种基于下采样的特征融合遥感图像语义分割方法
CN111259905B (zh) * 2020-01-17 2022-05-31 山西大学 一种基于下采样的特征融合遥感图像语义分割方法
CN111860208A (zh) * 2020-06-29 2020-10-30 中山大学 基于超像素的遥感影像地物分类方法、系统、装置及介质
CN111860208B (zh) * 2020-06-29 2023-10-24 中山大学 基于超像素的遥感影像地物分类方法、系统、装置及介质
CN112084872A (zh) * 2020-08-10 2020-12-15 浙江工业大学 一种融合语义分割与边缘的高分遥感目标精准检测方法
CN111931782A (zh) * 2020-08-12 2020-11-13 中国科学院上海微系统与信息技术研究所 语义分割方法、系统、介质及装置
CN111931782B (zh) * 2020-08-12 2024-03-01 中国科学院上海微系统与信息技术研究所 语义分割方法、系统、介质及装置
CN112000099A (zh) * 2020-08-26 2020-11-27 大连理工大学 动态环境下协作机器人柔性路径规划方法
CN112884764A (zh) * 2021-03-24 2021-06-01 深圳前海微众银行股份有限公司 提取图像中地块的方法、装置、电子设备及存储介质
CN115861297A (zh) * 2023-02-14 2023-03-28 联禾印享文化科技(南京)有限公司 基于深度学习的印版网点图像检测和分割方法及装置
CN116630790A (zh) * 2023-03-17 2023-08-22 安徽理工大学 一种基于边缘精度评价的分类结果优化方法
CN116630790B (zh) * 2023-03-17 2024-05-24 安徽理工大学 一种基于边缘精度评价的分类结果优化方法

Similar Documents

Publication Publication Date Title
CN110570427A (zh) 一种融合边缘检测的遥感影像语义分割方法及装置
US11151723B2 (en) Image segmentation method, apparatus, and fully convolutional network system
CN111428781A (zh) 遥感影像地物分类方法及系统
CN111145209B (zh) 一种医学图像分割方法、装置、设备及存储介质
CN110570440A (zh) 一种基于深度学习边缘检测的图像自动分割方法及装置
CN111986099A (zh) 基于融合残差修正的卷积神经网络的耕地监测方法及系统
CN106548169B (zh) 基于深度神经网络的模糊文字增强方法及装置
CN105528614B (zh) 一种漫画图像版面的识别方法和自动识别系统
CN104091341A (zh) 一种基于显著性检测的图像模糊检测方法
CN107506792B (zh) 一种半监督的显著对象检测方法
CN110992366B (zh) 一种图像语义分割方法、装置及存储介质
CN112989995B (zh) 文本检测方法、装置及电子设备
CN110176005B (zh) 基于归一化指数和多尺度模型的遥感图像分割方法
CN114241326B (zh) 一种渐进式遥感影像地物要素智能生产方法及系统
CN108898092A (zh) 基于全卷积神经网络的多光谱遥感影像路网提取方法
CN113160239B (zh) 一种违法用地检测方法及装置
CN113609984A (zh) 一种指针式仪表读数识别方法、装置及电子设备
CN114399686A (zh) 一种基于弱监督学习的遥感图像地物识别与分类方法和装置
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
CN112651989A (zh) 基于Mask RCNN实例分割的SEM图像分子筛粒径统计方法和系统
CN111738310B (zh) 物料分类方法、装置、电子设备和存储介质
CN116612357B (zh) 一种无监督rgbd多模态数据集的构建方法、系统和存储介质
CN111079807A (zh) 一种地物分类方法及装置
CN110796716A (zh) 一种基于多重残差网络和正则化迁移学习的图像着色方法
CN112699861B (zh) 一种基于神经网络热点图的自然场景票据矫正方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20191213

RJ01 Rejection of invention patent application after publication