CN110992366B - 一种图像语义分割方法、装置及存储介质 - Google Patents

一种图像语义分割方法、装置及存储介质 Download PDF

Info

Publication number
CN110992366B
CN110992366B CN201911197414.7A CN201911197414A CN110992366B CN 110992366 B CN110992366 B CN 110992366B CN 201911197414 A CN201911197414 A CN 201911197414A CN 110992366 B CN110992366 B CN 110992366B
Authority
CN
China
Prior art keywords
image
segmentation
super
pixel
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201911197414.7A
Other languages
English (en)
Other versions
CN110992366A (zh
Inventor
贺广均
王进
石慧峰
冯鹏铭
马爱利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Institute of Satellite Information Engineering
Original Assignee
Beijing Institute of Satellite Information Engineering
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Institute of Satellite Information Engineering filed Critical Beijing Institute of Satellite Information Engineering
Priority to CN201911197414.7A priority Critical patent/CN110992366B/zh
Publication of CN110992366A publication Critical patent/CN110992366A/zh
Application granted granted Critical
Publication of CN110992366B publication Critical patent/CN110992366B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20156—Automatic seed setting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

本发明实施例公开了一种图像语义分割方法、装置及存储介质；其中，所述方法包括：获取至少一幅图像；对所述至少一幅图像进行超像素分割，得到对应的超像素分割图；根据所述超像素分割图构建重组层，利用所述重组层生成目标分割模型；基于所述目标分割模型对所述图像及所述超像素分割图像进行处理，得到语义分割结果。

Description

一种图像语义分割方法、装置及存储介质
技术领域
本发明涉及图像处理技术领域，尤其涉及一种图像语义分割方法、装置及存储介质。
背景技术
遥感图像具有巨大经济效益和军事价值，目前已经成为国防安全、经济建设和社会公众信息服务等方面重要的空间信息源，具有广阔的应用前景。然而，目前大多采用手工勾绘的人工方式或人机交互的半自动方式对遥感图像进行分割，进而实现对遥感图像的空间信息提取。这种方式时效性差，自动化程度低，因而严重制约了遥感数据的应用水平。
发明内容
有鉴于此，本发明实施例期望提供一种图像语义分割方法、装置及存储介质，能够对图像进行精确分割。
为达到上述目的，本发明的技术方案是这样实现的：
本发明实施例提供一种图像语义分割方法，所述方法包括：
获取至少一幅图像；
对所述至少一幅图像进行超像素分割，得到对应的超像素分割图；
根据所述超像素分割图构建重组层，利用所述重组层生成目标分割模型；
基于所述目标分割模型对所述图像及所述超像素分割图像进行处理，得到语义分割结果。
在上述方案中，所述根据所述超像素分割图构建重组层，包括：
对所述超像素分割图进行编码，得到超像素编码图；
基于设定规则对所述超像素分割图和所述超像素编码图进行处理，构建重组层。
在上述方案中，所述利用所述重组层生成目标分割模型，包括：
基于神经网络模型和所述重组层，构建初始分割模型；
基于所述超像素分割图，生成图像数据集；
提取所述图像数据集中的部分数据对所述初始分割模型进行训练，得到目标分割模型。
在上述方案中，所述基于神经网络模型和所述重组层，构建初始分割模型，包括：
基于所述至少一幅图像的特征，确定待选取的神经网络模型；
在所述神经网络模型的卷积层和输入层之间插入所述重组层，得到初始分割模型。
在上述方案中，所述基于所述超像素分割图，生成图像数据集，包括：
对所述超像素分割图进行标注，生成标注图像；
基于所述图像、所述超像素分割图以及所述标注图像，生成图像数据集。
在上述方案中，所述基于所述图像、所述超像素分割图以及所述标注图像，生成图像数据集，包括：
按照设定的比例对所述图像、所述超像素分割图以及所述标注图像进行划分，得到初始图像数据集；
对所述初始图像数据集进行预处理，得到所述图像数据集。
在上述方案中，所述基于所述目标分割模型对所述图像及所述超像素分割图像进行处理，得到语义分割结果，包括：
对所述图像和所述超像素分割图进行图像通道的叠合，得到融合图像；
基于所述目标分割模型对所述融合图像进行处理，得到语义分割结果。
本发明实施例提供一种图像语义分割装置，所述装置包括：
获取单元，用于获取至少一幅图像；
分割单元，用于对所述至少一幅图像进行超像素分割，得到对应的超像素分割图；
模型构建单元，用于根据所述超像素分割图构建重组层，利用所述重组层生成目标分割模型；
处理单元，用于基于所述目标分割模型对所述图像及所述超像素分割图像进行处理，得到语义分割结果。
本发明实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述方法的步骤。
本发明实施例提供一种图像分割装置，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行上述任一项所述方法的步骤。
本发明实施例所提供的图像语义分割方法、装置及存储介质，通过对获取的图像进行分割，得到对应的超像素分割图，进而利用所述超像素分割图来构建一种重组层，通过所述重组层来生成目标分割模型；由于引入了所述重组层，使得所述目标分割模型相比于现有的分割模型能够更为准确地对不同对象的边界进行分割。除此之外，为了更一步地提高分割地精度，将所述图像及超像素分割图一起作为所述目标分割模型的输入；如此由于处理的不仅是单幅图像，在确保分割精度的基础上，也进一步确保了图像细节的不丢失，对提高图像的分割精度和实际应用效能具有重要意义。
附图说明
图1为本发明实施例提供的一种图像语义分割方法的流程示意图一；
图2为本发明实施例中遥感图像的示意图；
图3为本发明实施例中的通过分割算法得到的超像素分割图的示意图；
图4为本发明实施例提供的图像语义分割方法中分割模型的结构示意图；
图5为本发明实施例提供的图像语义分割方法对遥感图像进行分割后的结果示意图；
图6为通过现有的神经网络模型对遥感图像进行分割后的结果示意图；
图7为本发明实施例提供的一种图像语义分割方法的流程示意图二；
图8为本发明实施例提供的一种图像分割装置的结构示意图；
图9为本发明实施例提供的一种图像分割装置的具体硬件结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。
基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
相关技术中，为了从高分辨率遥感图像中获取空间信息，常用的手段是面向对象分析。所述面向对象分析的基本技术框架是先通过对遥感图像进行分割获得图像对象，进而对所述图像对象进行分类或识别得到地理对象的类型。这里，基于所述图像对象可以获得地物的准确边界，还可以为后续的对象分析提供丰富的特征。但是，如果仅基于图像的特征进行遥感图像的分割是难以充分应对高分辨率的遥感图像中不同地物之间的高异质性；且图像分割产生的误差会直接传播到后续的对象分析和分类环节，会给带来较大的不确定性。
如此，为了避免仅基于图像的特征进行遥感图像的分割，相关技术中提出了一些基于深度神经网络的语义分割方法，然而在实际应用中，所述基于深度神经网络的语义分割方法仍然面临一些难点。例如，地物异质性强：高分辨率遥感图像中地物类型复杂，地物内部的异质性非常强，一方面加剧了对标记数据的高要求，另一方面对于深度神经网络模型的通用性和有效性提出了较高的要求。并且，语义与细节的处理之间存在矛盾：深度神经网络的卷积、池化等结构不可避免带来细节的损失，造成高精度语义信息与高精度细节信息之间的矛盾。特别是在高分辨率遥感制图应用中，对地物的准确的位置、边界等信息有更高地要求，导致进一步加剧了高精度语义信息与高精度细节信息之间的矛盾。
基于此，为了实现对图像的精确分割，减少图像细节的丢失，本发明实施例提供一种图像语义分割方法，图1为本发明实施例提供的一种图像语义分割方法的流程示意图，如图1所示，所述方法包括：
步骤101，获取至少一幅图像；
步骤102，对所述至少一幅图像进行超像素分割，得到对应的超像素分割图；
步骤103，根据所述超像素分割图构建重组层，利用所述重组层生成目标分割模型；
步骤104，基于所述目标分割模型对所述图像及所述超像素分割图像进行处理，得到语义分割结果。
需要说明的是，图像语义分割是对图像中每一个像素点进行分类来确定每个点的类别(如属于背景、人或车等)，从而进行区域划分，是一种像素级别的分割。所述图像语义分割方法可以应用于任意一种具备数据处理功能的电子设备，所述电子设备可以是智能手机、笔记本、平板电脑以及后台服务器等，本发明实施例对所述电子设备的类型不作限制。
所述至少一幅图像可以是人物照片、医用图像(如脑电图或心电图等)、影视画面或者遥感图像等。由于遥感图像是从高空对地物进行拍摄获取的图像，使得遥感图像相较于其他图像具有分辨率低、波段多、范围广以及数据量大等特点，如此对遥感图像的处理更为复杂。基于此，本发明实施例以遥感图像为例进行本发明实施例的图像语义分割方法的具体说明。图2为本发明实施例中遥感图像的示意图，如图2所示，所述遥感图像为高空对地物进行拍摄所获取的图像，在该图像中可以看到道路、房屋、农田以及裸土等。
实际应用中，对遥感图像的分割具体是对地物进行分割，所述地物是指地面和物体，所述物体可以是地面上的建筑物或者河流等。如此，所述遥感图像可以是城市或城郊的遥感图像。
需要说明的是，所述遥感图像可以是从一些遥感数据共享网站中下载得到，还可以是订购国外商业卫星数据，也可以是其他的合法形式。本发明实施例对所述遥感图像的获取形式不作限制。在得到遥感图像后将所述遥感图像输入电子设备中，基于电子设备的数据处理功能对所述遥感图像进行后续的处理。
还需要说明的是，考虑到对图像的自动化处理的便利程度，在本发明实施例中可以将获取的遥感图像处理成同样的设定尺寸。例如，将遥感图像的尺寸都设置为1024*1024或者512*512等。
这里，上述步骤102中对所述至少一幅图像进行分割处理，得到对应的超像素分割图可以通过分割算法实现。所述分割算法可以是：简单的线性迭代聚类(Simple LinearIterative Clustering，SLIC)算法、均值漂移(Mean Shift，MS)算法等。在本发明实施例中，以SLIC算法为例进行上述步骤102中分割处理的说明。
所述SLIC算法是一种将彩色图像转化为CIELab(CIE lab value)颜色空间和XY坐标下的5维特征向量，然后对5维特征向量构造距离度量标准，对图像像素进行局部聚类的算法；其中，所述CIELab是国际照明委员会(CIE)公布的一种色彩模式。SLIC算法能生成紧凑、近似均匀的超像素，在运算速度，物体轮廓保持、超像素形状方面具有较高的综合评价，可以达到期望的分割效果。因此，所述SLIC算法也称之为超像素分割算法。
需要说明的是，这里的超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成的有一定视觉意义的不规则像素块。由于利用像素之间特征的相似性将像素分组，用少量的超像素代替大量的像素来表达图片特征是可以在很大程度上降低图像处理的复杂度。如此，本发明实施例中通过SLIC算法对图像进行基于超像素分割的预处理，得到超像素分割图，进而在所述超像素分割图的基础上执行后续的处理。
所述SLIC算法的实现步骤如下：
步骤a，初始化种子点(聚类中心)。
需要说明的是，初始化种子点可以按照设定的超像素个数，在图像内均匀的分配种子点。假设图片总共有N个像素点，预分割为K个相同尺寸的超像素，那么每个超像素的大小为N/K，则相邻种子点的距离(步长)近似为S＝sqtr(N/K)。
步骤b，在种子点的n*n邻域内重新选择种子点(一般取n＝3)。
需要说明的是，在具体实现中，可以计算所述邻域内所有像素点的梯度值，将种子点移到该邻域内梯度最小的地方来选择种子点。如此可以避免种子点落在梯度较大的轮廓边界上，以免影响后续聚类效果。
步骤c，在每个种子点周围的邻域内为每个像素点分配类标签(即每个像素点属于哪个聚类中心)。
需要说明的是，所述SLIC算法中将搜索范围限制为2S*2S，如此设置可以加速算法收敛。这里，期望的超像素尺寸为S*S，但是搜索的范围是2S*2S。
步骤d，距离度量。
需要说明的是，所述距离包括颜色距离和空间距离。对于每个搜索到的像素点，分别计算它和该种子点的距离。所述距离的计算方法如下：
Figure BDA0002295016250000071
Figure BDA0002295016250000072
Figure BDA0002295016250000073
其中，所述dc为像素点间的颜色距离，ds为像素点间的空间距离，Ns为每一类中最大的空间距离，其中，所述Ns＝S＝sqtr(N/K)。Nc为每一类中最大的颜色距离。由于Nc既随图片不同而不同，也随聚类不同而不同，这里取一个固定常数m来代替Nc，所述m的取值范围为[1,40]，D'为像素点间的距离。如此，所述D'还可以表示为：
Figure BDA0002295016250000074
由于每个像素点都会被多个种子点搜索到，所以每个像素点都会有一个与周围种子点的距离，取最小的距离D'对应的种子点作为该像素点的聚类中心。
步骤e，迭代优化。
需要说明的是，理论上上述步骤不断迭代直到误差收敛，但实践中发现迭代到一定的次数绝大部分图片都可以得到较理想效果，所以可以取达到理想效果对应的迭代次数作为迭代次数。例如，本发明实施例通过实验发现10次迭代后绝大部分图片都可以得到较理想效果，所以所述迭代次数可以取10。
步骤f，增强连通性。
需要说明的是，经过上述迭代优化可能出现以下瑕疵：出现多连通情况、超像素尺寸过小，单个超像素被切割成多个不连续超像素等，这些情况可以通过增强连通性解决。例如，新建一张标记表，表内元素均为-1，按照“Z”型走向将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素，遍历过的像素点分配给相应的标签，直到所有点遍历完毕为止。
这里，取K＝200，m＝10，最小超像素块合并尺度为1.2，来对每张遥感图像进行超像素分割，由此得到超像素分割图。图3为本发明实施例中的通过分割算法得到的超像素分割图的示意图，如图3所示，所述超像素分割图中具有相似纹理、颜色、亮度等特征的相邻像素构成了不规则像素块，由此通过相似性将遥感图像进行了超像素分割，得到了超像素分割图。
需要说明的是，为了更精确地实现分割，本发明实施例设计了一种重组层，所述重组层是以超像素分割图对应的超像素作为计算单元，逐一对所述超像素分割图中的每个超像素所对应的像元求平均，并以均值作为该像素分割子图像中对应像元的输出值。换句话说，设计所述重组层的目的在于计算出每个超像素分割图中像元的平均值，用所述平均值来代表每个超像素分割图的像元的值。
这里，步骤103中所述根据所述超像素分割图构建重组层，包括：
对所述超像素分割图进行编码，得到超像素编码图；
基于设定规则对所述超像素分割图和所述超像素编码图进行处理，构建重组层。
这里，所述超像素编码图是指对上述超像素分割图进行编码得到的编码图。具体应用中，可以对每一张超像素分割图按照每个超像素生成一张二值化编码图的方式逐一对所有超像素分割图中的每个超像素的像元进行1编码、其它像元进行0编码。如此，如果所述超像素分割图包含N个超像素块，则每张超像素分割图对应生成N张编码图。依此方法，对所有遥感图像对应的超像素分割图都进行处理，生成超像素编码图集。例如，如果有M幅遥感图像，每幅遥感图像对应N个超像素块，则生成M*N幅编码图。由于是进行的二值化的1/0编码，所述超像素编码图也可以称之为超像素二值化编码图。
在本发明实施例中，上述设定规则是指将所述超像素分割图对应的矩阵点与所述超像素编码图对应的矩阵进行点乘，再对所述超像素编码图中值为1的区域的点乘结果求和，对得到的和值取平均值。这里，所述平均值即为所述超像素分割图的像元的平均值。所述超像素编码图矩阵是指所述超像素编码图对应的矩阵。
由此可知，所述重组层实现的功能就是求出每个超像素分割图对应的像元的值。那么，经过重组层的处理使得每个超像素分割图都可以提取出对应的像元，而所述像元表征着每个超像素分割图的特征。如此，在明确出每个超像素分割图的特征后，可以基于该特征实现对目标对象的准确分割。
换句话说，通过设计重组层的方式可以为后续的分割处理的精确度提供较大地保障，基于此，为了实现自动化的精确分割，本发明实施例将所述重组层添加至神经网络模型中来生成本发明实施例需要的目标分割模型，进而利用该目标分割模型对输入的遥感图像进行分割，极大地保证了分割的精确度。
这里，上述步骤103中的所述利用所述重组层生成目标分割模型，包括：
基于神经网络模型和所述重组层，构建初始分割模型；
基于所述超像素分割图，生成图像数据集；
提取所述图像数据集中的部分数据对所述初始分割模型进行训练，得到目标分割模型。
需要说明的是，所述神经网络模型可以是各类常见的用于图像分割的神经网络模型，例如，卷积网络(Fully Convolutional Networks，FCN)模型、SegNet模型(Segmentation Net)或者稠密网络(Dense Net)模型等。
所述基于神经网络模型和所述重组层，构建初始分割模型，包括：
基于所述至少一幅图像的特征，确定待选取的神经网络模型；
在所述神经网络模型的卷积层和输入层之间插入所述重组层，得到初始分割模型。
这里，由于所述神经网络模型都包含卷积层、输出层，通过多个卷积层的处理可以提取出图像的特征，得到特征图。如此，可以在神经网络模型的最后的一个卷积层之后加入所述重组层。图4为本发明实施例提供的图像语义分割方法中语义分割模型的结构示意图，如图4所述，相较于现有的语义分割模型，本发明实施例提供的语义分割模型还包括有重组层，即所述语义分割模型包括：卷积层、重组层以及输出层。
如此，本发明实施例提供的分割模型的处理过程是：通过神经网络模型的全部卷积层对输入的遥感图像进行处理之后得到遥感图像对应的特征，即得到特征图，再通过本发明实施例设计的重组层对该特征图进行进一步地处理，即可得到每幅遥感图像对应的像元，再将该像元输入输出层进行分类，得到分类结果。所述分类结果表征着所输入的像元所在的超像素分割图的类别。
在得到初始分割模型后，通过样本数据对该初始分割模型进行训练、验证以及测试即可得到本发明实施例所需要的目标分割模型。如此，通过目标分割模型对输入的遥感图像进行处理，即可确定出遥感图像中每个超像素分割图对应的类别，进而基于该类别确定出对每个超像素分割图所包含的信息，进而实现语义分割。
那么，在通过样本数据对该初始分割模型进行训练、验证以及测试得到目标分割模型之前，需要获取样本数据，在在本发明实施例中所述样本数据也称之为图像数据集。所述图像数据集的获取可以通过所述超像素分割图得到。
在本发明实施例中，所述基于所述超像素分割图，生成图像数据集，包括：
对所述超像素分割图进行标注，生成标注图像；
基于所述图像、所述超像素分割图以及所述标注图像，生成图像数据集。
需要说明的是，实际应用中为了得到标注图像，可以将所述遥感图像按照建筑物、道路、绿地、水体以及其它，这五种地物类型的划分标准进行标注。在具体实现上可以通过人工目视解译方式对所述超像素分割图中每一超像素逐一进行标注再输入电子设备中，如此所述电子设备可以得到超像素分割图对应的标注图像。
考虑到模型训练的精度问题，这里将所述遥感图像原图、超像素分割图和标注图像都作为样本数据来对上述构建的初始分割模型进行训练、训练、验证以及测试，以此训练出本发明实施例需要的目标分割图像。
这里，所述基于所述图像、所述超像素分割图以及所述标注图像，生成图像数据集，包括：
按照设定的比例对所述图像、所述超像素分割图以及所述标注图像进行划分，得到初始图像数据集；
对所述初始图像数据集进行预处理，得到所述图像数据集。
需要说明的是，考虑到训练的时间长短以及训练得到的目标分割模型的精度问题，在本发明实施例中，将所述图像、所述超像素分割图以及所述标注图像按照设定的比例进行划分。即将所述初始图像数据集分为3个部分，其中，一部分数据作为训练数据，一部分数据作为验证数据，最后一部分数据则作为测试数据，如此通过数据间的配合实现对初始分割模型的训练以达到良好的训练效果。这里的设定的比例可以是3:1:1。
进一步地，根据模型训练需要可以对所述初始图像数据集进行预处理，得到本发明实施例需要的图像数据集。所述预处理包括：旋转处理、增强处理和拉伸处理；其中，所述旋转处理可以是对设定尺寸的遥感图像、超像素分割图和标注图像进行90°、180°和270°的旋转，以生成四种成像角度的图像，如此可以更好的拟合不同成像角度或不同方向分布的地物目标。所述增强处理可以是通过伽玛函数(Gamma)随机地对上述旋转处理后的图像进行亮度调整，以拟合不同光照条件下成像的遥感图像。所述拉伸处理可以是随机地对所述设定尺寸的遥感图像、超像素分割图和标注图像进行一定尺寸的拉伸操作，以降低图像分辨率尺度差异造成的训练误差。所述一定尺寸可以按照实际需求来确定，例如，所述一定尺寸可以是10％。
如此，通过预处理后的所述图像数据集对初始分割模型进行训练、验证以及测试后可以得到本发明实施例为了分割遥感图像而需要的目标分割模型。
需要说明的是，在对初始分割模型进行训练的过程中，可以不断地通过评价函数对生成的模型进行评价，由此确定出目标分割模型。所述评价函数可以是交叉熵和/或交并比等。当然还可以是其他评价函数，例如，一致性指数(Concordance Index)、卡帕(Kappa)系数等，本发明实施例对所述评价函数的选取不作限定。
这里，在得到目标分割模型后即可执行对遥感图像的分割处理。
需要说明的是，在本发明实施例中，为了减小分割的过程中对细节的损失，可以对遥感图像和超像素分割图进行图像通道的叠合，得到融合图像，将所述融合图像作为所述目标分割模型的输入数据。那么，所述基于所述目标分割模型对所述图像及所述超像素分割图像进行处理，得到分割结果，包括：
对所述图像和所述超像素分割图进行图像通道的叠合，得到融合图像；
基于所述目标分割模型对所述融合图像进行处理，得到分割结果。
如此，由于是对遥感图像和遥感图像对应的超像素分割图的图像通道进行了叠合，加深了图像中的各个细节，进而通过所述目标分割模型的处理，在实现对遥感图像精确分割地基础上，也减少了图像细节的丢失。
图5为本发明实施例提供的图像语义分割方法对遥感图像进行分割后的结果示意图，图6为通过现有的神经网络模型对遥感图像进行分割后的结果示意图；如图5以及图6所示，本发明实施例提供的图像语义分割方法，由于引进了重组层，以及对输入数据进行融合，在细节的分割上相较于现有的神经网络模型具有较好地效果，且对地物地划分有着更为明显的界限。
图7为本发明实施例提供的图像语义分割方法的流程示意图二，如图7所示，在获取到遥感图像后，一方面对该遥感图像进行超像素分割，得到超像素分割图；另一方面，对该遥感图像进行标注，得到标注图像，除此之外，对所述超像素分割图进行编码，得到超像素编码图。如此，由所述遥感图像、超像素分割图以及标注图像组成图像数据集，进而将该图像数据集的数据输入到FCN、SegNet等模型中经过多个卷积层的处理，提取出图像的特征，得到图像的特征图，将所述特征图和超像素编码图输入到本发明实施例设计的重组层中，输出特征图对应的像元的平均值，再将该平均值输入softmax层中，得到最终的分割结果。这里，FCN、SegNet等模型的多个卷积层、重组层以及softmax层组成了本发明实施例中提供的目标分割模型。
本发明实施例所提供的图像语义分割方法，通过对获取的图像进行分割，得到至少一幅超像素分割图，进而利用所述分割子图像来构建一种重组层，通过所述重组层来生成目标分割模型；由于引入了所述重组层，使得所述目标分割模型相比于现有的分割模型能够更为准确地对不同对象的边界进行分割。除此之外，为了更一步地提高分割地精度，将所述图像及分割子图像一起作为所述目标分割模型的输入；如此通过图像的叠加处理，在确保分割精度的基础上，也进一步确保了图像细节的不丢失，对提高图像的分割精度和实际应用效能具有重要意义。
基于上述实施例的同一发明构思，本发明实施例提供一种图像语义分割装置，图8为本发明实施例提供的一种图像语义分割装置800的结构示意图，如图8所示，所述图像语义分割装置800包括：
获取单元801，用于获取至少一幅图像；
分割单元802，用于对所述至少一幅图像进行超像素分割，得到对应的超像素分割图；
模型构建单元803，用于根据所述超像素分割图构建重组层，利用所述重组层生成目标分割模型；
处理单元804，用于基于所述目标分割模型对所述图像及所述超像素分割图像进行处理，得到语义分割结果。
需要说明的是，所述模型构建单元803包括：编码单元、重组单元；其中，所述编码单元，用于对所述超像素分割图进行编码，得到超像素编码图；
所述重组单元，用于基于设定规则对所述超像素分割图和所述超像素编码图进行处理，构建重组层。
需要说明的是，还所述模型构建单元803还包括：初始构建单元、数据集生成单元以及目标模型单元；其中，
所述初始构建单元，用于基于神经网络模型和所述重组层，构建初始分割模型；
所述数据集生成单元，用于基于所述超像素分割图，生成图像数据集；
所述目标模型单元，用于提取所述图像数据集中的部分数据对所述初始分割模型进行训练，得到目标分割模型。
还需要说明的是，初始构建单元包括：确定单元、初始子构建单元；其中，
所述确定单元，用于基于所述至少一幅图像的特征，确定待选取的神经网络模型；
所述初始子构建单元，用于在所述神经网络模型的卷积层和输入层之间插入所述重组层，得到初始分割模型。
所述数据集生成单元包括：标注单元、编码子单元以及数据集生成子单元；
所述标注单元，用于对所述超像素分割图进行标注，生成标注图像；
所述数据集生成子单元，用于基于所述图像、所述超像素分割图以及所述标注图像，生成图像数据集。
还需要说明的是，数据集生成子单元还包括：划分单元、预处理单元；
所述划分单元，用于按照设定的比例对所述图像、所述超像素分割图以及所述标注图像进行划分，得到初始图像数据集；
所述预处理单元，用于对所述初始图像数据集进行预处理，得到所述图像数据集。
所述处理单元包括：融合单元、处理子单元；其中，
所述融合单元，用于对所述图像和所述超像素分割图进行图像通道的叠合，得到融合图像；
所述处理子单元，用于基于所述目标分割模型对所述融合图像进行处理，得到语义分割结果。
还需要说明的是，由于所述图像语义分割装置800解决问题的原理与前述图像语义分割方法相似，因此，所述图像语义分割装置800的具体实施过程及实施原理均可以参见前述方法和实施过程，重复之处不再赘述。
本发明实施例所提供的图像语义分割装置，通过对获取的图像进行分割，得到至少一幅超像素分割图，进而利用所述分割子图像来构建一种重组层，通过所述重组层来生成目标分割模型；由于引入了所述重组层，使得所述目标分割模型相比于现有的分割模型能够更为准确地对不同对象的边界进行分割。除此之外，为了更一步地提高分割地精度，将所述图像及分割子图像一起作为所述目标分割模型的输入；如此通过图像的叠加处理，在确保分割精度的基础上，也进一步确保了图像细节的不丢失，对提高图像的分割精度和实际应用效能具有重要意义。
在本发明实施例中的各组成部分可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的单元如果以软件功能模块的形式实现并非作为独立的产品进行销售或使用时，可以存储在一个计算机可读取存储介质中，基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或processor(处理器)执行本发明实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
因此，本发明实施例提供了一种计算机存储介质，该计算机存储介质存储有计算机程序，所述计算机程序被至少一个处理器执行时实现上述实施例所述的步骤。
参见图9，示出了本发明实施例提供的一种图像语义分割装置900的具体硬件结构，包括：网络接口901、存储器902和处理器903；各个组件通过总线系统904耦合在一起。可理解，总线系统904用于实现这些组件之间的连接通信。总线系统904除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图9中将各种总线都标为总线系统904。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。

Claims (9)

1.一种图像语义分割方法，其特征在于，所述方法包括：
获取至少一幅图像；
对所述至少一幅图像进行超像素分割，得到对应的超像素分割图；
根据所述超像素分割图构建重组层，利用所述重组层生成目标分割模型；其中，所述根据所述超像素分割图构建重组层，包括：对所述超像素分割图进行二值化编码，得到超像素编码图；对所述超像素分割图对应的矩阵点和所述超像素编码图对应的矩阵点乘结果求和；对得到的和值取平均值，所述平均值为所述超像素分割图的像元的平均值，基于所述平均值构建所述重组层；
基于所述目标分割模型对所述图像及所述超像素分割图像进行处理，得到语义分割结果。
2.根据权利要求1所述的方法，其特征在于，所述利用所述重组层生成目标分割模型，包括：
基于神经网络模型和所述重组层，构建初始分割模型；
基于所述超像素分割图，生成图像数据集；
提取所述图像数据集中的部分数据对所述初始分割模型进行训练，得到目标分割模型。
3.根据权利要求2所述的方法，其特征在于，所述基于神经网络模型和所述重组层，构建初始分割模型，包括：
基于所述至少一幅图像的特征，确定待选取的神经网络模型；
在所述神经网络模型的卷积层和输入层之间插入所述重组层，得到初始分割模型。
4.根据权利要求2所述的方法，其特征在于，所述基于所述超像素分割图，生成图像数据集，包括：
对所述超像素分割图进行标注，生成标注图像；
基于所述图像、所述超像素分割图以及所述标注图像，生成图像数据集。
5.根据权利要求4所述的方法，其特征在于，所述基于所述图像、所述超像素分割图以及所述标注图像，生成图像数据集，包括：
按照设定的比例对所述图像、所述超像素分割图以及所述标注图像进行划分，得到初始图像数据集；
对所述初始图像数据集进行预处理，得到所述图像数据集。
6.根据权利要求1所述的方法，其特征在于，所述基于所述目标分割模型对所述图像及所述超像素分割图像进行处理，得到语义分割结果，包括：
对所述图像和所述超像素分割图进行图像通道的叠合，得到融合图像；
基于所述目标分割模型对所述融合图像进行处理，得到语义分割结果。
7.一种图像语义分割装置，其特征在于，所述装置包括：
获取单元，用于获取至少一幅图像；
分割单元，用于对所述至少一幅图像进行超像素分割，得到对应的超像素分割图；
模型构建单元，用于根据所述超像素分割图构建重组层，利用所述重组层生成目标分割模型；
其中，所述模型构建单元，用于所述根据所述超像素分割图构建重组层，包括：对所述超像素分割图进行二值化编码，得到超像素编码图；对所述超像素分割图对应的矩阵点和所述超像素编码图对应的矩阵点乘结果求和；对得到的和值取平均值，所述平均值为所述超像素分割图的像元的平均值，基于所述平均值构建所述重组层；
处理单元，用于基于所述目标分割模型对所述图像及所述超像素分割图像进行处理，得到语义分割结果。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述方法的步骤。
9.一种图像分割装置，其特征在于，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，其中，所述处理器用于运行所述计算机程序时，执行权利要求1至6任一项所述方法的步骤。
CN201911197414.7A 2019-11-29 2019-11-29 一种图像语义分割方法、装置及存储介质 Active CN110992366B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911197414.7A CN110992366B (zh) 2019-11-29 2019-11-29 一种图像语义分割方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911197414.7A CN110992366B (zh) 2019-11-29 2019-11-29 一种图像语义分割方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN110992366A CN110992366A (zh) 2020-04-10
CN110992366B true CN110992366B (zh) 2023-06-06

Family

ID=70088173

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911197414.7A Active CN110992366B (zh) 2019-11-29 2019-11-29 一种图像语义分割方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN110992366B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111260653B (zh) * 2020-04-27 2020-08-25 腾讯科技（深圳）有限公司 一种图像分割方法、装置、存储介质和电子设备
CN112464745B (zh) * 2020-11-09 2023-07-07 中国科学院计算机网络信息中心 一种基于语义分割的地物识别与分类方法和装置
CN114119981A (zh) * 2021-12-09 2022-03-01 成都理工大学 基于小样本深度学习无监督语义分割的大地电磁反演增强方法
CN114595731B (zh) * 2022-05-09 2022-08-19 南京信息工程大学 基于持续学习的非线性医疗传感器数据的语义分割方法
CN116630820B (zh) * 2023-05-11 2024-02-06 北京卫星信息工程研究所 光学遥感数据星上并行处理方法与装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8879855B2 (en) * 2012-08-17 2014-11-04 Nec Laboratories America, Inc. Image segmentation for large-scale fine-grained recognition
US10402628B2 (en) * 2016-10-10 2019-09-03 Gyrfalcon Technology Inc. Image classification systems based on CNN based IC and light-weight classifier
CN109063723B (zh) * 2018-06-11 2020-04-28 清华大学 基于迭代挖掘物体共同特征的弱监督图像语义分割方法
CN109191418B (zh) * 2018-06-22 2021-10-01 西安电子科技大学 一种基于收缩自编码器特征学习的遥感图像变化检测方法

Also Published As

Publication number Publication date
CN110992366A (zh) 2020-04-10

Similar Documents

Publication Publication Date Title
CN110992366B (zh) 一种图像语义分割方法、装置及存储介质
CN109447994B (zh) 结合完全残差与特征融合的遥感图像分割方法
CN110781756A (zh) 基于遥感图像的城市道路提取方法及装置
CN113449594B (zh) 一种多层网络组合的遥感影像地类语义分割与面积计算方法
CN110163213B (zh) 基于视差图和多尺度深度网络模型的遥感图像分割方法
CN109978037A (zh) 图像处理方法、模型训练方法、装置、和存储介质
CN110838095B (zh) 一种基于循环密集神经网络的单幅图像去雨方法和系统
CN111640116B (zh) 基于深层卷积残差网络的航拍图建筑物分割方法及装置
CN113177592B (zh) 一种图像分割方法、装置、计算机设备及存储介质
CN113838064B (zh) 一种基于分支gan使用多时相遥感数据的云去除方法
CN111325750A (zh) 一种基于多尺度融合u型链神经网络的医学图像分割方法
CN114758337A (zh) 一种语义实例重建方法、装置、设备及介质
CN115294483A (zh) 输电线路复杂场景的小目标识别方法及系统
CN116310095A (zh) 一种基于深度学习的多视图三维重建方法
Song et al. Small UAV-based multi-temporal change detection for monitoring cultivated land cover changes in mountainous terrain
CN114627244A (zh) 三维重建方法及装置、电子设备、计算机可读介质
CN105574844B (zh) 辐射响应函数估计方法和装置
CN115330803B (zh) 一种表面缺陷数据增强方法、装置、电子设备及存储介质
CN115953330B (zh) 虚拟场景图像的纹理优化方法、装置、设备和存储介质
CN111860465A (zh) 基于超像素的遥感图像提取方法、装置、设备及存储介质
CN111104965A (zh) 车辆目标识别的方法及装置
CN116246161A (zh) 领域知识引导下的遥感图像目标精细类型识别方法及装置
CN115760641A (zh) 基于多尺度特征注意力网络的遥感影像去云雾方法和设备
CN113112531B (zh) 一种图像匹配方法及装置
CN110827243B (zh) 网格梁覆盖区域异常检测方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant