CN107977624A - 一种语义分割方法、装置以及系统 - Google Patents
一种语义分割方法、装置以及系统 Download PDFInfo
- Publication number
- CN107977624A CN107977624A CN201711243148.8A CN201711243148A CN107977624A CN 107977624 A CN107977624 A CN 107977624A CN 201711243148 A CN201711243148 A CN 201711243148A CN 107977624 A CN107977624 A CN 107977624A
- Authority
- CN
- China
- Prior art keywords
- pixel
- classification results
- semantic segmentation
- sub
- images
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/13—Satellite images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/768—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using context analysis, e.g. recognition aided by known co-occurring patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Astronomy & Astrophysics (AREA)
- Remote Sensing (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明提供了一种语义分割方法以及装置，其中，该方法包括：按照多种分块尺寸对待处理图像进行分块处理，获得与多种分块方式一一对应的多个子图像集合；对每个子图像集合中的每个子图像进行语义分割，获得每个子图像上每一个像素点的分类结果；根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果。本发明实施例能够综合多种分块方式对应的语义分割结果，来确定待处理图像的每一个像素点的分类结果，所得的分类结果更加的准确。
Description
技术领域
本发明涉及图像处理技术领域，具体而言，涉及一种语义分割方法、装置以及系统。
背景技术
土地资源是人类得以生存与发展的物质载体，土地利用研究是全球环境变化、城市规划、土地政策研究的重要组成部分。航拍遥感作为一种获得土地利用信息的重要手段，能够提供不可替代的视角，用高质量的稳定画面来反应一个地区、一个区域的面貌。利用航拍遥感获得土地利用信息的一个重要中间环节就是分类。而随着遥感技术的不断进步，可以获得的遥感影像的空间分辨率也越来越高。在高分辨率的影像上，地物的光谱特征更加丰富，同类地物内的光谱差异增加，类间的光谱差异减少，同物异谱及同谱异物现象更加普遍。影像中大量细节的出现和地物光谱特征的复杂化导致了基于光谱统计特征进行分类的传统方法，如极大似然法、最小距离法、K-均值聚类法等分类准确性的降低。基于此，研究者将机器学习方法，如神经网络(Neural Networks，NN)、支持向量机(Support VectorMachine，SVM)等应用于对高分辨率影像的分类中，能够获得更准确的结果。
然而无论是SVM还是NN都属于浅层学习方法，由于计算单元有限，浅层学习的网络很难有效地表达复杂函数，所以随着图像样本数量的增大以及图像样本多样性增强，浅层模型也逐渐不能适应复杂的样本。如何提取深层的特征，使得特征更加抽象更易于分类，是当今机器学习领域的研究热点。深度学习便是解决这个问题的新方向。
语义分割作为深度学习在图像分类中的重要技术，一般采用将遥感图像剪切成多张子图像，针对每一张子图像进行语义分割，然后将每一张子图像的语义分割结果拼接在一起的方式，实现对分辨率较大的遥感图像的分类。这种语义分割方法导致在对每一张子图像的边缘像素点进行分类时的分类结果是不准确的，进而造成对遥感图像进行分析的结果存在误差。
发明内容
有鉴于此，本发明实施例的目的在于提供一种语义分割方法以及装置，能够在对遥感图像进行分析时获得较为准确的分类结果。
第一方面，本发明实施例提供了一种语义分割方法，包括：
按照多种分块尺寸对待处理图像进行分块处理，获得与多种分块方式一一对应的多个子图像集合；
对每个子图像集合中的每个子图像进行语义分割，获得每个子图像上每一个像素点的分类结果；
根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果。
结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中：根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果，具体包括：
针对所述待处理图像中的每个像素点，确定不同子图像集合中对应位置像素点的分类结果；
将所述不同子图像集合中对应位置像素的分类结果中，出现频率最高的分类结果确定为该像素点的分类结果。
结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中：根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果，具体包括：
从所述不同分块方式中确定一种分块方式，并确定该分块方式中经过分块处理后构成子图像分界线的分界像素点的位置；
从所述不同子图像集合中，确定与所述分界像素点位置对应的像素点的分类结果；
针对每个分界像素点，将为该分界像素点确定的多个分类结果中，出现频率最高的分类结果确定为该分界像素点的分类结果。
结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中：构成子图像分界边的分界像素点包括分块操作直接作用的像素点，以及与该直接作用像素点相邻的预设数量的像素点。
结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中：在确定所述待处理图像的语义分割结果之后，还包括：
将确定了语义分割结果的待处理图像输入预设条件随机场模型，对所述语义分割结果进行验证；并在任意像素点的分类结果不正确时，将该任意像素点的分类结果更正。
第二方面，本发明实施例还提供一种语义分割装置，该装置包括：
分块模块，用于按照多种分块尺寸对待处理图像进行分块处理，获得与多种分块方式一一对应的多个子图像集合；
语义分割模块，用于对每个子图像集合中的每个子图像进行语义分割，获得每个子图像上每一个像素点的分类结果；
分割结果确定模块，用于根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果。结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中：所述分割结果确定模块，具体用于：针对所述待处理图像中的每个像素点，确定不同子图像集合中对应位置像素点的分类结果；
将所述不同子图像集合中对应位置像素的分类结果中，出现频率最高的分类结果确定为该像素点的分类结果。
结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中：所述分割结果确定模块，具体用于：从所述不同分块方式中确定一种分块方式，并确定该分块方式中经过分块处理后构成子图像分界线的分界像素点的位置；
从所述不同子图像集合中，确定与所述分界像素点位置对应的像素点的分类结果；
针对每个分界像素点，将为该分界像素点确定的多个分类结果中，出现频率最高的分类结果确定为该分界像素点的分类结果。
结合第二方面，本发明实施例提供了第二方面的第三种可能的实施方式，其中：构成子图像分界边的分界像素点包括分块操作直接作用的像素点，以及与该直接作用像素点相邻的预设数量的像素点。
结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中：还包括：更正模块，用于将确定了语义分割结果的待处理图像输入预设条件随机场模型，对所述语义分割结果进行验证；并在任意像素点的分类结果不正确时，将该任意像素点的分类结果更正。
本发明实施例采用多种分块尺寸对待处理图像进行分块处理，并对分块处理获得的多个子图像集合中的子图像进行语义分割，从而获得每一张子图像上每一个像素点的分类结果，然后根据不同分块方式下得到的不同子图像集合对应分类结果，确定待处理图像的语义分割结果。这种语义切割方法使得在待处理图像上的每一个像素点的分割结果，都是基于多个分块尺寸对应的子图像集合中所包括的子图像的语义分割结果确定；不同子图像集合中的子图像的语义分割结果在进行拼接的时候，由于通过不同尺寸切割而产生的子图像的边缘位置都不一样，因此能够综合多种分块方式对应的语义分割结果，来确定待处理图像的每一个像素的分类结果，所得的分类结果更加的准确。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1示出了本发明实施例所提供的一种语义分割方法的流程图；
图2示出了本发明实施例所提供的语义分割方法中，对待处理图像进行分块的示意图；
图3示出了本发明实施例所提供的语义分割方法中，另一种对待处理图像进行分块的示意图；
图4示出了本发明实施例所提供的语义分割方法中，待处理图像和拼接图像上像素点对应关系示意图；
图5示出了本发明实施例所提供的语义分割方法中，待处理图像和子图像上对应位置像素点的对应关系示意图；
图6示出了本发明实施例所提供的另一种语义分割方法的流程图；
图7示出了本发明实施例所提供的语义分割方法中，在子图像上边界像素点和非边界像素点的示意图；
图8示出了本发明实施例所提供的语义分割装置的结构示意图；
图9示出了本发明实施例所提供的另一种语义分割装置的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
目前在使用语义分割方法对图像进行分类时，会将像素比较大的图像切割成多块像素比较小的子图像，然后使用语义分割方法依次对每张子图像进行语义分割，在获得每张子图像的语义分割结果后，将多张子图像的语义分割结果再拼接起来，形成完整图像的语义分割结果。而在对子图像进行语义分割的时候，子图像边缘的像素点的分类结果实际上是不准确的，会造成子图像的语义分割结果拼接时，子图像与子图像之间会出现识别的物体形状不连续的问题，导致对图像进行分析的结果存在误差。基于此，本发明提供的一种语义分割方法、装置以及系统，可以对图像进行语义分割时，获得准确的语义分割结果。
为便于对本实施例进行理解，首先对本发明实施例所公开的一种语义分割方法进行详细介绍，该语义分割方法不止可以用于对遥感图像进行分类，还可以对其它领域的图像进行分类。
参见图1所示，本发明实施例所提供的语义分割方法包括：
S101：按照多种分块尺寸对待处理图像进行分块处理，获得与多种分块方式一一对应的多个子图像集合。
在具体实现时，可以规定分块数量，按照平均划分或者随机的划分的方式得到多个分块；也可以规定分块尺寸，分块尺寸包括一个图像块(也就是子图像)在横轴方向的像素点数量以及在纵轴方向的像素点数量。确定分块尺寸的方法有如下两种：
其一，按多种不同的分块尺寸对待处理图像进行分块处理时，所得到的每一个子图像集合中的子图像都具有与分块尺寸相同的像素点数量，即通过待处理图像的像素以及语义分割的最大像素尺寸来设置每一种分块尺寸的大小。例如可以确定待处理图像在横轴方向的像素点数量，然后按照横轴方向的像素点进行划分，得到分块尺寸在横轴方向的像素点数量，且待处理图像在横轴方向的像素点数量是分块尺寸在横轴方向的像素点数量的整数倍；确定待处理图像在纵轴方向的像素点数量，按照纵轴方向的像素点进行划分，得到分块尺寸在纵轴方向的像素点数量，且待处理图像在纵轴方向的像素点数量是分块尺寸在纵轴方向的像素点数量的整数倍。
如图2所示，待处理图像的像素为20×24，即横轴方向有20个像素点，在纵轴方向有24个像素点，分割尺寸的横轴像素点数量为，可以设置为5，分割尺寸的纵轴像素点数量为6，最终的分块如图所示，所形成的子图像集合中，每个子图像在横轴方向的像素点数量均为5，在纵轴方向的像素点数量均为6。
其二，按多种不同的分块尺寸对待处理图像进行分块处理时，所得到的每一个子图像集合中的子图像并非每一张子图像都具有对应的分块尺寸。这种分块方法可以随意设置每种分块尺寸的大小，即将待处理图像在横轴方向的像素点按照分块尺寸在横轴方向的像素点数量进行划分的时候，最终形成的子图像中有一列子图像在横轴方向的像素点数量要少于或者多于分块尺寸在横轴方向的像素点数量；将待处理图像在纵轴方向的像素点按照分块尺寸在纵轴方向的像素点数量进行划分的时候，最终形成的子图像中有一行子图像在纵轴方向的像素点数量要少于或者多与分块尺寸在纵轴方向的像素点数量。
如图3所示，待处理图像的像素为20×24，即横轴方向有20个像素点，在纵轴方向有24个像素点，分割尺寸的横轴像素点数量为，可以设置为6，分割尺寸的纵轴像素点数量为7，最终的分块如图所示，所形成的子图像集合中，横轴方向最后一列的子图像在横轴方向的像素点数量为2，在纵轴方向最后一行的子图像在纵轴方向的像素点数量为3。
在实际设置多种分块尺寸的时候，可以单独采用上述第一种方式设置所有的分块尺寸，也可以采用上述第二种方式设置所有分块尺寸，还可以采用上述第一中方式和第二种方式相结合的方式设置分块尺寸，即所有分块尺寸中，部分分块尺寸遵循第一种设置方式，其余分块尺寸遵循第二种设置方式。
在一可选实施例中，当设置每种分块尺寸的时候，任意一种分块尺寸在对待处理图像进行分块时，所形成的子图像之间的切分线，应当与其它分块尺寸所形成的子图像之间的切分线不重合。
在另一可选实施例中，任意一种分块尺寸在对待处理图像进行分块时，所形成的子图像之间的切分线，应当与其它分块尺寸所形成的子图像之间的切分线之间具有预设数量以上的像素点。
S102：对每个子图像集合中的每个子图像进行语义分割，获得每个子图像上每一个像素点的分类结果。
在具体实现的时候，可以使用多种语义分割方法对子图像进行语义分割。例如采用Deep Lab对子图像进行语义分割。
对子图像进行语义分割的目的是为图像中所有像素点分配给其对应的标签，获得每个子图像上每个像素点的分类结果。
S103：根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定待处理图像的语义分割结果。
在具体实现的时候，在确定待处理图像上某一像素点的分类结果时，首先要从各个子图像集合中确定与该像素点对应位置的像素点的分类结果。具体有如下两种确定方式。
其一，按照每个子图像集合对应的分块方法，将每个子图像集合中的所有子图像拼接起来，形成每个子图像集合对应的拼接图像，该拼接图像实则与待处理图像是一样的，因此，待处理图像中像素点的位置与拼接图像的位置也是一一对应的，因而待处理图像中像素点在该子图像集合中的分类结果，即为拼接图像对应位置上的像素点的分类结果。
如图4所示，a为待处理图像，b为某子图像集合中的子图像拼接而成的拼接图像，a上的像素点和b上的像素点的位置一一对应。如待处理图像a上的像素点a1和拼接图像b上的像素点b1为位置对应的像素点，因此b1的语义分割结果就是a1在该子图像集合中的语义分割结果。
其二，为待处理图像中的每个像素点均设定编号，在对待处理图像进行切块时，每个像素点的编号会映射到具体的图像中。在确定待处理图像中某个像素点在某子图像集合中的分类结果时，只需要按照该像素点的编号，从该子图像集合中所有子图像中查找与之具有相同编号的像素点，从子图像集合的所有子图像中查找到的与待处理图像中像素点具有相同编号的像素点的分类结果，即为该待处理图像中的像素点在该子图像集合中的分类结果。
如图5所示，a为待处理图像，b为某子图像集合中的多个子图像中的一个子图像。当要确定待处理图像a上编号为18的像素点在该子图像集合中的分类结果时，只需要从子图像集合中的子图像中确定具有相同编号的像素点，将所确定的像素点的分类结果作为待处理图像中编号为18的像素点在该子图像集合中的分类结果。
当确定了待处理图像中每个像素点在不同子图像集合中对应位置像素点的分类结果后，将不同子图像集合中对应位置像素的分类结果中，出现频率最高的分类结果确定为该像素点的分类结果。
此处，假如分块尺寸有5种，用分块尺寸对待处理图像进行分块时，形成5个子图像集合；待处理图像中某个像素点在这5个子图像集合中的分类结果分别为：1、1、2、1、1，由于为1的分类结果在5个子图像集合中的分类记过中出现的频率最高，那么那么确定该像素点的分类结果为1。
在另一可选实施例中，当确定了待处理图像中每个像素点在不同子图像集合中对应位置像素点的分类结果后，还可以通过求取所有子图像集合中的分类结果的均值，并对均值进行取整，来确定待处理图像中像素点的分类结果。
此处，假如分块尺寸有5种，用分块尺寸对待处理图像进行分块时，形成5个子图像集合；待处理图像中某个像素点在这5个子图像集合中的分类结果分别为2、2、1、2、1，那么对五个分类结果进行求取均值为：1.6；然后采用四舍五入法对该均值进行取整，确定对待处理图像中该像素点的分类结果为2。
另外，由于在对子图像进行语义分析的时候，并非是所有的像素点的分类结果都是不准确的，而仅仅是子图像与子图像分界附近的像素点的分类结果存在不准确的问题，因此如果针对待处理图像上的每一个像素点都采用上述方法确定其分类结果，无疑会耗费大量的计算资源以及计算时间，因此，为了减少计算资源以及计算时间的消耗，参见图6所示，在另一可选实施例中，根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果，具体包括：
S601：从不同分块方式中确定一种分块方式，并确定该分块方式中经过分块处理后构成子图像分界线的分界像素点的位置。
S602：从不同子图像集合中，确定与分界像素点位置对应的像素点的分类结果。
S603：针对每个分界像素点，将为该分界像素点确定的多个分类结果中，出现频率最高的分类结果确定为该分界像素点的分类结果。
在具体实现的时候，实际上是要将多种分块方式中的一种分块方式下的到的子图像上每个像素点的分类结果，先作为待定的分类结果，然后基于所有分块方式下得到的子图像中的像素点的分类结果，对待定的分类结果中容易出现误差的子图像边缘位置的像素点的分类结果进行修正，然后将完成修正的子图像的分类结果，作为待处理图像上与子图像上位置对应的像素点的分类结果。
具体地，要将多种分块方式中的一种作为基础的分块方式，将通过该分块方式对待处理图像进行分块所形成的子图像集合作为基础子图像集合，将基础子图像集合中，每张子图像分块操作时直接作用的像素点，以及与该直接作用像素点相邻的预设数量的像素点作为分界像素点，然后从不同子图像集合中，确定与分界像素点位置对应的像素点的分类结果，然后针对每个分界像素点，将为该分界像素点确定的多个分类结果中，出现频率最高的分类结果确定为该分界像素点的分类结果。
例如，参见图7所示，选择分块尺寸为：10×10对应子图像集合作为基础子图像集合，该基础子图像集合中包括位于待处理图像的中间位置的子图像如a所示，且每个子图像的尺寸为：10×10。如a所示的子图像上处于最边缘的位置的像素点为该子图像分块操作时直接作用的像素点；与该直接作用像素点相邻的预设数量的像素点如该图中7中b所示；此处，该预设数量为1。最终确定的边界像素点如图7中c所示。非边界像素点如图7中d所示。
假设该实施例对应的分块尺寸有5种，针对边界像素点，如图7中所示的边界像素点c1，作为基础的分块尺寸对应的子图像集合中，该像素点c1的分类结果为2，其他4种分块尺寸对应的子图像集合中，对应位置的像素点的分类结果分别为1、1、1、1，那么将该边界像素点c1在5个分块尺寸对应的子图像集合中出现频率最高的分类结果作为该边界像素点的分类结果，因此该边界像素点的分类结果为1，即待处理图像上与该像素点c1在对应位置上的像素点的分类结果为1。
作为在子图像d上的非边界像素点d1，将该像素点d1在基础分块尺寸对应的子图像集合中，该像素点d1的分类结果，作为该像素点d1的分类结果。例如在该基础分块尺寸对应的图像集合中，d1的分类结果为7，则确定待处理图像上与该像素点d1在对应位置上的像素点的分类结果为7。
需要注意的是，如a所示的子图像位于待处理图像的中间位置，因此四个边界的像素点均可以为分块操作时直接作用的像素点，而对于包含待处理图像边缘的子图像，分块操作时直接作用的像素点不包括待处理图像边缘对应的像素点。
另外，需要注意的是，同样可以通过求取多个分块尺寸对应的子图像集合中对应位置的像素点的分类结果均值的方式，得到每一个边界像素点的分类结果，具体可以参见上述描述，在此不再赘述。
本发明实施例采用多种分块尺寸对待处理图像进行分块处理，并对分块处理获得的多个子图像集合中的子图像进行语义分割，从而获得每一张子图像上每一个像素点的分类结果，然后根据不同分块方式下得到的不同子图像集合对应分类结果，确定待处理图像的语义分割结果。这种语义切割方法使得在待处理图像上的每一个像素点的分割结果，都是基于多个分块尺寸对应的子图像集合中所包括的子图像的语义分割结果确定；不同子图像集合中的子图像的语义分割结果在进行拼接的时候，由于通过不同尺寸切割而产生的子图像的边缘位置都不一样，因此能够综合多种分块方式对应的语义分割结果，来确定待处理图像的每一个像素的分类结果，所得的分类结果更加的准确。
在另一可选实施例中，在上述几个实施例的基础上，在确定待处理图像的语义分割结果之后，还包括：将确定了语义分割结果的待处理图像输入预设条件随机场模型，对语义分割结果进行验证；并在任意像素点的分类结果不正确时，将该任意像素点的分类结果更正。
在具体实现的时候，条件随机场模型是一种判别式概率模型。将确定了语义分割结果的待处理图像输入预设的条件随机场模型中时，是为了检测待处理图像的中每一个像素的分类结果是否是准确的，例如在对待处理图像进行识别时，识别出在海洋中出现了房屋。房屋出现在海洋中本身是不合理的，因此要根据条件随机场模型将存在问题的像素分类解雇识别出来，并在任意像素点的分类结果不正确时，将该像素点的分类结果更正，这样能够进一步保证对待处理图像进行语义分割的准确性。
基于同一发明构思，本发明实施例中还提供了与语义分割方法对应的语义分割装置，由于本发明实施例中的装置解决问题的原理与本发明实施例上述语义分割方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。
参见图8所示，本发明实施例所提供的语义分割装置包括：
分块模块801，用于按照多种分块尺寸对待处理图像进行分块处理，获得与多种分块方式一一对应的多个子图像集合；
语义分割模块802，用于对每个子图像集合中的每个子图像进行语义分割，获得每个子图像上每一个像素点的分类结果；
分割结果确定模块803，用于根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果。
本发明实施例采用多种分块尺寸对待处理图像进行分块处理，并对分块处理获得的多个子图像集合中的子图像进行语义分割，从而获得每一张子图像上每一个像素点的分类结果，然后根据不同分块方式下得到的不同子图像集合对应分类结果，确定待处理图像的语义分割结果。这种语义切割方法使得在待处理图像上的每一个像素点的分割结果，都是基于多个分块尺寸对应的子图像集合中所包括的子图像的语义分割结果确定；不同子图像集合中的子图像的语义分割结果在进行拼接的时候，由于通过不同尺寸切割而产生的子图像的边缘位置都不一样，因此能够综合多种分块方式对应的语义分割结果，来确定待处理图像的每一个像素的分类结果，所得的分类结果更加的准确。
在一可选实施例中，所述分割结果确定模块803，具体用于：针对所述待处理图像中的每个像素点，确定不同子图像集合中对应位置像素点的分类结果；
将所述不同子图像集合中对应位置像素的分类结果中，出现频率最高的分类结果确定为该像素点的分类结果。
在一可选实施例中，所述分割结果确定模块803，具体用于：从所述不同分块方式中确定一种分块方式，并确定该分块方式中经过分块处理后构成子图像分界线的分界像素点的位置；
从所述不同子图像集合中，确定与所述分界像素点位置对应的像素点的分类结果；
针对每个分界像素点，将为该分界像素点确定的多个分类结果中，出现频率最高的分类结果确定为该分界像素点的分类结果。
在一可选实施例中，构成子图像分界边的分界像素点包括分块操作直接作用的像素点，以及与该直接作用像素点相邻的预设数量的像素点。
在一可选实施例中，还包括：更正模块804，用于将确定了语义分割结果的待处理图像输入预设条件随机场模型，对所述语义分割结果进行验证；并在任意像素点的分类结果不正确时，将该任意像素点的分类结果更正。
如图9所示，为本发明实施例提供的语义分割装置900示意图，该装置包括处理器910、存储器920和总线930，所述存储器920存储执行指令，当所述装置运行时，所述处理器910与所述存储器920之间通过总线930通信，所述处理器910执行所述执行指令使得所述装置执行如下方法：
按照多种分块尺寸对待处理图像进行分块处理，获得与多种分块方式一一对应的多个子图像集合；
对每个子图像集合中的每个子图像进行语义分割，获得每个子图像上每一个像素点的分类结果；
根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果。
可选地，所述处理器910具体用于针对所述待处理图像中的每个像素点，确定不同子图像集合中对应位置像素点的分类结果；
将所述不同子图像集合中对应位置像素的分类结果中，出现频率最高的分类结果确定为该像素点的分类结果。
可选地，所述处理器910具体用于从所述不同分块方式中确定一种分块方式，并确定该分块方式中经过分块处理后构成子图像分界线的分界像素点的位置；
从所述不同子图像集合中，确定与所述分界像素点位置对应的像素点的分类结果；
针对每个分界像素点，将为该分界像素点确定的多个分类结果中，出现频率最高的分类结果确定为该分界像素点的分类结果。
可选地，构成子图像分界边的分界像素点包括分块操作直接作用的像素点，以及与该直接作用像素点相邻的预设数量的像素点。
可选地，所述处理器910还用于在确定所述待处理图像的语义分割结果之后，将确定了语义分割结果的待处理图像输入预设条件随机场模型，对所述语义分割结果进行验证；并在任意像素点的分类结果不正确时，将该任意像素点的分类结果更正。
本发明实施例所提供的语义分割方法以及装置的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
Claims (10)
1.一种语义分割方法，其特征在于，包括：
按照多种分块尺寸对待处理图像进行分块处理，获得与多种分块方式一一对应的多个子图像集合；
对每个子图像集合中的每个子图像进行语义分割，获得每个子图像上每一个像素点的分类结果；
根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果。
2.根据权利要求1所述的方法，其特征在于，根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果，具体包括：
针对所述待处理图像中的每个像素点，确定不同子图像集合中对应位置像素点的分类结果；
将所述不同子图像集合中对应位置像素的分类结果中，出现频率最高的分类结果确定为该像素点的分类结果。
3.根据权利要求1所述的方法，其特征在于，根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果，具体包括：
从所述不同分块方式中确定一种分块方式，并确定该分块方式中经过分块处理后构成子图像分界线的分界像素点的位置；
从所述不同子图像集合中，确定与所述分界像素点位置对应的像素点的分类结果；
针对每个分界像素点，将为该分界像素点确定的多个分类结果中，出现频率最高的分类结果确定为该分界像素点的分类结果。
4.根据权利要求3所述的方法，其特征在于，构成子图像分界边的分界像素点包括分块操作直接作用的像素点，以及与该直接作用像素点相邻的预设数量的像素点。
5.根据权利要求1-4任意一项所述的方法，其特征在于，在确定所述待处理图像的语义分割结果之后，还包括：
将确定了语义分割结果的待处理图像输入预设条件随机场模型，对所述语义分割结果进行验证；并在任意像素点的分类结果不正确时，将该任意像素点的分类结果更正。
6.一种语义分割装置，其特征在于，该装置包括：
分块模块，用于按照多种分块尺寸对待处理图像进行分块处理，获得与多种分块方式一一对应的多个子图像集合；
语义分割模块，用于对每个子图像集合中的每个子图像进行语义分割，获得每个子图像上每一个像素点的分类结果；
分割结果确定模块，用于根据不同分块方式下得到的不同子图像集合中，对应位置像素点的分类结果，确定所述待处理图像的语义分割结果。
7.根据权利要求6所述的装置，其特征在于，所述分割结果确定模块，具体用于：针对所述待处理图像中的每个像素点，确定不同子图像集合中对应位置像素点的分类结果；
将所述不同子图像集合中对应位置像素的分类结果中，出现频率最高的分类结果确定为该像素点的分类结果。
8.根据权利要求6所述的装置，其特征在于，所述分割结果确定模块，具体用于：从所述不同分块方式中确定一种分块方式，并确定该分块方式中经过分块处理后构成子图像分界线的分界像素点的位置；
从所述不同子图像集合中，确定与所述分界像素点位置对应的像素点的分类结果；
针对每个分界像素点，将为该分界像素点确定的多个分类结果中，出现频率最高的分类结果确定为该分界像素点的分类结果。
9.根据权利要求8所述的装置，其特征在于，构成子图像分界边的分界像素点包括分块操作直接作用的像素点，以及与该直接作用像素点相邻的预设数量的像素点。
10.根据权利要求6-9任意一项所述的装置，其特征在于，还包括：更正模块，用于将确定了语义分割结果的待处理图像输入预设条件随机场模型，对所述语义分割结果进行验证；并在任意像素点的分类结果不正确时，将该任意像素点的分类结果更正。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711243148.8A CN107977624A (zh) | 2017-11-30 | 2017-11-30 | 一种语义分割方法、装置以及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201711243148.8A CN107977624A (zh) | 2017-11-30 | 2017-11-30 | 一种语义分割方法、装置以及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN107977624A true CN107977624A (zh) | 2018-05-01 |
Family
ID=62008816
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201711243148.8A Pending CN107977624A (zh) | 2017-11-30 | 2017-11-30 | 一种语义分割方法、装置以及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN107977624A (zh) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657715A (zh) * | 2018-12-12 | 2019-04-19 | 广东工业大学 | 一种语义分割方法、装置、设备及介质 |
| CN109902755A (zh) * | 2019-03-05 | 2019-06-18 | 南京航空航天大学 | 一种用于xct切片的多层信息分享与纠正方法 |
| CN110796652A (zh) * | 2019-10-30 | 2020-02-14 | 上海联影智能医疗科技有限公司 | 图像处理方法、计算机设备和存储介质 |
| CN112348820A (zh) * | 2020-11-06 | 2021-02-09 | 天津市勘察设计院集团有限公司 | 基于深度辨别性增强网络的遥感影像语义分割方法 |
| CN113192056A (zh) * | 2021-05-21 | 2021-07-30 | 北京市商汤科技开发有限公司 | 图像检测方法和相关装置、设备、存储介质 |
| CN113792742A (zh) * | 2021-09-17 | 2021-12-14 | 北京百度网讯科技有限公司 | 遥感图像的语义分割方法和语义分割模型的训练方法 |
| CN115359022A (zh) * | 2022-08-31 | 2022-11-18 | 苏州知码芯信息科技有限公司 | 一种电源芯片质量检测方法及系统 |
| CN117197471A (zh) * | 2023-11-07 | 2023-12-08 | 中国地质大学（武汉） | 一种岩性制图方法及计算机设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103297767A (zh) * | 2012-02-28 | 2013-09-11 | 三星电子（中国）研发中心 | 一种适用于多核嵌入式平台的jpeg图像解码方法及解码器 |
| US20140241623A1 (en) * | 2013-02-22 | 2014-08-28 | Nec Laboratories America, Inc. | Window Dependent Feature Regions and Strict Spatial Layout for Object Detection |
| CN105931256A (zh) * | 2016-06-03 | 2016-09-07 | 中国地质大学（武汉） | 基于cuda的大幅面遥感影像快速分割方法 |
| CN106683109A (zh) * | 2016-12-28 | 2017-05-17 | 西安电子科技大学 | 基于语义条件随机场模型的sar图像分割方法 |
| CN106709463A (zh) * | 2016-12-29 | 2017-05-24 | 武汉大学 | 基于分层语义的sar图像分类方法 |
| CN106951872A (zh) * | 2017-03-24 | 2017-07-14 | 江苏大学 | 一种基于无监督深度模型与层次属性的行人再识别方法 |
-
2017
- 2017-11-30 CN CN201711243148.8A patent/CN107977624A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103297767A (zh) * | 2012-02-28 | 2013-09-11 | 三星电子（中国）研发中心 | 一种适用于多核嵌入式平台的jpeg图像解码方法及解码器 |
| US20140241623A1 (en) * | 2013-02-22 | 2014-08-28 | Nec Laboratories America, Inc. | Window Dependent Feature Regions and Strict Spatial Layout for Object Detection |
| CN105931256A (zh) * | 2016-06-03 | 2016-09-07 | 中国地质大学（武汉） | 基于cuda的大幅面遥感影像快速分割方法 |
| CN106683109A (zh) * | 2016-12-28 | 2017-05-17 | 西安电子科技大学 | 基于语义条件随机场模型的sar图像分割方法 |
| CN106709463A (zh) * | 2016-12-29 | 2017-05-24 | 武汉大学 | 基于分层语义的sar图像分类方法 |
| CN106951872A (zh) * | 2017-03-24 | 2017-07-14 | 江苏大学 | 一种基于无监督深度模型与层次属性的行人再识别方法 |
Non-Patent Citations (3)
| Title |
|---|
| YUANSHENG LUO 等: "Size-Invariant Fully Convolutional Neural Network for Vessel Segmentation of Digital Retinal Images", 《SIGNAL AND INFORMATION PROCESSING ASSOCIATION ANNUAL SUMMIT AND CONFERENCE, 2016 ASIA-PACIFIC. IEEE》 * |
| 李维良 等: "基于并行预分割的高分辨率遥感影像多尺度分割", 《测绘通报》 * |
| 王更: "高分辨率遥感影像多尺度分割算法研究与应用", 《中国优秀硕士学位论文全文数据库-基础科学辑》 * |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657715A (zh) * | 2018-12-12 | 2019-04-19 | 广东工业大学 | 一种语义分割方法、装置、设备及介质 |
| CN109657715B (zh) * | 2018-12-12 | 2024-02-06 | 广东省机场集团物流有限公司 | 一种语义分割方法、装置、设备及介质 |
| CN109902755A (zh) * | 2019-03-05 | 2019-06-18 | 南京航空航天大学 | 一种用于xct切片的多层信息分享与纠正方法 |
| CN110796652A (zh) * | 2019-10-30 | 2020-02-14 | 上海联影智能医疗科技有限公司 | 图像处理方法、计算机设备和存储介质 |
| CN112348820A (zh) * | 2020-11-06 | 2021-02-09 | 天津市勘察设计院集团有限公司 | 基于深度辨别性增强网络的遥感影像语义分割方法 |
| CN112348820B (zh) * | 2020-11-06 | 2023-04-07 | 天津市勘察设计院集团有限公司 | 基于深度辨别性增强网络的遥感影像语义分割方法 |
| CN113192056A (zh) * | 2021-05-21 | 2021-07-30 | 北京市商汤科技开发有限公司 | 图像检测方法和相关装置、设备、存储介质 |
| CN113792742A (zh) * | 2021-09-17 | 2021-12-14 | 北京百度网讯科技有限公司 | 遥感图像的语义分割方法和语义分割模型的训练方法 |
| CN115359022A (zh) * | 2022-08-31 | 2022-11-18 | 苏州知码芯信息科技有限公司 | 一种电源芯片质量检测方法及系统 |
| CN117197471A (zh) * | 2023-11-07 | 2023-12-08 | 中国地质大学（武汉） | 一种岩性制图方法及计算机设备 |
| CN117197471B (zh) * | 2023-11-07 | 2024-02-09 | 中国地质大学（武汉） | 一种岩性制图方法及计算机设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107977624A (zh) | 一种语义分割方法、装置以及系统 | |
| CN106097353B (zh) | 基于多层次局部区域融合的物体分割方法及装置、计算设备 | |
| US9773196B2 (en) | Utilizing deep learning for automatic digital image segmentation and stylization | |
| CN109685199B (zh) | 创建包含关于池化类型的信息的表的方法和装置及使用其的测试方法和测试装置 | |
| US9349076B1 (en) | Template-based target object detection in an image | |
| CN108399386A (zh) | 饼图中的信息提取方法及装置 | |
| US9177391B1 (en) | Image-based color palette generation | |
| US9401032B1 (en) | Image-based color palette generation | |
| US9245350B1 (en) | Image-based color palette generation | |
| CN109791625A (zh) | 使用人工神经网络进行面部识别 | |
| CN108520229A (zh) | 图像检测方法、装置、电子设备和计算机可读介质 | |
| CN111126258A (zh) | 图像识别方法及相关装置 | |
| CN112819110B (zh) | 基于权重生成的增量式小样本目标检测方法及系统 | |
| CN112070079B (zh) | 基于特征图重赋权的x光违禁品包裹检测方法及装置 | |
| CN105069774B (zh) | 基于多示例学习与图割优化的目标分割方法 | |
| US10762669B2 (en) | Colorization of vector images | |
| CN111985458B (zh) | 一种检测多目标的方法、电子设备及存储介质 | |
| CN114170482B (zh) | 一种文档预训练模型训练方法、装置、设备及介质 | |
| Klein et al. | Salient pattern detection using W 2 on multivariate normal distributions | |
| CN111079807B (zh) | 一种地物分类方法及装置 | |
| US20210279279A1 (en) | Automated graph embedding recommendations based on extracted graph features | |
| CN111738252B (zh) | 图像中的文本行检测方法、装置及计算机系统 | |
| CN109919149A (zh) | 基于物体检测模型的物体标注方法及相关设备 | |
| US10748316B2 (en) | Identification and modification of similar objects in vector images | |
| CN110321892A (zh) | 一种图片筛选方法、装置及电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information | ||
| CB02 | Change of applicant information |
Address after: 101-8, 1st floor, building 31, area 1, 188 South Fourth Ring Road West, Fengtai District, Beijing Applicant after: Guoxin Youyi Data Co., Ltd Address before: 100070, No. 188, building 31, headquarters square, South Fourth Ring Road West, Fengtai District, Beijing Applicant before: SIC YOUE DATA Co.,Ltd. |
|
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20180501 |