CN112541926A - 一种基于改进FCN和DenseNet的歧义像素优化分割方法 - Google Patents
一种基于改进FCN和DenseNet的歧义像素优化分割方法 Download PDFInfo
- Publication number
- CN112541926A CN112541926A CN202011489941.8A CN202011489941A CN112541926A CN 112541926 A CN112541926 A CN 112541926A CN 202011489941 A CN202011489941 A CN 202011489941A CN 112541926 A CN112541926 A CN 112541926A
- Authority
- CN
- China
- Prior art keywords
- pixel
- segmentation
- road
- ambiguous
- resfcn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 86
- 238000000034 method Methods 0.000 title claims abstract description 28
- 238000005457 optimization Methods 0.000 title claims abstract description 16
- 238000007781 pre-processing Methods 0.000 claims abstract description 20
- 238000006243 chemical reaction Methods 0.000 claims abstract description 10
- 238000003709 image segmentation Methods 0.000 claims abstract description 9
- 238000004519 manufacturing process Methods 0.000 claims abstract description 4
- 238000010276 construction Methods 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000010586 diagram Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 6
- 238000013145 classification model Methods 0.000 claims description 4
- 230000007246 mechanism Effects 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000012795 verification Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 3
- 230000005284 excitation Effects 0.000 claims description 3
- 238000001125 extrusion Methods 0.000 claims description 3
- 238000005192 partition Methods 0.000 claims description 3
- 238000003672 processing method Methods 0.000 claims description 3
- 230000009467 reduction Effects 0.000 claims description 3
- 230000007704 transition Effects 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 2
- 238000000605 extraction Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种基于改进FCN和DenseNet的歧义像素优化分割方法，包括以下步骤：步骤S1：选取分割数据集，完成分割数据集的预处理，然后进一步完成分割数据集到分类数据集的转换制作；步骤S2：提出了一种新的语义分割网络Atrous‑ResFCN‑8s/16s/32s，并且将两个不同层次的Atrous‑ResFCN网络结合起来，用于确定语义分割的歧义像素；步骤S3：提出了一种新的图像分类网络MFR‑DenseNet，用于优化判断确定的歧义像素；将优化判断的歧义像素进行逐像素的比对还原，实现最终的分割结果。本发明有效地提高了图像分割分类精度，具有非常广泛的应用前景。
Description
技术领域
本发明涉及图像分类、图像分割及传统图像处理技术领域，特别是一种基于改进FCN和DenseNet的歧义像素优化分割方法。
背景技术
众所周知，图像的有用信息通常存在于特定的区域。因此，如果要提取该区域来获取有用的信息，则需要采用一些相关的分割技术。在2010年之前，图像分割技术仍然主要为边缘检测分割和区域生长分割。边缘检测分割是基于不同信息之间的像素特征实现分割，而区域增长分割是根据同一区域像素点的相似性来实现分割。随着以AlexNet、VGGNet等深度卷积神经网络的发展，Jonathan在2015年提出了全卷积网络(FCN)。至此，新兴的图像语义分割技术便受到学术学者的广泛关注。
在接下来的六七年时间里，诸如U-Net、SegNet、DeepLabV系列和PSPNet等语义分割网络相继出现，并取得了优异的分割效果。然而，这些语义分割网络只注重通过级联聚合、金字塔池、全连接随机条件场等不同技术进行网络结构的改进来提高分割精度。但是却一直忽略了图像细节表达在分割过程中的影响。因此，当语义分割网络在分割具有复杂特征且前景背景区域差距明显的小批量数据库时，很容易就导致分割歧义像素的出现，甚至会造成这些模糊像素的错误分割。这些问题都对进一步提升图像分割的精确度造成了阻碍，对实现分割的落地应用存在影响。
发明内容
有鉴于此，本发明的目的是提供一种基于改进FCN和DenseNet的歧义像素优化分割方法，可以实现歧义像素的精确分割。
本发明采用以下方案实现：一种基于改进FCN和DenseNet的歧义像素优化分割方法，包括以下步骤：
步骤S1：选取分割数据集，完成分割数据集的预处理，然后进一步完成分割数据集到分类数据集的转换制作；
步骤S2：提出了一种新的语义分割网络Atrous-ResFCN-8s/16s/32s，并且将两个不同层次的Atrous-ResFCN网络结合起来，用于两组不同的预分割结果的图像区域作为歧义像素区域，并将该歧义像素区域进行与原始图像比对，得到原始图像的分割歧义像素区域；
步骤S3：提出了一种新的图像分类网络MFR-DenseNet，将步骤S2中得到的原始图像的分割歧义像素区域按照分类网络MFR-DenseNet所需的分辨率大小进行图像无重叠像素的区域切割，得到相同尺度大小的像素块图像，并将分割后的歧义像素块进行一一判断是否正确；将优化判断后歧义像素正确的部分即道路部分与两组由Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像进行逐像素的比对还原，实现最终的分割结果。
进一步地，所述步骤S1具体包括以下步骤：
所述步骤S1具体包括以下步骤：
步骤S11：选取自动驾驶场景下的计算机视觉算法评测数据库——KITTI道路数据库作为样本数据库D0；
步骤S12：原始的KITTI道路数据库样本是分辨率为1242×375，位深度为24位的彩色PNG格式图；利用python程序对这些样本进行包括颜色转换、类型转换和尺寸调整的图像处理方法来进行预处理，用以避免在模型训练和测试过程中读取图像错误，最终得到样本是分辨率为512×512，位深度为8位的灰度PNG格式图,组成预处理数据库D1；将预处理数据库D1中的图像按7：3的比例划分为训练数据集和验证数据集；同时，预处理数据库D1中所有289张道路图像都被用作测试数据集；
步骤S13：由于预处理数据库D1的图像黑色背景区域过大导致道路部分无法被准确提取，通过掩膜算法来确定记录掩膜部分所在矩形区域的位置，并引入自适应框机制来进行道路区域截取；对非道路区域部分则直接根据掩膜算法将所不需要的道路部分进行0值区域屏蔽；
步骤S14：将提取的非道路和道路样本以像素重叠的方式切割成分辨率为64×64和32×32的小块；因此，得到两个不同分辨率的优化分割的数据库；分辨率为64×64的分类数据库D2，它有31171幅图像，包括23409幅非道路样本和7762幅道路样本；分辨率为32×32的分类数据库D3，它有73568个非道路样本和27400个道路样本；将分类数据库D2和D3样本划分为训练数据与验证数据集的比例为4：1。
进一步地，所述步骤S2具体包括以下步骤：
步骤S21：首先，将FCN采用的VGG-19的主体结构替换为ResNet-50的主干结构，并去掉最后一层用于分类的全连接层；在此基础上，采用空洞卷积对ResNet-50的残差模块进行了改进，即将残差模块中最后一组的所有标准卷积全部替换为空洞卷积；最后，采用FCN网络提出的跳跃连接方法来实现反卷积的输出，用于构建不同层次的语义分割网络，即Atrous ResFCN-32s/16s/8s；
步骤S22：根据不同的层级的语义分割网络Atrous ResFCN-8s和Atrous-ResFCN-16s在步骤S12所处理的处理数据库D1中来实现图像的初步分割，图像分割的结果会因为网络层级结构的不同而产生不同的分割区域，形成两幅分割区域存在显著不同的图像，通过对同一幅图像的两种不同分割网络Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像先行进行图像逐像素比对，最终确定的两组预分割结果的图像不同区域作为歧义像素区域，并将该歧义像素区域进行与原始图像逐像素比对，得到原始图像的分割歧义像素区域。
进一步地，所述步骤S3具体包括以下步骤：
步骤S31：首先，MFR-DenseNet网络堆叠两个Conv(3×3，4k)；然后，将多径密集块连接起来，最后，利用SE模块连接多径密集块和过渡层，通过挤压和激励操作，网络将获得一个校准的权重，完成MFR-DenseNet分类判断网络的构建；
步骤S32：在完成MFR-DenseNet分类判断网络的构建之后，将步骤S14所构建的优化分割数据集D2和D3分别输入步骤S31中所设计的网络结构，MFR-DenseNet网络构造出道路和非道路部分的二分类判断模型，实现两种不同分辨率大小的优化分割模型的搭建；
步骤S33：根据步骤S22得到两组由Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像，将其进行逐像素比对，最终确定了歧义像素的位置，然后对该歧义像素进行逐像素点的一一配对，利用图像掩膜算法提取出原始图像中所对应存在的分割歧义像素区域，最后将该原始歧义区域按照分类网络MFR-DenseNet所需的分辨率大小进行图像无重叠像素的区域切割，得到相同尺度大小的像素块图像；
步骤S34：将切割后的图片用构建好的MFR-DenseNet模型进行优化判断，根据二分类模型判断出来的是否是道路和非道路的结果进行像素块按顺序还原；
步骤S35：将还原得到的道路图片再与两种不同层级的Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像进行逐像素比对，将两个预分割网络相同存在的部分与MFR-DenseNet网络判断正确的部分判断正确的道路部分进行再次融合，得到最终的分割结果。
与现有技术相比，本发明具有以下有益效果：
本发明有效地提高了图像分割分类精度，具有非常广泛的应用前景。
附图说明
图1为本发明实施例的分割数据库预处理过程图。
图2为本发明实施例的分割数据集向分类数据库的转换过程图。
图3为本发明实施例的语义分割网络Atrous-ResFCN-32/16s/8s结构图。
图4为本发明实施例的分类判断网络MFR-DenseNet结构图。
图5为本发明实施例的具体流程图。
具体实施方式
下面结合附图及实施例对本发明做进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本申请提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本申请所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
如图5所示，本实施例提供一种基于改进FCN和DenseNet的歧义像素优化分割方法，包括以下步骤：
步骤S1：选取分割数据集，完成分割数据集的预处理，然后进一步完成分割数据集到分类数据集的转换制作；
步骤S2：提出了一种新的语义分割网络Atrous-ResFCN-8s/16s/32s，并且将两个不同层次的Atrous-ResFCN网络结合起来，用于两组不同的预分割结果的图像区域作为歧义像素区域，并将该歧义像素区域进行与原始图像比对，得到原始图像的分割歧义像素区域；
步骤S3：提出了一种新的图像分类网络MFR-DenseNet，将步骤S2中得到的原始图像的分割歧义像素区域按照分类网络MFR-DenseNet所需的分辨率大小进行图像无重叠像素的区域切割，得到相同尺度大小的像素块图像，并将分割后的歧义像素块进行一一判断是否正确；将优化判断后歧义像素正确的部分即道路部分与两组由Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像进行逐像素的比对还原，实现最终的分割结果。
如图1所示，在本实施例中，所述步骤S1具体包括以下步骤：
步骤S11：选取自动驾驶场景下的计算机视觉算法评测数据库——KITTI道路数据库作为样本数据库D0；
该数据库是具有复杂特征且前景背景区域差距明显的小批量数据库；
步骤S12：原始的KITTI道路数据库样本是分辨率为1242×375，位深度为24位的彩色PNG格式图；利用python程序对这些样本进行包括颜色转换、类型转换和尺寸调整的图像处理方法来进行预处理，用以避免在模型训练和测试过程中读取图像错误，最终得到样本是分辨率为512×512，位深度为8位的灰度PNG格式图,组成预处理数据库D1；另外，根据计算机视觉任务对构建分割模型的要求，我们将预处理数据库D1中的图像按7：3的比例划分为训练数据集和验证数据集；同时，预处理数据库D1中所有289张道路图像都被用作测试数据集；
步骤S13：当使用CNN构建模糊像素的最优分割模型时，我们需要相关的分类数据库。因此，我们提出了一种基于分割数据库、掩码算法和自适应框机制的数据集转换模式。具体为由于预处理数据库D1的图像黑色背景区域过大导致道路部分无法被准确提取，通过掩膜算法来确定记录掩膜部分所在矩形区域的位置，并引入自适应框机制来进行道路区域截取；对非道路区域部分则直接根据掩膜算法将所不需要的道路部分进行0值区域屏蔽；
步骤S14：将提取的非道路和道路样本以像素重叠的方式切割成分辨率为64×64和32×32的小块；因此，得到两个不同分辨率的优化分割的数据库；分辨率为64×64的分类数据库D2，它有31171幅图像，包括23409幅非道路样本和7762幅道路样本；分辨率为32×32的分类数据库D3，它有73568个非道路样本和27400个道路样本；根据计算机视觉任务对建立分类模型的要求，将分类数据库D2和D3样本划分为训练数据与验证数据集的比例为4：1。
如图2、3所示，在本实施例中，所述步骤S2具体包括以下步骤：
步骤S21：提出了一种新的基于FCN、ResNet和空洞卷积的Atrous-ResFCN语义分割网络。首先，该网络是将FCN采用的VGG-19的主体结构替换为ResNet-50的主干结构，并去掉最后一层用于分类的全连接层；在此基础上，采用空洞卷积对ResNet-50的残差模块进行了改进，即将残差模块中最后一组的所有标准卷积全部替换为空洞卷积；最后，采用FCN网络提出的跳跃连接方法来实现反卷积的输出，用于构建不同层次的语义分割网络，即AtrousResFCN-32s/16s/8s；
步骤S22：根据不同的层级的语义分割网络Atrous ResFCN-8s和Atrous-ResFCN-16s在步骤S12所处理的处理数据库D1中来实现图像的初步分割，图像分割的结果会因为网络层级结构的不同而产生不同的分割区域，形成两幅分割区域存在显著不同的图像，通过对同一幅图像的两种不同分割网络Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像先行进行图像逐像素比对，最终确定的两组预分割结果的图像不同区域作为歧义像素区域，并将该歧义像素区域进行与原始图像逐像素比对，得到原始图像的分割歧义像素区域。为歧义像素的最优判断奠定了基础。
如图4所示，在本实施例中，所述步骤S3具体包括以下步骤：
步骤S31：提出了一种新的基于DenseNet，SENet，卷积堆栈和多径级联的MFR-DenseNet分类判断网络。首先，MFR-DenseNet网络堆叠两个Conv(3×3，4k)；而不是采用瓶颈结构来改进特征提取。然后，将多径密集块连接起来，使得由不同的卷积池化结构所提取的特征能够从不同的信道中进行特征映射，有效保证了图像特征在不同通道中可以被完全提取，从而帮助建模信道的特征相关性，用以实现强特征提取；最后，利用SE模块连接多径密集块和过渡层，通过挤压和激励操作，网络将获得一个校准的权重，得到的该权重大小能够有效的考虑到来自不同密集块信道之间特征映射的相互依赖性，避免特征的重复提取，有效的加强了所需要特征的映射，完成MFR-DenseNet分类判断网络的构建。
步骤S32：在完成MFR-DenseNet分类判断网络的构建之后，将步骤S14所构建的优化分割数据集D2和D3分别输入步骤S31中所设计的网络结构，MFR-DenseNet网络构造出道路和非道路部分的二分类判断模型，实现两种不同分辨率大小的优化分割模型的搭建；
步骤S33：根据步骤S22得到两组由Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像，将其进行逐像素比对，最终确定了歧义像素的位置，然后对该歧义像素进行逐像素点的一一配对，利用图像掩膜算法提取出原始图像中所对应存在的分割歧义像素区域，最后将该原始歧义区域按照分类网络MFR-DenseNet所需的分辨率大小进行图像无重叠像素的区域切割，得到相同尺度大小的像素块图像；
步骤S34：将切割后的图片用构建好的MFR-DenseNet模型进行优化判断，根据二分类模型判断出来的是否是道路和非道路的结果进行像素块按顺序还原；
步骤S35：将还原得到的道路图片再与两种不同层级的Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像进行逐像素比对，将两个预分割网络相同存在的部分与MFR-DenseNet网络判断正确的部分判断正确的道路部分进行再次融合，得到最终的分割结果。
较佳的，本实施例可以实现歧义像素的精确分割，有效提升了分割的指标MIoU和PA，最高值可以达到87.94％和95.93％。同时，这一分割方案还提出了一种将分割数据集转化为分类数据集的预处理方法，可以有效地帮助不同的数据集实现歧义像素的优化分割。另外，该算法还提出了一种新的图像语义分割网络Atrous-ResFCN和一种新的图像分类网络MFR-DenseNet。这两个网络都具有较强的泛化能力，可以迁移到计算机视觉任务中的图像分割和分类，具有优越的性能和综合应用。
以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与修饰，皆应属本发明的涵盖范围。
Claims (4)
1.一种基于改进FCN和DenseNet的歧义像素优化分割方法，其特征在于：包括以下步骤：
步骤S1：选取分割数据集，完成分割数据集的预处理，然后进一步完成分割数据集到分类数据集的转换制作；
步骤S2：提出了一种新的语义分割网络Atrous-ResFCN-8s/16s/32s，并且将两个不同层次的Atrous-ResFCN网络结合起来，用于两组不同的预分割结果的图像区域作为歧义像素区域，并将该歧义像素区域进行与原始图像比对，得到原始图像的分割歧义像素区域；
步骤S3：提出了一种新的图像分类网络MFR-DenseNet，将步骤S2中得到的原始图像的分割歧义像素区域按照分类网络MFR-DenseNet所需的分辨率大小进行图像无重叠像素的区域切割，得到相同尺度大小的像素块图像，并将分割后的歧义像素块进行一一判断是否正确；将优化判断后歧义像素正确的部分即道路部分与两组由Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像进行逐像素的比对还原，实现最终的分割结果。
2.根据权利要求1所述的一种基于改进FCN和DenseNet的歧义像素优化分割方法，其特征在于：所述步骤S1具体包括以下步骤：
步骤S11：选取自动驾驶场景下的计算机视觉算法评测数据库——KITTI道路数据库作为样本数据库D0；
步骤S12：原始的KITTI道路数据库样本是分辨率为1242×375，位深度为24位的彩色PNG格式图；利用python程序对这些样本进行包括颜色转换、类型转换和尺寸调整的图像处理方法来进行预处理，用以避免在模型训练和测试过程中读取图像错误，最终得到样本是分辨率为512×512，位深度为8位的灰度PNG格式图,组成预处理数据库D1；将预处理数据库D1中的图像按7：3的比例划分为训练数据集和验证数据集；同时，预处理数据库D1中所有289张道路图像都被用作测试数据集；
步骤S13：由于预处理数据库D1的图像黑色背景区域过大导致道路部分无法被准确提取，通过掩膜算法来确定记录掩膜部分所在矩形区域的位置，并引入自适应框机制来进行道路区域截取；对非道路区域部分则直接根据掩膜算法将所不需要的道路部分进行0值区域屏蔽；
步骤S14：将提取的非道路和道路样本以像素重叠的方式切割成分辨率为64×64和32×32的小块；因此，得到两个不同分辨率的优化分割的数据库；分辨率为64×64的分类数据库D2，它有31171幅图像，包括23409幅非道路样本和7762幅道路样本；分辨率为32×32的分类数据库D3，它有73568个非道路样本和27400个道路样本；将分类数据库D2和D3样本划分为训练数据与验证数据集的比例为4：1。
3.根据权利要求2所述的一种基于改进FCN和DenseNet的歧义像素优化分割方法，其特征在于：所述步骤S2具体包括以下步骤：
步骤S21：首先，将FCN采用的VGG-19的主体结构替换为ResNet-50的主干结构，并去掉最后一层用于分类的全连接层；在此基础上，采用空洞卷积对ResNet-50的残差模块进行了改进，即将残差模块中最后一组的所有标准卷积全部替换为空洞卷积；最后，采用FCN网络提出的跳跃连接方法来实现反卷积的输出，用于构建不同层次的语义分割网络，即AtrousResFCN-32s/16s/8s；
步骤S22：根据不同的层级的语义分割网络Atrous ResFCN-8s和Atrous-ResFCN-16s在步骤S12所处理的处理数据库D1中来实现图像的初步分割，图像分割的结果会因为网络层级结构的不同而产生不同的分割区域，形成两幅分割区域存在显著不同的图像，通过对同一幅图像的两种不同分割网络Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像先行进行图像逐像素比对，最终确定的两组预分割结果的图像不同区域作为歧义像素区域，并将该歧义像素区域进行与原始图像逐像素比对，得到原始图像的分割歧义像素区域。
4.根据权利要求2所述的一种基于改进FCN和DenseNet的歧义像素优化分割方法，其特征在于：所述步骤S3具体包括以下步骤：
步骤S31：首先，MFR-DenseNet网络堆叠两个Conv(3×3，4k)；然后，将多径密集块连接起来，最后，利用SE模块连接多径密集块和过渡层，通过挤压和激励操作，网络将获得一个校准的权重，完成MFR-DenseNet分类判断网络的构建；
步骤S32：在完成MFR-DenseNet分类判断网络的构建之后，将步骤S14所构建的优化分割数据集D2和D3分别输入步骤S31中所设计的网络结构，MFR-DenseNet网络构造出道路和非道路部分的二分类判断模型，实现两种不同分辨率大小的优化分割模型的搭建；
步骤S33：根据步骤S22得到两组由Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像，将其进行逐像素比对，最终确定了歧义像素的位置，然后对该歧义像素进行逐像素点的一一配对，利用图像掩膜算法提取出原始图像中所对应存在的分割歧义像素区域，最后将该原始歧义区域按照分类网络MFR-DenseNet所需的分辨率大小进行图像无重叠像素的区域切割，得到相同尺度大小的像素块图像；
步骤S34：将切割后的图片用构建好的MFR-DenseNet模型进行优化判断，根据二分类模型判断出来的是否是道路和非道路的结果进行像素块按顺序还原；
步骤S35：将还原得到的道路图片再与两种不同层级的Atrous-ResFCN-16s和Atrous-ResFCN-8s所预分割出来的图像进行逐像素比对，将两个预分割网络相同存在的部分与MFR-DenseNet网络判断正确的部分判断正确的道路部分进行再次融合，得到最终的分割结果。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011489941.8A CN112541926B (zh) | 2020-12-15 | 2020-12-15 | 一种基于改进FCN和DenseNet的歧义像素优化分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011489941.8A CN112541926B (zh) | 2020-12-15 | 2020-12-15 | 一种基于改进FCN和DenseNet的歧义像素优化分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112541926A true CN112541926A (zh) | 2021-03-23 |
| CN112541926B CN112541926B (zh) | 2022-07-01 |
Family
ID=75018927
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011489941.8A Expired - Fee Related CN112541926B (zh) | 2020-12-15 | 2020-12-15 | 一种基于改进FCN和DenseNet的歧义像素优化分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112541926B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906002A (zh) * | 2021-03-26 | 2021-06-04 | 山西三友和智慧信息技术股份有限公司 | 一种基于深度学习的恶意软件识别方法 |
| CN113408457A (zh) * | 2021-06-29 | 2021-09-17 | 西南交通大学 | 一种联合高分影像和视频图像的道路信息智能提取方法 |
| CN115968760A (zh) * | 2022-12-20 | 2023-04-18 | 内蒙古农业大学 | 一种基于马铃薯根系时空分布的在地化灌溉方法 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740608A (zh) * | 2018-12-28 | 2019-05-10 | 北京工业大学 | 一种基于深度学习的图像分割方法 |
| CN110428428A (zh) * | 2019-07-26 | 2019-11-08 | 长沙理工大学 | 一种图像语义分割方法、电子设备和可读存储介质 |
| US20200258243A1 (en) * | 2019-02-07 | 2020-08-13 | Siemens Healthcare Gmbh | Dense Body Marker Estimation from Camera Data for Patient Positioning in Medical Imaging |
| CN111754396A (zh) * | 2020-07-27 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 脸部图像处理方法、装置、计算机设备和存储介质 |
-
2020
- 2020-12-15 CN CN202011489941.8A patent/CN112541926B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109740608A (zh) * | 2018-12-28 | 2019-05-10 | 北京工业大学 | 一种基于深度学习的图像分割方法 |
| US20200258243A1 (en) * | 2019-02-07 | 2020-08-13 | Siemens Healthcare Gmbh | Dense Body Marker Estimation from Camera Data for Patient Positioning in Medical Imaging |
| CN110428428A (zh) * | 2019-07-26 | 2019-11-08 | 长沙理工大学 | 一种图像语义分割方法、电子设备和可读存储介质 |
| CN111754396A (zh) * | 2020-07-27 | 2020-10-09 | 腾讯科技（深圳）有限公司 | 脸部图像处理方法、装置、计算机设备和存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| BOLIN CHEN ET AL.: "An Optimized Segmentation Scheme for Ambiguous Pixels Based on Improved FCN and DenseNet", 《CIRCUITS SYSTEMS AND SIGNAL PROCESSING》 * |
| FRAZ,M.M. ET AL.: "Uncertainty Driven Pooling Network for Microvessel Segmentation in Routine Histology Images", 《COMPUTATIONAL PATHOLOGY AND OPHTHALMIC MEDICAL IMAGE ANALYSIS》 * |
| 景庄伟 等: "基于深度神经网络的图像语义分割研究综述", 《计算机工程》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112906002A (zh) * | 2021-03-26 | 2021-06-04 | 山西三友和智慧信息技术股份有限公司 | 一种基于深度学习的恶意软件识别方法 |
| CN113408457A (zh) * | 2021-06-29 | 2021-09-17 | 西南交通大学 | 一种联合高分影像和视频图像的道路信息智能提取方法 |
| CN115968760A (zh) * | 2022-12-20 | 2023-04-18 | 内蒙古农业大学 | 一种基于马铃薯根系时空分布的在地化灌溉方法 |
| CN115968760B (zh) * | 2022-12-20 | 2024-05-28 | 内蒙古农业大学 | 一种基于马铃薯根系时空分布的在地化灌溉方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112541926B (zh) | 2022-07-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112541926B (zh) | 一种基于改进FCN和DenseNet的歧义像素优化分割方法 | |
| CN110414387B (zh) | 一种基于道路分割的车道线多任务学习检测方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN109190752B (zh) | 基于深度学习的全局特征和局部特征的图像语义分割方法 | |
| CN113449594B (zh) | 一种多层网络组合的遥感影像地类语义分割与面积计算方法 | |
| CN111046768B (zh) | 一种同时提取遥感影像道路路面和中心线的深度学习方法 | |
| CN111882620B (zh) | 一种基于多尺度信息道路可行驶区域分割方法 | |
| CN116342596B (zh) | 一种基于YOLOv5改进的变电站设备螺母缺陷识别检测方法 | |
| CN111460936A (zh) | 基于U-Net网络的遥感影像建筑物提取方法、系统、电子设备 | |
| CN112489054A (zh) | 一种基于深度学习的遥感图像语义分割方法 | |
| CN112927253B (zh) | 基于卷积神经网络的岩心fib-sem图像分割方法 | |
| CN114445442B (zh) | 基于非对称交叉融合的多光谱图像语义分割方法 | |
| CN112163490A (zh) | 一种基于场景图片的目标检测方法 | |
| CN111815526B (zh) | 基于图像滤波和cnn的有雨图像雨条纹去除方法及系统 | |
| CN114913493A (zh) | 一种基于深度学习的车道线检测方法 | |
| CN112785610B (zh) | 一种融合低层特征的车道线语义分割方法 | |
| CN117746130A (zh) | 一种基于遥感影像点状语义标签的弱监督深度学习分类方法 | |
| CN111612803B (zh) | 一种基于图像清晰度的车辆图像语义分割方法 | |
| CN117953369A (zh) | 一种融合孪生编解码和注意力机制的遥感影像变化检测方法 | |
| CN117058386A (zh) | 基于改进DeepLabv3+网络的沥青道路裂缝检测方法 | |
| CN111160282A (zh) | 一种基于二值化Yolov3网络的红绿灯检测方法 | |
| CN113223006B (zh) | 一种基于深度学习的轻量级目标语义分割方法 | |
| CN112464733A (zh) | 基于双向特征融合的高分辨率光学遥感图像地物分类方法 | |
| CN115272814B (zh) | 一种远距离空间自适应多尺度的小目标检测方法 | |
| CN118298184B (zh) | 一种基于层级式误差修正的高分辨率遥感语义分割方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20220701 |