CN115063591B - 一种基于边缘度量关系的rgb图像语义分割方法及装置 - Google Patents
一种基于边缘度量关系的rgb图像语义分割方法及装置 Download PDFInfo
- Publication number
- CN115063591B CN115063591B CN202210883738.1A CN202210883738A CN115063591B CN 115063591 B CN115063591 B CN 115063591B CN 202210883738 A CN202210883738 A CN 202210883738A CN 115063591 B CN115063591 B CN 115063591B
- Authority
- CN
- China
- Prior art keywords
- edge
- point
- semantic segmentation
- network
- measurement relation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 108
- 238000005259 measurement Methods 0.000 title claims abstract description 62
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012549 training Methods 0.000 claims abstract description 30
- 238000010586 diagram Methods 0.000 claims description 16
- 238000010276 construction Methods 0.000 claims description 15
- 238000012360 testing method Methods 0.000 claims description 14
- 238000003860 storage Methods 0.000 claims description 13
- 238000004422 calculation algorithm Methods 0.000 claims description 7
- 238000011478 gradient descent method Methods 0.000 claims description 4
- 239000010410 layer Substances 0.000 description 16
- 230000008569 process Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 4
- 238000012795 verification Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 230000002860 competitive effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000011835 investigation Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 101100295091 Arabidopsis thaliana NUDT14 gene Proteins 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000011426 transformation method Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于边缘度量关系的RGB图像语义分割方法及装置,该方法包括:构建语义分割网络的网络主体;从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块;组合所述网络主体与所述边缘度量关系模块,构建基于边缘度量关系的语义分割网络;对所述基于边缘度量关系的语义分割网络进行训练;输入待测RGB图像至训练后的语义分割网络,得到所述待测RGB图像的各语义类别分类得分和根据最高得分对应的类别生成的语义分割图像。
Description
技术领域
本发明属于计算机图像处理技术领域,尤其涉及一种基于边缘度量关系的RGB图像语义分割方法及装置。
背景技术
语义分割是计算机视觉领域的常见任务,面向RGB图像的分割任务更是其中重要分支,被广泛运用于机器人作业、自动驾驶、安防监控等领域。现阶段,大部分的RGB语义分割算法模型是以深度学习框架为基础,如FCN、UNet、DeepLab、PSPNet等。
目前,诸如上述的RGB语义分割网络在KIITI、MSRC、Coco等公开数据集上取得了较好的表现,但相应了带来了样本尺寸大、网络模型参数量多、设备算力需求高等问题。实际工程任务中,受限于光线条件复杂、待分割目标种类多、场景层次性丰富等条件,目标边缘的语义分类往往表现不佳。
在实现本发明的过程中,发明人发现现有技术中至少存在如下问题:
为降低网络的推理开销,常用的方法包括模型压缩、参数量化、输入裁剪等方法。其中,模型压缩涉及大量的模型重构工作与复杂的多阶段训练要求;参数量化与输入裁剪则会带来精度的下降。针对目标边缘表现不佳的问题,使用传统的Canny算子提取目标的边缘信息作为额外的监督信息,但带来了额外的模型推理开销。
发明内容
针对现有技术的不足,本申请实施例的目的是提供一种基于边缘度量关系的RGB图像语义分割方法及装置。
根据本申请实施例的第一方面,提供一种基于边缘度量关系的RGB图像语义分割方法,包括:
构建语义分割网络的网络主体;
从所述网络主体中提取出可分离的中间层特征图,构建边缘度量关系模块;
组合所述网络主体与所述边缘度量关系模块,构建基于边缘度量关系的语义分割网络;
对所述基于边缘度量关系的语义分割网络进行训练;
输入待测RGB图像至训练后的语义分割网络, 得到所述待测RGB图像的各语义类别分类得分和根据最高得分对应的类别生成的语义分割图像。
进一步地,所述中间层特征为所述网络主体中解码器最后一层的输出特征。
进一步地,从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块,包括:
S21:选取所述中间层特征对应的特征图中的第一个点作为当前目标点;
S22:以所述当前目标点为中心,构建预定邻域扩张系数的邻域区间;
S23:判断所述当前目标点是否为边缘冲突点;
S24:若所述当前目标点为边缘冲突点,则计算所述当前目标点与所述邻域区间内其他点之间的相对距离,得到距离集合;若所述当前目标点不为边缘冲突点,则选取下一个点作为当前目标点,并返回步骤S22;
S25:在所述边缘冲突点和所述边缘冲突点的邻域区间内,获取与所述边缘冲突点距离最近的负样本和距离最远的正样本;
S26:根据所述距离最近的负样本和距离最远的正样本,为所述边缘冲突点构建度量关系;
S27:若所述边缘冲突点不是所述特征图中的最后一个点,则选取下一个点作为当前目标点,并返回步骤S22;若所述边缘冲突点是所述特征图中的最后一个点,则所述边缘度量关系模块构建完成。
进一步地,所述边缘冲突点为包含若干种语义类别的点。
进一步地,所述边缘关系度量模块的损失为所述特征图中所有边缘冲突点的度量关系的平均值。
进一步地,对所述基于边缘度量关系的语义分割网络进行训练,包括:
获取语义分割数据集;
将所述语义分割数据集划分为训练集和测试集,其中所述测试集用于对训练后的所述语义分割网络的有效性进行验证;
对所述训练集进行数据增强;
将增强后的训练集输入所述基于边缘度量关系的语义分割网络中,基于反向传播算法与随机梯度下降法更新网络参数,直至所述基于边缘度量关系的语义分割网络的损失不再下降或已达预设的迭代次数。
进一步地,所述基于边缘度量关系的语义分割网络的损失通过对所述网络主体的损失和所述边缘关系度量模块的损失进行加权求和得到。
根据本申请实施例的第二方面,提供一种基于边缘度量关系的RGB图像语义分割装置,包括:
第一构建模块,用于构建语义分割网络的网络主体;
第二构建模块,用于从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块;
第三构建模块,用于组合所述网络主体与所述边缘度量关系模块,构建基于边缘度量关系的语义分割网络;
训练模块,用于对所述基于边缘度量关系的语义分割网络进行训练;
推理模块,用于输入待测RGB图像至训练后的语义分割网络, 得到所述待测RGB图像的各语义类别分类得分和根据最高得分对应的类别生成的语义分割图像。
根据本申请实施例的第三方面,提供一种电子设备,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的基于边缘度量关系的RGB图像语义分割方法。
根据本申请实施例的第四方面,提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如第一方面所述的基于边缘度量关系的RGB图像语义分割方法的步骤。
本申请的实施例提供的技术方案可以包括以下有益效果:
由上述实施例可知,本申请在现有的语义分割网络模型的基础上,创新性地提取网络中间层特征图以构建边缘度量关系,提升任务表现。在自动驾驶、机器人探测、地外考察等任务场景中,本申请算法能够广泛应用于其中的语义分割功能模块的优化。尤其是在算力、存储等受限的移动端平台,邻域度量关系模块不增加模型推理开销的特性,将更具有竞争力。
应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本申请的实施例,并与说明书一起用于解释本申请的原理。
图1是根据一示例性实施例示出的一种基于边缘度量关系的RGB图像语义分割方法的流程图。
图2是根据一示例性实施例示出的步骤S12的示意图。
图3是根据一示例性实施例示出的步骤S13的示意图。
图5是根据一示例性实施例示出的一种基于边缘度量关系的RGB图像语义分割装置的框图。
图6是根据一示例性实施例示出的电子设备的示意图。
具体实施方式
这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。
在本申请使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。还应当理解,本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
应当理解,尽管在本申请可能采用术语第一、第二、第三等来描述各种信息,但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如,在不脱离本申请范围的情况下,第一信息也可以被称为第二信息,类似地,第二信息也可以被称为第一信息。取决于语境,如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。
图1是根据一示例性实施例示出的一种基于边缘度量关系的RGB图像语义分割方法的流程图,如图1所示,该方法应用于终端中,可以包括以下步骤:
步骤S11:构建语义分割网络的网络主体;
步骤S12:从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块;
步骤S13:组合所述网络主体与所述边缘度量关系模块,构建基于边缘度量关系的语义分割网络;
步骤S14:对所述基于边缘度量关系的语义分割网络进行训练;
步骤S15:输入待测RGB图像至训练后的语义分割网络, 得到所述待测RGB图像的各语义类别分类得分和根据最高得分对应的类别生成的语义分割图像。
由上述实施例可知,本申请在现有的语义分割网络模型的基础上,创新性地提取网络中间层特征图以构建边缘度量关系,提升任务表现。在自动驾驶、机器人探测、地外考察等任务场景中,本申请算法能够广泛应用于其中的语义分割功能模块的优化。尤其是在算力、存储等受限的移动端平台,邻域度量关系模块不增加模型推理开销的特性,将更具有竞争力。
具体地,完整的工程流程,可以细分为基础网络构建、边缘度量关系模块构建、网络训练与推理、对比实验以及性能验证等步骤。以公开的语义分割网络为基础,引入边缘度量关系实现对比实验,通过指标性能提升、以及可视化效果,直观反映本文申请方法的有效性。
在步骤S11的具体实施中,构建语义分割网络的网络主体;
具体地,语义分割网络的网络主体的构建,可以使用任意的、中间层特征图可分离的语义分割模型,如FCN、Deep-Lab、U-Net等。上述列举模型为业界常见的、公开的语义分割模型框架,其性能表现在相应任务上都已经得到验证,此处不作赘述。
本申请实施例基于开源的深度学习框架Pytorch,以及开源的 Deeplab-v3模型,
实现网络主体的部署。具体地,使用的Deeplab-v3中解码器部分采用Resnet-50(记
为),编码器(记为)部分采用多尺度空洞卷积(ASPP)模块。其中,Resnet结构中
包含了4组可分离的中间层特征,记为。
步骤S11中,选用了公开的语义分割模型作为基础网络,并在相应数据集上进行训练与测试,后续与本文所提的边缘度量关系模块共同组成了对比实验。同时,引入可分离的中间层特征,为邻域度量关系模块的构建提供了更多的、不同层级的输入特征。
在步骤S12的具体实施中,从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块;
具体地,如图2所示,此步骤可以包括以下子步骤:
步骤S21:选取所述中间层特征对应的特征图中的第一个点作为当前目标点;
步骤S22:以所述当前目标点为中心,构建预定邻域扩张系数的邻域区间;
本申请以邻域扩张区间的方式,取代传统的Canny算子以发掘边缘冲突点。可以通过调整中心扩张系数的方式,将少量的边缘有效目标样本进行扩充。
步骤S23:判断所述当前目标点是否为边缘冲突点;
具体地,所述边缘冲突点为包含若干种语义类别的点,其判别公式表示为:
步骤S24:若所述当前目标点为边缘冲突点,则计算所述当前目标点与所述邻域区间内其他点之间的相对距离,得到距离集合;若所述当前目标点不为边缘冲突点,则选取下一个点作为当前目标点,并返回步骤S22;
步骤S21~S24中,引入了边缘冲突点的概念以及判断,使得边缘度量关系模块更加关注易错分的边缘像素点,并有效了降低了边缘度量关系模块的计算量。
步骤S25:在所述边缘冲突点和所述边缘冲突点的邻域区间内,获取与中心点距离最近的负样本和距离最远的正样本;
边缘冲突点的邻域区间内存在大量与中心点相对应的正、负样本,而选取其中的最近距离负样本、最远距离负样本,具有更好的代表意义、并能够提升网络的更新速度。
步骤S26:根据所述距离最近的负样本和距离最远的正样本,为所述边缘冲突点构建度量关系;
步骤S27:若所述边缘冲突点不是所述特征图中的最后一个点,则选取下一个点作为当前目标点,并返回步骤S22;若所述边缘冲突点是所述特征图中的最后一个点,则所述边缘度量关系模块构建完成。
在步骤S13的具体实施中,组合所述网络主体与所述边缘度量关系模块,构建基于边缘度量关系的语义分割网络;
具体地,组合语义分割网络主体与边缘度量关系模块,构建出完整的基于边缘度
量关系的语义分割网络。本申请中,后续还会以基于边缘度量关系的语义分割网络、以及网络主体构建对比实验,以验证边缘度量关系模块的有效性。
在步骤S14的具体实施中,对所述基于边缘度量关系的语义分割网络进行训练;
具体地,如图3所示,此步骤可以包括以下子步骤:
步骤S31:获取语义分割数据集;
在一实施例中,选用公开的NYU-depth v2语义分割数据集进行训练,其包含带标注的RGB-D图像1449张。该数据集为典型的室内场景,其中样本存在目标样本前后遮挡、目标边缘不清晰、环境光线不统一等挑战。
步骤S32:将所述语义分割数据集划分为训练集和测试集,其中所述测试集用于对训练后的所述语义分割网络的有效性进行验证;
在本实施例中,参照数据集官方定义,分别划分795、645张作为训练集与测试集,划分的数量为本领域内的常规设置,此处不作赘述。在测试集的验证过程中,所述测试集中的所有样本将分别输入所述网络主体和训练后的基于边缘度量关系的语义分割网络进行推理,以构建对比试验,验证训练后的基于边缘度量关系的语义分割网络相较于所述网络主体的更优性。
步骤S33:对所述训练集进行数据增强;
具体地,记输入网络的RGB训练数据集为,相应的语义标签图为。
训练过程中,在线使用随机翻转、剪裁、gamma值变换方法进行数据增强。上述数据增强方
法,能够确保在数据样本数目有限的条件下,模拟出更多的样本分布情况,提升模型在测试
集上的表现。
步骤S34:将增强后的训练集输入所述基于边缘度量关系的语义分割网络中,基于反向传播算法与随机梯度下降法更新网络参数,直至所述基于边缘度量关系的语义分割网络的损失不再下降或已达预设的迭代次数。
训练过程中,语义分割网络的编码器部分所用的Resnet-50结构加载了ImageNet
的预训练参数。网络的更新则以为目标,并采用反向传播算法与随机梯度下降法更
新网络参数,直至损失不再下降或已达预设的迭代次数。在一实施例中,更新过程中的初
始学习率为0.01,并隔16次迭代,学习率乘以系数0.1。
在步骤S15的具体实施中,输入待测RGB图像至训练后的语义分割网络, 得到所述待测RGB图像的各语义类别分类得分和根据最高得分对应的类别生成的语义分割图像。
具体地,模型地推理过程中,边缘度量关系模块将不参与计算,其开销与基础的语
义分割网络保持一致。如图4中的(a)所示,输入待测试的RGB图像,模型将输出各语义类
别分类得分,并以最高得分对应的类别生成如图4中的(b)所示的语义分割图像,公式如下:
其中,l表示待测试图片的序号;n=40表示NYU-depth v2数据集中的40类语义标注。
在本实施例中,如步骤S13的具体实施部分,分别围绕网络主体与基于边缘
度量关系的语义分割网络进行对比实验,验证边缘度量关系的有效性。待步骤S15中
所有的测试样本推理完毕,统计其输出结果并与真实标签进行对比,以平均交并比(m-IOU)
指标评估模型的性能。验证结果表明,边缘度量关系模块的引入给当前的语义分割任务带
来了显著的提升,,相较于只使用主体网络提升了3.52%。进一步地,对比图4中
的(c)所示主体网络的结果,以及图4中的(d)所示的引入边缘度量关系的网络
结果,后者在边缘上表现出了更好的性能。至此,完成了结果验证以及可视化分析。
与前述的基于边缘度量关系的RGB图像语义分割方法的实施例相对应,本申请还提供了基于边缘度量关系的RGB图像语义分割装置的实施例。
图5是根据一示例性实施例示出的一种基于边缘度量关系的RGB图像语义分割装置框图。参照图5,该装置可以包括:
第一构建模块21,用于构建语义分割网络的网络主体;
第二构建模块22,用于从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块;
第三构建模块23,用于组合所述网络主体与所述边缘度量关系模块,构建基于边缘度量关系的语义分割网络;
训练模块24,用于对所述基于边缘度量关系的语义分割网络进行训练;
推理模块25,用于输入待测RGB图像至训练后的语义分割网络, 得到所述待测RGB图像的各语义类别分类得分和根据最高得分对应的类别生成的语义分割图像。
关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
相应的,本申请还提供一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序;当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如上述的基于边缘度量关系的RGB图像语义分割方法。如图6所示,为本发明实施例提供的一种基于边缘度量关系的RGB图像语义分割方法所在任意具备数据处理能力的设备的一种硬件结构图,除了图6所示的处理器、内存以及网络接口之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。
相应的,本申请还提供一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如上述的基于边缘度量关系的RGB图像语义分割方法。所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是风力发电机的外部存储设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(FlashCard)等。进一步的,所述计算机可读存储介还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
应当理解的是,本申请并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。
Claims (9)
1.一种基于边缘度量关系的RGB图像语义分割方法,其特征在于,包括:
构建语义分割网络的网络主体;
从所述网络主体中提取出可分离的中间层特征图,构建边缘度量关系模块;
组合所述网络主体与所述边缘度量关系模块,构建基于边缘度量关系的语义分割网络;
对所述基于边缘度量关系的语义分割网络进行训练;
输入待测RGB图像至训练后的语义分割网络, 得到所述待测RGB图像的各语义类别分类得分和根据最高得分对应的类别生成的语义分割图像;
其中,从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块,包括:
S21:选取所述中间层特征对应的特征图中的第一个点作为当前目标点;
S22:以所述当前目标点为中心,构建预定邻域扩张系数的邻域区间;
S23:判断所述当前目标点是否为边缘冲突点;
S24:若所述当前目标点为边缘冲突点,则计算所述当前目标点与所述邻域区间内其他点之间的相对距离,得到距离集合;若所述当前目标点不为边缘冲突点,则选取下一个点作为当前目标点,并返回步骤S22;
S25:在所述边缘冲突点和所述边缘冲突点的邻域区间内,获取与所述边缘冲突点距离最近的负样本和距离最远的正样本;
S26:根据所述距离最近的负样本和距离最远的正样本,为所述边缘冲突点构建度量关系;
S27:若所述边缘冲突点不是所述特征图中的最后一个点,则选取下一个点作为当前目标点,并返回步骤S22;若所述边缘冲突点是所述特征图中的最后一个点,则所述边缘度量关系模块构建完成。
2.根据权利要求1所述的方法,其特征在于,所述中间层特征为所述网络主体中解码器最后一层的输出特征。
3.根据权利要求1所述的方法,其特征在于,所述边缘冲突点为包含若干种语义类别的点。
4.根据权利要求1所述的方法,其特征在于,所述边缘度量关系模块的损失为所述特征图中所有边缘冲突点的度量关系的平均值。
5.根据权利要求1所述的方法,其特征在于,对所述基于边缘度量关系的语义分割网络进行训练,包括:
获取语义分割数据集;
将所述语义分割数据集划分为训练集和测试集,其中所述测试集用于对训练后的所述语义分割网络的有效性进行验证;
对所述训练集进行数据增强;
将增强后的训练集输入所述基于边缘度量关系的语义分割网络中,基于反向传播算法与随机梯度下降法更新网络参数,直至所述基于边缘度量关系的语义分割网络的损失不再下降或已达预设的迭代次数。
6.根据权利要求1所述的方法,其特征在于,所述基于边缘度量关系的语义分割网络的损失通过对所述网络主体的损失和所述边缘度量关系模块的损失进行加权求和得到。
7.一种基于边缘度量关系的RGB图像语义分割装置,其特征在于,包括:
第一构建模块,用于构建语义分割网络的网络主体;
第二构建模块,用于从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块;
第三构建模块,用于组合所述网络主体与所述边缘度量关系模块,构建基于边缘度量关系的语义分割网络;
训练模块,用于对所述基于边缘度量关系的语义分割网络进行训练;
推理模块,用于输入待测RGB图像至训练后的语义分割网络, 得到所述待测RGB图像的各语义类别分类得分和根据最高得分对应的类别生成的语义分割图像;
其中,从所述网络主体中提取可分离的中间层特征,构建边缘度量关系模块,包括:
S21:选取所述中间层特征对应的特征图中的第一个点作为当前目标点;
S22:以所述当前目标点为中心,构建预定邻域扩张系数的邻域区间;
S23:判断所述当前目标点是否为边缘冲突点;
S24:若所述当前目标点为边缘冲突点,则计算所述当前目标点与所述邻域区间内其他点之间的相对距离,得到距离集合;若所述当前目标点不为边缘冲突点,则选取下一个点作为当前目标点,并返回步骤S22;
S25:在所述边缘冲突点和所述边缘冲突点的邻域区间内,获取与所述边缘冲突点距离最近的负样本和距离最远的正样本;
S26:根据所述距离最近的负样本和距离最远的正样本,为所述边缘冲突点构建度量关系;
S27:若所述边缘冲突点不是所述特征图中的最后一个点,则选取下一个点作为当前目标点,并返回步骤S22;若所述边缘冲突点是所述特征图中的最后一个点,则所述边缘度量关系模块构建完成。
8.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-6任一项所述的基于边缘度量关系的RGB图像语义分割方法。
9.一种计算机可读存储介质,其上存储有计算机指令,其特征在于,该指令被处理器执行时实现如权利要求1-6中任一项所述的基于边缘度量关系的RGB图像语义分割方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210883738.1A CN115063591B (zh) | 2022-07-26 | 2022-07-26 | 一种基于边缘度量关系的rgb图像语义分割方法及装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210883738.1A CN115063591B (zh) | 2022-07-26 | 2022-07-26 | 一种基于边缘度量关系的rgb图像语义分割方法及装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN115063591A CN115063591A (zh) | 2022-09-16 |
CN115063591B true CN115063591B (zh) | 2022-11-29 |
Family
ID=83206751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210883738.1A Active CN115063591B (zh) | 2022-07-26 | 2022-07-26 | 一种基于边缘度量关系的rgb图像语义分割方法及装置 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115063591B (zh) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241972A (zh) * | 2018-08-20 | 2019-01-18 | 电子科技大学 | 基于深度学习的图像语义分割方法 |
CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及系统 |
WO2020156303A1 (zh) * | 2019-01-30 | 2020-08-06 | 广州市百果园信息技术有限公司 | 语义分割网络的训练方法及装置、基于语义分割网络的图像处理方法及装置、设备、存储介质 |
CN112907986A (zh) * | 2021-01-12 | 2021-06-04 | 浙江大学 | 一种基于数字孪生场景和边缘云的动态时间窗路口调度方法 |
EP3965052A1 (en) * | 2020-09-04 | 2022-03-09 | Robert Bosch GmbH | Device and method of training a generative neural network |
CN114187311A (zh) * | 2021-12-14 | 2022-03-15 | 京东鲲鹏(江苏)科技有限公司 | 一种图像语义分割方法、装置、设备及存储介质 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110047332A (zh) * | 2019-04-18 | 2019-07-23 | 太原理工大学 | 一种基于飞行计划的冲突检测方法 |
US11010929B2 (en) * | 2019-07-30 | 2021-05-18 | Hewlett Packard Enterprise Development Lp | Image compression with bounded deep neural network perception loss |
CN114495578B (zh) * | 2022-02-22 | 2022-12-02 | 上海交通大学 | 一种基于冲突点的多虚拟车队的无信号灯路口车辆调度方法 |
-
2022
- 2022-07-26 CN CN202210883738.1A patent/CN115063591B/zh active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109241972A (zh) * | 2018-08-20 | 2019-01-18 | 电子科技大学 | 基于深度学习的图像语义分割方法 |
WO2020156303A1 (zh) * | 2019-01-30 | 2020-08-06 | 广州市百果园信息技术有限公司 | 语义分割网络的训练方法及装置、基于语义分割网络的图像处理方法及装置、设备、存储介质 |
CN111292330A (zh) * | 2020-02-07 | 2020-06-16 | 北京工业大学 | 基于编解码器的图像语义分割方法及装置 |
CN111462126A (zh) * | 2020-04-08 | 2020-07-28 | 武汉大学 | 一种基于边缘增强的语义图像分割方法及系统 |
EP3965052A1 (en) * | 2020-09-04 | 2022-03-09 | Robert Bosch GmbH | Device and method of training a generative neural network |
CN112907986A (zh) * | 2021-01-12 | 2021-06-04 | 浙江大学 | 一种基于数字孪生场景和边缘云的动态时间窗路口调度方法 |
CN114187311A (zh) * | 2021-12-14 | 2022-03-15 | 京东鲲鹏(江苏)科技有限公司 | 一种图像语义分割方法、装置、设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
基于加权损失函数的多尺度对抗网络图像语义分割算法;张宏钊等;《计算机应用与软件》;20200112(第01期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN115063591A (zh) | 2022-09-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111860573B (zh) | 模型训练方法、图像类别检测方法、装置和电子设备 | |
US10769487B2 (en) | Method and device for extracting information from pie chart | |
CN111754596B (zh) | 编辑模型生成、人脸图像编辑方法、装置、设备及介质 | |
CN109960742B (zh) | 局部信息的搜索方法及装置 | |
CN105005772A (zh) | 一种视频场景检测方法 | |
CN113486981A (zh) | 基于多尺度特征注意力融合网络的rgb图像分类方法 | |
CN114241505B (zh) | 化学结构图像的提取方法、装置、存储介质及电子设备 | |
CN113762303B (zh) | 图像分类方法、装置、电子设备及存储介质 | |
CN111814821A (zh) | 深度学习模型的建立方法、样本处理方法及装置 | |
CN111739037A (zh) | 一种针对室内场景rgb-d图像的语义分割方法 | |
CN113569687B (zh) | 基于双流网络的场景分类方法、系统、设备及介质 | |
CN108428234B (zh) | 基于图像分割结果评价的交互式分割性能优化方法 | |
CN102148919B (zh) | 一种球类检测的方法及系统 | |
CN111242114B (zh) | 文字识别方法及装置 | |
CN115063591B (zh) | 一种基于边缘度量关系的rgb图像语义分割方法及装置 | |
CN116977859A (zh) | 基于多尺度图像切割和实例困难度的弱监督目标检测方法 | |
CN116541507A (zh) | 一种基于动态语义图神经网络的视觉问答方法及系统 | |
CN116048682B (zh) | 一种终端系统界面布局对比方法及电子设备 | |
CN113569684B (zh) | 短视频场景分类方法、系统、电子设备及存储介质 | |
CN115512428A (zh) | 一种人脸活体判别方法、系统、装置和存储介质 | |
CN113780335B (zh) | 一种小样本商品图像分类方法、装置、设备及存储介质 | |
CN115620083A (zh) | 模型训练方法、人脸图像质量评价方法、设备及介质 | |
CN113537207B (zh) | 视频处理方法、模型的训练方法、装置以及电子设备 | |
CN114782983A (zh) | 基于改进特征金字塔和边界损失的道路场景行人检测方法 | |
CN111459050B (zh) | 一种基于双网互联的智慧仿真型护理教学系统及教学方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |