CN114399640A - 一种不确定区域发现与模型改进的道路分割方法及装置 - Google Patents

一种不确定区域发现与模型改进的道路分割方法及装置 Download PDF

Info

Publication number
CN114399640A
CN114399640A CN202210292106.8A CN202210292106A CN114399640A CN 114399640 A CN114399640 A CN 114399640A CN 202210292106 A CN202210292106 A CN 202210292106A CN 114399640 A CN114399640 A CN 114399640A
Authority
CN
China
Prior art keywords
model
segmentation
segmentation model
target domain
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210292106.8A
Other languages
English (en)
Other versions
CN114399640B (zh
Inventor
简国堂
田彦
王勋
徐晓刚
王军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Gongshang University
Zhejiang Lab
Original Assignee
Zhejiang Gongshang University
Zhejiang Lab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Gongshang University, Zhejiang Lab filed Critical Zhejiang Gongshang University
Priority to CN202210292106.8A priority Critical patent/CN114399640B/zh
Publication of CN114399640A publication Critical patent/CN114399640A/zh
Application granted granted Critical
Publication of CN114399640B publication Critical patent/CN114399640B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

本发明公开了一种不确定区域发现与模型改进的道路分割方法及装置,首先使用来自源域的标记数据来学习初始分割模型,然后初始分割模型在目标域中进行自训练得到不同分割模型,通过对比来自不同分割模型的分割结果确定目标域图像中的不确定区域并进行标记,从而解决伪标签中的冗余和噪声导致的分割模型性能下降问题;然后再根据标记信息对模型进行优化,采用师生模块,学生模型专注于合并新的标记信息,而教师模型平衡历史模型和标记信号以防止对标记区域的过度拟合;新优化分割模型再次进行自训练得到不同分割模型,重复上述步骤,直到达到设定的停止条件。

Description

一种不确定区域发现与模型改进的道路分割方法及装置
技术领域
本发明涉及道路分割技术,尤其是涉及一种不确定区域发现与模型改进的道路分割方法及装置。
背景技术
在过去的十年中,道路分割一直是一个活跃的研究领域。它在交通场景图像中检测和划分道路区域,是交通信号处理的基本模块,常应用于交通监控、自动驾驶、图像检索、场景理解等。当从源域图像学习的原始分割模型应用到目标域图像,尤其是更具挑战性的目标域图像时,由于新的测试数据与训练数据分布不同,原始分割模型难以保持原有的识别能力。大量耗费人力与时间的像素级标注和微调分割模型是不切实际的。无监督域自适应通过最小化源域图像的特定于任务的损失和领域对抗性损失,或者用生成的特定于目标的伪标签重新训练模型来将源域的知识转移到目标域,或者用生成的目标特定伪标签重新训练模型。第二种方法叫做自我训练法,该方法通过引入强假设来减少伪标签中的冗余和噪声,而在领域自适应方面,虽然自训练方法会产生伪标签来重新训练模型,但伪标签中的冗余和噪声会导致模型的改进有限。
发明内容
为解决现有技术的不足,实现提高道路分割准确性的目的,本发明采用如下的技术方案:
一种不确定区域发现与模型改进的道路分割方法,包括如下步骤:
步骤S1,获取从源域图像学习的初始分割模型,将初始分割模型在目标域中进行自训练,得到目标域自训练分割模型,目标域自训练分割模型包括一个共享编码器和分别与共享编码器连接的一组并行的解码器,通过不同解码器输出的分割结果,确定目标域图像中的不确定区域并进行标记,从而解决伪标签中的冗余和噪声导致的模型提升有限的问题;
步骤S2,模型优化,将手动标记获得的不确定区域的监督信息,合并到初始分割模型中,对初始分割模型进行优化,基于优化后的初始分割模型构建学生分割模型;基于源域训练的初始分割模型构建教师分割模型,利用学生分割模型参数,更新教师分割模型;利用师生模型防止将优化重心放在不确定区域上而忽略了最初具有良好预测的区域,该方法既考虑了源域数据的先验信息,又考虑了目标域数据的校正信息,避免了标注区域学习的过拟合问题;
步骤S3,更新后的教师分割模型作为初始分割模型,在目标域中再次进行自训练,重复上述步骤,直到达到设定的停止条件,完成训练后,将最终的教师分割模型作为目标域的道路分割模型。
进一步地,所述步骤S1中的初始分割模型,通过带标签的源域图像数据集训练得到,基于真实的分割掩码图像的每个像素,及训练初始分割模型时预测的分割掩码图像,采用交叉熵代价函数训练初始分割模型。
进一步地,所述步骤S1的目标域自训练分割模型,通过目标域图像数据集训练初始分割模型得到,将初始分割模型的编码器和解码器参数,作为初始化的目标域自训练分割模型编码器和解码器的参数,对初始分割模型与目标域自训练分割模型的编码器输出,计算编码器的交叉熵代价函数,并基于目标域图像数量求均值,对初始分割模型与目标域自训练分割模型的解码器输出,计算的解码器的交叉熵代价函数,通过均值与解码器的交叉熵代价函数,构建最小化自训练代价函数,对目标域自训练分割模型进行训练。
进一步地,所述步骤S1的确定目标域图像中的不确定区域,是对于同一区域,通过目标域自训练分割模型的一组并行编码器后,在一个解码器输出中检测到但在其他并行的解码器输出中没有检测到的区域为不确定的区域。
进一步地,所述步骤S1中,目标域自训练分割模型采用两个并行的解码器,确定目标域图像中的不确定区域时,对于同一区域,通过目标域自训练分割模型的两个并行编码器后,在一个解码器输出中检测到但在另一个并行的解码器输出中没有检测到的区域为不确定的区域。
进一步地,步骤S1中,为了增加两个解码器之间的差异,以从不同方面增强对道路区域的理解,并减少编码器在不同解码器下的差异,以对齐源域和目标域之间的特征图分布,设计了一个min-max差异增加代价函数,具体的设计如下:基于余弦相似度,构建并优化差异增加代价函数,对目标域自训练分割模型的两个解码器输出进行差异增加,根据差异增加后的解码器输出,确定目标域图像中的不确定区域。
进一步地,所述步骤S2中的学生分割模型,通过标记区域的真实分割掩码图像和学生分割模型预测的分割掩码图像,计算标记区域的交叉熵损失,使得优化后的模型,提高了对不确定区域的理解能力,以及通过学生分割模型的编码器和解码器权重和初始分割模型的编码器和解码器权重计算第一正则化项,对学生分割模型进行优化,用于防止优化后的模型远离初始训练集模式。
进一步地,为了增强模型分割掩码的局部平滑度,基于目标域自训练模型预测的分割掩码图像和高斯核,构建第二正则化项,并基于所述标记区域的交叉熵代价函数、第一正则化项和第二正则化项,构建训练学生分割模型的总代价函数。
进一步地,教师分割模型,通过上一次迭代的教师分割模型和当前学生分割模型的编码器参数,得到当前教师分割模型的编码器参数,通过上一次迭代的教师分割模型和当前学生分割模型的解码器参数,得到当前教师分割模型的解码器参数,以循环的方式更新教师分割模型,知道达到迭代停止条件,防止教师分割模型更新过程中对标注区域过拟合,从而避免因为没有充分考虑源域的先验知识而导致模型的过拟合现象。
一种不确定区域发现与模型改进的道路分割装置,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现所述的一种不确定区域发现与模型改进的道路分割方法。
本发明的优势和有益效果在于:
本发明提出了面向域自适应的分割模型学习方法及装置,通过发现和标注目标域中的不确定区域来改进分割模型,通过对比对不同分割模型的理解来定位有价值的待标记区域,设计了一种先验知识和校正信息相结合的机制,以降低过拟合风险,最终提高道路分割的准确性。
附图说明
图1是本发明的方法流程图;
图2是本发明实施例提供的道路分割的整体框架示意图;
图3是本发明实施例提供的确定不确定区域的方法示意图;
图4是本发明实施例在KITTI基准上的分割结果示意图;
图5是本发明的装置结构图。
具体实施方式
以下结合附图对本发明的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本发明,并不用于限制本发明。
本实施例提供的道路分割方法可以明确标识交通数据中的道路位置,并给出对应掩码。采用本实施方式对交通数据中的道路进行分割的过程包括训练和测试两个部分。下面结合附图介绍本实施例所采用的道路分割模型。
如图1、图2所示,一种不确定区域发现与模型改进的道路分割方法,首先获取从源域学习的初始分割模型,初始分割模型是通过使用来自源域的标记数据来学习的,通过对比来自不同分割器的结果找到不匹配区域,确定目标域的图像中的不确定区域并进行标记,从而解决伪标签中的冗余和噪声导致的模型性能下降问题,然后再根据监督信息对模型进行优化,重复此循环,直到达到设定的停止条件;本发明方法基于域自适应,采用师生模块,学生模型专注于合并新的标记信息,而教师模型用于平衡历史模型和监督信号以防止对注释区域的过度拟合,解决因为过度关注带注释的区域而忽略最初预测效果良好的区域的问题。
来自源域和目标域的图像的分辨率可以不同,并且因为使用的是卷积的操作,所以不必对图像实现调整大小的操作。
本发明实施例中,采用Tian交通数据集作为源域,KITTI道路数据集作为目标域用于道路分割模型的训练,其中Tian交通数据集收集自桥梁、隧道、公路和城市环境。培训、验证和测试图像的数量分别为16000、2000和1000,图像的初始分辨率为1080×720。真实的道路分割标签将道路区域与其余区域区分开来。KITTI道路数据集中,训练图像和测试图像的数量分别为289个和290个。图像分辨率为375×1242。道路部分通常是可见的,因为交通密度相对较低。
在训练期间,数据增强采用了平移,缩放和翻转。分割模型的基线是DeepLabV3+,采用ResNet101作为骨干网络。初始网络使用rmspro进行训练,batch尺寸为8。训练初始学习率为0.006,并在 epoch 数达到30个epoch后减少50倍,并一共训练50个epoch。
该方法具体包括以下步骤:
步骤S1,获取从源域图像学习的初始分割模型,将初始分割模型在目标域中进行自训练,得到目标域自训练分割模型,目标域自训练分割模型包括一个共享编码器和分别与共享编码器连接的一组并行的解码器,通过不同解码器输出的分割结果,确定目标域图像中的不确定区域并进行标记,从而解决伪标签中的冗余和噪声导致的模型提升有限的问题。
初始分割模型通过带标签的源域图像数据集训练得到,基于真实的分割掩码图像的每个像素,及训练初始分割模型时预测的分割掩码图像,采用交叉熵代价函数训练初始分割模型。
具体地,初始分割模型通过带标签的源域图像数据集
Figure DEST_PATH_IMAGE001
(如Tian交通数据 集)训练得到,X s 表示输入图像,Y s 表示输入图像对应的分割掩码图像,S表示图像数量,s表 示索引,每个图像包含N s 个像素,训练初始分割模型的代价函数采用交叉熵代价函数:
Figure 420361DEST_PATH_IMAGE002
其中,
Figure 540763DEST_PATH_IMAGE003
表示训练分割模型时预测的分割掩码图像,
Figure DEST_PATH_IMAGE004
表示第s张图像的第i个元 素的分割掩码图像。
如图3所示,目标域自训练分割模型,通过目标域图像数据集训练初始分割模型得到,将初始分割模型的编码器和解码器参数,作为初始化的目标域自训练分割模型编码器和解码器的参数,对初始分割模型与目标域自训练分割模型的编码器输出,计算编码器的交叉熵代价函数,并基于目标域图像数量求均值,对初始分割模型与目标域自训练分割模型的解码器输出,计算的解码器的交叉熵代价函数,通过均值与解码器的交叉熵代价函数,构建最小化自训练代价函数,对目标域自训练分割模型进行训练。
具体地,目标域自训练分割模型,通过目标域图像数据集
Figure 756719DEST_PATH_IMAGE005
训练初始分割模 型得到,初始分割模型的编码器g(·)(包括主干网络)和解码器f(·)的参数分别为αβ, 初始化的目标域自训练分割模型的编码器参数为α’=α,两个并行的解码器参数为β’ 1 =ββ’ 2 =β,目标域自训练分割模型的编码器输出为g α (X t ),解码器输出分别为f β‘1 (g α (X t ))和f β‘2 (g α (X t )),为确保构建模型的两个解码器在目标数据集上产生令人满意的分割结果,对自训练 代价函数进行优化,代价函数设计如下:基于所述交叉熵(Cross Entropy)代价函数,构建 最小化自训练代价函数L Self ,公式如下:
Figure DEST_PATH_IMAGE006
其中,T表示目标域图像数量,t表示目标域图像索引,代价函数L CE 表示交叉熵代价函数,OH(·)表示独热one-hot向量(一个类别为1,其余类别为0)生成函数。
确定目标域图像中的不确定区域,是对于同一区域,通过目标域自训练分割模型的一组并行编码器后,在一个解码器输出中检测到但在其他并行的解码器输出中没有检测到的区域为不确定的区域。
进一步地,目标域自训练分割模型采用两个并行的解码器,确定目标域图像中的不确定区域时,对于同一区域,通过目标域自训练分割模型的两个并行编码器后,在一个解码器输出中检测到但在另一个并行的解码器输出中没有检测到的区域为不确定的区域。
具体地,将f β‘1 (g α (X t ))和f β‘2 (g α (X t ))进行分析,对于同一区域,通过目标域自训练分割模型的两个并行编码器后得到的输出分别为f β‘1 (g α‘ (X t ))和f β‘2 (g α’ (X t )),通过比较f β‘1 (g α‘ (X t ))及f β‘2 (g α’ (X t ))的异同,即在一个解码器输出f β‘1 (g α‘ (X t ))中检测到但在另一个并行的解码器输出f β‘2 (g α’ (X t ))中没有检测到的区域,以及一个解码器输出f β‘2 (g α’ (X t ))中检测到但在另一个解码器输出f β‘1 (g α‘ (X t )) 中没有检测到的区域为不确定的区域,找到不确定区域后再进行人为标记。
基于余弦相似度,构建并优化差异增加代价函数,对目标域自训练分割模型的两个解码器输出进行差异增加,根据差异增加后的解码器输出,确定目标域图像中的不确定区域。
为了增加两个解码器之间的差异,以从不同方面增强对道路区域的理解,并减少编码器在不同解码器下的差异,以对齐源域和目标域之间的特征图分布,设计了一个min-max差异增加代价函数,具体的设计如下:基于余弦相似度,构建并优化差异增加代价函数L dis ,对目标域自训练分割模型的两个解码器输出f β‘1 (g α (X t ))和f β‘2 (g α (X t ))进行差异增加,根据差异增加后的解码器输出,确定目标域图像中的不确定区域。
具体地,差异增加代价函数公式如下:
Figure 89611DEST_PATH_IMAGE007
其中,Cos(·)表示余弦相似度。
不确定区域由两个不同类别的分类器预测的像素差异所构成,两个不同分类器的输入都为目标域图像并共享一个编码器,每个分类器对应一个独立的解码器,通过对比两个分类器的不同得到不确定区域;具体为:分类时基于编码器解码器的方法,将源域图像数据输入到共享编码器g中,将经过编码器g得到的输出分别输入解码器f 1解码器f 2中;将f 1f 2的输出进行如下联合分析:利用解码器对同一区域产生的不同输出,确定不确定的区域。
步骤S2,模型优化,将手动标记获得的不确定区域的监督信息,合并到初始分割模型中,对初始分割模型进行优化,基于优化后的初始分割模型构建学生分割模型,基于源域训练的初始分割模型构建教师分割模型,利用学生分割模型参数,更新教师分割模型。
利用师生模型防止将优化重心放在不确定区域上而忽略了最初具有良好预测的区域,该方法既考虑了源域数据的先验信息,又考虑了目标域数据的校正信息,避免了标注区域学习的过拟合问题。
学生分割模型,通过标记区域的真实分割掩码图像和学生分割模型预测的分割掩码图像,计算标记区域的交叉熵损失,使得优化后的模型,提高了对不确定区域的理解能力,以及通过学生分割模型的编码器和解码器权重和初始分割模型的编码器和解码器权重计算第一正则化项,对学生分割模型进行优化,用于防止优化后的模型远离初始训练集模式。学生模型的构造如下:
具体地,标记区域的交叉熵代价函数为:
Figure DEST_PATH_IMAGE008
其中
Figure 841667DEST_PATH_IMAGE009
表示真实的标记区域分割掩码图像,
Figure 70654DEST_PATH_IMAGE010
表示学生分割模型预测的标记区 域分割掩码图像,n t 表示标记区域的像素个数,M t 表示目标域分割掩码图像数量;
第一正则化项为:
Figure DEST_PATH_IMAGE011
其中α’ stu β’ stu 表示学生分割模型的编码器和解码器权重,αβ表示初始分割模 型的编码器和解码器权重,
Figure 508326DEST_PATH_IMAGE012
Figure 238385DEST_PATH_IMAGE013
表示由记忆感知突触(MAS,Memory-Aware Synapses)计 算得到的用于衡量更新后学生分割模型输出变化的重要参数。
为了增强模型分割掩码的局部平滑度,基于目标域自训练模型预测的分割掩码图像和高斯核,构建第二正则化项,并基于所述标记区域的交叉熵代价函数、第一正则化项和第二正则化项,构建训练学生分割模型的总代价函数。
具体地,引入的第二正则化项:
Figure DEST_PATH_IMAGE014
其中W DCRF 表示一个稠密的高斯核,其工作方式类似于稠密的条件随机场(CRF),(·) T 表示矩阵的转置运算,并重新训练学生分割模型的总代价函数为:
Figure 844947DEST_PATH_IMAGE015
其中λ PCEλ Pλ DCRF表示平衡各个代价函数的贡献的系数。
教师分割模型,通过上一次迭代的教师分割模型和当前学生分割模型的编码器参数,得到当前教师分割模型的编码器参数,通过上一次迭代的教师分割模型和当前学生分割模型的解码器参数,得到当前教师分割模型的解码器参数,以循环的方式更新教师分割模型,知道达到迭代停止条件,防止教师分割模型更新过程中对标注区域过拟合,从而避免因为没有充分考虑源域的先验知识而导致模型的过拟合现象,具体实现如下:
具体地,假设迭代第k次的时候学生分割模型和教师分割模型的编码器的参数分别为α’ stu,k α’ tea,k ,解码器的参数分别为β’ stu,k β’ tea,k ,第k次迭代的教师分割模型的编码器及解码器的参数由第k-1次的教师分割模型的参数及第k次学生模型的参数所决定,具体公式如下:
Figure DEST_PATH_IMAGE016
其中λ α λ β 表示的是实验确定的编码器、解码器平滑系数,将第k次迭代得到的输出作为第k+1次迭代的输入,直到达到迭代停止条件。
步骤S3,更新后的教师分割模型,作为初始分割模型在目标域中再次进行自训练,重复上述步骤,直到达到设定的停止条件,完成训练后,将最终的教师分割模型作为目标域的道路分割模型。
本实施例中测试方法具体为:给定测试图像,将训练得到的道路分割模型执行一次前向传播得到基于本实施例提出的道路分割模型的测试结果。本发明实施例在KITTI交通数据集上的分割结果如图4所示。结果表明,本发明提出的方法与其他先进的检测方法相比更具有竞争力。
与前述一种不确定区域发现与模型改进的道路分割方法的实施例相对应,本发明还提供了一种不确定区域发现与模型改进的道路分割装置的实施例。
参见图5,本发明实施例提供的一种不确定区域发现与模型改进的道路分割装置,包括存储器和一个或多个处理器,存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现上述实施例中的一种不确定区域发现与模型改进的道路分割方法。
本发明一种不确定区域发现与模型改进的道路分割装置的实施例可以应用在任意具备数据处理能力的设备上,该任意具备数据处理能力的设备可以为诸如计算机等设备或装置。装置实施例可以通过软件实现,也可以通过硬件或者软硬件结合的方式实现。以软件实现为例,作为一个逻辑意义上的装置,是通过其所在任意具备数据处理能力的设备的处理器将非易失性存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言,如图5所示,为本发明一种不确定区域发现与模型改进的道路分割装置所在任意具备数据处理能力的设备的一种硬件结构图,除了图5所示的处理器、内存、网络接口、以及非易失性存储器之外,实施例中装置所在的任意具备数据处理能力的设备通常根据该任意具备数据处理能力的设备的实际功能,还可以包括其他硬件,对此不再赘述。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下,即可以理解并实施。
本发明实施例还提供一种计算机可读存储介质,其上存储有程序,该程序被处理器执行时,实现上述实施例中的一种不确定区域发现与模型改进的道路分割方法。
所述计算机可读存储介质可以是前述任一实施例所述的任意具备数据处理能力的设备的内部存储单元,例如硬盘或内存。所述计算机可读存储介质也可以是任意具备数据处理能力的设备的外部存储设备,例如所述设备上配备的插接式硬盘、智能存储卡(Smart Media Card,SMC)、SD卡、闪存卡(Flash Card)等。进一步的,所述计算机可读存储介质还可以既包括任意具备数据处理能力的设备的内部存储单元也包括外部存储设备。所述计算机可读存储介质用于存储所述计算机程序以及所述任意具备数据处理能力的设备所需的其他程序和数据,还可以用于暂时地存储已经输出或者将要输出的数据。
以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的范围。

Claims (10)

1.一种不确定区域发现与模型改进的道路分割方法,其特征在于包括如下步骤:
步骤S1,获取从源域图像学习的初始分割模型,将初始分割模型在目标域中进行自训练,得到目标域自训练分割模型,目标域自训练分割模型包括一个共享编码器和分别与共享编码器连接的一组并行的解码器,通过不同解码器输出的分割结果,确定目标域图像中的不确定区域并进行标记;
步骤S2,模型优化,将获得的不确定区域的监督信息,合并到初始分割模型中,对初始分割模型进行优化,基于优化后的初始分割模型构建学生分割模型;基于源域训练的初始分割模型构建教师分割模型,利用学生分割模型参数,更新教师分割模型;
步骤S3,更新后的教师分割模型作为初始分割模型,在目标域中再次进行自训练,重复上述步骤,直到达到设定的停止条件,完成训练后,将最终的教师分割模型作为目标域的道路分割模型。
2.根据权利要求1所述的一种不确定区域发现与模型改进的道路分割方法,其特征在于:所述步骤S1中的初始分割模型,通过带标签的源域图像数据集训练得到,基于真实的分割掩码图像的每个像素,及训练初始分割模型时预测的分割掩码图像,采用交叉熵代价函数训练初始分割模型。
3.根据权利要求1所述的一种不确定区域发现与模型改进的道路分割方法,其特征在于:所述步骤S1的目标域自训练分割模型,通过目标域图像数据集训练初始分割模型得到,将初始分割模型的编码器和解码器参数,作为初始化的目标域自训练分割模型编码器和解码器的参数,对初始分割模型与目标域自训练分割模型的编码器输出,计算编码器的交叉熵代价函数,并基于目标域图像数量求均值,对初始分割模型与目标域自训练分割模型的解码器输出,计算的解码器的交叉熵代价函数,通过均值与解码器的交叉熵代价函数,构建最小化自训练代价函数,对目标域自训练分割模型进行训练。
4.根据权利要求1所述的一种不确定区域发现与模型改进的道路分割方法,其特征在于:所述步骤S1的确定目标域图像中的不确定区域,是对于同一区域,通过目标域自训练分割模型的一组并行编码器后,在一个解码器输出中检测到但在其他并行的解码器输出中没有检测到的区域为不确定的区域。
5.根据权利要求1所述的一种不确定区域发现与模型改进的道路分割方法,其特征在于:所述步骤S1中,目标域自训练分割模型采用两个并行的解码器,确定目标域图像中的不确定区域时,对于同一区域,通过目标域自训练分割模型的两个并行编码器后,在一个解码器输出中检测到但在另一个并行的解码器输出中没有检测到的区域为不确定的区域。
6.根据权利要求1所述的一种不确定区域发现与模型改进的道路分割方法,其特征在于:步骤S1中,基于余弦相似度,构建差异增加代价函数,对目标域自训练分割模型的两个解码器输出进行差异增加,根据差异增加后的解码器输出,确定目标域图像中的不确定区域。
7.根据权利要求1所述的一种不确定区域发现与模型改进的道路分割方法,其特征在于:所述步骤S2中的学生分割模型,通过标记区域的真实分割掩码图像和学生分割模型预测的分割掩码图像,计算标记区域的交叉熵损失,以及通过学生分割模型的编码器和解码器权重和初始分割模型的编码器和解码器权重计算第一正则化项,对学生分割模型进行优化。
8.根据权利要求7所述的一种不确定区域发现与模型改进的道路分割方法,其特征在于:基于目标域自训练模型预测的分割掩码图像和高斯核,构建第二正则化项,并基于所述标记区域的交叉熵代价函数、第一正则化项和第二正则化项,构建训练学生分割模型的总代价函数。
9.根据权利要求1所述的一种不确定区域发现与模型改进的道路分割方法,其特征在于:教师分割模型,通过上一次迭代的教师分割模型和当前学生分割模型的编码器参数,得到当前教师分割模型的编码器参数,通过上一次迭代的教师分割模型和当前学生分割模型的解码器参数,得到当前教师分割模型的解码器参数,以循环的方式更新教师分割模型,知道达到迭代停止条件。
10.一种不确定区域发现与模型改进的道路分割装置,其特征在于,包括存储器和一个或多个处理器,所述存储器中存储有可执行代码,所述一个或多个处理器执行所述可执行代码时,用于实现权利要求1-9中任一项所述的一种不确定区域发现与模型改进的道路分割方法。
CN202210292106.8A 2022-03-24 2022-03-24 一种不确定区域发现与模型改进的道路分割方法及装置 Active CN114399640B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210292106.8A CN114399640B (zh) 2022-03-24 2022-03-24 一种不确定区域发现与模型改进的道路分割方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210292106.8A CN114399640B (zh) 2022-03-24 2022-03-24 一种不确定区域发现与模型改进的道路分割方法及装置

Publications (2)

Publication Number Publication Date
CN114399640A true CN114399640A (zh) 2022-04-26
CN114399640B CN114399640B (zh) 2022-07-15

Family

ID=81234748

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210292106.8A Active CN114399640B (zh) 2022-03-24 2022-03-24 一种不确定区域发现与模型改进的道路分割方法及装置

Country Status (1)

Country Link
CN (1) CN114399640B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100491A (zh) * 2022-08-25 2022-09-23 山东省凯麟环保设备股份有限公司 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
CN116341650A (zh) * 2023-03-23 2023-06-27 哈尔滨市科佳通用机电股份有限公司 一种基于噪声自训练的铁路货车螺栓丢失检测方法

Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110135508A (zh) * 2019-05-21 2019-08-16 腾讯科技(深圳)有限公司 模型训练方法、装置、电子设备及计算机可读存储介质
CN111489365A (zh) * 2020-04-10 2020-08-04 上海商汤临港智能科技有限公司 神经网络的训练方法、图像处理方法及装置
US20200265273A1 (en) * 2019-02-15 2020-08-20 Surgical Safety Technologies Inc. System and method for adverse event detection or severity estimation from surgical data
CN111598914A (zh) * 2020-05-12 2020-08-28 湖南大学 一种基于不确定性引导的自适应图像分割方法
CN111639524A (zh) * 2020-04-20 2020-09-08 中山大学 一种自动驾驶图像语义分割优化方法
CN112381098A (zh) * 2020-11-19 2021-02-19 上海交通大学 基于目标分割领域自学习的半监督学习方法和系统
CN112598686A (zh) * 2021-03-03 2021-04-02 腾讯科技(深圳)有限公司 图像分割方法、装置、计算机设备及存储介质
CN113160230A (zh) * 2021-03-26 2021-07-23 联想(北京)有限公司 一种图像处理方法及装置
CN113221903A (zh) * 2021-05-11 2021-08-06 中国科学院自动化研究所 跨域自适应语义分割方法及系统
CN113256651A (zh) * 2021-05-21 2021-08-13 推想医疗科技股份有限公司 模型训练方法及装置、图像分割方法及装置
WO2021202170A1 (en) * 2020-03-30 2021-10-07 University Of Florida Research Foundation Collaborative feature ensembling adaptation for domain adaptation in unsupervised optic disc and cup segmentation
CN113793304A (zh) * 2021-08-23 2021-12-14 天津大学 一种面向肺癌靶区及危及器官智能分割方法
CN113936275A (zh) * 2021-10-14 2022-01-14 上海交通大学 一种基于区域特征对齐的无监督域适应语义分割方法
CN114139676A (zh) * 2020-09-02 2022-03-04 富士通株式会社 领域自适应神经网络的训练方法
CN114139616A (zh) * 2021-11-19 2022-03-04 杭州电子科技大学 一种基于不确定性感知的无监督域适应目标检测方法

Patent Citations (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200265273A1 (en) * 2019-02-15 2020-08-20 Surgical Safety Technologies Inc. System and method for adverse event detection or severity estimation from surgical data
CN110135508A (zh) * 2019-05-21 2019-08-16 腾讯科技(深圳)有限公司 模型训练方法、装置、电子设备及计算机可读存储介质
WO2021202170A1 (en) * 2020-03-30 2021-10-07 University Of Florida Research Foundation Collaborative feature ensembling adaptation for domain adaptation in unsupervised optic disc and cup segmentation
CN111489365A (zh) * 2020-04-10 2020-08-04 上海商汤临港智能科技有限公司 神经网络的训练方法、图像处理方法及装置
CN111639524A (zh) * 2020-04-20 2020-09-08 中山大学 一种自动驾驶图像语义分割优化方法
CN111598914A (zh) * 2020-05-12 2020-08-28 湖南大学 一种基于不确定性引导的自适应图像分割方法
CN114139676A (zh) * 2020-09-02 2022-03-04 富士通株式会社 领域自适应神经网络的训练方法
CN112381098A (zh) * 2020-11-19 2021-02-19 上海交通大学 基于目标分割领域自学习的半监督学习方法和系统
CN112598686A (zh) * 2021-03-03 2021-04-02 腾讯科技(深圳)有限公司 图像分割方法、装置、计算机设备及存储介质
CN113160230A (zh) * 2021-03-26 2021-07-23 联想(北京)有限公司 一种图像处理方法及装置
CN113221903A (zh) * 2021-05-11 2021-08-06 中国科学院自动化研究所 跨域自适应语义分割方法及系统
CN113256651A (zh) * 2021-05-21 2021-08-13 推想医疗科技股份有限公司 模型训练方法及装置、图像分割方法及装置
CN113793304A (zh) * 2021-08-23 2021-12-14 天津大学 一种面向肺癌靶区及危及器官智能分割方法
CN113936275A (zh) * 2021-10-14 2022-01-14 上海交通大学 一种基于区域特征对齐的无监督域适应语义分割方法
CN114139616A (zh) * 2021-11-19 2022-03-04 杭州电子科技大学 一种基于不确定性感知的无监督域适应目标检测方法

Non-Patent Citations (10)

* Cited by examiner, † Cited by third party
Title
GUOBIN ZHANG等: ""Automatic segmentation of organs at risk and tumors in CT images of lung cancer from partially labelled datasets with a semi-supervised conditional nnU-Net"", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》, 15 September 2021 (2021-09-15), pages 1 - 9 *
LEQUAN YU等: ""Uncertainty-aware self-ensembling model for semi-supervised 3D left atrium segmentation"", 《MICCAI 2019》, 10 October 2019 (2019-10-10), pages 605 - 613 *
QIANYU ZHOU等: ""Uncertainty-aware consistency regularization for cross-domain semantic segmentation"", 《HTTPS://ARXIV.ORG/PDF/2004.08878.PDF》, 19 August 2021 (2021-08-19), pages 1 - 15 *
SUMAN SEDAI等: ""Uncertainty Guided Semi-supervised Segmentation of Retinal Layers in OCT Images"", 《MICCAI 2019》, 10 October 2019 (2019-10-10), pages 282 - 290 *
YINGDA XIA等: ""Uncertainty-aware multi-view co-training for semi-supervised medical image segmentation and domain adaptation"", 《MEDICAL IMAGE ANALYSIS》, 27 June 2020 (2020-06-27), pages 1 - 11 *
ZHEDONG ZHENG等: ""Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation"", 《INTERNATIONAL JOURNAL OF COMPUTER VISION》, 6 January 2021 (2021-01-06), pages 1106 - 1120 *
张浩鑫: ""基于深度神经网络的图像语义分割方法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2020 (2020-01-15), pages 138 - 2239 *
曹玉红等: ""基于深度学习的医学影像分割研究综述"", 《计算机应用》, 10 August 2021 (2021-08-10), pages 2273 - 2287 *
谭宇志: ""基于深度学习的行人检测算法研究"", 《中国优秀硕士学位论文全文数据库 信息科技辑》, 15 January 2021 (2021-01-15), pages 138 - 1805 *
闫科等: ""一种用于遥感影像语义分割对抗域适应方法"", 《测绘科学技术学报》, 28 February 2021 (2021-02-28), pages 64 - 70 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115100491A (zh) * 2022-08-25 2022-09-23 山东省凯麟环保设备股份有限公司 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
CN115100491B (zh) * 2022-08-25 2022-11-18 山东省凯麟环保设备股份有限公司 一种面向复杂自动驾驶场景的异常鲁棒分割方法与系统
US11954917B2 (en) 2022-08-25 2024-04-09 Shandong Kailin Environmental Protection Equipment Co., Ltd. Method of segmenting abnormal robust for complex autonomous driving scenes and system thereof
CN116341650A (zh) * 2023-03-23 2023-06-27 哈尔滨市科佳通用机电股份有限公司 一种基于噪声自训练的铁路货车螺栓丢失检测方法
CN116341650B (zh) * 2023-03-23 2023-12-26 哈尔滨市科佳通用机电股份有限公司 一种基于噪声自训练的铁路货车螺栓丢失检测方法

Also Published As

Publication number Publication date
CN114399640B (zh) 2022-07-15

Similar Documents

Publication Publication Date Title
Chen et al. Naive-student: Leveraging semi-supervised learning in video sequences for urban scene segmentation
US10643130B2 (en) Systems and methods for polygon object annotation and a method of training and object annotation system
Liu et al. Ddflow: Learning optical flow with unlabeled data distillation
CN110443818B (zh) 一种基于涂鸦的弱监督语义分割方法与系统
Mou et al. RiFCN: Recurrent network in fully convolutional network for semantic segmentation of high resolution remote sensing images
Žbontar et al. Stereo matching by training a convolutional neural network to compare image patches
Fang et al. Towards good practice for CNN-based monocular depth estimation
Rong et al. Boundary-enhanced co-training for weakly supervised semantic segmentation
Zhang et al. Efficient inference for fully-connected CRFs with stationarity
CN114399640B (zh) 一种不确定区域发现与模型改进的道路分割方法及装置
Wang et al. FE-YOLOv5: Feature enhancement network based on YOLOv5 for small object detection
Ostertag et al. Matching ostraca fragments using a siamese neural network
CN113469186B (zh) 一种基于少量点标注的跨域迁移图像分割方法
CN115359074B (zh) 基于超体素聚类及原型优化的图像分割、训练方法及装置
Zhou et al. Multi-type self-attention guided degraded saliency detection
Shu et al. LVC-Net: Medical image segmentation with noisy label based on local visual cues
CN116311310A (zh) 一种结合语义分割和序列预测的通用表格识别方法和装置
CN114494701A (zh) 一种基于图结构神经网络的语义分割方法及装置
CN116645592A (zh) 一种基于图像处理的裂缝检测方法和存储介质
Szemenyei et al. Fully neural object detection solutions for robot soccer
CN117437423A (zh) 基于sam协同学习和跨层特征聚合增强的弱监督医学图像分割方法及装置
CN112396594A (zh) 变化检测模型获取方法及装置、变化检测方法、计算机设备及可读存储介质
CN114170558B (zh) 用于视频处理的方法、系统、设备、介质和产品
CN116580243A (zh) 一种掩码图像建模引导域适应的跨域遥感场景分类方法
Oga et al. River state classification combining patch-based processing and CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant