CN108280452A - 一种基于并行网络构架的图像语义标签纠错方法 - Google Patents

一种基于并行网络构架的图像语义标签纠错方法 Download PDF

Info

Publication number
CN108280452A
CN108280452A CN201810077749.4A CN201810077749A CN108280452A CN 108280452 A CN108280452 A CN 108280452A CN 201810077749 A CN201810077749 A CN 201810077749A CN 108280452 A CN108280452 A CN 108280452A
Authority
CN
China
Prior art keywords
network
label
pixel
probability graph
segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201810077749.4A
Other languages
English (en)
Inventor
夏春秋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenzhen Vision Technology Co Ltd
Original Assignee
Shenzhen Vision Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenzhen Vision Technology Co Ltd filed Critical Shenzhen Vision Technology Co Ltd
Priority to CN201810077749.4A priority Critical patent/CN108280452A/zh
Publication of CN108280452A publication Critical patent/CN108280452A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明中提出的一种基于并行网络构架的图像语义标签纠错方法，其主要内容包括：标签传播网络、标签替换网络、融合网络、并行网络构架和训练，其过程为，给定一个输入RGB图像和一个初始分割概率图，采用带有跳跃连接的编码器‑解码器结构表示位移估计，计算改进的分割概率图，训练标签更换网络，基于初始分割概率图来预测新的分割概率图，融合网络将两个并行分支的输出结合起来联合训练整个架构，使用共享编码器来学习两个子任务的特征，生成最终的分割结果。本发明提出了标签传播网络和标签替换网络，两个网络并行运行而不是按顺序运行，可以大大缩短推理时间，同时提高了解析性能和图像语义标签纠错的能力。

Description

一种基于并行网络构架的图像语义标签纠错方法
技术领域
本发明涉图像分割领域，尤其是涉及了一种基于并行网络构架的图像语义标签纠错方法。
背景技术
随着互联网的普及与图像处理设备的快速发展，网络图片和视频也正以几何级的数量增长，如何有效地使用和处理这些图片和视频也成为一个急需解决的问题。逐像素语义图像标签是许多应用程序中重要而又具有挑战性的任务，其可以应用于室内导航、人机交互、图像搜索引擎以及虚拟现实或增强现实系统等。具体地，在时尚服装设计领域，通过对人体的语义分割可以定位出人脸、身体部位、服装等各种信息，从而帮助用户在互联网购物过程中实现自动试衣、自助购买等功能；在车辆自动驾驶领域，通过对车体前方场景的语义分割可以精确定位道路、车体和行人等场景或物体信息，从而提升自动驾驶的安全性；语义图像标签还可以实现在无人机着陆点的判断和在穿戴式设备中的诸多应用。然而，传统的方法在残差校正阶段存在难以应用于离散密集标记任务的问题，如语义分割等。
本发明提出了一种基于并行网络构架的图像语义标签纠错方法，给定一个输入RGB图像和一个初始分割概率图，采用带有跳跃连接的编码器-解码器结构表示位移估计，计算改进的分割概率图，训练标签替换网络，基于初始分割概率图来预测新的分割概率图，融合网络将两个并行分支的输出结合起来以联合训练整个架构，使用共享编码器来学习两个子任务的特征，生成最终的分割结果。本发明提出了标签传播网络和标签替换网络，两个网络并行运行而不是按顺序运行，可以大大缩短推理时间，同时提高了解析性能和图像语义标签纠错的能力。
发明内容
针对在残差校正阶段难以应用于离散密集标记任务的问题，本发明的目的在于提供一种基于并行网络构架的图像语义标签纠错方法，给定一个输入RGB图像和一个初始分割概率图，采用带有跳跃连接的编码器-解码器结构表示位移估计，计算改进的分割概率图，训练标签更换网络，基于初始分割概率图来预测新的分割概率图，融合网络将两个并行分支的输出结合起来联合训练整个架构，使用共享编码器来学习两个子任务的特征，生成最终的分割结果。
为解决上述问题，本发明提供一种基于并行网络构架的图像语义标签纠错方法，其主要内容包括：
(一)标签传播网络；
(二)标签替换网络；
(三)融合网络；
(四)并行网络构架；
(五)训练。
其中，所述的图像语义标签纠错方法，给定一个输入RGB图像Is和一个初始分割概率图Ss，提出一种端到端的纠错方法，它建立在三个网络上，即标签传播网络、标签替换网络和融合网络。
其中，所述的标签传播网络，建议估算每个像素(即2D位移场)的位移矢量(Δx,Δy)，以便从邻近像素传播标签；遵循变形层应用估计的位移，以便获得改进的分割概率图；采用带有跳跃连接的编码器-解码器结构表示位移估计，表示为标签传播网络E；
综上所述，给定输入图像Is和初始分割概率图Ss，通过预测的2D位移场对Ss进行重新采样来训练网络E，计算改进的分割概率图Sprop；它可以表示为最小化Sprop和标定好的真实分割图Sgt之间的损失函数：
其中，是训练数据集，E(·)是指其参数用于优化的标签传播网络，表示交叉熵损失；标签传播网络E旨在利用来自附近像素的概率分布的上下文信息来预测一对位移矢量(Δx,Δy)。
进一步地，所述的位移矢量，每个方向有一个位移矢量，使像素的概率分布可以相对于其邻近像素重新估计；其中，(Δx,Δy)表示模型采样概率分布的位移向量；对于Ss中的每个像素(xi,yi)，传播后的坐标与下式相关：
最后，根据估计的位移矢量对初始概率图Ss进行扭曲，以生成精细化的概率图Sprop；关于翘曲操作，使用双线性抽样内核，以允许进行端到端的训练：
其中，表示输出中处的第i个像素的值，是输入Ss中处的像素的邻域；可以有效计算位移估计的参数。
其中，所述的标签替换网络，标签传播网络E能够通过将可能正确的标签传播到其邻域来纠正分割错误；但是，当一个区域中的几乎所有像素最初都有错误的标签时，它无法纠正标签；为了处理这种情况，提出将输入Is和初始分割概率图Ss两者馈送到完全卷积的标签替换网络C中，直接重新计算新的分割概率图Srepl；网络重新估计每个像素的概率向量，但这次是基于其外观和其邻居的概率分布；遵循与标签传播网络相同的编码器-解码器架构，用卷积层替换标签传播网络的最后一层，以输出新的分割概率图。
进一步地，所述的概率图，给定图像Is及其对应的初始分割概率图Ss，训练标签更换网络C，目的是基于初始的Ss预测新的分割概率图Srepl；该任务可以表述为最小化新产生的分割图Srepl与相应的标定好的真实标签Sgt之间的交叉熵损失：
损失函数如上式所示。
其中，所述的融合网络，标签传播和标签替换网络并行工作，专门用于纠正不同类型的错误；一方面，标签传播网络E考虑到附近的像素及其对应的类别概率，基于外观相似度传播概率向量；另一方面，标签替换网络C逐个像素地重新估计类别标签；因此使用融合网络M将这两个并行分支的输出结合起来，并联合训练整个架构；使用共享编码器来学习两个子任务的特征。
进一步地，所述的学习两个子任务的特征，使用共享编码器来学习两个子任务的特征，即标签传播和标签替换网络，并且减少了参数的总数量以进行优化；网络以分支的方式分成两个不同的解码器，一个用于预测位移，另一个用于直接预测新的标签；在最后阶段，结合两个分支的中间结果，加入融合网络M，将这些中间结果作为输入，预测一个掩模m，生成最终的分割结果；然后将最终结果计算为像素级的两个分支输出的加权平均值：
Sfuse＝m⊙Sprop+(1-m)⊙Srepl (5)
其中，Sprop和Srepl是两个分支的中间分割概率图，⊙表示元素乘法；
整体损失函数如上式所示。
其中，所述的并行网络构架，标签传播网络和标签替换网络的共享基于完全卷积编码器-解码器的基础架构；对于编码器，有四个模块，每个模块包含两个内核大小为3×3的卷积层和最大池层；对于解码器，有三个模块包含一个双线性上采样层和两个内核大小为3×3的卷积层；在三个模块的开头添加三个跳转连接，以整合不同的信息；融合网络预测一个掩码来结合标签传播网络和标签替换网络；它具有三个内核大小为3×3的卷积层和另一个用于生成单通道掩码的卷积层。
其中，所述的训练，训练时初始化网络中的权重；采用ADAM优化器学习网络参数，学习率为0.0001，β1＝0.9，β2＝0.999，批量大小为8；整个训练过程包括大约20000次迭代；采用随机镜像增强数据，将所有数据集的大小调整在0.5到1.5之间，根据每个数据集裁剪到一个固定的大小；然后将输入图像归一化为[-1,1]，并使用Softmax操作应用相应的初始分割概率图。
附图说明
图1是本发明一种基于并行网络构架的图像语义标签纠错方法的系统框架图。
图2是本发明一种基于并行网络构架的图像语义标签纠错方法的流程示意图。
图3是本发明一种基于并行网络构架的图像语义标签纠错方法的网络构架。
图4是本发明一种基于并行网络构架的图像语义标签纠错方法的标签传播网络。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。
图1是本发明一种基于并行网络构架的图像语义标签纠错方法的系统框架图。主要包括标签传播网络、标签替换网络、融合网络、并行网络构架和训练。
图像语义标签纠错方法，给定一个输入RGB图像Is和一个初始分割概率图Ss，提出一种端到端的纠错方法，它建立在三个网络上，即标签传播网络、标签替换网络和融合网络。
标签替换网络，标签传播网络E能够通过将可能正确的标签传播到其邻域来纠正分割错误；但是，当一个区域中的几乎所有像素最初都有错误的标签时，它无法纠正标签；为了处理这种情况，提出将输入Is和初始分割概率图Ss两者馈送到完全卷积的标签替换网络C中，直接重新计算新的分割概率图Srepl；网络重新估计每个像素的概率向量，但这次是基于其外观和其邻居的概率分布；遵循与标签传播网络相同的编码器-解码器架构，用卷积层替换标签传播网络的最后一层，以输出新的分割概率图。
给定图像Is及其对应的初始分割概率图Ss，训练标签更换网络C，目的是基于初始的Ss预测新的分割概率图Srepl；该任务可以表述为最小化新产生的分割图Srepl与相应的标定好的真实标签Sgt之间的交叉熵损失：
损失函数如上式所示。
融合网络，标签传播和标签替换网络并行工作，专门用于纠正不同类型的错误；一方面，标签传播网络E考虑到附近的像素及其对应的类别概率，基于外观相似度传播概率向量；另一方面，标签替换网络C逐个像素地重新估计类别标签；因此使用融合网络M将这两个并行分支的输出结合起来，并联合训练整个架构；使用共享编码器来学习两个子任务的特征。
使用共享编码器来学习两个子任务的特征，即标签传播和标签替换网络，并且减少了参数的总数量以进行优化；网络以分支的方式分成两个不同的解码器，一个用于预测位移，另一个用于直接预测新的标签；在最后阶段，结合两个分支的中间结果，加入融合网络M，将这些中间结果作为输入，预测一个掩模m，生成最终的分割结果；然后将最终结果计算为像素级的两个分支输出的加权平均值：
Sfuse＝m⊙Sprop+(1-m)⊙Srepl (2)
其中，Sprop和Srepl是两个分支的中间分割概率图，⊙表示元素乘法；
整体损失函数如上式所示。
并行网络构架，标签传播网络和标签替换网络的共享基于完全卷积编码器-解码器的基础架构；对于编码器，有四个模块，每个模块包含两个内核大小为3×3的卷积层和最大池层；对于解码器，有三个模块包含一个双线性上采样层和两个内核大小为3×3的卷积层；在三个模块的开头添加三个跳转连接，以整合不同的信息；融合网络预测一个掩码来结合标签传播网络和标签替换网络；它具有三个内核大小为3×3的卷积层和另一个用于生成单通道掩码的卷积层。
训练时初始化网络中的权重；采用ADAM优化器学习网络参数，学习率为0.0001，β1＝0.9，β2＝0.999，批量大小为8；整个训练过程包括大约20000次迭代；采用随机镜像增强数据，将所有数据集的大小调整在0.5到1.5之间，根据每个数据集裁剪到一个固定的大小；然后将输入图像归一化为[-1,1]，并使用Softmax操作应用相应的初始分割概率图。
图2是本发明一种基于并行网络构架的图像语义标签纠错方法的流程示意图。给定输入图像和相应的初始分割图，模型通过考虑输入(即图像)和输出(即标签)变量的联合空间依赖关系来预测改进的分割图。给定一个输入RGB图像和一个初始分割概率图，采用带有跳跃连接的编码器-解码器结构表示位移估计，计算改进的分割概率图，训练标签更换网络，基于初始分割概率图来预测新的分割概率图，融合网络将两个并行分支的输出结合起来联合训练整个架构，使用共享编码器来学习两个子任务的特征，生成最终的分割结果。
图3是本发明一种基于并行网络构架的图像语义标签纠错方法的网络构架。标签传播网络E传播来自附近像素的概率分布以改善对象边界；同时，标签替换网络C直接从RGB图像输入对和初始分割图预测新的分割概率图；最后，融合网络M将这些分支的结果与预测掩模结合以获得最佳标签，括号中的图像表示彩色标签图。
图4是本发明一种基于并行网络构架的图像语义标签纠错方法的标签传播网络。建议估算每个像素(即2D位移场)的位移矢量(Δx,Δy)，以便从邻近像素传播标签；遵循变形层应用估计的位移，以便获得改进的分割概率图；采用带有跳跃连接的编码器-解码器结构表示位移估计，表示为标签传播网络E；
综上所述，给定输入图像Is和初始分割概率图Ss，通过预测的2D位移场对Ss进行重新采样来训练网络E，计算改进的分割概率图Sprop；它可以表示为最小化Sprop和标定好的真实分割图Sgt之间的损失函数：
其中，是训练数据集，E(·)是指其参数用于优化的标签传播网络，表示交叉熵损失；标签传播网络E旨在利用来自附近像素的概率分布的上下文信息来预测一对位移矢量(Δx,Δy)。
每个方向有一个位移矢量，使像素的概率分布可以相对于其邻近像素重新估计；其中，(Δx,Δy)表示模型采样概率分布的位移向量；对于Ss中的每个像素(xi,yi)，传播后的坐标与下式相关：
最后，根据估计的位移矢量对初始概率图Ss进行扭曲，以生成精细化的概率图Sprop；关于翘曲操作，使用双线性抽样内核，以允许进行端到端的训练：
其中，表示输出中处的第i个像素的值，是输入Ss中处的像素的邻域；可以有效计算位移估计的参数。
对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

Claims (10)

1.一种基于并行网络构架的图像语义标签纠错方法，其特征在于，主要包括标签传播网络(一)；标签替换网络(二)；融合网络(三)；并行网络构架(四)；训练(五)。
2.基于权利要求书1所述的图像语义标签纠错方法，其特征在于，给定一个输入RGB图像Is和一个初始分割概率图Ss，提出一种端到端的纠错方法，它建立在三个网络上，即标签传播网络、标签替换网络和融合网络。
3.基于权利要求书1所述的标签传播网络(一)，其特征在于，建议估算每个像素(即2D位移场)的位移矢量(Δx,Δy)，以便从邻近像素传播标签；遵循变形层应用估计的位移，以便获得改进的分割概率图；采用带有跳跃连接的编码器-解码器结构表示位移估计，表示为标签传播网络E；
综上所述，给定输入图像Is和初始分割概率图Ss，通过预测的2D位移场对Ss进行重新采样来训练网络E，计算改进的分割概率图Sprop；它可以表示为最小化Sprop和标定好的真实分割图Sgt之间的损失函数：
其中，是训练数据集，E(·)是指其参数用于优化的标签传播网络，表示交叉熵损失；标签传播网络E旨在利用来自附近像素的概率分布的上下文信息来预测一对位移矢量(Δx,Δy)。
4.基于权利要求书3所述的位移矢量，其特征在于，每个方向有一个位移矢量，使像素的概率分布可以相对于其邻近像素重新估计；其中，(Δx,Δy)表示模型采样概率分布的位移向量；对于Ss中的每个像素(xi,yi)，传播后的坐标与下式相关：
最后，根据估计的位移矢量对初始概率图Ss进行扭曲，以生成精细化的概率图Sprop；关于翘曲操作，使用双线性抽样内核，以允许进行端到端的训练：
其中，表示输出中处的第i个像素的值，是输入Ss中处的像素的邻域；可以有效计算位移估计的参数。
5.基于权利要求书1所述的标签替换网络(二)，其特征在于，标签传播网络E能够通过将可能正确的标签传播到其邻域来纠正分割错误；但是，当一个区域中的几乎所有像素最初都有错误的标签时，它无法纠正标签；为了处理这种情况，提出将输入Is和初始分割概率图Ss两者馈送到完全卷积的标签替换网络C中，直接重新计算新的分割概率图Srepl；网络重新估计每个像素的概率向量，但这次是基于其外观和其邻居的概率分布；遵循与标签传播网络相同的编码器-解码器架构，用卷积层替换标签传播网络的最后一层，以输出新的分割概率图。
6.基于权利要求书5所述的概率图，其特征在于，给定图像Is及其对应的初始分割概率图Ss，训练标签更换网络C，目的是基于初始的Ss预测新的分割概率图Srepl；该任务可以表述为最小化新产生的分割图Srepl与相应的标定好的真实标签Sgt之间的交叉熵损失：
损失函数如上式所示。
7.基于权利要求书1所述的融合网络(三)，其特征在于，标签传播和标签替换网络并行工作，专门用于纠正不同类型的错误；一方面，标签传播网络E考虑到附近的像素及其对应的类别概率，基于外观相似度传播概率向量；另一方面，标签替换网络C逐个像素地重新估计类别标签；因此使用融合网络M将这两个并行分支的输出结合起来，并联合训练整个架构；使用共享编码器来学习两个子任务的特征。
8.基于权利要求书6所述的学习两个子任务的特征，其特征在于，使用共享编码器来学习两个子任务的特征，即标签传播和标签替换网络，并且减少了参数的总数量以进行优化；网络以分支的方式分成两个不同的解码器，一个用于预测位移，另一个用于直接预测新的标签；在最后阶段，结合两个分支的中间结果，加入融合网络M，将这些中间结果作为输入，预测一个掩模m，生成最终的分割结果；然后将最终结果计算为像素级的两个分支输出的加权平均值：
Sfuse＝m⊙Sprop+(1-m)⊙Srepl (5)
其中，Sprop和Srepl是两个分支的中间分割概率图，⊙表示元素乘法；
整体损失函数如上式所示。
9.基于权利要求书1所述的并行网络构架(四)，其特征在于，标签传播网络和标签替换网络的共享基于完全卷积编码器-解码器的基础架构；对于编码器，有四个模块，每个模块包含两个内核大小为3×3的卷积层和最大池层；对于解码器，有三个模块包含一个双线性上采样层和两个内核大小为3×3的卷积层；在三个模块的开头添加三个跳转连接，以整合不同的信息；融合网络预测一个掩码来结合标签传播网络和标签替换网络；它具有三个内核大小为3×3的卷积层和另一个用于生成单通道掩码的卷积层。
10.基于权利要求书1所述的训练(五)，其特征在于，训练时初始化网络中的权重；采用ADAM优化器学习网络参数，学习率为0.0001，β1＝0.9，β2＝0.999，批量大小为8；整个训练过程包括大约20000次迭代；采用随机镜像增强数据，将所有数据集的大小调整在0.5到1.5之间，根据每个数据集裁剪到一个固定的大小；然后将输入图像归一化为[-1,1]，并使用Softmax操作应用相应的初始分割概率图。
CN201810077749.4A 2018-01-26 2018-01-26 一种基于并行网络构架的图像语义标签纠错方法 Withdrawn CN108280452A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810077749.4A CN108280452A (zh) 2018-01-26 2018-01-26 一种基于并行网络构架的图像语义标签纠错方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810077749.4A CN108280452A (zh) 2018-01-26 2018-01-26 一种基于并行网络构架的图像语义标签纠错方法

Publications (1)

Publication Number Publication Date
CN108280452A true CN108280452A (zh) 2018-07-13

Family

ID=62805250

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810077749.4A Withdrawn CN108280452A (zh) 2018-01-26 2018-01-26 一种基于并行网络构架的图像语义标签纠错方法

Country Status (1)

Country Link
CN (1) CN108280452A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学（威海） 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
CN109635813A (zh) * 2018-12-13 2019-04-16 银河水滴科技（北京）有限公司 一种钢轨区域图像分割方法及装置
CN109947564A (zh) * 2019-03-07 2019-06-28 阿里巴巴集团控股有限公司 业务处理方法、装置、设备及存储介质
CN110060247A (zh) * 2019-04-18 2019-07-26 深圳市深视创新科技有限公司 应对样本标注错误的鲁棒深度神经网络学习方法
CN110222636A (zh) * 2019-05-31 2019-09-10 中国民航大学 基于背景抑制的行人属性识别方法
CN110446063A (zh) * 2019-07-26 2019-11-12 腾讯科技（深圳）有限公司 视频封面的生成方法、装置及电子设备
CN111429379A (zh) * 2020-04-01 2020-07-17 山东大学 一种基于自监督学习的低剂量ct图像去噪方法及系统
CN111695602A (zh) * 2020-05-18 2020-09-22 五邑大学 多维度任务人脸美丽预测方法、系统及存储介质
CN113056769A (zh) * 2018-11-12 2021-06-29 索尼集团公司 利用软交叉熵损失的语义分段
CN115294489A (zh) * 2022-06-22 2022-11-04 太原理工大学 一种灾害视频数据的语义分割方法和系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715249A (zh) * 2013-12-16 2015-06-17 株式会社理光 物体跟踪方法和装置
CN105224952A (zh) * 2015-10-08 2016-01-06 南京邮电大学 基于最大间隔马尔可夫网模型的双人交互行为识别方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104715249A (zh) * 2013-12-16 2015-06-17 株式会社理光 物体跟踪方法和装置
CN105224952A (zh) * 2015-10-08 2016-01-06 南京邮电大学 基于最大间隔马尔可夫网模型的双人交互行为识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HUANG, YU-HU ET AL: ""Error Correction for Dense Semantic Image Labeling"", 《HTTPS://ARXIV.ORG/PDF/1712.03812.PDF》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109300090A (zh) * 2018-08-28 2019-02-01 哈尔滨工业大学（威海） 一种基于亚像素和条件对抗生成网络的单幅图像去雾方法
CN113056769B (zh) * 2018-11-12 2024-03-22 索尼集团公司 利用软交叉熵损失的语义分段
CN113056769A (zh) * 2018-11-12 2021-06-29 索尼集团公司 利用软交叉熵损失的语义分段
CN109635813A (zh) * 2018-12-13 2019-04-16 银河水滴科技（北京）有限公司 一种钢轨区域图像分割方法及装置
CN109947564B (zh) * 2019-03-07 2023-04-11 蚂蚁金服（杭州）网络技术有限公司 业务处理方法、装置、设备及存储介质
CN109947564A (zh) * 2019-03-07 2019-06-28 阿里巴巴集团控股有限公司 业务处理方法、装置、设备及存储介质
CN110060247A (zh) * 2019-04-18 2019-07-26 深圳市深视创新科技有限公司 应对样本标注错误的鲁棒深度神经网络学习方法
CN110222636A (zh) * 2019-05-31 2019-09-10 中国民航大学 基于背景抑制的行人属性识别方法
CN110446063A (zh) * 2019-07-26 2019-11-12 腾讯科技（深圳）有限公司 视频封面的生成方法、装置及电子设备
CN110446063B (zh) * 2019-07-26 2021-09-07 腾讯科技（深圳）有限公司 视频封面的生成方法、装置及电子设备
CN111429379A (zh) * 2020-04-01 2020-07-17 山东大学 一种基于自监督学习的低剂量ct图像去噪方法及系统
CN111429379B (zh) * 2020-04-01 2022-06-10 山东大学 一种基于自监督学习的低剂量ct图像去噪方法及系统
CN111695602B (zh) * 2020-05-18 2021-06-08 五邑大学 多维度任务人脸美丽预测方法、系统及存储介质
US11798266B2 (en) 2020-05-18 2023-10-24 Wuyi University Multi-dimensional task facial beauty prediction method and system, and storage medium
CN111695602A (zh) * 2020-05-18 2020-09-22 五邑大学 多维度任务人脸美丽预测方法、系统及存储介质
CN115294489A (zh) * 2022-06-22 2022-11-04 太原理工大学 一种灾害视频数据的语义分割方法和系统
CN115294489B (zh) * 2022-06-22 2023-06-09 太原理工大学 一种灾害视频数据的语义分割方法和系统

Similar Documents

Publication Publication Date Title
CN108280452A (zh) 一种基于并行网络构架的图像语义标签纠错方法
CN111275518A (zh) 一种基于混合光流的视频虚拟试穿方法及装置
CN113158862B (zh) 一种基于多任务的轻量级实时人脸检测方法
Bai et al. Single stage virtual try-on via deformable attention flows
CN108345887A (zh) 图像语义分割模型的训练方法及图像语义分割方法
JP2021507388A (ja) インスタンスセグメンテーション方法および装置、電子機器、プログラムならびに媒体
EP3847619B1 (en) Unsupervised depth prediction neural networks
Cheng et al. S 3 Net: Semantic-aware self-supervised depth estimation with monocular videos and synthetic data
Yin et al. Visual attention dehazing network with multi-level features refinement and fusion
Shen et al. UDAformer: underwater image enhancement based on dual attention transformer
Wu et al. Digital twin-enabled reinforcement learning for end-to-end autonomous driving
Zhao et al. Jperceiver: Joint perception network for depth, pose and layout estimation in driving scenes
Wang et al. Unsupervised learning of accurate camera pose and depth from video sequences with Kalman filter
Zhang et al. Towards scale consistent monocular visual odometry by learning from the virtual world
CN116563399A (zh) 一种基于扩散模型和生成对抗网络的图像生成方法
JP2023529239A (ja) マルチモーダルエゴセントリック将来予測のためのコンピュータ実装方法
Wang et al. Cbwloss: constrained bidirectional weighted loss for self-supervised learning of depth and pose
CN110532868B (zh) 一种预测自由空间语义边界的方法
Pakhomov et al. Searching for efficient architecture for instrument segmentation in robotic surgery
CN115294176B (zh) 一种双光多模型长时间目标跟踪方法、系统及存储介质
Liu et al. Importance biased traffic scene segmentation in diverse weather conditions
Chiu et al. Real-time monocular depth estimation with extremely light-weight neural network
Wang et al. Temporal consistent portrait video segmentation
Xue et al. Visual odometry with deep bidirectional recurrent neural networks
Hu et al. MMA: motion memory attention network for video object detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20180713

WW01 Invention patent application withdrawn after publication