CN109427068A - 基于超像素自动标注的深度学习共分割方法 - Google Patents

基于超像素自动标注的深度学习共分割方法 Download PDF

Info

Publication number
CN109427068A
CN109427068A CN201710766155.XA CN201710766155A CN109427068A CN 109427068 A CN109427068 A CN 109427068A CN 201710766155 A CN201710766155 A CN 201710766155A CN 109427068 A CN109427068 A CN 109427068A
Authority
CN
China
Prior art keywords
super
pixel
deep learning
automatic marking
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710766155.XA
Other languages
English (en)
Inventor
高巍
郭家明
李著文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nus (suzhou) Research Institute
National University of Singapore
Original Assignee
Nus (suzhou) Research Institute
National University of Singapore
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nus (suzhou) Research Institute, National University of Singapore filed Critical Nus (suzhou) Research Institute
Priority to CN201710766155.XA priority Critical patent/CN109427068A/zh
Publication of CN109427068A publication Critical patent/CN109427068A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于超像素自动标注的深度学习共分割方法，包括：从输入视频中提取超像素；从超像素中识别前景超像素和背景超像素；对前景超像素进行聚类和模型选择，以得到聚类结果和模型选择结果；根据聚类结果和模型选择结果对超像素进行自动标注，以得到带标注的超像素数据集；基于带标记的超像素数据集进行有监督的深度学习；以及构建并求解马尔科夫随机场，以完成视频共分割。本发明通过聚类和模型选择算法实现对超像素数据的自动标注，消除了人工标注的巨大工作量对有监督深度学习的限制，从而使深度学习能够利用更大规模的视频数据库学习出更准确的共分割模型。

Description

基于超像素自动标注的深度学习共分割方法
技术领域
本发明涉及计算机视觉技术领域，特别涉及一种基于超像素自动标注的深度学习共分割方法。
背景技术
在视频分割中，前景物体经常被背景、光照、运动、遮挡等因素的变化所干扰。传统的基于单个视频自下而上的方法难以很好地适应上述众多因素引起的变化。对此，提出了引入包含一致前景的多个视频数据的方案，以更加充分、稳定地描述运动前景的共同性原则。
对于从大规模数据中学习分割规则而言，目前效果较好的是有监督的深度学习，其要求在进行深度学习之前，对全部训练数据都完成标注。然而，上述引入多个视频数据会导致人工标注的工作量过于繁重，耗时耗力且容易出错，极大地限制了深度学习的应用。
发明内容
针对以上不足，本发明的主要目的在于提供一种基于超像素自动标注的深度学习共分割方法，其能够通过聚类和模型选择算法实现对超像素数据的自动标注。
一方面，本发明提供了一种基于超像素自动标注的深度学习共分割方法，包括：
从输入视频中提取超像素，所述输入视频为包含一致前景的两段或两段以上视频；
从所述超像素中识别前景超像素和背景超像素；
对所述前景超像素进行聚类和模型选择，以得到聚类结果和模型选择结果；
根据所述聚类结果和模型选择结果对所述超像素进行自动标注，以得到带标注的超像素数据集；
基于所述带标记的超像素数据集，进行有监督的深度学习；以及
构建并求解马尔科夫随机场，以完成视频共分割。
进一步地，从输入视频中提取超像素的步骤可以包括：对每一视频的每一帧进行运动感知超像素分割，以提取超像素。
进一步地，从超像素中识别前景超像素和背景超像素的步骤可以包括：为所述超像素中的每一个超像素计算运动显著性值和相对于运动边界的内外性值，判断所述每一个超像素的显著性值和相对于运动边界的内外性值是否分别大于显著性阈值和内外性阈值；当所述显著性值和所述内外性值均大于显著性阈值和内外性阈值时，判定所述超像素为前景超像素；否则，判定所述超像素为背景超像素。
进一步地，聚类和/或模型选择可以由算法自动实现。
进一步地，聚类可以直接和/或间接地利用超像素的像素相似关系。
进一步地，聚类可以直接和/或间接地利用超像素的位置邻接关系。
进一步地，对前景超像素进行聚类和模型选择的步骤可以包括：计算所述前景超像素的特征描述子；根据位置邻接关系，为任意一对前景超像素指定初始的共同性原则；以及在所述共同性原则约束下，对所述前景超像素的特征描述子进行迭代聚类，得到最优的聚类结果和模型选择。
进一步地，根据所述聚类结果和模型选择结果对所述超像素进行自动标注的步骤可以包括：将前景超像素自动标注为前景超像素类别中的一个类别；以及将背景超像素均自动标注为背景超像素类别。
进一步地，前景超像素的类别的数量大于和/或等于背景超像素的类别的数量。
进一步地，基于所述带标记的超像素数据集进行有监督的深度学习可以包括：基于所述带标记的超像素数据集学习多类分类器，其中，多类分类器的输入为所述超像素的特征描述子，多类分类器的输出为所述超像素属于某一类别的概率。
进一步地，所述马尔科夫随机场可以直接和/或间接描述深度学习的输出结果。
进一步地，所述马尔科夫随机场可以直接和/或间接描述邻域的超像素的平滑性。
通过引入包含一致前景的多个视频进行共分割，本发明的技术方案对背景、光照、运动、遮挡等因素的变化有更好的鲁棒性。此外，通过聚类和模型选择算法实现对超像素数据的自动标注，消除了人工标注的巨大工作量对有监督深度学习的限制，从而使深度学习能够利用更大规模的视频数据库学习出更准确的共分割模型。并且，在深度学习的基础上引入马尔科夫随机场，进一步提升了前景和背景边界区域的分割精度。
附图说明
图1为根据本发明一个实施例的基于超像素自动标注的深度学习共分割方法的流程图；
图2为图1中的步骤102的进一步的流程图。
具体实施方式
以下将结合附图所示的具体实施方式对本申请进行详细描述。但这些实施方式并不限制本申请，本领域的普通技术人员根据这些实施方式所做出的结构、方法、或功能上的变换均包含在本申请的保护范围内。
图1展示了根据本发明一个实施例的基于超像素自动标注的深度学习共分割方法的流程图，该实施例的方法包括如下步骤。
步骤101，从输入视频中提取超像素，所述输入视频为包含一致前景的两段或两段以上视频。
共分割方法的输入可以是视频集，其可以具有包含一致前景的两段或两段以上视频。这些视频可以具有不同的背景、光照等，其中的前景物体可以处于不同的运动状态中，并可被其他物体以不同程度地遮挡等。通过增大差异化视频数据的数据量，能够提供多种因素影响下的前景物体图像，从而有助于更充分稳定地提取前景物体的共同性原则。
超像素是指具有相似纹理、颜色、亮度等特征的相邻像素构成图块。通过提取超像素，可以降低后续图像处理任务的复杂度。
根据一种实施方式，从输入视频中提取超像素，可以包括将每一视频分解为若干帧，对每一帧进行运动感知超像素分割，以提取超像素。
步骤102，从超像素中识别前景超像素和背景超像素。
前景超像素是超像素中构成前景物体部分的超像素，也是图像分割中感兴趣的超像素。
步骤103，对前景超像素进行聚类和模型选择，以得到聚类结果。
聚类和/或模型选择由算法自动实现。可选地，所述聚类可以直接和/或间接地利用超像素的像素相似关系；替代性地，所述聚类也可以直接和/或间接地利用超像素的位置邻接关系。
根据一种实施方式，对前景超像素进行聚类和模型选择的步骤包括：计算所述前景超像素的特征描述子；根据位置邻接关系，为任意一对前景超像素指定初始的共同性原则；以及，在所述共同性原则约束下，对所述前景超像素的特征描述子进行迭代聚类，得到最优的模型选择和聚类结果。
在一个具体示例中，聚类和模型选择可采用如下算法：
对所有前景超像素计算归一化颜色直方图，该直方图即为超像素的特征描述子；
为任意两个前景超像素si和sj指定初始的共同性原则Zij：
其中，(si，sj)∈M表示si和sj在当前帧和前后若干帧均相邻，(si，sj)∈C表示si和sj在当前帧不相邻；
在共同性原则约束下，对前景超像素的特征描述子进行迭代聚类，得到最优的模型选择结果K和聚类结果
步骤104，根据所述聚类结果对所述超像素进行自动标注，以得到带标注的超像素数据集。
根据一种实施方式，根据所述聚类结果和模型选择结果对所述超像素进行自动标注的步骤包括：将前景超像素自动标注为其所在的类别；以及将背景超像素自动标注为同一个背景超像素类别。前景超像素的类别的数量可以大于和/或等于背景超像素的类别的数量，以便能够更准确地描述多目标运动，并提升单目标运动的鲁棒性。
在一个具体示例中，如果超像素si属于类别的前景超像素，则si可以标注为f，否则si标注为K+1。
步骤105，基于所述带标记的超像素数据集，进行有监督的深度学习。
根据一种实施方式，基于所述带标记的超像素数据集进行有监督的深度学习包括基于所述带标记的超像素数据集学习多类分类器，其中，多类分类器的输入为所述超像素的特征描述子，多类分类器的输出为所述超像素属于某一类别的概率。
在一个具体示例中，多类分类器的输入可以是超像素si的特征描述子，输出可以是超像素si属于类别fi的概率其中fi∈[1，K+1]。
步骤106，构建并求解马尔科夫随机场，以完成视频共分割。
根据一种实施方式，马尔科夫随机场直接和/或间接描述了深度学习的输出结果；替代性地，马尔科夫随机场直接和/或间接描述了邻域的超像素的平滑性。
具体地，马尔科夫随机场的目标函数为：
其中，λ表示加权系数，N表示时空邻接的超像素邻域，S表示全部超像素的集合，Vi，j(fi，fj)表示如下时空一致性：
其中，表示空间邻接，表示时间邻接，ω1、表示满足加权系数，ω2、表示满足加权系数，dc表示超像素特征描述子的卡方距离，df表示超像素内所有像素速度均值的欧氏距离，do表示超像素运动重叠区域的面积。
构建马尔科夫随机场后，通过图割法最小化上述目标函数，以完成视频共分割。
图2为图1中的步骤102的进一步的流程图。
如图2所示，根据一个实施例，从输入视频中提取超像素的步骤可以包括：步骤201，为超像素中的每一个超像素计算运动显著性值和相对于运动边界的内外性值，以及步骤202，判断超像素的显著性值和相对于内外性值是否分别大于显著性阈值和内外性阈值；如果某个超像素的运动显著性值和内外性值均大于给定的阈值，则该超像素属于前景超像素，否则属于背景超像素。
应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施方式中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。
上文所列出的一系列的详细说明仅仅是针对本申请的可行性实施方式的具体说明，它们并非用以限制本申请的保护范围，凡未脱离本申请技艺精神所作的等效实施方式或变更均应包含在本申请的保护范围之内。

Claims (12)

1.一种基于超像素自动标注的深度学习共分割方法，包括：
从输入视频中提取超像素，所述输入视频为包含一致前景的两段或两段以上视频；
从所述超像素中识别前景超像素和背景超像素；
对所述前景超像素进行聚类和模型选择，以得到聚类结果和模型选择结果；
根据所述聚类结果和模型选择结果对所述超像素进行自动标注，以得到带标注的超像素数据集；
基于所述带标记的超像素数据集，进行有监督的深度学习；以及
构建并求解马尔科夫随机场，以完成视频共分割。
2.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，从输入视频中提取超像素的步骤包括：
对每一视频的每一帧进行运动感知超像素分割，以提取超像素。
3.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，从所述超像素中识别前景超像素和背景超像素的步骤包括：
为所述超像素中的每一个超像素计算运动显著性值和相对于运动边界的内外性值，
判断所述每一个超像素的显著性值和相对于运动边界的内外性值是否分别大于显著性阈值和内外性阈值；
当所述显著性值和所述内外性值均大于显著性阈值和内外性阈值时，判定所述超像素为前景超像素；
否则，判定所述超像素为背景超像素。
4.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，所述聚类和/或模型选择由算法自动实现。
5.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，所述聚类直接和/或间接地利用超像素的像素相似关系。
6.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，所述聚类直接和/或间接地利用超像素的位置邻接关系。
7.根据权利要求4-6中任一项所述的基于超像素自动标注的深度学习共分割方法，其特征在于，对所述前景超像素进行聚类和模型选择的步骤包括：
计算所述前景超像素的特征描述子；
根据位置邻接关系，为任意一对前景超像素指定初始的共同性原则；以及
在所述共同性原则约束下，对所述前景超像素的特征描述子进行迭代聚类，得到最优的聚类结果和模型选择结果。
8.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，根据所述聚类结果和模型选择结果对所述超像素进行自动标注的步骤包括：
将前景超像素中的每一个自动标注为前景超像素类别中的一个类别；以及
将背景超像素均自动标注为背景超像素类别。
9.根据权利要求8所述的基于超像素自动标注的深度学习共分割方法，其特征在于，所述前景超像素的类别的数量大于和/或等于背景超像素的类别的数量。
10.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，基于所述带标记的超像素数据集进行有监督的深度学习包括：
基于所述带标记的超像素数据集学习多类分类器，
其中，多类分类器的输入为所述超像素的特征描述子，多类分类器的输出为所述超像素属于某一类别的概率。
11.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，所述马尔科夫随机场直接和/或间接描述了深度学习的输出结果。
12.根据权利要求1所述的基于超像素自动标注的深度学习共分割方法，其特征在于，所述马尔科夫随机场直接和/或间接描述了邻域的超像素的平滑性。
CN201710766155.XA 2017-08-30 2017-08-30 基于超像素自动标注的深度学习共分割方法 Pending CN109427068A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201710766155.XA CN109427068A (zh) 2017-08-30 2017-08-30 基于超像素自动标注的深度学习共分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710766155.XA CN109427068A (zh) 2017-08-30 2017-08-30 基于超像素自动标注的深度学习共分割方法

Publications (1)

Publication Number Publication Date
CN109427068A true CN109427068A (zh) 2019-03-05

Family

ID=65504243

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710766155.XA Pending CN109427068A (zh) 2017-08-30 2017-08-30 基于超像素自动标注的深度学习共分割方法

Country Status (1)

Country Link
CN (1) CN109427068A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949907A (zh) * 2019-03-29 2019-06-28 西安交通大学 基于云端的大型病理学图像协作注释方法及系统
CN110598705A (zh) * 2019-09-27 2019-12-20 腾讯科技（深圳）有限公司 图像的语义标注方法及装置
CN110659692A (zh) * 2019-09-26 2020-01-07 重庆大学 基于强化学习和深度神经网络的病理图像自动标注方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN105931241A (zh) * 2016-04-22 2016-09-07 南京师范大学 一种自然场景图像的自动标注方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105389584A (zh) * 2015-10-13 2016-03-09 西北工业大学 基于卷积神经网络与语义转移联合模型的街景语义标注方法
CN105931241A (zh) * 2016-04-22 2016-09-07 南京师范大学 一种自然场景图像的自动标注方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIAMING GUO ET AL.: "Consistent Foreground Co-segmentation" *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109949907A (zh) * 2019-03-29 2019-06-28 西安交通大学 基于云端的大型病理学图像协作注释方法及系统
CN109949907B (zh) * 2019-03-29 2021-07-13 西安交通大学 基于云端的大型病理学图像协作注释方法及系统
CN110659692A (zh) * 2019-09-26 2020-01-07 重庆大学 基于强化学习和深度神经网络的病理图像自动标注方法
CN110598705A (zh) * 2019-09-27 2019-12-20 腾讯科技（深圳）有限公司 图像的语义标注方法及装置
CN110598705B (zh) * 2019-09-27 2022-02-22 腾讯科技（深圳）有限公司 图像的语义标注方法及装置

Similar Documents

Publication Publication Date Title
CN104599275B (zh) 基于概率图模型的非参数化的rgb-d场景理解方法
CN104867161B (zh) 一种视频处理方法及装置
Xu et al. Learning-based shadow recognition and removal from monochromatic natural images
CN105205475B (zh) 一种动态手势识别方法
Cheng et al. Outdoor scene image segmentation based on background recognition and perceptual organization
CN108537239B (zh) 一种图像显著性目标检测的方法
CN105825502B (zh) 一种基于显著性指导的词典学习的弱监督图像解析方法
CN106446015A (zh) 一种基于用户行为偏好的视频内容访问预测与推荐方法
CN104615986B (zh) 利用多检测器对场景变化的视频图像进行行人检测的方法
WO2017181892A1 (zh) 前景分割方法及装置
CN109002755B (zh) 基于人脸图像的年龄估计模型构建方法及估计方法
Tian et al. Learning complementary saliency priors for foreground object segmentation in complex scenes
CN107103326A (zh) 基于超像素聚类的协同显著性检测方法
CN102521616B (zh) 基于稀疏表示的行人检测方法
CN102436636A (zh) 自动分割头发的方法及其系统
CN103886619A (zh) 一种融合多尺度超像素的目标跟踪方法
CN109087330A (zh) 一种基于由粗到精图像分割的运动目标检测方法
WO2019197021A1 (en) Device and method for instance-level segmentation of an image
CN109685045A (zh) 一种运动目标视频跟踪方法及系统
JP4553300B2 (ja) コンテンツ識別装置
CN110147841A (zh) 基于弱监督及无监督部件检测和分割的细粒度分类方法
Klein et al. Boosting scalable gradient features for adaptive real-time tracking
CN109427068A (zh) 基于超像素自动标注的深度学习共分割方法
CN111667005A (zh) 一种采用rgbd视觉传感的人体交互系统
CN107657276B (zh) 一种基于寻找语义类簇的弱监督语义分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190305

WD01 Invention patent application deemed withdrawn after publication