CN110622214A - 基于超体素的时空视频分割的快速渐进式方法 - Google Patents

基于超体素的时空视频分割的快速渐进式方法 Download PDF

Info

Publication number
CN110622214A
CN110622214A CN201880027386.1A CN201880027386A CN110622214A CN 110622214 A CN110622214 A CN 110622214A CN 201880027386 A CN201880027386 A CN 201880027386A CN 110622214 A CN110622214 A CN 110622214A
Authority
CN
China
Prior art keywords
voxels
hyper
segmentation
groups
video content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880027386.1A
Other languages
English (en)
Other versions
CN110622214B (zh
Inventor
徐迅
中村章
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110622214A publication Critical patent/CN110622214A/zh
Application granted granted Critical
Publication of CN110622214B publication Critical patent/CN110622214B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20072—Graph-based image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

基于超体素的时空视频分割方法的两步体系架构确保速度和可伸缩性。计算密集的第一步使用高度高效的超体素分割方法。第二步是在预分组的超体素上完成的，因此具有低得多的时间和空间复杂性。第一步中部署的渐进式分割方案使得能够逐部分地分割巨大的输入体量，而无需将所有数据加载到存储器中(该步骤可能是不可行的)。同时，渐进式分割能够有效地防止接缝伪影，从而导致分割结果实际上与整个体量处理的结果相同。

Description

基于超体素的时空视频分割的快速渐进式方法
技术领域
本发明涉及视频分割。更具体而言，本发明涉及基于超体素的视频分割(supervoxel-based video segmentation)。
背景技术
视频分段是极富挑战性的任务，尤其是在处理高分辨率和长持续时间的视频时。视频分割是视频处理中的重要任务，并且用作许多其它任务(诸如降噪和超分辨率)的预处理步骤。对于高分辨率和长持续时间的视频，由于涉及大量计算，因此高质量视频分割仍然是具有挑战性的任务。
发明内容
基于超体素的时空视频分割方法的两步体系架构确保速度和可伸缩性(scalability)。计算密集的第一步使用高度高效的超体素分割方法。第二步是在预分组的超体素上完成的，因此具有低得多的时间和空间复杂性。第一步中部署的渐进式(progressive)分割方案使得能够逐部分地分割巨大的输入体量(volume)，而无需将所有数据加载到存储器中(该操作可能是不可行的)。同时，渐进式分割能够有效地防止接缝伪影(seam artifact)，从而导致分割结果实际上与整个体量处理的结果相同。
在一个方面，一种在设备的非暂态存储器中编程的方法包括：获取视频内容、将视频内容分割为超体素组、以及将超体素组分组为段。超体素组中的每个组中的体素在颜色、纹理或两者上在视觉上相似。通过比较和匹配颜色、纹理或两者来执行确定体素在颜色上在视觉上相似。将视频内容分割为超体素组包括过度分割(over-segmentation)。超体素之间的边界被保留。通过简单的线性迭代聚类(clustering)将视频内容分割为超体素组。将视频内容分割为超体素组使用渐进式分割，该渐进式分割是通过将视频内容拆分为时空片段而进行的逐部分分割，并且按扫描线次序来顺序地处理时空片段。渐进式分割使用前线撤退策略，该前线撤退策略包括：在处理每个片段时，存储标记已经被分割的体素的掩码阵列，其中在分割之前，不对任何体素进行标记，而在分割之后，对除了属于片段的前线边界上的超体素的体素之外的每个体素进行标记，其中在分割下一个片段之前，将所有已处理的相邻片段的未标记体素添加到当前片段中，并且使用选定的分割方法将所有体素分割为超体素。将超体素分组为更大的段是基于经修改的基于图的分割算法的，该经修改的基于图的分割算法将超体素而不是各个体素进行分组。将超体素组分组为段包括测量两个超体素之间的相异度，包括测量超体素的颜色直方图之间的X2距离。
在另一个方面，一种系统包括透镜、被配置用于获取视频内容的传感器以及被配置用于将视频内容分割为超体素组并且将超体素组分组为段的处理部件。超体素组中的每个组中的体素在颜色、纹理或两者上在视觉上相似。通过比较和匹配颜色、纹理或两者来执行体素在颜色上在视觉上相似。将视频内容分割为超体素组包括过度分割。超体素之间的边界被保留。通过简单的线性迭代聚类将视频内容分割为超体素组。将视频内容分割为超体素组使用渐进式分割，该渐进式分割是通过将视频内容拆分为时空片段而进行的逐部分分割，并且按扫描线次序来顺序地处理时空片段。渐进式分割使用前线撤退策略，该前线撤退策略包括：在处理每个片段时，存储标记已经被分割的体素的掩码阵列，其中在分割之前，不对任何体素进行标记，而在分割之后，对除了属于片段的前线边界上的超体素的体素之外的每个体素进行标记，其中在分割下一个片段之前，将所有已处理的相邻片段的未标记体素添加到当前片段中，并且使用选定的分割方法将所有体素分割为超体素。将超体素分组为更大的段是基于经修改的基于图的分割算法的，该经修改的基于图的分割算法将超体素而不是各个体素进行分组。将超体素组分组为段包括测量两个超体素之间的相异度，包括测量超体素的颜色直方图之间的X2距离。
在另一个方面，一种相机设备包括：透镜、被配置用于获取视频内容的传感器、用于存储应用的非暂态存储器和耦合到存储器的处理部件，该应用用于：将视频内容分割为超体素组以及将超体素组分组为段，该处理部件被配置用于处理该应用。超体素组中的每个组中的体素在颜色、纹理或两者上在视觉上相似。通过比较和匹配颜色、纹理或两者来执行确定体素在颜色上在视觉上相似。将视频内容分割为超体素组包括过度分割。超体素之间的边界被保留。通过简单的线性迭代聚类将视频内容分割为超体素组。将视频内容分割为超体素组使用渐进式分割，该渐进式分割是通过将视频内容拆分为时空片段而进行的逐部分分割，并且按扫描线次序来顺序地处理时空片段。渐进式分割使用前线撤退策略，该前线撤退策略包括：在处理每个片段时，存储标记已经被分割的体素的掩码阵列，其中在分割之前，不对任何体素进行标记，而在分割之后，对除了属于片段的前线边界上的超体素的体素之外的每个体素进行标记，其中在分割下一个片段之前，将所有已处理的相邻片段的未标记体素添加到当前片段中，并且使用选定的分割方法将所有体素分割为超体素。将超体素分组为更大的段是基于经修改的基于图的分割算法的，该经修改的基于图的分割算法将超体素而不是各个体素进行分组。将超体素组分组为段包括测量两个超体素之间的相异度，包括测量超体素的颜色直方图之间的X2距离。
附图说明
图1图示了根据一些实施例的分割框架的整体工作流程的图。
图2图示了根据一些实施例的渐进式分割框架的工作流程的图。
图3图示了根据一些实施例的基于超体素的时空视频分割的方法的流程图。
图4图示了根据一些实施例的示例性计算设备的框图，该示例性计算设备被配置为实现基于超体素的时空视频分割方法。
具体实施方式
描述了用于视频分割的快速且可伸缩的方法。该方法快速并且以两步方式工作。第一步，在计算上最昂贵的步骤，是通过极其高效的方法来实现的。该方法是高度可伸缩的，部分原因是由于这种高效的分割方法，该方法使用能够有效处理非常大的视频序列的新型渐进式处理方案。
视频分割方法涉及两个步骤。在第一步中，将视频作为时空体量分割成超体素。这是计算上最昂贵的步骤，因此使用了高度高效的算法。此外，设计了渐进式方案来处理大视频输入，从而为整个框架提供高可伸缩性。在第二步中，将超体素进一步分组为较大的段，这些段在视觉上是一致的并且在语义上有意义。分割框架的总体工作流程如图1所示，本文描述这些步骤的细节。
时空超体素分割
两步框架中的第一步涉及将像素(特别是视频输入中的体素)分割为被称为超体素的组。在颜色和/或纹理的意义上，分组为一个超体素的体素在视觉上相似。颜色和/或纹理意义上的视觉相似性能够以任何方式确定，诸如比较和匹配颜色值和/或纹理值。在原始视频中，通常将一个视觉上一致的区域(例如，物体的一部分)分割成多个超体素；因此，这种分割常常被称为过度分割。将输入视频过度分割为超体素的目的是显著减少在后续步骤中要处理的视觉单元的数量。由于一个超体素通常包含102～103个体素，因此以后模块的处理复杂性可以降低2或3个数量级。过度分割应当在原始输入中保留突出的边界(例如，前景物体与背景之间的边界)。换句话说，超体素之间的边界应当包含原始输入中的所有重要边界。
在这个步骤中能够使用任何相当好的超体素分割方法。但是，由于这个步骤在计算上最昂贵，因为它对所有输入体素进行工作，因此优选地使用高度高效的方法来提供整个框架的总体速度和可伸缩性。在一些实施例中，利用被称为简单线性迭代聚类(SLIC)的方法，该方法是非常高效的(相对于体素的数量，其具有线性复杂性)方法，其能够导致合理地良好的分割质量。
用于大视频输入的渐进式分割方案
视频序列，尤其是高分辨率和长持续时间的视频序列，难以完全被加载到存储器中进行处理。用于视频分割的可伸缩框架应当涉及无需将其作为整体进行处理来处置大输入的方案。第一步是以逐部分方式完成的，这被称为渐进式分割。图2图示了根据一些实施例的渐进式分割框架的工作流程的图。
在渐进式分割方案中，首先将原始视频量拆分为较小的时空块。然后按扫描线次序顺序处理这些块。
这些块的原生处理将导致在任何一对相邻块之间的边界上的人造接缝。在渐进式分割方案中，采用前线撤退策略来解决这个问题。前线撤退策略按本文所述工作。
在处理每个块时，保留掩码数组，该数组标记已被处理(被分割)的体素。在分割之前，显然不对任何体素进行标记。在分割之后，对除了属于这个块的前线边界(例如，这个块与未被处理的任何块之间的边界)上的超体素的体素之外的每个体素进行标记。在处理随后的块之前，将所有已处理的相邻块的未标记体素添加到当前块，并且使用选定的分割方法将所有这些体素分割为超体素。
超体素之上的基于图的分割
基于图的分割是能够导致视觉上一致且在语义上有意义的分割的方法。原始方法是专为图像分割而设计的，并且对像素进行工作(例如，将像素分组为段)。本文描述的方法适于对时空超体素进行工作。主要区别在于用超体素替换体素作为要处理的基本元素(节点)。因而，用于体素的原始距离测量被测量两个超体素之间的相异度的距离代替。由于超体素是空间连接的体素的集合，因此能够使用更复杂的度量。一种可能性是使用超体素颜色直方图之间的X2距离。取决于具体的应用，还能够包括其它度量以测量关于其它方面(例如，纹理或运动)的相异度。
图3图示了根据一些实施例的基于超体素的时空视频分割的方法的流程图。在步骤300中，获取或发送视频内容。例如，数字摄录机用于拍摄视频。在另一个示例中，视频内容从一个设备发送到另一个设备。在步骤302中，将视频内容分割成超体素。在步骤304中，将超体素分组为更大的段。在一些实施例中，实现更少或附加的步骤。在一些实施例中，步骤的次序被修改。
图4图示了根据一些实施例的示例性计算设备的框图，该示例性计算设备被配置为实现基于超体素的时空视频分割方法。计算设备400能够被用于获取、存储、计算、处理、传达和/或显示诸如图像和视频之类的信息。通常，适合于实现计算设备400的硬件结构包括网络接口402、存储器404、处理器406、(一个或多个)I/O设备408、总线410和存储设备412。处理器的选择并不重要，只要选择具有足够速度的合适处理器即可。存储器404能够是本领域中已知的任何常规计算机存储器。存储设备412能够包括硬盘驱动器、CDROM、CDRW、DVD、DVDRW、高清盘/驱动器、超HD驱动器、闪存卡或任何其它存储设备。计算设备400能够包括一个或多个网络接口402。网络接口的示例包括连接到以太网或其它类型的LAN的网卡。(一个或多个)I/O设备408能够包括以下中的一个或多个：键盘、鼠标、监视器、屏幕、打印机、调制解调器、触摸屏、按钮接口和其它设备。用于执行基于超体素的时空视频分割方法的(一个或多个)基于超体素的时空视频分割应用430可能被存储在存储设备412和存储器404中并且如应用通常被处理的那样被处理。图4所示的更多或更少的部件能够被包括在计算设备400中。在一些实施例中，包括基于超体素的时空视频分割硬件420。虽然图4中的计算设备400包括用于基于超体素的时空视频分割方法的应用430和硬件420，但是基于超体素的时空视频分割方法能够以硬件、固件、软件或硬件或其任何组合在计算设备上实现。例如，在一些实施例中，基于超体素的时空视频分割应用430在存储器中被编程并且使用处理器来执行。在另一个示例中，在一些实施例中，基于超体素的时空视频分割硬件420是编程的硬件逻辑，包括专门被设计用于实现基于超体素的时空视频分割方法的门。
在一些实施例中，基于超体素的时空视频分割应用430包括若干应用和/或模块。在一些实施例中，模块也包括一个或多个子模块。在一些实施例中，能够包括更少或附加的模块。
合适的计算设备的示例包括个人计算机、膝上型计算机、计算机工作站、服务器、大型计算机、手持计算机、个人数字助理、蜂窝/移动电话、智能用具、游戏控制台、数字相机、数字摄录机、照相电话、智能电话、便携式音乐播放器、平板电脑、移动设备、视频播放器、视频光盘刻录机/播放器(例如，DVD刻录机/播放器、高清光盘刻录机/播放器、超高清光盘刻录机/播放器)、电视、家庭娱乐系统、智能珠宝(例如，智能手表)或任何其它合适的计算设备。
为了利用本文描述的基于超体素的时空视频分割方法，使用诸如数字摄录机之类的设备来获取视频。基于超体素的时空视频分割方法被自动用于处理获取的数据。基于超体素的时空视频分割方法能够自动实现，而无需用户参与。
在操作中，基于超体素的时空视频分割方法的两步体系架构确保速度和可伸缩性。计算密集的第一步使用高度高效的超体素分割方法。第二步是在预分组的超体素上完成的，因此具有低得多的时间和空间复杂性。第一步中部署的渐进式分割方案使得能够逐部分地分割巨大的输入体量，而无需将所有数据加载到存储器中(该步骤可能是不可行的)。同时，渐进式分割能够有效地防止接缝伪影，从而导致分割结果实际上与整个体量处理的结果相同。
基于超体素的时空视频分割的快速渐进式方法的一些实施例
1、一种在设备的非暂态存储器中编程的方法，包括：
a.获取视频内容；
b.将视频内容分割为超体素组；以及
c.将超体素组分组为段。
2、如条款1所述的方法，其中超体素组中的每个组中的体素在颜色、纹理或两者上在视觉上相似。
3、如条款2所述的方法，其中通过比较和匹配颜色、纹理或两者来执行确定体素在颜色上在视觉上相似。
4、如条款1所述的方法，其中将视频内容分割为超体素组包括过度分割。
5、如条款4所述的方法，其中超体素之间的边界被保留。
6、如条款1所述的方法，其中通过简单的线性迭代聚类将视频内容分割为超体素组。
7、如条款1所述的方法，其中将视频内容分割为超体素组使用渐进式分割，所述渐进式分割是通过将视频内容拆分为时空片段而进行的逐部分分割，并且按扫描线次序来顺序地处理所述时空片段。
8、如条款7所述的方法，其中渐进式分割使用前线撤退策略，所述前线撤退策略包括：在处理每个片段时，存储标记已经被分割的体素的掩码阵列，其中在分割之前，不对任何体素进行标记，而在分割之后，对除了属于片段的前线边界上的超体素的体素之外的每个体素进行标记，其中在分割下一个片段之前，将所有已处理的相邻片段的未标记体素添加到当前片段中，并且使用选定的分割方法将所有体素分割为超体素。
9、如条款1所述的方法，其中将超体素分组为更大的段是基于经修改的基于图的分割算法的，所述经修改的基于图的分割算法将超体素而不是各个体素进行分组。
10、如条款1所述的方法，其中将超体素组分组为段包括测量两个超体素之间的相异度，包括测量超体素的颜色直方图之间的X2距离。
11、一种系统，包括：
a.透镜；
b.传感器，被配置用于获取视频内容；以及
c.处理部件，被配置用于将视频内容分割为超体素组并且将超体素组分组为段。
12、如条款11所述的系统，其中超体素组中的每个组中的体素在颜色、纹理或两者上在视觉上相似。
13、如条款12所述的系统，其中通过比较和匹配颜色、纹理或两者来执行确定体素在颜色上在视觉上相似。
14、如条款11所述的系统，其中将视频内容分割为超体素组包括过度分割。
15、如条款14所述的系统，其中超体素之间的边界被保留。
16、如条款11所述的系统，其中通过简单的线性迭代聚类将视频内容分割为超体素组。
17、如条款11所述的系统，其中将视频内容分割为超体素组使用渐进式分割，所述渐进式分割是通过将视频内容拆分为时空片段而进行的逐部分分割，并且按扫描线次序来顺序地处理所述时空片段。
18、如条款17所述的系统，其中渐进式分割使用前线撤退策略，所述前线撤退策略包括：在处理每个片段时，存储标记已经被分割的体素的掩码阵列，其中在分割之前，不对任何体素进行标记，而在分割之后，对除了属于片段的前线边界上的超体素的体素之外的每个体素进行标记，其中在分割下一个片段之前，将所有已处理的相邻片段的未标记体素添加到当前片段中，并且使用选定的分割方法将所有体素分割为超体素。
19、如条款11所述的系统，其中将超体素分组为更大的段是基于经修改的基于图的分割算法的，所述经修改的基于图的分割算法将超体素而不是各个体素进行分组。
20、如条款11所述的系统，其中将超体素组分组为段包括测量两个超体素之间的相异度，包括测量超体素的颜色直方图之间的X2距离。
21、一种相机设备，包括：
a.透镜；
b.传感器，被配置用于获取视频内容；
c.非暂态存储器，用于存储应用，所述应用用于：
i.将视频内容分割为超体素组；以及
ii.将超体素组分组为段；以及
d.处理部件，耦合到存储器，所述处理部件被配置用于处理所述应用。
22、如条款21所述的相机设备，其中超体素组中的每个组中的体素在颜色、纹理或两者上在视觉上相似。
23、如条款22所述的相机设备，其中通过比较和匹配颜色、纹理或两者来执行确定体素在颜色上在视觉上相似。
24、如条款21所述的相机设备，其中将视频内容分割为超体素组包括过度分割。
25、如条款24所述的相机设备，其中超体素之间的边界被保留。
26、如条款21所述的相机设备，其中通过简单的线性迭代聚类将视频内容分割为超体素组。
27、如条款21所述的相机设备，其中将视频内容分割为超体素组使用渐进式分割，所述渐进式分割是通过将视频内容拆分为时空片段而进行的逐部分分割，并且按扫描线次序来顺序地处理所述时空片段。
28、如条款27所述的相机设备，其中渐进式分割使用前线撤退策略，所述前线撤退策略包括：在处理每个片段时，存储标记已经被分割的体素的掩码阵列，其中在分割之前，不对任何体素进行标记，而在分割之后，对除了属于片段的前线边界上的超体素的体素之外的每个体素进行标记，其中在分割下一个片段之前，将所有已处理的相邻片段的未标记体素添加到当前片段中，并且使用选定的分割方法将所有体素分割为超体素。
29、如条款21所述的相机设备，其中将超体素分组为更大的段是基于经修改的基于图的分割算法的，所述经修改的基于图的分割算法将超体素而不是各个体素进行分组。
30、如条款21所述的相机设备，其中将超体素组分组为段包括测量两个超体素之间的相异度，包括测量超体素的颜色直方图之间的X2距离。
已经根据结合细节的具体实施例描述了本发明，以促进理解本发明的操作和构造的原理。本文对具体实施例及其细节的这种引用并非旨在限制所附权利要求的范围。对于本领域技术人员来说将显而易见的是，在不脱离由权利要求书限定的本发明的范围和精神的情况下，可以在为说明而选择的实施例中进行其它各种修改。

Claims (30)

1.一种在设备的非暂态存储器中编程的方法，包括：
a.获取视频内容；
b.将视频内容分割为超体素组；以及
c.将超体素组分组为段。
2.如权利要求1所述的方法，其中超体素组中的每个组中的体素在颜色、纹理或两者上在视觉上相似。
3.如权利要求2所述的方法，其中通过比较和匹配颜色、纹理或两者来执行确定体素在颜色上在视觉上相似。
4.如权利要求1所述的方法，其中将视频内容分割为超体素组包括过度分割。
5.如权利要求4所述的方法，其中超体素之间的边界被保留。
6.如权利要求1所述的方法，其中通过简单的线性迭代聚类将视频内容分割为超体素组。
7.如权利要求1所述的方法，其中将视频内容分割为超体素组使用渐进式分割，所述渐进式分割是通过将视频内容拆分为时空片段而进行的逐部分分割，并且按扫描线次序来顺序地处理所述时空片段。
8.如权利要求7所述的方法，其中渐进式分割使用前线撤退策略，所述前线撤退策略包括：在处理每个片段时，存储标记已经被分割的体素的掩码阵列，其中在分割之前，不对任何体素进行标记，而在分割之后，对除了属于片段的前线边界上的超体素的体素之外的每个体素进行标记，其中在分割下一个片段之前，将所有已处理的相邻片段的未标记体素添加到当前片段中，并且使用选定的分割方法将所有体素分割为超体素。
9.如权利要求1所述的方法，其中将超体素分组为更大的段是基于经修改的基于图的分割算法的，所述经修改的基于图的分割算法将超体素而不是各个体素进行分组。
10.如权利要求1所述的方法，其中将超体素组分组为段包括测量两个超体素之间的相异度，包括测量超体素的颜色直方图之间的X2距离。
11.一种系统，包括：
a.透镜；
b.传感器，被配置用于获取视频内容；以及
c.处理部件，被配置用于将视频内容分割为超体素组并且将超体素组分组为段。
12.如权利要求11所述的系统，其中超体素组中的每个组中的体素在颜色、纹理或两者上在视觉上相似。
13.如权利要求12所述的系统，其中通过比较和匹配颜色、纹理或两者来执行确定体素在颜色上在视觉上相似。
14.如权利要求11所述的系统，其中将视频内容分割为超体素组包括过度分割。
15.如权利要求14所述的系统，其中超体素之间的边界被保留。
16.如权利要求11所述的系统，其中通过简单的线性迭代聚类将视频内容分割为超体素组。
17.如权利要求11所述的系统，其中将视频内容分割为超体素组使用渐进式分割，所述渐进式分割是通过将视频内容拆分为时空片段而进行的逐部分分割，并且按扫描线次序来顺序地处理所述时空片段。
18.如权利要求17所述的系统，其中渐进式分割使用前线撤退策略，所述前线撤退策略包括：在处理每个片段时，存储标记已经被分割的体素的掩码阵列，其中在分割之前，不对任何体素进行标记，而在分割之后，对除了属于片段的前线边界上的超体素的体素之外的每个体素进行标记，其中在分割下一个片段之前，将所有已处理的相邻片段的未标记体素添加到当前片段中，并且使用选定的分割方法将所有体素分割为超体素。
19.如权利要求11所述的系统，其中将超体素分组为更大的段是基于经修改的基于图的分割算法的，所述经修改的基于图的分割算法将超体素而不是各个体素进行分组。
20.如权利要求11所述的系统，其中将超体素组分组为段包括测量两个超体素之间的相异度，包括测量超体素的颜色直方图之间的X2距离。
21.一种相机设备，包括：
a.透镜；
b.传感器，被配置用于获取视频内容；
c.非暂态存储器，用于存储应用，所述应用用于：
i.将视频内容分割为超体素组；以及
ii.将超体素组分组为段；以及
d.处理部件，耦合到存储器，所述处理部件被配置用于处理所述应用。
22.如权利要求21所述的相机设备，其中超体素组中的每个组中的体素在颜色、纹理或两者上在视觉上相似。
23.如权利要求22所述的相机设备，其中通过比较和匹配颜色、纹理或两者来执行确定体素在颜色上在视觉上相似。
24.如权利要求21所述的相机设备，其中将视频内容分割为超体素组包括过度分割。
25.如权利要求24所述的相机设备，其中超体素之间的边界被保留。
26.如权利要求21所述的相机设备，其中通过简单的线性迭代聚类将视频内容分割为超体素组。
27.如权利要求21所述的相机设备，其中将视频内容分割为超体素组使用渐进式分割，所述渐进式分割是通过将视频内容拆分为时空片段而进行的逐部分分割，并且按扫描线次序来顺序地处理所述时空片段。
28.如权利要求27所述的相机设备，其中渐进式分割使用前线撤退策略，所述前线撤退策略包括：在处理每个片段时，存储标记已经被分割的体素的掩码阵列，其中在分割之前，不对任何体素进行标记，而在分割之后，对除了属于片段的前线边界上的超体素的体素之外的每个体素进行标记，其中在分割下一个片段之前，将所有已处理的相邻片段的未标记体素添加到当前片段中，并且使用选定的分割方法将所有体素分割为超体素。
29.如权利要求21所述的相机设备，其中将超体素分组为更大的段是基于经修改的基于图的分割算法的，所述经修改的基于图的分割算法将超体素而不是各个体素进行分组。
30.如权利要求21所述的相机设备，其中将超体素组分组为段包括测量两个超体素之间的相异度，包括测量超体素的颜色直方图之间的X2距离。
CN201880027386.1A 2017-07-11 2018-06-29 基于超体素的时空视频分割的快速渐进式方法 Active CN110622214B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/646,711 2017-07-11
US15/646,711 US10304192B2 (en) 2017-07-11 2017-07-11 Fast, progressive approach to supervoxel-based spatial temporal video segmentation
PCT/IB2018/054834 WO2019012365A1 (en) 2017-07-11 2018-06-29 RAPID AND PROGRESSIVE APPROACH FOR SUPERVOXEL-BASED SPATIOTEMPORAL VIDEO SEGMENTATION

Publications (2)

Publication Number Publication Date
CN110622214A true CN110622214A (zh) 2019-12-27
CN110622214B CN110622214B (zh) 2023-05-30

Family

ID=63080230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880027386.1A Active CN110622214B (zh) 2017-07-11 2018-06-29 基于超体素的时空视频分割的快速渐进式方法

Country Status (5)

Country Link
US (1) US10304192B2 (zh)
JP (1) JP6849101B2 (zh)
KR (1) KR102300522B1 (zh)
CN (1) CN110622214B (zh)
WO (1) WO2019012365A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102655278B1 (ko) * 2018-07-24 2024-04-08 삼성메디슨 주식회사 초음파 영상 장치 및 그 표시 방법
CN110533667B (zh) * 2019-07-29 2022-12-02 西安电子科技大学 基于图像金字塔融合的肺部肿瘤ct影像3d分割方法
CN112348816B (zh) * 2021-01-07 2021-06-01 北京明略软件系统有限公司 脑磁共振图像分割方法、存储介质及电子装置
CN113870282A (zh) * 2021-09-29 2021-12-31 吴春 一种茶叶筛查方法、筛查系统及可存储介质
CN117152446B (zh) * 2023-10-31 2024-02-06 昆明理工大学 一种基于高斯曲率和局部凹凸性的改进lccp点云分割方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235374A1 (en) * 2014-02-20 2015-08-20 Nokia Corporation Method, apparatus and computer program product for image segmentation
JP2016009488A (ja) * 2014-06-20 2016-01-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 時間的に整合性のあるスーパーピクセルを生成するための方法および装置
EP2980754A1 (en) * 2014-07-28 2016-02-03 Thomson Licensing Method and apparatus for generating temporally consistent superpixels
CN105590100A (zh) * 2015-12-23 2016-05-18 北京工业大学 基于判别性超体素的人体动作识别方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2384732B1 (es) 2010-10-01 2013-05-27 Telefónica, S.A. Método y sistema para segmentación de primer plano de imágenes en tiempo real.
AU2011265383A1 (en) * 2011-12-20 2013-07-04 Canon Kabushiki Kaisha Geodesic superpixel segmentation
SG10201610096VA (en) * 2012-06-01 2017-01-27 Agency Science Tech & Res Robust graph representation and matching of retina images
EP2680226B1 (en) 2012-06-26 2016-01-20 Thomson Licensing Temporally consistent superpixels
AU2012244276A1 (en) * 2012-10-30 2014-05-15 Canon Kabushiki Kaisha Method, apparatus and system for detecting a supporting surface region in an image
IN2013CH05313A (zh) * 2013-11-18 2015-05-29 Nokia Corp
US9430499B2 (en) * 2014-02-18 2016-08-30 Environmental Systems Research Institute, Inc. Automated feature extraction from imagery
GB2523330A (en) * 2014-02-20 2015-08-26 Nokia Technologies Oy Method, apparatus and computer program product for segmentation of objects in media content
AU2014280948A1 (en) * 2014-12-24 2016-07-14 Canon Kabushiki Kaisha Video segmentation method
US9760801B2 (en) * 2015-05-12 2017-09-12 Lawrence Livermore National Security, Llc Identification of uncommon objects in containers
US10229337B2 (en) * 2016-02-16 2019-03-12 Ecole Polytechnique Federale De Lausanne (Epfl) Scale-adaptive media item segmentation technique
US10200727B2 (en) * 2017-03-29 2019-02-05 International Business Machines Corporation Video encoding and transcoding for multiple simultaneous qualities of service

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150235374A1 (en) * 2014-02-20 2015-08-20 Nokia Corporation Method, apparatus and computer program product for image segmentation
JP2016009488A (ja) * 2014-06-20 2016-01-18 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 時間的に整合性のあるスーパーピクセルを生成するための方法および装置
EP2980754A1 (en) * 2014-07-28 2016-02-03 Thomson Licensing Method and apparatus for generating temporally consistent superpixels
CN105590100A (zh) * 2015-12-23 2016-05-18 北京工业大学 基于判别性超体素的人体动作识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MATTHIAS GRUNDMANN等: "Efficient Hierarchical Graph-Based Video Segmentation", 《2010 IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION》 *
RADHAKRISHNA ACHANTA等: "SLIC Superpixels Compared", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *

Also Published As

Publication number Publication date
CN110622214B (zh) 2023-05-30
US20190019292A1 (en) 2019-01-17
KR102300522B1 (ko) 2021-09-13
JP2020518081A (ja) 2020-06-18
KR20190129984A (ko) 2019-11-20
WO2019012365A1 (en) 2019-01-17
US10304192B2 (en) 2019-05-28
JP6849101B2 (ja) 2021-03-24

Similar Documents

Publication Publication Date Title
CN110622214B (zh) 基于超体素的时空视频分割的快速渐进式方法
Bouwmans et al. Scene background initialization: A taxonomy
US8923638B2 (en) Algorithm selection for structure from motion
JP6425219B2 (ja) 映像符号化のための学習に基づく分割
US9905196B2 (en) Unified optimization method for end-to-end camera image processing for translating a sensor captured image to a display image
Mendi et al. Sports video summarization based on motion analysis
JP2015536094A (ja) ビデオシーン検出
CN108229346B (zh) 使用有符号的前景提取与融合的视频摘要
JP2019531553A (ja) Ｉｈｃ画像解析用の自動化された核の面積／数の推定
US11593948B2 (en) Generating refined alpha mattes utilizing guidance masks and a progressive refinement network
Kryjak et al. Real-time implementation of the ViBe foreground object segmentation algorithm
Wang et al. Dtdn: Dual-task de-raining network
WO2017135120A1 (en) Computationally efficient frame rate conversion system
Abdulla et al. An improved image quality algorithm for exemplar-based image inpainting
CN111723713B (zh) 一种基于光流法的视频关键帧提取方法及系统
US9552531B2 (en) Fast color-brightness-based methods for image segmentation
KR20150043327A (ko) 비디오 시퀀스의 이미지들의 컬러들을 샘플링하는 방법, 및 컬러 클러스터링에의 적용
US9875528B2 (en) Multi-frame patch correspondence identification in video
CN108460768B (zh) 层次化时域切分的视频关注对象分割方法和装置
CN108337402B (zh) 用于视频去噪的有效的基于块的方法
US8571342B2 (en) Image processing and generation of focus information
Sari et al. An Approach For Stitching Satellite Images In A Bigdata Mapreduce Framework
JP6563964B2 (ja) 映像生成装置、映像生成方法、プログラム
Trung et al. Post Processing Algorithm for Background Subtraction Model based on Entropy Approximation and Style Transfer Neural Network
CN115880340B (zh) 小鼠行为分析方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant