CN104584556B - 用于对视频序列的图像的色彩进行聚类的方法和色彩聚类设备 - Google Patents

用于对视频序列的图像的色彩进行聚类的方法和色彩聚类设备 Download PDF

Info

Publication number
CN104584556B
CN104584556B CN201380043232.9A CN201380043232A CN104584556B CN 104584556 B CN104584556 B CN 104584556B CN 201380043232 A CN201380043232 A CN 201380043232A CN 104584556 B CN104584556 B CN 104584556B
Authority
CN
China
Prior art keywords
image
pixel
color
motion vector
mask
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201380043232.9A
Other languages
English (en)
Other versions
CN104584556A (zh
Inventor
C.波里
J.克韦克
E.乔利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN104584556A publication Critical patent/CN104584556A/zh
Application granted granted Critical
Publication of CN104584556B publication Critical patent/CN104584556B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/644—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor using a reduced set of representative colours, e.g. each representing a particular range in a colour space
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Television Systems (AREA)

Abstract

方法包含以下步骤：对于在前面的图像(1)的后面的每个图像(2)连续地，‑基于与从所述前面的图像(1)向所述后面的图像(2)的运动相对应的运动矢量的图，建立所述后面的图像(2)的像素掩模，‑将所述像素掩模应用于对应的后面的图像(2)，以便获得对所述后面的图像(2)的像素进行采样的对应的掩蔽图像。将该方法应用于色彩聚类允许利用有限的计算机资源迭代地更新色彩集群。

Description

用于对视频序列的图像的色彩进行聚类的方法和色彩聚类 设备
技术领域
本发明涉及对视频序列的图像的色彩进行聚类，并且特别涉及对色彩的特定的在先采样。
背景技术
对色彩进行聚类需要高计算资源。为了降低对计算资源的需求，一般在聚类之前对色彩进行采样。这种采样的目的是减少必须被考虑用于进行聚类的每个图像中的像素的数量。例如，可以按照100的因数对图像的像素进行采样。这意味着只有被采样的像素才被用于对色彩进行聚类：例如，考虑每个图像的像素的1/100。优选在不进行任何滤波处理的情况下执行采样，以便不引入伪色彩，并且事实上，考虑未采样色彩用于随后的色彩聚类。为此，应当谨慎地确定二次采样率，以在计算复杂度和精确度之间达到公平的平衡。作为这样的采样的示例，如果将视频内容的图像格式化为1920x1080的HDTV(亦即，每个具有大约两百万个像素)，则可以按照因数100对每个图像进行采样，以取得100个格式为192x108(亦即，每个具有大约20,000像素)的子图像。对于10行中的每行，在10个像素中取一个像素。
对于被采样或未采样色彩的聚类本身，关键要素是基于相似性将这些色彩组织成有意义的集群。在标题为“Data clustering:A review”(在1999年9月公开于ACMComputing Surveys，31(3)，页264–323)的文章中，提议了宽泛的范围的集群形成技术。根据该回顾，存在两种类型的聚类算法，亦即，分层算法和分区算法。分区聚类算法在涉及大数据集的应用中具有胜过分层方法的优点。分区技术通常通过优化准则函数来生成集群。在分区聚类技术中最直观并被频繁使用的准则函数是均方误差准则。K-means是利用均方误差准则的最简单且最常用的算法。其以随机初始分区开始，并且基于模式和集群中心之间的相似性保持向集群重新分配模式，直至满足收敛准则为止。k-means算法很流行，因为其容易实现，并且它的时间复杂度是O(n)，其中n是模式的数量。
在标题为“Fast Video Object Segmentation Using Affine Motion AndGradient-Based Color Clustering”(公开于1998年的IEEE Second Workshop onMultimedia Signal Processing(Cat.No.98EX175)的页486-91)的文章中，作者Ju GuoJongwon Kim Kuo等公开一种基于非参数梯度的迭代色彩聚类算法(被称为均值移位算法)，该算法根据色彩相似性提供稳健的初始主色彩。根据这种使用从先前的帧获得的主色彩信息作为接下来的帧的初始种子的色彩聚类方法，可以将计算时间的量减少50％。
发明内容
本发明的目的是进一步减少视频序列的色彩聚类所需的计算时间。
为此目的，本发明的主题是一种建立视频序列中的前面的图像的后面的图像的像素掩模的方法，该方法包含以下步骤：
-建立与从所述前面的图像向所述后面的图像的运动相对应的运动矢量的图；
-通过将所述运动矢量的图应用于所述前面的图像，产生关于所述后面的图像的对所述前面的图像进行运动补偿的补偿图像；以及
-根据所述补偿图像和所述前面的图像之间的逐像素的差异，建立所述后面的图像的像素掩模。
作为变型，本发明的主题还是一种建立视频序列中的前面的图像的后面的图像的像素掩模的方法，该方法包含以下步骤：
-建立与从所述前面的图像向所述后面的图像的运动相对应的运动矢量的图；以及
-基于与所述前面的图像的每个像素相对应的运动矢量和与位于所述像素的邻域中的相邻像素相对应的运动矢量之间的差异，建立所述后面的图像的像素掩模。
优选地，以上方法还包含以下步骤：对于每个像素，比较所述差异与预定阈值，并且一旦所述差异低于所述预定阈值，就对所述像素掩模的对应像素分配“零”值，或者一旦所述差异等于或高于所述预定阈值，就对所述像素掩模的对应像素分配“一”值。
本发明的主题还是一种将视频序列的图像的色彩采样为对应的掩蔽图像的色彩的方法，该方法包含连续地针对该序列的前面的图像的后面的每个图像的以下步骤：
-根据如上所述的方法建立所述后面的图像的像素掩模；以及
-将所述像素掩模应用于对应的后面的图像，以便获得对所述后面的图像的像素进行采样的对应的掩蔽图像。
更确切地，在建立起像素掩模时并且如果将其应用于后面的图像，则形成与该后面的图像中的像素的选择相对应的掩蔽图像。
本发明的主题还是一种将视频序列的图像的色彩采样为对应的掩蔽图像的色彩的方法，该方法包含连续地针对该序列的前面的图像的后面的每个图像的以下步骤：
-建立所述后面的图像的像素掩模，使得在将所述像素掩模应用于所述后面的图像时，形成与所述后面的图像中的像素的选择相对应的掩蔽图像；
-将所述像素掩模应用于对应的后面的图像，以便获得对所述后面的图像的像素进行采样的对应的掩蔽图像，
其中，给定的后面的图像的像素掩模的所述建立基于与从所述前面的图像向所述后面的图像的运动相对应的运动矢量的图。
优选地，视频序列的图像是连续图像。
根据第一变型，对于具有其前面的图像的所述视频序列的每个后面的图像，根据以下步骤执行像素掩模的建立：
-通过将所述运动矢量的图应用于所述前面的图像，产生关于所述后面的图像的对所述前面的图像进行运动补偿的补偿图像；
-逐像素地计算所述补偿图像和所述前面的图像之间的差异，以便取得差分图像；以及
-比较所述差分图像的每个像素与预定阈值，并且一旦所述差分图像的所述像素低于预定阈值，就将对像素掩模的对应像素分配“零”值，或者一旦所述差分图像的所述像素等于或高于所述预定阈值，就对像素掩模的对应像素分配“一”值。
根据第二变型，对于具有其前面的图像的所述视频序列的每个后面的图像，根据以下步骤执行像素掩模的建立：
-对于所述前面的图像的每个像素，比较所述运动矢量的图中与所述像素相对应的运动矢量和与位于所述像素的邻域中的相邻像素相对应的运动矢量，并且一旦与所述像素相对应的运动矢量和与相邻像素相对应的运动矢量之间的差异低于预定阈值，就对像素掩模的对应像素分配“零”值，或者一旦所述差异等于或高于所述预定阈值，就对像素掩模的对应像素分配“一”值。
本发明的目的还是一种对视频序列的图像的色彩进行聚类的方法，其中，在聚类之前，除了没有前面的图像的所述视频序列的图像之外，亦即除了所述视频序列的第一图像之外，根据如上所述的采样方法对要聚类的色彩进行采样。
优选地，对色彩进行聚类的方法包含：对视频序列的第一图像的色彩进行聚类，以便产生色彩集群的集合并且使所述色彩分布在所产生的集合的色彩集群中的第一步骤；以及，每次获得掩蔽图像时，对已经与所述掩蔽图像的色彩一起被聚类的色彩进行聚类，以便更新色彩集群的集合并且使所述色彩分布在所更新的集合的色彩集群中的步骤。
有利地，利用这样的方法，迭代地执行色彩聚类，然后优化计算资源的使用。
作为变型，每次获得掩蔽图像时，只利用掩蔽图像的色彩来更新色彩集群的集合，并且然后这些色彩分布在该更新的集合的色彩集群中。因此，通过有利地节省计算资源，迭代地建立起视频序列的所有图像的色彩的聚类。
本发明的主题还是一种用于建立视频序列中的前面的图像的后面的图像的像素掩模的像素掩模建立器，其包含：
-运动矢量图建立器，被配置为建立与从所述前面的图像向所述后面的图像的运动相对应的运动矢量的图；以及
-图像产生器，被配置为通过应用由所述运动矢量图建立器所建立的运动矢量的图，产生关于所述后面的图像的对所述前面的图像进行运动补偿的补偿图像，
其中，所述像素掩模建立器被配置为根据所述补偿图像和所述前面的图像之间的逐像素的差异，建立所述后面的图像的像素掩模。
作为第二变型，本发明的主题还是一种用于建立视频序列中的前面的图像的后面的图像的像素掩模的像素图建立器，其包含：运动矢量图建立器，被配置为建立与从所述前面的图像向所述后面的图像的运动相对应的运动矢量的图，并且被配置为根据与所述前面的图像的每个像素相对应的运动矢量和与位于所述像素的邻域中的相邻像素相对应的运动矢量之间的差异，建立所述后面的图像的像素掩模。
本发明的主题还是一种用于将视频序列的图像的色彩采样为对应的掩蔽图像的色彩的色彩采样器，其包含：
-根据本发明的像素图建立器，用于连续地针对该序列的前面的图像的后面的每个图像建立像素掩模；以及
-掩蔽图像建立器，被配置为将由所述像素图建立器所建立的像素掩模应用于所述后面的图像，以便获得对所述后面的图像的像素进行采样的对应的掩蔽图像。
本发明的主题还是一种用于对视频序列的图像的色彩进行聚类的色彩聚类设备，其包含：
-根据本发明的色彩采样器，用于将视频序列的图像的色彩采样为对应掩蔽图像的色彩；
-色彩集群产生器，被配置为根据由色彩采样器所提供的掩蔽图像产生色彩集群的集合；以及
-色彩分布器，被配置为使掩蔽图像的色彩分布成由色彩集群产生器所产生的色彩集群。
附图说明
通过阅读下面的参考附图并且作为非限制性示例给出的描述，将更清楚地理解本发明，在附图中：
图1例示与前面的图像中的对应像素比较的图像的每个像素的运动估计的一般方案；
图2是根据本发明的采样方法的一般流程图；
图3例示一图像，其运动矢量的图覆盖该图像；
图4在图3的图像上例示根据本发明的采样方法的实施例的通过应用像素掩模识别出的干扰区域；
图5是根据本发明的第一实施例的采样方法的详细流程图；以及
图6是根据本发明的第二实施例的采样方法的详细流程图。
具体实施方式
现在将在对视频序列的图像的色彩进行色彩聚类的特定但非限制性的背景下描述本发明。
本领域的技术人员将意识到，在本文中呈现的流程图表示实施本发明的说明性电路的概念视图。它们基本上可以表现为计算机可读介质，因此无论是否显式地示出这样的计算机或处理器，都可以被计算机或处理器执行。
可以通过使用专用硬件以及能够与适当软件相关联地执行软件的硬件来提供在附图中示出的各种元件的功能。
在附图中示出的任何开关或其他类似元件都仅仅是概念性的。它们的功能可以通过程序逻辑的操作、通过专用逻辑、通过程序控制和专用逻辑的交互来执行，如从上下文更具体地理解到的那样，实现者可以选择具体的技术。
根据以下步骤进行对视频序列的图像的色彩进行聚类：
步骤1：根据任何预定方法对视频序列的第一图像的色彩进行聚类(参见上面的聚类示例)。在该聚类之前，优选地，根据任何预定方法进行对这些色彩的采样(参见上面的采样示例)。例如，可以通过100的因数(在该图像中，在100个中选择一个像素)对第一图像的像素进行采样，使得所选像素在该图像中几何地均匀地分布。该步骤的结果是产生色彩集群的第一集合，以及在可选的采样之后，使色彩分布在所产生的该第一集合的色彩集群中。所产生的色彩集群一般基于色彩相似性。
步骤2：确定涉及与后面的图像(亦即第二图像)的前面的图像(亦即第一图像)相比较的后面的图像(亦即第二图像)的运动矢量的图。该步骤通过图2的部分1来例示。
以本身已知的方式执行这样的确定，以便使前面的和后面的给定图像之间的位移帧差(Displaced Frame Difference，“DFD”)最小化。
可以根据下面的公式进行位移帧差(“DFD”)的计算：DFD(P,T,V)＝I(P,T)-I(P-V,T-1)，其中，I对应于图像中的位置P处的像素的色彩，T是通过给定图像的时间位置表示的时间，并且V是前面的图像和给定图像之间的该像素的运动。通过任何普通的分量值(例如，R、G或B值中的任何一个)来表示像素的色彩。
确定涉及与后面的图像2相比较的给定图像1的运动矢量的图是一般被称为“运动估计”的操作。该图的运动矢量可以涉及整个给定图像1(全局运动估计)或特定部分(诸如矩形块、任意形状的补片，甚至是每个像素)。在本发明中，“每个像素”方法是优选的。可以通过平移模型或者能够近似真实摄像机的很多其他模型(诸如所有三维中的旋转和平移以及缩放等)来表示运动矢量。
将这个所确定的图的运动矢量应用于给定图像1，产生可以与其后面的图像2相比较的运动补偿图像1’。分配给该后面的图像(图像2)的像素的该图的每个二维矢量提供从后面的图像(图像2)中的该像素的坐标到前面的图像(图像1)中的对应像素的坐标的偏移。计算出的运动矢量对应于从图像1向图像2的运动。它们对于图像2的所有像素，被定义在图像2的时间位置。这些运动矢量允许对图像1进行运动补偿。
运动估计以及然后的DFD可以与图像的每个像素相关联。作为第一近似，高DFD值与“遮蔽(occlusion)”区域相关联，然后，视频场景中的新对象是这些区域的一部分。这是建议只摄入DFD高并且运动域(motion field)经常被干扰(不稳定)的对应像素的原因。图1例示每个像素的运动估计的一般方案，并且图3例示图像2，具有覆盖该图像的运动矢量的图。
现在将解释下面的步骤3的两个不同实施例。
步骤3-实施例1：基于如图3所例示的所确定的运动矢量的图，根据下面的子步骤来建立该第二图像的像素掩模：
-通过将第二图像的每个像素的运动矢量应用于该像素，产生关于第二图像2的对第一图像1进行运动补偿的补偿图像；
-逐像素地计算所产生的补偿图像和第二图像之间的差异，以便获得差分图像；
-比较计算出的差分图像的每个像素与预定阈值，并且一旦该差分图像的像素低于预定阈值，就对像素掩模的对应像素分配零值，或者一旦该差分图像的像素等于或高于该预定阈值，就对像素掩模的对应像素分配“一”值。阈值一般通过试验来确定，并且例如可能被设置为最大视频值的20％。
例示：
关于通过8比特RGB进行了编码的视频，每个像素分量(R、G和B)具有0和255之间的值，阈值可能等于255的20％，即51。
将当前像素位置处的补偿图像的像素的分量命名为(R1’,G1’,B1’)，并且将当前像素位置处的图像2的像素的分量命名为(R2,G2,B2)，当前像素位置处的掩模的像素：
-如果|R1’-R2|≥51和/或|G1’-G2|≥51和/或|B1’-B2|≥51，则将具有值1；
-否则，将具有值0。
可选地，可以额外地对掩模应用某种形态滤波，以便减少噪声。
步骤3-实施例2：基于通过图3例示的所确定的运动矢量的图，如下地建立该第二图像的像素掩模：对于第二图像的每个像素，比较其运动矢量与位于该像素的邻域中的相邻像素的运动矢量，并且一旦其运动矢量和相邻像素的运动矢量之间的差异低于预定阈值，就对像素掩模的对应像素分配零值，或者一旦所述差异等于或高于所述预定阈值，就对像素掩模的对应像素分配“一”值。
例示：
在运动估计模块的输出处提供运动矢量的图。一个运动矢量与图像的每个像素相关联，运动矢量的图的大小与图像1或图像2的大小相同。
掩模的计算：对于运动矢量图的每个运动矢量，计算到邻域矢量的平均距离(meandistance)。邻域包含位于包围所考虑的运动矢量的(n x n)窗口中的运动矢量。例如，n＝5。
如果c表示在当前像素位置处的运动矢量的位置，如果x表示包围在该当前像素位置c处的运动矢量的运动矢量的位置，如果Vc是在当前像素位置c处的运动矢量，如果Vxc和Vyc分别是该运动矢量Vc的水平分量和垂直分量，如果Vij是Vc的邻域中的运动矢量(其中，0<i≤n并且0<j≤n)，如果Vxi,j和Vyi,j分别是该运动矢量Vij的水平分量和垂直分量，则根据如下公式计算运动矢量Vc和它的所有近邻Vij之间的平均距离：
对于i＝1到n以及j＝1到n，
然后，该像素位置c处的掩模的值：
-如果的20％，则等于1；
-否则，等于0。
基于通过图3例示的所确定的运动矢量的图，该处理允许识别运动矢量与周围其他运动矢量有很大不同的第二图像区域，亦即，识别所谓的“干扰区域”。图4示出这样的“干扰区域”。对于这些区域中的像素，在时间T(第二图像)或T-1(第一图像)时的信息不能用于计算DFD。这是运动域被如此干扰并且DFD高的原因。这些区域一般对应于在前面的图像1(亦即第一图像)中被遮蔽了的第二图像2的区域。
在步骤3结束时，无论哪个实施例，都建立像素掩模。该建立基于与从前面的图像1向后面的图像2的运动相对应的运动矢量的图。
步骤4：将所建立的像素掩模应用于第二图像，以便取得掩蔽图像。由于像素掩模的特定的建立处理，其应用的效果是选择与前面的图像(亦即第一图像)比较被扰乱的第二图像的区域(然后选择对应的像素)。像素掩模的这种应用的结果是对后面的图像(亦即第二图像)的像素的特定采样。
图5例示在根据第一实施例执行步骤3时的这种采样。根据经历差分图像的计算的该采样处理，只要像素的差异高于阈值，对应的像素位置被宣布为被扰乱，并且将这样的像素考虑为应当被考虑在下面的步骤中用于聚类的新图像信息的区域的一部分。
图6例示在根据第二实施例执行步骤3时的这种采样。根据该采样处理，单独地考虑第二或当前图像的运动矢量。在第二或当前图像的每个像素位置处，将对应的运动矢量与邻域的运动矢量进行比较。只要在该像素位置处的运动矢量域的失真高于固定阈值，就将该像素考虑为应当被考虑在下面的步骤中用于聚类的新图像信息的区域的一部分。
在图5和6中，参考1涉及第一或前面的图像，并且参考2涉及第二、当前或者后面的图像。
步骤5：优选地，使用关于以上步骤1相同的聚类方法，对已经与所获得的掩蔽图像的色彩一起被聚类的色彩进行聚类。这里，已经被聚类的色彩是第一图像的色彩，可选地，是在采样之后的第一图像的色彩。在应用该聚类方法之前，可以对掩蔽图像的色彩执行进一步的采样。作为步骤5的结果，获得色彩集群的集合的更新以及已经被聚类的色彩和在该更新的集合的色彩集群中的新聚类的色彩的分布。
由于根据本发明的第二图像2的色彩的特定采样，就考虑该第二图像而言，只摄取第二图像的像素掩模的输出处的色彩，而不是摄取该第二图像的所有色彩，因此节省计算资源。
然后，对于视频序列的其他连续图像中的每一个，重复步骤2至5，其中，用当前图像替换第二图像，并且用该当前图像的前面的图像替换第一图像。关于其前面的图像，当前图像被称为后面的图像。根据按照本发明的方法，每次获得掩蔽图像时，执行对已经与该掩蔽图像的色彩一起被聚类的色彩进行聚类的步骤，以便更新色彩集群的集合，并且使这些色彩分布在更新的集合的色彩集群中。
在处理结束时，亦即，在到达最后的图像时，获得对视频序列的所有图像的色彩聚类。
要理解的是，本发明可以实现为各种形式的硬件、软件、固件、专用处理器或者它们的组合。特别地，本发明可以实现为硬件和软件的组合。而且，可以将软件实现为有形地实施在程序存储单元上的应用程序。该应用程序可以被上载到包含任何适当架构的机器并且被执行。优选地，通过具有诸如一个或多个中央处理单元(“CPU”)、随机访问存储器(“RAM”)和输入/输出(“I/O”)接口之类的硬件的计算机平台来实现该机器。该计算机平台也可以包含操作系统和微指令码。在本文中描述的各种处理和功能可以是可以由CPU执行的微指令码的一部分或应用程序的一部分或它们的任何组合。此外，各种其他外围单元可以连接到计算机平台，诸如附加的数据存储单元和打印单元等。
特别地，如上所述的本发明通过色彩聚类设备来实现，该色彩聚类设备包含：
-色彩采样器，用于将视频序列的图像的色彩采样为对应的掩蔽图像的色彩；
-色彩集群产生器，被配置为根据由色彩采样器所提供的掩蔽图像来产生色彩集群的集合；以及
-色彩分布器，被配置为使掩蔽图像的色彩分布到由色彩集群产生器产生的色彩集群中。
特别地，色彩采样器包含：
-像素图建立器，用于连续地针对视频序列的前面的图像1的后面的每个图像2建立像素掩模；
-掩蔽图像建立器，被配置为将由像素图建立器建立的像素掩模应用于该后面的图像2，以便获得对该后面的图像2的像素进行采样的对应的掩蔽图像。
作为第一变型，像素掩模建立器包含：
-运动矢量图建立器，被配置为建立与在视频序列中从前面的图像1向其后面的图像2的运动相对应的运动矢量的图；以及
-图像产生器，被配置为通过应用由运动矢量图建立器所建立的运动矢量的图来产生关于前面的图像1的后面的图像2的对前面的图像1进行运动补偿的补偿图像1’。
该像素掩模建立器被配置为根据补偿图像1’和前面的图像1之间的逐像素的差异来建立像素掩模。
作为第二变型，像素掩模建立器包含该被配置为建立与在视频序列中从前面的图像1向其后面的图像2的运动矢量相对应的运动矢量的图的运动矢量图建立器，并且被配置为根据与所述前面的图像的每个像素相对应的运动矢量和与位于所述像素的邻域中的相邻像素相对应的运动矢量之间的差异，来建立后面的图像2的像素掩模。
虽然就具体示例和优选实施例描述了本发明，但是要理解的是，本发明不限于这些示例和实施例。因此，对于本发明的技术人员将显而易见的是，所要求保护的本发明包含在本文中描述的具体示例和优选实施例之外的变型。虽然可以单独地描述和要求保护某些特定的实施例，但是要理解的是，可以组合地使用在文本中描述和要求保护的实施例的各种特征。在权利要求中出现的标号仅作为例示，并且对权利要求的范围将不具有限制性的效果。

Claims (2)

1.一种对视频序列的图像的色彩进行聚类的方法，包含：
-对视频序列的第一图像的色彩进行聚类，以便产生色彩群集的集合，并且使所述色彩分布在所产生的集合的色彩群集中；
以及连续地针对该视频序列中的前面的图像(1)之后的每个后面的图像(2)，
-基于所述后面的图像(2)和通过将运动矢量的图应用于所述前面的图像产生的补偿图像(1’)之间的逐像素的差异，所述运动矢量的图对应于从所述前面的图像(1)向所述后面的图像(2)的运动，
或者基于针对该后面的图像(2)的每个像素的、所述像素的关于所述前面的图像中的对应像素的运动矢量和位于所述像素的邻域中的相邻像素的关于它们在所述前面的图像中的对应像素的运动矢量之间的差异，
建立所述后面的图像(2)的像素掩模；
-将所述像素掩模应用于所述后面的图像(2)，以便获得对所述后面的图像(2)的像素进行采样的掩蔽图像；以及
-使所述掩蔽图像的色彩分布在所述色彩群集中，得到色彩群集的更新集合。
2.一种用于对视频序列的图像的色彩进行聚类的色彩聚类设备，包含：
-初始色彩聚类模块，被配置为对视频序列的第一图像的色彩进行聚类，以便产生色彩群集的集合，并且使所述色彩分布在所产生的集合的色彩群集中；
-像素图建立器，被配置为连续地针对该视频序列中的前面的图像(1)之后的每个后面的图像(2)，基于所述后面的图像(2)和通过将运动矢量的图应用于所述前面的图像产生的补偿图像(1’)之间的逐像素的差异，所述运动矢量的图对应于从所述前面的图像(1)向所述后面的图像(2)的运动，或者基于针对该后面的图像的每个像素的、所述像素的关于所述前面的图像中的对应像素的运动矢量和位于所述像素的邻域中的相邻像素的关于它们在所述前面的图像中的对应像素的运动矢量之间的差异，来建立所述后面的图像的像素掩模；以及
-更新色彩聚类模块，被配置为将由所述像素图建立器所建立的像素掩模应用于所述后面的图像(2)，以便获得对所述后面的图像(2)的像素进行采样的掩蔽图像，以及使所述掩蔽图像的色彩分布在所述色彩群集中，得到色彩群集的更新集合。
CN201380043232.9A 2012-08-14 2013-08-07 用于对视频序列的图像的色彩进行聚类的方法和色彩聚类设备 Expired - Fee Related CN104584556B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12306003.0 2012-08-14
EP12306003.0A EP2698764A1 (en) 2012-08-14 2012-08-14 Method of sampling colors of images of a video sequence, and application to color clustering
PCT/EP2013/066565 WO2014026895A2 (en) 2012-08-14 2013-08-07 Method of sampling colors of images of a video sequence, and application to color clustering

Publications (2)

Publication Number Publication Date
CN104584556A CN104584556A (zh) 2015-04-29
CN104584556B true CN104584556B (zh) 2018-07-10

Family

ID=46875707

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380043232.9A Expired - Fee Related CN104584556B (zh) 2012-08-14 2013-08-07 用于对视频序列的图像的色彩进行聚类的方法和色彩聚类设备

Country Status (6)

Country Link
US (1) US9911195B2 (zh)
EP (2) EP2698764A1 (zh)
JP (1) JP6275719B2 (zh)
KR (1) KR20150043327A (zh)
CN (1) CN104584556B (zh)
WO (1) WO2014026895A2 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9401026B2 (en) * 2014-03-12 2016-07-26 Nokia Technologies Oy Method and apparatus for image segmentation algorithm
CN108520524A (zh) * 2018-04-10 2018-09-11 深圳市唯特视科技有限公司 一种基于边缘聚类的图像迭代过度分割方法
US20200068214A1 (en) * 2018-08-27 2020-02-27 Ati Technologies Ulc Motion estimation using pixel activity metrics
US11200678B2 (en) * 2019-09-17 2021-12-14 Sony Corporation Image-based mask frame interpolation
CN110969170B (zh) * 2019-12-03 2024-03-08 北京奇艺世纪科技有限公司 一种图像主题色提取方法、装置及电子设备
CN114371686A (zh) * 2021-12-29 2022-04-19 以萨技术股份有限公司 基于局部邻域标准化的多工况过程故障检测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101506840A (zh) * 2006-06-23 2009-08-12 卡勒兹普麦迪亚公司 基于色彩的图像代码的色彩分类方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5408542A (en) 1992-05-12 1995-04-18 Apple Computer, Inc. Method and apparatus for real-time lossless compression and decompression of image data
JP3345980B2 (ja) * 1993-04-13 2002-11-18 松下電器産業株式会社 フレーム画像生成装置
JPH07212760A (ja) * 1994-01-14 1995-08-11 Nippon Telegr & Teleph Corp <Ntt> 動画像の動き補償予測符号化方法
US7417640B1 (en) 1999-01-29 2008-08-26 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
US6526169B1 (en) 1999-03-15 2003-02-25 Grass Valley (Us), Inc. Histogram-based segmentation of objects from a video signal via color moments
MXPA02004015A (es) * 1999-10-22 2003-09-25 Activesky Inc Un sistema de video orientado a los objetos.
US6785329B1 (en) * 1999-12-21 2004-08-31 Microsoft Corporation Automatic video object extraction
JP2005535028A (ja) * 2002-07-31 2005-11-17 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ セグメント化のためのシステムおよびセグメント化方法
US7330193B2 (en) * 2005-07-08 2008-02-12 Seiko Epson Corporation Low noise dithering and color palette designs
US7804980B2 (en) 2005-08-24 2010-09-28 Denso Corporation Environment recognition device
GB0818561D0 (en) * 2008-10-09 2008-11-19 Isis Innovation Visual tracking of objects in images, and segmentation of images
CN101533515A (zh) 2009-04-13 2009-09-16 浙江大学 一种面向视频监控的基于块的背景建模方法
US8767127B2 (en) 2009-04-17 2014-07-01 General Instrument Corporation System for reducing noise in video processing
US8358834B2 (en) * 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
CN101931792A (zh) 2010-08-04 2010-12-29 丁天 一种高清视频流中多车牌定位的方法
TWI464604B (zh) * 2010-11-29 2014-12-11 Ind Tech Res Inst 資料分群方法與裝置、資料處理裝置及影像處理裝置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101506840A (zh) * 2006-06-23 2009-08-12 卡勒兹普麦迪亚公司 基于色彩的图像代码的色彩分类方法

Also Published As

Publication number Publication date
KR20150043327A (ko) 2015-04-22
WO2014026895A3 (en) 2014-04-10
JP2015530649A (ja) 2015-10-15
US9911195B2 (en) 2018-03-06
JP6275719B2 (ja) 2018-02-07
US20150248767A1 (en) 2015-09-03
EP2698764A1 (en) 2014-02-19
WO2014026895A2 (en) 2014-02-20
CN104584556A (zh) 2015-04-29
EP2885913A2 (en) 2015-06-24

Similar Documents

Publication Publication Date Title
CN104584556B (zh) 用于对视频序列的图像的色彩进行聚类的方法和色彩聚类设备
CN111340867B (zh) 图像帧的深度估计方法、装置、电子设备及存储介质
JP6213745B2 (ja) 画像処理方法及び装置
AU2019477545B2 (en) Methods for handling occlusion in augmented reality applications using memory and device tracking and related apparatus
US20100141651A1 (en) Synthesizing Detailed Depth Maps from Images
CN107871321B (zh) 图像分割方法及装置
US20170064279A1 (en) Multi-view 3d video method and system
US9661307B1 (en) Depth map generation using motion cues for conversion of monoscopic visual content to stereoscopic 3D
US9386266B2 (en) Method and apparatus for increasing frame rate of an image stream using at least one higher frame rate image stream
US20170116741A1 (en) Apparatus and Methods for Video Foreground-Background Segmentation with Multi-View Spatial Temporal Graph Cuts
Zhou et al. PADENet: An efficient and robust panoramic monocular depth estimation network for outdoor scenes
CN108961268B (zh) 一种显著图计算方法及相关装置
CN109002802A (zh) 基于自适应鲁棒主成分分析的视频前景分离方法和系统
Liu et al. View synthesis with 3d object segmentation-based asynchronous blending and boundary misalignment rectification
CN113763474A (zh) 一种基于场景几何约束的室内单目深度估算方法
US9036089B2 (en) Practical temporal consistency for video applications
WO2020114585A1 (en) Object location determination in frames of a video stream
CN111798371B (zh) 一种视频风格迁移的方法及设备
KR102591594B1 (ko) 인공신경망을 이용한 채색 이미지 보정 방법 및 그 장치
CN113034552B (zh) 一种光流的修正方法和计算机设备
Feng et al. Unsupervised Monocular Depth Prediction for Indoor Continuous Video Streams
Babbar et al. Alternate Least Square and Root Polynomial Based Colour-Correction Method for High Dimensional Environment
Nguyen et al. Mining Supervision for Dynamic Regions in Self-Supervised Monocular Depth Estimation
Wang et al. Coarse-and fine-grained fusion hierarchical network for hole filling in view synthesis
CN115601277A (zh) 深度图像重建模型的训练方法、装置、电子设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180710

Termination date: 20190807