CN103262119A - 用于对图像进行分割的方法和系统 - Google Patents
用于对图像进行分割的方法和系统 Download PDFInfo
- Publication number
- CN103262119A CN103262119A CN2011800592634A CN201180059263A CN103262119A CN 103262119 A CN103262119 A CN 103262119A CN 2011800592634 A CN2011800592634 A CN 2011800592634A CN 201180059263 A CN201180059263 A CN 201180059263A CN 103262119 A CN103262119 A CN 103262119A
- Authority
- CN
- China
- Prior art keywords
- probability
- pixel
- prospect
- assignment algorithm
- algorithm
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
Abstract
本发明涉及一种用于把来自视频图像序列中的图像分割成前景和背景的方法,其中所述图像由像素构成,所述方法包括:为每一个所述像素指派初始前景概率;为每一个所述像素指派概率传播系数集合;以及对于所述像素的初始前景概率应用全局优化器以便把每一个所述像素分类为前景像素或背景像素,从而获得确定性前景图;其中,所述全局优化器借助于每一个所处理的像素的初始前景概率和各个相邻像素的初始前景概率对所处理的所述像素进行分类,各个相邻像素的初始前景概率的相对权重由所述相邻像素的概率传播系数决定。
Description
技术领域
本发明涉及视频图像处理的领域,特别涉及视频图像中的前景检测。
背景技术
某些视觉应用需要把视频馈送的图像中的前景与背景分开,以便把前景主题置于另一情境中。这样的分离与重组的经典应用有:把TV气象播报员呈现在虚拟气象图前方,看起来像是在奇异场景中拍摄的广告,在电影中看起来存在于人造场景中或者在天上飞的超级英雄。这样的表示的共同点在于,其人类主题都是在工作室内录制的,并且其背景被新的背景所替代。如果原始背景可以被控制或者完全为视频处理单元所知,则所述规程相对容易。对于在专门设计的工作室内录制的前述实例就是这种情况。
当必须对于任意背景(其必须由视频处理单元检测或者学习)使用前面提到的技术时就会出现本发明所应对的问题。
发明内容
根据本发明的一方面,提供一种用于把来自视频图像序列中的图像分割成前景和背景的方法,其中所述图像由像素构成,所述方法包括:为每一个像素指派初始前景概率;为每一个像素指派一个概率传播系数集合;以及对于各个像素的初始前景概率应用全局优化器以便把每一个像素分类为前景像素或背景像素,从而获得确定性前景图;其中,所述全局优化器借助于每一个所处理的像素的初始前景概率和各个相邻像素的初始前景概率对每个所处理的像素进行分类,各个相邻像素的初始前景概率的相对权重由所述相邻像素的概率传播系数决定。
本发明的一个优点在于,其通过把“软”分类与知晓边缘的迭代性滤波器相组合而获得了高效率,其中所述“软”处理是基于概率模型并且可以由单次处理构成,所述知晓边缘的滤波器确保所剪出的前景与图像中所呈现的对象的实际边缘一致。对于前景概率的指派通常基于启发法。边缘检测被抽象为评估相邻像素或区段的相关程度,其决定应当允许相邻像素或区段影响彼此被分类为前景或背景的程度。因此为每一个像素指派一个概率传播系数集合,其包括对于在图像中的感兴趣像素与一个或更多相邻像素之间存在边缘的概率的估计。
在本发明的方法的一个实施例中,前景概率的指派包括:应用至少第一启发概率指派算法和第二启发概率指派算法;以及通过把第一启发概率指派算法的结果与第二启发概率指派算法的结果相组合而确定前景概率。
相应地,通过组合两个或更多不同启发模型可以改进本发明的方法的精确性和鲁棒性,以便获得关于给定像素是否是前景像素的更好估计。
在一个具体实施例中,第一启发概率指派算法和第二启发概率指派算法的其中之一包括把所述像素与背景颜色模型相比较。
该实施例利用了可用于系统的关于背景的任何先验知识,并且可以附加地或替换地依赖于在施行本发明的方法的过程中所获取的关于背景的知识。所获取的知识包括关于由其他前景概率信息来源(特别是另一项启发)所贡献的相同图像的知识,以及/或者关于相同视频流中的已经为之进行了前景/背景分割的先前图像的信息。通过明智地合并所获取的信息,可以减少或者消除针对预备训练阶段的需求。
在一个具体实施例中,第一启发概率指派算法和第二启发概率指派算法的其中之一包括应用人体模型。
该实施例利用了在大多数常见前景提取应用中的感兴趣对象是人类这一事实,其通常是站在或者坐在摄影机前方的人类。
在一个实施例中,本发明的方法还包括:基于所述确定性前景图,更新第一启发概率分派算法和第二启发概率分派算法的至少其中之一的参数。
该实施例的一个优点在于,用于软分类步骤的启发算法被动态地更新,从而逐渐变得更加精确。因此采用所述方法的系统就在一定程度上变为自我学习,从而基于背景从一幅图像到下一幅图像不会发生显著改变的假设,导致对于后续视频图像的更加高效和/或更加精确的处理。
在一个实施例中,本发明的方法还包括用于去除分派伪像(artifact)的后处理步骤。
通过去除不太可能是实际前景的所断定的前景部分(即前景检测处理的“假阳性”),这例如是因为其形状和/或维度不具有前景对象的典型特征,所述附加的后处理步骤可以改进所得到的图像的视觉质量。相反,不太可能是实际背景的所断定的背景部分(即前景检测处理的“假阴性”)可以被复原到前景状态。
在一个具体实施例中,所述后处理步骤包括应用形态运算符。
在一个具体实施例中,所述后处理步骤包括应用连通分量算法。
在根据本发明的方法的一个实施例中,所述全局优化器是迭代地应用的双边滤波器。
根据本发明的另一方面,提供一种计算机程序产品,其在被执行时使得计算机施行根据本发明的方法。
根据本发明的另一方面,提供一种用于把来自视频图像序列中的图像分割成前景和背景的系统,其中所述图像由像素构成,所述系统包括:用于获得图像的输入接口;用于为每一个像素指派初始前景概率的指派引擎;用于为每一个像素指派一个概率传播系数集合的轮廓检测器;以及用于对各个像素的初始前景概率进行操作从而通过把每一个像素分类为前景像素或背景像素而创建确定性前景图的全局优化器;以及用以提供所述确定性前景图的输出接口;其中,所述全局优化器被适配成借助于每一个所处理的像素的初始前景概率和各个相邻像素的初始前景概率对所处理的像素进行分类,各个相邻像素的初始前景概率的相对权重由所述相邻像素的概率传播系数决定。
在根据本发明的系统的一个实施例中,所述指派引擎被适配成应用至少第一启发概率指派算法和第二启发概率指派算法,并且通过把第一启发概率指派算法的结果与第二启发概率指派算法的结果相组合而确定前景概率。
在一个具体实施例中,第一启发概率指派算法和第二启发概率指派算法的其中之一包括把所述像素与背景颜色模型相比较。
在一个具体实施例中,第一启发概率指派算法和第二启发概率指派算法的其中之一包括应用人体模型。
在一个实施例中,根据本发明的系统还被适配成:基于所述确定性前景图,更新第一启发概率分派算法和第二启发概率分派算法的至少其中之一的参数。
在一个实施例中,根据本发明的系统还包括用于从所述确定性前景图中去除分派伪像的后处理器。
在根据本发明的系统的一个实施例中,所述全局优化器是迭代双边滤波器。
加以必要的修正,根据本发明的计算机程序产品和系统的实施例的优点与根据本发明的方法的相应实施例相同。
附图说明
下面将仅仅通过举例的方式参照附图来描述根据本发明的实施例的设备和/或方法的一些实施例,其中:
图1包括根据本发明的方法的一个实施例的流程图;
图2包括根据本发明的系统的一个实施例的方框图;
图3包括根据本发明的方法的另一个实施例的流程图;以及
图4包括根据本发明的方法的另一个实施例的流程图。
具体实施方式
本发明的实施例可以被用来(而不限于)对于例如拟真式聊天或视频会议之类的家庭应用分割前景。
本发明的实施例的一个目的是检测前景,即图像中的不可被所选替换背景所替代的感兴趣区段。这一检测必须沿着感兴趣对象的实际边缘对图像进行分割,也就是说其必须是精确的,并且在不同情况下都正确地工作,也就是说其必须是鲁棒的。
已知的前景检测技术的缺陷包括需要一个初始化阶段(特别是为了训练背景模型),以及对于照明条件或摄影机位置的甚小改变都较为敏感。
本发明特别是基于以下认识:有利的是不把前景估计仅仅基于颜色模型,而是基于表明某一像素可能是或者可能不是前景的一个或更多启发概率,在适当情况下组合这些概率,包括对象边界信息,以及最终解决全局分割问题。
除了具有传统的背景颜色和/或边缘模型之外,所述启发法还可以包括施加身体模型(可选地是基于面部检测器)、利用深度信息、利用运动、利用皮肤颜色、前景颜色直方图等等。所有启发法都产生一个前景概率图。这些图被组合成一个粗略的预先估计。
由于还没有包括原始图像的边界信息,因此前面提到的粗略估计将不会精确地遵循对象的边缘。其可以被视为对于像素的软分类。
根据本发明,有利的是应用滤波算法以便平衡(equal out)由边缘界定的各个单独区段的概率,从而使得每一个毗连区段被视为完全背景或完全前景。该滤波算法可以与“线条之间的着色”相比,其包括解决由数据项(其根据概率图得出)和平滑项(其根据对象边界得出)所构成的全局优化问题。所述滤波算法可以是一种迭代算法。
有利的是通过应用后处理步骤进一步改进所述滤波算法的输出的质量。
通过前面引述的步骤获得的前景/背景图可以被反馈到一个或更多启发模型,以便更新这些模型的参数。此外,所输出的前景估计本身可以独自充当针对下一个输入视频帧的前景估计的启发,这是因为后续帧的前景往往是类似的。
图1包括根据本发明的方法的一个实施例的流程图。
在第一步骤110中,施行对于所有像素的软分类,其归结起来是为每一个像素指派关于该像素属于前景的特定概率。
在第二步骤120中,为每一个像素指派一个概率传播系数集合。这是检测图像中的边缘的一般化方式;因此其可以被视为“软”边缘检测(在这里也被称作“轮廓检测”)。所述概率传播系数表示各个相邻像素或区段的相关程度,其在本发明的情境中决定允许所述相邻像素或区段影响彼此被分类为前景或背景的程度。
在一个实施例中,所述概率传播系数集合对于每一个像素包括四个概率值,其代表在感兴趣像素与四个周围像素(不计入对角线邻近像素)当中的每一个之间存在对象边缘的对应概率。在一个不同的实施例中,所述概率传播系数集合对于每一个像素包括八个概率值(其中包括对角线邻近像素)。其他配置也是可能的。
在一个实施例中,所述概率传播系数被限制到数值0和1,从而导致“硬”边缘检测。如果使用“硬”边缘检测,则在该步骤120中实际上是在毗连区段中对图像进行分割。
可以按照任何已知的方式进行边缘检测(“硬”边缘检测或“软”边缘检测),其中包括检测图像像素的强度或色度的空间分布中的显著阶梯。
在第三步骤130中,应用全局优化器以便平滑概率图,其中利用所检测到的边缘作为边界来获得到同质的前景对象和背景对象的分割。
可以在单次或迭代算法的形式下应用所述全局优化器,例如双边滤波器。相应地,可以在步骤140中提供完成测试,其确定在输出150确定性前景/背景图之前是否需要另一次所述算法。所述完成测试可以包括与已经获得的分割质量有关的测试,但是其也可以是实施预定算法次数的简单计数器。
可以在反馈回路中使用所示出的处理的最终结果或者任何中间结果,以便更新145概率指派算法的参数。
除非前面的描述表明一个步骤不能在另一步骤完成之前发生,否则给出各个步骤的顺序并不重要。举例来说,可以在第一步骤110之前、期间或之后自由施行第二步骤120,这是因为这两个步骤在功能上是独立的。
图2包括根据本发明的系统200的一个实施例的方框图。
所述方框图示意性地示出了用于获得待处理的图像的输入接口210。所述接口可以作为物理和/或功能接口存在。例如可以通过读取物理介质或者通过调用软件函数调通过网络获得图像。
所获得的待处理图像被转发到指派引擎220,其用来为所述图像的每一个像素指派一个前景概率。
所获得的待处理图像也被转发到轮廓检测器230,其用来如前所述地指派概率传播系数,从而将进一步允许把所述图像分割成多个毗连区段。
在不损失一般性的情况下,在图像转发到指派引擎220和轮廓检测器230被图示为并行的连接。
从指派引擎220和轮廓检测器230的操作得到的信息被传递到全局优化器240,其用来通过把每一个区段分类为前景区段或背景区段而产生确定性前景/背景图。全局优化器260可以是迭代双边滤波器。
最后,通过输出接口250使得所述确定性前景/背景图可用于系统用户,所述输出接口250同样可以作为物理和/或功能接口存在。具体来说,可以通过网络、写入在物理介质上或者保留用于由后续软件函数调用获取而使得输出图像可用。
可以通过使用专用硬件以及能够执行软件的硬件结合适当的软件来提供图中所示出的各个元件的功能,包括被描述为“接口”或“引擎”的任何功能方框。当由处理器提供时,所述功能可以由单个专用处理器提供、由单个共享处理器提供或者由多个单独的处理器提供,其中一些处理器可以被共享。此外,对于术语“处理器”或“引擎”的明确使用不应当被解释成排他性地指代能够执行软件的硬件,而是可以隐含地包括(而不限于)数字信号处理器(DSP)硬件、网络处理器、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、用于存储软件的只读存储器(ROM)、随机存取存储器(RAM)以及非易失性存储装置。此外还可以包括其他常规的和/或定制的硬件。类似地,图中所示出的任何开关仅仅是概念性的。其功能可以通过程序逻辑的操作来实施、通过专用逻辑来实施、通过程序控制与专用逻辑的交互来实施或者甚至人工实施,从具体情境可以更加具体地理解到,可以由实施者来选择具体的技术。
图3包括根据本发明的方法的另一个实施例的流程图。在该实施例中使用了几项启发110a,110b,...,110n。各种组合的不同类型的启发法产生遵循如前所述的相同原理的多个可能的具体实施例。必须把从相应的启发概率指派步骤110a、110b、...、110n获得的概率组合115到在全局优化器130中使用的单个概率中。图3还示出了可选的后处理步骤135。后处理步骤135的结果(或者如果不施行后处理的话则是全局优化算法130的结果)可以被反馈到概率组合器115以作为附加的启发来对待。前景估计150的最终结果可以被反馈到启发110a、110b、...、110n,以便在适当的情况下更新后者使用的参数。
在不损失一般性的情况下,图4示出了使用两项启发的另一个实施例:颜色模型110a和身体模型110b。颜色模型110b可以基于已知的自适应背景颜色模型。为此目的可以使用“Vibe”模型,但是其他已知的模型可能同样适用。“Vibe”是一种已知的技术,其使用每一个像素处的动态颜色样本集合来表示背景颜色分布。由于不在初始化阶段期间对所述模型进行训练,因此所述方法被适配成合并一个置信度度量。在初始化时,该置信度对于所有像素被置于零,从而意味着在此时不知道任何背景颜色信息。关于“Vibe”的其他实现方式细节可以在欧洲专利说明书EP2015252B1中找到,其标题为“Visual background extractor(视觉背景提取器)”。
独立的颜色模型存在几个缺陷,包括需要初始化规程,其中在摄影机的视野内没有感兴趣对象而只有背景,从而使得系统可以学习背景模型。此外由于自适应性所固有的时间常数,其最终将令不运动的前景逐渐消失到背景中。因此有利的是合并可选的第二项启发。所示出的实施例使用基于面部跟踪器的非常一般化的身体模型概率。
摄影机输入馈送1被面部检测器5(例如Viola-Jones、haar小波分类器等等)。由于这些检测器可能产生假阳性并且鉴于面部的位置和尺寸方面的噪声,对所得到的面部候选进行滤波和跟踪6,以便产生对于面部边界框(即位置和尺寸)的单一良好估计。利用通过这种方式获得的面部位置和尺寸,我们对非常一般化的身体概率图7进行变换8(仅仅是平移和缩放),以便匹配输入视频馈送中的面部。这方面充当第一启发概率指派算法110b的基础以用于我们的前景估计。
背景颜色模型3被用作第二启发概率指派算法110a的基础。存在多种这方面的技术,比如背景减除、高斯混合模型或者“Vibe”。
对于每一帧,分割模块2都把输入视频馈送与该背景模型进行比较,并且输出前景概率图。如果所述置信度度量较低,则前景概率将接近50%。如果在像素的颜色模型与输入馈送颜色之间检测到良好的匹配,则其前景概率将接近0,否则其更有可能是前景,并且所述概率将接近100%。如果对于每一个像素都这样做,则产生另一个概率图。
优选地基于在组合了所有概率并且合并了对象边界之后所获得的最终结果来更新4所述颜色模型。此外还更新对应于每一个像素的置信度度量。所述置信度度量随着新近学习的颜色样本而增大,并且如果长时间没有进行颜色观测则缓慢地减小,产生一个学习时间常数,将通过反馈回路和其他启发对其进行补偿以防止逐渐消失到背景的问题。
所述两个概率图2、8连同从对于前一帧12的前景分割得到的概率图被馈送到概率组合模块115中。如果没有前一帧的信息可用,则所述前景-背景概率图被全局初始化于50%。所述概率组合可以是简单的乘-加运算,或者是用于合成概率的任何其他已知运算。其结果被用作针对全局优化方法130的输入。
在所示出的实施例中,由Sobel边缘检测器120确定对象边界,其是一种简单的梯度方法。或者可以使用例如Laplace边缘检测器、Canny边缘检测器以及真实分割方法之类的已知技术。该结果也被用作针对全局优化方法130的输入。
用在本发明中的全局优化器130可以通过任何已知技术来实施,其中包括图形切割、信任传播及其变型。所示出的实施例使用双边滤波器130作为全局优化器。所述模块把前景估计问题近似为全局优化问题,其必须被迭代地但是局部地解决。从组合概率图115获得的输入概率图充当数据项,从Sobel边缘检测器120获得的对象边界则充当平滑项。在所述算法的每一次迭代中,对于每一个像素,通过其各个相邻像素的加权概率组合来更新概率图。当在相邻像素之间不存在对象边界时这些权重较大,否则较小。这样,一个像素处的高前景概率就在图像上传播,直到遇上对象边界为止。这一点对于低前景概率(即高背景概率)也成立。这类似于前景概率的对象边界之间的着色,其最终饱和到完全100%前景或完全100%背景。
可以按照分层的多级方式实施该双边滤波器模块130以便提高性能。此外其还可以实施不同种类的概率组合器。
双边滤波器模块130的输出可能仍然会在具有许多对象边界的区段周围产生一些伪像,这是因为在该处概率传播多次反转。因此可能有利的是应用某种后处理135。在该实施例中,使用例如稀释和侵蚀之类的形态运算符11来消除这些伪像。随后使用连通分量模块12来仅仅选择具有相关的最小尺寸的对象。还可以应用跟踪和类似技术。本领域技术人员将认识到,根据具体应用的需求,可以选择这些技术的各种组合。
最终输出可以被所述应用再用作前景估计150,以便例如进行背景替换。此外其还被反馈到概率组合器115中,这是因为对应于某一像素的一帧中的前景概率增大该像素在下一帧中的前景概率。该最终结果还被“Vibe”学习模块4使用来更新颜色模型3。与被标记为前景的区段相比,被标记为背景的像素处的样本被更加快速地学习。
所示出的实施例组合了两种技术的优点。一般化身体模型将帮助学习功能在颜色模型内自举并且一直持续这样做。由于这种情况下的学习时间常数可以远小于基于独立背景模型的技术中的学习时间常数,从而使其对于光改变、摄影机移动等等更具自适应性,其持续需要通过所描述的系统来自其他启发的外部信息。
可以使用其他启发来检测前景,前提是所述启发基于把“前景”作为感兴趣对象集合的适当定义。不同的定义得到不同的实施例。一些启发特别善于对包括人物的图像进行分割,但是也可以定义适当的启发以便对包括任意类型对象的图像进行分割。
-如果前景被定义为在空间上靠近摄影机的对象集合,则深度信息可以被用作相当好的启发。该深度信息可以从对于来自立体对的图像对的处理获得、从渡越时间摄影机获得等等。由于该处理的精确性往往比前景分割所需的精确性低很多(所述方法特别倾向于把背景中的对象标记为前景),因此仍然需要将其馈送经过全局优化模块(与其他启发组合或者不与其他启发组合)。
-在面向人类检测的启发中,我们可以把具有皮肤颜色的像素定义为前景。因此可能会产生具有许多未知的50%概率的概率图,但是在面部和手的位置处也具有一些高前景概率。
-按照类似的方式,可以按照渐进方式建立前景颜色模型,其中例如合并有出现在前景中的依赖于像素和/或依赖于区段的颜色直方图:皮肤颜色、头发颜色、衣物颜色或纹理。
-前景还可以被定义为移动像素。可以使用例如光流法之类的运动估计算法来表示移动像素,其将得到高前景概率。由于缺少运动不一定意味着所考虑的区段不是前景,因此没有运动的像素将得到略低于50%的前景概率。由于所述系统中的反馈回路,这一粗略的初始分类仍然可以产生良好的结果。
-可以建立背景边缘模型,其中有边缘出现或消失的区段被表示为前景,并且令其他区段处于50%概率。
如前面的实例所示,本发明的实施例可以给出以下优点:
-不需要初始化阶段或绿屏;
-当摄影机移动时的快速稳定化;
-对于照明条件改变的自适应性,而不会有前景逐渐消失到背景的缺点;
-使用更加智能的启发法来找到前景,就像人类视觉系统所做的那样;
-把对象边界明确用作分割边界。
本领域技术人员将很容易认识到,前面描述的各种方法步骤可以由已编程计算机来施行。在这里,一些实施例意图涵盖例如数字数据存储介质之类的程序存储装置,其是机器或计算机可读的并且编码机器可执行或计算机可执行的指令程序,其中所述指令施行这里所描述的其中一些或所有方法步骤。所述程序存储装置例如可以是数字存储器、例如磁盘或磁带之类的磁性存储介质、硬盘驱动器或者光学可读数字数据存储介质。所述实施例还意图涵盖被编程来施行这里所描述的方法步骤的计算机。
在这里通过几个示例性实施例描述了本发明。这些实施例用来说明而非限制本发明。本领域技术人员应当清楚的是,可以把关于一个实施例描述的特征与在其他实施例中描述的特征自由组合,以便获得所述特征的所描述的效果和/或优点。
Claims (15)
1.一种用于把来自视频图像序列中的图像分割成前景和背景的方法,所述图像由像素构成,所述方法包括:
-为每一个所述像素指派初始前景概率;
-为每一个所述像素指派概率传播系数集合;以及
-对于所述像素的初始前景概率应用全局优化器以便把每一个所述像素分类为前景像素或背景像素,从而获得确定性前景图;
其中,所述全局优化器借助于每一个所处理的像素的初始前景概率和各个相邻像素的初始前景概率对所述所处理的像素进行分类,各个相邻像素的初始前景概率的相对权重由所述相邻像素的概率传播系数决定。
2.根据权利要求1的方法,其中,对于所述前景概率的所述指派包括:应用至少第一启发概率指派算法和第二启发概率指派算法,以及通过把所述第一启发概率指派算法的结果与所述第二启发概率指派算法的结果相组合而确定所述前景概率。
3.根据权利要求2的方法,其中,所述第一启发概率指派算法和所述第二启发概率指派算法的其中之一包括把所述像素与背景颜色模型进行比较。
4.根据权利要求2-3当中的任一条的方法,其中,所述第一启发概率指派算法和所述第二启发概率指派算法的其中之一包括应用人体模型。
5.根据权利要求2-4当中的任一条的方法,还包括:基于所述确定性前景图,更新所述第一启发概率分派算法和所述第二启发概率分派算法的至少其中之一的参数。
6.根据任一条在前权利要求的方法,还包括用于去除分派伪像的后处理步骤。
7.根据权利要求6的方法,其中,所述后处理步骤包括应用形态运算符。
8.根据权利要求6或7的方法,其中,所述后处理步骤包括应用连通分量算法。
9.根据任一条在前权利要求的方法,其中,所述全局优化器是迭代地应用的双边滤波器。
10.一种计算机程序产品,其包括用于施行权利要求1-9当中的任一条的方法的计算机可执行指令。
11.一种用于把来自视频图像序列中的图像分割成前景和背景的系统,所述图像由像素构成,所述系统包括:
-用于获得图像的输入接口;
-用于为每一个所述像素指派初始前景概率的指派引擎;
-用于为每一个所述像素指派概率传播系数集合的轮廓检测器;以及
-用于对所述像素的初始前景概率进行操作从而通过把每一个所述像素分类为前景像素或背景像素而创建确定性前景图的全局优化器;以及
-用以提供所述确定性前景图的输出接口;
其中,所述全局优化器被适配成借助于每一个所处理的像素的初始前景概率和各个相邻像素的初始前景概率对所述所处理的像素进行分类,各个相邻像素的初始前景概率的相对权重由所述相邻像素的概率传播系数决定。
12.根据权利要求11的系统,其中,所述指派引擎被适配成应用至少第一启发概率指派算法和第二启发概率指派算法,并且通过把所述第一启发概率指派算法的结果与所述第二启发概率指派算法的结果相组合而确定所述前景概率。
13.根据权利要求12的系统,其中,所述第一启发概率指派算法和所述第二启发概率指派算法的其中之一包括把所述像素与背景颜色模型进行比较。
14.根据权利要求12-13当中的任一条的系统,其中,所述第一启发概率指派算法和所述第二启发概率指派算法的其中之一包括应用人体模型。
15.根据权利要求12-14当中的任一条的系统,还被适配成:基于所述确定性前景图,更新所述第一启发概率分派算法和所述第二启发概率分派算法的至少其中之一的参数。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP10306378.0 | 2010-12-08 | ||
EP20100306378 EP2463821A1 (en) | 2010-12-08 | 2010-12-08 | Method and system for segmenting an image |
PCT/EP2011/072034 WO2012076586A1 (en) | 2010-12-08 | 2011-12-07 | Method and system for segmenting an image |
Publications (2)
Publication Number | Publication Date |
---|---|
CN103262119A true CN103262119A (zh) | 2013-08-21 |
CN103262119B CN103262119B (zh) | 2016-08-10 |
Family
ID=43769327
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201180059263.4A Expired - Fee Related CN103262119B (zh) | 2010-12-08 | 2011-12-07 | 用于对图像进行分割的方法和系统 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9042662B2 (zh) |
EP (1) | EP2463821A1 (zh) |
CN (1) | CN103262119B (zh) |
WO (1) | WO2012076586A1 (zh) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN107481256A (zh) * | 2016-06-08 | 2017-12-15 | 安讯士有限公司 | 用于更新背景模型的方法和装置 |
CN108352069A (zh) * | 2015-12-15 | 2018-07-31 | 徕卡生物系统公司 | 自动核分割 |
CN109285178A (zh) * | 2018-10-25 | 2019-01-29 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置及存储介质 |
CN109784164A (zh) * | 2018-12-12 | 2019-05-21 | 北京达佳互联信息技术有限公司 | 前景识别方法、装置、电子设备及存储介质 |
CN109844861A (zh) * | 2016-10-14 | 2019-06-04 | 尤尼克费伊德股份公司 | 用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统 |
CN111784667A (zh) * | 2020-06-30 | 2020-10-16 | 北京海益同展信息科技有限公司 | 一种裂纹识别方法及装置 |
CN113822879A (zh) * | 2021-11-18 | 2021-12-21 | 南京智谱科技有限公司 | 一种图像分割的方法及装置 |
CN113947561B (zh) * | 2020-06-30 | 2023-12-26 | 应用材料以色列公司 | 半导体样本的图像分割 |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2463821A1 (en) * | 2010-12-08 | 2012-06-13 | Alcatel Lucent | Method and system for segmenting an image |
US9916662B2 (en) * | 2015-03-17 | 2018-03-13 | Lyrical Labs Video Compression Technology, LLC | Foreground detection using fractal dimensional measures |
JP5801237B2 (ja) * | 2012-03-29 | 2015-10-28 | パナソニック株式会社 | 部位推定装置、部位推定方法、および部位推定プログラム |
JP5959923B2 (ja) * | 2012-04-26 | 2016-08-02 | キヤノン株式会社 | 検出装置、その制御方法、および制御プログラム、並びに撮像装置および表示装置 |
US9245187B1 (en) | 2014-07-07 | 2016-01-26 | Geo Semiconductor Inc. | System and method for robust motion detection |
AU2014280948A1 (en) * | 2014-12-24 | 2016-07-14 | Canon Kabushiki Kaisha | Video segmentation method |
DE102016119637A1 (de) | 2016-10-14 | 2018-04-19 | Uniqfeed Ag | Fernsehübertragungssystem zur Erzeugung angereicherter Bilder |
DE102016119640A1 (de) | 2016-10-14 | 2018-04-19 | Uniqfeed Ag | System zur Erzeugung angereicherter Bilder |
CN108804981B (zh) * | 2017-04-28 | 2021-01-26 | 中国科学院宁波材料技术与工程研究所 | 基于长时间视频序列背景建模框架的运动目标检测方法 |
CN109308711B (zh) * | 2017-07-26 | 2021-11-05 | 富士通株式会社 | 目标检测方法、装置及图像处理设备 |
US10706558B2 (en) * | 2017-08-04 | 2020-07-07 | Université de Liège | Foreground and background detection method |
EP3438929B1 (en) * | 2017-08-04 | 2020-07-08 | Université de Liège | Foreground and background detection method |
US20190251695A1 (en) * | 2017-08-04 | 2019-08-15 | Universite De Liege | Foreground and background detection method |
US11010894B1 (en) * | 2019-04-02 | 2021-05-18 | NakedPoppy, Inc. | Deriving a skin profile from an image |
US11755680B2 (en) * | 2020-01-22 | 2023-09-12 | Salesforce, Inc. | Adaptive recognition of entities |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20070286520A1 (en) * | 2006-06-07 | 2007-12-13 | Microsoft Corporation | Background blurring for video conferencing |
CN101416219A (zh) * | 2006-02-14 | 2009-04-22 | 快图影像有限公司 | 数字图像中的前景/背景分割 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1995022806A1 (fr) * | 1994-02-16 | 1995-08-24 | Philips Electronics N.V. | Dispositif de segmentation d'un ensemble discret de donnees |
US6912313B2 (en) * | 2001-05-31 | 2005-06-28 | Sharp Laboratories Of America, Inc. | Image background replacement method |
US7295700B2 (en) * | 2003-10-24 | 2007-11-13 | Adobe Systems Incorporated | Object extraction based on color and visual texture |
US7609894B2 (en) * | 2004-02-17 | 2009-10-27 | Corel Corporation | Adaptive sampling region for a region editing tool |
DE602007004841D1 (de) | 2007-07-08 | 2010-04-01 | Univ Liege | Extraktor für visuellen Hintergrund |
US8175379B2 (en) * | 2008-08-22 | 2012-05-08 | Adobe Systems Incorporated | Automatic video image segmentation |
US8175376B2 (en) * | 2009-03-09 | 2012-05-08 | Xerox Corporation | Framework for image thumbnailing based on visual similarity |
US8290253B1 (en) * | 2009-10-30 | 2012-10-16 | Adobe Systems Incorporated | Method and apparatus for applying Gaussian Mixture Models to local image patches using an adaptive color lookup table |
EP2463821A1 (en) * | 2010-12-08 | 2012-06-13 | Alcatel Lucent | Method and system for segmenting an image |
-
2010
- 2010-12-08 EP EP20100306378 patent/EP2463821A1/en not_active Withdrawn
-
2011
- 2011-12-07 CN CN201180059263.4A patent/CN103262119B/zh not_active Expired - Fee Related
- 2011-12-07 WO PCT/EP2011/072034 patent/WO2012076586A1/en active Application Filing
- 2011-12-07 US US13/992,522 patent/US9042662B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101416219A (zh) * | 2006-02-14 | 2009-04-22 | 快图影像有限公司 | 数字图像中的前景/背景分割 |
US20070286520A1 (en) * | 2006-06-07 | 2007-12-13 | Microsoft Corporation | Background blurring for video conferencing |
Non-Patent Citations (1)
Title |
---|
CRABB R: "Real time foreground segmentation via range and color imaging", 《COMPUTER VISION ON PATTERN RECOGNITION WORKSHOPS 2008》, 23 June 2008 (2008-06-23), pages 1 - 5, XP031285726 * |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN108352069A (zh) * | 2015-12-15 | 2018-07-31 | 徕卡生物系统公司 | 自动核分割 |
CN107481256B (zh) * | 2016-06-08 | 2019-05-14 | 安讯士有限公司 | 用于更新背景模型的方法和装置 |
CN107481256A (zh) * | 2016-06-08 | 2017-12-15 | 安讯士有限公司 | 用于更新背景模型的方法和装置 |
CN109844861B (zh) * | 2016-10-14 | 2021-01-08 | 尤尼克费伊德股份公司 | 用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统 |
CN109844861A (zh) * | 2016-10-14 | 2019-06-04 | 尤尼克费伊德股份公司 | 用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统 |
CN109285178A (zh) * | 2018-10-25 | 2019-01-29 | 北京达佳互联信息技术有限公司 | 图像分割方法、装置及存储介质 |
CN109784164A (zh) * | 2018-12-12 | 2019-05-21 | 北京达佳互联信息技术有限公司 | 前景识别方法、装置、电子设备及存储介质 |
CN109784164B (zh) * | 2018-12-12 | 2020-11-06 | 北京达佳互联信息技术有限公司 | 前景识别方法、装置、电子设备及存储介质 |
CN111784667A (zh) * | 2020-06-30 | 2020-10-16 | 北京海益同展信息科技有限公司 | 一种裂纹识别方法及装置 |
CN111784667B (zh) * | 2020-06-30 | 2023-09-26 | 京东科技信息技术有限公司 | 一种裂纹识别方法及装置 |
CN113947561B (zh) * | 2020-06-30 | 2023-12-26 | 应用材料以色列公司 | 半导体样本的图像分割 |
CN113822879A (zh) * | 2021-11-18 | 2021-12-21 | 南京智谱科技有限公司 | 一种图像分割的方法及装置 |
CN113822879B (zh) * | 2021-11-18 | 2022-06-21 | 南京智谱科技有限公司 | 一种图像分割的方法及装置 |
Also Published As
Publication number | Publication date |
---|---|
WO2012076586A1 (en) | 2012-06-14 |
CN103262119B (zh) | 2016-08-10 |
US20130251260A1 (en) | 2013-09-26 |
US9042662B2 (en) | 2015-05-26 |
EP2463821A1 (en) | 2012-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103262119A (zh) | 用于对图像进行分割的方法和系统 | |
Xu et al. | Deep image matting | |
US10885372B2 (en) | Image recognition apparatus, learning apparatus, image recognition method, learning method, and storage medium | |
Silberman et al. | Instance segmentation of indoor scenes using a coverage loss | |
CN107862698B (zh) | 基于k均值聚类的光场前景分割方法及装置 | |
Hayman et al. | Statistical background subtraction for a mobile observer | |
Pawan Kumar et al. | Learning layered motion segmentations of video | |
Zhu et al. | Learning to recognize shadows in monochromatic natural images | |
Maggio et al. | Video tracking: theory and practice | |
Zhu et al. | Targeting accurate object extraction from an image: A comprehensive study of natural image matting | |
JP4898800B2 (ja) | イメージセグメンテーション | |
US9153031B2 (en) | Modifying video regions using mobile device input | |
JP7026456B2 (ja) | 画像処理装置、学習装置、フォーカス制御装置、露出制御装置、画像処理方法、学習方法、及びプログラム | |
CN106664417A (zh) | 用于视频编码的内容自适应背景前景分割 | |
CN107358141B (zh) | 数据识别的方法及装置 | |
CN106157330B (zh) | 一种基于目标联合外观模型的视觉跟踪方法 | |
CN108509917A (zh) | 基于镜头类相关性分析的视频场景分割方法和装置 | |
Yi et al. | Automatic fence segmentation in videos of dynamic scenes | |
JP7350208B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
CN114078223A (zh) | 视频语义识别方法及设备 | |
Szemenyei et al. | Real-time scene understanding using deep neural networks for RoboCup SPL | |
Teixeira et al. | Object segmentation using background modelling and cascaded change detection | |
CN109840498A (zh) | 一种实时行人检测方法及神经网络、目标检测层 | |
Stahl et al. | Ist-style transfer with instance segmentation | |
Webb et al. | ORB-SLAM-CNN: Lessons in adding semantic map construction to feature-based SLAM |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160810 Termination date: 20191207 |