CN106846336B - 提取前景图像、替换图像背景的方法及装置 - Google Patents

Abstract

一种提取前景图像的方法及装置、替换图像背景的方法及装置，一个实施例的提取前景图像的方法包括：获取待处理图像、幕布图像；根据所述待处理图像和所述幕布图像，确定所述待处理图像中的各像素点属于前景像素点的前景像素概率、属于背景像素点的背景像素概率；根据各所述像素点的前景像素概率、背景像素概率，确定各所述像素点的像素点类型，所述像素点类型包括前景像素点、背景像素点以及混合像素点；根据各所述混合像素点、各所述混合像素点的所述前景像素概率、所述幕布图像，确定各所述混合像素点的融合权值，并根据各混合像素点的融合权值确定各混合像素点的前景分量值。本实施例可以得到稳定的提取前景图像的分割结果，使得替换图像背景时最终得到的替换了背景的图像质量高。

Description

提取前景图像、替换图像背景的方法及装置

技术领域

本发明涉及图像处理技术，特别是涉及一种提取前景图像的方法、一种提取前景图像的装置、一种替换图像背景的方法以及一种替换图像背景的装置。

背景技术

随着视频图像处理技术的发展，人们对替换图像背景的技术的需求也日益广泛，例如P图、直播、视频拍摄的抠图以制作出特效视频等，通常的替换图像背景的方式，是将一段在纯色幕布前拍摄的视频在移动端进行实时处理，将视频中的前景目标提取并融合到新的背景中，从而可以做到足不出户，仅准备一块纯色幕布，就可以生成各种高质量的多样逼真背景下的视频内容。

目前的替换图像背景的技术，通常需要结合背景建模、键值分割、图像融合技术进行。具体替换图像背景时，前景图像的提取是进行图像背景替换过程中的一个重要步骤。目前在提取前景图像时，通常是对于待替换背景的图片(通常也称为待抠取图片)，通过交互界面，由用户通过点击等方式提供一些前景像素及背景像素，称为前景种子像素及背景种子像素，然后用这些种子像素建立混高斯(GMM)概率模型，设计出能评估分割结果的能量函数(损失函数)，然后通过数学工具求解能量函数，从而对待替换背景的图片进行前景、背景的分割。

在目前的这种前景图像的提取方式中，是将图像的像素点简单的区分为前景像素和背景像素，从而容易在前景边缘处留下背景颜色带，使得最终融合得到的新背景的图片边缘轮廓不自然，影响替换了图像背景的图像的质量。

发明内容

基于此，本实施例的目的在于提供一种提取前景图像的方法、一种提取前景图像的装置、一种替换图像背景的方法以及一种替换图像背景的装置，其分割结果稳定，最终得到的替换了背景的图像的质量高。

为达到上述目的，本实施例采用以下技术方案：

一种提取前景图像的方法，包括步骤：

获取待处理图像、幕布图像；

根据所述待处理图像和所述幕布图像，确定所述待处理图像中的各像素点属于前景像素点的前景像素概率、属于背景像素点的背景像素概率；

根据各所述像素点的前景像素概率、背景像素概率，确定各所述像素点的像素点类型，所述像素点类型包括前景像素点、背景像素点以及混合像素点；

根据各所述混合像素点、各所述混合像素点的所述前景像素概率、所述幕布图像，确定各所述混合像素点的融合权值，并根据各所述混合像素点的融合权值确定各所述混合像素点的前景分量值。

一种替换图像背景的方法，包括：

获取待处理图像、新背景图像；

采用如上所述的提取前景图像的方式，获得所述待处理图像的前景像素点、背景像素点、混合像素点以及各混合像素点的融合权值和前景分量值；

将所述前景像素点的像素值，作为替换背景后图像中、与所述前景像素点对应位置处像素点的像素值；

将所述新背景图像中、与所述背景像素点对应位置处像素点的像素值，作为所述替换背景后图像中、与所述背景像素点对应位置处像素点的像素值；

根据所述混合像素点的融合权值和前景分量值、所述新背景像素的像素值，确定所述混合像素点的融合像素值，并将所述融合像素值，作为所述替换背景后图像中、与所述混合像素点对应位置处像素点的像素值。

一种提取前景图像的装置，包括：

概率计算模块，用于根据预定幕布图像，确定待处理图像中的各像素点属于前景像素点的前景像素概率、属于背景像素点的背景像素概率；

像素点类型确定模块，用于根据各所述像素点的前景像素概率、背景像素概率，确定各所述像素点的像素点类型，所述像素点类型包括前景像素点、背景像素点以及混合像素点；

混合像素融合信息确定模块，用于根据各所述混合像素点、各所述混合像素点的所述前景像素概率、所述幕布图像，确定各所述混合像素点的融合权值，并根据各所述混合像素点的融合权值确定各所述混合像素点的前景分量值。

一种替换图像背景的装置，包括第二图像获取模块、前景像素融合模块、背景像素融合模块、混合像素融合模块、以及如上所述的提取前景图像的装置；

所述第二图像获取模块，用于获取待处理图像、新背景图像；

所述前景像素融合模块，用于将所述提取前景图像的装置确定的前景像素点的像素值，作为替换背景后图像中、与所述前景像素点对应位置处像素点的像素值；

所述背景像素融合模块，用于将所述新背景图像中、与所述提取前景图像的装置确定的背景像素点对应位置处像素点的像素值，作为所述替换背景后图像中、与所述背景像素点对应位置处像素点的像素值；

所述混合像素融合模块，用于根据所述提取前景图像的装置确定的混合像素点的融合权值和前景分量值、所述新背景像素的像素值，确定所述混合像素点的融合像素值，并将所述融合像素值，作为所述替换背景后图像中、与所述混合像素点对应位置处像素点的像素值。

基于如上所述的实施例中的方案，其是提取前景图像时，是基于幕布图像，确定出待处理图像中的各像素点属于前景像素点的概率、属于背景像素点的概率，并据此将像素点区分为前景像素点、背景像素点和混合像素点，并确定出混合像素点的融合权值和前景分量值，从而在此基础上替换图像背景时，针对混合像素点，可以基于混合像素点的融合权值和前景分量值，将混合像素点与新背景图像进行融合，从而将前景与背景融合处的混合像素进行了有效区分，可以得到稳定的提取前景图像的分割结果，使得替换图像背景时最终得到的替换了背景的图像不会存在轮廓边缘不自然的情况，获得的图像质量高。

附图说明

图1是一个实施例中的本发明方案的应用环境的示意图；

图2一个具体应用示例中的本实施例方案的应用场景的示意图；

图3是一个实施例中的终端的组成结构示意图；

图4是一个实施例中的提取前景图像的方法的流程示意图；

图5是一个实施例中的替换图像背景的方法的流程示意图；

图6是一个具体示例中替换图像背景的整体过程的流程示意图；

图7是一个具体示例中的替换图像背景的方法的原理示意图；

图8是一个实施例中的提取前景图像的装置的结构示意图；

图9是一个具体示例中的像素点概率模型建立模块的结构示意图；

图10是一个实施例中的替换图像背景的装置的结构示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步的详细说明。应当理解，此处所描述的具体实施方式仅仅用以解释本发明，并不限定本发明的保护范围。

图1示出了本发明一个实施例中的工作环境示意图，如图1所示，其工作环境涉及终端101，在某些情况下，还可能涉及服务器103。终端101可以对其自身存储的或者从外部获取的图像(如图2所示的2-1)提取其前景图像(如图2所示的2-2)，并可以在提取前景图像的基础上进行图像背景的替换，从而得到替换背景后的图像(如图2所示的2-3)。终端101提取的前景图像或者替换背景后的图像，可以存储在终端101本地进行查看和播放，也可以经由网络传输至其他的网络终端，或者通过网络传输至服务器102后，经由服务器102再传输至其他的网络终端。

在一个应用示例中，该终端101可以是携带摄像头的终端，也可以是外接有摄像设备1010的终端，从而终端101可以提取通过摄像头拍摄得到的帧图像的前景图像，并在此基础上进行图像背景的替换，从而在视频直播、视频聊天等各种应用中，实现各类图像背景的替换，进而实现各类背景下的视频直播或者视频聊天。本实施例涉及的是终端101对图像提取其前景图像并据此进行图像背景替换的方案。

终端101在一个实施例中的结构示意图如图3所示。该终端101包括通过系统总线连接的处理器、存储介质、通信接口、电源接口和内存。其中，终端101的存储介质存储有一种提取前景图像的装置、一种替换图像背景的装置，该装置分别用于实现一种提取前景图像的方法、一种替换图像背景的方法。终端101的通信接口用于与网络终端其他终端或者服务器102连接和通信，终端101的电源接口用于与外部电源连接，外部电源通过该电源接口向终端101供电。终端101可以是任何一种能够实现智能输入输出的设备，例如移动终端，比如手机、平板电脑、个人计算机等；也可以是其它具有上述结构的设备。

图4中示出了一个实施例中的提取前景图像的方法的流程示意图。如图4所示，该实施例中的提取前景图像的方法包括：

步骤S401：获取待处理图像、幕布图像；

步骤S402：根据所述待处理图像和所述幕布图像，确定所述待处理图像中的各像素点属于前景像素点的前景像素概率、属于背景像素点的背景像素概率；

步骤S403：根据各所述像素点的前景像素概率、背景像素概率，确定各所述像素点的像素点类型，所述像素点类型包括前景像素点、背景像素点以及混合像素点；

步骤S404：根据各所述混合像素点、各所述混合像素点的所述前景像素概率、所述幕布图像，确定各所述混合像素点的融合权值，并根据各所述混合像素点的融合权值确定各所述混合像素点的前景分量值。

基于如上所述的实施例中的方案，其是提取前景图像时，是基于幕布图像，确定出待处理图像中的各像素点属于前景像素点的概率、属于背景像素点的概率，并据此将像素点区分为前景像素点、背景像素点和混合像素点，并确定出混合像素点的融合权值和前景分量值，从而在此基础上替换图像背景时，针对混合像素点，可以基于混合像素点的融合权值和前景分量值，将混合像素点与新背景图像进行融合，从而将前景与背景融合处的混合像素进行了有效区分，可以得到稳定的提取前景图像的分割结果，使得替换图像背景时最终得到的替换了背景的图像不会存在轮廓边缘不自然的情况，获得的图像质量高。

相对应地，图5中示出了一个实施例中的替换图像背景的方法的流程示意图，如图5所示，该实施例中的替换图像背景的方法包括：

步骤S501：获取待处理图像、新背景图像；

步骤S502：采用如上所述的实施例中的提取前景图像的方式，获得所述待处理图像的前景像素点、背景像素点、混合像素点以及各混合像素点的融合权值和前景分量值；

步骤S503：将所述前景像素点的像素值，作为替换背景后图像中、与所述前景像素点对应位置处像素点的像素值；

步骤S504：将所述新背景图像中、与所述背景像素点对应位置处像素点的像素值，作为所述替换背景后图像中、与所述背景像素点对应位置处像素点的像素值；

步骤S505：根据所述混合像素点的融合权值和前景分量值、所述新背景像素的像素值，确定所述混合像素点的融合像素值，并将所述融合像素值，作为所述替换背景后图像中、与所述混合像素点对应位置处像素点的像素值。

可以理解的，步骤S503、步骤S504、步骤S505中的处理过程可以不分先后顺序同时进行。

据此，基于本实施例中的方案，其将前景与背景融合处的混合像素进行了有效区分，可以得到稳定的提取前景图像的分割结果，使得替换图像背景时最终得到的替换了背景的图像不会存在轮廓边缘不自然的情况，获得的图像质量高。

其中，在上述步骤S402中，可以结合像素点概率模型进行，即可以根据所述待处理图像、所述幕布图像以及像素点概率模型，确定所述待处理图像中的各像素点属于前景像素点的前景像素概率、属于背景像素点的背景像素概率。

在一个具体示例中，可以采用下述方式确定该像素点概率模型：

获取样本图像和所述幕布图像，其中，这里的样本图像包括所述待处理图像所在视频流中、在所述待处理图像之前的视频帧的图像，可以理解，在某些情况下，这里的样本图像也可以是上述待处理图像；

根据所述样本图像的像素值与所述幕布图像的像素值，对所述样本图像进行阈值过滤，从所述样本图像中提取出种子前景像素点和种子背景像素点；在一个应用示例中，可以是计算所述样本图像的各像素点与所述幕布图像的对应位置处的像素点的距离后，在所述距离大于第一距离阈值时，将对应的所述像素点确定为种子前景像素点，在所述距离小于第二距离阈值时，将对应的所述像素点确定为种子背景像素点，所述第一距离阈值大于第二距离阈值；

根据提取的种子前景像素点、种子背景像素点，建立所述像素点概率模型。

在一个应用示例中，还可以在间隔所述样本图像预定帧距后，从所述视频流中提取视频帧图像，并将该视频帧图像作为新样本图像。并根据所述新样本图像的像素值与所述幕布图像的像素值，对所述新样本图像进行阈值过滤，从所述新样本图像中提取出种子前景像素点和种子背景像素点。然后根据从所述新样本图像中提取的种子前景像素点、种子背景像素点对所述像素点概率模型进行更新。从而以提高建立的像素点概率模型的准确性。

上述计算所述样本图像的各像素点与所述幕布图像的对应坐标处的像素点的距离时，可以采用任何可能的方式进行，例如：

将所述样本图像的像素值转换到YCrCb颜色空间，获得所述样本图像的各像素点的Cr分量、Cb分量；

将所述幕布图像的像素值转换到YCrCb颜色空间，获得所述幕布图像的各像素点的Cr分量、Cb分量；

根据所述样本图像的各像素点的Cr分量、Cb分量，所述幕布图像的各像素点的Cr分量、Cb分量，计算所述样本图像的各像素点与所述幕布图像的对应位置处的像素点的距离。

在根据提取的种子前景像素点、种子背景像素点，建立所述像素点概率模型时，一个应用示例中的方式可以包括：

对提取的种子前景像素点、种子背景像素点进行聚类，获得各前景分量样本、各背景分量样本；具体聚类时，可以采用任何可能的聚类方式进行聚类；

计算各前景分量样本的均值与协方差、各背景分量样本的均值与协方差；

根据各前景分量样本的均值与协方差、各背景分量样本的均值与协方差，确定各前景分量的概率密度函数、各背景分量的概率密度函数；

根据各前景分量的概率密度函数、各背景分量的概率密度函数生成所述像素点概率模型。

在一个示例中，在上述步骤S403中，可以是在像素点的前景像素概率大于前景概率阈值时，判定该像素点为前景像素点；并在像素点的背景像素概率大于背景概率阈值时，判定该像素点为背景像素点；而将其他情况下的像素点则判定为是混合像素点。

基于上述各实施例的方案，图6示出了一个具体示例中的替换背景图像的整体过程的流程示意图，图7相应示出了是一个具体示例中的替换图像背景的方法的原理示意图。在图6、图7所示的示例中，是以对视频流中的视频帧图像替换背景图像为例进行说明。

如图6、图7所示，在对视频流中的视频帧图像替换背景图像时，首先获取视频流的第1帧图像作为样本图像，并获取幕布图像。可以理解，这里的第1帧图像可以是整个视频流的第1帧图像，也可以是在需要进行替换视频流的图像背景时(例如在视频流播放过程中接收到了替换图像背景的指令)的第1帧图像，即这里作为样本图像的第1帧图像是一个相对的概念，并不是指视频流的视频帧顺序中的第1帧图像。此外，可以理解的是，这里的幕布图像可以是视频流所在环境的环境图像等。以视频直播为例，这里的幕布图像可以为视频直播过程中的直播主播所在环境的图像，这里的环境的图像可以是纯色幕布形成的图像等。

然后，根据样本图像与幕布图像的颜色的接近程度，对样本图像进行阈值过滤，从样本图像中提取种子前景像素点和幕布像素点。具体进行过滤时，可以结合获取的样本图像的像素值和上述幕布图像的像素值，对样本图像进行阈值过滤，从样本图像中提取出种子前景像素点和种子背景像素点。

在该具体示例中，在进行阈值过滤时，可以结合YCrCb颜色空间的Cr、Cb分量来衡量这种接近程度。其将样本图像的像素值转换到YCrCb颜色空间，获得样本图像的各像素点的Cr分量、Cb分量，并将幕布图像的像素值转换到YCrCb颜色空间，获得幕布图像的各像素点的Cr分量、Cb分量；然后根据样本图像的各像素点的Cr分量、Cb分量，幕布图像的各像素点的Cr分量、Cb分量，计算样本图像的各像素点与所述幕布图像的对应位置处的像素点的距离。

假设r表示样本图像中的像素点，g表示幕布图像中的像素点，用d(r，g)表示像素点r与像素点g在Cr、Cb为轴的坐标系下的距离，该距离可以为欧氏距离，用Yr表示像素r所属的像素点类别，并用Yr＝0表示像素点r属于前景像素点，用Yr＝1表示像素点r属于背景像素点，用Yr＝2表示像素点r属于混合像素点。从而有：

其中，t₁为上述第一距离阈值，t₂为上述第二距离阈值，且t₁大于t₂。

从而基于上述方式从样本图像中提取出种子前景像素点和种子背景像素点。

然后，对提取的种子前景像素点、种子背景像素点进行聚类，获得各前景分量样本、各背景分量样本。具体聚类时，可以采用任何可能的聚类方式进行聚类，例如用k-means无监督聚类算法、EM算法进行聚类；

基于上述聚类后，然后计算各前景分量样本的均值与协方差、各背景分量样本的均值与协方差。具体计算均值与协方差的方式，可以采用任何可能的方式进行，例如采用最大似然估计算法估计各样本的样本模型的均值与协方差。

然后，根据各前景分量样本的均值与协方差、各背景分量样本的均值与协方差，确定各前景分量的概率密度函数、各背景分量的概率密度函数。一个具体示例中，该概率密度函数可以是如下所述：

其中，μ分别为样本的均值，Σ分别为样本协方差矩阵。

随后，根据各前景分量的概率密度函数、各背景分量的概率密度函数生成所述像素点概率模型。基于上述概率密度函数确定的像素点概率模型如下所述：

其中i＝0,1表示标签前景或者背景。x_r表示像素r的像素值，y_r表示像素r的类别。

此外，还可以在间隔样本图像预定帧距后，从视频流中提取视频帧图像，例如第g帧图像，并将该视频帧图像作为新样本图像，重复上述过程后，对上述像素点概率模型进行更新，从而以提高建立的像素点概率模型的准确性。本示例中的像素点概率模型可以称之为GMM模型。

在建立上述像素点概率模型之后，即可基于该像素点概率模型提取待处理图像的前景图像，并据此进行背景图像的替换。

在获取待处理图像后，根据待处理图像、所述幕布图像以及所述像素点概率模型，确定待处理图像中的各像素点属于前景像素点的前景像素概率、属于背景像素点的背景像素概率。

随后，即可根据待处理图像的各像素点的前景像素概率、背景像素概率，确定各像素点的像素点类型，即确定各像素点是前景像素点、背景像素点还是混合像素点。

一个具体示例中，可以结合下式的原理确定像素点的类型。

其中，p(y_r＝0|x_r)表示像素r属于前景像素的概率，p(y_r＝1|x_r)表示像素r属于背景像素的概率。

随后，可以根据各混合像素点、各混合像素点的前景像素概率、所述幕布图像，确定各混合像素点的融合权值，并根据各混合像素点的融合权值确定各混合像素点的前景分量值。

一个具体示例中，可以结合下式的原理确定混合像素点的融合权值和前景分量值。

c_r＝x_r-α_rm

式中，α_r表示融合权值，c_r表示前景分量值，m表示幕布图像的对应像素点的像素值，k基于上述像素点概率模型中得到的像素r的前景分量概率值，

表示各混合像素的平均像素值。通过前景分量的提取，可使最终融合结果中去除边缘的幕布颜色，使结果更真实自然。可以理解的是，还可以采用其他的方式来确定融合权值和前景分量，例如坐标轴转换、目标角度投影等。

可以理解的是，在一个示例中，上述对像素点概率模型更新的过程，和对待处理图像提取前景图像的过程，可以是同时进行，从而更新后的像素点概率模型，可以应用到对后续的视频流的视频帧图像的前景图像和替换背景图像的过程。

然后，将前景像素点的像素值，作为替换背景后图像中、与前景像素点对应位置处像素点的像素值；并将新背景图像中、与背景像素点对应位置处像素点的像素值，作为替换背景后图像中、与背景像素点对应位置处像素点的像素值。

根据混合像素点的融合权值和前景分量值、新背景像素的像素值，确定混合像素点的融合像素值，并将融合像素值，作为替换背景后图像中、与混合像素点对应位置处像素点的像素值。

一个具体示例中确定的融合像素值可以是如下式所示：

result_r＝c_r+α_rBG_r

其中，BG_r表示新背景图像的像素值，result_r表示融合像素值。

基于如上所述的实施例的方案，通过对混合像素进行融合权值建模和前景分量提取，从而使得最终得到的背景替换后的图像更真实自然，大大提高了技术效果，解决了边缘处理不干净的问题，而且降低了计算复杂度，可以满足实时性需求。此外，在建立像素点概率模型时，是基于幕布像素提取出种子前景像素点和种子背景像素点，减少了用户交互次数，提高了效率。

图8示出了一个实施例中的提取前景图像的装置的结构示意图。如图8所示，该实施例中的提取前景图像的装置80包括：

概率计算模块801，用于根据预定幕布图像，确定待处理图像中的各像素点属于前景像素点的前景像素概率、属于背景像素点的背景像素概率；

像素点类型确定模块802，用于根据各所述像素点的前景像素概率、背景像素概率，确定各所述像素点的像素点类型，所述像素点类型包括前景像素点、背景像素点以及混合像素点；

混合像素融合信息确定模块803，用于根据各所述混合像素点、各所述混合像素点的所述前景像素概率、所述幕布图像，确定各所述混合像素点的融合权值，并根据各混合像素点的融合权值确定各所述混合像素点的前景分量值。

基于如上所述的实施例中的方案，其是提取前景图像时，是基于幕布图像，确定出待处理图像中的各像素点属于前景像素点的概率、属于背景像素点的概率，并据此将像素点区分为前景像素点、背景像素点和混合像素点，并确定出混合像素点的融合权值和前景分量值，从而在此基础上替换图像背景时，针对混合像素点，可以基于混合像素点的融合权值和前景分量值，将混合像素点与新背景图像进行融合，从而将前景与背景融合处的混合像素进行了有效区分，可以得到稳定的提取前景图像的分割结果，使得替换图像背景时最终得到的替换了背景的图像不会存在轮廓边缘不自然的情况，获得的图像质量高。

在一个具体示例中，如图8所示，本实施例的提取前景图像的装置还可以包括像素点概率模型建立模块800，该像素点概率模型建立模块800用以建立像素点概率模型。此时，上述概率计算模块801，是根据所述待处理图像、所述幕布图像以及像素点概率模型，确定所述待处理图像中的各像素点属于前景像素点的前景像素概率、属于背景像素点的背景像素概率。

图9示出了一个具体示例中的像素点概率模型建立模块800的结构示意图，如图9所示，该像素点概率模型建立模块800包括：

第一图像获取模块8001，用于获取样本图像和所述幕布图像，所述样本图像包括所述待处理图像所在视频流中、在所述待处理图像之前的视频帧的图像；

种子像素提取模块8002，用于根据所述样本图像的像素值与所述幕布图像的像素值，对所述样本图像进行阈值过滤，从所述样本图像中提取出种子前景像素点和种子背景像素点；

模型建立模块8003，用于根据提取的种子前景像素点、种子背景像素点，建立所述像素点概率模型。

如图9所示，在一个具体应用示例中，上述种子像素提取模块8002可以包括：

距离计算模块80021，用于计算所述样本图像的各像素点与所述幕布图像的对应位置处的像素点的距离；

阈值比较确定模块80022，用于在所述距离大于第一距离阈值时，将对应的所述像素点确定为种子前景像素点，在所述距离小于第二距离阈值时，将对应的所述像素点确定为种子背景像素点，所述第一距离阈值大于第二距离阈值。

距离计算模块80021在计算所述样本图像的各像素点与所述幕布图像的对应坐标处的像素点的距离时，可以采用任何可能的方式进行，例如结合YCrCb颜色空间进行。以结合YCrCb颜色空间计算距离为例，上述距离计算模块80021可以包括：

第一颜色空间转换模块，用于将所述样本图像的像素值转换到YCrCb颜色空间，获得所述样本图像的各像素点的Cr分量、Cb分量；

第二颜色空间转换模块，用于将所述幕布图像的像素值转换到YCrCb颜色空间，获得所述幕布图像的各像素点的Cr分量、Cb分量；

计算模块，用于根据所述样本图像的各像素点的Cr分量、Cb分量，所述幕布图像的各像素点的Cr分量、Cb分量，计算所述样本图像的各像素点与所述幕布图像的对应位置处的像素点的距离。

在一个具体示例中，上述模型建立模块8003可以包括：

聚类模块，用于对提取的种子前景像素点、种子背景像素点进行聚类，获得各前景分量样本、各背景分量样本；具体聚类时，可以采用任何可能的聚类方式进行聚类；

均值协方差计算模块，用于计算各前景分量样本的均值与协方差、各背景分量样本的均值与协方差；

概率密度确定模块，用于根据各前景分量样本的均值与协方差、各背景分量样本的均值与协方差，确定各前景分量的概率密度函数、各背景分量的概率密度函数；

模型生成模块，用于根据各前景分量的概率密度函数、各背景分量的概率密度函数生成所述像素点概率模型。

如图9所示，在一个具体示例中，上述像素点概率模型建立模块800还可以包括：

模型更新模块8004，用于在间隔所述样本图像预定帧距后，从所述视频流中提取视频帧图像，并将该视频帧图像作为新样本图像；根据所述新样本图像的像素值与所述幕布图像的像素值，对所述新样本图像进行阈值过滤，从所述新样本图像中提取出种子前景像素点和种子背景像素点；并根据从所述新样本图像中提取的种子前景像素点、种子背景像素点对所述像素点概率模型进行更新。

在一个具体示例中，上述像素点类型确定模块802，用于在像素点的前景像素概率大于前景概率阈值时，判定该像素点为前景像素点；在像素点的背景像素概率大于背景概率阈值时，判定该像素点为背景像素点；否则，判定该像素点为混合像素点。

基于上述提取前景图像的装置，图10示出了一个实施例中的替换图像背景的装置的结构示意图，如图10所示，该实施例中的替换图像背景的装置包括：

第二图像获取模块1001，用于获取待处理图像、新背景图像；

上述提取前景图像的装置80；

前景像素融合模块1002，用于将提取前景图像的装置确定的前景像素点的像素值，作为替换背景后图像中、与所述前景像素点对应位置处像素点的像素值；

背景像素融合模块1003，用于将所述新背景图像中、与所述提取前景图像的装置确定的背景像素点对应位置处像素点的像素值，作为所述替换背景后图像中、与所述背景像素点对应位置处像素点的像素值；

混合像素融合模块1004，用于根据所述提取前景图像的装置确定的混合像素点的融合权值和前景分量值、所述新背景像素的像素值，确定所述混合像素点的融合像素值，并将所述融合像素值，作为所述替换背景后图像中、与所述混合像素点对应位置处像素点的像素值。

据此，基于本实施例中的方案，其将前景与背景融合处的混合像素进行了有效区分，可以得到稳定的提取前景图像的分割结果，使得替换图像背景时最终得到的替换了背景的图像不会存在轮廓边缘不自然的情况，获得的图像质量高。

可以理解，本实施例的装置中的相关模块，可采用与上述实施例的方法中的相同的方式实现。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一非易失性的计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random Access Memory，RAM)等。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (14)

1.一种提取前景图像的方法，其特征在于，包括步骤：

获取待处理图像、幕布图像；

根据所述待处理图像、所述幕布图像以及像素点概率模型，确定所述待处理图像中的各像素点属于前景像素点的前景像素概率、属于背景像素点的背景像素概率；

根据各所述像素点的前景像素概率、背景像素概率，确定各所述像素点的像素点类型，所述像素点类型包括前景像素点、背景像素点以及混合像素点；

根据各所述混合像素点、各所述混合像素点的所述前景像素概率、所述幕布图像，确定各所述混合像素点的融合权值，并根据各所述混合像素点的融合权值确定各所述混合像素点的前景分量值；

所述像素点概率模型的确定方式包括：

获取样本图像和所述幕布图像，所述样本图像包括所述待处理图像所在视频流中、在所述待处理图像之前的视频帧的图像；

根据所述样本图像的像素值与所述幕布图像的像素值，对所述样本图像进行阈值过滤，从所述样本图像中提取出种子前景像素点和种子背景像素点；

对提取的所述种子前景像素点、所述种子背景像素点进行聚类，获得各前景分量样本、各背景分量样本；

计算各所述前景分量样本的均值与协方差、各所述背景分量样本的均值与协方差；

根据各所述前景分量样本的均值与协方差、各所述背景分量样本的均值与协方差，确定各前景分量的概率密度函数、各背景分量的概率密度函数；

根据各前景分量的概率密度函数、各背景分量的概率密度函数生成所述像素点概率模型；

所述从所述样本图像中提取出种子前景像素点和种子背景像素点包括：计算所述样本图像的各像素点与所述幕布图像的对应位置处的像素点的距离；

在所述距离大于第一距离阈值时，将对应的所述像素点确定为种子前景像素点，在所述距离小于第二距离阈值时，将对应的所述像素点确定为种子背景像素点，所述第一距离阈值大于第二距离阈值。

2.根据权利要求1所述的方法，其特征在于，所述概率密度函数公式为：

其中，μ为各所述样本的均值，Σ为样本协方差矩阵。

3.根据权利要求1所述的方法，其特征在于，所述像素点概率模型公式为：

其中，i表示标签前景或者背景，x_r表示像素r的像素值，y_r表示像素r的类别。

4.根据权利要求1所述的提取前景图像的方法，其特征在于，计算所述样本图像的各像素点与所述幕布图像的对应坐标处的像素点的距离的方式包括：

将所述样本图像的像素值转换到YCrCb颜色空间，获得所述样本图像的各像素点的Cr分量、Cb分量；

将所述幕布图像的像素值转换到YCrCb颜色空间，获得所述幕布图像的各像素点的Cr分量、Cb分量；

根据所述样本图像的各像素点的Cr分量、Cb分量，所述幕布图像的各像素点的Cr分量、Cb分量，计算所述样本图像的各像素点与所述幕布图像的对应位置处的像素点的距离。

5.根据权利要求1所述的提取前景图像的方法，其特征在于，还包括：

在间隔所述样本图像预定帧距后，从所述视频流中提取视频帧图像，并将该视频帧图像作为新样本图像；

根据所述新样本图像的像素值与所述幕布图像的像素值，对所述新样本图像进行阈值过滤，从所述新样本图像中提取出种子前景像素点和种子背景像素点；

根据从所述新样本图像中提取的种子前景像素点、种子背景像素点对所述像素点概率模型进行更新。

6.根据权利要求1至5任意一项所述的提取前景图像的方法，其特征在于：

在像素点的前景像素概率大于前景概率阈值时，判定该像素点为前景像素点；

在像素点的背景像素概率大于背景概率阈值时，判定该像素点为背景像素点；

否则，判定该像素点为混合像素点。

7.一种替换图像背景的方法，其特征在于：

获取待处理图像、新背景图像；

采用如权利要求1至6任意一项所述的提取前景图像的方式，获得所述待处理图像的前景像素点、背景像素点、混合像素点以及各混合像素点的融合权值和前景分量值；

将所述前景像素点的像素值，作为替换背景后图像中、与所述前景像素点对应位置处像素点的像素值；

将所述新背景图像中、与所述背景像素点对应位置处像素点的像素值，作为所述替换背景后图像中、与所述背景像素点对应位置处像素点的像素值；

根据所述混合像素点的融合权值和前景分量值、所述新背景像素的像素值，确定所述混合像素点的融合像素值，并将所述融合像素值，作为所述替换背景后图像中、与所述混合像素点对应位置处像素点的像素值。

8.一种提取前景图像的装置，其特征在于，包括：

种子像素提取模块，用于计算所述待处理图像的各像素点与所述幕布图像的对应位置处的像素点的距离，以及用于在所述距离大于第一距离阈值时，将对应的所述像素点确定为种子前景像素点，在所述距离小于第二距离阈值时，将对应的所述像素点确定为种子背景像素点，所述第一距离阈值大于第二距离阈值；

概率计算模块，用于根据所述待处理图像、所述幕布图像以及像素点概率模型，确定所述待处理图像中的各像素点属于前景像素点的前景像素概率、属于背景像素点的背景像素概率；

像素点类型确定模块，用于根据各所述像素点的前景像素概率、背景像素概率，确定各所述像素点的像素点类型，所述像素点类型包括前景像素点、背景像素点以及混合像素点；

混合像素融合信息确定模块，用于根据各所述混合像素点、各所述混合像素点的所述前景像素概率、所述幕布图像，确定各所述混合像素点的融合权值，并根据各所述混合像素点的融合权值确定各所述混合像素点的前景分量值；

第一图像获取模块，用于获取样本图像和所述幕布图像，所述样本图像包括所述待处理图像所在视频流中、在所述待处理图像之前的视频帧的图像；

模型建立模块，用于对提取的所述种子前景像素点、所述种子背景像素点进行聚类，获得各前景分量样本、各背景分量样本；计算各所述前景分量样本的均值与协方差、各所述背景分量样本的均值与协方差；根据各所述前景分量样本的均值与协方差、各所述背景分量样本的均值与协方差，确定各前景分量的概率密度函数、各背景分量的概率密度函数；根据各前景分量的概率密度函数、各背景分量的概率密度函数生成所述像素点概率模型。

9.根据权利要求8所述的提取前景图像的装置，其特征在于，所述距离计算模块包括：

第一颜色空间转换模块，用于将所述样本图像的像素值转换到YCrCb颜色空间，获得所述样本图像的各像素点的Cr分量、Cb分量；

第二颜色空间转换模块，用于将所述幕布图像的像素值转换到YCrCb颜色空间，获得所述幕布图像的各像素点的Cr分量、Cb分量；

计算模块，用于根据所述样本图像的各像素点的Cr分量、Cb分量，所述幕布图像的各像素点的Cr分量、Cb分量，计算所述样本图像的各像素点与所述幕布图像的对应位置处的像素点的距离。

10.根据权利要求8所述的提取前景图像的装置，其特征在于，还包括：

模型更新模块，用于在间隔所述样本图像预定帧距后，从所述视频流中提取视频帧图像，并将该视频帧图像作为新样本图像；根据所述新样本图像的像素值与所述幕布图像的像素值，对所述新样本图像进行阈值过滤，从所述新样本图像中提取出种子前景像素点和种子背景像素点；并根据从所述新样本图像中提取的种子前景像素点、种子背景像素点对所述像素点概率模型进行更新。

11.根据权利要求8至10任意一项所述的提取前景图像的装置，其特征在于：

所述像素点类型确定模块，用于在像素点的前景像素概率大于前景概率阈值时，判定该像素点为前景像素点；在像素点的背景像素概率大于背景概率阈值时，判定该像素点为背景像素点；否则，判定该像素点为混合像素点。

12.一种替换图像背景的装置，其特征在于，包括第二图像获取模块、前景像素融合模块、背景像素融合模块、混合像素融合模块、以及如权利要求7至11任意一项所述的提取前景图像的装置；

所述第二图像获取模块，用于获取待处理图像、新背景图像；

所述前景像素融合模块，用于将所述提取前景图像的装置确定的前景像素点的像素值，作为替换背景后图像中、与所述前景像素点对应位置处像素点的像素值；

所述背景像素融合模块，用于将所述新背景图像中、与所述提取前景图像的装置确定的背景像素点对应位置处像素点的像素值，作为所述替换背景后图像中、与所述背景像素点对应位置处像素点的像素值；

所述混合像素融合模块，用于根据所述提取前景图像的装置确定的混合像素点的融合权值和前景分量值、所述新背景像素的像素值，确定所述混合像素点的融合像素值，并将所述融合像素值，作为所述替换背景后图像中、与所述混合像素点对应位置处像素点的像素值。

13.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述的方法的步骤。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。

Images