CN102567727B

CN102567727B - 一种背景目标替换方法和装置

Info

Publication number: CN102567727B
Application number: CN201010587380.5A
Authority: CN
Inventors: 傅力; 张震玮; 王东; 瞿中
Original assignee: ZTE Corp
Current assignee: ZTE Corp
Priority date: 2010-12-13
Filing date: 2010-12-13
Publication date: 2014-01-01
Anticipated expiration: 2030-12-13
Also published as: CN102567727A

Abstract

本发明公开了一种背景目标替换方法和装置，其中，该方法包括：对原始图像进行二值化处理得到二值化图像；对二值化图像进行边缘检测；根据边缘检测得到的边缘轮廓图以及二值化图像计算得到目标模板；将目标模板与原始图像进行比较，并根据比较结果进行前景目标的提取和背景目标的替换。本发明解决了现有技术中对光照变化敏感，且依赖于运动目标的形状与数量，不能很好的提取前景目标，实现背景目标替换的问题。

Description

一种背景目标替换方法和装置

技术领域

本发明涉及通信领域，具体而言，涉及一种背景目标替换方法和装置。

背景技术

如今的移动通讯已经进入3G时代，我们需要的是更快捷，功能更加强大的通讯服务。手机的视讯功能早已实现，但有时视讯过程中单一的背景却无法满足运营商和客户的要求，而实现背景替换的发明在行业中还没有人开发出来。

色度键技术：色度键技术又称为蓝幕技术，是通过在同一色彩的背景上拍摄物体，根据背景色彩特殊的色调信息加以区分前景和背景，从而达到自动去除背景保留前景的目的。广泛用于广播电视的动态背景合成以及电影和摄影创作中。蓝幕技术不一定非要使用蓝幕作为背景，原则上，只要选择前景拍摄对象不具有的颜色作为背景就可以了。正确使用的蓝幕技术，除了可以正确抠取出前景外，还可以抠取出前景中半透明区域和阴影区域。

拍摄时必须选择合适的背景颜色。避免拍摄物体含有背景幕布的颜色，是成功的关键。对于常见的人像拍摄来说，因为人的皮肤介于红色和黄色之间，所以，采用红色、橙色、黄色幕布拍摄无法达到自动抠图的作用，一股采用蓝色、绿色和青色幕布，具体根据拍摄对象的颜色来决定。拍摄的道具同样需要有此讲究。如果拍摄对象含有背景颜色，那么抠图出来拍摄对象上就会变得透明，半透明。如果实在无法避免的时候，可以用后期修补的办法加以弥补。

键控又称为抠像，是一种分割屏幕的特技，只是分割屏幕的分界线多为规则图状，如文字、符号、复杂的图形或某种自然景物等。“抠”与“填”是键控技术的实质所在。正常情况下，被抠的图像是背景图像；填入的图像为前景图像。用来抠去图像的电信号称为键信号，形成这一信号的信号源为键源。一股来说，键控技术包括自键、外键和色键三种。

①自键

自键又叫内键，是以参与键控特技的其中一路信号作为键信号来分割画面的特技，也就是说键源与前景图像是同一个图像。它要求键源图像每点的亮度必须比较均匀而且比较高，一股用于文字、图形的叠加。如在电视上看到的字幕、台标等。作为键源的信号只有高低两种电平，经非相加混合电路后，在键源信号高电平时输出键源信号本身，在低电平时输出背景图像。

②外键

与内键相对而言，其键信号由第三路键源图像提供，而不是参与键控特技的前景或背景图像。前两种键是利用键源图像中的亮度信号成分来形成键信号的，所以又称为亮度键。

③色键

色键是利用参与键控特技的两路彩色信号中的前景图像的色度分量来形成健信号的。色键在电视节目制作中得到广泛的应用。如天气预报以及一些电视剧中也用色键特技，可以将许多外景预先拍摄下来，需要时用它们提供背景信号，人在演播室中就能如同身临其境一样在多种外景下进行各种表演，还可以使人在天上飞、云中走，给观众更好的艺术效果。

边缘检测是人类视觉系统(human visual system)的开始阶段和最重要阶段。空间边缘信息对产生视频对象非常有用，它能够允许帧间较大的非刚性运动(亦即物体在力等外界因素下发生形态的运动变化)，能够捕获新出现的运动对象，而且计算复杂度很低，有利于实时的实现。常用的边缘检测算子有Sobel、Robert、Prewitt、LOG和Canny。Canny算子是基于最优化思想推出的边缘检测算子，该算子采用高斯函数对图像进行平滑处理，具有较强的抑制噪声能力，之后采用了双阈值算法检测和连接边缘，它采用的多尺度检测和方向性搜索使得对边缘的定位能力较好。

根据分割过程中所利用信息的不同，目前常用的目标检测算法(边缘检测是运动目标检测的重要步骤)分为三类：空间分割、时间分割和时空分割。

空间分割将图像划分为区域，其中某些区域具有相似的特征，而其他区域明显不同，然后通过空间聚类形成语义视频对象。因此，空间分割实质是传统的图像分割技术，按照一定的空间信息(包括颜色、灰度、边沿、纹理等)，变换域信息(DCT、DWT)，统计信息，模型、和先验知识(对特殊视频序列)等对图像中的一致性区域进行分割，然后在帧间进行对象的跟踪。

时间分割通常利用前后帧间对象的运动信息，因为大多数运动对象具有与背景不同的运动，也可以结合颜色、纹理和边沿等特征。时空分割法则一股通过时间分割标识运动对象，然后与空间分割得到的对象边界融合在一起，以得到更精确的分割结果。

时空结合的分割方案利用图像的空间信息和时间信息分割视频对象。时间分割定位图像中对象的运动部分，空间分割把图像分割成具有精确边界的语义区域，最后利用时空分割和时域一致性融合时间和空间分割的结果。这种技术往往利用了多种图像特征分割对象，具有较好的分割性能。优点是分割结果准确，基于区域生长技术能够同步提取各个运动对象，缺点是运算复杂度高。当前目标检测算法的研究趋势之一是寻找更好的时间分割与空间分割的融合方法。

传统的运动目标提取大部分是基于运动变化的检测。通过相邻两帧之间的差异来检测运动目标的轮廓与位置，然后对得到的结果进行后处理，对光照变化敏感，且依赖于运动目标的形状与数量，因而不能很好的提取前景目标。

发明内容

本发明旨在提供一种背景目标替换方法和装置，以解决无法高质量地进行背景目标替换的问题。

根据本发明的一个方面，提供了一种背景目标替换方法，包括如下步骤：对原始图像进行二值化处理得到二值化图像；对二值化图像进行边缘检测；根据边缘检测得到的边缘轮廓图以及二值化图像计算得到目标模板；将目标模板与原始图像进行比较，并根据比较结果进行前景目标的提取和背景目标的替换。

进一步地，对二值化图像进行边缘检测的步骤包括：采用Canny算子对二值化图像进行边缘检测。

进一步地，采用Canny算子对二值化图像进行边缘检测的步骤包括：采用高斯滤波器对二值化图像滤波；计算滤波后的图像中的每个像素梯度的大小M和方向Q；将梯度大小M和方向Q相同的像素进行点连线，得到边缘图像。

进一步地，对二值化图像进行边缘检测的步骤还包括：从当前帧图像F_n中提取当前帧的边缘图像CF_n，从当前帧图像F_n和前一帧图像F_n-1提取帧差图像的边缘图像DF_n，从前一帧图像F_n-1和预先得到的背景图像B提取减背景的边缘图像BS_n-1，从预先得到的背景图像B里提取静止背景的边缘图像BE；根据CF_n和DF_n提取在相邻两帧中运动目标移动进入相邻两帧中而产生的图像

根据CF_n、BS_n-1和BE提取相邻两帧中的一部分运动目标的图像

将

和

进行并运算得到运动目标的边缘图像M_n。

进一步地，根据边缘检测得到的边缘轮廓图以及二值化图像计算得到目标模板的步骤包括：按行横向扫描并记录边缘轮廓图每一行的两个边缘点，对每一行的两个边缘点之间的区域进行填充；按列纵向扫描并记录边缘轮廓图每一列的边缘点，依次判断当前列检测到的相邻两个边缘点之间的距离是否大于设定值，若小于，则对相邻两个边缘点之间的区域进行填充；若大于，则对相邻两个边缘点之间的区域不执行填充操作；将由按行横向扫描和按列纵向扫描并填充得到的填充模板和二值化图像进行或运算，得到目标模板。

进一步地，根据边缘检测得到的边缘轮廓图以及二值化图像计算得到目标模板的步骤包括：按行横向扫描并记录边缘轮廓图每一行的两个边缘点，对每一行的两个边缘点之间的区域进行填充；按列纵向扫描并记录边缘轮廓图每一列的边缘点，依次判断当前列检测到的相邻两个边缘点之间的距离是否大于设定值，若小于，则对相邻两个边缘点之间的区域进行填充；若大于，则对相邻两个边缘点之间的区域不执行填充操作；将由按行横向扫描和按列纵向扫描并填充得到的填充模板和二值化图像进行或运算，得到初步的目标模板；利用K均值聚类的方法，对前景目标和背景目标的颜色模块进行分类，提取前景颜色区域，对非背景颜色类的其余各类进行二值化处理，将得到的二值化图像与初步的目标模板进行并操作，得到进一步的目标模板；根据用于肤色检测的固定阈值边界阈值模型对肤色进行区分，提取肤色部分，并对肤色部分进行二值化处理，将得到的二值化图像与进一步的目标模板进行并操作，以对初步的目标模板相应坐标点进行补充，得到目标模板。

进一步地，根据比较结果进行前景目标的提取和背景目标的替换的步骤包括：将目标模板的填充区域内的坐标点所对应的原始图像中的坐标点的色彩着色到待替换的背景图片的相应位置。

根据本发明的另一方面，提供了一种背景目标替换装置，包括：处理单元，用于对原始图像进行二值化处理得到二值化图像；边缘检测单元，用于对二值化图像进行边缘检测；计算单元，用于根据边缘检测得到的边缘轮廓图以及二值化图像计算得到目标模板；比较单元，用于将目标模板与原始图像进行比较，并根据比较结果进行前景目标的提取和背景目标的替换。

进一步地，边缘检测单元包括：边缘检测模块，用于采用Canny算子对二值化图像进行边缘检测。

进一步地，边缘检测单元还用于从当前帧图像F_n中提取当前帧的边缘图像CF_n，从当前帧图像F_n和前一帧图像F_n-1提取帧差图像的边缘图像DF_n，从前一帧图像F_n-1和预先得到的背景图像B提取减背景(减背景即两幅图像对应像素的差值得到的图像)的边缘图像BS_n-1，从预先得到的背景图像B里提取静止背景的边缘图像BE；根据CF_n和DF_n提取在相邻两帧中运动目标移动进入相邻两帧中而产生的图像根据CF_n、BS_n-1和BE提取相邻两帧中的一部分运动目标的图像

将

和

进行并运算得到运动目标的边缘图像M_n。

通过本发明，采用对二值化图像进行边缘检测的方案，解决了现有技术中对光照变化敏感，且依赖于运动目标的形状与数量，不能很好的提取前景目标，实现背景目标替换的问题，进而达到了对光照不敏感，不依赖于运动目标的形状与数量，很好实现背景目标替换的效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例一种背景目标替换方法的优选流程图；

图2是根据本发明实施例一种背景目标替换装置的优选结构框图；

图3是根据本发明实施例一种背景目标替换装置的另一种结构框图；

图4是根据本发明实施例一种背景目标替换方法的另一种流程图；

图5是根据本发明实施例一种背景目标替换方法的运动边缘提取的流程图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1

图1是根据本发明实施例一种背景目标替换方法的优选流程图，包括如下步骤：

S102，对原始图像进行二值化处理得到二值化图像；

S104，对所述二值化图像进行边缘检测；

S106，根据所述边缘检测得到的边缘轮廓图以及所述二值化图像计算得到目标模板；

S108，将所述目标模板与所述原始图像进行比较，并根据比较结果进行前景目标的提取和背景目标的替换。

在本优选实施例中，采用对二值化图像进行边缘检测的方案，解决了现有技术中对光照变化敏感，且依赖于运动目标的形状与数量，不能很好的提取前景目标，实现背景目标替换的问题，进而达到了对光照不敏感，不依赖于运动目标的形状与数量，很好实现背景目标替换的效果。

优选的，对所述二值化图像进行边缘检测的步骤包括：采用Canny算子对所述二值化图像进行边缘检测。在本优选实施例中，进一步保证前景目标的提取质量。

优选的，采用Canny算子对所述二值化图像进行边缘检测的步骤包括：采用高斯滤波器对所述二值化图像滤波，以便去除图像中的噪声；计算所述滤波后的图像中的每个像素梯度的大小M和方向Q，将所述梯度大小M和方向Q相同的像素进行点连线，得到边缘图像。优选的，在将梯度值相同的邻接点连线的步骤之前，还包括：对所述梯度进行非极值抑制操作，得到细化的边缘，并对所述细化的边缘进行阈值化的步骤，该步骤中对所述梯度进行非极值抑制操作，得到细化的边缘；即，利用梯度方向保留局部梯度最大的点，抑制局部非极大值，其原因在于仅仅得到全局的梯度并不足以确定边缘，为确定边缘，必须保留局部梯度最大的点，而抑制非极大值。对所述细化的边缘进行阈值化指将低于设定阈值的所有值赋值为零，以达到区分边线和非边线的目的。在本优选实施例中，保证正确的边缘检测，进一步保证前景目标提取质量。

优选的，对所述二值化图像进行边缘检测的步骤还包括：从当前帧图像F_n中提取当前帧的边缘图像CF_n，从当前帧图像F_n和前一帧图像F_n-1提取帧差图像的边缘图像DF_n，从前一帧图像F_n-1和预先得到的背景图像B提取减背景(减背景即两幅图像对应像素的差值得到的图像)的边缘图像BS_n-1，从预先得到的背景图像B里提取静止背景的边缘图像BE；根据所述CF_n和所述DF_n提取在相邻两帧中运动目标移动进入所述相邻两帧中而产生的图像

根据所述CF_n、所述BS_n-1和所述BE提取所述相邻两帧中的一部分运动目标的图像

将所述和所述

进行并运算得到所述运动目标的边缘图像M_n。在本优选实施例中，保证边缘提取的正确性，进一步保证前景目标提取的质量。

优选的，根据所述边缘检测得到的边缘轮廓图以及所述二值化图像计算得到目标模板的步骤包括：按行横向扫描并记录所述边缘轮廓图每一行的两个边缘点，对每一行的所述两个边缘点之间的区域进行填充；按列纵向扫描并记录所述边缘轮廓图每一列的边缘点，依次判断当前列检测到的相邻两个边缘点之间的距离是否大于设定值，若小于，则对所述相邻两个边缘点之间的区域进行填充；若大于，则对所述相邻两个边缘点之间的区域不执行填充操作；将由按行横向扫描和按列纵向扫描并填充得到的填充模板和二值化图像进行或运算，得到目标模板。在本优选实施例中，保证目标模板的正确性，进一步保证前景目标提取的质量。

优选的，根据所述边缘检测得到的边缘轮廓图以及所述二值化图像计算得到目标模板的步骤还包括：按行横向扫描并记录所述边缘轮廓图每一行的两个边缘点，对每一行的所述两个边缘点之间的区域进行填充；按列纵向扫描并记录所述边缘轮廓图每一列的边缘点，依次判断当前列检测到的相邻两个边缘点之间的距离是否大于设定值，若小于，则对所述相邻两个边缘点之间的区域进行填充；若大于，则对所述相邻两个边缘点之间的区域不执行填充操作；将由按行横向扫描和按列纵向扫描并填充得到的填充模板和上述二值化图像进行或运算，得到初步的目标模板；利用K均值聚类的方法，对所述前景目标和所述背景目标的颜色模块进行分类，提取所述前景颜色区域，对非背景颜色类的其余各类进行二值化处理，将得到的二值化图像与所述初步的目标模板进行并操作，得到进一步的目标模板；根据用于肤色检测的固定阈值边界阈值模型对肤色进行区分，提取肤色部分，并对所述肤色部分进行二值化处理，将得到的二值化图像与所述进一步的目标模板进行并操作，以对所述初步的目标模板相应坐标点进行补充，得到所述目标模板。

优选的，与所述初步的目标模板进行并操作指的是：两个二值化图像区域对应像素进行叠加，对应像素点同为黑色时，则保持黑色，其他情况修改目标模板为白色。优选的，对所述肤色部分进行二值化处理，得到二值图像与所述进一步的目标模板进行并操纵用于对所述初步的目标模板相应坐标点进行补充。在本优选实施例中，保证目标模板的正确性，进一步保证前景目标提取的质量。

优选的，根据比较结果进行前景目标的提取和背景目标的替换的步骤包括：将所述目标模板的填充区域内的坐标点所对应的所述原始图像中的坐标点的色彩着色到待替换的背景图片的相应位置。在本优选实施例中，进一步保证背景目标替换的质量。

实施例2

图2是根据本发明实施例一种背景目标替换装置的优选结构框图，包括：处理单元202，用于对原始图像进行二值化处理得到二值化图像；边缘检测单元204，用于对所述二值化图像进行边缘检测；计算单元206，用于根据所述边缘检测得到的边缘轮廓图以及所述二值化图像计算得到目标模板；比较单元208，用于将所述目标模板与所述原始图像进行比较，并根据比较结果进行前景目标的提取和背景目标的替换。

优选的，边缘检测单元204包括：边缘检测模块，用于采用Canny算子对所述二值化图像进行边缘检测。在本优选实施例中，进一步保证前景目标的提取质量。

优选的，边缘检测单元204还用于执行以下步骤以便对所述二值化图像进行边缘检测：从当前帧图像F_n中提取当前帧的边缘CF_n，从当前帧图像F_n和前一帧图像F_n-1提取帧差图像的边缘图像DF_n，从前一帧图像F_n-1和预先得到的背景图像B提取减背景的边缘图像BS_n-1，从预先得到的背景图像B里提取静止背景的边缘图像BE；从当前帧的边缘CF_n和帧差图像的边缘图像DF_n提取在相邻两帧中，运动目标的移动而进入此连续帧中而产生的图像

从当前帧的边缘CF_n、减背景的边缘图像BS_n-1和静止背景的边缘图像BE提取运动目标的一部分仍然在此相邻的两帧中的图像

将在相邻两帧中，运动目标的移动而进入此连续帧中而产生的图像

和运动目标的一部分仍然在此相邻的两帧中的图像

进行并运算得到运动的边缘M_n。在本优选实施例中，保证边缘提取的正确性，进一步保证前景目标提取的质量。

优选的，边缘检测单元204还用于执行以下步骤以便采用Canny算子对所述二值化图像进行边缘检测：采用高斯滤波器对所述二值化图像滤波，以便去除图像中的噪声；计算所述滤波后的图像中的每个像素梯度的大小M和方向Q；将所述梯度大小M和方向Q相同的像素进行点连线，得到边缘图像。优选的，在将梯度值相同的邻接点连线之前，还对所述梯度进行非极值抑制操作，得到细化的边缘，并对所述细化的边缘进行阈值化，其中对所述梯度进行非极值抑制操作，得到细化的边缘；即，利用梯度方向保留局部梯度最大的点，抑制局部非极大值，其原因在于仅仅得到全局的梯度并不足以确定边缘，为确定边缘，必须保留局部梯度最大的点，而抑制非极大值。对所述细化的边缘进行阈值化指将低于设定阈值的所有值赋值为零，以达到区分边线和非边线的目的。在本优选实施例中，保证正确的边缘检测，进一步保证前景目标提取质量。

优选的，计算单元206还用于执行以下步骤以便根据所述边缘检测得到的边缘轮廓图以及所述二值化图像计算得到目标模板：按行横向扫描并记录所述边缘轮廓图每一行的两个边缘点，对每一行的所述两个边缘点之间的区域进行填充；按列纵向扫描并记录所述边缘轮廓图每一列的边缘点，依次判断当前列检测到的相邻两个边缘点之间的距离是否大于设定值，若小于，则对所述相邻两个边缘点之间的区域进行填充；若大于，则对所述相邻两个边缘点之间的区域不执行填充操作；将由按行横向扫描和按列纵向扫描并填充得到的填充模板和二值化图像进行或运算，得到目标模板。在本优选实施例中，保证目标模板的正确性，进一步保证前景目标提取的质量。

优选的，计算单元206还用于执行以下步骤以便根据所述边缘检测得到的边缘轮廓图以及所述二值化图像计算得到目标模板：按行横向扫描并记录所述边缘轮廓图每一行的两个边缘点，对每一行的所述两个边缘点之间的区域进行填充；按列纵向扫描并记录所述边缘轮廓图每一列的边缘点，依次判断当前列检测到的相邻两个边缘点之间的距离是否大于设定值，若小于，则对所述相邻两个边缘点之间的区域进行填充；若大于，则对所述相邻两个边缘点之间的区域不执行填充操作；将由按行横向扫描和按列纵向扫描并填充得到的填充模板和二值化图像进行或运算，得到初步的目标模板；利用K均值聚类的方法，对所述前景目标和所述背景目标的颜色模块进行分类，提取所述前景颜色区域，对非背景颜色类的其余各类进行二值化处理，将得到的二值化图像与所述初步的目标模板进行并操作，得到进一步的目标模板；根据用于肤色检测的固定阈值边界阈值模型对肤色进行区分，提取肤色部分，并对所述肤色部分进行二值化处理，将得到的二值化图像与所述进一步的目标模板进行并操作，以对所述初步的目标模板相应坐标点进行补充，得到所述目标模板。

优选的，比较单元208还用于执行以下步骤以便根据比较结果进行前景目标的提取和背景目标的替换：将所述目标模板的填充区域内的坐标点所对应的所述原始图像中的坐标点的色彩着色到待替换的背景图片的相应位置。在本优选实施例中，进一步保证背景目标替换的质量。

实施例3

图3是根据本发明实施例一种背景目标替换装置的另一种结构框图，包括如下几个部分：预处理模块302、处理模块304和输出模块306。

预处理模块302包括：输入数据还原成图片模块3021和去噪处理模块3022，其中，去噪处理模块3022分别用图像膨胀函数和图像腐蚀函数进行处理。

处理模块304包括：彩色图片的灰度变换模块3041、基于Canny算子的灰度图像的边缘检测模块3042、灰度图像的二值化模块3043、目标模板的创建模块3044及颜色填充模块3045。

其中二值化处理模块3043和灰度图像的边缘检测模块3042均需要设定阈值，调节二值化处理的阈值是为了适应环境条件以及目标人物着装的影响，而后者的阈值则反映了Canny算法的分割精细度。

输出模块306用来提取图片数据并输出。

此外，还有接口函数和初始化与释放空间函数，前者是蓝幕技术的接口函数，方便用户调用。参数传递包括：输入视频帧图片的数据部分、图片的宽和高、图片的格式类型(应用于预处理模块)、待替换的背景信息(应用于处理模块)以及需要返回的图片数据部分(应用于输出模块)；而后者则分别在对象创建后初始化相关变量和相关空间的申请及在对象调用结束后，释放处理过程中申请的相应空间给内存。

实施例4

本实施例的功能是完成视讯通话中的前景提取和背景替换。视讯通话中图像的提取是由摄像头完成，通过发明的输入接口把图像传给发明处理，发明自身读入用户需要的背景图片或背景视频，通过运算将原图的前景提取出来重绘在用户需要的背景图中以完成视讯背景的替换并将图片传出。本发明对使用环境有一定的限制，要求用户必须坐于纯色背景前进行操作，因为这样效果才会达到最佳。

本发明实施例在于基于优化的Canny边缘检测，在纯色背景中完整提取前景，主要是根据检测出的轮廓，进行自适应的完整物体提取，然后在背景上对物体重绘，以达到换背景的目的；而发明点在于采用了基于优化的Canny边缘检测的视频对象分割方法，这与传统的基于运动变化检测的视频分割方法有很大不同。

边缘检测是人类视觉系统(human visual system)的开始阶段和最重要阶段。空间边缘信息对产生视频对象非常有用，它能够允许帧间较大的非刚性运动，能够捕获新出现的运动对象，而且计算复杂度很低，有利于实时的实现。常用的边缘检测算子有Sobel、Robert、Prewitt、LOG和Canny。Canny算子是基于最优化思想推出的边缘检测算子，该算子采用高斯函数对图像进行平滑处理，具有较强的抑制噪声能力，之后则采用了双阈值算法检测和连接边缘，采用的多尺度检测和方向性搜索使得对边缘的定位能力较好。

在视频序列里利用相邻帧边缘的差提取运动对象的轮廓信息容易受到噪声的干扰，这是因为相邻两帧的随机噪声是不同的，因此导致相邻帧的边缘位置有轻微的变化。另一方面，从连续帧的差值图像提取边缘却是一种对噪声具有鲁棒性的方法，这是因为在Canny算子中使用Gaussian卷积能够抑制亮度差值产生的噪声的缘故。

综合上述分析，本实施例采用如下技术方案，包括以下步骤：

1)目标检测与跟踪；

2)边缘检测；

3)运动边缘提取；

4)前景目标模板的提取；

5)关键目标着色。

1)目标检测与跟踪：

从视频序列中检测出运动物体是计算机视觉、视频图像跟踪等应用领域的重要研究内容，目前已成为热点研究问题。准确地将运动物体从视频图像中分割出来是人体检测与跟踪等后续处理的基础。

目前广泛使用的算法有帧间差分法和背景差分法。

视频图像序列运动目标检测与跟踪是实时地将运动的区域从图像序列中分割出来，通过对目标运动行为的估计，预测目标在下一帧图像中的物理特征，并根据这些特征对图像序列中的目标进行关联、匹配，得到运动目标的运动轨迹。

运动目标检测就是实时的从视频图像序列中检测出运动目标，并将其提取出来。

运动目标跟踪是在运动目标检测的基础上，利用目标有效特征，使用适当的跟踪算法，在序列图像中寻找与目标模板最相似的图像的位置，其目的就是给目标定位。

2)运动目标边缘检测：

采用Canny算子进行边缘检测，以检测出前景运动目标的边缘轮廓，从而实现运动目标检测。运动目标检测过程当中，完成目标判别后要对二值图像当中的目标做边缘检测，以确定目标的中心位置，为下一步的跟踪操作提供基础。图像分析和理解的第一步常常是边缘检测。

Canny算子是基于最优化思想推出的边缘检测算子，该算子采用高斯函数对图像进行平滑处理，具有较强的抑制噪声能力，之后采用了双阈值算法检测和连接边缘，它采用的多尺度检测和方向性搜索使得对边缘的定位能力较好。其基本思想是：先对处理的图像选择一定的Gauss滤波器进行平滑滤波，然后采用一种称之为“非极值抑制”(Nonmaxima Suppression)的技术，对平滑后的图像处理后，得到最后所需的边缘图像。

Canny算子检测边缘的过程为：

1)用高斯滤波器来对图像滤波，以去除图像中的噪声；

2)对滤波后图像中的每个像素，计算其梯度的大小M和方向Q；

3)对梯度进行“非极大抑制”。为确定边缘，必须细化幅值图像中的屋脊带，这样才会生成细化的边缘；

4)阈值化和边缘连接。有效的方法是选用两个阈值。

3)运动边缘提取：

1)提取运动的边缘(M_n)，M_n包括两种类型的边缘点，一种是在相邻两帧中，由于运动目标的移动而进入此连续帧而产生的，记作

另一种是运动目标的一部分仍然在此相邻的两帧中，记作

2)考虑到我们关心的只是运动目标的边界，因此我们用BS_n-1的边缘图代替F_n-1的边缘图。

4)前景目标模板的提取：

目标模板的获得的目的是为了把前景目标着色到替换的背景上面。

其算法步骤如下：

①横向扫描原始图片的边缘轮廓图，找到第一个边缘点，并记录下来。

②横向扫描边缘轮廓图，找到最后一个边缘点，并记录下来。

③对第一个和最后一个边缘点之间的区域进行填充，并移到下一行进行相同处理，直到结束。

④纵向扫描边缘轮廓图，找到第一个边缘点和第二个边缘点，并记录下来。

⑤比较两个边缘点的距离是否大于某一设定值。

⑥若上面差值大于设定值，则跳过，把第二个边缘点的坐标赋给第一个记录点，作为下轮比较的第一个边缘点。

⑦若差值小于设定值，则对两点之间的区域进行填充，同样的，把第二个边缘点的坐标赋给第一个记录点，作为下轮比较的第一个边缘点。直到结束。

⑧上述得到的填充模板和二值化图像进行或运算，得到初步的目标模板。

⑨利用K均值聚类的方法，对前面和背景颜色模块进行分类，单纯的背景颜色被分为一类，寻找到背景颜色所属的类别之后，直接提取前景颜色区域，补充⑧中形成的目标模板。

⑩利用皮肤检测原理，对目标中的人物皮肤部分进行检查，并对模板相应坐标点进行补充，得到最终的目标模板。

5)关键目标着色：

着色是指把前景的颜色完全着色覆盖到新的背景上面，以达到替换背景的目的。在得到边缘图M_n后，对运动目标进行提取，首先是对M_n进行二值化填充(即生成二值模板，二值化模板即是前景目标区域。)，然后进行数学形态学处理，得到二值掩模图像。

把获得的目标模板和原始图片进行比较，把属于模板填充区域内范围的对应原始图像坐标点的色彩着色到待替换的背景图片的相应位置，完成着色过程。

通过以上描述，可以看出，本发明基于图像边缘检测的视频对象分割方法，相比基于运动变化检测的视频对象分割方法有以下优点：(1)边缘作为运动目标的特征对光照变化不敏感；(2)不依赖于运动目标的形状与数量。本方法首先是利用运动目标的边缘检测，提取稳定准确的边缘对于目标提取至关重要，一个解决方案就是综合利用帧差图像的边缘与减去背景的图像的边缘。用于边缘检测的Canny算子的基本思想是：在运动边缘提取中，采用Canny边缘检测算子，先对处理的图像选择一定的Gauss滤波器进行平滑滤波，然后采用“非极值抑制”(Nonmaxima Suppression)的技术，对平滑后的图像处理后，得到最后所需的边缘图像，由于在Canny算子中使用Gaussian卷积能够抑制亮度差值产生的噪声，因此从连续帧的差值图像提取边缘对噪声具有鲁棒性。

实施例5

图4是根据本发明实施例一种背景目标替换方法的另一种流程图，包括如下步骤：

S402，从接口函数传入参数的图片信息；

S404，据此创建空图并重建出完整的信息图片；

S406，通过灰度变换将其转化为灰度图片；

S408，分别利用图像膨胀函数和图像腐蚀函数对其进行去噪处理；

S410，在灰度图像的基础上，进行二值化处理，调节阈值以适应环境条件及目标人物着装的影响，主要目的是为了着色的二次填充，执行步骤S414；

S412，对去噪后的灰度图像进行边缘检测，调节阈值以设置Canny算法的分割精细度参数；

S414，通过二值化图片和边缘轮廓图片获得待填充的二值人物模板，并执行步骤S418；

S416，获得待替换背景图片；

S418，将获得的目标模板与原始图片进行比较，把属于模板填充区域内范围的对应原始图像坐标点的色彩着色到待替换的背景图片的相应位置，在背景图片上对物体进行重绘以达到换背景的目的；

S420，提取图片数据并输出，通过接口函数返回处理后的图片数据。

实施例6

图5是根据本发明实施例一种背景目标替换方法的运动边缘提取的流程图，包括如下步骤：

S1，从当前帧图像F_n中提取当前帧的边缘图像CF_n；结合当前帧图像F_n和前一帧图像F_n-1提取帧差图像的边缘图像DF_n；结合前一帧图像F_n-1和预先得到的背景图像B提取减背景的边缘图像BS_n-1；预先得到的背景图像B里提取静止背景的边缘图像BE；

S2，结合当前帧的边缘图像CF_n和帧差图像的边缘图像DF_n提取在相邻两帧中由运动目标的移动而进入此连续帧中而产生的图像

结合当前帧的边缘CF_n、减背景的边缘图像BS_n-1和静止背景的边缘图像BE提取运动目标的一部分仍然在此相邻的两帧中的图像

S3，将在相邻两帧中，由于运动目标的移动而进入此连续帧中而产生的图像

和运动目标的一部分仍然在此相邻的两帧中的图像

进行并运算得到运动的边缘(M_n)。

在本优选的实施例中，F_n表示当前帧图像；F_n-1表示前一帧图像；B表示预先得到的背景图像；CF_n表示当前帧的边缘；DF_n表示帧差图像的边缘图像；BS_n-1表示减背景的边缘图像；BE表示静止背景的边缘图像；

表示是在相邻两帧中，由于运动目标的移动而进入此连续帧中而产生的图像；

表示运动目标的一部分仍然在此相邻的两帧中的图像；M_n表示当前帧中目标的运动边缘图像。

从以上实施例可以看出，本发明包括如下效果：

精度方面：

摄像头读取并传给本发明的图像可以是任意分辨率任意格式，经处理后输出的图像可以是任意有效的比摄像头读入图像小的分辨率。但摄像头读取的图像背景必须为纯色。

时间特性方面：

本发明是基于视讯通话的实时发明，不考虑摄像头读取图像和传输时的延迟，处理的速度保持在单帧15-32ms内，平均时间为17-19ms，可以快速的完成视频实时的显示。

灵活性方面：

因为不同的环境下光线强度有所区别，光照的影响会使图像的亮度及处理后图像的完整性产生较大的偏差，因此，本发明设置了用户自调整的亮度控制和完整性控制的滑动条，可以让用户自己调整以达到最好的处理和显示效果，从而适应光照条件的变化。并且本发明可以在合理范围内自设置输出图像的分辨率。亮度控制条作用于图像处理过程中的灰度图像处理部分的阈值改变，以适应不同亮度环境的变化；完整性控制的滑动条作用于模板生成过程中的补充环节，对目标模板填充不完整的地方进行补充，体现在脸部或者身体不完整的情况下使用。

本发明测试原则示例如下述，但不仅限于下述。

1)要求摄像头采集的背景为基本纯色背景，人物衣服颜色和背景要有比较明显的对比度。

2)为了保持边缘的连通性，目标人物最好保持在视频范围之内，这样效果更佳。

3)在不影响摄像头采光效果的情况下，对该模块进行不同环境的测试。

4)输入的信息有：

视频采集到的原始视频帧图片的数据部分。其来源是外部申请的一个指定的缓冲区。

原始图片格式，例如RGB24。

原始图片宽度及高度。

图片处理参数，参数类型为结构体，如要替换的背景路径等。

输出的信息，即返回的信息，为最终替换背景后的图片的数据部分。返回值保存在该指针指向的申请的缓冲区。

原始图片来源于视频截图的任意一帧，像素大小为176＊144。

对应原始图片的相应的二值化图片，白色区域是由于颜色相对比较浅，低于设定阈值造成的。

原始图片经灰度处理后，经过Canny边缘检测得到边缘轮廓。

经过边缘轮廓图的填充和二值化图片的二次着色形成的人物目标模板，是为了在背景替换时，起到找到替换区域的模板作用。

经过着色后最终得到背景替换的效果。

从以上的描述中，可以看出，本发明实现了如下技术效果：

运用本发明，可以在视讯通信中更换背景，背景可以是一张图片，也可以是一段视频。本发明具有强大的实时性和准确性，能够让用户体验视讯通话带来的面对面的交流和真实感受，丰富视讯功能，满足客户群体的需要。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种背景目标替换方法，其特征在于，包括如下步骤：

对原始图像进行二值化处理得到二值化图像；

对所述二值化图像进行边缘检测；

根据所述边缘检测得到的边缘轮廓图以及所述二值化图像计算得到目标模板；

将所述目标模板与所述原始图像进行比较，并根据比较结果进行前景目标的提取和背景目标的替换；

其中，对所述二值化图像进行边缘检测的步骤还包括：

从当前帧图像F_n中提取当前帧的边缘图像CF_n，从所述当前帧图像F_n和前一帧图像F_n-1提取帧差图像的边缘图像DF_n，从所述前一帧图像F_n-1和预先得到的背景图像B提取减背景的边缘图像BS_n-1，从预先得到的背景图像B里提取静止背景的边缘图像BE；

根据所述CF_n和所述DF_n提取在相邻两帧中运动目标移动进入所述相邻两帧中而产生的图像

将所述

和所述

进行并运算得到所述运动目标的边缘图像M_n。

2.根据权利要求1所述的方法，其特征在于，对所述二值化图像进行边缘检测的步骤包括：

采用Canny算子对所述二值化图像进行边缘检测。

3.根据权利要求2所述的方法，其特征在于，采用Canny算子对所述二值化图像进行边缘检测的步骤包括：

采用高斯滤波器对所述二值化图像滤波；

计算所述滤波后的图像中的每个像素梯度的大小M和方向Q；

将所述梯度大小M和方向Q相同的像素进行点连线，得到边缘图像。

4.根据权利要求1所述的方法，其特征在于，根据所述边缘检测得到的边缘轮廓图以及所述二值化图像计算得到目标模板的步骤包括：

按行横向扫描并记录所述边缘轮廓图每一行的两个边缘点，对每一行的所述两个边缘点之间的区域进行填充；

按列纵向扫描并记录所述边缘轮廓图每一列的边缘点，依次判断当前列检测到的相邻两个边缘点之间的距离是否大于设定值，若小于，则对所述相邻两个边缘点之间的区域进行填充；若大于，则对所述相邻两个边缘点之间的区域不执行填充操作；

将由按行横向扫描和按列纵向扫描并填充得到的填充模板和所述二值化图像进行或运算，得到所述目标模板。

5.根据权利要求1所述的方法，其特征在于，根据所述边缘检测得到的边缘轮廓图以及所述二值化图像计算得到目标模板的步骤包括：

将由按行横向扫描和按列纵向扫描并填充得到的填充模板和所述二值化图像进行或运算，得到初步的目标模板；

利用K均值聚类的方法，对所述前景目标和所述背景目标的颜色模块进行分类，提取所述前景颜色区域，对非背景颜色类的其余各类进行二值化处理，将得到的二值化图像与所述初步的目标模板进行并操作，得到进一步的目标模板；

根据用于肤色检测的固定阈值边界阈值模型对肤色进行区分，提取肤色部分，并对所述肤色部分进行二值化处理，将得到的二值化图像与所述进一步的目标模板进行并操作，以对所述初步的目标模板相应坐标点进行补充，得到所述目标模板。

6.根据权利要求1所述的方法，其特征在于，根据比较结果进行前景目标的提取和背景目标的替换的步骤包括：

将所述目标模板的填充区域内的坐标点所对应的所述原始图像中的坐标点的色彩着色到待替换的背景图片的相应位置。

7.一种背景目标替换装置，其特征在于，包括：

处理单元，用于对原始图像进行二值化处理得到二值化图像；

边缘检测单元，用于对所述二值化图像进行边缘检测；

计算单元，用于根据所述边缘检测得到的边缘轮廓图以及所述二值化图像计算得到目标模板；

比较单元，用于将所述目标模板与所述原始图像进行比较，并根据比较结果进行前景目标的提取和背景目标的替换；

其中，所述边缘检测单元还用于从当前帧图像F_n中提取当前帧的边缘图像CF_n，从所述当前帧图像F_n和前一帧图像F_n-1提取帧差图像的边缘图像DF_n，从所述前一帧图像F_n-1和预先得到的背景图像B提取减背景（减背景即两幅图像对应像素的差值得到的图像）的边缘图像BS_n-1，从预先得到的背景图像B里提取静止背景的边缘图像BE；根据所述CF_n和所述DF_n提取在相邻两帧中运动目标移动进入所述相邻两帧中而产生的图像根据所述CF_n、所述BS_n-1和所述BE提取所述相邻两帧中的一部分运动目标的图像

将所述

和所述

进行并运算得到所述运动目标的边缘图像M_n。

8.根据权利要求7所述的装置，其特征在于，所述边缘检测单元包括：

边缘检测模块，用于采用Canny算子对所述二值化图像进行边缘检测。