CN100464569C - 对图像添加特效的方法和系统 - Google Patents

Abstract

本发明公开了一种对图像添加特效的方法，A.在当前帧待处理区域的坐标与参考帧待处理区域的坐标之间的变化率达到阈值时，根据所述当前帧待处理区域的坐标添加特效，否则，执行B；B.确定所述当前帧待处理区域中的参考区域和参考帧待处理区域中的参考区域，在当前帧待处理区域中的参考区域包含的像素点的像素值和参考帧待处理区域中的参考区域包含的像素点的像素值的差别未达到设定值时，根据所述参考帧待处理区域的坐标添加特效，否则，根据所述当前帧待处理区域的坐标添加特效。通过本发明局部运动的情况下，对图像添加的特效的抖动问题。本发明还公开了一种对图像添加特效的系统。

Description

对图像添加特效的方法和系统

技术领域

本发明涉及图像处理技术，尤其涉及对图像添加特效的方法和系统。

背景技术

目前，图像检测与跟踪技术，尤其是人脸检测与跟踪技术越来越成熟，应用也越来越广泛。在视频制作中，可以对检测与跟踪所得到的人脸区域添加特效，例如，可以添加马赛克等特效。

在现有的添加特效的方法中，一种方法是直接利用跟踪得到的图像区域的坐标来添加特效。但是，当图像质量较差或得到的人脸区域中的有局部动作(如眼、嘴的区域的动作)时，根据检测与跟踪所得到的人脸区域会在小范围内抖动，从而导致人脸区域实际未发生整体运动的情况下，在人脸区域添加的特效产生抖动的问题。另一种方法是针对坐标设定阈值，若参考象素点在当前帧与上一帧的坐标变化在设定的范围内，则认为人脸区域没有发生整体运动，用于实现特效的坐标不改变。但是，若设定的阈值较小，则当有局部区域的抖动时，系统很可能会认为是存在整体运动而导致在人脸区域添加的特效产生抖动；若设定的阈值过大，又会使得在人脸区域实际发生运动时，添加的特效出现滞后的现象。

发明内容

本发明提供一种对图像添加特效的方法和系统，以解决现有技术中存在的当待处理区域整体未发生运动，而局部运动的情况下，对图像添加的特效的抖动问题。

本发明提供一种对图像添加特效的方法，该方法包括：

A、在当前帧待处理区域的坐标与参考帧待处理区域的坐标之间的变化率达到阈值时，根据所述当前帧待处理区域的坐标添加特效，否则，执行B；

B、确定所述当前帧待处理区域中的参考区域和参考帧待处理区域中的参考区域，在当前帧待处理区域中的参考区域包含的象素点的象素值和参考帧待处理区域中的参考区域包含的象素点的象素值的差别未达到设定值时，根据所述参考帧待处理区域的坐标添加特效，否则，根据所述当前帧待处理区域的坐标添加特效。

所述参考帧为所述当前帧的上一帧，则步骤A包括：

A1、确定所述当前帧待处理区域的坐标与所述上一帧待处理区域的坐标；

A2、若所述当前帧待处理区域的坐标与所述上一帧待处理区域的坐标之间的变化率未达到阈值，则执行B。

所述待处理区域为人脸区域，且两个参考区域中分别包含的象素点个数相同。

所述确定所述当前帧待处理区域中的参考区域和参考帧待处理区域中的参考区域包括：

确定所述当前帧待处理区域的参考区域；

将确定的所述当前帧待处理区域的参考区域的坐标作为所述参考帧待处理区域中的参考区域的坐标。

所述确定所述当前帧待处理区域的参考区域包括：

确定所述当前帧待处理区域的中心点坐标；

在所述当前帧待处理区域中确定一个参考区域，该参考区域的中心点坐标与所述当前帧待处理区域的中心点坐标重合，且该参考区域包含的象素点个数与所述当前帧待处理区域包含的象素点个数之比不大于保存值。

在所述保存值为0.25，参考区域为矩形区域时，当前帧待处理区域中的参考区域的长为当前帧待处理区域的长的1/3，并且，当前帧待处理区域中的参考区域的宽为当前帧待处理区域的宽的1/3。

所述象素点的象素值为亮度值或色度值。

本发明还提供一种对图像添加特效的系统，该系统包括第一判断单元、触发单元、第二判断单元和添加单元，其中，

所述第一判断单元，用于判断当前帧待处理区域的坐标与参考帧待处理区域的坐标之间的变化率是否到阈值，并将第一判断结果发送给所述触发单元；

所述触发单元，用于接收所述第一判断结果，在该第一判断结果为坐标之间的变化率未达到阈值时，触发所述第二判断单元，否则，触发所述操作单元；

所述操作单元，用于根据所述当前帧待处理区域的坐标添加特效；

所述第二判断单元，用于确定所述当前帧待处理区域中的参考区域和参考帧待处理区域中的参考区域，判断两个所述参考区域中分别包含的象素点的象素值的差别是否达到设定值，并将第二判断结果发送给所述添加单元；

所述添加单元，用于接收所述第二判断结果，在当前帧待处理区域中的参考区域包含的象素点的象素值和参考帧待处理区域中的参考区域包含的象素点的象素值的差别未达到设定值时，根据所述当前帧待处理区域的坐标添加特效，否则，根据所述参考帧待处理区域的坐标添加特效。

所述系统还包括操作单元，若所述第一判断结果为坐标之间的变化率达到阈值，则所述触发单元，用于触发所述操作单元；

所述操作单元，用于根据所述当前帧待处理区域的坐标添加特效。

所述第一判断单元包括：

确定单元，用于确定所述当前帧待处理区域的坐标与所述参考帧待处理区域的坐标；

控制单元，用于判断所述当前帧待处理区域的坐标与所述参考帧待处理区域的坐标之间的变化率是否达到阈值，并将所述第一判断结果发送给所述触发单元。

所述待处理区域为人脸区域，且两个参考区域中分别包含的象素点个数相同，则所述第二判断单元包括：

选择单元，用于确定所述当前帧待处理区域的参考区域；

映射单元，用于将确定的所述当前帧待处理区域的参考区域的坐标作为所述参考帧待处理区域中的参考区域的坐标。

执行单元，用于判断两个所述参考区域的象素点的象素值的差别是否达到设定值，并将所述第二判断结果发送给所述添加单元。

所述选择单元包括：

中心点确定单元，用于确定所述当前帧待处理区域的中心点坐标；

参考区域确定单元，用于在所述当前帧待处理区域中确定一个参考区域，该参考区域的中心点坐标与所述当前帧待处理区域的中心点坐标重合，且该参考区域包含的象素点个数与所述当前帧待处理区域包含的象素点个数之比不大于保存值。

本发明通过判断当前帧待处理区域的坐标与参考帧待处理区域的坐标之间的变化率未达到阈值，且当前帧待处理区域中的参考区域的象素值与参考帧中的参考区域的象素值之间的差别达到设定值时，根据当前帧待处理区域的坐标添加特效的方法，避免了当待处理区域整体未发生运动，而局部运动的情况下，对图像添加的特效的抖动问题，也同时避免了待处理区域整体移动时添加的特效出现滞后的现象。

附图说明

图1为本发明实施例中系统结构示意图；

图2为本发明实施例中方法步骤流程示意图；

图3为本发明实施例中确定的人脸区域中的参考区域。

具体实施方式

本发明方法主要包括：若当前帧待处理区域的坐标与参考帧待处理区域的坐标之间的变化率未达到阈值，则确定所述当前帧待处理区域和参考帧待处理区域中的参考区域，若两个所述参考区域中分别包含的象素点的象素值的差别达到设定值，则根据所述当前帧待处理区域的坐标添加特效。

下面结合具体实施例详细说明本发明方法。

如图1所示，为本发明实施例中系统结构示意图，该系统包括第一判断单元11、触发单元12、第二判断单元13和添加单元14，其中，第一判断单元11用于判断当前帧待处理区域的坐标与参考帧待处理区域的坐标之间的变化率是否到阈值，并将第一判断结果发送给所述触发单元12；触发单元12用于接收所述第一判断结果，若该第一判断结果为坐标之间的变化率未达到阈值，则触发第二判断单元13；第二判断单元13用于确定所述当前帧待处理区域和参考帧待处理区域中的参考区域，判断两个所述参考区域中分别包含的象素点的象素值的差别是否达到设定值，并将第二判断结果发送给所述添加单元14；添加单元14用于接收所述第二判断结果，若该第二判断结果为象素值的差别达到设定值，则根据所述当前帧待处理区域的坐标添加特效。

当前帧待处理区域和参考帧待处理区域都是位于同一坐标系来确定他们的坐标的，在本发明实施例中，这个坐标系可以看作是基准坐标系，在后续系统中描述的所有坐标都是基于这个基准坐标系来说的，为了简便起见将不再赘述。

所述添加单元14还用于若所述第二判断结果为象素值之间的改变量未达到设定值，则根据所述参考帧待处理区域的坐标添加特效。

所述系统还包括操作单元15，若所述第一判断结果为坐标之间的变化率达到阈值，则所述触发单元12用于触发所述操作单元15；操作单元15用于根据所述当前帧待处理区域的坐标添加特效。

所述待处理区域为人脸区域，且两个参考区域中分别包含的象素点个数相同，则所述第二判断单元13包括选择单元21、映射单元22和执行单元23，其中，选择单元21用于确定所述当前帧待处理区域的参考区域；映射单元22用于将确定的所述当前帧待处理区域的参考区域的坐标作为所述参考帧待处理区域中的参考区域的坐标；执行单元23用于判断两个所述参考区域的象素值的差别是否达到设定值，并将第二判断结果发送给所述添加单元14。

进一步地，所述选择单元21包括中心点确定单元31和参考区域确定单元32，其中，中心点确定单元31用于确定所述当前帧待处理区域的中心点坐标；参考区域确定单元32用于将设定的区域作为所述参考区域，该设定的区域的中心点坐标与所述待处理区域的中心点坐标重合，且该设定的区域包含的象素点个数与所述待处理区域包含的象素点个数之比不大于保存值。

所述第一判断单元11包括确定单元24和控制单元25，其中，确定单元24用于确定当前帧待处理区域的坐标与参考帧待处理区域的坐标；控制单元25用于判断所述当前帧待处理区域的坐标与所述参考帧待处理区域的坐标之间的变化率是否达到阈值，并将所述第一判断结果发送给所述触发单元12。

如图2所示，为本发明实施例中方法步骤流程示意图，该方法包括：

步骤201：确定当前帧待处理区域的坐标与参考帧待处理区域的坐标。

在本发明实施例中，设定待处理区域为人脸区域，参考帧为当前帧的上一帧，在本实施例中，当然也可以选择其他帧作为参考帧，如将前第3帧作为参考帧，或将某一固定帧作为参考帧，但是，考虑到可能会出现误差的累积，因此，选用上一帧作为参考帧将优于将第3帧作为参考帧，或将某一固定帧作为参考帧。

首先要在图像中确定基准坐标，然后确定该人脸区域在基准坐标中的坐标与参考帧中人脸区域在基准坐标中的坐标，在本发明实施例中，后续涉及到的坐标都是指在基准坐标中的坐标。然后，当确定人脸区域的坐标后，若当前帧为第一帧，则可以直接根据当前帧的人脸区域的坐标添加特效；若当前帧不是第一帧，则将通过后续的操作来判断当前帧人脸区域坐标与上一帧坐标之差是否达到阈值，进而确定是仍然根据上一帧人脸区域的坐标来添加特效还是根据当前帧人脸区域的坐标来添加特效。

步骤202：判断当前帧待处理区域的坐标与上一帧待处理区域坐标之间的变化率是否达到阈值，若是，则根据当前帧待处理区域坐标添加特效，否则，执行步骤203。

在步骤201中确定了当前帧人脸区域在基准坐标中的坐标(Xlefttop，Ylefttop，Xrightbottom，Yrightbottom)，则将该坐标与上一帧的人脸区域在基准坐标中的坐标(Xlefttop′，Ylefttop′，Xrightbottom′，Yrightbottom′)进行比较，判断这相邻两帧的待处理区域的坐标改变量是否达到阈值，即判断Xlefttop与Xlefttop′、Ylefttop与Ylefttop′、Xrightbottom与Xrightbottom′、Yrightbottom与Yrightbottom′之差是否达到阈值，当然，也可以只要判断其中一个或一个以上的差值是否达到阈值，若达到，可以确定当前帧的待处理区域与上一帧的待处理区域相比发生了整体运动，则根据所述当前帧待处理区域坐标添加特效；否则，说明当前帧待处理区域相对于上一帧待处理区域未发生整体运动，则执行步骤203。

步骤203：确定当前帧待处理区域和参考帧待处理区域中的参考区域，判断这两个参考区域中分别包含的象素点的象素值的差别是否达到设定值，若是，则根据当前帧待处理区域坐标添加特效；否则，则根据上一帧待处理区域坐标添加特效。

在本发明实施例中确定当前帧待人脸区域和上一帧人脸区域中的参考区域方法可以为：首先确定当前帧人脸区域的参考区域，然后将确定的当前帧人脸区域中的参考区域的坐标映射到上一帧人脸区域中，即将确定的当前帧人脸区域的参考区域坐标作为上一帧人脸区域中的参考区域的坐标。

确定当前帧人脸区域中的参考区域的原则一般为：具有丰富细节并且象素点的象素值变化率比较小的区域，根据先验知识可以获知，在人脸区域中可以是鼻部区域，这一区域可以人为确定。在本实施例中设定的确定方式可以为：首先确定当前帧人脸区域的中心点坐标，然后将设定的区域作为该人脸区域的参考区域，该设定的区域的中心点坐标与人脸区域的中心点坐标重合，且该设定的区域包含的象素点个数与人脸区域包含的象素点个数之比不大于保存值。

如图3所示，为本发明实施例中确定的当前帧人脸区域中的参考区域，在本实施例中，设定所述保存值为0.25。图3中，设定人脸区域左上角点为坐标原点，坐标轴x轴向下为正，y轴向右为正。从图中可以看出，若该参考区域为矩形，则确定该矩形的四个顶点的坐标(X1，Y1)、(X2，Y2)、(X3，Y3)和(X4，Y4)可以通过下述公式(1)实现。

$\left\{\begin{array}{c}X1=X3=\frac{1}{3}\mathrm{Wd}\\ X2=X4=\frac{2}{3}\mathrm{Wd}\\ Y1=Y2=\frac{1}{3}\mathrm{He}\\ Y3=Y4=\frac{2}{3}\mathrm{He}\end{array}\right.---\left(1\right)$

其中，Wd表示人脸区域宽度，He表示人脸区域长度，即参考区域的长和宽分别为人脸区域的1/3。当确定了参考区域的四个顶点坐标后，可以容易地获得该人脸区域中的参考区域。当然，在本发明中，也可以有其他的确定参考区域的方式，例如，利用上述方式分别确定当前帧待处理区域中的参考区域和上一帧待处理区域中的参考区域。

当确定了当前帧中人脸区域中的参考区域后，可以容易地获得在该参考区域中所有象素点的象素值之和，在本实施例中，该象素值可以为亮度值或色度值。然后，判断当前帧参考区域的象素值与上一帧中参考区域的象素值的差别是否达到设定值。在本实施例中，确定当前帧参考区域与上一帧中参考区域的象素值的差别可以根据公式(2)实现。

r＝(sum(Frame(i，Zone))-sum(Frame(i-1，Zone)))/sum(Frame(i，Zone))   (2)

其中，r表示象素值得差别；i表示当前帧帧；i-1表示上一帧；Zone表示参考区域坐标值；sum(Frame(i，Zone))表示当前帧中参考区域的象素值之和；sum(Frame(i-1，Zone))表示当上一帧中参考区域的象素值之和。若r值达到设定值时，则认为人脸区域发生整体运动，输出当前帧人脸区域的坐标，并利用该当前帧人脸区域的坐标添加特效；否则，说明人脸区域未发生整体运动，则根据上一帧人脸区域坐标添加特效。

通过本发明实施例提供的方法和系统，避免了当待处理区域整体未发生运动，而局部运动的情况下，对图像添加的特效的抖动问题，也同时避免了待处理区域整体移动时添加的特效出现滞后的现象。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (11)

1.一种对图像添加特效的方法，其特征在于，该方法包括:

A、在当前帧待处理区域的坐标与参考帧待处理区域的坐标之间的变化率达到阈值时，根据所述当前帧待处理区域的坐标添加特效，否则，执行B；

B、确定所述当前帧待处理区域中的参考区域和参考帧待处理区域中的参考区域，在当前帧待处理区域中的参考区域包含的象素点的象素值和参考帧待处理区域中的参考区域包含的象素点的象素值的差别未达到设定值时，根据所述参考帧待处理区域的坐标添加特效，否则，根据所述当前帧待处理区域的坐标添加特效。

2.如权利要求1所述的方法，其特征在于，所述参考帧为所述当前帧的上一帧，则步骤A包括:

A1、确定所述当前帧待处理区域的坐标与所述上一帧待处理区域的坐标；

A2、在所述当前帧待处理区域的坐标与所述上一帧待处理区域的坐标之间的变化率未达到阈值时，执行B。

3.如权利要求2所述的方法，其特征在于，所述待处理区域为人脸区域，且两个参考区域中分别包含的象素点个数相同。

4.如权利要求3所述的方法，其特征在于，所述确定所述当前帧待处理区域中的参考区域和参考帧待处理区域中的参考区域包括:

确定所述当前帧待处理区域的参考区域；

将确定的所述当前帧待处理区域的参考区域的坐标作为所述参考帧待处理区域中的参考区域的坐标。

5.如权利要求4所述的方法，其特征在于，所述确定所述当前帧待处理区域的参考区域包括:

确定所述当前帧待处理区域的中心点坐标；

在所述当前帧待处理区域中确定一个参考区域，该参考区域的中心点坐标与所述当前帧待处理区域的中心点坐标重合，且该参考区域包含的象素点个数与所述当前帧待处理区域包含的象素点个数之比不大于保存值。

6.如权利要求5所述的方法，其特征在于，在所述保存值为0.25，参考区域为矩形区域时，当前帧待处理区域中的参考区域的长为当前帧待处理区域的长的1/3，并且，当前帧待处理区域中的参考区域的宽为当前帧待处理区域的宽的1/3。

7.如权利要求1所述的方法，其特征在于，所述象素点的象素值为亮度值或色度值。

8.一种对图像添加特效的系统，其特征在于，该系统包括第一判断单元、触发单元、操作单元、第二判断单元和添加单元，其中，

所述第一判断单元，用于判断当前帧待处理区域的坐标与参考帧待处理区域的坐标之间的变化率是否到阈值，并将第一判断结果发送给所述触发单元；

所述触发单元，用于接收所述第一判断结果，在该第一判断结果为坐标之间的变化率未达到阈值时，触发所述第二判断单元，否则，触发所述操作单元；

所述操作单元，用于根据所述当前帧待处理区域的坐标添加特效；

所述第二判断单元，用于确定所述当前帧待处理区域中的参考区域和参考帧待处理区域中的参考区域，判断两个所述参考区域中分别包含的象素点的象素值的差别是否达到设定值，并将第二判断结果发送给所述添加单元；

所述添加单元，用于接收所述第二判断结果，在当前帧待处理区域中的参考区域包含的象素点的象素值和参考帧待处理区域中的参考区域包含的象素点的象素值的差别未达到设定值时，根据所述当前帧待处理区域的坐标添加特效，否则，根据所述参考帧待处理区域的坐标添加特效。

9.如权利要求8所述系统，其特征在于，所述第一判断单元包括:

确定单元，用于确定所述当前帧待处理区域的坐标与所述参考帧待处理区域的坐标；

控制单元，用于判断所述当前帧待处理区域的坐标与所述参考帧待处理区域的坐标之间的变化率是否达到阈值，并将所述第一判断结果发送给所述触发单元。

10.如权利要求8所述系统，其特征在于，所述待处理区域为人脸区域，且两个参考区域中分别包含的象素点个数相同，则所述第二判断单元包括:

选择单元，用于确定所述当前帧待处理区域的参考区域；

映射单元，用于将确定的所述当前帧待处理区域的参考区域的坐标作为所述参考帧待处理区域中的参考区域的坐标；

执行单元，用于判断两个所述参考区域的象素点的象素值的差别是否达到设定值，并将所述第二判断结果发送给所述添加单元。

11.如权利要求10所述系统，其特征在于，所述选择单元包括:

中心点确定单元，用于确定所述当前帧待处理区域的中心点坐标；

参考区域确定单元，用于在所述当前帧待处理区域中确定一个参考区域，该参考区域的中心点坐标与所述当前帧待处理区域的中心点坐标重合，且该参考区域包含的象素点个数与所述当前帧待处理区域包含的象素点个数之比不大于保存值。

Images