CN103974126B - 一种在视频中植入广告的方法及装置 - Google Patents

Abstract

本发明实施例公开了一种在视频中植入广告的方法及装置，涉及视频处理技术领域，该方法包括：检测视频帧中的占位标件；根据检测结果和占位标件的特征参数，计算占位标件对应的模型参数；根据模型参数和待植入广告对象的特征参数，计算待植入广告对象在视频帧中对应的像素点坐标和像素值；根据计算得到的像素点坐标和像素值，在视频帧中植入待植入广告对象。应用本发明实施例提供的方法，植入待植入广告对象后，该广告对象可以较好的融入到视频帧中、与视频帧中的周围拍摄物协调过渡，提高了用户体验效果。

Description

一种在视频中植入广告的方法及装置

技术领域

本发明涉及视频处理技术领域，特别涉及一种在视频中植入广告的方法及装置。

背景技术

由于视频，例如电视剧、电影、娱乐节目等的受众群体较大，越来越多用户倾向于在视频中投放广告。

现有技术中，一种常见的在视频中植入广告的方式是通过将视频帧中的特定区域直接替换为广告对象，实现广告植入，应用该方法可以便捷的完成广告植入。但是，实际拍摄视频的过程中，拍摄物受光照、摄像机位置等因素的影响，拍摄物表面会形成不同的光照分布、不同的纹理清晰度和不同的阴影区域等等，而应该方法直接将视频帧中的特定区域替换为广告对象时，由于未考虑光照、摄像机位置等因素，替换后的广告对象表面的光照分布、纹理清晰度、阴影区域等等往往与替换前的区域不一致，所以替换后的广告对象不能很好的融入视频帧中、与视频帧中的周围拍摄物不协调，影响用户体验效果。

发明内容

本发明实施例公开了一种在视频中植入广告的方法及装置，以使得所植入的广告对象能够较好的融入到视频帧中、与视频帧中的周围拍摄物协调过渡，提高用户体验效果。

为达到上述目的，本发明实施例公开了一种在视频中植入广告的方法，所述方法包括：

检测视频帧中的占位标件，所述占位标件是视频拍摄场景中的一个拍摄物，用于在拍摄得到的视频帧中标识植入广告的位置；

根据检测结果和所述占位标件的特征参数，计算所述占位标件对应的模型参数，其中，所述模型参数，包括摄像机参数矩阵M、光源的位置和光源的颜色组成分量，所述占位标件的特征参数，包括所述占位标件的尺寸和所述占位标件的表面对光的吸收率；

根据所述模型参数和待植入广告对象的特征参数，计算所述待植入广告对象在所述视频帧中对应的像素点坐标和像素值，其中，所述待植入广告对象的特征参数，包括所述待植入广告对象的尺寸和所述待植入广告对象的表面对光的吸收率；

根据计算得到的像素点坐标和像素值，在所述视频帧中植入所述待植入广告对象。

较佳的，所述占位标件，表面带有标识性图案，其中，所述标识性图案用于提高在所述视频帧中检测所述占位标件的成功率。

较佳的，所述待植入广告对象的尺寸大于所述占位标件的尺寸。

较佳的，所述根据检测结果和所述占位标件的特征参数，计算所述占位标件对应的模型参数，包括：

根据所述视频帧中预设数量的所述占位标件上的标线交叉点的坐标和所述占位标件的尺寸，计算摄像机参数矩阵M；

根据所述摄像机参数矩阵M和所述占位标件在所述视频帧中的阴影区域，计算光源的位置；

根据所述光源的位置和所述占位标件的表面对光的吸收率，计算光源的颜色组成分量。

较佳的，所述根据所述视频帧中预设数量的所述占位标件上的标线交叉点的坐标和所述占位标件的尺寸，计算摄像机参数矩阵M，包括：

以所述占位标件的底面中心点为坐标原点、底面所在平面为XY平面，确定所述占位标件所在的三维坐标系，其中，所述三维坐标系的X轴和Y轴分别与所述占位标件的两条相邻边平行；

在所述三维坐标系中，按照如下关系式计算摄像机参数矩阵M，

其中，

(u_i，v_i)为所述视频帧中所述占位标件上的标线交叉点的坐标，(X_wi，Y_wi，Z_wi)为所述占位标件上的标线交叉点(u_i，v_i)在所述三维坐标系中的坐标，根据(u_i，v_i)和所述占位标件的尺寸计算得到，m₁₁......m₃₄为所述摄像机参数矩阵M的元素，Z_ci为标线交叉点(X_wi，Y_wi，Z_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中的Z_c轴方向上的坐标值，n为计算所述摄像机参数矩阵M所需的所述视频帧中占位标件上的标线交叉点的个数。

较佳的，所述根据所述摄像机参数矩阵M和所述占位标件在所述视频帧中的阴影区域，计算光源的位置，包括：

确定所述视频帧中所述占位标件的阴影区域；

在所述三维坐标系中，根据如下关系式，分别确定所述阴影区域中的n个阴影点在所述占位标件上的对应点的坐标；

其中，M为所述摄像机参数矩阵，(u'_i，v'_i)为所述阴影区域中阴影点在所述视频帧中的坐标，(X'_wi，Y'_wi，Z'_wi)为点(u'_i，v'_i)在所述三维坐标系中的坐标，Z'_ci为(X'_wi，Y'_wi，Z'_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中的Z'_c轴方向上的坐标值；

根据所确定的n个坐标，计算光源的位置(X_l，Y_l，Z_l)。

较佳的，所述根据所述光源的位置和所述占位标件的表面对光的吸收率，计算光源的颜色组成分量，包括：

确定所述占位标件中预设的光源计算面中心点的坐标；

获得所述光源计算面中心点和光源之间的连线与所述光源计算面所在平面之间的夹角θ；

计算所述光源计算面与所述光源之间的距离d；

根据所述光源计算面中各个像素点的颜色值，获得该光源计算面的平均颜色值；

根据所述光源计算面的平均颜色值、夹角θ、距离d和所述占位标件的表面对光的吸收率，确定光源的颜色组成分量。

较佳的，所述根据所述模型参数和待植入广告对象的特征参数，计算所述待植入广告对象在所述视频帧中对应的像素点坐标和像素值，包括：

根据所述模型参数和所述待植入广告对象的尺寸，计算所述待植入广告对象的各个表面上的点在所述视频帧中对应的像素点坐标；

计算所述待植入广告对象的各个表面上的点与所述光源之间的距离；

计算所述待植入广告的各个表面上的点与所述光源的连线与该点所在切平面之间的夹角；

根据所述待植入广告对象的表面对光的吸收率和上述计算得到的距离、夹角，计算所述待植入广告对象的各个表面上的点的像素值。

为达到上述目的，本发明实施例公开了一种在视频中植入广告的装置，所述装置包括：

占位标件检测模块，用于检测视频帧中的占位标件，所述占位标件是视频拍摄场景中的一个拍摄物，用于在拍摄得到的视频帧中标识植入广告的位置；

模型参数计算模块，用于根据检测结果和所述占位标件的特征参数，计算所述占位标件对应的模型参数，其中，所述模型参数，包括摄像机参数矩阵M、光源的位置和光源的颜色组成分量，所述占位标件的特征参数，包括所述占位标件的尺寸和所述占位标件的表面对光的吸收率；

坐标和像素值计算模块，用于根据所述模型参数和待植入广告对象的特征参数，计算所述待植入广告对象在所述视频帧中对应的像素点坐标和像素值，其中，所述待植入广告对象的特征参数，包括所述待植入广告对象的尺寸和所述待植入广告对象的表面对光的吸收率；

广告对象植入模块，用于根据计算得到的像素点坐标和像素值，在所述视频帧中植入所述待植入广告对象。

较佳的，所述占位标件，表面带有标识性图案，其中，所述标识性图案用于提高在所述视频帧中检测所述占位标件的成功率。

较佳的，所述待植入广告对象的尺寸大于所述占位标件的尺寸。

较佳的，所述模型参数计算模块，包括：

摄像机参数矩阵计算子模块，用于根据所述视频帧中预设数量的所述占位标件上的标线交叉点的坐标和所述占位标件的尺寸，计算摄像机参数矩阵M；

光源位置计算子模块，用于根据所述摄像机参数矩阵M和所述占位标件在所述视频帧中的阴影区域，计算光源的位置；

光源颜色组成分量计算子模块，用于根据所述光源的位置和所述占位标件的表面对光的吸收率，计算光源的颜色组成分量。

较佳的，所述摄像机参数矩阵计算子模块，包括：

三维坐标系确定单元，用于以所述占位标件的底面中心点为坐标原点、底面所在平面为XY平面，确定所述占位标件所在的三维坐标系，其中，所述三维坐标系的X轴和Y轴分别与所述占位标件的两条相邻边平行；

摄像机参数矩阵计算单元，用于在所述三维坐标系中，按照如下关系式计算摄像机参数矩阵M，

其中，

(u_i，v_i)为所述视频帧中所述占位标件上的标线交叉点的坐标，(X_wi，Y_wi，Z_wi)为所述占位标件上的标线交叉点(u_i，v_i)在所述三维坐标系中的坐标，根据(u_i，v_i)和所述占位标件的尺寸计算得到，m₁₁......m₃₄为所述摄像机参数矩阵M的元素，Z_ci为标线交叉点(X_wi，Y_wi，Z_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中的Z_c轴方向上的坐标值，n为计算所述摄像机参数矩阵M所需的所述视频帧中占位标件上的标线交叉点的个数。

较佳的，所述光源位置计算子模块，包括：

阴影区域确定单元，用于确定所述视频帧中所述占位标件的阴影区域；

对应坐标确定单元，在所述三维坐标系中，根据如下关系式，分别确定所述阴影区域中的n个阴影点在所述占位标件上的对应点的坐标；

其中，M为所述摄像机参数矩阵，(u'_i，v'_i)为所述阴影区域中阴影点在所述视频帧中的坐标，(X'_wi，Y'_wi，Z'_wi)为点(u'_i，v'_i)在所述三维坐标系中的坐标，Z'_ci为(X'_wi，Y'_wi，Z'_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中Z'_c轴方向上的坐标值；

光源位置计算单元，用于根据所述对应坐标确定单元确定的n个坐标，计算光源的位置(X_l，Y_l，Z_l)。

较佳的，所述光源颜色组成分量计算子模块，包括：

中心点坐标确定单元，用于确定所述占位标件中预设的光源计算面中心点的坐标；

夹角获得单元，用于获得所述光源计算面中心点和光源之间的连线与所述光源计算面所在平面之间的夹角θ；

距离计算单元，用于计算所述光源计算面与所述光源之间的距离d；

平均颜色值获得单元，用于根据所述光源计算面中各个像素点的颜色值，获得该光源计算面的平均颜色值；

光源的颜色组成分量确定单元，用于根据所述光源计算面的平均颜色值、夹角θ、距离d和所述占位标件的表面对光的吸收率，确定光源的颜色组成分量。

较佳的，所述坐标和像素值计算模块，包括：

坐标计算子模块，用于根据所述模型参数和所述待植入广告对象的尺寸，计算所述待植入广告对象的各个表面上的点在所述视频帧中对应的像素点坐标；

距离计算子模块，用于计算所述待植入广告对象的各个表面上的点与所述光源之间的距离；

夹角计算子模块，用于计算所述待植入广告的各个表面上的点与所述光源的连线与该点所在切平面之间的夹角；

像素值计算子模块，用于根据所述待植入广告对象的表面对光的吸收率和上述计算得到的距离、夹角，计算所述待植入广告对象的各个表面上的点的像素值。

由以上可见，本发明实施例提供的方案中，根据视频帧中的占位标件确定的模型参数，计算待植入广告对象的在视频帧中的像素点坐标和像素值，完成待植入广告对象植入，与现有技术相比，本方案中在计算占位标件对应的模型参数时，考虑了摄像机参数、光源的位置、光源的颜色组成、待植入广告对象的表面对光的吸收率等因素，因此，植入待植入广告对象后，该广告对象可以较好的融入到视频帧中、与视频帧中的周围拍摄物协调过渡，提高了用户体验效果。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的在视频中植入广告的方法的第一种流程示意图；

图2为本发明实施例提供的在视频中植入广告的方法的第二种流程示意图；

图3为本发明实施例提供的在视频中植入广告的方法的第三种流程示意图；

图4为本发明实施例提供的在视频中植入广告的装置的第一种结构示意图；

图5为本发明实施例提供的在视频中植入广告的装置的第二种结构示意图；

图6为本发明实施例提供的在视频中植入广告的装置的第三种结构示意图；

图7为本发明实施例提供的一个表面带有图案的占位标件的实例。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的在视频中植入广告的方法的第一种流程示意图，该方法包括：

S101：检测视频帧中的占位标件。

其中，占位标件是视频拍摄场景中的一个拍摄物，在视频拍摄过程中，将占位标件置于拍摄场景中，以使得拍摄得到的部分或者全部视频帧中存在占位标件区域，并通过视频帧中的占位标件区域标识后期欲植入广告的位置。

在拍摄视频时，可选择将该占位标件放置于水平面上，例如，水平桌面、水平地面、某一物体的水平面上等等，以便于后期进行广告植入，当然，本申请并不对占位标件的放置位置进行限定。

另外，为便于按照后续步骤确定占位标件对应的模型参数，选择占位标件时，可以优先考虑选择规则形状的物体作为占位标件，例如，形状为正方体、长方体、球体的物体等等，当然，本申请并不对占位标件的形状进行限定。

进一步的，为提高在视频帧中检测占位标件的成功率，还可以选择表面带有标识性图案的物体作为占位标件，该标识性图案可以是彩色图案、灰度图案或者黑白图案等等，其中的图案可以是方格等规则图案、曲线等不规则图案，还可以是某一具体的图形，例如，拍摄方的商标图形等等，本申请并不对标识性图案的颜色、图案的具体呈现形式进行限定，实际应用中可以根据具体情况设定。具体的，参见图7，图7为本发明实施例提供的一个表面带有图案的占位标件的实例。

S102：根据检测结果和占位标件的特征参数，计算占位标件对应的模型参数。

占位标件的特征参数，可以包括占位标件的尺寸和占位标件的表面对光的吸收率等等，本申请并不对特征参数所包含的具体项进行限定。

其中，占位标件的表面对光的吸收率，与占位标件的表面材质有关，不同材质的表面具有不同的吸收率。

另外，自然光中包括多种颜色的光，且实际应用中在表示物体颜色时，可以通过不同的颜色空间表示，例如，RGB(Red Green Blue，红绿蓝)颜色空间等，因此，上述的占位标件的表面对光的吸收率，可以是占位标件的表面对红、绿、蓝光的吸收率，当然，也可以选用占位标件的表面对红、黄、蓝光的吸收率等等，本申请并不对此进行限定，实际应用中可以根据具体应用情况进行确定。

由S101得到的检测结果中，可以包括表示当前视频帧中是否存在占位标件的标识，若存在占位标件，该检测结果中还可以包括，所检测到的占位标件在当前视频帧中的位置信息，如当前视频帧中占位标件的各条边的长度、各条边的起始点坐标、终点坐标等等。

根据上述的检测结果和占位标件的特征参数计算得到的模型参数，可以包括摄像机参数矩阵M、光源的位置和光源的颜色组成分量等等，本申请并不对模型参数中所包含的信息项进行限定，本领域内的技术人员可以根据本申请提供的思路调整模型参数所包含的信息项。

上述的光源可以包括：点光源、面光源、线光源等等。

由前述的描述可知，占位标件的表面对光的吸收率可以是对红、绿、蓝光的吸收率，则此处计算得到的光源的颜色组成分量是光源的红、绿、蓝光的颜色组成分量，当然，占位标件的表面对光的吸收率是对其他光的吸收率时，相应的，此处计算得到的光源的颜色组成分量是光源中与吸收率对应的其他光的颜色组成分量。

本步骤的具体实现方式可参见图2所示实施例。

S103：根据模型参数和待植入广告对象的特征参数，计算待植入广告对象在视频帧中对应的像素点坐标和像素值。

其中，待植入广告对象的特征参数，可以包括待植入广告对象的尺寸和待植入广告对象的表面对光的吸收率。待植入广告对象的表面对光的吸收率与占位标件的表面对光的吸收率相似，这里不再赘述。

在进行广告植入时，待植入广告对象的尺寸可以小于、大于或等于占位标件的尺寸。

当待植入广告对象的尺寸小于占位标件的尺寸时，按照本步骤的方法计算待植入广告对象在视频帧中对应的像素点坐标和像素值时，所得到的待植入广告在视频帧中对应区域比占位标件在视频帧中的所在区域小，不能完全覆盖占位标件，影响用户体验效果，此时，可以先对待植入广告对象进行放大处理，再结合本步骤的方法，计算待植入广告对象在视频帧中对应的像素点坐标和像素值。

当待植入广告对象的尺寸大于或等于占位标件的尺寸时，按照本步骤的方法计算待植入广告对象在视频帧中对应的像素点坐标和像素值时，所得到的待植入广告在视频帧中对应区域大于或等于占位标件在视频帧中的所在区域，因此，可以完全覆盖占位标件，尤其是待植入广告对象的尺寸大于占位标件的尺寸时，可以更完全的覆盖占位标件，用户体验效果较好。

本步骤的具体实现方式可参见图3所示实施例。

S104：根据计算得到的像素点坐标和像素值，在视频帧中植入待植入广告对象。

在本发明的一个具体实施例中，参见图2，提供了根据检测结果和占位标件的特征参数，计算占位标件对应的模型参数(S102)的一种具体实现方式，包括：

S102A：根据视频帧中预设数量的占位标件上的标线交叉点的坐标和占位标件的尺寸，计算摄像机参数矩阵M。

其中，定位标线为占位标件上的线条，例如，当占位标件为带有方格图案的正方体时，其定位标线可以是与正方体的各条边平行的各条直线等，具体的，可参见图7所示实施例中标识的定位标线和标线交叉点。实际应用中，可通过检测视频帧中的定位标线，确定其中占位标件的位置。

在本发明的一个较佳实施例中，计算摄像机参数矩阵时，可以以占位标件的底面中心点为坐标原点、底面所在平面为XY平面，确定占位标件所在的三维坐标系，其中，三维坐标系的X轴和Y轴分别与占位标件的两条相邻边平行。

再在按照上述方式确定的三维坐标系中，按照如下关系式计算摄像机参数矩阵M，

其中，

(u_i，v_i)为视频帧中占位标件上的标线交叉点的坐标，(X_wi，Y_wi，Z_wi)为占位标件上的标线交叉点(u_i，v_i)在三维坐标系中的坐标，根据(u_i，v_i)和占位标件的尺寸计算得到，m₁₁......m₃₄为摄像机参数矩阵M的元素，Z_ci为标线交叉点(X_wi，Y_wi，Z_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中Z_c轴方向上的坐标值，n为计算摄像机参数矩阵M所需的视频帧中占位标件上的标线交叉点的个数。

需要说明的是，在按照上述公式计算摄像机参数矩阵时，由于(u_i，v_i)为视频帧所在的二维坐标系中的坐标，以像素点为单位，而(X_wi，Y_wi，Z_wi)为占位标件所在的三维坐标系中的坐标，以厘米、毫米等为单位，两者单位不一致，但是两者之间存在对应关系，所以可以根据这一对应关系，得到与(u_i，v_i)对应的(X_wi，Y_wi，Z_wi)。

本领域内的技术人员可以理解的是，还可以按照其它方式确定占位标件所在的三维坐标系，例如，以占位标件的任一顶点为坐标原点，以与该坐标原点对应的面为XY平面确定占位标件所在的三维坐标系等等，本申请并不限定确定占位标件所在坐标系的方法，实际应用中可以根据具体情况确定。

另外，上述的计算摄像机参数矩阵M的方法仅为本发明实施例的一种较佳实现方式，并不仅限于此，本领域内的技术人员还可以根据本申请提供的技术思路，结合计算机视觉的相关知识应用其它公式求解，本申请并不对此进行限定。

S102B：根据摄像机参数矩阵M和占位标件在视频帧中的阴影区域，计算光源的位置。

实际应用中，可以通过计算机视觉的相关算法确定视频帧中占位标件的阴影区域，属于现有技术，这里不再赘述，也可以通过人工的方式确定占位标件的阴影区域。

在按照S102A提供的方式确定的三维坐标系中，可以根据如下关系式，分别确定阴影区域中的n个阴影点在占位标件上的对应点的坐标；

其中，M为摄像机参数矩阵，(u'_i，v'_i)为阴影区域中阴影点在视频帧中的坐标，(X'_wi，Y'_wi，Z'_wi)为点(u'_i，v'_i)在三维坐标系中的坐标，Z'_ci为(X'_wi，Y'_wi，Z'_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中的Z'_c轴方向上的坐标值。

按照上述方式确定出n个坐标之后，可以根据这n个坐标，计算光源的位置(X_l，Y_l，Z_l)。

从上述图1所示实施例中的描述可知，实际应用中存在多种类型的光源，下面以点光源为例，说明如何确定光源的位置。

当光源为点光源时，可认为占位标件上的点与与其相对应的阴影区域的点连接形成的直线，通过该点光源，因此，可得如下n个直线方程：

根据上述n个方程即可求解得到光源的位置(X_l，Y_l，Z_l)，其中，(X_wi，Y_wi，Z_wi)为占位标件上产生阴影点(X'_wi，Y'_wi，Z'_wi)的点在三维坐标系中的坐标。优选的，实际应用中可选择占位标件的顶点作为点(X_wi，Y_wi，Z_wi)，具体的，占位标件上的点和阴影区域的对应点可参见图7中的实例。

当然，本申请只是以点光源为例进行说明，其它类型的光源的位置可以按照类似思路计算得到，这里不再赘述。

S102C：根据光源的位置和占位标件的表面对光的吸收率，计算光源的颜色组成分量。

本发明的一个具体实施例中，计算光源的颜色组成分量时，需先确定占位标件中预设的光源计算面中心点的坐标；再获得光源计算面中心点和光源之间的连线与光源计算面所在平面之间的夹角θ；然后计算光源计算面与光源之间的距离d；根据光源计算面中各个像素点的颜色值，获得该光源计算面的平均颜色值；最后根据光源计算面的平均颜色值、夹角θ、距离d和占位标件的表面对光的吸收率，确定光源的颜色组成分量。

下面通过具体的实施对上述的计算光源的颜色组成分量的方法进行说明。

假设，光源的类型为点光源，占位标件的表面对光的吸收率为占位标件的表面对红、绿、蓝光的吸收率，以κ_R、κ_G和κ_B表示，则相应的计算光源的颜色组成分量，即为计算光源的红、绿、蓝光的颜色组成分量L_R、L_G和L_B。

假设，预设的光源计算面中心点的坐标为(X_wz，Y_wz，Z_wz)，则(X_wz，Y_wz，Z_wz)和光源之间的连线与该光源计算面所在平面之间的夹角θ满足如下表达式：

该光源计算面与光源之间的距离d满足如下表达式：

假设，视频帧中各点的像素值以RGB值表示，经计算得光源计算面的平均颜色值为和

因此，光源的颜色组成分量可以表示为：

需要说明的是，上述的实例只是本发明的一种具体实现方式，实际应用中本领域内的技术人员可以经过对上述公式进行相应变形，计算其它光源类型对应的光源的颜色组成分量。

在本发明的一个具体实施例中，参见图3，提供了根据模型参数和待植入广告对象的特征参数，计算待植入广告对象在视频帧中对应的像素点坐标和像素值(S103)的一种具体实现方式，包括：

S103A：根据模型参数和待植入广告对象的尺寸，计算待植入广告对象的各个表面上的点在视频帧中对应的像素点坐标。

S103B：计算待植入广告对象的各个表面上的点与光源之间的距离。

S103C：计算待植入广告的各个表面上的点与光源的连线与该点所在切平面之间的夹角。

S103D：根据待植入广告对象的表面对光的吸收率和上述计算得到的距离、夹角，计算待植入广告对象的各个表面上的点的像素值。

下面以上述的S102C中所示的具体实例为前提，对本实施例提供的方法进行详细说明。

根据S102A计算得到的模型参数M，按照下述表达式，计算植入式广告对象的各个表面上的点在视频帧中对应的像素点坐标，

其中，点(X_wi，Y_wi，Z_wi)为待植入广告对象的各个表面上的点在三维坐标系中的坐标，该点遍历待植入广告对象的各个表面上的所有点，(u_i，v_i)为点(X_wi，Y_wi，Z_wi)在视频帧中的坐标。

根据如下表达式计算待植入广告对象的各个表面上的点与光源之间的距离d：

其中，(X_l，Y_l，Z_l)为光源的位置。

计算待植入广告的各个表面上的点与光源的连线与该点所在切平面之间的夹角θ_i。

根据图下表达式计算待植入广告对象的各个表面上的点的像素值V_R、V_G和V_B：

其中，κ_R、κ_G和κ_B为待植入广告对象的表面对红、绿、蓝光的吸收率。

需要说明的是，上述的实例只是本实施例提供的方法中的一种具体实现方式，实际应用中，还可以根据具体情况对上述实现方式进行相应变形得到，例如，光源类型为面光源、线光源的情况、占位标件的表面对光的吸收率为对其它光的吸收率等等，本申请并不此进行限定。

由以上可见，本实施例提供的方案中，根据视频帧中的占位标件确定的模型参数，计算待植入广告对象的在视频帧中的像素点坐标和像素值，完成待植入广告对象植入，与现有技术相比，本方案中在计算占位标件对应的模型参数时，考虑了摄像机参数、光源的位置、光源的颜色组成、待植入广告对象的表面对光的吸收率等因素，因此，植入待植入广告对象后，该广告对象可以较好的融入到视频帧中、与视频帧中的周围拍摄物协调过渡，提高了用户体验效果。

图4为本发明实施例提供的在视频中植入广告的装置的第一种结构示意图，该装置包括：占位标件检测模块401、模型参数计算模块402、坐标和像素值计算模块403和广告对象植入模块404。

其中，占位标件检测模块401，用于检测视频帧中的占位标件，所述占位标件是视频拍摄场景中的一个拍摄物，用于在拍摄得到的视频帧中标识植入广告的位置；

模型参数计算模块402，用于根据检测结果和所述占位标件的特征参数，计算所述占位标件对应的模型参数，其中，所述模型参数，包括摄像机参数矩阵M、光源的位置和光源的颜色组成分量，所述占位标件的特征参数，包括所述占位标件的尺寸和所述占位标件的表面对光的吸收率；

坐标和像素值计算模块403，用于根据所述模型参数和待植入广告对象的特征参数，计算所述待植入广告对象在所述视频帧中对应的像素点坐标和像素值，其中，所述待植入广告对象的特征参数，包括所述待植入广告对象的尺寸和所述待植入广告对象的表面对光的吸收率；

广告对象植入模块404，用于根据计算得到的像素点坐标和像素值，在所述视频帧中植入所述待植入广告对象。

具体的，所述占位标件，表面带有标识性图案，其中，所述标识性图案用于提高在所述视频帧中检测所述占位标件的成功率。

具体的，所述待植入广告对象的尺寸大于所述占位标件的尺寸。

在本发明的一个具体实施例中，参见图5，提供了模型参数计算模块402的一种具体结构示意图，该模块包括：摄像机参数矩阵计算子模块4021、光源位置计算子模块4022和光源颜色组成分量计算子模块4023。

其中，摄像机参数矩阵计算子模块，用于根据所述视频帧中预设数量的所述占位标件上的标线交叉点的坐标和所述占位标件的尺寸，计算摄像机参数矩阵M；

光源位置计算子模块，用于根据所述摄像机参数矩阵M和所述占位标件在所述视频帧中的阴影区域，计算光源的位置；

光源颜色组成分量计算子模块，用于根据所述光源的位置和所述占位标件的表面对光的吸收率，计算光源的颜色组成分量。

具体的，所述摄像机参数矩阵计算子模块4021，可以包括：三维坐标系确定单元和摄像机参数矩阵计算单元(图中未示出)。

其中，三维坐标系确定单元，用于以所述占位标件的底面中心点为坐标原点、底面所在平面为XY平面，确定所述占位标件所在的三维坐标系，其中，所述三维坐标系的X轴和Y轴分别与所述占位标件的两条相邻边平行；

摄像机参数矩阵计算单元，用于在所述三维坐标系中，按照如下关系式计算摄像机参数矩阵M，

其中，

(u_i，v_i)为所述视频帧中所述占位标件上的标线交叉点的坐标，(X_wi，Y_wi，Z_wi)为所述占位标件上的标线交叉点(u_i，v_i)在所述三维坐标系中的坐标，根据(u_i，v_i)和所述占位标件的尺寸计算得到，m₁₁......m₃₄为所述摄像机参数矩阵M的元素，Z_ci为标线交叉点(X_wi，Y_wi，Z_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中的Z_c轴方向上的坐标值，n为计算所述摄像机参数矩阵M所需的所述视频帧中占位标件上的标线交叉点的个数。

具体的，所述光源位置计算子模块4022，可以包括：阴影区域确定单元、对应坐标确定单元和光源位置计算单元(图中未示出)。

其中，阴影区域确定单元，用于确定所述视频帧中所述占位标件的阴影区域；

对应坐标确定单元，在所述三维坐标系中，根据如下关系式，分别确定所述阴影区域中的n个阴影点在所述占位标件上的对应点的坐标；

其中，M为所述摄像机参数矩阵，(u'_i，v'_i)为所述阴影区域中阴影点在所述视频帧中的坐标，(X'_wi，Y'_wi，Z'_wi)为点(u'_i，v'_i)在所述三维坐标系中的坐标，Z'_ci为(X'_wi，Y'_wi，Z'_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中Z'_c轴方向上的坐标值；

光源位置计算单元，用于根据所述对应坐标确定单元确定的n个坐标，计算光源的位置(X_l，Y_l，Z_l)。

具体的，所述光源颜色组成分量计算子模块4023，可以包括：中心点坐标确定单元、夹角获得单元、第一距离计算单元、平均颜色值获得单元和光源的颜色组成分量确定单元(图中未示出)。

其中，中心点坐标确定单元，用于确定所述占位标件中预设的光源计算面中心点的坐标；

夹角获得单元，用于获得所述光源计算面中心点和光源之间的连线与所述光源计算面所在平面之间的夹角θ；

距离计算单元，用于计算所述光源计算面与所述光源之间的距离d；

平均颜色值获得单元，用于根据所述光源计算面中各个像素点的颜色值，获得该光源计算面的平均颜色值；

光源的颜色组成分量确定单元，用于根据所述光源计算面的平均颜色值、夹角θ、距离d和所述占位标件的表面对光的吸收率，确定光源的颜色组成分量。

在本发明的一个具体实施例中，参见图6，提供了坐标和像素值计算模块403的一种具体结构示意图，该模块包括：坐标计算子模块4031、第二距离计算子模块4032、夹角计算子模块4033和像素值计算子模块4034。

其中，坐标计算子模块4031，用于根据所述模型参数和所述待植入广告对象的尺寸，计算所述待植入广告对象的各个表面上的点在所述视频帧中对应的像素点坐标；

距离计算子模块4032，用于计算所述待植入广告对象的各个表面上的点与所述光源之间的距离；

夹角计算子模块4033，用于计算所述待植入广告的各个表面上的点与所述光源的连线与该点所在切平面之间的夹角；

像素值计算子模块4034，用于根据所述待植入广告对象的表面对光的吸收率和上述计算得到的距离、夹角，计算所述待植入广告对象的各个表面上的点的像素值。

由以上可见，本实施例提供的方案中，根据视频帧中的占位标件确定的模型参数，计算待植入广告对象的在视频帧中的像素点坐标和像素值，完成待植入广告对象植入，与现有技术相比，本方案中在计算占位标件对应的模型参数时，考虑了摄像机参数、光源的位置、光源的颜色组成、待植入广告对象的表面对光的吸收率等因素，因此，植入待植入广告对象后，该广告对象可以较好的融入到视频帧中、与视频帧中的周围拍摄物协调过渡，提高了用户体验效果。

对于装置实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本领域普通技术人员可以理解实现上述方法实施方式中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于计算机可读取存储介质中，这里所称得的存储介质，如：ROM/RAM、磁碟、光盘等。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (16)

1.一种在视频中植入广告的方法，其特征在于，所述方法包括：

检测视频帧中的占位标件，所述占位标件是视频拍摄场景中的一个拍摄物，用于在拍摄得到的视频帧中标识植入广告的位置；

根据检测结果和所述占位标件的特征参数，计算所述占位标件对应的模型参数，其中，所述模型参数，包括摄像机参数矩阵M、光源的位置和光源的颜色组成分量，所述占位标件的特征参数，包括所述占位标件的尺寸和所述占位标件的表面对光的吸收率；

根据所述模型参数和待植入广告对象的特征参数，计算所述待植入广告对象在所述视频帧中对应的像素点坐标和像素值，其中，所述待植入广告对象的特征参数，包括所述待植入广告对象的尺寸和所述待植入广告对象的表面对光的吸收率；

根据计算得到的像素点坐标和像素值，在所述视频帧中植入所述待植入广告对象。

2.根据权利要求1所述的方法，其特征在于，所述占位标件，表面带有标识性图案，其中，所述标识性图案用于提高在所述视频帧中检测所述占位标件的成功率。

3.根据权利要求1所述的方法，其特征在于，所述待植入广告对象的尺寸大于所述占位标件的尺寸。

4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据检测结果和所述占位标件的特征参数，计算所述占位标件对应的模型参数，包括：

根据所述视频帧中预设数量的所述占位标件上的标线交叉点的坐标和所述占位标件的尺寸，计算摄像机参数矩阵M；

根据所述摄像机参数矩阵M和所述占位标件在所述视频帧中的阴影区域，计算光源的位置；

根据所述光源的位置和所述占位标件的表面对光的吸收率，计算光源的颜色组成分量。

5.根据权利要求4所述的方法，其特征在于，所述根据所述视频帧中预设数量的所述占位标件上的标线交叉点的坐标和所述占位标件的尺寸，计算摄像机参数矩阵M，包括：

以所述占位标件的底面中心点为坐标原点、底面所在平面为XY平面，确定所述占位标件所在的三维坐标系，其中，所述三维坐标系的X轴和Y轴分别与所述占位标件的两条相邻边平行；

在所述三维坐标系中，按照如下关系式计算摄像机参数矩阵M，

$Z_{ci}\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=M{\stackrel{\→}{X}}_{wi}=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{X}_{wi}\\ Y_{wi}\\ Z_{wi}\\ 1\end{array}\right],i=1,2,\mathrm{...},n(n>6),$

其中，

(u_i，v_i)为所述视频帧中所述占位标件上的标线交叉点的坐标，(X_wi，Y_wi，Z_wi)为所述占位标件上的标线交叉点(u_i，v_i)在所述三维坐标系中的坐标，根据(u_i，v_i)和所述占位标件的尺寸计算得到，m₁₁......m₃₄为所述摄像机参数矩阵M的元素，Z_ci为标线交叉点(X_wi，Y_wi，Z_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中的Z_c轴方向上的坐标值，n为计算所述摄像机参数矩阵M所需的所述视频帧中占位标件上的标线交叉点的个数。

6.根据权利要求5所述的方法，其特征在于，所述根据所述摄像机参数矩阵M和所述占位标件在所述视频帧中的阴影区域，计算光源的位置，包括：

确定所述视频帧中所述占位标件的阴影区域；

在所述三维坐标系中，根据如下关系式，分别确定所述阴影区域中的n个阴影点在所述占位标件上的对应点的坐标；

$Z_{ci}^{,}\left[\begin{array}{c}{u}_i^{,}\\ v_i^{,}\\ 1\end{array}\right]=M\left[\begin{array}{c}{X}_{wi}^{,}\\ Y_{wi}^{,}\\ Z_{wi}^{,}\\ 1\end{array}\right],i=1,2,\mathrm{...},n(n>2),$

其中，M为所述摄像机参数矩阵，(u'_i，v'_i)为所述阴影区域中阴影点在所述视频帧中的坐标，(X'_wi，Y'_wi，Z'_wi)为点(u'_i，v'_i)在所述三维坐标系中的坐标，Z'_ci为(X'_wi，Y'_wi，Z'_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中的Z'_c轴方向上的坐标值；

根据所确定的n个坐标，计算光源的位置(X_l，Y_l，Z_l)。

7.根据权利要求6所述的方法，其特征在于，所述根据所述光源的位置和所述占位标件的表面对光的吸收率，计算光源的颜色组成分量，包括：

确定所述占位标件中预设的光源计算面中心点的坐标；

获得所述光源计算面中心点和光源之间的连线与所述光源计算面所在平面之间的夹角θ；

计算所述光源计算面与所述光源之间的距离d；

根据所述光源计算面中各个像素点的颜色值，获得该光源计算面的平均颜色值；

根据所述光源计算面的平均颜色值、夹角θ、距离d和所述占位标件的表面对光的吸收率，确定光源的颜色组成分量。

8.根据权利要求1所述的方法，其特征在于，所述根据所述模型参数和待植入广告对象的特征参数，计算所述待植入广告对象在所述视频帧中对应的像素点坐标和像素值，包括：

根据所述模型参数和所述待植入广告对象的尺寸，计算所述待植入广告对象的各个表面上的点在所述视频帧中对应的像素点坐标；

计算所述待植入广告对象的各个表面上的点与所述光源之间的距离；

计算所述待植入广告的各个表面上的点与所述光源的连线与该点所在切平面之间的夹角；

根据所述待植入广告对象的表面对光的吸收率和上述计算得到的距离、夹角，计算所述待植入广告对象的各个表面上的点的像素值。

9.一种在视频中植入广告的装置，其特征在于，所述装置包括：

占位标件检测模块，用于检测视频帧中的占位标件，所述占位标件是视频拍摄场景中的一个拍摄物，用于在拍摄得到的视频帧中标识植入广告的位置；

模型参数计算模块，用于根据检测结果和所述占位标件的特征参数，计算所述占位标件对应的模型参数，其中，所述模型参数，包括摄像机参数矩阵M、光源的位置和光源的颜色组成分量，所述占位标件的特征参数，包括所述占位标件的尺寸和所述占位标件的表面对光的吸收率；

坐标和像素值计算模块，用于根据所述模型参数和待植入广告对象的特征参数，计算所述待植入广告对象在所述视频帧中对应的像素点坐标和像素值，其中，所述待植入广告对象的特征参数，包括所述待植入广告对象的尺寸和所述待植入广告对象的表面对光的吸收率；

广告对象植入模块，用于根据计算得到的像素点坐标和像素值，在所述视频帧中植入所述待植入广告对象。

10.根据权利要求9所述的装置，其特征在于，所述占位标件，表面带有标识性图案，其中，所述标识性图案用于提高在所述视频帧中检测所述占位标件的成功率。

11.根据权利要求9所述的装置，其特征在于，所述待植入广告对象的尺寸大于所述占位标件的尺寸。

12.根据权利要求9-11中任一项所述的装置，其特征在于，所述模型参数计算模块，包括：

摄像机参数矩阵计算子模块，用于根据所述视频帧中预设数量的所述占位标件上的标线交叉点的坐标和所述占位标件的尺寸，计算摄像机参数矩阵M；

光源位置计算子模块，用于根据所述摄像机参数矩阵M和所述占位标件在所述视频帧中的阴影区域，计算光源的位置；

光源颜色组成分量计算子模块，用于根据所述光源的位置和所述占位标件的表面对光的吸收率，计算光源的颜色组成分量。

13.根据权利要求12所述的装置，其特征在于，所述摄像机参数矩阵计算子模块，包括：

三维坐标系确定单元，用于以所述占位标件的底面中心点为坐标原点、底面所在平面为XY平面，确定所述占位标件所在的三维坐标系，其中，所述三维坐标系的X轴和Y轴分别与所述占位标件的两条相邻边平行；

摄像机参数矩阵计算单元，用于在所述三维坐标系中，按照如下关系式计算摄像机参数矩阵M，

$Z_{ci}\left[\begin{array}{c}{u}_i\\ v_i\\ 1\end{array}\right]=M{\stackrel{\→}{X}}_{wi}=\left[\begin{array}{cccc}{m}_{11}& m_{12}& m_{13}& m_{14}\\ m_{21}& m_{22}& m_{23}& m_{24}\\ m_{31}& m_{32}& m_{33}& m_{34}\end{array}\right]\left[\begin{array}{c}{X}_{wi}\\ Y_{wi}\\ Z_{wi}\\ 1\end{array}\right],i=1,2,\mathrm{...},n(n>6),$

其中，

(u_i，v_i)为所述视频帧中所述占位标件上的标线交叉点的坐标，(X_wi，Y_wi，Z_wi)为所述占位标件上的标线交叉点(u_i，v_i)在所述三维坐标系中的坐标，根据(u_i，v_i)和所述占位标件的尺寸计算得到，m_11......m₃₄为所述摄像机参数矩阵M的元素，Z_ci为标线交叉点(X_wi，Y_wi，Z_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中的Z_c轴方向上的坐标值，n为计算所述摄像机参数矩阵M所需的所述视频帧中占位标件上的标线交叉点的个数。

14.根据权利要求13所述的装置，其特征在于，所述光源位置计算子模块，包括：

阴影区域确定单元，用于确定所述视频帧中所述占位标件的阴影区域；

对应坐标确定单元，在所述三维坐标系中，根据如下关系式，分别确定所述阴影区域中的n个阴影点在所述占位标件上的对应点的坐标；

$Z_{ci}^{,}\left[\begin{array}{c}{u}_i^{,}\\ v_i^{,}\\ 1\end{array}\right]=M\left[\begin{array}{c}{X}_{wi}^{,}\\ Y_{wi}^{,}\\ Z_{wi}^{,}\\ 1\end{array}\right],i=1,2,\mathrm{...},n(n>2),$

其中，M为所述摄像机参数矩阵，(u'_i，v'_i)为所述阴影区域中阴影点在所述视频帧中的坐标，(X'_wi，Y'_wi，Z'_wi)为点(u'_i，v'_i)在所述三维坐标系中的坐标，Z'_ci为(X'_wi，Y'_wi，Z'_wi)在以摄像机镜头的光心位置为坐标原点的坐标系中Z'_c轴方向上的坐标值；

光源位置计算单元，用于根据所述对应坐标确定单元确定的n个坐标，计算光源的位置(X_l，Y_l，Z_l)。

15.根据权利要求14所述的装置，其特征在于，所述光源颜色组成分量计算子模块，包括：

中心点坐标确定单元，用于确定所述占位标件中预设的光源计算面中心点的坐标；

夹角获得单元，用于获得所述光源计算面中心点和光源之间的连线与所述光源计算面所在平面之间的夹角θ；

距离计算单元，用于计算所述光源计算面与所述光源之间的距离d；

平均颜色值获得单元，用于根据所述光源计算面中各个像素点的颜色值，获得该光源计算面的平均颜色值；

光源的颜色组成分量确定单元，用于根据所述光源计算面的平均颜色值、夹角θ、距离d和所述占位标件的表面对光的吸收率，确定光源的颜色组成分量。

16.根据权利要求9所述的装置，其特征在于，所述坐标和像素值计算模块，包括：

坐标计算子模块，用于根据所述模型参数和所述待植入广告对象的尺寸，计算所述待植入广告对象的各个表面上的点在所述视频帧中对应的像素点坐标；

距离计算子模块，用于计算所述待植入广告对象的各个表面上的点与所述光源之间的距离；

夹角计算子模块，用于计算所述待植入广告的各个表面上的点与所述光源的连线与该点所在切平面之间的夹角；

像素值计算子模块，用于根据所述待植入广告对象的表面对光的吸收率和上述计算得到的距离、夹角，计算所述待植入广告对象的各个表面上的点的像素值。