CN112613473B - 一种广告植入方法及系统 - Google Patents

Abstract

本发明公开了一种广告植入方法及系统，获取初始广告植入位置的选择指令，将选择指令中包含的初始广告植入位置在视频片段中对应的视频帧标记为标准帧，采用图像匹配算法计算视频片段中所有视频帧和标准帧的空间映射关系得到第一空间变换映射矩阵，基于该矩阵确定待植入广告在视频片段的每一帧广告植入位置，根据每一帧广告植入位置计算待植入广告在视频片段的第二空间变换映射矩阵，基于该矩阵将待植入广告植入到视频片段中对应的广告植入位置。本发明采用图像匹配技术对视频片段中广告植入位置进行追踪和定位，通过空间变换映射矩阵实现将待植入广告植入到视频片段中被定位的广告植入位置，因此，节省了人力和时间，提高了广告植入效率。

Description

一种广告植入方法及系统

技术领域

本发明涉及广告植入技术领域，更具体的说，涉及一种广告植入方法及系统。

背景技术

广告植入是指将广告投放素材融入到影视剧的内容中，相比于在片头、片尾和片中等插入广告的形式，广告植入与情景深入融合，更容易让受众接受，从而起到潜移默化的宣传效果。

传统的广告植入方式是人工通过AdobeAfterEffects、PhotoShop等工具逐帧检测视频中广告植入的合适点位，因此需要耗费大量的人力和时间，检测效率低。

发明内容

有鉴于此，本发明公开一种广告植入方法及系统，以解决传统方案中，人工检测广告植入的合适点位存在的种种问题。

一种广告植入方法，包括：

获取初始广告植入位置的选择指令，并将所述选择指令中包含的所述初始广告植入位置在视频片段中对应的视频帧标记为标准帧；

采用图像匹配算法，计算所述视频片段中所有视频帧和所述标准帧的空间映射关系，得到空间变换映射矩阵，记为第一空间变换映射矩阵；

基于所述第一空间变换映射矩阵，确定待植入广告在所述视频片段的每一帧广告植入位置；

根据所述每一帧广告植入位置，计算所述待植入广告在所述视频片段的空间变换映射矩阵，记为第二空间变换映射矩阵；

基于所述第二空间变换映射矩阵，将所述待植入广告植入到所述视频片段中对应的广告植入位置。

可选的，所述基于所述第二空间变换映射矩阵，将所述待植入广告植入到所述视频片段中对应的广告植入位，具体包括：

根据所述每一帧广告植入位置的视频图像信息，对所述待植入广告进行相对应的图像处理，得到能够与所述每一帧广告植入位置的视频图像实现背景融合的目标广告；

基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

对植入到所述视频片段中的所述目标广告进行边缘羽化，使所述目标广告与所述视频片段的视频场景自然融合。

可选的，所述基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置，具体包括：

对所述视频片段中的每帧图像进行人像语义分割，得到mask图像；

基于所述mask图像，判断所述目标广告是否遮挡所述视频片段中的人像；

如果否，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

如果是，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置，并将所述人像设置在植入的所述目标广告的前面。

可选的，所述根据所述每一帧广告植入位置的视频图像信息，对所述待植入广告进行相对应的图像处理，得到能够与所述每一帧广告植入位置的视频图像实现背景融合的目标广告，具体包括：

对所述待植入广告对应的广告图像和当前帧对应的视频图像分别进行傅里叶变换，所述当前帧为当前用于植入待植入广告的视频帧；

对傅里叶变换后的广告图像进行低通滤波，得到所述待植入广告的低频信息，以及对傅里叶变换后的视频图像进行低通滤波，得到所述当前帧的低频信息；

将所述当前帧的低频信息加权融合到所述待植入广告的低频信息中；

对加权融合后的待植入广告进行傅里叶反变换，得到加权后的待植入广告；

对所述加权后的待植入广告进行与所述当前帧的亮度变化效果相同的亮度调整，得到所述目标广告。

可选的，所述采用图像匹配算法，计算所述视频片段中所有视频帧和所述标准帧的空间映射关系，得到空间变换映射矩阵，记为第一空间变换映射矩阵，具体包括：

将所述标准帧对应的视频图像转换成灰度图，记为第一灰度图，以及将当前帧对应的视频图像换成灰度图，记为第二灰度图，所述当前帧为当前用于植入待植入广告的视频帧；

基于所述第一灰度图确定所述标准帧对应的图像特征信息，以及基于所述第二灰度图确定所述当前帧对应的图像特征信息；

基于所述当前帧对应的图像特征信息，将所述当前帧划分成多个小方格，并将图像特征复杂度最高的小方格确定为目标小方格；

基于所述标准帧对应的图像特征信息，从所述标准帧中查找到与所述目标小方格对应的图像特征信息的互相关信息最强的目标位置，并基于所述目标位置初始化空间变换映射矩阵；

基于已初始化的空间变换映射矩阵，计算所述标准帧对应的视频图像以及所述当前帧对应的视频图像的全局互相关信息；

通过梯度下降法优化所述已初始化的空间变换映射矩阵，得到所述全局互相关信息最大化的所述第一空间变换映射矩阵。

一种广告植入系统，包括：

指令获取单元，用于获取初始广告植入位置的选择指令，并将所述选择指令中包含的所述初始广告植入位置在视频片段中对应的视频帧标记为标准帧；

第一映射矩阵计算单元，用于采用图像匹配算法，计算所述视频片段中所有视频帧和所述标准帧的空间映射关系，得到空间变换映射矩阵，记为第一空间变换映射矩阵；

植入位置确定单元，用于基于所述第一空间变换映射矩阵，确定待植入广告在所述视频片段的每一帧广告植入位置；

第二映射矩阵计算单元，用于根据所述每一帧广告植入位置，计算所述待植入广告在所述视频片段的空间变换映射矩阵，记为第二空间变换映射矩阵；

广告植入单元，用于基于所述第二空间变换映射矩阵，将所述待植入广告植入到所述视频片段中对应的广告植入位置。

可选的，所述广告植入单元具体包括：

图像处理子单元，用于根据所述每一帧广告植入位置的视频图像信息，对所述待植入广告进行相对应的图像处理，得到能够与所述每一帧广告植入位置的视频图像实现背景融合的目标广告；

广告植入子单元，用于基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

边缘羽化子单元，用于对植入到所述视频片段中的所述目标广告进行边缘羽化，使所述目标广告与所述视频片段的视频场景自然融合。

可选的，所述广告植入子单元具体用于：

对所述视频片段中的每帧图像进行人像语义分割，得到mask图像；

基于所述mask图像，判断所述目标广告是否遮挡所述视频片段中的人像；

如果否，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

如果是，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置，并将所述人像设置在植入的所述目标广告的前面。

可选的，所述图像处理子单元具体用于：

对所述待植入广告对应的广告图像和当前帧对应的视频图像分别进行傅里叶变换，所述当前帧为当前用于植入待植入广告的视频帧；

对傅里叶变换后的广告图像进行低通滤波，得到所述待植入广告的低频信息，以及对傅里叶变换后的视频图像进行低通滤波，得到所述当前帧的低频信息；

将所述当前帧的低频信息加权融合到所述待植入广告的低频信息中；

对加权融合后的待植入广告进行傅里叶反变换，得到加权后的待植入广告；

对所述加权后的待植入广告进行与所述当前帧的亮度变化效果相同的亮度调整，得到所述目标广告。

可选的，所述第一映射矩阵计算单元具体包括：

图像转换子单元，用于将所述标准帧对应的视频图像转换成灰度图，记为第一灰度图，以及将当前帧对应的视频图像换成灰度图，记为第二灰度图，所述当前帧为当前用于植入待植入广告的视频帧；

图像特征信息确定单元，用于基于所述第一灰度图确定所述标准帧对应的图像特征信息，以及基于所述第二灰度图确定所述当前帧对应的图像特征信息；

方格划分子单元，用于基于所述当前帧对应的图像特征信息，将所述当前帧划分成多个小方格，并将图像特征复杂度最高的小方格确定为目标小方格；

查找子单元，用于基于所述标准帧对应的图像特征信息，从所述标准帧中查找到与所述目标小方格对应的图像特征信息的互相关信息最强的目标位置，并基于所述目标位置初始化空间变换映射矩阵；

计算子单元，用于基于已初始化的空间变换映射矩阵，计算所述标准帧对应的视频图像以及所述当前帧对应的视频图像的全局互相关信息；

优化子单元，用于通过梯度下降法优化所述已初始化的空间变换映射矩阵，得到所述全局互相关信息最大化的所述第一空间变换映射矩阵。

从上述的技术方案可知，本发明公开了一种广告植入方法及系统，获取初始广告植入位置的选择指令，将选择指令中包含的初始广告植入位置在视频片段中对应的视频帧标记为标准帧，采用图像匹配算法，计算视频片段中所有视频帧和标准帧的空间映射关系，得到第一空间变换映射矩阵，基于第一空间变换映射矩阵，确定待植入广告在视频片段的每一帧广告植入位置，根据每一帧广告植入位置，计算待植入广告在视频片段的第二空间变换映射矩阵，基于第二空间变换映射矩阵，将待植入广告植入到视频片段中对应的广告植入位置。本发明采用图像匹配技术实现对视频片段中广告植入位置的追踪和定位，通过空间变换映射矩阵实现将待植入广告植入到视频片段中被定位的广告植入位置，因此不仅大大节省了人力和时间，提高了广告植入效率。另外，由于每一帧广告植入位置均是基于标准帧确定的，因此，本发明广告植入点位的判断标准明确，从而使得广告植入更加自然。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据公开的附图获得其他的附图。

图1为本发明实施例公开的一种广告植入方法流程图；

图2为本发明实施例公开的一种基于第二空间变换映射矩阵，将待植入广告植入到视频片段中对应的广告植入位置的方法流程图；

图3为本发明实施例公开的一种采用图像匹配算法，计算视频片段中所有视频帧和标准帧的空间映射关系，得到第一空间变换映射矩阵的方法流程图；

图4为本发明实施例公开的一种根据每一帧广告植入位置的视频图像信息，对待植入广告进行相对应的图像处理，得到能够与每一帧广告植入位置的视频图像实现背景融合的目标广告的方法流程图；

图5为本发明实施例公开的一种广告植入系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，本发明实施例公开的一种广告植入方法流程图，该方法包括：

步骤S101、获取初始广告植入位置的选择指令，并将所述选择指令中包含的所述初始广告植入位置在视频片段中对应的视频帧标记为标准帧；

在实际应用中，当从视频数据库获取待植入广告的视频后，人工可以首先需要在该视频能够植入广告的视频片段的任意一视频帧中选取一个适宜广告植入的位置，本实施例中，将人工选取的初始广告植入位置在视频片段中对应的视频帧标记为标准帧，以便后续确定视频片段中所有的广告植入位置。通常将视频片段的第一帧确定为标准帧。

步骤S102、采用图像匹配算法，计算所述视频片段中所有视频帧和所述标准帧的空间映射关系，得到空间变换映射矩阵，记为第一空间变换映射矩阵；

其中，第一空间变换映射矩阵是指视频片段中各个视频帧对应的视频图像与标准帧对应的视频图像之间，通过图像匹配计算出来的图像空间变化关系。

步骤S103、基于所述第一空间变换映射矩阵，确定待植入广告在所述视频片段的每一帧广告植入位置；

本实施例中，基于第一空间变换映射矩阵，将视频片段的各个视频帧与标准帧进行匹配，以确定除标准帧以外的其他视频帧的广告植入位置，从而得到待植入广告在视频片段的每一帧广告植入位置。

步骤S104、根据所述每一帧广告植入位置，计算所述待植入广告在所述视频片段的空间变换映射矩阵，记为第二空间变换映射矩阵；

需要说明的是，本发明根据每一帧的广告植入位置，可以计算得到表征待植入广告与视频片段各个视频帧之间的空间映射关系的第二空间变换映射矩阵。

步骤S105、基于所述第二空间变换映射矩阵，将所述待植入广告植入到所述视频片段中对应的广告植入位置。

综上可知，本发明公开的广告植入方法，获取初始广告植入位置的选择指令，将选择指令中包含的初始广告植入位置在视频片段中对应的视频帧标记为标准帧，采用图像匹配算法，计算视频片段中所有视频帧和标准帧的空间映射关系，得到第一空间变换映射矩阵，基于第一空间变换映射矩阵，确定待植入广告在视频片段的每一帧广告植入位置，根据每一帧广告植入位置，计算待植入广告在视频片段的第二空间变换映射矩阵，基于第二空间变换映射矩阵，将待植入广告植入到视频片段中对应的广告植入位置。本发明采用图像匹配技术实现对视频片段中广告植入位置的追踪和定位，通过空间变换映射矩阵实现将待植入广告植入到视频片段中被定位的广告植入位置，因此不仅大大节省了人力和时间，提高了广告植入效率。另外，由于每一帧广告植入位置均是基于标准帧确定的，因此，广告植入点位的判断标准明确，从而使得广告植入更加自然。

为实现待植入广告与视频片段所示场景之间的融合，提升视频软广告的植入效果，本发明在将待植入广告植入到视频片段之前，对待植入广告进行了背景处理。

因此，为进一步优化上述实施例，参见图2，本发明实施例公开的一种基于第二空间变换映射矩阵，将待植入广告植入到视频片段中对应的广告植入位置的方法流程图，也即步骤S105具体可以包括：

步骤S201、根据所述每一帧广告植入位置的视频图像信息，对所述待植入广告进行相对应的图像处理，得到能够与所述每一帧广告植入位置的视频图像实现背景融合的目标广告；

其中，根据每一帧广告植入位置的图像信息，对待植入广告进行相对应的图像处理的内容包括但不限于调整待植入广告中图像的光照、阴影、亮度、饱和度和对比度等。

需要说明的是，在实际应用中，待植入广告在视频片段中通常有多个广告植入位置。本实施例针对每一帧广告植入位置，在植入待植入广告之前，均对待植入广告进行相对应的图像处理，使图像处理后的目标广告能够与所植入的每一帧广告植入位置的视频图像实现背景融合。

步骤S202、基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

步骤S203，对植入到所述视频片段中的所述目标广告进行边缘羽化，使所述目标广告与所述视频片段的视频场景自然融合。

综上可知，本发明采用图像融合技术，通过根据每一帧广告植入位置的视频图像信息，对待植入广告进行相对应的图像处理得到目标广告，以及对目标广告进行边缘羽化，实现了目标广告与视频片段的视频场景自然融合，从而大大提高了视频广告的植入效果。

为进一步提升视频软广告的植入效果，本发明在将待植入广告植入视频片段之前，还可以判断视频片段中的人物是否被待植入广告遮挡，并在保证待植入广告不遮挡视频中人物的情况下，进行植入。

因此，步骤S202具体可以包括：

(1)对所述视频片段中的每帧图像进行人像语义分割，得到mask图像；

在实际应用中，可以通过deeplabv3+模型对所述视频片中的每帧图像进行人像语义分割，得到mask图像。

所述deeplabv3+是语义分割领域的新高峰，它引入语义分割常用的encoder-decoder。在encoder-decoder架构中，引入可任意控制编码器提取特征的分辨率，通过空洞卷积平衡精度和耗时。在语义分割任务中采用Xception模型，在ASPP和解码模块使用depthwise separable convolution，提高编码器-解码器网络的运行速率和健壮性。

Mask图像为对视频片段中每帧图像的人像分割结果，抠图的掩膜，通过语义分割算法计算得到，用于防止人物被广告遮挡。

(2)基于所述mask图像，判断所述目标广告是否遮挡所述视频片段中的人像；

(3)如果否，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

(4)如果是，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置，并将所述人像设置在植入的所述目标广告的前面。

综上可知，本发明采用图像匹配技术实现对视频片段中广告植入位置的追踪和定位，通过空间变换映射矩阵实现将待植入广告植入到视频片段中被定位的广告植入位置，因此不仅大大节省了人力和时间，提高了广告植入效率，而且由于每一帧广告植入位置均是基于标准帧确定的，因此，广告植入点位的判断标准明确，从而使得广告植入更加自然。另外，本发明通过图像融合技术实现待植入广告在视频场景中无差别融入，并采用人像语义分割技术提取帧图像中的人像区域，通过将人像设置在植入的目标广告的前面来防止人物被广告遮挡。

为进一步优化上述实施例，参见图3，本发明实施例公开的一种采用图像匹配算法，计算视频片段中所有视频帧和标准帧的空间映射关系，得到第一空间变换映射矩阵的方法流程图，该方法包括：

步骤S301、将标准帧对应的视频图像转换成灰度图，记为第一灰度图，以及将当前帧对应的视频图像换成灰度图，记为第二灰度图；

其中，所述当前帧为当前用于植入待植入广告的视频帧。

步骤S302、基于所述第一灰度图确定所述标准帧对应的图像特征信息，以及基于所述第二灰度图确定所述当前帧对应的图像特征信息；

其中，标准帧对应的图像特征信息以及当前帧对应的图像特征信息均包括：图像特征点及特征描述子。

基于灰度图确定图像特征点和特征描述子的过程可参见现有成熟方案，此处不再赘述。

步骤S303、基于所述当前帧对应的图像特征信息，将所述当前帧划分成多个小方格，并将图像特征复杂度最高的小方格确定为目标小方格；

需要说明的是，图像特征复杂度最高的小方格，也即图像特征信息最丰富的小方格。在实际应用中，在将当前帧划分成多个小方格后，每个小方格中会被分配对应的图像特征信息，通过全局特征和局部特征可以计算得到每个小方格的特征复杂度。特征复杂度越高，特征信息越丰富。

步骤S304、基于所述标准帧对应的图像特征信息，从所述标准帧中查找到与所述目标小方格对应的图像特征信息的互相关信息最强的目标位置，并基于所述目标位置初始化空间变换映射矩阵；

步骤S305、基于已初始化的空间变换映射矩阵，计算所述标准帧对应的视频图像以及所述当前帧对应的视频图像的全局互相关信息；

步骤S306、通过梯度下降法优化所述已初始化的空间变换映射矩阵，得到所述全局互相关信息最大化的所述第一空间变换映射矩阵。

综上可知，本发明采用图像匹配技术能够计算视频片段中标准帧和当前帧的视频场景中的空间映射关系，从而得到标准帧的广告植入位置，以及实现对视频片段中广告植入位置的追踪和定位，保证了待植入广告的稳定性，使待植入广告能够随着视频片段镜头的运动而进行相对运动。

为进一步优化上述实施例，参见图4，本发明实施例公开的一种根据每一帧广告植入位置的视频图像信息，对待植入广告进行相对应的图像处理，得到能够与每一帧广告植入位置的视频图像实现背景融合的目标广告的方法流程图，该方法包括：

步骤S401、对所述待植入广告对应的广告图像和当前帧对应的视频图像分别进行傅里叶变换；

其中，所述当前帧为当前用于植入待植入广告的视频帧。

步骤S402、对傅里叶变换后的广告图像进行低通滤波，得到所述待植入广告的低频信息，以及对傅里叶变换后的视频图像进行低通滤波，得到所述当前帧的低频信息；

步骤S403、将所述当前帧的低频信息加权融合到所述待植入广告的低频信息中；

步骤S404、对加权融合后的待植入广告进行傅里叶反变换，得到加权后的待植入广告；

步骤S405、对所述加权后的待植入广告进行与所述当前帧的亮度变化效果相同的亮度调整，得到所述目标广告。

综上可知，本发明通过图像融合技术实现待植入广告在视频场景中无差别融入，图像融合是在保证待植入广告的内容信息的情况下，待植入广告的基本信息如光照、阴影、对比度等基本信息和广告植入位置对应的视频片段保持一致，从而使待植入广告完美融合到视频片段中。待植入广告和当前帧的的低频信息代表了图像的一些基本信息，因此低频信息的融合能够让一些基本信息相互融合，然后再单独计算亮度信息，进行二次融合，从而大大提高视频广告的植入效果。

与上述方法实施例相对应，本发明还公开了一种广告植入系统。

参见图5，本发明实施例公开的一种广告植入系统的结构示意图，该系统包括：

指令获取单元501，用于获取初始广告植入位置的选择指令，并将所述选择指令中包含的所述初始广告植入位置在视频片段中对应的视频帧标记为标准帧；

在实际应用中，当从视频数据库获取待植入广告的视频后，人工可以首先需要在该视频能够植入广告的视频片段的任意一视频帧中选取一个适宜广告植入的位置，本实施例中，将人工选取的初始广告植入位置在视频片段中对应的视频帧标记为标准帧，以便后续确定视频片段中所有的广告植入位置。通常将视频片段的第一帧确定为标准帧。

第一映射矩阵计算单元502，用于采用图像匹配算法，计算所述视频片段中所有视频帧和所述标准帧的空间映射关系，得到空间变换映射矩阵，记为第一空间变换映射矩阵；

其中，第一空间变换映射矩阵是指视频片段中各个视频帧对应的视频图像与标准帧对应的视频图像之间，通过图像匹配计算出来的图像空间变化关系。

植入位置确定单元503，用于基于所述第一空间变换映射矩阵，确定待植入广告在所述视频片段的每一帧广告植入位置；

本实施例中，基于第一空间变换映射矩阵，将视频片段的各个视频帧与标准帧进行匹配，以确定除标准帧以外的其他视频帧的广告植入位置，从而得到待植入广告在视频片段的每一帧广告植入位置。

第二映射矩阵计算单元504，用于根据所述每一帧广告植入位置，计算所述待植入广告在所述视频片段的空间变换映射矩阵，记为第二空间变换映射矩阵；

需要说明的是，本发明根据每一帧的广告植入位置，可以计算得到表征待植入广告与视频片段各个视频帧之间的空间映射关系的第二空间变换映射矩阵。

广告植入单元505，用于基于所述第二空间变换映射矩阵，将所述待植入广告植入到所述视频片段中对应的广告植入位置。

综上可知，本发明公开的广告植入系统，获取初始广告植入位置的选择指令，将选择指令中包含的初始广告植入位置在视频片段中对应的视频帧标记为标准帧，采用图像匹配算法，计算视频片段中所有视频帧和标准帧的空间映射关系，得到第一空间变换映射矩阵，基于第一空间变换映射矩阵，确定待植入广告在视频片段的每一帧广告植入位置，根据每一帧广告植入位置，计算待植入广告在视频片段的第二空间变换映射矩阵，基于第二空间变换映射矩阵，将待植入广告植入到视频片段中对应的广告植入位置。本发明采用图像匹配技术实现对视频片段中广告植入位置的追踪和定位，通过空间变换映射矩阵实现将待植入广告植入到视频片段中被定位的广告植入位置，因此不仅大大节省了人力和时间，提高了广告植入效率，而且由于每一帧广告植入位置均是基于标准帧确定的，因此，广告植入点位的判断标准明确，从而使得广告植入更加自然。

为实现待植入广告与视频片段所示场景之间的融合，提升视频软广告的植入效果，本发明在将待植入广告植入到视频片段之前，对待植入广告进行了背景处理。

广告植入单元505具体可以包括：

图像处理子单元，用于根据所述每一帧广告植入位置的视频图像信息，对所述待植入广告进行相对应的图像处理，得到能够与所述每一帧广告植入位置的视频图像实现背景融合的目标广告；

广告植入子单元，用于基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

边缘羽化子单元，用于对植入到所述视频片段中的所述目标广告进行边缘羽化，使所述目标广告与所述视频片段的视频场景自然融合。

其中，根据每一帧广告植入位置的图像信息，对待植入广告进行相对应的图像处理的内容包括但不限于调整待植入广告中图像的光照、阴影、亮度、饱和度和对比度等。

需要说明的是，在实际应用中，待植入广告在视频片段中通常有多个广告植入位置。本实施例针对每一帧广告植入位置，在植入待植入广告之前，均对待植入广告进行相对应的图像处理，使图像处理后的目标广告能够与所植入的每一帧广告植入位置的视频图像实现背景融合。

综上可知，本发明采用图像融合技术，通过根据每一帧广告植入位置的视频图像信息，对待植入广告进行相对应的图像处理得到目标广告，以及对目标广告进行边缘羽化，实现了目标广告与视频片段的视频场景自然融合，从而大大提高了视频广告的植入效果。

为进一步优化上述实施例，广告植入子单元具体用于：

对所述视频片段中的每帧图像进行人像语义分割，得到mask图像；

基于所述mask图像，判断所述目标广告是否遮挡所述视频片段中的人像；

如果否，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

如果是，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置，并将所述人像设置在植入的所述目标广告的前面。

在实际应用中，可以通过deeplabv3+模型对所述视频片中的每帧图像进行人像语义分割，得到mask图像。

所述deeplabv3+是语义分割领域的新高峰，它引入语义分割常用的encoder-decoder。在encoder-decoder架构中，引入可任意控制编码器提取特征的分辨率，通过空洞卷积平衡精度和耗时。在语义分割任务中采用Xception模型，在ASPP和解码模块使用depthwise separable convolution，提高编码器-解码器网络的运行速率和健壮性。

Mask图像为对视频片段中每帧图像的人像分割结果，抠图的掩膜，通过语义分割算法计算得到，用于防止人物被广告遮挡。

综上可知，本发明采用图像匹配技术实现对视频片段中广告植入位置的追踪和定位，通过空间变换映射矩阵实现将待植入广告植入到视频片段中被定位的广告植入位置，因此不仅大大节省了人力和时间，提高了广告植入效率，而且由于每一帧广告植入位置均是基于标准帧确定的，因此，广告植入点位的判断标准明确，从而使得广告植入更加自然。另外，本发明通过图像融合技术实现待植入广告在视频场景中无差别融入，并采用人像语义分割技术提取帧图像中的人像区域，通过将人像设置在植入的目标广告的前面来防止人物被广告遮挡。

为进一步优化上述实施例，图像处理子单元具体用于：

对所述待植入广告对应的广告图像和当前帧对应的视频图像分别进行傅里叶变换，所述当前帧为当前用于植入待植入广告的视频帧；

对傅里叶变换后的广告图像进行低通滤波，得到所述待植入广告的低频信息，以及对傅里叶变换后的视频图像进行低通滤波，得到所述当前帧的低频信息；

将所述当前帧的低频信息加权融合到所述待植入广告的低频信息中；

对加权融合后的待植入广告进行傅里叶反变换，得到加权后的待植入广告；

对所述加权后的待植入广告进行与所述当前帧的亮度变化效果相同的亮度调整，得到所述目标广告。

综上可知，本发明通过图像融合技术实现待植入广告在视频场景中无差别融入，图像融合是在保证待植入广告的内容信息的情况下，待植入广告的基本信息如光照、阴影、对比度等基本信息和广告植入位置对应的视频片段保持一致，从而使待植入广告完美融合到视频片段中。待植入广告和当前帧的的低频信息代表了图像的一些基本信息，因此低频信息的融合能够让一些基本信息相互融合，然后再单独计算亮度信息，进行二次融合，从而大大提高视频广告的植入效果。

为进一步优化上述实施例，第一映射矩阵计算单元502具体包括：

图像转换子单元，用于将所述标准帧对应的视频图像转换成灰度图，记为第一灰度图，以及将当前帧对应的视频图像换成灰度图，记为第二灰度图，所述当前帧为当前用于植入待植入广告的视频帧；

图像特征信息确定单元，用于基于所述第一灰度图确定所述标准帧对应的图像特征信息，以及基于所述第二灰度图确定所述当前帧对应的图像特征信息；

方格划分子单元，用于基于所述当前帧对应的图像特征信息，将所述当前帧划分成多个小方格，并将图像特征复杂度最高的小方格确定为目标小方格；

查找子单元，用于基于所述标准帧对应的图像特征信息，从所述标准帧中查找到与所述目标小方格对应的图像特征信息的互相关信息最强的目标位置，并基于所述目标位置初始化空间变换映射矩阵；

计算子单元，用于基于已初始化的空间变换映射矩阵，计算所述标准帧对应的视频图像以及所述当前帧对应的视频图像的全局互相关信息；

优化子单元，用于通过梯度下降法优化所述已初始化的空间变换映射矩阵，得到所述全局互相关信息最大化的所述第一空间变换映射矩阵。

综上可知，本发明采用图像匹配技术能够计算视频片段中标准帧和当前帧的视频场景中的空间映射关系，从而得到标准帧的广告植入位置，以及实现对视频片段中广告植入位置的追踪和定位，保证了待植入广告的稳定性，使待植入广告能够随着视频片段镜头的运动而进行相对运动。

需要说明的是，系统实施例中，各组成部分的具体工作原理，请参见方法实施例对应部分，此处不再赘述。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (8)

1.一种广告植入方法，其特征在于，包括：

获取初始广告植入位置的选择指令，并将所述选择指令中包含的所述初始广告植入位置在视频片段中对应的视频帧标记为标准帧；

采用图像匹配算法，计算所述视频片段中所有视频帧和所述标准帧的空间映射关系，得到空间变换映射矩阵，记为第一空间变换映射矩阵；

基于所述第一空间变换映射矩阵，确定待植入广告在所述视频片段的每一帧广告植入位置；

根据所述每一帧广告植入位置，计算所述待植入广告在所述视频片段的空间变换映射矩阵，记为第二空间变换映射矩阵；第二空间变换映射矩阵表征待植入广告与视频片段各个视频帧之间的空间映射关系；

基于所述第二空间变换映射矩阵，将所述待植入广告植入到所述视频片段中对应的广告植入位置；

其中，所述采用图像匹配算法，计算所述视频片段中所有视频帧和所述标准帧的空间映射关系，得到空间变换映射矩阵，记为第一空间变换映射矩阵，具体包括：

将所述标准帧对应的视频图像转换成灰度图，记为第一灰度图，以及将当前帧对应的视频图像换成灰度图，记为第二灰度图，所述当前帧为当前用于植入待植入广告的视频帧；

基于所述第一灰度图确定所述标准帧对应的图像特征信息，以及基于所述第二灰度图确定所述当前帧对应的图像特征信息；

基于所述当前帧对应的图像特征信息，将所述当前帧划分成多个小方格，并将图像特征复杂度最高的小方格确定为目标小方格；

基于所述标准帧对应的图像特征信息，从所述标准帧中查找到与所述目标小方格对应的图像特征信息的互相关信息最强的目标位置，并基于所述目标位置初始化空间变换映射矩阵；

基于已初始化的空间变换映射矩阵，计算所述标准帧对应的视频图像以及所述当前帧对应的视频图像的全局互相关信息；

通过梯度下降法优化所述已初始化的空间变换映射矩阵，得到所述全局互相关信息最大化的所述第一空间变换映射矩阵。

2.根据权利要求1所述的广告植入方法，其特征在于，所述基于所述第二空间变换映射矩阵，将所述待植入广告植入到所述视频片段中对应的广告植入位置，具体包括：

根据所述每一帧广告植入位置的视频图像信息，对所述待植入广告进行相对应的图像处理，得到能够与所述每一帧广告植入位置的视频图像实现背景融合的目标广告；

基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

对植入到所述视频片段中的所述目标广告进行边缘羽化，使所述目标广告与所述视频片段的视频场景自然融合。

3.根据权利要求2所述的广告植入方法，其特征在于，所述基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置，具体包括：

对所述视频片段中的每帧图像进行人像语义分割，得到mask图像；

基于所述mask图像，判断所述目标广告是否遮挡所述视频片段中的人像；

如果否，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

如果是，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置，并将所述人像设置在植入的所述目标广告的前面。

4.根据权利要求2所述的广告植入方法，其特征在于，所述根据所述每一帧广告植入位置的视频图像信息，对所述待植入广告进行相对应的图像处理，得到能够与所述每一帧广告植入位置的视频图像实现背景融合的目标广告，具体包括：

对所述待植入广告对应的广告图像和当前帧对应的视频图像分别进行傅里叶变换，所述当前帧为当前用于植入待植入广告的视频帧；

对傅里叶变换后的广告图像进行低通滤波，得到所述待植入广告的低频信息，以及对傅里叶变换后的视频图像进行低通滤波，得到所述当前帧的低频信息；

将所述当前帧的低频信息加权融合到所述待植入广告的低频信息中；

对加权融合后的待植入广告进行傅里叶反变换，得到加权后的待植入广告；

对所述加权后的待植入广告进行与所述当前帧的亮度变化效果相同的亮度调整，得到所述目标广告。

5.一种广告植入系统，其特征在于，包括：

指令获取单元，用于获取初始广告植入位置的选择指令，并将所述选择指令中包含的所述初始广告植入位置在视频片段中对应的视频帧标记为标准帧；

第一映射矩阵计算单元，用于采用图像匹配算法，计算所述视频片段中所有视频帧和所述标准帧的空间映射关系，得到空间变换映射矩阵，记为第一空间变换映射矩阵；

植入位置确定单元，用于基于所述第一空间变换映射矩阵，确定待植入广告在所述视频片段的每一帧广告植入位置；

第二映射矩阵计算单元，用于根据所述每一帧广告植入位置，计算所述待植入广告在所述视频片段的空间变换映射矩阵，记为第二空间变换映射矩阵；第二空间变换映射矩阵表征待植入广告与视频片段各个视频帧之间的空间映射关系；

广告植入单元，用于基于所述第二空间变换映射矩阵，将所述待植入广告植入到所述视频片段中对应的广告植入位置；

其中，所述第一映射矩阵计算单元具体包括：

图像转换子单元，用于将所述标准帧对应的视频图像转换成灰度图，记为第一灰度图，以及将当前帧对应的视频图像换成灰度图，记为第二灰度图，所述当前帧为当前用于植入待植入广告的视频帧；

图像特征信息确定单元，用于基于所述第一灰度图确定所述标准帧对应的图像特征信息，以及基于所述第二灰度图确定所述当前帧对应的图像特征信息；

方格划分子单元，用于基于所述当前帧对应的图像特征信息，将所述当前帧划分成多个小方格，并将图像特征复杂度最高的小方格确定为目标小方格；

查找子单元，用于基于所述标准帧对应的图像特征信息，从所述标准帧中查找到与所述目标小方格对应的图像特征信息的互相关信息最强的目标位置，并基于所述目标位置初始化空间变换映射矩阵；

计算子单元，用于基于已初始化的空间变换映射矩阵，计算所述标准帧对应的视频图像以及所述当前帧对应的视频图像的全局互相关信息；

优化子单元，用于通过梯度下降法优化所述已初始化的空间变换映射矩阵，得到所述全局互相关信息最大化的所述第一空间变换映射矩阵。

6.根据权利要求5所述的广告植入系统，其特征在于，所述广告植入单元具体包括：

图像处理子单元，用于根据所述每一帧广告植入位置的视频图像信息，对所述待植入广告进行相对应的图像处理，得到能够与所述每一帧广告植入位置的视频图像实现背景融合的目标广告；

广告植入子单元，用于基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

边缘羽化子单元，用于对植入到所述视频片段中的所述目标广告进行边缘羽化，使所述目标广告与所述视频片段的视频场景自然融合。

7.根据权利要求6所述的广告植入系统，其特征在于，所述广告植入子单元具体用于：

对所述视频片段中的每帧图像进行人像语义分割，得到mask图像；

基于所述mask图像，判断所述目标广告是否遮挡所述视频片段中的人像；

如果否，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置；

如果是，则基于所述第二空间变换映射矩阵，将所述目标广告植入到所述视频片段中对应的广告植入位置，并将所述人像设置在植入的所述目标广告的前面。

8.根据权利要求6所述的广告植入系统，其特征在于，所述图像处理子单元具体用于：

对所述待植入广告对应的广告图像和当前帧对应的视频图像分别进行傅里叶变换，所述当前帧为当前用于植入待植入广告的视频帧；

对傅里叶变换后的广告图像进行低通滤波，得到所述待植入广告的低频信息，以及对傅里叶变换后的视频图像进行低通滤波，得到所述当前帧的低频信息；

将所述当前帧的低频信息加权融合到所述待植入广告的低频信息中；

对加权融合后的待植入广告进行傅里叶反变换，得到加权后的待植入广告；

对所述加权后的待植入广告进行与所述当前帧的亮度变化效果相同的亮度调整，得到所述目标广告。