CN111586440B

CN111586440B - 多媒体资源的投放方法、装置、服务器及存储介质

Info

Publication number: CN111586440B
Application number: CN201910117108.1A
Authority: CN
Inventors: 郑远力; 顾照鹏; 谢年华
Original assignee: Tencent Technology Shenzhen Co Ltd
Current assignee: Tencent Technology Shenzhen Co Ltd
Priority date: 2019-02-15
Filing date: 2019-02-15
Publication date: 2022-03-11
Anticipated expiration: 2039-02-15
Also published as: CN111586440A

Abstract

本发明公开了一种多媒体资源的投放方法、装置、服务器及存储介质，属于互联网技术领域。所述方法包括：根据当前帧图像的初始单应矩阵和第一帧图像的第一展示区域，确定当前帧图像的第二展示区域；根据第一展示区域和第二展示区域内各个像素点的像素值之间的相关度，对当前帧图像的初始单应矩阵进行优化，得到优化后的单应矩阵；根据优化后的单应矩阵，将多媒体资源投放到第二展示区域上。本发明将对前一帧图像优化后的单应矩阵作为当前帧图像的初始单应矩阵，并根据两个展示区域内各个像素点的像素值之间的相关度对其进行优化，该优化后的单应矩阵准确度较高，可将多媒体资源能够精准地投放到相应的展示区域上，因而展示效果较佳。

Description

多媒体资源的投放方法、装置、服务器及存储介质

技术领域

本发明涉及互联网技术领域，特别涉及一种多媒体资源的投放方法、装置、服务器及存储介质。

背景技术

随着互联网技术的发展，广告的传播媒介及投放方式不断丰富，除了传统的广播、电视、户外广告牌等投放方式外，通过在短视频、视频直播、微电影等视频文件中植入广告进行广告投放，逐渐受到越来越多广告商的青睐。如果将广告称为多媒体资源，将包括用于展示广告的广告位的区域称为展示区域，由于在视频文件播放过程中每帧图像上的展示区域是不同的，因此，如何对多媒体资源进行投放，以在每帧图像上均能获得较佳的展示效果，成为多媒体资源投放过程中亟需解决的问题。

相关技术对多媒体资源进行投放时，主要采用如下方法：根据亮度和纹理等特征，从第一帧图像的第一展示区域中选取第一特征点；从当前帧图像上获取与第一特征点匹配的第二特征点；根据第一特征点的位置坐标和第二特征点的位置坐标，确定当前帧图像的单应矩阵；根据该单应矩阵，将第一展示区域上的每个像素点映射到当前帧图像上，得到第二展示区域；根据该单应矩阵将多媒体资源投放到第二展示区域上。

由于受到图像噪声等因素影响，从当前帧图像上提取的第二特征点并不准确，基于第二特征点所确定的单应矩阵也不够准确，因而无法精准地将多媒体资源投放到相应的展示区域上，导致多媒体资源的展示效果不佳。

发明内容

为了解决相关技术的问题，本发明实施例提供了一种多媒体资源的投放方法、装置、服务器及存储介质。所述技术方案如下：

一方面，提供了一种多媒体资源的投放方法，所述方法包括：

根据当前帧图像的初始单应矩阵和第一帧图像的第一展示区域，确定所述当前帧图像的第二展示区域，所述当前帧图像的初始单应矩阵为对上一帧图像的初始单应矩阵优化得到；

确定所述第一展示区域和所述第二展示区域内各个像素点的像素值之间的相关度；

根据所述相关度，对所述当前帧图像的初始单应矩阵进行优化，得到优化后的单应矩阵；

根据所述优化后的单应矩阵，将多媒体资源投放到所述第二展示区域上。

另一方面，提供了一种多媒体资源的投放装置，所述装置包括：

区域确定模块，用于根据当前帧图像的初始单应矩阵和第一帧图像的第一展示区域，确定所述当前帧图像的第二展示区域，所述当前帧图像的初始单应矩阵为对上一帧图像的初始单应矩阵优化得到；

相关度确定模块，用于确定所述第一展示区域和所述第二展示区域内各个像素点的像素值之间的相关度；

矩阵优化模块，用于根据所述相关度，对所述当前帧图像的初始单应矩阵进行优化，得到优化后的单应矩阵；

资源投放模块，用于根据所述优化后的单应矩阵，将多媒体资源投放到所述第二展示区域上。

另一方面，提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现多媒体资源的投放方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现多媒体资源的投放方法。

本发明实施例提供的技术方案带来的有益效果是：

将对前一帧图像优化后的单应矩阵作为当前帧图像的初始单应矩阵，并根据两个展示区域内各个像素点的像素值之间的相关度对其进行优化，该优化后的单应矩阵准确度较高，可将多媒体资源能够精准地投放到相应的展示区域上，因而展示效果较佳。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种多媒体资源的投放方法流程图；

图2是本发明实施例提供的一帧图像及广告图片的示意图；

图3是本发明实施例提供的一种植入广告的效果图；

图4是本发明实施例提供的另一种植入广告的效果图；

图5是本发明实施例提供的一帧图像的示意图；

图6是本发明实施例提供的一种植入广告的效果图；

图7是本发明实施例提供的另一种植入广告的效果图；

图8是本发明实施例提供的一帧图像的示意图；

图9是本发明实施例提供的一种植入广告的效果图；

图10是本发明实施例提供的另一种植入广告的效果图；

图11是本发明实施例提供的多媒体资源的投放装置结构示意图；

图12是根据一示例性实施例示出的一种用于多媒体资源的投放的服务器。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

视频广告植入(video-in advertisement)是指利用计算机视觉技术在已经制作完成的视频文件中智能植入广告，相比视频前后贴、视频浮层等传统视频技术，具有代入感更强、体验更优、流量覆盖较高等优点，已成为一种重要的广告投放方式。

目前，相关技术基于视频广告植入的广告投放方式投放广告时，从第一帧图像的展示区域上提取特征点，并获取特征点在当前帧图像上的映射点，进而根据第一帧图像和当前帧图像上的特征点的位置坐标，确定出当前帧图像的单应矩阵，基于所确定的单应矩阵对广告进行投放。然而，相关技术存在以下几个缺陷：

1、当展示区域的亮度变化较小、纹理特征不丰富时，很难提取出特征点，导致该方法无法实现；

2、受到图像噪声等因素影响，所提取的特征点不够稳定，容易抖动，导致所确定单应矩阵误差较大；

3、单一像素点无法代表整帧图像，因而该方法的可靠性较低；

4、当展示区域存在遮挡时，特征点的选取会存在一定的误差，无法精准地将广告投放到相应的位置上，导致投放结果准确性较低。

为了解决相关技术中存在的问题，本发明实施例提供了一种多媒体资源的投放方法，该方法对视频文件的某一个平面进行跟踪，基于完整图块的相关度计算并优化单应矩阵，在计算过程中将被遮挡的像素剔除，进而基于优化后的单应矩阵计算该平面在每一帧图像中映射的区域以及形变，并将广告也变换成相应的形状，覆盖到每帧图像的目标平面上，从而达到植入广告的效果。

本发明实施例提供了一种多媒体资源的投放方法，参见图1，本发明实施例提供的方法流程包括：

101、服务器根据当前帧图像的初始单应矩阵和第一帧图像的第一展示区域，确定当前帧图像的第二展示区域。

在计算机视觉中，平面的单应性被定义为一个平面到另外一个平面的投影映射，相应地，单应矩阵可以定义为表示平面映射关系的矩阵，也就是说，采用单应矩阵可将一个平面上的点映射到另一个平面上。

在对多媒体资源进行投放时，服务器需要预先确定视频文件中第一帧图像的第一展示区域，该第一展示区域为后续投放过程中需要追踪的区域。该第一展示区域的形状可以为三角形、长方形、正方形、菱形、圆形等形状，本发明实施不对第一展示区域的形状作具体的限定。该第一展示区域可以采用人工方式进行选取，还可以采用深度学习等方法进行选取，本发明实施例不对第一展示区域的选取作具体的限定。以采用人工方式选取第一展示区域为例，技术人员可根据第一帧图像上的内容，从第一帧图像上选取展示效果较佳的区域，并根据多媒体资源的大小及形状，从所确定的具有较佳展示效果的区域上确定四个点，该四个点所围成的区域即为第一展示区域，该第一展示区域的四条边与多媒体资源的四条边重合。

其中，当前帧图像的初始单应矩阵由服务器所设置，为上一帧图像的优化后的单应矩阵，可通过对上一帧图像的初始单应矩阵优化得到。对于对上一帧图像的初始单应矩阵进行优化的方法，与后续对当前帧图像的初始单应矩阵进行优化的方法相同，具体参见后续步骤，此处暂不详述。

具体地，服务器根据当前帧图像的初始单应矩阵和第一帧图像的第一展示区域，确定当前帧图像的第二展示区域时，可采用如下步骤：

1011、服务器获取第一展示区域内各个像素点的位置坐标。

服务器以每帧图像的长和宽作为横轴和纵轴，建立直角坐标系，并基于所建立的直角坐标系，获取第一展示区域内各个像素点的位置坐标。设定第一展示区域内各个像素点的位置坐标分别为p₁ ¹(u₁ ¹,v₁ ¹)、p₂ ¹(u₂ ¹,v₂ ¹)、p₃ ¹(u₃ ¹,v₃ ¹)、…、p_n ¹(u_n ¹,v_n ¹)，第一展示区域内各个像素点的位置坐标构成的集合为A₁，则A₁＝{p₁ ¹(u₁ ¹,v₁ ¹)，p₂ ¹(u₂ ¹,v₂ ¹)，p₃ ¹(u₃ ¹,v₃ ¹)…p_n ¹(u_n ¹,v_n ¹)}。其中，u为像素点的横坐标，v为像素点的纵坐标，n为像素点的数量。

1012、服务器根据当前帧图像的初始单应矩阵和第一展示区域内各个像素点的位置坐标，确定各个像素点在当前帧图像上的映射点的位置坐标。

服务器根据当前帧图像的初始单应矩阵和第一展示区域内各个像素点的位置坐标，可以应用以下公式，确定各个像素点在当前帧图像上的映射点的位置坐标：

p_i ²(u_i ²,v_i ²)＝H·p_i ¹(u_i ¹,v_i ¹)

其中，H为当前帧图像的初始单应矩阵，p_i ¹(u_i ¹,v_i ¹)为第一展示区域中任一像素点p_i ¹的位置坐标，p_i ²(u_i ²,v_i ²)为p_i ¹(u_i ¹,v_i ¹)在当前帧图像上的映射点p_i ²的位置坐标。

设定

则应用上述公式，第一展示区域中任一像素点p_i ¹(u_i ¹,v_i ¹)在当前帧图像上的映射点p_i ²(u_i ²,v_i ²)的坐标为：

例如，对于第一展示区域中第一个像素点p₁ ¹(u₁ ¹,v₁ ¹)在当前帧图像上的映射点p₂ ¹(u₂ ¹,v₂ ¹)的坐标为

当当前帧图像为第二帧图像时，当前帧图像的初始单应矩阵为单位矩阵，例如，

1013、服务器将当前帧图像上与各个映射点的坐标位置相同的像素点所组成的区域，确定为第二展示区域。

服务器获取当前帧图像上与各个映射点的坐标位置相同的像素点，并将当前帧图像上与各个映射点的坐标位置相同的像素点所组成的区域，确定为第二展示区域。该第二展示区域为当前帧图像上用于投放多媒体资源的区域。设定第二展示区域内各个像素点的位置坐标分别为p₁ ²(u₁ ²,v₁ ²)、p₂ ²(u₂ ²,v₂ ²)、p₃ ²(u₃ ²,v₃ ²)、…、p_n ²(u_n ²,v_n ²)，第二展示区域内各个像素点的位置坐标构成的集合为A₂，则A₂＝{p₁ ²(u₁ ²,v₁ ²)，p₂ ²(u₂ ²,v₂ ²)，p₃ ²(u₃ ²,v₃ ²)…p_n ²(u_n ²,v_n ²)}。

102、服务器确定第一展示区域和第二展示区域内各个像素点的像素值之间的相关度。

其中，相关度表示第一展示区域和第二展示区域的关联程度，可以采用SSD(Sumof Squared Differences，误差平方和算法)方法、皮尔森相关法等进行计算。

具体地，服务器确定第一展示区域和第二展示区域内各个像素点的像素值之间的相关度时，可采用如下步骤：

1021、服务器获取第一展示区域内各个像素点的像素值，并获取第二展示区域内各个像素点的像素值。

基于所确定的第一展示区域，服务器可获取第一展示区域内各个像素点的像素值。基于所确定的第二展示区域，服务器可获取第二展示区域内各个像素点的像素值。

考虑到视频文件的每帧图像上还包括人、车、建筑物等其他物体，这些物体可能会遮挡第一展示区域或第二展示区域中的部分像素点，由于被遮挡的像素点的像素值无法获取到，因而本发明实施例需要识别第一展示区域及第二展示区域上被遮挡的像素点，并在获取第一展示区域及第二展示区域内各个像素点的像素值时，忽略识别出的被遮挡的像素点。在识别第一展示区域及第二展示区域上被遮挡的像素点时，可以采用人工方式，也可以采用深度学习方法，本发明实施例对此不作具体的限定。

经过上述操作，进行相关度计算的像素点为非遮挡像素点，对于被遮挡像素点不进行相关度计算。本发明实施例通过将被遮挡的像素点剔除，提高了相关度计算结果的准确性。

1022、服务器根据第一展示区域内各个像素点的像素值、第二展示区域内各个像素点的像素值、当前帧图像的初始单应矩阵及增量矩阵，确定第一展示区域和第二展示区域内各个像素点的像素值之间的相关度。

其中，增量矩阵为在对第一展示区域和第二展示区域进行相关度计算时，为初始单应矩阵设置的变化量。服务器根据第一展示区域内各个像素点的像素值、第二展示区域内各个像素点的像素值、当前帧图像的初始单应矩阵及增量矩阵，所确定的第一展示区域和第二展示区域内各个像素点的像素值之间的相关度f(A₁,A_i)为：

f(A₁,A_i)＝f(I₁(p₁ ¹,p₂ ¹…p_n ¹),I_i((H+ΔH)·(p_i ²,p_i ²…p_i ²)))

其中，I₁为第一帧图像中各个像素点的像素值，ΔH为增量矩阵，I_i为当前帧图像中各个像素点的像素值。

例如，当当前帧图像为第二帧图像时，第一展示区域和第二展示区域内各个像素点的像素值之间的相关度f(A₁,A₂)为：

f(A₁,A₂)＝f(I₁(p₁ ¹,p₂ ¹…p_n ¹),I₂((H₂+ΔH)·(p₁ ²,p₂ ²…p_n ²)))。

103、服务器根据相关度，对当前帧图像的初始单应矩阵进行优化，得到优化后的单应矩阵。

基于所确定的相关度，服务器通过不断调整增量矩阵的值，以计算相关度值，其目的是通过对相关度值进行计算，获取使得相关度值最大的增量矩阵，从而根据得到的使得相关度值最大的增量矩阵及初始单应矩阵，获取优化后的单应矩阵。以第一帧图像和第二帧图像为例，该优化原理可以用以下公式表示：

其中，

为使相关度值最大的增量矩阵。

服务器对当前帧图像的初始单应矩阵进行优化时，可采用梯度下降方法、高斯牛顿法、牛顿法等等，本发明实施不对优化方法作具体的限定。

具体优化时，可采用如下步骤：

1031、服务器根据预设的初始值和增量矩阵迭代公式，不断调整增量矩阵。

服务器为增量矩阵预先设置一个初始值，并设置增量矩阵迭代公式，该增量迭代公式用于表征当前次迭代时的增量矩阵与下一次迭代时的增量矩阵之间的关系。基于增量矩阵的初始值和增量矩阵迭代公式，服务器可确定出每次迭代计算时增量矩阵的值，从而对增量矩阵进行调整。

1032、服务器基于调整后的增量矩阵和相关度，计算相关度值。

服务器将增量矩阵的初始值代入到相关度中，通过计算可以得到一个相关度值。接着服务器将增量矩阵的初始值代入到增量矩阵迭代公式中，得到一个增量矩阵的值，并将该增量矩阵的值代入到相关度中，通过计算可以得到一个相关度值。服务器重复执行上述过程，直至迭代次数达到指定次数，或者连续两次计算出的相关度值之间的差值满足阈值条件。

1033、服务器获取最大相关度值对应的增量矩阵。

服务器从所计算的多个相关度值中获取最大相关度值，并获取最大相关度值对应的增量矩阵。

1034、服务器根据最大相关度值对应的增量矩阵和当前帧图像的初始单应矩阵，确定优化后的单应矩阵。

服务器通过将最大相关度值对应的增量矩阵和当前帧图像的初始单应矩阵相加，可得到优化后的单应矩阵。设定初始单应矩阵为

最大相关度值对应的增量矩阵

则优化后的单应矩阵为：

104、服务器根据优化后的单应矩阵，将多媒体资源投放到第二展示区域上。

其中，多媒体资源可以为静态图片，也可以为动态图片，例如，短视频等，本发明实施例不对多媒体资源的类型进行具体的限定。基于优化后的单应矩阵，服务器将多媒体资源投放到第二展示区域时，可采用如下步骤：

1041、服务器根据优化后的单应矩阵，对多媒体资源进行处理，得到处理后的多媒体资源。

服务器采用优化后的矩阵，对多媒体资源上的各个像素点进行映射，得到处理后的多媒体资源。

1042、服务器将处理后的多媒体资源添加到第二展示区域上。

服务器通过将处理后的多媒体资源的图层叠加到第二展示区域的图层之上，将多媒体资源添加到第二展示区域，从而实现对多媒体资源的投放。

在本发明实施例中，第一展示区域和第二展示区域可以包括至少一个广告位，每个广告位用于展示一个多媒体资源。在第一展示区域上展示多媒体资源时，可在第一展示区域的各个广告位上展示同一静态图片，也可以展示不同的静态图片，也可以展示同一短视频内的不同图片，还可以展示不同短视频的图片，本发明实施例对此不作具体的限定。在第二展示区域上展示多媒体资源时与第一展示区域相同，此处不再赘述。

需要说明的是，当第一展示区域包括一个广告位，在多媒体资源投放时，如果在整个视频文件中投放的多媒体资源相同，则可将相同的多媒体资源处理后添加到对应的展示区域；如果在不同帧图像上投放的多媒体资源不同，则可将不同的多媒体资源添加到对应的展示区域。也即是，可以在视频文件中投放一个多媒体资源，可以投放多个多媒体资源。

以多媒体资源为广告图片为例，图2～图10为广告投放前后的效果图。其中，图2中的左图为视频文件中的任一帧图像的示意图，图2中的右图为待投放的广告图片的示意图，图3为将该广告图片投放在该帧图像上的展示效果图，图4为将该广告图片投放到另一帧图像上的展示效果图。通过对比图3和图4可以看出，用于展示广告图片的展示区域形状大小均不同，但是采用本发明实施例提供的方法可将广告图片完美的贴合到相应的展示区域，用户体验效果较佳。

图5为另一视频文件中的任一帧图像的示意图，图6为将一个广告图片投放在该帧图像上的展示效果图，图7为将同一广告图片投放到另一帧图像上的展示效果图。通过对比图6和图7可以看出，用于展示广告图片的展示区域形状大小均不同，但是采用本发明实施例提供的方法可将广告图片完美的贴合到相应的展示区域，用户体验效果较佳。

图8为另一视频文件中的任一帧图像的示意图，图9为将一个广告图片投放在该帧图像上的展示效果图，图7为将另一广告图片投放到另一帧图像上的展示效果图。通过对比图6和图7可以看出，用于展示广告图片的展示区域形状大小均不同，且广告图片的形状大小也不同，但是采用本发明实施例提供的方法可将不同广告图片完美的贴合到相应的展示区域，用户体验效果较佳。

需要说明的是，上述以在当前帧图像上投放多媒体资源为例，对于其他帧图像可以采用上述方法进行处理，直至最后一帧图像。

下面以在视频文件中的第一帧图像、第二帧图像和第三帧图像上植入广告ad₁为例，对整个处理过程进行说明。

第一步，服务器在视频文件的第一帧图像上选择待植入广告的平面区域，并获取该平面区域上的所有像素点的位置坐标组成的集合A₁：

A₁＝{p₁ ¹(u₁ ¹,v₁ ¹)，p₁ ²(u₁ ²,v₁ ²)，p₁ ³(u₁ ³,v₁ ³)…p₁ ⁿ(u₁ ⁿ,v₁ ⁿ)}

其中，p₁(u₁,v₁)表示的是该平面区域中的每一个像素点的位置坐标。

第二步，服务器在这个区域上面放置广告ad₁。

第三步，服务器设置第二帧图像的初始单应矩阵H₂为

并采用H₂把A₁映射到第二帧图像上，得到A₂平面区域。以A₁中的某一个像素点p₁ ¹的坐标位置p₁ ¹(u₁ ¹,v₁ ¹)为例，将其映射到A₂中，其对应的像素点p₁ ²的坐标位置p₂ ¹(u₂ ¹,v₂ ¹)为：p₁ ²(u₁ ²,v₁ ²)＝H·p₁ ¹(u₁ ¹,v₁ ¹)

其中，

第四步，服务器确定A₁区域的每一像素点p₁(u₁,v₁)的像素值与A₂区域的每一像素点p₂(u₂,v₂)的像素值之间的相关度f的表达式。

第五步，服务器根据相关度f的表达式，优化初始单应矩阵H₂。该过程也即是对H₂进行调整ΔH，使得相关度f的值最大。其优化表达式如下：

第六步，根据第五步的优化结果，可以得到优化后的

优化后的

为：

第七步，采用

对ad₁进行处理，得到ad₂，并将ad₂贴在第二帧图像上。

第八步，将优化后的

作为第三帧图像的初始单应矩阵H₃，采用H₃将A₁映射到第三帧图像上，并执行上述步骤四至步骤七，得到优化后的单应矩阵

并将其作为第四帧图像的初始单应矩阵H₄。如此重复执行上述第一步至第七步，直至将ad₂贴在最后一帧图像上。

本发明实施例的应用场景为：当获取到视频文件后，服务器在视频文件的每帧图像上添加广告图片，当接收到终端发送的对视频文件的播放请求后，将植入广告的视频文件发送至终端，由终端进行播放，从而实现了广告的投放。

本发明实施例提供的方法，将对前一帧图像优化后的单应矩阵作为当前帧图像的初始单应矩阵，并根据两个展示区域内各个像素点的像素值之间的相关度对其进行优化，该优化后的单应矩阵准确度较高，可将多媒体资源能够精准地投放到相应的展示区域上，因而展示效果较佳。

本发明实施例提供的方法还具有以下有益效果：

1、不依赖于提取特征点，可以在目标平面亮度变化较小、纹理不丰富的情况下，也能投放多媒体资源；

2、充分利用整个目标平面的信息，使得计算结果更可靠；

3、将上一帧图像优化后的单应矩阵作为当前帧图像的初始单应矩阵，并在此基础上进行优化，提高了计算速度；

4、在目标平面被遮挡时，通过剔除被遮挡的像素点进行有效跟踪。

参见图11，本发明实施例提供了一种多媒体资源的投放装置，该装置包括：

区域确定模块1101，用于根据当前帧图像的初始单应矩阵和第一帧图像的第一展示区域，确定当前帧图像的第二展示区域，当前帧图像的初始单应矩阵为对上一帧图像的初始单应矩阵优化得到；

相关度确定模块1102，用于确定第一展示区域和第二展示区域内各个像素点的像素值之间的相关度；

矩阵优化模块1103，用于根据相关度，对当前帧图像的初始单应矩阵进行优化，得到优化后的单应矩阵；

资源投放模块1104，用于根据优化后的单应矩阵，将多媒体资源投放到第二展示区域上。

在另一种可能的实现方式中，区域确定模块1101，用于获取第一展示区域内各个像素点的位置坐标；根据当前帧图像的初始单应矩阵和第一展示区域内各个像素点的位置坐标，确定各个像素点在当前帧图像上的映射点的位置坐标；将当前帧图像上与各个映射点的坐标位置相同的像素点所组成的区域，确定为第二展示区域。

在另一种可能的实现方式中，区域确定模块1101，用于根据当前帧图像的初始单应矩阵和第一展示区域内各个像素点的位置坐标，应用以下公式，确定各个像素点在当前帧图像上的映射点的位置坐标：

p_i ²(u_i ²,v_i ²)＝H·p_i ¹(u_i ¹,v_i ¹)

在另一种可能的实现方式中，相关度确定模块1102，用于获取第一展示区域内各个像素点的像素值，并获取第二展示区域内各个像素点的像素值；根据第一展示区域内各个像素点的像素值、第二展示区域内各个像素点的像素值、当前帧图像的初始单应矩阵及增量矩阵，确定第一展示区域和第二展示区域内各个像素点的像素值之间的相关度。

在另一种可能的实现方式中，该装置还包括：

忽略模块，用于当第一展示区域或第二展示区域中存在被遮挡的像素点，在进行相关度计算时忽略被遮挡的像素点。

在另一种可能的实现方式中，矩阵优化模块1103，用于根据预设的初始值和增量矩阵迭代公式，不断调整增量矩阵；基于调整后的增量矩阵和相关度，计算相关度值；获取最大相关度值对应的增量矩阵；根据最大相关度值对应的增量矩阵和当前帧图像的初始单应矩阵，确定优化后的单应矩阵。

在另一种可能的实现方式中，资源投放模块1104，用于根据优化后的单应矩阵对多媒体资源进行处理，得到处理后的多媒体资源；将处理后的多媒体资源添加到第二展示区域上。

在另一种可能的实现方式中，当当前帧图像为第二帧图像时，当前帧图像的初始单应矩阵为单位矩阵。

在另一种可能的实现方式中，第一展示区域和第二展示区域包括至少一个广告位，每个广告位用于展示一个多媒体资源。

综上所述，本发明实施例提供的装置，将对前一帧图像优化后的单应矩阵作为当前帧图像的初始单应矩阵，并根据两个展示区域内各个像素点的像素值之间的相关度对其进行优化，该优化后的单应矩阵准确度较高，可将多媒体资源能够精准地投放到相应的展示区域上，因而展示效果较佳。

图12是根据一示例性实施例示出的一种用于多媒体资源的投放的服务器。参照图12，服务器1200包括处理组件1222，其进一步包括一个或多个处理器，以及由存储器1232所代表的存储器资源，用于存储可由处理组件1222的执行的指令，例如应用程序。存储器1232中存储的应用程序可以包括一个或一个以上的每一个对应于一组指令的模块。此外，处理组件1222被配置为执行指令，以执行上述多媒体资源的投放方法中服务器所执行的功能。

服务器1200还可以包括一个电源组件1226被配置为执行服务器1200的电源管理，一个有线或无线网络接口1250被配置为将服务器1200连接到网络，和一个输入输出(I/O)接口1258。服务器1200可以操作基于存储在存储器1232的操作系统，例如WindowsServer^TM，Mac OS X^TM，Unix^TM,Linux^TM，FreeBSD^TM或类似。

本发明实施例提供的服务器，将对前一帧图像优化后的单应矩阵作为当前帧图像的初始单应矩阵，并根据两个展示区域内各个像素点的像素值之间的相关度对其进行优化，该优化后的单应矩阵准确度较高，可将多媒体资源能够精准地投放到相应的展示区域上，因而展示效果较佳。

本发明实施例提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现图1所示的多媒体资源的投放方法。

本发明实施例提供的计算机可读存储介质，将对前一帧图像优化后的单应矩阵作为当前帧图像的初始单应矩阵，并根据两个展示区域内各个像素点的像素值之间的相关度对其进行优化，该优化后的单应矩阵准确度较高，可将多媒体资源能够精准地投放到相应的展示区域上，因而展示效果较佳。

需要说明的是：上述实施例提供的多媒体资源的投放装置在投放多媒体资源时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将投放多媒体资源的装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的多媒体资源的投放装置与多媒体资源的投放方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种多媒体资源的投放方法，其特征在于，所述方法包括：

根据所述第一展示区域内各个像素点的像素值、所述第二展示区域内各个像素点的像素值、所述当前帧图像的初始单应矩阵及增量矩阵，确定所述第一展示区域和所述第二展示区域内各个像素点的像素值之间的相关度，所述增量矩阵为所述初始单应矩阵的变化量；

根据预设的初始值和增量矩阵迭代公式，不断调整所述增量矩阵；

基于调整后的增量矩阵和所述相关度，计算相关度值；

获取最大相关度值对应的增量矩阵；

根据所述最大相关度值对应的增量矩阵和所述当前帧图像的初始单应矩阵，确定所述优化后的单应矩阵；

2.根据权利要求1所述的方法，其特征在于，所述根据当前帧图像的初始单应矩阵和第一帧图像的第一展示区域，确定所述当前帧图像的第二展示区域，包括：

获取所述第一展示区域内各个像素点的位置坐标；

根据所述当前帧图像的初始单应矩阵和所述第一展示区域内各个像素点的位置坐标，确定各个像素点在所述当前帧图像上的映射点的位置坐标；

将所述当前帧图像上与各个映射点的坐标位置相同的像素点所组成的区域，确定为所述第二展示区域。

3.根据权利要求2所述的方法，其特征在于，所述根据所述当前帧图像的初始单应矩阵和所述第一展示区域内各个像素点的位置坐标，确定各个像素点在所述当前帧图像上的映射点的位置坐标，包括：

根据所述当前帧图像的初始单应矩阵和所述第一展示区域内各个像素点的位置坐标，应用以下公式，确定各个像素点在所述当前帧图像上的映射点的位置坐标：

p_i ²(u_i ²,v_i ²)＝H·p_i ¹(u_i ¹,v_i ¹)

其中，H为所述当前帧图像的初始单应矩阵，p_i ¹(u_i ¹,v_i ¹)为第一展示区域中任一像素点p_i ¹的位置坐标，p_i ²(u_i ²,v_i ²)为p_i ¹(u_i ¹,v_i ¹)在所述当前帧图像上的映射点p_i ²的位置坐标。

4.根据权利要求1所述的方法，其特征在于，所述根据所述第一展示区域内各个像素点的像素值、所述第二展示区域内各个像素点的像素值、所述当前帧图像的初始单应矩阵及增量矩阵，确定所述第一展示区域和所述第二展示区域内各个像素点的像素值之间的相关度之前，包括：

获取所述第一展示区域内各个像素点的像素值，并获取所述第二展示区域内各个像素点的像素值。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

当所述第一展示区域或第二展示区域中存在被遮挡的像素点，在进行相关度计算时忽略被遮挡的像素点。

6.根据权利要求1所述的方法，其特征在于，所述根据所述优化后的单应矩阵，将多媒体资源投放到所述第二展示区域上，包括：

根据所述优化后的单应矩阵对所述多媒体资源进行处理，得到处理后的多媒体资源；

将所述处理后的多媒体资源添加到所述第二展示区域上。

7.根据权利要求1所述的方法，其特征在于，当所述当前帧图像为第二帧图像时，所述当前帧图像的初始单应矩阵为单位矩阵。

8.根据权利要求1所述的方法，其特征在于，所述第一展示区域和所述第二展示区域包括至少一个广告位，每个广告位用于展示一个多媒体资源。

9.一种多媒体资源的投放装置，其特征在于，所述装置包括：

相关度确定模块，用于根据所述第一展示区域内各个像素点的像素值、所述第二展示区域内各个像素点的像素值、所述当前帧图像的初始单应矩阵及增量矩阵，确定所述第一展示区域和所述第二展示区域内各个像素点的像素值之间的相关度，所述增量矩阵为所述初始单应矩阵的变化量；

矩阵优化模块，用于：

基于调整后的增量矩阵和所述相关度，计算相关度值；

获取最大相关度值对应的增量矩阵；

10.根据权利要求9所述的装置，其特征在于，所述区域确定模块，用于：

获取所述第一展示区域内各个像素点的位置坐标；

11.根据权利要求10所述的装置，其特征在于，所述区域确定模块，用于：

p_i ²(u_i ²,v_i ²)＝H·p_i ¹(u_i ¹,v_i ¹)

其中，H为所述当前帧图像的初始单应矩阵，p_i ¹(u_i ¹,v_i ¹)为第一展示区域中任一像素点p_i ¹的位置坐标，p_i ²(u_i ²,v_i ²)为p_i ¹(u_i ¹,v_i ¹)在所述当前帧图像上的映射点的位置坐标。

12.根据权利要求9所述的装置，其特征在于，所述相关度确定模块，还用于：

13.根据权利要求12所述的装置，其特征在于，所述装置还包括：

忽略模块，用于当所述第一展示区域或第二展示区域中存在被遮挡的像素点，在进行相关度计算时忽略被遮挡的像素点。

14.根据权利要求9所述的装置，其特征在于，所述资源投放模块，用于：

将所述处理后的多媒体资源添加到所述第二展示区域上。

15.根据权利要求9所述的装置，其特征在于，当所述当前帧图像为第二帧图像时，所述当前帧图像的初始单应矩阵为单位矩阵。

16.根据权利要求9所述的装置，其特征在于，所述第一展示区域和所述第二展示区域包括至少一个广告位，每个广告位用于展示一个多媒体资源。

17.一种服务器，其特征在于，所述服务器包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由所述处理器加载并执行以实现如权利要求1至8中任一项所述的多媒体资源的投放方法。

18.一种计算机可读存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或所述指令集由处理器加载并执行以实现如权利要求1至8中任一项所述的多媒体资源的投放方法。