CN113345022A - 动态三维广告植入方法、装置、电子设备及存储介质 - Google Patents

Abstract

本发明提供一种动态三维广告植入方法、装置、电子设备及存储介质，对于视频片段内的标定帧和后续帧，结合特征点检测方法和光流跟踪技术可以追踪标定帧中特征点在后续帧中的位置坐标，基于此产生特征点的三维点云和拍摄视频相机移动时的相机参数，以重投影方式将标定帧中的三维广告图层贴合于所述后续帧中。本发明能实现在视频片段内植入三维广告，与人工植入相比，极大提升了植入效率，同时也大大降低了植入成本，而且本发明产生的植入效果能达到人眼无法区分后期植入，可以投入应用。

Description

动态三维广告植入方法、装置、电子设备及存储介质

技术领域

本发明涉及软件技术领域，更具体地说，涉及一种动态三维广告植入方法、装置、电子设备及存储介质。

背景技术

动态三维广告植入技术和其它的广告植入技术相比，无论是在覆盖场景、还是在植入广告信息的丰富程度都有着其它广告植入技术不可比拟的优势。

目前业界主流还是将其作为一个视频后期制作问题来处理，需要专业图像编辑人员使用专业的图像处理软件，将待植入的三维广告图层贴合在视频的合适位置。但该方法需要消耗大量的人力与时间，植入成本非常高，尤其一些热门视频需要快速进行广告植入，而目前人工植入的效率即使专业人员也无法快速批量化的处理。

发明内容

有鉴于此，为解决上述问题，本发明提供一种动态三维广告植入方法、装置、电子设备及存储介质，技术方案如下：

一种动态三维广告植入方法，所述方法包括：

获取待植入的视频片段，所述视频片段包括标定帧、以及拍摄时间晚于所述标定帧的后续帧，所述标定帧中预设有三维广告图层；

检测所述标定帧中的特征点，并基于光流跟踪技术识别所述特征点在所述标定帧和所述后续帧中的位置坐标；

根据所述特征点在所述标定帧和所述后续帧中的位置坐标，计算所述特征点的三维点云、以及所述后续帧与所述标定帧间的相机参数；

利用所述特征点的三维点云和所述相机参数，以重投影的方式将所述三维广告图层贴合于所述后续帧中。

优选的，所述获取待植入的视频片段，包括：

基于视频内容将目标视频切分为多个分镜片段；

计算每个分镜片段的分镜时长；

根据分镜时长从所述多个分镜片段中选取作为植入点位的分镜片段。

优选的，所述根据所述特征点在所述标定帧和所述后续帧中的位置坐标，计算所述特征点的三维点云、以及所述后续帧与所述标定帧间的相机参数之前，所述方法还包括：

根据所述特征点在所述标定帧和所述后续帧中的位置坐标，生成所述特征点的运动轨迹；

基于运动轨迹的偏移程度对所述特征点进行筛选。

优选的，所述方法还包括：

根据所述特征点在所述标定帧和所述后续帧中的位置坐标，确定所述特征点中在所述标定帧和所述后续帧中持续存在的第一特征点；

如果所述第一特征点的数量小于预设的数量阈值，对所述视频片段进行切分，以从切分结果中获取待植入的、包含所述标定帧的目标视频片段，并返回执行所述检测所述标定帧中的特征点，这一步骤。

优选的，所述利用所述特征点的三维点云和所述相机参数，以重投影的方式将所述三维广告图层贴合于所述后续帧中，包括：

确定所述特征点中与所述三维广告图层的角点距离最近的第二特征点；

根据所述第二特征点的三维点云、所述第二特征点在所述标定帧中的位置坐标和所述相机参数，计算所述第二特征点在所述标定帧中的第一深度值；

基于所述第一深度值、所述相机参数和所述角点在所述标定帧中的位置坐标，计算所述角点的三维点云；

根据所述第二特征点的三维点云、所述第二特征点在所述后续帧中的位置坐标和所述相机参数，计算所述第二特征点在所述后续帧中的第二深度值；

利用所述第二深度值、所述相机参数和所述角点的三维点云，计算所述角点在所述后续帧中的位置坐标，所述角点在所述后续帧中的位置坐标是贴合所述三维广告图层的依据。

一种动态三维广告植入装置，所述装置包括：

片段获取模块，用于获取待植入的视频片段，所述视频片段包括标定帧、以及拍摄时间晚于所述标定帧的后续帧，所述标定帧中预设有三维广告图层；

特征处理模块，用于检测所述标定帧中的特征点，并基于光流跟踪技术识别所述特征点在所述标定帧和所述后续帧中的位置坐标；

优化模块，用于根据所述特征点在所述标定帧和所述后续帧中的位置坐标，计算所述特征点的三维点云、以及所述后续帧与所述标定帧间的相机参数；

重投影模块，用于利用所述特征点的三维点云和所述相机参数，以重投影的方式将所述三维广告图层贴合于所述后续帧中。

优选的，所述片段获取模块，具体用于：

基于视频内容将目标视频切分为多个分镜片段；计算每个分镜片段的分镜时长；根据分镜时长从所述多个分镜片段中选取作为植入点位的分镜片段。

优选的，所述重投影模块，具体用于：

确定所述特征点中与所述三维广告图层的角点距离最近的第二特征点；根据所述第二特征点的三维点云、所述第二特征点在所述标定帧中的位置坐标和所述相机参数，计算所述第二特征点在所述标定帧中的第一深度值；基于所述第一深度值、所述相机参数和所述角点在所述标定帧中的位置坐标，计算所述角点的三维点云；根据所述第二特征点的三维点云、所述第二特征点在所述后续帧中的位置坐标和所述相机参数，计算所述第二特征点在所述后续帧中的第二深度值；利用所述第二深度值、所述相机参数和所述角点的三维点云，计算所述角点在所述后续帧中的位置坐标，所述角点在所述后续帧中的位置坐标是贴合所述三维广告图层的依据。

一种电子设备，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现任意一项所述的动态三维广告植入方法。

一种存储介质，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行任意一项所述的动态三维广告植入方法。

相较于现有技术，本发明实现的有益效果为：

本发明提供一种动态三维广告植入方法、装置、电子设备及存储介质，对于视频片段内的标定帧和后续帧，结合特征点检测方法和光流跟踪技术可以追踪标定帧中特征点在后续帧中的位置坐标，基于此产生特征点的三维点云和拍摄视频相机移动时的相机参数，以重投影方式将标定帧中的三维广告图层贴合于所述后续帧中。本发明能实现在视频片段内植入三维广告，与人工植入相比，极大提升了植入效率，同时也大大降低了植入成本，而且本发明产生的植入效果能达到人眼无法区分后期植入，可以投入应用。

此外，本发明提出的动态三维广告植入技术也能够扩展植入广告的视频场景，提升可植入广告视频的数量，能够显著地增加广告收益。平面广告植入技术能够植入的场景有限，一般都是视频中出现的电视机、广告版和宣传栏等场景，本发明则不限于这些场景、且植入范围不再局限于视频片段中平面区域。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的动态三维广告植入方法的方法流程图；

图2为本发明实施例提供的动态三维广告植入方法的部分方法流程图；

图3为本发明实施例提供的动态三维广告植入方法的另一部分方法流程图；

图4为本发明实施例提供的动态三维广告植入装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

广告植入是指将广告投放素材融入到视频的内容当中，相比于片头片尾、中插等广告形式，广告植入与情景深入融合，更容易让受众接受，起到潜移默化的宣传效果。

传统的广告植入是静态的，这要求在拍摄时就确定好拍摄内容，拍摄之后不容易变更。另外对拍摄道具的部署同样需要耗费大量资源，尤其在拍摄户外高楼广告牌等大型广告的时候成本极高。

动态广告植入是指对已经完成拍摄的视频内容进行二次合成，在合适的位置进行广告素材的插入，用来达到广告植入的目的。动态广告植入摆脱了拍摄的限制，使得植入广告不再受到拍摄周期的限制，同时也降低了广告植入的成本，充分利用了视频中的潜在广告资源，增加了广告售卖周期与应变能力，挖掘潜在的广告库存量，使得广告植入能根据实际情况进行灵活变动。

动态三维广告植入技术和其它的广告植入技术相比，无论是在覆盖场景(潜在的植入视频片段)还是在植入广告信息的丰富程度都有着其它广告植入技术不可比拟的优势。目前业界主流还是将其作为一个视频后期制作问题来处理，需要专业图像编辑人员使用专业的图像处理软件，将待植入的三维广告图层贴合在视频的合适位置。但该方法需要消耗大量的人力与时间，植入成本非常高，尤其一些热门视频需要快速进行广告植入，而目前人工植入的效率即使专业人员也无法快速批量化的处理。

为解决上述问题，本发明提供一种动态三维广告植入方法，该方法的方法流程图如图1所示，包括如下步骤：

S10，获取待植入的视频片段，视频片段包括标定帧、以及拍摄时间晚于标定帧的后续帧，标定帧中预设有三维广告图层。

本发明实施例中，对于一个视频片段，其由一组连续拍摄时间下的视频帧组成，对于该视频片段，可以设置其中一个视频帧作为标定帧，拍摄时间晚于该标定帧的其他视频帧则作为后续帧。

在标定帧中，可以设置三维广告图层，该三维广告图层可以通过人为干预的方式被拖放至标定帧中，采用特定工具能够调整该三维广告图层在标定帧中的位置、大小和角度，这种方式产生的三维广告图层虽然是平面图像，但是通过光影渲染之后就可以产生“看起来是三维”的视觉效果。需要说明的是，该三维广告图层用以贴合三维广告图片。

在具体实现中，为选择具有稳定场景的视频片段，即该视频片段的背景应该大致保持一致，步骤S10中“获取待植入的视频片段”可以采用如下步骤，方法流程图如图2所示：

S101，基于视频内容将目标视频切分为多个分镜片段。

S102，计算每个分镜片段的分镜时长。

S103，根据分镜时长从多个分镜片段中选取作为植入点位的分镜片段。

本发明实施例中，对于一个待处理的目标视频，其大多数会涉及多个场景的切换，因此，可以基于视频内容变换的分镜算法将目标视频切分为多个分镜片段，具体可以通过计算连续两个视频帧间的像素值的差异来确定分镜片段的切分点；进而，考虑到广告投放是按照时长付费的，因此可以进一步筛选持续时长较大的分镜片段，具体的，分镜时长为分镜片段中首帧到尾帧的帧数除以目标视频的帧率的结果，而目标视频的帧率是预先确定的；最后，设置一时长阈值，保留分镜时长大于该时长阈值的分镜片段，选取其作为植入点位的分镜片段，进入后续流程。

一般来说，作为植入点位的分镜片段，可以将其首帧作为标定帧，拍摄时间晚于其的其他视频帧作为后续帧。

S20，检测标定帧中的特征点，并基于光流跟踪技术识别特征点在标定帧和后续帧中的位置坐标。

本发明实施例中，对于标定帧，可以使用诸如Shi-Tomas角点检测算法之类的特征点检测算法来检测其中适合追踪的角点，即特征点，从而确定特征点在标定帧中的位置。

进而，对后续帧使用诸如lucas-kanade稀疏光流追踪算法之类的光流跟踪算法来追踪特征点在后续帧中出现的位置。具体的，光流跟踪算法用以提供当前帧与其上一帧的偏移值，进而根据特征点在上一帧中的位置坐标、结合该偏移值来确定特征点在当前帧中的位置坐标，以该方式迭代获得特征点在各后续帧中的位置坐标。

在其他一些实施例中，为保证特征点追踪的准确性，本发明实施例还可以进一步执行如下步骤：

根据特征点在标定帧和后续帧中的位置坐标，生成特征点的运动轨迹；基于运动轨迹的偏移程度对特征点进行筛选。

本发明实施例中，针对每个特征点，根据该特征点在标定帧以及后续帧中的位置坐标，能够绘制其(时间-位置)维度下的运动轨迹。综合所有特征点的运动轨迹，能够确定超过半数的大部分特征点的运动趋势，以该运动趋势为基准，计算各特征点的偏移程度，偏移程度越大则表示位置追踪误差越大，从而将偏移程度较大，比如大于预设程度阈值的特征点丢弃。

在其他一些实施例中，为保证视频片段内特征的可追溯性，本发明实施例可以进一步执行如下步骤：

根据特征点在标定帧和后续帧中的位置坐标，确定特征点中在标定帧和后续帧中持续存在的第一特征点；如果第一特征点的数量小于预设的数量阈值，对视频片段进行切分，以从切分结果中获取待植入的、包含标定帧的目标视频片段，并返回执行步骤S20。

本发明实施例中，根据位置坐标统计在标定帧和后续帧中持续存在，即从标定帧到最后一个后续帧中都存在的特征点，如果这类特征点的数量过少，则可以认为能够将该待植入的视频片段切分为更细的片段，切分结果中包含标定帧的目标视频片段进入后续流程，相应的，该目标视频片段中拍摄时间晚于标定帧的视频帧作为后续帧。

S30，根据特征点在标定帧和后续帧中的位置坐标，计算特征点的三维点云、以及后续帧与标定帧间的相机参数。

本发明实施例中，通过BA(Bundle Adjustment)优化能够根据特征点在标定帧和后续帧中二维的位置坐标，采用一些假设建立一个形式上为最小二乘法的方式，通过优化该方程求解特征点的三维点云、以及相机运动过程中的相关参数，包括内参(焦距长度)和外参(拍摄时帧与帧之间的相机旋转和平移)。

BA优化技术是SfM(Structure from Motion，运动恢复结构)技术中的一种常见技术。SfM是通过一系列的2D图像，来获取图像中场景的3D坐标，从而对3D场景进行重建。BA优化过程如下：

对于连续两个视频帧，由于两者具有很多对特征匹配点，即同一个特征点在两个视频帧中的位置坐标，将所有对特征点误差求和、取平方、再乘上1/2这就构建了一个非线性最小二乘问题，方程如下公式(1)所示。通过优化这个方程，同时对三维坐标和相机参数进行非线性优化，可以完成求解计算。

其中，

为特征匹配点中的观测点，u_ij为特征匹配点中的投影点，χ_ij＝1表示第i个点在第j个相机可见，X_i为三维坐标，C_j为相机参数。

由此，可以获得特征点的世界坐标三维坐标(X，Y，Z)^T，以及相机内参和外参。

S40，利用特征点的三维点云和相机参数，以重投影的方式将三维广告图层贴合于后续帧中。

本发明实施例中，为将三维广告图层在后续帧中的位置坐标，以角点来标识三维广告图层，即在确定三维广告图层角点在后续帧中的位置坐标后，即可确定三维广告图层在后续帧中的位置。

对于单个后续帧，可以在标定帧中确定距离角点最近的一个特征点，复用该特征点在标定帧中的深度信息、该标定帧对应的相机参数来计算该角点的三维点云，进而综合该特征点在该后续帧中的深度信息、该后续帧对应的相机参数将该角点的三维点云重投影至该后续帧，则可以获得该角点在后续帧中断中的位置坐标。

需要说明的是，对于相机参数，相机拍摄前焦距即已固定，因此内参是固定的，即不同视频帧对应的内参相同；而外参认为是拍摄时帧与帧之间的相机旋转和平移，因此可以后续帧可以标定帧为基准，对于标定帧来说，其外参可以认为是单位1，而后续帧的外参可以认为是BA优化输出的外参值。

具体实现过程中，步骤S40中“利用特征点的三维点云和相机参数，以重投影的方式将三维广告图层贴合于后续帧中”可以采用如下步骤，方法流程图如图3所示：

S401，确定特征点中与三维广告图层的角点距离最近的第二特征点。

本发明实施例中，选取标定帧中距离三维广告图层角点最近的一个特征点。

S402，根据第二特征点的三维点云、第二特征点在标定帧中的位置坐标和相机参数，计算第二特征点在标定帧中的第一深度值。

根据如下公式(2)，将第二特征点的三维点云、第二特征点在标定帧中的位置坐标和相机内参、以及标定帧对应的相机外参(单位1)代入，即可获得该第二特征点在标定帧中的深度值，即第一深度值。

其中，Z_c表示深度值，(u,υ)表示位置坐标，

表示相机外参，

表示相机内参，(X_ω,Y_ω,Z_ω)表示三维点云的坐标。

S403，基于第一深度值、相机参数和角点在标定帧中的位置坐标，计算角点的三维点云。

本发明实施例中，将第一深度值、相机内参、标定帧对应的相机外参和角点在标定帧中的位置坐标代入至上述公式(2)中，计算得到角点的三维坐标。

S404，根据第二特征点的三维点云、第二特征点在后续帧中的位置坐标和相机参数，计算第二特征点在后续帧中的第二深度值。

本发明实施例中，将第二特征点的三维坐标、第二特征点在后续帧中的位置坐标、相机内参和后续帧对应的相机外参代入至上述公式(2)中，计算得到第二特征点在后续帧中的深度值，即第二深度值。

S405，利用第二深度值、相机参数和角点的三维点云，计算角点在后续帧中的位置坐标，角点在后续帧中的位置坐标是贴合三维广告图层的依据。

本发明实施例中，将第二深度值、相机内参、后续帧对应的相机外参和角点的三维坐标代入至上述公式(2)中，计算得到角点在后续帧中的位置坐标。

显然，三维广告图层在后续帧中各角点的位置坐标确定后，即可确定三维广告图像在后续帧中的位置，以此即可贴合三维广告图片。将标定帧和后续帧中所贴合的三维广告图片按次序即可合成动态三维广告。

本发明实施例提供的动态三维广告植入方法，能实现在视频片段内植入三维广告，与人工植入相比，极大提升了植入效率，同时也大大降低了植入成本，而且本发明产生的植入效果能达到人眼无法区分后期植入，可以投入应用。此外，本发明尽可能的挖掘视频中隐藏的广告位和提供更多的广告信息，增加库存量，降低广告植入成本，增加广告收益。

基于上述实施例提供的动态三维广告植入方法，本发明实施例则提供执行上述动态三维广告植入方法的装置，该装置的结构示意图如图4所示，包括：

片段获取模块10，用于获取待植入的视频片段，视频片段包括标定帧、以及拍摄时间晚于标定帧的后续帧，标定帧中预设有三维广告图层；

特征处理模块20，用于检测标定帧中的特征点，并基于光流跟踪技术识别特征点在标定帧和后续帧中的位置坐标；

优化模块30，用于根据特征点在标定帧和后续帧中的位置坐标，计算特征点的三维点云、以及后续帧与标定帧间的相机参数；

重投影模块40，用于利用特征点的三维点云和相机参数，以重投影的方式将三维广告图层贴合于后续帧中。

可选的，片段获取模块10，具体用于：

基于视频内容将目标视频切分为多个分镜片段；计算每个分镜片段的分镜时长；根据分镜时长从多个分镜片段中选取作为植入点位的分镜片段。

可选的，特征处理模块20，还用于：

根据特征点在标定帧和后续帧中的位置坐标，生成特征点的运动轨迹；基于运动轨迹的偏移程度对特征点进行筛选。

可选的，特征处理模块20，还用于：

根据特征点在标定帧和后续帧中的位置坐标，确定特征点中在标定帧和后续帧中持续存在的第一特征点；如果第一特征点的数量小于预设的数量阈值，对视频片段进行切分，以从切分结果中获取待植入的、包含标定帧的目标视频片段，并返回执行检测标定帧中的特征点，这一步骤。

可选的，重投影模块40，具体用于：

确定特征点中与三维广告图层的角点距离最近的第二特征点；根据第二特征点的三维点云、第二特征点在标定帧中的位置坐标和相机参数，计算第二特征点在标定帧中的第一深度值；基于第一深度值、相机参数和角点在标定帧中的位置坐标，计算角点的三维点云；根据第二特征点的三维点云、第二特征点在后续帧中的位置坐标和相机参数，计算第二特征点在后续帧中的第二深度值；利用第二深度值、相机参数和角点的三维点云，计算角点在后续帧中的位置坐标，角点在后续帧中的位置坐标是贴合三维广告图层的依据。

本发明实施例提供的动态三维广告植入装置，能实现在视频片段内植入三维广告，与人工植入相比，极大提升了植入效率，同时也大大降低了植入成本，而且本发明产生的植入效果能达到人眼无法区分后期植入，可以投入应用。

本发明实施例还提供一种电子设备，包括：至少一个存储器和至少一个处理器；存储器存储有程序，处理器调用存储器存储的程序，程序用于实现任意一项所述的动态三维广告植入方法。

本发明实施例还提供一种存储介质，存储介质中存储有计算机可执行指令，计算机可执行指令用于执行任意一项所述的动态三维广告植入方法。

以上对本发明所提供的一种动态三维广告植入方法、装置、电子设备及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备所固有的要素，或者是还包括为这些过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种动态三维广告植入方法，其特征在于，所述方法包括：

获取待植入的视频片段，所述视频片段包括标定帧、以及拍摄时间晚于所述标定帧的后续帧，所述标定帧中预设有三维广告图层；

检测所述标定帧中的特征点，并基于光流跟踪技术识别所述特征点在所述标定帧和所述后续帧中的位置坐标；

根据所述特征点在所述标定帧和所述后续帧中的位置坐标，计算所述特征点的三维点云、以及所述后续帧与所述标定帧间的相机参数；

利用所述特征点的三维点云和所述相机参数，以重投影的方式将所述三维广告图层贴合于所述后续帧中。

2.根据权利要求1所述的方法，其特征在于，所述获取待植入的视频片段，包括：

基于视频内容将目标视频切分为多个分镜片段；

计算每个分镜片段的分镜时长；

根据分镜时长从所述多个分镜片段中选取作为植入点位的分镜片段。

3.根据权利要求1所述的方法，其特征在于，所述根据所述特征点在所述标定帧和所述后续帧中的位置坐标，计算所述特征点的三维点云、以及所述后续帧与所述标定帧间的相机参数之前，所述方法还包括：

根据所述特征点在所述标定帧和所述后续帧中的位置坐标，生成所述特征点的运动轨迹；

基于运动轨迹的偏移程度对所述特征点进行筛选。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

根据所述特征点在所述标定帧和所述后续帧中的位置坐标，确定所述特征点中在所述标定帧和所述后续帧中持续存在的第一特征点；

如果所述第一特征点的数量小于预设的数量阈值，对所述视频片段进行切分，以从切分结果中获取待植入的、包含所述标定帧的目标视频片段，并返回执行所述检测所述标定帧中的特征点，这一步骤。

5.根据权利要求1所述的方法，其特征在于，所述利用所述特征点的三维点云和所述相机参数，以重投影的方式将所述三维广告图层贴合于所述后续帧中，包括：

确定所述特征点中与所述三维广告图层的角点距离最近的第二特征点；

根据所述第二特征点的三维点云、所述第二特征点在所述标定帧中的位置坐标和所述相机参数，计算所述第二特征点在所述标定帧中的第一深度值；

基于所述第一深度值、所述相机参数和所述角点在所述标定帧中的位置坐标，计算所述角点的三维点云；

根据所述第二特征点的三维点云、所述第二特征点在所述后续帧中的位置坐标和所述相机参数，计算所述第二特征点在所述后续帧中的第二深度值；

利用所述第二深度值、所述相机参数和所述角点的三维点云，计算所述角点在所述后续帧中的位置坐标，所述角点在所述后续帧中的位置坐标是贴合所述三维广告图层的依据。

6.一种动态三维广告植入装置，其特征在于，所述装置包括：

片段获取模块，用于获取待植入的视频片段，所述视频片段包括标定帧、以及拍摄时间晚于所述标定帧的后续帧，所述标定帧中预设有三维广告图层；

特征处理模块，用于检测所述标定帧中的特征点，并基于光流跟踪技术识别所述特征点在所述标定帧和所述后续帧中的位置坐标；

优化模块，用于根据所述特征点在所述标定帧和所述后续帧中的位置坐标，计算所述特征点的三维点云、以及所述后续帧与所述标定帧间的相机参数；

重投影模块，用于利用所述特征点的三维点云和所述相机参数，以重投影的方式将所述三维广告图层贴合于所述后续帧中。

7.根据权利要求6所述的装置，其特征在于，所述片段获取模块，具体用于：

基于视频内容将目标视频切分为多个分镜片段；计算每个分镜片段的分镜时长；根据分镜时长从所述多个分镜片段中选取作为植入点位的分镜片段。

8.根据权利要求6所述的装置，其特征在于，所述重投影模块，具体用于：

确定所述特征点中与所述三维广告图层的角点距离最近的第二特征点；根据所述第二特征点的三维点云、所述第二特征点在所述标定帧中的位置坐标和所述相机参数，计算所述第二特征点在所述标定帧中的第一深度值；基于所述第一深度值、所述相机参数和所述角点在所述标定帧中的位置坐标，计算所述角点的三维点云；根据所述第二特征点的三维点云、所述第二特征点在所述后续帧中的位置坐标和所述相机参数，计算所述第二特征点在所述后续帧中的第二深度值；利用所述第二深度值、所述相机参数和所述角点的三维点云，计算所述角点在所述后续帧中的位置坐标，所述角点在所述后续帧中的位置坐标是贴合所述三维广告图层的依据。

9.一种电子设备，其特征在于，包括：至少一个存储器和至少一个处理器；所述存储器存储有程序，所述处理器调用所述存储器存储的程序，所述程序用于实现如权利要求1-5任意一项所述的动态三维广告植入方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机可执行指令，所述计算机可执行指令用于执行如权利要求1-5任意一项所述的动态三维广告植入方法。

Images