CN111601116B - 基于大数据的直播视频广告插入方法及系统 - Google Patents
基于大数据的直播视频广告插入方法及系统 Download PDFInfo
- Publication number
- CN111601116B CN111601116B CN202010413332.8A CN202010413332A CN111601116B CN 111601116 B CN111601116 B CN 111601116B CN 202010413332 A CN202010413332 A CN 202010413332A CN 111601116 B CN111601116 B CN 111601116B
- Authority
- CN
- China
- Prior art keywords
- frame
- image
- prediction
- block
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012966 insertion method Methods 0.000 title claims description 12
- 238000000034 method Methods 0.000 claims abstract description 42
- 238000003780 insertion Methods 0.000 claims abstract description 26
- 230000037431 insertion Effects 0.000 claims abstract description 26
- 230000004069 differentiation Effects 0.000 claims abstract description 10
- 238000012549 training Methods 0.000 claims description 24
- 230000006399 behavior Effects 0.000 claims description 21
- 238000012545 processing Methods 0.000 claims description 21
- 238000004364 calculation method Methods 0.000 claims description 20
- 230000008569 process Effects 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 9
- 238000009499 grossing Methods 0.000 claims description 8
- 230000003595 spectral effect Effects 0.000 claims description 7
- 238000001228 spectrum Methods 0.000 claims description 7
- 238000009432 framing Methods 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000012216 screening Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 11
- 238000004590 computer program Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 4
- 238000011161 development Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005055 memory storage Effects 0.000 description 1
- 238000011022 operating instruction Methods 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
- H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
- H04N21/25866—Management of end-user data
- H04N21/25891—Management of end-user data being end-user preferences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/812—Monomedia components thereof involving advertisement data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Business, Economics & Management (AREA)
- Marketing (AREA)
- Databases & Information Systems (AREA)
- Computer Graphics (AREA)
- Image Analysis (AREA)
Abstract
本发明实施例的方法中提出了一种基于大数据的直播视频广告插入方法及系统，该方法实时获取直播视频数据，然后通过预测模型对直播视频数据的兴趣帧进行预测，得到满足预设条件的预测兴趣帧，再获取所述预测兴趣帧之前的重点帧组，并对所述重点帧组进行计算处理后形成重点区域轮廓，最后将所述重点区域轮廓对应至兴趣帧，并对广告插入帧进行形状异化，使得所述广告插入帧覆盖兴趣帧的非重点区域。本发明实施例可以对直播视频进行兴趣预测后，再对兴趣帧的重点区域进行预测，然后将广告变形后帧嵌至兴趣帧的非重点区域，从而在保证广告定向投放的同时，也不会过于影响用户的观看体验。
Description
【技术领域】
本发明涉及大数据技术领域，尤其涉及一种基于大数据的直播视频广告插入方法及系统。
【背景技术】
随着互联网技术的发展，广告视频上投放成为广告投放的主体之一，但是大量的广告投放往往由于投放不当而造成巨大的资源浪费的问题，尤其对于直播数据的流的广告插入，由于视频帧的实时性和随机性，投放效果通常较差，随着大数据技术的发展，如何利用基于用户习惯的大数据在直播视频合适的时间与位置进行广告的精确投放是本发明亟待解决的技术问题。
【发明内容】
有鉴于此，本发明实施例提供了一种基于大数据的直播视频广告插入方法及系统。
第一方面，本发明实施例提供了一种基于大数据的直播视频广告插入方法，所述方法包括：
S1、获取直播视频数据，所述直播视频数据包括视频帧、用户标识、环境标识和行为特征数据，所述环境标识包括广告被投放的具体环境信息，所述行为特征数据包括所述用户对广告和视频的操作行为；
S2、通过预测模型对直播视频数据的兴趣帧进行预测，得到满足预设条件的预测兴趣帧；
S3、获取所述预测兴趣帧之前的重点帧组，并对所述重点帧组进行计算处理后形成重点区域轮廓；
S4、将所述重点区域轮廓对应至兴趣帧，并对广告插入帧进行形状异化，使得所述广告插入帧覆盖兴趣帧的非重点区域。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S2具体包括：
S21、构建基于预测模型的神经网络结构，所述神经网络结构包括若干堆栈，所述堆栈包括若干块；
S22、同一堆栈内的每个块均不断基于直播视频数据的输入帧数据进行前帧预测和后帧预测，块n的输入帧数据和块n的后帧预测结果相减处理后作为块n+1的输入帧数据，全部块的前帧预测结果进行加和处理后为块所在堆栈的预测结果，基于各堆栈的预测结果计算最终预测结果；
S23、获取符合预设条件的最终预测结果，得到所述最终预测结果对应的兴趣帧。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S22具体包括：
S221、同一堆栈内每个块通过四层全连接层对输入帧数据进行处理，具体如下：
pn,1＝FCn,1(xn)＝RELU(Wn,1xn+bn,1)，pn,2＝FCn,2(pn,1)＝RELU(Wn,2pn,1+bn,2)，pn,3＝FCn,3(pn,2)＝RELU(Wn,3pn,2+bn,3)，pn,4＝FCn,4(pn,3)＝RELU(Wn,4pn,3+bn,4)，其中，pn,1、pn,2、pn,3和pn,4分别为块n的第一层、第二层、第三层和第四层全连接层的计算结果，xn为块n的输入帧数据，前一层的全连接层计算结果作为下一层全连接层的输入帧数据；Wn,1、Wn,2、Wn,3和Wn,4分别为块n的第一层、第二层、第三层和第四层的权重系数，bn,1、bn,2、bn,3和bn,4为块n的第一层、第二层、第三层和第四层的偏置值；
S222、同一堆栈内每个块基于全连接层的输出结果进行前帧预测和后帧预测，具体如下：
后帧预测系数的计算公式为
前帧预测系数的计算公式为
其中，
为块n的后帧预测系数，
为块n的前帧预测系数，
为块n的后帧预测权重，
为块n的前帧预测权重；块n的输入帧数据和块n的后帧预测结果相减处理后作为块n+1的输入帧数据，堆栈内最后一个块输出的后帧预测系数为堆栈的后帧预测结果，堆栈内全部块的前帧预测系数进行加和处理后为块所在堆栈的前帧预测结果；
S223、计算对应的最终预测结果为
为堆栈i的前帧预测基底，
为堆栈i的后帧预测基底，
为堆栈i的前帧预测结果，
为堆栈i的后帧预测结果。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，堆栈i的后帧预测基底
和栈i的前帧预测基底
通过如下步骤进行学习：
S2231、标记各样本直播视频数据中的兴趣帧；
S2232、选取兴趣帧时刻之前和之后的指定时间段的视频数据为待处理数据；
S2233、将待处理数据的K帧图像且每帧图像按照时刻先后顺序排列；
S2234a、若K为奇数，则获取第
帧图像、
帧图像和
帧图像，通过做差计算获得
帧图像和
帧图像的第一图像差值以及
和
帧图像的第二图像差值，基于第一图像差值和第二图像差值生成平均差值图像，将平均差值图像和第K帧图像进行图像完全插值处理后得到插值图像，将所述插值图像与兴趣帧合并为第一训练集；获取
帧图像和
帧图像的轮廓，形成轮廓图像，将轮廓图像和其对应的图像差值进行融合，获得第二训练集；
S2234b、若K为偶数，则获取第
帧图像和
帧图像，通过做差计算获得第
帧图像和
帧图像的第三图像差值，基于第三图像差值生成差值图像，将差值图像和第K帧图像进行图像完全插值处理后得到插值图像，将所述插值图像与兴趣帧合并为第一训练集；获取
帧图像的轮廓，形成轮廓图像，将轮廓图像和其对应的图像差值进行融合，获得第二训练集；
S2235、将第一训练集和第二训练集合并为基底训练集；
S2236、将堆栈i的输入帧数据输入基底训练集后，即可获得堆栈i的后帧预测基底
和栈i的前帧预测基底
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述插值处理的步骤为：
兴趣帧中的像素为第一像素，平均差值图像或差值图像中像素为第二像素，计算各第一像素和与其对应的第二像素之间的像素差值，将该像素差值与预设差值进行比较：
若像素差值小于预设差值，则保留第一像素；
若像素差值不小于预设差值，则选取第二像素相邻的上、下、左、右四个像素，并计算第二像素和相邻像素的平均欧氏距离，若该欧式距离小于预设欧式距离，则将第二像素插入原第一像素位置处进行替换；若该欧式距离不小于预设欧式距离，则用包络像素插入原第一像素位置处进行替换。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S3包括：
S31、获取所述预测兴趣帧之前的重点帧组，并通过计算确定重点帧；
S32、通过公式S(x)＝g(x)*F-1[exp(R(f)+P(f))]2计算出重点帧图像的重点区域信息，S(x)为重点区域信息，f为频率，g(x)为高斯滤波器平滑处理，F和F-1分别表示傅里叶变换和傅里叶逆变换，R(f)为输入图像的光谱残差，P(f)为输入图像的相位谱；
S33、基于重点区域信息，通过
筛选出背景和对象，当O(x)＝1时，则x对应的图像区域为对象，即子重点区域，当O(x)＝0时，则x对应的图像区域为背景，Δ为预设阈值；
S34、将所有的子重点区域连接成片且进行平滑处理后，生成重点区域轮廓。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，输入图像的光谱残差R(f)通过如下公式进行计算：R(f)＝L(f)-hn(f)*L(f)，输入图像的对数图谱公式为L(f)＝log(A(f))，输入图像的振幅为A(f)＝A(F[I(x)])，I(x)为输入图像，hn(f)为n*n的矩阵，
输入图像的相位谱P(f)＝P(F[I(x)])。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S31具体包括：
S311、获取所述预测兴趣帧之前的重点帧组，计算每帧图像和其相邻图像帧的图像差值，首帧的相邻图像帧为其后一帧图像，尾帧的相邻图像帧为其前一帧图像，中间帧的相邻图像为其前一帧图像和后一帧图像，计算每帧图像的图像差值的平均值；
S312、若平均值最小的图像帧只有一帧，则该像帧确定为重点帧；若平均值最小的图像帧超出一帧，则选取时刻靠后的图像帧为重点帧。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，所述S4具体包括：
S41、保证重点帧和兴趣帧的正投影重合，将所述重点帧的重点区域轮廓正投影至兴趣帧的对应位置处；
S42、对广告插入帧进行重点区域的提取，并对广告插入帧的重点区域进行形状的变形和异化，使得所述广告插入帧的重点区域覆盖兴趣帧的非重点区域。
第二方面，本发明实施例提供了一种基于大数据的直播视频广告插入系统，所述系统包括：
获取模块，用于获取直播视频数据，所述直播视频数据包括视频帧、用户标识、环境标识和行为特征数据，所述环境标识包括广告被投放的具体环境信息，所述行为特征数据包括所述用户对广告和视频的操作行为；
预测模块，用于通过预测模型对直播视频数据的兴趣帧进行预测，得到满足预设条件的预测兴趣帧；
处理模块，用于获取所述预测兴趣帧之前的重点帧组，并对所述重点帧组进行计算处理后形成重点区域轮廓；
插入模块，用于将所述重点区域轮廓对应至兴趣帧，并对广告插入帧进行形状异化，使得所述广告插入帧覆盖兴趣帧的非重点区域。
上述技术方案中的一个技术方案具有如下有益效果：
本发明实施例的方法中提出了一种基于大数据的直播视频广告插入方法及系统，该方法实时获取直播视频数据，然后通过预测模型对直播视频数据的兴趣帧进行预测，得到满足预设条件的预测兴趣帧，再获取所述预测兴趣帧之前的重点帧组，并对所述重点帧组进行计算处理后形成重点区域轮廓，最后将所述重点区域轮廓对应至兴趣帧，并对广告插入帧进行形状异化，使得所述广告插入帧覆盖兴趣帧的非重点区域。本发明实施例可以对直播视频进行兴趣预测后，再对兴趣帧的重点区域进行预测，然后将广告变形后帧嵌至兴趣帧的非重点区域，从而在保证广告定向投放的同时，也不会过于影响用户的观看体验。
【附图说明】
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明实施例所提供的一种基于大数据的直播视频广告插入方法的流程示意图；
图2为本发明实施例所提供的S2的流程示意图；
图3为本发明实施例所提供的S22的流程示意图；
图4为本发明实施例所提供的基底预测过程的流程示意图；
图5为本发明实施例所提供的插值处理过程的流程示意图；
图6为本发明实施例所提供的S3的流程示意图；
图7为本发明实施例所提供的S31的流程示意图；
图8为本发明实施例所提供的S4的流程示意图；
图9为本发明实施例所提供的一种基于大数据的直播视频广告插入方法的模块示意图；
图10为本发明实施例所提供的系统的硬件示意图。
【具体实施方式】
为使本发明的目的、技术方案和优点更加清楚，下面将结合具体实施例及相应的附图对本发明的技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
请参考图1，其为本发明实施例所提供的一种基于大数据的直播视频广告插入方法的流程示意图，如图所示，该方法包括以下步骤：
S1、获取直播视频数据，所述直播视频数据包括视频帧、用户标识、环境标识和行为特征数据，所述环境标识包括广告被投放的具体环境信息，所述行为特征数据包括所述用户对广告和视频的操作行为；
S2、通过预测模型对直播视频数据的兴趣帧进行预测，得到满足预设条件的预测兴趣帧；
S3、获取所述预测兴趣帧之前的重点帧组，并对所述重点帧组进行计算处理后形成重点区域轮廓；
S4、将所述重点区域轮廓对应至兴趣帧，并对广告插入帧进行形状异化，使得所述广告插入帧覆盖兴趣帧的非重点区域。
本发明实施例的方法中提出了一种基于大数据的直播视频广告插入方法及系统，该方法实时获取直播视频数据，然后通过预测模型对直播视频数据的兴趣帧进行预测，得到满足预设条件的预测兴趣帧，再获取所述预测兴趣帧之前的重点帧组，并对所述重点帧组进行计算处理后形成重点区域轮廓，最后将所述重点区域轮廓对应至兴趣帧，并对广告插入帧进行形状异化，使得所述广告插入帧覆盖兴趣帧的非重点区域。本发明实施例可以对直播视频进行兴趣预测后，再对兴趣帧的重点区域进行预测，然后将广告变形后帧嵌至兴趣帧的非重点区域，从而在保证广告定向投放的同时，也不会过于影响用户的观看体验。
进一步地，请参考图2，S2具体包括：
S21、构建基于预测模型的神经网络结构，所述神经网络结构包括若干堆栈，所述堆栈包括若干块；
S22、同一堆栈内的每个块均不断基于直播视频数据的输入帧数据进行前帧预测和后帧预测，块n的输入帧数据和块n的后帧预测结果相减处理后作为块n+1的输入帧数据，全部块的前帧预测结果进行加和处理后为块所在堆栈的预测结果，基于各堆栈的预测结果计算最终预测结果；
S23、获取符合预设条件的最终预测结果，得到所述最终预测结果对应的兴趣帧。
具体的，本发明实施例构建了包括堆栈和块两个层次的神经网络结构，每个堆栈内块的计算过程是相同的，直播视频数据实时的以初始输入帧的形式输入堆栈，堆栈的每个块均不断基于直播视频数据的输入帧数据进行前帧预测和后帧预测，块n的输入帧数据和块n的后帧预测结果相减处理后作为块n+1的输入帧数据，全部块的前帧预测结果进行加和处理后为块所在堆栈的预测结果，基于各堆栈的预测结果计算最终预测结果，获取符合预设条件的最终预测结果，得到所述最终预测结果对应的兴趣帧。
原始的输入帧数据为预测的基础数据，其为直播视屏数据的一段，原始的输入帧数据包括视频帧、用户标识、环境标识和行为特征数据，环境标识包括广告被投放的具体环境信息，行为特征数据包括所述用户对广告和视频的操作行为，视频帧包括图像帧和弹幕数据。
进一步地，请参考图3，所述S22具体包括：
S221、同一堆栈内每个块通过四层全连接层对输入帧数据进行处理，具体如下：
pn,1＝FCn,1(xn)＝RELU(Wn,1xn+bn,1)，pn,2＝FCn,2(pn,1)＝RELU(Wn,2pn,1+bn,2)，pn,3＝FCn,3(pn,2)＝RELU(Wn,3pn,2+bn,3)，pn,4＝FCn,4(pn,3)＝RELU(Wn,4pn,3+bn,4)，其中，pn,1、pn,2、pn,3和pn,4分别为块n的第一层、第二层、第三层和第四层全连接层的计算结果，xn为块n的输入帧数据，前一层的全连接层计算结果作为下一层全连接层的输入帧数据；Wn,1、Wn,2、Wn,3和Wn,4分别为块n的第一层、第二层、第三层和第四层的权重系数，bn,1、bn,2、bn,3和bn,4为块n的第一层、第二层、第三层和第四层的偏置值；
S222、同一堆栈内每个块基于全连接层的输出结果进行前帧预测和后帧预测，具体如下：
后帧预测系数的计算公式为
前帧预测系数的计算公式为
其中，
为块n的后帧预测系数，
为块n的前帧预测系数，
为块n的后帧预测权重，
为块n的前帧预测权重；块n的输入帧数据和块n的后帧预测结果相减处理后作为块n+1的输入帧数据，堆栈内最后一个块输出的后帧预测系数为堆栈的后帧预测结果，堆栈内全部块的前帧预测系数进行加和处理后为块所在堆栈的前帧预测结果；
S223、计算对应的最终预测结果为
为堆栈i的前帧预测基底，
为堆栈i的后帧预测基底，
为堆栈i的前帧预测结果，
为堆栈i的后帧预测结果。
需要说明的是，前帧预测基底和后帧预测基底用于对前帧预测结果和后帧预测结果进行修正。
进一步地，图4为本发明实施例所提供的基底预测过程的流程示意图，请参考图4，堆栈i的后帧预测基底
和栈i的前帧预测基底
通过如下步骤进行学习：
S2231、标记各样本直播视频数据中的兴趣帧；
S2232、选取兴趣帧时刻之前和之后的指定时间段的视频数据为待处理数据；
S2233、将待处理数据的K帧图像且每帧图像按照时刻先后顺序排列；
S2234a、若K为奇数，则获取第
帧图像、
帧图像和
帧图像，通过做差计算获得
帧图像和
帧图像的第一图像差值以及
和
帧图像的第二图像差值，基于第一图像差值和第二图像差值生成平均差值图像，将平均差值图像和第K帧图像进行图像完全插值处理后得到插值图像，将所述插值图像与兴趣帧合并为第一训练集；获取
帧图像和
帧图像的轮廓，形成轮廓图像，将轮廓图像和其对应的图像差值进行融合，获得第二训练集；
S2234b、若K为偶数，则获取第
帧图像和
帧图像，通过做差计算获得第
帧图像和
帧图像的第三图像差值，基于第三图像差值生成差值图像，将差值图像和第K帧图像进行图像完全插值处理后得到插值图像，将所述插值图像与兴趣帧合并为第一训练集；获取
帧图像的轮廓，形成轮廓图像，将轮廓图像和其对应的图像差值进行融合，获得第二训练集；
S2235、将第一训练集和第二训练集合并为基底训练集；
S2236、将堆栈i的输入帧数据输入基底训练集后，即可获得堆栈i的后帧预测基底
和堆栈i的前帧预测基底
图5为本发明实施例所提供的插值处理过程的流程示意图，请参考图5，插值处理的具体步骤包括：
所述插值处理的步骤为：
兴趣帧中的像素为第一像素，平均差值图像或差值图像中像素为第二像素，计算各第一像素和与其对应的第二像素之间的像素差值，将该像素差值与预设差值进行比较：
若像素差值小于预设差值，则保留第一像素；
若像素差值不小于预设差值，则选取第二像素相邻的上、下、左、右四个相邻像素，并计算第二像素和相邻像素的平均欧氏距离，若该欧式距离小于预设欧式距离，则将第二像素插入原第一像素位置处进行替换；若该欧式距离不小于预设欧式距离，则用包络像素插入原第一像素位置处进行替换。
进一步地，请参考图6，S3包括：
S31、获取所述预测兴趣帧之前的重点帧组，并通过计算确定重点帧；
S32、通过公式S(x)＝g(x)*F-1[exp(R(f)+P(f))]2计算出重点帧图像的重点区域信息，S(x)为重点区域信息，f为频率，g(x)为高斯滤波器平滑处理，F和F-1分别表示傅里叶变换和傅里叶逆变换，R(f)为输入图像的光谱残差，P(f)为输入图像的相位谱；
S33、基于重点区域信息，通过
筛选出背景和对象，当O(x)＝1时，则x对应的图像区域为对象，即子重点区域，当O(x)＝0时，则x对应的图像区域为背景，Δ为预设阈值；
S34、将所有的子重点区域连接成片且进行平滑处理后，生成重点区域轮廓。
如上所述的方面和任一可能的实现方式，进一步提供一种实现方式，输入图像的光谱残差R(f)通过如下公式进行计算：R(f)＝L(f)-hn(f)*L(f)，输入图像的对数图谱公式为L(f)＝log(A(f))，输入图像的振幅为A(f)＝A(F[I(x)])，I(x)为输入图像，hn(f)为n*n的矩阵，
输入图像的相位谱P(f)＝P(F[I(x)])。
进一步地，请参考图7，S31具体包括：
S311、获取所述预测兴趣帧之前的重点帧组，计算每帧图像和其相邻图像帧的图像差值，首帧的相邻图像帧为其后一帧图像，尾帧的相邻图像帧为其前一帧图像，中间帧的相邻图像为其前一帧图像和后一帧图像，计算每帧图像的图像差值的平均值；
S312、若平均值最小的图像帧只有一帧，则该像帧确定为重点帧；若平均值最小的图像帧超出一帧，则选取时刻靠后的图像帧为重点帧。
进一步地，请参考图8，S4具体包括：
S41、保证重点帧和兴趣帧的正投影重合，将所述重点帧的重点区域轮廓正投影至兴趣帧的对应位置处；
S42、对广告插入帧进行重点区域的提取，并对广告插入帧的重点区域进行形状的变形和异化，使得所述广告插入帧的重点区域覆盖兴趣帧的非重点区域。
本发明实施例的方法中提出了一种基于大数据的直播视频广告插入方法及系统，该方法实时获取直播视频数据，然后通过预测模型对直播视频数据的兴趣帧进行预测，得到满足预设条件的预测兴趣帧，再获取所述预测兴趣帧之前的重点帧组，并对所述重点帧组进行计算处理后形成重点区域轮廓，最后将所述重点区域轮廓对应至兴趣帧，并对广告插入帧进行形状异化，使得所述广告插入帧覆盖兴趣帧的非重点区域。本发明实施例可以对直播视频进行兴趣预测后，再对兴趣帧的重点区域进行预测，然后将广告变形后帧嵌至兴趣帧的非重点区域，从而在保证广告定向投放的同时，也不会过于影响用户的观看体验。本发明实施例进一步给出实现上述方法实施例中各步骤及方法的装置实施例。
请参考图9，其为图9为本发明实施例所提供的一种基于大数据的直播视频广告插入方法的模块示意图，所述系统包括：
获取模块910，用于获取直播视频数据，所述直播视频数据包括视频帧、用户标识、环境标识和行为特征数据，所述环境标识包括广告被投放的具体环境信息，所述行为特征数据包括所述用户对广告和视频的操作行为；
预测模块920，用于通过预测模型对直播视频数据的兴趣帧进行预测，得到满足预设条件的预测兴趣帧；
处理模块930，用于获取所述预测兴趣帧之前的重点帧组，并对所述重点帧组进行计算处理后形成重点区域轮廓；
插入模块940，用于将所述重点区域轮廓对应至兴趣帧，并对广告插入帧进行形状异化，使得所述广告插入帧覆盖兴趣帧的非重点区域。
由于本实施例中的各单元模块能够执行图1所示的方法，本实施例未详细描述的部分，可参考对图1的相关说明。图10是本发明的一个实施例系统的硬件示意图。请参考图10，在硬件层面，该系统包括处理器，可选地还包括内部总线、网络接口、存储器。其中，存储器可能包含内存，例如高速随机存取存储器(Random-Access Memory，RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少1个磁盘存储器等。当然，该系统还可能包括其他业务所需要的硬件。
处理器、网络接口和存储器可以通过内部总线相互连接，该内部总线可以是ISA(Industry Standard Architecture，工业标准体系结构)总线、PCI(PeripheralComponent Interconnect，外设部件互连标准)总线或EISA(Extended Industry StandardArchitecture，扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一个双向箭头表示，但并不表示仅有一根总线或一种类型的总线。
存储器，用于存放程序。具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器，并向处理器提供指令和数据。
在一种可能实现的方式中，处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行，也可从其它设备上获取相应的计算机程序，以在逻辑层面上形成对应的装置。处理器，执行存储器所存放的程序，以通过执行的程序实现本发明任一实施例中提供的广告插入方法。
本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的系统执行时，能够使该系统执行本发明任一实施例中提供的广告插入方法。
上述如本发明图实施例提供的系统执行的方法可以应用于处理器中，或者由处理器实现。处理器可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field－Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
本发明实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的系统执行时，能够使该系统执行本发明任一实施例中提供的系统工作方法。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。
为了描述的方便，描述以上装置时以功能分为各种单元或模块分别描述。当然，在实施本发明时可以把各单元或模块的功能在同一个或多个软件和/或硬件中实现。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本发明，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
本发明中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的实施例而已，并不用于限制本发明。对于本领域技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。
Claims (6)
1.一种基于大数据的直播视频广告插入方法，其特征在于，所述方法包括：
S1、获取直播视频数据，所述直播视频数据包括视频帧、用户标识、环境标识和行为特征数据，所述环境标识包括广告被投放的具体环境信息，所述行为特征数据包括所述用户对广告和视频的操作行为；
S2、通过预测模型对直播视频数据的兴趣帧进行预测，得到满足预设条件的预测兴趣帧；
S3、获取所述预测兴趣帧之前的重点帧组，并对所述重点帧组进行计算处理后形成重点区域轮廓；
S4、将所述重点区域轮廓对应至兴趣帧，并对广告插入帧进行形状异化，使得所述广告插入帧覆盖兴趣帧的非重点区域；
所述S2具体包括：
S21、构建基于预测模型的神经网络结构，所述神经网络结构包括若干堆栈，所述堆栈包括若干块；
S22、同一堆栈内的每个块均不断基于直播视频数据的输入帧数据进行前帧预测和后帧预测，块n的输入帧数据和块n的后帧预测结果相减处理后作为块n+1的输入帧数据，全部块的前帧预测结果进行加和处理后为块所在堆栈的预测结果，基于各堆栈的预测结果计算最终预测结果；
S23、获取符合预设条件的最终预测结果，得到所述最终预测结果对应的兴趣帧；
所述S22具体包括：
S221、同一堆栈内每个块通过四层全连接层对输入帧数据进行处理，具体如下：
pn,1＝FCn,1(xn)＝RELU(Wn,1xn+bn,1)，pn,2＝FCn,2(pn,1)＝RELU(Wn,2pn,1+bn,2)，pn,3＝FCn,3(pn,2)＝RELU(Wn,3pn,2+bn,3)，pn,4＝FCn,4(pn,3)＝RELU(Wn,4pn,3+bn,4)，
其中，pn,1、pn,2、pn,3和pn,4分别为块n的第一层、第二层、第三层和第四层全连接层的计算结果，xn为块n的输入帧数据，前一层的全连接层计算结果作为下一层全连接层的输入帧数据；Wn,1、Wn,2、Wn,3和Wn,4分别为块n的第一层、第二层、第三层和第四层的权重系数，bn,1、bn,2、bn,3和bn,4为块n的第一层、第二层、第三层和第四层的偏置值；
S222、同一堆栈内每个块基于全连接层的输出结果进行前帧预测和后帧预测，具体如下：
后帧预测系数的计算公式为
前帧预测系数的计算公式为
其中，
为块n的后帧预测系数，
为块n的前帧预测系数，
为块n的后帧预测权重，
为块n的前帧预测权重；块n的输入帧数据和块n的后帧预测结果相减处理后作为块n+1的输入帧数据，堆栈内最后一个块输出的后帧预测系数为堆栈的后帧预测结果，堆栈内全部块的前帧预测系数进行加和处理后为块所在堆栈的前帧预测结果；
S223、计算对应的最终预测结果为
为堆栈i的前帧预测基底，
为堆栈i的后帧预测基底，
为堆栈i的前帧预测结果，
为堆栈i的后帧预测结果；
所述S3包括：
S31、获取所述预测兴趣帧之前的重点帧组，并通过计算确定重点帧；
S32、通过公式S(x)＝g(x)*F-1[exp(R(f)+P(f))]2计算出重点帧图像的重点区域信息，S(x)为重点区域信息，f为频率，g(x)为高斯滤波器平滑处理，F和F-1分别表示傅里叶变换和傅里叶逆变换，R(f)为输入图像的光谱残差，P(f)为输入图像的相位谱；
S33、基于重点区域信息，通过
筛选出背景和对象，当O(x)＝1时，则x对应的图像区域为对象，即子重点区域，当O(x)＝0时，则x对应的图像区域为背景，Δ为预设阈值；
S34、将所有的子重点区域连接成片且进行平滑处理后，生成重点区域轮廓；
所述S31具体包括：
S311、获取所述预测兴趣帧之前的重点帧组，计算每帧图像和其相邻图像帧的图像差值，首帧的相邻图像帧为其后一帧图像，尾帧的相邻图像帧为其前一帧图像，中间帧的相邻图像为其前一帧图像和后一帧图像，计算每帧图像的图像差值的平均值；
S312、若平均值最小的图像帧只有一帧，则该像帧确定为重点帧；若平均值最小的图像帧超出一帧，则选取时刻靠后的图像帧为重点帧。
2.根据权利要求1所述的方法，其特征在于，堆栈i的后帧预测基底
和栈i的前帧预测基底
通过如下步骤进行学习：
S2231、标记各样本直播视频数据中的兴趣帧；
S2232、选取兴趣帧时刻之前和之后的指定时间段的视频数据为待处理数据；
S2233、将待处理数据的K帧图像且每帧图像按照时刻先后顺序排列；
S2234a、若K为奇数，则获取第
帧图像、
帧图像和
帧图像，通过做差计算获得
帧图像和
帧图像的第一图像差值以及
和
帧图像的第二图像差值，基于第一图像差值和第二图像差值生成平均差值图像，将平均差值图像和第K帧图像进行图像完全插值处理后得到插值图像，将所述插值图像与兴趣帧合并为第一训练集；获取
帧图像和
帧图像的轮廓，形成轮廓图像，将轮廓图像和其对应的图像差值进行融合，获得第二训练集；
S2234b、若K为偶数，则获取第
帧图像和
帧图像，通过做差计算获得第
帧图像和
帧图像的第三图像差值，基于第三图像差值生成差值图像，将差值图像和第K帧图像进行图像完全插值处理后得到插值图像，将所述插值图像与兴趣帧合并为第一训练集；获取
帧图像的轮廓，形成轮廓图像，将轮廓图像和其对应的图像差值进行融合，获得第二训练集；
S2235、将第一训练集和第二训练集合并为基底训练集；
S2236、将堆栈i的输入帧数据输入基底训练集后，即可获得堆栈i的后帧预测基底
和堆栈i的前帧预测基底
3.根据权利要求2所述的方法，其特征在于，所述插值处理的步骤为：
兴趣帧中的像素为第一像素，平均差值图像或差值图像中像素为第二像素，计算各第一像素和与其对应的第二像素之间的像素差值，将该像素差值与预设差值进行比较：
若像素差值小于预设差值，则保留第一像素；
若像素差值不小于预设差值，则选取第二像素相邻的上、下、左、右四个相邻像素，并计算第二像素和相邻像素的平均欧氏距离，若该欧式距离小于预设欧式距离，则将第二像素插入原第一像素位置处进行替换；若该欧式距离不小于预设欧式距离，则用包络像素插入原第一像素位置处进行替换。
4.根据权利要求1所述的方法，其特征在于，输入图像的光谱残差R(f)通过如下公式进行计算：R(f)＝L(f)-hn(f)*L(f)，输入图像的对数图谱公式为L(f)＝log(A(f))，输入图像的振幅为A(f)＝A(F[I(x)])，I(x)为输入图像，hn(f)为n*n的矩阵，
输入图像的相位谱P(f)＝P(F[I(x)])。
5.根据权利要求1所述的方法，其特征在于，所述S4具体包括：
S41、保证重点帧和兴趣帧的正投影重合，将所述重点帧的重点区域轮廓正投影至兴趣帧的对应位置处；
S42、对广告插入帧进行重点区域的提取，并对广告插入帧的重点区域进行形状的变形和异化，使得所述广告插入帧的重点区域覆盖兴趣帧的非重点区域。
6.一种基于大数据的直播视频广告插入系统，其特征在于，所述系统包括：
获取模块，用于获取直播视频数据，所述直播视频数据包括视频帧、用户标识、环境标识和行为特征数据，所述环境标识包括广告被投放的具体环境信息，所述行为特征数据包括所述用户对广告和视频的操作行为；
预测模块，用于通过预测模型对直播视频数据的兴趣帧进行预测，得到满足预设条件的预测兴趣帧；
处理模块，用于获取所述预测兴趣帧之前的重点帧组，并对所述重点帧组进行计算处理后形成重点区域轮廓；
插入模块，用于将所述重点区域轮廓对应至兴趣帧，并对广告插入帧进行形状异化，使得所述广告插入帧覆盖兴趣帧的非重点区域；
所述预测模块具体用于执行如下步骤：
S21、构建基于预测模型的神经网络结构，所述神经网络结构包括若干堆栈，所述堆栈包括若干块；
S22、同一堆栈内的每个块均不断基于直播视频数据的输入帧数据进行前帧预测和后帧预测，块n的输入帧数据和块n的后帧预测结果相减处理后作为块n+1的输入帧数据，全部块的前帧预测结果进行加和处理后为块所在堆栈的预测结果，基于各堆栈的预测结果计算最终预测结果；
S23、获取符合预设条件的最终预测结果，得到所述最终预测结果对应的兴趣帧；
其中，S22具体包括：
S221、同一堆栈内每个块通过四层全连接层对输入帧数据进行处理，具体如下：
pn,1＝FCn,1(xn)＝RELU(Wn,1xn+bn,1)，pn,2＝FCn,2(pn,1)＝RELU(Wn,2pn,1+bn,2)，pn,3＝FCn,3(pn,2)＝RELU(Wn,3pn,2+bn,3)，pn,4＝FCn,4(pn,3)＝RELU(Wn,4pn,3+bn,4)，其中，pn,1、pn,2、pn,3和pn,4分别为块n的第一层、第二层、第三层和第四层全连接层的计算结果，xn为块n的输入帧数据，前一层的全连接层计算结果作为下一层全连接层的输入帧数据；Wn,1、Wn,2、Wn,3和Wn,4分别为块n的第一层、第二层、第三层和第四层的权重系数，bn,1、bn,2、bn,3和bn,4为块n的第一层、第二层、第三层和第四层的偏置值；
S222、同一堆栈内每个块基于全连接层的输出结果进行前帧预测和后帧预测，具体如下：
后帧预测系数的计算公式为
前帧预测系数的计算公式为
其中，
为块n的后帧预测系数，
为块n的前帧预测系数，
为块n的后帧预测权重，
为块n的前帧预测权重；块n的输入帧数据和块n的后帧预测结果相减处理后作为块n+1的输入帧数据，堆栈内最后一个块输出的后帧预测系数为堆栈的后帧预测结果，堆栈内全部块的前帧预测系数进行加和处理后为块所在堆栈的前帧预测结果；
S223、计算对应的最终预测结果为
为堆栈i的前帧预测基底，
为堆栈i的后帧预测基底，
为堆栈i的前帧预测结果，
为堆栈i的后帧预测结果；
所述处理模块具体用于执行如下步骤：
S31、获取所述预测兴趣帧之前的重点帧组，并通过计算确定重点帧；
S32、通过公式S(x)＝g(x)*F-1[exp(R(f)+P(f))]2计算出重点帧图像的重点区域信息，S(x)为重点区域信息，f为频率，g(x)为高斯滤波器平滑处理，F和F-1分别表示傅里叶变换和傅里叶逆变换，R(f)为输入图像的光谱残差，P(f)为输入图像的相位谱；
S33、基于重点区域信息，通过
筛选出背景和对象，当O(x)＝1时，则x对应的图像区域为对象，即子重点区域，当O(x)＝0时，则x对应的图像区域为背景，Δ为预设阈值；
S34、将所有的子重点区域连接成片且进行平滑处理后，生成重点区域轮廓；
其中，S31具体包括：
S311、获取所述预测兴趣帧之前的重点帧组，计算每帧图像和其相邻图像帧的图像差值，首帧的相邻图像帧为其后一帧图像，尾帧的相邻图像帧为其前一帧图像，中间帧的相邻图像为其前一帧图像和后一帧图像，计算每帧图像的图像差值的平均值；
S312、若平均值最小的图像帧只有一帧，则该像帧确定为重点帧；若平均值最小的图像帧超出一帧，则选取时刻靠后的图像帧为重点帧。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010413332.8A CN111601116B (zh) | 2020-05-15 | 2020-05-15 | 基于大数据的直播视频广告插入方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010413332.8A CN111601116B (zh) | 2020-05-15 | 2020-05-15 | 基于大数据的直播视频广告插入方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111601116A CN111601116A (zh) | 2020-08-28 |
| CN111601116B true CN111601116B (zh) | 2021-05-14 |
Family
ID=72189748
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010413332.8A Active CN111601116B (zh) | 2020-05-15 | 2020-05-15 | 基于大数据的直播视频广告插入方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111601116B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113378002B (zh) * | 2021-08-11 | 2022-01-21 | 北京达佳互联信息技术有限公司 | 信息投放方法、装置、电子设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101621636A (zh) * | 2008-06-30 | 2010-01-06 | 北京大学 | 基于视觉注意力模型的广告标志插入和变换方法及系统 |
| CN104065979A (zh) * | 2013-03-22 | 2014-09-24 | 北京中传数广技术有限公司 | 一种动态显示和视频内容相关联信息方法及系统 |
| CN105191331A (zh) * | 2013-03-14 | 2015-12-23 | 谷歌公司 | 确定视频中的兴趣水平 |
| CN108769780A (zh) * | 2018-06-14 | 2018-11-06 | 北京小米移动软件有限公司 | 广告播放方法和装置 |
| CN108885713A (zh) * | 2016-02-18 | 2018-11-23 | 谷歌有限责任公司 | 图像分类神经网络 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10575033B2 (en) * | 2017-09-05 | 2020-02-25 | Adobe Inc. | Injecting targeted ads into videos |
-
2020
- 2020-05-15 CN CN202010413332.8A patent/CN111601116B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101621636A (zh) * | 2008-06-30 | 2010-01-06 | 北京大学 | 基于视觉注意力模型的广告标志插入和变换方法及系统 |
| CN105191331A (zh) * | 2013-03-14 | 2015-12-23 | 谷歌公司 | 确定视频中的兴趣水平 |
| CN104065979A (zh) * | 2013-03-22 | 2014-09-24 | 北京中传数广技术有限公司 | 一种动态显示和视频内容相关联信息方法及系统 |
| CN108885713A (zh) * | 2016-02-18 | 2018-11-23 | 谷歌有限责任公司 | 图像分类神经网络 |
| CN108769780A (zh) * | 2018-06-14 | 2018-11-06 | 北京小米移动软件有限公司 | 广告播放方法和装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111601116A (zh) | 2020-08-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111754267B (zh) | 基于区块链的数据处理方法及系统 | |
| WO2020041399A1 (en) | Image processing method and apparatus | |
| CN112016475B (zh) | 一种人体检测识别方法和装置 | |
| CN110751649A (zh) | 视频质量评估方法、装置、电子设备及存储介质 | |
| US20210150795A1 (en) | Generation of dynamic picture sequence | |
| CN110414335A (zh) | 视频识别方法、装置及计算机可读存储介质 | |
| JP6031210B1 (ja) | 販売予測装置、販売予測方法、およびプログラム | |
| CN111601116B (zh) | 基于大数据的直播视频广告插入方法及系统 | |
| CN114037740B (zh) | 图像数据流的处理方法、装置及电子设备 | |
| CN111369557A (zh) | 图像处理方法、装置、计算设备和存储介质 | |
| CN109492697B (zh) | 图片检测网络训练方法及图片检测网络训练装置 | |
| CN112801890B (zh) | 一种视频处理方法、装置及设备 | |
| CN110163401B (zh) | 时间序列的预测方法、数据预测方法和装置 | |
| CN114329093B (zh) | 数据的处理方法、装置及设备 | |
| CN111046232A (zh) | 一种视频分类方法、装置及系统 | |
| CN115798005A (zh) | 基准照片的处理方法及装置、处理器和电子设备 | |
| Miyata | ZEN-IQA: Zero-Shot Explainable and No-Reference Image Quality Assessment With Vision Language Model | |
| CN111310528B (zh) | 一种图像检测方法、身份验证方法、支付方法及装置 | |
| CN112565819A (zh) | 一种视频数据处理的方法及装置、电子设备、存储介质 | |
| CN112989115A (zh) | 待推荐视频的筛选控制方法及装置 | |
| CN107623863B (zh) | 算法测试方法、装置及服务器 | |
| CN111445383A (zh) | 影像参数的调节方法、装置及系统 | |
| CN113362351A (zh) | 一种图像处理方法、装置、电子设备以及存储介质 | |
| CN115474084B (zh) | 一种视频封面图像的生成方法、装置、设备和存储介质 | |
| CN110308905B (zh) | 一种页面组件匹配方法及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20210421 Address after: 310000 building 3, 45 Xiangyuan Road, Gongshu District, Hangzhou City, Zhejiang Province Applicant after: ZHEJIANG PANSHI INFORMATION TECHNOLOGY Co.,Ltd. Address before: 233123 No. 42, Yangong New Village, Banqiao Town, Fengyang County, Chuzhou City, Anhui Province Applicant before: Yang Kai |
|
| TA01 | Transfer of patent application right | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |