CN116614652A - 直播场景下广告视频片段替换方法、装置及存储介质 - Google Patents

直播场景下广告视频片段替换方法、装置及存储介质 Download PDF

Info

Publication number
CN116614652A
CN116614652A CN202310673451.0A CN202310673451A CN116614652A CN 116614652 A CN116614652 A CN 116614652A CN 202310673451 A CN202310673451 A CN 202310673451A CN 116614652 A CN116614652 A CN 116614652A
Authority
CN
China
Prior art keywords
video
advertisement
video segment
segment
advertisement video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310673451.0A
Other languages
English (en)
Inventor
高娅楠
王慧娟
王喆
卢薇青
韩喆
杨靖萱
袁蓉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China United Network Communications Group Co Ltd
Original Assignee
China United Network Communications Group Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China United Network Communications Group Co Ltd filed Critical China United Network Communications Group Co Ltd
Priority to CN202310673451.0A priority Critical patent/CN116614652A/zh
Publication of CN116614652A publication Critical patent/CN116614652A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

本申请提供一种直播场景下广告视频片段替换方法、装置及存储介质，涉及图像处理技术领域，能够解决直播视频中广告投放效果较差的问题。该方法包括：基于视频分类模型，获取视频中的至少一个广告视频段；根据广告素材库和用户信息，确定至少一个广告视频段对应的视频素材，一个广告视频段对应一个视频素材，广告素材库和用户信息均部署在边缘云上；采用视频素材替换至少一个广告视频段，生成目标视频。本申请实施例用于替换直播视频中的广告片段的过程中。

Description

直播场景下广告视频片段替换方法、装置及存储介质
技术领域
本申请涉及通信技术领域，尤其涉及一种直播场景下广告视频片段替换方法、装置及存储介质。
背景技术
随着移动网络的快速发展，网络速度也得以迅速提升，越来越多的节目可以通过网络实现实时在线直播，因此，直播视频中的广告投放也越来越受到商家的重视。
现有技术中，直播视频中的广告投放都是千篇一律，所有用户看到的都是同样的广告，这必将使得投放的广告内容不能受到大部分用户的喜爱，导致投放的广告不能产生良好的营销效果，若广告时长过长，甚至会引起用户的抵触情绪，降低广告观看率，从而导致广告投放的整体效果较差。
发明内容
本申请提供一种直播场景下广告视频片段替换方法、装置及存储介质，能够解决直播视频中广告投放效果较差的问题。
为达到上述目的，本申请采用如下技术方案：
第一方面，本申请提供一种直播场景下广告视频片段替换方法，该方法包括：基于视频分类模型，获取视频中的至少一个广告视频段；根据广告素材库和用户信息，确定上述至少一个广告视频段对应的视频素材，一个广告视频段对应一个视频素材，上述广告素材库和上述用户信息均部署在边缘云上；采用上述视频素材替换上述至少一个广告视频段，生成目标视频。
基于上述技术方案，本申请实施例提供的直播场景下广告视频片段替换方法，可以先基于视频分类模型，从视频中获取广告视频片段，然后根据广告素材库和用户信息，确定与广告视频片段对应的视频素材，最后采用确定出的视频素材替换掉原视频中的广告视频片段，生成新的目标视频。由于上述广告素材库和用户信息均部署在边缘云上，可以直接根据该广告素材库和用户信息确定视频素材，一方面减少了从获取用户信息到匹配相应视频素材的整个响应时间，避免广告替换导致的直播视频延迟；另一方面可以根据用户信息进行个性化视频素材的匹配，为不同用户提供不同的视频素材，实现千人千面的广告视频呈现，提高了广告观看率，从而提升了广告投放的整体效果。
在第一方面的第一种可能的实现方式中，上述基于视频分类模型，获取视频中的至少一个广告视频段之前，上述方法还包括：将历史视频片段划分为训练数据和校验数据；采用深度学习算法对上述训练数据进行训练，得到预训练模型；采用上述校验数据对上述预训练模型进行参数优化，得到上述视频分类模型，该视频分类模型的分类准确度大于上述预训练模型的分类准确度。
在第一方面的第二种可能的实现方式中，上述基于视频分类模型，获取视频中的至少一个广告视频段，包括：将上述视频按照时间顺序分片为N个视频段，并为每个视频段添加时间戳，N为正整数；将上述N个视频段输入上述视频分类模型进行分类，输出上述至少一个广告视频段。
在第一方面的第三种可能的实现方式中，上述用户信息包括上述用户的兴趣爱好，上述根据广告素材库和用户信息，确定上述至少一个广告视频段对应的视频素材，包括：根据上述广告素材库，确定上述至少一个广告视频段中每个广告视频段的类型和时长；根据上述用户的兴趣爱好和上述每个广告视频段的时长，确定上述至少一个广告视频段对应的视频素材，该视频素材与上述用户的兴趣爱好相匹配。
在第一方面的第四种可能的实现方式中，上述采用上述视频素材替换上述至少一个广告视频段，生成目标视频，包括：将上述至少一个广告视频段中的每个广告视频段替换为各自对应的视频素材；将该视频素材与上述N个视频段中除上述至少一个广告视频段以外的其他视频段，按照上述时间戳进行合成，得到上述目标视频。
第二方面，本申请提供一种直播场景下广告视频片段替换装置，该装置包括：获取单元、确定单元和生成单元，其中：上述获取单元，用于基于视频分类模型，获取视频中的至少一个广告视频段；上述确定单元，用于根据广告素材库和用户信息，确定获取单元得到的上述至少一个广告视频段对应的视频素材，一个广告视频段对应一个视频素材，该广告素材库和上述用户信息均部署在边缘云上；上述生成单元，用于采用确定单元得到的上述视频素材替换上述至少一个广告视频段，生成目标视频。
在第二方面的第一种可能的实现方式中，上述装置还包括处理单元；上述处理单元，用于：在获取单元基于视频分类模型，获取视频中的至少一个广告视频段之前，将历史视频片段划分为训练数据和校验数据；采用深度学习算法对上述训练数据进行训练，得到预训练模型；采用上述校验数据对上述预训练模型进行参数优化，得到上述视频分类模型，该视频分类模型的分类准确度大于上述预训练模型的分类准确度。
在第二方面的第二种可能的实现方式中，上述获取单元，具体用于：将上述视频按照时间顺序分片为N个视频段，并为每个视频段添加时间戳，N为正整数；将上述N个视频段输入上述视频分类模型进行分类，输出上述至少一个广告视频段。
在第二方面的第三种可能的实现方式中，上述用户信息包括上述用户的兴趣爱好，上述确定单元，具体用于：根据上述广告素材库，确定上述至少一个广告视频段中每个广告视频段的类型和时长；根据上述用户的兴趣爱好和上述每个广告视频段的时长，确定上述至少一个广告视频段对应的视频素材，该视频素材与上述用户的兴趣爱好相匹配。
在第二方面的第四种可能的实现方式中，上述生成单元，具体用于：将上述至少一个广告视频段中的每个广告视频段替换为各自对应的视频素材；将该视频素材与上述N个视频段中除上述至少一个广告视频段以外的其他视频段，按照上述时间戳进行合成，得到上述目标视频。
第三方面，本申请提供了一种直播场景下广告视频片段替换装置，该装置包括：处理器和通信接口；通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的直播场景下广告视频片段替换方法。
第四方面，本申请提供了一种计算机可读存储介质，计算机可读存储介质中存储有指令，当指令在终端上运行时，使得终端执行如第一方面和第一方面的任一种可能的实现方式中描述的直播场景下广告视频片段替换方法。
第五方面，本申请实施例提供一种包含指令的计算机程序产品，当计算机程序产品在直播场景下广告视频片段替换装置上运行时，使得直播场景下广告视频片段替换装置执行如第一方面和第一方面的任一种可能的实现方式中所描述的直播场景下广告视频片段替换方法。
第六方面，本申请实施例提供一种芯片，芯片包括处理器和通信接口，通信接口和处理器耦合，处理器用于运行计算机程序或指令，以实现如第一方面和第一方面的任一种可能的实现方式中所描述的直播场景下广告视频片段替换方法。
具体的，本申请实施例中提供的芯片还包括存储器，用于存储计算机程序或指令。
附图说明
图1为本申请实施例提供的一种直播场景下广告视频片段替换方法的方法流程图之一；
图2为本申请实施例提供的一种直播场景下广告视频片段替换方法的方法流程图之二；
图3为本申请实施例提供的一种视频分类模型的训练整体框架图；
图4为本申请实施例提供的一种直播场景下广告视频片段替换方法的方法流程图之三；
图5为本申请实施例提供的一种直播场景下广告视频片段替换方法的方法流程图之四；
图6为本申请实施例提供的一种直播场景下广告视频片段替换方法的方法流程图之五；
图7为本申请实施例提供的一种直播场景下广告视频片段替换方法的整体流程图；
图8为本申请实施例提供的一种直播场景下广告视频片段替换装置的结构示意图之一；
图9为本申请实施例提供的一种直播场景下广告视频片段替换装置的结构示意图之二；
图10为本申请实施例提供的另一种直播场景下广告视频片段替换装置的结构示意图。
具体实施方式
下面结合附图对本申请实施例提供的直播场景下广告视频片段替换方法、装置及存储介质进行详细地描述。
本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。
本申请的说明书以及附图中的术语“第一”和“第二”等是用于区别不同的对象，或者用于区别对同一对象的不同处理，而不是用于描述对象的特定顺序。
此外，本申请的描述中所提到的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括其他没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
需要说明的是，本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
在本申请的描述中，除非另有说明，“多个”的含义是指两个或两个以上。
现有技术中，直播广告的投放都是千篇一律，所有的用户看到的都是一样的广告，因为广告的投放不能匹配大部分用户的兴趣爱好，所以广告并不能产生良好的营销效果，可能还会引起抵触情绪，引起反作用。
为了解决现有技术中，直播视频中广告投放效果较差的问题，本申请提供了一种直播场景下广告视频片段替换方法，可以先基于视频分类模型，从视频中获取广告视频片段，然后根据广告素材库和用户信息，确定与广告视频片段对应的视频素材，最后采用确定出的视频素材替换掉原视频中的广告视频片段，生成新的目标视频。由于上述广告素材库和用户信息均部署在边缘云上，可以直接根据该广告素材库和用户信息确定视频素材，一方面减少了从获取用户信息到匹配相应视频素材的整个响应时间，避免广告替换导致的直播视频延迟；另一方面可以根据用户信息进行个性化视频素材的匹配，为不同用户提供不同的视频素材，实现千人千面的广告视频呈现，提高了广告观看率，从而提升了广告投放的整体效果。
如图1所示，为本申请实施例提供的直播场景下广告视频片段替换方法的流程图，该方法包括以下步骤S101至步骤S103：
S101、基于视频分类模型，获取视频中的至少一个广告视频段。
在本申请实施例中，上述视频分类模型可以为已有的视频分类模型，也可以为实时训练的视频分类模型。
在本申请实施例中，上述视频分类模型用于判断上述视频中视频片段是正常视频片段还是广告视频片段。
示例性地，上述广告视频片段是指与上述正常视频片段类型不同的视频片段。
举例说明，在上述视频为音乐类的直播视频的情况下，若该直播视频中包括了一段宣传水果类的视频片段，则判断该视频片段为广告视频片段。
在本申请实施例中，上述视频中可以包括一个广告视频段，也可以包括多个广告视频段。
可选地，在本申请实施例中，如图2所示，上述步骤S101之前，本申请实施例提供的直播场景下广告视频片段替换方法还可以包括如下步骤S201至步骤S203：
S201、将历史视频片段划分为训练数据和校验数据。
在本申请实施例中，上述历史视频片段的类型是已知的。
示例性地，上述历史视频片段的类型包括正常片段和广告片段。
示例性地，可以将上述历史视频片段均分，一半作为训练数据，一半作为校验数据。
S202、采用深度学习算法对训练数据进行训练，得到预训练模型。
在本申请实施例中，上述深度学习算法可以为已有的深度学习算法。
在本申请实施例中，如图3所示，上述深度学习算法预先在中心计算节点上述对训练数据进行训练后，得到预训练模型；再将该预训练模型同步到边缘计算节点上。
示例性地，上述中心计算节点可以为中心服务器。
示例性地，上述边缘计算节点可以为移动边缘计算(Mobile Edge Computing，MEC)。
需要说明的是，上述MEC相较于中心服务器具有更低的延时，可以减少整个计算流程所要的时间。
S203、采用校验数据对预训练模型进行参数优化，得到视频分类模型。
在本申请实施例中，上述视频分类模型的分类准确度大于上述预训练模型的分类准确度。
在本申请实施例中，如图3所示，在得到上述初始的预训练模型之后，还可以在MEC上，采用校验数据对预训练模型进行微调，进一步提升与训练模型的分类准确度，得到最终的视频分类模型。
需要说明的是，上述MEC还可以定期将分布式训练结果同步给中心计算节点，用于整体训练模型的更新。
如此，通过先在中心计算节点上进行初步的模型训练，再将得到的预训练模型同步到边缘计算节点进行参数调整，得到最终的视频分类模型，在减少视频分类时间的基础上，提高了视频分类的准确度。
S102、根据广告素材库和用户信息，确定至少一个广告视频段对应的视频素材。
其中，一个广告视频段对应一个视频素材。
在本申请实施例中，上述广告素材库和所述用户信息均部署在边缘云上。
示例性地，上述边缘云可以为上述边缘计算节点。
在本申请实施例中，上述广告素材库包括广告素材的标签、广告素材适合的年龄段、广告素材的类型、广告素材的时长、广告素材的封面图片，以及广告素材的统一资源定位符(Uniform Resource Location，URL)等信息。
示例性地，上述广告素材的标签可以为广告素材中出现次数最多地词语。
示例性地，上述广告素材的类型包括运动类、食品类、数码类和家具类等。
在本申请实施例中，上述用户信息包括用户个人信息和从基站网络侧收到的信息。
示例性地，上述从基站网络侧收到的信息包括用户使用的终端型号和用户的实时地理位置等。
S103、采用视频素材替换至少一个广告视频段，生成目标视频。
在本申请实施例中，在得到上述至少一个广告视频段对应的视频素材后，可以将该至少一个广告视频段替换为对应的视频素材，以生成新的目标视频。
在本申请实施例提供的直播场景下广告视频片段替换方法中，可以先基于视频分类模型，从视频中获取广告视频片段，然后根据广告素材库和用户信息，确定与广告视频片段对应的视频素材，最后采用确定出的视频素材替换掉原视频中的广告视频片段，生成新的目标视频。由于上述广告素材库和用户信息均部署在边缘云上，可以直接根据该广告素材库和用户信息确定视频素材，一方面减少了从获取用户信息到匹配相应视频素材的整个响应时间，避免广告替换导致的直播视频延迟；另一方面可以根据用户信息进行个性化视频素材的匹配，为不同用户提供不同的视频素材，实现千人千面的广告视频呈现，提高了广告观看率，从而提升了广告投放的整体效果。
可选地，在本申请实施例中，如图4所示，上述步骤S101可以包括如下步骤S101a和步骤S101b：
S101a、将视频按照时间顺序分片为N个视频段，并为每个视频段添加时间戳。
其中，N为正整数。
在本申请实施例中，上述时间顺序为上述视频的视频时长的先后顺序。
示例性地，可以将上述视频的总时长均分为N个时长相等的视频段。
示例1，以上述视频为S，N为6为例，若上述视频的总时长为60秒，则可以按照10秒时长的间隔，将上述视频分片为({[S0，T0]、[S1，T1]、[S2，T2]、[S3，T3]、[S4，T4]、[S5，T5]})6个视频段，其中T为每个视频段的时间戳。
S101b、将N个视频段输入视频分类模型进行分类，输出至少一个广告视频段。
在本申请实施例中，可以将N个视频段分别输入视频分类模型，判断该视频段是否为广告视频段，若为广告视频段，将该广告视频段输出。
示例2，结合示例1，以上述视频段为Sn为例，将该视频段Sn输入视频分类模型，进行广告监测和内容识别，判断是否为广告视频片段；如果是正常视频片段，则只进行缓存，不进行任何处理；如果是广告视频片段，则将该视频段Sn输出，进行后续的视频素材匹配。
如此，先将视频分片为多个视频段，再基于视频分类模型对每个视频段进行监测判断，减少了模型处理的时间，提高了视频段判断结果的准确度。
可选地，在本申请实施例中，上述用户信息包括上述用户的兴趣爱好，如图5所示，上述步骤S102可以包括如下步骤S102a和步骤S102b：
S102a、根据广告素材库，确定至少一个广告视频段中每个广告视频段的类型和时长。
在本申请实施例中，可以采用预设算法抽取上述至少一个广告视频段的封面图片，将该封面图片与广告素材库中广告素材的封面图片进行比对，确定上述至少一个广告视频段的类型，并提取该至少一个广告视频段的时长。
示例性地，上述预设算法可以为哈希(Hash)算法。
示例3，结合示例2，以上述至少一个广告视频段为Sn为例，可以采用Hash算法抽取视频段Sn的图片，并和广告素材库中存储的广告素材的图片进行对比，识别出具体为哪个广告，同时提取广告持续时长DoTn。
S102b、根据用户的兴趣爱好和每个广告视频段的时长，确定至少一个广告视频段对应的视频素材。
在本申请实施例中，上述视频素材与上述用户的兴趣爱好相匹配。
在本申请实施例中，上述视频素材的时长和上述广告视频段的时长可以相同，也可以不同。
在本申请实施例中，在得到上述广告视频段的时长DoT之后，可以结合用户的兴趣爱好，推荐用户感兴趣的视频素材。
示例4，结合示例3，若上述视频是实时直播视频，则可以根据该实时直播视频中广告视频段Sn的时长DoTn，推荐与用户的兴趣爱好相匹配，且持续时长不小于DoTn的广告S’n，其中S’n的时长为DoT’n。此时，若DoT’n＝DoTn，则上述实时直播视频依然为实时直播；若DoT’n>DoTn，则上述实时直播视频变为延时直播。
示例5，结合示例3，若上述视频是延时直播视频，则可以根据该延时直播视频中广告视频段Sn的时长DoTn，推荐与用户的兴趣爱好相匹配，且持续时长不小于DoTn的广告S”n，其中S”n的时长为DoT”n。此时，若DoT”n＜DoTn，则上述延时直播视频的延时变短；若DoT”n＝DoTn，则上述延时直播视频的延时不变；若DoT”n＞DoTn，则上述延时直播视频的延时变长。
如此，先根据广告素材库确定广告视频段的类型和时长，再根据用户的兴趣爱好和广告视频段的时长，确定与用户的兴趣爱好匹配的视频素材，实现了为不同用户展示不同广告内容的效果。
可选地，在本申请实施例中，结合上述步骤S101a和步骤S101b，如图6所示，上骤S103可以包括如下步骤S103a和步骤S103b：
S103a、将至少一个广告视频段中的每个广告视频段替换为各自对应的视频素材。
在本申请实施例中，在得到上述至少一个广告视频段中每个广告视频段对应的视频素材后，可以先将每个广告视频段替换为各自对应的视频素材。
示例6，结合示例4，在确定推荐的视频素材S’n之后，可以将原有的广告视频段[Sn，Tn]替换成[S’n，T’n]。
S103b、将视频素材与N个视频段中除至少一个广告视频段以外的其他视频段，按照时间戳进行合成，得到目标视频。
在本申请实施例中，上述合成可以通过以后的视频编辑软件进行合成。
示例性地，上述合成包括视频拼接、视频融合等。
示例7，结合示例6，在将广告视频段段[Sn，Tn]替换成[S’n，T’n]之后，可以根据上述视频分片时，为每个视频段添加的时间戳，将[S’n，T’n]与其余的普通视频段进行合成({[S0，T0]……[S’n，T’n]})，得到目标视频。
如此，根据分片式添加的时间戳进行视频段的合成，使得最后生成的目标视频与原视频的时间顺序相吻合，确保了目标视频的正常播放。
可选地，在本申请实施例中，如图7所示，本申请实施例提供的直播场景下广告视频片段替换方法还可以通过如下流程实现：先接收直播视频流，再对视频进行分片得到多个视频片段；接着对视频片段进行视频特征识别，如果是普通视频段，则只进行视频缓存，不进行任何处理；如果是广告视频段，则结合从终端设备上预先获取的用户信息，以及广告素材库，依次进行广告分析、广告推荐和广告替换，最后进行视频合成，并将合成的视频通过蜂窝网络下发到终端设备，完成直播视频中的广告视频片段的完整替换。
在本申请实施例中，上述蜂窝网络可以包括第四代移动通信技术(4thgeneration mobile communication technology，4G)、第五代移动通信技术(5thgeneration mobile communication technology，5G)、第六代移动通信标准(6thgeneration mobile networks，6G)。
本申请实施例可以根据上述方法示例对直播场景下广告视频片段替换装置进行功能模块或者功能单元的划分，例如，可以对应各个功能划分各个功能模块或者功能单元，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块或者功能单元的形式实现。其中，本申请实施例中对模块或者单元的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
如图8所示，为本申请实施例提供的一种直播场景下广告视频片段替换装置的结构示意图，该装置包括：获取单元401、确定单元402和生成单元403。
其中，上述获取单元401，用于基于视频分类模型，获取视频中的至少一个广告视频段；上述确定单元402，用于根据广告素材库和用户信息，确定获取单元401得到的上述至少一个广告视频段对应的视频素材，一个广告视频段对应一个视频素材，该广告素材库和上述用户信息均部署在边缘云上；上述生成单元403，用于采用确定单元402得到的上述视频素材替换上述至少一个广告视频段，生成目标视频。
可选地，在本申请实施例中，如图9所示，上述直播场景下广告视频片段替换装置还包括处理单元404；上述处理单元404，用于：在获取单元401基于视频分类模型，获取视频中的至少一个广告视频段之前，将历史视频片段划分为训练数据和校验数据；采用深度学习算法对上述训练数据进行训练，得到预训练模型；采用上述校验数据对上述预训练模型进行参数优化，得到上述视频分类模型，该视频分类模型的分类准确度大于上述预训练模型的分类准确度。
可选地，在本申请实施例中，上述获取单元401，具体用于：将上述视频按照时间顺序分片为N个视频段，并为每个视频段添加时间戳，N为正整数；将上述N个视频段输入上述视频分类模型进行分类，输出上述至少一个广告视频段。
可选地，在本申请实施例中，上述用户信息包括上述用户的兴趣爱好，上述确定单元402，具体用于：根据上述广告素材库，确定上述至少一个广告视频段中每个广告视频段的类型和时长；根据上述用户的兴趣爱好和上述每个广告视频段的时长，确定上述至少一个广告视频段对应的视频素材，该视频素材与上述用户的兴趣爱好相匹配。
可选地，在本申请实施例中，上述生成单元403，具体用于：将上述至少一个广告视频段中的每个广告视频段替换为各自对应的视频素材；将该视频素材与上述N个视频段中除上述至少一个广告视频段以外的其他视频段，按照上述时间戳进行合成，得到上述目标视频。
在本申请实施例提供的直播场景下广告视频片段替换装置中，可以先基于视频分类模型，从视频中获取广告视频片段，然后根据广告素材库和用户信息，确定与广告视频片段对应的视频素材，最后采用确定出的视频素材替换掉原视频中的广告视频片段，生成新的目标视频。由于上述广告素材库和用户信息均部署在边缘云上，可以直接根据该广告素材库和用户信息确定视频素材，一方面减少了从获取用户信息到匹配相应视频素材的整个响应时间，避免广告替换导致的直播视频延迟；另一方面可以根据用户信息进行个性化视频素材的匹配，为不同用户提供不同的视频素材，实现千人千面的广告视频呈现，提高了广告观看率，从而提升了广告投放的整体效果。
图10示出了上述实施例中所涉及的直播场景下广告视频片段替换装置的又一种可能的结构示意图。该直播场景下广告视频片段替换装置包括：处理器302和通信接口303。处理器302用于对直播场景下广告视频片段替换装置的动作进行控制管理，例如，执行上述获取单元401、确定单元402、生成单元403和处理单元404执行的步骤，和/或用于执行本文所描述的技术的其它过程。通信接口303用于支持直播场景下广告视频片段替换装置与其他网络实体的通信。直播场景下广告视频片段替换装置还可以包括存储器301和总线304，存储器301用于存储直播场景下广告视频片段替换装置的程序代码和数据。
其中，存储器301可以是直播场景下广告视频片段替换装置中的存储器等，该存储器可以包括易失性存储器，例如随机存取存储器；该存储器也可以包括非易失性存储器，例如只读存储器，快闪存储器，硬盘或固态硬盘；该存储器还可以包括上述种类的存储器的组合。
上述处理器302可以是实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器可以是中央处理器，通用处理器，数字信号处理器，专用集成电路，现场可编程门阵列或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。该处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线304可以是扩展工业标准结构(Extended Industry StandardArchitecture，EISA)总线等。总线304可以分为地址总线、数据总线、控制总线等。为便于表示，图10中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本申请实施例提供一种包含指令的计算机程序产品，当该计算机程序产品在计算机上运行时，使得该计算机执行上述方法实施例中的直播场景下广告视频片段替换方法。
本申请实施例还提供一种计算机可读存储介质，计算机可读存储介质中存储有指令，当该指令在计算机上运行时，使得该计算机执行上述方法实施例所示的方法流程中的直播场景下广告视频片段替换方法。
其中，计算机可读存储介质，例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read-Only Memory，ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、寄存器、硬盘、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合、或者本领域熟知的任何其它形式的计算机可读存储介质。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于特定用途集成电路(Application Specific Integrated Circuit，ASIC)中。在本申请实施例中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本发明的实施例提供一种包含指令的计算机程序产品，当指令在计算机上运行时，使得计算机执行如图1至图7中所述的直播场景下广告视频片段替换方法。
由于本发明的实施例中的直播场景下广告视频片段替换装置、计算机可读存储介质、计算机程序产品可以应用于上述方法，因此，其所能获得的技术效果也可参考上述方法实施例，本发明实施例在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (12)

1.一种直播场景下广告视频片段替换方法，其特征在于，所述方法包括：
基于视频分类模型，获取视频中的至少一个广告视频段；
根据广告素材库和用户信息，确定所述至少一个广告视频段对应的视频素材，一个广告视频段对应一个视频素材，所述广告素材库和所述用户信息均部署在边缘云上；
采用所述视频素材替换所述至少一个广告视频段，生成目标视频。
2.根据权利要求1所述的方法，其特征在于，所述基于视频分类模型，获取视频中的至少一个广告视频段之前，所述方法还包括：
将历史视频片段划分为训练数据和校验数据；
采用深度学习算法对所述训练数据进行训练，得到预训练模型；
采用所述校验数据对所述预训练模型进行参数优化，得到所述视频分类模型，所述视频分类模型的分类准确度大于所述预训练模型的分类准确度。
3.根据权利要求1或2所述的方法，其特征在于，所述基于视频分类模型，获取视频中的至少一个广告视频段，包括：
将所述视频按照时间顺序分片为N个视频段，并为每个视频段添加时间戳，N为正整数；
将所述N个视频段输入所述视频分类模型进行分类，输出所述至少一个广告视频段。
4.根据权利要求1所述的方法，其特征在于，所述用户信息包括所述用户的兴趣爱好，所述根据广告素材库和用户信息，确定所述至少一个广告视频段对应的视频素材，包括：
根据所述广告素材库，确定所述至少一个广告视频段中每个广告视频段的类型和时长；
根据所述用户的兴趣爱好和所述每个广告视频段的时长，确定所述至少一个广告视频段对应的视频素材，所述视频素材与所述用户的兴趣爱好相匹配。
5.根据权利要求3所述的方法，其特征在于，所述采用所述视频素材替换所述至少一个广告视频段，生成目标视频，包括：
将所述至少一个广告视频段中的每个广告视频段替换为各自对应的视频素材；
将所述视频素材与所述N个视频段中除所述至少一个广告视频段以外的其他视频段，按照所述时间戳进行合成，得到所述目标视频。
6.一种直播场景下广告视频片段替换装置，其特征在于，所述装置包括：获取单元、确定单元和生成单元，其中：
所述获取单元，用于基于视频分类模型，获取视频中的至少一个广告视频段；
所述确定单元，用于根据广告素材库和用户信息，确定所述获取单元得到的所述至少一个广告视频段对应的视频素材，一个广告视频段对应一个视频素材，所述广告素材库和所述用户信息均部署在边缘云上；
所述生成单元，用于采用所述确定单元得到的所述视频素材替换所述至少一个广告视频段，生成目标视频。
7.根据权利要求6所述的装置，其特征在于，所述装置还包括处理单元；
所述处理单元，用于：
在所述获取单元基于视频分类模型，获取视频中的至少一个广告视频段之前，将历史视频片段划分为训练数据和校验数据；
采用深度学习算法对所述训练数据进行训练，得到预训练模型；
采用所述校验数据对所述预训练模型进行参数优化，得到所述视频分类模型，所述视频分类模型的分类准确度大于所述预训练模型的分类准确度。
8.根据权利要求6所述的装置，其特征在于，
所述获取单元，具体用于：
将所述视频按照时间顺序分片为N个视频段，并为每个视频段添加时间戳，N为正整数；
将所述N个视频段输入所述视频分类模型进行分类，输出所述至少一个广告视频段。
9.根据权利要求8所述的装置，其特征在于，所述用户信息包括所述用户的兴趣爱好，
所述确定单元，具体用于：
根据所述广告素材库，确定所述至少一个广告视频段中每个广告视频段的类型和时长；
根据所述用户的兴趣爱好和所述每个广告视频段的时长，确定所述至少一个广告视频段对应的视频素材，所述视频素材与所述用户的兴趣爱好相匹配。
10.根据权利要求9所述的装置，其特征在于，
所述生成单元，具体用于：
将所述至少一个广告视频段中的每个广告视频段替换为各自对应的视频素材；
将所述视频素材与所述N个视频段中除所述至少一个广告视频段以外的其他视频段，按照所述时间戳进行合成，得到所述目标视频。
11.一种直播场景下广告视频片段替换装置，其特征在于，包括：处理器和通信接口；所述通信接口和所述处理器耦合，所述处理器用于运行计算机程序或指令，以实现如权利要求1-5中任一项所述的直播场景下广告视频片段替换方法。
12.一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，其特征在于，当计算机执行该指令时，该计算机执行上述权利要求1-5中任一项所述的直播场景下广告视频片段替换方法。
CN202310673451.0A 2023-06-07 2023-06-07 直播场景下广告视频片段替换方法、装置及存储介质 Pending CN116614652A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310673451.0A CN116614652A (zh) 2023-06-07 2023-06-07 直播场景下广告视频片段替换方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310673451.0A CN116614652A (zh) 2023-06-07 2023-06-07 直播场景下广告视频片段替换方法、装置及存储介质

Publications (1)

Publication Number Publication Date
CN116614652A true CN116614652A (zh) 2023-08-18

Family

ID=87679932

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310673451.0A Pending CN116614652A (zh) 2023-06-07 2023-06-07 直播场景下广告视频片段替换方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN116614652A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117217831A (zh) * 2023-11-08 2023-12-12 湖南快乐阳光互动娱乐传媒有限公司 广告投放方法及装置、存储介质及电子设备

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117217831A (zh) * 2023-11-08 2023-12-12 湖南快乐阳光互动娱乐传媒有限公司 广告投放方法及装置、存储介质及电子设备
CN117217831B (zh) * 2023-11-08 2024-01-30 湖南快乐阳光互动娱乐传媒有限公司 广告投放方法及装置、存储介质及电子设备

Similar Documents

Publication Publication Date Title
US20210397651A1 (en) Estimating social interest in time-based media
CN109155136B (zh) 从视频自动检测和渲染精彩场面的计算机化系统和方法
US9471936B2 (en) Web identity to social media identity correlation
US10516909B2 (en) Method and system for recommending dynamic, adaptive and non-sequentially assembled videos
CN111178970B (zh) 广告投放的方法及装置、电子设备和计算机可读存储介质
US20170142463A1 (en) Using cluster computing for generating personalized dynamic videos
CN110264268B (zh) 广告投放装置、方法、设备及其存储介质
CN116614652A (zh) 直播场景下广告视频片段替换方法、装置及存储介质
US9247182B2 (en) Using cluster computing for generating personalized dynamic videos
CN115203539A (zh) 一种媒体内容推荐方法、装置、设备及存储介质
WO2016125166A1 (en) Systems and methods for analyzing video and making recommendations
US20220201367A1 (en) Milestone determination associated with video presentation
CN112561549A (zh) 广告生成方法、投放方法、广告生成装置及投放装置
CN114630194B (zh) 弹幕跳转链接的方法、系统、设备及计算机可读存储介质
CN107122995A (zh) 基于电子发票的信息推送方法及信息推送装置
US10372747B1 (en) Defining content presentation interfaces based on identified similarities between received and stored media content items
KR20240002089A (ko) 다중 채널 네트워크의 컨텐츠 서비스 제공 방법, 장치 및 시스템
KR20220003204A (ko) 모바일 광고 제공 시스템 및 제공 방법
US20180012276A1 (en) Systems and methods for identifying media and providing supplemental media information

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination