CN110662103B - 多媒体对象重构方法及装置、电子设备、可读存储介质 - Google Patents

多媒体对象重构方法及装置、电子设备、可读存储介质 Download PDF

Info

Publication number
CN110662103B
CN110662103B CN201910919159.6A CN201910919159A CN110662103B CN 110662103 B CN110662103 B CN 110662103B CN 201910919159 A CN201910919159 A CN 201910919159A CN 110662103 B CN110662103 B CN 110662103B
Authority
CN
China
Prior art keywords
multimedia object
reconstruction
target
original multimedia
size
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910919159.6A
Other languages
English (en)
Other versions
CN110662103A (zh
Inventor
李银辉
杨林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN201910919159.6A priority Critical patent/CN110662103B/zh
Publication of CN110662103A publication Critical patent/CN110662103A/zh
Application granted granted Critical
Publication of CN110662103B publication Critical patent/CN110662103B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本公开关于一种多媒体对象重构方法及装置、电子设备、可读存储介质。该方法包括：获取目标视频；确定待插播到目标视频的原始多媒体对象；确定原始多媒体对象是否需要重构；若原始多媒体对象需要重构，则基于原始多媒体对象获得至少一种素材元素，并基于至少一种素材元素重构原始多媒体对象，获得与目标视频的尺寸相同的目标多媒体对象；在目标视频的指定播放时间位置关联目标多媒体对象，以在播放目标视频的过程中在指定播放时间位置插播目标多媒体对象。本实施例中通过重构原始多媒体对象可以使素材更突出，方便用户观看到多媒体对象的关键内容，有利于提升用户观看多媒体对象的体验，进而有利于提高多媒体对象的转化效果。

Description

多媒体对象重构方法及装置、电子设备、可读存储介质
技术领域
本公开涉及显示技术领域，尤其涉及一种多媒体对象重构方法及装置、电子设备、可读存储介质。
背景技术
目前，现有的视频平台上会在播放视频的结尾插播一预设图片(或短视频)并播放一定时长(例如10秒)，时间到达后该预设图片(或短视频)自动关闭，并继续播放同一视频。实际应用中，该预设图片或短视频通常由第三方提供，而第三方制作预设图片或短视频的水平有限，导致设图片或短视频无法突出其关键点，因此，观看视频的用户也就没有操作该预设图片或短视频的欲望，最终使预设图片或短视频的转化效果比较差。
发明内容
本公开提供一种多媒体对象重构方法及装置、电子设备、可读存储介质，以至少解决相关技术中插播的多媒体对象其关键内容不突出的问题。
本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种多媒体对象重构方法，包括：
获取目标视频；
确定待插播到所述目标视频的原始多媒体对象；
确定所述原始多媒体对象是否需要重构；
若所述原始多媒体对象需要重构，则基于所述原始多媒体对象获得至少一种素材元素，并基于所述至少一种素材元素重构所述原始多媒体对象，获得与所述目标视频的尺寸相同的目标多媒体对象；
在所述目标视频的指定播放时间位置关联所述目标多媒体对象，以在播放所述目标视频的过程中在指定播放时间位置插播所述目标多媒体对象。
可选地，所述确定所述原始多媒体对象是否需要重构，包括：
获取所述原始多媒体对象的尺寸和所述目标视频的尺寸；
若所述原始多媒体对象的尺寸和所述目标视频的尺寸不相同，则确定所述原始多媒体对象需要重构；若所述原始多媒体对象的尺寸和所述目标视频的尺寸相同，则确定所述原始多媒体对象无需重构。
可选地，所述至少一种素材包括：与所述原始多媒体对象的数据内容相关的内容素材，和，与所述原始多媒体对象的数据格式相关的参数素材。
可选地，所述基于所述原始多媒体对象获得至少一种素材元素，包括：
获取预先设置的候选素材获取要求；所述候选素材获取要求包括内容要求、画面要求和审美要求；
根据所述内容要求确定所述原始多媒体对象的内容类型；
根据所述画面要求从所述原始多媒体对象提取属于所述内容类型的画面场景素材；所述画面场景素材包括以下中的至少一种：视频帧的全部或者部分区域，封面的全部或者部分区域；
根据所述审美要求对所述画面场景素材进行过滤，得到候选内容素材；
将所述候选内容素材输入到预先设置的内容提取模型，由所述内容提取模型从所述候选内容素材中提取出至少一种素材元素。
可选地，所述基于所述至少一种素材元素重构所述原始多媒体对象，获得与所述目标视频的尺寸相同的目标多媒体对象，包括：
基于所述原始多媒体对象的尺寸和所述至少一种素材元素从候选的重构容器中选取目标重构容器；
基于所述至少一种素材元素和所述原始多媒体对象填充所述目标重构容器，获得可交互的目标多媒体对象。
可选地，所述候选的重构容器包括以下至少一种：
第一重构容器，包括设置在容器上方且显示所述原始多媒体对象的第一区域，和设置在所述第一区域下方且显示所述内容素材的第二区域；
第二重构容器，包括设置在容器的上方且用于显示所述原始多媒体对象的第三区域，和设置在所述容器的中间和下部且用于显示所述原始多媒体对象或所述内容素材的第四区域和第五区域；
第三重构容器，包括设置在容器上方且显示所述参数素材的第六区域，和设置在所述第六区域下方且显示所述原始多媒体对象的第七区域。
可选地，基于所述原始多媒体对象的尺寸和所述至少一种素材元素从候选的重构容器中选取目标重构容器，包括：
判断所述原始多媒体对象的尺寸与预先设置的第一尺寸和第二尺寸的关系；
若所述原始多媒体对象的尺寸等于所述第一尺寸，则选取第二重构容器作为目标重构容器；
若所述原始多媒体对象的尺寸大于等于所述第一尺寸且小于第二尺寸，则在基于所述原始多媒体对象已获得内容素材的情况下选取所述第一重构容器作为目标重构容器，在基于所述原始多媒体对象未获得内容素材的情况下选取所述第三重构容器作为目标重构容器。
可选地，在所述目标视频的指定播放时间位置关联所述目标多媒体对象之后，所述方法包括：
监控用户是否对播放中的目标多媒体对象进行触发操作：
响应于监控到的触发操作，显示所述目标多媒体对象指向的资源页面。
根据本公开实施例的第二方面，提供一种多媒体对象重构装置，包括：
目标视频获取单元，被配置为执行获取目标视频；
多媒体确定单元，被配置为执行确定待插播到所述目标视频的原始多媒体对象；
重构确定单元，被配置为执行确定所述原始多媒体对象是否需要重构；
多媒体重构单元，被配置为执行在所述原始多媒体对象需要重构时，基于所述原始多媒体对象获得至少一种素材元素，并基于所述至少一种素材元素重构所述原始多媒体对象，获得与所述目标视频的尺寸相同的目标多媒体对象；
多媒体关联单元，被配置为执行在所述目标视频的指定播放时间位置关联所述目标多媒体对象，以在播放所述目标视频的过程中在指定播放时间位置插播所述目标多媒体对象。
可选地，所述装置还包括：
尺寸获取单元，被配置为执行获取所述原始多媒体对象的尺寸和所述目标视频的尺寸；
对象重构确定单元，被配置为执行在所述原始多媒体对象的尺寸和所述目标视频的尺寸不相同时，确定所述原始多媒体对象需要重构；被配置为执行在所述原始多媒体对象的尺寸和所述目标视频的尺寸相同时，确定所述原始多媒体对象无需重构。
可选地，所述多媒体重构单元包括：
重构容器选取模块，被配置为执行基于所述原始多媒体对象的尺寸和所述至少一种素材元素从候选的重构容器中选取目标重构容器；
多媒体重构模块，被配置为执行基于所述至少一种素材元素和所述原始多媒体对象填充所述目标重构容器，获得可交互的目标多媒体对象。
可选地，所述至少一种素材包括：与所述原始多媒体对象的数据内容相关的内容素材，和，与所述原始多媒体对象的数据格式相关的参数素材。
可选地，所述多媒体重构单元包括：
要求获取模块，被配置为执行获取预先设置的候选素材获取要求；所述候选素材获取要求包括内容要求、画面要求和审美要求；
类型确定模块，被配置为执行根据所述内容要求确定所述原始多媒体对象的内容类型；
素材提取模块，被配置为执行根据所述画面要求从所述原始多媒体对象提取属于所述内容类型的画面场景素材；所述画面场景素材包括以下中的至少一种：视频帧的全部或者部分区域，封面的全部或者部分区域；
素材获取模块，被配置为执行根据所述审美要求对所述画面场景素材进行过滤，得到候选内容素材；
元素获取模块，被配置为执行将所述候选内容素材输入到预先设置的内容提取模型，由所述内容提取模型从所述候选内容素材中提取出至少一种素材元素。
可选地，所述候选的重构容器包括以下至少一种：
第一重构容器，包括设置在容器上方且显示所述原始多媒体对象的第一区域，和设置在所述第一区域下方且显示所述内容素材的第二区域；
第二重构容器，包括设置在容器的上方且用于显示所述原始多媒体对象的第三区域，和设置在所述容器的中间和下部且用于显示所述原始多媒体对象或所述内容素材的第四区域和第五区域；
第三重构容器，包括设置在容器上方且显示所述参数素材的第六区域，和设置在所述第六区域下方且显示所述原始多媒体对象的第七区域。
可选地，所述重构容器选取模块包括：
第一判断子模块，被配置为执行判断所述原始多媒体对象的尺寸与预先设置的第一尺寸和第二尺寸的关系；
第一确定子模块，被配置为执行在所述原始多媒体对象的尺寸等于所述第二尺寸时，选取第二重构容器作为目标重构容器；在所述原始多媒体对象的尺寸大于等于所述第一尺寸且小于第二尺寸时，在基于所述原始多媒体对象已获得内容素材的情况下选取所述第一重构容器作为目标重构容器，在基于所述原始多媒体对象未获得内容素材的情况下选取所述第三重构容器作为目标重构容器。
可选地，所述装置还包括：
触发操作监控单元，被配置为执行监控用户是否对播放中的目标多媒体对象进行触发操作：
资源页面显示单元，被配置为执行响应于监控到的触发操作，显示所述目标多媒体对象指向的资源页面。
根据本公开实施例的第三方面，提供一种电子设备，包括：
处理器；
用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述存储器中的可执行指令，以实现如第一方面所述方法的步骤。
根据本公开实施例的第四方面，提供一种存储介质，当所述存储介质中的指令由处理器执行时能够执行如第一方面所述方法的步骤。
根据本公开实施例的第五方面，提供一种计算机程序产品，当该计算机程序产品由电子设备的处理器执行时，使得所述电子设备能够执行如第一方面所述方法的步骤，以获取相同的技术效果。
本公开的实施例提供的技术方案至少带来以下有益效果：
本实施例中通过根据目标视频可以确定待插播到目标视频的原始多媒体对象，且利用预先训练的内容提取模型获取原始多媒体对象的至少一种素材，包括以下至少一种素材：与所述原始多媒体对象的数据内容相关的内容素材，和，与所述原始多媒体对象的数据格式相关的参数素材。然后，在确定原始多媒体对象需要重构时，基于所述至少一种素材元素重构原始多媒体对象，获得与目标视频的尺寸相同的目标多媒体对象；之后，在所述目标视频的指定播放时间位置关联所述目标多媒体对象，以在播放所述目标视频的过程在指定播放时间位置插播所述目标多媒体对象。本实施例中，通过预先训练后的内容提取模型可以获取到原始多媒体对象的至少一种素材，该素材可以表征出原始多媒体对象的关键内容，并且通过重构可以使素材更突出，这样在插播多媒体对象的过程中，方便用户观看到多媒体对象的关键内容，有利于提升用户观看多媒体对象的体验，进而有利于提高多媒体对象的转化效果。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种多媒体对象重构方法的流程图。
图2是根据一示例性实施例示出的确定原始多媒体对象是否需要重构的流程图。
图3是根据一示例性实施例示出的提取素材元素的流程图。
图4是根据一示例性实施例示出的获取目标多媒体对象的流程图。
图5(a)～图5(c)是根据一示例性实施例示出的第一重构容器、第三重构容器和第二重构容器的效果图。
图6是根据一示例性实施例示出的基于第一重构容器获取目标多媒体对象的效果图，其中图6(a)是第一重构容器的示意图，图6(b)是目标多媒体对象的效果图。
图7是根据一示例性实施例示出的基于第三重构容器获取目标多媒体对象的效果图，其中图7(a)是第三重构容器的示意图，图7(b)是目标多媒体对象的效果图。
图8是根据一示例性实施例示出的又一种多媒体对象重构方法的流程图。
图9(a)～图9(d)是根据一示例性实施例示出的内容提取模型获取素材的示意图。
图10是图9所示的内容提取模型输出的内容素材的效果图。
图11是图9所示原始多媒体对象重构后的目标多媒体对象的效果图。
图12是根据一示例性实施例示出的一种多媒体对象重构装置的框图。
图13是根据一示例性实施例示出的另一种多媒体对象重构装置的框图。
图14是根据一示例性实施例示出的又一种多媒体对象重构装置的框图。
图15是根据一示例性实施例示出的又一种多媒体对象重构装置的框图。
图16是根据一示例性实施例示出的又一种多媒体对象重构装置的框图。
图17是根据一示例性实施例示出的又一种多媒体对象重构装置的框图。
图18是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
目前，现有的视频平台上会在播放视频的结尾插播一预设图片(或短视频)并播放一定时长(例如10秒)，时间到达后该预设图片(或短视频)自动关闭，并继续播放同一视频。实际应用中，该预设图片或短视频通常由第三方提供，而第三方制作预设图片或短视频的水平有限，导致设图片或短视频无法突出其关键点，因此，观看视频的用户也就没有操作该预设图片或短视频的欲望，最终使预设图片或短视频的转化效果比较差。
为此，本公开实施例提供了一种多媒体对象重构方法，图1是根据一示例性实施例示出的一种多媒体对象重构方法，可以适用于电子设备，其中，电子设备可以包括智能手机、平板电脑等终端，可以是服务器，还可以是由终端和服务器构成的电子系统，在此不作限定。参见图1，一种多媒体对象重构方法，包括步骤101～步骤105，其中：
在步骤101中，获取目标视频。
实际应用中，视频平台的视频库中会存在若干个视频，这些视频包括已经上传的整个视频，还可以包括直播过程中上传的视频，在此不作限定。
本实施例提供的一种多媒体对象重构方法的触发方式可以由电子设备主动触发，还可以由用户触发，例如上传视频时即可触发或者用户在播放视频时触发，在此不作限定。后面以电子设备主动触发为例描述各实施例的方案。
在本实施例中，电子设备可以从视频库中选择未插播多媒体对象的视频作为目标视频。
其中，目标视频可以包括多个属性参数，例如创作者、创作时间、题材分类、视频格式和视频标签等，可以根据具体场景选择属性参数的种类和数量，在此不作限定。
以视频标签为例，各视频标签可以包括以下至少一种：基于所述目标视频的创作者个性生成的标签，基于所述目标视频中内容生成的标签。其中，基于目标视频的创作者个性生成的视频标签，例如创作者的性格包括火爆、温柔或讲义气等，爱好包括美食、时尚、美妆、旅游或读书等，工作包括律师、工程师或者销售人员等，这样视频的创作者可以自带多个标签，相应地，该多个标签可以作为创作者所创作视频的视频标签。同理，基于视频中内容生成的标签，例如视频内容包括美食、地理、历史、人物、景点、动物等，可以作为该视频的视频标签。
需要说明的是，技术人员可以根据具体场景调整视频的视频标签。另外，视频标签可以由人工手动设置，还可以根据机器学习的方式得到，相应方案落入本公开的保护范围。
在步骤102中，确定待插播到所述目标视频的原始多媒体对象。
本实施例中，电子设备内可以预先设置一预设数据库，该预设数据库内可以包括若干个原始多媒体对象，其多媒体对象可以包括文本、图片或视频。实际应用中，多媒体对象可以为广告、海报或者宣传片等。
本实施例中，电子设备可以为各多媒体对象设置至少一个多媒体标签，多媒体标签的设置方式可以参考视频标签的设置方式，在此不再赘述。
本实施例中，电子设备在获取到目标视频(如用户所选取的视频)时，可以获取到目标视频的视频标签以及预设数据库内各多媒体对象的多媒体标签。然后，电子设备可以目标视频的视频标签与各多媒体对象的多媒体标签计算目标视频和多媒体对象的相似度。其中相似度可以通过以下方式来计算，包括：
目标视频的视频标签有3个：美食、吃货、小吃，得到一标签矩阵[1，1，1]；
多媒体对象的多媒体标签有2个：美食、小吃，得到一标签矩阵[1，0，1]；
这样，电子设备可以计算出目标视频和该设定图像的相似度S为：
Figure BDA0002217062560000081
基于上述方式，电子设备可以计算出目标视频与视频库中各多媒体对象的相似度。然后，电子设备可以确定相似度最高的多媒体对象作为待插播的多媒体对象。为方便描述，后续将待插播到目标视频中的多媒体对象称之为原始多媒体对象，以区别于后续出现的目标多媒体对象。
需要说明的是，上述实施例以确定相似度的方式确定目标视频对应的原始多媒体对象，当然，在一实施例中，若视频标签包括多个标签，还可以对各视频标签设置优先级，按照优先级的顺序在预设数据库内匹配各标签，并将标签相同数量最多的多媒体对象作为目标视频对应的原始多媒体对象。技术人员可以根据具体场景选择合理的方案确定原始多媒体对象，相应方案落入本公开的保护范围。
在步骤103中，确定所述原始多媒体对象是否需要重构。
本实施例中的重构，是指调整原始多媒体对象的显示布局，即在播放原始多媒体对象的同时显示至少一种素材。可理解的是，重构前后的多媒体对象的显示区域布局不同，包括至少一种素材的显示区域，这样用户在观看原始多媒体对象的同时可以观看到至少一种素材，有利于突出原始多媒体对象的关键内容(即从原始多媒体对象中提取出的至少一种素材)。
本实施例中，电子设备可以确定原始多媒体对象是否需要重构，参见图2，电子设备可以获取原始多媒体对象的尺寸和目标视频的尺寸(对应图2中步骤201)。其中，尺寸可以包括宽度和长度、宽长比例。在一示例中，尺寸包括宽长比例。然后，电子设备可以对比多媒体对象的尺寸和目标视频的尺寸，若原始多媒体对象的尺寸和目标视频的尺寸不相同，则确定原始多媒体对象需要重构(对应图2中步骤202)；若原始多媒体对象的尺寸和目标视频的尺寸相同，则确定原始多媒体对象无需重构(对应图2中步骤203)。在原始多媒体对象无需重构的情况下，直接插播该原始多媒体对象即可，在此不再详细描述。
在步骤104中，若所述原始多媒体对象需要重构，则基于所述原始多媒体对象获得至少一种素材元素，并基于所述至少一种素材元素重构所述原始多媒体对象，获得与所述目标视频的尺寸相同的目标多媒体对象。
本实施例中，若原始多媒体对象需要重构，先从原始多媒体对象提取出该多媒体对象的至少一种素材元素，其中素材元素包括以下至少一种：与多媒体对象的数据内容相关的内容素材，和，与多媒体对象的数据格式相关的参数素材。其中，内容素材可以包括以下一种：视频帧的全部或者部分区域，封面的全部或者部分区域内容所处的边界范围与内容中关键点坐标，或者，指定数量张视频帧，例如一个包括内容的矩形区域。参数素材可以包括颜色、形状、字体大小等。
在一示例中，参见图3，电子设备可以获取预先设置的候选素材获取要求；该候选素材获取要求包括内容要求、画面要求和审美要求(对应图3中步骤301)。其中，内容要求可以包括以下一种：外观、细节、面料、模特出镜。画面要求可以包括以下一种：外形轮廓、近景展示、真人展示、使用场景、镜头互动。审美要求可以包括以下一种：不要模糊画面、主题偏移、水印、黑屏、字幕截断、人物闭眼等。需要说明的是，内容要求、画面要求和审美要求可以根据具体场景选择合适的要求组合，在此不作限定。然后，电子设备可以根据内容要求确定原始多媒体对象的内容类型(对应图3中步骤302)。例如，原始多媒体对象的内容类型可以为游戏类型或者电商类型。之后，电子设备可以根据画面要求从原始多媒体对象提取属于该内容类型的画面场景素材；其中画面场景素材包括以下中的至少一种：视频帧的全部或者部分区域，封面的全部或者部分区域(对应图3中步骤303)。继续，电子设备可以根据审美要求过滤画面场景素材，得到候选内容素材(对应图3中步骤304)。最后，电子设备可以将候选内容素材输入到预先设置的内容提取模型，由所述内容提取模型从所述候选内容素材中提取出至少一种素材元素(对应图3中步骤305)。
在另一示例中，电子设备内可以预先设置一训练后的内容提取模型，该内容提取模型可以采用相关技术中的机器学习模型实现，例如各神经网络。该内容提取模型可以对上述原始多媒体对象进行处理，提取出该多媒体对象的至少一种素材元素。其中，内容提取模型，可以采用满足内容要求、画面要求和审美要求的样本多媒体对象来训练，样本多媒体对象的选取方法可以参见步骤301～步骤303，内容提取模型的训练方式可以参考相关技术，在此不作限定
需要说明的是，本实施例中考虑到原始多媒体对象是由第三方提供，例如广告主，其制作方式或者制作效果可能存在如背景技术中指出的问题，因此可以在获取到原始多媒体对象后存储到预设数据库之前，即可提取出至少一种素材元素，该至少一种素材元素作为原始多媒体对象的一部分数据的形式存储，这样在插播时直接使至少一种素材元素即可，无需实时提取，有利于减少处理时间，提升处理效率。
然后，本实施例中，电子设备可以基于至少一种素材元素重构原始多媒体对象，获得与目标视频的尺寸相同的目标多媒体对象。参见图4，电子设备可以基于原始多媒体对象的尺寸和至少一种素材元素从候选的重构容器中选取目标重构容器(对应图4中步骤401)。
需要说明的是，为方便重构，本实施例中预先存储多个重构容器，其中重构容器可以理解为一按照目标视频的尺寸设定的一显示模板，该显示模板内包括显示原始多媒体对象的显示区域和显示至少一个素材的显示区域。重构容器布局可以根据具体场景进行设置，图5(a)～图5(c)是本实施例示例出的三种重构容器。
参见图5(a)，第一重构容器，包括设置在容器上方且显示原始多媒体对象的第一区域11，和设置在第一区域下方且显示内容素材的第二区域12。以一个第二区域12可以作为一个显示区域，这样第二区域12可以显示全部的内容素材，当然第二区域12还可以包括多个子区域，图5(a)中示例出了第二区域12包括两个子区域的场景，各子区域可以显示一个素材，这样子区域的数量可以根据素材的数量进行设置。
参见图5(c)，第二重构容器，包括设置在容器的上方且用于显示所述原始多媒体对象的第三区域31，和设置在所述容器的中间和下部且用于显示原始多媒体对象或所述内容素材的第四区域32和第五区域33。这样，通过第三区域显示原始多媒体对象，第四区域和第五区域分别显示原始多媒体对象或内容素材，有利于提升观看到关键内容的概率。
参见图5(b)，第三重构容器，包括设置在容器上方且显示参数素材的第六区域21，和设置在第六区域21下方且显示原始多媒体对象的第七区域22。
以电子设备内设置有图5(a)～图5(c)所示的三个重构容器为例，电子设备可以先判断原始多媒体对象的尺寸与预先设置的第一尺寸和第二尺寸的关系；若等于第一尺寸，则选取第二重构容器；
若大于第一尺寸且小于第二尺寸，则在基于原始多媒体对象已获得内容素材的情况下选取第一重构容器作为目标重构容器，在基于原始多媒体对象未获得内容素材的情况下选取第三重构容器作为目标重构容器。
上述实施例中，第一尺寸可以为3：4(即横屏显示场景)，第二尺寸可以为16：9(即竖屏显示场景)。技术人员可以根据具体场景调整尺寸的大小以及数量，从而调整重构容器的数量，相应方案落入本公开的保护范围。
继续参见图4，电子设备可以依次将至少一种素材元素和原始多媒体对象填充到目标重构容器的对应位置，获得可交互的目标多媒体对象(对应图4中步骤402)。例如，以图6(a)所示的第一重构容器为例，第一重构容器的第一区域11内填充原始多媒体对象，两个第二区域12内分别填充内容素材1(凉鞋穿在模特脚部)和内容素材2(凉鞋被模特手持展示)，得到图6(b)所示的效果图。又如，以图7(a)所示的第三重构容器为例，第三重构容器的第六区域21内填充原始多媒体对象的背景色(图中展示浅灰色，实际为天空蓝)和标题(品牌福利优惠来袭，聚名品-限时折上5折起)，第七区域32内原始多媒体对象(包括身穿风衣和凉鞋的模特)，得到图7(b)所示的效果图。
在步骤105中，在所述目标视频的指定播放时间位置关联所述目标多媒体对象，以在播放所述目标视频的过程中在指定播放时间位置插播所述目标多媒体对象。
本实施例中，目标视频的指定播放时间位置可以在目标视频的头部位置、尾部位置等，在此不作限定。其中指定播放时间位置可以理解为目标视频中指定的一个时间点，或者某一帧视频帧之前或者之后的位置。以指定一个时间点为例，以目标视频的起始时间点为0，则指定一个时间点T是距离起始时间点0的时长为t的一个时刻；以视频帧为例，可以指定目标视频中的第N(为正整数)帧视频帧之前或者之后的时间位置。在确定指定播放时间位置和目标多媒体后，可以在指定播放时间设置一标志，该标志可以包括目标多媒体对象的存储地址，表示在播放到该标志时需要插播该目标多媒体对象。
本实施例中，该目标多媒体对象还包括另一个存储地址或者链接地址，通过该另一个存储地址或者链接地址可以跳转到一资源页面，即目标多媒体对象指向一资源页面，从而实现与用户可交互。
参见图8，电子设备在播放目标视频的过程中插播目标多媒体对象时，可以监控用户是否对播放中的目标多媒体对象进行触发操作(对应图8中步骤801)。若监控到触发操作，则显示目标多媒体对象指向的资源页面(对应图8中步骤802)，从而达到可交互的效果。这样，用户可以在资源页面内进行阅读、浏览或者购物等，从而提升目标多媒体对象的点击率和转化率。
至此，本实施例中通过根据目标视频可以确定待插播到目标视频的原始多媒体对象，然后，在确定原始多媒体对象需要重构时，基于所述原始多媒体对象获得至少一种素材元素并基于所述至少一种素材元素重构原始多媒体对象，获得与目标视频的尺寸相同的目标多媒体对象；之后，在所述目标视频的指定播放时间位置关联所述目标多媒体对象，以在播放所述目标视频的过程中在指定播放时间位置插播所述目标多媒体对象。本实施例中通过获取到原始多媒体对象的至少一种素材元素，该素材元素可以表征出原始多媒体对象的关键内容，并且通过重构可以使素材更突出，这样在插播多媒体对象的过程中，方便用户观看到多媒体对象的关键内容，有利于提升用户观看多媒体对象的体验，进而有利于提高多媒体对象的转化效果。
下面结合一场景来描述本实施例提供的多媒体对象重构方法。电子设备内可以接收第三方上传的多媒体对象，电子设备可以将该多媒体对象存储到预设数据库。
视频平台响应用户观看视频的需求，确定目标视频对应的原始多媒体对象是上述多媒体对象。然后，可以将原始多媒体对象输入到预先设置的内容提取模型，内容提取模型可以按照以下顺序提取出至少一个素材，参见图9(a)，先确定多媒体对象的分类是不是电商类，若是则继续检测有包括哪些物品，例如检测到鞋、衣服等，效果如图9(b)所示。然后，定位多媒体对象中售卖的对象是什么，如鞋，效果如图9(c)所示。之后，将鞋从图中标示出来，效果如图9(d)所示。最终，内容提取模型可以输出鞋鞋所在区域，效果如图10所示，从而得到多媒体对象的2个内容素材。电子设备经过对比原始多媒体对象的尺寸和目标视频的尺寸，确定出两者的尺寸不相同需要重构原始多媒体对象，结合上述确定出的内容素材，电子设备可以确定选择图5(a)所示的第一重构容器，然后向第一重构容器内的各区域填充原始多媒体对象和内容素材，得到如图11所示的效果图，即得到目标多媒体对象。最后，电子设备可以将目标多媒体对象关联到目标视频中。
在本公开实施例提供的一种多媒体对象重构方法的基础上，本实施例还提供了一种多媒体对象重构装置，图12是根据一示例性实施例示出的一种多媒体对象重构装置。参见图12，一种多媒体对象重构装置1200包括：
目标视频获取单元1201，被配置为执行获取目标视频；
多媒体确定单元1202，被配置为执行确定待插播到所述目标视频的原始多媒体对象；
重构确定单元1203，被配置为执行确定所述原始多媒体对象是否需要重构；
多媒体重构单元1204，被配置为执行在所述原始多媒体对象需要重构时，基于所述原始多媒体对象获得至少一种素材元素，并基于所述至少一种素材元素重构所述原始多媒体对象，获得与所述目标视频的尺寸相同的目标多媒体对象；
多媒体关联单元1205，被配置为执行在所述目标视频的指定播放时间位置关联所述目标多媒体对象，以在播放所述目标视频的过程中在指定播放时间位置插播所述目标多媒体对象。
图13是根据一示例性实施例示出的另一种多媒体对象重构装置的框图，在图12所示的一种多媒体对象重构装置的基础上，参见图13，所述装置1200还包括：
尺寸获取单元1301，被配置为执行获取所述原始多媒体对象的尺寸和所述目标视频的尺寸；
对象重构确定单元1302，被配置为执行在所述原始多媒体对象的尺寸和所述目标视频的尺寸不相同时，确定所述原始多媒体对象需要重构；被配置为执行在所述原始多媒体对象的尺寸和所述目标视频的尺寸相同时，确定所述原始多媒体对象无需重构。
图14是根据一示例性实施例示出的另一种多媒体对象重构装置的框图，在图12所示的一种多媒体对象重构装置的基础上，参见图14，所述多媒体重构单元1204包括：
重构容器选取模块1401，被配置为执行基于所述原始多媒体对象的尺寸和所述至少一种素材元素从候选的重构容器中选取目标重构容器；
多媒体重构模块1402，被配置为执行基于所述至少一种素材元素和所述原始多媒体对象填充所述目标重构容器，获得可交互的目标多媒体对象。
在一实施例中，所述至少一种素材包括：与所述原始多媒体对象的数据内容相关的内容素材，和，与所述原始多媒体对象的数据格式相关的参数素材。
图15是根据一示例性实施例示出的另一种多媒体对象重构装置的框图，在图13所示的一种多媒体对象重构装置的基础上，参见图15，所述多媒体重构单元1204包括：
要求获取模块1501，被配置为执行获取预先设置的候选素材获取要求；所述候选素材获取要求包括内容要求、画面要求和审美要求；
类型确定模块1502，被配置为执行根据所述内容要求确定所述原始多媒体对象的内容类型；
素材提取模块1503，被配置为执行根据所述画面要求从所述原始多媒体对象提取属于所述内容类型的画面场景素材；所述画面场景素材包括以下中的至少一种：视频帧的全部或者部分区域，封面的全部或者部分区域；
素材获取模块1504，被配置为执行根据所述审美要求对所述画面场景素材进行过滤，得到候选内容素材；
元素获取模块1505，被配置为执行将所述候选内容素材输入到预先设置的内容提取模型，由所述内容提取模型从所述候选内容素材中提取出至少一种素材元素。
在一实施例中，所述候选的重构容器包括以下至少一种：
第一重构容器，包括设置在容器上方且显示所述原始多媒体对象的第一区域，和设置在所述第一区域下方且显示所述内容素材的第二区域；
第二重构容器，包括设置在容器的上方且用于显示所述原始多媒体对象的第三区域，和设置在所述容器的中间和下部且用于显示所述原始多媒体对象或所述内容素材的第四区域和第五区域；
第三重构容器，包括设置在容器上方且显示所述参数素材的第六区域，和设置在所述第六区域下方且显示所述原始多媒体对象的第七区域。
图16是根据一示例性实施例示出的另一种多媒体对象重构装置的框图，在图15所示的一种多媒体对象重构装置的基础上，参见图16，所述重构容器选取模块1401包括：
第一判断子模块1601，被配置为执行判断所述原始多媒体对象的尺寸与预先设置的第一尺寸和第二尺寸的关系；
第一确定子模块1602，被配置为执行在所述原始多媒体对象的尺寸等于所述第二尺寸时，选取第二重构容器作为目标重构容器；在所述原始多媒体对象的尺寸大于等于第一尺寸且小于第二尺寸时，在基于所述原始多媒体对象已获得内容素材的情况下选取所述第一重构容器作为目标重构容器，在基于所述原始多媒体对象未获得内容素材的情况下选取所述第三重构容器作为目标重构容器。
图17是根据一示例性实施例示出的另一种多媒体对象重构装置的框图，在图12所示的一种多媒体对象重构装置的基础上，参见图17，所述装置还包括：
触发操作监控单元1701，被配置为执行监控用户是否对播放中的目标多媒体对象进行触发操作：
资源页面显示单元1702，被配置为执行响应于监控到的触发操作，显示所述目标多媒体对象指向的资源页面。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
至此，本实施例中，通过预先训练后的内容提取模型可以获取到原始多媒体对象的至少一种素材，该素材可以表征出原始多媒体对象的关键内容，并且通过重构可以使素材更突出，这样在插播多媒体对象的过程中，方便用户观看到多媒体对象的关键内容，有利于提升用户观看多媒体对象的体验，进而有利于提高多媒体对象的转化效果。
图18是根据一示例性实施例示出的一种电子设备的框图。例如，电子设备1800可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
参照图18，电子设备1800可以包括以下一个或多个组件：处理组件1802，存储器1804，电源组件1806，多媒体组件1808，音频组件1810，输入/输出(I/O)的接口1812，传感器组件1814，以及通信组件1816。
处理组件1802通常控制电子设备1800的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1802可以包括一个或多个处理器1820来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1802可以包括一个或多个模块，便于处理组件1802和其他组件之间的交互。例如，处理组件1802可以包括多媒体模块，以方便多媒体组件1808和处理组件1802之间的交互。
存储器1804被配置为存储各种类型的数据以支持在电子设备1800的操作。这些数据的示例包括用于在电子设备1800上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1804可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。
电源组件1806为电子设备1800的各种组件提供电力。电源组件1806可以包括电源管理系统，一个或多个电源，及其他与为电子设备1800生成、管理和分配电力相关联的组件。
多媒体组件1808包括在电子设备1800和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1808包括一个前置摄像头和/或后置摄像头。当电子设备1800处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
音频组件1810被配置为输出和/或输入音频信号。例如，音频组件1810包括一个麦克风(MIC)，当电子设备1800处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1804或经由通信组件1816发送。在一些实施例中，音频组件1810还包括一个扬声器，用于输出音频信号。
I/O接口1812为处理组件1802和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
传感器组件1814包括一个或多个传感器，用于为电子设备1800提供各个方面的状态评估。例如，传感器组件1814可以检测到电子设备1800的打开/关闭状态，组件的相对定位，例如所述组件为电子设备1800的显示器和小键盘，传感器组件1814还可以检测电子设备1800或电子设备1800一个组件的位置改变，用户与电子设备1800接触的存在或不存在，电子设备1800方位或加速/减速和电子设备1800的温度变化。传感器组件1814可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1814还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1814还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
通信组件1816被配置为便于电子设备1800和其他设备之间有线或无线方式的通信。电子设备1800可以接入基于通信标准的无线网络，如WiFi，运营商网络(如2G、3G、4G或5G)，或它们的组合。在一个示例性实施例中，通信组件1816经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件1816还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。
在本公开一实施例中，电子设备1800可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
在本公开一实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1804，上述指令可由电子设备1800的处理器1820执行以完成上述获取观看时长的方法。例如，所述非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
在本公开一实施例中，还提供了一种计算机程序产品，当该计算机程序产品由电子设备的处理器执行时，使得所述电子设备能够执行上述方法，以获取相同的技术效果。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置/电子设备/存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖上述实施例任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (18)

1.一种多媒体对象重构方法，其特征在于，包括：
获取目标视频；
确定待插播到所述目标视频的原始多媒体对象；
确定所述原始多媒体对象是否需要重构；
若所述原始多媒体对象需要重构，则获取预先设置的候选素材获取要求，根据所述候选素材获取要求中的内容要求确定所述原始多媒体对象的内容类型，根据所述候选素材获取要求中的画面要求从所述原始多媒体对象提取属于所述内容类型的画面场景素材，从所述画面场景素材中提取出至少一种素材元素，并基于所述至少一种素材元素重构所述原始多媒体对象，获得与所述目标视频的尺寸相同的目标多媒体对象；
在所述目标视频的指定播放时间位置关联所述目标多媒体对象，以在播放所述目标视频的过程中在指定播放时间位置插播所述目标多媒体对象。
2.根据权利要求1所述的多媒体对象重构方法，其特征在于，所述确定所述原始多媒体对象是否需要重构，包括：
获取所述原始多媒体对象的尺寸和所述目标视频的尺寸；
若所述原始多媒体对象的尺寸和所述目标视频的尺寸不相同，则确定所述原始多媒体对象需要重构；若所述原始多媒体对象的尺寸和所述目标视频的尺寸相同，则确定所述原始多媒体对象无需重构。
3.根据权利要求1所述的多媒体对象重构方法，其特征在于，所述至少一种素材包括：与所述原始多媒体对象的数据内容相关的内容素材，和，与所述原始多媒体对象的数据格式相关的参数素材。
4.根据权利要求3所述的多媒体对象重构方法，其特征在于，所述从所述画面场景素材中提取出至少一种素材元素，包括：
根据所述候选素材获取要求中的审美要求对所述画面场景素材进行过滤，得到候选内容素材；
将所述候选内容素材输入到预先设置的内容提取模型，由所述内容提取模型从所述候选内容素材中提取出至少一种素材元素。
5.根据权利要求3所述的多媒体对象重构方法，其特征在于，所述基于所述至少一种素材元素重构所述原始多媒体对象，获得与所述目标视频的尺寸相同的目标多媒体对象，包括：
基于所述原始多媒体对象的尺寸和所述至少一种素材元素从候选的重构容器中选取目标重构容器；
基于所述至少一种素材元素和所述原始多媒体对象填充所述目标重构容器，获得可交互的目标多媒体对象。
6.根据权利要求5所述的多媒体对象重构方法，其特征在于，所述候选的重构容器包括以下至少一种：
第一重构容器，包括设置在容器上方且显示所述原始多媒体对象的第一区域，和设置在所述第一区域下方且显示所述内容素材的第二区域；
第二重构容器，包括设置在容器的上方且用于显示所述原始多媒体对象的第三区域，和设置在所述容器的中间和下部且用于显示所述原始多媒体对象或所述内容素材的第四区域和第五区域；
第三重构容器，包括设置在容器上方且显示所述参数素材的第六区域，和设置在所述第六区域下方且显示所述原始多媒体对象的第七区域。
7.根据权利要求6所述的多媒体对象重构方法，其特征在于，基于所述原始多媒体对象的尺寸和所述至少一种素材元素从候选的重构容器中选取目标重构容器，包括：
判断所述原始多媒体对象的尺寸与预先设置的第一尺寸和第二尺寸的关系；
若所述原始多媒体对象的尺寸等于所述第二尺寸，则选取第二重构容器作为目标重构容器；
若所述原始多媒体对象的尺寸大于等于第一尺寸且小于第二尺寸，则在基于原始多媒体对象已获得内容素材的情况下选取所述第一重构容器作为目标重构容器，在基于原始多媒体对象未获得内容素材的情况下选取所述第三重构容器作为目标重构容器。
8.根据权利要求1所述的多媒体对象重构方法，其特征在于，在所述目标视频的指定播放时间位置关联所述目标多媒体对象之后，所述方法包括：
监控用户是否对播放中的目标多媒体对象进行触发操作：
响应于监控到的触发操作，显示所述目标多媒体对象指向的资源页面。
9.一种多媒体对象重构装置，其特征在于，包括：
目标视频获取单元，被配置为执行获取目标视频；
多媒体确定单元，被配置为执行确定待插播到所述目标视频的原始多媒体对象；
重构确定单元，被配置为执行确定所述原始多媒体对象是否需要重构；
多媒体重构单元，被配置为执行在所述原始多媒体对象需要重构时，获取预先设置的候选素材获取要求，根据所述候选素材获取要求中的内容要求确定所述原始多媒体对象的内容类型，根据所述候选素材获取要求中的画面要求从所述原始多媒体对象提取属于所述内容类型的画面场景素材，从所述画面场景素材中提取出至少一种素材元素，并基于所述至少一种素材元素重构所述原始多媒体对象，获得与所述目标视频的尺寸相同的目标多媒体对象；
多媒体关联单元，被配置为执行在所述目标视频的指定播放时间位置关联所述目标多媒体对象，以在播放所述目标视频的过程中在指定播放时间位置插播所述目标多媒体对象。
10.根据权利要求9所述的多媒体对象重构装置，其特征在于，所述装置还包括：
尺寸获取单元，被配置为执行获取所述原始多媒体对象的尺寸和所述目标视频的尺寸；
对象重构确定单元，被配置为执行在所述原始多媒体对象的尺寸和所述目标视频的尺寸不相同时，确定所述原始多媒体对象需要重构；被配置为执行在所述原始多媒体对象的尺寸和所述目标视频的尺寸相同时，确定所述原始多媒体对象无需重构。
11.根据权利要求9所述的多媒体对象重构装置，其特征在于，所述多媒体重构单元包括：
重构容器选取模块，被配置为执行基于所述原始多媒体对象的尺寸和所述至少一种素材元素从候选的重构容器中选取目标重构容器；
多媒体重构模块，被配置为执行基于所述至少一种素材元素和所述原始多媒体对象填充所述目标重构容器，获得可交互的目标多媒体对象。
12.根据权利要求11所述的多媒体对象重构装置，其特征在于，所述至少一种素材包括：与所述原始多媒体对象的数据内容相关的内容素材，和，与所述原始多媒体对象的数据格式相关的参数素材。
13.根据权利要求12所述的多媒体对象重构装置，其特征在于，所述多媒体重构单元中，从所述画面场景素材中提取出至少一种素材元素，包括：
素材获取模块，被配置为执行根据所述候选素材获取要求中的审美要求对所述画面场景素材进行过滤，得到候选内容素材；
元素获取模块，被配置为执行将所述候选内容素材输入到预先设置的内容提取模型，由所述内容提取模型从所述候选内容素材中提取出至少一种素材元素。
14.根据权利要求13所述的多媒体对象重构装置，其特征在于，所述候选的重构容器包括以下至少一种：
第一重构容器，包括设置在容器上方且显示所述原始多媒体对象的第一区域，和设置在所述第一区域下方且显示所述内容素材的第二区域；
第二重构容器，包括设置在容器的上方且用于显示所述原始多媒体对象的第三区域，和设置在所述容器的中间和下部且用于显示所述原始多媒体对象或所述内容素材的第四区域和第五区域；
第三重构容器，包括设置在容器上方且显示所述参数素材的第六区域，和设置在所述第六区域下方且显示所述原始多媒体对象的第七区域。
15.根据权利要求14所述的多媒体对象重构装置，其特征在于，所述重构容器选取模块包括：
第一判断子模块，被配置为执行判断所述原始多媒体对象的尺寸与预先设置的第一尺寸和第二尺寸的关系；
第一确定子模块，被配置为执行在所述原始多媒体对象的尺寸等于所述第二尺寸时，选取第二重构容器作为目标重构容器；在所述原始多媒体对象的尺寸大于等于第一尺寸且小于第二尺寸时，在基于所述原始多媒体对象已获得内容素材的情况下选取所述第一重构容器作为目标重构容器，在基于所述原始多媒体对象未获得内容素材的情况下选取所述第三重构容器作为目标重构容器。
16.根据权利要求9所述的多媒体对象重构装置，其特征在于，所述装置还包括：
触发操作监控单元，被配置为执行监控用户是否对播放中的目标多媒体对象进行触发操作：
资源页面显示单元，被配置为执行响应于监控到的触发操作，显示所述目标多媒体对象指向的资源页面。
17.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述存储器中的可执行指令，以实现如权利要求1~8中任一项所述方法的步骤。
18.一种存储介质，其特征在于，当所述存储介质中的指令由处理器执行时能够执行如权利要求1~8中任一项所述方法的步骤。
CN201910919159.6A 2019-09-26 2019-09-26 多媒体对象重构方法及装置、电子设备、可读存储介质 Active CN110662103B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910919159.6A CN110662103B (zh) 2019-09-26 2019-09-26 多媒体对象重构方法及装置、电子设备、可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910919159.6A CN110662103B (zh) 2019-09-26 2019-09-26 多媒体对象重构方法及装置、电子设备、可读存储介质

Publications (2)

Publication Number Publication Date
CN110662103A CN110662103A (zh) 2020-01-07
CN110662103B true CN110662103B (zh) 2021-09-24

Family

ID=69039323

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910919159.6A Active CN110662103B (zh) 2019-09-26 2019-09-26 多媒体对象重构方法及装置、电子设备、可读存储介质

Country Status (1)

Country Link
CN (1) CN110662103B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114286181B (zh) * 2021-10-25 2023-08-15 腾讯科技（深圳）有限公司 一种视频优化方法、装置、电子设备和存储介质

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043815A (zh) * 2009-10-14 2011-05-04 腾讯科技（北京）有限公司 一种互联网扩展广告的方法和扩展广告处理器
CN102638485A (zh) * 2011-02-15 2012-08-15 上海亿动信息技术有限公司 一种在移动设备中播放广告的控制方法以及系统
CN103414941A (zh) * 2013-07-15 2013-11-27 深圳Tcl新技术有限公司 基于智能电视的节目编辑方法及装置
CN105308636A (zh) * 2014-01-21 2016-02-03 Sk普兰尼特有限公司 用于提供虚拟广告的设备和方法
CN105791887A (zh) * 2014-12-23 2016-07-20 腾讯科技（北京）有限公司 一种信息处理方法、客户端及服务器
CN106412643A (zh) * 2016-09-09 2017-02-15 上海掌门科技有限公司 一种互动视频广告植入方法和系统
CN106504025A (zh) * 2016-10-27 2017-03-15 腾讯科技（北京）有限公司 一种多媒体信息处理方法及装置
CN107872691A (zh) * 2017-11-09 2018-04-03 暴风集团股份有限公司 一种广告加载处理方法、装置及系统
CN109168028A (zh) * 2018-11-06 2019-01-08 北京达佳互联信息技术有限公司 视频生成方法、装置、服务器及存储介质
CN109525876A (zh) * 2018-11-12 2019-03-26 深圳市洲明科技股份有限公司 显示屏、虚拟视频插播方法、系统和计算机储存介质
CN110032352A (zh) * 2019-03-18 2019-07-19 阿里巴巴集团控股有限公司 一种展示内容生成方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110251896A1 (en) * 2010-04-09 2011-10-13 Affine Systems, Inc. Systems and methods for matching an advertisement to a video
US9686581B2 (en) * 2013-11-07 2017-06-20 Cisco Technology, Inc. Second-screen TV bridge
KR20180076720A (ko) * 2016-12-28 2018-07-06 주식회사 케이티 동영상 전송 장치 및 동영상 재생 장치

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102043815A (zh) * 2009-10-14 2011-05-04 腾讯科技（北京）有限公司 一种互联网扩展广告的方法和扩展广告处理器
CN102638485A (zh) * 2011-02-15 2012-08-15 上海亿动信息技术有限公司 一种在移动设备中播放广告的控制方法以及系统
CN103414941A (zh) * 2013-07-15 2013-11-27 深圳Tcl新技术有限公司 基于智能电视的节目编辑方法及装置
CN105308636A (zh) * 2014-01-21 2016-02-03 Sk普兰尼特有限公司 用于提供虚拟广告的设备和方法
CN105791887A (zh) * 2014-12-23 2016-07-20 腾讯科技（北京）有限公司 一种信息处理方法、客户端及服务器
CN106412643A (zh) * 2016-09-09 2017-02-15 上海掌门科技有限公司 一种互动视频广告植入方法和系统
CN106504025A (zh) * 2016-10-27 2017-03-15 腾讯科技（北京）有限公司 一种多媒体信息处理方法及装置
CN107872691A (zh) * 2017-11-09 2018-04-03 暴风集团股份有限公司 一种广告加载处理方法、装置及系统
CN109168028A (zh) * 2018-11-06 2019-01-08 北京达佳互联信息技术有限公司 视频生成方法、装置、服务器及存储介质
CN109525876A (zh) * 2018-11-12 2019-03-26 深圳市洲明科技股份有限公司 显示屏、虚拟视频插播方法、系统和计算机储存介质
CN110032352A (zh) * 2019-03-18 2019-07-19 阿里巴巴集团控股有限公司 一种展示内容生成方法及装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"基于HTML5的网络视频互动广告信息植入平台设计与实现";刘慧敏;《中国优秀硕士学位论文全文数据库》;20140515;全文 *

Also Published As

Publication number Publication date
CN110662103A (zh) 2020-01-07

Similar Documents

Publication Publication Date Title
CN110662083B (zh) 数据处理方法、装置、电子设备及存储介质
CN109637518B (zh) 虚拟主播实现方法及装置
CN107818180B (zh) 视频关联方法、视频显示方法、装置及存储介质
US10534972B2 (en) Image processing method, device and medium
CN109168062B (zh) 视频播放的展示方法、装置、终端设备及存储介质
US11545188B2 (en) Video processing method, video playing method, devices and storage medium
CN111753135B (zh) 视频展示方法、装置、终端、服务器、系统及存储介质
CN113099297B (zh) 卡点视频的生成方法、装置、电子设备及存储介质
CN110572706B (zh) 视频截屏方法、终端及计算机可读存储介质
WO2021063096A1 (zh) 视频合成方法、装置、电子设备及存储介质
CN107678648A (zh) 截屏处理方法及装置
CN111526287A (zh) 图像拍摄方法、装置、电子设备、服务器、系统及存储介质
CN113709545A (zh) 视频的处理方法、装置、计算机设备和存储介质
CN114245154B (zh) 游戏直播间虚拟物品展示方法、装置及电子设备
CN113157972B (zh) 视频封面文案的推荐方法、装置、电子设备及存储介质
CN110662103B (zh) 多媒体对象重构方法及装置、电子设备、可读存储介质
CN109933389B (zh) 数据对象信息处理、页面展示方法及装置
CN113625909A (zh) 应用程序页面展示方法、装置、电子设备及存储介质
CN110019897B (zh) 显示图片的方法及装置
CN111831615B (zh) 一种影音文件的生成方法、装置和系统
CN111698532B (zh) 弹幕信息的处理方法及装置
CN111615007A (zh) 视频展示方法、装置和系统
US11922725B2 (en) Method and device for generating emoticon, and storage medium
CN115830303A (zh) 图像处理方法、装置及存储介质
CN113989424A (zh) 三维虚拟形象的生成方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant