CN108737892A - 媒体中的动态内容渲染 - Google Patents

媒体中的动态内容渲染 Download PDF

Info

Publication number
CN108737892A
CN108737892A CN201810375738.4A CN201810375738A CN108737892A CN 108737892 A CN108737892 A CN 108737892A CN 201810375738 A CN201810375738 A CN 201810375738A CN 108737892 A CN108737892 A CN 108737892A
Authority
CN
China
Prior art keywords
media
placeholder
frame
template
rendering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201810375738.4A
Other languages
English (en)
Other versions
CN108737892B (zh
Inventor
C·苏什
E·马索恩
A·纳瑞西
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Accenture Global Solutions Ltd
Original Assignee
Accenture Global Solutions Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Accenture Global Solutions Ltd filed Critical Accenture Global Solutions Ltd
Publication of CN108737892A publication Critical patent/CN108737892A/zh
Application granted granted Critical
Publication of CN108737892B publication Critical patent/CN108737892B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0277—Online advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25825—Management of client data involving client display capabilities, e.g. screen resolution of a mobile phone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Marketing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Business, Economics & Management (AREA)
  • Game Theory and Decision Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

用于渲染具有被显示内容的媒体的系统包括：接收单元，用以接收媒体；扫描器，用以检测媒体中用于放置占位符的对象；检查器，用以向用户提供占位符以便进行反馈，并且接收反馈。该系统还包括模板生成器，用以生成指示媒体中的占位符的模板。该系统还包括渲染单元，该渲染单元与模板生成器进行通信，用以在接收到观看媒体的请求时，基于存储空间和处理容量其中至少一个，向用户渲染具有待显示的内容的媒体。

Description

媒体中的动态内容渲染
优先权以及相关申请的交叉引用
本申请要求于2017年4月25日提交的欧洲专利申请号EP17168066.3的优先权，其公开内容通过引用并入本文，并且本申请涉及于2017年4月25日提交的申请号为EP17168069.7的发明名称为“Dynamic Content Placement In Media”的另一欧洲专利申请，其公开内容通过引用并入本文。
技术领域
本申请设计媒体渲染，更具体地涉及在媒体中的动态内容渲染。
背景技术
为了在其竞争中保持领先，组织正在使用各种营销策略来接触客户。一种这样的技术是在向观看者提供流媒体的同时宣传产品和服务。这样的媒体可以包括但不限于视频和图像。对于广告产品，诸如公司徽标的对应内容被放置在媒体中。
一旦内容被放置在媒体中，就为观看者渲染媒体。众所周知，渲染是将原始媒体与内容集成在一起的过程。向观看者渲染媒体取决于各种因素，诸如例如可用存储空间和渲染系统的处理容量。控制播放媒体的远程播放器是另一因素。对媒体进行渲染的技术之一被称为预渲染技术。在预渲染技术中，内容与媒体集成，然后在实际从观看者接收渲染请求之前对所述媒体进行预先渲染。在这样的技术中，基于观看者所接收的请求而对预渲染的媒体进行渲染。虽然这样的渲染技术需要较少的处理容量，但需要大存储空间。
另一渲染技术是按需渲染技术。在该技术中，媒体与内容集成，然后在接收到来自观看者的请求时为观看者进行渲染。因此，渲染是实时完成的。按需渲染技术需要较少的存储空间和较高的处理容量，以便能够在不影响视觉体验的情况下将媒体流传输给观看者。这与上面讨论的预渲染技术不同，预渲染技术需要大的存储空间和较小的处理容量。因此，可用的渲染技术可能是存储密集型的，或者可能需要大量的处理容量来提供期望的用户体验。
发明内容
在根据本公开的一个方面中，提供了一种用于渲染其中具有被显示内容的媒体的系统。所述系统包括：接收单元，其用以接收媒体，其中所述媒体包括图像和视频其中一个；扫描器，其与所述接收单元通信，用以：基于语义分割技术和边缘检测技术其中至少一个来检测所述媒体中的潜在对象，以便放置占位符；以及基于所述对象的所述检测来确定待放置在所述媒体的所述对象中的所述占位符的位置；检查器，其与所述扫描器通信，所述检查器用以向用户提供定位于所述媒体中的所述占位符，以便进行反馈，以及接收所述用户对所述占位符的所述反馈，其中所述反馈指示所述占位符的批准、拒绝和未决状态其中一个；模板生成器，其与所述扫描器和所述检查器通信，用以生成指示所述媒体中的所述占位符的模板，其中所述模板包括与所述媒体相关的细节以及与被批准的所述占位符相关的细节其中至少一个；以及渲染单元，其与所述模板生成器通信，用以：当所述媒体是所述视频时，基于所述媒体的所述细节以及在所述模板中指示的被批准的所述占位符，检测所述视频中具有所述占位符的帧，基于所述检测，将所述帧分类为具有占位符的帧以及不具有占位符的帧，以及在接收到观看所述媒体的请求时，基于存储空间和处理容量其中至少一个，向所述用户渲染具有待显示的内容的所述媒体。特别地，所述渲染包括：当用于播放所述媒体的远程播放器允许以两个或更多片段来播放所述媒体时，提供所述媒体中包括不具有所述占位符的所述帧的部分，以及在同时观看所述媒体中包括不具有占位符的帧的部分之时，渲染所述媒体中包括具有所述占位符的所述帧的所述部分；以及当所述远程播放器允许以一个片段播放所述媒体时，渲染所述媒体中包括具有所述占位符的所述帧的部分，以及当所述渲染被完成时，提供包括不具有所述占位符的所述帧和具有所述占位符的所述帧的媒体。
在根据本公开的另一方面中，提供了一种用于渲染在其中具有被显示内容的媒体的系统。所述系统包括：接收单元，用以接收媒体，其中所述媒体包括图像或视频其中一个；扫描器，其与所述接收单元通信，所述扫描器用以基于语义分割技术和边缘检测技术其中至少之一来检测所述媒体中的潜在对象，以便放置占位符，以及基于所述对象的所述检测来确定待放置在所述媒体的所述对象中的所述占位符的位置；检查器，其与所述扫描器通信，所述检查器用以向用户提供定位于所述媒体中的所述占位符，以便进行反馈，以及接收所述用户对所述占位符的所述反馈，其中所述反馈指示所述占位符的批准、拒绝和未决状态其中一个；模板生成器，其与所述扫描器和所述检查器进行通信，所述模板生成器用以生成指示所述媒体中的所述占位符的模板，其中所述模板包括与所述媒体相关的细节以及与被批准的所述占位符相关的细节其中至少一个；以及渲染单元，其与所述模板生成器通信，所述渲染单元用以接收关于用于观看所述媒体的远程机器的规格的信息，基于所述远程机器的所述规格，确定所述远程机器是否适于渲染所述媒体，向所述远程机器提供所述媒体、所述内容和所述模板，以及在已经由所述远程机器正在播放所述媒体中不具有所述占位符的部分的同时，基于所述模板，将所述内容与所述媒体的每个帧集成。
在根据本公开的再一方面中，提供了一种由至少一个处理器执行的计算机实现的方法。所述方法包括：接收媒体，其中所述媒体包括图像和视频其中一个；基于语义分割技术和边缘检测技术其中至少一个来检测所述媒体中的潜在对象，以便放置占位符；以及基于所述对象的所述检测来确定待放置在所述媒体的所述对象中的所述占位符的位置；向用户提供在所述媒体中定位的所述占位符，以便进行反馈；接收所述用户对所述占位符的所述反馈，其中所述反馈指示所述占位符的批准、拒绝和未决状态其中一个；生成指示所述媒体中的所述占位符的模板，其中所述模板包括与所述媒体相关的细节以及与被批准的所述占位符相关的细节其中至少一个；将内容插入在所述模板中指示的、所述媒体的所述占位符中，其中所述内容的尺寸对应于所述占位符的尺寸；当所述媒体是所述视频时，基于所述媒体和所述模板中指示的被批准的所述占位符的所述细节，检测所述视频中具有所述占位符的帧；基于所述检测，将所述帧分类为具有占位符的帧和不具有占位符的帧；以及在接收到观看所述媒体的请求时，基于存储容量和处理容量其中至少一个，渲染其中具有被显示的所述内容的所述媒体。特别地，所述渲染包括：当用于播放所述媒体的远程播放器允许以两个或更多片段播放所述媒体时，提供所述媒体中包括不具有所述占位符的所述帧的部分，以及在同时观看所述媒体中包括不具有所述占位符的所述帧的所述部分之时，渲染所述媒体中包括具有所述占位符的所述帧的部分；以及当所述远程播放器允许以一个片段播放所述媒体时，渲染所述媒体中包括具有所述占位符的所述帧的部分，以及当所述渲染被完成时，提供包括不具有所述占位符的所述帧和具有所述占位符的所述帧的媒体。
附图说明
通过以下附图中示出的示例来说明本公开的特征。在下面的图中，相同的附图标记表示相同的元素，其中：
图1图示了根据本公开的一个示例实施例的系统的框图；
图2图示了根据本公开的一个示例实施例的通过系统对内容的接收和存储；
图3图示了根据本公开的一个示例实施例的系统的另一框图；
图4图示了根据本公开的一个示例的用于系统的实现的硬件平台；
图5图示了根据本公开的一个示例实施例的描绘系统功能的计算机实现的方法；
图6图示了根据本公开的另一示例实施例的描绘系统功能的计算机实现的方法；以及
图7图示了根据本公开的另一示例实施例的描绘内容的渲染的计算机实现的方法。
具体实施方式
为了简化和说明的目的，主要参考其示例来描述本公开。本文所描述的本公开的示例可以以不同的组合一起使用。在以下描述中，阐述细节来提供对本公开的理解。然而，显而易见的是，可以在不限制所有这些细节的情况下实践本公开。而且，贯穿本公开，术语“一(a)”和“一个(an)”旨在表示至少一个特定元素。如本文所使用的，术语“包括/包含(include/including)”意味着包括但不限于。术语“基于”意味着至少部分基于。
1.概述
本主题描述用于将内容放置在媒体中的系统和方法，并且更具体地描述视频以及为观看者渲染媒体。根据本公开的一个示例，系统可以包括接收单元、扫描器、检查器、指令接收单元、模板生成器、机器学习器和渲染单元。在一个示例实施例中，接收单元、扫描器、检查器、指令接收单元、模板生成器、机器学习器和渲染单元可以彼此通信来执行系统的功能。接收单元可以接收内容，内容可以包括但不限于静态图像和视频。
在接收到内容时，扫描器可以检测媒体中的潜在对象，以便放置占位符。在一个示例实施例中，可以基于语义分割技术和边缘检测技术来检测对象。此外，扫描器可以确定待放置在内容的对象中的占位符的位置。基于该确定，检查器可以将定位于内容中的占位符提供给用户以进行反馈。作为响应，检查器可以从用户接收占位符的反馈。反馈可以指示占位符的批准、拒绝和未决状态其中一个。
在占位符被用户批准的一个示例实施例中，指令接收单元可以接收来自用户的、用于向占位符添加特殊效果的指令。特殊效果可以包括但不限于颜色调整、对比度调整、亮度调整、饱和度调整和模糊调整其中一个。
此外，模板生成器可以生成指示媒体中的占位符的模板。模板可以包括与媒体相关的细节、与被配准的占位符相关的细节以及与被配准的占位符的特殊效果相关的细节其中至少一个。在一个示例实施例中，在生成模板之后，系统可以选择待放置在所选择的占位符中的广告。
机器学习器可以分别存储用户对占位符的反馈以及对检查器和指令接收单元接收的占位符的特殊效果的选择。机器学习器存储的细节可以用于将来将占位符放置在媒体中。
在一个示例实施例中，扫描器可以基于由机器学习器存储的反馈来检测媒体中或另一媒体中的另一对象。此外，扫描器可以基于所存储的反馈来确定待与另一对象相关联的另一占位符的位置。反馈可以用于确定用户对在媒体中放置占位符的对象选择的偏好以及用户对占位符在媒体中的定位的选择的偏好。扫描器可以使用所存储的特殊效果的选择来建议添加到另一占位符符的特殊效果。一旦内容被放置在媒体中，渲染单元可以为观看者渲染媒体以及内容。
本公开的系统提供了内容到媒体的时间有效的集成。系统执行内容放置所花费的时间可以少于完全手动技术所花费的时间。此外，占位符或内容中的内容的质量可以优于全自动方法所提供的准确性。此外，在媒体中放置的内容的质量基于机器学习器存储的细节而不断改进。因此，本主题提供了内容在媒体中的全面、经济和时间有效的定位。
在一个备选实施例中，系统还包括：接收单元，用于接收媒体，其中媒体包括静态图像或视频其中一个；扫描器，与接收单元通信用以：检测媒体中用于放置占位符的潜在对象，其中检测包括：检测对象的形状，其中通过语义分割技术来检测形状；检测媒体中对象的边缘；以及识别对象的三维取向；扫描器还基于对象的检测来确定待放置在媒体对象中的占位符的位置；并且该系统还包括检查器，检查器与扫描器通信，用以：将位于媒体中的占位符提供给用户以进行反馈；以及接收用户对占位符的反馈，其中反馈指示占位符的批准、拒绝和未决状态其中一个。系统还包括：指令接收单元，与检查器通信，用以：在占位符被批准时，接收来自用户的、用于向占位符添加特殊效果的指令，其中特殊效果包括色彩调整、对比度调整、亮度调整、饱和度调整和模糊调整其中至少一个；模板生成器，与扫描器、检查器和指令接收单元通信，用以生成指示媒体中的占位符的模板，其中模板包括与媒体相关的细节、与被配准的占位符相关的细节以及与被配准的占位符的特殊效果相关的细节其中至少一个；机器学习器，与扫描器、检查器和指令接收单元进行通信，用以存储用户对占位符的反馈以及对占位符的特殊效果的选择，并将所存储的反馈和特殊效果的选择转发给扫描器；以及扫描器，与机器学习器和接收单元通信，用以：基于所存储的反馈来检测媒体或另一媒体中的另一对象，基于所存储的反馈来确定待放置于另一对象中的另一占位符的位置，并且基于所存储的特殊效果来选择建议添加到另一占位符符的特殊效果。
在一个示例中，系统还包括与模板生成器通信的动态集成器，用以将内容插入在模板中指示的媒体占位符中，其中内容的尺寸对应于占位符的尺寸。
在另一示例中，当媒体是视频时，扫描器基于占位符在不同帧中的坐标的比较来进一步追踪视频的不同帧中的占位符。
在又一示例中，为了通过语义分割技术检测对象的形状，扫描器将：为媒体的每个像素分配预定标签；并突出显示对象的二维轮廓。
在又一示例中，为了向用户提供占位符以进行反馈，检查器将：以半透明的矩形形式为用户突出显示用于将内容放置在媒体的帧上的至少一个区域。
在另一示例中，为了向用户提供占位符以进行反馈，检查器将：把内容插入媒体的帧的至少一个区域中。
在另一示例中，指令接收单元还用于：使用媒体上的中性图像代替占位符，其中中性图像指示不具有特殊效果的内容；并且基于对特殊效果其中一个或多个的选择来改变中性图像的外观。
在又一示例中，内容是广告，并且接收单元还从广告网络接收待插入到媒体的占位符中的广告。
在另一示例中，与媒体相关的细节包括名称、描述、存储服务器上的媒体的位置以及元数据其中至少一个。
在另一示例中，与占位符相关的细节包括占位符的位置、占位符的尺寸以及占位符的帧其中至少一个。
在一个备选实施例中，系统还包括：接收单元，用于接收媒体，其中媒体包括静态图像或视频其中一个；扫描器，与接收单元通信，用以：基于语义分割技术和边缘检测技术，检测媒体中用于放置占位符的潜在对象，以及基于对象的检测来确定待放置在媒体的对象中的占位符的位置；检查器，与扫描器通信，用以：将位于媒体中的占位符提供给用户以进行反馈，并且接收用户对占位符的反馈，其中反馈指示占位符的批准、拒绝和未决状态其中一个；指令接收单元，与检查器通信，用以：在占位符被批准时接收来自用户的、用于向占位符添加特殊效果的指令，其中特殊效果包括颜色调整、对比度调整、亮度调整、饱和度调整和模糊调整其中至少一个；模板生成器，与扫描器、检查器和指令接收单元进行通信，以生成指示媒体中的占位符的模板，其中模板包括与媒体相关的细节、与被配准的占位符相关的细节、以及与被配准的占位者的特殊效果相关的细节其中至少一个；动态集成器，与模板生成器通信，用以将内容插入到模板中指示的媒体的占位符中，其中内容的尺寸对应于占位符的尺寸；机器学习器，与扫描器、检查器和指令接收单元进行通信，以存储用户对占位符的反馈以及占位符的特殊效果的选择，并将所存储的反馈和特殊效果的选择转发给扫描器；以及扫描器，与机器学习器和接收单元通信，用以：基于所存储的反馈来检测媒体或另一媒体中的另一对象，基于所存储的反馈来确定待放置于另一对象中的另一占位符的位置，并且基于所存储的特殊效果的选择建议添加到另一占位符符的特殊效果。
在一个示例中，为了检测用于放置占位符的对象，扫描器将：检测潜在对象的形状，其中通过语义分割技术来检测形状；通过边缘检测技术来检测媒体中对象的边缘；并识别物体的三维取向。
在另一示例中，当媒体是视频时，扫描器还基于占位符在不同帧中的坐标的比较来跟踪视频的不同帧中的占位符。
在又一示例中，为了通过语义分割技术来检测对象的形状，扫描器将：为媒体的每个像素分配预定义的标签；并突出显示对象的二维轮廓。
在另一示例中，为了向用户提供占位符以进行反馈，检查器将：以半透明的矩形形式为用户突出显示用于将内容放置在媒体的帧上的至少一个区域。
在又一示例中，为了向用户提供占位符以进行反馈，检查器：将内容插入到媒体帧的至少一个区域中。
在一个备选实施例中，由至少一个处理器执行的计算机实现的方法还包括：接收媒体，其中媒体包括静态图像或视频其中一个；检测媒体中用于放置占位符的潜在对象，其中检测包括：检测对象的形状，其中通过语义分割技术来检测形状；检测媒体中对象的边缘；以及识别对象的三维取向；基于对象的检测来确定待放置在媒体的对象中的占位符的位置；将在媒体中定位的占位符提供给用户以进行反馈；接收用户对占位符的反馈，其中反馈指示占位符的批准、拒绝和未决状态其中一个；当占位符被批准时，接收来自用户的用于向占位符添加特殊效果的指令，其中特殊效果包括颜色调整、对比度调整、亮度调整、饱和度调整和模糊调整其中至少一个；生成指示媒体中的占位符的模板，其中模板包括与媒体相关的细节、与被配准的占位符相关的细节以及与被配准的占位符的特殊效果相关的细节其中至少一个；存储用户对占位符的反馈以及对占位符的特殊效果的选择；将所存储的反馈和特殊效果的选择转发给扫描器；以及检测另一对象、确定另一占位符放置在另一对象中的位置、并且基于所存储的反馈和特殊效果的选择来建议添加到另一占位符的特殊效果。
在另一示例中，计算机实现的方法还包括将内容插入在模板中指示的媒体的占位符中，其中内容的尺寸对应于占位符的尺寸。
在又一示例中，当媒体是视频时，计算机实现的方法还包括基于占位符在不同帧中的坐标的比较，跟踪视频的不同帧中的占位符。
在又一示例中，内容是广告，并且从广告网络接收待插入到媒体的占位符中的广告。
2.系统说明
图1图示了根据本公开的一个示例的用于将信息(例如，内容)放置在媒体中并为观看者渲染媒体的系统100的示意图。已关于在流视频中放置广告相当详细地解释了本描述；然而，应理解，图像和视频形式的其他信息也可以适当地放置在媒体中。在一个示例实施例中，内容可以包括静态图像和视频其中一个。系统100可以包括接收单元102、扫描器104、检查器106、指令接收单元108、模板生成器110、动态集成器112、机器学习器114和渲染单元116。系统100可以与广告网络118和远程机器120对接。
在一个示例实施例中，扫描器104可以与接收单元102通信。检查器106可以与扫描器104通信。指令接收单元108可以与扫描器104通信。模板生成器110可以与扫描器104、检查器106和指令接收单元108通信。动态集成器112可以与模板生成器110通信。机器学习器114可以与扫描器104、检查器106和指令接收单元108通信。渲染单元116可以与模板生成器110通信。
在一个实施例中，接收单元102可以接收媒体。可以从数据储存库(未示出)接收媒体，数据储存库可以是内部数据储存库或外部数据储存库。在一个示例实施例中，接收单元102可以从媒体所有者接收媒体。在一个示例实施例中，媒体所有者可以在系统102的前端接口(未示出)上或者通过对系统102的应用程序接口(API)进行访问来上传媒体。此外，系统102可以将媒体存储在服务器或云存储单元上。
图2图示了根据本公开的一个示例实施例的系统100对媒体的接收和存储。如图所示，媒体所有者、媒体的观看者和代理可以与系统100的网络服务器202进行交互。网络服务器202可以与还被称为云存储204的存储服务器204进行通信。存储服务器204可以进一步与系统100的应用服务器206通信。
返回参考图1，扫描器104可以检测媒体中用于放置占位符的潜在对象。对象可以指示媒体中描绘的任何对象(例如，墙壁、车门或横幅)。此外，可以将占位符渲染为形成在对象上的图形框，其指示用于在媒体中容纳内容的位置。
在一个示例实施例中，扫描器104可以通过使用人工智能技术来检测对象。扫描器104可以分析媒体并且可以检测媒体中可以放置占位符的对象。
为了检测媒体中的对象，扫描器104可以最初检测对象的形状。在一个示例实施例中，扫描器104可以通过语义分割技术来检测对象的形状。在语义分割技术中，扫描器104可以将预定标签分配给媒体的每个像素。随后，扫描器104可以突出显示由分配形成的对象的二维轮廓。扫描器104可以突出显示媒体的场景，并且还可以检测媒体的背景或前景中可以用于内容显示的对象的形状。
在检测到形状之后，扫描器104可以检测媒体中对象的边缘。在一个示例实施例中，可以通过边缘检测技术来检测边缘。边缘检测技术可以包括但不限于相位拉伸变换技术和canny技术。检测边缘可以帮助检测媒体中对象上的平坦区域。此外，扫描器104可识别对象的三维取向。对象的三维取向有助于调整可放置在媒体中的内容的布局。
在一个示例实施例中，扫描器104可以输出指示媒体中对象的高度、宽度和位置的二维和三维坐标集合。因此，系统100可以使用这样的坐标来检测媒体中的对象。
一旦扫描器104检测到对象，扫描器104就可以确定待放置于媒体的对象上的占位符的位置。在一个示例实施例中，为了确定占位符的位置，扫描器104可以检测媒体中用于对占位符进行定位的一个或多个矩形。具体地，扫描器104可以检测可被包含在对象内部并且没有与由扫描器104在先前步骤中检测的任何边缘交叉的矩形。当扫描器104可以在媒体的相同区域中检测到多个矩形时，扫描器104可以选择具有较大尺寸并且在媒体中没有相交边缘的矩形。
在一个示例实施例中，当媒体是视频时，系统100可将视频视为帧的序列。特别地，扫描器104可以在视频的不同帧中检测占位符。基于帧的检测和顺序，扫描器104可以跟踪视频中的占位符。根据占位符在不同帧中的坐标的比较，可以跟踪不同帧中的占位符。在一个示例中，扫描器104可以确定在视频的不同帧中所检测的占位符是否在视频中保持足够长的时间来有效地容纳广告。例如，与在视频的25个帧中检测到的占位符相比，在视频的100个帧中检测到的占位符可以被优先选择。
在一个示例实施例中，扫描器104可以检测帧fn、帧fn-1和帧fn+1中的矩形。扫描器104可以对帧fn和帧fn-1的矩形以及帧fn和帧fn+1的矩形进行比较。矩形可以是在受到相同占位符影响的2个帧之间具有位置相似角落的同一分段的一部分，并且因此扫描器104可以确定待移动的位置。
相似性可以基于角落的x和y坐标，并且被相同占位符影响的两个帧之间的位置的差异应当小于x的高度的z百分比和y的宽度的z百分比。z的值可能取决于媒体的类型。例如，具有快速相机移动和许多动作场景的媒体可能具有比例如脱口秀更高的z值。这样的观察可以允许在或多或少快速移动的场景上跟踪矩形。
在一个示例中，所检测的区域可以在视频的场景期间被隐藏。因此，扫描器104可以对作为帧fn和帧fn+x之间的相同分段的一部分的矩形进行比较。如果与放置矩形的分段不同的分段位于帧fn+1和帧fn+x-1之间的矩形位置上，则扫描器104可以确定该分段覆盖矩形位置。
在一个示例实施例中，扫描器104可以跟踪媒体中占位符的移动，以确保被定位在对象中的占位符中的广告的平滑且一致的动画。
在将占位符定位在媒体中之后，在一个示例实施例中，检查器106可以将位于媒体中的占位符提供给用户以进行反馈。在一个示例中，用户可以是系统100的管理员。在另一示例中，用户可以是媒体编辑或营销或图形设计领域的技术人员(也被称为代理人)。
在一个示例实施例中，检查器106可以通过占位符来突出显示至少一个区域，以将内容放置在媒体的帧中。在一个示例中，至少一个区域可以以半透明矩形的形式突出显示。在一个备选示例实施例中，检查器106可以通过将广告插入媒体帧的至少一个区域中来向用户提供占位符。在媒体是视频的情况下，检查器106可以允许用户跟踪占位符随着时间在视频的不同帧中的位置。
用户可以将占位符的反馈提供给系统100。检查器106可以接收用户的反馈。反馈可以指示占位符的批准、拒绝和未决状态其中一个。占位符的未决状态可以指示用户想要更多的时间来批准或拒绝待定位在媒体中的占位符。在一个示例中，用户可以通过点击占位符来提供反馈。在媒体是视频的情况下，用户对帧上的占位符的反馈被复制以用于在视频的其他帧中检测到的占位符。
在一个示例实施例中，当用户可以将对占位符的反馈提供为“被批准”时，指令接收单元108可以从用户接收用于向占位符添加特殊效果的指令。特殊效果可以包括但不限于颜色调整、对比度调整、亮度调整、饱和度调整和模糊调整其中一个。
在接收指令后，指令接收单元108可以使用媒体上的中性图像来替换占位符。中性图像可以指示不具有特殊效果的内容。此外，指令接收单元108可以基于对特殊效果其中一个或多个的选择来改变中性图像的外观。
在一个示例实施例中，模板生成器110可以生成指示媒体中的占位符的模板。模板可以包括但不限于与媒体相关的细节、与被配准的占位符相关的细节以及与被配准的占位符的特殊效果相关的细节。此外，与媒体相关的细节可以包括但不限于名称、描述、存储服务器上媒体的位置以及元数据。另外，与占位符相关的细节可以包括但不限于占位符的位置、占位符的尺寸以及占位符的帧。
一旦模板由模板生成器110生成，接收单元102就可以接收待插入到媒体的占位符中的内容。在一个示例实施例中，内容可以是例如通过使用定向广告技术从广告网络118接收的广告。广告可以是例如广告商的标徽。在另一示例实施例中，当用户可以将内容上传到系统100时，接收单元102可以接收内容。
此外，动态集成器112可以将内容插入到如模板所指示的、媒体的占位符中。可以基于广告的尺寸和占位符的尺寸而将广告插入到占位符中。在一个示例实施例中，广告的尺寸可以对应于占位符的尺寸。
虽然一些示例实施例考虑了如上所述的扫描器104提供用于在媒体中插入内容的占位符，但是在备选实施例中，可以从系统外部(未示出)将这样的占位符输入系统100。此外，在备选实施例中，可基于指示某些占位符更可能吸引观看者注意力的视觉兴趣数据来优先使用占位符。具体地，更可能吸引观看者注意力的占位符可以比另一占位符符排序更高。占位符的这样的排序可以允许用户在选择适当的占位符以将内容放置在媒体中时做出更明智的决定。备选地，还可以将占位符优先级信息馈送到机器学习器114中，以当存在将内容放置在媒体中的另一需求时进一步优化占位符的选择。
在一个示例实施例中，可以通过由外部系统在每个占位符中插入的数字来描绘排序。在另一示例实施例中，可以使用一个颜色来标记更高排序的占位符，而使用不同颜色来标记较低排序的占位符。在又一示例实施例中，可以基于视觉兴趣数据、经由由外部系统(未示出)生成的视觉热图来将占位符中的优先级顺序传送给系统100。
当媒体是视频时，继续将内容放置在媒体中，必须为观看者渲染媒体。在本示例实施例中，渲染单元116可以为观看者渲染媒体。渲染单元116可以检测视频具有占位符的帧。渲染单元116可以基于媒体的细节和模板中指示的经批准的占位符来检测具有占位符的帧。基于检测，渲染单元116可以将帧分类为具有占位符的帧和不具有占位符的帧。
在一个示例实施例中，在接收到观看者观看媒体的请求时，渲染单元116可以为观看者渲染具有广告的媒体。可以基于存储空间和处理容量其中至少一个来渲染媒体。在一个示例实施例中，用于播放媒体的远程播放器可以允许媒体按部分播放。在这样的示例实施例中，渲染单元116最初可以向观看者提供媒体中包括不具有占位符的帧的部分。此外，在观看者同时观看媒体中包括不具有占位符的帧的部分时，渲染单元116可以渲染媒体中包括具有占位符的帧的部分。
在一个示例实施例中，远程播放器可以允许媒体在一个片段中进行播放。在这样的示例实施例中，渲染单元116可以将媒体中包括具有占位符的帧的部分进行渲染。此外，渲染单元116可以在渲染完成时，将包括不具有占位符的帧和具有占位符的帧的媒体提供给用户。
在一个示例实施例中，当远程播放器到达媒体中包括具有占位符的帧的部分之前并未完成渲染时，渲染单元116可以放弃对该部分的渲染。此外，渲染单元116可以在放弃之后提供媒体中不具有占位符的部分。
在一个备选示例实施例中，渲染单元116可以检测媒体中占位符的位置。可以基于与模板中指示的占位符相关的细节来检测占位符的位置。基于占位符的检测，渲染单元116可以从媒体中剪切具有占位符的媒体部分。在从媒体剪切该部分之后，渲染单元116可剪裁具有占位符的部分。在接收到观看媒体的请求时，渲染单元116可以为观看者渲染媒体中具有占位符的经剪裁的部分。
在一个示例实施例中，当远程播放器允许时，渲染单元116可以提供媒体中不具有占位符的部分。此外，在同时观看媒体中不具有占位符的部分之时，渲染单元116可以对媒体中具有占位符的经剪裁的部分进行渲染。渲染单元116可以基于与模板中指示的占位符相关的细节，来对剪裁部分进行渲染。
在一个示例实施例中，当远程播放器允许媒体在一个片段中播放时，渲染单元116可以对媒体中具有占位符的部分进行渲染。随后，当渲染被完成时，渲染单元116可以提供包括不具有占位符的部分和具有占位符的部分的媒体。
在又一示例实施例中，渲染单元116可以接收关于用于观看媒体的远程机器120的规格的信息。基于远程机器的规格，渲染单元116可以确定远程机器120是否适合于渲染媒体。此外，可以向远程机器120提供媒体、广告和模板。在远程机器120已经正在播放媒体中不具有占位符的部分时，渲染单元116可以基于模板将广告与媒体的每一帧进行集成。在连同广告一起渲染媒体之后，可以将媒体流式传输给观看者。
在一个示例实施例中，机器学习器114可以分别存储用户对占位符的反馈以及由检查器106和指令接收单元108接收的对占位符的特殊效果的选择。此外，机器学习器114可以将所存储的反馈和特殊效果的选择转发给扫描器104。
扫描器104可以使用由机器学习器114存储的细节，用于随后在媒体或另一媒体中放置占位符。扫描器104可以基于所存储的反馈来检测媒体或其他媒体中的另一对象。此外，扫描器104可以基于所存储的反馈来确定待放置在另一对象中的另一占位符的位置。随后，基于由机器学习器114存储的对特殊效果的选择，扫描器104可以建议用于添加到另一占位符符的特殊效果。
图3示出了根据本公开的一个示例实施例的用于将内容放置在媒体中的另一框图。示出了系统300的框图实现系统100的功能。在图1和图2的描述中已经详细解释了系统100的组件。因此，为了简洁起见，不再参照图3详细解释这些组件。提供图3以便提供对本公开的更好的理解和阐述，并且因此图3不应被解释为限制。
系统300可以包括智能扫描单元302、检查单元304、模板生成单元306、动态集成单元308、机器学习单元310和渲染单元312。机器学习单元310可以与智能扫描单元302和检查单元304进行通信。此外，系统300可以与媒体储存库314、广告递送单元316和流式传输单元318进行通信。
系统300可以从媒体储存库314接收媒体，媒体储存库314可以在系统300内部或系统300外部。特别地，系统300的智能扫描单元302可以从媒体储存库接收媒体314。智能扫描单元302可以实现图1的接收单元102和扫描器104的功能。智能扫描单元302可以确定媒体中的对象并确定将占位符放置在对象中的位置。
此外，检查单元304可以将位于媒体中的占位符提供给用户以进行反馈。作为响应，检查单元304可以接收用户的反馈。检查单元304可以执行图1的检查器106的功能。机器学习单元310可以存储用户的反馈并且可以将所存储的反馈转发给智能扫描单元302。机器学习单元310可以实现图1的机器学习器114的功能。
在一个示例单元中，模板生成单元306可以生成指示媒体中的占位符的模板。模板生成单元306可以实现图1的模板生成器110的功能。此外，动态集成单元308可以将广告插入模板中指示的媒体占位符中。在一个实施例中，动态集成单元308可以从广告递送单元316接收广告。动态集成单元308可以实现图1的动态集成器112的功能。
在集成之后，可以通过渲染单元312渲染媒体。渲染单元312可以实现图1的渲染单元116的功能。如图所示，渲染单元312可以包括预渲染媒体312-1、半渲染媒体312-2和实况渲染媒体312-3。在渲染之后，流式传输单元318可以将经渲染的媒体流式传输并递送至观看者。
3.计算机硬件图
图4示出了根据本公开的一个示例的用于实现系统100的硬件平台400。在一个示例实施例中，硬件平台400可以是可与本文描述的示例一起使用的计算机系统400。计算机系统400可以表示包括可在服务器或另一计算机系统中的组件的计算平台。计算机系统400可以通过处理器(例如，单个或多个处理器)或其他硬件处理电路来执行本文描述的方法、功能和其他过程。这些方法、功能和其他过程可以体现为存储在计算机可读介质上的机器可读指令，该计算机可读介质可以是非暂时性的，例如，硬件存储设备(例如，RAM(随机存取存储器)、ROM(只读存储器)、EPROM(可擦除可编程ROM)、EEPROM(电可擦除可编程ROM)、硬盘驱动器和闪存)。
计算机系统400可以包括处理器402，处理器402可以实现或执行机器可读指令，机器可读指令执行本文描述的方法、功能、技术和/或其他过程中的一些或全部。来自处理器402的命令和数据可以通过通信总线404进行通信。计算机系统400还可以包括：主存储器406(例如，随机存取存储器(RAM))，其中处理器402的机器可读指令和数据可以在运行时间期间驻留；以及辅助数据存储装置408，可以是非易失性的并且存储机器可读指令和数据。存储器406和数据存储装置408是非暂时性计算机可读介质的示例。存储器406和/或辅助数据存储装置可以存储由系统100使用的数据(例如，包括网络对象的对象储存库、配置数据、测试数据等)。
计算机系统400可以包括输入/输出(I/O)设备410(例如，键盘、鼠标、显示器等)。用户界面(UI)412可以是为系统100的用户通过文本和图形用户接口的通信设备。UI412可以与I/O设备410一起操作，以接受来自用户的数据并向用户提供数据。计算机系统400可以包括用于连接到网络的网络接口414。其他已知的电子组件可以在计算机系统中添加或替代。处理器402可以被指定为硬件处理器。处理器402可以执行上述系统100的各种组件并执行下面描述的方法。
4.方法
图5示出了根据本公开的一个示例的描绘系统100的功能的计算机实现的方法500。为了简洁起见，在图5的描述中并未详细解释在图1、图2、图3和图4的描述中所详细解释的系统100的构造和操作特征。
在501处，方法500以接收媒体开始。媒体可以包括但不限于静态图像和视频。
在502处，可以检测媒体中用于放置占位符的潜在对象。检测可以包括检测对象的形状。可以通过语义分割技术来检测形状。检测可以进一步包括检测媒体中对象的边缘，并识别对象的三维取向。对象可以位于媒体中显示其他媒体(例如，海报、横幅、电视屏幕或广告牌)的位置。
在503处，可以基于对象的检测来确定待放置在媒体的对象中的占位符的位置。在一个示例实施例中，方法500可以包括：当媒体是视频时，基于占位符在不同帧中的坐标的比较，在视频的不同帧中跟踪占位符。
在504处，位于媒体中的占位符可以被提供给用户以进行反馈。在505处，可以接收用户对占位符的反馈。反馈指示占位符的批准、拒绝和未决状态其中一个。
在506处，当占位符被批准时，可以接收来自用户的、用于向占位符添加特殊效果的指令。特殊效果可以包括但不限于颜色调整、对比度调整、亮度调整、饱和度调整和模糊调整。
在507处，可以生成可以指示媒体中的占位符的模板。模板可能包括但不限于与媒体相关的细节、与被配准的占位符相关的细节以及与被配准的占位符的特殊效果相关的细节。在一个示例实施例中，方法500可以包括从内容网络接收待插入到媒体的占位符中的内容。内容可以是广告，并且内容网络可以是广告网络。此外，内容可以被插入在模板中指示的媒体占位符中。内容的尺寸可以对应于占位符的尺寸。内容可以是矢量化的图像，并被调整大小来适应占位符的尺寸。
在508处，可以存储用户对占位符的反馈以及对占位符的特殊效果的选择。在509处，可以将所存储的反馈和特殊效果的选择转发给扫描器。
在510处，方法500可以包括检测另一对象、确定另一对象在另一占位符中被放置的位置、以及基于所存储的反馈和对特殊效果的选择，建议添加到另一占位符的特殊效果。
图6示出了根据本公开的另一示例实施例的描绘系统100的功能的计算机实现的方法600。为了简洁，在图6的描述中并未详细解释在图1、图2、图3、图4和图5的描述中所详细解释的系统100的构造和操作特征。
在框601处，方法600以接收媒体开始。媒体可以包括但不限于静态图像和视频。
在框602处，可以检测媒体中用于放置占位符的潜在对象。可以基于语义分割技术和边缘检测技术其中至少一个来检测对象。
在603处，可以基于对象的检测来确定待放置在媒体的对象中的占位符的位置。
在604处，可以将位于媒体中的占位符提供给用户以进行反馈。在605处，可以接收用户对占位符的反馈。反馈指示占位符的批准、拒绝和未决状态其中一个。
在606处，可以生成可以指示媒体中的占位符的模板。模板可能包括但不限于与媒体相关的细节、与被配准的占位符相关的细节以及与被配准的占位符的特殊效果相关的细节。
在607处，可以将内容插入在模板中指示的媒体占位符中。内容的尺寸可以对应于占位符的尺寸。内容也可以是矢量化的图像，并被调整大小来适应占位符的尺寸。
在608处，方法600可以包括当媒体是视频时检测视频中具有占位符的帧。可以基于媒体的细节和模板中指示的被配准的占位符来执行检测。在609处，基于检测，帧可以被分类为具有占位符的帧和不具有占位符的帧。
在610处，当接收到观看媒体的请求时，可以为用户渲染具有所插入的内容的媒体。可以基于渲染系统的存储容量和处理容量其中至少一个来执行渲染。
图7图示了根据本公开的另一示例实施例的描绘媒体的渲染的计算机实现的方法700。为了简洁起见，并未在图7的描述中详细解释在图1、图2、图3、图4、图5和图6的描述中所详细解释的系统100的构造和操作特征。
在701处，确定用于播放媒体的远程播放器是否允许媒体以多个分段进行播放。每个分段包括媒体的一个或多个部分，其中每个部分可以包括一个或多个帧。在一个示例实施例中，当确定远程播放器允许媒体以多个分段播放时，方法700分支到框702。在702处，通过提供媒体中包括不具有占位符的帧的部分来渲染媒体。此外，在703处，在同时播放媒体中包括不具有占位符的帧的部分时，渲染媒体中包括具有占位符的帧的部分。
在一个备选示例实施例中，当确定远程播放器允许媒体仅以单个分段播放时，方法700分支到框704。在704处，通过渲染媒体中包括具有占位符的帧的部分来渲染媒体。此外，在705处，当渲染被完成时，提供包括具有占位符的帧和不具有占位符的帧的媒体。
在一个示例实施例中，方法700可以包括在媒体是视频时，基于与模板中指示的占位符相关的细节，检测占位符在媒体中的位置。此外，基于检测，从媒体中剪切具有占位符的媒体部分。可以在从媒体中剪切该部分之后，剪裁具有占位符的部分。在接收到观看媒体的请求时，方法700可以包括向用户渲染媒体中具有占位符的经剪裁的部分，所渲染的经剪裁的部分由远程播放器进行播放。
在用于播放媒体的远程播放器允许的一个示例实施例中，渲染可以包括提供媒体中不具有占位符的部分，并且在同时播放媒体中不具有占位符的部分之时，基于与模板中指定的占位符相关的细节，渲染媒体中具有占位符的经剪裁的部分。在远程播放器允许媒体仅以一个片段播放的另一示例实施例中，渲染可以包括渲染媒体中具有占位符的部分，并且当渲染完成时，提供包括不具有占位符的部分和具有占位符的部分的媒体。
在一个备选示例实施例中，方法700还可以包括接收关于用于观看媒体的远程机器120的规格的信息。此外，基于远程机器120的规格确定远程机器120是否适合于渲染媒体。方法700可以进一步包括向远程机器120提供媒体、内容和模板。然后在已经由远程机器120正在播放媒体中不具有占位符的部分时，可以基于模板将内容与媒体的每个帧集成。
本文已描述和说明的是本公开的示例。本文使用的术语、描述和附图仅仅是为了说明，并不旨在限制。在本主题的精神和范围内可以进行许多变化，这些变化旨在由所附权利要求及其等同物限定，其中除非另有说明，否则所有术语均表示其最宽泛的合理含义。

Claims (20)

1.一种用于渲染其中具有被显示内容的媒体的系统，所述系统包括：
接收单元，其用以接收媒体，其中所述媒体包括图像和视频其中一个；
扫描器，其与所述接收单元通信，用以：
基于语义分割技术和边缘检测技术其中至少一个来检测所述媒体中用于放置占位符的潜在对象；以及
基于所述对象的所述检测来确定待放置在所述媒体的所述对象中的所述占位符的位置；
检查器，其与所述扫描器通信，所述检查器用以：
向用户提供定位于所述媒体中的所述占位符，以便进行反馈；以及
接收所述用户对所述占位符的所述反馈，其中所述反馈指示所述占位符的批准、拒绝和未决状态其中一个；
模板生成器，其与所述扫描器和所述检查器通信，用以生成指示所述媒体中的所述占位符的模板，其中所述模板包括与所述媒体相关的细节以及与被批准的所述占位符相关的细节其中至少一个；以及
渲染单元，其与所述模板生成器通信，用以：
当所述媒体是所述视频时，基于所述媒体的所述细节以及在所述模板中指示的被批准的所述占位符，检测所述视频中具有所述占位符的帧；
基于所述检测，将所述帧分类为具有占位符的帧以及不具有占位符的帧；以及
在接收到观看所述媒体的请求时，基于存储空间和处理容量其中至少一个，向所述用户渲染具有待显示的内容的所述媒体，其中所述渲染包括：
当用于播放所述媒体的远程播放器允许以两个或更多片段来播放所述媒体时：
提供所述媒体中包括不具有所述占位符的所述帧的部分，以及
在同时观看所述媒体中包括不具有占位符的帧的所述部分之时，渲染所述媒体中包括具有所述占位符的所述帧的部分；以及
当所述远程播放器允许以一个片段播放所述媒体时：
渲染所述媒体中包括具有所述占位符的所述帧的部分，以及
当所述渲染被完成时，提供包括不具有所述占位符的所述帧和具有所述占位符的所述帧的所述媒体。
2.根据权利要求1所述的系统，其中所述渲染单元进一步用以，
当所述媒体是所述视频时，基于在与所述模板中指示的所述占位符相关的所述细节，检测所述占位符在所述媒体中的位置；
基于所述检测，从所述媒体中剪切所述媒体中具有所述占位符的部分；
在从所述媒体剪切所述部分之后，对具有所述占位符的所述部分进行剪裁；以及
在接收到观看所述媒体的请求时，向所述用户渲染所述媒体中具有所述占位符的经剪裁的所述部分，其中所述渲染包括：
当用于播放所述媒体的远程播放器允许以两个或更多片段播放所述媒体时：
提供所述媒体中不具有所述占位符的部分，以及
在同时观看所述媒体中不具有所述占位符的所述部分之时，渲染所述媒体中具有所述占位符的经剪裁的所述部分；以及
当所述远程播放器允许以一个片段播放所述媒体时：
渲染所述媒体中具有所述占位符的部分，以及
当所述渲染被完成时，提供包括不具有所述占位符的所述部分和具有所述占位符的所述部分的所述媒体。
3.根据权利要求1所述的系统，其中所述渲染单元进一步用以：
如果在所述远程播放器到达所述媒体中包括具有所述占位符的所述帧的部分之前所述渲染并未完成，则放弃对所述部分的渲染；以及
在所述放弃之后，提供所述媒体中不具有所述占位符的所述部分。
4.根据权利要求1所述的系统，其中为了检测用于放置所述占位符的所述对象，所述扫描器用以：
检测所述潜在对象的形状，其中通过所述语义分割技术来检测所述形状；
通过所述边缘检测技术来检测所述媒体中所述对象的边缘；以及
识别所述对象的三维取向。
5.根据权利要求4所述的系统，其中为了通过所述语义分割技术来检测所述对象的所述形状，所述扫描器用以：
向所述媒体的每个像素分配预定标签；以及
突出显示所述对象的二维轮廓。
6.根据权利要求1所述的系统，其中当所述媒体是所述视频时，所述扫描器进一步用以基于所述占位符在所述视频的不同帧中的坐标的比较，来跟踪所述不同帧中的所述占位符。
7.根据权利要求1所述的系统，其中为了向所述用户提供所述占位符以便进行所述反馈，所述检查器用以：
以半透明矩形的形式，为用户突出显示用于将所述内容放置在所述媒体的帧上的至少一个区域。
8.根据权利要求1所述的系统，其中为了向所述用户提供所述占位符以便进行所述反馈，所述检查器用以：
将所述内容插入所述媒体的帧的至少一个区域中。
9.根据权利要求1所述的系统，进一步包括与所述模板生成器通信的动态集成器，所述动态集成器用以将所述内容插入在所述模板中指示的所述媒体的所述占位符中，其中所述内容的尺寸对应于所述占位符的尺寸。
10.根据权利要求9所述的系统，其中所述内容是广告，以及所述接收单元进一步用以从广告网络接收待插入在所述媒体的所述占位符中的所述广告。
11.根据权利要求1所述的系统，其中与所述媒体相关的所述细节包括名称、描述、所述媒体在存储服务器上的位置和元数据其中至少一个。
12.根据权利要求1所述的系统，其中与所述占位符相关的所述细节包括所述占位符的位置、所述占位符的尺寸以及所述占位符的帧其中至少一个。
13.根据权利要求1所述的系统，进一步包括：
指令接收单元，其与所述检查器通信，所述指令接收单元用以在所述占位符被批准时，接收来自所述用户的、用于向所述占位符添加特殊效果的指令，其中所述特殊效果包括色彩校正、对比度、亮度、饱和度和模糊其中至少一个；
机器学习器，其与所述扫描器、所述检查器和所述指令接收单元进行通信，所述机器学习器用以针对预定义时间间隔监视所述对象的所述检测、所述占位符的所述位置的所述确定、所述用户对所述占位符的所述反馈以及针对所述占位符的所述特殊效果的选择；以及
所述扫描器，其与所述机器学习器和所述接收单元进行通信，所述扫描器进一步用以，
检测所述媒体或至少另一媒体中的另一对象；
确定待放置在所述另一对象中的另一占位符的位置；以及
基于所述监视，建议用于向所述另一占位符添加的特殊效果。
14.根据权利要求13所述的系统，其中所述指令接收单元用以：
使用所述媒体上的中性图像代替所述占位符，其中所述中性图像指示不具有所述特殊效果的所述内容；以及
基于对所述特殊效果其中一个或多个的选择来改变所述中性图像的外观。
15.一种用于渲染在其中具有被显示内容的媒体的系统，所述系统包括：
接收单元，用以接收媒体，其中所述媒体包括图像和视频其中一个；
扫描器，其与所述接收单元通信，所述扫描器用以：
基于语义分割技术和边缘检测技术其中至少之一来检测所述媒体中用于放置占位符的潜在对象，以及
基于所述对象的所述检测来确定待放置在所述媒体的所述对象中的所述占位符的位置；
检查器，其与所述扫描器通信，所述检查器用以：
向用户提供定位于所述媒体中的所述占位符，以便进行反馈，以及
接收所述用户对所述占位符的所述反馈，其中所述反馈指示所述占位符的批准、拒绝和未决状态其中一个；
模板生成器，其与所述扫描器和所述检查器进行通信，所述模板生成器用以生成指示所述媒体中的所述占位符的模板，其中所述模板包括与所述媒体相关的细节以及与被批准的所述占位符相关的细节其中至少一个；以及
渲染单元，其与所述模板生成器通信，所述渲染单元用以：
接收与正被用于观看所述媒体的远程机器的规格相关的信息；
基于所述远程机器的所述规格，确定所述远程机器是否适于渲染所述媒体；
向所述远程机器提供所述媒体、所述内容和所述模板；以及
在已经由所述远程机器正在播放所述媒体中不具有所述占位符的部分的同时，基于所述模板，将所述内容与所述媒体的每个帧集成。
16.根据权利要求15所述的系统，其中所述渲染单元进一步用以：
如果在所述远程播放器到达所述媒体中包括具有所述占位符的所述帧的部分前所述渲染并未完成，则放弃对所述部分的渲染；以及
在所述放弃之后，提供所述媒体中不具有所述占位符的所述部分。
17.根据权利要求15所述的系统，其中所述扫描器进一步用以当所述媒体是所述视频时，基于所述占位符在所述视频的不同帧中的坐标的比较，跟踪在所述不同帧中的所述占位符。
18.一种由至少一个处理器执行的计算机实现的方法，所述方法包括：
接收媒体，其中所述媒体包括图像和视频其中一个；
基于语义分割技术和边缘检测技术其中至少一个来检测所述媒体中用于放置占位符的潜在对象；以及
基于所述对象的所述检测来确定待放置在所述媒体的所述对象中的所述占位符的位置；
向用户提供在所述媒体中定位的所述占位符，以便进行反馈；
接收所述用户对所述占位符的所述反馈，其中所述反馈指示所述占位符的批准、拒绝和未决状态其中一个；
生成指示所述媒体中的所述占位符的模板，其中所述模板包括与所述媒体相关的细节以及与被批准的所述占位符相关的细节其中至少一个；
将内容插入在所述模板中指示的、所述媒体的所述占位符中，其中所述内容的尺寸对应于所述占位符的尺寸；
当所述媒体是所述视频时，基于所述媒体的所述细节和所述模板中指示的被批准的所述占位符的所述细节，检测所述视频中具有所述占位符的帧；
基于所述检测，将所述帧分类为具有占位符的帧和不具有占位符的帧；以及
在接收到观看所述媒体的请求时，基于存储容量和处理容量其中至少一个，渲染其中具有被显示的所述内容的所述媒体，其中所述渲染包括：
当用于播放所述媒体的远程播放器允许以两个或更多片段播放所述媒体时：
提供所述媒体中包括不具有所述占位符的所述帧的部分，以及
在同时观看所述媒体中包括不具有所述占位符的所述帧的所述部分之时，渲染所述媒体中包括具有所述占位符的所述帧的部分；以及
当所述远程播放器允许以一个片段播放所述媒体时：
渲染所述媒体中包括具有所述占位符的所述帧的部分，以及
当所述渲染被完成时，提供包括不具有所述占位符的所述帧和具有所述占位符的所述帧的所述媒体。
19.根据权利要求18所述的计算机实现的方法，还包括：
当所述媒体是所述视频时，基于与所述模板中指示的所述占位符相关的所述细节，检测所述占位符在所述媒体中的位置；
基于所述检测，从所述媒体中剪切所述媒体中具有所述占位符的部分；
在从所述媒体剪切具有所述占位符的所述部分之后，对所述部分进行剪裁；以及
在接收到观看所述媒体的请求时，向用户渲染所述媒体中具有所述占位符的经剪裁的所述部分，其中所述渲染包括：
当用于播放所述媒体的所述远程播放器允许时：
提供所述媒体中不具有所述占位符的部分，以及
在同时观看所述媒体中不具有所述占位符的所述部分时，基于与所述模板中指示的所述占位符相关的所述细节，渲染所述媒体中具有所述占位符的经剪裁的所述部分；以及
当所述远程播放器允许以一个片段播放所述媒体时：
渲染所述媒体中具有所述占位符的所述部分，以及
当所述渲染被完成时，提供包括不具有所述占位符的所述部分和具有所述占位符的所述部分的所述媒体。
20.根据权利要求18所述的计算机实现的方法，进一步包括：
接收与正被用于观看所述媒体的远程机器的规格相关的信息；
基于所述远程机器的所述规格，确定所述远程机器是否适于渲染所述媒体；
向所述远程机器提供所述媒体、所述内容和所述模板；以及
在已经由所述远程机器正在播放所述媒体中不具有所述占位符的部分的同时，基于所述模板，将所述内容与所述媒体的每个帧集成。
CN201810375738.4A 2017-04-25 2018-04-24 用于渲染具有内容的媒体的系统及计算机实现方法 Active CN108737892B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17168066.3A EP3396963B1 (en) 2017-04-25 2017-04-25 Dynamic media content rendering
EP17168066.3 2017-04-25

Publications (2)

Publication Number Publication Date
CN108737892A true CN108737892A (zh) 2018-11-02
CN108737892B CN108737892B (zh) 2021-06-04

Family

ID=58632845

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810375738.4A Active CN108737892B (zh) 2017-04-25 2018-04-24 用于渲染具有内容的媒体的系统及计算机实现方法

Country Status (3)

Country Link
US (2) US10237585B2 (zh)
EP (1) EP3396963B1 (zh)
CN (1) CN108737892B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9438936B1 (en) * 2015-04-03 2016-09-06 Mirriad Limited Producing video data

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473266A (zh) * 2009-07-21 2012-05-23 微软公司 通过针对目标设备定制优化广告
CN103780929A (zh) * 2012-10-22 2014-05-07 索尼公司 用于在媒体流中插入广告的方法和系统
CN103974126A (zh) * 2014-05-15 2014-08-06 北京奇艺世纪科技有限公司 一种在视频中植入广告的方法及装置
US20140282724A1 (en) * 2008-02-13 2014-09-18 Innovid Inc. Inserting interactive objects into video content
US20150033255A1 (en) * 2013-07-25 2015-01-29 Thomson Licensing Method for caching of data items in a chache area of a data processing system and corresponding device
CN104363483A (zh) * 2014-12-01 2015-02-18 北京奇艺世纪科技有限公司 一种基于视频画面的广告推送方法及装置
US20150149279A1 (en) * 2013-11-22 2015-05-28 Cellco Partnership D/B/A Verizon Wireless Targeted advertising for broadcasted content
CN105141987A (zh) * 2015-08-14 2015-12-09 京东方科技集团股份有限公司 广告植入方法和广告植入系统
US20160212455A1 (en) * 2013-09-25 2016-07-21 Intel Corporation Dynamic product placement in media content
CN105872602A (zh) * 2015-12-22 2016-08-17 乐视网信息技术（北京）股份有限公司 一种广告数据获取方法、装置及相关系统
CN105898444A (zh) * 2015-12-09 2016-08-24 乐视网信息技术（北京）股份有限公司 广告插播方法和装置
CN105975581A (zh) * 2016-05-05 2016-09-28 腾讯科技（北京）有限公司 媒体信息的展示方法、客户端及服务器
CN106231358A (zh) * 2016-09-28 2016-12-14 广州凯耀资产管理有限公司 一种电视播放控制系统及控制方法
US20170055011A1 (en) * 2010-06-10 2017-02-23 At&T Intellectual Property I, L.P. System and method for metamorphic content generation

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5892554A (en) 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
US5808695A (en) 1995-06-16 1998-09-15 Princeton Video Image, Inc. Method of tracking scene motion for live video insertion systems
US6100925A (en) 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
US8290351B2 (en) 2001-04-03 2012-10-16 Prime Research Alliance E., Inc. Alternative advertising in prerecorded media
US7908172B2 (en) 2000-03-09 2011-03-15 Impulse Radio Inc System and method for generating multimedia accompaniments to broadcast data
EP1317857A1 (en) 2000-08-30 2003-06-11 Watchpoint Media Inc. A method and apparatus for hyperlinking in a television broadcast
CA2424771A1 (en) 2003-04-07 2004-10-07 Buzz Technologies System and method for attaching advertisements to media files
US20070100698A1 (en) 2005-07-08 2007-05-03 Onestop Media Group Adaptive advertisements and adaptive advertising distribution system
US20080101456A1 (en) 2006-01-11 2008-05-01 Nokia Corporation Method for insertion and overlay of media content upon an underlying visual media
US20080184288A1 (en) 2006-11-06 2008-07-31 Ken Lipscomb System and method for creating a customized video advertisement
US9294822B2 (en) 2006-11-23 2016-03-22 Mirriad Advertising Limited Processing and apparatus for advertising component placement utilizing an online catalog
US7739596B2 (en) 2007-04-06 2010-06-15 Yahoo! Inc. Method and system for displaying contextual advertisements with media
US9609260B2 (en) 2007-07-13 2017-03-28 Gula Consulting Limited Liability Company Video tag layout
US8285121B2 (en) 2007-10-07 2012-10-09 Fall Front Wireless Ny, Llc Digital network-based video tagging system
US20100064025A1 (en) 2008-09-10 2010-03-11 Nokia Corporation Method and Apparatus for Providing Media Service
US20100154007A1 (en) 2008-12-17 2010-06-17 Jean Touboul Embedded video advertising method and system
CA2782907A1 (en) 2009-11-30 2011-06-03 Donald J. Wing Real time media selection and creation of a composite multimedia file used for custom advertising and marketing
US20110177775A1 (en) 2010-01-13 2011-07-21 Qualcomm Incorporated Signaling mechanisms, templates and systems for creation and delivery of interactivity events on mobile devices in a mobile broadcast communication system
US9930311B2 (en) 2011-10-20 2018-03-27 Geun Sik Jo System and method for annotating a video with advertising information
WO2013067437A1 (en) 2011-11-02 2013-05-10 Hoffman Michael Theodor Systems and methods for dynamic digital product synthesis, commerce, and distribution
EP2864958A4 (en) 2012-06-26 2016-08-17 Eyeconit Ltd IMAGE MASK PROVIDING A MACHINE-READABLE DATA MATRIX CODE
US9407975B2 (en) * 2013-03-05 2016-08-02 Brandon Grusd Systems and methods for providing user interactions with media
US8910201B1 (en) 2013-03-11 2014-12-09 Amazon Technologies, Inc. Product placement in digital content
GB2520311A (en) 2013-11-15 2015-05-20 Sony Corp A method, device and computer software
US10375434B2 (en) * 2014-03-11 2019-08-06 Amazon Technologies, Inc. Real-time rendering of targeted video content
US10664687B2 (en) 2014-06-12 2020-05-26 Microsoft Technology Licensing, Llc Rule-based video importance analysis
US9646227B2 (en) 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
US10019415B1 (en) 2015-08-28 2018-07-10 Animoto Inc. System and method for consistent cross-platform text layout
US9424494B1 (en) 2016-01-28 2016-08-23 International Business Machines Corporation Pure convolutional neural network localization
US10691923B2 (en) 2016-09-30 2020-06-23 Intel Corporation Face anti-spoofing using spatial and temporal convolutional neural network analysis

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140282724A1 (en) * 2008-02-13 2014-09-18 Innovid Inc. Inserting interactive objects into video content
CN102473266A (zh) * 2009-07-21 2012-05-23 微软公司 通过针对目标设备定制优化广告
US20170055011A1 (en) * 2010-06-10 2017-02-23 At&T Intellectual Property I, L.P. System and method for metamorphic content generation
CN103780929A (zh) * 2012-10-22 2014-05-07 索尼公司 用于在媒体流中插入广告的方法和系统
US20150033255A1 (en) * 2013-07-25 2015-01-29 Thomson Licensing Method for caching of data items in a chache area of a data processing system and corresponding device
US20160212455A1 (en) * 2013-09-25 2016-07-21 Intel Corporation Dynamic product placement in media content
US20150149279A1 (en) * 2013-11-22 2015-05-28 Cellco Partnership D/B/A Verizon Wireless Targeted advertising for broadcasted content
CN103974126A (zh) * 2014-05-15 2014-08-06 北京奇艺世纪科技有限公司 一种在视频中植入广告的方法及装置
CN104363483A (zh) * 2014-12-01 2015-02-18 北京奇艺世纪科技有限公司 一种基于视频画面的广告推送方法及装置
CN105141987A (zh) * 2015-08-14 2015-12-09 京东方科技集团股份有限公司 广告植入方法和广告植入系统
CN105898444A (zh) * 2015-12-09 2016-08-24 乐视网信息技术（北京）股份有限公司 广告插播方法和装置
CN105872602A (zh) * 2015-12-22 2016-08-17 乐视网信息技术（北京）股份有限公司 一种广告数据获取方法、装置及相关系统
CN105975581A (zh) * 2016-05-05 2016-09-28 腾讯科技（北京）有限公司 媒体信息的展示方法、客户端及服务器
CN106231358A (zh) * 2016-09-28 2016-12-14 广州凯耀资产管理有限公司 一种电视播放控制系统及控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
曹雄: "《面向视频内容的广告定向投放方法研究》", 《中国优秀硕士学位论文全文数据库》 *

Also Published As

Publication number Publication date
US10674184B2 (en) 2020-06-02
US20190174157A1 (en) 2019-06-06
US20180310039A1 (en) 2018-10-25
CN108737892B (zh) 2021-06-04
EP3396963B1 (en) 2021-04-07
US10237585B2 (en) 2019-03-19
EP3396963A1 (en) 2018-10-31

Similar Documents

Publication Publication Date Title
Grasset et al. Image-driven view management for augmented reality browsers
US11625874B2 (en) System and method for intelligently generating digital composites from user-provided graphics
US7444656B2 (en) Post production visual enhancement rendering
US9420353B1 (en) Finding and populating spatial ad surfaces in video
CN109286824B (zh) 一种直播用户侧控制的方法、装置、设备及介质
US20160050465A1 (en) Dynamically targeted ad augmentation in video
CN107633441A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
KR20140082610A (ko) 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치
CN110300316A (zh) 视频中植入推送信息的方法、装置、电子设备及存储介质
US11854238B2 (en) Information insertion method, apparatus, and device, and computer storage medium
DE112017006836T5 (de) Informationsverarbeitungsgerät, informationsverarbeitungsverfahren und programm
US11269892B2 (en) Ranking images based on image effects
US10225585B2 (en) Dynamic content placement in media
US10453491B2 (en) Video processing architectures which provide looping video
US10984572B1 (en) System and method for integrating realistic effects onto digital composites of digital visual media
CN107578306A (zh) 追踪识别视频图像中的商品并展示商品信息的方法和装置
CN108737892A (zh) 媒体中的动态内容渲染
CN113269781A (zh) 数据生成方法、装置及电子设备
CN112684893A (zh) 信息展示方法、装置、电子设备及存储介质
CN109522429A (zh) 用于生成信息的方法和装置
JP2015125541A (ja) 視線予測システム、視線予測方法、および視線予測プログラム
CN114282031A (zh) 信息标注方法、装置、计算机设备及存储介质
US11301715B2 (en) System and method for preparing digital composites for incorporating into digital visual media
US20220109900A1 (en) System for intermediating virtual image, device for inserting virtual image, and method for operating same
CN112019911A (zh) 一种网页动画的显示方法、装置及电子设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant