CN111357295B - 用于将用户特定内容融合到视频制作中的方法和系统 - Google Patents

用于将用户特定内容融合到视频制作中的方法和系统 Download PDF

Info

Publication number
CN111357295B
CN111357295B CN201880053397.7A CN201880053397A CN111357295B CN 111357295 B CN111357295 B CN 111357295B CN 201880053397 A CN201880053397 A CN 201880053397A CN 111357295 B CN111357295 B CN 111357295B
Authority
CN
China
Prior art keywords
frames
video
subset
content
processing server
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880053397.7A
Other languages
English (en)
Other versions
CN111357295A (zh
Inventor
盖尔·奥兹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixellot Ltd
Original Assignee
Pixellot Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixellot Ltd filed Critical Pixellot Ltd
Publication of CN111357295A publication Critical patent/CN111357295A/zh
Application granted granted Critical
Publication of CN111357295B publication Critical patent/CN111357295B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Devices (AREA)

Abstract

通常，提供了用于将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的方法。该方法可以包括下列步骤：接收包括表示场景的多个帧的视频内容；为视频内容的帧子集导出虚拟摄像机模型；为视频内容的帧子集的每一帧生成前景掩模；以及使用相应帧的虚拟摄像机模型，在多个观看者终端中的至少一些上接收的视频内容的帧子集的帧的至少部分中，用与相应的观看者终端相关联的观看者特定图形内容的像素替换被包含在场景中的背景表面的预定内容插入区域内的相应帧中的除了由相应的帧的前景掩模指示的像素以外的所有像素。

Description

用于将用户特定内容融合到视频制作中的方法和系统
发明领域
本发明涉及视频制作的领域，且更具体地涉及将用户定制的内容融合到视频广播中。
发明背景
近年来随着专用硬件和软件的引入，体育赛事的自动视频内容制作变得越来越流行。多年来，人们建议可以以将使观看者能够观看视频广播的方式将广告融合到视频内容中，表面的一些部分展示广告内容。
然而，主要由于在所融合的内容和前景对象之间的障碍干扰，许多挑战且特别是与在前景对象(例如，运动员)和背景表面之间的关系相关的那些挑战阻止令人满意的结果。
发明概述
本发明的一个方面提供了一种将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的方法，该方法可以包括：由视频处理服务器接收包括多个帧的视频内容，其中多个帧中的每一个表示包括背景表面和感兴趣对象的场景；由视频处理服务器为多个帧的帧子集的每个帧导出虚拟摄像机模型，该虚拟摄像机模型将相应帧的每个像素与在场景中的与其像素相关联的真实世界地理位置相关联；由视频处理服务器为帧子集的每一帧生成包括与感兴趣对象相关的像素的前景掩模；以及由多个观看者终端中的至少一些使用相应帧的虚拟摄像机模型在视频内容的帧子集的帧的至少部分中用与其观看者终端相关联的观看者特定图形内容的像素替换被包含在背景表面的至少一个预定内容插入区域内的相应帧中除了由相应帧的前景掩模指示的像素以外的所有像素。
本发明的另一个方面提供了一种用于将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的系统，该系统可以包括：视频处理服务器，其被布置成：接收包括多个帧的视频内容，其中多个帧中的每一个表示包括背景表面和感兴趣对象的场景；为视频内容的多个帧的帧子集导出虚拟摄像机模型，该虚拟摄像机模型将相应帧的每个像素与在场景中的与其像素相关联的真实世界地理位置相关联；以及为帧子集的每一帧生成包括与感兴趣对象相关的像素的前景掩模；以及与视频处理服务器通信的多个观看者终端，其中多个观看者终端中的至少一些被布置成使用相应虚拟摄像机模型在帧子集的帧的至少部分中用与相应观看者终端相关联的观看者特定图形内容的像素替换被包含在背景表面的预定内容插入区域内的在相应帧中除了由相应的前景掩模指示为与感兴趣对象相关的像素以外的所有像素。
本发明的这些、额外和/或其他方面和/或优点在接下来的详细描述中被阐述；可能从详细描述可推断出；和/或通过本发明的实践可获悉。
附图简述
为本发明的实施例的更好理解并示出其可以如何被实施，现在将纯粹作为例子参考附图，其中相似的数字始终表示相应的元件或部分。
在附图中：
图1A、1B和1C是根据本发明的一些实施例的用于将观看者特定图形内容融合到被广播到多个用户终端的视频内容中的系统的各种配置的示意图；
图2A、2B和2C是根据本发明的一些实施例的用于将观看者特定内容融合到被广播到多个用户终端的视频内容中的系统的更详细方面的各种配置的示意图；以及
图3是示出根据本发明的一些实施例的将观看者特定内容融合到被广播到多个观看者终端的视频内容中的方法的流程图。
将认识到，为了说明的简单和清楚，在图中所示的元件不一定按比例绘制。例如，为了清楚起见，一些元件的尺寸可以相对于其他元件被放大。此外，在被认为适当的情况下，参考数字可在多个图当中重复以指示对应的或类似的元件。
本发明的详细描述
在下面的描述中，描述本发明的各个方面。为了解释的目的，阐述特定的配置和细节，以便提供对本发明的透彻理解。然而，对本领域中的技术人员将明显的是，本发明可以在没有本文中所呈现的特定细节的情况下被实践。此外，可以省略或简化众所周知的特征，以便不使本公开模糊。在对附图的特定参考的情况下，强调所示的细节是作为例子且仅仅是为了本发明的说明性讨论的目的，并为了提供被认为是本发明的原理和概念方面的最有用和容易理解的描述的内容起见而被呈现。在这点上，没有试图以比对本发明的基本理解所必需的更多的细节来显示本发明的结构细节，与附图一起被理解的描述使本发明的几种形式可以如何体现在实践中对本领域中的技术人员变得明显。
在详细解释本发明的至少一个实施例之前，应当理解，本发明在它的应用中不限于在下面的描述中阐述的和在附图中示出的结构和布置的细节。本发明可适用于可以以各种方式被实践或实现的其他实施例以及所公开的实施方式的组合。此外应理解，本文采用的措辞和术语是为了描述的目的且不应被看作是限制性的。
除非另有特别规定，如从下面的讨论明显的，应认识到，在整个说明书讨论中，利用术语例如“处理”、“计算(computing)”、“计算(calculating)”、“确定”、“增强”或诸如此类指计算机或计算系统或类似的电子计算设备的行动和/或过程，计算机或计算系统或类似的电子计算设备将被表示为在计算系统的寄存器和/或存储器内的物理量例如电子量的数据操纵和/或转换成类似地被表示为在计算系统的存储器、寄存器或其它这样的信息存储、传输或显示设备内的物理量的其它数据。任何所公开的模块或单元可以至少部分地由计算机处理器实现。
本发明的实施例提供了一种用于将观看者特定图形内容(例如广告)融合到被广播到多个用户终端的视频内容中的系统和方法。该系统可以包括被布置成接收或生成表示在例如体育赛事(例如足球、篮球、橄榄球等)处的场景的视频内容的视频处理服务器。视频内容可以包括多个帧。
视频处理服务器可以为视频内容的多个帧的帧子集导出虚拟摄像机模型的相应子集和前景掩模的相应子集。在一些实施例中，基于在体育赛事期间的特定时间段/持续时间来选择子集的帧，在体育赛事期间，观看者特定图形内容预期被融合到正被广播的视频内容中。视频处理服务器可以进一步广播视频内容，其中子集的帧伴随有包括相应的虚拟摄像机模型和相应的前景掩模的元数据。
在各种实施例中，视频内容可以与观看者特定图形内容(例如广告、徽标等)一起在观看者终端处或在虚拟渲染服务器处被接收。
观看者终端/虚拟渲染服务器可以被布置成通过用其用户特定图形内容的像素替换被包含在场景中的预定内容插入区域内的在子集的帧中的所有像素(除了由相应帧的前景掩模指示的像素以外)并且使用相应帧的虚拟摄像机模型来将用户特定图形内容融合到视频内容中。
在各种实施例中，观看者特定图形内容可以针对每个观看者单独地或针对不同组的观看者(例如，男人、女人、孩子等)来定制。因此，在一些实施例中，每个观看者终端或观看者终端组可以接收视频内容，其中融合有观看者定制的并且可能不同的图形内容，其中融合考虑前景，以便消除碰撞和障碍。
有利地，所公开的系统和方法可以使替代图形内容到直接在观看者终端或虚拟渲染服务器上(并且远离视频处理服务器)被广播的视频内容中的融合成为可能，从而在针对特定观看者/观看者组定制替代图形内容方面提供高灵活性，同时消除在视频内容的可重复的、复杂的和消耗资源的准备阶段(例如，前景掩模和虚拟摄像机模型的生成)中的需要，所述准备阶段可以在视频处理服务器上仅被执行一次。
现在参考图1A、1B和1C，其是根据本发明的一些实施例的用于将观看者特定图形内容融合到被广播到多个用户终端的视频内容中的系统100的各种配置的示意图。
根据一些实施例，系统100可以包括视频处理服务器110和与视频处理服务器110通信的多个用户终端180(1)至180(M)(例如智能手机、平板计算机、云、智能TV等)。在一些实施例中，用户终端180(1)至180(M)可以与多个观看者80(1)至80(M)相关联。
视频处理服务器110可以(例如，在本地或通过网络)接收视频内容105(例如，如图1A所示)。视频内容105可以包括多个帧。视频内容105可以表示在例如体育赛事(例如足球比赛、篮球比赛等)处的场景5。场景5可以例如包括静止/背景表面10和感兴趣对象20。例如，静止/背景表面10可以是运动场和/或感兴趣对象20可以是运动物体，例如球22、运动员24a至24e和/或体育赛事的裁判员26。因此，视频内容105的帧可以包括与静止/背景表面10相关的像素和与感兴趣对象20相关的像素。
在一些实施例中，系统100可以包括至少一个摄像机120(例如静态或动态摄像机)。摄像机120可以指向例如体育赛事的场景5，并且可以被布置成捕获视频片段并将它的相应视频流122传送到视频处理服务器110。在这些实施例中，视频处理服务器110可以被布置成接收视频流122并基于视频流122来生成视频内容105(例如，如下面关于图2A和2B所描述的)。
在一些实施例中，系统100可以包括指向体育赛事的场景5的多个摄像机120(1)至120(N)，其被布置成捕获视频片段并将它们的相应视频流122(1)至122(N)传送到视频处理服务器110(例如，如图1B和1C所示的)。视频处理服务器110可以进一步被布置成基于视频流122(1)至122(N)中的至少一些来生成视频内容105。在这些实施例中，多个摄像机120(1)至120(N)中的每一个可以指向不同的角度，以便所有多个摄像机120(1)至120(N)一起可以提供场景的全景视图，并且(由视频处理服务器110生成的)视频内容105还可以包括场景5的所有可能的角度。
在一些实施例中，视频处理服务器110可以被布置成为视频内容105的多个帧的帧子集的每一帧导出虚拟摄像机模型，以产生虚拟摄像机模型112的相应子集(例如，如下面关于图2所述的)。视频内容105的帧子集的每个帧的虚拟摄像机模型可以例如将相应帧的每个像素和与其像素相关联的真实世界地理位置相关联(例如，如下面关于图2所述的)。
在一些实施例中，基于体育赛事的指定时间段/持续时间来选择子集的帧，在该指定时间段/持续时间期间，观看者特定图形内容预期被融合到视频内容中。在一些实施例中，帧子集包括视频内容105的所有多个帧。
在一些实施例中，视频处理服务器110可以被布置成为视频内容105的帧子集的每一帧生成前景掩模，以产生前景掩模114的相应子集(例如，如下面关于图2A和2B所描述的)。帧子集的每一帧的前景掩模可以例如包括与感兴趣对象20(球22、运动员24、体育赛事的裁判员26等)相关的像素。
根据一些实施例，视频处理服务器110可以被布置成向多个用户终端180(1)至180(M)中的至少一些(例如，通过网络)广播视频内容105，其中视频内容105的帧子集的每个帧伴随有包括相应帧的虚拟摄像机模型和相应帧的前景掩模的元数据(例如，如图1A和1B所示的)。
用户终端180(1)至180(M)中的至少一些可以接收相应的并且可能不同的观看者特定图形内容130(1)至130(M)(例如广告、徽标等)(例如，如图1A和1B所示的)。在各种实施例中，观看者特定图形内容130(1)至130(M)中的每一个(或至少一些)可以针对观看者80(1)至80(M)中的每一个单独地或者针对不同组的观看者(例如，男人、女人、孩子等)被定制。
用户终端180(1)至180(M)中的至少一些可以被布置成使用相应帧的虚拟摄像机模型112用与其至少一些用户终端相关联的用户特定图形内容130(1)至130(M)的像素替换(例如，通过计算机处理器)被包含在背景/静止表面10的预定内容插入区域30内的在视频内容105的帧子集的帧的至少一部分中的除了由相应帧的前景掩模114指示为与感兴趣对象20(例如，运动员24c、24d，如图1A和1B所示的)的像素以外所有像素。因此，观看者终端180(1)至180(M)中的至少一些可以在本地接收将在预定内容插入区域30上融合的不同内容，其中用所融合的内容替换像素考虑前景的感兴趣对象20(例如，移动对象)，以便消除碰撞和障碍。
根据一些实施例，系统100可以包括虚拟渲染服务器140(例如，如图1C所示的)。虚拟渲染服务器140可以与视频处理服务器110和用户终端180(1)至180(M)通信。虚拟渲染服务器120可以从视频处理服务器110接收视频内容105，其中视频内容105的帧子集的每一帧伴随有元数据(例如，上面关于图1A和1B所描述的)。
虚拟渲染服务器120可以进一步被布置成接收观看者特定图形内容130(1)到130(M)。在一些实施例中，观看者特定图形内容130(1)至130(M)中的至少一些的至少一些像素可以具有预定的透明度度量。
虚拟渲染服务器140可以被布置成通过使用相应帧的虚拟摄像机模型112用相应的用户特定图形内容130(1)至130(M)的像素替换被包含在背景/静止表面10的预定内容插入区域30内的在视频内容105的帧子集的帧的至少一部分中的所有像素(除了由相应帧的前景掩模114指示为与感兴趣对象20相关的像素以外)来生成用户特定视频内容142(1)至140(M)。虚拟渲染服务器120可以进一步被布置成向用户终端180(1)至180(M)中的至少一些广播用户特定视频内容142(1)至142(M)中的至少一些。
现在参考图2A、2B和2C，其是根据本发明的一些实施例的用于将观看者特定内容融合到视频制作中的系统200的更详细方面的各种配置的示意图。
根据一些实施例，系统200可以包括视频处理服务器210和与视频服务器210通信的多个用户终端280(例如，如图2A和2B所示的)。
根据一些实施例，视频处理服务器210可以接收视频内容232(例如，如图2A所示的)。视频内容232可以包括多个帧，每个帧代表在体育赛事处的场景5(例如，如上面关于图1A、1B和1C所述的)。
根据一些实施例，视频处理服务器210可以包括视频制作生成器220(例如，如图2B和2C所示的)。视频制作生成器230可以例如接收多个视频流220(1)至220(N)(例如，由对应的多个摄像机例如指向体育赛事的场景5的摄像机120(1)至120(N)生成，如上面关于图1B所述的)。视频制作生成器230可以基于视频流220(1)至220(N)来生成包括多个帧的视频内容232。
例如，视频制作模块230可以通过视频编辑来将视频流220(1)至220(N)选择性地组合到视频内容232内以“讲述”体育赛事的故事。视频编辑可以例如包括在直播事件设置(例如，直播制作)中或者在体育赛事出现之后(例如，后期制作)创建视频流220(1)到220(N)的部分的组合和/或削减。
根据一些实施例，视频处理服务器210可以包括前景掩模生成器240。前景掩模生成器240可以被布置成为视频内容232的多个帧的帧子集234的每一帧生成前景掩模，以产生前景掩模242的相应子集。例如，可以为子集234的一帧生成多个前景掩模242中的每一个。多个前景掩模242中的每一个可以包括与场景5中的感兴趣对象20相关的像素(例如，如上面关于图1A、1B和1C所述的)。在一些实施例中，基于体育赛事的指定时间段/持续时间来选择子集234的帧，在该时间段/持续时间期间观看者特定图形内容将被融合到视频内容中。
在一些实施例中，前景掩模生成器240可以利用背景相减方法来生成前景掩模242。前景掩模生成器240可以基于视频内容232的多个帧中的至少一些来确定背景图像。背景图像可以例如包括与场景的静止/背景表面10相关的像素。前景掩模生成器240可以例如从视频内容232的帧子集的每一帧(其包括与背景/静止表面10和感兴趣对象20都相关的像素)减去背景图像(其包括与背景/静止表面10相关的像素)，以产生前景掩模图像242的相应子集(其包括与感兴趣对象20相关的像素)。将认识到，前景掩模生成器240也可以利用其他背景相减技术。
在一些实施例中，前景掩模生成器240可以利用色度键控方法来生成前景掩模242。前景掩模生成器240可以例如检测并移除视频内容232的帧子集的帧中的与背景/静止表面10相关的所有像素(例如，其可以具有实质上相同的颜色)，以从而生成前景掩模图像242的相应子集(其包括与感兴趣对象20相关的像素)。在这些实施例中，前景掩模242还可以包括在背景/静止表面10上的元素，其颜色不同于背景/静止表面10(例如白线标记等)的主导色。
将认识到，前景掩模生成器240可以利用其他方法例如深度学习算法(例如，而不是背景相减和/或色度键控)来生成前景掩模242。
根据一些实施例，系统200可以包括虚拟摄像机模型生成器250。虚拟摄像机生成模型250可以为视频内容232的帧子集234的每一帧导出虚拟摄像机模型，以产生虚拟摄像机模型252的相应子集。例如，可以为子集234的一帧导出多个虚拟摄像机模型252中的每一个。
在一些实施例中，为视频内容232的子集234的一帧导出的每个虚拟摄像机模型252可以将相应帧中的每个像素与场景5中的与其像素相关联的真实世界地理位置相关联。其相关性可以基于例如生成相应帧的摄像机的物理参数来完成。其物理参数可以例如至少包括摄像机相对于场景5的真实世界地理位置、摄像机相对于场景5的定向和/或镜头参数，例如焦距、失真等。
在各种实施例中，可以使用例如下列项中的至少一个来确定摄像机的物理参数：位于摄像机上的传感器、计算机视觉方法和/或通过使用多个摄像机(例如，如上面关于图1B所述的摄像机120(1)至120(N))进行的场景的全景捕获。可选地或补充地，归因于其摄像机的物理参数可以由虚拟摄像机生成模型250接收作为元数据。
在一些实施例中，视频处理服务器210可以接收至少一个内容插入区域260作为输入。内容插入区域260可以包括涉及将用观看者特定内容替换的在场景5的背景/静止表面10上的真实世界地理位置的信息(例如，如上面关于图1A和1B所述的)。内容插入区域260可以例如在运动场、在体育赛事发生于的体育场周围的区域和/或整个场景5上。在各种实施例中，子集234的至少一些帧可以包括单个内容插入区域260或者两个或更多个内容插入区域260。
在一些实施例中，视频处理服务器210可以为子集234的帧生成元数据270，意味着子集234的每个帧可以伴随有相应帧的前景掩模242、相应掩模虚拟摄像机模型252和内容插入区域260(例如，如图2A、2B和2C所示的)。在一些实施例中，视频处理服务器210可以进一步广播视频内容232，其中子集234的每一帧伴随有相应帧的元数据270。
根据一些实施例，由视频制作服务器210广播的视频内容232和元数据270可以由至少一些观看者终端280接收。至少一些观看者终端280中的每一个还可以接收相应的并且可能不同的观看者特定图形内容282作为输入(例如，如图2A和2B所示的)。在一些实施例中，至少一些观看者特定图形内容282的至少一些像素可以具有预定的透明度度量。
至少一些用户终端280可以包括虚拟渲染模块284。每个观看者终端280的虚拟渲染模块284可以被布置成使用相应帧的虚拟摄像机模型针对视频内容232的子集234的帧的至少一部分用与相应用户终端相关联的用户特定图形内容282的像素替换被包含在预定内容插入区域260内的除了由相应帧的前景掩模指示为与感兴趣对象20相关的像素以外的所有像素。
因此，与观看者终端280相关联的至少一些观看者可以在本地接收将在预定内容插入区域260上融合的不同内容，其中用所融合的内容替换像素考虑前景的感兴趣对象20(例如，移动对象)，以便消除碰撞和障碍。
根据一些实施例，系统200可以包括虚拟渲染服务器290(例如，如图2C所示的)。虚拟渲染服务器290可以与视频处理服务器210和用户终端280通信。虚拟渲染服务器290可以从视频处理服务器210接收视频内容232，其中子集234的每一帧伴随有元数据270(例如，上面关于图2A和2B所描述的)。虚拟渲染服务器290可以进一步被布置成接收观看者特定图形内容282(例如，如图2C所示的)。在一些实施例中，观看者特定图形内容282可以包括针对特定观看者/观看者组定制的多个替代图形内容(例如，如上面关于图1C所述的)。
虚拟渲染服务器290可以被布置成通过使用相应帧的虚拟摄像机模型252用相应的用户特定图形内容282的像素替换被包含在背景/静止表面10的预定内容插入区域260内的在视频内容232的帧子集234的帧的至少一部分中的所有像素(除了由相应帧的前景掩模242指示为与感兴趣对象20相关的像素以外)来生成用户特定视频内容292。虚拟渲染服务器290可以进一步被布置成向至少一些用户终端280广播至少一些用户特定视频内容292(例如，如图2C所示的)。
现在参考图3，其是示出根据本发明的一些实施例的将观看者特定内容融合到被广播到多个观看者终端的视频内容中的方法的流程图。
根据一些实施例，该方法可以由可以被配置为实现该方法的系统100或系统200实现。注意，该方法不限于图3所示的流程图和相应的描述。例如，在各种实施例中，该方法不需要贯穿每个所示出的框或阶段或以与如所示和所述的完全相同的顺序移动。
在一些实施例中，该方法可以包括由视频处理服务器接收包括多个帧的视频内容，其中多个帧中的每一个表示场景(例如，体育赛事)，并且包括与场景中的静止/背景表面相关的像素和与场景中的感兴趣对象相关的像素(阶段310)。
在一些实施例中，该方法可以包括由视频处理服务器接收至少一个视频流(例如，来自指向场景的至少一个摄像机)，并且进一步基于至少一个视频流来生成视频内容(阶段312)。
在一些实施例中，该方法可以包括在直播事件设置(例如，直播制作)中或者在体育赛事出现之后(例如，后期制作)选择性地创建至少一个视频流的部分的组合和/或削减，以从而生成视频内容(阶段314)。
在一些实施例中，该方法可以包括为多个帧的帧子集的每个帧导出虚拟摄像机模型，该虚拟摄像机模型将相应帧的每个像素与在场景中的与其像素相关联的真实世界地理位置相关联，以产生虚拟摄像机模型的相应子集(阶段320)。
在一些实施例中，该方法可以包括基于生成帧的摄像机的物理参数(例如，摄像机相对于场景的至少真实世界地理位置、摄像机相对于场景的定向和/或镜头参数例如焦距、失真等)来导出虚拟摄像机模型的子集中的每一个)，帧的相应虚拟摄像机模型被导出(阶段322)。
在一些实施例中，该方法可以包括由视频处理服务器使用下列项中的至少一个来确定相应摄像机的物理参数：位于摄像机上的传感器、计算机视觉方法和/或通过使用多个摄像机进行的场景的全景捕获(阶段324)。
在一些实施例中，该方法可以包括由视频处理服务器为视频内容232的帧子集的每一帧生成包括与感兴趣对象相关的像素的前景掩模，以产生前景掩模的相应子集(阶段330)。
在一些实施例中，该方法可以包括基于视频内容的多个帧中的包括与场景的背景表面相关的像素的至少一些帧来生成背景图像(例如，如上面关于图2B所述的)(阶段332)。
在一些实施例中，该方法可以包括从视频内容的帧子集的每个帧减去背景图像以产生前景掩模的相应子集(阶段334)。
在一些实施例中，该方法可以包括检测和移除在视频内容的帧子集的帧中的与背景表面相关的所有像素以从而生成前景掩模图像的相应子集(阶段336)。
在一些实施例中，该方法可以包括接收至少一个内容插入区域作为输入，该至少一个内容插入区域包括将用观看者特定内容替换的涉及在场景的背景表面上的真实世界地理位置的信息(阶段340)。
在一些实施例中，该方法可以包括由视频处理服务器为视频内容的帧子集的每个帧生成包括相应帧的前景掩模和相应帧的虚拟摄像机模型的元数据(阶段342)。
在一些实施例中，该方法可以包括由视频处理服务器广播具有元数据的视频内容(阶段350)。
在一些实施例中，该方法还可以包括由多个观看者终端中的至少一些接收具有元数据的视频内容和观看者特定图形内容(阶段352)。
在一些实施例中，该方法可以包括由多个观看者终端中的至少一些使用相应帧的虚拟摄像机模型在视频内容的帧子集的帧的至少部分中用观看者特定图形内容的像素替换被包含在背景表面的至少一个内容插入区域内的相应帧中除了由相应帧的前景掩模指示的像素以外的所有像素(阶段354)。
在一些实施例中，该方法还可以包括由虚拟渲染服务器接收具有元数据的视频内容和观看者特定图形内容(阶段360)。
在一些实施例中，该方法可以包括由虚拟渲染服务器使用相应帧的虚拟摄像机模型在视频内容的帧子集的帧的至少部分中用观看者特定图形内容的像素替换被包含在背景表面的至少一个内容插入区域内的在相应帧中的所有像素，除了由相应帧的前景掩模指示的像素之外，以从而生成观看者特定视频内容(阶段362)。
在一些实施例中，该方法还可以包括向多个观看者终端中的至少一些广播观看者特定视频内容(阶段364)。
在一些实施例中，该方法还可以包括针对特定观看者或特定组的观看者定制观看者特定图形内容，使得多个观看者终端中的至少一些被提供有不同的观看者特定图形内容(阶段370)。
有利地，所公开的系统和方法可以使替代图形内容到直接在观看者终端或虚拟渲染服务器上(并且远离视频处理服务器)被广播的视频内容中的融合成为可能，从而在针对特定观看者/观看者组定制替代图形内容方面提供高灵活性，同时消除在视频内容的可重复的、复杂的和消耗资源的准备阶段(例如，前景掩模和虚拟摄像机模型的生成)中的需要，所述准备阶段可以在视频处理服务器上仅被执行一次。
上面参考根据本发明的实施例的方法、装置(系统)和计算机程序产品的流程图图示和/或部分图描述了本发明的方面。将理解，流程图图示和/或部分图的每个部分以及在流程图图示和/或部分图中的部分的组合可由计算机程序指令实现。这些计算机程序指令可被提供到通用计算机的、专用计算机的或其他可编程数据处理装置的处理器以产生机器，使得经由计算机的或其他可编程数据处理装置的处理器执行的指令创建用于实现在流程图中和/或部分图或其部分中指定的功能/行动的手段。
这些计算机程序指令还可存储在计算机可读介质中，所述指令可指导计算机、其他可编程数据处理装置或其它设备以特定方式运行，使得存储在计算机可读介质中的指令产生制造物品，其包括实现在流程图和/或部分图或其部分中指定的功能/行动的指令。计算机程序指令还可被加载到计算机、其他可编程数据处理装置或其他设备上，以使将在计算机、其他可编程装置或其他设备上执行的一系列操作步骤产生计算机实现的过程，使得在计算机或其他可编程装置上执行的指令提供用于实现在流程图和/或部分图部分或其部分中指定的功能/行动的过程。
前面提到的流程图和图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能的实现的架构、功能和操作。在这点上，在流程图或部分图中的每个部分可以代表包括用于实现指定的逻辑功能的一个或更多个可执行指令的代码的模块、段或部分。还应当注意，在一些可选的实施中，在部分中提到的功能可以不按在附图中提到的顺序出现。例如，连续地示出的两个部分可以事实上实质上同时被执行，或部分有时可以按相反的顺序被执行，取决于所涉及的功能。还将注意，部分图和/或流程图图示的每个部分以及在部分图和/或流程图图示中的部分的组合可以由执行指定的功能或行动的基于专用硬件的系统或专用硬件和计算机指令的组合来实现。
在上面的描述中，实施例是本发明的例子或实现。“一个实施例”、“实施例”、“某些实施例”或“一些实施例”的各种出现不一定都指相同的实施例。尽管本发明的各种特征可以在单个实施例的上下文中被描述，这些特征也可以单独地或以任何合适的组合被提供。相反，尽管为了清楚起见在本文可在单独实施例的上下文中描述本发明，本发明也可以在单个实施例中实现。本发明的某些实施例可包括来自上面公开的不同实施例的特征，且某些实施例可合并来自上面公开的其它实施例的元素。在特定实施例的上下文中的本发明的元素的公开不应被理解为限制它们在单独地特定实施例中的使用。此外，应当理解，本发明可以以各种方式被实现或实践，并且本发明可以在除了上面的描述中概述的实施例之外的某些实施例中实现。
本发明并不限于这些图或相应的描述。例如，流程不需要贯穿每个所示出的框或状态或以与所示和所述的完全相同的顺序移动。本文使用的技术和科学术语的含义应通常由本发明所属的领域中的普通技术人员理解，除非另有规定。虽然本发明关于有限数量的实施例被描述，但这些不应被解释为对本发明的范围的限制，但更确切地作为一些优选实施例的范例。其他可能的变化、修改和应用也在本发明的范围内。相应地，本发明的范围不应由迄今为止已经描述的内容而是由所附的权利要求及其法律等效物限制。

Claims (18)

1.一种将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的方法，所述方法包括：
由视频处理服务器接收包括多个帧的视频内容，其中所述多个帧中的每一个表示包括背景表面和感兴趣对象的场景；
由所述视频处理服务器为所述多个帧的帧子集的每个帧导出虚拟摄像机模型，所述虚拟摄像机模型将相应帧的每个像素与在所述场景中的与相应帧的像素相关联的真实世界地理位置相关联；
由所述视频处理服务器为所述帧子集的每一帧生成前景掩模，所述前景掩模包括与所述感兴趣对象相关的像素；
由所述视频处理服务器向所述多个观看者终端中的至少一些广播所述视频内容，其中所述帧子集的每一帧伴随有包括所述相应帧的虚拟摄像机模型和前景掩模的元数据；以及
在所述视频内容的所述帧子集的帧的至少部分中，由所述多个观看者终端中的至少一些使用所述相应帧的虚拟摄像机模型用与其观看者终端相关联的观看者特定图形内容的像素替换被包含在所述背景表面的至少一个预定内容插入区域内的所述相应帧中的除了由所述相应帧的前景掩模指示的像素以外的所有像素。
2.根据权利要求1所述的方法，还包括由所述视频处理服务器接收至少一个视频流，并且进一步基于其所述至少一个视频流来生成所述视频内容。
3.根据权利要求2所述的方法，还包括由所述视频处理服务器在直播事件设置中或者在体育赛事出现之后选择性地创建所述至少一个视频流的部分的组合和/或削减，以从而生成所述视频内容。
4.根据权利要求1-3中的任一项所述的方法，还包括由所述视频处理服务器基于生成相应的虚拟摄像机模型已被导出的帧的摄像机的物理参数导出虚拟摄像机模型的子集中的每一个。
5.根据权利要求4所述的方法，还包括由所述视频处理服务器使用下列项中的至少一个来确定相应摄像机的物理参数：位于所述摄像机上的传感器、计算机视觉方法和/或通过使用多个摄像机进行的所述场景的全景捕获。
6.根据权利要求1-5中的任一项所述的方法，还包括由所述视频处理服务器基于视频内容的所述多个帧中的包括与所述场景的所述背景表面相关的像素的至少一些帧来生成背景图像。
7.根据权利要求6所述的方法，还包括由所述视频处理服务器从所述视频内容的所述帧子集的每一帧减去所述背景图像，以产生前景掩模的相应子集。
8.根据权利要求1-5中的任一项所述的方法，还包括由所述视频处理服务器检测并移除在所述视频内容的所述帧子集的帧中的与所述背景表面相关的所有像素，以从而生成前景掩模图像的相应子集。
9.根据权利要求1-8中的任一项所述的方法，还包括由所述视频处理服务器接收所述内容插入区域作为输入，所述内容插入区域包括将用观看者特定内容替换的涉及在所述场景的所述背景表面上的真实世界地理位置的信息。
10.一种用于将观看者特定图形内容融合到被广播到多个观看者终端的视频内容中的系统，所述系统包括：
视频处理服务器，其被布置成：
接收包括多个帧的视频内容，其中所述多个帧中的每一个表示包括背景表面和感兴趣对象的场景；
为所述视频内容的所述多个帧的帧子集的每个帧导出虚拟摄像机模型，所述虚拟摄像机模型将相应帧的每个像素与在所述场景中的与其相应帧的像素相关联的真实世界地理位置相关联；
为所述帧子集的每一帧生成包括与所述感兴趣对象相关的像素的前景掩模；以及
向所述多个观看者终端中的至少一些广播所述视频内容，其中所述帧子集的每一帧伴随有包括所述相应帧的虚拟摄像机模型和前景掩模的元数据；以及
与所述视频处理服务器通信的多个观看者终端，其中所述多个观看者终端中的至少一些被布置成使用相应的虚拟摄像机模型在所述帧子集的帧的至少部分中用与其相应的观看者终端相关联的观看者特定图形内容的像素替换被包含在所述背景表面的预定内容插入区域内的所述相应帧中的除了由相应的前景掩模指示为与所述感兴趣的对象相关的像素以外的所有像素。
11.根据权利要求10所述的系统，还包括至少一个摄像机，所述至少一个摄像机指向所述场景并被布置成生成视频片段并将它的相应视频流传送到所述视频处理服务器，并且其中所述视频处理服务器还被布置成基于至少一个视频流来生成所述视频内容。
12.根据权利要求11所述的系统，其中所述视频处理服务器还被布置成在直播事件设置中或者在体育赛事出现之后选择性地创建所述至少一个视频流的部分的组合和/或削减，以从而生成所述视频内容。
13.根据权利要求10-12中的任一项所述的系统，其中所述视频处理服务器还被布置成基于生成相应的虚拟摄像机模型已被导出的帧的摄像机的物理参数来导出虚拟摄像机模型的子集中的每一个。
14.根据权利要求13所述的系统，其中所述视频处理服务器还被布置成使用下列项中的至少一个来确定相应摄像机的物理参数：位于所述摄像机上的传感器、计算机视觉方法和/或通过使用多个摄像机进行的所述场景的全景捕获。
15.根据权利要求10-14中的任一项所述的系统，其中所述视频处理服务器还被布置成基于视频内容的所述多个帧中的包括与所述场景的所述背景表面相关的像素的至少一些帧来生成背景图像。
16.根据权利要求15所述的系统，其中所述视频处理服务器还被布置成从所述视频内容的所述帧子集的每个帧减去所述背景图像，以产生前景掩模的相应子集。
17.根据权利要求10-14中的任一项所述的系统，其中所述视频处理服务器还被布置成检测并移除在所述视频内容的所述帧子集的帧中的与所述背景表面相关的所有像素，以从而生成前景掩模图像的相应子集。
18.根据权利要求10-17中的任一项所述的系统，其中所述视频处理服务器还被布置成接收所述内容插入区域作为输入，所述内容插入区域包括将用观看者特定内容替换的涉及在所述场景的所述背景表面上的真实世界地理位置的信息。
CN201880053397.7A 2017-06-27 2018-06-27 用于将用户特定内容融合到视频制作中的方法和系统 Active CN111357295B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762525221P 2017-06-27 2017-06-27
US62/525,221 2017-06-27
PCT/IL2018/050705 WO2019003227A2 (en) 2017-06-27 2018-06-27 METHOD AND SYSTEM FOR MERGING VIDEO-SPECIFIC CONTENT IN VIDEO PRODUCTION

Publications (2)

Publication Number Publication Date
CN111357295A CN111357295A (zh) 2020-06-30
CN111357295B true CN111357295B (zh) 2022-07-08

Family

ID=64741205

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880053397.7A Active CN111357295B (zh) 2017-06-27 2018-06-27 用于将用户特定内容融合到视频制作中的方法和系统

Country Status (7)

Country Link
US (1) US10863212B2 (zh)
EP (1) EP3646610A4 (zh)
JP (1) JP7303754B2 (zh)
CN (1) CN111357295B (zh)
CA (1) CA3068401A1 (zh)
IL (1) IL271661B (zh)
WO (1) WO2019003227A2 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3680811A1 (en) * 2019-01-10 2020-07-15 Mirriad Advertising PLC Visual object insertion classification for videos
GB201919027D0 (en) * 2019-12-20 2020-02-05 Move Ai Ltd Method of inserting an object into a sequence of images
CN111970575B (zh) * 2020-07-24 2022-08-05 网易（杭州）网络有限公司 一种虚拟礼物的处理方法、存储介质、处理器及电子设备
CN112866573B (zh) * 2021-01-13 2022-11-04 京东方科技集团股份有限公司 显示器、融合显示系统及图像处理方法
CN112911318B (zh) * 2021-01-15 2023-03-31 广州虎牙科技有限公司 直播间背景替换方法、装置、电子设备及存储介质
CN113807185B (zh) * 2021-08-18 2024-02-27 苏州涟漪信息科技有限公司 一种数据处理方法和装置
CN114302153B (zh) * 2021-11-25 2023-12-08 阿里巴巴达摩院(杭州)科技有限公司 视频播放方法及装置
CN114584797A (zh) * 2022-02-28 2022-06-03 北京字节跳动网络技术有限公司 直播画面的展示方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023477A (ja) * 2010-07-13 2012-02-02 Kddi Corp 広告情報の提示方式を変更するコンテンツ再生方法、コンテンツ配信装置、端末及びプログラム
CN103004227A (zh) * 2010-07-14 2013-03-27 阿尔卡特朗讯公司 从多个内容项生成复合视图的方法、服务器和终端
CN104870063A (zh) * 2012-11-16 2015-08-26 索尼电脑娱乐美国公司 用于云处理和叠加远程处理应用的流式视频帧上的内容的系统和方法
CN106165393A (zh) * 2014-04-03 2016-11-23 皮克索洛特公司 用于自动电视制作的方法和系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6100925A (en) 1996-11-27 2000-08-08 Princeton Video Image, Inc. Image insertion in video streams using a combination of physical sensors and pattern recognition
KR20010025404A (ko) * 2000-12-22 2001-04-06 유명현 카메라 동작 분석을 이용한 가상 광고 삽입 장치 및 방법
JP4185333B2 (ja) * 2001-09-07 2008-11-26 松下電器産業株式会社 映像配信装置および映像受信装置
PT1864505T (pt) * 2005-03-29 2020-05-18 Sportvu Ltd Rastreamento de objetos e captura de movimento em tempo real em eventos desportivos
GB2452510A (en) 2007-09-05 2009-03-11 Sony Corp System For Communicating A Three Dimensional Representation Of A Sporting Event
US8665374B2 (en) 2008-08-22 2014-03-04 Disney Enterprises, Inc. Interactive video insertions, and applications thereof
US8922718B2 (en) 2009-10-21 2014-12-30 Disney Enterprises, Inc. Key generation through spatial detection of dynamic objects
JP5567942B2 (ja) * 2010-08-30 2014-08-06 Ｋｄｄｉ株式会社 自由視点映像生成装置、自由視点映像システムにおいて広告を表示する方法及びプログラム
GB2489454A (en) 2011-03-29 2012-10-03 Sony Corp A method of annotating objects in a displayed image
US9001208B2 (en) * 2011-06-17 2015-04-07 Primax Electronics Ltd. Imaging sensor based multi-dimensional remote controller with multiple input mode
US10438633B2 (en) * 2013-05-26 2019-10-08 Pixellot Ltd. Method and system for low cost television production
US9639987B2 (en) * 2013-06-27 2017-05-02 Canon Information And Imaging Solutions, Inc. Devices, systems, and methods for generating proxy models for an enhanced scene

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012023477A (ja) * 2010-07-13 2012-02-02 Kddi Corp 広告情報の提示方式を変更するコンテンツ再生方法、コンテンツ配信装置、端末及びプログラム
CN103004227A (zh) * 2010-07-14 2013-03-27 阿尔卡特朗讯公司 从多个内容项生成复合视图的方法、服务器和终端
CN104870063A (zh) * 2012-11-16 2015-08-26 索尼电脑娱乐美国公司 用于云处理和叠加远程处理应用的流式视频帧上的内容的系统和方法
CN106165393A (zh) * 2014-04-03 2016-11-23 皮克索洛特公司 用于自动电视制作的方法和系统

Also Published As

Publication number Publication date
WO2019003227A2 (en) 2019-01-03
IL271661B (en) 2022-05-01
IL271661A (en) 2020-02-27
US20200120369A1 (en) 2020-04-16
JP7303754B2 (ja) 2023-07-05
CA3068401A1 (en) 2019-01-03
JP2020526125A (ja) 2020-08-27
EP3646610A2 (en) 2020-05-06
EP3646610A4 (en) 2020-11-11
WO2019003227A3 (en) 2019-08-01
CN111357295A (zh) 2020-06-30
US10863212B2 (en) 2020-12-08

Similar Documents

Publication Publication Date Title
CN111357295B (zh) 用于将用户特定内容融合到视频制作中的方法和系统
US11113887B2 (en) Generating three-dimensional content from two-dimensional images
EP3734545A1 (en) Method and apparatus for person super resolution from low resolution image
US6990681B2 (en) Enhancing broadcast of an event with synthetic scene using a depth map
CN106730815B (zh) 一种易实现的体感互动方法及系统
CN105765959B (zh) 用于制作视频作品的方法和系统
CN102257827B (zh) 从图像创建深度图
WO2020037881A1 (zh) 运动轨迹绘制方法、装置、设备和存储介质
JP6672305B2 (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
US20120057750A1 (en) System And Method For Data Assisted Chrom-Keying
KR20040014950A (ko) 화상 처리 장치 및 방법, 및 촬상 장치
US9154710B2 (en) Automatic camera identification from a multi-camera video stream
CN110270078B (zh) 足球比赛特效展示系统、方法及计算机装置
JP7476375B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN111711733A (zh) 一种直播方案仿真设计验证方法
Carrillo et al. Automatic football video production system with edge processing
Monji-Azad et al. An efficient augmented reality method for sports scene visualization from single moving camera
CN111709970B (zh) 一种智能直播仿真预演系统
WO2022236842A1 (zh) 一种广告置换或添加的处理方法及系统及装置
Inamoto et al. Fly-through viewpoint video system for multiview soccer movie using viewpoint interpolation
CN114979610A (zh) 用于3d场景重构的图像传输
Kim et al. Real catcher view image generation method for baseball contents
Malerczyk 3d-reconstruction of soccer scenes
CN117176935A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN116208806A (zh) 对视频的视觉包装方法、直播方法、系统及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant