CN106165393A - 用于自动电视制作的方法和系统 - Google Patents

用于自动电视制作的方法和系统 Download PDF

Info

Publication number
CN106165393A
CN106165393A CN201580018424.3A CN201580018424A CN106165393A CN 106165393 A CN106165393 A CN 106165393A CN 201580018424 A CN201580018424 A CN 201580018424A CN 106165393 A CN106165393 A CN 106165393A
Authority
CN
China
Prior art keywords
stream
frame
frame stream
scene
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201580018424.3A
Other languages
English (en)
Inventor
麦琪·塔米尔
盖尔·奥兹
塔尔·里德尼克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixellot Ltd
Original Assignee
Pixellot Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixellot Ltd filed Critical Pixellot Ltd
Priority to CN202110994061.4A priority Critical patent/CN113873174A/zh
Publication of CN106165393A publication Critical patent/CN106165393A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/067—Arrangements or circuits at the transmitter end
    • H04N5/073—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations
    • H04N5/0733—Arrangements or circuits at the transmitter end for mutually locking plural sources of synchronising signals, e.g. studios or relay stations for distributing synchronisation pulses to different TV cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Abstract

一种计算机化服务器自主产生在一个场景中的体育比赛的电视节目的方法。所述方法包括：从多个摄像机接收所述场景的视频图像流以捕捉所述场景的全景图，对所述视频图像流进行分析以允许定义多个帧流，因此确定所述帧流的位置数据，以及利用使所述场景的所述全景图的相应部分成像的图像来呈现活动帧流。所述方法还包括：传输，以广播使所述全景图的所述相应部分成像的图像帧流。所述对所述视频图像流进行分析的步骤包括：识别运动对象，追踪所述运动对象，以及识别运动员。所述方法还包括使用在所述运动场中的点来校准所述摄像机。所述方法可以包括：对所述视频图像流进行分析以识别所述场景中的事件以在所述活动帧流与不同帧流之间进行切换。同样，所述方法可以包括：根据所述活动帧流的位置数据将有向传感器引导至感兴趣区域。

Description

用于自动电视制作的方法和系统
相关申请的交叉引用
本申请有关于并主张在2014年4月3日提交的美国临时申请案第61/974460号的优先权，标题名称为“用于自动电视制作的方法和系统”，其全部内容通过引用包含于此。
【技术领域】
本公开的主题涉及用于自动户外电视制作的方法和系统。具体地，本公开涉及体育赛事的电视制作。
【背景技术】
体育的电视转播正向过去未被涵盖的体育赛事延伸。传统电视制作是基于在现场的由多个摄像师操作的多个摄像机、以及在任何一个时间选择一个摄像机进行查看的导演。然而，包括大型团队和多个摄像机的这种全场制作的成本不允许高质量的电视转播。另一方面，家庭观众期望全面的电视转播节目，包括事件的部分的重播。可以通过自动化流程来替代制作中所涉及的一些或者全部的手动流程，来降低制作成本。
【发明内容】
本发明是基于部署在现场或者接近现场的服务器对摄像机进行的全自动操作。多个摄像机捕捉运动场的全景图。服务器使用捕捉到的图像来操作虚拟摄像机，例如，主摄像机“摄像机1”，从而替代摄像师。服务器也在虚拟摄像机之间进行切换。另外，服务器使用也部署在现场的有向传感器。
本发明提供了一种产生视频场景的计算机实现的方法。该方法包括：从多个摄像机接收场景的视频图像流，以捕捉场景的全景图；对视频图像流进行分析；以及根据该分析确定帧流的位置数据。该方法还包括：基于位置数据，利用与场景的全景图的一部分对应的图像，来呈现一个或者多个帧流中的活动帧流。因此，该方法使能传输，以广播与全景图的相应部分对应的呈现的图像帧流。对图像进行分析的步骤包括：识别在视频图像流中的主要对象；追踪主要对象；以及识别与主要对象相关联的至少一个次要对象。
在一些实施例中，该方法包括：使用在运动场中的点来校准摄像机。示例性点是运动场的角落、两条场线的交叉点、11米的点球点、部署在运动场中并且具有由一个或者多个晶洞装置确定的位置的信标点、和休息区相关点。
在一些实施例中，参数集通过与位置、数字缩放和时间相关的参数来定义帧流。位置参数包括左角、右角、底角、顶角、中央角坐标、中央位置坐标、纵横比和帧宽度。缩放参数是固定缩放参数、定义了缩放参数对时间戳的依赖性的等式、和缩放参数相对于时间戳的表格。时间参数包括当前时间标记、开始时间戳、最终时间戳、帧率和分辨率参数。优选地，帧宽度是，例如，通过以下参数而确定的：预定宽度、在帧中的运动员的预定数量、与超出运动场边界相关的禁止标记、以及与将关键静态对象包括在帧中相关的需求标记。
在一些实施例中，该方法包括：在失去主要对象时，根据前球位置估计占据运动对象的区域；以及将帧流修改为包括该区域。
在一些实施例中，该方法包括：通过鉴于某个时间之前的主要对象轨道估计主要对象存在的可能性，来验证在某个时间对在某个位置中的运动对象所进行的识别。
在一些示例中，该方法包括：根据诸如运动对象位置和运动员位置的质心的变量来确定帧中心。
在一些实施例中，该方法包括：对运动对象轨道进行平滑处理；以及根据平滑处理后的运动对象轨道来确定中心帧，从而防止帧中心轨道的不平稳移动。
在一些实施例中，该方法包括：识别在篮球比赛中的快攻；估计球速；以及根据球速选择阻挡运动员组的帧的位置。在快球的情况下选择快攻的正面，并且在慢工的情况下选择其背面。
在一些实施例中，帧是由阻挡运动员的预定部分的矩形确定。
本发明还提供了一种计算机化服务器自主产生在一个场景中的体育比赛的电视节目的方法。该方法包括：从多个摄像机接收场景的视频图像流，以捕捉场景的全景图；提供定义出相应多个帧流的多个参数集；以及根据预定规则选择初始活动帧流。该方法进一步包括：根据选择的帧流的相应参数集，利用与视频场景的全景图的相应部分对应的图像，来呈现活动帧流。因此，该方法使能传输，以广播与全景图的相应部分对应的呈现的图像帧流。该方法还包括：对视频图像流进行分析以识别所述场景中的事件，以用于在活动帧流与不同帧流之间进行切换。
在一些实施例中，所有帧流大部分时间都不具有呈现的图像，更不用说活动帧流。
示例性事件是比赛开始、比赛结束、比赛休息、暂停开始、暂停结束、11米点球、休息结束、越位、角球、任意球和掷界外球。事件可以是发生事件或者预期会发生的事件中的任何一个事件。在一些实施例中，相应多个帧流与相应视图相关联。示例性视图是宽运动对象视图、窄运动对象视图、两个固定球门视图、两个固定篮筐视图、多个固定观众视图、多个重播视图、和移动摄像机视图。优选地，通过在至少一个预定时间段内将运动对象速度降低到低于预定值的速度，来用与窄运动对象视图相关联的帧流来替代与宽运动对象视图相关联的帧流。也可以通过等待识别到的比赛情况的静态运动对象的事件来触发替代。
在一些实施例中，该方法包括：切换至重播帧流以呈现识别到的事件的重播。
另外，本发明提供了一种计算机化服务器自主产生在一个场景中的体育比赛的电视节目的方法。该方法包括：从多个摄像机接收场景的视频图像流，以捕捉场景的全景图；以及根据预定规则并且根据视频图像流的分析，通过位置数据来定义多个帧流。该方法进一步包括：根据预定程序并且根据视频图像流的分析，来选择活动帧；以及根据活动帧流的位置数据将有向传感器引导至感兴趣的区域。
在一些实施例中，该方法包括：利用与场景的全景图的相应部分对应的图像来呈现活动帧流；以及传输，以广播呈现的图像帧流。
在一些实施例中，该方法包括：对视频图像流进行分析以允许定义帧流。
在一些实施例中，该方法包括：根据预定标准对视频图像流进行分析，该标准描述在场景中的情况的特征；识别发生在感兴趣区域中的情况，该情况的特征在于标准；以及触发与有向传感器相关的动作。示例性动作是：使用有向传感器来捕捉信号以及广播捕捉到的信号。
在一些实施例中，该方法包括：参考场景来校准平移倾斜变焦(PTZ)摄像机，以允许根据位置数据将PTZ摄像机引导至感兴趣区域。优选地，该方法包括：当同时指向在场景中的两个或者两个以上的点时，校准PTZ摄像机的平移和倾斜角度。优选地，该方法包括：将PTZ摄像机引导至感兴趣区域以捕捉其视频信号。
在一些实施例中，该方法包括：将有向麦克风引导至感兴趣区域并且记录其生成的音频信号。优选地，该方法进一步包括：选择其生成的音频信号，以作为与活动帧流相关联的广播图像流的音频信号进行广播。
【附图说明】
如本发明所述的标的物，特别在说明书的结论部分指出及清楚的要求保护。然而，本发明的两者，如操作系统或操作方法，其中共同的特征及优点，当结合附图及说明通过参照依照以下的细节描述能够有最好的了解，其中：
图1a是自动电视制作系统的框图；
图1b示出了配备有捕捉用于自动电视制作的图像和音频信号的多个传感器的足球运动场；
图2a是用于自动电视制作的方法的流程图；
图2b是在用于自动电视制作的方法中的对象步骤的流程图；
图3是在自动电视制作时在帧流之间进行自动切换的方法的流程图；以及
图4是用于通过有向传感器增强自动电视制作的方法的流程图。
【具体实施方式】
本发明将以特定实施例的进行描述。应当理解的是，本发明并不限定在所公开的实施例中。还应当理解的是，不是所述方法及系统的每一个特征都需要由本发明实现，如所要求的附属权利要求的任何特定一个。所描述的装置的各种组件及特征被完全适应于本发明。还应当理解的是，通过所公开的内容，其中一方法被显示或描述。所述方法的步骤可依照任何顺序或同时执行，除非是从内容中清楚知道一步骤依赖另一先执行的步骤。
在详细说明本发明的几个实施例之前，应当理解的是，本发明并不局限于以下描述或附图中显示的构造细节及组件配置的应用说明。本发明能够以其它实施例进行，或以各种方式实施。此外，要理解的是，本文使用的措辞及用语是为了描述的目的，而不应被限制。
除非另有定义，本文所用的所有技术和科学用语具有相同的含义，是由普通技术人员对本发明所属领域中通常理解的。本文提供的所述系统，方法及实施例仅用于说明，不用于限制。
在本发明申请的说明书及权利要求中，每一个动词包含(comprise，include，have)及其结合被使用于指示动词的对象不需要是完整的构件，组件，元件或主体的部分，或动词的主体。
定义
术语“视场(field of view,下文称为FOV)”和“感兴趣区域(region ofinterest)”在本公开被使用来描述在所制作的电视节目的观众的潜在感兴趣场景中的期望区域。
“全景图(panoramic view)”是包括运动场和观众的整个场景的宽角度视场。
“帧(frame)”是限定出用于广播的期望感兴趣区域的矩形，作为全景图的部分。
“帧流(frame stream)”是在某个限制或者非限制时间期限内限定出全景图的固定或者变化部分的位置数据和时间数据的数据记录。当帧流不是直播或者不活动时，通常没有图像。因此，存储帧流所需的计算机存储器的大小相对于活动帧的相应图像流是极小的。
“图像流(image stream)”由一个或者多个真实摄像机或者虚拟摄像机提供。
“虚拟摄像机(virtual camera)”是在激活时利用全景图的一部分的图像来呈现的帧流。
本公开是对在标题为“METHOD AND SYSTEM FOR LOW COST TELEVISIONPRODUCTION”的国际公开第WO 2014/191990号中描述的远程代理视频制作发明的补充，该国际公开的公开内容以引用的方式全部并入本文。
现在参照图1a，描述了一种用于低成本自动电视制作的系统100，该系统100包括：在场地105中的数据服务器115、捕捉运动比赛的运动场的全景图的多个传感器、以及广播电视制作的设施。在下文中，描述了操作虚拟摄像机(例如，主摄像机“摄像机1”)从而替代摄像师的方法。因此，概述了一种用于在虚拟摄像机之间进行切换的自动方法。最后，描述了一种通过使用有向传感器进行自动电视制作的增强方法。
虚拟摄像机的自动操作(图1a、图1b、图2a、图2b)
在图1a的场地100和图1b的场景155中示出了用于自动电视制作的系统。在场景155中，三个固定摄像机110、111和112结合以捕捉所选择的位置(例如，诸如足球场160等运动场)的全景图131。另外，可以将平移倾斜变焦(下文称为PTZ)摄像机115从不同方向引导至运动场中的感兴趣区域(ROI)，例如，ROI 180。因此，PTZ摄像机115可以提供发生在运动场中的事件的真实特写。同样，有向麦克风117可以与运动场中的ROI(在图1b的示例中是ROI 180)对齐以捕捉其生成的音频信号，如运动员176和179的喊叫声。
使摄像机110、111和112帧同步。每个摄像头正在捕捉场景155的某个区域的视频图像。针对每个摄像机调整镜头以完全覆盖该区域。可选地，通过结合仿真技术，可以使用对场地进行最佳覆盖的方法，该场地由具有各种焦距的透镜和具有不同数量和大小的水平和垂直像素的摄像机组成。通常，邻近的(相邻的)摄像机具有重叠的覆盖区域。
摄像机110、111和112可以是CMOS(互补金属氧化物半导体)摄像机或者CCD(半导体电荷耦合器件)摄像机。每个摄像机可以由单个或者多个成像器(例如，三个成像器)组成。优选地，摄像机是工业级别的。摄像机的数据输出格式可以是GigE、USB 3.0、摄像机链路、HD-SDI、或者可用于这种摄像机的任何其它格式。
尽管单个广角摄像机111是捕捉场景的唯一传感器，其也可以提供全景图。
如图1a所示，传感器110至112、116和117正在与场地服务器115的传感器接口120通信，该传感器接口120又经由输出格式化模块135供给广播设施142或者网络广播设施145。可以经由光纤或者任何其它有线或者无线通信系统来完成从摄像机110-112到数据服务器115的数据传输。在优选实施例中，摄像机110-112具有GigE输出和网络交换机，该网络交换机具有用于将数据传送至数据服务器115的光纤光缆。还可以通过使用万维网来传送摄像机数据。
场地服务器115包括以下模块：
抓取摄像机数据并且对该摄像机数据进行初始处理的传感器接口120。该初始处理可以由摄像机光度和几何校准以及图像变换和图像增强过程(诸如，高通滤波和色彩校正)组成。在比赛期间，优选地频繁重复光度校准过程。通常，每隔几秒重复一次光度校准过程，但是，原则上，每隔一帧就可以进行光度校准过程，或者在整个比赛期间根本不进行光度校准过程。也可以用摄像机110-112或者用活动帧填充模块130来进行该初始处理。
图像记录器122存储由传感器接口120获取到的数据的至少一部分。记录器122由硬盘、闪存模块、或者用于海量快速数据存储的任何其它装置组成。记录器122存储用于现场制作、用于重播、用于后期制作、以及用于其它应用的数据。
分析模块125对从传感器接口120接收到的图像进行分析以“解读”捕捉到的比赛，通过供给帧流数据库140来使帧流对齐，确定活动帧流，并且切换至由下述有向传感器116和117捕捉到的信号。模块125还校准传感器110-112和117，并且将校准数据存储在传感器校准数据库150中。
帧流数据库140存储参数集或者数据记录，该参数集或者该数据记录中的每一个通过与位置、缩放和时间相关的参数来定义帧流。数据库140是真实导演用来监督、控制主摄像机、固定摄像机、重播机器等并且在其间进行切换的分区屏幕或者视频监视器阵列的虚拟等效物。参数集充分地定义帧流，从而使得，一旦分析模块125决定直播运行相应的帧流，模块130就能够用图像来填充该帧流。
活动帧流填充模块130检索来自图像记录器122的获取到的数据，并且对获取到的数据进行像素操作，诸如，几何图像对齐、像差校正、光晕校正、对齐、拼接区域混合、“最大差异”拼接线绘制、和各种图像滤波操作。模块130发送由分析模块125确定的填充活动帧流的帧的像素矩阵。该处理是针对每个帧进行的。呈现的图像帧的特征在于在邻近的原始图像之间的不可感知的或者无缝的边界。为此，将拼接线从世界坐标系转换为摄像机坐标系以指定在帧中或者接近该帧的线。然后，使用校准参数来使属于邻近的视频摄像机的像素几何对齐。同样，根据离拼接线的距离来混合在属于邻近的摄像机的拼接区域中的像素对。另外，校正属于不同摄像机的像素的色强，并且调节整个图像帧的色调、饱和度、强度和伽马值。
输出格式化模块135根据所需的视频标准使图像帧流格式化，并且通过使用卫星、电缆或者任何其它广播传输方法来将其发送至电视台演播室142或者直接发送至电视观众。现在越来越受欢迎的附加目的地是允许用户通过互联网观看流式呈现的网络广播媒体145。也可以直接地或者经由云服务器将信号引导至单独的网络客户端、家庭用户。
现在参照图2a的流程图，示出了用于自动视频制作的方法200。在比赛之前，在步骤210中，服务器115使用在运动场160中的点来校准摄像机110-112和PTZ摄像机116。示例性点是足球场160的角落162和164、两条场线172的交叉点、11米的点球点183、部署在运动场中并且具有由晶洞装置确定的位置的信标点、以及休息区相关点。将校准数据存储在传感器校准数据库150中。
本领域中已知的摄像机的校准数据和几何计算用于两种任务。首先，将从摄像机接收到的图像彼此相关联，诸如，以定义全景图。其次，将帧流的位置数据与全景图的角坐标或者笛卡尔坐标相关。
服务器115在体育比赛的传统电视制作中将帧流用作虚拟摄像机(与真实摄像机相对)。将帧流存储在帧流数据库140中的相应参数集或者数据记录中。参数集通过与位置、缩放和时间相关的参数来定义帧流。
典型位置参数包括左角、右角、底角、顶角、中央角坐标、中央位置坐标、纵横比、帧宽度和分辨率参数。纵横比可以具有固定值16:9。
典型缩放参数是固定缩放参数、定义了缩放参数对时间戳的依赖性的等式的参数、和在缩放参数相对于时间戳的表格中的值。缩放值用于在没有任何真实缩放能力的的情况下，使用由可以是固定摄像机的摄像机110-112捕捉到的图像，来对全景图进行数字缩放。
典型时间参数是当前时间标记、开始时间戳、最终时间戳和帧率。正当前时间标记指示帧流尽可能地遵循真实时间。
帧宽度可以是固定摄像机(如球门或者篮筐摄像机)的预定固定宽度。对于其它帧流，帧宽度满足特定条件。一个示例性条件是在帧中存在预定数量的运动员。另一示例性条件是帧不会超出运动场边界。第三示例性条件是在帧中包括关键静态对象(如，球门170或者篮筐)。
在步骤215中，传感器接口120从摄像机110-112接收运动场160的视频图像流，从而获取其全景图。在步骤220中，分析模块125对视频图像流进行分析以允许定义多个帧流。因此，在步骤225中，分析模块125确定帧流的位置、缩放和时间参数，并且将它们存储在帧流数据库140中。在步骤230中，模块130利用与场景的全景图的相应部分对应的图像来呈现活动帧流。
例如，活动帧流可以是唯一的帧流(与“摄像机1”相对)。在这种情况下，所产生的制作与具有在低联赛中捕捉场景155的单个真实摄像师相同。在其它情况下，主虚拟摄像机(“摄像机1”)通常生成宽FOV，该宽FOV通常包括运动场的三分之一。“摄像机2”帧流提供球附近的紧缩图。存在提供关于运动员组或者单独的运动员的特写图的其它虚拟摄像机。因此，存在多个帧流并且所执行的分析为大多数帧流确定参数集，而只有一个帧流是具有呈现的图像的活动帧流。在下一部分中进一步讨论活动帧流的选择和帧流之间的切换。
活动帧填充模块130调节由摄像机110-112捕捉到的图像的色彩和亮度，这有助于对活动帧流的呈现，并且在源自不同摄像机的图像之间从世界坐标系转换为摄像机坐标系。另外，模块130对在囊括了拼接线的拼接区域中的像素进行混合，并且使用在现有技术中已知的用于校准和对齐由多个摄像机捕捉到的图像的方法中的一种方法来使不同摄像机110-112的输出几何对齐。
在步骤230中，输出格式化模块135使呈现的图像帧流格式化以进行广播或者网络广播，并且将所产生的流传送至广播设施142或者网络广播设施145。
现在参照图2b，提出了一种用于与运动场160中的对象相关的动作的方法250。该方法包括：识别诸如球172等主要对象的步骤255、追踪对象172的步骤258、识别与球172相关联的运动员176和178的步骤260、以及在失去球时估计占据球的区域的步骤265。
换言之，贯穿整个比赛，使用用于创建表示相应运动员的斑点的动态背景减除法，来检测和追踪球172以及运动员176和178。例如，在Marty等人提交的美国公开第2008/0312010号中和在Birnboim等人提交的美国公开第2011/0267461号中公开了体育比赛中的自动球追踪。例如，在Tamir和Wilf提交的美国公开第2012/0013711号中公开了运动员识别。在Ariki和Takiguchi 2010年提交的标题为“Digital Camera Work for Soccer VideoProduction with Event Detection and Accurate Ball Tracking by SwitchingSearch Method”的第10章中由K.Nishi编辑的“Multimedia”中讨论了事件检测和球追踪。如果仅仅从一个方向捕捉到球，则球轨道或者轨迹可能是二维的，或者如果从两个方向捕捉到球，则球轨道或者轨迹可能是三维的。
在步骤270中，分析模块125对帧流进行修改，从而使“摄像机1”帧包括占据球的区域。优选地，可以确定帧中心，诸如，以跟随球位置或者跟随运动员位置的质心。在步骤275中，为了防止帧中心的不平稳移动，分析模块125对球轨道进行平滑处理。因此，在步骤280中，模块125根据平滑处理后的球轨道确定中心帧。
优选地，在步骤285中，模块125通过鉴于某个时间之前的球轨道估计球172存在的可能性，来验证在某个时间对在某个位置中的球172所进行的识别。
每当捕捉到的比赛是篮球时，可以执行步骤283、285和290。首先，模块125识别快攻，然后估计球172的速度，并且最后根据球速度选择阻挡处理球172的运动员组的帧的位置。在快球的情况下选择快攻的正面，并且在慢攻的情况下选择其背面。
在步骤295中，模块125通过经由矩形阻挡运动员176和178的预定部分来确定帧流的参数集。优选地，在某些比赛中，将大多数运动员176或者所有运动员176都包括在“摄像机1”的帧流中。有时候，将至少三个或者五个运动员178包括在帧流中。
自动导演实施例(图1a、图1b、图3)
图3概述了用于在体育比赛的自动电视制作中在帧流之间进行自动切换的方法300的流程图。如上所述，服务器115在体育比赛的传统电视制作中将帧流用作虚拟摄像机(与真实摄像机对应)。将帧流存储在帧流数据库140中的相应参数集或者数据记录中。如上面详细描述的，参数集通过与位置、缩放和时间相关的参数来定义帧流。首先，在步骤320中，针对多个帧流将默认值或者初步值存储在帧流数据库140中。例如，当比赛开始时，可以将“摄像机1”帧流的中心最初设置为球位置。
将帧流与相应视图相关联。示例性视图是宽球视图“摄像机1”、窄球视图“摄像机2”、两个固定球门视图、两个固定篮筐视图、多个固定观众视图、多个重播视图、和移动摄像机视图。
在步骤215中，传感器接口120从摄像机110-112接收运动场160的视频图像流，从而获取其全景图。
在步骤330中，模块125根据预定规则选择初始活动帧。示例性规则在于初始帧流是“摄像机1”帧流。在步骤230中，模块130利用使场景155的全景图的相应部分成像的图像来呈现活动帧流。
在步骤350中，分析模块125对视频图像流进行分析，以试图识别触发在活动帧流与不同帧流之间进行切换的事件。事件识别是基于运动员和球识别并且是基于对典型游戏情况的熟悉度。在足球赛中，例如，将掷界外球事件识别为运动员带着举过头部的球正站在边线的情况。因此，在步骤360中，模块125用不同帧流替代活动帧流。如果球172当前正处于目标区域中或者如果球172正在缓慢移动并且运动员176和178在球172周围发生拥挤，模块125也使用体育类拍摄规则。如果球是静止的并且存在接近其的单个运动员，模块125也可以决定从“摄像机1”或者“摄像机2”切换至特写图。
所有帧流都不具有呈现的图像，更不用说活动帧流。然而，帧流之间的过渡可以逐步发生，从而同时呈现两个帧流，其中，当新的一个帧流接管时，旧的一个帧流便会淡出。如同擦除一样的其它过渡效果也是可能的。模块125根据预定程序选择期望的过渡。在过渡的短时间内，可以利用图像来同时呈现两个帧流。
由模块125识别到的示例性事件是比赛开始、比赛结束、比赛休息、暂停开始、暂停结束、11米点球、休息结束、越位、角球、任意球和掷界外球。识别到的事件可以是发生事件或者预期会发生的事件中的任何一个事件。
例如，一旦球速在至少一段预定时间内降低到低于预定值的速度，就用“摄像机2”帧流来替代“摄像机1”帧流。典型预定速度值是每小时5、8、10、12和15千米。典型预定时间段是4、6、7和10秒。可替代地，模块125识别球172是完全静止的以为如角球一样的识别到的比赛情况做准备。
一旦识别到如进球一样的重大事件，模块125将活动帧流切换至重播帧流，以呈现识别到的事件的特写慢速重播，在此之后，将活动帧流切换回至“摄像机1”帧流。在这种情况下，例如，当帧率是常规帧率的三分之一时，重播帧流的开始时间戳是球门球之前的几秒钟，并且最终时间戳是进球之后的几秒钟。
活动帧流之间的过渡发生在任意时间点。通常，一旦选择了活动帧流，其就会保持直播直到做出进一步选择。有时候，如在重播帧流的情况下一样，其根据最终时间戳结束并且根据预定规则选择其它帧流作为活动帧流。例如，规则可以确定重播的结束，“摄像机1”帧流再次成为活动帧流。
利用有向传感器的自动电视制作(图1a、图1b、图4)
体育赛事制作人需要从不只一个角度捕捉事件。利用仅仅一个摄像机阵列，所提出的系统可以具有仅仅一个角度。当然，可以使用多个摄像机阵列，每个摄像机阵列位于场地中的独一无二的位置中。例如，在足球比赛中，制作团队可以决定使用三个摄像头，并且将第一个摄像头部署在中场位置中并且将另外两个摄像头部署在相应的两个球门后面以覆盖相应的守门员。多角度配置的更好的实施例是基于单个摄像头或者摄像机阵列，该摄像机阵列由覆盖运动场的多个固定摄像机和具有安装在遥控平移和倾斜单元上的自动遥控变焦镜头的摄像机组成。存在可以用于本申请的许多商业平移/倾斜/变焦(PTZ)摄像机，仅作为示例，松下WV-SC385PTZ网络摄像机。
自动声音捕捉装置也可以覆盖比赛。为此，将有向麦克风117安装在遥控平移和倾斜单元上。可以使麦克风117从属于与某个帧流兼容的FOV坐标系以覆盖与声音捕捉可能是有利的情况相关的运动员或者运动员组。这种情况可以是，例如，两个争吵的运动员或者裁判朝其中一个运动员吼叫。示例性有向麦克风是抛物线麦克风、平面有向麦克风、具有行波的麦克风、和压差麦克风。本领域已知的这些麦克风提供了用于捕捉在运动场的部分中生成的音频信号的方向性和敏感性。
现在参照图4，描述了计算机化服务器自主产生在视频场景中的体育比赛的电视节目的方法400的流程图，而通过使用除了固定摄像机之外的有向传感器来增强该方法。
服务器115通过使用传感器接口120来控制平移倾斜变焦(PTZ)摄像机116和有向麦克风117。有向麦克风117设置在可对齐的双轴线底座上。在比赛开始之前，在步骤210中，分析模块125参考场景来校准PTZ摄像机116，以允许根据帧流的位置数据将其引导至感兴趣区域。优选地，在场景中的多个点上指出PTZ摄像机的平移和倾斜角度，并且将校准数据存储在传感器校准数据库150中。使用存储的校准数据来根据帧流的位置数据对齐PTZ摄像机116。
随后，在步骤215中，传感器接口120从摄像机110-112接收运动场160的视频图像流，从而获取其全景图。因此，在步骤225中，分析模块125确定帧流的位置、缩放和时间参数，并且将它们存储在帧流数据库140中。在步骤330中，模块125根据预定规则并且根据图像的分析来选择初始活动帧。在步骤230中，模块130利用使场景155的全景图的相应部分成像的图像来呈现活动帧流，并且，在步骤235中，广播呈现的图像流。
在步骤430中，模块125根据活动帧流的位置数据将有向传感器116或者117引导至感兴趣区域。同样，在步骤350中，模块125根据以发生在场景中的情况为特征的预定标准来分析视频图像流。因此，在步骤440中，模块125识别发生在感兴趣区域中的情况，该情况的特征由一适当的标准描述，并且触发与有向传感器相关的动作。在动作450中，有向传感器116或者117捕捉信号，并且，在动作460中，服务器115广播捕捉到的信号。
也就是说，模块125将PTZ摄像机116引导至感兴趣区域以捕捉其视频信号，并且根据识别到的情况，在直播中用捕捉到的信号来替代活动帧流片刻。例如，如果识别到的情况要求比数字地使用帧流的数字变焦能力可用的变焦更大的变焦，那么有向PTZ摄像机116可以提供期望的放大真实变焦能力。
模块125可以将有向麦克风117引导至感兴趣区域并且记录其生成的音频信号。模块125可以选择该音频信号来进行广播，作为呈现至活动帧流的广播的视觉图像帧的音频信号。
虽然本发明已经结合其具体实施方案进行了描述，但很明显的，许多替换、修改及变化将对本领域技术人员是明显的。因此，其意在涵盖落入所依附权利要求的精神和范围内的所有此类替换、修改及变型。特别是，本发明不以任何方式局限所描述的实施例。

Claims (27)

1.一种用于产生视频场景的计算机实现的方法，其包括：
(a)从一个或者多个摄像机接收所述场景的视频图像流，所述一个或者多个摄像机配置为捕捉所述场景的全景图；
(b)对所述视频图像流进行分析，其至少包括：
(I)识别在所述视频图像流中的主要对象；
(II)追踪所述主要对象；以及
(III)识别与所述主要对象相关联的至少一个次要对象；
(c)根据所述分析确定一个或者多个帧流的至少位置数据；以及
(d)基于所述位置数据，利用与所述场景的所述全景图的一部分对应的图像，来呈现所述一个或者多个帧流的一活动帧流；
从而使能传输，以广播使所述全景图的所述对应部分成像的所述呈现的图像帧流。
2.根据权利要求1所述的方法，其中，所述方法进一步包括：传输，以广播与所述全景图的所述相应部分对应的所述呈现的帧流。
3.根据权利要求1所述的方法，其中，所述方法进一步包括：使用在所述视频场景中的运动场中的点来校准所述一个或者多个摄像机，所述点选自由以下点所组成的点组：
(i)所述运动场的角落；
(ii)两条场线的交叉点；
(iii)11米的点球点；
(iv)部署在所述运动场中并且具有由一个或者多个晶洞装置确定的位置的信标点；以及
(v)休息区相关点。
4.根据权利要求1所述的方法，其中，一参数集通过选自由以下参数所组成的参数组中的三个或者三个以上的参数来定义所述一个或者多个帧流中的帧流：左角、右角、底角、顶角、中央角坐标、中央位置坐标、纵横比、帧宽度、当前时间标记、开始时间戳、最终时间戳、帧率、分辨率参数、固定缩放参数、定义了缩放参数对时间戳的依赖性的等式、和缩放参数相对于时间戳的表格。
5.根据权利要求4所述的方法，其中，所述帧宽度是通过由以下参数所组成的参数组的至少一个参数而确定的：预定宽度、在所述帧中的运动员的预定数量、与超出运动场边界相关的禁止标记、以及与将关键静态对象包括在所述帧中相关的需求标记。
6.根据权利要求1所述的方法，其中，所述方法包括：
(A)在失去所述主要对象时，根据前球位置估计占据所述运动对象的区域；以及
(B)将所述一个或者多个帧流中的帧流修改为包括占据所述主要对象的所述区域。
7.根据权利要求1所述的方法，其中，所述方法包括：通过鉴于某个时间之前的主要对象轨道估计主要对象存在的可能性，来验证在所述某个时间对在某个位置中的所述运动对象所进行的识别。
8.根据权利要求1所述的方法，其中，所述方法包括：根据选自由以下变量所组成的变量组的至少一个变量来确定帧中心：运动对象位置和运动员位置的质心。
9.根据权利要求1所述的方法，其中，所述方法包括：
(A)对运动对象轨道进行平滑处理；
(B)根据平滑处理后的运动对象轨道来确定中心帧，从而防止帧中心轨道的不平稳移动。
10.根据权利要求1所述的方法，其中，所述方法包括：
(I)识别在篮球比赛中的快攻；
(II)估计运动对象速度；以及
(III)根据所述运动对象速度确定阻挡在所述快攻正面或者在其背面的运动员组的帧位置。
11.根据权利要求1所述的方法，其中，所述方法包括：使用阻挡所述运动员的预定部分的矩形来确定至少一个帧流的帧。
12.一种计算机化服务器自主产生在视频场景中的体育比赛的电视节目的方法，所述方法包括：
(a)从一个或者多个摄像机接收所述场景的视频图像流，所述一个或者多个摄像机配置为捕捉所述场景的全景图；
(b)提供定义出相应多个帧流的多个参数集；
(c)根据预定规则从所述多个帧流中选择初始活动帧流作为活动帧流；
(d)根据所述选择的帧流的所述相应参数集，利用与所述视频场景的全景图的相应部分对应的图像，来呈现所述活动帧流，从而使能传输，以广播与所述全景图的所述相应部分对应的所述呈现的图像帧流；
(e)对所述视频图像帧流进行分析以识别在所述场景中的事件，所述事件充当用于在所述活动帧流与选自所述多个帧流的一个不同帧流之间进行切换的触发器；
以及
(f)用所述不同帧流来替代所述活动帧流。
13.根据权利要求12所述的方法，其中，除了所述活动帧流之外，所有帧流在比赛的大部分时间都不具有呈现的图像。
14.根据权利要求12所述的方法，其中，所述事件选自由以下事件所组成的事件组：比赛开始、比赛结束、比赛休息、暂停开始、暂停结束、11米点球、休息结束、越位、角球、任意球和掷界外球。
15.根据权利要求12所述的方法，其中，所述事件选自发生事件和预期会发生的事件。
16.根据权利要求12所述的方法，其中，所述相应多个帧流与相应视图相关联，至少一个相应视图选自由以下视图所组成的视图组：宽运动对象视图、窄运动对象视图、两个固定球门视图、两个固定篮筐视图、一个或者多个固定观众视图、一个或者多个重播视图、和移动摄像机视图。
17.根据权利要求12所述的方法，其中，所述事件触发用与窄运动对象视图相关联的帧流来替代与宽运动对象视图相关联的帧流，所述事件选自由以下事件所组成的事件组：
(A)在至少一个预定时间段内，运动对象速度降低到低于预定值的速度；以及
(B)静态运动对象先于识别到的比赛情况。
18.根据权利要求12所述的方法，其中，所述方法包括：切换至重播帧流以呈现识别到的事件的重播。
19.一种计算机化服务器自主产生在场景中的体育比赛的电视节目的方法，所述方法包括：
(a)从一个或者多个摄像机接收所述场景的视频图像流，所述一个或者多个摄像机配置为捕捉所述场景的全景图；
(b)根据预定规则并且根据所述视频图像流的分析，通过至少位置数据来定义一个或者多个帧流；
(c)根据预定程序并且根据所述视频图像流的分析，来选择所述一个或者多个帧流中的活动帧；以及
(d)根据所述活动帧流的位置数据将有向传感器引导至感兴趣的区域。
20.根据权利要求19所述的方法，其中，所述方法进一步包括：
(e)利用与所述场景的所述全景图的相应部分对应的图像来呈现所述一个或者多个帧流中的活动帧流；
(f)传输，以广播与所述全景图的所述相应部分对应的所述呈现的图像帧流。
21.根据权利要求19所述的方法，其中，所述方法进一步包括：
(g)对所述视频图像流进行分析以允许定义一个或者多个帧流，所述分析至少包括：
(I)识别运动对象；
(II)追踪所述运动对象；以及
(III)识别至少大部分的运动员，包括与所述运动对象相关联的至少一个运动员。
22.根据权利要求19所述的方法，其中，所述方法包括：
(f)根据一个或者多个预定标准对所述视频图像流进行分析，所述标准描述在所述场景中的一个或者多个情况的特征；
(g)识别发生在所述感兴趣区域中的情况，所述情况的特征由所述一个或者多个预定标准中的至少一个标准所描述；以及
(h)触发与所述有向传感器相关的一个或者多个动作，所述一个或者多个动作选自由以下动作所组成的动作组：使用所述有向传感器来捕捉信号以及广播所述捕捉到的信号。
23.根据权利要求19所述的方法，其中，所述方法包括：参考所述场景来校准平移倾斜变焦(PTZ)摄像机，以允许根据所述位置数据将所述PTZ摄像机引导至所述感兴趣区域。
24.根据权利要求23所述的方法，其中，所述方法包括：当同时指向在所述场景中的两个或者两个以上的点时，校准所述PTZ摄像机的平移和倾斜角度。
25.根据权利要求23所述的方法，其中，所述方法包括：将所述PTZ摄像机引导至所述感兴趣区域以捕捉其视频信号。
26.根据权利要求19所述的方法，其中，所述方法包括：将有向麦克风引导至所述感兴趣区域并且记录其生成的音频信号。
27.根据权利要求26所述的方法，其中，所述方法包括：选择所述生成的音频信号，以作为与所述活动帧流相关联的广播图像流的音频信号进行广播。
CN201580018424.3A 2014-04-03 2015-03-31 用于自动电视制作的方法和系统 Pending CN106165393A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110994061.4A CN113873174A (zh) 2014-04-03 2015-03-31 用于自动电视制作的方法和系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461974460P 2014-04-03 2014-04-03
US61/974,460 2014-04-03
PCT/IL2015/050346 WO2015151095A1 (en) 2014-04-03 2015-03-31 Method and system for automatic television production

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110994061.4A Division CN113873174A (zh) 2014-04-03 2015-03-31 用于自动电视制作的方法和系统

Publications (1)

Publication Number Publication Date
CN106165393A true CN106165393A (zh) 2016-11-23

Family

ID=54239494

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202110994061.4A Pending CN113873174A (zh) 2014-04-03 2015-03-31 用于自动电视制作的方法和系统
CN201580018424.3A Pending CN106165393A (zh) 2014-04-03 2015-03-31 用于自动电视制作的方法和系统

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202110994061.4A Pending CN113873174A (zh) 2014-04-03 2015-03-31 用于自动电视制作的方法和系统

Country Status (7)

Country Link
US (1) US10262692B2 (zh)
EP (1) EP3127321B1 (zh)
JP (1) JP7123523B2 (zh)
CN (2) CN113873174A (zh)
ES (1) ES2845933T3 (zh)
IL (1) IL247879B (zh)
WO (1) WO2015151095A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241611A (zh) * 2017-05-27 2017-10-10 蜜蜂四叶草动漫制作(北京)有限公司 一种直播联动装置及直播联动系统
CN111357295A (zh) * 2017-06-27 2020-06-30 皮克索洛特公司 用于将用户特定内容融合到视频制作中的方法和系统
CN111711733A (zh) * 2020-08-18 2020-09-25 北京理工大学 一种直播方案仿真设计验证方法
CN111787338A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种体育赛事直播方案辅助设计方法
CN111787337A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种电视直播方案辅助设计方法
CN111787339A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种直播预演系统

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10600245B1 (en) 2014-05-28 2020-03-24 Lucasfilm Entertainment Company Ltd. Navigating a virtual environment of a media content item
US9961385B2 (en) 2015-07-27 2018-05-01 Tribune Broadcasting Company, Llc News production system with program schedule modification feature
DE102016224095A1 (de) * 2016-12-05 2018-06-07 Robert Bosch Gmbh Verfahren zum Kalibrieren einer Kamera und Kalibriersystem
US10425643B2 (en) * 2017-02-04 2019-09-24 OrbViu Inc. Method and system for view optimization of a 360 degrees video
JP6965975B2 (ja) * 2017-03-10 2021-11-10 株式会社Ｊｖｃケンウッド 映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラム
JP6766707B2 (ja) * 2017-03-10 2020-10-14 株式会社Ｊｖｃケンウッド 映像処理装置、マルチカメラシステム、映像処理方法、及び映像処理プログラム
CN109151295B (zh) * 2017-06-16 2020-04-03 杭州海康威视数字技术股份有限公司 一种目标对象抓拍方法、装置及视频监控设备
EP3741101A1 (en) 2018-01-19 2020-11-25 Veo Technologies Aps A computer-implemented method for automated detection of a moving area of interest in a video stream of field sports with a common object of interest
JP7250440B2 (ja) 2018-05-31 2023-04-03 キヤノン株式会社 撮影装置、情報処理装置、情報処理方法、およびプログラム
US10841509B2 (en) 2018-10-22 2020-11-17 At&T Intellectual Property I, L.P. Camera array orchestration
WO2020101362A1 (en) * 2018-11-14 2020-05-22 Samsung Electronics Co., Ltd. Method for recording multimedia file and electronic device thereof
AU2020310909A1 (en) * 2019-07-09 2022-02-10 Hyphametrics, Inc. Cross-media measurement device and method
KR102112517B1 (ko) 2020-03-06 2020-06-05 모바일센 주식회사 실시간 영상 분석을 통한 카메라 위치 제어 및 영상 편집을 통한 무인 스포츠 중계 서비스 방법 및 이를 위한 장치
EP3945464A1 (en) 2020-07-29 2022-02-02 Optima Sports Systems S.L. A computing system and a computer-implemented method for sensing events from geospatial data
US20220036087A1 (en) 2020-07-29 2022-02-03 Optima Sports Systems S.L. Computing system and a computer-implemented method for sensing events from geospatial data
JP2022060900A (ja) 2020-10-05 2022-04-15 キヤノン株式会社 制御装置および学習装置及び制御方法
US20230386051A1 (en) * 2020-10-22 2023-11-30 Pixelscope Inc. Device and method for determining video for sports broadcasting, and recording medium storing instructions

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745126A (en) * 1995-03-31 1998-04-28 The Regents Of The University Of California Machine synthesis of a virtual video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
EP1480450A2 (en) * 2003-05-20 2004-11-24 British Broadcasting Corporation Automated video production
US20090284601A1 (en) * 2008-05-15 2009-11-19 Jayakrishnan Kumar Eledath Apparatus for intelligent and autonomous video content generation and streaming
US20120057852A1 (en) * 2009-05-07 2012-03-08 Christophe Devleeschouwer Systems and methods for the autonomous production of videos from multi-sensored data

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3607717B2 (ja) * 1993-07-28 2005-01-05 日本電信電話株式会社 映像切り出し方法
US10360685B2 (en) * 2007-05-24 2019-07-23 Pillar Vision Corporation Stereoscopic image capture with performance outcome prediction in sporting environments
US6950123B2 (en) * 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
JP2004046647A (ja) * 2002-07-12 2004-02-12 Univ Waseda 動画像データに基づく移動物体追跡方法及び装置
US7796155B1 (en) * 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
EP2408192A3 (en) * 2004-04-16 2014-01-01 James A. Aman Multiple view compositing and object tracking system
JP4490752B2 (ja) * 2004-07-30 2010-06-30 日本放送協会 映像オブジェクト抽出装置、映像オブジェクト軌跡合成装置、その方法及びそのプログラム
JP4934094B2 (ja) 2008-05-09 2012-05-16 日本放送協会 スポーツ映像送出装置
JP5202127B2 (ja) 2008-06-17 2013-06-05 キヤノン株式会社 映像配信装置及び映像配信方法
EP2417559A4 (en) 2009-04-08 2015-06-24 Stergen Hi Tech Ltd METHOD AND SYSTEM FOR CREATING THREE-DIMENSIONAL VISUALIZABLE VIDEO FROM A SINGLE VIDEO STREAM
US9058670B2 (en) * 2010-05-03 2015-06-16 Stats Llc Trajectory detection and analysis in sporting events
JP6267961B2 (ja) 2012-08-10 2018-01-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 映像提供方法および送信装置
CA2949005C (en) 2013-05-26 2021-06-29 Pixellot Ltd. Method and system for low cost television production

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5745126A (en) * 1995-03-31 1998-04-28 The Regents Of The University Of California Machine synthesis of a virtual video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
EP1480450A2 (en) * 2003-05-20 2004-11-24 British Broadcasting Corporation Automated video production
US20090284601A1 (en) * 2008-05-15 2009-11-19 Jayakrishnan Kumar Eledath Apparatus for intelligent and autonomous video content generation and streaming
US20120057852A1 (en) * 2009-05-07 2012-03-08 Christophe Devleeschouwer Systems and methods for the autonomous production of videos from multi-sensored data

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107241611A (zh) * 2017-05-27 2017-10-10 蜜蜂四叶草动漫制作(北京)有限公司 一种直播联动装置及直播联动系统
CN107241611B (zh) * 2017-05-27 2019-09-24 蜜蜂四叶草动漫制作(北京)有限公司 一种直播联动装置及直播联动系统
CN111357295A (zh) * 2017-06-27 2020-06-30 皮克索洛特公司 用于将用户特定内容融合到视频制作中的方法和系统
CN111357295B (zh) * 2017-06-27 2022-07-08 皮克索洛特公司 用于将用户特定内容融合到视频制作中的方法和系统
CN111787338A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种体育赛事直播方案辅助设计方法
CN111787337A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种电视直播方案辅助设计方法
CN111787339A (zh) * 2020-03-09 2020-10-16 北京理工大学 一种直播预演系统
CN111711733A (zh) * 2020-08-18 2020-09-25 北京理工大学 一种直播方案仿真设计验证方法
CN111711733B (zh) * 2020-08-18 2020-11-13 北京理工大学 一种直播方案仿真设计验证方法

Also Published As

Publication number Publication date
EP3127321A1 (en) 2017-02-08
IL247879A0 (en) 2016-11-30
US10262692B2 (en) 2019-04-16
EP3127321B1 (en) 2020-12-23
IL247879B (en) 2020-01-30
JP2017513385A (ja) 2017-05-25
EP3127321A4 (en) 2017-04-12
ES2845933T3 (es) 2021-07-28
JP7123523B2 (ja) 2022-08-23
US20170178687A1 (en) 2017-06-22
CN113873174A (zh) 2021-12-31
WO2015151095A1 (en) 2015-10-08

Similar Documents

Publication Publication Date Title
CN106165393A (zh) 用于自动电视制作的方法和系统
KR102189139B1 (ko) 영상 프로덕션을 만들기 위한 방법 및 그 시스템
JP6719465B2 (ja) 放送において風の特性及び影響を表示するためのシステム及び方法
RU2387011C2 (ru) Основанное на анализе изображений отслеживание перемещения
JP5806215B2 (ja) 複数のカメラの相対制御のための方法及び装置
CN107005654A (zh) 用于光学跟踪运动场地中的运动员的系统和方法
Cavallaro et al. Augmenting live broadcast sports with 3D tracking information
KR101291765B1 (ko) 실시간 중계방송을 위한 공 궤적 제공 시스템
US20240104793A1 (en) Adding augmented reality to a sub-view of a high resolution central video feed
KR101215058B1 (ko) 중계방송을 위한 야구 피칭 영상 제공 시스템
NO20161098A1 (en) Camera system for filming sports venues
KR101911528B1 (ko) 동영상 내 움직이는 대상의 모션데이터 산출 방법 및 시스템

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: Peta Tikva Israel

Applicant after: PIXELLOT LTD

Address before: Tel Aviv

Applicant before: PIXELLOT LTD

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20161123

RJ01 Rejection of invention patent application after publication