CN105264876B - 低成本电视制作的方法及系统 - Google Patents

低成本电视制作的方法及系统 Download PDF

Info

Publication number
CN105264876B
CN105264876B CN201480030443.3A CN201480030443A CN105264876B CN 105264876 B CN105264876 B CN 105264876B CN 201480030443 A CN201480030443 A CN 201480030443A CN 105264876 B CN105264876 B CN 105264876B
Authority
CN
China
Prior art keywords
frame
crossfire
scene
panorama
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480030443.3A
Other languages
English (en)
Other versions
CN105264876A (zh
Inventor
麦琪·塔米尔
盖尔·奧茲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pixellot Ltd
Original Assignee
Pixellot Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pixellot Ltd filed Critical Pixellot Ltd
Publication of CN105264876A publication Critical patent/CN105264876A/zh
Application granted granted Critical
Publication of CN105264876B publication Critical patent/CN105264876B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/036—Insert-editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19639—Details of the system layout
    • G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Abstract

本发明提供一种制作多个所需图像帧的一串流的方法，所需图像帧源自利用多个视频相机的一阵列对一场景进行的一全景拍摄。所述制作是在所述场景附近的一地点及位于所述地点远处的一制作套装软件通过协调操作来进行。所述方法包含以一地点服务器记录通过所述视频相机同步拍摄的多个原视频图像的一串流，及转换一第一数据速率的原视频的所述串流成为一第二数据速率的多个全景景象的一串流。所述第二数据速率小于所述第一数据速率的三分之一。所述方法还包含传输所述全景景象的所述串流到至少一远处的制作套装软件，及在所述远处的制作套装软件中选择所需帧的一串流，其包含个别感兴趣的多个区域。所述方法还包含传输所需帧的所述串流的数据至所述地点服务器，及以所述地点服务器由原视频图像所记录的串流制作出多个高分辨率帧的一串流。所述高分辨率帧的特征为在源自个别相邻的多个原视频图像的多个相邻图像之间不具有可被察觉出的边界。

Description

低成本电视制作的方法及系统
交叉引用相关技术
参阅2013年5月26日由麦琪塔米尔及盖尔奥斯提交的美国临时申请案第61/827,602号，标题名称为“用于低成本电视制作的方法及系统”，其揭露于此全部纳入作为参考并主张优先权。
技术领域
本发明是一种高效低成本替换户外(主要为运动)电视制作的领域，特别是关于基于(远处)实际时间及离线制作。
背景技术
一个运动场景的电视节目转播是传播至各种体育事件，包含以往没有涵盖的。然而，包含一庞大的串流及多个相机的所有地点制作的花费阻碍了高品质覆盖。另一方面，家庭用户希望获得覆盖所有场景的电视节目制作，重点在于比赛过程中在不同的地点位置出现的事件，具有戏剧性时刻的录像。因此，本发明的目的在于提供一种低成本高效的电视节目制作，以取代目前运动场景的设备及人力过于昂贵的户外制作。
发明内容
根据本发明申请的一优选实施例，提供一种制作多个所需图像帧的一串流的方法，所需图像帧源自利用多个视频相机的一阵列对一场景进行的一全景拍摄。所述制作是在所述场景附近的一地点及位于所述地点远处的一制作套装软件通过协调操作来进行。所述方法包含以一地点服务器记录通过所述视频相机同步拍摄的多个原视频图像的一串流，及转换一第一数据速率的原视频的所述串流成为一第二数据速率的多个全景景象的一串流。所述第二数据速率小于所述第一数据速率的三分之一。所述方法还包含传输所述全景景象的所述串流到至少一远处的制作套装软件，及在所述远处的制作套装软件中选择所需帧的一串流，其包含个别感兴趣的多个区域。所述方法还包含传输所需帧的所述串流的数据至所述地点服务器，及以所述地点服务器由原视频图像所记录的串流，依据所需帧的所述串流制作出多个高分辨率帧的一串流。所述高分辨率帧的特征为在源自个别相邻的多个原视频图像的多个相邻图像之间不具有可被察觉出的边界。
在一些实施例中，所述方法包含判断多个预设固定帧，以用于呈现多个个别感兴趣的固定区域。
在一些实施例中，所述方法包含预先判断用于拍摄感兴趣的一固定区域的一预设固定帧，一虚拟移动相机跟随所述场景中的一物件，一虚拟移动相机执行一预定动作，通过对于一预设事件的自动检测及纳入的一演算而判断的一帧，及与先前发生在所述场景中的一特定位置内的一事件相关的一帧。
在一些实施例中，所述方法包含将多个指令传输至所述地点服务器，以用于附加至一所需帧，所述指令关于数据项目，如一图形化项目，多个帧之间的一所需美术转换(如淡入、溶解等)，一音频项目，关于发生在所述场景中的多个确定事件的统计数据。
在一些实施例中，多个视频相机的多个阵列是在二个或以上的地点位置拍摄所述场景，且全景景象的个别串流被传输至一个或以上的制作套装软件。
在一些实施例中，一移动视频相机与所述视频相机阵列一起连结使用以拍摄所述事件。
在一些实施例中，传输至所述制作套装软件及传输至所述地点服务器的至少一者是使用一互联网连接来执行的，优选的是使用一云端服务器来执行的。在一些实施例中，是利用蜂巢连接(cellular link)来执行的。
在一些实施例中，所述场景为一运动场景。
在一些实施例中，一用户模块选择所需帧的所述串流，所述用户模块包含一显示接口及一所需帧的选择与控制器。优选的，所述用户模块还包含一处理及通信模块。示例的显示接口为一屏幕，显示一动态拍摄场景的至少一部分的一全景景象，其中所述动态拍摄场景具有一选定视野场作为叠加在所述显示场景上的一矩形。另一示例为一单眼或双眼单元，其直接观看所述动态场景的至少一部分，其中包含一平移及倾斜单元，一用于变焦的装置，及一用于测量平移及倾斜角度与帧尺寸的装置，用于控制一选定视野场，及一用于所述选定视野场的图形表示的装置。
另一种可能的显示接口为一组虚拟实境目镜，其包含通过全景景象的所述串流看到的一景象的至少一部分的一显示器，及一装置，用于使所述至少一部分匹配至头部运动以便相似于通过所述场景的一真实观众所看到的一景象，并具有一相似头部运动。优选的，所述一组虚拟实境目镜的各目镜是通过一不同全景景象被馈送，因而使一个三维场景由佩戴所述目镜的一操作者感测得到。
在一些实施例中，一云端服务器从所述地点服务器接收多个全景景象的一序列，及所述云端服务器使用环球网络串流所述全景景象的序列至所述用户模块。
在一些实施例中，所述方法还包含基于机械设计及镜片规格来初步校准所述阵列的视频相机，及基于所述场景正确校准所述视频相机，以获得多个校准参数。
在一些实施例中，所述方法包含在所述地点服务器进行的一些步骤，所述步骤包含分解由所述视频相机拍摄的帧成为多个像素片(pixel tiles)，所述片是多个像素的多个矩形阵列，所述像素的尺寸小于单一个相机帧尺寸，使所述像素片与多个时间码相关联，及记录所述像素片。优选的，所述方法还包含检索出与一选定帧相关的多个记录像素片，使多个并接线从多个世界坐标转换至多个相机坐标，并具体指定在所述选定帧内或邻近所述选定帧的线，及使用所述校准参数来对属于多个相邻视频相机的多个像素进行几何对准。所述方法还包含根据与一并接线(stitching line)的一距离，使位在属于相邻视频相机的多个并接区中的像素对进行混合，校准属于不同视频相机的像素的颜色强度，及调整整个帧的色调、饱和度、强度及伽玛(gamma)值。
在传输至所述远处的制作套装软件之前，在所述地点服务器进行的额外步骤包含对通过视频相机的所述阵列所拍摄的相邻帧进行低质量混合及对准，从上述混合及对准后的帧产生低分辨率的全景景象，及压缩及编码所述全景景象。
在一些实施例中，所述方法在所述远处的制作套装软件进行的步骤包含根据感兴趣的个别区域，将所述全景景象的局部帧产生及分配至多个操作者，所述操作者移动跨过及放大、缩小所述局部帧，以获得多个实际帧，及所述导演选择一个所述实际帧进行播出。
在一些实施例中，所述方法包含对高分辨率帧的所述串流进行编码成为一所需输出视频格式，及广播或网播所述高分辨率的格式化串流。
根据本发明申请的一优选实施例，提供一种用于位在一场景附近的一地点远处的一制作套装软件的方法。所述套装软件与所述地点内的一地点服务器以一协调的方式进行操作以用于制作多个所需图像帧的一串流，所述所需图像帧源自于通过多个视频相机的一阵列进行的所述场景的一全景拍摄。所述制作套装软件的方法包含自所述地点服务器接收多个低分辨率全景景象的一串流，所述低分辨率全景景象的串流源自于通过所述视频相机同步拍摄的多个原视频图像的一串流，选择包含感兴趣的个别区域的多个所需帧的一串流，上述选择的帧为所述低分辨率全景景象的多个部分，及传输在所需帧的所述串流上的数据至所述地点服务器。
在一些实施例中，所述方法包含根据感兴趣的个别区域，将所述全景景象的多个局部帧产生及分配至所述制作套装软件内的多个操作者，所述操作者移动跨过及放大、缩小所述局部帧，以获得多个实际帧，呈现所述实际帧给一导演，及所述导演选择一个所述实际帧进行播出。
根据本发明申请的一优选实施例，提供一种使一地点服务器通过与一制作套装软件的协调操作来制作多个所需图像帧的一串流的方法，所述所需图像帧源自利用多个视频相机的一阵列的一场景的全景拍摄。所述方法包含记录通过所述视频相机同步拍摄的多个原视频图像的一串流，将所述原视频图像的串流转换成在一降低数据速率下的多个全景景象的一串流，所述数据速率降低是由至少三个因素造成，将所述全景景象的串流传输至所述制作套装软件，用于选择其中的多个所需帧的一串流，所述所需帧包含感兴趣的多个各自区域，所述选择的多个帧为全景景象的多个部分，由所述制作套装软件接收在所述所需帧的串流上的数据，及由多个原视频图像所记录的串流，根据所述所需的串流制作出多个高分辨率帧的一串流，所述高分辨率帧的特征的为在源自个别相邻的多个原视频图像的多个相邻图像之间的不具有可被察觉出的边界。
根据本发明申请的一优选实施例，提供一种以一地点服务器制作多个所需图像帧的一串流的方法，所述所需图像帧源自通过多个视频相机的一阵列的一场景的一全景拍摄。所述方法包含记录与通过所述视频相机同步拍摄的多个与原视频图像的一串流相关的多个视频图像的一串流，接收在所述所需帧的一串流上的数据，所述所需帧包含在所述场景的全景拍摄中感兴趣的多个个别区域，由先前纪录的所述多个视频图像的串流，根据所述所需帧的串流制作出多个高分辨率帧的一串流，并制作所述高分辨率帧的串流的一帧，其包含多个动作限制于与所述帧相关的多个仅为先前纪录的图像。所述限制的动作包含由所述先前纪录的视频图像中检索出与所述帧相关的所述仅为先前纪录图像，及仅处理所述相关的图像以获得高分辨率帧，所述高分辨率帧在多个相邻图像之间不具有可被察觉出的边界。
在一些实施例中，在所述所需帧的一串流上的所述数据是从一用户模块接收，所述用户模块包含一显示接口及一所需帧控制器。优选的，所述用户模块还包含一处理及通信单元。示例的显示接口包含一高分辨率屏幕，用以显示一动态拍摄场景的至少一部分的全景景象，所述动态拍摄场景具有一选定帧作为叠加在所述显示场景上的一矩形，一抬头显示器具有一部分反射透明表面，用于所述场景的直接实际观看及用于反射显示在一微型屏幕上的一选定帧的一图形表示，并具有测量所述头部姿势的一装置，及一单眼或双眼目镜单元。所述目镜单元用于直接观看所述场景，且包含一平移及倾斜单元，一用于变焦控制的装置，及一用于测量平移与倾斜角度与帧尺寸的测量装置，用以控制一所需帧，及一用于所述所需帧的图形表示的装置。
附图说明
如本发明所述的标的物，特别在说明书的结论部分指出及清楚的要求保护。然而，本发明的两者，如操作系统或操作方法，其中共同的特征及优点，当结合附图及说明通过参照依照以下的细节描述能够有最好的了解。
图1a是通过一低带宽通信链路连接在两位置之间划分的一电视制作系统的一示意图。
图1b是一用户模块的一方框图。
图2是包含导演场景及一操作团队的一制作套装软件的一方框图。
图3是通过一地点服务器用于视频预处理的一方法的一流程图。
图4是用于一远处的制作套装软件的一方法的流程图。
图5是通过所述地点服务器后处理一选定帧的一方法的流程图。
具体实施方式
本发明将以特定实施例的进行描述。应当理解的是，本发明并不限定在所公开的实施例中。还应当理解的是，不是所述方法及系统的每一个特征都需要由本发明实现，如所要求的附属权利要求的任何特定一个。所描述的装置的各种组件及特征被完全适应于本发明。还应当理解的是，通过所公开的内容，其中一方法被显示或描述。所述方法的步骤可依照任何顺序或同时执行，除非是从内容中清楚知道一步骤依赖另一先执行的步骤。
在详细说明本发明的几个实施例之前，应当理解的是，本发明并不局限于以下描述或附图中显示的构造细节及组件配置的应用说明。本发明能够以其它实施例进行，或以各种方式实施。此外，要理解的是，本文使用的措辞及用语是为了描述的目的，而不应被限制。
除非另有定义，本文所用的所有技术和科学用语具有相同的含义，是由普通技术人员对本发明所属领域中通常理解的。本文提供的所述系统，方法及实施例仅用于说明，不用于限制。在本发明申请的说明书及权利要求中，每一个动词包含(comprise,include,have)及其结合被使用于指示动词的对象不需要是完整的构件，组件，元件或主体的部分，或动词的主体。
定义：
视野场(field of view)，简称FOV，所需帧(desired frame)，及所要求的帧(requested frame)等用语，通过本公开的内容被使用于描述个人想观看的在一个场景(scene)或其图像(image)中的所需区域，或广播等。
一用户模块(client module)为一装置，系统或设备的一件通过一操作者或一家庭用户被使用，以观看以全景场景或其图像，及传递观看的所需视野场及具体数据。在一些实施例中，一用户模块的所述操作者的接收用于个人观看的所需视野场。在其它实施例中，他只指定一视野场以广播或网播给其它人。
一个虚拟摄影者(virtual cameraman)在一些实施例中，一人工操作者位在远离一场景的位置，其任务为定义反应一感兴趣的区域的一所需帧。在场景中，他/她是虚拟的，不用操作一台实际的相机，且仅提供一服务，通过位于场景中的一实际摄影人员协助整个系统提供所要提供的服务。在其它实施例中，一虚拟摄影者可能是一软件代理或提供特定的程序，其提供一所需帧的前述选择。
参照图1a所示，其描述用于低成本电视制作的一系统100，其包含一数据服务器115，在一场景(venue)105中，及一制作套装软件(production suite)160。在下文中，“在场景中”制作先加以描述，随后描述通过所述场景服务器105及通过远处制作套装软件160进行的一协调生产。之后，互动性及身临其境的虚拟真实实施例，用以呈现在家庭用户。最后，呈现用于所述实施例的方法。
在地点现场制作的实施例(图1a，1b)：
如上所述，支持一种用于低成本高效的电视制作的方法及系统。所提出的方法被用于取代一般的户外活动，尤其是运动场景，都是昂贵的设备及人力。本文提出的系统是由一固定相机阵列110，一地点的数据服务器115及一用户模块195所组成。应当注意的是，所述用户模块195是可选择的。所述提出的系统仅用于后期的制作应用，以及在现场的场景拍摄过程中非一用户模块也不是一制作套装软件所需的应用。
所述阵列110的多个相机被用于视频的获取。若有超过一个以上的相机，所述多个相机会同步帧。每一个相机拍摄所述场景的一特定区域的视频图像。一镜头被调整用以使每一相机覆盖所述区域。优选的，所述相机阵列110覆盖所述场景的一连续区域。任选的，所述地点优化覆盖的一方法由各种焦距长度的镜头及不同数字的相机及水平及垂直像素的尺寸组成，其可通过相似技术包装被使用。在通常的情况下，相邻的相机具有重叠覆盖的区域。
所述阵列110的多个相机可为CMOS或CCD相机。每一个相机可由单一或三个成像器组成。优选的，所述相机为工业等级。所述相机的数据输出格式可为GigE,U盘3.0(USB3.0),相机链接(Camera Link),HD-SDI或可用于相机的任何其它格式。
来自多个相机的所述数据被传送至所述地点的数据服务器115，位于所述相机阵列以外，在所述地点或位于广播工作室远处或在“云端服务场”的其它位置。数据的传送从所述相机阵列模块至所述数据服务器可通过光缆或任何其它缆线或无线通信系统被执行。在本发明目前的一优选实施例中。所述相机具有GigE输出，且具有光纤缆线的一网络交换机被用于将所述数据传送至所述数据服务器115。所述相机数据也可被使用的环球网络传送。
所述数据服务器115包含以下的模块：
一数据获取及抓取模块，或预处理器120，用以抓取及最初处理所述相机数据。所述最初处理可由相机的测光及几何校准，使用方法对视频压缩处理，如JPEG2000及MPEG2，图像转换及图像增强处理，如高通滤波记颜色校准，及低分辨率全景的制作。优选的，所述光度校准处理在事件期间经常重复。在通常的情况下，每隔数秒进行重复，但是原则上可以执行每一个帧，或在整个事件期间不执行。这样的初始处理也可以在所述相机阵列110或在用户模块195或在选定帧填充模块130中执行。
一并接及对准模块，或选定帧填充模块130，其功能是用以调整涉及所需帧的所述相机的颜色及亮度，将并接线从世界坐标转换至多个相机坐标，以混合在所述并接区域的像素，及几何对准所述相机的输出，所述相机包和使用在现有技术中已知的多个方法之一的所述帧，以校准及对准由相机阵列拍摄的图像。在本发明的其他实施例中，所述并接及对准模块可位于以用户模块195中。
一数据储存模块，或纪录器125，其功能为储存通过所述数据获取模块120获得的所述数据的至少一部分。所述数据储存模块125由任一硬盘，闪存模块或任何用于大规模快速数据存取的装置。所述模块125储存所述数据用以现场制作，用于后期制作及其他的应用。在本发明一优选实施例中，所述视频数据记录在所述记录模块125，其为原始或稍微压缩视频数据，其中没有已经被应用的像素混合，对准或其他像素处理工作。在所述优选实施例，所有像素的混合，对准及其他处理工作在所述选定帧填充模块130中被执行完成，且仅在像素混合至正在播出的所述单一的所需帧，因此大量的处理时间及资源被储存。
选定帧填充模块130，或一视野场(FOV)填充模块也从用户接收一选定帧FOV规格。所述用户可为一个人“虚拟摄影者”，或一计算机程序进行自动事件制作。所述FOV填充模块130从所述数据储存模块检索所需数据，并在所需数据上执行特定的像素操作。所述FOV填充模块130的操作包含几何图像校准，畸变校准，暗角校准，对准，并接区域混合，“最小差异”并接线图，及各种图像过滤操作。所述FOV填充模块130传送所述像素填充所述帧，如用户的需求。这个处理会完成每一个帧的需求。
所述用户模块195可位于所述地点105，在一广播工作室的远处，在一服务器场的远处，或在一用户家的远处。所述用户模块195通常由一显示装置196，一FOV控制器197，及任选的一处理及通信单元198所组成，如图1b所示。
所述用户显示器196最常见的实施例是一高分别率LCD屏幕，显示动态拍摄场景的至少一部分的一全景景象。目前的FOV或所需帧作为通过所述用户服务器选定，如一“虚拟摄影者”被表现出，例如，一图像化的矩形被重叠在所拍摄的场景上。
替代的用户显示器196为一抬头显示器(Head Up Display,HUD)模块，配置有头部姿势测量传感器，其中所述目前FOV的图像表示通过一微型LCE屏幕及一准直光学的装置产生，且由安装在所述抬头显示器前面的一局部反射透明表面进行反射。所述用户直接通过所述透明光学组件观看所述场景。所述所需FOV图像表示被投影至无限且被叠加在使用所述抬头显示器的虚拟摄影者的自然景象上。有这样的抬头显示器模块，所述虚拟摄影者观看所述实际的景象不是拍摄的视频。
另一种任选的用户显示器196为单眼或双眼目镜单元，安装在一手动驱动盘的顶部，及倾斜单元，及帧尺寸控制装置197，优选的，也具有用于测量平移及倾斜角度及帧尺寸的装置。所述图像FOV表示被注入至所述望远镜的至少一目镜，及从位于前方，背后或目镜内的局部反射光束器被反射。在FOV图像表示被叠加有所述操作者放大的自然景象。所述图像FOV通过一微型LCD屏幕及一准直光学模块的装置产生。本实施例相应与前述实施例的优点为所述虚拟摄影者观看所述自然场景的一放大景象。优选的，所述望远镜的放大可被调整。
或者，标准相机手柄被使用作为一帧控制器197，使得所述摄影者使用自然操作环境，用于确定及呈现所需FOV或帧。
虚拟实境目镜的一组可被使用作为用户模块195，其包含通过全景景象的一串流看见一景象的一部分的一显示器，及一装置，用于使所述至少一部分匹配至头部运动以便相似于通过所述场景的一真实观众所看到的一景象，并具有一相似头部运动。优选的，所述一组虚拟实境目镜的各目镜是通过一不同全景景象被馈送，因而使一个三维场景由佩戴所述目镜的一操作者感测得到。
对于FOV控制器197的另一种选择为一软件，其自动判断所述FOV在所述全景地点景象的位置及尺寸，使用图像理解及物件跟踪技术。例如，若所述拍摄事件为一足球比赛，所述软件会自动检测及跟踪所述运动员及球，可自动识别比赛时间，例如自由球，角球等，并基于当下拍摄的比赛事件的自然状态，判断即时的FOV的适当尺寸及位置。
所述FOV控制器197也可以是部分自动且部分人工。在这种情况下，无论是自动软件操作或操作者可具有超控的决定权。
远处现场制作的实施例(图1a，1b及2)：
参照图1a及2所示，说明通过所示地点服务器115及所述制作套装软件160的一协调制作。所述制作套装软件160包含一小组及设备，其位于一制作套装软件的远处，不在所述地点中。所述套装软件设备包含一套装软件处理器170，一导演分割屏幕165，及多个用户模块190-n，通过相应的操作者(虚拟摄影者)180-n，180-2，180-n进行使用。所述相机阵列110及所述数据服务器115仍然位于所述地点中。
所述低分辨率图像或景象的一串流的备置如以下所述，并且被传送至所述制作套装软件160的远处。所述的传送可通过所述环球网络完成，但也可以使用任何其他的有线或无线传送连结155。此外，一云端服务器也可使用于传送。一低分辨率被使用来确保所述数据的实际时间的高保真传送通过低带宽通信连结。因此，在这种情况下，一广带宽数据连结是可用的，一全分辨率或仅高分辨率数据可被传送。
一FOV规格处理是由一“虚拟摄影者”或操作者180-1，180-2，180及180-n手动完成。例如，所述操作者180-1可使用一操作杆移动所述FOV的矩形跨越所显示的动态屏幕，且一按钮可设定所述FOV的尺寸(放大率)。更具体的说，所述套装软件处理器170获得所述全景景象及分配全部的全景景象或其中的局部至操作者180-1，180-2及180-n使用的显示器。所述导演可预先设定固定的帧225-1，…225-n拍摄感兴趣的固定区域，例如所述一篮球赛的替补或网球的裁判。这样的一预设帧可通过所述导演被选择作为所述帧而进行播送。所述操作者180-1可使用这个或其他预设帧作为一起始帧，之后他可以使用一操作杆移动跨越所述全景景象(或分配给操作者的所述全景景象的局部)及其他控制至放大及缩小。所述操作者也可以使用一起始帧，其为所述全景景象的一部分(或分配给操作者的所述全景景象的局部)，其由操作者手动选择。所述操作者180-1产生一帧220-1显示用于所述导演的选择。例如，所述操作者180-1表示一主导相机“虚拟摄影者”，且操作者180-2产生的所述帧为一特写“虚拟摄影者”。
其他对于一所需帧的播送的选择，显示所述导演选择，是一移动虚拟相机230-1执行一预设定的虚拟运动或在所述场景中跟踪一物件。一帧235-1通过对一预设定事件对自动检测的对准进行判断，及一帧240-1是通过与一事件相关的重置操作者210-1进行选择，其发生在先前对于一时间/位置重置的所述场景中一特定位置。相似的，相机操作者180-n使用所述帧控制器产生一帧220-n，当预先固定帧225-n所述重置操作者210-n产生一重置帧240-n。移动相机230-n及自动对准235-n通过所述导演175重新设定。
重置操作者210-1，210-2及210-n使用传统的一运动重置机器的开关及控制或一更具体的帧控制器197，允许位置改变以获得一时间/位置重置210-1或210-n。
在一水平及倾斜方向移动所需帧，并改变缩放可使用用户模块进行，如一鼠标或基于手势辨识的一系统。例如，所述操作者180-n使用一组虚拟实境的目镜作为用户模块190-n。所述组190-n包含由全景景象串流看到的一局部景象的显示，用以调整所述可视放大率低装置，及用于使所述至少一部分匹配至头部运动以便相似于通过所述场景的一真实观众所看到的一景象，并具有一相似头部运动的一装置。优选的，每一个目镜的各目镜是通过一不同全景景象被馈送，因而使一个三维场景由佩戴所述目镜的一操作者感测得到。
一事件导演175接收由多个操作者180-1，180-2，180-n，210-1，210，210-n进来的多个帧。所述景象对于所述操作者显示在一分割屏幕165或多个视频监视器上。
在所述导演的分割屏幕上连续显示的其他景象为预先设定的帧221-1及225-n，所述帧235-1及235-n通过自动演算产生，而且图标230-1及230-n代表预设定的移动虚拟相机。所述导演选择所述景象为他/她想要在给定的时间进行播送的。所述处理通过整改制作连续的完成。其中通常在给定的时间仅有一帧被进行播送。在时间的任意点上，多个所需帧的选择之间的转换，一旦意操作者的输出被选择，则停留在播送中，直到另一选择。
有时转换会逐渐产生，使得所需帧的两个选择同时呈现有当新的接替时旧的淡出。其他转换的影响如擦除也是可能的。当切换至转换的另一帧时，所述导演可选择自己想要有的转换。所述导演175也可选择他想要的音频频道以进行播送，以及选择所述音频信号的规格。例如，可以选择所述评论者262或广播者260提供馈送及所述周围地点声音及使用音频控制器265的声音音量。也可以是混合在一起的多种声音源。此外，所述导演可选择图像物件叠加至所播送的所述帧上，并在屏幕上使用所述图像控制255。在屏幕上的模板也可以代表动画。另一统计操作者250使用所述图像控制255加载统计数据至所述套装软件处理器170中。所述导演选择时间及形状，用于将所述数据呈现至所述景象。所述导演决定音频、图像及统计数据的项目应伴随选定的所述帧的串流，且数据及关于所述数据项目的指令被提交至所述地点服务器115，其中所述数据在选定的帧中。
所述事件导演175的参与是可选的。在这样的情况中，有单一虚拟摄影者180-1或以自动软件235-1判断所述FOV，单一馈送不需要事件导演。
目前播送的FOV的规格，例如由四角坐标表示，通过环球网络或任何其他有线或无线传送连结155，157的装置传送回所述地点服务器115。在所述地点105中，选定帧填充模块130呈现特定的FOV，含有高分辨率的相机数据，且已经先被记录至所述记录器125中。此外，所述音频，起始及图像数据项目被嵌入所产生的高分辨率帧的串流。
一输出格式化模块135准备所述帧的串流至所需视频标准，并传送至所述电视站工作室145或直接至使用卫星，缆线或其他任何传送方法的电视观众。时下越来越流行的其他目的为一网播媒体140，允许使用者通过互联网观看串流的呈现。所述信号也可以被引导至一独立网络用户，一家庭用户，直接或通过一云端服务器，根据指定的帧序列的请求。可产生帧的高分辨率的序列也可悲传送回使用连结157的制作套装软件。
有时候，除了固定相机阵列110，一地点摄影者具有一肩部安装或其他移动实际相机是在所述场景拍摄。所述帧的串流通过移动相机产生，其被传送至所述制作套装软件160，可能所述数据速率及压缩有一些减少之后，当原图像被记录在所述固定相机镜头旁边的所述记录器125上。所述移动实际相机传送的视频串流显示至所述导演，且与其他“虚拟”帧在一起。在这种情况下，所述导演175选择播送的图像的串流，一适当的指令被传送至一地点服务器115，且所述先前纪录的高分辨率图像的串流被广播，可能在一些处理之后。
在一些实施例中，多个视频相机的多个阵列110拍摄从多个地点位置的场景。在这些实施例或在其他实施例中，所述全景景象的串流味被传送至一个或以上的制作套装软件160。
对于家庭用户的虚拟实境的实施例(图1a，1b及2)：
在本发明的实施例中，所述用户为一家庭用户，使用具有宽FOV的一虚拟实境头戴器195，及内置传感器测量所述即时的头部位置。这种实施例的头戴器是由加州(California)，尔湾(Irvine)的公司(Oculus VR)制作，其具有110度视野的FOV。
所述虚拟实境头戴器，最初是设计给游戏玩家，对外界是绝对不透明的，并提供用户一种完全身临其境的体验。这些经验也可以是立体的，当左眼观看及右眼观看的不同，是在头戴器用户的左眼及右眼前方进行相应的投影。通常这种商业头戴器也可内建扬声器，以强化一身临其境的声音环境的虚拟体验。
在本实施例中，多个全景帧的序列被连续从所述地点服务器115使用环球网络发送至所述用户处理器198，其优选的通过一云端服务器或使用任何其他的传送连结。所述用户可使用一变焦控制动态确定用户想要的缩放等级。当用户转头时所述头部位置传感器会读取新的位置。所述头部位置参数会被传送至所述处理器198，新的FOV会从而产生并即时呈现给用户。
另外，也可能产生所述拍摄事件的一立体呈现。一优选的方式是使用Stergen系统，如由塔米尔等人的美国专利公开第2012/0013711号，用以将即时二维呈现转换成三维立体呈现。还有其他方式产生一立体可视表现，包含使用至少两相机阵列，具有适当的横向分离及组合，使用单一阵列，其具有至少部分重叠的区域，或使用一般二维至三维的转换器，如型号IF-2D3D1，由JVC生产。
在位于所述地点的一麦克风的所述像素数据，音频数据，优选为两个麦克风，可被传送至处理器198，沿着所述视觉数据及同步的视频串流。所述音频/视频数据被传送至设置在由家庭用户佩戴的头戴器195的投影装置中，并传送至内建的扬声器中。在这样的情况下，若没有这样的内建扬声器，所述数据可以传送至位于所述家庭用户附近的一外接扬声器。
在这样的情况下，所述事件的一个三维立体表示，两个数据的串流被分别引导至在所述头戴器195中的左眼及右眼的投射装置。进入左眼及右眼的所述数据串流，及音频数据附属至头戴器的内建传感器，用以测量所述头部位置。当一头部位置参数(水平，倾斜及滚动角度，三平移轴)改变，新的头部位置参数会被设定至所述处理器198。之后相应的新的FOV使用所述头部位置的新参数被计算。
用于制作所需图像帧的一串流的方法(图3至5)：
提供一种用于制作所需帧的一串流的方法，其源自于通过多个视频相机110的一阵列拍摄的一场景的一全景。所述方法显示于图3至5，其包含用于在一地点服务器115中预处理的一方法300的流程图，一由靠近所述场景的所述地点服务器115与在位于所述地点105远处的一制作套装软件160来进行的协调方法400，及一通过所述地点服务器进行后处理的一方法500。
所述方法300通过所述地点服务器115进行，包含基于机械设计及目镜规格进行所述阵列110的多个视频相机的初步校准的一步骤310，基于所述场景由多个视频相机精确校准以获得校准参数的一步骤315，及通过所述阵列110的多个操作相机(rig cameras)拍摄一事件而获得原视频图像的一串流的一步骤320。
所述方法300包含两预处理原图像的步骤，其为并行且连续进行的。第一步骤为纪录通过所述视频相机同时拍摄的原始或仅些微压缩的图像。所述第二步骤为将所述视频图像的串流在一第一数据速率转换成在一第二数据速率的全景景象的一串流。所述第二数据速率小于所述第一数据速率的三分之一
在纪录的架构中，所述方法300包含分解由所述视频相机拍摄的帧成为多个像素片的一步骤325，所述像素片与多个时间码相关联的一步骤330，及记录所述像素片至纪录器125中的一步骤335。
在转换所述原图像的架构内，所述方法300包含通过视频相机的所述阵列110所拍摄的相邻帧(通常由邻近相机)进行低质量混合及对准的一步骤360，从混合及对准后的帧产生低分辨率的全景景象的一步骤365，及压缩及编码所述全景景象，以传输至所述远处的制作套装软件160的一步骤370。在步骤370之后是将所述全景景象通过一低带宽连结155传送至所述制作套装软件160远处的一步骤375。
协调的方法400包含判断决定多个预设固定帧及虚拟相机预编程的运动，以用于呈现所述全景景象的多个个别感兴趣的固定区域，而且所需相机运动跨国所述场景的一步骤405，所述全景景象的一串流从所述地点服务器115连续传送作为步骤410，所述方法还包含将所述全景景象的局部帧根据感兴趣的相应区域产生及分配至多个操作者的一步骤415。例如，领先的“虚拟摄影者”接收整个场景的全景景象，当“虚拟摄影者”2产生更紧密的图像，获得所述领先的摄影者的帧作为一背景景象以移动跨过。所述方法400还包含操作者移动跨过及放大、缩小所述局部帧，以获得多个实际帧的一步骤420，及呈现所述实际的“虚拟摄影者”给一导演175及重置，预设，移动相机，及“自动演算”帧的一步骤425。
所述方法400还包含所述导演175选择一实际帧进行播出的一步骤430，及所述导演175选择一图像模版，一音源，传送及统计数据进行播放的一步骤435。
另外，所述方法400包含：使用一窄带宽连结155，传送在所需帧的串流上的数据，以及一并传送关于图像、音频、传送及统计数据的指令至所述地点服务器115的一步骤440，产生用于所需帧良好并接的高分辨率内容的一步骤445，呈现所述图像模版，切换至所述音源并调整其他数据指令的一步骤450，及广播或网播所述图像/音频嵌入的视频串流的一步骤455。所述高分辨率帧的特征在于在源自个别相邻的多个原视频图像的多个相邻图像之间不具有可被察觉出的边界。
参照图5所示，显示用于后处理及呈现在所述地点服务器115中的多个帧的所需序列的一种方法500。从制作套装软件接收在所需帧的串流上的数据、图像模版、音源及规格，及其他数据的一步骤505；检索出与一选定帧相关的多个记录像素片的一步骤510；使多个并接线从多个世界坐标转换至多个相机坐标，并具体指定在所述选定帧内或邻近所述选定帧的线的一步骤515；及使用所述校准参数来对属于多个相邻视频相机的多个像素进行几何对准的步骤520。所述方法500还包含根据与一并接线的一距离，使位在属于相邻视频相机的多个并接区中的像素对进行混合的一步骤525，校准属于不同视频相机的像素的颜色强度的一步骤530，及调整整个帧的
色调、饱和度、强度及伽玛值的一步骤535。
所述方法500还包含对高分辨率帧的所述串流进行编码成为一所需输出视频格式的一步骤540，及广播或网播所述高分辨率的格式化串流的一步骤455。
虽然本发明已经结合其具体实施方案进行了描述，但很明显的，许多替换、修改及变化将对本领域技术人员是明显的。因此，其意在涵盖落入所依附权利要求的精神和范围内的所有此类替换、修改及变型。特别是，本发明不以任何方式局限所描述的实施例。

Claims (21)

1.一种通过在一场景附近的一地点及位于所述地点远处的一制作套装软件进行协调操作以制作多个所需图像帧的一串流的方法，所需图像帧源自利用多个视频相机的一阵列从所述场景进行一全景拍摄，其特征在于：所述方法包含步骤：
(a)以一地点服务器记录与通过所述视频相机同步拍摄的多个图像相关的多个原视频帧的一串流，将所述原视频帧分解为多个像素片，再将所述像素片与多个时间码相关联，并记录所述像素片；
(b)转换一第一数据速率的原视频帧的所述串流成为一第二数据速率的多个全景景象的一串流，所述第二数据速率小于所述第一数据速率的三分之一；
(c)传输所述全景景象的所述串流到至少一远处的制作套装软件；
(d)在所述远处的制作套装软件中，选择所需帧的一串流，其包含个别感兴趣的多个区域，所述选择的帧是个别全景景象的多个部分；
(e)传输多个所需帧的所述串流的数据至所述地点服务器，检索与所述所需帧的所述串流相关联所记录的所述像素片，将多个拼接线从世界坐标转换为相机坐标，并且具体指定在所述所需帧的所述串流中或邻近所述所需帧的所述串流的多条线；及
(f)所述地点服务器使用多个校准参数依几何学对齐属于相邻的多个视频相机的多个像素，以由记录的所述像素片产生出高分辨率帧的一串流，所述高分辨率帧的串流以在相邻的多个视频相机所记录的多个原视频图像之间无法察觉的边界为特征。
2.如权利要求1所述的方法，其特征在于：所述方法包含步骤：判断多个预设固定帧，以用于呈现多个个别感兴趣的固定区域。
3.如权利要求1所述的方法，其特征在于：所述方法包含步骤：选择一帧，其选自下述多个帧组成的一群组：
(i)预先判断用于拍摄感兴趣的一固定区域的一预设固定帧；
(ii)跟随所述场景中的一物件的一虚拟移动相机；
(iii)执行一预定动作的一虚拟移动相机；
(iv)通过对于一预设事件的自动检测及纳入的一演算而判断的一帧；及
(v)与先前发生在所述场景中的一特定位置内的一事件相关的一帧。
4.如权利要求1所述的方法，其特征在于：所述方法包含步骤：将关于至少一个数据项目的多个指令传输至所述地点服务器，以用于附加至一所需帧，其中所述至少一个数据项目选自下述多个数据项目组成的一群组：
(a)一图形化项目；
(b)多个帧之间的一所需美术转换；
(c)一音频项目；及
(d)关于发生在所述场景中的多个确定事件的统计数据。
5.如权利要求1所述的方法，其特征在于：多个视频相机的二个或以上的阵列是在二个或以上的地点位置拍摄所述场景，且全景景象的个别串流被传输至一个或以上的制作套装软件。
6.如权利要求1所述的方法，其特征在于：至少一移动视频相机与所述视频相机阵列一起连结使用以拍摄一事件。
7.如权利要求1所述的方法，其特征在于：传输至所述制作套装软件及传输至所述地点服务器的至少一者是使用一互联网连接来执行的。
8.如权利要求7所述的方法，其特征在于：传输至所述制作套装软件及传输至所述地点服务器的至少一者是使用一云端服务器来执行的。
9.如权利要求1所述的方法，其特征在于：所述场景为一运动场景。
10.如权利要求1所述的方法，其特征在于：一用户模块选择所需帧的所述串流，所述用户模块包含一显示接口及一所需帧的选择与控制器。
11.如权利要求10所述的方法，其特征在于：所述用户模块服务一家庭用户。
12.如权利要求10所述的方法，其特征在于：所述用户模块还包含一处理及通信模块。
13.如权利要求10所述的方法，其特征在于：所述显示接口选自下述多个接口组成的一群组：
(i)一屏幕，显示一动态拍摄场景的至少一部分的一全景景象，其中所述动态拍摄场景具有一选定视野场作为叠加在所述显示场景上的一矩形；及
(ii)一单眼或双眼目镜单元，其直接观看所述动态场景的至少一部分，并包含：
(A)一平移及倾斜单元，一用于变焦的装置，及一用于测量平移及倾斜角度与帧尺寸的装置，用于控制一选定视野场；及
(B)一用于所述选定视野场的图形表示的装置。
14.如权利要求10所述的方法，其特征在于：
(A)一云端服务器从所述地点服务器接收多个全景景象的一序列；及
(B)所述云端服务器使用环球网络串流所述全景景象的序列至所述用户模块。
15.如权利要求10所述的方法，其特征在于：所述显示接口为一组虚拟实境目镜，其包含：
(A)通过全景景象的所述串流看到的一景象的至少一部分的一显示器；及
(B)一装置，用于使所述至少一部分匹配至头部运动以便相似于通过所述场景的一真实观众所看到的一景象，并具有一相似头部运动。
16.如权利要求15所述的方法，其特征在于：所述一组虚拟实境目镜的各目镜是通过一不同全景景象被馈送，因而使一个三维场景由佩戴所述目镜的一操作者感测得到。
17.如权利要求1所述的方法，其特征在于：所述方法包含在所述地点服务器进行的至少一步骤，其选自下列多个步骤组成的一群组：
(i)对通过相邻的多个视频相机所拍摄的帧进行低质量混合及对准；
(ii)从上述混合及对准后的帧产生低分辨率的全景景象；及
(iii)压缩及编码所述全景景象，以传输至所述远处的制作套装软件。
18.如权利要求1所述的方法，其特征在于：所述方法包含在所述远处的制作套装软件进行的至少一步骤，其选自下列多个步骤组成的一群组：
(i)根据感兴趣的个别区域，将所述全景景象的局部帧产生及分配至多个操作者；
(ii)所述操作者移动跨过及放大、缩小所述局部帧，以获得多个实际帧；
(iii)呈现所述实际帧给一导演；及
(iv)所述导演选择一个所述实际帧进行播出。
19.如权利要求1所述的方法，其特征在于：所述方法包含步骤：
(i)对高分辨率帧的所述串流进行编码成为一所需输出视频格式；及
(ii)广播或网播所述高分辨率的格式化串流。
20.一种使一地点服务器通过与一制作套装软件的协调操作来制作多个所需图像帧的一串流的方法，所述所需图像帧源自利用多个视频相机的一阵列的一场景的全景拍摄，其特征在于：所述方法包含步骤：
(a)记录通过所述视频相机同步拍摄的多个原视频帧的一串流，将所述原视频帧分解为多个像素片，再将所述像素片与多个时间码相关联，并记录所述像素片；
(b)将所述原视频帧的串流转换成在一降低数据速率下的多个全景景象的一串流，所述数据速率降低是由至少三个因素造成；
(c)将所述全景景象的串流传输至所述制作套装软件，用于选择其中的多个所需帧的一串流，所述所需帧包含感兴趣的多个各自区域，所述选择的多个帧为全景景象的多个部分；
(d)由所述制作套装软件接收在所述所需帧的串流上的数据；及
(e)由多个原视频帧所记录的串流，根据所述所需的串流制作出多个高分辨率帧的一串流，所述高分辨率帧的特征的为在源自个别相邻的多个原视频帧的多个相邻图像之间的不具有可被察觉出的边界。
21.如权利要求20所述的方法，其特征在于：所述方法包含至少一个动作，选自于下列多个动作组成的一群组：
(i)检索出与一选定帧相关的多个记录像素片；
(ii)使多个并接线从多个世界坐标转换至多个相机坐标，并具体指定在所述选定帧内或邻近所述选定帧的线；
(iii)使用多个校准参数来对属于多个相邻视频相机的多个像素进行几何对准；
(iv)根据与一并接线的一距离，使位在属于相邻视频相机的多个并接区中的像素对进行混合；
(v)校准属于不同视频相机的像素的颜色强度；及
(vi)调整整个帧的色调、饱和度、强度及伽玛值。
CN201480030443.3A 2013-05-26 2014-05-26 低成本电视制作的方法及系统 Active CN105264876B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201361827602P 2013-05-26 2013-05-26
US61/827602 2013-05-26
PCT/IL2014/050472 WO2014191990A1 (en) 2013-05-26 2014-05-26 Method and system for low cost television production

Publications (2)

Publication Number Publication Date
CN105264876A CN105264876A (zh) 2016-01-20
CN105264876B true CN105264876B (zh) 2019-04-23

Family

ID=51988109

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480030443.3A Active CN105264876B (zh) 2013-05-26 2014-05-26 低成本电视制作的方法及系统

Country Status (7)

Country Link
US (1) US10438633B2 (zh)
EP (1) EP3005677A4 (zh)
JP (1) JP6432029B2 (zh)
CN (1) CN105264876B (zh)
CA (1) CA2949005C (zh)
IL (1) IL242385B (zh)
WO (1) WO2014191990A1 (zh)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113873174A (zh) 2014-04-03 2021-12-31 皮克索洛特公司 用于自动电视制作的方法和系统
US10362290B2 (en) 2015-02-17 2019-07-23 Nextvr Inc. Methods and apparatus for processing content based on viewing information and/or communicating content
WO2016134048A1 (en) 2015-02-17 2016-08-25 Nextvr Inc. Methods and apparatus for generating and using reduced resolution images and/or communicating such images to a playback or content distribution device
WO2016132267A2 (en) * 2015-02-19 2016-08-25 Spark S.R.L. A video management system and method
US10694249B2 (en) 2015-09-09 2020-06-23 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US10419770B2 (en) * 2015-09-09 2019-09-17 Vantrix Corporation Method and system for panoramic multimedia streaming
US10506006B2 (en) 2015-09-09 2019-12-10 Vantrix Corporation Method and system for flow-rate regulation in a content-controlled streaming network
US11108670B2 (en) 2015-09-09 2021-08-31 Vantrix Corporation Streaming network adapted to content selection
US11287653B2 (en) 2015-09-09 2022-03-29 Vantrix Corporation Method and system for selective content processing based on a panoramic camera and a virtual-reality headset
US10791285B2 (en) * 2015-10-05 2020-09-29 Woncheol Choi Virtual flying camera system
US11228754B2 (en) * 2016-05-06 2022-01-18 Qualcomm Incorporated Hybrid graphics and pixel domain architecture for 360 degree video
US10582201B2 (en) * 2016-05-19 2020-03-03 Qualcomm Incorporated Most-interested region in an image
WO2017205642A1 (en) * 2016-05-25 2017-11-30 Livit Media Inc. Methods and systems for live sharing 360-degree video streams on a mobile device
US11375284B2 (en) * 2016-07-15 2022-06-28 Koninklijke Kpn N.V. Streaming virtual reality video
JP6938123B2 (ja) 2016-09-01 2021-09-22 キヤノン株式会社 表示制御装置、表示制御方法及びプログラム
CN109792562B (zh) 2016-09-26 2021-04-13 杜比实验室特许公司 视频数据的基于内容的流分割
JP6419128B2 (ja) * 2016-10-28 2018-11-07 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
EP3535644B1 (en) 2016-11-04 2023-02-22 Koninklijke KPN N.V. Streaming virtual reality video
US10440403B2 (en) * 2017-01-27 2019-10-08 Gvbb Holdings S.A.R.L. System and method for controlling media content capture for live video broadcast production
US10587800B2 (en) 2017-04-10 2020-03-10 Intel Corporation Technology to encode 360 degree video content
CA3068401A1 (en) 2017-06-27 2019-01-03 Pixellot Ltd. Method and system for fusing user specific content into a video production
US10645351B2 (en) * 2017-12-26 2020-05-05 Primesensor Technology Inc. Smart motion detection device and related determining method
US11622092B2 (en) 2017-12-26 2023-04-04 Pixart Imaging Inc. Image sensing scheme capable of saving more power as well as avoiding image lost and also simplifying complex image recursive calculation
US11405581B2 (en) 2017-12-26 2022-08-02 Pixart Imaging Inc. Motion detection methods and image sensor devices capable of generating ranking list of regions of interest and pre-recording monitoring images
US10499019B2 (en) * 2017-12-26 2019-12-03 Primesensor Technology Inc. Motion detection device and motion detection method thereof
EP3550823A1 (en) 2018-04-05 2019-10-09 EVS Broadcast Equipment SA Automatic control of robotic camera for capturing a portion of a playing field
KR102579133B1 (ko) * 2018-10-02 2023-09-18 삼성전자주식회사 전자 장치에서 프레임들을 무한 재생하기 위한 장치 및 방법
JP6672417B2 (ja) * 2018-10-10 2020-03-25 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法及びプログラム
US11523185B2 (en) 2019-06-19 2022-12-06 Koninklijke Kpn N.V. Rendering video stream in sub-area of visible display area
US11120675B2 (en) * 2019-07-24 2021-09-14 Pix Art Imaging Inc. Smart motion detection device
US20220028215A1 (en) * 2020-07-21 2022-01-27 Adrenalineip Play by play parlay
US11699001B2 (en) * 2020-10-13 2023-07-11 Flyreel, Inc. Generating measurements of physical structures and environments through automated analysis of sensor data
CN113099245B (zh) * 2021-03-04 2023-07-25 广州方硅信息技术有限公司 全景视频直播方法、系统和计算机可读存储介质
CN113453086A (zh) * 2021-03-29 2021-09-28 北京国际云转播科技有限公司 多机位同步云导播方法、系统、存储介质和视频编码器
CN117459663B (zh) * 2023-12-22 2024-02-27 北京天图万境科技有限公司 一种投射光自校正拟合与多色彩重定位方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5604534A (en) * 1995-05-24 1997-02-18 Omni Solutions International, Ltd. Direct digital airborne panoramic camera system and method
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796162B2 (en) * 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
US7019713B2 (en) * 2002-10-30 2006-03-28 The University Of Chicago Methods and measurement engine for aligning multi-projector display systems
US20050094562A1 (en) 2003-10-30 2005-05-05 Sumit Roy Methods and devices for reducing total bandwidth when streaming multiple media streams
WO2006009521A1 (en) * 2004-07-23 2006-01-26 Agency For Science, Technology And Research System and method for replay generation for broadcast video
US7773126B1 (en) * 2006-05-26 2010-08-10 Itt Manufacturing Enterprises, Inc. Mosaic image collector including an embedded atomic clock
EP2150057A3 (en) * 2008-07-29 2013-12-11 Gerald Curry Camera-based tracking and position determination for sporting events
JP2009060664A (ja) 2008-10-27 2009-03-19 Sony Corp 撮像装置および番組制作方法
US20120013711A1 (en) 2009-04-08 2012-01-19 Stergen Hi-Tech Ltd. Method and system for creating three-dimensional viewable video from a single video stream
EP2490179B1 (en) 2011-02-18 2018-05-09 Alcatel Lucent Method and apparatus for transmitting and receiving a panoramic video stream
US8970666B2 (en) * 2011-09-16 2015-03-03 Disney Enterprises, Inc. Low scale production system and method
US8866912B2 (en) * 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9426451B2 (en) * 2013-03-15 2016-08-23 Digimarc Corporation Cooperative photography

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5604534A (en) * 1995-05-24 1997-02-18 Omni Solutions International, Ltd. Direct digital airborne panoramic camera system and method
CN102164298A (zh) * 2011-05-18 2011-08-24 长春理工大学 全景成像系统中基于立体匹配的元素图像获取方法

Also Published As

Publication number Publication date
US20160104510A1 (en) 2016-04-14
JP2016519546A (ja) 2016-06-30
IL242385B (en) 2020-05-31
WO2014191990A1 (en) 2014-12-04
CA2949005A1 (en) 2014-12-04
CN105264876A (zh) 2016-01-20
CA2949005C (en) 2021-06-29
EP3005677A1 (en) 2016-04-13
JP6432029B2 (ja) 2018-12-05
EP3005677A4 (en) 2016-04-13
US10438633B2 (en) 2019-10-08

Similar Documents

Publication Publication Date Title
CN105264876B (zh) 低成本电视制作的方法及系统
US9774896B2 (en) Network synchronized camera settings
US10750154B2 (en) Immersive stereoscopic video acquisition, encoding and virtual reality playback methods and apparatus
KR102611448B1 (ko) 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
JP7123523B2 (ja) 自動的にテレビ番組を制作する方法及びシステム
CN103051830B (zh) 一种对所拍目标多角度实时转播的系统和方法
CN105939481A (zh) 一种交互式三维虚拟现实视频节目录播和直播方法
CN105794202B (zh) 用于视频和全息投影的深度键合成
US20060244831A1 (en) System and method for supplying and receiving a custom image
CN104335243B (zh) 一种处理全景画面的方法及装置
US10205969B2 (en) 360 degree space image reproduction method and system therefor
CN106550239A (zh) 360度全景视频直播系统及其实现方法
CN108886583A (zh) 用于通过数据网络向多个用户提供虚拟的摇摄-倾斜-缩放，ptz，视频功能的系统和方法
JP2014529930A (ja) ネイティブ画像の一部の選択的キャプチャとその表示
JP6292658B2 (ja) 頭部装着型映像表示システム及び方法、頭部装着型映像表示プログラム
KR101329057B1 (ko) 다시점 입체 동영상 송신 장치 및 방법
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
JP4250814B2 (ja) ３次元映像の送受信システム及びその送受信方法
KR20190031220A (ko) Vr 콘텐츠 제공 시스템 및 방법
WO2005099248A3 (en) Method and camera for simulating the optical effect of a lenticular grid hardcopy
TWI836141B (zh) 即時三維影像顯示的直播方法
KR102462863B1 (ko) 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼
TW202213992A (zh) 即時三維影像顯示的直播方法
Kunkel et al. A web-based virtual museum application
CN114283055A (zh) 一种虚拟现实设备及图片显示方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP02 Change in the address of a patent holder

Address after: Peta Tikva Israel

Patentee after: PIXELLOT LTD

Address before: Tel Aviv

Patentee before: PIXELLOT LTD

CP02 Change in the address of a patent holder