CN105938541A - 利用数字内容增强现场表演的系统和方法 - Google Patents

利用数字内容增强现场表演的系统和方法 Download PDF

Info

Publication number
CN105938541A
CN105938541A CN201610119116.6A CN201610119116A CN105938541A CN 105938541 A CN105938541 A CN 105938541A CN 201610119116 A CN201610119116 A CN 201610119116A CN 105938541 A CN105938541 A CN 105938541A
Authority
CN
China
Prior art keywords
digital content
rendering engine
spot demonstration
signal
performance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201610119116.6A
Other languages
English (en)
Other versions
CN105938541B (zh
Inventor
杰瓦特·耶尔利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ka Lei Risk Investment Co Ltd
Original Assignee
Ka Lei Risk Investment Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ka Lei Risk Investment Co Ltd filed Critical Ka Lei Risk Investment Co Ltd
Publication of CN105938541A publication Critical patent/CN105938541A/zh
Application granted granted Critical
Publication of CN105938541B publication Critical patent/CN105938541B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25883—Management of end-user data being end-user demographical data, e.g. age, family status or address
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2662—Controlling the complexity of the video stream, e.g. by scaling the resolution or bitrate of the video stream based on the client capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2665—Gathering content from different sources, e.g. Internet and satellite
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/437—Interfacing the upstream path of the transmission network, e.g. for transmitting client requests to a VOD server
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4621—Controlling the complexity of the content stream or additional data, e.g. lowering the resolution or bit-rate of the video stream for a mobile client with a small screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/475—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data
    • H04N21/4755—End-user interface for inputting end-user data, e.g. personal identification number [PIN], preference data for defining user preferences, e.g. favourite actors or genre
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Astronomy & Astrophysics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

描述了利用通过追踪一个或多个表演者的运动的数字内容增强一个或多个表演者的现场表演并利用基于所追踪的动作的实时数字内容扩充现场表演。

Description

利用数字内容增强现场表演的系统和方法
技术领域
本公开涉及利用数字内容增强一个或多个表演者的现场表演的系统和方法。更具体地，本公开涉及利用基于追踪一个或多个表演者的动作的数字内容增强一个或多个表演者的现场表演的系统和方法。
背景技术
通常的现场表演，如现场戏剧表演，不提供任何形式的现场表演或任何在现场表演中的互动观众的参与的实时数字增强。
例如，通常的现场表演可以用视觉和音频效果充实，而充实通常由现场表演的工作人员控制，保持视觉和音频效果的出现与现场表演的表演动作同步。或者，视觉和听觉效果的时间线可以被预设定，在这种情况下，表演者必须小心地与被预设定的视觉和听觉效果出现的时间线同步表演。然而，在这两种情况下，实现完美的同步是困难的，所以将复杂的数字增强综合到现场表演中是具有挑战性的。
此外，在通常的现场表演中，互动观众的参与是具有挑战性的，因为大量的人群可能会引起压倒性的输入，导致现场表演的工作人员不能适度地应对。
发明内容
本内容用于以简化形式介绍概念的选择，这会在下面在具体实施方式中进一步描述。本内容并不旨在指定所要求保护的主题的关键特征，也不旨在用于辅助确定所要求保护的主题的范围。
实时数字增强和互动观众的参与的潜力似乎是庞大的，因此存在解决这些问题的需要。
根据本公开内容，通过一种利用数字内容增强一个或多个表演者的现场表演的系统和一种利用数字内容增强一个或多个表演者的现场表演的方法可以解决通常的现场表演中的问题。
根据第一个方面，一种利用数字内容增强一个或多个表演者的现场表演的系统包括表演捕捉设备和渲染引擎。该表演捕捉设备被配置为追踪一个或多个表演者的运动并将信号输出到渲染引擎，该信号是基于一个或多个表演者的运动而产生的。渲染引擎被配置为利用基于来自表演捕捉设备的信号的数字内容实时增强现场表演。
因此，一个或多个表演者可以以通常的方式进行表演，比如坚持预定的情节，此时一个或多个表演者的运动被表演捕捉设备追踪并被传输到渲染引擎。渲染引擎被配置为将所追踪的运动(这可以是所传输的动作捕捉信号)转换为大范围的数字内容，以向现场观众显示和/或被现场观众听到，从而扩充了现场表演并增强现场观众的视觉和/或听觉体验。
因此，现场观众所看到或听到的取决于一个或多个表演者所做，尤其是他们怎么做，比如基于表演者的决定、他们的策略和技巧等，正如他们动作所表达的，他们的动作被渲染引擎转换为想要的数字内容，增强现场观众对现场表演的享受。
优选地，该系统进一步包括投影仪、激光器、显示屏、音频/音响系统和全息技术中的一个以上的任意组合，用于接收来自渲染引擎的数字内容。
因此，现场观众体验的增强可以包括各种各样的视觉和听觉效果，这补充了现场表演。特别地，视觉效果可以不仅仅补充一个或多个表演者的表演，还成为表演的一个组成部分，例如通过提供一个印象，这印象是一个或多个表演者与在显示屏中的视觉图像或在舞台上由激光器或全息技术产生的视觉图像互动。
优选地，表演捕捉设备包括摄像动作追踪模块，该摄像动作追踪模块被配置为追踪一个或多个表演者的动作。
摄像动作追踪模块可以提供实时动作捕捉技术，并不限制捕捉的动作，从而使系统可以在各种各样的现场表演环境中使用，其中的摄像动作追踪模块可以无缝集成。
优选地，摄像动作追踪模块集成到现场舞台系统中。
如整个说明书和权利要求中使用的术语“现场舞台系统”旨在指安装在上或在舞台附近的照明和/或音频/音响系统。摄像动作追踪模块集成到现场舞台系统进一步增加了表演捕捉设备无缝融合到现场表演环境。例如，照相机可以附着到现场表演舞台上的光设备，它可以是一个简单的安装过程。
优选地，表演捕捉设备通过无线链路将信号传输到渲染引擎。
在表演捕捉设备和渲染引擎之间的无线连接，诸如IEEE 802.11或IEEE 802.16连接，使得表演捕捉设备和渲染引擎在现场表演环境的放置有很大的自由，也节省系统安装的工作。然而，本公开不限于特定的无线技术，任何其它进行数据的无线传输的技术或协议都可以被使用。
优选地，渲染引擎被配置为接收来自多个手持设备的输入并利用基于来自表演捕捉设备的信号和来自多个手持设备的输入的数字内容扩充现场表演。
因此，现场观众的体验还可通过加入观众互动式手持设备来得到进一步的增强，例如智能电话、平板电脑、游戏控制器或其它类似设备。通过从多个手持设备到渲染引擎的输入来表达他们的动作，手持设备使得现场观众有能力影响现场表演。
优选地，渲染引擎被配置通过无线链路接收来自多个手持设备的信号。
具有无线链路，诸如蜂窝网络、IEEE 802.11连接或IEEE 802.16连接，促进交互参与，还使得相对于现场观众放置渲染引擎有很大的自由。
优选地，渲染引擎被配置为接收指示观众人员统计和分布数据的信号，并利用基于来自表演捕捉设备来的信号和指示观众人员统计和分布数据的信号的数字内容扩充现场表演。
因此，渲染引擎可以被配置为发起数字内容/输出的大阵列，以向现场观众显示，其中，向现场观众显示/现场观众听到的数字内容的确切本质取决于在现场表演中的特定场景或时刻、观众人员统计以及现场表演的类型和现场表演的制作人所想要的效果。
根据另一个方面，一种利用数字内容增强一个或多个表演者的现场表演的方法包括：追踪一个或多个表演者的运动；将信号传输到渲染引擎，该信号是基于一个或多个表演者的运动而产生的；和利用基于信号的数字内容实时扩充现场表演。
因此，现场捕捉技术将一个或多个表演者的表演传输到渲染引擎，其被配置为利用一个或多个表演者的运动作为输入信号来启动，建立，渲染，从而利用实时数字内容增强并扩充现场表演。如上所述，通过合适的投影机、激光器、显示屏、音频/音响系统和/或全息技术，该数字内容可实时地向现场观众显示/被现场观众听到。
优选地，渲染引擎接收预渲染的数字内容和/或预定的视觉效果，并基于一个或多个表演者的运动和预渲染的数字内容的至少一部分和/或预定的视觉效果的至少一部分产生信号。
因此，渲染引擎还允许预渲染的数字内容和/或预定的视觉效果向现场观众显示和/或被现场观众听到，并允许一个或多个表演者在即将来临的场景所做的来决定随后的数字内容。
优选地，该方法进一步包括通过渲染引擎接收观众人员统计和分布数据以及基于所接收的观众人员统计和分布数据选择所接收的预渲染的数字内容的至少一部分或/或预定的视觉效果的至少一部分。
因此，向现场观众显示和/或被现场观众听到的所接收的预渲染的数字内容和/或预定的视觉效果基于所接收的观众人员统计和分布数据被选择，因此鉴于现场表演的制作人的艺术概念而适于观众。例如，现场表演的制作人可以针对不同的观众人员统计提供不同的预渲染的数字内容和/或预定的视觉效果，并且可以根据实际的观众人员统计，例如，现场观众的平均年龄、预定年龄范围、性别分布等等，通过渲染引擎选择各预渲染的数字内容和/或预定的视觉效果。
优选地，渲染引擎是在实时渲染服务器中执行。渲染服务器可控制投影仪、激光器、显示屏、音频/音响系统和/或全息技术中的一个以上的任意组合。
实时渲染服务器因而可以包括足够的硬件资源来实时执行数字内容的渲染。此外，显示屏和投影仪可被用于显示数字内容来增强舞台上的现场表演，但也可以用于显示利用数字内容所扩充并增强的现场表演。
优选地，所述渲染服务器发送输出数据到观众的多个手持设备。
因此，现场观众可以通过手持设备发布现场舞台照片、视频和其他内容到社交媒体平台。此外，观众也可通过提供如何连接和提交输入到渲染引擎的指示，邀请朋友或熟人参与来增强现场表演。
优选地，渲染引擎接收来自观众的多个手持设备的输入并基于一个或多个表演者的运动和观众的手持设备的输入产生信号。
因此，该方法允许通过手持设备，例如智能电话、平板电脑、游戏控制器或其它类似设备，进行观众互动和影响。手持设备可以通过无线连接而被连接到渲染服务器并给现场观众带来影响现场表演的数字扩充和增强的能力。例如，观众的动作可以通过渲染引擎使用或解读，以建立数字内容。
优选地，该方法还包括发送增强的现场表演到社交平台。
发送增强的现场表演到社交平台，使得各种不同的人关注现场表演，并使得利用社交平台账户连接到渲染服务器成为可能，该社交平台账户可能被用于确定观众人员统计和分布数据。
此外，渲染引擎还可以允许一个或多个表演者通过他们的运动启动特殊效果。任何特殊效果的潜力和精确本质是巨大的，并且这些特殊效果可以是实时的、数字建立和视觉或音频效果，它们不限于这种格式，并可以例如是由一个或多个表演者触发的真实世界中的物理效果，例如通过手势、触摸增强现场表演的数字内容的一个元素或按压与渲染引擎通信的物理触发器。
此外，物理的照明系统，例如光设备，也可以设置在现场表演环境的舞台上。例如，物理光设备可以由渲染引擎中的基于物理的照明部件进行控制。位于渲染引擎内部的照明工程学会(IES)准则认可的并且基于物理的照明部件可以因此使得现场动作照亮无缝驱动的虚拟光线，从而提供了独特的照明体验。(IES准则提供物理光元素的光强度的分布的计算机可读说明，如聚光灯。)
根据本公开的另一方面，提供了一种存储了指令的计算机可读介质，例如一个或多个非临时性计算机可读介质，其中，根据本公开的一个或多个实施例响应于计算设备的执行的上述指令使计算设备自动执行一种利用数字内容增强一个或多个表演者的现场表演的方法。特别是，上述指令可以使计算设备自动追踪一个或多个表演者的运动，将基于一个或多个表演者的运动而产生的信号传输到渲染引擎，并基于上述信号利用数字内容实时扩充现场表演。
因此，前面的内容公开了一种系统和一种使用(实时)渲染引擎以利用实时数字内容/输出，特别是通过增强现实技术和/或全息技术扩充现场表演的观众体验的方法。该数字内容/输出例如通过一系列的投影机、激光器、增强现实屏幕和音频/音响输出设备的任意组合被显示。现场观众的体验可以通过交互元件得到进一步增强，其受到连接到渲染引擎的手持交互式设备影响，这使得进一步数字增强现场表演。
附图说明
进一步的优点和特征将通过下面的描述变得显而易见，参照附图，其中：
图1是示例性现场表演环境的示意图；和
图2是示出了在现场表演环境中执行的操作的流程图。
具体实施方式
现在将参考在附图中示出的实施例并且具体的语言将用来描述该实施例。尽管如此，可以理解的是，这不意味着对本发明的范围的限制，图示系统中的改变和进一步的修改以及本申请的公开内容的原理的进一步应用被设想为对本公开所涉及的领域的技术人员来说会在现在或在将来发生。
图1是示例性的现场表演环境100的示意图。现场表演环境100包括实时渲染引擎102，其在实时渲染服务器104中执行。可替代地，实时渲染引擎102可以在实时渲染引擎设备中执行，并且该实时渲染引擎设备可以连接到实时渲染服务器104。
现场表演环境100还包括舞台和现场观众108，该舞台作为舞台环境106的一部分。舞台环境106还包括音频/音响系统110和显示屏112，该显示屏从实时渲染服务器104中接收数字内容。此外，舞台环境106包括投影仪114，经由无线链路，该投影仪从实时渲染服务器104中接收输出数据120形式的数字内容。
舞台环境106还包括表演捕捉设备116，该表演捕捉设备具有摄像动作追踪模块，可以追踪作为现场表演的一部分的一个或多个表演者的运动。可选地，摄像动作追踪模块也追踪在舞台环境106的光条件。表演捕捉设备116将与一个或多个表演者的运动相关的信号和可选地与光条件和/或现场表演的视频流相关的信号作为输入数据118发送到实时渲染引擎102。
实时渲染引擎102基于输入数据118产生数字内容，其中数字内容要向现场观众108显示或者被现场观众108听到，以扩充并增强在舞台环境106的现场表演，和/或扩充并增强现场表演的视频流，如果由表演捕捉设备116提供的话。
为了扩充并增强在舞台环境106的现场表演，实时渲染服务器104可以传输数字内容到音频/音响系统110和显示屏112。另外，实时渲染服务器104可以发送输出数据120形式的数子内容到投影仪114。另外，数字内容也可通过将实时渲染服务器104的输出数据120发送到多个交互式观众设备122，例如手机或平板电脑的手持设备，向现场观众108显示或被现场观众108听到，其中该输出数据120包括已增强的现场表演的视频流。
交互式观众设备122也可以被用于补充或修改发送到实时渲染引擎102的输入数据118，由此通过影响向现场观众108显示或者被现场观众108听到的数字内容产生，允许现场观众108参与到现场表演。另外的可能影响数字内容产生的因素是观众人员统计和分布数据124，对现场观众108分类可以进一步补充和修改被发送到实时渲染引擎102的输入数据118，由此允许鉴于特定的现场观众108剪辑该数字内容。
实时渲染引擎102还可以提供有预渲染的数字内容126和/或预定的视觉效果128。例如，预渲染的数字内容126和/或预定的视觉效果128可以在现场表演的时间线上的某些点被显示或被听到，而由输入数据118产生的数字内容可以被用于补充或延续预渲染的数字内容126和/或预定的视觉效果128。
根据进一步的方面，体验130可能被现场观众108在社交平台上分享。例如，输出数据120，例如，增强的现场表演的视频可在社交平台上被传输到现场观众108的朋友或熟人。
图2是示出了现场表演环境100中执行的操作的流程图200。在202，表演被表演捕捉设备116无线捕捉。在204，捕捉的表演被传输到实时渲染引擎102。例如，所捕捉的表演利用无线链路被传输到实时渲染引擎102，诸如IEEE 802.11或IEEE 802.16。
在206，实时渲染服务器104被实时渲染引擎触发，基于捕捉的表演生成数字内容。在208，实时数字内容向现场观众108显示并且与捕捉的表演的至少一部分一起被传输到手持交互式观众设备122。任选地，在210，现场观众108还利用手持设备捕捉现场表演体验。
手持交互式观众设备122可在212被用于提供输入数据118到实时渲染引擎204。另外，手持交互式观众设备122也可在212中使用，以提供实时数字内容和/或现场表演的体验到社交平台。在214，实时数字内容和/或现场表演的体验可与社会平台上的其他用户分享。
为了进一步促进现场表演环境100的其它方面的理解，现在将参考两个示例性使用情况。
根据第一使用情况，在舞台环境106进行的现场表演的场景可包含现场表演者和根据基于烟全息效果的数字建立的一条龙，也就是说，数字地建立的内容和现实世界特殊效果的组合。在表演中，表演者与龙战斗，并且捕捉到的表演者的动作无线传送到实时渲染引擎102。
实时渲染引擎102将表演者的战斗动作转换成新的实时数字内容，例如，人物或头像等等，这又反应出表演者的运动和动作。表演捕捉设备116拍摄舞台环境106上的现场动作和实时渲染引擎102通过传送了产生的数字内容的HD-SDI视频组合该视频镜头。显示屏112呈现最终的增强现实场景给现场观众。
根据第二使用情况，视频游戏的水平被显示给现场观众108和舞台环境106中的表演者。表演者对他/她所看到进行反应，并且在现场观众108面前现场表演游戏水平。所显示的数字内容由视频游戏决定且与表演者的能力水平、所采用的策略、所做的决定等直接相关。现场观众108可以通过其手持互动式观众设备122参与到现场表演中，他们自身的反应、决定等可以被实时渲染引擎102解读，例如，让他们可以与现场表演者竞争。
现场观众108可以捕捉舞台环境106中的现场表演或输出数据120，然后通过社交平台将捕捉的内容分享给他们的朋友。手持交互式观众设备122的应用程序甚至可以使这些朋友通过社交平台来提供合并的输入，并驱动由实时渲染引擎102渲染的虚拟内容。
上述的例子和使用情况和附图仅仅是用于说明与现有技术相比本公开和它的优点，并且不应当被理解为在任何意义上的限制。

Claims (16)

1.一种利用数字内容增强一个或多个表演者的现场表演的系统，其特征在于，所述系统包括：
表演捕捉设备；和
渲染引擎；
其中，所述表演捕捉设备被配置为追踪所述一个或多个表演者的运动并将信号传输到所述渲染引擎，所述信号是基于所述一个或多个表演者的运动而产生的；并且
所述渲染引擎被配置为利用基于来自所述表演捕捉设备的所述信号的数字内容实时扩充现场表演。
2.如权利要求1所述的系统，其特征在于，进一步包括投影仪、激光器、显示屏、音频/音响系统和/或全息技术，用于接收来自所述渲染引擎的数字内容。
3.如权利要求1所述的系统，其特征在于，其中，所述表演捕捉设备包括摄像动作追踪模块，所述摄像动作追踪模块被配置为追踪所述一个或多个表演者的运动。
4.如权利要求3所述的系统，其特征在于，其中，所述摄像动作追踪模块集成到现场舞台系统中。
5.如权利要求1所述的系统，其特征在于，其中，所述表演捕捉设备通过无线链路将所述信号传输到所述渲染引擎。
6.如权利要求1所述的系统，其特征在于，其中，所述渲染引擎被配置为接收来自多个手持设备的输入并利用基于来自所述表演捕捉设备的所述信号和来自所述多个手持设备的所述输入的数字内容扩充现场表演。
7.如权利要求6所述的系统，其特征在于，其中，所述渲染引擎被配置为通过无线链路接收来自所述多个手持设备的信号。
8.如权利要求1所述的系统，其特征在于，其中，所述渲染引擎被配置为接收指示观众人员统计和分布数据的信号，并利用基于来自所述表演捕捉设备的所述信号和指示所述观众人员统计和分布数据的所述信号的数字内容扩充现场表演。
9.一种利用数字内容增强一个或多个表演者的现场表演的方法，其特征在于，所述方法包括：
追踪所述一个或多个表演者的运动；
将信号传输到渲染引擎，所述信号是基于所述一个或多个表演者的运动而产生的；和
利用基于所述信号的数字内容实时扩充现场表演。
10.如权利要求9所述的方法，其特征在于，进一步包括通过所述渲染引擎接收预渲染的数字内容以及基于所述一个或多个表演者的运动和所述预渲染的数字内容的至少一部分产生信号。
11.如权利要求10所述的方法，其特征在于，进一步包括通过所述渲染引擎接收观众人员统计和分布数据以及基于所接收的所述观众人员统计和分布数据选择所接收的所述预渲染的数字内容的所述至少一部分。
12.如权利要求9所述的方法，其特征在于，其中，所述渲染引擎在实时渲染服务器中执行。
13.如权利要求12所述的方法，其特征在于，进一步包括通过所述渲染服务器控制投影仪、激光器、显示屏、音频/音响系统和/或全息技术中的至少一个。
14.如权利要求12所述的方法，其特征在于，进一步包括通过所述渲染服务器发送输出数据到观众的多个手持设备。
15.如权利要求14所述的方法，其特征在于，进一步包括通过所述渲染引擎接收来自所述观众的所述多个手持设备的输入并基于所述一个或多个表演者的运动和所述观众的所述手持设备的输入产生信号。
16.如权利要求9所述的方法，其特征在于，进一步包括发送增强的现场表演到社交平台。
CN201610119116.6A 2015-03-02 2016-03-02 利用数字内容增强现场表演的系统和方法 Active CN105938541B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/635,696 US9473810B2 (en) 2015-03-02 2015-03-02 System and method for enhancing live performances with digital content
US14/635,696 2015-03-02

Publications (2)

Publication Number Publication Date
CN105938541A true CN105938541A (zh) 2016-09-14
CN105938541B CN105938541B (zh) 2021-10-15

Family

ID=56851246

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610119116.6A Active CN105938541B (zh) 2015-03-02 2016-03-02 利用数字内容增强现场表演的系统和方法

Country Status (2)

Country Link
US (1) US9473810B2 (zh)
CN (1) CN105938541B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278387A (zh) * 2018-03-16 2019-09-24 东方联合动画有限公司 一种数据处理方法及系统

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114915827A (zh) * 2018-05-08 2022-08-16 日本聚逸株式会社 动态图像分发系统及其方法和记录介质
KR102585051B1 (ko) 2018-05-08 2023-10-04 그리 가부시키가이샤 액터의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
US11128932B2 (en) * 2018-05-09 2021-09-21 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of actors
US11044535B2 (en) 2018-08-28 2021-06-22 Gree, Inc. Video distribution system for live distributing video containing animation of character object generated based on motion of distributor user, distribution method, and storage medium storing video distribution program
US11428933B2 (en) * 2019-05-13 2022-08-30 Light Field Lab, Inc. Light field display system for performance events
US11580616B2 (en) * 2020-04-29 2023-02-14 Lucasfilm Entertainment Company Ltd. Photogrammetric alignment for immersive content production
CN113570731A (zh) * 2021-08-03 2021-10-29 凡创(上海)文化传播股份有限公司 一种基于5g时代的xr终端系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000043899A1 (en) * 1999-01-22 2000-07-27 Hotv Inc. Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
CN1443086A (zh) * 2000-07-17 2003-09-17 兰迪·T·斯普劳特 交互式虚拟现实演出剧场娱乐系统
CN101183276A (zh) * 2007-12-13 2008-05-21 上海交通大学 基于摄像头投影仪技术的交互系统
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
CN102688603A (zh) * 2011-03-22 2012-09-26 王鹏勃 基于增强现实与动作识别技术的实时魔幻类舞台表演的系统与方法
CN103083901A (zh) * 2011-10-31 2013-05-08 北京德信互动网络技术有限公司 全息投影体感互动系统和方法
CN103310721A (zh) * 2012-03-16 2013-09-18 捷达世软件（深圳）有限公司 显示装置以及调整显示装置的显示内容的方法
CN103561196A (zh) * 2013-11-25 2014-02-05 饶涛 一种将音乐表演和观众投票同步展示的显示系统
CN103578135A (zh) * 2013-11-25 2014-02-12 恒德数字舞美科技有限公司 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法
CN104731343A (zh) * 2015-04-14 2015-06-24 上海云富网络科技有限公司 一种基于移动终端的虚拟现实人机交互儿童教育体验系统

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7334249B1 (en) * 2000-04-26 2008-02-19 Lucent Technologies Inc. Method and apparatus for dynamically altering digital video images
US8806544B1 (en) * 2013-01-31 2014-08-12 Cable Television Laboratories, Inc. Content synchronization

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000043899A1 (en) * 1999-01-22 2000-07-27 Hotv Inc. Method and apparatus for multiplexing separately-authored metadata for insertion into a video data stream
CN1443086A (zh) * 2000-07-17 2003-09-17 兰迪·T·斯普劳特 交互式虚拟现实演出剧场娱乐系统
CN101183276A (zh) * 2007-12-13 2008-05-21 上海交通大学 基于摄像头投影仪技术的交互系统
CN101539804A (zh) * 2009-03-11 2009-09-23 上海大学 基于增强虚拟现实与异型屏的实时人机互动方法及系统
CN102688603A (zh) * 2011-03-22 2012-09-26 王鹏勃 基于增强现实与动作识别技术的实时魔幻类舞台表演的系统与方法
CN103083901A (zh) * 2011-10-31 2013-05-08 北京德信互动网络技术有限公司 全息投影体感互动系统和方法
CN103310721A (zh) * 2012-03-16 2013-09-18 捷达世软件（深圳）有限公司 显示装置以及调整显示装置的显示内容的方法
CN103561196A (zh) * 2013-11-25 2014-02-05 饶涛 一种将音乐表演和观众投票同步展示的显示系统
CN103578135A (zh) * 2013-11-25 2014-02-12 恒德数字舞美科技有限公司 虚拟影像与真实场景相结合的舞台交互集成系统及实现方法
CN104731343A (zh) * 2015-04-14 2015-06-24 上海云富网络科技有限公司 一种基于移动终端的虚拟现实人机交互儿童教育体验系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吕萌 著: "《媒介形态变化与电视文化传播》", 30 November 2006 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278387A (zh) * 2018-03-16 2019-09-24 东方联合动画有限公司 一种数据处理方法及系统

Also Published As

Publication number Publication date
US9473810B2 (en) 2016-10-18
US20160261902A1 (en) 2016-09-08
CN105938541B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN105938541A (zh) 利用数字内容增强现场表演的系统和方法
US11514653B1 (en) Streaming mixed-reality environments between multiple devices
US11100695B1 (en) Methods and systems for creating an immersive character interaction experience
CN108986189B (zh) 基于三维动画中实时多人动作捕捉并直播的方法和系统
US20120272162A1 (en) Methods and systems for virtual experiences
US9274595B2 (en) Coherent presentation of multiple reality and interaction models
CN104170318B (zh) 使用交互化身的通信
KR101505060B1 (ko) 가상 현실 연동 서비스 제공 시스템 및 그 방법
CN104258566B (zh) 一种基于多画显示的虚拟射击影院系统与方法
US9898850B2 (en) Support and complement device, support and complement method, and recording medium for specifying character motion or animation
JP6776400B1 (ja) プログラム、方法、および情報端末装置
US20130249947A1 (en) Communication using augmented reality
US20130019184A1 (en) Methods and systems for virtual experiences
CN103051830A (zh) 一种对所拍目标多角度实时转播的系统和方法
CN113642394B (zh) 一种虚拟对象的动作处理方法、装置和介质
CN110162667A (zh) 视频生成方法、装置及存储介质
WO2023130815A1 (zh) 场景画面的显示方法、装置、终端及存储介质
KR102200239B1 (ko) 실시간 cg 영상 방송 서비스 시스템
CN110300242A (zh) 虚拟形象的表演系统
CN116139471A (zh) 一种互动观影系统-梦幻乘骑
Dixon How Does Theatre Think Through Incorporating Media
KR102179426B1 (ko) 세계예능올림픽경연대회 중계방송 운영 시스템
Velho et al. VR tour: Guided participatory meta-narrative for virtual reality exploration
Parker et al. Puppetry of the pixel: Producing live theatre in virtual spaces
KR102462863B1 (ko) 백그라운드 스크린 기반 스튜디오에서의 비디오 믹싱 플랫폼

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: Lu Senbaobeitangbao

Applicant after: TMRW Foundation IP & Holding S.A.R.L.

Address before: Lu Senbaobeitangbao

Applicant before: Virtual pictures Europe Investment Ltd.

Address after: Lu Senbaobeitangbao

Applicant after: Virtual pictures Europe Investment Ltd.

Address before: Lu Senbaobeitangbao

Applicant before: Calay Venture S.A.R.L.

GR01 Patent grant
GR01 Patent grant