CN104580911B - 模拟虚拟照相机的性能的方法和系统 - Google Patents

模拟虚拟照相机的性能的方法和系统 Download PDF

Info

Publication number
CN104580911B
CN104580911B CN201510023833.4A CN201510023833A CN104580911B CN 104580911 B CN104580911 B CN 104580911B CN 201510023833 A CN201510023833 A CN 201510023833A CN 104580911 B CN104580911 B CN 104580911B
Authority
CN
China
Prior art keywords
camera
virtual
environment
virtual camera
physical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510023833.4A
Other languages
English (en)
Other versions
CN104580911A (zh
Inventor
M.马姆鲍尔
T.布兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment LLC
Original Assignee
Sony Computer Entertainment America LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Computer Entertainment America LLC filed Critical Sony Computer Entertainment America LLC
Publication of CN104580911A publication Critical patent/CN104580911A/zh
Application granted granted Critical
Publication of CN104580911B publication Critical patent/CN104580911B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A63F13/525—Changing parameters of virtual cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

模拟在具有针对影片和视频游戏生成的场景的3D环境内部操作的虚拟照相机的性能包括：跟踪对象在物理空间体积内的位置和取向；与对象在物理空间体积内的被跟踪的位置相对应地将虚拟照相机放置在虚拟3D环境内；捕捉虚拟照相机的视场内的镜头，其中，依照对象的被跟踪的位置和取向来测量虚拟照相机的视场；以及显示用虚拟照相机捕捉的3D环境的捕捉镜头。

Description

模拟虚拟照相机的性能的方法和系统
技术领域
本发明涉及影片（motion picture）和视频游戏，并且更具体地，涉及模拟在针对此类影片和视频游戏生成的场景内部操作的虚拟照相机的性能。
背景技术
使用运动捕捉系统来捕捉实际对象的移动并将其映射到计算机生成的对象上。此类系统常常被用于产生影片和视频游戏以便创建被用作源数据以创建计算机图形（CG）动画的数字表示。在使用典型运动捕捉系统的会话中，演员（actor）身穿具有被附着在各种位置处的标记（例如具有被附着于身体和肢体的小反射标记）的套装，并且数字式照相机记录演员的移动。该系统然后分析图像以在每个帧中确定标记在演员的套装上的位置（例如作为空间坐标）和取向。通过跟踪标记的位置，系统随着时间的推移创建标记的空间表示并构建运动中的演员的数字表示。然后将该运动应用于数字模型，然后可以对该数字模型进行纹理化和再现以产生演员和/或表演的完整CG表示。这种技术已被特技公司用来在许多流行电影和游戏中产生真实的动画。
发明内容
本发明规定（provide for）模拟在具有针对影片和视频游戏生成的场景的3D环境内部操作的虚拟照相机的性能。
在一个实施例中，公开了一种用于模拟在3D环境内部操作的虚拟照相机的性能的方法。该方法包括：跟踪对象在物理空间体积内的位置和取向；与对象在该物理空间体积内的被跟踪的位置相对应地将虚拟照相机放置在虚拟3D环境内；捕捉虚拟照相机的视场内的镜头，其中，依照对象的被跟踪的位置和取向来测量虚拟照相机的视场；以及显示用虚拟照相机捕捉的3D环境的捕捉镜头。
在另一实施例中，公开了一种用于模拟虚拟照相机在虚拟环境中的移动的方法。该方法包括：接收包括虚拟环境的视频文件；跟踪由照相机操作者操作的物理照相机以生成物理照相机的位置和取向；使用生成的物理照相机的位置和取向来模拟虚拟照相机在虚拟环境内的移动。
在另一实施例中，公开了一种用于模拟在3D环境内部操作的虚拟照相机的性能的系统。该系统包括：位置跟踪器，其被配置为跟踪在物理空间体积内操作的物理照相机的位置；取向跟踪器，其被配置为跟踪物理照相机的取向；处理器，其包括存储包括可执行指令的计算机程序的存储介质，所述可执行指令促使所述处理器：接收包括虚拟环境的视频文件；跟踪由照相机操作者操作的物理照相机以生成物理照相机的位置和取向；使用生成的物理照相机的位置和取向来模拟虚拟照相机在虚拟环境内的移动；以及显示器，其被配置为显示用虚拟照相机捕捉的3D环境的捕捉镜头。
在另一实施例中，公开了一种存储计算机程序的计算机可读存储介质，用于模拟在具有针对影片和视频游戏生成的场景的3D环境内部操作的虚拟照相机的性能。该计算机程序包括可执行指令，该可执行指令促使计算机：跟踪对象在物理空间体积内的位置和取向；与对象在该物理空间体积内的被跟踪的位置相对应地将虚拟照相机放置在虚拟3D环境内；捕捉虚拟照相机的视场内的镜头，其中，依照对象的被跟踪的位置和取向来测量虚拟照相机的视场；以及显示用虚拟照相机捕捉的3D环境的捕捉镜头。
在研究以下详细说明和附图之后，本领域的技术人员将更容易清楚本发明的其它特征和优点。
附图说明
图1示出用于跟踪物理照相机以模拟在针对影片和视频游戏生成的场景内操作的虚拟照相机的性能的物理空间体积。
图2示出包括不同控制功能的物理视频照相机的一个示例。
图3示出物理空间体积的一个示例性装备（setup）。
图4是举例说明用于模拟在针对影片和视频游戏生成的场景内部操作的虚拟照相机的性能的过程的流程图。
图5示出包括完全再现电影的视频游戏中的示例性场景。
图6示出其中玩游戏者被保持在第一人视点的示例性残局（end-game）电影镜头（cinematic shot）。
图7示出了示出运动捕捉会话的多个不同照相机角度的一个示例。
图8示出其中将逼真特征添加到图形人物上的一个示例性镜头。
图9示出握住物理照相机并在物理空间体积内操作的照相机操作者。
图10示出图2所示的物理视频照相机的另一视图。
图11示出物理照相机的另一实施方式。
具体实施方式
如本文公开的某些实施例提供了用于模拟在针对影片和视频游戏生成的场景内部操作的虚拟照相机的性能的方法和系统。在某些实施例中，生成的场景是从上述运动捕捉会话生成的计算机动画场景。使用物理照相机来模拟虚拟照相机的性能，物理照相机包括所有的典型照相机控制功能，诸如记录、重放、倒转和快进、以及遥摄、平移、旋转、变焦及其它类似功能。
在阅读本说明之后，将变得显而易见的是如何在各种实施例和应用中实现本发明。然而，虽然在本文中将描述本发明的各种实施例，但应理解的是这些实施例仅仅是以示例而非限制的方式提出的。同样地，不应将各种实施例的此详细说明理解为限制本发明的范围或宽度。
随着提供更真实和逼真的动画（常常在3D环境中）的技术的到来，视频游戏比仅仅游戏更多地是交互式娱乐。运动捕捉会话（类似于图7所示的一个）使用一系列运动捕捉照相机来捕捉演员身体上的标记，将捕捉的标记转换到计算机中，将其施加到骨骼上以生成图形人物，并将逼真特征添加到图形人物上（参见图8）。为了让玩游戏者沉浸于游戏世界中，他们需要保持参与故事。通过模拟在针对视频游戏生成的场景内部操作的虚拟照相机的性能（例如，在运动捕捉会话中使用运动捕捉照相机），向玩游戏者呈现两个形式的电影镜头：完全再现电影（例如，参见图5）；以及残局电影镜头（例如，参见图6），其中，玩游戏者被保持在第一人视点以尝试使其保持沉浸于游戏中。
在图1所示的一个实施例中，在物理空间体积100内跟踪对象的位置和取向以模拟在针对影片和视频游戏生成的场景（“3D环境”）内操作的虚拟照相机的性能。在一个配置中，对象是物理视频照相机102，其具有诸如遥摄、倾斜、滚动、俯仰、偏航、平移、变焦、聚焦、重放、记录及其它类似控制功能的照相机控制功能。图2示出包括不同控制功能的物理视频照相机的一个示例。图10示出物理视频照相机的另一视图。图11示出物理照相机的另一实施方式。
在一个实施例中，最初用胶片照相机和/或运动捕捉照相机来捕捉3D环境中的生成的场景，进行处理并递送到物理视频照相机。图7示出了示出运动捕捉会话的多个不同照相机角度的一个示例。在替换实施例中，用计算机图形（例如使用关键帧动画）来生成场景。
在图1的所示实施例中，使用被附着于天花板的位置跟踪器140来跟踪视频照相机102的位置。在图1所示的实施例中，将用于跟踪器140的支撑体以网格图案130布局。还可以将跟踪器140用于感测视频照相机102的取向。然而，在典型配置中，使用被附着于照相机102的加速度计或陀螺仪来感测照相机的取向。
一旦生成了用于3D环境的场景，则通过与照相机102在物理空间体积100内的跟踪位置相对应地将虚拟照相机放置在3D环境内来将照相机102模拟为在3D环境内操作的虚拟照相机。然后，在虚拟照相机的视场内捕捉电影镜头，该视场是依照照相机102的跟踪取向所测量的。照相机操作者捕捉（或‘创建’）导演所期望的电影镜头并将创建的电影镜头存储到计算机中。创建的镜头被显示在视频照相机102的目镜上和/或传送到位于物理空间体积100的壁上的监视器110。因此，‘创建’电影镜头的过程包括：将生成的场景递送到物理照相机102；跟踪照相机102在物理空间体积100内的位置和取向；与物理照相机102在物理空间体积100内的被跟踪的位置相对应地将虚拟照相机放置在3D环境内；捕捉虚拟照相机的视场内的镜头，其中，依照照相机102的被跟踪的取向来测量虚拟照相机的视场；以及在虚拟照相机的视场内显示捕捉的3D环境的镜头以便通过照相机102的目镜和/或监视器110来观看。可以有线地或无线地递送所捕捉的镜头并在视频照相机上显示。图3示出物理空间体积100的一个示例性装备。
总而言之，描述了一种用于模拟在3D环境内部操作的虚拟照相机的性能的系统。该系统包括位置跟踪器、取向跟踪器、处理器和显示器。位置跟踪器被配置为跟踪在物理空间体积内操作的物理照相机的位置。取向跟踪器被配置为跟踪物理照相机的取向。该处理器包括存储包括可执行指令的计算机程序的存储介质。可执行指令促使处理器：（1）将虚拟照相机放置在具有针对影片或视频游戏生成的场景的3D环境内，其中，虚拟照相机被与在物理空间体积内操作的物理照相机的被跟踪的位置相对应地放置在3D环境内；以及（2）捕捉虚拟照相机的视场内的镜头，其中，依照物理照相机的被跟踪的取向来测量虚拟照相机的视场。显示器被配置为显示用虚拟照相机捕捉的3D环境的捕捉镜头。
如上所述，在3D环境中模拟的虚拟照相机通过使得照相机操作者能够向前、远离和围绕运动捕捉（或关键帧动画）人物或对象移动以产生3D环境的真实第一人视点来补充运动捕捉照相机。例如，图9示出了握住物理照相机910并在物理空间体积（例如图1中的100）内操作的照相机操作者900。由于照相机910正在被在天花板上的跟踪器跟踪位置且被附着于照相机910的传感器跟踪取向，所以那些被跟踪的信息被传送到处理器，并且处理器发送回表示虚拟照相机在3D环境内的视图和移动的视频。此视频被显示在墙壁上的监视器和被附着于物理照相机910的显示器（例如目镜）上。
在通过上文所述本发明的不同实施例使得虚拟照相机的模拟可用之前，运动捕捉会话（或动画关键帧会话）涉及判定照相机将定位于哪里并相应地指引运动捕捉演员（或动画人物）移动。然而，用上述技术的可用性，能够在完成运动捕捉会话（或动画关键帧会话）之后判定照相机的位置和角度。此外，由于能够实时地执行虚拟照相机模拟会话，所以能够在选择提供最好照相机移动和角度的特定拍摄之前执行并记录多个虚拟照相机模拟会话。该会话被记录为使得能够相对于照相机的移动和角度评估并比较每个会话。在某些情况下，能够在多个不同运动捕捉会话中的每一个上执行多个虚拟照相机模拟会话以选择最好的组合。
在另一实施例中，将实地拍摄（live action）运动捕捉会话集成到虚拟照相机102被放置在其中的3D环境100中。在本实施例中，由演员（未示出）佩戴的标记的移动被照明源150照亮并被数字式照相机160记录。在替换实施例中，数字式照相机160在不需要照明源150的情况下直接记录标记的移动。然后将3D环境中的运动中的演员的数字表示集成到生成的场景中。因此，在本实施例中，照相机操作者120观看包括3D环境中的运动捕捉演员的所产生的镜头。在另一实施例中，执行多个虚拟照相机模拟会话，其中，针对多个虚拟照相机模拟会话中的每一个执行不同的实地拍摄运动捕捉会话。
在另一实施例中，在移动摄影车（dolly）上配置物理照相机装备以在平滑的运动中移动照相机，该平滑运动提供用于真实影片拍摄会话的感觉。在另一实施例中，视频照相机102包括照相机变焦控制功能，其提供用于改变或调整虚拟照相机在3D环境中的放置的变焦能力。例如，可以通过使用此变焦控制功能将虚拟照相机放置在鸟瞰图或特写视图中。因此，在一个示例中，当虚拟照相机被放置在鸟瞰图中时，能够拍着3D环境的鸟瞰镜头。在另一示例中，当照相机被放置在特写视图中时，能够拍摄3D环境的连续特写镜头（例如用照相机抖动）。在本实施例中，能够调整虚拟照相机在3D环境中的放置，使得虚拟照相机的位置可以是可缩放的。例如，可以将物理体积中的照相机移动3英尺以根据比例尺使3D环境中的虚拟体积移动3英尺或3英里。可缩放性允许产生多种镜头，包括直升飞机镜头、吊车镜头以及手持式照相机镜头。
在这些示例中，将物理照相机放置在照相机操作者的手中以产生导演所期望的电影镜头，并将产生的电影镜头存储到计算机中。因此，使用后处理运动捕捉会话场景、计算机生成的场景或胶片照相机场景（即由演员表演产生的场景）来产生这些电影镜头（即，由照相机操作者制作的镜头）。这允许导演在从后处理场景产生电影镜头时运行多遍，直至获得期望的镜头，而不使演员们执行多次拍摄。
图4是举例说明依照一个实施例的用于模拟在针对影片和视频游戏生成的场景内部操作的虚拟照相机的性能的过程的流程图400。在图4的所示实施例中，在方框410处生成场景。通过用胶片照相机或运动捕捉照相机捕捉场景来生成场景、进行处理并递送到物理照相机102。在方框420处，在物理空间体积内跟踪照相机102的位置和取向。如上文所讨论的，在一个示例性实施方式中，使用被附着于天花板的以网格图案130布局的位置跟踪器140来跟踪照相机102的位置。可以使用跟踪器140或被附着于照相机102的加速度计/陀螺仪来感测取向。针对位置和取向跟踪物理照相机102，使得照相机102的位置和旋转被适当地模拟到虚拟照相机的移动中。
然后在方框430处与照相机102在物理空间体积100内的被跟踪的位置相对应地将虚拟照相机放置在3D环境内。通过与照相机102的被跟踪的位置相对应地将虚拟照相机放置在3D环境内，将照相机102模拟为在3D环境内操作的虚拟照相机。在方框440处使用来自物理照相机102的控制功能的输入（包括其位置和取向）来捕捉虚拟照相机的视场（FOV）内的电影镜头。因此，依照物理照相机102的被跟踪的取向来测量虚拟照相机的FOV。在方框450处显示用虚拟照相机捕捉的3D环境的捕捉镜头以便观看。在上文所讨论的实施例中，在照相机102的目镜和/或监视器110上显示捕捉的镜头。
在替换实施例中，物理空间体积内的整个照相机跟踪装备是其中玩游戏者遵循在游戏内生成的动作扮演照相机操作者的角色的游戏。该装备包括：处理器，其用于协调游戏；位置跟踪器，其能够安装在天花板上；方向跟踪器（例如，加速度计、陀螺仪等），其被耦合到由玩游戏者保持的照相机；以及记录设备，其被耦合到处理器以记录玩游戏者拍摄的动作的电影镜头。在一个配置中，处理器是诸如Sony Playstation®的游戏控制台。
提供公开实施例的本文中的说明是为了使得本技术领域的技术人员能够实现或使用本发明。对这些实施例的许多修改对本领域的技术人员来说将是显而易见的，并且在不脱离本发明的精神或范围的情况下，本文定义的原理可以应用于其它实施例。例如，虽然本说明书描述了使用物理照相机来模拟虚拟照相机的性能，但可以使用能够被跟踪的任何对象来模拟虚拟照相机。在另一示例中，虽然本说明书描述了在针对影片和视频游戏生成的场景内操作的类似于照相机的对象的性能，但能够将对象模拟为在诸如音乐会、聚会、演出以及财产检视之类的其它应用内操作。在另一示例中，可以跟踪不止一个物理对象以模拟对象之间的交互（例如，跟踪两个照相机以模拟两个玩游戏者之间的打斗场景，其中，每个玩游戏者具有不同的移动和视角）。因此，本发明并不意图局限于本文所示的实施例，而是符合按照本文公开的原理和新型特征的最宽范围。
在电子硬件、计算机软件或这些技术的组合中实现了本发明的各种实施方式。某些实施方式包括由一个或多个计算设备执行的一个或多个计算机程序。通常，计算设备包括一个或多个处理器、一个或多个数据存储组件（例如，易失性或非易失性存储器模块及永久性光学和磁存储器件，诸如硬盘和软盘驱动器、CD-ROM驱动器以及磁带驱动器）、一个或多个输入设备（例如，游戏控制器、鼠标和键盘）以及一个或多个输出设备（例如，显示设备）。
计算机程序包括通常存储在永久性存储介质中且随后在运行时间被拷贝到存储器中的可执行代码。至少一个处理器通过按照规定顺序从存储器检索程序指令来执行代码。当执行程序代码时，计算机从输入和/或存储设备接收数据，对数据执行操作，并且然后将结果得到的数据递送到输出和/或存储设备。
本领域的技术人员将认识到可以将本文所述的各种说明性模块和方法步骤实现为电子硬件、软件、固件或前述项目的组合。为了清楚地举例说明硬件和软件的此可互换性，在本文中一般地在其功能方面描述了各种说明性模块和方法步骤。此类功能是被实现为硬件还是软件取决于特定的应用和施加于整个系统的设计约束。技术人员能够针对每个特定的应用以变化的方式实现所述功能，但是不应将此类实施方式判定解释为造成从本发明的范围脱离。另外，模块或步骤内的功能的分组是为了便于说明。在不脱离本发明的情况下，可以将特定功能从一个模块或步骤移动至另一个。
另外，可以在硬件中、在由处理器执行的软件模块中或在两者的组合中直接体现结合本文公开的实施方式描述的方法或技术的步骤。软件模块可以存在于RAM存储器、闪速存储器、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动磁盘、CD-ROM或包括网络存储介质的任何其它形式的存储介质。可以将示例性存储介质耦合到处理器，使得处理器能够从存储介质读取信息并向存储介质写入信息。在替换中，存储介质可以与处理器成一整体。处理器和存储介质还可以存在于ASIC中。

Claims (37)

1.一种用于影片和视频游戏的方法，包括：
模拟在具有场景的虚拟3D环境内部操作的虚拟照相机的性能，包括：
跟踪对象在物理空间体积内的位置和取向；
与对象在物理空间体积内的被跟踪的位置相对应地将虚拟照相机放置在虚拟3D环境内；
捕捉虚拟照相机的视场内的镜头，
其中，依照对象的被跟踪的位置和取向来测量虚拟照相机的视场；以及
显示用虚拟照相机捕捉的3D环境的捕捉镜头。
2.如权利要求1所述的方法，其中，所述对象是具有包括变焦、聚焦、重放和记录的照相机控制功能的物理视频照相机。
3.如权利要求2所述的方法，其中，所述照相机控制功能中的一个包括可缩放性控制以调整虚拟3D环境中的虚拟照相机的放置。
4.如权利要求2所述的方法，其中，在移动摄影车上将物理视频照相机配置为在平滑的运动中移动照相机，该平滑运动提供用于真实影片拍摄会话的感觉。
5.如权利要求1所述的方法，还包括生成用于影片和视频游戏的3D环境的场景。
6.如权利要求5所述的方法，其中，使用胶片照相机来捕捉生成的3D环境的场景。
7.如权利要求5所述的方法，其中，在运动捕捉会话中捕捉生成的虚拟3D环境的场景。
8.如权利要求7所述的方法，还包括执行多个虚拟照相机模拟会话以选择提供最好照相机移动和角度的拍摄，其中，所述模拟虚拟照相机的性能是单个虚拟照相机模拟会话。
9.如权利要求8所述的方法，其中，记录所述多个虚拟照相机模拟会话，使得能够评估并比较每个会话。
10.如权利要求8所述的方法，还包括
执行多个运动捕捉会话，
其中，针对多个运动捕捉会话中的每一个执行多个虚拟照相机模拟会话以选择提供最好照相机移动和角度的拍摄。
11.如权利要求1所述的方法，还包括
将实地拍摄运动捕捉会话集成到虚拟3D环境的场景中。
12.如权利要求11所述的方法，还包括
执行多个虚拟照相机模拟会话，其中，针对多个虚拟照相机模拟会话中的每一个执行不同的实地拍摄运动捕捉会话。
13.如权利要求11所述的方法，其中，所述捕捉虚拟照相机的视场内的镜头包括捕捉在虚拟3D环境的场景内操作的实地拍摄运动捕捉会话的演员的镜头。
14.如权利要求1所述的方法，其中，使用多个位置跟踪器来跟踪对象的位置。
15.如权利要求1所述的方法，其中，使用被附着于对象的加速度计和陀螺仪中的至少一个来跟踪对象的取向。
16.如权利要求1所述的方法，其中，在对象的目镜和位于物理空间体积的墙壁上的监视器中的至少一个上显示捕捉的3D环境的镜头。
17.一种用于模拟虚拟环境中的虚拟照相机的移动的方法，包括：
接收包括虚拟环境的视频文件；
跟踪由照相机操作者操作的物理照相机以生成物理照相机的位置和取向；
使用生成的物理照相机的位置和取向来模拟虚拟环境内的虚拟照相机的移动。
18.如权利要求17所述的方法，还包括
由照相机操作者基本上自由地在虚拟环境内移动以产生电影镜头。
19.如权利要求17所述的方法，其中，所述视频文件包括用于视频游戏的文件。
20.如权利要求17所述的方法，其中，产生电影镜头包括捕捉虚拟照相机的视场内的电影镜头，其中，相对于物理照相机的位置和取向来测量视场。
21.如权利要求17所述的方法，其中，所述物理照相机具有包括变焦、聚焦、重放和记录的照相机控制功能。
22.如权利要求21所述的方法，其中，照相机控制功能中的一个包括可缩放性控制以调整虚拟环境中的虚拟照相机的视场。
23.如权利要求17所述的方法，还包括
执行多个虚拟照相机模拟会话以选择提供最好照相机移动和角度的拍摄，
其中，所述模拟虚拟照相机的移动是单个虚拟照相机模拟会话。
24.如权利要求23所述的方法，其中，记录所述多个虚拟照相机模拟会话，使得能够评估并比较每个会话。
25.如权利要求23所述的方法，还包括
执行多个运动捕捉会话，
其中，针对多个运动捕捉会话中的每一个执行多个虚拟照相机模拟会话以选择提供最好照相机移动和角度的拍摄。
26.一种用于模拟虚拟环境中的虚拟照相机的移动的系统，包括：
位置跟踪器，其被配置为跟踪在物理空间体积内操作的物理照相机的位置；取向跟踪器，其被配置为跟踪物理照相机的取向；
处理器，其包括存储包括可执行指令的计算机程序的存储介质，该可执行指令促使所述处理器：
接收包括虚拟环境的视频文件；
跟踪由照相机操作者操作的物理照相机以生成物理照相机的位置和取向；
使用生成的物理照相机的位置和取向来模拟虚拟环境内的虚拟照相机的移动；以及
显示器，其被配置为显示用虚拟照相机捕捉的3D环境的捕捉镜头。
27.如权利要求26所述的系统，其中，所述处理器是被配置为从物理照相机、位置跟踪器和取向跟踪器接收输入的游戏控制台。
28.如权利要求26所述的系统，其中，所述取向跟踪器包括被耦合到物理照相机的加速度计和陀螺仪中的至少一个。
29.如权利要求26所述的系统，其中，所述显示器包括照相机的目镜。
30.如权利要求26所述的系统，其中，在移动摄影车上将物理照相机配置为在平滑的运动中移动照相机，该平滑运动提供用于真实影片拍摄会话的感觉。
31.如权利要求26所述的系统，其中，所述物理照相机包括包含变焦、聚焦、重放和记录的照相机控制功能。
32.如权利要求26所述的系统，其中，所述照相机控制功能中的一个包括可缩放性控制以调整虚拟环境中的虚拟照相机的放置。
33.一种存储计算机程序的计算机可读存储介质，该计算机程序用于模拟在具有针对影片和视频游戏生成的场景的3D环境内部操作的虚拟照相机的性能，该计算机程序包括可执行指令，该可执行指令促使计算机：
跟踪对象在物理空间体积内的位置和取向；
与对象在物理空间体积内的被跟踪的位置相对应地将虚拟照相机放置在虚拟3D环境内；
捕捉虚拟照相机的视场内的镜头，
其中，依照对象的被跟踪的位置和取向来测量虚拟照相机的视场；以及
显示用虚拟照相机捕捉的3D环境的捕捉镜头。
34.如权利要求33所述的存储介质，还包括可执行指令，其促使计算机生成用于影片和视频游戏的3D环境的场景。
35.如权利要求33所述的存储介质，还包括可执行指令，其促使计算机将实地拍摄运动捕捉会话集成到3D环境的场景中。
36.如权利要求35所述的存储介质，其中，促使计算机捕捉虚拟照相机的视场内的镜头的可执行指令包括促使计算机捕捉在3D环境的场景内操作的实地拍摄运动捕捉会话的演员的镜头的可执行指令。
37.如权利要求35所述的存储介质，其中，促使计算机将虚拟照相机放置在3D环境内的可执行指令包括促使计算机使用照相机变焦控制功能来调整虚拟照相机在3D环境中的放置的可执行指令。
CN201510023833.4A 2009-04-07 2009-10-19 模拟虚拟照相机的性能的方法和系统 Active CN104580911B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/419880 2009-04-07
US12/419,880 US9299184B2 (en) 2009-04-07 2009-04-07 Simulating performance of virtual camera
CN200980159729.0A CN102458594B (zh) 2009-04-07 2009-10-19 模拟虚拟照相机的性能的系统和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN200980159729.0A Division CN102458594B (zh) 2009-04-07 2009-10-19 模拟虚拟照相机的性能的系统和方法

Publications (2)

Publication Number Publication Date
CN104580911A CN104580911A (zh) 2015-04-29
CN104580911B true CN104580911B (zh) 2019-05-03

Family

ID=42825810

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510023833.4A Active CN104580911B (zh) 2009-04-07 2009-10-19 模拟虚拟照相机的性能的方法和系统
CN200980159729.0A Active CN102458594B (zh) 2009-04-07 2009-10-19 模拟虚拟照相机的性能的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN200980159729.0A Active CN102458594B (zh) 2009-04-07 2009-10-19 模拟虚拟照相机的性能的系统和方法

Country Status (7)

Country Link
US (1) US9299184B2 (zh)
EP (1) EP2405981A4 (zh)
JP (1) JP2012523269A (zh)
KR (1) KR101334637B1 (zh)
CN (2) CN104580911B (zh)
BR (1) BRPI0924523B8 (zh)
WO (1) WO2010117387A1 (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964052B1 (en) 2010-07-19 2015-02-24 Lucasfilm Entertainment Company, Ltd. Controlling a virtual camera
US8866898B2 (en) * 2011-01-31 2014-10-21 Microsoft Corporation Living room movie creation
US11232626B2 (en) 2011-12-21 2022-01-25 Twenieth Century Fox Film Corporation System, method and apparatus for media pre-visualization
US9799136B2 (en) 2011-12-21 2017-10-24 Twentieth Century Fox Film Corporation System, method and apparatus for rapid film pre-visualization
WO2013096403A1 (en) * 2011-12-21 2013-06-27 Twentieth Century Fox Film Corporation System, method and apparatus for rapid film pre-visualization
KR101713772B1 (ko) * 2012-02-06 2017-03-09 한국전자통신연구원 사전 시각화 영상 생성 장치 및 방법
WO2013159171A1 (en) * 2012-04-24 2013-10-31 Cast Group Of Companies Inc. System and method for providing three-dimensional paths
US10007348B2 (en) * 2012-10-16 2018-06-26 Jae Woong Jeon Method and system for controlling virtual camera in virtual 3D space and computer-readable recording medium
US10262460B2 (en) * 2012-11-30 2019-04-16 Honeywell International Inc. Three dimensional panorama image generation systems and methods
US20140320592A1 (en) * 2013-04-30 2014-10-30 Microsoft Corporation Virtual Video Camera
KR102077108B1 (ko) * 2013-09-13 2020-02-14 한국전자통신연구원 콘텐츠 체험 서비스 제공 장치 및 그 방법
US20170036106A1 (en) * 2014-01-21 2017-02-09 I/P Solution, Inc. Method and System for Portraying a Portal with User-Selectable Icons on a Large Format Display System
US9332285B1 (en) 2014-05-28 2016-05-03 Lucasfilm Entertainment Company Ltd. Switching modes of a media content item
US20170282075A1 (en) * 2014-09-24 2017-10-05 Telefonaktiebolaget Lm Ericsson (Publ) Methods, system and nodes for handling media streams relating to an online game
US9690374B2 (en) * 2015-04-27 2017-06-27 Google Inc. Virtual/augmented reality transition system and method
JP6097377B1 (ja) * 2015-11-27 2017-03-15 株式会社コロプラ 画像表示方法及びプログラム
KR102547717B1 (ko) * 2015-12-21 2023-06-26 한국전자통신연구원 3d 개발엔진을 이용한 다시점 콘텐츠 생성 시뮬레이션 장치 및 그 방법
US10845188B2 (en) 2016-01-05 2020-11-24 Microsoft Technology Licensing, Llc Motion capture from a mobile self-tracking device
US11269580B2 (en) * 2017-02-13 2022-03-08 Comcast Cable Communications, Llc Guided collaborative viewing of navigable image content
EP3586313A1 (en) * 2017-02-27 2020-01-01 Thomson Licensing Method, system and apparatus for visual effects
RU2745828C1 (ru) 2017-03-17 2021-04-01 Юнити Ипр Апс Способ и система для автоматизированного предохранения от столкновений и сохранения композиции камеры
CN107369195A (zh) * 2017-06-16 2017-11-21 珠海金山网络游戏科技有限公司 一种实现3d游戏拍照分享的方法、装置及系统
CN107481305B (zh) * 2017-08-18 2021-02-09 苏州歌者网络科技有限公司 游戏动画制作方法
US11173398B2 (en) * 2018-05-21 2021-11-16 Microsoft Technology Licensing, Llc Virtual camera placement system
GB2593833B (en) * 2018-11-06 2022-09-14 Lucasfilm Entertainment Co Ltd Immersive content production system
CN109765798B (zh) * 2018-12-21 2021-09-28 北京电影学院 一种影视摄影的半实物仿真系统
US11747617B2 (en) * 2020-07-24 2023-09-05 Padula Rehabilitation Technologies, Llc Systems and methods for a parallactic ambient visual-field enhancer
US11622100B2 (en) * 2021-02-17 2023-04-04 flexxCOACH VR 360-degree virtual-reality system for dynamic events
CN112929627B (zh) * 2021-02-22 2023-02-07 广州博冠信息科技有限公司 虚拟现实场景实现方法、装置、存储介质及电子设备
CN113206991A (zh) * 2021-04-23 2021-08-03 深圳市瑞立视多媒体科技有限公司 全息显示方法、系统、计算机程序产品及存储介质
CN115639976B (zh) * 2022-10-28 2024-01-30 深圳市数聚能源科技有限公司 一种虚拟现实内容多模式多角度同步展示方法及系统
CN117119294B (zh) * 2023-08-24 2024-08-20 腾讯科技（深圳）有限公司 虚拟场景的拍摄方法、装置、设备、介质和程序
CN117395510B (zh) * 2023-12-12 2024-02-06 湖南快乐阳光互动娱乐传媒有限公司 虚拟机位的控制方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010700A (zh) * 2004-08-23 2007-08-01 盖姆卡斯特公司 用以观看和操纵虚拟环境的设备、方法和系统

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0807352A1 (en) * 1995-01-31 1997-11-19 Transcenic, Inc Spatial referenced photography
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
JP3183632B2 (ja) * 1997-06-13 2001-07-09 株式会社ナムコ 情報記憶媒体及び画像生成装置
US6072504A (en) * 1997-06-20 2000-06-06 Lucent Technologies Inc. Method and apparatus for tracking, storing, and synthesizing an animated version of object motion
JP2002504785A (ja) * 1998-02-18 2002-02-12 ゲーエムデー−フォルシュングスチェントルム インフォマーションズテクニク ゲーエムベーハー 仮想テレビ・ビデオスタジオのためのカメラ追跡システム
US8965898B2 (en) * 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
JP4439668B2 (ja) 2000-03-31 2010-03-24 パナソニック株式会社 画像合成装置
JP3833445B2 (ja) * 2000-06-14 2006-10-11 株式会社バンダイナムコゲームス ゲーム装置および情報記憶媒体
JP3561463B2 (ja) * 2000-08-11 2004-09-02 コナミ株式会社 ３ｄビデオゲームにおける擬似カメラ視点移動制御方法及び３ｄビデオゲーム装置
US6850250B2 (en) * 2000-08-29 2005-02-01 Sony Corporation Method and apparatus for a declarative representation of distortion correction for add-on graphics in broadcast video
US20040104935A1 (en) * 2001-01-26 2004-06-03 Todd Williamson Virtual reality immersion system
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
US6769771B2 (en) * 2002-03-14 2004-08-03 Entertainment Design Workshop, Llc Method and apparatus for producing dynamic imagery in a visual medium
US7038660B2 (en) * 2003-03-13 2006-05-02 Sony Corporation Wheel motion control input device for animation system
US20060052760A1 (en) 2004-08-20 2006-03-09 Ulrich Batzdorf Bone dust accumulator
US8094928B2 (en) * 2005-11-14 2012-01-10 Microsoft Corporation Stereo video for gaming
US20070248283A1 (en) * 2006-04-21 2007-10-25 Mack Newton E Method and apparatus for a wide area virtual scene preview system
US8339402B2 (en) * 2006-07-16 2012-12-25 The Jim Henson Company System and method of producing an animated performance utilizing multiple cameras
NZ578163A (en) * 2006-12-04 2012-04-27 Lynx System Developers Inc Autonomous systems and methods for still and moving picture production
US20090237564A1 (en) * 2008-03-18 2009-09-24 Invism, Inc. Interactive immersive virtual reality and simulation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101010700A (zh) * 2004-08-23 2007-08-01 盖姆卡斯特公司 用以观看和操纵虚拟环境的设备、方法和系统

Also Published As

Publication number Publication date
US9299184B2 (en) 2016-03-29
JP2012523269A (ja) 2012-10-04
CN102458594B (zh) 2015-02-25
KR20120005020A (ko) 2012-01-13
WO2010117387A1 (en) 2010-10-14
CN104580911A (zh) 2015-04-29
BRPI0924523A2 (pt) 2016-03-01
EP2405981A4 (en) 2017-04-05
BRPI0924523B8 (pt) 2019-08-06
US20100253676A1 (en) 2010-10-07
EP2405981A1 (en) 2012-01-18
CN102458594A (zh) 2012-05-16
KR101334637B1 (ko) 2013-12-12

Similar Documents

Publication Publication Date Title
CN104580911B (zh) 模拟虚拟照相机的性能的方法和系统
RU2544776C2 (ru) Съемка видов и движений актеров, действующих в сгенерированных декорациях
US9729765B2 (en) Mobile virtual cinematography system
JP5137970B2 (ja) ビデオストリームにおいて、マーク無しに、テクスチャー化平面幾何学的オブジェクトをリアルタイムで自動追跡するリアリティ向上方法および装置
CN107533356A (zh) 头像控制系统
CN102681657A (zh) 交互式内容创建
CN109447020A (zh) 基于全景肢体动作的交互方法及系统
CN108369738A (zh) 来自移动自追踪设备的运动捕捉
EP2593197A2 (en) Improvements relating to viewing of real-time, computer-generated environments
Wang et al. Applied research on real-time film and television animation virtual shooting for multiplayer action capture technology based on optical positioning and inertial attitude sensing technology
Song et al. An immersive VR system for sports education
CN110992486B (zh) 基于vr技术的水下仿真拍摄系统的拍摄方法
Zhen et al. Physical world to virtual reality–motion capture technology in dance creation
Aloor et al. Design of VR headset using augmented reality
Horváthová et al. Using blender 3D for learning virtual and mixed reality
Törmänen Comparison of entry level motion capture suits aimed at indie game production
Lake Technical animation in video games
Hansen Utilising computer vision to create an augmented reality training aid for basketball shooting: a thesis presented in partial fulfilment of the requirements for the degree of Master of Engineering at Massey University, Manawatū, New Zealand
KR100684401B1 (ko) 가상현실 기반의 골프학습 장치, 그 방법 및 그 기록매체
Brusi Making a game character move: Animation and motion capture for video games
Gomide Motion capture and performance
BRPI0924523B1 (pt) Método e sistema para gerar sequências de vídeos em primeira pessoa, e, método para simular movimento de uma câmera virtual em um ambiente virtual
Schulz et al. Techniques for CG Music Video Production: the making of Dance to the Music/Play to the Motion
Ndubuisi et al. Model Retargeting Motion Capture System Based on Kinect Gesture Calibration
Faat Final Year Project 2011 (1st Term) LYU1103

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant