CN117527993A - 一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法 - Google Patents
一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法 Download PDFInfo
- Publication number
- CN117527993A CN117527993A CN202311465315.9A CN202311465315A CN117527993A CN 117527993 A CN117527993 A CN 117527993A CN 202311465315 A CN202311465315 A CN 202311465315A CN 117527993 A CN117527993 A CN 117527993A
- Authority
- CN
- China
- Prior art keywords
- virtual
- real
- camera
- data
- shooting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000002452 interceptive effect Effects 0.000 claims abstract description 19
- 230000033001 locomotion Effects 0.000 claims abstract description 19
- 238000012545 processing Methods 0.000 claims abstract description 17
- 238000010276 construction Methods 0.000 claims abstract description 7
- 238000012937 correction Methods 0.000 claims abstract description 5
- 238000009877 rendering Methods 0.000 claims description 27
- 238000004088 simulation Methods 0.000 claims description 19
- 238000013507 mapping Methods 0.000 claims description 17
- 230000000694 effects Effects 0.000 claims description 13
- 230000008859 change Effects 0.000 claims description 8
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000005540 biological transmission Effects 0.000 claims description 3
- 238000004590 computer program Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 claims 1
- 239000000463 material Substances 0.000 description 29
- 239000010421 standard material Substances 0.000 description 10
- 230000008901 benefit Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000006798 recombination Effects 0.000 description 1
- 238000005215 recombination Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明实施例公开了一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法、以及存储介质和电子设备，包括：画面拍摄单元，获取现实画面数据；虚拟空间构建单元，用于判断虚拟摄像机运动模式信息，确定虚拟空间中所拍摄的空间场景以及与至少一个拍摄目标所对应的目标模型；跟踪系统单元，通过捕捉模块对实画面数据进行内容提取，以获取真实摄像机和虚拟摄像机所拍摄的现实画面参数；匹配矫正单元，基于真实摄像机拍摄现实画面数据参数与虚拟摄影机进行匹配；交互摄影单元，基于虚拟引擎处理虚拟摄影机和真实摄影机的参数数据实现交互式摄影。通过显示屏幕实时输出理想的虚焦画面，从而提高了实际摄像机拍摄图像的真实感。
Description
技术领域
本发明涉及图像处理技术领域，尤其是一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法、以及存储介质和电子设备。
背景技术
虚拟拍摄指的就是在电影拍摄中，根据导演所要求的拍摄动作，全部镜头都在电脑里的虚拟场景中进行。拍摄这个镜头所需的各种元素，包括场景、人物、灯光等，全部被整合进了电脑，然后，导演就可以根据自己的意图，在计算机上“指挥”角色的表演和动作，从任意角度运动他的镜头。
现有的虚拟拍摄技术中的虚拟相机仅仅为一个纯软件的功能模块，因而无法通过真实相机来实时控制虚拟相机进行虚拟拍摄，通过现场拍摄摄像机将其虚化，所造成的虚化效果不理想，不能达到真实表演在这个场景内的比例，影响了虚拟拍摄过程中摄像机拍摄画面的真实感。
发明内容
本发明要解决的技术问题在于克服现有技术的不足，提供一种一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法。
根据本发明的一个方面，提供一种在可控空间中进行虚拟拍摄的装置，其特征在于，包括：
画面拍摄单元，用于拍摄现实画面，以获取现实画面数据；
虚拟空间构建单元，包括虚拟引擎和控制服务器，虚拟空间构建单元用于判断虚拟摄像机运动模式信息，确定虚拟空间中所拍摄的空间场景以及与至少一个拍摄目标所对应的目标模型；
跟踪系统单元，包括捕捉模块，用于通过捕捉模块对实画面数据进行内容提取，以获取真实摄像机和虚拟摄像机所拍摄的现实画面参数；
匹配矫正单元，基于真实摄像机拍摄现实画面数据参数与虚拟摄影机进行匹配，控制服务器基于真实画面数据对虚拟画面数据进行矫正；
交互摄影单元，基于虚拟引擎处理虚拟摄影机和真实摄影机的参数数据实现交互式摄影；
场景创作单元，用于根据交互式摄影所获取的摄影数据在虚拟场景中进行视觉呈现。
优选地，画面拍摄单元包括：摄影棚、LED显示屏幕、可多轴向角度调节拍摄的真实摄像机、至少一个拍摄目标以及控制装置，真实摄像机和至少一个拍摄目标上均装设有捕捉装置，所述捕捉装置设置有位置获取模块和位置处理模块。
优选地，还包括，
位置校准模块，用于通过第二位置信息来确定虚拟摄像机在虚拟空间背景中的位置，并判断虚拟摄像机运动模式信息；
虚拟拍摄模块，用于运动模式信息来进行虚拟拍摄；
画面传输模块，用于虚拟摄像机拍摄到的画面传输至服务器终端。
优选地，虚拟摄像机通过物理模拟模型实时获取跟随真实摄像机同步修改焦点跟踪器的输出数据，物理模拟模型包括：云台模拟模型和导轨模拟模型。
优选地，虚拟摄像机根据真实摄像机焦点跟踪器输出数据匹配生成虚拟摄像机的焦点数据，将虚拟摄像机焦点跟踪器的输出数据还原为真实摄像机的焦点数据，虚拟摄像机获取相对应真实摄像机的焦点映射曲线；
所述装置还包括，跟焦数据获取模块用于获取跟随真实摄像机对焦圈同步变化的焦点跟踪器输出数据；
所述装置还包括，匹配模块，用于焦点跟踪器输出数据匹配生成虚拟相机焦点数据。
优选地，还包括，
焦点设定模块，用于将虚拟相机焦点数据设定为虚拟相机当前的焦点值；
焦点数据生成模块，用于使真实摄像机对焦映射曲线，虚拟摄像机得到与真实摄像机对焦数据相对应的虚拟摄像机焦点数据，在LED屏幕中显示虚拟场景与真实摄像机拍摄目标的实时合拍画面，虚拟引擎确定虚拟数据画面与真实摄像机拍摄目标的合拍视场范围
优选地，在LED屏幕中渲染与合拍场景画面信息所对应的贴图信息；
虚拟引擎确定合拍屏幕内实时的贴图信息为拍摄图像信息，虚拟引擎根据LED屏幕的位置及轴向信息、真实摄像机的位置及轴向信息、每个拍摄目标的位置及轴向信息，用于确定拍摄目标相对真实摄像机的位置变化信息和虚拟场景的位置变化信息。
根据本发明的另一方面，提供一种使用如上任意一项的装置在可控空间中进行虚拟拍摄的方法，其特征在于，包括以下步骤：
获取真实摄像机拍摄现实画面；
根据虚拟引擎和控制服务器构建虚拟空间，获取虚拟空间画面数据；
虚拟引擎通过跟踪系统获取真实摄像机和虚拟摄像机拍摄现实画面数据参数；
根据虚拟引擎基于真实摄像机拍摄现实画面数据参数，来进行与虚拟摄影机拍摄的虚拟画面数据参数进行匹配和矫正；
根据控制服务器的虚拟引擎处理虚拟摄影机和真实摄影机的参数数据，来进行交互式摄影；
根据建模软件、渲染引擎和特效编辑器来对虚拟场景进行创作。
优选地，现实画面数据是通过真实摄像机对摄影棚内的真实物体进行实时拍摄，来转化成画面数据。
优选地，虚拟画面数据是通过虚拟引擎生成的虚拟摄像机拍摄虚拟空间内的虚拟物体，来进行实施拍摄转化为画面参数，通过控制服务器对真实物体和虚拟物体拍摄的画面数据进行数据处理。
根据本发明的另一方面，提供一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器和所述处理器耦合；所述存储器存储有程序指令，所述程序指令由所述处理器执行时，使得所述电子设备执行如上任意一项所述的方法。
根据本发明的另一方面，提供一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如上任意一项所述的方法。
采用上述技术方案后，本发明与现有技术相比具有以下有益效果，当然，实施本发明的任一产品并不一定需要同时达到以下所述的所有优点：
该可控空间虚拟拍摄方法及装置通过根据显示屏幕的位置及轴向信息、实际摄像机的位置及轴向信息以及每个拍摄目标的位置及轴向信息，确定虚拟摄像机的目标焦点信息以及目标景深信息；以及还控制虚拟摄像机按照目标焦点信息以及目标景深信息向显示屏幕输出图像，以用于实际摄像机拍摄图像。
该可控空间虚拟拍摄方法及装置通过根据获取到的显示屏幕的位置及轴向信息、实际摄像机的位置及轴向信息以及每个拍摄目标的位置及轴向信息，计算得到虚拟摄像机的目标焦点信息、目标景深信息，并根据计算得到的结果对虚拟摄像机进行实时动态调节，以达到虚拟摄像与实际摄像机两者的镜头虚化一致的效果，并以通过显示屏幕实时输出理想的虚焦画面，从而提高了实际摄像机拍摄图像的真实感。
下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。
附图说明
通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1是本发明一示例性实施例提供的在可控空间中进行虚拟拍摄的装置的结构示意图；
图2是本发明一示例性实施例提供的虚拟拍摄的方法的流程图。
具体实施方式
下面，将参考附图详细地描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。
应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。
还应理解，在本发明实施例中，“多个”可以指两个或两个以上，“至少一个”可以指一个、两个或两个以上。
还应理解，对于本发明实施例中提及的任一部件、数据或结构，在没有明确限定或者在前后文给出相反启示的情况下，一般可以理解为一个或多个。
图1是本发明一示例性实施例提供的在可控空间中进行虚拟拍摄的装置的结构示意图。装置包括：
画面拍摄单元101，用于拍摄现实画面，以获取现实画面数据；
虚拟空间构建单元102，包括虚拟引擎和控制服务器，虚拟空间构建单元用于判断虚拟摄像机运动模式信息，确定虚拟空间中所拍摄的空间场景以及与至少一个拍摄目标所对应的目标模型；
跟踪系统单元103，包括捕捉模块，用于通过捕捉模块对实画面数据进行内容提取，以获取真实摄像机和虚拟摄像机所拍摄的现实画面参数；
匹配矫正单元104，基于真实摄像机拍摄现实画面数据参数与虚拟摄影机进行匹配，控制服务器基于真实画面数据对虚拟画面数据进行矫正；
交互摄影单元105，基于虚拟引擎处理虚拟摄影机和真实摄影机的参数数据实现交互式摄影；
场景创作单元106，用于根据交互式摄影所获取的摄影数据在虚拟场景中进行视觉呈现。
在一个实施例中，画面拍摄单元101包括：摄影棚、LED显示屏幕、可多轴向角度调节拍摄的真实摄像机、至少一个拍摄目标以及控制装置，真实摄像机和至少一个拍摄目标上均装设有捕捉装置，设置有位置获取模块和位置处理模块。
在一个实施例中，还包括，位置校准模块，用于通过第二位置信息来确定虚拟摄像机在虚拟空间背景中的位置，并判断虚拟摄像机运动模式信息；虚拟拍摄模块，用于运动模式信息来进行虚拟拍摄；画面传输模块，用于虚拟摄像机拍摄到的画面传输至服务器终端。
在一个实施例中，虚拟摄像机通过物理模拟模型实时获取跟随真实摄像机同步修改焦点跟踪器的输出数据，物理模拟模型包括：云台模拟模型和导轨模拟模型。
在一个实施例中，虚拟摄像机根据真实摄像机焦点跟踪器输出数据匹配生成虚拟摄像机的焦点数据，将虚拟摄像机焦点跟踪器的输出数据还原为真实摄像机的焦点数据，虚拟摄像机获取相对应真实摄像机的焦点映射曲线。
在一个实施例中，装置还包括，跟焦数据获取模块用于获取跟随真实摄像机对焦圈同步变化的焦点跟踪器输出数据。
在一个实施例中，装置还包括，匹配模块，用于焦点跟踪器输出数据匹配生成虚拟相机焦点数据。
在一个实施例中，还包括，焦点设定模块，用于将虚拟相机焦点数据设定为虚拟相机当前的焦点值；焦点数据生成模块，用于使真实摄像机对焦映射曲线，虚拟摄像机得到与真实摄像机对焦数据相对应的虚拟摄像机焦点数据，在LED屏幕中显示虚拟场景与真实摄像机拍摄目标的实时合拍画面，虚拟引擎确定虚拟数据画面与真实摄像机拍摄目标的合拍视场范围
在一个实施例中，在LED屏幕中渲染与合拍场景画面信息所对应的贴图信息；虚拟引擎确定合拍屏幕内实时的贴图信息为拍摄图像信息，虚拟引擎根据LED屏幕的位置及轴向信息、真实摄像机的位置及轴向信息、每个拍摄目标的位置及轴向信息，用于确定拍摄目标相对真实摄像机的位置变化信息和虚拟场景的位置变化信息。
在另一个实施例中，提供了一种可控空间虚拟拍摄装置，包括：
画面拍摄单元：用于拍摄现实画面；拍摄画面单元包括：摄影棚、LED显示屏幕、可多轴向角度调节拍摄的真实摄像机、至少一个拍摄目标以及控制装置，真实摄像机和至少一个拍摄目标上均装设有捕捉装置；设置有位置获取模块和位置处理模块，根据动作捕捉装置服务器终端来确定第一位置信息；位置处理模块，根据第一位置信息生成第二位置信息；位置确定模块，根据第二位置信息来确定虚拟摄像机在虚拟空间背景中的位置；判断模块，判断虚拟摄像机运动模式信息；虚拟拍摄模块，根据运动模式信息来进行虚拟拍摄；画面推送模块，将虚拟摄像机拍摄到的画面推送至服务器终端。
虚拟空间构建单元，包括虚拟引擎和控制服务器，虚拟空间构建单元用于判断虚拟摄像机运动模式信息，确定虚拟空间中所拍摄的空间场景以及与至少一个拍摄目标所对应的目标模型；根据第一位置信息在虚拟空间中生成第二位置信息，根据第二位置信息确定虚拟摄像机在虚拟空间背景中的位置；选择模块，根据运动模式信息选择相应物理模拟模型；设定模块，根据物理模拟模型对虚拟摄像机的运动轨迹进行设定
跟踪系统单元，包括捕捉模块，虚拟引擎通过捕捉模块获取真实摄像机和虚拟摄像机所拍摄的现实画面参数；根据运动模式信息选择相对应的物理模拟模型，物理模拟模型对虚拟摄像机的运动轨迹进行设定，物理模拟模型包括：云台模拟模型、要比模拟模型、导轨模拟模型；通过获取跟随真实摄像机同步变化的焦点跟踪器的输出数据，根据焦点跟踪器的输出数据匹配生成虚拟摄像机的焦点数据，将虚拟摄像机的焦点数据设定为虚拟摄像机的当前阈值，为了实现用户在虚拟场景中的自由移动，可控空间虚拟拍摄装置通常使用跟踪系统来追踪用户的位置和姿态，这些系统可以使用传感器、摄像头或激光扫描等技术来实现。
匹配矫正单元：虚拟引擎基于真实摄像机拍摄现实画面数据参数与虚拟摄影机进行匹配，控制服务器基于真实画面数据对虚拟画面数据进行矫正；根据焦点跟踪器输出数据匹配生成虚拟摄像机焦点数据，将焦点跟踪器的输出数据还原为真实摄像机的焦点数据，获取相对应真实摄像机的焦点映射曲线，根据真实摄像机的焦点映射曲线得到与真实摄像机对焦数据相对应的虚拟摄像机焦点数据；跟焦数据获取模块，获取跟随真实摄像机对焦圈同步变化的焦点跟踪器输出数据；匹配模块，根据焦点跟踪器输出数据匹配生成虚拟相机焦点数据；焦点设定模块，根据虚拟相机焦点数据设定为虚拟相机当前的焦点值；焦点数据生成模块，根据真实摄像机对焦映射曲线，得到与真实摄像机对焦数据相对应的虚拟摄像机焦点数据；
交互摄影单元：控制服务器基于虚拟引擎处理虚拟摄影机和真实摄影机的参数数据实现交互式摄影；在LED屏幕中显示虚拟场景与真实摄像机拍摄目标的实时合拍画面，确定虚拟数据画面与真实摄像机拍摄目标的合拍视场范围；确定虚拟合拍子空间中与合拍视场范围匹配的合拍场景画面信息，其中合拍场景画面信息包括合拍视场范围内的虚拟目标模型和真实目标模型；在LED屏幕中渲染与合拍场景画面信息所对应的贴图信息；确定合拍屏幕内实时的贴图信息为拍摄图像信息；根据LED屏幕的位置及轴向信息、真实摄像机的位置及轴向信息、每个拍摄目标的位置及轴向信息，确定拍摄目标相对真实摄像机的位置变化信息和虚拟场景的位置变化信息。
场景创作单元：虚拟引擎对虚拟场景进行创作；可控空间虚拟拍摄装置通常配备了虚拟场景创作工具，使用户能够创建自己的虚拟场景。
图2是本发明一示例性实施例提供的虚拟拍摄的方法的流程图。方法包括：
步骤201，获取真实摄像机拍摄的现实画面。
步骤202，根据虚拟引擎和控制服务器构建虚拟空间，获取虚拟空间画面数据。
步骤203，虚拟引擎通过跟踪系统获取真实摄像机和虚拟摄像机拍摄现实画面数据参数。
步骤204，根据虚拟引擎基于真实摄像机拍摄现实画面数据参数，来进行与虚拟摄影机拍摄的虚拟画面数据参数进行匹配和矫正。
步骤205，根据控制服务器的虚拟引擎处理虚拟摄影机和真实摄影机的参数数据，来进行交互式摄影。
步骤206，根据建模软件、渲染引擎和特效编辑器来对虚拟场景进行创作。
现实画面数据是通过真实摄像机对摄影棚内的真实物体进行实时拍摄，来转化成画面数据。
虚拟画面数据是通过虚拟引擎生成的虚拟摄像机拍摄虚拟空间内的虚拟物体，来进行实施拍摄转化为画面参数，通过控制服务器对真实物体和虚拟物体拍摄的画面数据进行数据处理。
在另一个实施例中，提供了一种虚拟拍摄的方法,包括：
步骤一：创建虚拟模型；使用虚拟现实建模技术构建虚拟模型。
步骤二：将创建好的虚拟场景中的虚拟模型导入虚拟引擎中，通过使用计算机图形数据的算法和实时渲染，构建虚拟场景；计算机图形数据的算法的数学构造方法及其图形显示，及其随时间变化来构建虚拟场景，三维场景的显示包括光栅图形生成算法、线框图形以及真实感图形的理论和算法，通过计算机图形数据的算法和实时渲染将虚拟环境中的场景和元素实时渲染成图像或视频。
步骤三：通过全景相机在构建好的虚拟场景中捕捉图像或视频信息，根据捕捉图像或视频信息在虚拟场景中构建的虚拟场景；根据步骤二中渲染的虚拟场景与虚拟模型的渲染要求以及预先建立的标准材质库，标准材质库保存有基于不同材料、不同渲染效果、不同构件的材质以及贴图素材；
根据渲染要求和标准材质库，创建并加载包含场景参数、虚拟模型与材质对应关系的读写文件，从标准材质库中选择与待渲染虚拟模型相对应的材质；标准材质库的构建方法如下为，根据材料属性，构建基于不同材料类型的贴图与材质库，根据材料名称检索材质，并修改材质参数，根据同一虚拟模型的不同渲染要求，构建不同渲染效果的材质库，根据渲染效果检索材质，并修改材质参数，根据常用构件虚拟模型，创建预制物体，并绑定贴图与材质，根据预制物体名称检索材质；标准材质库中材质的参数采用标准模板着色器调节面板进行调节，调节参数后创造的材质根据用户需求保存为标准材质或个性材质，具体步骤为：根据虚拟模型材料和渲染效果，从标准材质库中选取合适的材质贴图，对于标准材质库所未包含的特定的渲染需求或者优化渲染效果，通过标准模板着色器的参数调节面板对所选取的材质贴图进行参数修改，创建对应于渲染需求或者渲染效果的材质，根据用户需求将所创建的材质贴图保存为标准材质或个性材质；由用户创建或修改的标准材质或个性材质由所创建的用户设置访问权限。
对多个材质在三维模型表面直接进行三维在场UV贴图包括以下步骤：
获取待渲染虚拟模型的三维表面Mesh网格；根据所述待渲染虚拟模型的渲染要求，选择其中一个对应材质；通过在场的即时拖拽、位置捕捉、边界变形方式完成所选材质在三维虚拟模型表面Mesh网格上的区域定位；通过在场的缩放、平铺、旋转方式针对所选材质在三维虚拟模型表面Mesh网格上的渲染区域进行适应性调整；根据所述待渲染虚拟模型的渲染要求，完成所选材质在指定渲染区域中的表面映射；根据所述待渲染虚拟模型的渲染要求，依次完成所有材质的区域定位、适应调整和表面映射；将所有待渲染虚拟模型对应的材质合并为一个材质，并完成待渲染虚拟模型的渲染。
步骤四：将构建的虚拟场景发送至头戴式显示器，通过头戴式显示器将的虚拟场景以立体视觉方式呈现给用户，并结合头部追踪和手柄等交互设备，动态控制虚拟模型中的参数，实现交互式摄影；头戴式显示器将用户完全沉浸在虚拟环境中。
步骤五：将构建的虚拟场景发送至移动设备，移动设备将的虚拟场景中的元素叠加在真实世界中，在真实环境中看到虚拟场景中的元素；移动设备将虚拟场景中的元素叠加在真实世界中。
通过使用计算机图形学和渲染技术，可以实时生成逼真的虚拟场景，并以高帧率呈现给用户，通过使用全景相机或渲染技术，可以捕捉或生成全景图像或视频，使用户能够以的视角体验虚拟环境，通过将虚拟场景以立体视觉方式呈现给用户，并结合头部追踪和手柄等交互设备，用户可以在虚拟环境中自由移动和拍摄，通过使用移动设备，用户可以在真实环境中看到虚拟场景和元素，实现虚拟与现实的融合。
以上结合具体实施例描述了本公开的基本原理，但是，需要指出的是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。
本说明书中各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言，由于其与方法实施例基本对应，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本公开中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
可能以许多方式来实现本公开的方法和装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本公开的方法和装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本公开的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本公开实施为记录在记录介质中的程序，这些程序包括用于实现根据本公开的方法的机器可读指令。因而，本公开还覆盖存储用于执行根据本公开的方法的程序的记录介质。
还需要指出的是，在本公开的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本公开的等效方案。提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本公开。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本公开的范围。因此，本公开不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本公开的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。
Claims (12)
1.一种在可控空间中进行虚拟拍摄的装置，其特征在于，包括：
画面拍摄单元，用于拍摄现实画面，以获取现实画面数据；
虚拟空间构建单元，包括虚拟引擎和控制服务器，虚拟空间构建单元用于判断虚拟摄像机运动模式信息，确定虚拟空间中所拍摄的空间场景以及与至少一个拍摄目标所对应的目标模型；
跟踪系统单元，包括捕捉模块，用于通过捕捉模块对实画面数据进行内容提取，以获取真实摄像机和虚拟摄像机所拍摄的现实画面参数；
匹配矫正单元，基于真实摄像机拍摄现实画面数据参数与虚拟摄影机进行匹配，控制服务器基于真实画面数据对虚拟画面数据进行矫正；
交互摄影单元，基于虚拟引擎处理虚拟摄影机和真实摄影机的参数数据实现交互式摄影；
场景创作单元，用于根据交互式摄影所获取的摄影数据在虚拟场景中进行视觉呈现。
2.根据权利要求1所述的装置，其特征在于，画面拍摄单元包括：摄影棚、LED显示屏幕、可多轴向角度调节拍摄的真实摄像机、至少一个拍摄目标以及控制装置，真实摄像机和至少一个拍摄目标上均装设有捕捉装置，设置有位置获取模块和位置处理模块。
3.根据权利要求2所述的装置，其特征在于，还包括，
位置校准模块，用于通过第二位置信息来确定虚拟摄像机在虚拟空间背景中的位置，并判断虚拟摄像机运动模式信息；
虚拟拍摄模块，用于运动模式信息来进行虚拟拍摄；
画面传输模块，用于虚拟摄像机拍摄到的画面传输至服务器终端。
4.根据权利要求3所述的装置，其特征在于，虚拟摄像机通过物理模拟模型实时获取跟随真实摄像机同步修改焦点跟踪器的输出数据，物理模拟模型包括：云台模拟模型和导轨模拟模型。
5.根据权利要求4所述的装置，其特征在于，虚拟摄像机根据真实摄像机焦点跟踪器输出数据匹配生成虚拟摄像机的焦点数据，将虚拟摄像机焦点跟踪器的输出数据还原为真实摄像机的焦点数据，虚拟摄像机获取相对应真实摄像机的焦点映射曲线；
所述装置还包括，跟焦数据获取模块用于获取跟随真实摄像机对焦圈同步变化的焦点跟踪器输出数据；
所述装置还包括，匹配模块，用于焦点跟踪器输出数据匹配生成虚拟相机焦点数据。
6.根据权利要求5所述的装置，其特征在于，还包括，
焦点设定模块，用于将虚拟相机焦点数据设定为虚拟相机当前的焦点值；
焦点数据生成模块，用于使真实摄像机对焦映射曲线，虚拟摄像机得到与真实摄像机对焦数据相对应的虚拟摄像机焦点数据，在LED屏幕中显示虚拟场景与真实摄像机拍摄目标的实时合拍画面，虚拟引擎确定虚拟数据画面与真实摄像机拍摄目标的合拍视场范围。
7.根据权利要求6所述的装置，其特征在于，在LED屏幕中渲染与合拍场景画面信息所对应的贴图信息；
虚拟引擎确定合拍屏幕内实时的贴图信息为拍摄图像信息，虚拟引擎根据LED屏幕的位置及轴向信息、真实摄像机的位置及轴向信息、每个拍摄目标的位置及轴向信息，用于确定拍摄目标相对真实摄像机的位置变化信息和虚拟场景的位置变化信息。
8.一种使用如权利要求1-7中任意一项所述的装置在可控空间中进行虚拟拍摄的方法，其特征在于，包括以下步骤：
获取真实摄像机拍摄的现实画面；
根据虚拟引擎和控制服务器构建虚拟空间，获取虚拟空间画面数据；
虚拟引擎通过跟踪系统获取真实摄像机和虚拟摄像机拍摄现实画面数据参数；
根据虚拟引擎基于真实摄像机拍摄现实画面数据参数，来进行与虚拟摄影机拍摄的虚拟画面数据参数进行匹配和矫正；
根据控制服务器的虚拟引擎处理虚拟摄影机和真实摄影机的参数数据，来进行交互式摄影；
根据建模软件、渲染引擎和特效编辑器来对虚拟场景进行创作。
9.根据权利要求8所述的方法，其特征在于，现实画面数据是通过真实摄像机对摄影棚内的真实物体进行实时拍摄，来转化成画面数据。
10.根据权利要求9所述的方法，其特征在于，虚拟画面数据是通过虚拟引擎生成的虚拟摄像机拍摄虚拟空间内的虚拟物体，来进行实施拍摄转化为画面参数，通过控制服务器对真实物体和虚拟物体拍摄的画面数据进行数据处理。
11.一种电子设备，其特征在于，所述电子设备包括：存储器和处理器，所述存储器和所述处理器耦合；所述存储器存储有程序指令，所述程序指令由所述处理器执行时，使得所述电子设备执行如权利要求8至10任意一项所述的方法。
12.一种计算机可读存储介质，其特征在于，包括计算机程序，当所述计算机程序在电子设备上运行时，使得所述电子设备执行如权利要求8至10任意一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465315.9A CN117527993A (zh) | 2023-11-06 | 2023-11-06 | 一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311465315.9A CN117527993A (zh) | 2023-11-06 | 2023-11-06 | 一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117527993A true CN117527993A (zh) | 2024-02-06 |
Family
ID=89750514
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311465315.9A Pending CN117527993A (zh) | 2023-11-06 | 2023-11-06 | 一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117527993A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118540452A (zh) * | 2024-07-22 | 2024-08-23 | 北京墨境天合数字图像科技有限公司 | 一种基于虚幻引擎的拍摄系统及使用方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107231531A (zh) * | 2017-05-23 | 2017-10-03 | 青岛大学 | 一种网络虚拟现实技术与实拍结合影视制作系统 |
| CN112040092A (zh) * | 2020-09-08 | 2020-12-04 | 杭州时光坐标影视传媒股份有限公司 | 一种实时虚拟场景led拍摄系统及方法 |
| CN112311965A (zh) * | 2020-10-22 | 2021-02-02 | 北京虚拟动点科技有限公司 | 虚拟拍摄方法、装置、系统及存储介质 |
| CN112330736A (zh) * | 2020-11-02 | 2021-02-05 | 北京虚拟动点科技有限公司 | 一种场景画面的拍摄方法、装置、电子设备及存储介质 |
| CN113923377A (zh) * | 2021-10-11 | 2022-01-11 | 浙江博采传媒有限公司 | 一种led环幕虚拟制片系统 |
| CN114422696A (zh) * | 2022-01-19 | 2022-04-29 | 浙江博采传媒有限公司 | 一种虚拟拍摄方法、装置及存储介质 |
-
2023
- 2023-11-06 CN CN202311465315.9A patent/CN117527993A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107231531A (zh) * | 2017-05-23 | 2017-10-03 | 青岛大学 | 一种网络虚拟现实技术与实拍结合影视制作系统 |
| CN112040092A (zh) * | 2020-09-08 | 2020-12-04 | 杭州时光坐标影视传媒股份有限公司 | 一种实时虚拟场景led拍摄系统及方法 |
| CN112311965A (zh) * | 2020-10-22 | 2021-02-02 | 北京虚拟动点科技有限公司 | 虚拟拍摄方法、装置、系统及存储介质 |
| CN112330736A (zh) * | 2020-11-02 | 2021-02-05 | 北京虚拟动点科技有限公司 | 一种场景画面的拍摄方法、装置、电子设备及存储介质 |
| CN113923377A (zh) * | 2021-10-11 | 2022-01-11 | 浙江博采传媒有限公司 | 一种led环幕虚拟制片系统 |
| CN114422696A (zh) * | 2022-01-19 | 2022-04-29 | 浙江博采传媒有限公司 | 一种虚拟拍摄方法、装置及存储介质 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118540452A (zh) * | 2024-07-22 | 2024-08-23 | 北京墨境天合数字图像科技有限公司 | 一种基于虚幻引擎的拍摄系统及使用方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11425283B1 (en) | Blending real and virtual focus in a virtual display environment | |
| US10275898B1 (en) | Wedge-based light-field video capture | |
| CN113538659B (zh) | 一种图像生成方法、装置、存储介质及设备 | |
| KR102686182B1 (ko) | 이미지 합성을 위한 방법 및 데이터 처리 시스템 | |
| US11328436B2 (en) | Using camera effect in the generation of custom synthetic data for use in training an artificial intelligence model to produce an image depth map | |
| CN116527863A (zh) | 基于虚拟现实的视频生成方法、装置、设备及介质 | |
| EP4111677B1 (en) | Multi-source image data synchronization | |
| CN117527993A (zh) | 一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法 | |
| US11328437B2 (en) | Method for emulating defocus of sharp rendered images | |
| US11615755B1 (en) | Increasing resolution and luminance of a display | |
| CN116228855A (zh) | 视角图像的处理方法、装置、电子设备及计算机存储介质 | |
| US20160037148A1 (en) | 3d-mapped video projection based on on-set camera positioning | |
| CN117596349A (zh) | 基于虚拟引擎进行空间虚拟拍摄的方法及系统 | |
| CN117395386A (zh) | 一种虚拟延时视频的交互拍摄方法、装置、设备及介质 | |
| Pietroszek | Volumetric filmmaking | |
| US20230018921A1 (en) | Smoothly changing a focus of a camera between multiple target objects | |
| WO2023285871A1 (en) | Smoothly changing a focus of a camera between multiple target objects | |
| JP7320400B2 (ja) | 映像演出処理装置及びそのプログラム | |
| WO2023285872A1 (en) | Smoothly changing a focus of a camera between multiple target objects | |
| WO2023285873A1 (en) | Smoothly changing a focus of a camera between multiple target objects | |
| CN117527994A (zh) | 一种空间模拟拍摄的可视化呈现方法及系统 | |
| CN118333846A (zh) | 图像处理方法、视频处理方法和电子设备 | |
| Herder et al. | Mixed Reality Experience | |
| WO2023285874A1 (en) | Computing illumination of an elongated shape having a noncircular cross section | |
| WO2021154099A1 (en) | System for image compositing including training with synthetic data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |