CN116527863A - 基于虚拟现实的视频生成方法、装置、设备及介质 - Google Patents
基于虚拟现实的视频生成方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116527863A CN116527863A CN202210463334.7A CN202210463334A CN116527863A CN 116527863 A CN116527863 A CN 116527863A CN 202210463334 A CN202210463334 A CN 202210463334A CN 116527863 A CN116527863 A CN 116527863A
- Authority
- CN
- China
- Prior art keywords
- depth
- real
- depth map
- camera
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 72
- 230000000694 effects Effects 0.000 claims abstract description 89
- 230000004927 fusion Effects 0.000 claims abstract description 37
- 238000013507 mapping Methods 0.000 claims description 54
- 238000009877 rendering Methods 0.000 claims description 37
- 238000004590 computer program Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 7
- 230000005669 field effect Effects 0.000 abstract description 5
- 238000012545 processing Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 20
- 238000013461 design Methods 0.000 description 12
- 238000004519 manufacturing process Methods 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 241000023320 Luma <angiosperm> Species 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- OSWPMRLSEDHDFF-UHFFFAOYSA-N methyl salicylate Chemical compound COC(=O)C1=CC=CC=C1O OSWPMRLSEDHDFF-UHFFFAOYSA-N 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/363—Image reproducers using image projection screens
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种基于虚拟现实的视频生成方法、装置、设备及介质，涉及虚拟现实领域。该方法包括：从视频帧序列中获取目标视频帧，视频帧序列是由现实摄像机采集目标场景得到的，目标场景包括现实前景和虚拟背景，虚拟背景显示在现实环境中的物理屏幕上；获取目标视频帧的现实前景深度图和虚拟背景深度图；融合现实前景深度图和虚拟背景深度图，得到融合深度图；根据融合深度图调整目标视频帧的显示参数，生成目标视频帧的景深效果图；根基于所述目标视频帧的景深效果图，生成具有景深效果的目标视频。本申请得到的目标视频的具有较好景深效果。
Description
技术领域
本申请涉及虚拟现实领域，特别涉及一种基于虚拟现实的视频生成方法、装置、设备及介质。
背景技术
虚拟制片指计算机辅助制片和可视化电影制作方法。虚拟制片包括多种方式，比如，可视化(visualization)、表演捕捉(performance capture)、混合虚拟制作(hybridvirtual production)、实时LED墙镜头内虚拟制作(live LED wall in-camera)等。
相关技术会在拍摄时，在演员、道具等现实前景的后方设置一面LED(LightEmitting Diode，发光二极管)墙，并在LED墙上投影实时的虚拟背景。现实摄像机会同时拍摄演员、道具、LED墙上的显示内容，并将拍摄到的内容输入到计算机中。计算机实时输出现实摄像机的拍摄内容。
但是现实摄像机采集到的每一帧图像的显示效果差，进而导致现实摄像机拍摄的视频效果较差。
发明内容
本申请实施例提供了一种基于虚拟现实的视频生成方法、装置、设备及介质，该方法会为虚拟背景更新深度信息，使得得到的视频更加自然，显示效果较好，技术方案如下：
根据本申请的一个方面，提供了一种基于虚拟现实的视频生成方法，该方法包括：
从视频帧序列中获取目标视频帧，所述视频帧序列是由现实摄像机采集目标场景得到的，所述目标场景包括现实前景和虚拟背景，所述虚拟背景显示在现实环境中的物理屏幕上；
获取所述目标视频帧的现实前景深度图和虚拟背景深度图，所述现实前景深度图包括所述现实前景到所述现实摄像机的深度信息，所述虚拟背景深度图包括被映射到所述现实环境后的所述虚拟背景到所述现实摄像机的深度信息；
融合所述现实前景深度图和所述虚拟背景深度图，得到融合深度图，所述融合深度图包括所述目标场景内的各个参考点在所述现实环境中到所述现实摄像机的深度信息；
根据所述融合深度图调整所述目标视频帧的显示参数，生成所述目标视频帧的景深效果图；
基于所述目标视频帧的所述景深效果图，生成具有景深效果的目标视频。
根据本申请的另一个方面，提供了一种基于虚拟现实的视频生成装置，该装置包括：
获取模块，用于从视频帧序列中获取目标视频帧，所述视频帧序列是由现实摄像机采集目标场景得到的，所述目标场景包括现实前景和虚拟背景，所述虚拟背景显示在现实环境中的物理屏幕上；
所述获取模块，还用于获取所述目标视频帧的现实前景深度图和虚拟背景深度图，所述现实前景深度图包括所述现实前景到所述现实摄像机的深度信息，所述虚拟背景深度图包括被映射到所述现实环境后的所述虚拟背景到所述现实摄像机的深度信息；
融合模块，用于融合所述现实前景深度图和所述虚拟背景深度图，得到融合深度图，所述融合深度图包括所述目标场景内的各个参考点在所述现实环境中到所述现实摄像机的深度信息；
更新模块，用于根据所述融合深度图调整所述目标视频帧的显示参数，生成所述目标视频帧的景深效果图；
所述更新模块，还用于基于所述目标视频帧的所述景深效果图，生成具有景深效果的目标视频。
根据本申请的另一方面，提供了一种计算机设备，该计算机设备包括：处理器和存储器，存储器中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现如上方面的基于虚拟现实的视频生成方法。
根据本申请的另一方面，提供了一种计算机存储介质，计算机可读存储介质中存储有至少一条程序代码，程序代码由处理器加载并执行以实现如上方面的基于虚拟现实的视频生成方法。
根据本申请的另一方面，提供了一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上方面的基于虚拟现实的视频生成方法。
本申请实施例提供的技术方案带来的有益效果至少包括：
现实摄像机拍摄目标场景，生成视频帧序列。再根据视频帧序列获取目标视频帧，并对目标视频帧的深度信息进行更新，使得目标视频帧包括的深度信息更加准确，并基于目标视频帧生成具有景深效果的目标视频。由于虚拟背景的深度信息更加准确，使得虚拟背景和现实前景结合组成的视频更加自然，显示效果较好。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1示出了本申请一个示例性实施例提供的计算机系统的示意图；
图2示出了本申请一个示例性实施例提供的基于虚拟现实的景深效果图生成方法的示意图；
图3示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的流程示意图；
图4示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的界面示意图；
图5示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的界面示意图；
图6示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的界面示意图；
图7示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的界面示意图；
图8示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的流程示意图；
图9示出了本申请一个示例性实施例提供的计算深度信息的示意图；
图10示出了本申请一个示例性实施例提供的基于虚拟现实的景深效果图生成方法的示意图；
图11示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成制作的示意图；
图12示出了本申请一个示例性实施例提供的基于虚拟现实的景深效果图生成方法的界面示意图；
图13示出了本申请一个示例性实施例提供的计算机设备的示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。
景深(Depth Of field，DOF)：是指摄像机对焦点前后相对清晰的成像范围。在光学中，尤其是录影或是摄影，是一个描述在空间中，可以清楚成像的距离范围。摄像机使用的透镜只能够将光聚到某一固定的距离，远离此点的图像则会逐渐模糊，但是在某一段特定的距离内，图像模糊的程度是肉眼无法察觉的，这段特定的距离称之为景深。
现实前景：现实环境中的实物，一般包含演员以及周边真实堆叠场景。将靠近摄像机作为摄像机的前景。
虚拟背景：预先设计的虚拟环境。虚拟置景一般包含比较现实中不好做的场景以及类魔幻场景，经过程序引擎演算后输出到LED幕墙上，在现实置景后面作为摄像机的后景。
YUV：一种颜色编码方法，用在视频处理组件中。其中，“Y”表示明亮度(Luminance或Luma)，也就是灰阶值，“U”和“V”表示的则是色度(Chrominance或Chroma)，作用是描述色彩及饱和度，用于指定像素点的颜色。
内外参数：包括摄像机的内参数和外参数。内参数是与摄像机自身特性相关的参数，比如，内参数包括摄像机的焦距、像素大小等。外参数是摄像机在世界坐标系中的参数，比如，外参数包括摄像机的位置、旋转方向等。通过内外参数可将世界坐标系中的点映射到摄像机拍摄的像素点上。
需要说明的是，本申请所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。
在电影、电视等视频内容的制作过程中，会用到虚拟制片技术。相关技术会在视频拍摄场地中设置一块LED幕墙用于显示虚拟背景，并在LED幕墙的前方设置现实前景，现实前景指现实中的物体或生物。现实摄像机同时拍摄现实前景和虚拟背景，得到视频。
但是，相关技术中，现实摄像机只能获取到现实摄像机到LED幕墙的背景信息，获取不到虚拟背景的深度信息，导致中的虚拟背景缺乏真实感，且现实前景和虚拟背景的组合生硬。
图1示出了本申请一个示例性实施例提供的计算机系统的示意图。计算机系统100包括计算机设备110、物理屏幕120、现实摄像机130和深度摄像机140。
计算机设备110上安装有视频制作的第一应用程序。第一应用程序可以是app(application，应用程序)中的小程序，也可以是专门的应用程序，也可以是网页客户端。计算机设备110上还安装有生成虚拟世界的第二应用程序。第一二应用程序可以是app中的小程序，也可以是专门的应用程序，也可以是网页客户端。第一应用程序和第二应用程序可以是同一个应用程序，也可以是不同的应用程序。在第一应用程序和第二应用程序是同一个应用程序的情况下，该应用程序可以同时实现视频制作和生成虚拟世界的功能。第一应用程序和第二应用程序是不同应用程序的情况下，第一应用程序和第二应用程序之间可实现数据互通。示例性的，第二应用程序将虚拟世界中各个虚拟物体到虚拟摄像机的深度信息给第一应用程序，第一应用程序根据前述深度信息对视频帧的图像进行更新。
物理屏幕120用于显示虚拟背景。计算机设备110将虚拟世界的数据传输给物理屏幕120，物理屏幕120显示该虚拟世界作为虚拟背景。
现实摄像机130用于拍摄现实前景150和物理屏幕120显示的虚拟背景。现实摄像机130会将拍摄到的视频传输给计算机设备110。现实摄像机130可以将拍摄到的视频实时传输给计算机设备110，现实摄像机130也可以每隔预设时长将拍摄到的视频传输给计算机设备110。
深度摄像机140用于获取现实前景150的深度图。深度摄像机140和现实摄像机130的设置位置不同。深度摄像机140会将拍摄到的现实前景150的深度图传输给计算机设备110，计算机设备110根据该深度图确定现实前景150的深度信息。
图2示出了本申请一个示例性实施例提供的基于虚拟现实的景深效果图生成方法的示意图。该方法可由图1所示的计算机系统100执行。
如图2所示，现实摄像机210采集目标场景得到目标视频帧220。深度摄像机250也会采集目标场景得到深度图。通过像素点匹配的方法，匹配目标视频帧220和深度图中的像素点，将深度图中的深度信息提供给目标视频帧220，得到现实前景深度图260。另一方面，虚拟摄像机230获取与虚拟背景对应的渲染目标的深度信息，得到虚拟背景深度图240。融合现实前景深度图260和虚拟背景深度图240的深度信息，得到融合深度图270。根据融合深度图270为目标视频帧220增加景深效果，得到景深效果图280。
图3示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的流程示意图。该方法可由图1所示的计算机系统100执行，该方法包括：
步骤302：从视频帧序列中获取目标视频帧，视频帧序列是由现实摄像机采集目标场景得到的，目标场景包括现实前景和虚拟背景，虚拟背景显示在现实环境中的物理屏幕上。
可选地，现实摄像机将拍摄到的视频帧序列传输给计算机设备。
目标视频帧是视频帧序列中任意一帧的图像。示例性的，视频帧序列包括120帧图像，随机取其中的第45帧图像作为目标视频帧。可选地，按照预设帧率播放视频帧序列，生成视频。示例性的，在视频帧序列中每24帧图像构成1秒的视频。
可选地，现实前景包括现实物体、现实生物、真人中的至少一种。示例性的，如图4所示，现实前景401是视频拍摄现场的演员。
虚拟背景指显示在显示屏上的虚拟内容。可选地，虚拟内容包括虚拟环境、虚拟人物、虚拟物体、虚拟道具、虚拟影像中的至少一种。本申请实施例对虚拟背景的显示内容不做具体限定。示例性的，如图4所示，虚拟背景402显示在显示屏403上。虚拟背景402是城市的虚拟影像。
步骤304：获取目标视频帧的现实前景深度图和虚拟背景深度图，现实前景深度图包括现实前景到现实摄像机的深度信息，虚拟背景深度图包括被映射到现实环境后的虚拟背景到现实摄像机的深度信息。
可选地，通过深度摄像机提供的深度图和目标视频帧，确定现实前景深度图。示例性的，通过深度摄像机提供的深度图获取目标视频帧内各个像素点的深度信息，该深度信息用于表示目标视频帧中各个像素点对应的现实参考点到现实摄像机的距离；在第一像素点的深度值大于第一深度阈值的情况下，确定该第一像素点属于虚拟背景；在第二像素点的深度值大于第二深度阈值的情况下，确定该第二像素点属于现实前景。其中，第一深度阈值不小于第二深度阈值，第一深度阈值和第二深度阈值可由技术人员自行设置。
可选地，通过虚拟摄像机生成虚拟背景深度图，虚拟摄像机用于在虚拟环境中中拍摄与虚拟背景对应的渲目标。示例性的，计算机设备可获取到该渲染目标到虚拟摄像机的距离，将该距离转化为现实距离，得到虚拟背景深度图。
示例性的，如图5所示，图5示出了现实前景深度图。现实前景深度图包括现实前景到现实摄像机的深度信息，且现实前景深度图不包括被映射到现实环境后的虚拟背景到现实摄像机的深度信息。
示例性的，如图6所示，图6示出了虚拟背景深度图。虚拟背景深度图包括被映射到现实环境后的虚拟背景到现实摄像机的深度信息，且虚拟背景深度图不包括现实前景到现实摄像机的深度信息。
步骤306：融合现实前景深度图和虚拟背景深度图，得到融合深度图，融合深度图包括目标场景内的各个参考点在现实环境中到现实摄像机的深度信息。
可选地，根据虚拟背景深度图内各个像素点的第二深度信息，更新现实前景深度图内各个像素点的第一深度信息，得到融合深度图。
其中，现实前景深度图包括与现实前景对应的前景区域和与虚拟背景对应的背景区域。本申请实施例可以对背景区域内的像素点的第一深度信息进行更新，也可以对前景区域内的像素点的第一深度信息进行更新。
示例性的，根据虚拟背景深度图内属于背景区域的第二像素点的第二深度信息，更新现实前景深度图内属于背景区域的第一像素点的第一深度信息，得到融合深度图。
示例性的，更新现实前景深度图内属于前景区域的第三像素点的第三深度信息，第三像素点是与目标物体对应的像素点。
示例性的，如图7所示，融合深度图包括现实前景701和虚拟背景702的深度信息。对比图5和图7可得，相较于现实前景深度图，融合深度图还提供了虚拟背景702的深度信息。
步骤308：根据融合深度图调整目标视频帧的显示参数，生成目标视频帧的景深效果图。
可选地，显示参数包括清晰度、亮度、灰度、对比度、饱和度中的至少一种。可选地，根据技术人员的实际需求调整目标视频帧的显示参数。示例性的，根据技术人员的实际需求，增加融合深度图中与虚拟背景对应的像素点的亮度。
可选地，根据现实摄像机的预设光圈或预设焦距，确定距离区间，距离区间用于表示清晰度大于清晰度阈值的像素点对应的参考点到现实摄像机的距离；根据融合深度图和距离区间，调整目标视频帧内各个像素点的清晰度，生成目标场景的景深效果图。
可选地，根据现实摄像机的对焦距离和融合深度图，调整目标视频帧内虚拟背景对应的区域的清晰度，生成所述目标场景的所述景深效果图。
可选地，根据预设条件调整目标视频帧内的各个像素点的清晰度。预设条件是由技术人员根据实际需求确定的。示例性的，调整目标视频帧中预设区域内的像素点的清晰度，预设区域可由技术人员自行设置。
步骤310：基于目标视频帧的景深效果图，生成具有景深效果的目标视频。
可选地，按照预设帧率播放目标视频帧的景深效果图，得到具有景深效果的目标视频。
示例性的，目标视频帧包括至少两个视频帧，按照时间顺序排列目标视频帧的景深效果图，得到具有景深效果的目标视频。可选地，按照时间顺序排列连续的目标视频真的景深效果图，生成具有景深效果的目标视频。
综上所述，本申请实施例中，现实摄像机拍摄目标场景，生成视频帧序列。再根据视频帧序列获取目标视频帧，并对目标视频帧的深度信息进行更新，使得目标视频帧包括的深度信息更加准确，并基于目标视频帧生成具有景深效果的目标视频。由于虚拟背景的深度信息更加准确，使得虚拟背景和现实前景结合组成的视频更加自然，显示效果较好。
此外，景深效果图是通过现实摄像机的对焦距离、焦距、光圈等参数生成的，因此，景深效果图中的虚拟背景可以仿真出现实摄像机的拍摄效果，虚拟背景的显示更加自然，虚拟背景更加接近现实物体。
在接下来的实施例中，对现实前景深度图中背景区域的深度信息进行更新，使得背景区域的深度信息更加准确。以现实置景深度图包括两种可选的实施方式为例，现实置景深度图可以通过设置一个深度摄像机获得，也可以通过设置一个辅助摄像机获得。而且，虚拟背景的像素点的清晰度可以通过现实摄像机的参数来进行更新，比如，通过对焦距离、光圈、焦距等对像素点的清晰度进行更新。
图8示出了本申请一个示例性实施例提供的基于虚拟现实的视频生成方法的流程示意图。方法可由图1所示的计算机系统100执行，该方法包括：
步骤801：从视频帧序列中获取目标视频帧。
可选地，现实摄像机将拍摄到的视频帧序列传输给计算机设备。
目标视频帧是视频帧序列中任意一帧的图像。示例性的，视频帧序列包括120帧图像，随机取其中的第45帧图像作为目标视频帧。可选地，按照预设帧率播放视频帧序列，生成具有景深效果的目标视频。示例性的，在视频帧序列中每24帧图像构成1秒的视频。
可选地，现实前景包括现实物体、现实生物、真人中的至少一种。
虚拟背景指显示在显示屏上的虚拟内容。可选地，虚拟内容包括虚拟环境、虚拟人物、虚拟物体、虚拟道具、虚拟影像中的至少一种。本申请实施例对虚拟背景的显示内容不做具体限定。
步骤802：获取目标视频帧的现实前景深度图。
在一种可选的实现方式中，通过深度摄像机获取现实前景的深度信息，该方法可包括以下步骤：
1、根据深度摄像机的内外参数和现实摄像机的内外参数，生成深度摄像机与现实摄像机之间的空间偏移信息。
可选地，深度摄像机的内外参数包括内参数和外参数。内参数是与深度摄像机自身特性相关的参数，内参数包括焦距、像素大小等。外参数是深度摄像机在世界坐标系中的参数，外参数包括相机的位置、旋转方向等。
可选地，现实摄像机的内外参数包括内参数和外参数。内参数是与现实摄像机自身特性相关的参数，内参数包括焦距、像素大小等。外参数是现实摄像机在世界坐标系中的参数，外参数包括相机的位置、旋转方向等。
在一种可选地实施方式中，空间偏移信息指深度摄像机的相机坐标系与现实摄像机的相机坐标系之间的映射关系。示例性的，根据深度摄像机的内外参数，确定深度摄像机的深度映射关系，深度映射关系指深度摄像机的相机坐标系到现实坐标系的映射关系；根据现实摄像机的内外参数，确定现实摄像机的现实映射关系，现实映射关系指现实摄像机的相机坐标系到现实坐标系的映射关系；通过现实坐标系，确定深度摄像机的相机坐标系与现实摄像机的相机坐标系之间的映射关系，得到深度摄像机与现实摄像机之间的空间偏移信息。
可选地，深度摄像机和现实摄像机拍摄目标场景的角度不同。可选地，深度摄像机和现实摄像机的设置位置不同。
2、获取深度摄像机采集的深度图。
可选地，深度摄像机将采集的深度图通过有线连接或无线连接传输给计算机设备。
3、根据空间偏移信息，将深度图的深度信息映射到目标视频帧上，得到现实前景深度图。
由于空间偏移信息指深度摄像机的相机坐标系与现实摄像机的相机坐标系之间的映射关系。因此，可以得到深度图和目标视频帧上的像素点之间的对应关系；根据该对应关系，将深度图上各个像素点的深度信息映射到目标视频帧上的各个像素点上，得到现实前景深度图。
在一种可选的实现方式中，通过另一个参考摄像机获取现实前景的深度信息，该方法可包括以下步骤：
1、根据参考摄像机的内外参数，获取第一映射关系，第一映射关系用于表示参考摄像机的摄像机坐标系和现实坐标系之间的映射关系，参考摄像机用于从第二角度拍摄目标场景，第二角度与第一角度不同。
可选地，参考摄像机的内外参数包括内参数和外参数。内参数是与参考摄像机自身特性相关的参数，内参数包括焦距、像素大小等。外参数是参考摄像机在世界坐标系中的参数，外参数包括相机的位置、旋转方向等。
可选地，第一映射关系还用于表示参考摄像机的拍摄的参考图像上的像素点与现实点的位置对应关系。例如，参考图像上像素点A的坐标是(x1，x2)，第一映射关系满足函数关系f，函数关系f是根据参考摄像机的内外参数生成的，而在现实环境中与像素点A对应的现实点是(y1，y2，y3)＝f(x1，x2)。
2、根据现实摄像机的内外参数，获取第二映射关系，第二映射关系用于表示现实摄像机的摄像机坐标系和现实坐标系之间的映射关系。
可选地，第一映射关系还用于表示现实摄像机的拍摄的目标视频帧上的像素点与现实点的位置对应关系。例如，参考图像上像素点B的坐标是(x3，x4)，第一映射关系满足函数关系函数关系/>是根据现实摄像机的内外参数生成的，而在现实环境中与像素点B对应的现实点是/>
3、根据第一映射关系对参考摄像机拍摄的参考图像进行重构，得到重构参考图像。
可选地，根据第一映射关系将参考图像上的各个像素点映射到现实环境中，得到重构参考图像。其中，重构参考图像包括参考图像中的各个像素点对应的参考点在现实环境中的位置。
4、根据第二映射关系对现实摄像机拍摄的目标视频帧进行重构，得到重构目标场景图像。
可选地，根据第二映射关系将目标视频帧上的各个像素点映射到现实环境中，得到重构目标场景图像。其中，重构目标场景图像包括目标视频帧中的各个像素点对应的参考点在现实环境中的位置。
5、根据重构参考图像和重构目标场景图像之间的视差，确定目标视频帧内各个像素点的深度信息，得到现实前景深度图。
可选地，为方便计算视差，将重构参考图像和重构目标场景图像映射到同一平面上，确定重构参考图像和重构目标场景图像上对应同一个现实点的两个像素点；根据前述两个像素点的视差确定目标视频帧内各个像素点的深度信息，得到现实前景深度图。
示例性的，如图9所示，假设现实摄像机和参考摄像机位于同一平面上，预先将重构参考图像和重构目标场景图像映射到X轴所在平面上，使得参考点903到X轴的距离与参考点903到X轴的距离相同。参考点903通过现实摄像机的中心点904在目标视频帧上形成像素点901，参考点903通过参考摄像机的中心点905在参考图像上形成像素点902。在图9中，f是现实摄像机和参考摄像机的焦距，现实摄像机和参考摄像机的焦距相同。z是参考点903到现实摄像机的距离，即参考点903到现实摄像机的深度信息。x是参考点903到Z轴的距离。x1是像素点901在目标视频帧上的位置。xr是像素点902在参考图像上的位置。则通过图9中的相似三角形可得到以下等式：
因此，根据上述等式可得到z＝f*b/(x1-xr)。其中，(x1-xr)即为视差。
需要说明的是，本申请实施例对获取目标视频帧的现实前景深度图的方法不做具体限定。除上述两种可选方式，技术人员可根据实际需求选择其他方式来获取目标视频帧的现实前景深度图，这里不再赘述。
步骤803：获取目标视频帧的虚拟背景深度图。
在一种可选的实现方式中，通过虚拟摄像机获取到虚拟背景深度图，该方法可包括以下步骤：
1、获取虚拟环境中与虚拟背景对应的渲染目标。
可选地，根据现实摄像机的拍摄角度和位置，确定现实摄像机拍摄到的物理屏幕区域；根据物理屏幕区域确定物理屏幕区域上的显示内容；根据前述显示内容，获取虚拟环境中的渲染目标。示例性的，若物理屏幕的尺寸是30×4(m×m)，而现实摄像机设置在距物理屏幕30米处的位置，现实摄像机与物理屏幕之间的夹角为90度，确定现实摄像机拍摄到了物理屏幕的一部分，这部分物理屏幕的大小是20×3(m×m)。
2、生成虚拟环境中的渲染目标的渲染目标深度图，渲染目标深度图包括虚拟深度信息，虚拟深度信息用于表示在虚拟环境中渲染目标到虚拟摄像机的距离。
示例性的，计算机设备存储有虚拟环境的各项数据，其中，该数据包括虚拟摄像机到虚拟环境中的各个点的距离。在确定渲染目标后，可直接确定渲染目标到虚拟摄像机的距离，得到渲染目标深度图。
3、将渲染目标深度图中的虚拟深度信息转化为现实深度信息，得到虚拟背景深度图，现实深度信息用于表示被映射到现实环境中的渲染目标到现实摄像机的距离。
可选地，确定虚拟摄像机在虚拟环境中的第一位置；确定现实摄像机在现实环境中的第二位置；根据第一位置和第二位置之间的位置关系将渲染目标深度图中的虚拟深度信息转化为现实深度信息。示例性的，虚拟摄像机在虚拟环境中位于位置A，现实摄像机在虚拟环境中位于位置B，此时，虚拟环境中的点1到虚拟摄像机的距离为x，设被映射到现实环境中的渲染目标到现实摄像机的距离为y，则有y＝f(x)，f表示函数关系。
可选地，渲染目标深度图是以虚拟摄像机为视角得到的图像，而虚拟背景深度图是以现实摄像机为视角的图像，此时，需要对渲染目标深度图中的像素点做坐标变换。示例性的，确定渲染目标深度图的像素点在物理屏幕上的第一位置坐标；根据第一位置坐标和现实摄像机的内外参数，将第一位置坐标映射为第二位置坐标，第二位置坐标是虚拟背景深度图上的位置坐标；将前述像素点的深度信息填入到第二位置坐标对应的像素点上，得到虚拟背景深度图。
需要说明的是，步骤802和步骤803不存在先后顺序，可以同时执行步骤802和步骤803，也可以先执行步骤802，后执行步骤803，还可以先执行步骤803，后执行步骤802。
步骤804：在虚拟背景深度图中，确定与现实前景深度图中属于背景区域的第i个第一像素点对应的第j个第二像素点。
其中，i，j为正整数，i的初始值可以为任意整数。
可选地，根据现实摄像机的内外参数，确定背景区域的第i个第一像素点在物理屏幕上的屏幕坐标；在虚拟环境中，根据屏幕坐标确定与第i个第一像素点对应的虚拟点的坐标；根据虚拟摄像机的内外参数，将虚拟点的坐标映射到虚拟背景深度图上，得到第j个第二像素点。
可选地，根据第i个第一像素点的在现实前景深度图中的位置坐标，在虚拟背景深度图中确定第j个第二像素点的位置坐标。例如，第i个第一像素点在现实前景深度图中的位置坐标是(4，6)，则第j个第二像素点在虚拟背景深度图中的位置坐标也是(4，6)。
步骤805：使用第j个第二像素点的第二深度信息，在现实前景深度图中替换第i个第一像素点的第一深度信息。
示例性的，使用第j个第二像素点的第二深度信息中的深度值，在现实前景深度图中替换第i个第一像素点的第一深度信息中的深度值。例如，在现实前景深度图中，第i个第一像素点的深度值是20，与第i个第一像素点对应的第j个第二像素点的深度值是80，则将第i个第一像素点的深度值修改为80。
在本申请的另一个可选实现方式中，在使用第j个第二像素点的第二深度信息替换第i个第一像素点的第一深度信息前，还可以对第j个第二像素点的第二深度信息进行修改。示例性的，将第二深度信息中的深度值修改为第一目标深度值，或者，为第二深度信息中的深度值增加第二目标深度值，或者，为第二深度信息中的深度值减小第三目标深度值。其中，第一目标深度值、第二目标深度值和第三目标深度值都可以由技术人员自行设置。例如，假设有3个第二像素点，3个第二像素点的深度值分别是20、43和36，将这3个第二像素点的深度值统一设置为40。
示例性的，请参考图5和图7，图7相较于图5，图7中虚拟背景的深度信息已经被替换。
步骤806：将i更新为i+1，重复上述两个步骤，直至遍历现实前景深度图中属于背景区域的各个第一像素点的第一深度信息，得到融合深度图。
背景区域包括至少两个第一像素点，则遍历现实前景深度图中属于背景区域的各个第一像素点，直至将背景区域中各个第一像素点的第一深度信息替换为第二像素点的第二深度信息。
步骤807：根据融合深度图调整目标视频帧的显示参数，生成目标视频帧的景深效果图。
可选地，显示参数包括清晰度、亮度、灰度、对比度、饱和度中的至少一种。
可选地，根据现实摄像机的预设光圈或预设焦距，确定距离区间，距离区间用于表示清晰度大于清晰度阈值的像素点对应的参考点到现实摄像机的距离；根据融合深度图和距离区间，调整目标视频帧内各个像素点的清晰度，生成目标视频帧的景深效果图。示例性的，距离区间是[0，20]，则将位于距离区间内的像素点的清晰度设置为100％，将位于距离区间外的像素点的清晰度设置为40％。
可选地，根据现实摄像机的对焦距离和融合深度图，调整目标视频帧内虚拟背景对应的区域的清晰度，生成目标视频帧的景深效果图。
可选地，根据预设条件调整目标视频帧内的各个像素点的清晰度。预设条件是由技术人员根据实际需求确定的。示例性的，调整目标视频帧中预设区域内的像素点的清晰度，预设区域可由技术人员自行设置。
步骤808：基于目标视频帧的景深效果图，生成具有景深效果的目标视频。
可选地，按照预设帧率播放目标视频帧的景深效果图，得到具有景深效果的目标视频。
示例性的，目标视频帧包括至少两个视频帧，按照时间顺序排列目标视频帧的景深效果图，得到具有景深效果的目标视频。可选地，按照时间顺序排列连续的目标视频真的景深效果图，生成具有景深效果的目标视频。
综上所述，本申请实施例中，现实摄像机拍摄目标场景，生成视频帧序列。再根据视频帧序列获取目标视频帧，并对目标视频帧的深度信息进行更新，使得目标视频帧包括的深度信息更加准确，并基于目标视频帧生成具有景深效果的目标视频。由于虚拟背景的深度信息更加准确，使得虚拟背景和现实前景结合组成的视频更加自然，显示效果较好。
而且，本实施例提供多种方法获取现实前景深度图，以便技术人员根据实际需求调整获取现实前景深度图的方式，不仅可以通过深度摄像机获取现实前景的深度信息，还可以通过两个现实摄像头获取现实前景的深度信息，增加了方案的灵活性。又因为融合深度图中背景区域的深度信息是通过虚拟背景深度图更新得到的，虚拟背景深度图的深度信息又是由虚拟摄像机采集虚拟环境生成的，这种方式获得的深度信息更加准确，得到的景深效果图更加符合实际需求，表现效果较好。
在接下来的实施例中，考虑到在一些场景中，现实前景不便于移动，但是又希望可以修改现实前景在目标视频中的显示效果。因此，在接下来的实施例中，还可以对现实前景的深度信息进行调整，使得现实前景的深度信息符合预设的要求。
图10示出了本申请一个示例性实施例提供的基于虚拟现实的深度信息更新方法的流程示意图。方法可由图1所示的计算机系统100执行，该方法包括：
步骤1001：在现实前景深度图的前景区域中，确定属于目标物体的第三像素点。
第三像素点是与目标物体对应的像素点。目标物体是现实环境中的物体。
可选地，通过深度摄像机提供的深度图和目标视频帧，确定现实前景深度图。示例性的，通过深度摄像机提供的深度图获取目标视频帧内各个像素点的深度信息，该深度信息用于表示目标视频帧中各个像素点对应的现实参考点到现实摄像机的距离；在第一像素点的深度值大于第一深度阈值的情况下，确定该第一像素点属于虚拟背景；在第二像素点的深度值大于第二深度阈值的情况下，确定该第二像素点属于现实前景。其中，第一深度阈值不小于第二深度阈值，第一深度阈值和第二深度阈值可由技术人员自行设置。
可选地，将前景区域内属于深度阈值区间的像素点确定为第三像素点。深度阈值区间可由技术人员自行设置。
可选地，将前景区域内属于目标物体区域的像素点确定为第三像素点。目标物体区域可由技术人员自行设置。可选地，通过选取框在前景区域内确定目标物体区域。
第三像素点是前景区域中的任意一个像素点。
步骤1002：响应于深度值更新指令，更新第三像素点的深度值。
可选地，响应于深度值设置指令，将第三像素点的深度值设置为第一预设深度值。第一预设深度值可由技术人员根据实际需求进行设置。示例性的，在一些场景中，目标物体不便于移动，或者希望该目标物体的深度值是一个较大的值，但是受场地限制，无法将该目标物体移动到希望的位置，此时，可以选择将目标物体对应的第三像素点的深度值统一设置为第一预设深度值，使得目标物体在景深效果图中的深度信息贴合实际需求。
可选地，响应于深度值增加指令，为第三像素点的深度值增加第二预设深度值，第二预设深度值可由技术人员根据实际需求进行设置。可选地，响应于深度值减小指令，为第三像素点的深度值减小第三预设深度值，第三预设深度值可由技术人员根据实际需求进行设置。示例性的，在一些场景中，希望目标物体与其他物体的位置进行交换，或者，希望目标物体能够移动到其它物体的前方，或者，希望目标物体能够移动到其它物体的后方，此时，可以改变目标物体对应的第三像素点的深度值，使得生成的景深效果图能够体现出目标物体与其他物体之间的位置关系。例如，现实前景中存在参考物体，参考物体对应的像素点对应的深度值是10，说明该参考物体距现实摄像机有10米，而目标物体对应的像素点对应的深度值是15，说明该目标物体距现实摄像机有15米，而实际需求希望现实前景深度图能够体现出目标物体与现实摄像机的距离小于参考物体与现实摄像机的距离，因此，可以选择将目标物体对应的第三像素点的深度值减小8，那么，目标物体对应第三像素点的深度值是7，可以满足上述实际需求。
在一个具体的例子中，现实前景中有一棵树，这棵树距现实摄像机有20米，由于移动这棵树并不方便，但是又希望目标视频的显示效果是能体现出这棵树距现实摄像机有40米，此时，可以让技术人员输入深度值设置指令，将这棵树对应的第三像素点的深度值统一设置为40，这样得到的景深效果图和目标视频的显示效果都能体现出这棵树距现实摄像机有40米，而且，实现这样的显示效果不需要移动这棵树，操作简便，效率高。
在另一个具体的例子中，现实前景中有树A和树B，树A距现实摄像机有20米，树B距现实摄像机有25米，而技术人员希望拍摄出的目标视频中树A在树B的后方，又因为直接移动树A或树B是不太容易实现的方案。此时，技术人员可以通过深度值设置指令，直接将树A的深度值设置为30，此时，在目标视频的显示效果中，树A距现实摄像机有30米，树B距现实摄像机还是25米，满足树A在树B的后方的显示效果。或者，技术人员也可以通过深度增加指令，将树A的深度值增加15，这样得到的树A的深度值是35，此时，在目标视频的显示效果中，树A距现实摄像机有35米，树B距现实摄像机还是25米，满足树A在树B的后方的显示效果。或者，技术人员还可以通过深度值减小指令，将树B的深度值减小10，这样得到的树B的深度值是15，此时，在目标视频的显示效果中，树A距现实摄像机还是20米，树B距现实摄像机有15米，满足树A在树B的后方的显示效果。
综上所述，本实施例可以修改前景区域内的各个第三像素点，使得前景区域内的像素点的深度信息符合要求，不仅可以减少现实前景的物体的移动，而且还使现实前景的深度信息更加准确。
而且，在不便移动目标物体的情况下，可以根据技术人员的实际需求直接调整前景区域内的各个第三像素点的深度信息，使得目标视频或景深效果图中的前景区域能够呈现出技术人员希望的显示效果。
图11示出了本申请一个示例性实施例提供的基于虚拟现实的景深效果图生成方法的示意图。该方法在UE4(Unreal Engine 4，虚幻4引擎)中以插件的形式实现。可选地，该方法也可以在Unity3D(一种实时3D互动内容创作和运营平台，属于创作引擎、开发工具)中以插件的形式实现。本申请实施例对该方法的应用平台不做具体限定。在图11所示的实施例中，基于虚拟现实的景深效果图生成方法通过虚拟制作景深插件1101实现，具体步骤如下所示：
1、插件二线程同步处理。
1.1、现实前景深度处理线程：处理包含现实摄像机1102与深度摄像机1104的数据，包含从原始YUV转RGBA，结合深度摄像机1104提供的深度信息使用opencv(一个跨平台计算机视觉和机器学习软件库)处理得到现实摄像机1102下的现实前景的深度信息。并在这个现实前景深度处理线程里，利用dx11共享纹理，把虚拟背景深度图复制到当前线程，融合成包含现实前景和虚拟背景的深度信息的融合深度图1107，并利用Compute shader(一种计算机技术，可以实现GPU的并行处理，GPU即Graphics Processing Unit，图形处理器)根据现实摄像机1102拍摄到的与融合深度图1107得到景深表现效果1108。
1.2、虚拟背景深度处理线程：在虚拟摄像机1103对应的Render Target(渲染目标)拿到深度信息，生成虚拟背景深度图1106，并复制给现实前景深度处理线程里的共享纹理。
2、在现实摄像机数据处理线程中，先确定现实前景深度图的选择方案。本申请实施例包括以下两种可选的实施方式：
2.1、选择深度摄像机：标定深度摄像机1104的内外参数。根据深度摄像机1104的内外参数和现实摄像机1102的内外参数，把深度摄像机1104拍摄的深度图映射到现实摄像机1102上，得到现实摄像机1102在对应场景下的深度图，即得到现实前景深度图1105。
2.2、选择再加个辅助摄像机：标定辅助摄像机的内外参数，根据辅助摄像机的内外参数进行图像的立体更正，得到更正的映射关系。根据现实摄像机1102的内外参数进行图像的立体更正，得到更正的映射关系。然后在每帧数据处理中，使用前述的两种映射关系分别对二个摄像机提供的数据进行重构，然后生成视差图，根据视差图得到目标视频帧的深度信息，得到现实前景深度图1105。
3、在虚拟背景深度处理线程中，在得到虚拟摄像机1103拍摄的渲染目标，再从渲染目标得到深度信息，转化此深度信息为对应的现实线性距离，得到虚拟背景深度图1106，然后同步复制给现实前景深度处理线程的另一个纹理中。
4、现实摄像机数据数据处理线程中，融合成融合深度图1107，这样在现实摄像机的成像中，根据对焦距离，知道虚拟背景的像素点的清晰度；根据设定的光圈或焦距，决定显示清晰像素点的最大距离与最小距离，以及模糊区域的模糊程度。根据上述参数匹配融合深度图1107，可以决定像素点如何显示，生成最终的景深效果图1108。
请参考图12，其示出了本申请一个实施例提供的基于虚拟现实的视频生成装置的示意图。上述功能可以由硬件实现，也可以由硬件执行相应的软件实现。该装置1200包括：
获取模块1201，用于从视频帧序列中获取目标视频帧，所述视频帧序列是由现实摄像机采集目标场景得到的，所述目标场景包括现实前景和虚拟背景，所述虚拟背景显示在现实环境中的物理屏幕上；
所述获取模块1201，还用于获取所述目标视频帧的现实前景深度图和虚拟背景深度图，所述现实前景深度图包括所述现实前景到所述现实摄像机的深度信息，所述虚拟背景深度图包括被映射到所述现实环境后的所述虚拟背景到所述现实摄像机的深度信息；
融合模块1202，用于融合所述现实前景深度图和所述虚拟背景深度图，得到融合深度图，所述融合深度图包括所述目标场景内的各个参考点在所述现实环境中到所述现实摄像机的深度信息；
更新模块1203，用于根据所述融合深度图调整所述目标视频帧的显示参数，生成所述目标视频帧的景深效果图；
所述更新模块1203，还用于基于所述目标视频帧的所述景深效果图，生成具有景深效果的目标视频。
在本申请的一个可选设计中，所述现实前景深度图包括与所述虚拟背景对应的背景区域；所述融合模块1202，还用于根据所述虚拟背景深度图内属于所述背景区域的第二像素点的第二深度信息，更新所述现实前景深度图内属于所述背景区域的第一像素点的第一深度信息，得到所述融合深度图。
在本申请的一个可选设计中，所述获取模块1201，还用于在所述虚拟背景深度图中，确定与所述现实前景深度图中属于所述背景区域的第i个第一像素点对应的第j个第二像素点，所述i，j为正整数；使用所述第j个第二像素点的所述第二深度信息，在所述现实前景深度图中替换所述第i个第一像素点的所述第一深度信息；将i更新为i+1，重复上述两个步骤，直至遍历所述现实前景深度图中属于所述背景区域的各个第一像素点的所述第一深度信息，得到所述融合深度图。
在本申请的一个可选设计中，所述获取模块1201，还用于根据所述现实摄像机的内外参数，确定所述背景区域的所述第i个第一像素点在所述物理屏幕上的屏幕坐标；在虚拟环境中，根据所述屏幕坐标确定与所述第i个第一像素点对应的虚拟点的坐标；根据虚拟摄像机的内外参数，将所述虚拟点的坐标映射到所述虚拟背景深度图上，得到所述第j个第二像素点，所述虚拟摄像机用于在所述虚拟环境中拍摄与所述虚拟背景对应的渲染目标。
在本申请的一个可选设计中，所述现实前景深度图包括与所述现实前景对应的前景区域；所述融合模块1202，还用于更新所述现实前景深度图内属于所述前景区域的第三像素点的第三深度信息，所述第三像素点是与目标物体对应的像素点。
在本申请的一个可选设计中，所述融合模块1202，还用于在所述现实前景深度图的所述前景区域中，确定属于所述目标物体的第三像素点；响应于深度值更新指令，更新所述第三像素点的深度值。
在本申请的一个可选设计中，所述融合模块1202，还用于根据深度值设置指令，将所述第三像素点的深度值设置为第一预设深度值；或，根据深度值增加指令，为所述第三像素点的深度值增加第二预设深度值；或，根据深度值减小指令，为所述第三像素点的深度值减小第三预设深度值。
在本申请的一个可选设计中，所述获取模块1201，还用于根据深度摄像机的内外参数和所述现实摄像机的内外参数，生成所述深度摄像机与所述现实摄像机之间的空间偏移信息；获取所述深度摄像机采集的深度图；根据所述空间偏移信息，将所述深度图的深度信息映射到所述目标视频帧上，得到所述现实前景深度图。
在本申请的一个可选设计中，所述现实摄像机用于从第一角度拍摄所述目标场景；所述获取模块1201，还用于根据参考摄像机的内外参数，获取第一映射关系，所述第一映射关系用于表示所述参考摄像机的摄像机坐标系和现实坐标系之间的映射关系，所述参考摄像机用于从第二角度拍摄所述目标场景，所述第二角度与所述第一角度不同；根据所述现实摄像机的内外参数，获取第二映射关系，所述第二映射关系用于表示所述现实摄像机的摄像机坐标系和所述现实坐标系之间的映射关系；根据所述第一映射关系对所述参考摄像机拍摄的参考图像进行重构，得到重构参考图像；根据所述第二映射关系对所述现实摄像机拍摄的所述目标视频帧进行重构，得到重构目标场景图像；根据所述重构参考图像和所述重构目标场景图像之间的视差，确定所述目标视频帧内各个像素点的深度信息，得到所述现实前景深度图。
在本申请的一个可选设计中，所述获取模块1201，还用于获取虚拟环境中与所述虚拟背景对应的渲染目标；生成虚拟环境中的所述渲染目标的渲染目标深度图，所述渲染目标深度图包括虚拟深度信息，所述虚拟深度信息用于表示在所述虚拟环境中所述渲染目标到虚拟摄像机的距离；将所述渲染目标深度图中的所述虚拟深度信息转化为现实深度信息，得到所述虚拟背景深度图，所述现实深度信息用于表示被映射到所述现实环境中的所述渲染目标到所述现实摄像机的距离。
在本申请的一个可选设计中，所述更新模块1203，还用于根据所述现实摄像机的预设光圈或预设焦距，确定距离区间，所述距离区间用于表示清晰度大于清晰度阈值的像素点对应的参考点到所述现实摄像机的距离；根据所述融合深度图和所述距离区间，调整所述目标视频帧内各个像素点的清晰度，生成所述目标视频帧的所述景深效果图。
在本申请的一个可选设计中，所述更新模块1203，还用于根据所述现实摄像机的对焦距离和所述融合深度图，调整所述目标视频帧内所述虚拟背景对应的区域的清晰度，生成所述目标视频帧的所述景深效果图。
在本申请的一个可选设计中，所述获取模块1201，还用于获取所述视频帧序列对应的的至少两张景深效果图；所述更新模块1203，还用于按照时间顺序排列所述至少两张景深效果图，得到所述视频帧序列对应的景深视频。
综上所述，本申请实施例中，现实摄像机拍摄目标场景，生成视频帧序列。再根据视频帧序列获取目标视频帧，并对目标视频帧的深度信息进行更新，使得目标视频帧包括的深度信息更加准确。由于增加了虚拟背景的深度信息，使得虚拟背景和现实前景结合组成的图更加自然，显示效果较好。
图13是根据一示例性实施例示出的一种计算机设备的结构示意图。计算机设备1300包括中央处理单元(Central Processing Unit，CPU)1301、包括随机存取存储器(Random Access Memory，RAM)1302和只读存储器(Read-Only Memory，ROM)1303的系统存储器1304，以及连接系统存储器1304和中央处理单元1301的系统总线1305。计算机设备1300还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出系统(Input/Output，I/O系统)1306，和用于存储操作系统1313、应用程序1314和其他程序模块1315的大容量存储设备1307。
基本输入/输出系统1306包括有用于显示信息的显示器1308和用于用户输入信息的诸如鼠标、键盘之类的输入设备1309。其中显示器1308和输入设备1309都通过连接到系统总线1305的输入输出控制器1310连接到中央处理单元1301。基本输入/输出系统1306还可以包括输入输出控制器1310以用于接收和处理来自键盘、鼠标、或电子触控笔等多个其他设备的输入。类似地，输入输出控制器1310还提供输出到显示屏、打印机或其他类型的输出设备。
大容量存储设备1307通过连接到系统总线1305的大容量存储控制器(未示出)连接到中央处理单元1301。大容量存储设备1307及其相关联的计算机设备可读介质为计算机设备1300提供非易失性存储。也就是说，大容量存储设备1307可以包括诸如硬盘或者只读光盘(Compact Disc Read-Only Memory，CD-ROM)驱动器之类的计算机设备可读介质(未示出)。
不失一般性，计算机设备可读介质可以包括计算机设备存储介质和通信介质。计算机设备存储介质包括以用于存储诸如计算机设备可读指令、数据结构、程序模块或其他数据等信息的任何方法或技术实现的易失性和非易失性、可移动和不可移动介质。计算机设备存储介质包括RAM、ROM、可擦除可编程只读存储器(Erasable Programmable ReadOnly Memory，EPROM)、带电可擦可编程只读存储器(Electrically ErasableProgrammable Read-Only Memory，EEPROM)，CD-ROM、数字视频光盘(Digital Video Disc，DVD)或其他光学存储、磁带盒、磁带、磁盘存储或其他磁性存储设备。当然，本领域技术人员可知计算机设备存储介质不局限于上述几种。上述的系统存储器1304和大容量存储设备1307可以统称为存储器。
根据本公开的各种实施例，计算机设备1300还可以通过诸如因特网等网络连接到网络上的远程计算机设备运行。也即计算机设备1300可以通过连接在系统总线1305上的网络接口单元1311连接到网络1312，或者说，也可以使用网络接口单元1311来连接到其他类型的网络或远程计算机设备系统(未示出)。
存储器还包括一个或者一个以上的程序，一个或者一个以上程序存储于存储器中，中央处理器1301通过执行该一个或一个以上程序来实现上述基于虚拟现实的视频生成方法的全部或者部分步骤。
在示例性实施例中，还提供了一种计算机可读存储介质，计算机可读存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述各个方法实施例提供的基于虚拟现实的视频生成方法。
本申请还提供一种计算机可读存储介质，存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行以实现上述方法实施例提供的基于虚拟现实的视频生成方法。
本申请还提供一种计算机程序产品或计算机程序，上述计算机程序产品或计算机程序包括计算机指令，上述计算机指令存储在计算机可读存储介质中。计算机设备的处理器从上述计算机可读存储介质读取上述计算机指令，上述处理器执行上述计算机指令，使得上述计算机设备执行如上方面实施例提供的基于虚拟现实的视频生成方法。
上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
以上仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。
Claims (17)
1.一种基于虚拟现实的视频生成方法，其特征在于，所述方法包括：
从视频帧序列中获取目标视频帧，所述视频帧序列是由现实摄像机采集目标场景得到的，所述目标场景包括现实前景和虚拟背景，所述虚拟背景显示在现实环境中的物理屏幕上；
获取所述目标视频帧的现实前景深度图和虚拟背景深度图，所述现实前景深度图包括所述现实前景到所述现实摄像机的深度信息，所述虚拟背景深度图包括被映射到所述现实环境后的所述虚拟背景到所述现实摄像机的深度信息；
融合所述现实前景深度图和所述虚拟背景深度图，得到融合深度图，所述融合深度图包括所述目标场景内的各个参考点在所述现实环境中到所述现实摄像机的深度信息；
根据所述融合深度图调整所述目标视频帧的显示参数，生成所述目标视频帧的景深效果图；
基于所述目标视频帧的所述景深效果图，生成具有景深效果的目标视频。
2.根据权利要求1所述的方法，其特征在于，所述现实前景深度图包括与所述虚拟背景对应的背景区域；
所述融合所述现实前景深度图和所述虚拟背景深度图，得到融合深度图，包括：
根据所述虚拟背景深度图内属于所述背景区域的第二像素点的第二深度信息，更新所述现实前景深度图内属于所述背景区域的第一像素点的第一深度信息，得到所述融合深度图。
3.根据权利要求2所述的方法，其特征在于，所述根据所述虚拟背景深度图内属于所述背景区域的第二像素点的第二深度信息，更新所述现实前景深度图内属于所述背景区域的第一像素点的第一深度信息，得到所述融合深度图，包括：
在所述虚拟背景深度图中，确定与所述现实前景深度图中属于所述背景区域的第i个第一像素点对应的第j个第二像素点，所述i，j为正整数；
使用所述第j个第二像素点的所述第二深度信息，在所述现实前景深度图中替换所述第i个第一像素点的所述第一深度信息；
将i更新为i+1，重复上述两个步骤，直至遍历所述现实前景深度图中属于所述背景区域的各个第一像素点的所述第一深度信息，得到所述融合深度图。
4.根据权利要求3所述的方法，其特征在于，所述在所述虚拟背景深度图中，确定与所述现实前景深度图中属于所述背景区域的第i个第一像素点对应的第j个第二像素点，包括：
根据所述现实摄像机的内外参数，确定所述背景区域的所述第i个第一像素点在所述物理屏幕上的屏幕坐标；
在虚拟环境中，根据所述屏幕坐标确定与所述第i个第一像素点对应的虚拟点的坐标；
根据虚拟摄像机的内外参数，将所述虚拟点的坐标映射到所述虚拟背景深度图上，得到所述第j个第二像素点，所述虚拟摄像机用于在所述虚拟环境中拍摄与所述虚拟背景对应的渲染目标。
5.根据权利要求1至4任一项所述的方法，其特征在于，所述现实前景深度图包括与所述现实前景对应的前景区域；
所述方法还包括：
更新所述现实前景深度图内属于所述前景区域的第三像素点的第三深度信息，所述第三像素点是与目标物体对应的像素点。
6.根据权利要求5所述的方法，其特征在于，所述第三深度信息包括深度值；
所述更新所述现实前景深度图内属于所述前景区域的第三像素点的第三深度信息，包括：
在所述现实前景深度图的所述前景区域中，确定属于所述目标物体的第三像素点；
响应于深度值更新指令，更新所述第三像素点的深度值。
7.根据权利要求6所述的方法，其特征在于，所述响应于深度值更新指令，更新所述第三像素点的深度值，包括：
根据深度值设置指令，将所述第三像素点的深度值设置为第一预设深度值；
或，根据深度值增加指令，为所述第三像素点的深度值增加第二预设深度值；
或，根据深度值减小指令，为所述第三像素点的深度值减小第三预设深度值。
8.根据权利要求1至4任一项所述的方法，其特征在于，所述获取目标场景的现实前景深度图，包括：
根据深度摄像机的内外参数和所述现实摄像机的内外参数，生成所述深度摄像机与所述现实摄像机之间的空间偏移信息；
获取所述深度摄像机采集的深度图；
根据所述空间偏移信息，将所述深度图的深度信息映射到所述目标视频帧上，得到所述现实前景深度图。
9.根据权利要求1至4任一项所述的方法，其特征在于，所述现实摄像机用于从第一角度拍摄所述目标场景；
所述获取目标场景的现实前景深度图，包括：
根据参考摄像机的内外参数，获取第一映射关系，所述第一映射关系用于表示所述参考摄像机的摄像机坐标系和现实坐标系之间的映射关系，所述参考摄像机用于从第二角度拍摄所述目标场景，所述第二角度与所述第一角度不同；
根据所述现实摄像机的内外参数，获取第二映射关系，所述第二映射关系用于表示所述现实摄像机的摄像机坐标系和所述现实坐标系之间的映射关系；
根据所述第一映射关系对所述参考摄像机拍摄的参考图像进行重构，得到重构参考图像；根据所述第二映射关系对所述现实摄像机拍摄的所述目标视频帧进行重构，得到重构目标场景图像；
根据所述重构参考图像和所述重构目标场景图像之间的视差，确定所述目标视频帧内各个像素点的深度信息，得到所述现实前景深度图。
10.根据权利要求1至4任一项所述的方法，其特征在于，所述获取所述目标场景的虚拟背景深度图，包括：
获取虚拟环境中与所述虚拟背景对应的渲染目标；
生成虚拟环境中的所述渲染目标的渲染目标深度图，所述渲染目标深度图包括虚拟深度信息，所述虚拟深度信息用于表示在所述虚拟环境中所述渲染目标到虚拟摄像头的距离；
将所述渲染目标深度图中的所述虚拟深度信息转化为现实深度信息，得到所述虚拟背景深度图，所述现实深度信息用于表示被映射到所述现实环境中的所述渲染目标到所述现实摄像头的距离。
11.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述融合深度图调整所述目标视频帧的显示参数，生成所述目标视频帧的景深效果图，包括：
根据所述现实摄像机的预设光圈或预设焦距，确定距离区间，所述距离区间用于表示清晰度大于清晰度阈值的像素点对应的参考点到所述现实摄像机的距离；
根据所述融合深度图和所述距离区间，调整所述目标视频帧内各个像素点的清晰度，生成所述目标视频帧的所述景深效果图。
12.根据权利要求1至4任一项所述的方法，其特征在于，所述根据所述融合深度图调整所述目标视频帧的显示参数，生成所述目标视频帧的景深效果图，包括：
根据所述现实摄像机的对焦距离和所述融合深度图，调整所述目标视频帧内所述虚拟背景对应的区域的清晰度，生成所述目标视频帧的所述景深效果图。
13.根据权利要求1至4任一项所述的方法，其特征在于，所述基于所述目标视频帧的所述景深效果图，生成具有景深效果的目标视频，包括：
按照预设帧率播放所述目标视频帧的所述景深效果图，得到所述具有景深效果的目标视频。
14.一种基于虚拟现实的视频生成装置，其特征在于，所述装置包括：
获取模块，用于从视频帧序列中获取目标视频帧，所述视频帧序列是由现实摄像机采集目标场景得到的，所述目标场景包括现实前景和虚拟背景，所述虚拟背景显示在现实环境中的物理屏幕上；
所述获取模块，还用于获取所述目标视频帧的现实前景深度图和虚拟背景深度图，所述现实前景深度图包括所述现实前景到所述现实摄像机的深度信息，所述虚拟背景深度图包括被映射到所述现实环境后的所述虚拟背景到所述现实摄像机的深度信息；
融合模块，用于融合所述现实前景深度图和所述虚拟背景深度图，得到融合深度图，所述融合深度图包括所述目标场景内的各个参考点在所述现实环境中到所述现实摄像机的深度信息；
更新模块，用于根据所述融合深度图调整所述目标视频帧的显示参数，生成所述目标视频帧的景深效果图；
所述更新模块，还用于基于所述目标视频帧的所述景深效果图，生成具有景深效果的目标视频。
15.一种计算机设备，其特征在于，所述计算机设备包括：处理器和存储器，所述存储器中存储有至少一段程序，所述至少一段程序由所述处理器加载并执行以实现如权利要求1至13中任一项所述的基于虚拟现实的视频生成方法。
16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有至少一条程序代码，所述程序代码由处理器加载并执行以实现如权利要求1至13中任一项所述的基于虚拟现实的视频生成方法。
17.一种计算机程序产品，包括计算机程序或指令，其特征在于，所述计算机程序或指令被处理器执行时实现权利要求1至13中任一项所述的基于虚拟现实的视频生成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210463334.7A CN116527863A (zh) | 2022-04-28 | 2022-04-28 | 基于虚拟现实的视频生成方法、装置、设备及介质 |
| PCT/CN2023/083335 WO2023207452A1 (zh) | 2022-04-28 | 2023-03-23 | 基于虚拟现实的视频生成方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210463334.7A CN116527863A (zh) | 2022-04-28 | 2022-04-28 | 基于虚拟现实的视频生成方法、装置、设备及介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116527863A true CN116527863A (zh) | 2023-08-01 |
Family
ID=87389138
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210463334.7A Pending CN116527863A (zh) | 2022-04-28 | 2022-04-28 | 基于虚拟现实的视频生成方法、装置、设备及介质 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN116527863A (zh) |
| WO (1) | WO2023207452A1 (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117278731A (zh) * | 2023-11-21 | 2023-12-22 | 启迪数字科技(深圳)有限公司 | 多视频与三维场景融合方法、装置、设备及存储介质 |
| CN117596497A (zh) * | 2023-09-28 | 2024-02-23 | 书行科技(北京)有限公司 | 图像渲染方法、装置、电子设备和计算机可读存储介质 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117395450A (zh) * | 2023-12-11 | 2024-01-12 | 飞狐信息技术（天津）有限公司 | 虚拟直播方法、装置、终端和存储介质 |
| CN117994444A (zh) * | 2024-04-03 | 2024-05-07 | 浙江华创视讯科技有限公司 | 复杂场景的重建方法、设备及存储介质 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11200752B1 (en) * | 2019-08-23 | 2021-12-14 | Lucasfilm Entertainment Company Ltd. | Color correction for immersive content production systems |
| CN111415422B (zh) * | 2020-04-17 | 2022-03-18 | Oppo广东移动通信有限公司 | 虚拟对象调整方法、装置、存储介质与增强现实设备 |
| CN112712487A (zh) * | 2020-12-23 | 2021-04-27 | 北京软通智慧城市科技有限公司 | 一种场景视频融合方法、系统、电子设备及存储介质 |
| CN112929627B (zh) * | 2021-02-22 | 2023-02-07 | 广州博冠信息科技有限公司 | 虚拟现实场景实现方法、装置、存储介质及电子设备 |
| CN113256781B (zh) * | 2021-06-17 | 2023-05-30 | 腾讯科技（深圳）有限公司 | 虚拟场景的渲染和装置、存储介质及电子设备 |
| CN113840049A (zh) * | 2021-09-17 | 2021-12-24 | 阿里巴巴（中国）有限公司 | 图像处理方法、视频流场景切换方法、装置、设备及介质 |
-
2022
- 2022-04-28 CN CN202210463334.7A patent/CN116527863A/zh active Pending
-
2023
- 2023-03-23 WO PCT/CN2023/083335 patent/WO2023207452A1/zh unknown
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117596497A (zh) * | 2023-09-28 | 2024-02-23 | 书行科技(北京)有限公司 | 图像渲染方法、装置、电子设备和计算机可读存储介质 |
| CN117278731A (zh) * | 2023-11-21 | 2023-12-22 | 启迪数字科技(深圳)有限公司 | 多视频与三维场景融合方法、装置、设备及存储介质 |
| CN117278731B (zh) * | 2023-11-21 | 2024-05-28 | 启迪数字科技(深圳)有限公司 | 多视频与三维场景融合方法、装置、设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023207452A1 (zh) | 2023-11-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN116527863A (zh) | 基于虚拟现实的视频生成方法、装置、设备及介质 | |
| JP4052331B2 (ja) | 仮想視点画像生成方法及び３次元画像表示方法並びに装置 | |
| US20160005228A1 (en) | Method of converting 2d video to 3d video using 3d object models | |
| US20230291884A1 (en) | Methods for controlling scene, camera and viewing parameters for altering perception of 3d imagery | |
| US11425283B1 (en) | Blending real and virtual focus in a virtual display environment | |
| JP7271099B2 (ja) | ファイルの生成装置およびファイルに基づく映像の生成装置 | |
| WO2016107635A1 (en) | Method and system for generating at least one image of a real environment | |
| US11227428B2 (en) | Modification of a live-action video recording using volumetric scene reconstruction to replace a designated region | |
| JP2016537901A (ja) | ライトフィールド処理方法 | |
| US20210217225A1 (en) | Arbitrary view generation | |
| US11328437B2 (en) | Method for emulating defocus of sharp rendered images | |
| EP3057316B1 (en) | Generation of three-dimensional imagery to supplement existing content | |
| CN110892706B (zh) | 用于在2d显示设备上显示从光场数据导出的内容的方法 | |
| US11308586B2 (en) | Method for applying a vignette effect to rendered images | |
| JP3387856B2 (ja) | 画像処理方法、画像処理装置および記憶媒体 | |
| CN115004683A (zh) | 成像装置、成像方法和程序 | |
| US11627297B1 (en) | Method for image processing of image data for a two-dimensional display wall with three-dimensional objects | |
| US20240112394A1 (en) | AI Methods for Transforming a Text Prompt into an Immersive Volumetric Photo or Video | |
| US20220215512A1 (en) | Method for Emulating Defocus of Sharp Rendered Images | |
| CN117527993A (zh) | 一种在可控空间中进行虚拟拍摄装置及进行虚拟拍摄的方法 | |
| de Sorbier et al. | Depth Camera to Generate On-line Content for Auto-Stereoscopic Displays | |
| JP2015072565A (ja) | 画像処理装置、画像処理方法およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| REG | Reference to a national code |
Ref country code: HK Ref legal event code: DE Ref document number: 40091125 Country of ref document: HK |