CN115953520B

CN115953520B - 一种虚拟场景的记录回放方法、装置、电子设备及介质

Info

Publication number: CN115953520B
Application number: CN202310225927.4A
Authority: CN
Inventors: 魏辉; 赵雅倩; 李茹杨; 卢丽华; 张晓辉
Original assignee: Inspur Electronic Information Industry Co Ltd
Current assignee: Inspur Electronic Information Industry Co Ltd
Priority date: 2023-03-10
Filing date: 2023-03-10
Publication date: 2023-07-14
Anticipated expiration: 2043-03-10
Also published as: CN115953520A

Abstract

本发明公开了一种虚拟场景的记录回放方法、装置、电子设备及介质，应用于虚拟现实技术领域。该方法包括：预先将虚拟三维场景划分为基础场景和动态对象；针对基础场景和动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据；本发明中采用三维形式对数据进行记录得到记录数据，利于在后续回放过程中实现三维图像的回放，以便实现与三维场景实时运行时一样的沉浸感，利于提升用户使用体验。

Description

一种虚拟场景的记录回放方法、装置、电子设备及介质

技术领域

本发明涉及虚拟现实技术领域，特别是涉及一种虚拟场景的记录回放方法、装置、电子设备及计算机可读存储介质。

背景技术

随着数字孪生、元宇宙等技术的发展，3D数字空间引起人们极大的探索兴趣，3D数字空间本身及与物理空间的融合交互将对人们未来的工作、生活等各方面产生极大影响，是具有变革性的技术。3D数字空间的应用是近来人们积极探索的领域之一，如VR会议、VR远程协作、3D游戏等，但是如何对动态3D场景进行记录目前仍是一个难题。

常用的方法是选择固定视角把动态3D场景转化为二维视频形式，这种记录方式在回放过程中无法变换视点，不能实现和3D场景实时运行时一样的沉浸感，影响用户使用体验。

鉴于此，如何提供一种解决上述技术问题的虚拟场景记录回放方法、装置、电子设备及计算机可读存储介质成为本领域技术人员需要解决的问题。

发明内容

本发明实施例的目的是提供一种虚拟场景记录回放方法、装置、电子设备及计算机可读存储介质，实现三维数据的记录，利于实现三维图像的回放，以便实现与三维场景实时运行时一样的沉浸感，利于提升用户使用体验。

为解决上述技术问题，本发明实施例提供了一种虚拟场景的记录回放方法，包括：

预先将虚拟三维场景划分为基础场景和动态对象；

针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据。

可选择，还包括：

采用回放渲染管线基于所述记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像。

可选的，所述针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据，包括：

针对所述基础场景，采用预先设置的多个第一虚拟相机对所述基础场景进行图像采集，得到基础场景数据；

针对所述动态对象，采用预先设置的多个第二虚拟相机实时对位于所述基础场景中的各对象进行图像采集，得到动态对象数据；

基于各所述基础场景数据对神经网络进行训练，得到采用三维场景隐式表示的场景三维模型；

基于各所述动态对象数据对神经网络进行训练，得到采用三维场景隐式表示的对象三维模型；

结合所述场景三维模型和所述对象三维模型，得到记录数据。

可选的，所述基于各所述基础场景数据对神经网络进行训练，得到采用三维场景隐式表示的场景三维模型，包括：

针对每帧基础场景数据，基于所述基础场景数据获取场景输入参数，将所述场景输入参数输入至神经网络得到输出结果，并基于所述输出结果对所述神经网络的网络参数进行更新，直至满足对应的预设要求时，得到训练好的场景三维模型；其中，所述场景输入参数包括观察位置和观察方向；

则，相应的所述基于各所述动态对象数据对神经网络进行训练，得到采用三维场景隐式表示的对象三维模型，包括：

针对每帧动态对象数据，基于所述动态对象数据获取对象输入参数，将所述对象输入参数输入至神经网络得到输出结果，并基于所述输出结果对所述神经网络的网络参数进行更新，直至满足对应的预设要求时，得到训练好的对象三维模型；其中，所述对象输入参数包括观察位置、观察方向和时间戳；

所述输出结果包括颜色、透明度和深度。

可选的，所述对象三维模型为每个所述对象共同形成的一个三维模型。

可选的，所述对象三维模型为多个分别与每个对象各自对应的三维模型。

可选的，在所述针对所述基础场景，采用预先设置的多个第一虚拟相机对所述基础场景进行图像采集，得到基础场景数据之前，还包括：

针对所述基础场景，预先确定多个基础观察点；

在每个所述基础观察点分别设置第一虚拟相机，以使各所述第一虚拟相机的视角覆盖整个所述基础场景。

可选的，每个所述基础观察点均匀分布，且连线为圆形。

可选的，每个所述基础观察点处设有两个第一虚拟相机。

可选的，所述基础观察点处的每个所述第一虚拟相机在水平面内的视角均指向所述圆形的圆心，在竖直方向上的视角均偏离水平方向第一预设角度。

可选的，在所述针对所述动态对象，采用预先设置的多个第二虚拟相机实时对位于所述基础场景中的各对象进行图像采集之前，还包括：

针对所述动态对象，预先确定多个对象观察点；

在每个所述对象观察点分别设置第二虚拟相机，以使各所述第二虚拟相机的视角覆盖位于所述基础场景中的各对象。

可选的，每个所述对象观察点分布于所述基础场景的边界线上。

可选的，每个所述第二虚拟相机在水平面内的视角均指向所述边界线围绕区域的中心，每个所述第二虚拟相机在竖直方向上的视角均向下倾斜第二预设角度。

可选的，所述基础场景数据包括多帧基础场景图像，所述基础场景图像包括场景图像数据、视点信息和方向信息；

所述动态对象数据包括多帧动态对象图像，所述动态对象图像包括时间戳、对象图像数据、视点信息和方向信息。

可选的，所述采用回放渲染管线基于所述记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像，包括：

基于预设图像分辨率及当前输入参数确定出输出图像的各像素对应的像素位置；

针对每个所述像素，基于所述像素的像素位置及当前输入参数，生成对应的渲染光线；

基于所述场景三维模型和所述对象三维模型对所述渲染光线进行着色计算，得到所述渲染光线与各模型之间作用的结果；

基于各所述结果，确定出与所述渲染光线对应像素的像素颜色；

基于与每个所述像素各自对应的像素颜色，得到回放图像。

可选的，所述当前输入参数包括当前视点位置、当前观察方向和当前时间戳。

可选的，所述当前输入参数为基于上一时间戳的输入参数及当前时间戳用户输入的参数变量得到的。

可选的，所述基于所述场景三维模型和所述对象三维模型对所述渲染光线进行着色计算，得到所述渲染光线与各模型之间作用的结果，包括：

基于所述渲染光线的光线参数以及所述场景三维模型的模型参数和所述对象三维模型的模型参数，确定出与所述渲染光线存在相交关系的目标三维模型；

采用所述目标三维模型基于所述光线参数进行计算，得到所述渲染光线与所述目标三维模型之间作用的结果，所述结果包括所述渲染光线与所述目标三维模型之间的交点到所述渲染光线起点的距离、颜色。

可选的，所述基于各所述结果，确定出与所述渲染光线对应像素的像素颜色，包括：

从各所述距离中确定出最小距离；

将与所述最小距离对应的颜色作为与所述渲染光线对应像素的像素颜色。

本发明实施例还提供了一种虚拟场景的记录回放装置，包括：

划分模块，用于预先将虚拟三维场景划分为基础场景和动态对象；

记录模块，用于针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据。

可选的，还包括：

回放模块，用于采用回放渲染管线基于所述记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像。

可选的，所述记录模块包括：

第一采集单元，用于针对所述基础场景，采用预先设置的多个第一虚拟相机对所述基础场景进行图像采集，得到基础场景数据；

第二采集单元，用于针对所述动态对象，采用预先设置的多个第二虚拟相机实时对位于所述基础场景中的各对象进行图像采集，得到动态对象数据；

第一训练模块，用于基于各所述基础场景数据对神经网络进行训练，得到采用三维场景隐式表示的场景三维模型；

第二训练模块，用于基于各所述动态对象数据对神经网络进行训练，得到采用三维场景隐式表示的对象三维模型；

结合模块，用于结合所述场景三维模型和所述对象三维模型，得到记录数据。

可选的，还包括：

第一确定模块，用于针对所述基础场景，预先确定多个基础观察点；

第一设置模块，用于在每个所述基础观察点分别设置第一虚拟相机，以使各所述第一虚拟相机的视角覆盖整个所述基础场景。

可选的，还包括：

第二确定模块，用于针对所述动态对象，预先确定多个对象观察点；

第二设置模块，用于在每个所述对象观察点分别设置第二虚拟相机，以使各所述第二虚拟相机的视角覆盖位于所述基础场景中的各对象。

可选的，所述回放模块，包括：

第一确定单元，用于基于预设图像分辨率及当前输入参数确定出输出图像的各像素对应的像素位置；

第一生成单元，用于针对每个所述像素，基于所述像素的像素位置及当前输入参数，生成对应的渲染光线；

计算单元，用于基于所述场景三维模型和所述对象三维模型对所述渲染光线进行着色计算，得到所述渲染光线与各模型之间作用的结果；

第二确定单元，用于基于各所述结果，确定出与所述渲染光线对应像素的像素颜色；

第二生成单元，用于基于与每个所述像素各自对应的像素颜色，得到回放图像。

可选的，所述计算单元，包括：

第三确定子单元，用于基于所述渲染光线的光线参数以及所述场景三维模型的模型参数和所述对象三维模型的模型参数，确定出与所述渲染光线存在相交关系的目标三维模型；

计算子单元，用于采用所述目标三维模型基于所述光线参数进行计算，得到所述渲染光线与所述目标三维模型之间作用的结果，所述结果包括所述渲染光线与所述目标三维模型之间的交点到所述渲染光线起点的距离、颜色。

可选的，第二确定单元包括：

选择子单元，用于从各所述距离中确定出最小距离；

第二确定子单元，用于将与所述最小距离对应的颜色作为与所述渲染光线对应像素的像素颜色。

本发明实施例还提供了一种电子设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上述所述虚拟场景的记录回放方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述虚拟场景的记录回放方法的步骤。

本发明实施例提供了一种虚拟场景的记录回放方法、装置、电子设备及计算机可读存储介质，该方法包括：预先将虚拟三维场景划分为基础场景和动态对象；针对基础场景和动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据。

可见，本发明实施例中通过将虚拟三维场景进行基础场景和动态场景的划分，然后分别对基础场景进行数据记录以及对动态场景进行实时数据记录，并生成采用三维场景隐式表示的记录数据，以便在回放过程中基于记录数据得到三维回放图像，以进行三维图像回放，也即，本发明中实现了对三维数据的记录，利于在后续回放过程中实现三维图像的回放，以便实现与三维场景实时运行时一样的沉浸感，利于提升用户使用体验。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对现有技术和实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种虚拟场景的记录方法的流程示意图；

图2为本发明实施例提供的另一种虚拟场景的记录回放方法的流程示意图；

图3为本发明实施例提供的一种虚拟场景的数据记录过程示意图；

图4为本发明实施例提供的一种基础场景的虚拟相机分布示意图；

图5为本发明实施例提供的一种基础场景虚拟相机拍摄角度示意图；

图6为本发明实施例提供的一种动态对象的虚拟相机分布示意图；

图7为本发明实施例提供的一种动态对象的虚拟相机拍摄角度示意图；

图8为本发明实施例提供的一种基于神经网络的隐式数据表示示意图；

图9为本发明实施例提供的一种回放渲染管线示意图；

图10为本发明实施例提供的一种虚拟场景的回放过程示意图；

图11为本发明实施例提供的一种虚拟场景的记录回放装置的结构示意图；

图12为本发明实施例提供的一种电子设备的结构示意图；

图13为本发明实施例提供的一种计算机可读存储介质的结构示意图。

具体实施方式

本发明实施例提供了一种虚拟场景记录回放方法、装置、电子设备及计算机可读存储介质，实现三维数据的记录，利于实现三维图像的回放，以便实现与三维场景实时运行时一样的沉浸感，利于提升用户使用体验。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参照图1，图1为本发明实施例提供的一种虚拟场景的记录方法的流程示意图。该方法包括：

S110：预先将虚拟三维场景划分为基础场景和动态对象；

需要说明的是，本发明实施例中预先将虚拟三维场景的场景表示分成基础场景和动态对象两部分，其中，基础场景为静态的，在整个过程中保持不变的场景；动态对象可能会随时间在几何形状、位置姿态等方面发生变化。场景表示基于一个世界坐标系，也即，基础场景及所有动态对象都通过该世界坐标系表示自身空间位置和姿态信息。

S120：针对基础场景和动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据；

可以理解的是，在对数据进行采集记录的过程中，本发明实施例中对基础场景和静态对象分别进行数据记录，对于采集到的数据采用三维场景隐士表示，得到记录数据，也即，本发明实施例的记录数据为三维数据。

可见，本发明实施例中通过将虚拟三维场景进行基础场景和动态场景的划分，然后分别对基础场景进行数据记录以及对动态场景进行实时数据记录，并生成采用三维场景隐式表示的记录数据，然后以便在回放过程中采用回放渲染管线基于记录数据得到三维和预设图像参数对当前输入参数进行处理得到对应的回放图像，以进行三维图像回放，也即，本发明中实现了对三维数据的记录，采用的记录数据为三维形式，从而能够利于在后续回放过程中实现三维图像的回放，以便实现与三维场景实时运行时一样的沉浸感，利于提升用户使用体验。

需要说明的是，现有技术通过记录虚拟现实设备在显示图像过程中的速度参数及对应的采集时刻等信息，并根据速度参数确定匹配的视口位置，在回放过程中将与所记录速度参数匹配的视口位置输入三维引擎，三维引擎根据视口位置确定虚拟现实设备已经显示过的三维数字模型部分，同时控制三维引擎生成对应三维数字模型部分的虚拟现实图像。该技术所记录的数据包括3D场景内的所有模型以及在整个过程中每个用户输入的交互命令等数据，并且在后续回放过程中是将所记录的所有数据全部运行一遍，这种方式所记录的数据规模较大，占用内存较多，影响系统性能。针对该技术问题，在上述实施例的基础上，本发明实施例对技术方案做进一步的说明和优化，具体如下：

如图2所示，该方法包括：

S210：预先将虚拟三维场景划分为基础场景和动态对象；

S220：针对基础场景和动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据；

需要说明的是，本发明实施例中的S210至S220的具体介绍请参照上述实施例，本发明实施例在此不再赘述。

S230：采用回放渲染管线基于记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像。

具体的，在得到采用三维形式记录的记录数据后对记录数据进行回放，并且在进行回放的过程中，可以采用回放渲染管线根据记录数据以及预设图像参数对当前输入参数进行处理，从而可以得到对应的回放图像，其中，该回放图像为三维图像，也即，本发明能够实现三维图像的回放，在回放过程中使用户体验到与三维场景实时运行时一样的沉浸感，提升用户使用体验。

进一步的，请参照图3，上述S220中针对基础场景和动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据的过程，具体可以包括：

S310：针对基础场景，采用预先设置的多个第一虚拟相机对基础场景进行图像采集，得到基础场景数据；

需要说明的是，在对基础场景进行数据记录的过程中可以采用预先设置的多个第一虚拟相机对基础场景进行图像采集，从而得到基础场景数据。具体的，针对基础场景，预先确定多个基础观察点；在每个基础观察点分别设置第一虚拟相机，以使各第一虚拟相机的视角覆盖整个基础场景。

可以理解的是，基础场景的数据采集记录可以采用离线方式进行，具体可以先基于该基础场景确定出多个基础观察点，然后在每个基础观察点的位置布置相应的第一虚拟相机，通过第一虚拟相机采集基础场景在该第一虚拟相机对应的视角下的图像和该第一虚拟相机空间位置和朝向，对于在基础场景中所布置的所有第一虚拟相机，使各第一虚拟相机的视角能够覆盖整个基础场景，也即覆盖基础场景的所有部分。

进一步的，为了进一步保证各第一虚拟相机的视角能够覆盖基础场景的所有位置，本发明实施例中的每个基础观察点可以均匀分布，且每个基础观察点之间的连线形成圆形，例如正圆形或椭圆形，并且在每个基础观察点出可以设置两个第一虚拟相机，且位于同一个基础观察点处的每个第一虚拟相机在水平面内的视角均指向圆形的圆心，在竖直方向上的视角均偏离水平方向第一预设角度。

具体请参照图4所示，在基础场景内部，大约相当于人眼高度的一条椭圆形轨迹上，均匀分布有8个基础观察点，且每个基础观察点处布置2台第一虚拟相机，每个基础观察点处的各个第一虚拟相机在水平面内的视角均朝向圆心方向，同一基础观察点上的两台第一虚拟相机，其在竖直方向的拍摄角度为，其中一台第一虚拟相机沿水平偏上30度，另一台第一虚拟相机沿水平偏下30度（如图5所示），也即上述第一预设角度为30°，且两台第一虚拟相机的方向不同，这样能实现视角对基础场景内所有区域的完全覆盖。

具体的，采集的基础场景数据包括多帧基础场景图像，每帧基础场景图像包括场景图像数据、视点信息和方向信息，其中，视点信息为第一虚拟相机的空间位置，方向信息为第一虚拟相机的朝向。在实际应用中，在通过各个第一虚拟相机对基础场景进行数据记录时，可以采集预设数量的基础场景数据，该预设数量能够满足后续记录数据生成过程对数据量的要求即可，之后不需要再进行采集。

S320：针对动态对象，采用预先设置的多个第二虚拟相机实时对位于基础场景中的各对象进行图像采集，得到动态对象数据；

需要说明的是，本发明实施例中针对动态对象，在动态对象的整个生命周期中采用预先设置的多个第二虚拟相机对位于基础场景内的各个对象进行图像采集，得到对个动态对象数据。具体的针对动态对象，预先确定多个对象观察点，然后在每个对象观察点分别设置第二虚拟相机，以使各第二虚拟相机的视角覆盖位于基础场景中的各对象。

可以理解的是，动态对象的数据采集记录需要实时在线进行，数据采集伴随动态对象生命周期全过程，具体可以先基于确定出多个对象观察点，然后在每个对象观察点的位置布置相应的第二虚拟相机，通过第二虚拟相机采集动态对象在该第二虚拟相机对应的视角下的图像和该第二虚拟相机空间位置和朝向，针对动态对象所布置的所有第二虚拟相机，使各第二虚拟相机的视角能够覆盖所有动态对象，也即覆盖基础场景内的所有对象。

进一步的，为了进一步保证各第二虚拟相机的视角能够覆盖基础场景的所有的动态对象，并且能够覆盖所有动态对象的各个角度，本发明实施例中的每个对象观察点可以均匀分布于基础场景的边界线上，并且每个第二虚拟相机在水平面内的视角均指向边界线围绕区域的中心，每个第二虚拟相机在竖直方向上的视角均向下倾斜第二预设角度。

如图6所示，在能包括所有动态对象的一个基础场景的边界线上，均匀布置8个对象观察点，每个对象观察点处设有一台第二虚拟相机，所有第二虚拟相机在水平面内的拍摄方向均指向该区域的中心。如图7所示，每个对象观察点的水平高度要高于所有动态对象的高度，在竖直方向上，第二虚拟相机的拍摄方向沿斜向下倾斜第二预设角度（例如45度），这样能降低各动态对象之间的遮挡，以便观察到每个动态对象的各个角度。

具体的，在数据采集过程中，各第二虚拟相机同步进行采集，所采集动态对象数据包括多帧动态对象图像，每帧动态对象图像包括时间戳、对象图像数据、视点信息和方向信息，其中，视点信息为第二虚拟相机的空间位置，方向信息为第二虚拟相机的姿态。在实际应用中，时间戳以整个记录事件开始为0时，采集速度可以根据对象的运动情况确定，当对象运动较快、幅度较大时可以采用第一采集频率（也即，较快的采集频率），如每秒30帧；当对象运动较慢、幅度较小时可以采用第二采集频率（也即较慢的采集频率），如每秒10帧。

S330：基于各基础场景数据对神经网络进行训练，得到采用三维场景隐式表示的场景三维模型；

需要说明的是，本发明实施例中的基础场景数据的记录采用基于神经网络的三维场景隐士表示。具体的，在获取到基础场景数据后，可以采用基础场景数据对神经网络进行训练，得到基础场景的场景三维模型。

进一步的，基于各基础场景数据对神经网络进行训练，得到采用三维场景隐式表示的场景三维模型的过程，具体可以包括：

针对每帧基础场景数据，基于基础场景数据获取场景输入参数，将场景输入参数输入至神经网络得到输出结果，并基于输出结果对神经网络的网络参数进行更新，直至满足对应的预设要求时，得到训练好的场景三维模型；其中，场景输入参数包括观察位置和观察方向；输出结果包括颜色、透明度和深度。

S340：基于各动态对象数据对神经网络进行训练，得到采用三维场景隐式表示的对象三维模型；

需要说明的是，本发明实施例中可以随着动态对象数据的采集过程实时在线基于已采集的各动态对象数据进行神经网络的训练，也可以在所有的动态对象数据采集完成后离线基于已采集的各动态对象数据进行神经网络的训练，具体采用哪种方式，可以根据实际需要进行确定，本发明实施例对此不作特色限定。

进一步的，基于各动态对象数据对神经网络进行训练，得到采用三维场景隐式表示的对象三维模型，包括：

针对每帧动态对象数据，基于动态对象数据获取对象输入参数，将对象输入参数输入至神经网络得到输出结果，并基于输出结果对神经网络的网络参数进行更新，直至满足对应的预设要求时，得到训练好的对象三维模型；其中，对象输入参数包括观察位置、观察方向和时间戳；输出结果包括颜色、透明度和深度。

下面对基础三维模型和对象三维模型的训练进行详细介绍：

在实际应用中，本发明实施例中的基础场景数据和动态对象数据的记录均采用基于神经网络的三维场景隐士表示，该表示方式采用一个神经网络F代表场景或对象的三维模型数据，具体如图8所示，其中，中间的虚线框表示基于神经网络的隐式数据表示，对于基础场景输入为观察位置

和观察方向/>

，对于动态对象输入为观察位置/>

、观察方向/>

和时间戳t，输出均为颜色/>

、透明度/>

和深度d。输入与输出对应的关系式为：/>

。

可以理解的是，在获取到基础场景数据后，可以采用基础场景数据对神经网络进行训练，其中，在训练过程中输入为观察位置

、观察方向/>

，输出为颜色

、透明度/>

和深度d，根据输出对网络参数进行更新，直至满足预设要求后停止训练得到对应的采用三维场景隐式表示的场景三维模型，该模型具体可以用F₁表示。

基于获取到的动态对象数据，采用动态对象数据对神经网络进行训练，其中，在训练过程中的输入为观察位置

、观察方向/>

和时间戳t，输出均为颜色

、透明度/>

和深度d，根据输出对网络参数进行更新，直至满足预设要求后停止训练得到对应的采用三维场景隐式表示的对象三维模型。

S350：结合场景三维模型和对象三维模型，得到记录数据。

需要说明的是，在得到场景三维模型和对象三维模型后，将场景三维模型和对象三维模型相结合，从而可以得到记录数据，也即得到整体环境的数据模型，该数据模型即为最终的采用三维场景隐士表示的记录数据。

具体的，对象三维模型可以为每个对象共同形成的一个三维模型，也可以为多个分别与每个对象各自对应的三维模型。也即，对象三维模型可以是所有对象共同形成一个三维模型，也可以部分对象或单个对象形成各自的三维模型。从而得到整个环境的三维数据模型

也即，包括一个场景三维模型和一个或若干个对象三维模型。

进一步的，上述S230中采用回放渲染管线基于记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像的过程中，回放开始时的时间戳设为0，随着回放过程进行，如图9所示，将预设图像参数（例如图像分辨率和当前输入参数）输入至回放渲染管线，回放渲染管线根据这些参数，结合所有的模型数据，也即，场景三维模型和所有对象三维模型

，计算出该与输入参数对应的输出图像，该输出图像即为与当前时间戳对应的回放图像。该过程如图10所示，具体可以包括：

S410：基于预设图像分辨率及当前输入参数确定出输出图像的各像素对应的像素位置；

需要说明的是，在实际应用中预设图像参数可以为图像分辨率，也即可以预先设置图像分辨率，然后基于预设图像分辨率和当前输入参数确定出输出图像的各像素对应的像素位置。其中，本发明实施例中是当前输入参数包括当前视点位置、当前观察方向和当前时间戳，当然，在实际应用中预设图像分辨率也会作为输入参数输入至回放渲染管线，或者回放渲染管线主动获取预设图像分辨率。

S420：针对每个像素，基于像素的像素位置及当前输入参数，生成对应的渲染光线；

具体的，本发明实施例中以一个像素为例进行详细说明，在时刻t，根据该像素的像素位置和当前输入参数中的当前视点位置、当前观察方向生成与该像素对应的一天渲染光学，该渲染管线的起点为该像素的位置，该渲染管线的方向沿当前观察方向，从而得到与每个像素各自对应的渲染光线。

S430：基于场景三维模型和对象三维模型对渲染光线进行着色计算，得到渲染光线与各模型之间作用的结果；

具体的，可以基于渲染光线的光线参数以及场景三维模型的模型参数和对象三维模型的模型参数，确定出与渲染光线存在相交关系的目标三维模型；

采用目标三维模型基于光线参数进行计算，得到渲染光线与目标三维模型之间作用的结果，结果包括渲染光线与目标三维模型之间的交点到渲染光线起点的距离、颜色。

需要说明的是，在实际应用中针对每条渲染光线，可以结合场景三维模型的模型参数和对象三模模型的模型参数，确定出与该渲染光线存在相交的三维模型，将该三维模型作为目标三维模型，然后再采样每个目标三维模型，将与该渲染光线对应的光线参数（例如，光线起点

和方向/>

）作为该目标三维模型的输入，其中，i表示第i条渲染光线或第i个像素，具体请参照关系式

即可得到该渲染光线与该目标三维模型之间作用的结果，该结果具体包括颜色/>

、透明度/>

和深度/>

。另外，对于与该渲染光线不存在相交关系的三维模型，当将与该渲染光线对应的光线参数输入至该模型后，该模型返回的为某个预设信息。从而可以得到渲染光线与每个三维模型相互作用的结果。

S440：基于各结果，确定出与渲染光线对应像素的像素颜色；

具体的，在得到各个结果后，可以通过对各个结果进行分析，得到与该渲染光线对应像素的像素颜色。例如，针对一条渲染光线，可以从上述得到的各距离中确定出最小距离，然后将与最小距离对应的颜色作为与渲染光线对应像素的像素颜色。针对每条渲染光线可以确定出对应的最小距离，从而确定出相应像素的像素颜色。

S450：基于与每个像素各自对应的像素颜色，得到回放图像。

具体的，在得到与每个像素各自对应的像素颜色后，即可得到当前时间戳下与当前观察点和当前观察方向对应的回放图像，更新时间戳，继续计算下一时刻的回放图像，从而实现动态连续的回放效果。

还需要说明的是，本发明实施例中为了实现在回放的过程中进行视点的自由控制，也即实现与用户的交互，用户可以通过鼠标、键盘、控制手柄等交互设备输入视点的控制信息，该控制信息包括参数变量，因此针对当前时间戳对应的当前输入参数可以根据当前时间戳用户输入的参数变量以及上一时间戳输入参数得到，从而可以实现在回放过程中的交互控制，提高用户体验。

在上述实施例的基础上，本发明实施例还提供了一种虚拟场景的记录回放装置，具体请参照图11。该装置包括：

划分模块11，用于预先将虚拟三维场景划分为基础场景和动态对象；

记录模块12，用于针对基础场景和动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据。

进一步的，还包括：

回放模块，用于采用回放渲染管线基于记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像。

进一步的，所述记录模块12包括：

进一步的，该装置还包括：

进一步的，所述基础场景数据包括多帧基础场景图像，所述基础场景图像包括场景图像数据、视点信息和方向信息；

进一步的，所述回放模块13，包括：

进一步的，所述当前输入参数包括当前视点位置、当前观察方向和当前时间戳。

进一步的，所述当前输入参数为基于上一时间戳的输入参数及当前时间戳用户输入的参数变量得到的。

进一步的，所述计算单元，包括：

第二确定子单元，用于基于所述渲染光线的光线参数以及所述场景三维模型的模型参数和所述对象三维模型的模型参数，确定出与所述渲染光线存在相交关系的目标三维模型；

进一步的，第二确定单元包括：

选择子单元，用于从各所述距离中确定出最小距离；

第三确定子单元，用于将与所述最小距离对应的颜色作为与所述渲染光线对应像素的像素颜色。

需要说明的是，本发明实施例中提供的虚拟场景的记录回放装置具有与上述实施例中所提供的虚拟场景的记录回放方法相同的有益效果，并且对于本发明实施例中所设计到的虚拟场景的记录回放方法的具体介绍请参照上述实施例，本发明在此不再赘述。

请参照图12，在上述实施例的基础上，本发明实施例还提供了一种电子设备，包括：

存储器20，用于存储计算机程序；

处理器21，用于执行计算机程序时实现如上述虚拟场景的记录回放方法的步骤。

其中，处理器21可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器21可以采用DSP(Digital Signal Processing，数字信号处理)、FPGA(Field－Programmable Gate Array，现场可编程门阵列)、PLA(Programmable Logic Array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器21也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称CPU(Central ProcessingUnit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器21可以在集成有GPU(Graphics Processing Unit，图像处理器)，GPU用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器21还可以包括AI(Artificial Intelligence，人工智能)处理器，该AI处理器用于处理有关机器学习的计算操作。

存储器20可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器20还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。本实施例中，存储器20至少用于存储以下计算机程序201，其中，该计算机程序被处理器21加载并执行之后，能够实现前述任一实施例公开的虚拟场景的记录回放方法的相关步骤。另外，存储器20所存储的资源还可以包括操作系统202和数据203等，存储方式可以是短暂存储或者永久存储。其中，操作系统202可以包括Windows、Unix、Linux等。数据203可以包括但不限于设定的偏移量等。

在一些实施例中，电子设备还可包括有显示屏22、输入输出接口23、通信接口24、电源25以及通信总线26。

本领域技术人员可以理解，图12中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的组件。

可以理解的是，如果上述实施例中的虚拟场景的记录回放方法以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、磁碟或者光盘等各种可以存储程序代码的介质。

基于此，如图13所示，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质30上存储有计算机程序31，计算机程序31被处理器执行时实现如上述虚拟场景的记录回放方法的步骤。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本说明书中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器（RAM）、内存、只读存储器（ROM）、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其他形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其他实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims

1.一种虚拟场景的记录回放方法，其特征在于，包括：

预先将虚拟三维场景划分为基础场景和动态对象；所述基础场景为静态的，在整个过程中保持不变的场景；所述动态对象会随时间在几何形状、位置姿态等方面发生变化；

针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据；其中：

所述针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据，包括：

结合所述场景三维模型和所述对象三维模型，得到记录数据；

2.根据权利要求1所述的虚拟场景的记录回放方法，其特征在于，所述基于各所述基础场景数据对神经网络进行训练，得到采用三维场景隐式表示的场景三维模型，包括：

所述输出结果包括颜色、透明度和深度。

3.根据权利要求1所述的虚拟场景的记录回放方法，其特征在于，所述对象三维模型为每个所述对象共同形成的一个三维模型。

4.根据权利要求1所述的虚拟场景的记录回放方法，其特征在于，所述对象三维模型为多个分别与每个对象各自对应的三维模型。

5.根据权利要求1所述的虚拟场景的记录回放方法，其特征在于，在所述针对所述基础场景，采用预先设置的多个第一虚拟相机对所述基础场景进行图像采集，得到基础场景数据之前，还包括：

针对所述基础场景，预先确定多个基础观察点；

6.根据权利要求5所述的虚拟场景的记录回放方法，其特征在于，每个所述基础观察点均匀分布，且连线为圆形。

7.根据权利要求6所述的虚拟场景的记录回放方法，其特征在于，每个所述基础观察点处设有两个第一虚拟相机。

8.根据权利要求7所述的虚拟场景的记录回放方法，其特征在于，所述基础观察点处的每个所述第一虚拟相机在水平面内的视角均指向所述圆形的圆心，在竖直方向上的视角均偏离水平方向第一预设角度。

9.根据权利要求1所述的虚拟场景的记录回放方法，其特征在于，在所述针对所述动态对象，采用预先设置的多个第二虚拟相机实时对位于所述基础场景中的各对象进行图像采集之前，还包括：

针对所述动态对象，预先确定多个对象观察点；

10.根据权利要求9所述的虚拟场景的记录回放方法，其特征在于，每个所述对象观察点分布于所述基础场景的边界线上。

11.根据权利要求10所述的虚拟场景的记录回放方法，其特征在于，每个所述第二虚拟相机在水平面内的视角均指向所述边界线围绕区域的中心，每个所述第二虚拟相机在竖直方向上的视角均向下倾斜第二预设角度。

12.根据权利要求1所述的虚拟场景的记录回放方法，其特征在于，所述基础场景数据包括多帧基础场景图像，所述基础场景图像包括场景图像数据、视点信息和方向信息；

13.根据权利要求1至12任意一项所述的虚拟场景的记录回放方法，其特征在于，所述采用回放渲染管线基于所述记录数据和预设图像参数对当前输入参数进行处理，得到对应的回放图像，包括：

基于与每个所述像素各自对应的像素颜色，得到回放图像。

14.根据权利要求13所述的虚拟场景的记录回放方法，其特征在于，所述当前输入参数包括当前视点位置、当前观察方向和当前时间戳。

15.根据权利要求14所述的虚拟场景的记录回放方法，其特征在于，所述当前输入参数为基于上一时间戳的输入参数及当前时间戳用户输入的参数变量得到的。

16.根据权利要求13所述的虚拟场景的记录回放方法，其特征在于，所述基于所述场景三维模型和所述对象三维模型对所述渲染光线进行着色计算，得到所述渲染光线与各模型之间作用的结果，包括：

17.根据权利要求16所述的虚拟场景的记录回放方法，其特征在于，所述基于各所述结果，确定出与所述渲染光线对应像素的像素颜色，包括：

从各所述距离中确定出最小距离；

18.一种虚拟场景的记录回放装置，其特征在于，包括：

划分模块，用于预先将虚拟三维场景划分为基础场景和动态对象；所述基础场景为静态的，在整个过程中保持不变的场景；所述动态对象会随时间在几何形状、位置姿态等方面发生变化；

记录模块，用于针对所述基础场景和所述动态对象分别进行数据记录，得到采用三维场景隐式表示的记录数据；其中：

所述记录模块包括：

结合模块，用于结合所述场景三维模型和所述对象三维模型，得到记录数据；

还包括：

19.一种电子设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至17任一项所述虚拟场景的记录回放方法的步骤。

20.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至17任一项所述虚拟场景的记录回放方法的步骤。