CN117058343A - 一种基于nerf的vr看展方法、系统、电子设备和存储介质 - Google Patents

一种基于nerf的vr看展方法、系统、电子设备和存储介质 Download PDF

Info

Publication number
CN117058343A
CN117058343A CN202310810814.0A CN202310810814A CN117058343A CN 117058343 A CN117058343 A CN 117058343A CN 202310810814 A CN202310810814 A CN 202310810814A CN 117058343 A CN117058343 A CN 117058343A
Authority
CN
China
Prior art keywords
field model
instruction
image information
training
data set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310810814.0A
Other languages
English (en)
Inventor
张永昌
张双力
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Yixian Advanced Technology Co ltd
Original Assignee
Hangzhou Yixian Advanced Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Yixian Advanced Technology Co ltd filed Critical Hangzhou Yixian Advanced Technology Co ltd
Priority to CN202310810814.0A priority Critical patent/CN117058343A/zh
Publication of CN117058343A publication Critical patent/CN117058343A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Architecture (AREA)
  • Geometry (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请涉及一种基于NERF的VR看展方法，该方法包括：获取目标场景的图像数据，其中，图像数据包括多个图像帧和图像帧对应的位姿；根据图像数据生成训练数据集；通过预建NERF网络，基于训练数据集进行训练，得到目标场景对应的神经场模型；响应用户在VR看展过程中的操作指令，从神经场模型中，获取操作指令对应的图像信息，并将其返回至用户终端，解决了相关技术VR看展方法成本高的问题，基于NERF网，能够低成本且简化的得到用于VR看展的神经场模型，同时，能够得到高精度的神经场模型，得到更加逼真的三维形状和纹理信息，捕捉到物体表面的细节，进而提升用户在VR看展过程中的体验。

Description

一种基于NERF的VR看展方法、系统、电子设备和存储介质
技术领域
本申请涉及开关电源电力电子技术领域，特别是涉及一种基于NERF的VR体验方法、系统、电子设备和存储介质。
背景技术
VR看展是一种以虚拟现实技术(Virtual Reality，VR)为基础的展览形式，可以将传统的博物馆展览、艺术展览等通过全景拍照、3D建模和虚拟现实技术呈现出来，让用户可以在虚拟环境中进行参观与互动。
相比较于传统展览形式，VR看展的制作成本可以更低，同时可以让用户不受地域和时间限制，根据自己的兴趣和需求自由选择浏览的展品和路线，给用户带来更加自由的看展。。
在相关技术中，通过预先建模以实现VR看展，该方法需要对展馆进行3D扫描和建模，随后使用虚拟现实技术生成出虚拟展馆。用户通过头显设备、移动终端等设备。利用该虚拟展馆进行看展。但是，该方法中对展品及场景建模的过程工作量巨大，成本也较高。
目前，针对相关技术中基于NERF的VR看展方法成本较高的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种基于NERF的VR看展方法、装置、系统、计算机设备和计算机可读存储介质，以至少解决相关技术中VR看展方法成本较高的问题。
第一方面，本申请实施例提供了一种基于NERF的VR看展方法，所述方法包括：
获取所述目标场景的图像数据，其中，所述图像数据包括多个图像帧和所述图像帧对应的位姿；
根据所述图像数据生成训练数据集；
通过预建NERF网络，基于所述训练数据集进行训练，得到所述目标场景对应的神经场模型；
响应用户在VR看展过程中的操作指令，从所述神经场模型中，获取所述操作指令对应的图像信息，并将其返回至用户终端。
在其中一些实施例中，根据训练数据集进行训练，得到所述目标场景对应的神经场模型包括：
对所述训练数据集进行预处理；
通过渐进式采样法，根据所述预处理之后的训练数据，将所述目标场景的3D形状和纹理表示为密度值和颜色值；
基于预设损失函数评估所述密度值和颜色值对应的预测值和实际值之间的误差，在所述误差小于等于预设误差阈值的情况下，得到所述神经场模型，其中，所述神经场模型中的神经元对应于所述目标场景中的空间点。
在其中一些实施例中，所述图像数据对应于相机位置，所述目标场景的3D形状和纹理表示为密度值和颜色值包括：
以所述相机位置为起点，以所述图像数据中物体位置为终点，确定预设数量个投射光线，其中，所述投射光线的方向通过光线采样法获取；
确定所述投射光线与所述目标场景中物体的相交位置，基于所述相交位置的3D形状和纹理，以及所述投射光线的累计路径，获取任意一个所述相交位置对应的颜色值和密度值。
在其中一些实施例中，所述操作指令包括初始体验指令和场景交互指令，所述响应用户在VR看展过程中的操作指令，从所述神经场模型中，获取所述操作指令对应的图像信息，并将其返回至用户终端包括：
响应所述体验指令，从所述神经场模型中，获取与第一体验视角对应的第一图像信息，并将所述第一图像信息返回至所述用户终端；
响应所述视角移动指令，确定所述视角移动指令对应的第二体验视角，并在所述神经场模型中，获取与所述第二体验视角对应的第二图像信息，将所述第二图像信息返回值所述用户终端。
在其中一些实施例中，通过外接设备和/或眼动交互，生成和所述操作指令，或者，
通过触控交互界面生成所述操作指令，其中，所述触控交互界面包括第一虚拟摇杆和第二虚拟摇杆，分别通过所述第一虚拟摇杆和所述第二虚拟摇杆，生成位置移动指令和视角旋转指令。
在其中一些实施例中，所述操作指令还包括场景交互指令，所述响应用户在VR看展过程中的操作指令，从所述神经场模型中，获取所述操作指令对应的图像信息包括：
响应用户在VR看展过程中的场景交互指令，根据所述场景交互指令，对所述目标场景中预设展品的展品模型进行展示状态编辑处理；
获取所述展示状态编辑处理之后展品模型，对应的变更后图像信息；
将所述变更后图像信息返回至所述用户终端，其中，通过对所述预设展品进行美术建模，得到所述展品模型，所述展品模型在后处理之后保存在所述神经场模型中。
在其中一些实施例中，得到所述目标场景对应的神经场模型之后，所述方法还包括：
获取所述神经场模型中待编辑区域对应的场景渲染图，并根据所述场景渲染图得到训练子数据集；
将所述训练数据集中待编辑区域的对应的数据，替换为所述训练子数据集，得到更新之后的训练数据集；
基于所述更新之后的训练数据集进行迭代训练，得到所述场景编辑之后的神经场模型。
第二方面，本申请实施例提供了一种基于NERF的VR看展系统，所述系统包括：用户终端和服务器设；其中，
所述用户终端，用于采集目标场景的图像数据，其中，所述图像数据包括多个图像帧和所述图像帧对应的位姿；
所述服务器，用于获取所述图像数据并根据所述图像数据生成训练数据集，以及，通过预建NERF网络根据训练数据集进行训练，得到所述目标场景对应的神经场模型；
所述用户终端，还用于接收用户在VR看展过程中的操作指令；
所述服务器，还用于响应用户在VR看展过程中的操作指令，以及，从所述神经场模型中获取对应的图像信息，并将其返回至用户终端。
第三方面，本申请实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的方法。
相比于相关技术，本申请实施例提供的，通过获取目标场景的图像数据，其中，图像数据包括多个图像帧和图像帧对应的位姿；根据图像数据生成训练数据集；通过预建NERF网络，基于训练数据集进行训练，得到目标场景对应的神经场模型；响应用户在VR看展过程中的操作指令，从神经场模型中，获取操作指令对应的图像信息，并将其返回至用户终端，解决了相关技术VR看展方法成本高的问题，基于NERF网，能够低成本且简化的得到用于VR看展的神经场模型，同时，能够得到高精度的神经场模型，得到更加逼真的三维形状和纹理信息，捕捉到物体表面的细节，进而提升用户在VR看展过程中的体验。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的基于NERF的VR看展方法的流程图；
图2是根据本申请实施例的采集路径的示意图；
图3是根据训练数据集进行训练，得到目标场景对应的神经场模型的流程图；
图4是根据本申请实施例的渲染图测试效果示意图；
图5是根据本申请实施例中的一种处理用户操作指令的流程图；
图6是根据本申请实施例的对神经场模型进行编辑的流程图；
图7是根据本申请实施例的一种基于NERF的VR看展系统的结构框图；
图8是根据本申请实施例的电子设备的内部结构示意图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本申请实施例提供了一种基于NERF的VR看展方法，图1是根据本申请实施例的基于NERF的VR看展方法的流程图，如图1所示，该流程包括如下步骤：
S101，服务器获取目标场景的图像数据，其中，图像数据包括多个图像帧和图像帧对应的位姿；
其中，本方案可以应用在服务器，该服务器可以是云服务器也可以是多个物理服务器组成的集群。
本实施例中，该目标场景可以但不限于是博物馆、美术馆和商场等；进一步的，目标场景的图像数据通过摄像设备在场景采集，具体的，摄像设备可以是手机、相机、3D扫描仪、深度相机和航拍设备等；图像数据可以是视频格式，也可以是多个连续的图像帧。
优选的，为了避免模型中物体互相叠加的情况，可以采用具备深度信息的摄像设备采集该图像数据。
还需说明的是，图像数据的采集过程需按照预设路径，该预设路径由运营人员根据目标场景的实际布局情况规划。图2是根据本申请实施例的采集路径的示意图，如图2所示，矩形区域是场景布局，指向性的线条是采集路径，相机框的三角形为采集视角。
S102，根据图像数据生成训练数据集，通过预建NERF网络，基于训练数据集进行训练，得到目标场景对应的神经场模型；
需要说明的是，NERF(Neural Radiance Fields)是一种基于深度学习的三维重建方法，它可以从二维图像中恢复出真实世界中的三维场景。每个神经元都对应一个空间内的点，并且在整个物体表面上构成一个连续的场。该神经网络由多个隐藏层组成，每个隐藏层由多个全连接层和激活函数组成，能够很好地捕捉到物体的深度和颜色信息。
本实施例中，上述预构建NERF网络是预先建立的用于建立模型的框架，通过该框架，基于步骤S101中采集的图像数据进行训练，可以获取目标场景对应的神经场模型。
在神经场模型中，目标展馆被表示为神经辐射场的函数。通过训练编码器网络来估计每个点的视角、方向和距离，并使用解码器网络生成对应的颜色和密度。神经场能够生成具有细节丰富度和逼真感的图像，并且可以从不同视角观察场景。
其中，基于神经场模型，渲染得到的任意一个图像可以通过如下公式1表示：
公式1：
公式1中，是渲染图；x表示空间点的3D坐标位置，x＝(x,y,z)；d表示视角方向，d＝(θ，φ)；c表示该视角相关的3D点的颜色，，c＝(r,g,b)；σ表示对应3D位置的密度。
可以理解，本实施例中利用NeRF技术可以生成高精度的3D模型，具备逼真的三维形状和纹理信息，进一步的，根据光线在场景中的传播情况计算阴影和反射等效果，能够进一步地生成非常逼真的渲染结果。
S103，响应用户在VR看展过程中的操作指令，从神经场模型中，获取操作指令对应的图像信息，并将其返回至用户终端。
上述步骤S101和S102完成了对目标场景的重建。在本步骤中，用户可以通过手机、头显设备等，利用部署在服务器的神经场模型进行VR看展。
(1)当用户使用手机等移动设备进行VR看展时，体验流程包括如下步骤：
Step1，打开应用程序，选择感兴趣的展馆进行体验；其中，该应用程序可以是运行在Android、IOS等系统上的客户端应用，也可以是微信小程序。
Step2，进入VR看展界面，服务器推送实时渲染的NERF渲染的视频流至手机界面；
Step3，用户通过手机交互界面实时切换参观视角、参观线路，在VR展馆中进行移动式体验。其中，对于特殊展品，可以通过触控操作，实现对特殊展品进行旋转、移动、缩放等操作。
(2)当用户使用电脑进行VR看展时，体验流程包括如下步骤：
Step1，用户通过收入特定网址，进入VR看展界面；
Step2，选择特定展馆进入体验；
Step3，通过鼠标右键操控用户看展视角，键盘改变用户视角位置移动，浏览整个VR展馆；
Step4，服务器基于此视角进行实时光影效果渲染并推送视频流；
Step5，针对特殊展品，可左键点击选择展品，通过右键转换浏览视角，滚轮来操作展品模型。
Step6，服务器端基于用户视角，实时渲染展品光影。
(3)当用户使用头显设备进行VR看展时，体验流程包括如下步骤：
Step1，在VR眼镜端运行VR看展应用；
Step2，启动软件，在界面上选择想要观看的展览，进入VR展览空间。
Step3，用户通过手柄设备进行操作，调整观看视角及位姿、以及与展品模型进行交互；
Step4，服务器根据用户视角推送实时渲染的视频流。
通过上述步骤S101至S103，相比较于相关技术中的基于点云建模等的VR看展方法，本申请实施例基于NERF技术进行建模，基于2D图像即可实现，步骤更加方便高效；另外，得到的3D模型也具备更好的真实感，能够进一步的提升用户体验。
进一步的，相比较于基于全景图像的VR看展方式，本申请方案体验路径并不固定，用户可以根据自身需求灵活的选择路径和视角，提升用户VR看展过程的可交互性。同时，也可以解决由于现场拍摄时的真实环境中，展品摆放不理想，光线不足等因素，导致观展效果差的问题。
在其中一些实施例中，图3是根据训练数据集进行训练，得到目标场景对应的神经场模型的流程图，如图3所示，该流程包括如下步骤：
S1021，对训练数据集进行预处理；其中，预处理过程包括但不限于去畸变、图像对齐、去噪等手段，由于该步骤与本申请核心发明点无关，因此对具体实现细节，在本实施例中不再赘述。
S1022，通过渐进式采样法，根据预处理之后的训练数据，将目标场景的3D形状和纹理表示为密度值和颜色值；
其中，每个神经辐射场由一个编码器网络生成，编码器网络接受相机参数和像素坐标作为输入，并输出场景中该点的颜色和密度，解码器网络根据这些颜色和密度信息生成逼真的图像。
编码器通过光线投影和采样获取颜色和透明度信息，具体的，光线投影和采样法的具体步骤可以描述为：
Step1，确定各个图像帧对应的相机模型，以相机模型的光心为起点，以图像数据中物体位置为终点，确定预设数量个投射光线，其中，投射光线的方向可通过光线采样法获取；
Step2，确定投射光线与目标场景中物体的相交位置，基于相交位置的3D形状和纹理，以及投射光线的累计路径，获取任意一个相交位置对应的颜色值和密度值。
S1023，基于预设损失函数评估密度值和颜色值对应的预测值和实际值之间的误差，在误差小于等于预设误差阈值的情况下，得到神经场模型，其中，神经场模型中的神经元对应于目标场景中的空间点。
可以理解，训练数据集分为训练集和测试集，在训练结束之后，将测试集中的图像帧及其位姿输入模型，通过该模型生成对应的渲染图，该渲染图即对应预测值；进一步的，再利用损失函数，将该预测值与图像的真实值进行对比，以验证模型的准确度；图4是根据本申请实施例的渲染图测试效果示意图。
若两者的差异过大，则继续优化模型参数进行迭代训练，直至预测值和真实值之间的差异达到预设的误差阈值时，模型训练完成，得到可以实际用于VR看展的神经场模型。利用该神经场模型，可以基于任意一个2D图像，渲染得到对应的3D模型。
进一步的，本实施例中，神经场模型的训练过程采用了渐进式采样方法(Progressive Sampling)，即先从低分辨率的图像开始训练，逐步增加采样密度和减小步长，直到得到高分辨率的模型，通过不断调整模型参数和损失函数，能够不断提高模型的精度和稳定性。
通过上述步骤S1021和S1022，基于NERF技术的建模方式，不仅可以生成高精度的3D模型，具备逼真的三维形状和纹理信息；同时，可以捕捉到物体表面的细节，根据光线在场景中的传播情况计算阴影和反射等效果，生成尽可能逼真的渲染结果。进一步的，本方案并不需要制作复杂的3D模型，只需要从不同角度捕捉2D图像即可，极大地简化了制作流程，制作成本也更低。
在其中一些实施例中，操作指令包括初始体验指令和场景交互指令，图5是根据本申请实施例中的一种处理用户操作指令的流程图，如图5所示，该流程包括如下步骤：
S1031，响应体验指令，从神经场模型中，获取与第一体验视角对应的第一图像信息，并将第一图像信息返回至用户终端；
其中，体验指令时用户进入VR看展体验时生成的指令，具体的，该指令可以是用户启动体验程序，打开任意一个展馆的指令。
进一步的，在用户初次进入VR看展体验时，本实施例中，优选的，默认设置一个初始视角，基于该初始视角渲染第一图像信息。其中，该初始视角可以是展馆的入口位置、或者是展馆的总览俯视角度，或者是体验内容最丰富的位置。
S1032，响应视角移动指令，确定视角移动指令对应的第二体验视角，在神经场模型中，获取与第二体验视角对应的第二图像信息，将第二图像信息返回至用户终端。
可以理解，视角移动指令是用户在VR看展过程中，自由选择目标体验区域的指令。在手机等移动终端，该指令可以通过触控界面生成；在电脑端，该指令可以通过鼠标键盘灯外接设备生成；在头戴式显示设备中，该指令则可以通过手柄、眼动交互等方式生成。
具体的，一种视角移动指令的具体实现方式可以示例为：在手机终端，分别触控交互界面中的通第一虚拟摇杆和第二虚拟摇杆，生成位置移动指令和视角旋转指令。
通过上述步骤S1031和S1032，相比较于传统基于全景图像的VR看展方式，用户可以根据自身兴趣，通过移动相机视角灵活快捷的选择任意一个体验区域，相比较于传统基于全景图像的VR看展方式，体验路径更加丰富多样，沉浸度也更高。
在其中一些实施例中，操作指令还包括场景交互指令，响应用户在VR看展过程中的操作指令，从神经场模型中获取操作指令对应的图像信息包括：
响应用户在VR看展过程中的场景交互指令，根据场景交互指令，对目标场景中预设展品的展品模型进行展示状态编辑处理；具体的，状态编辑可以是缩放、移动位置和旋转等，例如，将远景的模型拖动至自己视野前方较近位置。
获取展示状态编辑处理之后展品模型，对应的变更后图像信息；
将变更后图像信息返回至用户终端，其中，通过对预设展品进行美术建模，得到展品模型，展品模型在后处理之后保存在神经场模型中。
通过上述实施例，可以实现更多元、更交互性的场景，用户可以根据自身需求，对场景中的特殊展品进行更细粒度的浏览交互，从而更进一步的提高了VR看展过程中的可交互性。
在其中一些实施例中，得到目标场景对应的神经场模型之后，方法还包括对神经场模型进行编辑的步骤，图6是根据本申请实施例的对神经场模型进行编辑的流程图，如图6所示，该流程包括如下步骤：
S601，获取神经场模型中待编辑区域对应的场景渲染图，并根据场景渲染图得到训练子数据集；并校准相机渲染位置(x,y,z)及视角方向(θ，φ)；
S602，将训练数据集中待编辑区域的对应的数据，替换为训练子数据集，得到更新之后的训练数据集；
S603，基于更新之后的训练数据集进行迭代训练，得到场景编辑之后的神经场模型。
该步骤中，输入数据包含图像、噪声，系统根据子数据集进行新的迭代训练。
通过上述步骤S601至S603，可以对NeRF网络进行微调来，将新的3D模型融合到NeRF网络中进行训练，从而使得网络能够生成包含新模型的3D场景，通过修改场景中各个元素的权重值来实现场景编辑功能。
本实施例还提供了一种基于NERF的VR看展方法，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图7是根据本申请实施例的一种基于NERF的VR看展系统的结构框图，如图6所示，该系统包括户终端70和服务器71，其中，
用户终端70，用于采集目标场景的图像数据，其中，图像数据包括多个图像帧和图像帧对应的位姿；
服务器71，用于获取图像数据并根据图像数据生成训练数据集，以及，通过预建NERF网络根据训练数据集进行训练，得到目标场景对应的神经场模型；
用户终端70，还用于接收用户在VR看展过程中的操作指令；
服务器71，还用于响应用户在VR看展过程中的操作指令，以及，从神经场模型中获取对应的图像信息，并将其返回至用户终端60。
通过上述系统，相比较于相关技术中的VR基于建模的VR看展雄通过，本申请实施例基于NERF技术进行建模，基于2D图像即可实现，步骤更加方便高效、另外，得到的3D模型也具备更好的真实感，能够进一步的提升用户体验。另外，相比较于基于全景图像的VR看展方式，本申请方案体验路径并不固定，用户可以根据自身需求灵活的选择路径和视角，同时，也可以解决由于现场拍摄时的真实环境中，展品摆放不理想，光线不足等因素，导致影响观展效果差的问题。
在一个实施例中，图8是根据本申请实施例的电子设备的内部结构示意图，如图8所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图8所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端通过网络连接通信，内存储器用于为操作系统的运行提供环境，计算机程序被处理器执行时以实现一种基于NERF的VR看展方法，数据库用于存储数据。
本领域技术人员可以理解，图8中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于NERF的VR看展方法，其特征在于，所述方法包括：
获取所述目标场景的图像数据，其中，所述图像数据包括多个图像帧和所述图像帧对应的位姿；
根据所述图像数据生成训练数据集；
通过预建NERF网络，基于所述训练数据集进行训练，得到所述目标场景对应的神经场模型；
响应用户在VR看展过程中的操作指令，从所述神经场模型中，获取所述操作指令对应的图像信息，并将其返回至用户终端。
2.根据权利要求1所述方法，其特征在于，根据训练数据集进行训练，得到所述目标场景对应的神经场模型包括：
对所述训练数据集进行预处理；
通过渐进式采样法，根据所述预处理之后的训练数据，将所述目标场景的3D形状和纹理表示为密度值和颜色值；
基于预设损失函数评估所述密度值和颜色值对应的预测值和实际值之间的误差，在所述误差小于等于预设误差阈值的情况下，得到所述神经场模型，其中，所述神经场模型中的神经元对应于所述目标场景中的空间点。
3.根据权利要求2所述的方法，其特征在于，所述图像数据对应于相机位置，所述目标场景的3D形状和纹理表示为密度值和颜色值包括：
以所述相机位置为起点，以所述图像数据中物体位置为终点，确定预设数量个投射光线，其中，所述投射光线的方向通过光线采样法获取；
确定所述投射光线与所述目标场景中物体的相交位置，基于所述相交位置的3D形状和纹理，以及所述投射光线的累计路径，获取任意一个所述相交位置对应的颜色值和密度值。
4.根据权利要求1所述的方法，其特征在于，所述操作指令包括初始体验指令和场景交互指令，所述响应用户在VR看展过程中的操作指令，从所述神经场模型中，获取所述操作指令对应的图像信息，并将其返回至用户终端包括：
响应所述体验指令，从所述神经场模型中，获取与第一体验视角对应的第一图像信息，并将所述第一图像信息返回至所述用户终端；
响应所述视角移动指令，确定所述视角移动指令对应的第二体验视角，并在所述神经场模型中，获取与所述第二体验视角对应的第二图像信息，将所述第二图像信息返回值所述用户终端。
5.根据权利要求4所述的方法，其特征在于，通过外接设备和/或眼动交互，生成和所述操作指令，或者，
通过触控交互界面生成所述操作指令，其中，所述触控交互界面包括第一虚拟摇杆和第二虚拟摇杆，分别通过所述第一虚拟摇杆和所述第二虚拟摇杆，生成位置移动指令和视角旋转指令。
6.根据权利要求5所述的方法，其特征在于，所述操作指令还包括场景交互指令，所述响应用户在VR看展过程中的操作指令，从所述神经场模型中，获取所述操作指令对应的图像信息包括：
响应用户在VR看展过程中的场景交互指令，根据所述场景交互指令，对所述目标场景中预设展品的展品模型进行展示状态编辑处理；
获取所述展示状态编辑处理之后展品模型，对应的变更后图像信息；
将所述变更后图像信息返回至所述用户终端，其中，通过对所述预设展品进行美术建模，得到所述展品模型，所述展品模型在后处理之后保存在所述神经场模型中。
7.根据权利要求1所述的方法，其特征在于，得到所述目标场景对应的神经场模型之后，所述方法还包括：
获取所述神经场模型中待编辑区域对应的场景渲染图，并根据所述场景渲染图得到训练子数据集；
将所述训练数据集中待编辑区域的对应的数据，替换为所述训练子数据集，得到更新之后的训练数据集；
基于所述更新之后的训练数据集进行迭代训练，得到所述场景编辑之后的神经场模型。
8.一种基于NERF的VR看展系统，其特征在于，所述系统包括：用户终端和服务器，其中，
所述用户终端，用于采集目标场景的图像数据，其中，所述图像数据包括多个图像帧和所述图像帧对应的位姿；
所述服务器，用于获取所述图像数据并根据所述图像数据生成训练数据集，以及，通过预建NERF网络根据训练数据集进行训练，得到所述目标场景对应的神经场模型；
所述用户终端，还用于接收用户在VR看展过程中的操作指令；
所述服务器，还用于响应用户在VR看展过程中的操作指令，以及，从所述神经场模型中获取对应的图像信息，并将其返回至用户终端。
9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
CN202310810814.0A 2023-07-04 2023-07-04 一种基于nerf的vr看展方法、系统、电子设备和存储介质 Pending CN117058343A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310810814.0A CN117058343A (zh) 2023-07-04 2023-07-04 一种基于nerf的vr看展方法、系统、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310810814.0A CN117058343A (zh) 2023-07-04 2023-07-04 一种基于nerf的vr看展方法、系统、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN117058343A true CN117058343A (zh) 2023-11-14

Family

ID=88652471

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310810814.0A Pending CN117058343A (zh) 2023-07-04 2023-07-04 一种基于nerf的vr看展方法、系统、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN117058343A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557238A (zh) * 2024-01-11 2024-02-13 天禹文化集团有限公司 一种基于虚拟现实的博物馆展品参观管理方法和系统
CN118071965A (zh) * 2024-02-28 2024-05-24 北京数原数字化城市研究中心 增强现实锚点放置方法、装置、电子设备及可读存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117557238A (zh) * 2024-01-11 2024-02-13 天禹文化集团有限公司 一种基于虚拟现实的博物馆展品参观管理方法和系统
CN117557238B (zh) * 2024-01-11 2024-03-29 天禹文化集团有限公司 一种基于虚拟现实的博物馆展品参观管理方法和系统
CN118071965A (zh) * 2024-02-28 2024-05-24 北京数原数字化城市研究中心 增强现实锚点放置方法、装置、电子设备及可读存储介质

Similar Documents

Publication Publication Date Title
US10755485B2 (en) Augmented reality product preview
CN109887003B (zh) 一种用于进行三维跟踪初始化的方法与设备
WO2019223463A1 (zh) 图像处理方法、装置、存储介质和计算机设备
CN110874818B (zh) 图像处理和虚拟空间构建方法、装置、系统和存储介质
CN111127304A (zh) 跨域图像转换
CN117058343A (zh) 一种基于nerf的vr看展方法、系统、电子设备和存储介质
US20130321396A1 (en) Multi-input free viewpoint video processing pipeline
WO2018009473A1 (en) Motion capture and character synthesis
CN109906600B (zh) 模拟景深
CN113220251B (zh) 物体显示方法、装置、电子设备及存储介质
CN109997175A (zh) 确定虚拟对象的大小
US10325402B1 (en) View-dependent texture blending in 3-D rendering
Di Benedetto et al. ExploreMaps: Efficient construction and ubiquitous exploration of panoramic view graphs of complex 3D environments
CN114581611B (zh) 虚拟场景构建方法以及装置
CN112288878A (zh) 增强现实预览方法及预览装置、电子设备及存储介质
CN115984447A (zh) 图像渲染方法、装置、设备和介质
Cui et al. Fusing surveillance videos and three‐dimensional scene: A mixed reality system
JP2024501958A (ja) ピクセル整列ボリュメトリックアバター
CN114266693A (zh) 图像处理方法、模型生成方法及设备
CN113592875B (zh) 数据处理方法、图像处理方法、存储介质及计算设备
EP3177005B1 (en) Display control system, display control device, display control method, and program
CN116708862A (zh) 直播间的虚拟背景生成方法、计算机设备及存储介质
CN113240802B (zh) 三维重建的全屋虚拟装维方法、装置、设备及存储介质
CN116977392A (zh) 图像生成方法、装置、电子设备及存储介质
CN116783894A (zh) 基于多模态元数据通过数据过滤和同步来协调不协调内容以便生成复合媒体资产的方法和系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination