CN118037922A - 一种基于神经辐射场的ar眼镜数据处理方法及装置 - Google Patents

Abstract

本申请提供一种基于神经辐射场的AR眼镜数据处理方法及装置，涉及数据处理的技术领域。在该方法中，获取针对目标场景的图像流；采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据；对三维结构数据进行渲染，得到渲染场景；对渲染场景与目标场景进行融合，得到增强现实场景；将增强现实场景通过AR眼镜片进行展示。实施本申请提供的技术方案，便于提高场景重建的准确度。

Description

一种基于神经辐射场的AR眼镜数据处理方法及装置

技术领域

本申请涉及数据处理的技术领域，具体涉及一种基于神经辐射场的AR眼镜数据处理方法及装置。

背景技术

增强现实(AR)技术是一种将虚拟信息与真实世界相结合的技术，它通过将计算机生成的图像、声音、震动等数字信息融合到用户所观察的真实世界中，为用户提供了一种超越传统感官体验的全新交互方式。

在场景重建方面，传统的AR技术主要依赖于对真实世界物体的识别和跟踪，然后将其与虚拟信息进行合成。然而，传统的AR技术通常只能通过视觉的方法来获取这些信息，这使得在复杂的环境和动态的物体面前，获取的几何信息往往存在误差，从而影响了场景重建的准确度。

因此，急需一种基于神经辐射场的AR眼镜数据处理方法及装置。

发明内容

本申请提供了一种基于神经辐射场的AR眼镜数据处理方法及装置，便于提高场景重建的准确度。

在本申请的第一方面提供了一种基于神经辐射场的AR眼镜数据处理方法，所述方法包括：获取针对目标场景的图像流；采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据；对所述三维结构数据进行渲染，得到渲染场景；对所述渲染场景与所述目标场景进行融合，得到增强现实场景；将所述增强现实场景通过AR眼镜片进行展示。

通过采用上述技术方案，通过使用神经辐射场模型，该方法能够生成高度准确的三维结构数据，这些数据可以反映目标场景的详细结构。基于获取的三维结构数据，该方法能够创建出逼真的渲染场景。这不仅增强了视觉效果，还为用户提供了更真实的沉浸式体验。通过将渲染场景与目标场景融合，该方法能够创造出增强现实场景。这意味着用户可以在现实世界中看到虚拟元素，这些元素与真实环境无缝集成，进一步增强了真实感和互动性。通过AR眼镜展示增强现实场景，为用户提供了一种方便且直观的媒介。由此，便于提高场景重建的准确度。

可选地，所述获取针对目标场景的图像流，具体包括：响应于用户输入的拍摄指令；根据所述拍摄指令，控制AR眼镜摄像头拍摄所述目标场景，得到图像数据；接收所述AR眼镜摄像头发送的所述图像数据；对所述图像数据进行预处理，得到所述目标场景的图像流。

通过采用上述技术方案，该方法允许用户通过拍摄指令来获取目标场景的图像数据。由于直接从AR眼镜摄像头获取数据，用户可以立即获得关于目标场景的视觉反馈。这有助于用户更好地了解拍摄效果，并及时调整拍摄指令。通过对图像数据进行预处理，有助于提高图像质量，通过去除噪声、增强细节，为后续的三维重建提供更准确的数据基础。通过AR眼镜摄像头拍摄，用户可以随时随地获取目标场景的图像数据，无需依赖其他外部设备或特定的拍摄设置。预处理步骤可以在AR眼镜端进行，从而提高了整体的效率和稳定性，且用户数据的安全性和隐私得到了更好的保护，降低了数据泄露的风险。

可选地，所述三维结构数据包括边缘数据，所述采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据，具体包括：对所述图像流进行图像分割，得到目标像素点，所述图像流包括多个像素点，所述目标像素点为多个所述像素点中的任意一个像素点；通过所述预设神经辐射场模型，采用二阶差分法计算所述目标像素点的梯度和方向，得到计算结果；对所述计算结果采取非极大值抑制操作，得到筛选结果；通过所述预设神经辐射场模型，采用双阈值算法对所述筛选结果进行处理，得到所述边缘数据。

通过采用上述技术方案，通过使用图像分割技术，能够准确地识别和提取目标像素点，这是从图像中提取有意义的三维结构信息的关键步骤。利用二阶差分法，能够计算出目标像素点的梯度和方向，这为后续的三维重建提供了重要的几何信息。非极大值抑制操作有助于消除计算结果中的冗余和噪声，从而提高数据的准确性和可靠性。双阈值算法进一步处理筛选结果，有助于在保持数据准确性的同时提高处理效率。由于采用了预设的神经辐射场模型，该方法可以根据不同的应用需求进行调整和优化。由于算法的优化和并行处理能力，该方法可以快速处理大量的图像数据，满足实时场景重建的需求。

可选地，所述三维结构数据还包括轮廓数据，所述采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据，具体包括：对所述图像流进行图像转换，得到灰度图像；对所述灰度图像进行阈值处理，得到二值图像；通过所述预设神经辐射场模型，对所述二值图像进行形态学处理以及连通性检测，得到所述轮廓数据。

通过采用上述技术方案，除了边缘数据外，还提取轮廓数据，这为三维重建提供了更全面的几何信息。通过将原始图像转换为灰度图像，可以简化后续的处理步骤，并减少计算负担。阈值处理用于将灰度图像转换为二值图像，从而进一步简化了后续的形态学处理和连通性检测。通过形态学处理，可以增强和提取二值图像中的重要几何特征，如轮廓。连通性检测有助于确保提取的轮廓数据是完整和准确的，从而为三维重建提供可靠的数据基础。结合神经辐射场模型，该方法能够处理各种光照和对比度条件下的图像，并从中提取可靠的轮廓数据。通过结合多种图像处理技术和神经辐射场模型，该方法能够从复杂的图像流中提取出完整、准确的三维结构数据，从而为后续的渲染和增强现实应用提供坚实的基础。

可选地，所述三维结构数据还包括纹理数据，所述采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据，具体包括：根据多尺度通道注意力机制，对所述图像流进行多尺度特征提取，得到多尺度特征图；将所述多尺度特征图输入至所述预设神经辐射场模型中，得到显著区域；对所述显著区域进行识别，得到所述纹理数据。

通过采用上述技术方案，通过多尺度通道注意力机制，能够从图像流中提取多尺度的特征，这有助于捕捉目标的细节和层次结构。通过将多尺度特征图输入到神经辐射场模型中，可以检测出图像中的显著区域，这些区域通常包含重要的纹理和细节信息。通过对显著区域进行识别和分类，能够提取出纹理数据，这为三维重建提供了更丰富的纹理信息，使重建的三维模型更加逼真。结合纹理数据，重建的三维模型能够呈现出更真实的外观和质感，从而提高整体的重建精度。通过调整多尺度通道注意力机制和神经辐射场模型的参数，该方法可以根据不同的场景重建需求进行定制和优化。

可选地，在所述采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据之前，训练所述预设神经辐射场模型；所述训练所述预设神经辐射场模型，具体包括：获取训练信息，所述训练信息包括图像流和三维结构数据；将所述训练信息输入至神经辐射场初始网络中进行训练，得到第一训练结果；将所述第一训练结果与所述训练信息进行叠加与标准化处理后，得到第二训练结果；将所述第二训练结果输入至所述神经辐射场初始网络中进行处理，得到第三训练结果；将所述第三训练结果与所述第二训练结果进行叠加与标准化处理，直至输出所述训练信息相似度矩阵，所述训练信息相似度矩阵满足预设逻辑回归条件。

通过采用上述技术方案，通过使用训练信息，能够学习从图像流中提取三维结构数据的模式和特征。神经辐射场初始网络能够通过训练自动调整其参数和权重，以提高从图像流中提取三维结构数据的准确性和效率。训练过程中使用了叠加和标准化处理，这有助于逐步优化神经网络的输出，使其更接近实际的三维结构数据。训练信息相似度矩阵满足预设逻辑回归条件，这有助于提高模型的预测准确性和稳定性。由于使用了神经网络和优化算法，训练过程可以在较短的时间内完成，提高了模型的训练效率。通过自动化和数据驱动的训练方法，可以减少对人工调整和干预的需求，降低了模型的复杂性和开发成本。经过训练的神经网络可以快速处理输入的图像流，实时提取三维结构数据，满足实时应用的需求。通过使用机器学习和神经网络技术，该方法能够从图像流中准确地提取三维结构数据，为后续的渲染和增强现实应用提供可靠的数据基础。

可选地，所述对所述渲染场景与所述目标场景进行融合，得到增强现实场景，具体包括：从所述渲染场景中提取出第一特征点，所述渲染场景包括多个渲染特征点，所述第一特征点为多个所述渲染特征点中的任意一个渲染特征点；从所述目标场景中提取出第二特征点，所述目标场景包括多个目标特征点，所述第二特征点为多个所述目标特征点中的任意一个目标特征点；计算所述第一特征点和所述第二特征点之间的相似度，得到相似度值；若确定所述相似度值大于或等于预设相似度阈值，则将所述第一特征点和所述第二特征点进行匹配融合，以得到所述增强现实场景。

通过采用上述技术方案，从渲染场景和目标场景中提取特征点，这有助于识别和匹配两个场景中的对应元素。通过计算第一特征点和第二特征点之间的相似度，这为确定两个场景之间的匹配程度提供了量化指标。通过预设相似度阈值，能够筛选出高质量的匹配，从而提高融合的准确性和可靠性。如果相似度值大于或等于预设阈值，则将第一特征点和第二特征点进行匹配融合，这有助于将渲染场景与目标场景无缝地结合在一起，创建出增强现实场景。由于使用了特征点匹配和相似度计算，该方法可以在较短的时间内完成融合操作，满足实时应用的需求。结合多种图像处理、特征提取和匹配技术，该方法能够完整地融合渲染场景和目标场景，创建出真实感强的增强现实场景。随着深度学习和机器学习技术的发展，该方法可以通过持续的训练和优化来提高其准确性和性能。通过精确的融合技术，用户可以在增强现实场景中获得更加自然和逼真的视觉体验，从而提高整体的用户满意度和使用体验。

在本申请的第二方面提供了一种基于神经辐射场的AR眼镜数据处理装置，所述AR眼镜数据处理装置包括获取模块和处理模块，其中，所述获取模块，用于获取针对目标场景的图像流；所述处理模块，用于采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据；所述处理模块，还用于对所述三维结构数据进行渲染，得到渲染场景；所述处理模块，还用于对所述渲染场景与所述目标场景进行融合，得到增强现实场景；所述处理模块，还用于将所述增强现实场景通过AR眼镜片进行展示。

在本申请的第三方面提供了一种电子设备，所述电子设备包括处理器、存储器、用户接口以及网络接口，所述存储器用于存储指令，所述用户接口和所述网络接口均用于给其他设备通信，所述处理器用于执行所述存储器中存储的指令，以使所述电子设备执行如上所述的方法。

在本申请的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如上所述的方法。

综上所述，本申请实施例中提供的一个或多个技术方案，至少具有如下技术效果或优点：

1.通过使用神经辐射场模型，该方法能够生成高度准确的三维结构数据，这些数据可以反映目标场景的详细结构。基于获取的三维结构数据，该方法能够创建出逼真的渲染场景。这不仅增强了视觉效果，还为用户提供了更真实的沉浸式体验。通过将渲染场景与目标场景融合，该方法能够创造出增强现实场景。这意味着用户可以在现实世界中看到虚拟元素，这些元素与真实环境无缝集成，进一步增强了真实感和互动性。通过AR眼镜展示增强现实场景，为用户提供了一种方便且直观的媒介。由此，便于提高场景重建的准确度；

2.通过多尺度通道注意力机制，能够从图像流中提取多尺度的特征，这有助于捕捉目标的细节和层次结构。通过将多尺度特征图输入到神经辐射场模型中，可以检测出图像中的显著区域，这些区域通常包含重要的纹理和细节信息。通过对显著区域进行识别和分类，能够提取出纹理数据，这为三维重建提供了更丰富的纹理信息，使重建的三维模型更加逼真。结合纹理数据，重建的三维模型能够呈现出更真实的外观和质感，从而提高整体的重建精度。通过调整多尺度通道注意力机制和神经辐射场模型的参数，该方法可以根据不同的场景重建需求进行定制和优化；

3.从渲染场景和目标场景中提取特征点，这有助于识别和匹配两个场景中的对应元素。通过计算第一特征点和第二特征点之间的相似度，这为确定两个场景之间的匹配程度提供了量化指标。通过预设相似度阈值，系统能够筛选出高质量的匹配，从而提高融合的准确性和可靠性。如果相似度值大于或等于预设阈值，则将第一特征点和第二特征点进行匹配融合，这有助于将渲染场景与目标场景无缝地结合在一起，创建出增强现实场景。由于使用了特征点匹配和相似度计算，该方法可以在较短的时间内完成融合操作，满足实时应用的需求。结合多种图像处理、特征提取和匹配技术，该方法能够完整地融合渲染场景和目标场景，创建出真实感强的增强现实场景。随着深度学习和机器学习技术的发展，该方法可以通过持续的训练和优化来提高其准确性和性能。通过精确的融合技术，用户可以在增强现实场景中获得更加自然和逼真的视觉体验，从而提高整体的用户满意度和使用体验。

附图说明

图1为本申请实施例提供的一种基于神经辐射场的AR眼镜数据处理方法的流程示意图。

图2为本申请实施例提供的一种基于神经辐射场的AR眼镜数据处理装置的模块示意图。

图3为本申请实施例提供的一种电子设备的结构示意图。

附图标记说明：21、获取模块；22、处理模块；31、处理器；32、通信总线；33、用户接口；34、网络接口；35、存储器。

具体实施方式

为了使本领域的技术人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。

在本申请实施例的描述中，“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。

在本申请实施例的描述中，术语“多个”的含义是指两个或两个以上。例如，多个系统是指两个或两个以上的系统，多个屏幕终端是指两个或两个以上的屏幕终端。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

增强现实(AR)技术是一种创新的技术，它将虚拟信息与现实世界完美地结合在一起。通过将计算机生成的图像、声音、震动等数字信息无缝地融入用户所处的真实环境，AR技术为用户带来了前所未有的感官体验和交互方式，极大地超越了传统的感官体验。

在场景重建方面，传统的AR技术主要依赖于对真实世界物体的识别和跟踪，然后将其与虚拟信息进行合成。但是，这种传统的AR技术存在一定的局限性。它通常只能通过视觉的方式获取真实世界的信息，这使得在复杂的环境和动态的物体面前，获取的几何信息往往存在误差。这种误差不仅影响了场景重建的准确性，还可能使用户体验到不真实甚至扭曲的场景。

为了解决上述技术问题，本申请提供了一种基于神经辐射场的AR眼镜数据处理方法，参照图1，图1为本申请实施例提供的一种基于神经辐射场的AR眼镜数据处理方法的流程示意图。该数据处理方法应用于AR眼镜控制器，包括步骤S110至步骤S150，上述步骤如下：

S110、获取针对目标场景的图像流。

具体地，AR眼镜控制器是一个设备或软件，用于控制和管理AR眼镜的功能。它嵌入在AR眼镜中，与AR眼镜配合使用，以提供增强现实体验。图像流指的是连续的图像序列，通常用于视频或实时监控。这里，它指的是从目标场景捕获的实时图像数据。目标场景指的是AR眼镜正在观察或试图增强的实际环境或空间。例如，如果用户正在使用AR眼镜查看一个房间，那么这个房间就是目标场景。

在一种可能的实施方式中，获取针对目标场景的图像流，具体包括：响应于用户输入的拍摄指令；根据拍摄指令，控制AR眼镜摄像头拍摄目标场景，得到图像数据；接收AR眼镜摄像头发送的图像数据；对图像数据进行预处理，得到目标场景的图像流。

具体地，用户可以通过某种方式，比如语音命令、手势或按钮点击输入拍摄指令，告诉AR眼镜需要拍摄目标场景。一旦AR眼镜控制器接收到用户的拍摄指令，AR眼镜的摄像头会转向并开始拍摄目标场景。AR眼镜控制器还会接收摄像头捕获的图像数据，为了使图像更适合显示或进一步的处理，图像数据通常会经过一些预处理步骤，例如缩放、裁剪、降噪或颜色校正等。经过预处理的图像数据形成了一个连续的图像序列，即图像流，代表了目标场景的实时视图。

举例来说，假设用户想要通过AR眼镜查看一个艺术展览。用户对AR眼镜说：“开始录制展览”。这是一个用户输入的拍摄指令。AR眼镜的摄像头自动转向展览区域，并开始录制。摄像头录制的视频数据被实时传输到AR眼镜控制器。控制器对视频数据进行预处理，例如调整亮度和对比度，以获得更清晰的视图。处理后的视频数据形成了一个连续的图像流，实时显示在AR眼镜的屏幕上，让用户可以看到展览的每一个细节。通过这个过程，用户可以自由地查看展览，并获得与真实环境相结合的增强信息或虚拟元素，从而获得更加丰富和个性化的体验。

S120、采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据。

具体地，神经辐射场模型是一种复杂的数学和计算模型，用于从图像数据中提取三维结构信息。这里的“预设”意味着这个模型是事先定义和训练好的，已经具备了从图像中提取三维结构数据的能力。上述过程为将连续的图像数据输入到神经辐射场模型中，并对其进行一系列的计算和分析，以提取出目标场景的三维结构信息。处理后的结果是一个表示目标场景三维结构的数据集，可能包括物体的形状、大小、位置、方向等信息。

举例来说，假设用户正在通过AR眼镜观察一个房间，并希望获取房间的三维结构数据。AR眼镜控制器捕获连续的图像数据，这些数据代表了房间的各个角度和细节。这些图像数据被输入到预设的神经辐射场模型中。神经辐射场模型开始分析每一帧图像，从中识别出房间内的各个物体和它们的三维位置。通过复杂的计算和对比，模型逐渐构建出一个表示房间三维结构的数据库，包括家具的位置、墙壁的角度、窗户的大小等。最后，这些三维结构数据被提取出来，并可用于进一步的分析、识别或增强现实效果的生成。通过这种方式，用户可以从连续的图像流中准确地提取出目标场景的三维结构数据，为后续的增强现实应用提供必要的基础信息。

在一种可能的实施方式中，三维结构数据包括边缘数据，采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据，具体包括：对图像流进行图像分割，得到目标像素点，图像流包括多个像素点，目标像素点为多个像素点中的任意一个像素点；通过预设神经辐射场模型，采用二阶差分法计算目标像素点的梯度和方向，得到计算结果；对计算结果采取非极大值抑制操作，得到筛选结果；通过预设神经辐射场模型，采用双阈值算法对筛选结果进行处理，得到边缘数据。

具体地，边缘数据是指图像中物体轮廓和边界的信息，对于三维重建和识别非常重要。图像分割是将图像划分为多个区域或对象的过程，这里是为了识别和定位目标像素点。在分割后的图像中，被特别关注或选择的像素点，它们对于提取边缘数据至关重要。采用二阶差分法是一种数学方法，用于确定像素点处的边缘方向和强度。非极大值抑制操作是一种技术，用于进一步筛选计算结果，去除不显著的边缘或噪声。双阈值算法是一种处理方法，通过设置两个阈值来决定哪些边缘是重要的并最终纳入三维结构数据。

举例来说，假设用户使用AR眼镜观察一个房间，并希望提取房间的边缘数据。AR眼镜控制器捕获房间的连续图像流，图像流被分割成多个区域或对象，以识别墙壁、门窗等。对于每个识别出的区域或对象，控制器选择一些关键像素点，即目标像素点。预设的神经辐射场模型使用二阶差分法计算这些像素点的梯度和方向，以确定边缘的存在和方向。非极大值抑制操作进一步筛选这些边缘，确保只保留显著的边缘。最后，双阈值算法处理这些边缘数据，只保留那些满足特定条件的边缘，这些边缘数据随后被用于构建房间的三维结构模型。

在一种可能的实施方式中，三维结构数据还包括轮廓数据，采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据，具体包括：对图像流进行图像转换，得到灰度图像；对灰度图像进行阈值处理，得到二值图像；通过预设神经辐射场模型，对二值图像进行形态学处理以及连通性检测，得到轮廓数据。

具体地，轮廓数据指的是物体边缘的形状和轮廓信息，对于三维结构和形状识别十分重要。AR眼镜控制器通过将彩色图像转换为灰度图像是为了简化处理过程并突出边缘信息。灰度图像只包含亮度信息，不包含颜色信息。AR眼镜控制器通过设置一个阈值，可以将灰度图像转换为黑白二值图像，有助于进一步提取边缘和轮廓。形态学处理是一种图像处理技术，用于去除噪声、平滑图像或增强特定形状特征。连通性检测通过检查像素点的连接和连通性，可以识别出物体的轮廓和边界。

举例来说，假设用户使用AR眼镜观察一个房间，并希望提取房间内物体的轮廓数据。AR眼镜控制器捕获房间的连续图像流，图像流被转换为灰度图像，以简化处理过程并突出边缘信息。通过对灰度图像进行阈值处理，将图像转换为黑白二值图像，有助于进一步提取边缘和轮廓。预设的神经辐射场模型对二值图像进行形态学处理，如腐蚀和膨胀操作，以增强边缘信息和去除噪声。预设神经辐射场模型随后进行连通性检测，识别出物体的轮廓和边界，形成轮廓数据。通过这些步骤，可以从连续的图像流中提取出目标场景的轮廓数据，这些数据对于构建三维模型和增强现实应用至关重要。

在一种可能的实施方式中，三维结构数据还包括纹理数据，采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据，具体包括：根据多尺度通道注意力机制，对图像流进行多尺度特征提取，得到多尺度特征图；将多尺度特征图输入至预设神经辐射场模型中，得到显著区域；对显著区域进行识别，得到纹理数据。

具体地，纹理数据指的是物体表面的细节和图案，对于三维模型的外观和质感至关重要。根据多尺度通道注意力机制，对图像流进行多尺度特征提取，其中，多尺度特征提取是指从不同大小和分辨率的图像中提取特征，注意力机制则帮助模型集中于最重要的信息。提取出的多尺度特征以图像的形式表示，其中每个像素点都包含有关物体表面在不同尺度上的信息。接下来，将多尺度特征图输入至预设神经辐射场模型中，得到显著区域，通过神经辐射场模型的处理，可以识别出图像中最重要的区域或显著特征。最后，对显著区域进行进一步分析，可以识别出物体的表面纹理，形成纹理数据。

举例来说，假设用户使用AR眼镜观察一个布满纹理的墙面，AR眼镜控制器捕获墙面的连续图像流。AR眼镜控制器根据多尺度通道注意力机制，控制器从图像流中提取墙面的多尺度特征，例如墙面砖块的纹理、颜色和大小等。这些多尺度特征图被输入到预设的神经辐射场模型中，模型识别出最显著的区域，例如墙面的主要纹理区域。通过对这些显著区域进行进一步分析，控制器识别出墙面的具体纹理，例如砖块的形状、排列和颜色等。

S130、对三维结构数据进行渲染，得到渲染场景。

具体地，渲染是指将三维结构数据转化为可以在AR眼镜上显示的二维图像的过程。这可以通过将三维模型投影到一个二维平面上，并添加光照、阴影、纹理等效果。经过渲染后的数据在AR眼镜上显示为一个虚拟的、增强的场景，用户可以在其中看到目标场景的三维表示。

举例来说，假设用户已经使用AR眼镜从展览中提取了三维结构数据，包括物体的形状、大小、位置和纹理。AR眼镜控制器接收到这些三维结构数据，AR眼镜控制器使用内部渲染引擎对数据进行处理，将三维物体投影到一个虚拟的二维平面上。在这个过程中，控制器还会根据场景中的光照条件和物体的材质属性，为物体添加逼真的光照和阴影效果。纹理数据也会被应用到相应的物体表面，使其看起来更加真实。最终，这些渲染后的数据被传输到AR眼镜的显示屏上，用户可以看到一个增强的、虚拟的展览场景。通过这种渲染过程，可以将提取的三维结构数据转化为一个逼真的虚拟场景，为用户提供沉浸式的增强现实体验。

S140、对渲染场景与目标场景进行融合，得到增强现实场景。

具体地，AR眼镜控制器对渲染场景与目标场景进行融合，这意味着AR眼镜控制器会将渲染后的虚拟场景与用户实际看到的真实场景结合起来。通过这种融合，用户可以在真实环境中看到虚拟元素和信息的增强版本，即增强现实场景。

举例来说，假设用户在展览中使用AR眼镜捕获了一个展品的三维结构数据，且AR眼镜控制器为其创建了一个渲染场景。AR眼镜控制器接收到渲染场景，当用户在真实环境中再次看向该展品时，控制器将渲染场景与用户视角下的真实场景进行对齐和融合。通过这种融合，用户不仅可以看到展品的真实外观，还可以看到有关展品的额外信息，如历史背景、详细描述或虚拟标签等。这些信息可以以增强现实的形式叠加在展品上，为用户提供更丰富、更深入的交互体验。通过这种方式，增强现实场景为用户提供了一个结合了真实和虚拟元素的全新视角，使他们能够更好地理解和欣赏展品。

在一种可能的实施方式中，对渲染场景与目标场景进行融合，得到增强现实场景，具体包括：从渲染场景中提取出第一特征点，渲染场景包括多个渲染特征点，第一特征点为多个渲染特征点中的任意一个渲染特征点；从目标场景中提取出第二特征点，目标场景包括多个目标特征点，第二特征点为多个目标特征点中的任意一个目标特征点；计算第一特征点和第二特征点之间的相似度，得到相似度值；若确定相似度值大于或等于预设相似度阈值，则将第一特征点和第二特征点进行匹配融合，以得到增强现实场景。

具体地，在渲染场景中选取关键的特征点，这些特征点可以是物体的边缘、纹理、形状等。同时，在真实的目标场景中选取相应的特征点，这些特征点应该与渲染场景中的特征点相对应。通过比较两个特征点的形状、大小、方向等属性，计算它们之间的相似度。其中，相似度算法包括但不限于欧拉角、余弦以及汉明相似度等。接下来，AR眼镜控制器判断两个特征点是否足够相似，以进行匹配和融合。如果相似度值满足条件，将两个特征点进行匹配，并将渲染场景中的相应部分与目标场景融合，形成增强现实场景。预设相似度阈值由AR眼镜控制器的管理人员预设。

举例来说，假设使用AR眼镜观察一个房间，房间中有一些家具和装饰品。AR眼镜控制器首先渲染出一个虚拟的家具模型，该模型与真实房间中的家具相似。在渲染场景中，控制器识别出一组特征点，这些特征点描述了家具的形状、纹理等。当用户在真实房间中看向同一件家具时，控制器从目标场景中提取相应的特征点。控制器计算两个场景中特征点之间的相似度，例如通过比较边缘的形状、纹理的分布等。如果相似度值大于或等于预设的阈值，控制器将虚拟家具与真实家具进行匹配和融合。通过这种融合，用户可以看到一个增强现实场景，其中虚拟家具与真实家具完美地结合在一起，为用户提供了一个全新的视觉体验。

S150、将增强现实场景通过AR眼镜片进行展示。

具体地，通过使用神经辐射场模型，该方法能够生成高度准确的三维结构数据，这些数据可以反映目标场景的详细结构。基于获取的三维结构数据，该方法能够创建出逼真的渲染场景。这不仅增强了视觉效果，还为用户提供了更真实的沉浸式体验。通过将渲染场景与目标场景融合，该方法能够创造出增强现实场景。这意味着用户可以在现实世界中看到虚拟元素，这些元素与真实环境无缝集成，进一步增强了真实感和互动性。通过AR眼镜展示增强现实场景，为用户提供了一种方便且直观的媒介。由此，便于提高场景重建的准确度。

在一种可能的实施方式中，在采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据之前，训练预设神经辐射场模型；训练预设神经辐射场模型，具体包括：获取训练信息，训练信息包括图像流和三维结构数据；将训练信息输入至神经辐射场初始网络中进行训练，得到第一训练结果；将第一训练结果与训练信息进行叠加与标准化处理后，得到第二训练结果；将第二训练结果输入至神经辐射场初始网络中进行处理，得到第三训练结果；将第三训练结果与第二训练结果进行叠加与标准化处理，直至输出训练信息相似度矩阵，训练信息相似度矩阵满足预设逻辑回归条件。

具体地，在正式使用模型处理图像流之前，需要对模型进行训练，使其能够更准确地从图像中提取三维结构数据。训练所需的数据包括图像流和对应的三维结构数据，这些数据用于训练和优化模型。首先将训练信息输入到一个初始的神经辐射场网络中进行训练，得到初步的训练结果。为了进一步提高模型的性能，会对训练结果进行叠加和标准化处理，使其更加适应后续的训练步骤。将处理后的结果再次输入到网络中进行进一步的训练，然后再次进行叠加和标准化处理。经过多次迭代和优化，最终输出一个满足预设逻辑回归条件的相似度矩阵，这个矩阵可以用来评估模型的性能和准确性。

因此，通过使用训练信息，能够学习从图像流中提取三维结构数据的模式和特征。神经辐射场初始网络能够通过训练自动调整其参数和权重，以提高从图像流中提取三维结构数据的准确性和效率。训练过程中使用了叠加和标准化处理，这有助于逐步优化神经网络的输出，使其更接近实际的三维结构数据。训练信息相似度矩阵满足预设逻辑回归条件，这有助于提高模型的预测准确性和稳定性。由于使用了神经网络和优化算法，训练过程可以在较短的时间内完成，提高了模型的训练效率。通过自动化和数据驱动的训练方法，可以减少对人工调整和干预的需求，降低了模型的复杂性和开发成本。经过训练的神经网络可以快速处理输入的图像流，实时提取三维结构数据，满足实时应用的需求。通过使用机器学习和神经网络技术，该方法能够从图像流中准确地提取三维结构数据，为后续的渲染和增强现实应用提供可靠的数据基础。

本申请还提供了一种基于神经辐射场的AR眼镜数据处理装置，参照图2，图2为本申请实施例提供的一种基于神经辐射场的AR眼镜数据处理装置的模块示意图。该数据处理装置为AR眼镜控制器，AR眼镜控制器包括获取模块21和处理模块22，其中，获取模块21获取针对目标场景的图像流；处理模块22采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据；处理模块22对三维结构数据进行渲染，得到渲染场景；处理模块22对渲染场景与目标场景进行融合，得到增强现实场景；处理模块22将增强现实场景通过AR眼镜片进行展示。

在一种可能的实施方式中，获取模块21获取针对目标场景的图像流，具体包括：获取模块21响应于用户输入的拍摄指令；处理模块22根据拍摄指令，控制AR眼镜摄像头拍摄目标场景，得到图像数据；获取模块21接收AR眼镜摄像头发送的图像数据；处理模块22对图像数据进行预处理，得到目标场景的图像流。

在一种可能的实施方式中，三维结构数据包括边缘数据，处理模块22采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据，具体包括：处理模块22对图像流进行图像分割，得到目标像素点，图像流包括多个像素点，目标像素点为多个像素点中的任意一个像素点；处理模块22通过预设神经辐射场模型，采用二阶差分法计算目标像素点的梯度和方向，得到计算结果；处理模块22对计算结果采取非极大值抑制操作，得到筛选结果；处理模块22通过预设神经辐射场模型，采用双阈值算法对筛选结果进行处理，得到边缘数据。

在一种可能的实施方式中，三维结构数据还包括轮廓数据，处理模块22采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据，具体包括：处理模块22对图像流进行图像转换，得到灰度图像；处理模块22对灰度图像进行阈值处理，得到二值图像；处理模块22通过预设神经辐射场模型，对二值图像进行形态学处理以及连通性检测，得到轮廓数据。

在一种可能的实施方式中，三维结构数据还包括纹理数据，处理模块22采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据，具体包括：处理模块22根据多尺度通道注意力机制，对图像流进行多尺度特征提取，得到多尺度特征图；处理模块22将多尺度特征图输入至预设神经辐射场模型中，得到显著区域；处理模块22对显著区域进行识别，得到纹理数据。

在一种可能的实施方式中，在处理模块22采用预设神经辐射场模型对图像流进行处理，得到目标场景的三维结构数据之前，训练预设神经辐射场模型；处理模块22训练预设神经辐射场模型，具体包括：获取模块21获取训练信息，训练信息包括图像流和三维结构数据；处理模块22将训练信息输入至神经辐射场初始网络中进行训练，得到第一训练结果；处理模块22将第一训练结果与训练信息进行叠加与标准化处理后，得到第二训练结果；处理模块22将第二训练结果输入至神经辐射场初始网络中进行处理，得到第三训练结果；处理模块22将第三训练结果与第二训练结果进行叠加与标准化处理，直至输出训练信息相似度矩阵，训练信息相似度矩阵满足预设逻辑回归条件。

在一种可能的实施方式中，处理模块22对渲染场景与目标场景进行融合，得到增强现实场景，具体包括：处理模块22从渲染场景中提取出第一特征点，渲染场景包括多个渲染特征点，第一特征点为多个渲染特征点中的任意一个渲染特征点；处理模块22从目标场景中提取出第二特征点，目标场景包括多个目标特征点，第二特征点为多个目标特征点中的任意一个目标特征点；处理模块22计算第一特征点和第二特征点之间的相似度，得到相似度值；处理模块22若确定相似度值大于或等于预设相似度阈值，则将第一特征点和第二特征点进行匹配融合，以得到增强现实场景。

需要说明的是：上述实施例提供的装置在实现其功能时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的装置和方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

本申请还提供了一种电子设备，参照图3，图3为本申请实施例提供的一种电子设备的结构示意图。电子设备可以包括：至少一个处理器31，至少一个网络接口34，用户接口33，存储器35，至少一个通信总线32。

其中，通信总线32用于实现这些组件之间的连接通信。

其中，用户接口33可以包括显示屏（Display）、摄像头（Camera），可选用户接口33还可以包括标准的有线接口、无线接口。

其中，网络接口34可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。

其中，处理器31可以包括一个或者多个处理核心。处理器31利用各种接口和线路连接整个服务器内的各个部分，通过运行或执行存储在存储器35内的指令、程序、代码集或指令集，以及调用存储在存储器35内的数据，执行服务器的各种功能和处理数据。可选的，处理器31可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器31可集成中央处理器（Central ProcessingUnit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器31中，单独通过一块芯片进行实现。

其中，存储器35可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器35包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器35可用于存储指令、程序、代码、代码集或指令集。存储器35可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及的数据等。存储器35可选的还可以是至少一个位于远离前述处理器31的存储装置。如图3所示，作为一种计算机存储介质的存储器35中可以包括操作系统、网络通信模块、用户接口模块以及一种基于神经辐射场的AR眼镜数据处理方法的应用程序。

在图3所示的电子设备中，用户接口33主要用于为用户提供输入的接口，获取用户输入的数据；而处理器31可以用于调用存储器35中存储一种基于神经辐射场的AR眼镜数据处理方法的应用程序，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个的方法。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必需的。

本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有指令。当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所披露的装置，可通过其他的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口，装置或单元的间接耦合或通信连接，可以是电性或其他的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备（可为个人计算机、服务器或者网络设备等）执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括：U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述者，仅为本公开的示例性实施例，不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰，皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后，将容易想到本公开的其他实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的范围和精神由权利要求限定。

Claims (10)

1.一种基于神经辐射场的AR眼镜数据处理方法，其特征在于，所述方法包括：

获取针对目标场景的图像流；

采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据；

对所述三维结构数据进行渲染，得到渲染场景；

对所述渲染场景与所述目标场景进行融合，得到增强现实场景；

将所述增强现实场景通过AR眼镜片进行展示。

2.根据权利要求1所述的基于神经辐射场的AR眼镜数据处理方法，其特征在于，所述获取针对目标场景的图像流，具体包括：

响应于用户输入的拍摄指令；

根据所述拍摄指令，控制AR眼镜摄像头拍摄所述目标场景，得到图像数据；

接收所述AR眼镜摄像头发送的所述图像数据；

对所述图像数据进行预处理，得到所述目标场景的图像流。

3.根据权利要求1所述的基于神经辐射场的AR眼镜数据处理方法，其特征在于，所述三维结构数据包括边缘数据，所述采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据，具体包括：

对所述图像流进行图像分割，得到目标像素点，所述图像流包括多个像素点，所述目标像素点为多个所述像素点中的任意一个像素点；

通过所述预设神经辐射场模型，采用二阶差分法计算所述目标像素点的梯度和方向，得到计算结果；

对所述计算结果采取非极大值抑制操作，得到筛选结果；

通过所述预设神经辐射场模型，采用双阈值算法对所述筛选结果进行处理，得到所述边缘数据。

4.根据权利要求3所述的基于神经辐射场的AR眼镜数据处理方法，其特征在于，所述三维结构数据还包括轮廓数据，所述采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据，具体包括：

对所述图像流进行图像转换，得到灰度图像；

对所述灰度图像进行阈值处理，得到二值图像；

通过所述预设神经辐射场模型，对所述二值图像进行形态学处理以及连通性检测，得到所述轮廓数据。

5.根据权利要求4所述的基于神经辐射场的AR眼镜数据处理方法，其特征在于，所述三维结构数据还包括纹理数据，所述采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据，具体包括：

根据多尺度通道注意力机制，对所述图像流进行多尺度特征提取，得到多尺度特征图；

将所述多尺度特征图输入至所述预设神经辐射场模型中，得到显著区域；

对所述显著区域进行识别，得到所述纹理数据。

6.根据权利要求1所述的基于神经辐射场的AR眼镜数据处理方法，其特征在于，在所述采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据之前，训练所述预设神经辐射场模型；所述训练所述预设神经辐射场模型，具体包括：

获取训练信息，所述训练信息包括图像流和三维结构数据；

将所述训练信息输入至神经辐射场初始网络中进行训练，得到第一训练结果；

将所述第一训练结果与所述训练信息进行叠加与标准化处理后，得到第二训练结果；

将所述第二训练结果输入至所述神经辐射场初始网络中进行处理，得到第三训练结果；

将所述第三训练结果与所述第二训练结果进行叠加与标准化处理，直至输出所述训练信息相似度矩阵，所述训练信息相似度矩阵满足预设逻辑回归条件。

7.根据权利要求1所述的基于神经辐射场的AR眼镜数据处理方法，其特征在于，所述对所述渲染场景与所述目标场景进行融合，得到增强现实场景，具体包括：

从所述渲染场景中提取出第一特征点，所述渲染场景包括多个渲染特征点，所述第一特征点为多个所述渲染特征点中的任意一个渲染特征点；

从所述目标场景中提取出第二特征点，所述目标场景包括多个目标特征点，所述第二特征点为多个所述目标特征点中的任意一个目标特征点；

计算所述第一特征点和所述第二特征点之间的相似度，得到相似度值；

若确定所述相似度值大于或等于预设相似度阈值，则将所述第一特征点和所述第二特征点进行匹配融合，以得到所述增强现实场景。

8.一种基于神经辐射场的AR眼镜数据处理装置，其特征在于，所述AR眼镜数据处理装置包括获取模块(21)和处理模块(22)，其中，

所述获取模块(21)，用于获取针对目标场景的图像流；

所述处理模块(22)，用于采用预设神经辐射场模型对所述图像流进行处理，得到所述目标场景的三维结构数据；

所述处理模块(22)，还用于对所述三维结构数据进行渲染，得到渲染场景；

所述处理模块(22)，还用于对所述渲染场景与所述目标场景进行融合，得到增强现实场景；

所述处理模块(22)，还用于将所述增强现实场景通过AR眼镜片进行展示。

9.一种电子设备，其特征在于，所述电子设备包括处理器(31)、存储器(35)、用户接口(33)以及网络接口(34)，所述存储器(35)用于存储指令，所述用户接口(33)和所述网络接口(34)均用于给其他设备通信，所述处理器(31)用于执行所述存储器(35)中存储的指令，以使所述电子设备执行如权利要求1至7任意一项所述的方法。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有指令，当所述指令被执行时，执行如权利要求1至7任意一项所述的方法。