CN118092654A - 用于运维业的虚拟现实应用方法、系统、终端及存储介质 - Google Patents
用于运维业的虚拟现实应用方法、系统、终端及存储介质 Download PDFInfo
- Publication number
- CN118092654A CN118092654A CN202410261622.3A CN202410261622A CN118092654A CN 118092654 A CN118092654 A CN 118092654A CN 202410261622 A CN202410261622 A CN 202410261622A CN 118092654 A CN118092654 A CN 118092654A
- Authority
- CN
- China
- Prior art keywords
- information
- data
- camera
- real
- acquiring
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012423 maintenance Methods 0.000 title claims abstract description 69
- 238000000034 method Methods 0.000 title claims abstract description 41
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 28
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000005516 engineering process Methods 0.000 claims abstract description 17
- 230000003993 interaction Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 10
- 230000006399 behavior Effects 0.000 claims description 9
- 239000011159 matrix material Substances 0.000 claims description 8
- 230000009471 action Effects 0.000 claims description 7
- 238000013136 deep learning model Methods 0.000 claims description 7
- 238000001914 filtration Methods 0.000 claims description 6
- 230000002146 bilateral effect Effects 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 5
- 230000015572 biosynthetic process Effects 0.000 claims description 3
- 238000003786 synthesis reaction Methods 0.000 claims description 3
- 238000012544 monitoring process Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 5
- 238000007726 management method Methods 0.000 abstract description 4
- 238000004458 analytical method Methods 0.000 abstract description 2
- 230000000875 corresponding effect Effects 0.000 description 25
- 238000007689 inspection Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 239000011521 glass Substances 0.000 description 7
- 230000033001 locomotion Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000005457 optimization Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 2
- 238000007405 data analysis Methods 0.000 description 2
- 238000013499 data model Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011084 recovery Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005856 abnormality Effects 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Landscapes
- Processing Or Creating Images (AREA)
Abstract
本申请涉及一种用于运维业的虚拟现实应用方法、系统、终端及存储介质，涉及混合现实技术领域，该方法包括：获取实际场景数据和摄像头的定位信息；根据摄像头的定位信息，使用预设算法对所述实际场景数据进行处理，构建现实环境的空间模型；将预设的设备数据面板添加到所述空间模型中；获取实时场景数据，将所述实时场景数据与空间模型匹配后，使用预设算法将设备面板信息摆放至实际场景的对应位置上。本申请具有将虚拟信息与实际运维场景高度精准地叠加，从而实现实时的监控、维护和管理，并使用AI技术帮助解答现场及设备相关的问题，并对一些状况作出分析和决策的效果。
Description
技术领域
本申请涉及虚拟现实技术领域，尤其是涉及一种用于运维业的虚拟现实应用方法、系统、终端及存储介质。
背景技术
增强现实技术(Augmented Reality，简称AR)是一种通过在真实世界中叠加虚拟信息的方式来增强现实感知的技术。与虚拟现实技术不同，AR技术不是将用户完全沉浸在虚拟环境中，而是在现实环境中叠加虚拟信息，使用户能够同时感知现实和虚拟的内容。深度学习是一种机器学习算法分支，通过神经网络模型的训练和优化来处理复杂的模式识别任务。目前，深度学习技术在各个领域都取得了显著的成果，如图像识别、语音识别和自然语言处理等。
相关技术中，运维巡检过程巡检人员需要逐一核对设备的信息，对于巡检人员的专业素养较高，同时在很多巡检场景下，需要巡检人员主观判断设备是否异常，巡检作业较为费时费力。结合虚拟现实技术和深度学习技术，可以为运维业带来更多便利。
发明内容
为了解决运维业在进行巡检时不够智能便捷费时费力的问题，本申请提供了一种用于运维业的虚拟现实应用方法、系统、终端及存储介质。
在本申请的第一方面，提供一种用于运维业的虚拟现实应用方法，包括：
获取实际场景数据和摄像头的定位信息；
根据摄像头的定位信息，使用预设算法对所述实际场景数据进行处理，构建现实环境的空间模型；
将预设的设备数据面板添加到所述空间模型中；
获取实时场景数据，将所述实时场景数据与空间模型匹配后，使用预设算法将设备面板信息摆放至实际场景的对应位置上。
通过采用上述技术方案，通过深度学习模型实现对实际运维场景的精准感知，使得虚拟信息能够准确地叠加到实际场景中。这有助于运维人员更清晰地理解设备状态和运行情况。能够实时地获取现场数据，并将其与虚拟信息结合，为运维人员提供实时的设备状态和运行数据。这有助于及时发现问题、做出决策，并采取必要的措施，从而提高运维效率。
在一种可能的实现方式中，所述摄像头的定位信息包括位置和姿态，获取实际场景数据和摄像头的定位信息，包括：
获取实际场景的点云数据和图像信息；
根据所述点云数据，计算实际场景的深度信息；
将所述深度信息进行双边滤波处理，得到降噪后的深度数据；
根据相机内参，反射投影出每个像素点的三维坐标Vertex map Vk；
计算vertex法向量Normal map Nk；
将Nk的行数、列数缩小一倍，得到vertex/normal map的三层金字塔；
根据所述三层金字塔，计算摄像头的位置和姿态。
在一种可能的实现方式中，根据摄像头的定位信息，使用预设算法对所述实际场景数据进行处理，构建现实环境的空间模型，包括：
根据所述摄像头的定位信息，计算摄像头的投影矩阵；所述定位信息包括摄像头的姿态和位置；
根据所述点云数据和摄像头的投影矩阵，计算每个像素点在三维空间中的对应位置；
将所述每个像素点在在三维空间中的对应位置与深度信息相结合，得到深度图像，所述深度图像中每个像素点包括空间位置信息和距离信息；
基于所述深度图像和相机定位信息，使用预设算法构建现实环境的空间模型；
对所述空间模型进行优化处理。
在一种可能的实现方式中，获取实时场景数据，将所述实时场景数据与空间模型匹配后，使用预设算法将设备面板信息摆放至实际场景的对应位置上，包括：
获取第一时间点的地面特征点云和图像数据；
提取所述第一时间点的图像数据中具有鲁棒性的特征点，并得到特征点的位置信息；
根据所述第一时间点的图像数据中特征点的位置信息，得到摄像头的定位信息；
将所述第一时间点的地面特征点云的特征点、图像数据的特征点与已有的地图特征点进行匹配，确定地面特征点云的特征点、图像数据的特征点在三维空间中的位置，并构建第一时间点的环境三维地图；
将预设的虚拟面板的模型和纹理信息与第一时间点的环境三维地图进行对齐；
通过将虚拟面板的位置和姿态与所述摄像头的位置和姿态进行匹配，将虚拟面板叠加到现实环境中的对应位置。
在一种可能的实现方式中，将所述实时场景数据与空间模型匹配，还包括：
获取第二时间点的地面特征点云和图像数据；
根据所述第一时间点的摄像头的定位信息、环境三维地图和第二时间点的地面特征点云、图像数据，得到第二时间点的环境三维地图。
在一种可能的实现方式中，还包括根据用户的行为信息实现信息交互：
获取用户的行为信息，所述行为信息包括动作信息、音频信息；
根据所述动作信息或音频信息中的唤醒词，匹配对应的交互指令；
根据所述交互指令，调取对应的反馈程序。
在一种可能的实现方式中，语音功能的交互包括：
获取用户的音频信息；
将所述音频信息识别成文字信息后输入至深度学习模型中，得到现场设备的数据反馈文字信息；
使用语音合成技术将所述数据反馈文字信息转换成音频后输出。
在本申请的第二方面，提供一种用于运维业的虚拟现实应用系统，包括：
获取模块，用于获取实际场景数据和摄像头的定位信息；
模型构建模块，用于根据摄像头的定位信息，使用预设算法对所述实际场景数据进行处理，构建现实环境的空间模型；
数据添加模块，用于将预设的设备数据面板添加到所述空间模型中；
现实匹配展示模块，用于获取实时场景数据，将所述实时场景数据与空间模型匹配后，使用预设算法将设备面板信息摆放至实际场景的对应位置上。
在本申请的第三方面，提供一种终端，具有使用虚拟现实提高运维业作业效率的特点。
本申请的上述申请目的三是通过以下技术方案得以实现的：
一种终端，包括存储器和处理器，所述存储器上存储有能够被处理器加载并执行上述用于运维业的虚拟现实应用方法的计算机程序。
在本申请的第四方面，提供一种计算机存储介质，能够存储相应的程序，具有便于实现使用虚拟现实提高运维业作业效率的特点。
本申请的上述申请目的四是通过以下技术方案得以实现的：
一种计算机可读存储介质，存储有能够被处理器加载并执行上述任一种用于运维业的虚拟现实应用方法的计算机程序。
综上所述，本申请包括以下至少一种有益技术效果：通过深度学习模型实现对实际运维场景的精准感知，使得虚拟信息能够准确地叠加到实际场景中。这有助于运维人员更清晰地理解设备状态和运行情况。能够实时地获取现场数据，并将其与虚拟信息结合，为运维人员提供实时的设备状态和运行数据。这有助于及时发现问题、做出决策，并采取必要的措施，从而提高运维效率。
附图说明
图1是本申请其中一实施例的用于运维业的虚拟现实应用方法的流程示意图。
图2是本申请其中一实施例的用于运维业的虚拟现实应用方法的其中一个步骤的流程示意图。
图3是本申请其中一实施例的用于运维业的虚拟现实应用系统的示意图。
图4是本申请实施例一种终端的结构示意图。
附图标记说明：201、获取模块；202、模型构建模块；203、数据添加模块；204、现实匹配展示模块；301、CPU；302、ROM；303、RAM；304、总线；305、I/O接口；306、输入部分；307、输出部分；308、存储部分；309、通信部分；310、驱动器；311、可拆卸介质。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的全部其他实施例，都属于本申请保护的范围。
另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
以下结合附图1至4对本申请作进一步详细说明。
为了能够将虚拟信息与实际运维场景高度精准地叠加，从而实现实时的监控、维护和管理。通过使用AI技术帮助解答现场及设备相关的问题，并对一些状况作出分析和决策，本申请提供了一种用于运维业的虚拟现实应用方法。
参照图1，一种用于运维业的虚拟现实应用方法，包括如下步骤：
S101：运维场景深度模型训练。
为达到上述技术效果，在进行运维巡检前，需要收集大量的运维场景数据，用于模型的训练。运维场景数据包括设备状态、环境信息等。以服务器机房运维为例可以展示的数据包括：1.服务器信息：机房内的各个服务器的型号、品牌、运行状态、维保记录等信息。2.网络设备数据：机房中的网络设备如交换机、路由器等的型号、端口连接情况等。3.电力数据：机房内各个设备的电力使用情况、电力供应状态等数据。4.温度和湿度等环境数据：机房内各个区域的温度和湿度数据。5.故障报警信息：机房设备的故障报警信息进行数据。6.常见的设备操作以及问题处理的相关文档。
使用深度学习模型对采集到的运维场景数据进行处理，并针对不同的运维场景和任务，调整模型结构和参数。在上述的服务器机房运维示例中，常见的运维场景包括：1.设备巡检：对机房内各种设备如服务器、网络设备、电力设备等进行巡检，检查设备是否正常运行、是否存在故障或异常情况。2.温湿度监测：对机房内的温度和湿度等环境参数进行监测，确保机房环境符合要求，并及时采取措施进行调整和修复。3.电力供应监控：对机房的电力供应设备进行监控，检查供电设备是否正常工作、电压是否稳定，确保机房设备的正常运行。4.网络设备管理：对机房内的网络设备如交换机、路由器等进行管理和维护，检查网络设备的运行状态、连接是否正常，及时处理网络问题。5.安全监控：对机房的安全设备(如摄像头、门禁系统等)进行监控，确保机房的安全和防护措施有效，及时处理安全事件。6.数据备份和恢复：对机房内的重要数据进行备份，并定期进行数据恢复测试，以确保数据的完整性和可用性。7.资源管理：对机房内的各种资源如IP地址、存储空间等进行管理和配置，确保资源的合理使用和调配。8.故障处理：及时发现和处理机房设备的故障情况，紧急情况下能够快速恢复设备的正常运行。
这一步主要是增加运维巡检内容和数据模型的关联性，数据模型可根据操作人员对问题进行分类，例如在针对设备巡检时，模型结果更贴近于设备参数相关数据，如遇到故障处理，模型的结果更贴近设备的一些设备的操作手册相关内容。例如进行服务器机房巡检时，使用服务器机房运维相关的数据资料进行训练，从而使模型获得服务器机房运维相关的能力。
在获取到与运维场景相关的运维场景数据后，还需要对实际场景进行空间扫描重构。
S102：对实际场景进行空间扫描重构后，实现虚拟现实的信息展示。
首先，需要现场人员收集实际场景数据，然后通过实际场景数据实现对实际场景的空间重构，再将对应的运维场景数据添加到重构后的空间模型中，当用户佩戴AR眼镜进入到实际场景中后，AR眼镜扫描用户所在位置的实际场景数据，将实际场景数据与空间模型进行匹配，确定用户的位置信息并将对应的运维场景数据投放至实际场景对应的位置。从而实现在不同位置下对实际场景中对应的运维数据的展示。
参照图2，对实际场景进行空间扫描重构后，实现虚拟现实的信息展示包括：
S1021：获取实际场景数据和摄像头的定位信息。
首先，现场人员使用支持空间识别的AR眼镜，打开软件中的场景扫描功能，对现场环境进行扫描获取图像信息和深度信息。AR眼镜通过使用摄像头传感器获取深度信息。获取深度信息的方式包括：摄像头传感器使用结构光传感器或时间飞行传感器。结构光传感器通过发射一系列光点或光纹投射到环境中，然后通过摄像头感应这些光点或光纹的位置变化，从而计算出场景深度信息。时间飞行传感器则通过发送和接收红外光脉冲来测量光的传播时间，从而计算得到深度信息。
然后对深度信息进行处理，得到AR眼镜中摄像头的定位信息。具体的处理方式为：对深度信息对应的原始深度图进行双边滤波处理，得到降噪后的降噪深度图Dk。双边滤波的目的是保持清晰的边界。一般的滤波是在空间域做加权平均，像素越靠近中心点，权重越高。双边滤波是在空间域加权平均的基础上再对值域加权平均，即像素灰度值越靠近中心像素的灰度值，权重越高。在边界附近，灰度值差异很大，所以虽然边界两边的像素在空间域靠在一起，但是由于灰度值差别非常大，对于互相的权重很低，所以可以保持清晰的边界。
拿到降噪后的深度图Dk之后，再根据相机内参K，可以反投影出每个像素点的三维坐标，这就是Vertex map Vk，公式中u是像素坐标，/>是对应的齐次坐标。每个vertex的法向量可以很方便的通过相邻vertex用叉乘得到。然后对Nk深度图降采样，行数、列数各减一半，得到vertex/normal map的三层金字塔。降采样使用的是均值降采样，即深度图上四个相邻像素的深度值被平均成一个值。得到构建三层金字塔的目的是为了从粗到细地计算相机位置姿态，有加速计算的效果。
S1022：根据摄像头的定位信息，使用预设算法对实际场景数据进行处理，构建现实环境的空间模型。
构建现实环境的空间模型包括：计算投影矩阵、生成深度图像、建立空间模型和模型优化。
首先是投影矩阵计算：为了准确重构环境，需要计算摄像头的投影矩阵，该矩阵描述了摄像头与被扫描环境之间的几何关系。通过标定摄像头与参考物体之间的相对位置和姿态来实现。
其次是深度图像生成：根据摄像头感应到的光点或光纹的位置变化以及摄像头的投影矩阵，可以计算出每个像素点在三维空间中的对应位置。结合深度传感器所测量到的深度信息，可以生成一个完整的深度图像，其中每个像素点包含了空间位置和距离信息。
然后重建算法构建空间模型：基于完整的深度图像和相机位置信息，可以采用不同的算法进行空间重建。空间重构算法包括体素化、三角网格化、点云重建等。这些算法将深度图像中的数据转换成三维形状，并生成一个表示现实环境的空间模型。
最后对空间模型进行处理与优化：生成的空间模型可能包含一些噪音或不完整的部分。为了提高质量，可以进行模型处理和优化，如去除噪音、填补空洞、平滑曲面等操作。
S1023：将预设的设备数据面板添加到空间模型中。
获取虚拟面板的模型和纹理信息，虚拟面板的模型和纹理信息可以由用户自定义，虚拟面板用户展示对应的设备数据面板。将空间模型中的设备与对应设备的数据面板相关联，使得当用户佩戴AR眼镜查看对应设备时，能够快速调取对应设备的数据面板，并展示在虚拟面板上。
S1024：获取实时场景数据，将实时场景数据与空间模型匹配后，使用预设算法将设备面板信息摆放至实际场景的对应位置上。
现场人员佩戴AR眼镜后，打开软件扫描环境并与之前的空间模型进行比对，使用SLAM(simultaneous localization and mapping)技术将设备面板信息摆放至真实场景中对应的位置上，然后即可查看并使用。具体的实现步骤为：1.数据采集：SLAM技术首先通过传感器采集环境的感知数据，包括激光雷达获取的地面特征点云、摄像头获取的图像数据、惯性测量单元(Inertial measurement unit，IMU)获取的加速度和角速度信息等。2.特征提取：在图像数据中，SLAM算法会提取出一些具有鲁棒性的特征点或特征描述子，用于分析摄像头的运动和环境的结构。常用的特征包括角点、边缘等。在点云数据中，可以通过激光雷达的扫描数据提取地面特征点。3.运动估计：通过分析特征点或特征描述子的位置变化，可以估计机器或移动设备的运动，如位移和旋转。计算设备运动的运动估计方法包括视觉里程计(Visual Odometry)和惯性导航。4.数据关联：将来自不同传感器的数据进行关联，即将图像特征点或地面点云特征点与已有的地图特征点进行匹配，确定它们在三维空间中的位置。数据关联的方法可以使用特征描述子和最近邻搜索算法。5.地图构建：在SLAM过程中，除了估计机器或移动设备的运动，还需要构建环境的三维地图。通过将已估计的位置和姿态与传感器数据进行匹配，可以不断更新和优化地图。6.闭环检测：在SLAM过程中，误差会随着时间的推移而累积，导致地图漂移。闭环检测的目标是检测机器或移动设备是否经过已经探测过的位置，当检测到闭环时，可以对先前的轨迹和地图进行优化。
S103：根据用户行为信息实现交互功能。
获取用户的行为信息，其中，行为信息包括动作信息、音频信息。根据动作信息或音频信息中的唤醒词，匹配对应的交互指令。根据交互指令，调取对应的反馈程序。
其中，使用语音交互方式的实现步骤为：选择合适的语音识别技术，对语音内容进行识别为文字。将文字内容输入至已有的深度学习模型中，获取现场设备的数据反馈文字信息。集成语音合成技术，以实现系统对运维人员的语音反馈。实现语音交互的安全机制，确保系统只响应合法、授权的指令。
本申请实施例中一种用于运维业的虚拟现实应用方法的效果：1.高度精准的虚拟信息叠加：该系统通过深度学习模型实现对实际运维场景的精准感知，使得虚拟信息能够准确地叠加到实际场景中。这有助于运维人员更清晰地理解设备状态和运行情况。2.实时数据展示与分析：系统能够实时地获取现场数据，并将其与虚拟信息结合，为运维人员提供实时的设备状态和运行数据。这有助于及时发现问题、做出决策，并采取必要的措施，从而提高运维效率。3.语音交互的便捷性：通过AI算法实现的语音交互功能使得现场运维人员可以通过自然语言与系统进行交互，而无需依赖手动输入或触摸屏等方式。这提高了操作的便捷性和效率，尤其在繁忙或特殊环境中更为实用。4.增强现实的直观性：利用AR技术，系统可以将虚拟信息直观地叠加在实际场景中，使得运维人员能够直观地理解设备的结构和运行状态。这种直观性有助于快速的问题定位和解决。5.提高工作安全性：运维人员可以通过系统获取设备状态和运行信息，而无需直接接触危险的现场设备。这有助于减少事故风险，提高工作的安全性。6.智能数据分析：系统通过深度学习算法可以进行智能数据分析，识别设备运行中的异常或趋势，为运维人员提供更深层次的数据洞察，有助于预防性维护和优化运维策略。
本申请提供一种用于运维业的虚拟现实应用系统，采用如下的技术方案：
参照图3，一种用于运维业的虚拟现实应用系统，包括：
获取模块201，用于获取实际场景数据和摄像头的定位信息。
模型构建模块202，用于根据摄像头的定位信息，使用预设算法对实际场景数据进行处理，构建现实环境的空间模型。
数据添加模块203，用于将预设的设备数据面板添加到所述空间模型中。
现实匹配展示模块204，用于获取实时场景数据，将实时场景数据与空间模型匹配后，使用预设算法将设备面板信息摆放至实际场景的对应位置上。
图4示出了适于用来实现本申请实施例的终端的结构示意图。
如图4所示，终端包括中央处理单元(Central Processing Unit，CPU)301，其可以根据存储在只读存储器(Read-Only Memory，ROM)302中的程序或者从存储部分加载到随机访问存储器(Random Access Memory，RAM)303中的程序而执行各种适当的动作和处理。在RAM 303中，还存储有系统操作所需的各种程序和数据。CPU 301、ROM 302以及RAM303通过总线304彼此相连。输入/输出(Input/Output,I/O)接口305也连接至总线304。
以下部件连接至I/O接口305：包括键盘、鼠标等的输入部分306；包括诸如阴极射线管(Cathode Ray Tube,CRT)、液晶显示器(Liquid Crystal Display,LCD)等以及扬声器等的输出部分307；包括硬盘等的存储部分308；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分309。通信部分309经由诸如因特网的网络执行通信处理。驱动器310也根据需要连接至I/O接口305。可拆卸介质311，诸如磁盘、光盘、磁光盘、半导体存储器等，根据需要安装在驱动器310上，以便于从其上读出的计算机程序根据需要被安装入存储部分308。
特别地，根据本申请的实施例，上文参考流程图1描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在机器可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分309从网络上被下载和安装，和/或从可拆卸介质311被安装。在该计算机程序被中央处理单元(CPU)301执行时，执行本申请的系统中限定的上述功能。
需要说明的是，本申请所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一种或多种导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read-Only Memory,EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory,CD-ROM)、光存储器件、磁存储器件，或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、寄存器文件(Register File,RF)等，或者上述的任意合适的组合。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，前述模块、程序段或代码的一部分包含一种或多种用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框，以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
描述于本申请实施例中所涉及的单元或模块可以通过软件的方式实现，也可以通过硬件的方式来实现。所描述的单元或模块也可以设置在处理器中，例如，可以描述为：一种处理器包括获取模块201、模型构建模块202、数据添加模块203和现实匹配展示模块204。其中，这些单元或模块的名称在某种情况下并不构成对该单元或模块本身的限定。
作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的终端中所包含的；也可以是单独存在，而未装配入该终端中的。上述计算机可读存储介质存储有一个或者多个程序，当上述前述程序被一个或者一个以上的处理器用来执行描述于本申请的用于运维业的虚拟现实应用方法。
以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的公开范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离前述公开构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其他技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。
Claims (10)
1.一种用于运维业的虚拟现实应用方法，其特征在于，包括：
获取实际场景数据和摄像头的定位信息；
根据摄像头的定位信息，使用预设算法对所述实际场景数据进行处理，构建现实环境的空间模型；
将预设的设备数据面板添加到所述空间模型中；
获取实时场景数据，将所述实时场景数据与空间模型匹配后，使用预设算法将设备面板信息摆放至实际场景的对应位置上。
2.根据权利要求1所述的用于运维业的虚拟现实应用方法，其特征在于，所述摄像头的定位信息包括位置和姿态，获取实际场景数据和摄像头的定位信息，包括：
获取实际场景的点云数据和图像信息；
根据所述点云数据，计算实际场景的深度信息；
将所述深度信息进行双边滤波处理，得到降噪后的深度数据；
根据相机内参，反射投影出每个像素点的三维坐标Vertex map Vk；
计算vertex法向量Normal map Nk；
将Nk的行数、列数缩小一倍，得到vertex/normal map的三层金字塔；
根据所述三层金字塔，计算摄像头的位置和姿态。
3.根据权利要求2所述的用于运维业的虚拟现实应用方法，其特征在于，根据摄像头的定位信息，使用预设算法对所述实际场景数据进行处理，构建现实环境的空间模型，包括：
根据所述摄像头的定位信息，计算摄像头的投影矩阵；所述定位信息包括摄像头的姿态和位置；
根据所述点云数据和摄像头的投影矩阵，计算每个像素点在三维空间中的对应位置；
将所述每个像素点在在三维空间中的对应位置与深度信息相结合，得到深度图像，所述深度图像中每个像素点包括空间位置信息和距离信息；
基于所述深度图像和相机定位信息，使用预设算法构建现实环境的空间模型；
对所述空间模型进行优化处理。
4.根据权利要求3所述的用于运维业的虚拟现实应用方法，其特征在于，获取实时场景数据，将所述实时场景数据与空间模型匹配后，使用预设算法将设备面板信息摆放至实际场景的对应位置上，包括：
获取第一时间点的地面特征点云和图像数据；
提取所述第一时间点的图像数据中具有鲁棒性的特征点，并得到特征点的位置信息；
根据所述第一时间点的图像数据中特征点的位置信息，得到摄像头的定位信息；
将所述第一时间点的地面特征点云的特征点、图像数据的特征点与已有的地图特征点进行匹配，确定地面特征点云的特征点、图像数据的特征点在三维空间中的位置，并构建第一时间点的环境三维地图；
将预设的虚拟面板的模型和纹理信息与第一时间点的环境三维地图进行对齐；
通过将虚拟面板的位置和姿态与所述摄像头的位置和姿态进行匹配，将虚拟面板叠加到现实环境中的对应位置。
5.根据权利要求4所述的用于运维业的虚拟现实应用方法，其特征在于，将所述实时场景数据与空间模型匹配，还包括：
获取第二时间点的地面特征点云和图像数据；
根据所述第一时间点的摄像头的定位信息、环境三维地图和第二时间点的地面特征点云、图像数据，得到第二时间点的环境三维地图。
6.根据权利要求1所述的用于运维业的虚拟现实应用方法，其特征在于，还包括根据用户的行为信息实现信息交互：
获取用户的行为信息，所述行为信息包括动作信息、音频信息；
根据所述动作信息或音频信息中的唤醒词，匹配对应的交互指令；
根据所述交互指令，调取对应的反馈程序。
7.根据权利要求6所述的用于运维业的虚拟现实应用方法，其特征在于，语音功能的交互包括：
获取用户的音频信息；
将所述音频信息识别成文字信息后输入至深度学习模型中，得到现场设备的数据反馈文字信息；
使用语音合成技术将所述数据反馈文字信息转换成音频后输出。
8.一种用于运维业的虚拟现实应用系统，其特征在于，包括：
获取模块（201），用于获取实际场景数据和摄像头的定位信息；
模型构建模块（202），用于根据摄像头的定位信息，使用预设算法对所述实际场景数据进行处理，构建现实环境的空间模型；
数据添加模块（203），用于将预设的设备数据面板添加到所述空间模型中；
现实匹配展示模块（204），用于获取实时场景数据，将所述实时场景数据与空间模型匹配后，使用预设算法将设备面板信息摆放至实际场景的对应位置上。
9.一种终端，包括存储器和处理器，所述存储器上存储有计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7中任一项所述的方法。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1至7中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410261622.3A CN118092654A (zh) | 2024-03-07 | 2024-03-07 | 用于运维业的虚拟现实应用方法、系统、终端及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202410261622.3A CN118092654A (zh) | 2024-03-07 | 2024-03-07 | 用于运维业的虚拟现实应用方法、系统、终端及存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN118092654A true CN118092654A (zh) | 2024-05-28 |
Family
ID=91161438
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202410261622.3A Pending CN118092654A (zh) | 2024-03-07 | 2024-03-07 | 用于运维业的虚拟现实应用方法、系统、终端及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN118092654A (zh) |
-
2024
- 2024-03-07 CN CN202410261622.3A patent/CN118092654A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11869192B2 (en) | System and method for vegetation modeling using satellite imagery and/or aerial imagery | |
| CN109308447A (zh) | 在电力远程监控中自动提取设备运行参数和运行状态的方法 | |
| CN107393017A (zh) | 图像处理方法、装置、电子设备及存储介质 | |
| US20220092856A1 (en) | Crack detection, assessment and visualization using deep learning with 3d mesh model | |
| CN111027407B (zh) | 针对遮挡情况的彩色图像手部姿态估计方法 | |
| US11282180B1 (en) | Object detection with position, pose, and shape estimation | |
| CN112597877A (zh) | 一种基于深度学习的厂区人员异常行为检测方法 | |
| CN115496923B (zh) | 一种基于不确定性感知的多模态融合目标检测方法及装置 | |
| CN116152863A (zh) | 一种人员信息识别方法、装置、电子设备及存储介质 | |
| Ma et al. | ROV-based binocular vision system for underwater structure crack detection and width measurement | |
| CN111770450A (zh) | 一种车间生产监控服务器、移动终端及应用 | |
| CN114565908A (zh) | 车道线的检测方法、装置、电子设备及存储介质 | |
| Awadallah et al. | Automated multiclass structural damage detection and quantification using augmented reality | |
| CN112528825A (zh) | 一种基于图像识别的车站乘客招援服务方法 | |
| CN117392611A (zh) | 工地安全监测方法、系统、设备及存储介质 | |
| Gudmundsson et al. | Porting Computer Vision Models to the Edge for Smart City Applications: Enabling Autonomous Vision-Based Power Line Inspection at the Smart Grid Edge for Unmanned Aerial Vehicles (UAVs). | |
| CN118092654A (zh) | 用于运维业的虚拟现实应用方法、系统、终端及存储介质 | |
| CN115982824A (zh) | 施工现场工人空间管理方法、装置、电子设备及存储介质 | |
| CN115588082A (zh) | 空间数字模型实时展示方法、装置、设备及存储介质 | |
| CN115438945A (zh) | 基于电力设备巡检的风险识别方法、装置、设备及介质 | |
| Kim et al. | 3D pose estimation and localization of construction equipment from single camera images by virtual model integration | |
| CN114445320A (zh) | 图像分割质量的评测方法、装置、电子设备和存储介质 | |
| Zhang et al. | Automated visibility field evaluation of traffic sign based on 3d Lidar point clouds | |
| CN113850750A (zh) | 一种目标轨迹校验的方法、装置、设备及存储介质 | |
| CN117806496B (zh) | 基于虚拟现实技术的综合管廊动态虚拟巡检方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication |