CN117333644A - 一种虚拟现实的显示画面生成方法、装置、设备和介质 - Google Patents
一种虚拟现实的显示画面生成方法、装置、设备和介质 Download PDFInfo
- Publication number
- CN117333644A CN117333644A CN202311353860.9A CN202311353860A CN117333644A CN 117333644 A CN117333644 A CN 117333644A CN 202311353860 A CN202311353860 A CN 202311353860A CN 117333644 A CN117333644 A CN 117333644A
- Authority
- CN
- China
- Prior art keywords
- layer
- picture
- live
- scene
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000012545 processing Methods 0.000 claims abstract description 22
- 238000013507 mapping Methods 0.000 claims abstract description 12
- 238000005516 engineering process Methods 0.000 claims description 14
- 238000004590 computer program Methods 0.000 claims description 13
- 238000009877 rendering Methods 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 description 9
- 230000006872 improvement Effects 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 210000001503 joint Anatomy 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000000053 physical method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Geometry (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明公开了一种虚拟现实的显示画面生成方法、装置、设备和介质，包括：根据用户所处的实际环境的视频信息，构建实景孪生画面；在进入虚拟现实应用场景后，将所述实景孪生画面和所述虚拟现实应用场景构建的虚拟场景画面采用相同坐标系进行关联和映射，得到在同一地图下叠加的实景孪生图层和虚拟场景图层；根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面。采用本发明的技术手段，其能够在VR应用场景中实现虚拟场景画面及实景孪生画面的共同显示或自动切换，提高用户的连续性使用体验。
Description
技术领域
本发明涉及虚拟现实技术领域，尤其涉及一种虚拟现实的显示画面生成方法、装置、设备和介质。
背景技术
VR(Virtual Reality，虚拟现实)技术是一种可以穿点和体验虚拟世界的计算机仿真系统，他利用了计算机生成一种模拟环境，并通过信息融合、三维交互的动态实景和实体行为的系统仿真实现的模拟环境。
现有的VR游戏中，在游戏结束或者用户想在实际游戏场地操作时，需要拿下头显设备才能看到实际游戏场地，或者使用头显设备的摄像头实时采集现实场景传输到显示模块中进行显示。
然而，发明人发现现有技术至少存在如下问题：通过拿下头显设备的方式观看实际环境，操作不方便，并且无论是摘下头显设备还是利用摄像头采集数据都需要用户退出现有的游戏场景，用户在查看实际环境后再重新进入游戏场景，影响用户的连续性游戏体验。
发明内容
本发明实施例的目的是提供一种虚拟现实的显示画面生成方法、装置、设备和介质，其能够在VR应用场景中实现虚拟场景画面及实景孪生画面的共同显示或自动切换，提高用户的连续性游戏体验。
为实现上述目的，本发明实施例提供了一种虚拟现实的显示画面生成方法，包括：
根据用户所处的实际环境的视频信息，构建实景孪生画面；
在进入虚拟现实应用场景后，将所述实景孪生画面和所述虚拟现实应用场景构建的虚拟场景画面采用相同坐标系进行关联和映射，得到在同一地图下叠加的实景孪生图层和虚拟场景图层；
根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面。
作为上述方案的改进，所述图层参数为图层位置或图层透明度；所述图层显示需求为单独显示目标图层；
所述根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面，包括：
确定目标图层和非目标图层；其中，所述目标图层为所述实景孪生图层或所述虚拟场景图层，所述非目标图层为所述实景孪生图层和所述虚拟场景图层中不是所述目标图层的另一图层；
对所述目标图层和所述非目标图层的图层位置关系进行调整，以使所述目标图层覆盖所述非目标图层；或，将所述非目标图层的图层透明度调整为零；
根据调整后的所述实景孪生图层和所述虚拟场景图层，生成所述显示画面。
作为上述方案的改进，所述图层参数为图层位置或图层透明度；所述图层显示需求为同时显示所述实景孪生图层和所述虚拟场景图层；
则所述根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面，包括：
根据预设的透明度调整值或用户设置的透明度调整值，对所述实景孪生图层和/或所述虚拟场景图层的图层透明度进行调整；
根据调整后的所述实景孪生图层和所述虚拟场景图层，生成所述显示画面。
作为上述方案的改进，所述根据用户所处的实际环境的视频信息，构建实景孪生画面，包括：
获取用户所处的实际环境的视频信息；
采用数字孪生技术，根据所述实际环境的视频信息，识别所述实际环境的真实对象并进行仿真，以构建实景孪生画面。
作为上述方案的改进，所述实际环境的视频信息是通过用户配置的显示设备获取的；
则所述采用数字孪生技术，根据所述实际环境的视频信息，识别所述实际环境的真实对象并进行仿真，以构建实景孪生画面，包括：
根据所述视频信息，识别所述实际环境的几何参数信息，以建立三维坐标系地图，并确定所述显示设备在所述三维坐标系地图中的位置；
根据所述视频信息，以所述显示设备的位置为参照，识别所述实际环境中的真实对象的属性、三维数据和所述真实对象在所述三维坐标系地图中的位置；
根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，以生成所述实景孪生画面。
作为上述方案的改进，所述真实对象的属性包括可移动性；
则所述根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，以生成所述实景孪生画面，包括：
根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，构建初始的实景孪生画面；
根据所述可移动属性的真实对象的位置，对所述实景孪生画面进行实时渲染更新。
本发明实施例还提供了一种虚拟现实的显示画面生成装置，包括：
实景孪生画面构建模块，用于根据获取的实际环境的视频信息，构建实景孪生画面；
画面关联模块，用于在进入虚拟现实应用场景后，将所述实景孪生画面和所述虚拟现实应用场景构建的虚拟场景画面采用相同坐标系进行关联和映射，得到在同一地图下叠加的实景孪生图层和虚拟场景图层；
显示画面生成模块，用于根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面。
作为上述方案的改进，所述图层参数为图层位置或图层透明度；所述图层显示需求为单独显示目标图层或同时显示所述实景孪生图层和所述虚拟场景图层。
本发明实施例还提供了一种虚拟现实的显示画面生成设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项所述的虚拟现实的显示画面生成方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项所述的虚拟现实的显示画面生成方法。
与现有技术相比，本发明公开的虚拟现实的显示画面生成方法、装置、设备和介质，根据用户所处的实际环境的视频信息，构建实景孪生画面；在进入虚拟现实应用场景后，将所述实景孪生画面和所述虚拟现实应用场景构建的虚拟场景画面采用相同坐标系进行关联和映射，得到在同一地图下叠加的实景孪生图层和虚拟场景图层；根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面。采用本发明实施例的技术手段，通过将实景孪生画面和虚拟场景画面合并为一种地图下的不同图层，并根据用户的需求渲染用户观看的显示画面，由于实景孪生画面和虚拟场景画面同时存在，并始终处于运行状态，直到用户主动退出VR应用场景，使得用户不需要退出VR应用场景即可切换为实景孪生画面或虚拟场景画面，或者同时观看实景孪生画面和虚拟场景画面，方便用户在不拿下显示设备的情况下也能看到现实场景，并可实现在实际环境的真实操作，操作更加方便，并且有效降低实景孪生画面与虚拟场景画面切换时的延迟，提高了用户的连续性使用体验。
附图说明
图1是本发明实施例提供的一种虚拟现实的显示画面生成方法的流程示意图；
图2是本发明实施例中虚拟现实的显示画面生成方法的优选的流程示意图；
图3是本发明实施例提供的一种虚拟现实的显示画面生成装置的结构示意图；
图4是本发明实施例提供的一种虚拟现实的显示画面生成设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，是本发明实施例提供的一种虚拟现实的显示画面生成方法的流程示意图，本发明实施例提供了一种虚拟现实的显示画面生成方法，应用于服务器端，所述方法具体通过以下步骤S11至S13执行：
S11、根据用户所处的实际环境的视频信息，构建实景孪生画面；
S12、在进入虚拟现实应用场景后，将所述实景孪生画面和所述虚拟现实应用场景构建的虚拟场景画面采用相同坐标系进行关联和映射，得到在同一地图下叠加的实景孪生图层和虚拟场景图层；
S13、根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面。
需要说明的是，本发明实施例应用于虚拟现实技术领域，虚拟现实应用场景(VR应用场景)包括但不限于VR游戏、VR看房和VR影院等。在应用过程中，用户通过配置VR显示设备，例如穿戴VR头显设备或手持具有VR显示功能的移动设备等进入VR应用场景。在现有技术中，VR技术通过信息融合、三维交互的动态实景和实体行为系统仿真生成一种模拟环境，构建用户可以看到的虚拟场景画面并显示。然而，用户在进入VR应用场景后只能看到虚拟场景画面，只有在退出现有的VR应用场景才能查看实景孪生画面，中断了VR应用场景的连续性。
为了解决这一问题，在本发明实施例中，服务端通过预设的视频采集设备来实时获取用户所处的实际环境的视频信息，通过对所述实际环境的视频信息的分析和识别处理，构建得到实景孪生画面。
优选地，所述预设的视频采集设备为用户配置的VR显示设备，也即通过用户配置的VR显示设备来实时采集实际环境的视频信息，当然，也可以是其他的视频采集设备，在此不做具体限定。
进一步地，将所述实景孪生画面和所述虚拟场景画面基于相同坐标系进行关联和映射，将两种场景画面合并为一种地图使用，分别将所述实景孪生画面和所述虚拟场景画面以图层为单位进行处理，分别设定实景孪生图层和虚拟场景图层，得到在同一地图下叠加的实景孪生图层和虚拟场景图层，也即以同一数据流传输两个不同的图像画面。接着，接收用户输入的图层显示需求，根据所述图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成最终用户能观看到的显示画面，例如单独显示其中一个图层画面，或者将两个图层融合为一个画面进行显示。
作为举例，以VR游戏场景为例，所述虚拟场景画面指的是用户在佩戴头显设备进入VR游戏后构建的虚拟游戏画面。本方案通过采集实际环境的视频信息，分析识别实际环境中的真实对象和真实环境，构建对应的与所述实际环境相对应的实景孪生画面，接着进行游戏内定位对接的操作，将所述实景孪生画面和所述虚拟游戏画面采用相同的三维坐标系进行关联和映射，整体匹配得到在同一地图下叠加的实景孪生图层和虚拟场景图层。在游戏过程中，若用户想单独观看实际环境，实现现实场地的操作，则服务器通过对两个图层的参数进行处理，使得最终显示画面为实景孪生画面；若用户想单独观看虚拟游戏画面，则服务器通过对两个图层的参数进行处理，使得最终显示画面为虚拟场景画面；若用户想同时观看两个画面，则服务器通过对两个图层的参数进行处理，将两个图层合并为同一图层画面进行显示。
采用本发明实施例的技术手段，通过将实景孪生画面和虚拟场景画面合并为一种地图下的不同图层，并根据用户的需求渲染用户观看的显示画面，由于实景孪生画面和虚拟场景画面同时存在，并始终处于运行状态，直到用户主动退出VR应用场景，使得用户不需要退出VR应用场景即可切换为实景孪生画面或虚拟场景画面，或者同时观看实景孪生画面和虚拟场景画面，方便用户在不拿下显示设备的情况下也能看到现实场景，并可实现在实际环境的真实操作，操作更加方便，并且有效降低实景孪生画面与虚拟场景画面切换时的延迟，提高了用户的连续性游戏体验。
作为优选的实施方式，所述图层参数为图层位置或图层透明度。则步骤S13，也即所述根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面，具体为：
根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层位置或图层透明度进行处理，生成显示画面。
在本发明实施例中，采用图层处理技术，包括调整图层位置关系或调整图层透明度等对所述实景孪生图层和/或所述虚拟场景图层进行处理，从而按照用户的图层显示需求生成用户所能观看到的画面。
作为优选的实施方式，所述图层显示需求为单独显示目标图层。
则所述根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层位置或图层透明度进行处理，生成显示画面，包括：
S131、确定目标图层和非目标图层；其中，所述目标图层为所述实景孪生图层或所述虚拟场景图层，所述非目标图层为所述实景孪生图层和所述虚拟场景图层中不是所述目标图层的另一图层；
S132、对所述目标图层和所述非目标图层的图层位置关系进行调整，以使所述目标图层覆盖所述非目标图层；或，将所述非目标图层的图层透明度调整为零；
S133、根据调整后的所述实景孪生图层和所述虚拟场景图层，生成所述显示画面。
在本发明实施例中，用户的图层显示需求为：单独显示所述实景孪生图层，或单独显示所述虚拟场景图层。
当用户想要单独显示所述实景孪生图层时，所述实景孪生图层作为目标图层，所述虚拟场景图层则作为非目标图层。
一种可选实施方式下，通过调整两个图层的位置关系来实现用户的图层显示需求。将所述实景孪生图层和所述虚拟场景图层的上下图层位置关系进行调整，以使所述实景孪生图层位于所述虚拟场景图层的上方，则生成的用户观看的显示画面即为只显示所述实景孪生图层。
另一种可选实施方式下，通过调整两个图层的图层透明度来实现用户的图层显示需求。将所述虚拟场景图层的图层透明度进行调整，以使所述虚拟场景图层的透明度为零或趋近于零，则生成的显示画面即为只显示所述实景孪生图层。
同理，当用户想要单独显示所述虚拟场景图层时，所述虚拟场景图层作为目标图层，所述实景孪生图层则作为非目标图层。
一种可选实施方式下，通过调整两个图层的位置关系来实现用户的图层显示需求。将所述实景孪生图层和所述虚拟场景图层的上下图层位置关系进行调整，以使所述虚拟场景图层位于所述实景孪生图层的上方，则生成的用户观看的显示画面即为只显示所述虚拟场景图层。
另一种可选实施方式下，通过调整两个图层的图层透明度来实现用户的图层显示需求。将所述实景孪生图层的图层透明度进行调整，以使所述实景孪生图层的透明度为零或趋近于零，则生成的显示画面即为只显示所述虚拟场景图层。
采用本发明实施例的技术手段，分别将实景孪生画面与虚拟场景画面以图层为单位进行处理，通过同一数据流传输两个不同的图像画面，当用户只想观看其中一个图像画面时，通过调整两个图层的上下位置关系或透明度，将用户观看的显示画面显示用户所需的目标图层，操作更加方便，且有效降低了实景孪生画面与虚拟场景画面切换时的延迟，提高了用户的连续性游戏体验。
作为优选的实施方式，所述图层显示需求为同时显示所述实景孪生图层和所述虚拟场景图层。
则所述根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层位置或图层透明度进行处理，生成显示画面，包括：
S134、根据预设的透明度调整值或用户设置的透明度调整值，对所述实景孪生图层和/或所述虚拟场景图层的图层透明度进行调整；
S135、根据调整后的所述实景孪生图层和所述虚拟场景图层，生成所述显示画面。
在本发明实施例中，用户的图层显示需求为同时显示两个图层的画面。
在一种可选的实施方式下，预先为每一图层设置对应的透明度调整值，例如实景孪生图层的透明度为50％，虚拟场景图层的透明度为100％等，进而根据所述透明度调整值，对应调整所述实景孪生图层和所述虚拟场景图层当前的透明度，将调整后的所述实景孪生图层和所述虚拟场景图层合并为同一个图层，生成用户观看的显示画面。
在另一种可选的实施方式下，所述图层显示需求中还包括用户自定义的对所述实景孪生图层和/或所述虚拟场景图层的透明度调整值，进而根据所述透明度调整值，对应调整所述实景孪生图层和所述虚拟场景图层当前的透明度，将调整后的所述实景孪生图层和所述虚拟场景图层合并为同一个图层，生成用户观看的显示画面。
采用本发明实施例的技术手段，分别将实景孪生画面与虚拟场景画面以图层为单位进行处理，通过同一数据流传输两个不同的图像画面，当用户想同时观看两个图层画面时，通过调整两个图层的透明度值并合并为同一个图层画面，生成用户观看的显示画面，操作更加方便，且有效降低了实景孪生画面与虚拟场景画面切换时的延迟，提高了用户的连续性游戏体验。
作为优选的实施方式，本发明实施例在上述任一实施例的基础上进一步实施，本发明实施例对实景孪生画面的构建手段进行优化。
步骤S11，也即所述根据用户所处的实际环境的视频信息，构建实景孪生画面，包括步骤S111至S112：
S111、获取用户所处的实际环境的视频信息；
S112、采用数字孪生技术，根据所述实际环境的视频信息，识别所述实际环境的真实对象并进行仿真，以构建实景孪生画面。
需要说明的是，数字孪生是充分利用物理模型、传感器更新、运行历史数据等，集成到物理测量的仿真过程，在虚拟空间中完成现实场景的映射。
在本发明实施例中，预先设置摄像头设备来采集用户所处的实际环境的视频信息，通过数字孪生技术，根据摄像头采集的视频信息分析实际环境中的真实对象的位置数据和外形数据等信息，构建实景孪生画面，也即得到与虚拟场景画面相匹配的实景孪生图像。
需要说明的是，所述真实对象包括但不限于人物、地面和物体等。
作为优选的实施方式，所述实际环境的视频信息是通过用户配置的显示设备获取的。则步骤S112，也即所述采用数字孪生技术，根据所述实际环境的视频信息，识别所述实际环境的真实对象并进行仿真，以构建实景孪生画面，包括：
根据所述视频信息，识别所述实际环境的几何参数信息，以建立三维坐标系地图，并确定所述显示设备在所述三维坐标系地图中的位置；
根据所述视频信息，以所述显示设备的位置为参照，识别所述实际环境中的真实对象的属性、三维数据和所述真实对象在所述三维坐标系地图中的位置；
根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，以生成所述实景孪生画面。
更优选地，所述真实对象的属性包括可移动性；
则所述根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，以生成所述实景孪生画面，包括：
根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，构建初始的实景孪生画面；
根据所述可移动属性的真实对象的位置，对所述实景孪生画面进行实时渲染更新。
在本发明实施例中，通过用户的VR显示设备拍摄实际环境的视频数据，根据场地的形状、面积、宽度、长度、高度等信息，建立场地三维坐标系地图，并在三维坐标系地图中标记出显示设备在场地地图及坐标系中的位置。以围栏数据为参照，根据场地三维坐标系地图中各个对象在实景孪生地图中的位置，生成实景孪生图像，之后，针对地图中可移动属性的物体的位置进行实时更新，针对地图中不可移动属性的物体不做更新，减少实景孪生画面中需要更新渲染的素材数量，提高对实景孪生画面的渲染效率。
具体地，参见图2，是本发明实施例中虚拟现实的显示画面生成方法的优选的流程示意图，本发明以VR游戏作为举例，在本发明实施例中，所述用户的VR显示设备可以为可穿戴的头显设备，且所述头显设备上设置有摄像头。可选地，所述头显设备的两侧各配置一个摄像头，以提高获取视频数据的全面性。
进一步地，本发明实施例针对在VR/云VR游戏实际的场地中日常使用的围栏类型，通过人工标注、深度学习等方法建立围栏类型数据库，用于后续使用围栏类型自动分析功能自动确定实际环境的几何参数信息的测量。其中，所述几何参数信息包括形状、面积、宽度、长度和高度等信息。
在设备第一次使用时，用户带着具有摄像头的头显设备环视场地一周，获取实际环境的视频数据，接着，使用平台围栏类型自动分析功能，进行围栏类型分析。当围栏类型正常识别出结果以后，基于围栏类型和头显摄像头的视频数据，应用位置算法识别出实际环境的形状、面积、宽度、长度、高度等几何参数信息，建立场地三维坐标系和三维地图，同时识别出头显设备在场地地图及坐标系中的位置，并标记在场地中。
需要说明的是，若围栏类型无法正常识别，则用户可以通过在游戏软件后台输入围栏类型，输入后基于围栏类型和头显摄像头的视频数据，应用位置算法识别出场地的形状、面积、宽度、长度、高度等几何参数信息，建立场地三维坐标系地图，以及识别出头显设备在场地地图及坐标系中的位置，并标记在场地中。
进一步地，使用VR显示设备的摄像头初始定位方法，将实际环境的视频信息识别为实景孪生画面。优选地，采用场景地图中一致的三维坐标系定位方法，作为数字孪生实景的定位方法，来构建所述实景孪生画面，至少包括以下步骤：
根据所述实际环境的视频信息，识别所述实际环境中真实对象的属性，所述属性包括但不限于可移动性、形状和大小等参数信息。可选地，可以通过预先获取大量影像数据作为训练数据，标记影像中的所有物体的属性来建立影像标注数据库，进而在实际应用中，根据所述实际环境的视频信息和所述影像标注数据库，识别所述实际环境中真实对象的属性。
通过围栏类型数据库、三维坐标系辅助建模，使用围栏类型数据库及场景地图中已计算的距离、角度等信息及影像标注数据库，识别实景中涉及的地面、物体、人物等真实对象的水平方向和垂直方向的角度信息，记录其表面的三维数据。
对所获取的真实对象的属性和三维数据，处理得到对应的高精度点云数据，使用点云数据进行逆向三维建模，基于所述实际环境的视频数据，对所述真实对象进行影像匹配和纹理映射，生成数字孪生的实景孪生画面。并且，排除不可移动属性的物体，在实景孪生画面中仅针对可移动的物体进行实时的模型位置的更新和属性的变化更新。
需要说明的是，对于所述实景孪生画面中人物的生成，可采取提前建立数字人的方式、也可以根据游戏内定位对接后的角色及位置，按照需求呈现数字人或者游戏中的人物形象。
需要说明的是，在将实景孪生画面和虚拟场景画面进行关联映射的过程中，以场景地图中的位置算法为基础，将每一个头显使用场地应用位置算法识别后的所述实景孪生画面对应的场地三维坐标系地图与虚拟场景画面的游戏地图进行映射，实现所有参加用户的头显设备中显示的实景孪生画面的形状、方位数据与游戏地图一致。
采用本发明实施例的技术手段，通过数字孪生技术实现对实际环境的数字孪生，结合用户的位置、地图、游戏画质等用户感知数据，构建实景孪生画面，并支持实际环境中物体、人员的实际位置等信息的同步更新，为用户提供与游戏画面体验一致的实时的数字孪生场地画面。本方案通过使用摄像头拍摄视频数据，并结合围栏数据库等数据，降低了数字孪生的难度，提升了数字孪生实景的渲染速度和效率。进而，通过将实景孪生画面和虚拟场景画面合并为一种地图下的不同图层，并根据用户的需求渲染用户观看的显示画面，并且有效降低实景孪生画面与虚拟场景画面切换时的延迟，提高了用户的连续性游戏体验。
参见图3，是本发明实施例提供的一种虚拟现实的显示画面生成装置的结构示意图，本发明实施例提供了一种虚拟现实的显示画面生成装置20，包括：
实景孪生画面构建模块21，用于根据用户所处的实际环境的视频信息，构建实景孪生画面；
画面关联模块22，用于在进入虚拟现实应用场景后，将所述实景孪生画面和所述虚拟现实应用场景构建的虚拟场景画面采用相同坐标系进行关联和映射，得到在同一地图下叠加的实景孪生图层和虚拟场景图层；
显示画面生成模块23，用于根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面。
作为优选的实施方式，所述图层参数为图层位置或图层透明度；
则显示画面生成模块23，具体用于：
根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层位置或图层透明度进行处理，生成显示画面。
作为一种可选的实施方式，所述图层显示需求为单独显示目标图层；
则显示画面生成模块23，具体用于：
确定目标图层和非目标图层；其中，所述目标图层为所述实景孪生图层或所述虚拟场景图层，所述非目标图层为所述实景孪生图层和所述虚拟场景图层中不是所述目标图层的另一图层；
对所述目标图层和所述非目标图层的图层位置关系进行调整，以使所述目标图层覆盖所述非目标图层；或，将所述非目标图层的图层透明度调整为零；
根据调整后的所述实景孪生图层和所述虚拟场景图层，生成所述显示画面。
作为另一种可选的实施方式，所述图层显示需求为同时显示所述实景孪生图层和所述虚拟场景图层；
则显示画面生成模块23，具体用于：
根据预设的透明度调整值或用户设置的透明度调整值，对所述实景孪生图层和/或所述虚拟场景图层的图层透明度进行调整；
根据调整后的所述实景孪生图层和所述虚拟场景图层，生成所述显示画面。
采用本发明实施例的技术手段，通过将实景孪生画面和虚拟场景画面合并为一种地图下的不同图层，并根据用户的需求渲染用户观看的显示画面，由于实景孪生画面和虚拟场景画面同时存在，并始终处于运行状态，直到用户主动退出VR应用场景，使得用户不需要退出VR应用场景即可切换为实景孪生画面或虚拟场景画面，或者同时观看实景孪生画面和虚拟场景画面，操作更加方便，并且有效降低实景孪生画面与虚拟场景画面切换时的延迟，提高了用户的连续性游戏体验。
作为优选的实施方式，所述实景孪生画面构建模块21，具体用于：
获取用户所处的实际环境的视频信息；
采用数字孪生技术，根据所述实际环境的视频信息，识别所述实际环境的真实对象并进行仿真，以构建实景孪生画面。
优选地，所述实际环境的视频信息是通过用户配置的显示设备获取的；
则所述采用数字孪生技术，根据所述实际环境的视频信息，识别所述实际环境的真实对象并进行仿真，以构建实景孪生画面，包括：
根据所述视频信息，识别所述实际环境的几何参数信息，以建立三维坐标系地图，并确定所述显示设备在所述三维坐标系地图中的位置；
根据所述视频信息，以所述显示设备的位置为参照，识别所述实际环境中的真实对象的属性、三维数据和所述真实对象在所述三维坐标系地图中的位置；
根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，以生成所述实景孪生画面。
优选地，所述真实对象的属性包括可移动性；
则所述根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，以生成所述实景孪生画面，包括：
根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，构建初始的实景孪生画面；
根据所述可移动属性的真实对象的位置，对所述实景孪生画面进行实时渲染更新。
采用本发明实施例的技术手段，通过数字孪生技术实现对实际环境的数字孪生构建实景孪生画面，并支持实际环境中物体、人员的实际位置等信息的同步更新，为用户提供与游戏画面体验一致的实时的数字孪生场地画面，通过将实景孪生画面和虚拟场景画面合并为一种地图下的不同图层，并根据用户的需求渲染用户观看的显示画面，并且有效降低实景孪生画面与虚拟场景画面切换时的延迟，提高了用户的连续性游戏体验。
需要说明的是，本发明实施例提供的一种虚拟现实的显示画面生成装置用于执行上述实施例的一种虚拟现实的显示画面生成方法的所有流程步骤，两者的工作原理和有益效果一一对应，因而不再赘述。
参见图4，是本发明实施例提供的一种虚拟现实的显示画面生成设备的结构示意图，本发明实施例还提供了一种虚拟现实的显示画面生成设备30，包括处理器31、存储器32以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如上述任意一项实施例所述的虚拟现实的显示画面生成方法。
需要说明的是，本发明实施例提供的一种虚拟现实的显示画面生成设备用于执行上述实施例的一种虚拟现实的显示画面生成方法的所有流程步骤，两者的工作原理和有益效果一一对应，因而不再赘述。
本发明实施例还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如上述任意一项实施例所述的虚拟现实的显示画面生成方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(Random AccessMemory，RAM)等。
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。
Claims (10)
1.一种虚拟现实的显示画面生成方法，其特征在于，包括：
根据用户所处的实际环境的视频信息，构建实景孪生画面；
在进入虚拟现实应用场景后，将所述实景孪生画面和所述虚拟现实应用场景构建的虚拟场景画面采用相同坐标系进行关联和映射，得到在同一地图下叠加的实景孪生图层和虚拟场景图层；
根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面。
2.如权利要求1所述的虚拟现实的显示画面生成方法，其特征在于，所述图层参数为图层位置或图层透明度；所述图层显示需求为单独显示目标图层；
所述根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面，包括：
确定目标图层和非目标图层；其中，所述目标图层为所述实景孪生图层或所述虚拟场景图层，所述非目标图层为所述实景孪生图层和所述虚拟场景图层中不是所述目标图层的另一图层；
对所述目标图层和所述非目标图层的图层位置关系进行调整，以使所述目标图层覆盖所述非目标图层；或，将所述非目标图层的图层透明度调整为零；
根据调整后的所述实景孪生图层和所述虚拟场景图层，生成所述显示画面。
3.如权利要求1所述的虚拟现实的显示画面生成方法，其特征在于，所述图层参数为图层位置或图层透明度；所述图层显示需求为同时显示所述实景孪生图层和所述虚拟场景图层；
则所述根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面，包括：
根据预设的透明度调整值或用户设置的透明度调整值，对所述实景孪生图层和/或所述虚拟场景图层的图层透明度进行调整；
根据调整后的所述实景孪生图层和所述虚拟场景图层，生成所述显示画面。
4.如权利要求1所述的虚拟现实的显示画面生成方法，其特征在于，所述根据用户所处的实际环境的视频信息，构建实景孪生画面，包括：
获取用户所处的实际环境的视频信息；
采用数字孪生技术，根据所述实际环境的视频信息，识别所述实际环境的真实对象并进行仿真，以构建实景孪生画面。
5.如权利要求4所述的虚拟现实的显示画面生成方法，其特征在于，所述实际环境的视频信息是通过用户配置的显示设备获取的；
则所述采用数字孪生技术，根据所述实际环境的视频信息，识别所述实际环境的真实对象并进行仿真，以构建实景孪生画面，包括：
根据所述视频信息，识别所述实际环境的几何参数信息，以建立三维坐标系地图，并确定所述显示设备在所述三维坐标系地图中的位置；
根据所述视频信息，以所述显示设备的位置为参照，识别所述实际环境中的真实对象的属性、三维数据和所述真实对象在所述三维坐标系地图中的位置；
根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，以生成所述实景孪生画面。
6.如权利要求5所述的虚拟现实的显示画面生成方法，其特征在于，所述真实对象的属性包括可移动性；
则所述根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，以生成所述实景孪生画面，包括：
根据所述真实对象的属性、三维数据和位置，在所述三维坐标系地图中进行建模，构建初始的实景孪生画面；
根据所述可移动属性的真实对象的位置，对所述实景孪生画面进行实时渲染更新。
7.一种虚拟现实的显示画面生成装置，其特征在于，包括：
实景孪生画面构建模块，用于根据用户所处的实际环境的视频信息，构建实景孪生画面；
画面关联模块，用于在进入虚拟现实应用场景后，将所述实景孪生画面和所述虚拟现实应用场景构建的虚拟场景画面采用相同坐标系进行关联和映射，得到在同一地图下叠加的实景孪生图层和虚拟场景图层；
显示画面生成模块，用于根据用户的图层显示需求，对所述实景孪生图层和/或所述虚拟场景图层的图层参数进行处理，生成显示画面。
8.如权利要求7所述的虚拟现实的显示画面生成装置，其特征在于，所述图层参数为图层位置或图层透明度；所述图层显示需求为单独显示目标图层或同时显示所述实景孪生图层和所述虚拟场景图层。
9.一种虚拟现实的显示画面生成设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至6中任意一项所述的虚拟现实的显示画面生成方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行如权利要求1至6中任意一项所述的虚拟现实的显示画面生成方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311353860.9A CN117333644A (zh) | 2023-10-18 | 2023-10-18 | 一种虚拟现实的显示画面生成方法、装置、设备和介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311353860.9A CN117333644A (zh) | 2023-10-18 | 2023-10-18 | 一种虚拟现实的显示画面生成方法、装置、设备和介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117333644A true CN117333644A (zh) | 2024-01-02 |
Family
ID=89282776
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311353860.9A Pending CN117333644A (zh) | 2023-10-18 | 2023-10-18 | 一种虚拟现实的显示画面生成方法、装置、设备和介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117333644A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117690064A (zh) * | 2024-02-04 | 2024-03-12 | 广东电网有限责任公司广州供电局 | 输电线路检测方法、装置、电子设备和计算机可读介质 |
| CN117934777A (zh) * | 2024-01-26 | 2024-04-26 | 扬州自在岛生态旅游投资发展有限公司 | 一种基于虚拟现实的空间布置系统及方法 |
-
2023
- 2023-10-18 CN CN202311353860.9A patent/CN117333644A/zh active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117934777A (zh) * | 2024-01-26 | 2024-04-26 | 扬州自在岛生态旅游投资发展有限公司 | 一种基于虚拟现实的空间布置系统及方法 |
| CN117690064A (zh) * | 2024-02-04 | 2024-03-12 | 广东电网有限责任公司广州供电局 | 输电线路检测方法、装置、电子设备和计算机可读介质 |
| CN117690064B (zh) * | 2024-02-04 | 2024-04-16 | 广东电网有限责任公司广州供电局 | 输电线路检测方法、装置、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109889914B (zh) | 视频画面推送方法、装置、计算机设备及存储介质 | |
| US11381758B2 (en) | System and method for acquiring virtual and augmented reality scenes by a user | |
| US9728011B2 (en) | System and method for implementing augmented reality via three-dimensional painting | |
| CN117333644A (zh) | 一种虚拟现实的显示画面生成方法、装置、设备和介质 | |
| CN106683195B (zh) | 一种基于室内定位的ar场景渲染方法 | |
| US20150301596A1 (en) | Method, System, and Computer for Identifying Object in Augmented Reality | |
| CN106730815B (zh) | 一种易实现的体感互动方法及系统 | |
| US20180239514A1 (en) | Interactive 3d map with vibrant street view | |
| CN105763829A (zh) | 一种图像处理方法及电子设备 | |
| CN116012564B (zh) | 一种三维模型与实景照片智能融合的设备与方法 | |
| CN113253842A (zh) | 场景编辑方法和相关装置、设备 | |
| JP6775669B2 (ja) | 情報処理装置 | |
| CN112330753A (zh) | 一种增强现实系统的目标检测方法 | |
| CN111881807A (zh) | 基于人脸建模及表情追踪的vr会议控制系统及方法 | |
| CN116974416A (zh) | 数据处理方法、装置、设备及可读存储介质 | |
| CN109934734A (zh) | 一种基于增强现实技术的旅游景点体验方法及系统 | |
| CN115237363A (zh) | 画面显示方法、装置、设备及介质 | |
| WO2017147826A1 (zh) | 智能设备的图像处理方法及装置 | |
| CN113823129A (zh) | 基于混合现实的调头轮设备拆装指导方法及装置 | |
| CN112416124A (zh) | 舞蹈姿势反馈方法及装置 | |
| CN113965550A (zh) | 智能交互式远程辅助视频系统 | |
| CN118155465B (zh) | 一种沉浸式虚拟仿真实验平台及方法 | |
| WO2018173206A1 (ja) | 情報処理装置 | |
| WO2022259618A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| CN116055708B (zh) | 一种感知可视交互式球幕三维立体成像方法及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |