CN117994485A - 一种沉浸式vr交互场景展示方法、装置及电子设备 - Google Patents
一种沉浸式vr交互场景展示方法、装置及电子设备 Download PDFInfo
- Publication number
- CN117994485A CN117994485A CN202410357347.5A CN202410357347A CN117994485A CN 117994485 A CN117994485 A CN 117994485A CN 202410357347 A CN202410357347 A CN 202410357347A CN 117994485 A CN117994485 A CN 117994485A
- Authority
- CN
- China
- Prior art keywords
- target
- user
- obstacles
- virtual
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000002452 interceptive effect Effects 0.000 title claims abstract description 20
- 230000000694 effects Effects 0.000 claims abstract description 18
- 230000004888 barrier function Effects 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 56
- 230000004044 response Effects 0.000 claims description 8
- 230000000007 visual effect Effects 0.000 claims description 7
- 230000007423 decrease Effects 0.000 claims description 3
- 238000004891 communication Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000006399 behavior Effects 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000006378 damage Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 208000012260 Accidental injury Diseases 0.000 description 1
- 208000027418 Wounds and injury Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 208000014674 injury Diseases 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Architecture (AREA)
- Processing Or Creating Images (AREA)
Abstract
一种沉浸式VR交互场景展示方法、装置及电子设备,涉及虚拟现实领域。在该方法中,响应于用户针对虚拟场景模型的展示命令;对用户的活动空间进行空间数据采集,并根据空间数据构建空间模型;识别空间模型包含的多个目标障碍物;确定多个目标障碍物的第一空间布局,第一空间布局为多个目标障碍物的位置分布;获取待展示的虚拟场景模型;对虚拟场景模型的空间布局进行调整,得到第二空间布局,第一空间布局与第二空间布局相同,第二空间布局为虚拟场景中的多个虚拟障碍物的位置分布;向用户展示调整后的虚拟场景模型。实施本申请提供的技术方案,降低了用户在跟随虚拟场景移动时与现实的障碍物发生碰撞的概率。
Description
技术领域
本申请涉及数据处理领域,具体涉及一种沉浸式VR交互场景展示方法、装置及电子设备。
背景技术
随着信息技术和数字媒体的飞速发展,虚拟现实(VR)技术已广泛应用于游戏、教育、医疗、设计、军事模拟等多个领域。虚拟现实(VR)技术通过创造一个全面沉浸式的三维环境,能够为用户提供极其真实的感官体验。用户可以在虚拟世界中进行探索、学习、娱乐和训练,而这些体验在现实世界中可能是不可行或难以实现的。VR技术的不断进步也带来了更加自然的交互方式,用户能够以身体运动和手势来直接与虚拟环境互动,进一步提升了沉浸感。
目前的VR交互场景中存在一个关键的问题,即用户在沉浸于虚拟场景的交互中,容易忽略现实生活中的空间限制。由于VR头显通常会覆盖用户的视野,使他们无法看到真实世界的环境,因此用户在跟随虚拟场景移动时极易与现实中的家具或其他障碍物发生碰撞,造成意外伤害或财物损失。
因此,亟需一种沉浸式VR交互场景展示方法、装置及电子设备。
发明内容
本申请提供了一种沉浸式VR交互场景展示方法、装置及电子设备,降低了用户在跟随虚拟场景移动时与现实的障碍物发生碰撞的概率。
在本申请的第一方面提供了一种沉浸式VR交互场景展示方法,该方法包括:响应于用户针对虚拟场景模型的展示命令;对所述用户的活动空间进行空间数据采集,并根据所述空间数据构建空间模型;识别所述空间模型包含的多个目标障碍物;确定多个所述目标障碍物的第一空间布局,所述第一空间布局为多个所述目标障碍物的位置分布;获取待展示的所述虚拟场景模型;对所述虚拟场景模型的空间布局进行调整,得到第二空间布局,所述第一空间布局与所述第二空间布局相同,所述第二空间布局为所述虚拟场景模型中的多个虚拟障碍物的位置分布;向所述用户展示调整后的虚拟场景模型。
通过采用上述技术方案,将实际环境中的目标障碍物融入虚拟场景模型,有助于避免用户在虚拟环境中与实际环境中的障碍物发生碰撞。这提高了用户体验虚拟现实设备时的安全性,减少了潜在的物理风险。通过确保虚拟环境中障碍物的分布与现实环境中障碍物的分布一一对应,用户在虚拟环境中的活动会考虑到现实世界中障碍物的位置,通过避免在虚拟场景中与虚拟障碍物相撞,从而避免与现实世界的实际障碍物相撞,提高了使用VR设备时的物理安全。虚拟场景的空间布局调整考虑到了实际环境中的目标障碍物,有助于防止用户误触碰这些障碍物。
可选的,对所述用户的活动空间进行空间数据采集,并根据所述空间数据构建空间模型,具体包括:采用摄像头对所述活动空间进行多个不同视角采集目标图像;确定各个所述目标图像中的多个特征点;根据所述摄像头的设备参数确定各个所述特征点对应的特征点坐标;根据所述特征点坐标对所述目标图像进行融合,得到所述空间模型,所述空间模型由三维点云表示。
通过采用上述技术方案,通过多个不同视角的摄像头采集目标图像,确定特征点并融合图像,可以生成高精度的三维空间模型。由于采用了多个不同视角,融合了多个图像,所生成的三维空间模型更加真实,能够准确地反映实际环境中的细节和特征。通过确定特征点并根据设备参数计算特征点坐标,对多个视角的目标图像进行融合,可以减小视角变化引起的误差。
可选的,识别所述空间模型包含的多个目标障碍物,具体包括:确定所述空间模型中的多个障碍物;确定多个所述障碍物中高度高于预设高度阈值的所述目标障碍物;提取出所述目标障碍物的位置数据和几何数据,所述位置数据为所述目标障碍物的三维坐标,所述几何数据为所述目标障碍物的边界和体积。
通过采用上述技术方案,智能地确定空间模型中存在的多个障碍物,通过对空间数据的分析和处理,实现了对活动空间的智能感知。通过确定多个障碍物中高度高于预设高度阈值的目标障碍物,过滤掉低矮的结构,集中关注用户在站立或行走时可能遇到的目标障碍物。
可选的,确定多个目标障碍物的第一空间布局,具体包括:按照各个所述目标障碍物在所述空间模型的三维坐标,确定各个所述目标障碍物之间的相对位置和相对距离;根据所述相对位置和所述相对距离,将多个所述目标障碍物转换至预设三维坐标系,得到多个所述目标障碍物的第一空间分布。
通过采用上述技术方案,通过按照各个目标障碍物在空间模型的三维坐标确定它们之间的相对位置和相对距离,提供更准确的目标障碍物空间布局描述。将多个目标障碍物的相对位置和相对距离转换至预设三维坐标系,可以清晰呈现它们在整个空间中的相对关系。
可选的,对所述虚拟场景模型的空间布局进行调整,得到第二空间布局,具体包括:根据多个所述目标障碍物的边界和体积构建多个虚拟障碍物,一个所述目标障碍物对应于一个所述虚拟障碍物;获取所述空间模型和所述虚拟场景模型的大小比例;根据所述大小比例调整所述虚拟障碍物在所述虚拟场景模型的相对距离。
通过采用上述技术方案,通过根据目标障碍物的边界和体积构建虚拟障碍物,可以更精准地模拟真实场景中的障碍物。一个目标障碍物对应一个虚拟障碍物,可以根据每个实际障碍物的特性,为其生成相应的虚拟表示。获取空间模型和虚拟场景模型的大小比例,使得虚拟场景更符合实际活动空间的尺寸。判断用户与目标障碍物的目标距离,能够动态响应用户在虚拟环境中的行为。特别是在用户逐渐靠近障碍物时,能够及时做出相应调整。
可选的,向所述用户展示调整后的虚拟场景模型之后,所述方法还包括:
实时获取用户的目标位置,所述目标位置为所述用户在所述活动空间中所处的位置;确定所述目标位置与任意一个所述目标障碍物的目标距离;若确定所述目标距离逐渐减小,判断所述目标距离和预设第一距离阈值的大小关系;若所述目标距离小于所述预设第一距离阈值且所述目标距离大于预设第二距离阈值,则生成实时虚拟障碍物,所述实时虚拟障碍物处于所述用户对应的虚拟角色的目标方向,所述目标方向为所述目标障碍物所处的方向,所述预设第二距离阈值小于所述预设第一距离阈值。
通过采用上述技术方案,通过实时获取用户的目标位置,准确地了解用户在活动空间中的实时位置,有助于提供精确的用户定位信息,判断用户与目标障碍物的目标距离,动态响应用户在虚拟环境中的行为。特别是在用户逐渐靠近障碍物时,能够及时做出相应调整。当确定用户与目标障碍物的目标距离小于预设第一距离阈值时,生成实时虚拟障碍物。这有助于在用户靠近实际障碍物时,通过实时虚拟障碍物进行提醒,防止潜在的碰撞或误触碰。
可选的,在所述若所述目标距离小于所述预设第一距离阈值且所述目标距离大于预设第二距离阈值,则生成实时虚拟障碍物之后,所述方法还包括:若确定所述目标距离小于所述预设第二距离阈值,则显示提示信息,所述提示信息用于提示所述用户无法向所述目标方向移动。
通过采用上述技术方案,通过引入两个不同的预设距离阈值,可以实现多层次的距离提示。在目标距离小于第一距离阈值时,生成实时虚拟障碍物,表示用户靠近障碍物。当目标距离继续减小,小于第二距离阈值时,显示提示信息。
在本申请的第二方面提供了一种沉浸式VR交互场景展示装置,该装置包括响应模块和处理模块;响应模块,用于响应于用户针对虚拟场景模型的展示命令;处理模块,用于对所述用户的活动空间进行空间数据采集,并根据所述空间数据构建空间模型;处理模块,还用于识别所述空间模型包含的多个目标障碍物;处理模块,还用于确定多个所述目标障碍物的第一空间布局,所述第一空间布局为多个所述目标障碍物的位置分布;处理模块,还用于获取待展示的虚拟场景模型;处理模块,还用于对所述虚拟场景模型的空间布局进行调整,得到第二空间布局,所述第一空间布局与所述第二空间布局相同,所述第二空间布局为所述虚拟场景模型中的多个虚拟障碍物的位置分布;处理模块,还用于向所述用户展示调整后的虚拟场景模型。
在本申请的第三方面提供了一种电子设备,包括处理器、存储器、用户接口及网络接口,存储器用于存储指令,用户接口和网络接口用于给其他设备通信,处理器用于执行存储器中存储的指令,以使电子设备执行上述任意一项的方法。
在本申请的第四方面提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令。当指令被执行时,执行上面所示的方法步骤。
综上所述,本申请实施例中提供的一个或多个技术方案,至少具有如下技术效果或优点:
1、将实际环境中的目标障碍物融入虚拟场景模型,有助于避免用户在虚拟环境中与实际环境中的障碍物发生碰撞。这提高了用户体验虚拟现实设备时的安全性,减少了潜在的物理风险。通过确保虚拟环境中障碍物的分布与现实环境中障碍物的分布一一对应,用户在虚拟环境中的活动会考虑到现实世界中障碍物的位置,通过避免在虚拟场景中与虚拟障碍物相撞,从而避免与现实世界的实际障碍物相撞,提高了使用VR设备时的物理安全。虚拟场景的空间布局调整考虑到了实际环境中的目标障碍物,有助于防止用户误触碰这些障碍物。2、通过多个不同视角的摄像头采集目标图像,确定特征点并融合图像,可以生成高精度的三维空间模型。由于采用了多个不同视角,融合了多个图像,所生成的三维空间模型更加真实,能够准确地反映实际环境中的细节和特征。通过确定特征点并根据设备参数计算特征点坐标,对多个视角的目标图像进行融合,可以减小视角变化引起的误差。
3、通过根据目标障碍物的边界和体积构建虚拟障碍物,可以更精准地模拟真实场景中的障碍物。一个目标障碍物对应一个虚拟障碍物,可以根据每个实际障碍物的特性,为其生成相应的虚拟表示。获取空间模型和虚拟场景模型的大小比例,使得虚拟场景更符合实际活动空间的尺寸。判断用户与目标障碍物的目标距离,能够动态响应用户在虚拟环境中的行为。特别是在用户逐渐靠近障碍物时,能够及时做出相应调整。
附图说明
图1是本申请实施例提供的一种沉浸式VR交互场景展示方法的流程示意图;
图2是本申请实施例提供的一种沉浸式VR交互场景展示装置的模块示意图;
图3是本申请实施例提供的一种电子设备的结构示意图。
附图标记说明:201、响应模块;202、处理模块;300、电子设备;301、处理器;302、通信总线;303、用户接口;304、网络接口;305、存储器。
具体实施方式
为了使本领域的技术人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请一部分实施例,而不是全部的实施例。
在本申请实施例的描述中,“例如”或者“举例来说”等词用于表示作例子、例证或说明。本申请实施例中被描述为“例如”或者“举例来说”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言,使用“例如”或者“举例来说”等词旨在以具体方式呈现相关概念。
在本申请实施例的描述中,术语“多个”的含义是指两个或两个以上。例如,多个系统是指两个或两个以上的系统,多个屏幕终端是指两个或两个以上的屏幕终端。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
本申请提供的技术方案旨在解决沉浸式虚拟现实(VR)环境中的用户安全问题,特别是用户在跟随虚拟场景移动时与现实世界中的障碍物发生碰撞的问题。现有的VR应用可能没有充分考虑到现实世界中的物理空间限制,导致用户在虚拟环境中移动时可能与现实世界的物体发生碰撞。在VR体验中,用户的安全是最重要的考量之一。没有适当的安全措施,用户可能会在不知觉中碰撞到真实环境中的物体,从而可能造成身体伤害或设备损坏。
本申请提供了一种沉浸式VR交互场景展示方法,参照图1,图1是本申请实施例的提供的一种沉浸式VR交互场景展示方法的流程示意图。该方法应用于VR设备,包括步骤S101至步骤S107,上述步骤如下:
步骤S101:响应于用户针对虚拟场景模型的展示命令。
在步骤S101中,用户指的是进行虚拟现实体验的个人。在VR环境中,用户会戴上VR头戴设备,VR头戴设备可以追踪用户的头部和身体运动,并据此在设备的显示屏上渲染相应的视角变化;虚拟场景是指由服务器生成的三维环境;用户通过手柄按键发起了打开一个虚拟场景的命令;VR设备接收到该命令后执行下面的步骤,对用户的命令作出响应。
步骤S102:对用户的活动空间进行空间数据采集,并根据空间数据构建空间模型。
在步骤S102中,在用户通过VR设备体验虚拟场景之前,采用摄像头对活动空间进行多个不同视角采集目标图像;确定各个目标图像中的多个特征点;根据摄像头的设备参数确定各个特征点对应的特征点坐标;根据特征点坐标对目标图像进行融合,得到空间模型,空间模型由三维点云表示。
具体地,活动空间指的是用户在进行虚拟现实(VR)活动时所处的实际物理环境;该活动空间可以为一个房间或室内空间,在该活动空间中,用户会自由活动并与虚拟世界进行互动。VR设备接收到用户发送的针对虚拟场景的展示命令后,会获取VR眼镜采用内嵌的摄像头从多个不同的视角对活动空间进行拍照,以获取活动空间对应的多个目标图像;在每张目标图像中,采用计算机视觉算法来检测图像的特征点,特征点是指目标图像中的易于识别且在多个目标图像之间可匹配的点,比如目标图像的角点和边缘。采用摄像头的设备参数,设备参数包括焦距和传感器尺寸来确定每个特征点在空间中的坐标。将不同视角的特征点坐标对齐和融合,使用三维重建算法(如立体视觉、结构光、多视图几何)来生成空间的三维点云模型。点云是由空间中大量的点组成的数据集,在该空间模型中每个点都有自己的坐标。
步骤S103:识别空间模型包含的多个目标障碍物。
在步骤S103中,确定空间模型中的多个障碍物;确定多个障碍物中高度高于预设高度阈值的目标障碍物;提取出目标障碍物的位置数据和几何数据,位置数据为目标障碍物的三维坐标,几何数据为目标障碍物的边界和体积。
具体地,在对空间模型(三维点云模型)进行分析之前,对三维点云模型进行预处理步骤,预处理步骤包括去噪、下采样和滤波的步骤,去噪即去除点云中的噪声点,下采样即减少点云中的点的数量,以加速后续的处理,滤波即平滑数据;对预处理的三维点云模型来进行分割,采用欧式聚类算法,根据点与点之间的距离来分割点云,首先设定一个距离阈值,该距离阈值标识点与点之间是否属于同一个簇(即障碍物)。对于点云中的每一个点,搜索与其距离小于阈值的所有邻近点。将一个点及其邻近点合并为一个簇,然后递归地将邻近点的邻近点也加入到这个簇中,直到没有更多的点可以添加。选择下一个尚未被分配到任何簇的点,重复上述过程,直到所有的点都被分配到一个簇中。通过欧式聚类后,每个簇代表了一个障碍物。在识别出所有障碍物后,根据障碍物的高度数据筛选出高度超过预设高度阈值的目标障碍物,通过比较障碍物最高点和预设高度阈值来判断障碍物是否为目标障碍物;若障碍物的最高点高于预设高度阈值,则确定该障碍物为目标障碍物;对于识别出的每个目标障碍物,计算其所有点的平均位置作为障碍物的质心,这可以作为障碍物的三维坐标。同时,通过计算障碍物点云的最小外接矩形、多边形或凸包来确定其边界。对于确定边界的障碍物,可以进一步估算其体积。对于规则形状的障碍物,可以直接使用几何公式计算;对于不规则形状的障碍物,则通过将点云分割成小立方体(体素)来计算这些立方体的总体积。
步骤S104:确定多个目标障碍物的第一空间布局,第一空间布局为多个目标障碍物的位置分布。
在步骤S104中,按照各个目标障碍物在空间模型的三维坐标,确定各个目标障碍物之间的相对位置和相对距离;根据相对位置和相对距离,将多个目标障碍物转换至预设三维坐标系,得到多个目标障碍物的第一空间分布。
具体地,对于每个目标障碍物,使用其在空间模型中的三维坐标,从点云数据中提取每个目标障碍物的位置信息,确定每个目标障碍物的几何中心,对于每一个目标障碍物,通过计算障碍物所对应的障碍物点集的平均坐标来确定每个障碍物的几何中心。对于两个目标障碍物A和B,使用欧几里得距离公式计算它们几何中心之间的直线距离,即为每个目标障碍物之间的相对距离;相对位置则通过比较障碍物几何中心来确定。基于障碍物的相对位置和相对距离,确定预设三维坐标系的原点和轴向,将目标障碍物转换到预设三维坐标系中,预设三维坐标系可以基于某个特定的障碍物或者根据整体环境布局的需要来定义,本申请对此不作限定。若点云数据的原始坐标系与预设坐标系不同,则应用旋转、平移和缩放,将目标障碍物的位置从原始的点云坐标转换到预设坐标系;若点云数据的原始坐标系与预设坐标系相同,则目标障碍物的第一空间分布则以目标障碍物的点云坐标来确定。
步骤S105:获取待展示的虚拟场景模型。
在步骤S105中,获取待展示的虚拟场景模型,虚拟场景模型为数字化的三维场景。
步骤S106:对虚拟场景模型的空间布局进行调整,得到第二空间布局,第一空间布局与第二空间布局相同,第二空间布局为虚拟场景模型中的多个虚拟障碍物的位置分布。
在步骤S106中,根据多个目标障碍物的边界和体积构建多个虚拟障碍物,一个目标障碍物对应于一个虚拟障碍物;获取空间模型和虚拟场景模型的大小比例;根据大小比例调整虚拟障碍物在虚拟场景模型的相对距离。
具体地,对于每一个目标障碍物,使用其边界和体积信息,在虚拟场景中构建相应数量的虚拟障碍物,在虚拟场景中,基于真实世界的目标障碍物的边界和体积,创建对应的虚拟障碍物模型:这些虚拟障碍物应该与真实障碍物在形状和大小上尽可能相似。确定真实世界的空间模型与虚拟场景模型之间的大小比例,并计算两者之间的比例因子。因此目标障碍物和虚拟障碍物的大小、体积之比也为该比例因子,根据计算出的比例因子,调整虚拟障碍物在虚拟场景模型中的位置、边界和体积;确保所有虚拟障碍物之间的相对位置和相对距离与真实世界中的障碍物保持一致。完成所有虚拟障碍物的位置调整后,得到虚拟场景模型中的第二空间布局,虚拟场景中的虚拟障碍物的第二空间布局与真实世界的第一空间布局相匹配。
步骤S107:向用户展示调整后的虚拟场景模型。
在步骤S107中,VR设备从虚拟场景库中获取待展示的虚拟场景模型;VR设备将步骤S106中调整后得到的虚拟场景模型以虚拟现实形式展示给用户。
在步骤S107之后,该方法还包括:实时获取用户的目标位置,目标位置为用户在活动空间中所处的位置;确定目标位置与任意一个目标障碍物的目标距离;若确定目标距离逐渐减小,判断目标距离和预设第一距离阈值以及预设第二距离阈值的大小关系;若目标距离小于预设第一距离阈值且目标距离大于预设第二距离阈值,则生成实时虚拟障碍物,实时虚拟障碍物处于用户对应的虚拟角色的目标方向,目标方向为目标障碍物所处的方向,预设第二距离阈值小于预设第一距离阈值。
具体地,通过VR眼镜内置的定位模块(例如UWB定位模块),实时获取用户在活动空间中的位置,即用户的目标位置;对用户的目标位置与每个目标障碍物的位置进行计算,得到目标距离,持续检测目标距离的变化,判断目标距离是否变小;判断目标距离是否小于预设第一距离阈值且目标距离是否大于预设第二距离阈值;若目标距离小于预设第一距离阈值且目标距离大于预设第二距离阈值,则在虚拟场景中,根据用户的虚拟角色,在用户的目标方向生成一个实时虚拟障碍物,目标方向为目标障碍物对应的方向,并将该实时虚拟障碍物融入虚拟场景模型中,以便于用户感知到该实时虚拟障碍物的存在。
在一种可能的实施方式中,若确定目标距离逐渐减小,判断目标距离和预设第一距离阈值以及预设第二距离阈值的大小关系之后,方法还包括:若确定目标距离小于或等于预设第二距离阈值,则显示提示信息,提示信息用于提示用户无法向目标方向移动。
具体地,在生成实时虚拟障碍物之后,VR设备会再次计算目标距离;判断该目标距离是否小于预设第二距离阈值,若目标距离小于预设第二距离阈值,这说明用户已经很接近虚拟障碍物,此时显示提示信息,以告知用户无法朝着目标方向继续移动。显示一条文本信息在用户的视野中心或边缘,如“前方障碍物过近”。
本申请提供的技术方案通过响应用户的展示命令,对用户活动空间进行空间数据采集。根据采集的空间数据构建现实世界的空间模型,包括室内布局和障碍物位置。识别空间模型中的多个目标障碍物,确定第一空间布局,即障碍物的位置分布。获取待展示的虚拟场景模型,并调整其空间布局。这种调整是为了使得虚拟场景中的障碍物位置与真实世界中的障碍物位置相匹配,形成第二空间布局。最后,向用户展示调整后的虚拟场景模型,用户在沉浸式体验中移动时,虚拟障碍物的位置提醒了用户现实中的物理障碍。将现实世界中的障碍物信息集成到VR体验中,减少用户在不知情的情况下与障碍物发生碰撞的风险。用户在知道哪里有物理障碍物的情况下进行移动,从而增强整体体验的安全性。
参照图2,本申请还提供了一种沉浸式VR交互场景展示装置,该装置为VR设备,VR设备包括响应模块201和处理模块202;响应模块201,用于响应于用户针对虚拟场景模型的展示命令;处理模块202,用于对用户的活动空间进行空间数据采集,并根据空间数据构建空间模型;处理模块202,还用于识别空间模型包含的多个目标障碍物;处理模块202,还用于确定多个目标障碍物的第一空间布局,第一空间布局为多个目标障碍物的位置分布;处理模块202,还用于获取待展示的虚拟场景模型;处理模块202,还用于对虚拟场景模型的空间布局进行调整,得到第二空间布局,第一空间布局与第空间二布局相同,第二空间布局为虚拟场景模型中的多个虚拟障碍物的位置分布;处理模块202,还用于向用户展示调整后的虚拟场景模型。
在一种可能的实施方式中,处理模块202对用户的活动空间进行空间数据采集,并根据空间数据构建空间模型,具体包括:处理模块202采用摄像头对活动空间进行多个不同视角采集目标图像;处理模块202确定各个目标图像中的多个特征点;根据摄像头的设备参数确定各个特征点对应的特征点坐标;处理模块202根据特征点坐标对目标图像进行融合,得到空间模型,空间模型由三维点云表示。
在一种可能的实施方式中,处理模块202识别空间模型包含的多个目标障碍物,具体包括:处理模块202确定空间模型中的多个障碍物;处理模块202确定多个障碍物中高度高于预设高度阈值的目标障碍物;处理模块202提取出目标障碍物的位置数据和几何数据,位置数据为目标障碍物的三维坐标,几何数据为目标障碍物的边界和体积。
在一种可能的实施方式中,处理模块202确定多个目标障碍物的第一空间布局,具体包括:处理模块202按照各个目标障碍物在空间模型的三维坐标,确定各个目标障碍物之间的相对位置和相对距离;处理模块202根据相对位置和相对距离,将多个目标障碍物转换至预设三维坐标系,得到多个目标障碍物的第一空间分布。
在一种可能的实施方式中,处理模块202对虚拟场景模型的空间布局进行调整,得到第二空间布局,具体包括:处理模块202根据多个目标障碍物的边界和体积构建多个虚拟障碍物,一个目标障碍物对应于一个虚拟障碍物;处理模块202获取空间模型和虚拟场景模型的大小比例;处理模块202根据大小比例调整虚拟障碍物在虚拟场景模型的相对距离。
在一种可能的实施方式中,处理模块202向用户展示调整后的虚拟场景模型之后,方法还包括:处理模块202实时获取用户的目标位置,目标位置为用户在活动空间中所处的位置;处理模块202确定目标位置与任意一个目标障碍物的目标距离;若确定目标距离逐渐减小,处理模块202判断目标距离和预设第一距离阈值以及预设第二距离阈值的大小关系;若目标距离小于预设第一距离阈值且目标距离大于预设第二距离阈值,则处理模块202生成实时虚拟障碍物,实时虚拟障碍物处于用户对应的虚拟角色的目标方向,目标方向为目标障碍物所处的方向,预设第二距离阈值小于预设第一距离阈值。
在一种可能的实施方式中,在若处理模块202确定目标距离逐渐减小,处理模块202判断目标距离和预设第一距离阈值以及预设第二距离阈值的大小关系之后,方法还包括:若处理模块202确定目标距离小于或等于预设第二距离阈值,则处理模块202显示提示信息,提示信息用于提示用户无法向目标方向移动。
需要说明的是:上述实施例提供的装置在实现其功能时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的装置和方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。
本申请还提供一种电子设备。参照图3,图3是本申请实施例的提供的一种电子设备的结构示意图。该电子设备300可以包括:至少一个处理器301,至少一个网络接口304,用户接口303,存储器305,至少一个通信总线302。
其中,通信总线302用于实现这些组件之间的连接通信。
其中,用户接口303可以包括显示屏(Display)、摄像头(Camera),可选用户接口303还可以包括标准的有线接口、无线接口。
其中,网络接口304可选的可以包括标准的有线接口、无线接口(如WI-FI接口)。
其中,处理器301可以包括一个或者多个处理核心。处理器301利用各种接口和线路连接整个服务器内的各个部分,通过运行或执行存储在存储器305内的指令、程序、代码集或指令集,以及调用存储在存储器305内的数据,执行服务器的各种功能和处理数据。可选的,处理器301可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器301可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示屏所需要显示的内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器301中,单独通过一块芯片进行实现。
其中,存储器305可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。可选的,该存储器305包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。存储器305可用于存储指令、程序、代码、代码集或指令集。存储器305可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现上述各个方法实施例的指令等;存储数据区可存储上面各个方法实施例中涉及的数据等。存储器305可选的还可以是至少一个位于远离前述处理器301的存储装置。参照图3,作为一种计算机存储介质的存储器305中可以包括操作系统、网络通信模块、用户接口模块以及一种沉浸式VR交互场景展示方法的应用程序。
在图3所示的电子设备300中,用户接口303主要用于为用户提供输入的接口,获取用户输入的数据;而处理器301可以用于调用存储器305中存储一种沉浸式VR交互场景展示方法的应用程序,当由一个或多个处理器301执行时,使得电子设备300执行如上述实施例中一个或多个所述的方法。需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必需的。
本申请还提供了一种计算机可读存储介质,计算机可读存储介质存储有指令。当由一个或多个处理器301执行时,使得电子设备300执行如上述实施例中一个或多个所述的方法。
在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。
在本申请所提供的几种实施方式中,应该理解到,所披露的装置,可通过其他的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些服务接口,装置或单元的间接耦合或通信连接,可以是电性或其他的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储器包括:U盘、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述者,仅为本公开的示例性实施例,不能以此限定本公开的范围。即但凡依本公开教导所作的等效变化与修饰,皆仍属本公开涵盖的范围内。本领域技术人员在考虑说明书及实践真理的公开后,将容易想到本公开的其他实施方案。
本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未记载的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的范围和精神由权利要求限定。
Claims (10)
1.一种沉浸式VR交互场景展示方法,其特征在于,所述方法包括:
响应于用户针对虚拟场景模型的展示命令;
对所述用户的活动空间进行空间数据采集,并根据所述空间数据构建空间模型;
识别所述空间模型包含的多个目标障碍物;
确定多个所述目标障碍物的第一空间布局,所述第一空间布局为多个所述目标障碍物的位置分布;
获取待展示的所述虚拟场景模型;
对所述虚拟场景模型的空间布局进行调整,得到第二空间布局,所述第一空间布局与所述第二空间布局相同,所述第二空间布局为所述虚拟场景模型中的多个虚拟障碍物的位置分布;
向所述用户展示调整后的虚拟场景模型。
2.根据权利要求1所述的方法,其特征在于,所述对所述用户的活动空间进行空间数据采集,并根据所述空间数据构建空间模型,具体包括:
采用摄像头对所述活动空间进行多个不同视角采集目标图像;
确定各个所述目标图像中的多个特征点;
根据所述摄像头的设备参数确定各个所述特征点对应的特征点坐标;
根据所述特征点坐标对所述目标图像进行融合,得到所述空间模型,所述空间模型由三维点云表示。
3.根据权利要求1所述的方法,其特征在于,所述识别所述空间模型包含的多个目标障碍物,具体包括:
确定所述空间模型中的多个障碍物;
确定多个所述障碍物中高度高于预设高度阈值的所述目标障碍物;
提取出所述目标障碍物的位置数据和几何数据,所述位置数据为所述目标障碍物的三维坐标,所述几何数据为所述目标障碍物的边界和体积。
4.根据权利要求3所述的方法,其特征在于,所述确定多个所述目标障碍物的第一空间布局,具体包括:
按照各个所述目标障碍物在所述空间模型的三维坐标,确定各个所述目标障碍物之间的相对位置和相对距离;
根据所述相对位置和所述相对距离,将多个所述目标障碍物转换至预设三维坐标系,得到多个所述目标障碍物的第一空间分布。
5.根据权利要求3所述的方法,其特征在于,所述对所述虚拟场景模型的空间布局进行调整,得到第二空间布局,具体包括:
根据多个所述目标障碍物的边界和体积构建多个虚拟障碍物,一个所述目标障碍物对应于一个所述虚拟障碍物;
获取所述空间模型和所述虚拟场景模型的大小比例;
根据所述大小比例调整所述虚拟障碍物在所述虚拟场景模型的相对距离。
6.根据权利要求1所述的方法,其特征在于,所述向所述用户展示调整后的虚拟场景模型之后,所述方法还包括:
实时获取用户的目标位置,所述目标位置为所述用户在所述活动空间中所处的位置;
确定所述目标位置与任意一个所述目标障碍物的目标距离;
若确定所述目标距离逐渐减小,判断所述目标距离和预设第一距离阈值以及预设第二距离阈值的大小关系;
若所述目标距离小于所述预设第一距离阈值且所述目标距离大于预设第二距离阈值,则生成实时虚拟障碍物,所述实时虚拟障碍物处于所述用户对应的虚拟角色的目标方向,所述目标方向为所述目标障碍物所处的方向,所述预设第二距离阈值小于所述预设第一距离阈值。
7.根据权利要求6所述的方法,其特征在于,在所述若确定所述目标距离逐渐减小,判断所述目标距离和预设第一距离阈值以及预设第二距离阈值的大小关系之后,所述方法还包括:
若确定所述目标距离小于或等于所述预设第二距离阈值,则显示提示信息,所述提示信息用于提示所述用户无法向所述目标方向移动。
8.一种沉浸式VR交互场景展示装置,其特征在于,所述装置包括:响应模块(201)和处理模块(202);
响应模块(201),用于响应于用户针对虚拟场景模型的展示命令;
处理模块(202),用于对所述用户的活动空间进行空间数据采集,并根据所述空间数据构建空间模型;
处理模块(202),还用于识别所述空间模型包含的多个目标障碍物;
处理模块(202),还用于确定多个所述目标障碍物的第一空间布局,所述第一空间布局为多个所述目标障碍物的位置分布;
处理模块(202),还用于获取待展示的虚拟场景模型;
处理模块(202),还用于对所述虚拟场景模型的空间布局进行调整,得到第二空间布局,所述第一空间布局与所述第二空间布局相同,所述第二空间布局为所述虚拟场景模型中的多个虚拟障碍物的位置分布;
处理模块(202),还用于向所述用户展示调整后的虚拟场景模型。
9.一种电子设备,其特征在于,包括处理器(301)、存储器(305)、用户接口(303)及网络接口(304),所述存储器(305)用于存储指令,所述用户接口(303)和网络接口(304)用于给其他设备通信,所述处理器(301)用于执行所述存储器(305)中存储的指令,以使所述电子设备(300)执行如权利要求1-7任意一项所述的方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有指令,当所述指令被执行时,执行如权利要求1-7任意一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410357347.5A CN117994485A (zh) | 2024-03-27 | 2024-03-27 | 一种沉浸式vr交互场景展示方法、装置及电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410357347.5A CN117994485A (zh) | 2024-03-27 | 2024-03-27 | 一种沉浸式vr交互场景展示方法、装置及电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN117994485A true CN117994485A (zh) | 2024-05-07 |
Family
ID=90889199
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410357347.5A Pending CN117994485A (zh) | 2024-03-27 | 2024-03-27 | 一种沉浸式vr交互场景展示方法、装置及电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN117994485A (zh) |
-
2024
- 2024-03-27 CN CN202410357347.5A patent/CN117994485A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10540054B2 (en) | Navigation point selection for navigating through virtual environments | |
US9996974B2 (en) | Method and apparatus for representing a physical scene | |
US11508141B2 (en) | Simple environment solver using planar extraction | |
CN102902355B (zh) | 移动设备的空间交互方法 | |
CN110956695B (zh) | 信息处理装置、信息处理方法和存储介质 | |
US11423602B2 (en) | Fast 3D reconstruction with depth information | |
US11238651B2 (en) | Fast hand meshing for dynamic occlusion | |
CN116097316A (zh) | 用于非模态中心预测的对象识别神经网络 | |
Dong et al. | Tailored reality: Perception-aware scene restructuring for adaptive vr navigation | |
CN113724378B (zh) | 三维建模方法和装置、计算机可读存储介质及计算机设备 | |
CN110070606A (zh) | 空间绘制方法、目标检测方法、检测装置及存储介质 | |
CN117994485A (zh) | 一种沉浸式vr交互场景展示方法、装置及电子设备 | |
CN108984262B (zh) | 三维指针的创建方法、装置及电子设备 | |
Paoletti et al. | Sviluppo di un sistema per l'interazione con oggetti reali contestualizzati in ambienti di Realtà Mixata | |
CN117132645B (zh) | 虚拟数字人的驱动方法、装置、计算机设备及存储介质 | |
KR101159705B1 (ko) | 빌보드 기반 3차원 가상현실에 의한 물체 안내 시스템 및 방법 | |
US20240127538A1 (en) | Scene understanding using occupancy grids | |
Pastor et al. | An agent-based paradigm for the reconstruction of conical perspectives | |
CN118262072A (zh) | 信息提示方法、扩展现实设备、装置、介质和程序产品 | |
CN118196345A (zh) | 处理虚拟环境的方法、装置、设备、存储介质及程序产品 | |
CN116503558A (zh) | 考场监控方法、设备及存储介质 | |
CN118674895A (zh) | 虚拟现实安全区域创建方法、装置、设备及存储介质 | |
CN113206989A (zh) | 一种三维通信系统中人物模型的定位方法及设备 | |
CN117274548A (zh) | 一种基于ar眼镜的虚拟方法、装置及电子设备 | |
CN114694205A (zh) | 社交距离检测方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |