CN115047977A - 一种安全区域的确定方法、装置、设备和存储介质 - Google Patents

一种安全区域的确定方法、装置、设备和存储介质 Download PDF

Info

Publication number
CN115047977A
CN115047977A CN202210826961.2A CN202210826961A CN115047977A CN 115047977 A CN115047977 A CN 115047977A CN 202210826961 A CN202210826961 A CN 202210826961A CN 115047977 A CN115047977 A CN 115047977A
Authority
CN
China
Prior art keywords
scene
entity
virtual
real scene
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210826961.2A
Other languages
English (en)
Inventor
李蕾
崔新宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Zitiao Network Technology Co Ltd
Original Assignee
Beijing Zitiao Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zitiao Network Technology Co Ltd filed Critical Beijing Zitiao Network Technology Co Ltd
Priority to CN202210826961.2A priority Critical patent/CN115047977A/zh
Publication of CN115047977A publication Critical patent/CN115047977A/zh
Priority to US18/351,067 priority patent/US20240020930A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种安全区域的确定方法、装置、设备和存储介质。该方法包括：确定用户运动过程中所处的真实场景内实体的属性信息；根据所述实体的属性信息，在虚拟空间内显示所述真实场景映射成的目标虚拟场景；根据所述目标虚拟场景内的安全类虚拟对象，确定对应的安全区域。本申请实施例利用真实场景下的用户运动，实现多空间范围内安全区域的自定义划定，确保安全区域与真实场景间的适配性。而且，通过向用户显示由真实场景映射成的目标虚拟场景，使得在安全区域划定前即可支持用户在真实场景下的无碰撞运动，从而提升安全区域确定时的沉浸感和多样化互动。

Description

一种安全区域的确定方法、装置、设备和存储介质
技术领域
本申请实施例涉及扩展现实(Extended Reality，XR)技术领域，尤其涉及一种安全区域的确定方法、装置、设备和存储介质。
背景技术
目前，XR技术的应用场景越来越广泛了，具体包含虚拟现实(Virtual Reality，VR)、增强现实(Augmented Reality，AR)和混合现实(Mixed Reality，MR)等。用户在佩戴好XR设备而进入虚拟互动场景后，对于周边真实环境的感知能力下降，极易出现与周边真实物体发生碰撞的情况。
通常情况下，XR设备会自动划定一个固定形状的安全区域，例如半径为1米、高度为2米的圆柱体区域等，无法确保安全区域与真实场景间的适配性。或者，XR设备采用透视功能，向用户显示周边真实环境，以使用户自由划定一个安全区域。但是，在多个空间范围内划定安全区域时，为了避免碰撞，主要依赖于手柄的摇杆操作来模拟用户在多个空间范围内的跳跃，容易出现用户眩晕的症状，极大降低安全区域划定时的沉浸感。
所以，上述安全区域的划定方式存在一定的局限性。
发明内容
本申请提供一种安全区域的确定方法、装置、设备和存储介质，利用真实场景下的用户运动，实现多空间范围内安全区域的自定义划定，提升安全区域确定时的沉浸感和多样化互动。
第一方面，本申请实施例提供了一种安全区域的确定方法，该方法应用于XR设备，包括：
确定用户运动过程中所处的真实场景内实体的属性信息；
根据所述实体的属性信息，在虚拟空间内显示所述真实场景映射成的目标虚拟场景；
根据所述目标虚拟场景内的安全类虚拟对象，确定对应的安全区域。
第二方面，本申请实施例提供了一种安全区域的确定装置，该装置配置于XR设备，包括：
实体属性确定模块，用于确定用户运动过程中所处的真实场景内实体的属性信息；
场景映射模块，用于根据所述实体的属性信息，在虚拟空间内显示所述真实场景映射成的目标虚拟场景；
安全区域确定模块，用于根据所述目标虚拟场景内的安全类虚拟对象，确定对应的安全区域。
第三方面，本申请实施例提供了一种电子设备，该电子设备包括：
处理器和存储器，该存储器用于存储计算机程序，该处理器用于调用并运行该存储器中存储的计算机程序，以执行本申请第一方面中提供的安全区域的确定方法。
第四方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，该计算机程序使得计算机执行如本申请第一方面中提供的安全区域的确定方法。
第五方面，本申请实施例提供了一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令使得计算机执行如本申请第一方面中提供的安全区域的确定方法。
通过本申请技术方案，在用户佩戴好XR设备后，首先会确定用户运动过程中所处的真实场景内每一实体的属性信息，然后根据每一实体的属性信息，在虚拟空间内显示由真实场景映射成的目标虚拟场景，进而根据目标虚拟场景内的安全类虚拟对象，即可确定出对应的安全区域，从而利用真实场景下的用户运动，实现多空间范围内安全区域的自定义划定，确保安全区域与真实场景间的适配性。而且，通过向用户显示由真实场景映射成的目标虚拟场景，使得在安全区域划定前即可支持用户在真实场景下的无碰撞运动，从而提升安全区域确定时的沉浸感和多样化互动。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的一种安全区域的确定方法的流程图；
图2为本申请实施例提供的一种真实场景的示意图；
图3为本申请实施例提供的在真实场景内确定的安全区域的示意图；
图4为本申请实施例提供的在虚拟空间内显示真实场景映射的目标虚拟场景的方法流程图；
图5为本申请实施例提供的一种真实场景内实体映射的虚拟对象的映射示意图；
图6(A)和图6(B)分别为本申请实施例提供的一种真实场景映射为目标虚拟场景的示例性示意图；
图7为本申请实施例提供的另一种真实场景内实体映射的虚拟对象的映射示意图；
图8(A)和图8(B)分别为本申请实施例提供的另一种真实场景映射为目标虚拟场景的示例性示意图；
图9为本申请实施例提供的确定真实场景内每一实体的属性信息的方法流程图；
图10为本申请实施例提供的一种安全区域的确定装置的示意图；
图11是本申请实施例提供的电子设备的示意性框图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明，本申请实施例中被描述为“示例性的”或者“例如”的任何实施例或方案不应被解释为比其它实施例或方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。
为了解决相关技术中划定安全区域存在一定局限性的问题，本申请的发明构思是：在用户佩戴好XR设备后，首先会确定用户运动过程中所处的真实场景内实体的属性信息，然后根据每一实体的属性信息，在虚拟空间内显示由真实场景映射成的目标虚拟场景，进而根据目标虚拟场景内的安全类虚拟对象，即可确定出对应的安全区域，从而利用真实场景下的用户运动，实现多空间范围内安全区域的自定义划定，确保安全区域与真实场景间的适配性。而且，通过向用户显示由真实场景映射成的目标虚拟场景，使得在安全区域划定前即可支持用户在真实场景下的无碰撞运动，从而提升安全区域确定时的沉浸感和多样化互动。
在介绍本申请的具体技术方案之前，首先对用于为用户提供虚拟空间来显示互动场景信息的XR设备(其下可以包含VR、AR和MR等多种虚拟空间产品)进行阐述：XR设备主要用于模拟各类真实环境，并融合相应的虚拟场景信息，来为用户提供沉浸式的三维虚拟环境。
示例性的，本申请中的XR设备可以包括头戴显示器(Head Mounted Display，HMD)和手柄。其中，HMD和手柄之间可以进行通信。通过HMD来为用户提供用于实现各类互动场景的虚拟空间，通过手柄来实现虚拟空间内安全区域的划定操作。
此时，为了保证真实场景的准确虚拟化映射，要求能够准确获取真实场景内实体的属性信息。因此，本申请中的XR设备内会配置有对应的实体检测器件，例如前置摄像头、测距传感器、惯性传感器和定位追踪器等。在用户运动过程中，会实时采集真实场景中各个实体在不同类型下的属性信息，以便将用户运动时的真实场景不断虚拟化为相应的目标虚拟场景，以确保在安全区域划定前用户在真实场景下的无碰撞运动，通过用户在多空间范围内的运动，即可实现多空间范围内安全区域的自定义划定。
接下来对本申请技术方案进行详细阐述：
图1为本申请实施例提供的一种安全区域的确定方法的流程图，该方法可以应用于XR设备中，但不限于此。该方法可以由本公开提供的安全区域的确定装置来执行，其中，安全区域的确定装置可以通过任意的软件和/或硬件的方式实现。示例性地，安全区域的确定装置可配置于AR/VR/MR等能够模拟虚拟场景的电子设备中，本公开对电子设备的具体类型不作任何限制。
具体的，如图1所示，该方法可以包括如下步骤：
S110，确定用户运动过程中所处的真实场景内实体的属性信息。
在本申请中，用户运动所处的真实场景可以为用户本次划定安全区域时所涉及到的各个空间范围。其中，真实场景内的空间范围可以为一个或多个，且任一空间范围的大小也不作限定，以支持对于任一大小的空间范围内安全区域的自定义划定。
然后，用户佩戴好XR设备后，通过在真实场景下的各个空间范围内运动的过程中，XR设备可以利用其上配置好的各种实体检测器件，例如前置摄像头、测距传感器、惯性传感器和定位追踪器等，来实时采集该真实场景内的各种场景特征信息，以便后续模拟出对应的虚拟场景。
而且，本申请中的实体可以为真实场景内实际存在的各个物体对象，也就是任一空间内不可再分的最小对象单位，可以包括点、线、面三种组成类型。
以用户居家场景为例，如图2所示，本申请中的真实场景可以包括客厅、活动室等各个空间。图2中的箭头可以指示用户在真实场景内的运动路线。真实场景内的实体可以包括任一空间内的墙体、走廊、地板、沙发、窗户、桌子、椅子等各种实际物体。
应当理解的是，本申请中的实体可以包括障碍实体和安全实体两种。其中，障碍实体为可能与用户发生碰撞而影响到用户正常运动的实体，例如墙体、沙发、窗户、桌子、椅子等。安全实体为不与用户发生碰撞而支持用户安全运动的实体，例如走廊、地板等。
根据本申请的一个或多个实施例，用户在真实场景内的运动过程中，XR设备会实时采集所处真实场景内的各种场景特征信息。然后，通过对各种场景特征信息进行整合分析，即可识别出真实场景内存在的各个实体，以及每一实体在用户当前运动下的各类属性信息。
其中，通过每一实体的属性信息可以从不同角度来描述该实体在真实场景内的空间特性。
在一些可实现方式中，本申请中每一实体的属性信息至少可以包括该实体的特征信息、相对位置信息和绝对位置信息等。
其中，实体的特征信息可以为对实体外形的具体描述，例如实体尺寸、结构、形状特点等。
实体的相对位置信息可以为在用户运动过程中实体与用户间的距离信息。本申请可以采用以用户在真实场景中的任一运动位置为原点所构建的用户坐标系下的位置坐标，来表示实体的相对位置信息。
实体的绝对位置信息可以为该实体在真实场景内的实际位置。本申请可以采用世界坐标系下的位置坐标，来表示该实体的绝对位置信息。
此外，为了保证安全区域划定的准确触发，避免安全区域的误配置，本申请首先需要控制XR设备进入安全区域配置状态，使得XR设备在安全区域配置状态才会执行安全区域的确定步骤，而在其他状态下则不执行安全区域的确定步骤。
因此，在确定用户运动过程中所处的真实场景内每一实体的属性信息之前，本申请还会执行下述步骤：进入虚拟空间；响应于虚拟空间内的唤起指令，在虚拟空间内显示安全区域的配置入口，以执行安全区域的配置操作。
也就是说，用户佩戴好XR设备后，通过开启该XR设备，使得XR设备处于工作状态。然后，XR设备会向用户展示在多种类型下的初始化虚拟场景，以进入对应的虚拟空间内。此时，该初始化虚拟场景可以为任一VR游戏场景等。
然后，通过判断是否检测到手柄的输入信号或者用户的操作手势，来判断当前是否需要对安全区域进行配置。如果检测到手柄的输入信号或者用户的操作手势，则生成对应的唤起指令。进而，响应于该唤起指令，即可在虚拟空间内显示安全区域的配置入口，以提示用户需要对安全区域进行提前配置。响应于用户作用于该配置入口上的触发操作，即可控制XR设备进入安全区域配置状态，以执行本申请提供的安全区域的确定操作。
S120，根据实体的属性信息，在虚拟空间内显示真实场景映射成的目标虚拟场景。
在确定出真实场景内每一实体的属性信息后，通过对每一实体的属性信息进行分析，即可确定每一实体在真实场景内的外形样式和位置信息。然后，按照真实场景内每一实体的外形样式和位置信息，可以将每一实体虚拟化成处于不同位置下的一个虚拟对象，从而将真实场景映射成对应的目标虚拟场景。该目标虚拟场景由真实场景内的各个实体虚拟化成的虚拟对象而组成。
进而，为了保证用户佩戴好XR设备在真实场景内的无碰撞运动，本申请会在XR设备提供的虚拟空间内显示出由真实场景映射成的目标虚拟场景。在XR设备用于划定安全区域时，通过向用户显示目标虚拟场景来代替XR设备采用透视功能所显示的真实场景，支持用户根据目标虚拟空间进行真实的无碰撞运动，无需依赖手柄摇杆操控来实现无碰撞运动，从而提升安全区域确定时的沉浸感和多样化互动，且避免用户出现眩晕的情况，提升安全区域划定时的感官舒适度。
需要说明的是，用户佩戴好XR设备后，会向用户显示由真实场景映射成的目标虚拟场景。此时，由于用户运动过程中，真实场景内每一实体的属性信息在用户视角下会实时变化，因此虚拟空间内目标虚拟场景的具体场景画面也会按照用户视角下的真实场景画面而变化。
S130，根据目标虚拟场景内的安全类虚拟对象，确定对应的安全区域。
应当理解的是，由于真实场景内的实体包括障碍实体和安全实体两种。那么，由真实场景映射成的目标虚拟场景内由各个实体虚拟化成的虚拟对象也会包括障碍类虚拟对象和安全类虚拟对象两种。
其中，障碍类虚拟对象是由真实场景内的障碍实体虚拟化后得到。而且，障碍类虚拟对象对于用户在真实场景下的无碰撞运动，具有障碍物警示意义，以便用户运动过程中，通过避开目标虚拟场景内的障碍类虚拟对象，即可保证用户在真实场景下的无碰撞运动。
安全类虚拟对象是由真实场景内的安全实体虚拟化后得到。而且，安全类虚拟对象对于用户在真实场景下的无碰撞运动，具有安全区指示意义，以指示用户可以在目标虚拟场景内的安全类虚拟对象所在范围内进行正常运动。
在本申请中，在虚拟空间内显示由真实场景映射成的目标虚拟场景后，通过分析目标虚拟场景内的安全类虚拟对象与其他障碍类虚拟对象之间的相交线，即可确定出安全类虚拟对象所指示的安全边界。进而，根据安全类虚拟对象所指示的安全边界，即可在真实场景内确定出对应的安全区域，确保安全区域与真实场景间的适配性。
以用户居家场景为例，按照图2的箭头表示的运动路线，完成在真实场景内的运动后，即可在真实场景内确定出图3中的不规则区域，作为对应的安全区域，从而实现真实场景下多空间范围内安全区域的自定义划定。
本申请实施例提供的技术方案，在用户佩戴好XR设备后，首先会确定用户运动过程中所处的真实场景内每一实体的属性信息，然后根据每一实体的属性信息，在虚拟空间内显示由真实场景映射成的目标虚拟场景，进而根据目标虚拟场景内的安全类虚拟对象，即可确定出对应的安全区域，从而利用真实场景下的用户运动，实现多空间范围内安全区域的自定义划定，确保安全区域与真实场景间的适配性。而且，通过向用户显示由真实场景映射成的目标虚拟场景，使得在安全区域划定前即可支持用户在真实场景下的无碰撞运动，从而提升安全区域确定时的沉浸感和多样化互动。
由上述内容可知，本申请可以将用户所处的真实场景映射成具有安全边界指示意义的目标虚拟场景，来保证用户在真实场景内的无碰撞运动。而且，在安全区域确定阶段，将真实场景映射为目标虚拟场景，并显示在虚拟空间内，不仅保证了用户在真实场景内的无碰撞运动，还能够进一步提升安全区域确定时的沉浸感和多样化互动。如图4所示，本申请对于在虚拟空间内显示由真实场景映射成的目标虚拟场景的具体过程进行说明。
如图4所示，在虚拟空间内显示真实场景映射的目标虚拟场景的方法具体可以包括如下步骤：
S410，在虚拟空间内呈现对应的虚拟场景选项。
为了保证安全区域确定时的多样化互动，本申请会预先设定出多种类型的虚拟场景，以及每一类型的虚拟场景下所适用的映射关系。
在XR设备处于安全区域配置状态时，首先会在虚拟空间内呈现出对应的虚拟场景选项，以向用户展示多个类型的虚拟场景，从而提示用户可以在多种类型的虚拟场景中选择一个具体的虚拟场景，来实现真实场景的虚拟化映射，保证安全区域确定时的多样化互动。
S420，响应于虚拟场景选项中任一虚拟场景的选中操作，获取面向所选中的虚拟场景预设定的目标映射关系。
对于虚拟空间内呈现的虚拟场景选项，用户可以通过手柄光标射线来指向虚拟场景选项中的某一具体虚拟场景。然后，根据手柄上某一控件的输入信号或者用户的手势信息，来检测用户对于虚拟场景选项中任一虚拟场景的选中操作。此时，响应于虚拟场景选项中任一虚拟场景的选中操作，可以直接获取面向所选中的虚拟场景预设定的目标映射关系。
其中，面向任一虚拟场景所设定的映射关系，可以为用于对真实场景内各个实体进行不同归类区分的各种实体规则，例如高度规则、远近规则、宽度规则等。而且，该映射关系中还会设定真实场景映射为某一虚拟场景时，各个实体在归类区分后所映射成的虚拟对象。
以用户居家场景为例，如果所选中的虚拟场景为自然场景，且按照高度规则设定映射关系。那么，所选中的虚拟场景预设定的目标映射关系可以如下表1所示：
表1自然场景下的目标映射关系
Figure BDA0003744333370000091
S430，根据预设定的目标映射关系和实体的属性信息，将实体映射为对应的虚拟对象，以生成目标虚拟场景。
在确定出目标映射关系后，通过分析真实场景内每一实体的属性信息，来判断每一实体符合该目标映射关系中的哪一映射条件。然后，可以将每一实体映射为所符合的具体映射条件指定的某一虚拟对象，例如远近不同、高矮不同的树木、丘陵等。进而，将真实场景映射成对应的目标虚拟场景。
以用户居家场景中客厅为例，如图5所示，客厅一般可以包括墙面、沙发、桌子、椅子、挂画等，可以将客厅映射到某一自然场景下。而且，对于客厅是否有走廊，可以进一步区分映射到自然场景下的河谷场景，还是平原场景。
在河谷场景下，客厅中的墙面可以映射为两侧高山，沙发可以映射为近处树木，桌子和椅子可以映射为河中礁石，挂画可以映射为山上树木，而走廊可以映射为河道河流。
在平原场景下，客厅中的墙面可以映射为周围群山，沙发可以映射为近处树木，桌子可以映射为巨石，椅子可以映射为普通石头，挂画可以映射为山上树木。
以用户居家场景中客厅有走廊为例，如图6(A)和图6(B)所示，客厅(有走廊)可以映射为河谷(河流、山体、树木)。如果用户划定安全区域的真实场景包含多个房间，那么除了客厅场景外，还可以包括客厅走廊尽头的另一个房间。在安全区域确定的实际游戏过程中，用户可以沿着河道(也就是真实场景中的走廊)前行，且在前进过程中，虚拟出来的山体及树木会随着真实场景内墙面等的变化而发生远近及大小的变化。随着目标虚拟场景的变化，当走到越接近河道(也就是真实场景中的走廊)的尽头，那么河道(也就是真实场景中的走廊)尽头的场景画面也就越清晰。
以走廊尽头的活动室为例，如图7所示，活动室一般可以包括墙面、窗户、地板、床等，可以将活动室映射到某一太空舱场景下，以实现安全区域确定时的多样化互动。
如图8(A)和图8(B)所示，活动室中的墙面可以映射为太空舱的舱体，窗户可以映射为太空舱玻璃，地板可以映射为太空舱地面，床可以映射为太空舱内的中控台。
S440，在虚拟空间内显示目标虚拟场景。
在用户运动过程中，可以实时采集真实场景内各个实体的属性信息，从而将真实场景映射成对应的目标虚拟场景，并在虚拟空间内显示该目标虚拟场景下的实时场景画面，以确保用户在真实场景内的无碰撞运动，提升安全区域确定时的沉浸感。
本申请实施例提供的技术方案，在用户佩戴好XR设备后，首先会确定用户运动过程中所处的真实场景内每一实体的属性信息，然后根据每一实体的属性信息，在虚拟空间内显示由真实场景映射成的目标虚拟场景，进而根据目标虚拟场景内的安全类虚拟对象，即可确定出对应的安全区域，从而利用真实场景下的用户运动，实现多空间范围内安全区域的自定义划定，确保安全区域与真实场景间的适配性。而且，通过向用户显示由真实场景映射成的目标虚拟场景，使得在安全区域划定前即可支持用户在真实场景下的无碰撞运动，从而提升安全区域确定时的沉浸感和多样化互动。
根据本申请的一个或多个实施例，对于真实场景内每一实体的属性信息，本申请可以利用XR设备上配置的各种实体检测器件，从多方面来采集相关的实体场景数据。如图9所示，本申请对于确定真实场景内每一实体的属性信息的具体过程进行说明。
如图9所示，本申请中确定真实场景内每一实体的属性信息方法具体可以包括如下步骤：
S910，在用户运动过程中，获取真实场景下的目标图像以及目标图像对应的实体深度数据和设备位姿数据。
用户在真实场景内的运动过程中，XR设备可以通过其上配置的前置摄像头来实时采集当前运动视角下的场景图像，使得前置摄像头能够捕获到真实场景内的各个实体，从而得到本申请中的目标图像。
示例性的，本申请中的前置摄像头可以包括但不限于RGB摄像头、红外摄像头等。
在一些可实现方式中，为了保证对于真实场景内各个实体的全方位采集，以避免实体的误识别，本申请可以在XR设备上配置多个摄像头，作为对应的前置摄像头。然后，从不同角度捕获真实场景内的实体影像，得到同一时刻下对真实场景拍摄的图像集合。
那么，在用户运动过程中，可以实时获取XR设备上多个摄像头在同一时刻下对真实场景拍摄的图像集合。然后，对在同一时刻下的图像集合进行图像融合，以便更为全面的描述真实场景内的各个实体，得到对应的目标图像。
进一步的，在实时采集真实场景下的目标图像时，还会通过XR设备上配置的测距传感器来实时检测真实场景内各个实体与用户间的相对距离，以此确定各个实体的实体深度数据。
其中，测距传感器可以包括但不限于红外传感器和深度相机等。
而且，通过XR设备上配置的惯性传感器等定位装置可以实时采集XR设备在真实场景内所处的设备位姿数据，以此表示用户在真实场景内的绝对位置信息。
其中，设备位姿数据可以包括XR设备中头戴显示器和手柄的六个自由度(SixDegrees of Freedom，简称为6DOF)数据和由惯性测量单元(Inertial Measurement Unit，简称为IMU)检测到的惯性传感数据。据此，可以分析用户在真实场景内的位姿信息。
在本申请中，按照上述各类数据的采集时间，可以对目标图像、实体深度数据和设备位姿数据进行同一时刻下的一一对应，即可得到每一目标图像对应的实体深度数据和设备位姿数据，以便后续利用同一时刻下的目标图像、实体深度数据和设备位姿数据，来分析该时刻下的实体属性。
S920，对目标图像进行识别，确定真实场景内实体的特征信息。
对于每一时刻下拍摄得到的目标图像，由于该目标图像会捕获到真实场景内的各个实体。因此，本申请可以对目标图像进行图像识别，来准确识别出真实场景内实际存在的每一实体。并且，提取出每一实体的特征信息，以具体描述该实体的外形特点，例如实体尺寸、结构、形状特点等。
S930，基于实体的特征信息、实体深度数据和设备位姿数据，确定每一实体的属性信息。
通过对每一实体的特征信息和实体深度数据进行融合处理，可以准确分析出每一实体与用户间的相对位置信息。然后，根据目标图像对应的设备位姿数据，可以确定出用户在真实场景内的绝对位置信息。进而，结合每一实体与用户间的相对位置信息，即可确定出每一实体在真实场景内的绝对位置信息。最后，整合每一实体的特征信息、相对位置信息和绝对位置信息，即可得到每一实体的属性信息。
本申请实施例提供的技术方案，利用XR设备上配置的各种实体检测器件，从多方面来采集相关的实体场景数据，来确定真实场景内每一实体的属性信息，从而确保每一实体的属性信息的准确性。
图10为本申请实施例提供的一种安全区域的确定装置的示意图，该安全区域的确定装置1000可以配置于XR设备中，该安全区域的确定装置1000可以包括：
实体属性确定模块1010，用于确定用户运动过程中所处的真实场景内实体的属性信息；
场景映射模块1020，用于根据所述实体的属性信息，在虚拟空间内显示所述真实场景映射成的目标虚拟场景；
安全区域确定模块1030，用于根据所述目标虚拟场景内的安全类虚拟对象，确定对应的安全区域。
在一些可实现方式中，场景映射模块1020，可以具体用于：
根据预设定的目标映射关系和所述实体的属性信息，将所述实体映射为对应的虚拟对象，以生成所述目标虚拟场景；
在虚拟空间内显示所述目标虚拟场景。
在一些可实现方式中，安全区域的确定装置1000，还可以包括：
映射关系确定模块，用于在虚拟空间内呈现对应的虚拟场景选项；响应于所述虚拟场景选项中任一虚拟场景的选中操作，获取面向所选中的虚拟场景预设定的目标映射关系。
在一些可实现方式中，所述实体包括障碍实体和安全实体，所述目标虚拟场景内的虚拟对象包括障碍类虚拟对象和安全类虚拟对象。
在一些可实现方式中，实体属性确定模块1010，可以包括：
实体数据获取单元，用于在用户运动过程中，获取所述真实场景下的目标图像以及所述目标图像对应的实体深度数据和设备位姿数据；
图像识别单元，用于对所述目标图像进行识别，确定所述真实场景内实体的特征信息；
实体属性确定单元，用于基于实体的特征信息、所述实体深度数据和所述设备位姿数据，确定所述实体的属性信息。
在一些可实现方式中，实体数据获取单元，可以具体用于：
获取所述XR设备上多个摄像头在同一时刻下对所述真实场景拍摄的图像集合；
对所述图像集合进行融合，得到所述目标图像。
在一些可实现方式中，所述实体的属性信息至少包括所述实体的特征信息、相对位置信息和绝对位置信息。
在一些可实现方式中，安全区域的确定装置1000，还可以包括：
配置触发模块，用于进入所述虚拟空间；响应于所述虚拟空间内的唤起指令，在所述虚拟空间内显示安全区域的配置入口，以执行所述安全区域的确定操作。
本申请实施例中，在用户佩戴好XR设备后，首先会确定用户运动过程中所处的真实场景内实体的属性信息，然后根据实体的属性信息，在虚拟空间内显示由真实场景映射成的目标虚拟场景，进而根据目标虚拟场景内的安全类虚拟对象，即可确定出对应的安全区域，从而利用真实场景下的用户运动，实现多空间范围内安全区域的自定义划定，确保安全区域与真实场景间的适配性。而且，通过向用户显示由真实场景映射成的目标虚拟场景，使得在安全区域划定前即可支持用户在真实场景下的无碰撞运动，从而提升安全区域确定时的沉浸感和多样化互动。
应理解的是，该装置实施例与本申请中的方法实施例可以相互对应，类似的描述可以参照本申请中的方法实施例。为避免重复，此处不再赘述。
具体地，图10所示的装置1000可以执行本申请提供的任一方法实施例，并且图10所示的装置1000中的各个模块的前述和其它操作和/或功能分别为了实现上述方法实施例的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的上述方法实施例。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。
图11是本申请实施例提供的电子设备的示意性框图。
如图11所示，该电子设备1100可包括：
存储器1110和处理器1120，该存储器1110用于存储计算机程序，并将该程序代码传输给该处理器1120。换言之，该处理器1120可以从存储器1110中调用并运行计算机程序，以实现本申请实施例中的方法。
例如，该处理器1120可用于根据该计算机程序中的指令执行上述方法实施例。
在本申请的一些实施例中，该处理器1120可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器1110包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器1110中，并由该处理器1120执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备1100的执行过程。
如图11所示，该电子设备还可包括：
收发器1130，该收发器1130可连接至该处理器1120或存储器1110。
其中，处理器1120可以控制该收发器1130与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器1130可以包括发射机和接收机。收发器1130还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该电子设备1100中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。
本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。

Claims (12)

1.一种安全区域的确定方法，其特征在于，所述方法应用于扩展现实XR设备，包括：
确定用户运动过程中所处的真实场景内实体的属性信息；
根据所述实体的属性信息，在虚拟空间内显示所述真实场景映射成的目标虚拟场景；
根据所述目标虚拟场景内的安全类虚拟对象，确定对应的安全区域。
2.根据权利要求1所述的方法，其特征在于，所述根据所述实体的属性信息，在虚拟空间内显示所述真实场景映射成的目标虚拟场景，包括：
根据预设定的目标映射关系和所述实体的属性信息，将所述实体映射为对应的虚拟对象，以生成所述目标虚拟场景；
在虚拟空间内显示所述目标虚拟场景。
3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
在虚拟空间内呈现对应的虚拟场景选项；
响应于所述虚拟场景选项中任一虚拟场景的选中操作，获取面向所选中的虚拟场景预设定的目标映射关系。
4.根据权利要求1所述的方法，其特征在于，所述实体包括障碍实体和安全实体，所述目标虚拟场景内的虚拟对象包括障碍类虚拟对象和安全类虚拟对象。
5.根据权利要求1所述的方法，其特征在于，所述确定用户运动过程中所处的真实场景内实体的属性信息，包括：
在用户运动过程中，获取所述真实场景下的目标图像以及所述目标图像对应的实体深度数据和设备位姿数据；
对所述目标图像进行识别，确定所述真实场景内实体的特征信息；
基于所述实体的特征信息、所述实体深度数据和所述设备位姿数据，确定所述实体的属性信息。
6.根据权利要求5所述的方法，其特征在于，所述获取所述真实场景下的目标图像，包括：
获取所述XR设备上多个摄像头在同一时刻下对所述真实场景拍摄的图像集合；
对所述图像集合进行融合，得到所述目标图像。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述实体的属性信息至少包括所述实体的特征信息、相对位置信息和绝对位置信息。
8.根据权利要求1-6任一项所述的方法，其特征在于，在确定用户运动过程中所处的真实场景内实体的属性信息之前，还包括：
进入所述虚拟空间；
响应于所述虚拟空间内的唤起指令，在所述虚拟空间内显示安全区域的配置入口，以执行所述安全区域的确定操作。
9.一种安全区域的确定装置，其特征在于，所述装置配置于XR设备，包括：
实体属性确定模块，用于确定用户运动过程中所处的真实场景内实体的属性信息；
场景映射模块，用于根据所述实体的属性信息，在虚拟空间内显示所述真实场景映射成的目标虚拟场景；
安全区域确定模块，用于根据所述目标虚拟场景内的安全类虚拟对象，确定对应的安全区域。
10.一种电子设备，其特征在于，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1-8任一项所述的安全区域的确定方法。
11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1-8任一项所述的安全区域的确定方法。
12.一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在电子设备上运行时，使得所述电子设备执行权利要求1-8任一项所述的安全区域的确定方法。
CN202210826961.2A 2022-07-13 2022-07-13 一种安全区域的确定方法、装置、设备和存储介质 Pending CN115047977A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202210826961.2A CN115047977A (zh) 2022-07-13 2022-07-13 一种安全区域的确定方法、装置、设备和存储介质
US18/351,067 US20240020930A1 (en) 2022-07-13 2023-07-12 Method and apparatus for determining security area, device, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210826961.2A CN115047977A (zh) 2022-07-13 2022-07-13 一种安全区域的确定方法、装置、设备和存储介质

Publications (1)

Publication Number Publication Date
CN115047977A true CN115047977A (zh) 2022-09-13

Family

ID=83166321

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210826961.2A Pending CN115047977A (zh) 2022-07-13 2022-07-13 一种安全区域的确定方法、装置、设备和存储介质

Country Status (2)

Country Link
US (1) US20240020930A1 (zh)
CN (1) CN115047977A (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810353A (zh) * 2014-03-09 2014-05-21 杨智 一种虚拟现实中的现实场景映射系统和方法
US20160253842A1 (en) * 2015-02-27 2016-09-01 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
CN109445596A (zh) * 2018-11-02 2019-03-08 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
CN111708432A (zh) * 2020-05-21 2020-09-25 青岛小鸟看看科技有限公司 安全区域确定方法、装置、头戴显示设备及存储介质
CN113284258A (zh) * 2021-07-13 2021-08-20 北京京东方技术开发有限公司 安全区域的设置方法、装置和虚拟现实设备

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103810353A (zh) * 2014-03-09 2014-05-21 杨智 一种虚拟现实中的现实场景映射系统和方法
US20160253842A1 (en) * 2015-02-27 2016-09-01 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
CN109445596A (zh) * 2018-11-02 2019-03-08 北京盈迪曼德科技有限公司 一种一体式混合现实头戴显示系统
CN111708432A (zh) * 2020-05-21 2020-09-25 青岛小鸟看看科技有限公司 安全区域确定方法、装置、头戴显示设备及存储介质
CN113284258A (zh) * 2021-07-13 2021-08-20 北京京东方技术开发有限公司 安全区域的设置方法、装置和虚拟现实设备

Also Published As

Publication number Publication date
US20240020930A1 (en) 2024-01-18

Similar Documents

Publication Publication Date Title
US10572988B1 (en) Capturing color information from a physical environment
US9524021B2 (en) Imaging surround system for touch-free display control
WO2022022036A1 (zh) 一种展示方法、装置、设备、存储介质及计算机程序
ES2619615T3 (es) Aumento del reconocimiento de voz con imágenes de profundidad
KR101890459B1 (ko) 3차원으로 디스플레이된 오브젝트의 사용자 선택 제스쳐에 응답하기 위한 방법 및 시스템
US20180158244A1 (en) Virtual sensor configuration
US9268410B2 (en) Image processing device, image processing method, and program
CN106125903B (zh) 多人交互系统及方法
US20130342568A1 (en) Low light scene augmentation
CN110473293B (zh) 虚拟对象处理方法及装置、存储介质和电子设备
US20190268587A1 (en) Information processing device, information processing method, and program
CN103823553B (zh) 对表面背后的场景的增强现实显示
CN112148197A (zh) 增强现实ar交互方法、装置、电子设备及存储介质
CN104364733A (zh) 注视位置检测装置、注视位置检测方法和注视位置检测程序
TW201246088A (en) Theme-based augmentation of photorepresentative view
JP2022505998A (ja) 拡張現実データの提示方法、装置、電子機器及び記憶媒体
CN104969538A (zh) 管理封闭区域用的移动增强现实
US10853966B2 (en) Virtual space moving apparatus and method
US20170227353A1 (en) Floor estimation for human computer interfaces
KR20110010106A (ko) 뷰어 인터페이스의 표현 배경 내의 활성화 구역을 정의하기 위한 시스템 및 방법
WO2018006481A1 (zh) 一种移动终端的体感操作方法及装置
CN116863107A (zh) 增强现实提供方法、装置以及非暂时性计算机可读介质
CN108896035B (zh) 通过影像信息实现导航的方法、设备以及导航机器人
US20140333745A1 (en) System and method for motion detection and interpretation
CN115047977A (zh) 一种安全区域的确定方法、装置、设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination