CN114565729A - 虚拟空间融合方法及相关装置、电子设备和存储介质 - Google Patents
虚拟空间融合方法及相关装置、电子设备和存储介质 Download PDFInfo
- Publication number
- CN114565729A CN114565729A CN202210153049.5A CN202210153049A CN114565729A CN 114565729 A CN114565729 A CN 114565729A CN 202210153049 A CN202210153049 A CN 202210153049A CN 114565729 A CN114565729 A CN 114565729A
- Authority
- CN
- China
- Prior art keywords
- virtual
- virtual space
- space
- fusion
- spaces
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000007500 overflow downdraw method Methods 0.000 title claims abstract description 19
- 238000003860 storage Methods 0.000 title claims abstract description 13
- 230000004927 fusion Effects 0.000 claims abstract description 154
- 238000000034 method Methods 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 19
- 230000003993 interaction Effects 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000001965 increasing effect Effects 0.000 description 6
- 230000002349 favourable effect Effects 0.000 description 5
- 241000282376 Panthera tigris Species 0.000 description 4
- 230000009286 beneficial effect Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000001960 triggered effect Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 230000002452 interceptive effect Effects 0.000 description 3
- 230000008447 perception Effects 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000011065 in-situ storage Methods 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 239000004984 smart glass Substances 0.000 description 2
- 241001474374 Blennius Species 0.000 description 1
- 235000014653 Carica parviflora Nutrition 0.000 description 1
- 241000283153 Cetacea Species 0.000 description 1
- 241000243321 Cnidaria Species 0.000 description 1
- 241001481833 Coryphaena hippurus Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 244000038280 herbivores Species 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 244000062645 predators Species 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Remote Sensing (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请公开了一种虚拟空间融合方法及相关装置、电子设备和存储介质,其中,虚拟空间融合方法包括:响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间;其中,多个第一虚拟空间均基于目标物理空间重建得到;将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间。上述方案,能够丰富虚拟空间,提升用户体验。
Description
技术领域
本申请涉及计算机视觉技术领域,特别是涉及一种虚拟空间融合方法及相关装置、电子设备和存储介质。
背景技术
通过将现实空间中事物进行数字化复制,人们可以通过数字分身在虚拟空间中活动。例如,最近越发受大众关注的元宇宙,即是利用诸如增强现实等技术手段进行链接与创造的数字空间,其本质上是对现实世界的虚拟化、数字化过程,需要对内容生产、经济系统、用户体验以及实体世界内容等进行大量改造。示例性地,如可以虚拟化现实空间中学校礼堂,毕业生可以以虚拟形象在虚拟学校礼堂参加毕业典礼等。
近年来,虚拟空间相关技术也越来越受到关注,而在用户体验方面,现有方式能够支持用户在各个虚拟空间中自由定义空间的形态、事务、交互方式,以及自己与空间的关系,以提升用户体验。有鉴于此,如何丰富虚拟空间以提升用户体验成为极具研究价值的课题。
发明内容
本申请提供一种虚拟空间融合方法及相关装置、电子设备和存储介质。
本申请第一方面提供了一种虚拟空间融合方法,包括:响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间;其中,多个第一虚拟空间均基于目标物理空间重建得到;将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间。
因此,响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间,且多个第一虚拟空间均基于目标物理空间重建得到,再将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间,故对于基于相同物理空间重建得到的虚拟空间来说,一旦检测到满足预设融合条件即自动融合,得到融合虚拟空间,而融合虚拟空间包含原虚拟空间所包含的虚拟物体,故能够大大丰富虚拟空间,有利于提升用户体验。
其中,当前状态包括:各个第一虚拟空间的创建者分别所在的物理位置,预设融合条件包括:物理位置之间的距离低于第一阈值。
因此,通过将当前状态设置为包括各个第一虚拟空间的创建者分别所在的物理位置,且预设融合条件包括:物理空间之间的距离低于第一阈值,从而在检测到物理距离低于第一阈值时第一虚拟空间即发生融合,进而能够通过在物理距离维度设置触发融合条件,提升空间融合的随机性,有利于进一步丰富虚拟空间。
其中,第一虚拟空间由创建者的终端设备创建得到,物理位置由终端设备通过视觉定位得到。
因此,第一虚拟空间由创建者的终端设备创建得到,而物理距离由终端设备通过视觉定位得到,故创建者能够通过终端设备创建得到虚拟空间,在后续使用终端设备的过程中通过视觉定位确定其物理位置,以供决策是否融合之用,从而能够进一步增加空间融合的随机性。
其中,当前状态包括:各个第一虚拟空间的用户集合,预设融合条件包括:用户集合之间的重合度高于第二阈值。
因此,通过将当前状态设置为包括:各个第一虚拟空间的用户集合,且预设融合条件设置为包括用户集合之间的重合度高于第二阈值,从而在检测到重合度高于第二阈值时第一虚拟空间即发生融合,进而能够通过在集合重合度维度设置触发融合条件,提升空间融合的随机性,有利于进一步丰富虚拟空间。
其中,用户集合包括若干用户,若干用户包括以下至少一者:第一虚拟空间中虚拟物体的摆放者、第一虚拟空间的关注者。
因此,用户集合设置为包括若干用户,且若干用户包括:第一虚拟空间中虚拟物体的摆放者,第一虚拟空间的关注者中至少一者,故能够从摆放者以及关注者至少一种角度衡量用户集合,有利于在空间融合之后,增强对摆放者、关注者的空间融合感知。
其中,当前状态包括:各第一虚拟空间各自所含的虚拟物体的摆放位置,预设融合条件包括:摆放位置不重叠。
因此,通过将当前状态设置为包括各第一虚拟空间各自所含的虚拟物体的摆放位置,并将预设融合条件设置为包括摆放位置不重叠,从而在检测到摆放位置不重叠时第一虚拟空间即发生融合,进而能够通过在摆放位置维度设置触发融合条件,提升空间融合的随机性,有利于进一步丰富虚拟空间。
其中,在将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间之后,方法还包括:响应于对第一虚拟空间的访问请求,重定向到融合虚拟空间,以展示融合虚拟空间。
因此,在得到融合虚拟空间之后,响应于第一虚拟空间的访问请求,重定向到融合虚拟空间,以展示融合虚拟空间,故通过自动重定向融合虚拟空间,能够提升虚拟空间的趣味性。
其中,在将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间之后,方法还包括:响应于第一虚拟空间的创建者对融合虚拟空间的回退请求,回退至融合前的第一虚拟空间。
因此,在得到融合虚拟空间之后,响应于第一虚拟空间的创建者对融合虚拟空间的回退请求,回退至融合前的第一虚拟空间,故能够支持创建者自由回退至融合前的第一虚拟空间,有利于提升空间融合的自由度。
其中,在将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间之后,方法还包括:响应于融合虚拟空间中虚拟物体的物体属性满足预设交互条件,虚拟物体基于各自的物体属性在融合虚拟空间中进行交互。
因此,在得到融合虚拟空间之后,响应于融合虚拟空间中虚拟物体的物体属性满足预设交互条件,虚拟物体基于各自的物体属性在融合虚拟空间中进行交互,能够进一步增加虚拟空间下的趣味性。
本申请第二方面提供了一种虚拟空间融合装置,包括:重建模块和融合模块,重建模块,用于响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间;其中,多个第一虚拟空间均基于目标物理空间重建得到;融合模块,用于将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间。
本申请第三方面提供了一种电子设备,包括相互耦接的存储器和处理器,处理器用于执行存储器中存储的程序指令,以实现上述第一方面中的虚拟空间融合方法。
本申请第四方面提供了一种计算机可读存储介质,其上存储有程序指令,程序指令被处理器执行时实现上述第一方面中的虚拟空间融合方法。
上述方案,响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间,且多个第一虚拟空间均基于目标物理空间重建得到,再将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间,故对于基于相同物理空间重建得到的虚拟空间来说,一旦检测到满足预设融合条件即自动融合,得到融合虚拟空间,而融合虚拟空间包含原虚拟空间所包含的虚拟物体,故能够大大丰富虚拟空间,有利于提升用户体验。
附图说明
图1是本申请虚拟空间融合方法一实施例的流程示意图;
图2是第一虚拟空间一实施例的示意图;
图3是本申请虚拟空间融合方法一实施例的过程示意图;
图4是本申请虚拟空间融合装置一实施例的框架示意图;
图5是本申请电子设备一实施例的框架示意图;
图6是本申请计算机可读存储介质一实施例的框架示意图。
具体实施方式
下面结合说明书附图,对本申请实施例的方案进行详细说明。
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、接口、技术之类的具体细节,以便透彻理解本申请。
本文中术语“系统”和“网络”在本文中常被可互换使用。本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。此外,本文中的“多”表示两个或者多于两个。
请参阅图1,图1是本申请虚拟空间融合方法一实施例的流程示意图。具体而言,可以包括如下步骤:
步骤S11:响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间。
本公开实施例中,多个第一虚拟空间均基于目标物理空间重建得到。需要说明的是,目标物理空间可以是任一现实空间。示例性地,目标物理空间可以包括但不限于:楼层、街道、公园、博物馆、景区等,在此不做限定。
在一个实施场景中,第一虚拟空间可以基于三维重建等重建技术重建得到,示例性地,重建技术具体可以包括但不限于SFM(即Structure From Motion)等,在此不做限定。
在一个实施场景中,第一虚拟空间具体可以由其创建者的终端设备创建得到,终端设备可以包括但不限于:智能手机、平板电脑、智能眼镜等智能设备。例如,终端设备自身可以具有较为富余的计算资源,则终端设备自身即可通过前述重建技术对现实空间进行重建得到第一虚拟空间;或者,例如,终端设备自身也可以并不具有较为富余的计算资源,则终端设备在对现实空间拍摄得到视频数据之后,可以将视频数据上传至后台服务器,由服务器利用上述重建技术对视频数据进行重建处理,得到第一虚拟空间,并由后台服务器托管第一虚拟空间,终端设备可以通过后台服务器提供的访问地址,访问第一虚拟空间。
在一个实施场景中,创建者可以进一步通过终端设备在第一虚拟空间摆放虚拟物体。需要说明的是,虚拟物体可以包括诸如动物、植物等生物,也可以包括诸如雕像、建筑、装饰等非生物,在此不做限定。以现实空间是街道为例,在重建得到街道的第一虚拟空间之后,创建者可以在第一虚拟空间所表示的街道上某一店铺前摆放雕像,也可以在第一虚拟空间所表示的街道上摆放诸如猫、狗等宠物。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,第一虚拟空间除其创建者这一用户之外,还可以存在关注者。例如,创建者所创建的第一虚拟空间吸引到用户关注,即用户成为该第一虚拟空间的粉丝,则可以视为该用户为第一虚拟空间的关注者。在此基础上,不仅第一虚拟空间的创建者可以在第一虚拟空间摆放虚拟物体,第一虚拟空间的关注者也可以在第一虚拟空间摆放虚拟物体,以进一步丰富第一虚拟空间。当然,第一虚拟空间的创建者可以设定第一虚拟空间的运行规则,如运行规则可以包括允许关注者编辑,则在此情况下,第一虚拟空间的关注者也可以在第一虚拟空间摆放虚拟物体;或者,运行规则可以包括允许关注者编辑且不允许非关注者编辑,则在此情况下,第一虚拟空间的关注者可以在第一虚拟空间摆放虚拟物体,而若某一用户并非第一虚拟空间的关注者,则不允许该用户在第一虚拟空间摆放虚拟物体;或者,运行规则也可以包括允许任何用户编辑,在此情况下,无论是第一虚拟空间的关注者,还是并非第一虚拟空间的关注者,均可以在第一虚拟空间摆放虚拟物体。此外,第一虚拟空间的虚拟物体可以由其摆放者具有最高权限,即虚拟物品可以由其摆放者执行移动、删除等操作,且摆放者可以设置其在第一虚拟空间的虚拟物体的编辑权限,如摆放者可以设置其他用户仅可以执行移动等操作,而不允许执行删除等操作。
在一个实施场景中,请结合参阅图2,图2是第一虚拟空间一实施例的示意图。如图2所示,在目标物理空间的基础上,可以创建各种不同风格的第一虚拟空间,如从下往上第一个第一虚拟空间为“海洋风格”,第一虚拟空间中摆放有诸如鲸鱼、海豚、海草、珊瑚等海洋生物,从下往上第二个第一虚拟空间为“森林风格”,第一虚拟空间摆放有诸如树、草坪等森林生物,从下往上第三个第一虚拟空间为“混合风格”,第一虚拟空间既摆放有海洋生物,还摆放有各种商业标志。需要说明的是,图2仅仅是第一虚拟空间几种可能的实施方式,并不因此而限定第一虚拟空间的具体实现方式。
在一个实施场景中,当前状态以及预设融合条件可以从第一虚拟空间的创建者的物理位置、第一虚拟空间的用户集合、第一虚拟空间中虚拟物体的摆放位置等多个维度进行设置,在此不做限定,具体含义可以参阅下述相关描述,在此暂不赘述。此外,在检测到多个第一虚拟空间的当前状态满足预设融合条件的情况下,可以自动执行后续融合操作,即自动基于目标物理空间创建得到第二虚拟空间以及执行后续如步骤S12所描述的相关操作;当然,在检测到多个第一虚拟空间的当前状态满足预设融合条件的情况下,也可以先在创建者的终端设备输出询问消息,且该询问消息用于询问创建者是否执行后续融合操作,若创建者确认执行后续融合操作,则可以基于目标物理空间重建得到第二虚拟空间以及执行后续如步骤S12所描述的相关操作,或者,若用户确认不执行后续融合操作,则可以结束流程。
在一个实施场景中,当前状态可以包括:各个第一虚拟空间的创建者分别所在的物理位置。需要说明的是,物理位置表示创建者在现实空间中的位置。则在此情况下,预设融合条件可以设置为包括:物理位置之间的距离低于第一阈值。上述方式,通过将当前状态设置为包括各个第一虚拟空间的创建者分别所在的物理位置,且预设融合条件包括:物理空间之间的距离低于第一阈值,从而在检测到物理距离低于第一阈值时第一虚拟空间即发生融合,进而能够通过在物理距离维度设置触发融合条件,提升空间融合的随机性,有利于进一步丰富虚拟空间。
在一个具体的实施场景中,如前所述,第一虚拟空间可以由创建者的终端设备创建得到,则物理位置具体可以由终端设备通过视觉定位得到,视觉定位的具体过程,可以参阅视觉定位的技术细节,在此不再赘述。上述方式,第一虚拟空间由创建者的终端设备创建得到,物理距离由终端设备通过视觉定位得到,故创建者能够通过终端设备创建得到虚拟空间,在后续使用终端设备的过程中通过视觉定位确定其物理位置,以供决策是否融合之用,从而能够进一步增加空间融合的随机性。
在一个具体的实施场景中,第一阈值的具体数值可以根据实际应用需要进行设置。例如,在对空间融合的随机性要求较高的情况下,第一阈值可以设置地适当大一些,如第一阈值可以设置为20米、25米、30米等;或者,在对空间融合的随机性要求较低的情况下,第一阈值可以设置地适当小一些,如第一阈值可以设置为5米、10米、15米等,在此不做限定。
在一个实施场景中,当前状态可以包括:各个第一虚拟空间的用户集合,预设融合条件可以包括:用户集合之间的重合度高于第二阈值。上述方式,通过将当前状态设置为包括:各个第一虚拟空间的用户集合,且预设融合条件设置为包括用户集合之间的重合度高于第二阈值,从而在检测到重合度高于第二阈值时第一虚拟空间即发生融合,进而能够通过在集合重合度维度设置触发融合条件,提升空间融合的随机性,有利于进一步丰富虚拟空间。
在一个具体的实施场景中,第一虚拟空间的用户集合可以包括以下至少一者:第一虚拟空间中虚拟物体的摆放者、第一虚拟空间的关注者。关于摆放者和关注者的具体含义可以参阅前述相关描述,在此不再赘述。示例性地,第一虚拟空间的用户集合可以包括:在该第一虚拟空间摆放虚拟物体的摆放者和关注该第一虚拟空间的关注者;或者,第一虚拟空间的用户集合可以包括:在该第一虚拟空间摆放虚拟物体的摆放者;或者,第一虚拟空间的用户集合可以包括:关注该第一虚拟空间的关注者,在此不做限定。上述方式,用户集合设置为包括若干用户,且若干用户包括:第一虚拟空间中虚拟物体的摆放者,第一虚拟空间的关注者中至少一者,故能够从摆放者以及关注者至少一种角度衡量用户集合,有利于在空间融合之后,增强对摆放者、关注者的空间融合感知。
在一个具体的实施场景中,用户集合之间的重合度可以通过用户集合的交并比得到。示例性地,请结合参阅图3,图3是本申请虚拟空间融合方法一实施例的过程示意图。如图3所示,以用户集合包括第一虚拟空间中虚拟物体的摆放者为例,用户A创建的第一虚拟空间中虚拟物体的摆放者包括用户1、用户2、用户3和用户4,用户B创建的第一虚拟空间中虚拟物体的摆放者包括用户1、用户2、用户3和用户4,故两个第一虚拟空间的用户集合的交集为:用户1、用户2、用户3和用户4所组成的集合,两个第一虚拟空间的用户集合的并集为:用户1、用户2、用户3和用户4所组成的集合,因此两者的重合度可以通过交并比度量为100%。其他情况可以以此类推,在此不再一一举例。
在一个具体的实施场景中,第二阈值的具体数值可以根据实际应用需要进行设置。例如,在对空间融合的随机性要求较高的情况下,第二阈值可以设置地适当小一些,如第二阈值可以设置50%、60%等;或者,在对空间融合的随机性要求较低的情况下,第二阈值可以设置地适当大一些,如第二阈值可以设置为80%、90%等,在此不做限定。
在一个实施场景中,当前状态可以包括:各第一虚拟空间各自所含的虚拟物体的摆放位置,则预设融合条件可以包括:摆放位置不重叠。上述方式,通过将当前状态设置为包括各第一虚拟空间各自所含的虚拟物体的摆放位置,并将预设融合条件设置为包括摆放位置不重叠,从而在检测到摆放位置不重叠时第一虚拟空间即发生融合,进而能够通过在摆放位置维度设置触发融合条件,提升空间融合的随机性,有利于进一步丰富虚拟空间。
在一个具体的实施场景中,如前所述,多个第一虚拟空间均是基于目标物理空间重建得到的,故目标物理空间中任一位置在各个第一虚拟空间中仅存在一个虚拟物体或不存在任何虚拟物体时,可以认为摆放位置不重叠,即在此情况下,满足预设融合条件。
在一个具体的实施场景中,在对空间融合的随机性要求较高的情况下,预设融合条件还可以设置为摆放位置的重叠率不高于第三阈值。也就是说,在目标物理空间中任一位置在各个第一虚拟空间中存在多个虚拟物体的情况下,也可以根据重叠率来决策是否进行空间融合。具体来说,重叠率也可以通过产生重叠的虚拟物体的交并比进行度量,即产生重叠的虚拟物体分别占据的空间所相交的部分区域,以及产生重叠的虚拟物体全部占据空间的区域,这两个区域之间的比值即可视为产生重叠的虚拟物体的重叠率。在此基础上,第三阈值可以根据需要进行设置如可以设置为:5%、10%、15%等,在此不做限定。特别地,第三阈值可以设置为0%,则此时预设融合条件等同于摆放位置不重叠。
需要说明的是,上述各种场景中当前状态的数值方式以及预设融合条件的设置方式可以根据情况组合。例如,当前状态可以包括:各个第一虚拟空间的创建者分别所在的物理位置、各个第一虚拟空间的用户集合和各第一虚拟空间各自所含的虚拟物体的摆放位置,预设融合条件可以包括:物理位置之间的距离低于第一阈值、用户集合之间的重合度高于第二阈值且摆放位置不重叠;或者,当前状态也可以选择其中至少一者,如当前状态可以包括:各个第一虚拟空间的创建者分别所在的物理位置和各个第一虚拟空间的用户集合,则预设融合条件可以设置为包括:物理位置之间的距离低于第一阈值且用户集合之间的重合度高于第二阈值。其他情况可以以此类推,在此不再一一举例。
步骤S12:将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间。
在一个实施场景中,在基于目标物理空间得到第二虚拟空间之后,可以将各个第一虚拟空间本来所包含的虚拟物体放置至第二虚拟空间,且虚拟物体在第一虚拟空间中的位置、在第二虚拟空间中的位置相同,也就是说,在虚拟物体在放置时,按照其在第一虚拟空间中的位置,原位放置至第二虚拟空间。
在一个实施场景中,如前所述,在摆放位置存在重叠的情况下,仍可以进行空间融合,在此情况下,在按照虚拟物体在第一虚拟空间中的位置,原位放置至第二虚拟空间之后,可以检查各个虚拟物体是否在第二虚拟空间中存在重叠,若存在,则可以自动微调虚拟物体,使虚拟物体之间不存在重叠。示例性地,若用户A创建的第一虚拟空间和用户B创建的第一虚拟空间在相同位置分别摆放有虚拟物体“老虎”和虚拟物体“狗”,则在按照两个虚拟物体在第一虚拟空间中的位置,原位放置至第二虚拟空间之后,可以微调两者的位置,使两者不存在重叠。其他情况可以以此类推,在此不再一一举例。
在一个实施场景中,在得到融合虚拟空间之后,可以响应于对第一虚拟空间的访问请求,重定向到融合虚拟空间,以展示融合虚拟空间。在现实场景中,第一虚拟空间的创建者、第一虚拟空间中虚拟物体的摆放者、第一虚拟空间的关注者,以及以上三者以外的其他用户均有可能访问第一虚拟空间,则在以上四者中任一者访问第一虚拟空间时,响应于访问请求,可以重定向至融合虚拟空间,从而直接展示融合虚拟空间。需要说明的是,在实际应用过程中,可以不改变原第一虚拟空间的访问入口(如,访问链接),在接收到的访问请求包含该访问入口时,可以自动链接至融合虚拟空间。上述方式,在得到融合虚拟空间之后,响应于第一虚拟空间的访问请求,重定向到融合虚拟空间,以展示融合虚拟空间,故通过自动重定向融合虚拟空间,能够提升虚拟空间的趣味性。
在一个实施场景中,在得到融合虚拟空间之后,可以响应于第一虚拟空间的创建者对融合虚拟空间的回退请求,回退至融合前的第一虚拟空间。在现实场景中,第一虚拟空间的创建者在体验完融合虚拟空间之后,可能会存在回退至原先创建的第一虚拟空间的应用需求,基于此可以在终端设备设置一个物理按键或者在虚拟空间设置一个虚拟按键,在接收到创建者对上述按键的触发之后,可以确定创建者期望回退至原先创建的第一虚拟空间,则可以直接回退至融合前的第一虚拟空间。上述方式,在得到融合虚拟空间之后,响应于第一虚拟空间的创建者对融合虚拟空间的回退请求,回退至融合前的第一虚拟空间,故能够支持创建者自由回退至融合前的第一虚拟空间,有利于提升空间融合的自由度。
在一个实施场景中,在得到融合虚拟空间之后,可以响应于融合虚拟空间中虚拟物体的物体属性满足预设交互条件,虚拟物体基于各自的物体属性在融合虚拟空间中进行交互。具体来说,虚拟物体的物体属性可以包括但不限于:物体类别(如,动物、植物、非生物等)、与食物链相关的生物属性(如,食草、食肉等)、材质(如,金属、塑料等)等,在此不做限定。在此基础上,预设交互条件可以包括但不限于虚拟物体的物体属性具有交互反应。例如,虚拟物体“老虎”作为食肉动物,在附近存在虚拟物体“狗”时,由于“老虎”与食物链相关的生物属性中包含其食谱“狗”,则在此情况下,虚拟物体“老虎”可能会追逐、捕食虚拟物体“狗”。其他情况可以以此类推,在此不再一一举例。上述方式,在得到融合虚拟空间之后,响应于融合虚拟空间中虚拟物体的物体属性满足预设交互条件,虚拟物体基于各自的物体属性在融合虚拟空间中进行交互,能够进一步增加虚拟空间下的趣味性。
上述方案,响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间,且多个第一虚拟空间均基于目标物理空间重建得到,再将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间,故对于基于相同物理空间重建得到的虚拟空间来说,一旦检测到满足预设融合条件即自动融合,得到融合虚拟空间,而融合虚拟空间包含原虚拟空间所包含的虚拟物体,故能够大大丰富虚拟空间,有利于提升用户体验。
请参阅图4,图4是本申请虚拟空间融合装置40一实施例的框架示意图。虚拟空间融合装置40包括:重建模块41和融合模块42,重建模块41,用于响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间;其中,多个第一虚拟空间均基于目标物理空间重建得到;融合模块42,用于将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间。
上述方案,响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间,且多个第一虚拟空间均基于目标物理空间重建得到,再将多个第一虚拟空间各自所含的虚拟物体放置于第二虚拟空间,得到多个第一虚拟空间的融合虚拟空间,故对于基于相同物理空间重建得到的虚拟空间来说,一旦检测到满足预设融合条件即自动融合,得到融合虚拟空间,而融合虚拟空间包含原虚拟空间所包含的虚拟物体,故能够大大丰富虚拟空间,有利于提升用户体验。
在一些公开实施例中,当前状态包括:各个第一虚拟空间的创建者分别所在的物理位置,预设融合条件包括:物理位置之间的距离低于第一阈值。
因此,通过将当前状态设置为包括各个第一虚拟空间的创建者分别所在的物理位置,且预设融合条件包括:物理空间之间的距离低于第一阈值,从而在检测到物理距离低于第一阈值时第一虚拟空间即发生融合,进而能够通过在物理距离维度设置触发融合条件,提升空间融合的随机性,有利于进一步丰富虚拟空间。
在一些公开实施例中,第一虚拟空间由创建者的终端设备创建得到,物理位置由终端设备通过视觉定位得到。
因此,第一虚拟空间由创建者的终端设备创建得到,而物理距离由终端设备通过视觉定位得到,故创建者能够通过终端设备创建得到虚拟空间,在后续使用终端设备的过程中通过视觉定位确定其物理位置,以供决策是否融合之用,从而能够进一步增加空间融合的随机性。
在一些公开实施例中,当前状态包括:各个第一虚拟空间的用户集合,预设融合条件包括:用户集合之间的重合度高于第二阈值。
因此,通过将当前状态设置为包括:各个第一虚拟空间的用户集合,且预设融合条件设置为包括用户集合之间的重合度高于第二阈值,从而在检测到重合度高于第二阈值时第一虚拟空间即发生融合,进而能够通过在集合重合度维度设置触发融合条件,提升空间融合的随机性,有利于进一步丰富虚拟空间。
在一些公开实施例中,用户集合包括若干用户,若干用户包括以下至少一者:第一虚拟空间中虚拟物体的摆放者、第一虚拟空间的关注者。
因此,用户集合设置为包括若干用户,且若干用户包括:第一虚拟空间中虚拟物体的摆放者,第一虚拟空间的关注者中至少一者,故能够从摆放者以及关注者至少一种角度衡量用户集合,有利于在空间融合之后,增强对摆放者、关注者的空间融合感知。
在一些公开实施例中,当前状态包括:各第一虚拟空间各自所含的虚拟物体的摆放位置,预设融合条件包括:摆放位置不重叠。
因此,通过将当前状态设置为包括各第一虚拟空间各自所含的虚拟物体的摆放位置,并将预设融合条件设置为包括摆放位置不重叠,从而在检测到摆放位置不重叠时第一虚拟空间即发生融合,进而能够通过在摆放位置维度设置触发融合条件,提升空间融合的随机性,有利于进一步丰富虚拟空间。
在一些公开实施例中,虚拟空间融合装置40还包括重定向模块,用于响应于对第一虚拟空间的访问请求,重定向到融合虚拟空间,以展示融合虚拟空间。
因此,在得到融合虚拟空间之后,响应于第一虚拟空间的访问请求,重定向到融合虚拟空间,以展示融合虚拟空间,故通过自动重定向融合虚拟空间,能够提升虚拟空间的趣味性。
在一些公开实施例中,虚拟空间融合装置40还包括回退模块,用于响应于第一虚拟空间的创建者对融合虚拟空间的回退请求,回退至融合前的第一虚拟空间。
因此,在得到融合虚拟空间之后,响应于第一虚拟空间的创建者对融合虚拟空间的回退请求,回退至融合前的第一虚拟空间,故能够支持创建者自由回退至融合前的第一虚拟空间,有利于提升空间融合的自由度。
在一些公开实施例中,虚拟空间融合装置40还包括交互模块,用于响应于融合虚拟空间中虚拟物体的物体属性满足预设交互条件,虚拟物体基于各自的物体属性在融合虚拟空间中进行交互。
因此,在得到融合虚拟空间之后,响应于融合虚拟空间中虚拟物体的物体属性满足预设交互条件,虚拟物体基于各自的物体属性在融合虚拟空间中进行交互,能够进一步增加虚拟空间下的趣味性。
请参阅图5,图5是本申请电子设备50一实施例的框架示意图。电子设备50包括相互耦接的存储器51和处理器52,处理器52用于执行存储器51中存储的程序指令,以实现上述任一虚拟空间融合方法实施例的步骤。在一个具体的实施场景中,电子设备50可以包括但不限于:微型计算机、服务器,此外,电子设备50还可以包括智能手机、平板电脑、智能眼镜等移动设备,在此不做限定。
具体而言,处理器52用于控制其自身以及存储器51以实现上述任一虚拟空间融合方法实施例的步骤。处理器52还可以称为CPU(Central Processing Unit,中央处理单元)。处理器52可能是一种集成电路芯片,具有信号的处理能力。处理器52还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器52可以由集成电路芯片共同实现。
上述方案,对于基于相同物理空间重建得到的虚拟空间来说,一旦检测到满足预设融合条件即自动融合,得到融合虚拟空间,而融合虚拟空间包含原虚拟空间所包含的虚拟物体,故能够大大丰富虚拟空间,有利于提升用户体验。
请参阅图6,图6为本申请计算机可读存储介质60一实施例的框架示意图。计算机可读存储介质60存储有能够被处理器运行的程序指令601,程序指令601用于实现上述任一虚拟空间融合方法实施例的步骤。
上述方案,对于基于相同物理空间重建得到的虚拟空间来说,一旦检测到满足预设融合条件即自动融合,得到融合虚拟空间,而融合虚拟空间包含原虚拟空间所包含的虚拟物体,故能够大大丰富虚拟空间,有利于提升用户体验。
本公开涉及增强现实领域,通过获取现实环境中的目标对象的图像信息,进而借助各类视觉相关算法实现对目标对象的相关特征、状态及属性进行检测或识别处理,从而得到与具体应用匹配的虚拟与现实相结合的AR效果。示例性的,目标对象可涉及与人体相关的脸部、肢体、手势、动作等,或者与物体相关的标识物、标志物,或者与场馆或场所相关的沙盘、展示区域或展示物品等。视觉相关算法可涉及视觉定位、SLAM、三维重建、图像注册、背景分割、对象的关键点提取及跟踪、对象的位姿或深度检测等。具体应用不仅可以涉及跟真实场景或物品相关的导览、导航、讲解、重建、虚拟效果叠加展示等交互场景,还可以涉及与人相关的特效处理,比如妆容美化、肢体美化、特效展示、虚拟模型展示等交互场景。
可通过卷积神经网络,实现对目标对象的相关特征、状态及属性进行检测或识别处理。上述卷积神经网络是基于深度学习框架进行模型训练而得到的网络模型。
在本申请所提供的几个实施例中,应该理解到,所揭露的方法和装置,可以通过其它的方式实现。例如,以上所描述的装置实施方式仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性、机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
Claims (12)
1.一种虚拟空间融合方法,其特征在于,包括:
响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间;其中,所述多个第一虚拟空间均基于所述目标物理空间重建得到;
将所述多个第一虚拟空间各自所含的虚拟物体放置于所述第二虚拟空间,得到所述多个第一虚拟空间的融合虚拟空间。
2.根据权利要求1所述的方法,其特征在于,所述当前状态包括:各个所述第一虚拟空间的创建者分别所在的物理位置,所述预设融合条件包括:所述物理位置之间的距离低于第一阈值。
3.根据权利要求2所述的方法,其特征在于,所述第一虚拟空间由所述创建者的终端设备创建得到,所述物理位置由所述终端设备通过视觉定位得到。
4.根据权利要求1至3任一项所述的方法,其特征在于,所述当前状态包括:各个所述第一虚拟空间的用户集合,所述预设融合条件包括:所述用户集合之间的重合度高于第二阈值。
5.根据权利要求4所述的方法,其特征在于,所述用户集合包括若干用户,所述若干用户包括以下至少一者:所述第一虚拟空间中所述虚拟物体的摆放者、所述第一虚拟空间的关注者。
6.根据权利要求1至5任一项所述的方法,其特征在于,所述当前状态包括:各所述第一虚拟空间各自所含的虚拟物体的摆放位置,所述预设融合条件包括:所述摆放位置不重叠。
7.根据权利要求1至6任一项所述的方法,其特征在于,在所述将所述多个第一虚拟空间各自所含的虚拟物体放置于所述第二虚拟空间,得到所述多个第一虚拟空间的融合虚拟空间之后,所述方法还包括:
响应于对所述第一虚拟空间的访问请求,重定向到所述融合虚拟空间,以展示所述融合虚拟空间。
8.根据权利要求1至7任一项所述的方法,其特征在于,在所述将所述多个第一虚拟空间各自所含的虚拟物体放置于所述第二虚拟空间,得到所述多个第一虚拟空间的融合虚拟空间之后,所述方法还包括:
响应于所述第一虚拟空间的创建者对所述融合虚拟空间的回退请求,回退至融合前的第一虚拟空间。
9.根据权利要求1至8任一项所述的方法,其特征在于,在所述将所述多个第一虚拟空间各自所含的虚拟物体放置于所述第二虚拟空间,得到所述多个第一虚拟空间的融合虚拟空间之后,所述方法还包括:
响应于所述融合虚拟空间中所述虚拟物体的物体属性满足预设交互条件,所述虚拟物体基于各自的物体属性在所述融合虚拟空间中进行交互。
10.一种虚拟空间融合装置,其特征在于,包括:
重建模块,用于响应于多个第一虚拟空间的当前状态满足预设融合条件,基于目标物理空间重建得到第二虚拟空间;其中,所述多个第一虚拟空间均基于所述目标物理空间重建得到;
融合模块,用于将所述多个第一虚拟空间各自所含的虚拟物体放置于所述第二虚拟空间,得到所述多个第一虚拟空间的融合虚拟空间。
11.一种电子设备,其特征在于,包括相互耦接的存储器和处理器,所述处理器用于执行所述存储器中存储的程序指令,以实现权利要求1至9任一项所述的虚拟空间融合方法。
12.一种计算机可读存储介质,其上存储有程序指令,其特征在于,所述程序指令被处理器执行时实现权利要求1至9任一项所述的虚拟空间融合方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210153049.5A CN114565729A (zh) | 2022-02-18 | 2022-02-18 | 虚拟空间融合方法及相关装置、电子设备和存储介质 |
PCT/CN2022/111898 WO2023155394A1 (zh) | 2022-02-18 | 2022-08-11 | 虚拟空间融合方法及相关装置、电子设备、介质及程序 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210153049.5A CN114565729A (zh) | 2022-02-18 | 2022-02-18 | 虚拟空间融合方法及相关装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114565729A true CN114565729A (zh) | 2022-05-31 |
Family
ID=81712972
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210153049.5A Pending CN114565729A (zh) | 2022-02-18 | 2022-02-18 | 虚拟空间融合方法及相关装置、电子设备和存储介质 |
Country Status (2)
Country | Link |
---|---|
CN (1) | CN114565729A (zh) |
WO (1) | WO2023155394A1 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023155394A1 (zh) * | 2022-02-18 | 2023-08-24 | 深圳市慧鲤科技有限公司 | 虚拟空间融合方法及相关装置、电子设备、介质及程序 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019208851A1 (ko) * | 2018-04-27 | 2019-10-31 | 주식회사 딥픽셀 | 현실공간과의 융합을 제공하는 가상현실 인터페이스 방법 및 장치 |
CN108898675A (zh) * | 2018-06-06 | 2018-11-27 | 微幻科技(北京)有限公司 | 一种在虚拟场景中添加3d虚拟对象的方法及装置 |
CN113253842A (zh) * | 2021-05-20 | 2021-08-13 | 深圳市商汤科技有限公司 | 场景编辑方法和相关装置、设备 |
CN113724397A (zh) * | 2021-08-27 | 2021-11-30 | 浙江商汤科技开发有限公司 | 虚拟对象的定位方法、装置、电子设备及存储介质 |
CN114047824A (zh) * | 2022-01-13 | 2022-02-15 | 北京悉见科技有限公司 | 多终端用户在虚拟空间交互的方法 |
CN114565729A (zh) * | 2022-02-18 | 2022-05-31 | 深圳市慧鲤科技有限公司 | 虚拟空间融合方法及相关装置、电子设备和存储介质 |
-
2022
- 2022-02-18 CN CN202210153049.5A patent/CN114565729A/zh active Pending
- 2022-08-11 WO PCT/CN2022/111898 patent/WO2023155394A1/zh unknown
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023155394A1 (zh) * | 2022-02-18 | 2023-08-24 | 深圳市慧鲤科技有限公司 | 虚拟空间融合方法及相关装置、电子设备、介质及程序 |
Also Published As
Publication number | Publication date |
---|---|
WO2023155394A1 (zh) | 2023-08-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Machidon et al. | Virtual humans in cultural heritage ICT applications: A review | |
US9047690B2 (en) | System and method for facilitating creation of a rich virtual environment | |
US9563902B2 (en) | System and method for transporting a virtual avatar within multiple virtual environments | |
US9310955B2 (en) | System and method for generating a virtual tour within a virtual environment | |
Donghui et al. | Virtual reality technology applied in digitalization of cultural heritage | |
CN107392783B (zh) | 基于虚拟现实的社交方法及装置 | |
CN102770862B (zh) | 混合使用位置传感器数据和视觉查询来返回视觉查询的本地收录 | |
US20130271457A1 (en) | System and method for displaying an object within a virtual environment | |
CN104021150B (zh) | 带有社交网络辅助的面部识别 | |
EP2851811A1 (en) | Method and device for achieving augmented reality application | |
CN101127621A (zh) | 虚拟互联网跨媒体系统 | |
CN103218844A (zh) | 虚拟形象的配置方法、实现方法、客户端、服务器及系统 | |
Peters et al. | Synthetic vision and memory for autonomous virtual humans | |
CN114332374A (zh) | 一种虚拟显示方法、设备以及存储介质 | |
CN114565729A (zh) | 虚拟空间融合方法及相关装置、电子设备和存储介质 | |
Alavesa et al. | Unblurring the boundary between daily life and gameplay in location-based mobile games, visual online ethnography on Pokémon GO | |
CN113891140A (zh) | 一种素材编辑方法、装置、设备及存储介质 | |
CN112148125A (zh) | 一种ar交互状态控制的方法、装置、设备及存储介质 | |
CN114942713A (zh) | 基于增强现实的展示方法、装置、设备、存储介质及程序 | |
CN114092670A (zh) | 一种虚拟现实显示方法、设备以及存储介质 | |
KR20230172014A (ko) | 이미지 처리 방법, 장치, 기기, 저장 매체, 프로그램 제품 및 프로그램 | |
CN113867875A (zh) | 标记对象的编辑及显示方法、装置、设备、存储介质 | |
CN108959311B (zh) | 一种社交场景配置方法及装置 | |
McShane et al. | Virtual Community Heritage: An Immersive Approach to Community Heritage | |
CN111652985B (zh) | 一种虚拟对象的控制方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |