CN115237302A - 基于数字孪生的场景切换方法、装置、介质和电子设备 - Google Patents
基于数字孪生的场景切换方法、装置、介质和电子设备 Download PDFInfo
- Publication number
- CN115237302A CN115237302A CN202110739497.9A CN202110739497A CN115237302A CN 115237302 A CN115237302 A CN 115237302A CN 202110739497 A CN202110739497 A CN 202110739497A CN 115237302 A CN115237302 A CN 115237302A
- Authority
- CN
- China
- Prior art keywords
- interface
- scene
- virtual
- virtual scene
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004044 response Effects 0.000 claims abstract description 33
- 230000009467 reduction Effects 0.000 claims description 19
- 230000001960 triggered effect Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 7
- 230000000007 visual effect Effects 0.000 claims description 6
- 239000004973 liquid crystal related substance Substances 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 17
- 238000004891 communication Methods 0.000 description 7
- 230000005236 sound signal Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
Abstract
本公开涉及一种基于数字孪生的场景切换方法、装置、介质和电子设备,包括:在当前展示界面展示第一虚拟场景界面,其中,虚拟场景界面包括虚拟场景和处于所述虚拟场景中的虚拟机器人,所述虚拟机器人为根据实体机器人生成的数字孪生体;响应于获取到用户的场景切换操作,确定所述用户从一个或多个候选虚拟场景中选定的目标虚拟场景;在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面,其中,所述第二虚拟场景界面覆盖所述当前展示界面,这样可以快速切换当前展示界面展示的虚拟场景,从而提高了机器人操作的智能性和便捷性。
Description
技术领域
本公开涉及数字孪生技术领域,具体地,涉及一种基于数字孪生的场景切换方法、装置、介质和电子设备。
背景技术
目前,为了提升机器人的训练效率及降低试错成本,可以将实体机器人通过数字孪生的方式模拟展示在3D模拟现实的场景中,从而进行机器人技能和应用的训练,但是,在机器人的控制终端当前展示界面展示的虚拟场景中,现有技术无法进行场景切换。
发明内容
为了解决上述问题,本公开的目的是提供一种基于数字孪生的场景切换方法、装置、介质和电子设备。
第一方面,本公开提供一种基于数字孪生的场景切换方法,包括:在当前展示界面展示第一虚拟场景界面,其中,虚拟场景界面包括虚拟场景和处于所述虚拟场景中的虚拟机器人,所述虚拟机器人为根据实体机器人生成的数字孪生体;响应于获取到用户的场景切换操作,确定所述用户从一个或多个候选虚拟场景中选定的目标虚拟场景;在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面,其中,所述第二虚拟场景界面覆盖所述当前展示界面。
可选地,所述场景切换操作包括针对所述第一虚拟场景界面的界面缩小操作;所述响应于获取到用户的场景切换操作,确定所述用户从所述候选虚拟场景中选定的目标虚拟场景包括:响应于所述用户的界面缩小操作,缩小所述第一虚拟场景界面;在缩小后的所述第一虚拟场景界面满足预设切换条件的情况下,展示待切换的一个或多个所述候选虚拟场景;确定所述用户从一个或多个所述候选虚拟场景中选定的目标虚拟场景。
可选地,所述展示待切换的一个或多个所述候选虚拟场景包括:在所述当前展示界面的指定位置展示虚拟场景展示信息,所述虚拟场景展示信息包括一个或多个所述候选虚拟场景;所述确定所述用户从所述候选虚拟场景中选定的目标虚拟场景包括:确定所述用户从一个或多个所述候选虚拟场景中选定的目标场景标识,并将所述目标场景标识对应的候选虚拟场景作为所述目标虚拟场景。
可选地,所述展示待切换的一个或多个所述候选虚拟场景包括:响应于所述用户继续触发的所述界面缩小操作,将所述缩小后的所述第一虚拟场景界面继续进行缩小展示,并在展示继续缩小的所述第一虚拟场景界面时,展示一个或多个所述候选虚拟场景。
可选地,所述方法还包括:展示场景切换提示信息,所述场景切换提示信息用于提示所述用户是否进行虚拟场景切换;所述展示待切换的一个或多个所述候选虚拟场景包括:响应于所述用户针对所述切换提示信息的切换触发操作,展示待切换的一个或多个所述候选虚拟场景。
可选地,所述响应于所述用户针对所述切换提示信息的切换触发操作,展示待切换的一个或多个所述候选虚拟场景包括:响应于接收到所述用户触发的切换触发指令,展示待切换的一个或多个所述候选虚拟场景。
可选地,所述响应于获取到所述用户的切换触发操作,展示待切换的一个或多个所述候选虚拟场景包括:响应于所述用户继续触发的所述界面缩小操作,展示待切换的一个或多个所述候选虚拟场景。
可选地,所述预设切换条件包括:所述第一虚拟场景界面的缩小比例大于或等于第一预设比例阈值;或者,缩小后的所述第一虚拟场景界面在所述当前展示界面所占的比例小于或等于第二预设比例阈值。
可选地,所述当前展示界面包括场景切换按键,所述场景切换操作包括针对所述场景切换按键的触发操作,所述响应于获取到用户的场景切换操作,确定所述用户从一个或多个候选虚拟场景中选定的目标虚拟场景包括:响应于用户对所述场景切换按键的触发操作,在所述当前展示界面上展示一个或多个所述候选虚拟场景;确定所述用户从一个或多个所述候选虚拟场景选定的目标虚拟场景。
可选地,所述方法还包括:获取所述用户从所述第一虚拟场景界面展示的一个或多个候选虚拟机器人中选定的目标虚拟机器人;确定所述目标虚拟机器人在所述第一虚拟场景界面中所处的目标位置;将所述第一虚拟场景界面由当前展示视角界面切换为所述目标位置对应的目标展示视角界面。
可选地,所述方法还包括:获取所述第一虚拟场景界面对应的界面配置信息;在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面的情况下,按照所述界面配置信息配置所述第二虚拟场景界面。
第二方面,本公开提供一种基于数字孪生的场景切换装置,所述装置包括:展示模块,用于在当前展示界面展示第一虚拟场景界面,其中,虚拟场景界面包括虚拟场景和处于所述虚拟场景中的虚拟机器人,所述虚拟机器人为根据实体机器人生成的数字孪生体;选择模块,用于响应于获取到用户的场景切换操作,确定所述用户从一个或多个候选虚拟场景中选定的目标虚拟场景;切换模块,用于在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面,其中,所述第二虚拟场景界面覆盖所述当前展示界面。
可选地,所述场景切换操作包括针对所述第一虚拟场景界面的界面缩小操作;所述选择模块,用于响应于所述用户的界面缩小操作,缩小所述第一虚拟场景界面;在缩小后的所述第一虚拟场景界面满足预设切换条件的情况下,展示待切换的一个或多个所述候选虚拟场景;确定所述用户从一个或多个所述候选虚拟场景中选定的目标虚拟场景。
可选地,所述选择模块,还用于在所述当前展示界面的指定位置展示虚拟场景展示信息,所述虚拟场景展示信息包括一个或多个所述候选虚拟场景;所述确定所述用户从所述候选虚拟场景中选定的目标虚拟场景包括:确定所述用户从一个或多个所述候选虚拟场景中选定的目标场景标识,并将所述目标场景标识对应的候选虚拟场景作为所述目标虚拟场景。
可选地,所述选择模块,还用于响应于所述用户继续触发的所述界面缩小操作,将所述缩小后的所述第一虚拟场景界面继续进行缩小展示,并在展示继续缩小的所述第一虚拟场景界面时,展示一个或多个所述候选虚拟场景。
可选地,所述装置还包括:提示模块,用于展示场景切换提示信息,所述场景切换提示信息用于提示所述用户是否进行虚拟场景切换;所述选择模块,还用于响应于所述用户针对所述切换提示信息的切换触发操作,展示待切换的一个或多个所述候选虚拟场景。
可选地,所述选择模块,还用于响应于接收到所述用户触发的切换触发指令,展示待切换的一个或多个所述候选虚拟场景。
可选地,所述选择模块,还用于响应于所述用户继续触发的所述界面缩小操作,展示待切换的一个或多个所述候选虚拟场景。
可选地,所述预设切换条件包括:所述第一虚拟场景界面的缩小比例大于或等于第一预设比例阈值;或者,缩小后的所述第一虚拟场景界面在所述当前展示界面所占的比例小于或等于第二预设比例阈值。
可选地,所述当前展示界面包括场景切换按键,所述场景切换操作包括针对所述场景切换按键的触发操作,所述选择模块,还用于响应于用户对所述场景切换按键的触发操作,在所述当前展示界面上展示一个或多个所述候选虚拟场景;确定所述用户从一个或多个所述候选虚拟场景选定的目标虚拟场景。
可选地,所述装置还包括:获取模块,用于获取所述用户从所述第一虚拟场景界面展示的一个或多个候选虚拟机器人中选定的目标虚拟机器人;确定模块,用于确定所述目标虚拟机器人在所述第一虚拟场景界面中所处的目标位置;所述切换模块,用于将所述第一虚拟场景界面由当前展示视角界面切换为所述目标位置对应的目标展示视角界面。
可选地,所述获取模块,还用于获取所述第一虚拟场景界面对应的界面配置信息;所述装置还包括:设置模块,用于在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面的情况下,按照所述界面配置信息配置所述第二虚拟场景界面。
第三方面,提供一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现上述任一项所述方法的步骤。
第四方面,提供一种电子设备,所述电子设备用于执行上述任一项所述的方法。
采用上述技术方案,可以通过响应于获取到用户的场景切换操作,确定一个或者多个候选虚拟场景中选定的目标虚拟场景,并在当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面,这样可以快速切换当前展示界面展示的虚拟场景,从而提高了机器人操作的智能性和便捷性。
本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
附图是用来提供对本公开的进一步理解,并且构成说明书的一部分,与下面的具体实施方式一起用于解释本公开,但并不构成对本公开的限制。在附图中:
图1是根据一示例性实施例示出的一种基于数字孪生的场景切换方法的流程示意图;
图2是根据一示例性实施例示出的一种场景切换的界面示意图;
图3是根据一示例性实施例示出的第二种场景切换的界面示意图;
图4是根据一示例性实施例示出的一种预设全场景图像的图像示意图;
图5A是根据一示例性实施例示出的第三种场景切换的界面示意图;
图5B是根据一示例性实施例示出的第四种场景切换的界面示意图;
图5C是根据一示例性实施例示出的第五种场景切换的界面示意图;
图5D是根据一示例性实施例示出的第六种场景切换的界面示意图;
图6是根据一示例性实施例示出的一种场景切换的界面演变示意图;
图7是根据一示例性实施例示出的一种基于数字孪生的场景切换装置的框图;
图8是根据一示例性实施例示出的第二种基于数字孪生的场景切换装置的框图;
图9是根据一示例性实施例示出的第三种基于数字孪生的场景切换装置的框图;
图10是根据一示例性实施例示出的第四种基于数字孪生的场景切换装置的框图;
图11是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是,此处所描述的具体实施方式仅用于说明和解释本公开,并不用于限制本公开。
目前,在将实体机器人通过数字孪生的方式模拟展示在虚拟现实的场景中,可以通过机器人控制终端的展示界面展示虚拟场景,但是,在当前的虚拟场景中往往需要进行虚拟场景的切换,但是现有技术中无法在当前展示的虚拟场景中进行场景切换。
为了解决上述问题,本公开提供一种基于数字孪生的场景切换方法、装置、介质和电子设备,能够响应于用户的场景切换操作,实现虚拟场景的切换,从而可以快速切换当前展示界面展示的虚拟场景,提高了机器人操作的智能性和便捷性。
下面结合具体实施例对本公开进行说明。
图1为本公开实施例提供的一种基于数字孪生的场景切换方法,如图1所示,该方法包括:
S101、在当前展示界面展示第一虚拟场景界面。
其中,该展示界面可以是机器人的控制终端的展示界面,虚拟场景界面包括虚拟场景和处于该虚拟场景中的虚拟机器人,该虚拟机器人为根据实体机器人生成的数字孪生体;每个虚拟场景中可以包括一个或多个虚拟机器人,不同虚拟场景包含的虚拟机器人可以相同,也可以不同,在同一个虚拟场景中,不同虚拟机器人在该虚拟场景中的位置可能不同,这样,在展示第一虚拟场景界面时,该界面可以展示有该虚拟场景,以及处于不同位置的虚拟机器人。
需要说明的是,可以通过以下步骤实现:
S1、获取该用户从该第一虚拟场景界面展示的一个或多个候选虚拟机器人中选定的目标虚拟机器人。
其中,该第一虚拟场景界面可以展示候选机器人列表,该候选机器人列表包括一个或多个候选虚拟机器人的标识信息,该候选机器人即为处于该第一虚拟场景界面对应虚拟场景中的虚拟机器人,在本步骤中,可以根据用户在该候选机器人列表中点击的标识信息确定该用户选定的目标虚拟机器人。
S2、确定该目标虚拟机器人在该第一虚拟场景界面中所处的目标位置。
S3、将该第一虚拟场景界面由当前展示视角界面切换为该目标位置对应的目标展示视角界面。
需要说明的是,在当前展示界面初始展示该第一虚拟场景界面时,可以展示该第一虚拟场景界面对应虚拟场景的全景视角界面,该全景视角界面包括该虚拟场景的全景图像以及该虚拟场景中的一个或多个虚拟机器人,也可以展示该虚拟场景中指定机器人对应的机器人视角界面,该机器人视角界面包括该虚拟场景中该指定机器人所在位置的视角对应的视角图像以及该指定机器人,该指定机器人可以是该第一虚拟场景界面对应虚拟场景中展示优先级最高的虚拟机器人,该展示优先级可以预先设置。基于此,该第一虚拟场景界面的当前展示视角界面可以是该第一虚拟场景界面对应虚拟场景的全景视角界面,也可以是该指定机器人对应的机器人视角界面。
在进行界面切换时,可以按照预设动态效果进行视角界面切换,示例地,在该第一虚拟场景界面的当前展示视角界面为上述全景视角界面的情况下,可以将该全景视角界面动态拉近至该目标位置对应的目标展示视角界面,在该第一虚拟场景界面的当前展示视角界面为该指定机器人对应的机器人视角界面的情况下,可以将该机器人视角界面逐渐移动至该目标展示视角界面。
S102、响应于获取到用户的场景切换操作,确定该用户从一个或多个候选虚拟场景中选定的目标虚拟场景。
其中,该场景切换操作可以包括针对当前展示界面包括的场景切换按键的触发操作,或者针对该第一虚拟场景界面的界面缩小操作。在本步骤中,在用户执行场景切换操作后,可以展示一个或多个候选虚拟场景,并确定用户从展示的一个或多个候选虚拟场景中选定的目标虚拟场景。
S103、在该当前展示界面展示该目标虚拟场景对应的第二虚拟场景界面。
其中,该第二虚拟场景界面覆盖该当前展示界面,该第二虚拟场景展示有该目标虚拟场景以及处于该目标虚拟场景中的虚拟机器人。
需要说明的是,考虑到针对虚拟场景界面,用户可能会根据自身的习惯对虚拟场景界面进行配置,例如,可以配置虚拟场景界面的展示视角,该虚拟场景界面下虚拟机器人的问候方式,当前虚拟机器人输出语音的性别特征(如男生的声音或者女生的声音)以及用户操作习惯信息(如虚拟场景界面上操作界面的位置和操作按键的排列等信息),但是,当虚拟场景界面进行切换后,可能切换后的虚拟场景界面会重置上述配置,使得用户针对切换后的虚拟场景界面需要重新进行界面配置,从而增加了用户操作,为了解决该问题,在本公开另一实施例中,可以获取所述第一虚拟场景界面对应的界面配置信息,并在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面的情况下,按照所述界面配置信息配置所述第二虚拟场景界面,这样,能够使得切换后的第二虚拟场景界面和第一虚拟场景界面的配置信息相同,避免用户在切换界面后重新配置切换后的界面,减少了用户操作,从而提高了用户体验。
例如,该界面配置信息可以是该第一虚拟场景界面的展示角度,该当前虚拟机器人的问候方式,当前虚拟机器人输出语音的性别特征(如男生的声音或者女生的声音)以及用户操作习惯信息等信息中的一个或多个。
采用上述方案,能够响应于用户的场景切换操作,实现虚拟场景的切换,从而可以快速切换当前展示界面展示的虚拟场景,提高了机器人操作的智能性和便捷性。
在本实施例一种可能的实现方式中,上述步骤S102可以通过以下两种方式实现:
方式一:在该场景切换操作包括针对该第一虚拟场景界面的界面缩小操作的情况下,可以响应于该用户的界面缩小操作,缩小该第一虚拟场景界面;在缩小后的该第一虚拟场景界面满足预设切换条件的情况下,展示待切换的一个或多个该候选虚拟场景;确定该用户从一个或多个该候选虚拟场景中选定的目标虚拟场景。
其中,该界面缩小操作用于缩小展示的虚拟场景界面,上述界面缩小操作可以包括鼠标中键的滚动操作,即用户可以通过滚动鼠标中键实现界面的缩小,该界面缩小操作还可以包括对当面展示界面上展示的缩小按键的触发,从而通过触发该缩小按键缩小界面。
上述预设切换条件可以是该第一虚拟场景界面的缩小比例大于或等于第一预设比例阈值,或者,缩小后的该第一虚拟场景界面在该当前展示界面所占的比例小于或等于第二预设比例阈值。这样,在第一虚拟场景界面缩小到一定程度时,展示待切换的一个或多个该候选虚拟场景,以方便用户确定目标虚拟场景。
示例地,该第一预设比例阈值可以是10%到30%,比如可以是10%,20%或者30%等,以30%为例,在第一虚拟场景界的缩小比例大于或者等于30%的情况下,展示一个或者多个待切换该候选虚拟场景;该第二预设比例阈值可以是70%到90%,比如可以是70%、80%或者90%,以70%为例,在缩小后该第一虚拟场景界面在该当前展示界面中所占的比例小于或者等于70%的情况下,展示一个或者多个待切换的该候选虚拟场景;当然上述第一预设比例阈值和第二预设比例阈值指示举例说明,本公开实施例并不局限于此,可以根据实际情况预先设置。
在缩小后的该第一虚拟场景界面满足预设切换条件的情况下,可以通过以下两种展示方式展示候选虚拟场景:
展示方式一:可以在该当前展示界面的指定位置展示虚拟场景展示信息,该虚拟场景展示信息包括一个或多个该候选虚拟场景。
相应地,可以确定该用户从一个或多个该候选虚拟场景中选定的目标场景标识,并将该目标场景标识对应的候选虚拟场景作为该目标虚拟场景。这样,用户可以直接从展示的候选虚拟场景中选择目标虚拟场景,从而方便快捷的确定目标虚拟场景。
其中,上述指定位置可以为靠近当前展示界面的边界的位置,本公开对此不作限定,例如,也可以是当前展示界面的中间位置。
在一种可能的实现方式中,上述虚拟场景展示信息可以是虚拟场景展示窗口,该虚拟场景展示窗口包括一个或多个该候选虚拟场景的场景标识,相应地,可以确定该用户从一个或多个该候选虚拟场景的场景标识中选定的目标场景标识,并将该目标场景标识对应的候选虚拟场景作为该目标虚拟场景,这样,能够直接根据场景标识快速确定目标虚拟场景。
其中,该场景标识可以是虚拟场景的名称或者编号等标识信息。
例如,如图2所示,图2示出了一种候选虚拟场景的展示界面图,其中,以场景1为当前展示的第一虚拟场景界面对应的虚拟场景,场景2,场景3和场景4为候选虚拟场景为例,在当前展示界面展示场景1对应的第一虚拟场景界面的情况下,在该当前展示界面的一侧边位置展示有虚拟场景展示窗口,该虚拟场景展示窗口展示有场景2的名称,场景3的名称以及场景4的名称,这样,可以将用户在虚拟场景展示窗口中选定的场景名称对应的虚拟场景作为目标虚拟场景。
在另一种可能的实现方式中,上述虚拟场景展示信息还可以是虚拟场景预览信息,该虚拟场景预览信息包括一个或多个候选虚拟场景的预览图像;相应地,可以确定该用户从一个或多个该候选虚拟场景的预览图像中选定的目标预览图像,并将该目标预览图像对应的候选虚拟场景作为该目标虚拟场景。这样,通过预览图像能够方便用户预览各个候选虚拟场景,从而使得用户准确确定目标虚拟场景。
其中,该预览信息可以是虚拟场景的预览图像。
例如,如图3所示,图3示出了另一种候选虚拟场景的展示界面图,其中,仍然以场景1为当前展示的第一虚拟场景界面对应的虚拟场景,场景2,场景3和场景4为候选虚拟场景为例,在当前展示界面展示场景1对应的第一虚拟场景界面的情况下,在该当前展示界面的一侧边位置展示有场景2的预览图像,场景3的预览图像以及场景4的预览图像,这样,可以将用户选定的预览图像对应的虚拟场景作为目标虚拟场景。
展示方式二:响应于该用户继续触发的该缩小操作,将该缩小后的该第一虚拟场景界面继续进行缩小展示,并在展示继续缩小的该第一虚拟场景界面时,展示一个或多个该候选虚拟场景。这样,能够根据用户的缩小操作展示候选虚拟场景,无需进行其他的展示操作,增加了用户操作的便捷性。
在一种可能的实现方式中,在接收到该用户继续触发的该界面缩小操作后,可以将该缩小后的该第一虚拟场景界面继续进行缩小展示,并将当前展示界面展示的界面由继续进行缩小展示后的第一虚拟场景界面切换为预设全场景图像,该预设全场景图像包括按照预先设置的分布位置在该预设全场景图像中分布的多个虚拟场景的预览图像,在本实施例中,该预设全场景图像包括第一虚拟场景界面对应的虚拟场景以及候选虚拟场景,例如,以场景1为第一虚拟场景界面对应的虚拟场景,场景2,场景3和场景4为候选虚拟场景为例进行说明,上述预设全场景图像可以如图4所示,该预设全场景图像包括场景1、场景2,场景3以及场景4的预览图像,当然,图4只是为了方便说明展示的示例性地预设全场景图像,实际的展示方式与图4所示的方式可能相同,也可能不同,本公开对此不作限定。
在将当前展示界面展示的界面由第一虚拟场景界面切换为预设全场景图像后,可以以继续进行缩小展示后的第一虚拟场景界面为基准调整预设全场景图像在当前展示界面展示的尺寸和位置,以使得预设全场景图像中第一虚拟场景界面对应的虚拟场景图像的尺寸和位置与继续进行缩小展示后的第一虚拟场景界面的尺寸和位置相匹配,并将继续进行缩小展示后的第一虚拟场景界面的画面映射至预设全场景图像中第一虚拟场景界面对应的虚拟场景图像上,以使得预设全场景图像中第一虚拟场景界面对应的虚拟场景图像展示的画面与继续进行缩小展示后的第一虚拟场景界面的画面相同,从而避免用户感知到界面的切换,提升用户体验,在继续接收到用户的界面缩小操作的情况下,则会对当前展示的预设全场景图像进行缩小,随着预设全场景图像的缩小,则预设全场景图像中的候选虚拟场景也会随着界面的缩小,以从当前展示界面外向界面内逐渐移动的效果,展示在当前展示界面中。
示例地,仍然以场景1为第一虚拟场景界面对应的虚拟场景,场景2,场景3和场景4为候选虚拟场景为例,并参考图5A至图5D进行说明,首先,在接收到该用户继续触发的该界面缩小操作后,可以将场景1对应的该第一虚拟场景界面继续进行缩小展示,此时,当前展示界面可以如图5A所示;然后,将当前展示界面展示的界面由继续进行缩小展示后的第一虚拟场景界面切换为预设全场景图像,如图5B所示,切换后展示的场景1的虚拟场景图像在当前展示界面中的尺寸和位置,与继续进行缩小展示后的第一虚拟场景界面的尺寸和位置相同,并且展示的画面也是相同的;在继续接收到用户的界面缩小操作的情况下,则会对当前展示的预设全场景图像进行缩小,随着预设全场景图像的缩小,场景2,场景3以及场景4对应的预览图像的部分图像会展示在该当前展示界面中,如图5C所示;并且随着预设全场景图像的继续缩小,该场景2,场景3以及场景4对应的预览图像逐渐完整展示在当前展示界面中,如图5D所示,当然,随着继续接收到用户的界面缩小操作,场景3和场景4对应的预览图像也会展示在当前展示界面,从而方便用户查看,直至获取到用户选定的目标虚拟图像。
需要说明的是,上述图5B和图5C当前展示界面与预设全景图像之间的部分(即当前展示界面边框与虚线框之间的部分),表示预设全景图像中没有展示在当前展示界面中的图像部分。
为了增加用户与虚拟场景的交互,提高用户对场景切换的可控性,本实施例还可以展示场景切换提示信息,该场景切换提示信息用于提示该用户是否进行虚拟场景切换,则在本步骤中,可以响应于该用户针对该切换提示信息的切换触发操作,展示待切换的一个或多个该候选虚拟场景。
一种可能的实现方式是,响应于接收到该用户触发的切换触发指令,展示待切换的一个或多个该候选虚拟场景。
在本方式中,可以通过提示框提示用户“是否进行场景切换”,且该提示框包括“是”和“否”两个按键,当用户触发“是”按键后,则确定接收到用户触发的切换触发指令,此时该提示框消失,并展示待切换的一个或多个该候选虚拟场景,当用户触发“否”按键后,则该提示框消失。
另一种可能的实现方式是,响应于该用户继续触发的该界面缩小操作,展示待切换的一个或多个该候选虚拟场景。
示例地,如图6所示,图6中的a表示当前展示界面展示第一虚拟场景界面,图6中的b表示在缩小后的该第一虚拟场景界面满足预设切换条件的情况下,通过提示框提示用户“再次缩小界面显示更多场景”,图6中的c表示,当用户继续触发界面缩小操作时,则提示框消失,并展示待切换的一个或多个该候选虚拟场景。
方式二,该当前展示界面包括场景切换按键,该场景切换操作包括针对该场景切换按键的触发操作,响应于用户对该场景切换按键的触发操作,在该当前展示界面上展示一个或多个该候选虚拟场景;确定该用户从一个或多个该候选虚拟场景选定的目标虚拟场景。
在本方式中,用户可以直接点击当前展示界面上的场景切换按键,从而在在该当前展示界面上展示一个或多个所述候选虚拟场景,具体的展示方式可以参考上述展示方式一,此处不再赘述。
图7为本公开实施例提供的一种基于数字孪生的场景切换装置700,如图7所示,该装置700包括:
展示模块701,用于在当前展示界面展示第一虚拟场景界面,其中,虚拟场景界面包括虚拟场景和处于所述虚拟场景中的虚拟机器人,所述虚拟机器人为根据实体机器人生成的数字孪生体;
选择模块702,用于响应于获取到用户的场景切换操作,确定所述用户从一个或多个候选虚拟场景中选定的目标虚拟场景;
切换模块703,用于在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面,其中,所述第二虚拟场景界面覆盖所述当前展示界面。
可选地,所述场景切换操作包括针对所述第一虚拟场景界面的界面缩小操作;所述选择模块702,用于响应于所述用户的界面缩小操作,缩小所述第一虚拟场景界面;在缩小后的所述第一虚拟场景界面满足预设切换条件的情况下,展示待切换的一个或多个所述候选虚拟场景;确定所述用户从一个或多个所述候选虚拟场景中选定的目标虚拟场景。
可选地,所述选择模块702,还用于在所述当前展示界面的指定位置展示虚拟场景展示信息,所述虚拟场景展示信息包括一个或多个所述候选虚拟场景;所述确定所述用户从所述候选虚拟场景中选定的目标虚拟场景包括:确定所述用户从一个或多个所述候选虚拟场景中选定的目标场景标识,并将所述目标场景标识对应的候选虚拟场景作为所述目标虚拟场景。
可选地,所述选择模块702,还用于响应于所述用户继续触发的所述界面缩小操作,将所述缩小后的所述第一虚拟场景界面继续进行缩小展示,并在展示继续缩小的所述第一虚拟场景界面时,展示一个或多个所述候选虚拟场景。
另外,在所述虚拟场景进行切换的情况下,为了增加用户与虚拟场景的交互,提高用户对场景切换的可控性,可以对所述用户进行提示,提升用户体验,因此如图8所示,所述装置还包括:提示模块704,用于展示场景切换提示信息,所述场景切换提示信息用于提示所述用户是否进行虚拟场景切换;所述选择模块,还用于响应于所述用户针对所述切换提示信息的切换触发操作,展示待切换的一个或多个所述候选虚拟场景。
可选地,所述选择模块702,还用于响应于接收到所述用户触发的切换触发指令,展示待切换的一个或多个所述候选虚拟场景。
可选地,所述选择模块702,还用于响应于所述用户继续触发的所述界面缩小操作,展示待切换的一个或多个所述候选虚拟场景。
可选地,所述预设切换条件包括:所述第一虚拟场景界面的缩小比例大于或等于第一预设比例阈值;或者,缩小后的所述第一虚拟场景界面在所述当前展示界面所占的比例小于或等于第二预设比例阈值。
可选地,所述当前展示界面包括场景切换按键,所述场景切换操作包括针对所述场景切换按键的触发操作,所述选择模块702,还用于响应于用户对所述场景切换按键的触发操作,在所述当前展示界面上展示一个或多个所述候选虚拟场景;确定所述用户从一个或多个所述候选虚拟场景选定的目标虚拟场景。
另外,该展示界面可以是机器人的控制终端的展示界面,虚拟场景界面包括虚拟场景和处于该虚拟场景中的虚拟机器人,该虚拟机器人为根据实体机器人生成的数字孪生体;每个虚拟场景中可以包括一个或多个虚拟机器人,不同虚拟场景包含的虚拟机器人可以相同,也可以不同,在同一个虚拟场景中,不同虚拟机器人在该虚拟场景中的位置可能不同,这样,当用户需要查看某个虚拟机器人时,可以通过下述装置实现,快速切换到需要查看的机器人,提高了机器人操作的智能性和便捷性。如图9所示,所述装置还包括:获取模块705,用于获取所述用户从所述第一虚拟场景界面展示的一个或多个候选虚拟机器人中选定的目标虚拟机器人;确定模块706,用于确定所述目标虚拟机器人在所述第一虚拟场景界面中所处的目标位置;所述切换模块702,用于将所述第一虚拟场景界面由当前展示视角界面切换为所述目标位置对应的目标展示视角界面。
另外,在该用户进行场景切换的情况下,为了提升用户体验,可以将当前场景的界面配置信息应用于目标场景,因此,该获取模块705,还用于获取所述第一虚拟场景界面对应的界面配置信息;如图10所示,该装置还包括:设置模块707,用于在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面的情况下,按照所述界面配置信息配置所述第二虚拟场景界面。
图11是根据一示例性实施例示出的一种电子设备1100的框图。如图11所示,该电子设备1100可以包括:处理器1101,存储器1102。该电子设备1100还可以包括多媒体组件1103,输入/输出(I/O)接口1104,以及通信组件1105中的一者或多者。
其中,处理器1101用于控制该电子设备1100的整体操作,以完成上述的基于数字孪生的场景切换方法中的全部或部分步骤。存储器1102用于存储各种类型的数据以支持在该电子设备1100的操作,这些数据例如可以包括用于在该电子设备1100上操作的任何应用程序或方法的指令,以及应用程序相关的数据,例如联系人数据、收发的消息、图片、音频、视频等等。该存储器1102可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,例如静态随机存取存储器(Static Random Access Memory,简称SRAM),电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory,简称EEPROM),可擦除可编程只读存储器(ErasableProgrammable Read-Only Memory,简称EPROM),可编程只读存储器(Programmable Read-Only Memory,简称PROM),只读存储器(Read-OnlyMemory,简称ROM),磁存储器,快闪存储器,磁盘或光盘。多媒体组件1103可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏,音频组件用于输出和/或输入音频信号。例如,音频组件可以包括一个麦克风,麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1102或通过通信组件1105发送。音频组件还包括至少一个扬声器,用于输出音频信号。I/O接口1104为处理器1101和其他接口模块之间提供接口,上述其他接口模块可以是键盘,鼠标,按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件1105用于该电子设备1100与其他设备之间进行有线或无线通信。无线通信,例如Wi-Fi,蓝牙,近场通信(Near Field Communication,简称NFC),2G、3G、4G、NB-IOT、eMTC、或其他5G等等,或它们中的一种或几种的组合,在此不做限定。因此相应的该通信组件1105可以包括:Wi-Fi模块,蓝牙模块,NFC模块等等。
在一示例性实施例中,电子设备1100可以被一个或多个应用专用集成电路(Application Specific Integrated Circuit,简称ASIC)、数字信号处理器(DigitalSignal Processor,简称DSP)、数字信号处理设备(Digital Signal Processing Device,简称DSPD)、可编程逻辑器件(Programmable Logic Device,简称PLD)、现场可编程门阵列(Field Programmable Gate Array,简称FPGA)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述的基于数字孪生的场景切换方法。
在另一示例性实施例中,还提供了一种包括程序指令的计算机可读存储介质,该程序指令被处理器执行时实现上述的基于数字孪生的场景切换方法的步骤。例如,该计算机可读存储介质可以为上述包括程序指令的存储器1102,上述程序指令可由电子设备1100的处理器1101执行以完成上述的基于数字孪生的场景切换方法。
在另一示例性实施例中,还提供一种计算机程序产品,该计算机程序产品包含能够由可编程的装置执行的计算机程序,该计算机程序具有当由该可编程的装置执行时用于执行上述的基于数字孪生的场景切换方法的代码部分。
以上结合附图详细描述了本公开的优选实施方式,但是,本公开并不限于上述实施方式中的具体细节,在本公开的技术构思范围内,可以对本公开的技术方案进行多种简单变型,这些简单变型均属于本公开的保护范围。
另外需要说明的是,在上述具体实施方式中所描述的各个具体技术特征,在不矛盾的情况下,可以通过任何合适的方式进行组合,为了避免不必要的重复,本公开对各种可能的组合方式不再另行说明。
此外,本公开的各种不同的实施方式之间也可以进行任意组合,只要其不违背本公开的思想,其同样应当视为本公开所公开的内容。
Claims (14)
1.一种基于数字孪生的场景切换方法,其特征在于,所述方法包括:
在当前展示界面展示第一虚拟场景界面,其中,虚拟场景界面包括虚拟场景和处于所述虚拟场景中的虚拟机器人,所述虚拟机器人为根据实体机器人生成的数字孪生体;
响应于获取到用户的场景切换操作,确定所述用户从一个或多个候选虚拟场景中选定的目标虚拟场景;
在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面,其中,所述第二虚拟场景界面覆盖所述当前展示界面。
2.根据权利要求1所述的方法,其特征在于,所述场景切换操作包括针对所述第一虚拟场景界面的界面缩小操作;所述响应于获取到用户的场景切换操作,确定所述用户从所述候选虚拟场景中选定的目标虚拟场景包括:
响应于所述用户的界面缩小操作,缩小所述第一虚拟场景界面;
在缩小后的所述第一虚拟场景界面满足预设切换条件的情况下,展示待切换的一个或多个所述候选虚拟场景;
确定所述用户从一个或多个所述候选虚拟场景中选定的目标虚拟场景。
3.根据权利要求2所述的方法,其特征在于,所述展示待切换的一个或多个所述候选虚拟场景包括:
在所述当前展示界面的指定位置展示虚拟场景展示信息,所述虚拟场景展示信息包括一个或多个所述候选虚拟场景;
所述确定所述用户从所述候选虚拟场景中选定的目标虚拟场景包括:
确定所述用户从一个或多个所述候选虚拟场景中选定的目标场景标识,并将所述目标场景标识对应的候选虚拟场景作为所述目标虚拟场景。
4.根据权利要求2所述的方法,其特征在于,所述展示待切换的一个或多个所述候选虚拟场景包括:
响应于所述用户继续触发的所述界面缩小操作,将所述缩小后的所述第一虚拟场景界面继续进行缩小展示,并在展示继续缩小的所述第一虚拟场景界面时,展示一个或多个所述候选虚拟场景。
5.根据权利要求2所述的方法,其特征在于,所述方法还包括:
展示场景切换提示信息,所述场景切换提示信息用于提示所述用户是否进行虚拟场景切换;
所述展示待切换的一个或多个所述候选虚拟场景包括:
响应于所述用户针对所述切换提示信息的切换触发操作,展示待切换的一个或多个所述候选虚拟场景。
6.根据权利要求5所述的方法,其特征在于,所述响应于所述用户针对所述切换提示信息的切换触发操作,展示待切换的一个或多个所述候选虚拟场景包括:
响应于接收到所述用户触发的切换触发指令,展示待切换的一个或多个所述候选虚拟场景。
7.根据权利要求5所述的方法,其特征在于,所述响应于获取到所述用户的切换触发操作,展示待切换的一个或多个所述候选虚拟场景包括:
响应于所述用户继续触发的所述界面缩小操作,展示待切换的一个或多个所述候选虚拟场景。
8.根据权利要求2所述的方法,其特征在于,所述预设切换条件包括:
所述第一虚拟场景界面的缩小比例大于或等于第一预设比例阈值;或者,
缩小后的所述第一虚拟场景界面在所述当前展示界面所占的比例小于或等于第二预设比例阈值。
9.根据权利要求1所述的方法,其特征在于,所述当前展示界面包括场景切换按键,所述场景切换操作包括针对所述场景切换按键的触发操作,所述响应于获取到用户的场景切换操作,确定所述用户从一个或多个候选虚拟场景中选定的目标虚拟场景包括:
响应于用户对所述场景切换按键的触发操作,在所述当前展示界面上展示一个或多个所述候选虚拟场景;
确定所述用户从一个或多个所述候选虚拟场景选定的目标虚拟场景。
10.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取所述用户从所述第一虚拟场景界面展示的一个或多个候选虚拟机器人中选定的目标虚拟机器人;
确定所述目标虚拟机器人在所述第一虚拟场景界面中所处的目标位置;
将所述第一虚拟场景界面由当前展示视角界面切换为所述目标位置对应的目标展示视角界面。
11.根据权利要求1至10任一项所述的方法,其特征在于,所述方法还包括:
获取所述第一虚拟场景界面对应的界面配置信息;
在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面的情况下,按照所述界面配置信息配置所述第二虚拟场景界面。
12.一种基于数字孪生的场景切换装置,其特征在于,所述装置包括:
展示模块,用于在当前展示界面展示第一虚拟场景界面,其中,虚拟场景界面包括虚拟场景和处于所述虚拟场景中的虚拟机器人,所述虚拟机器人为根据实体机器人生成的数字孪生体;
选择模块,用于响应于获取到用户的场景切换操作,确定所述用户从一个或多个候选虚拟场景中选定的目标虚拟场景;
切换模块,用于在所述当前展示界面展示所述目标虚拟场景对应的第二虚拟场景界面,其中,所述第二虚拟场景界面覆盖所述当前展示界面。
13.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-10中任一项所述方法的步骤。
14.一种电子设备,其特征在于,包括:
存储器,其上存储有计算机程序;
处理器,用于执行所述存储器中的所述计算机程序,以实现权利要求1-10中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110739497.9A CN115237302A (zh) | 2021-06-30 | 2021-06-30 | 基于数字孪生的场景切换方法、装置、介质和电子设备 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110739497.9A CN115237302A (zh) | 2021-06-30 | 2021-06-30 | 基于数字孪生的场景切换方法、装置、介质和电子设备 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115237302A true CN115237302A (zh) | 2022-10-25 |
Family
ID=83666307
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202110739497.9A Pending CN115237302A (zh) | 2021-06-30 | 2021-06-30 | 基于数字孪生的场景切换方法、装置、介质和电子设备 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115237302A (zh) |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170003853A1 (en) * | 2015-06-30 | 2017-01-05 | Hyundai Motor Company | Vehicle and Method of Controlling the Same |
CN107263449A (zh) * | 2017-07-05 | 2017-10-20 | 中国科学院自动化研究所 | 基于虚拟现实的机器人远程示教系统 |
CN110181519A (zh) * | 2019-06-25 | 2019-08-30 | 广东希睿数字科技有限公司 | 基于数字孪生机器人的地铁台站门故障检测方法及系统 |
CN110333698A (zh) * | 2019-03-30 | 2019-10-15 | 广东利元亨智能装备股份有限公司 | 基于数字孪生平台的工厂管理系统及其方法 |
CN111857520A (zh) * | 2020-06-16 | 2020-10-30 | 广东希睿数字科技有限公司 | 基于数字孪生的3d可视化交互显示方法与系统 |
CN112051750A (zh) * | 2020-08-07 | 2020-12-08 | 广东工业大学 | 一种四旋翼无人机数字孪生系统 |
US20200393952A1 (en) * | 2017-02-23 | 2020-12-17 | Jue-Hsuan Hsiao | Integration platform of internet of things and virtual device |
CN112891944A (zh) * | 2021-03-26 | 2021-06-04 | 腾讯科技(深圳)有限公司 | 基于虚拟场景的互动方法、装置、计算机设备及存储介质 |
-
2021
- 2021-06-30 CN CN202110739497.9A patent/CN115237302A/zh active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20170003853A1 (en) * | 2015-06-30 | 2017-01-05 | Hyundai Motor Company | Vehicle and Method of Controlling the Same |
US20200393952A1 (en) * | 2017-02-23 | 2020-12-17 | Jue-Hsuan Hsiao | Integration platform of internet of things and virtual device |
CN107263449A (zh) * | 2017-07-05 | 2017-10-20 | 中国科学院自动化研究所 | 基于虚拟现实的机器人远程示教系统 |
CN110333698A (zh) * | 2019-03-30 | 2019-10-15 | 广东利元亨智能装备股份有限公司 | 基于数字孪生平台的工厂管理系统及其方法 |
CN110181519A (zh) * | 2019-06-25 | 2019-08-30 | 广东希睿数字科技有限公司 | 基于数字孪生机器人的地铁台站门故障检测方法及系统 |
CN111857520A (zh) * | 2020-06-16 | 2020-10-30 | 广东希睿数字科技有限公司 | 基于数字孪生的3d可视化交互显示方法与系统 |
CN112051750A (zh) * | 2020-08-07 | 2020-12-08 | 广东工业大学 | 一种四旋翼无人机数字孪生系统 |
CN112891944A (zh) * | 2021-03-26 | 2021-06-04 | 腾讯科技(深圳)有限公司 | 基于虚拟场景的互动方法、装置、计算机设备及存储介质 |
Non-Patent Citations (1)
Title |
---|
陈志鼎;梅李萍;: "基于数字孪生技术的水轮机虚实交互系统设计", 水电能源科学, no. 09, pages 173 - 176 * |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105955607B (zh) | 内容分享方法和装置 | |
JP6944051B2 (ja) | キーポイント検出方法及び装置、電子機器並びに記憶媒体 | |
KR101663474B1 (ko) | 휴대단말기, 휴대단말기의 바탕화면 표시 방법 및 저장 매체 | |
KR20200130139A (ko) | 시각적 미디어를 캡처 및 관리하기 위한 사용자 인터페이스들 | |
EP3232340A1 (en) | Method for operating a display device and display device for displaying pages of an application program | |
US20150363103A1 (en) | Display processing method and information device | |
US11334210B2 (en) | Method for window adjustment, mobile terminal, and computer-readable storage medium | |
CN111708471B (zh) | 一种控件处理方法和相关装置 | |
WO2021243788A1 (zh) | 屏幕截图方法及装置 | |
CN109285126B (zh) | 图像处理方法及装置、电子设备和存储介质 | |
CN110968364A (zh) | 添加快捷插件的方法、装置及智能设备 | |
CN111597029A (zh) | 数据处理方法及装置、电子设备和存储介质 | |
JP2022530154A (ja) | 画像上の位置決めの操作表示方法及び装置、電子機器及び記憶媒体 | |
US10908795B2 (en) | Information processing apparatus, information processing method | |
CN109753612B (zh) | 问卷显示的控制方法、装置、存储介质和电子设备 | |
CN115237302A (zh) | 基于数字孪生的场景切换方法、装置、介质和电子设备 | |
US10613622B2 (en) | Method and device for controlling virtual reality helmets | |
CN114095611B (zh) | 来电显示界面的处理方法、装置、电子设备和存储介质 | |
CN114268802B (zh) | 虚拟空间展示方法、装置、电子设备及存储介质 | |
CN116188343A (zh) | 一种图像融合方法、装置、电子设备、芯片及介质 | |
CN116186679A (zh) | 信息展示方法、装置、电子设备及存储介质 | |
KR101825598B1 (ko) | 컨텐츠 제공 방법을 실행하기 위하여 기록 매체에 저장된 컴퓨터 프로그램, 방법 및 장치 | |
CN105635832A (zh) | 一种视频处理方法和装置 | |
CN105653143B (zh) | 应用程序操作界面的处理方法及实现该方法的移动终端 | |
CN113419660A (zh) | 视频资源处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |