CN111913562A - 虚拟内容的显示方法、装置、终端设备及存储介质 - Google Patents
虚拟内容的显示方法、装置、终端设备及存储介质 Download PDFInfo
- Publication number
- CN111913562A CN111913562A CN201910377209.2A CN201910377209A CN111913562A CN 111913562 A CN111913562 A CN 111913562A CN 201910377209 A CN201910377209 A CN 201910377209A CN 111913562 A CN111913562 A CN 111913562A
- Authority
- CN
- China
- Prior art keywords
- content
- virtual
- data
- display
- interactive
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 150
- 238000003860 storage Methods 0.000 title claims abstract description 18
- 230000000694 effects Effects 0.000 claims abstract description 347
- 238000012545 processing Methods 0.000 claims abstract description 218
- 230000002452 interceptive effect Effects 0.000 claims abstract description 215
- 230000003993 interaction Effects 0.000 claims abstract description 151
- 230000008569 process Effects 0.000 claims abstract description 73
- 239000012634 fragment Substances 0.000 claims description 57
- 230000003068 static effect Effects 0.000 claims description 45
- 230000008859 change Effects 0.000 claims description 24
- 230000005484 gravity Effects 0.000 claims description 17
- 239000003550 marker Substances 0.000 description 35
- 238000010586 diagram Methods 0.000 description 26
- 238000009877 rendering Methods 0.000 description 13
- 230000000007 visual effect Effects 0.000 description 11
- 238000012217 deletion Methods 0.000 description 9
- 230000037430 deletion Effects 0.000 description 9
- 238000005520 cutting process Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000003825 pressing Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 230000003190 augmentative effect Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000013467 fragmentation Methods 0.000 description 2
- 238000006062 fragmentation reaction Methods 0.000 description 2
- 230000000670 limiting effect Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
Abstract
本申请实施例公开了一种虚拟内容的显示方法、装置、系统、终端设备及存储介质,该方法应用于终端设备,终端设备与交互设备连接,交互设备包括交互区域,该方法包括:获取终端设备与交互设备之间的相对空间位置信息;接收交互设备发送的第一操作数据,第一操作数据为根据交互区域检测到的触控操作生成;当根据第一操作数据,确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与设定操作匹配的处理操作所对应的效果内容数据;根据相对空间位置信息以及效果内容数据生成虚拟效果内容;对部分内容进行处理操作,并获取在处理操作过程中匹配的显示状态,控制虚拟效果内容按照显示状态进行显示。本方法可较好的实现与显示内容的交互。
Description
技术领域
本申请涉及显示技术领域,更具体地,涉及一种虚拟内容的显示方法、装置、终端设备及存储介质。
背景技术
近年来,随着科技的进步,越来越多的用户使用电子设备查看显示内容,并且可以通过电子设备的触摸屏、触控板及按键等,与显示内容进行交互。但是传统的交互方式的交互性不强,导致与显示内容的交互效果不佳。
发明内容
本申请实施例提出了一种虚拟内容的显示方法、装置、终端设备及存储介质,能够提升交互过程中的显示效果,从而提升用户与显示内容之间的交互性。
第一方面,本申请实施例提供了一种虚拟内容的显示方法,应用于终端设备,所述终端设备与交互设备连接,所述交互设备包括交互区域,所述方法包括:获取所述终端设备与所述交互设备之间的相对空间位置信息;接收所述交互设备发送的第一操作数据,所述第一操作数据为所述交互设备根据所述交互区域检测到的触控操作生成;当根据所述第一操作数据,确定出所述交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与所述设定操作匹配的处理操作所对应的效果内容数据;根据所述相对空间位置信息以及效果内容数据生成虚拟效果内容;对所述至少部分内容进行所述处理操作,并获取在所述处理操作过程中匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示。
第二方面,本申请实施例提供了一种虚拟内容的显示方法,应用于交互设备,所述交互设备与终端设备连接,所述交互设备包括交互区域,所述方法包括:通过所述交互区域对触控操作进行检测;当根据所述交互区域检测到的触控操作,确定出所述交互区域显示的显示内容中至少部分内容被执行设定操作时,向所述终端设备发送生成指令,所述生成指令用于指示所述终端设备获取与所述设定操作匹配的处理操作所对应的效果内容数据,并根据所述终端设备与所述交互设备之间的相对空间位置信息以及所述效果内容数据,生成虚拟效果内容;对所述至少部分内容进行与所述设定操作匹配的处理操作,并在所述处理操作的过程中发送显示指令至所述终端设备,所述显示指令用于指示所述终端设备获取在所述处理操作过程中匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示。
第三方面,本申请实施例提供了一种虚拟内容的显示装置,应用于终端设备,所述终端设备与交互设备连接,所述交互设备包括交互区域,所述装置包括:位置获取模块、数据接收模块、数据获取模块、内容生成模块以及内容显示模块,其中,所述位置获取模块用于获取所述终端设备与所述交互设备之间的相对空间位置信息;所述数据接收模块用于接收所述交互设备发送的第一操作数据,所述第一操作数据为所述交互设备根据所述交互区域检测到的触控操作生成;所述数据获取模块用于当根据所述第一操作数据,确定出所述交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与所述设定操作匹配的处理操作所对应的效果内容数据;所述内容生成模块用于根据所述相对空间位置信息以及效果内容数据生成虚拟效果内容;所述内容显示模块用于对所述至少部分内容进行所述处理操作,并获取在所述处理操作过程中匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示。
第四方面,本申请实施例提供了一种虚拟内容的显示系统,所述系统包括终端设备以及交互设备,所述终端设备与所述交互设备连接,所述交互设备包括交互区域,其中,所述交互设备用于根据所述交互区域检测到的触控操作生成第一操作数据,并将所述第一操作数据发送至所述终端设备;所述终端设备用于接收所述第一操作数据,当根据所述第一操作数据,确定出所述交互区域对应的显示内容中至少部分内容被执行设定操作时,获取所述终端设备与所述交互设备之间的相对空间位置信息,以及获取与所述设定操作匹配的处理操作所对应的效果内容数据,根据所述相对空间位置信息以及效果内容数据生成虚拟效果内容,对所述至少部分内容进行所述处理操作,并获取与所述处理操作匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示。
第五方面,本申请实施例提供了一种终端设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面提供的虚拟内容的显示方法。
第六方面,本申请实施例提供了一种交互设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第二方面提供的虚拟内容的显示方法。
第七方面,本申请实施例提供了一种存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的虚拟内容的显示方法或者上述第二方面提供的虚拟内容的显示方法。
本申请提供的方案,终端设备通过获取终端设备与交互设备之间的相对空间位置信息,接收交互设备发送的第一操作数据,第一操作数据为交互设备根据交互区域检测到的触控操作生成,当根据第一操作数据,确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与设定操作匹配的处理操作所对应的效果内容数据,再根据上述相对空间位置信息以及上述效果内容数据生成虚拟效果内容,最后对上述至少部分内容进行上述处理操作,并获取在处理过程中匹配的显示状态,控制上述虚拟效果内容按照该显示状态进行显示。可以利用交互设备对显示内容进行处理操作,并在处理操作过程中实时将与操作相关的虚拟效果内容以增强现实的方式叠加显示到真实环境中,将虚拟效果与处理操作结合可帮助引导用户更好地进行交互,既提高了用户与显示内容的交互性,也加强了处理过程中的显示效果,增强了视觉效果。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了一种适用于本申请实施例的应用场景的示意图。
图2示出了根据本申请一个实施例的虚拟内容的显示方法流程图。
图3示出了根据本申请一个实施例提供的一种显示效果示意图。
图4示出了根据本申请一个实施例提供的另一种显示效果示意图。
图5示出了根据本申请一个实施例提供的又一种显示效果示意图。
图6示出了根据本申请一个实施例提供的再一种显示效果示意图。
图7示出了根据本申请一个实施例提供的还一种显示效果示意图。
图8示出了根据本申请另一个实施例的虚拟内容的显示方法流程图。
图9示出了根据本申请另一个实施例提供的一种显示效果示意图。
图10示出了根据本申请另一个实施例提供的另一种显示效果示意图。
图11示出了根据本申请又一个实施例的虚拟内容的显示方法流程图。
图12示出了根据本申请又一个实施例的虚拟内容的显示方法中步骤S350的一种流程图。
图13示出了根据本申请又一个实施例的虚拟内容的显示方法中步骤S350的另一种流程图。
图14示出了根据本申请又一个实施例的虚拟内容的显示方法中步骤S350的又一种流程图。
图15示出了根据本申请又一个实施例提供的一种显示效果示意图。
图16示出了根据本申请又一个实施例提供的另一种显示效果示意图。
图17示出了根据本申请又一个实施例提供的又一种显示效果示意图。
图18示出了根据本申请又一个实施例提供的再一种显示效果示意图。
图19示出了根据本申请又一个实施例提供的还一种显示效果示意图。
图20示出了根据本申请再一个实施例的虚拟内容的显示方法流程图。
图21示出了根据本申请再一个实施例提供的一种显示效果示意图。
图22示出了根据本申请再一个实施例提供的另一种显示效果示意图。
图23示出了根据本申请还一个实施例的虚拟内容的显示方法流程图。
图24示出了根据本申请还一个实施例提供的一种显示效果示意图。
图25示出了根据本申请还一个实施例提供的另一种显示效果示意图。
图26示出了根据本申请还一个实施例提供的又一种显示效果示意图。
图27示出了根据本申请一个实施例的虚拟内容的显示装置的框图。
图28是本申请实施例的用于执行根据本申请实施例的虚拟内容的显示方法的终端设备的框图。
图29是本申请实施例的用于执行根据本申请实施例的虚拟内容的显示方法的交互设备的框图。
图30是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟内容的显示方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
目前,随着科技水平和生活水平的快速提升,移动终端(例如,智能手机、平板电脑等)被普及,由于移动终端具有体积小巧、方便携带等特点,受到大家的喜爱。移动终端在被用户使用时,通常会在触控屏幕显示内容,例如显示多媒体画面、应用界面、文件内容等。但是移动终端的屏幕大小是有限的,其显示的内容将受限于屏幕的大小。目前,在对移动终端的屏幕中显示的内容进行操作时,对于操作的展示效果不佳。
发明人经过长期研究,提出了本申请实施例中的虚拟内容的显示方法、装置、终端设备及存储介质,利用交互设备对显示内容进行处理操作,并在处理操作过程中实时将与操作相关的虚拟效果内容叠加显示到真实环境中,将虚拟效果与处理操作结合可帮助引导用户更好地进行交互,既提高了用户与显示内容的交互性,也加强了处理过程中的显示效果,增强了视觉效果。
下面对本申请实施例提供的虚拟内容的显示方法的应用场景进行介绍。
请参见图1,示出了本申请实施例提供的虚拟内容的显示方法的应用场景的示意图,该应用场景包括虚拟内容的显示系统10。该虚拟内容的显示系统10包括:终端设备100以及交互设备200,其中,终端设备100与交互设备200连接。
在本申请实施例中,终端设备100可以是头戴显示装置,也可以是手机、平板等移动设备。终端设备100为头戴显示装置时,头戴显示装置可以为一体式头戴显示装置。终端设备100也可以是与外接式/接入式头戴显示装置连接的手机等智能终端,即终端设备100可作为头戴显示装置的处理和存储设备,插入或者接入外接式头戴显示装置,在头戴显示装置中对虚拟内容进行显示。
在本申请实施例中,交互设备200可以是设置有标记物201的电子设备。设置于交互设备200上的标记物201的数量可以不作为限定,标记物201的数量可以为一个或者多个。交互设备200的具体形态结构不受限制,可以是各种形状的,例如正方形、圆形,也可以是各种形态的,例如平板形状的电子设备等。交互设备200可以为手机、平板等智能移动设备。
终端设备100与交互设备200可以通过蓝牙、WiFi(Wireless-Fidelity,无线保真)、ZigBee(紫峰技术)等通信方式连接,也可以通过数据线等有线通信连接。当然,终端设备100与交互设备200的连接方式在本申请实施例中可以不作为限定。在一些实施例中,上述标记物201可以集成于交互设备200上,也可以粘贴附着于交互设备200上,当交互设备200具有显示屏时,标记物201也可通过显示屏进行显示。
在终端设备100与交互设备200被共同使用时,可使标记物201位于终端设备100的视觉范围内,进而使得终端设备100可以采集到包含标记物201的图像,以对标记物201进行识别追踪,得到标记物201相对终端设备100的位置、姿态等空间位置信息,以及标记物201的身份信息等识别结果,进而得到交互设备200相对终端设备100的位置、姿态等空间位置信息,实现对交互设备200的定位追踪。终端设备100可根据与交互设备200之间的相对位置及姿态信息,显示相应的虚拟内容。
在一些实施方式中,标记物201为具有拓扑结构的图案,拓扑结构是指标记物中的子标记物和特征点等之间连通关系。
在一些实施方式中,标记物201还可以为光点式的标记,终端设备通过对光点追踪以相对位置、姿态等空间位置信息。在一个具体的实施方式中,可在交互设备200上设置光点和惯性测量单元(Inertial measurement unit,IMU),终端设备可以通过图像传感器采集交互设备200上的光点图像,并通过惯性测量单元获取测量数据,根据该光点图像和测量数据即可确定交互设备200与终端设备100之间的相对空间位置信息,实现对交互设备200的定位及追踪。其中,交互设备200上设置的光点可以是可见光点或者红外光点,光点的数量可以是一个或者由多个光点组成的光点序列。
在一些实施例中,交互设备200上设有至少一个交互区域202,用户可以通过交互区域202进行相关控制和交互。其中,交互区域202可以包括触控板、触控屏或按键等。交互设备200可以通过交互区域202检测到的控制操作,生成与该控制操作对应的控制指令,进行相关控制。并且,交互设备200还可以将该控制指令发送给终端设备100,或者是交互设备200根据交互区域检测到的操作,生成操作数据,将操作数据发送至终端设备100,当终端设备100接收到交互设备200发送的控制指令时,可根据控制指令控制虚拟内容的显示(例如控制虚拟内容旋转、位移等)。
例如,请再次参阅图1,终端设备100为头戴显示装置,用户可以通过佩戴的头戴显示装置,观察到文档内容301叠加显示于现实空间的交互设备200的交互区域202,用户可通过交互区域202进行触控操作,控制将文档内容301往交互区域202的下方边缘移动,实现对文档内容301的删除,同时,头戴显示装置可显示对文档内容301进行删除的过程中的虚拟效果,用户通过头戴显示装置可看到虚拟效果以增强现实的方式叠加显示在真实环境中。
下面对具体的虚拟内容的显示方法进行介绍。
请参阅图2,本申请实施例提供了一种虚拟内容的显示方法,可应用于终端设备,该虚拟内容的显示方法可以包括:
步骤S110:获取终端设备与交互设备之间的相对空间位置信息。
在本申请实施例中,终端设备可以获取终端设备与交互设备之间的相对空间位置信息,以便终端设备后续在对交互区域的显示内容进行相关操作时,可以根据相对空间位置信息生成操作的虚拟效果内容进行显示。
在一些实施方式中,终端设备可以识别交互设备上的标记物,以根据标记物的识别结果,获取终端设备与交互设备之间的相对空间位置信息。上述识别结果至少包括标记物相对终端设备的位置信息、姿态信息等,从而终端设备可以根据标记物在交互设备上设置的位置、尺寸大小以及上述识别结果等,获取终端设备与交互设备之间的相对空间位置信息。其中,终端设备与交互设备之间的相对空间位置信息可以包括:终端设备与交互设备之间的相对位置信息以及姿态信息等,姿态信息可以为交互设备相对终端设备的朝向及旋转角度等。标记物的尺寸大小可根据需求进行调整,不受限制。
在一些实施方式中,上述标记物可以包括至少一个子标记物,子标记物可以是具有一定形状的图案。在一个实施例中,每个子标记物可具有一个或多个特征点,其中,特征点的形状不做限定,可以是圆点、圆环,也可以是三角形、其他形状。另外,不同标记物内的子标记物的分布规则不同,因此,每个标记物可具备不同的身份信息。终端设备通过识别标记物中包含的子标记物,可以获取与标记物对应的身份信息,该身份信息可以是编码等可用于唯一标识标记物的信息,但不限于此。
作为一种实施方式,标记物的轮廓可以为矩形,当然,标记物的形状也可以是其他形状,在此不做限定,矩形的区域以及该区域内的多个子标记物构成一个标记物。需要说明的是,具体的标记物的形状、样式、尺寸、颜色、特征点数量以及分布在本实施例中并不作为限定,仅需要标记物能被终端设备识别追踪即可。
在一些实施方式中,上述识别交互设备上的标记物,可以是终端设备先通过图像采集装置采集包含标记物的图像,然后再对该图像中的标记物进行识别。其中,终端设备采集包含标记物的图像,可以是通过调整终端设备在现实空间中的空间位置,也可以通过调整交互设备在现实空间中的空间位置,以使该交互设备上的标记物处于终端设备的图像采集装置的视觉范围内,从而使终端设备可以对该标记物进行图像采集和图像识别。其中,图像采集装置的视觉范围可以由视场角的大小决定。
当然,具体获取终端设备与交互设备之间的相对空间位置信息的方式在本申请实施例中可以不作为限定。
步骤S120:接收交互设备发送的第一操作数据,第一操作数据为交互设备根据交互区域检测到的触控操作生成。
在本申请实施例中,终端设备与交互设备通信连接,交互设备包括有交互区域。该交互区域可以包括触控板或者触控屏,从而交互区域可以检测到用户在交互区域做出的触控操作(例如单指点击、单指滑动、多指点击、多指滑动等)。交互设备的交互区域在检测到用户的触控操作时,交互设备可以根据交互区域检测到的触控操作,生成第一操作数据。其中,第一操作数据可以包括交互区域检测到的触控操作的操作参数。
在一些实施方式中,上述第一操作数据可以包括触控操作对应的触控位置、触控操作的类型、触控操作的手指数量、手指按压压力以及触控操作的持续时间等参数。其中,触控操作对应的触控位置,可以指交互区域上被触控的区域所在位置,例如,交互区域所在平面坐标系中的触控坐标。触控操作的类型可以包括点击操作、滑动操作、长按操作等。触控操作的手指数量,指执行该触控操作的手指的数量,即交互区域的传感器检测到触控操作操作时被按压的区域的数量,例如数量为1,又例如,数量为2。手指按压压力指执行该触控操作的按压压力,即交互区域的传感器检测到的压力大小,例如按压压力为0.5N(牛)。触控操作的持续时间为交互区域检测到的手指在交互区域上接触的时间,例如持续时间为1S(秒)。当然,具体的第一操作数据可以在本申请实施例中不作为限定,第一操作数据也可以包括其他触控参数,例如,滑动轨迹、点击操作的点击频率等。
交互设备在根据交互区域检测到的触控操作生成第一操作数据后,可以将第一操作数据发送至终端设备。相应的,终端设备可以接收到交互设备发送的上述第一操作数据,以便终端设备根据上述第一操作数据确定被操作的显示内容,并进行相关显示控制。
在一些实施方式中,上述显示内容可以是终端设备显示的显示内容,上述显示内容也可以是交互设备显示的显示内容。
作为一种实施方式,终端设备可以根据终端设备与交互设备之间的相对空间位置信息,以及交互区域与交互设备的相对位置关系,获取交互区域与终端设备之间的相对空间位置关系,从而可根据交互区域与终端设备之间的相对空间位置关系生成虚拟的显示内容进行显示,使用户看到显示内容叠加显示于交互区域,实现显示内容的增强现实(augmented reality,AR)的效果。终端设备在接收上述第一操作数据之后,则可以根据第一操作数据,确定与交互区域对应的显示内容中被操作的显示内容,并进行与被操作的显示内容相关的显示控制。其中,交互区域对应的显示内容可以为虚拟空间中与交互区域所对应的空间位置匹配的显示内容。
作为另一种实施方式,上述交互设备可以于交互区域显示显示内容,即交互区域包括触控屏时,触控屏对显示内容进行显示。并且交互区域可以检测用户对触控屏的触控操作,确定出被操作的显示内容,并根据具体的触控操作的操作参数以及被操纵的显示内容,生成第一操作数据,发送至终端设备。终端设备可以根据第一操作数据,执行与被操作的显示内容相关的显示控制。
步骤S130:当根据第一操作数据,确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与设定操作匹配的处理操作所对应的效果内容数据。
在本申请实施例中,终端设备在接收到上述第一操作数据时,可以根据第一操作数据,确定交互区域对应的显示内容是否被执行设定操作,以进一步确定是否进行与被操纵的处理操作,以及虚拟效果内容的显示。
在一些实施方式中,当终端设备将显示内容叠加显示在现实场景中时,终端设备可以确定显示内容中与交互区域对应的显示内容,并根据第一操作数据,确定交互区域对应的显示内容中,是否存在至少部分内容被操作。其中,终端设备可以根据第一操作数据,确定触控操作对应的触控位置,可将触控位置的触控坐标转化为虚拟空间中的空间坐标,然后从交互区域对应的显示内容中,获取与该空间坐标对应的显示内容。该获取到的显示内容,即为交互区域对应的显示内容中被操作的显示内容。当没有与触控位置在虚拟空间中的空间坐标匹配的显示内容时,则可以确定交互区域对应的显示内容中,不存在至少部分内容被操作,即上述触控操作不是对显示内容的操作。
在一些实施方式中,当交互设备显示内容,即交互区域显示有内容时,终端设备可以根据第一操作数据,确定交互区域显示的显示内容中,是否存在至少部分内容被操作。其中,交互设备也可以根据触控位置确定被操作的显示内容。交互设备显示内容时,交互设备发送的第一操作数据中可以包括被操作的显示内容的数据以及触控操作的操作参数,也可以包括用于指示交互区域显示的显示内容中存在至少部分内容被操作的指令,从而终端设备可以根据第一操作数据,确定出交互区域显示的显示内容中是否存在至少部分内容被操作。
其中,上述至少部分内容可以理解为,交互区域对应的多个显示内容中被操作的显示内容,即上述根据触控位置确定出的显示内容。例如,交互区域对应的显示内容可以为应用程序的界面,被操作的至少部分内容则可以是界面中的控件。又例如,交互区域对应的显示内容可以为文档内容,被操作的至少部分内容可以为该文档内容。
在本申请实施例中,当终端设备确定出交互区域对应的显示内容中存在至少部分内容被操作时,可以根据上述操作数据,确定上述至少部分内容被执行的操作是否是设定操作,以确定是否执行相应的处理操作。其中,当确定出上述至少部分内容被执行的操作为设定操作时,则确定后续执行与上述至少部分内容相关的处理操作。
作为一种可选的实施方式,设定操作可以包括对显示内容的特定控件的触发操作。其中,交互区域对应的显示内容包括有特定的控件内容,该特定的控件内容用于触发对交互区域对应的显示内容的相关处理操作。该情况下,通过对上述特定的控件内容的点击操作,则可以触发后续对上述至少部分内容的处理操作。例如,请参见图3,交互区域202对应的显示内容中包括虚拟的文档内容301以及控件302,终端设备在检测到对控件302的点击操作时,可确定执行了设定操作,可以触发后续对文档内容301的相关处理操作。
作为另一种可选的实施方式,设定操作可以包括将交互区域对应的显示内容中至少部分内容以滑动方式移动至不同边缘区域。通过将至少部分内容滑动至不同边缘区域,从而触发后续对至少部分内容的处理操作以及虚拟效果内容的显示。另外,不同的边缘区域,可以对应不同的处理操作,其中,边缘区域指的是交互设备的交互区域的周边所在区域。其中,上述滑动操作可以为单指滑动操作,也可以为多指滑动操作,具体滑动操作的类型可以不作为限定。例如,请同时参见图4及图5,交互区域202对应的显示内容中包括视频内容303,当终端设备在检测到通过滑动操作将上述视频内容303移动至交互区域202的边缘区域时,可以触发后续对视频内容303的相关处理操作。
作为一种具体的实施方式,当交互设备的交互区域对相应的显示内容进行显示时,交互设备则可以根据交互区域检测到的触控操作,判断是否对至少部分内容进行滑动。如果判断出对至少部分内容进行滑动操作时,交互设备可以控制该至少部分内容按照滑动操作对应的滑动轨迹进行滑动,并显示出该至少部分内容进行滑动的效果,从而实现根据滑动操作控制至少部分内容进行滑动。另外,当上述至少部分内容通过上述滑动操作方式被滑动至边缘区域时,交互设备可以生成第一操作数据发送至终端设备,例如,可以根据滑动操作的滑动参数、被操作的至少部分内容以及被滑动至的目标位置生成第一操作数据,并将第一操作数据发送至终端设备。从而终端设备可以根据第一操作数据获知交互区域对应的显示内容中,至少部分内容被以滑动操作的方式移动至交互区域的边缘区域。
作为另一种具体的实施方式,当终端设备将显示内容叠加显示在现实场景中时,终端设备可以根据交互设备发送的第一操作数据,确定出触控操作对应的至少部分内容,并且确定出该触控操作为滑动操作,以及滑动操作的滑动轨迹,根据以上确定出的信息,终端设备可以控制上述至少部分内容按滑动操作对应的滑动轨迹进行滑动,最终控制上述至少部分内容滑动至滑动轨迹的终点处,并显示出该至少部分内容进行滑动的效果,从而实现根据滑动操作控制至少部分内容进行滑动。
从而终端设备可以确定交互区域对应的显示内容中,是否存在至少部分内容被滑动至交互设备的交互区域的边缘区域,进一步确定是否触发对该至少部分内容的处理操作,以及显示虚拟效果内容。
当然,以上实施方式仅为举例,并不代表对本申请实施例中设定操作的限定,设定操作可以根据具体场景和需求而设置。
在本申请实施例中,当终端设备确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,可以获取与设定操作匹配的处理操作所对应的效果内容数据,以便终端设备后续根据效果内容数据,生成虚拟效果内容进行显示。
其中,上述效果内容数据,可以是虚拟效果内容的三维模型数据,该三维模型数据可以包括用于构建三维模型对应的模型的颜色、模型顶点坐标、模型轮廓数据等。上述效果内容数据与上述设定操作匹配的处理操作对应,也就是说,终端设备后续生成的虚拟效果内容,可以为该处理操作对应的操作效果,并且该处理操作与上述对至少部分内容执行的设定操作匹配。
在一些实施方式中,终端设备需要对上述至少部分内容进行的处理操作,可以包括删除该至少部分内容对应的文件数据、卸载该至少部分内容对应的应用、将该至少部分内容对应的图标移动至文件夹、对该至少部分内容进行复制、对该至少部分内容进行剪切等。终端设备对上述至少部分内容进行的处理操作,也可以包括将该至少部分内容对应的文件数据发送至其他终端设备,还可以包括控制该至少部分内容对应的应用的运行状态等。具体终端设备需要对至少部分内容进行的处理操作可以不作为限定,该处理操作可由上述设定操作决定。
在一些实施方式中,终端设备获取上述效果内容数据,可以是终端设备根据上述对至少部分内容执行的设定操作,确定与该设定操作对应的处理操作,再获取与该处理操作匹配的效果内容数据。其中,终端设备可以存储有设定操作与处理操作的对应关系,从而终端设备可以根据该对应关系,确定上述设定操作对应的处理操作。上述处理操作则可以理解为后续需要对上述至少部分内容进行的操作。终端设备在确定出上述处理操作之后,则可以获取上述处理操作对应的效果内容数据。例如,终端设备可以从存储的数据中读取上述处理操作对应的效果内容数据。当然,终端设备具体获取上述效果内容数据的方式在本申请实施例中可以不作为限,例如,也还可以是终端设备从交互设备等其他电子设备获取上述处理操作对应的效果内容数据。
其中,上述效果内容数据,可以用于渲染处理操作所对应的虚拟效果内容,虚拟效果内容用于表示处理操作的操作效果。效果内容数据可以包括虚拟效果内容的三维模型数据,三维模型数据可以包括用于构建虚拟效果内容的三维模型所对应的模型的颜色、模型顶点坐标、模型轮廓数据等。
需要说明的是,步骤S110与步骤S120以及步骤S130的执行顺序在本申请实施例中可以不作为限定,例如,终端设备可以获取终端设备与交互设备之间的相对位置关系之后,再执行步骤S120以及步骤S130,又例如,终端设备也可以在执行步骤S120以及步骤S130之后,再获取终端设备与交互设备之间的相对位置关系。
步骤S140:根据相对空间位置信息以及效果内容数据生成虚拟效果内容。
在本申请实施例中,终端设备在获取到终端设备与交互设备之间的相对空间位置信息以及效果内容数据之后,则可以根据相对空间位置信息以及效果内容数据,生成虚拟效果内容。
在一些实施方式中,终端设备可以获取设定位置与交互设备之间的相对位置关系,设定位置为虚拟效果内容需要叠加于现实场景中的位置,该相对位置关系可以预先存储于终端设备。上述设定位置可以位于交互区域内,也可以位于交互区域外,具体的设定位置在本申请实施例中可以不作为限定。例如,设定位置可以处于交互区域内的边缘区域,又例如,设定位置也可以处于交互区域外与边缘区域相邻的位置。
在一些实施方式中,终端设备可以据上述终端设备与交互设备之间的相对空间位置信息、以及虚拟效果内容需要叠加显示于现实场景中的设定位置与交互设备之间的相对位置关系,获取到虚拟效果内容的渲染位置,再根据渲染位置渲染出三维的虚拟效果内容。
具体地,终端设备可以根据终端设备与交互设备之间的相对空间位置信息,以及设定位置与交互设备之间的相对位置关系,获取设定位置的空间位置坐标,将该空间位置坐标转换为虚拟空间中的空间坐标。其中,虚拟空间中可包括虚拟摄像头,该虚拟摄像头用于模拟用户的人眼,虚拟摄像头在虚拟空间中的位置可看作终端设备在虚拟空间中的位置。终端设备可根据虚拟空间中虚拟效果内容与交互设备的位置关系,以虚拟摄像头作为参照,则可以获取到虚拟效果内容相对虚拟摄像头的空间位置,从而得到虚拟效果内容在虚拟空间中的渲染坐标,即得到了虚拟效果内容的渲染位置。其中,该渲染位置可用作虚拟效果内容的渲染坐标,以实现虚拟效果内容渲染于渲染位置处。其中,上述渲染坐标指的是虚拟效果内容在虚拟空间中以虚拟摄像头为原点(可看作是以人眼为原点)的三维空间坐标,渲染坐标也可以是以虚拟空间中的世界坐标原点建立的世界坐标表示。
在一些实施方式中,终端设备在得到用于虚拟空间中渲染虚拟效果内容的渲染坐标之后,终端设备可以获取到虚拟效果内容对应的内容数据(即上述的三维模型数据),然后根据该内容数据构建虚拟效果内容,以及根据上述渲染坐标渲染该虚拟效果内容。由于上述内容数据可以包括三维模型数据,因此渲染得到的虚拟效果内容可以为三维的效果内容。
步骤S150:对至少部分内容进行处理操作,并获取在处理操作过程中匹配的显示状态,控制虚拟效果内容按照显示状态进行显示。
终端设备在生成上述的虚拟效果内容之后,则可以执行对上述至少部分内容的上述处理操作,该处理操作与上述对该至少部分内容的设定操作匹配。并且,在对该至少部分内容进行处理操作的同时,终端设备显示上述虚拟效果内容。具体的,终端设备可以将虚拟效果内容转化为虚拟画面,获取虚拟画面的显示数据,该显示数据可以包括显示画面中各个像素点的RGB值及对应的像素点坐标等,终端设备可根据该显示数据生成显示画面,并将显示画面通过显示屏或投射模组投射到显示镜片上,显示出三维的虚拟效果内容。
从而用户可以通过头戴显示装置察看到上述至少部分被执行上述处理操作时,该处理操作对应的虚拟效果内容叠加显示于真实世界中,实现增强显示效果,提升处理操作的效果内容的显示效果,从而用户对显示内容进行操作的交互体验。
在一些实施方式中,终端设备还可以获取终端设备在对上述至少部分内容进行上述处理操作过程中,与该处理操作过程匹配的显示状态。其中,终端设备对上述至少部分内容进行处理操作的过程中,不同阶段可以对应不同的显示状态,该显示状态可以为虚拟效果内容对应的显示状态。显示状态可以包括虚拟效果内容的动态展示状态、静态展示状态、显示的方向、移动的方向、显示的比例大小、显示的数量等,当然,具体的显示状态在本申请实施例中可以不作为限定。
进一步的,终端设备在显示上述虚拟效果内容时,可以控制上述虚拟效果内容按照上述显示状态显示,从而实现在对上述至少部分内容进行处理操作的过程中,与虚拟操作对应的虚拟效果内容可以展现不同的显示状态,使虚拟效果内容与上述处理操作的过程对应,展现出动态的虚拟效果内容,从而使用户可以看到叠加于真实世界的动态的虚拟效果内容。
在一种应用场景中,请同时参见图6及图7,交互区域对应的显示内容包括应用图标304,终端设备在对应用图标304对应的应用程序进行卸载操作时,终端设备可以生成虚拟垃圾桶305。当终端设备开始对应用图标304对应的应用程序进行卸载时,可以控制该虚拟垃圾桶305以开启的显示状态显示。当终端设备完成对应用图标304的应用程序的卸载时,终端设备可以控制虚拟垃圾桶305以关闭的显示状态显示。从而用户可以看到在对上述应用图标304对应的应用程序进行卸载的过程中,整个虚拟垃圾桶305的变化,提升卸载过程中的显示效果,进而提升交互性。
本申请实施例提供的虚拟内容的显示方法,终端设备根据交互设备检测到的对交互区域对应的显示内容,进行的设定操作,对被操作的显示内容进行与设定操作对应的处理操作,并生成虚拟效果内容显示于虚拟空间,实现对交互区域对应的显示内容进行操作的同时,可以看到在虚拟效果内容叠加于真实空间的效果。另外,在对上述至少部分内容进行处理操作的过程中,与虚拟操作对应的虚拟效果内容可以展现不同的显示状态,使虚拟效果内容与上述处理操作的过程对应,展现出动态的虚拟效果内容,从而使用户可以看到叠加于真实世界的动态的虚拟效果内容,提高了用户与显示内容的交互性,加强了处理过程中的显示效果,增强了视觉效果。
请参阅图8,本申请另一实施例提供了虚拟内容的显示方法,可应用于上述终端设备,该虚拟内容的显示方法可以包括:
步骤S210:获取终端设备与交互设备之间的相对空间位置信息。
步骤S220:接收交互设备发送的第一操作数据,第一操作数据为交互设备根据交互区域检测到的触控操作生成。
在本申请实施例中,步骤S210以及步骤S220可以参阅上述实施例的内容,在此不再赘述。
步骤S230:当根据第一操作数据,确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与设定操作匹配的处理操作所对应的效果内容数据,效果内容数据包括第一内容数据以及第二内容数据。
在一些实施方式中,终端设备获取与设定操作匹配的处理操作所对应的效果内容数据,可以为获取该处理操作所对应的多个效果内容的效果内容数据。例如,多种效果内容可以包括动态效果内容以及静态效果内容,又例如,多种效果内容可以包括需要叠加显示于交互区域内的效果内容以及需要叠加显示于交互区域外的效果内容,再例如,多种效果内容可以包括处理操作的过程中多个阶段中每个阶段所对应的效果内容。当然,以上多种效果内容仅为举例。
进一步的,效果内容数据可以包括第一内容数据以及第二内容数据。第一内容数据可以是上述处理操作对应的效果内容中部分效果内容的内容数据,第二内容数据可以是上述处理操作对应的效果内容中其他效果内容的内容数据。作为一种具体的实施方式,第一内容数据可以是需要叠加显示于交互区域外的虚拟效果内容的内容数据,第二内容数据可以是需要叠加显示于交互区域内的虚拟效果内容的内容数据。当然,以上内容数据仅为举例。
步骤S240:获取交互区域外的第一设定位置,并获取第一设定位置与交互设备之间的第一相对位置关系。
在一些实施方式中,上述效果内容数据中包括需要叠加显示于交互区域外的效果内容的内容数据时,即包括上述第一内容数据时,终端设备可以获取交互区域外的第一设定位置,该第一设定位置则为需要叠加显示于交互区域外的效果内容在现实场景中的叠加位置。并且,终端设备可以获取第一设定位置与交互设备之间的第一相对位置关系,以便后续生成用于叠加显示于交互区域外的虚拟效果内容。
作为一种实施方式,终端设备可以读取预先存储的交互区域外的第一设定位置与交互设备之间的第一相对位置关系,也就是说,需要叠加显示于交互区域外的效果内容的叠加位置与交互设备之间的位置关系可以是固定的,即可以是上述第一内容数据对应的虚拟效果内容所要在现实场景中叠加显示的叠加位置,例如,上述第一设定位置可以处于交互区域外的左侧区域所在位置、右侧区域所在位置等。
当然,以上获取第一设定位置与交互设备之间的第一相对位置关系的方式可以不作为限定。例如,用户可通过交互设备的交互区域对第一设定位置进行选取,上述第一设定位置与交互设备之间的第一相对位置关系,也可以是根据对第一设定位置的选取操作,获得第一设定位置后,并确定第一设定位置与交互设备之间的第一相对位置关系。
步骤S250:获取交互区域内,与第一设定位置对应的第二设定位置,并获取第二设定位置与交互设备之间的第二相对位置关系。
在一些实施方式中,上述效果内容数据中包括需要叠加显示于交互区域内的效果内容的内容数据时,即包括第二内容数据时,终端设备可以获取交互区域内的第二设定位置,该第二设定位置则为需要叠加显示于现实场景中交互区域内的效果内容的显示位置,即可以是上述第二内容数据对应的虚拟效果内容所要在现实场景中叠加显示的叠加位置。并且,终端设备可以获取第二设定位置与交互设备之间的第二相对位置关系,以便后续生成用于叠加显示于交互区域内的虚拟效果内容。
在一些实施方式中,终端设备获取上述第二设定位置与交互设备之间的第二相对位置关系,也可以是获取预先存储的第二相对位置关系,或者根据至少部分内容的内容类型,确定第二相对位置关系等,在此不再赘述。
步骤S260:根据第一相对位置关系、相对空间位置信息以及第一内容数据,生成第一虚拟效果内容,并根据第二相对位置关系、相对空间位置信息以及第二内容数据,生成第二虚拟效果内容。
终端设备在获取到上述相对空间位置信息,效果内容数据,第一相对位置关系以及第二相对位置关系之后,则可以生成虚拟效果内容,以便对上述至少部分内容进行处理操作时,显示虚拟效果内容。
在一些实施方式中,上述第一内容数据为需要叠加显示于交互区域外的效果内容的内容数据,第二内容数据为需要叠加显示于交互区域内的效果内容的内容数据。因此,终端设备可以根据第一相对位置关系、相对空间位置信息以及第一内容数据,生成第一虚拟效果内容,即生成用于叠加显示于交互区域外的第一设定位置的第一虚拟效果内容。并且终端设备根据第二相对位置关系、相对空间位置信息以及第二内容数据,生成第二虚拟效果内容,即生成用于叠加显示于交互区域外的第二设定位置的第二虚拟效果内容。终端设备生成第一虚拟效果内容以及第二虚拟内容的方式可以参阅上述实施例的内容,在此不再赘述。
步骤S270:对至少部分内容进行处理操作,并获取在处理操作过程中匹配的显示状态,控制虚拟效果内容按照显示状态进行显示。
终端设备在生成虚拟效果内容,即生成上述第一虚拟效果内容以及第二虚拟效果内容后,则可以执行对上述至少部分内容的处理操作,并且显示虚拟效果内容。
在一些实施方式中,终端设备可以在对至少部分内容进行处理操作的过程中,根据处理过程中匹配的显示状态,控制虚拟效果内容按照该显示状态进行显示。上述进行处理操作的过程可以包括第一处理阶段以及第二处理阶段。作为一种实施方式,第一处理阶段中,终端设备可以显示第一虚拟效果内容或者第二虚拟效果内容,并在第二处理阶段中同时显示第一虚拟效果内容以及第二虚拟效果内容。作为另一种实施方式,终端设备可以在第一处理阶段同时显示第一虚拟效果内容以及第二虚拟效果内容,并在第二处理阶段中显示第一虚拟效果内容或者第二虚拟效果内容。作为又一种实施方式,终端设备可以在第一处理阶段显示第一虚拟效果内容,在第二处理阶段显示第二虚拟效果内容。作为再一种实施方式,终端设备可以在第一处理阶段显示第二虚拟效果内容,在第二处理阶段显示第一虚拟效果内容。当然,以上实施方式仅为举例,并不代表对第一虚拟内容以及第二虚拟内容的显示方式的限定。
在一种应用场景中,终端设备可以对至少部分内容进行剪切。请同时参见图9及图10,交互区域对应的显示内容包括图片内容306,终端设备100在对图片内容306进行复制或者剪切操作时,终端设备100可以生成上述图片内容306对应的第一虚拟效果内容308(即图片内容306所对应的虚拟内容),以及用于提示开始进行剪切的第二虚拟效果内容307,第二虚拟效果内容307用于叠加显示于交互区域内,第一虚拟效果内容308叠加用于显示于交互区域外。终端设备100在显示上述第一虚拟效果内容308以及第二虚拟效果内容307时,可以在终端设备100开始进行复制或者剪切时,对第二虚拟效果307内容进行显示,而在复制或者剪切完成时,显示第一虚拟效果内容308。从而使用户可以看到在图片内容306进行剪切后,显示有用于提示开始进行剪切的第二虚拟效果内容307,并在剪切完成后看到被剪切的图片内容306所对应的虚拟内容(即第一虚拟效果内容308)叠加显示于交互区域外,使用户可以看到剪切过程中的虚拟效果内容的变化,提升处理操作的效果的显示,进而提升交互性。
当然,以上应用场景仅为举例,本申请实施例提供的虚拟内容的显示方法也同样适用于对部分内容的其他操作。
本申请实施例提供的虚拟内容的显示方法,终端设备根据交互设备检测到的对交互区域对应的显示内容,进行的设定操作,生成可以叠加显示于交互区域内的第二虚拟内容和可以叠加显示于交互区域外的第一虚拟效果内容,对被操作的至少部分内容进行与设定操作对应的处理操作,并将第一虚拟效果内容以及第二虚拟效果内容显示于虚拟空间,实现对交互区域对应的显示内容进行操作的同时,可以看到在虚拟效果内容叠加于真实空间的效果。使用户可以看到叠加于真实世界的动态的虚拟效果内容,以及虚拟效果内容与处理过程匹配的变化,提高了用户与显示内容的交互性,加强了处理过程中的显示效果,增强了视觉效果。
请参阅图11,本申请又一实施例提供了虚拟内容的显示方法,可应用于上述终端设备,该虚拟内容的显示方法可以包括:
步骤S310:获取终端设备与交互设备之间的相对空间位置信息。
步骤S320:接收交互设备发送的第一操作数据,第一操作数据为交互设备根据交互区域检测到的触控操作生成。
在本申请实施例中,步骤S310以及步骤S320可以参阅上述实施例的内容,在此不再赘述。
步骤S330:当根据第一操作数据,确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与设定操作匹配的处理操作所对应的效果内容数据。
在一些实施方式中,终端设备在获取效果内容数据时,可以获取第一内容数据以及第二内容数据中的至少一种。其中,第一内容数据用于生成动态虚拟对象,第二内容数据用于生成静态虚拟对象。动态虚拟对象用于在显示时展现虚拟的动态效果,静态虚拟对象用于在显示时展现虚拟的静态效果。当然,具体的内容数据在本申请实施例中可以不作为限定。
步骤S340:根据相对空间位置信息以及效果内容数据生成虚拟效果内容,虚拟效果内容可以包括动态虚拟对象以及静态虚拟对象中的至少一种。
在本申请实施例中,步骤S340可以参阅上述实施例的内容,在此不再赘述。
在一些实施方式中,上述效果内容数据包括第一内容数据以及第二内容数据中的至少一种时,终端设备生成的虚拟效果内容可以包括动态虚拟对象以及静态虚拟对象中的至少一种。
步骤S350:对至少部分内容进行处理操作,并获取在处理操作过程中匹配的显示状态,控制动态虚拟对象和/或静态虚拟对象按照显示状态进行显示。
终端设备在生成虚拟效果内容后,则可以执行对上述至少部分内容的处理操作,并且显示虚拟效果内容。
作为一种实施方式,上述虚拟效果内容可以至少包括静态虚拟对象。请参阅图12,获取在处理操作过程中匹配的显示状态,控制虚拟效果内容按照显示状态进行显示,可以包括:
步骤S351:当至少部分内容处于第一处理阶段时,获取静态虚拟对象的第一显示状态,并控制静态虚拟对象按照第一显示状态进行显示。
步骤S352:当至少部分内容处于第二处理阶段时,获取静态虚拟对象的第二显示状态,并控制静态虚拟对象按照第二显示状态进行显示。
在一些实施方式中,终端设备对至少部分内容进行的处理操作的过程,可以包括有第一处理阶段以及第二处理阶段。其中,第一处理阶段以及第二处理阶段可以为对至少部分内容进行处理操作的过程中,不同时刻所处的阶段。例如,第一处理阶段可以是开始对至少部分内容开始进行处理操作时所处阶段,第二处理阶段则可以是结束处理操作时所处阶段。第一处理阶段以及第二处理阶段可以为对至少部分内容进行处理操作的过程中,两段处理过程分别所对应的阶段。例如,进行处理操作的过程分为两段过程,其中一段过程对应第一处理阶段,另一段过程对应第二处理阶段。上述静态虚拟对象在不同处理阶段,对应有不同的显示状态。其中,静态虚拟对象在第一处理阶段,对应第一显示状态;静态虚拟对象在第二处理阶段,对应第二显示状态。
进一步的,静态虚拟对象对应的显示状态可以包括静态虚拟对象的显示姿态、显示的比例大小、处于开启的状态、处于关闭的状态等。当然,具体静态虚拟对象对应的显示状态可以不作为限定。
终端设备控制虚拟效果内容按照显示状态进行显示时,则可以在对至少部分内容进行处理操作过程中,当处于处理操作过程中的第一处理阶段时,控制虚拟效果内容以第一显示状态进行显示,当处理处理操作过程中的第二处理阶段时,控制虚拟效果内容以第二显示状态进行显示。从而使用户可以看到在对至少部分内容进行处理操作的过程中,静态虚拟对象在不同处理阶段,以不同的显示状态进行显示,提升虚拟效果内容的显示效果。
例如,在一种应用场景中,终端设备可以对至少部分内容进行删除,终端设备可以生成静态虚拟对象(虚拟垃圾桶),交互区域对应的显示内容包括文档内容,终端设备在开始进行删除的过程作为第一处理阶段,删除完毕的过程作为第二处理阶段。终端设备在开始删除文档内容时,可以控制虚拟垃圾桶以开启的状态显示,终端设备在对文档内容删除完毕时,可以控制虚拟垃圾桶以关闭的状态显示,可以使用户看到叠加于真实空间中的虚拟垃圾桶,并且看到虚拟垃圾桶随着对文档内容删除的过程而变化,提升交互性。当然,以上应用场景仅为举例,并不代表对实际应用场景的限定,例如,也还可以应用到卸载应用程序的场景。
作为另一种实施方式,上述虚拟效果内容可以至少包括动态虚拟对象。请参阅图13,获取在处理操作过程中匹配的显示状态,控制虚拟效果内容按照显示状态进行显示,可以包括:
步骤S353:获取终端设备的姿态信息;
步骤S354:根据姿态信息确定重力方向,将重力方向作为移动方向;
步骤S355:控制动态虚拟对象按照移动方向进行动态显示。
在一些实施方式中,虚拟效果内容包括动态虚拟对象时,虚拟效果内容的显示状态可以包括动态虚拟对象的移动方向。终端设备可以根据重力方向,确定动态虚拟对象的移动方向,以便在将动态虚拟对象进行显示后,有较强的真实感。
在一些实施方式中,终端设备在确定重力方向时,可以根据终端设备的姿态信息,确定当前的重力方向。其中,终端设备的姿态信息可以由终端设备的IMU检测,当然,终端设备的姿态信息的获取方式可以不作为限定。当然,终端设备也可以根据重力传感器确定重力方向。
终端设备在显示需要进行移动的动态虚拟对象时,可以控制动态虚拟对象按照重力方向进行移动,实现动态显示,使动态虚拟对象的移动方向满足重力加速度的方向,增强动态虚拟对象显示时的真实感,提升显示效果。例如,终端设备在对文档内容进行删除时,动态虚拟对象包括虚拟碎片内容,则在文档内容被删除后,显示删除文档内容产生的虚拟碎片内容时,可以控制虚拟碎片内容按重力方向移动,展示出虚拟碎片内容下落的效果。当然,以上应用场景仅为举例,并不代表对实际应用场景的限定,例如,也还可以应用到卸载应用程序的场景。
作为又一种实施方式,上述虚拟效果内容可以至少包括动态虚拟对象.请参阅图14,获取在处理操作过程中匹配的显示状态,控制虚拟效果内容按照显示状态进行显示,可以包括:
步骤S356:根据第一操作数据获取触控操作的触控轨迹,并根据触控轨迹确定触控距离的变化信息;
步骤S357:按照触控距离的变化信息,动态显示与触控距离对应对象数量的动态虚拟对象。
在一些实施方式中,虚拟效果内容包括动态虚拟对象时,虚拟效果内容的显示状态可以包括动态虚拟对象的对象数量。具体地,终端设备可以根据交互设备发送的第一操作数据,确定交互区域检测到的触控操作的触控距离的变化信息。其中,触控轨迹的变化为终端设备开始对至少部分内容执行处理操作后,交互区域检测到的触控轨迹的变化。终端设备可以根据触控轨迹的变化,确定至少部分内容被触控操作时的触控距离的变化信息,并根据触控距离的变化信息确定需要显示的动态虚拟对象的对象数量。也就是说,触控距离的变化不同,可以对应不同的动态虚拟对象的对象数量。终端设备在显示虚拟效果内容时,则可以控制显示上述对象数量的动态虚拟对象。
在一些实施方式中,上述触控距离的不同的变化信息,可以触发对至少部分内容的不同程度的处理操作,例如,可以删除不同数量或者不同大小的内容,又例如,将不同数量或者不同大小的内容进行移动,再例如,可以复制或者剪切不同数量或者不同大小的内容。当然,以上不同程度的处理操作仅为举例。从而可以通过控制触控操作的触控距离,对至少部分内容的处理操作的程度进行控制,并且使用户可以看到不同程度的处理操作所对应的虚拟动态对象,提升交互性。另外,当触控距离的变化值达到一定阈值时,可以将至少部分内容中全部的内容进行处理操作,例如,删除至少部分内容中全部的内容。在上述触控轨迹的触控距离减小,即触控轨迹相比此前出现反向移动的变化时,也可以取消对至少部分内容的处理操作。
在对至少部分内容进行删除的应用场景中,在对至少部分内容进行删除时,可以根据上述触控距离的变化信息,删除至少部分内容中该触控距离所对应大小的内容。上述虚拟动态对象可以是删除至少部分内容所产生的虚拟碎片内容,终端设备在显示虚拟动态对象时,则可以显示触控距离的变化信息所对应的对象数量的虚拟碎片内容。例如,请参见图15、16及图17,在将图标311移动至虚拟垃圾桶305进行删除时,随着触控距离的增加(即向虚拟垃圾桶移动的距离增加),显示的虚拟文件碎片309的数量也随之增多。从而实现通过交互区域检测到的触控操作的触控距离的控制,而删除不同大小的至少部分内容,并且使用户可以看到删除不同大小的至少部分内容所对应的虚拟碎片内容,提升交互性。
在本申请实施例中,上述实施方式也可以结合进行。在一些实施方式中,虚拟效果内容包括静态虚拟对象以及动态虚拟对象时,静态虚拟对象可以按照上述第一处理阶段的第一显示状态进行显示,动态虚拟对象可以按照上述第二处理阶段的第二显示状态进行显示,而动态虚拟对象需要移动显示时,可以按照重力方向进行移动,并且其数量与触控操作的触控距离对应。例如,请参阅图18及图19,在对文档内容进行删除时,终端设备可以生成静态虚拟对象(虚拟垃圾桶305)以及动态虚拟对象(虚拟文件碎片309),交互区域202对应的显示内容包括文档内容301。终端设备在开始删除文档内容301时,可以控制虚拟垃圾桶305以开启的状态显示,终端设备在对文档内容301删除完毕时,可以控制虚拟垃圾桶305以关闭的状态显示,并且显示按重力方向进行移动的虚拟文件碎片309,可以使用户看到叠加于真实空间中的虚拟效果内容,并且看到虚拟效果内容随着对文档内容301删除的过程而变化,提升交互性。
当然,本申请实施例提供的虚拟内容的显示方法也可以与上述实施例进行结合,例如,可以将动态虚拟对象在交互区域外的第一设定位置进行显示,可以静态虚拟对象在交互区域内容内的第二设定位置进行显示。
本申请实施例提供的虚拟内容的显示方法,终端设备根据交互设备检测到的对交互区域对应的显示内容,进行的设定操作,生成可以虚拟效果内容,对被操作的至少部分内容进行与设定操作对应的处理操作,并将第一虚拟效果内容以及第二虚拟效果内容显示于虚拟空间,实现对交互区域对应的显示内容进行操作的同时,可以看到在虚拟效果内容叠加于真实空间的效果。另外,根据虚拟效果内容中包括的动态虚拟对象以及静态虚拟对象,控制动态虚拟对象以及静态虚拟对象按照不同的显示状态进行显示,使用户可以看到叠加于真实世界的动态的虚拟效果内容,以及虚拟效果内容与处理过程匹配的变化,提高了用户与显示内容的交互性,加强了处理过程中的显示效果,增强了视觉效果。
请参阅图20,本申请再一实施例提供了虚拟内容的显示方法,可应用于上述终端设备,该虚拟内容的显示方法可以包括:
步骤S410:获取终端设备与交互设备之间的相对空间位置信息。
步骤S420:接收交互设备发送的第一操作数据,第一操作数据为交互设备根据交互区域检测到的触控操作生成。
在本申请实施例中,步骤S410以及步骤S420可以参阅上述实施例的内容,在此不再赘述。
步骤S430:当根据第一操作数据,确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,生成并显示提示内容,提示内容用于提示用户是否对至少部分内容进行处理操作。
在本申请实施例中,当根据第一操作数据,确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,终端设备可以显示提示内容,提示内容用于提示是否对至少部分内容进行处理操作。
在一些实施方式中,终端设备可以获取用于生成上述提示内容的内容数据。其中,该提示内容的内容数据可以存储于终端设备中,当然,终端设备也可以从其他设备获取该提示内容的内容数据,具体获取该提示内容的内容数据的方式可以不作为限定。终端设备在获取提示内容的内容数据之后,则可以根据取提示内容需要于交互区域显示的位置与交互设备之间的相对位置关系、终端设备与交互设备之间的相对空间位置信息、以及提示内容的内容数据生成提示内容,并将提示内容进行显示。例如,请参见图21,交互区域202对应的显示内容包括文档内容301,终端设备在确定出对文档内容301的设定操作后,可以显示用于提示是否对文档内容301进行删除的提示内容310,并显示提示内容310。
步骤S440:当根据交互设备检测的第二操作数据,确定出提示内容被执行目标操作时,获取与设定操作匹配的处理操作所对应的效果内容数据,处理操作包括删除至少部分内容对应的至少部分文件数据。
终端设备在将提示内容进行显示后,当交互设备的交互区域检测到触控操作,则可以生成第二操作数据,并将第二操作数据发送至终端设备。终端设备根据第二操作数据,可以确定上述提示内容是否被执行目标操作,该目标操作可以是对提示内容中指定内容的确定操作,指定内容用于指示对至少部分内容进行处理操作。并且,当终端设备确定出提示内容被执行目标操作时,则可以确定执行对至少部分内容的处理操作,因此,可以获取处理操作所对应的效果内容数据,以便生成虚拟效果内容,并在对至少部分内容进行处理操作时进行显示。通过上述生成提示内容并进行显示,可以避免用户对至少部分内容的误操作。
在一些实施方式中,上述处理操作可以包括:删除至少部分内容对应的至少部分文件数据。也就是说,终端设备需要对至少部分内容进行的处理操作为:删除至少部分内容对应的至少部分文件数据。例如,至少部分内容为交互区域对应的显示内容中的文档内容时,则可以删除文档内容对应的至少部分文档数据。作为一种具体的实施方式,终端设备可以根据上述触控操作对应的触控距离,确定对至少部分内容对应的所有文件数据中需要删除的数据量或者文件大小。
进一步的,删除上述文件数据所对应的虚拟效果内容,可以包括:动态虚拟对象以及静态虚拟对象。终端设备获取用于生成动态虚拟对象以及静态虚拟对象的效果内容数据,可以包括:
获取至少部分文件数据对应的虚拟文件碎片的碎片内容数据,将碎片内容数据作为动态虚拟对象的内容数据;获取预先存储的虚拟容纳物的内容数据,将虚拟容纳物的内容数据作为静态虚拟对象的内容数据。
在一些实施方式中,终端设备在删除上述文件数据时,需要显示的虚拟效果内容可以包括虚拟文件碎片以及虚拟容纳物。其中,虚拟文件碎片可以作为上述动态虚拟对象,虚拟容纳物可以作为上述静态虚拟对象。上述虚拟容纳物可以为虚拟垃圾桶,在被显示时可以使用户看到文件数据被容纳的效果,并且虚拟垃圾桶可以包括多种样式,具体需要进行显示的虚拟垃圾桶可以预先设置,或者根据用户操作而设定。虚拟文件碎片可以表示文件数据被删除时产生的碎片,在被显示时可以使用户察看到文件被粉碎的效果。
在实际删除文件数据时,还可以根据不同的文件类型,获取不同的碎片内容数据,以便生成不同文件类型所对应的虚拟文件碎片。因此,获取至少部分文件数据对应的虚拟文件碎片的碎片内容数据,可以包括:获取至少部分文件数据对应的文件的文件类型;根据文件类型,获取文件类型对应的虚拟文件碎片的碎片内容数据。其中,上述文件类型可以包括文档类型、视频类型、图片类型、音频类型、应用图标类型等。当然,具体的文件类型可以不作为限定。不同的虚拟文件碎片可以通过形状(例如方片状、圆片状、球形、立方体形等)、颜色等区分,例如,文档类型对应的虚拟文件碎片可以为碎纸形状,音频文件对应的虚拟文件碎片可以是光碟碎裂时的形状。从而,终端设备可以后续生成不同文件类型所对应的虚拟文件碎片,在将虚拟文件碎片进行显示时,可以使用户看到被删除的文件数据所对应的虚拟文件碎片,提升真实感,进而提升交互性。
步骤S450:根据相对空间位置信息以及效果内容数据生成虚拟效果内容。
终端设备在获取到效果内容数据,即获取到上述碎片内容数据以及虚拟容纳物的内容数据之后,则可以生成虚拟效果内容。生成的虚拟效果内容可以包括虚拟文件碎片以及虚拟容纳物。具体生成虚拟效果内容的方式可以参阅上述实施例的内容,在此不再赘述。其中,在一些实施例中,虚拟效果内容需要叠加于现实场景中交互区域外的叠加位置,可以由至少部分内容的内容类型确定。也就是说,不同内容类型的内容对应的效果内容可以叠加显示于交互区域外不同的位置。
步骤S460:删除至少部分内容对应的至少部分文件数据,并获取在删除过程中匹配的显示状态,控制虚拟效果内容按照显示状态进行显示。
终端设备在生成上述虚拟文件碎片以及虚拟容纳物后,则可以删除至少部分内容对应的至少部分文件数据,并对虚拟文件碎片以及虚拟容纳物进行显示。从而可以使用户看到对文件数据删除的过程对应的虚拟效果内容。
在一些实施方式中,终端设备在显示虚拟文件碎片以及虚拟容纳物时,可以根据删除过程中虚拟文件碎片对应的显示状态以及虚拟容纳物对应的显示状态,控制虚拟文件碎片以及虚拟容纳物的显示。终端设备控制虚拟文件碎片以及虚拟容纳物按照显示状态进行显示,可以参阅上述实施例的方式进行。作为一种具体的实施方式,在开始删除虚拟文件碎片时,虚拟容纳物可以按照开启的状态进行显示,在删除文件数据完毕时,可以将虚拟容纳物以关闭的状态进行显示,并且将虚拟文件碎片进行显示,虚拟文件碎片可以按照以重力方向进行移动的动态显示方式进行显示。并且,显示的虚拟文件碎片的碎片数量可以与触控操作的触控距离对应。当然,以上虚拟文件碎片以及虚拟容纳物的显示方式仅为举例。
在一些实施方式中,终端设备需要生成的动态虚拟对象除上述虚拟文件碎片以外,还可以生成虚拟纸条内容,虚拟纸条内容可以用于表示被删除的至少部分内容的文件数据对应的文件。终端设备在对虚拟纸条内容、虚拟碎片内容以及虚拟容纳物进行显示时,可以是在开始删除文件数据时,将上述虚拟容纳物以开启状态进行显示后,显示虚拟纸条内容进入虚拟容纳物,在删除文件数据完毕时,则将虚拟容纳物以关闭的状态进行显示,并且将虚拟文件碎片进行显示。从而使用户可以看到虚拟纸条进入虚拟容纳物进行删除,并产生文件碎片的效果。
在一种应用场景中,请同时参见图18、图19及图22,终端设备在对文档内容301进行删除操作时,终端设备可以生成虚拟容纳物(虚拟垃圾桶305)、虚拟纸条内容310以及虚拟文件碎片309。当终端设备100开始对文档内容301进行删除时,可以控制该虚拟垃圾桶305以开启的显示状态显示,并且控制上述虚拟纸条内容310以进入上述虚拟垃圾桶305的显示状态进行显示。当终端设备完成对文档内容301的删除时,终端设备可以控制虚拟垃圾桶305以关闭的显示状态进行显示,并且可以于上述虚拟垃圾桶305的下方显示虚拟文件碎片309,并使用户可以通过看到头戴显示装置看到虚拟纸条内容310被粉碎,且产生的虚拟文件碎片309进行掉落的效果。从而用户可以看到在对上述文档内容301进行删除的过程中,整个虚拟效果内容的变化,提升显示效果,进而提升交互性。
本申请实施例提供的虚拟内容的显示方法,终端设备根据交互设备检测到的对交互区域对应的显示内容,进行的设定操作,可以生成提示内容并将提示内容进行显示,当确定出对提示内容的目标操作时,生成可以虚拟容纳物以及虚拟文件碎片,对至少部分内容对应的文件数据进行删除,并将虚拟容纳物以及虚拟文件碎片显示于虚拟空间,实现对交互区域对应的显示内容进行删除的同时,可以看到在虚拟效果内容叠加于真实空间的效果。并且可以使用户可以看到删除文件数据的过程中虚拟效果内容的变化,提高了用户与显示内容的交互性,加强了处理过程中的显示效果,增强了视觉效果。
请参阅图23,本申请还一实施例提供了虚拟内容的显示方法,可应用于上述终端设备,该虚拟内容的显示方法可以包括:
步骤S510:获取终端设备与交互设备之间的相对空间位置信息。
步骤S520:接收交互设备发送的第一操作数据,第一操作数据为交互设备根据交互区域检测到的触控操作生成。
在本申请实施例中,步骤S510以及步骤S520可以参阅上述实施例的内容,在此不再赘述。
步骤S530:当根据第一操作数据,确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与设定操作匹配的处理操作所对应的效果内容数据,处理操作包括将至少部分内容对应的图标移动至虚拟文件夹。
在一些实施方式中,在将至少部分内容移动至虚拟文件夹之前,还可以包括:获取文件夹的图标内容数据;根据相对空间位置信息以及图标内容数据,生成文件夹的虚拟文件夹,并将虚拟文件夹进行显示。
终端设备在获取到相对空间位置信息以及图标内容数据后,则可以根据对空间位置信息以及图标内容数据,生成图标需要移动至的虚拟文件夹。具体生成虚拟文件夹的方式可以参阅上述实施例的内容。步骤S540:将部分内容对应的图标移动至虚拟文件夹,并获取在处理操作过程中匹配的显示状态,控制虚拟文件夹按照显示状态进行显示。
终端设备在生成虚拟文件夹后,则可以将至少部分内容对应的图标移动至虚拟文件夹,并且控制虚拟文件夹按照显示状态进行显示。
在一些实施方式中,终端设备控制虚拟文件夹按照显示状态进行显示,可以包括:
控制虚拟文件夹显示为开启状态;将部分内容对应的图标按照设定缩小比例,进行比例缩小;动态显示比例缩小后的图标移动进入处于开启状态下虚拟文件夹;控制虚拟文件夹由开启状态显示为关闭状态。
请同时参见图24、图25及图26,交互区域202对应的显示内容包括图标311,终端设备可以在开始对图标311进行移动时,控制虚拟文件夹312以开启状态进行显示,然后动态显示按照设定缩小比例进行缩小后的图标311移动进入虚拟文件夹,最后在将图标311移动至文件夹后,控制虚拟文件夹312以关闭状态进行显示,从而可以使用户看到将图标311移动至文件夹的整个过程所对应的虚拟效果内容,提升显示效果,进而提升交互性。
本申请实施例提供的虚拟内容的显示方法,终端设备根据交互设备检测到的对交互区域对应的显示内容,进行的设定操作,生成可以虚拟文件夹,然后将被操作的至少部分内容对应的图标移动至文件夹,并将图标移动至虚拟文件夹的虚拟效果内容进行线损,使用户可以看到将图标移动至文件夹的整个过程所对应的虚拟效果内容,提高了用户与显示内容的交互性,加强了处理过程中的显示效果,增强了视觉效果。
请参见图27,其示出了本申请提供的一种虚拟内容的显示装置400的结构框图。该虚拟内容的显示装置400应用于终端设备,终端设备与交互设备连接,交互设备包括交互区域。该虚拟内容的显示装置400包括:位置获取模块410、数据接收模块420、数据获取模块430、内容生成模块440以及内容显示模块450。其中,位置获取模块410用于获取终端设备与交互设备之间的相对空间位置信息;数据接收模块420用于接收交互设备发送的第一操作数据,第一操作数据为交互设备根据交互区域检测到的触控操作生成;数据获取模块430用于当根据第一操作数据,确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与设定操作匹配的处理操作所对应的效果内容数据;内容生成模块440用于根据相对空间位置信息以及效果内容数据生成虚拟效果内容;内容显示模块450用于对至少部分内容进行处理操作,并获取在处理操作过程中匹配的显示状态,控制虚拟效果内容按照显示状态进行显示。
在一些实施方式中,效果内容数据包括第一内容数据和第二内容数据。内容显示模块450可以具体用于:获取交互区域外的第一设定位置,并获取第一设定位置与交互设备之间的第一相对位置关系;获取交互区域内,与第一设定位置对应的第二设定位置,并获取第二设定位置与交互设备之间的第二相对位置关系;根据第一相对位置关系、相对空间位置信息以及第一内容数据,生成第一虚拟效果内容,并根据第二相对位置关系、相对空间位置信息以及第二内容数据,生成第二虚拟效果内容。
在一些实施方式中,虚拟效果内容包括静态虚拟对象。内容显示模块450可以具体用于:当至少部分内容处于第一处理阶段时,获取静态虚拟对象的第一显示状态,并控制静态虚拟对象按照第一显示状态进行显示;当至少部分内容处于第二处理阶段时,获取静态虚拟对象的第二显示状态,并控制静态虚拟对象按照第二显示状态进行显示。
在一些实施方式中,虚拟效果内容包括动态虚拟对象,显示状态包括动态虚拟对象的移动方向。内容显示模块450可以具体用于:获取终端设备的姿态信息;根据姿态信息确定重力方向,将重力方向作为移动方向;控制动态虚拟对象按照移动方向进行动态显示。
在一些实施方式中,虚拟效果内容包括动态虚拟对象。内容显示模块450可以具体用于:根据第一操作数据获取触控操作的触控轨迹,并根据触控轨迹确定触控距离的变化信息;按照变化信息,动态显示与触控距离对应对象数量的动态虚拟对象。
在一些实施方式中,虚拟效果内容包括动态虚拟对象以及静态虚拟对象。内容显示模块450可以具体用于:删除至少部分内容对应的至少部分文件数据。数据获取模块430可以具体用于:获取至少部分文件数据对应的虚拟文件碎片的碎片内容数据,将碎片内容数据作为动态虚拟对象的内容数据;获取预先存储的虚拟容纳物的内容数据,将虚拟容纳物的内容数据作为静态虚拟对象的内容数据。
进一步的,数据获取模块430获取至少部分文件数据对应的虚拟文件碎片的碎片内容数据,可以包括:获取至少部分文件数据对应的文件的文件类型;根据文件类型,获取文件类型对应的虚拟文件碎片的碎片内容数据。
在一些实施方式中,内容显示模块450可以具体用于:将部分内容对应的图标移动至文件夹。效果内容数据包括文件夹的图标内容数据。内容生成模块440可以具体用于:根据相对空间位置信息以及图标内容数据,生成文件夹对应的虚拟文件夹。
进一步的,内容显示模块450还可以具体用于:控制虚拟文件夹显示为开启状态;将部分内容对应的图标按照设定缩小比例,进行比例缩小;动态显示比例缩小后的图标移动进入处于开启状态下虚拟文件夹;控制虚拟文件夹由开启状态显示为关闭状态。
在本申请实施例中,该虚拟内容的显示装置400还可以包括内容提示模块。内容提示模块用于生成并显示提示内容,提示内容用于提示用户是否对部分内容进行处理操作。当根据交互设备检测的第二操作数据,确定出提示内容被执行目标操作时,数据获取模块430获取与设定操作匹配的处理操作所对应的效果内容数据。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
本申请又还一实施例提供了虚拟内容的显示方法,可应用于上述交互设备,交互设备与终端设备连接,交互设备包括交互区域,该虚拟内容的显示方法可以包括:通过交互区域对触控操作进行检测;当根据交互区域检测到的触控操作,确定出交互区域显示的显示内容中至少部分内容被执行设定操作时,向终端设备发送生成指令,生成指令用于指示终端设备获取与设定操作匹配的处理操作所对应的效果内容数据,并根据终端设备与交互设备之间的相对空间位置信息以及效果内容数据,生成虚拟效果内容;对至少部分内容进行与设定操作匹配的处理操作,并在处理操作的过程中发送显示指令至终端设备,显示指令用于指示终端设备获取在处理操作过程中匹配的显示状态,控制虚拟效果内容按照显示状态进行显示。
请再次参阅图1,本申请实施例提供了一种虚拟内容的显示系统10,虚拟内容的显示系统10包括终端设备100以及交互设备200,终端设备100与交互设备200连接,交互设备200包括交互区域202。其中,交互设备200用于根据交互区域202检测到的触控操作生成第一操作数据,并将第一操作数据发送至终端设备100;终端设备100用于接收第一操作数据,当根据第一操作数据,确定出交互区域202对应的显示内容中至少部分内容被执行设定操作时,获取终端设备100与交互设备200之间的相对空间位置信息,以及获取与设定操作匹配的处理操作所对应的效果内容数据,根据相对空间位置信息以及效果内容数据生成虚拟效果内容,对至少部分内容进行处理操作,并获取与处理操作匹配的显示状态,控制虚拟效果内容按照显示状态进行显示。
在一些实施方式中,上述实施例中的终端设备可以外接式/接入式的头戴显示装置,头戴显示装置与交互设备连接。其中,头戴显示装置可以仅完成虚拟效果内容等其他虚拟内容的显示,以及标记物图像的采集,上述关于对虚拟效果内容的生成、对至少部分内容的处理操作等所有的处理操作,均可由交互设备完成,交互设备在生成虚拟效果内容后,将虚拟效果内容对应的显示画面传输至头戴显示装置,即可完成虚拟效果内容的显示。
综上,本申请提供的方案,终端设备通过获取终端设备与交互设备之间的相对空间位置信息,接收交互设备发送的第一操作数据,第一操作数据为交互设备根据交互区域检测到的触控操作生成,当根据第一操作数据,确定出交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与设定操作匹配的处理操作所对应的效果内容数据,再根据上述相对空间位置信息以及上述效果内容数据生成虚拟效果内容,最后对上述至少部分内容进行上述处理操作,并获取在处理过程中匹配的显示状态,控制上述虚拟效果内容按照该显示状态进行显示。可以利用交互设备对显示内容进行处理操作,并在处理操作过程中实时将与操作相关的虚拟效果内容叠加显示到真实环境中,将虚拟效果与处理操作结合可帮助引导用户更好地进行交互,既提高了用户与显示内容的交互性,也加强了处理过程中的显示效果,增强了视觉效果。
请参考图28,其示出了本申请实施例提供的一种终端设备的结构框图。该终端设备100可以是智能手机、头戴显示装置等能够运行应用程序的终端设备。本申请中的终端设备100可以包括一个或多个如下部件:处理器110、存储器120、图像采集装置130以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器120中并被配置为由一个或多个处理器110执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器110可以包括一个或者多个处理核。处理器110利用各种接口和线路连接整个终端设备100内的各个部分,通过运行或执行存储在存储器120内的指令、程序、代码集或指令集,以及调用存储在存储器120内的数据,执行终端设备100的各种功能和处理数据。可选地,处理器110可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器110中,单独通过一块通信芯片进行实现。
存储器120可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器120可用于存储指令、程序、代码、代码集或指令集。存储器120可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储终端100在使用中所创建的数据等。
在本申请实施例中,图像采集装置130用于采集标记物的图像。图像采集装置130可以为红外摄像头,也可以是彩色摄像头,具体的摄像头类型在本申请实施例中并不作为限定。
请参见图29,其示出了本申请实施例提供的一种交互设备的结构框图。该交互设备可以为智能手机、平板电脑等具有交互区域的电子设备,该交互区域可以包括触控板或者触控屏。交互设备200可以包括一个或多个如下部件:处理器210、存储器220以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器220中并被配置为由一个或多个处理器210执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
请参考图30,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。
Claims (14)
1.一种虚拟内容的显示方法,其特征在于,应用于终端设备,所述终端设备与交互设备连接,所述交互设备包括交互区域,所述方法包括:
获取所述终端设备与所述交互设备之间的相对空间位置信息;
接收所述交互设备发送的第一操作数据,所述第一操作数据为所述交互设备根据所述交互区域检测到的触控操作生成;
当根据所述第一操作数据,确定出所述交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与所述设定操作匹配的处理操作所对应的效果内容数据;
根据所述相对空间位置信息以及效果内容数据生成虚拟效果内容;
对所述至少部分内容进行所述处理操作,并获取在所述处理操作过程中匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示。
2.根据权利要求1所述的方法,其特征在于,所述效果内容数据包括第一内容数据和第二内容数据;
所述根据所述相对空间位置信息以及效果内容数据生成虚拟效果内容,包括:
获取所述交互区域外的第一设定位置,并获取所述第一设定位置与所述交互设备之间的第一相对位置关系;
获取所述交互区域内,与所述第一设定位置对应的第二设定位置,并获取所述第二设定位置与所述交互设备之间的第二相对位置关系;
根据所述第一相对位置关系、相对空间位置信息以及第一内容数据,生成第一虚拟效果内容,并根据所述第二相对位置关系、相对空间位置信息以及第二内容数据,生成第二虚拟效果内容。
3.根据权利要求1所述的方法,其特征在于,所述虚拟效果内容包括静态虚拟对象;
所述获取在所述处理操作过程中匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示,包括:
当所述至少部分内容处于第一处理阶段时,获取所述静态虚拟对象的第一显示状态,并控制所述静态虚拟对象按照所述第一显示状态进行显示;
当所述至少部分内容处于第二处理阶段时,获取所述静态虚拟对象的第二显示状态,并控制所述静态虚拟对象按照所述第二显示状态进行显示。
4.根据权利要求1所述的方法,其特征在于,所述虚拟效果内容包括动态虚拟对象,所述显示状态包括所述动态虚拟对象的移动方向;
所述获取在所述处理操作过程中匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示,包括:
获取所述终端设备的姿态信息;
根据所述姿态信息确定重力方向,将所述重力方向作为所述移动方向;
控制所述动态虚拟对象按照所述移动方向进行动态显示。
5.根据权利要求1所述的方法,其特征在于,所述虚拟效果内容包括动态虚拟对象,所述显示状态包括所述动态虚拟对象的对象数量;
所述获取在所述处理操作过程中匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示,包括:
根据所述第一操作数据获取所述触控操作的触控轨迹,并根据所述触控轨迹确定触控距离的变化信息;
按照所述变化信息,动态显示与所述触控距离对应对象数量的动态虚拟对象。
6.根据权利要求1所述的方法,其特征在于,所述虚拟效果内容包括动态虚拟对象以及静态虚拟对象,所述对所述至少部分内容进行所述处理操作,包括:
删除所述至少部分内容对应的至少部分文件数据;
所述获取与所述设定操作匹配的处理操作所对应的效果内容数据,包括:
获取所述至少部分文件数据对应的虚拟文件碎片的碎片内容数据,将所述碎片内容数据作为所述动态虚拟对象的内容数据;
获取预先存储的虚拟容纳物的内容数据,将所述虚拟容纳物的内容数据作为所述静态虚拟对象的内容数据。
7.根据权利要求6所述的方法,其特征在于,所述获取所述至少部分文件数据对应的虚拟文件碎片的碎片内容数据,包括:
获取所述至少部分文件数据对应的文件的文件类型;
根据所述文件类型,获取所述文件类型对应的虚拟文件碎片的碎片内容数据。
8.根据权利要求1所述的方法,其特征在于,在所述对所述至少部分内容进行所述处理操作之前,所述方法还包括:
获取文件夹的图标内容数据;
根据所述相对空间位置信息以及所述图标内容数据,生成所述文件夹的虚拟文件夹,并将所述虚拟文件夹进行显示;
所述对所述至少部分内容进行所述处理操作,包括:
将所述至少部分内容对应的图标移动至所述虚拟文件夹。
9.根据权利1-8任一项所述的方法,其特征在于,在所述获取与所述设定操作匹配的处理操作所对应的效果内容数据之前,所述方法还包括:
生成并显示提示内容,所述提示内容用于提示用户是否对所述至少部分内容进行所述处理操作;
当根据所述交互设备检测的第二操作数据,确定出所述提示内容被执行目标操作时,执行所述获取与所述设定操作匹配的处理操作所对应的效果内容数据。
10.一种虚拟内容的显示方法,其特征在于,应用于交互设备,所述交互设备与终端设备连接,所述交互设备包括交互区域,所述方法包括:
通过所述交互区域对触控操作进行检测;
当根据所述交互区域检测到的触控操作,确定出所述交互区域显示的显示内容中至少部分内容被执行设定操作时,向所述终端设备发送生成指令,所述生成指令用于指示所述终端设备获取与所述设定操作匹配的处理操作所对应的效果内容数据,并根据所述终端设备与所述交互设备之间的相对空间位置信息以及所述效果内容数据,生成虚拟效果内容;
对所述至少部分内容进行与所述设定操作匹配的处理操作,并在所述处理操作的过程中发送显示指令至所述终端设备,所述显示指令用于指示所述终端设备获取在所述处理操作过程中匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示。
11.一种虚拟内容的显示装置,其特征在于,应用于终端设备,所述终端设备与交互设备连接,所述交互设备包括交互区域,所述装置包括:位置获取模块、数据接收模块、数据获取模块、内容生成模块以及内容显示模块,其中,
所述位置获取模块用于获取所述终端设备与所述交互设备之间的相对空间位置信息;
所述数据接收模块用于接收所述交互设备发送的第一操作数据,所述第一操作数据为所述交互设备根据所述交互区域检测到的触控操作生成;
所述数据获取模块用于当根据所述第一操作数据,确定出所述交互区域对应的显示内容中至少部分内容被执行设定操作时,获取与所述设定操作匹配的处理操作所对应的效果内容数据;
所述内容生成模块用于根据所述相对空间位置信息以及效果内容数据生成虚拟效果内容;
所述内容显示模块用于对所述至少部分内容进行所述处理操作,并获取在所述处理操作过程中匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示。
12.一种虚拟内容的显示系统,其特征在于,所述系统包括终端设备以及交互设备,所述终端设备与所述交互设备连接,所述交互设备包括交互区域,其中,
所述交互设备用于根据所述交互区域检测到的触控操作生成第一操作数据,并将所述第一操作数据发送至所述终端设备;
所述终端设备用于接收所述第一操作数据,当根据所述第一操作数据,确定出所述交互区域对应的显示内容中至少部分内容被执行设定操作时,获取所述终端设备与所述交互设备之间的相对空间位置信息,以及获取与所述设定操作匹配的处理操作所对应的效果内容数据,根据所述相对空间位置信息以及效果内容数据生成虚拟效果内容,对所述至少部分内容进行所述处理操作,并获取与所述处理操作匹配的显示状态,控制所述虚拟效果内容按照所述显示状态进行显示。
13.一种终端设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-9任一项所述的方法。
14.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-10任一项所述的方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910377209.2A CN111913562A (zh) | 2019-05-07 | 2019-05-07 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910377209.2A CN111913562A (zh) | 2019-05-07 | 2019-05-07 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN111913562A true CN111913562A (zh) | 2020-11-10 |
Family
ID=73242694
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201910377209.2A Pending CN111913562A (zh) | 2019-05-07 | 2019-05-07 | 虚拟内容的显示方法、装置、终端设备及存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN111913562A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112445567A (zh) * | 2020-12-08 | 2021-03-05 | 安徽鸿程光电有限公司 | 显示数据的控制方法、装置、设备及计算机可读存储介质 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8502780B1 (en) * | 2012-11-20 | 2013-08-06 | Lg Electronics Inc. | Head mount display and method for controlling the same |
US20140232637A1 (en) * | 2011-07-11 | 2014-08-21 | Korea Institute Of Science And Technology | Head mounted display apparatus and contents display method |
KR20150025122A (ko) * | 2013-08-28 | 2015-03-10 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 디바이스 및 그 제어 방법 |
CN105917268A (zh) * | 2014-02-20 | 2016-08-31 | Lg电子株式会社 | 头戴式显示器及其控制方法 |
CN107250891A (zh) * | 2015-02-13 | 2017-10-13 | Otoy公司 | 头戴式显示器与真实世界对象之间的相互通信 |
-
2019
- 2019-05-07 CN CN201910377209.2A patent/CN111913562A/zh active Pending
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20140232637A1 (en) * | 2011-07-11 | 2014-08-21 | Korea Institute Of Science And Technology | Head mounted display apparatus and contents display method |
US8502780B1 (en) * | 2012-11-20 | 2013-08-06 | Lg Electronics Inc. | Head mount display and method for controlling the same |
KR20150025122A (ko) * | 2013-08-28 | 2015-03-10 | 엘지전자 주식회사 | 헤드 마운트 디스플레이 디바이스 및 그 제어 방법 |
CN105917268A (zh) * | 2014-02-20 | 2016-08-31 | Lg电子株式会社 | 头戴式显示器及其控制方法 |
CN107250891A (zh) * | 2015-02-13 | 2017-10-13 | Otoy公司 | 头戴式显示器与真实世界对象之间的相互通信 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112445567A (zh) * | 2020-12-08 | 2021-03-05 | 安徽鸿程光电有限公司 | 显示数据的控制方法、装置、设备及计算机可读存储介质 |
CN112445567B (zh) * | 2020-12-08 | 2023-12-26 | 安徽鸿程光电有限公司 | 显示数据的控制方法、装置、设备及计算机可读存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7109553B2 (ja) | 追加オブジェクトの表示方法及びその、装置、コンピュータ装置並びに記憶媒体 | |
CN109885245B (zh) | 应用控制方法、装置、终端设备及计算机可读取存储介质 | |
CN111158469A (zh) | 视角切换方法、装置、终端设备及存储介质 | |
CN110442245A (zh) | 基于物理键盘的显示方法、装置、终端设备及存储介质 | |
CN110597439B (zh) | 截屏方法、装置、电子设备及计算机可读介质 | |
CN110163942B (zh) | 一种图像数据处理方法和装置 | |
CN111383345B (zh) | 虚拟内容的显示方法、装置、终端设备及存储介质 | |
JP6514376B1 (ja) | ゲームプログラム、方法、及び情報処理装置 | |
US20240078703A1 (en) | Personalized scene image processing method, apparatus and storage medium | |
JP7403583B2 (ja) | ゲームシーンの処理方法、装置、記憶媒体及び電子デバイス | |
US20210192751A1 (en) | Device and method for generating image | |
CN111766936A (zh) | 虚拟内容的控制方法、装置、终端设备及存储介质 | |
CN112044065A (zh) | 虚拟资源的显示方法、装置、设备及存储介质 | |
CN111913674A (zh) | 虚拟内容的显示方法、装置、系统、终端设备及存储介质 | |
CN111913639B (zh) | 虚拟内容的交互方法、装置、系统、终端设备及存储介质 | |
WO2018227230A1 (en) | System and method of configuring a virtual camera | |
US20110037731A1 (en) | Electronic device and operating method thereof | |
CN111813214A (zh) | 虚拟内容的处理方法、装置、终端设备及存储介质 | |
JP6924285B2 (ja) | 情報処理装置 | |
JP5733941B2 (ja) | ゲーム装置およびゲームシステム | |
CN111913562A (zh) | 虚拟内容的显示方法、装置、终端设备及存储介质 | |
CN111913560A (zh) | 虚拟内容的显示方法、装置、系统、终端设备及存储介质 | |
JP4871226B2 (ja) | 認識装置および認識方法 | |
CN110688018A (zh) | 虚拟画面的控制方法、装置、终端设备及存储介质 | |
CN111913565B (zh) | 虚拟内容控制方法、装置、系统、终端设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |