CN111459432A - 虚拟内容的显示方法、装置、电子设备及存储介质 - Google Patents

虚拟内容的显示方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN111459432A
CN111459432A CN202010238172.8A CN202010238172A CN111459432A CN 111459432 A CN111459432 A CN 111459432A CN 202010238172 A CN202010238172 A CN 202010238172A CN 111459432 A CN111459432 A CN 111459432A
Authority
CN
China
Prior art keywords
position information
virtual content
coordinate system
spatial
spatial position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010238172.8A
Other languages
English (en)
Other versions
CN111459432B (zh
Inventor
杜鹏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong Oppo Mobile Telecommunications Corp Ltd filed Critical Guangdong Oppo Mobile Telecommunications Corp Ltd
Priority to CN202010238172.8A priority Critical patent/CN111459432B/zh
Publication of CN111459432A publication Critical patent/CN111459432A/zh
Priority to PCT/CN2021/079126 priority patent/WO2021196973A1/zh
Application granted granted Critical
Publication of CN111459432B publication Critical patent/CN111459432B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种虚拟内容的显示方法、装置、电子设备及存储介质,该虚拟内容的显示方法应用于第一设备,该虚拟内容的显示方法包括:所述第一设备显示目标空间坐标系中的虚拟内容;获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息;将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备,所述第一空间位置信息以及所述第二空间位置信息用于所述第二设备生成所述虚拟内容,并将所述虚拟内容进行显示。本方法可以实现增强显示中的多人交互,以共同显示虚拟内容。

Description

虚拟内容的显示方法、装置、电子设备及存储介质
技术领域
本申请涉及显示技术领域,更具体地,涉及一种虚拟内容的显示方法、装置、电子设备及存储介质。
背景技术
随着科技的进步,增强现实(AR,Augmented Reality)等技术已逐渐成为国内外研究的热点。增强现实是通过计算机系统提供的信息增加用户对现实世界感知的技术,已经广泛应用到教育、游戏、医疗等各个领域中。在传统的增强现实的显示技术中,在利用设备进行显示内容时,设备仅能单独显示虚拟内容,如果多个用户需要观看同样的内容时,难以做到同时进行观看。
发明内容
鉴于上述问题,本申请提出了一种虚拟内容的显示方法、装置、电子设备及存储介质。
第一方面,本申请实施例提供了一种虚拟内容的显示方法,应用于第一设备,所述方法包括:所述第一设备显示目标空间坐标系中的虚拟内容;获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息;将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备,所述第一空间位置信息以及所述第二空间位置信息用于所述第二设备生成所述虚拟内容,并将所述虚拟内容进行显示。
第二方面,本申请实施例提供了一种虚拟内容的显示方法,应用于第二设备,所述方法包括:接收第一设备发送的第一空间位置信息以及第二空间位置信息,所述第一空间位置信息为所述第一设备显示的虚拟内容于目标空间坐标系中的空间位置信息,所述第二空间位置信息为所述第一设备于所述目标空间坐标系中的空间位置信息;获取所述第二设备相对所述第一设备的空间位置关系;根据所述空间位置关系以及所述第二空间位置信息,获取所述第二设备于所述目标空间坐标系中的第三空间位置信息;根据所述第三空间位置信息以及所述第一空间位置信息,生成所述虚拟内容,并将所述虚拟内容进行显示。
第三方面,本申请实施例提供了一种虚拟内容的显示装置,应用于第一设备,所述装置包括:内容显示模块、第一获取模块以及位置发送模块,其中,所述内容显示模块用于所述第一设备显示目标空间坐标系中的虚拟内容,所述目标空间坐标系为所述第一设备对应的空间坐标系;所述第一获取模块用于获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息;所述位置发送模块用于将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备,所述第一空间位置信息以及所述第二空间位置信息用于所述第二设备生成所述虚拟内容,并将所述虚拟内容进行显示。
第四方面,本申请实施例提供了一种虚拟内容的显示装置,应用于第二设备,所述装置包括:位置接收模块、第二获取模块、第三获取模块以及内容生成模块,其中,所述位置接收模块用于接收第一设备发送的第一空间位置信息以及第二空间位置信息,所述第一空间位置信息为所述第一设备显示的虚拟内容于目标空间坐标系中的空间位置信息,所述第二空间位置信息为所述第一设备于所述目标空间坐标系中的空间位置信息;所述第二获取模块用于获取所述第二设备相对所述第一设备的空间位置关系;所述第三获取模块用于根据所述空间位置关系以及所述第二空间位置信息,获取所述第二设备于所述目标空间坐标系中的第三空间位置信息;所述内容生成模块用于根据所述第三空间位置信息以及所述第一空间位置信息,生成所述虚拟内容,并将所述虚拟内容进行显示。
第五方面,本申请实施例提供了一种电子设备,包括:一个或多个处理器;存储器;一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行上述第一方面提供的虚拟内容的显示方法、或者执行上述第二方面提供的虚拟内容的显示方法。
第六方面,本申请实施例提供了一种计算机可读取存储介质,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行上述第一方面提供的虚拟内容的显示方法、或者执行上述第二方面提供的虚拟内容的显示方法。
本申请提供的方案,通过第一设备显示目标空间坐标系中的虚拟内容,获取该虚拟内容于该目标空间坐标系中的第一空间位置信息,以及该第一设备于该目标空间坐标系中的第二空间位置信息,将该第一空间位置信息以及该第二空间位置信息发送至第二设备,该第一空间位置信息以及该第二空间位置信息用于该第二设备生成该虚拟内容,并将该虚拟内容进行显示,从而可以实现第一设备将显示的虚拟内容以及第一设备于空间坐标系中的位置发送至第二设备,使第二设备可以根据接收的位置,在同样的位置渲染该虚拟内容,实现设备之间共同显示虚拟内容,完成多人AR方案的实现,提升用户体验。
附图说明
为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1示出了适用于本申请实施例的应用场景的一种示意图。
图2示出了根据本申请一个实施例的虚拟内容的显示方法流程图。
图3示出了本申请一个实施例提供的一种显示效果示意图
图4示出了根据本申请另一个实施例的虚拟内容的显示方法流程图。
图5示出了本申请另一个实施例提供的一种显示效果示意图。
图6示出了本申请另一个实施例提供的另一种显示效果示意图。
图7示出了根据本申请又一个实施例的虚拟内容的显示方法流程图。
图8示出了根据本申请再一个实施例的虚拟内容的显示方法流程图。
图9示出了本申请一个实施例提供的空间坐标的示意图。
图10示出了根据本申请又另一个实施例的虚拟内容的显示方法流程图。
图11示出了根据本申请一个实施例的虚拟内容的显示装置的一种框图。
图12示出了根据本申请另一个实施例的虚拟内容的显示装置的一种框图。
图13是本申请实施例的用于执行根据本申请实施例的虚拟内容的显示方法的电子设备的框图。
图14是本申请实施例的用于保存或者携带实现根据本申请实施例的虚拟内容的显示方法的程序代码的存储单元。
具体实施方式
为了使本技术领域的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
增强现实(AR,Augmented Reality)是通过计算机系统提供的信息增加用户对现实世界感知的技术,其将计算机生成的虚拟对象、场景或系统提示信息等内容对象叠加到真实场景中,来增强或修改对现实世界环境或表示现实世界环境的数据的感知。
在传统的AR的技术方案中,通常为单人使用自己的AR设备(例如AR头盔、AR眼镜等)来观看虚拟内容。但是在一些场景中,需要完成多人之间交互方案,这时候需要共享显示相同的虚拟内容。
发明人经过长时间的研究发现,在需要完成多人之间共享显示虚拟内容时,通常只是各个设备将虚拟内容单独的进行显示,而虚拟内容叠加于现实场景中的位置可能各个相同。这就可能导致不同的用户处于不同的位置时,却可能看到同一角度的虚拟内容。
针对上述问题,发明人提出了本申请实施例提供的虚拟内容的显示方法、装置、电子设备以及存储介质,可以设备将其在目标空间坐标系中的位置以及显示的虚拟内容的位置共享给其他设备,其他设备可以根据其相对该设备的位置关系,来显示虚拟内容,达成共享显示虚拟内容,使处于不同位置和角度的用户观看到同一物体的不同内容。其中,具体的虚拟内容的显示方法在后续的实施例中进行详细的说明。
下面对本申请实施例提供的数据处理方法的应用场景进行介绍。
请参阅图1,示出了本申请实施例提供的虚拟内容的显示方法的应用场景的一种示意图,该应用场景包括显示系统10,显示系统10可以应用于多人AR的场景,该显示系统10可以包括多个电子设备,例如图1中示例性地示出了第一设备100以及第二设备200。
在一些实施方式中,电子设备可以是头戴显示装置,也可以是手机、平板电脑等移动设备。电子设备为头戴显示装置时,头戴显示装置可以为一体式头戴显示装置(例如AR眼镜等)。电子设备也可以是与外接式/接入式头戴显示装置连接的手机等智能终端,即电子设备可作为头戴显示装置的处理和存储设备,插入或者接入外接式头戴显示装置,在头戴显示装置中对虚拟内容进行显示。电子设备也可以是单独的手机等移动终端,移动终端可以生成虚拟场景并于屏幕中进行显示。
在一些实施方式中,不同的电子设备可以处于同一现实场景中,且电子设备之间可相互通信。每个电子设备具备定位与地图构建(SLAM,simultaneous localization andmapping)功能,和/或,6自由度(DOF,degree of freedom)追踪功能。其中,SLAM是AR技术中的关键技术之一,通过SLAM,AR设备可以实时检测自身所处的位置和姿态,根据自身的位置和对所在场景的构建来实时渲染虚拟物体(图像),达到逼真的效果。为了进行地图构建,首先需要对设备自身进行6DOF检测,6DoF追踪为用户提供了前所未有的互动体验和对虚拟世界的控制,可以说,6DoF追踪是虚拟世界与现实世界建立联系的基础,是AR技术实现颠覆式体验的前提。电子设备之间的通信方式可以不作为限定,例如,可以为蓝牙、紫峰(zigbee)、光保真(LIFI,Light Fidelity)等通信方式。
在一些实施方式中,电子设备之间还可以对其他设备进行定位,以现实场景中获取相对其他电子设备的相对位置关系。电子设备可以在显示虚拟内容时,将虚拟内容及自身处于空间坐标系中的位置信息传输给其他电子设备,其他电子设备可以根据接收到的位置,并根据定位的相对传输位置信息的电子设备的位置关系,在现实场景中的同样位置处叠加显示虚拟内容。
当然,电子设备之间也可以同时与一个中转设备通信连接,电子设备之间可以通过中转设备,进行位置信息的传输,进而实现相同虚拟内容的显示。其中,中转设备可以为路由器、服务器等,在此不做限定。
下面结合附图在实施例中对具体的虚拟内容的显示方法进行介绍。
请参阅图2,图2示出了本申请一个实施例提供的虚拟内容的显示虚拟内容的显示方法的流程示意图。该虚拟内容的显示方法应用于上述显示系统中的第一设备,该显示系统还包括第二设备。下面将针对图2所示的流程进行详细的阐述,该虚拟内容的显示方法具体可以包括以下步骤:
步骤S110:所述第一设备显示目标空间坐标系中的虚拟内容。
在本申请实施例中,显示系统中的第一设备可以对虚拟内容进行显示。其中,该虚拟内容为第一设备于目标空间坐标系中生成的显示内容。该虚拟内容可以叠加显示于第一设备所处的现实场景中,实现增强现实的现实效果。
在一些实施方式中,第一设备将虚拟内容叠加到现实场景中,可以是根据虚拟空间的目标空间坐标系与现实空间的空间坐标系的变换关系,将虚拟内容需要叠加到现实场景的位置,映射到虚拟空间中,并生成虚拟物体,从而实现在现实场景中叠加虚拟物体。其中,第一设备可以通过定位与地图构建,获取其在现实场景中的位置和姿态,根据位置和姿态构建目标空间坐标系,并建立起现实空间的空间坐标系到虚拟空间的目标空间坐标系的映射。其中,目标空间坐标系可以是虚拟空间中以第一设备为原点的空间坐标系,也可以为以其他位置为原点的空间坐标系。
作为一种实施方式,第一设备根据虚拟内容需要叠加到显示场景中的叠加位置,确定虚拟内容的像素坐标,然后根据像素坐标,将现实场景的场景图像与虚拟内容进行合成,得到合成图像,再将合成图像进行显示。具体地,第一设备进行现实空间中的空间坐标系与虚拟空间中的目标空间坐标系的映射后,也就是获知两者的转换关系之后,根据叠加位置确定虚拟内容融合到场景图像中的像素坐标。第一设备在将虚拟内容与场景图像进行合成时,可以根据像素坐标,将虚拟内容融合到场景图像中,获得到合成图像中,虚拟内容与场景图像中的实体物体融合到一起,后续进行显示的图像,可以使用户观察到增强现实的显示效果。
作为另一种实施方式,第一设备为头戴显示设备,当然第一设备也可以为与外接式头戴显示装置连接的移动终端,也就是说虚拟内容是通过头戴显示装置进行显示。第一设备可以获取虚拟内容需要叠加到现实场景中的叠加位置,以及虚拟内容的内容数据,生成虚拟内容,实现虚拟内容叠加到第一设备所处的现实场景。其中,第一设备可以根据该叠加位置,以及现实空间中的空间坐标系与虚拟空间中的目标空间坐标系的转换关系,将叠加位置转换为目标空间坐标系中的空间位置,也就获得了虚拟物体在目标空间坐标系中所需要显示的空间位置。再根据该空间位置以及虚拟内容的内容数据,对虚拟内容进行渲染,从而完成了虚拟内容的生成。
在一些实施方式中,第一设备可以根据用户的触发操作,来触发生成和显示虚拟内容。其中,触发操作可以为用户于显示屏上的触控操作,具体可以通过设定的滑动手势、滑动轨迹等触发;触发操作也可以为根据拍摄的手势图像,根据手势图像确定出手势为设定的手势后,确定出的操作,具体的触发操作的形式可以不做限定。
在以上实施方式中,第一设备在生成虚拟内容之后,可以将对虚拟内容与场景图像合成的图像显示于显示屏;或者,第一设备在渲染虚拟内容之后,可以获取虚拟内容的画面显示数据,该画面显示数据可以包括显示画面中各个像素点的RGB值以及对应的像素点坐标等,第一设备可以根据画面显示数据生成虚拟画面,并将将生成的虚拟画面通过投射模组投射到显示镜片上,进而显示出虚拟内容,用户可以通过显示镜片,看到虚拟内容叠加显示于现实场景中的相应位置处,实现增强现实的显示效果。
步骤S120:获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息。
在本申请实施例中,在第一设备需要与第二设备共享显示虚拟内容时,第一设备可以获取虚拟内容于以上目标空间坐标系中的第一空间位置信息,以及该第一设备于该目标空间坐标系中的第二空间位置信息。其中,第一空间位置信息以及第二空间位置信息可以为目标空间坐标系中的空间坐标,例如,可以为六自由度所构成的坐标。
在一些实施方式中,第一设备在构建目标空间坐标系,以及获取现实空间的空间坐标系与目标空间坐标系的转换关系时,可以将其在现实场景中的空间位置映射到目标空间坐标系中,从而获取到第一设备处于该目标空间坐标系中的空间位置信息,并将获得的空间位置信息作为第二空间位置信息。第一设备在渲染虚拟内容时,由于其是在目标空间坐标系中进行渲染,因此可以根据渲染位置,来确定虚拟内容于目标空间坐标系中的空间位置信息,并将该空间位置信息作为第一空间位置信息,当然,第一设备也可以直接识别虚拟内容于目标空间坐标系中的空间坐标。
步骤S130:将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备,所述第一空间位置信息以及所述第二空间位置信息用于所述第二设备生成所述虚拟内容,并将所述虚拟内容进行显示。
在本申请实施例中,第一设备在获得其显示的虚拟内容在目标空间坐标系中的第一空间位置信息,以及该第一设备在目标空间坐标系中的第二空间位置信息之后,则可以将第一空间位置信息以及第二空间位置信息发送至第二设备。其中,第二设备与第一设备可以处于相同的现实场景。第二设备在获得第一设备显示的虚拟内容在目标空间坐标系中的第一空间位置信息,以及第一设备在目标空间坐标系中的第二空间位置信息之后,则可以识别现实场景中与第一设备的相对位置关系,然后根据相对位置关系以及第二空间位置信息,确定第二设备于目标空间坐标系中的空间位置,再根据确定的空间位置,以及第一空间位置信息,对虚拟内容进行显示,从而可以实现多个设备在同一现实场景中的相同位置共享显示虚拟内容,并且由于第一设备以及第二设备处于现实场景中的不同位置,因此可以看到不同角度的虚拟内容。例如,如图3所示,第一设备100以及第二设备200可以共同显示虚拟游戏人物,并且第一设备100以及第二设备200在现实场景中的位置不同,能看到不同视角下的虚拟游戏人物。
本申请实施例提供的虚拟内容的显示方法,通过第一设备显示目标空间坐标系中的虚拟内容,获取该虚拟内容于该目标空间坐标系中的第一空间位置信息,以及该第一设备于该目标空间坐标系中的第二空间位置信息,将该第一空间位置信息以及该第二空间位置信息发送至第二设备,该第一空间位置信息以及该第二空间位置信息用于该第二设备生成该虚拟内容,并将该虚拟内容进行显示,从而可以实现第一设备将显示的虚拟内容以及第一设备于空间坐标系中的位置发送至第二设备,使第二设备可以根据接收的位置,在同样的位置渲染该虚拟内容,实现设备之间共同显示虚拟内容,使处于不同位置和角度的用户观看到同一物体的不同内容,完成多人AR方案的实现。
请参阅图4,图4示出了本申请另一个实施例提供的虚拟内容的显示方法的流程示意图。该虚拟内容的显示方法应用于上述显示系统中的第一设备,该显示系统还包括第二设备。其中,第一设备以及第二设备可以为头戴显示设备,例如可以为AR眼镜等。下面将针对图4所示的流程进行详细的阐述,该虚拟内容的显示方法具体可以包括以下步骤:
步骤S210:所述第一设备获取于所处现实环境中的位置信息及姿态信息。
在本申请实施例中,第一设备在显示虚拟内容时,可以获取其在所处现实环境中的位置信息及姿态信息,以便在现实场景中的相应位置处叠加显示虚拟内容。
在一些实施方式中,第一设备可以通过定位与地图构建,和/或,六自由度追踪,获取第一设备所处现实环境中的位置信息及姿态信息。其中,第一设备在进行定位与地图构建时,不仅可以建立起现实场景的地图,还可以获取其在现实场景中的位置和姿态,另外也可以根据位置和姿态来建立虚拟空间的目标空间坐标系,并获得目标空间坐标系与现实空间的空间坐标系之间的转换关系。第一设备通过6DOF追踪,也可以获得其所处现实环境中的位置信息及姿态信息。当然,第一设备获取于所处现实环境中的位置信息及姿态信息的方式可以不作为限定,例如,也可以通过识别标记物(例如marker贴图)来确定。
步骤S220:获取所述虚拟内容需要叠加显示的位置与所述第一设备的相对位置关系。
在本申请实施例中,第一设备在显示虚拟内容时,还需获取虚拟内容需要叠加显示的位置与第一设备的相对位置关系,也就是需要获知虚拟内容需要于现实场景中的位置。作为一种方式,该相对位置关系可以预先设置于第一设备,第一设备可以读取该相对位置关系;作为另一种方式,该相对位置关系也可以根据用户的操作确定,例如,根据用户于现实场景中指定的位置,获取虚拟内容需要叠加显示的位置与第一设备的相对位置关系。当然,具体获取该相对位置关系的方式可以不作为限定。
步骤S230:根据所述位置信息、所述姿态信息以及所述相对位置关系,确定所述虚拟内容于目标空间坐标系中的第一空间位置信息。
在本申请实施例中,第一设备在显示虚拟内容时,可以根据获得的第一设备所处现实场景中的位置信息、姿态信息以及虚拟内容需要叠加显示的位置与第一设备的相对位置关系,来确定虚拟内容于目标空间坐标系中的第一空间位置信息。也就是说,将虚拟内容叠加显示的位置映射到虚拟空间的目标空间坐标系中,以根据映射获得的空间位置来渲染虚拟内容。
在一些实施方式中,第一设备可以根据其位置信息以及姿态信息,获取第一设备于目标空间坐标系中的第二空间位置信息。具体地,第一设备可以根据现实空间的空间坐标系与虚拟空间的目标空间坐标系的转换关系,将其现实空间中所处的位置映射到虚拟空间的目标空间坐标系中,从而获得第一设备于目标空间坐标系中的第二空间位置信息。
第一设备在获得于目标空间坐标系中的第二空间位置信息之后,则可以根据相对位置关系,确定虚拟内容于目标空间坐标系中的第一空间位置信息。具体地,第一设备可以将该相对位置关系,也映射到虚拟空间的目标空间坐标系中,之后则可以映射后的位置关系,以及第二空间位置信息,来计算虚拟内容于目标空间坐标系中的第一空间位置信息。
在另一些实施方式中,第一设备也可以根据该相对位置关系,以及第一设备在现实场景中的位置信息及姿态信息,来确定虚拟内容于现实空间中的空间位置,然后再将该空间位置映射到虚拟空间的目标空间坐标系中,从而获得虚拟内容于目标空间坐标系中的第一空间位置信息。
步骤S240:根据所述第一空间位置信息,于所述目标空间坐标系中生成所述虚拟内容并将所述虚拟内容进行显示。
在本申请实施例中,第一设备在确定出虚拟内容于目标空间坐标系中的第一空间位置信息之后,则可以根据该第一空间位置信息,以及虚拟内容的内容数据,来生成虚拟内容。并且第一设备可以根据其当前的位置和姿态,确定来渲染虚拟内容,并将渲染的虚拟内容进行显示,从而实现了虚拟内容的增强现实的显示效果,使第一设备的用户能够看到在当前的位置和姿态下所能看到的虚拟内容。例如,请同时参阅图5及图6,虚拟内容为虚拟的电脑主机时,第一设备在第一位置和第一姿态的情况下,能够看到处于第一视角下的电脑主机,第一设备在第二位置和第二姿态的情况下,能够看到处于第二视角下的电脑主机。
步骤S250:检测是否接收到所述第二设备发送的虚拟内容的共享请求。
在本申请实施例中,第二设备可以向第一设备发起共享请求,以请求共享第一设备所显示的虚拟内容,完成多人共享显示相同的虚拟内容。因此,第一设备可以实时对第二设备发起的共享请求进行检测,以在接收到共享请求时,将相应的信息发送至第二设备,完成虚拟内容的共享显示。
步骤S260:如果接收到所述共享请求,获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息。
在本申请实施例中,如果第一设备检测到在接收到共享请求时,则可以获取虚拟内容于目标空间坐标系中的第一空间位置信息,以及第一设备于目标空间坐标系中的第二空间位置信息,以便后续发送至第二设备。
在一些实施方式中,第一设备可以根据第一设备于目标空间坐标系中生成所述虚拟内容时所使用的空间位置信息,确定虚拟内容于所述目标空间坐标系中的第一空间位置信息。第一设备可以根据第一设备构建目标空间坐标系时获得的信息,或者,根据第一设备于所处现实环境中的位置信息及姿态信息,获取第一设备于所述目标空间坐标系中的第二空间位置信息。其中,第一设备在进行构建地图时,可以构建虚拟空间的目标空间坐标系,并获得到第一设备于目标空间坐标系中的空间位置,因此,如果第一设备的位置和姿态未发生变化的情况下,可以直接使用该空间位置作为第二空间位置信息。在第一设备的位置和姿态发生变化的情况下,第一设备则可以获取当前在现实场景中的位置信息和姿态信息,并根据位置信息和姿态信息,以及现实空间的空间坐标系与目标空间坐标系的转换关系,来确定出第一设备于目标空间坐标系中的第二空间位置信息。
步骤S270:将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备,所述第一空间位置信息以及所述第二空间位置信息用于所述第二设备生成所述虚拟内容,并将所述虚拟内容进行显示。
在本申请实施例中,步骤S270可以参阅前述实施例的内容,在此不再赘述。
本申请实施例提供的虚拟内容的显示方法,第一设备通过获取于所处现实环境中的位置信息及姿态信息,获取虚拟内容需要叠加显示的位置与第一设备的相对位置关系,然后根据该位置信息、姿态信息以及相对位置关系,确定虚拟内容于目标空间坐标系中的第一空间位置信息,再根据第一空间位置信息,于目标空间坐标系中生成虚拟内容并将虚拟内容进行显示。当接收到第二设备的共享请求时,获取虚拟内容于目标空间坐标系中的第一空间位置信息,以及该第一设备于目标空间坐标系中的第二空间位置信息,并将第一空间位置信息以及第二空间位置信息发送至第二设备,使第二设备可以根据接收的位置,在同样的位置渲染该虚拟内容,实现设备之间共同显示虚拟内容,使处于不同位置和角度的用户观看到同一物体的不同内容,完成多人AR方案的实现。
请参阅图7,图7示出了本申请又一个实施例提供的虚拟内容的显示方法的流程示意图。该虚拟内容的显示方法应用于上述显示系统中的第一设备,该显示系统还包括第二设备。其中,第一设备以及第二设备可以为头戴显示设备,例如可以为AR眼镜等。下面将针对图7所示的流程进行详细的阐述,该虚拟内容的显示方法具体可以包括以下步骤:
步骤S310:所述第一设备显示目标空间坐标系中的虚拟内容。
步骤S320:获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息。
步骤S330:将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备,所述第一空间位置信息以及所述第二空间位置信息用于所述第二设备生成所述虚拟内容,并将所述虚拟内容进行显示。
在本申请实施例中,步骤S310至步骤S330可以参阅前述实施例的内容,在此不再赘述。
步骤S340:根据检测到的对所述虚拟内容的操作,对所述虚拟内容进行更新显示。
在本申请实施例中,第一设备对应的用户还可以对虚拟内容进行操作。其中,操作可以包括对虚拟内容的任意操作,例如,移动、编辑或是其他交互操作等。当第一设备检测到对虚拟内容的操作时,则可以根据操作对虚拟内容进行更新显示。例如,当检测到对虚拟内容进行的移动操作时,这可以将虚拟内容进行相应的移动,并将移动后的虚拟内容进行显示;又例如,当检测到对虚拟内容进行的放大操作时,这可以将虚拟内容进行相应的放大,并将放大后的虚拟内容进行显示。
步骤S350:将更新后的虚拟内容的第一内容数据发送至所述第二设备。
在本申请实施例中,第一设备在对虚拟内容更新显示后,则可以将更新后的虚拟内容的第一内容数据发送至第二设备。其中,第一内容数据可以包括虚拟内容于目标空间坐标系中的空间位置信息、用于渲染虚拟内容的模型数据等。第二设备在接收到第一内容数据之后,则可以根据第一内容数据,对虚拟内容进行同步的更新显示,从而实现设备之间对应虚拟内容的共同显示,增加显示的互动性。
步骤S360:将所述第二设备对应的权限信息发送至所述第二设备,所述权限信息包括对所述虚拟内容的操作权限。
在本申请实施例中,在第一设备与第二设备共享显示虚拟内容的方案中,第一设备还可以允许第二设备对应的用户对虚拟内容进行操作。第一设备可以将第二设备对应的权限信息发送至第二设备,该权限信息可以包括对虚拟内容的操作权限。其中,操作权限可以包括允许对虚拟内容进行的操作等。通过该方式,可以实现对第二设备对虚拟内容的操作的权限控制,以满足相应场景的需求。
步骤S370:接收所述第二设备发送的所述虚拟内容的第二内容数据,所述第二内容数据为所述第二设备根据所述操作权限对应的操作,对所述虚拟内容进行更新显示时生成的内容数据。
在本申请实施例中,第一设备可以接收第二设备发送的所述虚拟内容的第二内容数据。可以理解的,第二设备对应的用户可以对虚拟内容进行以上操作权限对应的操作,相应的,第二设备在检测到操作之后,根据检测到的操作,对虚拟内容进行更新显示,并将更新显示后的虚拟内容的内容数据发送至第一设备,完成虚拟内容的同步显示。
步骤S380:根据所述第二内容数据,对所述虚拟内容进行更新显示。
在本申请实施例中,第一设备在接收到第二内容数据之后,则可以根据接收到的第二内容数据,重新渲染虚拟内容,并将新渲染的虚拟内容进行显示,从而完成对虚拟内容的同步更新。
例如,在一些游戏场景中,通过本申请实施例提供的虚拟内容的显示方法,可以实现用户之间对游戏对象共同进行操作,并对游戏对象同步显示,实现多人AR游戏。
本申请实施例提供的虚拟内容的显示方法,通过第一设备显示目标空间坐标系中的虚拟内容,获取该虚拟内容于该目标空间坐标系中的第一空间位置信息,以及该第一设备于该目标空间坐标系中的第二空间位置信息,将该第一空间位置信息以及该第二空间位置信息发送至第二设备,该第一空间位置信息以及该第二空间位置信息用于该第二设备生成该虚拟内容,并将该虚拟内容进行显示,从而可以实现第一设备将显示的虚拟内容以及第一设备于空间坐标系中的位置发送至第二设备,使第二设备可以根据接收的位置,在同样的位置渲染该虚拟内容,实现设备之间共同显示虚拟内容,使处于不同位置和角度的用户观看到同一物体的不同内容,完成多人AR方案的实现。另外,第一设备以及第二设备均可以运行用户对虚拟内容进行操作,并对虚拟内容进行更新显示,第一设备与第二设备之间还同步更新后的虚拟内容,以完成虚拟内容的同步显示,提升用户体验。
请参阅图8,图8示出了本申请又一个实施例提供的虚拟内容的显示方法的流程示意图。该虚拟内容的显示方法应用于上述显示系统中的第二设备,该显示系统还包括第一设备。下面将针对图8所示的流程进行详细的阐述,所述虚拟内容的显示方法具体可以包括以下步骤:
步骤S410:接收第一设备发送的第一空间位置信息以及第二空间位置信息,所述第一空间位置信息为所述第一设备显示的虚拟内容于目标空间坐标系中的空间位置信息,所述第二空间位置信息为所述第一设备于所述目标空间坐标系中的空间位置信息。
在本申请实施例中,第二设备可以对第一设备发送的第一空间位置信息以及第二空间位置信息进行接收。具体的第一设备获取第一空间位置信息以及第二空间位置信息的方式,可以参阅前述实施例的内容,在此不再赘述。
步骤S420:获取所述第二设备相对所述第一设备的空间位置关系。
在本申请实施例中,第二设备与第一设备处于同一现实场景,因此第二设备可以获取其相对第一设备的空间位置关系。其中,第二设备获取相对第一设备的空间位置关系的方式可以不作为限定,例如,第二设备可以通过深度相机可以检测第一设备的所处距离和角度,得到相对第一设备的空间位置关系,又例如,第二设备也可以通过红外检测的方式来获取相对第一设备的空间位置关系。
步骤S430:根据所述空间位置关系以及所述第二空间位置信息,获取所述第二设备于所述目标空间坐标系中的第三空间位置信息。
在本申请实施例中,第二设备在获得相对第一设备的空间位置关系之后,则可以根据该空间位置关系,以及第一设备于目标空间坐标系中的第二空间位置信息,确定第二设备于目标空间坐标系中的第三空间位置信息。其中,第二设备可以根据现实空间的空间坐标系与目标空间坐标系之间的转换关系,将空间位置关系映射到目标空间坐标系中,然后再根据映射后的空间位置关系,以及第二空间位置信息,确定第二设备于目标空间坐标系中的第三空间位置信息。现实空间的空间坐标系与目标空间坐标系之间的转换关系可以从第一设备获得。
步骤S440:根据所述第三空间位置信息以及所述第一空间位置信息,生成所述虚拟内容,并将所述虚拟内容进行显示。
在本申请实施例中,第二设备在获得其于目标空间坐标系中的第三空间位置信息之后,可以根据第三空间位置信息以及第一空间位置信息,来生成虚拟内容,并将虚拟内容进行显示。
例如,如图9所示,第二设备可以根据目标空间坐标系中第一设备的空间位置(x1,y2,z3,α1,β1,γ1)以及相对第一设备的空间位置关系,计算第二设备的空间位置(x2,y2,z2,α2,β2,γ2)之后,根据目标空间坐标系中第二设备的空间位置(x2,y2,z2,α2,β2,γ2),以及目标空间坐标系中虚拟内容的空间位置(x0,y0,z0,α0,β0,γ0)来生成虚拟内容,并将虚拟内容进行显示。
作为一种实施方式,目标空间坐标系为第一设备对应的空间坐标系。第二设备可以获取第二设备于指定空间坐标系中的第四空间位置信息,该指定空间坐标系为第二设备对应的空间坐标系,其中指定空间坐标系可以由第二设备进行构建现实场景的地图进行建立,第二设备根据识别其所处现实场景中的位置和姿态,从而确定出于指定空间坐标系中的第三空间位置信息。具体第二设备获取处于指定空间坐标系中的空间位置信息的方式,可以参阅第一设备获取其处于目标空间坐标系中的空间位置信息的方式。
第二设备在获取到其处于指定空间坐标系中的第四空间位置信息之后,根据第三空间位置信息以及第四空间位置信息,获取指定空间坐标系与目标空间坐标系之间的转换关系。具体地,第二设备可以根据第三空间位置信息以及第四空间位置信息,获得目标空间坐标系与指定空间坐标系之间的坐标系变换数据,例如获得坐标系变换矩阵等,并将坐标系变换数据作为目标空间坐标系与指定空间坐标系之间的坐标系转换关系。也就是完成了第一设备与第二设备之间的坐标系的映射。
然后,第二设备基于该转换关系,将第一空间位置信息转换为指定空间坐标系中的第五空间位置信息,再根据第五空间位置信息,生成指定空间坐标系中的所述虚拟内容,并将虚拟内容进行显示。
作为另一种实施方式,第二设备可以根据其于目标空间坐标系中的第三空间位置信息以及第一设备于目标空间中的第二空间位置信息,构建目标空间坐标系,然后第二设备根据第一空间位置信息,生成目标空间坐标系中的虚拟内容,并将虚拟内容进行显示。从而,第一设备与第二设备均采用相同的坐标系来生成虚拟内容,实现坐标系的统一,并且第二设备可以与第一设备显示相同的虚拟内容,使处于不同位置的用户能看到该虚拟内容的不同角度的内容。
本申请实施例提供的虚拟内容的显示方法,第二设备通过接收第一设备发送的第一空间位置信息以及第二空间位置信息,然后获取第二设备相对第一设备的空间位置关系,再根据空间位置关系以及第二空间位置信息,获取第二设备于目标空间坐标系中的第三空间位置信息,最后根据第三空间位置信息以及第一空间位置信息,生成虚拟内容,并将虚拟内容进行显示。从而可以实现第二设备根据第一设备显示的虚拟内容的位置,在同样的位置处渲染该虚拟内容,实现设备之间共同显示虚拟内容,使处于不同位置和角度的用户观看到同一物体的不同内容,完成多人AR方案的实现。
请参阅图10,图10示出了本申请又另一个实施例提供的虚拟内容的显示方法的流程示意图。该虚拟内容的显示方法应用于上述显示系统,该显示系统包括第一设备及第二设备,第一设备与第二设备通信连接。下面将针对图10所示的流程进行详细的阐述,所述虚拟内容的显示方法具体可以包括以下步骤:
步骤S510:所述第一设备显示目标空间坐标系中的虚拟内容;
步骤S520:所述第一设备获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息;所述第一设备显示目标空间坐标系中的虚拟内容;
步骤S530:所述第一设备将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备;
步骤S540:所述第二设备接收第一设备发送的第一空间位置信息以及第二空间位置信息;
步骤S550:所述第二设备获取所述第二设备相对所述第一设备的空间位置关系;
步骤S560:所述第二设备根据所述空间位置关系以及所述第二空间位置信息,获取所述第二设备于所述目标空间坐标系中的第三空间位置信息;
步骤S570:所述第二设备根据所述第三空间位置信息以及所述第一空间位置信息,生成所述虚拟内容,并将所述虚拟内容进行显示。
在本申请实施例中,所述第一设备以及所述第二设备执行的步骤的具体内容可以参阅前述实施例的内容,在此不再赘述。
请参阅图11,其示出了本申请一个实施例提供的一种虚拟内容的显示装置400的结构框图。该虚拟内容的显示装置400应用上述的显示中的第一设备,该显示系统还包括第二设备。该虚拟内容的显示装置400包括:内容显示模块410、第一获取模块420以及位置发送模块430。其中,所述内容显示模块410用于所述第一设备显示目标空间坐标系中的虚拟内容,所述目标空间坐标系为所述第一设备对应的空间坐标系;所述第一获取模块420用于获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息;所述位置发送模块430用于将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备,所述第一空间位置信息以及所述第二空间位置信息用于所述第二设备生成所述虚拟内容,并将所述虚拟内容进行显示。
在一些实施方式中,内容显示模块410可以具体用于:所述第一设备获取于所处现实环境中的位置信息及姿态信息;获取所述虚拟内容需要叠加显示的位置与所述第一设备的相对位置关系;根据所述位置信息、所述姿态信息以及所述相对位置关系,确定所述虚拟内容于目标空间坐标系中的第一空间位置信息;根据所述第一空间位置信息,于所述目标空间坐标系中生成所述虚拟内容并将所述虚拟内容进行显示。
在该实施方式中,内容显示模块410可以根据所述位置信息、所述姿态信息以及所述相对位置关系,确定所述虚拟内容于目标空间坐标系中的第一空间位置信息,可以包括:根据所述位置信息以及所述姿态信息,获取所述第一设备于所述目标空间坐标系中的第二空间位置信息;根据所述相对位置关系,确定所述虚拟内容于目标空间坐标系中的第一空间位置信息。
在该实施方式中,内容显示模块410获取于所处现实环境中的位置信息及姿态信息,可以包括:所述第一设备通过定位与地图构建,和/或,六自由度追踪,获取所述第一设备所处现实环境中的位置信息及姿态信息。
在一些实施方式中,第一获取模块420可以具体用于:根据所述第一设备于所述目标空间坐标系中生成所述虚拟内容时所使用的空间位置信息,确定所述虚拟内容于所述目标空间坐标系中的第一空间位置信息;根据所述第一设备构建所述目标空间坐标系时获得的信息,或者,根据所述第一设备于所处现实环境中的位置信息及姿态信息,获取所述第一设备于所述目标空间坐标系中的第二空间位置信息。
在一些实施方式中,该虚拟内容的显示装置400还可以包括:请求接收模块。请求接收模块用于检测是否接收到所述第二设备发送的虚拟内容的共享请求。如果接收到所述共享请求,第一获取模块420获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息。
在一些实施方式中,该虚拟内容的显示装置400还可以包括:第一更新模块,用于根据检测到的对所述虚拟内容的操作,对所述虚拟内容进行更新显示;内容发送模块,用于将更新后的虚拟内容的第一内容数据发送至所述第二设备。
在一些实施方式中,该虚拟内容的显示装置400还可以包括:权限发送模块,用于将所述第二设备对应的权限信息发送至所述第二设备,所述权限信息包括对所述虚拟内容的操作权限;内容接收模块,用于接收所述第二设备发送的所述虚拟内容的第二内容数据,所述第二内容数据为所述第二设备根据所述操作权限对应的操作,对所述虚拟内容进行更新显示时生成的内容数据;第二更新模块,用于根据所述第二内容数据,对所述虚拟内容进行更新显示。
请参阅图12,其示出了本申请又一个实施例提供的一种虚拟内容的显示装置500的结构框图。该虚拟内容的显示装置500应用上述的显示中的第二设备,该显示系统还包括第一设备。该虚拟内容的显示装置500包括:位置接收模块510、第二获取模块520、第三获取模块530以及内容生成模块54。其中,所述位置接收模块51用于接收第一设备发送的第一空间位置信息以及第二空间位置信息,所述第一空间位置信息为所述第一设备显示的虚拟内容于目标空间坐标系中的空间位置信息,所述第二空间位置信息为所述第一设备于所述目标空间坐标系中的空间位置信息;所述第二获取模块520用于获取所述第二设备相对所述第一设备的空间位置关系;所述第三获取模块530用于根据所述空间位置关系以及所述第二空间位置信息,获取所述第二设备于所述目标空间坐标系中的第三空间位置信息;所述内容生成模块540用于根据所述第三空间位置信息以及所述第一空间位置信息,生成所述虚拟内容,并将所述虚拟内容进行显示。
作为一种实施方式,所述目标空间坐标系为所述第一设备对应的空间坐标系。内容生成模块540可以具体用于:获取所述第二设备于指定空间坐标系中的第四空间位置信息,所述指定空间坐标系为所述第二设备对应的空间坐标系;根据所述第三空间位置信息以及所述第四空间位置信息,获取所述指定空间坐标系与所述目标空间坐标系之间的转换关系;基于所述转换关系,将所述第一空间位置信息转换为所述指定空间坐标系中的第五空间位置信息;根据所述第五空间位置信息,生成所述指定空间坐标系中的所述虚拟内容,并将所述虚拟内容进行显示。
作为另一种实施方式,内容生成模块540也可以具体用于:根据所述第三空间位置信息以及所述第二空间位置信息,构建所述目标空间坐标系;根据所述第一空间位置信息,生成所述目标空间坐标系中的所述虚拟内容,并将所述虚拟内容进行显示。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述装置和模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,模块相互之间的耦合可以是电性,机械或其它形式的耦合。
另外,在本申请各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。
本申请实施例还提供了一种显示系统,该显示系统可以包括第一设备以及第二设备。第一设备与第二设备可进行数据传输。其中,第一设备用于:显示目标空间坐标系中的虚拟内容;获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息;将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备,所述第一空间位置信息以及所述第二空间位置信息用于所述第二设备生成所述虚拟内容,并将所述虚拟内容进行显示。第二设备用于:接收第一设备发送的第一空间位置信息以及第二空间位置信息,所述第一空间位置信息为所述第一设备显示的虚拟内容于目标空间坐标系中的空间位置信息,所述第二空间位置信息为所述第一设备于所述目标空间坐标系中的空间位置信息;获取所述第二设备相对所述第一设备的空间位置关系;根据所述空间位置关系以及所述第二空间位置信息,获取所述第二设备于所述目标空间坐标系中的第三空间位置信息;根据所述第三空间位置信息以及所述第一空间位置信息,生成所述虚拟内容,并将所述虚拟内容进行显示。
综上所述,本申请提供的方案,通过第一设备显示目标空间坐标系中的虚拟内容,获取该虚拟内容于该目标空间坐标系中的第一空间位置信息,以及该第一设备于该目标空间坐标系中的第二空间位置信息,将该第一空间位置信息以及该第二空间位置信息发送至第二设备,该第一空间位置信息以及该第二空间位置信息用于该第二设备生成该虚拟内容,并将该虚拟内容进行显示,从而可以实现第一设备将显示的虚拟内容以及第一设备于空间坐标系中的位置发送至第二设备,使第二设备可以根据接收的位置,在同样的位置渲染该虚拟内容,实现设备之间共同显示虚拟内容,完成多人AR方案的实现,提升用户体验。
请参考图13,其示出了本申请实施例提供的一种电子设备的结构框图。该电子设备300可以是智能手机、平板电脑、智能手表、头戴显示装置等能够运行应用程序的电子设备。该电子设备300可以为上述显示系统中的第一设备,也可以为第二设备。本申请中的电子设备300可以包括一个或多个如下部件:处理器310、存储器320、以及一个或多个应用程序,其中一个或多个应用程序可以被存储在存储器320中并被配置为由一个或多个处理器310执行,一个或多个程序配置用于执行如前述方法实施例所描述的方法。
处理器310可以包括一个或者多个处理核。处理器310利用各种接口和线路连接整个电子设备300内的各个部分,通过运行或执行存储在存储器320内的指令、程序、代码集或指令集,以及调用存储在存储器320内的数据,执行电子设备300的各种功能和处理数据。可选地,处理器310可以采用数字信号处理(Digital Signal Processing,DSP)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)、可编程逻辑阵列(Programmable LogicArray,PLA)中的至少一种硬件形式来实现。处理器110可集成中央处理器(CentralProcessing Unit,CPU)、图像处理器(Graphics Processing Unit,GPU)和调制解调器等中的一种或几种的组合。其中,CPU主要处理操作系统、用户界面和应用程序等;GPU用于负责显示内容的渲染和绘制;调制解调器用于处理无线通信。可以理解的是,上述调制解调器也可以不集成到处理器310中,单独通过一块通信芯片进行实现。
存储器320可以包括随机存储器(Random Access Memory,RAM),也可以包括只读存储器(Read-Only Memory)。存储器320可用于存储指令、程序、代码、代码集或指令集。存储器320可包括存储程序区和存储数据区,其中,存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备300在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。
请参考图14,其示出了本申请实施例提供的一种计算机可读存储介质的结构框图。该计算机可读介质800中存储有程序代码,所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。
计算机可读存储介质800可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选地,计算机可读存储介质800包括非易失性计算机可读介质(non-transitory computer-readable storage medium)。计算机可读存储介质800具有执行上述方法中的任何方法步骤的程序代码810的存储空间。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。程序代码810可以例如以适当形式进行压缩。
最后应说明的是:以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

Claims (15)

1.一种虚拟内容的显示方法,其特征在于,应用于第一设备,所述方法包括:
所述第一设备显示目标空间坐标系中的虚拟内容;
获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息;
将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备,所述第一空间位置信息以及所述第二空间位置信息用于所述第二设备生成所述虚拟内容,并将所述虚拟内容进行显示。
2.根据权利要求1所述的方法,其特征在于,所述第一设备显示目标空间坐标系中的虚拟内容,包括:
所述第一设备获取于所处现实环境中的位置信息及姿态信息;
获取所述虚拟内容需要叠加显示的位置与所述第一设备的相对位置关系;
根据所述位置信息、所述姿态信息以及所述相对位置关系,确定所述虚拟内容于目标空间坐标系中的第一空间位置信息;
根据所述第一空间位置信息,于所述目标空间坐标系中生成所述虚拟内容并将所述虚拟内容进行显示。
3.根据权利要求2所述的方法,其特征在于,所述根据所述位置信息、所述姿态信息以及所述相对位置关系,确定所述虚拟内容于目标空间坐标系中的第一空间位置信息,包括:
根据所述位置信息以及所述姿态信息,获取所述第一设备于所述目标空间坐标系中的第二空间位置信息;
根据所述相对位置关系,确定所述虚拟内容于目标空间坐标系中的第一空间位置信息。
4.根据权利要求2所述的方法,其特征在于,所述第一设备获取于所处现实环境中的位置信息及姿态信息,包括:
所述第一设备通过定位与地图构建,和/或,六自由度追踪,获取所述第一设备所处现实环境中的位置信息及姿态信息。
5.根据权利要求1所述的方法,其特征在于,所述获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息,包括:
根据所述第一设备于所述目标空间坐标系中生成所述虚拟内容时所使用的空间位置信息,确定所述虚拟内容于所述目标空间坐标系中的第一空间位置信息;
根据所述第一设备构建所述目标空间坐标系时获得的信息,或者,根据所述第一设备于所处现实环境中的位置信息及姿态信息,获取所述第一设备于所述目标空间坐标系中的第二空间位置信息。
6.根据权利要求1-5任一项所述的方法,其特征在于,在所述获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息之前,所述方法还包括:
检测是否接收到所述第二设备发送的虚拟内容的共享请求;
如果接收到所述共享请求,获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息。
7.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
根据检测到的对所述虚拟内容的操作,对所述虚拟内容进行更新显示;
将更新后的虚拟内容的第一内容数据发送至所述第二设备。
8.根据权利要求1-5任一项所述的方法,其特征在于,所述方法还包括:
将所述第二设备对应的权限信息发送至所述第二设备,所述权限信息包括对所述虚拟内容的操作权限;
接收所述第二设备发送的所述虚拟内容的第二内容数据,所述第二内容数据为所述第二设备根据所述操作权限对应的操作,对所述虚拟内容进行更新显示时生成的内容数据;
根据所述第二内容数据,对所述虚拟内容进行更新显示。
9.一种虚拟内容的显示方法,其特征在于,应用于第二设备,所述方法包括:
接收第一设备发送的第一空间位置信息以及第二空间位置信息,所述第一空间位置信息为所述第一设备显示的虚拟内容于目标空间坐标系中的空间位置信息,所述第二空间位置信息为所述第一设备于所述目标空间坐标系中的空间位置信息;
获取所述第二设备相对所述第一设备的空间位置关系;
根据所述空间位置关系以及所述第二空间位置信息,获取所述第二设备于所述目标空间坐标系中的第三空间位置信息;
根据所述第三空间位置信息以及所述第一空间位置信息,生成所述虚拟内容,并将所述虚拟内容进行显示。
10.根据权利要求9所述的方法,其特征在于,所述目标空间坐标系为所述第一设备对应的空间坐标系,所述根据所述第三空间位置信息以及所述第一空间位置信息,生成所述虚拟内容,并将所述虚拟内容进行显示,包括:
获取所述第二设备于指定空间坐标系中的第四空间位置信息,所述指定空间坐标系为所述第二设备对应的空间坐标系;
根据所述第三空间位置信息以及所述第四空间位置信息,获取所述指定空间坐标系与所述目标空间坐标系之间的转换关系;
基于所述转换关系,将所述第一空间位置信息转换为所述指定空间坐标系中的第五空间位置信息;
根据所述第五空间位置信息,生成所述指定空间坐标系中的所述虚拟内容,并将所述虚拟内容进行显示。
11.根据权利要求9所述的方法,其特征在于,所述根据所述第三空间位置信息以及所述第一空间位置信息,生成所述虚拟内容,并将所述虚拟内容进行显示,包括:
根据所述第三空间位置信息以及所述第二空间位置信息,构建所述目标空间坐标系;
根据所述第一空间位置信息,生成所述目标空间坐标系中的所述虚拟内容,并将所述虚拟内容进行显示。
12.一种虚拟内容的显示装置,其特征在于,应用于第一设备,所述装置包括:内容显示模块、第一获取模块以及位置发送模块,其中,
所述内容显示模块用于所述第一设备显示目标空间坐标系中的虚拟内容,所述目标空间坐标系为所述第一设备对应的空间坐标系;
所述第一获取模块用于获取所述虚拟内容于所述目标空间坐标系中的第一空间位置信息,以及所述第一设备于所述目标空间坐标系中的第二空间位置信息;
所述位置发送模块用于将所述第一空间位置信息以及所述第二空间位置信息发送至第二设备,所述第一空间位置信息以及所述第二空间位置信息用于所述第二设备生成所述虚拟内容,并将所述虚拟内容进行显示。
13.一种虚拟内容的显示装置,其特征在于,应用于第二设备,所述装置包括:位置接收模块、第二获取模块、第三获取模块以及内容生成模块,其中,
所述位置接收模块用于接收第一设备发送的第一空间位置信息以及第二空间位置信息,所述第一空间位置信息为所述第一设备显示的虚拟内容于目标空间坐标系中的空间位置信息,所述第二空间位置信息为所述第一设备于所述目标空间坐标系中的空间位置信息;
所述第二获取模块用于获取所述第二设备相对所述第一设备的空间位置关系;
所述第三获取模块用于根据所述空间位置关系以及所述第二空间位置信息,获取所述第二设备于所述目标空间坐标系中的第三空间位置信息;
所述内容生成模块用于根据所述第三空间位置信息以及所述第一空间位置信息,生成所述虚拟内容,并将所述虚拟内容进行显示。
14.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储器;
一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行,所述一个或多个程序配置用于执行如权利要求1-8任一项所述的方法、或者执行如权利要求9-11任一项所述的方法。
15.一种计算机可读取存储介质,其特征在于,所述计算机可读取存储介质中存储有程序代码,所述程序代码可被处理器调用执行如权利要求1-8任一项所述的方法、或者执行如权利要求9-11任一项所述的方法。
CN202010238172.8A 2020-03-30 2020-03-30 虚拟内容的显示方法、装置、电子设备及存储介质 Active CN111459432B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202010238172.8A CN111459432B (zh) 2020-03-30 2020-03-30 虚拟内容的显示方法、装置、电子设备及存储介质
PCT/CN2021/079126 WO2021196973A1 (zh) 2020-03-30 2021-03-04 虚拟内容的显示方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010238172.8A CN111459432B (zh) 2020-03-30 2020-03-30 虚拟内容的显示方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN111459432A true CN111459432A (zh) 2020-07-28
CN111459432B CN111459432B (zh) 2023-01-24

Family

ID=71682418

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010238172.8A Active CN111459432B (zh) 2020-03-30 2020-03-30 虚拟内容的显示方法、装置、电子设备及存储介质

Country Status (2)

Country Link
CN (1) CN111459432B (zh)
WO (1) WO2021196973A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196973A1 (zh) * 2020-03-30 2021-10-07 Oppo广东移动通信有限公司 虚拟内容的显示方法、装置、电子设备及存储介质
CN116027909A (zh) * 2023-03-23 2023-04-28 北京虹宇科技有限公司 一种三维空间中可定制内容的多人共享方法、装置及设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445088A (zh) * 2015-08-04 2017-02-22 上海宜维计算机科技有限公司 现实增强的方法及系统
CN107885334A (zh) * 2017-11-23 2018-04-06 联想(北京)有限公司 一种信息处理方法和虚拟设备
CN108479060A (zh) * 2018-03-29 2018-09-04 联想(北京)有限公司 一种显示控制方法及电子设备
KR20190047922A (ko) * 2017-10-30 2019-05-09 주식회사 아이티원 혼합현실을 이용한 정보 공유 시스템
CN109992108A (zh) * 2019-03-08 2019-07-09 北京邮电大学 多用户交互的增强现实方法及系统
CN110737414A (zh) * 2018-07-20 2020-01-31 广东虚拟现实科技有限公司 交互显示方法、装置、终端设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112673651B (zh) * 2018-07-13 2023-09-15 诺基亚技术有限公司 多视点多用户音频用户体验
CN111459432B (zh) * 2020-03-30 2023-01-24 Oppo广东移动通信有限公司 虚拟内容的显示方法、装置、电子设备及存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106445088A (zh) * 2015-08-04 2017-02-22 上海宜维计算机科技有限公司 现实增强的方法及系统
KR20190047922A (ko) * 2017-10-30 2019-05-09 주식회사 아이티원 혼합현실을 이용한 정보 공유 시스템
CN107885334A (zh) * 2017-11-23 2018-04-06 联想(北京)有限公司 一种信息处理方法和虚拟设备
CN108479060A (zh) * 2018-03-29 2018-09-04 联想(北京)有限公司 一种显示控制方法及电子设备
CN110737414A (zh) * 2018-07-20 2020-01-31 广东虚拟现实科技有限公司 交互显示方法、装置、终端设备及存储介质
CN109992108A (zh) * 2019-03-08 2019-07-09 北京邮电大学 多用户交互的增强现实方法及系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021196973A1 (zh) * 2020-03-30 2021-10-07 Oppo广东移动通信有限公司 虚拟内容的显示方法、装置、电子设备及存储介质
CN116027909A (zh) * 2023-03-23 2023-04-28 北京虹宇科技有限公司 一种三维空间中可定制内容的多人共享方法、装置及设备
CN116027909B (zh) * 2023-03-23 2023-06-16 北京虹宇科技有限公司 一种三维空间中可定制内容的多人共享方法、装置及设备

Also Published As

Publication number Publication date
CN111459432B (zh) 2023-01-24
WO2021196973A1 (zh) 2021-10-07

Similar Documents

Publication Publication Date Title
CN107852573B (zh) 混合现实社交交互
US10460512B2 (en) 3D skeletonization using truncated epipolar lines
CN111078003B (zh) 数据处理方法、装置、电子设备及存储介质
CN110163942B (zh) 一种图像数据处理方法和装置
JP2008521110A (ja) AugmentedRealityResourcesのアプリケーション用に画像取り込み機能を具備した個人用装置とその方法
CN115867912A (zh) 用于扩展现实的虚拟私用空间
US20170186243A1 (en) Video Image Processing Method and Electronic Device Based on the Virtual Reality
CN109725956B (zh) 一种场景渲染的方法以及相关装置
US11087545B2 (en) Augmented reality method for displaying virtual object and terminal device therefor
CN107274491A (zh) 一种三维场景的空间操控虚拟实现方法
WO2020149270A1 (ja) 拡張現実空間に配置される3dオブジェクトを生成する方法
CN111459432B (zh) 虚拟内容的显示方法、装置、电子设备及存储介质
CN110737414B (zh) 交互显示方法、装置、终端设备及存储介质
JP5350427B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
KR102503337B1 (ko) 이미지 디스플레이 방법, 장치 및 시스템
WO2017061890A1 (en) Wireless full body motion control sensor
US20190295324A1 (en) Optimized content sharing interaction using a mixed reality environment
CN108961424B (zh) 虚拟信息处理方法、设备及存储介质
CN113411537A (zh) 视频通话方法、装置、终端及存储介质
KR102176805B1 (ko) 뷰 방향이 표시되는 vr 컨텐츠 제공 시스템 및 방법
WO2022237047A1 (zh) 表面网格扫描及显示方法、系统及装置
CN111198609A (zh) 交互显示方法、装置、电子设备及存储介质
CN111524240A (zh) 场景切换方法、装置及增强现实设备
CN111381670B (zh) 虚拟内容的交互方法、装置、系统、终端设备及存储介质
JP7510723B1 (ja) キャラクター表示制御システム、キャラクター表示制御方法およびプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant