CN111610997A - Ar场景内容的生成方法、展示方法、展示系统及装置 - Google Patents

Ar场景内容的生成方法、展示方法、展示系统及装置 Download PDF

Info

Publication number
CN111610997A
CN111610997A CN202010456842.3A CN202010456842A CN111610997A CN 111610997 A CN111610997 A CN 111610997A CN 202010456842 A CN202010456842 A CN 202010456842A CN 111610997 A CN111610997 A CN 111610997A
Authority
CN
China
Prior art keywords
virtual object
data
data packet
scene
updated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010456842.3A
Other languages
English (en)
Inventor
侯欣如
栾青
王鼎禄
石盛传
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010456842.3A priority Critical patent/CN111610997A/zh
Publication of CN111610997A publication Critical patent/CN111610997A/zh
Priority to SG11202108241QA priority patent/SG11202108241QA/en
Priority to KR1020217020429A priority patent/KR20210148074A/ko
Priority to JP2021538425A priority patent/JP2022537861A/ja
Priority to PCT/CN2020/135048 priority patent/WO2021238145A1/zh
Priority to TW110116126A priority patent/TWI783472B/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00Arrangements for software engineering
    • G06F8/60Software deployment
    • G06F8/65Updates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Security & Cryptography (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开提供了一种AR场景内容的生成方法、展示方法、展示系统及装置,其中,该AR场景内容的生成方法包括:响应于第一触发操作,获取所述第一触发操作指示的目标现实场景的三维场景模型,以及与所述目标现实场景关联的初始增强现实AR数据包;获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据;所述更新数据包括所述至少一个虚拟对象在所述三维场景模型中的第一位姿数据;基于所述至少一个虚拟对象的所述更新数据,对所述初始AR数据包进行更新,生成更新后的AR数据包。

Description

AR场景内容的生成方法、展示方法、展示系统及装置
技术领域
本公开涉及增强现实技术领域,具体而言,涉及一种AR场景内容的生成方法、展示方法、展示系统、装置、电子设备及存储介质。
背景技术
增强现实(Augmented Reality,AR)技术,通过将实体信息(视觉信息、声音、触觉等)通过模拟仿真后,叠加到真实世界中,从而将真实的环境和虚拟的物体实时地在同一个画面或空间呈现。近年来,AR设备的应用领域越来越广,使得AR设备在生活、工作、娱乐中起到了重要的作用,对AR设备呈现的增强现实场景的效果的优化,越发重要。
发明内容
本公开实施例至少提供一种AR场景内容的生成方案。
第一方面,本公开实施例提供了一种AR场景内容的生成方法,应用于AR生成端,包括:
响应于第一触发操作,获取所述第一触发操作指示的目标现实场景的三维场景模型,以及与所述目标现实场景关联的初始增强现实AR数据包;获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据;所述更新数据包括所述至少一个虚拟对象在所述三维场景模型中的第一位姿数据;基于所述至少一个虚拟对象的所述更新数据,对所述初始AR数据包进行更新,生成更新后的AR数据包。
本公开实施例中,可以响应第一触发操作,向用户提供与该目标现实场景关联的三维场景模型和初始AR数据包,便于用户按照自身需求直观地通过三维场景模型对初始AR数据包关联的至少一个虚拟对象进行编辑更新,通过该方式得到更新后的AR数据包,当增强现实体验者在目标现实场景中进行增强现实体验时,可以直接调用更新后的AR数据包进行增强现实体验,通过本公开给出的远程编辑AR数据包的方式,能够简化AR数据包的生成方式,为后续增强现实场景的展示提供了便利的AR素材。
在一种可能的实施方式中,获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据,包括:获取所述初始AR数据包中的至少一个第一虚拟对象的更新数据,和/或,从预先建立的素材库中获取与所述初始AR数据包关联的至少一个第二虚拟对象,并获取所述至少一个第二虚拟对象的更新数据。
本公开实施例中,可以通过多种方式获取初始AR数据包关联的虚拟对象以及虚拟对象的更新数据,可以灵活地获取虚拟对象的更新数据。
在一种可能的实施方式中,所述获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据,包括:展示加载的所述三维场景模型;获取所述至少一个虚拟对象在被置于所述三维场景模型中的情况下的所述第一位姿数据。
本公开实施例中,可以提供用于编辑虚拟对象的第一位姿数据的三维场景模型,便于用户能够直观地编辑虚拟对象在三维场景中第一位姿数据,从而能够基于用户需求个性化地进行虚拟对象的第一位姿数据的设置。
在一种可能的实施方式中,所述更新数据还包括所述至少一个虚拟对象在所述三维场景模型中的交互数据,所述获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据,包括:展示交互数据编辑界面,并获取通过所述交互数据编辑界面分别接收的每个虚拟对象的交互数据;其中,所述交互数据中包括以下至少一种:至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数。
本公开实施例中,可以提供针对虚拟对象的交互数据进行编辑的交互数据编辑界面,以支持编辑虚拟对象的触发方式以及展示形式。
在一种可能的实施方式中,在所述交互数据中包括多种状态触发条件的情况下,所述交互数据还包括:每种状态触发条件的优先级。
在一种可能的实施方式中,所述生成方法还包括:
获取与所述初始AR数据包关联的至少一个虚拟三维模型在所述三维场景模型中展示时的第二位姿数据,所述至少一个虚拟三维模型用于表示所述目标现实场景中的目标物体;所述基于所述至少一个虚拟对象的所述更新数据,对所述初始AR数据包进行更新,生成更新后的AR数据包,包括:基于所述至少一个虚拟对象的所述更新数据,以及所述虚拟三维模型对应的所述第二位姿数据,对所述初始AR数据包进行更新,生成更新后的AR数据包。
本公开实施例中,可以提前编辑用于在AR场景中呈现遮挡效果的虚拟三维模型,通过编辑虚拟三维模型在三维场景模型中的第二位姿数据,可以实现还原虚拟三维模型在目标现实场景中的真实第二位姿数据,便于后续在AR设备展示虚拟对象时,提供更加逼真的展示效果。
在一种可能的实施方式中,生成更新后的AR数据包之后,还包括:响应于对所述更新后的AR数据包的上传触发操作,获取与所述更新后的AR数据包的标签信息;将所述更新后的AR数据包和所述标签信息发送至服务器。
本公开实施例中,可以将生成的更新后的AR数据包发布至服务器,以供其它用户进行下载使用,示例性地,可以供其它AR生成端下载进行编辑,同时可以供AR设备下载体验AR数据包。
在一种可能的实施方式中,所述将所述更新后的AR数据包和所述标签信息发送至服务器,包括:将所述更新后的AR数据包、所述标签信息以及指示所述更新后的AR数据包是否启用的状态信息发送至服务器。
第二方面,本公开实施例提供了一种AR场景内容的展示方法,应用于AR设备,包括:
响应于第二触发操作,获取与所述第二触发操作指示的目标现实场景关联的AR数据包;所述AR数据包中包含至少一个虚拟对象在所述目标现实场景的三维场景模型中的第一位姿数据;基于AR设备当前拍摄所述目标现实场景时的第三位姿数据,以及所述AR数据包中至少一个虚拟对象在三维场景模型中的所述第一位姿数据,确定所述至少一个虚拟对象的呈现特效信息;基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
本公开实施例中,可以响应第二触发操作,获取与该第二触发操作关联的AR数据包,进一步可以基于AR数据包中虚拟对象在三维场景模型中的第一位姿数据,以及AR设备对应的第三位姿数据,确定虚拟对象在该目标现实场景中的呈现特效信息,由于三维场景模型可以表示目标现实场景,基于该三维场景模型所构建好的虚拟对象的第一位姿数据能够较好地融入现实场景,从而在AR设备中展示出逼真的增强现实场景的效果。
在一种可能的实施方式中,所述AR数据包中还包括至少一个虚拟三维模型在所述三维场景模型中的第二位姿数据;所述基于AR设备当前拍摄所述目标现实场景时的第三位姿数据,以及所述AR数据包中至少一个虚拟对象在三维场景模型中的所述第一位姿数据,确定所述至少一个虚拟对象的呈现特效信息,包括:基于所述AR设备当前拍摄所述目标现实场景时的所述第三位姿数据、所述AR数据包中至少一个虚拟对象在三维场景模型中的所述第一位姿数据、以及所述虚拟三维模型对应的所述第二位姿数据,确定所述至少一个虚拟对象的呈现特效信息。
本公开实施例中,通过虚拟三维模型在三维场景模型中的第二位姿数据,可以实现还原虚拟三维模型在目标现实场景中的真实第二位姿数据,当确定出虚拟对象被虚拟三维模型对应的实体物体遮挡时,能够通过虚拟三维模型实现对虚拟对象的遮挡效果,从而在AR设备中展示出更为逼真的真实效果。
在一种可能的实施方式中,所述AR数据包中还包括至少一个虚拟对象在所述三维场景模型中的交互数据,所述交互数据包括至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数中的至少一种。
在一种可能的实施方式中,所述展示方法还包括:检测作用于所述至少一个虚拟对象的交互操作;在所述作用于所述至少一个虚拟对象的交互操作符合第一类状态触发条件的情况下,基于所述至少一个虚拟对象在该第一类状态触发条件下对应的呈现状态,和/或,所述至少一个虚拟对象在该第一类状态触发条件被触发展示后的循环展示次数,对所述至少一个虚拟对象的呈现特效信息进行更新,得到更新后的呈现特效信息;
所述基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象,包括:基于所述更新后的呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
本公开实施例中,在检测到存在针对虚拟对象的交互操作时,可以在确定该交互操作符合设定状态触发条件的情况下,按照虚拟对象在该设定状态触发条件下的展示方式,对虚拟对象进行展示,示例性地,增强现实体验者可以对AR设备展示设定的手势,从而触发虚拟对象按照与该手势对应的呈现特效进行展示,该方式提高了增强现实体验者在目标现实场景中与虚拟对象的交互性,提升了用户体验。
在一种可能的实施方式中,所述展示方法还包括:
在所述第三位姿数据符合第二类状态触发条件的情况下,基于所述至少一个虚拟对象在该第二类状态触发条件下对应的呈现状态,和/或,所述至少一个虚拟对象在该第二类状态触发条件被触发展示后的循环展示次数,对所述至少一个虚拟对象的呈现特效信息进行更新,得到更新后的呈现特效信息;所述基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象,包括:基于所述更新后的呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
本公开实施例中,在检测到AR设备对应的第三位姿数据符合设定状态触发条件的情况下,按照虚拟对象在该设定状态触发条件下的展示方式,对虚拟对象进行展示,示例性地,当AR设备靠近设定位置,且AR设备的显示角度朝向虚拟对象A所在的位置时,触发虚拟对象A按照该AR设备的当前第三位姿数据对应的呈现特效进行展示,该过程可以使得增强现实场景效果更加逼真,从而提升用户体验。
第三方面,本公开实施例提供了一种AR场景内容的展示系统,包括AR生成端、服务器以及AR设备,所述AR生成端与所述服务器通信连接,所述AR设备与所述服务器通信连接;
所述AR生成端,用于响应于第一触发操作,获取所述第一触发操作指示的目标现实场景的三维场景模型,以及与所述目标现实场景关联的初始增强现实AR数据包;获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据;所述更新数据包括所述至少一个虚拟对象在所述三维场景模型中的第一位姿数据;以及用于基于所述至少一个虚拟对象的所述更新数据,对所述初始AR数据包进行更新,并将更新后的AR数据包发送至服务器;所述服务器,用于接收所述更新后的AR数据包,以及向所述AR设备转发所述更新后的AR数据包;所述AR设备,用于响应于第二触发操作,获取所述服务器中保存的与所述第二触发操作指示的目标现实场景关联的所述更新后的AR数据包;基于AR设备当前拍摄所述目标现实场景时的第三位姿数据,以及所述更新后的AR数据包中至少一个虚拟对象在所述三维场景模型中的所述第一位姿数据,确定所述至少一个虚拟对象的呈现特效信息;基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
本公开实施例提供的展示系统,能够远程编辑生成AR数据包,并将生成的AR数据包发布至服务器,供AR设备端进行增强现实体验,具体可以在AR生成端提供一种针对AR数据包的简便生成方式,便于用户编辑,服务器端能够对AR数据包进行保存,便于AR设备对AR数据包进行下载体验。
第四方面,本公开实施例提供了一种AR场景内容的生成装置,应用于AR生成端,包括:
第一获取模块,用于响应于第一触发操作,获取所述第一触发操作指示的目标现实场景的三维场景模型,以及与所述目标现实场景关联的初始增强现实AR数据包;第二获取模块,用于获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据;所述更新数据包括所述至少一个虚拟对象在所述三维场景模型中的第一位姿数据;更新模块,用于基于所述至少一个虚拟对象的所述更新数据,对所述初始AR数据包进行更新,生成更新后的AR数据包。
在一种可能的实施方式中,所述第二获取模块在用于获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据时,包括:
获取所述初始AR数据包中的至少一个第一虚拟对象的更新数据,和/或,从预先建立的素材库中获取与所述初始AR数据包关联的至少一个第二虚拟对象,并获取所述至少一个第二虚拟对象的更新数据。
在一种可能的实施方式中,所述第二获取模块在用于获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据时,包括:
展示加载的所述三维场景模型;获取所述至少一个虚拟对象在被置于所述三维场景模型中的情况下的所述第一位姿数据。
在一种可能的实施方式中,所述更新数据还包括所述至少一个虚拟对象在所述三维场景模型中的交互数据,所述第二获取模块在用于获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据时,包括:
展示交互数据编辑界面,并获取通过所述交互数据编辑界面分别接收的每个虚拟对象的交互数据;其中,所述交互数据中包括以下至少一种:至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数。
在一种可能的实施方式中,在所述交互数据中包括多种状态触发条件的情况下,所述交互数据还包括:每种状态触发条件的优先级。
在一种可能的实施方式中,所述第二获取模块还用于:
获取与所述初始AR数据包关联的至少一个虚拟三维模型在所述三维场景模型中展示时的第二位姿数据,所述至少一个虚拟三维模型用于表示所述目标现实场景中的目标物体;所述更新模块在用于基于所述至少一个虚拟对象的所述更新数据,对所述初始AR数据包进行更新,生成更新后的AR数据包时,包括:基于所述至少一个虚拟对象的所述更新数据,以及所述虚拟三维模型对应的所述第二位姿数据,对所述初始AR数据包进行更新,生成更新后的AR数据包。
在一种可能的实施方式中,所述生成装置还包括发送模块,在所述更新模块生成更新后的AR数据包之后,所述发送模块用于:
响应于对所述更新后的AR数据包的上传触发操作,获取所述更新后的AR数据包的标签信息;将所述更新后的AR数据包和所述标签信息发送至服务器。
在一种可能的实施方式中,所述发送模块在用于将所述更新后的AR数据包和所述标签信息发送至服务器时,包括:
将所述更新后的AR数据包、所述标签信息以及指示所述更新后的AR数据包是否启用的状态信息发送至服务器。
第五方面,本公开实施例提供了一种AR场景内容的展示装置,应用于AR设备,包括:
获取模块,用于响应于第二触发操作,获取与所述第二触发操作指示的目标现实场景关联的AR数据包;所述AR数据包中包含至少一个虚拟对象在所述目标现实场景的三维场景模型中的第一位姿数据;确定模块,用于基于AR设备当前拍摄所述目标现实场景时的第三位姿数据,以及所述AR数据包中至少一个虚拟对象在三维场景模型中的所述第一位姿数据,确定所述至少一个虚拟对象的呈现特效信息;展示模块,用于基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
在一种可能的实施方式中,所述AR数据包中还包括至少一个虚拟三维模型在所述三维场景模型中的第二位姿数据;所述确定模块在用于基于AR设备当前拍摄所述目标现实场景时的第三位姿数据,以及所述AR数据包中至少一个虚拟对象在三维场景模型中的所述第一位姿数据,确定所述至少一个虚拟对象的呈现特效信息时,包括:
基于所述AR设备当前拍摄所述目标现实场景时的所述第三位姿数据、所述AR数据包中至少一个虚拟对象在三维场景模型中的所述第一位姿数据、以及所述虚拟三维模型对应的所述第二位姿数据,确定所述至少一个虚拟对象的呈现特效信息。
在一种可能的实施方式中,所述AR数据包中还包括至少一个虚拟对象在所述三维场景模型中的交互数据,所述交互数据包括至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数中的至少一种。
在一种可能的实施方式中,所述展示装置还包括交互模块,所述交互模块用于:
检测作用于所述至少一个虚拟对象的交互操作;在所述作用于所述至少一个虚拟对象的交互操作符合第一类状态触发条件的情况下,基于所述至少一个虚拟对象在该第一类状态触发条件下对应的呈现状态,和/或,所述至少一个虚拟对象在该第一类状态触发条件被触发展示后的循环展示次数,对所述至少一个虚拟对象的呈现特效信息进行更新,得到更新后的呈现特效信息;所述展示模块在用于基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象时,包括:基于所述更新后的呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
在一种可能的实施方式中,所述展示装置还包括交互模块,所述交互模块用于:
在所述第三位姿数据符合第二类状态触发条件的情况下,基于所述至少一个虚拟对象在该第二类状态触发条件下对应的呈现状态,和/或,所述至少一个虚拟对象在该第二类状态触发条件被触发展示后的循环展示次数,对所述至少一个虚拟对象的呈现特效信息进行更新,得到更新后的呈现特效信息;所述展示模块在用于基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象时,包括:基于所述更新后的呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
第六方面,本公开实施例提供了一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如第一方面所述的生成方法的步骤,或者执行如第二方面所述的展示方法的步骤。
第七方面,本公开实施例提供了一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如第一方面所述的生成方法的步骤,或者执行如第二方面所述的展示方法的步骤。
为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
图1示出了本公开实施例所提供的一种AR场景内容的生成方法的流程图;
图2示出了本公开实施例所提供的一种AR数据包下载和上传的界面示意图;
图3示出了本公开实施例所提供的一种虚拟对象的第一位姿数据的获取方法流程图;
图4示出了本公开实施例所提供的一种交互数据生成的界面示意图;
图5示出了本公开实施例所提供的一种AR数据包的发送方式流程图;
图6示出了本公开实施例所提供的一种上传更新后的AR数据包的界面流程图;
图7示出了本公开实施例所提供的一种AR场景内容的展示方法的流程图;
图8示出了本公开实施例所提供的一种AR数据包下载的页面示意图;
图9示出了本公开实施例所提供的一种AR场景内容展示时在AR设备进行的定位提示示意图;
图10示出了本公开实施例所提供的一种增强现实的场景示意图;
图11示出了本公开实施例所提供的一种AR场景内容的展示系统的结构示意图;
图12示出了本公开实施例所提供的一种AR场景内容的生成装置的结构示意图;
图13示出了本公开实施例所提供的一种AR场景内容的展示装置的结构示意图;
图14示出了本公开实施例所提供的一种电子设备的示意图;
图15示出了本公开实施例所提供的一种电子设备的示意图。
具体实施方式
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
本文中术语“和/或”,仅仅是描述一种关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中术语“至少一种”表示多种中的任意一种或多种中的至少两种的任意组合,例如,包括A、B、C中的至少一种,可以表示包括从A、B和C构成的集合中选择的任意一个或多个元素。
增强现实(Augmented Reality,AR)技术可以应用于AR设备中,AR设备可以为任何能够支持AR功能的电子设备,包括但不限于AR眼镜、平板电脑、智能手机等。当AR设备在现实场景中被操作时,通过该AR设备可以观看到叠加在现实场景中的虚拟对象,比如路过一些建筑物或者旅游景点时,通过AR眼镜可以看到叠加在建筑物或者旅游景点附近的虚拟图文介绍,这里的虚拟图文可以称为虚拟对象,建筑物或者旅游景点可以称为真实场景,这种场景下,通过AR眼镜看到的虚拟图文介绍,会随着AR眼镜的朝向角度变化而变化,这里虚拟图文介绍与AR眼镜位置关系相关,然而在另一些场景中,我们希望看到更加真实的虚实结合的增强现实场景,比如想要看到放置在真实桌子上的虚拟花盆,看到比如可以看到叠加在真实的校园操场上的虚拟大树等,这种方式下,需要考虑如何使得虚拟花盆和虚拟大树能够更好地与现实场景相融合,实现增强现实场景中对虚拟对象的呈现效果,该呈现效果如何实现,为本公开实施例所要讨论的内容,下面将结合以下具体实施例进行阐述。
为便于对本实施例进行理解,首先对本公开实施例所公开的一种AR场景内容的生成方法进行详细介绍,本公开实施例所提供的AR场景内容的生成方法的执行主体可以为上述AR设备,也可以为其它具有数据处理能力的处理装置,例如本地或云端服务器等,在一些可能的实现方式中,该AR场景内容的生成方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
参见图1所示,为本公开实施例提供的AR场景内容的生成方法的流程图,应用于AR生成端,该生成方法包括以下S101~S103:
S101,响应于第一触发操作,获取第一触发操作指示的目标现实场景的三维场景模型,以及与目标现实场景关联的初始增强现实AR数据包。
示例性地,AR生成端可以为计算机、笔记本、平板等设备,这些设备中可以安装用于生成及编辑AR场景内容的应用程序或者可以访问用于生成及编辑AR场景内容的WEB页面,用户可以在应用程序或WEB页面中远程编辑AR场景内容,比如,可以通过表示目标现实场景的三维场景模型来模拟目标现实场景,直接在三维场景模型中配置待展示的虚拟对象的相关数据,无需前往目标现实场景中进行配置,便可以实现生成AR场景内容。
示例性地,第一触发操作可以是对目标现实场景对应的编辑选项的触发操作,触发操作例如为选中编辑选项的操作,或者,直接通过语音或者手势等方式进行触发等,本公开对此并不限定。在一些实施例中,AR生成端的显示界面中可以展示多个现实场景对应的编辑选项,在检测到其中任一编辑选项被触发后,可确认被触发的编辑选项对应的现实场景作为目标现实场景,目标现实场景的编辑选项被触发,进而可获取该目标现实场景的三维场景模型,以便后续在该目标现实场景模型的三维场景模型中添加待展示的虚拟对象。或者,AR生成端的显示界面中可以展示地图,该地图中设置有多个兴趣点(Point OfInterest,POI),每个POI点可对应一个现实场景,当用户点击任一现实场景的POI时,AR生成端同样可以检测到针对该目标现实场景的编辑选项被触发,进而获取表示目标现实场景的三维场景模型,以及与目标现实场景关联的初始增强现实AR数据包,以便后续在该目标现实场景模型的三维场景模型中添加待展示的虚拟对象。
示例性地,目标现实场景可以是建筑物的室内场景、或者是街道场景,还可以是任一能够叠加虚拟对象的目标现实场景。
示例性地,表示目标现实场景的三维场景模型与该目标现实场景在相同坐标系下是等比例呈现的,比如目标现实场景中包括街道以及街道两侧的楼栋,则表示该目标现实场景的三维场景模型同样包括该条街道的模型以及该条街道两侧的楼栋,且三维场景模型与目标现实场景在相同坐标系中例如可以是按照1:1呈现的,或者也可以是等比例呈现的。
其中,与目标现实场景关联的初始AR数据包的个数可以为至少一个,不同初始AR数据包可对应不同的AR场景的类别。示例性地,每个初始AR数据包可以包含有标签信息,该标签信息用于表征该初始AR数据包的类别,比如可以包括“科幻类别”、“卡通类别”和“历史类别”中的一种或多种,每种类别用于表示AR场景中待展示的虚拟对象的风格;其中,初始AR数据包中可以包含预先设置好的虚拟对象,也可以不包含虚拟对象,当包含预先设置好的虚拟对象时,可以包含该虚拟对象在三维场景模型中的初始第一位姿数据,也可以不包含,在此不进行限定。
S102,获取与初始AR数据包关联的至少一个虚拟对象的更新数据;更新数据包括至少一个虚拟对象在三维场景模型中的第一位姿数据。
其中,初始AR数据包关联的至少一个虚拟对象可以包括初始AR数据包中包含的虚拟对象,还可以包括在下载初始AR数据包后,通过网络下载的将要保存在该初始AR数据包中的虚拟对象,还可以包括从预先建立的素材库中获取到的将要保存在该初始AR数据包中的虚拟对象,其中,素材库既可以设置在本地,也可以设置在云端,本公开对此并不限定。
示例性地,虚拟对象可以为上述提到的虚拟花盆、虚拟大树等静态的虚拟模型、或者可以为一些虚拟视频和虚拟动画等动态的虚拟对象,虚拟对象在三维场景模型中的第一位姿数据包括但不限于虚拟对象在三维场景模型中呈现时的位置数据、姿态数据以及样貌数据等,比如上述提到的虚拟花盆在真实桌子上或者虚拟大树位于操场时的位置数据、姿态数据以及样貌数据等。
示例性地,三维场景模型与目标现实场景在相同坐标系中可以按照1:1呈现,在不同坐标系中等比例呈现,故这里获取到虚拟对象在三维场景模型中呈现时的第一位姿数据,在后期AR设备中呈现时,能够表示出虚拟对象在目标现实场景中的呈现特效信息。
其中,通过检测用户在AR生成端展示的编辑页面中输入的编辑操作,可以得到该编辑操作所编辑的内容,并将该编辑操作所编辑的内容作为更新数据。比如在编辑页面中可以展示出三维场景模型的示意图以及关于虚拟对象的位姿数据编辑栏,用户可以在虚拟对象的位姿数据编辑栏中对虚拟对象在三维场景模型中的第一位姿数据进行编辑,在编辑完成后,AR生成端可以获取到虚拟对象在三维场景模型中的第一位姿数据。
S103,基于至少一个虚拟对象的更新数据,对初始AR数据包进行更新,生成更新后的AR数据包。
在一些实施例中,基于获取到的更新数据,可以对初始AR数据包中的有关虚拟对象的内容进行更新,得到更新后的AR数据包,其中,更新方式可以是直接将更新数据添加在初始AR数据包中,或者,是替换初始AR数据包中原有的部分数据,得到更新后的AR数据包,该更新后的AR数据包中包含上述提到的初始AR数据包关联的虚拟对象,以及至少一个虚拟对象的更新数据。
得到的更新后的AR数据包可以用于在AR设备拍摄目标现实场景时,按照更新后的AR数据包展示融入目标现实场景的虚拟对象。
综上,上述S101~S103中,可以响应第一触发操作,向用户提供与该目标现实场景关联的三维场景模型和初始AR数据包,便于用户按照自身需求直观地通过三维场景模型对初始AR数据包关联的至少一个虚拟对象进行编辑更新,通过该方式得到更新后的AR数据包,当增强现实体验者在目标现实场景中进行增强现实体验时,可以直接调用更新后的AR数据包进行增强现实体验,通过本公开给出的远程编辑AR数据包的方式,能够简化AR数据包的生成方式,为后续增强现实场景的展示提供了便利的AR素材。
进一步地,在编辑AR数据包时,可以获取用于表示目标现实场景的三维场景模型,因为表示目标现实场景的三维场景模型与该目标现实场景在相同坐标系是等比例呈现的,且在相同坐标系下,相同位置点的坐标值相同,这样基于获取到的虚拟对象在三维场景模型中的第一位姿数据,能够展示出虚拟对象在目标现实场景中的位置和姿态,可以使得虚拟对象能够与目标现实场景更好的融合,从而可以在AR设备中展示出逼真的增强现实场景的效果。
下面结合具体的实施例来对上述S101~S103的过程进行分析。
针对上述S101,图2所示,展示有AR场景内容的编辑页面,在检测到编辑界面中“更新体验包列表”选项被触发,可以获取到多种现实场景,比如可以包括“理想国际-15层”,在检测到编辑界面中“下载场景”被触发,可视为检测到针对目标现实场景的第一触发操作,进而可以获取表示该目标现实场景的三维场景模型,以及与该目标现实场景关联的初始AR数据包,比如标签信息为“圣诞节”和“元旦节”的两个初始AR体验包。
可以看到上述目标现实场景关联的初始AR体验包(初始AR数据包)“圣诞节”的类别标签中进一步包含“科幻”和“自然”的标签,说明创建的虚拟对象可以是属于科幻类别的虚拟对象,以及属于自然类别的虚拟对象,当然在后期编辑的时候,可以基于上传的虚拟对象的类别对AR数据包的类别进行更改。
针对上述S102,获取与该初始AR数据包关联的至少一个虚拟对象的更新数据,具体可以包括:获取初始AR数据包中的至少一个第一虚拟对象的更新数据,和/或,从预先建立的素材库中获取与初始AR数据包关联的至少一个第二虚拟对象,并获取至少一个第二虚拟对象的更新数据。
上文提到初始AR数据包中可能包含虚拟对象,也可能不包含虚拟对象,当初始AR数据包中包含虚拟对象时,这里获取初始AR数据包关联的至少一个虚拟对象的更新数据,可以是获取初始AR数据包中包含的至少一个第一虚拟对象的更新数据,也可以从预先建立的素材库中获取与该初始AR数据包关联的至少一个第二虚拟对象,然后进一步获取该至少一个第二虚拟对应的更新数据,或者,可以同时获取初始AR数据包中包含的至少一个第一虚拟对象的更新数据,以及从预先建立的素材库中获取与该初始AR数据包关联的至少一个第二虚拟对象的更新数据。
示例性地,预先建立的素材库中可以包含多种虚拟静态模型、动画和视频等虚拟对象,用户可以在预先建立的素材库中选择要上传至该初始AR数据包中的虚拟对象。
本公开实施例中,可以通过多种方式获取初始AR数据包关联的虚拟对象以及该虚拟对象的更新数据,可以灵活获取虚拟对象的更新数据。
在一些实施例中,更新数据包括至少一个虚拟对象在三维场景模型中的第一位姿数据,具体的,步骤102中,在获取与初始AR数据包关联的至少一个虚拟对象的更新数据时,如图3所示,可以采用如下S1021~S1022:
步骤1021,展示加载的三维场景模型;
步骤1022,获取至少一个虚拟对象在被置于三维场景模型中的情况下的第一位姿数据。
示例性地,可在AR生成端的编辑界面中展示三维场景模型,获取对展示的至少一个虚拟对象在三维场景模型中的位置数据、姿态数据以及样貌数据的编辑操作,从而得到至少一个虚拟对象被置于三维场景模型中后的第一位姿数据。后续,可以基于虚拟对象在三维场景模型中的第一位姿数据,确定虚拟对象在目标现实场景中被展示时的第一位姿数据,包括该虚拟对象在目标现实场景中的位置数据、姿态数据和样貌数据。
在获取到至少一个虚拟对象在三维场景模型中的第一位姿数据后,可以得到该至少一个虚拟对象在该三维场景模型表示的目标现实场景中的第一位姿数据,从而使得虚拟对象能够与目标现实场景更好的融合,这样可以在AR设备中展示出逼真的增强现实场景的效果。
本公开实施例中,可以提供用于编辑虚拟对象的第一位姿数据的三维场景模型,便于用户能够直观地编辑虚拟对象在三维场景中的第一位姿数据,从而能够基于用户需求个性化地进行虚拟对象的第一位姿数据的设置。
在另一种实施方式中,上述提到的更新数据除了包括至少一个虚拟对象在三维场景模型中的第一位姿数据以外,还可以包括至少一个虚拟对象在三维场景模型中的交互数据,在获取与初始AR数据包关联的至少一个虚拟对象的更新数据时,包括:
展示交互数据编辑界面,并获取通过交互数据编辑界面分别接收的每个虚拟对象的交互数据;
其中,交互数据中包括以下至少一种:至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数。
示例性地,可以在AR生成端展示的交互数据编辑界面,获取针对至少一个虚拟对象的交互数据的编辑操作,从而得到针对至少一个虚拟对象的至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数中的至少一种。
示例性地,基于获取到的针对任一虚拟对象的交互数据,后续可以基于虚拟对象的状态触发条件,触发该虚拟对象按照与该状态触发条件对应的呈现状态进行呈现,和/或,按照在被该状态触发条件触发展示后的循环展示次数进行展示。
如图4所示,在触发图4中(a)所示的创建触发条件按钮后,展示出如图4中(b)所示的交互数据编辑界面,具体是指针对虚拟动画的交互数据进行编辑的界面,该交互数据编辑界面中可以包含针对至少一个虚拟对象的状态触发条件、与该状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数的编辑区域。
示例性地,可以通过状态触发条件对应的编辑区域获取针对虚拟对象的状态触发条件的编辑操作,从而得到该虚拟对象对应的状态触发条件,后续AR设备可以在获取到该状态触发条件后触发该虚拟对象在目标现实场景中进行展示。
示例性地,可以通过呈现状态的编辑区域对虚拟对象被触发后是否进行显示进行编辑,如图4中(b)所示,在“模型显示”对应的按钮处于被选中状态时,表示当前虚拟动画对应的触发条件1被触发后,当前虚拟动画被显示,若“模型显示”对应的按钮处于未被选中状态时,表示当前虚拟动画对应的触发条件1被触发后,当前虚拟动画不被显示。
示例性地,可以通过循环次数对应的编辑区域获取针对虚拟对象在展示后的循环展示次数的编辑操作,比如获取的展示次数为n次,则可以表示当前虚拟动画在被触发条件1触发后,循环展示n次。
特别地,在交互数据中包括多种状态触发条件的情况下,交互数据还包括:每种状态触发条件的优先级。
示例性地,交互数据包含多种状态触发条件具体是指初始AR数据包关联的虚拟对象包含多个,每个虚拟对象对应一个状态触发条件的情况,可以对每个虚拟对象对应的状态触发条件设置优先级,当后续AR设备同时获取到多个状态触发条件时,将触发优先级最高的状态触发条件对应的虚拟对象,按照该虚拟对象对应的状态触发条件对应的呈现状态,和/或,按照该虚拟对象在被触发展示后的循环展示次数进行展示。
这里提到的状态触发条件可以包含但不局限于以下至少一种:
点击模型触发条件、滑动模型触发条件、距离识别触发条件、指定区域触发条件、手势识别触发条件、朝向当前模型触发条件以及朝向指定模型触发条件。
下面将对结合针对虚拟对象A来说明这些状态触发条件的含义:
其中,(1)点击模型触发条件是指通过点击AR设备中展示的虚拟对象A的三维模型后触发在AR设备中展示该虚拟对象A的状态触发条件,示例性地,AR设备可以展示待进行展示的虚拟对象的三维模型,在检测到针对该三维模型的点击操作后,展示该三维模型对应的虚拟对象;
(2)滑动模型触发条件是指通过在AR设备中按照设定方式滑动虚拟对象A的三维模型触发的针对该虚拟对象A的状态触发条件,示例性地,可以设置在AR设备中针对虚拟对象A的三维模型进行右滑操作触发虚拟对象A进行展示,在AR设备中针对虚拟对象A的三维模型进行左滑操作触发虚拟对象A进行消失;
(3)距离触发条件是指在AR设备所在的位置坐标与设定位置点之间的距离满足设定距离的情况下,触发的针对该虚拟对象A的状态触发条件;
(4)指定区域触发条件是指AR设备进入指定区域后,触发的针对虚拟对象A的状态触发条件;
(5)手势识别触发条件是指通过设定的手势动作,触发的针对虚拟对象A的状态触发条件;
(6)朝向当前模型触发条件是指当AR设备的拍摄角度朝向虚拟对象A所在的位置时,触发的针对该虚拟对象A的状态触发条件;
(7)朝向指定模型触发条件是指AR设备朝向特定的虚拟对象所在的位置时,触发的针对虚拟对象A的状态触发条件。
当AR数据包中包含多个虚拟对象时,且每个虚拟对象对应一种状态触发条件时,可以针对这些状态触发条件形成触发逻辑链,比如AR数据包中包含3个虚拟对象,若将第1个虚拟对象、第2个虚拟对象和第3个虚拟对象各自对应的状态触发条件分别记录为状态触发条件1、状态触发条件2和状态触发条件3,当状态触发条件1、状态触发条件2和状态触发条件3形成触发逻辑链后,比如形成的触发逻辑链的顺序为状态触发条件1、状态触发条件2和状态触发条件3,则当用户依次触发了状态触发条件1、状态触发条件2和状态触发条件3,则可以依次展示虚拟对象1、虚拟对象2和虚拟对象3。
本公开实施例中,可以提供针对虚拟对象的交互数据进行编辑的交互数据编辑界面,以支持编辑虚拟对象的触发方式以及展示形式。
在另一种可能的实施方式中,本公开实施例提供的生成方法还包括:
获取与初始AR数据包关联的至少一个虚拟三维模型在三维场景模型中展示时的第二位姿数据,该至少一个虚拟三维模型用于表示目标现实场景中的目标物体。
示例性地,虚拟三维模型在三维场景模型中的第二位姿数据是指该虚拟三维模型在三维场景模型中呈现时的位置数据、姿态数据以及样貌数据,具体地,虚拟三维模型在三维场景模型中的第二位姿数据,能够表示该虚拟三维模型对应的目标真实物体在目标现实场景中的第二位姿数据,具体可以通过编辑虚拟三维模型对应的样貌数据确定该虚拟三维模型在AR设备中被展示时的展示形态,比如将虚拟三维模型在AR设备中的展示形态编辑为遮挡形态,并在在AR设备呈现时进行透明处理,该虚拟三维模型可以用于对需要被遮挡的虚拟对象进行遮挡,比如在对虚拟对象进行展示时,对被遮挡的虚拟对象的部分区域不进行渲染展示,从而可以达到遮挡效果。
这样,在基于至少一个虚拟对象的更新数据,对初始AR数据包进行更新,生成更新后的AR数据包时,可以包括:
基于至少一个虚拟对象的更新数据,以及虚拟三维模型对应的第二位姿数据,对初始AR数据包进行更新,生成更新后的AR数据包。
本公开实施例中,可以提前编辑用于在AR场景中呈现遮挡效果的虚拟三维模型,通过编辑虚拟三维模型在三维场景模型中的第二位姿数据,可以实现还原虚拟三维模型在目标现实场景中的真实第二位姿数据,便于后续在AR设备展示虚拟对象时,提供更加逼真的展示效果。
进一步地,在生成更新后的AR数据包之后,如图5所示,本公开实施例提供的生成方法还包括S501~S502:
S501,响应于针对更新后的AR数据包的上传触发操作,获取与更新后的AR数据包对应的标签信息;
S502,将更新后的AR数据包和标签信息发送至服务器。
示例性地,针对初始AR数据包进行编辑,得到更新后的AR数据包后,可以将更新后的数据包发送至服务器,如图6所示,得到的与目标现实场景关联的AR数据包可以包括多个,用户触发图6中(a)所示页面的上传体验包操作后,为了确定用户要上传的目标更新后的AR数据包,可以展示出如图6中(b)所示的页面,用户可以在该页面中填写要上传的目标更新后的AR数据包对应的标签信息。
示例性地,标签信息可以包含目标现实场景的名称、楼层名称、体验包名称、主题、备注等信息,标签信息的填写一方面便于确定待上传的更新后的AR数据包,另一方面,便于服务器基于该标签信息对上传的更新后的AR数据包进行保存,从而方便AR设备端的用户在AR设备下载AR数据包进行体验。
本公开实施例中,可以将生成的更新后的AR数据包发布至服务器,可以供其它用户进行下载使用,示例性地,可以供其它AR生成端下载进行编辑,同时可以供AR设备下载体验AR数据包。
示例性地,将更新后的AR数据包和标签信息发送至服务器,包括:
将更新后的AR数据包、标签信息以及指示更新后的AR数据包是否启用的状态信息发送至服务器;
其中,处于启用状态的AR数据包能够被使用。
示例性地,指示更新后的AR数据包是否启用的状态信息可以通过在图6的(a)图中进行设置,每个AR数据包下面设置有“启用”按钮,若该AR数据包下面的“启用”按钮被触发,则表示该AR数据包对应的更新后的AR数据包上传至服务器后,可以被AR设备下载体验。
下面介绍针对AR场景内容的展示过程,该展示过程应用于AR设备,如图7所示,具体包括以下S701~S703:
S701,响应于第二触发操作,获取与第二触发操作指示的目标现实场景关联的AR数据包;AR数据包中包含至少一个虚拟对象在目标现实场景的三维场景模型中的第一位姿数据。
示例性地,AR设备可以包括但不限于AR眼镜、平板电脑、智能手机、智能穿戴式设备等具有显示功能和数据处理能力的设备,这些AR设备中可以安装用于展示AR场景内容的应用程序,用户可以在该应用程序中体验AR场景内容。
在AR设备打开用于展示AR场景内容的应用程序后,该AR设备可以展示出至少一个现实场景,以及每个现实场景关联的AR数据包,示例性地,第二触发操作可以是对目标现实场景中关联的AR数据包的触发操作,在一种实施例中,如图8所示,用户可以在AR设备展示的现实场景关联的AR数据包中,点击目标现实场景“理想国际大厦-15层”关联的AR数据包,比如点击“【示例】科幻”该AR数据包,则AR设备可以检测到存在针对该AR数据包的第二触发操作,进而可以向服务器请求获取目标现实场景“理想国际大厦-15层”关联的AR数据包。
其中,AR数据包中包含的至少一个虚拟对象在目标现实场景的三维场景模型中的第一位姿数据详见上文描述,这里不再赘述。
S702,基于AR设备当前拍摄目标现实场景时的第三位姿数据,以及AR数据包中至少一个虚拟对象在三维场景模型中的第一位姿数据,确定至少一个虚拟对象的呈现特效信息。
示例性地,AR设备当前拍摄目标现实场景时的第三位姿数据可以包括用户手持或佩戴AR设备时,用于显示虚拟对象的显示部件所在的位置和/或显示角度,为了方便解释AR设备对应的第三位姿数据,这里引入坐标系的概念,比如以目标现实场景所在的世界坐标系为例,示例性地,AR设备对应第三位姿数据可以包括但不限于以下至少一种:AR设备的显示部件在该世界坐标系中的坐标位;AR设备的显示部件与世界坐标系中各个坐标轴的夹角;AR设备的显示部件在世界坐标系中的坐标位置以及与世界坐标中各个坐标轴的夹角。
其中,AR设备的显示部件具体指该AR设备中用于显示虚拟对象的部件,示例性地,AR设备为手机或者平板时,对应的显示部件可以为显示屏,当AR设备为AR眼镜时,对应的显示部件可以为用于显示虚拟对象的镜片。
AR设备对应的第三位姿数据可以通过多种方式获取,比如当AR设备配置有位姿传感器时,可以通过AR设备上的位姿传感器来确定AR设备的第三位姿数据;当AR设备配置有图像采集部件,比如摄像头时,可以通过摄像头采集的目标现实场景图像来确定AR设备对应的第三位姿数据。
示例性地,位姿传感器可以包括用来确定AR设备的拍摄角度的角速度传感器,比如陀螺仪、惯性测量单元(Inertial measurement unit,IMU)等;可以包括用来确定AR设备拍摄位置的定位部件,比如可以是基于全球定位系统(Global Positioning System,GPS)、全球导航卫星系统(Global Navigation Satellite System,GLONASS),无线保真(Wireless Fidelity,WiFi)定位技术的定位部件;也可以同时包括用来确定AR设备的拍摄角度的角速度传感器和拍摄位置的定位部件。
示例性地,在通过AR设备拍摄的目标现实场景图像确定该AR设备对应的第三位姿数据时,可以通过该目标现实场景图像和预先存储的用于定位的第一神经网络,来确定该AR设备对应的第三位姿数据。
示例性地,第一神经网络可以基于预先拍摄目标现实场景得到的多张样本图片,和拍摄每张样本图片时对应的第三位姿数据,训练得到。
针对AR拍摄的目标现实场景图像来确定AR设备对应的第三位姿数据时,如图9所示,在AR设备端展示用于提示用户使用AR设备进行拍摄的信息。
或者,还可以通过其它方式获取到该AR设备对应的第三位姿数据,在这里不再赘述。
因为三维场景模型与现实场景在相同坐标系中按照1:1呈现,在不同坐标系中等比例呈现,故通过提前设置好的虚拟对象在三维场景模型中呈现时的第一位姿数据,以及AR设备对应的第三位姿数据,能够确定该虚拟对象在AR设备中的呈现特效信息。
S703,基于呈现特效信息,通过AR设备展示至少一个虚拟对象。
在得到虚拟对象在目标现实场景中的呈现特效信息后,可以通过AR设备按照该呈现特效信息展示该至少一个虚拟对象,如图10所示,为在目标现实场景中展示虚拟对象“唐三彩马”的示意图。
上述S701~S703提供的实施例中,可以响应第二触发操作,获取与该第二触发操作关联的AR数据包,进一步可以基于AR数据包中虚拟对象在三维场景模型中的第一位姿数据,以及AR设备对应的第三位姿数据,确定虚拟对象在该目标现实场景中的呈现特效信息,由于三维场景模型可以表示目标现实场景,基于该三维场景模型所构建好的虚拟对象的第一位姿数据能够较好地融入现实场景,从而在AR设备中展示出逼真的增强现实场景的效果。
进一步地,AR数据包中还包括至少一个虚拟三维模型在三维场景模型中的第二位姿数据;则在基于AR设备当前拍摄目标现实场景时的第三位姿数据,以及AR数据包中至少一个虚拟对象在三维场景模型中的第一位姿数据,确定至少一个虚拟对象的呈现特效信息,包括:
基于AR设备当前拍摄目标现实场景时的第三位姿数据、AR数据包中至少一个虚拟对象在三维场景模型中的第一位姿数据、以及虚拟三维模型对应的第二位姿数据,确定至少一个虚拟对象的呈现特效信息。
示例性地,当三维场景模型与AR设备位于同一坐标系中时,可以根据该虚拟三维模型对应的第二位姿数据、AR设备对应的第三位姿数据、以及虚拟对象在三维场景模型中的第一位姿数据,确定该虚拟对象是否被虚拟三维模型对应的实体物体遮挡,在确定该虚拟对象的部分区域或者全部区域被虚拟三维模型对应的实体物体遮挡时,将不会对被遮挡的区域进行渲染,该虚拟三维模型可以被处理为遮挡形态,并对该遮挡形态的虚拟三维模型进行透明化处理,这样用户在AR设备中不会看到透明处理后的虚拟三维模型,这样能够展示出虚拟对象被目标现实场景中的实体物体遮挡的效果。
本公开实施例中,通过虚拟三维模型在三维场景模型中的第二位姿数据,可以实现还原虚拟三维模型在目标现实场景中的真实第二位姿数据,当确定出虚拟对象被虚拟三维模型对应的实体物体遮挡时,能够通过虚拟三维模型实现对虚拟对象的遮挡效果,从而在AR设备中展示出更为逼真的真实效果。
在一种可能的实施方式中,AR数据包中还包括至少一个虚拟对象在三维场景模型中的交互数据,交互数据包括至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数中的至少一种。
示例性地,交互数据中包含的状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数的解释详见上文,在此不再赘述。
基于上文提到的状态触发条件可以包含多种,比如包括点击模型触发条件、滑动模型触发条件、距离识别触发条件、指定区域触发条件、手势识别触发条件、朝向当前模型触发条件以及朝向指定模型触发条件,每种触发条件的解释详见上文,这里不进行赘述,可以看到状态触发条件可以包含两种类型,一种类型为与AR设备对应的第三位姿数据有关的状态触发条件,比如距离识别触发条件、指定区域触发条件、朝向当前模型触发条件以及朝向指定模型触发条件,另一种类型为与AR设备对应的第三位姿数据无关的状态触发条件,比如点击模型触发条件、滑动模型触发条件和手势识别触发条件,下面将针对这两种类型,来分别考虑与虚拟对象的交互。
在一种可能的实施方式中,本公开实施例提供的展示方法还包括:
(1)检测到作用于至少一个虚拟对象的交互操作;
(1)在作用于至少一个虚拟对象的交互操作符合第一类状态触发条件的情况下,基于至少一个虚拟对象在该第一类状态触发条件下对应的呈现状态,和/或,至少一个虚拟对象在该第一类状态触发条件被触发展示后的循环展示次数,对至少一个虚拟对象的呈现特效信息进行更新,得到更新后的呈现特效信息。
进一步地,基于呈现特效信息,通过AR设备展示至少一个虚拟对象,包括:
基于更新后的呈现特效信息,通过AR设备展示至少一个虚拟对象。
示例性地,交互操作可以为用于触发虚拟对象的呈现特效信息进行更新的操作,其中,第一类状态触发条件可以为上述提到的与AR设备对应的第三位姿数据无关的状态触发条件,比如点击模型触发条件、滑动模型触发条件和手势识别触发条件。
示例性地,AR设备检测到存在该交互操作,比如,若检测到用户作用于AR设备中针对虚拟对象A的滑动操作,则可以获取该虚拟对象A在滑动操作下对应的呈现状态,和/或,该虚拟对象A在该滑动操作下被触发展示后的循环展示次数,然后基于此对虚拟对象A的呈现特效信息进行更新。
示例性地,对虚拟对象的呈现特效信息进行更新的方式可以分为三种情况,第一种情况可以单独基于至少一个虚拟对象在该第一类状态触发条件下对应的呈现状态对该至少一个虚拟对象的呈现特效信息进行更新,第二种情况可以单独基于该至少一个虚拟对象在该第一类状态触发条件被触发展示后的循环展示次数,对至少一个虚拟对象的呈现特效信息进行更新,第三种情况可以同时结合至少一个虚拟对象在该第一类状态触发条件下对应的呈现状态,以及至少一个虚拟对象在该第一类状态触发条件被触发展示后的循环展示次数,共同对至少一个虚拟对象的呈现特效信息进行更新。
下面分别结合具体实施例来对以上三种情况进行介绍。
针对第一种情况,示例性地,虚拟对象A的初始呈现特效信息为在桌子上显示的虚拟花瓶,交互操作为作用于虚拟对象上的滑动操作,且虚拟对象A在滑动操作下对应的呈现状态为不显示,可以在检测到存在作用于针对该虚拟花瓶的滑动操作后,将虚拟花瓶的呈现特效信息从原来的显示变为消失。
针对第二种情况,比如,虚拟对象A为呈现在墙壁上从A位置走向B位置的虚拟花猫,交互操作为作用于虚拟花猫对应的三维模型上的点击操作,且该虚拟对象在点击操作下被触发展示后的循环展示次数为5次,可以在检测到用户作用于针对该虚拟花猫的点击操作后,触发该虚拟花猫按照从A位置走向B位置的展示方式循环5次。
针对第三种情况,示例性地,虚拟对象A是在一展花灯中的闪烁一次的虚拟灯光,交互操作为手势识别操作,该虚拟灯光在该手势识别操作下对应的呈现状态为显示,且该虚拟灯光在该手势识别操作下被触发展示后的循环展示次数为5次,可以在检测到该手势识别操作后,将虚拟灯光的呈现特效信息更新为闪烁5次。
本公开实施例中,在检测到存在针对虚拟对象的交互操作时,可以在确定该交互操作符合设定状态触发条件的情况下,按照虚拟对象在该设定状态触发条件下的展示方式,对虚拟对象进行展示,示例性地,增强现实体验者可以对AR设备展示设定的手势,从而触发虚拟对象按照与该手势对应的呈现特效进行展示,该方式提高了增强现实体验者在目标现实场景中与虚拟对象的交互性,提升了用户体验。
在另一种可能的实施方式中,本公开实施例提供的展示方法还包括:
在第三位姿数据符合第二类状态触发条件的情况下,基于至少一个虚拟对象在该第二类状态触发条件下对应的呈现状态,和/或,至少一个虚拟对象在该第二类状态触发条件被触发展示后的循环展示次数,对至少一个虚拟对象的呈现特效信息进行更新,得到更新后的呈现特效信息;
进一步地,基于呈现特效信息,通过AR设备展示至少一个虚拟对象,包括:
基于更新后的呈现特效信息,通过AR设备展示至少一个虚拟对象。
示例性地,第二类状态触发条件可以为上述提到的与AR设备对应的第三位姿数据有关的状态触发条件,比如距离识别触发条件、指定区域触发条件、朝向当前模型触发条件以及朝向指定模型触发条件。
示例性地,AR设备对应的第三位姿数据符合第二类状态触发条件包括多种情况,具体可以通过AR设备的显示部件所在的位置和/或显示角度来确定AR设备对应的第三位姿数据是否符合第二类状态触发条件,可以单独通过AR设备的显示部件所在的位置来确定AR设备对应的第三位姿数据是否符合第二类状态触发条件,也可以单独通过AR设备的显示角度来确定AR设备对应的第三位姿数据是否符合第二类状态触发条件,或者通过结合AR设备的显示部件所在的位置和显示角度来确定AR设备对应的第三位姿数据是否符合第二类状态触发条件。
示例性地,当AR设备的显示部件所在的位置坐标与设定位置点之间距离满足设定距离时,可以确定该AR设备对应的第三位姿数据符合第二类状态触发条件;或者,还可以在确定AR设备的显示角度朝向虚拟对象A所在的位置时,确定该AR设备对应的第三位姿数据符合第二类状态触发条件;或者,还可以在AR设备的显示部件所在的位置坐标与设定位置点之间的距离满足设定距离,且该AR设备的显示角度朝向虚拟对象A所展示的位置时,确定该AR设备对应的第三位姿数据符合第二类状态触发条件,这种情况较多,在此不再一一赘述。
进一步地,在AR设备对应的第三位姿数据符合第二类状态触发条件的情况下,可以按照至少一个虚拟对象在该第二类状态触发条件下对应的呈现状态,和/或,至少一个虚拟对象在该第二类状态触发条件被触发展示后的循环展示次数,对至少一个虚拟对象的呈现特效信息进行更新,具体更新方式与上文基于交互操作进行更新的方式相似,比在此不再赘述。
本公开实施例中,在检测到AR设备对应的第三位姿数据符合设定状态触发条件的情况下,按照虚拟对象在该设定状态触发条件下的展示方式,对虚拟对象进行展示,示例性地,当AR设备靠近设定位置,且AR设备的显示角度朝向虚拟对象A所在的位置时,触发虚拟对象A按照该AR设备的第三位姿数据对应的呈现特效进行展示,该过程可以使得增强现实场景效果更加逼真,从而提升用户体验。
如图11所示,为本公开实施例提供的一种AR场景内容的展示系统的示意图,该展示系统包括AR生成端1111、服务器1102以及AR设备1103,AR生成端1101与服务器1102通信连接,AR设备1103与服务器1103通信连接;
AR生成端1101,用于响应于第一触发操作,获取第一触发操作指示的目标现实场景的三维场景模型,以及与目标现实场景关联的初始增强现实AR数据包;获取与初始AR数据包关联的至少一个虚拟对象的更新数据;更新数据包括至少一个虚拟对象在三维场景模型中的第一位姿数据;以及用于基于至少一个虚拟对象的更新数据,对初始AR数据包进行更新,并将更新后的AR数据包发送至服务器;
服务器1102,用于接收更新后的AR数据包,以及向AR设备转发更新后的AR数据包;
AR设备1103,用于响应于第二触发操作,获取服务器中保存的与第二触发操作指示的目标现实场景关联的更新后的AR数据包;基于AR设备当前拍摄目标现实场景时的第三位姿数据,以及更新后的AR数据包中至少一个虚拟对象在三维场景模型中的第一位姿数据,确定至少一个虚拟对象的呈现特效信息;基于呈现特效信息,通过AR设备展示至少一个虚拟对象。
本公开实施例提供了一种用于展示AR场景内容的展示系统,能够远程编辑生成AR数据包,并将生成的AR数据包发布至服务器,供AR设备端进行增强现实体验,具体可以在AR生成端提供一种针对AR数据包的简便生成方式,便于用户编辑,服务器端能够对AR数据包进行保存,便于AR设备对AR数据包进行下载体验。
本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
基于同一技术构思,本公开实施例中还提供了与AR场景内容的生成方法对应的生成装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述生成方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图12所示,为本公开实施例提供的一种AR场景内容的生成装置1200的示意图,该生成装置应用于AR生成端,包括:第一获取模块1201、第二获取模块1202和更新模块1203。
其中,第一获取模块1201,用于响应于第一触发操作,获取第一触发操作指示的目标现实场景的三维场景模型,以及与目标现实场景关联的初始增强现实AR数据包;
第二获取模块1202,用于获取与初始AR数据包关联的至少一个虚拟对象的更新数据;更新数据包括至少一个虚拟对象在三维场景模型中的第一位姿数据;
更新模块1203,用于基于至少一个虚拟对象的更新数据,对初始AR数据包进行更新,生成更新后的AR数据包。
在一种可能的实施方式中,第二获取模块1202在用于获取与初始AR数据包关联的至少一个虚拟对象的更新数据时,包括:
获取初始AR数据包中的至少一个第一虚拟对象的更新数据,和/或,从预先建立的素材库中获取与初始AR数据包关联的至少一个第二虚拟对象,并获取至少一个第二虚拟对象的更新数据。
在一种可能的实施方式中,第二获取模块1202在用于获取与初始AR数据包关联的至少一个虚拟对象的更新数据时,包括:
展示加载的三维场景模型;
获取至少一个虚拟对象在被置于三维场景模型中的情况下的第一位姿数据。
在一种可能的实施方式中,更新数据还包括至少一个虚拟对象在三维场景模型中的交互数据,第二获取模块1202在用于获取与初始AR数据包关联的至少一个虚拟对象的更新数据时,包括:
展示交互数据编辑界面,并获取通过交互数据编辑界面分别接收的每个虚拟对象的交互数据;
其中,交互数据中包括以下至少一种:至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数。
在一种可能的实施方式中,在交互数据中包括多种状态触发条件的情况下,交互数据还包括:每种状态触发条件的优先级。
在一种可能的实施方式中,第二获取模块1202还用于:
获取与初始AR数据包关联的至少一个虚拟三维模型在三维场景模型中展示时的第二位姿数据,至少一个虚拟三维模型用于表示目标现实场景中的目标物体;
更新模块在用于基于至少一个虚拟对象的更新数据,对初始AR数据包进行更新,生成更新后的AR数据包时,包括:
基于至少一个虚拟对象的更新数据,以及虚拟三维模型对应的第二位姿数据,对初始AR数据包进行更新,生成更新后的AR数据包。
在一种可能的实施方式中,生成装置还包括发送模块1204,在更新模块1203生成更新后的AR数据包之后,发送模块1204用于:
响应于对更新后的AR数据包的上传触发操作,获取更新后的AR数据包对应的标签信息;
将更新后的AR数据包和标签信息发送至服务器。
在一种可能的实施方式中,发送模块1204在用于将更新后的AR数据包和标签信息发送至服务器时,包括:
将更新后的AR数据包、标签信息以及指示更新后的AR数据包是否启用的状态信息发送至服务器;
其中,处于启用状态的AR数据包能够被使用。
基于同一技术构思,本公开实施例中还提供了与AR场景内容的生成方法对应的生成装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述生成方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。
参照图13所示,为本公开实施例提供的一种AR场景内容的展示装置1300的示意图,该展示装置应用于AR生成端,包括:获取模块1301、确定模块1302和展示模块1303。
获取模块1301,用于响应于第二触发操作,获取与第二触发操作指示的目标现实场景关联的AR数据包;AR数据包中包含至少一个虚拟对象在目标现实场景的三维场景模型中的第一位姿数据;
确定模块1302,用于基于AR设备当前拍摄目标现实场景时的第三位姿数据,以及AR数据包中至少一个虚拟对象在三维场景模型中的第一位姿数据,确定至少一个虚拟对象的呈现特效信息;
展示模块1303,用于基于呈现特效信息,通过AR设备展示至少一个虚拟对象。
在一种可能的实施方式中,AR数据包中还包括至少一个虚拟三维模型在三维场景模型中的第二位姿数据;
确定模块1302在用于基于AR设备当前拍摄目标现实场景时的第三位姿数据,以及AR数据包中至少一个虚拟对象在三维场景模型中的第一位姿数据,确定至少一个虚拟对象的呈现特效信息时,包括:
基于AR设备当前拍摄目标现实场景时的第三位姿数据、AR数据包中至少一个虚拟对象在三维场景模型中的第一位姿数据、以及虚拟三维模型对应的第二位姿数据,确定至少一个虚拟对象的呈现特效信息。
在一种可能的实施方式中,AR数据包中还包括至少一个虚拟对象在三维场景模型中的交互数据,交互数据包括至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数中的至少一种。
在一种可能的实施方式中,展示装置还包括交互模块1304,交互模块1304用于:
检测作用于至少一个虚拟对象的交互操作;
在作用于至少一个虚拟对象的交互操作符合第一类状态触发条件的情况下,基于至少一个虚拟对象在该第一类状态触发条件下对应的呈现状态,和/或,至少一个虚拟对象在该第一类状态触发条件被触发展示后的循环展示次数,对至少一个虚拟对象的呈现特效信息进行更新,得到更新后的呈现特效信息;
展示模块1303在用于基于呈现特效信息,通过AR设备展示至少一个虚拟对象时,包括:
基于更新后的呈现特效信息,通过AR设备展示至少一个虚拟对象。
在一种可能的实施方式中,展示装置还包括交互模块1304,交互模块1304用于:
在第三位姿数据符合第二类状态触发条件的情况下,基于至少一个虚拟对象在该第二类状态触发条件下对应的呈现状态,和/或,至少一个虚拟对象在该第二类状态触发条件被触发展示后的循环展示次数,对至少一个虚拟对象的呈现特效信息进行更新,得到更新后的呈现特效信息;
展示模块1303在用于基于呈现特效信息,通过AR设备展示至少一个虚拟对象时,包括:
基于更新后的呈现特效信息,通过AR设备展示至少一个虚拟对象。
关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。
对应于图1中的AR场景内容的生成方法,本公开实施例还提供了一种电子设备1400,如图14所示,为本公开实施例提供的电子设备1400结构示意图,包括:
处理器141、存储器142、和总线143;存储器142用于存储执行指令,包括内存1421和外部存储器1422;这里的内存1421也称内存储器,用于暂时存放处理器141中的运算数据,以及与硬盘等外部存储器1422交换的数据,处理器141通过内存1421与外部存储器1422进行数据交换,当电子设备1400运行时,处理器141与存储器142之间通过总线143通信,使得处理器141执行以下指令:响应于第一触发操作,获取第一触发操作指示的目标现实场景的三维场景模型,以及与目标现实场景关联的初始增强现实AR数据包;获取与初始AR数据包关联的至少一个虚拟对象的更新数据;更新数据包括至少一个虚拟对象在三维场景模型中的第一位姿数据;基于至少一个虚拟对象的更新数据,对初始AR数据包进行更新,生成更新后的AR数据包。
对应于图7中的AR场景内容的展示方法,本公开实施例还提供了一种电子设备1500,如图15所示,为本公开实施例提供的电子设备1500结构示意图,包括:
处理器151、存储器152、和总线153;存储器152用于存储执行指令,包括内存1521和外部存储器1522;这里的内存1521也称内存储器,用于暂时存放处理器151中的运算数据,以及与硬盘等外部存储器1522交换的数据,处理器151通过内存1521与外部存储器1522进行数据交换,当电子设备1500运行时,处理器151与存储器152之间通过总线153通信,使得处理器151执行以下指令:响应于第二触发操作,获取与第二触发操作指示的目标现实场景关联的AR数据包;AR数据包中包含至少一个虚拟对象在目标现实场景的三维场景模型中的第一位姿数据;基于AR设备当前拍摄目标现实场景时的第三位姿数据,以及AR数据包中至少一个虚拟对象在三维场景模型中的第一位姿数据,确定至少一个虚拟对象的呈现特效信息;基于呈现特效信息,通过AR设备展示至少一个虚拟对象。
本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的生成方法或展示方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
本公开实施例所提供的生成方法或展示方法的计算机程序产品,包括存储了程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行上述方法实施例中所述的生成方法或展示方法的步骤,具体可参见上述方法实施例,在此不再赘述。
本公开实施例还提供一种计算机程序,该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(Software DevelopmentKit,SDK)等等。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

Claims (18)

1.一种AR场景内容的生成方法,其特征在于,应用于AR生成端,包括:
响应于第一触发操作,获取所述第一触发操作指示的目标现实场景的三维场景模型,以及与所述目标现实场景关联的初始增强现实AR数据包;
获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据;所述更新数据包括所述至少一个虚拟对象在所述三维场景模型中的第一位姿数据;
基于所述至少一个虚拟对象的所述更新数据,对所述初始AR数据包进行更新,生成更新后的AR数据包。
2.根据权利要求1所述的生成方法,其特征在于,获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据,包括:
获取所述初始AR数据包中的至少一个第一虚拟对象的更新数据,和/或,从预先建立的素材库中获取与所述初始AR数据包关联的至少一个第二虚拟对象,并获取所述至少一个第二虚拟对象的更新数据。
3.根据权利要求1或2所述的生成方法,其特征在于,所述获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据,包括:
展示加载的所述三维场景模型;
获取所述至少一个虚拟对象在被置于所述三维场景模型中的情况下的所述第一位姿数据。
4.根据权利要求1至3任一所述的生成方法,其特征在于,所述更新数据还包括所述至少一个虚拟对象在所述三维场景模型中的交互数据;
所述获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据,包括:
展示交互数据编辑界面,并获取通过所述交互数据编辑界面分别接收的每个虚拟对象的交互数据;
其中,所述交互数据中包括以下至少一种:至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数。
5.根据权利要求4所述的生成方法,其特征在于,在所述交互数据中包括多种状态触发条件的情况下,所述交互数据还包括:每种状态触发条件的优先级。
6.根据权利要求1所述的生成方法,其特征在于,所述生成方法还包括:
获取与所述初始AR数据包关联的至少一个虚拟三维模型在所述三维场景模型中展示时的第二位姿数据,所述至少一个虚拟三维模型用于表示所述目标现实场景中的目标物体;
所述基于所述至少一个虚拟对象的所述更新数据,对所述初始AR数据包进行更新,生成更新后的AR数据包,包括:
基于所述至少一个虚拟对象的所述更新数据,以及所述虚拟三维模型对应的所述第二位姿数据,对所述初始AR数据包进行更新,生成更新后的AR数据包。
7.根据权利要求1至6任一所述的生成方法,其特征在于,所述生成更新后的AR数据包之后,还包括:
响应于对所述更新后的AR数据包的上传触发操作,获取所述更新后的AR数据包的标签信息;
将所述更新后的AR数据包和所述标签信息发送至服务器。
8.根据权利要求7所述的生成方法,其特征在于,所述将所述更新后的AR数据包和所述标签信息发送至服务器,包括:
将所述更新后的AR数据包、所述标签信息以及指示所述更新后的AR数据包是否启用的状态信息发送至服务器。
9.一种AR场景内容的展示方法,其特征在于,应用于AR设备,包括:
响应于第二触发操作,获取与所述第二触发操作指示的目标现实场景关联的AR数据包;所述AR数据包中包含至少一个虚拟对象在所述目标现实场景的三维场景模型中的第一位姿数据;
基于AR设备当前拍摄所述目标现实场景时的第三位姿数据,以及所述AR数据包中至少一个虚拟对象在三维场景模型中的所述第一位姿数据,确定所述至少一个虚拟对象的呈现特效信息;
基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
10.根据权利要求9所述的展示方法,其特征在于,所述AR数据包中还包括至少一个虚拟三维模型在所述三维场景模型中的第二位姿数据;
所述基于AR设备当前拍摄所述目标现实场景时的第三位姿数据,以及所述AR数据包中至少一个虚拟对象在三维场景模型中的所述第一位姿数据,确定所述至少一个虚拟对象的呈现特效信息,包括:
基于所述AR设备当前拍摄所述目标现实场景时的所述第三位姿数据、所述AR数据包中至少一个虚拟对象在三维场景模型中的所述第一位姿数据、以及所述虚拟三维模型对应的所述第二位姿数据,确定所述至少一个虚拟对象的呈现特效信息。
11.根据权利要求9或10所述的展示方法,其特征在于,所述AR数据包中还包括至少一个虚拟对象在所述三维场景模型中的交互数据,所述交互数据包括至少一种状态触发条件、与每种状态触发条件对应的呈现状态、以及虚拟对象在被触发展示后的循环展示次数中的至少一种。
12.根据权利要求11所述的展示方法,其特征在于,所述展示方法还包括:
检测作用于所述至少一个虚拟对象的交互操作;
在所述作用于所述至少一个虚拟对象的交互操作符合第一类状态触发条件的情况下,基于所述至少一个虚拟对象在该第一类状态触发条件下对应的呈现状态,和/或,所述至少一个虚拟对象在该第一类状态触发条件被触发展示后的循环展示次数,对所述至少一个虚拟对象的呈现特效信息进行更新,得到更新后的呈现特效信息;
所述基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象,包括:
基于所述更新后的呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
13.根据权利要求11所述的展示方法,其特征在于,所述展示方法还包括:
在所述第三位姿数据符合第二类状态触发条件的情况下,基于所述至少一个虚拟对象在该第二类状态触发条件下对应的呈现状态,和/或,所述至少一个虚拟对象在该第二类状态触发条件被触发展示后的循环展示次数,对所述至少一个虚拟对象的呈现特效信息进行更新,得到更新后的呈现特效信息;
所述基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象,包括:
基于所述更新后的呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
14.一种AR场景内容的展示系统,其特征在于,包括AR生成端、服务器以及AR设备,所述AR生成端与所述服务器通信连接,所述AR设备与所述服务器通信连接;
所述AR生成端,用于响应于第一触发操作,获取所述第一触发操作指示的目标现实场景的三维场景模型,以及与所述目标现实场景关联的初始增强现实AR数据包;获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据;所述更新数据包括所述至少一个虚拟对象在所述三维场景模型中的第一位姿数据;以及用于基于所述至少一个虚拟对象的所述更新数据,对所述初始AR数据包进行更新,并将更新后的AR数据包发送至服务器;
所述服务器,用于接收所述更新后的AR数据包,以及向所述AR设备转发所述更新后的AR数据包;
所述AR设备,用于响应于第二触发操作,获取所述服务器中保存的与所述第二触发操作指示的目标现实场景关联的所述更新后的AR数据包;基于AR设备当前拍摄所述目标现实场景时的第三位姿数据,以及所述更新后的AR数据包中至少一个虚拟对象在所述三维场景模型中的所述第一位姿数据,确定所述至少一个虚拟对象的呈现特效信息;基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
15.一种AR场景内容的生成装置,其特征在于,应用于AR生成端,包括:
第一获取模块,用于响应于第一触发操作,获取所述第一触发操作指示的目标现实场景的三维场景模型,以及与所述目标现实场景关联的初始增强现实AR数据包;
第二获取模块,用于获取与所述初始AR数据包关联的至少一个虚拟对象的更新数据;所述更新数据包括所述至少一个虚拟对象在所述三维场景模型中的第一位姿数据;
更新模块,用于基于所述至少一个虚拟对象的所述更新数据,对所述初始AR数据包进行更新,生成更新后的AR数据包。
16.一种AR场景内容的展示装置,其特征在于,应用于AR设备,包括:
获取模块,用于响应于第二触发操作,获取与所述第二触发操作指示的目标现实场景关联的AR数据包;所述AR数据包中包含至少一个虚拟对象在所述目标现实场景的三维场景模型中的第一位姿数据;
确定模块,用于基于AR设备当前拍摄所述目标现实场景时的第三位姿数据,以及所述AR数据包中至少一个虚拟对象在三维场景模型中的所述第一位姿数据,确定所述至少一个虚拟对象的呈现特效信息;
展示模块,用于基于所述呈现特效信息,通过所述AR设备展示所述至少一个虚拟对象。
17.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至8任一所述的生成方法的步骤,或者执行如权利要求9至13任一所述的展示方法的步骤。
18.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至8任一所述的生成方法的步骤,或者执行如权利要求9至13任一所述的展示方法的步骤。
CN202010456842.3A 2020-05-26 2020-05-26 Ar场景内容的生成方法、展示方法、展示系统及装置 Withdrawn CN111610997A (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN202010456842.3A CN111610997A (zh) 2020-05-26 2020-05-26 Ar场景内容的生成方法、展示方法、展示系统及装置
SG11202108241QA SG11202108241QA (en) 2020-05-26 2020-12-09 Ar scene content generation method and presentation method, apparatuses, and storage medium
KR1020217020429A KR20210148074A (ko) 2020-05-26 2020-12-09 Ar 시나리오 콘텐츠의 생성 방법, 전시 방법, 장치 및 저장 매체
JP2021538425A JP2022537861A (ja) 2020-05-26 2020-12-09 Arシーンコンテンツの生成方法、表示方法、装置及び記憶媒体
PCT/CN2020/135048 WO2021238145A1 (zh) 2020-05-26 2020-12-09 Ar场景内容的生成方法、展示方法、装置及存储介质
TW110116126A TWI783472B (zh) 2020-05-26 2021-05-04 Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010456842.3A CN111610997A (zh) 2020-05-26 2020-05-26 Ar场景内容的生成方法、展示方法、展示系统及装置

Publications (1)

Publication Number Publication Date
CN111610997A true CN111610997A (zh) 2020-09-01

Family

ID=72197998

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010456842.3A Withdrawn CN111610997A (zh) 2020-05-26 2020-05-26 Ar场景内容的生成方法、展示方法、展示系统及装置

Country Status (1)

Country Link
CN (1) CN111610997A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112051956A (zh) * 2020-09-09 2020-12-08 北京五八信息技术有限公司 一种房源的交互方法和装置
CN112232900A (zh) * 2020-09-25 2021-01-15 北京五八信息技术有限公司 一种信息的展示方法和装置
CN113015018A (zh) * 2021-02-26 2021-06-22 上海商汤智能科技有限公司 弹幕信息的展示方法、装置、系统、电子设备及存储介质
WO2021238145A1 (zh) * 2020-05-26 2021-12-02 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
CN114529690A (zh) * 2020-10-30 2022-05-24 北京字跳网络技术有限公司 增强现实场景呈现方法、装置、终端设备和存储介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014169692A1 (en) * 2013-04-15 2014-10-23 Tencent Technology (Shenzhen) Company Limited Method,device and storage medium for implementing augmented reality
CN107229393A (zh) * 2017-06-02 2017-10-03 三星电子(中国)研发中心 虚拟现实场景的实时编辑方法、装置、系统及客户端
CN108200010A (zh) * 2017-12-11 2018-06-22 机械工业第六设计研究院有限公司 虚拟场景与真实场景的数据交互方法、装置、终端及系统
CN109564472A (zh) * 2016-08-11 2019-04-02 微软技术许可有限责任公司 沉浸式环境中的交互方法的选取
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN110928626A (zh) * 2019-11-21 2020-03-27 北京金山安全软件有限公司 一种界面切换方法、装置及电子设备
WO2020063132A1 (zh) * 2018-09-30 2020-04-02 上海葡萄纬度科技有限公司 基于ar的交互编程系统、方法、介质及智能设备

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014169692A1 (en) * 2013-04-15 2014-10-23 Tencent Technology (Shenzhen) Company Limited Method,device and storage medium for implementing augmented reality
CN109564472A (zh) * 2016-08-11 2019-04-02 微软技术许可有限责任公司 沉浸式环境中的交互方法的选取
CN107229393A (zh) * 2017-06-02 2017-10-03 三星电子(中国)研发中心 虚拟现实场景的实时编辑方法、装置、系统及客户端
CN108200010A (zh) * 2017-12-11 2018-06-22 机械工业第六设计研究院有限公司 虚拟场景与真实场景的数据交互方法、装置、终端及系统
WO2020063132A1 (zh) * 2018-09-30 2020-04-02 上海葡萄纬度科技有限公司 基于ar的交互编程系统、方法、介质及智能设备
CN110716645A (zh) * 2019-10-15 2020-01-21 北京市商汤科技开发有限公司 一种增强现实数据呈现方法、装置、电子设备及存储介质
CN110738737A (zh) * 2019-10-15 2020-01-31 北京市商汤科技开发有限公司 一种ar场景图像处理方法、装置、电子设备及存储介质
CN110928626A (zh) * 2019-11-21 2020-03-27 北京金山安全软件有限公司 一种界面切换方法、装置及电子设备

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021238145A1 (zh) * 2020-05-26 2021-12-02 北京市商汤科技开发有限公司 Ar场景内容的生成方法、展示方法、装置及存储介质
CN112051956A (zh) * 2020-09-09 2020-12-08 北京五八信息技术有限公司 一种房源的交互方法和装置
CN112232900A (zh) * 2020-09-25 2021-01-15 北京五八信息技术有限公司 一种信息的展示方法和装置
CN114529690A (zh) * 2020-10-30 2022-05-24 北京字跳网络技术有限公司 增强现实场景呈现方法、装置、终端设备和存储介质
CN114529690B (zh) * 2020-10-30 2024-02-27 北京字跳网络技术有限公司 增强现实场景呈现方法、装置、终端设备和存储介质
CN113015018A (zh) * 2021-02-26 2021-06-22 上海商汤智能科技有限公司 弹幕信息的展示方法、装置、系统、电子设备及存储介质
CN113015018B (zh) * 2021-02-26 2023-12-19 上海商汤智能科技有限公司 弹幕信息的展示方法、装置、系统、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN111610998A (zh) Ar场景内容的生成方法、展示方法、装置及存储介质
CN111610997A (zh) Ar场景内容的生成方法、展示方法、展示系统及装置
KR102534637B1 (ko) 증강 현실 시스템
KR102414587B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기 및 저장 매체
KR102606601B1 (ko) 표면 인식 렌즈
KR20220030263A (ko) 텍스처 메시 빌딩
TWI783472B (zh) Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質
KR102491191B1 (ko) 중복 추적 시스템
KR20210047278A (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
KR20210046591A (ko) 증강 현실 데이터 제시 방법, 장치, 전자 기기 및 저장 매체
US10055888B2 (en) Producing and consuming metadata within multi-dimensional data
KR102417786B1 (ko) 증강 현실 데이터 제시 방법, 장치, 기기, 저장 매체 및 프로그램
CN111311756B (zh) 增强现实ar显示方法及相关装置
CN112070906A (zh) 一种增强现实系统及增强现实数据的生成方法、装置
ES2688643T3 (es) Aparato y método de realidad aumentada
JPWO2020072985A5 (zh)
JP2018525692A (ja) シミュレータ酔いを防止するための視点移動を含む仮想現実コンテンツの提示
US20210118236A1 (en) Method and apparatus for presenting augmented reality data, device and storage medium
CN112070907A (zh) 一种增强现实系统及增强现实数据的生成方法、装置
US20190278797A1 (en) Image processing in a virtual reality (vr) system
CN111815783A (zh) 虚拟场景的呈现方法及装置、电子设备及存储介质
CN111815785A (zh) 现实模型的呈现方法、装置、电子设备及存储介质
CN113178017A (zh) Ar数据展示方法、装置、电子设备及存储介质
KR102314782B1 (ko) 3차원 증강현실 표시 방법
JP2022505002A (ja) 拡張現実データの表示方法、装置、機器、記憶媒体及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 40026187

Country of ref document: HK

WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20200901