CN112070907A - 一种增强现实系统及增强现实数据的生成方法、装置 - Google Patents

一种增强现实系统及增强现实数据的生成方法、装置 Download PDF

Info

Publication number
CN112070907A
CN112070907A CN202010900103.9A CN202010900103A CN112070907A CN 112070907 A CN112070907 A CN 112070907A CN 202010900103 A CN202010900103 A CN 202010900103A CN 112070907 A CN112070907 A CN 112070907A
Authority
CN
China
Prior art keywords
virtual object
real scene
augmented reality
display effect
scene image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN202010900103.9A
Other languages
English (en)
Inventor
侯欣如
栾青
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Sensetime Technology Development Co Ltd
Original Assignee
Beijing Sensetime Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Sensetime Technology Development Co Ltd filed Critical Beijing Sensetime Technology Development Co Ltd
Priority to CN202010900103.9A priority Critical patent/CN112070907A/zh
Publication of CN112070907A publication Critical patent/CN112070907A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本申请公开了一种增强现实系统及增强现实数据的生成方法、装置,其中,所述系统包括:第一编辑端,用于:获取真实场景图像,在编辑界面上显示真实场景图像;基于获取的编辑操作,确定在真实场景图像上叠加的虚拟对象的显示效果参数;根据显示效果参数,生成包括显示效果参数的增强现实数据包;将增强现实数据包上传到服务端;服务端,用于:存储增强现实数据包;将与接收到的展示请求匹配的增强现实数据包发送至展示终端;展示终端,用于:向服务端发送展示请求;展示与接收到的增强现实数据包对应的增强现实效果。这样,用户可以根据实际需求编辑生成增强现实效果的数据包,以更好地满足用户的体验需求,提高增强现实效果的多样性。

Description

一种增强现实系统及增强现实数据的生成方法、装置
技术领域
本申请涉及但不限于计算机视觉技术领域,尤其涉及一种增强现实系统及 增强现实数据的生成方法、装置、设备、存储介质。
背景技术
增强现实(Augmented Reality,AR)技术是一种将虚拟信息与真实世界信 息进行融合的技术,该技术通过在实时影像中渲染虚拟对象的方式实现将虚拟 对象加载到真实世界中并进行互动,从而将真实的环境和虚拟对象实时地在同 一个界面呈现。相关技术中,增强现实系统通过识别单个图像来展示AR效果, 这种方式展示的AR效果通常多样性不足,无法很好地满足用户的体验需求。
发明内容
有鉴于此,本申请实施例提供一种增强现实系统及增强现实数据的生成方 法、装置、设备、存储介质。
本申请实施例的技术方案是这样实现的:
一方面,本申请实施例提供一种增强现实系统,所述系统包括:
第一编辑端,用于:获取真实场景图像,在编辑界面上显示所述真实场景 图像;基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟对象的显 示效果参数;根据所述显示效果参数,生成包括所述显示效果参数的增强现实 数据包;将所述增强现实数据包上传到服务端;
服务端,用于:存储所述第一编辑端上传的增强现实数据包;响应于接收 到的展示请求,将与所述展示请求匹配的增强现实数据包发送至展示终端;
展示终端,用于:向所述服务端发送所述展示请求;根据接收到的增强现 实数据包,展示与所述增强现实数据包对应的增强现实效果。
在一些实施例中,所述编辑操作包括功能选择操作和编辑执行操作;
所述第一编辑端,还用于:确定在所述真实场景图像上的操作位置;确定 所述操作位置的待编辑功能;根据所述待编辑功能和所述编辑执行操作,确定 在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象的显示效果参数。
这样,可以针对不同的操作位置实现不同的待编辑功能,从而能够有效提 升用户在进行增强现实数据编辑时的操作使用体验。
在一些实施例中,所述第一编辑端,还用于:基于获取的功能选择操作, 确定所述操作位置的待编辑功能;或者,根据所述操作位置,确定待编辑功能。
这样,可以根据用户在真实场景图像上的操作位置自动确定可以进行的编 辑功能,从而能够有效提升用户在进行增强现实数据编辑时的操作使用体验。
在一些实施例中,所述第一编辑端还用于:当确定所述操作位置处不存在 虚拟对象时,确定所述待编辑功能为新增虚拟对象;当确定所述操作位置处存 在虚拟对象时,确定所述待编辑功能为以下之一:虚拟对象移除功能、虚拟对 象修改功能。
这样,可以根据用户在真实场景图像上的操作位置处是否存在虚拟对象, 自动确定可以进行的编辑功能,从而用户可以根据编辑需求直接利用不同的操 作位置确定相应的编辑功能,进而可以减少用户进行编辑操作时的工作量,以 进一步提升用户在进行增强现实数据编辑时的操作使用体验。
在一些实施例中,所述编辑执行操作包括效果设置操作;所述第一编辑端 还用于:当所述待编辑功能为修改虚拟对象时,响应于针对所述虚拟对象的效 果设置操作,获取所述虚拟对象的显示效果参数;基于获取的显示效果参数, 更新所述虚拟对象的显示效果。
这样,可以对已添加的虚拟对象的显示效果参数进行修改,从而可以更好 地满足用户的编辑需求,并能提高增强现实效果的多样性。
在一些实施例中,所述编辑执行操作包括虚拟对象选取操作和效果设置操 作;所述第一编辑端还用于:当所述待编辑功能为新增虚拟对象时,响应于虚 拟对象选取操作,向所述服务端发送素材包获取请求;基于从所述服务端请求 的素材包,在所述编辑界面上显示所述素材包对应的虚拟对象;响应于针对所 述虚拟对象的效果设置操作,获取所述虚拟对象的显示效果参数;基于获取的 显示效果参数,确定所述虚拟对象的显示效果;所述服务端,还用于响应于接 收到的素材包获取请求,返回与所述素材包获取请求匹配的素材包。
这样,可以在真实场景图像中新增虚拟对象,从而可以更好地满足用户的 编辑需求,并能提高增强现实效果的多样性。
在一些实施例中,所述显示效果参数包括呈现位置,所述效果设置操作包 括位置移动操作;所述第一编辑端还用于:响应于针对所述虚拟对象的位置移 动操作,获取所述移动操作的目标位置;将所述目标位置确定为所述虚拟对象 在所述真实场景图像中的呈现位置。
这样,可以通过位置移动操作修改虚拟对象在真实场景图像中的呈现位置, 从而可以提升用户在编辑增强现实效果数据时的使用体验,进而可以更好地满 足用户的编辑需求,并能提高增强现实效果的多样性。
在一些实施例中,所述编辑执行操作包括虚拟对象移除操作;所述第一编 辑端还用于当所述待编辑功能为移除虚拟对象时,响应于所述虚拟对象移除操 作,将所述虚拟对象从所述真实场景图像中移除。
这样,可以移除三维虚拟模型中的虚拟对象,从而可以更好地满足用户的 编辑需求,并能提高增强现实效果的多样性。
在一些实施例中,所述显示效果参数包括以下至少之一:呈现位姿、显示 触发条件、显示尺寸和循环显示次数。
这样,用户在进行增强现实数据编辑时具有更好的灵活性,从而可以提高 增强现实效果中虚拟对象的显示效果多样性,进而为用户带来更好地增强现实 效果体验。
在一些实施例中,所述显示触发条件包括以下之一:实时显示所述虚拟对 象;当用于展示所述增强现实效果的展示终端处于特定的位置时触发显示所述 虚拟对象;当用于展示所述增强现实效果的展示终端检测到特定的手势时触发 显示所述虚拟对象。
这样,可以进一步提高增强现实效果中虚拟对象的显示效果多样性,从而 为用户带来更好地增强现实效果体验。
在一些实施例中,所述第一编辑端还用于:通过向所述服务端发送虚拟对 象获取请求,获得所述真实场景图像上当前叠加的各虚拟对象的显示效果参数; 基于每一虚拟对象的显示效果参数,在所述编辑界面上显示所述各虚拟对象。
这样,用户在进行编辑操作时可以看到真实场景图像上当前已经叠加的各 虚拟对象和每一虚拟对象的显示效果,从而可以对真实场景图像进行更加准确 的编辑操作,并能有效提升用户在进行增强现实数据编辑时的操作使用体验。
在一些实施例中,所述服务端,还用于:存储所述第一编辑端上传的所述 增强现实数据包;基于所述增强现实数据包,确定在所述真实场景图像上叠加 的虚拟对象和每一所述虚拟对象在表征真实场景的三维虚拟模型中的显示效果 参数;基于所述显示效果参数,更新所述三维虚拟模型与虚拟对象相叠加的增 强现实效果的数据包。
这样,可以将真实场景图像上叠加的虚拟对象案子对应的显示效果参数更 新至三维虚拟模型与虚拟对象相叠加的增强现实效果的数据包中,从而用户在 进行增强现实数据编辑时能够具有更好的灵活性。此外,还可以在计算能力较 强的编辑端中基于三维虚拟模型对真实场景中的增强现实效果进行精细编辑, 从而更好地满足用户的增强现实体验需求。
在一些实施例中,所述服务端还用于:基于所述增强现实数据包,获得在 所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在所述真实场景图像 上的显示效果参数;确定所述真实场景图像在所述真实场景中的定位信息;基 于所述定位信息,确定所述真实场景图像在所述三维虚拟模型中的位置;基于 所述位置和每一所述虚拟对象在所述真实场景图像上的显示效果参数,确定每 一所述虚拟对象在所述三维虚拟模型中的显示效果参数。
在一些实施例中,所述服务端还用于:将第一编辑端上传的所述增强现实 数据包发送至第二编辑端;所述系统还包括:第二编辑端,用于:从服务端获 取所述第一编辑端上传的所述增强现实数据包;基于所述增强现实数据包,确 定在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在表征真实场景 的三维虚拟模型中的显示效果参数;基于所述显示效果参数,更新所述三维虚 拟模型与虚拟对象相叠加的增强现实效果的数据包。
在一些实施例中,所述第二编辑端还用于:基于所述增强现实数据包,获 得在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在所述真实场景 图像上的显示效果参数;确定所述真实场景图像在所述真实场景中的定位信息; 基于所述定位信息,确定所述真实场景图像在所述三维虚拟模型中的位置;基 于所述位置和每一所述虚拟对象在所述真实场景图像上的显示效果参数,确定 每一所述虚拟对象在所述三维虚拟模型中的显示效果参数。
另一方面,本申请实施例提供一种增强现实数据的生成方法,应用于第一 编辑端,应用于第一编辑端,所述方法包括:获取真实场景图像,在编辑界面 上显示所述真实场景图像;基于获取的编辑操作,确定在所述真实场景图像上 叠加的虚拟对象的显示效果参数;根据所述显示效果参数,生成包括所述显示 效果参数的增强现实数据包。
再一方面,本申请实施例提供一种增强现实数据的生成方法,应用于服务 端或第二编辑端,所述方法包括:获取第一编辑端上传的增强现实数据包;基 于所述增强现实数据包,确定在真实场景图像上叠加的虚拟对象和每一所述虚 拟对象在表征真实场景的三维虚拟模型中的显示效果参数;基于所述显示效果 参数,更新所述三维虚拟模型与虚拟对象相叠加的增强现实效果的数据包。
又一方面,本申请实施例提供一种增强现实数据的生成装置,包括:第一 显示模块,用于获取真实场景图像,在编辑界面上显示所述真实场景图像;第 一确定模块,用于基于获取的编辑操作,确定在所述真实场景图像上叠加的虚 拟对象的显示效果参数;第一生成模块,用于根据所述显示效果参数,生成包 括所述显示效果参数的增强现实数据包。
又一方面,本申请实施例提供一种增强现实数据的生成装置,包括:第一 获取模块,用于获取第一编辑端上传的增强现实数据包;第二确定模块,用于 基于所述增强现实数据包,确定在真实场景图像上叠加的虚拟对象和每一所述 虚拟对象在表征真实场景的三维虚拟模型中的显示效果参数;更新模块,用于 基于所述显示效果参数,更新所述三维虚拟模型与虚拟对象相叠加的增强现实 效果的数据包。
又一方面,本申请实施例提供一种计算机设备,包括存储器和处理器,所 述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执 行所述程序时实现上述方法中的步骤。
又一方面,本申请实施例提供一种计算机存储介质,其上存储有计算机程 序,该计算机程序被处理器执行时实现上述方法中的步骤。
又一方面,本申请实施例提供一种计算机程序,包括计算机可读代码,当 所述计算机可读代码在展示设备中运行时,所述展示设备中的处理器执行用于 实现上述方法中的步骤。
本申请实施例中,提供了一种编辑生成增强现实效果的解决方案,用户可 以通过第一编辑端,基于获取的真实场景图像,编辑并生成用于渲染真实场景 图像与虚拟对象相叠加的增强现实效果的增强现实数据包,将生成的增强现实 数据包上传到服务端,通过服务端存储上传的增强现实数据包。当展示终端需 要展示真实场景图像与虚拟对象相叠加的增强现实效果时,可以通过向服务端 发送展示请求获得对应的增强现实数据包,并基于该增强现实数据包渲染和展 示真实场景图像与虚拟对象相叠加的增强现实效果。这样,用户可以根据实际 需求编辑生成增强现实效果的体验内容,从而可以很好地满足用户的体验需求, 并能提高增强现实效果的多样性,进而可以更好地支持智慧工业、智慧城市等 行业的增强现实基础需求。
附图说明
图1A为本申请实施例提供的一种增强现实系统的组成结构示意图;
图1B为本申请实施例提供的一种增强现实数据的生成方法的实现流程示 意图;
图2为本申请实施例提供的一种增强现实数据的生成方法的实现流程示意 图;
图3A为本申请实施例提供的一种增强现实数据的生成方法的实现流程示 意图;
图3B为本申请实施例提供的一种确定在真实场景图像上叠加的虚拟对象 和每一所述虚拟对象的显示效果参数的方法的实现流程示意图;
图4为本申请实施例提供的一种增强现实数据的生成方法的实现流程示意 图;
图5为本申请实施例提供的一种增强现实数据的生成方法的实现流程示意 图;
图6A为本申请实施例提供的一种增强现实数据的生成方法的实现流程示 意图;
图6B为本申请实施例提供的一种确定在真实场景图像上叠加的虚拟对象 和每一虚拟对象在表征真实场景的三维虚拟模型中的显示效果参数的方法的实 现流程示意图;
图7为本申请实施例提供的一种增强现实系统的组成结构示意图;
图8为本申请实施例提供的一种采集器的外观结构示意图;
图9为本申请实施例提供的一种采集器采集的全景图像的示意图;
图10为本申请实施例提供的一种生成三维地图和三维虚拟模型的系统的 组成结构示意图;
图11为本申请实施例提供的一种增强现实数据的生成装置的组成结构示 意图;
图12为本申请实施例提供的一种增强现实数据的生成装置的组成结构示 意图;
图13为本申请实施例提供的一种计算机设备的硬件实体示意图。
具体实施方式
为了使本申请的目的、技术方案和优点更加清楚,下面结合附图和实施例 对本申请的技术方案进一步详细阐述,所描述的实施例不应视为对本申请的限 制,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施 例,都属于本申请保护的范围。
在以下的描述中,涉及到“一些实施例”,其描述了所有可能实施例的子集, 但是可以理解,“一些实施例”可以是所有可能实施例的相同子集或不同子集, 并且可以在不冲突的情况下相互结合。
如果申请文件中出现“第一/第二”的类似描述则增加以下的说明,在以下 的描述中,所涉及的术语“第一\第二\第三”仅仅是区别类似的对象,不代表针 对对象的特定排序,可以理解地,“第一\第二\第三”在允许的情况下可以互换 特定的顺序或先后次序,以使这里描述的本申请实施例能够以除了在这里图示 或描述的以外的顺序实施。
除非另有定义,本文所使用的所有的技术和科学术语与属于本申请的技术 领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本申 请的目的,不是旨在限制本申请。
本申请实施例提供一种增强现实系统,图1A为本申请实施例增强现实系 统的组成结构示意图,如图1A所示,该系统包括:第一编辑端100、服务端 200和展示终端300,其中:
第一编辑端100,用于:获取真实场景图像,在编辑界面上显示所述真实 场景图像;基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟对象 的显示效果参数;根据所述显示效果参数,生成包括所述显示效果参数的增强 现实数据包;将所述增强现实数据包上传到服务端;
服务端200,用于:存储所述第一编辑端上传的增强现实数据包;响应于 接收到的展示请求,将与所述展示请求匹配的增强现实数据包发送至展示终端;
展示终端300,用于:向所述服务端发送所述展示请求;根据接收到的增 强现实数据包,展示与所述增强现实数据包对应的增强现实效果。
这里,第一编辑端可以是任意合适的具有界面交互功能的移动电子设备, 比如便携式增强现实设备、笔记本电脑、手机、平板电脑、掌上电脑、个人数 字助理、智能手环等可穿戴设备、虚拟现实(Virtual Reality,VR)设备等。第 一编辑端可以包括处理器,处理器可以是一种集成电路芯片,具有信号的处理 能力。在实现过程中,第一编辑端可以通过处理器中的硬件的集成逻辑电路或 者软件形式的指令完成界面交互、信息处理等。这里,处理器可以是通用处理 器、数字信号处理器(DSP,Digital Signal Processor),或者其他可编程逻辑器 件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者任何常规的处理器等。
服务端可以为任意合适的服务器,可以是单台服务器,也可以是服务器集 群。在实施时,服务端可以部署在本地、远端或云内等,这里并不限定。
展示终端可以为任意合适的支持增强现实技术的终端设备,例如支持增强 现实技术的手机、平板电脑、笔记本电脑、掌上电脑、个人数字助理、便捷式 媒体播放器、智能音箱、导航装置、显示设备、智能手环等可穿戴设备、虚拟 现实(Virtual Reality,VR)设备、增强现实设备、计步器、数字电视(TV) 或台式计算机等。
第一编辑端与服务端之间、服务端与展示终端之间可以通过任意合适的通 信方式进行通信连接。通信连接可以是有线连接或无线连接,无线连接例如可 以为蓝牙连接、无线宽带(Wireless Fidelity,WIFI)连接等。
真实场景图像为在真实场景中采集的图像数据,可以包括但不限于真实场 景的全景图像、真实场景中部分区域的图像等。在实施时,真实场景图像可以 是第一编辑端通过摄像头采集的,也可以是特定的图像采集装置采集后发送给 第一编辑端的,本领域技术人员可以根据实际情况选择合适的方式获取真实场 景图像,这里并不限定。
编辑操作为用户在第一编辑端的编辑界面上执行的操作,可以包括但不限 于在真实场景图像上叠加虚拟对象、移除虚拟对象或者对虚拟对象的显示效果 参数进行编辑等。示例性的,第一编辑端可以通过检测用户在编辑界面上的点 击操作(包括但不限于鼠标点击、触摸点击等中的一种或多种)获取编辑操作, 也可以通过接收用户发送的操作指令,根据接收的操作指令确定编辑操作,本 申请实施例对此并不限定。
在真实场景图像上叠加的虚拟对象包括但不限于人物、物品、文字等对象, 可以由用户通过编辑操作进行确定。比如,在真实办公室图像上叠加的对办公 桌进行装饰的虚拟道具;或者在真实博物馆图像上叠加的对展览品进行讲解的 虚拟数字人;或者在真实楼盘图像上叠加的对每一建筑物进行标注说明的虚拟 标签和每一所述虚拟标签对应的引导线等。在实施时,第一编辑端可以利用图 像、视频或者三维(3D,Three-Dimensional)模型生成等技术生成用于渲染虚 拟对象的素材包,也可以从本地存储器或者服务端获取编辑好的虚拟对象的素 材包,这里并不限定。
虚拟对象的显示效果参数为描述虚拟对象在展示终端上展示时的效果,可 以包括但不限于虚拟对象的呈现位置、朝向、呈现时长、显示颜色、互动方式、 显示触发条件、显示尺寸和循环显示次数等中的一种或多种。在实施时,用户 可以通过编辑操作对在真实场景图像上叠加的每一虚拟对象的显示效果参数进 行编辑,第一编辑端可以根据获取的编辑操作确定每一虚拟对象的显示效果参 数。
增强现实数据包可以是用于渲染真实场景图像与虚拟对象相叠加的增强现 实效果的数据包,可以包括在真实场景图像上叠加的每一虚拟对象的显示效果 参数。在一些实施例中,增强现实数据包中还可以包括在真实场景图像上叠加 的每一虚拟对象的标识,根据虚拟对象的标识可以获得用于渲染该虚拟对象的 素材包。在一些实施例中,增强现实数据包中还可以包括用于渲染在真实场景 图像上叠加的每一虚拟对象的素材包。
第一编辑端生成增强现实数据包后,可以将增强现实数据包上传到服务端。 服务端接收到第一编辑端上传的增强现实数据包后,可以存储该增强现实数据 包。在实施时,增强现实数据包可以存储在服务端的本地存储器中,也可以存 储在数据库中,本领域技术人员可以根据实际情况选择合适的方式存储增强现 实数据包,这里并不限定。
展示请求可以是展示终端向服务端发送的调用增强现实数据包的请求。在 一些实施例中,展示终端可以在满足特定的条件时向服务端发送展示请求。这 里,特定的条件可以包括但不限于位置条件、时间条件等中的一种或多种。例 如,展示终端可以获得当前的定位结果,将当前定位结果映射至真实场景图像 上的对应位置或表征真实场景的三维虚拟模型上的对应位置,进而检测该位置 上是否配置有增强现实数据包,若有则直接向服务端发送展示请求,以从服务 端获取配置的增强现实数据包。在一些实施例中,展示终端也可以在接收到用 户触发的显示操作时,响应于该显示操作,向服务端发送展示请求。
服务端接收到展示请求后,可以在存储的增强现实数据包中获得与展示请 求匹配的增强现实数据包,并将该增强现实数据包发送至展示终端。在实施时, 可以在展示请求中携带要请求的增强现实数据包的标识、名称或版本号等匹配 信息,服务端可以根据该匹配信息获得对应的增强现实数据包。
展示终端接收到服务端发送的增强现实数据包后,可以展示与该增强现实 数据包对应的增强现实效果。
在实施时,第一编辑端和展示终端可以是不同的设备,也可以是同一设备, 这里并不限定。在一些实施例中,第一编辑端和展示终端为同一设备,这样, 第一编辑端可以将增强现实数据存在本地,展示终端可以直接从本地读取增强 现实数据包,并根据该增强现实数据包,展示与该增强现实数据包对应的增强 现实效果。
基于上述增强现实系统,本申请实施例提供一种增强现实数据的生成方法, 应用于第一编辑端,该方法可以由第一编辑端的处理器执行。如图1B所示, 该方法包括:
步骤S101,获取真实场景图像,在编辑界面上显示所述真实场景图像;
步骤S102,基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟 对象的显示效果参数;
步骤S103,根据所述显示效果参数,生成包括所述显示效果参数的增强现 实数据包。
本申请实施例中,提供了一种编辑生成增强现实效果的解决方案,用户可 以通过第一编辑端,基于获取的真实场景图像,编辑并生成用于渲染真实场景 图像与虚拟对象相叠加的增强现实效果的增强现实数据包,将生成的增强现实 数据包上传到服务端,通过服务端存储上传的增强现实数据包。当展示终端需 要展示真实场景图像与虚拟对象相叠加的增强现实效果时,可以通过向服务端 发送展示请求获得对应的增强现实数据包,并基于该增强现实数据包渲染和展 示真实场景图像与虚拟对象相叠加的增强现实效果。这样,用户可以根据实际 需求编辑生成增强现实效果的体验内容,从而可以很好地满足用户的体验需求, 并能提高增强现实效果的多样性,进而可以更好地支持智慧工业、智慧城市等 行业的增强现实基础需求。
本申请实施例提供一种增强现实数据的生成方法,应用于第一编辑端,该 方法可以由第一编辑端的处理器执行,如图2所示,包括:
步骤S201,获取真实场景图像,在编辑界面上显示所述真实场景图像;
步骤S202,确定在所述真实场景图像上的操作位置;
这里,操作位置为用户需要进行虚拟对象编辑的目标位置,可以是用户在 真实场景图像上的点击操作对应的位置,也可以是用户在进行菜单项选择操作 时在真实场景图像上已选定的位置。本领域技术人员在实施时可以根据实际情 况选择合适的方式确定操作位置,这里并不限定。
步骤S203,确定所述操作位置的待编辑功能;
这里,操作位置的待编辑功能为在该操作位置处要进行的编辑功能,可以 包括但不限于新增虚拟对象、虚拟对象移除功能、虚拟对象修改功能等。在实 施时,可以根据用户在编辑界面中的点击操作或菜单项选择操作等确定,本领 域技术人员可以在实施时根据实际情况选择合适的确定待编辑功能的方式,这 里不作限定。
在一些实施例中,步骤S203可以包括:基于获取的功能选择操作,确定所 述操作位置的待编辑功能。
这里,功能选择操作为确定操作位置的待编辑功能而执行的操作。基于获 取的功能选择操作,可以确定操作位置的待编辑功能。示例性的,功能选择操 作可以为用户在真实场景图像上任意位置处展示的待编辑功能选择列表中执行 的选择操作,例如,在真实场景图像上的操作位置处进行单击、双击或者右键 单击等操作后,在该操作位置处将展示可供选择的待编辑功能选择列表,用户 可以在待编辑功能选择列表中执行选择操作,以确定该操作位置的待编辑功能; 功能选择操作也可以是编辑界面中菜单栏的菜单项选择操作。本领域技术人员 可以根据实际情况选择合适的方式确定功能选择操作以及待编辑功能的确定方 式,这里并不限定。
在另一些实施例中,步骤S203可以包括:根据所述操作位置,确定待编辑 功能。
这里,在真实场景图像上的不同位置处可以进行的编辑功能是不一样的, 因此,可以根据操作位置确定待编辑功能。在实施时,可以根据特定的位置范 围与待编辑功能之间的对应关系确定待编辑功能,也通过检测操作位置处真实 场景图像上的虚拟对象或者操作位置处真实场景的状态等,确定不同的待编辑 功能,本申请实施例对此并不限定。
步骤S204,根据所述待编辑功能和获取的编辑执行操作,确定在所述真实 场景图像上叠加的虚拟对象和每一所述虚拟对象的显示效果参数;
这里,编辑执行操作为用户在执行功能选择操作确定编辑操作的功能类型 之后,为完成相应功能而执行的操作,编辑执行操作可以是单个操作也可以是 一系列操作共同组成的操作组。在实施时,编辑执行操作可以是用户为完成新 增虚拟对象、移除虚拟对象、编辑虚拟对象等而执行的操作,可以包括但不限 于虚拟对象的选取、移动、显示效果参数的设置等中的一种或多种,本申请实 施例对此并不限定。
步骤S205,根据所述显示效果参数,生成包括所述显示效果参数的增强现 实数据包。
本申请实施例提供的增强现实数据的生成方法,可以确定在真实场景图像 上的操作位置和该操作位置的待编辑功能,进而根据确定的待编辑功能和获取 的编辑执行操作,确定在真实场景图像上叠加的虚拟对象和每一虚拟对象的显 示效果参数。这样,可以针对不同的操作位置实现不同的待编辑功能,从而能 够有效提升用户在进行增强现实数据编辑时的操作使用体验。进一步地,可以 根据操作位置确定待编辑功能,这样,可以根据用户在真实场景图像上的操作 位置自动确定可以进行的编辑功能,从而能够有效提升用户在进行增强现实数 据编辑时的操作使用体验。
本申请实施例提供一种增强现实数据的生成方法,应用于第一编辑端,该 方法可以由第一编辑端的处理器执行,如图3A所示,该方法包括:
步骤S301,获取真实场景图像,在编辑界面上显示所述真实场景图像;
步骤S302,确定在所述真实场景图像上的操作位置;
步骤S303,当确定所述操作位置处不存在虚拟对象时,确定所述待编辑功 能为新增虚拟对象;
这里,可以通过查询真实场景图像中当前已经叠加的虚拟对象确定在操作 位置处是否存在虚拟对象。当操作位置处不存在虚拟对象时,可以在该位置处 新增虚拟对象。例如,用户在真实场景图像上进行点击操作时,当点击处没有 虚拟对象时,待编辑功能可以为新增虚拟对象,用户可以在点击位置处新增虚 拟对象。
步骤S304,当确定所述操作位置处存在虚拟对象时,确定所述待编辑功能 为以下之一:虚拟对象移除功能、虚拟对象修改功能;
这里,当操作位置处存在虚拟对象时,用户可以将该位置处的虚拟对象移 除或者对该虚拟对象进行修改。例如,用户在真实场景图像上进行点击操作时, 当点击处有虚拟对象时,待编辑功能可以为虚拟对象移除功能,用户可以移除 该虚拟对象,或者待编辑功能可以为虚拟对象修改功能,用户可以修改该虚拟 对象。
步骤S305,根据所述待编辑功能和获取的所述编辑执行操作,确定在所述 真实场景图像上叠加的虚拟对象和每一所述虚拟对象的显示效果参数;
步骤S306,根据所述显示效果参数,生成包括所述显示效果参数的增强现 实数据包。
在一些实施例中,所述编辑执行操作包括效果设置操作,对应地,上述步 骤S305可以包括:步骤S351a,当所述待编辑功能为修改虚拟对象时,响应于 针对所述虚拟对象的效果设置操作,获取所述虚拟对象的显示效果参数;步骤 S351b,基于获取的显示效果参数,更新所述虚拟对象的显示效果。这里,效果 设置操作为用户对虚拟对象的显示效果参数进行设置而执行的操作,可以是单 个操作也可以是一组操作,这里并不限定。
在一些实施例中,所述编辑执行操作包括虚拟对象选取操作和效果设置操 作,对应地,如图3B所示,上述步骤S305可以包括:
步骤S352a,当所述待编辑功能为新增虚拟对象时,响应于虚拟对象选取 操作,向所述服务端发送素材包获取请求;
这里,虚拟对象选取操作为用户选取虚拟对象时进行的操作。
素材包为用于渲染虚拟对象的数据包,可以是包含虚拟对象的增强现实模 型、动画、特效等三维或二维内容的数据包。服务端可以预先存储可供编辑调 用的虚拟对象的素材包,第一编辑端可以通过向服务端发送素材包获取请求, 获取选取的虚拟对象的素材包。在实施时,素材包获取请求中可以携带选取的 虚拟对象的标识、名称等信息,服务端可以根据素材包获取请求中携带的虚拟 对象的标识、名称等信息,将对应的素材包返回给第一编辑端。
步骤S352b,基于从所述服务端请求的素材包,在所述编辑界面上显示所 述素材包对应的虚拟对象;
步骤S352c,响应于针对所述虚拟对象的效果设置操作,获取所述虚拟对 象的显示效果参数;
步骤S352d,基于获取的显示效果参数,确定所述虚拟对象的显示效果。
这里,效果设置操作为用户对虚拟对象的显示效果参数进行设置而执行的 操作,可以是单个操作也可以是一组操作,这里并不限定。
在一些实施例中,所述显示效果参数包括呈现位置,所述效果设置操作包 括位置移动操作,对应地,上述步骤S351a或步骤S352c可以包括:响应于针 对所述虚拟对象的位置移动操作,获取所述移动操作的目标位置;将所述目标 位置确定为所述虚拟对象在所述真实场景图像中的呈现位置。
在一些实施例中,所述编辑执行操作包括虚拟对象移除操作,对应地,上 述步骤S305可以包括:步骤S353a,当所述待编辑功能为移除虚拟对象时,响 应于所述虚拟对象移除操作,将所述虚拟对象从所述真实场景图像中移除。
本申请实施例提供的增强现实数据的生成方法,当操作位置处不存在虚拟 对象时,用户可以新增虚拟对象,当确定操作位置处存在虚拟对象时,用户可 以移除或修改该虚拟对象。这样,可以根据用户在真实场景图像上的操作位置 处是否存在虚拟对象,自动确定可以进行的编辑功能,从而用户可以根据编辑 需求直接利用不同的操作位置确定相应的编辑功能,进而可以减少用户进行编 辑操作时的工作量,以进一步提升用户在进行增强现实数据编辑时的操作使用 体验。
本申请实施例提供一种增强现实数据的生成方法,应用于第一编辑端,该 方法可以由第一编辑端的处理器执行,如图4所示,包括:
步骤S401,获取真实场景图像,在编辑界面上显示所述真实场景图像;
步骤S402,基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟 对象的显示效果参数;其中,所述显示效果参数包括以下至少之一:呈现位姿、 显示触发条件、显示尺寸和循环显示次数;
这里,呈现位姿为虚拟对象叠加在真实场景图像上时呈现的位姿,可以包 括但不限于呈现位置、呈现朝向等。
显示触发条件为在展示终端展示与增强现实数据包对应的增强现实效果 时,触发显示虚拟对象需要满足的条件。在实施时,显示触发条件可以是用户 自定义的条件,也可以是用户从预先设定的多个条件中选择的条件,本领域技 术人员可以根据实际情况选择合适的方式确定显示触发条件,这里并不限定。
显示尺寸可以包括但不限于虚拟对象的显示长度、宽度、高度、对角线长 度等中的一种或多种。循环显示次数为虚拟对象在增强现实效果中循环显示时 的循环次数。
在一些实施例中,所述显示触发条件可以包括以下之一:实时显示所述虚 拟对象;当用于展示所述增强现实效果的展示终端处于特定的位置时触发显示 所述虚拟对象;当用于展示所述增强现实效果的展示终端检测到特定的手势时 触发显示所述虚拟对象。这里,特定的位置可以是用户预先设定的位置,也可 以是默认位置,这里并不限定。特定的手势可以是用户预先设定的手势,也可 以是默认手势,这里并不限定。
步骤S403,根据所述显示效果参数,生成包括所述显示效果参数的增强现 实数据包。
本申请实施例提供的增强现实数据的生成方法,可以对真实场景图像上叠 加的虚拟对象的呈现位姿、显示触发条件、显示尺寸和循环显示次数进行编辑。 这样,用户在进行增强现实数据编辑时具有更好的灵活性,从而可以提高增强 现实效果中虚拟对象的显示效果多样性,进而为用户带来更好地增强现实效果 体验。
本申请实施例提供一种增强现实数据的生成方法,应用于第一编辑端,该 方法可以由第一编辑端的处理器执行,如图5所示,包括:
步骤S501,获取真实场景图像,在编辑界面上显示所述真实场景图像;
步骤S502,通过向所述服务端发送虚拟对象获取请求,获得所述真实场景 图像上当前叠加的各虚拟对象的显示效果参数;
这里,服务端可以存储每一真实场景的增强现实效果中已经叠加的各虚拟 对象和每一虚拟对象的显示效果参数,存储的真实场景可以通过三维虚拟模型 来表征,在三维虚拟模型上叠加的各虚拟对象和每一虚拟对象的显示效果参数 即为真实场景的增强现实效果中已经叠加的各虚拟对象和每一虚拟对象的显示 效果参数。第一编辑端可以通过向服务端发送虚拟对象获取请求获得与该虚拟 对象获取请求匹配的真实场景图像上当前叠加的各虚拟对象和每一虚拟对象的 显示效果参数。
在实施时,可以在虚拟对象获取请求中携带对应的真实场景图像,服务端 可以对虚拟对象获取请求中携带的真实场景图像进行图像定位,确定该真实场 景图像在真实场景中的定位信息,并根据真实场景与三维虚拟模型之间的坐标 对齐关系,确定该真实场景中的定位信息在三维虚拟模型中的坐标,根据该坐 标可以确定与该虚拟对象获取请求匹配的真实场景图像上当前叠加的各虚拟对 象和每一虚拟对象的显示效果参数,并将确定的各虚拟对象和每一虚拟对象的 显示效果参数发送给第一编辑端。
步骤S503,基于每一虚拟对象的显示效果参数,在所述编辑界面上显示所 述各虚拟对象;
步骤S504,基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟 对象的显示效果参数;
步骤S505,根据所述显示效果参数,生成包括所述显示效果参数的增强现 实数据包。
本申请实施例提供的增强现实数据的生成方法,在对真实场景图像上叠加 的虚拟对象的显示效果参数进行编辑之前,可以通过向服务端发送虚拟对象获 取请求,获得真实场景图像上当前叠加的各虚拟对象和每一虚拟对象的显示效 果参数,并基于每一虚拟对象的显示效果参数,在编辑界面上显示获得的各虚 拟对象。这样,用户在进行编辑操作时可以看到真实场景图像上当前已经叠加 的各虚拟对象和每一虚拟对象的显示效果,从而可以对真实场景图像进行更加 准确的编辑操作,并能有效提升用户在进行增强现实数据编辑时的操作使用体 验。
本申请实施例提供一种增强现实数据的生成方法,可以应用于服务端或第 二编辑端,该方法可以由服务端或第二编辑端的处理器执行,第二编辑端可以 是任意合适的具有界面交互功能的电子设备,比如笔记本电脑、手机、平板电 脑、掌上电脑、个人数字助理、数字电视(TV)或台式计算机等。第二编辑端 可以包括处理器,处理器可以是一种集成电路芯片,具有信号的处理能力。在 实现过程中,第一编辑端可以通过处理器中的硬件的集成逻辑电路或者软件形 式的指令完成界面交互、信息处理等。
图6A为本申请实施例提供的一种增强现实数据的生成方法的实现流程示 意图,如图6A所示,所述方法包括:
步骤S601,获取第一编辑端上传的增强现实数据包;
这里,增强现实数据包为第一编辑端上传到服务端的,可以存储在服务端。
若该方法由服务端执行,服务端可以直接获取存储的增强现实数据包。
若该方法由第二编辑端执行,第二编辑端可以向服务端请求获得该增强现 实数据包。服务端也可以在接收到增强现实数据包后,将该增强现实数据包转 发至第二编辑端。本领域技术人员在实施时可以根据实际情况选择合适的方式 获取增强现实数据包,这里并不限定。
步骤S602,基于所述增强现实数据包,确定在所述真实场景图像上叠加的 虚拟对象和每一所述虚拟对象在表征真实场景的三维虚拟模型中的显示效果参 数;
这里,三维虚拟模型为基于真实场景建立的虚拟模型,可以用于表征当前 的真实场景,可以是服务端或第二编辑端。三维虚拟模型可以包括但不限于与 定位结合的、与实物按一定比例关系转换后的真实场景模型、真实对象模型等 三维素材。在实施时,可以基于采集到的真实场景的图像数据重建三维虚拟模 型,比如,可以采集真实场景的图像,提取采集的图像的稠密点云数据,进行 稠密重建,然后将重建的虚拟场景所在坐标系与真实场景坐标系进行坐标系对 齐等,获得一个与真实场景具有一定比例关系的虚拟场景的三维虚拟模型。
增强现实数据包中可以包括真实场景图像、以及在真实场景图像上叠加的 虚拟对象和每一虚拟对象在真实场景图像上的显示效果参数。由于三维虚拟模 型可以表征真实场景,因此,根据真实场景图像与三维虚拟模型之间存在特定 的关联关系。根据该关联关系,即可将每一虚拟对象在真实场景图像上的显示 效果参数转换成在表征真实场景的三维虚拟模型中的显示效果参数。例如,可 以通过将真实场景图像的定位信息与三维虚拟模型中的位置进行坐标对齐,实 现虚拟对象在真实场景图像上的显示效果参数与虚拟对象在三维虚拟模型中的 显示效果参数之间的转化。本领域技术人员在实施时可以根据实际情况选择合 适的方式实现真实场景图像上和三维虚拟模型中虚拟对象的显示效果参数的转 化,本申请实施例对此并不限定。
步骤S603,基于所述显示效果参数,更新所述三维虚拟模型与虚拟对象相 叠加的增强现实效果的数据包。
这里,可以根据获得的显示效果参数,将真实场景图像上叠加的虚拟对象 案子对应的显示效果参数更新至三维虚拟模型与虚拟对象相叠加的增强现实效 果的数据包中。在实施时,对三维虚拟模型与虚拟对象相叠加的增强现实效果 的数据包的更新可以是新增虚拟对象,也可以是将三维虚拟模型中已经添加的 虚拟对象移除,还可以是对三维虚拟模型中已经添加的虚拟对象的显示效果参 数的修改,本申请实施例对此并不限定。
在一些实施例中,如图6B所示,上述步骤S602可以包括:
步骤S621,基于所述增强现实数据包,获得在所述真实场景图像上叠加的 虚拟对象和每一所述虚拟对象在所述真实场景图像上的显示效果参数;
这里,增强现实数据包中可以包括真实场景图像、以及在真实场景图像上 叠加的虚拟对象和每一虚拟对象在真实场景图像上的显示效果参数。因此,可 以直接从增强现实数据包中获得在真实场景图像上叠加的虚拟对象和每一虚拟 对象在真实场景图像上的显示效果参数。
步骤S622,确定所述真实场景图像在所述真实场景中的定位信息;
这里,可以通过图像识别确定真实场景图像在真实场景中的定位信息,也 可以在参见真实场景图像时由当前采集装置通过定位获得真实场景图像在真实 场景中的定位信息后,将该定位信息加入增强现实数据包中,服务端或第二编 辑端可以从增强现实数据包中真实场景图像在真实场景中的定位信息。本领域 技术人员在实施时可以根据实际情况采用合适的方式确定真实场景图像在真实 场景中的定位信息,这里并不限定。
步骤S623,基于所述定位信息,确定所述真实场景图像在所述三维虚拟模 型中的位置;
这里,三维虚拟模型与真实场景之间存在特定的坐标系对齐关系,可以基 该对应关系将定位信息与三维虚拟模型中的坐标进行对齐,得到真实场景图像 在三维虚拟模型中的位置。
步骤S624,基于所述位置和每一所述虚拟对象在所述真实场景图像上的显 示效果参数,确定每一所述虚拟对象在所述三维虚拟模型中的显示效果参数。
这里,虚拟对象在真实场景图像上的显示效果参数可以包含虚拟对象在真 实场景图像中的位置信息,因此,根据虚拟对象在真实场景图像中的位置信息 和真实场景图像中三维虚拟模型中的位置,即可确定虚拟对象在三维虚拟模型 中的位置信息。通过定虚拟对象在三维虚拟模型中的位置信息,可以将虚拟对 象在真实场景图像上的显示效果参数转换成在三维虚拟模型中的显示效果参 数。
本申请实施例提供的增强现实数据的生成方法,基于增强现实数据包,确 定在真实场景图像上叠加的虚拟对象和每一虚拟对象在表征真实场景的三维虚 拟模型中的显示效果参数,并基于确定的显示效果参数,更新三维虚拟模型与 虚拟对象相叠加的增强现实效果的数据包。这样,可以将真实场景图像上叠加 的虚拟对象案子对应的显示效果参数更新至三维虚拟模型与虚拟对象相叠加的 增强现实效果的数据包中,从而可以将针对同一真实场景的增强现实效果的编 辑合并至表征真实场景的三维虚拟模型中,进而可以在不同的编辑端对同一真 实场景的增强现实效果进行编辑,也可以通过在真实场景中多次采集图像,并 基于采集的真实场景图像对真实场景中当前的增强现实效果进行不断更新调整。如此,用户在进行增强现实数据编辑时能够具有更好的灵活性。此外,还 可以在计算能力较强的编辑端中基于三维虚拟模型对真实场景中的增强现实效 果进行精细编辑。从而更好地满足用户的增强现实体验需求。
本申请实施例提供一种增强现实系统,如图1A所示,该系统包括:第一 编辑端100、服务端200和展示终端300,其中:
第一编辑端100,用于:获取真实场景图像,在编辑界面上显示所述真实 场景图像;基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟对象 的显示效果参数;根据所述显示效果参数,生成包括所述显示效果参数的增强 现实数据包;将所述增强现实数据包上传到服务端;
服务端200,用于:存储所述第一编辑端上传的增强现实数据包;响应于 接收到的展示请求,将与所述展示请求匹配的增强现实数据包发送至展示终端;
展示终端300,用于:向所述服务端发送所述展示请求;根据接收到的增 强现实数据包,展示与所述增强现实数据包对应的增强现实效果。
在一些实施例中,所述编辑操作包括功能选择操作和编辑执行操作;所述 第一编辑端还用于:确定在所述真实场景图像上的操作位置;确定所述操作位 置的待编辑功能;根据所述待编辑功能和所述编辑执行操作,确定在所述真实 场景图像上叠加的虚拟对象和每一所述虚拟对象的显示效果参数。
在一些实施例中,所述第一编辑端还用于:基于获取的功能选择操作,确 定所述操作位置的待编辑功能;或者,根据所述操作位置,确定待编辑功能。
在一些实施例中,所述第一编辑端还用于:当确定所述操作位置处不存在 虚拟对象时,确定所述待编辑功能为新增虚拟对象;当确定所述操作位置处存 在虚拟对象时,确定所述待编辑功能为以下之一:虚拟对象移除功能、虚拟对 象修改功能。
在一些实施例中,所述编辑执行操作包括效果设置操作;所述第一编辑端 还用于:当所述待编辑功能为修改虚拟对象时,响应于针对所述虚拟对象的效 果设置操作,获取所述虚拟对象的显示效果参数;基于获取的显示效果参数, 更新所述虚拟对象的显示效果。
在一些实施例中,所述编辑执行操作包括虚拟对象选取操作和效果设置操 作;所述第一编辑端还用于:当所述待编辑功能为新增虚拟对象时,响应于虚 拟对象选取操作,向所述服务端发送素材包获取请求;基于从所述服务端请求 的素材包,在所述编辑界面上显示所述素材包对应的虚拟对象;响应于针对所 述虚拟对象的效果设置操作,获取所述虚拟对象的显示效果参数;基于获取的 显示效果参数,确定所述虚拟对象的显示效果;所述服务端还用于响应于接收 到的素材包获取请求,返回与所述素材包获取请求匹配的素材包。
在一些实施例中,所述显示效果参数包括呈现位置,所述效果设置操作包 括位置移动操作;所述第一编辑端还用于:响应于针对所述虚拟对象的位置移 动操作,获取所述移动操作的目标位置;将所述目标位置确定为所述虚拟对象 在所述真实场景图像中的呈现位置。
在一些实施例中,所述编辑执行操作包括虚拟对象移除操作;所述第一编 辑端还用于当所述待编辑功能为移除虚拟对象时,响应于所述虚拟对象移除操 作,将所述虚拟对象从所述真实场景图像中移除。
在一些实施例中,所述显示效果参数包括以下至少之一:呈现位姿、显示 触发条件、显示尺寸和循环显示次数。
在一些实施例中,所述显示触发条件包括以下之一:实时显示所述虚拟对 象;当用于展示所述增强现实效果的展示终端处于特定的位置时触发显示所述 虚拟对象;当用于展示所述增强现实效果的展示终端检测到特定的手势时触发 显示所述虚拟对象。
在一些实施例中,所述第一编辑端还用于:通过向所述服务端发送虚拟对 象获取请求,获得所述真实场景图像上当前叠加的各虚拟对象的显示效果参数; 基于每一虚拟对象的显示效果参数,在所述编辑界面上显示所述各虚拟对象。
在一些实施例中,所述服务端还用于:存储所述第一编辑端上传的所述增 强现实数据包;基于所述增强现实数据包,确定在所述真实场景图像上叠加的 虚拟对象和每一所述虚拟对象在表征真实场景的三维虚拟模型中的显示效果参 数;基于所述显示效果参数,更新所述三维虚拟模型与虚拟对象相叠加的增强 现实效果的数据包。
在一些实施例中,所述服务端还用于:基于所述增强现实数据包,获得在 所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在所述真实场景图像 上的显示效果参数;确定所述真实场景图像在所述真实场景中的定位信息;基 于所述定位信息,确定所述真实场景图像在所述三维虚拟模型中的位置;基于 所述位置和每一所述虚拟对象在所述真实场景图像上的显示效果参数,确定每 一所述虚拟对象在所述三维虚拟模型中的显示效果参数。
在一些实施例中,所述服务端还用于:将第一编辑端上传的所述增强现实 数据包发送至第二编辑端。所述系统还包括:第二编辑端,用于:从服务端获 取所述第一编辑端上传的所述增强现实数据包;基于所述增强现实数据包,确 定在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在表征真实场景 的三维虚拟模型中的显示效果参数;基于所述显示效果参数,更新所述三维虚 拟模型与虚拟对象相叠加的增强现实效果的数据包。
在一些实施例中,所述第二编辑端还用于:基于所述增强现实数据包,获 得在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在所述真实场景 图像上的显示效果参数;确定所述真实场景图像在所述真实场景中的定位信息; 基于所述定位信息,确定所述真实场景图像在所述三维虚拟模型中的位置;基 于所述位置和每一所述虚拟对象在所述真实场景图像上的显示效果参数,确定 每一所述虚拟对象在所述三维虚拟模型中的显示效果参数。
以上系统实施例的描述,与上述方法实施例的描述是类似的,具有同方法 实施例相似的有益效果。对于本申请系统实施例中未披露的技术细节,请参照 本申请方法实施例的描述而理解。
下面将说明本申请实施例在实际应用场景中的一个示例性应用,以文化旅 游行业中的应用场景为例进行说明,本申请实施例提供一种增强现实系统,基 于空间定位,为用户带来虚实融合的AR互动体验,包括AR场景重现、AR展 品、AR导航、AR导览、AR游戏、AR营销等,并提供生成AR体验的内容、 软硬件工具、云服务等,是端到端的综合解决方案。同时生成AR体验的工具 和云服务可以支持智慧工业、智慧城市等行业的AR基础需求。
图7为本申请实施例提供的增强现实系统的组成结构示意图,如图7所示, 该系统包括以下模块:
数据采集模块301,用于进行数据采集。
在一些可能的实现方式中,可以采用本申请实施例提供的采集工具312或 全景相机311,采集高清图像、多种光照的场景数据和各种传感器的参数等。 而且对于变换较大的后期场景的图像,可以对该图像中变化较大的部分进行局 部补采。其中,传感器参数包括但不限于麦克风的参数,视觉传感器的参数等。 在本申请实施例中,可以采用图8所示的采集器801进行图像数据的采集,比 如,可以采集到如图9所示的全景图像901或全景视频。
导航编辑工具302,用于进行路径规划321和导航编辑322。
在一些可能的实现方式中,导航编辑工具302支持编辑导航示意图上的信 息点(Point of Information,POI)、导航的路径、地图上的信息等其他与导航相 关的信息。其中,导航示意图为根据采集的图像数据生成的三维高精地图。
AR编辑工具303,用于设置展示的AR内容,以及AR内容的显示逻辑、 状态变化、显示效果等。
在一些可能的实现方式中,首先,将采用本申请实施例提供的采集工具 312、全景相机311或或采集器801采集当前真实场景的高清图像导入到AR编 辑工具303中;然后,在AR编辑工具303中设置展示的AR内容,以及AR 内容的显示逻辑、状态变化、显示效果等。
在AR编辑工具303中对AR内容进行编辑完成后,可以将编辑结果同步 到云服务端。而且本申请实施例对AR内容的编辑,包括:现场编辑331,即 能够在移动端的显示界面中对当前采集的真实场景图像中待叠加的虚拟对象的 呈现效果进行调整,比如,对虚拟对象大小进行调整。
云服务304包括:与定位和导航相关的地图服务341、与AR内容相关的 体验服务342、与多人同步相关的协同服务343。其中,
地图服务341,用于根据采集的图像数据生成三维地图,或者从第三方获 取三维地图。三维地图中可以包含导航路径模型,利用该三维地图对交互对象 进行定位,可以为用户提供AR导航服务。
图10为本申请实施例提供的一种生成三维地图的系统的组成结构示意图, 如图10所示,该系统包括:
数据采集模块1001,用于采集数据,采集的数据包括:视频数据1011、信 号数据1012和传感器数据1013等。
云平台1002,包括:云端工具1003和云端服务1004,其中:
云端工具1003,用于根据数据采集模块1001采集的数据,进行点云重建 1031、信号定位建模1032、地图拼接1033和稠密重建1034。
云端服务1004,用于采用云端工具1003,生成支持定位的三维地图1041, 并且生成稠密重建模型1042。
在一些可能的实现方式中,三维地图1041供客户端1043进行调用,可以 对交互对象进行定位。稠密重建模型1042供设计人员在编辑器1044中,编辑 与真实对象匹配的AR数据。
体验服务342,用于提供体验包344和素材包345。
在一些可能的实现方式中,体验包344是指包含AR内容、互动、功能等 的综合性互动体验包。素材包345是指AR模型、动画、特效等未增加互动的 三维或二维内容。编辑工具和应用终端均可调用体验包344和素材包345。
协同服务343,用于涉及多人互动的功能,通过协同服务,实现将互动的 效果和进度等同步给每个人。
软件开发工具包(Software Development Kit,SDK)305,包括应用终端调 用的本地SDK 351,以及与云端协同的SDK 352。
在一些可能的实现方式中,本地SDK 351是指计算流程均在本地完成的 SDK。与云端协同的SDK 352的主要计算环节在云端完成,较简单的计算处理 流程在本地完成,同时将云端需要的数据传输到云端服务器,然后接收云端回 传的计算结果等。本地SDK 351可实现的功能包括:手势识别31、标注32和 SLAM33;以及,与云端协同的SDK 352可实现的功能包括:视觉定位34、信 号定位35和体验包解析36等。
在本申请实施例中,SDK由配套的互动应用程序(Player Application,PlayerAPP)使用,也可提供给应用终端使用,由应用终端集成到自身的应用程序 (Application,APP)中。
互动应用程序(Player APP)306,安装在终端设备。
Player APP 306功能主要包括且不限于:AR互动体验361、AR导航362、 AR导览363、AR拍照364、AR留言365、AR涂鸦367或AR点赞等功能。
配套AR硬件307,包括AR眼镜371、平板电脑+配套手持保护壳372、手 机等移动终端,以及配套的外壳等配件。这些硬件中均可安装Player APP 306。
数据统计308,将整个增强现实数据的生成系统中产生的各种数据进行统 计,以用于获得量化的运营参考。
在一些可能的实现方式中,数据统计308包括:APP统计381、云端服务 统计382、编辑工具统计383,其中:
APP统计381,用于对Player APP 306的应用过程中产生的数据进行统计。
云端服务统计382,用于对云服务304中产生的数据进行统计。
编辑工具统计383,用于对导航编辑工具302和AR编辑工具303的应用 过程中产生的数据进行统计。
需要说明的是,在实施时,AR编辑工具可以作为本申请上述实施例中的 第一编辑端或第二编辑端实现,云服务、云平台、云端工具、云端服务均可以 作为本申请上述实施例中的服务端实现,配套AR硬件可以作为本申请上述实 施例中的展示终端实现。
基于前述的实施例,本申请实施例提供一种增强现实数据的生成装置,该 装置包括所包括的各单元、以及各单元所包括的各模块,可以通过计算机设备 中的处理器来实现;当然也可通过具体的逻辑电路实现;在实施的过程中,处 理器可以为中央处理器(CPU)、微处理器(MPU)、数字信号处理器(DSP) 或现场可编程门阵列(FPGA)等。
图11为本申请实施例增强现实数据的生成装置的组成结构示意图,如图 11所示,装置1100包括:第一显示模块1110、第一确定模块1120和第一生成 模块1130,其中:
第一显示模块1110,用于获取真实场景图像,在编辑界面上显示所述真实 场景图像;
第一确定模块1120,用于基于获取的编辑操作,确定在所述真实场景图像 上叠加的虚拟对象的显示效果参数;
第一生成模块1130,用于根据所述显示效果参数,生成包括所述显示效果 参数的增强现实数据包。
在一些实施例中,所述编辑操作包括功能选择操作和编辑执行操作;所述 第一确定模块还用于:确定在所述真实场景图像上的操作位置;确定所述操作 位置的待编辑功能;根据所述待编辑功能和所述编辑执行操作,确定在所述真 实场景图像上叠加的虚拟对象和每一所述虚拟对象的显示效果参数。
在一些实施例中,所述第一确定模块还用于:当确定所述操作位置处不存 在虚拟对象时,确定所述待编辑功能为新增虚拟对象;当确定所述操作位置处 存在虚拟对象时,确定所述待编辑功能为以下之一:虚拟对象移除功能、虚拟 对象修改功能。
在一些实施例中,所述编辑执行操作包括效果设置操作;所述第一确定模 块还用于:当所述待编辑功能为修改虚拟对象时,响应于针对所述虚拟对象的 效果设置操作,获取所述虚拟对象的显示效果参数;基于获取的显示效果参数, 更新所述虚拟对象的显示效果。
在一些实施例中,所述编辑执行操作包括虚拟对象选取操作和效果设置操 作;所述第一确定模块还用于:当所述待编辑功能为新增虚拟对象时,响应于 虚拟对象选取操作,向所述服务端发送素材包获取请求;基于从所述服务端请 求的素材包,在所述编辑界面上显示所述素材包对应的虚拟对象;响应于针对 所述虚拟对象的效果设置操作,获取所述虚拟对象的显示效果参数;基于获取 的显示效果参数,确定所述虚拟对象的显示效果。
在一些实施例中,所述显示效果参数包括呈现位置,所述效果设置操作包 括位置移动操作;所述第一确定模块还用于:响应于针对所述虚拟对象的位置 移动操作,获取所述移动操作的目标位置;将所述目标位置确定为所述虚拟对 象在所述真实场景图像中的呈现位置。
在一些实施例中,所述编辑执行操作包括虚拟对象移除操作;所述第一确 定模块还用于:当所述待编辑功能为移除虚拟对象时,响应于所述虚拟对象移 除操作,将所述虚拟对象从所述真实场景图像中移除。
在一些实施例中,所述显示效果参数包括以下至少之一:呈现位姿、显示 触发条件、显示尺寸和循环显示次数。
在一些实施例中,所述显示触发条件包括以下之一:实时显示所述虚拟对 象;当用于展示所述增强现实效果的展示终端处于特定的位置时触发显示所述 虚拟对象;当用于展示所述增强现实效果的展示终端检测到特定的手势时触发 显示所述虚拟对象。
在一些实施例中,所述装置还包括:获得模块,用于通过向所述服务端发 送虚拟对象获取请求,获得所述真实场景图像上当前叠加的各虚拟对象的显示 效果参数;第二显示模块,用于基于每一虚拟对象的显示效果参数,在所述编 辑界面上显示所述各虚拟对象。
本申请实施例提供一种增强现实数据的生成装置,该装置包括所包括的各 单元、以及各单元所包括的各模块,可以通过计算机设备中的处理器来实现; 当然也可通过具体的逻辑电路实现;在实施的过程中,处理器可以为中央处理 器(CPU)、微处理器(MPU)、数字信号处理器(DSP)或现场可编程门阵列 (FPGA)等。
图12为本申请实施例增强现实数据的生成装置的组成结构示意图,如图 12所示,装置1200包括:第一获取模块1210、第二确定模块1220和更新模块 1230,其中:
第一获取模块1210,用于获取第一编辑端上传的增强现实数据包;
第二确定模块1220,用于基于所述增强现实数据包,确定在真实场景图像 上叠加的虚拟对象和每一所述虚拟对象在表征真实场景的三维虚拟模型中的显 示效果参数;
更新模块1230,用于基于所述显示效果参数,更新所述三维虚拟模型与虚 拟对象相叠加的增强现实效果的数据包。
在一些实施例中,第二确定模块还用于:基于所述增强现实数据包,获得 在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在所述真实场景图 像上的显示效果参数;确定所述真实场景图像在真实场景中的定位信息;基于 所述定位信息,确定所述真实场景图像在所述三维虚拟模型中的位置;基于所 述位置和每一所述虚拟对象在所述真实场景图像上的显示效果参数,确定每一 所述虚拟对象在所述三维虚拟模型中的显示效果参数。
以上装置实施例的描述,与上述方法实施例的描述是类似的,具有同方法 实施例相似的有益效果。对于本申请装置实施例中未披露的技术细节,请参照 本申请方法实施例的描述而理解。
需要说明的是,本申请实施例中,如果以软件功能模块的形式实现上述的 增强现实数据的生成方法,并作为独立的产品销售或使用时,也可以存储在一 个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质 上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来,该软件 产品存储在一个存储介质中,包括若干指令用以使得一台电子设备(可以是个 人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部 或部分。而前述的存储介质包括:U盘、移动硬盘、只读存储器(ReadOnly Memory,ROM)、磁碟或者光盘等各种可以存储程序代码的介质。这样,本申 请实施例不限制于任何特定的硬件和软件结合。
对应地,本申请实施例提供一种计算机设备,包括存储器和处理器,所述 存储器存储有可在处理器上运行的计算机程序,所述处理器执行所述程序时实 现上述方法中的步骤。
对应地,本申请实施例提供一种计算机可读存储介质,其上存储有计算机 程序,该计算机程序被处理器执行时实现上述方法中的步骤。
这里需要指出的是:以上存储介质和设备实施例的描述,与上述方法实施 例的描述是类似的,具有同方法实施例相似的有益效果。对于本申请存储介质 和设备实施例中未披露的技术细节,请参照本申请方法实施例的描述而理解。
需要说明的是,图13为本申请实施例中计算机设备的一种硬件实体示意 图,如图13所示,该计算机设备1300的硬件实体包括:处理器1301、通信接 口1302和存储器1303,其中:
处理器1301通常控制计算机设备1300的总体操作。
通信接口1302可以使计算机设备通过网络与其他终端或服务器通信。
存储器1303配置为存储由处理器1301可执行的指令和应用,还可以缓存 待处理器1301以及计算机设备1300中各模块待处理或已经处理的数据(例如, 图像数据、音频数据、语音通信数据和视频通信数据),可以通过闪存(FLASH) 或随机访问存储器(RandomAccess Memory,RAM)实现。
应理解,说明书通篇中提到的“一个实施例”或“一实施例”意味着与实 施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此, 在整个说明书各处出现的“在一个实施例中”或“在一实施例中”未必一定指 相同的实施例。此外,这些特定的特征、结构或特性可以任意适合的方式结合 在一个或多个实施例中。应理解,在本申请的各种实施例中,上述各过程的序 号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻 辑确定,而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例 序号仅仅为了描述,不代表实施例的优劣。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意 在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装 置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为 这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由 语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物 品或者装置中还存在另外的相同要素。
在本申请所提供的几个实施例中,应该理解到,所揭露的设备和方法,可 以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的,例如,所 述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式, 如:多个单元或组件可以结合,或可以集成到另一个系统,或一些特征可以忽 略,或不执行。另外,所显示或讨论的各组成部分相互之间的耦合、或直接耦 合、或通信连接可以是通过一些接口,设备或单元的间接耦合或通信连接,可 以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的,作为 单元显示的部件可以是、或也可以不是物理单元;既可以位于一个地方,也可 以分布到多个网络单元上;可以根据实际的需要选择其中的部分或全部单元来 实现本实施例方案的目的。
另外,在本申请各实施例中的各功能单元可以全部集成在一个处理单元中, 也可以是各单元分别单独作为一个单元,也可以两个或两个以上单元集成在一 个单元中;上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软 件功能单元的形式实现。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可 以通过程序指令相关的硬件来完成,前述的程序可以存储于计算机可读取存储 介质中,该程序在执行时,执行包括上述方法实施例的步骤;而前述的存储介 质包括:移动存储设备、只读存储器(Read Only Memory,ROM)、磁碟或者 光盘等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立 的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样 的理解,本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软 件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干 指令用以使得一台电子设备(可以是个人计算机、服务器、或者网络设备等) 执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动 存储设备、ROM、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的实施方式,但本申请的保护范围并不局限于此, 任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化 或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所 述权利要求的保护范围为准。

Claims (32)

1.一种增强现实系统,其特征在于,所述系统包括:
第一编辑端,用于:获取真实场景图像,在编辑界面上显示所述真实场景图像;基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟对象的显示效果参数;根据所述显示效果参数,生成包括所述显示效果参数的增强现实数据包;将所述增强现实数据包上传到服务端;
服务端,用于:存储所述第一编辑端上传的增强现实数据包;响应于接收到的展示请求,将与所述展示请求匹配的增强现实数据包发送至展示终端;
展示终端,用于:向所述服务端发送所述展示请求;根据接收到的增强现实数据包,展示与所述增强现实数据包对应的增强现实效果。
2.根据权利要求1所述的系统,其特征在于,所述编辑操作包括功能选择操作和编辑执行操作;
所述第一编辑端,还用于:确定在所述真实场景图像上的操作位置;确定所述操作位置的待编辑功能;根据所述待编辑功能和所述编辑执行操作,确定在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象的显示效果参数。
3.根据权利要求2所述的系统,其特征在于,所述第一编辑端,还用于:
基于获取的功能选择操作,确定所述操作位置的待编辑功能;或者,
根据所述操作位置,确定待编辑功能。
4.根据权利要求3所述的系统,其特征在于,所述第一编辑端,还用于:当确定所述操作位置处不存在虚拟对象时,确定所述待编辑功能为新增虚拟对象;当确定所述操作位置处存在虚拟对象时,确定所述待编辑功能为以下之一:虚拟对象移除功能、虚拟对象修改功能。
5.根据权利要求4所述的系统,其特征在于,所述编辑执行操作包括效果设置操作;
所述第一编辑端,还用于:当所述待编辑功能为修改虚拟对象时,响应于针对所述虚拟对象的效果设置操作,获取所述虚拟对象的显示效果参数;基于获取的显示效果参数,更新所述虚拟对象的显示效果。
6.根据权利要求4或5所述的系统,其特征在于,所述编辑执行操作包括虚拟对象选取操作和效果设置操作;
所述第一编辑端,还用于:当所述待编辑功能为新增虚拟对象时,响应于虚拟对象选取操作,向所述服务端发送素材包获取请求;基于从所述服务端请求的素材包,在所述编辑界面上显示所述素材包对应的虚拟对象;响应于针对所述虚拟对象的效果设置操作,获取所述虚拟对象的显示效果参数;基于获取的显示效果参数,确定所述虚拟对象的显示效果;
所述服务端,还用于响应于接收到的素材包获取请求,返回与所述素材包获取请求匹配的素材包。
7.根据权利要求5或6所述的系统,其特征在于,所述显示效果参数包括呈现位置,所述效果设置操作包括位置移动操作;
所述第一编辑端,还用于:响应于针对所述虚拟对象的位置移动操作,获取所述移动操作的目标位置;将所述目标位置确定为所述虚拟对象在所述真实场景图像中的呈现位置。
8.根据权利要求4至7任一项所述的系统,其特征在于,所述编辑执行操作包括虚拟对象移除操作;
所述第一编辑端,还用于当所述待编辑功能为移除虚拟对象时,响应于所述虚拟对象移除操作,将所述虚拟对象从所述真实场景图像中移除。
9.根据权利要求1至8任一项所述的系统,其特征在于,所述显示效果参数包括以下至少之一:呈现位姿、显示触发条件、显示尺寸和循环显示次数。
10.根据权利要求9所述的系统,其特征在于,所述显示触发条件包括以下之一:
实时显示所述虚拟对象;
当用于展示所述增强现实效果的展示终端处于特定的位置时触发显示所述虚拟对象;
当用于展示所述增强现实效果的展示终端检测到特定的手势时触发显示所述虚拟对象。
11.根据权利要求1至10任一项所述的系统,其特征在于,所述第一编辑端,还用于:通过向所述服务端发送虚拟对象获取请求,获得所述真实场景图像上当前叠加的各虚拟对象的显示效果参数;基于每一虚拟对象的显示效果参数,在所述编辑界面上显示所述各虚拟对象。
12.根据权利要求1至11任一项所述的系统,其特征在于,所述服务端,还用于:存储所述第一编辑端上传的所述增强现实数据包;基于所述增强现实数据包,确定在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在表征真实场景的三维虚拟模型中的显示效果参数;基于所述显示效果参数,更新所述三维虚拟模型与虚拟对象相叠加的增强现实效果的数据包。
13.根据权利要求12所述的系统,其特征在于,所述服务端,还用于:基于所述增强现实数据包,获得在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在所述真实场景图像上的显示效果参数;确定所述真实场景图像在所述真实场景中的定位信息;基于所述定位信息,确定所述真实场景图像在所述三维虚拟模型中的位置;基于所述位置和每一所述虚拟对象在所述真实场景图像上的显示效果参数,确定每一所述虚拟对象在所述三维虚拟模型中的显示效果参数。
14.根据权利要求1至11任一项所述的系统,其特征在于,所述服务端,还用于:将第一编辑端上传的所述增强现实数据包发送至第二编辑端;
所述系统还包括:
第二编辑端,用于:从服务端获取所述第一编辑端上传的所述增强现实数据包;基于所述增强现实数据包,确定在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在表征真实场景的三维虚拟模型中的显示效果参数;基于所述显示效果参数,更新所述三维虚拟模型与虚拟对象相叠加的增强现实效果的数据包。
15.根据权利要求14所述的系统,其特征在于,所述第二编辑端,还用于:基于所述增强现实数据包,获得在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在所述真实场景图像上的显示效果参数;确定所述真实场景图像在所述真实场景中的定位信息;基于所述定位信息,确定所述真实场景图像在所述三维虚拟模型中的位置;基于所述位置和每一所述虚拟对象在所述真实场景图像上的显示效果参数,确定每一所述虚拟对象在所述三维虚拟模型中的显示效果参数。
16.一种增强现实数据的生成方法,其特征在于,应用于第一编辑端,所述方法包括:
获取真实场景图像,在编辑界面上显示所述真实场景图像;
基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟对象的显示效果参数;
根据所述显示效果参数,生成包括所述显示效果参数的增强现实数据包。
17.根据权利要求16所述的方法,其特征在于,所述编辑操作包括功能选择操作和编辑执行操作;所述基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟对象的显示效果参数,包括:
确定在所述真实场景图像上的操作位置;
确定所述操作位置的待编辑功能;
根据所述待编辑功能和所述编辑执行操作,确定在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象的显示效果参数。
18.根据权利要求17所述的方法,其特征在于,所述确定所述操作位置的待编辑功能,包括:
基于获取的功能选择操作,确定所述操作位置的待编辑功能;或者,
根据所述操作位置,确定待编辑功能。
19.根据权利要求18所述的方法,其特征在于,所述根据所述操作位置,确定待编辑功能,包括:
当确定所述操作位置处不存在虚拟对象时,确定所述待编辑功能为新增虚拟对象;
当确定所述操作位置处存在虚拟对象时,确定所述待编辑功能为以下之一:虚拟对象移除功能、虚拟对象修改功能。
20.根据权利要求19所述的方法,其特征在于,所述编辑执行操作包括效果设置操作;
所述根据所述待编辑功能和所述编辑执行操作,确定在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象的显示效果参数,包括:
当所述待编辑功能为修改虚拟对象时,响应于针对所述虚拟对象的效果设置操作,获取所述虚拟对象的显示效果参数;
基于获取的显示效果参数,更新所述虚拟对象的显示效果。
21.根据权利要求19或20所述的方法,其特征在于,所述编辑执行操作包括虚拟对象选取操作和效果设置操作;
所述根据所述待编辑功能和所述编辑执行操作,确定在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象的显示效果参数,包括:
当所述待编辑功能为新增虚拟对象时,响应于虚拟对象选取操作,向所述服务端发送素材包获取请求;
基于从所述服务端请求的素材包,在所述编辑界面上显示所述素材包对应的虚拟对象;
响应于针对所述虚拟对象的效果设置操作,获取所述虚拟对象的显示效果参数;
基于获取的显示效果参数,确定所述虚拟对象的显示效果。
22.根据权利要求20或21所述的方法,其特征在于,所述显示效果参数包括呈现位置,所述效果设置操作包括位置移动操作;
所述响应于针对所述虚拟对象的效果设置操作,获取所述虚拟对象的显示效果参数,包括:
响应于针对所述虚拟对象的位置移动操作,获取所述移动操作的目标位置;将所述目标位置确定为所述虚拟对象在所述真实场景图像中的呈现位置。
23.根据权利要求20至22任一项所述的方法,其特征在于,所述编辑执行操作包括虚拟对象移除操作;
所述根据所述待编辑功能和所述编辑执行操作,确定在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象的显示效果参数,包括:
当所述待编辑功能为移除虚拟对象时,响应于所述虚拟对象移除操作,将所述虚拟对象从所述真实场景图像中移除。
24.根据权利要求16至21任一项所述的方法,其特征在于,所述显示效果参数包括以下至少之一:呈现位姿、显示触发条件、显示尺寸和循环显示次数。
25.根据权利要求24所述的方法,其特征在于,所述显示触发条件包括以下之一:
实时显示所述虚拟对象;
当用于展示所述增强现实效果的展示终端处于特定的位置时触发显示所述虚拟对象;
当用于展示所述增强现实效果的展示终端检测到特定的手势时触发显示所述虚拟对象。
26.根据权利要求16至25任一项所述的方法,其特征在于,在所述基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟对象的显示效果参数之前,所述方法还包括:
通过向所述服务端发送虚拟对象获取请求,获得所述真实场景图像上当前叠加的各虚拟对象的显示效果参数;
基于每一虚拟对象的显示效果参数,在所述编辑界面上显示所述各虚拟对象。
27.一种增强现实数据的生成方法,其特征在于,应用于服务端或第二编辑端,所述方法包括:
获取第一编辑端上传的增强现实数据包;
基于所述增强现实数据包,确定在真实场景图像上叠加的虚拟对象和每一所述虚拟对象在表征真实场景的三维虚拟模型中的显示效果参数;
基于所述显示效果参数,更新所述三维虚拟模型与虚拟对象相叠加的增强现实效果的数据包。
28.根据权利要求27所述的方法,其特征在于,所述基于所述增强现实数据包,确定在真实场景图像上叠加的虚拟对象和每一所述虚拟对象在表征真实场景的三维虚拟模型中的显示效果参数,包括:
基于所述增强现实数据包,获得在所述真实场景图像上叠加的虚拟对象和每一所述虚拟对象在所述真实场景图像上的显示效果参数;
确定所述真实场景图像在真实场景中的定位信息;
基于所述定位信息,确定所述真实场景图像在所述三维虚拟模型中的位置;
基于所述位置和每一所述虚拟对象在所述真实场景图像上的显示效果参数,确定每一所述虚拟对象在所述三维虚拟模型中的显示效果参数。
29.一种增强现实数据的生成装置,其特征在于,包括:
第一显示模块,用于获取真实场景图像,在编辑界面上显示所述真实场景图像;
第一确定模块,用于基于获取的编辑操作,确定在所述真实场景图像上叠加的虚拟对象的显示效果参数;
第一生成模块,用于根据所述显示效果参数,生成包括所述显示效果参数的增强现实数据包。
30.一种增强现实数据的生成装置,其特征在于,包括:
第一获取模块,用于获取第一编辑端上传的增强现实数据包;
第二确定模块,用于基于所述增强现实数据包,确定在真实场景图像上叠加的虚拟对象和每一所述虚拟对象在表征真实场景的三维虚拟模型中的显示效果参数;
更新模块,用于基于所述显示效果参数,更新所述三维虚拟模型与虚拟对象相叠加的增强现实效果的数据包。
31.一种计算机设备,包括存储器和处理器,所述存储器存储有可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求16至28任一项所述方法中的步骤。
32.一种计算机存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求16至28任一项所述方法中的步骤。
CN202010900103.9A 2020-08-31 2020-08-31 一种增强现实系统及增强现实数据的生成方法、装置 Withdrawn CN112070907A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010900103.9A CN112070907A (zh) 2020-08-31 2020-08-31 一种增强现实系统及增强现实数据的生成方法、装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010900103.9A CN112070907A (zh) 2020-08-31 2020-08-31 一种增强现实系统及增强现实数据的生成方法、装置

Publications (1)

Publication Number Publication Date
CN112070907A true CN112070907A (zh) 2020-12-11

Family

ID=73666297

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010900103.9A Withdrawn CN112070907A (zh) 2020-08-31 2020-08-31 一种增强现实系统及增强现实数据的生成方法、装置

Country Status (1)

Country Link
CN (1) CN112070907A (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540802A (zh) * 2020-12-16 2021-03-23 网易(杭州)网络有限公司 虚拟物品的定义方法、装置、存储介质和电子装置
CN112817449A (zh) * 2021-01-28 2021-05-18 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
CN113867875A (zh) * 2021-09-30 2021-12-31 北京市商汤科技开发有限公司 标记对象的编辑及显示方法、装置、设备、存储介质
CN113867872A (zh) * 2021-09-30 2021-12-31 北京市商汤科技开发有限公司 一种项目编辑方法、装置、设备及存储介质
CN113891140A (zh) * 2021-09-30 2022-01-04 北京市商汤科技开发有限公司 一种素材编辑方法、装置、设备及存储介质
CN114047864A (zh) * 2021-10-29 2022-02-15 北京市商汤科技开发有限公司 特效数据包生成、显示方法、装置、设备、介质及产品

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106373198A (zh) * 2016-09-18 2017-02-01 福州大学 一种实现增强现实的方法
CN107229393A (zh) * 2017-06-02 2017-10-03 三星电子(中国)研发中心 虚拟现实场景的实时编辑方法、装置、系统及客户端
CN107833503A (zh) * 2017-11-10 2018-03-23 广东电网有限责任公司教育培训评价中心 配网核心作业增强现实仿真培训系统
US20190279432A1 (en) * 2018-03-09 2019-09-12 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for editing virtual scene, and non-transitory computer-readable storage medium
CN111179435A (zh) * 2019-12-24 2020-05-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
CN111476911A (zh) * 2020-04-08 2020-07-31 Oppo广东移动通信有限公司 虚拟影像实现方法、装置、存储介质与终端设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106355153A (zh) * 2016-08-31 2017-01-25 上海新镜科技有限公司 一种基于增强现实的虚拟对象显示方法、装置以及系统
CN106373198A (zh) * 2016-09-18 2017-02-01 福州大学 一种实现增强现实的方法
CN107229393A (zh) * 2017-06-02 2017-10-03 三星电子(中国)研发中心 虚拟现实场景的实时编辑方法、装置、系统及客户端
CN107833503A (zh) * 2017-11-10 2018-03-23 广东电网有限责任公司教育培训评价中心 配网核心作业增强现实仿真培训系统
US20190279432A1 (en) * 2018-03-09 2019-09-12 Beijing Xiaomi Mobile Software Co., Ltd. Method and device for editing virtual scene, and non-transitory computer-readable storage medium
CN111179435A (zh) * 2019-12-24 2020-05-19 Oppo广东移动通信有限公司 增强现实处理方法及装置、系统、存储介质和电子设备
CN111476911A (zh) * 2020-04-08 2020-07-31 Oppo广东移动通信有限公司 虚拟影像实现方法、装置、存储介质与终端设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
赵海亮: "基于移动终端的增强现实应用的研究与设计", 《电子世界》, no. 24, pages 175 - 176 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112540802A (zh) * 2020-12-16 2021-03-23 网易(杭州)网络有限公司 虚拟物品的定义方法、装置、存储介质和电子装置
CN112540802B (zh) * 2020-12-16 2022-07-29 网易(杭州)网络有限公司 虚拟物品的定义方法、装置、存储介质和电子装置
CN112817449A (zh) * 2021-01-28 2021-05-18 北京市商汤科技开发有限公司 增强现实场景的交互方法、装置、电子设备及存储介质
CN113867875A (zh) * 2021-09-30 2021-12-31 北京市商汤科技开发有限公司 标记对象的编辑及显示方法、装置、设备、存储介质
CN113867872A (zh) * 2021-09-30 2021-12-31 北京市商汤科技开发有限公司 一种项目编辑方法、装置、设备及存储介质
CN113891140A (zh) * 2021-09-30 2022-01-04 北京市商汤科技开发有限公司 一种素材编辑方法、装置、设备及存储介质
CN114047864A (zh) * 2021-10-29 2022-02-15 北京市商汤科技开发有限公司 特效数据包生成、显示方法、装置、设备、介质及产品

Similar Documents

Publication Publication Date Title
CN112070906A (zh) 一种增强现实系统及增强现实数据的生成方法、装置
CN112070907A (zh) 一种增强现实系统及增强现实数据的生成方法、装置
KR102417645B1 (ko) Ar 장면 이미지 처리 방법, 장치, 전자 기기 및 저장 매체
Arth et al. The history of mobile augmented reality
CN112967389B (zh) 场景切换方法及装置、存储介质
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
CN110163942B (zh) 一种图像数据处理方法和装置
CN110533755B (zh) 一种场景渲染的方法以及相关装置
CN111414225B (zh) 三维模型远程展示方法、第一终端、电子设备及存储介质
JP2022537614A (ja) マルチ仮想キャラクターの制御方法、装置、およびコンピュータプログラム
CN111932664A (zh) 图像渲染方法、装置、电子设备及存储介质
TWI783472B (zh) Ar場景內容的生成方法、展示方法、電子設備及電腦可讀儲存介質
CN110321048A (zh) 三维全景场景信息处理、交互方法及装置
WO2020007182A1 (zh) 个性化场景图像的处理方法、装置及存储介质
CN109582122A (zh) 增强现实信息提供方法、装置及电子设备
CN103782325A (zh) 信息显示程序和信息显示装置
CN114461064B (zh) 虚拟现实交互方法、装置、设备和存储介质
Khan et al. Rebirth of augmented reality-enhancing reality via smartphones
CN111610997A (zh) Ar场景内容的生成方法、展示方法、展示系统及装置
KR101317869B1 (ko) 메쉬데이터 생성장치, 그 방법, 도우미 서비스 제공 서버 그리고 스마트 단말기
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114942737A (zh) 显示方法、装置、显示设备、头戴式设备及存储介质
CN112862977A (zh) 数字空间的管理方法、装置与设备
CN112884906A (zh) 一种实现多人混合虚拟和增强现实交互的系统及方法
KR102443049B1 (ko) 전자 장치 및 그 동작 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20201211

WW01 Invention patent application withdrawn after publication