CN116797767A - 增强现实场景分享的方法和电子设备 - Google Patents

增强现实场景分享的方法和电子设备 Download PDF

Info

Publication number
CN116797767A
CN116797767A CN202210258251.4A CN202210258251A CN116797767A CN 116797767 A CN116797767 A CN 116797767A CN 202210258251 A CN202210258251 A CN 202210258251A CN 116797767 A CN116797767 A CN 116797767A
Authority
CN
China
Prior art keywords
electronic device
scene
user
model
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202210258251.4A
Other languages
English (en)
Inventor
李良骥
梁芊荟
江超
向显嵩
刘成淼
曾柏伟
王世通
刘养东
鲍文
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202210258251.4A priority Critical patent/CN116797767A/zh
Publication of CN116797767A publication Critical patent/CN116797767A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

本申请提供了一种增强现实场景分享的方法和电子设备,该方法包括:第一电子设备接收第一AR内容,该第一AR内容包括深度信息,该深度信息通过深度估计或深度补全得到;第一电子设备根据第一AR内容显示第一AR场景。本申请提供的增强现实场景分享的方法和电子设备可以实现AR场景的录制、观看、编辑和基于AR场景的社交互动,有利于丰富电子设备用户的社交生活,有利于提高电子设备用户的社交体验。

Description

增强现实场景分享的方法和电子设备
技术领域
本申请涉及信息技术领域,具体地,涉及一种增强现实场景分享的方法和电子设备。
背景技术
增强现实(augmented reality,AR)是一种能对真实世界进行感知然后让虚拟信息与真实世界进行“无缝”结合的技术。基于摄像机影像和惯性测量单元(inertialmeasurement unit,IMU)等其他器件的数据输入,AR技术可以实时地计算摄像设备相对于真实空间的六自由度的位姿(6degree of freedom,6DoF)和真实空间的几何特征。借助AR技术,应用可以在真实空间的基础上为用户提供额外的信息。在社交领域,AR内容(包括AR照片和AR视频)的制作与分享也是当前一种重要的创作和社交娱乐方式。
增强现实场景的重建过程中,可以对深度传感器采集的深度数据进行直接利用,但这种方式重建得到的AR场景中的画面中并不能包含足够多的场景深度信息。这会导致重建的AR场景显示效果不佳,例如,画面之间出现割裂等不真实的观感,影响了电子设备用户的体验,不利于电子设备用户基于AR场景进行社交。
发明内容
本申请提供一种增强现实场景分享的方法,本申请提供的方法在AR场景重建过程中,对深度传感器采集的场景深度信息进行深度补全或者通过深度估计方式确定AR场景中的场景深度,有利于使得重建的AR场景的画面包含更多的深度信息,有利于提高AR场景重建的效果,有利于提高电子设备用户的体验,有利于电子设备用户基于AR场景进行社交。
第一方面,提供了一种增强现实场景分享的方法,该方法包括:第一电子设备接收第一增强现实AR内容,该第一AR内容包括深度信息,该深度信息通过深度估计或深度补全得到;该第一电子设备根据第一AR内容显示第一AR场景。
在一种可能的实现方式中,该第一AR内容还包括相机位姿和相机投影矩阵,该相机位姿包含了AR场景录制过程中每一帧图像对应的相机的位置和朝向,该投影矩阵指相机拍摄图像的像素坐标系与世界坐标系的映射关系。
在另一种可能的实现方式中,该第一AR内容中还可以包括AR场景中的图像、视频等平面信息,例如图像的色彩等。
在又一种可能的实现方式中,第一AR内容还包含了权限设置信息,该权限设置信息用于设置第一AR内容的读写权限。
通过深度估计或深度补全方法得到的深度信息,可以使得第一AR场景不同的画面都能具有场景深度,进而使得利用AR内容显示出的第一AR场景更加真实。本技术方案的实施,有利于丰富电子设备用户的社交生活,有利于提高电子设备用户的使用体验,有利于电子设备用户基于真实的AR场景进行社交互动。
在一种可能的实现方式中,第一电子设备还可以直接从其他电子设备接收第一AR内容。
在另一种可能的实现方式中,第一电子设备从服务器接收第一AR内容。
结合第一方面,在第一方面的某些实现方式中,该第一AR内容包括网格数据,该网格数据用于描述第一AR场景的表面。
网格数据是AR场景中表面信息的一种表示方法,这里网格数据是指用于描述真实空间中场景表面的数据,或者说,这里的网格数据是与真实空间相关联的。利用网格数据表示场景表面,相比于利用体素表示的方式,在相同数据量的情况下,网格数据表示的场景表面的精度要高于体素的表示方式。换句话说,使用网格数据表示AR场景的表面,有利于使得AR场景显示的精度更高,更加真实,有利于提高电子设备用户的使用体验。
在一种可能的实现方式中,该第一电子设备获取该第一AR内容的读写权限。
第一电子设备根据第一AR内容和读写权限显示第一AR场景。
在一些实施例中,该读写权限用于确定AR内容的播放、编辑、分享等的权限。
在一种可能的实现方式中,第一电子设备从服务器获取第一AR内容的读写权限。
在另一种可能的实现方式中,第一电子设备从AR场景的录制电子设备获取第一AR内容的读写权限。
在又一种可能的实现方式中,第一AR内容包含权限设置信息,第一电子设备根据权限设置信息获取第一AR内容的读写权限。
对AR内容设置特定的权限,该权限可以针对不同的用户群体、不同的AR内容设置,有利于保护AR场景数据上传用户的隐私,有利于增强电子设备用户社交生活的安全性。
在一种可能的实现方式中,该读写权限包括第一权限和第二权限,当第一电子设备获取第一权限,第一电子设备显示第一场景,该第一场景可以包含深度信息、表面信息、相机位姿或相机投影矩阵中的一项或多项;
当第一电子设备获取第二权限,第一电子设备显示第二场景,该第二场景不包含深度信息或表面信息或相机位姿或相机投影矩阵中的任一项。
相机位姿包含了AR场景录制过程中每一帧图像对应的相机的位置和朝向,投影矩阵指相机拍摄图像的像素坐标系与世界坐标系的映射关系。
本技术方案通过利用AR场景包含的色彩信息、表面信息和深度信息等设置不同的AR场景的读写权限,对于不信任的电子设备可以通过读写权限设置可以使得该电子设备无法获得AR场景相关的真实信息,有利于保护AR场景数据上传用户的隐私,有利于增强电子设备用户社交生活的安全性。
结合第一方面,在第一方面的某些实现方式中,第一电子设备检测到用户向第一AR场景中添加AR模型的操作;响应于该操作,第一电子设备在第一AR场景中添加该AR模型;第一电子设备显示添加AR模型后的第一AR场景。
在一种可能的实现方式中,该AR模型为静态模型。
在另一种可能的实现方式中,该AR模型为包含动态或动画的动态模型。
在一种的可能的实现方式中,该AR模型包含第一属性,该第一属性用于设置AR模型是否可见。
示例性地,AR模型的第一属性被设置为从1分30秒至3分10秒可见,则AR场景中该AR模型仅该时间段内可见,其余时间该AR模型不可见。
电子设备用户可以向AR场景添加不同类型的AR模型,既有利于AR场景录制用户根据需求向场景中添加模型,也有利于社交互动过程中,其他用户可以基于AR场景利用不同AR模型进行社交互动,有利于丰富电子设备用户的社交生活,有利于进一步提高用户的社交体验。
结合第一方面,在第一方面的某些实现方式中,该AR模型包括场景编辑模型和/或社交互动模型,该场景编辑模型用于对第一AR场景进行装饰,该社交互动模型用于基于第一AR场景进行社交互动。
在一种可能的实现方式中,在第一方面的某些实现方式中,该社交互动模型包括AR点赞和/或AR评论,该AR点赞用于表示对第一AR场景的赞同和/或喜爱,该AR评论用于表示对第一AR场景的想法和/或感受。
结合第一方面,在第一方面的某些实现方式中,响应于检测到AR模型在第一位置被第一对象遮挡,该第一AR场景包括第一对象,第一电子设备显示第一编辑提示信息,该第一编辑提示信息用于提示该AR模型被第一对象遮挡;第一电子设备提示用户将AR模型从第一位置更新到第二位置,该AR模型在该第二位置不被第一对象遮挡。
该第一对象可以为AR场景中已经存在的实体物品,或者也可以为AR场景中添加的其他AR模型。
当AR场景包含深度信息,同一场景下的不同物体可以会出现遮挡的情况。当电子设备用户向AR场景中添加AR模型,电子设备可以根据用户意图添加AR模型的位置以及AR模型的大小来判断用户选择的位置是否适合放置AR模型,进而可以提示电子设备用户AR模型可能被遮挡,有利于提高用户的使用体验。
结合第一方面,在第一方面的某些实现方式中,第一电子设备检测到用户放置AR模型的第一操作,响应于第一操作,第一电子设备显示第二编辑提示信息,该第二编辑提示信息用于提示在第二对象上堆叠放置AR模型,该第一AR场景包括第二对象;第一电子设备检测到用户在第二对象上堆叠放置AR模型的第二操作;响应于该第二操作,第一电子设备在第二对象上堆叠放置该AR模型。
该第二对象可以为AR场景中已经存在的实体物品,或者也可以为AR场景中添加的其他AR模型。
当AR场景包含表面信息,同一场景下的不同物体可以进行堆叠放置。当电子设备用户向AR场景中添加AR模型,电子设备可以根据用户意图添加AR模型的位置以及AR模型的大小来判断用户选择的位置是否适合放置AR模型,进而可以提示电子设备用户可以将AR模型堆叠放置在其他物品的上方,有利于提高用户的使用体验。
结合第一方面,在第一方面的某些实现方式中,第一电子设备检测到用户放置AR模型的第三操作,响应于该第三操作,第一电子设备显示第三编辑提示信息,该第三编辑提示信息用于提示在与第一表面垂直或平行的方向放置该AR模型,第一AR场景包括第一表面;第一电子设备检测到用户在与第一表面垂直或平行的方向放置AR模型的第四操作;响应于该第四操作,第一电子设备在与第一表面垂直或平行的方向放置AR模型。
该第一表面可以为AR场景本身存在的物体的表面,或者该第一表面也可以为AR场景中其他AR模型的表面。
当AR场景包含表面信息,物体的表面可以包含表面法线的方向信息。当电子设备用户向AR场景中添加AR模型,电子设备可以提示用户模型放置面与场景中不同物体表面的位置关系,有利于用户在恰当的位置和方向放置AR模型,有利于提高用户的使用体验。
结合第一方面,在第一方面的某些实现方式中,第一电子设备向服务器发送第二AR内容,该第二AR内容用于显示添加AR模型后的第一AR场景。
在一种可能的实现方式中,第一电子设备向服务器发送第二AR内容。
在另一种可能的实现方式中,第一电子设备向其他电子设备发送第二AR内容。
电子设备可以将添加AR模型的AR场景以AR内容的形式发送到服务器或其他电子设备,进而可以使得其他的电子设备用户获取修改后的AR场景,从而有利于实现电子设备用户基于AR场景的社交互动。
结合第一方面,在第一方面的某些实现方式中,网格数据为经过编码后的网格数据,第一电子设备对网格数据执行解码;第一电子设备根据解码后的网格数据显示第一AR场景。
经过数据编码后的AR内容有利于其在电子设备之间或者电子设备与服务器之间传输,有利于提高电子设备在社交互动过程中的互动效率,有利于提高电子设备用户的社交体验。
第二方面,提供一种增强现实场景分享的方法,包括:第二电子设备采集第一AR数据;所述第二电子设备根据所述第一AR数据重建第一AR内容,该第一AR内容包括深度信息,该深度信息通过深度估计或深度补全得到;第二电子设备发送第一AR内容,该第一AR内容用于显示第一AR场景。
在一种可能的实现方式中,该第一AR内容还包括相机位姿和相机投影矩阵,该相机位姿包含了AR场景录制过程中每一帧图像对应的相机的位置和朝向,该投影矩阵指相机拍摄图像的像素坐标系与世界坐标系的映射关系。
在另一种可能的实现方式中,该第一AR内容中还可以包括AR场景中的图像、视频等平面信息,例如图像的色彩等。
在一种可能的实现方式中,第二电子设备将第一AR内容发送至服务器。
在另一种可能的实现方式中,第二电子设备将第一AR内容发送至其他电子设备。
在一种可能的实现方式中,第一AR数据到第一AR内容的转换由第二电子设备执行。
在另一种可能的实现方式中,第一AR数据到第一AR内容的转换由服务器执行。
在又一种可能的实现方式中,第一AR数据到第一AR内容的转换由第二电子设备和服务器共同执行。
第二电子设备可以发送用于显示AR场景的信息,从而其他用户可以获取用于显示AR场景的数据,进而有利于实现基于AR场景的社交互动。
当第二电子设备将第一AR数据转换为第一AR内容,第二电子设备可以通过分享AR内容的方式分享AR场景。通过深度估计或深度补全方法得到的深度信息,可以使得第一AR场景不同的画面都能够具有场景深度,进而使得利用AR内容显示出的第一AR场景更加真实。本技术方案的实施,有利于丰富电子设备用户的社交生活,有利于提高电子设备用户的使用体验,有利于电子设备用户基于真实的AR场景进行社交互动。
结合第二方面,在第二方面的某些实现方式中,第一AR内容包括网格数据,该网格数据用于描述第一AR场景的表面。
网格数据是AR场景中表面信息的一种表示方法,这里网格数据是指用于描述真实空间中场景表面的数据,或者说,这里的网格数据是与真实空间相关联的。利用网格数据表示场景表面,相比于利用体素表示的方式,在相同数据量的情况下,网格数据表示的场景表面的精度要高于体素的表示方式。换句话说,使用网格数据表示AR场景的表面,有利于使得AR场景显示的精度更高,更加真实。
结合第二方面,在第二方面的某些实现方式中,第二电子设备发送权限设置信息,该权限设置信息用于设置第一AR内容的读写权限。
在一种可能的实现方式中,第二电子设备将权限设置信息发送至服务器,服务器根据该权限设置信息设置AR内容的读写权限。
第二电子设备为AR数据设置使用权限,服务器可以基于该使用权限对AR内容的读写权限进行设置,有利于减少AR内容被滥用的情况,有利于保护AR场景数据上传用户的隐私,有利于提高增强电子设备用户社交生活的安全性。
在另一种可能的实现方式中,第二电子设备将权限设置信息发送其他电子设备,其他电子设备在获取该权限设置信息后可以根据该权限设置信息获取AR内容的读写权限,从而读取AR内容。
结合第二方面,在第二方面的某些实现方式中,第一AR场景包含AR模型,该AR模型包括场景编辑模型和/或社交互动模型,该场景编辑模型用于对第一AR场景进行装饰,该社交互动模型用于基于第一AR场景进行社交互动。
在采集AR场景的过程中,第二电子设备用户可以向AR场景添加不同类型的AR模型,有利于AR场景录制用户根据需求向场景中添加模型,有利于丰富电子设备用户的社交生活,有利于进一步提高用户的社交体验。
结合第二方面,在第二方面的某些实现方式中,第二电子设备向服务器发送第一AR内容。
电子设备可以将添加AR模型的AR场景以AR内容的形式发送到服务器或其他电子设备,进而可以使得其他的电子设备用户获取修改后的AR场景,从而有利于实现电子设备用户基于AR场景的社交互动。
在另一种可能的实现方式中,第二电子设备向服务器发送第一AR数据。
服务器在接收第一AR数据后可以将第一AR数据重建成第一AR内容,进而可以用于第一AR场景的分享。
第三方面,提供一种增强现实场景分享的方法,应用于服务器,该方法包括:服务器接收第二电子设备发送的第一AR内容或者服务器向第一电子设备发送第一AR内容,该第一AR内容用于显示第一AR场景,第一AR内容包括深度信息,该深度信息通过深度估计或深度补全得到。
在一种可能的实现方式中,该第一AR内容还包括相机位姿和相机投影矩阵,该相机位姿包含了AR场景录制过程中每一帧图像对应的相机的位置和朝向,该投影矩阵指相机拍摄图像的像素坐标系与世界坐标系的映射关系。
在另一种可能的实现方式中,该第一AR内容中还可以包括AR场景中的图像、视频等平面信息,例如图像的色彩等。
在又一种可能的实现方式中,第一AR内容还包含了权限设置信息,该权限设置信息用于设置第一AR内容的读写权限。
结合第三方面,在第三方面的某些实现方式中,服务器从第一电子设备接收请求消息,该请求消息用于请求获取第一AR内容的读写权限。
结合第三方面,在第三方面的某些实现方式中,服务器中第一电子设备接收第二AR内容,该第二AR内容用于显示添加AR模型后的第一AR场景。
结合第三方面,在第三方面的某些实现方式中,服务器从第二电子设备接收第一AR数据;服务器将第一AR数据重建为第一AR内容。
结合第三方面,在第三方面的某些实现方式中,服务器从第二电子设备接收权限设置信息,服务器根据该权限设置信息设置第一AR内容的读写权限。
第四方面,提供一种电子设备,包括处理器和显示器,该处理器用于接收第一增强现实AR内容,该第一AR内容包括深度信息,该深度信息通过深度估计或深度补全得到;该显示器用于,根据第一AR内容显示第一AR场景。
结合第四方面,在第四方面的某些实现方式中,该处理器还用于,检测到用户向第一AR场景中添加AR模型的操作;该处理器还用于,响应于该操作,在第一AR场景中添加AR模型;该显示器还用于,显示添加AR模型后的第一AR场景。
结合第四方面,在第四方面的某些实现方式中,该处理器还用于,检测到AR模型被第一对象遮挡,第一AR场景包括第一对象;该显示器还用于,显示第一编辑提示信息,该第一编辑提示信息用于提示AR模型被第一对象遮挡;该处理器还用于,提示用户将AR模型从第一位置更新到第二位置,该AR模型在第二位置不被第一对象遮挡。
结合第四方面,在第四方面的某些实现方式中,该处理器还用于,检测到用户放置AR模型的第一操作;该显示器还用于,响应于第一操作,显示第二编辑提示信息,该第二编辑提示信息用于提示在第二对象上堆叠放置AR模型,该第一AR场景包括第二对象;该处理器还用于,检测到用户在第二对象上堆叠放置AR模型的第二操作,响应于第二操作,在第二对象上堆叠放置AR模型。
结合第四方面,在第四方面的某些实现方式中,该处理器还用于,检测到用户放置AR模型的第三操作;该显示器还用于,响应于第三操作,显示第三编辑提示信息,该第三编辑提示信息用于提示在与第一表面垂直或平行的方向放置AR模型,第一AR场景包括第一表面;该处理器还用于,检测到用户在与第一表面垂直或平行的方向放置AR模型的第四操作,响应于该第四操作,在与第一表面垂直或平行的方向放置AR模型。
结合第四方面,在第四方面的某些实现方式中,该处理器还用于向服务器发送第二AR内容,该第二AR内容用于显示添加AR模型后的第一AR场景。
结合第四方面,在第四方面的某些实现方式中,网格数据为经过编码后的网格数据,该处理器还用于对网格数据执行解码;该显示器还用于,根据解码后的网格数据显示第一AR场景。
第五方面,提供一种电子设备,包括处理器,该处理器用于采集第一AR数据;
该处理器还用于,根据第一AR数据重建第一AR内容,该第一AR内容包括深度信息,该深度信息通过深度估计或深度补全得到;该处理器还用于发送第一AR内容,该第一AR内容用于显示第一AR场景。
结合第五方面,在第五方面的某些实现方式中,该处理器还用于,发送权限设置信息,该权限设置信息用于设置第一AR内容的读写权限。
结合第五方面,在第五方面的某些实现方式中,该处理器还用于利用第一AR数据重建第一AR内容。
结合第五方面,在第五方面的某些实现方式中,该处理器还用于向服务器发送第一AR内容。
第六方面,提供一种服务器,包括处理器,该处理器用于,向第一电子设备发送第一AR内容,该第一AR内容用于显示第一AR场景,该第一AR内容包括深度信息,该深度信息通过深度估计或深度补全得到。
结合第六方面,在第六方面的某些实现方式中,该处理器还用于从第一电子设备接收请求消息,该请求消息用于请求获取第一AR内容的读写权限。
结合第六方面,在第六方面的某些实现方式中,该处理器还用于从第一电子设备接收第二AR内容,该第二AR内容用于显示添加AR模型后的第一AR场景。
结合第六方面,在第六方面的某些实现方式中,该处理器还用于从第二电子设备接收第一AR数据;该处理器还用于,将第一AR数据重建为第一AR内容。
结合第六方面,在第六方面的某些实现方式中,该处理器还用于从第二电子设备接收权限设置信息;该处理器还用于,根据权限设置信息设置第一AR内容的读写权限。
第七方面,提供一种增强现实分享的装置,包括处理模块和显示模块,该处理模块用于,接收第一增强现实AR内容,该第一AR内容包括深度信息,该深度信息通过深度估计或深度补全得到;该显示模块用于,根据第一AR内容显示第一AR场景。
结合第七方面,在第七方面的某些实现方式中,该装置还包括检测模块,该检测模块用于,检测到用户向第一AR场景中添加AR模型的操作;该处理模块还用于,响应于该操作,在第一AR场景中添加AR模型;该显示模块还用于,显示添加AR模型后的第一AR场景。
结合第七方面,在第七方面的某些实现方式中,该检测模块还用于,检测到AR模型被第一对象遮挡,第一AR场景包括第一对象;该显示模块还用于,显示第一编辑提示信息,该第一编辑提示信息用于提示AR模型被第一对象遮挡;该处理模块还用于,提示用户将AR模型从第一位置更新到第二位置,该AR模型在第二位置不被第一对象遮挡。
结合第七方面,在第七方面的某些实现方式中,该检测模块还用于,检测到用户放置AR模型的第一操作;该显示模块还用于,响应于第一操作,显示第二编辑提示信息,该第二编辑提示信息用于提示第二对象上堆叠放置AR模型,该第一AR场景包括第二对象;该检测模块还用于,检测到用户在第二对象上堆叠放置AR模型的第二操作;该处理模块还用于,响应于第二操作,在第二对象上堆叠放置AR模型。
结合第七方面,在第七方面的某些实现方式中,该检测模块还用于,检测到用于放置AR模型的第三操作;该显示模块还用于,响应于第三操作,显是第三编辑提示信息,该第三编辑提示信息用于提示在与第一表面垂直或平行的方向放置AR模型,第一AR场景包括第一表面。该检测模块还用于,检测到用户在与第一表面垂直或平行的方向放置AR模型的第四操作;该处理模块还用于,响应于该第四操作,在与第一表面垂直或平行的方向放置AR模型。
结合第七方面,在第七方面的某些实现方式中,该处理模块还用于,向服务器发送第二AR内容,该第二AR内容用于显示添加AR模型后的第一AR场景。
结合第七方面,在第七方面的某些实现方式中,网格数据为经过编码的网格数据,该处理模块还用于,对网格数据执行解码;
该显示模块还用于,根据解码后的网格数据显示第一AR场景。
第八方面,提供一种增强现实分享的装置,包括处理模块和通信模块,该处理模块用于采集第一AR数据;该处理模块还用于,根据第一AR数据重建第一AR内容,该第一AR内容包括深度信息,该深度信息通过深度估计或深度补全得到;该通信模块用于,发送第一AR内容,该第一AR内容用于显示第一AR场景。
结合第八方面,在第八方面的某些实现方式中,该通信模块还用于,发送权限设置信息,该权限设置信息用于设置第一AR内容的读写权限。
结合第八方面,在第八方面的某些实现方式中,该处理模块还用于,利用第一AR数据重建第一AR内容。
结合第八方面,在第八方面的某些实现方式中,该通信模块还用于,向服务器发送第一AR内容。
第九方面,提供一种增强现实分享的装置,包块通信模块,该通信模块用于向第一电子设备发送第一AR内容,该第一AR内容用于显示第一AR场景,该第一AR内容包括深度信息,该深度信息通过深度估计或深度补全得到。
结合第九方面,在第九方面的某些实现方式中,该通信模块还用于,从第一电子设备接收请求消息,该请求消息用于请求获取第一AR内容的读写权限。
结合第九方面,在第九方面的某些实现方式中,该通信模块还用于,从第一电子设备接收第二AR内容,该第二AR内容用于显示添加AR模型后的第一AR场景。
结合第九方面,在第九方面的某些实现方式中,该通信模块还用于,从第二电子设备接收第一AR数据;该装置还包括处理模块,该处理模块用于,将第一AR数据重建为第一AR内容。
结合第九方面,在第九方面的某些实现方式中,该通信模块还用于,从第二电子设备接收权限设置信息;该处理模块还用于,根据权限设置信息设置第一AR内容的读写权限。
第十方面,提供一种计算机程序产品,该计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得第一方面或其任意可能的实现方式中的方法被执行。
第十一方面,提供一种计算机程序产品,该计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得第二方面或其任意可能的实现方式中的方法被执行。
第十二方面,提供一种计算机程序产品,该计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得第三方面或其任意可能的实现方式中的方法被执行。
第十三方面,提供一种计算机可读存储介质,该计算机可读介质中存储有计算机指令,当计算机指令在计算机上运行时,使得第一方面或其任意可能的实现方式中的方法被执行。
第十四方面,提供一种计算机可读存储介质,该计算机可读介质中存储有计算机指令,当计算机指令在计算机上运行时,使得第二方面或其任意可能的实现方式中的方法被执行。
第十五方面,提供一种计算机可读存储介质,该计算机可读介质中存储有计算机指令,当计算机指令在计算机上运行时,使得第三方面或其任意可能的实现方式中的方法被执行。
第十六方面,提供一种芯片,包括处理器,用于读取存储器中存储的指令,当该处理器执行该指令时,使得该芯片实现第一方面或其任意可能的实现方式中的方法被执行。
第十七方面,提供一种芯片,包括处理器,用于读取存储器中存储的指令,当该处理器执行该指令时,使得该芯片实现第二方面或其任意可能的实现方式中的方法被执行。
第十八方面,提供一种芯片,包括处理器,用于读取存储器中存储的指令,当该处理器执行该指令时,使得该芯片实现第三方面或其任意可能的实现方式中的方法被执行。
附图说明
图1是本申请实施例提供的一种电子设备硬件架构示意图。
图2是本申请实施例提供的一种电子设备软件架构示意图。
图3是本申请实施例提供的一种AR场景录制的方法示意图。
图4是本申请实施例提供的另一种AR场景录制的方法示意图。
图5是本申请实施例提供的又一种AR场景录制的方法示意图。
图6是本申请实施例提供的又一种AR场景录制的方法示意图。
图7是本申请实施例提供的又一种AR场景录制的方法示意图。
图8是本申请实施例提供的又一种AR场景录制的方法示意图。
图9是本申请实施例提供的又一种AR场景录制的方法示意图。
图10是本申请实施例提供的一种AR场景播放的方法示意图。
图11是本申请实施例提供的另一种AR场景播放的方法示意图。
图12是本申请实施例提供的又一种AR场景播放的方法示意图。
图13是本申请实施例提供的又一种AR场景播放的方法示意图。
图14是本申请实施例提供的一种AR场景编辑的方法示意图。
图15是本申请实施例提供的另一种AR场景编辑的方法示意图。
图16是本申请实施例提供的又一种AR场景编辑的方法示意图。
图17是本申请实施例提供的又一种AR场景编辑的方法示意图。
图18是本申请实施例提供的又一种AR场景编辑的方法示意图。
图19是本申请实施例提供的又一种AR场景编辑的方法示意图。
图20是本申请实施例提供的又一种AR场景编辑的方法示意图。
图21是本申请实施例提供的又一种AR场景编辑的方法示意图。
图22是本申请实施例提供的一种AR场景分享的方法示意图。
图23是本申请实施例提供的另一种AR场景分享的方法示意图。
图24是本申请实施例提供的又一种AR场景分享的方法示意图。
图25是本申请实施例提供的又一种AR场景分享的方法示意图。
图26是本申请实施例提供的又一种AR场景分享的方法示意图。
图27是本申请实施例提供的又一种AR场景分享的方法示意图。
图28是本申请实施例提供的一种AR场景浏览的方法示意图。
图29是本申请实施例提供的另一种AR场景浏览的方法示意图。
图30是本申请实施例提供的又一种AR场景浏览的方法示意图。
图31是本申请实施例提供的又一种AR场景浏览的方法示意图。
图32是本申请实施例提供的一种增强现实场景分享的方法示意图。
图33是本申请实施例提供的一种增强现实场景分享的装置示意图。
图34是本申请实施例提供的另一种增强现实场景分享的装置示意图。
图35是本申请实施例提供的一种电子设备示意图。
图36是本申请实施例提供的一种服务器示意图。
具体实施方式
以下实施例中所使用的术语只是为了描述特定实施例的目的,而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样,单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括例如“一个或多个”这种表达形式,除非其上下文中明确地有相反指示。还应当理解,在本申请以下各实施例中,“至少一个”、“一个或多个”是指一个、两个或两个以上。术语“和/或”,用于描述关联对象的关联关系,表示可以存在三种关系;例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。
在本说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。
下面将结合附图,对本申请中的技术方案进行描述。
本申请实施例的技术方案可以应用于各种通信系统,例如:全球移动通讯(globalsystem of mobile communication,GSM)系统、码分多址(code division multipleaccess,CDMA)系统、宽带码分多址(wideband code division multiple access,WCDMA)系统、通用分组无线业务(general packet radio service,GPRS)、长期演进(long termevolution,LTE)系统、LTE频分双工(frequency division duplex,FDD)系统、LTE时分双工(time division duplex,TDD)、通用移动通信系统(universal mobiletelecommunication system,UMTS)、全球互联微波接入(worldwide interoperabilityfor microwave access,WiMAX)通信系统或第五代(5th generation,5G)系统等。
本申请实施例中的终端设备可以指用户设备、接入终端、用户单元、用户站、移动站、移动台、远方站、远程终端、移动设备、用户终端、终端、无线通信设备、用户代理或用户装置。终端设备还可以是蜂窝电话、无绳电话、会话启动协议(session initiationprotocol,SIP)电话、无线本地环路(wireless local loop,WLL)站、个人数字处理(personal digital assistant,PDA)、具有无线通信功能的手持设备、计算设备或连接到无线调制解调器的其它处理设备、车载设备、可穿戴设备(如AR眼镜),5G网络中的终端设备或者公用陆地移动通信网络(public land mobile network,PLMN)中的终端设备等,本申请实施例对此并不限定。
本申请实施例中的网络设备可以是用于与终端设备通信的设备,该网络设备可以是全球移动通讯(global system of mobile communication,GSM)系统或码分多址(codedivision multiple access,CDMA)中的基站(base transceiver station,BTS),也可以是宽带码分多址(wideband code division multiple access,WCDMA)系统中的基站(nodeb,NB),还可以是LTE系统中的演进型基站(evolutional nodeb,eNB或eNodeB),还可以是云无线接入网络(cloud radio access network,CRAN)场景下的无线控制器,或者该网络设备可以为中继站、接入点、车载设备、可穿戴设备以及5G网络中的网络设备或者PLMN网络中的网络设备等,本申请实施例并不限定。
以下首先结合图1说明适用于本申请的一种终端设备。
示例性的,电子设备100可以包括处理器110,外部存储器接口120,内部存储器121,通用串行总线(universal serial bus,USB)接口130,充电管理模块140,电源管理模块141,电池142,天线1,天线2,移动通信模块150,无线通信模块160,音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,传感器模块180,按键190,马达191,指示器192,摄像头193,显示屏194,以及用户身份识别(subscriber identification module,SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A,陀螺仪传感器180B,气压传感器180C,磁传感器180D,加速度传感器180E,距离传感器180F,接近光传感器180G,指纹传感器180H,温度传感器180J,触摸传感器180K,环境光传感器180L,骨传导传感器180M等。
可以理解的是,本申请实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元,例如:处理器110可以包括应用处理器(application processor,AP),调制解调处理器,图形处理器(graphics processingunit,GPU),图像信号处理器(image signal processor,ISP),控制器,存储器,视频编解码器,数字信号处理器(digital signal processor,DSP),基带处理器,和/或神经网络处理器(neural-network processing unit,NPU)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。
其中,控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号,产生操作控制信号,完成取指令和执行指令的控制。
处理器110中还可以设置存储器,用于存储指令和数据。在一些实施例中,处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据,可从所述存储器中直接调用。避免了重复存取,减少了处理器110的等待时间,因而提高了系统的效率。
在一些实施例中,处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit,I2C)接口,集成电路内置音频(inter-integrated circuitsound,I2S)接口,脉冲编码调制(pulse code modulation,PCM)接口,通用异步收发传输器(universal asynchronous receiver/transmitter,UART)接口,移动产业处理器接口(mobile industry processor interface,MIPI),通用输入输出(general-purposeinput/output,GPIO)接口,用户身份识别(subscriber identity module,SIM)接口,和/或通用串行总线(universal serial bus,USB)接口等。
I2C接口是一种双向同步串行总线,包括一根串行数据线(serial data line,SDA)和一根串行时钟线(derail clock line,SCL)。在一些实施例中,处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K,充电器,闪光灯,摄像头193等。例如:处理器110可以通过I2C接口耦合触摸传感器180K,使处理器110与触摸传感器180K通过I2C总线接口通信,实现电子设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中,处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合,实现处理器110与音频模块170之间的通信。在一些实施例中,音频模块170可以通过I2S接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信,将模拟信号抽样,量化和编码。在一些实施例中,音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中,音频模块170也可以通过PCM接口向无线通信模块160传递音频信号,实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线,用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中,UART接口通常被用于连接处理器110与无线通信模块160。例如:处理器110通过UART接口与无线通信模块160中的蓝牙模块通信,实现蓝牙功能。在一些实施例中,音频模块170可以通过UART接口向无线通信模块160传递音频信号,实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194,摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface,CSI),显示屏串行接口(displayserial interface,DSI)等。在一些实施例中,处理器110和摄像头193通过CSI接口通信,实现电子设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信,实现电子设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号,也可被配置为数据信号。在一些实施例中,GPIO接口可以用于连接处理器110与摄像头193,显示屏194,无线通信模块160,音频模块170,传感器模块180等。GPIO接口还可以被配置为I2C接口,I2S接口,UART接口,MIPI接口等。
USB接口130是符合USB标准规范的接口,具体可以是Mini USB接口,Micro USB接口,USB Type C接口等。USB接口130可以用于连接充电器为电子设备100充电,也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机,通过耳机播放音频。该接口还可以用于连接其他电子设备,例如AR设备等。
可以理解的是,本申请实施例示意的各模块间的接口连接关系,只是示意性说明,并不构成对电子设备100的结构限定。在本申请另一些实施例中,电子设备100也可以采用上述实施例中不同的接口连接方式,或多种接口连接方式的组合。
电子设备100的无线通信功能可以通过天线1,天线2,移动通信模块150,无线通信模块160,调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用,以提高天线的利用率。例如:可以将天线1复用为无线局域网的分集天线。在另外一些实施例中,天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器,开关,功率放大器,低噪声放大器(low noise amplifier,LNA)等。移动通信模块150可以由天线1接收电磁波,并对接收的电磁波进行滤波,放大等处理,传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大,经天线1转为电磁波辐射出去。在一些实施例中,移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中,移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中,调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后,被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A,受话器170B等)输出声音信号,或通过显示屏194显示图像或视频。在一些实施例中,调制解调处理器可以是独立的器件。在另一些实施例中,调制解调处理器可以独立于处理器110,与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocal area networks,WLAN)(如无线保真(wireless fidelity,Wi-Fi)网络),蓝牙(bluetooth,BT),全球导航卫星系统(global navigation satellite system,GNSS),调频(frequency modulation,FM),近距离无线通信技术(near field communication,NFC),红外技术(infrared,IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波,将电磁波信号调频以及滤波处理,将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号,对其进行调频,放大,经天线2转为电磁波辐射出去。
在一些实施例中,电子设备100的天线1和移动通信模块150耦合,天线2和无线通信模块160耦合,使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications,GSM),通用分组无线服务(general packet radio service,GPRS),码分多址接入(codedivision multiple access,CDMA),宽带码分多址(wideband code division multipleaccess,WCDMA),时分码分多址(time-division code division multiple access,TD-SCDMA),长期演进(long term evolution,LTE),BT,GNSS,WLAN,NFC,FM,和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system,GPS),全球导航卫星系统(global navigation satellite system,GLONASS),北斗卫星导航系统(beidounavigation satellite system,BDS),准天顶卫星系统(quasi-zenith satellitesystem,QZSS)和/或星基增强系统(satellite based augmentation systems,SBAS)。
电子设备100通过GPU,显示屏194,以及应用处理器等实现显示功能。GPU为图像处理的微处理器,连接显示屏194和应用处理器。GPU用于执行数学和几何计算,用于图形渲染。处理器110可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像,视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emittingdiode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的,AMOLED),柔性发光二极管(flex light-emittingdiode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dot lightemitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏194,N为大于1的正整数。
电子设备100可以通过ISP,摄像头193,视频编解码器,GPU,显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如,拍照时,打开快门,光线通过镜头被传递到摄像头感光元件上,光信号转换为电信号,摄像头感光元件将所述电信号传递给ISP处理,转化为肉眼可见的图像。ISP还可以对图像的噪点,亮度,肤色进行算法优化。ISP还可以对拍摄场景的曝光,色温等参数优化。在一些实施例中,ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device,CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor,CMOS)光电晶体管。感光元件把光信号转换成电信号,之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB,YUV等格式的图像信号。在一些实施例中,电子设备100可以包括1个或N个摄像头193,N为大于1的正整数。
数字信号处理器用于处理数字信号,除了可以处理数字图像信号,还可以处理其他数字信号。例如,当电子设备100在频点选择时,数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样,电子设备100可以播放或录制多种编码格式的视频,例如:动态图像专家组(moving picture experts group,MPEG)1,MPEG2,MPEG3,MPEG4等。
NPU为神经网络(neural-network,NN)计算处理器,通过借鉴生物神经网络结构,例如借鉴人脑神经元之间传递模式,对输入信息快速处理,还可以不断的自学习。通过NPU可以实现电子设备100的智能认知等应用,例如:图像识别,人脸识别,语音识别,文本理解等。
外部存储器接口120可以用于连接外部存储卡,例如Micro SD卡,实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信,实现数据存储功能。例如将音乐,视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令,从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中,存储程序区可存储操作系统,至少一个功能所需的应用程序(比如声音播放功能,图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据,电话本等)等。此外,内部存储器121可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件,闪存器件,通用闪存存储器(universal flash storage,UFS)等。
电子设备100可以通过音频模块170,扬声器170A,受话器170B,麦克风170C,耳机接口170D,以及应用处理器等实现音频功能。例如音乐播放,录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出,也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中,音频模块170可以设置于处理器110中,或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A,也称“喇叭”,用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170A收听音乐,或收听免提通话。
受话器170B,也称“听筒”,用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时,可以通过将受话器170B靠近人耳接听语音。
麦克风170C,也称“话筒”,“传声器”,用于将声音信号转换为电信号。当拨打电话或发送语音信息时,用户可以通过人嘴靠近麦克风170C发声,将声音信号输入到麦克风170C。电子设备100可以设置至少一个麦克风170C。在另一些实施例中,电子设备100可以设置两个麦克风170C,除了采集声音信号,还可以实现降噪功能。在另一些实施例中,电子设备100还可以设置三个,四个或更多麦克风170C,实现采集声音信号,降噪,还可以识别声音来源,实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130,也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform,OMTP)标准接口,美国蜂窝电信工业协会(cellular telecommunications industry association of the USA,CTIA)标准接口。
压力传感器180A用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194,电子设备100根据压力传感器180A检测所述触摸操作强度。电子设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
陀螺仪传感器180B可以用于确定电子设备100的运动姿态。在一些实施例中,可以通过陀螺仪传感器180B确定电子设备100围绕三个轴(即,x,y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的,当按下快门,陀螺仪传感器180B检测电子设备100抖动的角度,根据角度计算出镜头模组需要补偿的距离,让镜头通过反向运动抵消电子设备100的抖动,实现防抖。陀螺仪传感器180B还可以用于导航,体感游戏场景。
加速度传感器180E可检测电子设备100在各个方向上(一般为三轴)加速度的大小。当电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态,应用于横竖屏切换,计步器等应用。
距离传感器180F,用于测量距离。电子设备100可以通过红外或激光测量距离。在一些实施例中,拍摄场景,电子设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器,例如光电二极管。发光二极管可以是红外发光二极管。电子设备100通过发光二极管向外发射红外光。电子设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时,可以确定电子设备100附近有物体。当检测到不充分的反射光时,电子设备100可以确定电子设备100附近没有物体。电子设备100可以利用接近光传感器180G检测用户手持电子设备100贴近耳朵通话,以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式,口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。电子设备100可以根据感知的环境光亮度自适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合,检测电子设备100是否在口袋里,以防误触。
触摸传感器180K,也称“触控面板”。触摸传感器180K可以设置于显示屏194,由触摸传感器180K与显示屏194组成触摸屏,也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器,以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器180K也可以设置于电子设备100的表面,与显示屏194所处的位置不同。
深度传感器,用于获取探测环境物体与传感器之间的距离,深度传感器的输出主要可以表示为深度图(depth map)和点云(point cloud)。常见的深度传感器包括结构光/编码光、立体视觉和飞行时间(time of flight,ToF)/激光雷达三种。
惯性测量单元(inertial measurement unit,IMU),用于测量物体三轴姿态角(或角速率)以及加速度的装置。一般的,一个IMU内会装有三轴的陀螺仪和三个方向的加速度计,来测量物体在三维空间中的角速度和加速度,并以此解算出物体的姿态。
按键190包括开机键,音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入,产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示,也可以用于触摸振动反馈。例如,作用于不同应用(例如拍照,音频播放等)的触摸操作,可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作,马达191也可对应不同的振动反馈效果。不同的应用场景(例如:时间提醒,接收信息,闹钟,游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯,可以用于指示充电状态,电量变化,也可以用于指示消息,未接来电,通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195,或从SIM卡接口195拔出,实现和电子设备100的接触和分离。电子设备100可以支持1个或N个SIM卡接口,N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡,Micro SIM卡,SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同,也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。电子设备100通过SIM卡和网络交互,实现通话以及数据通信等功能。在一些实施例中,电子设备100采用嵌入式SIM(embedded-SIM,eSIM)卡,即:嵌入式SIM卡。eSIM卡可以嵌在电子设备100中,不能和电子设备100分离。
应理解,本申请实施例中的电话卡包括但不限于SIM卡、eSIM卡、全球用户识别卡(universal subscriber identity module,USIM)、通用集成电话卡(universalintegrated circuit card,UICC)等等。
电子设备100的软件系统可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请实施例以分层架构的Android系统为例,示例性说明电子设备100的软件结构。
图2是本申请实施例的电子设备100的软件结构框图。分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android系统分为四层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和系统库,以及内核层。应用程序层可以包括一系列应用程序包。
如图2所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图2所示,应用程序框架层可以包括窗口管理器,内容提供器,视图系统,电话管理器,资源管理器,通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
视图系统包括可视控件,例如显示文字的控件,显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
系统库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子系统进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动。
应理解,本申请实施例中的技术方案可以用于Android、IOS、鸿蒙等系统中。
以上结合图1和图2说明了适用于本申请的终端设备的硬件和软件的结构图,以下结合图3至图31详细说明本申请的增强现实场景分享的方法。
在正式介绍实施例前,首先对以下实施例中可能用到的一些术语进行介绍。
1、同时定位与地图构建(simultaneous localization and mapping,SLAM)是一种概念:希望机器人从未知环境的未知地点触发,在运动过程中通过重复观测到的地图特征(比如,墙角、柱子等)定位自身位置和姿态,再根据自身位置增量式的构建地图,从而达到同时定位和地图构建的目的。
2、视觉惯性里程计(visual-inertial odometry,VIO)又称视觉惯性系统(visua-inertial system,VINS)是融合相机和IMU数据实现SLAM的算法。
3、深度(depth)信息:包含场景中对象表面与视点之间的距离信息,可以用深度图或点云来表示。以AR场景的录制过程为例,深度信息包含了用于录制的电子设备到被录制场景中不同物体表面之间的距离的相关信息。深度信息可以用于AR场景的重现。
4、表面信息:用于表示AR场景中的对象表面的信息,可以将对象的表面划分为有限的网格,进而利用这些网格的相关信息来表示场景中对象的表面。当用三角网格(mesh)来表示对象的表面时,表面信息可以包括三角网格表面的顶点数、网格数等数据信息,表面信息可以用于AR场景的重现。
5、相机位姿(pose):包含AR场景录制过程中每一帧图像对应的相机的位置(position)和朝向(rotation)。相机位姿可以用于AR场景的重现。
6、相机投影矩阵(camera projection matrix):又可以称为相机视觉投影矩阵,指相机拍摄图像的像素坐标系与世界坐标系的映射关系。
7、体素(voxel):又称立体像素,是体积像素(volume pixel)的简称。在三维计算机图形学中,体素便是三维空间中常规网格上的值。体素是数字资料于三维空间分割上的最小单位,应用于三维成像、科学资料于医学影像等领域。体素用恒定的标量或者向量表示一个立体的区域,体素的边界在于相邻晶格的中间位置。体素融合包含在场景重现过程中,可以理解为将多个体素包含的信息进行组合形成场景中的物体的过程。
8、多边形网格(polygon meshes):在三维计算机图形和实体建模中,多边形网格是顶点的集合,边缘和面部定义多面体对象的形状。面通常由三角形(三角形网格)、四边形或其他简单的凸多边形组成。体积网格(volumetric meshes)与多边形网格的不同之处在于,体积网格显式地表示结构的表面和体积,而多边形网格仅显示表示表面。
8、社交网络(social network):为信息的交流与分享提供途径,可以提供多种让用户交互起来的方式的网络。社交平台(social platform)可以是具备社交网络功能属性的应用软件或服务网站,或者也可以拥有其他形式。
9、数字内容(digital content):以数字形式存在的文本、图像、声音等内容,可以存储在光盘、硬盘等数字载体上,并通过网络等手段传播。数字内容是将图像、文字、影音等内容通过数字技术进行整合应用的产品或服务的总体。
10、基于RGB的深度估计:将包含色彩信息的二维图像转化为包含色彩信息和深度信息的方法,主要包括从图像明暗、不同视角、光度、纹理信息等获取场景深度形状的方法等。
11、深度补全:将稀疏的深度图转化为稠密的深度图的方法。稠密的深度图包含的深度信息多于稀疏的深度图包含的深度信息,利用稠密的深度图进行重建的场景更加真实。
图3所示为电子设备开启AR录制的方法的示意图。
在一些实施例中,AR录制的功能可以与其他应用功能够集成在电子设备的应用程序中(application,APP)中。
示例性地,AR录制功能集成在“相机”App中,当电子设备用户点击“相机”App并选择AR录制功能,响应于用户的操作,电子设备显示AR录制功能界面。
在另一些实施例中,AR录制的功能可以单独作为一个应用程序提供给电子设备用户。
示例性地,电子设备提供“AR生活”App作为直接开启AR录制的功能入口,当电子设备用户点击“AR生活”App中的AR录制功能按钮,响应于用户的操作,电子设备直接显示AR录制功能界面。
可选地,在电子设备具备深度传感器及深度数据采集等相应功能的情况下,当电子设备用户点击“AR生活”App,响应于用户的操作,电子设备还可以显示如图4中(a)所示的传感器支持提示控件,该传感器支持提示控件用于显示该电子设备支持深度传感器及深度数据采集等相应功能,该传感器支持提示控件还用于获取用户是否开启深度传感器的指示信息。当用户确认开启深度传感器,电子设备后台开启深度传感器以采集AR场景数据。当用户取消开启深度传感器,电子设备不开启深度传感器。
或者,当用户确认开启深度传感器,电子设备显示如图4中的(b)所示的应用功能设置界面,该应用功能设置界面包括深度数据采集功能的开关,可选地,该应用功能设置界面还可以包括深度数据采集功能的提示信息,该提示信息用于提示深度数据采集功能的相应功能等信息。当电子设备用户点击该深度数据采集功能的开关,响应于用户的操作,电子设备默认开启或关闭深度数据采集功能,无需在AR录制界面再次显示传感器支持提示控件。
在一些实施例中,当电子设备用户点击“AR生活”App,响应于用户的操作,电子设备还可以显示录制方式提示控件,该录制方式提示控件用于获取用户进行AR录制的方法指示,该录制方式提示控件还用于可以用于显示录制方法选择的提示信息,该录制方法选择的提示信息用于帮助用户选择录制方式。
示例性地,如图5所示,录制方式提示控件用于获取用户进行AR录制方向的指示信息。
当用户选择“横屏”,响应于用户的操作,电子设备在进行AR场景数据采集时,以电子设备显示屏的长边方向为水平方向,以电子设备显示屏的短边方向为垂直方向进行录制。
当用户选择“竖屏”时,响应于用户的操作,电子设备在进行AR场景数据采集时,以电子设备显示屏的短边方向为水平方向,以电子设备显示屏的长边方向为垂直方向进行录制。
当用户选择“自动”时,响应于用户的操作,电子设备根据摄像头等传感器获取的场景信息确定AR录制时的方向,例如摄像头获取的场景中的物体水平方向的尺寸远大于该物体垂直方向上的尺寸,电子设备根据该场景设置AR录制的方向为横屏录制。
可选地,如图4中的(b)所示的应用功能设置界面还可以包含自动确定AR录制方向的开关,该自动确定AR录制方向开关用于控制AR录制时是否开启自动确定AR录制方向。电子设备用户也可以通过开启或关闭该自动确定AR录制方向开关选择开启或关闭自动确定录制方向的功能。可选地,该应用功能设置界面还可以包括自动确定AR录制方向开关的提示信息,该提示信息用于帮助用户确定是否开启自动确定AR录制方向的功能。
在一些实施例中,当电子设备用户点击录制界面的开始录制按钮,响应于用户的操作,电子设备在录制界面显示AR录制提示信息,该AR录制提示信息用于为电子设备用户提供AR录制的相关建议或者AR录制操作的相关使用指示。
示例性地,如图6所示,录制界面显示提示电子设备用户在AR录制过程中尽量避免晃动设备,用户可以通过点击该提示信息区域以外的区域,以关闭该提示。或者,用户也可以通过点击该提示信息以查看详细内容。
可选地,电子设备可以根据AR录制过程中传感器获取的信息显示相关的AR录制建议,示例性地,当光线传感器获取的射入光的量较少,电子设备可以提示用户是否开启室内灯光。
可选地,如图4中的(b)所示的应用功能设置界面还可以包括AR录制建议开关,该AR录制建议开关用于开启或关闭录制界面的AR录制提示信息。当用户在应用功能设置界面打开该AR录制建议开关,响应于用户的操作,电子设备设置录制界面默认显示该AR录制提示信息。当用户在应用功能设置界面关闭该AR录制建议开关,响应于用户的操作,电子设备设置录制界面默认不显示该AR录制提示信息。可选地,该应用功能设置界面还可以显示提示信息,该提示信息用于提示用户AR录制建议开关的用途。
在一些实施例中,电子设备用户可以选择调用电子设备的前置摄像头录制,也可以选择调用后置摄像头录制。
可选地,如图4中的(b)所示的应用功能设置界面可以包括默认后置摄像头录制的开关,当该默认后置摄像头录制的开关开启,电子设备在AR录制过程中始终调用后置摄像头录制,录制界面的摄像头切换按钮隐藏或者处于不可操作的状态;当该默认后置摄像头录制的开关关闭,录制界面显示摄像头切换按钮。当电子设备用户点击该摄像头切换按钮,响应于用户的操作,电子设备将用于AR录制的摄像头从前置摄像头切换至后置摄像头或者从后置摄像头切换至前置摄像头。可选地,该应用功能设置界面还可以包括默认后置摄像头录制的开关的提示信息,该提示信息用于提示电子设备用户该默认后置摄像头录制开关的功能或用途。
可选地,在进行AR录制的同时,电子设备还可以采集当前场景下的声音,示例性地,通过麦克风采集电子设备用户为当前录制的AR场景配置的解说词。
在一些实施例中,电子设备利用摄像头采集AR场景数据,利用显示屏同步显示采集的数据,利用处理器控制数据采集摄像头、显示屏等装置,采集的AR场景数据存储与电子设备的数据存储器中。
在另一些实施例中,电子设备还利用惯性测量单元和/或深度传感器进行AR场景数据采集。
示例性地,电子设备获取了用户调用深度传感器的权限,通过深度传感器测量目标场景下不同物体和/或不同区域距离电子设备的距离,从而获得目标场景下不同物体和/或不同区域相对于同一空间位置的深度数据。通过IMU测量目标场景下一个或多个物体运动状态数据。电子设备还采集了目标场景不同物体和/或不同区域的色彩数据,并利用采集的色彩数据、深度数据和物体运动状态数据作为构建AR场景的基础数据。
在另一些实施例中,电子设备不支持深度传感器或者电子设备用户未授权使用深度传感器,电子设备利用采集的目标场景的色彩数据和物体的运动状态数据作为构建AR场景的基础数据。
在又一些实施例中,电子设备不支持IMU或者电子设备用户未授权使用IMU,电子设备利用采集的目标场景的色彩数据和深度数据作为构建AR场景的基础数据。
可选地,电子设备通过捕获目标场景不同区域的照片或者捕获目标场景一段时间的视频完成AR场景数据的采集。
当电子设备用户再次点击录制界面的“开始录制”按钮,响应于用户的操作,电子设备停止AR场景数据的采集。
可选地,电子设备在录制界面上还可以提供“停止录制”按钮,电子设备用户通过点击该“停止录制”按钮以停止电子设备采集AR场景数据。
可选地,电子设备用户还可以通过按动电子设备的特定的实体按键(例如电源键或音量键等)以停止电子设备采集AR场景数据,或者电子设备还可以设置开启或停止AR录制的定制实体按键。
当电子设备获取电子设备用户停止AR场景数据采集的指示,电子设备显示第一录制提示控件,该第一录制提示控件用于获取是否保存已经录制的AR场景的指示信息。
在一些实施例中,如图7所示,第一录制提示控件包括“保存”和“丢弃”选项,当电子设备用户选择“保存”,响应于用户的操作,电子设备保存已经采集的AR场景数据至数据存储设备中。当电子设备用户选择“丢弃”,响应于用户的操作,电子设备将已经采集的AR场景数据从存储器上抹除。
可选地,当用户选择“丢弃”,电子设备还可以显示提示信息,以再次获取电子设备用户确认丢弃AR场景数据的指示,当用户再次确认丢弃,电子设备将已经采集的AR场景数据从电子设备上抹除。
可选地,第一录制提示控件还可以包括“暂停”选项,当电子设备用户选择“暂停”,响应于用户的操作,电子设备可以在暂停录制并记录用户点击停止采集的时刻,同时在录制界面显示暂停录制提示信息,该暂停录制提示信息用于提示用户AR场景数据采集已经暂停。
可选地,如图8所示,当用户再次点击开始录制按钮,电子设备在录制界面显示继续录制提示信息,该继续录制提示信息用于提示已经保存的AR录制场景中存在处于暂停状态,用户可以继续未完成的AR场景录制,或者开始新的录制。
可选地,如图9所示,当电子设备用户选择继续完成暂停状态的AR场景录制,响应于用户的操作,电子设备在录制界面显示暂停状态的AR场景暂停前的照片和/或状态信息,该暂停前的照片和/或状态信息用于提示用户如何继续暂停状态的AR录制。以上结合图3至图9详细介绍了本申请提供的增强现实场景分享的方法中进行AR录制的方法,以下结合图10至图13说明本申请提供的增强现实场景分享的方法中查看AR场景的方法。
这里被查看的AR场景可以是电子设备用户自己录制的,也可以是从服务器下载的,或者通过其他传输方式从其他用户或设备获取的。应理解,本申请提供的查看AR场景的方法对AR场景的数据来源不作限制。以下以电子设备用户查看自己录制的AR场景为例进行说明。当电子设备用户确认AR录制已经完成,响应于用户的操作,电子设备显示如图10所示的第一展示界面,该第一展示界面包括预览区域和第一管理组件,预览区域用于展示已经完成的AR场景,第一管理组件包括一个或多个管理控件,该一个或多个管理控件设置对应的管理功能,该管理功能包括但不限于以下功能中的一种或多种:分享功能、编辑功能、播放功能或删除功能等。
在一些实施例中,预览区域通过展示一张或多张AR录制过程中的场景照片,为电子设备用户提供快速预览AR场景的功能。
在另一些实施例中,预览区域从已经完成的AR录制场景中获取一定时长的视频,为电子设备用户提供快速预览AR场景的功能。
在一些实施例中,当电子设备显示第一展示界面时,电子设备开始在预览区域展示AR场景,为电子设备用户提供快速预览AR场景的功能。
在另一些实施例中,电子设备用户点击预览区域(如单击或双击等)或者点击管理区域中的“播放”按钮,响应于用户的操作,电子设备在预览区域开始展示AR场景,为电子设备用户提供快速预览AR场景的功能。
可选地,电子设备用户点击预览区域(如单击或双击等)或者点击管理区域中的“播放”按钮时,响应于用户的操作,电子设备显示第二展示界面,即全屏展示AR场景。
在一些实施例中,如图11所示,该第二展示界面包括播放组件,该播放组件用于控制AR场景的播放,示例性地,该播放组件可以实现以下功能:
1.开始或暂停AR场景的播放。
2.跳转播放进度。
3.开启或关闭AR场景中的声音或者调整AR场景播放时声音的音量。
在另一些实施例中,播放组件还可以包括数字内容播放提示功能,该数字内容播放提示功能用于提示AR场景录制过程中包含的一个或多个数字内容。
可选地,该数字内容播放提示功能还用于提示一个或多个数字内容播放的起点和终点(即用于提示数字内容生效点和失效点)。
可选地,该数字内容播放提示功能还用于设置数字内容播放的起始时刻与结束时刻。
示例性地,电子设备用户可以拖动如图11所示的数字内容生效点的图标至AR场景播放进度条上从播放的起点至播放的终点之间的任一时刻,以设定该时刻为数字内容播放的起始时刻,类似地,电子设备用户也可以设定数字内容播放的结束时刻。
可选地,该数字内容播放提供功能还可以用于触发对数字内容的编辑。
示例性地,电子设备用户可以长按或拖动数字内容的生效点或失效点,进而电子设备可以获取用户调整数字内容的指示,响应于用户的操作,电子设备显示对应的数字内容的编辑界面(如图12所示)。数字内容的编辑功能可以详见后文内容,此处不作详细介绍。
可选地,如图11中的第二展示界面还可以包括第二管理组件,该第二管理组件可以默认隐藏,电子设备用户可以在第二展示界面通过快捷操作来开启显示第二管理组件,示例性地,长按第二展示界面5秒。或者,在如图4中(b)所示的应用功能设置界面还可以包括管理功能常显的开关,该管理功能常显的开关用于控制是否在第二展示界面显示第二管理组件。当该管理功能常显的开关开启,第二展示界面显示第二管理组件,当该管理功能常显的开关关闭,第二展示界面隐藏第二管理组件或者第二展示界面显示第二管理组件一段时间后隐藏该第二管理组件。
当第二界面显示第二管理组件,第二管理组件可以以一定透明度(如半透明或不透明)的形式显示,第二管理组件的透明度也可以由电子设备用户手动调整。第二管理组件可以显示在播放界面的任意位置,示例性地,播放界面的四周任意一边的中间位置。电子设备用户也可以通过长按第二管理组件等方式来手动调整第二管理组件的位置。
第二管理组件包括一个或多个管理控件,该一个或多个管理控件设置对应的管理功能,该管理功能包括但不限于以下功能中的一种或多种:分享功能、编辑功能或删除功能等。
在一些实施例中,电子设备用户通过第二展示界面查看录制的AR场景,并点击删除控件按钮,响应于电子设备用户的操作,电子设备显示如图13所示的删除提示控件,该删除提示控件用于提示即将删除AR场景,该删除提示控件还可以用于获取电子设备用户确认删除AR场景的指示。电子设备也可以在第一展示界面获取电子设备用户删除AR场景的指示。
可选地,当获取电子设备用户删除AR场景的指示,电子设备可以从电子设备的存储设备上删除AR场景的数据及相应的配置信息(如在AR场景中添加的AR文字的信息等)。或者,当获取电子设备用户删除AR场景的指示,电子设备也可以对该AR场景的数据及相应的配置信息进行标记,被标记的AR场景被设置为隐藏状态,在一定时间后,电子设备再对该标记的AR场景的数据及相应的配置信息从存储设备上删除。
以上结合图10至图13详细介绍了本申请提供的增强现实场景分享的方法中AR场景的查看方法,以下结合图14至图16,说明本申请提供的增强现实场景分享的方法中对AR场景的编辑方法。
需要说明的是,电子设备用户可以在AR场景录制的过程中对AR场景进行编辑也可以在AR场景录制完成后对AR场景进行编辑。以下仅以AR场景录制完成后对AR场景进行编辑为例说明本申请提供的AR场景的编辑方法。
通过预览或播放已经录制的AR场景,电子设备的用户可以查看录制的AR场景的录制效果。
当电子设备用户点击第一管理组件或第二管理组件中的编辑按钮,响应于用户的操作,电子设备显示第一编辑界面,该第一编辑界面包括一个或多个待编辑的AR场景支持的编辑功能。在一些实施例中,该编辑功能包括向AR场景中添加数字内容。
该数字内容可以存储在服务器中,当电子设备需要使用数字内容时,可以从服务器下载获取。或者,该数字内容也可以保存在电子设备本地的存储设备上,当电子设备需要使用数字内容时,可以从本地直接调用。
示例性地,该数字内容可以为文字、图片、声音、视频等。
在另一些实施例中,该编辑功能还包括设定数字内容的生命周期,该数字内容的生命周期用于指示数字内容在AR场景中的生效时间,即数字内容的生效时刻与失效时刻之间的时间段。设定数字内容的生命周期可以包括设定数字内容的生效时刻与失效时刻。
可选地,该数字内容的生命周期也可以作为数字内容的固有属性。
示例性地,电子设备用户可以向AR场景中添加“礼花绽放”模型,该模型可以设定为当AR场景开始播放时开始绽放礼花,当AR场景结束时停止绽放礼花。
示例性地,电子设备用户可以向AR场景中添加“B物品介绍”模型,该模型可以设定为AR场景播放B物品时开始播放该“B物品介绍”模型,当AR场景播放下一物品时停止播放该模型。
在一些实施例中,该数字内容包括AR模型,该AR模型包括场景编辑模型和/或社交互动模型。
在一些实施例中,该社交互动模型包括AR评论和/或AR点赞,这里AR评论用于表示对第一AR场景的想法和/或感受,该AR点赞用于表示对第一AR场景的赞同和/或喜爱。
可选地,该社交互动模型还可以包含以下用途的模型中的一种或多种:用于表达心情、用于表示用户的行为、用于表示物品或用于表示符号等。
可选地,该AR模型可以为二维的平面模型,或者也可以为具有一定体积的三维空间模型。
可选地,该AR模型可以为静态模型或者具有一定动画或动效的动态模型。
向AR场景中添加的AR模型可以具有三维坐标信息、表面信息、色彩信息或深度信息中的一项或多项。
示例性地,AR模型的三维坐标信息可以表现为AR模型的几何中心位于AR场景中的相对坐标为(20,20,35)的空间位置。
示例性地,表面信息可以表现为AR模型可以堆叠放置在AR场景中的某一对象上。
示例性地,色彩信息可以表现为AR模型的颜色为红色。
示例性地,深度信息可以表现为AR模型的一部分被AR场景中的桌腿遮挡。
以下以向AR场景中添加AR文字和AR模型为例,介绍对AR场景的编辑过程。
如图14所示,当电子设备用户选择向AR场景中添加AR文字,响应于用户的操作,电子设备显示AR文字输入界面,该AR文字输入界面包括提示信息和输入框,该提示信息用于提示用户输入想要添加的AR文字,该输入框用于获取用户输入的文字信息。
当电子设备用户确认AR文字的输入完成,响应于用户的操作,电子设备显示如图15所示的AR文字放置界面,该AR文字放置界面包括AR场景和坐标标志,该AR场景为待添加AR文字的AR场景,可以用于预览AR文字放置后的效果,该坐标标志用于显示即将放置AR文字的空间位置。
在一些实施例中,电子设备用户拖动坐标标志至目标位置,电子设备获取目标位置的三维坐标,以确定放置AR文字至目标位置。
在另一些实施例中,电子设备用户点击三维场景中的任一位置,响应于用户的操作,电子设备获取用户点击位置在AR场景中的三维坐标,以确定放置AR文字至目标位置。
在一些实施例中,电子设备获取用户输入的三维坐标信息,当该坐标对应位置未放置其它物体、模型时,电子设备确定放置AR文字至用户输入的三维坐标信息对应的AR场景中的位置。当该坐标对应位置已经放置其它物体、模型,无法放置AR文字,电子设备显示错误提示信息,该错误提示信息用于提示用户当前坐标无法放置AR文字。可选地,该错误提示信息还提示用户重新输入三维坐标。
在另一些实施例中,电子设备显示提示信息,该提示信息包括电子设备推荐的放置AR文字的三维坐标,当电子设备用户确认该提示信息,响应于用户的操作,电子设备确定放置AR文字的目标位置为推荐的三维坐标对应的位置。
可选地,AR文字放置界面还可以包括第一操作提示信息,该第一提示信息用于提示电子设备用户放置AR文字的方法。
示例性地,该第一操作提示信息用于提示电子设备用户拖动星形图标或点击场景中的任一位置以放置AR文字。
示例性地,该第一操作提示信息用于提示电子设备用户在桌子上堆叠放置AR文字。
示例性地,该第一操作提示信息用于提示电子设备用户AR文字被椅子桌面遮挡。
示例性地,该第一操作提示信息用于提示电子设备用户AR文字与墙面平行放置。
可选地,AR文字放置界面还可以包括场景缩略界面,当录制的AR场景包含的空间范围过大,电子设备用户可以通过点击场景缩略界面,先选择放置AR文字的目标空间,响应于用户的操作,电子设备将AR场景调整至目标空间的场景,用户可以进一步点击目标空间上的目标位置放置AR文字。
如图16所示,电子设备用户可以对AR文字的大小、方向、位姿等进行调整。
在一些实施例中,电子设备用户长按放置的AR文字,响应于用户的操作,电子设备显示AR文字调整界面,该AR文字调整界面包括AR场景和AR文字调整控件,该AR场景为包含待调整的AR文字的AR场景,该AR文字调整控件用于对AR文字的位姿和大小进行调整。
示例性地,在AR文字的三个主轴上显示可旋转的调整控件,该三个主轴可以为通过AR文字的几何中心且分别与AR场景的三个方向平行的轴。
示例性地,在AR文字的一个角上显示可以缩放大小的调整控件。
在另一些实施例中,电子设备通过获取电子设备用户输入的AR文字在第一方向上的旋转角度,调整AR文字的位姿。
在另一些实施例中,电子设备通过获取用户输入的AR文字的缩放的倍数调整AR文字的大小。
示例性地,电子设备获取用户输入的AR文字的缩放的倍数为0.7290,电子设备调整AR文字大小(体积的大小)至原AR文字体积大小的0.7290倍。
示例性地,电子设备获取用户输入的AR文字的缩放倍数为1.728,电子设备调整AR文字的体积大小至原AR文字体积大小的1.728倍。
可选地,电子设备在调整AR文字的位姿的界面还可以显示第二操作提示信息,该第二操作提示信息用于提示电子设备用户调整AR文字位姿等的方法。
如图17所示,电子设备用户还可以对AR文字的色彩或表面进行调整。
在一些实施例中,电子设备用户点击AR文字的任一表面或任一区域,响应于用户的操作,电子设备显示AR文字调色界面,该AR文字调色界面包括AR场景和色彩选择控件或图案选择控件,该AR场景为包含正在编辑AR文字的色彩或表面的场景,该色彩选择控件或图案选择控件用于显示可供调整的色彩或图案。
在一些实施例中,电子设备获取用户在色彩或图案选择控件中点击的色彩或图案,以及当前用户选择的目标表面或目标区域,并将该色彩或图案的信息应用至目标表面或目标区域。
在另一些实施例中,电子设备获取用户输入的色彩或图案的代号,以及当前用户选择的目标表面或目标区域,并将用户输入的色彩或图案的代号对应的色彩或图案应用至目标表面或目标区域。
示例性地,电子设备获取用户输入的色彩或图案的代号为二进制001,并确定二进制001对应的色彩或图案为红色,从而将红色应用到电子设备用户选择的目标表面或目标区域。
可选地,电子设备还可以在AR文字调色界面显示第三操作提示信息,该第三操作提示信息用于提示电子设备用户调整AR文字色彩或表面的方法。
电子设备用户还可以向AR场景中添加AR模型,并对添加的AR模型进行编辑。
当电子设备用户在第一编辑界面选择向AR场景中添加AR模型,响应于用户的操作,电子设备显示如图18所示的第一AR模型编辑界面,该第一AR模型编辑界面包括AR场景和AR模型选择控件,该AR场景为待添加AR模型的AR场景,该AR模型选择控件用于显示可以用于添加的AR模型。
在一些实施例中,电子设备用户点击AR模型选择控件上的AR模型,响应于用户的操作,电子设备确定用户选择的AR模型,并将该AR模型添加至AR场景中的第一位置。
可选地,第一位置为电子设备推荐的放置AR模型的位置,电子设备可以根据模型的尺寸与AR场景包含的空余的空间确定该第一位置。
在另一些实施例中,电子设备用户点击并向AR场景中拖动选择的AR模型,响应于用户的操作,电子设备确定用户选择的AR模型,并在用户拖动AR模型的过程中显示提示信息,该提示信息用于提示当前AR模型所在位置能否放置该AR模型。
示例性地,对于体积大于放置空间的AR模型,该提示信息提示用户选择的AR模型体积过大,当前位置无法放置选择的AR模型。
在又一些实施例中,如图18所示,当电子设备用户完成AR模型的选择,响应于用户的操作,电子设备显示AR模型放置界面,该AR模型放置界面包括AR场景和坐标标志,该AR场景为待添加AR模型的AR场景,该坐标标志用于显示即将放置AR模型的空间位置。
在一些实施例中,电子设备用户通过拖动坐标标志至目标位置,电子设备获取目标位置的三维坐标,以确定放置AR模型至目标位置。
可选地,当电子设备用户拖动AR模型至目标位置,电子设备可以显示目标位置对应的表面的法线方向,或者电子设备可以显示目标位置的切面,该法线方向或者目标位置的切面可以用于帮助用户确定AR模型放置面与目标位置的空间关系。
在另一些实施例中,电子设备用户点击三维场景中的任一位置,响应于用户的操作,电子设备获取用户点击位置在AR场景中的三维坐标,以确定放置AR模型至目标位置。
在一些实施例中,电子设备获取电子设备用户输入的三维坐标信息,当该坐标对应位置未放置其它物体、模型时,电子设备确定放置AR模型至用户输入的三维坐标信息对应的AR场景中的位置。当该坐标对应位置已经放置其它物体、模型,无法放置AR模型,电子设备显示错误提示信息,该错误提示信息用于提示用户当前坐标无法放置AR模型。可选地,该错误提示信息还提示用户重新输入三维坐标。
可选地,当用户输入的三维坐标位置已经放置其它物体、模型,电子设备还可以显示堆叠放置提示信息,该堆叠放置提示信息用于获取是否将选中的模型堆叠放置在目标位置当前存在的物体或模型上。
示例性地,该堆叠放置提示信息可以为:“您选择的放置位置已经放置桌子,是否将AR模型放置在桌面上?”
可选地,当用户输入的三维坐标位置放置选中的AR模型后,AR模型可能被遮挡,电子设备可以显示遮挡提示信息,该遮挡提示信息用于提示用户AR模型放置在目标位置可能被遮挡,无法看见。
示例性地,该遮挡提示信息可以为“该位置位于桌面正下方,AR模型放在这里可能会被其他物品遮挡。”
在另一些实施例中,电子设备显示提示信息,该提示信息包括电子设备推荐的放置AR模型的三维坐标,当电子设备用户确认该提示信息,响应于用户的操作,电子设备确定放置AR模型的目标位置为推荐的三维坐标对应的位置。
可选地,AR模型放置界面还可以包括第四操作提示信息,该第四操作提示信息用于提示电子设备用户放置AR模型的方法。
可选地,AR模型放置界面还可以包括场景缩略界面,当录制的AR场景包含的空间范围过大,电子设备用户可以通过点击场景缩略界面,先选择放置AR模型的目标空间,响应于用户的操作,电子设备将AR场景调整至目标空间的场景,用户可以进一步点击目标空间上的目标位置放置AR模型。如图19所示,电子设备用户可以对AR模型的大小、方向或位姿进行调整。
在一些实施例中,电子设备用户长按放置的AR模型,响应于用户的操作,电子设备AR模型显示调整界面,该调整界面包括AR场景和AR模型调整控件,该AR场景为包含待调整的AR模型的AR场景,该AR模型调整控件用于对AR模型的位姿和大小进行调整。
示例性地,在AR模型的三个主轴上显示可旋转的调整控件,该三个主轴可以为通过AR模型的几何中心且分别与AR场景的三个方向平行的轴。
示例性地,在AR模型的一个角上显示可以缩放大小的调整控件。
在另一些实施例中,电子设备通过获取电子设备用户输入的AR模型在第一方向上的旋转角度,调整AR模型的位姿。
在另一些实施例中,电子设备通过获取用户输入的AR模型的缩放的倍数调整AR模型的大小。
示例性地,电子设备获取用户输入的AR模型的缩放的倍数为0.7290,电子设备调整AR模型打大小(体积的大小)至原AR模型体积大小的0.7290倍。
示例性地,电子设备获取用户输入的AR模型的缩放倍数为1.728,电子设备调整AR模型的体积大小至原AR模型体积大小的1.728倍。
可选地,电子设备在调整AR模型的位姿的界面还可以显示第五操作提示信息,该第五操作提示信息用于提示电子设备用户调整AR模型位姿的方法。
如图20所示,电子设备用户还可以对AR模型的色彩或表面进行调整。
在一些实施例中,电子设备用户点击AR模型的任一表面或任一区域,可以触发电子设备显示AR模型调色界面,该AR模型调色界面包括AR场景和色彩或图案选择控件,该AR场景为正在编辑AR模型的色彩或表面的场景,该色彩或图案选择控件用于显示可供调整的色彩或图案。
在一些实施例中,电子设备获取用户在色彩或图案选择控件中点击的色彩或图案,以及当前用户选择的目标表面或目标区域,并将该色彩或图案的信息应用至目标表面或目标区域。
在另一写实施例中,电子设备获取用户输入的色彩或图案的代号,以及当前用户选择的目标表面或目标区域,并将用户输入的色彩或图案的代号对应的色彩或图案应用至目标表面或目标区域。
示例性地,电子设备获取用户输入的色彩或图案的代号为二进制001,并确定二进制001对应的色彩或图案为红色,从而将红色应用到电子设备用户选择的目标表面或目标区域。
可选地,电子设备还可以在AR模型调色界面显示第六操作提示信息,该第六操作提示信息用于提示电子设备用户调整AR模型色彩或表面的方法。
电子设备用户还可以为AR模型设定生命周期,该生命周期的设定可以在添加AR模型时设定,也可以在AR模型的大小、位置等属性设置完成后设定。
在一种可能的实现方式中,AR模型的生命周期可以通过拖动AR模型生效点和/或AR模型失效点确定,如图11或12所示。
在另一种可能的实现方式中,电子设备显示生命周期设定提示控件,该提示控件用于获取AR模型的生效时刻和失效时刻。
可选地,该生命周期设定提示控件还用于显示AR场景的播放时长,示例性地,185秒,电子设备用户进而可以在0至185秒区间内设定AR模型的生效时刻和失效时刻。
以上结合图14至图21介绍了本申请提供的增强现实场景分享的方法中对AR场景的编辑方法,以下结合图22至图27说明本申请提供的AR场景的分享方法。
当电子设备用户点击图10所示的第一展示界面中的分享功能控件,响应于用户的操作,电子设备显示如图21所示的第一分享界面,该第一分享界面包括第一选择区域和分享路径控件,该第一选择区域包括选择信息用于显示待分享的AR场景,分享控件设置多个分享途径。示例性地,分享至“社交平台”、分享至“约翰的手机”。
这里分享至“社交平台”是指将AR场景包含的信息发送至服务器,该服务器可以为社交平台的服务器。分享至“约翰的手机”是指将AR场景包含的信息以蓝牙、近场通信技术等方式发送至其他的电子设备。
可选地,如图23所示,第一选择区域还可以包括选择提示信息和浏览区域,选择区域用于选择一个或多个AR场景,该选择提示信息用于显示当前选择的AR场景的数量等信息,该选择区域用于显示可供选择的AR场景。第一选择区域还可以包括选择控件,该选择控件用于标记AR场景。当第一AR场景的选择控件显示被标记的状态,电子设备确定第一AR场景为待分享的AR场景,当第二AR场景的选择控件显示未被标记的状态,电子设备确定第二AR场景不是待分享的AR场景。电子设备用户可以通过点击选择控件来标记或取消标记AR场景。
当用户点击分享路径控件中的任一分享途径,响应于用户的操作,电子设备根据用户点击的分享途经发送或上传用户选择的一个或多个AR场景。
在一些实施例中,第一电子设备的用户可以将保存在电子设备的AR场景数据直接发送至第二电子设备,从而实现AR场景的分享。
可选地,当第二电子设备接收第一电子设备分享AR场景数据的请求消息,第二电子设备可以接收或拒绝接收该AR场景数据。
在另一些实施例中,电子设备可以将保存在电子设备的AR场景数据上传至服务器,实现AR场景的分享。
如图24所示,当电子设备用户在第一分享界面点击“社交平台”,响应与电子设备用户的操作,电子设备显示权限配置界面,该权限配置界面,该权限配置界面用于请求电子设备用户为即将分享至服务器的一个或多个AR场景配置使用权限。
可选地,电子设备用户还可以其他电子请求获取AR场景数据(AR内容)的读写权限时,再设定AR场景数据的读写权限。
如图25所示,该权限配置界面可以包括权限配置提示信息和权限配置选项,该权限配置提示信息用户为即将分享至服务器的一个或多个AR场景选择读写权限。该权限配置选项设置至少两个候选项,该至少两个候选项包括为分享至服务器的一个或多个AR场景设置的不同的读写权限。
在一些实施例中,权限配置选项根据用户群体配置候选项。
示例性,该权限配置选项设置两个候选项,第一候选项用于设置分享至服务器的一个或多个AR场景所有用户可读可写,即服务器的所有用户可以浏览、下载并修改使用该电子设备分享的一个或多个AR场景的数据。第二候选项用于设置分享至服务器的一个或多个AR场景的数据仅上传用户可读可写,即该电子设备上传的一个或多个AR场景仅上传该场景的用户可以浏览以及下载并修改使用。
可选地,该权限配置选项还可以设置第三候选项,该第三候选项用于设置分享至服务器的一个或多个AR场景仅部分用户可读可写,即该电子设备上传的一个或多个AR场景仅上传该场景一部分用户可以浏览、下载以及修改并使用。
可选地,该权限配置选项中可以设置默认选项,该默认选项可以由电子设备用户在如图4中的(b)所示的功能设置界面进行配置。当电子设备用户选择默认选项,响应于用户的操作,电子设备将设置界面下AR场景的分享权限的配置信息应用到即将上传的AR场景数据。
在另一些实施例中,该权限配置选项根据功能权限的种类配置候选项。
示例性,该权限配置选项设置三个选项,每个候选项包括候选项包括候选框,当该候选框被勾选,电子设备将该候选项包含的权限配置到即将上传的一个或多个AR场景数据。第一候选项设置为“浏览”功能,勾选第一选项用于指示即将上传的AR场景可以被用户浏览;第二候选项设置为“点赞、评论和转发”,勾选第二选项用于指示即将上传的AR场景可以被用户点赞、评论和转发;第三候选项设置为“下载”,勾选第三选项用于指示即将上传的AR场景可以被用户下载并使用。电子设备可以勾选不同的候选项为不同的AR场景数据配置不同的功能权限。
可选地,该权限配置选项还可以配置更多的功能选项,示例性地,对于第一类的用户群体,只能以图片的形式浏览电子设备用户上传的AR场景,对于第二类用户可以结合AR场景数据中的色彩信息、表面信息和深度信息浏览AR场景。
如图26所示,当电子设备用户在第一分享界面点击“社交平台”,响应与电子设备用户的操作,电子设备还可以显示分享提示界面,该分享提示界面用于提示电子设备用户通过压缩AR场景数据可以节省分享至服务器的数据上传时间,该分享提示界面还用户获取电子设备用户是否对AR场景数据压缩的指示,当电子设备获取确认压缩AR数据的指示,电子设备对即将分享的AR场景的数据进行压缩。
示例性地,电子设备对需要压缩的AR场景的数据按数据的类型分类压缩。
示例性地,电子设备对需要压缩的AR场景的数据先全部压缩后上传至服务器,或者电子设备对需要压缩的AR场景数据分成多个数据包,并将每个数据包分别压缩分别上传,先完成压缩的数据包先上传,即边压缩边上传。
如图27所示,当AR场景数据上传完成,电子设备可以显示第二分享界面,该第二分享界面用于提示AR场景数据已经上传完成。
可选地,该第二分享界面还用于获取电子设备用户介绍该AR场景的介绍信息。当电子设备用户添加该介绍信息,电子设备将获取的介绍信息上传至服务器。
以上结合图21至图27详细介绍了本申请提供的AR场景的分享方法,以下结合图28至图30说明,本申请提供的AR场景的增强现实场景分享的方法。
如图28所示,社交平台包括第一浏览界面,该第一浏览界面用于展示多个用户分享的AR场景。
在一些实施例中,服务器按照AR场景的分享用户来分类展示不同的AR场景。
在另一些实施例中,服务器按照AR场景的类型来分类展示不同的AR场景。
示例性地,服务器按照室内AR场景、室外AR场景等类别展示不同AR场景。
在又一些实施例中,服务器根据AR场景的地理信息展示不同的AR场景。
示例性地,服务器按照不同的国家、区域来展示不同的AR场景。
服务器可以展示AR场景以及以下AR场景相关信息中一项或多项:AR场景上传时间、AR场景上传地点、AR场景类型或AR场景上传用户等。
可选地,第一浏览界面通过展示AR场景中的一幅或多幅画面展示AR场景。
可选地,第一浏览界面还可以展示以下信息中的一项或多项:AR场景被评论的内容、AR场景被点赞的次数、AR场景被转发的次数或AR场景被下载的次数。
可选地,第一浏览界面还可以展示以下信息中的一项或多项:AR场景包含的AR评论数量、AR场景包含的AR点赞数量或AR场景被其他用户添加AR模型的数量。
当电子设备用户点击服务器展示的任一AR场景,响应于用户的操作,电子设备显示如图29所示的第二浏览界面,第二浏览界面用于展示AR场景的详细内容,该第二浏览界面可以用于展示以下信息中的至少一种:AR场景包含的AR评论数量或AR场景被其他用户添加AR模型的数量。
可选地,第二浏览界面还可以用于展示以下信息中的一项或多项:AR场景被评论的内容、AR场景被点赞的次数、AR场景被转发的次数或AR场景被下载的次数。
可选地,第二浏览界面根据AR录制时获取的色彩信息、表明信息或深度信息等信息中的一项或多项展示AR场景的详细信息。
在一些实施例中,第二浏览界面还包括一个或多个社交控件,该社交控件用于实现基于当前AR场景的以下社交功能中的一项或多项:点赞、评论、转发或下载等。
当电子设备用户点击点赞功能社交控件,响应于用户的操作,电子设备显示如图30所示的AR点赞提示控件,该AR点赞提示控件用于提示用户当前AR场景支持AR点赞,该AR点赞提示控件还用于获取用户是否进行AR点赞的指示信息。当电子设备用户确认AR点赞,响应于用户的操作,电子设备显示第一AR模型编辑界面。向AR场景中添加AR点赞的过程与向AR场景中添加AR模型的过程类似,具体可以参考图18至图21所示实施例的相关描述,此处不再赘述。
当电子设备用户点击评论功能社交控件,响应于用户的操作,电子设备显示如图31所示的AR评论提示控件,该AR评论提示控件用于提示用户当前AR场景支持AR评论,该AR评论提示控件还用于获取用户是否进行AR评论的指示信息。当电子设备用户确认AR评论,响应于用户的操作,电子设备显示AR文字输入界面。向AR场景中添加AR评论的过程与向AR场景中添加AR文字的过程类似,具体可以参考图13至图17所示实施例的相关描述,此处不再赘述。
当电子设备用户点击转发功能社交控件,响应于用户的操作,电子设备转发界面,该转发界面还可以包括输入框。当电子设备用户在输入框中输入信息,响应于用户的操作,电子设备将该信息与该AR场景一起转发。
当电子设备用户点击下载功能社交控件,响应于用户的操作,服务器校验当前被下载的AR场景的权限信息,当确定当前AR场景的数据可以被当前用户下载并使用,电子设备下载该AR场景的数据,当确定当前AR场景不支持下载并使用或者当前用户未被授予下载并使用的权限,则电子设备不下载该AR场景的数据。
在一些实施例中,服务器根据AR场景对应的权限设置信息以及当前用户的身份信息,确定当前AR场景是否可以被当前用户下载并使用。
在另一些实施例中,服务器向AR场景上传的电子设备用户发送确定当前用户是否可以下载并使用AR场景的询问信息,当上传AR场景的电子设备用户允许下载,则服务器确定当前AR场景的数据可以被当前用户下载并使用。
可选地,当电子设备确定当前AR场景不支持下载并使用或者当前用户未被授予下载并使用的权限,电子设备还可以提示电子设备用户无法下载AR场景的数据的原因。
可选地,当电子设备确定当前用户未被授予下载并使用的权限,电子设备显示提示信息,该提示信息用于指示如何获取该AR场景的数据的下载并使用的权限。
可选地,当确定当前AR场景的数据可以被当前用户下载并使用,电子设备显示下载进度提示信息,该下载进度提示信息用于提示AR场景的数据的下载进度。该下载进度提示信息还可以用于提示用户可以进行后台下载。
当电子设备完成AR场景的数据下载,电子设备可以显示下载完成提示信息,该下载完成提示信息还可以用于提示是否查看已经下载的AR场景。
在一些实施例中,当电子设备中完成AR场景数据的接收,电子设备显示如图10所示的第一展示界面,该第一展示界面的相关功能的描述可以参考如图10所示实施例的相关描述,此处不再赘述。电子设备用户可以再次对下载至电子设备本地的AR场景数据进行编辑,该编辑方法与图14至图21的所示的实施例相似,此处不再赘述。修改后的AR场景还可以用于重新上传至服务器,或者通过其他途径分享至其他电子设备,该分享途经可以参考图22与图23所示的实施例相关描述。
以上结合图3至图31详细说明了本申请提供的基于AR的增强现实场景分享的方法,上述的增强现实场景分享的方法是通过电子设备和/或服务器实现的,以下结合图32介绍电子设备包含的功能模块以及服务器包含的功能模块实现上述增强现实场景分享的方法的流程。
S101,第二电子设备录制、编辑AR场景。
电子设备基于可用的硬件设备完成AR场景数据录制,该AR数据包含录制的真实场景的信息,该AR数据还可以包含电子设备用户添加的AR文字、AR模型等虚拟物体的信息。
AR数据(AR-Raw)可以理解为AR场景录制的原始数据,AR内容(AR-Content)可以理解为与原始数据对应的模型数据,有原始数据转换为模型数据的过程可以称为“重建”。
在一些实施例中,第二电子设备通过电子设备的摄像头、IMU和显示屏等完成AR数据的录制。
可选地,第二电子设备还可以利用同步定位与地图构建(SLAM)模块和/或深度相机进行AR数据的录制。
可选地,第二电子设备在录制AR场景的过程中对AR场景进行编辑。
在一些实施例中,第二电子设备向AR场景中添加场景编辑模型和/或社交互动模型。
在一些实施例中,第二电子设备将AR数据上传AR数据至服务器。
在另一些实施例中,第二电子设备将AR内容上传至服务器。
在又一些实施例中,第二电子设备将AR内容直接分享给第二电子设备。
当第二电子设备以AR内容的形式分享AR场景,第二电子设备还将录制的AR场景数据转换为AR内容。
在一些实施例中,第二电子设备在发送AR数据至服务器前为上传的AR数据配置使用权限。
示例性地,第二电子设备根据用户的类别配置AR数据的使用权限。
示例性地,第二电子设备根据功能的类别配置AR数据的使用权限。
在一些实施例中,第二电子设备为每一次上传的AR数据配置使用权限。
在另一些实施例中,第二电子设备一次为所有上传的AR数据配置使用权限。
S102,第二电子设备分享AR场景。
第二电子设备分享AR场景,可以以AR内容或者AR数据的形式将AR场景包含的信息发送至服务器或者其他电子设备。
第二电子设备可以将录制的AR数据以原始数据流的格式直接上传至服务器(社交平台),或者,第二电子设备将录制的AR数据压缩后上传至服务器。第二电子设备可以根据采集的数据的类型对AR数据进行分类压缩。
在一些实施例中,AR数据包括相机视频流、IMU数据、物理相机参数、AR镜头参数。
可选地,AR数据还包括SLAM数据和/或深度传感器数据。
AR数据到AR内容的转换可以由服务器完成,或者也可以由电子设备完成,以下以服务器进行数据转换为例说明数据转换的过程,电子设备进行数据转换的过程与之类似。
服务器根据上传的AR数据包含的数据类型选择不同的转化方法将AR数据转化为AR内容。
可选地,AR数据到AR内容的转化也可以由电子设备完成,当电子设备进行AR数据到AR内容的转换,电子设备上传至服务器的即为AR内容。
在一些实施例中,第二电子设备上传的AR数据包含相机视频流、IMU数据、物理相机参数、AR镜头参数、SLAM数据和深度传感器数据,服务器利用“基于色彩和深度(redgreen and blue+depth map,RGBD)和SLAM辅助的场景重建技术”进行AR数据的转化。
示例性地,服务器通过每一帧的彩色图和IMU信息对SLAM位姿进行全局优化,得到优化后每一帧的相机位姿;服务器通过RGB图像对深度图像进行滤波优化,再基于优化后的每一帧的相机位姿和深度图进行场景的体素融合重建,生成场景重建结果;服务器将场景的体素融合结果转换为场景的表面信息,完成场景表面重建。
在另一些实施例中,第二电子设备上传的AR数据包含相机视频流、IMU数据、物理相机参数和AR镜头参数,服务器利用“基于色彩(red green and blue,RGB)的场景重建技术”或“基于RGB的深度估计技术”进行AR数据的转化。
示例性地,服务器首先通过全局的彩色图和IMU信息进行位姿估计和全局优化,得到每一帧的相机位姿;然后,服务器通过每一帧RGB图像的特征点(及其相邻点)与其它RGB图像特征点(及其相邻点)的立体匹配和共视关系计算得到稀疏的深度图,再将“稀疏深度图”和“当前帧RGB图像”结合通过深度估计网络估算出稠密的深度图;此后,将每一帧的相机位姿和深度图进行场景的体素融合重建,生成场景重建结果;最后,服务器将场景的体素融合结果转换成场景的表面信息,完成场景表面重建。
在又一些实施例中,第二电子设备上传的AR数据包含相机视频流、IMU数据、物理相机参数和AR镜头参数,服务器利用“基于RGB的深度估计技术”进行AR数据的转化。
示例性地,服务器首先通过全局的彩色图和IMU信息进行位姿估计和全局优化,得到每一帧的相机位姿;然后,服务器通过每一帧RGB图像的特征点(及其相邻点)与其它RGB图像特征点(及其相邻点)的立体匹配和共视关系计算得到稀疏的深度图,再将“稀疏深度图”和“当前帧RGB图像”结合通过深度估计网络估算出稠密的深度图。
AR内容可以包括录制的AR场景的AR镜头参数、每一帧图像的相机参数、场景深度数据或场景表面数据中的一项或多项,这里相机参数包括场景录制过程中相机的位姿信息和相机的投影矩阵信息。
在一些实施例中,服务器将第二电子设备上传的AR数据和转化得到的AR内容存储在数据存储设备中。
可选地,该数据存储设备中还可以存储AR数据内容库,该AR模型库可以包括多种AR模型,该AR模型库可以用于用户进行AR场景编辑。
在一些实施例中,该AR模型包括场景编辑模型和社交互动模型,其中场景编辑模型用于对AR场景进行装饰,社交互动模型用于基于AR场景进行社交互动。
在一些实施例中,第二电子设备也可以将AR场景以AR内容或者AR数据的形式直接分享给第一电子设备。在第二电子设备直接分享AR数据的情况下,AR数据到AR内容的转换由第一电子设备完成,转换过程与社交平台(服务器)转换的过程类似。在第二电子设备以AR内容的形式分享AR场景的情况下,AR数据到AR内容的转换由第二电子设备完成。
S103,第一电子设备获取AR场景。
在一些实施例中,第一电子设备在获取AR内容前,向服务器请求获取AR内容的权限。
在一些实施例中,AR内容在服务器与第一电子设备之间以如下格式传输:
镜头参数以相机投影矩阵格式传输;
照片和视频以常规的照片和视频格式进行传输;
相机位姿以重建结果的空间坐标系下每一帧的相机位置和朝向的格式传输;
场景深度图与彩色图视场角(filed of view,FOV)对齐,传输内容包含数据头和数据内容,其中数据头包含:[深度图行数],[深度图列数],[最小距离],[最大距离],[深度分辨率],[像素位宽],数据内容为二进制数据,可以通过数据头来解析得到对应“行、列”数的深度图;
场景表面数据的传输内容包含数据头和数据内容,其中数据头包含[顶点数],[网格数],数据内容为包含顶点和网格数据的二进制数据。
在一些实施例中,第一电子设备也可以直接与第二电子设备建立通信,从而直接从第二电子设备获取AR内容或AR数据。可选地,第一电子设备还可以请求第二电子设备获取AR内容或AR数据的读写权限。
S104,第一电子设备编辑AR场景。
在一些实施例中,第一电子设备基于获取的AR内容显示AR场景。
在另一些实施例中,第一电子设备向根据获取的AR内容重现的AR场景中添加AR文字或AR模型,即对重现的AR场景进行修改。
在一些实施例中,第一电子设备将修改后的AR数据重新上传至服务器或者将修改后的AR场景直接分享至其他电子设备。
基于相同的构思,如图33,本申请实施例还提供了一种增强现实场景分享装置100,该装置包括获取模块110、处理模块120以及通信模块130。
该获取模块110用于采集AR数据,实现如图4至图9所示实施例AR录制等功能,该功能模块对应的功能可以以硬件,软件或软件和硬件的组合实现。
示例性地,该获取模块110可以包括摄像头、IMU、深度传感器、显示屏、处理器、存储器等。其中,摄像头、IMU、深度传感器等传感器用于数据采集,显示屏用于同步显示采集的数据,处理器用于控制数据采集,存储器用于存储采集的数据。
该处理模块120用于对录制的AR场景进行复原,实现如图11至图21和图27至图31所示实施例AR场景播放、编辑等功能。该功能模块对应的功能可以以硬件,软件或软件和硬件的组合实现。
示例性地,该处理模块120可以包括显示屏、触摸传感器、处理器、存储器等硬件模块。其中,处理器用于根据AR内容实现AR场景的重建和复原,显示屏用于显示复原的AR场景,触摸传感器用于获取用户点击屏幕的位置等信息,进而实现对AR场景的编辑,存储器用于保存用户编辑后的AR场景的信息。
该通信模块130用于传输录制的或者重建的AR数据,实现如图22至图26所示实施例AR数据的传输等功能,该功能模块对应的功能可以以硬件,软件或软件和硬件的组合实现。示例性地,该130可以包括显示屏、处理器、移动通信模块等。其中,显示屏用于显示数据传输的进度等功能,处理器用于对AR数据进行压缩,移动通信模块用于与电子设备或服务器之间传输数据以及对数据解码。
如图34,本申请实施例还提供了另一种增强现实场景分享装置200,该装置包括处理模块210、存储模块220和通信模块230。
该处理模块210用于将电子设备上传的AR数据转化为AR内容,实现如图14至图21等的功能。该功能模块对应的功能可以以硬件,软件或软件和硬件的组合实现。
该存储模块220用于存储电子设备上传的AR数据,以及根据AR数据转化得到的AR内容。可选地,该存储模块220还用于存储AR模型库(AR资源库),该AR模型库包括电子设备进行AR场景编辑时向AR场景中添加的AR文字、AR模型等资源。实现如图14至图21的功能。
该通信模块230用于与电子设备之间进行信息交互以及数据传输,实现如图22至图26等的功能。该功能模块对应的功能可以以硬件,软件或软件和硬件的组合实现。
需要说明的是,上述增强现实场景分享装置100和增强现实场景分享装置200以功能单元的形式体现。这里的术语“模块”可以通过软件和/或硬件形式实现,对此不作具体限定。
例如,“模块”可以是实现上述功能的软件程序、硬件电路或二者结合。所述硬件电路可能包括应用特有集成电路(application specific integrated circuit,ASIC)、电子电路、用于执行一个或多个软件或固件程序的处理器(例如共享处理器、专有处理器或组处理器等)和存储器、合并逻辑电路和/或其它支持所描述的功能的合适组件。
因此,在本申请的实施例中描述的各示例的模块,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
基于相同的构思,如图35,本申请实施例还提供一种电子设备300,该电子设备包括处理器和存储器,其中,处理器用于执行如图3至图31中电子设备执行的处理操作,例如AR内容的录制、播放、编辑、分享等,该存储器上存储有一个或多个计算机程序,该一个或多个计算机程序包括指令,当该指令被一个或多个处理器执行时,使得如前文中任一种增强现实场景分享的方法被执行。
如图36,本申请实施例还提供一种服务器400,该服务器包括一个或多个处理器以及一个或多个存储器,该一个或多个存储器存储有一个或多个计算机程序,该一个或多个计算机程序包括指令,当该指令被一个或多个处理器执行时,该服务器执行如图22至图31中,服务器执行的处理操作,例如接收AR内容、AR数据,以及将AR数据转换为AR内容等。
本申请实施例还提供一种计算机程序产品,该计算机程序产品包括计算机程序代码,当计算机程序代码在计算机上运行时,使得如图3至图31中的方法被执行。
本申请实施例还提供一种计算机可读存储介质,该计算机可读介质中存储有计算机指令,当计算机指令在计算机上运行时,使得如图3至图31中的方法被执行。
本申请实施例还提供一种芯片,包括处理器,用于读取存储器中存储的指令,当该处理器执行该指令时,使得该芯片实现如图3至图31中的方法。
本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。
所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(read-only memory,ROM)、随机存取存储器(random access memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以所述权利要求的保护范围为准。

Claims (19)

1.一种增强现实场景分享的方法,其特征在于,包括:
第一电子设备接收第一增强现实AR内容,所述第一AR内容包括深度信息,所述深度信息通过深度估计或深度补全得到;
所述第一电子设备根据所述第一AR内容显示第一AR场景。
2.根据权利要求1所述的方法,其特征在于,所述第一AR内容包括网格数据,所述网格数据用于描述所述第一AR场景的表面。
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
所述第一电子设备检测到用户向所述第一AR场景中添加AR模型的操作;
响应于所述操作,所述第一电子设备在所述第一AR场景中添加所述AR模型;
所述第一电子设备显示添加所述AR模型后的所述第一AR场景。
4.根据权利要求3所述的方法,其特征在于,所述AR模型包括场景编辑模型和/或社交互动模型,所述场景编辑模型用于对所述第一AR场景进行装饰,所述社交互动模型用于基于所述第一AR场景进行社交互动。
5.根据权利要求3或4所述的方法,其特征在于,所述方法还包括:
响应于检测到所述AR模型在第一位置被第一对象遮挡,所述第一电子设备显示第一编辑提示信息,所述第一编辑提示信息用于提示所述AR模型在第一位置被遮挡,所述第一AR场景包括所述第一对象;
所述第一电子设备提示用户将所述AR模型从所述第一位置更新到第二位置,所述AR模型在所述第二位置不被所述第一对象遮挡。
6.根据权利要求3至5中任一项所述的方法,其特征在于,所述方法还包括:
所述第一电子设备检测到用户放置所述AR模型的第一操作;
响应于所述第一操作,所述第一电子设备显示第二编辑提示信息,所述第二编辑提示信息用于提示在第二对象上堆叠放置所述AR模型,所述第一AR场景包括所述第二对象;
所述第一电子设备检测到用户在所述第二对象上堆叠放置所述AR模型的第二操作;
响应于所述第二操作,所述第一电子设备在所述第二对象上堆叠放置所述AR模型。
7.根据权利要求3至6中任一项所述的方法,其特征在于,所述方法还包括:
所述第一电子设备检测到用户放置所述AR模型的第三操作;
响应于所述第三操作,所述第一电子设备显示第三编辑提示信息,所述第三编辑提示信息用于提示在与第一表面垂直或平行的方向放置所述AR模型,所述第一AR场景包括所述第一表面;
所述第一电子设备检测到用户在与所述第一表面垂直或平行的方向放置所述AR模型的第四操作;
响应于所述第四操作,所述第一电子设备在与所述第一表面垂直或平行的方向放置所述AR模型。
8.根据权利要求3至7中任一项所述的方法,其特征在于,所述方法还包括:
所述第一电子设备向服务器发送第二AR内容,所述第二AR内容用于显示添加所述AR模型后的所述第一AR场景。
9.根据权利要求2至8中任一项所述的方法,其特征在于,所述网格数据为经过编码后的网格数据,所述方法还包括:
所述第一电子设备对所述网格数据执行解码;
所述第一电子设备根据所述第一AR内容显示第一AR场景,包括:
所述第一电子设备根据解码后的所述网格数据显示所述第一AR场景。
10.根据权利要求1至9所述的方法,其特征在于,所述第一电子设备接收第一AR内容,包括:
所述第一电子设备从服务器接收所述第一AR内容。
11.一种增强现实场景分享的方法,其特征在于,包括:
第二电子设备采集第一AR数据;
所述第二电子设备根据所述第一AR数据重建第一AR内容,所述第一AR内容包括深度信息,所述深度信息通过深度估计或深度补全得到;
所述第二电子设备发送所述第一AR内容,所述第一AR内容用于显示第一AR场景。
12.根据权利要求11所述的方法,其特征在于,所述第一AR内容包括网格数据,所述网格数据用于描述所述第一AR场景的表面。
13.根据权利要求11或12所述的方法,其特征在于,所述方法还包括:
所述第二电子设备发送权限设置信息,所述权限设置信息用于设置所述第一AR内容的读写权限。
14.根据权利要求11至13中任一项所述的方法,其特征在于,所述第一AR场景包含AR模型,所述AR模型包括场景编辑模型和/或社交互动模型,所述场景编辑模型用于对所述第一AR场景进行装饰,所述社交互动模型用于基于所述第一AR场景进行社交互动。
15.根据权利要求11至14中任一项所述的方法,其特征在于,所述第二电子设备发送所述第一AR内容,包括:
所述第二电子设备向服务器发送所述第一AR内容。
16.一种电子设备,其特征在于,包括处理器和存储器,所述存储器用于存储程序指令,所述处理器用于调用所述程序指令来执行权利要求1至10或者权利要求11至15中任一项所述的方法。
17.一种计算机可读存储介质,其特征在于,其上存储有计算机程序,所述计算机程序被计算机执行时,以使得实现权利要求1至10或者权利要求11至15中任一项所述的方法。
18.一种计算机程序产品,其特征在于,所述计算机程序产品包括计算机程序代码,当所述计算机程序代码在计算机上运行时,权利要求1至10或者权利要求11至15中任一项所述的方法被执行。
19.一种芯片,其特征在于,包括:处理器,用于读取存储器中存储的指令,当所述处理器执行所述指令时,使得所述芯片实现权利要求1至10或者权利要求11至15中任一项所述的方法。
CN202210258251.4A 2022-03-16 2022-03-16 增强现实场景分享的方法和电子设备 Pending CN116797767A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210258251.4A CN116797767A (zh) 2022-03-16 2022-03-16 增强现实场景分享的方法和电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210258251.4A CN116797767A (zh) 2022-03-16 2022-03-16 增强现实场景分享的方法和电子设备

Publications (1)

Publication Number Publication Date
CN116797767A true CN116797767A (zh) 2023-09-22

Family

ID=88035034

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210258251.4A Pending CN116797767A (zh) 2022-03-16 2022-03-16 增强现实场景分享的方法和电子设备

Country Status (1)

Country Link
CN (1) CN116797767A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251059A (zh) * 2023-11-17 2023-12-19 天津市品茗科技有限公司 一种基于ar的三维全息互动系统及方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117251059A (zh) * 2023-11-17 2023-12-19 天津市品茗科技有限公司 一种基于ar的三维全息互动系统及方法
CN117251059B (zh) * 2023-11-17 2024-01-30 天津市品茗科技有限公司 一种基于ar的三维全息互动系统及方法

Similar Documents

Publication Publication Date Title
CN112130742B (zh) 一种移动终端的全屏显示方法及设备
CN110231905B (zh) 一种截屏方法及电子设备
CN110417991B (zh) 一种录屏方法及电子设备
CN112532869B (zh) 一种拍摄场景下的图像显示方法及电子设备
CN109274828B (zh) 一种生成截图的方法、控制方法及电子设备
CN112445448B (zh) 一种柔性屏显示方法和电子设备
CN112262563B (zh) 图像处理方法及电子设备
WO2020029306A1 (zh) 一种图像拍摄方法及电子设备
WO2022007862A1 (zh) 图像处理方法、系统、电子设备及计算机可读存储介质
WO2023284715A1 (zh) 一种物体重建方法以及相关设备
CN112383664A (zh) 一种设备控制方法、第一终端设备及第二终端设备
CN112541861A (zh) 图像处理方法、装置、设备及计算机存储介质
WO2021238740A1 (zh) 一种截屏方法及电子设备
CN116797767A (zh) 增强现实场景分享的方法和电子设备
CN115032640B (zh) 手势识别方法和终端设备
US20220264176A1 (en) Digital space management method, apparatus, and device
WO2022078116A1 (zh) 笔刷效果图生成方法、图像编辑方法、设备和存储介质
CN115686182B (zh) 增强现实视频的处理方法与电子设备
CN111886849A (zh) 一种传输信息的方法及电子设备
CN114812381A (zh) 电子设备的定位方法及电子设备
CN112783993B (zh) 基于数字地图的多个授权空间的内容同步方法
CN116668764B (zh) 处理视频的方法及装置
CN116095224B (zh) 通知显示方法和终端设备
WO2024120480A1 (zh) 端云协同内容的预览方法及装置
CN118154765A (zh) 虚拟三维场景生成方法、电子设备及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication