CN112950711A - 一种对象的控制方法、装置、电子设备及存储介质 - Google Patents

Abstract

本公开提供了一种对象的控制方法、装置、电子设备及存储介质，其中，该方法包括：获取多个用户终端分别上传的三维场景地图，以及每个用户终端的第一位姿信息；基于每个三维场景地图对应的第一世界坐标系，确定用于描述多个用户终端处于统一空间的第二世界坐标系；针对每个用户终端，将用户终端的第一位姿信息转化为在第二世界坐标系下的第二位姿信息；基于各个用户终端在第二世界坐标系下的第二位姿信息，对多个用户终端中展示的目标增强现实AR对象进行联合控制。本公开实施例可进行同一参考空间内的多个用户终端之间的信息通信，从而实现联合控制。

Description

一种对象的控制方法、装置、电子设备及存储介质

技术领域

本公开涉及计算机应用技术领域，具体而言，涉及一种对象的控制方法、装置、电子设备及存储介质。

背景技术

增强现实(Augmented Reality，AR)技术作为一种根据实时计算的摄像机影像的位置及角度，在影像上叠加相应的图像、视频、三维(3-Dimensional，3D)模型以实现虚拟世界与现实世界融合的技术，面向用户提供了一种新的交互体验。

随着增强现实交互技术的广泛应用，特别是在用户终端之间需要交互的场景(如游戏或教育等场景)中的应用，由于存在终端之间无法共享信息的问题，直接导致了多用户无法进行互动。

发明内容

本公开实施例至少提供一种控制方案，通过坐标系之间的统一操作，实现了多个终端的联合控制。

主要包括以下几个方面：

第一方面，本公开实施例提供了一种对象的控制方法，所述方法包括：

获取多个用户终端分别上传的三维场景地图，以及每个所述用户终端的第一位姿信息；

基于每个所述三维场景地图对应的第一世界坐标系，确定用于描述所述多个用户终端处于统一空间的第二世界坐标系；

针对每个所述用户终端，将所述用户终端的第一位姿信息转化为在所述第二世界坐标系下的第二位姿信息；

基于各个所述用户终端在所述第二世界坐标系下的第二位姿信息，对所述多个用户终端中展示的目标增强现实AR对象进行联合控制。

采用上述控制方法，可以基于获取的多个用户终端分别上传的三维场景地图所对应的第一世界坐标系，确定多个用户终端处于统一空间的第二世界坐标系，利用该第二世界坐标系可以将多个用户终端设置在同一参考空间内。这样，在基于第二世界坐标系，将获取的每个用户终端的第一位姿信息转化为在第二世界坐标系下的第二位姿信息的情况下，可以基于同一参考空间内的各个第二位姿信息，对多个用户终端中展示的目标AR对象进行联合控制。

可知的是，本公开实施例可以基于多个用户终端分别上传的所在场景的三维场景地图(比如可以针对多个用户终端分别进行基于SLAM的三维建图)，将多个用户终端置于统一后的第二世界坐标系中，多个用户终端之间可以在同一参考空间内进行交互，从而实现对多个用户终端中展示的目标AR对象的联合控制。

在一种可能的实施方式中，所述基于每个所述三维场景地图对应的第一世界坐标系，确定用于描述所述多个用户终端处于统一空间的第二世界坐标系，包括：

针对多个所述三维场景地图中的每个三维场景地图，基于所述三维场景地图以及与所述三维场景地图对应的用户终端拍摄的真实场景图像，确定目标AR对象在所述三维场景地图对应的第一世界坐标系中的位姿信息；

基于所述目标AR对象在多个所述三维场景地图对应的第一世界坐标系中的位姿信息，确定多个所述第一世界坐标系之间的转换关系；

基于所述转换关系，确定所述第二世界坐标系。

这里，为了确定统一后的第二世界坐标系，可以先针对每个用户终端上传的三维场景地图，以及对应拍摄的真实场景图像，确定目标AR对象在三维场景地图对应的第一世界坐标系中的位姿信息，这样，目标AR对象可以作为多个第一世界坐标系之间进行转换的参考对象，基于这一参考对象可以确定多个第一世界坐标系之间的转换关系，进而确定统一后的第二世界坐标系，操作简单。

在一种可能的实施方式中，所述基于所述三维场景地图以及与所述三维场景地图对应的用户终端拍摄的真实场景图像，确定目标AR对象在所述三维场景地图对应的第一世界坐标系中的位姿信息，包括：

对所述三维场景地图对应的真实场景图像进行目标物体检测，确定目标物体在所述真实场景图像中的位姿信息；

基于所述目标物体在所述真实场景图像中的位姿信息以及所述三维场景地图，确定所述目标物体在所述三维场景地图对应的第一世界坐标系中的位姿信息；

基于所述目标物体与所述目标AR对象之间预设的相对位姿关系，确定所述目标AR对象在所述三维场景地图对应的第一世界坐标系中的位姿信息。

这里，为了确保呈现的AR效果的逼真性，在构建目标AR对象的过程中，往往需要参考真实场景图像中目标物体(即真实物体)的位姿信息，也即，在确定目标物体与目标AR对象之间预设的相对位姿关系、以及目标物体的位姿信息的情况下，可以确定目标AR对象的位姿信息，例如，可以在真实场景图像中的桌子这一目标物体上设置花瓶这一目标AR对象。

在一种可能的实施方式中，所述对所述三维场景地图对应的真实场景图像进行目标物体检测，确定目标物体在所述真实场景图像中的位姿信息，包括：

利用训练好的目标物体检测模型，从所述三维场景地图对应的真实场景图像中检测出所述目标物体的位姿信息。

在一种可能的实施方式中，所述确定用于描述所述多个用户终端处于统一空间的第二世界坐标系之后，还包括：

基于所述第二世界坐标系，确定所述目标AR对象在所述第二世界坐标系中的位姿信息；

针对每个所述用户终端，基于所述用户终端拍摄的真实场景图像以及所述目标AR对象在所述第二世界坐标系中的位姿信息，确定与所述用户终端对应的AR场景图像；

将每个所述用户终端对应的AR场景图像发送至对应的用户终端。

本公开实施例中，在确定目标AR对象在统一后的第二世界坐标系中的位姿信息的情况下，可以基于这一位姿关系进行真实场景图像以及目标AR对象之间的融合，从而确定与每个用户终端对应的AR场景图像，将该AR场景图像发送至对应的用户终端进行呈现即可。尽管不同的用户终端所拍摄的真实场景图像不同，但是，其所呈现出来的目标AR对象的效果可以是同步的，进而使得多用户终端的交互更为流畅。

在一种可能的实施方式中，所述基于各个所述用户终端在所述第二世界坐标系下的第二位姿信息，对所述多个用户终端中展示的目标增强现实AR对象进行联合控制，包括：

判断多个所述用户终端在所述第二世界坐标系下的第二位姿信息是否满足预设联合控制条件；

若多个所述用户终端在所述第二世界坐标系下的第二位姿信息满足所述预设联合控制条件，则基于所述预设联合控制条件对应的联合控制方式对所述多个用户终端中展示的目标AR对象进行联合控制。

这里，可以基于预设联合控制条件的限制来实现针对多个用户终端的联合控制，快速高效。

在一种可能的实施方式中，所述第二位姿信息包括位置信息以及姿态信息；所述预设联合控制条件包括以下条件中的一种或多种：

基于多个所述用户终端在所述第二世界坐标系下的位置信息，确定多个所述用户终端之间的相对距离小于预设距离；

基于多个所述用户终端在所述第二世界坐标系下的姿态信息，确定多个所述用户终端的朝向之间的夹角小于预设夹角。

这里，既可以基于预设距离来限定预设联合控制条件，也可以基于预设夹角来限定预设联合控制条件，提升联合控制的灵活度，进一步提升AR体验度。

在一种可能的实施方式中，所述目标AR对象为目标AR游戏对象；所述基于所述预设联合控制条件对应的联合控制方式对所述多个用户终端中展示的目标AR对象进行联合控制，包括：

在多个所述用户终端之间的相对距离小于所述预设距离的情况下，确定第一联合控制方式，基于所述第一联合控制方式对所述多个用户终端分别对应的目标AR游戏对象进行合体操作，并在每个所述用户终端展示合体操作后的合体特效数据；

和/或，

在多个所述用户终端之间的相对距离大于等于所述预设距离，且多个所述用户终端的朝向之间的夹角小于所述预设夹角的情况下，确定第二联合控制方式，基于所述第二联合控制方式响应所述多个用户终端分别对应的目标AR游戏对象的对战启动操作，在每个所述用户终端展示对战启动操作后的对战特效数据。

这里，可以基于用户终端之间的距离和/或夹角的相关限定实现针对目标AR游戏对象的AR游戏控制，使得AR游戏体验更佳。

第二方面，本公开实施例还提供了一种对象的控制装置，所述装置包括：

获取模块，用于获取多个用户终端分别上传的三维场景地图，以及每个所述用户终端的第一位姿信息；

确定模块，用于基于每个所述三维场景地图对应的第一世界坐标系，确定用于描述所述多个用户终端处于统一空间的第二世界坐标系；

转换模块，用于针对每个所述用户终端，将所述用户终端的第一位姿信息转化为在所述第二世界坐标系下的第二位姿信息；

控制模块，用于基于各个所述用户终端在所述第二世界坐标系下的第二位姿信息，对所述多个用户终端中展示的目标增强现实AR对象进行联合控制。

第三方面，本公开实施例还提供了一种电子设备，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如第一方面及其各种实施方式任一项所述的控制方法。

第四方面，本公开实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如第一方面及其各种实施方式任一项所述的控制方法。

关于上述控制装置、电子设备、及计算机可读存储介质的效果描述参见上述控制方法的说明，这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例一所提供的一种对象的控制方法的流程图；

图2(a)示出了本公开实施例一所提供的对象的控制方法的应用示意图；

图2(b)示出了本公开实施例一所提供的对象的控制方法的应用示意图；

图3示出了本公开实施例二所提供的一种对象的控制装置的示意图；

图4示出了本公开实施例三所提供的一种电子设备的示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。

经研究发现，针对用户终端之间需要交互的场景(如游戏或教育等场景)中的应用，由于终端之间存在信息无法共享的问题，直接导致了多用户无法实现互动。

基于上述研究，本公开提供了至少一种控制方案，通过坐标系之间的统一操作，实现了多个终端的联合控制。

针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是发明人在本公开过程中对本公开做出的贡献。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解，首先对本公开实施例所公开的一种控制方法进行详细介绍，本公开实施例所提供的控制方法的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：服务器或其它处理设备，服务器与用户终端通信连接，用户终端可以是平板电脑、智能手机、智能穿戴式设备、增强现实AR设备(如AR眼镜、AR头盔等)等具有显示功能和数据处理能力的设备，用户终端可以通过应用程序连接服务器。在一些可能的实现方式中，该控制方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

需要说明的是，上述服务器可以是云端服务器也可以是普通服务器，考虑到本公开实施例提供的增强现实交互可以是应用于多个用户终端之间的交互，在具体应用中，可以采用云端服务器来实现。

下面以执行主体为云端服务器为例对本公开实施例提供的控制方法加以说明。

实施例一

参见图1所示，为本公开实施例提供的控制方法的流程图，方法包括步骤S101～S104，其中：

S101、获取多个用户终端分别上传的三维场景地图，以及每个用户终端的第一位姿信息；

S102、基于每个三维场景地图对应的第一世界坐标系，确定用于描述多个用户终端处于统一空间的第二世界坐标系；

S103、针对每个用户终端，将用户终端的第一位姿信息转化为在第二世界坐标系下的第二位姿信息；

S104、基于各个用户终端在第二世界坐标系下的第二位姿信息，对多个用户终端中展示的目标增强现实AR对象进行联合控制。

这里，为了便于理解本公开实施例提供的控制方法，现首先对该控制方法的应用场景进行详细说明。本公开实施例提供的控制方法可以应用于多个用户终端之间需要交互的应用场景中。这里以两个用户终端为例，针对同一虚拟游戏场景，两个终端可以分别控制对应的虚拟游戏角色，以实现游戏对战中的相关交互操作，此外，本公开实施例还可以是针对其它场景的交互，在此不做具体的限制。

考虑到相关AR技术中，需要结合真实场景图像以及虚拟场景图像进行AR场景图像的呈现，而不同用户终端在针对同一目标场景进行拍摄时，由于拍摄角度、拍摄距离等的差异，使得拍摄到的真实场景图像并不相同，不相同的真实场景图像使得基于真实场景图像所确定的三维场景地图所在世界坐标系并不一致，也即，不同用户终端在三维空间内无法处于同一参考空间，从而导致三维空间内无法进行不同用户终端之间的交互。

正是为了解决这一问题，本公开实施例才提供了一种对象的控制方法，通过坐标系之间的统一操作，实现了多个终端的联合控制。

这里，针对需要进行交互的多个用户终端而言，本公开实施例提供的控制方法可以获取多个用户终端中每个用户终端上传的三维场景地图。每个用户终端对应的三维场景地图和位姿信息，可以是基于同步定位与地图构建(Simultaneous Localization andMapping，SLAM)的方式得到的。

在具体应用中，每个用户终端还可以按照如下步骤构建三维场景地图：

步骤一、获取多张真实场景图像样本；

步骤二、基于多张真实场景图像样本，构建表征目标场景的初始三维场景模型；

步骤三、将构建的初始三维场景模型上的标定特征点与目标场景对应的标定特征点进行对齐，生成三维场景地图。

本公开实施中，可以预先通过对一个目标场景，比如一个室内环境机型多角度拍摄，得到该目标场景对应的大量真实场景图像样本。这样，基于多张真实场景图像样本，可以生成目标场景对应的初始三维场景模型。

这里，首先可以从获取的每张真实场景图像样本中提取多个特征点，然后基于提取的多个特征点，以及预存的与目标场景匹配的三维样本图，生成初始三维场景模型；其中，三维样本图为预存储的表征目标场景形貌特征的三维图。

具体地，针对每张真实场景图像样本提取的特征点可以为能够表征该张真实场景图像样本关键信息的点，比如针对包含家电(如空调设备)的真实场景图像样本，这里的特征点可以表示空调设备轮廓信息的特征点。

这里预存的与目标场景的三维样本图可以包括提前设置好的能够表征该目标场景形貌特征、且带有尺寸标注的三维图，比如可以是表征该目标场景形貌特征的计算机辅助设计(Computer Aided Design，CAD)三维图。

针对该目标场景，当提取的特征点足够多时，特征点构成的特征点云，可以构成表征该目标场景的三维模型。这里将特征点云与带有尺度标注的且能够表征该目标场景形貌特征的三维图对齐后，即得到该目标场景对应的初始三维场景模型。

考虑到生成的初始三维模型可能会存在失真现象，因而可以通过目标场景中的标定特征点和初始三维场景模型上的标定特征点来完成对齐过程，从而可以得到准确度较高的三维场景模型。

本公开实施例中，首先可以在目标场景对应的初始三维场景模型中提取用于表征目标场景多个空间位置点的标定特征点，而后确定标定特征点在目标场景对应的真实二维地图中的真实坐标数据，并基于每个标定特征点对应的真实坐标数据，调整初始三维场景模型中各个特征点的坐标数据。

这里，可以选择一些表征物体边缘的特征点作为标定特征点，基于标定特征点对应的真实坐标数据以及该标定特征点在初始三维场景模型中的坐标数据，确定坐标数据调整量，然后基于该坐标数据调整量对初始三维模型中各个特征点的坐标数据进行修正，即可以得到准确度较高的三维场景地图。

构建完成表征目标场景的三维场景地图后，可以基于用户终端拍摄的真实场景图像和该三维场景地图对用户终端进行定位，确定用户终端的当前位姿数据，具体可以通过如下步骤：

步骤一、提取真实场景图像包含的特征点，以及提取预先构建三维场景地图时的每张真实场景图像样本的特征点；

步骤二、基于真实场景图像对应的特征点以及预先构建三维场景地图时的每张真实场景图像样本对应的特征点，确定与真实场景图像相似度最高的真实场景图像样本；

步骤三、基于真实场景图像样本对应的拍摄位姿数据，确定用户终端的当前位姿数据。

本公开实施例中，可以按照如下步骤确定用户终端的当前位姿数据：

步骤一、确定真实场景图像样本中的目标对象和真实场景图像中的目标对象之间的相对位姿数据；

步骤二、基于相对位姿数据和真实场景图像样本对应的拍摄位姿数据，确定用户终端的当前位姿数据。

这里，与真实场景图像的相似度最高的真实场景图像样本中包含的目标对象与真实场景图像中包含的目标对象为相同的目标对象，比如真实场景图像中包含的目标对象为建筑物A，真实场景图像样本中包含的目标对象也为建筑物A，这样可以通过确定真实场景图像中的建筑物A和真实场景图像样本中的建筑物A之间的相对位姿数据，确定出用户设备在拍摄真实场景图像和拍摄真实场景图像样本时的相对拍摄位姿数据，进一步可以基于该相对拍摄位姿数据和真实场景图像样本对应的拍摄位姿数据，确定出用户终端的当前位姿数据。

另外，考虑到真实场景图像并非实时采集的，一般情况下是按照设定时间间隔采集的，另外，基于真实场景图像和三维场景地图进行定位的方式功耗较大，因此在对用户终端进行定位，确定用户终端的当前位姿数据的过程中，可以将基于真实场景图像的视觉定位和惯性测量单元(Inertial measurement unit，IMU)定位方式结合使用。

在具体应用中，可以按照视觉定位周期性地确定用户终端的位姿数据，中间过程通过IMU进行定位，比如，每隔10秒通过视觉方式进行定位，则从用户终端开始工作后的初始位姿数据、第10秒、第20秒、第30秒的位姿数据是基于视觉定位得到的，针对第1秒的位姿数据可以是基于初始位姿数据以及从初始时刻到第1秒过程中用户终端的IMU采集的数据预估得到的，同样，第2秒的位姿数据可以是基于第1秒的位姿数据和从第1秒到第2秒过程中用户终端的IMU采集的数据预估得到的，随着时间的积累，基于IMU定位方式得到的位姿数据不再准确时，可以通过视觉定位方式进行修正，得到准确度较高的位姿数据。

本公开实施例中，考虑到不同用户终端所对应的三维场景地图所对应的世界坐标系并不相同，这里，为了实现在三维空间内多个用户终端的联合控制，可以先基于每个三维场景地图对应的第一世界坐标系，确定用于描述多个用户终端处于统一空间的第二世界坐标系，而后可以将每个用户终端的第一位姿信息转化为在第二世界坐标系下的第二位姿信息，也即，可以将各个用户终端的第一位姿信息调整在同一个参考空间内，这样，基于同一参考空间内的各个用户终端的第二位姿信息即可以在该参考空间内实现对多个用户终端中展示的目标AR对象的联合控制。

考虑到统一后的第二世界坐标系的确定过程对后续实现联合控制的关键作用，接下来可以对确定第二世界坐标系的过程进行具体描述。本公开实施例中可以按照如下步骤确定第二世界坐标系：

步骤一、针对多个三维场景地图中的每个三维场景地图，基于三维场景地图以及与三维场景地图对应的用户终端拍摄的真实场景图像，确定目标AR对象在三维场景地图对应的第一世界坐标系中的位姿信息；

步骤二、基于目标AR对象在多个三维场景地图对应的第一世界坐标系中的位姿信息，确定多个第一世界坐标系之间的转换关系；

步骤三、基于转换关系，确定第二世界坐标系。

这里，为了确定统一后的第二世界坐标系，可以基于目标AR对象这一标准参考对象在各个三维场景地图对应的第一世界坐标系中的位姿信息，确定多个世界坐标系之间的转换关系，而后基于这一转换关系，将各个第一世界坐标系均转换到第二世界坐标系。

这里，仍以两个用户终端为例，用户终端A对应的第一世界坐标系为坐标系A，用户终端B对应的第一世界坐标系为坐标系B，在确定坐标系A与坐标系B之间的转换关系之后，可以确定统一后的第二世界坐标系C，该世界坐标系融合了坐标系A和坐标系B之间的转换关系。

其中，上述目标AR对象可以是基于用户终端拍摄的真实场景图像所对应的三维场景地图复原出来的虚拟对象，该虚拟对象可以是虚拟物品，如飞机，还可以是虚拟人物。有关上述目标AR对象在多个三维场景地图对应的第一世界坐标系中的位姿信息，可以基于三维场景地图以及与该三维场景地图对应的用户终端拍摄的真实场景图像来确定，具体可以通过如下步骤来实现：

步骤一、对三维场景地图对应的真实场景图像进行目标物体检测，确定目标物体在真实场景图像中的位姿信息；

步骤二、基于目标物体在真实场景图像中的位姿信息以及三维场景地图，确定目标物体在三维场景地图对应的第一世界坐标系中的位姿信息；

步骤三、基于目标物体与目标AR对象之间预设的相对位姿关系，确定目标AR对象在三维场景地图对应的第一世界坐标系中的位姿信息。

这里，在确定出真实场景图像中的一个或多个目标物体(即真实物体)的情况下，可以首先可以基于真实场景图像所在坐标系与三维场景地图所在世界坐标系之间的对应关系，将目标物体在真实场景图像中的位姿信息转化为目标物体在三维场景地图对应的第一世界坐标系中的位姿信息。

本公开实施例中，为了确保呈现的AR效果的逼真性，在构建目标AR对象的过程中，往往需要参考真实场景图像中目标物体的位姿信息，也即，在确定目标物体与目标AR对象之间预设的相对位姿关系、以及目标物体的位姿信息的情况下，可以确定目标AR对象的位姿信息。

其中，有关目标物体在真实场景图像中的位姿信息可以通过目标检测方法来确定，还可以通过模型训练方法来确定。这里，考虑到模型训练方法可以挖掘出更为丰富的图像特征，因而，可以采用预先训练好的目标物体检测模型，从获取的真实场景图像中检测出目标物体的位姿信息。

这里，有关目标物体检测模型的训练可以是预先对训练样本图像进行目标物体标注，而后基于标注好的图像进行训练。

本公开实施例提供的控制方法在对多个用户终端中展示的目标AR对象进行联合控制的前提是，需要在用户终端呈现包含这一目标AR对象的AR场景图像。

这里，首先可以基于第二世界坐标系确定目标AR对象在这一世界坐标系下的位姿信息，这样，对于每个用户终端，均可以基于该用户终端拍摄的真实场景图像以及目标AR对象在第二世界坐标系中的位姿信息进行融合，以确定与每个用户终端对应的AR场景图像，在将AR场景图像发送至对应的用户终端的情况下，如果基于各个用户终端在第二世界坐标系下的位姿信息进行了针对目标AR对象的联合控制，即可以在用户终端呈现联合控制的效果。

可知的是，即使不同的用户终端所呈现的AR场景图像中包含的真实场景图像不同的情况下，在各个AR场景图像中呈现的目标AR对象可以是同步的。

为了便于理解上述控制方法，这里，可以结合图2(a)和图2(b)做进一步的描述。

如图2(a)所示，在确定两个用户终端(即用户终端A和用户终端B)在不同拍摄角度所拍摄的真实场景图像的情况下，云端服务器可以获取两个用户终端分别上传的真实场景图像，以及可以获取两张真实场景图像分别对应的三维场景地图。

利用上述控制方法中的交互方案，云端服务器可以共享目标AR对象在第二世界坐标系中的位姿信息，从而实现了不同用户终端所呈现AR场景图像中的目标AR对象的同步操作，如图2(b)。

本公开实施例中，可以按照如下步骤实现上述联合控制：

步骤一、判断多个用户终端在第二世界坐标系下的第二位姿信息是否满足预设联合控制条件；

步骤二、若多个用户终端在第二世界坐标系下的第二位姿信息，则基于预设联合控制条件对应的联合控制方式对多个用户终端中的虚拟物体进行联合控制。

其中，上述预设联合控制条件可以是基于多个用户终端在第二世界坐标系下的位置信息，确定多个用户终端之间的相对距离小于预设距离，还可以是基于多个用户终端在第二世界坐标系下的姿态信息，确定多个用户终端的朝向之间的夹角小于预设夹角，还可以是其它控制条件，本公开实施例对此不做具体的限制。

这里，仍以两个用户终端为例，可以是在所确定的两个用户终端之间的相对距离小于预设距离，如在相距1米距离范围内确定触发预设联合控制条件而执行联合控制，还可以是在确定两个用户终端的朝向之间的夹角小于预设夹角，如在相差15度夹角范围内确定触发预设联合控制条件而执行联合控制，还可以结合上述距离和夹角的触发方式来实现联合控制。

本公开实施例中，在用户终端之间的位姿信息触发的预设联合控制条件不同，所对应的联合控制方式也不同。接下来以目标AR游戏对象作为目标AR对象为例对联合控制的一些特定情况进行具体说明。

这里，可以在多个用户终端之间的相对距离小于预设距离的情况下，确定第一联合控制方式，基于第一联合控制方式对多个用户终端分别对应的目标AR游戏对象进行合体操作，也即，在确定两个用户终端相互靠近的情况下，可以自动触发游戏场景中的合体招式，这时可以在每个用户终端展示合体操作后的合体特效数据，提升AR游戏体验感。

再者，可以在多个用户终端之间的相对距离大于等于预设距离，且多个用户终端的朝向之间的夹角小于预设夹角的情况下，确定第二联合控制方式，基于第二联合控制方式响应多个用户终端分别对应的目标AR游戏对象的对战启动操作，也即，在确定两个用户终端相互远离、且朝向的夹角足够小的情况下，可以自动触发游戏场景中的对战模式，这时可以在每个用户终端展示对战启动操作后的对战特效数据，进一步提升AR游戏体验感。

本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思，本公开实施例中还提供了与控制方法对应的控制装置，由于本公开实施例中的装置解决问题的原理与本公开实施例上述控制方法相似，因此装置的实施可以参见方法的实施，重复之处不再赘述。

实施例二

参照图3所示，为本公开实施例提供的一种对象的控制装置的示意图，装置包括：获取模块301、确定模块302、转换模块303和控制模块304；其中，

获取模块301，用于获取多个用户终端分别上传的三维场景地图，以及每个用户终端的第一位姿信息；

确定模块302，用于基于每个三维场景地图对应的第一世界坐标系，确定用于描述多个用户终端处于统一空间的第二世界坐标系；

转换模块303，用于针对每个用户终端，将用户终端的第一位姿信息转化为在第二世界坐标系下的第二位姿信息；

控制模块304，用于基于各个用户终端在第二世界坐标系下的第二位姿信息，对多个用户终端中展示的目标增强现实AR对象进行联合控制。

采用上述控制装置，可以基于多个用户终端分别上传的所在场景的三维场景地图(比如可以针对多个用户终端分别进行基于SLAM的三维建图)，将多个用户终端置于统一后的第二世界坐标系中，多个用户终端之间可以在同一参考空间内进行交互，从而实现对多个用户终端中展示的目标AR对象的联合控制。

在一种可能的实施方式中，确定模块302，用于按照以下步骤每个三维场景地图对应的第一世界坐标系，确定用于描述多个用户终端处于统一空间的第二世界坐标系：

针对多个三维场景地图中的每个三维场景地图，基于三维场景地图以及与三维场景地图对应的用户终端拍摄的真实场景图像，确定目标AR对象在三维场景地图对应的第一世界坐标系中的位姿信息；

基于目标AR对象在多个三维场景地图对应的第一世界坐标系中的位姿信息，确定多个第一世界坐标系之间的转换关系；

基于转换关系，确定第二世界坐标系。

在一种可能的实施方式中，确定模块302，用于按照以下步骤基于三维场景地图以及与三维场景地图对应的用户终端拍摄的真实场景图像，确定目标AR对象在三维场景地图对应的第一世界坐标系中的位姿信息：

对三维场景地图对应的真实场景图像进行目标物体检测，确定目标物体在真实场景图像中的位姿信息；

基于目标物体在真实场景图像中的位姿信息以及三维场景地图，确定目标物体在三维场景地图对应的第一世界坐标系中的位姿信息；

基于目标物体与目标AR对象之间预设的相对位姿关系，确定目标AR对象在三维场景地图对应的第一世界坐标系中的位姿信息。

在一种可能的实施方式中，确定模块302，用于按照以下步骤对三维场景地图对应的真实场景图像进行目标物体检测，确定目标物体在真实场景图像中的位姿信息：

利用训练好的目标物体检测模型，从三维场景地图对应的真实场景图像中检测出目标物体的位姿信息。

在一种可能的实施方式中，上述装置还包括：

发送模块305，用于确定用于描述多个用户终端处于统一空间的第二世界坐标系之后，基于第二世界坐标系，确定目标AR对象在第二世界坐标系中的位姿信息；针对每个用户终端，基于用户终端拍摄的真实场景图像以及目标AR对象在第二世界坐标系中的位姿信息，确定与用户终端对应的AR场景图像；将每个用户终端对应的AR场景图像发送至对应的用户终端。

在一种可能的实施方式中，控制模块304，用于按照以下步骤基于各个用户终端在第二世界坐标系下的第二位姿信息，对多个用户终端中展示的目标增强现实AR对象进行联合控制：

判断多个用户终端在第二世界坐标系下的第二位姿信息是否满足预设联合控制条件；

若多个用户终端在第二世界坐标系下的第二位姿信息满足预设联合控制条件，则基于预设联合控制条件对应的联合控制方式对多个用户终端中展示的目标AR对象进行联合控制。

在一种可能的实施方式中，第二位姿信息包括位置信息以及姿态信息；预设联合控制条件包括以下条件中的一种或多种：

基于多个用户终端在第二世界坐标系下的位置信息，确定多个用户终端之间的相对距离小于预设距离；

基于多个用户终端在第二世界坐标系下的姿态信息，确定多个用户终端的朝向之间的夹角小于预设夹角。

在一种可能的实施方式中，目标AR对象为目标AR游戏对象；控制模块304，用于按照以下步骤基于预设联合控制条件对应的联合控制方式对多个用户终端中展示的目标AR对象进行联合控制：

在多个用户终端之间的相对距离小于预设距离的情况下，确定第一联合控制方式，基于第一联合控制方式对多个用户终端分别对应的目标AR游戏对象进行合体操作，并在每个用户终端展示合体操作后的合体特效数据；

和/或，

在多个用户终端之间的相对距离大于等于预设距离，且多个用户终端的朝向之间的夹角小于预设夹角的情况下，确定第二联合控制方式，基于第二联合控制方式响应多个用户终端分别对应的目标AR游戏对象的对战启动操作，在每个用户终端展示对战启动操作后的对战特效数据。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明，这里不再详述。

实施例三

本公开实施例还提供了一种电子设备，如图4所示，为本公开实施例提供的电子设备结构示意图，包括：处理器401、存储器402、和总线403。存储器402存储有处理器401可执行的机器可读指令(比如，图3中的控制装置中获取模块301、确定模块302、转换模块303、控制模块304对应的执行指令等)，当电子设备运行时，处理器401与存储器402之间通过总线403通信，机器可读指令被处理器401执行时执行如下处理：

获取多个用户终端分别上传的三维场景地图，以及每个用户终端的第一位姿信息；

基于每个三维场景地图对应的第一世界坐标系，确定用于描述多个用户终端处于统一空间的第二世界坐标系；

针对每个用户终端，将用户终端的第一位姿信息转化为在第二世界坐标系下的第二位姿信息；

基于各个用户终端在第二世界坐标系下的第二位姿信息，对多个用户终端中展示的目标增强现实AR对象进行联合控制。

在一种可能的实施方式中，上述处理器401执行的指令中，基于每个三维场景地图对应的第一世界坐标系，确定用于描述多个用户终端处于统一空间的第二世界坐标系，包括：

针对多个三维场景地图中的每个三维场景地图，基于三维场景地图以及与三维场景地图对应的用户终端拍摄的真实场景图像，确定目标AR对象在三维场景地图对应的第一世界坐标系中的位姿信息；

基于目标AR对象在多个三维场景地图对应的第一世界坐标系中的位姿信息，确定多个第一世界坐标系之间的转换关系；

基于转换关系，确定第二世界坐标系。

在一种可能的实施方式中，上述处理器401执行的指令中，基于三维场景地图以及与三维场景地图对应的用户终端拍摄的真实场景图像，确定目标AR对象在三维场景地图对应的第一世界坐标系中的位姿信息，包括：

对三维场景地图对应的真实场景图像进行目标物体检测，确定目标物体在真实场景图像中的位姿信息；

基于目标物体在真实场景图像中的位姿信息以及三维场景地图，确定目标物体在三维场景地图对应的第一世界坐标系中的位姿信息；

基于目标物体与目标AR对象之间预设的相对位姿关系，确定目标AR对象在三维场景地图对应的第一世界坐标系中的位姿信息。

在一种可能的实施方式中，上述处理器401执行的指令中，对三维场景地图对应的真实场景图像进行目标物体检测，确定目标物体在真实场景图像中的位姿信息，包括：

利用训练好的目标物体检测模型，从三维场景地图对应的真实场景图像中检测出目标物体的位姿信息。

在一种可能的实施方式中，确定用于描述多个用户终端处于统一空间的第二世界坐标系之后，上述处理器401执行的指令还包括：

基于第二世界坐标系，确定目标AR对象在第二世界坐标系中的位姿信息；

针对每个用户终端，基于用户终端拍摄的真实场景图像以及目标AR对象在第二世界坐标系中的位姿信息，确定与用户终端对应的AR场景图像；

将每个用户终端对应的AR场景图像发送至对应的用户终端。

在一种可能的实施方式中，上述处理器401执行的指令中，基于各个用户终端在第二世界坐标系下的第二位姿信息，对多个用户终端中展示的目标增强现实AR对象进行联合控制，包括：

判断多个用户终端在第二世界坐标系下的第二位姿信息是否满足预设联合控制条件；

若多个用户终端在第二世界坐标系下的第二位姿信息满足预设联合控制条件，则基于预设联合控制条件对应的联合控制方式对多个用户终端中展示的目标AR对象进行联合控制。

在一种可能的实施方式中，第二位姿信息包括位置信息以及姿态信息；预设联合控制条件包括以下条件中的一种或多种：

基于多个用户终端在第二世界坐标系下的位置信息，确定多个用户终端之间的相对距离小于预设距离；

基于多个用户终端在第二世界坐标系下的姿态信息，确定多个用户终端的朝向之间的夹角小于预设夹角。

在一种可能的实施方式中，目标AR对象为目标AR游戏对象；上述处理器401执行的指令中，基于预设联合控制条件对应的联合控制方式对多个用户终端中展示的目标AR对象进行联合控制，包括：

在多个用户终端之间的相对距离小于预设距离的情况下，确定第一联合控制方式，基于第一联合控制方式对多个用户终端分别对应的目标AR游戏对象进行合体操作，并在每个用户终端展示合体操作后的合体特效数据；

和/或，

在多个用户终端之间的相对距离大于等于预设距离，且多个用户终端的朝向之间的夹角小于预设夹角的情况下，确定第二联合控制方式，基于第二联合控制方式响应多个用户终端分别对应的目标AR游戏对象的对战启动操作，在每个用户终端展示对战启动操作后的对战特效数据。

上述指令的具体执行过程可以参考本公开实施例一中的控制方法的步骤，此处不再赘述。

本公开实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法实施例一中所述的控制方法的步骤。其中，该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例一所提供的控制方法的计算机程序产品，包括存储了程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行上述方法实施例一中所述的控制方法的步骤，具体可参见上述方法实施例，在此不再赘述。

本公开实施例还提供一种计算机程序，该计算机程序被处理器执行时实现前述实施例的任意一种方法。该计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中，所述计算机程序产品具体体现为计算机存储介质，在另一个可选实施例中，计算机程序产品具体体现为软件产品，例如软件开发包(Software DevelopmentKit，SDK)等等。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种对象的控制方法，其特征在于，所述方法包括：

获取多个用户终端分别上传的三维场景地图，以及每个所述用户终端的第一位姿信息；

基于每个所述三维场景地图对应的第一世界坐标系，确定用于描述所述多个用户终端处于统一空间的第二世界坐标系；

针对每个所述用户终端，将所述用户终端的第一位姿信息转化为在所述第二世界坐标系下的第二位姿信息；

基于各个所述用户终端在所述第二世界坐标系下的第二位姿信息，对所述多个用户终端中展示的目标增强现实AR对象进行联合控制。

2.根据权利要求1所述的控制方法，其特征在于，所述基于每个所述三维场景地图对应的第一世界坐标系，确定用于描述所述多个用户终端处于统一空间的第二世界坐标系，包括：

针对多个所述三维场景地图中的每个三维场景地图，基于所述三维场景地图以及与所述三维场景地图对应的用户终端拍摄的真实场景图像，确定目标AR对象在所述三维场景地图对应的第一世界坐标系中的位姿信息；

基于所述目标AR对象在多个所述三维场景地图对应的第一世界坐标系中的位姿信息，确定多个所述第一世界坐标系之间的转换关系；

基于所述转换关系，确定所述第二世界坐标系。

3.根据权利要求2所述的控制方法，其特征在于，所述基于所述三维场景地图以及与所述三维场景地图对应的用户终端拍摄的真实场景图像，确定目标AR对象在所述三维场景地图对应的第一世界坐标系中的位姿信息，包括：

对所述三维场景地图对应的真实场景图像进行目标物体检测，确定目标物体在所述真实场景图像中的位姿信息；

基于所述目标物体在所述真实场景图像中的位姿信息以及所述三维场景地图，确定所述目标物体在所述三维场景地图对应的第一世界坐标系中的位姿信息；

基于所述目标物体与所述目标AR对象之间预设的相对位姿关系，确定所述目标AR对象在所述三维场景地图对应的第一世界坐标系中的位姿信息。

4.根据权利要求3所述的控制方法，其特征在于，所述对所述三维场景地图对应的真实场景图像进行目标物体检测，确定目标物体在所述真实场景图像中的位姿信息，包括：

利用训练好的目标物体检测模型，从所述三维场景地图对应的真实场景图像中检测出所述目标物体的位姿信息。

5.根据权利要求1-4任一所述的控制方法，其特征在于，所述确定用于描述所述多个用户终端处于统一空间的第二世界坐标系之后，还包括：

基于所述第二世界坐标系，确定所述目标AR对象在所述第二世界坐标系中的位姿信息；

针对每个所述用户终端，基于所述用户终端拍摄的真实场景图像以及所述目标AR对象在所述第二世界坐标系中的位姿信息，确定与所述用户终端对应的AR场景图像；

将每个所述用户终端对应的AR场景图像发送至对应的用户终端。

6.根据权利要求1-5任一所述的控制方法，其特征在于，所述基于各个所述用户终端在所述第二世界坐标系下的第二位姿信息，对所述多个用户终端中展示的目标增强现实AR对象进行联合控制，包括：

判断多个所述用户终端在所述第二世界坐标系下的第二位姿信息是否满足预设联合控制条件；

若多个所述用户终端在所述第二世界坐标系下的第二位姿信息满足所述预设联合控制条件，则基于所述预设联合控制条件对应的联合控制方式对所述多个用户终端中展示的目标AR对象进行联合控制。

7.根据权利要求6所述的控制方法，其特征在于，所述第二位姿信息包括位置信息以及姿态信息；所述预设联合控制条件包括以下条件中的一种或多种：

基于多个所述用户终端在所述第二世界坐标系下的位置信息，确定多个所述用户终端之间的相对距离小于预设距离；

基于多个所述用户终端在所述第二世界坐标系下的姿态信息，确定多个所述用户终端的朝向之间的夹角小于预设夹角。

8.根据权利要求7所述的控制方法，其特征在于，所述目标AR对象为目标AR游戏对象；所述基于所述预设联合控制条件对应的联合控制方式对所述多个用户终端中展示的目标AR对象进行联合控制，包括：

在多个所述用户终端之间的相对距离小于所述预设距离的情况下，确定第一联合控制方式，基于所述第一联合控制方式对所述多个用户终端分别对应的目标AR游戏对象进行合体操作，并在每个所述用户终端展示合体操作后的合体特效数据；

和/或，

在多个所述用户终端之间的相对距离大于等于所述预设距离，且多个所述用户终端的朝向之间的夹角小于所述预设夹角的情况下，确定第二联合控制方式，基于所述第二联合控制方式响应所述多个用户终端分别对应的目标AR游戏对象的对战启动操作，在每个所述用户终端展示对战启动操作后的对战特效数据。

9.一种对象的控制装置，其特征在于，所述装置包括：

获取模块，用于获取多个用户终端分别上传的三维场景地图，以及每个所述用户终端的第一位姿信息；

确定模块，用于基于每个所述三维场景地图对应的第一世界坐标系，确定用于描述所述多个用户终端处于统一空间的第二世界坐标系；

转换模块，用于针对每个所述用户终端，将所述用户终端的第一位姿信息转化为在所述第二世界坐标系下的第二位姿信息；

控制模块，用于基于各个所述用户终端在所述第二世界坐标系下的第二位姿信息，对所述多个用户终端中展示的目标增强现实AR对象进行联合控制。

10.一种电子设备，其特征在于，包括：处理器、存储器，所述存储器存储有所述处理器可执行的机器可读指令，所述处理器用于执行所述存储器中存储的机器可读指令，所述机器可读指令被所述处理器执行时，所述处理器执行如权利要求1至8任一项所述的控制方法。

11.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被电子设备运行时，所述电子设备执行如权利要求1至8任一项所述的控制方法。

Images