CN112788443B - 基于光通信装置的交互方法和系统 - Google Patents

Abstract

一种基于光通信装置的交互方法，包括：基于第一设备采集的光通信装置的图像获得所述第一设备的位置信息和姿态信息，其中，所述第一设备具有摄像头；基于第二设备采集的光通信装置的图像获得所述第二设备的位置信息，其中，所述第二设备具有摄像头；服务器根据所述第一设备的位置信息和姿态信息以及所述第二设备的位置信息，确定所述第二设备相对于所述第一设备的位置关系；服务器根据所述第二设备相对于所述第一设备的位置关系以及预定的规则执行操作。

Description

基于光通信装置的交互方法和系统

技术领域

本发明涉及信息交互领域，尤其涉及一种基于光通信装置的交互方法和系统。

背景技术

本部分的陈述仅仅是为了提供与本发明相关的背景信息，以帮助理解本发明，这些背景信息并不一定构成现有技术。

随着科技的发展，基于位置的服务(Location Based Service)获得了越来越广泛的应用。基于位置的服务例如是导航、寻找附近商家、寻找附近的人、等等。现有的基于位置的服务通常是通过电信运营商的无线电通讯网络(如GSM网、CDMA网)或卫星定位系统(如GPS)来获取用户设备的位置信息(地理坐标)，并基于该位置信息为用户提供相应服务。然而，现有的基于位置的服务并不能获得用户设备的精确位置信息，也无法获得用户设备的姿态信息，这对用户间基于设备的交流互动造成限制。

发明内容

本发明的一个方面涉及一种基于光通信装置的交互方法，包括：获得第一设备的位置信息和姿态信息，其中，所述第一设备上具有摄像头，以及其中，通过分析包括光通信装置的图像来确定所述第一设备的位置信息和姿态信息；获得第二设备的位置信息，其中，所述第二设备上具有摄像头，以及其中，通过分析包括光通信装置的图像来确定所述第二设备的位置信息；根据所述第一设备的位置信息和姿态信息以及所述第二设备的位置信息，确定所述第二设备相对于所述第一设备的位置关系；基于所述第二设备相对于所述第一设备的位置关系以及预定的规则执行操作。

可选的，其中，所述第二设备相对于所述第一设备的位置关系包括所述第二设备在所述第一设备的摄像头的视野内的位置。

可选的，其中，所述获得第一设备的位置信息和姿态信息包括：从所述第一设备接收所述位置信息和姿态信息，其中，所述第一设备通过采集并分析包括光通信装置的图像来确定所述位置信息和姿态信息；所述获得第二设备的位置信息包括：从所述第二设备接收所述位置信息，其中，所述第二设备通过采集并分析包括光通信装置的图像来确定所述位置信息。

可选的，其中，所述获得第一设备的位置信息和姿态信息包括：服务器通过分析所述第一设备采集的包括光通信装置的图像以确定所述第一设备的位置信息和姿态信息；所述获得第二设备的位置信息包括：服务器通过分析所述第二设备采集的包括光通信装置的图像以确定所述第二设备的位置信息。

可选的，其中，与所述第一设备的位置信息和姿态信息相关联的光通信装置和与所述第二设备的位置信息相关联的光通信装置是相同的光通信装置，或者不同的光通信装置，所述不同的光通信装置具有确定的相对位置关系。

可选的，其中，所述第一设备的位置信息和姿态信息是所述第一设备相对于光通信装置的位置信息和姿态信息、在场景坐标系中的位置信息和姿态信息、或者在世界坐标系中的位置信息和姿态信息；所述第二设备的位置信息是所述第二设备相对于光通信装置的位置信息、在场景坐标系中的位置信息、或者在世界坐标系中的位置信息。

可选的，其中，所述第一设备在场景坐标系中的位置信息和姿态信息是基于所述第一设备相对于所述光通信装置的位置信息和姿态信息以及所述光通信装置本身在场景坐标系中的位置信息和姿态信息所获得的，所述第一设备在世界坐标系中的位置信息和姿态信息是基于所述第一设备相对于所述光通信装置的位置信息和姿态信息以及所述光通信装置本身在世界坐标系中的位置信息和姿态信息所获得的；所述第二设备在场景坐标系中的位置信息是基于所述第二设备相对于所述光通信装置的位置信息以及所述光通信装置本身在场景坐标系中的位置信息所获得的，所述第二设备在世界坐标系中的位置信息是基于所述第二设备相对于所述光通信装置的位置信息以及所述光通信装置本身在世界坐标系中的位置信息所获得的。

可选的，其中，所述预定的规则包括：当所述第二设备位于所述第一设备的摄像头视野的预定区域时执行操作。

可选的，其中，所述基于所述第二设备相对于所述第一设备的位置关系以及预定的规则执行操作包括：基于所述第二设备相对于所述第一设备的位置关系、所述第一设备或第二设备的输入、以及预定的规则执行操作。

可选的，其中，所述基于所述第二设备相对于所述第一设备的位置关系以及预定的规则执行操作包括：基于所述第二设备相对于所述第一设备的位置关系、所述第一设备或第二设备的属性信息、以及预定的规则执行操作。

可选的，其中，所述操作包括获取、发送、显示、修改、增加或删除与所述第一设备或者所述第二设备相关联的属性信息。

可选的，还包括：获得所述第一设备的更新的位置信息和姿态信息；和/或获得所述第二设备的更新的位置信息。

可选的，还包括：获得第二设备的姿态信息，其中，通过分析包括光通信装置的图像来确定所述第二设备的姿态信息；根据所述第一设备的位置信息以及所述第二设备的位置信息和姿态信息，确定所述第一设备相对于所述第二设备的位置关系；基于所述第一设备相对于所述第二设备的位置关系以及预定的规则执行操作。

可选的，还包括：设置与所述第二设备相关联的具有空间位置信息的虚拟对象，所述虚拟对象的空间位置信息基于所述第二设备的位置信息确定；将与所述虚拟对象有关的信息发送给所述第一设备，使其能够被所述第一设备使用以基于其通过光通信装置确定的位置信息和姿态信息在其显示媒介上呈现所述虚拟对象；以及其中，所述执行操作包括对所述虚拟对象执行操作。

可选的，其中，所述虚拟对象还具有姿态信息。

可选的，还包括：设置与所述第一设备相关联的具有空间位置信息的另一虚拟对象，所述另一虚拟对象的空间位置信息基于所述第一设备的位置信息确定；将与所述另一虚拟对象有关的信息发送给所述第二设备，使其能够被所述第二设备使用以基于其通过光通信装置确定的位置信息和姿态信息在其显示媒介上呈现所述另一虚拟对象。

本发明的另一个方面涉及一种基于设备位置信息和姿态信息的交互系统，包括：一个或多个光通信装置；至少两个设备，所述设备上具有摄像头，所述摄像头能够采集包括所述光通信装置的图像；以及能够与所述设备通信的服务器，其配置用于实现任一上述的方法。

本发明的再一个方面涉及一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述的方法。

本发明的再一个方面涉及一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述的方法。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1示出了一种示例性的光标签；

图2示出了一种示例性的光标签网络；

图3示出了根据一个实施例的交互方法；

图4示出了根据一个实施例的交互方法。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

光通信装置也称为光标签，这两个术语在本文中可以互换使用。光标签能够通过不同的发光方式来传递信息，其具有识别距离远、可见光条件要求宽松的优势，并且光标签所传递的信息可以随时间变化，从而可以提供大的信息容量和灵活的配置能力。

光标签中通常可以包括控制器和至少一个光源，该控制器可以通过不同的驱动模式来驱动光源，以向外传递不同的信息。图1示出了一种示例性的光标签100，其包括三个光源(分别是第一光源101、第二光源102、第三光源103)。光标签100还包括控制器(在图1中未示出)，其用于根据要传递的信息为每个光源选择相应的驱动模式。例如，在不同的驱动模式下，控制器可以使用不同的驱动信号来控制光源的发光方式，从而使得当使用具有成像功能的设备拍摄光标签100时，其中的光源的图像可以呈现出不同的外观(例如，不同的颜色、图案、亮度、等等)。通过分析光标签100中的光源的成像，可以解析出各个光源此刻的驱动模式，从而解析出光标签100此刻传递的信息。可以理解，图1仅仅用作示例，光标签可以具有与图1所示的示例不同的形状，并且可以具有与图1所示的示例不同数量和/或不同形状的光源。

为了基于光标签向用户提供相应的服务，每个光标签可以被分配一个标识信息(ID)。通常，可由光标签中的控制器驱动光源以向外传递该标识信息，图像采集设备可以对光标签进行图像采集来获得包含光标签的一幅或多幅图像，并通过分析图像中的光标签(或光标签中的各个光源)的成像以识别出光标签传递的标识信息，之后，可以获取与标识信息相关联的其他信息，例如，与该标识信息对应的光标签的位置信息。

可以将与每个光标签相关的信息存储于服务器中。在现实中，还可以将大量的光标签构建成一个光标签网络。图2示出了一种示例性的光标签网络，该光标签网络包括多个光标签和至少一个服务器。可以在服务器上保存每个光标签的标识信息(ID)或其他信息，例如与该光标签相关的服务信息、与该光标签相关的描述信息或属性信息，如光标签的位置信息、型号信息、物理尺寸信息、物理形状信息、姿态或朝向信息等。光标签也可以具有统一的或默认的物理尺寸信息和物理形状信息等。设备可以使用识别出的光标签的标识信息来从服务器查询获得与该光标签有关的其他信息。光标签的位置信息可以是指该光标签在物理世界中的实际位置，其可以通过地理坐标信息来指示。服务器可以是在计算装置上运行的软件程序、一台计算装置或者由多台计算装置构成的集群。光标签可以是离线的，也即，光标签不需要与服务器进行通信。当然，可以理解，能够与服务器进行通信的在线光标签也是可行的。

本文提到的设备例如可以是用户随身携带或控制的设备(例如，带有摄像头的手机、平板电脑、智能眼镜、AR眼镜、智能头盔、智能手表等等)，也可以是能够自主移动的机器(例如，带有摄像头的无人机、无人驾驶汽车、机器人等等)。设备可以通过其上的摄像头对光标签进行图像采集来获得包含光标签的图像。设备可以具有显示媒介或与显示媒介相关联。

以大型会议为例进行说明，携带有设备(例如带有摄像头的手机)的参会人员可以扫描并识别布置在其周围的光标签，并通过所识别的光标签标识信息来访问相应的服务。在用户使用其设备扫描光标签时，可以拍摄光标签的图像并基于该图像通过相对定位来确定用户设备相对于光标签的位置信息和姿态信息，并将该位置信息和姿态信息发送到服务器。服务器通过上述方法获得参会人员设备的位置信息和姿态信息(简称位姿信息)后，可以根据设备的位置信息和姿态信息确定设备的摄像头的视野范围。若预定的规则规定：当第二设备位于第一设备的摄像头视野的预定范围内时，服务器将第二设备的有关信息发送给第一设备，则当参会人员乙(即设备乙)的位置处于参会人员甲(即设备甲)的摄像头视野的预定范围内时，服务器可以根据预定的规则，将参会人员乙的有关信息(例如可以是姓名、职业、工作单位等)发送给参会人员甲。

再以虚拟射击游戏为例进行说明，携带有设备(例如可以是带有摄像头的仿真射击器械)的游戏玩家可以拍摄光标签的图像，并通过分析该图像来确定该游戏玩家设备相对于光标签的位置信息和姿态信息。该位置信息和姿态信息可以被发送给服务器。服务器可以基于该游戏玩家设备的位置信息和姿态信息确定其摄像头的视野范围。若预定的规则规定：当第二设备位于第一设备的摄像头视野的预定范围(例如，摄像头视野的中心)内时，表明第一设备当前瞄准了第二设备，则当游戏玩家乙(即设备乙)的位置处于游戏玩家甲(即设备甲)的摄像头视野的预定范围内时，服务器根据预定的规则可以判断游戏玩家甲当前瞄准了游戏玩家乙，此时如果游戏玩家甲执行射击操作，服务器可以记录游戏玩家甲命中游戏玩家乙，并可以相应地改变与游戏玩家乙有关的属性信息(例如可以是生命力值等)。

图3示出了根据一个实施例的基于光通信装置的交互方法，该方法包括以下步骤：

步骤310：服务器获得第一设备的位置信息和姿态信息，其中，第一设备上具有摄像头，以及其中，通过分析包括光通信装置的图像来确定第一设备的位置信息和姿态信息。

第一设备可以通过扫描光标签来识别光标签传递的信息，并基于该信息访问服务器，向服务器传送信息。

服务器可以采用各种方式来获得第一设备的位姿信息。在一个实施例中，服务器可以从来自第一设备的信息中提取该设备的位姿信息，此时，来自第一设备的信息中可以包含该第一设备的位姿信息。在一个实施例中，设备可以通过采集包括光标签的图像并分析该图像来确定其相对于光标签的位姿信息。例如，设备可以通过图像中的光标签成像大小以及可选的其他信息(例如，光标签的实际物理尺寸信息、设备的摄像头的焦距)来确定光标签与设备的相对距离(成像越大，距离越近；成像越小，距离越远)。设备可以使用光标签的标识信息从服务器获得光标签的实际物理尺寸信息，或者光标签可以具有统一的物理尺寸并在设备上存储该物理尺寸。设备可以使用光标签的标识信息从服务器获得光标签的物理形状信息，或者光标签可以具有统一的物理形状并在设备上存储该物理形状。在一个实施例中，设备也可以通过其上安装的深度摄像头或双目摄像头等来直接获得光标签与设备的相对距离。设备也可以采用现有的任何其他定位方法来确定其相对于光标签的位置信息。设备也可以确定其姿态信息，该姿态信息可以用于确定设备拍摄的现实场景的范围或边界。通常情况下，设备的姿态信息实际上是设备的图像采集器件(例如摄像头)的姿态信息。在一个实施例中，设备可以扫描光标签，并且可以根据光标签的成像来确定其相对于光标签的姿态信息，当光标签的成像位置或成像区域位于设备成像视野的中心时，可以认为设备当前正对着光标签。在确定设备的姿态时可以进一步考虑光标签的成像的方向。随着设备的姿态发生改变，光标签在设备上的成像位置和/或成像方向会发生相应的改变，因此，可以根据光标签在设备上的成像来获得设备相对于光标签的姿态信息。在一个实施例中，设备也可以根据光标签建立一个坐标系，该坐标系可以被称为光标签坐标系。可以将光标签上的一些点确定为在光标签坐标系中的一些空间点，并且可以根据光标签的物理尺寸信息和/或物理形状信息来确定这些空间点在光标签坐标系中的坐标。光标签上的一些点例如可以是光标签的外壳的角、光标签中的光源的端部、光标签中的一些标识点、等等。根据光标签的物体结构特征或几何结构特征，可以在设备相机拍摄的图像中找到与这些空间点分别对应的像点，并确定各个像点在图像中的位置。根据各个空间点在光标签坐标系中的坐标以及对应的各个像点在图像中的位置，结合设备相机的内参信息，可以计算得到拍摄该图像时设备相机在光标签坐标系中的位姿信息(R，t)，其中R为旋转矩阵，其可以用于表示设备相机在光标签坐标系中的姿态信息，t为位移向量，其可以用于表示设备相机在光标签坐标系中的位置信息。计算R、t的方法在现有技术中是已知的，例如，可以利用3D-2D的PnP(Perspective-n-Point)方法来计算R、t，为了不模糊本发明，在此不再详细介绍。旋转矩阵R和位移向量t实际上可以描述如何将某个点的坐标在光标签坐标系和设备相机坐标系之间转换。例如，通过旋转矩阵R和位移向量t，可以将某个点在光标签坐标系中的坐标转换为在设备相机坐标系中的坐标，并可以进一步转换为图像中的像点的位置。

在一个实施例中，服务器也可以通过分析来自第一设备的信息来获得该设备的位姿信息。来自第一设备的信息中可以包含有光标签的图像信息。服务器通过分析该图像以确定第一设备相对于光标签的位姿信息。具体方法同上述设备通过分析光标签图像获得其相对于光标签的位姿信息类似，在此不再赘述。

步骤320：服务器获得第二设备的位置信息，其中，第二设备上具有摄像头，以及其中，通过分析包括光通信装置的图像来确定第二设备的位置信息。

服务器可以采用各种方式来获得第二设备相对于光标签的位置信息，具体方式与上文在步骤310中描述的各种方式类似，在此不再赘述。

在一个实施例中，服务器还可以获得第二设备的姿态信息，方法同上文类似。

服务器从设备接收的位姿信息或者服务器通过分析获得的设备的位姿信息可以是设备相对于光标签的位姿信息，也可以是设备在场景坐标系下的位姿信息或在世界坐标系下的位姿信息。设备或者服务器可以根据不同坐标系之间的变换矩阵来实现目标位姿在不同坐标系之间的转换。在一个实施例中，设备或者服务器可以根据设备相对于光标签的位姿信息以及光标签本身在场景坐标系中的位姿信息，来确定设备在场景坐标系中的位姿信息，设备或者服务器也可以根据设备相对于光标签的位姿信息以及光标签本身在世界坐标系中的位姿信息，来确定设备在世界坐标系中的位姿信息。在一个实施例中，设备可以向服务器发送其相对于光标签的位姿信息，之后，服务器可以根据设备相对于光标签的位姿信息以及光标签本身在场景坐标系或世界坐标系中的位姿信息，来确定设备在场景坐标系或世界坐标系中的位姿信息。光标签本身在场景坐标系或世界坐标系中的位姿信息可以存储于服务器，并且可以由设备使用光标签的标识信息从服务器获得。

设备的位姿信息可以是设备在扫描光标签时的位姿信息，也可以是设备在扫描光标签之后使用内置的加速度传感器、陀螺仪、摄像头等通过本领域已知的方法(例如，惯性导航、视觉里程计、SLAM、VSLAM、SFM等)测量或跟踪获得的新的位姿信息。服务器可以持续获得设备的新的位姿信息并更新设备的位姿信息。

在许多场景下，可能存在不止一个光标签，而是存在如图2所示的光标签网络，其中，服务器可以知悉各个光标签的位姿信息或者它们之间的相对位姿关系。在这些场景下，第一设备和第二设备扫描的光标签可能不是同一个光标签，第一设备也可能在不同的时间扫描多个不同的光标签来提供或更新其位置信息(在提供或更新位置信息可以发送相关的光标签的标识信息)，第二设备也可能在不同的时间扫描多个不同的光标签来确定其位置信息和姿态信息。

步骤330：服务器根据第一设备的位置信息和姿态信息以及第二设备的位置信息，确定第二设备相对于第一设备的位置关系。

在一个实施例中，服务器可以基于第一设备的位置信息和姿态信息确定一个以第一设备为坐标原点的坐标系，并将第二设备的位置信息转换为该坐标系下的位置信息，如此，可以确定第二设备相对于第一设备(也即坐标原点)的位置关系。在一个实施例中，服务器可以根据第一设备的位姿信息确定第一设备的摄像头的视野范围，并根据第一设备的摄像头的视野范围以及第二设备的位置信息确定第二设备位于第一设备摄像头视野范围内还是视野范围外，并且可以确定第二设备在第一设备摄像头视野范围内的具体位置。

步骤340：服务器基于第二设备相对述第一设备的位置关系以及预定的规则执行操作。

服务器执行的操作可以包括选中设备、获取设备的有关信息、向设备发送有关的信息、增加或修改与设备有关的信息、或者删除设备的某些信息等。与设备有关的信息可以预先存储在服务器中，也可以由设备实时发送给服务器。

在一个实施例中，与设备有关的信息可以包括设备的属性信息。设备的属性信息可以是使用设备的用户的信息，也可以是用户自定义的信息或系统设置的信息，或者是其他任何信息。例如，在会议场景中，设备甲的属性信息可以是参会人员甲的个人信息(例如可以包括参会人员甲的姓名、职业、工作单位等)，也可以是参会人员甲自定义的信息(例如可以是甲主动提供的联系方式，如手机号码，邮箱等)，或是系统根据参会人员甲的身份设置的属性信息(例如“演讲者”)。在一个实施例中，设备的属性信息还可以包括设备属性的具体数据值。例如，在射击游戏场景中，设备甲的属性信息可以包括游戏玩家甲的游戏角色的身份、等级、技能、生命力值等。

服务器基于设备之间的相对位置关系以及预定的规则判断是否应当执行相应的操作以实现用户之间的交互。预定的规则可以是任何规则，其可以由用户自行设定，也可以由服务器预先设定。例如，预定的规则可以规定：当第二设备位于第一设备摄像头视野范围内，就执行相应的操作。此时，例如在会议场景中，当参会人员乙(即设备乙)出现在参会人员甲的设备摄像头视野范围内，服务器就向甲发送乙的身份、职业、工作单位等有关信息。预定的规则也可以规定：当第二设备位于第一设备的摄像头视野的中心区域时，服务器执行相应的操作。此时，只有当参会人员乙(即设备乙)位于参会人员甲的设备摄像头视野的中心区域时，服务器才向乙发送甲的身份、职业、工作单位等有关信息。

在一个实施例中，服务器可以基于设备间的相对位置关系、设备的输入、以及预定的规则执行相应的操作。例如，预定的规则可以规定：若第二设备位于第一设备的摄像头视野的非中心区域时，当第一设备选中显示媒介中第二设备的成像时，服务器执行相应的操作，则在会议场景中，当参会人员乙(即设备乙)出现在参会人员甲的设备摄像头视野范围内，但位于非中心区域时，当参会人员甲点击了乙在其设备中的成像时，服务器向甲发送乙的身份、职业、工作单位等有关信息。在一个实施例中，可以在第一设备的显示媒介上呈现相应的效果以提示第一设备的用户选中或命中了第二设备。例如，可以在显示媒介的第二设备成像上呈现选中或命中的图标。在一个实施例中，为了帮助用户选中或瞄准，也可以在第一设备的显示媒介上呈现相应的辅助图标，例如指示框或瞄准器图标等。

在一个实施例中，服务器可以根据设备间的相对位置关系、设备的属性信息、以及预定的规则执行相应的操作。例如，预定的规则可以规定：当第二设备位于第一设备的摄像头视野范围内时，且当第一用户和/或第二用户为特定身份时，服务器才执行相应的操作。

在一些场景下，服务器可以持续获得设备不断更新的位姿信息，并根据设备更新的位姿信息确定是否执行相应的操作。在一个实施例中，当第一设备扫描光标签时，第二设备所在的位置可能并不位于第一设备的视野(例如第一设备的摄像头的视野)中，在这种情况下，可以尝试平移和/或旋转第一设备，并通过第一设备内置的传感器(例如加速度传感器、陀螺仪、视觉里程计等)跟踪第一设备的位姿变化，从而确定第一设备的新的视野。当第二设备所在的位置进入第一设备的视野时，可以执行相应的操作。使用设备内置传感器跟踪设备位姿变化的技术是定位与导航技术领域的公知技术，在此不再赘述。

在一个实施例中，可以基于第二设备采集的光标签的图像获得第二设备的位置信息和姿态信息，服务器可以根据第二设备的位置信息和姿态信息以及第一设备的位置信息确定第一设备相对于第二设备的位置关系，并基于第一设备相对于第二设备的位置关系以及预定的规则执行相应的操作。具体方式与上文步骤310-340中描述的各种方式类似，在此不再赘述。

在一个实施例中，服务器也可以设置与设备相关联的虚拟对象，并可以将光标签作为锚点，来实现虚拟对象到现实场景的叠加，例如使用该虚拟对象来准确地标识现实场景中的用户或设备所在的位置。虚拟对象例如可以是图标、图片、文字、数字、表情符号、虚拟的三维物体、三维场景模型、一段动画、一段视频、等等。用户或设备可以通过对其他用户的虚拟对象进行操作以实现互动交流。

还以上述多人射击游戏为例进行说明，携带有设备(例如可以是带有摄像头的仿真射击器械、AR眼镜等)的游戏玩家甲可以使用其设备扫描并识别布置在其周围的某个光标签以确定该设备的位姿信息。服务器获得甲的设备的位姿信息后可以根据甲的设备的位置信息为甲设置一个具有空间位置信息的虚拟对象。该虚拟对象例如可以是用于表示甲在游戏中选择的角色的相关信息的图标或数值，例如，具有经验值数据或生命力数据的警察图标、具有经验值数据或生命力数据的匪徒图标。根据该虚拟对象的空间位置信息以及其他玩家的设备的位姿信息，可以将该虚拟对象准确地呈现在其他玩家的设备的显示媒介上。游戏开始后，服务器根据预定的规则可以判断游戏玩家甲当前瞄准了游戏玩家乙，此时如果游戏玩家甲执行射击操作，服务器可以记录游戏玩家甲命中游戏玩家乙，并可以相应地改变与游戏玩家乙有关的属性信息(例如可以是生命力值等)以及与游戏玩家甲有关的属性信息(例如可以是经验值等)。游戏玩家甲或乙的属性信息的改变可以通过虚拟对象表现出来，例如，使得虚拟对象呈现的经验值数据增加或者使得虚拟对象呈现的生命力数据减少。如此，可以将各个玩家及代表其角色的虚拟对象准确对应，从而提升玩家沉浸式感官体验。优选地，游戏玩家在游戏过程中可以使用AR眼镜而不是手机，以体验更真实的游戏环境。

图4示出了根据一个实施例的基于光通信装置的交互方法，其中步骤410和420与上述步骤310和320类似，此外，该方法还包括如下步骤：

步骤430：服务器为第二设备设置具有空间位置信息的虚拟对象，该虚拟对象的空间位置信息基于第二设备的位置信息确定。

在一些场景下，例如在接收到来自第二设备的信息(例如请求加入游戏的信息)后，服务器可以设置与第二设备相关联的虚拟对象。该虚拟对象例如可以是第二设备在游戏中选择的角色所对应的名称、性别、人物形象的虚拟图标等等。在一个实施例中，服务器还可以根据与第二设备有关的信息设置虚拟对象，例如可以根据设备的属性信息、使用该设备的用户的信息、用户使用设备所执行的某个操作有关的信息(例如加入游戏的时间)、用户自定义的信息、或系统设置的信息设置虚拟对象。

虚拟对象的空间位置信息可以根据第二设备的位置信息来确定，该空间位置信息可以是相对于光标签的位置信息，也可以是在场景坐标系中或世界坐标系中的位置信息。服务器可以将虚拟对象的空间位置简单地确定为第二设备的位置，也可以将虚拟对象的空间位置确定为其他位置，例如，位于第二设备的位置附近的其他位置。

在一个实施例中，服务器还可以根据第二设备的姿态信息设置与虚拟对象的姿态信息。虚拟对象的姿态信息可以是第二设备相对于光标签的姿态信息，也可以是其在场景坐标系或世界坐标系中的姿态信息。以上述射击游戏为例，可以根据游戏玩家在游戏场景下的位姿信息设置与游戏玩家相关联的虚拟对象的位姿信息。例如，当玩家甲背对玩家乙时，甲的虚拟对象(例如游戏角色的人物形象)也是背对着玩家乙。

在虚拟对象具有姿态信息的情况下，与第二设备关联的虚拟对象的姿态信息可以根据第一设备的姿态信息确定，即与第二设备相关联的虚拟对象的姿态可以随着第一设备的姿态而调整。在一个实施例中，可以根据第一设备相对于第二设备的姿态信息确定虚拟对象的姿态，使得虚拟对象的某个方位(例如虚拟对象的正面方向)始终朝向第一设备。还以上述射击游戏为例，乙的虚拟对象(例如角色名称)的正面始终朝向甲的设备。在一个实施例中，可以基于设备和虚拟对象的位置在空间中确定一个从虚拟对象到设备的方向，并基于该方向来确定虚拟对象的姿态。通过上述方法，同一个虚拟对象对于处于不同位置的设备实际上可以具有各自的姿态。

步骤440：服务器将与虚拟对象有关的信息发送给第一设备，使其能够被第一设备使用以基于其通过光通信装置确定的位置信息和姿态信息在其显示媒介上呈现该虚拟对象。

服务器可以通过多种方式向第一设备发送虚拟对象的相关信息。在一个实施例中，服务器可以例如通过无线链路直接将与虚拟对象有关的信息发送给第一设备。在一个实施例中，光标签识别设备可以通过扫描场景中布置的光标签来识别光标签传递的信息(例如标识信息)，并使用该信息访问服务器(例如，通过无线信号进行访问)以从服务器获得虚拟对象的相关信息。在一个实施例中，服务器可以使用光标签以光通信方式将虚拟对象的相关信息发送到光标签识别设备。虚拟对象的相关信息能够被光标签识别设备使用以基于其位置信息和/或姿态信息在其显示媒介上呈现所述虚拟对象。

步骤450：服务器根据第一设备的位姿信息和第二设备的位置信息确定第二设备相对于第一设备的位置关系。

步骤460：服务器根据第二设备相对于第一设备的位置关系以及预定的规则对所述虚拟对象执行操作。

如前所述，服务器可以基于所述第二设备相对于所述第一设备的位置关系以及预定的规则执行操作，服务器执行的操作可以通过虚拟对象呈现在显示媒介上。例如，服务器执行选中设备、获取设备的有关信息、向设备发送有关的信息、增加或修改与设备有关的信息、或者删除设备的某些信息等操作，可以通过选中与该设备相关联的虚拟对象、增加或修改与该虚拟对象的相关信息、或者删除该虚拟对象的某些信息等方式呈现在显示媒介上。

在一些场景中，也可以设置与第一设备相关联的另一虚拟对象，该另一虚拟对象的空间位置信息可以基于第一设备的位置信息确定。可以将该另一虚拟对象发送给第二设备并可以基于第二设备相对于光标签的位置信息和姿态信息在其显示媒介上呈现该虚拟对象。如此，用户之间可以基于相互的虚拟对象进行交互。

在一些情况下，在叠加了虚拟对象之后，与设备有关的信息发生了改变，服务器可以基于来自设备的新的信息持续更新与设备相关联的虚拟对象。在一个实施例中，在服务器设置了与设备关联的虚拟对象后，设备的位置信息和/或姿态信息发生了改变。为了使服务器能够及时知悉该设备的最新位置和姿态，可以通过再次扫描光标签或其他方式将设备的新的位置信息发送给服务器。设备可以通过上文提到的各种方式(例如，通过采集包括光标签的图像并分析该图像)来确定其相对于光标签的最新位姿信息，也可以通过设备内置的传感器(例如加速度传感器、陀螺仪、摄像头等)来跟踪该设备的位置变化。可以定期地将该设备的新的位姿信息发送给服务器，也可以在设备的新位姿与上次发送给服务器的位姿之间的差大于某个预设阈值时启动新位姿信息的发送。如此，服务器可以及时知悉该设备的新的位姿信息，并可以相应地更新虚拟对象的空间位姿信息。例如，在射击游戏中，当玩家甲和玩家乙之间的距离逐渐变大时，呈现在乙设备的显示媒介上的甲的虚拟对象和呈现在甲设备的显示媒介上的乙的虚拟对象相应地变小，当玩家甲和玩家乙由面对面转向背对背时，呈现在甲设备是显示媒介上的乙的虚拟对象和呈现在乙设备的显示媒介上的甲的虚拟对象也随着各自设备的姿态信息变化而做相应的调整。在一个实施例中，在服务器为设备设置虚拟对象后，与设备有关的属性信息发生改变，此时，服务器可以根据新的设备的属性信息持续更新与该设备相关联的虚拟对象。例如，射击游戏中玩家甲被多次命中，则玩家甲的虚拟对象的生命力值可以显示逐渐减少。

在一个实施例中，设备或其用户可以改变虚拟对象的有关信息。例如，设备或其用户可以设置新的虚拟对象、移动虚拟对象的位置、改变虚拟对象的姿态、改变虚拟对象的大小或颜色、在虚拟对象上添加标注、或者删除其虚拟对象等等。服务器可以基于修改后内容来更新该虚拟对象并发送给相关设备。

在一个实施例中，用户可以通过编辑与其他用户相关联的虚拟对象来进行相互交流。例如，用户可以把编辑后的虚拟对象的有关信息上传到服务器，由服务器发送给与该虚拟对象相关联的设备，或者显示在与自己相关联的虚拟对象或其他虚拟对象上并被其他用户可见。在一个实施例中，设备或其用户可以对叠加的虚拟对象执行删除操作，并通知服务器。在一个实施例中，用户可以进行隐私设置，限制其编辑操作的可见范围。

在本发明的一个实施例中，可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如，硬盘、光盘、闪存等)中，当该计算机程序被处理器执行时，能够用于实现本发明的方法。

在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。

本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是不符合逻辑的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的，也即，“根据A”可以涵盖“仅仅根据A”，也可以涵盖“根据A和B”，除非特别声明或者根据上下文明确可知其含义为“仅仅根据A”。在本申请中为了清楚说明，以一定的顺序描述了一些示意性的操作步骤，但本领域技术人员可以理解，这些操作步骤中的每一个并非是必不可少的，其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行，相反，这些操作步骤中的一些可以根据实际需要以不同的顺序执行，或者并行执行，只要新的执行方式不是不符合逻辑的或不能工作。

由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (17)

1.一种基于光通信装置的交互方法，包括：

获得第一设备的位置信息和姿态信息，其中，所述第一设备上具有摄像头，以及其中，通过第一设备的摄像头采集并分析包括光通信装置的图像来确定所述第一设备的位置信息和姿态信息；

获得第二设备的位置信息，其中，所述第二设备上具有摄像头，以及其中，通过第二设备的摄像头采集并分析包括光通信装置的图像来确定所述第二设备的位置信息；

根据所述第一设备的位置信息和姿态信息确定所述第一设备的摄像头的视野范围，以及根据所述第一设备的摄像头的视野范围与所述第二设备的位置信息，确定所述第二设备相对于所述第一设备的位置关系；

基于所述第二设备相对于所述第一设备的位置关系以及预定的规则执行操作;

其中，所述第二设备相对于所述第一设备的位置关系包括所述第二设备在所述第一设备的摄像头的视野内的位置;

所述预定的规则包括：

当所述第二设备位于所述第一设备的摄像头视野的预定区域时执行操作。

2.根据权利要求1所述的方法，其中，

所述获得第一设备的位置信息和姿态信息包括：从所述第一设备接收所述位置信息和姿态信息，其中，所述第一设备通过采集并分析包括光通信装置的图像来确定所述位置信息和姿态信息；

所述获得第二设备的位置信息包括：从所述第二设备接收所述位置信息，其中，所述第二设备通过采集并分析包括光通信装置的图像来确定所述位置信息。

3.根据权利要求1所述的方法，其中，

所述获得第一设备的位置信息和姿态信息包括：服务器通过分析所述第一设备采集的包括光通信装置的图像以确定所述第一设备的位置信息和姿态信息；

所述获得第二设备的位置信息包括：服务器通过分析所述第二设备采集的包括光通信装置的图像以确定所述第二设备的位置信息。

4.根据权利要求1所述的方法，其中，与所述第一设备的位置信息和姿态信息相关联的光通信装置和与所述第二设备的位置信息相关联的光通信装置是相同的光通信装置，或者不同的光通信装置，所述不同的光通信装置具有确定的相对位置关系。

5.根据权利要求1所述的方法，其中，

所述第一设备的位置信息和姿态信息是所述第一设备相对于光通信装置的位置信息和姿态信息、在场景坐标系中的位置信息和姿态信息、或者在世界坐标系中的位置信息和姿态信息；

所述第二设备的位置信息是所述第二设备相对于光通信装置的位置信息、在场景坐标系中的位置信息、或者在世界坐标系中的位置信息。

6.根据权利要求5所述的方法，其中，

所述第一设备在场景坐标系中的位置信息和姿态信息是基于所述第一设备相对于所述光通信装置的位置信息和姿态信息以及所述光通信装置本身在场景坐标系中的位置信息和姿态信息所获得的，所述第一设备在世界坐标系中的位置信息和姿态信息是基于所述第一设备相对于所述光通信装置的位置信息和姿态信息以及所述光通信装置本身在世界坐标系中的位置信息和姿态信息所获得的；

所述第二设备在场景坐标系中的位置信息是基于所述第二设备相对于所述光通信装置的位置信息以及所述光通信装置本身在场景坐标系中的位置信息所获得的，所述第二设备在世界坐标系中的位置信息是基于所述第二设备相对于所述光通信装置的位置信息以及所述光通信装置本身在世界坐标系中的位置信息所获得的。

7.根据权利要求1所述的方法，其中，所述基于所述第二设备相对于所述第一设备的位置关系以及预定的规则执行操作包括：

基于所述第二设备相对于所述第一设备的位置关系、所述第一设备或第二设备的输入、以及预定的规则执行操作。

8.根据权利要求1所述的方法，其中，所述基于所述第二设备相对于所述第一设备的位置关系以及预定的规则执行操作包括：

基于所述第二设备相对于所述第一设备的位置关系、所述第一设备或第二设备的属性信息、以及预定的规则执行操作。

9.根据权利要求1所述的方法，其中，所述操作包括获取、发送、显示、修改、增加或删除与所述第一设备或者所述第二设备相关联的属性信息。

10.根据权利要求1所述的方法，还包括：

获得所述第一设备的更新的位置信息和姿态信息；和/或

获得所述第二设备的更新的位置信息。

11.根据权利要求1所述的方法，还包括：

获得第二设备的姿态信息，其中，通过分析包括光通信装置的图像来确定所述第二设备的姿态信息；

根据所述第一设备的位置信息以及所述第二设备的位置信息和姿态信息，确定所述第一设备相对于所述第二设备的位置关系；

基于所述第一设备相对于所述第二设备的位置关系以及预定的规则执行操作。

12.根据权利要求1-11中任一项所述的方法，还包括：

设置与所述第二设备相关联的具有空间位置信息的虚拟对象，所述虚拟对象的空间位置信息基于所述第二设备的位置信息确定；

将与所述虚拟对象有关的信息发送给所述第一设备，使其能够被所述第一设备使用以基于其通过光通信装置确定的位置信息和姿态信息在其显示媒介上呈现所述虚拟对象；

以及其中，所述执行操作包括对所述虚拟对象执行操作。

13.根据权利要求12所述的方法，其中，所述虚拟对象还具有姿态信息。

14.根据权利要求12所述的方法，还包括：

设置与所述第一设备相关联的具有空间位置信息的另一虚拟对象，所述另一虚拟对象的空间位置信息基于所述第一设备的位置信息确定；

将与所述另一虚拟对象有关的信息发送给所述第二设备，使其能够被所述第二设备使用以基于其通过光通信装置确定的位置信息和姿态信息在其显示媒介上呈现所述另一虚拟对象。

15.一种基于设备位置信息和姿态信息的交互系统，包括：

一个或多个光通信装置；

至少两个设备，所述设备上具有摄像头，所述摄像头能够采集包括所述光通信装置的图像；以及

能够与所述设备通信的服务器，其配置用于实现权利要求1-14中任一项所述的方法。

16.一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-14中任一项所述的方法。

17.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-14中任一项所述的方法。

Images