CN112055033B - 基于光通信装置的交互方法和系统 - Google Patents

Abstract

一种基于光通信装置的交互方法和系统，所述方法包括：服务器接收来自第一设备的与所述第一设备的位置有关的信息；所述服务器通过与所述第一设备的位置有关的信息获得所述第一设备相对于光通信装置的位置信息；所述服务器设置与所述第一设备相关联的具有空间位置信息的虚拟对象；所述服务器将与所述虚拟对象有关的信息发送给第二设备，该信息中包括所述虚拟对象的空间位置信息，其中，与所述虚拟对象有关的信息能够被所述第二设备使用以基于其相对于光通信装置的位置信息和姿态信息在其显示媒介上呈现所述虚拟对象。

Description

基于光通信装置的交互方法和系统

技术领域

本发明属于信息交互领域，尤其涉及一种基于光通信装置的交互方法和系统。

背景技术

本部分的陈述仅仅是为了提供与本发明相关的背景信息，以帮助理解本发明，这些背景信息并不一定构成现有技术。

随着互联网的广泛普及，各个行业都在尝试利用互联网平台来发展新的服务提供方式，“互联网+”成为了研究热点。一种广泛应用的服务方式是基于位置的服务，在许多应用场景中，用户或服务提供者中的一方必须知道对方的准确位置才能进行便捷的服务交互。然而，现有技术并不能很好地解决该问题。

以即时快递服务为例，用户在户外的某个位置通过网络从某个餐厅订餐之后，可以等待送餐员将食物送到该位置。但是，用户提供的位置通常是不太精确的位置(例如，某个路口、某个街道、某个公园等)，即使是精确位置，也可能由于附近人员较多，导致送餐员很难确定周围哪个人才是订餐的用户，从而不得不与用户进行反复的电话沟通。

另一个基于位置的服务的示例是餐厅就餐。在用户点完餐之后，相应的桌号和点餐信息会由餐厅记录。在菜品准备好之后，负责送餐的店员会将菜品送到相应桌号的餐桌。为此，店员需要牢记每个桌号的位置，以便能够准确、快捷地向餐桌送餐。但是，这种仅仅依靠店员记忆的方式在许多情况下容易发生差错(特别是餐厅规模较大的情况下)，导致出现菜品的误送，或者需要店员在送达菜品时与用户进行确认。

为了解决上述问题，本申请提出了一种基于光通信装置的交互方法和系统。

发明内容

本发明的一个方面涉及一种基于光通信装置的交互方法，包括：服务器接收来自第一设备的与所述第一设备的位置有关的信息；所述服务器通过与所述第一设备的位置有关的信息获得所述第一设备相对于光通信装置的位置信息；所述服务器设置与所述第一设备相关联的具有空间位置信息的虚拟对象，其中，所述虚拟对象的空间位置信息基于所述第一设备相对于光通信装置的位置信息而确定；所述服务器将与所述虚拟对象有关的信息发送给第二设备，该信息中包括所述虚拟对象的空间位置信息，其中，与所述虚拟对象有关的信息能够被所述第二设备使用以基于其相对于光通信装置的位置信息和姿态信息在其显示媒介上呈现所述虚拟对象。

本发明的另一个方面涉及一种基于光通信装置的交互系统，包括：一个或多个光通信装置；以及服务器，其配置用于实现上述的方法。

本发明的再一个方面涉及一种基于光通信装置的交互方法，包括：设备从服务器接收与虚拟对象有关的信息，所述信息中包括所述虚拟对象的空间位置信息，所述空间位置信息是相对于光通信装置的位置信息；所述设备确定其相对于光通信装置的位置信息和姿态信息；以及，所述设备基于其相对于光通信装置的位置信息和姿态信息以及所述与虚拟对象有关的信息在其显示媒介上呈现所述虚拟对象。

本发明的再一个方面涉及一种基于光通信装置进行交互的设备，其配置用于实现上述的方法。

本发明的再一个方面涉及一种基于光通信装置的交互系统，包括：

一个或多个光通信装置；

服务器，其配置用于：

接收来自第一设备的与所述第一设备的位置有关的信息；

通过与所述第一设备的位置有关的信息获得所述第一设备相对于光通信装置的位置信息；

设置与所述第一设备相关联的具有空间位置信息的虚拟对象，其中，所述虚拟对象的空间位置信息基于所述第一设备相对于光通信装置的位置信息而确定；

将与虚拟对象有关的信息发送给第二设备，该信息中包括所述虚拟对象的空间位置信息；以及

所述第二设备，其配置用于：

从所述服务器接收与虚拟对象有关的信息；

确定所述第二设备相对于光通信装置的位置信息和姿态信息；以及

基于所述第二设备相对于光通信装置的位置信息和姿态信息以及所述与虚拟对象有关的信息在其显示媒介上呈现所述虚拟对象。

本发明的再一个方面涉及一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述的方法。

本发明的再一个方面涉及一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述的方法。

附图说明

以下参照附图对本发明实施例作进一步说明，其中：

图1示出了一种示例性的光标签；

图2示出了一种示例性的光标签网络；

图3示出了在一个餐厅门的上方布置的光标签；

图4示出了店员给用户配送咖啡的示意图；

图5示出了在店员设备的显示媒介上叠加虚拟对象的示意图；

图6示出了根据一个实施例的基于光标签的交互方法；

图7示出了根据一个实施例的基于光标签的交互方法；

图8示出了根据一个实施例的基于光标签的交互方法；以及

图9示出了包括两个光标签的交互系统。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

光通信装置也称为光标签，这两个术语在本文中可以互换使用。光标签能够通过发出不同的光来传递信息，其具有识别距离远、可见光条件要求宽松的优势，并且光标签所传递的信息可以随时间变化，从而可以提供大的信息容量和灵活的配置能力。

光标签中通常可以包括控制器和至少一个光源，该控制器可以通过不同的驱动模式来驱动光源，以向外传递不同的信息。图1示出了一种示例性的光标签100，其包括三个光源(分别是第一光源101、第二光源102、第三光源103)。光标签100还包括控制器(在图1中未示出)，其用于根据要传递的信息为每个光源选择相应的驱动模式。例如，在不同的驱动模式下，控制器可以使用不同的驱动信号来控制光源的发光方式，从而使得当使用具有成像功能的设备拍摄光标签100时，其中的光源的图像可以呈现出不同的外观(例如，不同的颜色、图案、亮度、等等)。通过分析光标签100中的光源的成像，可以解析出各个光源此刻的驱动模式，从而解析出光标签100此刻传递的信息。

为了基于光标签向用户提供相应的服务，每个光标签可以被分配一个标识信息(ID)，该标识信息用于由光标签的制造者、管理者或使用者等唯一地识别或标识光标签。通常，可由光标签中的控制器驱动光源以向外传递该标识信息，而用户可以使用设备对光标签进行图像采集来获得该光标签传递的标识信息，从而可以基于该标识信息来访问相应的服务，例如，访问与光标签的标识信息相关联的网页、获取与标识信息相关联的其他信息(例如，与该标识信息对应的光标签的位置信息)、等等。本文提到的设备例如可以是用户随身携带的移动设备(例如，带有摄像头的手机、平板电脑、智能眼镜、智能头盔、智能手表等等)，也可以是能够自主移动的机器(例如，无人机、无人驾驶汽车、机器人等等)。设备可以通过其上的摄像头对光标签进行连续的图像采集来获得包含光标签的多张图像，并通过内置的应用程序来分析每张图像中的光标签(或光标签中的各个光源)的成像以识别出光标签传递的信息。

光标签可以安装于固定的位置，并可以将光标签的标识信息(ID)以及任何其他信息(例如位置信息)存储于服务器中。在现实中，可以将大量的光标签构建成一个光标签网络。图2示出了一种示例性的光标签网络，该光标签网络包括多个光标签和至少一个服务器，其中，与每个光标签相关的信息可保存在服务器上。例如，可以在服务器上保存每个光标签的标识信息(ID)或任何其他信息，例如与该光标签相关的服务信息、与该光标签相关的描述信息或属性，如光标签的位置信息、物理尺寸信息、物理形状信息、姿态或朝向信息等。设备可以使用识别出的光标签的标识信息来从服务器查询获得与该光标签有关的其他信息。光标签的位置信息可以是指该光标签在物理世界中的实际位置，其可以通过地理坐标信息来指示。服务器可以是在计算装置上运行的软件程序、一台计算装置或者由多台计算装置构成的集群。光标签可以是离线的，也即，光标签不需要与服务器进行通信。当然，可以理解，能够与服务器进行通信的在线光标签也是可行的。

图3示出了在一个餐厅门的上方布置的光标签。当用户使用设备扫描该光标签时，可以识别该光标签传递的标识信息，并可以使用该标识信息来访问相应的服务，例如，访问与光标签的标识信息相关联的该餐厅的网页。可以根据需要将光标签部署在各种地方，例如，广场上、商店门面上、餐厅中。

可以将光标签作为锚点，来实现虚拟对象到现实场景的叠加，以例如使用该虚拟对象来准确地标识现实场景中的用户或设备所在的位置。虚拟对象例如可以是图标、图片、文字、数字、表情符号、虚拟的三维物体、三维场景模型、一段动画、一段视频、等等。

以即时快递服务为例进行说明，携带有设备(例如手机、智能眼镜等)的用户在商业街步行时，其可能想购买一杯咖啡，并在原地等待咖啡店的店员将咖啡送到其位置。该用户可以使用其设备扫描并识别布置在其周围的某个咖啡厅门面上的光标签，并通过所识别的光标签标识信息来访问相应的服务以购买一杯咖啡。在用户使用其设备扫描光标签时，可以拍摄光标签的图像，并通过分析该图像进行相对定位，以确定出用户(更准确地说，用户的设备)相对于光标签的位置信息，该相对位置信息可以与咖啡购买请求一起被发送到咖啡厅的服务器。咖啡厅的服务器在接收到用户的咖啡购买请求后，可以设置一个虚拟对象，该虚拟对象例如可以是与该咖啡购买请求对应的订单号“123”。服务器还可以根据所接收到的用户设备相对于光标签的位置信息来确定虚拟对象的空间位置信息，例如可以将虚拟对象的位置设定为用户设备所在的位置或者在用户设备所在位置上方1米处。当咖啡厅准备好用户的咖啡之后，咖啡厅的店员可以进行咖啡配送。图4示出了店员给用户配送咖啡的示意图。在配送过程中，店员可以使用其设备(例如，手机、智能眼镜等)扫描光标签，以确定店员的设备相对于光标签的位置信息和姿态信息。服务器可以在店员使用其设备扫描光标签时或在其他时间将虚拟对象的相关信息(包括其空间位置信息)发送给店员的设备。如此，可以以光标签作为中间锚点来确定虚拟对象相对于店员设备的位置关系，并进一步基于店员设备的姿态，在店员设备的显示媒介上的合适位置处呈现虚拟对象(例如，数字序列“123”)。例如，可以在店员设备的显示屏上展示的现实场景中的合适位置处叠加数字序列“123”，该数字序列“123”所在的位置或其下方1米左右的位置即为咖啡购买者所在的位置。图5示出了在店员设备的显示媒介上叠加虚拟对象的示意图。如此，可以使用光标签作为锚点来实现虚拟对象在现实场景中的准确叠加，从而帮助咖啡厅店员迅速地找到咖啡购买者所在的位置，以实现咖啡的递送。优选地，咖啡厅店员在配送过程中可以使用智能眼镜而不是手机，以实现更方便的递送。

再以餐厅送餐服务为例进行说明，携带有设备的用户在餐厅就餐时，可以使用其设备扫描并识别布置在餐厅内的某个光标签，并通过所识别的光标签标识信息来访问相应的点餐服务。在用户使用其设备扫描光标签时，可以拍摄光标签的图像，并通过分析该图像进行相对定位，以确定出用户(更准确地说，用户的设备)相对于光标签的位置信息，该相对位置信息可以与点餐请求一起被发送到餐厅的服务器。餐厅的服务器在接收到用户的点餐请求后，可以设置一个虚拟对象，该虚拟对象例如可以是与该点餐请求对应的订单号“456”。服务器还可以根据所接收到的用户设备相对于光标签的位置信息来确定虚拟对象的空间位置信息，例如可以将虚拟对象的位置设定为用户设备所在的位置或者在用户设备所在位置上方1米处。当餐厅准备好用户的菜品之后，餐厅的店员可以进行菜品配送。在配送过程中，餐厅店员可以使用其设备(例如，手机、智能眼镜等)扫描光标签，以确定店员的设备相对于光标签的位置信息和姿态信息。服务器可以在店员使用其设备扫描光标签时或在其他时间将虚拟对象的相关信息(包括其空间位置信息)发送给店员的设备。如此，可以以光标签作为中间锚点来确定虚拟对象相对于店员设备的位置关系，并进一步基于店员设备的姿态，在店员设备的显示媒介上的合适位置处呈现虚拟对象(例如，数字序列“456”)。例如，可以在店员设备的显示屏上展示的现实场景中的合适位置处叠加数字序列“456”，该数字序列“456”所在的位置或其下方1米左右的位置即为菜品所需送达的用户所在的位置。如此，可以使用光标签作为锚点来实现虚拟对象在现实场景中的准确叠加，从而帮助餐厅店员迅速地找到点餐者所在的位置。优选地，餐厅店员可以使用智能眼镜而不是手机来实现更方便的递送。在一个实施例中，用户也可以不通过扫描并识别光标签来进行点餐，而是可以采用任何其他方式进行点餐。用户也可以不通过拍摄光标签的图像来确定其相对于光标签的位置信息，而是可以通过扫描桌上的二维码或者直接向餐厅服务器发送桌号来将其位置告知餐厅服务器，餐厅服务器可以预先存储各个餐桌与光标签的相对位置关系，并基于用户所扫描的二维码的标识信息或者用户发送的桌号来确定用户相对于光标签的位置信息。

图6示出了根据一个实施例的基于光标签的交互方法，该方法包括如下步骤：

步骤601：服务器接收来自第一设备的信息，该信息中包括第一设备相对于光标签的位置信息。

来自第一设备的信息可以是第一设备的用户向服务器发出的产品购买信息，但也可以是其他任何信息。第一设备在向服务器发送其相对于光标签的位置信息时，可以一并发送其通过扫描光标签而识别的该光标签的标识信息。

设备可以采用各种方式来确定其相对于光标签的位置信息，该相对位置信息可以包括设备相对于光标签的距离信息和方向信息。在一个实施例中，设备可以通过采集包括光标签的图像并分析该图像来确定其相对于光标签的位置信息。例如，设备可以通过图像中的光标签成像大小以及可选的其他信息(例如，光标签的实际物理尺寸信息、设备的摄像头的焦距)来确定光标签与设备的相对距离(成像越大，距离越近；成像越小，距离越远)。设备可以使用光标签的标识信息从服务器获得光标签的实际物理尺寸信息，或者光标签可以具有统一的物理尺寸并在设备上存储该物理尺寸。设备可以通过包括光标签的图像中的光标签成像的透视畸变以及可选的其他信息(例如，光标签的成像位置)，来确定设备相对于光标签的方向信息。设备可以使用光标签的标识信息从服务器获得光标签的物理形状信息，或者光标签可以具有统一的物理形状并在设备上存储该物理形状。在一个实施例中，设备也可以通过其上安装的深度摄像头或双目摄像头等来直接获得光标签与设备的相对距离。设备也可以采用现有的任何其他定位方法来确定其相对于光标签的位置信息。

步骤602：服务器设置与第一设备相关联的具有空间位置信息的虚拟对象，其中，该虚拟对象的空间位置信息基于第一设备相对于光标签的位置信息而确定。

在接收到来自第一设备的信息(例如产品购买信息)后，服务器可以设置与第一设备相关联的虚拟对象。该虚拟对象例如可以是第一设备发出的产品购买信息所对应的订单号、购买产品的用户的姓名、所要递送的货品的标识信息、一个简单的虚拟图标、等等。虚拟对象的空间位置信息根据第一设备相对于光标签的位置信息来确定，该空间位置信息优选地也是相对于光标签的位置信息。可以将虚拟对象的空间位置简单地确定为第一设备的位置，也可以将虚拟对象的空间位置确定为其他位置，例如，位于第一设备的位置附近的其他位置。

步骤603：服务器将与虚拟对象有关的信息发送给第二设备，该信息中包括虚拟对象的空间位置信息。

与虚拟对象有关的信息是用于描述该虚拟对象的相关信息，例如可以包括虚拟对象中包含的图片、文字、数字、图标等，也可以包括虚拟对象的形状信息、颜色信息、尺寸信息、姿态信息等。基于该信息，设备可以呈现出相应的虚拟对象。与虚拟对象有关的信息中包括虚拟对象的空间位置信息，其可以是相对于光标签的位置信息(例如，虚拟对象的相对于光标签的距离信息和相对于光标签的方向信息)。在一个实施例中，与虚拟对象有关的信息还可以包括虚拟对象的叠加姿态信息，该叠加姿态信息可以是虚拟对象相对于光标签的姿态信息，也可以是其在现实世界坐标系中的姿态信息。

在一个实施例中，服务器可以例如通过无线链路直接将与虚拟对象有关的信息发送给第二设备。在另一个实施例中，第二设备可以在扫描光标签时识别光标签传递的标识信息，并使用光标签的标识信息来从服务器获得与虚拟对象有关的信息。

步骤604：第二设备基于其相对于光标签的位置信息和姿态信息以及与虚拟对象有关的信息，在第二设备的显示媒介上呈现虚拟对象。

第二设备可以采用各种方式来确定其相对于光标签的位置信息，如上文在步骤601中描述的各种方式，在此不再赘述。

第二设备可以确定其姿态信息，该姿态信息可以用于确定设备拍摄的现实场景的范围或边界。通常情况下，设备的姿态信息实际上是设备的图像采集器件(例如摄像头)的姿态信息。在一个实施例中，第二设备可以扫描光标签，并且可以根据光标签的成像来确定其相对于光标签的姿态信息，当光标签的成像位置或成像区域位于第二设备成像视野的中心时，可以认为第二设备当前正对着光标签。在确定设备的姿态时可以进一步考虑光标签的成像的方向。随着第二设备的姿态发生改变，光标签在第二设备上的成像位置和/或成像方向会发生相应的改变，因此，可以根据光标签在第二设备上的成像来获得第二设备相对于光标签的姿态信息。

在一个实施例中，也可以以如下方式来确定设备相对于光标签的位置信息和姿态信息(可以统称为位姿信息)。具体地，可以根据光标签建立一个坐标系，该坐标系可以被称为光标签坐标系。可以将光标签上的一些点确定为在光标签坐标系中的一些空间点，并且可以根据光标签的物理尺寸信息和/或物理形状信息来确定这些空间点在光标签坐标系中的坐标。光标签上的一些点例如可以是光标签的外壳的角、光标签中的光源的端部、光标签中的一些标识点、等等。根据光标签的物体结构特征或几何结构特征，可以在设备相机拍摄的图像中找到与这些空间点分别对应的像点，并确定各个像点在图像中的位置。根据各个空间点在光标签坐标系中的坐标以及对应的各个像点在图像中的位置，结合设备相机的内参信息，可以计算得到拍摄该图像时设备相机在光标签坐标系中的位姿信息(R，t)，其中R为旋转矩阵，其可以用于表示设备相机在光标签坐标系中的姿态信息，t为位移向量，其可以用于表示设备相机在光标签坐标系中的位置信息。计算R、t的方法在现有技术中是已知的，例如，可以利用3D-2D的PnP(Perspective-n-Point)方法来计算R、t，为了不模糊本发明，在此不再详细介绍。旋转矩阵R和位移向量t实际上可以描述如何将某个点的坐标在光标签坐标系和设备相机坐标系之间转换。例如，通过旋转矩阵R和位移向量t，可以将某个点在光标签坐标系中的坐标转换为在设备相机坐标系中的坐标，并可以进一步转换为图像中的像点的位置。如此，对于具有多个特征点(虚拟对象的轮廓上的多个点)的虚拟对象，可以在该虚拟对象的空间位置信息中包括该多个特征点在光标签坐标系中的坐标(也即，相对于光标签的位置信息)，基于多个特征点在光标签坐标系中的坐标，可以确定这些特征点在设备相机坐标系中的坐标，从而可以确定这些特征点在设备上的各自成像位置。虚拟对象的多个特征点的各自成像位置一旦确定，就可以相应地确定出该虚拟对象整体的成像的位置、大小、或姿态等。

在通过上述步骤获得了虚拟对象的空间位置信息和第二设备相对于光标签的位置信息之后，实际上可以创建出以光标签为原点的三维空间坐标系，其中，第二设备和待叠加的虚拟对象均具有在该坐标系中的准确的空间坐标。在一个实施例中，也可以基于虚拟对象的空间位置信息和第二设备相对于光标签的位置信息来确定待叠加的虚拟对象相对于第二设备的位置信息。在上述基础上，可以基于第二设备的姿态信息在现实场景中叠加该虚拟对象。例如，可以基于第二设备和待叠加的虚拟对象的相对距离来确定待叠加的虚拟对象的成像大小，可以基于第二设备和待叠加的虚拟对象的相对方向和第二设备的姿态信息来确定待叠加的虚拟对象在第二设备的显示媒介上的成像位置。在一个实施例中，待叠加的虚拟对象可以具有默认的成像大小，在这种情况下，可以仅确定待叠加的虚拟对象在第二设备的显示媒介上的成像位置，而不确定其成像大小。在叠加信息包括虚拟对象的叠加姿态信息的情况下，可以进一步确定所叠加的虚拟对象的姿态。在一个实施例中，可以根据上文所计算的设备(更准确地说，该设备的相机)相对于光标签的位姿信息(R，t)来确定待叠加的虚拟对象在设备上的成像的位置、大小或姿态等。在一种情况下，如果确定待叠加的虚拟对象当前不在第二设备的视野中(例如，虚拟对象的成像位置在显示屏幕之外)，则不显示虚拟对象。

在某些情况下，在第二设备扫描光标签时，虚拟对象所在的位置可能并不位于第二设备的视野(例如第二设备的摄像头的视野)中，在这种情况下，可以尝试平移和/或旋转第二设备，并通过第二设备内置的传感器(例如加速度传感器、陀螺仪、视觉里程计等)跟踪第二设备的姿态变化，从而确定第二设备的新的视野。当虚拟对象所在的位置进入第二设备的视野时，可以在第二设备的显示媒介上呈现虚拟对象。使用设备内置传感器跟踪设备姿态变化的技术是增强现实和虚拟现实领域的公知技术，在此不再赘述。

在上述实施例中，光标签实际上被用作了锚点，基于该锚点，实现了虚拟对象在通过第二设备观察到的现实场景中的精确叠加。设备可以使用各种可行的方式来呈现现实场景。例如，设备可以通过摄像头采集现实世界的信息并使用上述信息在显示屏幕上再现出现实场景，虚拟对象的图像可以被叠加在该显示屏幕上。设备(例如智能眼镜)也可以不通过显示屏幕来再现现实场景，而是可以简单地通过棱镜、透镜、反射镜、透明物体(例如玻璃)等来再现现实场景，虚拟对象的图像可以被光学地叠加到该现实场景中。上述显示屏幕、棱镜、透镜、反射镜、透明物体等可以统称为设备的显示媒介，虚拟对象可以被呈现在该显示媒介上。例如，在一种光学透视式增强现实设备中，用户通过特定的透镜观察到现实场景，同时该透镜可以将虚拟对象的成像反射到用户的眼中。在一个实施例中，设备的用户可以直接观察到现实场景或其部分，该现实场景或其部分在被用户的眼睛观察到之前不需要经过任何媒介进行再现，并且虚拟对象可以被光学地叠加到该现实场景中。因此，现实场景或其中的部分在被用户的眼睛观察到之前并不一定需要通过设备来呈现或再现。

在叠加了虚拟对象之后，设备可能会发生平移和/或旋转，在这种情况下，可以使用本领域已知的方法(例如，使用设备内置的加速度传感器、陀螺仪、视觉里程计等)来测量其位置变化以及姿态变化，从而对虚拟对象的显示进行调整，例如，改变其成像位置、成像大小、观察角度、虚拟对象进入设备视野、虚拟对象离开设备视野、等等。这在本领域中是已知的，不再赘述。但是，由于设备内置传感器的精度问题，和某些场景下纹理特征的缺失(例如：光线不好的黑夜、无纹理特征的白墙、蓝天等)，现有技术采用的通过内置传感器或视觉里程计跟踪设备位置和姿态的方法易引起所叠加的虚拟对象的漂移。例如，在设备经过了一段时间的平移和/或旋转之后，当虚拟对象再次出现在视野中时，会发现其当前的叠加位置偏离了初始的叠加位置。在一个实施例中，设备可以重新(例如，当光标签离开设备视野后重新进入设备视野时，或者在光标签保持在设备视野中的情况下每隔一定时间)确定其相对于光标签的位置信息以及其相对于光标签的姿态信息，并基于虚拟对象的叠加位置信息以及设备相对于光标签的位置信息和姿态信息，重新确定虚拟对象的成像位置和/或成像大小，从而校正所述虚拟对象在现实场景中的叠加。例如，如果设备当前显示的虚拟对象的成像位置或成像大小与重新确定的成像位置或成像大小存在差异或者差异超过预设阈值，设备可以根据重新确定的成像位置和成像大小来叠加虚拟对象。如此，可以避免叠加的虚拟对象的位置随着设备的转动或移动而发生漂移。

在一个实施例中，在叠加了虚拟对象之后，设备或其用户可以对该虚拟对象执行操作，以改变虚拟对象的属性。例如，设备或其用户可以移动虚拟对象的位置、改变虚拟对象的姿态、改变虚拟对象的大小或颜色、在虚拟对象上添加标注、等等。在一个实施例中，在设备或其用户改变了虚拟对象的属性之后，可以把虚拟对象的修改后的属性信息上传到服务器。服务器可以基于修改后的属性信息来更新其存储的虚拟对象的相关信息。在一个实施例中，设备或其用户可以对叠加的虚拟对象执行删除操作，并通知服务器。仍以上文提到的咖啡购买应用为例，当携带有第二设备的咖啡厅店员完成向用户的咖啡递送后，可以删除与该用户相关联的虚拟数字序列“123”。

在其他实施例中，来自第一设备的信息中也可以不包括第一设备相对于光标签的位置信息，而服务器可以通过其他方式来获得第一设备相对于光标签的位置信息。在一个实施例中，服务器可以通过分析来自第一设备的信息来获得第一设备相对于光标签的位置信息。例如，来自第一设备的信息可以包括第一设备拍摄的包含光标签的图像，服务器可以通过分析该图像来获得第一设备相对于光标签的位置信息。在一个实施例中，服务器可以使用来自第一设备的信息通过查询来获得第一设备相对于光标签的位置信息。例如，来自第一设备的信息可以是二维码标识信息或者例如桌号的标识信息，基于该标识信息，服务器可以通过查询来获得第一设备相对于光标签的位置信息。在一个实施例中，服务器可以通过来自第一设备的信息获得第一设备的位置信息(例如绝对位置信息)，并通过该位置信息和光标签的位置信息，获得第一设备相对于光标签的位置信息。第一设备的位置信息例如可以是其GPS位置信息，尽管目前的GPS位置信息的精度不是非常高，但是在某些对虚拟对象叠加的精度要求不高的应用场景中也是可以适用的。任何能够用于获得设备位置的信息(例如，设备拍摄的包含光标签的图像、设备扫描的二维码标识信息、设备发送的桌号等)都可以被称为与设备的位置有关的信息。

在一个实施例中，在第二设备的显示媒介上可以同时呈现多个虚拟对象。在一个实施例中，服务器可以确定需要在第二设备的显示媒介上呈现的一个或多个虚拟对象。例如，如果咖啡厅的第一店员要为第一用户外送咖啡，则服务器可以将与第一用户关联的虚拟对象的相关信息发送给第一店员的设备；另外，如果咖啡厅的第二店员要同时为第二用户和第三用户外送咖啡，则服务器可以将与第二用户关联的虚拟对象的相关信息以及与第三用户关联的虚拟对象的相关信息发送给第二店员的设备。在存在多个虚拟对象的情况下，在叠加这些虚拟对象时可能会出现重叠、遮挡等情形。在一个实施例中，当叠加多个虚拟对象时可以考虑这些虚拟对象之间的重叠、遮挡等情形，并且仅在现实场景中叠加或呈现未被遮挡的虚拟对象或者虚拟对象的未被遮挡的部分。在另一个实施例中，也可以考虑将遮挡其他虚拟对象的虚拟对象或其部分设置为半透明，并且也叠加或呈现被遮挡的虚拟对象或其部分，从而使得设备用户能够观察到所有虚拟对象。

在一些情况下，在用户使用第一设备向服务器发送了其相对于光标签的位置信息之后，可能改变其位置。例如，购买了咖啡的用户在发出购买请求时一并发送了其相对于光标签的位置信息，在此之后，用户可能会在附近走动。为了使得服务器能够及时知悉用户或其第一设备的最新位置，可以将第一设备的新的位置信息发送给服务器。第一设备可以通过上文提到的各种方式(例如，通过采集包括光标签的图像并分析该图像)来确定其相对于光标签的最新位置信息，也可以通过第一设备内置的传感器(例如加速度传感器、陀螺仪等)来跟踪第一设备的位置变化。可以定期地将第一设备的新的位置信息发送给服务器，也可以在第一设备的新位置与上次发送给服务器的位置之间的差大于某个预设阈值时启动新位置信息的发送。如此，服务器可以及时知悉第一设备的新的位置信息，并可以相应地更新虚拟对象的空间位置信息，并将虚拟对象的新的空间位置信息通知给第二设备。第二设备可以相应地使用虚拟对象的新的空间位置信息来在其显示媒介上呈现或更新虚拟对象。

图7示出了根据一个实施例的基于光标签的交互方法，该方法可以实现对第一设备的位置的跟踪，其步骤701-704与图6的步骤601-604类似，在此不再赘述。图7的交互方法进一步包括如下步骤：

步骤705：服务器接收来自第一设备的新的信息。

该新的信息可以是任何能够用于获得第一设备相对于光标签的位置的信息，包括第一设备内置的传感器通过跟踪而获得的第一设备的位移信息。

步骤706：服务器基于所述新的信息更新第一设备相对于光标签的位置信息。

步骤707：服务器基于更新后的第一设备相对于光标签的位置信息更新虚拟对象的空间位置信息。

步骤708：服务器将更新后的虚拟对象的空间位置信息发送给第二设备，以便第二设备能够基于其相对于光标签的位置信息和姿态信息以及所述更新后的所述虚拟对象的空间位置信息在其显示媒介上呈现或更新虚拟对象。

在一个实施例中，也可以使得能够在第一设备的显示媒介上呈现与第二设备相关联的虚拟对象。以上文描述的咖啡购买服务为例，在配送过程中，店员可以使用其设备(例如，手机、智能眼镜等)扫描光标签，以确定店员的设备相对于光标签的位置信息和姿态信息。在此之后，店员的设备可以将其相对于光标签的位置信息发送给服务器。服务器可以为店员的设备设置一个虚拟对象，该虚拟对象的空间位置信息基于店员设备相对于光标签的位置信息而确定。服务器可以将该虚拟对象的相关信息发送给购买了咖啡的用户的设备，并且可以通知用户其咖啡正在配送。用户然后可以使用其设备(例如，手机、智能眼镜等)扫描光标签，以确定用户设备相对于光标签的位置信息和姿态信息。从而，用户设备可以基于其相对于光标签的位置信息和姿态信息以及与店员设备关联的虚拟对象的相关信息，在用户设备的显示媒介上的合适位置处呈现虚拟对象(例如，数字序列“123”)，这有助于在用户和店员之间的更方便的交互。由于配送咖啡的店员通常在移动之中，因此，可以跟踪店员设备的位置，并定期地或实时地将店员设备的位置发送到服务器，以更新与店员设备关联的虚拟对象的空间位置信息，该更新后的空间位置信息随后被发送到用户的设备。

图8示出了根据一个实施例的基于光标签的交互方法，该方法可以进一步在第一设备的显示媒介上呈现与第二设备相关联的虚拟对象，其步骤801-804与图6的步骤601-604类似，在此不再赘述。图8的交互方法进一步包括如下步骤：

步骤805：服务器接收来自第二设备的信息，并确定第二设备相对于光标签的位置信息。

步骤806：服务器设置与第二设备相关联的具有空间位置信息的另一虚拟对象，其中，该另一虚拟对象的空间位置信息基于第二设备相对于光标签的位置信息而确定。

步骤807：服务器将与该另一虚拟对象有关的信息发送给第一设备，该信息中包括该另一虚拟对象的空间位置信息，以使得第一设备能够基于其相对于光标签的位置信息和姿态信息以及与该另一虚拟对象有关的信息，在其显示媒介上呈现该另一虚拟对象。

在一个实施例中，在图8所示的方法中，还可以进一步地以与图7的方法类似的方式对第二设备的位置信息以及该另一虚拟对象的空间位置信息进行更新，以使得在第一设备的显示媒介上呈现的该另一虚拟对象能够跟踪第二设备的位置。

在许多场景下，可能存在不止一个光标签，而是存在如图2所示的光标签网络，其中，服务器可以知悉各个光标签的位置信息或者它们之间的相对位置关系。在这些场景下，第一设备和第二设备扫描的光标签可能不是同一个光标签，第一设备也可能在不同的时间扫描多个不同的光标签来提供或更新其位置信息(在提供或更新位置信息可以发送相关的光标签的标识信息)，第二设备也可能在不同的时间扫描多个不同的光标签来确定其位置信息和姿态信息。例如，如图9所示，在一个餐厅中可能布置了包括第一光标签和第二光标签的多个光标签，并且服务器或餐厅店员的第二设备能够知悉第一光标签和第二光标签的相对位置关系。就餐的用户可以使用第一设备扫描第一光标签来确定其相对于第一光标签的位置，餐厅店员在配送菜品时可以使用其第二设备来扫描第二光标签以确定第二设备相对于第二光标签的位置信息和姿态信息。由于第一光标签和第二光标签的相对位置关系是已知的，因此，可以将第一设备相对于第一光标签的位置信息转换为相对于第二光标签的位置信息，或者将与第一设备关联的虚拟对象相对于第一光标签的空间位置信息转换为相对于第二光标签的空间位置信息，从而实现在第二设备上的虚拟对象的准确呈现。

在一些场景下，第一设备和第二设备初始时可能距离比较远，在这种情况下，第二设备的用户可以先使用现有的一些导航方式(例如GPS导航)行进到第一设备附近，然后，再通过使用第二设备扫描周围的光标签来在第二设备的显示媒介上呈现与第一设备关联的虚拟对象。

本文中提到的设备可以是用户携带的设备(例如，手机、平板电脑、智能眼镜、智能头盔、智能手表、等等)，但是可以理解，该设备也可以是能够自主移动的机器，例如，无人机、无人驾驶汽车、机器人等。设备上可以安装有图像采集器件(例如摄像头)和/或显示媒介(例如显示屏)。

在本发明的一个实施例中，可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如，硬盘、光盘、闪存等)中，当该计算机程序被处理器执行时，能够用于实现本发明的方法。

在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。

本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是不符合逻辑的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的，也即，“根据A”可以涵盖“仅仅根据A”，也可以涵盖“根据A和B”，除非特别声明或者根据上下文明确可知其含义为“仅仅根据A”。在本申请中为了清楚说明，以一定的顺序描述了一些示意性的操作步骤，但本领域技术人员可以理解，这些操作步骤中的每一个并非是必不可少的，其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行，相反，这些操作步骤中的一些可以根据实际需要以不同的顺序执行，或者并行执行，只要新的执行方式不是不符合逻辑的或不能工作。

由此描述了本发明的至少一个实施例的几个方面，可以理解，对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (21)

1.一种基于光通信装置的交互方法，包括：

服务器接收来自第一设备的与所述第一设备的位置有关的信息；

所述服务器通过与所述第一设备的位置有关的信息获得所述第一设备相对于光通信装置的位置信息；

所述服务器设置与所述第一设备相关联的具有空间位置信息的虚拟对象，其中，所述虚拟对象的空间位置信息基于所述第一设备相对于光通信装置的位置信息而确定；

所述服务器将与所述虚拟对象有关的信息发送给第二设备，该信息中包括所述虚拟对象的空间位置信息，其中，与所述虚拟对象有关的信息能够被所述第二设备使用以基于第二设备相对于光通信装置的位置信息和姿态信息在第二设备的显示媒介上呈现所述虚拟对象；以及

所述服务器从第二设备接收所述虚拟对象的修改后的属性信息，并基于该修改后的属性信息来更新其存储的所述虚拟对象的相关信息。

2.根据权利要求1所述的方法，其中，与所述第一设备的位置信息相关联的光通信装置和与所述第二设备的位置信息相关联的光通信装置是相同的光通信装置。

3.根据权利要求1所述的方法，其中，与所述第一设备的位置信息相关联的光通信装置和与所述第二设备的位置信息相关联的光通信装置是不同的光通信装置，以及其中，所述不同的光通信装置具有固定的相对位置关系。

4.根据权利要求1-3中任一项所述的方法，其中，通过与所述第一设备的位置有关的信息获得所述第一设备相对于光通信装置的位置信息包括以下至少之一：

从与所述第一设备的位置有关的信息中提取所述第一设备相对于光通信装置的位置信息；

通过分析与所述第一设备的位置有关的信息来获得所述第一设备相对于光通信装置的位置信息；

使用与所述第一设备的位置有关的信息通过查询来获得所述第一设备相对于光通信装置的位置信息；或者

通过与所述第一设备的位置有关的信息获得所述第一设备的位置信息，并通过该位置信息和光通信装置的位置信息，获得所述第一设备相对于光通信装置的位置信息。

5.根据权利要求1-3中任一项所述的方法，其中，与所述第一设备的位置有关的信息包括所述第一设备相对于光通信装置的位置信息，其中，所述第一设备通过使用图像采集器件采集包括所述光通信装置的图像并分析该图像来确定其相对于所述光通信装置的位置信息。

6.根据权利要求1-3中任一项所述的方法，其中，所述空间位置信息是相对于光通信装置的位置信息。

7.根据权利要求1-3中任一项所述的方法，其中，

所述第二设备相对于光通信装置的位置信息通过如下方式获得：所述第二设备通过使用图像采集器件采集包括所述光通信装置的图像并分析该图像来确定其相对于所述光通信装置的位置信息；或者

所述第二设备相对于光通信装置的姿态信息通过如下方式获得：基于所述光通信装置在所述第二设备的显示媒介上的成像来确定所述第二设备相对于所述光通信装置的姿态信息。

8.根据权利要求1-3中任一项所述的方法，还包括：

在所述服务器将与虚拟对象有关的信息发送给第二设备之前，所述服务器确定需要在所述第二设备的显示媒介上呈现的与一个或多个第一设备关联的一个或多个虚拟对象。

9.根据权利要求1-3中任一项所述的方法，还包括：

所述服务器接收来自第一设备的新的与所述第一设备的位置有关的信息；

所述服务器基于所述新的与所述第一设备的位置有关的信息更新所述第一设备相对于光通信装置的位置信息；

所述服务器基于更新后的所述第一设备相对于光通信装置的位置信息更新所述虚拟对象的空间位置信息；以及

所述服务器将更新后的所述虚拟对象的空间位置信息发送给所述第二设备，以便所述第二设备能够基于第二设备相对于光通信装置的位置信息和姿态信息以及所述更新后的所述虚拟对象的空间位置信息在第二设备的显示媒介上呈现或更新所述虚拟对象。

10.根据权利要求1-3中任一项所述的方法，还包括：

所述服务器接收来自所述第二设备的与所述第二设备的位置有关的信息，并确定所述第二设备相对于光通信装置的位置信息；

所述服务器设置与所述第二设备相关联的具有空间位置信息的另一虚拟对象，其中，该另一虚拟对象的空间位置信息基于所述第二设备相对于光通信装置的位置信息而确定；以及

所述服务器将与该另一虚拟对象有关的信息发送给所述第一设备，该信息中包括该另一虚拟对象的空间位置信息，其中，与该另一虚拟对象有关的信息能够被所述第一设备使用以基于第一设备相对于光通信装置的位置信息和姿态信息在第一设备的显示媒介上呈现该另一虚拟对象。

11.一种基于光通信装置的交互系统，包括：

一个或多个光通信装置；以及

服务器，其配置用于实现权利要求1-10中任一项所述的方法。

12.一种基于光通信装置的交互方法，包括：

设备从服务器接收与虚拟对象有关的信息，所述信息中包括所述虚拟对象的空间位置信息，所述空间位置信息是相对于光通信装置的位置信息；

所述设备确定其相对于光通信装置的位置信息和姿态信息；以及

所述设备基于其相对于光通信装置的位置信息和姿态信息以及所述与虚拟对象有关的信息在其显示媒介上呈现所述虚拟对象；

所述设备改变所述虚拟对象的属性，并将所述虚拟对象的修改后的属性信息上传到服务器。

13.根据权利要求12所述的方法，其中，与所述设备的位置信息相关联的光通信装置和与所述虚拟对象的空间位置信息相关联的光通信装置是相同的光通信装置。

14.根据权利要求12所述的方法，其中，与所述设备的位置信息相关联的光通信装置和与所述虚拟对象的空间位置信息相关联的光通信装置是不同的光通信装置，以及其中，所述不同的光通信装置具有固定的相对位置关系。

15.根据权利要求12-14中任一项所述的方法，其中，所述虚拟对象的空间位置信息基于其他设备相对于光通信装置的位置信息而确定。

16.根据权利要求12-14中任一项所述的方法，其中，

所述设备相对于光通信装置的位置信息通过如下方式获得：所述设备通过使用图像采集器件采集包括所述光通信装置的图像并分析该图像来确定其相对于所述光通信装置的位置信息；或者

所述设备相对于光通信装置的姿态信息通过如下方式获得：基于所述光通信装置在所述设备的显示媒介上的成像来确定所述设备相对于所述光通信装置的姿态信息。

17.根据权利要求12-14中任一项所述的方法，还包括：

所述设备从所述服务器接收更新的所述虚拟对象的空间位置信息；以及

所述设备基于其相对于光通信装置的位置信息和姿态信息以及所述更新的所述虚拟对象的空间位置信息在其显示媒介上呈现或更新所述虚拟对象。

18.一种基于光通信装置进行交互的设备，其配置用于实现权利要求12-17中任一项所述的方法。

19.一种基于光通信装置的交互系统，包括：

一个或多个光通信装置；

服务器，其配置用于：

接收来自第一设备的与所述第一设备的位置有关的信息；

通过与所述第一设备的位置有关的信息获得所述第一设备相对于光通信装置的位置信息；

设置与所述第一设备相关联的具有空间位置信息的虚拟对象，其中，所述虚拟对象的空间位置信息基于所述第一设备相对于光通信装置的位置信息而确定；

将与虚拟对象有关的信息发送给第二设备，该信息中包括所述虚拟对象的空间位置信息；和

从第二设备接收所述虚拟对象的修改后的属性信息，并基于该修改后的属性信息来更新其存储的所述虚拟对象的相关信息；以及所述第二设备，其配置用于：

从所述服务器接收与虚拟对象有关的信息；

确定所述第二设备相对于光通信装置的位置信息和姿态信息；

基于所述第二设备相对于光通信装置的位置信息和姿态信息以及所述与虚拟对象有关的信息在其显示媒介上呈现所述虚拟对象；和

改变所述虚拟对象的属性，并将所述虚拟对象的修改后的属性信息上传到服务器。

20.一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-10和12-17中任一项所述的方法。

21.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-10和12-17中任一项所述的方法。

Images