CN112051919B - 一种基于位置的交互方法和交互系统 - Google Patents

一种基于位置的交互方法和交互系统 Download PDF

Info

Publication number
CN112051919B
CN112051919B CN201910485815.6A CN201910485815A CN112051919B CN 112051919 B CN112051919 B CN 112051919B CN 201910485815 A CN201910485815 A CN 201910485815A CN 112051919 B CN112051919 B CN 112051919B
Authority
CN
China
Prior art keywords
information
control device
server
optical communication
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910485815.6A
Other languages
English (en)
Other versions
CN112051919A (zh
Inventor
李江亮
方俊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Whyhow Information Technology Co Ltd
Original Assignee
Beijing Whyhow Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Whyhow Information Technology Co Ltd filed Critical Beijing Whyhow Information Technology Co Ltd
Priority to CN201910485815.6A priority Critical patent/CN112051919B/zh
Priority to PCT/CN2020/094382 priority patent/WO2020244577A1/zh
Publication of CN112051919A publication Critical patent/CN112051919A/zh
Application granted granted Critical
Publication of CN112051919B publication Critical patent/CN112051919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0022Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations arrangements or provisious for transferring data to distant stations, e.g. from a sensing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01Indexing scheme relating to G06F3/01
    • G06F2203/012Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种基于位置的交互方法和交互系统,该交互方法包括:控制设备拍摄包括光通信装置的图像并通过分析该图像来获得在拍摄该图像时其相对于光通信装置的位置信息;所述控制设备向服务器发送信息,以使得所述服务器能够获得所述控制设备相对于光通信装置的位置信息;所述服务器基于所述控制设备相对于光通信装置的位置信息以及与受控设备相关联的位置信息来选择一个或多个受控设备;所述控制设备将控制操作信息发送到所述服务器;以及所述服务器基于所述控制操作信息控制所选择的一个或多个受控设备。

Description

一种基于位置的交互方法和交互系统
技术领域
本发明涉及信息交互技术领域,尤其涉及一种基于设备的位置实现的交互方法和交互系统。
背景技术
本部分的陈述仅仅是为了提供与本发明相关的背景信息,以帮助理解本发明,这些背景信息并不一定构成现有技术。
随着移动互联网、物联网等技术的不断发展,信息产业迎来了快速发展,并涌现出了很多具备数字化、网络化、智能化功能的设备,这些设备可以互相联网,并且还可以通过网络来对这些设备进行控制。随着手机等便携设备的普及,越来越多的系统采用手机来帮助用户控制各个设备,这样只要用户的手机能够连接网络,就能随时随地地通过网络来控制这些设备。然而,当设备很多时,用户需要在手机的屏幕上进行浏览和不断的选择,这样的操作非常繁琐耗时,容易让用户产生排斥心理。如果使用物理开关对设备进行控制,则需要复杂的布线以及额外的硬件,这会引起成本增加。
本发明提出了一种基于位置的交互方法和交互系统,其使得用户能够简单、便捷地对设备执行控制操作。
发明内容
本发明的一个方面涉及一种基于位置的交互方法,包括:控制设备拍摄包括光通信装置的图像并通过分析该图像来获得在拍摄该图像时其相对于光通信装置的位置信息;所述控制设备向服务器发送信息,以使得所述服务器能够获得所述控制设备相对于光通信装置的位置信息;所述服务器基于所述控制设备相对于光通信装置的位置信息以及与受控设备相关联的位置信息来选择一个或多个受控设备;所述控制设备将控制操作信息发送到所述服务器;以及所述服务器基于所述控制操作信息控制所选择的一个或多个受控设备。
可选地,其中,所述与受控设备相关联的位置信息包括:所述受控设备的位置信息;和/或与所述受控设备相关联的选择区域的位置信息。
本发明的一个方面涉及一种基于位置的交互方法,包括:控制设备拍摄包括光通信装置的图像并通过分析该图像来获得在拍摄该图像时其相对于光通信装置的位置信息;所述控制设备向服务器发送信息,以使得所述服务器能够获得所述控制设备相对于光通信装置的位置信息并能够基于该位置信息以及与受控设备相关联的位置信息来选择一个或多个受控设备;以及所述控制设备将控制操作信息发送到所述服务器,以控制所选择的一个或多个受控设备。
可选地,其中,所述控制设备向所述服务器发送的信息包括所述控制设备通过扫描所述光通信装置而识别的所述光通信装置的标识信息。
可选地,上述交互方法还包括:所述控制设备从所述服务器接收与待叠加的虚拟对象有关的信息,该信息包括所述虚拟对象的空间位置信息;以及,所述控制设备基于其相对于光通信装置的位置信息和姿态信息以及与待叠加的虚拟对象有关的信息在其显示媒介上呈现所述虚拟对象。
可选地,其中,所述虚拟对象用于向所述控制设备的用户呈现与受控设备有关的信息。
可选地,其中,通过改变所述控制设备的位置和/或姿态来产生所述控制操作信息,或者通过使用所述控制设备对用户进行手势识别来产生所述控制操作信息。
本发明的一个方面涉及一种控制设备,其被配置用于执行上述交互方法。
本发明的一个方面涉及一种基于位置的交互方法,包括:服务器从控制设备接收信息,其中,所述信息包括由所述控制设备至少部分地通过拍摄包括光通信装置的图像并分析该图像而获得的所述控制设备相对于光通信装置的位置信息;服务器基于从所述控制设备接收到的信息获得所述控制设备相对于光通信装置的位置信息;服务器基于所述控制设备相对于光通信装置的位置信息以及与受控设备相关联的位置信息来选择一个或多个受控设备;以及服务器从所述控制设备接收控制操作信息,并基于该控制操作信息控制所选择的一个或多个受控设备。
可选地,其中,所述服务器基于所述控制设备相对于光通信装置的位置信息以及与受控设备相关联的位置信息来选择一个或多个受控设备包括:所述服务器通过比较所述控制设备的位置和所述受控设备的位置来选择一个或多个受控设备。
可选地,其中,所述受控设备具有相关联的选择区域,该选择区域具有位置信息,以及其中,所述服务器基于所述控制设备相对于光通信装置的位置信息以及与受控设备相关联的位置信息来选择一个或多个受控设备包括:当所述控制设备的位置处于任一选择区域内时,所述服务器选择与该选择区域相关联的受控设备。
可选地,其中,所述受控设备具有相关联的操作区域,所述操作区域用于限定所述控制设备能够针对所述受控设备实现控制操作的区域。
可选地,上述交互方法还包括:所述服务器向所述控制设备发送与待叠加的虚拟对象有关的信息,该信息包括所述虚拟对象的空间位置信息。
可选地,其中,所述服务器基于从所述控制设备接收的所述光通信装置的标识信息和/或所述控制设备的位置信息,确定所述与待叠加的虚拟对象有关的信息。
可选地,其中,所述服务器基于从所述控制设备接收的所述控制设备的位置信息和姿态信息,确定所述与待叠加的虚拟对象有关的信息。
本发明的一个方面涉及一种服务器,其被配置用于执行上述交互方法。
本发明的一个方面涉及一种基于位置的交互系统,其包括一个或多个光通信装置、上述控制设备、上述服务器、以及一个或多个受控设备。
本发明的一个方面涉及一种存储介质,其中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现上述交互方法。
本发明的一个方面涉及一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现上述交互方法。
附图说明
以下参照附图对本发明实施例作进一步说明,其中:
图1示出了一种示例性的光标签;
图2示出了一种示例性的光标签网络;
图3示出了一个示例性的交互场景;
图4示出了根据本申请的一个实施例的基于位置的交互方法;
图5示出了根据一个实施例的在智能眼镜的显示媒介上显示的操作按钮;
图6示出了根据一个实施例的基于光标签在现实场景中叠加虚拟对象的方法;以及
图7示出了根据一个实施例的在用户的控制设备的显示媒介所呈现的现实场景中叠加的虚拟对象。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图通过具体实施例对本发明进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。
光通信装置也称为光标签,这两个术语在本文中可以互换使用。光标签能够通过发出不同的光来传递信息,其具有识别距离远、可见光条件要求宽松的优势,并且光标签所传递的信息可以随时间变化,从而可以提供大的信息容量和灵活的配置能力。
光标签中通常可以包括控制器和至少一个光源,该控制器可以通过不同的驱动模式来驱动光源,以向外传递不同的信息。图1示出了一种示例性的光标签100,其包括三个光源(分别是第一光源101、第二光源102、第三光源103)。光标签100还包括控制器(在图1中未示出),其用于根据要传递的信息为每个光源选择相应的驱动模式。例如,在不同的驱动模式下,控制器可以使用不同的驱动信号来控制光源的发光方式,从而使得当使用具有成像功能的设备拍摄光标签100时,其中的光源的图像可以呈现出不同的外观(例如,不同的颜色、图案、亮度、等等)。通过分析光标签100中的光源的成像,可以解析出各个光源此刻的驱动模式,从而解析出光标签100此刻传递的信息。
为了基于光标签向用户提供相应的服务,每个光标签可以被分配一个标识信息(ID),该标识信息用于由光标签的制造者、管理者或使用者等唯一地识别或标识光标签。通常,可由光标签中的控制器驱动光源以向外传递该标识信息,而用户可以使用设备对光标签进行图像采集来获得该光标签传递的标识信息,从而可以基于该标识信息来访问相应的服务,例如,访问与光标签的标识信息相关联的网页、获取与标识信息相关联的其他信息(例如,与该标识信息对应的光标签的位置信息)、等等。设备可以通过其上的摄像头对光标签进行连续的图像采集来获得包含光标签的多张图像,并通过内置的应用程序来分析每张图像中的光标签(或光标签中的各个光源)的成像以识别出光标签传递的信息。
光标签可以安装于固定的位置,并可以将光标签的标识信息(ID)以及任何其他信息(例如位置信息)存储于服务器中。在现实中,可以将大量的光标签构建成一个光标签网络。图2示出了一种示例性的光标签网络,该光标签网络包括多个光标签和至少一个服务器,其中,与每个光标签相关的信息可保存在服务器上。例如,可以在服务器上保存每个光标签的标识信息(ID)或任何其他信息,例如与该光标签相关的服务信息、与该光标签相关的描述信息或属性,如光标签的位置信息、物理尺寸信息、物理形状信息、姿态或朝向信息等。设备可以使用识别出的光标签的标识信息来从服务器查询获得与该光标签有关的其他信息。光标签的位置信息可以是指该光标签在物理世界中的实际位置,其可以通过地理坐标信息来指示。服务器可以是在计算装置上运行的软件程序、一台计算装置或者由多台计算装置构成的集群。光标签可以是离线的,也即,光标签不需要与服务器进行通信。当然,可以理解,能够与服务器进行通信的在线光标签也是可行的。
可以将光标签作为锚点,来确定设备的位置,并基于设备的位置来实现与其他设备的交互操作。图3示出了一个示例性的交互场景,其例如可以是在一个餐厅中。该场景中包括携带手机的用户、安装于餐厅中的光标签、以及布置于餐厅中的多个灯,每个灯主要用于给位于其下方的餐桌照明。当用户就餐时,可能希望能够自己调节其餐桌上方的灯的亮度、色温等。通过采用本发明的方案,用户可以通过光标签来确定其所携带的设备(例如,手机)的位置,并基于该位置实现对其他设备(例如,餐厅中的灯)的控制。
下文将描述根据本发明的实施例的基于位置的交互方法。为便于说明,在本文中将用户携带的能够用于实现控制功能的设备(例如,手机、智能眼镜、平板电脑、智能头盔、智能手表等)称为控制设备,该控制设备具有成像器件,并将用户希望控制的设备(例如,灯、电视、空调、音乐播放设备等)称为受控设备。
图4示出了根据本申请的一个实施例的基于位置的交互方法,包括如下步骤:
步骤401:控制设备通过拍摄包括光标签的图像并分析该图像来获得在拍摄该图像时其相对于光标签的位置信息。
控制设备相对于光标签的位置信息可以包括控制设备相对于光标签的距离信息和方向信息。在一个实施例中,控制设备可以通过图像中的光标签成像大小和光标签的实际物理尺寸信息以及可选的其他信息(例如,控制设备的成像器件的内参信息)来确定光标签与控制设备的相对距离(成像越大,距离越近;成像越小,距离越远)。控制设备可以通过图像中的光标签成像的透视变形以及可选的其他信息(例如,光标签的成像位置)来确定控制设备相对于光标签的方向信息。
在一个实施例中,也可以以如下方式来确定控制设备相对于光标签的位置信息和姿态信息(可以统称为位姿信息)。具体地,可以根据光标签建立一个坐标系,该坐标系可以被称为光标签坐标系。可以将光标签上的一些点确定为在光标签坐标系中的一些空间点,并且可以根据光标签的物理尺寸信息和/或物理形状信息来确定这些空间点在光标签坐标系中的坐标。光标签上的一些点例如可以是光标签的外壳的角、光标签中的光源的端部、光标签中的一些标识点、等等。根据光标签的物体结构特征或几何结构特征,可以在控制设备拍摄的图像中找到与这些空间点分别对应的像点,并确定各个像点在图像中的位置。根据各个空间点在光标签坐标系中的坐标以及对应的各个像点在图像中的位置,结合控制设备的成像器件的内参信息,可以计算得到拍摄该图像时控制设备在光标签坐标系中的位姿信息(R,t),其中R为旋转矩阵,其可以用于表示控制设备在光标签坐标系中的姿态信息,t为位移向量,其可以用于表示控制设备在光标签坐标系中的位置信息。计算R、t的方法在现有技术中是已知的,例如,可以利用3D-2D的PnP(Perspective-n-Point)方法来计算R、t,为了不模糊本发明,在此不再详细介绍。
控制设备可以以各种方式来获得光标签的实际物理尺寸信息和/或物理形状信息。例如,在一些应用场景中,光标签具有固定的规格或型号,如此,控制设备可以预先知悉光标签的物理尺寸信息和/或物理形状信息。在一些应用场景中,控制设备可以通过识别光标签传递的信息,来获得光标签的物理尺寸信息和/或物理形状信息。控制设备可以直接获得光标签的物理尺寸信息和/或物理形状信息,也可以获得光标签的其他信息(例如,标识信息、规格信息或型号信息),并使用该其他信息通过查询或分析来确定光标签的物理尺寸信息和/或物理形状信息。
步骤402:控制设备向服务器发送信息,以使得服务器能够获得控制设备相对于光标签的位置信息。
在一些实施例中,控制设备向服务器发送的信息可以包括通过分析光标签的成像而获得的相对于光标签的位置信息。在一些实施例中,控制设备向服务器发送的信息还可以包括使用控制设备内部的传感器(例如,加速度传感器、陀螺仪、视觉里程计等)通过跟踪控制设备的位置变化而获得的信息。在一些实施例中,控制设备在通过分析光标签的成像而获得其相对于光标签的位置信息后,可以跟踪其位置变化,并根据该位置变化更新其相对于光标签的位置信息。该更新的位置信息可以定期地或实时地被发送给服务器。
控制设备向服务器发送的信息还包括其通过扫描光标签而识别的该光标签的标识信息,这在存在多个光标签的情况下是非常有利的。
步骤403:服务器基于控制设备相对于光标签的位置信息以及与受控设备相关联的位置信息来选择一个或多个受控设备。
当服务器获得了控制设备相对于光标签的位置信息之后,其可以使用该位置信息以及与受控设备相关联的位置信息来选择受控设备。与受控设备相关联的位置信息例如可以是受控设备本身的位置信息,也可以是与受控设备相关联的其他位置信息(例如,与受控设备相关联的一个选择区域的位置信息),这些位置信息都可以是相对于光标签的位置信息。在一些实施例中,在服务器处可以预先存储各个受控设备的位置信息(该位置信息可以是相对于光标签的位置信息),并可以通过比较控制设备的位置和受控设备的位置来选择受控设备。例如,服务器可以选择与控制设备最接近的一个受控设备,或者,服务器可以选择与控制设备的距离在预定阈值范围内的一个或多个受控设备。在一些实施例中,服务器可以为受控设备设置一个相关联的选择区域(例如,对于餐厅中的每个灯,服务器可以将灯下的某个立体区域设置为选择区域),该选择区域具有相应的位置信息,当控制设备的位置在该选择区域内时,服务器可以选择与该选择区域相关联的受控设备,从而使得控制设备可以控制该受控设备。
步骤404:控制设备将控制操作信息发送到服务器。
控制设备可以使用各种方式来产生控制操作信息。在一些实施例中,可以在控制设备的显示媒介上呈现一个多个虚拟按钮,控制设备的用户可以通过操作这些虚拟按钮来产生控制操作信息。在一些实施例中,控制设备的用户可以通过改变控制设备的位置和/或姿态来产生控制操作信息,例如,向上移动控制设备表示调高灯的亮度,向下移动控制设备表示调低灯的亮度。可以通过使用控制设备拍摄并分析包括光标签的图像来确定控制设备的位置和/或姿态变化,也可以通过使用控制设备内部的传感器来跟踪控制设备的位置和/或姿态变化。在一些实施例中,可以通过控制设备对用户进行手势识别来产生相应的控制操作信息,这种方式特别适合于诸如智能眼镜或智能头盔之类的控制设备。
在一些实施例中,受控设备可以具有相关联的操作区域,该操作区域用于限定控制设备能够针对受控设备实现控制操作的区域。例如,当用户使用控制设备在该操作区域中进行相应的操作时,或者用户在该操作区域中做出相应的手势时,才会产生针对受控设备的控制操作信息。受控设备的选择区域和操作区域可以相同或不同。
步骤405:服务器基于所述控制操作信息控制所选择的一个或多个受控设备。
在服务器接收到来自控制设备的控制操作信息之后,可以基于该控制操作信息对所选择的一个或多个受控设备进行相应的控制。
根据本申请的一个实施例的在控制设备处执行的基于位置的交互方法包括:
控制设备通过拍摄包括光标签的图像并分析该图像来获得在拍摄该图像时其相对于光标签的位置信息;
控制设备向服务器发送信息,以使得服务器能够获得控制设备相对于光标签的位置信息,并能够基于控制设备相对于光标签的位置信息以及与受控设备相关联的位置信息选择一个或多个受控设备;以及
控制设备将控制操作信息发送到服务器,以控制所选择的一个或多个受控设备。
根据本申请的一个实施例的在服务器处执行的基于位置的交互方法包括:
服务器从控制设备接收信息,其中,所述信息包括由控制设备至少部分地通过拍摄包括光标签的图像并分析该图像而获得的控制设备相对于光标签的位置信息,该位置信息可以是在拍摄该图像时控制设备相对于光标签的位置信息,也可以是在拍摄图像之后进一步通过跟踪控制设备的位置变化而获得的新的位置信息。
服务器基于所述信息获得控制设备相对于光标签的位置信息;
服务器基于控制设备相对于光标签的位置信息以及与受控设备相关联的位置信息选择一个或多个受控设备;以及
服务器从控制设备接收控制操作信息,并基于其控制所选择的一个或多个受控设备。
在一些实施例中,服务器在选择了一个或多个受控设备之后,可以通知控制设备,以便让控制设备的用户知悉其当前能够对受控设备进行控制或者能够对哪个或哪些受控设备进行控制。
在一些实施例中,为了使得控制设备的用户能够理解受控设备的操作方式或操作功能,可以在控制设备的显示媒介上呈现一些与受控设备的操作有关的信息(例如,文字、图标或动画形式的信息),例如操作按钮、操作提示信息等。服务器可以基于所选择的受控设备来将与该受控设备有关的信息发送给控制设备。例如,当控制设备是手机时,可以在手机的显示媒介上显示一些按钮,使得用户可以通过操作这些按钮来对受控设备进行操作。当控制设备是智能眼镜时,可以在智能眼镜的显示媒介上显示一些按钮,使得用户可以例如通过手势来对受控设备进行操作。图5示出了根据一个实施例的在智能眼镜的显示媒介上显示的操作按钮,该操作按钮可以例如用于控制音乐播放设备,佩戴智能眼镜的用户可以通过手势来对这些操作按钮进行操作。
在一些实施例中,控制设备还可以通过拍摄包括光标签的图像并分析该图像来确定其相对于光标签的姿态信息,并可以根据控制设备的位置信息和姿态信息通过增强现实(AR)技术在控制设备的显示媒介所呈现的现实场景中叠加虚拟对象,该虚拟对象可以用于向控制设备的用户呈现与受控设备有关的信息,例如操作按钮、操作提示信息等,以帮助用户进行对受控设备的操作。虚拟对象例如可以是图标、图片、文字、表情符号、虚拟的操作键、虚拟的三维物体、一段动画、一段视频、等等。
图6示出了根据一个实施例的基于光标签在现实场景中叠加虚拟对象的方法,该方法包括如下步骤:
步骤601:控制设备从服务器接收与待叠加的虚拟对象有关的信息,该信息包括虚拟对象的空间位置信息。
在一些实施例中,控制设备可以在识别出光标签的标识信息之后,使用该标识信息以及可选的其他信息(例如控制设备的位置信息和/或姿态信息)向服务器发出查询请求。在服务器处可以预先存储与该光标签相关的信息,其例如可以包括光标签的标识信息、与该光标签相关联的一个或多个虚拟对象的相关信息等。虚拟对象可以具有相关联的空间位置信息,其可以是相对于光标签的空间位置信息,用于指示虚拟对象的叠加位置。设备通过向服务器发出查询请求,可以获得要在控制设备当前呈现的现实场景中叠加的虚拟对象的相关信息。
在一些实施例中,控制设备可以使用其位置信息以及可选的其他信息(例如,控制设备的姿态信息、光标签的标识信息)向服务器发出查询请求,以查询要叠加的虚拟对象的相关信息。
步骤602:控制设备基于其相对于光标签的位置信息和姿态信息以及与待叠加的虚拟对象有关的信息在其显示媒介上呈现所述虚拟对象。
控制设备可以通过分析其拍摄的包含光标签的图像来确定其相对于光标签的姿态信息,该姿态信息可以用于确定控制设备拍摄的现实场景的范围或边界。例如,控制设备可以根据光标签的成像来确定其相对于光标签的姿态信息,当光标签的成像位置或成像区域位于控制设备成像视野的中心时,可以认为控制设备当前正对着光标签。在确定控制设备的姿态时可以进一步考虑光标签的成像的方向。随着控制设备的姿态发生改变,光标签在控制设备上的成像位置和/或成像方向会发生相应的改变,因此,可以根据光标签在控制设备上的成像来获得控制设备相对于光标签的姿态信息。在一些实施例中,也可以使用上文提到的确定控制设备在光标签坐标系中的位姿信息(R,t)的方法。
虚拟对象的空间位置信息可以体现待叠加的虚拟对象相对于光标签的位置信息。由于控制设备和待叠加的虚拟对象均具有相对于光标签的位置信息,因此,可以基于虚拟对象的空间位置信息和控制设备相对于光标签的位置信息来确定待叠加的虚拟对象相对于控制设备的位置信息。在上述基础上,可以基于控制设备的姿态信息在现实场景中叠加该虚拟对象。例如,可以基于控制设备和待叠加的虚拟对象的相对距离来确定待叠加的虚拟对象的成像大小,可以基于控制设备和待叠加的虚拟对象的相对方向和控制设备的姿态信息来确定待叠加的虚拟对象在设备上的成像位置。基于该成像位置和成像大小,可以在现实场景中实现虚拟对象的准确叠加。如此,光标签实际上被用作了锚点,基于该锚点,实现了虚拟对象在现实场景中的精确叠加。
在叠加了虚拟对象之后,控制设备可能会发生平移和/或旋转,在这种情况下,可以使用本领域已知的方法(例如,诸如手机之类的终端设备可使用其内置的加速度传感器、陀螺仪、视觉里程计等)来跟踪其位置变化和姿态变化,从而对虚拟对象的显示进行调整。
图7示出了根据一个实施例的在用户的控制设备的显示媒介(例如手机的屏幕)所呈现的现实场景中叠加的虚拟对象。现实场景是通过控制设备的成像器件拍摄到的,其中包括一个灯。虚拟对象的空间位置信息被设定为位于灯的下方,其中包括一个圆柱体、一个向上的箭头、一个向下的箭头、以及文字说明“调亮灯光”和“调暗灯光”,这些虚拟对象是通过增强现实技术呈现的,在现实场景中并不存在。图7中示出的圆柱体用于向控制设备的用户呈现灯的操作区域,其是一个立体的圆柱体区域,用于向用户指示在该区域中可以对灯进行操作。图7中的箭头和文字说明一起向控制设备的用户提示如何进行控制操作,例如,向上移动控制设备或向上的手势表示调亮灯光,向下移动控制设备或者向下的手势表示调暗灯光。如此,控制设备的用户可以清楚地知道如何对灯进行控制,从而便于用户操作,改善了用户的使用体验。
本文中提到的控制设备可以是用户携带的设备(例如,手机、平板电脑、智能眼镜、智能头盔、智能手表、等等),其上可以安装有图像采集器件(例如摄像头)和显示媒介(例如显示屏)。
在本发明的一个实施例中,可以以计算机程序的形式来实现本发明。计算机程序可以存储于各种存储介质(例如,硬盘、光盘、闪存等)中,当该计算机程序被处理器执行时,能够用于实现本发明的方法。
在本发明的另一个实施例中,可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器,在存储器中存储有计算机程序,当该计算机程序被处理器执行时,能够用于实现本发明的方法。
本文中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此,短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个本文中各处的出现并非必须指代相同的实施例。此外,特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此,结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合,只要该组合不是非逻辑性的或不能工作。本文中出现的类似于“根据A”、“基于A”、“通过A”或“使用A”的表述意指非排他性的,也即,“根据A”可以涵盖“仅仅根据A”,也可以涵盖“根据A和B”,除非特别声明或者根据上下文明确可知其含义为“仅仅根据A”。在本申请中为了清楚说明,以一定的顺序描述了一些示意性的操作步骤,但本领域技术人员可以理解,这些操作步骤中的每一个并非是必不可少的,其中的一些步骤可以被省略或者被其他步骤替代。这些操作步骤也并非必须以所示的方式依次执行,相反,这些操作步骤中的一些可以根据实际需要以不同的顺序执行,或者并行执行,只要新的执行方式不是不符合逻辑的或不能工作。
由此描述了本发明的至少一个实施例的几个方面,可以理解,对本领域技术人员来说容易地进行各种改变、修改和改进。这种改变、修改和改进意于在本发明的精神和范围内。虽然本发明已经通过优选实施例进行了描述,然而本发明并非局限于这里所描述的实施例,在不脱离本发明范围的情况下还包括所作出的各种改变以及变化。

Claims (19)

1.一种基于位置的交互方法,包括:
控制设备拍摄包括光通信装置的图像并通过分析该图像来获得在拍摄该图像时其相对于光通信装置的位置信息;
所述控制设备向服务器发送信息,以使得所述服务器能够获得所述控制设备相对于光通信装置的位置信息;
所述服务器基于所述控制设备相对于光通信装置的位置信息以及与受控设备相关联的位置信息来选择所述控制设备可交互的一个或多个受控设备;
所述控制设备将控制操作信息发送到所述服务器;以及
所述服务器基于所述控制操作信息控制所选择的一个或多个受控设备。
2.根据权利要求1所述的交互方法,其中,所述与受控设备相关联的位置信息包括:
所述受控设备的位置信息;和/或
与所述受控设备相关联的选择区域的位置信息。
3.一种基于位置的交互方法,包括:
控制设备拍摄包括光通信装置的图像并通过分析该图像来获得在拍摄该图像时其相对于光通信装置的位置信息;
所述控制设备向服务器发送信息,以使得所述服务器能够获得所述控制设备相对于光通信装置的位置信息并能够基于该位置信息以及与受控设备相关联的位置信息来选择所述控制设备可交互的一个或多个受控设备;以及
所述控制设备将控制操作信息发送到所述服务器,以控制所选择的一个或多个受控设备。
4.根据权利要求3所述的交互方法,其中,所述控制设备向所述服务器发送的信息包括所述控制设备通过扫描所述光通信装置而识别的所述光通信装置的标识信息。
5.根据权利要求3所述的交互方法,还包括:
所述控制设备从所述服务器接收与待叠加的虚拟对象有关的信息,该信息包括所述虚拟对象的空间位置信息;以及
所述控制设备基于其相对于光通信装置的位置信息和姿态信息以及与待叠加的虚拟对象有关的信息在其显示媒介上呈现所述虚拟对象。
6.根据权利要求5所述的交互方法,其中,所述虚拟对象用于向所述控制设备的用户呈现与受控设备有关的信息。
7.根据权利要求3所述的交互方法,其中,通过改变所述控制设备的位置和/或姿态来产生所述控制操作信息,或者通过使用所述控制设备对用户进行手势识别来产生所述控制操作信息。
8.一种基于位置的交互方法,包括:
服务器从控制设备接收信息,其中,所述信息包括由所述控制设备至少部分地通过拍摄包括光通信装置的图像并分析该图像而获得的所述控制设备相对于光通信装置的位置信息;
服务器基于从所述控制设备接收到的信息获得所述控制设备相对于光通信装置的位置信息;
服务器基于所述控制设备相对于光通信装置的位置信息以及与受控设备相关联的位置信息来选择所述控制设备可交互的一个或多个受控设备;以及
服务器从所述控制设备接收控制操作信息,并基于该控制操作信息控制所选择的一个或多个受控设备。
9.根据权利要求8所述的交互方法,其中,所述服务器基于所述控制设备相对于光通信装置的位置信息以及与受控设备相关联的位置信息来选择一个或多个受控设备包括:
所述服务器通过比较所述控制设备的位置和所述受控设备的位置来选择一个或多个受控设备。
10.根据权利要求8所述的交互方法,其中,所述受控设备具有相关联的选择区域,该选择区域具有位置信息,以及其中,所述服务器基于所述控制设备相对于光通信装置的位置信息以及与受控设备相关联的位置信息来选择一个或多个受控设备包括:
当所述控制设备的位置处于任一选择区域内时,所述服务器选择与该选择区域相关联的受控设备。
11.根据权利要求8所述的交互方法,其中,所述受控设备具有相关联的操作区域,所述操作区域用于限定所述控制设备能够针对所述受控设备实现控制操作的区域。
12.根据权利要求8所述的交互方法,还包括:所述服务器向所述控制设备发送与待叠加的虚拟对象有关的信息,该信息包括所述虚拟对象的空间位置信息。
13.根据权利要求12所述的交互方法,其中,所述服务器基于从所述控制设备接收的所述光通信装置的标识信息和/或所述控制设备的位置信息,确定所述与待叠加的虚拟对象有关的信息。
14.根据权利要求12所述的交互方法,其中,所述服务器基于从所述控制设备接收的所述控制设备的位置信息和姿态信息,确定所述与待叠加的虚拟对象有关的信息。
15.一种控制设备,其被配置用于执行权利要求3-7中任一项所述的交互方法。
16.一种服务器,其被配置用于执行权利要求8-14中任一项所述的交互方法。
17.一种基于位置的交互系统,包括一个或多个光通信装置、如权利要求15所述的控制设备、权利要求16所述的服务器、以及一个或多个受控设备。
18.一种存储介质,其中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-14中任一项所述的交互方法。
19.一种电子设备,包括处理器和存储器,所述存储器中存储有计算机程序,在所述计算机程序被处理器执行时,能够用于实现权利要求1-14中任一项所述的交互方法。
CN201910485815.6A 2019-06-05 2019-06-05 一种基于位置的交互方法和交互系统 Active CN112051919B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201910485815.6A CN112051919B (zh) 2019-06-05 2019-06-05 一种基于位置的交互方法和交互系统
PCT/CN2020/094382 WO2020244577A1 (zh) 2019-06-05 2020-06-04 一种基于位置的交互方法和交互系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910485815.6A CN112051919B (zh) 2019-06-05 2019-06-05 一种基于位置的交互方法和交互系统

Publications (2)

Publication Number Publication Date
CN112051919A CN112051919A (zh) 2020-12-08
CN112051919B true CN112051919B (zh) 2022-10-18

Family

ID=73609767

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910485815.6A Active CN112051919B (zh) 2019-06-05 2019-06-05 一种基于位置的交互方法和交互系统

Country Status (2)

Country Link
CN (1) CN112051919B (zh)
WO (1) WO2020244577A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113253621B (zh) * 2021-05-19 2024-01-30 云米互联科技(广东)有限公司 一种基于HomeMap的设备光源状态视觉化控制方法及装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221888A (zh) * 2011-06-24 2011-10-19 北京数码视讯科技股份有限公司 基于遥控器的控制方法及系统
CN104467962A (zh) * 2013-09-18 2015-03-25 华为技术有限公司 一种基于可视光源的定位方法、移动终端及控制器
CN105160854A (zh) * 2015-09-16 2015-12-16 小米科技有限责任公司 设备控制方法、装置和终端设备
CN105760106A (zh) * 2016-03-08 2016-07-13 网易(杭州)网络有限公司 一种智能家居设备交互方法和装置
CN106339488A (zh) * 2016-08-30 2017-01-18 西安小光子网络科技有限公司 一种基于光标签的虚拟设施插入定制实现方法
CN106372561A (zh) * 2016-08-30 2017-02-01 西安小光子网络科技有限公司 一种光标签区域锁定方法
CN110471580A (zh) * 2018-05-09 2019-11-19 北京外号信息技术有限公司 基于光标签的信息设备交互方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103077367A (zh) * 2011-10-25 2013-05-01 鸿富锦精密工业(深圳)有限公司 标签检测系统、装置及其检测标签的方法
CN103929582A (zh) * 2013-01-14 2014-07-16 三星电子(中国)研发中心 设置、共享拍摄参数的方法以及便携式终端和服务器
US9483341B2 (en) * 2014-01-02 2016-11-01 Red Hat, Inc. Applying security label on kernel core crash file
CN105653248A (zh) * 2014-11-14 2016-06-08 索尼公司 控制装置、方法以及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102221888A (zh) * 2011-06-24 2011-10-19 北京数码视讯科技股份有限公司 基于遥控器的控制方法及系统
CN104467962A (zh) * 2013-09-18 2015-03-25 华为技术有限公司 一种基于可视光源的定位方法、移动终端及控制器
CN105160854A (zh) * 2015-09-16 2015-12-16 小米科技有限责任公司 设备控制方法、装置和终端设备
CN105760106A (zh) * 2016-03-08 2016-07-13 网易(杭州)网络有限公司 一种智能家居设备交互方法和装置
CN106339488A (zh) * 2016-08-30 2017-01-18 西安小光子网络科技有限公司 一种基于光标签的虚拟设施插入定制实现方法
CN106372561A (zh) * 2016-08-30 2017-02-01 西安小光子网络科技有限公司 一种光标签区域锁定方法
CN110471580A (zh) * 2018-05-09 2019-11-19 北京外号信息技术有限公司 基于光标签的信息设备交互方法及系统

Also Published As

Publication number Publication date
WO2020244577A1 (zh) 2020-12-10
CN112051919A (zh) 2020-12-08

Similar Documents

Publication Publication Date Title
US11887312B2 (en) Fiducial marker patterns, their automatic detection in images, and applications thereof
US10241565B2 (en) Apparatus, system, and method of controlling display, and recording medium
KR20170105445A (ko) 디바이스 관리를 포함하는 디스플레이 장치들의 구성 및 동작
US10868977B2 (en) Information processing apparatus, information processing method, and program capable of adaptively displaying a video corresponding to sensed three-dimensional information
CN107870961B (zh) 空间物件搜寻排序方法、系统与计算机可读取存储装置
KR20220063205A (ko) 인터넷 연결 설치를 위한 증강 현실
KR20160147555A (ko) 이동 단말기 및 그 제어 방법
CN112051919B (zh) 一种基于位置的交互方法和交互系统
TWI764366B (zh) 基於光通信裝置的互動方法和系統
TWI750822B (zh) 用於為目標設置可呈現的虛擬對象的方法和系統
CN112581630B (zh) 一种用户交互方法和系统
CN111242107B (zh) 用于设置空间中的虚拟对象的方法和电子设备
CN111752425B (zh) 用于选择在设备的显示媒介上的交互对象的方法
CN112055034B (zh) 基于光通信装置的交互方法和系统
CN113920221A (zh) 信息处理装置、信息处理方法及计算机可读介质
TW202201269A (zh) 基於位置的交互方法、交互系統以及電腦可讀取記錄媒體
EP3510440B1 (en) Electronic device and operation method thereof
JP5115496B2 (ja) コンテンツ遠隔操作システム及び遠隔操作端末
CN108141730B (zh) 由电子设备发送和接收信息的方法和装置
CN112053451B (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
TWI759764B (zh) 基於光通信裝置疊加虛擬物件的方法、電子設備以及電腦可讀取記錄媒體
WO2020244576A1 (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
CN112053444B (zh) 基于光通信装置叠加虚拟对象的方法和相应的电子设备
CN112417904B (zh) 用于呈现与光通信装置有关的信息的方法和电子设备
US11556308B2 (en) Information processing system, information processing apparatus including circuitry to store position information of users present in a space and control environment effect production, information processing method, and room

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant