CN110196633A - 使用增强现实系统提供实体位置的方法及设备 - Google Patents

使用增强现实系统提供实体位置的方法及设备 Download PDF

Info

Publication number
CN110196633A
CN110196633A CN201910137279.0A CN201910137279A CN110196633A CN 110196633 A CN110196633 A CN 110196633A CN 201910137279 A CN201910137279 A CN 201910137279A CN 110196633 A CN110196633 A CN 110196633A
Authority
CN
China
Prior art keywords
entity
user
augmented reality
reality system
characteristic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910137279.0A
Other languages
English (en)
Inventor
纳林·J·彼得森
罗德·D.·沃特曼
约翰·卡尔·梅谢
拉塞尔·斯佩格特·范布恩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lenovo Singapore Pte Ltd
Original Assignee
Lenovo Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lenovo Singapore Pte Ltd filed Critical Lenovo Singapore Pte Ltd
Publication of CN110196633A publication Critical patent/CN110196633A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本公开内容涉及使用增强现实系统提供实体位置的方法及设备,一个实施方式提供了一种提供实体位置的方法,该方法包括:使用增强现实系统接收与实体相关联的触发事件;确定实体的位置,其中,该确定包括识别实体的至少一个特性;以及在增强现实系统中提供对所确定的位置的指示。描述并且要求保护其他方面。

Description

使用增强现实系统提供实体位置的方法及设备
背景技术
技术进步已经提高了信息处理设备(以下简称为“设备”)例如智能电话、平板设备、智能扬声器、智能电视、膝上型计算机和个人计算机等的能力。例如,许多现代设备可以能够接收和处理使用多种新型输入方法如通过语音输入、手势输入、视线输入等进行的输入。通常可以发现这些现代设备是与可能不包含这些新型交互能力的传统信息处理设备相混合的。
发明内容
概括地说,一方面提供了一种提供实体位置的方法,该方法包括:使用增强现实系统接收与实体相关联的触发事件;确定实体的位置,其中,该确定包括识别实体的至少一个特性;以及在增强现实系统中提供对所确定的位置的指示。
另一方面提供了一种信息处理设备,该信息处理设备包括:显示装置;处理器;存储器装置,其存储能够由处理器执行以进行以下操作的指令:使用增强现实系统接收与实体相关联的触发事件;确定实体的位置,其中,该确定包括识别实体的至少一个特性;以及在增强现实系统中提供对所确定的位置的指示。
另一方面提供了一种产品,该产品包括其中存储有代码的存储装置,该代码能够由处理器执行并且该代码包括:使用增强现实系统接收与实体相关联的触发事件的代码;在电子设备处确定该实体的位置的代码,其中,该确定包括识别实体的至少一个特性;以及在增强现实系统中提供对所确定的位置的指示的代码。
前述内容是概要,因此可能包含对细节的简化、概括和省略;因此,本领域技术人员将理解的是,此概要仅是说明性的且并不旨在以任何方式进行限制。
为了更好地理解实施方式连同这些实施方式的其他的以及进一步的特征和优点,参考结合附图进行的以下描述。将在所附权利要求书中指出本发明的范围。
附图说明
图1示出了信息处理设备电路系统的示例。
图2示出了信息处理设备电路系统的另一示例。
图3示出了提供对所确定的实体位置的指示的示例性方法。
具体实施方式
将容易理解的是,除了所描述的示例性实施方式以外,还可以以各种不同的配置来布置和设计本文附图中一般性地描述并示出的实施方式的部件。因此,以下对附图中示出的示例性实施方式的更详细的描述并不旨在限制所要求保护的实施方式的范围,而仅代表示例性实施方式。
遍及本说明书对“一个实施方式”或“实施方式”(等)的引用是指结合该实施方式所描述的特定特征、结构或特性包括在至少一个实施方式中。因此,遍及本说明书在各处出现的短语“在一个实施方式中”或“在实施方式中”等不一定全部指代同一实施方式。
此外,可以以任何合适的方式将所描述的特征、结构或特性组合在一个或更多个实施方式中。在以下描述中,提供了许多具体的细节以便给出对实施方式的透彻理解。然而,相关领域的技术人员将认识到,可以在没有一个或更多个具体细节的情况下或者利用其他方法、部件、材料等来实践各种实施方式。在其他情况下,未详细示出或描述公知的结构、材料或操作以避免模糊主题。
越来越多的用户在日常生活中利用具有增强现实功能的设备。无论如何,这些增强现实系统的功能仍在发展,以将虚拟世界与物理世界相连。随着增强现实系统的功能和能力的增加,用户需要来自系统的其他能力来对他们日常生活中的现实进行增强。例如,用户可能希望得到该用户拥有但是又没有与之相关联的预编程数据的对象的信息。作为另一示例,对象可能处于用户的视野之外。作为另一示例,可能直到用户以视频或音频形式请求关于对象的进一步信息之前系统还不知道该对象。
常规地,增强现实系统可以针对用户视图内的对象提供信息。例如,如果用户正在观看一件艺术品,则增强现实系统可以提供关于该件艺术品的进一步信息,例如艺术家、创作该件艺术品的时间或者关于该艺术品的历史记录。该进一步信息可以可视地显示在与增强现实系统相关联的显示屏(例如智能手机、平板电脑、头戴装置、护目镜等)上。附加地或替选地,该信息可以通过扬声器或耳机的听觉信息来提供。然而,增强现实系统可能无法获得关于用户的视野之外的对象的增强现实信息,特别是在用户不知道对象的位置的情况下。然而,用户会希望在增强现实系统上接收到关于视野之外的实体或对象或者关于可能到达用户位置处的实体或对象的信息。为了便于阅读,术语“实体”指的是人、地点、对象等。
因此,实施方式提供了一种用于增强现实系统定位实体并且提供与该实体的位置有关的信息的方法。另外,在实施方式中,增强现实系统可以识别可能到达或接近用户位置处的实体。例如,系统可以提供与到达用户房屋的包裹有关的信息。实施方式接收例如用户请求与实体有关的信息、实体来到用户的位置等的触发事件。如上所述,实体可以是对象、事物、人、地点等。
然后,系统可以通过识别实体的至少一个特性来确定实体的位置。识别至少一个特性可以包括识别实体的特征以允许系统确定要识别哪个实体的位置。例如,系统在接收到对查找钥匙的输入时,可以确定哪些钥匙正被请求。作为另一示例,系统在接收到指示包裹已经到达的输入时,可以确定该包裹的一个或更多个特性。在实施方式中,实体的特性可以是实体的物理属性(即颜色、大小、形状等)、实体的生物特征信息(即面部识别、指纹、视网膜扫描、物理属性、服饰风格等)、近场通信、条形码(即传统条码、QR码等)。
一旦识别出实体,系统就可以确定该实体的位置。该确定可以是相对于用户的。换句话说,系统可以确定实体相对于用户的位置。系统可以在该系统或与该系统相关联的显示器上提供对所确定的实体位置的指示。在实施方式中,对所确定的位置的指示可以是在诸如智能手机、平板电脑、计算机、增强现实头戴装置、护目镜等的显示屏上可视的。除了视觉显示器之外或者作为其替选,系统可以使用音频、触感、触觉等输出来提供对实体位置的指示。
通过参照附图将最好地理解所示出的示例性实施方式。以下描述仅旨在作为示例,并且仅示出了某些示例性实施方式。
虽然可以在信息处理设备中利用各种其他电路、电路系统或部件,但是对于智能电话和/或平板电脑电路系统100而言,图1所示的示例包括例如在平板电脑或其他移动计算平台中建立的芯片上系统设计。软件和处理器被组合在单个芯片110中。如本领域所公知的,处理器包括内部运算单元、寄存器、高速缓冲存储器、总线、I/O端口等。内部总线等取决于不同的供应商,但是基本上所有外围设备(120)均可以附接至单个芯片110。电路系统100将处理器、存储器控制以及I/O控制器集线器全部组合到单个芯片110中。此外,这种类型的系统100通常不使用SATA或PCI或LPC。公共接口例如包括SDIO和I2C。
存在对例如经由可再充电电池140供应的电力进行管理的电力管理芯片130如电池管理单元BMU,可再充电电池140可以通过与电源(未示出)的连接来进行再充电。在至少一种设计中,使用诸如110的单个芯片来提供BIOS式功能和DRAM存储器。
系统100通常包括WWAN收发器150和WLAN收发器160中的一个或更多个以用于连接至诸如电信网络的各种网络和无线因特网设备例如接入点。另外,通常包括设备120,其例如是诸如摄像机的图像传感器、诸如麦克风的音频捕获装置、热传感器等。系统100通常包括用于数据输入和显示/呈现的触摸屏170。系统100通常还包括各种存储器设备,例如闪速存储器180和SDRAM 190。
图2描绘了信息处理设备电路、电路系统或部件的另一示例的框图。图2所示的示例可以对应于例如由北卡罗来纳州的莫里斯维尔的联想(美国)公司销售的THINKPAD系列个人计算机或其他设备的计算系统。根据本文的描述明显的是,实施方式可以包括其他特征或图2中示出的示例的特征中的仅一些特征。
图2的示例包括具有可以根据制造商(例如INTEL、AMD、ARM等)而变化的架构的所谓的芯片组210(一组一起工作的集成电路或芯片,芯片组)。INTEL是英特尔公司(IntelCorporation)在美国和其他国家的注册商标。AMD是超微半导体设备有限公司(AdvancedMicro Device Inc.)在美国和其他国家的注册商标。ARM是ARM控股公司(ARM Holdingplc)在美国和其他国家的未注册商标。芯片组210的架构包括核与存储器控制组220以及I/O控制器集线器250,所述核与存储器控制组220以及I/O控制器集线器250经由直接管理接口(DMI)242或链路控制器244交换信息(例如数据、信号、命令等)。在图2中,DMI 242是芯片到芯片接口(有时被称为“北桥”与“南桥”之间的链路)。核与存储器控制组220包括经由前端总线(FSB)224交换信息的一个或更多个处理器222(例如,单核或多核)和存储器控制器集线器226;注意,组220的部件可以被集成在替代常规的“北桥”式架构的芯片中。如本领域所公知的,一个或更多个处理器222包括内部运算单元、寄存器、高速缓冲存储器、总线、I/O端口等。
在图2中,存储器控制器集线器226与存储器240进行接口连接(例如,以提供对可以被称为“系统存储器”或“存储器”的RAM类型的支持)。存储器控制器集线器226还包括用于显示设备292(例如CRT、平板、触摸屏等)的低压差分信令(LVDS)接口232。块238包括可以经由LVDS接口232(例如串行数字视频、HDMI/DVI、显示端口)来支持的一些技术。存储器控制器集线器226还包括可以支持独立显卡236的PCI-express(PCI-E)接口234。
在图2中,I/O集线器控制器250包括SATA接口251(例如,用于HDD、SDD 280等)、PCI-E接口252(例如,用于无线连接282)、USB接口253(例如,用于诸如数字化器、键盘、鼠标、摄像机、电话、麦克风、存储装置、其他连接的设备等的设备284)、网络接口254(例如,LAN)、GPIO接口255、LPC接口270(用于ASIC 271、TPM 272、超级I/O 273、固件集线器274、BIOS支持275以及诸如ROM 277、闪存278和NVRAM 279的各种类型的存储器276)、电力管理接口261、时钟发生器接口262、音频接口263(例如,用于扬声器294)、TCO接口264、系统管理总线接口265和SPI闪存266,SPI闪存266可以包括BIOS 268和启动代码(Boot Code)290。I/O中心控制器250可以包括千兆比特以太网支持。
系统在通电时可以被配置成执行SPI闪存266内存储的用于BIOS 268的启动代码290,并且此后在(例如存储在系统存储器240中的)一个或更多个操作系统和应用软件的控制下处理数据。操作系统可以被存储在各种位置中的任意位置中并且例如根据BIOS 268的指令而被访问。如本文所描述的,设备可以包括与图2的系统中示出的特征相比更少或更多的特征。
如例如在图1或图2中概述的,信息处理设备电路系统通常可以用于诸如平板电脑、智能电话、可穿戴式头戴装置、个人计算机设备的设备和/或能够显示增强现实内容并且可以响应于接收用户输入而执行各种功能的电子设备。例如,图1中所概述的电路系统可以实现在平板电脑或智能电话实施方式中,而图2中所概述的电路系统可以实现在个人计算机实施方式中。
图3示出了用于向用户提供对实体位置的指示的示例性方法。在301处,实施方式可以接收与实体相关联的触发事件。在实施方式中,触发事件可以是任何形式的输入,例如文本输入、语音输入、视线检测、手势输入、图像捕获等。作为示例,系统可以接收来自用户的语音输入。作为另一示例,增强现实系统可以显示实体的列表或图标,并且可以接收用户选择实体之一的视线输入。在一个实施方式中,触发事件可以是从用户接收的输入,例如来自用户的请求。例如,用户可以提供识别系统要对其进行定位的实体的请求。例如,用户可以向系统提问“我的车钥匙在哪里?”
在实施方式中,触发事件可以是用户到达一定位置。例如,用户可以设置列表然后到达仓库。系统可以将用户的到达识别为触发事件。然后,系统可以例如使用图像捕获技术访问与列表相关联的数据存储位置(例如,在列表为电子形式的情况下等)等来访问列表,并且识别列表上包括的实体。替选地,触发事件可以是列表的创建。例如,如果用户正在创建装货列表,则系统可以将该列表的创建识别为触发事件。在实施方式中,触发事件可以是实体到达用户的位置或靠近用户的位置。例如,有人到达增强现实系统的用户的房屋前门可以被视为触发事件。作为另一示例,触发事件可以是有包裹留在用户的门口。替选地,触发事件可以是由用户设置的触发事件。例如,用户可以设置可以用作系统的触发事件的提醒、警报或其他通知。
在301处接收的触发事件触发系统以在302处尝试确定与触发事件相关联的实体的位置。例如,用户携带列表到达仓库,系统可以尝试识别列表上的实体在仓库内的位置。例如,列表可以是装货列表。作为另一示例,装货列表的创建可以触发系统对装货列表上项目或实体进行定位。作为另一示例,在接收到用于定位项目的用户输入时,系统可以对该项目进行定位。作为另一示例,在实体到达用户的位置时,系统可以识别该实体的确切位置。
在实施方式中,确定实体的位置包括识别实体的至少一个特性。识别实体的特性可以包括确定什么实体与触发事件相关联。例如,如果用户提供了请求系统提供该用户的钥匙的位置的输入,则系统可以识别该用户的钥匙的识别特征(例如,钥匙的类型、与钥匙相关联的颜色、哪些钥匙与该用户相关联等)。换句话说,系统可以执行分析以确定用户正在寻找哪些钥匙(例如,一个用户的钥匙与另一个用户的钥匙、哪些钥匙与该用户相关联等)。系统可以自动识别特性,例如在用户使用系统时系统可以将对象与用户相关联。替选地,用户可以提供系统用来识别特性的输入,例如,用户可以提供实体的图像、与实体相关联的标识标签等。
识别特性还可以包括:一旦实体处于用户的预定距离内或者位于预定位置处就识别该实体的特征。例如,如果包裹到达用户门口,则系统可以识别该对象的特性(例如寄件者、形状、大小等)。作为另一示例,如果有人到达靠近用户的位置,则系统可以识别此人的特性(例如面部识别、身份识别等)以识别此人。在实施方式中,该实体可以是人或动物。系统可以使用诸如面部识别、指纹、视网膜扫描、生物识别数据、身高、体重、步态、习惯、服装/配件、语音、声音等特性来识别实体。作为另一示例,如果用户携带列表走进仓库,则系统可以尝试识别列表上提供的实体,并且然后识别与那些实体相关联的特性从而可以对这些实体进行定位。换句话说,识别特性允许系统确定哪个实体正在被请求或者正处于用户的邻近位置内,使得系统可以提供与该实体有关的输出。
一旦确定了与实体相关联的一个或更多个特性,系统就可以例如使用作为增强现实系统的组成部分或能够由增强现实系统访问的一个或更多个传感器来尝试定位实体。在实施方式中,电子设备检测传感器可以是能够显示增强现实内容的用户设备(例如增强现实头戴装置(例如,GoogleMicrosoft 等)、智能电话、平板电脑等)的组成部分。例如,增强现实头戴装置可以设置有能够捕获实体图像的摄像机。替选地,电子设备检测传感器可以设置在另一设备上并且可以将检测到的电子设备数据发送至用户设备。例如,可以由独立摄像机捕获与实体相关联的图像数据,随后该独立摄像机可以将捕获的图像发送至用户的增强现实设备。可以经由无线连接(例如,使用蓝牙连接、近场通信(NFC)、无线连接技术等)、有线连接(例如,将设备耦接至另一设备或源等)通过连接的数据存储系统(例如,经由云存储、远程存储、本地存储、网络存储等)等从其他源向用户的增强现实设备发送电子设备相关数据。出于简化的目的,本文的大部分讨论将涉及在增强现实头戴装置上显示的增强现实内容。然而,应当理解,通常可以利用任何具有增强现实功能的设备来显示增强现实内容。
在实施方式中,电子设备检测传感器可以被配置成通过将一个或更多个传感器维持在活动状态来连续搜索和检测电子设备相关数据。例如,即使在与AR设备相关联的其他传感器(例如,麦克风、扬声器、其他传感器等)不活动时,一个或更多个传感器也可以连续地检测电子设备数据。替选地,电子设备检测传感器可以保持活动状态持续预定时间量(例如,30分钟、1小时、2小时等)。在该预定时间窗期间没有捕获到任何电子设备相关数据之后,实施方式可以将电子设备检测传感器切换至断电状态。预定时间窗可以由制造商预先配置,或者替选地可以由一个或更多个用户配置和设置。在另一实施方式中,电子设备检测传感器可以响应于接收到要求进行检测的用户命令而尝试检测电子设备。例如,佩戴增强现实头戴装置的用户可以沿特定方向进行观看并且提供命令输入(例如,语音输入、触摸输入、手势输入等)以开始检测用户视野中的电子设备。
在实施方式中,系统的检测传感器之一可以是诸如摄像机的图像捕获设备。摄像机可以捕获实体的一个或更多个图像,然后可以将捕获的实体图像与实体图像数据库或者与实体相关联的标识符进行比较。在实施方式中,标识符可以包括条形码、快速响应(QR)码、近场通信(NFC)信号等。响应于识别出捕获图像中的实体与图像数据库中的至少一个实体之间的匹配,实施方式可以推断出已经确定了实体身份。实施方式还可以访问与数据库中的所述至少一个实体相关联的任何数据。例如,数据库中的每个实体可以包括与其相关联的实体标识数据,该实体标识数据可以列出和/或详细说明该实体的一个或更多个方面。因此,实施方式可以将所列的数据库中实体的各方面与检测到的实体相关联。
增强现实系统可以利用许多方法来确定实体的位置。在实施方式中,确定实体的位置可以包括使用静态图像数据或视频图像数据。例如,用户可以查询系统来定位一组车钥匙而车钥匙可能在用户的视线之外。例如,用户可以从厨房查询车钥匙的位置而车钥匙位于起居室中。应当注意的是,实体不必一定在用户的视线之外。在实施方式中,系统可以例如通过访问位于其他房间或位置的视频摄像机来使用视频图像数据定位视线之外的车钥匙。图像捕获设备可以包括安全摄像机、设置在房间中的图像捕获设备、或者具有图像捕获设备的设备(例如,智能电话、智能电视、平板电脑、个人计算设备等)。视频图像数据可以是实况视频馈送、历史捕获视频数据源等。为了确定要访问的视频或图像捕获设备,系统可以利用实体的“最后已知”位置并且访问位于该位置的图像捕获设备。替选地,系统可以访问所有图像捕获设备。
然后,系统可以解析视频图像数据并且将经解析的视频图像与实体的至少一个特性进行比较。系统可以将视频图像数据与实体的特性进行相关。例如,如果用户向系统查询该用户的车钥匙的位置,则系统可以利用该用户的车钥匙的特性(例如该用户的钥匙的钥匙圈的物理外观)以将其与根据图像数据解析的实体进行相关来确定该用户的钥匙的位置。换句话说,系统可以将所识别的特性与经解析的图像数据进行比较以确定实体是否包括在图像数据中。例如,可以使用形状、大小、颜色、汽车制造商等来识别与用户查询相关联的钥匙。以这种方式,系统可以将用户查询中的车钥匙与可能位于建筑物内的任何其他车钥匙区分开。例如,系统可以解析图像数据以将同屋者的钥匙与用户的钥匙区分开。
在实施方式中,确定实体的位置可以包括利用通信信号。例如,实体可以具有与其相关联的标识符,例如,实体可以具有与其相关联的近场通信标签或其他标识标签。通信标签或标识符标签可以包括条形码、快速响应(QR)码、射频识别(RFID)标签、等。然后,系统可以访问传输数据以识别实体相对于一个或更多个接收器或可以捕获标识的其他设备的位置。例如,实体可以包含由处于该实体的空间中并且与增强现实系统进行通信的传感器读取的RFID装置。作为另一示例,实体可以具有附加至该实体的条形码或QR码标签,并且从具有该实体的空间中的图像捕获设备接收的图像数据可以识别实体的位置并且将该信息中继至增强现实系统。实体的NFC标识符与增强现实系统之间的通信可以是直接的或者可以是通过另外的系统部件中继的。
在实施方式中,增强现实系统可以使用飞行时间计算来确定实体相对于用户的当前位置的位置。在实施方式中,飞行时间可以指与实体相关联的信号行进预定距离(例如实体与增强现实系统之间的距离)所需的时间。附加地或替选地,飞行时间计算可以包括用户从一个位置行进至另一位置所花费的时间。飞行时间计算可以用于可能没有传感器来定位实体的位置中。如果系统尝试使用图像数据来确定实体的位置,则可能存在其中没有图像数据捕获设备的区域。例如,如果系统不包含主卧室中的图像捕获装置,则该系统可以使用飞行时间来确定实体可能处于无法获得图像捕获数据的主卧室中的可能性。换句话说,如果系统将实体的最后已知位置定位在邻近主卧室的房间中,则飞行时间计算可以确定实体可能已经移动到主卧室的可能性。这些计算可以基于实体移动的时间变量和空间变量以及可能移动所识别的实体的其他实体。
如果在302处不能确定实体的位置,则在303处系统可以不执行任何操作。替选地,系统可以向用户提供对于无法找到实体的指示。该输出可以是视觉的、听觉的、触感的、触觉的等。附加地或替选地,系统可以将无法定位的实体放置在列表中,系统在该列表中继续查找未找到的实体。如果在将来的某个时刻确定了上述未找到的实体的位置,则系统可以向用户提供指示。
然而,如果在302处系统能够确定实体的位置,则在304处系统可以提供对所确定的实体位置的指示。在实施方式中,该指示可以包括视觉指示、听觉指示、触觉指示、这些的组合等。关于视觉指示,实施方式可以在显示器的一部分上(例如在靠近电子设备的位置处、在显示器上的预定位置处等)显示一个或更多个增强现实图标。这些增强现实图标中的每个可以对应于所识别的实体或位置的图标或图像。例如,如果用户查询系统以查找车钥匙,则系统可以提供车钥匙的图标或图像。例如,系统可以根据在当前时间或者在系统最后识别出钥匙的位置时位于起居室中的咖啡桌上的钥匙的捕获图像数据来显示图像。附加地或替选地,系统可以提供所识别的实体的位置的名称。例如,系统可以向用户显示或可听地指示钥匙位于起居室中。
作为另一示例,系统可以提供去往所识别的实体或所识别的实体位置的图标或图片的方向。关于听觉指示,实施方式可以(例如,使用一个或更多个扬声器等)可听地描述所识别的实体的方向或位置。例如,系统可以用作对用户的导航系统例如以增强系统显示器上的覆盖图像的方式来提供指向所识别的实体的箭头。系统也可以给出从用户到所识别的实体的距离。换句话说,系统可以提供向用户提供定位实体所需的信息的指示。作为另一示例,在实体到达用户的位置处的示例中,系统可以在增强系统显示器上提供实体的图像。换句话说,系统为用户提供了“看穿墙壁”来查找实体或者识别已到达用户位置处的实体的方式。另外,系统可以提供与实体相关的其他信息。例如,如果实体到达用户位置处,则系统可以识别该实体并向用户通知该信息。
这样的系统对当前的实体定位系统提供了技术改进。所描述的系统提供了用于查找可能对用户隐藏的实体的技术。因此,替代用户必须走遍每个房间,系统提供了比手动寻找实体的传统方法更高效且更有效的用于识别建筑物内的实体的位置的技术。换句话说,该系统提供了使用传统技术无法提供的用于允许用户“看穿墙壁”的技术。
如本领域技术人员将理解的,各方面可以被实施为系统、方法或设备程序产品。因此,各方面可以采用完全硬件实施方式或者包括软件的实施方式的形式,这些在本文中可以全部统称为“电路”、“模块”或“系统”。此外,各方面可以采用在其中包含设备可读程序代码的一个或更多个设备可读介质中实现的设备程序产品的形式。
应当注意,可以使用由处理器执行的、存储在诸如非信号存储装置的的设备可读存储介质上的指令来实现本文中描述的各种功能。存储装置例如可以是系统、装置或设备(例如电子的、磁的、光学的、电磁的、红外的或半导体的系统、装置或设备)或者前述的任何适当的组合。存储装置/介质的更具体的示例包括以下:便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或闪速存储器)、光纤、便携式光盘只读存储器(CD-ROM)、光存储设备、磁存储设备或前述的任何适当的组合。在本文的上下文中,存储装置不是信号,并且“非暂态”包括除了信号媒介以外的所有媒介。
可以使用任何适当的介质来传送在存储介质上体现的程序代码,所述任何适当的介质包括但不限于无线、有线、光缆、RF等或前述的任何适当的组合。
用于执行操作的程序代码可以以一种或更多种编程语言的任意组合来编写。程序代码可以完全在单个设备上执行、部分地在单个设备上执行、作为独立软件包执行、部分地在单个设备上且部分地在另一设备上执行或者完全在其他设备上执行。在一些情况下,可以通过任何类型的连接或网络(包括局域网(LAN)或广域网(WAN))来连接设备,或者可以通过其他设备(例如通过使用因特网服务提供商的因特网)、通过无线连接例如近场通信或者通过硬线连接如通过USB连接来进行连接。
本文中参照示出根据各种示例性实施方式的示例性方法、设备和程序产品的附图描述了示例性实施方式。应当理解,动作和功能可以至少部分地由程序指令来实现。可以将这些程序指令提供给设备、专用信息处理设备或其他可编程数据处理设备的处理器以产生机器指令,使得经由设备的处理器执行的指令实现指定的功能/动作。
值得注意的是,虽然在附图中使用了特定块,并且已经示出了块的特定顺序,但是这些是非限制性示例。由于所明确示出的示例仅用于描述性目的并且不应被解释为进行限制,因此在某些情境下可以将两个或更多个块进行组合、可以将块划分成两个或更多个块、或者可以视情况对某些块进行重新排序或重新组织。
如本文中使用的,除非另有明确说明,否则单数“一(a)”和“一个(an)”可以被解释为包括复数“一个或更多个”。
已经出于说明和描述的目的呈现了本公开内容,但本公开内容并非旨在是穷举或限制性的。许多修改和变化对本领域普通技术人员而言将是明显的。选择和描述示例性实施方式是为了说明原理和实际应用,并且使本领域其他普通技术人员能够理解本公开内容以实现适合于预期的特定用途的具有多种修改的多种实施方式。
因此,尽管本文已经参照附图描述了说明性的示例实施方式,但应当理解的是,该描述不是限制性的,并且本领域技术人员可以在不偏离本公开内容的范围或精神的情况下作出各种其他变化和修改。

Claims (20)

1.一种提供实体位置的方法,包括:
使用增强现实系统接收与实体相关联的触发事件;
确定所述实体的位置,其中,所述确定包括识别所述实体的至少一个特性;以及
在所述增强现实系统中提供对所确定的位置的指示。
2.根据权利要求1所述的方法,其中,所述接收触发事件包括接收请求实体的位置的用户输入。
3.根据权利要求1所述的方法,其中,所述接收触发事件包括接收实体到达的指示。
4.根据权利要求1所述的方法,其中,所述确定包括访问视频图像数据以确定所述实体的所述位置。
5.根据权利要求4所述的方法,其中,所述确定还包括解析所述视频图像数据并且将经解析的视频图像数据与所述实体的所述至少一个特性进行比较。
6.根据权利要求1所述的方法,其中,所述确定包括捕获与所述实体相关联的标识符。
7.根据权利要求1所述的方法,其中,所述确定包括使用飞行时间计算来识别所述实体相对于用户的当前位置的位置。
8.根据权利要求1所述的方法,其中,所述识别至少一个特性包括识别所述实体并且获得与所识别的实体相关联的特性。
9.根据权利要求1所述的方法,其中,所述提供通知包括在所述增强现实系统的显示器上提供对所述实体相对于用户的方向的通知。
10.根据权利要求1所述的方法,其中,所述提供通知包括:通过将所述实体的图像覆盖在所述实体的所述位置的图像上来在所述增强现实系统的显示器上提供对所述实体的所述位置的通知。
11.一种信息处理设备,包括:
显示器装置;
处理器;
存储器装置,所述存储器装置存储能够由所述处理器执行以进行以下操作的指令:
使用增强现实系统接收与实体相关联的触发事件;
确定所述实体的位置,其中,所述确定包括识别所述实体的至少一个特性;以及
在所述增强现实系统中提供对所确定的位置的指示。
12.根据权利要求11所述的信息处理设备,其中,所述接收触发事件包括接收请求实体的位置的用户输入。
13.根据权利要求11所述的信息处理设备,其中,所述接收触发事件包括接收实体到达的指示。
14.根据权利要求11所述的信息处理设备,其中,所述确定包括访问视频图像数据以确定所述实体的所述位置。
15.根据权利要求14所述的信息处理设备,其中,所述确定还包括解析所述视频图像数据并且将经解析的视频图像数据与所述实体的所述至少一个特性进行比较。
16.根据权利要求11所述的信息处理设备,其中,所述确定包括捕获与所述实体相关联的标识符。
17.根据权利要求11所述的信息处理设备,其中,所述确定包括使用飞行时间计算来识别所述实体相对于用户的当前位置的位置。
18.根据权利要求11所述的信息处理设备,其中,所述识别至少一个特性包括识别所述实体并且获得与所识别的实体相关联的特性。
19.根据权利要求11所述的信息处理设备,其中,所述提供通知包括在所述增强现实系统的显示器上提供对所述实体相对于用户的方向的通知。
20.一种产品,包括:
其中存储有代码的存储装置,所述代码能够由处理器执行并且所述代码包括:
使用增强现实系统接收与实体相关联的触发事件的代码;
在电子设备处确定所述实体的位置的代码,其中,所述确定包括识别所述实体的至少一个特性;以及
在所述增强现实系统中提供对所确定的位置的指示的代码。
CN201910137279.0A 2018-02-26 2019-02-25 使用增强现实系统提供实体位置的方法及设备 Pending CN110196633A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/904,939 US20190266742A1 (en) 2018-02-26 2018-02-26 Entity location provision using an augmented reality system
US15/904,939 2018-02-26

Publications (1)

Publication Number Publication Date
CN110196633A true CN110196633A (zh) 2019-09-03

Family

ID=67685245

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910137279.0A Pending CN110196633A (zh) 2018-02-26 2019-02-25 使用增强现实系统提供实体位置的方法及设备

Country Status (2)

Country Link
US (1) US20190266742A1 (zh)
CN (1) CN110196633A (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4219250A1 (en) * 2022-01-27 2023-08-02 Volkswagen Ag Methods, computer programs, and apparatuses for an augmented reality device and for a key of a vehicle, augmented reality device and key for a vehicle

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105475A1 (en) * 2010-11-02 2012-05-03 Google Inc. Range of Focus in an Augmented Reality Application
CN105378625A (zh) * 2013-06-25 2016-03-02 微软技术许可有限责任公司 指示视野外的增强现实图像
US20160094810A1 (en) * 2014-09-30 2016-03-31 Verizon Patent And Licensing Inc. System and method for providing neighborhood services through networked cameras

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9118428B2 (en) * 2009-11-04 2015-08-25 At&T Intellectual Property I, L.P. Geographic advertising using a scalable wireless geocast protocol
US20120194549A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses specific user interface based on a connected external device type
US9361729B2 (en) * 2010-06-17 2016-06-07 Microsoft Technology Licensing, Llc Techniques to present location information for social networks using augmented reality
US9395875B2 (en) * 2012-06-27 2016-07-19 Ebay, Inc. Systems, methods, and computer program products for navigating through a virtual/augmented reality
US9886795B2 (en) * 2012-09-05 2018-02-06 Here Global B.V. Method and apparatus for transitioning from a partial map view to an augmented reality view
US9454220B2 (en) * 2014-01-23 2016-09-27 Derek A. Devries Method and system of augmented-reality simulations
KR102063076B1 (ko) * 2013-07-10 2020-01-07 엘지전자 주식회사 모바일 디바이스, 헤드 마운트 디스플레이 및 제어 방법
US11132711B2 (en) * 2014-12-23 2021-09-28 Facebook, Inc. Inline expansion of maps in content items
KR102389185B1 (ko) * 2017-10-17 2022-04-21 삼성전자주식회사 컨텐츠의 적어도 일부를 통해 표시된 입력 인터페이스를 이용하여 기능을 실행하기 위한 전자 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120105475A1 (en) * 2010-11-02 2012-05-03 Google Inc. Range of Focus in an Augmented Reality Application
CN105378625A (zh) * 2013-06-25 2016-03-02 微软技术许可有限责任公司 指示视野外的增强现实图像
US20160094810A1 (en) * 2014-09-30 2016-03-31 Verizon Patent And Licensing Inc. System and method for providing neighborhood services through networked cameras

Also Published As

Publication number Publication date
US20190266742A1 (en) 2019-08-29

Similar Documents

Publication Publication Date Title
KR102039427B1 (ko) 스마트 글라스
EP3042267B1 (en) Method of providing notification and electronic device thereof
EP3411780B1 (en) Intelligent electronic device and method of operating the same
CN105981365B (zh) 电子装置的拍摄方法及其电子装置
EP2940556A1 (en) Command displaying method and command displaying device
CN108388390A (zh) 控制指纹传感器的设备和方法
KR102481486B1 (ko) 오디오 제공 방법 및 그 장치
KR20160035248A (ko) 가상 오브젝트 제공 방법 및 그 전자 장치
US10055015B2 (en) Electronic device and method for controlling external object
CN106462247A (zh) 用于提供增强现实信息的可穿戴设备和方法
KR20160024168A (ko) 전자 장치의 디스플레이 제어 방법 및 전자 장치
KR20160051390A (ko) 전자장치 및 전자장치의 필터 제공 방법
KR102354055B1 (ko) 광학사물인식 기반 전자 장치 및 그 전자 장치의 운용 방법
KR20180099026A (ko) 외부 전자 장치를 이용한 촬영 방법 및 이를 지원하는 전자 장치
CN108234750A (zh) 用于检测盖设备的打开和闭合的电子设备及其操作方法
KR102452314B1 (ko) 컨텐츠 재생 방법 및 이를 지원하는 전자 장치
KR20150106719A (ko) 전자 장치의 촬영 위치 안내 방법 및 이를 이용한 전자 장치
KR20160035753A (ko) 메시지 자동 생성 방법 및 장치
KR102386893B1 (ko) 이미지 데이터의 보안 방법 및 이를 지원하는 전자 장치
CN106796651A (zh) 电子设备的多媒体数据处理方法及其电子设备
KR102368847B1 (ko) 객체에 대응하는 콘텐트를 출력하기 위한 방법 및 그 전자 장치
KR102579895B1 (ko) 전자장치, 이를 활용한 적외선 센서 기반의 심장 박동 수 측정 방법
EP3451213B1 (en) Electronic apparatus and method of transforming content thereof
KR20150137504A (ko) 영상처리 방법 및 이를 구현한 전자 장치
US11596764B2 (en) Electronic device and method for providing information for stress relief by same

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190903