CN103827728B - 使用光学遮挡识别目标对象 - Google Patents

使用光学遮挡识别目标对象 Download PDF

Info

Publication number
CN103827728B
CN103827728B CN201280045189.5A CN201280045189A CN103827728B CN 103827728 B CN103827728 B CN 103827728B CN 201280045189 A CN201280045189 A CN 201280045189A CN 103827728 B CN103827728 B CN 103827728B
Authority
CN
China
Prior art keywords
head mounted
characteristic
instruction
change
mounted display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280045189.5A
Other languages
English (en)
Other versions
CN103827728A (zh
Inventor
L·R·P·戈麦斯
池梁宇(汤姆)
R·赖斯坎普
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/184,900 external-priority patent/US8199974B1/en
Application filed by Google LLC filed Critical Google LLC
Priority to CN201611122024.XA priority Critical patent/CN107422840B/zh
Publication of CN103827728A publication Critical patent/CN103827728A/zh
Application granted granted Critical
Publication of CN103827728B publication Critical patent/CN103827728B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

描述了使用光学遮挡用于识别目标对象的方法和装置。头戴式显示器感知参考对象的特性。头戴式显示器检测感知到的参考对象的特性的改变,并且判定检测到的对象造成感知到的特性的改变。响应于做出判定,头戴式显示器将检测到的对象识别为目标对象。

Description

使用光学遮挡识别目标对象
背景技术
计算设备,例如个人计算机、膝上计算机、平板计算机、蜂窝电话和无数类型的互联网功能设备正越来越流行于现代生活的各方面。随着计算机变得更加先进,人们期望混合计算机产生的信息与用户对物理世界的感知的增强现实设备会变得更加常用。
为了提供增强现实体验,当用户处理他们每日生活的各方面时,用户可以穿着感知位置和环境的计算设备。这样的计算设备通常称为“可穿戴”计算机,其被配置用来感测和分析用户的环境,并且智能地向物理世界提供适当的信息如同用户体验的一样。这样的可穿戴计算机可以例如通过判定用户的地理位置、使用摄像机和/或传感器来检测用户视野内的对象、使用麦克风和/或传感器来检测用户正在听什么、以及使用各种其他传感器来收集关于用户周围环境的信息,来感测用户的周围。进一步的,可穿戴计算机可以使用生物传感器来检测用户自己的身体状态。然后可以分析由可穿戴计算机收集到的信息以判定什么信息应当被呈现给用户。
许多可穿戴计算机包括由用户穿着的头戴式显示器(HMD)或者采用由用户穿着的头戴式显示器(HMD)的形式。HMD通常提供靠近用户的眼睛的抬头显示器。同样的,HMD也可以被称为“近眼”显示器。HMD通常在用户感知的物理世界上覆盖计算机产生的图形(例如,文本、图像、视频等)。HMD可以包括一些形式的显示器,其以用户同时感知计算机产生的图形和物理世界的方式在用户的一个或两个眼睛前面渲染图形。包括在用户双眼前的显示器的HMD称为“双眼”HMD,而那些包括只在一只眼睛前的显示器的HMD称为“单眼”HMD。
HMD可以使用若干技术在用户的物理世界的视野中集成计算机产生的图形。例如,“透视”HMD可以在透明的表面上显示图形,以便用户看到覆盖在物理世界上的图形。如另一个示例,“环顾”HMD通过靠近用户的眼睛放置显示器,以便利用用户双眼之间的视觉“共享”并且创造显示是用户看到的部分世界的效果,来在物理世界上覆盖显示。
为了感测用户的环境,可穿戴计算机可以包括对准用户的参照系并且被装载以便追踪用户头部运动的“视角”视频摄像机。通过在给定的时间有效地捕捉用户看见了什么,可以分析这个视频以检测在用户的视野内的对象和/或人,以识别这些对象和/或人,并且在HMD中显示对应于这些对象和/或人的信息。此外,视频的分析可以被用于判定给定的对象或者人在用户的参照系内处在什么位置,并且在HMD中显示对应的信息,这样用户看到对应的信息就像“漂浮”在给定的对象或者人之上或者附近。
如一个示例,当用户正在看朋友,在用户HMD上的视频摄像机可以捕捉朋友的视频。然后可以使用例如熟知的脸部识别技术来分析视频。同样的,可以识别朋友,并且可以展示与朋友有关的信息,从而用户看到靠近他们的朋友的信息。例如,HMD可以展示朋友的名字、联系信息、生日等。发明内容
在许多场景中,在给定的时间可能有多个对象靠近HMD。为了HMD能够与对象交互(例如,执行脸部识别、光学特征识别等),可能需要HMD能够判定穿戴者要求与哪个对象互动。一个可能性是设计HMD来允许与预定的对象集交互。那些对象可以例如是穿戴者的身体部分(例如手臂、腿、手、脚、手指、脚趾等)。然而穿戴者可以要求与不同于预定的对象集的对象交互。
这里描述了用于使用光学遮挡(例如,由一个对象藏起、覆盖、重合或者屏蔽另一个对象)识别目标对象的方法和装置。在实施例中,HMD感知参考对象的特性。HMD检测感知到的参考对象的特性的改变,并且判定检测到的对象造成感知到的特性的改变。响应于做出判定,HMD将检测到的对象识别为目标对象。
例如,HMD可以装配传感器(例如摄像机)用于感知特性。在实施例中,参考对象可以是HMD穿戴者的手,并且感知到的特性可以是穿戴者的手的形状或者尺寸。在这个示例中,当穿戴者拿起名片并且把它握在他或她的手里时,HMD可以检测穿戴者的手的形状和尺寸的改变,因为从传感器的视角看,手的一部分变得被名片挡住。因为名片造成在感知到的特性中的改变,所以HMD会将名片识别为目标对象。当判定了名片(而不是在传感器的视野中的另一个对象)是目标对象时,HMD可以执行各种额外的功能,例如在名片上执行光学字符识别(OCR),并将名片的文本存储到可能存储在HMD或者在智能电话或者与HMD通信的其他设备的地址簿中。
对于本领域的普通技术人员,通过阅读以下的具体实施方式并在适当的地方参考附图,这些和其他的方面和优点将会变得明显。
附图说明
在这里参照以下附图描述了各种示例性的实施例,其中相似的数字表示相似的实体。
图1是示出了其中能实现可穿戴计算设备的示例性系统的简化框图。
图2是按照示例性的实施例的可穿戴计算机的简化框图;
图3是按照示例性的实施例的HMD的三维渲染;
图4是可以按照示例性的实施例实施的方法的流程图;
图5描述了按照示例性的实施例的HMD的使用场景;和
图6是可以按照示例性的实施例实施的方法的流程图。
具体实施方式
图1是示出了其中能实现可穿戴计算设备的示例性系统的简化框图。应当理解,在这里描述的这个和其他布置仅仅作为示例陈述。那些本领域的技术人员应当领会,可以作为替换或者额外使用其他的布置和元件(例如,机器、接口、功能、顺序和功能分组等),并且可以一起省略一些元件。进一步的,在这里描述的许多元件是功能实体,其可以实现为离散的或者分布的部件或者与其他部件结合,并且可以处于任何合适的组合和位置。可以由硬件、固件和/或软件实现在这里描述的由一个或多个实体执行的各种功能。可以由处理器执行存储在存储器中的指令来实现各种功能。
如显示的,网络100包括与LAN/WAN106通过接入点104进行通信的可穿戴计算机102。网络100还包括增强现实(AR)服务器108和数据源110A-C,其每个都连接到LAN/WAN106。可以展示额外的实体,例如与接入点104通信的额外的可穿戴计算机,以及与因特网106通信的额外的实体(例如接入点、服务器和/或数据源)。同样,也可以有一个或多个设备和/或网络组成一个或多个通信链路的至少一部分。
参考图2详细描述的可穿戴计算机102可以是布置用来实现在这里描述的可穿戴计算机功能的任何设备或者设备组合。
接入点104可以采用各种形式,例如无线接入点(WAP)或者无线路由器,用于经由例如802.11或者以太网来促进通信。额外的或者可替代地,接入点104可以采用在蜂窝网络中的基站的形式,用于在其他协议中经由CDMA和/或GSM协议促进通信。那些本领域的技术人员将会认识到,接入点104可以采用其他形式,并且经由其他协议提供通信,而不偏离权利要求的范围。
LAN/WAN106可以是公知的全球分组数据网络,通常称作因特网。然而,因特网106也可以是或者包括一个或多个其他分组数据网络,而不偏离所描述实施例的范围和精神。同样的,因特网106也可以包括一个或多个广域网络、一个或多个局域网络、一个或多个公共网络、一个或多个私有网络、一个或多个有线网络、一个或多个无线网络、和/或一个或多个任何其他类型的网络。与因特网106通信的设备可以使用分组交换协议(例如互联网协议(IP))交换数据,并且可以由地址(例如IP地址)识别。
AR服务器108例如可以帮助提高可穿戴计算机102的性能。由于尺寸、重量和/或成本约束可以限制由用户穿着的设备的数据存储和处理能力,因此转移一些(或者可能所有)数据处理功能到远程实体(例如AR服务器108)可以提供提高的处理能力到可穿戴计算机102。这对于由可穿戴计算机102的任何传感部件收集到的信息的潜在数据密集分析,和对于可穿戴计算机的任何显示器和/或用户界面的控制可能是有用的。
AR服务器108也可以包括(或者被连接到)一个或多个数据商店,其允许取回支持可穿戴计算机102的增强现实体验的数据。例如,AR服务器108可以经过一段时间收集特定于给定的可穿戴计算机102的数据,然后所述数据可以被用来定制用户体验。此外,AR服务器108可以合并从若干不同的可穿戴计算机在给定的位置捕捉到的特定位置数据。这样的数据然后可以被用于与来自可穿戴计算机102的传感设备的当前数据组合,以定制HMD显示到可穿戴计算机102的当前位置,和/或到可穿戴计算机102的穿戴者的特定用户偏好和倾向。
即使AR服务器108和数据源110A-C被示出为经由LAN/WAN106连接到可穿戴计算机102,但那些本领域的技术人员将会认识到这些实体可以通过不同的连接被连接到可穿戴计算机。例如,AR服务器108和/或数据源110A-C可以采用经由有线连接(例如USB)或者无线连接(例如蓝牙)与可穿戴计算机通信的智能电话的形式。
也应当注意,可穿戴计算机102自己可以包括数据存储,其中可穿戴计算机存储相似的数据,并且事实上,如果给予充足的存储和处理能力,可以不借助来自AR服务器108的任何支持而运行。然而,由于尺寸、重量和/或成本约束可能限制可穿戴计算机102的机载计算系统的数据存储和处理能力,远程实体例如AR服务器108可以为可穿戴计算机102提供优越的数据存储和/或数据取回能力,并且因此可以提高可穿戴计算机102的性能。
图2是可穿戴计算机的框图。如示出的,可穿戴计算机102可以包括用户界面202、传感器204、处理器206、数据存储装置208(包括程序指令210)和通信接口212,所有这些部件由总线或者其他通信链路214连接。并且也可以展示在图2中没有显示的其他实体,包括现在已知的或者为这样的设备今后开发的任何其他实体。进一步的,可穿戴计算机102可以包含不止一个在图2中描绘的任何一个实体,或者可以包含在图2中示出的那些实体的子集。可穿戴计算机102可以采用在下面参考图3描述的HMD的形式。
用户界面202可以用于促进与可穿戴计算机102的交互。因此,用户界面202可以采用以下形式:显示器(例如单眼的视频显示器)、扬声器、麦克风、键盘输入、触摸屏和/或用于接收输入和/或通信输出的任何其他元件。此外,用户界面202可以与一个或多个输入/输出设备经由通信接口212进行交互,这在下面详细描述。
传感器204可以是合适用来检测对象的特性的任何设备,例如其中有对象的位置、颜色和/或尺寸。同样的,传感器204可以采用以下形式:摄像机(例如测距摄像机、视频摄像机和/或静止摄像机)、雷达、激光、全球定位系统(GPS)接收器、红外传感器、光学传感器、生物传感器、射频识别(RFID)系统、无线传感器、加速计、陀螺仪、和/或指南针、或者现在已知的或者今后开发的任何传感器的组合。
例如,处理器206可以是通用微处理器和/或离散信号处理器。虽然在这里将处理器206描述为单个处理器,但本领域的技术人员将会认识到可穿戴计算机102可以包含多个(例如,并行)处理器。
数据存储装置208可以存储可以由处理器208执行以实现在这里描述的各种功能的一组机器语言程序指令210。作为替代,可以通过硬件替代地实现一些或者所有功能。此外,数据存储装置208可以存储各种数据以促进实现在这里描述的各种功能。此外,除了许多其他的可能性之外,数据存储装置208还可以保持用户界面数据。
通信接口212可以促进与一个或多个设备的通信,例如移动电话、功能电话、智能电话、膝上或者台式计算机、无线接入点和/或蜂窝基站。通信接口212能够促进在各种有线和/或无线接口上的通信,例如除了其他可能性之外,还有通用串行总线(USB)、IEEE1394(火线)、IEEE802.11(Wi-Fi)、蓝牙、GSM、GPRS、CDMA、EV-DO、WiMAX或者LTE。
图3是HMD形式的可穿戴计算设备的示例性的三维渲染。如显示的,HMD300包括单眼环顾显示器302、机载计算系统304、摄像机306、光学波导308。注意,也可以展示其他的实体,例如额外的传感器或者显示器,并且不是所有在图3中描绘中的实体都需要以任意特定配置呈现。
单眼视频显示器302可以定位置和定尺寸,使得所显示的图像显得覆盖在或者“漂浮”在用户物理世界的视野上,因此提供计算机产生的信息与用户对物理世界的感知融合的体验。为了提供这一体验,机载计算系统304(也许协同额外的实体,例如AR服务器108)可以被配置用来分析由摄像机306捕捉到的数据,以智能地判定(a)应当显示什么图形,和(b)应当如何显示图形(例如,在显示器上的位置、图形的尺寸等)。
机载计算系统304可以包括,例如,处理器、存储一组机器语言程序指令用于实现各种HMD功能的数据存储装置、以及通信接口。同样的,机载计算系统304可以控制单眼视频显示器302、从摄像机306接收输入、和/或促进与AR服务器108(在其他实体中)的通信。
摄像机306可以被安装到HMD300的框架上,并且可以被定向以一般地追踪穿戴者的参照系(例如,穿戴者的视角)。摄像机306的类型可以被选择作为工程设计选择。同样的,摄像机306可以以各种不同的分辨率和/或以不同的帧率(例如,不同的帧每秒(fps))捕捉图像或者视频。许多具有小形状因子的摄像机可以在HMD300中使用,例如那些在蜂窝电话、网络摄像头等中使用的摄像机。然而,应当理解示例性的实施例不限于任何特定类型的摄像机。
在示例性的实施例中,安装摄像机306以便捕捉用户的视角。特别的,摄像机306被安装在HMD300上,以便它定位且定向于与用户的眼睛大体上相同的方向,以捕捉大体上相似于穿戴者的视野的视野。其他配置也是可能的。如仅仅一个示例,摄像机300可以替代地安装于用户的前额或者在用户的眼睛中间,并且可以追踪与用户的眼睛相同的方向。如那样的安装,视频摄像机可以追踪用户头部的运动,并且因此在给定的时间点由摄像机306接收到的数据的视角将会大概捕捉在那个时间用户的参照系(即用户的视野)。也可能示例性的可穿戴计算机可以合并视频摄像机,其可以被配置用来捕捉相同的视野,或者捕捉不同的视角或者视野。
图4按照示例性的实施例描绘了方法的流程图。虽然方法400被描述为由HMD300实现,但该方法可以由任何其他数量的设备实现,例如除了其他可能性之外还有可穿戴计算机102。
如图4中显示的,方法400在步骤402中开始,HMD300感知参考对象的特性。特性可以是,例如,对象的形状、颜色、尺寸、面积和/或位置。
参考对象可以是具有将被感知的特性的任何对象。在一个示例性的实施例中,参考对象是HMD300的穿戴者的手。例如,参考图5,HMD300能够感知参考对象502的形状,其被描绘为手并且如在时间(a)显示的是打开并伸张的。例如通过感知穿戴者的手的全部可见区域,HMD300还可以感知穿戴者的手的尺寸。也可以感知穿戴者的手的其他特性。
在另一个实施例中,参考对象是计算机监视器。在这个实施例中,HMD300除了其他特性之外还可以感知计算机监视器的全部可见区域和/或形状。参考对象的其他示例可以包括穿戴者的其他身体部分(例如手指或者脚)和/或其他对象,例如电视机或者汽车风挡(其可能包括抬头显示器)。
在一个示例性的实施例中,穿戴者可以选择一个对象作为参考对象。例如,HMD300(可能通过摄像机306)可以检测存在一个或者多个对象(可能在穿戴者的视野内)。HMD300然后可以竟有例如显示器302的用户界面呈现提示,询问穿戴者选择哪个对象应当是参考对象。穿戴者可以例如使用用户界面202选择参考对象。
在另一个实施例中,HMD300判定那个对象是参考对象。例如,HMD300可以被设计用来以仅仅一个参考对象(例如穿戴者的手)运行。其他示例也是可能的,而不偏离权利要求的范围。
可以使用传感器(例如摄像机306)感知参考对象502的特性。在一个实施例中,HMD300可以通过使用经由摄像机306收集到数据(例如所感知的特性的指示)并将所述数据(可能使用通信接口212)发送到另一个实体(例如AR服务器108)来感知特性。AR服务器108然后可以存储接收到的数据以供后续使用,或者AR服务器108可以发送关于感知到的特性的信息到HMD300。在另一个实施例中,HMD300不使用AR服务器108来感知特性。虽然分离的实体被描述为采用AR服务器108的形式,但本领域的技术人员将会理解,也可以使用任何其他实体。例如,实体可以是智能电话或者由HMD300的穿戴者穿着的其他设备。
HMD300和/或AR服务器108也可以存储关于参考对象502的“训练数据”,以协助感知参考对象的特性。除了参考对象502之外,还有若干其他对象将会可能在摄像机306的视野中,例如在图5中时间(a)显示的检测到的对象504。训练数据可以包含关于参考对象的(例如)一般颜色、尺寸和形状的信息,其可以允许HMD300和/或AR服务器108在摄像机306的视野中从其它对象区分参考对象502。
在实施例中,HMD300可以接收指令以感知参考对象502的特性。在某些情况下,可能希望阻止HMD300尝试感知特性,例如当穿戴者希望节约用电和/或HMD的电池寿命时。因此,HMD300可以仅在接收感知特性的指令(或许来自HMD300的穿戴者)时感知参考对象502的特性。在另一个实施例中,HMD300总是感知(或者至少尝试感知)参考对象502的特性。其他示例也是可能的,而不偏离权利要求的范围。
方法400在步骤404处继续,HMD300检测感知到的参考对象的特性的改变。如果参考对象是穿戴者的手,则例如作为穿戴者抓住目标对象、或者把他或她的手放在目标对象之后的结果,感知到的特性可以改变。通过执行这些动作,手的形状改变(如由HMD300感知的)。
例如,参考图5,感知到的参考对象502的许多特性在时间(a)和时间(b)之间可以改变。例如,因为在时间(b),手的大部分面积被检测到的对象504(由名片代表)挡住,所以感知到的手的面积已经改变。作为推论,作为穿戴者抓住名片的结果,感知到的手的形状已经改变。这里没有描述的其他特性也可能已经改变。
在一个实施例中,HMD300可以通过使用经由摄像机306捕捉到的数据并且发送那个数据到AR服务器108来检测改变。AR服务器108然后可以在步骤402对接收到的数据与存储在AR服务器中的数据进行比较。在另一个实施例中,HMD300可以检测改变而不使用分离的实体。
在另一个实施例中,在前进到步骤406之前,HMD300可以判定在感知到的特性中的改变已经持续了一段最小阈值时间。例如,如果HMD300的穿戴者正在走路,并且穿戴者的手正在摆动进出摄像机306的视野,那么仅在较短时间内,HMD300可以检测感知到的特性的大量改变。为了阻止这样的结果,在前进到步骤406之前,HMD300可以判定改变已经持续了最少三秒(例如)。也可以使用其他时间段。
方法400在步骤406继续,其中HMD300做出判定:检测到的对象造成感知到的特性的改变。例如,参考图5,HMD300可以判定检测到的对象504(名片)造成在参考对象502(手)的形状和/或尺寸的改变。
尽管检测到的对象504被描绘为名片,但本领域的技术人员将会认识到,检测到的对象可以是能够造成在感知到的参考对象502的特性中的改变的任何对象。同样的,检测到的对象504除了许多其他示例之外还可以采用智能手机、书、DVD或者食品的形式。
判定检测到的对象504造成改变可以包括HMD300参考存储的训练数据以判定:如果不是检测到的对象,则参考对象502的特性改变通常不会发生。例如,如果参考对象502是穿戴者的手,且如果穿戴者合上或者攥紧他或她的手,那么感知到的特性的改变可以发生。在这种情况下,感知到的参考对象的尺寸和/或形状可以改变,即使检测到的对象不造成这样的改变。
因此,训练数据可以存储关于以下内容的信息:要不是由于出现了检测到的对象504,感知到的特性的改变是否已经发生。例如,如图5所示,要不是由于出现了名片,穿戴者的手的感知到的形状本将包括空隙(如HMD所感知的)。要不是由于出现了检测到的对象,在穿戴者的手中的这个“洞”通常本不会发生。
虽然描述了一种方法用于判定检测到的对象造成在感知到的特性中的改变,但本领域的技术人员将会认识到,其他方法是可能的而不偏离权利要求的范围和精神。
方法400在步骤408继续,其中HMD300识别检测到的对象作为目标对象。在一个实施例中,HMD300可以在没有穿戴者的任何介入的情况下,识别检测到的对象504作为目标对象,然后使用目标对象执行额外的操作。
在另一个实施例中,HMD300可以呈现提示请求确认检测到的对象504是目标对象,并且接收确认检测到的对象504是目标对象。这样的实施例在以下场景可以是有用的,例如,HMD300还没有关于参考对象502的充足的训练数据,可能造成HMD300错误地识别了在感知到的特性中的改变是由参考对象造成的。这个实施例在下面的场景也可以是有用的,其中多个检测到的对象造成在感知到的特性中的改变。如果穿戴者要求仅与一个检测到的对象互动,那么HMD300可以请求确认多个检测到的对象中的一个是目标对象。
在实施例中,已经将检测到的对象504识别为目标对象时,HMD300可以在目标对象上执行额外的操作。例如,如上所述,HMD300可以在目标对象上执行OCR。除了存储识别的文本,HMD300可以使用识别的文本以呈现关于目标对象的额外信息。例如,如果目标对象是在书店找到的书或者在电影租赁店找到的DVD,HMD300可以呈现那本书或者DVD的评论,允许穿戴者判定是否购买和/或租借该书或DVD。如另一个示例,如果目标对象是在快餐店购买的食品,则HMD300可以呈现关于那个食品的营养信息。本领域的技术人员将会认识到,许多其他示例也是可能的,而不偏离权利要求的范围。
如上所述,可以由区别于HMD300的实体促进关于目标对象的额外信息的呈现,除了其他可能性之外例如AR服务器108和/或与HMD300通信的智能电话。一个或多个数据源110A-C可以存储关于目标对象的信息,并且将所述信息提供给例如AR服务器108和/或智能电话。
图6描绘了示例性的方法的流程图。方法600大致相似于方法400,除了不是检测到的对象504(可能位于参考对象502和HMD300之间)造成感知到的参考对象的特性的改变(和HMD300将检测到的对象识别为目标对象),而是在检测到的对象和HMD300之间的参考对象造成感知到的检测到的对象的特性的改变。
如图6显示的,方法600在步骤602开始,其中HMD300感知检测到的对象的特性。在步骤604,HMD300检测感知到的检测到的对象的特性的改变。这个改变可能会产生,例如,因为HMD300的穿戴者将手指放置在远处的目标对象(例如电影海报或者快餐店菜单)之间,造成检测到的对象的形状、尺寸或者其他特性改变。
方法600在步骤606继续,其中HMD300判定参考对象造成感知到的特性改变。在步骤608,HMD300将检测到的对象识别为目标对象。再次,HMD300可以呈现提示,请求确认检测到的对象是目标对象,并且接收检测到的对象是目标对象的确认。这可能是适当的,因为当目标对象处于远处时,参考对象可以指向或者覆盖多个目标对象,并且因此对于多个检测到的对象造成感知到的特性的改变。
本领域的技术人员将会领会到,作为替代可以使用其他布置和元件(例如,机器、接口、功能、顺序和功能分组等),并且可以一同省略一些元件。进一步的,在这里描述的许多元件是功能实体,其可以实现为离散的或者分布的部件或者与其他部件协同,并且可以处于任何合适的组合和位置。可以由硬件、固件和/或软件实现在这里描述的由一个或多个实体执行的各种功能。可以由处理器执行存储在存储器中的指令实现各种功能。

Claims (20)

1.一种由头戴式显示器执行的用于识别目标对象的方法,所述方法包括:
经由耦合到所述头戴式显示器的传感器感知参考对象的特性;
经由所述传感器检测感知到的所述参考对象的特性的改变;
判定检测到的对象造成感知到的特性的改变;
响应于做出所述判定,将所述检测到的对象识别为所述目标对象;以及
对所述目标对象执行额外的操作。
2.根据权利要求1所述的方法,其中所述头戴式显示器包括处理器和具有指令的数据存储装置,如果所述指令被所述处理器执行,则使得所述头戴式显示器执行所述方法。
3.根据权利要求1所述的方法,其中所述传感器是耦合到所述头戴式显示器的摄像机。
4.根据权利要求1所述的方法,其中所述特性是以下中的一个:形状、颜色、尺寸、面积和位置。
5.根据权利要求1所述的方法,其中所述参考对象是从包含手臂、手、手指、腿、脚和脚趾的分组中选择的身体部分。
6.根据权利要求1所述的方法,其中检测所述感知到的特性的改变包括:判定所述改变已经持续了一段最小阈值时间。
7.根据权利要求1所述的方法,其中将所述检测到的对象识别为所述目标对象包括:(i)经由所述头戴式显示器呈现提示,请求确认所述检测到的对象是所述目标对象,和(ii)经由所述头戴式显示器的用户界面接收所述确认。
8.一种头戴式显示器,包括:
传感器;
处理器;和
其上存储有指令的数据存储装置,如果所述指令被处理器执行,则使得所述头戴式显示器执行包括以下各项的功能:
经由所述传感器感知参考对象的特性;
经由所述传感器检测感知到的所述参考对象的特性的改变;
判定检测到的对象造成所述感知到的特性的改变;
响应于做出所述判定,将所述检测到的对象识别为目标对象;以及
对所述目标对象执行额外的操作。
9.根据权利要求8所述的头戴式显示器,其中所述传感器是耦合到所述头戴式显示器的摄像机。
10.根据权利要求8所述的头戴式显示器,其中所述特性是以下中的一个:形状、颜色、尺寸、面积和位置。
11.根据权利要求8所述的头戴式显示器,其中所述参考对象是从包含手臂、手、手指、腿、脚和脚趾的分组中选择的身体部分。
12.根据权利要求8所述的头戴式显示器,其中用于检测所述感知到的特性的改变的指令包括用于判定所述改变已经持续了一段最小阈值时间的指令。
13.根据权利要求8所述的头戴式显示器,其中用于将所述检测到的对象识别为目标对象的指令包括:用于(i)经由所述头戴式显示器呈现提示,请求确认所述检测到的对象是所述目标对象的指令,和用于(ii)经由所述头戴式显示器的用户界面接收所述确认的指令。
14.一种头戴式显示器,包括:
传感器;
处理器;以及
其上存储有指令的数据存储装置,如果所述指令由所述处理器执行,则使得所述头戴式显示器执行包括以下各项的功能:
经由所述传感器感知检测到的对象的特性;
经由所述传感器检测感知到的所述检测到的对象的特性的改变;
判定参考对象造成感知到的特性的改变;
响应于做出所述判定,将所述检测到的对象识别为目标对象;以及
对所述目标对象执行额外的操作。
15.根据权利要求14所述的头戴式显示器,其中所述传感器是连接到所述头戴式显示器的摄像机。
16.根据权利要求14所述的头戴式显示器,其中所述特性是以下中的一个:形状、颜色、尺寸、面积和位置。
17.根据权利要求14所述的头戴式显示器,其中所述参考对象是从包含手臂、手、手指、腿、脚和脚趾的分组中选择的身体部分。
18.根据权利要求14所述的头戴式显示器,其中用于检测所述感知到的特性的改变的指令包括用于判定所述改变已经持续了一段最小阈值时间的指令。
19.根据权利要求14所述的头戴式显示器,其中用于检测所述感知到的特性的改变的指令包括用于将所述感知到的特性的指示发送到与所述头戴式显示器通信的实体的指令。
20.根据权利要求14所述的头戴式显示器,其中用于将所述检测到的对象识别为目标对象的指令包括:用于(i)经由所述头戴式显示器呈现提示,请求确认所述检测到的对象是所述目标对象的指令,和用于(ii)经由所述头戴式显示器的用户界面接收所述确认的指令。
CN201280045189.5A 2011-07-18 2012-07-18 使用光学遮挡识别目标对象 Active CN103827728B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201611122024.XA CN107422840B (zh) 2011-07-18 2012-07-18 用于识别目标对象的方法和系统

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US13/184,900 US8199974B1 (en) 2011-07-18 2011-07-18 Identifying a target object using optical occlusion
US13/184,900 2011-07-18
US13/493,758 2012-06-11
US13/493,758 US8724853B2 (en) 2011-07-18 2012-06-11 Identifying a target object using optical occlusion
PCT/US2012/047254 WO2013012960A2 (en) 2011-07-18 2012-07-18 Identifying a target object using optical occlusion

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201611122024.XA Division CN107422840B (zh) 2011-07-18 2012-07-18 用于识别目标对象的方法和系统

Publications (2)

Publication Number Publication Date
CN103827728A CN103827728A (zh) 2014-05-28
CN103827728B true CN103827728B (zh) 2016-12-28

Family

ID=47558712

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201611122024.XA Active CN107422840B (zh) 2011-07-18 2012-07-18 用于识别目标对象的方法和系统
CN201280045189.5A Active CN103827728B (zh) 2011-07-18 2012-07-18 使用光学遮挡识别目标对象

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201611122024.XA Active CN107422840B (zh) 2011-07-18 2012-07-18 用于识别目标对象的方法和系统

Country Status (4)

Country Link
US (1) US8724853B2 (zh)
EP (1) EP2734890B1 (zh)
CN (2) CN107422840B (zh)
WO (1) WO2013012960A2 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9390032B1 (en) * 2012-06-27 2016-07-12 Amazon Technologies, Inc. Gesture camera configurations
US20140191927A1 (en) * 2013-01-09 2014-07-10 Lg Electronics Inc. Head mount display device providing eye gaze calibration and control method thereof
US9619021B2 (en) 2013-01-09 2017-04-11 Lg Electronics Inc. Head mounted display providing eye gaze calibration and control method thereof
KR20140090552A (ko) 2013-01-09 2014-07-17 엘지전자 주식회사 시선 캘리브레이션을 제공하는 헤드 마운트 디스플레이 및 그 제어 방법
KR20150018264A (ko) * 2013-08-09 2015-02-23 엘지전자 주식회사 안경형 단말기의 정보 제공 장치 및 그 방법
KR102303115B1 (ko) 2014-06-05 2021-09-16 삼성전자 주식회사 웨어러블 디바이스 및 웨어러블 디바이스 의 증강 현실 정보 제공 방법
TWI512644B (zh) * 2014-08-21 2015-12-11 Coretronic Corp 智慧型眼鏡及使用智慧型眼鏡的人臉辨識與提示方法
US20160057267A1 (en) * 2014-08-22 2016-02-25 Microsoft Technology Licensing, Llc Unified command protocol for different communication interfaces
US9679475B1 (en) * 2016-04-05 2017-06-13 Conduent Business Services, Llc System and method for smart, rational and collaborative location tracking for trip planners
JP6500842B2 (ja) * 2016-06-03 2019-04-17 京セラドキュメントソリューションズ株式会社 印刷システム
EP3516630A4 (en) 2016-09-22 2020-06-03 Magic Leap, Inc. SPECTROSCOPY WITH EXTENDED REALITY
US11782669B2 (en) 2017-04-28 2023-10-10 Microsoft Technology Licensing, Llc Intuitive augmented reality collaboration on visual data
US11480467B2 (en) 2018-03-21 2022-10-25 Magic Leap, Inc. Augmented reality system and method for spectroscopic analysis
KR102277691B1 (ko) * 2018-12-19 2021-07-15 라인플러스 주식회사 얼굴 이미지와 메신저 계정의 연동에 기반한 이미지 관리 방법 및 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162524A (zh) * 2006-08-11 2008-04-16 佳能株式会社 图像处理设备及方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030164819A1 (en) 2002-03-04 2003-09-04 Alex Waibel Portable object identification and translation system
JP4136420B2 (ja) * 2002-03-29 2008-08-20 キヤノン株式会社 情報処理方法および装置
US7263206B1 (en) * 2002-05-10 2007-08-28 Randy L. Milbert Differentiating friend from foe and assessing threats in a soldier's head-mounted display
US7778445B2 (en) * 2006-06-07 2010-08-17 Honeywell International Inc. Method and system for the detection of removed objects in video images
US9317110B2 (en) 2007-05-29 2016-04-19 Cfph, Llc Game with hand motion control
KR100860741B1 (ko) * 2007-07-09 2008-09-29 (재)대구경북과학기술연구원 이미지 패턴 분석을 통한 모니터링 서비스 제공 방법 및 모니터링 서비스 제공 시스템
WO2009128784A1 (en) * 2008-04-14 2009-10-22 Xid Technologies Pte Ltd Face expressions identification
FR2933218B1 (fr) 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
JP5293025B2 (ja) * 2008-09-11 2013-09-18 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9569001B2 (en) 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
CN101551732A (zh) * 2009-03-24 2009-10-07 上海水晶石信息技术有限公司 带有交互功能的增强现实的方法及其系统
JP2013521576A (ja) 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
KR101029730B1 (ko) * 2010-09-09 2011-04-18 주식회사 대덕지에스 사람과 차량을 식별하는 영상 감시 장치
US8199974B1 (en) * 2011-07-18 2012-06-12 Google Inc. Identifying a target object using optical occlusion

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101162524A (zh) * 2006-08-11 2008-04-16 佳能株式会社 图像处理设备及方法

Also Published As

Publication number Publication date
US8724853B2 (en) 2014-05-13
EP2734890B1 (en) 2020-02-19
WO2013012960A2 (en) 2013-01-24
CN103827728A (zh) 2014-05-28
US20130142387A1 (en) 2013-06-06
CN107422840A (zh) 2017-12-01
CN107422840B (zh) 2020-08-25
EP2734890A2 (en) 2014-05-28
EP2734890A4 (en) 2015-07-08
WO2013012960A3 (en) 2013-04-25

Similar Documents

Publication Publication Date Title
CN103827728B (zh) 使用光学遮挡识别目标对象
CN110209952B (zh) 信息推荐方法、装置、设备及存储介质
JP5468585B2 (ja) オブジェクト間の関連性を利用した拡張現実提供装置及び方法
US9418481B2 (en) Visual overlay for augmenting reality
TWI615776B (zh) 移動物件的虛擬訊息建立方法、搜尋方法與應用系統
KR101157597B1 (ko) 모바일 단말 및 모바일 단말을 이용한 인맥 형성방법
TW201403443A (zh) 資訊處理設備、顯示控制方法及程式
TW201013158A (en) Mobile imaging device as navigator
US20150193977A1 (en) Self-Describing Three-Dimensional (3D) Object Recognition and Control Descriptors for Augmented Reality Interfaces
US11669722B2 (en) Artificial intelligence refrigerator
US8199974B1 (en) Identifying a target object using optical occlusion
KR20130053535A (ko) 무선 통신 디바이스를 이용한 건물 내부의 증강현실 투어 플랫폼 서비스 제공 방법 및 장치
KR20180100074A (ko) 공간객체 검색결과 정렬 방법, 시스템 및 컴퓨터 독취가능 저장장치
WO2018087462A1 (fr) Dispositif individuel d'immersion visuelle pour personne en mouvement avec gestion des obstacles
Irfan et al. Crowd analysis using visual and non-visual sensors, a survey
CN118103799A (zh) 与远程设备的用户交互
CN108881846A (zh) 信息融合方法、装置及计算机可读存储介质
US20230068730A1 (en) Social connection through distributed and connected real-world objects
JP2019075126A (ja) 情報処理装置及びプログラム
US10796459B2 (en) Information processing apparatus and non-transitory computer readable medium for executing information processing
Iglesias et al. An attitude-based reasoning strategy to enhance interaction with augmented objects
JP7094759B2 (ja) システム、情報処理方法及びプログラム
JP2021071967A (ja) 対応支援システム、方法及びプログラム
US20240111391A1 (en) Presenting extended reality content in different physical environments
US20230069328A1 (en) Snapshot messages for indicating user state

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: American California

Patentee after: Google limited liability company

Address before: American California

Patentee before: Google Inc.

CP01 Change in the name or title of a patent holder