CN106062783B - 用于眼平扫描器和显示器的指针跟踪 - Google Patents

用于眼平扫描器和显示器的指针跟踪 Download PDF

Info

Publication number
CN106062783B
CN106062783B CN201480069100.8A CN201480069100A CN106062783B CN 106062783 B CN106062783 B CN 106062783B CN 201480069100 A CN201480069100 A CN 201480069100A CN 106062783 B CN106062783 B CN 106062783B
Authority
CN
China
Prior art keywords
information
image
computer
sensor
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480069100.8A
Other languages
English (en)
Other versions
CN106062783A (zh
Inventor
F.A.卡杜拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Amazon Technologies Inc
Original Assignee
Amazon Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US14/108837 priority Critical
Priority to US14/108,837 priority patent/US9151953B2/en
Application filed by Amazon Technologies Inc filed Critical Amazon Technologies Inc
Priority to PCT/US2014/070418 priority patent/WO2015095084A1/en
Publication of CN106062783A publication Critical patent/CN106062783A/zh
Application granted granted Critical
Publication of CN106062783B publication Critical patent/CN106062783B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B27/0172Head mounted characterised by optical features
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 – G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002Specific input/output arrangements not covered by G06F3/02 - G06F3/16, e.g. facsimile, microfilm
    • G06F3/005Input arrangements through a video camera
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/014Head-up displays characterised by optical features comprising information/image processing systems
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • G02B2027/0178Eyeglass type, eyeglass details G02C
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS, OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted

Abstract

一种可佩戴计算机装置可包括协同工作以辨识所述装置位于其中的环境的条件、对象或区域的多个成像装置或其他传感器。所述装置可包括用于感测和捕获关于所述环境的信息的成像装置和传感器,其可以是但不必是成像装置。所述传感器可被配置来执行诸如辨识特定物品的一个或多个特定任务,并且所述成像装置可通常被配置来执行多个任务。在由所述传感器执行特定任务时,关于所述特定任务的信息或指令可提供给所述装置的佩戴者,或者可引起所述成像装置自动地操作来搜集另外的信息。从所述成像装置或所述传感器搜集的信息可诸如在安装到所述装置的计算机显示器上提供给所述用户。

Description

用于眼平扫描器和显示器的指针跟踪
背景
当前,一些可佩戴计算机装置包括用于捕获静止或移动图像的摄像机或其他光学传感器。此类摄像机可用于沿着由身体的延伸限定的轴线捕获图像,可佩戴计算机装置被佩戴在所述身体上。例如,佩戴在人头部周围的可佩戴计算机装置可安装到衣物制品或诸如帽子或一副眼镜的配件,并且可包括摄像机,所述摄像机对准以在人所注视的方向上或者在头部所指向的方向上捕获图像。就这一点而言,可佩戴计算机装置可功能性地记录或复制人的视野,诸如通过基于头部周围的可佩戴计算机装置的取向来捕获图像或人所看到的其他信息。此类图像或其他信息或其部分可随后呈现在可由人的一只或两只眼睛观察到的计算机显示器(例如,在人的视野中的小型化平视显示器)上。
尽管具有摄像机或其他光学传感器的大多数可佩戴计算机装置可沿着选定轴线或者在选定方向上捕获图像,但此类装置通常不能捕获不在用户视野内(即,沿着不同于视野的轴线或方向的方向)的对象或特征的图像。此外,此类装置通常可能不被编程或配置来自动捕获在此类视野内的图像,或者自动辨识在此类图像内表示的对象或特征。因此,大多数可佩戴计算机装置的功能受到阻碍,因为它们分析此类图像或者向用户提供关于此类图像内容的信息的能力的范围受限于用户已观察到的事物。此外,可能通常仅在用户的人工移动(诸如头部的扭转或倾斜)时训练安装到或设置在可佩戴计算机装置内的摄像机或其他光学传感器。
具体实施方式
如下文更详细阐述的,本公开涉及增强可佩戴计算机装置的辨识物品并向用户提供关于物品的信息的能力,所述物品在可佩戴计算机装置的范围内,例如,在一个或多个计算机显示器或者其他计算机输出装置上。具体地,本文公开的系统和方法涉及可佩戴计算装置,所述可佩戴计算装置可包括:用于沿着可训练的轴线或者在可训练的方向上捕获信息(例如一个或多个静止或移动图像)的主成像装置(例如,数字摄像机)或其他传感器,以及次级成像装置或传感器。次级成像装置或其他传感器可被配置来在搜寻具体地在传感器的特定景深内的预限定物品、条件、状态或事件中的一个或多个中,扫描或以其他方式分析可佩戴计算机装置附近的信息。此类物品、条件、状态或事件可基于其任何属性来辨识。
当次级成像装置或传感器辨识预限定物品、条件、状态或事件中的一个或多个时,诸如信号或警报的指示符可被提供给主成像装置或传感器,提供给可佩戴计算机装置的佩戴者,或者提供给任何其他设备或其用户。指示符可在例如与可佩戴计算机装置关联的眼平显示器的计算机显示器上示出,或者由诸如扬声器或打印机的任何其他计算机输出装置提供,或者呈诸如文本消息或电子邮件消息的另一种格式,并且响应于指示符可采取任何动作。例如,佩戴者可随后沿着特定轴线或者在特定方向上手动地训练主成像装置(即,以便直接评估物品或条件)。可替代地,可沿着特定轴线或者在特定方向上自动地训练主成像装置。
在下文中提供根据本公开的实施方案的眼平扫描器。根据本公开的实施方案的系统具有眼平扫描器。这些实施方案之一中的眼平扫描器包括眼镜框、安装到眼镜框的主成像装置、次级传感器以及眼平显示器。这些实施方案中的另一个中的眼平扫描器包括安装到眼镜框的相对侧的主成像装置和次级传感器,以及眼平显示器。这些实施方案之一中的次级传感器可与主成像装置功能性地接合,或者通过诸如或任何无线保真(或“WiFi”)协议的标准协议下的无线通信而与一个或多个外部网络功能性地接合。这些实施方案中的另一个中的眼平扫描器包括眼镜框和安装到所述眼镜框的主成像装置,连同可物理地和/或功能性地接合到主成像装置的次级传感器,以及眼平显示器。
因此,本公开的系统和方法可包括:可被配置来执行任何数量的一般功能的主摄像机或传感器,以及可被配置来执行一个或多个特定功能(例如,搜寻一个或多个特定物品或条件)的次级摄像机或传感器。本公开的主摄像机或传感器以及次级摄像机或传感器可设置在连续单元中,或者可设置成系统的彼此通信的离散部分。此外,尽管某些实施方案中的的主成像装置或次级传感器中的一些被安装到有待佩戴在用户的头部周围的眼镜框,但是本文公开的系统和方法不限于此,并且主成像装置或次级传感器中的一个或多个可但不必被佩戴或安装到任何身体部分。类似地,尽管这些实施方案中的的眼平显示器被配置在眼镜框的镜片内,但是本文公开的系统和方法不限于此,并且信息可通过任何形式的输出装置(包括显示器、扬声器、打印机等)提供给系统的用户或者提供给其他个人或机器,所述输出装置不必专门用于与眼平扫描器相关联的使用或者不必由用户佩戴。
相关领域的普通技术人员认识到,随着计算机继续发展,诸如电路板、处理器、存储器、数据存储库或其他存储装置的计算机相关部件以及任何其他电气元件随时间推移变得越来越小。根据普遍接受的历史观察,在过去的几十年,计算机相关的性能指标,诸如集成电路上的晶体管的平均数量、平均处理速度、平均存储器容量以及计算机显示器的平均像素密度全都已看到持久的指数或接近指数的增长。计算机技术中的技术改进已经使得计算机部件能够被小型化,从而增加可在其中利用此类部件的环境和应用的数量和类型。此外,计算机现在包括多个附件或外围装置或者可与其关联,所述多个附件或外围装置诸如数字摄像机或其他传感器、打印机、显示器、扬声器等。此类附件或外围装置可物理地安装到计算机或以其他方式与计算机接合,或者通过一种或多种有线或无线手段而功能性地或可操作地与计算机接合。
诸如数字摄像机的现代光学传感器通过电子捕获从对象反射的光并且向反射光的一个或多个方面分配量化值(诸如像素)来操作。有别于传统的摄像机,其引导光穿过光学元件朝向嵌入在膜中的光敏化学受体阵列,并且利用在其上发生的化学反应来生成与经过的光相关联的图像,数字摄像机可包括一个或多个传感器,所述一个或多个传感器具有与其相关联的一个或多个滤波器。数字摄像机的传感器可对应于在反射光中表示的一个或多个基色(例如,红色、绿色或蓝色)来捕获关于反射光的任何数量的像素的信息,并且将与像素颜色相关联的值作为一个或多个数据文件存储在数据存储库中,或者将此类值传输到外部计算机装置以便进行进一步分析或再现。数字摄像机可包括一个或多个板上数据存储库,以及一个或多个可移除数据存储库(例如,闪存装置),并且可将存储在一个或多个数据存储库中的数据文件打印到纸上、显示在一个或多个计算机显示器上或者经受一个或多个分析,诸如以识别其中所表示的物品。
数字摄像机可捕获在其视野内的物品的一个或多个图像,所述视野根据摄像机内的传感器与镜头之间的距离(也就是,焦距)而确定。在对象出现在景深内或者视野内的清晰度和聚焦足够强烈的距离内的情况下,数字摄像机可使用传感器以足够高度的分辨率捕获反射离开任何种类的对象的光,并且将关于反射光的信息存储在一个或多个数据文件中。
可以任意种方式从图像提取关于数字图像中表示的特征或对象的信息和/或数据。例如,可根据一个或多个标准确定和量化数字图像中的一个像素或一组像素的颜色,所述标准例如RGB(“红-绿-蓝”)颜色模型,其中像素中的红色、绿色或蓝色的部分以范围为从0到的值的三个对应的数字表示;或十六进制模型,其中像素的颜色以六字符码表示,其中每个字符的范围可以是十六。此外,数字图像中所表示的特征或对象的纹理可使用一个或多个基于计算机的方法来识别,诸如通过识别图像的区域或扇区内的强度变化,或者通过限定图像的对应于特定表面的区域来识别纹理。此外,可使用一种或多种算法或机器学习工具在数字图像中识别对象的外形。例如,一些此类算法或工具可辨识数字图像中的对象的边缘、轮廓或外形或者对象的部分,并且可对照包含关于已知对象的边缘、轮廓或外形的信息的数据库来匹配对象的边缘、轮廓或外形。
如同其他计算机部件,在过去几年中,可与计算机关联的数字摄像机也已看到伴随着的尺寸的减小和利用率的增加。数字摄像机现在经常包括在诸如智能手机或平板计算机的便携式计算装置中,并且特征在于足够小的镜头、传感器、滤波器、孔、快门或其他部件,以及用于手动或自动操作部件中的一个或多个或者用于重新定向摄像机的轴线或方向的电机和/或控制器。此类摄像机还可包括任何类型的镜头,诸如定焦或固定变焦镜头,以及光学变焦或数字变焦镜头。此外,此类摄像机还可包括诸如激光或发光二极管(或“LED”)指针的指向装置或者用于瞄准或定向摄像机的指向装置。例如,LED或激光指针可从外部照射对象,或者可用于照射快门或其他取景窗,并且可使用指针或任何其他手段来确定距离或关于对象的其他度量。这种距离或度量可用于,即,通过调整摄像机的焦距来配置一个或多个摄像机或传感器。
此外,如果其他形式的光学的基于计算机的传感器(包括条形码读取器、数据标签读取器、颜色传感器、温度传感器、热传感器或运动传感器)的尺寸适当,那么此类传感器也可包括在计算机设备中。另外,此类传感器可直接并入到摄像机或其他光学传感器中。例如,与计算机装置关联的条形码读取器可通过使用光源(例如,二极管、电荷耦合装置或激光)照射条形码并测量反射离开条形码的交替的白色和黑色部分的光的强度来读取和辨识条形码,诸如一维条形码或二维快速响应条形码,或者“QR”条形码。可替代地,条形码读取器可通过捕获条形码的图像并执行图像的一个或多个分析以便解码条形码来读取和辨识条形码。数据标签读取器可捕获关于诸如bokode的一个或多个数据标签的信息,所述数据标签读取器可包括覆盖有掩模或镜头的一个或多个LED装置,所述掩模或镜头可通过使用数字摄像机或其他成像装置被捕获或记录,并且被解释以便识别与其相关联的任何信息或数据。相关领域的普通技术人员将进一步认识到诸如数字摄像机的成像装置可用于辨识可进一步与其他信息或数据相关联的其他物品或标识符,包括字符、数字、符号或颜色。
本公开的系统和方法涉及提供具有一个或多个摄像机或传感器的可佩戴计算机装置,诸如实施方案中的装置。此类装置可包括:主摄像机或传感器,诸如专用于执行一个或多个一般任务的摄像机;以及次级摄像机或传感器,其也可以是摄像机,并且可被编程或配置用于诸如通过以下方式执行与装置位于其中的环境相关的一个或多个特定任务:基于可由主摄像机或传感器或者次级摄像机或传感器捕获的图像或其他数字数据来辨识物品、条件、状态或事件。次级摄像机或传感器还可感测温度、颜色或其他环境信息,所述信息还可被分析以便识别与其相关联的物品、条件、状态或事件。
根据本公开的一个实施方案,一旦已经使用次级摄像机或传感器辨识物品、条件、状态或事件,就可自动地训练或以其他方式操作主摄像机或传感器来捕获可与物品、条件、状态或事件相关联的一个或多个图像。通过训练次级摄像机或传感器来搜寻与特定功能相关联的可用信息的小子集,这样以(具体地在特定视野内或者在特定景深处)搜寻条形码、bokode、字符、数字、符号、颜色、商标、标识符或其他信息,可大大增强可佩戴计算装置识别信息的能力。
根据本公开的另一个实施方案,佩戴本公开的可佩戴计算装置的用户可定位感兴趣的对象。用户可将对象放置在计算装置的视野中,并使用指针照射对象。与可佩戴计算机装置相关联的专门的传感器(例如,摄像机、温度传感器、热传感器或运动传感器)可确定对象是否是专门的传感器被配置来检测的类型。如果被照射的对象是系统被配置来检测的对象的类型中的一种,那么系统可利用传感器读入对象上的标记(例如,条形码、bokode、字符、数字、符号或颜色),所述传感器可收集关于标记的数据并将数据传输到计算单元以便进行处理。从标记的对象收集的或者与标记的对象相关的任何相关信息可诸如通过传输信号、拉响警报或者在计算装置的眼平显示器上显示至少一些信息来生成并提供给用户。
根据本公开的又一实施方案,关于触发事件、度量或标准的信息可被编程到包括主传感器和次级传感器的可佩戴扫描装置的计算单元中。次级传感器可被配置来自动地扫描扫描装置位于其中的环境,以便确定是否观察到触发事件、度量或标准中的一个或多个。此类度量可涉及任何预定的物品、条件、状态或事件,例如,特定对象的识别或标识符(诸如,物品上的条形码、bokode、字符、数字、符号或颜色)、感测的温度或其他环境条件,或者次级传感器的视野内的一个或多个物品的运动。一旦检测到触发事件、度量或标准中的一个或多个,主传感器就可读取在其中观察到触发度量的环境的任何方面。主传感器还可捕获关于在其中观察到触发事件、度量或标准的环境的方面的信息,并且将此类信息传输到可佩戴扫描装置的计算单元,所述计算单元可在眼平显示器上显示与环境的方面相关联的一些或所有信息,或者以任何其他方式将一些或所有信息提供给用户。
根据本公开的再一实施方案,具有计算单元和多个传感器的可佩戴装置被编程有关于物品、条件、状态或事件中的一个或多个的信息。当一个传感器检测到对象时,计算单元可确定对象是否可能与所编程的信息相关联。如果对象与信息相关联,那么计算单元可选择一个传感器来诸如通过以下方式捕获关于对象的另外的数据:重新配置检测到对象的传感器,或者配置其他传感器中的一个或多个来捕获关于对象的数据。从各种传感器捕获的数据可诸如在平视显示器上或者以任何其他格式呈现给可佩戴装置的用户或另一用户。
本文公开的系统和方法可用在许多应用中。例如,在建筑工地处,可佩戴扫描装置或计算机装置的次级传感器可搜寻极端温度条件、高水平的易燃材料或任何其他潜在危险,并且在潜在危险条件的方向上自动地训练主摄像机,或者以其他方式警告装置的用户潜在的危险条件。作为另一实例,在医生对患者执行外科手术时,次级摄像机可捕获和评估患者的图像(包括血液、肉或骨物质的存在),并且向用户提供关于所识别的物质的信息,即使在主摄像机记录外科手术时亦如此。
作为又一实例,可佩戴扫描装置或计算装置可用于使用一个或多个传感器来识别发展中的交通图案,即,通过自动地配置一个或多个传感器来辨识图案的方面(诸如红色刹车灯、绿色交通灯或者交通中的汽车或个人的运动),并且将一个或多个另外的传感器重新定向在特定方向上,或者当遇到此类图案时警告司机。作为再一实例,执行中心的工人可在佩戴具有主摄像机和次级传感器的可佩戴计算装置时执行一个或多个功能。次级传感器可搜寻可由主摄像机捕获和识别的条形码或其他类似标识符、物品或者条形码或标识符的其他特征,并且将关于条形码、物品或特征的任何相关信息提供给用户。就这一点而言,可佩戴计算装置可帮助用户实施库存评估或质量控制分析、填充或检索物品或者将物品返回到库存。
如以上讨论的,本公开的可佩戴计算机装置可用于许多系统和许多应用中。在下文中提供根据本公开的实施方案的包括眼平扫描器的系统的部件。根据本公开的实施方案的系统包括呈由工人所佩戴的眼镜的形式的眼平扫描装置。系统还包括通过诸如互联网的网络连接到彼此的执行中心、外部用户和辅助显示器。
根据本公开的实施方案,眼镜包括用于执行一个或多个一般或特定功能、具有处理器和存储器的计算装置,并且可连接到网络。眼镜还包括摄像机、传感器和眼平显示器。
计算单元和处理器可通过网络与存储器、摄像机、传感器和/或眼平显示器或其他外部部件通信。存储器可包含处理器可执行以便实现本公开的一个或多个实施方案的计算机程序指令,并且还可以包括随机存取存储器(“RAM”)、只读存储器(“ROM”)或任何其他形式的持久性和/或非暂时性计算机可读介质。出于向处理器和眼镜的其他部件提供一般管理和操作功能,以及用于实现本公开的任何方面的其他信息的目的,存储器可进一步将操作系统存储在其上。
摄像机可以是安装到眼镜或以其他方式与眼镜关联的任何形式的光学记录装置,例如,可安装到眼镜的框架的数字摄像机,诸如安装到根据本公开的实施方案的框架的主成像装置。例如,摄像机可用于拍摄或以其他方式记录结构、设施或其他元件的图像以便存储执行中心内部的物品,以及存储执行中心内的物品,或者用于任何其他目的。传感器可以是用于检测眼镜位于其中的环境的条件的任何形式的感测装置,并且可通过诸如根据本公开的实施方案中的任何有线或无线手段可操作地或功能性地与摄像机接合。可根据本公开提供任何数量或类型的传感器,包括但不限于摄像机或其他光学传感器、温度传感器、热传感器、辐射传感器或者位置和/或取向传感器。相关领域的普通技术人员将认识到传感器可以是摄像机,并且眼镜可包括任何数量的摄像机或传感器。
眼平显示器可包括可定位在或接近用户眼平的任何类型或形式的输出装置。眼平显示器可因此包括在用户视野内安装或可见的显示装置,包括但不限于突出在眼镜的镜片上的足够小的监测器或平视显示器。例如,眼平显示器可并入多种有源或无源显示技术中的任一种,诸如电子墨水、液晶显示器(或“LCD”)、LED或有机发光二极管(或“OLED”)显示器、阴极射线管(或“CRT”)、投影屏等。相关领域普通技术人员将进一步认识到诸如音频扬声器的任何其他形式的输出装置可与眼平显示器关联,或者可充当对眼平显示器的替代。
执行中心可以是适于接收、存储、处理和/或分配物品的任何设施。执行中心可使用计算装置或者通过可连接到网络的一个或多个其他计算机器来操作一个或多个订单处理和/或通信系统,以便传输或接收呈数字数据或模拟数据形式的信息或者用于任何其他目的,所述计算装置诸如计算机和/或具有一个或多个用户界面的软件应用(例如,浏览器)。计算机还可操作或提供到一个或多个报告系统的访问用于接收或显示关于工作流程操作的信息或数据,并且可提供诸如用户界面的一个或多个界面,用于响应于此类信息或数据而从一个或多个操作员、用户或工人接收交互(例如,文本、数字条目或选择)。计算机还可操作或提供到一个或多个引擎的访问,用于分析关于工作流程操作的信息或数据,或者分析从一个或多个操作员、用户或工人接收的交互。
接收站可包括可能需要以便从一个或多个源和/或通过一个或多个通道接收装运物品的任何设备,包括但不限于码头、升降机、起重机、千斤顶、皮带或其他运送设备,所述其他运送设备用于从诸如汽车、卡车、拖车、货车、集装箱船或货运飞机(例如,有人驾驶飞机或无人驾驶飞机,诸如无人机)的运载工具获得物品和/或装运物品,并且准备此类物品用于存储或分配给客户。存储区域可包括用于容纳物品和/或此类物品的容器的一个或多个预限定的二维或三维空间,诸如过道、行、分区、货架、插槽、箱柜、架子、层叠、杆、钩子、分类架或其他类似的存储手段,或者任何其他适当的区或站。分配站可包括一个或多个区或站,在所述区或站中可评估、准备和包装已经从指定存储区域检索到的物品,以便同样通过诸如汽车、卡车、拖车、货车、集装箱船或货运飞机(例如,有人驾驶飞机或无人驾驶飞机,诸如无人机)的运载工具递送到由客户指定的地址、位置或目的地。
执行中心还可包括可生成用于在接收站、存储区域或分配站中的一个或多个处实施操作的指令的一个或多个控制系统,所述一个或多个控制系统可与计算机或者一个或多个其他计算机器关联,并且可通过发送和接收数字数据而在网络上与工人、外部用户或辅助显示器通信。另外,执行中心可包括用于确定在其中的一个或多个元件的位置的一个或多个系统或装置,诸如摄像机或其他图像记录装置。此外,执行中心还可包括可处理或运输执行中心内的物品的一个或多个工人或职员,包括但不限于工人。此类工人可操作一个或多个计算装置,所述一个或多个计算装置用于记录执行中心内的物品的接收、检索、运输或存储,诸如计算机或者诸如个人数字助理、数字媒体播放器、智能手机、平板计算机、台式计算机或膝上型计算机的通用装置,并且可包括诸如扫描器、读取器、键盘、小键盘、触摸屏或类似装置的任何形式的输入和/或输出外围设备。
外部用户可以是除了工人之外的利用一个或多个计算装置的任何实体或个人,所述计算装置诸如计算机或者可操作或访问包括一个或多个用户界面的一个或多个软件应用的任何其他类似的机器。计算机可通过传输和接收数字数据而通过网络连接到工人和/或眼镜、执行中心或辅助显示器或者以其他方式与它们进行通信。例如,外部用户可在用户界面上查看由摄像机或传感器所识别的信息,或者使用计算机执行任何其他功能,所述计算机像计算机一样可以是诸如个人数字助理、数字媒体播放器、智能手机、平板计算机、台式计算机或膝上型计算机的通用装置,并且可包括诸如扫描器、读取器、键盘、小键盘、触摸屏或类似装置的任何形式的输入和/或输出外围设备。
辅助显示器可以是可在其上显示诸如由摄像机或传感器所识别的信息的信息的任何形式的外部显示装置。如同眼平显示器,辅助显示器可并入多种有源或无源显示技术中的任一种,诸如电子墨水、LCD、LED、OLED、CRT、投影屏等。具体地,因为辅助显示器不必受限于任何物理约束,所以辅助显示器可根据一些实施方案采取大型监测器、电视屏幕或带状板显示器的形式。
本文描述的计算机、服务器、装置等具有必要的电子器件、软件、存储器、存储设备、数据库、固件、逻辑/状态机、微处理器、通信链路、显示器或其他视觉或音频用户界面、打印装置以及任何其他输入/输出接口,以提供本文描述的功能或服务中的任何一个和/或实现本文描述的结果。另外,相关领域的普通技术人员将认识到,此类计算机、服务器、装置等的用户可操作键盘、小键盘、鼠标、手写笔、触摸屏或其他装置或方法来与计算机、服务器、装置等进行交互,或者“选择”物品、链接、节点、集线器或本公开的任何其他方面。
相关领域的普通技术人员将理解,本文描述的如由“工人”、由“眼镜”、由“执行中心”或由“外部用户”执行的过程步骤可以是由它们相应的计算机系统执行的或者在由一个或多个通用计算机执行的软件模块(或计算机程序)内实现的自动化步骤。此外,描述为由“工人”、由“眼镜”、由“执行中心”或由“外部用户”执行的过程步骤可通常由人类操作员执行,但可以可替代地由自动化代理执行。
工人、执行中心和/或外部用户可使用任何网络使能或互联网应用或特征或者任何其他客户端-服务器应用或特征(包括电子邮件(或E-mail))或者其他消息传送技术,以诸如通过短消息传送服务或多媒体消息传送服务(SMS或MMS)文本消息而连接到网络或彼此通信。例如,眼镜可适于通过网络实时或接近实时地或者在一个或多个离线过程中将呈同步或异步消息形式的信息或数据传输到执行中心计算机、外部用户、辅助显示器或者另一个计算机装置。相关领域普通技术人员将认识到工人、执行中心和/或外部用户可操作能够在网络上进行通信的多个计算装置中的任一个,包括但不限于,机顶盒、个人数字助理、数字媒体播放器、网络垫(web pad)、膝上型计算机、台式计算机、电子书阅读器等。用于提供此类装置之间的通信的协议和部件对计算机通信领域的技术人员来说是已知的并且不需要在本文进行更详细的描述。
本文描述的数据和/或计算机可执行指令、程序、固件、软件等(本文也称为“计算机可执行”部件)可存储在位于计算机内或者可由计算机访问的计算机可读介质上,所述计算机诸如计算装置、计算机或计算机,或者由工人、执行中心和/或外部用户利用的任何计算机或控制系统,并且具有在由处理器(例如,中央处理单元或“CPU”)执行时引起处理器执行本文描述的功能、服务和/或方法中的所有或部分的指令序列。此类计算机可执行指令、程序、软件等可通过使用与计算机可读介质相关联的驱动机构或者通过外部连接而加载到一个或多个计算机的存储器中,所述驱动机构诸如软盘驱动器、CD-ROM驱动器、DVD-ROM驱动器、网络接口等。
本公开的系统和方法的一些实施方案还可提供为包括具有存储在其上的指令(以压缩或未压缩形式)的非暂时性机器可读存储介质的计算机可执行程序产品,所述指令可用于编程计算机(或其他电子装置)以执行本文描述的过程或方法。机器可读存储介质可包括但不限于,硬盘驱动器、软盘、光盘、CD-ROM、DVD、ROM、RAM、可擦除可编程ROM(“EPROM”)、电可擦除可编程ROM(“EEPROM”)、闪存、磁卡或光卡、固态存储器装置或者可适用于存储电子指令的其他类型的介质/机器可读介质。此外,多个实施方案也可提供为包括暂时性机器可读信号(以压缩或未压缩形式)的计算机可执行程序产品。机器可读信号(无论是否使用载体来调制)的实例可包括但不限于,托管或运行计算机程序的计算机系统或机器可被配置来存取的信号,或者包括可通过互联网或其他网络下载的信号。
如上文所讨论的,本公开的系统和方法可用于评估任何类型的物品、条件、状态或事件。在下文中提供根据本公开的实施方案的包括使用中的眼平扫描器的系统。根据本公开的实施方案,由用户所使用的眼平扫描器具有由指针P照射的多个视野。例如,在佩戴眼平扫描器时,用户可将包裹放置在视野中并照射包裹上的一个或多个标记,诸如条形码或地址标签。与具有指针P的眼平扫描器相关联的次级摄像机或传感器可识别例如条形码或地址标签的标记,同样地,并且主摄像机或传感器可捕获标记的一个或多个图像,或者以其他方式读取和解释标记。指针P可充当用于主摄像机或传感器的引导装置,所述引导装置可被手动地或自动地训练以辨识指针或捕获标记,并且所述指针P还可用作用于识别到标记的距离的基础。一旦已读取和解释标记,眼平扫描器就可采取任何对应动作,包括:向用户或者向任何其他实体或个人(诸如某些实施方案中的在执行中心处的工人或外部用户)提供关于包裹的信息,或者在眼平显示器或诸如辅助计算机显示器的其他计算机显示器中显示至少一些信息。
类似地,在佩戴眼平扫描器时,用户还可将辅助显示器或另一用户放置在眼平扫描器的视野中。与具有指针P的眼平扫描器相关联的次级摄像机或传感器可辨识在辅助显示器上显示的一或多个字符或者辨识另一用户的脸,并且主摄像机或传感器可捕获辅助显示器或脸的一个或多个图像,并且可相应地识别字符或脸。一旦已识别字符或脸,眼平扫描器就可采取任何对应动作,包括:例如通过在眼平显示器上显示此类信息来向用户或者向任何其他实体或个人提供关于辅助显示器上的字符或另一用户的信息。
如以上所讨论的,本公开的可佩戴计算机装置可被训练来确定对象是否在摄像机或预定类型或种类的其他传感器的视野内和/或景深处,并且评估对象以识别关于对象的另外信息。在下文中提供根据本公开的实施方案的用于使用眼平扫描器来评估物品的一个过程。首先,佩戴根据本公开的一些实施方案的扫描系统的用户定位感兴趣的对象,并且然后,用户将对象放置在他或她的视野内。例如,根据本公开的实施方案,佩戴眼平扫描器的用户可将包裹、辅助显示器或另一用户定位和放置在他或她的视野中。
在用户将对象放置在他或她的视野内时,用户使用指针照射对象,并且接着,系统使用专门的传感器检测对象上的标记,所述专门的传感器例如专门针对辨识此类标记的摄像机或其他传感器。指针可用于计算到对象的距离,或者以其他方式将专门的传感器引导到位置或对象的特定方面。随后,系统确定对象上的标记或对象本身是否是专门的传感器被配置来检测的类型。例如,在专门的传感器适于识别和解释文本、数字或诸如条形码的标记的情况下,系统确定所检测的标记是否是大量文本或数字或标记,所述标记诸如条形码、bokode、QR码、字符、数字、符号或颜色。如果对象上的标记不是专门的传感器适于识别的类型,那么过程就前进到如下步骤:系统确定用户是否意图继续操作系统。
如果标记是专门的传感器适于检测的类型,那么过程就前进到如下步骤:系统读入对象上的标记,并且系统将关于对象上的标记的数据发送到计算单元以便进行处理。例如,在对象上的标记是条形码的情况下,系统可辨识条形码,同样地,读取和解码条形码,并且将解码的条形码发送到计算单元用于进一步的分析。
接下来,计算单元处理数据,并且然后,计算单元生成显示数据并将显示数据发送到眼平显示器。例如,计算单元可基于解码的条形码来识别对象,并且可进一步识别关于对象的信息,所述信息可显示在眼平显示器上,诸如实施方案之一的眼平扫描器的眼平显示器。根据本公开,可将可基于框处的数据处理而识别的任何类型的信息或数据提供给用户,诸如音频、视频或多媒体信息。
随后,系统确定用户是否意图继续操作系统。如果用户继续操作系统,那么过程就返回到最初步骤:用户定位感兴趣的另一个对象。如果用户不再意图操作系统,那么过程就结束。
因此,本公开的系统和方法可配置眼平摄像机或其他传感器来辨识一个或多个标记或其他标识,并且确定特定物品、条件、状态或事件是否可能与标识相关联。一旦物品、条件、状态或事件已经与标识相关联,就可关于物品、条件、状态或事件来识别信息,并且将所述信息在眼平显示器上或者以任何其他方式提供给用户。
在下文中提供根据本公开的实施方案的包括使用中的眼平扫描器的系统。本公开的实施方案中的系统包括具有多个货架的货架系统,所述货架包括用于容纳物品的空间以及与此类空间相关联的标识符。
在本公开的实施方案中,眼平扫描器由用户佩戴,并且眼平扫描器由用户佩戴。用户可将空间放置在眼平扫描器的视野中,并且可将指针对准到标识符(也就是,一维条形码)上。根据本公开的系统和方法,眼平扫描器的一个或多个传感器可基于标识符来识别空间,并且辨识空间是空的。因此,在识别出空间是空的时,关于空间的信息可显示在眼平扫描器的眼平显示器上(例如,可显示诸如“空间是空的”或“空间中需要库存”的消息),在网络上从眼平扫描器传输到外部计算装置,或者以其他方式提供给用户。
类似地,用户可将空间放置在眼平扫描器的视野中,并且可将指针对准到标识符(也就是,QR条形码)上。眼平扫描器的一个或多个传感器可基于标识符来识别空间,并且辨识空间包括特定数量的物品。在识别空间和其中的物品的数量之后,关于空间的信息可显示在眼平扫描器的眼平显示器上(例如,“空间中十二瓶霞多丽酒(Chardonnay)”),在网络上从眼平扫描器传输到外部计算装置,或者以其他方式提供给用户。
因此,可采用本公开的系统和方法来识别物品并且自动地评估物品的状态,例如,以实施库存评估或质量控制分析。本公开的指针可采取任何形式,并且可用于向一个或多个传感器提供引导,所述一个或多个传感器可被手动或自动地训练以在物品上定位和跟随指针,或者计算到物品的距离(例如,通过激光测距或其他已知手段)。
如上文所讨论的,本公开的系统和方法可被配置来通过使用安装到可佩带扫描装置的传感器来观察一个或多个度量,并且基于所述一个或多个度量引起或修改所述传感器或另一个传感器的操作。在下文中提供根据本公开的实施方案的用于使用眼平扫描器来评估物品的一个过程。首先,将一组触发度量编程到扫描器装置的计算单元中,诸如实施方案之一的眼镜的计算单元。接着,扫描器装置的次级传感器自动地扫描视野。次级传感器可被配置来即沿着可与用户的视野一致的轴线或者在可与用户的视野一致的方向上搜寻固定视野内的物品,和/或搜寻位于或接近特定景深处的物品。可替代地,次级传感器可被配置来诸如通过定期地旋转、平移或调整传感器的一个或多个元件来评估动态视野或变化的景深。
然后,次级传感器从视野读取数据,例如图像或者其他形式的感测到的信息或数据。随后,扫描器装置确定次级传感器数据是否指示满足触发度量的条件、对象或区域。例如,在根据本公开的实施方案中,扫描器装置可确定次级传感器是否已识别出条形码,例如,条形码,或者触发度量中所指定的任何其他物品。如果次级传感器未检测出这种条件、对象或区域,那么过程就结束。
然而,如果次级传感器数据指示这种条件、对象或区域,那么过程前进到如下步骤:主传感器读取关于条件、对象或区域的数据。例如,在根据本公开的实施方案中,如果次级传感器将标记识别为条形码,那么主传感器可捕获条形码的图像或者以其他方式读取条形码。接下来,扫描器装置确定条件、对象或区域是否是主传感器被配置来检测的类型。如果条件、对象或区域不是可由主传感器检测到的类型,那么过程就结束。
然而,如果条件、对象或区域是可由主传感器检测到的类型,那么过程就前进到如下步骤:主传感器和次级传感器将来自它们相应的读数的数据传输到扫描器装置计算单元以便进行处理。例如,如果由次级传感器所辨识的条形码可由主传感器读取和解释,那么主传感器将信息发送给计算单元,诸如到实施方案之一的计算单元的来自摄像机的条形码的图像,或者从条形码的分析所获得的代码(例如,一组文本、数字或其他字符)。
随后,扫描器装置计算单元处理从主传感器和次级传感器接收的数据,并且接着,扫描器装置计算单元生成关于由主传感器和次级传感器所分析的条件、对象或区域的信息。例如,在根据本公开的实施方案中,计算单元可基于条形码的读数或空间中物品的存在或不存在的辨识来识别空间,并且可相应地生成关于此类空间或物品的信息,例如,“空间是空的”或者“空间中十二瓶霞多丽酒(Chardonnay)”。接着,扫描器装置计算单元可引起此类信息显示在扫描器装置的眼平显示器上,例如,实施方案之一的眼平扫描器的眼平显示器,并且过程结束。可替代地,扫描器装置计算单元可引起此类信息显示在诸如实施方案之一的辅助显示器的另一个计算机显示器上,或者通过诸如音频扬声器或打印机的另一个输出装置提供给用户,或者呈诸如文本消息或电子邮件消息的另一种格式。
因此,系统和方法可提供两个或更多个摄像机或其他传感器,其可彼此协同工作以基于与传感器中的一个或多个相关联的一个或多个触发度量来辨识任何条件、对象或区域。当这种触发度量被辨识时,关于触发度量或条件、对象或区域的信息可以任何格式,诸如在眼平显示器上或者通过任何其他输出装置而提供给用户。
在下文中提供根据本公开的实施方案的包括使用中的眼平扫描器的系统。在本公开的实施方案中,眼平扫描器包括摄像机、传感器和眼平显示器。摄像机限定包括具有对象的区域的视野,所述对象在其上具有相关联的标记(例如,条形码),并且传感器包括照射标记的指针P。同样在本公开的实施方案中,关于区域、对象或标记的信息可在眼平显示器上的用户界面上示出。
如上文所讨论的,任何类型的信息可通过使用根据本公开的主摄像机或传感器或者次级摄像机或传感器而获得,并且提供给用户。例如,传感器可将标记定位在对象上并且确定眼平扫描器与标记之间的范围,或者捕获关于眼平扫描器所定位在其中的环境的任何其他可用信息。摄像机可捕获标记、对象或区域的一个或多个图像,并且解释所述图像以相应地识别信息。
可通过任何手段或方法识别或访问信息。例如,摄像机或传感器可基于对象或区域的一个或多个图像来辨识对象或区域。摄像机可被指示来捕获对象或区域的多个图像以形成拼贴图,或者通过一个或多个摄影测量分析来共同处理此类图像,所述一个或多个摄影测量分析可被配置来识别不仅对象的外形,而且图像内的特定物品,包括但不限于商标、字符或其他文本。例如,在本公开的实施方案中,对象或区域可通过一种或多种对象辨识技术而被辨识为是饮用玻璃杯或者包括饮用玻璃杯。可替代地,摄像机或传感器可基于与对象或区域相关联的标记辨识对象或区域。
在本公开的实施方案中,信息可在眼平显示器上呈现给用户,所述眼平显示器可以是与扫描器关联并且对其用户可访问或可见的任何类型或形式的计算机显示器。信息包括辨识的对象的标识符,以及包括关于对象的其他信息的插图(也就是,信息被识别的时间与日期),以及对象位于其中的空间的温度,其可通过使用摄像机或传感器中的一个或多个来识别或确定。
同样如上文所讨论的,本公开的可佩带计算机装置或可佩带扫描器装置可在基于与一个或多个传感器相关联的一个或多个触发度量来识别或以其他方式辨识任何条件、对象或区域之后,向此类装置的用户或佩戴者提供关于触发度量的指令或其他信息,即使在此类触发度量未在用户或佩戴者的视野内识别的情况下亦是如此。指令可直接提供给用户或佩戴者,即,在一个或多个计算机显示器上或者通过一个或多个其他输出装置提供给用户或佩戴者。可替代地,指令可自动地实现,即,诸如通过在使用第一传感器识别或辨识条件、对象或区域之后自动地训练或重新定位第二传感器来实现。
在下文中提供根据本公开的实施方案的包括使用中的眼平扫描器的系统。在本公开的实施方案中,系统包括由用户佩戴的眼平扫描器。
本公开的实施方案中的眼平扫描器可包括摄像机、传感器和眼平显示器。在本公开的实施方案中,用户正在将具有多个货架的货架系统的部分放置在摄像机的视野中。货架包括用于容纳物品的空间,以及与此类空间相关联的标识符。
当用户使用摄像机观察货架的第一空间时,关于第一空间的信息(包括存储在第一空间上的物品的图像)可显示在眼平显示器上。同时,传感器可扫描眼平扫描器位于其中的环境,并且识别第二空间中的物品上的可与一个或多个触发度量相关联的另一个标记。当传感器辨识标记时,关于标记的信息可例如在诸如实施方案之一的眼平显示器的眼平显示器上提供给用户。例如,在本公开的实施方案中,信息包括指令(也就是,“软组织位于区域中(右转)”),所述指令通知用户特定的物品可位于他或她的视野之外,并且建议用户重新定向他或她的视野来定位物品。关于第一空间或第二空间的任何其他信息或数据可由摄像机或传感器捕获或辨识,并且通过眼平显示器或另一个输出装置呈现给用户或其他用户,诸如实施方案之一中的辅助显示器、计算机或计算机。
另外,相关领域普通技术人员将认识到指令可进一步自动地操作本公开的一个或多个部件。例如,代替在眼平显示器上显示指令,也就是“软组织位于区域中(右转)”,本文公开的系统和方法可引起摄像机或眼平扫描器的任何其他相关联部件诸如通过在标记的识别之后自动地旋转摄像机而重新定位。基于由根据本公开的摄像机或传感器所识别的信息,任何指令可直接提供给用户或者自动地提供给一个或多个部件(例如,眼平扫描器或另一个装置上的摄像机、传感器或显示器)。
本公开的系统和方法可进一步选择性地操作一个或多个传感器,以便搜集关于具有任何相关联的度量、感兴趣的点或相关阈值的任何对象或特征的信息。在下文中提供用于使用眼平扫描器评估物品的过程的一个实施方案。首先,使用关于度量、感兴趣的点和相关阈值的信息来对具有计算单元和多个传感器的可佩带装置进行编程。此类信息可对应于可在可佩带装置位于其中的环境中或者可在其中合理预期地利用可佩带装置的环境中遇到的任何物品、条件、状态或事件。
接下来,多个传感器中的一个检测到对象。诸如可在对象位于传感器的视野内时,或者在由传感器执行的自动扫描之后以任何方式识别所述对象。然后,确定检测到的对象是否与度量、感兴趣的点或相关信息中的一个一致。例如,如果传感器识别具有特定特征、特定温度或特定辐射水平的物品,那么可佩带装置可确定特征、温度或辐射水平是否满足一个度量,是否为感兴趣的点或者是否超过特定阈值。
如果检测到的对象与度量、感兴趣的点或相关阈值中的一个或多个一致,那么过程就前进到如下步骤:可佩带装置上的计算单元识别传感器来捕获关于对象的数据。例如,在使用配置来执行诸如捕获图像或读取位于特定景深内的条形码、QR码、bokode、字符、数字、符号或颜色的特定功能的传感器检测到物品的情况下,计算单元可识别可适于搜集关于物品的另外数据的传感器中的一个。
随后,计算单元配置所识别的传感器来捕获关于检测到的对象的另外数据。例如,计算单元可例如通过改变摄像机的焦距或快门速度来修改最初检测到对象的传感器上的设置,或者可对另一个传感器进行编程来进一步读取关于对象的数据。然后,所识别的传感器捕获数据并且将所述数据提供给计算单元。
接下来,计算单元确定是否需要关于对象的另外数据。如果需要关于对象的任何另外信息,那么过程就返回到出于搜集另外信息的目的而识别传感器的步骤。如果不需要关于对象的另外信息,那么过程就前进到如下步骤:计算单元确定是否需要可佩带装置的进一步操作。如果期望任何进一步操作,那么过程就返回到传感器检测到对象的步骤。如果不期望进一步操作,那么过程就结束。
尽管本文已使用用于实现本公开的示例性技术、部件和/或过程描述本公开,但本领域技术人员应理解,可使用或执行实现本文描述的相同功能和/或结果并且被包括在本公开的范围内的其他技术、部件和/或过程或者本文描述的技术、部件和/或过程的其他组合和序列。例如,尽管本文描述的或附图中示出的许多实施方案是指可佩带计算机装置或可佩带扫描器装置在已放置在网上市场处(也就是,在执行中心处)的物品订单的执行中的用途,但是系统并不限于此,并且可结合可能期望使用摄像机或传感器来向用户提供信息的任何相关应用而利用。
同样地,对“主”或“第一”摄像机或传感器,或者“次级”或“第二”摄像机或传感器的引用在本质上是顺序的,并且不暗示摄像机或传感器的容量或功能中的任何限制。相反,除非本文另有明确指出,否则“主”或“第一”摄像机或传感器可执行与“次级”或“第二”摄像机或传感器相同的功能,并且反之亦然。
此外,任何类型的传感器或感测装置可由本公开的可佩戴计算装置所利用或者与其关联,包括但不限于:麦克风、空气监测传感器(例如,氧、臭氧、氢、一氧化碳或二氧化碳传感器,或者烟雾检测器)、速度计、压力监测传感器(例如,气压计)、红外感测器、臭氧监测器、pH传感器、磁异常检测器、金属检测器、辐射传感器(例如,盖革计数器、中子检测器、α检测器)、测高计、姿态指示器、深度计、陀螺仪、罗盘、加速度计、位置检测器(例如,使用一个或多个全球卫星定位系统的检测器)等。
应理解的是,除非本文另有明确或隐含指出,否则本文关于特定实施方案描述的特征、特性、替代或修改中的任一个也可被应用、使用或与本文描述的任何其他实施方案合并,并且附图与本公开的详细描述旨在覆盖对如由所附权利要求所限定的各个实施方案的所有修改、等效物和替代。此外,关于本文描述的本公开的一种或多种方法或过程,包括但不限于某些实施方案中示出的方法或过程,列出方法或过程的框或步骤的顺序并不旨在被解释为对要求保护的发明的限制,并且任何数量的框或步骤可以任何顺序和/或并行地组合来实现本文描述的方法或过程。另外,本文的附图未按比例绘制。
除非另外特别说明或者以其他方式在所用上下文中理解,否则诸如尤其是“能够”、“可”、“可能”或“可以”的条件语言通常旨在以许可方式传达某些实施方案可包括或者有可能包括但不要求或需要某些特征、元件和/或框或步骤。以类似方式,诸如“包括(include/including/includes)”的术语通常旨在表示“包括,但不限于”。因此,此类条件语言通常并非旨在暗示所述特征、元件和/或框或步骤无论如何都是一个或多个实施方案所必需的,或者并非暗示一个或多个实施方案必须包括用于在借助或不借助用户输入或提示的情况下决定这些特征、元件和/或框或步骤是否被包括或者是否有待在任何特定实施方案中执行。
尽管已关于本发明的示例性实施方案描述并说明了本发明,但可以在不背离本公开的精神和范围的情况下在其中和对其进行上述和各种其他添加和省略。
条款
1.一种方法,其包括:
提供可佩带设备,所述可佩带设备具有主成像装置、次级成像装置、至少一个计算机处理器以及至少一个存储器装置;
将用于识别物品属性类型的指令存储在所述至少一个存储器装置中;
使用所述次级成像装置捕获对象的至少一个第一图像;
分析所述至少一个第一图像来确定所述至少一个第一图像是否包括所述类型的物品属性;
响应于确定所述至少一个第一图像包括所述类型的所述物品属性,
调整所述主成像装置来将所述对象的至少一部分放置在所述主成像装置的视野中;
使用所述主成像装置捕获所述对象的至少一个第二图像;以及
将所述属性与所述至少一个第二图像之间的关联存储在至少一个数据存储库中。
2.如条款1所述的方法,其还包括:
使用所述次级成像装置确定到所述对象的方向或距离中的至少一个,
其中至少部分地基于所述方向或所述距离来调整所述主成像装置。
3.如条款1所述的方法,其还包括:
至少部分地基于所述至少一个第一图像或所述至少一个第二图像中的一个来生成关于所述对象的信息;以及
引起关于所述对象的所述信息的至少一部分的呈现。
4.如条款3所述的方法,其中将所述信息的所述至少一部分呈现在所述可佩戴设备上。
5.如条款1所述的方法,其中所述物品属性是条形码、QR码、bokode、字符、数字、符号或颜色中的至少一种。
6.一种具有存储在其上的计算机可执行指令的非暂时性计算机可读介质,
其中所述指令在被执行时引起具有至少一个计算机处理器的计算机系统执行方法,所述方法包括:
将第一成像装置与第一传感器可操作地关联,其中具有安装在其上的所述第一成像装置或所述第一传感器中的至少一个的设备适于佩戴在身体上;
选择关于至少一种限定属性的信息;
使用所述第一传感器接收关于所述设备位于其中的环境的信息;
确定关于所述环境的所述信息与所述至少一种限定属性相关联;
生成关于所述至少一种限定属性的信号;以及
响应于所述信号操作所述第一成像装置。
7.如条款6所述的非暂时性计算机可读介质,其中响应于所述信号操作所述第一成像装置还包括:
使用所述第一成像装置捕获对象的至少一个图像。
8.如条款7所述的非暂时性计算机可读介质,其中响应于所述信号操作所述第一成像装置还包括:
至少部分地基于关于所述环境的所述信息来调整所述第一成像装置。
9.如条款7所述的非暂时性计算机可读介质,其中响应于所述信号操作所述第一成像装置还包括:
至少部分地基于关于所述环境的所述信息来确定到所述对象的距离或者到所述对象的方向中的至少一个;并且
其中至少部分地基于到所述对象的所述距离或者到所述对象的所述方向来调整所述第一成像装置。
10.如条款7所述的非暂时性计算机可读介质,其中所述方法还包括:
至少部分地基于所述对象的所述至少一个图像来生成关于所述对象的信息;以及
引起关于所述对象的所述信息中的至少一些的呈现。
11.如条款10所述的非暂时性计算机可读介质,其中所述对象是条形码、QR码、bokode、字符、数字、符号或颜色中的至少一种,并且
其中至少部分地基于所述对象的所述至少一个图像来生成关于所述对象的信息包括:
解码所述对象;并且
至少部分地基于所解码的对象来识别至少一个物品。
12.如条款10所述的非暂时性计算机可读介质,其中至少一个计算机显示器被安装到所述设备。
13.如条款7所述的非暂时性计算机可读介质,其中所述方法还包括:
至少部分地基于所述对象的所述至少一个图像来生成关于所述对象的信息;以及
至少部分地基于关于所述对象的所述信息来确定所述对象的至少一个属性。
14.如条款7所述的非暂时性计算机可读介质,其中所述方法还包括:
至少部分地基于所述对象的所述至少一个图像来生成关于所述对象的信息;以及
将关于所述对象的所述信息中的至少一些在网络上传输到外部计算机装置。
15.如条款6所述的非暂时性计算机可读介质,其中所述方法还包括:
发送关于所述环境的所述信息中的至少一些以便进行显示。
16.如条款6所述的非暂时性计算机可读介质,其中所述第一传感器是第二成像装置,并且
其中关于所述环境的所述信息包括由所述第二成像装置捕获的图像。
17.如条款6所述的非暂时性计算机可读介质,其中关于所述环境的所述信息包括颜色、温度或位置中的至少一个。
18.如条款6所述的非暂时性计算机可读介质,其中所述设备还包括可佩戴框架,并且
其中所述第一成像装置或所述第一传感器中的所述至少一个被安装到所述可佩戴框架。
19.如条款18所述的非暂时性计算机可读介质,其中所述可佩戴框架适于被佩戴在所述身体的头部周围;并且
其中所述第一成像装置和所述第一传感器被安装到所述可佩戴框架。
20.如条款6所述的非暂时性计算机可读介质,其中所述第一传感器是以下各项中的至少一个:
成像装置;
麦克风;
空气监测传感器;
压力监测传感器;
红外传感器;
辐射传感器;或者
位置传感器。
21.一种可佩戴计算机系统,其包括:
安装到框架的主成像装置,其中所述框架适于被佩戴在人身体的至少一部分上;
安装到所述框架的次级传感器;
计算装置,所述计算装置与所述主成像装置或所述次级传感器中的至少一个通信,其中所述计算装置被配置来实现一种或多种服务,并且
其中所述一种或多种服务被配置来:
识别关于至少一个数据存储库中的多个触发事件的信息;
使用所述次级传感器捕获信息;
至少部分地基于使用所述次级传感器而捕获的所述信息来确定触发事件是否已发生;
响应于确定所述触发事件已发生,
使用所述主成像装置捕获至少一个图像;并且
将所述至少一个图像与所述触发事件之间的关联存储在所述至少一个数据存储库中。
22.如条款21所述的可佩戴计算机系统,其中所述一种或多种服务还被配置来:
确定与所述触发事件相关联的距离或与所述触发事件相关联的方向中的至少一个;并且
至少部分地基于与所述触发事件相关联的所述距离或所述方向来调整所述主成像装置。
23.如条款21所述的可佩戴计算机系统,其中所述一种或多种服务还被配置来:
至少部分地基于使用所述主成像装置而捕获的所述至少一个图像来生成关于所述触发事件的信息。
24.如条款23所述的可佩戴计算机系统,其还包括至少一个计算机显示器,
其中所述一种或多种服务还被配置来:
引起关于所述触发事件的所述信息中的至少一些在所述至少一个计算机显示器上显示。

Claims (11)

1.一种用于控制可佩戴设备的方法,所述可佩戴设备具有主成像装置、次级成像装置、至少一个计算机处理器以及至少一个存储器装置,所述方法包括:
将用于识别物品属性类型的指令存储在所述至少一个存储器装置中;
使用所述次级成像装置捕获对象的至少一个第一图像;
分析所述至少一个第一图像来确定所述至少一个第一图像是否包括所述类型的物品属性;
响应于确定所述至少一个第一图像包括所述类型的所述物品属性,
调整所述主成像装置来将所述对象的至少一部分放置在所述主成像装置的视野中;
使用所述主成像装置捕获所述对象的至少一个第二图像;
将所述物品属性与所述至少一个第二图像之间的关联存储在所述至少一个存储器装置中;
至少部分地基于所述至少一个第一图像或所述至少一个第二图像中的一个来生成关于所述对象的信息;以及
引起关于所述对象的所述信息的至少一部分在安装到所述可佩戴设备的至少一个计算机显示器上被呈现。
2.如权利要求1所述的方法,其还包括:
使用所述次级成像装置确定到所述对象的方向或距离中的至少一个,
其中至少部分地基于所述方向或所述距离来调整所述主成像装置。
3.如权利要求1所述的方法,其中将所述信息的所述至少一部分呈现在所述可佩戴设备上。
4.如权利要求1所述的方法,其中所述物品属性是条形码、QR码、bokode、字符、数字、符号或颜色中的至少一种。
5.如权利要求4所述的方法,其中至少部分地基于所述至少一个第一图像或所述至少一个第二图像中的一个来生成关于所述对象的信息包括:
解码所述物品属性;并且
至少部分地基于所述解码的物品属性来识别所述对象。
6.如权利要求1所述的方法,其中所述方法还包括:
至少部分地基于关于所述对象的所述信息来确定所述对象的至少一个属性。
7.如权利要求1所述的方法,其中所述方法还包括:
将关于所述对象的所述信息中的至少一些在网络上传输到外部计算机装置。
8.如权利要求1所述的方法,其中所述可佩戴设备还包括可佩戴框架,并且
其中所述主成像装置或所述次级成像装置中的至少一个被安装到所述可佩戴框架。
9.如权利要求8所述的方法,其中所述可佩戴框架适于被佩戴在身体的头部周围;并且
其中所述主成像装置和所述次级成像装置被安装到所述可佩戴框架。
10.一种可佩戴计算机系统,其包括:
安装到框架的主成像装置,其中所述框架适于被佩戴在人身体的至少一部分上;
安装到所述框架的次级传感器;
计算装置,所述计算装置与所述主成像装置和所述次级传感器通信,其中所述计算装置被配置来实现一种或多种服务,并且
其中所述一种或多种服务被配置来:
识别关于至少一个数据存储库中的多个触发事件的信息;
使用所述次级传感器捕获信息;
至少部分地基于使用所述次级传感器而捕获的所述信息来确定触发事件是否已发生;
响应于确定所述触发事件已发生,
调整所述主成像装置以将与触发事件相关联的至少一部分放置在所述主成像装置的视野中;
使用所述主成像装置捕获至少一个图像;
将所述至少一个图像与所述触发事件之间的关联存储在所述至少一个数据存储库中;
至少部分地基于使用所述主成像装置而捕获的所述至少一个图 像来生成关于所述触发事件的信息;以及
引起关于所述触发事件的所述信息中的至少一些在安装到所述可佩戴计算机系统的至少一个计算机显示器上被显示。
11.如权利要求10所述的可佩戴计算机系统,其中所述一种或多种服务还被配置来:
确定与所述触发事件相关联的距离或与所述触发事件相关联的方向中的至少一个;并且
至少部分地基于与所述触发事件相关联的所述距离或所述方向来调整所述主成像装置。
CN201480069100.8A 2013-12-17 2014-12-15 用于眼平扫描器和显示器的指针跟踪 Active CN106062783B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US14/108837 2013-12-17
US14/108,837 US9151953B2 (en) 2013-12-17 2013-12-17 Pointer tracking for eye-level scanners and displays
PCT/US2014/070418 WO2015095084A1 (en) 2013-12-17 2014-12-15 Pointer tracking for eye-level scanners and displays

Publications (2)

Publication Number Publication Date
CN106062783A CN106062783A (zh) 2016-10-26
CN106062783B true CN106062783B (zh) 2019-11-26

Family

ID=53368215

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480069100.8A Active CN106062783B (zh) 2013-12-17 2014-12-15 用于眼平扫描器和显示器的指针跟踪

Country Status (5)

Country Link
US (2) US9151953B2 (zh)
EP (1) EP3084684A4 (zh)
JP (1) JP6441932B2 (zh)
CN (1) CN106062783B (zh)
WO (1) WO2015095084A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9870716B1 (en) * 2013-01-26 2018-01-16 Ip Holdings, Inc. Smart glasses and smart watches for real time connectivity and health
US9417660B2 (en) 2012-04-25 2016-08-16 Kopin Corporation Collapsible head set computer
US9292764B2 (en) * 2013-09-17 2016-03-22 Qualcomm Incorporated Method and apparatus for selectively providing information on objects in a captured image
US20150324646A1 (en) * 2014-05-08 2015-11-12 Brown University Navigation methods and apparatus for the visually impaired
JP6659583B2 (ja) * 2014-05-15 2020-03-04 フェデラル エクスプレス コーポレイション 配達処理のためのウェアラブル・デバイスおよびその使用方法
US9460524B1 (en) * 2014-05-30 2016-10-04 Amazon Technologies, Inc. Estimating available volumes using imaging data
US9766449B2 (en) * 2014-06-25 2017-09-19 Thalmic Labs Inc. Systems, devices, and methods for wearable heads-up displays
JP2017524159A (ja) 2014-08-03 2017-08-24 ポゴテック インク ウェアラブルカメラシステム、並びにカメラシステム又は他の電子デバイスをウェアラブル物品に取り付けるための装置及び方法
US9857590B2 (en) * 2014-10-11 2018-01-02 Floyd Steven Hall, Jr. Method and system for press-on displays for fashionable eyewear and nosewear
MX2017008519A (es) 2014-12-23 2018-06-27 Pogotec Inc Sistema y metodos de camara inalambrica.
US10481417B2 (en) 2015-06-10 2019-11-19 PogoTec, Inc. Magnetic attachment mechanism for electronic wearable device
MX2017015898A (es) 2015-06-10 2018-05-07 Pogotec Inc Anteojos con guia de deslizamiento magnetica para dispositivo electronico portatil.
FI20155599A (fi) 2015-08-21 2017-02-22 Konecranes Global Oy Nostolaitteen ohjaaminen
WO2017075405A1 (en) 2015-10-29 2017-05-04 PogoTec, Inc. Hearing aid adapted for wireless power reception
US10592842B2 (en) * 2015-12-02 2020-03-17 Walmart Apollo, Llc Methods and systems for loading products into a cargo space of a delivery vehicle
US10678398B2 (en) * 2016-03-31 2020-06-09 Intel Corporation Prioritization for presentation of media based on sensor data collected by wearable sensor devices
US10692041B1 (en) * 2016-03-31 2020-06-23 Amazon Technologies, Inc. Inventory holder markers for selective glowing based on received wavelengths
TW201830953A (zh) 2016-11-08 2018-08-16 美商帕戈技術股份有限公司 用於電子可穿戴裝置之智慧外殼
WO2018140555A1 (en) 2017-01-30 2018-08-02 Walmart Apollo, Llc Systems, methods and apparatus for distribution of products and supply chain management
US20180249094A1 (en) * 2017-02-27 2018-08-30 Opkix, Inc Wireless Camera System
WO2018183272A1 (en) 2017-03-29 2018-10-04 Walmart Apollo, Llc Smart apparatus and method for retail work flow management
US10423844B2 (en) * 2017-09-27 2019-09-24 Toyota Jidosha Kabushiki Kaisha Personalized augmented reality vehicular assistance for color blindness condition
USD898385S1 (en) * 2017-12-29 2020-10-13 Qiang Xu Lighted glasses
US20190235830A1 (en) 2018-01-31 2019-08-01 Vocollect, Inc. Visual inspection

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007523811A (ja) * 2004-01-23 2007-08-23 ユナイテッド パーセル サービス オブ アメリカ インコーポレイテッドUnited Parcel Service of America, Inc. 品物を追跡して処理するシステムおよび方法
JP2008083289A (ja) * 2006-09-27 2008-04-10 Sony Computer Entertainment Inc 撮像表示装置、撮像表示方法
CN101689294A (zh) * 2007-07-12 2010-03-31 松下电器产业株式会社 图像处理装置、图像处理方法、图像处理程序、记录了图像处理程序的记录介质、及图像处理用处理器
JP2011014082A (ja) * 2009-07-06 2011-01-20 Toshiba Tec Corp ウエアラブル端末装置及びプログラム
CN102714695A (zh) * 2010-11-11 2012-10-03 松下电器产业株式会社 图像处理装置、图像处理方法及程序
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
US8498472B2 (en) * 2010-01-04 2013-07-30 Samsung Electronics Co., Ltd. Image-based localization feature point registration apparatus, method and computer-readable medium

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW395121B (en) * 1996-02-26 2000-06-21 Seiko Epson Corp Personal wearing information display device and the display method using such device
EP1027627B1 (en) * 1997-10-30 2009-02-11 MYVU Corporation Eyeglass interface system
US7230582B1 (en) 1999-02-12 2007-06-12 Fisher-Rosemount Systems, Inc. Wearable computer in a process control environment
GB2373942A (en) 2001-03-28 2002-10-02 Hewlett Packard Co Camera records images only when a tag is present
US20130131985A1 (en) 2011-04-11 2013-05-23 James D. Weiland Wearable electronic image acquisition and enhancement system and method for image acquisition and visual enhancement
US9153074B2 (en) * 2011-07-18 2015-10-06 Dylan T X Zhou Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
US8941560B2 (en) * 2011-09-21 2015-01-27 Google Inc. Wearable computer with superimposed controls and instructions for external device
JP2013164737A (ja) * 2012-02-10 2013-08-22 Nec Corp 障害物アラーム表示システム、情報処理装置、障害物アラーム表示方法および障害物アラーム表示プログラム
US20130297460A1 (en) * 2012-05-01 2013-11-07 Zambala Lllp System and method for facilitating transactions of a physical product or real life service via an augmented reality environment
US9361501B2 (en) * 2013-04-01 2016-06-07 Ncr Corporation Headheld scanner and POS display with mobile phone

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007523811A (ja) * 2004-01-23 2007-08-23 ユナイテッド パーセル サービス オブ アメリカ インコーポレイテッドUnited Parcel Service of America, Inc. 品物を追跡して処理するシステムおよび方法
JP2008083289A (ja) * 2006-09-27 2008-04-10 Sony Computer Entertainment Inc 撮像表示装置、撮像表示方法
CN101689294A (zh) * 2007-07-12 2010-03-31 松下电器产业株式会社 图像处理装置、图像处理方法、图像处理程序、记录了图像处理程序的记录介质、及图像处理用处理器
JP2011014082A (ja) * 2009-07-06 2011-01-20 Toshiba Tec Corp ウエアラブル端末装置及びプログラム
US8498472B2 (en) * 2010-01-04 2013-07-30 Samsung Electronics Co., Ltd. Image-based localization feature point registration apparatus, method and computer-readable medium
JP2013521576A (ja) * 2010-02-28 2013-06-10 オスターハウト グループ インコーポレイテッド 対話式ヘッド取付け型アイピース上での地域広告コンテンツ
CN102714695A (zh) * 2010-11-11 2012-10-03 松下电器产业株式会社 图像处理装置、图像处理方法及程序

Also Published As

Publication number Publication date
JP2017507380A (ja) 2017-03-16
US9971154B1 (en) 2018-05-15
JP6441932B2 (ja) 2018-12-19
EP3084684A4 (en) 2017-06-14
US20150168727A1 (en) 2015-06-18
WO2015095084A1 (en) 2015-06-25
EP3084684A1 (en) 2016-10-26
US9151953B2 (en) 2015-10-06
CN106062783A (zh) 2016-10-26

Similar Documents

Publication Publication Date Title
CN106062783B (zh) 用于眼平扫描器和显示器的指针跟踪
US10615994B2 (en) Visually automated interface integration
JP2019076787A (ja) 薬剤撮影装置
US20170032166A1 (en) Handheld biometric scanner device
US8994513B2 (en) Adaptive multi-sensor handheld computing device
CN105308619B (zh) 用于物件处理的系统、方法和设备
US9686481B1 (en) Shipment evaluation using X-ray imaging
EP2165289A2 (en) Optical reader system for extracting information in a digital image
TW201333842A (zh) 具有實時增強實體板的資料中心基礎設施管理系統
US20190197466A1 (en) Inventory control for liquid containers
US20170301105A1 (en) Augmented reality slide sorter
US20210072107A1 (en) Method for calculating the autonomy of a gas distribution assembly
KR101753298B1 (ko) IoT 센서 기반의 시약 등록 장치 및 방법
US20170229071A1 (en) Dynamic identification badge
WO2019056102A1 (en) SYSTEMS AND METHODS FOR DETECTION AND RECOGNITION OF WASTE ARTICLES
KR101768982B1 (ko) 시약 관리 시스템 및 방법
JP6567638B2 (ja) 鼻紋照合システム、鼻紋照合方法及び鼻紋照合プログラム
KR102276711B1 (ko) 약제 촬영 장치
KR20180095970A (ko) 무게 측정 장치 및 제어 방법
TW202119206A (zh) 基於物聯方法應用於數字辨識擷取之管理裝置
JP2021057065A (ja) 情報処理システム、情報処理方法及びコンピュータプログラム
CN111583333A (zh) 基于视觉引导的测温方法、装置、电子设备及存储介质
JP6286999B2 (ja) 培地情報登録システム、コロニー検出装置、衛生管理システム、及び、プログラム
CN110446195A (zh) 定位处理方法及相关产品
CN110320158A (zh) 移动化学分析

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant