CN113366370A - 用于定位对象的系统、方法和装置 - Google Patents

用于定位对象的系统、方法和装置 Download PDF

Info

Publication number
CN113366370A
CN113366370A CN201980090286.8A CN201980090286A CN113366370A CN 113366370 A CN113366370 A CN 113366370A CN 201980090286 A CN201980090286 A CN 201980090286A CN 113366370 A CN113366370 A CN 113366370A
Authority
CN
China
Prior art keywords
tag
location
user device
server
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980090286.8A
Other languages
English (en)
Inventor
C·拉蒙特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
C Lamengte
Original Assignee
C Lamengte
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by C Lamengte filed Critical C Lamengte
Publication of CN113366370A publication Critical patent/CN113366370A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3667Display of a road map
    • G01C21/367Details, e.g. road map scale, orientation, zooming, illumination, level of detail, scrolling of road map or positioning of current position marker
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20Instruments for performing navigational calculations
    • G01C21/206Instruments for performing navigational calculations specially adapted for indoor navigation
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/3407Route searching; Route guidance specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3632Guidance using simplified or iconic instructions, e.g. using arrows
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3635Guidance using 3D or perspective road maps
    • G01C21/3638Guidance using 3D or perspective road maps including 3D objects and buildings
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/20Scenes; Scene-specific elements in augmented reality scenes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Abstract

本申请提供一种系统,该系统利用对象定位技术的多种组合来定位对象并将用户引向对象,并且该系统通过使用具有对象和/或用户的预定图像的显示增强现实来提供可靠的所有者识别和所有权验证。

Description

用于定位对象的系统、方法和装置
相关申请的交叉引用
本申请要求于2019年7月17日提交的美国非临时申请号16/514,048和于2018年11月28日提交的美国临时申请号62/772,205的权益,两者均通过引用并入本文。
技术领域
本发明的领域广泛地涉及通过使用显示的增强现实来定位对象的系统。更具体地,本发明的领域涉及通过使用视觉识别(例如徽章、印刷的纸标签或任何印刷介质)来认证所有权的系统。本发明的领域还涉及利用射频信标信号、图像识别、RFID标签和GPS跟踪来定位对象的系统。本发明的领域还涉及显示地图和方向的系统。
背景技术
在许多情况下,跟踪物理对象和积极识别所有者是有用的。例如,在航空旅行的背景下,行李被多次有意或无意地与其所有者分离,从而需要对其进行定位。由于机场通常使用不同且复杂的系统来运输行李并且目前主要航空公司要求行李的标准尺寸和形状,因此定位丢失行李的工作受到了阻碍。一旦进行定位,在无数“看起来像”的包中识别丢失的行李也会造成错误识别的问题,即使行李的大致位置已经被识别。
在仓库的情况下,也会出现类似的问题。例如,互联网商务为履行公司提供了任务,即通过复杂的路线系统将标准化运输箱中的无数包裹运送到当地承运商进行交付。尽管有条形码,但是许多包裹被误送并且需要物理跟踪来定位,这导致系统效率低下、运输成本增加和运输延迟。
还存在对积极识别各种物理位置的物理对象的需求。例如,在机场中,使用已知的跟踪设备存在许多障碍。一般来说,对物理对象的GPS跟踪很难在混凝土和钢结构建筑内实现,因此使其在机场航站楼中大多无效。同样,由于钢结构(诸如行李认领传送带和钢制安全屏障)的无线电干扰,仅大规模使用RFID跟踪是无效的。
同样,由于钢架、传送带导轨和移动机器人叉车系统,GPS跟踪和RFID跟踪系统在仓库中变得无效。
一旦定位了物理对象,则需要积极联系它们的所有者,以防止错误的识别并核实提出的所有权声明。现有技术未能提供这样一种系统,通过该系统,除了具有数字和条形码的物理纸质标签之外,还可以证明行李的所有权。此外,纸质标签经常会丢失或变形,使它们变得无用。此外,纸质识别标签几乎不能阻止盗窃,并且如果匹配的识别卡丢失,则不能提供行李的正确识别。
同样,在仓库中,在没有使用纸质标签和条形码的情况下,在现有技术中不能对运输包裹进行积极识别。即便如此,纸质标签需要通过扫描仪进行识别,并且容易损坏或变形,从而使它们变得无用。
因此,需要克服现有技术系统的限制以定位具有大量钢屏障的混凝土和钢结构建筑物内的物理对象。
还需要一种系统,该系统能够可靠地定位物理物品并将它们与其所有者积极地联系起来,而无需使用易碎且无效的纸质标签。
在现有技术中,存在通过使用射频标识符(RFID)标签和全球定位系统来跟踪对象的许多现代系统。然而,它们都没有令人满意地解决行业中的需求。
例如,Nathan等人的美国专利号9,664,510公开了通过组合从多种传感器类型获得的数据来跟踪对象的系统和方法。然而,Nathan未将标签系统与图像识别、增强现实或经验证的所有权视觉认证结合使用。
August等人的美国专利号6,489,244公开了使用射频(RF)标签跟踪行李。然而,其未公开全球定位、RFID或信标信号与图像识别以及增强现实映射的组合。
Lauka等人的美国专利号9,305,283公开了使用图像将RF标识符(RFID)标签与条形码相关联。然而,Lauka未公开全球定位数据、信标信号和/或RFID标签与图像识别以及与标记对象相关联的用户信息的显示的组合。
Hymes的美国专利公开号2006/0256959公开了空间寻址以在显示器中识别对象的位置。然而,其未公开信标信号与图像识别和全球定位的组合。
Chang的美国专利号8,237,564公开了将RFID标签物品的位置进行可视化。然而,Chang未公开全球定位和信标信号与图像识别的组合,也未公开增强现实与用户识别的组合。
发明内容
在优选实施例中,信标标签提供由第一用户设备接收的无线电信号。第一用户设备向服务器发送位置信息,该服务器识别信标标签和第一用户设备的位置。然后,服务器存储位置信息,并且当第二用户设备请求对象的位置时,服务器将位置信息从第一用户设备发送到第二用户设备。当对象被定位时,第二用户设备显示所有者的图片,和/或包括显示对象的相关描述细节的价值对象的图片,从而可以进行所有权验证。
在另一个优选实施例中,信标标签广播在用户设备范围内并由用户设备接收的多个无线电信号。在接收到信号之后,用户设备确定标签相对于用户设备位置的位置。然后,用户设备计算方向向量并将其显示在任何增强现实显示器上,从而将用户引导至对象。
在另一个优选实施例中,创建对象的视频,该视频包括来自不同视角的几千个图像。该视频被上传到服务器。然后,服务器使用该视频生成对象识别文件。对象识别文件被下载到用户设备。图像识别程序将对象识别文件与来自用户设备的相机的实况视频馈送进行比较。当对象被定位时,然后(例如,在屏幕或增强现实设备上)显示指示对象位置的标记。
在另一个优选实施例中,该系统提供多个用户设备、多个标签和附着到对象上的印刷介质。每个用户设备与每个标签通信。然而,每个用户设备都与一个唯一的标签配对。在该实施例中,每个用户设备报告它最靠近服务器的标签的位置。然后,服务器将所有用户设备和所有标签的位置制成表格。然后,服务器将标签的位置与它们所配对的用户设备的身份相关联,并且使用最近的用户设备的位置作为配对标签的位置的估计,向其配对的用户设备报告每个标签的位置。
在另一个优选实施例中,该系统通过识别附着在对象外部的印刷介质来提供对象的识别,然后通过增强现实(例如,在智能手机的相机显示器上的屏幕覆盖)向用户显示通知。
在另一个优选实施例中,该系统提供多个模块,这些模块包括RFID天线、接收器和处理器。这些模块扫描RFID标签,并且当识别到一个RFID标签时,模块将其GPS位置传送给服务器。然后将标签的接近度和模块的GPS位置传送给相关联的用户设备。在该实施例中,RFID系统被部署在作为补充定位机制有利的物理位置。
在另一个优选实施例中,该系统提供多个用户设备,每个用户设备分别包括处理器、网络适配器和GPS转发器。每个处理器都被编程为通过网络适配器定期向系统服务器报告其GPS位置,然后系统服务器又将信息传送给用户设备。
在另一个实施例中,提供了一种混合标签,其结合了信标标签、RFID标签和GPS标签,使得每个系统可以组合起来使用。
在另一个实施例中,提供了一种在混合系统中利用信标标签、RFID标签和GPS标签的系统,该系统从所有位置标签接收位置信息,以通知用户对象的位置。
在另一个实施例中,该系统通过与印刷介质、信标、RFID标签、GPS标签或其他相关行动设备相关联的增强现实来提供即时用户反馈,以在具有所有权证明的用户设备上利用可视显示来可视地显示实时位置和跟踪服务。
附图说明
将参照附图描述公开的实施例。
图1A是用于跟踪对象的系统的优选实施例的系统架构图。
图1B是用于跟踪与RFID标签相关联的对象的补充系统的优选实施例的系统架构图。
图1C是用于跟踪与GPS标签相关联的对象的补充系统的优选实施例的系统架构图。
图2是用于跟踪和定位对象的服务器的部件架构图。
图3是用于跟踪和定位对象的用户设备的部件架构图。
图4A是用于跟踪和定位对象的信标标签的部件架构图。
图4B是用于跟踪和定位对象的RFID标签的部件架构。
图4C是用于跟踪和定位对象的GPS标签的部件架构图。
图4D是用位置标签跟踪的行李的优选实施例的图。
图4E是用位置标签跟踪的运输包裹的图。
图5A是用于初始化系统的优选实施例的例程的序列图。
图5B是优选方法的序列图,其中第一用户设备识别并报告与第二用户设备相关联的信标标签的长程位置。
图5C是报告装配有RFID标签的对象的位置的优选实施例的序列图。
图5D是报告装配有GPS标签的对象的位置的优选实施例的序列图。
图6A是用于在长程模式、短程模式和超短程模式下跟踪信标标签、RFID标签或GPS标签的优选方法的流程图。
图6B是用于计算和显示方向元素的方法的流程图。
图6C是示出用户设备的优选坐标系的图。
图6D是确定显示箭头的取向的优选方法的流程图。
图6E是确定显示箭头的取向的优选方法的图形示例。
图7A是确定短程信标标签位置并返回方向向量定义的方法的优选实施例的流程图。
图7B是在确定信标标签位置的优选方法中使用的概率圆和质心的图形表示。
图7C是从概率圆导出的平面体的质心的图形表示。
图8示出当系统处于超短程时从视频图像中识别对象的方法的序列图。
图9A是长程模式下的用户设备的显示屏的图示。
图9B是短程模式下的用户设备的显示屏的图示。
图9C是超短程模式下的用户设备的显示屏的图示。
图9D是超短程模式下的用户设备的替代显示屏的图示。
具体实施方式
本公开的各方面可以完全以硬件、完全以软件(包括固件、常驻软件、微代码等)或组合软件和硬件实施方式来实现,这些实施方式在本文中通常都被称为“电路”、“模块”、“部件”或“系统”。此外,本公开的各方面可以采取包含在具有计算机可读程序代码的一个或多个计算机可读介质中的计算机程序产品的形式。
可以利用一种或多种计算机可读介质的任何组合。计算机可读介质可以是计算机可读信号介质或计算机可读存储介质。例如,计算机可读存储介质可以是但不限于电子、磁、光、电磁或半导体系统、装置或设备,或者前述各项的任何合适组合。计算机可读存储介质的更具体示例可以包括但不限于:通用串行总线(USB)棒、硬盘、随机存取存储器(“RAM”)、只读存储器(“ROM”)、闪存、具有中继器的合适光纤、便携式光盘只读存储器(“CD-ROM”)、光存储设备、磁存储设备或前述各项的任何合适组合。因此,计算机可读存储介质可以是能够容纳或存储由指令、系统、装置或设备使用或与其结合使用的程序的任何有形介质。计算机可读存储介质的更具体示例包括但不限于智能设备、电话、平板电脑、可穿戴设备、X-Code软件平台或前述各项的任何合适组合。
用于执行本公开各方面的操作的计算机程序代码可以用一种或多种编程语言的任意组合来编写,包括但不限于:面向对象编程语言(例如Java、Scala、Smalltalk、Eiffel、JADE、Emerald、Objective-C、C++、C#、VB.NET、Python等),传统的过程编程语言(例如“C”编程语言、Visual Basic、Fortran 2003、Perl、COBOL 2002、PHP、ABAP),动态编程语言(例如Python、PHP、HTML、AJAX、Ruby和Groovy)或者其他编程语言(例如X-Code)。程序代码可以全部或部分地在系统的一个或多个设备上执行。
参考根据本公开的实施例的方法、系统和计算机程序产品的流程图和/或框图来描述本公开的各方面。应当理解,流程图和/或框图的每个块以及流程图和/或框图中的块的组合可以通过计算机程序指令来实现。这些计算机程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器,使得通过计算机或其他可编程指令执行装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的机制。
这些计算机程序指令也可以被存储在计算机可读介质中,这些计算机程序指令在被执行时可以指导计算机、其他可编程数据处理装置或其他设备以特定方式运行,使得指令在被存储于计算机可读介质中时产生制品,这些指令包括当被执行时使得计算机实现流程图和/或框图中的一个或多个块中指定的功能/动作的指令。计算机程序指令也可以被加载到计算机或其他设备上,以导致执行一系列操作步骤或产生实现在流程图中指定的功能的计算机实施过程。
参考印刷介质描述本公开的各方面。术语“印刷介质(printed media)”是指能够印刷的任何东西,包括但不限于照片、向量图像、GIF、JPEG、PNG、贴纸、表情符号、海报、页面、条形码、矩阵条形码例如快速响应(QR)码、标签及其组合。
参考图1A,系统100包括连接到数据库104的服务器102。服务器102通过互联网106连接到用户设备108、110和112。用户设备108、110和112也通过无线网络连接到标签118、120、122、124、126和128。在优选实施例中,每个标签被物理地附着到对象130、132、134、136、138和140中的一个上。在该优选实施例中,至少一个标签与每个用户设备相关联。应当理解,图1A仅示出示例,并且该系统包括大量用户设备和大量标签。图1A示出每个用户设备与所有标签进行通信。然而,在一个实施例中,每个用户设备仅与一个标签唯一相关联。例如,用户设备108与标签118唯一相关联,用户设备110与标签124唯一相关联,并且用户设备112与标签126唯一相关联。在另一个优选实施例中,每个用户设备可以与不止一个标签相关联,或者与不止一种类型的标签相关联。在各种优选实施例中,标签可以是信标标签、RFID标签或GPS标签,并且可以结合印刷介质,如将进一步描述的。在其他实施例中,对象130-140中的一个或多个包括识别位于对象130、132、134、136、138或140中的相应一个或多个的外部上的印刷介质141、142、144、146、148或149。
在优选实施例中,标签与用户设备之间的连接是使用蓝牙低功耗标准和规范的直接无线连接。在其他优选实施例中,这些连接包括提供扩展范围通信能力的中继器、路由器、交换机和接入点。
互联网106包括一个或多个陆基有线网络和所有形式的无线网络。在服务器102与用户设备108至112之间传递的消息使用一个或多个协议,包括但不限于传输控制协议/互联网协议(TCP/IP)、用户数据报协议(UDP)、超文本传输协议(HTTP)和HTTP安全(HTTPS)。
在不同的实施例中,对象可以采取任何被跟踪的物理物品的形式,包括但不限于运输箱、运输托盘、运输集装箱、拖车、车辆、行李件或任何有价值的对象。对象可以具有附着、形成、缝合或以其他方式放置在对象外部的印刷介质。
参考图1B,其示出了结合RFID标签的系统的优选实施例。系统150包括可操作地连接到读取器152的处理器151。读取器152可操作地连接到天线153。处理器151也可操作地连接到Wi-Fi接口154。Wi-Fi接口154无线连接到互联网155。系统150包括可操作地连接到读取器159的处理器156。读取器159可操作地连接到天线158。处理器156还可操作地连接到Wi-Fi接口157。Wi-Fi接口157无线连接到互联网155。系统150还包括可操作地连接到读取器178的处理器160。读取器178可操作地连接到天线162。处理器160还可操作地连接到Wi-Fi接口163。Wi-Fi接口163无线连接到互联网155。系统150包括可操作地连接到读取器164的处理器177。读取器164可操作地连接到天线165。处理器177也可操作地连接到Wi-Fi接口166。Wi-Fi接口166无线连接到互联网155。
互联网155连接到服务器170。服务器170进而无线连接到用户设备171、172和173。该系统包括物理附着到对象176的示例性RFID标签175。在该示例性附图中,RFID标签175被示出位于天线165附近并与之通信。然而,在优选实施例中,该系统包括多个RFID标签,这些RFID标签是可移动的并且因此可以定位在天线153、158、162和/或165中的任何一个或多个附近。
在优选实施例中,每个处理器、读取器、Wi-Fi接口和天线都被容纳在单个天线基(antenna base)模块中。该系统包括位于对象可能通过或放置的地方(例如行李或集装箱运输传送带、行李架、旋转门和存储箱)的多个模块。
在优选实施例中,每个处理器151、156、160和177包括可从Adafruit获得的Raspberry Pi 3、型号B ARM版本8、产品编号3055。在优选实施例中,每个读取器是2.4GHz有源RFID读取器产品ID 800025,包括可从加拿大安大略省的GAO RFID公司获得的数据缓冲。在优选实施例中,每个读取器包括2.45GHz有源个人RFID卡标签、产品ID 127002,其提供100米的范围并且可从加拿大安大略省的GAO RFID公司获得。在另一个实施例中,读取器包括但不限于移动设备、智能手机、平板电脑、可穿戴设备、X-Code软件平台或前述各项的任何合适组合。
参考图1C,其示出了结合位置标签的系统的优选实施例。系统180包括物理附着到对象182的GPS标签181。同样,该系统包括物理连接到对象184的GPS标签183、物理连接到对象186的GPS标签185和物理连接到对象188的GPS标签187。当然,在另一个优选实施例中,可以有连接到许多不同位置处的不同对象的许多GPS标签。在每种情况下,本公开都设想GPS标签和对象将是可移动的并且将物理地结合到诸如行李或运输集装箱之类的对象中。
系统180还包括网络189。在优选实施例中,网络189是互联网。系统180还包括与互联网进行操作性通信的电话网络190和191。在优选实施例中,这些电话网络是蜂窝网络。网络189连接到服务器190,服务器190进而无线连接到用户设备192、193和194。
参考图2,示例性服务器202包括处理器204、存储器206和网络适配器208。服务器202通过网络适配器208与用户设备和数据库进行通信。在优选实施例中,存储器204中的应用程序210和数据212包括由用户设备访问的网络服务器。服务器202与数据库104(图1A)一起操作,以存储、生成和处理从用户设备和位置标签本身接收的关于位置标签的位置和识别信息。
参考图3,示例性用户设备308包括处理器302,该处理器302可操作地连接到存储器304、相机310、显示器312、全球定位系统收发器314、位置传感器315以及网络适配器316和318。示例性用户设备308利用网络适配器316与服务器进行通信,并使用网络适配器318从一个或多个标签接收信标信号广播消息。存储器304包括应用程序320和数据322。在优选实施例中,示例性用户设备308包括但不限于智能手机、平板电脑、笔记本电脑、膝上型电脑和台式电脑。
示例性用户设备308使用全球定位系统314生成位置信息。该位置信息包括针对用户设备的位置的经度、纬度和海拔信息。位置传感器315包括九轴传感器(加速度计的三个轴、陀螺仪的三个轴和磁力计的三个轴)中的加速度计、陀螺仪和磁力计,这允许设备相当精确地记录位置和方向的相对变化并将它们报告给处理器。
网络适配器316是中程或长程无线网络适配器,例如与蜂窝通信技术一起使用的移动网络适配器,但不限于此。网络适配器318是使用诸如Wi-Fi和蓝牙之类的协议的短程无线网络适配器,但不限于此。网络适配器316被用于从服务器请求信息和向服务器提供信息。
短程网络适配器318从一个或多个信标标签接收信标信号广播。用户设备使用广播信号来识别存储在存储器中的指令并在需要时执行它们。
参考图4A,将描述位置标签的优选实施例。信标标签420包括处理器404、存储器406和网络适配器408。存储器406包括应用程序410和数据412。在优选实施例中,信标标签420包括但不限于可从Digi-Key(www.digikey.com/product-detail/en/BLE112-A-V1/1446-1017-1-ND)获得的Blue Giga BLE112蓝牙低功耗单模模块。信标标签420包括短程无线收发器414,其被用户设备用来定位信标标签。收发器使用短程无线协议和标准发送信标信号,该短程无线协议和标准的示例包括但不限于蓝牙低功耗(BLE)信标标准、AppleiBeacon、Google Eddystone和AltBeacon。每个信标标签能够周期性地发送信标信号。在优选实施例中,信号之间的时间段可以在大约20毫秒至大约10秒的范围内,并且在优选实施例中为约200毫秒。信标信号包括唯一标识每个单独信标标签的数字代码。
然后参考图4B,将描述位置标签的替代实施例。RFID标签440被包含在RFID天线444和存储器446中。在优选实施例中,RFID标签440的序列号被包含在存储器446中,并且当从RFID天线444接收到激活信号时被返回。在优选实施例中,位置标签包括2.45GHz有源个人RFID卡标签、产品ID127002,其提供100米的范围并且可从加拿大安大略省的GAO RFID公司获得。
然后参考图4C,将描述位置标签的可替代优选实施例。GPS标签460包括可操作地连接到存储器466的处理器464。存储器466包括用于启动处理器和实现设备功能的程序代码470和数据472。处理器464也可操作地连接到蜂窝适配器468。蜂窝适配器468用于在操作中向处理器传送信息和传送来自处理器的信息。处理器、存储器和蜂窝适配器每个都由电池474供电,电池474在操作期间受到来自程序代码470的电力使用限制。在优选实施例中,处理器464包括但不限于可从Adafruit获得的Raspberry Pi 3、型号B ARM版本8、产品编号3055。在优选实施例中,存储器466是位于Raspberry Pi 3板上的一千兆位RAM。在优选实施例中,蜂窝适配器468是可从Adafruit获得的粒子电子蜂窝IOT适配器产品编号3234。蜂窝适配器能够通过网络访问进行3G蜂窝连接。
如将进一步描述的,信标标签、RFID标签和/或GPS标签中的每个或者它们中的任何一个单独或一起可以组合在单个位置标签中。
图4D示出位置标签403和将被跟踪的对象401的优选实施例。在该实施例中,将被跟踪的对象是行李,例如背包。位置标签403可操作地设置在口袋405内,使得它可以被移除以进行充电或维护。在不同的实施例中,位置标签403可以是信标标签、RFID标签或GPS标签。
图4E示出位置标签480和将要跟踪的对象482的优选实施例。在该实施例中,将要跟踪的对象是运输包裹。位置标签480可操作地设置在包裹内,使得它从外部视野中隐藏,但仍然可以通过无线电通信自由地操作。
图5A示出方法500,其初始化各种文件和子系统以实现系统的优选实施例。在步骤521处,用户设备用于输入个人识别信息,例如用户名、地址、指纹、图片和行程标识符。“行程标识符”的示例可以包括航班号、航班时间、出发位置和目的地位置。这些信息被存储在存储器中。可选地,在步骤522处,选择位置标签类型,包括信标类型、RFID类型和/或GPS类型。
可选地,在步骤523处,用户设备的相机指向与标签相关联的对象,并开始记录图像识别训练视频。图像识别训练视频是用于训练或教导图像识别软件来识别对象的一系列视频帧。视频的每帧都包括对象的图像。在优选实施例中,相机从不同角度提供对象的图像。在优选实施例中,图像识别训练视频以每秒30帧的速度提供图像约30秒,这提供了对象的约900个独立图像。在其他实施例中,图像识别训练视频以对图像识别有用的任何视频帧速率提供图像。在优选实施例中,仅在系统首次初始化时生成图像识别训练视频。
可选地,在步骤524处,如果位置标签类型是信标标签或GPS标签,则标签被加电。可选步骤524可以包括启动信标标签或GPS标签。在步骤526处,标签进入等待状态。
在步骤527处,用户设备108向服务器102发送“系统初始化消息”。该消息包括个人识别信息、标签类型、图像识别训练视频、用户设备标识符或序列号。
在步骤528处,将个人识别信息、标签类型、图像识别训练视频和用户设备标识符存储在存储器中。
在步骤529处,服务器将用户设备108与标签128相关联或“配对”,并在存储器中记录该关联。该关联被系统用来在标签被定位时通知用户设备。在优选实施例中,存储器被组织成能够存储和访问数千组用户信息(或更多)和相关位置标签的数据库格式。
在步骤530处,服务器102生成对象令牌。对象令牌包括标签标识符。在一个优选实施例中,标签标识符是以4字节存储的唯一序列号。在另一个优选实施例中,通过散列标签标识符和随机数来形成对象令牌。随机数与标签标识符相关联,并被存储在数据库中以备后用。
可选地,在步骤531处,服务器102生成对象识别文件。如将进一步描述的,对象识别文件识别由图像识别算法用来识别对象的配置、拓扑和权重。
在步骤532处,服务器102向用户设备108发送对象识别文件。在该示例中,用户设备108与标签128相关联(或配对)。如将进一步描述的,当对象出现在由用户设备108的相机捕获的图像中时,对象识别文件允许用户设备108识别和标识该对象。
在步骤533处,服务器向用户设备112发送对象令牌和随机数。在该示例中,用户设备112不与标签128相关联(或配对)。
在步骤534处,服务器102向用户设备108发送对象令牌和随机数。
在步骤535处,用户设备108与标签标识符相关联,使得用户设备将标签标识符识别为与用户设备108相关联的对象。
可选地,如果标签是GPS类型或信标类型,则在步骤536处,对象令牌和随机数由用户设备108发送到标签128。
可选地,如果标签是GPS类型或信标类型,则在步骤537处,对象令牌由标签128认证。标签128通过解密对象令牌来认证对象令牌,使用随机数来访问标签标识符。将标签标识符与存储在标签存储器中的标签标识符进行比较。如果标签标识符匹配,则标签激活其自身。如果标签标识符不匹配,则标签关闭。
可选地,如果标签是GPS类型或信标类型,则在步骤538处,标签标识符由标签128存储在存储器中。
可选地,如果标签是GPS类型或信标类型,则在步骤539处,标签向用户设备108发送确认信号。在步骤540处,用户设备108将系统初始化。在步骤541处,用户设备108向服务器报告系统初始化。
图5B示出方法501,其描述了使用中的系统,其中第一用户设备识别并报告与第二用户设备相关联的信标标签的长程位置。在该示例中,用户设备108与信标标签502配对。假设信标标签502和用户设备112都远离用户设备108。假设信标标签502和用户设备108彼此不靠近。还假设用户设备112离信标标签502很近。
在步骤542处,信标标签502开始发送信标信号及其序列号或令牌。在优选实施例中,信标标签502被预设为以约50mW的功率水平、约每200毫秒发送一次信号。在步骤543处,用户设备112轮询其机载GPS收发器以确定其GPS坐标。在优选实施例中,GPS坐标大约每分钟更新一次。
在步骤544处,信标标签502向用户设备112发送信标信号。在步骤546处,用户设备112记录时间戳,然后处理信标信号以解码对象令牌来确定标签标识符。
在步骤547处,用户设备112测量信标信号的强度并查询预定的校准表,以将强度转换成近似于从标签到用户设备112的距离的距离范围。
在优选实施例中,使用以下表格:
信号强度 估计的标签距离
0.98–0.85mW 25–30英尺
1.13–0.98mW 20–25英尺
1.30–1.13mW 15–20英尺
1.50–1.30mW 10–15英尺
1.73–1.50mW 5–10英尺
1.94–1.73mW 1–5英尺
>1.94mW <1英尺
表1
在步骤548处,用户设备112生成“标签位置消息”,该消息包括其用户设备标识符、标签标识符、距离范围、用户设备112的GPS坐标以及显示何时接收到信标信号的时间戳。应当理解,在优选实施例中,许多标签位置消息通常将由多个用户设备(例如用户设备112)生成,每个消息都被报告回到服务器。
在步骤550处,用户设备112向服务器发送标签位置消息。
在步骤551处,服务器使用与标签相关联的随机数解密标签位置消息(如果加密的话),以识别标签标识符。在步骤552处,标签标识符、用户设备112的GPS坐标、时间戳和与标签标识符相关联的随机数随后被存储在数据库中。
在步骤553处,用户设备108检测并存储其GPS坐标。在步骤554处,从用户设备108向服务器102发送对象位置请求消息。对象位置请求包括用户设备108的设备标识符和用户设备108的GPS坐标。
在步骤555处,服务器使用与用户设备相关联的随机数或序列号(如果加密的话)解密对象位置消息。在步骤556处,将信息存储在数据库中。在步骤557处,服务器从数据库中检索所有标签位置消息,然后将它们与标签标识符进行比较,以定位那些与信标标签502的标签标识符相匹配的消息。这些是“匹配的标签标识符”。在步骤558处,服务器对匹配的标签标识符进行分类,以确定最接近信标标签的用户设备的GPS坐标。
在步骤559处,由服务器102生成“对象位置警报”。对象位置警报包括用户设备112的GPS坐标(或报告的最近的一组GPS坐标)和相关的时间戳。
在步骤560处,将对象位置警报从服务器102传送到用户设备108。
在步骤561处,用户设备108解码对象位置警报。在步骤562处,将位于对象位置警报中的用户设备112的GPS坐标(或最近的一组坐标)存储在存储器中。
在步骤563处,由用户设备108生成方向向量。在该实施例中,方向向量从用户设备108的位置到用户设备112的位置取为正值。方向向量的角度从正北方0°顺时针取为正值。方向向量的大小从用户设备108的位置到用户设备112的位置取为正英尺。在步骤564处,返回方向向量以用于进一步处理。
参考图5C,将描述确定RFID标签位置的方法570。
在步骤571处,用户设备594生成RFID标签位置请求。RFID标签位置请求包括用户设备的序列号。在步骤573处,将RFID标签位置请求发送到服务器591。在步骤574处,服务器记录该请求位置和用户设备的序列号。在步骤575处,服务器查询查找表,该查找表包括所有用户设备和相关联的RFID标签序列号的列表。与用户设备序列号相关联的RFID标签序列号被识别。在步骤576处,服务器向系统中的所有天线基模块(包括天线基模块593)发送扫描请求,该扫描请求包括RFID标签序列号。
在步骤578处,天线基模块593存储其固定的GPS位置。在步骤578处,基于天线的模块开始扫描循环,其中重复地轮询天线以确定RFID标签信号的存在。在步骤579处,天线基模块593接收RFID信号。在步骤580处,天线基模块从RFID信号中解码序列号。在步骤581处,天线基模块记录接收到RFID信号的日期和时间戳。在步骤582处,将序列号和日期/时间戳存储在机载存储器的表格中。在步骤583处,天线基处理器利用机载wifi网络适配器向服务器591报告序列号、日期/时间戳和GPS位置。
在步骤584处,服务器591存储序列号、日期/时间戳和天线基模块的GPS位置。在可选步骤585处,服务器591查询与序列号相关联的客户端设备或固定坐标的查找表。在步骤586处,服务器591向用户设备594发送对GPS坐标的请求。在步骤587处,用户设备594从机载GPS收发器中导出其GPS坐标。在步骤588处,用户设备594向服务器591发送导出的GPS坐标。在步骤530处,服务器589计算方向向量。在该实施例中,方向向量从用户设备594的GPS位置指向天线基模块593的GPS位置。在该实施例中,方向向量的方向被取为与正北方所成的度数。从用户设备的位置到天线基模块的位置,大小被取为正值。向量的大小以英尺为单位进行报告。在步骤590处,服务器591向用户设备594报告方向向量。在步骤592处,用户设备返回方向向量,并且该过程结束。
然后参考图5D,将进一步描述报告GPS标签位置的优选方法502。在步骤503处,用户设备504生成GPS标签位置请求。在优选实施例中,该请求包括用户设备的GPS坐标、4字节请求代码和用户设备的序列号。在步骤507处,用户设备504向服务器507发送位置请求。在步骤508处,服务器505解码位置请求并记录用户设备序列号及其GPS坐标。在步骤509处,服务器505查询查找表以确定与用户设备序列号相关联的GPS标签序列号。在步骤510处,服务器505向相关联的GPS标签处理器506发送对GPS标签位置的请求。在步骤511处,GPS标签处理器506解析其来自机载GPS收发器的GPS位置。在步骤512处,GPS标签处理器506存储与GPS位置和位置请求相关联的日期和时间戳。在步骤513处,GPS处理器506将GPS位置以及日期和时间戳返回给服务器505。在步骤514处,服务器505存储GPS位置以及日期和时间戳。
在步骤515处,服务器505计算方向向量。在该实施例中,方向向量是从用户设备504的GPS位置到GPS标签处理器506的GPS位置的向量。方向向量的方向取为与正北方所成的度数。从用户设备504的位置到GPS标签处理器506的位置,量值大小取为正值。向量的大小以英尺为单位进行报告。在步骤516处,服务器505向用户设备504报告方向向量的大小和方向。在步骤517处,用户设备504返回方向向量,并且该方法结束。
参考图6A,标签范围确定跟踪例程600在用户设备108上进行操作,以定位、识别和显示物理附着到信标标签、RFID标签和/或GPS标签上的对象的位置。基于包括功能(即信标标签、RFID标签、GPS标签和/或印刷介质)中的哪一个,位置标签将对所描述的各种系统做出响应。
在步骤602处,该方法开始。
在步骤603处,向服务器102发送对标签位置信息的请求。
在步骤604处,确定是否已经接收到标签位置信息。如果是,则该方法进行到步骤605。如果不是,则该方法返回到步骤603。在一个优选实施例中,标签位置信息是方向向量。在另一个实施例中,标签位置信息是信标信号。
在步骤605处,用户设备解码并存储标签位置信息。在步骤606,进行确定。如果标签信息是来自与用户设备配对的信标标签的信标信号,则该方法直接移动到步骤629处的短程模式。如果不是,则该方法继续到步骤607。在步骤607处,启用用户界面,该用户界面允许用户在“长程模式”与“短程模式”之间进行选择。在长程模式下,假定用户设备离标签相对较远。在短程模式下,假定用户设备离标签相对较近。在步骤610处,用户设备接收对长程模式或短程模式或者未决定的选择。如果选择短程模式,则该方法进行到步骤629。如果选择长程模式,则该方法进行到步骤612。如果接收到未决定,则该方法移动到步骤611。在步骤611处,将方向向量的大小与预定距离“x”进行比较。在优选实施例中,x在大约50英尺和150英尺之间,但是可以选择其他距离。在其他实施例中,“长程”可达数百英里。如果方向向量的大小大于x,则该方法进行到步骤612。如果不是,则该方法进行到步骤629。
在步骤612处,用户设备进入长程模式。在长程模式下,方向向量可以由长程信标标签系统、RFID标签系统、GPS标签系统或三者的组合来生成。
在步骤614处,用户设备生成并显示标签标识符、行程标识符、对象所有者的姓名和照片以及对象140的图像。
在步骤616处,用户设备确定其GPS位置。
在步骤620处,用户设备从存储器中检索方向向量。
在步骤621处,用户设备生成并显示地图部分。在优选实施例中,地图部分是从第三方供应商诸如谷歌地图下载的。在优选实施例中,显示的地图部分的周界的坐标被缩放到方向向量的长度的大约四倍。
在步骤622处,用户设备的位置在地图部分中居中并被显示。在一个优选实施例中,将用户设备的位置作为方向向量的起点。在另一个优选实施例中,用户设备的位置取自机载GPS收发器。在优选实施例中,使用特定的可识别图标来呈现用户设备位置。
在步骤624处,在地图上呈现标签位置。将标签的位置作为方向向量的终点。在优选实施例中,标签位置被表示为不同的图标,包括但不限于菱形、箭头、表情符号、文本或其他几何形状。
在步骤625处,在地图上显示方向向量。
由于假设用户设备将朝向位置标签移动,并且标签本身可能正在移动,因此需要频繁更新地图并确定相对量程。在步骤626处,用户设备确定其是否在短程内。为此,它将用户设备的GPS坐标与方向向量中的标签的GPS坐标进行比较以得出差值。然后将该差值与预定距离(例如大约100英尺)进行比较。取决于所需的标签位置的准确性,其他距离就足够。如果该距离小于预定距离,则该方法移动到步骤629。如果不是,该方法移动到步骤627。
在步骤627处,用户设备询问用户该过程是否应该终止。如果不是,则该方法返回到步骤614。如果是,该方法移动到步骤628并终止。
然后移动到步骤629,用户设备进入“短程模式”。在优选实施例中,“短程”小于约50英尺至约150英尺,但是可以选择其它距离,只要它们小于“长程”模式即可。在短程模式下,方向向量可以由短程信标标签系统、RFID标签系统、对象识别系统或三者的组合来产生。
在步骤630处,生成并显示来自用户设备108的相机的视频流。视频流是由用户设备的相机生成的静态图像序列。
在步骤631处,从存储器中检索并显示标签标识符、行程标识符、用户设备的用户姓名、对象所有者的图像以及对象的图像。
在步骤632处,如将进一步描述的,该过程确定并显示方向元素的取向并更新显示。在优选实施例中,方向元素被显示为“左方向箭头”、“右方向箭头”或“靶心”。在步骤633处,方向元素被覆盖在视频流的顶部并被显示。在优选实施例中,只要用户设备在移动,就重复该步骤。
在步骤634处,确定标签是否在“超短”程内。为此,将方向向量的大小与预定距离“y”进行比较。在优选实施例中,y在大约5英尺和10英尺之间,但是可以选择其他距离,只要它们小于“短程”模式即可。如果方向向量的大小小于y,则该方法进行到步骤635。如果不是,该方法进行到步骤637。
在步骤635处,该方法调用将进一步描述的图像识别例程。
在步骤636处,如将进一步描述的,该方法显示识别框。该方法然后进行到步骤638并终止。
在步骤637处,询问用户该过程是否应该终止。如果是,则该过程在步骤638处停止。如果不是,则该过程返回到步骤630。
转向图6B,将描述确定并显示方向元素的方法645的优选实施例。在步骤639处,确定用户设备的位置和取向。在优选实施例中,用户设备轮询其机载位置传感器以确定滚转、俯仰和偏航。
在步骤640处,检查用户设备的取向,以查看其是否“正确”。在该步骤中,将用户设备的当前位置与理想位置进行比较以确定差异。如果用户设备取向是“正确的”,则该方法移动到步骤642。如果不是,则该方法移动到步骤641处,并向用户显示关于用户设备的正确取向的指令。该方法然后返回到步骤639。
在步骤642处,从存储器中检索方向向量。
在步骤643处,如将进一步描述的,确定显示元素的取向。
在步骤644处,该方法生成并显示将用户引导到标签位置的方向元素。该方向元素可以被显示为叠加在增强现实显示器(例如,智能手机)上。
参考图6C,将使用优选的坐标系650描述用户设备232的“正确”取向。轴线652被定义为“x”轴或“偏航”。轴线654被定义为“y”轴或“俯仰”。轴线656是“z”轴或“滚转”。用户设备232以隐藏机载相机的取向示出。相机沿着轴线656面向“-z”方向。在优选实施例中,当轴线656在“-z”方向上指向对象时,用户设备处于“正确”取向以用于短程模式。轴线652保持垂直于地平线。轴线654保持平行于地平线。因此,轴线“y”是完全水平的,而轴线“x”是完全垂直的。轴线656指向地平线并且被假定为在-z方向上直接背离用户。因此,在优选实施例中,俯仰角应为0°,滚转角应为0°,偏航角应为0°。每次移动用户设备108时,都会更新位置和取向。通过比较短时间内连续的位置传感器读数,然后从较早的一组位置读数中减去较晚的一组位置读数以确定增量,从而确定用户设备的相对位置。任何位置读数的增量都被认为是位置的变化。
参考图6D,将描述在用户设备上显示方向元素的方法。在步骤665处,从位置传感器确定用户设备的z轴的相对方向并将其存储在存储器中。在优选实施例中,通过将用户设备的第一GPS位置映射到由位置传感器报告的第一相对位置,然后将用户设备的第二GPS位置映射到由位置传感器报告的第二相对位置,从而获得相对方向。一个实施例中的映射过程忽略滚转和偏航的变化。随着用户设备移动,将用户设备的最近GPS位置作为第二相对位置,并且将下一个最近GPS位置作为第一相对位置。相对方向的角度是从正北方顺时针方向取的。将相对方向的大小取为第一位置与第二位置之间的距离。在步骤666处,通过将方向向量的第一组GPS坐标与相对方向的第一组GPS坐标对准,从而将方向向量归一化为相对方向。在一个实施例中,通过改变方向向量的第一组GPS坐标以匹配相对方向的第一组坐标来实现对准。
在步骤667处,在相对方向的角度与方向向量的角度之间进行比较,以得出差角“α”。从相对方向到方向向量以顺时针方式进行比较。
在步骤668处,确定方向向量的角度是否大于相对方向的角度。如果是,则该方法进行到步骤669。如果不是,该方法进行到步骤670。在步骤669处,将360°与α相加,并且该方法移动到步骤670。
在步骤670处,如果角度α在2°和179°之间,则该过程移动到步骤671,在步骤671中报告“向右箭头”。然后,该过程移动到676并结束。如果不是,则该过程移动到步骤672。在步骤672处,如果角度α在180°和358°之间,则在步骤673中报告“向左箭头”,并且该方法在步骤676处结束。如果不是,则在步骤674中报告“靶心”,并且该过程移动到步骤675。在步骤675处,如将进一步描述的,触发超短程图像识别例程。
参考图6E,描述了计算“向右”箭头决策的图形示例。在该示例中,用户设备232位于点680处,并且相对方向677被示为与正北方(0°)成90°。方向向量678被示出为处于180°。从相对方向到方向向量以顺时针方式计算偏移角度“α”。在该示例中,α被报告为90°(180°-90°),其介于20°和179°之间,因此将报告“向右箭头”。
参考图7A,将描述用于在短程模式下定位信标标签的方法700的优选实施例。
在步骤750处,该方法开始。在步骤751处,用户设备查询机载位置传感器以定位其初始位置坐标。在步骤752处,由用户设备接收到信标信号。在步骤753处,位置坐标连同它们被接收时的时间戳一起被存储在存储器中。在步骤754处,分析信标信号的强度。在步骤755处,将信标强度存储在存储器中。在步骤756处,查询估计距离表以确定最大和最小估计距离。以此方式,信标信号的信号强度被转换成可能距离的范围。信号越弱,则用户设备与标签之间的距离越大。信号越强,则用户设备与标签之间的距离越小。对于任何给定的信号强度,表中提供了最大和最小距离。
在步骤757处,如将进一步描述的,构建“概率圆”并将其映射到用户设备在时间戳的时间点的初始位置。
每个概率圆是通过绘制以用户设备的位置为中心的两个同心圆来确定的。两个圆中较大的一个圆的半径为来自估计距离表的最大距离。两个圆中较小的一个圆的半径为来自估计距离表的最小距离。概率圆的构造包括第一圆与第二圆之间的点的轨迹。
在步骤758处,将包括概率圆的点的轨迹和记录概率圆时的时间戳存储在存储器中。
在步骤759处,再次轮询位置传感器以确定用户设备是否已经移动。这是通过比较当前位置和初始位置来完成的。如果是,则该方法移动到步骤760。如果不是,则该方法返回到步骤753。在步骤760处,基于位置传感器数据和所有三个概率圆之间的重叠,确定是否存在足够的数据来绘制用户设备的三个(3个)相对位置。如果不是,则该过程返回到步骤752。如果是,则该过程移动到步骤761。
在步骤761处,从存储器中检索最后三个概率圆的尺寸和相对位置。在步骤762处,计算三组(3组)重叠,即第一概率圆与第二概率圆之间的第一重叠组,第二概率圆与第三概率圆之间的第二重叠组以及第一概率圆、第二概率圆和第三概率圆之间的第三重叠组。每组重叠形成平面图形,该平面图形由每个圆共有的点的轨迹组成。一组可以由一个或多个平面图形组成。在步骤763处,如将进一步描述的,计算第三重叠的质心并确定其GPS位置。
在步骤764处,检索并存储用户设备的最新位置的GPS坐标。
在步骤765处,计算用户设备的最新GPS位置与质心位置之间的方向向量。从用户设备正北方0°到质心,方向向量的角度为正。方向向量从用户设备的GPS坐标前进到质心。方向向量的大小是从用户设备的最新位置到质心的距离,单位为英尺。在步骤766处,返回方向向量。
参考图7B,图700是确定三个(3个)概率圆和质心的示例的图形表示。对于第一信标信号,用户设备在时间1位于位置1,702。对于第二信标信号,用户设备在时间2位于位置2,704。对于第三信标信号,用户设备在时间3位于位置3,706。
概率圆708仅基于信标信号强度来识别当用户设备处于位置1时信标标签可能所在的点的轨迹。同样,概率圆710识别当用户设备处于位置2时信标标签可能所在的点的轨迹。同样,概率圆712识别当用户设备处于位置3时信标标签可能所在的点的轨迹。
在该示例中,在针对0-2毫瓦(mW)的信号强度的位置1处,720处示出25英尺的半径,而718处示出30英尺的半径。差726为5英尺。围绕位置1绘制概率圆724,其具有内半径720、外半径714和宽度726。该概率圆表示当用户设备处于位置1时标签的可能位置。
同样,当用户设备移动到位置2时,730处示出15英尺的半径,而731处示出20英尺的半径。这表示在40-60mW之间的信号强度。730和731之间的差为5英尺。围绕位置2绘制一个圆,其内半径为730,外半径为731,并且具有5英尺的宽度732。该概率圆表示当用户设备处于位置2时标签的可能位置。
同样,当用户设备移动到位置3时,733处示出1英尺的半径,而734处示出5英尺的半径。这表示在100-120mW之间的信号强度。733和734之间的差735为4英尺。围绕位置3绘制该圆,其内半径为733,外半径为734并且具有4英尺的宽度。该概率圆表示当用户设备处于位置3时标签的可能位置。
由于所有三个概率圆都被存储在存储器中,并且与用户设备在不同时间点的相对位置相关联,因此它们之间的重叠可以用于计算当用户设备处于位置3时信标标签的位置。概率圆1与概率圆2之间的重叠在736和737处示出。概率圆2与概率圆3之间的重叠在738和739处示出。概率圆1、概率圆2和概率圆3之间的重叠在740处示出。
信标标签128的估计位置被计算为区域740的质心。然后计算方向向量745,该方向向量具有在与位置3相关联的GPS坐标处的起点742和在区域740的质心处的终点770。
参考图7C,进一步描述区域740的质心。对于平面图形,例如第三重叠740,质心或重心计算如下:
Figure BDA0003179394560000211
Figure BDA0003179394560000212
其中:
A是区域740的面积;
Sy(x)是长度线768;以及
Sx(y)是长度线767。
转向图8,序列800示出使用具有图像识别的超短程来识别对象的方法。服务器802提供图像识别服务。在优选实施例中,图像识别服务包括但不限于Google Cloud PlatformCloud Vision API、Microsoft Azure Computer Vision API、以及Amazon Web ServicesAmazon Recognition。
在步骤821处,图像识别服务被训练以使用在系统初始化期间拍摄的训练视频来识别对象。
在步骤822处,用户设备808生成实时视频显示。在优选实施例中,由用户设备808上的相机生成该视频显示。
在步骤824处,从视频显示中选择固定图像。在优选实施例中,以400毫秒的间隔从视频中获取固定图像。在优选实施例中,当触发超短程例程时,捕获该固定图像。
在步骤826处,用户设备808生成包括选择的固定图像和对象识别模型的图像识别请求。由系统初始化期间系统生成的对象识别文件和所需的模型参数来定义该对象识别模型。
可替代地,在步骤826处,可以不发送图像识别请求,因为用户设备808可以识别对象上的印刷介质。例如,用户设备808上的相机可以包括QR读取器软件,或者具有必要的校正处理代码(例如,Reed-Solomon误差校正)的处理器,使得在步骤822处获得的一个或多个图像可以被用户设备808用来识别所认知的印刷介质。
可替代地,在步骤826处,图像识别请求可以包括印刷介质识别模型。
在可选步骤827处,用户设备808生成印刷介质识别消息。印刷介质识别消息可以允许通过将所认知的印刷介质识别为从服务器802请求对象识别的替代物来识别对象。一些实施例使用对象识别和印刷介质识别两者。
在步骤828处,从用户设备808发送并由服务器802接收图像识别请求。步骤828可以包括连同或代替图像识别请求向服务器802发送印刷介质识别消息。
在步骤830处,服务器802基于对象识别模型分析选择的固定图像。在优选实施例中,对象识别模型描述与人工智能图像识别算法相关的权重、层和结构。
在步骤832处,由服务器802生成概率、标签和图像位置坐标。在优选实施例中,图像位置坐标由选择的固定图像内的矩形的左上角定义和右下角定义来限定,其中对象830的图像应该出现在该固定图像内。概率表示人工智能图像识别算法已经正确识别出对象的置信区间。
在步骤834处,服务器802生成包括概率、标签和图像位置坐标的对象识别消息。
在步骤836处,将对象识别消息从服务器802发送到用户设备808。
在步骤838处,用户设备808生成显示器。该显示器包括概率、标签和根据左上角和右下角坐标生成的图像位置矩形,其覆盖在选择的固定图像上。该显示器还包括对象的图像和所有者的图像。以此方式,在超短程内,围绕对象绘制可见的矩形,使得用户可以容易地对其定位。该显示器还可以包括多个箭头或其他移动或闪烁的图形,例如指示对象的绝对位置的箭头。可替代地,多个箭头或其他移动或闪烁的图形可以指示专用于对象的所识别的印刷介质的绝对位置,例如QR码。
参考图9A,“长程”模式显示器900被示出在用户设备908上。长程模式显示器900包括地图902和信息框910。
地图902将用户设备的当前位置显示为图标904。地图902还将标签的位置显示为图标906。用户设备908之间的路径如箭头909所示。箭头909指示行进的方向,以便使用户设备908更靠近与其配对的位置标签。
信息框910示出与标签配对的对象的图像915、所有者的图像916、标签标识符917、航班标识符919、用户姓名921和量程信息923。在该示例中,该量程信息指示标签距离用户设备的位置大于100米。以此方式,信息框显示对象的图片和用户的图片,从而允许用户即时认证对象的所有权。
参考图9B,其示出“短程”模式下的显示器。十字准线913示出在显示器中的固定位置。相机视频图像914显示来自用户设备相机的实况视频馈送。显示了“向右”箭头911或“向左”箭头912。每个箭头在显示时指示用户设备必须转向以到达位置标签的方向。“靶心”925位于视频图像的中心处,并且当位置标签位于显示器的中心时突出显示。
参考图9C,其示出“超短程”模式显示器930。范围信息923指示标签接近度。在该示例中,标签距离用户设备不到10英尺。还显示了用户图片916和对象图片915。矩形927指示所识别的图像。置信区间928指示正确识别对象的图像的可能性。
参考图9D,其示出替代的“超短程”显示器。四个箭头932、934、936和938被显示在与标签相关联的对象的中心处。
本领域技术人员将理解,可以对公开的实施例进行修改,并且这些修改仍然在本发明构思内。因此,本发明不限于公开的具体实施例,而是旨在涵盖权利要求的范围和精神内的各种变化。

Claims (20)

1.一种用于定位附着在位置标签上的对象的系统,包括:
第一用户设备,其具有显示器;和
第一位置标签,其与所述第一用户设备配对并产生位置信号;
所述第一用户设备被编程为:
接收所述位置信号;
基于所述位置信号生成方向向量;
基于所述位置信号在所述显示器上生成并显示指示所述位置标签的位置的方向元素;以及
在接收到所述位置信号时,在所述显示器上生成并显示与所述对象相关的识别信息。
2.根据权利要求1所述的系统,其中所述方向元素被叠加显示在增强现实显示器上。
3.根据权利要求1所述的系统,其中所述位置标签还包括信标标签、RFID标签或GPS标签中的至少一个。
4.根据权利要求1所述的系统,其中所述位置标签包括指示所述对象的所有权的可见印刷材料。
5.根据权利要求1所述的系统,其中所述方向元素是指向所述位置标签的动画箭头。
6.根据权利要求1所述的系统,其中所述识别信息包括所有者姓名、所有者图片、与所述对象相关的图片或航班信息中的一个或多个。
7.根据权利要求1所述的系统,其中所述方向元素基于图像识别算法。
8.一种用于定位附着在位置标签上的对象的系统,包括:
服务器,其具有连接到数据库的处理器;
第一用户设备,其与所述服务器进行通信;
位置标签,其与所述第一用户设备配对;
第二用户设备,其与所述服务器和所述位置标签进行通信;
所述第二用户设备被编程为:
从所述位置标签接收指示所述位置标签的身份的第一数据;
识别指示所述第二用户设备的位置的第二数据;
将所述第一数据和所述第二数据发送到所述服务器;
所述第一用户设备被编程为:
识别指示所述第一用户设备的位置的第三数据;
向所述服务器发送位置请求消息;
所述服务器被编程为:
接收所述第一数据、所述第二数据和所述位置请求消息;
基于所述第一数据识别所述第一用户设备与所述位置标签的所述配对;
向所述第一用户设备发送包括所述第二数据的对象位置警报;
所述第一用户设备还被编程为:
将所述第二数据与所述第三数据进行比较;以及
基于所述比较生成显示器,所述显示器具有到所述第二用户设备的所述位置的第一视觉指示符,作为所述位置标签的所述位置的代理。
9.根据权利要求8所述的系统,其中所述第一用户设备与所述位置标签通信,并且其中所述第一用户设备还被编程为:
从信标信号接收所述第一数据;
确定所述信标信号的强度;
基于所述信标信号的所述强度构建多个概率圆;
从所述多个概率圆导出一组重叠坐标;
基于所述重叠坐标计算质心;
识别指示所述第一用户设备的位置的第四数据;
计算所述第一用户设备的所述位置与所述质心之间的方向向量;以及
基于所述方向向量生成具有到所述质心的第二视觉指示符的显示器。
10.根据权利要求9所述的系统,其中所述第一用户设备还被编程为通过以下步骤来构建所述多个概率圆:
接收指示所述第一用户设备的移动的传感器位置数据;
检索所述多个概率圆中的三个概率圆;以及
从所述三个概率圆导出所述质心。
11.根据权利要求9所述的系统,其中所述第一用户设备还被编程为:
查询信号强度和估计距离的表以构建所述多个概率圆中的每个概率圆。
12.根据权利要求9所述的系统,其中所述第一用户设备还被编程为基于以下等式计算所述质心:
Figure FDA0003179394550000031
Figure FDA0003179394550000032
其中Sy(x)是到所述一组重叠坐标中的一点的第一距离;
Sx(y)是到所述一组重叠坐标中的一点的第二距离;以及
A是由所述重叠坐标定义的面积。
13.一种用于定位附着在位置标签上的对象的系统,包括:
服务器,其具有连接到数据库的处理器;
多个用户设备,其与所述服务器进行通信;
多个位置标签,所述多个位置标签中的每个位置标签与所述多个用户设备中的唯一用户设备配对;
长程标签定位系统,其与所述多个用户设备、所述多个位置标签和所述服务器进行通信,用于在长距离定位所述多个位置标签;
短程标签定位系统,其与所述多个用户设备、所述多个位置标签和所述服务器进行通信,用于在短距离定位所述多个位置标签;以及
超短程标签定位系统,其与所述多个用户设备、所述多个位置标签和所述服务器进行通信,用于在超短距离定位所述多个位置标签。
14.根据权利要求13所述的系统,其中所述长程标签定位系统还包括长程信标系统、GPS系统和RFID系统的群组中的一个。
15.根据权利要求13所述的系统,其中所述短程系统还包括RFID系统、短程信标系统和图像识别系统的群组中的一个。
16.根据权利要求13所述的系统,其中所述超短程系统还包括短程信标系统和图像识别系统。
17.根据权利要求13所述的系统,其中所述多个位置标签中的第一位置标签包括信标标签、RFID标签、GPS标签和印刷介质的群组中的一个或多个。
18.根据权利要求13所述的系统,还包括所述多个用户设备中的第一用户设备,所述第一用户设备被编程为:
接收标签识别信号;
基于所述标签识别信号在长程模式、短程模式和超短程模式之间进行选择;
其中所述长程模式调用所述长程标签定位系统;
其中所述短程模式调用所述短程标签定位系统;以及
其中所述超短程模式调用所述超短程标签定位系统。
19.根据权利要求18所述的系统,其中所述第一用户设备还被编程为:
基于由所述长程标签定位系统、所述短程标签定位系统和所述超短程标签定位系统的群组中的一个提供的方向向量,提供增强现实显示器。
20.根据权利要求19所述的系统,其中所述第一用户设备还被编程为:
在所述增强现实显示器中提供所述对象的图像和与所述对象相关的信息数据集。
CN201980090286.8A 2018-11-28 2019-11-27 用于定位对象的系统、方法和装置 Pending CN113366370A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862772205P 2018-11-28 2018-11-28
US62/772,205 2018-11-28
US16/514,048 US10598507B1 (en) 2018-11-28 2019-07-17 Systems, methods, and apparatus for locating objects
US16/514,048 2019-07-17
PCT/US2019/063765 WO2020113111A1 (en) 2018-11-28 2019-11-27 Systems, methods, and apparatus for locating objects

Publications (1)

Publication Number Publication Date
CN113366370A true CN113366370A (zh) 2021-09-07

Family

ID=69902754

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980090286.8A Pending CN113366370A (zh) 2018-11-28 2019-11-27 用于定位对象的系统、方法和装置

Country Status (9)

Country Link
US (1) US10598507B1 (zh)
EP (1) EP3887893A4 (zh)
JP (1) JP2022511769A (zh)
KR (1) KR20210096177A (zh)
CN (1) CN113366370A (zh)
AU (1) AU2019389098A1 (zh)
CA (1) CA3121166A1 (zh)
SG (1) SG11202105563RA (zh)
WO (1) WO2020113111A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11232307B2 (en) 2018-11-28 2022-01-25 Carl LaMont Systems and methods for using augmented reality to locate objects, identify persons, and interact with inanimate objects
US11688258B2 (en) * 2019-08-30 2023-06-27 Sensormatic Electronics, LLC Radio frequency identification (RFID) tag location verification using short range communication
WO2021188143A1 (en) * 2020-03-20 2021-09-23 Carl Lamont Systems and methods for using augmented reality to locate objects, identify persons, and interact with inanimate objects
CN114489314B (zh) * 2020-10-27 2024-05-28 Oppo广东移动通信有限公司 增强现实影像显示方法及相关装置
CN115164883A (zh) * 2022-07-18 2022-10-11 天璺科技(上海)有限公司 基于可穿戴marg传感器和蓝牙定位的混合追踪方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7523871B1 (en) * 2006-12-01 2009-04-28 Allen Wilson Identification theft proof tag and sticker method
US20110234399A1 (en) * 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing a remote lost-and-found service
CN103270540A (zh) * 2010-12-30 2013-08-28 派尔高公司 使用摄像机网络跟踪运动对象
CN103503013A (zh) * 2010-10-13 2014-01-08 哈默尔Tlc公司 以与储值令牌相关的视频创建个性化体验的方法和系统
US20140300452A1 (en) * 2013-04-05 2014-10-09 Powermat Technologies, Ltd. System and method for determining proximity
CN104504402A (zh) * 2015-01-15 2015-04-08 刘畅 一种基于图像搜索的数据处理方法及系统

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070037588A1 (en) * 2000-07-14 2007-02-15 Norman Mohi Locating system and method
US20070037582A1 (en) * 2000-07-14 2007-02-15 Norman Mohi Locating system and method
US20070042790A1 (en) * 2000-07-14 2007-02-22 Norman Mohi Locating system and method
US8195200B2 (en) * 2000-07-14 2012-06-05 Norbelle Llc Locating system and method
JP4462149B2 (ja) * 2005-09-07 2010-05-12 株式会社日立製作所 無線タグ探索方法および装置
US8838481B2 (en) * 2011-07-26 2014-09-16 Golba Llc Method and system for location based hands-free payment
JP5953812B2 (ja) * 2012-02-27 2016-07-20 カシオ計算機株式会社 携帯端末及びプログラム
US9183727B2 (en) * 2013-03-14 2015-11-10 Cellco Partnership Object tracking with platform notifications
US20150012307A1 (en) * 2013-07-05 2015-01-08 Radioactive Development, LLC Electronic reservation system and method
JP6241275B2 (ja) * 2013-12-27 2017-12-06 株式会社ダイフク 仕分け設備、仕分け設備における情報表示方法、仕分け設備における情報表示機構の表示部、仕分け設備における情報表示機構の情報処理部
EP3167440A1 (en) * 2014-07-10 2017-05-17 Brice, David, G. System for locating remote objects
US20180240176A1 (en) * 2017-02-21 2018-08-23 Panasonic Intellectual Property Management Co., Ltd. Electronic routing and messaging in a venue based on activity level
US10620006B2 (en) * 2018-03-15 2020-04-14 Topcon Positioning Systems, Inc. Object recognition and tracking using a real-time robotic total station and building information modeling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7523871B1 (en) * 2006-12-01 2009-04-28 Allen Wilson Identification theft proof tag and sticker method
US20110234399A1 (en) * 2010-03-25 2011-09-29 Nokia Corporation Method and apparatus for providing a remote lost-and-found service
CN103503013A (zh) * 2010-10-13 2014-01-08 哈默尔Tlc公司 以与储值令牌相关的视频创建个性化体验的方法和系统
CN103270540A (zh) * 2010-12-30 2013-08-28 派尔高公司 使用摄像机网络跟踪运动对象
US20140300452A1 (en) * 2013-04-05 2014-10-09 Powermat Technologies, Ltd. System and method for determining proximity
CN104504402A (zh) * 2015-01-15 2015-04-08 刘畅 一种基于图像搜索的数据处理方法及系统

Also Published As

Publication number Publication date
EP3887893A1 (en) 2021-10-06
WO2020113111A1 (en) 2020-06-04
AU2019389098A1 (en) 2021-06-17
EP3887893A4 (en) 2022-11-16
CA3121166A1 (en) 2020-06-04
KR20210096177A (ko) 2021-08-04
SG11202105563RA (en) 2021-06-29
JP2022511769A (ja) 2022-02-01
US10598507B1 (en) 2020-03-24

Similar Documents

Publication Publication Date Title
US10598507B1 (en) Systems, methods, and apparatus for locating objects
US10726267B1 (en) Systems and methods for using augmented reality to locate objects, identify persons, and interact with inanimate objects
CN107923960B (zh) 用于在空间内定位标签的系统和方法
US20210383320A1 (en) Object location in a delivery vehicle
US20220042814A1 (en) Hands-free augmented reality system for picking and/or sorting assets
US10969469B2 (en) Tracking system
EP2798571B1 (en) Portable data tag reader device, system and method for identifying a location of a data tag
US20180025412A1 (en) Determining in-store location based on images
US11538242B2 (en) Systems and methods for using augmented reality to locate objects, identify persons, and interact with inanimate objects
US11301800B1 (en) Package tracking utilizing modifiable delivery tags
KR20170110341A (ko) 무인배송로봇의 사용자 식별을 통한 배송 방법
CN112541717A (zh) 一种行李箱的追踪系统及方法
US11270542B2 (en) Solid-state miniature atomic clock and methods of use
US10997545B1 (en) Package tracking utilizing active delivery tags
US20200372450A1 (en) Determining rfid tag orientation for virtual shielding
WO2018221515A1 (ja) 位置測定用の端末装置,コンピュータプログラム,及びシステム
US9949080B2 (en) Arrangement for, and method of, finding and recovering lost mobile devices in a venue
JP2021109750A (ja) 物品管理システムおよび物品管理方法
WO2021188143A1 (en) Systems and methods for using augmented reality to locate objects, identify persons, and interact with inanimate objects
JP2021111165A (ja) 物品管理システムおよび物品管理方法
JP2024010488A (ja) 誤配送防止システム、管理コンピュータ、作業者端末装置、並びにプログラム
JP2021111166A (ja) 販売管理システムおよび販売管理方法
KR20180029987A (ko) 특정 공간 내의 위치 추정 시스템
KR20180009255A (ko) 특정 공간 내의 위치 추정 시스템

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210907

WD01 Invention patent application deemed withdrawn after publication