CN102656474A - 用于增强现实的宽带无源跟踪 - Google Patents

用于增强现实的宽带无源跟踪 Download PDF

Info

Publication number
CN102656474A
CN102656474A CN2011800050062A CN201180005006A CN102656474A CN 102656474 A CN102656474 A CN 102656474A CN 2011800050062 A CN2011800050062 A CN 2011800050062A CN 201180005006 A CN201180005006 A CN 201180005006A CN 102656474 A CN102656474 A CN 102656474A
Authority
CN
China
Prior art keywords
signals
tracking
signal
interest
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN2011800050062A
Other languages
English (en)
Other versions
CN102656474B (zh
Inventor
亨利·梁
刘晓翔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Empire Technology Development LLC
Original Assignee
Empire Technology Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Empire Technology Development LLC filed Critical Empire Technology Development LLC
Publication of CN102656474A publication Critical patent/CN102656474A/zh
Application granted granted Critical
Publication of CN102656474B publication Critical patent/CN102656474B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/04—Position of source determined by a plurality of spaced direction-finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本发明总体上描述了用于宽带无源检测和跟踪系统的技术，该系统可以采用一定数目的无源接收机，每个无源接收机具有检测来自周围广播源的电磁波(例如，射频“RF”信号)的能力。每个无源接收机可以适于通过一个或更多个天线来进行检测。可以利用在不同位置处的多个接收机来形成适于执行对关注场景的协作跟踪的宽带检测网络。根据一些示例，可以对利用由无源接收机形成的天线阵列的宽带检测网络应用波束形成算法，以定位并跟踪对象。

Description

用于增强现实的宽带无源跟踪
相关申请的交叉引用
本申请要求于2010年3月8日提交的题为“BROADBANDPASSIVE TRACKING FOR AUGMENTED REALITY”的美国专利申请序号No.12/719,797的优先权。为了所有的目的，将该专利申请的公开内容以引用的方式并入本文中。
背景技术
除非本文中另行指示，否则在本节中描述的材料对于本申请的权利要求不是现有技术，而且并不通过将其包括在本节中而认可其是现有技术。
增强现实(AR)指代具有通过虚拟(一般是计算机产生的)影像增强的元素的物理(真实)世界环境，从而创建了混合现实。传统上，该增强是实时的且在环境因素的上下文中，比如体育赛事、军事演习、游戏等等。AR技术通过添加对象识别和图像产生，使得与个人周围的真实世界相关的信息能够变为互动的且可数字化使用。可以存储并获取与环境和对象相关的人工信息，作为与实际世界视图层分离的信息层。
本公开意识到AR系统存在若干限制。在使用表现为与真实世界同处相同空间的虚拟或计算机产生的对象来补充真实世界中，AR技术允许用户操作并检查真实的三维(3D)对象，同时在视觉上接收与这些对象或当前的任务相关的附加的基于计算机的信息。为了使得用户能够以自然的方式与混合虚拟和真实世界进行交互，AR系统可以要求通过环境检测来了解用户的位置以及其他关注对象在环境中的位置。例如，AR系统可以需要现实场景的深度图，以支持呈现时的遮挡(occlusion)。该系统还可以利用与对象的位置以及运动参数(即，速度、加速度、运动方向、运动模式等等)相关的信息。然而，在AR系统中，对于获得并处理位置和运动参数依然存在各种挑战。
发明内容
以下发明内容仅是说明性的，且不意在以任何方式加以限制。除了上述说明性方面、实施例和特征之外，通过参照附图以及以下详细描述，其他方面、实施例和特征将变得显而易见。
本公开总体上描述了一种用于在增强现实(AR)系统中跟踪一个或更多个关注对象的方法。所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法可以包括：在多个跟踪传感器的每一个处接收信号，其中，所述多个跟踪传感器中每一个形成宽带检测网络的一部分，所接收的信号对应于直接信号和/或回波信号中的一个或更多个，以及每个回波信号与由所述关注对象散射的对应的一个直接信号相关联。所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法还可以包括：处理接收到的信号，以产生与所述关注对象相关联的数据，其中，所述数据对应于与关注对象相关联的位置参数和/或运动参数中的一个或更多个。所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法还可以包括：利用所述位置参数和/或运动参数中的一个或更多个，使用至少一个虚拟对象来增强包括所述关注对象在内的现实场景，从而增强现实场景。
本公开还描述了一种用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统。所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统可以包括：多个跟踪传感器，每个跟踪传感器适于接收与直接信号和/或回波信号中的一个或更多个相对应的信号，其中，所述直接信号与一个或更多个对应发送源相关联，以及所述回波信号与从所述关注对象散射的一个或更多个直接信号相关联；以及对所接收的信号进行预处理。所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统还可以包括：图像处理服务器，适于基于与所述关注对象相关联的捕捉到的2D图像，导出图像信息。所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统还可以包括：现实服务器，适于通过无线网络与所述多个跟踪传感器通信，接收预处理后的信号，基于所述预处理后的信号来跟踪所述关注对象，以及基于对所述关注对象的跟踪以及所述图像信息增强所述现实场景。
本公开还描述了一种用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置可以包括：无线通信设备，包括天线和跟踪传感器，其中，所述无线通信设备适于使用所述天线来接收信号，其中，所接收的信号对应于来自一个或更多个发送源的直接信号或回波信号中的一个或更多个，所述回波信号是作为所述所述直接信号中的一个或更多个的结果从所述一个或更多个关注对象散射出的。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置可以包括：无线通信设备，包括天线和跟踪传感器，其中，所述无线通信设备还适于对接收到的信号进行预处理，以获得一个或更多个频域信号，对所述一个或更多个频域信号进行相位补偿以产生相位补偿信号，以及根据所述相位补偿信号导出与所述一个或更多个关注对象相关联的位置和/或运动信息。
本公开还描述了一种用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置可以包括：存储器和耦合到所述存储器的处理器。所述处理器可以被配置为与所述存储器合作以执行AR引擎，使得所述处理器适于通过无线网络与集成到支持AR的无线设备中的多个跟踪传感器通信，所述无线网络不同于对应的支持AR的无线设备的通信网络，以及所述处理器适于自适应地选择所述跟踪传感器的数目和位置。所述处理器还可以适于：接收由所述跟踪传感器检测到的预处理后的信号，其中，所述预处理后的信号对应于直接信号和/或回波信号中的一个或更多个，所述回波信号由所述直接信号被所述一个或更多个关注对象反射而产生，以及对接收到的信号应用波束形成处理以估计所述一个或更多个关注对象的位置和运动参数。
本公开还描述了一种计算机可读存储介质，具有存储于其上的用于在增强现实(AR)系统中跟踪一个或更多个关注对象的指令。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的指令可以包括：在跟踪传感器处从与包括所述跟踪传感器在内的无线设备相关联的发送源接收来自一个或更多个发送源的直接信号或作为所述一个或更多个直接信号的结果从所述一个或更多个关注对象散射的回波信号中的一个或更多个。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的指令还可以包括：在所述跟踪传感器处对所接收的信号进行预处理，以及基于将每个预处理的直接和回波信号进行互相关来导出频谱信号。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的指令还可以包括：在相位补偿模块处对从多个跟踪传感器接收到的频谱信号对进行相位补偿，以及通过自适应地选择所述多个跟踪传感器的数目和位置，在跟踪/定位模块处，根据相位补偿信号导出与所述一个或更多个关注对象相关联的位置和/或运动信息。
附图说明
根据与附图结合的以下描述和所附权利要求，本公开的前述和其他特征将变得更加完全地明显。请理解这些附图仅示出了根据本公开的若干实施例，且因此不应被视为对其范围进行了限制，将通过使用附图的附加特征和细节来描述本公开，在附图中：
图1示出了示例增强现实(AR)系统，其中，可以实现一些实施例；
图2示出了可以向AR系统提供输入的示例宽带无源跟踪系统架构；
图3A示出了使用各种发送源由示例AR设备进行的示例跟踪过程的框图；
图3B示出了基于对示例AR引擎的输入的跟踪操作的框图；
图4示出了在根据实施例的系统中的无源传感器网络的几何形状表示；
图5示出了通用计算设备，其可以用于实现AR系统中的宽带无源跟踪；
图6是示出了可以由诸如图5中的设备500之类的计算设备执行的示例方法的流程图；以及
图7示出了示例计算机程序产品的框图，其全部根据本文描述的至少一些实施例来布置。
具体实施方式
在以下详细说明中，参考了作为详细说明的一部分的附图。在附图中，除非上下文另行指明，否则类似符号通常表示类似部件。具体实施方式部分、附图和权利要求书中记载的示例性实施例并不是限制性的。在不脱离在此所呈现主题的精神或范围的情况下，可以利用其他实施例，且可以进行其他改变。应当理解，在此一般性记载以及附图中图示的本公开的各方案可以按照在此明确公开的多种不同配置来设置、替换、组合、分割和设计。
本公开大体上涉及针对增强现实应用的宽带无源跟踪系统相关的方法、装置、系统、设备和/或计算机程序产品。
简而言之，根据一些实施例的宽带无源检测和跟踪系统可以包括一定数目的无源接收机，每个无源接收机具有检测来自周围广播源的电磁波(例如，射频“RF”信号)的能力。每个无源接收机可以适于通过一个或更多个天线来进行检测。可以利用在不同位置处的多个接收机来形成适于执行对关注场景的协作跟踪的宽带检测网络。根据一些示例，可以对利用由无源接收机形成的天线阵列的宽带检测网络应用波束形成算法，以定位并跟踪对象。
图1示出了根据本文所述至少一些实施例布置的示例增强现实(AR)系统100。AR利用了在实况视频流中应用计算机产生的影像，以扩展真实世界呈现。根据本公开布置的示例AR系统可以位于包含一定数目的传感器和致动器在内的受控环境中，其可以包括适于处理真实影像和计算机产生的影像的一个或更多个计算设备，且可以包括可视化系统，比如头戴式显示器、虚拟视网膜显示器、监视器或类似的常规显示器以及可比较设备。
示例AR系统100包括：用于捕捉现实场景(对象)102的实况图像的图像传感器104-1、以及用于跟踪对象的位置和/或运动的跟踪传感器104-2。图像传感器104-1可以是数字相机、网络摄像头、或某种其他图像捕捉设备。跟踪传感器104-2可以包括被布置在无源检测网络中的一定数目的接收设备，用于通过网络的频率、带宽和空间分集来增强跟踪性能。接收设备(例如，一个或更多个RF接收机)可以适于利用来自附近信号源(比如，通信塔(例如，蜂窝电话通信塔)或通信基站)的通信信号(例如，电磁波，比如RF信号)。跟踪传感器104-2可以位于不同位置，且可以通信地耦合到集中式或分布式计算系统，形成协作网络。
可以向图像处理子系统106提供捕捉到的图像，图像处理子系统106可以适于执行以下一项或更多项：将图像数字化为数字图像，接收数字图像，和/或处理数字图像。处理数字图像可以包括以下一项或更多项：确定图像中特征点的位置，计算仿射投影，跟踪边缘，滤波和/或类似操作。图像处理子系统106可以被配置为向现实引擎110提供投影信息，比如上述操作的一个或更多个结果。跟踪传感器104-2可以被配置为向现实引擎110提供与实际场景102中的关注对象相关联的位置和/或运动信息。现实引擎110可以适于执行图形处理，以呈现基于所捕捉的图像的场景，其并入了来自跟踪传感器104-2的位置和/或运动信息。可以使用如下面更详细讨论的跟踪信息来呈现虚拟对象。
图像产生器108可以适于从图像传感器104-1接收参考图像，以及接收与虚拟对象相关联的图像数据，以及可以适于将所捕捉的现实场景图像和与虚拟对象相关联的图像数据相重叠，以提供增强场景114。显示器112是可以在AR系统100中采用的一个示例可视化机制。如前所述，可以使用其他类型的显示设备向AR系统100的用户提供增强场景114的可视化。
图像处理子系统106、现实引擎110和图像产生器108可以实现为在一个或更多个计算设备上的分离的应用、一个或更多个集成应用、一个或更多个集中式服务、或一个或更多个分布式服务。每个计算设备可以是通用计算设备或专用计算设备，其可以是独立计算机、联网计算机系统、通用处理单元(例如，微处理器、微控制器、数字信号处理器或DSP等等)、或专用处理单元。如果在不同的计算设备上执行，AR系统100的各种组件可以适于通过一个或更多个网络通信。
网络可以包括采用以下各项的任何拓扑结构：服务器、客户端、交换机、路由器、调制解调器、互联网服务提供商(ISP)、以及任何恰当的通信介质(例如，有线或无线通信)。根据一些实施例的系统可以具有静态或动态网络拓扑结构。网络可以包括安全网络(比如企业网络(例如，LAN、WAN或WLAN))、不安全网络(比如无线开放式网络(例如，IEEE 802.11无线网络))、或全球网络(例如，互联网)。网络还可以包括适于在一起工作的多个不同网络。网络适于在本文所述节点之间提供通信。作为示例而非限制，网络可以包括无线介质，比如声、RF、红外和其他无线介质。
图2示出了可以向AR系统提供输入的示例宽带无源跟踪系统架构200。AR技术的增强可以包括：叠加在环境中的虚拟几何形状对象或与现有实际对象有关的非几何形状信息的显示。准确的图像对准(registration)基于对用户230的位置的准确跟踪以及在关注场景228中对其他对象的检测。根据至少一些实施例的AR系统利用通过射频(RF)信号的无源检测和跟踪。无源检测采用来自附近发送源的(例如，广播塔222或基站224和236)已有辐射源，并分析从对象散射的、通过无源接收机接收到的信号。
一些发送源可以包括(但不限于)：蜂窝通信源、或射频(RF)通信源，比如可以用于音频、电视或某个其他数据通信源。一些示例源可以包括：TV广播塔、全球移动通信系统(GSM)塔、码分多址接入(CDMA)蜂窝通信塔、时分多址接入(TDMA)通信塔、或正交频分多址接入(OFDMA)通信塔、调幅(AM)或调频(FM)广播塔、数字音频广播(DAB)源、数字视频广播陆地(DVB-T)源、无线局域网(WLAN)接入点、广域网(WAN)接入点、城域网(MAN)接入点、个域网(PAN)接入点、以及可比较的源。类似地，示例AR设备可以包括(但不限于)：TV接收机、数字TV接收机、GSM设备、CDMA设备、AM/FM接收机、DAB设备、DVB-T设备、WLAN设备、WAN设备、MAN设备、以及PAN设备、以及可比较的设备。
本文所使用的术语“宽带”可以指代可由根据本文所述一些实施例的AR检测和跟踪系统的接收机所使用的宽的频率范围。这样，该术语可以与宽带互联网系统或类似技术相区别。
宽带网络中的无源接收机可以是以下一个或更多个的合集：被配置为从相同类型的辐射源接收能量的同类传感器，或从不同类型辐射源接收能量的异类传感器。无源接收机可以被设计和集成在支持AR的设备中，比如手持设备或头戴式设备(例如，AR设备226、232和234)。无源接收机可以适于通过单独的网络(例如，局域网)与一个或更多个计算设备通信，以协作地执行对关注场景228的无源跟踪。
网络中对应于无源接收机的每个节点可以适于：通过来自附近基站的下行链路通信信道或来自周围广播源的下行链路发送信道(例如，广播塔222或基站224和236)，无源地接收、捕捉和/或评估环境中关注的RF信号频谱中的信号。可以将在对象和网络中的节点之间的相对运动观察为环境的多普勒频谱的变化。可以通过接收机的网络将由多根天线形成的任意天线阵列加以合成，从而估计运动参数。可以发展接收机网络的点对点通信层，以使得在接收机网络中的任意两个节点之间的通信和信息共享成为可能。
可以经由定位服务(比如嵌入在每个无源接收机中的全球定位系统(GPS))，通过提供准确、连续和/或3D位置信息，来自适应地校准天线阵列。如下面结合图4所解释的，该信息还可以用于补偿由于相对于运动对象的不同位置而产生的无源接收机之间的相位差。通过更新并共享接收机网络上的检测信号以及对接收机网络中利用的静止发送源的位置的了解，可以对合成的天线阵列执行波束形成处理，以获得对运动参数和跟踪的估计。波束形成算法可以被设计为：通过在接收机网络中选择正确的节点并根据接收机的位置形成最优合成阵列，以适应于各种检测环境。
每个无源接收机可以适于对2个信道操作，可以将这2个信道称为直接信道和回波信道。直接信道信号可以对应于由无源接收机接收到的作为来自周围基站或广播塔的直接发射的结果的那些信号，而可以向无源接收机的回波信道馈入来自运动对象的散射信号。可以在接收机和/或在跟踪模块处处理信号，且可以向AR引擎240提供所产生的跟踪信息，用于进一步处理来自成像传感器(238)的捕捉到的图像(视频或静态图像)。AR引擎可以被配置为向其他AR设备242输出与虚拟对象或增强场景相关联的数据，用于可视化或进一步涉及AR的处理。还可以向AR设备226、232、224发回该输出数据以用于可视化。
图3A示出了由根据本文所述至少一些实施例布置的使用各种发送源344、346、348的示例AR设备352、354、356所进行的示例跟踪过程的框图300。如前所述，根据一些实施例的系统中的每个无源接收机361、366和372可以被配置为通过2个信道来接收信号，其中，一个信道对应于直接路径且另一个信道对应于回波路径(358)。直接路径位于发送源(例如，发送塔344、346和348)以及并入了接收机361、366和372的对应AR设备(352、354和356)之间。回波路径指示了与从关注对象350到AR设备352、354和356的散射信号相关的数据或其他信息的通信路径。
可以在各个AR设备352、354和/或356中一个或更多个设备处对接收到的信号进行预处理。模拟预处理可以包括以下一项或更多项：信号校正(例如，正交信号校正、乘法信号校正等等)、带宽滤波(例如，无源或有源滤波器，如带通、低通、高通等等)、信号求平均、以及可以如框图300中AR设备处理框360所示的对直接信道和回波信道执行的可比较过程。具体地，可以对来自2个信道的接收信号进行放大或减弱(例如，增益缩放)、下变频(例如，解调)、以及数字化(例如，由比较器或模数转换器进行量化)。为了减轻多径干扰，可以对直接信号执行盲信道均衡(信道均衡362、367以及373)。可以在数字化之后对2个信道都应用自适应滤波算法(自适应滤波365、370、376)，以抑制杂波，并从回波信道中去除直接信号。
可以通过在来自直接信道的信号(即，直接信道信号)和来自回波信道的信号(即，回波信道信号)之间执行相干互相关(363、368和374)，来获得接收信号的多普勒频谱。可以在经由接收机网络，通过波束形成处理来馈送(378)基带信号之前，在范围压缩滤波器364、369和375中对互相关的基带信号执行范围压缩，以获得参数空间。可以通过在单一计算设备或通过由多个计算设备执行的分布式过程，计算在每个时刻的合成天线阵列的波束形成处理输出，来实现跟踪对象。
图3B示出了根据本文所述至少一些实施例布置的基于对示例AR引擎的输入的跟踪操作的框图350。如上所述，可以如图350所示，通过AR引擎处理块380中的波束形成处理，馈送(378)基带信号。
可以将AR设备之一(例如，AR设备352)的基带信号输出382用作去除相位差的参考。由于传感器/发射机对的不同相对位置，针对散射中心可能出现相位差。从而，针对每个AR设备对，可以将基带输出信号之一用作从另一基带输出信号中去除相位差的参考信号，使得信号彼此旋转/角度/相位对准。在频域中的相位补偿384之后，所产生的信号可以等同于从参考发送塔(但处于不同的传感器位置)获得的信号。这使得AR引擎处理模块380能够使用来自AR设备(例如，成对的)的相位补偿基带输出信号385，来执行目标定位和跟踪(386)。然后可以向AR应用388提供跟踪/定位信息387，AR应用388还可以向运行AR客户端软件的AR设备发送该信息，以使得用户反馈、校正处理、查看跟踪对象的运动、和/或类似操作成为可能。下面结合图4来详细讨论用于域转换和相位补偿的可能方法的数学细节。
由根据一些实施例的系统中的宽带无源网络所提供的分集增益可以针对环境检测产生性能增益，并从而可以导致相对于单接收机跟踪改进的跟踪性能。可以在若干方面实现分集。
使用异类辐射源导致了频率和带宽分集。例如，GSM和DAB通信系统在不同频率上以不同的发送带宽来工作。此外，这些系统中的发送塔和基站也可以具有分集天线模式。由这些源辐射的对象一般产生不同的反射属性，即一些对象对于特定频率而言更可见。
无源传感器或阵列单元相对于相同对象的不同位置导致了空间分集。类似地，用于识别对象的信号可以具有从一个源到对象(发送或反射)相比于从另一个源到对象更好的路径。根据至少一些实施例的波束形成算法可以被配置为：自适应地选择网络中的跟踪传感器的数目和位置，以增大分集增益，从而提供增强的跟踪输出。此外，还可以通过作为分集的结果的多径衰落减轻以及干扰信号抵消，从合成天线阵列中实现性能增益。
一般而言，无源检测采用了现有的通信链路或广播系统，其可以潜在地降低无源设备的大小、重量和功耗，以使得AR应用成为可能。此外，由于用于通信和广播系统的辐射源普遍存在，无源接收机免于额外的频率分配，且相比于有源接收机来说，相对不受来自其他RF设备的干扰。
尽管上面使用了特定示例、组件、算法和配置来讨论了实施例，它们意在提供用于AR系统中的宽带无源跟踪的通用指导规则。这些示例不构成对实施例的限制，可以使用采用本文所述原理的其他组件、模块、算法和配置来实现这些实施例。例如，可以利用其他无线技术系统来检测来自关注对象的散射信号，或可以采用各种信号处理方法，以基于直接接收到的信号和散射的信号来跟踪对象。
图4示出了根据本文所述至少一些实施例布置的系统中的无源传感器网络的几何形状表示400。为了简要和简明的目的，在几何形状表示400中示出了具有相关联的位置向量r0的对象490，该几何形状表示400具有分别在位置向量rT1和rT2处的2个发送源Tx1和Tx2。对应的接收机Rx1和Rx2位于笛卡尔坐标系统X，Y，Z的原点处。如果从发射机Tx1或Tx2发送如下表示的复数无源发送信号：
[1]sT(t)＝p(t)e(j2πfct)
则可以将从每个发射机Txi(i＝1，2)到目标散射中心的行进距离(492、494)表达为：
[2]dTi＝|rTi-r0|，
其中p(t)是基带信号，且fc表示载波频率。
可以将从接收机RXi(i＝1，2)到目标散射中心的行进距离表达为：
[3]dxi＝|r0|.
在相同场景下，可以将第i个信道信号的时间延迟表达为：
[4] τ i ( r 0 ) = d Ti - d R c = | r Ti - r o | - | r o | c ( 1 ≤ i ≤ 2 ) ,
其中，c是光速。可以将来自第i个发送塔(例如Tx1)的接收目标回波信道信号SEi(t，r0)表达为：
[5]SEi(t，r0)＝∫v g(r0)pi(t-τi(ro))exp(j2πfci(t-τi(ro)))dr0
其中(1≤i≤2)。可以将相同场景的直接信道返回SDi(t)表达为：
[6]SDi(t)＝pi(t-τdi)exp(j2πfci(t-τdi))，
其中，τdi是直接路径行进时间，其等同于τdi＝|rTi|/c。g(r0)是目标反射率函数。可以在目标关注场景V(496)的整个空间域上进行积分。
在直接和目标回波信道处理之后，可以将接收信号重写为：
[7] S i ( t , r 0 ) = ∫ v g ( r 0 ) p i c ( t - τ i c ( r 0 ) ) exp ( j 2 π f ci ( t - τ i c ( r 0 ) ) ) dr 0
其中
[8] τ i c ( r 0 ) = τ i ( r 0 ) - τ di = | r Ti - r 0 | + | r 0 | - | r Ti | c
且是每个发射机的补偿基带信号(i＝1，2)。
在基带转换和范围压缩之后，可以将频域中的接收信号写为：
[9] S 1 ( f ) ≈ rec ( f / B 1 ) ∫ v g ( r 0 ) exp ( - j 2 π ( f + f c 1 ) τ 1 c ( r 0 ) ) dr 0 和
[10] S 2 ( f ) ≈ rec ( f / B 2 ) ∫ v g ( r 0 ) exp ( - j 2 π ( f + f c 2 ) τ 2 c ( r 0 ) ) dr 0
其中B1和B2是与发送源Tx1和Tx2分别对应的带宽。假定发射机的中心频率之间的差是Δf21＝fc2-fc1，则可以在频域中将第二发射机的接收信号偏移Δf21，且将其重写为：
[11] S , 2 ( f ) = S 2 ( f - Δf 21 ) = rec ( ( f - Δf 21 ) / B 2 ) ∫ v g ( r 0 ) exp ( - j 2 π ( f +
f c 1 ) τ 2 c ( r 0 ) ) dr 0
由于传感器/发射机对的不同相对位置，针对散射中心出现信号之间的相位差。因此，可以将对象490的相位差表达为：
[12]Δφ(r0)＝-2π(f-fc1)g(r0)
其中， ϵ ( r 0 ) = τ 2 c ( r 0 ) - τ 1 c ( r 0 ) = ( | r T 2 - r 0 | - | r T 1 - r 0 | ) - ( | r T 2 | - | r T 1 | ) c
在补偿了相位差Δφ(r0)之后，两个频谱可以等同于从第一发送塔(但处于不同的传感器位置)获得的频谱。为了使得集中式目标定位和跟踪成为可能，需要补偿任意两个传感器/发射机对之间的相位差。在相位补偿之后，所产生的信号可以等同于从参考发送塔(但处于不同的传感器位置)获得的信号。
图5示出了示例通用计算设备500，其可以用于实现根据本公开的至少一些实施例布置的AR系统中的宽带无源跟踪。在非常基本的配置502中，计算设备500典型地包括一个或更多个处理器504以及系统存储器506。存储器总线508可用于在处理器504和系统存储器506之间进行通信。
根据所期望的配置，处理器504可以是任意类型的，包括但不限于微处理器(μP)、微控制器(μC)、数字信号处理器(DSP)或其任意组合。处理器504可以包括一级或多级高速缓存(例如，级别高速缓存存储器512)、处理器核514、以及寄存器516。示例处理器核514可以包括算术逻辑单元(ALU)、浮点单元(FPU)、数字信号处理核(DSP核)或其任意组合。示例存储器控制器518也可以与处理器504一起使用，或者在一些实施方式中，存储器控制器518可以是处理器504的内部部件。
根据所期望的配置，系统存储器506可以是任意类型的，包括但不限于易失性存储器(如RAM)、非易失性存储器(如ROM、闪存等)或其任意组合。系统存储器506可以包括操作系统520、一个或更多个应用程序522和程序数据524。应用程序522可以包括AR模块526，其被布置为：使用从如上所述的无源接收机的网络提供的与对象相关的跟踪信息，调整对象识别和建模系统的工作参数。程序数据524可以包括以下一项或更多项：成像数据528-1、跟踪数据528-2、以及上面结合图3A和3B所讨论的类似数据。该数据可以用于如本文所述地基于与在现实场景中的对象相关联的位置和/或运动信息，产生要增强到现实场景中的虚拟对象。在一些实施例中，应用程序522可以设置为在操作系统520上与程序数据524操作，使得如本文所述跟踪三维对象并产生虚拟表示。这里所描述的基本配置502在图5中由内部虚线内的部件来图示。
计算设备500可以具有额外特征或功能以及额外接口，以有助于基本配置502与任意所需设备和接口之间进行通信。例如，总线/接口控制器530可以有助于基本配置502与一个或更多个数据存储设备532之间经由存储接口总线534进行通信。数据存储设备532可以是可拆除存储设备536、不可拆除存储设备538或其组合。可拆除存储设备和不可拆除存储设备的示例包括磁盘设备(如软盘驱动器和硬盘驱动器(HDD))、光盘驱动器(如紧致盘(CD)驱动器或数字通用盘(DVD)驱动器)、固态驱动器(SSD)以及磁带驱动器，这仅仅是极多例子中的一小部分。示例计算机存储介质可以包括以任意信息存储方法和技术实现的易失性和非易失性、可拆除和不可拆除介质，如计算机可读指令、数据结构、程序模块或其他数据。
系统存储器506、可拆除存储设备536和不可拆除存储设备538均是计算机存储介质的示例。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术，CD-ROM、数字多功能盘(DVD)或其他光存储设备，磁盒、磁带、磁盘存储设备或其他磁存储设备，或可以用于存储所需信息并可以由计算设备500访问的任意其他介质。任何这种计算机存储介质可以是设备500的一部分。
计算设备500还可以包括接口总线540，以有助于各种接口设备(例如，输出接口542、外围设备接口544和通信接口546)经由总线/接口控制器530与基本配置502进行通信。示例输出设备542包括图形处理单元548和音频处理单元550，其可被配置为经由一个或更多个A/V端口552与多种外部设备(如显示器或扬声器)进行通信。示例外围设备接口544包括串行接口控制器554或并行接口控制器556，它们可被配置为经由一个或更多个I/O端口558与外部设备(如输入设备(例如，键盘、鼠标、笔、语音输入设备、触摸输入设备等))或其他外围设备(例如，打印机、扫描仪等)进行通信。示例通信设备546包括网络控制器560，其可以被设置为经由一个或更多个通信端口564与一个或更多个其他计算设备562通过网络通信链路进行通信。
网络通信链路可以是通信介质的一个示例。通信介质典型地可以由调制数据信号(如载波或其他传输机制)中的计算机可读指令、数据结构、程序模块或其他数据来体现，并可以包括任意信息传送介质。“调制数据信号”可以是通过设置或改变一个或更多个特性而在该信号中实现信息编码的信号。例如，但并非限制性地，通信介质可以包括有线介质(如有线网络或直接布线连接)、以及无线介质(例如声、射频(RF)、微波、红外(IR)和其他无线介质)。这里所使用的术语计算机可读介质可以包括存储介质和通信介质。
计算设备500可以实现为小体积便携式(或移动)电子设备的一部分，如蜂窝电话、个人数据助理(PDA)、个人媒体播放设备、无线web浏览设备、个人耳机设备、专用设备或包括任意上述功能的混合设备。计算设备500也可以实现为个人计算机，包括膝上型计算机和非膝上型计算机配置。此外，计算设备500可以实现为联网系统，或实现为通用或专用服务器的一部分。
示例实施例还可以包括方法。这些方法可以用包括本文所述的结构在内的任何数目的方式来实现。一个这种方式是通过本公开所述类型的设备的机器操作。另一可选方式是：针对要执行的方法的一个或更多个操作，让一个或更多个人类操作者执行这些操作中的一些操作，而让机器执行其他操作。这些人类操作者不需要彼此位于一处，但是每个人类操作者可以仅与执行一部分程序的机器在一起。在其它示例中，可以将人类交互自动化，比如通过由机器自动化的预先选择标准。
图6是示出了可以由根据本文所述至少一些实施例布置的计算设备(比如图5中设备500)来执行的示例方法的流程图。还可以将块622至630中所述的操作存储为计算机可读介质(比如计算设备610的计算机可读介质620)中的计算机可执行指令。
将宽带无源跟踪系统用于增强现实的方法可以开始于操作622“检测信号”。在操作622，由诸如图3A的接收机361之类的接收机的网络来检测直接和回波信号。可以将接收机集成到无线设备上，比如AR设备352、354和356。可以从各种发送源(比如，蜂窝塔、TV广播塔等等)接收直接信号，而从一个或更多个关注对象散射回波信号。可以如结合图3A所述的对接收信号进行预处理。
操作622之后可以是操作624“互相关”。在操作624，可以对接收(且预处理后的)信号进行互相关，以获得接收信号的多普勒频谱。还可以在图3A的各个AR设备352、354和356中执行互相关。
操作624之后可以是操作626“相位补偿”。在操作626，可以使用来自位于中心跟踪/定位模块(比如，图3B的跟踪/定位模块386)处的AR设备之一的信号(例如，来自AR设备352的基带输出信号382)，对接收信号进行相位补偿。由于传感器/发射机对的不同相对位置，针对散射中心可能出现相位差。从而，可以将基带输出信号之一用作参考信号，以针对每个AR设备对去除另一基带输出信号的相位差，使得信号彼此处于旋转/角度/相位对准。在频域中的相位补偿384之后，所产生的信号385可以等同于从参考发送塔(但处于不同的传感器位置处)获得的那些信号。
操作626之后可以是操作628“确定位置/运动”。在操作628，可以通过AR引擎(比如图2的AR引擎240)处的波束形成处理，经由接收机网络来馈送相位补偿信号，以获得参数空间。可以通过计算在每个时刻上的合成天线阵列的波束形成处理输出，来实现跟踪(确定位置和/或运动参数)对象。
操作628之后可以是操作630“向AR应用提供位置/运动信息”。在操作630，可以向AR应用提供跟踪(位置/运动)信息，用于呈现将虚拟对象与现实场景图像相叠加的增强现实场景。可以通过如图1所示的可视化设备，将AR场景加以可视化。
上述过程中包括的步骤是用于说明的。可以由具有更少的操作或额外的操作的类似过程来实现用于在AR系统中获得与对象相关联的位置和/或运动信息的宽带无源跟踪系统。在一些示例中，可以按不同顺序来执行这些操作。在某些其他示例中，可以消除各种操作。在另一些其他示例中，可以将各种操作分为附加操作，或结合在一起成为较少的操作。
图7示出了根据本文所述的至少一些实施例布置的示例计算机程序产品700的框图。在一些示例中，如图7所示，计算机程序产品700包括信号承载介质702，信号承载介质702也可以包括计算机可读指令704，当由例如处理器执行时，计算机可读指令704可以提供上面通过图5和图6所述的功能。从而例如参见处理器504，AR引擎526可以响应于由介质702传递至处理器504的指令704，而执行图7所示的一个或更多个任务，以执行如本文所述的与基于动态建模的对象识别相关联的动作。一些指令可以包括：检测信号，互相关信号，确定对象范围，确定位置/运动信息，以及向AR引擎提供位置/运动信息。
在一些实现中，图7所示的信号承载介质702可以包括计算机可读介质706，比如(但不限于)硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、存储器等。在一些实现中，信号承载介质702可以包括可记录介质708，比如(但不限于)存储器、读/写(R/W)CD、R/W DVD等等。在一些实现中，信号承载介质702可以包括通信介质710，比如(但不限于)数字和/或模拟通信介质(例如，光纤电缆、波导、有线通信链路、无线通信链路等等)。从而可以通过例如RF信号承载介质702向处理器504的一个或更多个模块传递程序产品700，其中，信号承载介质702通过无线通信介质710(例如，遵循IEEE802.11标准的无线通信介质)来传递。
本公开总体上描述了一种用于在增强现实(AR)系统100中跟踪一个或更多个关注对象的方法。所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法可以包括：在多个跟踪传感器104-2的每一个处接收信号，其中，所述多个跟踪传感器中每一个形成宽带检测网络的一部分，所接收的信号对应于直接信号和/或回波信号中的一个或更多个，以及每个回波信号与由所述关注对象350散射的对应的一个直接信号相关联。所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法还可以包括：处理接收的信号，以产生与所述关注对象350相关联的数据，其中，所述数据对应于与关注对象350相关联的位置参数和/或运动参数中的一个或更多个。所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法还可以包括：通过利用所述位置参数和/或运动参数中的一个或更多个，使用至少一个虚拟对象来增强包括所述关注对象350在内的现实场景114，从而增强现实场景114。
根据所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法的一些示例，可以在集成到与多个发送源222、224、236通信的多个无线通信设备226、232、234中的多个跟踪传感器104-2处接收信号。
根据所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法的一些示例，可以从包括以下一项或更多项在内的发送源222、224、236发送直接信号：TV广播塔、全球移动通信系统(GSM)塔、码分多址接入(CDMA)蜂窝通信塔、调幅(AM)或调频(FM)广播塔、数字音频广播(DAB)源、数字视频广播陆地(DVB-T)源、无线局域网(WLAN)接入点、广域网(WAN)接入点、城域网(MAN)接入点、和/或个域网(PAN)接入点。
根据所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法的一些示例，所接收的信号可以对应于以下一项或更多项：TV信号、数字TV信号、GSM信号、CDMA信号、AM/FM信号、DAB信号、DVB-T信号、WLAN信号、WAN信号、MAN信号和/或PAN信号。
根据所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法的一些示例，对所接收的信号进行处理可以包括以下一项或更多项：对所接收的信号进行预处理，通过自适应滤波365将每个接收到的信号识别为直接信号和/或回波信号中的一个或更多个，导出直接信号和回波信号363的多普勒频谱，和/或对回波信号384的多普勒频谱进行相位补偿。
根据所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法的一些示例，对所接收的信号进行预处理362可以包括以下一项或更多项：信号校正、带宽校正、信号求平均、放大、下变频和/或数字化。
根据所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法的一些示例，对所接收的信号进行处理以产生与关注对象相关联的数据可以包括：对相位补偿信号628使用波束形成处理，以确定与关注对象相关联的位置和/或运动参数中的一个或更多个。
根据所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法的一些示例，使用波束形成处理还可以包括：自适应地选择跟踪传感器104-2的数目和位置。
根据所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法的一些示例，可以从跟踪传感器104-2接收信号，该跟踪传感器104-2是通过与对应无线通信设备226、232、234的通信网络不同的无线网络通信耦合的。
根据其他示例，所述在增强现实(AR)系统中跟踪一个或更多个关注对象的方法还可以包括：动态配置跟踪传感器104-2的无线网络，以通过无线通信设备226、232、234的天线的分集，来减轻多径衰落并降低干扰。
本公开还描述了一种用于在增强现实(AR)系统100中跟踪在现实场景中的关注对象的系统。所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统可以包括：多个跟踪传感器104-2，每个跟踪传感器适于接收与直接信号和/或回波信号中的一个或更多个相对应的信号，其中，所述直接信号与一个或更多个对应发送源334、346、348相关联，以及所述回波信号与从所述关注对象散射的一个或更多个直接信号相关联；以及对所接收的信号进行预处理。所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统还可以包括：图像处理服务器106，适于基于与所述关注对象350相关联的捕捉到的2D图像，导出图像信息。所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统还可以包括：现实服务器110，适于通过无线网络与所述多个跟踪传感器104-2通信，接收预处理后的信号，基于所述预处理后的信号来跟踪所述关注对象350，以及基于对所述关注对象的所述跟踪以及所述图像信息，增强所述现实场景114。
根据所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统的各种示例，每个跟踪传感器104-2可以包括：盲信道均衡器362，适于处理接收到的直接信号，以减轻多径干扰；自适应滤波器365，适于处理接收到的回波信号，以产生抑制杂波；以及相关器363，适于对每个直接信号和每个回波信号进行互相关，以产生多普勒频谱信号。
根据所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统的各种示例，由数字信号处理器来提供所述盲信道均衡器、所述自适应滤波器和/或所述相关器的一个或更多个功能。
根据所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统的其他示例，所述现实服务器可以包括：相位补偿模块384，适于对从跟踪传感器626接收到的预处理信号进行相位补偿；跟踪/定位模块386，适于基于所述相位补偿信号628，确定所述关注对象的位置和/或运动参数中的一个或更多个；现实引擎110，适于基于所述关注对象350的位置/运动信息和图像信息，产生一个或更多个虚拟对象；以及图像产生器108，适于使用所述一个或更多个虚拟对象来增强所述现实场景114。
根据各种示例，所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统还可以包括：可视化设备112，适于产生所述增强的现实场景的可视化。
根据所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统的其他示例，所述可视化设备112可以包括以下一项或更多项：头戴式显示器、虚拟视网膜显示器和/或监视器。
根据所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统的其他示例，一部分跟踪传感器104-2可以是适于接收相同类型发送的同类传感器，以及另一部分跟踪传感器104-2可以是适于接收不同类型发送的异类传感器。
根据所述用于在增强现实(AR)系统中跟踪在现实场景中的关注对象的系统的其他示例，所述现实服务器还可以适于校准合成天线阵列，所述合成天线阵列包括来自每个跟踪传感器104-2的天线，每个跟踪传感器适于使用基于位置的服务。
本公开还描述了一种用于在增强现实(AR)系统100中跟踪一个或更多个关注对象的装置700。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置可以包括：无线通信设备226、232、234，包括天线和跟踪传感器104-2，其中，所述无线通信设备适于使用所述天线来接收信号，其中，所接收的信号对应于来自一个或更多个发送源344、346、349的直接信号或作为所述一个或更多个直接信号的结果从所述一个或更多个关注对象350散射的回波信号中的一个或更多个。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置可以包括：无线通信设备，包括天线和跟踪传感器，其中，所述无线通信设备还适于对接收到的信号进行预处理，以获得一个或更多个频域信号378，对所述一个或更多个频域信号378进行相位补偿384，以产生相位补偿信号，以及根据所述相位补偿信号，导出与所述一个或更多个关注对象相关联的位置和/或运动信息。
根据所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置700的一些示例，所述无线通信设备226可以适于通过应用以下一项或更多项对所接收的信号进行预处理：信号校正、带宽校正、信号求平均、放大、下变频和/或数字化。
根据所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置700的一些示例，所述发送源344、346、348可以包括以下一项或更多项：TV广播塔、全球移动通信系统(GSM)塔、码分多址接入(CDMA)蜂窝通信塔、调幅(AM)或调频(FM)广播塔、数字音频广播(DAB)源、数字视频广播陆地(DVB-T)源、无线局域网(WLAN)接入点、广域网(WAN)接入点、城域网(MAN)接入点、和/或个域网(PAN)接入点；以及所述无线通信设备226、232、234可以包括以下一项或更多项：TV接收机、数字TV接收机、GSM设备、CDMA设备、AM/FM接收机、DAB设备、DVB-T设备、WLAN设备、WAN设备、MAN设备和/或PAN设备。
本公开还描述了一种用于在增强现实(AR)系统100中跟踪一个或更多个关注对象的装置700。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置可以包括：存储器506和耦合到所述存储器的处理器504。所述处理器可以被配置为与所述存储器合作以执行AR引擎240，使得所述处理器适于通过无线网络与集成到支持AR的无线设备352、354、356中的多个跟踪传感器104-2通信，所述无线网络不同于对应的支持AR的无线设备的通信网络，以及所述处理器适于自适应地选择所述跟踪传感器104-2的数目和位置。所述处理器还可以适于：接收由所述跟踪传感器104-2检测到的预处理后的信号，其中，所述预处理后的信号对应于直接信号和/或作为所述直接信号由所述一个或更多个关注对象反射的结果的回波信号中的一个或更多个，以及对接收到的信号应用波束形成处理，以估计所述一个或更多个关注对象350的位置和运动参数628。
根据所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置700的一些示例，所述处理器还可以被波束形成处理配置为选择与以下一项或更多项相关联的跟踪传感器104-2：具有不同频率的发送源、具有不同带宽的发送源和/或具有不同天线模式的发送源，从而可以增大分集增益。
根据所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的装置700的一些示例，所述处理器还可以被AR引擎240配置为：向AR应用630提供一个或更多个关注对象的所估计的位置和运动参数，其中，所述AR应用630可以被配置为：通过将基于关注对象的所估计的位置和运动参数而产生的虚拟对象与关注对象的数字化图像相叠加，产生增强现实场景114。
本公开还描述了一种计算机可读存储介质706，具有存储于其上的用于在增强现实(AR)系统中跟踪一个或更多个关注对象的指令704。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的指令可以包括：在跟踪传感器104-2处从与包括所述跟踪传感器在内的无线设备226、232、234相关联的发送源222、224、236接收来自一个或更多个发送源344、346、349的直接信号或作为直接信号中的一个或更多个的结果而从所述一个或更多个关注对象350散射的回波信号中的一个或更多个。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的指令还可以包括：在所述跟踪传感器104-2处对所接收的信号进行预处理，以及基于将每个预处理的直接和回波信号进行互相关来导出频谱信号。所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的指令还可以包括：在相位补偿模块626处对从多个跟踪传感器接收到的频谱信号对进行相位补偿，以及通过自适应地选择所述多个跟踪传感器的数目和位置，在跟踪/定位模块处，根据相位补偿信号，导出与所述一个或更多个关注对象相关联的位置和/或运动信息。
根据各种示例，所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的指令还可以包括：对所接收的直接信号应用盲信道均衡(362)，以减轻多径干扰，以及对所接收的回波信号进行自适应滤波(365)，以产生抑制杂波。
根据各种示例，所述用于在增强现实(AR)系统中跟踪一个或更多个关注对象的指令还可以包括：向执行AR客户端应用(389)的无线设备发送所述跟踪信息。
在系统方案的硬件和软件实现方式之间存在一些小差别；硬件或软件的使用一般(但并非总是，因为在特定情况下硬件和软件之间的选择可能变得很重要)是一种体现成本与效率之间权衡的设计选择。可以各种手段(例如，硬件、软件和/或固件)来实施这里所描述的工艺和/或系统和/或其他技术，并且优选的手段将随着所述工艺和/或系统和/或其他技术所应用的环境而改变。例如，如果实现方确定速度和准确性是最重要的，则实现方可以选择主要为硬件和/或固件的手段；如果灵活性是最重要的，则实现方可以选择主要是软件的实施方式；或者，同样也是可选地，实现方可以选择硬件、软件和/或固件的特定组合。
以上的详细描述通过使用方框图、流程图和/或示例，已经阐述了设备和/或工艺的众多实施例。在这种方框图、流程图和/或示例包含一个或更多个功能和/或操作的情况下，本领域技术人员应理解，这种方框图、流程图或示例中的每一功能和/或操作可以通过各种硬件、软件、固件或实质上它们的任意组合来单独和/或共同实现。在一个实施例中，本公开所述主题的若干部分可以通过专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)、或其他集成格式来实现。然而，本领域技术人员应认识到，这里所公开的实施例的一些方面在整体上或部分地可以等同地实现在集成电路中，实现为在一台或多台计算机上运行的一个或更多个计算机程序(例如，实现为在一台或多台计算机系统上运行的一个或更多个程序)，实现为在一个或更多个处理器上运行的一个或更多个程序(例如，实现为在一个或更多个微处理器上运行的一个或更多个程序)，实现为固件，或者实质上实现为上述方式的任意组合，并且本领域技术人员根据本公开，将具备设计电路和/或写入软件和/或固件代码的能力。
本公开不限于在本申请中描述的具体示例，这些具体示例意在说明不同方案。本领域技术人员清楚，不脱离本公开的精神和范围，可以做出许多修改和变型。本领域技术人员根据之前的描述，除了在此所列举的方法和装置之外，还可以想到本公开范围内功能上等价的其他方法和装置。这种修改和变型应落在所附权利要求的范围内。本公开应当由所附权利要求的术语及其等价描述的整个范围来限定。应当理解，本公开不限于具体方法、试剂、化合物组成或生物系统，这些都是可以改变的。还应理解，这里所使用的术语仅用于描述具体示例的目的，而不应被认为是限制性的。
此外，本领域技术人员将认识到，本文所述主题的机制能够作为多种形式的程序产品进行分发，并且无论实际用来执行分发的信号承载介质的具体类型如何，本公开所述主题的示例性实施例均适用。信号承载介质的示例包括但不限于：可记录型介质，如软盘、硬盘驱动器、紧致盘(CD)、数字通用盘(DVD)、数字磁带、计算机存储器等；以及传输型介质，如数字和/或模拟通信介质(例如，光纤光缆、波导、有线通信链路、无线通信链路等)。
本领域技术人员应认识到，上文详细描述了设备和/或工艺，此后使用工程实践来将所描述的设备和/或工艺集成到数据处理系统中是本领域的常用手段。也即，这里所述的设备和/或工艺的至少一部分可以通过合理数量的试验而被集成到数据处理系统中。本领域技术人员将认识到，典型的数据处理系统一般包括以下各项中的一项或更多项：系统单元外壳；视频显示设备；存储器，如易失性和非易失性存储器；处理器，如微处理器和数字信号处理器；计算实体，如操作系统、驱动程序、图形用户接口、以及应用程序；一个或更多个交互设备，如触摸板或屏幕；和/或控制系统，包括反馈环和控制电机(例如，用于感测位置和/或速度的反馈；用于移动和/或调节成分和/或数量的控制电机)。
典型的数据处理系统可以利用任意合适的商用部件(如数据计算/通信和/或网络计算/通信系统中常用的部件)予以实现。本公开所述的主题有时说明不同部件包含在不同的其他部件内或者不同部件与不同的其他部件相连。应当理解，这样描述的架构只是示例，事实上可以实现许多能够实现相同功能的其他架构。在概念上，有效地“关联”用以实现相同功能的部件的任意设置，从而实现所需功能。因此，这里组合实现具体功能的任意两个部件可以被视为彼此“关联”从而实现所需功能，而无论架构或中间部件如何。同样，任意两个如此关联的部件也可以看作是彼此“可操作地连接”或“可操作地耦合”以实现所需功能，且能够如此关联的任意两个部件也可以被视为彼此“能可操作地耦合”以实现所需功能。能可操作地耦合的具体示例包括但不限于物理上可连接和/或物理上交互的部件，和/或无线可交互和/或无线交互的部件，和/或逻辑交互和/或逻辑可交互的部件。
至于本文中任何关于多数和/或单数术语的使用，本领域技术人员可以从多数形式转换为单数形式，和/或从单数形式转换为多数形式，以适合具体环境和应用。为清楚起见，在此明确声明单数形式/多数形式可互换。
本领域技术人员应当理解，一般而言，所使用的术语，特别是所附权利要求中(例如，在所附权利要求的主体部分中)使用的术语，一般地应理解为“开放”术语(例如，术语“包括”应解释为“包括但不限于”，术语“具有”应解释为“至少具有”等)。本领域技术人员还应理解，如果意在所引入的权利要求中标明具体数目，则这种意图将在该权利要求中明确指出，而在没有这种明确标明的情况下，则不存在这种意图。例如，为帮助理解，所附权利要求可能使用了引导短语“至少一个”和“一个或更多个”来引入权利要求中的特征。然而，这种短语的使用不应被解释为暗示着由不定冠词“一”或“一个”引入的权利要求特征将包含该特征的任意特定权利要求限制为仅包含一个该特征的实施例，即便是该权利要求既包括引导短语“一个或更多个”或“至少一个”又包括不定冠词如“一”或“一个”(例如，“一”和/或“一个”应当被解释为意指“至少一个”或“一个或更多个”)；在使用定冠词来引入权利要求中的特征时，同样如此。另外，即使明确指出了所引入权利要求特征的具体数目，本领域技术人员应认识到，这种列举应解释为意指至少是所列数目(例如，不存在其他修饰语的短语“两个特征”意指至少两个该特征，或者两个或更多该特征)。
另外，在使用类似于“A、B和C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B和C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。在使用类似于“A、B或C等中至少一个”这样的表述的情况下，一般来说应该按照本领域技术人员通常理解该表述的含义来予以解释(例如，“具有A、B或C中至少一个的系统”应包括但不限于单独具有A、单独具有B、单独具有C、具有A和B、具有A和C、具有B和C、和/或具有A、B、C的系统等)。本领域技术人员还应理解，实质上任意表示两个或更多可选项目的转折连词和/或短语，无论是在说明书、权利要求书还是附图中，都应被理解为给出了包括这些项目之一、这些项目任一方、或两个项目的可能性。例如，短语“A或B”应当被理解为包括“A”或“B”、或“A和B”的可能性。
另外，在以马库什组描述本公开的特征或方案的情况下，本领域技术人员应认识到，本公开由此也是以该马库什组中的任意单独成员或成员子组来描述的。
本领域技术人员应当理解，出于任意和所有目的，例如为了提供书面说明，这里公开的所有范围也包含任意及全部可能的子范围及其子范围的组合。任意列出的范围可以被容易地看作充分描述且实现了将该范围至少进行二等分、三等分、四等分、五等分、十等分等。作为非限制性示例，在此所讨论的每一范围可以容易地分成下三分之一、中三分之一和上三分之一等。本领域技术人员应当理解，所有诸如“直至”、“至少”、“大于”、“小于”之类的语言包括所列数字，并且指代了随后可以如上所述被分成子范围的范围。最后，本领域技术人员应当理解，范围包括每一单独数字。因此，例如具有1～3个单元的组是指具有1、2或3个单元的组。类似地，具有1～5个单元的组是指具有1、2、3、4或5个单元的组，以此类推。
尽管已经在此公开了多个方案和实施例，但是本领域技术人员应当明白其他方案和实施例。这里所公开的多个方案和实施例是出于说明性的目的，而不是限制性的，本公开的真实范围和精神由所附权利要求表征。

Claims (28)

1.一种用于在增强现实AR系统中跟踪一个或更多个关注对象的方法，所述方法包括：
在多个跟踪传感器的每一个处接收信号，其中，所述多个跟踪传感器中每一个形成宽带检测网络的一部分，所接收的信号对应于直接信号和/或回波信号中的一个或更多个，以及每个回波信号与所述关注对象散射的对应的直接信号相关联；
处理接收到的信号，以产生与所述关注对象相关联的数据，其中，所述数据对应于与关注对象相关联的位置参数和/或运动参数中的一个或更多个；以及
利用所述位置参数和/或运动参数中的一个或更多个，以至少一个虚拟对象来增强包括所述关注对象在内的现实场景，从而增强现实场景。
2.根据权利要求1所述的方法，其中，在集成到与多个发送源通信的多个无线通信设备中的多个跟踪传感器处接收信号。
3.根据权利要求2所述的方法，其中，从包括以下一项或更多项在内的发送源发送直接信号：TV广播塔、全球移动通信系统GSM塔、码分多址接入CDMA蜂窝通信塔、调幅AM或调频FM广播塔、数字音频广播DAB源、数字视频广播陆地DVB-T源、无线局域网WLAN接入点、广域网WAN接入点、城域网MAN接入点、和/或个域网PAN接入点。
4.根据权利要求2所述的方法，其中，所接收的信号对应于以下一项或更多项：TV信号、数字TV信号、GSM信号、CDMA信号、AM/FM信号、DAB信号、DVB-T信号、WLAN信号、WAN信号、MAN信号和/或PAN信号。
5.根据权利要求1所述的方法，其中，对所接收的信号进行处理的步骤包括以下一个或更多个步骤：
对所接收的信号进行预处理；
通过自适应滤波，将每个接收到的信号识别为直接信号和/或回波信号中的一个或更多个；
导出直接信号和回波信号的多普勒频谱；和/或
对回波信号的多普勒频谱进行相位补偿。
6.根据权利要求5所述的方法，其中，对所接收的信号进行预处理包括以下一个或更多个：信号校正、带宽校正、信号求平均、放大、下变频和/或数字化。
7.根据权利要求5所述的方法，其中，对所接收的信号进行处理以产生与关注对象相关联的数据的步骤包括：对相位补偿信号进行波束形成处理，以确定与关注对象相关联的位置和/或运动参数中的一个或更多个。
8.根据权利要求7所述的方法，其中，执行波束形成处理还包括：
自适应地选择跟踪传感器的数目和位置。
9.根据权利要求1所述的方法，其中，从跟踪传感器接收信号，所述跟踪传感器是通过与对应的无线通信设备的通信网络不同的无线网络而通信耦合的。
10.根据权利要求9所述的方法，还包括：
动态配置跟踪传感器的无线网络，以通过无线通信设备的天线的分集来减轻多径衰落并降低干扰。
11.一种用于在增强现实AR系统中跟踪现实场景中的关注对象的系统，所述系统包括：
多个跟踪传感器，每个跟踪传感器适于：
接收与直接信号和/或回波信号中的一个或更多个相对应的信号，其中，所述直接信号与一个或更多个对应发送源相关联，以及所述回波信号与从所述关注对象散射的一个或更多个直接信号相关联；以及
对所接收的信号进行预处理；
图像处理服务器，适于基于与所述关注对象相关联的捕捉到的2D图像，导出图像信息；
现实服务器，适于：
通过无线网络与所述多个跟踪传感器通信；
接收预处理后的信号；
基于所述预处理后的信号来跟踪所述关注对象；以及
基于对所述关注对象的所述跟踪以及所述图像信息，增强所述现实场景。
12.根据权利要求11所述的系统，其中，每个跟踪传感器包括：
盲信道均衡器，适于处理接收到的直接信号，以减轻多径干扰；
自适应滤波器，适于处理接收到的回波信号，以产生抑制杂波；以及
相关器，适于对每个直接信号和每个回波信号进行互相关，以产生多普勒频谱信号。
13.根据权利要求12所述的系统，其中，由数字信号处理器来提供所述盲信道均衡器、所述自适应滤波器和/或所述相关器的一个或更多个功能。
14.根据权利要求11所述的系统，其中，所述现实服务器包括：
相位补偿模块，适于对从跟踪传感器接收到的预处理后的信号进行相位补偿；
跟踪/定位模块，适于基于所述相位补偿信号来确定所述关注对象的位置和/或运动参数中的一个或更多个；
现实引擎，适于基于所述关注对象的位置/运动信息和图像信息来产生一个或更多个虚拟对象；以及
图像产生器，适于使用所述一个或更多个虚拟对象来增强所述现实场景。
15.根据权利要求11所述的系统，还包括：可视化设备，适于产生所述增强的现实场景的可视化。
16.根据权利要求15所述的系统，其中，所述可视化设备包括以下一项或更多项：头戴式显示器、虚拟视网膜显示器和/或监视器。
17.根据权利要求11所述的系统，其中，所述跟踪传感器的一部分是适于接收相同类型的发送的同类传感器，以及所述跟踪传感器的另一部分是适于接收不同类型的发送的异类传感器。
18.根据权利要求11所述的系统，其中，所述现实服务器还适于校准合成天线阵列，所述合成天线阵列包括来自每个跟踪传感器的天线，每个跟踪传感器适于使用基于位置的服务。
19.一种用于在增强现实AR系统中跟踪一个或更多个关注对象的装置，所述装置包括：无线通信设备，包括天线和跟踪传感器，其中，所述无线通信设备适于：
使用所述天线来接收信号，其中，所接收的信号对应于来自一个或更多个发送源的直接信号或回波信号中的一个或更多个，所述回波信号是作为所述直接信号中的一个或更多个的结果从所述一个或更多个关注对象散射出的；
对接收到的信号进行预处理，以获得一个或更多个频域信号；
对所述一个或更多个频域信号进行相位补偿，以产生相位补偿信号；以及
根据所述相位补偿信号，导出与所述一个或更多个关注对象相关联的位置和/或运动信息。
20.根据权利要求19所述的装置，其中，所述无线通信设备适于通过应用以下一项或更多项对所接收的信号进行预处理：信号校正、带宽校正、信号求平均、放大、下变频和/或数字化。
21.根据权利要求19所述的装置，其中，所述发送源包括以下一项或更多项：TV广播塔、全球移动通信系统GSM塔、码分多址接入CDMA蜂窝通信塔、调幅AM或调频FM广播塔、数字音频广播DAB源、数字视频广播陆地DVB-T源、无线局域网WLAN接入点、广域网WAN接入点、城域网MAN接入点、和/或个域网PAN接入点；以及所述无线通信设备包括以下一项或更多项：TV接收机、数字TV接收机、GSM设备、CDMA设备、AM/FM接收机、DAB设备、DVB-T设备、WLAN设备、WAN设备、MAN设备和/或PAN设备。
22.一种用于在增强现实AR系统中跟踪一个或更多个关注对象的装置，所述装置包括：
存储器；
耦合到所述存储器的处理器，所述处理器被配置为与所述存储器合作以执行AR引擎，使得所述处理器适于：
通过无线网络与集成到支持AR的无线设备中的多个跟踪传感器通信，所述无线网络与对应的支持AR的无线设备的通信网络不同；
自适应地选择所述跟踪传感器的数目和位置；
接收由所述跟踪传感器检测到的预处理后的信号，其中，所述预处理后的信号对应于直接信号和/或回波信号中的一个或更多个，所述回波信号由所述直接信号被所述一个或更多个关注对象反射而产生；以及
对接收到的信号应用波束形成处理，以估计所述一个或更多个关注对象的位置和运动参数。
23.根据权利要求22所述的装置，其中，所述处理器还被波束形成处理配置为选择与以下一项或更多项相关联的跟踪传感器：具有不同频率的发送源、具有不同带宽的发送源和/或具有不同天线模式的发送源，从而能够增大分集增益。
24.根据权利要求22所述的装置，其中，所述处理器还被AR引擎配置为：向AR应用提供一个或更多个关注对象的所估计的位置和运动参数，其中，所述AR应用被配置为：通过将基于关注对象的所估计的位置和运动参数而产生的虚拟对象与关注对象的数字化图像相叠加，产生增强现实场景。
25.一种计算机可读存储介质，具有存储于其上的用于在增强现实AR系统中跟踪一个或更多个关注对象的指令，所述指令包括：
在跟踪传感器处从与包括所述跟踪传感器在内的无线设备相关联的发送源接收来自一个或更多个发送源的直接信号或作为直接信号中的一个或更多个的结果从所述一个或更多个关注对象散射的回波信号中的一个或更多个；
在所述跟踪传感器处对接收的信号进行预处理；
基于对每个预处理后的直接和回波信号进行互相关，导出频谱信号；
在相位补偿模块处，对从多个跟踪传感器接收到的频谱信号对进行相位补偿；以及
通过自适应地选择所述多个跟踪传感器的数目和位置，在跟踪/定位模块处，根据相位补偿信号导出与所述一个或更多个关注对象相关联的位置和/或运动信息。
26.根据权利要求25所述的计算机可读存储介质，其中，所述指令还包括：
对接收的直接信号应用盲信道均衡，以减轻多径干扰；以及
对接收的回波信号进行自适应滤波，以产生抑制杂波。
27.根据权利要求25所述的计算机可读存储介质，其中，所述指令还包括：
向执行AR客户端应用的无线设备发送所述跟踪信息。
28.根据权利要求25所述的计算机可读存储介质，其中，所述指令还包括：
动态配置所述无线设备的网络，以通过所述无线设备的天线的分集来减轻多径衰落并降低干扰。
CN201180005006.2A 2010-03-08 2011-02-25 用于增强现实的宽带无源跟踪 Expired - Fee Related CN102656474B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/719,797 2010-03-08
US12/719,797 US8610771B2 (en) 2010-03-08 2010-03-08 Broadband passive tracking for augmented reality
PCT/US2011/026298 WO2011152902A1 (en) 2010-03-08 2011-02-25 Broadband passive tracking for augmented reality

Publications (2)

Publication Number Publication Date
CN102656474A true CN102656474A (zh) 2012-09-05
CN102656474B CN102656474B (zh) 2015-04-22

Family

ID=44531011

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180005006.2A Expired - Fee Related CN102656474B (zh) 2010-03-08 2011-02-25 用于增强现实的宽带无源跟踪

Country Status (5)

Country Link
US (2) US8610771B2 (zh)
JP (1) JP2013515275A (zh)
KR (3) KR101445996B1 (zh)
CN (1) CN102656474B (zh)
WO (1) WO2011152902A1 (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109689173A (zh) * 2016-04-26 2019-04-26 奇跃公司 使用增强现实系统的电磁跟踪
TWI669633B (zh) * 2016-06-04 2019-08-21 英屬維爾京群島商創意點子數位股份有限公司（Ｂ．Ｖ．Ｉ） Mixed reality interaction method and system thereof
US10893329B1 (en) 2019-09-03 2021-01-12 International Business Machines Corporation Dynamic occlusion of livestreaming
US10893302B1 (en) 2020-01-09 2021-01-12 International Business Machines Corporation Adaptive livestream modification
CN112513661A (zh) * 2018-07-26 2021-03-16 昕诺飞控股有限公司 用于配置跟踪系统的方法、跟踪系统、包含跟踪系统和计算机程序的照明系统
CN112567637A (zh) * 2018-06-01 2021-03-26 涵洞物联网公司 智能跟踪系统及其方法和系统
CN112601975A (zh) * 2018-05-31 2021-04-02 奇跃公司 雷达头部姿势定位
CN113366338A (zh) * 2019-01-25 2021-09-07 威尔乌集团 用于头戴式显示器的无线数据传输系统
US11244485B2 (en) 2016-01-19 2022-02-08 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
CN115299013A (zh) * 2020-03-26 2022-11-04 华为技术有限公司 一种信道跟踪方法及其相关设备
US11989682B2 (en) 2019-05-31 2024-05-21 X Development Llc Intelligent tracking system and methods and systems therefor
CN113366338B (zh) * 2019-01-25 2024-11-05 威尔乌集团 用于头戴式显示器的无线数据传输系统

Families Citing this family (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100306825A1 (en) 2009-05-27 2010-12-02 Lucid Ventures, Inc. System and method for facilitating user interaction with a simulated object associated with a physical location
EP2443473B1 (en) * 2009-06-19 2023-04-12 Cohda Wireless Pty Ltd Environment estimation in a wireless communication system
KR20120053420A (ko) * 2010-11-17 2012-05-25 삼성전자주식회사 디바이스 제어 시스템 및 방법
US9563265B2 (en) 2012-01-12 2017-02-07 Qualcomm Incorporated Augmented reality with sound and geometric analysis
US9625720B2 (en) 2012-01-24 2017-04-18 Accipiter Radar Technologies Inc. Personal electronic target vision system, device and method
US20130293580A1 (en) 2012-05-01 2013-11-07 Zambala Lllp System and method for selecting targets in an augmented reality environment
CN103457887A (zh) * 2012-06-04 2013-12-18 西安秦码软件科技有限公司 基于仿射投影算法构建超宽带信道均衡器模型
WO2014009786A1 (en) * 2012-07-10 2014-01-16 Gorodetski Reuven System and method for receipt acquisition
US8868474B2 (en) * 2012-08-01 2014-10-21 Empire Technology Development Llc Anomaly detection for cloud monitoring
WO2014040281A1 (zh) * 2012-09-14 2014-03-20 华为技术有限公司 移动终端的增强现实处理方法及装置
US20150319634A1 (en) * 2012-10-18 2015-11-05 Gil Zwirn Acquiring information regarding a volume using wireless networks
WO2014162166A1 (en) * 2013-03-30 2014-10-09 Qatar University Qstp-B System and methods for detection and tracking of wireless enabled objects
US9544534B2 (en) * 2013-09-24 2017-01-10 Motorola Solutions, Inc. Apparatus for and method of identifying video streams transmitted over a shared network link, and for identifying and time-offsetting intra-frames generated substantially simultaneously in such streams
US9647345B2 (en) * 2013-10-21 2017-05-09 Elwha Llc Antenna system facilitating reduction of interfering signals
WO2015084349A1 (en) * 2013-12-04 2015-06-11 Intel Corporation Augmented reality viewing initiation based on social behavior
US9437000B2 (en) * 2014-02-20 2016-09-06 Google Inc. Odometry feature matching
US9761049B2 (en) * 2014-03-28 2017-09-12 Intel Corporation Determination of mobile display position and orientation using micropower impulse radar
US9092898B1 (en) 2014-07-03 2015-07-28 Federico Fraccaroli Method, system and apparatus for the augmentation of radio emissions
WO2016153914A1 (en) 2015-03-25 2016-09-29 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
EP3104330B1 (de) * 2015-06-09 2019-02-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum nachverfolgen zumindest eines objektes und verfahren zum ersetzen zumindest eines objektes durch ein virtuelles objekt in einem von einer kamera aufgenommenen bewegtbildsignal
CN108432049B (zh) 2015-06-16 2020-12-29 阿卜杜拉阿齐兹国王科技城 有效平面相控阵列天线组件
KR102402048B1 (ko) 2015-10-14 2022-05-26 삼성전자주식회사 전자 장치 및 그 제어 방법
WO2017091747A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US10254546B2 (en) 2016-06-06 2019-04-09 Microsoft Technology Licensing, Llc Optically augmenting electromagnetic tracking in mixed reality
US9638800B1 (en) 2016-11-22 2017-05-02 4Sense, Inc. Passive tracking system
US9720086B1 (en) 2016-11-22 2017-08-01 4Sense, Inc. Thermal- and modulated-light-based passive tracking system
US10914834B2 (en) 2017-05-10 2021-02-09 Google Llc Low-power radar
CA3064586A1 (en) 2017-05-23 2018-11-29 King Abdullah City Of Science And Technology Synthetic aperture radar imaging apparatus and methods for moving targets
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US10754005B2 (en) 2017-05-31 2020-08-25 Google Llc Radar modulation for radar sensing using a wireless communication chipset
US10795009B2 (en) * 2017-05-31 2020-10-06 Google Llc Digital beamforming for radar sensing using wireless communication chipset
US10782390B2 (en) 2017-05-31 2020-09-22 Google Llc Full-duplex operation for radar sensing using wireless communication chipset
CA3083033A1 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
EP4040691A1 (en) * 2018-03-09 2022-08-10 Isotropic Systems Ltd Dynamic interference reduction for antenna beam tracking systems
US10318811B1 (en) * 2018-04-22 2019-06-11 Bubbler International Llc Methods and systems for detecting objects by non-visible radio frequencies and displaying associated augmented reality effects
RU2700688C1 (ru) 2018-09-24 2019-09-19 Самсунг Электроникс Ко., Лтд. Способы калибровки каналов фазированной антенной решетки
CN113632046A (zh) 2019-06-17 2021-11-09 谷歌有限责任公司 用于将不同功率模式应用于多模式界面的基于移动设备的雷达系统
JP7381263B2 (ja) * 2019-09-12 2023-11-15 セコム株式会社 検出システム及び検出方法
CN111077521B (zh) * 2019-12-25 2023-07-18 中国科学院上海微系统与信息技术研究所 一种动态检测对象的成像补偿方法、装置、设备和介质
US10911085B1 (en) * 2020-04-27 2021-02-02 America as represented by the Secretary of the Army Method and apparatus for performing signal augmentation
KR20210137826A (ko) * 2020-05-11 2021-11-18 삼성전자주식회사 증강현실 생성장치, 증강현실 표시장치 및 증강현실 시스템
WO2022119366A1 (ko) * 2020-12-04 2022-06-09 삼성전자주식회사 안테나를 포함하는 전자 장치
CN115372888B (zh) * 2022-08-04 2024-08-30 中国科学院半导体研究所 一种宽带被动探测系统
WO2024177562A1 (en) * 2023-02-20 2024-08-29 Razer (Asia-Pacific) Pte. Ltd. A virtual reality system and a method implemented therein

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4137532A (en) * 1977-04-29 1979-01-30 Westinghouse Electric Corp. VIP doppler filter bank signal processor for pulse doppler radar
US5347541A (en) * 1992-11-02 1994-09-13 The Regents Of The Univ. Of California Apparatus and method for utilizing a blind equalizer based on a Bayesian symbol sequence estimator for use in digital communication
US5828944A (en) * 1996-01-11 1998-10-27 Illinois Superconductor Corporation Diversity reception signal processing system
WO2007133209A1 (en) * 2006-05-12 2007-11-22 Information Decision Technologies, Llc Advanced augmented reality system and method for firefighter and first responder training
US20080033604A1 (en) * 2006-04-19 2008-02-07 Jed Margolin System and Method For Safely Flying Unmanned Aerial Vehicles in Civilian Airspace
US20100002077A1 (en) * 2005-01-13 2010-01-07 Sensis Corporation Method and system for tracking position of an object using imaging and non-imaging surveillance devices

Family Cites Families (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6947571B1 (en) 1999-05-19 2005-09-20 Digimarc Corporation Cell phones with optical capabilities, and related applications
US6865477B2 (en) * 1994-05-31 2005-03-08 Winged Systems Corporation High resolution autonomous precision positioning system
US6176837B1 (en) 1998-04-17 2001-01-23 Massachusetts Institute Of Technology Motion tracking system
US7035897B1 (en) 1999-01-15 2006-04-25 California Institute Of Technology Wireless augmented reality communication system
US6578017B1 (en) 1999-02-26 2003-06-10 Information Decision Technologies, Llc Method to aid object detection in images by incorporating contextual information
US6500008B1 (en) 1999-03-15 2002-12-31 Information Decision Technologies, Llc Augmented reality-based firefighter training system and method
US6901389B1 (en) 2000-02-25 2005-05-31 Information Decision Technologies, Llc Method to augment imagery to display 3-D probabilistic object locations
US20020196202A1 (en) 2000-08-09 2002-12-26 Bastian Mark Stanley Method for displaying emergency first responder command, control, and safety information using augmented reality
US20020191004A1 (en) 2000-08-09 2002-12-19 Ebersole John Franklin Method for visualization of hazards utilizing computer-generated three-dimensional representations
US20030210228A1 (en) 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
US6961070B1 (en) 2000-02-25 2005-11-01 Information Decision Technologies, Llc Method to graphically represent weapon effectiveness footprint
US6866512B2 (en) 2000-03-15 2005-03-15 Information Decision Technologies, Llc Ruggedized instrumented firefighter's vari-nozzle
US6607038B2 (en) 2000-03-15 2003-08-19 Information Decision Technologies, Llc Instrumented firefighter's nozzle and method
US7057582B2 (en) 2000-03-15 2006-06-06 Information Decision Technologies, Llc Ruggedized instrumented firefighter's self contained breathing apparatus
US7110013B2 (en) 2000-03-15 2006-09-19 Information Decision Technology Augmented reality display integrated with self-contained breathing apparatus
US6903707B2 (en) 2000-08-09 2005-06-07 Information Decision Technologies, Llc Method for using a motorized camera mount for tracking in augmented reality
JP3608001B2 (ja) * 2000-12-18 2005-01-05 三菱電機株式会社 パッシブレーダ装置
US6760026B2 (en) 2001-01-02 2004-07-06 Microsoft Corporation Image-based virtual reality player with integrated 3D graphics objects
US6822648B2 (en) 2001-04-17 2004-11-23 Information Decision Technologies, Llc Method for occlusion of movable objects and people in augmented reality scenes
WO2002091012A2 (en) * 2001-05-04 2002-11-14 Lockheed Martin Corporation Altitude estimation system and method
US6594616B2 (en) 2001-06-18 2003-07-15 Microsoft Corporation System and method for providing a mobile input device
US20030014212A1 (en) * 2001-07-12 2003-01-16 Ralston Stuart E. Augmented vision system using wireless communications
US6903752B2 (en) 2001-07-16 2005-06-07 Information Decision Technologies, Llc Method to view unseen atmospheric phenomenon using augmented reality
US7046214B2 (en) 2003-12-17 2006-05-16 Information Decision Technologies, Llc Method and system for accomplishing a scalable, multi-user, extended range, distributed, augmented reality environment
EP1423834A1 (en) 2001-08-09 2004-06-02 Information Decision Technologies LLC Augmented reality-based firefighter training system and method
US7071898B2 (en) 2002-07-18 2006-07-04 Information Decision Technologies, Llc Method for using a wireless motorized camera mount for tracking in augmented reality
US7126558B1 (en) 2001-10-19 2006-10-24 Accenture Global Services Gmbh Industrial augmented reality
WO2003060830A1 (en) 2002-01-15 2003-07-24 Information Decision Technologies, Llc Method and system to display both visible and invisible hazards and hazard information
US20030132283A1 (en) 2002-01-15 2003-07-17 Hobgood Andrew Wesley Method for utilizing smart cards for storing training and simulation information
AU2003215073B2 (en) 2002-02-08 2009-01-29 Lockheed Martin Corporation System and method for doppler track correlation for debris tracking
JP4032776B2 (ja) 2002-03-04 2008-01-16 ソニー株式会社 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
US7042421B2 (en) 2002-07-18 2006-05-09 Information Decision Technologies, Llc. Method for advanced imaging in augmented reality
US7138963B2 (en) 2002-07-18 2006-11-21 Metamersion, Llc Method for automatically tracking objects in augmented reality
US7034779B2 (en) 2002-08-06 2006-04-25 Information Decision Technologeis, Llc Advanced ruggedized augmented reality instrumented self contained breathing apparatus
US20050121031A1 (en) 2002-08-06 2005-06-09 Ebersole John F.Jr. Impact-protected advanced ruggedized augmented reality instrumented self contained breathing apparatus
US7333135B2 (en) 2002-10-15 2008-02-19 Fuji Xerox Co., Ltd. Method, apparatus, and system for remotely annotating a target
US20040100402A1 (en) * 2002-11-26 2004-05-27 Mccandless Jay Broadband CSC2 antenna pattern beam forming networks
US7576727B2 (en) 2002-12-13 2009-08-18 Matthew Bell Interactive directed light/sound system
US7319878B2 (en) * 2004-06-18 2008-01-15 Qualcomm Incorporated Method and apparatus for determining location of a base station using a plurality of mobile stations in a wireless mobile network
JP2006048484A (ja) 2004-08-06 2006-02-16 Advanced Telecommunication Research Institute International デザイン支援装置
US20060227998A1 (en) 2005-03-29 2006-10-12 Hobgood Andrew W Method for using networked programmable fiducials for motion tracking
US20070132785A1 (en) 2005-03-29 2007-06-14 Ebersole John F Jr Platform for immersive gaming
US8289159B2 (en) * 2006-04-26 2012-10-16 Qualcomm Incorporated Wireless localization apparatus and method
JP2008064673A (ja) 2006-09-08 2008-03-21 Mitsubishi Electric Corp パッシブレーダ装置
JP4987456B2 (ja) 2006-12-25 2012-07-25 三菱電機株式会社 レーダ装置
US7628074B2 (en) 2007-03-15 2009-12-08 Mitsubishi Electric Research Laboratories, Inc. System and method for motion capture in natural environments
US7538724B1 (en) 2007-06-15 2009-05-26 Itt Manufacturing Enterprises, Inc. Method and system for relative tracking
CN101848672A (zh) 2007-09-13 2010-09-29 密苏里大学董事会 光学装置组件
KR100900806B1 (ko) * 2007-11-01 2009-06-04 광주과학기술원 컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법
US8170222B2 (en) 2008-04-18 2012-05-01 Sony Mobile Communications Ab Augmented reality enhanced audio
FR2933218B1 (fr) 2008-06-30 2011-02-11 Total Immersion Procede et dispositif permettant de detecter en temps reel des interactions entre un utilisateur et une scene de realite augmentee
US8045419B1 (en) * 2009-10-15 2011-10-25 The United States Of America As Represented By The Secretary Of The Navy Method for mitigating spatial aliasing

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4137532A (en) * 1977-04-29 1979-01-30 Westinghouse Electric Corp. VIP doppler filter bank signal processor for pulse doppler radar
US5347541A (en) * 1992-11-02 1994-09-13 The Regents Of The Univ. Of California Apparatus and method for utilizing a blind equalizer based on a Bayesian symbol sequence estimator for use in digital communication
US5828944A (en) * 1996-01-11 1998-10-27 Illinois Superconductor Corporation Diversity reception signal processing system
US20100002077A1 (en) * 2005-01-13 2010-01-07 Sensis Corporation Method and system for tracking position of an object using imaging and non-imaging surveillance devices
US20080033604A1 (en) * 2006-04-19 2008-02-07 Jed Margolin System and Method For Safely Flying Unmanned Aerial Vehicles in Civilian Airspace
WO2007133209A1 (en) * 2006-05-12 2007-11-22 Information Decision Technologies, Llc Advanced augmented reality system and method for firefighter and first responder training

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11244485B2 (en) 2016-01-19 2022-02-08 Magic Leap, Inc. Augmented reality systems and methods utilizing reflections
CN109689173A (zh) * 2016-04-26 2019-04-26 奇跃公司 使用增强现实系统的电磁跟踪
US10948721B2 (en) 2016-04-26 2021-03-16 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
US11460698B2 (en) 2016-04-26 2022-10-04 Magic Leap, Inc. Electromagnetic tracking with augmented reality systems
TWI669633B (zh) * 2016-06-04 2019-08-21 英屬維爾京群島商創意點子數位股份有限公司（Ｂ．Ｖ．Ｉ） Mixed reality interaction method and system thereof
CN112601975A (zh) * 2018-05-31 2021-04-02 奇跃公司 雷达头部姿势定位
CN112601975B (zh) * 2018-05-31 2024-09-06 奇跃公司 雷达头部姿势定位
CN112567637B (zh) * 2018-06-01 2023-08-01 X开发有限责任公司 智能跟踪系统及其方法和系统
CN112567637A (zh) * 2018-06-01 2021-03-26 涵洞物联网公司 智能跟踪系统及其方法和系统
US11751012B2 (en) 2018-06-01 2023-09-05 X Development Llc Intelligent tracking system and methods and systems therefor
CN112513661A (zh) * 2018-07-26 2021-03-16 昕诺飞控股有限公司 用于配置跟踪系统的方法、跟踪系统、包含跟踪系统和计算机程序的照明系统
CN112513661B (zh) * 2018-07-26 2024-06-21 昕诺飞控股有限公司 用于配置跟踪系统的方法、跟踪系统、包含跟踪系统和计算机程序的照明系统
CN113366338A (zh) * 2019-01-25 2021-09-07 威尔乌集团 用于头戴式显示器的无线数据传输系统
CN113366338B (zh) * 2019-01-25 2024-11-05 威尔乌集团 用于头戴式显示器的无线数据传输系统
US11989682B2 (en) 2019-05-31 2024-05-21 X Development Llc Intelligent tracking system and methods and systems therefor
US10893329B1 (en) 2019-09-03 2021-01-12 International Business Machines Corporation Dynamic occlusion of livestreaming
US10893302B1 (en) 2020-01-09 2021-01-12 International Business Machines Corporation Adaptive livestream modification
CN115299013A (zh) * 2020-03-26 2022-11-04 华为技术有限公司 一种信道跟踪方法及其相关设备
CN115299013B (zh) * 2020-03-26 2024-02-09 华为技术有限公司 一种信道跟踪方法及其相关设备

Also Published As

Publication number Publication date
US9390503B2 (en) 2016-07-12
KR101677813B1 (ko) 2016-11-18
US20110216192A1 (en) 2011-09-08
KR20140028116A (ko) 2014-03-07
KR20120081237A (ko) 2012-07-18
CN102656474B (zh) 2015-04-22
KR20130114259A (ko) 2013-10-16
KR101476513B1 (ko) 2014-12-24
KR101445996B1 (ko) 2014-09-29
WO2011152902A1 (en) 2011-12-08
US20140085483A1 (en) 2014-03-27
JP2013515275A (ja) 2013-05-02
US8610771B2 (en) 2013-12-17

Similar Documents

Publication Publication Date Title
CN102656474B (zh) 用于增强现实的宽带无源跟踪
Mao et al. Aim: Acoustic imaging on a mobile
Wang et al. Imaging through unknown walls using different standoff distances
Sit et al. MIMO OFDM radar with communication and interference cancellation features
US8442502B2 (en) Tracking an object in augmented reality
EP2571214B1 (en) Method and apparatus for cooperative communications between groups of communication units using a time reversed channel response
JP2024050713A (ja) 撮影装置および方法
CN113612715A (zh) 星地通信时偏及多普勒频偏预补偿设备
CN113917461A (zh) 一种mimo雷达成像方法及系统
WO2016194720A1 (ja) 信号処理装置および方法、情報処理装置および方法、並びに、プログラム
US20220183010A1 (en) Communication apparatus and communication method
Yang et al. Side-lobe can know more: Towards simultaneous communication and sensing for mmWave
CN116156354A (zh) 感知信号传输处理方法、装置及相关设备
KR101007350B1 (ko) 다중경로 간섭잡음 신호의 검출 및 제거방법과 그 장치
CN108028695B (zh) 发送机以及接收机
Morín et al. Cutting the cord: Key performance indicators for the future of wireless virtual reality applications
Al-Salehi et al. Dual-function radar–communications: information transmission during FDA radar listening mode
WO2017107068A1 (zh) 终端定位方法、装置及系统
JP2014016185A (ja) 画像レーダ装置および信号処理装置
Palipana et al. Extracting human context through receiver-end beamforming
CN111077502A (zh) 多频段虚拟的扩展阵列系统
CN112393726B (zh) 一种超声定位系统、方法、装置和计算机可读存储介质
EP4270806A1 (en) System for wireless communication with radar sensing, corresponding method and device
Nakamura et al. Short-time spot communication using COTS stereo speaker
Shinotsuka et al. Analyzing radio interferometric positioning systems with undersampling receivers

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150422

Termination date: 20200225