CN1934459B - 无线定位和识别系统和方法 - Google Patents

无线定位和识别系统和方法 Download PDF

Info

Publication number
CN1934459B
CN1934459B CN2005800063654A CN200580006365A CN1934459B CN 1934459 B CN1934459 B CN 1934459B CN 2005800063654 A CN2005800063654 A CN 2005800063654A CN 200580006365 A CN200580006365 A CN 200580006365A CN 1934459 B CN1934459 B CN 1934459B
Authority
CN
China
Prior art keywords
label
projector
light intensity
controller
time series
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN2005800063654A
Other languages
English (en)
Other versions
CN1934459A (zh
Inventor
瑞米施·拉斯卡
保罗·A.·比尔兹利
杰伦·V·巴尔
保罗·H.·迪尔茨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of CN1934459A publication Critical patent/CN1934459A/zh
Application granted granted Critical
Publication of CN1934459B publication Critical patent/CN1934459B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G06K19/0728—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs the arrangement being an optical or sound-based communication interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10019—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves resolving collision on the communication channels between simultaneously or concurrently interrogated record carriers.
    • G06K7/10079—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves resolving collision on the communication channels between simultaneously or concurrently interrogated record carriers. the collision being resolved in the spatial domain, e.g. temporary shields for blindfolding the interrogator in specific directions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Electromagnetism (AREA)
  • Toxicology (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • Burglar Alarm Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

无线定位和识别系统包括控制器和标签。控制器具有投影机，被配置为对所述投影机输出图像中的每个像素产生唯一光强度时间序列；以及无线收发器，被配置为发射输出信号和接收输入信号。标签包括光敏器件，被配置为感知特定像素的所述唯一光强度时间序列；换能器，被配置为接收来自所述收发器的所述输出信号；以及响应收到所述输出信号根据所述唯一光强度时间序列为所述收发器调制所述输入信号和感知所述特定像素的所述唯一光强度时间序列的装置，以便指明所述标签对于所述控制器的位置。

Description

无线定位和识别系统和方法
技术领域
一般说来，本发明涉及识别标签和读取器，更具体地说，涉及能够选择地定位和识别的标签。
背景技术
多年来，计算机应用已经从高度集中化的大型机转向桌面机。近来，计算能力已经转向移动设备，比如蜂窝电话、个人数字助理以及环境中不显眼地嵌入的传感器和环境中放置的物体。
这种应用的一个实例使用射频识别(RFID)标签，参见Want，“RFID，A Key to Automating Everything，”Scientific American，vol.290(1)，56-65，2003。RFID标签可以小如米粒，廉如几分之一美元，并且能够在数米的范围内向标签读取器发送唯一标识。
常规的射频识别(RFID)标签用于识别物体，包括动物和人。RFID标签提供了条形码的替代技术，以便在购买时区分和记录产品。RFID标签对制造商、配送商和零售商都能节省劳动力。对于使用RFID标签的大零售商，估算的年度节约可达每年数十亿美元。
典型的现有技术RFID系统包括微芯片和天线。天线的形式可以是调谐的感应线圈。操作基本上很简单。典型情况下，微芯片存储着唯一识别码，它可以在标签的天线与读取器的天线感应耦合时被检测。这种耦合改变了阻抗，进而改变了接收天线的负载。通过接通和断开线圈，可以根据存储的识别码对负载进行调制。
常规的RFID标签可以根据以下基本属性划分特征。主动RFID标签包括电源，以运行微芯片并向读取器“广播”信号。半被动标签使用电池运行微芯片，但是使用感应电流运行发射器。因为这些类型的标签制造成本更高，所以典型情况下它们用于需要在更大距离上识别的高成本物体。对于被动标签，读取器通过发射电磁辐射，在标签中感应出电流。这些标签相对廉价，并且在远达大约50米的范围内有效，取决于所发射RF信号的功率。
标签可以只读或者读写。在后一种类型中，可以使用存储器随时间将信息加入标签。例如，标签可以存储它被读取的时间，或者它被读取的频繁程度。
现有的商业应用包括非接触访问控制、家畜的耳标以及消费产品。更精密的标签不仅仅发送标识，现代标签嵌入了大量的计算能力和数据。这就提出了检索和识别RFID标签所提供数据的问题。
真实世界的物体和环境利用数据和小型处理器得以增强的许多应用已经公知。
许多技术被称为向物体增加“智能”，在某些情况下建立了人与智能物体的互动。SenseTable系统使用投影机跟踪并扩大桌面上传感写字板周围的面积，参见Petten等人，“SenseTable：A Wireless ObjectTracking Platform for Tangible User Interfaces，”Conference onHuman Factors in Computing Systems，ACM CHI，2001。Omojola等人，“An installation of interactive funiture，”IBM Systems Journal，Vol.39(3，4)，2000介绍了智能家具。
某些系统使用响应激光指示器的主动RF标签。FindIT闪光使用单向互动和标签上的指示光线表明已经发现了所需的物体，参见Ma等人，“The FindIT Flashlight：Responsive Tagging Based on OpticallyTriggered Microprocessor Wakeup，Ubicomp，pp.160-167，2002。
其他系统使用双向互动，其中标签使用大功率复杂通信协议比如IEEE 802.11或X10回应PDA，参见Patel等人，“A 2-WayLaser-Assisted Selection Scheme for Hand-held in a PhysicalEnvironment，”Ubicomp，2003以及Ringwald，“SpontaneousInteraction with Everydat Devices Using a PDA，Ubicomp，2002。
互动与增强
在显示大屏幕上与激光指示器互动很常见。Hinckley等人，“SensingTechniques for Mobile Interaction，”ACM UIST CHI Letters，Vol.2(2)，pp.91-100，2000介绍了移动设备的许多感知和互动技术。
物理世界物体的增强首先已经通过眼镜式或头戴式显示器实现了，参见Azuma等人，“Recent Advances in Augmented Reality，IEEEComputer Graphics and Applications，vol.21(6)，pp.34-47，2001，或者通过手持屏幕。Want等人，“Bridging Physical and Virtual Worldswith Electronic Tags，”ACM SIGCHI，pp.370-377，1999和Rekimoto等人，“Augmentable Reality：Situated  Communication throughDigital and Physical Spaces，”IEEE 2nd International Symposium onWearable Computers(ISWC 98)，pp.68-75，1998介绍了使用PDA、照相机和RFID标签的基于屏幕的增强。
Underkoffler等人，“Emancipated pixels：Real-world graphicsin the luminous room，”Proc.Siggraph 99，ACM Press，pp.385-392、Pinhanez，“The Everywhere Displays Projector：A Device to CreateUbiquitous Graphical Interfaces，”Ubiquitous Computing，2001、Raskar等人，“Shader lamps：Animating real objects withimage-based illumination，”Rendering Techniques 2001，Proceedings ofthe Eurographics Workshop，2001、Bimber等人，“The virtualshowcase，”IEEE Comput.Graph.Appl.21，6，pp.48-55，2001和Verlinden等人，“Development of a Flexible Augmented PrototypingSystem，”The 11th Internationl Conference in Central Europe onComputer Graphics，Visualization and Computer Vision’2003，2003已经介绍了基于投影机的增强。
Raskar等人，“ilamps：geometrically aware and selfconfiguringprojectors，”ACM Trans.Graph 22，3，pp.809-818，2003介绍了手持投影机为了支持外形和物体自适应投影的图像变形。
为了跟踪而增加醒目的视觉标记并非总是实用。所以，为了获得3D氛围，需要增强环境和物体而不增加基础设施。
Want等人，“The active badge location system，”ACM Trans.Inf.Syst.10，1，pp.91-102，1992和Xerox PARCtab，Want等人，“AnOverview of the ParcTab Ubiquitous Computing Experiment，IEEEPersonal Communications，pp.28-43，1995所介绍的位置感知系统，比如Olivetti Active Badge恢复了位置，但是典型情况下一直用于被动跟踪，而不是用于交互系统。
交互的激光指示器系统需要用户识别目标物体并使指示器指向该物体以启动交互操作。不过，在标签变得无法辨认时就难以指准，而且多个标签只能依次处理。
需要提供一种系统和方法，能够定位和识别环境中和物体上放置的标签。
发明内容
本发明提供了一种系统和方法，为真实物理世界中的物体和环境提供装备。这就使得有可能使用无线通信与所述物体和环境互动，以识别、描述、注释和累积历史数据。
所实现的技术使用无线标签。所述标签是紧凑的器件，应请求而无线地交流位置与标识。因为所述标签非常小且成本低廉，另外还不需要内部电源，所以它们具有显著优点。因此，标签可以附着在几乎任何物体上，并且使用很长时间。
常规的RFID标签有局限性。常规的RFID标签无法交流其位置。本发明提供的标签具有交流数据的能力，其中包括标识和3D位置。所以，本发明能够实现全新领域的应用。
本发明提供了通用框架，以便选择标签、识别标签、收集标签数据、显示与所述标签有关的信息以及与所述数据互动。本发明使用投影的照度选择标签。为了定位标签而产生了3D坐标的框架。标签数据可以直接投影到物体表面上以增强环境。
附图简要说明
图1是根据本发明的交互标签定位和识别系统的框图；
图2是根据本发明的感知标签数据方法的流程图。
具体实施方式
系统结构
如图1所示，根据我们发明的交互标签定位和识别系统100包括标签101和控制器102。我们使用词汇“控制器”表明系统100能够执行的功能不仅仅是读取标签101的标识。下面详细介绍根据我们发明的交互系统的其他功能。作为一个优点，增加的功能可以实现全新的一组交互应用。
标签
标签101包括微处理器110，连接到换能器111、光敏器件112、存储器113和可选的环境传感器115。典型情况下，安装标签101使得传感组件即换能器111以及传感器112和115处于或接近外部物理表面140，比如商品包装箱的表面或箱壁。存储器存储着表明标签及其在具体环境中用途的特征的数据。
在无线通信使用视频信号的情况下，换能器111的形式可以是线圈或双极子。同时应当注意，换能器也能够使用无线通信寄生地获取电能，电能可以存储在未显示的电容器中，因此不需要电池。应当理解，可以使用无线通信的其他模态，例如磁信号、声纳、超声波、可见光和红外线。
光敏器件112可以采取LED的形式，由微控制器以反向和正向偏置驱动，所以既能感知光线也能发射光线，正如Dietz等人在2002年4月19日提交的美国专利申请公开号2004/0208632A1“Communication Using Bi-Directional LEDs”中的介绍，其全部内容在此引用作为参考。因此，标签101能够以可见方式表明何时被选中和活化。
存储器能够存储数据，比如标签标识(ID)151以及应用有关的信息。存储器也能够存储位置(LOC)信息152。
环境传感器115能够被配置为感知温度、湿度、烟雾、气体、声音、加速度等。
标签控制器102包括处理器120，它连接到投影机121和可选的照相机122。控制器也包括收发器123和天线124。投影机121与照相机122的物理关系是固定的。标签控制器也可以包括6自由度(DOF)惯性传感器125，如陀螺仪和加速度计，以及激光指示器126，如四个或更多，以及一个或多个控制按钮127。
处理器包括微处理器、存储器以及与多种相连接的组件通信所用的I/O接口。存储器存储着程序和数据，实现了下面介绍的功能。
投影机121和照相机122分别具有相关联的图像平面141-142。平面141-142不需要彼此平行。事实上，控制器102力图成为手持的和移动的。照相机122可以用于确定投影机121的姿态即位置和朝向，以支持用户的互动，并且以图像的形式获取场景的表面纹理。这些图像可以转换为图形模型，比如下面介绍的三角形网。在系统100的运行期间，纹理图像可以进一步受到处理并与其他图像一起投影到表面140上。
惯性传感器125通过提供控制器102姿态变化的高频估计如160Hz，也可以用于姿态确定。
天线124用于与使用任何适当网络的其他计算机系统交流数据。
能够发射可见光或红外线(IR)的激光指示器126将醒目的光点134投影到表面140上，以协助确定投影机的姿态。
控制器102中全部组件之间光学参数的欧几里得标定在脱机时进行，在其余的讨论中，我们假设投影机121和照相机122的标定后的内在和外在参数已知。
力图使控制器在运行期间是便携的和移动的。例如，控制器102是手持的。
交互功能
选择标签
常规的RFID标签仅仅响应从位于紧邻标签的标签读取器收到的短距离RF信号。将通信范围限制为选定的标签通常是通过使读取器非常接近标签而实现的。这种操作模式对于零售设置中的结账和安全功能很理想，此时需要环境中的其他标签比如附近展示区域中商品上放置的标签不响应。不过，该操作模式却不适于大规模的环境，比如仓库，其中许多商品存储在货架上，进行存货盘点控制的工人往往无法触及，或者商品自动地移向不同的方向。此外，该操作模式也不适于需要将标签置于环境中例如墙壁、天花板、地板或其他部位以确定环境结构的应用。
光线激活的标签
所以，我们选择的标签互动时没有现有技术的邻近约束。作为初始化和标定的一部分，光敏器件112记录了周围的光量，将要用作后续照度读取的基础级别。
收发器123发射输出信号131以激活范围内的一切标签。如果标签101感知投影的显著高于基础级别光线读数的照度132，那么标签就以输出信号133为响应。所述响应可以受到调制，以传送标签的存储器113中存储的任何数据。如果标签的照度不足，那么输出信号131就被忽略，标签101不响应。应当理解，标签可以被任何数目的光源激活。
通过改变光束132的尺寸和形状，可以改变所选定区域的尺寸。如此激活后，就能够以反向偏置驱动光敏器件112以发射光线作为回应。在替代实施例中，光敏器件仅仅对选定频率的光线敏感。通过对传感器使用滤色片或者将光敏器件调谐到特定的波长，可以实现这一点。
标签中的位置感知
常规的RFID系统能够确定哪些标签处于范围之内，但是不能确定其位置。相反，根据本发明的系统100能够提供范围内标签的位置。可以使用方向性的RF器件，但是这样的器件需要非常大的天线，所以不适于手持的移动操作。并不能总是使用照相机122，因为其视野可能与投影机的视野不完全相符。
那么如图2所示，我们的基本方法200操作如下。输出信号131激活201-202标签101，如上所述。在与位置有关的操作期间，投影机121对其输出图像中的每个像素产生唯一光强度时间序列，即光束132，参见1953年3月17日授予Gray的2,632,058号美国专利“PulseCode Communication”、由Lee等人2003年8月6日提交的10/635,404号美国专利申请“Method and System for Calibrating Projectors toArbitrarily Shaped Surfaces with Discrete Optical Sensors Mountedat the Surfaces”以及由Dietz等人2003年11月7日提交的公开号为7421111B2的美国专利申请“Light Pen System for Pixel-BasedDisplays”，全都在此引用作为参考。实质上，所述时间序列将所述像素相对于投影机图像平面141的位置进行了编码。
因为光敏器件接近单一投投影像素144的尺寸或小于它，所以传感器112在被投影机照到时感知特定像素144的唯一光强度时间序列。微处理器使用常规的DSP和脉冲整形功能，处理光强度的序列并将它转换为二进制位串。
然后，响应收到输出信号133并感知特定像素144的唯一光强度时间序列134，根据感知的唯一光强度时间序列对由换能器111为收发器123产生204的输入信号133进行调制，表明标签对控制器的位置152。标签也可以在给收发器123的输入信号133中发回标签的身份151，如[tag-id，(x，y)]。应当注意，标签附近的任何其他接收器都能够收到所述位置和身份。
应当注意，如果投影机与标签之间的距离非常小，传感器就可能感知多个像素。这仅仅降低了位置的准确度，而不妨碍本系统的功能。
如何更准确地确定标签101的2D或3D几何坐标的细节如下。
我们假设标签置于物体上或环境中的已知位置附近，如物体的顶点。不过，为了后续的增强需要更准确的位置。上节能够确定单独的标签相对于控制器102的3D位置。不过，各项计算中的误差可能使这种方法不适于在公用坐标框架中确定多个标签的位置。
所以，我们希望的方法基于移动产生的结构。在这种框架下，输出图像131中若干2D特征的位置取决于3D空间中的坐标、投影机和标签之间相对的3D移动以及投影机的内部几何结构。我们首先标定二者相对于某种领域坐标系的视点，并通过提取该坐标系的本质矩阵而确定所谓的共极性(epipolar)几何特征，再据此计算图像场景的三维欧几里得结构。在两种方法中双目视觉的根本原理都是三角测量。对于单一的观察，任何可见目标点的三维位置必然在通过投影中心和该点图像的直线上。确定从两次独立观察产生的两条这样的直线的交点称为三角测量。
对于控制器102相对于标签101的给定位置，我们希望使用上述的格雷码投影方法，确定照到m个标签中每一个的投影机像素xi，i＝1，...，m。我们从手持控制器102的N个截然不同位置对标签重复照亮。这就简化为以下的计算机视觉问题。我们根据m个匹配的特征的N次观察计算结构。
我们确定两次观察之间的本质矩阵E。本质矩阵表示3D中的点与两次观察的投影中心之间的关系。我们初始化欧几里得坐标框架和标签的3D位置。使用卡尔曼滤波器对每次后续的观察都进行处理，以更新标签的3D位置。然后，我们应用光束法平差以优化最终结果。光束法平差的主要目的是根据二维图像测量最优地确定点的三维坐标。
我们使用惯性传感器125的倾斜，把坐标框架变换到垂直对齐的坐标系。使用Delaunay三角测量构建标签顶点的3D网格，并由此构建其表面的片段。一切计算出的几何特征和连通性都存储在标签101中。
投影机随后恢复其在目标坐标框架中的姿态如下。我们照亮所述标签并通过投影格雷码的方法恢复照亮每个标签的投影机像素xi，如上所述。我们检索每个标签中存储的3D坐标Xi。这再次简化为标准的计算机视觉问题，不需要对投影机121做任何修改，将其视为针孔设备。给定了2D-3D对应关系(xi，Xi)后，我们确定投影机的姿态。给定了投影机的内部参数后，我们使用四种对应关系确定投影机的姿态。
投影机中的位置感知
照相机122可以采集投影的光线模式132的输入图像137，以发现投影机图像平面141中投影的格雷码与照相机图像平面142的坐标之间的对应关系。具有标定的投影机-照相机系统并且知晓标签在投影机图像平面141上和照相机图像平面142上的像素位置，就能够通过三角测量确定标签的3D位置。作为标定信息的积分部分，可获得3D坐标框架中投影机的姿态。
稳定投影
利用3D坐标框架中的投影机和若干标签，投影机可以在表面140上的指定位置投影若干图像。不过，手持控制器的手部颤抖可能使投影颤抖。所以，本发明提供了使投影稳定的装置。
正如在2004年3月3日授权给Raskar等人的6,709,116号美国专利“Shape-Adaptive Projector System”中的介绍，我们允许投影在歪斜的或其他表面形状的平面表面上。获得投影机的姿态有三种方法。
第一种方法基于照相机122采集的无纹理平面140的图像。这提供了相对于该平面的姿态，直至所述平面中的未知变换和围绕平面法线的未知旋转。
第二种方法基于照相机观察具有某种表面纹理的平面，如普通位置或等效情形中的四个或更多点。这提供了投影机相对于表面140的完全姿态。
第三种方法使用惯性传感器126，它提供了连续时间步之间姿态改变的估计结果。
确定了姿态之后，就能够稳定投影光束132。
亚稳定投影
亚稳定保持了投影的形式，即形状和朝向，但是允许所述平面根据投影机移动而平移。
照相机122采集的四个激光点134的图像用于确定投影机相对于显示表面140的姿态，直至所述平面中的未知变换和围绕平面法线的未知旋转。通过对输入图像137中检测出的激光点应用卡尔曼滤波器，可以实现平滑。
惯性传感器125用于确定重力的方向，对于非水平的平面，它用作固定围绕平面法线之法线的旋转。
给定了投影机的姿态，直至所述平面中的未知变换，这是产生期望尺寸的投影和所述平面朝向所需的全部信息。
加入控制器的惯性传感器125可以估计控制器姿态的变化，以估计激光点134的新坐标，然后继续如上。
绝对稳定投影
绝对稳定使投影静态保持在显示表面140上，完全析出了投影机移动的因子。在照相机122观察投影表面上或等效情形的四个或更多固定点时，在平面显示表面上普通位置中的绝对稳定是可能的。
目标是寻求投影机图像平面与所述表面坐标框架之间的单应性HPS。因为单应性HPS指定了投影机图像平面141的每个像素与显示表面140上已知坐标框架之间的映射，那么将原始图像数据扭曲到投影机的图像平面以便在表面140上获得期望的投影就是直接的。
下面介绍了确定照相机图像平面142与显示表面140的坐标框架之间单应性HCS的步骤。首先，使用标签控制器系统101投影的四个激光点的照相机观察，确定由照相机图像平面与投影机图像平面之间的表面引入的单应性HCP。
确定投影机图像平面141与显示表面140的坐标框架之间所需的单应性为HPS＝HCSH-1 PC。平滑和惯性传感器测量结果的加入如同以上介绍的亚稳定情况。
互动投影
术语“互动投影”用于指与投影的图像数据132的“鼠标式”互动。利用手持投影机系统上的触摸板或者利用激光指示器126以外的激光指示器，可以实现指向投影的功能。不过，这些互动模态与小型控制器和单手互动操作不一致。
相反，我们介绍如何使用手持控制器102的移动跟踪光标跨越稳定的投影。控制器102如同鼠标，具有两个按健，以便在显示的光标处于所需点时进行选择。
互动投影采用以上介绍的绝对稳定，所以需要所述表面具有某种纹理。为了介绍这种互动投影，首先注意概念上我们有两种类型的投影。
第一种类型的投影是投影机图像平面141上的静态数据，随着投影机移动，显示表面上的投影以直接的对应关系移动。在前一节绝对稳定中引入的第二种类型的投影是显示表面上的静态数据，由持续地更新投影机图像平面141上的数据以析出投影机移动效果的因子而获得。
现在注意，两种类型的投影都能够同时进行。我们将绝对稳定应用于某种需要的内容，比如“桌面”环境。这导致投影机图像平面上内容的动态更新。不过，我们也一直在投影机图像平面141中心相同的固定像素处设置光标图标。因此，在投影机移动时，用户会看见“桌面”环境的静态投影，而光标在它上面跟踪投影机的移动。不仅如此，光标的移动还跟随手持控制器的移动，所以对用户它是自然的互动。因为能够指向，所以投影变为互动的。事实上“WIMP”界面的一切标准的鼠标互动都是可能的。
我们系统的一个差异在于，光标既能够用于表明投影内容中的选择，也能够用于表明物理世界中真实纹理上的选择。这打开了新类型的互动可能性。对于进一步的细节，参见Beardsley等人2003年8月7日提交的公开号为6764185B2的美国专利申请“Projector as anInput and Output Device”，在此引用作为参考。
与投影内容的互动
选项选择
在这项应用中，用户需要调用标准的查询，比如“存货离过期日还有多久？”通过使稳定的投影图像上具有菜单或按钮并以通常方式用光标进行选择，可以做到这一点。
标签选择
投影机光束132中的标签被投影的增强高亮显示，以向用户指明其位置。所述增强可以显示每个标签的旁边的选择图标。光标被跟踪到所述选择图标，按下按钮127切换该项的状态。
作为替代，光标也可以用于通过点击和拖曳操作而选择所关注的矩形区域(ROI)，用选定矩形的稳定视图提供为关于选择的视觉反馈，以同时选择多个标签。
控制增强的安置
用户可以使用光标“抓取”投影增强中的各个项并将它们移动到优选的布局。通过以照相机122采集该场景的输入图像，可以做到这一点。
与物理纹理互动
光标可以用于指明照相机122所观察场景中物理纹理的点或区域。纹理可以被照相机采集并进一步处理。我们介绍了“纹理键”使数据项附着于环境，以及以下所选定纹理的复制-粘贴。
仓库应用
仓库经理可以使用系统100注解食品，而另一个雇员可以随后检索该注解。更详细地说，经理首先使用输出信号131激活所选定的标签，然后使用控制器102选择并传送查询“寻找产品”，使用输出信号131发现将在两天之内过期的产品。如上所述，通过投影的菜单或按钮做出选择。
投影机光束132中的标签检验其过期日并向控制器102发回其过期状态的输入信号133。控制器如上所述确定全部被照亮标签的3D位置，并且在不会即将过期的物体或标签上投影上例如绿圈，对其他的投影上红圈。
然后经理可以选择红圈物体的子集，如上所述或者由各个标签选择或者由区域选择，并将圆圈照亮改为蓝色。其他标签上的红绿圈在全部物理表面上保持稳定。经理选择并发送请求“标注所选定的物体”以便去除，选定的标签在内部记录所述请求。随后的用户选择并发送“显示需要动作的项”的查询。投影机121以有色圈照亮全部注解的项，而且投影的增强表明实际注解的说明。
更高级别的功能
单个标签
利用单个标签有可能通过首先以光线照亮特定的标签而检测所述标签，以便选择所述标签。然后可以使用输入信号133读取所述标签，并可以更新标签的存储器113中存储的数据。控制器102也可以通过存储图像和标签周围环境的几何属性而存储标签的局部环境，随后可以跟踪所述标签。
单个刚性物体上的多个标签
这种功能允许投影机从多个方向互动。确定物体中心框架中若干标签的3D位置。根据3D标签数据将尺寸和朝向数据与物体相关联。存储标签邻近信息。存储物体表面与观察无关的图像纹理。计算照亮物体坐标框架中若干标签的投影机的姿态。可以检测短时间尺度的非刚性如压碎的存货，也可以检测长时间尺度的非刚性如生长。同时，也可以存储几何特征的历史比如倾斜。
带标签物体之间的互动
这种功能可以记录相邻物体之间的、不同物体上标签之间有区别的或者与单一逻辑或物理组内若干标签互动的安置历史。
分布式标签
在这项应用中，标签分布在环境中，比如在大墙壁、地板、天花板和物体上。以这种方式，标签用作特定标记以跟踪每日的变化，以及确定环境的结构或拓扑。计算出的结构可以显示在环境中的表面上。
几何结构
在这项应用中，确定物体上一组标签的3D坐标。例如，所述物体是新制造的物体，存储器113中的数据需要初始化，以便随后的增强和互动。标签的位置可以由三角测量确定，不过各项计算中的误差使得这种方法不适于确定公共参考框架中多个标签的位置。所以，我们使用如上所述基于移动产生之结构的方法。
存储局部环境
我们可以使用控制器102采集标签周围区域的图像纹理的环境。所述环境的无畸变版本可以利用标签101存储，并在随后的使用中从一切任意视点检索。在另一个实例中，所存储的图像纹理用于检测局部环境中的变化。
执行这项功能的步骤包括采集标签附近的图像纹理，规格化图像纹理以去除视点依赖性，比如透视效应。图像纹理可以按需处理，而且纹理和元数据能够与标签101一起存储。
所采集的纹理可以是对于标签周围固定尺寸的区域，或者以计算的Delaunay三角测量对于多标签的物体，所述纹理可以是对于各个网格的小平面。在检索期间，可以从任意视点观察物体，纹理可以再投影到其正确位置。如果标签的位置已经变形，那么可以如本文的介绍显式地确定变形量，或者可以扭曲基本的图像以匹配标签顶点。
几何组合
一批标签可以根据标签所放置其上的物体的固定或可变特征划分为标签组。某些标签组可以有益地分成子组，例如铰接的物体如以合页连接的面板上的标签，或具有可拆卸部件的物体上的标签。知晓这些组使得增强能够正确地适应物体的当前状态，如门打开，内部抽屉部分地拉开等。更具有挑战性的问题是将未初始化的标签分组在截然不同的物体上。不必物理地隔离各个物体，我们通过观察连贯的刚性移动而使每个物体上的标签分类。
我们从两个可能不同的视点检测两个不同实例中标签Xi和X’i的3D位置。我们使用基于仿射矩阵的方法，分割两个视点中的标签位移(Xi-X’i)，参见Weiss，“Segmentation using eigenvectors：aunifying view，”CVPR，pp.975-982，1999。仿射矩阵W是由给出的对称矩阵，其中d(u，v)＝(|Xu-X′u|-|Xv-X′v|)2，σ＝max(|Xu-X′u|)。W的最大特征值对应的特征向量中的大值给出了优势组的聚集。
几何变形
我们也可以检测一组标签中的非刚性变形。这种方式可以检测标签安装其上的物体表面的变化。这可以用于检测并高亮显示若干变化。某些实例应用包括检测运输途中的挤压损坏、跟踪生长或者监视受潮或受热导致的变形。
每个标签都存储着其3D位置以及采集的预变形，正如本文所述。检测所述标签的无畸变3D位置Xi与当前观察之间非刚性变化的过程包括以下步骤。
确定投影机图像平面上的标签位置xi，以获得对应关系(xi，Xi)。
使用RANSAC方法，从全集(xi，Xi)提取四个对应关系的子样本，参见Fischler等人，“RANSAC：Random Sample Consensus：aparadigm for model fitting with application to image analysis andautomated cartography，”Commun.Assoc.Comp.Mach.，Vol 24，1981。
从子样本估计姿态投影机的姿态G’。确定对此解的内部对应关系，即再投影误差|xi-G’Xi|小于阈值d的解。
对n个随机的子样本继续进行，以最大数目的内围层保持姿态G。确定了姿态G和内围层之后，通过分解协方差矩阵B＝(X′i-X′i)-(Xi-Xi)，估计两个坐标系之间内围层的刚性变换[R T]而确定新的3D标签位置X’i。旋转为R＝VUT，t＝Xi-X′i，其中奇异值为B＝UDV，参见G＝Horn，Robot Vision，MIT Press，1986。
纹理键
互动投影支持直接了当的方式在环境中相对任意的位置附着和检索电子数据。假设用户希望使用手持系统100将某些数据附着到比如说光开关。在随后的情况下，用户使手持投影机指向光开关并自动向用户呈现所存储数据的投影。按以下方式实现这一点。
用户使投影机指向光开关，并使用区域选择对开关画出矩形ROI的轮廓。所述ROI即“纹理键”的照相机图像数据与数据项一起存储。在随后的访问中，用户再次选择围绕光开关的某个ROI。通过模板匹配将新ROI的图像数据与存储的全部纹理键进行匹配，将与最佳匹配相关联的数据项投影到所述表面上。
互动投影允许用户仅仅描绘所需的纹理区域，以用作数据项的键。模板匹配是基本的匹配技术，它对2D纹理效果最好，而且在某种程度上与视点无关。事实上，如果意在通过视点以及选定的物理纹理检索电子项，利用视点有关技术的匹配也是可接受的。在任何情况下，由其他匹配技术替换都是直接了当的。
复制-粘贴
在各种若干环境中使用互动投影的另一个实例是复制与粘贴。我们使用照相机122采集场景纹理，将其规格化以去除视点依赖性，并将这种纹理无畸变地粘贴到新表面。
为了复制而选择所关注物理区域有许多方法，包括以上介绍的选择矩形ROI的方法。这里介绍一种简单的方法。平面表面上投影的四边形内部所记录的垂直对齐的最大矩形定义了复制区域。
复制与粘贴的步骤包括：确定显示表面上投影四边形顶点的3D坐标，寻找投影四边形内部所记录的与根据惯性传感器125获得的铅垂线对齐的最大矩形S，确定S对照相机图像平面的投影。对S存储图像纹理，加入扭曲以获得正确方面比例的矩形。为了粘贴在新位置，寻找以上所述显示表面上所记录的矩形。对准这个矩形的中心投影所存储的纹理。
测光补偿
测光补偿可以用于使“粘贴”的图像与复制纹理匹配得尽可能接近。有两种相关因素，即距离和朝向造成的衰减，以及表面反射系数。投影机在特定表面点上的照度是沿着射线投影机表面距离以及投影射线入射角的函数。最暗的投影机照度落在入射角最大的表面点上。这设定了投影的光强度极限。然后，我们应用每个像素的衰减至图像其余部分的映射，以提供均匀的照度。
对于投影机姿态G＝[r1 r2 r3 t]，投影机图像平面与物理表面之间的单应性为HP＝[r1 r2 t]。投影机像素x映射到3D点X＝(X，Y，0)，其中(X，Y，1)～＝(HP)-1x。在X处投影机射线与表面法线之间的夹角为
θ＝cos-1(V·(0，0，1))，
其中投影机射线为V＝(-R′i-X)/|(-R′i-X)|。如果最大的入射角为θm，那么在每个投影机像素x处的衰减为cos(θm)/Vz，其中Vz为以上给出之向量V的第z个分量。
我们以简单的像素阴影过程实现这种衰减。对于反射系数补偿，我们注意到复制的纹理与粘贴操作后被照亮表面的视图都是由同一照相机122采集的，从而避免了显式的反射率计算。我们为投影机121的两种不同的照度提取粘贴表面的图像。给定了照相机强度I1和I2，对于L1和L2两种照度和IT目标粘贴光强度下的给定照相机像素，所需的投影机照度线性内插值结果为L＝L1+k(L2-L1)，其中k＝(IT-I1)/(I2-I1)。对于彩色图像，我们在每个颜色通道独立地应用校正。
创新的显示
此外，标签101可以配备在环境传感器115上，例如温度表。然后这样的标签可以分布在环境中。可以选择地读取这些标签，不同传感器处的温度可以显示回所述环境中。
自动包装
标签可以存储它们所附着物体的物理特征。在这种情况下，传感器可以如同惯性传感器125。以这种方式，自动包装系统可以根据物体的物理特征和朝向选择物体并包装物体。
产品增强
互动投影可以在零售商店中提供产品增强的动态显示。投影机比大屏幕更容易部署，并且可以显示在物理产品上和交错显示。用户放置的标签画出了投影区域的轮廓，投影机可以根据带标签产品的存在而定制投影，如运动鞋货架上聚光灯照射的各双鞋，随着带标签产品消失或改变位置而动态更新。
自控机器人
自控机器人在工厂、机构和家庭中变得更加常见，如真空吸尘器。不过，自控机器人面对着任意环境中的若干问题。本文介绍的标签可以用于指明机器人的3D背景，既包括环境背景比如门口，也包括其他可移动的物体。作为重要的补充任务，用户可以通过以手持系统100查询带标签的区域而验证它，以确保机器人的设置正确，为了放置标签的任何所需的更新都是直接了当的。
虽然已经利用优选实施例的实例介绍了本发明，但是应当理解，在本发明的实质和范围之内可以作出多种其他的适应和修改。所以，所附带的权利要求书的目的就是包括在本发明真正的实质和范围之内出现的全部此类变化和修改。

Claims (36)

1.一种无线定位和识别系统，包括：
控制器，包括：
投影机，被配置为对所述投影机输出图像中的每个像素产生唯一光强度时间序列；以及
无线收发器，被配置为发射输出信号和接收输入信号；以及
标签，包括：
光敏器件，被配置为感知特定像素的所述唯一光强度时间序列；
换能器，被配置为接收来自所述收发器的所述输出信号；以及
响应收到所述输出信号和感知所述特定像素的所述唯一光强度时间序列，根据所述唯一光强度时间序列为所述收发器调制所述输入信号，以便指明所述标签对于所述控制器的位置的装置。
2.根据权利要求1的系统，其中，所述标签进一步包括：
存储所述标签的标识的存储器；以及
响应收到所述输出信号，根据所述标识为所述收发器调制所述输入信号的装置。
3.根据权利要求1的系统，其中，所述标签进一步包括：
存储器；和
微处理器，其中所述微处理器连接到所述换能器和所述光敏器件以及所述存储器。
4.根据权利要求3的系统，其中，所述标签进一步包括连接到所述微控制器的环境传感器。
5.根据权利要求1的系统，其中，所述标签安装在物体上，并且在运行期间所述控制器为手持并可移动。
6.根据权利要求1的系统，其中，所述标签安装在环境中，并且在运行期间所述控制器为手持并可移动。
7.根据权利要求1的系统，其中，所述换能器和光敏器件接近所述标签被安装到的物体的外部物理表面。
8.根据权利要求1的系统，其中，所述换能器是调谐到预定射频的天线。
9.根据权利要求1的系统，其中，所述标签寄生地获取电源。
10.根据权利要求1的系统，其中，响应感知所述唯一光强度时间序列，所述光敏器件被反向偏置驱动以感知光线，被正向偏置驱动以发射光线。
11.根据权利要求2的系统，其中，所述存储器存储着所述位置。
12.根据权利要求1的系统，其中，所述控制器进一步包括：
照相机；和
处理器，所述处理器连接到所述投影机、所述收发器和所述照相机。
13.根据权利要求12的系统，其中，所述投影机对于所述照相机处于固定的物理关系。
14.根据权利要求1的系统，其中，所述控制器进一步包括六自由度惯性传感器。
15.根据权利要求1的系统，其中，所述控制器进一步包括：
多个激光指示器。
16.根据权利要求1的系统，其中，所述控制器进一步包括：
多个控制按钮。
17.根据权利要求1的系统，其中，所述控制器进一步包括：
确定所述投影机姿态的装置。
18.根据权利要求1的系统，其中，所述光敏器件仅仅对选定频率的光线敏感。
19.根据权利要求1的系统，其中，每个像素的所述唯一光强度时间序列是格雷码的形式。
20.根据权利要求1的系统，其中，所述系统包括多个标签，并且每个标签的位置由所述控制器确定。
21.根据权利要求12的系统，其中，根据所述照相机采集的所述唯一光强度时间序列的输入图像确定所述位置。
22.根据权利要求1的系统，其中，所述控制器进一步包括：
响应收到所述标签位置而产生输出图像的装置。
23.根据权利要求22的系统，其中，所述控制器是手持的并移动，而使所述输出图像相对于所述标签稳定。
24.根据权利要求22的系统，其中，所述输出图像包括相应于所述控制器的移动而移动的光标。
25.根据权利要求24的系统，其中，所述光标选择所述输出图像中显示的项。
26.根据权利要求22的系统，其中，所述标签安装在表面上，而且所述控制器进一步包括：
照相机，用于采集输入图像，包括所述标签和所述表面；以及
将所述输入图像的一部分加入所述输出图像的装置。
27.根据权利要求2的系统，其中，所述存储器中存储的数据随着时间而更新。
28.根据权利要求20的系统，其中，所述多个标签安装在表面上，而且所述控制器进一步包括：
根据所述标签的位置确定所述表面形状的装置。
29.根据权利要求20的系统，其中，所述多个标签安装在表面上，而且所述控制器进一步包括：
根据所述标签的位置确定所述表面变形的装置。
30.根据权利要求1的系统，其中，所述位置是二维的。
31.根据权利要求1的系统，其中，所述位置是三维的。
32.根据权利要求1的系统，其中，所述控制器进一步包括：
对所述光强度进行测光补偿的装置。
33.根据权利要求1的系统，其中，所述光强度是红外线的光强度。
34.根据权利要求1的系统，其中，所述标签包括多个光敏器件。
35.根据权利要求1的系统，进一步包括：
照亮所述标签的多个光源，而且所述标签进一步包括：
感知所述多个光源中任何一个的装置。
36.一种无线定位和识别方法，包括：
从控制器投影无线输出信号和对于输出图像中的每个像素的唯一光强度时间序列；
在标签中感知所述无线输出信号；
响应感知到所述无线输出信号，在所述标签中感知所述唯一光强度时间序列；以及
响应收到所述输出信号和感知所述特定像素的所述唯一光强度时间序列，根据所述唯一光强度时间序列为所述控制器在所述标签中调制输入信号，以便指明所述标签对于所述控制器的位置。
CN2005800063654A 2004-07-01 2005-07-01 无线定位和识别系统和方法 Expired - Fee Related CN1934459B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10/883,235 US7154395B2 (en) 2004-07-01 2004-07-01 Interactive wireless tag location and identification system
US10/883,235 2004-07-01
PCT/JP2005/012625 WO2006004192A1 (en) 2004-07-01 2005-07-01 Wireless location and identification system and method

Publications (2)

Publication Number Publication Date
CN1934459A CN1934459A (zh) 2007-03-21
CN1934459B true CN1934459B (zh) 2010-08-04

Family

ID=35005722

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2005800063654A Expired - Fee Related CN1934459B (zh) 2004-07-01 2005-07-01 无线定位和识别系统和方法

Country Status (6)

Country Link
US (1) US7154395B2 (zh)
EP (1) EP1761798B8 (zh)
JP (1) JP2008505374A (zh)
CN (1) CN1934459B (zh)
DE (1) DE602005016925D1 (zh)
WO (1) WO2006004192A1 (zh)

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10164447B4 (de) * 2000-12-29 2014-07-10 Harald Genger Verfahren und Vorrichtung zur Generierung einer Signalsequenz
WO2006061780A1 (en) * 2004-12-10 2006-06-15 Philips Intellectual Property & Standards Gmbh Data carrier with a chip and a plurality of sensors
US7988055B2 (en) * 2005-01-20 2011-08-02 Wright State University Uncontrolled passive radio frequency identification tag and system with 3-D positioning
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
US7420474B1 (en) * 2005-05-13 2008-09-02 Barron Associates, Inc. Idiosyncratic emissions fingerprinting method for identifying electronic devices
JP2007018492A (ja) * 2005-06-06 2007-01-25 Fuji Xerox Co Ltd 無線応答装置、画像形成装置および装置
US20070046924A1 (en) * 2005-08-30 2007-03-01 Chang Nelson L A Projecting light patterns encoding correspondence information
WO2007105634A1 (ja) * 2006-03-09 2007-09-20 Matsushita Electric Industrial Co., Ltd. 無線ｉｃタグ、書類用媒体及び情報処理装置
TWI311205B (en) * 2006-04-28 2009-06-21 Benq Corporatio Optical system and projector utilizing the same
US20070268481A1 (en) * 2006-05-17 2007-11-22 Ramesh Raskar System and method for measuring scene reflectance using optical sensors
US8009192B2 (en) * 2006-05-17 2011-08-30 Mitsubishi Electric Research Laboratories, Inc. System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid states optical devices
US7905606B2 (en) * 2006-07-11 2011-03-15 Xerox Corporation System and method for automatically modifying an image prior to projection
US20080018178A1 (en) * 2006-07-24 2008-01-24 Tai-Her Yang Cabled control/transmission device with directional light projector
US20080046114A1 (en) * 2006-08-15 2008-02-21 White Charles A System, packaging, and method for distributing products
US8022809B2 (en) * 2006-11-02 2011-09-20 RFID Mexico, S.A. DE C.V. Inventory taking system
JP2008160456A (ja) * 2006-12-22 2008-07-10 Oki Electric Ind Co Ltd 無線タグ位置推定装置、無線タグ通信装置、無線タグ位置推定システム、無線タグ位置推定方法、及び、無線タグ位置推定プログラム
US8528825B2 (en) * 2007-01-03 2013-09-10 Intelleflex Corporation Long range RFID device as modem and systems implementing same
US20080198000A1 (en) * 2007-02-18 2008-08-21 James Neil Rodgers RFID interrogation of liquid/metal
US8994757B2 (en) 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
US8278595B2 (en) * 2007-03-16 2012-10-02 Electro Scientific Industries, Inc. Use of predictive pulse triggering to improve accuracy in link processing
US7949150B2 (en) * 2007-04-02 2011-05-24 Objectvideo, Inc. Automatic camera calibration and geo-registration using objects that provide positional information
US8552834B2 (en) * 2007-05-30 2013-10-08 Symbol Technologies, Inc. Item finding using radio frequency and optical signaling
JP2008301156A (ja) * 2007-05-31 2008-12-11 Mitsubishi Electric Corp プロジェクタ装置
WO2008152545A1 (en) 2007-06-14 2008-12-18 Koninklijke Philips Electronics N.V. Object localization method, system, tag, and user interface device
US7619524B2 (en) * 2007-07-20 2009-11-17 Symbol Technologies, Inc. Identifying RFID tag moving coherently with reader
US8421631B2 (en) * 2007-09-11 2013-04-16 Rf Controls, Llc Radio frequency signal acquisition and source location system
US7874681B2 (en) * 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US20090312854A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for transmitting information associated with the coordinated use of two or more user responsive projectors
US20090309828A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for transmitting instructions associated with user parameter responsive projection
US8384005B2 (en) 2008-06-17 2013-02-26 The Invention Science Fund I, Llc Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface
US8733952B2 (en) * 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
US8308304B2 (en) 2008-06-17 2012-11-13 The Invention Science Fund I, Llc Systems associated with receiving and transmitting information related to projection
US8376558B2 (en) * 2008-06-17 2013-02-19 The Invention Science Fund I, Llc Systems and methods for projecting in response to position change of a projection surface
US20090313152A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems associated with projection billing
US20090310103A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for receiving information associated with the coordinated use of two or more user responsive projectors
US20090310039A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for user parameter responsive projection
US8267526B2 (en) * 2008-06-17 2012-09-18 The Invention Science Fund I, Llc Methods associated with receiving and transmitting information related to projection
US8723787B2 (en) * 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
US8262236B2 (en) * 2008-06-17 2012-09-11 The Invention Science Fund I, Llc Systems and methods for transmitting information associated with change of a projection surface
US8641203B2 (en) * 2008-06-17 2014-02-04 The Invention Science Fund I, Llc Methods and systems for receiving and transmitting signals between server and projector apparatuses
US8608321B2 (en) 2008-06-17 2013-12-17 The Invention Science Fund I, Llc Systems and methods for projecting in response to conformation
US20110176119A1 (en) * 2008-06-17 2011-07-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for projecting in response to conformation
US8936367B2 (en) * 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8944608B2 (en) * 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8602564B2 (en) * 2008-06-17 2013-12-10 The Invention Science Fund I, Llc Methods and systems for projecting in response to position
US20100066689A1 (en) * 2008-06-17 2010-03-18 Jung Edward K Y Devices related to projection input surfaces
US8820939B2 (en) * 2008-06-17 2014-09-02 The Invention Science Fund I, Llc Projection associated methods and systems
US20090309826A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US20090313150A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods associated with projection billing
US8368693B2 (en) * 2008-08-20 2013-02-05 Take Two Interactive Software, Inc. Systems and methods for fast real-time rendering of multiple light sources
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8120488B2 (en) 2009-02-27 2012-02-21 Rf Controls, Llc Radio frequency environment object monitoring system and methods of use
US9024972B1 (en) 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
US8328365B2 (en) * 2009-04-30 2012-12-11 Hewlett-Packard Development Company, L.P. Mesh for mapping domains based on regularized fiducial marks
DE102009023018A1 (de) * 2009-05-28 2010-12-02 T-Mobile International Ag Projektor
US20100321382A1 (en) 2009-06-18 2010-12-23 Scalable Display Technologies, Inc. System and method for injection of mapping functions
US8388151B2 (en) * 2009-07-23 2013-03-05 Kenneth J. Huebner Object aware, transformable projection system
US8344823B2 (en) * 2009-08-10 2013-01-01 Rf Controls, Llc Antenna switching arrangement
US8451121B2 (en) * 2009-09-10 2013-05-28 PF Controls, LLC Calibration and operational assurance method and apparatus for RFID object monitoring system
US8205800B2 (en) * 2009-10-20 2012-06-26 Hand Held Products, Inc. Long range selective RFID using laser photodetection wakeup
US8672763B2 (en) * 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
AU2011220382A1 (en) 2010-02-28 2012-10-18 Microsoft Corporation Local advertising content on an interactive head-mounted eyepiece
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US20120235887A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element and an optically flat film
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9097890B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9223134B2 (en) * 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9097891B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9182596B2 (en) * 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9134534B2 (en) * 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US8666978B2 (en) 2010-09-16 2014-03-04 Alcatel Lucent Method and apparatus for managing content tagging and tagged content
US20120067954A1 (en) * 2010-09-16 2012-03-22 Madhav Moganti Sensors, scanners, and methods for automatically tagging content
US8533192B2 (en) 2010-09-16 2013-09-10 Alcatel Lucent Content capture device and methods for automatically tagging content
US8655881B2 (en) 2010-09-16 2014-02-18 Alcatel Lucent Method and apparatus for automatically tagging content
JP6198605B2 (ja) 2010-11-15 2017-09-20 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド 手動及び半自動技術を用いたディスプレイシステムを較正するためのシステム及び方法
WO2012119048A2 (en) * 2011-03-02 2012-09-07 Cameron International Corporation Radio frequency identification system for mineral extraction equipment
US9497447B2 (en) 2011-06-15 2016-11-15 Scalable Display Technologies, Inc. System and method for color and intensity calibrating of a display system for practical usage
CN102306088A (zh) * 2011-06-23 2012-01-04 北京北方卓立科技有限公司 一种实体投影虚实配准装置及方法
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9025416B2 (en) 2011-12-22 2015-05-05 Pelco, Inc. Sonar system for automatically detecting location of devices
US9132346B2 (en) 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
US8817111B2 (en) 2012-04-19 2014-08-26 Scalable Display Technologies, Inc. System and method of calibrating a display system free of variation in system input resolution
CN103576846A (zh) * 2012-08-09 2014-02-12 深圳市中兴移动通信有限公司 无线投影系统
KR101418872B1 (ko) * 2012-11-09 2014-07-21 한국과학기술연구원 움직이는 객체의 위치에 대한 실시간 무선인식장치 및 방법
US9081076B2 (en) 2012-11-12 2015-07-14 Isolynx, Llc System and method for object tracking anti-jitter filtering
CN105308503A (zh) 2013-03-15 2016-02-03 斯加勒宝展示技术有限公司 利用短程相机校准显示系统的系统和方法
WO2015009979A1 (en) * 2013-07-17 2015-01-22 Lefevre Donald Long-range electronic identification system
US9370714B2 (en) * 2013-08-16 2016-06-21 Disney Enterprises, Inc. Light communication between user devices and physical objects
CN103559535B (zh) * 2013-11-11 2016-04-27 中国矿业大学 一种矿用定位标签及省电工作方法
CN105940359B (zh) * 2014-01-31 2020-10-20 惠普发展公司，有限责任合伙企业 具有投影器单元的系统的触摸式感应垫
CN103942515B (zh) * 2014-04-21 2017-05-03 北京智谷睿拓技术服务有限公司 关联方法和关联设备
US20150319414A1 (en) * 2014-05-05 2015-11-05 Symbol Technologies, Inc. Method for controlling an alternative user interface in a device
ITUA20162410A1 (it) 2016-04-08 2017-10-08 Gd Spa Metodo ed unità di ispezione di un organo riscaldante per sigaretta elettronica.
RU2657168C2 (ru) * 2016-04-29 2018-06-08 Общество с ограниченной ответственностью "Общество Сферического Кино" Программно-аппаратный комплекс для автоматической калибровки многопроекторных систем с возможностью воспроизводить контент в высоком разрешении с использованием средств шифрования и цифровой дистрибьюции, способ шифрования контента для использования в способе воспроизведения контента
US10530972B2 (en) * 2016-09-21 2020-01-07 Htc Corporation Control method for optical tracking system
DE102017118767B4 (de) * 2017-08-17 2020-10-08 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zum Bestimmen von dimensionellen und/oder geometrischen Eigenschaften eines Messobjekts
CN108107462B (zh) * 2017-12-12 2022-02-25 中国矿业大学 Rtk与高速相机组合的交通标志杆姿态监测装置及方法
EP3667362A1 (en) * 2018-12-10 2020-06-17 Infineon Technologies AG Methods and apparatuses for determining rotation parameters for conversion between coordinate systems
CN110411339B (zh) * 2019-07-30 2021-07-02 中国海洋大学 一种基于平行激光束的水下目标尺寸测量设备及方法
US20210056272A1 (en) 2019-08-23 2021-02-25 KEFI Holdings, Inc Object detection-based control of projected content
CN110716203B (zh) * 2019-10-31 2023-07-28 海鹰企业集团有限责任公司 一种被动声纳目标的时频分析与跟踪方法
EP3848900A1 (en) 2020-01-10 2021-07-14 Aptiv Technologies Limited Methods and systems for calibrating a camera

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3966331A (en) * 1973-08-27 1976-06-29 Fuji Photo Film Co., Ltd. Coordinate detecting apparatus for optical projectors
US5874724A (en) * 1997-01-10 1999-02-23 International Business Machines Corporation Light selectable radio frequency identification tag and method therefor
CN1230270A (zh) * 1996-09-12 1999-09-29 检查点系统有限公司 使用智能安全标签及交易数据的用于商店的电子物品安全系统
CN1361902A (zh) * 1999-07-13 2002-07-31 荷兰A&A贸易公司 带有摄象机的检测系统
CN1486558A (zh) * 2001-08-28 2004-03-31 ���ṫ˾ 信息处理装置和方法以及记录媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5134277A (en) * 1983-11-07 1992-07-28 Australian Meat And Live-Stock Corporation Remote data transfer system with ambient light insensitive circuitry
US5198877A (en) * 1990-10-15 1993-03-30 Pixsys, Inc. Method and apparatus for three-dimensional non-contact shape sensing
US5280287A (en) * 1992-06-30 1994-01-18 The United States Of America As Represented By The Secretary Of The Navy Coded identification and positioning system
SE510810C2 (sv) * 1997-01-13 1999-06-28 Qualisys Ab Rörelseanalyssystem
US6504605B1 (en) * 2000-10-24 2003-01-07 The Regents Of The University Of California Method and apparatus for determining the coordinates of an object
US6369879B1 (en) * 2000-10-24 2002-04-09 The Regents Of The University Of California Method and apparatus for determining the coordinates of an object
GB0115042D0 (en) * 2001-06-20 2001-08-08 Roke Manor Research Improvements in or relating to tagging systems
US7146036B2 (en) * 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
US7193608B2 (en) * 2003-05-27 2007-03-20 York University Collaborative pointing devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3966331A (en) * 1973-08-27 1976-06-29 Fuji Photo Film Co., Ltd. Coordinate detecting apparatus for optical projectors
CN1230270A (zh) * 1996-09-12 1999-09-29 检查点系统有限公司 使用智能安全标签及交易数据的用于商店的电子物品安全系统
US5874724A (en) * 1997-01-10 1999-02-23 International Business Machines Corporation Light selectable radio frequency identification tag and method therefor
CN1361902A (zh) * 1999-07-13 2002-07-31 荷兰A&A贸易公司 带有摄象机的检测系统
CN1486558A (zh) * 2001-08-28 2004-03-31 ���ṫ˾ 信息处理装置和方法以及记录媒体

Also Published As

Publication number Publication date
US7154395B2 (en) 2006-12-26
CN1934459A (zh) 2007-03-21
JP2008505374A (ja) 2008-02-21
US20060001543A1 (en) 2006-01-05
EP1761798A1 (en) 2007-03-14
EP1761798B1 (en) 2009-09-30
EP1761798B8 (en) 2009-12-02
DE602005016925D1 (de) 2009-11-12
WO2006004192A1 (en) 2006-01-12

Similar Documents

Publication Publication Date Title
CN1934459B (zh) 无线定位和识别系统和方法
Raskar et al. RFIG lamps: interacting with a self-describing world via photosensing wireless tags and projectors
US11222442B2 (en) Method for augmented reality display, method for determining pose information, and apparatuses
JP4032776B2 (ja) 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム
US6736316B2 (en) Inventory control and indentification method
US8890657B2 (en) System and method for operating an RFID system with head tracking
US20100019906A1 (en) Article management system and method for managing article
CN102708355A (zh) 信息处理装置、信息处理方法及程序
Olwal et al. SurfaceFusion: unobtrusive tracking of everyday objects in tangible user interfaces
CN109271935A (zh) 物品与电子标签的配对方法、装置及系统
US20200201513A1 (en) Systems and methods for rfid tag locationing in augmented reality display
CN105631375A (zh) 对电子标签做空间定位、3d签名及人机交互的方法、设备
CN105865438A (zh) 基于机器视觉的移动机器人的自主精确定位系统
CN105865419A (zh) 基于地面特征的移动机器人的自主精确定位系统及方法
CN103679087B (zh) 基于射频技术的定位方法
CN105955510A (zh) 人机交互系统及方法
US20150120461A1 (en) Information processing system
CN103329120A (zh) 用于增强现实的基准标记
US20230306213A1 (en) Method, platform, and system of electromagnetic marking of objects and environments for augmented reality
CN105122342B (zh) 释出多媒体文件装置的互动系统、相关装置及方法
WO2022230639A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
Ecklbauer A mobile positioning system for android based on visual markers
TWI824859B (zh) 虛擬購物手勢操控系統
Zhang et al. Easily-add battery-free wireless sensors to everyday objects: system implementation and usability study
CN117934598B (zh) 一种基于光学定位技术的桌面级刚体定位设备及方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20100804

Termination date: 20140701

EXPY Termination of patent right or utility model