JP2008505374A - 無線探索および識別システム並びに方法 - Google Patents

無線探索および識別システム並びに方法 Download PDF

Info

Publication number
JP2008505374A
JP2008505374A JP2006519628A JP2006519628A JP2008505374A JP 2008505374 A JP2008505374 A JP 2008505374A JP 2006519628 A JP2006519628 A JP 2006519628A JP 2006519628 A JP2006519628 A JP 2006519628A JP 2008505374 A JP2008505374 A JP 2008505374A
Authority
JP
Japan
Prior art keywords
tag
controller
projector
unique
tags
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006519628A
Other languages
English (en)
Inventor
ラスカー、ラメッシュ
ベアズリィー、ポール、エイ
ヴァン・バール、ジェロン
ディーツ、ポール、エイチ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Research Laboratories Inc
Original Assignee
Mitsubishi Electric Research Laboratories Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Research Laboratories Inc filed Critical Mitsubishi Electric Research Laboratories Inc
Publication of JP2008505374A publication Critical patent/JP2008505374A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G06K19/0728—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs the arrangement being an optical or sound-based communication interface
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K19/00—Record carriers for use with machines and with at least a part designed to carry digital markings
    • G06K19/06—Record carriers for use with machines and with at least a part designed to carry digital markings characterised by the kind of the digital marking, e.g. shape, nature, code
    • G06K19/067—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components
    • G06K19/07—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips
    • G06K19/0723—Record carriers with conductive marks, printed circuits or semiconductor circuit elements, e.g. credit or identity cards also with resonating or responding marks without active components with integrated circuit chips the record carrier comprising an arrangement for non-contact communication, e.g. wireless communication circuits on transponder cards, non-contact smart cards or RFIDs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
    • G06K7/10019—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves resolving collision on the communication channels between simultaneously or concurrently interrogated record carriers.
    • G06K7/10079—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves resolving collision on the communication channels between simultaneously or concurrently interrogated record carriers. the collision being resolved in the spatial domain, e.g. temporary shields for blindfolding the interrogator in specific directions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Toxicology (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Burglar Alarm Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

【課題】無線探索および識別システムは、コントローラとタグとを含む。
【解決手段】コントローラは、プロジェクタの出力画像におけるそれぞれの画素について一意の時間的に連続する光度を生成するよう構成されているプロジェクタと、出力信号を発し入力信号を受信するよう構成されている無線トランシーバとを有する。タグは、特定の画素の一意の時間的に連続する光度を検知するよう構成されている光センサと、トランシーバからの出力信号を受信するよう構成されているトランスデューサと、出力信号の受信および特定の画素の一意の時間的に連続する光度の検知に応答して、一意の時間的に連続する光度に従って、トランシーバ用の入力信号を変調して、タグの位置をコントローラに知らせる手段とを含む。

Description

本発明は包括的には識別タグおよびリーダに関し、より詳細には選択的に探索および識別が可能なタグに関する。
長年にわたって、コンピュータの用途は、高度に集中化したメインフレームからデスクトップへと移行しつつある。より最近には、携帯電話、携帯情報端末、ならびに、環境におよびその環境内に配置されたオブジェクトに邪魔にならないように埋め込んだセンサ等のモバイル機器に、計算処理能力が移行しつつある。
この用途の一例は、無線周波数識別（ＲＦＩＤ）タグを用いている（「RFID, A Key to Automating Everything」, Scientific American, vol. 290(1), 56-65, 2003を参照されたい）。ＲＦＩＤタグは、米粒ほど小型にすることができ、安価、例えば１ドルの数分の一であり、何メートルもの範囲にわたって一意の識別情報をタグリーダに送信することができる。
従来の無線周波数識別（ＲＦＩＤ）タグは、動物および人を含むオブジェクトを識別するのに用いられる。ＲＦＩＤタグは、購入製品の区別および記録を行うバーコードの代わりとなることができる。ＲＦＩＤタグは、結果として製造業者、卸売業者、および小売業者の労力節約をもたらすことができる。大規模な小売業者であれば、ＲＦＩＤタグを用いると、推定節約額は年間で数十億ドルにも達し得る。
通常の従来技術のＲＦＩＤシステムは、マイクロチップとアンテナとを含む。アンテナは、調整された誘導コイルの形態であってもよい。動作は基本的に簡単である。通常、マイクロチップが一意の識別コードを記憶しており、タグのアンテナがリーダのアンテナと誘導結合すると、この識別コードを検出することができる。この結合によってインピーダンスが変化し、したがって受信アンテナにおける負荷が変化する。負荷は、コイルを出し入れして切り替える（by switching the coil in and out）ことによって、記憶している識別コードに従って調整することができる。
従来のＲＦＩＤタグは、以下の基本属性に従って特徴付けることができる。アクティブＲＦＩＤタグは、マイクロチップを動作させ信号をリーダに「送信」する電源を含む。セミパッシブタグは、電池を用いてマイクロチップを動作させるが、送信機を動作させるのに誘導電流を用いる。このようなタイプのタグは、製造にかかるコストがより高いので、通常、より長距離において識別が必要な、高価なオブジェクトに用いられる。パッシブタグについては、電磁放射を放出することによってリーダがタグ内に電流を誘導する。このようなタグは比較的安価であり、送信ＲＦ信号の電力によって決まるが、約５０メートルの範囲まで有効である。
タグはリードオンリ型であってもよいし、リードライト型であってもよい。後者のタイプにおいては、メモリを用いてタグに情報を徐々に付け加えることができる。例えば、タグは読み取られた時、または読取り頻度を記憶することができる。
既存の商業用途には、非接触アクセス制御、家畜用耳タグ、および民生品が含まれる。より高性能のタグは、単なる識別情報の送信以上のことを行う。最新のタグは、かなりの計算処理能力およびデータを埋め込んでいる。これにより、ＲＦＩＤタグが提供するデータの検索および識別という問題が生じる。
実社会のオブジェクトおよび環境がデータおよび小型プロセッサでオーグメントされる（augmented：補われる）いくつかの用途が知られている。
オブジェクトに「インテリジェンス」を付け加える、および、場合によっては、インテリジェントオブジェクトの周りにヒューマンインタラクション（human interactiions）を構築する、いくつかの技法が知られている。センステーブル（Sensetable）システムは、プロジェクタを用いて卓上の検知タブレットの周りの区域を追跡しオーグメントする。Patten他著「SenseTable: A Wireless Object Tracking Platform for Tangible User Interfaces」, Conference on Human Factors in Computing Systems, ACM CHI, 2001。Omojola他著「An installation of interactive furniture」, IBM Systems Journal, Vol. 39(3,4), 2000は、インテリジェント家具を説明している。
レーザポインタに応答するアクティブＲＦタグを用いるシステムもある。ＦｉｎｄＩＴ ｆｌａｓｈｌｉｇｈｔは、一方向インタラクション（one-way interaction）とタグ上のインジケータライトとを用いて、所望のオブジェクトが見つかったということを信号で伝える。Ma他著「The FindIT Flashlight: Responsive Tagging Based on Optically Triggered Microprocessor Wakeup」, Ubicomp, pp. 160-167, 2002を参照されたい。
ＩＥＥＥ８０２．１１またはＸ１０等の高性能で複雑な通信プロトコルを用いてタグがＰＤＡに返答する、双方向インタラクションを用いるシステムもある。Patel他著「A 2-Way Laser-Assisted Selection Scheme for Hand-helds in a Physical Environment」, Ubicomp, 2003およびRingwald著「Spontaneous Interaction with Everyday Devices Using a PDA」, UbiComp, 2002。
インタラクションおよびオーグメンテーション
大型のディスプレイスクリーン用の、レーザポインタでのインタラクションは一般的である。Hinckley他著「Sensing Techniques for Mobile Interaction」, ACM UIST CHI Letters, Vol. 2(2), pp. 91-100, 2000は、モバイル機器用の検知およびインタラクションの技法をいくつか説明している。
物理的世界のオブジェクトのオーグメンテーションは、最初、目に装着したまたは頭に搭載したディスプレイ（Azuma他著「Recent Advances in Augmented Reality」, IEEE Computer Graphics and Applications, vol. 21(6), pp. 34-47, 2001を参照されたい）すなわちハンドヘルドスクリーン（hand-held screens）によって達成された。Want他著「Bridging Physical and Virtual Worlds with Electronic Tags」, ACM SIGCHI, pp. 370-377, 1999およびRekimoto他著「Augmentable Reality: Situated Communication through Digital and Physical Spaces」, IEEE 2nd International Symposium on Wearable Computers（ISWC 98), pp. 68-75, 1998は、ＰＤＡ、カメラ、およびＲＦＩＤタグを用いるスクリーンをベースにしたオーグメンテーションを説明している。
Underkoffler他著「Emancipated pixels: Real-world graphics in the luminous room」, Proc. Siggraph 99,ACM Press, pp. 385-392、Pinhanez著「The Everywhere Displays Projector: A Device to Create Ubiquitous Graphical Interfaces」, Ubiquitous Computing, 2001、Raskar他著「Shader lamps: Animating real objects with image-based illumination」, Rendering Techniques 2001, Proceedings of the Eurographics Workshop, 2001、Bimber他著「The virtual showcase」, IEEE Comput. Graph. Appl. 21, 6, pp. 48-55, 2001、およびVerlinden他著「Development of a Flexible Augmented Prototyping System」, The 11th International Conference in Central Europe on Computer Graphics, Visualization and Computer Vision '2003, 2003は、プロジェクタをベースにしたオーグメンテーションを説明している。
Raskar他著「ilamps: geometrically aware and selfconfiguring projectors」, ACM Trans. Graph. 22, 3, pp. 809-818, 2003は、ハンドヘルドプロジェクタ用の、形状およびオブジェクトの適応投影をサポートする画像ワーピングを説明している。
追跡用に特徴的なビジュアルマーカを付け加えることは、常に実際的であるというわけではない。したがって、３Ｄコンテキスト（context：環境）を得る基本構造（infrastructure：インフラストラクチャ）を付け加えることなく環境およびオブジェクトをオーグメントすることが所望される。
オリベッティ社のアクティブバッジ（Want他著「The active badge location system」, ACM Trans. Inf. Syst. 10, 1, pp. 91-102, 1992を参照されたい）およびゼロックス社のＰＡＲＣｔａｂ（Want他著「An Overview of the ParcTab Ubiquitous Computing Experiment」, IEEE Personal Communications, pp. 28-43, 1995）等の位置検知システムは、位置を発見する（recover）が、通常インタラクティブシステムではなくパッシブ追跡に用いられてきている。
インタラクション（interacting）用のレーザポインタシステムでは、インタラクションを開始するのに、ユーザが目標オブジェクトを識別し、ポインタをそのオブジェクトに向ける必要がある。しかし、タグが目に見えなくなると正確に指し示すことは困難であり、タグが複数ある場合には順次処理することしかできない。
オブジェクト上および環境内に配置されたタグを探索し識別することができるシステムおよび方法を提供することが所望される。
本発明は、現実の物理的世界におけるオブジェクトおよび環境に機器を取り付ける（instrumenting）システムおよび方法を提供する。これによって、無線通信を用いてオブジェクトおよび環境とインタラクションして、履歴データを識別し、記述し、注釈をつけ、蓄積することが可能になる。
この実現技術は無線タグを用いる。タグは、要求に応じて位置および識別情報を無線通信する、小型デバイスである。タグは非常に小型で安価に製造でき内部電源が不要なので、有利である。したがって、タグはあらゆるものに取り付けることができ、長期間にわたって用いることができる。
従来のＲＦＩＤタグには制約がある。従来のＲＦＩＤタグは、自らの位置を通信することができない。本発明は、識別情報および３Ｄ位置を含むデータを通信することができるタグを提供する。したがって本発明では、全く新しい範囲の用途が可能になる。
本発明は、タグを選択し、タグを識別し、タグデータを収集し、タグに関係する情報を表示し、データとインタラクションする、多機能フレームワークを提供する。本発明は、投影照明（projected illumination）を用いてタグを選択する。３Ｄ座標系が生成されてタグを探索する。タグデータは、直接オブジェクトの表面上に投影して環境をオーグメントすることができる。
システム構造
図１に示すように、本発明によるインタラクティブタグ探索および識別システム１００は、タグ１０１とコントローラ１０２とを含む。本発明者らは、システム１００が単にタグ１０１の識別情報を読み取る以外の機能を果たすことができるということを示すために、「コントローラ」という用語を用いている。本発明によるインタラクティブシステムの付加機能については、以下に詳細に説明する。利点として、このような付加機能によって、全く新しい１組のインタラクティブ用途が可能になる。
タグ
タグ１０１は、トランスデューサ１１１、光センサ１１２、メモリ１１３、およびオプションで環境センサ１１５に接続された、マイクロコントローラ１１０を含む。通常、感応部品、すなわちトランスデューサ１１１とセンサ１１２、１１５とが、商品が入った箱の表面や壁等、外側の物理的表面１４０またはその近くにあるよう、タグ１０１が搭載される。メモリは、タグの特徴を記述するデータと特定の環境におけるそのタグの使用法とを記憶する。
トランスデューサ１１１は、コイルの形態であってもよく、無線通信が無線周波数信号を用いる場合には、ダイポールであってもよい。トランスデューサはまた、無線通信を用いて寄生的に電力を得ることもできる、ということもまた留意されるべきである。この電力は、図示しないコンデンサに蓄えることができる。したがって、電池は不要である。他の形式の無線通信、例えば磁気信号、ソナー、超音波、可視光、および赤外線を用いてもよい、ということが理解されるべきである。
Dietz他によって２００２年４月１９日に出願され参照によりその全体が本明細書に援用される米国特許出願第１０／１２６，７６１号「Communication Using Bi-Directional LEDs」において説明されているように、光センサ１１２は、マイクロコントローラによって逆バイアスおよび順バイアスで駆動されるＬＥＤの形態で、光の検知と発光の両方を行うようになっていてもよい。したがってタグ１０１は、選択されアクティブ（active）である場合に視覚表示してもよい。
メモリは、タグ識別情報（ＩＤ）１５１等のデータおよびアプリケーション関連情報を記憶することができる。メモリはまた、位置（ＬＯＣ）情報１５２も記憶することができる。
環境センサは、温度、湿度、煙、ガス、音、加速度等を検知するよう構成してもよい。
コントローラ
タグコントローラ１０２は、プロジェクタ１２１とオプションのカメラ１２２とに接続されたプロセッサ１２０を含む。コントローラはまた、トランシーバ１２３およびアンテナ１２４も含む。プロジェクタ１２１は、カメラ１２２に対して固定した物理的関係にある。タグコントローラはまた、６自由度（ＤＯＦ）の慣性センサ１２５（例えばジャイロスコープおよび加速度計）と、例えば４つ以上のレーザポインタ１２６と、１つまたは複数の制御ボタン１２７とも含んでもよい。
プロセッサは、マイクロプロセッサと、メモリと、さまざまな接続部品と通信するＩ／Ｏインターフェースとを含む。メモリは、上述の機能を実施するプログラムおよびデータを記憶している。
プロジェクタ１２１とカメラ１２２とは、それぞれ関連する像平面１４１、１４２を有する。平面１４１と１４２とは、互いに平行である必要はない。実際には、コントローラ１０２がハンドヘルドでモバイル（手持ち式で移動可能）であることが意図されている。カメラ１２２を用いて、プロジェクタ１２１の姿勢、すなわち位置および向きを判定してユーザインタラクションをサポートし、或るシーン（scene）の表面テクスチャを画像の形態で獲得することができる。後述するように、画像は三角形メッシュ等のグラフィックスモデルに変換することができる。システム１００の動作中に、テクスチャ画像をさらに処理して他の画像とともに表面１４０上に投影することができる。
慣性センサ１２５はまた、コントローラ１０２の姿勢変化を高頻度、例えば１６０Ｈｚで推定（high-frequency estimates）することによって、姿勢判定にも用いることができる。
アンテナ１２４は、何らかの好適なネットワークを用いて他のコンピュータシステムとデータの通信を行うのに用いられる。
レーザポインタ１２６は、可視光または赤外線（ＩＲ）光を発することができ、表面１４０上に特徴点（distinctive points）１３４を投影して、プロジェクタの姿勢判定を支援する。
コントローラ１０２のすべての構成要素間の光学パラメータのユークリッドキャリブレーション（Euclidean calibration）がオフラインで行われる。残りの説明においては、本発明者らは、プロジェクタ１２１およびカメラ１２２のキャリブレーション後の内因性および外因性パラメータがわかっていると仮定する。
コントローラは、動作中持ち運びできモバイルである、ということが意図される。例えば、コントローラ１０２はハンドヘルドである。
インタラクティブ機能
タグ選択
従来のＲＦＩＤタグは、タグのすぐ近くに配置されたタグリーダから受信する短距離ＲＦ信号にのみ応答する。選択したタグに通信範囲を限定することは、そのタグにリーダを非常に接近して配置することによって通常行われる。この動作モードは、レジ清算およびセキュリティ機能に合わせた（for）小売り設定においては理想的である。小売り設定においては、近傍の表示領域にある商品上に配置されたタグ等、その環境における他のタグが応答しないことが望ましい。しかし、その動作モードは倉庫等の大規模環境には好適ではない。大規模環境においては、多数の商品が棚に保管されており、在庫管理機能を果たしている従業員には届かないことが多いか、あるいは、商品が別の位置へと自動的に移動する。さらに、その動作モードは、環境、例えば壁、天井、床およびその他の部分にタグを配置してその環境の構造を判定することが所望される用途においては好適ではない。
光作動タグ
したがって本発明者らは、従来技術における近接していなければならないという制約のない、インタラクション用タグを選択する。初期化およびキャリブレーションの一部として、光センサ１１２は、或る量の周囲光を記録して、次の照明読取り（illumination readings）の基準レベルとして用いる。
トランシーバ１２３は、出力信号１３１を発して範囲内のタグをすべて作動させる。タグ１０１が基準レベルの光読取値よりも実質的に大きい投影照明１３２を検知する場合には、タグは出力信号１３３で応答する。この応答は、タグのメモリ１１３に記憶されているいずれかのデータを送信するよう変調してもよい。タグが十分照明されていない場合には、出力信号１３１は無視され、タグ１０１は応答しない。タグを作動させる光源はいかなる数であってもよい、ということが理解されるべきである。
選択される領域の大きさは、光線１３２の大きさおよび形状を変化させることによって変えることができる。このように作動させると、光センサ１１２を、受取通知として発光するよう逆バイアスで駆動することができる。別の実施形態において、光センサは選択した周波数の光にのみ感応する。これは、センサでカラーフィルタを用いることによって、または光センサを特定の波長に合わせて調整することによって行うことができる。
タグにおける位置検知
従来のＲＦＩＤシステムは、どのタグが範囲内にあるかは判定することができるが、そのようなタグの位置は判定することができない。対照的に、本発明によるシステム１００は、範囲内のタグの位置を提供することができる。指向性ＲＦデバイスを用いてもよいが、そのようなデバイスは非常に大型のアンテナが必要であり、ハンドヘルドのモバイル動作には好適ではない。カメラ１２２は常に使えるわけではない。これは、カメラ１２２の視野はプロジェクタの視野と正確に一致しない場合があるからである。
図２に示すように、本発明の基本的な方法２００は以下のとおり動作する。上述のように、出力信号１３１がタグ１０１を作動させる２０１〜２０２。探索に関係する動作中、プロジェクタ１２１は、その出力画像におけるそれぞれの画素について、一意の時間的に連続する光度（temporal sequence of light intensities）、すなわち光線１３２を生成する。すべて参照により本明細書に援用される、Grayによる１９５３年３月１７日の米国特許第２，６３２，０５８号「Pulse Code Communication」、Lee他によって２００３年８月６日に出願された米国特許出願第１０／６３５，４０４号「Method and System for Calibrating Projectors to Arbitrarily Shaped Surfaces With Discrete Optical Sensors Mounted at the Surfaces」、およびDietz他によって２００３年１１月７日に出願された米国特許出願第１０／７０４，０９８号「Light Pen System for Pixel-Based Displays」を参照されたい。本質的に（In essence：要するに）、この時間的連続によって、プロジェクタの像平面１４１に関する画素の位置が符号化される。
光センサは、単一の投影画素１４４と略同じ大きさであるかまたはそれよりも小さいので、特定の画素１４４がプロジェクタによって照明されると、センサ１１２はその一意の時間的に連続する光度を検知する２０３。マイクロコントローラはこの連続する光度を処理し、従来のＤＳＰおよびパルス整形機能を用いて一連のバイナリビットに変換する。
次に、出力信号１３３の受信および特定の画素１４４の一意の時間的に連続する光度１３４の検知に応答して、トランスデューサ１１１によって生成された２０４、トランシーバ１２３用の入力信号１３３が、検知した一意の時間的に連続する光度に従って調整されて、タグの位置１５２をコントローラに知らせる。タグはまた、タグの識別情報１５１を［ｔａｇ−ｉｄ，（ｘ，ｙ）］としてトランシーバ１２３用の入力信号１３３に送り返してもよい。位置および識別情報は、タグ近傍のいかなる他の受信機が受信してもよい、ということが留意されるべきである。
プロジェクタとタグとの間の距離が非常に短い場合には、センサが複数の画素を検知する可能性がある、ということが留意されるべきである。これは位置精度を下げるだけであり、システムの機能性を妨げるものではない。
タグ１０１の幾何学的形状の２Ｄまたは３Ｄ座標をより正確に判定する方法の詳細は、次のとおりである。
タグがオブジェクト上または環境における実質的に既知の位置、例えばオブジェクトの頂点、に配置されていると仮定する。しかし、次のオーグメンテーションにはより正確な位置が必要である。上記の項で、コントローラ１０２に関する個々のタグの３Ｄ位置を判定することができる。しかしこの手法は、個々の計算における誤差のために、共通の座標系における複数のタグの位置を判定するには不適切になってしまう可能性がある。
したがって、本発明者らは、動画像からの三次元復元に基づいた方法のほうがよいと考える。このフレームワークの下では、出力画像１３１における２Ｄフィーチャ（features：特徴）の位置は、３Ｄ空間における座標、プロジェクタとタグとの３Ｄ相対運動、およびプロジェクタ内部の幾何学的形状によって決まる。本発明者らはまず、両方の視点を、或るワールド座標系に関してキャリブレーションし、系の基本行列を抽出することによって、いわゆるエピポーラ幾何を判定し、これから、撮像シーンの三次元ユークリッド構造を計算する。どちらの手法においても、基礎をなす両眼視の原理は三角分割の原理である。単眼視では、いかなる可視オブジェクト点の三次元位置も、投影の中心とその点の画像とを通る直線上にあるはずである。２つの互いに独立した視野（views：視点）から生成したそのような直線２つの交点の算出を、三角分割と呼ぶ。
タグ１０１に関するコントローラ１０２の所与の配置について、上述のグレイコード投影の方法を用いて、ｍ個のタグそれぞれを照明するプロジェクタ画素ｘｉ，ｉ＝１，・・・，ｍを決定したい。本発明者らは、ハンドヘルドコントローラ１０２のＮ個の別個の配置について、タグの照明を繰り返す。これが以下のコンピュータビジョン（computer vision：計算機視覚）の問題へと化す。本発明者らは、ｍ個のマッチする（matched）フィーチャのＮ個の視野から、構造を計算する。
本発明者らは、２つの視野の間の基本行列Ｅを決定する。この基本行列は、３Ｄにおける或る点と、この２つの視野についての投影の各中心との間の関係を表す。本発明者らは、ユークリッド座標系とタグの３Ｄ位置とを初期化する。次の視野がそれぞれカルマンフィルタを用いて処理され、タグの３Ｄ位置を更新する。次に、本発明者らはバンドル調整を適用して、最終結果を改良する。バンドル調整の主要目的は、二次元画像の測定値から各点の三次元座標を最適に判定するということである。
本発明者らは、慣性センサ１２５の傾斜を用いて、座標系をワールド座標系と垂直に整列した系（world vertically aligned system）に変換する。デローニー三角分割を用いて、タグ頂点の３Ｄメッシュ、したがって表面ファセット（facets）を構築する。計算した幾何学的形状および連結性（連結数、connectivity）はすべて、タグ１０１に記憶される。
プロジェクタは次に、次のようにオブジェクト座標系における自らの姿勢を発見する。本発明者らは、上述のように、タグを照明し、グレイコード投影法によってそれぞれのタグを照明するプロジェクタ画素ｘｉを発見する。本発明者らは、それぞれのタグに記憶されている３Ｄ座標Ｘｉを検索する。これがさらにまた、通常の（standard：標準の）コンピュータビジョンの問題へと化し、プロジェクタ１２１への修正が不要となり、プロジェクタ１２１はピンホール装置として扱われる。本発明者らは、２Ｄ−３Ｄ相関関係（correspondences）（ｘｉ，Ｘｉ）を与えられてプロジェクタの姿勢を判定する。本発明者らは、プロジェクタの内部パラメータを与えられて、４つの相関関係を用いてプロジェクタの姿勢を判定する。
プロジェクタにおける位置検知
カメラ１２２は、投影光パターン１３２の入力画像１３７を取得して、プロジェクタの像平面１４１における投影グレイコードとカメラの像平面１４２の座標との相関関係を見出すことができる。キャリブレーションされたプロジェクタ−カメラシステムを有し、プロジェクタの像平面１４１上およびカメラの像平面１４２上でのタグの画素位置を知ることによって、タグの３Ｄ位置を三角分割によって判定することができる。３Ｄ座標系におけるプロジェクタの姿勢は、キャリブレーション情報の必要不可欠な（integral）部分として利用できる。
安定した投影
プロジェクタおよびタグが３Ｄ座標系にある状態で、プロジェクタは画像を表面１４０上の指定位置に投影することができる。しかし、ハンドヘルドコントローラが手の動きで小刻みに動くことによって、投影も小刻みに動いてしまう可能性がある。したがって本発明は、投影を安定化させる手段を提供する。
本発明者らは、２００４年３月３日にRaskar他に対して発行された米国特許第６，７０９，１１６号「Shape-Adaptive Projector System」において説明されているスキューその他の表面形状を有する平面上への投影を可能にする。プロジェクタの姿勢を取得する方法は３つある。
第１の方法は、カメラ１２２によって取得される、テクスチャー加工していない（untextured）平面１４０の画像に基づく。これによって、その平面内での未知の平行移動およびその平面の垂線（plane normal）を中心とする未知の回転移動に添った（up to）、その平面に関する姿勢が提供される。
第２の方法は、いくらかの表面テクスチャを有する平面、例えば一般的な位置において４つ以上の点またはそれと同等のもの、を見るカメラに基づく。これによって、表面１４０に関するプロジェクタのフルの姿勢が提供される。
第３の方法は慣性センサ１２５を用い、これによって、連続する時間段階同士の間の推定（estimate）姿勢変化が提供される。
姿勢の判定後、投影光線１３２を安定化することができる。
擬似安定化投影
擬似安定化は、投影の形態、すなわち形状および向きは保存するが、プロジェクタの動きに従ってその平面内で平行移動できるようにする。
カメラ１２２が取得した４つのレーザポイント１３４の画像を用いて、その平面内での未知の平行移動およびその平面の垂線を中心とする未知の回転移動に添った、表示面１４０に関するプロジェクタの姿勢を判定する。入力画像１３７において検出されるレーザポイントにカルマンフィルタを適用することによって、平滑化を行うことができる。
慣性センサ１２５を用いて重力の方向を判定する。これは、水平でない平面について、鉛直平面の垂線を中心とする未知の回転移動を固定するのに役立つ。
その平面内での未知の平行移動に添ったプロジェクタの姿勢が与えられれば、これがその平面上での所望の大きさおよび向きの投影を生成するのに必要な情報のすべてである。
コントローラに組み込まれた慣性センサ１２５は、コントローラの姿勢変化を推定して、レーザポイント１３４についての新しい座標を推定し、次に上記のように続行する。
絶対安定化投影
絶対安定化によって、投影は表示面１４０上で静止状態に保たれ、プロジェクタの動きは完全に除外される。絶対安定化は、カメラ１２２が平面の表示面上の一般的な位置における投影表面上の４つ以上の固定点またはそれと同等のものを見ている場合に可能である。
目標は、プロジェクタの像平面と表面上の座標系との間のホモグラフィＨＰＳを見出すことである。ホモグラフィＨＰＳはプロジェクタの像平面１４１上のそれぞれの画素と表示面１４０上の既知の座標系との間のマッピングを指定しているので、生の画像データをプロジェクタの像平面にワーピングして表面１４０上に所望の投影を行うことは簡単である。
以下は、表面テクスチャを用いてカメラの像平面１４２と表示面１４０の座標系との間のホモグラフィＨＣＳを決定する各段階を説明する。まず、タグ−コントローラシステム１００によって投影される４つのレーザポイントのカメラビューを用いて、その表面によって誘導されるカメラの像平面とプロジェクタの像平面との間のホモグラフィＨＣＰを決定する。
プロジェクタの像平面１４１と表示面１４０上の座標系との間の必要なホモグラフィを、ＨＰＳ＝ＨＣＳＨ−１ ＰＣと決定する。平滑化と慣性センサ測定値の組込みとは、上述の擬似安定化に関するものである。
インタラクティブ投影
「インタラクティブ投影」という用語は、投影画像データ１３２との「マウススタイル」のインタラクションを意味するのに用いる。投影に対してポインティングを行う（do pointing）機能は、ハンドヘルドプロジェクタシステム上のタッチパッドで、またはポインタ１２６とは別個のレーザポインタで実現することができる。しかしそのようなインタラクティブ形式は、小型コントローラや片手だけを使うインタラクティブ操作とは相反する。
その代わりに本発明者らは、コントローラ１０２を持っているほうの手の動きを用いて、安定化した投影全体にわたってカーソルを追跡する方法を説明する。コントローラ１０２は、マウスのように、表示されたカーソルが所望ポイントにあるときに選択するためのボタン１２７を２つ有する。
上述のようにインタラクティブ投影は絶対安定化を用い、したがって表面がいくらかテクスチャを有することが必要である。このインタラクティブ投影を説明するのに、概念上本発明者らは２つのタイプの投影を有する、ということにまず留意されたい。
第１のタイプの投影は、プロジェクタの像平面１４１上の静的データであり、プロジェクタが動くにつれて、表示面上の投影も直接相関して動くようになっている。絶対安定化について前項で導入した第２のタイプの投影は、プロジェクタの像平面１４１上のデータを継続的に更新することによって取得される、表示面上の静的データであり、プロジェクタの動きの影響は除外される。
ここで、両方のタイプの投影は同時に行うことができる、ということに留意されたい。本発明者らは、「デスクトップ」環境等のなんらかの必要な内容（content）に絶対安定化を適用する。この結果、プロジェクタの像平面上の内容が動的に更新される。しかし本発明者らはまた、常にカーソルアイコンをプロジェクタの像平面１４１の中心の同じ固定画素のところに設定する。したがって、プロジェクタが動くにつれて、ユーザには「デスクトップ」環境の静的投影が見え、カーソルがその全体にわたって追跡を行う。さらに、カーソルの動きはハンドヘルドコントローラの動きを追うので、ユーザにとって自然なインタラクションである。ポインティングを行う機能を有して、投影はインタラクティブ（interactive）になる。実際には、「ＷＩＭＰ」インターフェースからの標準のマウスインタラクションがすべて可能である。
本発明者らのシステムの相違点のひとつは、カーソルを用いて、投影内容において選択されたものと物理的世界における現実のテクスチャについて選択されたもののどちらかを示すことができる、ということである。これにより、新しいタイプのインタラクションの可能性がもたらされる。さらなる詳細については、参照により本明細書に援用される、Beardsley他によって２００３年８月７日に出願された米国特許出願第１０／６３６，３５６号「Projector as an Input and Output Device」を参照されたい。
投影内容とのインタラクション
オプションの選択
この用途において、ユーザは「在庫が耐用年数まであとどれくらいか」等の標準のクエリーの実行を所望する。これは、安定化した投影画像上にメニューまたはボタンを有して通常の方法でカーソルで選択することによって行うことができる。
タグ選択
プロジェクタ光線１３２におけるタグは、投影オーグメンテーションによって強調され、自らの位置をユーザに知らせる。オーグメンテーションは、それぞれのタグのすぐ隣に選択アイコンを示してもよい。カーソルは選択アイコンまで追跡され、ボタン１２７を押すことによってその項目の状態が切り替わる。
または、カーソルを用いてクリックアンドドラッグ操作によって長方形の対象領域（ＲＯＩ）を選択して、複数のタグを同時に選択してもよい。選択した長方形の安定した視野は、その選択についての視覚フィードバックを提供する。
オーグメンテーションの配置の制御
ユーザは、カーソルを用いて投影オーグメンテーションにおける個々の項目を「取り込み（grab）」、好ましいレイアウトになるよう動かすことができる。これは、そのシーンの入力画像をカメラ１２２で取得することによって行うことができる。
物理（Physical）テクスチャとのインタラクション
カーソルを用いて、カメラ１２２が見るシーンにおける物理テクスチャの１つの点または領域を示すことができる。テクスチャをカメラが取得しさらに処理することができる。本発明者らは、データ項目を環境にアタッチし選択したテクスチャをコピーペーストする「テクスチャキー」を以下で説明している。
倉庫の用途
倉庫管理者は、システム１００を用いて食品に注釈をつけことができ、それとは別の従業員が次にその注釈を検索することができる。より詳細には、管理者はまず出力信号１３１を用いて選択したタグを作動させ、次にコントローラ１０２を用いて、２日以内に期限切れになる食品を見つける「find-products」というクエリーを、出力信号１３１を用いて選択し送信する。上述のように、選択は投影メニューまたはボタンによって行われる。
プロジェクタ光線１３２内にあるタグは、自らの有効期限を調べ、自らの期限切れステータスの入力信号１３３をコントローラ１０２に送信し戻す。コントローラは上述のように照明されたタグすべての３Ｄ位置を判定し、例えば期限切れになろうとはしていないオブジェクトまたはタグ上には緑色の円を、それ以外の物の上には赤色の円を投影する。
次に管理者は、上述のように、個々のタグ選択または領域選択のいずれかによって赤色の丸で囲んだオブジェクトの部分集合を選択してもよく、円形の照明は青色に変わる。それ以外のタグ上の赤色および緑色の円は、ずっと物理的表面上で安定したままである。管理者は、削除するための「mark-selected-objects」という要求を選択し送信し、選択したタグがその要求を内部に記録する。次のユーザは、「show-items-requiring-action」というクエリーを選択し送信する。プロジェクタ１２１は、注釈をつけた項目すべてを色のついた円で照明し、投影オーグメンテーションは、実際の注釈をつけた指示を示す。
より高レベルの機能
単一のタグ
タグが単一であれば、まずタグを最初に光で照明してそのタグを選択することによって、特定のタグを検出することが可能である。次に、入力信号１３３を用いてそのタグを読み取ることができる。タグのメモリ１１３に記憶されているデータは更新することができる。コントローラ１０２はまた、タグを取り囲む環境の画像および幾何学的形状を記憶することによってタグのローカルコンテキストを記憶することができ、次にタグを追跡することができる。
単一の剛体上の複数のタグ
この機能によって、複数の方向からプロジェクタのインタラクションが可能になる。オブジェクト中心の系におけるタグの３Ｄ位置が判定される。寸法および向きのデータは、３Ｄタグデータに基づいてオブジェクトと関連づけられる。タグ隣接情報が記憶される。オブジェクト表面についての視野依存の画像テクスチャが記憶される。オブジェクト座標系においてタグを照明しているプロジェクタの姿勢が計算される。長時間尺度の非剛性、例えば成熟（growth）だけでなく、短時間尺度の非剛性、例えば在庫のつぶれも検出することができる。また、傾斜等の幾何学的形状の履歴も記憶することができる。
タグをつけたオブジェクト同士のインタラクション
この機能は、隣接するオブジェクト同士の中での配置の履歴を記録し、異なるオブジェクト上のタグ同士を区別し、または単一の論理的もしくは物理的グループにおけるタグとインタラクションすることができる。
配布タグ
本用途において、大型の壁、床、天井、およびオブジェクト等の環境においてタグが配布される。このようにして、タグはその場限りの（ad-hoc：アドホック型）マーカとして用いられて日々の変化を追跡し、環境の構造または空間配列（topology：トポロジー）を判定する。算出した構造は、環境における表面上に表示することができる。
幾何学的構成
本用途において、１つのオブジェクト上の１組のタグの３Ｄ座標が判定される。例えば、そのオブジェクトは新しく製造したオブジェクトであり、次のオーグメンテーションおよびインタラクションのためにはメモリ１１３のデータの初期化が必要である。タグの位置は三角分割によって判定することができるが、個々の計算における誤差のために、この手法は、共通の基準系における複数のタグの位置を判定するには不適切になってしまう。したがって本発明者らは、上述のようにこの手法を動画像からの三次元復元に基づいて用いる。
ローカルコンテキストの記憶
本発明者らは、コントローラ１０２を用いてタグの周りの領域について画像テクスチャのコンテキストを取得することができる。このコンテキストの、歪みのないバージョンをタグ１０１とともに（with）記憶し、次に何らかの任意の視点から用いるために検索することができる。別の例において、記憶している画像テクスチャを用いてローカルコンテキストにおける変化を検出する。
この機能を果たす各段階には、タグ近傍の画像テクスチャを収集すること、および画像テクスチャを正規化して（normalizing）遠近効果等の視点依存性を除去することが含まれる。画像テクスチャは必要に応じて処理することができ、テクスチャおよびメタデータはタグ１０１とともに記憶することができる。
取得したテクスチャは、タグの周りの大きさを固定した領域の領域についてであってもよく、デローニー三角分割を計算した、複数のタグのついたオブジェクトについてであってもよい。テクスチャは、個々のメッシュファセット（mesh facets）についてであってもよい。検索中、オブジェクトを任意の視点から見ることができ、テクスチャをその正確な位置に再投影することができる。タグの位置が変形している場合には、本明細書において説明するように変形量をはっきりと求めることができるか、または、下にある画像をワーピングしてタグ頂点とマッチさせてもよい。
幾何学的グループ分け（Grouping：グループ）
１組のタグは、その上にタグを配置したオブジェクトの固定したまたは変化する特性に従って、いくつかのグループのタグに分けることができる。タグの組には、例えば、連結したオブジェクト、例えば蝶番のついたパネルや脱着可能な部品を有するオブジェクトの上のタグ等、サブグループに再分類すると有用なものがある。そのようなグループが分かっていることによって、オーグメンテーションをオブジェクトの現在の状態、例えばドアが開いている、内部の引出しが少し引き出されている、等に正しく適合させることができる。互いに全く別個のオブジェクト上にある初期化していないタグをグループ分けすることは、より困難な問題である。本発明者らは、個々のオブジェクトを物理的に隔離することなく、統一性のある（coherent）剛体運動を観察することによってオブジェクト当たりのタグをクラスタリングする。
本発明者らは、２つのおそらく互いに異なる視野からの２つの互いに異なるインスタンス（instances）におけるタグの３Ｄ位置Ｘｉ、Ｘ’ｉを検出する。本発明者らは、類似性行列に基づく手法を用いて、この２つの視野におけるタグ変位（Ｘｉ−Ｘ’ｉ）を分割する。Weiss著「Segmentation using eigenvectors: a unifying view」, CVPR, pp. 975-982, 1999を参照されたい。類似性行列Ｗは、
Figure 2008505374
によって与えられる対称行列である（ただしｄ（ｕ，ｖ）＝（｜Ｘｕ−Ｘ’ｕ｜−｜Ｘｖ−Ｘ’ｖ｜）２、ｓ＝ｍａｘ（｜Ｘｕ−Ｘ’ｕ｜）である）。Ｗの最大固有値に対応する固有ベクトルの大きな値によって、主要（dominant）グループについてのクラスタリングが行われる。
幾何学的変形
本発明者らはまた、１組のタグにおける非剛性変形（non-rigid deformation）も検出することができる。この方法で、タグを搭載したオブジェクトの表面における変化を検出することができる。これは、変化を検出し強調するのに有用になり得る。例示的用途としては、出荷中の圧力による損傷の検出、成熟の追跡、または湿気や熱による変形の監視が含まれる。
本明細書において説明するように、それぞれのタグは、自らの３Ｄ位置と取得した予備変形（pre-deformation：変形前状態）とを記憶している。歪みのない３Ｄ位置Ｘｉと現在見えているタグ（current view of the tags）との間の非剛性変化を検出する手続きは、以下の各段階を含む。
プロジェクタの像平面上のタグ位置ｘｉを求めて相関関係（ｘｉ，Ｘｉ）を得る。
ＲＡＮＳＡＣ法を用いて、このフルの組（ｘｉ，Ｘｉ）から４つの相関関係のサブサンプルを取る。Fischler他著「RANSAC: Random Sample Consensus: a paradigm for model fitting with application to image analysis and automated cartography」, Commun. Assoc. Comp. Mach., Vol 24, 1981を参照されたい。
サブサンプルからプロジェクタの姿勢Ｇ’を推定する。この解、すなわちしきい値ｄよりも小さい再投影誤差｜ｘｉ−Ｇ’Ｘｉ｜を有する解、に至る内在する（inlying）相関関係を求める。
内在する相関関係（inliers）が最大数の状態に姿勢Ｇを保持して、ｎ個のランダムサブサンプルについて続行する。姿勢Ｇと内在する相関関係とを求めた後、共分散マトリクスＢ＝（Ｘ’ｉ−（−）Ｘ’ｉ）（Ｘｉ−（−）Ｘｉ）を分解することによって２つの座標系の間の内在する相関関係の剛性変換（rigid transform）［Ｒ Ｔ］を推定することにより、新しい３Ｄタグ位置Ｘｉ’が求められる。回転移動はＲ＝ＶＵＴであり、ｔ＝（−）Ｘｉ−（−）Ｘ’ｉである（ただし、特異値の分解はＢ＝ＵＤＶである）。Horn, Robot Vision, MIT Press, 1986を参照されたい。なお、（−）Ｘは、Ｘの上に−があることを表す。
テクスチャキー
インタラクティブ投影は、電子データを環境における比較的任意の位置に添付し（attach）検索する簡単な方法をサポートする。ユーザが、ハンドヘルドシステム１００を用いて何らかのデータを例えば光スイッチ（light switch）に添付したいと思っていると仮定する。次の機会に、ユーザはハンドヘルドプロジェクタを光スイッチに向け、記憶データの投影を自動的に提供される。これは以下の方法で行われる。
ユーザは、プロジェクタを光スイッチに向け、領域選択を用いてそのスイッチの長方形のＲＯＩの輪郭を描く。そのＲＯＩについてのカメラ画像データ、すなわち「テクスチャキー」が、データ項目とともに記憶される。次の訪問（visit）で、ユーザは再びその光スイッチの周りのＲＯＩを選択する。テンプレートマッチングによって、この新しいＲＯＩについての画像データが、記憶されているすべてのテクスチャキーとマッチングされ、ベストマッチに関連するデータ項目が表面上に投影される。インタラクティブ投影によって、ユーザは、データ項目の鍵として用いるのに必要な領域のテクスチャのみの輪郭を描くことができる。テンプレートマッチングは、基本的なマッチング技法であり、２Ｄテクスチャで最良に機能し、いくぶん視点依存である。実際には、選択した物理テクスチャだけでなく視点によっても電子項目（electronic items）を検索する意図であれば、視点依存技法でのマッチングは許容できる。いずれにせよ、他のマッチング技法を代用とする（substitute）のは簡単である。
コピーペースト
環境において用いるインタラクティブ投影の別の例として、コピーアンドペーストがある。本発明者らは、カメラ１２２を用いてシーンテクスチャを取得し、これを正規化して視点依存性を除去して、このテクスチャを歪みなしで新しい表面上にペーストする。
長方形のＲＯＩを選択する上述した方法を含む、コピーの対象物理領域を選択するための複数の方法がある。ここでは簡単な方法を説明する。平面の表面上の投影四辺形の内側の、最大の垂直整列内接長方形が、コピー領域を画定する。
コピーアンドペーストの各段階には、表示面上の投影四辺形の頂点の３Ｄ座標を判定すること、慣性センサ１２５から取得したワールド座標系の縦軸（world vertical）に整列する、投影四辺形の内側の最大内接長方形Ｓを求めること、カメラの像平面へのＳの投影を求めることが含まれる。ワーピングを組み込んでＳについての画像テクスチャを記憶して、正しいアスペクト比の長方形を取得する。新しい位置におけるペーストについては、上述の表示面上の内接四角形を求める。この長方形を中心とする記憶テクスチャを投影する。
測光補償（Photometric Compensation）
測光補償を用いて、「ペーストした」画像をコピーのテクスチャにできるだけ近くマッチさせることができる。関連する要因には、距離および向きに起因する減衰と、表面反射率の２つがある。特定の表面点におけるプロジェクタの照度は、光線に沿ったプロジェクタと表面との距離および投影光線の入射角の関数である。入射角の最も大きい表面点が、最も暗いプロジェクタ照度になる。これによって、投影についての輝度（brightness）限界が設定される。次に本発明者らは、画像の残りに画素当たりの減衰マップを適用して、均一な照明を行う。
プロジェクタの姿勢Ｇ＝［ｒ１ｒ２ｒ３ｔ］について、プロジェクタの像平面と物理的表面との間のホモグラフィはＨＰ＝［ｒ１ｒ２ｔ］である。プロジェクタ画素ｘは、３Ｄ点Ｘ＝（Ｘ，Ｙ，０）にマッピングする（ただし、（Ｘ，Ｙ，１）〜＝（ＨＰ）−１ｘである）。プロジェクタの光線とＸにおける表面の垂線のなす角度は、
θ＝ｃｏｓ−１（Ｖ・（０，０，１））
である。ただし、プロジェクタの光線はＶ＝（−Ｒ’ｔ−Ｘ）／｜（−Ｒ’ｔ−Ｘ）｜である。最大入射角がθｍである場合には、あらゆるプロジェクタ画素ｘにおける減衰はｃｏｓ（θｍ）／Ｖｚである。ただし、Ｖｚは上式で与えられたベクトルＶのｚ番目の成分である。
本発明者らは、この減衰を簡単なピクセルシェーダ手続きで行う。反射率の補償については、本発明者らは、ペースト操作後のコピーしたテクスチャと照明表面の視野とは両方とも同じカメラ１２２によって取得されるということに留意することによって、はっきりとしたアルベド計算を回避する。本発明者らは、プロジェクタ１２１によって２つの互いに異なる照度についてペースト表面の画像を取得する。この２つの照度Ｌ１、Ｌ２の下で所与のカメラ画素についてカメラの輝度（intensities）Ｉ１、Ｉ２および目標ペースト強度ＩＴが与えられたとすると、必要な線形内挿プロジェクタ照度はＬ＝Ｌ１＋ｋ（Ｌ２−Ｌ１）である（ただしｋ＝（ＩＴ−Ｉ１）／（Ｉ２−Ｉ１）である）。カラー画像については、本発明者らは、それぞれのカラーチャネルにおいて別個に補正を適用する。
革新的な表示
さらに、タグ１０１に環境センサ１１５、例えば温度計、を備えてもよい。そのようなタグを次に環境内に配布してもよい。タグは選択的に読み取ることができ、さまざまなセンサにおける温度をその環境において表示し直すことができる。
自動梱包
タグは、タグが取り付けられたオブジェクトの物理特性を記憶することができる。この場合、センサは慣性センサ１２５と同様であってもよい。この方法で、自動梱包システムはオブジェクトを選択しそのようなオブジェクトをその物理特性および向きに従って梱包することができる。
製品のオーグメンテーション
インタラクティブ投影は、小売店において製品のオーグメンテーションを行って動的表示を提供することができる。プロジェクタは大型スクリーンよりも配置が容易であり、物理的製品の上に表示し物理的製品と交互に配置することができる。ユーザが配置するタグが投影領域の輪郭になり、プロジェクタは、タグをつけた製品の存在に従って投影をカスタマイズすることができる。例えば、スポーツシューズの陳列で個々の靴を強調し、タグをつけた製品がなくなったり位置が変わると動的に更新される。
自律ロボティクス
例えば真空掃除機等の自律ロボットは、工場、機関（institutions）、および家庭においてより一般的になってきている。しかし自律ロボットは、任意環境において問題に直面している。本明細書において説明するタグを用いて、出入り口等の環境コンテキストとその他可動オブジェクトの両方の３Ｄコンテキストをロボットに知らせることができる。重要な補助（supplemental）タスクとして、ユーザは、ハンドヘルドシステム１００でタグをつけた領域に照会することによってタグをつけた領域を検証し、そのロボットについて設定が正しいということを保証することができ、タグ配置のいかなる必要な更新も簡単である。
本発明を好ましい実施形態の例によって説明したが、本発明の精神および範囲内でさまざまな他の適合および変更を行ってもよい、ということが理解されなければならない。したがって、特許請求の範囲の目的は、本発明の真の精神および範囲内にあるそのような変形および変更をすべて包含するということである。
本発明によるインタラクティブタグ探索および識別システムのブロック図である。 本発明によるタグデータを検知する方法のフロー図である。

Claims (36)

  1. コントローラと、
    タグとを備える無線探索および識別システムであって、
    前記コントローラは、
    出力画像におけるそれぞれの画素について一意の時間的に連続する光度を生成するよう構成されているプロジェクタと、
    出力信号を発し入力信号を受信するよう構成されている無線トランシーバとを有し、
    前記タグは、
    特定の画素の前記一意の時間的に連続する光度を検知するよう構成されている光センサと、
    前記トランシーバからの前記出力信号を受信するよう構成されているトランスデューサと、
    前記出力信号の受信および前記特定の画素の前記一意の時間的に連続する光度の検知に応答して、前記一意の時間的に連続する光度に従って、前記トランシーバ用の前記入力信号を変調して、前記タグの位置を前記コントローラに知らせる手段とを有する、
    無線探索および識別システム。
  2. 前記タグは、
    前記タグの識別情報を記憶するメモリと、
    前記出力信号の受信に応答して、前記識別情報に従って、前記トランシーバ用の前記入力信号を変調する手段とをさらに有する
    請求項１記載のシステム。
  3. 前記タグは、
    前記トランスデューサと前記光センサとメモリとに接続されたマイクロコントローラをさらに有する
    請求項１記載のシステム。
  4. 前記タグは、
    前記マイクロコントローラに接続された環境センサをさらに有する
    請求項３記載のシステム。
  5. 前記タグは、オブジェクト内に搭載され、
    前記コントローラは、動作中手持ち式で移動可能である
    請求項１記載のシステム。
  6. 前記タグは、環境内に搭載され、
    前記コントローラは、動作中手持ち式で移動可能である
    請求項１記載のシステム。
  7. 前記トランスデューサおよび光センサは、外側の物理的表面に近接する
    請求項１記載のシステム。
  8. 前記トランスデューサは、所定の無線周波数に調整したアンテナである
    請求項１記載のシステム。
  9. 前記タグは、寄生的に電力を得る
    請求項１記載のシステム。
  10. 前記光センサは、逆バイアスで駆動して光を検知し、また順バイアスで駆動して前記一意の時間的に連続する光度の検知に応答して発光する
    請求項１記載のシステム。
  11. 前記メモリは、前記位置を記憶する
    請求項２記載のシステム。
  12. 前記コントローラは、
    前記プロジェクタと前記トランシーバとカメラとに接続されたプロセッサをさらに有する
    請求項１記載のシステム。
  13. 前記プロジェクタは、前記カメラに対して固定した物理的関係にある
    請求項１２記載のシステム。
  14. 前記コントローラは、
    ６自由度の慣性センサをさらに有する
    請求項１記載のシステム。
  15. 前記コントローラは、
    複数のレーザポインタをさらに有する
    請求項１記載のシステム。
  16. 前記コントローラは、
    複数の制御ボタンをさらに有する
    請求項１記載のシステム。
  17. 前記コントローラは、
    前記プロジェクタの姿勢を判定する手段をさらに有する
    請求項１記載のシステム。
  18. 前記光センサは、選択した周波数の光にのみ感応する
    請求項１記載のシステム。
  19. それぞれの画素についての前記連続する光度は、グレイコードの形である
    請求項１記載のシステム。
  20. 複数のタグを含み、それぞれのタグの位置は前記コントローラによって判定される
    請求項１記載のシステム。
  21. 前記位置は、前記連続する光度の前記カメラによって取得される入力画像から判定される
    請求項１２記載のシステム。
  22. 前記コントローラは、
    前記タグの位置の受信に応答して出力画像を生成する手段をさらに有する
    請求項１記載のシステム。
  23. 前記コントローラは、手持ち式で動いており、前記出力画像は前記タグに関して安定化している
    請求項２２記載のシステム。
  24. 前記出力画像は、前記コントローラの動きに相関して動くカーソルを含む
    請求項２２記載のシステム。
  25. 前記カーソルは、前記出力画像において表示される項目を選択する
    請求項２４記載のシステム。
  26. 前記タグは、表面上に搭載され、
    前記コントローラは、
    前記タグと前記表面とを含む入力画像を取得するカメラと、
    前記入力画像の一部を前記出力画像に組み込む手段とをさらに有する
    請求項２２記載のシステム。
  27. 前記メモリに記憶されるデータは、経時的に更新される
    請求項２記載のシステム。
  28. 前記複数のタグは、表面上に搭載され、
    前記コントローラは、
    前記タグの位置に基づいて前記表面の形状を判定する手段をさらに有する
    請求項２０記載のシステム。
  29. 前記複数のタグは、表面上に搭載され、
    前記コントローラは、
    前記タグの位置に基づいて前記表面の変形を判定する手段をさらに有する
    請求項２０記載のシステム。
  30. 前記位置は、二次元である
    請求項１記載のシステム。
  31. 前記位置は、三次元である
    請求項１記載のシステム。
  32. 前記コントローラは、
    前記光度を測光補償する手段をさらに有する
    請求項１記載のシステム。
  33. 前記光度は、赤外線である
    請求項１記載のシステム。
  34. 前記タグは、複数の光センサを含む
    請求項１記載のシステム。
  35. 前記タグを照明する複数の光源をさらに備え、
    前記タグは、
    前記複数の光源のいずれかを検知する手段をさらに有する
    請求項１記載のシステム。
  36. コントローラから、無線出力信号と、出力画像におけるそれぞれの画素についての一意の時間的に連続する光度とを投影することと、
    タグにおいて前記無線出力信号を検知することと、
    前記タグにおいて、前記無線出力信号の検知に応答して、前記一意の時間的に連続する光度を検知することと、
    前記タグにおいて、前記出力信号の受信および特定の画素の前記一意の時間的に連続する光度の検知に応答して、前記一意の時間的に連続する光度に従って、前記コントローラ用の入力信号を変調して、前記タグの位置を前記コントローラに知らせることと
    を含む無線探索および識別方法。
JP2006519628A 2004-07-01 2005-07-01 無線探索および識別システム並びに方法 Pending JP2008505374A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/883,235 US7154395B2 (en) 2004-07-01 2004-07-01 Interactive wireless tag location and identification system
PCT/JP2005/012625 WO2006004192A1 (en) 2004-07-01 2005-07-01 Wireless location and identification system and method

Publications (1)

Publication Number Publication Date
JP2008505374A true JP2008505374A (ja) 2008-02-21

Family

ID=35005722

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006519628A Pending JP2008505374A (ja) 2004-07-01 2005-07-01 無線探索および識別システム並びに方法

Country Status (6)

Country Link
US (1) US7154395B2 (ja)
EP (1) EP1761798B8 (ja)
JP (1) JP2008505374A (ja)
CN (1) CN1934459B (ja)
DE (1) DE602005016925D1 (ja)
WO (1) WO2006004192A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010529572A (ja) * 2007-06-14 2010-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オブジェクト位置特定方法、システム、タグ及びユーザインターフェイス装置
CN107861101A (zh) * 2016-09-21 2018-03-30 宏达国际电子股份有限公司 控制方法及光学追踪系统

Families Citing this family (109)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10164447B4 (de) * 2000-12-29 2014-07-10 Harald Genger Verfahren und Vorrichtung zur Generierung einer Signalsequenz
MX2007006741A (es) * 2004-12-10 2007-11-23 Koninkl Philips Electronics Nv Portador de datos con chip y una pluralidad de sensores.
US7988055B2 (en) * 2005-01-20 2011-08-02 Wright State University Uncontrolled passive radio frequency identification tag and system with 3-D positioning
JP4480083B2 (ja) * 2005-02-23 2010-06-16 アイシン精機株式会社 物体認識装置
US7420474B1 (en) * 2005-05-13 2008-09-02 Barron Associates, Inc. Idiosyncratic emissions fingerprinting method for identifying electronic devices
JP2007018492A (ja) * 2005-06-06 2007-01-25 Fuji Xerox Co Ltd 無線応答装置、画像形成装置および装置
US20070046924A1 (en) * 2005-08-30 2007-03-01 Chang Nelson L A Projecting light patterns encoding correspondence information
US20090051497A1 (en) * 2006-03-09 2009-02-26 Matsushita Electric Industrial Co., Ltd. Wireless ic tag, document medium, and information processor
TWI311205B (en) * 2006-04-28 2009-06-21 Benq Corporatio Optical system and projector utilizing the same
US20070268481A1 (en) * 2006-05-17 2007-11-22 Ramesh Raskar System and method for measuring scene reflectance using optical sensors
US8009192B2 (en) * 2006-05-17 2011-08-30 Mitsubishi Electric Research Laboratories, Inc. System and method for sensing geometric and photometric attributes of a scene with multiplexed illumination and solid states optical devices
US7905606B2 (en) * 2006-07-11 2011-03-15 Xerox Corporation System and method for automatically modifying an image prior to projection
US20080018178A1 (en) * 2006-07-24 2008-01-24 Tai-Her Yang Cabled control/transmission device with directional light projector
US20080046114A1 (en) * 2006-08-15 2008-02-21 White Charles A System, packaging, and method for distributing products
US8022809B2 (en) * 2006-11-02 2011-09-20 RFID Mexico, S.A. DE C.V. Inventory taking system
JP2008160456A (ja) * 2006-12-22 2008-07-10 Oki Electric Ind Co Ltd 無線タグ位置推定装置、無線タグ通信装置、無線タグ位置推定システム、無線タグ位置推定方法、及び、無線タグ位置推定プログラム
US8528825B2 (en) * 2007-01-03 2013-09-10 Intelleflex Corporation Long range RFID device as modem and systems implementing same
US20080198000A1 (en) * 2007-02-18 2008-08-21 James Neil Rodgers RFID interrogation of liquid/metal
US8994757B2 (en) 2007-03-15 2015-03-31 Scalable Display Technologies, Inc. System and method for providing improved display quality by display adjustment and image processing using optical feedback
US8278595B2 (en) * 2007-03-16 2012-10-02 Electro Scientific Industries, Inc. Use of predictive pulse triggering to improve accuracy in link processing
US7949150B2 (en) * 2007-04-02 2011-05-24 Objectvideo, Inc. Automatic camera calibration and geo-registration using objects that provide positional information
US8552834B2 (en) * 2007-05-30 2013-10-08 Symbol Technologies, Inc. Item finding using radio frequency and optical signaling
JP2008301156A (ja) * 2007-05-31 2008-12-11 Mitsubishi Electric Corp プロジェクタ装置
US7619524B2 (en) * 2007-07-20 2009-11-17 Symbol Technologies, Inc. Identifying RFID tag moving coherently with reader
WO2009035723A1 (en) 2007-09-11 2009-03-19 Rf Controls, Llc Radio frequency signal acquisition and source location system
US7874681B2 (en) * 2007-10-05 2011-01-25 Huebner Kenneth J Interactive projector system and method
US8267526B2 (en) * 2008-06-17 2012-09-18 The Invention Science Fund I, Llc Methods associated with receiving and transmitting information related to projection
US20090313153A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware. Systems associated with projection system billing
US8944608B2 (en) * 2008-06-17 2015-02-03 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8403501B2 (en) * 2008-06-17 2013-03-26 The Invention Science Fund, I, LLC Motion responsive devices and systems
US8936367B2 (en) * 2008-06-17 2015-01-20 The Invention Science Fund I, Llc Systems and methods associated with projecting in response to conformation
US8602564B2 (en) * 2008-06-17 2013-12-10 The Invention Science Fund I, Llc Methods and systems for projecting in response to position
US20090312854A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for transmitting information associated with the coordinated use of two or more user responsive projectors
US8540381B2 (en) * 2008-06-17 2013-09-24 The Invention Science Fund I, Llc Systems and methods for receiving information associated with projecting
US20110176119A1 (en) * 2008-06-17 2011-07-21 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for projecting in response to conformation
US20100066689A1 (en) * 2008-06-17 2010-03-18 Jung Edward K Y Devices related to projection input surfaces
US20090309828A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for transmitting instructions associated with user parameter responsive projection
US20090313152A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems associated with projection billing
US8608321B2 (en) 2008-06-17 2013-12-17 The Invention Science Fund I, Llc Systems and methods for projecting in response to conformation
US8308304B2 (en) 2008-06-17 2012-11-13 The Invention Science Fund I, Llc Systems associated with receiving and transmitting information related to projection
US8384005B2 (en) 2008-06-17 2013-02-26 The Invention Science Fund I, Llc Systems and methods for selectively projecting information in response to at least one specified motion associated with pressure applied to at least one projection surface
US8723787B2 (en) * 2008-06-17 2014-05-13 The Invention Science Fund I, Llc Methods and systems related to an image capture projection surface
US8641203B2 (en) * 2008-06-17 2014-02-04 The Invention Science Fund I, Llc Methods and systems for receiving and transmitting signals between server and projector apparatuses
US20090310039A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for user parameter responsive projection
US20090309826A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Systems and devices
US20090310103A1 (en) * 2008-06-17 2009-12-17 Searete Llc, A Limited Liability Corporation Of The State Of Delaware Methods and systems for receiving information associated with the coordinated use of two or more user responsive projectors
US8733952B2 (en) * 2008-06-17 2014-05-27 The Invention Science Fund I, Llc Methods and systems for coordinated use of two or more user responsive projectors
US8955984B2 (en) * 2008-06-17 2015-02-17 The Invention Science Fund I, Llc Projection associated methods and systems
US8368693B2 (en) * 2008-08-20 2013-02-05 Take Two Interactive Software, Inc. Systems and methods for fast real-time rendering of multiple light sources
US9569001B2 (en) * 2009-02-03 2017-02-14 Massachusetts Institute Of Technology Wearable gestural interface
US8120488B2 (en) 2009-02-27 2012-02-21 Rf Controls, Llc Radio frequency environment object monitoring system and methods of use
US9024972B1 (en) * 2009-04-01 2015-05-05 Microsoft Technology Licensing, Llc Augmented reality computing with inertial sensors
US8328365B2 (en) * 2009-04-30 2012-12-11 Hewlett-Packard Development Company, L.P. Mesh for mapping domains based on regularized fiducial marks
DE102009023018A1 (de) * 2009-05-28 2010-12-02 T-Mobile International Ag Projektor
US20100321382A1 (en) 2009-06-18 2010-12-23 Scalable Display Technologies, Inc. System and method for injection of mapping functions
US8388151B2 (en) * 2009-07-23 2013-03-05 Kenneth J. Huebner Object aware, transformable projection system
US8344823B2 (en) 2009-08-10 2013-01-01 Rf Controls, Llc Antenna switching arrangement
WO2011031825A2 (en) * 2009-09-10 2011-03-17 Rf Controls, Llc Calibration and operational assurance method and apparatus for rfid object monitoring systems
US8205800B2 (en) * 2009-10-20 2012-06-26 Hand Held Products, Inc. Long range selective RFID using laser photodetection wakeup
US8672763B2 (en) * 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9223134B2 (en) * 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9134534B2 (en) * 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9182596B2 (en) * 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9097891B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US20120235887A1 (en) * 2010-02-28 2012-09-20 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element and an optically flat film
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
WO2011106797A1 (en) 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9097890B2 (en) * 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US8666978B2 (en) 2010-09-16 2014-03-04 Alcatel Lucent Method and apparatus for managing content tagging and tagged content
US20120067954A1 (en) * 2010-09-16 2012-03-22 Madhav Moganti Sensors, scanners, and methods for automatically tagging content
US8533192B2 (en) 2010-09-16 2013-09-10 Alcatel Lucent Content capture device and methods for automatically tagging content
US8655881B2 (en) 2010-09-16 2014-02-18 Alcatel Lucent Method and apparatus for automatically tagging content
JP6198605B2 (ja) 2010-11-15 2017-09-20 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド 手動及び半自動技術を用いたディスプレイシステムを較正するためのシステム及び方法
US9181793B2 (en) * 2011-03-02 2015-11-10 Cameron International Corporation Radio frequency identification system for mineral extraction equipment
US9497447B2 (en) 2011-06-15 2016-11-15 Scalable Display Technologies, Inc. System and method for color and intensity calibrating of a display system for practical usage
CN102306088A (zh) * 2011-06-23 2012-01-04 北京北方卓立科技有限公司 一种实体投影虚实配准装置及方法
US9628843B2 (en) * 2011-11-21 2017-04-18 Microsoft Technology Licensing, Llc Methods for controlling electronic devices using gestures
US9025416B2 (en) 2011-12-22 2015-05-05 Pelco, Inc. Sonar system for automatically detecting location of devices
US9132346B2 (en) 2012-04-04 2015-09-15 Kenneth J. Huebner Connecting video objects and physical objects for handheld projectors
JP2015519601A (ja) 2012-04-19 2015-07-09 スケーラブル ディスプレイ テクノロジーズ インコーポレイテッド システム入力解像度の変動なくディスプレイシステムを校正するシステムおよび方法
CN103576846A (zh) * 2012-08-09 2014-02-12 深圳市中兴移动通信有限公司 无线投影系统
KR101418872B1 (ko) * 2012-11-09 2014-07-21 한국과학기술연구원 움직이는 객체의 위치에 대한 실시간 무선인식장치 및 방법
US9081076B2 (en) * 2012-11-12 2015-07-14 Isolynx, Llc System and method for object tracking anti-jitter filtering
WO2014144828A1 (en) 2013-03-15 2014-09-18 Scalable Display Technologies, Inc. System and method for calibrating a display system using a short throw camera
US20150022321A1 (en) * 2013-07-17 2015-01-22 Donald Keith Lefevre Long-Range Electronic Identification System
US9370714B2 (en) * 2013-08-16 2016-06-21 Disney Enterprises, Inc. Light communication between user devices and physical objects
CN103559535B (zh) * 2013-11-11 2016-04-27 中国矿业大学 一种矿用定位标签及省电工作方法
WO2015116220A1 (en) 2014-01-31 2015-08-06 Hewlett-Packard Development Company, L.P. Touch sensitive mat of a system with a projector unit
CN103942515B (zh) 2014-04-21 2017-05-03 北京智谷睿拓技术服务有限公司 关联方法和关联设备
US20150319414A1 (en) * 2014-05-05 2015-11-05 Symbol Technologies, Inc. Method for controlling an alternative user interface in a device
ITUA20162410A1 (it) * 2016-04-08 2017-10-08 Gd Spa Metodo ed unità di ispezione di un organo riscaldante per sigaretta elettronica.
RU2657168C2 (ru) * 2016-04-29 2018-06-08 Общество с ограниченной ответственностью "Общество Сферического Кино" Программно-аппаратный комплекс для автоматической калибровки многопроекторных систем с возможностью воспроизводить контент в высоком разрешении с использованием средств шифрования и цифровой дистрибьюции, способ шифрования контента для использования в способе воспроизведения контента
DE102017118767B4 (de) * 2017-08-17 2020-10-08 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren und Vorrichtung zum Bestimmen von dimensionellen und/oder geometrischen Eigenschaften eines Messobjekts
CN108107462B (zh) * 2017-12-12 2022-02-25 中国矿业大学 Rtk与高速相机组合的交通标志杆姿态监测装置及方法
EP3667362A1 (en) 2018-12-10 2020-06-17 Infineon Technologies AG Methods and apparatuses for determining rotation parameters for conversion between coordinate systems
CN110411339B (zh) * 2019-07-30 2021-07-02 中国海洋大学 一种基于平行激光束的水下目标尺寸测量设备及方法
US20210056272A1 (en) 2019-08-23 2021-02-25 KEFI Holdings, Inc Object detection-based control of projected content
CN110716203B (zh) * 2019-10-31 2023-07-28 海鹰企业集团有限责任公司 一种被动声纳目标的时频分析与跟踪方法
EP3848900A1 (en) 2020-01-10 2021-07-14 Aptiv Technologies Limited Methods and systems for calibrating a camera

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5047528A (ja) * 1973-08-27 1975-04-28
JPH10229351A (ja) * 1997-01-10 1998-08-25 Internatl Business Mach Corp <Ibm> 光選択可能無線周波識別タグおよびその方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5134277A (en) * 1983-11-07 1992-07-28 Australian Meat And Live-Stock Corporation Remote data transfer system with ambient light insensitive circuitry
US5198877A (en) * 1990-10-15 1993-03-30 Pixsys, Inc. Method and apparatus for three-dimensional non-contact shape sensing
US5280287A (en) * 1992-06-30 1994-01-18 The United States Of America As Represented By The Secretary Of The Navy Coded identification and positioning system
US5745036A (en) * 1996-09-12 1998-04-28 Checkpoint Systems, Inc. Electronic article security system for store which uses intelligent security tags and transaction data
SE510810C2 (sv) * 1997-01-13 1999-06-28 Qualisys Ab Rörelseanalyssystem
NL1012592C2 (nl) * 1999-07-13 2001-01-16 Dutch A & A Trading Bv Detectiesysteem met videocamera.
US6504605B1 (en) * 2000-10-24 2003-01-07 The Regents Of The University Of California Method and apparatus for determining the coordinates of an object
US6369879B1 (en) * 2000-10-24 2002-04-09 The Regents Of The University Of California Method and apparatus for determining the coordinates of an object
GB0115042D0 (en) * 2001-06-20 2001-08-08 Roke Manor Research Improvements in or relating to tagging systems
CN1240202C (zh) * 2001-08-28 2006-02-01 索尼公司 信息处理装置和方法
US7146036B2 (en) * 2003-02-03 2006-12-05 Hewlett-Packard Development Company, L.P. Multiframe correspondence estimation
US7193608B2 (en) * 2003-05-27 2007-03-20 York University Collaborative pointing devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5047528A (ja) * 1973-08-27 1975-04-28
JPH10229351A (ja) * 1997-01-10 1998-08-25 Internatl Business Mach Corp <Ibm> 光選択可能無線周波識別タグおよびその方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010529572A (ja) * 2007-06-14 2010-08-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オブジェクト位置特定方法、システム、タグ及びユーザインターフェイス装置
CN107861101A (zh) * 2016-09-21 2018-03-30 宏达国际电子股份有限公司 控制方法及光学追踪系统
US11714162B2 (en) 2016-09-21 2023-08-01 Htc Corporation Control method for optical tracking system

Also Published As

Publication number Publication date
EP1761798B8 (en) 2009-12-02
US7154395B2 (en) 2006-12-26
DE602005016925D1 (de) 2009-11-12
EP1761798B1 (en) 2009-09-30
WO2006004192A1 (en) 2006-01-12
EP1761798A1 (en) 2007-03-14
US20060001543A1 (en) 2006-01-05
CN1934459B (zh) 2010-08-04
CN1934459A (zh) 2007-03-21

Similar Documents

Publication Publication Date Title
US7154395B2 (en) Interactive wireless tag location and identification system
US10949027B2 (en) Interactive virtual display
Raskar et al. RFIG lamps: interacting with a self-describing world via photosensing wireless tags and projectors
US20190392212A1 (en) Object-based localization
CN105408938B (zh) 用于2d/3d空间特征处理的系统
JP5037248B2 (ja) 情報収集システムおよび情報収集ロボット
US20140267031A1 (en) Spatially aware pointer for mobile appliances
CN110178101A (zh) 虚拟传感器配置
JP2003254716A (ja) ３次元位置・姿勢計測装置及び方法、記憶媒体、並びにコンピュータ・プログラム
WO2012024516A2 (en) Target localization utilizing wireless and camera sensor fusion
CN108886862A (zh) 使用用户的空间分布对照明进行控制
Olwal et al. SurfaceFusion: unobtrusive tracking of everyday objects in tangible user interfaces
Sample et al. Optical localization of passive UHF RFID tags with integrated LEDs
CN107646109A (zh) 管理电子设备上的环境映射的特征数据
WO2019214641A1 (zh) 基于光标签的信息设备交互方法及系统
US20180225007A1 (en) Systems and methods for user input device tracking in a spatial operating environment
Sun et al. X-vision: An augmented vision tool with real-time sensing ability in tagged environments
US8896532B2 (en) Interactive display device and control method thereof
EP4224429A1 (en) Systems and methods for visually indicating stale content in environment model
Balaji et al. RetroSphere: Self-Contained Passive 3D Controller Tracking for Augmented Reality
Piérard et al. I-see-3d! an interactive and immersive system that dynamically adapts 2d projections to the location of a user's eyes
WO2020244480A1 (zh) 一种用于实现相对定位的装置以及相应的相对定位方法
CN112789621A (zh) 检测垂直平面表面的方法和设备
Ecklbauer A mobile positioning system for android based on visual markers
US20230088402A1 (en) Touch sensitive curved and flexible displays

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080605

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100921

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101102

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20110329