JP2004192623A - 実世界オブジェクト認識方法および装置、ならびに付帯素子 - Google Patents

実世界オブジェクト認識方法および装置、ならびに付帯素子 Download PDF

Info

Publication number
JP2004192623A
JP2004192623A JP2003391341A JP2003391341A JP2004192623A JP 2004192623 A JP2004192623 A JP 2004192623A JP 2003391341 A JP2003391341 A JP 2003391341A JP 2003391341 A JP2003391341 A JP 2003391341A JP 2004192623 A JP2004192623 A JP 2004192623A
Authority
JP
Japan
Prior art keywords
information
world object
real world
identification information
incidental
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003391341A
Other languages
English (en)
Other versions
JP3927168B2 (ja
Inventor
Yuichi Kado
門　　勇一
Shinichiro Muto
伸一郎 武藤
Fumiharu Morisawa
文晴 森澤
Yuichi Morikawa
勇一 森川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2003391341A priority Critical patent/JP3927168B2/ja
Publication of JP2004192623A publication Critical patent/JP2004192623A/ja
Application granted granted Critical
Publication of JP3927168B2 publication Critical patent/JP3927168B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】 識別情報および位置情報を含む情報をサイバー世界を構成するコンピュータシステムにより認識する。
【解決手段】 実世界オブジェクトに付帯され、一意の識別情報が割り当てられた付帯素子から発せられた前記識別情報および該付帯素子の位置を表す位置情報を前記コンピュータシステムにより受信するステップと、受信した前記付帯素子の識別情報および位置情報に基づいて該付帯素子に対応する実世界オブジェクトの位置をコンピュータシステムにより特定して認識するステップと、を備えている。
【選択図】 図１

Description

本発明は、実世界のオブジェクトに関する情報である実世界オブジェクト情報をサイバー世界を構成するコンピュータシステムにより認識するための実世界オブジェクト認識方法および装置、ならびに付帯素子に関する。
近年、コンピュータが通信ネットワークにより相互に接続され、更にデジタルＴＶなどのデジタル家電からセンサやアクチュエータ群に至るまでもネットワークを介して相互に接続され、これらを用いた広範な分野で多種多様なサービスが開発され、利用される可能性がある。
このようなサービスの実行には、通信ネットワークで相互に接続されたコンピュータ内の実行状態のプログラムが互いに通信し合いながらサービスを達成するために協調動作を行っている。このようなサービスを実行するソフトウエアの開発では、分散オブジェクト環境で利用されているＪａｖａ（登録商標）言語や分散オブジェクトシステムを実現するために不可欠なオブジェクト指向ネットワーク基盤であるＣＯＲＢＡ（Ｃｏｍｍｏｎ Ｏｂｊｅｃｔ Ｒｅｑｕｅｓｔ Ｂｒｏｋｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ）などのオブジェクト指向のシステムが主流になりつつある。
すなわち、実世界を「モノ」ベースでモデル化してオブジェクトとし、「モノ」が自然に備えている構造、データ、動作、関係、機能などの性質をオブジェクトの特性として記述することにより、システムで実現すべき機能を自然な発想で明確化できる。
ここで、実世界のオブジェクトをサイバー世界｛コンピュータシステム（単独、あるいは複数のシステム）上の仮想世界｝のオブジェクトとしてそのサイバー世界に結合する方法論の必要性について説明する。
近年、コンピュータが通信ネットワークにより相互に接続され、こうしたコンピュータ・ネットワーク上の仮想世界で様々なサービスを提供する試みが成されている。インターネットに代表されるように電子メールやＷＷＷの閲覧に止まらず、インターネット電話、ファックス、放送型情報サービス、映像や音声の配信、通信事業や放送事業、更には電子商取引などのようにネットワーク上の世界では様々なサービスが始まっている。
しかしながら、このようなサービスで直接動かせるものは、データとしてネットワークという仮想世界に予め取り込んでおいたものに過ぎない。現実世界の「モノ」や「ヒト」が日常生活「環境」で引き起こす様々な出来事は、殆どネットワークにデータとして取り込まれていない。これらをリアルタイムにコンピュータ・ネットワーク上の仮想世界に反映する手段は従来ほとんどないといってもよい状態である。
すなわち、現在、世界的に期待されているネットワークを活用したユビキタスサービスとは、日常空間の情報化であると言われながらも、ネットワークを活用した日々の日常生活空間の情報化はまだ取り残されている状態である。
例えば、家庭内の資産や重要書類の所在探索、冷蔵庫の中の食品の鮮度、賞味期限、在庫管理、老人の健康管理と介護補助、留守宅のセキュリティ管理と遠隔監視、常時健康モニタリング、ショッピングモール内での購買者の購買行動トラッキングとダイナミックなマーケティングなど極めて大きな潜在的なビジネス市場があるが、未開拓なままである。
このようなサービスを実現するには、我々が実際に観察しているかのようにコンピュータが実世界のどのオブジェクトが何時、何処で、どんな状態でいるかを常に認識し、その認識結果が現実世界と写像の関係にある仮想世界の認識モデル変化にリアルタイムで反映する仕組みを確立することが不可欠である。
このようなサービスを実現するには、我々が実際に観察しているかのようにコンピュータが実世界のどのオブジェクトが何時、何処で、どんな状態でいるかを常に認識し、その認識結果が現実世界と写像の関係にある仮想世界の認識モデル変化にリアルタイムで反映する仕組みを確立することが不可欠である。
換言すると、イベントの形をとって、実世界のオブジェクトの状態変化が仮想世界の認識モデルを構成するオブジェクトのプロパティの変化にリアルタイムで反映する仕組み、すなわち、実世界のオブジェクトをコンピュータ上のサイバー世界にリアルタイムで反映（結合）させる方法の確立が待望されていた。
このような実世界とコンピュータ上の仮想世界であるサイバー世界のオブジェクトを結合する方法の第１の従来技術の代表として、Ｃａｍｂｒｉｄｇｅ大学のＳｅｎｔｉｅｎｔ Ｃｏｍｐｕｔｉｎｇの例がある。Ｓｅｎｔｉｅｎｔ Ｃｏｍｐｕｔｉｎｇはコンピュータ・ネットワーク・システムが実世界を感じることで強化できるという手段として定義される。センサ群と遠隔計測は、実世界のオブジェクトである「ヒト」、「モノ」についての場所、その特定、性質をアプリケーション・ソフトウエアに提供することで、例えば、日常の生活空間の環境モデルを維持するために使われる。
先ず、実世界オブジェクトの位置とその識別ＩＤを検出することが出発点となるため、超音波を使った位置特定システムを採用している。１０００平米のビル内で、約３ｃｍの位置精度でオブジェクトの位置を特定するため、一辺１．２ｍのグリッドに１個の超音波センサを７２０台天井に埋め込んでいる。オブジェクトに付帯する長さ８ｃｍのデバイスは電波送受信機と超音波発信器を内蔵しており、識別ＩＤが割り振られている。中央コントローラから電波チャネルでその識別ＩＤを送り、同時に天井の超音波センサネットワークの各カウンタをリセットする。一方、自分のＩＤを電波で受け取ったデバイスは超音波の短パルスを発信し、天井のセンサのいくつかがそれを受信して、伝播遅延時間の差から三角法により位置を算出する。システム全体は中央コントローラや超音波センサネットワークを制御するコントローラを含めてタイミングクロックにより同期して動作している。これにより、電波による識別ＩＤ送信時点から、ある超音波センサが超音波の短パルスを検知した時点までの時間差を算出する根拠を与えている。このシステムで、毎秒７５個のオブジェクトを認識して、位置を特定できるとしている。
このセンサシステムに分散オブジェクト指向モデルで、ビル内の全ての「ヒト」を含むオブジェクトの位置とリソースデータをインテグレートし、ヒトに自然に感じられるオブジェクト間の空間的相関関係をアプリケーション・ソフトウエアに提示することで、抽象化構成できる空間モニタリングシステムとなっている。各オブジェクトの位置と状態データはＣＯＲＢＡ（Ｃｏｍｍｏｎ Ｏｂｊｅａｔ Ｒｅｑｕｅｓｔ Ｂｒｏｋｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ）のオブジェクトセットで表現される。ＣＯＲＢＡは分散オブジェクトシステムを実現するために必要となるオブジェクト指向ネットワーク基盤の標準である。例えば、実世界の各オブジェクトに対して、ＣＯＲＢＡのオブジェクトが対応する。４０余りのオブジェクトの種類があり、例えば、オフィスのヒト、パソコン、マウス、カメラ、プリンター、電話などの実オブジェクトに対して、ＣＯＲＢＡのオブジェクトが対応し、実世界のオブジェクトの現在のプロパティをもち、実世界のオブジェクトの制御インターフェイスとなる。例えば、プリンターは、それに対応するプリンターオブジェクトを経由して、アプリケーション・ソフトウエアが実際のプリンターを作動させる。こうした永続的なＣＯＲＢＡのオブジェクトの全セットがアプリケーション・ソフトウエアから見える世界モデルを形成する。このオブジェクト自体がトランザクション、システムダウン時の代替処理、セッション管理、イベント分散、あるいは大規模な分散システムの陰にある多くの項目の面倒を見て、アプリケーションに単一のプログラミングインターフェイスを提供している。
このシステムは超音波センサ群やセンサ制御コントローラなどを天井や床などに埋め込み、システム設計が必要なため、大きなオフィスビルや病院など、移動性の高い人々が情報の生成、情報へのアクセス、異種の機器や相互のコミニュケーションを交わす必要のある状況への適用で効果を発揮する。
また、第２の従来技術としては、モノの管理という視点から、実世界の「モノ」とネットワークを結びつける技術として＜ＲＦ−ＩＤタグ＞がある。ＲＦ−ＩＤ（Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）タグは小さな無線通信ＩＣを内蔵しており、基本機能はメモリに格納したＩＤ番号等を発信するだけである。主に物流管理を目的としており、管理対象オブジェクトに付帯させると非接触でその識別ＩＤをリーダで読むことができる（ＮＩＫＫＥＩ ＥＬＥＣＴＲＯＮＩＣＳ ２００２．２．２５ ｐｐ．１０９−１３７）。
しかし、現実世界で起きていることをリアルタイムでネットワーク上の仮想世界に反映させ、様々なサービスを提供するためには、どのオブジェクトが、何時、何処で、どんな状態でいるかを常に認識しておく機能が必須である。
更に、第３の従来技術として、赤外発光する実世界のオブジェクトを赤外センサや赤外カメラで認識する技術がある。これは、シーンとＩＤを同時に取得可能なイメージセンサ（電子情報通信学会・信学技報、ＩＴ２００１−９２，ｐｐ．１０５−１１０）からなるＩＤカメラを使用し、現実の空間と仮想の空間をリンクする狙いで開発され、デジタルビデオカメラに写る複数の被写体のＩＤを認識できるシステムである（ＮＩＫＫＥＩ ＥＬＥＣＴＲＯＮＩＣＳ ２００２．４．８ ｐ．３５）。先ず、実世界のオブジェクト（被写体）にビーコンと呼ばれるマイコンで点滅が制御される発光ダイオード（ＬＥＤ）を搭載、ＩＤを割り当てる。ビーコンはそのＩＤに基づいて点滅を繰り返す。このシステム用に独自に開発されたデジタルビデオカメラ（ＩＤカメラ）でその点滅パターンを検知・解析して、ＩＤを認識する。認識したＩＤは被写体の画像に重ねて表示する。赤外線リモコンに例えてみれば、ビーコンは赤外線リモコンの送信機であり、ＩＤカメラはリモコン受信機をアレイ状に配置したアレイセンサ（ＣＭＯＳイメージセンサ）である。ＩＤカメラは普通のカメラとしてシーンを撮像する（シーンモード）だけでなく、ビーコンを撮像した画像上の座標とビーコンが送信するＩＤデータを組にして出力する（ＩＤモード）。ＩＤモードでは、ＩＤカメラは１２ｋＨｚのサンプリングを２００回繰り返し、ビーコンが送信するキャリア周波数４ｋＨｚの８ビットのＩＤを１９２×１２４画素全てにおいてデコードし、１５ｆｐｓでＩＤ画像を作成する。このＩＤを介してサイバー世界の（インターネット上の）情報とリンクさせることが可能なので、ユーザはそのＩＤを手がかりにオブジェクトに関する情報を入手することができる。ＩＤのビット数は８ビットであり、これを４ｋＨｚのキャリアでマンチェスター符号化し、２２ビットのパケット単位でＩＤデータを送受信する。
第４の従来技術として、２次元マトリックスコードを利用した拡張現実感の構成手法（Ｃｙｂｅｒ Ｃｏｄｅ）がある。これは、実世界のオブジェクトの表面に２次元マトリックスコードを貼り付け、これをビデオカメラで撮影する。撮影画像の処理によって、マトリックスコードを認識する。これにより、ビデオカメラ映像で見ている対象から、認識したマトリックスコードを介して、ネットワーク上の関連情報にアクセスしたり、仮想世界のオブジェクトを展開することができる。
また、第５の従来技術として、実オブジェクトを特別なデジタルビデオカメラで撮影し、クリック可能としたい対象が写っている領域と、そのリンク先ＵＲＬや撮影時刻など、関連する情報も同時に取得・記録する提案がある。これも、実オブジェクトと仮想世界の関連する情報とを結合する方法論の提案である。実オブジェクトに赤外付帯素子を埋め込み、これを赤外領域に感度のある複数台のＣＣＤカメラで撮影する。複数の実オブジェクトを識別する手段は埋め込んだ赤外付帯素子の波長差を利用している。この目的のため、発光中心波長が８００ｎｍ、８２５ｎｍ、８５０ｎｍ、８７５ｎｍ、９００ｎｍの赤外付帯素子と感知可能波長領域の異なる（中心波長が８００ｎｍ、８５０ｎｍ、９００ｎｍの赤外パスフィルタをＣＣＤカメラに装着している）ＣＣＤカメラを３台準備している。これにより、区別できる実オブジェクトの数は最大５個である。
更に、第６の従来技術として、５個のＬＥＤで構成されるＢａｌｌｏｏｎ Ｔａｇと呼ぶタグを実オブジェクトに取り付け、ビデオカメラで撮影する方法がある。そして、このビデオカメラの映像を解析して、タグ情報の読み取りと映像中の位置計算を行う。Ｂａｌｌｏｏｎ Ｔａｇの５個のＬＥＤの内、周辺部の４個は同じタイミングで点灯と消灯を繰り返し、クロック信号の役割を果たし、中央のＬＥＤはクロック信号の点滅から１／４位相遅れて点滅し、データ信号を送る。カメラがとらえた画像は、先ず明るい画素だけ抜き出される。次にこの過程で抽出された画素を領域結合して、領域の面積を計算する。面積が一定値以上の領域はＢａｌｌｏｏｎ Ｔａｇ光源ではないと判定して除去する。この除去は白い壁の明るい部分や蛍光灯光源そのものなどを判定対象から取り除くために行う。
次にこの様にして選択された複数の領域の中でクロック信号と推定できる組み合わせを探索する。Ｂａｌｌｏｏｎ Ｔａｇのクロック信号は画像中でほぼひし形の領域として写るので４領域の全ての組み合わせの中で４頂点のなす角度に制限を加えることでクロック信号源を選び出すことができる。クロック信号源のひし形が選ばれると、直近の映像フレームでひし形があった領域を対応付け、Ｂａｌｌｏｏｎ Ｔａｇがどのように移動しているのかを解析する。
次にクロック信号が点灯した際、あるいは消灯した際には、そのひし形の中央付近にＬＥＤが発見できるか否かを調査し、データビットとして「１」又は「０」を読み取る。コンピュータのフレーム処理速度が１０Ｈｚであり、クロックとデータの位相差を考慮すると送信速度は５Ｈｚ以下の任意速度をとり得る。そこで、タグの送信速度を４Ｈｚとしている。
第７の従来技術として、米国、カリフォルニア大学バークレー校で開発が進められている”Ｓｍａｒｔ Ｄｕｓｔ”と呼ぶ超小型の無線センサノードがある。
ここで検討している無線通信技術は光通信技術であり、基地局のレーザー光源から届いた光を無線センサノード上に形成した超小型反射ミラーで入射した光軸と平行な方向に戻すか、外すかによって、光信号として返す方式を採用している。
基地局に設置したレーザーから、無線センサノード群が散在している領域にレーザー・ビームを照射する。この際、上記の照射光は、無線センサノードをスリープモードから起動するコマンドやセンシング情報を要求するコマンドなどを含む、データを送るために変調することができる。一方、無線センサノードは変調されていないビームを受けた時は、超小型反射ミラーを動かして、反射光を基地局に向けて平行に返すか、外すかによって、反射ビームを変調することにより、基地局にデータを返すことができる。ポイントは超小型反射ミラーが、立方体のコーナー部の内側に形成される互いに垂直な３面を反射鏡としていることである。
この３面反射鏡に入射した光ビームは入射した光軸と平行に反射されるため、基本的に特別なアライメントが無くても、各無線センサノードから反射されてきた反射ビームは、基地局に戻ってくる。予め、センサノード群が分布している全領域からの反射ビームがＣＣＤイメージセンサアレイ上に結像するようにレンズ系を設計しておけば、各ノードからの変調ビームはその空間位置に対応して、上記センサアレイの上の特定位置のピクセルで受信することができる。
言い換えると、空間分割多重の光通信は実現できる。空間分解能はＣＭＯＳイメージセンサのピクセルアレイの数によりが、１７ｍ角のエリアにノードが分布しているときに、２５６×２５６のピクセルアレイで受光した場合、各ピクセルは６．６Ｃｍ２の空間領域に対応する。タバコの箱位の距離だけ離れていれば、別のノードからの信号として認識できる。また、転送信号速度はＣＣＤセンサのフレーム周期に依存することになる。
松下伸行他著「ＩＤ Ｃａｍ： シーンとＩＤを同時に取得可能なイメージセンサ」信学技報、ＩＴ２００１−９２，ｐｐ．１０５−１３７ Ｊｕｎ Ｒｅｋｉｍｏｔｏ， Ｙｕｊｉ Ａｙａｔｓｕｋａ著「ＣｙｂｅｒＣｏｄｅ： Ｄｅｓｉｇｎｉｎｇ Ａｕｇｕｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｅｎｖｉｒｏｎｍｅｎｔｓ ｗｉｔｈ Ｖｉｓｕａｌ Ｔａｇｓ」 ＮＩＫＫＥＩ ＥＬＥＣＴＲＯＮＩＣＳ ２００２．４．８， ｐ．３５「ＬＥＤが仮想空間の入り口 デジカメで光を検知」 菅原俊治他著「クリッカブルオブジェクトの撮影」，ＷＩＳＳ２００１，ｐｐ．１６７−１７２ 青木亘著「カメラで読みとる赤外線タグとその応用」，ＷＩＳＳ２０００，ｐｐ．１３１−１３６ Ｂｒｅｔｔ Ｗａｒｎｅｋｅ 他著「Ｓｍａｒｔ Ｄｕｓｔ： Ｃｏｍｍｕｎｉｃａｔｉｎｇ ｗｉｔｈ ａ Ｃｕｂｉｃ−Ｍｉｌｌｉｍｅｔｅｒ Ｃｏｍｐｕｔｅｒ」，ＩＥＥＥ，Ｃｏｍｐｕｔｅｒ， Ｊａｎ． ２００１ Ｊｏｓｅｐｈ Ｍ． Ｋａｈｎ 他著「Ｅｍｅｒｇｉｎｇ Ｃｈａｌｌｅｎｇｅｓ： Ｍｏｂｉｌｅ Ｎｅｔｗｏｒｋｉｎｇ ｆｏｒ "Ｓｍａｒｔ Ｄｕｓｔ"」， ２０００ ＫＩＣＳ
上述した第１の従来技術は、ホーム、商店、狭いオフィスなどの日常生活空間へ適用する観点からは、埋め込み工事が必要となり、費用対効果の観点から困難である。また、適用する空間の広さ、２次元平面形状などによって、超音波センサ群の配置方法や配置間隔を変え、三角法で位置を同定するためにシステム全体を調整する必要が生ずる。まして、一般人はこのシステムを購入して、自らが取り付け、配置、調整、維持をするのは到底困難である。
また、第２の従来技術のＲＦ−ＩＤタグを実オブジェクトに付帯させても、特定の識別ＩＤを付帯させたオブジェクトの位置を特定する機能が無い。位置を特定するためには、専用リーダを接近させて捜すしかない。しかも、電波規制のため日本における通信距離は高々２ｍ程度であるため、任意の識別ＩＤを付帯したオブジェクトが何時、何処にあるかをリアルタイムで認識するシステムを構築することはできない。一方、ＮＴＴは屋内において１０ｍ程度の通信が可能な通信機能をもつＲＦ−ＩＤタグと複数の基地局とを使って、ＩＤ発信時に各基地局が受信した電波強度から、発信したＲＦ−ＩＤタグの位置を同定する技術を開発した。このシステムでは３００ＭＨｚ帯の微弱無線を用いているが、位置の特定精度は±２ｍ程度であるため、同一の部屋の中にある、オブジェクトの位置を特定するまでの精度が無い。即ち、位置に関してはどの部屋にあるかを特定する程度の位置精度しかない。一般に、広範囲にあるＲＦ−ＩＤの位置を認識するのは難しい。基地局から近い位置にあるＲＦ−ＩＤの影響で、遠くにあるＲＦ−ＩＤの信号を受信するのが困難であるからである。
更に、第３の従来技術では、ビーコンはそのＩＤに基づいて点滅を繰り返し、受信側システムと同期させない方法を採用している。そのため、ビーコンは何時ＩＤカメラで撮影するかわからないので、常に点滅を繰り返している必要がある。ＬＥＤの消費電力は小さくないので、ビーコンを小型化して、実環境のあらゆるオブジェクトに貼り付ける用途には向かない。省電力目的で、間欠動作をさせた場合には、ＩＤカメラで認識されない可能性が出てくる。また、調歩同期（非同期方式、文字の前後にスタートビットとストップビットを挿入）等のアルゴリズムが必要になるため、複数同時発光となるとカメラ側の処理量が大幅に増えて、時間がかかり過ぎるため動体の認識が困難である。
第４の従来技術において、ビジュアルコードを用いて実環境でシステムを動作させるためには、遍在する実オブジェクトの表面に、遠くからでも認識可能とするため、遍在する実オブジェクトの表面に巨大なコードを貼り付けておく必要がある。このため、認識可能な実オブジェクトの形状に制限がついている。また、斜めの角度からや、近傍と遠方の両方に遍在する２次元マトリックスコードを見分けるためには、画像精度と画像処理能力の大幅な向上が必要となるため、実環境下で遍在する１００個程度のオブジェクトを認識したり、動くオブジェクトの認識が困難である。
また、第５の従来技術の光源の波長差を利用した方法では明らかに、識別可能なオブジェクト数は数個程度に限られてしまう。また、赤外ＣＣＤカメラの出力である赤外画像から輝度の明るい点を抽出するだけの手法であるため、電球やその反射光が赤外光源の背後にあると、赤外付帯素子を検出できなくなり実環境においては実用にならない。
更に、第６の従来技術の欠点はデータ転送速度が遅いことである。受信側のシステムと同期せずに、点滅するＬＥＤを普通のカメラで撮影してＩＤを識別するシステムのため、４Ｈｚという極めて低速なデータ速度でしか送信できない。１０文字を送るためには２０秒はフレーム内にいなければならない。従って、カメラの被写体となっているオブジェクトのＩＤ番号を認識するだけで、８ビットの場合は２秒要する。この様に、認識速度が非常に低速であるため、動体のオブジェクト認識は困難である。また、１０個以上の多数のオブジェクトを扱うことができない。またＢａｌｌｏｏｎ Ｔａｇは５個のＬＥＤを必要とし、タグの小型化に適さない。
本発明は、上記に鑑みてなされたもので、その目的とするところは、実世界のオブジェクトに対してサイバー世界を構成するコンピュータシステムで実世界オブジェクトに対応して定義されるサイバー世界のオブジェクトを適確に結合する実世界とサイバー世界のオブジェクト結合方法を提供することにある。
上記目的を達成するための第１の態様に係る本発明は、実世界のオブジェクトに関連する実世界オブジェクト情報をサイバー世界を構成するコンピュータシステムにより認識するための実世界オブジェクト認識方法であって、前記実世界オブジェクトに付帯され、一意の識別情報が割り当てられた付帯素子から発せられた前記識別情報および該付帯素子の位置を表す位置情報を前記コンピュータシステムにより受信するステップと、受信した前記付帯素子の識別情報および位置情報に基づいて該付帯素子に対応する実世界オブジェクトの位置をコンピュータシステムにより特定して認識するステップと、を備えている。
上記目的を達成するための第２の態様に係る本発明は、実世界のオブジェクトに関連する実世界オブジェクト情報をサイバー世界を構成するコンピュータシステムにより認識するための実世界オブジェクト認識方法であって、前記実世界オブジェクトに付帯され、一意の識別情報が割り当てられた付帯素子から発せられた前記識別情報および該付帯素子の位置を表す位置情報を前記コンピュータシステムにより受信するステップと、前記付帯素子が付帯されている実世界オブジェクトの画像を前記コンピュータシステムにより取得するステップと、受信した前記付帯素子の識別情報および位置情報を前記取得ステップにより取得された実世界オブジェクトの画像に関連付けるステップと、関連付けられた前記付帯素子の識別情報、位置情報および前記実世界オブジェクトの画像に基づいて該付帯素子に対応する実世界オブジェクトの位置をコンピュータシステムにより特定して認識するステップと、を備えている。
上記目的を達成するための第３の態様に係る本発明は、実世界のオブジェクトに関連する実世界オブジェクト情報をサイバー世界を構成するための実世界オブジェクト認識装置であって、前記実世界オブジェクトに付帯され、一意の識別情報が割り当てられた付帯素子から発せられた前記識別情報および該付帯素子の位置を表す位置情報を受信する手段と、受信した前記付帯素子の識別情報および位置情報に基づいて該付帯素子に対応する実世界オブジェクトの位置を特定して認識する手段と、を備えている。
上記目的を達成するための第４の態様に係る本発明は、実世界のオブジェクトに関連する実世界オブジェクト情報をサイバー世界を構成するための実世界オブジェクト認識装置であって、前記実世界オブジェクトに付帯され、一意の識別情報が割り当てられた付帯素子から発せられた前記識別情報および該付帯素子の位置を表す位置情報を受信する手段と、前記付帯素子が付帯されている実世界オブジェクトの画像を取得する手段と、受信した前記付帯素子の識別情報および位置情報を前記取得手段により取得された実世界オブジェクトの画像に関連付ける手段と、関連付けられた前記付帯素子の識別情報、位置情報および前記実世界オブジェクトの画像に基づいて該付帯素子に対応する実世界オブジェクトの位置を特定して認識する手段と、を備えている。
上記目的を達成するための第５の態様に係る本発明は、実世界のオブジェクトに付帯され、一意の識別情報を有し、前記実世界に対応するサイバー世界を構成するコンピュータシステムと無線通信可能な付帯素子であって、前記識別情報および該付帯素子の位置を表す位置情報を前記コンピュータシステムに向けて送信する送信手段と、前記コンピュータシステムからの動作指令に応じて前記実世界オブジェクトの状態および該実世界オブジェクトの近傍の状態の内の少なくとも一方を感知し、この感知した実世界オブジェクトに関するセンシング情報を前記コンピュータシステムに向けて送信する感知手段と、前記コンピュータシステムからの動作指令に応じて所定の動作を実行し、その動作に関連する動作関連情報を前記コンピュータシステムに向けて送信する動作手段と、を備えている。
以上説明したように、本発明によれば、付帯素子から発せられた識別情報および該付帯素子の位置を表す位置情報を受信してコンピュータシステム（実世界オブジェクト認識装置）において認識することができるため、人、物、環境などの実世界のオブジェクトの少なくとも位置をリアルタイムにサイバー世界に結合でき様々な日常生活に密着したサービスを創生することができる。
特に、本発明によれば、実世界のオブジェクトに付帯された付帯素子が発光指示命令を受信して識別情報が一致した場合に発光し、この発光をシステム側の撮像手段で撮像して発光点の位置を実世界オブジェクトの位置として特定し、この実世界オブジェクトの位置を識別情報で特定されるサイバー世界のオブジェクトに結合するので、人、物、環境などの実世界のオブジェクトが引き起こす様々な出来事をリアルタイムにサイバー世界の対応するオブジェクトに結合でき、コンピュータネットワークを活用した様々な日常生活に密着したサービスを創生することができる。
また、本発明によれば、発光時点の注目フレーム画像信号から近傍のフレーム画像信号を所定の強度比率で減算して得られるフレーム画像信号に対して空間フィルタ処理またはパターンマッチング処理または両処理を含むノイズ低減処理を施し、画素濃度の最も高い画像、例えば座標別の信号強度の最も大きな画像を発光像と認識し、この発光像のフレーム画像内位置を付帯素子の位置として特定し、サイバー世界のオブジェクトと結合するので、付帯素子の付帯素子以外の光源からの外乱ノイズの影響を適確に抑圧し、発光像の位置、ひいてはオブジェクトの位置を適確に特定することができる。
更に、本発明によれば、注目フレーム画像信号から隣接フレーム画像信号または付帯素子の非発光時のフレーム画像信号を減算したり、または注目フレーム画像信号から前後のフレーム画像信号を所定の強度比率で減算して所定値以下となるフレーム内の画素信号を除去するので、付帯素子の付帯素子以外の光源からの外乱ノイズの影響を適確に除去し、発光像の位置、ひいてはオブジェクトの位置を適確に特定することができる。
本発明によれば、所定周期で繰り返し発光するかまたはランダムな長さのガード時間の後繰り返し発光し、撮像手段で付帯素子の発光を撮像し、この発光点の位置を実世界オブジェクトの位置として特定し、実世界オブジェクトの位置を識別情報で特定されるサイバー世界のオブジェクトに結合するので、人、物、環境などの実世界のオブジェクトが引き起こす様々な出来事をリアルタイムにサイバー世界の対応するオブジェクトに結合でき、コンピュータネットワークを活用した様々な日常生活に密着したサービスを創生することができる。
また、本発明によれば、発光指示命令に応答して所定時間、所定の周期で繰り返し発光する付帯素子を実世界のオブジェクトに付帯させ、発光指示命令を受信すると、所定時間、所定の周期で繰り返し発光し、この発光を撮像手段で撮像し、この発光点の位置を実世界オブジェクトの位置として特定し、この実世界オブジェクトの位置をサイバー世界のオブジェクトに結合するので、人、物、環境などの実世界のオブジェクトが引き起こす様々な出来事をリアルタイムにサイバー世界の対応するオブジェクトに結合でき、コンピュータネットワークを活用した様々な日常生活に密着したサービスを創生することができる。
更に、本発明によれば、発光指示命令に応答して発光する付帯素子を実世界のオブジェクトに付帯させ、発光指示命令を受信した場合の付帯素子の発光を第１の撮像手段で撮像し、同じ撮像視野を有する第２の撮像手段で当該付帯素子の付帯されている実世界のオブジェクトの画像を撮像し、第１の撮像手段で撮像した発光点の位置を実世界オブジェクトの位置として特定し、この実世界オブジェクトの位置、識別情報を第２の撮像手段で撮像した実世界オブジェクトの画像に関連付け、この実世界オブジェクトの画像および位置を識別情報で特定されるサイバー世界のオブジェクトに結合するので、人、物、環境などの実世界のオブジェクトが引き起こす様々な出来事をリアルタイムにサイバー世界の対応するオブジェクトに結合できるとともに、またサイバー世界においてコンピュータシステムが認識している情報を人間が観察している実世界オブジェクトの映像を重ねたり、相関を持ってモニタリング表示でき、コンピュータネットワークを活用した様々な日常生活に密着したサービスを創生することができる。
本発明によれば、第１および第２の撮像手段の視野の一方または両方を画像コンテンツ枠よりも大きくし、枠外に存在する実世界オブジェクトの脇待機状態を把握し、この実世界オブジェクトの識別情報、発光位置、発光時点を認識するため、新たに撮像手段の視野に入ってきた動体オブジェクトの認識を円滑に行うことができる。
また、本発明によれば、付帯素子は実世界オブジェクトの状態または近傍の状態または両方を感知し、この感知したセンシング情報を送信し、コンピュータシステムはセンシング情報を受信し、このセンシング情報を実世界オブジェクトの位置とともに識別情報で特定されるサイバー世界のオブジェクトまたはサイバー世界のオブジェクトに関連する情報または情報処理機能に関連付けて、実世界オブジェクトとサイバー世界オブジェクトを結合するので、実世界オブジェクトの自身や近傍の温度、湿度、騒音、振動、ＣＯ２濃度、花粉の多さ、加速度、動き、傾き、圧力、場所などの情報も取得し、サイバー世界オブジェクトに関連付けることができる。
更に、本発明によれば、付帯素子は実世界オブジェクトの状態または近傍の状態または両方を感知し、コンピュータシステムはセンシング情報を受信し、この実世界オブジェクトに関するセンシング情報、位置情報および識別情報を第２の撮像手段で撮像した実世界オブジェクトの画像に関連付け、センシング情報を識別情報で特定されるサイバー世界のオブジェクトまたはサイバー世界のオブジェクトに関連する情報または情報処理機能に関連付け、実世界オブジェクトとサイバー世界オブジェクトを結合するので、実世界オブジェクトの自身や近傍の温度、湿度、騒音、振動、ＣＯ２濃度、花粉の多さ、加速度、動き、傾き、圧力、場所などの情報を取得して、これらの情報と人間が観察している実世界オブジェクトの映像をサイバー世界オブジェクトに関連付けることができる。
本発明によれば、付帯素子は所定の動作を実行するアクチュエータを有し、コンピュータシステムはアクチュエータ作動命令を送信し、アクチュエータ作動命令受信確認信号またはアクチュエータ実行通知信号を付帯素子から受信し、アクチュエータの作動機能に関する情報を実世界オブジェクトの位置とともに識別情報で特定されるサイバー世界のオブジェクトに結合するので、例えばバイブレータ、モータ、スピーカなどのようなアクチュエータを用いて実世界のオブジェクトに関連して種々の作用を引き起こすことができるとともに、アクチュエータの作動機能に関する情報をサイバー世界のオブジェクトに結合してコンピュータネットワークを活用した様々な日常生活に密着したサービスを創生することができる。
また、本発明によれば、付帯素子は所定の動作を実行するアクチュエータを有し、コンピュータシステムがアクチュエータ作動命令を送信し、付帯素子からアクチュエータ作動命令受信確認信号またはアクチュエータ実行通知信号を付帯素子から受信し、アクチュエータの作動機能に関する情報、実世界オブジェクトの位置情報および識別情報を第２の撮像手段で撮像した実世界オブジェクトの画像に関連付け、この関連付けられた実世界オブジェクトの画像、位置情報、アクチュエータの作動機能に関する情報情報を前記識別情報で特定されるサイバー世界のオブジェクトに結合するので、アクチュエータを用いて実世界のオブジェクトに関連して種々の作用を引き起こすことができるとともに、アクチュエータの作動機能に関する情報および第２の撮像手段で撮像した実世界オブジェクトの映像をサイバー世界のオブジェクトに結合してコンピュータネットワークを活用した様々な日常生活に密着したサービスを創生することができる。
更に、本発明によれば、過去の発光による認識位置から推定される領域を優先して発光点を認識し、第２の撮像手段の撮影画像から過去の発光点を含むオブジェクトの輪郭を捕捉し、発光が認識できない間は、第２の撮像手段の撮影画像からオブジェクトの輪郭の移動を追跡して付帯素子の一時的穏蔽を補完するため、付帯素子の発光強度が弱くなったり、発光が一時的に隠蔽されても、継続的に実世界オブジェクトの位置をトラッキングすることができる。
本発明によれば、発光パターンのテンプレートに過去の発光部分画像を反映するかまたは過去の発光点位置認識に使ったテンプレートを使うため、付帯素子以外の発光源の誤認識を抑制することができる。
以下、本発明に係る実世界オブジェクト認識方法および装置、ならびに実世界オブジェクト認識用付帯素子の実施の形態について図面を参照して説明する。
図１は、本発明の実施の形態に係る実世界オブジェクト認識装置および実世界オブジェクト認識用付帯素子を含む実世界オブジェクト認識システム１の概略構成を示す図である。
図１に示すように、実世界オブジェクト認識システム１は、実世界における所定の認識対象領域（例えば、室内空間、屋外空間等）に存在する実世界オブジェクト（以下、単にオブジェクトとする）の情報（実世界オブジェクト情報）を、サイバー世界を構成するコンピュータシステム（実世界オブジェクト認識装置に対応）２に認識させることにより、上記実世界オブジェクト情報をコンピュータシステム（サイバー世界）２に結合（融合）させるシステムである。
実世界オブジェクトＯとしては、後掲図２に示すように、植木鉢に植えられた植木であって環境を構成するオブジェクトＯａ、ヒトであるところのオブジェクトＯｂ、かばんなどのモノであるオブジェクトＯｃが一例として挙げられる。
図１に示すように、実世界オブジェクト認識システム１は、上記実世界オブジェクトの情報を認識するコンピュータシステム２と、実世界オブジェクトに付帯されており、付帯元のオブジェクトに関連する情報を発することができる付帯素子１１とを備えている。
付帯素子１１は、自付帯素子を一意に識別する識別ＩＤ等の識別情報を有し、この識別情報を記憶する例えばメモリ等の識別情報記憶手段１４を備えている。
なお、付帯素子１１は、ＩＣ（Integration Circuit）タグやＲＦＩＤ（Radio Frequency ID）タグ等を備えることが可能である。
さらに、付帯素子１１は、その機能として、コンピュータシステム２から送信されてきた発光指示命令に応じて上記実世界オブジェクト情報としての自付帯素子の位置情報（付帯元オブジェクトの位置情報）を例えば発光情報として出力する位置情報出力部１５と、コンピュータシステム２から送信されてきた作動命令に応じて、予め搭載された作用素子（アクチュエータ等）１６ａを作動させる作動部１６と、コンピュータシステム２から送信されてきたセンシング指示に応じて、予め搭載された感知手段（センサ）１７ａにより感知情報を検出してコンピュータシステム２に送信するセンシング部１７とを備えている。なお、付帯素子１１は、少なくとも位置情報出力部１５を搭載していればよい。
一方、コンピュータシステム２は、図１に示すように、上記付帯素子１１、すなわち付帯素子１１が付帯されたオブジェクトＯを識別するための識別情報を生成する識別情報生成手段２０と、生成された識別情報に対応する発光命令（例えば、「生成識別情報に対応する付帯素子は発光せよ」という内容の命令）を送信する発光指示命令送信手段２１とを備えている。
また、コンピュータシステム２は、上記認識対象領域を撮像視野として撮像する例えば動画カメラ等の第１の撮像手段２２と、第１の撮像手段２２により撮像された映像情報に含まれるノイズを低減する処理を行うノイズ処理手段２３と、第１の撮像手段２２により撮像された映像情報（ノイズ処理された映像情報）および識別情報生成手段２０により生成された識別情報に基づいて、映像情報に含まれる発光点の位置座標および識別情報を対応付けする発光点位置座標／識別情報対応付け手段２５とを備えている。
さらに、コンピュータシステム２は、対応付け手段２５により得られた”識別情報＋位置情報”から、例えばディスプレイ等の映像表示手段２６の表示画面上の対応する位置に識別マーカを生成して表示する処理を実行するマーカ情報生成手段２７と、第１の撮像手段２２と例えば同一の撮像視野（上記認識対象領域）を撮像する例えば動画カメラ等の第２の撮像手段３０を備えており、この第２の撮像手段３０により撮像された映像情報は映像表示手段２６に送られて該映像表示手段２６により表示される。なお、上記識別マーカが生成されていれば、そのマーカ情報は映像情報に重畳して表示される。
コンピュータシステム２は、そのコンピュータシステムを利用できるユーザに対するインタフェース（ＩＦ）用のユーザＩＦ部３１を備えており、このユーザＩＦ部３１は、映像表示手段２６および入力手段３２と共にグラフィカルユーザインタフェース機能を実現するようになっている。
このユーザＩＦ部３１は、コンピュータシステム２と一体に設けていてもよく、また、コンピュータシステム２に対して遠隔に配置され、電話回線、専用線等の通信回線を介してコンピュータシステム２と通信可能な通信端末（例えば、ユーザが利用できるパーソナルコンピュータや携帯端末等）であってもよい。
すなわち、ユーザは、入力手段３２を操作して映像表示手段２７に表示された映像情報の所定位置をクリックして指定したり、所定の要求をユーザＩＦ部３１を介してコンピュータシステム２に対して送ることができる。
例えば、映像表示手段２７に表示された映像情報上において、上述した識別マーカが表示されている場合には、ユーザは、入力手段３２を操作して上記識別マーカをクリックして指定することができる。
コンピュータシステム２は、さらにユーザＩＦ部３１における入力手段３２を介した入力に応じて、その入力が「１」どの識別情報の付帯素子に対して「２」何を要求するのかを判断するための識別情報決定／要求決定手段３５を備えている。
例えば、ユーザが、入力手段３２を操作して複数の位置をクリック（指定）したり、クリック回数を変えたり、階層的にクリックすることにより、複数の要求を識別情報決定／要求決定手段３５に対して入力することができる。
そして、コンピュータシステム２は、識別情報決定／要求決定手段３５により指定された指定付帯素子に対するセンシング指示が決定された場合、その指定付帯素子の識別情報を含むセンシング指示を送信するセンシング指示送信手段４０と、送信されたセンシング指示情報に応じて、指定付帯素子１１のセンシング部１７から送信されてきたセンシング情報を受信するセンシング情報受信手段４１とを備えている。
また、コンピュータシステム２は、識別情報決定／要求決定手段３５により指定された指定付帯素子に搭載された作用素子１６ａに対する作動命令が決定された場合、その指定付帯素子の識別情報を含む作動命令を送信する作動命令送信手段４５と、送信された作動命令に応じて、指定付帯素子１１の作動部１６から送信されてきた作用実行通知／作動命令受信確認信号受信手段（受信手段）４６とを備えている。
そして、コンピュータシステム２は、対応付け手段２５により取得された識別情報および発光点位置座標、センシング情報受信手段４１により受信されたセンシング情報および対応する識別情報、ならびに受信手段４６により受信された作用実行通知／作動命令受信確認信号に基づく作動履歴情報および対応する識別情報の内の少なくとも何れか２つの情報を、何らかの形でリンク（関連付け）して蓄積する情報関連付け・情報蓄積手段（関連付け蓄積手段）４７を備えている。
このコンピュータシステム２は、付帯素子１１に対する無線通信機能を有するインタフェース部、このインタフェース部に通信可能に接続されたコンピュータ、ＣＤ（Compact Disk）−ＲＯＭ（Read Only memory）、ＤＶＤ（Digital Versatile Disk）等の外部メモリをコンピュータが読取可能にセットできる外部記憶装置、映像情報および付帯素子情報（位置情報、センシング情報および作動履歴情報の内の少なくとも１つ）を蓄積するためのハードディスク等の大容量記憶装置およびコンピュータのワークエリアとしての機能を有する内部メモリ等を有するコンピュータ本体２ａ（後掲図２参照）と、コンピュータの映像入出力端子・制御端子にそれぞれ接続された第１および第２の動画カメラ等とから構成されており、このハードウェア構成により、上記各機能構成手段が具体的に実現される。
一方、付帯素子１１の位置情報出力部１５は、図１に示すように、発光指示命令を受信する発光指示命令受信手段１５ａと、この発光指示命令受信手段１５ａにより受信された発光指示命令に含まれる識別情報と識別情報記憶手段１４に記憶された識別情報とを比較する識別情報比較手段１５ｂと、発光素子１５ｃと、識別情報比較手段１５ｂの比較結果に応じて発光素子１５ｃに対して発光動作させる発光制御手段１５ｄと、識別情報記憶手段１４に記憶された識別情報を読み出してコンピュータシステム２に対して送信する識別情報送信手段１５ｅとを備えている。
また、付帯素子１１の作動部１６は、図１に示すように、作動命令を受信する作動命令受信手段１６ｂと、この作動命令受信手段１６ｂにより受信された作動命令に含まれる識別情報と識別情報記憶部１４に記憶された識別情報とを比較し、その比較結果に応じて作用素子１６ａを動作させる識別情報比較手段１６ｃと、識別情報比較手段１６ｃの比較結果に応じて作動命令受信確認信号および／または作用素子１６ａの実行結果を表す作用実行通知をコンピュータシステム２の受信手段４６へ送信する送信手段１６ｄとを備えている。
さらに、付帯素子１１のセンシング部１７は、図１に示すように、センシング指示を受信するセンシング指示受信手段１７ｂと、このセンシング指示受信手段１７ｂにより受信されたセンシング指示に含まれる識別情報と識別情報記憶部１４に記憶された識別情報とを比較し、その比較結果に応じて感知手段１７ａにより感知動作（センシング動作）を実行させる識別情報比較手段１７ｃと、感知手段１７ａの感知結果（センシング結果）を感知情報（センシング情報）としてコンピュータシステム２のセンシング情報受信手段４１へ送信する感知情報送信手段１７ｄとを備えている。
なお、付帯素子１１は、発光素子１５ｃ、作用素子１６ａおよび感知手段（センサ）１７ａの内の少なくとも１つの素子（機器）および例えば１チップ化された無線通信機能を有するコンピュータ回路をそれぞれ搭載しており、この搭載素子およびコンピュータ回路により、上述した各機能を実現するようになっている。
以下、図１に示す実世界オブジェクト認識システム１の全体動作について、さらに具体的に説明する。
図２に示すように、実世界オブジェクト認識システム１において、複数の実世界オブジェクトＯａ〜Ｏｃに対してサイバー世界を構成するコンピュータシステム２には、第１の撮像手段２２である動画カメラ１０３と、この動画カメラ１０３に取り付けられ、オブジェクトＯａ〜Ｏｃに向けて発光指示命令を例えばＩＲ光として送信する発光指示命令装置１０５（発光指示命令送信手段２１に相当）とが設けられており、動画カメラ１０３および発光指示命令装置１０５は、それぞれコンピュータ本体２ａに接続されている。
なお、本実施形態では、発光指示命令送信手段２１である発光指示命令装置１０５は動画カメラ１０３に取り付けられているが、これに限定されるものでなく、動画カメラ１０３とは別の所に設けられていてもよいものである。
各オブジェクトＯａ〜Ｏｃには、それぞれ識別情報である識別ＩＤ（ｍ−１、ｍ、ｍ＋１）の割り当てられた付帯素子１１（１１ａ、１１ｂ、１１ｃ）がそれぞれ付帯されている。各付帯素子１１ａ、１１ｂ、１１ｃは、以下に説明するように発光指示命令装置５からの発光指示命令を受信でき、この発光指示命令に応答して出力される発光を動画カメラ１０３が撮像し得るように付帯されているものである。
各オブジェクトＯに付帯されている付帯素子１１は、発光指示命令装置５からの発光指示命令を受信する通信手段（発光指示命令受信手段１５ａ）と発光指示命令に応答して発光する発光素子１５ｃを有する。通信手段は、例えばＲＦ受信器、赤外線受光器、ＲＦ送受信器、赤外線送受信器などで構成され、また発光素子１５ｃは、例えば発光ダイオード（ＬＥＤ）、レーザダイオード、ＥＬ（エレクトロルミネッセンス）素子、液晶素子、反射光を利用するミラー、光を放射する素子などで構成される。本実施形態では、通信手段としては赤外線受光器を利用し、発光素子としては赤外線ＬＥＤを利用している。なお、各付帯素子１１ａ、１１ｂ、１１ｃにそれぞれ割り当てられている識別ＩＤ（ｍ−１、ｍ、ｍ＋１）は、各付帯素子１１を特定するための番号として使用されるが、実際には付帯素子１１を付帯している実世界の各オブジェクトを特定するためのＩＤとしても使用できるものである。
動画カメラ１０３は、付帯素子１１の発光素子から出力される発光波長に対する感度を有し、この動画カメラ１０３で撮像した当該動画カメラの視野領域１０９の内部に存在する付帯素子１１の映像、具体的には後述するように付帯素子１１の発光素子からの発光像の映像を出力フレーム単位で出力する機能を有する。具体的には、動画カメラ１０３は、ある定められた時間、カメラ内の撮像素子が光を感知し、１フレームの静止画として出力する。この１フレームの静止画としての出力動作を高速で連続的に繰り返しながら１フレームの静止画を時系列に順次生成することにより映像を撮像して出力することができる。この場合のフレーム番号として、本実施形態では図１の上部にフレーム周期毎のフレーム画像を図示するようにｎ−１、ｎ、ｎ＋１が割り当てられている。
本実施形態のコンピュータシステム２では、図２の上部に示すように周期的に繰り返し生成される各フレーム（…ｎ−１、ｎ、ｎ＋１…）の開始時点に相当する時刻…Ｔｍ−１、Ｔｍ、Ｔｍ＋１…に同期して、発光指示命令装置１０５から付帯素子１１の識別ＩＤ（ｍ−１、ｍ、ｍ＋１）を含む発光指示命令をオブジェクトＯの付帯素子１１に向けて送信するようになっている。この発光指示命令を受信した付帯素子１１は、当該発光指示命令に含まれている識別ＩＤを自分に割り当てられた識別ＩＤと比較し、識別ＩＤが一致する場合には、自分の発光素子を発光させろという命令であると解釈し、自分の発光素子を所定の持続時間だけ発光させる。なお、識別ＩＤが自分に割り当てられた識別ＩＤと異なる場合には、発光させない。
すなわち、図３に示すように、まずフレーム（ｎ−１）の開始時点に相当する時刻Ｔｍ−１において識別ＩＤ（ｍ−１）を含む発光指示命令（ＩＤ＝ｍ−１）がコンピュータシステム２の発光指示命令装置１０５から送信されると（図４；ステップＳ１）、この発光指示命令（ＩＤ＝ｍ−１）に対して識別ＩＤ（ｍ−１）の付帯素子１１ａがその識別情報比較手段１５ｂの比較処理に基づいて応答し、この付帯素子１１ａの発光素子１５ｃは、図示のように、上記発光指示命令に基づくＩＤ＝ｍ−１に対応付けられて設定された発光持続時間（ＩＤ＝ｍ−１発光持続時間）だけ発光する（ステップＳ２）。
次のフレーム（ｎ）が開始すると、この開始時点に相当する時刻Ｔｍにおいて識別ＩＤ（ｍ）を含む発光指示命令（ＩＤ＝ｍ）が発光指示命令装置１０５から送信され（ステップＳ３）、この発光指示命令（ＩＤ＝ｍ）に対して識別ＩＤ（ｍ）の付帯素子１１ｂがその識別情報比較手段１５ｂの比較処理に基づいて応答し、この付帯素子１１ｂの発光素子１５ｃは図示のように、上記発光指示命令に基づくＩＤ＝ｍに対応付けられて設定された発光持続時間（ＩＤ＝ｍ発光持続時間）だけ発光する（ステップＳ４）。
更に次のフレーム（ｎ＋１）が開始すると、この開始時点に相当する時刻Ｔｍ＋１において識別ＩＤ（ｍ＋１）を含む発光指示命令（ＩＤ＝ｍ＋１）が発光指示命令装置１０５から送信され（ステップＳ５）、この発光指示命令（ＩＤ＝ｍ＋１）に対して識別ＩＤ（ｍ＋１）の付帯素子１１ｃがその識別情報比較手段１５ｂの比較処理に基づいて応答し、この付帯素子１１ｃの発光素子１５ｃは図示のように、上記発光指示命令に基づくＩＤ＝ｍ＋１に対応付けられて設定された発光持続時間（
ＩＤ＝ｍ＋１発光持続時間）だけ発光する（ステップＳ６）。
なお、本実施形態では、各付帯素子１１の発光素子による発光は、発光開始フレームの始めから次のフレームの始めに僅かに食い込んで重複してから終了し、各フレームの始めにおいては、前のフレームの発光と次のフレームの発光とが重複している。
また、上記各付帯素子の発光素子による発光は、予め設定された発光持続時間において発光するのではなく、全ての発光素子が同一の発光持続時間により発光してもよく、それぞれの付帯素子毎に任意の時間で発光してもよい。
以上の動作を繰り返すことにより、各付帯素子１１の発光素子は発光指示命令装置１０５から順次送信される発光指示命令に応答して順次発光することになり、この各付帯素子１１の発光素子からの発光は、動画カメラ１０３で受信される（ステップＳ７）。すなわち、動画カメラ１０３は、付帯素子１１の発光素子からの発光の波長に感度を有しているため、その発光像を撮像することができ、その結果を出力フレーム画像として出力することができる。従って、コンピュータシステム２においては、この各フレーム毎に動画カメラ１０３から出力される出力フレーム画像上の各画素での信号強度を調べることにより、発光指示命令に含ませて指定された識別ＩＤの付帯素子１１の発光素子のカメラ視野内での位置（位置座標）を知ること、すなわち特定することができる（ステップＳ８）。
具体的には、コンピュータシステム２は、動画カメラ１０３、発光指示命令装置１０５および対応付け手段２５による協調動作により、発光指示命令装置１０５が発光指示命令で指定した付帯素子１１の識別ＩＤを知ることができるため、この識別ＩＤと動画カメラ１０３の出力フレーム画像のフレーム番号との対応を取ることにより出力フレーム画像のフレーム番号から対応する識別ＩＤの付帯素子１１の発光位置を知ることができる。
そして、上述したように特定された付帯素子１１の位置から当該付帯素子１１が付帯されているオブジェクトＯの位置を知ることができ、このオブジェクトＯの位置を、サイバー世界を構成するコンピュータシステム２において認識、すなわち上記位置を有するオブジェクトＯとしてサイバー世界に結合させることができる。
上記実施形態では、実世界の各オブジェクトＯに付帯素子１１を付帯させ、付帯素子１１が発光指示命令装置１０５からの発光指示命令を受信して、識別ＩＤが一致した場合に発光し、この発光を動画カメラ１０３で撮像して発光点の位置を実世界オブジェクトの位置として特定し、この実世界オブジェクトの位置を識別ＩＤで特定されるコンピュータシステム２（サイバー世界）のオブジェクトに結合している。従って、例えば人、物、環境などの実世界のオブジェクトが引き起こす様々な出来事をリアルタイムにサイバー世界の対応するオブジェクトに結合でき、コンピュータネットワークを活用した様々な日常生活に密着したサービスを創生することができる。
本実施形態のオブジェクト結合方法では、例えば家庭、商店、オフィスの一角などの一辺が例えば１０ｍ程度以内の空間である日常の生活空間において人間が目で認識できる速さで動くオブジェクトも含めて認識することができ、かつサイバー世界を構成するコンピュータシステムが認識している状態は人間が観察している実世界のオブジェクトの映像と相関を持ってモニタリング表示でき、オブジェクトの識別ＩＤと位置認識時点は映像から派生する映像ベースのコンテンツと時間的に同期しているものである。また、オブジェクトＯに付帯する付帯素子１１は、小型で、消費電力が小さく、安価なものである。
図３は、図２に示した実施形態において各付帯素子１１の発光素子からの発光像を撮像した動画カメラ１０３の出力フレーム画像（フレーム毎の画像データ）を図示しているものである。なお、図３において、発光指示命令装置１０５からの発光指示命令の出力タイミング、各付帯素子１１の発光素子からの発光持続時間などは図１と同じである。
図３において、発光指示命令装置１０５からフレーム（ｎ−１）の開始時点に同期して時刻Ｔｍ−１に出力される発光指示命令（ＩＤ＝ｍ−１）に応答して付帯素子１１ａの発光素子から出力される発光は、動画カメラ１０３で撮像され、同図においてフレーム画像ｎ−１として出力される。この動画カメラ１０３から出力されたフレーム画像ｎ−１には、付帯素子１１ａの発光素子からの発光像が符号Ｉ３ａで示すように円形で示されている。なお、このフレーム画像における発光像Ｉ３ａの円形の大きさは、基本的には動画カメラ１０３が受光した発光のエネルギ（強度）の時間的な積分値を表わしていて、具体的には発光が強いほど、また時間が長くあたっているほど、円形の直径が大きくなるように図示している。
同様にして、発光指示命令装置５からフレーム（ｎ）の開始時点に同期して時刻Ｔｍに出力される発光指示命令（ＩＤ＝ｍ）に応答して付帯素子１１ｂの発光素子から出力される発光は、動画カメラ１０３で撮像され、フレーム画像ｎに発光像Ｉｂとして出力されるが、このフレーム画像ｎには付帯素子１１ｂの発光素子からの発光に対応する発光像Ｉｂの他に、このフレーム（ｎ）の始めに僅かに重複して発光している付帯素子１１ａの発光素子からの発光に対応する発光像Ｉａ´も小さい円形で図示されている。これは、付帯素子１１ｂの発光素子からの発光がフレーム（ｎ）の全期間にわたって発生しているのに対して、付帯素子１１ａの発光素子からの発光はフレーム（ｎ）の始めに重複して僅かな時間だけ発光しているから、発光像Ｉａ´が小さく、発光像Ｉｂが大きくなっているのである。なお、この発光像Ｉａ´は、発光像Ｉｂに対してはノイズとなっているものである。
同様に、発光指示命令装置１０５からフレーム（ｎ＋１）の開始時点に同期して時刻Ｔｍ＋１に出力される発光指示命令（ＩＤ＝ｍ＋１）に応答して付帯素子１１ｃの発光素子から出力される発光は、動画カメラ１０３で撮像され、フレーム画像ｎ＋１に発光像Ｉｃとして出力されるが、このフレーム画像ｎ＋１には付帯素子１１ｃの発光素子からの発光に対応する発光像Ｉｃの他に、このフレーム（ｎ＋１）の始めに僅かに重複して発光している付帯素子１１ｂの発光素子からの発光に対応する発光像Ｉｂ´も小さい円形で図示されている。なお、この発光像Ｉｂ´は、発光像Ｉｃに対してはノイズとなっているものである。
図５は、図３に示したように動画カメラ１０３のフレーム画像にノイズとして現れた発光像Ｉ３ａ´、Ｉ３ｂ´を１つ前のフレーム画像との減算（差分）処理により除去する差分処理を説明するための図である。
図５に示すフレーム画像ｎ、ｎ＋１には、図３で説明したように、ノイズとなる発光像Ｉ３ａ´、１３ｂ´が現れているが、このノイズとなる発光像を除去するために、コンピュータシステム２は、図５における例では、１つ前のフレーム画像との減算処理を行なっている。
例えば、識別ＩＤ＝ｍの付帯素子１１ｂ（オブジェクトＯｂ）の位置を同定するためのフレーム画像ｎにノイズとして現れている発光像Ｉ３ａ´を除去するために、コンピュータシステム２は、ノイズ処理手段２３により、当該フレーム画像ｎから１つ前のフレーム画像ｎ−１を減算し（図６；ステップＳ１０）、この減算結果として残っている所定値以下の画素信号をゼロ、すなわち無信号にし（ステップＳ１１）、これにより識別ＩＤ＝ｍの付帯素子の発光素子からの発光像Ｉｂのみが存在する識別ＩＤ＝ｍのオブジェクトに関する差分画像１２１ａｂを得ているものである。従って、この差分画像１２１ａｂから識別ＩＤ＝ｍの付帯素子１１ｂ（オブジェクトＯｂ）の位置をノイズに影響されることなく適確に特定することができる。
同様に、識別ＩＤ＝ｍ＋１の付帯素子１１ｃ（オブジェクトＯｃ）の位置を同定するためのフレーム画像ｎ＋１にノイズとして現れている発光像Ｉｂ´を除去するために、コンピュータシステム２は、ノイズ処理手段２３により、当該フレーム画像ｎ＋１から１つ前のフレーム画像ｎ減算し（ステップＳ１２）、この減算結果として残っている所定値以下の画素信号を無信号にし（ステップＳ１３）、これにより識別ＩＤ＝ｍ＋１の付帯素子の発光素子からの発光像Ｉｃのみが存在する識別ＩＤ＝ｍ＋１のオブジェクトに関する差分画像１２１ｂｃを得ているものである。従って、この差分画像１２１ｂｃから識別ＩＤ＝ｍ＋１の付帯素子１１ｃ（オブジェクトＯｃ）の位置をノイズに影響されることなく適確に特定することができる。
以上の説明では差分処理の対象としてフレーム画像信号強度を１：１としたが、任意の強度比率での差分処理も有効であるのは言うまでもない。
図７は、図３に示したように動画カメラ１０３のフレーム画像にノイズとして現れた発光像Ｉ３ａ´、Ｉ３ｂ´を図５とは別の減算処理により除去する差分処理を説明するための図である。
図７に示す減算処理として、コンピュータシステム２は、付帯素子１１の位置を特定しようとする注目フレーム画像の信号強度を２倍し、この２倍したフレーム画像から前後のフレーム画像を減算するものである。
具体的には、コンピュータシステム２は、識別ＩＤ＝ｍの付帯素子１１ｂ（オブジェクトＯｂ）の位置を同定するためのフレーム画像ｎにノイズとして現れている発光像Ｉ３ａ´を除去するために、ノイズ処理手段２３により、当該フレーム画像ｎを２倍してから１つ前のフレーム画像ｎ−１と１つ後のフレーム画像ｎ＋１を減算（図８；ステップＳ２０）、すなわち注目フレーム画像（ｎ）×２−｛前フレーム画像（ｎ−１）＋（後フレーム画像（ｎ＋１）｝なる減算を行い、この減算結果として残っている所定値以下の画素信号をゼロ、すなわち無信号にし（ステップＳ２１）、これにより識別ＩＤ＝ｍの付帯素子の発光素子からの発光像Ｉ３ｂのみが存在する識別ＩＤ＝ｍのオブジェクトに関する差分画像１２１ａｂｃを得ている。
従って、この差分画像１２１ａｂｃから識別ＩＤ＝ｍの付帯素子１１ｂ（オブジェクトＯｂ）の位置をノイズに影響されることなく適確に特定することができる。
同様に、識別ＩＤ＝ｍ＋１の付帯素子１１ｃ（オブジェクトＯｃ）の位置を同定するためのフレーム画像ｎ＋１にノイズとして現れている発光像Ｉｂ´を除去するために、コンピュータシステム２は、ノイズ処理手段２３により、当該フレーム画像ｎ＋１の信号強度を２倍してから１つ前のフレーム画像ｎと１つ後のフレーム画像ｎ＋２を減算し、すなわち注目フレーム画像（ｎ＋１）×２−（前フレーム画像（ｎ）＋（後フレーム画像（ｎ＋２））なる減算を行い、この減算結果として残っている所定値以下の画素信号を無信号にし、これにより識別ＩＤ＝ｍ＋１の付帯素子の発光素子からの発光像Ｉｂのみが存在する識別ＩＤ＝ｍ＋１のオブジェクトに関する差分画像１２１ｂｃｄを得ている（ステップＳ２２〜Ｓ２３参照）。
従って、この差分画像１２１ｂｃｄから識別ＩＤ＝ｍ＋１の付帯素子１１ｃ（オブジェクトＯｃ）の位置をノイズに影響されることなく適確に特定することができる。以上の説明では両側差分処理の対象となるフレーム画像に対して注目フレーム画像対隣接フレーム画像の信号強度比率を２：１とした例を示したが、任意の強度比率でも有効である事は言うまでもない。
上述した図５および図７に示した減算処理は、所望の識別ＩＤの付帯素子からの発光の影響を除去するものとして説明したが、当該減算処理は、このような発光の影響を除去するためだけでなく、様々なノイズ源からのノイズなどを除去するために有効なものである。例えば、太陽光などの自然光や最近数が急速に増えた電子機器類のリモコン装置などからのリモコン信号などもノイズとして現れた場合、これらを除去するのに有効である。
図９は、図５および図７で行われた差分処理でも付帯素子１１の発光素子の発光信号以外に例えば太陽光、照明などの発光源からのノイズ信号が残ってしまった場合、このようなノイズ信号を除去する固定空間フィルタ処理を説明するための図である。
すなわち、図９の空間フィルタ処理においては、コンピュータシステム２は、図５および図７で得られた差分処理後フレーム画像ｎに対して空間フィルタ処理を施す例を示している。
この空間フィルタ処理では、コンピュータシステム２は、ノイズ処理手段２３により、差分処理後フレーム画像ｎの左上隅にフィルタサイズを示す四角形の被フィルタリング範囲１２６の中の全画素の信号強度値をすべて加算し（図１０；ステップＳ３０）、その加算した和を画素数で割ることにより、この被フィルタリング範囲１２６内の平均値を被フィルタリング範囲１２６内の各画素の信号強度とし（ステップＳ３１）、被フィルタリング範囲１２６を矢印１２５で示す方向に移動させながらステップＳ３０〜Ｓ３１の処理を差分処理後フレーム画像ｎの全領域について実行する（ステップＳ３２）。なお、この場合の空間フィルタ処理では、フィルターサイズを越えて広く分布する画像の信号強度は低減される。
このような空間フィルタ処理の結果、空間フィルタ処理後フレーム画像ｎ１２４が得られるが、この空間フィルタ処理後フレーム画像ｎ１２４では、もともと局所的に強度が大きかった付帯素子１１の発光素子の発光信号が強調され、広く分布し強くないノイズ信号が弱められる。この結果、コンピュータシステム２は、所望の発光素子の発光信号とノイズ信号との強度差が広がるため、その強度に応じて優先順位をつけることが可能となる。
図９に示す例では、付帯素子１１の発光素子の発光信号が優先順位１位、右下隅のノイズが優先順位２位、中央のノイズが優先順位３位と決められる。そこで、コンピュータシステム２は、優先順位の高いものを付帯素子１１の発光素子からの発光信号画像と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ３３）。
図１１は、図９で説明した空間フィルタ処理の代わりにパターンマッチング処理を利用して、図５および図７で行った差分処理後においても付帯素子１１の発光素子の発光信号以外に残っていた例えば太陽光、照明などの発光源からのノイズ信号を除去するパターンマッチング処理，詳しくは、円錐形定義パターンマッチング処理を説明するための図である。
すなわち、図１１のパターンマッチング処理では、図５および図７で得られた差分処理後フレーム画像ｎ１２７に対してパターンマッチング処理を施す例を示している。
このパターンマッチング処理では、コンピュータシステム２は、ノイズ処理手段２３により、差分処理後フレーム画像ｎの左上隅に示す四角形の被パターンマッチング領域１３１内の全画素の画像パターンに対して発光素子の発光パターンと類似する定義パターンとの相関を得るためのパターンマッチング処理を行なう（図１２；ステップＳ４０）。この被パターンマッチング領域１３１内の定義パターンは、付帯素子１１の発光素子の発光パターンを示すように中央の強度が最も大きく、この中央から周辺に向かうにつれて強度が弱くなるような円錐形の定義パターンとなっている。
そして、コンピュータシステム２は、被パケットマッチング領域１３１を矢印１２９で示すように差分処理後フレーム画像ｎの全領域にわたって順次移動しながら、被パケットマッチング領域１３１内の画素パターンを定義パターンと照合してパターンマッチング処理を行い、それぞれの座標でのマッチング結果を得る（ステップＳ４１）。
このマッチング結果として、パターンマッチング処理後フレーム画像ｎ１２８が得られる。このパターンマッチング処理後フレーム画像ｎ１２８では、付帯素子１１の発光素子の発光信号の部分ではパターンマッチング値が大きくなり、他のノイズ部分では強度が強くても、発光像の形状が異なるため、パターンマッチング値は小さくなる。この結果、所望の発光素子の発光信号とノイズ信号との強度差が広がるため、その強度に応じて優先順位をつけることが可能となる。図１１に示す例では、付帯素子１１の発光素子の発光信号が優先順位１位、右下隅のノイズが優先順位２位となり、中央のノイズは除去される。そこで、優先順位の高いものを付帯素子１１の発光素子からの発光信号と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ４２）。
図１３は、図９における空間フィルタ処理後フレーム画像ｎ１２４と図１１におけるパターンマッチング処理後フレーム画像ｎ１２８とに基づいて優先順位を比較して最終的な優先順位を決定し、検出すべき付帯素子１１の発光素子の発光点を識別するオブジェクト抽出処理を説明するための図である。
すなわち、図１３に示すように、コンピュータシステム２は、ノイズ処理手段２３により、図９の空間フィルタ処理後フレーム画像ｎ１２４と図１１のパターンマッチング処理後フレーム画像ｎ１２８とを比較し(図１３ステップＳ５０）、例えば両処理後に共に抽出された信号のみを抽出すると、下の図に示すように、空間フィルタ処理後フレーム画像ｎ１２４における優先順位３位の信号は除去され、優先順位１位と２位の信号のみが残る。このように残った両信号の強度に着目して、所定の閾値を設定し、この閾値と優先順位１位と２位の両信号と比較し、閾値以上の信号のみを抽出する（ステップＳ５１）。なお、閾値は検出した信号中の最大値から決めるかまたは予め設定した値とする。この結果、閾値以上の信号は左上の信号のみとなり、この信号が優先順位１位の信号として最終的に決定され、この信号を検出すべき付帯素子１１の発光素子の発光点を識別することができる。
なお、上述したように、図９の空間フィルタ処理後フレーム画像ｎ１２４と図１１のパターンマッチング処理後フレーム画像ｎ１２８とから最終的な優先順位を決定する方法には種々の方法が適用できる。例えば、いずれか一方の結果をそのまま採用する方法、または両者を合成する方法などがある。どのような方法を採用すべきかはどのような用途に使用するかにより判断すべきことである。
また、上述した閾値との比較において、複数の信号が閾値を超える場合には、閾値を変えて再度比較することも考えられるし、更には再度何らかの画像処理を施すことも考えられるが、どのような用途に使用するかにより判断すべきである。
図１４は、上述した図１〜図１３の処理を総合した結果を示す図である。
すなわち、図２および図１４に示すように、コンピュータシステム２は、まず発光指示命令装置１０５が指定する識別ＩＤを含む発光指示命令を各付帯素子１１に向けて送信して、識別ＩＤの一致する付帯素子１１の発光素子を発光させ（ステップＳ１〜Ｓ６参照）、次にこの発光を動画カメラ１０３で撮像して（ステップＳ７参照）、その発光点を含む出力画像フレームとして出力する。
次にコンピュータシステム２は、ノイズ処理手段２３により、出力した画像フレームと隣接画像フレームとの差分処理を施してノイズを除去し（ステップＳ１０〜Ｓ１３参照）、続いて差分処理された画像に対して空間フィルタ処理およびパターンマッチング処理を施して、差分処理後も残っているノイズを更に除去する（ステップＳ３０〜Ｓ３３および／またはステップＳ４０〜Ｓ４２）。
次いで、コンピュータシステム２は、空間フィルタ処理後およびパターンマッチング処理後のそれぞれのフレーム画像に対して優先順位の比較を行ってフレーム内の信号間に優先順位を決定し、この決定された優先順位の信号を所定の閾値と比較し、最終的に優先順位１位の発光点を決定しているものである（ステップＳ５７）。
図１５は、図１３において決定された優先順位１位の発光点とオブジェクトに付帯された付帯素子１１の位置情報を対応付け、そのフレーム画像内座標を付帯素子１１の位置情報とすることを示す説明図である。
すなわち、コンピュータシステム２は、対応付け手段２５により、発光指示命令装置１０５が例えば識別ＩＤ＝ｍを含む発光指示命令を命じた時の時間をＴｍとし、その発光を撮像した出力画像フレームｎにおいて優先順位１位となった信号のフレーム画像内座標を図１５の１３４ａに示すように（Ｘｍ，Ｙｍ）として抽出することができる（ステップＳ６０）。このとき、優先順位１位となった信号の位置は、上述した説明から識別ＩＤ＝ｍの付帯素子１１からの発光を示すものであるため、この優先順位１位のフレーム画像内座標（Ｘｍ，Ｙｍ）を時間Ｔｍにおける付帯素子１１の位置とすることができる。同様に、識別ＩＤ＝ｍ＋１を含む発光指示命令を命じた時間Ｔｍ＋１に対する出力画像フレームｎ＋１に対しては、フレーム画像内座標は図９の３４ｂに示すように（Ｘｍ＋１，Ｙｍ＋１）として抽出される（ステップＳ６１）。
図１６は、図１５に示したように抽出されたオブジェクトの識別ＩＤ＝ｍ、ｍ＋１、…、発光指示命令を送信した時間Ｔｍ、Ｔｍ＋１、…、当該オブジェクトのフレーム画像内座標（Ｘｍ，Ｙｍ）、（Ｘｍ＋１，Ｙｍ＋１）、…を関連付けたファイル、すなわち各オブジェクトのフレーム画像内位置データ抽出ファイル１３５を生成する処理を示している図である。
すなわち、コンピュータシステム２は、対応付け手段２５により、各時間（Ｔｍ、Ｔｍ＋１、…）とそれに対応する出力フレーム（ｎ、ｎ＋１、…）から抽出された各識別ＩＤ（ｍ、ｍ＋１、…）のフレーム画像内位置座標の対応付けを行い（ステップＳ６５、ステップＳ６６）、次いで対応付けられた各識別ＩＤ（ｍ、ｍ＋１、…）とフレーム画像内位置座標とに基づいて、各オブジェクトのフレーム画像内位置データ抽出ファイル１３５を生成する（ステップＳ６７）。
すなわち、このフレーム画像内位置データ抽出ファイル１３５は、各オブジェクトＩＤ（ｍ、ｍ＋１、…）に対応して各時間（Ｔｍ、Ｔｍ＋１、…）および画面座標（Ｘｍ，Ｙｍ）、（Ｘｍ＋１，Ｙｍ＋１）、…を互いに対応付けて登録している。
図１７は、図１６に示した各オブジェクトのフレーム画像内位置データ抽出ファイル１３５を予めコンピュータシステム２内の情報ファイルと結合して、オブジェクトデータベース１４１として構成して扱うことを説明している図である。このコンピュータシステム２内の情報ファイルの一例としては、オブジェクト名に関するデータファイル１３７が図示されている。
このオブジェクト名に関するデータファイル１３７は、予め別ファイルとして、オブジェクトに関する情報（本実施形態では、各オブジェクトに付随するキーワード）を蓄積したファイルである。
図１７におけるコンピュータシステム２内の情報との結合では、対応付け手段２５により、リレーショナルデータベース的な考え方で、共通のオブジェクトＩＤによって各オブジェクトのフレーム画像内位置データ抽出ファイル１３５とオブジェクト名に関するデータファイル１３７とを結合している（ステップＳ７０）。この結合前には、時間Ｔｍに識別ＩＤ＝ｍとして付帯された付帯素子１１の位置は、フレーム画像内座標である画面座標（Ｘｍ，Ｙｍ）であるとしか分からなかったが、本例のようにオブジェクト名に関するデータファイル３７と結合することにより、時間Ｔｍに名称Ａというものが座標（Ｘｍ，Ｙｍ）にあるというようにより人間に分かり易い情報として得られるオブジェクトデータベース１４１を構築することができる。
なお、ファイル間の結合は、コンピュータシステム２のハードディスク等の外部記憶装置の記憶領域内のファイル同士であってもよいし、または図示しないネットワークを経由して異なる複数のコンピュータシステム間の記憶領域内のファイル同士の結合であってもよい。
図１８は、図１７で説明した各オブジェクトのフレーム画像内位置データ抽出ファイル１３５とオブジェクト名に関するデータファイル１３７をオブジェクトＩＤで結合したオブジェクトデータベース１４１のオブジェクト名に関するデータファイル１３７に対して他の項目であるキーワードを共通キーとして情報ファイル１３８をコンピュータシステム２の対応付け手段２５により結合して情報データベース１４３を構成する（ステップＳ７１参照）ことを示す図である。
情報ファイル１３８は、キーワードに対応して趣味、購買履歴、色、値段、ＵＲＬ−Ｂなどの情報を登録しており、このＵＲＬ−Ｂは、情報データベース１４３がＩＰ（Internet Protocol）網１５１上に存在するウェブサイトにアクセスして、このウェブサイトから情報を取得し得ることを示している。
図１８に示すように、複数のファイルを共通のキーで結合することにより、複数のデータベースを構成することができ、提供する情報の付加価値を高めることができる。例えば、本例では、時間Ｔｍに座標（Ｘｍ，Ｙｍ）にあった名称Ａの購買履歴はＸＸであるというような付加価値の高い情報にすることができる。更に、上述したように付加情報としてＩＰ網上でのファイルの存在場所を表すＵＲＬ(Uniform Resource Locator）を付け加えれば、指定されたＵＲＬのサイトから情報を引き出し、前記情報に付加情報として付け加えることも可能である。
なお、ファイル間の結合は、コンピュータシステム２のハードディスク等の外部記憶装置の記憶領域内のファイル同士であってもよいし、または図示しないネットワークを経由して異なる複数のコンピュータシステム間の記憶領域内のファイル同士の結合であってもよいことは上述した場合と同じである。
図１９は、前記オブジェクトのフレーム画像内位置データ抽出ファイル１３５をコンピュータシステム２により構築されるサイバー空間（コンピュータシステム２、あるいはネットワークに接続された複数のコンピュータシステムとそのコンピュータシステムに蓄積された情報とから構築された空間）でのオブジェクト管理に関連付けて、実世界とサイバー世界のオブジェクト管理データベース１４５を構築することを示している図である。
更に詳しくは、コンピュータシステム２は、各オブジェクトのフレーム画像内位置データ抽出ファイル１３５をサイバー世界上のオブジェクトリスト１３９と両者の共通の項目である識別ＩＤをキーとして対応付け手段２５により結合して、実世界とサイバー世界のオブジェクト管理データベース１４５を構成している（ステップＳ７３）。サイバー上のオブジェクトリスト１３９は、項目として識別ＩＤ、位置、時間、属性、センシング情報、αなどを有する。
サイバー世界において、実世界にあるモノを仮想的にオブジェクトとして管理するということは、そのプロパティを管理することを意味し、そのプロパティを構成するものは、通常予め補足が可能な固定的な情報に限られている。例えば、本であれば、ページ数、出版社などである。本例では、各オブジェクトのフレーム画像内位置データ抽出ファイル１３５のようにリアルタイムで実世界のオブジェクトの位置情報を認識し、それを識別ＩＤと関連させて、他のファイルに対して提供できるような仕組みを提供するため、サイバー上のオブジェクトリスト１３９の項目として実世界での位置情報をリアルタイムに追加することができる。このように従来固定的であったサイバー上のオブジェクト情報を実世界の変化に即して自動的に変更することができる。すなわち、実世界に即してサイバーオブジェクトを管理して、実世界に密にサイバーオブジェクトを実現し、実世界とサイバー世界を結合することができる。
図２０は、本発明に係る図１に示す実世界オブジェクト認識システム１の他の実施形態の全体動作を説明するための図である。
図２０に示す実施形態において、コンピュータシステム２は、発光指示命令装置１０５と動画カメラ１０３との協調動作により、発光指示命令に応答して発光する付帯素子１１の発光を動画カメラ１０３のフレーム周期に同期させるとともに、付帯素子１１の発光素子の発光持続時間を動画カメラ１０３のフレーム時間内にしている点が異なるものであり、その他の構成および作用は同じであり、同じ構成要素には同じ符号を付してその説明を省略する。
図２１は、図２０に示す実施形態において各付帯素子１１の発光素子からの発光像を撮像した動画カメラ１０３の出力フレーム画像（フレーム毎の画像データ）を図示しているものである。
本実施形態では、図２０に示したように、コンピュータシステム２の発光指示命令装置１０５と動画カメラ１０３との協調動作により、発光指示命令装置１０５からの発光指示命令に応答して発光する付帯素子１１の発光時点を動画カメラ１０３のフレーム周期に同期させるとともに、付帯素子１１の発光素子の発光持続時間を動画カメラ１０３のフレーム時間内に設定している。
この結果、図２１に示すように、動画カメラ１０３から出力されたフレーム画像ｎおよびｎ＋１には、付帯素子１１ｂ、１１ｃの発光素子からの発光像Ｉ３ｂ、Ｉ３ｃのみが現れ、図３に示したように他の付帯素子１１からの発光像の一部がノイズとして現れないようになっている。従って、付帯素子１１の位置の認識を正しく行うことができる。また、認識が１フレーム毎に終了するため、動画カメラ１０３のフレーム周期と同じ高速な周期でオブジェクトの認識が可能となる。
図２２は、本発明に係る図１に示す実世界オブジェクト認識システム１の他の実施形態の全体動作を説明するための図である。
図２２に示すように、本実施の形態においては、特に、実世界のオブジェクトＯに付帯させられる各付帯素子１１の発光素子１５ｃが、発光制御手段１５ｄの制御に応じて、動画カメラ１０３のフレームに同期することなく自発的かつ所定の周期で繰り返し発光するものである。
また、各付帯素子１１は、自発的かつ所定の周期の繰り返し発光に同期して、例えば送信手段１６ｄ等により、自素子に予め割り当てられている識別ＩＤをコンピュータシステム２に向けて送信するようになっている。この識別ＩＤは、発光に含ませてコンピュータシステム２に送信してもよいし、別の通信路を経由してコンピュータシステム２に送信してもよく、任意の手段を取り得るものである。
このとき、コンピュータシステム２は、図４に示したように、動画カメラ１０３で付帯素子１１の発光を撮像するとともに、この発光に同期して送信される識別ＩＤを受信し、この撮像した発光点の位置を上述したと同様にして実世界オブジェクトの位置として特定し、この特定した実世界オブジェクトの位置をサイバー世界を構成するコンピュータシステム２において認識、すなわち識別情報に対応し、かつ上記位置を有するオブジェクトとしてサイバー世界に結合させることができる。
図２３は、図１に示す実世界オブジェクト認識システム１の他の実施形態の全体動作を説明するための図であり、特に各付帯素子１１の発光素子１５ｃは、その発光制御手段１５ｄの制御に応じて、動画カメラ１０３のフレームに同期することなく自発的であるも周期的でなく、ランダムな長さのガード時間の後繰り返し発光する。
図２３に示す実施形態では、付帯素子１１は、例えば送信手段１６ｄにより、動画カメラ１０３のフレームに同期することなく自発的であるも周期的でなく、ランダムな長さのガード時間の後繰り返し行われる発光に同期して、図２２と同様に、自分に予め割り当てられている識別ＩＤをコンピュータシステムに向けて送信するようになっている。この識別ＩＤは、発光に含ませてコンピュータシステムに送信してもよいし、別の通信路を経由してコンピュータシステムに送信してもよく、任意の手段を取り得るものである。
付帯素子１１は、動画カメラ１０３のフレームに同期することなく非周期的にランダムな長さのガード時間の後繰り返し発光するとともに、この発光に同期して識別ＩＤをコンピュータシステムに向けて送信しているため、コンピュータシステム２は動画カメラ１０３で付帯素子の発光を撮像するとともに、この発光に同期して送信される識別ＩＤを受信し、この撮像した発光点の位置を上述したと同様にして実世界オブジェクトの位置として特定し、この特定した実世界オブジェクトの位置をサイバー世界を構成するコンピュータシステム２において認識、すなわち識別情報に対応し、かつ上記位置を有するオブジェクトとしてサイバー世界に結合させることができる。
図２４は、本発明の更に別の実施形態に係わる実世界オブジェクト認識システム１の全体動作を説明するための図であり、特にオブジェクトＯに付帯される付帯素子１１が発光指示命令装置１０５からの発光指示命令に応答して所定時間、所定の周期で繰り返し発光するものである。
本実施形態では、図２４に示すように、例えば付帯素子１１ａの発光素子１５ｃは、発光制御手段１５ｄの制御に応じて、時刻Ｔｍ−１にコンピュータシステム２の有する発光指示命令装置１０５から一回出力される発光指示命令に応答すると、所定の周期Ｔで繰り返し自発的に所定時間、発光するようになっている。また、付帯素子１１ｂ、１１ｃも、同様に、時刻Ｔｍ、Ｔｍ＋１に一回出力される発光指示命令に応答すると、所定の周期Ｔで繰り返し自発的に所定時間発光するようになっている。このように一回の発光指示命令により所定時間、所定の周期Ｔで繰り返し発光することにより、発光指示命令の出力回数を低減することができ、発光指示命令装置１０５と付帯素子１１の受光手段間の通信頻度を低減でき、かつ動作頻度も低減でき、消費エネルギを低減することができる。
すなわち、本実施形態では、実世界のオブジェクトＯに付帯され、予め識別ＩＤを割り当てられている付帯素子１１は、サイバー世界を構成するコンピュータシステム２から識別ＩＤを含む発光指示命令を１回受信すると、この発光指示命令に含まれる識別情報が自分に割り当てられた識別情報である場合、この１回の発光指示命令に応答して所定時間、所定の周期で繰り返し発光する。
そして、コンピュータシステム２においては、付帯素子１１の発光を動画カメラ１０３で撮像し、この撮像した発光点の位置を実世界オブジェクトの位置として特定し、この特定した実世界オブジェクトの位置を識別ＩＤに対応し、かつ上記位置を有するオブジェクトとしてサイバー世界に結合させることができる。
図２５は、本発明に係る図１に示す実世界オブジェクト認識システム１の他の実施形態に係わるの全体動作を説明するための図であり、特に図２４の実施形態において発光指示命令に応答して発光する付帯素子１１の発光を動画カメラ１０３のフレーム周期Ｔｆに同期させるとともに、付帯素子１１の発光素子の発光持続時間を動画カメラ１０３のフレーム時間内にしているものである。本実施形態は、その他の構成、作用、効果は図２４の実施形態と同じであり、同じ構成要素には同じ符号を付してその説明を省略する。
図２６は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
同図に示す実施形態に係る実世界オブジェクト認識システム１は、図２に示した実施形態において、第１の撮像手段２２である第１の動画カメラ１０３ａに加えて、その第１の動画カメラ１０３ａと同じ撮像視野（視野領域１０９）を有する第２の撮像手段３０である第２の動画カメラ１０３ｂを備えており、この第２の動画カメラ１０３ｂは、付帯素子１１の付帯されている実世界のオブジェクトＯの画像を撮像し、この撮像した実世界オブジェクトに関する画像と第１の動画カメラ１０３ａにより撮像された画像により得られたオブジェクトの位置とをサイバー世界であるコンピュータシステム２上において結合するようにしている点が異なるものであり、その他の構成、作用、効果は同じであり、同じ構成要素には同じ符号を付し、その説明を省略する。
第２の動画カメラ１０３ｂは、所謂一般のデジタルビデオカメラなどであり、可視画像を撮像し得るものであるが、動画カメラである必要はなく、静止画カメラでもよいものである。
第１の動画カメラ１０３ａおよび第２の動画カメラ１０３ｂを有するコンピュータシステム２においては付帯素子１１の発光を第１の動画カメラ１０３ａで撮像するとともに、第２の動画カメラ１０３ｂで付帯素子１１の付帯されている実世界のオブジェクトＯの画像そのものを図２６において右下隅にオブジェクトの画像１５１（Ｔｍ）｛発光時刻Ｔｍにて撮像｝、１５１（Ｔｍ＋１）｛発光時刻Ｔｍ＋１にて撮像｝等として示すように撮像する。
このように構成される本実施形態では、実世界のオブジェクトＯに付帯させられている付帯素子１１は識別ＩＤを割り当てられ、発光指示命令装置１０５からの発光指示命令に応答して発光するように構成されていることは図２の実施形態と同じである。ここでコンピュータシステム２の発光指示命令装置１０５から付帯素子１１を特定する識別ＩＤを含む発光指示命令を付帯素子１１が受信すると、付帯素子１１は発光指示命令に含まれる識別情報が自分に割り当てられた識別情報である場合に発光する。
コンピュータシステム２においては、付帯素子１１の発光を第１の動画カメラ１０３ａで撮像するとともに、第２の動画カメラ１０３ｂで付帯素子１１の付帯されている実世界のオブジェクトＯの画像を撮像し、第１の動画カメラ１０３ａで撮像した発光点の位置を実世界オブジェクトＯの位置として特定し、この特定した実世界オブジェクトＯの位置および識別ＩＤを第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像に関連付け、この関連付けられた実世界オブジェクトＯの画像および位置をサイバー世界（コンピュータシステム２）上で結合するようになっている。
図２７は、図２６で説明したように第１の動画カメラ１０３ａで撮像した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像との結合または関連付けを説明するための図である。
図２７に示すように、コンピュータシステム２は、対応付け手段２５により、発光時刻Ｔｍにおいて第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトＯｂの識別ＩＤ＝ｍの符号１３４（Ｔｍ）で示す付帯素子１１ｂの発光点の位置座標（Ｘｍ， Ｙｍ）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍに撮像した実世界オブジェクトＯｂの画像１５１ａとを結合する（図２８；ステップＳ８０）。
次いで、コンピュータシステム２は、発光時刻Ｔｍ＋１において第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトＯｂの識別ＩＤ＝ｍ＋１の符号１３４（Ｔｍ＋１）で示す付帯素子１１ｃの発光点の位置座標（座標データ）（Ｘｍ＋１， Ｙｍ＋１）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍ＋１に撮像した実世界オブジェクトＯｃの画像１５１ｂを結合する（ステップＳ８１）。このような動作により、映像コンテンツ（画像）内に表示されるそれぞれの実世界オブジェクトＯの画像および位置をコンピュータシステム２上で結合することができる。
図２９は、図２７で説明した第１の動画カメラ１０３ａで撮像した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像との関連付けにおいて、第１の動画カメラ１０３ａで撮像した付帯素子１１の発光点の位置座標に該当する第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像上に可視マーカを重ねて表示した図である。
すなわち、コンピュータシステム２は、対応付け手段２５およびマーカ情報生成手段２７により、発光時刻Ｔｍにおいて、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍに撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ）における、第１の動画カメラ１０３ａで撮像した画像により得られた付帯素子１１ｂの発光点の位置座標（Ｘｍ， Ｙｍ）上にユーザが視認できる所定形状の可視マーカ（マーカデータ）Ｍｂを重畳する（図３０；ステップＳ９０）。
次いで、コンピュータシステム２は、発光時刻Ｔｍ＋１において、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍに撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ＋１）における、第１の動画カメラ１０３ａで撮像した画像により得られた付帯素子１１ｂの発光点の位置座標（Ｘｍ＋１， Ｙｍ＋１）上にユーザが視認できる所定形状の可視マーカ（マーカデータ）Ｍｂを重畳する（ステップＳ９１）。なお、オブジェクトＯｃについても同様に、オブジェクトＯｃ（付帯素子１１ｃ）のＴｍおよびＴｍ＋１の位置に応じて可視マーカＭｃが表示される。
この結果、図２９に示すように、第２の動画カメラ１０３ｂで発光時刻Ｔｍにおいて撮像した実世界オブジェクトＯｂ、Ｏｃの画像１５１（Ｔｍ）と、発光時刻Ｔｍ＋１で撮像した実世界オブジェクトＯｂ、Ｏｃの画像１５１（Ｔｍ＋１）との上に、オブジェクトＯｂ、Ｏｃに対応する可視マーカＭｂ、Ｍｃが重畳した状態で表示されている。
このように可視マーカ表示を行うことにより、画像を閲覧するユーザは、本システムにより認識されている実世界オブジェクトを容易に確認することができる。
例えば、このようにマーカ表示された画像をコンピュータシステム２の映像表示手段２６におけるディスプレイに表示し、そのマーカの位置をユーザが入力手段３２における例えばマウスで指定（クリック）した場合、コンピュータシステム２のメモリにロードされたプログラムにより、コンピュータシステム２に、例えば発光時刻Ｔｍに当該マーカの位置に存在した付帯素子１１が付帯されたオブジェクトＯのプロパティ情報を得ること等の所望の動作を実行させることが可能である。
このように、本実施形態では、ユーザの入力手段３２におけるマウス操作による可視マーカクリックに応じてコンピュータシステム２に所望（予めプログラムされた）動作を実行させることができるため、ヒューマンインタフェースの使い勝手を大幅に向上させることができる。なお、マウスのクリックの代わりに例えばディスプレイとしてタッチパネルディスプレイを使用することにより、ステンシルや指で画面上に表示されたマーカ部分を触れて、同様にコンピュータシステム２に所望の動作（対応するオブジェクトＯのプロパティ情報取得動作等）を実行させることができる。
図３１は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
本実施形態においては、特に図２６に示した実施形態の第１の動画カメラ１０３ａ、第２の動画カメラ１０３ｂの視野領域１０９の一方または両方を最終的にユーザに提供する画像コンテンツ枠よりも大きくし、画像コンテンツ枠外に存在する実世界オブジェクトの脇待機状態を第１の動画カメラ１０３ａ、第２の動画カメラ１０３ｂの一方または両方で撮像して把握し、この把握した実世界オブジェクトの識別情報、発光位置、発光時点を認識するようにしたものである。
すなわち、図３１に示すように、コンピュータシステム２における映像表示手段２６により、最終的にユーザである受給者に提供される画像コンテンツ枠は１６１で示すように小さく設定され、この画像コンテンツ枠１６１の外側には第２の動画カメラ１０３ｂの視野範囲が１６２で示すように設定される。
更にコンピュータシステム２における映像表示手段２６により、第２の動画カメラ１０３ｂの視野範囲１６２の外側に第１の動画カメラ１０３ａの視野範囲が１６３で示すように設定されている。そして、第２の動画カメラ１０３ｂの視野範囲１６２と第１の動画カメラ１０３ａの視野範囲１６３が周辺領域の実オブジェクトの脇待機状態の認識領域となり、更にその外側の画面枠外近傍領域が第１および第２の動画カメラ１０３ａおよび１０３ｂの視野外となる。なお、図３１では、各実オブジェクトＯ（Ｏａ〜Ｏｇ）に白丸をつけて、各実オブジェクトＯａ〜Ｏｇに付帯している付帯素子１１（に対応するマーカ）を示している。
すなわち、本実施形態では、画像コンテンツ枠外に存在する実世界オブジェクトＯｄ〜Ｏｇの内、第１の動画カメラ１０３ａおよび／または第２の動画カメラ１０３ｂの視野領域に対応するオブジェクトＯｄ〜Ｏｇの状態（脇待機状態）を、第１の動画カメラ１０３ａの映像に基づく位置座標および／または第２の動画カメラ１０３ｂによる映像としてコンピュータシステム２が認識することができる。
このため、例えば画像コンテンツ枠外に存在した実世界オブジェクト（例えば、実オブジェクトＯｄ、Ｏｆ）が第２の動画カメラ１０３ｂの視野領域および／または第１の動画カメラ１０３ａの視野領域に入った場合でも、コンピュータシステム２は、予め脇待機状態として把握していた位置座標および映像情報を利用して、対応する実世界オブジェクトをスムーズに認識することができる。
図３２は、図３１の実施形態において、第１の動画カメラ１０３ａの視野領域と第２の動画カメラ１０３ｂの視野領域とを符号１６４で示すように同一した図であり、その他の構成および作用は図３１と同様である。
図３３は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
なお、上述した全ての実施形態において、付帯素子１１は、位置情報出力部１５、作動部１６およびセンシング部１７のうち、少なくとも位置情報出力部１５のみを有していればよい。
そして、本実施形態における付帯素子１１は、位置情報出力部１５、作動部１６およびセンシング部１７のうち、少なくとも位置情報出力部１５およびセンシング部１７を備えている。
すなわち、図３３に示す実施形態では、図１に示したように、識別ＩＤを割り当てられ、実世界のオブジェクトＯに付帯された付帯素子１１は、図２に示す構成において、さらに付帯素子１１を付帯する実世界オブジェクトＯの状態または実世界オブジェクトＯの近傍の状態または両方を感知し、この感知した実世界オブジェクトＯに関するセンシング情報をコンピュータシステム２のセンシング指示送信手段４０およびセンシング情報受信手段４１を構成する発光指示命令／信号受信部２１０に対して送信するセンシング部１７を備えている。
発光指示命令／信号受信部２１０は、付帯素子１１のセンサからの実世界オブジェクトＯに関するセンシング情報を受信するようになっており、コンピュータシステム２は、実世界オブジェクトＯに関するセンシング情報を必要により図２の実施形態で特定した実世界オブジェクトＯの位置とともに前記識別情報で特定されるオブジェクトＯ、オブジェクトＯに関連する情報または情報処理機能に関連付けて認識するようになっている。
また、図３３において、発光指示命令／信号受信部２１０は付帯素子１１を特定する識別ＩＤが含まれた例えばＲＦ信号等からなるセンシング指示命令を付帯素子１１に向けて送信するように構成されている。なお、その他の構成については、図２に示す構成と略同等であるため、その説明は省略または簡略化する。
付帯素子１１は、発光指示命令／信号受信部２１０からのセンシング指示命令をセンシング指示受信手段１７ｂで受信し、識別情報比較手段１７ｃにより、受信したセンシング指示命令に含まれる識別ＩＤが自分に割り当てられた識別ＩＤであると判断した場合に、前記感知した実世界オブジェクトＯに関するセンシング情報を感知情報送信手段１７ｄから例えばＲＦ信号として発光指示命令／信号受信部２１０に向けて送信する。
このとき、発光指示命令／信号受信部２１０は、このセンシング情報を受信するようになっている。
また更に別の構成として、付帯素子１１は、感知情報送信手段１７ｄにより、前記感知した実世界オブジェクトに関するセンシング情報を自分に割り当てられた識別ＩＤとともに自発的に発光指示命令／信号受信部２１０に向けて送信し、発光指示命令／信号受信部２１０はこのセンシング情報および識別ＩＤを受信し、受信した識別ＩＤから、センシング情報発信元の付帯素子１１を識別するようになっている。
これは、例えば倉庫などに置かれている製品にセンサ１７ａとして加速度センサ付きの付帯素子を取り付けておき、その製品が動かされたら、その動きを加速度センサで感知し、そのセンシング情報を発光指示命令／信号受信部２１０に送信し、例えば何らかの警報を発生するようなアプリケーションに適用したり、またはセンサ１７ａとして温度センサが付帯素子１１に搭載され、その温度センサにより所定時間毎に発光指示命令／信号受信部２１０に温度を通知するようなアプリケーションに適用し得るものである。
センシング情報の送信のきっかけ（トリガ）は、上述した加速度センサの例では例えばセンサの出力がある閾値を超えた場合であり、温度センサの例では例えば所定の時間になった場合であり、これらの場合にセンシング情報が付帯素子１１から発光指示命令／信号受信部２１０に送信される。発光指示命令／信号受信部２１０は、このセンシング情報とともに付帯素子１１から送信されてくる識別ＩＤを受信し、この識別ＩＤに基づきどの実世界オブジェクトのセンシング情報であるかを識別することができる。
なお、センサ１７ａで感知する付帯素子１１を付帯する実世界オブジェクトＯの状態や実世界オブジェクトＯの近傍の状態とは、例えばオブジェクト自身の温度、振動、加速度、動き、傾き、圧力、場所などといったものや、オブジェクトを取り巻く環境の温度、湿度、騒音，ＣＯ２濃度、花粉の多さなどといったものである。
図３４に示すように、コンピュータシステム２は、関連付け蓄積手段４７により、図３３で取得したセンシング情報を、図１８で説明した各オブジェクトのフレーム画像内位置データ抽出ファイル１３５およびオブジェクト名に関するデータファイル１３７が識別ＩＤで結合されたオブジェクトデータベース１４１に対して結合して各オブジェクトの位置およびセンシングデータが関連付けられた位置・センシングデータ抽出ファイル１８１を生成し（ステップＳ１００）、この各オブジェクトの位置・センシングデータ抽出ファイル１８１に対して識別ＩＤを共通項としてコンピュータシステム２上に予め登録済みの各オブジェクトの属性情報ファイル１８３を結合してオブジェクト管理データベース１８５を構成することを示す図である。
図３４において、位置・センシングデータ抽出ファイル１８１は、図１６で説明した各オブジェクトのフレーム画像内位置データ抽出ファイル１３５に対して識別ＩＤを共通項として付帯素子１１のセンサから出力されるセンシング情報を追加したものである。また、コンピュータシステム２上に予め登録済みの各オブジェクトの属性情報ファイル１８３は、図１７で説明したオブジェクト名に関するデータファイル１３７に対してセンサで得られるセンシング情報の属性も１つの属性情報として予め登録しておいたものである。この予め登録済みのセンシング情報の属性情報としては、図示のように温度、湿度、照度、体温、心拍、位置、内容物などがある。
図３４に示すオブジェクト管理データベース１８５の例では、例えば識別ＩＤ＝ｍに対応する実世界オブジェクトでは、体温、心拍などがセンシング情報として登録され、また識別ＩＤ＝ｍ−１に対応する実世界オブジェクトでは、温度、湿度、照度などがセンシング情報として得られることが予めファイル上に登録されている。そして、この登録済みのセンシング情報に対して図３３の実施形態で取得したセンシング情報を対応させ、この対応付けをオブジェクト管理データベース１８５でオブジェクト情報を管理し提供するものである。
図３５は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
図３５に示すように、コンピュータシステム２は、その関連付け蓄積手段４７により、図３４に示した位置・センシングデータ抽出ファイル１８１をインターネットであるＩＰ網１５１上に配置されているセンシング情報データベース１８７に登録されているインターネット上に予め登録済みの各オブジェクトの属性情報ファイル１８４に対して識別ＩＤを共通項として結合（リンク）してオブジェクト管理データベース１８５を構成している（ステップＳ１１０）。
図３６は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
図３６に示すように、コンピュータシステム２は、図１９に示した各オブジェクトのフレーム画像内位置データ抽出ファイル１３５に図３５で取得されたセンシング情報を加えて位置・センシングデータ抽出ファイル１８２を構成し、この位置・センシングデータ抽出ファイル１８２をコンピュータシステム２上のオブジェクトリストファイル１３９に関連付けてオブジェクト管理データベース１４５を構築している（ステップＳ１２０）。
サイバー上のオブジェクトリストファイル１３９においてサイバー世界（コンピュータシステム２上）で管理するオブジェクトのプロパティとしては、更にセンシング情報も提供できるようにしている。
図３７は、図２６に示す実施形態において各付帯素子１１にセンシング部１７を図３３に示すように備えるとともに、またコンピュータシステム２においては、発光指示命令装置５の代わりに送受信装置１９０を備え、この送受信装置１９０（発光指示命令送信手段２１、センシング指示送信手段４０およびセンシング情報受信手段４１に対応）は、センシング指示命令を付帯素子１１に送信し、付帯素子１１からセンシング情報を受信するように構成した図である。従って、その他の構成および作用は図２６および図３３と同じであり、その説明は省略する。
図３８は、図２７に示した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像との結合において付帯素子１１の情報として更にセンシングデータを加えた図である。
すなわち、コンピュータシステム２は、関連付け蓄積手段４７により、発光時刻Ｔｍにおいて第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトの識別ＩＤ＝ｍの符号１３４（Ｔｍ）で示す付帯素子１１ｂの発光点の位置座標（Ｘｍ， Ｙｍ）および上記発光時刻ＴｍにおいてセンシングされたセンシングデータＤｍ（符号１９１ａで示す）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍに撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ）とを結合する（図３９；ステップＳ１３０）。
次いで、コンピュータシステム２は、発光時刻Ｔｍ＋１において第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトの識別ＩＤ＝ｍ＋１の符号１３４（Ｔｍ＋１）で示す付帯素子１１ｃの発光点の位置座標（Ｘｍ＋１， Ｙｍ＋１）および上記発光時刻Ｔｍ＋１においてセンシングされたセンシングデータＤｍ＋１（符号１９１ｂで示す）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍ＋１に撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ＋１）を結合する（ステップＳ１３１）。このような動作により、映像コンテンツ（画像）内に表示されるそれぞれの実世界オブジェクトＯの画像、位置およびセンシングデータをコンピュータシステム２上で結合することができる。
この結果、コンピュータシステム２は、結合された実世界オブジェクトＯの画像、位置およびセンシングデータに基づいて、所望のタイミング（例えば、受信に応じて、あるいはユーザからの指示に応じて）において、上記実世界オブジェクトＯの画像上における例えば発光点の位置座標（オブジェクトＯｂの位置座標）上に対し、対応する付帯素子１１ｂで得られたセンシングデータを所定の表示形態に加工して重畳表示することができる。
例えば、オブジェクトとしてのヒトＯｂに付帯された付帯素子１１ｂが例えばオブジェクト（ヒト）Ｏｂのバイタルデータ（生体情報：血圧、脈拍、体温等のデータ）を検出できるバイタルデータ感知センサ１７ａを有している場合、検出されたバイタルデータを数値（バイタル値）として対応するオブジェクトＯｂ上に重畳表示することもできる。
この結果、例えばヒトのオブジェクトＯｂの移動に応じて位置が変わる毎に、その移動に応じてバイタル値の表示位置が連動するため、ユーザは、オブジェクトＯｂの移動位置毎のバイタル値の移り変わりを視認することができる。
また、例えば、複数のオブジェクトそれぞれに付帯された付帯素子１１が例えばその周囲の温度を検出する温度データ感知センサ１７ａを有している場合、複数の付帯素子１１それぞれにより検出された複数の温度を数値（バイタル値）およびドットとして対応する複数の付帯素子１１それぞれの上に重畳表示し、かつ各ドットを線分で結んで折れ線グラフとして表示することもできる。
図４０は、図２９に示した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯｂの画像との関連付けにおいて実世界オブジェクトＯｂの画像｛１５１（Ｔｍ）、１５１（Ｔｍ＋１）｝上に可視マーカＭｂを重ねて表示したものに更に付帯素子１１の情報としてセンシングデータＤｍ、Ｄｍ＋１（図３８および図３９参照）を加えた図である。その他の構成および作用は同じであり、その説明は省略する。
この結果、ユーザが上記オブジェクトＯｂに付帯された付帯素子１１ｂのセンシングデータを視認したいと考えた際に、入力手段３２における例えばマウスで対応する可視マーカＭｂを指定（クリック）した場合、コンピュータシステム２のメモリにロードされたプログラムにより、コンピュータシステム２は、クリックされた可視マーカＭｂに対応する付帯素子１１ｂにより感知されたセンシングデータを、例えば可視マーカＭｂの表示位置上、あるいはその近傍に表示することができ、ユーザは、表示されたセンシングデータを視認することができる。
図４１は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
本実施形態における付帯素子１１は、位置情報出力部１５、作動部１６およびセンシング部１７のうち、少なくとも位置情報出力部１５および作動部１６を備えている。
作動部１６における作用素子１６ａは、例えばアクチュエータであり、このアクチュエータは、例えば電気的入力に応答して実世界上に何らかの力学的な作用を施すもの（例えばバイブレータ、モータ、スピーカ、ＬＥＤ等）に加えて、搭載されているコンピュータに対して所定の動作を指示するプログラム等も含まれる。
すなわち、本構成において、発光指示命令／信号受信部２１０は、付帯素子１１を特定する識別情報を含む作動命令を例えばＲＦ信号により送信する。
このとき、各付帯素子１１は、その作動命令を作動命令受信手段１６ｂで受信し、識別情報比較手段１６ｃにより、受信した作動命令に含まれる識別ＩＤが自分に割り当てられた識別ＩＤであると判断した場合に、作用素子であるアクチュエータ１６ａにより所定の動作を実行するようになっている。
また、付帯素子１１は、その送信手段１６ｄにより、必要に応じてアクチュエータ作動命令受信確認信号および／またはアクチュエータの実行結果(作動結果）を含むアクチュエータ実行通知信号を発光指示命令／信号受信部２１０に送信する。
発光指示命令／信号受信部２１０は、付帯素子１１からアクチュエータ作動命令受信確認信号またはアクチュエータ実行通知信号を受信し、その受信結果に基づくアクチュエータの作動機能に関する情報を、対応するオブジェクトＯの識別情報、オブジェクトＯに関連する情報または情報処理機能に関連付けて認識するようになっている。
図４２は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図である。
図４２は、図２６に示す実施形態において各付帯素子１１に作動部１６を図４１に示すように備えるとともに、またコンピュータシステム２における発光指示命令／信号受信部１９０（発光指示命令送信手段２１、作動命令送信手段４５および受信手段４６に対応）は、作動命令を付帯素子１１に送信し、付帯素子１１から作用実行通知および／または作動命令受信確認信号を受信するように構成した図である。従って、その他の構成および作用は図２６および図４１と同じであり、その説明は省略する。
図４３は、図２７に示した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯの画像との結合において付帯素子１１の情報として更にアクチュエータ作動機能に関する情報を加えた図である。
すなわち、コンピュータシステム２は、関連付け蓄積手段４７により、発光時刻Ｔｍにおいて第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトの識別ＩＤ＝ｍの符号１３４（Ｔｍ）で示す付帯素子１１ｂの発光点の位置座標（Ｘｍ， Ｙｍ）および上記発光時刻Ｔｍにおいて動作されたアクチュエータ１６ａの作動機能を表す情報Ａｍ（符号２０１ａで示す）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍに撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ）とを結合する（図４４；ステップＳ１４０）。
次いで、コンピュータシステム２は、発光時刻Ｔｍ＋１において第１の動画カメラ１０３ａで撮像した画像により得られた実世界オブジェクトの識別ＩＤ＝ｍ＋１の符号１３４ｂで示す付帯素子１１ｃの発光点の位置座標（Ｘｍ＋１， Ｙｍ＋１）および上記発光時刻Ｔｍ＋１において動作されたアクチュエータ１６ａの作動機能に関する情報Ａｍ＋１（符号２０１ｂで示す）を、第１の動画カメラ１０３ａの撮像タイミングに同期して第２の動画カメラ１０３ｂで同一時刻Ｔｍ＋１に撮像した実世界オブジェクトＯｂの画像１５１（Ｔｍ＋１）を結合する（ステップＳ１４１）。このような動作により、映像コンテンツ（画像）内に表示されるそれぞれの実世界オブジェクトＯｂの画像、位置およびアクチュエータの作動機能に関する情報をコンピュータシステム２上で結合することができる。
この結果、コンピュータシステム２は、結合された実世界オブジェクトＯの画像、位置およびアクチュエータの作動機能に関する情報に基づいて、所望のタイミング（例えば、受信に応じて、あるいはユーザからの指示に応じて）において、上記実世界オブジェクトＯの画像上における例えば発光点の位置座標（オブジェクトＯｂの位置座標）上に対し、対応する付帯素子１１ｂのアクチュエータの例えば作動結果を表す情報を所定の表示形態（数値、アニメーション等）に加工して重畳表示することができる。
図４４は、図２９に示した付帯素子１１の発光点の位置と第２の動画カメラ１０３ｂで撮像した実世界オブジェクトＯｂの画像との関連付けにおいて実世界オブジェクトＯｂの画像｛１５１（Ｔｍ）、１５１（Ｔｍ＋１）｝上に可視マーカＭｂを重ねて表示したものに更に付帯素子１１の情報としてアクチュエータの作動機能に関する情報Ａｍ、Ａｍ＋１（図４３および図４４参照）を加えた図である。その他の構成および作用は同じであり、その説明は省略する。
この結果、ユーザが上記オブジェクトＯｂに付帯された付帯素子１１ｂの作動機能に係る情報を視認したいと考えた際に、入力手段３２における例えばマウスで対応する可視マーカＭｂを指定（クリック）した場合、コンピュータシステム２のメモリにロードされたプログラムにより、コンピュータシステム２は、クリックされた可視マーカＭｂに対応する付帯素子１１ｂのアクチュエータの例えば作動結果を表す情報を、例えば可視マーカＭｂの表示位置上、あるいはその近傍に表示することができ、ユーザは、表示された作動結果情報を視認することができる。
図４５は、図４１に示した実施形態においてアクチュエータとして可視光発光素子１６ａを使用した場合の図であり、その他の構成および作用は図４１と同じである。なお、付帯素子１１は、発光指示命令／信号受部２１０からの発光指示命令に応答して発光する発光素子１５ｃとして、上述したように赤外付帯素子を備えているが、この赤外の付帯素子に加えてアクチュエータとして可視光発光素子を備えているものである。
すなわち、図４５において、付帯素子１１にアクチュエータとして備えられている可視光発光素子に対して発光指示命令／信号受信部２１０が可視光発光指示命令を送信すると、付帯素子１１の作動命令受信手段１６ｂは、この可視光発光指示命令を受信し、識別情報比較手段１６ｃにより、受信した可視光発光指示命令に含まれる識別ＩＤが自分に割り当てられた識別ＩＤであると判断した場合に、この可視光発光指示命令に従って可視光発光素子１６ａを作動させて、可視光発光指示命令への応答信号を発光指示命令／信号受信部２１０に送信する。
発光指示命令／信号受信部２１０は、付帯素子１１から可視光発光指示命令への応答信号を受信し、付帯素子１１の可視光発光素子１６ａが作動したことを知ることができる。
図４６は、図４５に示したように付帯素子１１にアクチュエータとして可視光発光素子１６ａを有する場合において、図２６に示した第２の動画カメラ１０３ｂを設けた場合の図であり、その他の構成および作用は図４５および図２６と同じである。
図４７は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に動画カメラの視野内へのオブジェクトの登場処理を説明するための図である。
図４７に示す実施形態では、付帯素子１１ｂを付帯した実世界のオブジェクトＯｂが動画カメラ１０３の視野内に登場する場合の処理を示している。すなわち、図４７（ａ）に示すように、時刻Ｔ＝ｔ１において点線で囲んで示す植物、ディスプレイ、カバンであり、それぞれ付帯素子を有する付帯素子１１ａ、１１ｃ、１１ｄを付帯する３つのオブジェクトＯａ、Ｏｃ、Ｏｄが認識されている状況において、図４７（ｂ）に示すように、時刻Ｔ＝ｔ２において新たに付帯素子を有する付帯素子１１ｂを付帯したヒトであるオブジェクトＯｂが動画カメラ１０３の視野内に登場したとする。
このとき、コンピュータシステム２は、対応付け手段２５により、所定の時定数ΔＴの間に、そのオブジェクトＯｂの識別ＩＤと付帯素子１１ｂの発光点を図４７（ｂ）に示すように認識したとき（図４８；ステップＳ１５０）、その識別ＩＤのオブジェクトＯｂが新たに登場したとコンピュータシステム２は認識する（ステップＳ１５１）。
なお、必要があれば、オブジェクトへの発光指示命令の頻度を可変とし、登場判定をした後に、低下させていたオブジェクトＯｂへの発光指示命令の頻度を既に認識している他のオブジェクトと同じ頻度と同じレベルに戻すことができる。
図４９は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に動画カメラの視野外へのオブジェクトの退場処理を説明するための図である。
図４９に示す実施形態では、付帯素子１１を付帯した実世界のオブジェクトＯが動画カメラ１０３の視野外に退場する場合の処理を示している。すなわち、図４９（ａ）に示すように、時刻Ｔ＝ｔ１において点線で囲んで示す植物、ヒト、カバン、ディスプレイであり、それぞれ付帯素子を有する付帯素子１１ａ、１１ｂ、１１ｃ、１１ｄを付帯する４つのオブジェクトＯａ、Ｏｂ、Ｏｃ、Ｏｄが認識されている況において、図４９（ｂ）に示すように、時刻Ｔ＝ｔ２においてオブジェクトＯｂが矢印１９１で示すように動画カメラ１０３の視野外に退場したとする。
このようなオブジェクトＯｂが動画カメラ１０３の視野領域外に退場した場合に、コンピュータシステム２は、所定の時定数ΔＴの間に、そのオブジェクトＯｂの識別ＩＤと付帯素子１１ｂの付帯素子からの発光点とが認識できないとき（図５０；ステップＳ１６０）、その識別ＩＤのオブジェクトＯｂが視野領域１０９から退場したものと認識する（ステップＳ１６１）。
このように退場したと認識した後は、オブジェクトＯｂへの発光指示命令の頻度を低下させて、無用な通信の頻度を低下させると共に、退場したオブジェクトＯｂの付帯素子１１ｂの付帯素子からの無駄な発光による消費電力を削減することができる。
図５１は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に動画カメラを複数台設けて、立体測量を行う処理を説明するための図である。
図５１に示す実施形態では、オブジェクトＯに付帯されている付帯素子１１の付帯素子からの発光を認識する動画カメラを複数台（図４０では、Ｘ、Ｙ，Ｚ軸に対応させた３台の動画カメラ１０３ｘ、１０３ｙ、１０３ｚを設け、各動画カメラから得られる発光点座標に基づく三角測量から得られる実空間オブジェクトの空間位置情報を取得するものである。なお、本実施形態では、３台の動画カメラ１０３ｘ、１０３ｙ、１０３ｚのレンズ系の光軸がＸ、Ｙ、Ｚ軸として直交するように配置した例を示しているが、動画カメラからの２次元フレーム画像信号から抽出される座標から、三角測量で当該オブジェクトＯに付帯する付帯素子１１の付帯素子の発光点座標を計算できる配置であれば、任意の配置でよいものである。また、複数台の動画カメラのフレームは同期しているものとする。
図５１の実施形態では、前掲図４のステップＳ８において、コンピュータシステム２は、Ｘ、Ｙ、Ｚ軸として直交する光軸をもつ３台の動画カメラ１０３ｘ、１０３ｙ、１０３ｚから抽出され、同期している各フレーム画像内での発光座標（Ｘｍ、Ｙｍ）、（Ｚｍ、Ｙｍ）、（Ｘｍ、Ｚｍ）から３次元実空間での座標（Ｘｍ、Ｙｍ、Ｚｍ）を計算する。この３次元実空間での位置座標とオブジェクトの識別ＩＤと同期している注目フレーム時間Ｔｍとを予め取り込まれていたコンピュータシステム２上の情報、オブジェクト、任意の情報処理機能等と関連付ける。
図５２は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に他の物などにより隠蔽されるオブジェクトのトラッキング処理を説明するための図である。
本実施形態では、図５２（ａ）に示すように、時刻Ｔ＝ｔ１において点線で囲んで示す植物、ヒト、カバン、ディスプレイであり、それぞれ付帯素子を有する付帯素子１１ａ、１１ｂ、１１ｃ、１１ｄを付帯する４つのオブジェクトＯａ、Ｏｂ、Ｏｃ、Ｏｄが認識されている状況において、図５２（ｂ）に示すように、時刻Ｔ＝ｔ２においてオブジェクトＯｂが移動することにより、その付帯素子１１ｂの発光が別のオブジェクトＯｄにより隠蔽されたとする。
このように付帯素子１１ｂの発光が別のオブジェクトＯｄにより隠蔽されたとすると、動画カメラ１０３ａはオブジェクトＯｂの付帯素子１１ｂの発光を認識できなくなる。
このとき、コンピュータシステム２は、時刻Ｔ＝ｔ２において認識していたオブジェクトＯｂの付帯素子１１ｂの発光が認識できない場合（図５３；ステップＳ１７０→ＹＥＳ）、コンピュータシステム２は、過去の時刻Ｔ＝ｔ１における第２の動画カメラ１０３ｂの撮影画像から、過去の発光点を含むオブジェクトＯｂの輪郭を捕捉する処理を行う(ステップＳ１７１）。なお、ここではオブジェクトＯｂは人であるから、人の輪郭を画像処理によって抽出する。
そして、コンピュータシステム２は、捕捉されたオブジェクトＯｂの輪郭に基づいて、付帯素子１１ｂの発光が認識できない間は、第２の動画カメラ１０３ｂの撮影画像からオブジェクトＯｂの輪郭の移動を追跡することにより、図５２（ｃ）に示すように、オブジェクトＯｂの付帯する付帯素子１１ｂの発光の一時的穏蔽を補完し、オブジェクトＯｂ（付帯素子１１ｂ）の位置を予測する（ステップＳ１７２）。
ステップＳ１７１〜Ｓ１７２の捕捉追跡処理以外の処理として、コンピュータシステム２は、隠蔽される直前の隣接フレーム画像（例えば、ｔ＝ｔ０、ｔ１における第２の動画カメラ１０３ｂの撮影画像）に基づいて、例えば画素値の相関状態によりオブジェクトＯｂの移動方向および移動距離に基づく動きベクトルを算出し（図５４；ステップＳ１８０）、算出した動きベクトルから次に発光を認識できるであろう位置を推定し（ステップＳ１８１）、その領域を優先して発光点を捜す（ステップＳ１８２）こともできる。
本実施形態の例では、ステップＳ１７１〜Ｓ１７２の処理、あるいはステップＳ１８０〜Ｓ１８２の処理により、隠蔽されたオブジェクトＯｂの移動位置が推定・捕捉されているため、図５２（ｄ）に示すように、ある時刻Ｔ＝ｔ３において、オブジェクトＯｂが隠蔽状態から脱して、再度、その付帯素子１１ｂの発光が認識された状態において、迅速にオブジェクトＯｂ（付帯素子１１ｂ）を検出することができる。
図５５は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特にオブジェクトの付帯する付帯素子からの発光点を認識するための発光パターンのテンプレートに対して付帯素子の過去の発光部分画像を反映して、過去の発光部分画像と相似したテンプレートを使用した処理を示す図である。
本実施形態において、コンピュータシステム２は、認識すべき実オブジェクトの発光を確実に認識するために、前掲図６や図８で説明した差分処理を実行して得られたフレーム画像ｎ２２７に対して、過去の付帯素子１１の発光部分画像と相似したテンプレート２３１ａを用いながら差分処理後フレーム画像ｎ２２７の全領域に対して矢印２２９で示すようにマッチング処理を行う（ステップＳ１９０）。
次いで、コンピュータシステム２は、マッチング処理で算出した座標毎のテンプレートに対する認識距離（相違度）を計算してその認識距離の分布２２８を取得する（ステップＳ１９１）。
この結果、得られた認識距離分布２２８における距離差（相違度の差）に基づいて、最も認識距離の短い（相違度の小さい）信号を優先順位１位、次の信号を２位等のように優先認識順位を決めることができる。
したがって、コンピュータシステム２は、優先順位の高いものを付帯素子１１の発光素子からの発光信号画像と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ１９２）。
図５６は、図５５に示した実施形態において過去の発光部分画像をテンプレートとして使用した処理を示す図である。
本実施形態では、認識すべき実オブジェクトの発光を確実に認識するために、コンピュータシステム２は、差分処理後のフレーム画像ｎ２２７に対して、過去の付帯素子１１の発光部分画像をテンプレート２３１ｂとして用いながら差分処理後フレーム画像ｎ２２７の全領域に対して矢印２２９で示すようにマッチング処理を行う(ステップＳ２００）。
次いで、コンピュータシステム２は、マッチング処理で算出した座標毎のテンプレートに対する認識距離（相違度）を計算してその認識距離の分布２２８ａを取得する（ステップＳ２０１）。
この結果、得られた認識距離分布２２８ａにおける距離差（相違度の差）に基づいて、最も認識距離の短い（相違度の小さい）信号を優先順位１位、次の信号を２位等のように優先認識順位を決めることができる。
したがって、コンピュータシステム２は、優先順位の高いものを付帯素子１１の発光素子からの発光信号画像と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ２０２）。
図５７は、図５５に示した実施形態において過去の付帯素子の発光点位置認識に使ったテンプレートを使用した処理を示す図である。
本実施形態では、認識すべき実オブジェクトの発光を確実に認識するために、コンピュータシステム２は、前掲図６や図８で説明した差分処理を実行して得られたフレーム画像ｎ２２７に対して、過去の付帯素子の発光点位置認識に使ったテンプレート２３１ｃを用いながら差分処理後のフレーム画像ｎ２２７の全領域に対して矢印２２９で示すようにマッチング処理を行う（ステップＳ２１０）。
次いで、コンピュータシステム２は、マッチング処理で算出した座標毎のテンプレートに対する認識距離（相違度）を計算してその認識距離の分布２２８ｂを取得する（ステップＳ２１１）。
この結果、得られた認識距離分布２２８における距離差（相違度の差）に基づいて、最も認識距離の短い（相違度の小さい）信号を優先順位１位、次の信号を２位等のように優先認識順位を決めることができる。
したがって、コンピュータシステム２は、優先順位の高いものを付帯素子１１の発光素子からの発光信号画像と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ２１２）。
図５８は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に付帯素子の発光を撮像する撮像手段の撮影条件の変更中処理を示す図である。
本実施形態では、動画カメラ１０３の撮影条件変更中において、コンピュータシステム２は、その撮影条件変更間に出力したフレーム画像信号は無視または廃棄して、付帯素子１１の発光位置の検出処理を中断する（ステップＳ２２０）。
すなわち、図５８に示すように、フレーム画像（ｎ−１）を動画カメラ１０３で撮像した後、フレーム画像（ｎ）の時刻において矢印２５１で示す動画カメラ１０３の撮影条件が変更（変更中）となった場合には、コンピュータシステム２は、点線で囲んで示すように、フレーム画像（ｎ）を無視または破棄し、位置検出処理を中断するようにしている。
また同様に、付帯素子１１の付帯されている実世界のオブジェクトＯの画像そのものを撮像するための第２の動画カメラ１０３ｂの撮影条件変更中も、第１の動画カメラ１０３ａが出力したフレーム画像信号を廃棄して、付帯素子の発光位置の検出処理を中断するようにする。
図５９は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に衝突時の処理を説明するための図である。
本実施形態では、複数の発光認識があった時は、その時点で抽出した発光位置情報を廃棄する。
すなわち、図５９に示すように、コンピュータシステム２は、前掲図６または図８で説明した差分処理により得られた差分処理後のフレーム画像信号ｎ２２４に対して前掲図１０および図１２で説明した空間フィルタ処理後およびパターンマッチング処理をそれぞれ施し、その結果得られた空間フィルタ処理後のフレーム画像ｎ２２４およびパータンマッチング処理後のフレーム画像ｎ２２８について、前掲図１３に示した優先順位の比較処理（ステップＳ２３０およびステップＳ５０参照）を実行した結果においても、最終的に優先順位１位の発光点が２３２で示すように複数存在した場合（ステップＳ２３１）、このフレーム画像時点での抽出位置座標は廃棄する（ステップＳ２３２）。
図６０は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に付帯素子の発光パターンに関する処理を説明するための図である。
本実施形態では、付帯素子１１の複数回の発光パターンを照合確認した上で、付帯する実世界のオブジェクトの位置として認識するものである。
図６０では、付帯素子１１は、自素子１１により自発的、あるいは発光指示命令装置１０５の命令に応じて、発光制御手段１５ｄにより、動画カメラ１０３のフレームに同期させながら、５フレームで１つのの発光パターンＰ（発光、発光、非発光、発光、非発光）のように変化させながら発光素子１５ｃを発光させる。そして、この発光パターンＰは、例えば付帯素子１１の識別ＩＤ（付帯している実オブジェクトの識別ＩＤ）に対応させることができる。
具体的には、認識ＩＤが例えば５ビット（１１０１０）で表されているとすれば、付帯素子１１は、発光パターンを図６０に示すように対応ビットが１の時は発光させ、対応ビットが０の時は非発光として出力し、コンピュータシステム２の映像カメラ１０３が、対応する５フレームの間でこの発光パターンを認識するものである。
このとき、コンピュータシステム２は、認識結果から、この発光が識別ＩＤ＝ｍ（１１０１０）のオブジェクトであることを確認できた際に、各フレーム画像信号で抽出していた発光位置座標を認識ＩＤ＝ｍのオブジェクトの位置として認識する（ステップＳ２４０）。ここでは、５ビットの例で示したが、必要であれば、識別ＩＤに対応した任意のビット数と発光パターンの組み合わせでも良い。
図６１は、テンプレートとして付帯素子の中央の光強度を最大露光値付近とし、その中央から円錐状に光強度が下がるテンプレートを使用することを示す図である。
本実施形態では、認識すべき実オブジェクトの発光を確実に認識するために、コンピュータシステム２は、前掲図６や図８で説明した差分処理を実行して得られた差分処理後のフレーム画像ｎ２２７に対して付帯素子中央の光強度を最大露光値付近とし、その中央から円錐状に光強度が下がるテンプレート２３１ｘを用いながら差分処理後フレーム画像ｎ２２７の全領域に対して矢印２２９で示すようにマッチング処理を行う（ステップＳ２５０）。
次いで、コンピュータシステム２は、マッチング処理で算出した座標毎のテンプレートに対する認識距離（相違度）を計算してその認識距離の分布２２８ｘを取得する（ステップＳ２５１）。
この結果、得られた認識距離分布２２８ｘにおける距離差（相違度の差）に基づいて、最も認識距離の短い（相違度の小さい）信号を優先順位１位、次の信号を２位等のように優先認識順位を決めることができる。
したがって、コンピュータシステム２は、優先順位の高いものを付帯素子１１の発光素子からの発光信号画像と判定することにより、優先順位１位の座標を所望のオブジェクトＯに付帯されている付帯素子１１の発光素子の発光点位置、すなわち付帯素子１１の位置、引いてはオブジェクトＯの位置と判定することができる（ステップＳ２５２）。
図６２は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に発光する光の波長が異なる複数の発光素子をそれぞれ備えた複数の付帯素子をオブジェクトに付帯させる場合の処理を示す図である。
本実施形態では、実世界の各オブジェクトＯａ、Ｏｂ、Ｏｃの付帯する付帯素子１１ａ、１１ｂ、１１ｃにそれぞれ発光波長の異なる複数（本実施形態では２個）の発光素子１１１ａ、１１１ｂを設け、各波長に対する減衰量の異なるフィルタを動画カメラ３３０に備える。実世界の各オブジェクトＯに発光波長がλ１とλ２の２個の発光素子１１１ａ、１１１ｂを有する付帯素子１１ａ、１１ｂを付帯させて発光させ、これに対して動画カメラ３３０のフィルタ特性図に示すように減衰量がλ２の波長よりもλ１の波長の方が大きいフィルタを動画カメラ３３０に備え付ける。
この結果、動画カメラ３３０が捉えた出力フレーム画像は、図に示すようにλ２の発光波長の発光素子を有する付帯素子の発光強度がλ１の発光波長の発光素子を有する付帯素子の発光強度より大きくなって認識される。これによって、実世界オブジェクトが付帯している付帯素子からの発光パターンは特徴的なパターンとなるため、他のノイズ発光源との識別が容易になり、誤認識の確率を低減することができる。この例では、２つの発光波長の例を示したが、これに限定されるものでなく、３つ以上の波長の組み合わせや、任意の波長特性をもつフィルターとを組み合わせることが可能である。
図６３は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に付帯素子の発光の光強度を可変とした処理を説明するための図である。
本実施形態では、オブジェクトＯに付帯される付帯素子１１の発光強度を強および弱の組み合わせで変調して、変調パターンを照合確認した上で、付帯する実世界のオブジェクトＯの位置として認識するものである。
すなわち、図６３において、付帯素子１１は、自素子１１により自発的、あるいは発光指示命令装置１０５の命令に応じて、動画カメラ１０３のフレームに同期させながら、例えば５フレームで１つのオブジェクトの発光強度変調パターンＰ１で発光素子１５ｃを発光させる。そして、この発光強度変調パターンＰ１は、例えば付帯素子１１の識別ＩＤ（付帯している実オブジェクトの識別ＩＤ）に対応させることができる。
例えば、識別ＩＤが５ビット（１１０１０）で表されているとすれば、付帯素子１１は、発光変調パターンを同図に示すように対応ビットが１の時は発光強度を強くさせ、対応ビットが０の時は発光強度を弱くして出力すれば良い。
このとき、コンピュータシステム２の映像カメラ１０３は、対応する５フレームの間でこの発光変調パターンＰ１を認識する。
そして、コンピュータシステム２は、認識結果から、この発光が識別ＩＤ＝ｍ（（１１０１０）＝（強、強、弱、強、弱））のオブジェクトであることを確認できた際に、各フレーム画像信号で抽出していた発光位置座標を識別ＩＤ＝ｍのオブジェクトの位置として認識する（ステップＳ２６０）。なお、本実施形態では、５ビットの例について説明したが、これに限定いされるものでなく、識別ＩＤに対応した任意のビット数で発光強度を変調しても良い。
図６４は、本発明に係る図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特にオブジェクトに付帯する付帯素子を複数設けた場合の処理を示す図である。
本実施形態では、実世界のオブジェクトＯに付帯させる付帯素子１１の発光素子を複数設け、その発光素子数で光強度を可変とするものである。具体的には、同図に示すように、４個の発光素子１１２ａ、１１２ｂ、１１２ｃ、１１２ｄを有する付帯素子１１をオブジェクトＯに付帯させ、この４個の発光素子１１２ａ、１１２ｂ、１１２ｃ、１１２ｄの発光数を０から４個の間で可変とすることにより、実効的に動画カメラ１０３で撮影した時の発光強度を可変とするものである。
なお、各発光素子１１１ａ〜１１１ｄは、十分に近接して配置することが好ましい。
例えば、発光素子１１２ａ、１１２ｂ、１１２ｃ、１１２ｄの発光強度を変調して、変調パターンを照合確認した上で、付帯する実世界のオブジェクトＯの位置として認識するなどの機能を実現することができる。あるいは、太陽光や照明などの外乱の有無により、発光強度を可変として、オブジェクトの誤認識率を低下させることも可能である。
図６５は、本発明の他の実施形態に係わる図１に示す実世界オブジェクト認識システム１の別の実施形態の全体動作を説明するための図であり、特に受光強度が所定値以上の領域を内包する最小矩形の中の発光面積率が所定値以上であった領域を発光認識対象とする処理を説明するための図である。
本実施形態では、認識すべき実世界オブジェクトの発光を確実に認識して、他の外乱光源の誤認識を避けるために、コンピュータシステム２は、前掲図６や図８で説明した差分処理を実行して得られた例えば差分処理後のフレーム画像ｎのうち、受光強度が所定値以上の領域を内包する最小矩形の中の発光面積率が所定値以上であった領域を探し（ステップＳ２７０）、その発光面積率が所定値以上の領域を主たる発光認識対象とする（ステップＳ２７１）。
例えば、本実施形態では、実世界オブジェクトの付帯素子の発光パターンを内包する最小矩形の中の発光面積率が７０％以上である場合を示しており。例えば７０％以上の発光パターンの認識優先順位を上位とし、７０％以下の発光パターンは外乱光源として、認識優先順位付けから外すなどしている。
この結果、外乱光源からの発光点を付帯素子の発光点としてご認識する可能性を大幅に低減することができる。
なお、上述した各実施の形態では、付帯素子１１の位置情報を発する機能として、発光素子を用いたが、上記発光素子の代わり、あるいは発光素子と併用してＧＰＳ（Global Positioning System）等のような自付帯素子の位置情報を検出して自発的、あるいはコンピュータシステム２からの位置情報送信指令に応じて送信する機能を有していても良い。
また、性能の優劣を問わず機能を実現するだけであれば、従来の技術に記載の位置検出方法の適用も可能である。例えば、付帯素子の位置情報を取得するために、超音波を使った三角測量に基づく位置特定システムを用いることも可能である。
その一例として、１０００平米のビル内で、約３ｃｍの位置精度でオブジェクトの位置を特定するため、一辺１．２ｍのグリッドに１個の超音波センサを７２０台天井に埋め込んでいる。そして、オブジェクトに付帯する長さ８ｃｍのデバイスは電波送受信機と超音波発信器を内蔵しており、識別ＩＤが割り振られている。
そして、中央コントローラから電波チャネルでその識別ＩＤを送り、同時に天井の超音波センサネットワークの各カウンタをリセットする。一方、自分のＩＤを電波で受け取ったデバイスは超音波の短パルスを発信し、天井のセンサのいくつかがそれを受信して、伝播遅延時間の差から三角法により位置を算出する。
システム全体は中央コントローラや超音波センサネットワークを制御するコントローラを含めてタイミングクロックにより同期して動作している。これにより、電波による識別ＩＤ送信時点から、ある超音波センサが超音波の短パルスを検知した時点までの時間差を算出する根拠を与えている。このシステムにより、毎秒７５個のオブジェクトを認識して、位置を特定できるとしている。
このセンサシステムに分散オブジェクト指向モデルで、ビル内の全ての「ヒト」を含むオブジェクトの位置とリソースデータをインテグレートし、ヒトに自然に感じられるオブジェクト間の空間的相関関係をアプリケーション・ソフトウエアに提示することで、抽象化構成できる空間モニタリングシステムとなっている。
各オブジェクトの位置と状態データはＣＯＲＢＡ（Ｃｏｍｍｏｎ Ｏｂｊｅａｔ Ｒｅｑｕｅｓｔ Ｂｒｏｋｅｒ Ａｒｃｈｉｔｅｃｔｕｒｅ）のオブジェクトセットで表現される。ＣＯＲＢＡは分散オブジェクトシステムを実現するために必要となるオブジェクト指向ネットワーク基盤の標準である。例えば、実世界の各オブジェクトに対して、ＣＯＲＢＡのオブジェクトが対応する。４０余りのオブジェクトの種類があり、例えば、オフィスのヒト、パソコン、マウス、カメラ、プリンター、電話などの実オブジェクトに対して、ＣＯＲＢＡのオブジェクトが対応し、実世界のオブジェクトの現在のプロパティをもち、実世界のオブジェクトの制御インターフェイスなる。例えば、プリンターは、それに対応するプリンターオブジェクトを経由して、アプリケーション・ソフトウエアが実際のプリンターを作動させる。こうした永続的なＣＯＲＢＡのオブジェクトの全セットがアプリケーション・ソフトウエアから見える世界モデルを形成する。このオブジェクト自体がトランザクション、システムダウン時の代替処理、セッション管理、イベント分散、あるいは大規模な分散システムの陰にある多くの項目の面倒を見て、アプリに単一のプログラミングインターフェイスを提供している。
以上具体的に述べた超音波を使った位置特定システムを用いた場合には、超音波センサ群やセンサ制御コントローラなどを天井や床などに埋め込みこと、およびシステム設計をすることが要求されるため、大きなオフィスビルや病院など、移動性の高い人々が情報の生成、情報へのアクセス、異種の機器や相互のコミニュケーションを交わす必要のある状況への適用で効果を発揮する。
さらに、付帯素子の位置情報を取得するために、赤外発光する実世界のオブジェクトを赤外センサや赤外カメラで認識する技術として、シーンとＩＤを同時に取得可能なイメージセンサからなるＩＤカメラを使用することも可能である。
例えば、実世界のオブジェクト（被写体）に付帯素子としてビーコンと呼ばれるマイコンで点滅が制御される発光ダイオード（ＬＥＤ）を搭載、ＩＤを割り当てておく。ビーコンはそのＩＤに基づいて点滅を繰り返す。このとき、デジタルビデオカメラ（ＩＤカメラ）でその点滅パターンを検知・解析して、ＩＤを認識する。認識したＩＤは被写体の画像に重ねて表示する。赤外線リモコンに例えてみれば、ビーコンは赤外線リモコンの送信機であり、ＩＤカメラはリモコン受信機をアレイ状に配置したアレイセンサ（ＣＭＯＳイメージセンサ）である。
ＩＤカメラは普通のカメラとしてシーンを撮像する（シーンモード）だけでなく、ビーコンを撮像した画像上の座標とビーコンが送信するＩＤデータを組にして出力する（ＩＤモード）。ＩＤモードでは、ＩＤカメラは１２ｋＨｚのサンプリングを２００回繰り返し、ビーコンが送信するキャリア周波数４ｋＨｚの８ビットのＩＤを１９２×１２４画素全てにおいてデコードし、１５ｆｐｓでＩＤ画像を作成する。このＩＤを介してサイバー世界の（インターネット上の）情報とリンクさせることが可能なので、ユーザはそのＩＤを手がかりにオブジェクトに関する情報を入手することができる。ＩＤのビット数は８ビットであり、これを４ｋＨｚのキャリアでマンチェスター符号化し、２２ビットのパケット単位でＩＤデータを送受信することができる。
そして、付帯素子として、実世界のオブジェクトの表面に２次元マトリックスコードを貼り付け、これをビデオカメラで撮影する。撮影画像の処理によって、マトリックスコードを認識する。これにより、ビデオカメラ映像で見ている対象から、認識したマトリックスコードを介して、ネットワーク上の関連情報にアクセスしたり、仮想世界のオブジェクトを展開することができる。
さらに、実オブジェクトに付帯された付帯素子を識別する手段として、実オブジェクトに赤外付帯素子を埋め込み、この赤外付帯素子を赤外領域に感度のある複数台のＣＣＤカメラで撮影することにより、埋め込んだ赤外付帯素子の波長差を利用して複数の付帯素子を識別することも可能である。
例えば、発光中心波長が８００ｎｍ、８２５ｎｍ、８５０ｎｍ、８７５ｎｍ、９００ｎｍの赤外付帯素子と感知可能波長領域の異なる（中心波長が８００ｎｍ、８５０ｎｍ、９００ｎｍの赤外パスフィルタをＣＣＤカメラに装着している）ＣＣＤカメラ複数台とを用いて赤外付帯素子を識別することができる。
さらに、付帯素子（オブジェクト）識別技術として、例えば５個のＬＥＤで構成されるタグを実オブジェクトに取り付け、ビデオカメラで撮影する方法もある。
この方法では、得られたビデオカメラの映像を解析して、タグ情報の読み取りと映像中の位置計算を行う。タグの５個のＬＥＤの内、周辺部の４個は同じタイミングで点灯と消灯を繰り返し、クロック信号の役割を果たし、中央のＬＥＤはクロック信号の点滅から１／４位相遅れて点滅し、データ信号を送る。
このとき、映像カメラがとらえた画像は、先ず明るい画素だけ抜き出される。次に、上記過程で抽出された画素を領域結合して、領域の面積を計算する。面積が一定値以上の領域はタグ光源ではないと判定して除去する。この除去は白い壁の明るい部分や蛍光灯光源そのものなどを判定対象から取り除くために行う。
次にこの様にして選択された複数の領域の中でクロック信号と推定できる組み合わせを探索する。タグのクロック信号は画像中で略ひし形の領域として写るので４領域の全ての組み合わせの中で４頂点のなす角度に制限を加えることでクロック信号源を選び出すことができる。クロック信号源のひし形が選ばれると、直近の映像フレームでひし形があった領域を対応付け、タグがどのように移動しているのかを解析する。次にクロック信号が点灯した際、あるいは消灯した際には、そのひし形の中央付近にＬＥＤが発見できるか否かを調査し、データビットとして「１」又は「０」を読み取る。コンピュータのフレーム処理速度が１０Ｈｚであり、クロックとデータの位相差を考慮すると送信速度は５Ｈｚ以下の任意速度をとり得る。そこで、タグの送信速度を４Ｈｚとしている。
また、付帯素子として、光通信技術を用いた超小型の無線センサノードを用いることもできる。
この無線センサノードを用いたシステムにおいて検討されている無線通信技術は光通信技術であり、例えば、基地局のレーザー光源から届いた光を無線センサノード上に形成した超小型反射ミラーで入射した光軸と平行な方向に戻すか、外すかによって、光信号として返す方式を採用している。
すなわち、基地局に設置したレーザーから、無線センサノード群が散在している領域にレーザー・ビームを照射する。この際、上記の照射光は、無線センサノードをスリープモードから起動するコマンドやセンシング情報を要求するコマンドなどを含み、データを送るために変調することができる。一方、無線センサノードは変調されていないビームを受けた時は、超小型反射ミラーを動かして、反射光を基地局に向けて平行に返すか、外すかによって、反射ビームを変調することにより、基地局にデータを返すことができる。
このとき、超小型反射ミラーを、立方体のコーナー部の内側に形成される互いに垂直な３面を反射鏡として構成している。
すなわち、３面反射鏡に入射した光ビームは入射した光軸と平行に反射さるため、基本的に特別なアライメントが無くても、各無線センサノードから反射されてきた反射ビームは、基地局に戻ってくる。予め、センサノード群が分布している全領域からの反射ビームがＣＣＤイメージセンサアレイ上に結像するようにレンズ系を設計しておけば、各ノードからの変調ビームはその空間位置に対応して、上記センサアレイの上の特定位置のピクセルで受信することができる。
言い換えると、空間分割多重の光通信を実現することができる。空間分解能はＣＭＯＳイメージセンサのピクセルアレイの数によるが、１７ｍ角のエリアにノードが分布しているときに、２５６×２５６のピクセルアレイで受光した場合、各ピクセルは６．６Ｃｍ２の空間領域に対応する。タバコの箱位の距離だけ離れていれば、別のセンサノードからの信号として認識できる。なお、転送信号速度はＣＣＤセンサのフレーム周期に依存することになる。
本発明は、上述した実施の形態、実施例および変形例に限定されるものではなく、本発明に属する範囲内において、上記実施の形態、実施例および変形例を様々に変形して実施することが可能である。
本発明の実施の形態に係る実世界オブジェクト認識システムの概略構成を示す図である。 本発明の一実施形態に係わる実世界とサイバー世界のオブジェクト結合方法を説明するための図である。 図１に示した実施形態において各付帯素子の発光素子からの発光像を撮像した動画カメラの出力フレーム画像（フレーム毎の画像データ）を図示しているものである。 図１および図２に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。 動画カメラのフレーム画像にノイズとして現れた発光像を前フレーム画像との減算（差分）処理により除去する処理を説明するための図である。 図１および図５に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。 動画カメラのフレーム画像にノイズとして現れた発光像を図５とは別の減算処理により除去する処理を説明するための図である。 図１および図７に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。 差分処理でもまだ残っている太陽光、照明などの発光源からのノイズ信号を除去する固定空間フィルタ処理を説明するための図である。 図１および図９に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。 空間フィルタ処理の代わりにパターンマッチング処理を利用して、差分処理でも付帯素子の発光素子の発光信号以外に残っている例えば太陽光、照明などの発光源からのノイズ信号を除去する円錐形定義パターンマッチング処理を説明するための図である。 図１および図１１に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。 空間フィルタ処理後フレーム画像とパターンマッチング処理後フレーム画像から優先順位を比較して最終的な優先順位を決定し、検出すべき付帯素子の発光素子の発光点を識別するオブジェクト抽出処理を説明するための図である。 上述した図２〜図１３の処理を総合した結果を示す図である。 決定された優先順位１位の発光点とオブジェクトに付帯された付帯素子の位置情報を対応付け、そのフレーム内座標を付帯素子の位置情報とすることを示す説明図である。 図１５に示したように抽出されたオブジェクトの識別ＩＤ＝ｍ、ｍ＋１、…、発光指示命令を送信した時間Ｔｍ、Ｔｍ＋１、…、当該オブジェクトのフレーム画像内座標（Ｘｍ，Ｙｍ）、（Ｘｍ＋１，Ｙｍ＋１）、…を関連付けたファイル、すなわち各オブジェクトのフレーム画像内位置データ抽出ファイルを生成する処理を示している図である。 図１６に示した各オブジェクトのフレーム画像内位置データ抽出ファイル３５を予め取り込まれているサイバー上の情報ファイルと結合して、オブジェクトデータベース４１として構成して扱うことを説明している図である。 図１７で説明した各オブジェクトのフレーム画像内位置データ抽出ファイルとオブジェクト名に関するデータファイルをオブジェクトＩＤで結合したオブジェクトデータベースのオブジェクト名に関するデータファイルに対して他の項目であるキーワードを共通キーとして情報ファイルを結合して情報データベースを構成していることを示す図である。 オブジェクトのフレーム画像内位置データ抽出ファイルをサイバー空間上（ネットワークに接続された計算機群と蓄積された情報からなる空間）でのオブジェクト管理に関連付けて、実世界とサイバー世界のオブジェクト管理データベースを構築することを示している図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 図２０に示す実施形態において各付帯素子の発光素子からの発光像を撮像した動画カメラの出力フレーム画像（フレーム毎の画像データ）を図示しているものである。 本発明の別の実施形態に係わる本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 第１の動画カメラで撮像した付帯素子の発光点の位置と第２の動画カメラで撮像した実世界オブジェクトの画像との結合または関連付けを説明するための図である。 図１および図２６に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。 第１の動画カメラで撮像した付帯素子の発光点の位置と第２の動画カメラで撮像した実世界オブジェクトの画像との関連付けにおいて、第１の動画カメラで撮像した付帯素子の発光点の位置座標に該当する第２の動画カメラで撮像した実世界オブジェクトの画像上に可視マーカを重ねて表示した図である。 図１および図２９に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 図３１の実施形態において第１の動画カメラの視野範囲と第２の動画カメラの視野範囲を同じにした図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 オブジェクト管理データベースの生成処理を説明するための図である。 オブジェクト管理データベースを構成するための処理を説明するための図である。 オブジェクト管理データベースを構成するための処理を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 図２７に示した付帯素子の発光点の位置と第２の動画カメラで撮像した実世界オブジェクトの画像との結合において付帯素子の情報として更にセンシングデータを加えた図である。 図２９に示した付帯素子の発光点の位置と第２の動画カメラで撮像した実世界オブジェクトの画像との関連付けにおいて実世界オブジェクトの画像上に可視マーカを重ねて表示したものに更に付帯素子の情報として更にセンシングデータを加えた図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 アクチュエータ作動命令を付帯素子に送信し、付帯素子から必要によりアクチュエータ作動命令受信確認信号またはアクチュエータ実行通知信号を受信するように構成した図である。 付帯素子の発光点の位置と第２の動画カメラで撮像した実世界オブジェクトの画像との結合において付帯素子の情報として更にアクチュエータ作動機能に関する情報を加えた図である。 実世界オブジェクトの画像上に可視マーカを重ねて表示したものに更に付帯素子の情報としてアクチュエータ作動機能に関する情報を加えた図である。 図４１に示した実施形態においてアクチュエータとして可視光発光素子を使用した場合の図である。 図４５に示したように付帯素子にアクチュエータとして可視光発光素子を有する場合において図２６に示した第２の動画カメラを設けた場合の図である。 図１および図２９に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 図１および図５２に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。 図１および図５２に示すコンピュータシステムおよび付帯素子の処理の一例を示す概略フローチャートである。 特にオブジェクトの付帯する付帯素子の付帯素子からの発光点を認識するための発光パターンのテンプレートに対して付帯素子の過去の発光部分画像を反映して、過去の発光部分画像と相似したテンプレートを使用した処理を示す図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 実施形態において過去の付帯素子の発光点位置認識に使ったテンプレートを使って処理を示す図である。 本発明の別の実施形態において、付帯素子の発光を撮像する撮像手段の撮影条件の変更中処理を示す図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態の全体動作を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態を説明するための図である。 テンプレートとして付帯素子の中央の光強度を最大露光値付近とし、その中央から円錐状に光強度が下がるテンプレートを使用することを示す図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態を説明するための図である。 本発明に係る図１に示す実世界オブジェクト認識システムの他の実施形態を説明するための図である。
符号の説明
１…実世界オブジェクト認識システム
２…コンピュータシステム
２ａ…コンピュータ本体
５…発光指示命令装置
６…指示命令／センサ応答受信装置
８…発光指示命令／信号受信装置
１１…付帯素子
１１ａ〜１１ｃ…付帯素子
１４…識別情報記憶部
１５…位置情報出力部
１５ａ…発光指示命令受信手段
１５ｂ…識別情報比較手段
１５ｃ…発光素子
１５ｄ…発光制御手段
１５ｅ…識別情報送信手段
１６…作動部
１６ａ…作用素子
１６ｂ…作動命令受信手段
１６ｃ…識別情報比較手段
１６ｄ…送信手段
１７…センシング部
１７ａ…感知手段
１７ｂ…センシング指示受信手段
１７ｃ…識別情報比較手段
１７ｄ…感知情報送信手段
２０…識別情報生成手段
２１…発光指示命令送信手段
２２…第１の撮像手段
２３…ノイズ処理手段
２５…対応付け手段
２６…映像表示手段
２７…マーカ情報生成手段
３０…第２の撮像手段
３１…ユーザＩＦ部
３２…入力手段
３５…識別情報決定／要求決定手段
４０…センシング指示送信手段
４１…センシング情報受信手段
４５…作動命令送信手段
４６…受信手段
４７…関連付け蓄積手段
１０３…動画カメラ
１０３…映像カメラ
１０３ａ…第１の動画カメラ
１０３ｂ…第２の動画カメラ
１０３ｘ…動画カメラ
１０５…発光指示命令装置
１０９…視野領域
１１１ａ〜１１１ｄ…発光素子
１１２ａ〜１１２ｄ…発光素子
３３０…動画カメラ

Claims (61)

  1. 実世界のオブジェクトに関連する実世界オブジェクト情報をサイバー世界を構成するコンピュータシステムにより認識するための実世界オブジェクト認識方法であって、
    前記実世界オブジェクトに付帯され、一意の識別情報が割り当てられた付帯素子から発せられた前記識別情報および該付帯素子の位置を表す位置情報を前記コンピュータシステムにより受信するステップと、
    受信した前記付帯素子の識別情報および位置情報に基づいて該付帯素子に対応する実世界オブジェクトの位置をコンピュータシステムにより特定して認識するステップと、
    を備えたことを特徴とする実世界オブジェクト認識方法。
  2. 前記付帯素子は、発光指示命令に応答して発光し、その発光点に関する情報を前記位置情報として出力する発光素子を備えており、
    前記コンピュータシステムにより、前記付帯素子を特定する識別情報を含む発光指示命令を送信するステップをさらに備え、
    前記コンピュータシステムの送信ステップに基づく発光指示命令が前記付帯素子により受信され、該発光指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記発光素子を介して発光が発せられた場合に、
    前記受信ステップは、前記コンピュータシステムにより前記付帯素子の発光を撮像手段を用いてフレーム単位の画像として撮像することにより前記発光点の位置を表す位置情報を取得するステップを含み、
    前記認識ステップは、取得された前記発光点の位置情報を前記実世界オブジェクトの位置として認識するステップを含む
    ことを特徴とする請求項１記載の実世界オブジェクト認識方法。
  3. 前記認識ステップは、
    前記撮像手段により撮像された前記付帯素子の発光時点の注目フレーム画像信号から時間軸上の近傍のフレーム画像信号を所定の強度比率で減算するステップと、
    この減算処理の施された注目フレーム画像信号に対して空間フィルタ処理およびパターンマッチング処理の内の少なくとも一方を含むノイズ低減処理を施すステップと、
    このノイズ低減処理を施されたフレーム画像信号において画素濃度の最も高い画像を前記付帯素子の発光像と認識するステップと、
    この認識した発光像のフレーム画像内位置を付帯素子の位置として特定かつ認識するステップと
    をさらに備えたことを特徴とする請求項２記載の実世界オブジェクト認識方法。
  4. 前記減算ステップは、前記注目フレーム画像信号から隣接フレーム画像信号および前記付帯素子の非発光時のフレーム画像信号の内の少なくとも一方を減算する処理および前記注目フレーム画像信号から前後のフレーム画像信号を所定の強度比率で減算する処理の内の何れか一方を行うステップと、
    この減算処理結果として負数となる前記注目フレーム画像信号内の画素信号および所定の閾値以下となる前記注目フレーム画像信号内の画素信号の内の少なくとも一方を除去するステップと、
    を含むことを特徴とする請求項３記載の実世界オブジェクト認識方法。
  5. 前記ノイズ低減処理ステップの空間フィルタ処理は、前記注目フレーム画像信号における所定のフィルタサイズの被フィルタリング範囲内の各画素の画素信号の強度値を平均化する処理を前記注目フレーム画像信号の全領域について実施し、この平均化された信号強度に応じて優先順位を付与するステップを含み、
    前記ノイズ低減処理ステップのパターンマッチング処理は、所定サイズの被パターンマッチング領域についての前記付帯素子の発光パターンに類似した定義パターンとの相関処理を前記注目フレーム画像信号の全領域について実施し、その結果の信号強度に応じて優先順位を付与するステップを含み、
    前記ノイズ低減処理ステップは、前記空間フィルタ処理および前記パターンマッチング処理の内の少なくとも一方の処理により付与された優先順位に基づいて前記発光点の位置を選択し、選択した発光点の位置を前記付帯素子の位置情報と認識するステップを含むことを特徴とする請求項３記載の実世界オブジェクト認識方法。
  6. 前記付帯素子から、前記発光指示命令に応答して前記撮像手段のフレーム周期に同期して前記発光が行われている際に、
    前記認識ステップは、前記付帯素子の発光持続時間を前記撮像手段の１フレーム内および該撮像手段の１フレーム内であり、かつ前記撮像手段のシャッターが開放されている時間内の内の何れか一方として設定し、前記撮像手段の各フレーム単位のフレーム画像信号により前記付帯素子の発光位置を連続的に特定するステップを含むことを特徴とする請求項２乃至５の内の何れか１項に記載の実世界オブジェクト認識方法。
  7. 前記付帯素子の発光素子は、所定の周期で繰り返し発光する機能およびランダムな長さのガード時間の後繰り返し発光する機能の内の何れか一方の機能を備え、前記何れか一方の機能により発光した発光点に関する情報を前記位置情報として出力しており、前記付帯素子は、前記予め割り当てられた識別情報を前記発光に同期して前記コンピュータシステムに向けて送信しており、
    前記受信ステップは、前記コンピュータシステムにより前記付帯素子の発光を撮像手段で撮像することにより前記発光点の位置を表す位置情報を取得し、かつ前記発光に同期して送信される前記識別情報を受信するステップを含み、
    前記認識ステップは、取得された前記発光点の位置情報を前記識別情報で特定される実世界オブジェクトの位置として認識するステップを含むことを特徴とする請求項２記載の実世界オブジェクト認識方法。
  8. 前記コンピュータシステムにより、前記付帯素子を特定する識別情報を含む発光指示命令を送信するステップをさらに備え、
    前記コンピュータシステムの送信ステップに基づく発光指示命令が前記付帯素子により受信され、該発光指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子の前記発光素子が前記発光指示命令に応答して所定時間および所定周期で繰り返し発光した際に、
    前記受信ステップは、前記コンピュータシステムにより前記付帯素子の発光を撮像手段で撮像することにより前記発光点の位置を表す位置情報を取得するステップを含み、
    前記認識ステップは、取得された前記発光点の位置情報を前記識別情報で特定される実世界オブジェクトの位置として認識するステップを含むことを特徴とする請求項２記載の実世界オブジェクト認識方法。
  9. 前記付帯素子から、前記発光指示命令に応答して前記撮像手段のフレーム周期に同期して前記発光が行われている際に、
    前記認識ステップは、前記付帯素子の発光持続時間を前記撮像手段の１フレーム内として設定し、前記撮像手段の各フレーム単位のフレーム画像信号により前記付帯素子の発光位置を連続的に特定するステップを含むことを特徴とする請求項８記載の実世界オブジェクト認識方法。
  10. 実世界のオブジェクトに関連する実世界オブジェクト情報をサイバー世界を構成するコンピュータシステムにより認識するための実世界オブジェクト認識方法であって、
    前記実世界オブジェクトに付帯され、一意の識別情報が割り当てられた付帯素子から発せられた前記識別情報および該付帯素子の位置を表す位置情報を前記コンピュータシステムにより受信するステップと、
    前記付帯素子が付帯されている実世界オブジェクトの画像を前記コンピュータシステムにより取得するステップと、
    受信した前記付帯素子の識別情報および位置情報を前記取得ステップにより取得された実世界オブジェクトの画像に関連付けるステップと、
    関連付けられた前記付帯素子の識別情報、位置情報および前記実世界オブジェクトの画像に基づいて該付帯素子に対応する実世界オブジェクトの位置をコンピュータシステムにより特定して認識するステップと、
    を備えたことを特徴とする実世界オブジェクト認識方法。
  11. 前記付帯素子は、発光指示命令に応答して発光し、その発光点に関する情報を前記位置情報として出力する発光素子を備えており、
    前記コンピュータシステムにより、前記付帯素子を特定する識別情報を含む発光指示命令を送信するステップをさらに備え、
    前記コンピュータシステムの送信ステップに基づく発光指示命令が前記付帯素子により受信され、該発光指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記発光素子を介して発光が発せられた場合に、
    前記受信ステップは、前記コンピュータシステムにより前記付帯素子の発光を前記実世界オブジェクトを含む所定の撮像視野領域を有する第１の撮像手段を用いて撮像することにより前記発光点の位置を表す位置情報を取得するステップを含み、
    前記画像取得ステップは、前記コンピュータシステムにより前記第１の撮像手段と略同一の撮像視野領域を有する第２の撮像手段を用いて前記実世界オブジェクトの画像を撮像するステップを含むことを特徴とする請求項１０記載の実世界オブジェクト認識方法。
  12. 前記関連付けられた前記付帯素子の識別情報、位置情報および前記実世界オブジェクトの画像を所定の画像コンテンツ枠内の画像コンテンツとして表示するステップを備え、
    前記第１および第２の撮像手段の撮像視野領域の内の少なくとも一方は、前記画像コンテンツ枠よりも大きくなっており、
    前記画像コンテンツ枠外に存在する他の実世界オブジェクトの識別情報、発光点位置情報および発光時点を含む状態を脇待機状態として前記第１および第２の撮像手段の内の少なくとも一方の撮像手段により得られた情報に基づいて把握するステップと、
    この把握した前記他の実世界オブジェクトの識別情報、発光点位置情報および発光時点を認識するステップと
    をさらに備えたことを特徴とする請求項１１記載の実世界オブジェクト認識方法。
  13. 前記付帯素子は、当該付帯素子を付帯する実世界オブジェクトの状態および該実世界オブジェクトの近傍の状態の内の少なくとも一方を感知し、この感知した実世界オブジェクトに関するセンシング情報を前記コンピュータシステムに向けて送信する感知手段を有しており、
    前記感知手段により感知された前記センシング情報を受信するステップを備え、
    前記認識ステップは、受信した前記付帯素子の識別情報および位置情報に前記センシング情報を関連付け、関連付けた情報を前記実世界オブジェクト情報として認識するステップを含むことを特徴とする請求項１乃至９の内の何れか１項記載の実世界オブジェクト認識方法。
  14. 前記コンピュータシステムにより、前記付帯素子を特定する識別情報を含むセンシング指示命令を送信するステップをさらに備え、
    前記コンピュータシステムのセンシング指示命令送信ステップに基づくセンシング指示命令が前記付帯素子により受信され、該センシング指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記感知手段を介して感知されたセンシング情報が送信されてきた場合に、
    前記センシング情報受信ステップは、前記コンピュータシステムにより前記付帯素子のセンシング情報を受信するステップを含むことを特徴とする請求項１３記載の実世界オブジェクト認識方法。
  15. 前記センシング情報は、前記付帯素子に割り当てられた識別情報と共に前記コンピュータシステムに向けて送信されており、前記センシング情報受信ステップは、前記コンピュータシステムにより前記識別情報を含むセンシング情報を受信するステップを含むことを特徴とする請求項１４記載の実世界オブジェクト認識方法。
  16. 前記付帯素子は、当該付帯素子を付帯する実世界オブジェクトの状態および該実世界オブジェクトの近傍の状態の内の少なくとも一方を感知し、この感知した実世界オブジェクトに関するセンシング情報を前記コンピュータシステムに向けて送信する感知手段を有しており、
    前記感知手段により感知された前記センシング情報を受信するステップを備え、
    前記画像関連付けステップは、前記受信した前記付帯素子の識別情報、位置情報およびセンシング情報を前記取得ステップにより取得された実世界オブジェクトの画像に関連付けるステップを含み、
    前記認識ステップは、関連付けられた前記付帯素子の識別情報、位置情報、センシング情報および前記実世界オブジェクトの画像に基づく実世界オブジェクト情報を認識するステップを含むことを特徴とする請求項１０乃至１２の内の何れか１項記載の実世界オブジェクト認識方法。
  17. 前記コンピュータシステムにより、前記付帯素子を特定する識別情報を含むセンシング指示命令を送信するステップをさらに備え、
    前記コンピュータシステムのセンシング指示命令送信ステップに基づくセンシング指示命令が前記付帯素子により受信され、該センシング指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記感知手段を介して感知されたセンシング情報が送信されてきた場合に、
    前記センシング情報受信ステップは、前記コンピュータシステムにより前記付帯素子のセンシング情報を受信するステップを含むことを特徴とする請求項１６記載の実世界オブジェクト認識方法。
  18. 前記センシング情報は、前記付帯素子に割り当てられた識別情報と共に前記コンピュータシステムに向けて送信されており、前記センシング情報受信ステップは、前記コンピュータシステムにより前記識別情報を含むセンシング情報を受信するステップを含むことを特徴とする請求項１６記載の実世界オブジェクト認識方法。
  19. 前記付帯素子は、所定の動作を実行する作用素子を有しており、
    前記コンピュータシステムにより、前記付帯素子を特定する識別情報を含む作用素子作動命令を送信するステップと、
    前記作用素子により前記作用素子作動命令に応じて実行された所定の動作に関する情報が送信されてきた際に、その動作に関する動作関連情報を受信するステップとをさらに備え、
    前記認識ステップは、受信した前記付帯素子の識別情報および位置情報に前記動作関連情報を関連付け、関連付けた情報を前記実世界オブジェクト情報として認識するステップを含むことを特徴とする請求項１乃至９の内の何れか１項記載の実世界オブジェクト認識方法。
  20. 前記コンピュータシステムの作用素子作動命令送信ステップに基づく作用素子動作命令が前記付帯素子により受信され、該作用素子動作命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記作用素子作動命令に応じて実行された所定の動作に関する情報が送信されてきた場合に、
    前記動作関連情報受信ステップは、前記コンピュータシステムにより前記付帯素子の動作関連情報を受信するステップを含むことを特徴とする請求項１９記載の実世界オブジェクト認識方法。
  21. 前記動作関連情報は、前記付帯素子に割り当てられた識別情報と共に前記コンピュータシステムに向けて送信されており、前記動作関連情報受信ステップは、前記コンピュータシステムにより前記識別情報を含む動作関連情報を受信するステップを含むことを特徴とする請求項１９記載の実世界オブジェクト認識方法。
  22. 前記付帯素子は、所定の動作を実行する作用素子を有しており、
    前記コンピュータシステムにより、前記付帯素子を特定する識別情報を含む作用素子作動命令を送信するステップと、
    前記作用素子により前記作用素子作動命令に応じて実行された所定の動作に関する情報が送信されてきた際に、その動作に関する動作関連情報を受信するステップとをさらに備え、
    前記画像関連付けステップは、前記受信した前記付帯素子の識別情報、位置情報および動作関連情報を前記取得ステップにより取得された実世界オブジェクトの画像に関連付けるステップを含み、
    前記認識ステップは、関連付けられた前記付帯素子の識別情報、位置情報、動作関連情報および前記実世界オブジェクトの画像に基づく実世界オブジェクト情報を認識するステップを含むことを特徴とする請求項１０乃至１２の内の何れか１項記載の実世界オブジェクト認識方法。
  23. 前記コンピュータシステムの作用素子動作命令送信ステップに基づく作用素子動作命令が前記付帯素子により受信され、該作用素子動作命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記作用素子作動命令に応じて実行された所定の動作に関する情報が送信されてきた場合に、
    前記動作関連情報受信ステップは、前記コンピュータシステムにより前記付帯素子の動作関連情報を受信するステップを含むことを特徴とする請求項２２記載の実世界オブジェクト認識方法。
  24. 前記動作関連情報は、前記付帯素子に割り当てられた識別情報と共に前記コンピュータシステムに向けて送信されており、前記動作関連情報受信ステップは、前記コンピュータシステムにより前記識別情報を含む動作関連情報を受信するステップを含むことを特徴とする請求項２２記載の実世界オブジェクト認識方法。
  25. 前記認識の対象とする実世界オブジェクトが前記撮像手段の撮像視野領域内に認識されているか否の状況を前記コンピュータシステムにより所定の時定数内で判定し、所定の時定数内で認識されれば、前記実世界オブジェクトが前記撮像視野領域内に登場したと判定し、認識されなければ、前記実世界オブジェクトが前記撮像視野領域内から退場したと判定することを特徴とする請求項２乃至２４の内の何れか１項記載の実世界オブジェクト認識方法。
  26. 前記撮像手段は複数設けられており、
    該複数の撮像手段により複数のフレーム画像信号を同期させて撮像するステップと、
    各撮像手段から得られる発光点座標に基づいて三角測量により前記実空間オブジェクトの空間位置情報を取得するステップと、
    取得した空間位置情報を前記実世界オブジェクトの位置情報として認識するステップと
    をさらに備えたことを特徴とする請求項２乃至２５の内の何れか１項記載の実世界オブジェクト認識方法。
  27. 前記認識ステップは、
    前記実世界オブジェクトの付帯する付帯素子の過去の発光による認識位置から推定される領域を優先して発光点を認識するステップと、
    前記第２の撮像手段による撮像画像から過去の発光点を含むオブジェクトの輪郭を捕捉し、前記付帯素子の発光が認識できない間は、前記第２の撮像手段の撮像画像から前記オブジェクトの輪郭の移動を追跡することにより、前記付帯素子の一時的穏蔽を補間するステップと-
    をさらに備えたことを特徴とする請求項１１、１２、１６、２２および２３の内の何れか１項記載の実世界オブジェクト認識方法。
  28. 前記認識ステップは、
    前記実世界オブジェクトの付帯する付帯素子の発光素子からの発光点を認識するための発光パターンのテンプレートと、前記付帯素子の過去の発光部分画像を反映するか、または当該実世界オブジェクトの付帯する付帯素子の発光素子からの発光点を認識するための発光パターンのテンプレートとして過去の付帯素子の発光点位置認識に使われたテンプレートとをマッチングして前記付帯素子の発光素子からの発光点を特定するステップを備えたことを特徴とする請求項２乃至９、および１１乃至２６の内の何れか１項記載の実世界オブジェクト認識方法。
  29. 前記撮像手段の撮影条件を変更している最中は、前記発光検出処理を中断するステップを備えたことを特徴とする請求項２乃至２８の内の何れか１項記載の実世界オブジェクト認識方法。
  30. 前記発光点の位置情報取得ステップは、前記複数の発光点の位置認識があった時は、その時点で抽出した発光点位置情報を廃棄することを特徴とする請求項２乃至９、および１１乃至２９の内の何れか１項記載の実世界オブジェクト認識方法。
  31. 前記認識ステップは、
    前記付帯素子の複数回の発光および非発光からなる発光パターンを照合確認し、この発光パターンにより当該付帯素子が付帯される前記実世界のオブジェクトの位置を認識し、この位置情報、識別情報および発光時点に関する情報を互いに関連付けることを特徴とする請求項２乃至９、および１１乃至３０の内の何れか１項記載の実世界オブジェクト認識方法。
  32. 前記認識ステップは、前記実世界オブジェクトの付帯する付帯素子の発光素子からの発光点を認識するための発光パターンのテンプレートとして、該付帯素子の中央の光強度を最大露光値付近とし、その中央から円錐状に光強度が下がるテンプレートを使用することを特徴とする請求項２乃至９、および１１乃至３１の何れか１項に記載の実世界オブジェクト認識方法。
  33. 前記付帯素子は、波長の異なる複数の発光素子を備えており、
    前記撮像手段は、前記複数の発光素子の複数の波長に対する減衰量の異なるフィルタを備えていることを特徴とする請求項２乃至９、および１１乃至３２の内の何れか１項記載の実世界オブジェクト認識方法。
  34. 前記発光素子は、発光指示命令に応答して、その光強度を変えながら発光することを特徴とする請求項２乃至９、および１１乃至３２の内の何れか１項記載の実世界オブジェクト認識方法。
  35. 前記発光素子は複数であり、その複数の発光素子は、その発光素子数に応じて該複数の発光素子全体の光強度を変えながら発光することを特徴とする請求項３４記載の実世界オブジェクト認識方法。
  36. 前記認識ステップは、
    前記撮像手段により得られた注目フレーム画像信号の内、その受光強度が所定値以上の領域を内包する最小矩形の中の発光面積率が所定値以上であった領域を主たる発光認識対象に設定することを特徴とする請求項項２乃至９、および１１乃至３５の内の何れか１項記載の実世界オブジェクト認識方法。
  37. 実世界のオブジェクトに関連する実世界オブジェクト情報をサイバー世界を構成するための実世界オブジェクト認識装置であって、
    前記実世界オブジェクトに付帯され、一意の識別情報が割り当てられた付帯素子から発せられた前記識別情報および該付帯素子の位置を表す位置情報を受信する手段と、
    受信した前記付帯素子の識別情報および位置情報に基づいて該付帯素子に対応する実世界オブジェクトの位置を特定して認識する手段と、
    を備えたことを特徴とする実世界オブジェクト認識装置。
  38. 前記付帯素子は、発光指示命令に応答して発光し、その発光点に関する情報を前記位置情報として出力する発光素子を備えており、
    前記付帯素子を特定する識別情報を含む発光指示命令を送信する手段をさらに備え、
    前記送信手段に基づく発光指示命令が前記付帯素子により受信され、該発光指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記発光素子を介して発光が発せられた場合に、
    前記受信手段は、前記付帯素子の発光を撮像手段を用いてフレーム単位の画像として撮像することにより前記発光点の位置を表す位置情報を取得する手段を備え、
    前記認識手段は、取得された前記発光点の位置情報を前記実世界オブジェクトの位置として認識する手段を備えた
    ことを特徴とする請求項３７記載の実世界オブジェクト認識装置。
  39. 前記認識手段は、
    前記撮像手段により撮像された前記付帯素子の発光時点の注目フレーム画像信号から時間軸上の近傍のフレーム画像信号を所定の強度比率で減算する手段と、
    この減算処理の施された注目フレーム画像信号に対して空間フィルタ処理およびパターンマッチング処理の内の少なくとも一方を含むノイズ低減処理を施す手段と、
    このノイズ低減処理を施されたフレーム画像信号において画素濃度の最も高い画像を前記付帯素子の発光像と認識する手段と、
    この認識した発光像のフレーム画像内位置を付帯素子の位置として特定かつ認識する手段と、
    をさらに備えたことを特徴とする請求項３８記載の実世界オブジェクト認識装置。
  40. 前記減算手段は、前記注目フレーム画像信号から隣接フレーム画像信号および前記付帯素子の非発光時のフレーム画像信号の内の少なくとも一方を減算する処理および前記注目フレーム画像信号から前後のフレーム画像信号を所定の強度比率で減算する処理の内の何れか一方を行う手段と、
    この減算処理結果として負数となる前記注目フレーム画像信号内の画素信号および所定の閾値以下となる前記注目フレーム画像信号内の画素信号の内の少なくとも一方を除去する手段と
    を備えたことを特徴とする請求項３９記載の実世界オブジェクト認識装置。
  41. 前記ノイズ低減処理手段の空間フィルタ処理は、前記注目フレーム画像信号における所定のフィルタサイズの被フィルタリング範囲内の各画素の画素信号の強度値を平均化する処理を前記注目フレーム画像信号の全領域について実施し、この平均化された信号強度に応じて優先順位を付与する処理を含み、
    前記パターンマッチング処理は、所定サイズの被パターンマッチング領域についての前記付帯素子の発光パターンに類似した定義パターンとの相関処理を前記注目フレーム画像信号の全領域について実施し、その結果の信号強度に応じて優先順位を付与する処理を含み、
    前記ノイズ低減処理手段は、前記空間フィルタ処理および前記パターンマッチング処理の内の少なくとも一方の処理により付与された優先順位に基づいて前記発光点の位置を選択し、選択した発光点の位置を前記付帯素子の位置情報と認識する手段を備えたことを特徴とする請求項３９記載の実世界オブジェクト認識装置。
  42. 前記付帯素子から、前記発光指示命令に応答して前記撮像手段のフレーム周期に同期して前記発光が行われている際に、
    前記認識手段は、前記付帯素子の発光持続時間を前記撮像手段の１フレーム内および該撮像手段の１フレーム内であり、かつ前記撮像手段のシャッターが開放されている時間内の内の何れか一方として設定し、前記撮像手段の各フレーム単位のフレーム画像信号により前記付帯素子の発光位置を連続的に特定する手段を備えたことを特徴とする請求項３８乃至４１の内の何れか１項に記載の実世界オブジェクト認識装置。
  43. 前記付帯素子の発光素子は、所定の周期で繰り返し発光する機能およびランダムな長さのガード時間の後繰り返し発光する機能の内の何れか一方の機能を備え、前記何れか一方の機能により発光した発光点に関する情報を前記位置情報として出力しており、前記付帯素子は、前記予め割り当てられた識別情報を前記発光に同期して送信しており、
    前記受信手段は、前記付帯素子の発光を撮像手段で撮像することにより前記発光点の位置を表す位置情報を取得し、かつ前記発光に同期して送信される前記識別情報を受信する手段を備え、
    前記認識手段は、取得された前記発光点の位置情報を前記識別情報で特定される実世界オブジェクトの位置として認識する手段を備えたことを特徴とする請求項３８記載の実世界オブジェクト認識装置。
  44. 前記付帯素子を特定する識別情報を含む発光指示命令を送信する手段をさらに備え、
    前記送信手段に基づく発光指示命令が前記付帯素子により受信され、該発光指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子の前記発光素子が前記発光指示命令に応答して所定時間および所定周期で繰り返し発光した際に、
    前記受信手段は、前記付帯素子の発光を撮像手段で撮像することにより前記発光点の位置を表す位置情報を取得する手段を備え、
    前記認識手段は、取得された前記発光点の位置情報を前記識別情報で特定される実世界オブジェクトの位置として認識する手段を備えたことを特徴とする請求項３８記載の実世界オブジェクト認識装置。
  45. 前記付帯素子から、前記発光指示命令に応答して前記撮像手段のフレーム周期に同期して前記発光が行われている際に、
    前記認識手段は、前記付帯素子の発光持続時間を前記撮像手段の１フレーム内として設定し、前記撮像手段の各フレーム単位のフレーム画像信号により前記付帯素子の発光位置を連続的に特定する手段を備えたことを特徴とする請求項４４記載の実世界オブジェクト認識装置。
  46. 実世界のオブジェクトに関連する実世界オブジェクト情報をサイバー世界を構成するための実世界オブジェクト認識装置であって、
    前記実世界オブジェクトに付帯され、一意の識別情報が割り当てられた付帯素子から発せられた前記識別情報および該付帯素子の位置を表す位置情報を受信する手段と、
    前記付帯素子が付帯されている実世界オブジェクトの画像を取得する手段と、
    受信した前記付帯素子の識別情報および位置情報を前記取得手段により取得された実世界オブジェクトの画像に関連付ける手段と、
    関連付けられた前記付帯素子の識別情報、位置情報および前記実世界オブジェクトの画像に基づいて該付帯素子に対応する実世界オブジェクトの位置を特定して認識する手段と、
    を備えたことを特徴とする実世界オブジェクト認識装置。
  47. 前記付帯素子は、発光指示命令に応答して発光し、その発光点に関する情報を前記位置情報として出力する発光素子を備えており、
    前記付帯素子を特定する識別情報を含む発光指示命令を送信する手段をさらに備え、
    前記送信手段に基づく発光指示命令が前記付帯素子により受信され、該発光指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記発光素子を介して発光が発せられた場合に、
    前記受信手段は、前記付帯素子の発光を前記実世界オブジェクトを含む所定の撮像視野領域を有する第１の撮像手段を用いて撮像することにより前記発光点の位置を表す位置情報を取得する手段を備え、
    前記画像取得手段は、前記第１の撮像手段と略同一の撮像視野領域を有する第２の撮像手段を用いて前記実世界オブジェクトの画像を撮像する手段を備えたことを特徴とする請求項４６記載の実世界オブジェクト認識装置。
  48. 前記関連付けられた前記付帯素子の識別情報、位置情報および前記実世界オブジェクトの画像を所定の画像コンテンツ枠内の画像コンテンツとして表示する手段を備え、
    前記第１および第２の撮像手段の撮像視野領域の内の少なくとも一方は、前記画像コンテンツ枠よりも大きくなっており、
    前記画像コンテンツ枠外に存在する他の実世界オブジェクトの識別情報、発光点位置情報および発光時点を含む状態を脇待機状態として前記第１および第２の撮像手段の内の少なくとも一方の撮像手段により得られた情報に基づいて把握する手段と、
    この把握した前記他の実世界オブジェクトの識別情報、発光点位置情報および発光時点を認識する手段と、
    をさらに備えたことを特徴とする請求項４７記載の実世界オブジェクト認識装置。
  49. 前記付帯素子は、当該付帯素子を付帯する実世界オブジェクトの状態および該実世界オブジェクトの近傍の状態の内の少なくとも一方を感知し、この感知した実世界オブジェクトに関するセンシング情報を送信する感知手段を有しており、
    前記感知手段により感知された前記センシング情報を受信する手段を備え、
    前記認識手段は、受信した前記付帯素子の識別情報および位置情報に前記センシング情報を関連付け、関連付けた情報を前記実世界オブジェクト情報として認識する手段を備えたことを特徴とする請求項３７乃至４５の内の何れか１項記載の実世界オブジェクト認識装置。
  50. 前記付帯素子を特定する識別情報を含むセンシング指示命令を送信する手段をさらに備え、
    前記センシング指示命令送信手段に基づくセンシング指示命令が前記付帯素子により受信され、該センシング指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記感知手段を介して感知されたセンシング情報が送信されてきた場合に、
    前記センシング情報受信手段は、送信されてきた前記付帯素子のセンシング情報を受信する手段を備えたことを特徴とする請求項４９記載の実世界オブジェクト認識装置。
  51. 前記センシング情報は、前記付帯素子に割り当てられた識別情報と共に送信されており、前記センシング情報受信手段は、前記識別情報を含むセンシング情報を受信する手段を備えたことを特徴とする請求項５０記載の実世界オブジェクト認識装置。
  52. 前記付帯素子は、当該付帯素子を付帯する実世界オブジェクトの状態および該実世界オブジェクトの近傍の状態の内の少なくとも一方を感知し、この感知した実世界オブジェクトに関するセンシング情報を送信する感知手段を有しており、
    前記感知手段により感知された前記センシング情報を受信する手段を備え、
    前記画像関連付け手段は、前記受信した前記付帯素子の識別情報、位置情報およびセンシング情報を前記取得手段により取得された実世界オブジェクトの画像に関連付ける手段を備え、
    前記認識手段は、関連付けられた前記付帯素子の識別情報、位置情報、センシング情報および前記実世界オブジェクトの画像に基づく実世界オブジェクト情報を認識する手段を備えたことを特徴とする請求項４６乃至４８の内の何れか１項記載の実世界オブジェクト認識装置。
  53. 前記付帯素子を特定する識別情報を含むセンシング指示命令を送信する手段をさらに備え、
    前記センシング指示命令送信手段に基づくセンシング指示命令が前記付帯素子により受信され、該センシング指示命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記感知手段を介して感知されたセンシング情報が送信されてきた場合に、
    前記センシング情報受信手段は、送信されてきた前記付帯素子のセンシング情報を受信する手段を備えたことを特徴とする請求項５２記載の実世界オブジェクト認識装置。
  54. 前記センシング情報は、前記付帯素子に割り当てられた識別情報と共に送信されており、前記センシング情報受信手段は、前記識別情報を含むセンシング情報を受信する手段を備えたことを特徴とする請求項５２記載の実世界オブジェクト認識装置。
  55. 前記付帯素子は、所定の動作を実行する作用素子を有しており、
    前記付帯素子を特定する識別情報を含む作用素子作動命令を送信する手段と、
    前記作用素子により前記作用素子作動命令に応じて実行された所定の動作に関する情報が送信されてきた際に、その動作に関する動作関連情報を受信する手段とをさらに備え、
    前記認識手段は、受信した前記付帯素子の識別情報および位置情報に前記動作関連情報を関連付け、関連付けた情報を前記実世界オブジェクト情報として認識する手段を備えたことを特徴とする請求項３７乃至４５の内の何れか１項記載の実世界オブジェクト認識装置。
  56. 前記作用素子作動命令送信手段に基づく作用素子動作命令が前記付帯素子により受信され、該作用素子動作命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記作用素子作動命令に応じて実行された所定の動作に関する情報が送信されてきた場合に、
    前記動作関連情報受信手段は、送信されてきた前記付帯素子の動作関連情報を受信する手段を備えたことを特徴とする請求項４５記載の実世界オブジェクト認識装置。
  57. 前記動作関連情報は、前記付帯素子に割り当てられた識別情報と共に送信されており、前記動作関連情報受信手段は、前記識別情報を含む動作関連情報を受信する手段を備えたことを特徴とする請求項４５記載の実世界オブジェクト認識装置。
  58. 前記付帯素子は、所定の動作を実行する作用素子を有しており、
    前記付帯素子を特定する識別情報を含む作用素子作動命令を送信する手段と、
    前記作用素子により前記作用素子作動命令に応じて実行された所定の動作に関する情報が送信されてきた際に、その動作に関する動作関連情報を受信する手段とをさらに備え、
    前記画像関連付け手段は、前記受信した前記付帯素子の識別情報、位置情報および動作関連情報を前記取得手段により取得された実世界オブジェクトの画像に関連付ける手段を備え、
    前記認識手段は、関連付けられた前記付帯素子の識別情報、位置情報、動作関連情報および前記実世界オブジェクトの画像に基づく実世界オブジェクト情報を認識する手段を備えたことを特徴とする請求項４６乃至４８の内の何れか１項記載の実世界オブジェクト認識装置。
  59. 前記作用素子動作命令送信手段に基づく作用素子動作命令が前記付帯素子より受信され、該作用素子動作命令に含まれる識別情報が自付帯素子に割り当てられた識別情報に一致する場合に該付帯素子から前記作用素子作動命令に応じて実行された所定の動作に関する情報が送信されてきた場合に、
    前記動作関連情報受信手段は、送信されてきた前記付帯素子の動作関連情報を受信する手段を備えたことを特徴とする請求項５８記載の実世界オブジェクト認識装置。
  60. 前記動作関連情報は、前記付帯素子に割り当てられた識別情報と共に送信されており、前記動作関連情報受信手段は、前記識別情報を含む動作関連情報を受信する手段を備えたことを特徴とする請求項５８記載の実世界オブジェクト認識装置。
  61. 実世界のオブジェクトに付帯され、一意の識別情報を有し、前記実世界に対応するサイバー世界を構成するコンピュータシステムと無線通信可能な付帯素子であって、
    前記識別情報および該付帯素子の位置を表す位置情報を前記コンピュータシステムに向けて送信する送信手段と、
    前記コンピュータシステムからの動作指令に応じて前記実世界オブジェクトの状態および該実世界オブジェクトの近傍の状態の内の少なくとも一方を感知し、この感知した実世界オブジェクトに関するセンシング情報を前記コンピュータシステムに向けて送信する感知手段と、
    前記コンピュータシステムからの動作指令に応じて所定の動作を実行し、その動作に関連する動作関連情報を前記コンピュータシステムに向けて送信する動作手段と、
    を備えたことを特徴とする付帯素子。
JP2003391341A 2002-11-25 2003-11-20 実世界オブジェクト認識方法および実世界オブジェクト認識システム Expired - Lifetime JP3927168B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003391341A JP3927168B2 (ja) 2002-11-25 2003-11-20 実世界オブジェクト認識方法および実世界オブジェクト認識システム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2002340965 2002-11-25
JP2003391341A JP3927168B2 (ja) 2002-11-25 2003-11-20 実世界オブジェクト認識方法および実世界オブジェクト認識システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2007010634A Division JP4423302B2 (ja) 2002-11-25 2007-01-19 実世界オブジェクト認識方法および実世界オブジェクト認識システム

Publications (2)

Publication Number Publication Date
JP2004192623A true JP2004192623A (ja) 2004-07-08
JP3927168B2 JP3927168B2 (ja) 2007-06-06

Family

ID=32774744

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003391341A Expired - Lifetime JP3927168B2 (ja) 2002-11-25 2003-11-20 実世界オブジェクト認識方法および実世界オブジェクト認識システム

Country Status (1)

Country Link
JP (1) JP3927168B2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213518A (ja) * 2003-01-08 2004-07-29 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2006323525A (ja) * 2005-05-17 2006-11-30 Nec Corp 光タグ、読み取り装置、光タグ管理方法、光タグ管理システム、光タグ管理プログラム、及び記録媒体
JP2007087428A (ja) * 2006-12-18 2007-04-05 Nec Corp 光タグ、読み取り装置、光タグ管理方法、光タグ管理システム、光タグ管理プログラム、及び記録媒体
JP2008015970A (ja) * 2006-07-10 2008-01-24 Tokai Rika Co Ltd 光通信システム
JP2008070923A (ja) * 2006-09-12 2008-03-27 Ritsumeikan 認証システム、認証方法、及び端末
JP2008070208A (ja) * 2006-09-13 2008-03-27 Ricoh Co Ltd 光位置検出システム、光ｉｄタグ装置、位置検出装置、及び光位置検出方法
JP2009139317A (ja) * 2007-12-10 2009-06-25 Denso Wave Inc 物品位置管理システム
WO2012063593A1 (ja) * 2010-11-08 2012-05-18 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置及びオブジェクト表示方法
WO2012090525A1 (ja) * 2010-12-28 2012-07-05 三菱重工業株式会社 機器、遠隔操作装置、および遠隔操作システム
WO2013019190A1 (en) * 2011-07-29 2013-02-07 Hewlett-Packard Development Company, L.P. System and method of visual layering
US9369632B2 (en) 2011-07-29 2016-06-14 Hewlett-Packard Development Company, L.P. Projection capture system, programming and method
JP2016130874A (ja) * 2015-01-13 2016-07-21 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム
US9521276B2 (en) 2011-08-02 2016-12-13 Hewlett-Packard Development Company, L.P. Portable projection capture device
JP2017156190A (ja) * 2016-03-01 2017-09-07 ｍｐｌｕｓｐｌｕｓ株式会社 通信制御システム
CN109934931A (zh) * 2017-12-19 2019-06-25 阿里巴巴集团控股有限公司 采集图像、建立目标物体识别模型的方法及装置
US10417801B2 (en) 2014-11-13 2019-09-17 Hewlett-Packard Development Company, L.P. Image projection
JP2021125838A (ja) * 2020-02-07 2021-08-30 カシオ計算機株式会社 情報管理装置、情報管理方法及びプログラム
JP2021131234A (ja) * 2020-02-18 2021-09-09 富士フイルムビジネスイノベーション株式会社 発光装置およびプログラム
US11144760B2 (en) 2019-06-21 2021-10-12 International Business Machines Corporation Augmented reality tagging of non-smart items
WO2022102454A1 (ja) * 2020-11-13 2022-05-19 三菱重工業株式会社 レーザー照射システム、画像生成装置、及び、記憶媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6468062B2 (ja) 2015-05-11 2019-02-13 株式会社デンソー 物体認識システム

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004213518A (ja) * 2003-01-08 2004-07-29 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
JP2006323525A (ja) * 2005-05-17 2006-11-30 Nec Corp 光タグ、読み取り装置、光タグ管理方法、光タグ管理システム、光タグ管理プログラム、及び記録媒体
JP2008015970A (ja) * 2006-07-10 2008-01-24 Tokai Rika Co Ltd 光通信システム
JP2008070923A (ja) * 2006-09-12 2008-03-27 Ritsumeikan 認証システム、認証方法、及び端末
JP2008070208A (ja) * 2006-09-13 2008-03-27 Ricoh Co Ltd 光位置検出システム、光ｉｄタグ装置、位置検出装置、及び光位置検出方法
JP2007087428A (ja) * 2006-12-18 2007-04-05 Nec Corp 光タグ、読み取り装置、光タグ管理方法、光タグ管理システム、光タグ管理プログラム、及び記録媒体
JP2009139317A (ja) * 2007-12-10 2009-06-25 Denso Wave Inc 物品位置管理システム
JP2012103789A (ja) * 2010-11-08 2012-05-31 Ntt Docomo Inc オブジェクト表示装置及びオブジェクト表示方法
CN103189827A (zh) * 2010-11-08 2013-07-03 株式会社Ntt都科摩 对象显示装置以及对象显示方法
US9171388B2 (en) 2010-11-08 2015-10-27 Ntt Docomo, Inc. Object display device and object display method
WO2012063593A1 (ja) * 2010-11-08 2012-05-18 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置及びオブジェクト表示方法
WO2012090525A1 (ja) * 2010-12-28 2012-07-05 三菱重工業株式会社 機器、遠隔操作装置、および遠隔操作システム
US10229538B2 (en) 2011-07-29 2019-03-12 Hewlett-Packard Development Company, L.P. System and method of visual layering
WO2013019190A1 (en) * 2011-07-29 2013-02-07 Hewlett-Packard Development Company, L.P. System and method of visual layering
US9369632B2 (en) 2011-07-29 2016-06-14 Hewlett-Packard Development Company, L.P. Projection capture system, programming and method
US9560281B2 (en) 2011-07-29 2017-01-31 Hewlett-Packard Development Company, L.P. Projecting an image of a real object
KR101773988B1 (ko) * 2011-07-29 2017-09-01 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. 시각적 계층화 시스템 및 시각적 계층화 방법
US9521276B2 (en) 2011-08-02 2016-12-13 Hewlett-Packard Development Company, L.P. Portable projection capture device
US10417801B2 (en) 2014-11-13 2019-09-17 Hewlett-Packard Development Company, L.P. Image projection
JP2016130874A (ja) * 2015-01-13 2016-07-21 日本電気株式会社 対象表示システム、管理装置、対象表示方法及び管理プログラム
JP2017156190A (ja) * 2016-03-01 2017-09-07 ｍｐｌｕｓｐｌｕｓ株式会社 通信制御システム
CN109934931A (zh) * 2017-12-19 2019-06-25 阿里巴巴集团控股有限公司 采集图像、建立目标物体识别模型的方法及装置
CN109934931B (zh) * 2017-12-19 2023-03-28 阿里巴巴集团控股有限公司 采集图像、建立目标物体识别模型的方法及装置
US11144760B2 (en) 2019-06-21 2021-10-12 International Business Machines Corporation Augmented reality tagging of non-smart items
JP2021125838A (ja) * 2020-02-07 2021-08-30 カシオ計算機株式会社 情報管理装置、情報管理方法及びプログラム
JP7136141B2 (ja) 2020-02-07 2022-09-13 カシオ計算機株式会社 情報管理装置、情報管理方法及びプログラム
JP2021131234A (ja) * 2020-02-18 2021-09-09 富士フイルムビジネスイノベーション株式会社 発光装置およびプログラム
WO2022102454A1 (ja) * 2020-11-13 2022-05-19 三菱重工業株式会社 レーザー照射システム、画像生成装置、及び、記憶媒体
JP7463254B2 (ja) 2020-11-13 2024-04-08 三菱重工業株式会社 レーザー照射システム、画像生成装置、及び、プログラム

Also Published As

Publication number Publication date
JP3927168B2 (ja) 2007-06-06

Similar Documents

Publication Publication Date Title
JP4423302B2 (ja) 実世界オブジェクト認識方法および実世界オブジェクト認識システム
JP3927168B2 (ja) 実世界オブジェクト認識方法および実世界オブジェクト認識システム
EP3583748B1 (en) Position calibration for intelligent assistant computing device
JP4765027B2 (ja) 情報処理装置及び情報処理システム
US20170185276A1 (en) Method for electronic device to control object and electronic device
US20070096909A1 (en) Interactive networking device
US20050011959A1 (en) Tags and automated vision
Foresti et al. Ambient intelligence: a novel paradigm
Pauwels et al. Sensor networks for ambient intelligence
Smith et al. ViewPointer: lightweight calibration-free eye tracking for ubiquitous handsfree deixis
Kim et al. Watch & Do: A smart iot interaction system with object detection and gaze estimation
Ahvar et al. On analyzing user location discovery methods in smart homes: A taxonomy and survey
JP7192764B2 (ja) 情報処理装置、情報処理方法、及びプログラム
US11450098B2 (en) Firearm detection system and method
Bouchard et al. Accurate trilateration for passive RFID localization in smart homes
EP2702464B1 (en) Laser diode modes
US20200401814A1 (en) Firearm detection system and method
Avrahami et al. Unobtrusive activity recognition and position estimation for work surfaces using RF-radar sensing
JP2005202578A (ja) コミュニケーション装置およびコミュニケーション方法
Balaji et al. RetroSphere: Self-Contained Passive 3D Controller Tracking for Augmented Reality
Leotta et al. PLaTHEA: a marker‐less people localization and tracking system for home automation
Sakata et al. ALTAIR: Automatic location tracking system using active IR-tag
Ashok et al. What am i looking at? low-power radio-optical beacons for in-view recognition on smart-glass
Zhang et al. Easily-add battery-free wireless sensors to everyday objects: system implementation and usability study
Poland et al. Spatial-frequency data acquisition using rotational invariant pattern matching in smart environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040625

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060801

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070213

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070301

R150 Certificate of patent or registration of utility model

Ref document number: 3927168

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110309

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120309

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130309

Year of fee payment: 6

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term