JP2005339339A - Optical identification information acquisition device - Google Patents

Optical identification information acquisition device Download PDF

Info

Publication number
JP2005339339A
JP2005339339A JP2004159339A JP2004159339A JP2005339339A JP 2005339339 A JP2005339339 A JP 2005339339A JP 2004159339 A JP2004159339 A JP 2004159339A JP 2004159339 A JP2004159339 A JP 2004159339A JP 2005339339 A JP2005339339 A JP 2005339339A
Authority
JP
Japan
Prior art keywords
identification information
identification
tag
light
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004159339A
Other languages
Japanese (ja)
Other versions
JP4511246B2 (en
Inventor
Sadanobu Ito
禎宣 伊藤
Takao Ichihara
貴雄 市原
Kenji Mase
健二 間瀬
Susumu Kunito
進 國藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ATR Advanced Telecommunications Research Institute International
Original Assignee
ATR Advanced Telecommunications Research Institute International
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ATR Advanced Telecommunications Research Institute International filed Critical ATR Advanced Telecommunications Research Institute International
Priority to JP2004159339A priority Critical patent/JP4511246B2/en
Publication of JP2005339339A publication Critical patent/JP2005339339A/en
Application granted granted Critical
Publication of JP4511246B2 publication Critical patent/JP4511246B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

<P>PROBLEM TO BE SOLVED: To provide an optical identification information acquisition device which can increase the efficiency of communication inexpensively. <P>SOLUTION: IR tags 10.1 to 10.n are attached to objects, respectively, identify corresponding objects and include infrared LEDs 12 which transmit light with light emitting patterns corresponding to identification information for identifying the corresponding objects and light emitting patterns for expressing attribute information of the corresponding objects, photodiodes 14 which receives control signals and memories 18 for storing the attribute information. An ID tracker 20 receives infrared light from the IR tags 10.1 to 10.n, specifies a position of an identification tag device based on the identification information, acquires the attribute information and transmits the control signals to the IR tags 10.1 to 10.n. <P>COPYRIGHT: (C)2006,JPO&NCIPI

Description

本発明は、光学的な信号を発するタグにより、タグの付された対象物を識別するための光学識別情報取得装置の構成に関する。   The present invention relates to a configuration of an optical identification information acquisition device for identifying a tagged object by a tag that emits an optical signal.

人や物を識別し位置を特定するための光学タグが研究されている(たとえば、非特許文献1、非特許文献2を参照)。   Optical tags for identifying a person or an object and specifying a position have been studied (for example, see Non-Patent Document 1 and Non-Patent Document 2).

このような光学タグの目的として、拡張現実感(Augmented Reality)システムやコンテキストアウェアネスサービスなどへの適用が想定されている。   The purpose of such an optical tag is assumed to be applied to an augmented reality system, a context awareness service, or the like.

光学タグは、無線や超音波方式のタグとは違い、光源の点滅信号をイメージセンサが撮影するため、比較的長距離(数m)から、少数の構成(最少で1つの発信機と1つの受信機)で、精度の高い位置特定と、タグの付された対象物の識別のための識別情報取得(ID取得)を同時に行うことができる。   Unlike wireless and ultrasonic tags, the optical tag captures the blinking signal of the light source using an image sensor. Therefore, from a relatively long distance (several meters), the optical tag has a small number of configurations (at least one transmitter and one transmitter). In the receiver, identification information acquisition (ID acquisition) for high-accuracy position specification and identification of the tagged object can be performed at the same time.

一方で、受信側に使用する識別情報取得装置(IDトラッカ)に内蔵したイメージセンサは、フォトダイオードの高密度アレイであり、ダイナミックレンジが狭く低感度であるため、受信速度を上げることができないという問題がある。   On the other hand, the image sensor built in the identification information acquisition device (ID tracker) used on the receiving side is a high-density array of photodiodes and has a narrow dynamic range and low sensitivity, so that the receiving speed cannot be increased. There's a problem.

このため、多くの光学タグ研究では、数バイト程度のIDなどを点滅により送信し、トラッカが受信したIDをもとに、LANなどのネットワークを経由して、データベースから各種サービス用のデータを得ている(たとえば、非特許文献3、非特許文献4を参照)。
D. Moore, R. Want, B. Harrison, A. Gujar, and K. Fishkin: “Implementing Phicons: Combining Computer Vision with InfraRed Technology for Interactive Physical Icons”, Proceedings of UIST’99, pp. 67-68, 1999. 松下伸行, 日原大輔, 後輝行, 吉村真一, 暦本純一:“ID Cam: シーンとID を同時に取得可能なスマートカメラ”, 情報処理学会論文誌, Vol. 43, No. 12, pp. 3664-3674, 2003. S. Feiner, B. MacIntyre, M. Haupt and E. Solomon: “Windows on the world: 2d windows for 3d augmented reality”, Proceedings of UIST’93, pp. 145-155, 1993. Jun Rekimoto, Katashi Nagao: “The World through the Computer: Augmented Interaction with Real World Environment”, Proceedings of UIST’95, pp. 29-36, 1995.
For this reason, in many optical tag researches, an ID of several bytes is transmitted by blinking, and data for various services is obtained from a database via a network such as a LAN based on the ID received by the tracker. (For example, see Non-Patent Document 3 and Non-Patent Document 4).
D. Moore, R. Want, B. Harrison, A. Gujar, and K. Fishkin: “Implementing Phicons: Combining Computer Vision with InfraRed Technology for Interactive Physical Icons”, Proceedings of UIST'99, pp. 67-68, 1999 . Nobuyuki Matsushita, Daisuke Hihara, Teruyuki Gomura, Shinichi Yoshimura, Junichi Kokimoto: “ID Cam: A Smart Camera that Can Get Scene and ID Simultaneously”, IPSJ Journal, Vol. 43, No. 12, pp. 3664 -3674, 2003. S. Feiner, B. MacIntyre, M. Haupt and E. Solomon: “Windows on the world: 2d windows for 3d augmented reality”, Proceedings of UIST'93, pp. 145-155, 1993. Jun Rekimoto, Katashi Nagao: “The World through the Computer: Augmented Interaction with Real World Environment”, Proceedings of UIST'95, pp. 29-36, 1995.

図9は、このような従来のIDタグ500.1〜500.nとIDトラッカ600の構成の一例を示す図である。   FIG. 9 shows such a conventional ID tag 500.1-500. 2 is a diagram illustrating an example of a configuration of n and an ID tracker 600. FIG.

図9では、n個の観測対象物にそれぞれ付されたIDタグ500.1〜500.nのうち、IDタグ500.1の構成を代表的に示している。   In FIG. 9, ID tags 500.1 to 500.n attached to n observation objects, respectively. Of n, the configuration of the ID tag 500.1 is representatively shown.

すなわち、IDタグ500.1には、赤外線LED(Light Emitting Diode)502が設けられ、この赤外線LED502がIDに対応するビットパターンで発光するように、マイクロコントローラ504が制御している。   That is, the ID tag 500.1 is provided with an infrared LED (Light Emitting Diode) 502, and the microcontroller 504 controls the infrared LED 502 to emit light with a bit pattern corresponding to the ID.

一方、IDトラッカ600では、イメージセンサ、たとえば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサ602が、2次元画像中において発光している赤外線LED502を検知し、マイクロコントローラ604が、2次元画像データに変換して、モバイルパーソナルコンピュータ700に送信する。このような2次元画像データ中からは、赤外線LED502の発光パターンに対応するビットパターンの識別情報信号を検出できる。モバイルパーソナルコンピュータ700は、外部ネットワークを介して、識別情報データベースサーバ800にアクセスして、獲得した識別情報信号に対応する対象物の属性等の情報を得る。   On the other hand, in the ID tracker 600, an image sensor, for example, a CMOS (Complementary Metal Oxide Semiconductor) image sensor 602 detects an infrared LED 502 that emits light in a two-dimensional image, and a microcontroller 604 converts it into two-dimensional image data. Then, the data is transmitted to the mobile personal computer 700. From such two-dimensional image data, an identification information signal of a bit pattern corresponding to the light emission pattern of the infrared LED 502 can be detected. The mobile personal computer 700 accesses the identification information database server 800 via an external network, and obtains information such as the attribute of the object corresponding to the acquired identification information signal.

この場合、例えば、あるマシンに取り付けたタグのIDをもとに、マシンの稼動状態を参照するサービスを想定すると、マシンの状態を常に反映するデータベースが必要になる。このようなデータベースと外部ネットワークの設置は、設備コストや通信効率、セキュリティの面から望ましいとは言えない。   In this case, for example, assuming a service that refers to the operating state of a machine based on the ID of a tag attached to a certain machine, a database that always reflects the state of the machine is required. Installation of such a database and an external network is not desirable from the viewpoint of equipment cost, communication efficiency, and security.

本発明の目的は、上記のような従来のアプローチの問題点を解決するためになされたものであって、低コストで通信の高効率化が可能な光学識別情報取得装置を提供することである。   An object of the present invention is to solve the problems of the conventional approaches as described above, and to provide an optical identification information acquisition apparatus capable of improving communication efficiency at low cost. .

本発明の他の目的は、セキュリティの確保が可能な光学識別情報取得装置を提供することである。   Another object of the present invention is to provide an optical identification information acquisition apparatus capable of ensuring security.

このような目的を達成するために、本発明の光学識別情報取得装置は、対象物を光学的に撮影することにより、対象物を識別するための光学識別情報取得装置であって、対象物にそれぞれ付され、対応する対象物を識別するための識別タグ装置を備え、識別タグ装置は、対応する対象物を識別する識別情報に対応した発光パターンおよび対応する対象物の属性情報を表現するための発光パターンで光を送出する第1の発光手段と、第1の発光手段を制御するための制御信号を受信する第1の受光手段と、属性情報を格納するための第1の記憶手段とを含み、識別タグ装置からの光を受けて、識別情報に基づいて、識別タグ装置の位置を特定し、属性情報を獲得するとともに、制御信号を識別タグ装置に対して送出する識別情報追跡装置をさらに備える。   In order to achieve such an object, the optical identification information acquisition device of the present invention is an optical identification information acquisition device for identifying an object by optically photographing the object, Each is provided with an identification tag device for identifying a corresponding object, and the identification tag device represents a light emission pattern corresponding to identification information for identifying the corresponding object and attribute information of the corresponding object. A first light emitting means for transmitting light in the light emission pattern, a first light receiving means for receiving a control signal for controlling the first light emitting means, and a first storage means for storing attribute information An identification information tracking device that receives light from the identification tag device, identifies the position of the identification tag device based on the identification information, acquires attribute information, and sends a control signal to the identification tag device Further Provided.

好ましくは、識別情報追跡装置は、識別タグ装置からの光を2次元画像として撮影するための撮影手段と、属性情報を受信するための第2の受光手段と、制御信号を送出するための第2の発光手段とを備える。   Preferably, the identification information tracking device has a photographing means for photographing light from the identification tag device as a two-dimensional image, a second light receiving means for receiving the attribute information, and a second light emitting means for sending a control signal. Two light emitting means.

好ましくは、識別情報追跡装置は、撮影手段および第2の発光手段を制御するための制御手段をさらに含み、制御手段は、2次元画像中において検知された識別タグ装置を順次選択して、識別タグ装置ごとに属性情報の送出を行わせるための制御信号を第2の発光手段から送出させる。   Preferably, the identification information tracking device further includes a control unit for controlling the photographing unit and the second light emitting unit, and the control unit sequentially selects and identifies the identification tag device detected in the two-dimensional image. A control signal for sending attribute information for each tag device is sent from the second light emitting means.

好ましくは、第1の記憶手段は、対応する識別タグ装置に固有な第1の秘密鍵を格納し、識別情報追跡装置は、固有な第2の秘密鍵を格納するための第2の記憶手段をさらに含み、識別タグ装置と記識別情報追跡装置との間の通信は、相手方の秘密鍵に対応する公開鍵により暗号化される。   Preferably, the first storage means stores a first secret key unique to the corresponding identification tag device, and the identification information tracking device uses second storage means for storing a unique second secret key. The communication between the identification tag device and the identification information tracking device is encrypted with a public key corresponding to the other party's secret key.

以下、図面を参照して本発明の実施の形態について説明する。   Embodiments of the present invention will be described below with reference to the drawings.

本発明では、以下に詳しく説明するとおり、光学タグ自身によるデータ記録と、光学タグ−トラッカ間の通信の高速化により、タグとトラッカが直接データを送受信し、外部ネットワークを使用しないシステムの構成をとる。これにより、対象物のステイタス情報などをIDトラッカが直接取得可能となり、システムの低コスト化、通信の高効率化が期待できる。   In the present invention, as will be described in detail below, the data recording by the optical tag itself and the high-speed communication between the optical tag and the tracker enable the tag and the tracker to directly transmit and receive data, and the system configuration that does not use the external network. Take. As a result, the ID tracker can directly acquire the status information of the object, and the cost of the system and the efficiency of communication can be expected.

[実施の形態1]
[本発明の構成]
図1は、本発明の光学識別情報取得装置である、光学タグ10.1〜10.nおよびIDトラッカ20の構成を説明するためのブロック図である。
[Embodiment 1]
[Configuration of the present invention]
FIG. 1 shows an optical tag 10.1-10. 2 is a block diagram for explaining a configuration of n and an ID tracker 20. FIG.

図1では、n個の観測対象物にそれぞれ付されたIDタグ10.1〜10.nのうち、IDタグ10.1の構成を代表的に示している。   In FIG. 1, ID tags 10.1 to 10. attached to n observation objects, respectively. Of n, the configuration of the ID tag 10.1 is representatively shown.

すなわち、IDタグ10.1には、赤外線LED12が設けられる。マイクロコントローラ16は、後に詳しく説明するように、通信の所定の期間期間において、この赤外線LED12がID情報に対応するビットパターンで低速で発光するように制御するとともに、他の所定期間においては、赤外線LED12がID情報および対象物の属性等を示すデータ(属性情報)に対応するビットパターンで高速で発光するように制御する。このような対象物の属性情報は、メモリ18中に格納されている。   That is, the infrared tag 12 is provided in the ID tag 10.1. As will be described in detail later, the microcontroller 16 controls the infrared LED 12 to emit light at a low speed with a bit pattern corresponding to the ID information in a predetermined period of communication, and in the other predetermined period, the infrared LED The LED 12 is controlled to emit light at a high speed with a bit pattern corresponding to data (attribute information) indicating ID information and attributes of the object. Such attribute information of the object is stored in the memory 18.

さらに、IDタグ10.1には、フォトダイオード14が設けられ、IDトラッカ20からの制御信号を受信する。マイクロコントローラ16は、この制御信号に基づいて動作する。   Further, the ID tag 10.1 is provided with a photodiode 14 and receives a control signal from the ID tracker 20. The microcontroller 16 operates based on this control signal.

一方、IDトラッカ20では、イメージセンサ、たとえば、CMOSイメージセンサ24が、2次元画像中において発光している赤外線LED12を検知し、マイクロコントローラ28が、2次元動画像データに変換して、モバイルパーソナルコンピュータ100に送信する。このような2次元画像データ中からは、赤外線LED12の低速の発光パターンに対応するビットパターンの識別情報信号を検出できる。さらに、IDトラッカ20には、フォトダイオード22も設けられ、フォトダイオード22は、高速で発光する際の赤外線LED12からのID情報および対象物の属性情報に対応する発光パターンをビットパターンに変換したデータをマイクロコントローラ28に出力する。マイクロコントローラ28は、これらCMOSイメージセンサ24からの出力およびフォトダイオード22からの出力をモバイルパーソナルコンピュータ100に送信する。モバイルパーソナルコンピュータ100は、マイクロコントローラ28からの信号に基づいて、2次元画像中の赤外線LED12を識別し、かつその位置を特定するとともに、対象物のID情報を獲得する。   On the other hand, in the ID tracker 20, an image sensor, for example, a CMOS image sensor 24 detects the infrared LED 12 that emits light in a two-dimensional image, and the microcontroller 28 converts the infrared LED 12 into two-dimensional moving image data. Send to computer 100. From such two-dimensional image data, an identification information signal of a bit pattern corresponding to the low-speed light emission pattern of the infrared LED 12 can be detected. Further, the ID tracker 20 is also provided with a photodiode 22, and the photodiode 22 is a data obtained by converting the light emission pattern corresponding to the ID information from the infrared LED 12 and the attribute information of the object into a bit pattern when emitting light at high speed. Is output to the microcontroller 28. The microcontroller 28 transmits the output from the CMOS image sensor 24 and the output from the photodiode 22 to the mobile personal computer 100. Based on the signal from the microcontroller 28, the mobile personal computer 100 identifies the infrared LED 12 in the two-dimensional image, specifies its position, and acquires the ID information of the object.

すなわち、IDタグ10.1の赤外線LED12からの発信は、IDタグ10.1の位置取得を行うためのイメージセンサ24用の低速発信と、データ通信を行うフォトダイオード22用の高速発信の2種類とされている。   That is, there are two types of transmission from the infrared LED 12 of the ID tag 10.1: low-speed transmission for the image sensor 24 for acquiring the position of the ID tag 10.1 and high-speed transmission for the photodiode 22 that performs data communication. It is said that.

一方、IDトラッカ20には、赤外線LED26がさらに設けられ、赤外線LED26は、モバイルパーソナルコンピュータ100の制御の下、マイクロコントローラ28から与えられる制御信号に対応する高速な発光パターンで発光する。   On the other hand, the ID tracker 20 is further provided with an infrared LED 26, and the infrared LED 26 emits light with a high-speed light emission pattern corresponding to a control signal given from the microcontroller 28 under the control of the mobile personal computer 100.

以上のような構成において、IDタグ10.1の赤外線LED12からの固定長のID情報はマンチェスタ符号化され200Hzの赤外線信号に変調し発信される。データも同様にマンチェスタ符号化され10kHzの赤外線信号に変調し発信される。イメージセンサ24では、400Hzのフレームレートで撮影することで、ID情報の受信と位置情報を取得し、フォトダイオード22ではデータを受信する。IDトラッカ20が取得した位置情報、ID情報、データは、たとえば、RS−232C等の通信路を経由し、モバイルパーソナルコンピュータ100へ送られる。   In the configuration as described above, the fixed-length ID information from the infrared LED 12 of the ID tag 10.1 is Manchester encoded, modulated into a 200 Hz infrared signal, and transmitted. The data is similarly Manchester encoded and modulated into a 10 kHz infrared signal and transmitted. The image sensor 24 captures ID information and position information by photographing at a frame rate of 400 Hz, and the photodiode 22 receives data. The position information, ID information, and data acquired by the ID tracker 20 are sent to the mobile personal computer 100 via a communication path such as RS-232C, for example.

なお、モバイルパーソナルコンピュータ100は、PDA(Personal Digital Assistance)などのウェアラブルデバイスを用いてもよい。   The mobile personal computer 100 may use a wearable device such as a PDA (Personal Digital Assistance).

以上のような構成を試験的に実装した場合、4.8kbpsの通信速度を確認している。さらに、回路変更を行うことにより、通信速度の向上が期待できる。   When the above configuration is implemented on a trial basis, a communication speed of 4.8 kbps is confirmed. Furthermore, an improvement in communication speed can be expected by changing the circuit.

また、IRタグ10.1側からの動的なデータ送信、およびIDトラッカ20側での受信処理機能については、動的に変化する8ビットのデータ列をIRタグ10.1側より随時、200Hzの赤外線信号として発信し、イメージセンサ24によるデータの取得を確認した。   As for dynamic data transmission from the IR tag 10.1 side and reception processing function on the ID tracker 20 side, an 8-bit data string that changes dynamically is sent from the IR tag 10.1 side to 200 Hz as needed. As an infrared signal, data acquisition by the image sensor 24 was confirmed.

すなわち、図1に示した構成では、赤外線LED12とフォトダイオード22ならびに赤外線LED26とフォトダイオード14とによる赤外線通信の機能を追加することで、通信速度の高速化が図られる。また、IDタグ10.1を制御するマイクロコントローラ16に接続されるメモリに、対象物のステイタス情報(対象物の状況変化、対象物の形状、アノテーション等)を記録し、動的なデータ送信と受信処理機能を持たせることで、外部ネットワークを必要としないシステムの構築を可能にする。   That is, in the configuration shown in FIG. 1, the communication speed can be increased by adding the infrared communication function of the infrared LED 12 and the photodiode 22 and the infrared LED 26 and the photodiode 14. In addition, the status information of the target object (change in the status of the target object, shape of the target object, annotation, etc.) is recorded in a memory connected to the microcontroller 16 that controls the ID tag 10.1, and dynamic data transmission is performed. By providing a reception processing function, it is possible to construct a system that does not require an external network.

すなわち、本システムの特徴は、ユビキタスIDセンターのようにIDを集中して管理する大規模なシステムを利用せず、小規模なシステムで同様の機能を有するシステムの構築が可能な点である。   That is, the feature of this system is that it is possible to construct a system having a similar function with a small-scale system without using a large-scale system that centrally manages IDs like the ubiquitous ID center.

(プロトコル)
IDトラッカ20のフォトダイオード22では、複数のタグからの信号を同時に受信すると赤外線信号のパターンを誤認識する恐れがある。
(protocol)
If the photodiode 22 of the ID tracker 20 receives signals from a plurality of tags at the same time, the infrared signal pattern may be erroneously recognized.

そのため、同時に複数のタグから信号を発信させないよう、タグを制御する必要がある。   Therefore, it is necessary to control the tags so that signals are not transmitted from a plurality of tags at the same time.

図2は、このような通信のプロトコルを説明するための通信シーケンス図である。   FIG. 2 is a communication sequence diagram for explaining such a communication protocol.

特定のタグにデータ送信をさせる方法として、まず、IDトラッカ20はイメージセンサ24により発信中のIDタグのID情報を検知する(S01,S02)。次に、IDトラッカ20は、検知したID情報を持つIDタグのうちの1つ(図中、タグ1)にデータ送信を許可するスタート信号を当該IDタグのID情報とともに、赤外線LED26から発信する(S03)ことにより、タグ1にデータの送信を始めさせる(S04)。   As a method for transmitting data to a specific tag, first, the ID tracker 20 detects the ID information of the ID tag being transmitted by the image sensor 24 (S01, S02). Next, the ID tracker 20 transmits a start signal for permitting data transmission to one of the ID tags having the detected ID information (tag 1 in the figure) from the infrared LED 26 together with the ID information of the ID tag. (S03) This causes the tag 1 to start transmitting data (S04).

このとき、他のIDタグ(図中、タグ2)は、自身以外のID情報を持つIDタグに対して、スタート信号は発せられていることにより、データ送信が不許可であることを認識する(S03´)。   At this time, the other ID tag (tag 2 in the figure) recognizes that data transmission is not permitted because a start signal is issued to an ID tag having ID information other than itself. (S03 ').

タグ1からのデータの受信を完了したIDトラッカ20は、タグ1に対してストップ信号をタグ1のID情報とともに送信することで、タグ1にデータ送信を停止させる(S05)。イメージセンサ24内の別のタグに対して、これらの処理を繰り返すことで、すべてのタグからデータを取得する(S06〜S08)。   The ID tracker 20 that has completed the reception of data from the tag 1 transmits a stop signal to the tag 1 together with the ID information of the tag 1 to stop the tag 1 from transmitting data (S05). By repeating these processes for another tag in the image sensor 24, data is acquired from all tags (S06 to S08).

(アプリケーションの適用例)
本発明のアプリケーションとしては、個々の対象物が持つ個別の情報を組み合わせ、より多くの情報をユーザに提供するシステムを想定している。
(Application example)
As an application of the present invention, a system that combines individual information of individual objects and provides a user with more information is assumed.

まず、上述したようなIRタグ10.1〜10.nから情報を獲得するためのIDトラッカ20およびモバイルパーソナルコンピュータ100の構成についてさらに説明する。   First, IR tags 10.1-10. The configurations of the ID tracker 20 and the mobile personal computer 100 for acquiring information from n will be further described.

なお、以下では、モバイルパーソナルコンピュータ100はPDAであるものとして説明を行う。   In the following description, it is assumed that the mobile personal computer 100 is a PDA.

[PDA100の構成]
図3は、PDA100の構成をブロック図形式で示す図である。
[Configuration of PDA 100]
FIG. 3 is a block diagram showing the configuration of the PDA 100.

図3を参照して、PDA100は、メモリカードなどの外部媒体150上の情報を読込むための外部媒体ドライブ116と、それぞれバスBS1に接続されたCPU(Central Processing Unit )110と、ROM(Read Only Memory)およびRAM(Random Access Memory)を含むメモリ112と、システムにより使用される時刻を提供するためのタイマ122とを備える。好ましくは、PDA100は、無線等による接続を用いてLANとデータの授受を行うための通信インタフェース118を備えていてもよい。   Referring to FIG. 3, the PDA 100 includes an external medium drive 116 for reading information on the external medium 150 such as a memory card, a CPU (Central Processing Unit) 110 connected to the bus BS1, and a ROM (Read Only Memory). ) And RAM (Random Access Memory), and a timer 122 for providing time used by the system. Preferably, the PDA 100 may include a communication interface 118 for exchanging data with the LAN using a wireless connection or the like.

さらに、PDA100は、必要に応じてPDA100に接続され、ユーザによるデータ入力に使用される入力装置160からのデータを受け取るための外部装置インタフェース120を備える。この外部装置インタフェース120は、観測者2が、その頭部に装着するヘッドセット140に装着されたIDトラッカ20からのデータを受け取る。必要に応じて、IDトラッカ20自身にも、IRタグ10.iが付されていてもよい。   The PDA 100 further includes an external device interface 120 for receiving data from the input device 160 that is connected to the PDA 100 as needed and used for data input by the user. The external device interface 120 receives data from the ID tracker 20 attached to the headset 140 attached to the head of the observer 2. If necessary, the ID tracker 20 itself also has an IR tag 10. i may be attached | subjected.

なお、外部媒体150は、コンピュータ本体に対してインストールされるプログラム等の情報を記録可能な媒体である。   The external medium 150 is a medium capable of recording information such as programs installed in the computer main body.

以上のような構成を有するPDA100とIDトラッカ20とを備えるシステムのアプリケーションの例として、以下では、会社や学校でメンバーの在席・退席を表示するホワイトボードから、IDトラッカ20を持ったユーザがメンバーの状況と履歴を即座に入手できるシステムについて説明する。   As an example of an application of a system including the PDA 100 and the ID tracker 20 having the above-described configuration, a user who has the ID tracker 20 from a whiteboard that displays the presence / absence of members at a company or school will be described below. Describe a system that allows you to obtain member status and history immediately.

図4は、このようなメンバーの在席・退席を表示するホワイトボードの構成の一例を示す図である。   FIG. 4 is a diagram showing an example of the configuration of a whiteboard that displays the presence / absence of such members.

図4を参照して、本システムは実世界にある対象物として、在席管理用ホワイトボード300、ネームタグ10.11〜10.14、マグネット10.21〜10.24から構成される。   Referring to FIG. 4, the present system includes a presence management whiteboard 300, name tags 10.11 to 10.14, and magnets 10.21 to 10.24 as objects in the real world.

図5は、各対象物の有する属性情報であって、IDトラッカ20が獲得する情報の例を示す図である。   FIG. 5 is a diagram illustrating an example of information acquired by the ID tracker 20 that is attribute information of each object.

図4に示すとおり、ホワイトボード300自身にも、IDタグ10.01〜10.03が付されており、図5のように、固有の属性情報として、ホワイトボード300は名称、形状、在席や退席といったマグネットを貼り付ける範囲に関する情報を持つ。   As shown in FIG. 4, ID tags 10.01 to 10.03 are also attached to the whiteboard 300 itself. As shown in FIG. 5, the whiteboard 300 has a name, shape, and presence as unique attribute information. It has information about the range where the magnet is pasted, such as leaving and leaving.

すなわち、形状のデータとしては、ホワイトボードの左下角aと右上角bの座標(0,0)および(120,90)がある。   That is, the shape data includes the coordinates (0, 0) and (120, 90) of the lower left corner a and the upper right corner b of the whiteboard.

同様に、ホワイトボード300上の在席の範囲は、その4頂点c、d、g、hの座標で与えられ、退席の範囲は、その4頂点d、e、h、iの座標で与えれれ、休みの範囲は、その4頂点e、f、i、bの座標で与えられる。   Similarly, the seating range on the whiteboard 300 is given by the coordinates of its four vertices c, d, g, and h, and the leaving range is given by the coordinates of its four vertices d, e, h, and i. The range of rest is given by the coordinates of its four vertices e, f, i, b.

また、ネームタグ10.11〜10.14およびマグネット10.21〜10.24は、それぞれ光学タグを内蔵し、固有の属性情報として、ネームタグ10.11〜10.14は名称、形状、所有者名を持ち、マグネット10.21〜10.24は名称、所有者名、形状、操作時間に関する情報を持つ。形状の情報は、(縦の寸法)×(横の寸法)で表される。   In addition, the name tags 10.11 to 10.14 and the magnets 10.21 to 10.24 each have a built-in optical tag. As unique attribute information, the name tags 10.11 to 10.14 are the name, shape, and owner name. The magnets 10.21 to 10.24 have information on names, owner names, shapes, and operation times. The shape information is expressed by (vertical dimension) × (horizontal dimension).

図6は、IDトラッカ20により取得された情報を基に、PDA100において、IRタグ10.11の付された対象物と、IRタグ10.21が付された対象物とのホワイトボード上での位置を認識した結果を示す図である。   FIG. 6 shows, based on the information acquired by the ID tracker 20, the PDA 100 on the whiteboard of the object with the IR tag 10.11 and the object with the IR tag 10.21. It is a figure which shows the result of having recognized the position.

すなわち、IDトラッカ20から取得する位置情報と、それぞれのIRタグが発信する固有の情報を組み合わせることにより、PDA100においてユーザへの情報が生成される。   That is, information for the user is generated in the PDA 100 by combining the position information acquired from the ID tracker 20 and the unique information transmitted by each IR tag.

図6に示した例では、IRタグ10.11の付された対象物が、所有者「太郎」のネームタグであって、その座標が(25,65)であり、IRタグ10.21の付された対象物が、所有者「太郎」のマグネットであって、その座標が(60,65)であることが認識されている。この結果、太郎のマグネットは、「在席」の範囲にあるので、現在、太郎が在席中であると判断できる。   In the example shown in FIG. 6, the object to which the IR tag 10.11 is attached is the name tag of the owner “Taro”, the coordinates thereof are (25, 65), and the IR tag 10.21 is attached. It is recognized that the target object is the magnet of the owner “Taro” and its coordinates are (60, 65). As a result, since Taro's magnet is in the “attended” range, it can be determined that Taro is currently present.

このように、本システムの特徴は、形状が小さくネットワークを接続できない対象物のデータ通信を可能にすることや、外部ネットワークに接続するシステムと仕べ、設備コストを低くすることができる点である。   As described above, the feature of this system is that it enables data communication of an object whose shape is small and cannot be connected to a network, and can be used with a system connected to an external network to reduce equipment costs. .

[実施の形態1の変形例]
実施の形態1では、赤外線LED12が発する信号も、赤外線LED26が発する信号も、特に暗号化を行ってはいない。外部ネットワークを用いない分、セキュリティは向上しているといえるものの、このような構成では、タグから発せられる信号に含まれる対象物の属性情報に対するセキュリティが十分とはいえない。
[Modification of Embodiment 1]
In the first embodiment, neither the signal emitted from the infrared LED 12 nor the signal emitted from the infrared LED 26 is particularly encrypted. Although it can be said that the security has been improved by not using the external network, in such a configuration, it cannot be said that the security for the attribute information of the object included in the signal emitted from the tag is sufficient.

そこで、実施の形態1の変形例として、赤外線LED12が発する信号も、赤外線LED26が発する信号も、公開鍵で暗号化した構成について説明する。   Therefore, as a modification of the first embodiment, a configuration in which the signal emitted from the infrared LED 12 and the signal emitted from the infrared LED 26 are encrypted with a public key will be described.

図7は、このような実施の形態1の変形例の光学タグ10.1〜10.nおよびIDトラッカ20の構成を説明するためのブロック図である。   FIG. 7 shows optical tags 10.1 to 10 of the modification of the first embodiment. 2 is a block diagram for explaining a configuration of n and an ID tracker 20. FIG.

図1の構成と異なる点は、IDトラッカ30にもメモリ30が設けられ、このメモリ30中に、少なくともIDトラッカ30に固有の秘密鍵1が格納される構成となっている点である。さらに、図7では、IRタグ10.1中のメモリ18には、少なくともIRタグ10.1に固有の秘密鍵2が格納される。他のIRタグについてもそれぞれ固有の秘密鍵が格納される。   A difference from the configuration of FIG. 1 is that the memory 30 is also provided in the ID tracker 30, and at least the secret key 1 unique to the ID tracker 30 is stored in the memory 30. Furthermore, in FIG. 7, the memory 18 in the IR tag 10.1 stores at least the secret key 2 unique to the IR tag 10.1. A unique secret key is also stored for each of the other IR tags.

このとき、赤外線LED12が発する信号のうち、属性情報等のデータは、IDトラッカ20の公開鍵1でマイクロコントローラ16により暗号化されて送信される。ただし、ID情報については、平文で送信される。   At this time, among the signals emitted from the infrared LED 12, data such as attribute information is encrypted by the microcontroller 16 with the public key 1 of the ID tracker 20 and transmitted. However, ID information is transmitted in plain text.

一方、赤外線LED26が発する信号のうち、制御信号は、選択したIRタグ10.i(i:n以下の自然数)の公開鍵2でマイクロコントローラ28により暗号化されて送信される。ただし、ID情報については、平文で送信される。   On the other hand, among the signals emitted from the infrared LED 26, the control signal is the selected IR tag 10. It is encrypted and transmitted by the microcontroller 28 with the public key 2 of i (i: a natural number equal to or less than n). However, ID information is transmitted in plain text.

なお、送信相手の公開鍵については、予めメモリ18またはメモリ30に格納されていてもよい。あるいは、周知の方法で相互認証を行った上で、IRタグ10.1〜10.nとIDトラッカ20との間で、公開鍵の交換を行ってもよい。   Note that the public key of the transmission partner may be stored in the memory 18 or the memory 30 in advance. Alternatively, after performing mutual authentication by a known method, IR tags 10.1-10. Public keys may be exchanged between n and the ID tracker 20.

図8は、赤外線LED12が発する信号の構成の例を示す図である。   FIG. 8 is a diagram illustrating an example of a configuration of a signal emitted from the infrared LED 12.

ヘッダには、平文でID情報が含まれ、ボディには、送信相手のIDトラッカ20の公開鍵1で暗号化されたデータが含まれる。   The header includes ID information in plain text, and the body includes data encrypted with the public key 1 of the transmission destination ID tracker 20.

以上のような構成により、IRタグ10.1〜10.n、IDトラッカ20は、相手方から送信されてきた情報を自身の秘密鍵で復号することにより獲得する事ができるが、秘密鍵を知らない装置は、情報の内容を知ることができない。   With the above configuration, IR tags 10.1-10. n, the ID tracker 20 can obtain the information transmitted from the other party by decrypting it with its own secret key, but a device that does not know the secret key cannot know the content of the information.

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。   The embodiment disclosed this time should be considered as illustrative in all points and not restrictive. The scope of the present invention is defined by the terms of the claims, rather than the description above, and is intended to include any modifications within the scope and meaning equivalent to the terms of the claims.

本発明の光学識別情報取得装置である、光学タグ10.1〜10.nおよびIDトラッカ20の構成を説明するためのブロック図である。Optical tag 10.1-10. Which is the optical identification information acquisition apparatus of this invention. 2 is a block diagram for explaining a configuration of n and an ID tracker 20. FIG. 通信のプロトコルを説明するための通信シーケンス図である。It is a communication sequence diagram for demonstrating the protocol of communication. PDA100の構成をブロック図形式で示す図である。1 is a block diagram showing the configuration of a PDA 100. FIG. メンバーの在席・退席を表示するホワイトボードの構成の一例を示す図である。It is a figure which shows an example of a structure of the white board which displays the presence / absence of a member. 各対象物の有する属性情報であって、IDトラッカ20が獲得する情報の例を示す図である。It is a figure which shows the example of the information which is attribute information which each target object has, and the ID tracker 20 acquires. IDトラッカ20により取得された情報を基に、PDA100において、IRタグ10.11の付された対象物と、IRタグ10.21が付された対象物とのホワイトボード上での位置を認識した結果を示す図である。Based on the information acquired by the ID tracker 20, the PDA 100 recognizes the positions on the whiteboard of the object with the IR tag 10.11 and the object with the IR tag 10.21. It is a figure which shows a result. 実施の形態1の変形例の光学タグ10.1〜10.nおよびIDトラッカ20の構成を説明するためのブロック図である。Optical tags 10.1-10 of the modification of Embodiment 1. 2 is a block diagram for explaining a configuration of n and an ID tracker 20. FIG. 赤外線LED12が発する信号の構成の例を示す図である。It is a figure which shows the example of a structure of the signal which infrared LED12 emits. 従来のIDタグ500.1〜500.nとIDトラッカ600の構成の一例を示す図である。Conventional ID tags 500.1 to 500. 2 is a diagram illustrating an example of a configuration of n and an ID tracker 600. FIG.

符号の説明Explanation of symbols

10.1〜10.n IRタグ、12 赤外線LED、14 フォトダイオード、16 マイクロコントローラ、18 メモリ、20 IDトラッカ、22 フォトダイオード、24 赤外線イメージセンサ、26 赤外線LED、28 マイクロコントローラ、30 メモリ。   10.1-10. n IR tag, 12 infrared LED, 14 photodiode, 16 microcontroller, 18 memory, 20 ID tracker, 22 photodiode, 24 infrared image sensor, 26 infrared LED, 28 microcontroller, 30 memory.

Claims (4)

対象物を光学的に撮影することにより、前記対象物を識別するための光学識別情報取得装置であって、
前記対象物にそれぞれ付され、対応する前記対象物を識別するための識別タグ装置を備え、
前記識別タグ装置は、
前記対応する対象物を識別する識別情報に対応した発光パターンおよび前記対応する対象物の属性情報を表現するための発光パターンで光を送出する第1の発光手段と、
前記第1の発光手段を制御するための制御信号を受信する第1の受光手段と、
前記属性情報を格納するための第1の記憶手段とを含み、
前記識別タグ装置からの光を受けて、前記識別情報に基づいて、前記識別タグ装置の位置を特定し、前記属性情報を獲得するとともに、前記制御信号を前記識別タグ装置に対して送出する識別情報追跡装置をさらに備える、光学識別情報取得装置。
An optical identification information acquisition device for identifying the object by optically photographing the object,
Each of the objects is provided with an identification tag device for identifying the corresponding object,
The identification tag device
First light emitting means for transmitting light in a light emission pattern corresponding to identification information for identifying the corresponding object and a light emission pattern for expressing attribute information of the corresponding object;
First light receiving means for receiving a control signal for controlling the first light emitting means;
First storage means for storing the attribute information;
Identification that receives light from the identification tag device, identifies a position of the identification tag device based on the identification information, acquires the attribute information, and sends the control signal to the identification tag device An optical identification information acquisition device further comprising an information tracking device.
前記識別情報追跡装置は、
前記識別タグ装置からの光を2次元画像として撮影するための撮影手段と、
前記属性情報を受信するための第2の受光手段と、
前記制御信号を送出するための第2の発光手段とを備える、請求項1記載の光学識別情報取得装置。
The identification information tracking device includes:
Photographing means for photographing light from the identification tag device as a two-dimensional image;
A second light receiving means for receiving the attribute information;
The optical identification information acquisition apparatus according to claim 1, further comprising: a second light emitting unit for transmitting the control signal.
前記識別情報追跡装置は、前記撮影手段および前記第2の発光手段を制御するための制御手段をさらに含み、
前記制御手段は、前記2次元画像中において検知された前記識別タグ装置を順次選択して、前記識別タグ装置ごとに前記属性情報の送出を行わせるための制御信号を前記第2の発光手段から送出させる、請求項2記載の光学識別情報取得装置。
The identification information tracking device further includes a control means for controlling the photographing means and the second light emitting means,
The control means sequentially selects the identification tag devices detected in the two-dimensional image, and sends a control signal for sending the attribute information for each identification tag device from the second light emitting means. The optical identification information acquisition apparatus according to claim 2, which is sent out.
前記第1の記憶手段は、対応する前記識別タグ装置に固有な第1の秘密鍵を格納し、
前記識別情報追跡装置は、固有な第2の秘密鍵を格納するための第2の記憶手段をさらに含み、
前記識別タグ装置と前記記識別情報追跡装置との間の通信は、相手方の秘密鍵に対応する公開鍵により暗号化される、請求項1記載の光学識別情報取得装置。
The first storage means stores a first secret key unique to the corresponding identification tag device,
The identification information tracking device further includes second storage means for storing a unique second secret key,
The optical identification information acquisition device according to claim 1, wherein communication between the identification tag device and the identification information tracking device is encrypted with a public key corresponding to the other party's secret key.
JP2004159339A 2004-05-28 2004-05-28 Optical identification information acquisition device Expired - Fee Related JP4511246B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004159339A JP4511246B2 (en) 2004-05-28 2004-05-28 Optical identification information acquisition device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004159339A JP4511246B2 (en) 2004-05-28 2004-05-28 Optical identification information acquisition device

Publications (2)

Publication Number Publication Date
JP2005339339A true JP2005339339A (en) 2005-12-08
JP4511246B2 JP4511246B2 (en) 2010-07-28

Family

ID=35492820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004159339A Expired - Fee Related JP4511246B2 (en) 2004-05-28 2004-05-28 Optical identification information acquisition device

Country Status (1)

Country Link
JP (1) JP4511246B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007184785A (en) * 2006-01-06 2007-07-19 Advanced Telecommunication Research Institute International Optical tag
CN110472452A (en) * 2018-05-09 2019-11-19 北京外号信息技术有限公司 Assist in identifying method based on optical label network
CN113903246A (en) * 2021-04-08 2022-01-07 义乌清越光电技术研究院有限公司 Information interaction tag structure and preparation method thereof, information interaction device and preparation method thereof

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02281829A (en) * 1989-04-24 1990-11-19 N T T Data Tsushin Kk Terminal equipment of data collecting/allotting system
JPH11346360A (en) * 1998-06-01 1999-12-14 Sony Computer Entertainment Inc Input position detector and entertainment system
JP2001130718A (en) * 1999-11-05 2001-05-15 Itoki Crebio Corp Tag device for managing system of article to be searched for, managing device, managing system of article to be searched, and managing method of article to be searched
JP2002207073A (en) * 2001-01-11 2002-07-26 Sony Corp Apparatus and method for processing information, and program
JP2003115803A (en) * 2001-10-09 2003-04-18 Nec Corp Light emitting device and communication system
JP2003258736A (en) * 2002-03-05 2003-09-12 Microsignal Kk Sensor for spatial optical communication, receiver for spatial optical communication and spatial optical communication system provided with such receiver

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02281829A (en) * 1989-04-24 1990-11-19 N T T Data Tsushin Kk Terminal equipment of data collecting/allotting system
JPH11346360A (en) * 1998-06-01 1999-12-14 Sony Computer Entertainment Inc Input position detector and entertainment system
JP2001130718A (en) * 1999-11-05 2001-05-15 Itoki Crebio Corp Tag device for managing system of article to be searched for, managing device, managing system of article to be searched, and managing method of article to be searched
JP2002207073A (en) * 2001-01-11 2002-07-26 Sony Corp Apparatus and method for processing information, and program
JP2003115803A (en) * 2001-10-09 2003-04-18 Nec Corp Light emitting device and communication system
JP2003258736A (en) * 2002-03-05 2003-09-12 Microsignal Kk Sensor for spatial optical communication, receiver for spatial optical communication and spatial optical communication system provided with such receiver

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007184785A (en) * 2006-01-06 2007-07-19 Advanced Telecommunication Research Institute International Optical tag
JP4686788B2 (en) * 2006-01-06 2011-05-25 株式会社国際電気通信基礎技術研究所 Optical tag
CN110472452A (en) * 2018-05-09 2019-11-19 北京外号信息技术有限公司 Assist in identifying method based on optical label network
CN110472452B (en) * 2018-05-09 2021-05-25 北京外号信息技术有限公司 Auxiliary identification method based on optical label network
CN113903246A (en) * 2021-04-08 2022-01-07 义乌清越光电技术研究院有限公司 Information interaction tag structure and preparation method thereof, information interaction device and preparation method thereof

Also Published As

Publication number Publication date
JP4511246B2 (en) 2010-07-28

Similar Documents

Publication Publication Date Title
US11888811B2 (en) Communication using DNS repurposing
JP3918813B2 (en) Data communication system, data transmission device, and data reception device
JP6211011B2 (en) Sensor-based configuration and control of network devices
US9526658B2 (en) Augmented reality panorama supporting visually impaired individuals
US9787498B2 (en) System and method of identifying networked device for establishing a P2P connection
WO2016053008A1 (en) Delivery slip and distribution and delivery management system for protecting recipient information, and method for supporting distribution and delivery using same
EP3237991A1 (en) Communication system comprising head wearable devices
JP2003323239A (en) Information processor, information processing method, recording medium, and computer program
US20140187152A1 (en) Secure transfer of whiteboard content
JP2018182732A (en) Connection method of home device with wireless home network
JP4511246B2 (en) Optical identification information acquisition device
JP6556703B2 (en) Method, apparatus and system for realizing visual discrimination
JP4110514B2 (en) Data encoding apparatus and method, data decoding apparatus and method, data transmission apparatus, data reception apparatus, storage medium, and computer program
JP7192764B2 (en) Information processing device, information processing method, and program
JP2020504490A (en) Detection and / or decoding of visible light communication
Rajawat et al. Iot based theft detection using raspberry pi
CN110248136A (en) The device and method of flag transmission in a kind of communication of real-time audio and video
WO2015182059A1 (en) Information processing system, control method, and program storage medium
Kishino et al. Realizing a visual marker using LEDs for wearable computing environment
Genco et al. Pervasive systems and ubiquitous computing
CN109409152B (en) Visible light label processing method, label reader and label information database
JP2017046324A (en) User terminal, object recognition server, notification method and user terminal program
CN208874742U (en) A kind of identifying system based on iBeacon equipment
Sutrave et al. AUTHENTICATED AND AUTOMATED MUSEUM USING RFID AND IOT
CN109005210A (en) The method and apparatus of information exchange

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091020

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100427

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100506

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130514

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140514

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees