JP2003274389A - 移動体追跡装置及びその方法、並びに移動体追跡プログラム - Google Patents

移動体追跡装置及びその方法、並びに移動体追跡プログラム

Info

Publication number
JP2003274389A
JP2003274389A JP2002072475A JP2002072475A JP2003274389A JP 2003274389 A JP2003274389 A JP 2003274389A JP 2002072475 A JP2002072475 A JP 2002072475A JP 2002072475 A JP2002072475 A JP 2002072475A JP 2003274389 A JP2003274389 A JP 2003274389A
Authority
JP
Japan
Prior art keywords
moving body
tracking
room
closed space
moving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2002072475A
Other languages
English (en)
Inventor
Akira Shiraishi
旭 白石
Sadaji Emori
貞治 江守
Kyoichi Arai
亨一 新居
Shuichi Ohara
秀一 大原
Shigeo Kaneda
重郎 金田
Kimio Shintani
公朗 新谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Advanced Technology Corp
Original Assignee
NTT Advanced Technology Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NTT Advanced Technology Corp filed Critical NTT Advanced Technology Corp
Priority to JP2002072475A priority Critical patent/JP2003274389A/ja
Publication of JP2003274389A publication Critical patent/JP2003274389A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 子供や車等の移動体の位置、行動軌跡を精密
に追跡可能とするとともに、電波発射量を極めて低くす
る。 【解決手段】 識別部10が、移動体のID番号につい
て、部屋等の閉空間の出入り口で認識し、部屋に入った
後は、追跡部20が、ID番号は識別できないが、部屋
の中の各移動体の位置を追跡する。そして、情報融合部
30が、出入り口で認識したID番号と、この部屋内の
位置とを関連付けることによって、結果として、部屋の
中における各移動体の位置を、ID番号とともに、識別
可能とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば、部屋や運
動場、あるいは柵で囲まれた領域等、特定の出入り口か
ら出入り可能な閉じた空間において、1以上の移動体の
位置を、その移動体の識別コードを認識しながら追跡可
能な、移動体追跡装置及びその方法、並びに移動体追跡
プログラムに関する。
【0002】
【従来の技術】最近、幼稚園、保育園等において、遊ん
でいる子供がどこにいるかを認識する試みが始まってい
る。例えば、幼稚園児の居場所を、小型発信機で認識す
る実験が、NTT西日本株式会社福岡支店と某幼稚園で
行われた。
【0003】この実験において、園児は、約15グラム
程度の発信機を紐で首に掛けており、この発信機は、半
径10メートル程度届く微弱な電波を発信する。そし
て、受信機を園の出入り口と教室、トイレの計5か所に
設置することにより、例えば、園児が職員の目を離れ、
園の出入り口に近づくと、受信機が反応して警報が鳴る
仕組みになっている。各発信機には、園児毎固有のID
番号(識別コード)が付与され、教室内にいる時間やト
イレの回数を個別に記録できる。また、教室内に、デジ
タルカメラも設置され、30秒間隔で園児の様子を自動
撮影し、画像を保護者向けにインターネットで配信す
る。このことにより、保護者は、発信機のユーザ識別番
号とパスワードを入力し、子供の様子を監視することが
できる。
【0004】また、最近、いわゆるコンビニ型保育園と
称される、例えば、電鉄会社の主要駅のビル等に設置さ
れた運動場を持たない新しいタイプの保育園では、カメ
ラで幼児の様子を保護者にインターネット配信する試み
も行われている。これに対して、上記したNTT西日本
株式会社福岡支店の実験では、園児がID番号を持って
いるので、保護者は、多数存在する中で、確実に自分の
子供が写っている画面を自動的に選択して参照できる。
また、部屋の個数が限定されて、数少ないカメラで幼児
を追跡できるコンビニ型保育園とは異なり、多数の部屋
や運動場を持つ一般の保育園、幼稚園では、このような
個人識別型のカメラ配信は、効果的である。
【0005】
【発明が解決しようとする課題】しかしながら、上記し
た従来技術によれば、以下の(1)〜(4)に列挙する
諸々の欠点があった。
【0006】(1)自分の子供が写っている画面を配信
できると言っても、現実には、幼稚園、保育園の部屋の
中にはかなり大きなものがある。この場合、一台のカメ
ラでは、部屋全体を撮影できず、また、例え撮影できた
としても、画素が小さくて、自分の子供がわからない。
また、余計なところまで写ってしまう危険性がある。例
えば、部屋の反対側で、全く別の女の子がたまたまお漏
らしをしてしまい、保育士が支援してパンツを脱がせ服
を着替えさせていた状況を考えた場合、いくら幼児とは
いっても第三者の保護者に、しかも自由に録画可能なイ
ンターネット画像として配信してよいとは思えない。こ
のような観点からの配慮か、上記、NTT西日本株式会
社福岡支店の実験では、リアルタイムな映像配信は行わ
れなかった模様である。すなわち、従来技術によれば、
間違いなく、確実に、撮像すべき自分の子供のみを視野
を設定することはできなかった。
【0007】(2)上記NTT西日本福岡支店の実験で
は、IDをもつ発信機には電池が収納され、一定間隔で
常に電波を発信している。従って、電波による種々の障
害が生じる場合があった。
【0008】(3)幼児の位置を正確に見つける方法と
しては、他に方法が無いわけではない。例えば、GPS
(Global Positioning System)の利用が考えられ
る。GPSでは、実際には数メートルの精度で位置が判
明すると言われている。しかしながら、GPSが利用で
きるのは野外であり、幼稚園、保育園の部屋の中での利
用は難しい。
【0009】(4)幼稚園、保育園の床に事前に位置測
定用の設備をすることも考えられる。例えば、床全体を
コンピュータの画像入力に利用するデジタイザのように
構成することが考えられる。しかしながら、この場合に
は、かならず上履きを履かせておく必要が生じ、園にお
ける幼児の行動に制約が生じる点においては、必ずしも
最適な方法ではない。
【0010】本発明は上記事情に鑑みてなされたもので
あり、子供や車等の移動体の位置、行動軌跡を精密に追
跡可能とするとともに、電波発射量を著しく低減させる
ことが可能な移動体追跡装置及びその方法、並びに移動
体追跡プログラムを提供することを目的とする。
【0011】
【課題を解決するための手段】上記した課題を解決する
ために本発明は、閉じた空間内を移動する個々の移動体
の位置を追跡する移動体追跡装置であって、前記閉じた
空間内を通過する個々の移動体を認識する識別手段と、
前記閉じた空間内における個々の移動体の位置をリアル
タイムに追跡する追跡手段と、前記識別手段によって認
識された個々の情報と、前記追跡手段により追跡される
個々の移動体の位置情報とを対応づける情報融合手段
と、を備えたことを特徴とする。
【0012】また、本発明において、前記識別手段は、
前記閉じた空間の出入り口近傍に位置するアンテナを介
して電力が供給され、それに反応して発信する、前記移
動体にあらかじめ付与された識別コードを認識するこ
と、を特徴とする。
【0013】また、本発明において、前記識別手段は、
前記移動体を、当該移動体に付与される符号化した識別
コードを画像認識、もしくは文字認識することにより、
あるいはその組み合わせにより認識すること、を特徴と
する。
【0014】また、本発明において、前記識別手段は、
前記閉じた空間内に基地局を複数設け、前記基地局単位
に前記移動体が接近したことを無線セル変更により識別
すること、を特徴とする。
【0015】また、本発明において、前記追跡手段は、
時間経過した、追跡の対象とする前記移動体の少なくと
も2つの画像の差分を抽出して逐次蓄積し、当該蓄積さ
れた一連の差分により移動体の位置を認識すること、を
特徴とする。
【0016】また、本発明において、前記情報融合手段
は、前記追跡手段により定時間毎に認識された前記閉じ
た空間内における全移動体の個々の位置を、前記識別手
段により識別される識別コードに対応付けること、を特
徴とする。
【0017】本発明によれば、情報融合手段が、識別手
段によって認識された個々の情報と、追跡手段によりリ
アルタイムに追跡された個々の移動体の位置とを対応づ
けることにより、閉じた空間内における個々の移動体の
位置を、その識別コードを知りながら追跡することを可
能にする。また、識別手段による認識は、電波に影響さ
れる機会が少ない方法、あるいは一切電波を使用しない
方法とがあり、更に、追跡手段による移動体の位置情報
の追跡は、識別コードの認識を不要とした画像処理によ
る方法がある。情報融合手段は、追跡手段により定時間
毎に認識された、閉じた空間内における全移動体の個々
の位置を、識別手段により識別される識別コードに対応
付ける。このことにより、部屋等の閉じた空間、あるい
は領域における移動体の位置や行動の軌跡を精密に判
別、記録することが可能となる。なお、ここで、「閉じ
た空間」とは、部屋、運動場等の閉空間、あるいは柵等
により囲まれた領域のことをいう。
【0018】上記した課題を解決するために本発明は、
閉じた空間内を移動する個々の移動体の位置を追跡する
移動体追跡装置のための移動体追跡方法であって、前記
閉じた空間内を通過する個々の移動体を認識する識別ス
テップと、前記閉じた空間内における個々の移動体の位
置をリアルタイムに追跡する追跡ステップと、前記識別
ステップによって認識された個々の情報と、前記追跡ス
テップにより追跡される個々の移動体の位置とを対応づ
ける情報融合ステップと、を実行することを特徴とす
る。
【0019】上記した課題を解決するために本発明は、
閉じた空間内を移動する個々の移動体の位置を追跡する
移動体追跡装置に用いられる移動体追跡プログラムであ
って、前記閉じた空間内を通過する個々の移動体を認識
する識別処理と、前記閉じた空間内における個々の移動
体の位置をリアルタイムに追跡する追跡処理と、前記識
別手段によって認識された個々の情報と、前記追跡処理
により追跡される個々の移動体の位置とを対応づける情
報融合処理と、をコンピュータに実行させることを特徴
とする。
【0020】
【発明の実施の形態】図1は、本発明における移動体追
跡装置の一実施形態を示す図である。本発明の移動体追
跡装置1は、部屋や運動場等の閉空間の出入り口近傍に
設置され、出入り口を通過する移動体の識別コードを認
識する識別部10と、閉空間中の移動体の位置をその識
別コードを認識することなく追跡可能な追跡部20と、
識別部10によって識別された識別コードと、追跡部2
0により認識された個々の移動体位置とを対応づける情
報融合部30から構成される。なお、図中、網掛け表示
部分は、部屋を囲む壁とする。
【0021】ここで、識別部10は、アンテナ等の検出
ツールに接近した幼児等の移動体に付与されたID番号
(識別コード)を認識する。このような識別部10は、
当業者により種々想定されるが、一例として、RFID
(Radio Frequency Identification)と呼ばれる外部
からの電磁波により電力を供給する形式のタグを利用す
る方法が考えられる。RFIDは、しばしばCD店の入
り口に置かれているようなコイル状のアンテナによっ
て、外部から高周波の電磁力として電力を供給され、そ
れに反応して、ID番号等のデジタル情報を発信する。
【0022】図4は、そのような識別部10の構成例で
ある。アンテナとなるセンサーコイル(ID検出用アン
テナ101)を幼稚園、保育園の部屋の出入り口に設置
しておけば、受信機102が、子供が出入りした際に、
そのID番号と共に子供の通過を検出できる。また、最
近のシステムでは、一度に複数のRFIDがアンテナの
内部を通過しても、それぞれを識別可能となっている。
【0023】RFIDの利点は、指向性のあるセンサー
コイル内に入ることによって電力を外部から与えられた
時以外には、一切、電波を発生しないことである。これ
により、RFID自体への電池の取替え等に関するメン
テナンスの手間を省くことができる。
【0024】また、当業者には明らかなように、一切、
電波を利用しないでID番号を読み取る方法もある。例
えば、幼児の胸、あるいは、肩の部分に多少、大きめの
バーコード、あるいは、それに類似した2次元バーコー
ド等の改良型のバーコードをやや大きめして、名札とし
てつけておけばよい。
【0025】図5にその構成例を示した。幼児の胸に
は、バーコード等のIDを画像的に読み取ることの可能
な名札103が付いている。これを、TVカメラ104
等の撮像装置で読み取って、その後、バーコード識別ツ
ール105等による画像認識処理を行えば、ID番号を
識別できる。あるいは、バーコードでなくても、複数の
カラーを組み合わせてバーコードの相当品とすることが
できる。これは、TVカメラ104等で読み取った後、
市販の画像処理プロセッサで処理することにより、ID
番号と対応づけることは可能である。但し、カラーを組
み合わせる場合には、照明条件を一定にし、あるいは照
明条件で補正する等の面倒な処理を必要とする。また、
文字認識を用いれば、所属する組と氏名を名札に付して
おき、これを読み取ることも可能である。更に、漢字の
氏名と、カラーコードを両方用いて、文字、カラーの認
識誤りを補完する構成を設計することも当業者であれば
構成可能である。
【0026】上記のバーコード付き名札等を用いたこと
による利点は、一切、電波を用いないことであり、これ
により電波に関する問題を一切解消することが可能とな
る。なお、超音波や赤外線による識別も考えられるが、
当業者であれば、このような代替部を想定できるもので
あり、均等の範囲として請求項に含めて考える。
【0027】また、識別部10は、必ずしも部屋の出入
り口に設置される必要はない。例えば、電波は利用する
が、検出にPHS(登録商標)の発信する電波を利用す
る場合には、鉄筋コンクリートの部屋では、PHS(登
録商標)等の基地局を部屋毎に設けておけば、当該部屋
に移動体が入ったときに、その部屋に入ったことが識別
される。具体的には、無線のセルが変更されるため、P
HS(登録商標)側から基地局に向かって存在を知らせ
るからである。上記の方法によれば、部屋に入ったとき
のみ一度だけPHS(登録商標)が発信するので、電波
の発射量を極めて低減させることが可能となる。現実に
は、部屋毎の基地局の干渉や、壁等による反射があるた
め、基地局の設定位置には注意が必要であるが、各部屋
に一個の基地局をおけばよい。もし、PHS(登録商
標)が発信する電波をどの近傍の基地局が受けているか
で位置を同定する従来の手法を用いると、多数の基地局
や3点測量方式で、電波の強度からPHS(登録商標)
の位置を特定するシステムが必要となり、コスト的に大
きなものとなる。これに対して、本発明の場合には、P
HS(登録商標)電波を受信する基地局は1台でよく、
コスト的にも有利である。
【0028】 以上説明したように、識別部10は、部
屋の出入り口で幼児毎に与えられたID番号を持つ幼児
が通過したことを知ることによって、どの部屋の中にそ
の幼児がいるかを認識する。なお、正確に言えば、識別
部10によっては、当該幼児が部屋から出たのか、ある
いは、部屋に入ってきたのかを弁別できない場合があ
る。しかし、これも、それまでの他の部屋における出入
り口の通過等の記録を照合すれば、部屋に入ったのか、
あるいは部屋から出たのかは識別できる。
【0029】一方、追跡部20は、部屋、運動場等の閉
じた空間において、幼児の位置をリアルタイムに追跡す
るものである。但し、本発明の主旨から、この追跡部2
0は、「どこに幼児がいるか」は判定しても、「その幼
児のID番号」を認知する必要はない。このことは、追
跡部20のコストを軽減し、発明の実施への経済的な負
担を低くすることを意図する。
【0030】追跡部20の具体的構成も種々考えられ
が、そのひとつの実現方法は画像処理の利用である。例
えば、室内に何人の人間がいるかを判定するために、画
像処理を適用する試みは種々、行われている。基本的に
は、時間を経過した2つの画像の差を計算し、この差分
に対して輪郭線抽出を行い、人物を識別するような方法
が考えられる。実際にこの方法を用いてエレベータに乗
っている人数を数えるような試みは種々なされている。
しかしながら、エレベータの場合には、人物の姿勢が変
化しないのに対して、一般の居室では、姿勢のみではな
くて、照明条件も、外から太陽光が差し込む等の理由に
より変化する。このような照明条件、非認識移動体の形
状の変化が存在する場合には、認識処理は困難となる。
しかし、基本的には、このようなアプローチは、本発明
の追跡部20を構成するひとつの事例である。当然、将
来、このようなアプローチで精度を上げるための工夫は
行われ続けるであろうが、この種の認識精度を上げるた
めの技術的な工夫は、本発明の主旨自体には影響を与え
ない。
【0031】あるいは、上記のような遠方から撮影した
画像を用いなくても、例えば、上記のバーコードを認識
できるくらい、接近して撮影をすることも原理的には考
えられる。しかし、部屋の出入り口とは異なって、子供
たちの姿勢は種々に変化する。例えば、出入り口であれ
ば、よほどのことが無い限り、幼児は、寝転がって這い
出たり、背負ったり、あるいは抱き合ったまま出て行く
ことは多くない。従って、上記のバーコードを印刷した
名札等を胸や肩につけていれば、出入り口の特定方向か
ら撮影したカメラでこれを捕らえることは、そんなに困
難なことではない。それが上記識別部10の構成法を支
えている。これに対して、部屋の中になれば、子供たち
は昼寝してしまうかもしれず、同様には対応できない。
部屋全体を部屋上部に備え付けたTVカメラで撮影して
いたとしても、必ずしも、バーコードを印刷した名札を
そのカメラの方に向けてくれる保障はない。また、カメ
ラはかなり遠方から撮影するので、そもそも、バーコー
ドを読み取ることが難しい。つまり、部屋の上部に設置
されたTVカメラで撮影できるのは、かなり遠方からの
画像であって、子供一人一人までをも捕らえれうるもの
ではないからである。
【0032】具体的には、追跡部20のひとつの構成
は、部屋全体を例えば、上から撮影する。この場合、通
常良く知られた画像処理によって、領域を切り出して、
幼児の位置を検出する。処理としては、(1)カメラに
よる撮影とデジタル化、(2)特徴抽出、(3)領域分
割による抽出、といった処理手順を実行する必要があ
る。
【0033】図6に追跡部20の構成例を示す。ここで
は、天井に取り付けられたカメラ201からは部屋全体
が撮像され、画像処理装置202によりその撮像された
画像の認識が行われる。図7は、図6に示す画像処理装
置202の処理手順をフローチャートで示した図であ
る。ここでは、最初に、デジタル化されたカメラ画像に
よる出力のノイズ除去処理が行なわれる(S201)。
この際、例えば、子供の頭を追跡するためには、黒画像
の部分をスペクトルとして取り出せばよい。これをここ
では「領域分割」と呼ぶ。この領域分割された画像は、
あらかじめ画像処理装置202が内蔵する一時記憶バッ
ファに記憶される一定時間前の画面と比較され、その差
分が検出される(S202、S203)。もし、差分が
あれば領域を抽出することにより(S204)、例えば
子供の頭の位置が移動したことを認識できる。ここで生
成された差分画面は、一時記憶バッファに逐次蓄えられ
る(S205)。そして、一連の差分画面の連続は、領
域追跡処理(S206)のために利用される。
【0034】図8は、図7に示す領域追跡の処理内容を
説明するために引用した動作概念図である。各ステップ
に付された符号は、図7に示すステップ符号と一致す
る。もとの画像は、ノイズが除去され、幼児の頭である
髪の毛の色を取り出して領域抽出されている(S20
1)。ここでは、頭の形を説明上、円形と仮定している
ので、移動体が移動すると、1枚の円と、僅かにずれた
円との差分画面(白黒2値として、ピクセル毎のXOR
論理)は、図に示したように、2つの三日月が向かい合
ったような画面となる(S202、S203)。また、
移動がなければ、差分は出ない。例えば、床や置物は、
たとえ、たまたま髪の毛と同一の色の部分があっても、
一切移勤しないから、差分処理をした場合に、何も検出
されない。
【0035】図8のようにして抽出された差分画面は、
逐次的に一時記憶バッファに蓄積される。その連続画面
から、移動体の位置が追跡される。図9は、その処理の
動作概念を示した図であり、一連の3つの差分画面
(a)(b)(c)が示されている。ここでは、A、
B、C3つの移動体を追跡している。移動体A、Bは右
上から左下へと移動している。このために、差分領域
も、右上から右下に移動している((a)→(b))。
これに対して、移動体Cは、最初、右上から左下へと動
いているが、次に停止して差分がなくなり、その後、右
に移動している(c)。このように、移動体は、移動す
る毎に差分処理後の画面に現れる。従って、以前に差分
が検出された位置についても、しばらく差分が検出でき
なくても、ある時点で再びその差分が現れる。このよう
にして、図9の矢印のように、移動体の追跡が実現され
る。
【0036】従来、幼稚園や保育園において幼児の様子
をカメラにより撮影する方法においては、本来写したい
対象の幼児のみでなくて、余計な画面を撮影する危険が
あった。しかしながら本発明によれば、部屋のどこに撮
影ターゲットである幼児がいても、この幼児のみを切り
出して撮影することも可能である。例えば、双曲面ミラ
ーをもつTVカメラでは、カメラの周囲360度を撮像
可能であるが、このカメラと、位置情報を併用すれば、
部屋の中にいる特定の幼児の画像のみを、おそらくは、
その保護者に対して送信することが可能になる。なお、
このようなアプローチのひとつの問題は、幼児がお昼寝
のために布団の中にもぐったり、幼児同士が抱き合うな
どのために、領域が正しく抽出できなかった場合の追跡
の続行である。まず、布団の中に潜りこんでしまった場
合には、画像処理では対応不可能である。しかし、通常
は頭を出しているため、領域検出の際において、幼児の
頭を抽出するような処理方法が採用されるべきであろ
う。
【0037】情報融合部30は、識別部10が出力する
出入り口等における、例えば、幼児等移動体のID番号
と、追跡部20が出力するID番号は不明であるが、部
屋等の閉空間内における全ての移動体の位置情報との対
応付けを行う。例えば、識別部10が、出入り口で、I
D番号“1111”の移動体の通過を確認したとする。
この情報は、情報融合部30に直ちに送信される。一方
で追跡部20は、部屋等の閉空間における移動体の位置
は検知している。従って、ID番号は分からないが、部
屋の出入り口を通過して、移動体が入室したことは、追
跡部20により検知される。この部屋の中における全て
の移動体の位置情報は、ある一定の時間毎に、情報融合
部30に送信される。従って、情報融合部30は、追跡
部20が提供する移動体の位置個々について、識別部1
0から送られてくるID番号を対応づけることが可能で
ある。このことにより、結果として、部屋の中における
移動体の位置を、そのID番号と対応づけて認識でき
る。
【0038】情報融合部30の構成は、図9に示される
ような検出された移動体の移動軌跡を示す追跡情報と、
移動体が部屋に入ったときに検出されるID番号とを関
連付けるのみで十分である。図10はその機能を説明す
るための図である。図10(a)では、IDが“111
1”の移動体の通過を識別部10が検知している。続い
て図10(b)に示すように、IDとして“2222”
を持つ次の移動体が入出してくるが、追跡部20が、前
回入室したID“1111”の移動体の場所は追跡して
いる。図10(c)に示すように、追跡部20として
は、本来、追跡している移動体のID番号は分からない
が、識別部10が既に識別しているので、連続的に追跡
部20が移動体を追跡できれば、結果として、ID番号
を認知した上で、その移動体の動きを追跡できる。な
お、図10中、10は識別部である。
【0039】図2は、本発明の移動体追跡方法を説明す
るために引用した図である。本発明の移動体追跡方法
は、部屋、運動場等の閉空間の出入り口に設置されて出
入り口を通通する移動体の識別コードを認識する識別ス
テップ(11)と、閉空間中の移動体の位置をその識別
コードを認識することなく追跡可能な追跡ステップ(2
1)と、識別ステップによって識別された識別コード
と、追跡ステップにより認識された個々の移動体位置と
を対応づける情報融合ステップ(31)を実行すること
により実現され、閉空間内の移動体の位置をその識別コ
ードを知って追跡することが可能である。
【0040】ここで、識別ステップ(11)は、幼児等
の移動体に付与されたID番号(識別コード)を認識し
つつ、出入り口等で幼児等の通過を検出する処理がその
ひとつの実現方法である。このようなものは、当業者に
より種々想定されるが、一例は、RFIDと呼ばれる外
部から電磁波により電力を供給する形式の、内部に電池
を持たないタグを利用する処理である。
【0041】RFIDは、しばしばCD店の入り口に置
かれているようなコイル状のセンサーによって、外部か
ら電力を供給され、それに反応して、ID番号等のデジ
タル情報を発信する。このセンサーコイルを幼稚園、保
育園の部屋の出入り口においておけば、子供が出入りし
た際に、受信信号を処理することにより、識別コードで
あるID番号とともに、子供の通過を検出できる。
【0042】RFIDの利点は、センサーコイルによっ
て電力を外部から与えられた時以外には、一切、電波を
発生しないことである。一方、当業者には明らかなよう
に、一切、電波を利用しないでID番号を読み取る方法
もある。例えば、幼児の胸、あるいは、肩の部分に多
少、大きめのバーコード、あるいは、それに類似した2
次元バーコード等の改良型のバーコードをやや大きめし
て、名札としてつけておけばよい。これを、TVカメラ
等の撮像装置でよみとって処理をすれば、ID番号を識
別できる。あるいは、バーコードでなくても、複数のカ
ラーを組み合わせてバーコードの相当品とすることがで
きる。これは、TVカメラ等で読み取った後、市販の画
像処理プロセッサで処理することにより、ID番号と対
応付けることは可能である。ただし、カラーを組み合わ
せる場合には、照明条件を一定にし、照明条件で補正す
るなどの処理は必要となる。上記のバーコード名札等の
方法の利点は、一切、電波を用いないことである。
【0043】また、識別ステップ(11)は、必ずし
も、部屋の出入り口の通過を検出する処理である必要は
ない。例えば、鉄筋コンクリートの部屋では、PHS
(登録商標)等の基地局を部屋毎に設けておけば、当該
部屋にPHS(登録商標)が入ったときに、子供などの
PHS(登録商標)を身に着けた移動体がその部屋に入
ったことを検出できる。無線のセルが変更されるため、
PHS(登録商標)側から基地局に向かって存在を知ら
せるからである。
【0044】上記の方法は、部屋に入ったときのみPH
S(登録商標)が発信するので、部屋にいる限りは、電
波の発射量を極めて低減することができる点において優
れている。現実には、部屋ごとの基地局の干渉や、壁等
による反射があるため、基地局の設定位置には注意が必
要であるが、各部屋に一個の基地局をおけばよいので、
多数の基地局を必要とする3点測量法などに比して、コ
スト的にも有利である。いずれにせよ、識別ステップ
(11)は、幼児毎に与えられたID番号を識別しつ
つ、部屋の中に当該幼児がいるか否か、あるいは、部屋
の出入り口を幼児が通過したか否かを認識する。
【0045】追跡ステップ(21)は、部屋、運動場等
の閉じた空間において、幼児の位置をリアルタイムに追
跡する処理である。ただし、本発明の主旨から、この追
跡ステップ(21)では、「どこに幼児がいるか」は判
定しても、「その幼児のID番号は何か」が分かる必要
はない。このことは、追跡ステップ(21)のコストを
軽減し、発明の実施への経済的な負担を低くすることを
意図している。
【0046】上記追跡ステップ(21)の具体的実現方
法についても、種々考えられる。そのひとつの実現方法
は、画像処理の利用である。例えば、室内に何人の人間
がいるかを判定するために、画像処理を適用する試みは
種々、行われている。基本的には、時間を経過した2つ
の画像の差を計算して、これに対して、輪郭線抽出を行
い、人物を識別するような方法が考えられる。実際に、
これにより、例えば、エレベータに乗っている人数を数
えるような試みは種々行われている。しかし、エレベー
タの場合には、人物の姿勢が変化しないのに入して、一
般の居室では、姿勢のみではなくて、照明条件も、外か
ら太陽光が差し込む等の理由により変化する。このよう
な照明条件、非認識移動体の形状の変化が存在する場合
には、認識処理は困難となる。しかしながら、基本的に
は、このようなアプローチは、本発明の追跡ステップ
(21)を実現するひとつの事例である。当然、将来、
このようなアプローチで精度を上げるための工夫は行わ
れ続けるであろうが、この種の認識精度を上げるための
技術的な工夫は、本発明の主旨自体には影響を与えな
い。
【0047】具体的には、追跡ステップ(21)のひと
つの実現例は、部屋全体を例えば、上から撮影すること
である。この場合、通常良く知られた画像処理によっ
て、領域を切り出して、幼児の位置を検出する。この場
合の処理としては、(1)カメラによる撮影とデジタル
化、(2)特徴抽出、(3)領域分割による抽出と言っ
た、既知の方法となる。
【0048】最後に、情報融合ステップ(31)は、上
記の識別ステップ(11)が出力する出入り口等におけ
る移動体(例えば、幼児のID番号と、追跡ステップ2
1が出力する(ID番号は不明であるが)部屋等の閉空
間内における全ての移動体の位置情報の対応付けを行
う。例えば、識別ステップ(11)が、出入り口で、I
D番号“1111”の移動体の通過を確認したとする。
この情報は、情報融合ステップ(31)に直ちに送信さ
れる。追跡ステップ(21)は、部屋等の閉空間におけ
る移動体の位置検知している。従って、ID番号は分か
らないが、部屋の出入り口を通過して、移動体が入室し
たことは、追跡ステップ(21)により検知される。こ
の部屋の中における全ての移動体の位置情報は、ある一
定の時間毎に、情報融合ステップ(31)に送信され
る。従って、情報融合ステップ(31)は、追跡ステッ
プ(21)が提供する移動体の位置個々について、識別
ステップ(11)から送られてくるID番号を対応付け
ることが可能である。これにより、結果として、部屋の
中における移動体の位置を、そのID番号と対応づけて
認識できる。
【0049】図3は、本発明の移動体追跡プログラムの
処理手順を説明するために引用した図である。本発明の
移動体処理プログラムは、部屋、運動場等の閉空間の出
入り口に設置されて出入り口を通過する移動体の識別コ
ードを認識する識別処理(12)と、閉空間中の移動体
の位置をその識別コードを認識することなく追跡可能な
追跡処理(22)と、識別処理(12)によって識別さ
れた識別コードと、追跡処理(22)により認識された
個々の移動体位置とを対応づける情報融合処理(32)
からなり、閉空間内の移動体の位置をその識別コードを
知って追跡するコンピュータ上で実行されるプログラム
である。
【0050】ここで、識別処理(12)は、幼児等の移
動体に付与されたID番号(識別コード)を認識しつ
つ、出入り口等で幼児等の通過を検出する処理がそのひ
とつの実現方法である。このようなものは、当業者によ
り種々想定されるか、一例は、RFIDと呼ばれる外部
から電磁波により電力を供給する形式の、内部に電池を
持たないタグを利用する処理である。
【0051】RFIDは、しばしばCD店の入り口に置
かれているようなコイル状のセンサーによって、外部か
ら電力を供給され、それに反応して、ID番号等のデジ
タル情報を発信する。このセンサーコイルを幼稚園、保
育園の部屋の出入り口においておけば、子供が出入りし
た際に、受信信号を処理することにより、識別コードで
あるID番号とともに、子供の通過を検出できる。RF
IDの利点は、センサーコイルによって電力を外部から
与えられた時以外には、一切、電波を発生しないことで
ある。これにより、電波に関する一切の問題を解消する
ことが可能となる。
【0052】しかし、当業者には明らかなように、一
切、電波を利用しないでID番号を読み取る方法もあ
る。例えば、幼児の胸、あるいは、肩の部分に多少、大
きめのバーコード、あるいは、それに類似した2次元バ
ーコード等の改良型のバーコードをやや大きめして、名
札としてつけておけばよい。これを、TVカメラ等の撮
像装置でよみとって処理をすれば、ID番号を識別でき
る。あるいは、バーコードでなくても、複数のカラーを
組み合わせてバーコードの相当品とすることができる。
これは、TVカメラ等で読み取った後、市販の画像処理
プロセッサで処理することにより、ID番号と対応づけ
ることは可能である。ただし、カラーを組み合わせる場
合には、照明条件を一定にし、照明条件で補正するなど
の処理は必要となる。上記のバーコード名札等の方法に
よる最大の利点は、一切、電波を用いないことにある。
これにより、電波に関する一切の問題を解消することが
可能となる。
【0053】また、識別処理(12)は、必ずしも部屋
の出入り口の通過を検出する処理である必要はない。例
えば、鉄筋コンクリートの部屋では、PHS(登録商
標)等の基地局を部屋ごとに設けておけば、当該部屋に
PHS(登録商標)が入ったときに、子供などのPHS
(登録商標)を身に着けた移動体がその部屋に入ったこ
とを検出できる。無線のセルが変更されるため、PHS
(登録商標)側から基地局に向かって存在を知らせるか
らである。上記の方法は、部屋に入ったときのみPHS
(登録商標)が発信するので、部屋にいる限りは、電波
の発射量を極めて低下させることができる点において優
れている。現実には、部屋ごとの基地局の干渉や、壁等
による反射があるため、基地局の設定位置には注意が必
要であるが、各部屋に一個の基地局をおけばよいので、
コスト的にも有利である。いずれにせよ、識別処理(1
2)は、幼児毎に与えられたID番号を識別しつつ、部
屋の中に当該幼児がいるか否か、あるいは、部屋の出入
り口を幼児が通過したか否かを認識する。
【0054】追跡処理(22)は、部屋、運動場等の閉
じた空間において、幼児の位置をリアルタイムに追跡す
る処理である。但し、本発明の主旨から、この追跡処理
(22)では、「どこに幼児がいるか」は判定しても、
「その幼児のID番号は何か」が分かる必要はない。こ
のことは、追跡処理(22)に要するコストを軽減し、
発明の実施への経済的な負担を低くすることを意図す
る。
【0055】上記追跡処理(22)の具体的実現方法に
ついても種々考えられる。そのひとつは、画像処理の利
用である。例えば、室内に何人の人間がいるかを判定す
るために、画像処理を適用する試みは種々行われてい
る。基本的には、時間を経過した2つの画像の差を計算
して、これに対して、輪郭線抽出を行い、人物を識別す
るような方法が考えられる。実際に、これにより、例え
ば、エレベータに乗っている人数を数えるような試みは
種々行われている。しかし、エレベータの場合には、人
物の姿勢が変化しないのに大して、一般の居室では、姿
勢のみではなくて、照明条件も、外から太陽光が差し込
む等の理由により変化する。このような照明条件、非認
識移動体の形状の変化が存在する場合には、認識処理は
困難となる。しかし、基本的には、このようなアプロー
チは、本発明の追跡処理(22)を実現するひとつの事
例である。当然、将来、このようなアプローチで精度を
上げるための工夫は行われ続けるであろうが、この種の
認識精度を上げるための技術的な工夫は、本発明の主旨
自体には影響を与えない。
【0056】具体的に、追跡処理(22)のひとつの実
現方法は、部屋全体を、例えば、上から撮影することで
ある。この場合、通常良く知られた画像処理によって、
領域を切り出して、幼児の位置を検出する必要がある。
具体的処理としては、(1)カメラによる撮影とデジタ
ル化、(2)特徴抽出、(3)領域分割による抽出とい
った、既知の方法になる。なお、このようなアプローチ
のひとつの問題は、幼児がお昼寝のために、布団の中に
潜ったり、幼児同士が抱き合うなどのために、領域が正
しく抽出できなかった場合の追跡の続行である。まず、
布団の中に潜りこんでしまった場合には、画像処理では
対応は不可能である。しかし、通常は、頭を出している
ため、領域検出の際において、幼児の頭を抽出するよう
な処理方法が採用されるべきであろう。
【0057】情報融合処理(32)は、識別処理(1
2)が出力する出入り口等における、例えば幼児等の移
動体のID番号と、追跡処理(22)が出力する部屋等
の閉空間における全ての移動体の位置情報の対応付けを
行う。例えば、識別処理(12)が、出入り口で、ID
番号“2222”の移動体の通過を確認したとする。こ
の情報は、情報融合処理(32)に直ちに送信される。
追跡処理(22)は、部屋等の閉空間における移動体の
位置は検知している。従って、ID番号は分からない
が、部屋の出入り口を通過して、移動体が入室したこと
は、追跡処理(22)により検知される。この部屋の中
における全ての移動体の位置情報は、ある一定の時間毎
に、情報融合処理(32)に送信される。従って、情報
融合処理(32)は、追跡処理(22)が提供する移動
体の位置個々について、識別処理(12)から送られて
くるID番号を対応づけることが可能である。これによ
り、結果として、部屋の中における移動体の位置を、そ
のID番号と対応づけて認識できる。
【0058】以上説明のように本発明は、情報融合部3
0(または情報融合ステップ31、情報融合処理32)
が、識別部10(識別ステップ11、識別処理12)に
よって認識された個々の情報と、追跡部20(追跡ステ
ップ12、追跡処理22)によりリアルタイムに追跡さ
れた個々の移動体の位置情報とを対応づけることによ
り、閉じた空間内における個々の移動体の位置を、その
識別コードを知りながら追跡することを可能にする。ま
た、識別部10(識別ステップ11、識別処理12)に
よる認識は、電波に影響される機会が少ない方法、ある
いは一切電波を使用しない方法とがあり、また、追跡部
20(追跡ステップ12、追跡処理22)による移動体
の位置情報の追跡は、識別コードの認識を不要とした画
像処理による方法がある。情報融合部が、追跡部により
定時間毎に認識された、閉じた空間内における全移動体
の個々の位置情報を、識別部により識別される識別コー
ドに対応付ける。このことにより、部屋等の閉じた空
間、あるいは領域における移動体の位置や行動の軌跡を
精密に判別、記録が可能となる。
【0059】なお、上記した識別部10、追跡部20、
情報融合部30のそれぞれで実行される手順をコンピュ
ータ読み取り可能な記録媒体に記録し、この記録媒体に
記録されたプログラムをコンピュータシステムに読み込
ませ、実行することにより上記した移動体追跡装置を実
現するものとする。ここでいうコンピュータシステムと
は、OSや周辺機器等のハードウェアを含むものであ
る。
【0060】また、「コンピュータシステム」は、WW
Wシステムを利用している場合であれば、ホームページ
提供環境(あるいは表示環境)も含むものとする。ま
た、「コンピュータ読み取り可能な記録媒体」とは、フ
レキシブルディスク、光磁気ディスク、ROM、CD−
ROM等の可搬媒体、コンピュータシステムに内蔵され
るハードディスク等の記憶装置のことをいう。さらに
「コンピュータ読み取り可能な記録媒体」とは、インタ
ーネット等のネットワークや電話回線等の通信回線を介
してプログラムが送信された場合のシステムやクライア
ントとなるコンピュータシステム内部の揮発性メモリ
(RAM)のように、一定時間プログラムを保持してい
るものも含むものとする。
【0061】また、上記プログラムは、このプログラム
を記憶装置等に格納したコンピュータシステムから、伝
送媒体を介して、あるいは、伝送媒体中の伝送波により
他のコンピュータシステムに伝送されてもよい。ここ
で、プログラムを伝送する「伝送媒体」は、インターネ
ット等のネットワーク(通信網)や電話回線等の通信回
線(通信線)のように情報を伝送する機能を有する媒体
のことをいう。また、上記プログラムは、前述した機能
の一部を実現するためのものであっても良い。さらに、
前述した機能をコンピュータシステムにすでに記録され
ているプログラムとの組み合わせで実現できるもの、い
わゆる差分ファイル(差分プログラム)であっても良
い。
【0062】以上、この発明の実施形態につき、図面を
参照して詳述してきたが、具体的な構成はこの実施形態
に限られるものではなく、この発明の要旨を逸脱しない
範囲の設計等も含まれる。
【0063】
【発明の効果】 以上説明のように本発明によれば、部
屋等の閉じた空間、領域における移動体の位置、行動軌
跡を、精密に判別、あるいは記録できる。また、移動体
の位置を常に電波等で報知する従来の方法に比較して電
波の発射量が格段に減少するという利点を有する。更
に、閉じた空間内における移動体の位置を検出するため
に、PHS(登録商標)による三点測量のように、多数
の基地局を利用する方法より、より経済的に実現でき
る。
【図面の簡単な説明】
【図1】 本発明の移動体追跡装置の一実施形態を示す
図である。
【図2】 本発明の移動体追跡方法を説明するために引
用した図である。
【図3】 本発明の移動体追跡プログラムを説明するた
めに引用した図である。
【図4】 図1に示す識別手段の第1の構成例を説明す
るために引用した図である。
【図5】 図1に示す識別手段の第2の構成例を説明す
るために引用した図である。
【図6】 図1に示す追跡手段の構成例を説明するため
に引用した図である。
【図7】 図1に示す追跡手段の画像処理装置内におけ
る処理手順を説明するために引用した図である。
【図8】 図1に示す追跡手段による領域追跡の処理内
容を説明するために引用した動作概念図である。
【図9】 図1に示す追跡手段による移動体の追跡処理
を説明するために引用した動作概念図である。
【図10】 図1に示す情報融合手段を説明するために
引用した動作概念図である。
【符号の説明】
1…移動体追跡装置、10…識別部、11…識別ステッ
プ、12…識別処理、20…追跡部、21…追跡ステッ
プ、22…追跡処理、30…情報融合部、31…情報融
合ステップ、32…情報融合処理
フロントページの続き (72)発明者 江守 貞治 東京都新宿区西新宿二丁目1番1号 エ ヌ・ティ・ティ・アドバンステクノロジ株 式会社内 (72)発明者 新居 亨一 東京都新宿区西新宿二丁目1番1号 エ ヌ・ティ・ティ・アドバンステクノロジ株 式会社内 (72)発明者 大原 秀一 東京都新宿区西新宿二丁目1番1号 エ ヌ・ティ・ティ・アドバンステクノロジ株 式会社内 (72)発明者 金田 重郎 京都府京都市西京区大枝北福西町2丁目13 番地6号 (72)発明者 新谷 公朗 大阪府南河内郡千早赤阪村二河原辺205― 1 Fターム(参考) 5B057 AA19 DA11 DB02 DC32 5C054 AA01 EA01 EA05 EA07 FC01 FC12 GB15 HA19 HA31 5L096 BA02 CA04 EA05 FA04 FA69 GA08 HA05

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 閉じた空間内を移動する個々の移動体の
    位置を追跡する移動体追跡装置であって、 前記閉じた空間内を通過する個々の移動体を認識する識
    別手段と、 前記閉じた空間内における個々の移動体の位置をリアル
    タイムに追跡する追跡手段と、 前記識別手段によって認識された個々の情報と、前記追
    跡手段により追跡される個々の移動体の位置情報とを対
    応づける情報融合手段と、 を備えたことを特徴とする移動体追跡装置。
  2. 【請求項2】 閉じた空間内を移動する個々の移動体の
    位置を追跡する移動体追跡装置のための移動体追跡方法
    であって、 前記閉じた空間内を通過する個々の移動体を認識する識
    別ステップと、 前記閉じた空間内における個々の移動体の位置をリアル
    タイムに追跡する追跡ステップと、 前記識別手段によって認識された個々の情報と、前記追
    跡手段により追跡される個々の移動体の位置とを対応づ
    ける情報融合ステップと、 を実行することを特徴とする移動体追跡方法。
  3. 【請求項3】 閉じた空間内を移動する個々の移動体の
    位置を追跡する移動体追跡装置に用いられる移動体追跡
    プログラムであって、 前記閉じた空間内を通過する個々の移動体を認識する識
    別処理と、 前記閉じた空間内における個々の移動体の位置をリアル
    タイムに追跡する追跡処理と、 前記識別処理によって認識された個々の情報と、前記追
    跡処理により追跡される個々の移動体の位置とを対応づ
    ける情報融合処理と、 をコンピュータに実行させる移動体追跡プログラム。
JP2002072475A 2002-03-15 2002-03-15 移動体追跡装置及びその方法、並びに移動体追跡プログラム Pending JP2003274389A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002072475A JP2003274389A (ja) 2002-03-15 2002-03-15 移動体追跡装置及びその方法、並びに移動体追跡プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002072475A JP2003274389A (ja) 2002-03-15 2002-03-15 移動体追跡装置及びその方法、並びに移動体追跡プログラム

Publications (1)

Publication Number Publication Date
JP2003274389A true JP2003274389A (ja) 2003-09-26

Family

ID=29202460

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002072475A Pending JP2003274389A (ja) 2002-03-15 2002-03-15 移動体追跡装置及びその方法、並びに移動体追跡プログラム

Country Status (1)

Country Link
JP (1) JP2003274389A (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006174200A (ja) * 2004-12-17 2006-06-29 Dainippon Printing Co Ltd 撮影情報管理システム及びその方法
JP2007074448A (ja) * 2005-09-07 2007-03-22 National Institute Of Advanced Industrial & Technology テーブルトップコミュニティシステム
JP2009212845A (ja) * 2008-03-04 2009-09-17 Canon Inc 撮像システム、その制御方法及びプログラム
JP2015072578A (ja) * 2013-10-02 2015-04-16 株式会社東芝 人物特定装置、人物特定方法及びプログラム
JP7392306B2 (ja) 2019-07-12 2023-12-06 コニカミノルタ株式会社 情報処理システム、情報処理方法、及びプログラム
JP7492226B2 (ja) 2018-12-13 2024-05-29 成典 田中 移動物追跡装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006174200A (ja) * 2004-12-17 2006-06-29 Dainippon Printing Co Ltd 撮影情報管理システム及びその方法
JP2007074448A (ja) * 2005-09-07 2007-03-22 National Institute Of Advanced Industrial & Technology テーブルトップコミュニティシステム
JP4543157B2 (ja) * 2005-09-07 2010-09-15 独立行政法人産業技術総合研究所 テーブルトップコミュニティシステム
JP2009212845A (ja) * 2008-03-04 2009-09-17 Canon Inc 撮像システム、その制御方法及びプログラム
JP2015072578A (ja) * 2013-10-02 2015-04-16 株式会社東芝 人物特定装置、人物特定方法及びプログラム
JP7492226B2 (ja) 2018-12-13 2024-05-29 成典 田中 移動物追跡装置
JP7392306B2 (ja) 2019-07-12 2023-12-06 コニカミノルタ株式会社 情報処理システム、情報処理方法、及びプログラム

Similar Documents

Publication Publication Date Title
US11035940B2 (en) Method, apparatus, and system for wireless proximity and presence monitoring
US11639981B2 (en) Method, apparatus, and system for movement tracking
US10742475B2 (en) Method, apparatus, and system for object tracking sensing using broadcasting
US11397258B2 (en) Method, apparatus, and system for outdoor target tracking
US11500056B2 (en) Method, apparatus, and system for wireless tracking with graph-based particle filtering
US11340345B2 (en) Method, apparatus, and system for wireless object tracking
US20220091231A1 (en) Method, apparatus, and system for human identification based on human radio biometric information
US11531087B2 (en) Method, apparatus, and system for fall-down detection based on a wireless signal
US11500058B2 (en) Method, apparatus, and system for wireless proximity sensing
US20200322868A1 (en) Method, apparatus, and system for improving topology of wireless sensing systems
US20210160709A1 (en) Method, apparatus, and system for providing automatic assistance based on wireless monitoring
US11181486B2 (en) Method, apparatus, and system for wireless material sensing
US20080198225A1 (en) TVMS- a total view monitoring system
Fusco et al. Indoor localization for visually impaired travelers using computer vision on a smartphone
JP2006092396A (ja) 単独行動者及びグループ行動者検知装置
WO2003092291A1 (fr) Dispositif de detection d'objet, serveur de detection d'objet et procede de detection d'objet
US11906659B2 (en) Method, apparatus, and system for wireless micro motion monitoring
US20220291328A1 (en) Method, apparatus, and system for speech enhancement and separation based on audio and radio signals
US11953618B2 (en) Method, apparatus, and system for wireless motion recognition
JP2007219948A (ja) ユーザ異常検出装置、及びユーザ異常検出方法
JP2004096501A (ja) 移動体の位置検出システム、移動体の位置検出方法、及びプログラム
US11500057B2 (en) Method, apparatus, and system for wirelessly tracking keystrokes
TW202104929A (zh) 計測裝置及計測系統
JP7192764B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2021033430A (ja) コンピュータプログラム、対象物特定方法、対象物特定装置及び対象物特定システム

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20031107

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040517

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20040709

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20040709