JP2008186375A - 物体測定システム - Google Patents

物体測定システム Download PDF

Info

Publication number
JP2008186375A
JP2008186375A JP2007021338A JP2007021338A JP2008186375A JP 2008186375 A JP2008186375 A JP 2008186375A JP 2007021338 A JP2007021338 A JP 2007021338A JP 2007021338 A JP2007021338 A JP 2007021338A JP 2008186375 A JP2008186375 A JP 2008186375A
Authority
JP
Japan
Prior art keywords
data
information
laser
identification information
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007021338A
Other languages
English (en)
Other versions
JP5187878B2 (ja
Inventor
Ryosuke Shibazaki
亮介 柴崎
Kisei Cho
卉菁 趙
Kyoichiro Katabira
京市郎 帷子
Yoshiki Sotoguchi
慶樹 外口
Ichiro Ariyama
一郎 有山
Noboru Hasegawa
昇 長谷川
Kaoru Omoto
馨 大本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Tokyo NUC
Hitachi Information and Telecommunication Engineering Ltd
Original Assignee
University of Tokyo NUC
Hitachi Information and Communication Engineering Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Tokyo NUC, Hitachi Information and Communication Engineering Ltd filed Critical University of Tokyo NUC
Priority to JP2007021338A priority Critical patent/JP5187878B2/ja
Publication of JP2008186375A publication Critical patent/JP2008186375A/ja
Application granted granted Critical
Publication of JP5187878B2 publication Critical patent/JP5187878B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】
測定のためにコストや手間をかけず、移動物の形状及び速度等を測定する。
【解決手段】
地面と平行な面を照射する第1のレーザ測距装置および測定領域内を斜めに照射する第2のレーザ測距装置から測拒データを得て、それら測拒データを基に物体の3次元形状を測定する。物体の移動に伴い、第2のレーザ測拒装置から得られたデータを用いて物体の形状を計算し、第1のレーザ測距装置から得られたデータを用いて物体の位置および速度を計算する。また時間経過に伴う物体の形状に関するデータを用いて物体の表面形状を計算する。
【選択図】図1

Description

本発明は、物体測定システムに係り、特に所定の領域内を移動する歩行者のような移動物の測定システム、物体情報の処理方法及びその処理のためのプログラムに関する。
商品の販売状況や消費者の商品嗜好を調べる場合、特定の場所、例えばスーパーマーケットにおける人の動きを把握することが重要である。また、遊園地やイベント広場で、人や乗り物等の物体の動きを調査することが必要となる場合がある。
従来、物体を検知し或いは物体の表面を測定する場合、レーザ測距装置を用いることが提唱されている。例えば、物体の表面形状を測定する技術として、特許文献1にはステレオカメラに焦点光源装置を付け、画像演算により物体形状を計算する技術が開示されている。また、特許文献2には、レーザ測距装置内部にレーザ光を3次元方向に走査する機構を組み込み、3次元スキャンを行うことで物体の表面形状を測定する技術が開示されている。また、特許文献3には、2台のレーザ測距装置を測定領域の高所に設置し、2面のレーザ照射面を平行にして地面に対してほぼ垂直に照射することによって、その計測面を通過する車両の速度と形状を計測する技術が開示されている。更に、特許文献4には、異なる高さにレーザ変位計を設置したアームで物体の周囲を測距する技術が開示されている。
特開2001−194128号公報 特開2002−181533号公報 特開2001−319290号公報 特開平7−260440号公報
然るに、上記特許文献1の技術は、複雑な画像演算を行う必要があり、物体の3次元位置の計算に要するコストが高いという問題がある。また、焦点光源付ステレオカメラという特殊な装置を必要とし、外乱光の影響が強い実環境での適用は困難な場合が多い。また、視野角が狭いため、広範囲の計測には不向きである。
上記特許文献2の技術は、レーザ測距装置内部にレーザを3次元的に走査する機構を組み込むため、内部の構造が複雑化し、耐久性に問題がある。また、レーザ照射方向を複雑に稼動させるため1回のスキャンに時間がかかり、被測定物は測定領域にてスキャン完了までの一定時間、静止している必要がある。したがって、移動物を高速に計測することは困難である。
上記特許文献3の技術は、主に車両のような比較的水平方向に平たい物体を対象としていて、人物のように垂直方向に細長い物体に対して垂直方向に照射する場合、主に物体の上面すなわち人物の頭部の情報しか得られない点で問題がある。また、物体速度はレーザの計測断面に入る瞬間と出る瞬間でのみ計算しているが、計測断面を通過している途中で速度が変わったり、あるいは物体の進入方向が照射面に対して直交する方向では無かったりする場合、正確な物体形状の計算は困難である。
上記特許文献4の技術は、レーザ変位計を設置したアームで物体の周囲を測距する技術は、大規模な装置を用いる必要があるためコストが高い。また、測定はその回転するアームの内側で行う必要があるため、測定できる物体サイズに対してアームの大きさによる制限がある。
そこで、本発明の目的は、測定のためにコストや手間をかけず、レーザ測距装置を用いて測定領域内を移動する物体の情報を取得し、その物体の位置や3次元形状のデータを容易に得ることことにある。
また、本発明は、取得した物体の情報を利用して、指定された物体の3次元形状の表示を行うことにある。
本発明に係る物体測定システムは、レーザ測拒装置を用いて領域内に移動する物体を測定する物体測定システムであって、測定対象の領域にレーザ照射し、領域内に居る物体に関する位置情報に関する測距データを得るレーザ測距装置と、レーザ測拒装置から得られた測拒データに関するデータ処理を行う処理装置と、関連する情報を記憶する記憶手段と有し、
処理装置は、測拒データから個別の物体を検出して、物体ごとに固有の識別情報を付与し、物体ごとの位置データ及び形状データを求める第1の処理手段と、測拒データから物体の形状データを求め、物体の3次元情報を算出する第2の処理手段と、を有し、
記憶手段は、第1の処理手段によって処理された物体の識別情報に対応して、物体を測定した時刻及び位置データを記憶する第1記憶部と、第2の処理手段によって処理された物体の3次元情報を、物体の識別情報に対応して記憶する第2記憶部と、を有することを特徴とする物体測定システムとして構成される。
好ましい例では、地面と平行な面にレーザ光を照射する第1のレーザ測距装置と、領域内を斜めに照射する第2のレーザ測距装置を有し、前記第1及び第2の処理手段は、第2のレーザ測拒装置から得られたデータを用いて物体の形状を計算する。
また、好ましくは、前記第2記憶部に記憶される物体の3次元情報をアクセスすることができるアドレスを、物体の識別情報に対応して、前記第1記憶部に記憶し、物体の識別情報を指定することで、物体の3次元情報を取得できる。
本発明に係る物体情報の処理方法は、レーザ測拒装置を用いて領域内に移動する物体を測定して得られる物体の情報の処理方法であって、レーザ測距装置によって測定対象の領域にレーザ照射し、領域内に居る物体に関する位置情報に関する測距データを得るステップと、測拒データから個別の物体を検出して、物体ごとに固有の識別情報を付与し、物体ごとの位置データ及び形状データを求めるための計算機で実行される第1の処理ステップと、測拒データから物体の形状データを求め、物体の3次元情報を算出するための計算機で実行される第2の処理ステップと、第1の処理ステップによって処理された物体の識別情報に対応して、物体を測定した時刻、位置データ及び第2記憶部に記憶された物体の3次元情報をアクセスするためのアドレスを関連付けて第1記憶部に記憶する第1記憶ステップと、第2の処理ステップによって処理された物体の3次元情報を、物体の識別情報に対応して第2記憶部に記憶する第2記憶ステップと、を有することを特徴とする物体情報処理方法として構成される。
また、本発明に係るプログラムは、レーザ測拒装置を用いて領域内に移動する物体を測定して得られる物体の情報を処理するための計算機上で実行されるプログラムであって、レーザ測距装置によって測定対象の領域にレーザ照射して得られた、領域内に居る物体に関する位置情報に関する測距データから個別の物体を検出して、物体ごとに固有の識別情報を付与し、物体ごとの位置データ及び形状データを求めるための計算機で実行される第1の処理ステップと、測拒データから物体の形状データを求め、物体の3次元情報を算出するための計算機で実行される第2の処理ステップと、第1の処理ステップによって処理された物体の識別情報に対応して、物体を測定した時刻、位置データ及び第2記憶部に記憶された物体の3次元情報をアクセスするためのアドレスを関連付けて第1記憶部に記憶するステップと、第2の処理ステップによって処理された物体の3次元情報を、物体の識別情報に対応して第2記憶部に記憶する第2記憶ステップと、を計算機上で実行することを特徴とするプログラムとして構成される。
本発明によれば、レーザ測距装置を用いて測定領域にレーザを照射して測拒データを得て、測定領域内を移動する物体の位置及び3次元形状のデータを取得することができる。また、対象物に対してレーザを斜めに照射することで、物体の移動に伴って、物体の様々な高さの3次元形状データを取得することができる。また、取得した物体の情報を利用して物体の3次元形状を表示することができる。
以下、図面を参照して本発明の実施形態について説明する。
図1は、一実施例による移動物測定システムの構成を示す。
このシステムは、測定領域Xとしてスーパーや遊園地の出入り口等の特定の領域を決めて、測定対象の移動物として歩行者を対象とする。測定領域X内を移動した歩行者の形状、大きさ、速度等を測定し、その情報を例えば市場調査用として利用するために、DBに保存するシステムである。これにより、歩行者が何人連れであるか、子供か大人か、荷物を持っているか、カートを牽いているか等の情報を取得することが可能となる。
図示のように、このシステムは、測定領域Xを照射する2台のレーザ測距装置11、12と、これらレーザ測距装置11,12で検出された距離データを受信し、歩行者を含む移動物の3次元形状を計算する1台のPC(パーソナルコンピュータ)により構成される。PC3は、移動物の表面形状や位置、移動速度を計算して記憶するための処理装置としてのCPU31と、関係する種々のデータを記憶するデータベース(DB)32と、表示装置33及び入力装置34を有する。
レーザ測距装置1(以下2台の装置11,12を総称する場合、単に1と表す)は、回転するレーザにより1つの平面を連続的に測距する装置である。例えば、レーザ測距装置11は、測定面が床面から約16cmの高さに設置され、レーザ測距装置12は高さ2m程の高所から俯角θ(ピッチ角PB)で斜め下方に照射面を傾けて設置される。
レーザ測距装置1はその前方180°の範囲を扇状に0.5°刻みで角度を変えながら物体までの距離を連続的に測定し、移動物までの距離データとその角度番号を含む情報をPC3へ送信する。距離データは、式(1)のように、180°の範囲を0.5°で刻んだ角度と、その角度の前方までの距離をセンチ単位で並べたデータの組として構成される。
Figure 2008186375
1スキャンのデータは1回のレーザの回転により得られた距離値のデータ列であり、毎秒数十フレームの距離データがPC3へ送信される。
計測範囲はレーザ測距装置11を原点(xyz座標の(0、0、0))とした共通座標系W(xw、 yw、 zw)を定義し、その座標系におけるレーザ測距装置11の位置(x、 y、 z)、姿勢(ロール角R、ピッチ角P、方位角Y)およびレーザ測距装置12の位置(xB、 yB、 zB)、姿勢(ロール角RB、ピッチ角PB、方位角YB)を予め求めておく。ここでロール角とは、レーザ正面に対して垂直な軸に対する回転角、ピッチ角とはレーザ真横に対して垂直な軸に対する回転角、方位角とはレーザ真上に対して垂直な軸に対する回転角である。また、レーザ測距装置12の計測範囲は、レーザ測距装置11の測定範囲に含まれるように設置する。レーザ測距装置11、12により測定される範囲を測定領域と呼び、この領域内に入る歩行者を測定対象とする。
図2は、測定領域に歩行者20が入ってきた際に、レーザ測距装置11,12の1回分のスキャンによって得られるデータの例を示したものである。(A)、(B)はそれぞれレーザ測距装置11,12から得られたデータを示す。
レーザ測距装置11から照射されるレーザ光は、常に歩行者の足首付近に当たる。そのため、(A)のように歩行者20の両足の前面から円弧状のレーザポイントのデータとなり、歩行者が測定領域内のどの位置に居るかが分かる。
また、(B)のように、レーザ測距装置12からのレーザ光が歩行者に照射する高さは、レーザ測距装置12と歩行者との間の距離に応じて変化する。歩行者がレーザ測距装置12から遠方にいる時は、歩行者の低い位置にレーザ光が当たり、歩行者がレーザ測距装置12に近づくにつれて歩行者の高い位置にレーザ光が当たる。
図3(A)に示すように、歩行者20が測定領域内を右から左方向へ移動するにつれて、レーザ測拒装置12からのレーザ光によって足元から頭まで照射され、歩行者の表面形状に関する複数の3次元座標データを得ることができる。例えば、レーザ光のスキャンタイミングをt1〜t6とすると、(B)に示すように、歩行者に対する複数の3次元座標としてその表面形状データC1〜C6を得ることができる。このように収集した多数の3次元座標データを処理して表示装置33に表示すると、図3(C)に示すように、ある歩行者の全体の表面形状を表示することができる。本システムはこのような原理に基づき歩行者の表面形状を取得して表示する。なお、図3は説明上C1〜C6の6つの表面形状データであるが、レーザ光のスキャン数を増やせば、歩行者(移動物)の概観を十分に認識できる程度の3次元表示が可能である。
図8〜図10を参照して、DB32内に形成される具体的なDBの構成について説明する。
図8は、3次元座標管理DB800の構成を示す。
3次元座標管理DB800は、物体(歩行者)の3次元形状を把握するために、測定された3次元座標データを物体ごとに管理する。測定領域に入場して来た歩行者を識別するために、歩行者ごとに物体IDが付与され、その物体IDごとにその物体のポイントおよびポイントに対応した3次元座標を記憶する。ポイントNoとは、1つの点ごとに付与された通し番号である。
例えば、801は物体ID:00001の3次元座標を記憶し、802,803は、それぞれ物体ID:00002、00003の3次元座標を記憶するが如きである。
図9は、物体ID管理DB900の構成を示す。
物体DI管理DB900は、それぞれの歩行者の移動時刻と、形状データとの対応を管理するためのDBであり、物体IDに対応して、測定領域Xへの進入時刻、退出時刻、及び当該物体の3次元座標データのアドレスを記憶する。このアドレスによって3次元座標管理DB800から物体IDに対応した3次元座標データを読み出すことができる。
図10は、物体位置DB100の構成を示す。
物体位置DB100は、歩行者の移動を管理するものであり、物体IDに対応して重心座標g1を記憶する。同じ歩行者と認識をしている場合には、その度に重心座標g1が更新され、一方、新たな歩行者と認識をした場合には、その歩行者に対して新たな物体IDが付与され、重心座標g1が記憶される。
本発明に係る物体測定システムの一連の処理は、PC3のCPU31でプログラムを実行することで実現する。
このシステムにおける全体の処理について述べると、図14に示すように、まず、測定場所の背景データを取得し(S1401)、その後、測定場所に入場して来る移動物の表面形状データ(3次元形状データ)を取得する(S1402)。移動物の表面形状データが蓄積されると、その後、移動物の表示処理を行う(S1403)。なお、表面形状データの取得処理については、図4を参照し、また表示処理については図15を参照してそれぞれ後述する。
ここで、背景データの取得処理(S1401)について述べる。本システムが起動されると、まず歩行者の測定を行う前の処理として測定場所の背景データを取得する。例えば、レーザ測距装置1から歩行者の居ない測定場所全体を照射して、背景となる壁や柱等の動かない物体に関するデータ(背景データ)を取得する。レーザ測距装置1で取得された距離データをPC3のDB32に順次記憶しておき、距離データの角度ごとに距離値のヒストグラムを計算すると、動かない物体に当たり続けたレーザポイントは最頻値を取るので、その最頻値が背景データとなる(図5(B)参照)。
なお、取得された背景データは、式(1)に示した距離データと同様に、背景までの角度と距離を順に並べた形式でDB32に記憶される。
次に、図4を参照して、3次元形状データの取得処理について説明する。
以下の処理は、PC3のCPU31でプログラムを実行することで行われる。
まず、物体IDを‘0’にする(S0)。物体IDは、検知された物体が同一であることを識別するための情報であり、測定領域に新たな歩行者が入って来たと認識される度に新たな物体IDが付与される。
次に、PC3はレーザ測距装置11、12それぞれの距離データを受信可能になるまで待機し(S1)、受信可能になると2つの距離データを受信する(S2)。受信された距離データはそれぞれ背景データと比較して、歩行者などの移動物にレーザ光が当たったデータのみを算出する(S3)。
すなわち、図5に示すように、レーザ測距装置1が検知する距離データ(A)には、測定領域における壁53や柱等の背景データ51と歩行者のデータ52が混在する。PC3のCPU31は、受信した距離データから背景データ51を差分計算すると、背景データ51が削除されて歩行者のデータのみが残った移動物データCn(図3)を求める。測定領域内に歩行者が居る場合には移動物データCnのデータは1つ以上残り、測定領域内に歩行者が居ない場合には距離データと背景データが等しくなり背景差分は残らないことになる。
次に、(S1)で得られた移動物データCを、その角度と距離の極座標系から平面座標系(X、Y)に変換し、さらにレーザ測距装置1の位置(x、 y、 z)、姿勢
(R、 P、 Y)から共通座標系Wにおける3次元座標(x、 y、 z)に変換する(S4)。以下にその変換式(式2)を示す。
Figure 2008186375
ここで、αは背景差分が示すそれぞれの角度、rは角度が示す距離であり、この変換式は、レーザ測距装置12に対しても同様に、レーザ測拒装置11の位置(x、 y、 z)、姿勢(R、 P、 Y)をレーザ測拒装置12の位置(x、 y、 z)、姿勢(R、 P、 Y)に置き換えたものを使用する。以後、スキャン1回分の移動物データCを共通座標系Wにおける座標(x、 y、 z)に変換した後の座標データ郡を、それぞれ位置データ、形状データと呼ぶ。
この時、形状データの有無より歩行者が存在しているかを判定する(S5)。判定の結果、形状データが存在しない場合には(S5:No)、CPU31は再び次の距離データが送られてくるのを待つ。
一方、例えばレーザ測距装置12から得られた形状データに移動物が存在している場合には、CPU31は位置データのクラスタリング処理を行う(S6)。クラスタリングとは、レーザポイント群のうち一定距離以内に存在するレーザポイント同士を、同一物体として1つの組(クラスタ)にする処理である。これを再帰的に行うことで同一の歩行者の足2本による位置データを同一人物として1つに纏め、一定距離以上にある別の歩行者と区別する。
クラスタリングを行った後、1つのクラスタに含まれる全てのポイントの重心座標g1を求める(S7)。ここでクラスタの重心として1つの座標を決定し、歩行者の居る位置とする。
全てのクラスタの重心座標を求めた後、各クラスタの重心に関して物体位置DB100を検索することで、それぞれがある一定距離以下(例えば15cm以下)である重心座標g1のクラスタに対して、物体位置DB900を検索して関連する物体IDを得る(S8)。
これにより、関連付けられる物体IDが存在し、同一人物と判定された場合は(S9)、前回のスキャンからの経過時間および重心の移動距離により移動ベクトルを求め(S10)、物体位置DB100の対応する物体IDの重心をステップS7で求めた重心座標g1を更新する。(S11)
形状データについても同様に、ステップS7で求めた重心座標g1を開始点としたクラスタリングを行い、位置データにより検出された歩行者の、レーザ測距装置1より測定された物体の表面形状を求める(S12)。
図7の(B´)に示すように、ステップS7で求めた重心座標g1を原点とするローカル座標系Lを定義して、ステップS11で同一人物と関連付けられた座標群とステップS11で求めた移動ベクトルvの方向をy軸の正の向きに回転した座標に変換する(S13)。この変換は、以下の式(3)を用いて計算される。
変換前の共通座標系で示されたステップS11の形状データにおける座標を(xW, yW, z)、ステップS7で求めたクラスタの重心座標を(xg,yg,zg)、ステップS10の移動ベクトルと共通座標系Wにおけるx軸との成す角をφとすると、ローカル座標系Lへ投影した座標(x′,y′,z′)は、式(3)より求める。
Figure 2008186375
この変換後の座標を、物体形状の3次元座標データとして物体IDごとにそれぞれ3次元座標管理DB800に追加して登録する(S14)。
一方、ステップS9において同一人物と判定されるクラスタが見つからなかった場合には(S9:No)には、新たな歩行者が入って来たと判断して、その歩行者に対して新たな物体ID(最新の物体IDに‘1’を加えて)を作成し(S91)、上記ステップS7で求めた重心座標g1を、物体位置DB100に新たに追加して登録する(S92)。このとき、図9の物体ID管理DB900には、新規の物体IDと進入時刻の欄に現在時刻が登録される(S93)。
全てのクラスタの重心座標g1に対して物体位置DB100を検索して、物体IDの関連付けを検索し(S15)、その結果、何れのクラスタにも関連付けなかった物体IDのクラスタは、物体位置DB100より物体IDが破棄される。また、物体ID管理DB900の退出時刻の欄に現在時刻を登録し、3次元座標管理DB800の3次元座標データへアクセスするためのアドレスを物体ID管理DB900のアドレス欄に登録する(S16)。
以上のように、ステップ1〜ステップ16の処理を実行することで、測定領域内Xに到来する歩行者ごとの3次元形状を3次元座標管理DB900に記録することができ、一連の処理を終了する。
ここで、上記ステップS6〜ステップS13の処理についてより具体例に説明する。
図6に示すように水平に照射したレーザ測距装置11から得られたレーザデータに移動物が存在する場合(すなわち、図5の(C)背景差分において差分データがある場合)、データの背景差分を得た後のレーザポイントをクラスタリングし(S6)、クラスタに含まれるポイントの重心座標を求める。ここで、時刻t1のクラスタの重心座標をg1とし、その座標を時刻t1における歩行者の位置とする。
次に、時刻t2においても同様にクラスタリングを行ってクラスタの重心座標g2を求め、時刻t1における歩行者の位置g1から一定の範囲内に存在する歩行者を同一人物と判断し(S9)、t1,t2時刻間の重心座標の差から移動ベクトルv1を求める(S10)。
次に、図7に示すように時刻t2におけるレーザ測距装置12から得られたデータにおいて、上記の処理で計算した歩行者の重心座標g2から閾値以内に存在するレーザレーザポイントをクラスタリングする(S12)。さらに、重心座標g2を原点(0、 0、 0)としたローカル座標系Lを定義し、ステップS12でクラスタリングした座標列を、移動ベクトルv1をy軸の正の向きに回転し、このローカル座標系Lに投影して変換する(S13)。
また、次の時刻t3においても、同様にレーザ測距装置11から物体の重心座標g3および移動ベクトルv2を求めることによって、重心座標g3を中心としたローカル座標系Lを更新する。上述と同様に、時刻t3におけるレーザ測距装置12から得られたレーザデータを、式(3)を用いてローカル座標系Lに投影して変換する。
このように、ローカル座標系Lに投影した歩行者の表面形状データを、3次元座標管理DB800に物体IDごとに逐次記憶する。
次に、図15を参照して、本システムにおける物体の形状の表示処理(S4003)について説明する。以下の処理は、PC3のCPU31でプログラムを実行することで行われる。
移動物の測定が終了した後、PC11の入力装置34を操作して表示装置33に物体形状表示の初期画面を表示する(S1501)。この画面は、図16に示すように(図16は検索結果を示す画面であるが)、「検索区間」の入力欄1601を備える。操作者はこの入力欄1601に、検索すべき時刻の範囲を入力して検索ボタンを押す。
CPU31は、検索ボタンの押下により検索操作が行われたと判断すると(S1502)、検索区間のデータを受け付ける。検索区間のデータが受け付けられると、CPU31はそのデータが正しいかを判断する(S1503)。この判定は、入力値の書式が正しいか否かをチェックすることである。その判定の結果が正しい場合、物体ID管理DB900を検索して、指定された検索区間に測定領域に進入した物体の物体ID、進入時刻、退出時刻、3次元座標データのアドレスを得る(S1504)。そして、表示装置33の画面に、検索結果の物体IDと、物体IDの測定領域への進入時刻、退出時刻を表示する(S1505)。
図16に示すように、例えば検索区間1601として、2006/04/12、13時02分00秒〜13時05分00秒の区間が指定されて物体ID管理DB900(図9)を検索した結果、3つの物体ID(00003、00004、00005)がヒットして、その検索結果1602が表示される。
ここで、検索区間において何の物体も測定領域に進入しておらず、物体IDがヒットしない場合は、再度、初期画面に戻り「検索区間」の入力と検索ボタンの押下を待機することになる(S1506)。
一方、1つ以上の物体IDがヒットした場合は、操作者は検索結果1602よりカーソル1603を移動させて、目的の物体IDを選択する。CPU31は、ある物体ID(‘00005’)が選択されたことを検知すると(S1507)、その物体IDに関連するアドレスで3次元座標管理DB800をアクセスして、対応する3次元座標データを読み込む(S1508)。図17に、読み込まれた3次元座標データの例を示す。
CPU31は、3次元座標データを読み込むと、そのデータを基に3次元の散布図を作成して、物体(人)の形状を示す画面を表示する(S1509)。図17に、その表示例を示す。
3次元座標データを用いて物体の形状を示す画面を作成する処理は、既存のプログラムを用いることで実現できる(S1509)。
図18は物体形状の表示例を示す。画面には、表示している物体の物体ID、測定領域への進入時刻、退出時刻といった物体の情報表示1801、及び3次元の物体の表示1802が含まれる。また、画面上には、物体の表示を中止し初期画面に戻り検索をやり直す「再検索ボタン」1803、システムを終了させる「終了ボタン」1804が用意されている。
ここで、物体形状の表示処理(ステップS1509〜1513)に関しては、種々変形して表示することができる。この物体形状の表示は、図18に示すように、3次元処理されたものであるが、利用者が入力装置34を操作することで、3次元図形を適宜、回転(S1510、S1511)、拡大や縮小(S1512、S1513)することができ、表示の視点を変更することが可能である。例えば、図19は、図18の表示を「左90度回転」した場合の表示例であり、この視点において、物体の左側の形状を表示することができる。
このように、ある時間に測定領域内に入場した物体を検索して表示すること、及び表示形状の回転や、拡大、縮小をすることにより、物体の形状を分析することができる。また、「再検索ボタン」1803を操作することで物体の表示を中止し、初期画面に戻って検索をやり直すことや(1514)、「終了ボタン」1804を操作することでシステムを終了させることもできる(1515)。
次に、図12及び図13を参照して、他の例について説明する。
図12は、図1におけるレーザ測距装置12を地面に設置し、測定面を斜め上方に向けて測定を行う構成である。このように設置することで、レーザ測距装置12を高所に設置する必要が無くなり、設置作業やメンテナンスが容易となる。
また、図13のように、更にレーザ測距装置13を別の位置に配置して、3台以上のレーザ測距装置13を用いて測距することで、多くの物体の3次元情報及び位置情報を得ることができる。レーザ測距装置13を追加することにより、歩行者がレーザ測距装置12に対して正面へ移動する場合、歩行者の前面だけでなく、レーザ測距装置13によって歩行者の後面の形状も得ることができる。
以上、本発明の好ましい実施例について説明したが、本発明は上記した実施例に限定されず、種々変形して実施し得る。
例えば、上記の例は、人の3次元形状を取得するものであるが、他の例によれば、測定対象の移動物として人物に限定されず、車両や動物といった任意の物体に対する測距が可能である。また、測定領域に複数の物体が存在する場合でも、同時に個々の物体の3次元形状を測距することが可能である。
また、図8〜図10に示したDBの構成は一例であり、これに限定されない。また、上記実施例において使用された用語は一例であり、上記表現に限定されない。例えば、PCは、要するに計算機あるいは計算手段であれば良い。DBは表現上、テーブルあるいは記憶領域、記憶手段と言っても良い。また、上記の実施例では、説明上、3つのDB800〜100を有しているが、物体IDによって関連付けられている限りにおいてこれらは2つに纏めてもよいし、或いは4つ以上のDBに分割して構成するようにしもよい。
また、移動物の表示処理はPC3による処理に限らず、他のサーバやPCで行ってもよい。この場合、それらの装置から関連するDB800、900がアクセスできることは勿論である。
また、この表示処理はいつの時点で行ってもよい。例えば、1日のイベントが終了した後、夜間に行ってもよい。
以上のように、本実施例によれば、対象物に対してレーザを斜めに照射するので、物体の移動に伴い、斜めに照射したレーザ光が物体の側面の様々な高さに射たる。このため、3次元スキャン方式のようにレーザ照射方向を複雑に移動させる必要がなく、装置内部の稼動部が単純で壊れにくい。そのため、1回のスキャンに要する時間が短く、高速に物体の3次元形状を取得できる。
さらに、斜めにレーザを照射することで、人物のように垂直方向に細長い物体に対して全身の形状を取得することができる。また、水平照射により物体の位置および速度を計算し、それらの情報を基に斜め照射により得られた物体側面の形状を適切に座標変換することによって、速度や移動方向に依存しない正確な3次元形状を取得する。
このシステムは少なくとも2台のレーザ測距装置により計測が可能なので、小規模で単純かつ安価にシステムを構築できる。また、レーザの照射角度や設置する位置を変更するだけで物体サイズに対して柔軟に対応可能である。
また、物体の3次元形状より簡便かつ高速に情報から物体の幅や高さ等の情報も得ることができるようになる。これにより、形状にこれら情報を加えた応用アプリケーションが考えられる。例えば、形状や速度から人物の年齢や性別を推測することも可能となる。
一実施例における移動物測定システムの構成例を示す図、 測定領域内を移動する歩行者から得られるデータの概要を示す図、 歩行者が測定領域を移動する際にレーザ測距装置から時系列で得られる3次元形状データの様子を概念的に示す図、 移動物測定システムにおける3次元形状データを取得するための処理動作を示すフローチャート図、 測定領域における距離データ及び背景データの関係を示す概念図、 レーザ測距装置11から得られたデータからローカル座標系に変換する処理を示す図、 レーザ測距装置12から得られたデータからローカル座標系に変換する処理を示す図、 3次元座標管理DB800の記憶フォーマットを示す図、 物体ID管理DB900の記憶フォーマットを示す図、 物体位置DB100の記憶フォーマットを示す図、 測定領域におけるレーザ測拒装置11と歩行者の足元の様子を示す概念図、 図1におけるレーザ測距装置の配置の変形例を示す図、 図1におけるレーザ測距装置の配置の変形例を示す図、 移動物測定システムにおける全体の処理動作を示すフローチャート図、 移動物測定システムにおける移動物の表示処理動作を示すフローチャート図、 物体ID管理DB900の検索結果の表示例を示す図、 3次元座標管理DB800内のデータ構成例を示す図、 3次元処理された物体形状の表示例を示す図、 表示物体を左90度回転した場合の表示例を示す図。
符号の説明
X:測定領域 1、11、12:レーザ測距装置 3:PC 31:CPU 32:DB 33:表示装置 34:入力装置 800:3次元座標管理DB 900:物体ID管理DB 100:物体位置DB

Claims (8)

  1. レーザ測拒装置を用いて領域内に移動する物体を測定する物体測定システムであって、測定対象の該領域にレーザ照射し、該領域内に居る物体に関する位置情報に関する測距データを得るレーザ測距装置と、該レーザ測拒装置から得られた該測拒データに関するデータ処理を行う処理装置と、関連する情報を記憶する記憶手段と有し、
    該処理装置は、該測拒データから個別の物体を検出して、該物体ごとに固有の識別情報を付与し、物体ごとの位置データ及び形状データを求める第1の処理手段と、
    該測拒データから物体の形状データを求め、該物体の3次元情報を算出する第2の処理手段と、を有し、
    該記憶手段は、該第1の処理手段によって処理された該物体の識別情報に対応して、該物体を測定した時刻及び位置データを記憶する第1記憶部と、該第2の処理手段によって処理された該物体の3次元情報を、該物体の識別情報に対応して記憶する第2記憶部と、を有することを特徴とする物体測定システム。
  2. 地面と平行な面にレーザ光を照射する第1のレーザ測距装置と、該領域内を斜めに照射する第2のレーザ測距装置を有し、
    前記第1及び第2の処理手段は、該第2のレーザ測拒装置から得られたデータを用いて物体の形状を計算することを特徴とする請求項1の物体測定システム。
  3. 前記第2記憶部に記憶される物体の3次元情報をアクセスすることができるアドレスを、該物体の識別情報に対応して、前記第1記憶部に記憶し、該物体の識別情報を指定することで、該物体の3次元情報を取得できることを特徴とする請求項1又は2の物体測定システム。
  4. 前記第1の処理手段は、該測拒データから、式(2)の式を用いて物体の位置データ及び形状データを算出し、
    前記第2の処理手段は、式(3)を用いて物体の3次元座標を算出することを特徴する請求項1乃至3のいずれかの物体測定システム。
    Figure 2008186375
    Figure 2008186375
  5. レーザ測拒装置を用いて領域内に移動する物体を測定して得られる物体の情報の処理方法であって、
    レーザ測距装置によって測定対象の該領域にレーザ照射し、該領域内に居る物体に関する位置情報に関する測距データを得るステップと、
    該測拒データから個別の物体を検出して、該物体ごとに固有の識別情報を付与し、物体ごとの位置データ及び形状データを求めるための計算機で実行される第1の処理ステップと、
    該測拒データから物体の形状データを求め、該物体の3次元情報を算出するための計算機で実行される第2の処理ステップと、
    該第1の処理ステップによって処理された該物体の識別情報に対応して、該物体を測定した時刻、位置データ及び第2記憶部に記憶された物体の3次元情報をアクセスするためのアドレスを関連付けて第1記憶部に記憶する第1記憶ステップと、
    該第2の処理ステップによって処理された該物体の3次元情報を、該物体の識別情報に対応して第2記憶部に記憶する第2記憶ステップと、を有することを特徴とする物体情報処理方法。
  6. 更に、入力装置の操作によって該物体の識別情報を指定して、該識別情報に関連する該アドレスによって前記第2記憶部をアクセスして該当する3次元情報を得て、該3次元情報について描画処理して表示装置に表示することを特徴とする請求項5の物体情報処理方法。
  7. 更に、入力装置の操作によって検索すべき対象の時間帯を指定するステップと、該第1記憶部を検索して指定された時間帯に該当する物体の識別情報を得るステップと、得られた物体の識別情報に関する情報を表示装置に表示するステップと、表示装置に表示された該識別情報のうち、該入力装置の操作によって指定された該物体の識別情報に対応する該アドレスによって前記第2記憶部をアクセスして該当する3次元情報を得るステップと、得られた該3次元情報について描画処理して表示装置に表示するステップと、を有することを特徴とする請求項5又は6の物体情報処理方法。
  8. レーザ測拒装置を用いて領域内に移動する物体を測定して得られる物体の情報を処理するための計算機上で実行されるプログラムであって、
    レーザ測距装置によって測定対象の該領域にレーザ照射して得られた、該領域内に居る物体に関する位置情報に関する測距データから個別の物体を検出して、該物体ごとに固有の識別情報を付与し、物体ごとの位置データ及び形状データを求めるための計算機で実行される第1の処理ステップと、
    該測拒データから物体の形状データを求め、該物体の3次元情報を算出するための計算機で実行される第2の処理ステップと、
    該第1の処理ステップによって処理された該物体の識別情報に対応して、該物体を測定した時刻、位置データ及び第2記憶部に記憶された物体の3次元情報をアクセスするためのアドレスを関連付けて第1記憶部に記憶するステップと、
    該第2の処理ステップによって処理された該物体の3次元情報を、該物体の識別情報に対応して第2記憶部に記憶する第2記憶ステップと、を計算機上で実行することを特徴とするプログラム。
JP2007021338A 2007-01-31 2007-01-31 物体測定システム Active JP5187878B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007021338A JP5187878B2 (ja) 2007-01-31 2007-01-31 物体測定システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007021338A JP5187878B2 (ja) 2007-01-31 2007-01-31 物体測定システム

Publications (2)

Publication Number Publication Date
JP2008186375A true JP2008186375A (ja) 2008-08-14
JP5187878B2 JP5187878B2 (ja) 2013-04-24

Family

ID=39729348

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007021338A Active JP5187878B2 (ja) 2007-01-31 2007-01-31 物体測定システム

Country Status (1)

Country Link
JP (1) JP5187878B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008275442A (ja) * 2007-04-27 2008-11-13 Univ Of Tokyo レーザ計測システム及び方法
JP2009110124A (ja) * 2007-10-26 2009-05-21 Optex Co Ltd 対象検出装置、対象検出方法、および対象検出プログラム
JP2011081634A (ja) * 2009-10-07 2011-04-21 Sogo Keibi Hosho Co Ltd 人体向き推定装置及び人体向き推定方法
JP2011106820A (ja) * 2009-11-12 2011-06-02 Hitachi Information & Communication Engineering Ltd 物体測定システム及びその方法
JP2011196749A (ja) * 2010-03-18 2011-10-06 Toyota Central R&D Labs Inc 物体検出装置
JP2011226880A (ja) * 2010-04-19 2011-11-10 Advanced Telecommunication Research Institute International 計測装置,計測方法および計測プログラム
JP2012215555A (ja) * 2011-03-30 2012-11-08 Advanced Telecommunication Research Institute International 計測装置,計測方法および計測プログラム
JP2012252626A (ja) * 2011-06-06 2012-12-20 Hitachi Information & Communication Engineering Ltd 交通流計測システム
WO2013107525A1 (en) * 2012-01-20 2013-07-25 Sick Ivp Ab Impact time from image sensing
KR20180098360A (ko) * 2016-01-29 2018-09-03 각코호진 메이지다이가쿠 레이저 스캔 시스템, 레이저 스캔 방법, 이동 레이저 스캔 시스템 및 프로그램
WO2020026480A1 (ja) * 2018-07-31 2020-02-06 清水建設株式会社 位置検出システム及び位置検出方法
CN113554894A (zh) * 2021-08-02 2021-10-26 合肥市春华起重机械有限公司 一种智能化垂直升降停车系统
CN114067472A (zh) * 2021-11-29 2022-02-18 广东电网有限责任公司 一种变电站进站授权管理系统及方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101534927B1 (ko) 2013-10-08 2015-07-07 현대자동차주식회사 차량 인지 장치 및 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244714A (ja) * 1994-03-03 1995-09-19 Omron Corp 物体検出装置
JP2003272061A (ja) * 2002-03-13 2003-09-26 Omron Corp 監視装置
JP2003329418A (ja) * 2002-05-15 2003-11-19 Kawasaki Heavy Ind Ltd 3次元計測装置
JP2005216160A (ja) * 2004-01-30 2005-08-11 Secom Co Ltd 画像生成装置、侵入者監視装置及び画像生成方法
JP2006194617A (ja) * 2005-01-11 2006-07-27 Ishikawajima Harima Heavy Ind Co Ltd 物体検出方法及び装置
JP2006209318A (ja) * 2005-01-26 2006-08-10 East Japan Railway Co 人数検出装置及び方法
JP2006221610A (ja) * 2004-12-14 2006-08-24 Samsung Electronics Co Ltd 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07244714A (ja) * 1994-03-03 1995-09-19 Omron Corp 物体検出装置
JP2003272061A (ja) * 2002-03-13 2003-09-26 Omron Corp 監視装置
JP2003329418A (ja) * 2002-05-15 2003-11-19 Kawasaki Heavy Ind Ltd 3次元計測装置
JP2005216160A (ja) * 2004-01-30 2005-08-11 Secom Co Ltd 画像生成装置、侵入者監視装置及び画像生成方法
JP2006221610A (ja) * 2004-12-14 2006-08-24 Samsung Electronics Co Ltd 人間追跡装置及び方法、その方法を行うためのプログラムが記録された記録媒体とその装置を備えた移動型電子機器
JP2006194617A (ja) * 2005-01-11 2006-07-27 Ishikawajima Harima Heavy Ind Co Ltd 物体検出方法及び装置
JP2006209318A (ja) * 2005-01-26 2006-08-10 East Japan Railway Co 人数検出装置及び方法

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008275442A (ja) * 2007-04-27 2008-11-13 Univ Of Tokyo レーザ計測システム及び方法
JP2009110124A (ja) * 2007-10-26 2009-05-21 Optex Co Ltd 対象検出装置、対象検出方法、および対象検出プログラム
JP2011081634A (ja) * 2009-10-07 2011-04-21 Sogo Keibi Hosho Co Ltd 人体向き推定装置及び人体向き推定方法
JP2011106820A (ja) * 2009-11-12 2011-06-02 Hitachi Information & Communication Engineering Ltd 物体測定システム及びその方法
JP2011196749A (ja) * 2010-03-18 2011-10-06 Toyota Central R&D Labs Inc 物体検出装置
JP2011226880A (ja) * 2010-04-19 2011-11-10 Advanced Telecommunication Research Institute International 計測装置,計測方法および計測プログラム
JP2012215555A (ja) * 2011-03-30 2012-11-08 Advanced Telecommunication Research Institute International 計測装置,計測方法および計測プログラム
JP2012252626A (ja) * 2011-06-06 2012-12-20 Hitachi Information & Communication Engineering Ltd 交通流計測システム
US10078904B2 (en) 2012-01-20 2018-09-18 Sick Ivp Ab Impact time from image sensing
WO2013107525A1 (en) * 2012-01-20 2013-07-25 Sick Ivp Ab Impact time from image sensing
KR20180098360A (ko) * 2016-01-29 2018-09-03 각코호진 메이지다이가쿠 레이저 스캔 시스템, 레이저 스캔 방법, 이동 레이저 스캔 시스템 및 프로그램
KR102159376B1 (ko) * 2016-01-29 2020-09-23 각코호진 메이지다이가쿠 레이저 스캔 시스템, 레이저 스캔 방법, 이동 레이저 스캔 시스템 및 프로그램
US11187790B2 (en) 2016-01-29 2021-11-30 Meiji University Laser scanning system, laser scanning method, movable laser scanning system, and program
KR20210152036A (ko) * 2016-01-29 2021-12-14 각코호진 메이지다이가쿠 레이저 스캔 시스템, 레이저 스캔 방법, 이동 레이저 스캔 시스템 및 프로그램
KR102460225B1 (ko) * 2016-01-29 2022-10-31 각코호진 메이지다이가쿠 레이저 스캔 시스템, 레이저 스캔 방법, 이동 레이저 스캔 시스템 및 프로그램
WO2020026480A1 (ja) * 2018-07-31 2020-02-06 清水建設株式会社 位置検出システム及び位置検出方法
JP2020020645A (ja) * 2018-07-31 2020-02-06 清水建設株式会社 位置検出システム及び位置検出方法
JP7257752B2 (ja) 2018-07-31 2023-04-14 清水建設株式会社 位置検出システム
US11898847B2 (en) 2018-07-31 2024-02-13 Shimizu Corporation Position detecting system and position detecting method
CN113554894A (zh) * 2021-08-02 2021-10-26 合肥市春华起重机械有限公司 一种智能化垂直升降停车系统
CN114067472A (zh) * 2021-11-29 2022-02-18 广东电网有限责任公司 一种变电站进站授权管理系统及方法

Also Published As

Publication number Publication date
JP5187878B2 (ja) 2013-04-24

Similar Documents

Publication Publication Date Title
JP5187878B2 (ja) 物体測定システム
Dong et al. ViNav: A vision-based indoor navigation system for smartphones
Dong et al. Marker-free monitoring of the grandstand structures and modal identification using computer vision methods
JP6296043B2 (ja) 計測装置,計測方法および計測プログラム
JP5950296B2 (ja) 人物追跡属性推定装置、人物追跡属性推定方法、プログラム
Leung et al. The UTIAS multi-robot cooperative localization and mapping dataset
JP5337905B2 (ja) 速度計測システム、速度計測方法及びプログラム
JP5198883B2 (ja) 腫瘍領域サイズ測定方法および装置ならびにプログラム
TWI498580B (zh) 長度量測方法與長度量測裝置
CN106572298A (zh) 显示控制装置以及显示控制方法
JP2010511212A (ja) 画像内の平面オブジェクトを識別し且つ位置判定する方法及び装置
De Amici et al. A Wii remote-based infrared-optical tracking system
JP3655618B2 (ja) 歩行者年齢判定装置、歩行状態・歩行者年齢判定方法およびプログラム
JP2019101000A (ja) 測距点群データ測定システム、および制御プログラム
JP2009110185A (ja) 通行人行動解析装置及び通行人行動解析方法並びにそのプログラム
JP2019519786A (ja) 放射線撮像装置
CN109213363A (zh) 预测指示器触摸位置或确定3d空间中指向的系统和方法
JP5134226B2 (ja) 移動物測定システム
Tian et al. Behavior analysis of indoor escape route-finding based on head-mounted vr and eye tracking
JP2017122690A (ja) ヒト計測システムの座標校正方法
TW201211941A (en) Analyzing device for vehicle dynamic behavior and analyzing program for vehicle dynamic behavior
KR102340281B1 (ko) 라이다 센서를 구비한 터치 인식 방법 및 장치
JP2013218384A (ja) 画像処理装置、画像処理装置の制御方法、およびプログラム
CN105572154B (zh) X射线探测方法以及装置以及系统
JP2007003448A (ja) 移動情報生成装置、移動情報生成方法、プログラムおよび記憶媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100120

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110706

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120321

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120521

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130118

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160201

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5187878

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250