JP3453734B2 - キャリブレーション方法 - Google Patents
キャリブレーション方法Info
- Publication number
- JP3453734B2 JP3453734B2 JP20822596A JP20822596A JP3453734B2 JP 3453734 B2 JP3453734 B2 JP 3453734B2 JP 20822596 A JP20822596 A JP 20822596A JP 20822596 A JP20822596 A JP 20822596A JP 3453734 B2 JP3453734 B2 JP 3453734B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- image
- distance image
- axis
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】本発明は、カメラ等の撮像手
段により被測定物の三次元位置を計測するのに必要とさ
れる三次元計測装置におけるキャリブレーション方法に
関するものである。
段により被測定物の三次元位置を計測するのに必要とさ
れる三次元計測装置におけるキャリブレーション方法に
関するものである。
【０００２】
【従来の技術】従来、この種の三次元計測装置における
キャリブレーション方法として、図１９に示される方法
が知られている（例えば特開平５−２４８８１９号公報
参照）。この方法は、較正用対象物として座標を示す方
眼線５１（もしくは多数の点）が刻まれた測定板５２を
用い、この測定板５２を制御装置５３によって前後に移
動させながら三次元視覚センサ５４によって方眼線５１
を認識してコンピュータ５５で処理することによって較
正データを得るものである。この場合、方眼線５１を認
識するに際し、二値化処理と称する画像処理手法が用い
られる。
キャリブレーション方法として、図１９に示される方法
が知られている（例えば特開平５−２４８８１９号公報
参照）。この方法は、較正用対象物として座標を示す方
眼線５１（もしくは多数の点）が刻まれた測定板５２を
用い、この測定板５２を制御装置５３によって前後に移
動させながら三次元視覚センサ５４によって方眼線５１
を認識してコンピュータ５５で処理することによって較
正データを得るものである。この場合、方眼線５１を認
識するに際し、二値化処理と称する画像処理手法が用い
られる。
【０００３】
【発明が解決しようとする課題】しかしながら、前述さ
れている従来のキャリブレーション方法では、方眼線５
１を画像処理により抽出する際に、この方眼線５１が光
の環境によってかすれて綺麗に抽出できなかったり、あ
るいは方眼線５１の中心が抽出できずに偏った線を抽出
してしまい、この結果得られた座標値が正確な位置から
ずれてしまって精度の良いキャリブレーションが行えな
いという問題点があった。
れている従来のキャリブレーション方法では、方眼線５
１を画像処理により抽出する際に、この方眼線５１が光
の環境によってかすれて綺麗に抽出できなかったり、あ
るいは方眼線５１の中心が抽出できずに偏った線を抽出
してしまい、この結果得られた座標値が正確な位置から
ずれてしまって精度の良いキャリブレーションが行えな
いという問題点があった。
【０００４】本発明は、このような問題点を解消するた
めになされたもので、二値化処理による誤差を除去して
高精度化を図ることのできるキャリブレーション方法を
提供することを目的とするものである。
めになされたもので、二値化処理による誤差を除去して
高精度化を図ることのできるキャリブレーション方法を
提供することを目的とするものである。
【０００５】
【課題を解決するための手段および作用・効果】前述の
目的を達成するために、本発明によるキャリブレーショ
ン方法は、投光手段により被測定物の表面に光を照射し
てその反射光を撮像手段により撮像し、この撮像される
反射光の情報から三角測量の原理に基づき前記被測定物
の位置を計測する三次元計測装置におけるキャリブレー
ション方法であって、較正用対象物を前記撮像手段に対
してヨー回転，ピッチ回転および前後移動させたときの
各移動点での距離画像を前記撮像手段にて撮像し、この
撮像された距離画像を処理して各画素の前記距離画像毎
の三次元座標値を求め、この求められる三次元座標値よ
り較正値を得ることを特徴とするものである。
目的を達成するために、本発明によるキャリブレーショ
ン方法は、投光手段により被測定物の表面に光を照射し
てその反射光を撮像手段により撮像し、この撮像される
反射光の情報から三角測量の原理に基づき前記被測定物
の位置を計測する三次元計測装置におけるキャリブレー
ション方法であって、較正用対象物を前記撮像手段に対
してヨー回転，ピッチ回転および前後移動させたときの
各移動点での距離画像を前記撮像手段にて撮像し、この
撮像された距離画像を処理して各画素の前記距離画像毎
の三次元座標値を求め、この求められる三次元座標値よ
り較正値を得ることを特徴とするものである。
【０００６】本発明のキャリブレーション方法において
は、例えば測定板のような較正用対象物をカメラ等の撮
像手段に対して一定量ずつヨー回転，ピッチ回転もしく
は前後移動させながら、各移動点での距離画像が撮像手
段にて取得される。そして、この取得された距離画像が
処理されることによって各画素のその距離画像毎の三次
元座標値が求められ、この求められる三次元座標値より
較正値が得られる。
は、例えば測定板のような較正用対象物をカメラ等の撮
像手段に対して一定量ずつヨー回転，ピッチ回転もしく
は前後移動させながら、各移動点での距離画像が撮像手
段にて取得される。そして、この取得された距離画像が
処理されることによって各画素のその距離画像毎の三次
元座標値が求められ、この求められる三次元座標値より
較正値が得られる。
【０００７】本発明によれば、較正用対象物の回転およ
び前後移動によって各画素の明暗情報と置き換えられた
２５６段階の距離情報と三次元座標値との対応表（ルッ
クアップテーブル）が作成されるので、従来の方眼線を
画像処理により抽出するものにおけるような二値化処理
による誤差の発生を排除することができ、高精度のキャ
リブレーションを実現することができる。
び前後移動によって各画素の明暗情報と置き換えられた
２５６段階の距離情報と三次元座標値との対応表（ルッ
クアップテーブル）が作成されるので、従来の方眼線を
画像処理により抽出するものにおけるような二値化処理
による誤差の発生を排除することができ、高精度のキャ
リブレーションを実現することができる。
【０００８】本発明においては、前記撮像手段により撮
像された距離画像を処理するに際し、一つの画像につい
て特定の画素の周囲のメディアン値をその画素の距離画
像として設定するとともに、こうして得られる距離画像
を各位置で複数回設定しそれら複数回のメディアン値を
その画素の距離画像の補正値として設定するのが好まし
い。こうすることで、較正用対象物の表面の乱反射等に
よって取得画像の画素値が歪んだ場合でも、ノイズを除
去して取得画像のスムージング処理を行うことができ、
より高精度なキャリブレーションを行うことが可能とな
る。
像された距離画像を処理するに際し、一つの画像につい
て特定の画素の周囲のメディアン値をその画素の距離画
像として設定するとともに、こうして得られる距離画像
を各位置で複数回設定しそれら複数回のメディアン値を
その画素の距離画像の補正値として設定するのが好まし
い。こうすることで、較正用対象物の表面の乱反射等に
よって取得画像の画素値が歪んだ場合でも、ノイズを除
去して取得画像のスムージング処理を行うことができ、
より高精度なキャリブレーションを行うことが可能とな
る。
【０００９】
【発明の実施の形態】次に、本発明によるキャリブレー
ション方法の具体的実施例につき、図面を参照しつつ説
明する。
ション方法の具体的実施例につき、図面を参照しつつ説
明する。
【００１０】図１に、本発明の一実施例に係る三次元計
測装置のシステム構成図が示されている。本実施例の三
次元計測装置は、無地の平板により構成される較正用対
象物としての測定板１と、この測定板１を所望位置に移
動させる測定板移動装置２と、この測定板移動装置２を
制御する測定板制御装置３と、前記測定板１に対位して
設けられる三次元視覚センサ４と、前記測定板制御装置
３を制御するとともに前記測定板１の移動位置に応じて
前記三次元視覚センサ４により取得された距離画像を保
存・処理するコンピュータ５とを備えている。
測装置のシステム構成図が示されている。本実施例の三
次元計測装置は、無地の平板により構成される較正用対
象物としての測定板１と、この測定板１を所望位置に移
動させる測定板移動装置２と、この測定板移動装置２を
制御する測定板制御装置３と、前記測定板１に対位して
設けられる三次元視覚センサ４と、前記測定板制御装置
３を制御するとともに前記測定板１の移動位置に応じて
前記三次元視覚センサ４により取得された距離画像を保
存・処理するコンピュータ５とを備えている。
【００１１】前記測定板移動装置２は、直動スライダ２
ａと、この直動スライダ２ａ上に回転テーブル２ｂを介
して設けられるゴニオ回転装置２ｃとを備え、これによ
って測定板１が三次元視覚センサ４に対してヨー回転
（上下回転軸回りの回転），ピッチ回転（水平回転軸回
りの回転）および前後移動可能に構成されている。ま
た、前記三次元視覚センサ４は、測定板１の表面にレー
ザ光（コード化パターン光）を照射するレーザ照射部
と、この測定板１の表面からの反射光を撮像する撮像手
段としてのＣＣＤカメラとを備え、このＣＣＤカメラに
より取得された画像がコンピュータ５に送られるように
なっている。こうして、コンピュータ５からの制御信号
に基づいて測定板１を一定量ずつ移動させながら各移動
点での距離画像が三次元視覚センサ４にて取得される。
ａと、この直動スライダ２ａ上に回転テーブル２ｂを介
して設けられるゴニオ回転装置２ｃとを備え、これによ
って測定板１が三次元視覚センサ４に対してヨー回転
（上下回転軸回りの回転），ピッチ回転（水平回転軸回
りの回転）および前後移動可能に構成されている。ま
た、前記三次元視覚センサ４は、測定板１の表面にレー
ザ光（コード化パターン光）を照射するレーザ照射部
と、この測定板１の表面からの反射光を撮像する撮像手
段としてのＣＣＤカメラとを備え、このＣＣＤカメラに
より取得された画像がコンピュータ５に送られるように
なっている。こうして、コンピュータ５からの制御信号
に基づいて測定板１を一定量ずつ移動させながら各移動
点での距離画像が三次元視覚センサ４にて取得される。
【００１２】この三次元視覚センサ４は、当該三次元視
覚センサ４と測定板１との遠近距離を、近いところは明
るく、遠いところは暗く表示するというように明暗情報
に置き換えて出力する。そして、この明暗を示す値が実
際にはどのような三次元座標に対応するかがキャリブレ
ーションを実施することによって教示される。
覚センサ４と測定板１との遠近距離を、近いところは明
るく、遠いところは暗く表示するというように明暗情報
に置き換えて出力する。そして、この明暗を示す値が実
際にはどのような三次元座標に対応するかがキャリブレ
ーションを実施することによって教示される。
【００１３】次に、本実施例におけるキャリブレーショ
ン方法を図１５乃至図１８を参照しつつ、図２乃至図１
４に示されるフローチャートにしたがって説明する。
ン方法を図１５乃至図１８を参照しつつ、図２乃至図１
４に示されるフローチャートにしたがって説明する。
【００１４】まず、Ｘ方向の位置データを格納するＸ方
向のルックアップテーブルを作成するためのフローを図
２乃至図６によって説明する。
向のルックアップテーブルを作成するためのフローを図
２乃至図６によって説明する。
【００１５】Ｓ１：三次元視覚センサ４に対して測定板
１の移動軸の全軸、言い換えれば上下回転軸（Ｙ軸），
水平回転軸（Ｘ軸）および前後移動軸（Ｚ軸）の各軸を
測定基準としての原点に移動させる。 Ｓ２：Ｘ方向の距離画像データを取得するために、図１
５（ａ）に示されるように、三次元視覚センサ４に対し
て測定板１を上下回転軸まわりに＋３０°すなわち鉛直
に＋３０°の角度をつけて設置する。
１の移動軸の全軸、言い換えれば上下回転軸（Ｙ軸），
水平回転軸（Ｘ軸）および前後移動軸（Ｚ軸）の各軸を
測定基準としての原点に移動させる。 Ｓ２：Ｘ方向の距離画像データを取得するために、図１
５（ａ）に示されるように、三次元視覚センサ４に対し
て測定板１を上下回転軸まわりに＋３０°すなわち鉛直
に＋３０°の角度をつけて設置する。
【００１６】Ｓ３〜Ｓ５：三次元視覚センサ４のＣＣＤ
カメラにより測定板１の距離画像データを取得し、この
取得画像を、測定板１の表面の反射等によるノイズを除
去するためにメディアンフィルタ（平滑化フィルタ）に
より補正する。なお、このメディアンフィルタは、計測
すべき画素の濃度値をその画素の近傍領域（例えば３×
３）のメディアン値（中央値）によって置き換えるもの
である。そして、この処理は各位置での画像を３回取得
するまで繰り返される。
カメラにより測定板１の距離画像データを取得し、この
取得画像を、測定板１の表面の反射等によるノイズを除
去するためにメディアンフィルタ（平滑化フィルタ）に
より補正する。なお、このメディアンフィルタは、計測
すべき画素の濃度値をその画素の近傍領域（例えば３×
３）のメディアン値（中央値）によって置き換えるもの
である。そして、この処理は各位置での画像を３回取得
するまで繰り返される。
【００１７】Ｓ６〜Ｓ７：各位置で３回の距離画像が取
得されると、同一画素の値を比較してそのメディアン値
（中央値）を求め、このメディアン値を最終的な距離画
像として設定する。この後、この得られた距離画像をコ
ンピュータ５内の記憶装置における距離画像ファイルに
書き込む。
得されると、同一画素の値を比較してそのメディアン値
（中央値）を求め、このメディアン値を最終的な距離画
像として設定する。この後、この得られた距離画像をコ
ンピュータ５内の記憶装置における距離画像ファイルに
書き込む。
【００１８】Ｓ８〜Ｓ９：測定板１の前後位置を一定ピ
ッチ（例えば０．１ｍｍ）だけ後方にずらせて前述と同
様にして距離画像データを取得し、このデータの取得を
全距離画像ファイル分（１５００回）繰り返してＸ軸の
正回転時の距離画像ファイルｘｐ０．ｋｍｔ〜ｘｐ１４
９９．ｋｍｔに書き込む。こうして、例えば７５ｍｍ〜
２２５ｍｍの測定範囲におけるＸ軸の正回転時の全ての
距離画像データを取得する。
ッチ（例えば０．１ｍｍ）だけ後方にずらせて前述と同
様にして距離画像データを取得し、このデータの取得を
全距離画像ファイル分（１５００回）繰り返してＸ軸の
正回転時の距離画像ファイルｘｐ０．ｋｍｔ〜ｘｐ１４
９９．ｋｍｔに書き込む。こうして、例えば７５ｍｍ〜
２２５ｍｍの測定範囲におけるＸ軸の正回転時の全ての
距離画像データを取得する。
【００１９】Ｓ１０〜Ｓ１１：次に、図１５（ｂ）に示
されるように、三次元視覚センサ４に対して測定板１を
鉛直に−３０°の角度をつけて設置するとともに、この
測定板１を前後方向に原点位置まで戻す。
されるように、三次元視覚センサ４に対して測定板１を
鉛直に−３０°の角度をつけて設置するとともに、この
測定板１を前後方向に原点位置まで戻す。
【００２０】Ｓ１２〜Ｓ１８：前述のＳ３〜Ｓ９と同様
の処理を行って、例えば７５ｍｍ〜２２５ｍｍの測定範
囲におけるＸ軸の負回転時の全ての距離画像データを取
得し、この取得データをＸ軸の負回転時の距離画像ファ
イルｘｎ０．ｋｍｔ〜ｘｎ１４９９．ｋｍｔに書き込
む。
の処理を行って、例えば７５ｍｍ〜２２５ｍｍの測定範
囲におけるＸ軸の負回転時の全ての距離画像データを取
得し、この取得データをＸ軸の負回転時の距離画像ファ
イルｘｎ０．ｋｍｔ〜ｘｎ１４９９．ｋｍｔに書き込
む。
【００２１】Ｓ１９：Ｘ方向のルックアップテーブルを
作成するために、まず初期設定を行う。この初期設定に
おいては、ルックアップテーブルのＸ座標を示すｌｕｔ
−ｘ（Ｘ軸の正回転時）およびｌｕｔ−ｗ（Ｘ軸の負回
転時）に不定値を設定する。Ｓ２０〜Ｓ２２：前述のよ
うにして作成されたＸ軸の正回転時の距離画像ファイル
ｘｐ０．ｋｍｔを読み込み、αを１に設定して距離画像
ファイルｘｐ１．ｋｍｔを読み込む。
作成するために、まず初期設定を行う。この初期設定に
おいては、ルックアップテーブルのＸ座標を示すｌｕｔ
−ｘ（Ｘ軸の正回転時）およびｌｕｔ−ｗ（Ｘ軸の負回
転時）に不定値を設定する。Ｓ２０〜Ｓ２２：前述のよ
うにして作成されたＸ軸の正回転時の距離画像ファイル
ｘｐ０．ｋｍｔを読み込み、αを１に設定して距離画像
ファイルｘｐ１．ｋｍｔを読み込む。
【００２２】Ｓ２３〜Ｓ２６：測定板１の設置の仕方に
よっては得られる距離画像データに切れ目が存在してそ
のデータがノイズとなるために、このノイズを排除する
ための処理を行う。すなわち、まず距離画像ｉ×ｊ
（ｉ；２５６画素，ｊ；２４２画素）の各画素毎に一つ
前の画像データと比較し、例えば画像データｘｐ１０．
ｋｍｔのｎ行ｍ列の画素の値とその一つ前の位置の画像
データｘｐ９．ｋｍｔの同じくｎ行ｍ列の画素の値とを
比較し、その画素が先頭から５０ｍｍ以内にあり、かつ
前後の画素の値の差が１２８以上である場合、このデー
タを無効にするためにその画素の位置のｌｕｔ- ｘ
［ｍ］［ｎ］［０］〜ｌｕｔ- ｘ［ｍ］［ｎ］［２５
５］の値を不定値にする。 Ｓ２７〜Ｓ２８：画素値のｌｕｔ- ｘの値が不定値であ
るとき、その画素のｌｕｔ- ｘに読み込んだファイルを
撮り込んだ時の移動距離を設定する。ここでは、ファイ
ルのｘｐα．ｋｍｔのαの部分がファイルの順を表し、
このファイル番号のαに０．１を掛けると移動量になる
（α×０．１ｍｍ）。これにより、各画素の最初に現れ
たコード値の位置がｌｕｔ- ｘに記憶される。
よっては得られる距離画像データに切れ目が存在してそ
のデータがノイズとなるために、このノイズを排除する
ための処理を行う。すなわち、まず距離画像ｉ×ｊ
（ｉ；２５６画素，ｊ；２４２画素）の各画素毎に一つ
前の画像データと比較し、例えば画像データｘｐ１０．
ｋｍｔのｎ行ｍ列の画素の値とその一つ前の位置の画像
データｘｐ９．ｋｍｔの同じくｎ行ｍ列の画素の値とを
比較し、その画素が先頭から５０ｍｍ以内にあり、かつ
前後の画素の値の差が１２８以上である場合、このデー
タを無効にするためにその画素の位置のｌｕｔ- ｘ
［ｍ］［ｎ］［０］〜ｌｕｔ- ｘ［ｍ］［ｎ］［２５
５］の値を不定値にする。 Ｓ２７〜Ｓ２８：画素値のｌｕｔ- ｘの値が不定値であ
るとき、その画素のｌｕｔ- ｘに読み込んだファイルを
撮り込んだ時の移動距離を設定する。ここでは、ファイ
ルのｘｐα．ｋｍｔのαの部分がファイルの順を表し、
このファイル番号のαに０．１を掛けると移動量になる
（α×０．１ｍｍ）。これにより、各画素の最初に現れ
たコード値の位置がｌｕｔ- ｘに記憶される。
【００２３】Ｓ２９：ｉ；２５６画素，ｊ；２４２画素
の全ての画素についてＳ２３〜Ｓ２８の処理を行う。 Ｓ３０：αに１を加算し、全ての距離画像ファイルｘｐ
０．ｋｍｔ〜ｘｐ１４９９．ｋｍｔについて処理がなさ
れたか否かを確認する。そして、処理が終了していない
場合には、ステップＳ２２に戻って次の距離画像ファイ
ルｘｐα．ｋｍｔを読み込む。
の全ての画素についてＳ２３〜Ｓ２８の処理を行う。 Ｓ３０：αに１を加算し、全ての距離画像ファイルｘｐ
０．ｋｍｔ〜ｘｐ１４９９．ｋｍｔについて処理がなさ
れたか否かを確認する。そして、処理が終了していない
場合には、ステップＳ２２に戻って次の距離画像ファイ
ルｘｐα．ｋｍｔを読み込む。
【００２４】Ｓ３１〜Ｓ４１：Ｘ軸の負回転時の距離画
像ファイルｘｎ０．ｋｍｔ〜ｘｎ１４９９．ｋｍｔにつ
いて、前述のＸ軸の正回転時の距離画像ファイルｘｐ
０．ｋｍｔ〜ｘｐ１４９９．ｋｍｔにおける処理（Ｓ２
０〜Ｓ３０）と同様の処理を行って、各画素のｌｕｔ-
ｗに読み込んだ画素位置を設定する。
像ファイルｘｎ０．ｋｍｔ〜ｘｎ１４９９．ｋｍｔにつ
いて、前述のＸ軸の正回転時の距離画像ファイルｘｐ
０．ｋｍｔ〜ｘｐ１４９９．ｋｍｔにおける処理（Ｓ２
０〜Ｓ３０）と同様の処理を行って、各画素のｌｕｔ-
ｗに読み込んだ画素位置を設定する。
【００２５】Ｓ４２〜Ｓ４９：各画素の画素のもつ値
（Ｚ；０〜２５５）について、Ｘ軸正回転時における初
期位置からのＺ軸方向の相対距離をｉｐ＝ｌｕｔ- ｘ
［ｉ］［ｊ］［ｚ］およびＸ軸負回転時における初期位
置からのＺ軸方向の相対距離ｉｎ＝ｌｕｔ- ｗ［ｊ］
［ｉ］［ｚ］として、ｉｐおよびｉｎに設定する。そし
て、これらｉｐおよびｉｎが不定値でないときに、次式
によってその位置の画素値に対するＸ座標を算出する。 Ｘ＝（ｉｐ−ｉｎ）／（２×ｔａｎθ） …… θ：測定板１の傾斜角度 図１６に示されているように、この式において、（ｉ
ｐ−ｉｎ）はＸ軸正回転時における画像位置とＸ軸負回
転時における画像位置との差を表す。したがって、測定
板１の正回転時と負回転時の同じ画素値を表す点ＡのＸ
座標は式で表される。なお、この点ＡのＸ座標は、メ
モリの節約のために前述のメモリｌｕｔ- ｘ［ｉ］
［ｊ］［ｚ］内に格納される。一方、ｉｐもしくはｉｎ
が不定値のときには、メモリｌｕｔ- ｘ［ｊ］［ｉ］
［ｚ］に不定値を設定する。
（Ｚ；０〜２５５）について、Ｘ軸正回転時における初
期位置からのＺ軸方向の相対距離をｉｐ＝ｌｕｔ- ｘ
［ｉ］［ｊ］［ｚ］およびＸ軸負回転時における初期位
置からのＺ軸方向の相対距離ｉｎ＝ｌｕｔ- ｗ［ｊ］
［ｉ］［ｚ］として、ｉｐおよびｉｎに設定する。そし
て、これらｉｐおよびｉｎが不定値でないときに、次式
によってその位置の画素値に対するＸ座標を算出する。 Ｘ＝（ｉｐ−ｉｎ）／（２×ｔａｎθ） …… θ：測定板１の傾斜角度 図１６に示されているように、この式において、（ｉ
ｐ−ｉｎ）はＸ軸正回転時における画像位置とＸ軸負回
転時における画像位置との差を表す。したがって、測定
板１の正回転時と負回転時の同じ画素値を表す点ＡのＸ
座標は式で表される。なお、この点ＡのＸ座標は、メ
モリの節約のために前述のメモリｌｕｔ- ｘ［ｉ］
［ｊ］［ｚ］内に格納される。一方、ｉｐもしくはｉｎ
が不定値のときには、メモリｌｕｔ- ｘ［ｊ］［ｉ］
［ｚ］に不定値を設定する。
【００２６】Ｓ５０：前述のＳ４４〜Ｓ４９の処理を
ｉ；２５６画素，ｊ；２４２画素の全ての画素について
行い、Ｘ方向のルックアップテーブルを完成させてフロ
ーを終了する。
ｉ；２５６画素，ｊ；２４２画素の全ての画素について
行い、Ｘ方向のルックアップテーブルを完成させてフロ
ーを終了する。
【００２７】次に、Ｙ方向の位置データを格納するＹ方
向のルックアップテーブルは図７乃至図１１に示される
Ｔ１〜Ｔ５０の各ステップにしたがって作成される。
向のルックアップテーブルは図７乃至図１１に示される
Ｔ１〜Ｔ５０の各ステップにしたがって作成される。
【００２８】このＹ方向のルックアップテーブル作成の
ためのフローは、図１７（ａ）（ｂ）に示されるよう
に、測定板１を水平に±２０°の角度をつけて設置する
（ステップＴ２，Ｔ１０参照）ことによりＹ方向の距離
画像データを取得してその距離画像データを距離画像フ
ァイルｙｐ０．ｋｍｔ〜ｙｐ１４９９．ｋｍｔおよびｙ
ｎ０．ｋｍｔ〜ｙｎ１４９９．ｋｍｔに書き込む以外
は、図２乃至図６に示されるＳ１〜Ｓ５０の各ステップ
における処理と同様である。したがって、このフローの
詳細内容については説明を省略することとする。
ためのフローは、図１７（ａ）（ｂ）に示されるよう
に、測定板１を水平に±２０°の角度をつけて設置する
（ステップＴ２，Ｔ１０参照）ことによりＹ方向の距離
画像データを取得してその距離画像データを距離画像フ
ァイルｙｐ０．ｋｍｔ〜ｙｐ１４９９．ｋｍｔおよびｙ
ｎ０．ｋｍｔ〜ｙｎ１４９９．ｋｍｔに書き込む以外
は、図２乃至図６に示されるＳ１〜Ｓ５０の各ステップ
における処理と同様である。したがって、このフローの
詳細内容については説明を省略することとする。
【００２９】続いて、Ｚ方向の位置データを格納するＺ
方向のルックアップテーブルを作成するためのフローを
図１２乃至図１４によって説明する。
方向のルックアップテーブルを作成するためのフローを
図１２乃至図１４によって説明する。
【００３０】Ｕ１：三次元視覚センサ４に対して測定板
１の移動軸の全軸、言い換えれば上下回転軸（Ｙ軸），
水平回転軸（Ｘ軸）および前後移動軸（Ｚ軸）の各軸を
測定基準としての原点に移動させる。
１の移動軸の全軸、言い換えれば上下回転軸（Ｙ軸），
水平回転軸（Ｘ軸）および前後移動軸（Ｚ軸）の各軸を
測定基準としての原点に移動させる。
【００３１】Ｕ２〜Ｕ４：三次元視覚センサ４のＣＣＤ
カメラにより測定板１の距離画像データを取得し、この
取得画像を、メディアンフィルタ（平滑化フィルタ）に
より補正する。そして、この処理は各位置での画像を３
回取得するまで繰り返される。
カメラにより測定板１の距離画像データを取得し、この
取得画像を、メディアンフィルタ（平滑化フィルタ）に
より補正する。そして、この処理は各位置での画像を３
回取得するまで繰り返される。
【００３２】Ｕ５〜Ｕ６：各位置で３回の距離画像が取
得されると、同一画素の値を比較してそのメディアン値
（中央値）を求め、このメディアン値を最終的な距離画
像として設定する。この後、この得られた距離画像をコ
ンピュータ５内の記憶装置における距離画像ファイルに
書き込む。
得されると、同一画素の値を比較してそのメディアン値
（中央値）を求め、このメディアン値を最終的な距離画
像として設定する。この後、この得られた距離画像をコ
ンピュータ５内の記憶装置における距離画像ファイルに
書き込む。
【００３３】Ｕ７〜Ｕ８：測定板１の前後位置を一定ピ
ッチ（例えば０．１ｍｍ）だけ後方にずらせて前述と同
様にして距離画像データを取得し、このデータの取得を
全距離画像ファイル分（１０００回）繰り返してＺ軸の
距離画像ファイルｚ０．ｋｍｔ〜ｚ９９９．ｋｍｔに書
き込む。こうして、例えば１００ｍｍ〜２００ｍｍの測
定範囲におけるＺ軸の全ての距離画像データを取得す
る。
ッチ（例えば０．１ｍｍ）だけ後方にずらせて前述と同
様にして距離画像データを取得し、このデータの取得を
全距離画像ファイル分（１０００回）繰り返してＺ軸の
距離画像ファイルｚ０．ｋｍｔ〜ｚ９９９．ｋｍｔに書
き込む。こうして、例えば１００ｍｍ〜２００ｍｍの測
定範囲におけるＺ軸の全ての距離画像データを取得す
る。
【００３４】Ｕ９：Ｚ方向のルックアップテーブルを作
成するために、まず初期設定を行う。この初期設定にお
いては、ルックアップテーブルのＺ座標を示すｌｕｔ-
ｚに不定値を設定する。 Ｕ１０〜Ｕ１１：前述のようにして作成されたＺ軸の距
離画像ファイルの画素位置ｚ０．ｋｍｔを読み込む。
成するために、まず初期設定を行う。この初期設定にお
いては、ルックアップテーブルのＺ座標を示すｌｕｔ-
ｚに不定値を設定する。 Ｕ１０〜Ｕ１１：前述のようにして作成されたＺ軸の距
離画像ファイルの画素位置ｚ０．ｋｍｔを読み込む。
【００３５】Ｕ１２〜Ｕ１５：図２乃至図６のステップ
Ｓ２３〜Ｓ２６と同様にして得られる距離画像データの
ノイズを排除するための処理を行う。すなわち、まず
ｉ，ｊの各画素（ｉ；２５６画素，ｊ；２４２画素）毎
に一つ前の画像データと比較し、その画素が先頭から５
０ｍｍ以内にあり、かつ前後の画素の差が１２８以上で
ある場合、このデータを無効にするためにその画素のｌ
ｕｔ- ｚの値を不定値にする。 Ｕ１６〜Ｕ１７：画素値のｌｕｔ- ｚの値が不定値であ
るとき、その画素のｌｕｔ- ｚに読み込んだファイルを
撮り込んだ時の移動距離を設定する。これにより、各画
素の最初に現れたコード値の位置がｌｕｔ- ｚに記憶さ
れる。
Ｓ２３〜Ｓ２６と同様にして得られる距離画像データの
ノイズを排除するための処理を行う。すなわち、まず
ｉ，ｊの各画素（ｉ；２５６画素，ｊ；２４２画素）毎
に一つ前の画像データと比較し、その画素が先頭から５
０ｍｍ以内にあり、かつ前後の画素の差が１２８以上で
ある場合、このデータを無効にするためにその画素のｌ
ｕｔ- ｚの値を不定値にする。 Ｕ１６〜Ｕ１７：画素値のｌｕｔ- ｚの値が不定値であ
るとき、その画素のｌｕｔ- ｚに読み込んだファイルを
撮り込んだ時の移動距離を設定する。これにより、各画
素の最初に現れたコード値の位置がｌｕｔ- ｚに記憶さ
れる。
【００３６】Ｕ１８：ｉ；２５６画素，ｊ；２４２画素
の全ての画素についてＵ１１〜Ｕ１７の処理を行う。 Ｕ１９：全ての距離画像ファイルｚ０．ｋｍｔ〜ｚ９９
９．ｋｍｔについて処理がなされたか否かを確認する。
の全ての画素についてＵ１１〜Ｕ１７の処理を行う。 Ｕ１９：全ての距離画像ファイルｚ０．ｋｍｔ〜ｚ９９
９．ｋｍｔについて処理がなされたか否かを確認する。
【００３７】Ｕ２０〜Ｕ２５：各画素の画素のもつ値
（Ｚ；０〜２５５）について、指定画素値が最初に見つ
かった位置をそれらｉ＝ｌｕｔ- ｚ［ｊ］［ｉ］［ｚ］
に設定する。そして、このｉが不定値でないときに、こ
のｉの値をｌｕｔ- ｚ［ｊ］［ｉ］［ｚ］に格納するこ
とによりその位置の画素値に対するＺ座標を算出する。
一方、ｉが不定値のときには、全ての画素値であるか否
かを確認してステップＵ２２へ戻る。
（Ｚ；０〜２５５）について、指定画素値が最初に見つ
かった位置をそれらｉ＝ｌｕｔ- ｚ［ｊ］［ｉ］［ｚ］
に設定する。そして、このｉが不定値でないときに、こ
のｉの値をｌｕｔ- ｚ［ｊ］［ｉ］［ｚ］に格納するこ
とによりその位置の画素値に対するＺ座標を算出する。
一方、ｉが不定値のときには、全ての画素値であるか否
かを確認してステップＵ２２へ戻る。
【００３８】Ｕ２６：前述のＵ２２〜Ｕ２５の処理を
ｉ；２５６画素，ｊ；２４２画素の全ての画素について
行い、Ｚ方向のルックアップテーブルを完成させてフロ
ーを終了する。
ｉ；２５６画素，ｊ；２４２画素の全ての画素について
行い、Ｚ方向のルックアップテーブルを完成させてフロ
ーを終了する。
【００３９】本実施例によれば、無地の板を用いて各画
素の明暗情報と三次元座標値との対応表（ルックアップ
テーブル）が作成されるので、従来の方眼線を画像処理
により抽出するものに比べ格段に高精度化を図ることが
できる。
素の明暗情報と三次元座標値との対応表（ルックアップ
テーブル）が作成されるので、従来の方眼線を画像処理
により抽出するものに比べ格段に高精度化を図ることが
できる。
【００４０】本実施例においては、距離画像を処理する
に際しメディアン値を用いて補正するものとしたが、こ
のメディアン値の代わりに平均値を用いて補正すること
もできる。また、１回目の補正をメディアン値により行
い、２回目の補正を平均値により行うというように、こ
れらメディアン値による補正と平均値による補正とを組
み合わせて行うことも可能である。
に際しメディアン値を用いて補正するものとしたが、こ
のメディアン値の代わりに平均値を用いて補正すること
もできる。また、１回目の補正をメディアン値により行
い、２回目の補正を平均値により行うというように、こ
れらメディアン値による補正と平均値による補正とを組
み合わせて行うことも可能である。
【００４１】本実施例においては、測定板にコード化パ
ターン光を照射して三次元画像を取得するものを説明し
たが、本発明は、２台のカメラによって三次元画像を取
得するものに対しても適用できるのは言うまでもない。
ターン光を照射して三次元画像を取得するものを説明し
たが、本発明は、２台のカメラによって三次元画像を取
得するものに対しても適用できるのは言うまでもない。
【図１】図１は、本発明の一実施例に係る三次元計測装
置のシステム構成図である。
置のシステム構成図である。
【図２】図２は、Ｘ方向のルックアップテーブルを作成
するためのフローチャートである。
するためのフローチャートである。
【図３】図３は、Ｘ方向のルックアップテーブルを作成
するためのフローチャートである。
するためのフローチャートである。
【図４】図４は、Ｘ方向のルックアップテーブルを作成
するためのフローチャートである。
するためのフローチャートである。
【図５】図５は、Ｘ方向のルックアップテーブルを作成
するためのフローチャートである。
するためのフローチャートである。
【図６】図６は、Ｘ方向のルックアップテーブルを作成
するためのフローチャートである。
するためのフローチャートである。
【図７】図７は、Ｙ方向のルックアップテーブルを作成
するためのフローチャートである。
するためのフローチャートである。
【図８】図８は、Ｙ方向のルックアップテーブルを作成
するためのフローチャートである。
するためのフローチャートである。
【図９】図９は、Ｙ方向のルックアップテーブルを作成
するためのフローチャートである。
するためのフローチャートである。
【図１０】図１０は、Ｙ方向のルックアップテーブルを
作成するためのフローチャートである。
作成するためのフローチャートである。
【図１１】図１１は、Ｙ方向のルックアップテーブルを
作成するためのフローチャートである。
作成するためのフローチャートである。
【図１２】図１２は、Ｚ方向のルックアップテーブルを
作成するためのフローチャートである。
作成するためのフローチャートである。
【図１３】図１３は、Ｚ方向のルックアップテーブルを
作成するためのフローチャートである。
作成するためのフローチャートである。
【図１４】図１４は、Ｚ方向のルックアップテーブルを
作成するためのフローチャートである。
作成するためのフローチャートである。
【図１５】図１５は、Ｘ方向の距離画像取得のための測
定板の移動状態説明図である。
定板の移動状態説明図である。
【図１６】図６は、Ｘ方向の距離画像データの計算方法
説明図である。
説明図である。
【図１７】図１７は、Ｙ方向の距離画像取得のための測
定板の移動状態説明図である。
定板の移動状態説明図である。
【図１８】図１８は、Ｚ方向の距離画像取得のための測
定板の移動状態説明図である。
定板の移動状態説明図である。
【図１９】図１９は、従来のキャリブレーション方法説
明図である。
明図である。
１ 測定板
２ 測定板移動装置
２ａ 直動スライダ
２ｂ 回転テーブル
２ｃ ゴニオ回転装置
３ 測定板制御装置
４ 三次元視覚センサ
５ コンピュータ
─────────────────────────────────────────────────────
フロントページの続き
(72)発明者 廣瀬 尚三
大阪市住之江区南港東８−２−12 株式
会社オージス総研内
(72)発明者 安川 元英
大阪市住之江区南港東８−２−12 株式
会社オージス総研内
(72)発明者 佐藤 宏介
奈良県生駒市高山町8916−５ 大学宿舎
Ａ503
(72)発明者 片岡 隆之
大阪府枚方市上野３−１−１ 株式会社
小松製作所 生産技術研究所内
(56)参考文献 特開 平８−35828（ＪＰ，Ａ)
特開 平５−248819（ＪＰ，Ａ)
(58)調査した分野(Int.Cl.7，ＤＢ名)
G01B 11/00 - 11/30
G01C 3/00 - 3/32
G06T 7/00
H04N 7/18
Claims (2)
- 【請求項１】 投光手段により被測定物の表面に光を照
射してその反射光を撮像手段により撮像し、この撮像さ
れる反射光の情報から三角測量の原理に基づき前記被測
定物の位置を計測する三次元計測装置におけるキャリブ
レーション方法であって、 較正用対象物を前記撮像手段に対してヨー回転，ピッチ
回転および前後移動させたときの各移動点での距離画像
を前記撮像手段にて撮像し、この撮像された距離画像を
処理して各画素の前記距離画像毎の三次元座標値を求
め、この求められる三次元座標値より較正値を得ること
を特徴とするキャリブレーション方法。 - 【請求項２】 前記撮像手段により撮像された距離画像
を処理するに際し、一つの画像について特定の画素の周
囲のメディアン値をその画素の距離画像として設定する
とともに、こうして得られる距離画像を各位置で複数回
設定しそれら複数回のメディアン値をその画素の距離画
像の補正値として設定する請求項１に記載のキャリブレ
ーション方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20822596A JP3453734B2 (ja) | 1996-08-07 | 1996-08-07 | キャリブレーション方法 |
| PCT/JP1997/002752 WO1998005922A1 (fr) | 1996-08-07 | 1997-08-06 | Technique d'etalonnage |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20822596A JP3453734B2 (ja) | 1996-08-07 | 1996-08-07 | キャリブレーション方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1047920A JPH1047920A (ja) | 1998-02-20 |
| JP3453734B2 true JP3453734B2 (ja) | 2003-10-06 |
Family
ID=16552743
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20822596A Expired - Fee Related JP3453734B2 (ja) | 1996-08-07 | 1996-08-07 | キャリブレーション方法 |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP3453734B2 (ja) |
| WO (1) | WO1998005922A1 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6407656B1 (en) | 1999-08-18 | 2002-06-18 | Autonetworks Technologies, Ltd. | Breaker device |
| GB0008739D0 (en) * | 2000-04-11 | 2001-11-21 | Roke Manor Research | Self-Calibration of an Array of Imaging Sensors |
| TW561241B (en) | 2002-08-22 | 2003-11-11 | Ind Tech Res Inst | Method and apparatus for calibrating laser three-dimensional digitizing sensor |
| JP4885584B2 (ja) * | 2006-03-23 | 2012-02-29 | 株式会社スペースビジョン | レンジファインダ校正方法及び装置 |
| JP2010048553A (ja) * | 2006-12-19 | 2010-03-04 | Panasonic Corp | 複眼測距装置の検査方法およびそれに用いるチャート |
| JP4943270B2 (ja) * | 2007-08-09 | 2012-05-30 | 富士フイルム株式会社 | 三次元座標系の設定方法および装置 |
| JP5278728B2 (ja) | 2008-02-28 | 2013-09-04 | アイシン精機株式会社 | 距離画像センサの校正装置及び校正方法 |
| JP5228614B2 (ja) * | 2008-05-15 | 2013-07-03 | 株式会社豊田中央研究所 | パラメータ計算装置、パラメータ計算システムおよびプログラム |
| KR101626072B1 (ko) | 2009-11-13 | 2016-06-13 | 삼성전자주식회사 | 영상 보정 장치 및 영상 보정 방법 |
| CN103604367B (zh) * | 2013-11-14 | 2016-10-12 | 上海交通大学 | 一种用于激光三角测量系统的校准装置和方法 |
| DE102014106465C5 (de) | 2014-05-08 | 2018-06-28 | Sick Ag | Entfernungsmessender Sensor und Verfahren zur Erfassung und Abstandsbestimmung von Objekten |
| CN104154875B (zh) * | 2014-08-20 | 2017-02-15 | 深圳大学 | 基于两轴旋转平台的三维数据获取系统及获取方法 |
| JP7074186B2 (ja) * | 2018-05-09 | 2022-05-24 | 日本電気株式会社 | 較正装置 |
| CN111207685A (zh) * | 2020-01-14 | 2020-05-29 | 华中科技大学鄂州工业技术研究院 | 一种用于结构光深度测量的全自动标定系统 |
| CN111798522A (zh) * | 2020-05-20 | 2020-10-20 | 惠州市德赛西威汽车电子股份有限公司 | 一种测试样机的平面位置自动校验方法、系统及设备 |
| CN117109647B (zh) * | 2023-08-25 | 2024-02-20 | 上海大学 | 一种动态视觉传感器性能测试装置及测试方法 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA1334667C (en) * | 1987-10-02 | 1995-03-07 | Glen Paul Fetterman Jr. | Lubricant compositions for internal combustion engines |
| JPH05248819A (ja) * | 1992-03-06 | 1993-09-28 | Kobe Steel Ltd | カメラによる測定対象物の三次元位置測定のための較正対象データの較正方法及び三次元位置測定方法 |
| JPH0835828A (ja) * | 1994-07-25 | 1996-02-06 | Kobe Steel Ltd | ３次元計測装置のキャリブレーション方法 |
-
1996
- 1996-08-07 JP JP20822596A patent/JP3453734B2/ja not_active Expired - Fee Related
-
1997
- 1997-08-06 WO PCT/JP1997/002752 patent/WO1998005922A1/ja active Search and Examination
Also Published As
| Publication number | Publication date |
|---|---|
| WO1998005922A1 (fr) | 1998-02-12 |
| JPH1047920A (ja) | 1998-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3453734B2 (ja) | キャリブレーション方法 | |
| US20030118245A1 (en) | Automatic focusing of an imaging system | |
| US9503658B2 (en) | Method for generating and evaluating an image | |
| JP4495926B2 (ja) | Ｘ線立体再構成処理装置、ｘ線撮影装置、ｘ線立体再構成処理方法及びｘ線立体撮影補助具 | |
| KR20130030220A (ko) | 고속 장애물 검출 | |
| DE10156445A1 (de) | Verfahren und Vorrichtung zur Kalibrierung von und zur Bilderzeugung mit einer schwerkraftempfindlichen Bildaufnahmeeinrichtung | |
| CN108492335B (zh) | 一种双相机透视畸变校正方法及系统 | |
| CN1781450A (zh) | 三维图像处理装置 | |
| JP4610590B2 (ja) | Ｘ線検査装置、ｘ線検査方法およびｘ線検査プログラム | |
| CN114359405A (zh) | 一种离轴沙姆3d线激光相机的标定方法 | |
| CN116363223A (zh) | 一种基于双目视觉的货车车厢尺寸测量方法、装置及介质 | |
| CN114565517A (zh) | 红外相机的图像去噪方法、装置及计算机设备 | |
| JP3371526B2 (ja) | 塗装面状態検出装置および塗装面状態検出方法 | |
| DE102011082280A1 (de) | Bildmessvorrichtung und Bildmessverfahren | |
| JPH11125514A (ja) | 曲げ角度検出装置 | |
| CN111458739B (zh) | 成像方法、装置及系统 | |
| Duan et al. | Knowledge-based self-calibration method of calibration phantom by and for accurate robot-based CT imaging systems | |
| CN114494076A (zh) | 一种几何校正方法、图像重建方法及装置 | |
| WO2019201836A1 (de) | 3d-digitalisierungssystem und 3d-digitalisierungsverfahren | |
| CN113870354B (zh) | 一种基于深度学习的变压器油箱的测量方法及系统 | |
| CN117804381B (zh) | 一种基于相机阵列聚焦结构光对物体三维重建方法 | |
| CN116269455B (zh) | 在spect中自动获取人体轮廓的检测方法和系统 | |
| JPH11183125A (ja) | 非接触式立体形状計測装置 | |
| JP2002033960A (ja) | Ｘ線装置 | |
| WO2023196184A1 (en) | Pose-based three-dimensional structure reconstruction systems and methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20030610 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
| R370 | Written measure of declining of transfer procedure |
Free format text: JAPANESE INTERMEDIATE CODE: R370 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080725 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090725 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100725 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110725 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120725 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |