JP2002139310A - 三次元計測装置および三次元計測方法 - Google Patents
三次元計測装置および三次元計測方法Info
- Publication number
- JP2002139310A JP2002139310A JP2000337303A JP2000337303A JP2002139310A JP 2002139310 A JP2002139310 A JP 2002139310A JP 2000337303 A JP2000337303 A JP 2000337303A JP 2000337303 A JP2000337303 A JP 2000337303A JP 2002139310 A JP2002139310 A JP 2002139310A
- Authority
- JP
- Japan
- Prior art keywords
- light
- cutting line
- light emitting
- measured
- slit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】
【課題】 マルチスリット光による光切断法を用いた三
次元測定において、スリット光をスキャンさせたりスリ
ット間隔の減少による不都合を招くことなく、計測密度
を向上させることのできる三次元計測装置および方法を
提供する。 【解決手段】 発光制御部３から出力されるタイミング
信号に応じて、レーザ光源１ａおよび１ｂが交互にマル
チスリット光を測定対象物体（本例においては床面）に
照射する。レーザ光源１ａおよび１ｂは、互いに異なる
スリット光パターンを持つ。このとき対象測定物体の表
面に形成されるそれぞれのパターンの光切断線をカメラ
２により撮像し、画像取り込み部４がその画像をアナロ
グ／デジタル変換してメモリに書き込む。距離推定部５
がこれらの画像データを基に測定対象物体の形状を算出
する。その算出結果に基づき、着地位置決定部６が着地
位置を決定し、それに応じて脚制御部７がロボットの脚
の駆動を制御する。
次元測定において、スリット光をスキャンさせたりスリ
ット間隔の減少による不都合を招くことなく、計測密度
を向上させることのできる三次元計測装置および方法を
提供する。 【解決手段】 発光制御部３から出力されるタイミング
信号に応じて、レーザ光源１ａおよび１ｂが交互にマル
チスリット光を測定対象物体（本例においては床面）に
照射する。レーザ光源１ａおよび１ｂは、互いに異なる
スリット光パターンを持つ。このとき対象測定物体の表
面に形成されるそれぞれのパターンの光切断線をカメラ
２により撮像し、画像取り込み部４がその画像をアナロ
グ／デジタル変換してメモリに書き込む。距離推定部５
がこれらの画像データを基に測定対象物体の形状を算出
する。その算出結果に基づき、着地位置決定部６が着地
位置を決定し、それに応じて脚制御部７がロボットの脚
の駆動を制御する。
Description
【０００１】
【発明の属する技術分野】この発明は、光切断法を用い
て三次元形状を計測する三次元計測装置および三次元計
測方法に関する。特に、ロボットなどの可動装置に取り
付けられて使用される三次元計測装置および三次元計測
方法に関する。
て三次元形状を計測する三次元計測装置および三次元計
測方法に関する。特に、ロボットなどの可動装置に取り
付けられて使用される三次元計測装置および三次元計測
方法に関する。
【０００２】
【従来の技術】離れた場所にある三次元物体までの距離
やその三次元物体の形状を測定するための一方法として
光切断法が用いられている。この光切断法は、測定対象
物体に対してスリット光を投影し、あたかも光の帯で物
体を切断するかのようにして、別の方向からその光によ
る切断面を観察するものである。
やその三次元物体の形状を測定するための一方法として
光切断法が用いられている。この光切断法は、測定対象
物体に対してスリット光を投影し、あたかも光の帯で物
体を切断するかのようにして、別の方向からその光によ
る切断面を観察するものである。
【０００３】図６は、光切断法による測定の原理を示す
断面図である。図６において、符号９０１は三次元計測
装置に設けられたスリット光源、９０２は前記三次元計
測装置に設けられている撮像のためのレンズ、９０３は
レンズ９０２による像の結像面、９０５は結像面９０３
の中心点であり、この中心点９０５は結像面９０３と撮
像方向軸との交点である。また、９０１ａはスリット光
源９０１から照射されるスリット光面、９１０は測定対
象物体、９１１はスリット光面９０１ａが測定対象物体
を照射している照射点の一つである。
断面図である。図６において、符号９０１は三次元計測
装置に設けられたスリット光源、９０２は前記三次元計
測装置に設けられている撮像のためのレンズ、９０３は
レンズ９０２による像の結像面、９０５は結像面９０３
の中心点であり、この中心点９０５は結像面９０３と撮
像方向軸との交点である。また、９０１ａはスリット光
源９０１から照射されるスリット光面、９１０は測定対
象物体、９１１はスリット光面９０１ａが測定対象物体
を照射している照射点の一つである。
【０００４】ここで、スリット光源９０１とレンズ９０
２の中心との距離をＬ（基線長）とする。また、図上の
基準線は、スリット光源９０１とレンズ９０２とを結ぶ
線を含む測定面（図６の断面に垂直な面）に垂直な方向
を示している。また、スリット光の測定面に対する角度
をθ、レンズ９０２の中心と照射点９１１とを結ぶ線の
測定面に対する角度をφとする。ここで、測定面から測
定対象物体９１０までの距離Ｚを求めるためには、次式
のような計算を行えば良い。
２の中心との距離をＬ（基線長）とする。また、図上の
基準線は、スリット光源９０１とレンズ９０２とを結ぶ
線を含む測定面（図６の断面に垂直な面）に垂直な方向
を示している。また、スリット光の測定面に対する角度
をθ、レンズ９０２の中心と照射点９１１とを結ぶ線の
測定面に対する角度をφとする。ここで、測定面から測
定対象物体９１０までの距離Ｚを求めるためには、次式
のような計算を行えば良い。
【０００５】Ｚ＝Ｌ・ｔａｎ（θ）・ｔａｎ（φ）／
（ｔａｎ（θ）＋ｔａｎ（φ）） ただし、「ｔａｎ（）」は正接関数を表わす。
（ｔａｎ（θ）＋ｔａｎ（φ）） ただし、「ｔａｎ（）」は正接関数を表わす。
【０００６】なお、上記φは、撮像方向（中心点９０５
とレンズ９０２の中心とを結ぶ方向）の撮像面に対する
角度φ０と撮像方向に対する照射点９１１の変位角φ１
とを用いて、次式で表わされる。
とレンズ９０２の中心とを結ぶ方向）の撮像面に対する
角度φ０と撮像方向に対する照射点９１１の変位角φ１
とを用いて、次式で表わされる。
【０００７】φ＝φ０＋φ１
【０００８】また、変位角φ１は、レンズ９０２と結像
面９０３との間の距離ｌと、結像面９０３における照射
点９１１の像の中心点９０５からの変位Δｘを用いて、
次式で表わされる。
面９０３との間の距離ｌと、結像面９０３における照射
点９１１の像の中心点９０５からの変位Δｘを用いて、
次式で表わされる。
【０００９】φ１＝ａｒｃｔａｎ（Δｘ／ｌ） ただし、「ａｒｃｔａｎ（）」は正接逆関数を表わす。
【００１０】以上、断面図を用いて説明したが、スリッ
ト光は当該断面だけではなく、測定対象物体９１０の表
面に線状の切断線を形成するように照射されるため、測
定面からその切断線上の各箇所までの距離を測定するこ
とができる。
ト光は当該断面だけではなく、測定対象物体９１０の表
面に線状の切断線を形成するように照射されるため、測
定面からその切断線上の各箇所までの距離を測定するこ
とができる。
【００１１】上記の原理を用いて、様々な角度（θ）に
よるスリット光面９０１ａを用いて、測定対象物体９１
０の三次元形状を計測することが可能となる。従来技術
においては、計測密度を上げるためにスリット光源９０
１の照射角度を連続的に可変となるようにスリット光を
機械的にスキャンさせることが行われていた。
よるスリット光面９０１ａを用いて、測定対象物体９１
０の三次元形状を計測することが可能となる。従来技術
においては、計測密度を上げるためにスリット光源９０
１の照射角度を連続的に可変となるようにスリット光を
機械的にスキャンさせることが行われていた。
【００１２】
【発明が解決しようとする課題】しかしながら、例えば
二足歩行ロボットのようにそれ自体が移動するとともに
移動時に断続的に衝撃が加わるような装置に、上記三次
元計測装置を搭載するためには、従来技術で述べたよう
な機械スキャン方式には問題がある。なぜならば、移動
時の衝撃によってスキャン機能に障害が生じないような
防震対策を施すことは、サイズや耐久性の点から高コス
ト化を招くものであるからである。特に、脚式移動ロボ
ットは振動が多く、機械スキャン方式にはモータ等の駆
動部が破損しやすい。
二足歩行ロボットのようにそれ自体が移動するとともに
移動時に断続的に衝撃が加わるような装置に、上記三次
元計測装置を搭載するためには、従来技術で述べたよう
な機械スキャン方式には問題がある。なぜならば、移動
時の衝撃によってスキャン機能に障害が生じないような
防震対策を施すことは、サイズや耐久性の点から高コス
ト化を招くものであるからである。特に、脚式移動ロボ
ットは振動が多く、機械スキャン方式にはモータ等の駆
動部が破損しやすい。
【００１３】また、スキャン方式をとる代わりに、単純
にスリットビーム本数を増やすことは、ビームパワーの
低下による検出限界の低下と、スリット間隔の減少によ
る検出距離レンジの低下を招くという問題があった。
にスリットビーム本数を増やすことは、ビームパワーの
低下による検出限界の低下と、スリット間隔の減少によ
る検出距離レンジの低下を招くという問題があった。
【００１４】また、特開平１０−６８６０７号公報に
は、複数本の光切断線を基準平面上で互いに平行かつ一
定間隔になるように形成し、各光切断線は互いに異なる
複数の光色とし、カラーＴＶカメラよりなる画像入力装
置により撮像した光切断線を色信号別に取り出して距離
を求めるようにするという技術が開示されている。しか
しながら、このような手法では、カラーＴＶカメラを用
いることが必須となり、高コスト化あるいは装置設計上
の制約につながるという問題があった。また、測定対象
の色と光切断線の色との関係によっては、正しい色とし
て判断できず、光切断線を正しく認識できないという問
題があった。
は、複数本の光切断線を基準平面上で互いに平行かつ一
定間隔になるように形成し、各光切断線は互いに異なる
複数の光色とし、カラーＴＶカメラよりなる画像入力装
置により撮像した光切断線を色信号別に取り出して距離
を求めるようにするという技術が開示されている。しか
しながら、このような手法では、カラーＴＶカメラを用
いることが必須となり、高コスト化あるいは装置設計上
の制約につながるという問題があった。また、測定対象
の色と光切断線の色との関係によっては、正しい色とし
て判断できず、光切断線を正しく認識できないという問
題があった。
【００１５】本発明は、上記のような事情を考慮してな
されたものであり、マルチスリット光による光切断法を
用いた三次元測定において、スリット光を機械的にスキ
ャンさせたりスリット間隔の減少による不都合を招いた
りすることなく、計測密度を向上させることのできる三
次元計測装置および三次元計測方法を提供することを目
的とする。
されたものであり、マルチスリット光による光切断法を
用いた三次元測定において、スリット光を機械的にスキ
ャンさせたりスリット間隔の減少による不都合を招いた
りすることなく、計測密度を向上させることのできる三
次元計測装置および三次元計測方法を提供することを目
的とする。
【００１６】
【課題を解決するための手段】上記の課題を解決するた
めに、本発明は、発光手段から複数のスリット光を測定
対象物体に照射することによって該測定対象物体の表面
に線状の切断線を形成し、該切断線を撮像手段で撮影し
て前記測定対象物体の形状を測定する三次元計測装置に
おいて、互いにスリット光の放射パターンが異なる少な
くとも２つの発光手段と、該発光手段が時分割的に順次
前記測定対象物体を照射するように制御する発光制御手
段とを具備することを特徴とする三次元計測装置を要旨
とする。ここで、発光手段としては、例えば、レーザ光
源と複数のスリット孔を有するスリット板とを組み合わ
せたものを用いるようにする。レーザ光源としては、例
えばレーザダイオードなどを用いる。また、撮像手段と
しては、例えば、デジタル静止画カメラあるいはデジタ
ル動画カメラなどを用いるようにする。また、発光制御
手段としては、例えば、各発光手段の発光強度をそれぞ
れ独立に制御するためのパルス信号を出力する装置など
を用いるようにする。
めに、本発明は、発光手段から複数のスリット光を測定
対象物体に照射することによって該測定対象物体の表面
に線状の切断線を形成し、該切断線を撮像手段で撮影し
て前記測定対象物体の形状を測定する三次元計測装置に
おいて、互いにスリット光の放射パターンが異なる少な
くとも２つの発光手段と、該発光手段が時分割的に順次
前記測定対象物体を照射するように制御する発光制御手
段とを具備することを特徴とする三次元計測装置を要旨
とする。ここで、発光手段としては、例えば、レーザ光
源と複数のスリット孔を有するスリット板とを組み合わ
せたものを用いるようにする。レーザ光源としては、例
えばレーザダイオードなどを用いる。また、撮像手段と
しては、例えば、デジタル静止画カメラあるいはデジタ
ル動画カメラなどを用いるようにする。また、発光制御
手段としては、例えば、各発光手段の発光強度をそれぞ
れ独立に制御するためのパルス信号を出力する装置など
を用いるようにする。
【００１７】また、本発明の三次元計測装置では、各々
の前記発光手段から照射されるスリット光による切断線
形成位置が互いに異なるように調節する切断線形成位置
調節手段を具備することを特徴とする。このような構成
により、各発光手段から照射されるスリット光による切
断線形成位置を異ならしめ、測定対象物体の表面上の異
なる位置を計測することとなり、結果として計測密度を
向上させることとなる。
の前記発光手段から照射されるスリット光による切断線
形成位置が互いに異なるように調節する切断線形成位置
調節手段を具備することを特徴とする。このような構成
により、各発光手段から照射されるスリット光による切
断線形成位置を異ならしめ、測定対象物体の表面上の異
なる位置を計測することとなり、結果として計測密度を
向上させることとなる。
【００１８】また、本発明の三次元計測装置では、前記
切断線形成位置調節手段は、複数の前記発光手段の間の
距離を制御する発光位置間隔制御手段であることを特徴
とする。
切断線形成位置調節手段は、複数の前記発光手段の間の
距離を制御する発光位置間隔制御手段であることを特徴
とする。
【００１９】また、本発明の三次元計測装置では、少な
くとも２つの前記撮像手段を備え、第１の前記撮像手段
と前記発光手段との距離が、第２の前記撮像手段と当該
発光手段との距離と異なるように、前記撮像手段および
前記発光手段を配置したことを特徴とする。これによ
り、発光手段との距離が相対的に小さい方の撮像手段を
用いて広い距離レンジの測定対象物体を捕捉するととも
に、発光手段との距離が相対的に大きい方の撮像手段を
用いてより高精度な三次元計測を行うことが可能とな
る。
くとも２つの前記撮像手段を備え、第１の前記撮像手段
と前記発光手段との距離が、第２の前記撮像手段と当該
発光手段との距離と異なるように、前記撮像手段および
前記発光手段を配置したことを特徴とする。これによ
り、発光手段との距離が相対的に小さい方の撮像手段を
用いて広い距離レンジの測定対象物体を捕捉するととも
に、発光手段との距離が相対的に大きい方の撮像手段を
用いてより高精度な三次元計測を行うことが可能とな
る。
【００２０】また、本発明は、第１の発光手段から複数
のスリット光を測定対象物体に照射することによって該
測定対象物体の表面に第１のパターンによる線状の切断
線を形成し、この第１のパターンによる切断線を撮像手
段で撮影して前記測定対象物体の形状を測定する第１の
過程と、第２の発光手段から複数のスリット光を照射す
ることによって前記測定対象物体の表面に前記第１のパ
ターンとは異なる第２のパターンによる線状の切断線を
形成し、この第２のパターンによる切断線を撮像手段で
撮影して前記測定対象物体の形状を測定する第２の過程
とを有することを特徴とする三次元計測方法を要旨とす
る。
のスリット光を測定対象物体に照射することによって該
測定対象物体の表面に第１のパターンによる線状の切断
線を形成し、この第１のパターンによる切断線を撮像手
段で撮影して前記測定対象物体の形状を測定する第１の
過程と、第２の発光手段から複数のスリット光を照射す
ることによって前記測定対象物体の表面に前記第１のパ
ターンとは異なる第２のパターンによる線状の切断線を
形成し、この第２のパターンによる切断線を撮像手段で
撮影して前記測定対象物体の形状を測定する第２の過程
とを有することを特徴とする三次元計測方法を要旨とす
る。
【００２１】また、本発明の三次元計測方法において
は、前記第１の過程における測定結果に応じて、前記第
２の過程における第２のパターンを異ならしめることを
特徴とする。
は、前記第１の過程における測定結果に応じて、前記第
２の過程における第２のパターンを異ならしめることを
特徴とする。
【００２２】
【発明の実施の形態】以下、図面を参照しこの発明の第
１の実施形態について説明する。図１は、同実施形態に
よる三次元計測装置の構成を示すブロック図である。こ
の三次元計測装置は二足歩行ロボットに搭載され、ロボ
ットの移動経路上の床面を計測対象物体としてその距離
を測定し、二足歩行時の足の着地位置が適切になるよう
にロボットの脚を制御することを目的とするものであ
る。
１の実施形態について説明する。図１は、同実施形態に
よる三次元計測装置の構成を示すブロック図である。こ
の三次元計測装置は二足歩行ロボットに搭載され、ロボ
ットの移動経路上の床面を計測対象物体としてその距離
を測定し、二足歩行時の足の着地位置が適切になるよう
にロボットの脚を制御することを目的とするものであ
る。
【００２３】図１において、符号１ａおよび１ｂは、所
定の間隔をおいて設けられ、それぞれ計測対象物体に対
してマルチスリット光を照射するレーザ光源（発光手
段）である。また、２は、レーザ光源１ａおよび１ｂに
よるスリット光が照射された計測対象物体を撮像するカ
メラ（撮像手段）である。また、３は、レーザ光源１ａ
および１ｂとカメラ２とに対するタイミング信号を出力
することにより、レーザ光源１ａおよび１ｂの発光のタ
イミングとカメラ２による撮像のタイミングとを制御す
る発光制御部（発光制御手段）である。
定の間隔をおいて設けられ、それぞれ計測対象物体に対
してマルチスリット光を照射するレーザ光源（発光手
段）である。また、２は、レーザ光源１ａおよび１ｂに
よるスリット光が照射された計測対象物体を撮像するカ
メラ（撮像手段）である。また、３は、レーザ光源１ａ
および１ｂとカメラ２とに対するタイミング信号を出力
することにより、レーザ光源１ａおよび１ｂの発光のタ
イミングとカメラ２による撮像のタイミングとを制御す
る発光制御部（発光制御手段）である。
【００２４】また、４はカメラ２によって撮像された画
像を取り込みＡ／Ｄ変換（アナログ／デジタル変換）し
て画像メモリに記憶する画像取り込み部であり、５は画
像取り込み部４によって取り込まれた画像を基に計測対
象物体までの距離を算出する距離推定部である。また、
８はロボットの移動経路を決定する移動経路決定部、６
は移動経路決定部８が決定した経路情報と距離推定部５
による距離算出結果とを基にロボットの足の着地位置を
決定する着地位置決定部、７は着地位置決定部６が決定
した着地位置に足を持っていくようにロボットのバラン
スを取りながらロボットの脚を駆動するモータを制御す
る脚制御部である。
像を取り込みＡ／Ｄ変換（アナログ／デジタル変換）し
て画像メモリに記憶する画像取り込み部であり、５は画
像取り込み部４によって取り込まれた画像を基に計測対
象物体までの距離を算出する距離推定部である。また、
８はロボットの移動経路を決定する移動経路決定部、６
は移動経路決定部８が決定した経路情報と距離推定部５
による距離算出結果とを基にロボットの足の着地位置を
決定する着地位置決定部、７は着地位置決定部６が決定
した着地位置に足を持っていくようにロボットのバラン
スを取りながらロボットの脚を駆動するモータを制御す
る脚制御部である。
【００２５】図２は、発光制御部３が出力するタイミン
グ信号の波形を示すタイミングチャートである。図２の
（ａ）は、レーザ光源１ａによるレーザＡのビーム強度
を制御するための信号である。図２の（ｂ）は、レーザ
光源１ｂによるレーザＢのビーム強度を制御するための
信号である。また、図２の（ｃ）は、カメラ２による撮
像のタイミングを制御するための垂直同期信号である。
図２に示すような制御信号により、レーザ光源１ａおよ
び１ｂは交互にそれぞれのマルチスリット光を照射し、
カメラ１は各レーザ光源によって照射されている測定対
象物体を撮像することとなる。
グ信号の波形を示すタイミングチャートである。図２の
（ａ）は、レーザ光源１ａによるレーザＡのビーム強度
を制御するための信号である。図２の（ｂ）は、レーザ
光源１ｂによるレーザＢのビーム強度を制御するための
信号である。また、図２の（ｃ）は、カメラ２による撮
像のタイミングを制御するための垂直同期信号である。
図２に示すような制御信号により、レーザ光源１ａおよ
び１ｂは交互にそれぞれのマルチスリット光を照射し、
カメラ１は各レーザ光源によって照射されている測定対
象物体を撮像することとなる。
【００２６】図３は、レーザ光源１ａおよび１ｂによる
スリット光の照射パターンを示す断面図である。図３で
は、レーザ光源１ａによるスリット光の照射パターンは
実線で示され、レーザ光源１ｂによるスリット光の照射
パターンは破線で示されている。図２のタイミングチャ
ートで示したように、レーザ光源１ａおよび１ｂは交互
に照射を行うため、それぞれの照射タイミングにおい
て、図３の実線または破線のパターンによるスリット光
を用いた距離の測定が行われる。例えば図３に示す符号
２１の領域（距離が１．１〜１．２のあたりの領域）で
は、レーザ光源１ａと１ｂとのスリット光の照射箇所が
近接しているため、トータルな計測密度は、レーザ光源
１ａあるいは１ｂのいずれか単一のレーザ光源を用いる
場合の計測密度と大して変わらない。しかしながら、例
えば図３に示す符号２２の領域（距離が１．４〜１．６
あたりの領域）では、レーザ光源１ａと１ｂとが互いに
補完しあうことにより、単一のレーザ光源を用いる場合
に比べて、トータルな計測密度が最大で２倍となってい
る。
スリット光の照射パターンを示す断面図である。図３で
は、レーザ光源１ａによるスリット光の照射パターンは
実線で示され、レーザ光源１ｂによるスリット光の照射
パターンは破線で示されている。図２のタイミングチャ
ートで示したように、レーザ光源１ａおよび１ｂは交互
に照射を行うため、それぞれの照射タイミングにおい
て、図３の実線または破線のパターンによるスリット光
を用いた距離の測定が行われる。例えば図３に示す符号
２１の領域（距離が１．１〜１．２のあたりの領域）で
は、レーザ光源１ａと１ｂとのスリット光の照射箇所が
近接しているため、トータルな計測密度は、レーザ光源
１ａあるいは１ｂのいずれか単一のレーザ光源を用いる
場合の計測密度と大して変わらない。しかしながら、例
えば図３に示す符号２２の領域（距離が１．４〜１．６
あたりの領域）では、レーザ光源１ａと１ｂとが互いに
補完しあうことにより、単一のレーザ光源を用いる場合
に比べて、トータルな計測密度が最大で２倍となってい
る。
【００２７】次に、本発明の第２の実施形態について説
明する。図４は、同実施形態による三次元計測装置の構
成を示すブロック図である。この図４に示す構成の特徴
は、光源間隔制御部１１（切断線形成位置調節手段、発
光位置間隔制御手段）を設け、この光源間隔制御部１１
の制御に応じてレーザ光源１ａと１ｂとの間隔を可変と
していることである。これ以外の構成は、図１に示した
ものと同様である。
明する。図４は、同実施形態による三次元計測装置の構
成を示すブロック図である。この図４に示す構成の特徴
は、光源間隔制御部１１（切断線形成位置調節手段、発
光位置間隔制御手段）を設け、この光源間隔制御部１１
の制御に応じてレーザ光源１ａと１ｂとの間隔を可変と
していることである。これ以外の構成は、図１に示した
ものと同様である。
【００２８】このように、レーザ光源１ａと１ｂとの間
隔を可変とすることにより、両光源によるマルチスリッ
ト光のパターンの関係を変えることが可能となる。例え
ば、図３に示した断面図においては、領域２２において
は単一レーザ光源を用いる場合に比べて計測密度が上が
っているが、領域２１においてはそれほど効果的には計
測密度が向上しない。ところが、この第２の実施形態の
ようにレーザ光源１ａと１ｂとの間隔を可変とすること
により、計測密度を上げることのできる領域を移動させ
ることが可能となる。
隔を可変とすることにより、両光源によるマルチスリッ
ト光のパターンの関係を変えることが可能となる。例え
ば、図３に示した断面図においては、領域２２において
は単一レーザ光源を用いる場合に比べて計測密度が上が
っているが、領域２１においてはそれほど効果的には計
測密度が向上しない。ところが、この第２の実施形態の
ようにレーザ光源１ａと１ｂとの間隔を可変とすること
により、計測密度を上げることのできる領域を移動させ
ることが可能となる。
【００２９】つまり、各々のレーザ光源から照射される
スリット光による切断線形成位置が互いに異なるように
調節することが可能となる。従って、例えば、まず計測
対象物体までの距離を低密度で計測し、その計測結果に
応じて、高密度計測が可能となるように光源間隔制御部
１１がレーザ光源１ａと１ｂとの距離を制御するように
する。これにより、いかなる距離帯においても高密度計
測を行うことが可能となる。
スリット光による切断線形成位置が互いに異なるように
調節することが可能となる。従って、例えば、まず計測
対象物体までの距離を低密度で計測し、その計測結果に
応じて、高密度計測が可能となるように光源間隔制御部
１１がレーザ光源１ａと１ｂとの距離を制御するように
する。これにより、いかなる距離帯においても高密度計
測を行うことが可能となる。
【００３０】つまり、第１の発光手段から複数のスリッ
ト光を測定対象物体に照射することによって該測定対象
物体の表面に第１のパターンによる線状の切断線を形成
し、この第１のパターンによる切断線を撮像手段で撮影
して前記測定対象物体の形状を測定する第１の過程と、
第２の発光手段から複数のスリット光を照射することに
よって前記測定対象物体の表面に前記第１のパターンと
は異なる第２のパターンによる線状の切断線を形成し、
この第２のパターンによる切断線を撮像手段で撮影して
前記測定対象物体の形状を測定する第２の過程とを有す
る三次元計測方法において、前記第１の過程における測
定結果に応じて、前記第２の過程における第２のパター
ンを異ならしめることとしている。
ト光を測定対象物体に照射することによって該測定対象
物体の表面に第１のパターンによる線状の切断線を形成
し、この第１のパターンによる切断線を撮像手段で撮影
して前記測定対象物体の形状を測定する第１の過程と、
第２の発光手段から複数のスリット光を照射することに
よって前記測定対象物体の表面に前記第１のパターンと
は異なる第２のパターンによる線状の切断線を形成し、
この第２のパターンによる切断線を撮像手段で撮影して
前記測定対象物体の形状を測定する第２の過程とを有す
る三次元計測方法において、前記第１の過程における測
定結果に応じて、前記第２の過程における第２のパター
ンを異ならしめることとしている。
【００３１】次に、本発明の第３の実施形態について説
明する。図５は、同実施形態による三次元計測装置の構
成を示すブロック図である。この図５に示す構成の特徴
は、狭基線長カメラ２ａと広基線長カメラ２ｂの２つの
カメラを設けており、狭基線長カメラ２ａは相対的にレ
ーザ光源１ａおよび１ｂの近くに設け、広い基線長カメ
ラ２ｂは相対的にレーザ光源１ａおよび１ｂから離れた
位置に設けていることである。つまり、本実施形態で
は、少なくとも２つのカメラを備え、第１のカメラとレ
ーザ光源との距離が、第２のカメラと当該レーザ光源と
の距離と異なるように、カメラおよびレーザ光源を配置
している。これ以外の構成は、図１に示したものと同様
である。
明する。図５は、同実施形態による三次元計測装置の構
成を示すブロック図である。この図５に示す構成の特徴
は、狭基線長カメラ２ａと広基線長カメラ２ｂの２つの
カメラを設けており、狭基線長カメラ２ａは相対的にレ
ーザ光源１ａおよび１ｂの近くに設け、広い基線長カメ
ラ２ｂは相対的にレーザ光源１ａおよび１ｂから離れた
位置に設けていることである。つまり、本実施形態で
は、少なくとも２つのカメラを備え、第１のカメラとレ
ーザ光源との距離が、第２のカメラと当該レーザ光源と
の距離と異なるように、カメラおよびレーザ光源を配置
している。これ以外の構成は、図１に示したものと同様
である。
【００３２】狭基線長カメラ２ａと広基線長カメラ２ｂ
の画角が互いに等しい場合、狭基線長カメラ２ａで撮っ
た画像は、広基線長カメラ２ｂで撮った画像に比べて、
より広い距離レンジに存在する測定対象物体を捉えるこ
とができる。一方、光切断法の原理から明らかなよう
に、広基線長カメラ２ｂで撮った画像を用いることによ
り、狭基線長カメラ２ａで撮った画像を用いる場合より
も高精度な距離測定を行うことができる。つまり、狭基
線長カメラ２ａと広基線長カメラ２ｂとを適宜使い分け
ることにより、より広い範囲の測定対象物体までの距離
をより高精度に測定することが可能となる。つまり、例
えば、まず狭基線長カメラ２ａを用いて測定対象物体ま
での距離を大まかな精度で測定し、この距離測定結果に
応じて必要な場合には広基線長カメラ２ｂの撮像方向を
調整し、次に広基線長カメラ２ｂを用いて測定対象物体
までの距離を高精度で測定するようにする。これによ
り、広い距離レンジの測定対象物体を高精度に測定する
ことが可能となる。
の画角が互いに等しい場合、狭基線長カメラ２ａで撮っ
た画像は、広基線長カメラ２ｂで撮った画像に比べて、
より広い距離レンジに存在する測定対象物体を捉えるこ
とができる。一方、光切断法の原理から明らかなよう
に、広基線長カメラ２ｂで撮った画像を用いることによ
り、狭基線長カメラ２ａで撮った画像を用いる場合より
も高精度な距離測定を行うことができる。つまり、狭基
線長カメラ２ａと広基線長カメラ２ｂとを適宜使い分け
ることにより、より広い範囲の測定対象物体までの距離
をより高精度に測定することが可能となる。つまり、例
えば、まず狭基線長カメラ２ａを用いて測定対象物体ま
での距離を大まかな精度で測定し、この距離測定結果に
応じて必要な場合には広基線長カメラ２ｂの撮像方向を
調整し、次に広基線長カメラ２ｂを用いて測定対象物体
までの距離を高精度で測定するようにする。これによ
り、広い距離レンジの測定対象物体を高精度に測定する
ことが可能となる。
【００３３】なお、上記第１〜第３の実施形態において
は、レーザ光源１ａおよび１ｂの２つの光源を用いるこ
ととしたが、光源の数は２に限定されず、より多くの光
源を用いて、それらを用いたマルチスリット光の照射を
順次行い、測定対象物体までの距離を測定するようにし
ても良い。これにより、さらに高密度な測定を行った
り、光源間の距離を固定としたまま様々な距離レンジに
おける高密度測定を行ったりすることも可能となる。
は、レーザ光源１ａおよび１ｂの２つの光源を用いるこ
ととしたが、光源の数は２に限定されず、より多くの光
源を用いて、それらを用いたマルチスリット光の照射を
順次行い、測定対象物体までの距離を測定するようにし
ても良い。これにより、さらに高密度な測定を行った
り、光源間の距離を固定としたまま様々な距離レンジに
おける高密度測定を行ったりすることも可能となる。
【００３４】
【発明の効果】以上説明したように、この発明によれ
ば、互いにスリット光の放射パターンが異なる少なくと
も２つの発光手段と、該発光手段が時分割的に順次前記
測定対象物体を照射するように制御する発光制御手段と
を備え、その切断線を撮像手段で撮影して前記測定対象
物体の形状を測定するため、例えば、二足歩行ロボット
に取り付ける場合など動作中に衝撃が加わる環境におい
ても、低コストで高密度な測定を行うことが可能とな
る。また、複数の発光色を用いる必要もないため、装置
構成が簡単になり、低コスト化が可能となる。また、複
数の発光手段を時分割的に駆動するため、消費電力の低
減が可能となる。
ば、互いにスリット光の放射パターンが異なる少なくと
も２つの発光手段と、該発光手段が時分割的に順次前記
測定対象物体を照射するように制御する発光制御手段と
を備え、その切断線を撮像手段で撮影して前記測定対象
物体の形状を測定するため、例えば、二足歩行ロボット
に取り付ける場合など動作中に衝撃が加わる環境におい
ても、低コストで高密度な測定を行うことが可能とな
る。また、複数の発光色を用いる必要もないため、装置
構成が簡単になり、低コスト化が可能となる。また、複
数の発光手段を時分割的に駆動するため、消費電力の低
減が可能となる。
【００３５】また、この発明によれば、各々の発光手段
から照射されるスリット光による切断線形成位置が互い
に異なるように調節するため、測定対象物体の表面上の
異なる位置を計測することが可能となり、広い測定領域
を高密度で測定できるようになる。
から照射されるスリット光による切断線形成位置が互い
に異なるように調節するため、測定対象物体の表面上の
異なる位置を計測することが可能となり、広い測定領域
を高密度で測定できるようになる。
【００３６】また、この発明によれば、少なくとも２つ
の撮像手段を備え、第１の撮像手段と発光手段との距離
が、第２の撮像手段と当該発光手段との距離と異なるよ
うに、撮像手段および発光手段を配置するため、発光手
段との距離が相対的に小さい方の撮像手段を用いて広い
距離レンジの測定対象物体を捕捉するとともに、発光手
段との距離が相対的に大きい方の撮像手段を用いてより
高精度な三次元計測を行うことが可能となる。よって、
より広い測定領域を高精度で測定することが可能とな
る。
の撮像手段を備え、第１の撮像手段と発光手段との距離
が、第２の撮像手段と当該発光手段との距離と異なるよ
うに、撮像手段および発光手段を配置するため、発光手
段との距離が相対的に小さい方の撮像手段を用いて広い
距離レンジの測定対象物体を捕捉するとともに、発光手
段との距離が相対的に大きい方の撮像手段を用いてより
高精度な三次元計測を行うことが可能となる。よって、
より広い測定領域を高精度で測定することが可能とな
る。
【図１】 この発明の第１の実施形態による三次元測定
装置の構成を示すブロック図である。
装置の構成を示すブロック図である。
【図２】 同実施形態による三次元測定装置における発
光および撮像のタイミングを制御するタイミング信号を
示すタイミングチャートである。
光および撮像のタイミングを制御するタイミング信号を
示すタイミングチャートである。
【図３】 同実施形態による三次元測定装置における２
つのレーザ光源から照射されるスリット光のパターンを
示す断面図である。
つのレーザ光源から照射されるスリット光のパターンを
示す断面図である。
【図４】 この発明の第２の実施形態による三次元測定
装置の構成を示すブロック図である。
装置の構成を示すブロック図である。
【図５】 この発明の第３の実施形態による三次元測定
装置の構成を示すブロック図である。
装置の構成を示すブロック図である。
【図６】 この発明の基礎となる光切断法を用いた距離
測定の原理を示す断面図である。
測定の原理を示す断面図である。
１ａ，１ｂ レーザ光源 ２ カメラ ２ａ 狭基線長カメラ ２ｂ 広基線長カメラ ３ 発光制御部 ４ 画像取り込み部 ５ 距離推定部 ６ 着地位置決定部 ７ 脚制御部 ８ 移動経路決定部 １１ 光源間隔制御部
Claims (6)
- 【請求項１】 発光手段から複数のスリット光を測定対
象物体に照射することによって該測定対象物体の表面に
線状の切断線を形成し、該切断線を撮像手段で撮影して
前記測定対象物体の形状を測定する三次元計測装置にお
いて、 互いにスリット光の放射パターンが異なる少なくとも２
つの発光手段と、 該発光手段が時分割的に順次前記測定対象物体を照射す
るように制御する発光制御手段と、 を具備することを特徴とする三次元計測装置。 - 【請求項２】 各々の前記発光手段から照射されるスリ
ット光による切断線形成位置が互いに異なるように調節
する切断線形成位置調節手段を具備することを特徴とす
る請求項１に記載の三次元計測装置。 - 【請求項３】 前記切断線形成位置調節手段は、複数の
前記発光手段の間の距離を制御する発光位置間隔制御手
段であることを特徴とする請求項２に記載の三次元計測
装置。 - 【請求項４】 少なくとも２つの前記撮像手段を備え、 第１の前記撮像手段と前記発光手段との距離が、第２の
前記撮像手段と当該発光手段との距離と異なるように、
前記撮像手段および前記発光手段を配置したことを特徴
とする請求項１から３までのいずれかに記載の三次元計
測装置。 - 【請求項５】 第１の発光手段から複数のスリット光を
測定対象物体に照射することによって該測定対象物体の
表面に第１のパターンによる線状の切断線を形成し、こ
の第１のパターンによる切断線を撮像手段で撮影して前
記測定対象物体の形状を測定する第１の過程と、 第２の発光手段から複数のスリット光を照射することに
よって前記測定対象物体の表面に前記第１のパターンと
は異なる第２のパターンによる線状の切断線を形成し、
この第２のパターンによる切断線を撮像手段で撮影して
前記測定対象物体の形状を測定する第２の過程と、 を有することを特徴とする三次元計測方法。 - 【請求項６】 前記第１の過程における測定結果に応じ
て、前記第２の過程における第２のパターンを異ならし
めることを特徴とする請求項５に記載の三次元計測方
法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000337303A JP4767403B2 (ja) | 2000-11-06 | 2000-11-06 | 三次元計測装置および三次元計測方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000337303A JP4767403B2 (ja) | 2000-11-06 | 2000-11-06 | 三次元計測装置および三次元計測方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002139310A true JP2002139310A (ja) | 2002-05-17 |
| JP4767403B2 JP4767403B2 (ja) | 2011-09-07 |
Family
ID=18812714
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000337303A Expired - Fee Related JP4767403B2 (ja) | 2000-11-06 | 2000-11-06 | 三次元計測装置および三次元計測方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4767403B2 (ja) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9347772B2 (en) | 2013-03-21 | 2016-05-24 | Samsung Electronics Co., Ltd. | Apparatus for measurement of three-dimensional shape |
| JP2016516993A (ja) * | 2013-03-15 | 2016-06-09 | ファロ テクノロジーズ インコーポレーテッド | 三次元座標スキャナと操作方法 |
| US9395174B2 (en) | 2014-06-27 | 2016-07-19 | Faro Technologies, Inc. | Determining retroreflector orientation by optimizing spatial fit |
| US9400170B2 (en) | 2010-04-21 | 2016-07-26 | Faro Technologies, Inc. | Automatic measurement of dimensional data within an acceptance region by a laser tracker |
| US9453913B2 (en) | 2008-11-17 | 2016-09-27 | Faro Technologies, Inc. | Target apparatus for three-dimensional measurement system |
| US9482755B2 (en) | 2008-11-17 | 2016-11-01 | Faro Technologies, Inc. | Measurement system having air temperature compensation between a target and a laser tracker |
| US9482529B2 (en) | 2011-04-15 | 2016-11-01 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
| US9482746B2 (en) | 2011-04-15 | 2016-11-01 | Faro Technologies, Inc. | Six degree-of-freedom laser tracker that cooperates with a remote sensor |
| US9552150B2 (en) | 2007-09-07 | 2017-01-24 | International Business Machines Corporation | Scroll bar control |
| US9638507B2 (en) | 2012-01-27 | 2017-05-02 | Faro Technologies, Inc. | Measurement machine utilizing a barcode to identify an inspection plan for an object |
| US9686532B2 (en) | 2011-04-15 | 2017-06-20 | Faro Technologies, Inc. | System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices |
| US9772394B2 (en) | 2010-04-21 | 2017-09-26 | Faro Technologies, Inc. | Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker |
| KR20220098053A (ko) * | 2013-04-08 | 2022-07-08 | 스냅 아이엔씨 | 멀티-카메라 장치를 사용하는 거리 추정 |
-
2000
- 2000-11-06 JP JP2000337303A patent/JP4767403B2/ja not_active Expired - Fee Related
Cited By (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10831359B2 (en) | 2007-09-07 | 2020-11-10 | International Business Machines Corporation | Scroll bar control |
| US10394438B2 (en) | 2007-09-07 | 2019-08-27 | International Business Machines Corporation | Scroll bar control |
| US9552150B2 (en) | 2007-09-07 | 2017-01-24 | International Business Machines Corporation | Scroll bar control |
| US9453913B2 (en) | 2008-11-17 | 2016-09-27 | Faro Technologies, Inc. | Target apparatus for three-dimensional measurement system |
| US9482755B2 (en) | 2008-11-17 | 2016-11-01 | Faro Technologies, Inc. | Measurement system having air temperature compensation between a target and a laser tracker |
| US10480929B2 (en) | 2010-04-21 | 2019-11-19 | Faro Technologies, Inc. | Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker |
| US9400170B2 (en) | 2010-04-21 | 2016-07-26 | Faro Technologies, Inc. | Automatic measurement of dimensional data within an acceptance region by a laser tracker |
| US10209059B2 (en) | 2010-04-21 | 2019-02-19 | Faro Technologies, Inc. | Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker |
| US9772394B2 (en) | 2010-04-21 | 2017-09-26 | Faro Technologies, Inc. | Method and apparatus for following an operator and locking onto a retroreflector with a laser tracker |
| US10119805B2 (en) | 2011-04-15 | 2018-11-06 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
| US10267619B2 (en) | 2011-04-15 | 2019-04-23 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
| US9494412B2 (en) | 2011-04-15 | 2016-11-15 | Faro Technologies, Inc. | Diagnosing multipath interference and eliminating multipath interference in 3D scanners using automated repositioning |
| US10578423B2 (en) | 2011-04-15 | 2020-03-03 | Faro Technologies, Inc. | Diagnosing multipath interference and eliminating multipath interference in 3D scanners using projection patterns |
| US10302413B2 (en) | 2011-04-15 | 2019-05-28 | Faro Technologies, Inc. | Six degree-of-freedom laser tracker that cooperates with a remote sensor |
| US9686532B2 (en) | 2011-04-15 | 2017-06-20 | Faro Technologies, Inc. | System and method of acquiring three-dimensional coordinates using multiple coordinate measurement devices |
| US9482529B2 (en) | 2011-04-15 | 2016-11-01 | Faro Technologies, Inc. | Three-dimensional coordinate scanner and method of operation |
| US9453717B2 (en) | 2011-04-15 | 2016-09-27 | Faro Technologies, Inc. | Diagnosing multipath interference and eliminating multipath interference in 3D scanners using projection patterns |
| US9448059B2 (en) | 2011-04-15 | 2016-09-20 | Faro Technologies, Inc. | Three-dimensional scanner with external tactical probe and illuminated guidance |
| US9482746B2 (en) | 2011-04-15 | 2016-11-01 | Faro Technologies, Inc. | Six degree-of-freedom laser tracker that cooperates with a remote sensor |
| US9638507B2 (en) | 2012-01-27 | 2017-05-02 | Faro Technologies, Inc. | Measurement machine utilizing a barcode to identify an inspection plan for an object |
| US9482514B2 (en) | 2013-03-15 | 2016-11-01 | Faro Technologies, Inc. | Diagnosing multipath interference and eliminating multipath interference in 3D scanners by directed probing |
| JP2016516993A (ja) * | 2013-03-15 | 2016-06-09 | ファロ テクノロジーズ インコーポレーテッド | 三次元座標スキャナと操作方法 |
| US9347772B2 (en) | 2013-03-21 | 2016-05-24 | Samsung Electronics Co., Ltd. | Apparatus for measurement of three-dimensional shape |
| KR20220098053A (ko) * | 2013-04-08 | 2022-07-08 | 스냅 아이엔씨 | 멀티-카메라 장치를 사용하는 거리 추정 |
| KR102482186B1 (ko) | 2013-04-08 | 2022-12-29 | 스냅 아이엔씨 | 멀티-카메라 장치를 사용하는 거리 추정 |
| KR20230076870A (ko) * | 2013-04-08 | 2023-05-31 | 스냅 아이엔씨 | 멀티-카메라 장치를 사용하는 거리 추정 |
| KR102582420B1 (ko) | 2013-04-08 | 2023-09-26 | 스냅 아이엔씨 | 멀티-카메라 장치를 사용하는 거리 추정 |
| US9395174B2 (en) | 2014-06-27 | 2016-07-19 | Faro Technologies, Inc. | Determining retroreflector orientation by optimizing spatial fit |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4767403B2 (ja) | 2011-09-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6483536B2 (en) | Distance measuring apparatus and method employing two image taking devices having different measurement accuracy | |
| CA2511828C (en) | Laser digitizer system for dental applications | |
| JP2002139310A (ja) | 三次元計測装置および三次元計測方法 | |
| US6741082B2 (en) | Distance information obtaining apparatus and distance information obtaining method | |
| JP2571054B2 (ja) | 露光装置及び素子製造方法 | |
| JP2008523370A (ja) | 共焦点顕微鏡システムの基本原理に基づく測定装置及び方法 | |
| US8155483B2 (en) | Apparatus for and method of measuring image | |
| JP2002131016A (ja) | 距離測定装置、及び距離測定方法 | |
| JP2002139304A (ja) | 距離測定装置、及び距離測定方法 | |
| JP2001249007A (ja) | オフセット測定方法、ツール位置検出方法およびボンディング装置 | |
| US6181424B1 (en) | Three-dimensional measurement apparatus | |
| JP2568388B2 (ja) | 形状計測装置 | |
| KR100449175B1 (ko) | 광학식 2차원 및 3차원 형상 측정 시스템 | |
| JPH10268067A (ja) | 積雪深計測装置 | |
| JPH09229632A (ja) | 画像情報出力装置および方法、形状測定装置および方法 | |
| JP2000193428A (ja) | 被測定物の測定方法及びその装置 | |
| JP3993045B2 (ja) | ３次元画像入力装置 | |
| JPS626115A (ja) | 距離測定装置 | |
| JPH07229728A (ja) | 路面検出装置 | |
| JPH06109437A (ja) | 三次元形状計測装置 | |
| JP4454714B2 (ja) | 被測定物の測定方法及びその装置 | |
| JPH0560529A (ja) | 高さ測定装置 | |
| WO2022196779A1 (ja) | ３次元計測装置 | |
| JP2524746B2 (ja) | 表面粗さ計測装置 | |
| JPH10126659A (ja) | 画像計測用カメラおよび画像計測装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20061201 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081002 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081007 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081117 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090407 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090622 |
|
| A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20090714 |
|
| A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20090828 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110427 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110615 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4767403 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140624 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |