JP2002529685A - 陰影像センサデータからの電子部品のトモグラフィー的再構成 - Google Patents

陰影像センサデータからの電子部品のトモグラフィー的再構成

Info

Publication number
JP2002529685A
JP2002529685A JP2000579946A JP2000579946A JP2002529685A JP 2002529685 A JP2002529685 A JP 2002529685A JP 2000579946 A JP2000579946 A JP 2000579946A JP 2000579946 A JP2000579946 A JP 2000579946A JP 2002529685 A JP2002529685 A JP 2002529685A
Authority
JP
Japan
Prior art keywords
shadow
electronic component
vertices
angles
calculating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000579946A
Other languages
English (en)
Other versions
JP4620870B2 (ja
Inventor
ロッド，エリック，ピー．
ケース，スティーブン，ケー．
Original Assignee
サイバーオプティクス コーポレーション
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サイバーオプティクス コーポレーション filed Critical サイバーオプティクス コーポレーション
Publication of JP2002529685A publication Critical patent/JP2002529685A/ja
Application granted granted Critical
Publication of JP4620870B2 publication Critical patent/JP4620870B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/12—Edge-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G06T2207/30141—Printed circuit board [PCB]

Abstract

(57)【要約】 陰影像センサデータからの電子部品のトモグラフィー的再構成を提供する。 【解決手段】 １セットの頂点から対象物（４）の輪郭を作成できるように不透明対象物（４）の輪郭を表す１セットの頂点を提供する新規方法。本方法は、対象物（４）がある角度で保持されている間に検出器（１１）上に対象物（４）の陰影を投影するステップとその後陰影像の少なくとも１つの辺縁を検出するステップを含む。陰影像における少なくとも１つの辺縁が明らかになると、少なくとも１つの陰影辺縁とそれに対応する角度によってデータ対が形成される。投影及び検出のステップは、複数のデータ対が保存されるまで繰り返される。複数のデータ対からは１セットの頂点は計算される。対象物（４）の輪郭は、例えば対象物（４）の輪郭を見るときに使用するために１セットの頂点をプロットすることによって作成できる。

Description

【発明の詳細な説明】
【０００１】 発明の分野 本発明は、捕捉・位置決め機におけるように、プリント基板上に置くために電
子部品を方向付けるステップのような、システムにおける対象物のｘ、ｙ及びθ
方向を計算するための方法に関する。
【０００２】 発明の背景 光学的センサに組み込まれた電子陰影技法は、今日の電子産業において、電子
部品をプリント回路基板上に装備するための捕捉・位置決め機に広く用いられる
。最も一般的に用いられる配置整列センサの１つは、ミネソタ州ゴールデンバレ
ーのサイバーオプティクス社（CyberOptics Corporation）によって製造され、
レーザーアライン（LaserAlign：登録商標）部品配列センサとして販売される。
レーザーアライン形式のセンサは、光の筋（stripe）に収束させられる光を用い
、その光は、典型的には、電子部品の側面上を照射し、それによって検出器上に
投影される陰影を形成する。電子部品が（捕捉・位置決め機によってｘ、ｙ、お
よびｚ方向に制御されるノズルによって）回転させられる時、検出器上に投影さ
れた陰影の幅が変化する。陰影の幅が先端で最小になると、ノズルの回転軸に関
して部品の１本の軸及びそれの方向（即ち、角位置）で部品の位置が明らかにな
る。その後捕捉・位置決め機は部品をほぼ９０度回転させ、別の方向での部品の
位置を確定するために同一プロセスを再度完了する。部品がプリント基板上に正
確にセットされる前に、センサの出力及びセンサ出力の付随処理が、捕捉・位置
決め機が実行しなければならない並進運動及び回転運動について指示する。参照
してここに組み込まれる本発明と同一の指定代理人が所有するスクネス（Skunes
）らに付与された米国特許第５，２７８，６３４号はレーザーアライン（登録商
標）型センサを開示している。
【０００３】 向き決めプロセスは、一般的には、捕捉・位置決め機が、位置決めのために目
標のプリント回路に部品を搬送している間に実行される。向き決めプロセスが部
品の搬送と同時に実行される時、向き決めプロセスは、「オンヘッド（on-head
）式」あるいは「オンザフライ（on-the-fly）式」測定法と呼ばれることがある
。反対に、「オフヘッド（off-head）式」測定法は、センサが捕捉・位置決めヘ
ッドに固定されるのではなく、むしろヘッドに対して相対的に静止される時に実
行される。
【０００４】 しかし、電子部品に尖った角がない場合は、電子部品を方向付ける目的にはこ
れらのセンサからのデータが最適ではないことがときどきある。さらに、ときに
は速度を犠牲にすることなく複雑な電子部品の輪郭のより高い解像度を入手でき
ることが望ましい。
【０００５】 発明の概要 本発明の１つの態様は、対象物の輪郭を頂点のセットから作ることができるよ
うに不透明な対象物の輪郭を表す１セットの頂点を提供する新規方法を含む。本
方法は、対象物をある角度に維持している間にその対象物の陰影を検出器上に投
影し、その後陰影像の少なくとも１つの辺縁を検出するステップを含む。陰影像
における少なくとも１つの辺縁が判明したら、少なくとも１つの陰影辺縁とそれ
に対応する角度によって形成されたデータ対が好ましくは保存される。投影及び
検出のステップは、複数のデータ対が保存されるまで繰返される。最後に複数の
データ対から１セットの頂点が計算される。対象物の輪郭は、例えばその対象物
の輪郭を見るときに使用するために頂点セットをプロットすることによって作る
ことができる。
【０００６】 本発明の方法は、捕捉・位置決め機がプリント基板上に電子部品を正確に置く
電子組立工業において有用である。本発明から電子部品の頂点セットが明らかに
なれば、捕捉・位置決め機において既知の基準軸と比較して電子部品の位置及び
角度を計算し、プリント基板上でのその電子部品の望ましい位置及び角度と比較
することができる。捕捉・位置決め機に対する修正指示は、望ましい位置と捕捉
・位置決め機がプリント基板上にその電子部品を正確に置けるように実行する現
在位置との関数として計算される。
【０００７】 別の態様では、本発明の陰影を投影するステップを実行する光源及び検出器を
備えた光学センサも又開示する。センサは、センサ内で検出器から受信した陰影
像の辺縁の位置を定め、頂点セットを計算し、さらに任意で検査中の電子部品の
輪郭を再構成する本発明の処理電子機器に接続されている。別の実施態様では、
辺縁検出及び処理電子機器はセンサ内に位置している。
【０００８】 図面の簡単な説明 図１は、本発明のセンサを含む捕捉・位置決め機の図である。 図２Ａは、捕捉・位置決め機においてモータ制御電子機器、モータ駆動装置及
びプリント基板上の電子機器と一緒に使用される図１に記載のセンサの図である
。 図２Ｂは、本発明を実行するためのハードウエアの１つの実施態様である。 図３Ａ〜３Ｊは、θ1〜θ5の様々な角位置での本発明のセンサにおける検出器
からのアウトプット、及びその結果として生じた各角度θ1〜θ5についての陰影
像の２つの状態の表現を示す対のグラフである。 図４は、本発明の１つの実施態様に従ったステップを示すフローチャートであ
る。 図５は、光源とセンサ内における検出器上に投影された対象物の陰影像との関
係を示す図である。 図６Ａ及びＢは、本発明に従った再構成プロセスにおけるステップを示してい
る。 便利であるように、図中の同一参照記号を有する品目は同一であり、同一若し
くは類似機能を果たす。
【０００９】 実例的実施態様の詳細な説明 本発明は、陰影が投影されたときのノズルの角度及び対象物によって検出器上
に投影された陰影の少なくとも１つの辺縁位置を含むデータ対を使用して、対象
物の輪郭を再構成するためのトモグラフィー的再構成装置及び方法を提供する。
陰影はセンサ内の検出器上に投影され、その間に対象物はセンサに対して回転さ
せられる。この方法は、例えば図１に示されているような捕捉・位置決め機１０
において使用できる。
【００１０】 図１は、ｘ若しくはｙ方向のどちらかにヘッド２を移動させるために個別モー
タ駆動装置（図示されていない）を有する捕捉・位置決め機１０を示している。
捕捉・位置決め機には、標的プリント基板６上に置くために電子部品４を持ち上
げたり、下ろしたり、角回転させたりするための追加のモータ及びモータ駆動電
子機器（図２Ａ参照）が備えられている。プリント基板６は矢印１４によって指
示されている方向にコンベヤシステム１２に沿って移動する。捕捉・位置決め機
１０は、電子部品４の方向を測定するための本発明の陰影投影センサ８と一緒に
示されている。
【００１１】 センサ８はヘッド２が電子部品４を基板６上の適切な位置に向かって動かして
いる間に感知測定を実施できるので、「オンヘッド」形状でヘッド２の下に取り
付けられている。しかし、本発明は、一般に「オフヘッド」、「オンザフライ」
及びその他のタイプの測定下で作動するような工業で知られているものを含むあ
らゆるタイプの捕捉・位置決め機と一緒に実行することができる。ヘッド２が電
子部品を標的基板６上に置いて基板が完全に稠密化された後には、コンベヤシス
テム１２によって次の基板がヘッド下の適切な位置に移動させられ、プロセスが
再び新たに始められる。
【００１２】 図２Ａでは、センサ８は、捕捉・位置決め機１０又は別の制御装置に配置され
たカードケージ２４内のプリント基板２２にセンサ８を電子的に結合させている
出力ケーブル２０と一緒に示されている。モータ及び制御電子機器ブロック２６
は、捕捉・位置決め機工業において一般に使用されているノズル及び中空軸組立
体２８によって適正な位置に保持される電子部品４のｚ方向の運動並びに正確な
角運動を提供する。ノズル及び中空軸組立体２８はそれらを通って伸びている軸
１５を有する。センサ８内に配置された検出器１１を含む電子機器は同軸ケーブ
ル２０にデータを出力するが、そのデータは検出器１１上に投影された電子部品
４の陰影の輪郭を表している。データの転送は、各電子部品を置くために必要な
時間量を低減させるために好ましくはリアルタイムで行われる。センサ電子機器
は、ＣＣＤアレイ検出器１１、ＣＣＤアレイへ刻時波形を適用するための回路、
ＣＣＤアレイ１１からのビデオ信号をデジタル化するためのＡ／Ｄ変換器５０、
コンピュータへ転送するためにデジタル出力をケーブル５４へ結合させるための
デジタルインタフェース電子機器５２、及び総合的センサ作動を調整するための
デジタル制御電子機器から構成される。捕捉・位置決め機１０は、ブロック２６
内の正確な角エンコーダの電子出力及び基板２２上の電子機器を通してのセンサ
８からの出力に基づいて、ヘッド２上のモータおよび制御ブロック２６への指示
を計算及び提供する少なくとももう１つの基板３０を含む。本発明の別の実施態
様では、頂点のセットを提供するためのすべての電子機器はセンサ８のハウジン
グ１３内に配置されている。
【００１３】 図２Ｂは、捕捉・位置決め機１０内のセンサ８及び基板２２上の電子機器にお
いて実行される本発明のハードウエアのある実施態様を示している。電子部品４
はノズル組立体２８上で様々な角度θに回転させられる。視準光源７からの平行
光線は検出器１１の上に照射され、検出器１１上に陰影像を作り出す。検出器１
１は、好ましくは線形検出器アレイであり、１３×１３μｍサイズの１，０２４
ピクセルを有し、各ピクセルは検出器１１上に投影された陰影の強度を表すグレ
ースケール・アナログ値を出力する。線形アレイ検出器については様々な出力フ
ォーマットがあるが、検出器１１において全ピクセルをクロックアウトするため
に必要な時間が減少するので２タップ出力が好ましい。アナログ−デジタル変換
器５０が検出器１１からの出力を受信し、それを好ましくは１０ビットの解像度
でデジタル値に変換する。変換器５０の出力は、ケーブル５４を通して伝送する
目的で信号をフォーマットするためにインタフェース電子機器５２に接続されて
いる。インタフェース電子機器５６は信号をデジタル・フォーマットに変換し、
好ましくはインテル（Intel：登録商標）チップに統合されたプロセッサ５８は
、ここで開示される辺縁検出アルゴリズム６０のためのコード化と、６２で示さ
れここで式２によって与えられる頂点計算を含んでいる。任意で、頂点のセット
はビデオプロセッサブロック６４に提供され、ビデオプロセッサブロックは電子
部品４の輪郭を描出するために、ｘ、ｙ点のセットをプロットする。
【００１４】 電子部品が回転させられている間（この回転は、投影された陰影の有効幅が最
小になるまで）に、該有効幅が、電子部品のｘ、ｙ相対位置を確立するために評
価されるという原理に基づいて、光源及び何らかの種類の検出器と一緒に作動す
るあらゆるその他の電子機器は、本発明の方法と一緒に使用することができる。
【００１５】 光源７は、好ましくはセンサ８内に置かれる。好ましい実施態様では、光源７
はレーザーダイオード、点光源又は電子部品４の近傍に実質的に平行な光線を提
供する付随光学部品を備えたその他の光源である。しかし、本発明を実行するた
めには十分な光線強度を有するあらゆる光を使用することができ、非可視照射線
でさえ、そうした放射線を検出するための検出器と適合する場合には使用するこ
とができる。スクネスら特許に記載されている方法と同様に、本発明は何らかの
特定タイプの光源には限定されない。特に、光線の波長、干渉性、及び位相のど
れも本発明においては重要ではない。光源にとっての主要な規準は、電子部品を
受け入れる窩洞領域を通過した後に、及び（センサ８のハウジングに）フィルタ
が存在する場合は該フィルタを通過した後に検出器で受信された光が電子機器に
ついての強力な信号を提供するのに十分な強度を有するように、十分な強度の光
線を提供することである。本発明はさらに又、陰影を投影するために使用される
光線を提供するために複数光源若しくは代替配列を用いて実行することもできる
。さらに、本発明は本特許出願で示されているハウジングの特定実施には限定さ
れない。
【００１６】 発生させられた陰影の位置及び角度を使用すると、対象物の凸状の輪郭又は凸
状の外殻を再構成することが可能である。凸状外殻は部分の輪郭に正確には対応
せず、対象物の長さの周囲できっちりと伸ばされているゴムバンドによって推定
される形状として想像できることに注目されたい。例えば、外側輪郭内に設けら
れた数多くの間隙を有する１個のホッチキスを考えていただきたい。本発明によ
って提供されるホッチキスの凸状外殻はその全長の周囲で引き伸ばされたゴムバ
ンドを備えたホッチキスの輪郭を作り出すであろう。ゴムバンドとホッチキスと
の間に存在する間隙は本発明の再構成された輪郭では目に見えないであろう。
【００１７】 作動中、検出器１１は図３Ａ、３Ｃ、３Ｅ、３Ｇ及び３Ｉに示されているよう
に対象物４が回転するにつれて一連の検出器画像を作り出す。図３Ｂ、３Ｄ、３
Ｆ、３Ｈ及び３Ｊは各々図３Ａ、３Ｃ、３Ｅ、３Ｇ及び３Ｉで示されている検出
器画像の２つの辺縁状態を描出を示している。そうした図における各パラメータ
ｒは、陰影像辺縁から電子部品回転軸１５までの距離（半陰影幅）を表す。パラ
メータｒは角度θとともに変化する。ここに、θは中空軸に関する光線の角度で
ある（図５において最もよく分かる）。視準光については、光線は常に器械軸１
５に対して平行であるので、θは次の式によって中空軸角度φと関連付けられて
いる： θ＝−φ 式（１）
【００１８】 対象物の輪郭のトモグラフィー的再構成での従来型の計算による集中的方法は
検出器画像におけるグレースケール情報に適用することができた。しかし、本発
明は本発明の計算有効性を提供する不透明な対象物に適用される。本発明では、
不透明な対象物の頂点を再構成するために、多数の回転角度で検出器上に投影さ
れた陰影の少なくとも１つの辺縁の位置だけが必要とされる。各角度で半透明の
対象物を貫通する光線若しくは放射線を表すグレースケールとは対照的に、本発
明は陰影像の少なくとも１つの辺縁位置しか使用しないので、本発明は、輪郭の
トモグラフィー的再構成のために先行技術より効率的であり、さらに必要な計算
が少なくて済む。
【００１９】 本発明では、隣接する線間の交点（多角形の頂点となる）は各多角形について
２つの連立方程式を解くことによって計算できる： 式中、θIは半径パラメータｒIが取り出される角度である。式（２）で使用さ
れる半径パラメータは、陰影辺縁から回転の軸１５までの距離である。これは凸
状外殻のｎ個の頂点を作り出すためにｎ回評価される。典型的な凸状外殻に対し
ては数百個の頂点が計算される。
【００２０】 図４では、本発明の方法が、好ましくはセンサ８内の光源７を使用して、ブロ
ック１００で電子部品４上に陰影を投影することによって始まる。ブロック１０
４では、θI値が保存され、陰影像（ｒI）の辺縁の位置が測定される。検出器１
１からグレースケールのピクセル値で出力される陰影像の辺縁の位置は、数多く
の方法によって求めることができる。一般に、それらの方法には各辺縁位置でピ
ークを作り出すためにグレースケール陰影像を識別するステップが含まれる。低
域通過フィルタを用いて識別画像をフィルタリングすると、高周波ノイズが減少
する。次に、プロセッサ５０がピークの一定近隣内のピクセルだけを考慮に入れ
て、結果として生じたピークの中心を計算する。本発明は、開示された辺縁検出
アルゴリズムを用いて実行した場合にはサブピクセル解像度を生じさせる。ブロ
ック１０６で対象物が完全に３６０度回転させられなかった場合は、制御装置が
追加の角度で追加のデータを収集するためにブロック１００へ逆戻りさせられる
。実際には、電子部品は高速で連続的に回転させられ、光源は連続的にスイッチ
が入れられ、電子機器２２は連続的に増大する回転角度でデータを獲得するため
に適切に検出器１１にストロボをフラッシュする。さらに又本発明は、すべての
データ収集が終了するまでグレースケール値が保存され、その後陰影像の辺縁が
置かれ、頂点セットが計算されることを許容するであろう。回転及びデータ収集
が完了すると、ブロック１０８では式２に従って対のデータ（θI、ｒI）を使用
して内側の多角形の頂点が計算される。ブロック１１０では、引続いての処理の
ためにこのデータをフォーマットすることができる。例えば、オペレーターはそ
の後電子部品の「外殻」輪郭を見ることができる。
【００２１】 電子部品４の両方の辺縁を所定角度θで測定できる場合は、回転及びデータ収
集は実質的に１８０度に渡って実施することができる。
【００２２】 センサ８からのデータが完全に一致している場合は、対象物の複雑な外殻を測
定するために、式２に関する上記のアプローチで十分である。あいにくなことに
、陰影は凸状外殻と完全には一致しないことがある。例えば、ある陰影は他の陰
影によって形成される外郭の完全に外側にあることを惹起するある幅パラメータ
ｖを有している可能性がある。上記に記載の方法は、そうした陰影が組み込まれ
る場合には偽の凹状の多角形を作り出すであろう。
【００２３】 この問題に対する１つの解決策は、対象物４内にあることが既知である何らか
の点に結合したセンサからの線から構成される最小凸状多角形を計算することで
ある。一般に、対象物の回転軸は適切な点である。
【００２４】 以前の考察では、光線は視準されて平行であると仮定されている。詳細には、
光源７から発生された光線は全て同一角度であるので（器械の視準フレームに対
して）、光線角度θは単純に部品を保持している中空軸上のエンコーダから明ら
かである中空軸角度φのマイナス値に等しい。さらにその上、センサ８のＣＣＤ
アレイ上の陰影の位置は半径パラメータｒと同一である。従って、２つの角度で
取られた陰影像から、式２を直ちに解くために十分な情報が明らかになる。
【００２５】 よりコンパクトで製造費用はより安価であるにかかわらず、計算能力がより高
いセンサ８の又別の実施態様では、有限距離に置かれた点光源が使用される。検
出器アレイ１１上の陰影投影、中空軸角度φ並びにパラメータｒ及びθの間には
まだ１対１写像があるが、光線の角度（器具の視準フレームに対する）は光線の
片側と他方の側では変化するので、変換はもはや些細ではなくなる。図５は、有
限距離の光源についての形状を描出している：光源１５０からＣＣＤ１５２の平
面までの光学軸に沿った距離はＳによって、回転軸１５４を含む垂直平面までの
光学軸に沿った距離はＣによって、軸１５４の投影のピクセル位置はｐcによっ
て、対象物４の辺縁の陰影のピクセル位置はＰeによって、そして対象物４の辺
縁をすれすれで通る光線の角度はθによって表示されている。半径パラメータｒ
及び補助距離ｂも又図５に示されている。距離パラメータｒは下記のように表現
することができる： ｒ＝ｂcosθ 式（３） 解析幾何学を用いると、これは次のようになり、 さらにθは次の式から求めることができる：
【００２６】 図６Ａ−６Ｂは、本発明の方法に従って測定された凸状外殻を示す画像である
。図６Ａは、多数の頂点によって形成されたある対象物の輪郭を示している。図
６Ｂは、引続いての画像処理若しくはディスプレイ・システムに送達できる、図
６Ａにおけるデータから入手されたバイナリー画像を示している。本発明は、イ
メージング素子として２−Ｄアレイ（面積アレイ）ではなく好ましくは１−Ｄア
レイ（線形アレイ）を使用するので、高解像度が容易に達成され、さらに費用は
比較的に安価である。例えば、５，０００素子線形アレイは１００ドル未満で購
入できるが、匹敵する解像度（例えば４，０９６×４，０９６）を提供する面積
アレイは現在入手可能な限界にあり、費用は１０，０００ドルを超える。さらに
その上、面積アレイのためのクロッキング要件は線形アレイに対するよりはるか
に複雑である。
【００２７】 本発明は現行の捕捉・位置決め機において使用されるような現行の画像処理若
しくはディスプレイ・システムと一緒に機能させるために後から取り付けること
ができる。さらに、本発明のデータ出力は捕捉・位置決め機において使用されて
いる現行ソフトウエアを含むあらゆるタイプの画像解析ソフトウエアと一緒に使
用することができる。より詳細に提供するためにはデジタル・ズーム機能を容易
に実行することができる。
【００２８】 本発明は好ましい実施態様を参照しながら記載され、捕捉・位置決め機を参照
しながら開示されてきたが、本発明は不透明な対象物の多数の陰影化一次元画像
を二次元画像にトモグラフィー的再構成のために使用することができる。当業者
であれば、本発明の精神及び範囲から逸脱することなく形状及び詳細において変
更を加えられることは理解するであろう。
【図面の簡単な説明】
【図２Ａ】 捕捉・位置決め機においてモータ制御電子機器、モータ駆動装置及びプリント
基板上の電子機器と一緒に使用される図１に記載のセンサの図である。
【図２Ｂ】 本発明を実行するためのハードウエアの１つの実施態様である。
【図３Ａ〜図３Ｊ】 θ1〜θ5の様々な角位置での本発明のセンサにおける検出器からのアウトプッ
ト、及びその結果として生じた各角度θ1〜θ5についての陰影像の２つの状態の
表現を示す対のグラフである。
【図４】 本発明の１つの実施態様に従ったステップを示すフローチャートである。
【図５】 光源とセンサ内における検出器上に投影された対象物の陰影像との関係を示す
図である。
【符号の説明】
４……電子部品、７……光源、８……センサ、１１……検出器、１３……ハウ
ジング、１５……軸、２６……モータおよび制御装置、２８……ノズルおよび中
空軸組立体、２０……出力ケーブル、２２、３０……プリント基板、２４……カ
ードケージ、５４……ケーブル、５８……プロセッサ
【手続補正書】
【提出日】平成１４年３月６日（２００２．３．６）
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正内容】
【特許請求の範囲】
───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 2F065 AA51 CC25 FF04 GG06 GG07 HH15 JJ02 JJ25 PP11 QQ03 QQ25 QQ33 5E313 AA02 AA11 CC03 EE02 EE03 EE24 EE37 FF24 FF26 FF28 FF33 FF40 FG02

Claims (38)

    【特許請求の範囲】
  1. 【請求項１】 ａ）検出器上に陰影像を提供するためにある角度で検出器上
    に対象物の陰影を投影するステップ； ｂ）陰影像の少なくとも１つの辺縁を検出するステップであって、該陰影像の
    少なくとも１つの辺縁と角度がデータ対を形成すること； ｃ）複数のデータ対が保存されるまで角度を変化させて投影及び検出のステッ
    プを繰り返すステップ；及び ｄ）データ対の関数としての１セットの頂点を計算するステップを含む、対象
    物の１部分の輪郭を表す１セットの頂点を提供する方法。
  2. 【請求項２】 さらに１セットの頂点を用いて対象物の輪郭を再構成するス
    テップを含む請求項１の方法。
  3. 【請求項３】 対象物が捕捉・位置決め機におけるノズルによって取外し可
    能に保持されている電子部品であり、回転がそのノズルによって実行される請求
    項１の方法。
  4. 【請求項４】 １つの頂点を完成するために２つのデータ対が使用され、こ
    のときデータ対における角度が相互に近似している請求項１の方法。
  5. 【請求項５】 １セットの頂点を計算するステップが下記の式によって計算
    される請求項１の方法： 式中、θIは半陰影幅ｒIに対応する角度であり、ｒIは半陰影幅であり、ｘは
    頂点のｘ座標であり、さらにｙは頂点のｙ座標である； Ｎが多数の角度を表すときに上記の計算ステップをＮ回繰り返すステップ；及
    び 輪郭を提供するために１セットの頂点を使用するステップ。
  6. 【請求項６】 １セットの頂点が電子フォーマットで提供される請求項１の
    方法。
  7. 【請求項７】 電子フォーマットがラスター画像を提供するために使用され
    るビデオフォーマットである請求項６の方法。
  8. 【請求項８】 ビデオフォーマットがＲＳ−１７０である請求項７の方法。
  9. 【請求項９】 対象物がプリント基板に向かって動かされている間に陰影を
    投影するステップが実行される請求項１の方法。
  10. 【請求項１０】 対象物がプリント基板に対して静止している間に陰影を投
    影するステップが実行される請求項１の方法。
  11. 【請求項１１】 角度を変化させるステップを実行する前にデータ対が保存
    される請求項１の方法。
  12. 【請求項１２】 ａ）陰影が検出器上に陰影像を形成するように対象物が回
    転している間に検出器上に対象物の陰影を投影するステップ； ｂ）陰影像の少なくとも１つの辺縁を検出するステップ； ｃ）陰影像の少なくとも１つの辺縁及び角度によって形成されたデータ対を保
    存するステップ及び少なくとも２つのデータ対が保存されるまで投影、検出及び
    保存のステップを繰り返すステップ； ｄ）少なくとも２つのデータ対から１セットの頂点を計算するステップ；及び ｅ）１セットの頂点から対象物の二次元輪郭を再構成するステップを含む、不
    透明な対象物の二次元輪郭を再構成する方法。
  13. 【請求項１３】 １セットの頂点を計算するステップが下記の式によって計
    算される請求項１２の方法： 式中、θIは半陰影幅ｒIに対応する角度であり、ｒIは半陰影幅であり、ｘは
    頂点のｘ座標であり、さらにｙは頂点のｙ座標である； Ｎが多数の角度を表すときに上記の計算ステップをＮ回繰り返すステップ；及
    び 二次元輪郭を提供するために１セットの頂点を使用するステップ。
  14. 【請求項１４】 二次元輪郭が電子フォーマットで提供される請求項１２の
    方法。
  15. 【請求項１５】 電子フォーマットがラスター画像を提供するために使用さ
    れるビデオフォーマットである請求項１４の方法。
  16. 【請求項１６】 ビデオフォーマットがＲＳ−１７０である請求項１５の方
    法。
  17. 【請求項１７】 対象物がプリント基板に向かって動かされている間にステ
    ップ（ａ）及び（ｂ）が実行される請求項１２の方法。
  18. 【請求項１８】 対象物が静止している間に投影するステップ（ｃ）から置
    くステップ（ｅ）が実行される請求項１２の方法。
  19. 【請求項１９】 対象物が捕捉・位置決め機においてノズルによって取外し
    可能に保持されている電子部品であり、回転がそのノズルによって実行される請
    求項１２の方法。
  20. 【請求項２０】 １つの頂点を完成させるために２つのデータ対が使用され
    、このときデータ対における角度が相互に近似している請求項１２の方法。
  21. 【請求項２１】 ａ）電子部品を持ち上げるステップ； ｂ）回転軸の周囲で電子部品を選択可能な角度に回転させるステップ； ｃ）陰影像を提供する検出器上に電子部品の陰影を投影するステップ； ｄ）少なくとも１つの辺縁を見つけるために陰影像を解析するステップ； ｅ）少なくとも１つの辺縁及びそれに対応する選択可能な角度を含むデータ対
    を保存するステップ； ｆ）ｂ）、ｃ）及びｄ）のステップを複数回実行するステップ； ｇ）データ対から１セットの頂点を計算するステップ； ｈ）１セットの頂点から電子部品の二次元輪郭を再構成するステップ； ｉ）既知の基準から電子部品の方向を計算するステップ； ｊ）電子部品を望ましい方向に置くために方向付けることができるようにｉ）
    からの電子部品の方向を電子部品の望ましい方向と比較し、さらに補正された動
    きを計算するステップ；及び ｋ）補正運動の関数としてプリント基板上に電子部品を置くステップを含む、
    電子部品を持ち上げて置くための方法。
  22. 【請求項２２】 電子部品がプリント基板に向かって動かされている間に陰
    影を投影するステップが実行される請求項２１の方法。
  23. 【請求項２３】 プリント基板に対して電子部品が動かされていない間に陰
    影を投影するステップが実行される請求項２１の方法。
  24. 【請求項２４】 電子部品の１つの頂点を計算するために２つのデータ対が
    使用され、角度が連続的に選択可能な角度で取り出される請求項２１の方法。
  25. 【請求項２５】 １セットの頂点を計算するステップがθ及びｒの関数とし
    て計算され、このときθIが半陰影幅ｒIに対応する角度であり、ｒIが半陰影幅
    である請求項２２の方法。
  26. 【請求項２６】 ハウジング； 光線を提供する光源； 各印影画像が多数の角度のうちの１つと結び付いているときにその上に光線に
    よって形成された陰影像を検出するための検出器；及び 輪郭を表す１セットの頂点を計算するために陰影像を受信する電子機器を含む
    、複数の角度を通って回転可能な不透明な対象物のトモグラフィー的再構成輪郭
    を再構成するときに使用するためのセンサシステム。
  27. 【請求項２７】 さらに対象物の近傍で光線を平行化させるためのコリメー
    ター・レンズを含む請求項２６のセンサシステム。
  28. 【請求項２８】 対象物の近傍で光線が相互に平行ではない請求項２６のセ
    ンサシステム。
  29. 【請求項２９】 光源がレーザーダイオードである請求項２６のセンサシス
    テム。
  30. 【請求項３０】 光源がＬＥＤである請求項２６のセンサシステム。
  31. 【請求項３１】 光源が複数のＬＥＤである請求項２６のセンサシステム。
  32. 【請求項３２】 電子機器が１セットの頂点を計算するステップにおいて使
    用するために複数の角度を受信する請求項２６のセンサシステム。
  33. 【請求項３３】 電子部品を取外し可能に保持するため及び複数の角度へ回
    転させるためのヘッド； 光線を提供するための光源； その上に投影された電子部品の陰影像を検出するための検出器；及び 各印影画像が複数の角度のうちの１つと結び付いている複数の陰影像を受信し、
    さらに陰影像の辺縁を見付け、複数の陰影像及び複数の角度から１セットの頂点
    を計算するプロセッサを含む、電子部品を置くための捕捉・位置決め機。
  34. 【請求項３４】 さらに、 電子部品の望ましい位置と角度の関数としての補正運動及び１セットの頂点を
    計算するための電子機器；及び 補正運動の関数としてプリント基板上に電子部品を置くモータ及び関連電子機器
    を含有する請求項３３の捕捉・位置決め機。
  35. 【請求項３５】 電子部品の近傍で光線が平行ではない請求項３３の捕捉・
    位置決め機。
  36. 【請求項３６】 電子部品の近傍で光線が実質的に平行である請求項３３の
    捕捉・位置決め機。
  37. 【請求項３７】 モータ及び関連電子機器が電子部品をプリント基板に向か
    って動かしている間にプロセッサが１セットの頂点を計算する請求項３４の捕捉
    ・位置決め機。
  38. 【請求項３８】 プロセッサが１セットの頂点を計算している間は電子部品
    がプリント基板に向かって動かされない請求項３４の捕捉・位置決め機。
JP2000579946A 1998-11-03 1999-11-03 陰影像センサデータからの電子部品のトモグラフィー的再構成 Expired - Lifetime JP4620870B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10686098P 1998-11-03 1998-11-03
US60/106,860 1998-11-03
PCT/US1999/025900 WO2000026611A1 (en) 1998-11-03 1999-11-03 Tomographic reconstruction of electronic components from shadow image sensor data

Publications (2)

Publication Number Publication Date
JP2002529685A true JP2002529685A (ja) 2002-09-10
JP4620870B2 JP4620870B2 (ja) 2011-01-26

Family

ID=22313650

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000579946A Expired - Lifetime JP4620870B2 (ja) 1998-11-03 1999-11-03 陰影像センサデータからの電子部品のトモグラフィー的再構成

Country Status (6)

Country Link
US (2) US6490048B1 (ja)
JP (1) JP4620870B2 (ja)
KR (1) KR100619098B1 (ja)
DE (1) DE19982405T1 (ja)
GB (1) GB2347499A (ja)
WO (1) WO2000026611A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010261955A (ja) * 2009-05-06 2010-11-18 Cyberoptics Corp 多数のエリアアレイ型画像検出器を使用するヘッド搭載部品アライメント

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6535291B1 (en) * 2000-06-07 2003-03-18 Cyberoptics Corporation Calibration methods for placement machines incorporating on-head linescan sensing
US7813559B2 (en) * 2001-11-13 2010-10-12 Cyberoptics Corporation Image analysis for pick and place machines with in situ component placement inspection
US7239399B2 (en) * 2001-11-13 2007-07-03 Cyberoptics Corporation Pick and place machine with component placement inspection
US20040072385A1 (en) * 2002-10-15 2004-04-15 Bauer Donald G. Chip alignment and placement apparatus for integrated circuit, mems, photonic or other devices
US7206449B2 (en) * 2003-03-19 2007-04-17 Mitsubishi Electric Research Laboratories, Inc. Detecting silhouette edges in images
US7295720B2 (en) * 2003-03-19 2007-11-13 Mitsubishi Electric Research Laboratories Non-photorealistic camera
US7738725B2 (en) * 2003-03-19 2010-06-15 Mitsubishi Electric Research Laboratories, Inc. Stylized rendering using a multi-flash camera
US7218792B2 (en) * 2003-03-19 2007-05-15 Mitsubishi Electric Research Laboratories, Inc. Stylized imaging using variable controlled illumination
JP2005101263A (ja) * 2003-09-25 2005-04-14 Juki Corp 電子部品実装装置
US7706595B2 (en) 2003-11-07 2010-04-27 Cyberoptics Corporation Pick and place machine with workpiece motion inspection
US20060075631A1 (en) * 2004-10-05 2006-04-13 Case Steven K Pick and place machine with improved component pick up inspection
JP4833588B2 (ja) * 2005-06-03 2011-12-07 株式会社ミツトヨ 画像測定システム並びに非停止画像測定プログラムの作成方法及び実行方法
US20070003126A1 (en) * 2005-05-19 2007-01-04 Case Steven K Method and apparatus for evaluating a component pick action in an electronics assembly machine
DE112006002473T5 (de) * 2005-09-14 2008-08-14 Cyberoptics Corp., Golden Valley Bestückungsmaschine mit verbesserter Bauteil-Aufnahmebild-Identifizierungsverarbeitung
DE112006003019T5 (de) * 2005-10-31 2008-10-23 Cyberoptics Corp., Golden Valley Elektronikmontagevorrichtung mit eingebauter Lötpastenprüfung
NL1033000C2 (nl) * 2006-03-30 2007-08-21 Assembleon Nv Componentplaatsingseenheid alsmede componentplaatsingsinrichting die is voorzien van een dergelijke componentplaatsingseenheid.
US7609907B2 (en) * 2006-06-07 2009-10-27 Analytical Graphics Inc. Visualization of field of view constraints
US8155475B2 (en) * 2007-03-12 2012-04-10 Varian Medical Systems, Inc. Method and apparatus to facilitate transforming grayscale level values
WO2008115532A1 (en) 2007-03-20 2008-09-25 Cyberoptics Corporation Method for measuring center of rotation of a nozzle of a pick and place machine using a collimated laser beam
US8068664B2 (en) * 2007-06-05 2011-11-29 Cyberoptics Corporation Component sensor for pick and place machine using improved shadow imaging
WO2016109768A1 (en) * 2014-12-31 2016-07-07 Robert Bosch Gmbh System and method of shadow effect generation for concave objects with dynamic lighting in three-dimensional graphics
US9886790B2 (en) 2013-03-14 2018-02-06 Robert Bosch Gmbh System and method of shadow effect generation for concave objects with dynamic lighting in three-dimensional graphics
US10517199B2 (en) 2015-12-17 2019-12-24 Assembléon B.V. Methods of positioning a component in a desired position on a board, pick and place machines, and sensors for such pick and place machines
US10620608B2 (en) 2017-03-07 2020-04-14 Raytheon Company Collet contrast disk
US11338441B2 (en) 2017-12-01 2022-05-24 Delta Electronics, Inc. Calibration system for robot tool and calibration method for the same
TWI650733B (zh) * 2017-12-01 2019-02-11 台達電子工業股份有限公司 電子元件組裝系統和方法
KR102641460B1 (ko) * 2021-12-30 2024-02-27 금오공과대학교 산학협력단 그림자 투영법을 이용한 3d 프린팅의 지지체 예측방법

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04122248A (ja) * 1990-09-13 1992-04-22 Res Dev Corp Of Japan 光断層像画像化装置
JPH0618215A (ja) * 1992-07-01 1994-01-25 Yamaha Motor Co Ltd 部品装着方法及び装置
JPH06252598A (ja) * 1993-02-25 1994-09-09 Juki Corp 吸着ノズルに吸着された部品の傾き及び位置測定方法
JPH09229638A (ja) * 1996-02-26 1997-09-05 Daido Steel Co Ltd 断面矩形材の厚み，傾き角測定方法および測定装置
JPH09307298A (ja) * 1996-03-11 1997-11-28 Yamaha Motor Co Ltd チップ部品の位置検出方法及び同装置
JPH10504393A (ja) * 1994-08-11 1998-04-28 サイバーオプティックス・コーポレーション 高精度半導体部品位置合せシステム
JPH1144508A (ja) * 1997-07-24 1999-02-16 Genichi Tagata 部品装着方法および装置
JPH1168397A (ja) * 1997-08-12 1999-03-09 Yamagata Casio Co Ltd 電子部品の装着方法及び装置
JPH11126999A (ja) * 1997-10-22 1999-05-11 Tesukon:Kk チップ部品の非接触位置決め方法及びその装置
JP2000088516A (ja) * 1998-09-05 2000-03-31 Barta Ag 測定方法および測定装置

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3781115A (en) 1972-02-14 1973-12-25 Monitor Systems Corp Method and apparatus for non-contact surface measurement
US4559452A (en) 1982-06-02 1985-12-17 Fujitsu Limited Apparatus for detecting edge of semitransparent plane substance
US4628464A (en) * 1983-10-07 1986-12-09 Westinghouse Electric Corp. Robotic system for mounting electrical components
EP0144717B1 (de) 1983-11-05 1988-10-19 Zevatech AG Verfahren und Vorrichtung zur Positionierung von Bauteilen auf einem Werkstück
GB2183820A (en) 1985-11-09 1987-06-10 Dynapert Precima Ltd Electronic component placement
JPS63249018A (ja) 1987-04-06 1988-10-17 Hitachi Ltd 電子部品検出方法
US5235407A (en) * 1990-08-27 1993-08-10 Sierra Research And Technology, Inc. System for placement and mounting of fine pitch integrated circuit devices
US5278634A (en) 1991-02-22 1994-01-11 Cyberoptics Corporation High precision component alignment sensor system
DE4222804A1 (de) * 1991-07-10 1993-04-01 Raytheon Co Einrichtung und verfahren zur automatischen visuellen pruefung elektrischer und elektronischer baueinheiten
JP2554437B2 (ja) 1992-08-07 1996-11-13 ヤマハ発動機株式会社 部品装着方法及び同装置
JP2816787B2 (ja) 1992-11-09 1998-10-27 ヤマハ発動機株式会社 実装機の吸着ノズル制御装置
US5619528A (en) 1993-04-16 1997-04-08 Trans Video Electronics High speed teleconference system
US5559727A (en) 1994-02-24 1996-09-24 Quad Systems Corporation Apparatus and method for determining the position of a component prior to placement
US5900940A (en) * 1995-11-28 1999-05-04 Yamaha Hatsudoki Kabushiki Kaisha Position detector for chip mounter
WO1997032180A1 (en) * 1996-02-19 1997-09-04 Philips Electronics N.V. Device comprising diffuse foreground illumination for detecting an electronic component, and component-mounting machine provided with such a detection device
JPH1140991A (ja) 1997-07-18 1999-02-12 Yamagata Casio Co Ltd 部品装着方法及び装置
JP3760274B2 (ja) 1997-07-18 2006-03-29 山形カシオ株式会社 電子部品の装着方法及び装置
JP3784935B2 (ja) 1997-08-12 2006-06-14 山形カシオ株式会社 電子部品の装着方法及び装置
US6100922A (en) * 1998-06-23 2000-08-08 Juki Corporation Apparatus for recognizing an electronic component
JP4428794B2 (ja) 1999-12-08 2010-03-10 富士機械製造株式会社 電気部品位置検出方法および電気回路組立方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04122248A (ja) * 1990-09-13 1992-04-22 Res Dev Corp Of Japan 光断層像画像化装置
JPH0618215A (ja) * 1992-07-01 1994-01-25 Yamaha Motor Co Ltd 部品装着方法及び装置
JPH06252598A (ja) * 1993-02-25 1994-09-09 Juki Corp 吸着ノズルに吸着された部品の傾き及び位置測定方法
JPH10504393A (ja) * 1994-08-11 1998-04-28 サイバーオプティックス・コーポレーション 高精度半導体部品位置合せシステム
JPH09229638A (ja) * 1996-02-26 1997-09-05 Daido Steel Co Ltd 断面矩形材の厚み，傾き角測定方法および測定装置
JPH09307298A (ja) * 1996-03-11 1997-11-28 Yamaha Motor Co Ltd チップ部品の位置検出方法及び同装置
JPH1144508A (ja) * 1997-07-24 1999-02-16 Genichi Tagata 部品装着方法および装置
JPH1168397A (ja) * 1997-08-12 1999-03-09 Yamagata Casio Co Ltd 電子部品の装着方法及び装置
JPH11126999A (ja) * 1997-10-22 1999-05-11 Tesukon:Kk チップ部品の非接触位置決め方法及びその装置
JP2000088516A (ja) * 1998-09-05 2000-03-31 Barta Ag 測定方法および測定装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010261955A (ja) * 2009-05-06 2010-11-18 Cyberoptics Corp 多数のエリアアレイ型画像検出器を使用するヘッド搭載部品アライメント

Also Published As

Publication number Publication date
US20020140948A1 (en) 2002-10-03
JP4620870B2 (ja) 2011-01-26
KR20010033850A (ko) 2001-04-25
US6490048B1 (en) 2002-12-03
WO2000026611A1 (en) 2000-05-11
DE19982405T1 (de) 2001-04-26
GB2347499A (en) 2000-09-06
US6583884B2 (en) 2003-06-24
KR100619098B1 (ko) 2006-09-04
GB0014169D0 (en) 2000-08-02

Similar Documents

Publication Publication Date Title
JP4620870B2 (ja) 陰影像センサデータからの電子部品のトモグラフィー的再構成
US5969822A (en) Arbitrary-geometry laser surface scanner
US5991437A (en) Modular digital audio system having individualized functional modules
US5838428A (en) System and method for high resolution range imaging with split light source and pattern mask
EP2132523B1 (en) Method and device for exact measurement of objects
EP2839238B1 (en) 3d scanner using merged partial images
US20180081376A1 (en) Parallel platform tracking control apparatus using visual device as sensor and control method thereof
CA2060181A1 (en) Method and apparatus for computing tomographic scans
JP2669223B2 (ja) ランデブードッキング用光学センサー装置
JPH02161962A (ja) 放射線治療装置における患者の位置を測定しかつ検査する装置及びその方法
US5090811A (en) Optical radius gauge
WO1996035922A1 (en) Method for controlling projection of optical layup template
JPH1038531A (ja) パイプ形状自動計測装置及び計測方法
US6206891B1 (en) Device and method for calibration of a stereotactic localization system
JP3825492B2 (ja) 画像再構成処理装置及びｘ線ｃｔ装置
JPH09173330A (ja) Ｘ線断層撮影装置
JPH06109437A (ja) 三次元形状計測装置
JP2987540B2 (ja) 三次元スキャナー
Tiddeman et al. Laser-video scanner calibration without the use of a frame store
GB2240623A (en) An imaging process for detecting the shape of three dimensional objects
JP2012013593A (ja) ３次元形状測定機の校正方法及び３次元形状測定機
JPH1047924A (ja) ３次元位置計測装置
JP2932418B2 (ja) ワークの位置計測方法
JPS6129710A (ja) 測定方法
JPH06221811A (ja) 光の二次元測定方法および表面粗さ測定方法と測定装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061005

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090701

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091202

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100302

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100309

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100401

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100906

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101006

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101029

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131105

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4620870

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term