JP2010014601A - 多面外観検査装置 - Google Patents
多面外観検査装置 Download PDFInfo
- Publication number
- JP2010014601A JP2010014601A JP2008175899A JP2008175899A JP2010014601A JP 2010014601 A JP2010014601 A JP 2010014601A JP 2008175899 A JP2008175899 A JP 2008175899A JP 2008175899 A JP2008175899 A JP 2008175899A JP 2010014601 A JP2010014601 A JP 2010014601A
- Authority
- JP
- Japan
- Prior art keywords
- inspected
- light source
- electronic camera
- observation
- prism
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000000007 visual effect Effects 0.000 title claims description 7
- 238000007689 inspection Methods 0.000 claims abstract description 109
- 238000003860 storage Methods 0.000 claims abstract description 56
- 238000005286 illumination Methods 0.000 claims abstract description 45
- 238000012545 processing Methods 0.000 claims abstract description 21
- 238000011179 visual inspection Methods 0.000 claims abstract description 20
- 230000002093 peripheral effect Effects 0.000 claims abstract description 13
- 230000003287 optical effect Effects 0.000 claims description 40
- 230000002950 deficient Effects 0.000 claims description 26
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000004140 cleaning Methods 0.000 claims description 7
- 238000013519 translation Methods 0.000 claims description 5
- 239000012141 concentrate Substances 0.000 claims description 3
- 230000003760 hair shine Effects 0.000 claims 1
- 238000000034 method Methods 0.000 description 60
- 238000010586 diagram Methods 0.000 description 10
- 238000012360 testing method Methods 0.000 description 3
- 230000005856 abnormality Effects 0.000 description 2
- 230000004931 aggregating effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011109 contamination Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000003449 preventive effect Effects 0.000 description 1
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【解決手段】透明体は観察平面部から入光した光源からの照明光を直交反射して、不透明体である被検査物体の上下左右の周面を照明する4個の斜面と、照明光を2度にわたって直交反射して被検査物体の背面を照明する対向斜面を備え、収納凹部の底面寸法と深さ寸法は被検査物体の外のり寸法が最大である場合の背面寸法と高さ寸法に相当し、少なくとも被検査物体の複数面は収納凹部の内壁に接触するようにして投入され、電子カメラは観察平面部に整列投影された被検査物体の複数面の外観を撮影し、画像処理装置によって被検査物体に外観上の特異性があるかどうかが判定される。
【選択図】図2
Description
例えば従来の外観検査装置によれば、被検査物の外観を検査する装置であって、前記被検査物を定位置に保持する保持手段と、前記保持された被検査物の各面の画像を所定方向に集約する集約手段と、前記集約された画像が投影される受像手段とを備え、作業者あるいは自動検査装置において得られた複数の画像を一つのパターンとして認識することで、外観検査を容易で効率良く行うことができる外観検査装置が開示されている(例えば特許文献1参照)。
また、特許文献2による多方向同時観察光学系画像読取装置は、被検査物体の周辺にプリズムを配置して、被検査物体の6面像を一方向から同時に観察できるようにしたものであるが、6面像が被検査物体の周辺に分散していて全体として大きなスペースを必要とし、特に被検査物体の投入・排出処理が困難となる問題点がある。
また、被検査物体の背面画像を得る光路が特に長くなり、均質な画像が得にくい問題点も含んでいる。
従って、光源による照明面積と撮像面積を最小限度に抑制して、照明のための電気エネルギーを節減することができると共に、電子カメラの口径を小さくして小型安価な電子カメラを使用することができる効果がある。
また、被検査物体の多面の外観を撮像することによって、平面画像であっても凸凹の有無や凸凹の位置を特定することができるので、複数カメラによる立体画像を得る必要がなく全体を小型安価に構成することができる効果がある。
図1は、この発明の実施の形態1に係る多面外観検査装置を説明するための被検査物体の斜視図である。図2は、この発明の実施の形態1に係る多面外観検査装置の正面図である。図3は、この発明の実施の形態1に係る多面外観検査装置の平面図である。図4は、観察平面部79の構成図である。なお、図2においては第二のプリズム、図3においては第三のプリズムを省略し内部が分かるようにしている。
また、収納凹部82の底面を構成する第五のプリズム50の一方の直交面は第三のプリズム30の一方の直交面と当接し、第三のプリズム30は他のプリズムに比べて断面寸法が大きくなっている。
収納凹部82の開口面を含む観察平面部79は、図5〜図7を参照して説明する光源93、光源94または光源95によって照明され、収納凹部82に投入された被検査物体60からの反射光が電子カメラ70によって撮影される。
第一〜第五のプリズム10、20、30、40、50は四方を巡らせた外枠板87の内面に接着固定されて透明体81を構成し、透明体81は治具83の上に着脱可能に半固定設置されるようになっている。
同様に第二のプリズム20、第三のプリズム30、第四のプリズム40の一方の直交面は、光源93、光源94または光源95から直接照明される観察平面部79を構成し、各プリズムの斜面で直交反射した照明光は他方の直交面を透過して被検査物体60の左面E、下面D、右面Fを照光反射し、再び斜面で直交反射して観察平面部79の左面用観察面E、下面用観察面D、右面用観察面Fに左面E、下面D、右面Fの外観が投影されるようになっている。
また、一方の直交面が光源93、光源94または光源95から直接照明される第三のプリズム30の斜面で直交反射した照明光は第五のプリズム50の斜面で直交反射して被検査物体60の背面Cを照光反射し、再び第五のプリズム50と第三のプリズム30の斜面で直交反射して観察平面部79の背面用観察面Cに背面Cの外観が投影されるようになっている。
遠近移動用モータ71は電子カメラ70と観察平面部79との間の相対距離を調整し、撮影される被検査物体60から電子カメラ70に至る光路長がほぼ一定となるように、電子カメラ70(又は各プリズムの透明体81)を移動させるようになっている。
これに対し、LA〜LFはA面〜F面の撮影を行うのに適した電子カメラ70と観察平面部79間の相対距離であり、各面が同一倍率で撮影されるときの相対距離は式(1)〜視(6)で示される。但し、Xは収納凹部82の深さ寸法、Yは収納凹部82の長さ寸法となっている。
LB=L−(2X−a) (2)
LC=L−3X (3)
LD=L−2X (4)
LE=L−X (5)
LF=L−X−(Y−c) (6)
もしも、下面用観察面Dと前面用開口面Aとの間に背面用観察面Cが介在しなければ、被検査物体60の下面Dから観察平面部79の下面用観察面Dに至る光路長はもっと短くなるのであるが、背面用観察面Cが介在することで光路長が長くなっている。
しかし、背面Cに関する光路長よりは短いので全体として、平均化されて極端に長い光路長となる面がなくなっていることが重要な特徴である。
なお、入射する光が光軸外においても光軸と平行となるテレセントリック光学系のレンズを用いた電子カメラ70である場合には、電子カメラ70と観察平面部79間の相対距離を調節しなくても、被検査物体60の各検査面は同じ倍率で撮像されるので遠近移動用モータ71は不要である。
また、観察平面部79の全体が電子カメラ70の口径よりも小さい場合には平行移動用モータ72、73は不要であるが、観察平面部79が横方向または縦方向に細長い面である場合には、平行移動用モータ72、73のどちらか方を使用して長手方向に相対移動させるようにすれば口径の小さい電子カメラ70を使用することができる。
第1配置例を示す図5において、プリズムの透明体81と電子カメラ70との間にはハーフミラー91が設けられ、光源93による照明光はハーフミラー91で直交反射して透明体81の観察平面部79に直交入射し、被検査物体60の各検査面で反射逆行した光線はハーフミラー91を透過して電子カメラ70に入光するようになっている。
この第1配置例では、光源93とハーフミラー91が観察平面部79の全域に広がって広域照明を行う形態となっていて、電子カメラ70は遠近移動用モータ71と平行移動用モータ72、73によって3軸方向に移動するようになっている。
この第2配置例では、光源94とハーフミラー92が観察平面部79の一部領域を照明する形態となっていて、ハーフミラー92と光源94とは電子カメラ70と一体になって、遠近移動用モータ71と平行移動用モータ72、73によって3軸方向に移動するようになっている。
但し、光源94とハーフミラー92を観察平面部79に接近配置しておくことによって、遠近移動用モータ71は電子カメラ70のみを遠近移動させるようにしてもよい。
また、光源94は図6の右側位置に後退静止させておいて、ハーフミラー92と電子カメラ70とを左右に移動させるようにすることも可能である。
この第3配置例では、プリズムの透明体81が3軸方向に駆動され、遠近移動用モータ71によって光路長が調整されるとともに、1または2軸の平行移動用モータ72、73によって観察平面部79と平行する移動面上で電子カメラ70に対して相対的に平行移動し、被検査物体60の各面に対応した複数の位置において撮像が行えるようになっている。
また、後述する通り、透明体81は回動駆動用モータ80によって回動駆動されるようになっている。
なお、透明体81を3軸方向に駆動する代わりに、電子カメラ70と光源95とは一体として、1軸〜3軸方向に移動させるようにしてもよく、要は相対的に3軸方向の動きができればよい。
図8(A)、図8(B)において、第一から第五のプリズムが組み合わされた透明体81は治具83に搭載され、回動駆動用モータ80によって第一のステーションS1から第五のステーションS5の位置に回動駆動されるようになっている。
第一のステーションS1は被検査物体60が収納凹部82に投入される位置であって、収納凹部82の開口面を含む観察平面部79は天井面と平行になっている。
なお、第一のステーションS1の上部には図示しないパーツフィーダのホッパ84が設けられている。第二のステーションS2は電子カメラ70による撮像が行われる位置であり、第一のステーションS1から約45度だけ時計方向に回動した位置となっている。
このように、第二のステーションS2が傾斜位置にあることによって、背面Cと下面Dとが収納凹部82の壁面に接触し、収納凹部82内の被検査物体60の位置が確定する。
なお、治具83の回動軸は少し傾斜していて、被検査物体60の左面Eが右面Fよりも床面に接近するようになっている。または、図示しないエアシリンダ機構によって一旦透明体81を傾斜させることによって、被検査物体60の左面Eを収納凹部82の内壁に当接し、被検査物体60の前後左右の位置が確定するようになっている。
なお、第三のステーションS3の下部には良品収納箱85が設置されるか、または良品取出用コンベアの先頭部が配置されるようになっている。
第四のステーションS4は第一のステーションS1を挟んで第三のステーションS3の反対位置にあって、被検査物体60が不良品であった場合の不良品排出位置となっており、第四のステーションS4の下部には不良品収納箱86が設置されている。
第五のステーションS5は第一のステーションS1を挟んで第二のステーションS2の反対位置にあって、第一のプリズム10から第五のプリズム50の表面を清掃手入れするための位置となっている。
多面外観検査装置100は、図9に示すように、例えば市販のプログラマブルコントローラである全体制御装置101と、市販の工業用パーソナルコンピュータである画像処理装置102と、市販の位置決め制御装置103を介して駆動制御される多軸駆動機構104と回動駆動機構105と、市販のマンマシンインタフェース機器である設定表示装置106と、を備える。
多軸駆動機構104には遠近移動用モータ71、平行移動用モータ72、73が包含されている。
回動駆動機構105には回動駆動用モータ80が包含されている。
照明機器90には光源93、光源94または光源95とハーフミラー91またはハーフミラー92が包含され、その一部または全体が電子カメラ70と共に多軸駆動機構104によって駆動されるようになっている。
比較参照データ107は標準となる被検査物体60を撮影して得られる基準画像データ、または標準となる被検査物体60の基準寸法データのいずれかからなっている。
良否判定手段108は、被検査物体60を撮影して得られる画像データと基準画像データとを対比して画像の相違の有無を判別する画像比較手段、または被検査物体60を撮影して得られる画像データから被検査物体60の寸法を演算算出して、基準寸法データと対比して寸法の相違の有無を判別する寸法比較手段のいずれかである。
また、良否判定手段108は、モニタ画面109に対して被検査物体60の撮影画像を表示し、基準画像データによる画像を並べて表示するか選択切換表示するモニタ表示手段であり、モニタ表示手段による被検査物体の良否の判定はオペレータの目視観察によって行われるようになっている。
良否判定手段108は更に、被検査物体60を除外して得られる画像データと限界基準画像データとを対比して第一のプリズム10から第五のプリズム50の汚損・損傷の有無を判別する画像比較手段、またはモニタ画面109に対して被検査物体60を除外した撮影画像を表示し、限界基準画像データまたはサンプル画像データによる画像を並べて表示するか選択切換表示するモニタ表示手段を備え、モニタ表示手段による第一のプリズム10から第五のプリズム50の汚損・損傷の有無の判定はオペレータの目視観察によって行われるものである。
図10は、この発明の実施の形態1に係る多面外観検査装置の動作の行程を示すフローチャートである。
なお、多面外観検査装置100の運転操作としては、収納凹部82に対して被検査物体60を投入しない状態で、収納凹部82の汚損・損傷の有無を判定する保守点検操作の場合と、収納凹部82に対して標準サンプルとなる被検査物体60を投入して、比較参照データ107となる基準画像データを取得する段取替操作の場合と、既に比較参照データ107となる基準画像データまたは基準寸法データが格納されていて、与えられた被検査物体60の良否判定を行うための実働操作の場合とがあるが、以下の説明では実働操作に関連して説明する。
行程810に続く行程811aは位置決め制御装置103によって電子カメラ70を初期位置に移動させると共に、透明体81の収納凹部82を第一のステーションS1の位置に移動させるステップである。
続く行程811bは行程811aによる移動動作と回動動作が完了して、被検査物体60が投入されたときに、移動・投入完了報告を発生するステップである。
行程801aに続く行程801bは行程811bによる完了報告を受信したかどうかを判定し、未完了であればNOの判定を行って行程801aへ復帰して準備指令を続行し、完了報告を受信すればYESの判定を行って行程802aへ移行する判定ステップとなっている。
行程811bに続く行程812aは、行程802aによる指令に基づいて電子カメラ70を指令された位置へ移動すると共に、透明体81を第二のステーションS2の位置へ回動させるステップであり、続く行程812bによって移動・回動完了が報告されるようになっている。
行程802aに続く行程802bは行程812bによる完了報告を受信したかどうかを判定し、未完了であればNOの判定を行って行程802aへ復帰して移動指令を続行し、完了報告を受信すればYESの判定を行って行程803へ移行する判定ステップとなっている。
なお、行程802aによる移動指令は後述の行程806aを介して繰り返して実行されことになるが、移動指令の順番は例えばC面、D面、E面の撮影を先行し、続いてF面、B面、A面の撮影を行うようになっている。
行程803は行程802aによって移動した電子カメラ70の位置情報(観察平面部79からの相対距離)と撮像指令とが画像処理装置102へ送信されるステップである。
行程820に続く行程823は、行程803による位置情報と撮像指令に基づいて検査対象面の撮影を行い、既に格納されている基準画像データとの比較判定を行ったり、撮像画面に現れた被検査物体60の高さ寸法又は前後寸法又は左右寸法に関する画像寸法を測定し、この画像寸法に対して(対物距離/焦点距離)の比率を掛けて高さ寸法a、前後寸法b、左右寸法cを算出するようになっている。
なお、ここで使用される対物距離は常に基準相対距離Lに合致するように電子カメラ70の位置が調整されていると共に、焦点距離は適用された電子カメラ70のレンズによって定まる定数である。
また、式(1)、(2)、(6)で示された、相対距離LA、LB、LFの算出に必要となるa、b、c寸法が確定するので、A面、B面、F面の撮影が可能となるものである。
行程823に続く行程824は画像比較または寸法比較による良否判定の結果と、算出された被検査物体60の高さ寸法a、前後寸法b、左右寸法cの値が全体制御装置101に対して送信される。
行程803に続く行程804は行程824による判定結果を受信して正常判定であったかどうかを識別し、正常判定であればYESの判定を行って行程805へ移行し、異常判定であればNOの判定を行って行程807へ移行する判定ステップとなっている。
行程806aは位置決め制御装置103と画像処理装置102に対して次回指令の発生予告信号を送信してから行程802aへ復帰するステップである。
行程806bは位置決め制御装置103と画像処理装置102に対して検査完了情報を送信してから行程808へ移行するステップである。
行程812bに続く行程816aは行程806aによる予告信号を受信したかどうかを判定し、予告信号があればYESの判定を行って行程812aへ復帰し、予告信号がなければNOの判定を行って行程817aへ移行する判定ステップである。
行程824に続く行程826aは行程806aによる予告信号を受信したかどうかを判定し、予告信号があればYESの判定を行って行程823へ復帰し、予告信号がなければNOの判定を行って行程826bへ移行する判定ステップである。
行程804が不良品判定であった場合に実行される行程807では被検査物体60を不良品収納箱86へ排出する指令を発生して動作終了行程809へ移行する。
行程804が良品判定であって、行程805が全面検査完了であった場合に実行される行程808では被検査物体60を良品収納箱85へ排出する指令を発生して動作終了行程809へ移行する。
行程817aは行程807による不良品排出指令を受信したかどうかによって動作し、未受信であればNOの判定を行って行程818aへ移行し、受信すればYESの判定を行って行程817bへ移行する判定ステップである。
行程817bは透明体81を第四のステーションS4へ回動させ、被検査物体60が不良品収納箱86に落下するのを待ってから行程818aへ移行するステップである。
行程818aは行程808による良品取出指令を受信したかどうかによって動作し、未受信であればNOの判定を行って行程816bへ移行し、受信すればYESの判定を行って行程818bへ移行する判定ステップである。
行程816bは行程806bによる完了情報を受信したかどうかによって、完了情報を受信すればYESの判定を行って行程819aへ移行し、完了情報を未受信であればNOの判定を行って行程816aへ復帰する判定ステップである。
行程819aは透明体81を第一のステーションS1へ回動させ、電子カメラ70を初期位置へ移動復帰させてから動作終了行程819bへ移行するステップである。
全体制御装置101と位置決め制御装置103と画像処理装置102は、それぞれ動作終了行程809、819b、829において他の制御動作を行い、所定時間内には互いに同期をとって動作開始行程800、810、820へ復帰し、以降の制御動作を繰返して実行するようになっている。
なお、2度目以降の動作においては行程819aによって既に原点位置に復帰しているので、行程811aは動作せず、行程801aにおいて直ちに被検査物体60の投入を行えば良い。
従って、光路に複数の反射面が介在する背面画像の光路長を抑制し、正確な画像が得られるという効果を奏す。
従って、単純な成形型を用いて複雑な形状の透明体81を構成することができ、安価な透明体81が得られる。
従って、単純な成形型によるプリズムを用いて光源による照明面積と撮像面積を最小限度に抑制すると共に、複数のプリズムの接合面で発生する光の乱反射によるノイズの発生を抑制することができる。
従って、光路が延長されるに伴って画像寸法が小さくなるような小型安価な非テレセントリック光学系の電子カメラを用いて、高精度に被検査物体の多面の外観検査を行うことができる。
また、被検査物体60の複数面が収納凹部82の内壁に接触していることによって複数面の撮影画像の対物距離が確定し、対物距離とレンズの焦点距離との比率と画像寸法を乗算することによって被検査物体60の3方の寸法を等出することができる。
その結果、予め提供されている標準寸法と対比して外形寸法の異常判定を行うことができると共に、被検査物体の寸法が収納凹部82の寸法よりも小さい場合に、収納凹部82の壁面に接触していない検査面の撮像を行うときの対物距離の演算を行うことができる。
従って、被検査物体60が比較的大きくても、電子カメラ70を移動して分割撮像することによって小型で安価な小口径の電子カメラ70を使用することができる。
従って、光源94の照明範囲を縮減して、小型・省エネルギーの光源を使用することができる。また、光源94をハーフミラー92と連動して平面移動させると、光源94から観察平面部79までの光路長を均一にして、分割画面ごとの検出誤差を低減することができる。
従って、被検査物体60が比較的大きくても、電子カメラ70を移動して分割撮像することによって小型で安価な小口径の電子カメラ70を使用することができる。
また、環状の光源95は観察平面部79の一部領域を集中して照明するので、光源の照明範囲を縮減して、小型で省エネルギーの光源を使用することができる特徴がある。
従って、口径の小さな電子カメラ70を使用することができると共に、遠近移動用モータ71が不要となり、全体構造が小型化、簡略化される。
従って、簡易な構成によって被検査物体60の投入から良否の弁別排出までを自動化することができる。特に、被検査物体60が良品である通常状態においては透明体81は第一のステーションS1、第二のステーションS2、第三のステーションS3、第一のステーションS1の移動を循環し、まれに不良品が発生すると第二のステーションS2から第四のステーションS4に逆行してから第一のステーションS1に復帰する動作を行い、通常運転において余分なステーションを通過しないので移動効率を高めることができる。
従って、通常運転では第五のステーションS5を通過しないので、透明体81の回動移動の効率を低下させないで清掃・保守を容易に行うことができる。
従って、顧客二一ズに見合った制御プログラムを使用することによって、適切な良否判定手段を手軽に選択採用することができる。
従って、運転開始時の定期点検により適時に清掃手入れを行って、装置の異常発生が生
じないように予防管理することができる特徴がある。
図11は、この発明の実施の形態2に係る多面外観検査装置の正面図である。図12は、この発明の実施の形態2に係る多面外観検査装置の平面図である。
この発明の実施の形態2に係る多面外観検査装置100Bは、この発明の実施の形態1に係る多面外観検査装置100と透明体81Bが異なり、それ以外は同様であるので、同様な部分に同じ符号を付記し説明は省略する。
この発明の実施の形態2に係る透明体81Bは、この発明の実施の形態1に係る透明体81と収納凹部82Bが異なる。実施の形態1に係る収納凹部82は、Z軸方向の壁面が第一のプリズム10の一方の直交面と第三のプリズム30の一方の直交面とで、Y軸方向の壁面が第二のプリズム20の一方の直交面と第四のプリズム40の一方の直交面とで形成されているのに対して、実施の形態2に係る収納凹部82Bは、Z軸方向の壁面が第一のプリズム10Bの斜面と第三のプリズム30Bの一方の直交面とで、Y軸方向の壁面が第二のプリズム20Bの一方の直交面と第四のプリズム40Bの斜面とで形成されている。
被検査物体60は2等辺直角三角柱である第一のプリズム10B、第二のプリズム20B、第四のプリズム40B、第五のプリズム50Bと、台形四角柱である第三のプリズム30Bを組み合わせて構成された収納凹部82Bに投入されるようになっている。
また、収納凹部82Bの底面を構成する第五のプリズム50Bの斜面の下半分は第三のプリズム30Bの台形平面部と当接すると共に、上半分は収納凹部82Bの底面を構成している。
収納凹部82Bの開口面を含む観察平面部79は、図13、図14を参照して説明する光源93Bまたは光源94Bによって照明され、収納凹部82Bに投入された被検査物体60からの反射光が電子カメラ70によって撮影されるようになっている。
第一のプリズム10Bから第五のプリズム50Bは四方を巡らせた外枠板87Bの内面に接着固定されて透明体81Bを構成し、透明体81Bは治具83の上に着脱可能に半固定設置されるようになっている。
なお、実施の形態2に係るプリズムの透明体81Bの回動駆動機構は図8と、多面外観検査装置100Bのシステム構成は図9と、多面外観検査装置100Bの動作説明用フローチャートは図10と同様である。
第二のプリズム20Bの一方の直交面は、光源93Bまたは光源94Bから直接照明される観察平面部79を構成し、第二のプリズム20Bの斜面で直交反射した照明光は他方の直交面を透過して被検査物体60の左面Eを照光反射し、再び斜面で直交反射して観察平面部79の左面用観察面Eに左面Eの外観が投影されるようになっている。
第三のプリズム30Bの一方の直交面は、光源93Bまたは光源94Bから直接照明される観察平面部79を構成し、第三のプリズム30Bの斜面で直交反射した照明光は他方の直交面を透過して被検査物体60の下面Dを照光反射し、再び斜面で直交反射して観察平面部79の下面用観察面Dに下面Dの外観が投影されるようになっている。
第五のプリズム50Bの斜面は、光源93Bまたは光源94Bから直接照明されている第三のプリズム30Bの台形平面部から間接照明され、第五のプリズム50Bの一対の直交面で直交反射した照明光は被検査物体60の背面Cを照光反射し、再び第五のプリズム50Bと第三のプリズム30Bを経由して観察平面部79の背面用観察面Cに背面Cの外観が投影されるようになっている。
なお、第一のプリズム10Bだけ斜面を用いて、第四のプリズム40Bは実施の形態1と同様に一方の直交面から直接照明しても良い。
このような構成配置であっても被検査物体60の背面を照光し、前面用開口面Aと隣接した位置に背面用観察面Cを確保することができることを示している。
第4配置例を示す図13において、プリズムの透明体81Bと電子カメラ70との間にはハーフミラー91Bが設けられ、光源93Bによる照明光はハーフミラー91Bを透過して透明体81Bの観察平面部79に直交入射し、被検査物体60の各検査面で反射逆行した光線はハーフミラー91Bで直交反射して電子カメラ70に入光するようになっている。
この第4配置例では、光源93Bが観察平面部79の全域に広がって広域照明を行う形態となっていて、電子カメラ70とハーフミラー91Bとは一体となって遠近移動用モータ71と平行移動用モータ72、73によって3軸方向に移動するようになっている。
この第5配置例では、光源94Bが観察平面部79の一部領域を照明する形態となっていて、電子カメラ70、ハーフミラー92Bおよび光源94Bとは一体となって、遠近移動用モータ71と平行移動用モータ72、73によって3軸方向に移動するようになっている。
また、電子カメラ70がテレセントリック光学系のものであれば対物距離の調整は不要であり、観察平面部79の全体領域が電子カメラ70の口径に比べて小さいものである場合には、電子カメラ70を平行移動する必要もない。
また、電子カメラ70を3軸方向に移動する場合であっても、電子カメラ70と観察平面部79との相対位置関係を調整すればよいのであって、3軸方向の一部又は全部を観察平面部79の移動によって代替することが可能である。
また、被検査物体60は撮像時点において収納凹部82、82Bの3面に接触していることが望ましく、プリズムの透明体81、81Bを搭載する治具83の回動軸も傾斜しているとしたが、実態としてはこの回動軸が水平であっても特に問題はない。
これを図12を参照して説明すると、被検査物体60が第二のプリズム20Bによる壁面に接触していない状態であっても、開口面からの前面画像Aまたは背面画像Cによって被検査物体60と第二のプリズム20Bの接触壁面までの隙間が測定できるので、この隙間寸法を演算算出することによってE面に対する電子カメラ70の撮像位置を確定することができる。
同様に図11の第三のプリズム30Bと第五のプリズム50Bの接合面も一体化することができ、プリズムの接合面を一体化すれば、接合面における光の乱反射が発生しなくなり、概観検査のためのノイズ発生を防止することができる。
従って、プリズムの外面の清掃作業を行うときに、収納凹部82Bの底面の清掃が行い易くなる。
従って、被検査物体60が比較的大きくても、観察面を移動して分割撮像することによって小型で安価な小口径の電子カメラ70を使用することができる。
なお、電子カメラ70とハーフミラー91Bまたはハーフミラー92Bとを連動動作させると、電子カメラ70に対する入光の光路長が観察面の変更に伴って変化しない。
従って、光源94Bの照明範囲を縮減して、小型・省エネルギーの光源を使用することができる。
Claims (16)
- 電子カメラで撮影された被検査物体の画像データと比較参照データとを対比して、当該被検査物体に外観上の特異性があるかどうかを判定するための画像処理装置を備えた多面外観検査装置であって、
前記被検査物体は透明体による5個の壁面で構成された収納凹部に投入されて、当該収納凹部の開口面を含む観察平面部は光源によって照明され、
前記透明体は前記観察平面部から入光した前記光源からの照明光を直交反射して、不透明体である前記被検査物体の上下左右の周面を照明する4個の斜面と、前記照明光を2度にわたって直交反射して前記被検査物体の背面を照明する対向斜面を備え、
前記光源による照明光は、不透明体である前記被検査物体の表面で反射逆行して、当該反射光が前記電子カメラによって撮像され、
前記収納凹部の底面寸法と深さ寸法は前記被検査物体の外のり寸法が最大である場合の背面寸法と高さ寸法に相当し、少なくとも前記被検査物体の複数面は前記収納凹部の内壁に接触するようにして投入され、
前記電子カメラは前記観察平面部に整列投影された前記被検査物体の複数面の外観を撮影し、前記画像処理装置によって被検査物体に外観上の特異性があるかどうかが判定されることを特徴とする多面外観検査装置。 - 前記観察平面部は前記収納凹部の開口面と隣接して背面画像を観察する背面用観察面が配置され、前記開口面と背面用観察面を挟んで上面画像を観察する上面用観察面と下面画像を観察する下面用観察面が配置され、
上記開口面の左右には左面画像を観察する左面用観察面と右面画像を観察する右面用観察面とが配置されている
ことを特徴とする請求項1に記載の多面外観検査装置。 - 前記透明体は一対の直交面と斜面を有する多角柱である複数本のプリズムを用い、当該プリズムを外枠板の内面に接着固定して一体化したものである
ことを特徴とする請求項1に記載の多面外観検査装置。 - 前記透明体は5個のプリズムを組み合わせて構成されていて、
前記5個のプリズムのそれぞれは一対の直交面と斜面とを備え、当該斜面又は直交面において光路方向を変換する多角柱である第一乃至第五のプリズムとなっており、
前記第一乃至第四のプリズムの一方の直交面又は斜面は、前記光源から直接照明され、他方の直交面又は前記斜面は前記収納凹部の上下左右の周壁面を構成する直接受光プリズムとなっていて、前記光源からの照明光は当該直接受光プリズムの斜面で反射して前記被検査物体の上下左右の周壁面を照光し、
前記第五のプリズムの一方の直交面又は斜面は、前記直接受光プリズムの一つに当接又は一体化され、他方の直交面又は前記斜面は前記収納凹部の底面の壁面を構成する間接受光プリズムとなっていて、前記光源からの照明光は前記直接受光プリズムと間接受光プリズムを介して前記被検査物体の背面を照光する
ことを特徴とする請求項3に記載の多面外観検査装置。 - 前記収納凹部の周壁の一部を構成する第一または第四のプリズムの少なくとも一方は、当該プリズムの斜面によって収納凹部の壁面を構成し、前記光源からの照明光は前記プリズムの斜面で外部反射して前記被検査物体の周面を照光する
ことを特徴とする請求項4に記載の多面外観検査装置。 - 前記観察平面部において整列投影される前記被検査物体の複数面の外観は、遠近移動用モータによって相対的に対物距離が調整される電子カメラによって順次撮影され、
前記対物距離は前記被検査物体自体の被検査面から前記電子カメラに至る光路長が、複数の被検査面に対して略等しくなる関係に少なくとも調整制御されている
ことを特徴とする請求項1に記載の多面外観検査装置。 - 前記光源による照明光は前記観察平面部に対して平行方向に照射され、光路に設けられたハーフミラーで直交反射して前記観察平面部に直交入射するようになっていて、前記被検査物体からの反射光は前記ハーフミラーを透過して前記電子カメラに入光するものであり、
前記電子カメラは1軸又は2軸の平行移動用モータによって前記観察平面部と平行する移動面上で相対的に平行移動し、被検査物体の各面に対応した複数の位置において撮像を行うことを特徴とする請求項1に記載の多面外観検査装置。 - 前記ハーフミラーと光源の内、少なくともハーフミラーは前記平行移動用モータによって前記電子カメラと連動して前記観察平面部に対して相対的に平行移動し、前記光源は前記観察平面部の一部領域を集中して照明することを特徴とする請求項7に記載の多面外観検査装置。
- 前記光源は前記電子カメラの周囲を包囲する環状光源であって、当該環状光源による照明光は前記観察平面部に対して略直交照射され、前記被検査物体からの反射光は前記環状の光源の中央部を通過して前記電子カメラに入光するものであり、
前記電子カメラと光源とは一体を成して、1軸又は2軸の平行移動用モータによって前記観察平面部と平行する移動面上で相対的に平行移動し、被検査物体の各面に対応した複数の位置において撮像を行うことを特徴とする請求項1に記載の多面外観検査装置。 - 前記光源による照明光は光路に設けられたハーフミラーを透過して前記観察平面部に対して直交照射され、前記被検査物体からの反射光は前記ハーフミラーで直交反射して前記電子カメラに入光するものであり、
前記ハーフミラーと前記電子カメラの内、少なくともハーフミラーは1軸または2軸の平行移動用モータによって前記観察平面部と平行する移動面上で相対的に平行移動し、前記電子カメラは被検査物体の各面に対応した複数の位置において撮像を行うことを特徴とする請求項1に記載の多面外観検査装置。 - 前記光源とハーフミラーは一体を成して、前記平行移動用モータによって前記観察平面部に対して相対的に平行移動し、前記光源は前記観察平面部の一部領域を集中して照明することを特徴とする請求項10に記載の多面外観検査装置。
- 前記電子カメラは光路が延長されるに伴って入光画像寸法が変化しないテレセントリック光学系の電子カメラが使用されていることを特徴とする請求項7、9または10に記載の多面外観検査装置。
- 前記透明体は回動駆動用モータによって第一から第四のステーションの位置に回動駆動され、
前記第一のステーションは被検査物体が収納凹部に投入される上方位置であり、
前記第二のステーションは電子カメラによる撮像が行われる傾斜位置であり、
前記第三のステーションは被検査物体が良品であった場合の良品落下取出位置であり、 前記第四のステーションは前記第一のステーションを挟んで前記第三のステーションの反対位置にあって、被検査物体が不良品であった場合の不良品落下排出位置である
ことを特徴とする請求項1に記載の多面外観検査装置。 - 前記透明体は更に、前記回動駆動用モータによって第五のステーションの位置に回動駆
動され、
前記第五のステーションは前記第一のステーションを挟んで前記第二のステーションの反対位置にあって、前記透明体の表面を清掃手入れするための位置である
ことを特徴とする請求項13に記載の多面外観検査装置。 - 前記画像処理装置は更に、被検査物体に関する比較参照データが格納されると共に、良否判定手段となる制御プログラムとモニタ画面を備えており、
前記比較参照データは標準となる被検査物体を撮影して得られる基準画像データであるか、又は標準となる被検査物体の基準寸法データであり、
前記良否判定手段は被検査物体を撮影して得られる画像データと前記基準画像データとを対比して画像の相違の有無を判別する画像比較手段であるか、又は被検査物体を撮影して得られる画像データから当該被検査物体の寸法を演算算出して、前記基準寸法データと対比して寸法の相違の有無を判別する寸法比較手段であるか、又は前記モニタ画面に対して前記被検査物体の撮影画像を表示し、前記基準画像データによる画像を並べて表示するか選択切換表示するモニタ表示手段であり、当該モニタ表示手段による被検査物体の良否の判定はオペレータの目視観察によって行われる
ことを特徴とする請求項1に記載の多面外観検査装置。 - 前記比較参照データは更に、前記被検査物体を投入していない状態の限界基準画像データ又はサンプル画像データを包含し、
前記良否判定手段は更に、被検査物体を除外して得られる画像データと前記限界基準画像データとを対比して前記透明体の汚損・損傷の有無を判別する画像比較手段であるか、又は前記モニタ画面に対して前記被検査物体を除外した撮影画像を表示し、前記限界基準画像データ又はサンプル画像データによる画像を並べて表示するか選択切換表示するモニタ表示手段を備え、当該モニタ表示手段による前記透明体の汚損・損傷の有無の判定はオペレータの目視観察によって行われる
ことを特徴とする請求項15に記載の多面外観検査装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008175899A JP4665014B2 (ja) | 2008-07-04 | 2008-07-04 | 多面外観検査装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008175899A JP4665014B2 (ja) | 2008-07-04 | 2008-07-04 | 多面外観検査装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2010014601A true JP2010014601A (ja) | 2010-01-21 |
| JP4665014B2 JP4665014B2 (ja) | 2011-04-06 |
Family
ID=41700841
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008175899A Expired - Fee Related JP4665014B2 (ja) | 2008-07-04 | 2008-07-04 | 多面外観検査装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4665014B2 (ja) |
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009134295A (ja) * | 2007-11-08 | 2009-06-18 | Yamada Kogaku Kogyo Kk | 姿の複数面を同時に見る方法 |
| WO2016125366A1 (ja) * | 2015-02-05 | 2016-08-11 | 株式会社リコー | 画像処理装置、画像処理システムおよび画像処理方法 |
| CN106647147A (zh) * | 2017-02-15 | 2017-05-10 | 苏州德创测控科技有限公司 | 一种非共面的图像采集装置 |
| CN107343124A (zh) * | 2017-08-08 | 2017-11-10 | 信利光电股份有限公司 | 一种摄像头及其马达底座 |
| CN108955547A (zh) * | 2018-06-29 | 2018-12-07 | 苏州富强科技有限公司 | 一种工件结构尺寸检测装置 |
| CN109444157A (zh) * | 2018-12-25 | 2019-03-08 | 苏州凡目视觉科技有限公司 | 一种划痕检测装置与方法 |
| CN109514218A (zh) * | 2018-12-07 | 2019-03-26 | 湖南牛顺科技有限公司 | 一种蜗杆装配检测装置 |
| CN110441307A (zh) * | 2019-09-11 | 2019-11-12 | 无锡市泰坦工业自动化设备有限公司 | 一种画像检测装置 |
| CN110806410A (zh) * | 2019-12-09 | 2020-02-18 | 泉州师范学院 | 对半导体晶粒天面与侧面同时进行检测的光学装置及方法 |
| CN111366541A (zh) * | 2020-04-15 | 2020-07-03 | 泉州师范学院 | 使用偏振分像法实现晶粒双面同时等光程共焦检测的装置及方法 |
| CN111435113A (zh) * | 2019-01-11 | 2020-07-21 | 贵州中烟工业有限责任公司 | 一种卷烟爆珠外观检测装置 |
| CN111435115A (zh) * | 2019-01-11 | 2020-07-21 | 贵州中烟工业有限责任公司 | 一种卷烟爆珠外观检测系统 |
| CN111595860A (zh) * | 2020-06-17 | 2020-08-28 | 泉州师范学院 | 半导体致冷器件晶粒相邻双面同时完全等光程共焦成像检测新装置及方法 |
| CN114199895A (zh) * | 2021-12-15 | 2022-03-18 | 珠海高纳智能科技有限公司 | 一种电感缺陷视觉检测方法 |
| CN116532388A (zh) * | 2023-06-02 | 2023-08-04 | 芯朋半导体科技(如东)有限公司 | 一种五面成像检测仪 |
| CN117907230A (zh) * | 2024-01-16 | 2024-04-19 | 复旦大学 | 基于多目立体及光度立体的物体表面视觉检测系统 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03165536A (ja) * | 1989-11-24 | 1991-07-17 | Nec Corp | コプラナリティ測定装置 |
| JPH0560538A (ja) * | 1991-06-24 | 1993-03-09 | Fuji Photo Optical Co Ltd | 光学測定機 |
| JPH06273339A (ja) * | 1993-03-19 | 1994-09-30 | N T T Data Tsushin Kk | 外観検査装置 |
| WO2005083399A1 (ja) * | 2004-02-27 | 2005-09-09 | Technical Co., Ltd | 多方向同時観察光学系、画像読み取り装置、画像読み取り方法および多方向同時観察光学系複合体 |
| JP2007010447A (ja) * | 2005-06-30 | 2007-01-18 | Technical:Kk | 寸法測定装置 |
| JP2007114180A (ja) * | 2006-05-29 | 2007-05-10 | Lion Engineering Co Ltd | 外観検査方法とその装置 |
| JP2008070272A (ja) * | 2006-09-14 | 2008-03-27 | Mitsutech Kk | 薄板検査装置 |
-
2008
- 2008-07-04 JP JP2008175899A patent/JP4665014B2/ja not_active Expired - Fee Related
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH03165536A (ja) * | 1989-11-24 | 1991-07-17 | Nec Corp | コプラナリティ測定装置 |
| JPH0560538A (ja) * | 1991-06-24 | 1993-03-09 | Fuji Photo Optical Co Ltd | 光学測定機 |
| JPH06273339A (ja) * | 1993-03-19 | 1994-09-30 | N T T Data Tsushin Kk | 外観検査装置 |
| WO2005083399A1 (ja) * | 2004-02-27 | 2005-09-09 | Technical Co., Ltd | 多方向同時観察光学系、画像読み取り装置、画像読み取り方法および多方向同時観察光学系複合体 |
| JP2007010447A (ja) * | 2005-06-30 | 2007-01-18 | Technical:Kk | 寸法測定装置 |
| JP2007114180A (ja) * | 2006-05-29 | 2007-05-10 | Lion Engineering Co Ltd | 外観検査方法とその装置 |
| JP2008070272A (ja) * | 2006-09-14 | 2008-03-27 | Mitsutech Kk | 薄板検査装置 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009134295A (ja) * | 2007-11-08 | 2009-06-18 | Yamada Kogaku Kogyo Kk | 姿の複数面を同時に見る方法 |
| US10638193B2 (en) | 2015-02-05 | 2020-04-28 | Ricoh Company, Ltd. | Image processing device, image processing system, and image processing method |
| WO2016125366A1 (ja) * | 2015-02-05 | 2016-08-11 | 株式会社リコー | 画像処理装置、画像処理システムおよび画像処理方法 |
| JPWO2016125366A1 (ja) * | 2015-02-05 | 2017-10-05 | 株式会社リコー | 画像処理装置、画像処理システムおよび画像処理方法 |
| CN106647147A (zh) * | 2017-02-15 | 2017-05-10 | 苏州德创测控科技有限公司 | 一种非共面的图像采集装置 |
| CN106647147B (zh) * | 2017-02-15 | 2022-05-17 | 苏州德创测控科技有限公司 | 一种非共面的图像采集装置 |
| CN107343124A (zh) * | 2017-08-08 | 2017-11-10 | 信利光电股份有限公司 | 一种摄像头及其马达底座 |
| CN107343124B (zh) * | 2017-08-08 | 2020-07-03 | 信利光电股份有限公司 | 一种摄像头 |
| CN108955547A (zh) * | 2018-06-29 | 2018-12-07 | 苏州富强科技有限公司 | 一种工件结构尺寸检测装置 |
| CN109514218A (zh) * | 2018-12-07 | 2019-03-26 | 湖南牛顺科技有限公司 | 一种蜗杆装配检测装置 |
| CN109514218B (zh) * | 2018-12-07 | 2024-03-15 | 湖南中伟智能制造有限公司 | 一种蜗杆装配检测装置 |
| CN109444157A (zh) * | 2018-12-25 | 2019-03-08 | 苏州凡目视觉科技有限公司 | 一种划痕检测装置与方法 |
| CN111435113A (zh) * | 2019-01-11 | 2020-07-21 | 贵州中烟工业有限责任公司 | 一种卷烟爆珠外观检测装置 |
| CN111435115A (zh) * | 2019-01-11 | 2020-07-21 | 贵州中烟工业有限责任公司 | 一种卷烟爆珠外观检测系统 |
| CN110441307A (zh) * | 2019-09-11 | 2019-11-12 | 无锡市泰坦工业自动化设备有限公司 | 一种画像检测装置 |
| CN110806410A (zh) * | 2019-12-09 | 2020-02-18 | 泉州师范学院 | 对半导体晶粒天面与侧面同时进行检测的光学装置及方法 |
| CN111366541A (zh) * | 2020-04-15 | 2020-07-03 | 泉州师范学院 | 使用偏振分像法实现晶粒双面同时等光程共焦检测的装置及方法 |
| CN111595860A (zh) * | 2020-06-17 | 2020-08-28 | 泉州师范学院 | 半导体致冷器件晶粒相邻双面同时完全等光程共焦成像检测新装置及方法 |
| CN114199895B (zh) * | 2021-12-15 | 2023-11-21 | 珠海高纳智能科技有限公司 | 一种电感缺陷视觉检测方法 |
| CN114199895A (zh) * | 2021-12-15 | 2022-03-18 | 珠海高纳智能科技有限公司 | 一种电感缺陷视觉检测方法 |
| CN116532388A (zh) * | 2023-06-02 | 2023-08-04 | 芯朋半导体科技(如东)有限公司 | 一种五面成像检测仪 |
| CN116532388B (zh) * | 2023-06-02 | 2023-11-14 | 芯朋半导体科技(如东)有限公司 | 一种五面成像检测仪 |
| CN117907230A (zh) * | 2024-01-16 | 2024-04-19 | 复旦大学 | 基于多目立体及光度立体的物体表面视觉检测系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4665014B2 (ja) | 2011-04-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4665014B2 (ja) | 多面外観検査装置 | |
| US11818471B2 (en) | Unscanned optical inspection system using a micro camera array | |
| US9910139B2 (en) | Methods and systems for LIDAR optics alignment | |
| JP4466669B2 (ja) | 外観検査装置 | |
| JP2008507702A (ja) | 大型基板フラットパネル検査システム | |
| US20140043602A1 (en) | Apparatus and method for inspecting an object | |
| JP2017223951A (ja) | 微細対象物観察装置 | |
| TW201712325A (zh) | 電子零件搬送裝置及電子零件檢查裝置 | |
| JPH11304721A (ja) | 外観検査装置 | |
| JP6124405B2 (ja) | ウェーハ収納カセットの検査装置及び検査方法 | |
| JP2001332611A (ja) | キャリア形状測定機 | |
| KR20220044741A (ko) | 웨이퍼 외관 검사 장치 및 방법 | |
| JP2006300913A (ja) | 導光板外観検査装置 | |
| JPH07151522A (ja) | 電子部品検査装置 | |
| JP5541646B2 (ja) | ライン照明装置 | |
| JP2018109550A (ja) | 電子部品搬送装置および電子部品検査装置 | |
| JPH11258170A (ja) | 化学繊維射出用口金孔内の残留物及び摩耗の自動検査装置 | |
| JP3501661B2 (ja) | 液晶表示パネルの検査方法および検査装置 | |
| KR20000031904A (ko) | 본딩 와이어 검사 방법 및 장치 | |
| JP2007049489A (ja) | 撮像装置 | |
| KR100801323B1 (ko) | 실리콘웨이퍼의 검사장비 | |
| JPH11271033A (ja) | 三次元形状物体撮像装置 | |
| TWI898377B (zh) | 微型投影裝置的檢測設備及檢測方法 | |
| CN221666867U (zh) | 一种相机模组、物体检测工作台和物体检测工作台线 | |
| JP4929504B2 (ja) | 観察装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20101214 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101216 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110107 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140114 Year of fee payment: 3 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |