JP2004028826A - Inspection device, signal processor, and program - Google Patents

Inspection device, signal processor, and program Download PDF

Info

Publication number
JP2004028826A
JP2004028826A JP2002186437A JP2002186437A JP2004028826A JP 2004028826 A JP2004028826 A JP 2004028826A JP 2002186437 A JP2002186437 A JP 2002186437A JP 2002186437 A JP2002186437 A JP 2002186437A JP 2004028826 A JP2004028826 A JP 2004028826A
Authority
JP
Japan
Prior art keywords
signal
signal processing
processing
inspection
operation instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002186437A
Other languages
Japanese (ja)
Other versions
JP4216007B2 (en
Inventor
Yoshitaka Yaginuma
柳沼 芳隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Nuclear Fuel Co Ltd
Original Assignee
Mitsubishi Nuclear Fuel Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Nuclear Fuel Co Ltd filed Critical Mitsubishi Nuclear Fuel Co Ltd
Priority to JP2002186437A priority Critical patent/JP4216007B2/en
Publication of JP2004028826A publication Critical patent/JP2004028826A/en
Application granted granted Critical
Publication of JP4216007B2 publication Critical patent/JP4216007B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To inspect with simple constitution an appearance or the like of an inspection object of which the appearance shape is complicated. <P>SOLUTION: Cameras 5a-5e serving as five signal generating devices image-pick up the complicated shape object as the inspection object. Video signals image-picked up by the respective cameras are processed by twenty as total of signal processing parts (image processors) 70 provided with five sets using the four as one set in each of the respective cameras. The signal processing parts 70 of n number in the each set are operated ring-likely, while indicated in order, by an operation indicating part 22 via a distributor 21. Five of processed result information obtained from the five signal processing parts 70 indicated therein are processed integrally by a result summarizing part 25 to output summarily processed result information as to the inspection object. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、複雑な外観を持つ検査対象物の検査等に用いて好適な検査装置、この検査装置における信号処理に用いて好適な信号処理装置及び各装置で用いられるプログラムに関するものである。
【0002】
【従来の技術】
従来、例えば複雑形状部品製造工程においては、部品の表面にキズ、汚れ、しみ、へこみ、つぶれ、へたりが生じたり、加工ミスや異種寸法部材混入等が生じることがある。このような種々の欠陥の有無を検査する方法として、複雑形状部品を検査時に一定方法で整列させてカメラで撮影し、画像処理によって予め登録しておいた画像と比較して検査する方法がある。
また、複雑形状部品の自動検査を総合的な検査仕様にすると処理時間がかかるため、人間の目視検査に頼る場合があった。
また、帯状体等の長尺物の検査は連続的にエンドレスに行うことを要求されるが、従来では、高速でエンドレスに使えるフェルター処理や閾値処理、又は繰り返しパターンの比較処理のような単純なロジックで欠陥検知を行っていた。
【0003】
【発明が解決しようとする課題】
しかしながら、上記画像処理による方法では、複雑形状部品を1個1個その向きを認識し、同じ向きに並べ替えて撮像しなければならず、その並べ替えに時間がかかり、高速で検査できないために効率が悪かった。
また、複雑形状部品の自動検査で総合的に検査しようとすると処理時間がかかるため人間の目視検査に頼らざるを得なかった。
また、長尺物の連続的なエンドレス検査の場合は、高速でエンドレスに使えるフェルター処理や閾値処理、又は繰り返しパターンの比較処理のような単純なロジックで欠陥処理を行うしかなかった。
【0004】
近年、画像デバイスの情報量と取り込み速度は上がってきており、検査の高速化は当然のこととして要求されてくる。また、検査の対象物は複雑化し、短期間で変わってくる。当然ながら情報抽出ロジックは難しくなり、複雑化して細かく詳しく解析することが不可欠となってくる。常に新しい要求が増え、新しい検査対象物への対応が短時間でできることが求められてくる。そして、これに対処するための専用プロセッサや専用高速検査装置開発の時間的余裕も採算性もなくなってきている。進歩のめざましいCPUの演算パワーで対処できる範囲も増してはいるが、それだけでは追いつかない要求が増しているのが現状である。
【0005】
本発明は、このような実状に鑑みてなされたものであり、1台の装置ではできない複雑な外観検査等を、検査信号等の複数の入力信号と複数の信号処理手段とをそのシステムの要求に合わせて組み合わせて処理することにより、有機的な判断と高速な処理を可能にすることにより、検査や測定に要求される仕様のものをフレキシブルに組み上げられ、その実体に合わせて小回りの利く処理能力を大幅に上げられる検査装置及び信号処理装置を提供することを目的としている。
【0006】
【課題を解決するための手段】
上記の目的を達成するために、本発明による検査装置は、検査対象物を検査し検査信号を発生するm個の信号発生デバイスと、各信号発生デバイスからの検査信号を処理するようになされ、各信号発生デバイス毎にn個を1組としてm組み設けられたm×n個の信号処理手段と、各組におけるn個の信号処理手段を1個ずつ順次環状的に指示して動作させる動作指示手段と、前記動作指示手段で指示されたm個の信号処理手段から得られるm個の処理結果情報を総合的に処理して当該検査対象についての総括結果情報を出力する総括手段とを設けたものである。
【0007】
また、本発明による信号処理装置は、m個の入力信号を処理するようになされ、各入力信号毎にn個を1組としてm組み設けられたm×n個の信号処理手段と、各組におけるn個の信号処理手段を1個ずつ順次環状的に指示して動作させる動作指示手段と、前記動作指示手段で指示されたm個の信号処理手段から得られるm個の処理結果情報を総合的に処理して総括結果情報を出力する総括手段とを設けたものである。
【0008】
また、本発明によるプログラムは、m個の入力信号の1個毎にn個を1組としてm組み設けられたm×n個の信号処理手段における各組の信号処理手段を1個ずつ環状的に動作指示する動作指示処理と、前記動作指示処理により指示されたm個の信号処理手段により各入力信号を処理する信号処理と、前記信号処理により得られるm個の処理結果情報を総合的に処理して総括結果情報を出力する総括処理とをコンピュータに実行させるためのものである。
【0009】
【作用】
従って、本発明によれば、各組のn個の信号処理手段を1個ずつ順次環状的に動作指示し、指示されたm個の信号処理手段によりm個の信号発生デバイス等から得られる検査信号等の入力信号を処理し、これにより得られるm個の処理結果情報を総合的に処理することにより、検査対象の合否判定結果等を含む総括結果情報を得ることができる。
【0010】
【発明の実施の形態】
以下、本発明の実施の形態を図面を参照して説明する。
図1は本発明の第1の実施の形態による外観検査装置の構成を示すブロック図である。
図1において、被検査物(検査対象物)としての例えば部品である複雑形状物1が製造されて、搬送ライン2上を所定間隔で例えば毎秒30個の速度で直線状に搬送されるようになされている。複雑形状物1は、図2に示すように底部は略円筒状をなし、その上に変形円のプレートを持ち、壁面が曲面になっており、その壁面に2個のへこみが形成されたものである。
【0011】
搬送ライン2上の検査位置Xの上方にカメラ5aが設置されると共に、検査位置Xの周囲上方に4台のカメラ5b,5c,5d,5eが設置されている。これらのカメラ5a,5b,5c,5d,5eは本発明による信号発生デバイスを構成するものであり、撮像して出力されるビデオ信号を検査信号とする。
【0012】
カメラ5a〜5eは2次元画像を得られるエリアカメラであり、上方のカメラ5aは複雑形状物1の上面や壁面斜面の2個のへこみの位置や外周部の溝の中を撮像でき、周囲のカメラ5b,5c,5d,5eは、検査位置Xにある複雑形状物1の周囲に互いに約90°間隔で配設されて、複雑形状物1の周面と上部を斜め上からそれぞれ撮影することで、全体で複雑形状物1の周面全周と上面を撮影できる。これらのカメラ5a〜5eは検査信号処理部3に接続されている。
【0013】
検査位置Xの上方には、ストロボ照明6が複雑形状物1と同軸上に配設されている。このストロボ照明6は、例えば撮像するカメラに対して複雑形状物1の表面でハレーションを起こさないように設定されている。各カメラは、高速で移動する複雑形状物1をストロボ照明6の短時間照射により停止させた状態で撮像するようになされている。また、検査位置Xに到達した複雑形状物1を検出するセンサA7が設けられている。さらに、検査位置Xの前方には搬送ライン2上の不合格とされた複雑形状物1を搬送ライン2から排除して搬送ライン9に移す不合格品選別部4と、その前に合否判定の終わった複雑形状物1を検出するセンサB8が設けられている。
【0014】
検査信号処理部3は、マルチ信号処理部69が接続された信号制御ユニット20からなる。各カメラ5a〜5eとストロボ照明6とセンサA7,センサB8は検査信号処理部3に接続されている。搬送ライン2上を搬送される複雑形状物1が検査位置Xに到達したことをセンサA7に検知されると、センサA7より検査信号処理部3に撮像トリガ信号37が入力され、後述するように図3の動作指示部22を通って、カメラ5a〜5eとストロボ照明6の動作トリガ信号31となり、それらが同期してストロボ発光と撮影を行う。
【0015】
各カメラで撮影された複雑形状物1の5つの全撮影画像が検査信号処理部3に入る。検査信号処理部3においては、全カメラからの画像情報を総括処理し、その複雑形状物1の合否判定を行う。判定結果に基づいてセンサB8が不合格品に該当する感知トリガ信号38を出力すると、これに合わせて不合格品選別部4の駆動トリガ信号33出力される。また検査信号処理部3からは総括結果情報61が出力される。
【0016】
図3は検査信号処理部3の構成を示すもので、信号制御ユニット20とマルチ信号処理部69の構成を示している。
図3において、信号制御ユニット20は、動作指示部22、5つの分配器21、設定・総括部23、結果動作出力部24からなる。設定・総括部23は、結果総括部25、条件設定部17、m×nマトリクス制限部28、情報出力部29からなる。
【0017】
マルチ信号処理部69には、信号発生デバイス5としてのm=5台のカメラ5a〜5eの1デバイス(1カメラ)当たりn=4個の信号処理部(ここでは画像処理装置が用いられている)70が設けられている。即ち、信号処理部70は、m個の信号発生デバイスからの検査信号(ビデオ信号)を処理するようになされ、各信号発生デバイス毎にn個を1組としてm組み(=m×n個)が設けられている。
従って、本実施の形態による検査信号処理部3は、1つの動作指示部22と1つの結果総括部段23に対して5つの分配器21からなる信号制御ユニット20に、5×4=20個の信号処理部(画像処理装置)70を接続した構成となっている。
【0018】
次に、上記構成による動作について説明する。
搬送ライン2上を搬送される被検査物である複雑形状物1が検査位置Xに到達するとセンサA7に検知され、センサA7から検査信号処理部3に撮像トリガ信号37が入力される。この撮像トリガ信号37は動作指示部22を通ってカメラ5a〜5eとストロボ照明6の動作トリガ信号31となり、それらが同期してストロボ発光と撮影を行う。これと同時に、動作指示部22からは、結果動作出力部24にトリガ信号17が出されると共に、分配器21と信号処理部70と結果総括部25に対して特定の部分を動作させるための動作指示信号12,15,16が出される。
【0019】
上記動作指示信号12は、1つのカメラ5からの検査信号としてのビデオ信号35を処理するために20台の信号処理部70における各組の一つをそれぞれ指示する。その指示された信号処理部70に対して分配器21を経てビデオ信号35が送られる。指示された信号処理部70はこのビデオ信号35を受信してその解析処理を行い、その処理結果情報13を結果総括部25に送る。
【0020】
これを例えば1台のカメラ5aの処理系について説明すると、動作トリガ信号31に基づいてカメラ5aで撮影された1番目の複雑形状物1の撮影画像Aは分配器21aを介して動作指示信号12aで指示された画像の信号処理部70aアに取り込まれる。2番目の複雑形状物1の撮影画像Aは分配器21aを介して動作指示信号12aで指示された画像の処理処理部70aイに取り込まれ、3番目の撮影画像Aは分配器21aを介して動作指示信号12aで指示された画像の信号処理部70aウに取り込まれる。同様にして4番目の撮影画像Aは信号処理部70aエに取り込まれる。そして、5番目の複雑形状物1の撮影では、動作指示信号12aがアに戻り、画像は動作指示信号12aで指示された信号処理部70aアに取り込まれる。同様に6番目の撮影では、画像は画像処理装置70aイに取り込まれる。このようにして各カメラについて4個の信号処理部70がア…エ…ア…と順次環状的に動作指示されることにより、複雑形状物1の検査が1個ずつ行われる。
【0021】
上記の動作が各カメラ毎に平行に実施され、これを終了まで繰り返す。信号処理部70aでは、予め検査位置Xに標準被検物として代表的な無欠陥の標準複雑形状物を配置して図1に示す位置で予め各カメラで撮影した各方向画像と、設計3次元CADからカメラ5aの光学系と複雑形状物1の検査物位置光学位置関係と光反射ファクタを割り出された撮像特性条件で撮影画像Aを解析処理し、複雑形状物1の異常部及び形状情報を割り出す。この割り出された異常部及び形状情報を処理結果情報13として結果総括部25に送る。
【0022】
また、同時に他のカメラ5b,5c,5d,5eで得られた撮影画像B,C,D,Eについても上記と同様に行われる。そして、各画像A,B,C,D、Eを画像処理する信号処理部70a,70b,70c,70d,70eから得られた5種類の各撮影画像A,B,C,D、E毎の異常部及び形状情報等の処理結果情報13を結果総括部25に送る。
【0023】
結果総括部25において、予め設定されたソフトコンピューテングソフトで5つのカメラ画像すべての処理結果情報13の評価が行われ、総合的に被検査物である複雑形状物1の合否が決定され、総合結果信号14を出力する。結果動作出力部24は、センサB8からの感知トリガ信号38と動作指示信号17を受けて、総合結果信号14が不合格時には当該検査物1の搬送タイミングに合わせて駆動トリガ信号33を出力する。この駆動トリガ信号33に応じて不合格品選別部4により搬送ライン2からの不合格品の排除が行われ、不合格品排出ライン9に乗り移り排出される。
【0024】
同時に予め設定されたソフトコンピューテングソフトで5つのカメラ画像すべての処理結果情報13の評価が行われ、総合的に被検物である複雑形状物1の総括情報61が得られ、情報出力部29で図示しない次の工程の管理システムに送られ、工程の製造機のパラメータ調整等に使われる。
尚、m×nマトリクス制限部28は、分配器21をマトリクス制限信号18で制御すると共に、結果総括部25をマトリクス制限信号19で制御する。
【0025】
図4は動作指示部22を含む信号制御ユニット20の構成を示すブロック図である。
動作指示部22に入力された前記撮像トリガ信号37は、アンプ53で整形されて、信号の動作を確実にするようにファンアウト(信号を伝達する能力及び伝達される側の影響をソース側の信号に影響を与えないようにする)を上げて、トリガ切替部52を経て、アンプ54とデマルチプレクサ55にトリガ信号32を送る。尚、トリガ切替部52では、外部からの撮像トリガ信号37を使わないで、トリガ条件をプログラムできる内部トリガ発生部51からの信号に切り替えることもできる。
【0026】
リセット時、リセット部59でデマルチプレクサ55が最初に戻り、最初のトリガ信号32が入ると、アンプ(ア)56アから処理指示信号12アと動作指示信号15アと動作指示信号16アが出力される。次のトリガ信号32でデマルチプレクサ55が1つ進み、アンプ(イ)56イから処理指示信号12イと動作指示信号15イと動作指示信号16イが出力される。次のトリガ信号32でデマルチプレクサ55がまた1つ進み、アンプ(ウ)56ウから処理指示信号12ウと動作指示信号15ウと動作指示信号16ウが出力される。同様に、次のトリガ信号32でアンプ(エ)56エから処理指示信号12エと動作指示信号15エと動作指示信号16エが出力される。
【0027】
次のトリガ信号32では、5×4の信号制御と制限したため、デマルチプレクサ55が最初に戻り、アンプ(ア)56アから処理指示信号12アと動作指示信号15アと動作指示信号16アが出力する。各アンプ56は同時に動作させるカメラ5a,5b,5c,5d,5eからのラインの各処理指示信号12アと動作指示信号15アと動作指示信号16アがそれぞれa,b,c,d,eの各5出力となる。
【0028】
動作指示信号12アは撮像指示の動作トリガ信号31と同時に図3の信号処理部70aア、70bア、70cア、70dア、70eアに出力される。この動作指示信号12アを受けた信号処理部70aアは、カメラ5aの画像のビデオ信号35aを分配器21a経由で送られてくるビデオ信号11aアを受信して画像処理する。
【0029】
トリガ信号32はデマルチプレクサ55に入力されると同時に、アンプ54を通って、カメラ5a〜5eとストロボ照明6の動作トリガ信号31となり、それらが同期してストロボ発光と撮影を行う。同時に、結果動作出力部24にトリガ信号17が出力される。これと平行して動作指示部22から分配器21と信号処理部70と結果総括部25に特定の部分を動作させるための動作指示信号12,15,16が出力される。
【0030】
この動作指示信号12は、1つの信号発生デバイス(カメラ)5のビデオ信号35を処理する20台の信号処理部70のうちの一つを指示する。その指示された信号処理部70へ分配器21を経てビデオ信号35が送られる。指示された信号処理部70はこのビデオ信号を受信して、その特徴解析を行い、その処理結果情報13を結果総括部25に送る。
【0031】
次に、本実施の形態による外観検査装置の動作について図5に示すフローチャートを参照して説明する。
・(準備)(ステップS101)
[マトリクスm×n設定]
搬送ライン2上を所定間隔で送られてくる複雑形状物1について外観の合否を検査処理部3で順次検査する。例えば、最小タクト30ミリ秒で撮像は5台のカメラで撮像を行い、各カメラで撮像した画像の解析に最大100ミリ秒の時間を要する。この場合、最小タクトを満たすためには画像の解析に最大100ミリ秒の時間はタクトの4倍未満となる。これを確保するために1台のカメラについて画像解析を行う信号処理部を4個の用意し、画像を1枚ずつ順番にリング状に処理をして、5番目の解析処理を要求されるまでに結果を出していくことによって処理が可能となる。
【0032】
また、この5台のカメラの画像の解析結果を総括して、その被検査物の検査物の合否判定でき、不合格品はその搬送に合わせて排出する。従って、マトリクス5×5の制御ユニットのうち5×4を使うことにより、この検査処理能力が可能となる。このために、5台のカメラとカメラ1台当たり4個の画像処理装置(信号処理部70)合計20台を信号制御ユニット20に接続し、システム化することにより、上記の必要な能力を持たせた外観検査装置を構築できる。
【0033】
信号制御ユニット20は5×5の範囲内で設定可能としてあるので、m×nマトリクス制限器28により分配器21を増やし、ソフトコンピューテングソフトの入力マトリックスを変えることにより、信号の接続を変え、分配器21の能力を増し、動作指示部22のデマルチプレクサ55の容量とアンプ56の個数を増やすことで、1×20まで拡張可能である。現実的には、5×5を8×8位まで拡張性を持たせることができる。
【0034】
[信号処理部70の処理プログラムと処理条件を設定]
送られてくるビデオ信号11の画像を解析処理して特徴情報、異常部等の抽出するための解析プログラムと、予め割り出されている検査条件データの指定又は配信を行い、信号処理部70の処理プログラムと条件を確定する。時系列のア〜エ系の設定は同じものを使い、a〜eのデバイス系列はその画像に応じた設定をする。本実施の形態におけるb〜eはカメラや照明のばらつきの特性差以外は同じ設定となる。
【0035】
[結果総括部25の処理モードと処理ファクタを設定]
結果総括部25には、ファジー評価、人工知能、ニューラルネットワークを総合したソフトコンピューテングエンジンソフトが積まれ、信号処理部70からの各デバイス(カメラ)5の信号11の処理結果情報13が通信で得られた情報を総括する。これらのm×nの情報入力マトリックスと入力情報内容と、合否判定に使う判定処理ファクタと結果情報を総括結果情報に処理する情報総括ファクタを設定する。また、個別の総括情報抽出と総括結果情報のトレンドと特異データを割り出し、送り出す条件設定も行われる。
【0036】
[検査開始のためのリセット]
デマルチプレクサ55をリセットし、信号処理部70と結果総括部25を検査受け入れ可能とする。
・(検査)
検査準備ができたら、センサA7の検知トリガ信号37を待つ。複雑形状物1が検査位置Xに至るとセンサA7で検知され(ステップS102、以下ステップ略)、動作指示部22に撮像のためのトリガ信号37が入力され、カメラ5とストロボ照明6に動作トリガ信号31を送る(S103)。デマルチプレクサ55をリング状にエンドレスでカウントアップし、信号処理部70における当該画像処理装置に動作指示信号12を送る(S121)。ストロボ照明6と各カメラ5a〜5eは動作指示部22から動作トリガ信号31を受け、同期してストロボ照明6が発光すると同時にカメラ5a〜5eで検査位置Xにある複雑形状物1が搬送状態下でぶれていない停止画像として撮影される(S104)。そして、カメラ5aで複雑形状物1の上面から、各カメラ5b,5c,5d,5eによって複雑形状物1の各画像が重複する状態で裏面以外の全周を撮影できる。
【0037】
カメラ5で撮像された5枚の画像を各カメラ毎にビデオ信号35で転送される(S105)。センサA7で次の検査物1の感知を待ち(S106)、感知したら検査を繰り返す。検査終了指示が入ったら終了する。ビデオ信号35は当該分配器21で分配し、動作指示信号12を受け取り指名されている信号処理部70にビデオ信号11を送る(S122)。指名された信号処理部70はこのビデオ信号11を受け取る(グラブする)(S123)。信号処理部70a,70b,70c,70d,70eによって、それぞれ次に指名されてグラブが終わる前に、それぞれの撮像面の画像信号解析(S124)を終わらせ、この結果を処理結果情報13として結果総括部25に送る。
【0038】
動作指示部22から動作指示信号16を受けた結果総括部25は、各カメラに該当する信号処理部70からの処理結果情報13を全部受け取り、総括して合否判定を行い(S132)、この結果を総合結果信号14として、結果動作出力部24に送る(S125)。結果動作出力部24は、センサB8からの感知トリガ信号38と動作指示信号17を受けて、当該検査物1が不合格時には当該検査物1の搬送タイミングに合わせて駆動トリガ信号33を出力する。不合格品選別部4は駆動トリガ信号33により駆動され、不合格に判定された検査物1を排除する(ステップ133)。
【0039】
結果総括部25は、各カメラに該当する同時期の信号処理部70からの処理結果情報13をソフトコンピューテングソフトで総括して、合否判定(S132)と総括結果情報抽出(S135)を行う。総括結果情報抽出(S135)は、予め設定されたソフトコンピューテングソフトで全カメラからの全画像の処理結果情報13の評価が行われ、総合的に被検物である複雑形状物1の総括結果情報61を得て、情報出力部29により図示しない工程の管理システムに送られ、工程の製造機のパラメータ調整等に使われる。総括情報61は個別の総括情報と個別の総括情報のトレンドと不合格要因を含む特徴特異データも含む。
【0040】
このようにして、搬送ライン2を順次高速搬送される複雑形状物1について信号制御ユニット20に必要数の信号処理部70をつないだ検査信号処理部3によって、例えば1秒間に30個の被検物である複雑形状物1の合否判定し、選別できる外観検査を行うことができる。信号処理部70を各1個追加すれば、1秒間に37個の外観検査装置に拡張できる。
【0041】
上述のように本実施の形態によれば、信号制御ユニット20を使うことにより1台の信号処理部70の数倍の処理能力を確保でき、複数のデバイスからの情報を総括的に判断して合否処理できる。併せて、それら総括結果情報を出力することにより、製造ラインの状態把握、及び高速フィードバック型自動工程自己調整機能の情報発信システムとすることができる。
【0042】
また、前記信号制御ユニットに各デバイスのm個の処理結果情報をソフトコンピューテングソフトで総括する結果総括部を設け、この個別の総括結果情報抽出と総括結果情報のトレンドと特異データを割り出し、送り出すようにしたので、被検査物の複数のデバイスによる総括解析結果とそのトレンドや特異情報を上位コントロールする情報として使え、工程の高速フィードバックデータとなり、安定した製品製造コントロールと異常対処を可能にする情報発信部とすることができる。
【0043】
また、本実施の形態によれば、1つのカメラの信号を複数の処理系に順に渡して処理を行い、それら処理系からそれぞれ結果を返すことによって高速化を図ることができる。また、立体的ものを検査するために、複数のカメラとそれらを複数の処理系で分配して処理を行い、それらを統合して高速に結果を出して選別する検査装置を実現することができる。
【0044】
また、高速高解像度の装置を小回りが利くソフトで処理する複数の処理装置を、有機的に制御し、信号を分配して割り付けてトータル的に高解像度高速な処理システムを作る信号制御を持ち得ることにより、小回りがきく高処理能力を確保することができる。
また、並列で指示信号を出す系と直列で結果を受け入れ総合結果を出すマトリックス信号制御を実現することができ、さらに、このマトリックス構成とタイミングは外部から設定、又は制御することができる。
【0045】
また、この信号制御ユニットにトリガセンサとトリガによって動作する照明と複数のカメラをつけ、画像処理装置(または画像グラブ解析ボード)を複数枚つなぐことにより、1個の信号処理手段ではできない複雑な形状を有する検査対象物等の外観検査等を、複数の信号発生デバイスと複数の信号処理手段をそのシステムの要求に合わせて組み合わせ、制御することにより、有機的な判断と高速な処理を可能にできるようにした検査装置を実現することができる。
また、総括情報出力系に複数のドライバー経由のアクチュエータを使うことにより、自動機器に拡張ができる。
【0046】
このように、本実施の形態によるm×nの信号制御ユニットは、安価なバッチ処理の情報グラブボードとCPUとを複数組み込むことで、検査や測定に要求される仕様のものをフレキシブルに組み上げることができ、その実体に合わせて小回りの利く処理能力を大幅に上げられる装置を提供することができる。
【0047】
また動作においては、制御系は画像等を空いている処理装置に取り込む様、各指示信号を出すことができる。また、指示信号を受けた処理装置は、タイミングを同期して画像等の対象データを取り込み、処理して結果を出力することができる。
また、1つの対象物に対する1つまたは複数の全処理結果を収集して、総合的に選別の結論を(ファジーなどの回路で)出し、現物に同期して選別制御信号を出力することができる。
【0048】
以上は製造ラインでの検査や計測にターゲットを絞って述べたが、この信号制御ユニット20は、交通監視、エンジン特性試験、自動運転、ロボットなど、センサフェードバック自動化装置の新しい有り様を作り出すものとなる。
【0049】
尚、本実施の形態では、被検物を複雑形状物1にしたが、複雑形状物に限定されることなく、その他の表面カラー模様のある物体等の処理に負荷がかかる表面高速欠陥検査もできるシステムも容易に構築することができる。
また、信号発生デバイス5がカメラである必要はなく、例えば、マイクや超音波センサ等各種のセンサを複数用いた検査システムも容易に構成することができる。
【0050】
その場合の本発明の第2の実施の形態として、図6に多種類の信号発生デバイスを4個有し、各3つの信号処理部を内蔵した信号制御を使った計測処理装置の概略構成を示す。
図6において、信号処理部を内蔵できる5×5まで可能な信号制御ユニット20を使い、信号発生デバイス5としてエリアカメラと変位センサと過電流センサと超音波センサを各1合計4台を付け、1デバイス当たり3つの信号処理部70を内蔵した計測処理装置とする。
【0051】
従って、本実施の形態による信号処理手段内蔵型計測処理装置は、動作指示部22と結果総括部23各1に分配器22が(拡張用1個含め)5個がある信号制御ユニット20に内蔵型信号処理部70を各3台(計12台)組入れた構成となる。
デバイスやセンサ等の配置は、検査物と要求されるラインの仕様で変わる。分配器21は、信号の帯域などの問題がなければ同じで、帯域特性等その信号に合ったものが必要なら交換する。信号処理部として内蔵型でCPU、及びRAMを搭載した1ボード型の組込信号処理部71を必要枚数組み込む。その他は、前例に準じて各条件をセットし、初期状態に戻してスタートさせれば、4×3の自動計測処理が可能となる。
【0052】
また、この装置の構成を少し変えることにより、バッチ型装置からエンドレス検査装置になる。
例えば図6のエリアカメラをエンドレスビデオ信号を出すラインセンサに置き換える。動作指示部22の内部トリガ発生に切り替え、組込信号処理部71の動作指示信号12の終わりの部分を次の動作指示信号12の始めの部分とオーバーラップさせる機能も使えるデマルチプレクサ55(図4参照)を使い、次の動作指示信号12にオーバーラップを持たせる。
【0053】
1ボード型の組込信号処理部71は動作指示信号12が入っている間信号取り込みを続け、動作指示信号12が切れたら信号解析を始めるモードを使う。これにより、信号処理部71はオーバーラップを確保した信号処理ができる。これを環状的に繰り返すことにより、連続的な抜けのないエンドレス検査装置を容易に構築できる。
【0054】
4台のセンサを使うシート状製品や長尺物をライン上に流して連続的に検査するエンドレス検査装置であれば、12ミリ秒の取得データを2ミリ秒オーバーラップして採る。このとき、デバイス当たり3枚の信号処理部71を設定すると、その該当信号処理部71が26ミリ秒で解析を済ませて処理結果情報13を発信を終えれば良い自動エンドレス装置を構成することができる。
【0055】
次に、本発明の実施の形態によるプログラムについて説明する。
前述した第1、第2の実施の形態による検査装置(計測処理装置を含む)をコンピュータシステムで構成する場合、図3、図6に示す各装置による図5のフローチャートを含む前述した処理を各コンピュータのCPUが実行するためのプログラムは、それぞれ本発明によるプログラムを構成する。また、このプログラムを記録する記録媒体は、本発明による記録媒体を構成する。
【0056】
この記録媒体としては、光磁気ディスク、光ディスク、半導体メモリ、磁気記録媒体等を用いることができ、これらをROM、RAM、CD−ROM、フレキシブルディスク、メモリカード等に構成して用いてよい。またこの記録媒体は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部のRAM等の揮発性メモリのように一定時間プログラムを保持するものも含まれる。
【0057】
また上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから伝送媒体を介して、あるいは伝送媒体中の伝送波により他のコンピュータシステムに伝送されるものであってもよい。上記伝送媒体とは、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体をいうものとする。
【0058】
また、上記プログラムは、前述した機能の一部を実現するためであってもよい。さらに、前述した機能をコンピュータシステムに既に記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
【0059】
従って、この記録媒体を図3、図6のシステム又は装置とは異なるシステム又は装置において用い、そのシステム又は装置のコンピュータがこの記録媒体に格納されたプログラムを実行することによっても、各実施の形態で説明した機能及び効果と同等の機能及び効果を得ることができ、本発明の目的を達成することができる。
【0060】
【発明の効果】
以上説明したように本発明によれば、1個の信号処理手段ではできない複雑な形状を有する検査対象物の外観検査等の信号処理を行う場合に、信号発生デバイスの使用個数(入力信号数)と信号処理手段の使用個数とを、その検査内容や処理内容等に応じて適宜に組み合わせ、それらを制御し評価する信号制御ユニットを導入することにより、必要最小限の処理で効率的で高速な処理を実現することができる。また、様々なシステム構築が容易に実現できると共に、安価で小回りの利くシステムを実現することができる。
また、信号処理手段に対する動作指示信号をオーバラップさせることにより、長尺物等を連続的に検査するエンドレス検査装置を容易に実現することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施の形態による複雑形状物の外観検査装置の構成を示す上面図及び正面図である。
【図2】複雑形状物の例を示す上面図及び正面図である。
【図3】本発明の第1の実施の形態による外観検査装置の構成を示すブロック図である。
【図4】信号制御ユニットの構成を示すブロック図である。
【図5】本発明の第1の実施の形態による外観検査装置の動作を示すフローチャートである。
【図6】本発明の第2の実施の形態による多種類の信号発生デバイスを4個つけた信号処理手段も併せ持つ信号制御を使った計測処理装置の構成を示すブロック図である。
【符号の説明】
1 複雑形状物
2 搬送ライン
3 検査処理部
5 カメラ(信号発生デバイス)
11 ビデオ信号
12,15,16 動作指示信号
13 処理結果情報
14 総合結果信号
20 信号制御ユニット
22 動作指示部
23 設定・総括部
24 結果動作出力部
25 結果総括部
28 マトリクス制限部
29 情報出力手段
35 ビデオ信号
69 マルチ信号処理部
70 信号処理部(画像処理装置)
71 組込信号処理部
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an inspection apparatus suitable for inspection of an inspection object having a complicated appearance, a signal processing apparatus suitable for signal processing in the inspection apparatus, and a program used in each apparatus.
[0002]
[Prior art]
2. Description of the Related Art Conventionally, for example, in a process of manufacturing a component having a complicated shape, a surface of the component may be flawed, stained, stained, dented, crushed, sagged, processed in error, mixed with different-sized members, and the like. As a method of inspecting for the presence or absence of such various defects, there is a method of aligning a complicated-shaped part by a certain method at the time of inspection, photographing with a camera, and comparing the image with a previously registered image by image processing. .
In addition, if the automatic inspection of a complex-shaped part is made to have a comprehensive inspection specification, it takes a long processing time, and thus, it may be necessary to rely on a human visual inspection.
In addition, inspection of long objects such as strips is required to be performed continuously and endlessly. Conventionally, simple inspections such as felter processing, threshold processing, and comparison processing of repetitive patterns that can be used at high speed and endlessly are required. The defect was detected by logic.
[0003]
[Problems to be solved by the invention]
However, in the method based on the image processing described above, it is necessary to recognize the direction of each of the complicated-shaped parts one by one, rearrange them in the same direction, and take an image. It was inefficient.
In addition, if comprehensive inspection is performed by the automatic inspection of a complex-shaped component, it takes a long time to perform the inspection, so that a human visual inspection must be used.
Further, in the case of continuous endless inspection of a long object, there has been no other choice but to perform defect processing by simple logic such as felter processing and threshold processing which can be used at high speed and endless, or comparison processing of repeated patterns.
[0004]
In recent years, the amount of information and the capturing speed of an image device have been increasing, and a higher speed of inspection is naturally required. In addition, the inspection target becomes complicated and changes in a short period of time. Naturally, the information extraction logic becomes difficult, and it becomes indispensable to perform complicated and detailed analysis in detail. New demands are constantly increasing, and there is a need to be able to respond to new inspection objects in a short time. In order to deal with this, there is no longer enough time or profitability to develop a dedicated processor or a dedicated high-speed inspection device. Although the range that can be dealt with by the computational power of the CPU, which is making remarkable progress, has been increasing, the demand that cannot be met by itself alone is increasing at present.
[0005]
The present invention has been made in view of such a situation, and requires a complex appearance inspection or the like that cannot be performed by a single device, and requires a plurality of input signals such as inspection signals and a plurality of signal processing means to meet the requirements of the system. By combining and processing according to the specifications, it enables organic judgment and high-speed processing, so that the specifications required for inspection and measurement can be flexibly assembled, and the processing can be done in a small turn according to the entity It is an object of the present invention to provide an inspection device and a signal processing device capable of greatly increasing the capability.
[0006]
[Means for Solving the Problems]
In order to achieve the above object, an inspection apparatus according to the present invention is configured to process an inspection signal from m signal generation devices that inspect an inspection target and generate an inspection signal, and an inspection signal from each signal generation device. M × n pieces of signal processing means provided with m sets of n pieces for each signal generation device, and an operation of sequentially instructing and operating the n pieces of signal processing means in each set one by one Instructing means, and generalizing means for comprehensively processing m pieces of processing result information obtained from the m pieces of signal processing means instructed by the operation instructing means and outputting generalized result information on the inspection object are provided. It is a thing.
[0007]
Further, the signal processing apparatus according to the present invention is configured to process m input signals, and to provide m × n signal processing means provided with m sets of n signals for each input signal, The operation instructing means for sequentially instructing and operating the n signal processing means in order one by one, and the m processing result information obtained from the m signal processing means specified by the operation instructing means. And a generalization means for performing general processing and outputting generalization result information.
[0008]
Also, the program according to the present invention may be configured such that each set of m × n pieces of signal processing means provided in m sets of n sets of n input signals is one for each of m input signals. Operation processing for instructing each operation signal, signal processing for processing each input signal by the m signal processing means specified by the operation instruction processing, and m processing result information obtained by the signal processing. This is for causing a computer to execute a general process of processing and outputting general result information.
[0009]
[Action]
Therefore, according to the present invention, each set of n signal processing means is sequentially and cyclically instructed one by one, and the inspections obtained from the m signal generating devices and the like by the indicated m signal processing means. By processing input signals such as signals and comprehensively processing the m pieces of processing result information obtained thereby, it is possible to obtain general result information including the results of pass / fail determination of the inspection target.
[0010]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a block diagram showing a configuration of a visual inspection device according to a first embodiment of the present invention.
In FIG. 1, a complex-shaped object 1, for example, a part as an inspection object (inspection object) is manufactured, and is conveyed on a conveyance line 2 at a predetermined interval at a speed of, for example, 30 pieces per second in a straight line. Has been done. As shown in FIG. 2, the complex-shaped object 1 has a substantially cylindrical bottom, a deformed circular plate on the bottom, a curved wall surface, and two dents formed on the wall surface. It is.
[0011]
A camera 5a is installed above the inspection position X on the transport line 2, and four cameras 5b, 5c, 5d, 5e are installed above the periphery of the inspection position X. These cameras 5a, 5b, 5c, 5d, 5e constitute a signal generating device according to the present invention, and a video signal which is imaged and output is used as an inspection signal.
[0012]
The cameras 5a to 5e are area cameras capable of obtaining a two-dimensional image, and the upper camera 5a can capture the positions of two dents on the upper surface or the slope of the wall surface of the complex-shaped object 1 and the inside of the groove at the outer peripheral portion, and can capture images of the surroundings. The cameras 5b, 5c, 5d and 5e are arranged around the complex shape object 1 at the inspection position X at an interval of about 90 ° from each other, and photograph the peripheral surface and the upper portion of the complex shape object 1 obliquely from above. Thus, the entire peripheral surface and upper surface of the complex-shaped object 1 can be photographed as a whole. These cameras 5a to 5e are connected to the inspection signal processing unit 3.
[0013]
Above the inspection position X, a strobe light 6 is arranged coaxially with the complex-shaped object 1. The strobe light 6 is set so as not to cause halation on the surface of the complex-shaped object 1 with respect to, for example, a camera for imaging. Each camera captures an image of the complex-shaped object 1 moving at a high speed in a state where the object 1 is stopped by short-time irradiation of the strobe light 6. Further, a sensor A7 for detecting the complex-shaped object 1 that has reached the inspection position X is provided. Further, in front of the inspection position X, a rejected product selection unit 4 that removes the rejected complex-shaped object 1 on the transport line 2 from the transport line 2 and transfers it to the transport line 9, and a pass / fail determination before that. A sensor B8 for detecting the finished complex shaped object 1 is provided.
[0014]
The inspection signal processing unit 3 includes the signal control unit 20 to which the multi-signal processing unit 69 is connected. The cameras 5a to 5e, the strobe light 6, the sensors A7 and B8 are connected to the inspection signal processing unit 3. When the sensor A7 detects that the complex-shaped object 1 conveyed on the conveyance line 2 has reached the inspection position X, an imaging trigger signal 37 is input from the sensor A7 to the inspection signal processing unit 3, and as described later. An operation trigger signal 31 for the cameras 5a to 5e and the strobe lighting 6 is transmitted through the operation instructing unit 22 in FIG.
[0015]
All five captured images of the complex-shaped object 1 captured by each camera enter the inspection signal processing unit 3. In the inspection signal processing section 3, image information from all cameras is comprehensively processed, and a pass / fail judgment of the complex shaped object 1 is performed. When the sensor B8 outputs the sensing trigger signal 38 corresponding to the rejected product based on the determination result, the driving trigger signal 33 of the rejected product selection unit 4 is output in accordance with the output. The inspection signal processing section 3 outputs general result information 61.
[0016]
FIG. 3 shows the configuration of the test signal processing unit 3, and shows the configurations of the signal control unit 20 and the multi-signal processing unit 69.
3, the signal control unit 20 includes an operation instruction unit 22, five distributors 21, a setting / generating unit 23, and a result operation output unit 24. The setting / summarizing unit 23 includes a result summarizing unit 25, a condition setting unit 17, an mxn matrix limiting unit 28, and an information output unit 29.
[0017]
In the multi-signal processing unit 69, n = 4 signal processing units (here, image processing devices) are used for one device (one camera) of m = 5 cameras 5a to 5e as the signal generation device 5. ) 70 are provided. That is, the signal processing unit 70 processes the inspection signals (video signals) from the m signal generating devices, and sets m (= m × n) with n as one set for each signal generating device. Is provided.
Therefore, the test signal processing unit 3 according to the present embodiment has 5 × 4 = 20 signal control units 20 including five distributors 21 for one operation instruction unit 22 and one result generalization unit stage 23. Is connected to the signal processing unit (image processing device) 70.
[0018]
Next, the operation of the above configuration will be described.
When the complex object 1 to be inspected, which is transported on the transport line 2, reaches the inspection position X, the sensor A7 detects it, and the imaging trigger signal 37 is input from the sensor A7 to the inspection signal processing unit 3. The imaging trigger signal 37 passes through the operation instructing section 22 to become the operation trigger signals 31 of the cameras 5a to 5e and the strobe lighting 6, and they perform strobe light emission and photographing in synchronization. At the same time, the operation instruction unit 22 outputs a trigger signal 17 to the result operation output unit 24 and operates the distributor 21, the signal processing unit 70, and the result generalization unit 25 to operate a specific part. Instruction signals 12, 15, 16 are issued.
[0019]
The operation instruction signal 12 instructs one of each set in the twenty signal processing units 70 to process the video signal 35 as an inspection signal from one camera 5. The video signal 35 is sent to the designated signal processing unit 70 via the distributor 21. The instructed signal processing unit 70 receives the video signal 35, performs an analysis process on the video signal 35, and sends the processing result information 13 to the result generalization unit 25.
[0020]
This will be described with respect to the processing system of one camera 5a, for example. A captured image A of the first complex-shaped object 1 captured by the camera 5a based on the operation trigger signal 31 is transmitted via the distributor 21a to the operation instruction signal 12a. Is taken into the signal processing unit 70a of the image designated by the above. The second captured image A of the complex-shaped object 1 is taken into the image processing unit 70a designated by the operation instruction signal 12a via the distributor 21a, and the third captured image A is supplied via the distributor 21a. The image specified by the operation instruction signal 12a is captured by the signal processing unit 70a. Similarly, the fourth captured image A is captured by the signal processing unit 70a. Then, in photographing the fifth complex-shaped object 1, the operation instruction signal 12a returns to step A, and the image is taken into the signal processing unit 70a designated by the operation instruction signal 12a. Similarly, in the sixth shooting, the image is taken into the image processing device 70a. In this way, the four signal processing units 70 are sequentially instructed to operate in a circular manner in order of A, D, A, and so on, so that inspection of the complex-shaped object 1 is performed one by one.
[0021]
The above operation is performed in parallel for each camera, and this is repeated until the end. The signal processing unit 70a previously arranges a typical defect-free standard complex shape object as a standard test object at the inspection position X, and preliminarily captures images of each direction at the position shown in FIG. The captured image A is analyzed and processed from the CAD under the imaging characteristic conditions in which the optical system of the camera 5a and the inspection object position of the complicated shape object 1 and the light reflection factor are determined from the CAD, and the abnormal portion and the shape information of the complicated shape object 1 Find out. The determined abnormal part and shape information are sent to the result generalization part 25 as the processing result information 13.
[0022]
At the same time, images B, C, D, and E obtained by the other cameras 5b, 5c, 5d, and 5e are similarly processed. The five types of captured images A, B, C, D, and E obtained from the signal processing units 70a, 70b, 70c, 70d, and 70e that perform image processing on the images A, B, C, D, and E, respectively. The processing result information 13 such as the abnormal part and the shape information is sent to the result generalization part 25.
[0023]
In the result summarizing unit 25, the processing result information 13 of all five camera images is evaluated by the preset soft computing software, and the pass / fail of the complex shape object 1 as the object to be inspected is determined comprehensively. The result signal 14 is output. The result operation output unit 24 receives the sensing trigger signal 38 and the operation instruction signal 17 from the sensor B8, and outputs the drive trigger signal 33 in accordance with the transport timing of the inspection object 1 when the total result signal 14 fails. In response to the drive trigger signal 33, the rejected product selection unit 4 removes rejected products from the transport line 2 and transfers to the rejected product discharge line 9 to be discharged.
[0024]
At the same time, the processing result information 13 of all five camera images is evaluated by the preset soft computing software, and comprehensive information 61 of the complex shape object 1 as the test object is obtained comprehensively. Is sent to a management system for the next process (not shown), and is used for adjusting parameters of a manufacturing machine in the process.
The mxn matrix limiting unit 28 controls the distributor 21 with the matrix limiting signal 18 and controls the result generalizing unit 25 with the matrix limiting signal 19.
[0025]
FIG. 4 is a block diagram showing a configuration of the signal control unit 20 including the operation instruction unit 22.
The imaging trigger signal 37 input to the operation instructing unit 22 is shaped by an amplifier 53 and fan-out (signal transmission capability and influence of a signal transmission side on a source side) so as to ensure the operation of the signal. Then, the trigger signal 32 is sent to the amplifier 54 and the demultiplexer 55 via the trigger switching unit 52. Note that the trigger switching unit 52 can also switch to a signal from the internal trigger generation unit 51 that can program trigger conditions without using an external imaging trigger signal 37.
[0026]
At the time of reset, the demultiplexer 55 returns to the beginning by the reset unit 59, and when the first trigger signal 32 is input, the processing instruction signal 12a, the operation instruction signal 15a, and the operation instruction signal 16a are output from the amplifier 56a. Is done. At the next trigger signal 32, the demultiplexer 55 advances by one, and the processing instruction signal 12a, the operation instruction signal 15a, and the operation instruction signal 16a are output from the amplifier (a) 56a. At the next trigger signal 32, the demultiplexer 55 advances by one again, and the amplifier (W) 56W outputs the processing instruction signal 12W, the operation instruction signal 15W, and the operation instruction signal 16W. Similarly, the processing instruction signal 12 e, the operation instruction signal 15 e, and the operation instruction signal 16 e are output from the amplifier 56 d by the next trigger signal 32.
[0027]
In the next trigger signal 32, since signal control is limited to 5 × 4, the demultiplexer 55 returns to the beginning, and the amplifier (A) 56A outputs the processing instruction signal 12A, the operation instruction signal 15A, and the operation instruction signal 16A. Output. Each of the amplifiers 56 has a processing instruction signal 12a, an operation instruction signal 15a, and an operation instruction signal 16a for lines from the cameras 5a, 5b, 5c, 5d, 5e which are operated at the same time, a, b, c, d, e, respectively. 5 outputs.
[0028]
The operation instruction signal 12a is output to the signal processing units 70a, 70b, 70c, 70d, and 70e of FIG. 3 simultaneously with the operation trigger signal 31 of the imaging instruction. The signal processing unit 70a receiving the operation instruction signal 12a receives the video signal 11a transmitted via the distributor 21a and processes the video signal 35a of the image of the camera 5a via the distributor 21a.
[0029]
The trigger signal 32 is input to the demultiplexer 55 and, at the same time, passes through the amplifier 54 to become the operation trigger signal 31 for the cameras 5a to 5e and the strobe lighting 6, which perform flash emission and photographing in synchronization. At the same time, the trigger signal 17 is output to the result operation output unit 24. In parallel with this, the operation instructing unit 22 outputs operation instructing signals 12, 15, and 16 for operating the specific parts to the distributor 21, the signal processing unit 70, and the result generalizing unit 25.
[0030]
The operation instruction signal 12 indicates one of the twenty signal processing units 70 that processes the video signal 35 of one signal generating device (camera) 5. The video signal 35 is sent to the designated signal processing unit 70 via the distributor 21. The instructed signal processing unit 70 receives this video signal, analyzes its characteristics, and sends the processing result information 13 to the result generalization unit 25.
[0031]
Next, the operation of the visual inspection device according to the present embodiment will be described with reference to the flowchart shown in FIG.
・ (Preparation) (Step S101)
[Matrix mxn setting]
The inspection processing unit 3 sequentially inspects the appearance of the complex-shaped objects 1 sent at predetermined intervals on the transport line 2. For example, imaging is performed with five cameras in a minimum tact time of 30 milliseconds, and analysis of an image captured by each camera requires a maximum of 100 milliseconds. In this case, in order to satisfy the minimum tact, the maximum time of 100 milliseconds for analyzing the image is less than four times the tact. In order to secure this, four signal processing units that perform image analysis for one camera are prepared, and the images are processed one by one in a ring shape until a fifth analysis process is requested. The processing can be performed by outputting the result to
[0032]
In addition, the results of the analysis of the images of the five cameras can be summarized to determine whether or not the inspection object is acceptable, and the rejected product is discharged in accordance with the transport. Therefore, by using 5 × 4 among the control units of the matrix 5 × 5, this inspection processing capability becomes possible. For this purpose, a total of 20 cameras including 5 cameras and 4 image processing devices (signal processing units 70) per camera are connected to the signal control unit 20 to form a system, so that the above-mentioned necessary capability is provided. A visual inspection device can be constructed.
[0033]
Since the signal control unit 20 can be set within the range of 5 × 5, the number of distributors 21 is increased by the m × n matrix limiter 28 and the connection of signals is changed by changing the input matrix of the soft computing software. By increasing the capacity of the distributor 21 and increasing the capacity of the demultiplexer 55 and the number of amplifiers 56 of the operation instructing section 22, it is possible to expand to 1 × 20. In reality, 5 × 5 can be extended to 8 × 8.
[0034]
[Setting processing program and processing conditions of signal processing unit 70]
An analysis program for analyzing the image of the transmitted video signal 11 to extract characteristic information, an abnormal part, and the like, and designation or distribution of previously determined inspection condition data are performed. Determine the processing program and conditions. The same settings are used for the time series A to D systems, and the device series a to e are set according to the image. The values of b to e in the present embodiment are the same except for the characteristic difference of the variation of the camera and the illumination.
[0035]
[Setting the processing mode and processing factor of the result summarizing unit 25]
In the result generalization unit 25, software computing engine software integrating fuzzy evaluation, artificial intelligence, and neural network is loaded, and the processing result information 13 of the signal 11 of each device (camera) 5 from the signal processing unit 70 is communicated. Summarize the information obtained. An mxn information input matrix and input information contents, a judgment processing factor used for pass / fail judgment, and an information general factor for processing the result information into general result information are set. In addition, extraction of individual general information, identification of trends and unique data of general result information, and setting of conditions for sending are performed.
[0036]
[Reset to start inspection]
The demultiplexer 55 is reset so that the signal processing unit 70 and the result generalization unit 25 can be accepted for inspection.
・ (Inspection)
When the inspection is ready, the control waits for the detection trigger signal 37 of the sensor A7. When the complex-shaped object 1 reaches the inspection position X, it is detected by the sensor A7 (step S102, hereinafter abbreviated as step), a trigger signal 37 for image pickup is input to the operation instruction unit 22, and an operation trigger is issued to the camera 5 and the strobe light 6. The signal 31 is sent (S103). The demultiplexer 55 counts up endlessly in a ring shape, and sends the operation instruction signal 12 to the image processing device in the signal processing unit 70 (S121). The strobe lighting 6 and each of the cameras 5a to 5e receive an operation trigger signal 31 from the operation instructing unit 22, and the strobe lighting 6 emits light in synchronization with the camera 5a to 5e. It is photographed as a still image that is not blurred (S104). Then, the cameras 5b, 5c, 5d, and 5e can photograph the entire periphery of the complex-shaped object 1 from the upper surface except for the back surface of the complicated-shaped object 1 with the cameras 5b, 5c, 5d, and 5e.
[0037]
The five images picked up by the camera 5 are transferred by the video signal 35 for each camera (S105). The sensor A7 waits for the next inspection object 1 to be sensed (S106), and when it is sensed, the inspection is repeated. The process ends when an inspection end instruction is input. The video signal 35 is distributed by the distributor 21, receives the operation instruction signal 12, and sends the video signal 11 to the designated signal processing unit 70 (S122). The nominated signal processing unit 70 receives (grabs) this video signal 11 (S123). Before the signal processing units 70a, 70b, 70c, 70d, and 70e are nominated next and the grab ends, the image signal analysis (S124) of each imaging surface is completed. Send to generalization section 25.
[0038]
The result generalization unit 25 receives the operation instruction signal 16 from the operation instruction unit 22, receives all the processing result information 13 from the signal processing unit 70 corresponding to each camera, and collectively performs a pass / fail determination (S 132). As the total result signal 14 to the result operation output unit 24 (S125). The result operation output unit 24 receives the sensing trigger signal 38 and the operation instruction signal 17 from the sensor B8, and outputs a drive trigger signal 33 in accordance with the transport timing of the inspection object 1 when the inspection object 1 fails. The rejected product selection unit 4 is driven by the drive trigger signal 33 and removes the rejected inspection object 1 (step 133).
[0039]
The result summarizing unit 25 sums up the processing result information 13 from the signal processing unit 70 corresponding to each camera at the same time using soft computing software, and performs pass / fail judgment (S132) and extracts the summarizing result information (S135). In the general result information extraction (S135), the processing result information 13 of all the images from all the cameras is evaluated by a preset soft computing software, and the general result of the complex shape object 1 which is the test object is comprehensively evaluated. The information 61 is obtained, sent to the process management system (not shown) by the information output unit 29, and used for adjusting parameters of the manufacturing machine in the process. The general information 61 also includes individual general information, and characteristic specific data including trends and rejection factors of the individual general information.
[0040]
In this way, the inspection signal processing unit 3 that connects the required number of signal processing units 70 to the signal control unit 20 for the complex shape object 1 that is sequentially conveyed at high speed on the conveyance line 2 causes, for example, 30 inspection objects per second. It is possible to judge the pass / fail of the complex-shaped object 1 as an object, and perform an appearance inspection that can select the object. If one signal processing unit 70 is added, it can be expanded to 37 visual inspection devices per second.
[0041]
As described above, according to the present embodiment, by using the signal control unit 20, it is possible to secure several times the processing capability of one signal processing unit 70, and to comprehensively determine information from a plurality of devices. Pass / fail processing can be performed. At the same time, by outputting the summary result information, it is possible to obtain a state of the production line and an information transmission system of a high-speed feedback type automatic process self-adjustment function.
[0042]
Also, the signal control unit is provided with a result summarizing unit that sums up the m pieces of processing result information of each device with soft computing software, and extracts the individual summarizing result information, and identifies and sends out trends and unique data of the summarizing result information. As a result, it can be used as information to control the overall analysis result of the test object by multiple devices and its trend and unique information as high-order control, and it becomes high-speed feedback data of the process, information that enables stable product manufacturing control and error handling It can be a transmitter.
[0043]
Further, according to the present embodiment, it is possible to increase the speed by passing the signal of one camera to a plurality of processing systems in order and performing the processing, and returning the results from each of the processing systems. In addition, in order to inspect a three-dimensional object, it is possible to realize an inspection device that performs processing by distributing a plurality of cameras and a plurality of processing systems and processing them, integrating them, and outputting a result at a high speed. .
[0044]
In addition, it is possible to have a signal control that organically controls a plurality of processing devices that process high-speed and high-resolution devices with software that can be quickly turned around and distributes and allocates signals to create a total high-resolution and high-speed processing system. As a result, it is possible to secure a high processing capability that can make a small turn.
Further, it is possible to realize matrix signal control which receives results in series with a system which issues an instruction signal in parallel and outputs a total result, and furthermore, this matrix configuration and timing can be externally set or controlled.
[0045]
In addition, this signal control unit is equipped with a trigger sensor and illumination operated by a trigger and a plurality of cameras, and a plurality of image processing devices (or image grab analysis boards) are connected to form a complicated shape that cannot be achieved by one signal processing unit. By combining a plurality of signal generating devices and a plurality of signal processing means in accordance with the requirements of the system and controlling the visual inspection of an inspection object or the like having the above, organic judgment and high-speed processing can be performed. The inspection apparatus as described above can be realized.
In addition, by using actuators via a plurality of drivers for the general information output system, the system can be extended to automatic devices.
[0046]
As described above, the m × n signal control unit according to the present embodiment incorporates a plurality of inexpensive batch processing information grab boards and a plurality of CPUs to flexibly assemble specifications required for inspection and measurement. Thus, it is possible to provide a device capable of greatly increasing the processing ability to be able to make small turns in accordance with the substance of the device.
[0047]
In operation, the control system can output each instruction signal so as to capture an image or the like into a free processing device. Further, the processing device that receives the instruction signal can fetch the target data such as an image in synchronization with the timing, process the data, and output the result.
In addition, one or a plurality of all processing results for one object can be collected, a conclusion of the sorting can be comprehensively obtained (by a circuit such as a fuzzy circuit), and a sorting control signal can be output in synchronization with the actual thing. .
[0048]
Although the above has been described focusing on the inspection and measurement in the production line, the signal control unit 20 is intended to create a new mode of the sensor fadeback automation device such as traffic monitoring, engine characteristic test, automatic driving, robot, and the like. Become.
[0049]
In the present embodiment, the test object is a complex shape object 1. However, the test object is not limited to the complex shape object, and a surface high-speed defect inspection which requires a load on other objects having a surface color pattern can also be performed. A possible system can be easily constructed.
In addition, the signal generation device 5 does not need to be a camera, and an inspection system using a plurality of various sensors such as a microphone and an ultrasonic sensor can be easily configured.
[0050]
In this case, as a second embodiment of the present invention, FIG. 6 shows a schematic configuration of a measurement processing apparatus using signal control having four types of signal generation devices and three signal processing units built in each. Show.
In FIG. 6, a signal control unit 20 capable of incorporating a signal processing unit up to 5 × 5 is used, and an area camera, a displacement sensor, an overcurrent sensor, and an ultrasonic sensor are attached as a signal generation device 5, each of which is four in total. It is assumed that the measurement processing device includes three signal processing units 70 per device.
[0051]
Therefore, the measurement processing device with built-in signal processing means according to the present embodiment is built in the signal control unit 20 in which each of the operation instructing unit 22 and the result generalizing unit 23 has five distributors 22 (including one for expansion). The configuration is such that three (12 in total) mold signal processing units 70 are incorporated.
The arrangement of devices, sensors, and the like varies depending on the inspection object and the required line specifications. The distributor 21 is the same if there is no problem such as the band of the signal, and is replaced if a signal suitable for the signal such as band characteristics is required. A required number of built-in signal processing units 71 of a one-board type equipped with a built-in CPU and RAM as signal processing units are incorporated. Otherwise, if each condition is set according to the previous example and the process is returned to the initial state and started, a 4 × 3 automatic measurement process becomes possible.
[0052]
Further, by slightly changing the configuration of this apparatus, the apparatus is changed from a batch type apparatus to an endless inspection apparatus.
For example, the area camera in FIG. 6 is replaced with a line sensor that outputs an endless video signal. The demultiplexer 55 (FIG. 4) which can also switch to the generation of an internal trigger of the operation instruction unit 22 and also has a function of overlapping the end of the operation instruction signal 12 of the embedded signal processing unit 71 with the start of the next operation instruction signal 12. ) To make the next operation instruction signal 12 overlap.
[0053]
The one-board type built-in signal processing unit 71 uses a mode in which signal acquisition is continued while the operation instruction signal 12 is input, and signal analysis is started when the operation instruction signal 12 is cut off. Thereby, the signal processing unit 71 can perform signal processing with ensuring the overlap. By repeating this cyclically, it is possible to easily construct an endless inspection apparatus without continuous omission.
[0054]
In the case of an endless inspection apparatus that continuously inspects a sheet-like product or a long object using four sensors by flowing it on a line, the acquired data of 12 milliseconds is overlapped by 2 milliseconds. At this time, if three signal processing units 71 are set for each device, an automatic endless device may be configured in which the corresponding signal processing unit 71 completes the analysis in 26 milliseconds and finishes transmitting the processing result information 13. it can.
[0055]
Next, a program according to an embodiment of the present invention will be described.
When the inspection apparatus (including the measurement processing apparatus) according to the first and second embodiments described above is configured by a computer system, the above-described processing including the flowchart of FIG. 5 by each apparatus illustrated in FIGS. The programs to be executed by the CPU of the computer each constitute a program according to the present invention. Further, a recording medium for recording the program constitutes a recording medium according to the present invention.
[0056]
As this recording medium, a magneto-optical disk, an optical disk, a semiconductor memory, a magnetic recording medium, or the like can be used, and these may be configured as a ROM, a RAM, a CD-ROM, a flexible disk, a memory card, or the like. The recording medium holds the program for a certain period of time, such as a volatile memory such as a RAM inside a computer system serving as a server or a client when the program is transmitted through a network such as the Internet or a communication line such as a telephone line. Some of them are included.
[0057]
Further, the above program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium. The transmission medium is a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
[0058]
Further, the program may be for realizing a part of the functions described above. Furthermore, what can implement | achieve the function mentioned above in combination with the program already recorded on the computer system, and what is called a difference file (difference program) may be sufficient.
[0059]
Therefore, each of the embodiments can also be implemented by using this recording medium in a system or apparatus different from the system or apparatus of FIGS. 3 and 6 and executing a program stored in the recording medium by a computer of the system or apparatus. Functions and effects equivalent to the functions and effects described above can be obtained, and the object of the present invention can be achieved.
[0060]
【The invention's effect】
As described above, according to the present invention, when performing signal processing such as appearance inspection of an inspection object having a complicated shape that cannot be performed by one signal processing unit, the number of used signal generation devices (the number of input signals) And the number of signal processing means used are appropriately combined according to the inspection content and processing content, and by introducing a signal control unit that controls and evaluates them, efficient and high-speed processing is performed with a minimum necessary processing. Processing can be realized. In addition, various system constructions can be easily realized, and an inexpensive and small-turn system can be realized.
Further, by overlapping the operation instruction signals to the signal processing means, it is possible to easily realize an endless inspection apparatus for continuously inspecting a long object or the like.
[Brief description of the drawings]
FIGS. 1A and 1B are a top view and a front view, respectively, showing a configuration of a visual inspection apparatus for a complex-shaped object according to a first embodiment of the present invention.
FIGS. 2A and 2B are a top view and a front view showing an example of a complex-shaped object. FIGS.
FIG. 3 is a block diagram illustrating a configuration of a visual inspection device according to the first embodiment of the present invention.
FIG. 4 is a block diagram illustrating a configuration of a signal control unit.
FIG. 5 is a flowchart showing an operation of the visual inspection device according to the first embodiment of the present invention.
FIG. 6 is a block diagram showing a configuration of a measurement processing apparatus using signal control according to a second embodiment of the present invention, which also has signal processing means having four types of signal generation devices.
[Explanation of symbols]
1 complex shapes
2 Transport line
3 Inspection processing section
5 Camera (signal generation device)
11 Video signal
12, 15, 16 Operation instruction signal
13 Processing result information
14 Total result signal
20 signal control unit
22 Operation instruction section
23 Setting and Generalization Department
24 Result operation output section
25 Results Division
28 Matrix limiter
29 Information output means
35 Video signal
69 Multi-signal processing unit
70 signal processing unit (image processing device)
71 Embedded signal processing unit

Claims (8)

検査対象物を検査し検査信号を発生するm個の信号発生デバイスと、
各信号発生デバイスからの検査信号を処理するようになされ、各信号発生デバイス毎にn個を1組としてm組み設けられたm×n個の信号処理手段と、
各組におけるn個の信号処理手段を1個ずつ順次環状的に指示して動作させる動作指示手段と、
前記動作指示手段で指示されたm個の信号処理手段から得られるm個の処理結果情報を総合的に処理して当該検査対象についての総括結果情報を出力する総括手段とを設けたことを特徴とする検査装置。
M signal generating devices for inspecting an inspection object and generating an inspection signal;
M × n signal processing means configured to process test signals from each signal generating device, and provided m sets of n sets for each signal generating device;
Operation instructing means for sequentially instructing and operating the n signal processing means in each set one by one in a circular fashion;
General processing means for comprehensively processing the m pieces of processing result information obtained from the m signal processing means instructed by the operation instructing means and outputting general result information on the inspection object. Inspection equipment.
前記動作指示手段は、前記信号処理手段が検査信号を取り込むのに必要な時間に動作指示信号を出力し、この動作指示信号を順次オーバーラップして出力することを特徴とする請求項1記載の検査装置。2. The operation instruction unit according to claim 1, wherein the operation instruction unit outputs an operation instruction signal at a time required for the signal processing unit to capture the inspection signal, and sequentially outputs the operation instruction signals. Inspection equipment. m個の入力信号を処理するようになされ、各入力信号毎にn個を1組としてm組み設けられたm×n個の信号処理手段と、
各組におけるn個の信号処理手段を1個ずつ順次環状的に指示して動作させる動作指示手段と、
前記動作指示手段で指示されたm個の信号処理手段から得られるm個の処理結果情報を総合的に処理して総括結果情報を出力する総括手段とを設けたことを特徴とする信号処理装置。
m × n signal processing means configured to process m input signals, and provided m sets of n signals for each input signal;
Operation instructing means for sequentially instructing and operating the n signal processing means in each set one by one in a circular fashion;
A signal processing device comprising: a generalization unit that comprehensively processes m pieces of processing result information obtained from the m signal processing units specified by the operation instruction unit and outputs generalization result information. .
前記動作指示手段は、前記信号処理手段が前記信号を取り込むのに必要な時間に動作指示信号を出力し、この動作指示信号を順次オーバーラップして出力することを特徴とする請求項3記載の信号処理装置。4. The operation instruction unit according to claim 3, wherein the operation instruction unit outputs an operation instruction signal at a time required for the signal processing unit to capture the signal, and sequentially outputs the operation instruction signals in an overlapping manner. Signal processing device. m個の入力信号は、1〜m種類あることを特徴とする請求項3又は4記載の信号処理装置。5. The signal processing device according to claim 3, wherein the m input signals are of 1 to m types. 前記m,nの個数が変更可能であることを特徴とする請求項3、4又は5記載の信号処理装置。6. The signal processing device according to claim 3, wherein the number of m and n is changeable. m個の入力信号の1個毎にn個を1組としてm組み設けられたm×n個の信号処理手段における各組の信号処理手段を1個ずつ順次環状的に指示して動作させる動作指示処理と、
前記動作指示処理により指示されたm個の信号処理手段により各入力信号を処理する信号処理と、
前記信号処理により得られるm個の処理結果情報を総合的に処理して総括結果情報を出力する総括処理とをコンピュータに実行させるためのプログラム。
an operation of sequentially instructing and operating each set of signal processing means in the m × n signal processing means provided in m sets, where n sets are set for every one of the m input signals. Instruction processing,
Signal processing for processing each input signal by m signal processing means instructed by the operation instruction processing;
A program for causing a computer to execute a general process of comprehensively processing m pieces of processing result information obtained by the signal processing and outputting general result information.
前記動作指示処理により前記信号処理手段が検査信号を取り込むのに必要な時間に動作指示信号を出力し、この動作指示信号を順次オーバーラップして出力することを特徴とする請求項7記載のプログラム。8. The program according to claim 7, wherein the operation instruction processing outputs an operation instruction signal at a time necessary for the signal processing unit to capture an inspection signal, and the operation instruction signals are sequentially overlapped and output. .
JP2002186437A 2002-06-26 2002-06-26 Inspection device, signal processing device, and program Expired - Fee Related JP4216007B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002186437A JP4216007B2 (en) 2002-06-26 2002-06-26 Inspection device, signal processing device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002186437A JP4216007B2 (en) 2002-06-26 2002-06-26 Inspection device, signal processing device, and program

Publications (2)

Publication Number Publication Date
JP2004028826A true JP2004028826A (en) 2004-01-29
JP4216007B2 JP4216007B2 (en) 2009-01-28

Family

ID=31181793

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002186437A Expired - Fee Related JP4216007B2 (en) 2002-06-26 2002-06-26 Inspection device, signal processing device, and program

Country Status (1)

Country Link
JP (1) JP4216007B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007064905A (en) * 2005-09-02 2007-03-15 Hitachi Plant Technologies Ltd Method of detecting foreign matter in container, and device therefor
JP2010107256A (en) * 2008-10-28 2010-05-13 Nimura Koki Kk Method and apparatus for monitoring tool for heat treatment
JP2019002788A (en) * 2017-06-15 2019-01-10 リョーエイ株式会社 Metal processing surface inspection method, and metal processing surface inspection device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007064905A (en) * 2005-09-02 2007-03-15 Hitachi Plant Technologies Ltd Method of detecting foreign matter in container, and device therefor
JP2010107256A (en) * 2008-10-28 2010-05-13 Nimura Koki Kk Method and apparatus for monitoring tool for heat treatment
JP2019002788A (en) * 2017-06-15 2019-01-10 リョーエイ株式会社 Metal processing surface inspection method, and metal processing surface inspection device

Also Published As

Publication number Publication date
JP4216007B2 (en) 2009-01-28

Similar Documents

Publication Publication Date Title
WO1995017736A1 (en) Real-time line scan processor
WO2006012194B1 (en) Method and apparatus for monitoring and detecting defects in plastic package sealing
CN101750419B (en) Open-type visual detection method based on featuring matching
JP2018120373A (en) Image recognition apparatus and image recognition method for industrial equipment
CN113383227A (en) Defect inspection device
KR0176661B1 (en) Inspecting method &amp; apparatus of soldering section
TW201636123A (en) System for inspecting article being conveyed and conveying device
JP4908926B2 (en) Granule sorter
JP2004028826A (en) Inspection device, signal processor, and program
US10298909B2 (en) Inspection device controlled processing line system
CN106461375A (en) Method and device for determining the position and/or orientation of at least one plug contact
CN209550027U (en) Disposable paper urine pants intelligent sorting system based on computer vision
US20200146117A1 (en) Method for parameterizing a machine-vision lighting device
CN209745834U (en) Optical defect detection system with brightness adjustment
CN111069062A (en) Multi-channel visual inspection control method, system software architecture and construction method
JP7450245B2 (en) Three-dimensional image generation device and three-dimensional image generation method
JP2000197855A (en) Method and apparatus for color-selecting grain
TW202223369A (en) Substrate foreign matter inspection device and substrate foreign matter inspection method
JP2007263913A (en) Visual inspection device for tablet or like
JP4639841B2 (en) Inspection method for granular object and inspection apparatus using the same
JP3591489B2 (en) Viscous material application device and viscous material application method
KR101442666B1 (en) Vision inspection apparatus comprising light part of plural line
JPH05280949A (en) Method and equipment for obtaining image wherein contours of individual articles are distinct
CN107024184A (en) Systems for optical inspection is with applying its optical detecting method
JPS62222107A (en) Image pickup method in automatic shiitake (mushroom) sorting system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050513

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071009

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080805

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081006

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081028

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081105

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131114

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees