JP2011038905A - 欠陥検査方法及び欠陥検査装置 - Google Patents
欠陥検査方法及び欠陥検査装置 Download PDFInfo
- Publication number
- JP2011038905A JP2011038905A JP2009186910A JP2009186910A JP2011038905A JP 2011038905 A JP2011038905 A JP 2011038905A JP 2009186910 A JP2009186910 A JP 2009186910A JP 2009186910 A JP2009186910 A JP 2009186910A JP 2011038905 A JP2011038905 A JP 2011038905A
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- defect
- cutting edge
- contour
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
- G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
- G03B13/00—Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
- G03B13/32—Means for focusing
- G03B13/34—Power focusing
- G03B13/36—Autofocus systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20061—Hough transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Focusing (AREA)
- Automatic Focus Adjustment (AREA)
- Image Processing (AREA)
Abstract
【課題】被検体を撮影する際に自動的に焦点を合せ、得られた画像から欠陥の有無を判断する欠陥検査方法及び欠陥検査装置を提供する。
【解決手段】撮影して得られた画像から欠陥の有無を判断する欠陥検査方法において、撮像手段2の焦点を合せる自動焦点調節ステップと、被検体における欠陥の有無を判断する画像解析ステップとを具備し、自動焦点調節ステップは、被検体と撮像手段2との距離又は撮像手段2の焦点距離を複数回変更して撮影し、得られた各画像から被検体の輪郭を抽出処理し、各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、周波数領域における輝度値の総和を算出し、輝度値の総和が最大となる被検体と撮像手段2との距離又は撮像手段2の焦点距離を特定し、特定された被検体と撮像手段2との距離又は撮像手段2の焦点距離に調節する、とした。
【選択図】図7
【解決手段】撮影して得られた画像から欠陥の有無を判断する欠陥検査方法において、撮像手段2の焦点を合せる自動焦点調節ステップと、被検体における欠陥の有無を判断する画像解析ステップとを具備し、自動焦点調節ステップは、被検体と撮像手段2との距離又は撮像手段2の焦点距離を複数回変更して撮影し、得られた各画像から被検体の輪郭を抽出処理し、各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、周波数領域における輝度値の総和を算出し、輝度値の総和が最大となる被検体と撮像手段2との距離又は撮像手段2の焦点距離を特定し、特定された被検体と撮像手段2との距離又は撮像手段2の焦点距離に調節する、とした。
【選択図】図7
Description
本発明は、切削工具等の欠陥検査方法及び欠陥検査装置の技術に関する。より詳細には、切削工具等の切刃部における欠陥の有無を判断する欠陥検査方法及び欠陥検査装置の技術に関する。
従来より、切削工具の切刃部における欠陥検査において、被検体である切削工具を画像撮影し、2値化処理、境界線検出処理、ハフ変換処理等を行なうことで欠陥の程度を数値的に求める技術が公知となっている(特許文献1参照)。
また、被検体が撮影された画像から検査対象領域を抽出するとともに、被検体の形状を表現した特徴ベクトルを入力とする自己組織化ニューラルネットモデルを用いることによって欠陥の有無を判断する方法及びその装置が公知となっている(特許文献2参照)。
しかし、例えばエンドミル等の切削工具においては、略円筒形状の外周に複数の切刃部を有する等、複雑な構造とされるため、該切削工具の切刃部を画像撮影する際に自動的に焦点を合せることは困難とされていた。また、今日まで切刃部に生じた欠陥の有無については作業者による目視検査が不可欠とされており、信頼性の高い自動化された欠陥検査方法及び欠陥検査装置が求められていた。
本発明は、切削工具の切刃部を撮影する際に自動的に焦点を合せるとともに、撮影された画像から切刃部の刃先における剥離欠陥等の有無を判断する欠陥検査方法及び欠陥検査装置の技術を提供することを目的とする。
次に、この課題を解決するための手段を説明する。
即ち、請求項1に記載の発明は、撮像手段により被検体を撮影して得られた画像から欠陥の有無を判断する欠陥検査方法において、
前記撮像手段により前記被検体の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節ステップと、
得られた画像を処理することで前記被検体における欠陥の有無を判断する画像解析ステップと、を具備し、
前記自動焦点調節ステップは、前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記被検体の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和が最大となる前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離に調節する、ものである。
前記撮像手段により前記被検体の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節ステップと、
得られた画像を処理することで前記被検体における欠陥の有無を判断する画像解析ステップと、を具備し、
前記自動焦点調節ステップは、前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記被検体の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和が最大となる前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離に調節する、ものである。
請求項2に記載の発明は、請求項1に記載の欠陥検査方法において、
前記被検体は切刃部を有する切削工具であって、
前記画像解析ステップは、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内に前記刃先の輪郭が存在するか否かで欠陥の有無を判断するとした第一画像解析工程を含む、ものである。
前記被検体は切刃部を有する切削工具であって、
前記画像解析ステップは、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内に前記刃先の輪郭が存在するか否かで欠陥の有無を判断するとした第一画像解析工程を含む、ものである。
請求項3に記載の発明は、請求項1に記載の欠陥検査方法において、
前記被検体は切刃部を有する切削工具であって、
前記画像解析ステップは、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断するとした第二画像解析工程を含む、ものである。
前記被検体は切刃部を有する切削工具であって、
前記画像解析ステップは、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断するとした第二画像解析工程を含む、ものである。
請求項4に記載の発明は、請求項3に記載の欠陥検査方法において、
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
請求項5に記載の発明は、請求項3又は請求項4に記載の欠陥検査方法において、
前記画像解析ステップは、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
前記画像解析ステップは、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
請求項6に記載の発明は、撮像手段により被検体を撮影して得られた画像から欠陥の有無を判断する欠陥検査装置において、
前記撮像手段により前記被検体の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節部と、
得られた画像を処理することで前記被検体における欠陥の有無を判断する画像解析部と、を具備し、
前記自動焦点調節部は、前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記被検体の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和が最大となる前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離に調節する、ものである。
前記撮像手段により前記被検体の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節部と、
得られた画像を処理することで前記被検体における欠陥の有無を判断する画像解析部と、を具備し、
前記自動焦点調節部は、前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記被検体の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和が最大となる前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離に調節する、ものである。
請求項7に記載の発明は、請求項6に記載の欠陥検査装置において、
前記被検体は切刃部を有する切削工具であって、
前記画像解析部は、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内に前記刃先の輪郭が存在するか否かで欠陥の有無を判断するとした第一画像解析部を含む、ものである。
前記被検体は切刃部を有する切削工具であって、
前記画像解析部は、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内に前記刃先の輪郭が存在するか否かで欠陥の有無を判断するとした第一画像解析部を含む、ものである。
請求項8に記載の発明は、請求項6に記載の欠陥検査装置において、
前記被検体は切刃部を有する切削工具であって、
前記画像解析部は、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断するとした第二画像解析部を含む、ものである。
前記被検体は切刃部を有する切削工具であって、
前記画像解析部は、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断するとした第二画像解析部を含む、ものである。
請求項9に記載の発明は、請求項8に記載の欠陥検査装置において、
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
請求項10に記載の発明は、請求項8又は請求項9に記載の欠陥検査装置において、
前記画像解析部は、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
前記画像解析部は、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
本発明の効果として、以下に示すような効果を奏する。
請求項1に記載の発明によれば、被検体に赤外線や音波等を照射することによって距離を測定し、焦点を合せる方式よりも簡易な構成とすることができる。また、切削工具等のように複雑な形状を有する被検体であっても精度良く焦点を合せることができるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項2に記載の発明によれば、刃先の輪郭を抽出処理した後にハフ変換処理を用いることで刃先の輪郭を仮想線にて表現することができる。そして、仮想線にて表現された刃先の形状によって特定される領域内に刃先の輪郭が存在するか否かを判断するため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項3ならびに請求項4に記載の発明によれば、刃先の輪郭を抽出処理した後にハフ変換処理を用いることで刃先の輪郭を仮想線にて表現することができる。また、仮想線にて表現された刃先の形状によって特定される領域内において撮影により得られた画像を複数の部分領域に分割し、部分領域ごとの輝度値を考慮するため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項5に記載の発明によれば、部分領域ごとの輝度値を入力とする、欠陥検査に適するように学習されたニューラルネットモデルを用いるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項6に記載の発明によれば、被検体に赤外線や音波等を照射することによって距離を測定し、焦点を合せる方式よりも簡易な構成とすることができる。また、切削工具等のように複雑な形状を有する被検体であっても精度良く焦点を合せることができるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項7に記載の発明によれば、刃先の輪郭を抽出処理した後にハフ変換処理を用いることで刃先の輪郭を仮想線にて表現することができる。そして、仮想線にて表現された刃先の形状によって特定される領域内に刃先の輪郭が存在するか否かを判断するため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項8ならびに請求項9に記載の発明によれば、刃先の輪郭を抽出処理した後にハフ変換処理を用いることで刃先の輪郭を仮想線にて表現することができる。また、仮想線にて表現された刃先の形状によって特定される領域内において撮影により得られた画像を複数の部分領域に分割し、部分領域ごとの輝度値を考慮するため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項10に記載の発明によれば、部分領域ごとの輝度値を入力とする、欠陥検査に適するように学習されたニューラルネットモデルを用いるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
まず、図1ならびに図2を用いて本発明に係る欠陥検査装置1の全体構成について説明する。図1は、本発明に係る欠陥検査装置1の外観図であり、図2は、その概略図を示している。なお、重力の作用方向を上下方向として図1中に示す。
欠陥検査装置1は、備え付けられた被検体を撮影し、得られた画像から被検体の表面に生じる剥離欠陥等の有無を判断する装置である。欠陥検査装置1は、主に撮像手段としての撮影装置2と、該撮影装置2の移動装置3と、被検体の昇降装置4と、被検体の回転装置5と、画像の処理や欠陥の有無の判断等を行なう制御装置6と、から構成される。
撮影装置2は、備え付けられた被検体を撮影する装置である。本発明に係る欠陥検査装置1においてはC−MOSカメラが採用されており、被検体をカラー画像として撮影し、得られた画像を制御装置6へ出力するものとしている。また、本欠陥検査装置1には、被検体を照らす複数の照明装置や反射板7、その他、照明光を均一にする拡散板等が備えられて良好な被検体の画像が得られるように構成されている。
移動装置3は、被検体と撮影装置2との距離を調節すべく、撮影装置2を移動可能とする装置である。これにより、撮影装置2は、被検体との距離を調節することによって被検体の形状等によらず焦点を合せることが可能とされる。なお、本欠陥検査装置1においては、撮影装置2が移動するものとされるが、撮影装置2は固定された状態で焦点距離を調節可能とする構成であっても良い。
昇降装置4は、備え付けられた被検体を上下方向に移動可能とする装置である。これにより、被検体の上下方向における任意の位置を撮影装置2により撮影することが可能とされる。なお、本欠陥検査装置1においては、被検体が上下方向に移動するものとされるが、撮影装置2が上下方向に移動可能とする構成であっても良い。
回転装置5は、備え付けられた被検体の上下方向を中心軸として回転可能とする装置である。また、回転装置5を構成し、該回転装置5を駆動させるステッピングモータは、制御装置6によって回転開始ならびに回転停止を自在に操作可能とされる。これにより、被検体の周方向における任意の位置を撮影装置2により撮影することが可能とされる。
制御装置6は、主に撮影装置2により撮影されて得られた画像を処理する画像処理部10と、該画像処理部10からの情報に基づいて欠陥の有無を判断する第一画像解析部11aならびに第二画像解析部11bからなる画像解析部11と、該画像解析部11により解析された結果を出力する出力部12と、画像処理部10からの情報に基づいて移動装置3等を制御可能とする制御部13と、撮影により得られた画像等を記憶する記憶部14と、から構成される。なお、本欠陥検査装置1における自動焦点調節部15とは、画像処理部10や制御部13ならびに撮影装置2、移動装置3、昇降装置4、回転装置5で構成された自律制御による焦点調節機構をいう。
以上により、本発明に係る欠陥検査装置1は、移動装置3によって被検体と撮影装置2との距離を調節できて撮影装置2の焦点を合せることが可能とされるほか、昇降装置4が被検体を上下方向に移動させ、回転装置5が被検体を回転させることによって被検体の任意の位置を撮影可能としている。そして、撮影装置2により撮影されて得られた被検体の画像から欠陥の有無を判断可能としているのである。
なお、以下では代表的な切削工具であるエンドミル8を被検体として用いた場合について説明する。エンドミル8は、その外周に螺旋状に形成された複数の切刃部8Aを有する切削工具であり(図3参照。)、その軸心を中心として回転されることによって被切削物を切削するものである。
図4を用いて本発明に係る欠陥検査装置1の検査フローについて説明する。
まず、本発明に係る欠陥検査装置1は、配置ステップとして、被検体であるエンドミル8の位置制御を行なう(ステップS110)。これは、制御装置6の制御部13から昇降装置4ならびに回転装置5へ制御信号を送信することによって、エンドミル8の上下方向の位置や回転位相を調節する工程である。これにより、エンドミル8の検査領域を撮影装置2により撮影することが可能となる。
次に、自動焦点調節ステップとして、撮影装置2の焦点の調節を行なう(ステップS120)。これは、制御部13が画像処理部10によって作成された周波数変換画像データ等に基づいて移動装置3へ制御信号を送信することによって、エンドミル8と撮影装置2との距離を調節する工程である。これにより、撮影装置2の焦点を合せることが可能となる。
そして、画像解析ステップにおける第一画像解析工程として、エンドミル8の刃先8aにおける欠陥の有無の判断が行なわれる(ステップS130)。これは、画像解析部11が画像処理部10によって作成されたハフ変換画像データ等に基づいて刃先8aに剥離欠陥等が有るか否かを判断する工程である。
また、欠陥の有無の判断を行なう第一画像解析工程(ステップS130)と同時に行なわれる第二画像解析工程として、ニューラルネットモデルを用いた欠陥の有無の判断が行なわれる(ステップS140)。これは、画像解析部11が画像処理部10によって作成されたハフ変換画像データ等に基づいて刃先8aに剥離欠陥等が有るか否かを判断する工程である。
なお、本発明に係る欠陥検査装置1においては、第一画像解析工程(ステップS130)と第二画像解析工程(ステップS140)とを同時に行なうように構成されているが、いずれか一方を先に行ない、その後に他方を行なう構成としても良い。また、その順序について限定するものではなく、更に、いずれか一方のみを行なう構成としても良い。
その後、ステップS110からステップS140の工程がエンドミル8の全検査領域にて行なわれ、全検査領域について完了したと判断された場合は、検査フローが終了するものとされる。
ここで、図5を用いて自動焦点調節ステップ(ステップS120)について詳細に説明する。
自動焦点調節ステップ(ステップS120)は、エンドミル8と撮影装置2との距離を複数回変更して撮影する撮影動作と、撮影により得られた各画像に対して刃先8aの輪郭を抽出処理する抽出処理動作と、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換する周波数領域変換動作と、周波数領域における輝度値の総和を算出する総和算出動作と、輝度値の総和が最大となるエンドミル8と撮影装置2との距離を特定する距離特定動作と、特定されたエンドミル8と撮影装置2との距離に調節する焦点合せ動作と、から構成される。
撮影動作は、被検体であるエンドミル8と撮影装置2との距離が徐々に離間するように、該撮影装置2を移動させながら撮影する工程である(ステップS121)。本欠陥検査装置1においては、撮影装置2が0.1mm移動するごとに自動的に撮影が行なわれる構成とされている。
抽出処理動作は、まず、撮影動作(ステップS121)によって撮影された各カラー画像を白黒の明暗で表す、いわゆるグレースケール化を行ない、次に、グレースケール化された白黒画像に対してPrewittフィルタやSobelフィルタ等の微分フィルタ、いわゆるエッジ抽出フィルタを用いることで刃先8aの輪郭の抽出が行なわれる(ステップS122)。なお、本欠陥検査装置1においては、Prewittフィルタを採用している。
周波数領域変換動作は、抽出処理動作(ステップS122)によって作成された各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数変換画像データを作成するものである(ステップS123)。離散フーリエ変換処理とは、横方向ならびに縦方向の二次元の画像を各方向へ変化する輝度値の波形と置き換え、該波形を周波数や振幅の異なる正弦波ならびに余弦波に展開するものである。つまり、離散フーリエ変換処理を用いることにより、m×nの画像をk×lの周波数領域によって表現することができるのである。離散フーリエ変換処理を行なう算出式を数1に示す。
このように、撮影装置2によって撮影されたエンドミル8の刃先8aの画像を処理することで、この画像を周波数領域によって表現した周波数変換画像データを作成することが可能となるのである(図6参照。)。
総和算出動作は、周波数領域変換動作(ステップS123)によって作成された周波数変換画像データから輝度値の総和を算出するものである(ステップS124)。輝度値の総和は、図7Aに示す算出式により行なわれる。
距離特定動作は、図7Bに示すように、総和算出動作(ステップS124)によって算出された輝度値の総和が最大となるエンドミル8と撮影装置2との距離を見出すものである(ステップS125)。このとき、エンドミル8と撮影装置2との距離によって変化する輝度値の総和について関数近似を行なうことで、精度の向上が図られている。なお、図中に示している輝度値の総和が最大となるエンドミル8と撮影装置2との距離(L)は、撮影装置2の焦点が合う位置を示している。
これは、図7Cに示すように、エンドミル8と撮影装置2との距離が撮影装置2の焦点が合う位置よりも近い場合(L1)やエンドミル8と撮影装置2との距離が撮影装置2の焦点が合う位置よりも遠い場合(L2)は、撮影装置2によって撮影された画像がぼやけるために抽出処理動作(ステップS122)によっても鮮明に刃先8aの輪郭が抽出されず、結果として輝度値の総和が小さくなるからである。
つまり、輝度値の総和が最大となるエンドミル8と撮影装置2との距離(L)においては、撮影装置2により撮影された画像が鮮明である、即ち、撮影装置2の焦点が合っていることを示している。なお、図7Bには、抽出処理動作(ステップS122)のみを行なった場合と周波数領域変換動作(ステップS123)のみを行なった場合についても示しているが、抽出処理動作(ステップS122)に加えて周波数領域変換動作(ステップS123)を行なったものが最も明確に撮影装置2の焦点距離を示していることがわかる。
その後、焦点合せ動作として、距離特定動作(ステップS125)によって見出された距離(L)となるように撮影装置2が移動させて(ステップS126)、自動焦点調節ステップ(ステップS120)が終了するものとされる。
以上のように、エンドミル8と撮影装置2との距離を複数回変更して撮影し、得られた画像を処理することによって複雑な形状を有するエンドミル8等の被検体であっても精度良く焦点を合せることが可能となるのである。
次に、図8を用いて画像解析ステップにおける第一画像解析工程(ステップS130)について詳細に説明する。
第一画像解析工程(ステップS130)は、撮影装置2により撮影されて得られた画像に対して刃先8aの輪郭を抽出処理する抽出処理動作と、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで刃先8aの輪郭を仮想線9iにて表現する仮想線作成動作と、仮想線9iの交点を中心とする所定の径の円形領域内に前記輪郭抽出画像における刃先8aの輪郭が存在するか否かで欠陥の有無を判断する欠陥判断動作と、から構成される。
抽出処理動作は、まず、撮影装置2により撮影されたカラー画像を白黒の明暗のみで表す、いわゆるグレースケール化を行ない、次に、グレースケール化された白黒画像に対してPrewittフィルタやSobelフィルタ等の微分フィルタ、いわゆるエッジ抽出フィルタを用いることで刃先8aの輪郭の抽出が行なわれる(ステップS131)。なお、本欠陥検査装置1においては、Prewittフィルタを採用している。このようにして作成された輪郭抽出画像を図9Aに示す。
仮想線作成動作は、抽出処理動作(ステップS131)によって作成された輪郭抽出画像に対してハフ変換処理を用いることで刃先8aの輪郭を二本の仮想線9iにて表現するものである(ステップS132)。ハフ変換処理とは、デジタル画像処理として用いられる特徴抽出法の一つである。このようにして作成されたハフ変換画像データを図9Bに示す。
また、図9Bに示すように、刃先8aの輪郭を二本の仮想線9iにて表現したハフ変換画像データ上に、該仮想線9iの交点を中心とする所定の径の仮想円9sが作成される。この仮想円9sの径は、刃先8aの先端部分に欠陥が生じた場合、欠陥の大きさの程度がどのくらいとなるかを予め試験等によって見出すことで決定される。
欠陥判断動作は、図10に示すように、仮想線作成動作(ステップS132)によって作成された仮想円9sの円形領域内に輪郭抽出画像における刃先8aの輪郭が存在するか否かで欠陥の有無を判断するものである(ステップS133)。これは、刃先8aの先端部分に欠陥が生じた場合、仮想円9sに相当する箇所に刃先8aが存在しない可能性が高いという、欠陥の態様を利用したものである。なお、図10では、仮想円9sの領域内に刃先8aが存在していないために欠陥があるものと判断される。
以上のように、被検体であるエンドミル8を撮影し、得られた画像を処理することによって刃先8aの輪郭を仮想線9iにて表現することができる。そして、仮想線9iにて表現された刃先8aの形状によって特定される円形領域内に輪郭抽出画像における刃先8aの輪郭が存在するか否かを判断するため、信頼性の高い欠陥の有無の判断を行なうことが可能となるのである。
次に、図11を用いて画像解析ステップにおける第二画像解析工程(ステップS140)について詳細に説明する。
第二画像解析工程(ステップS140)は、撮影装置2により撮影されて得られた画像に対して刃先8aの輪郭を抽出処理する抽出処理動作と、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで刃先8aの輪郭を仮想線9iにて表現する仮想線作成動作と、仮想線9iの交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割する領域分割動作と、部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換する周波数領域変換動作と、周波数領域における輝度の平均値を算出する平均算出動作と、算出された輝度の平均値を入力とするニューラルネットモデルにより欠陥の有無を判断する欠陥判断動作と、から構成される。
抽出処理動作は、まず、撮影装置2により撮影されたカラー画像を輝度値のみで表す、いわゆるグレースケール化を行ない、次に、グレースケール化された白黒画像に対してPrewittフィルタやSobelフィルタ等の微分フィルタ、いわゆるエッジ抽出フィルタを用いることで刃先8aの輪郭の抽出が行なわれる(ステップS141)。なお、本欠陥検査装置1においては、Prewittフィルタを採用している。このようにして作成された輪郭抽出画像を図9Aに示す。
仮想線作成動作は、抽出処理動作(ステップS141)によって作成された輪郭抽出画像に対してハフ変換処理を用いることで刃先8aの輪郭を二本の仮想線9iにて表現するものである(ステップS142)。ハフ変換処理とは、デジタル画像処理として用いられる特徴抽出法の一つである。このようにして作成されたハフ変換画像データを図9Bに示す。
また、刃先8aの輪郭を二本の仮想線9iにて表現したハフ変換画像データ上に、該仮想線9iの交点を中心とする所定の径の仮想円9tが作成される(図12参照。)。この仮想円9tの径は、刃先8aに欠陥が生じる場合、欠陥の生じ易い場所や大きさの程度を予め試験等によって見出すことで決定される。
領域分割動作は、図12に示すように、仮想線作成動作(ステップS142)によって作成された仮想円9tの円形領域内において、仮想線9iの交点を中心とするそれぞれに径が異なる仮想円9u・9v・・・と仮想線9iの交点を通るように刃先8aを等間隔に分けた線分9j・9k・・・で区切られる各領域に、撮影により得られた画像を分割するものである(ステップS143)。なお、本欠陥検査装置1においては、17個の部分領域に分割されるが、具体的な個数について限定するものではない。
周波数領域変換動作は、領域分割動作(ステップS143)によって分割された画像に対して離散フーリエ変換処理を用いることで周波数変換画像データを作成するものである(ステップS144)。離散フーリエ変換処理とは、縦方向ならびに横方向の二次元の画像を各方向へ変化する輝度値の波形と置き換え、該波形を周波数や振幅の異なる正弦波ならびに余弦波に展開するものである。つまり、離散フーリエ変換処理を用いることにより、画像を周波数領域によって表現することができるのである。なお、本欠陥検査装置1は、撮影装置2により得られる画像がカラー画像であるために、領域分割動作(ステップS143)により分割される画像は、グレースケール化された後の白黒画像としている。
平均算出動作は、周波数領域変換動作(ステップS144)によって作成された周波数変換画像データから輝度の平均値を算出するものである(ステップS145)。なお、本欠陥検査装置1では、欠陥の有無についての誤判断を低減するために各部分領域内において全ての画素の輝度を平均化するものとしている。
欠陥判断動作は、図13に示すように、各部分領域ごとの輝度の平均値を入力とするニューラルネットモデルを用いることによって欠陥の有無を判断するものである(ステップS146)。ニューラルネットモデルは、入力層、中間層、出力層からなる三層構造の階層型ニューラルネットワークであり、いわゆる入力層と中間層の重みや中間層と出力層の重みについては、予め用意された教師用データ(欠陥があるエンドミル8の画像ならびに欠陥が無いエンドミル8の画像)から所望の出力が得られるように学習されている。
つまり、各部分領域ごとの輝度の平均値を入力とする、欠陥検査に適するように学習されたニューラルネットモデルを用いることによって、欠陥の有無の判断が行なわれるのである。ニューラルネットモデルの学習についての算出式を数2に示す。即ち、出力okと教師出力tkとの誤差を表すエラーEの値が最も小さくなるように入力層と中間層の重みWjiならびに中間層と出力層の重みWkjが決定される。
以上のように、被検体であるエンドミル8を撮影し、得られた画像を処理することによって刃先8aの輪郭を仮想線9iにて表現することができる。そして、仮想線9iにて表現された刃先8aの形状によって特定される円形領域内において白黒画像を分割し、部分領域ごとの輝度の平均値を入力とするニューラルネットモデルを用いることで、信頼性の高い欠陥の有無の判断を行なうことが可能となるのである。
このように、被検体であるエンドミル8と撮影装置2との距離を複数回変更して撮影し、得られた画像を処理することによって精度良く焦点を合せることができる。また、撮影された画像を処理することによって刃先8aの輪郭を仮想線9iにて表現することができ、該仮想線9iから特定される領域内に刃先8aの輪郭が存在するか否かで欠陥の有無が判断できる。更に、グレースケール化された後の白黒画像を仮想線9iから特定される領域内で分割し、部分領域ごとの輝度の平均値を入力とするニューラルネットモデルを用いることによって欠陥の有無を判断できる。
以上のように、本発明に係る欠陥検査方法を具現化した欠陥検査装置1を用いることによって、図14に示すような欠陥の態様について検査を行なうことが可能となるのである。また、図15に刃先8aの先端部分における欠陥検査の結果を示す。図15より、本発明に係る欠陥検査方法及び欠陥検査装置1が信頼性の高い欠陥の有無の判断を可能としていることがわかる。
1 欠陥検査装置
2 撮影装置(撮像手段)
3 移動装置
4 昇降装置
5 回転装置
6 制御装置
7 反射板
8 エンドミル(被検体)
8A 切刃部
8a 刃先
9i 仮想線
9s 仮想円
9t 仮想円
10 画像処理部
11 画像解析部
11a 第一画像解析部
11b 第二画像解析部
12 出力部
13 制御部
14 記憶部
15 自動焦点調節部
2 撮影装置(撮像手段)
3 移動装置
4 昇降装置
5 回転装置
6 制御装置
7 反射板
8 エンドミル(被検体)
8A 切刃部
8a 刃先
9i 仮想線
9s 仮想円
9t 仮想円
10 画像処理部
11 画像解析部
11a 第一画像解析部
11b 第二画像解析部
12 出力部
13 制御部
14 記憶部
15 自動焦点調節部
即ち、請求項1に記載の発明は、撮像手段により被検体を撮影して得られた画像から欠陥の有無を判断する欠陥検査方法において、
前記撮像手段により前記被検体の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節ステップと、
得られた画像を処理することで前記被検体における欠陥の有無を判断する画像解析ステップと、を具備し、
前記自動焦点調節ステップは、前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記被検体の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和について関数近似を行うことで、輝度値の総和が最大となる前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離に調節する、ものである。
前記撮像手段により前記被検体の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節ステップと、
得られた画像を処理することで前記被検体における欠陥の有無を判断する画像解析ステップと、を具備し、
前記自動焦点調節ステップは、前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記被検体の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和について関数近似を行うことで、輝度値の総和が最大となる前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離に調節する、ものである。
請求項2に記載の発明は、請求項1に記載の欠陥検査方法において、
前記被検体は切刃部を有する切削工具であって、
前記画像解析ステップは、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断するとした第二画像解析工程を含む、ものである。
前記被検体は切刃部を有する切削工具であって、
前記画像解析ステップは、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断するとした第二画像解析工程を含む、ものである。
請求項3に記載の発明は、請求項2に記載の欠陥検査方法において、
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
請求項4に記載の発明は、請求項2又は請求項3に記載の欠陥検査方法において、
前記画像解析ステップは、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
前記画像解析ステップは、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
請求項5に記載の発明は、撮像手段により被検体を撮影して得られた画像から欠陥の有無を判断する欠陥検査装置において、
前記撮像手段により前記被検体の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節部と、
得られた画像を処理することで前記被検体における欠陥の有無を判断する画像解析部と、を具備し、
前記自動焦点調節部は、前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記被検体の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和について関数近似を行うことで、輝度値の総和が最大となる前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離に調節する、ものである。
前記撮像手段により前記被検体の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節部と、
得られた画像を処理することで前記被検体における欠陥の有無を判断する画像解析部と、を具備し、
前記自動焦点調節部は、前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記被検体の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和について関数近似を行うことで、輝度値の総和が最大となる前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離に調節する、ものである。
請求項6に記載の発明は、請求項5に記載の欠陥検査装置において、
前記被検体は切刃部を有する切削工具であって、
前記画像解析部は、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断するとした第二画像解析部を含む、ものである。
前記被検体は切刃部を有する切削工具であって、
前記画像解析部は、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断するとした第二画像解析部を含む、ものである。
請求項7に記載の発明は、請求項6に記載の欠陥検査装置において、
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
請求項8に記載の発明は、請求項6又は請求項7に記載の欠陥検査装置において、
前記画像解析部は、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
前記画像解析部は、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
請求項1に記載の発明によれば、被検体に赤外線や音波等を照射することによって距離を測定し、焦点を合せる方式よりも簡易な構成とすることができる。また、切削工具等のように複雑な形状を有する被検体であっても精度良く焦点を合せることができるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
また、輝度値の総和について関数近似を行なうことで、より精度の向上が図られている。
また、輝度値の総和について関数近似を行なうことで、より精度の向上が図られている。
請求項2ならびに請求項3に記載の発明によれば、刃先の輪郭を抽出処理した後にハフ変換処理を用いることで刃先の輪郭を仮想線にて表現することができる。また、仮想線にて表現された刃先の形状によって特定される領域内において撮影により得られた画像を複数の部分領域に分割し、部分領域ごとの輝度値を考慮するため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項4に記載の発明によれば、部分領域ごとの輝度値を入力とする、欠陥検査に適するように学習されたニューラルネットモデルを用いるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項5に記載の発明によれば、被検体に赤外線や音波等を照射することによって距離を測定し、焦点を合せる方式よりも簡易な構成とすることができる。また、切削工具等のように複雑な形状を有する被検体であっても精度良く焦点を合せることができるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
また、輝度値の総和について関数近似を行なうことで、より精度の向上が図られている。
また、輝度値の総和について関数近似を行なうことで、より精度の向上が図られている。
請求項6ならびに請求項7に記載の発明によれば、刃先の輪郭を抽出処理した後にハフ変換処理を用いることで刃先の輪郭を仮想線にて表現することができる。また、仮想線にて表現された刃先の形状によって特定される領域内において撮影により得られた画像を複数の部分領域に分割し、部分領域ごとの輝度値を考慮するため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項8に記載の発明によれば、部分領域ごとの輝度値を入力とする、欠陥検査に適するように学習されたニューラルネットモデルを用いるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
即ち、請求項1に記載の発明は、撮像手段により切刃部を有する切削工具を撮影して得られた画像から欠陥の有無を判断する欠陥検査方法において、
前記撮像手段により前記切刃部の刃先の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節ステップと、
得られた画像を処理することで前記切刃部の刃先における欠陥の有無を判断する画像解析ステップと、を具備し、
前記自動焦点調節ステップでは、前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和について関数近似を行うことで、輝度値の総和が最大となる前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離に調節し、
前記画像解析ステップでは、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記切刃部の刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断する、ものである。
前記撮像手段により前記切刃部の刃先の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節ステップと、
得られた画像を処理することで前記切刃部の刃先における欠陥の有無を判断する画像解析ステップと、を具備し、
前記自動焦点調節ステップでは、前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和について関数近似を行うことで、輝度値の総和が最大となる前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離に調節し、
前記画像解析ステップでは、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記切刃部の刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断する、ものである。
請求項2に記載の発明は、請求項1に記載の欠陥検査方法において、
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
請求項3に記載の発明は、請求項1又は請求項2に記載の欠陥検査方法において、
前記画像解析ステップは、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
前記画像解析ステップは、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
請求項4に記載の発明は、撮像手段により切刃部を有する切削工具を撮影して得られた画像から欠陥の有無を判断する欠陥検査装置において、
前記撮像手段により前記切刃部の刃先の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節部と、
得られた画像を処理することで前記切刃部の刃先における欠陥の有無を判断する画像解析部と、を具備し、
前記自動焦点調節部は、前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和について関数近似を行うことで、輝度値の総和が最大となる前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離に調節し、
前記画像解析部は、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記切刃の刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断する、ものである。
前記撮像手段により前記切刃部の刃先の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節部と、
得られた画像を処理することで前記切刃部の刃先における欠陥の有無を判断する画像解析部と、を具備し、
前記自動焦点調節部は、前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和について関数近似を行うことで、輝度値の総和が最大となる前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記切刃部の刃先と前記撮像手段との距離又は前記撮像手段の焦点距離に調節し、
前記画像解析部は、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記切刃の刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断する、ものである。
請求項5に記載の発明は、請求項4に記載の欠陥検査装置において、
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ものである。
請求項6に記載の発明は、請求項4又は請求項5に記載の欠陥検査装置において、
前記画像解析部は、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
前記画像解析部は、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ものである。
請求項1、2に記載の発明によれば、被検体に赤外線や音波等を照射することによって距離を測定し、焦点を合せる方式よりも簡易な構成とすることができる。また、切削工具等のように複雑な形状を有する被検体であっても精度良く焦点を合せることができるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
また、輝度値の総和について関数近似を行なうことで、より精度の向上が図られている。
また、輝度値の総和について関数近似を行なうことで、より精度の向上が図られている。
また、請求項1、2に記載の発明によれば、刃先の輪郭を抽出処理した後にハフ変換処理を用いることで刃先の輪郭を仮想線にて表現することができる。また、仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、部分領域ごとの輝度値を考慮するため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項3に記載の発明によれば、部分領域ごとの輝度値を入力とする、欠陥検査に適するように学習されたニューラルネットモデルを用いるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項4、5に記載の発明によれば、被検体に赤外線や音波等を照射することによって距離を測定し、焦点を合せる方式よりも簡易な構成とすることができる。また、切削工具等のように複雑な形状を有する被検体であっても精度良く焦点を合せることができるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
また、輝度値の総和について関数近似を行なうことで、より精度の向上が図られている。
また、輝度値の総和について関数近似を行なうことで、より精度の向上が図られている。
また、請求項4、5に記載の発明によれば、刃先の輪郭を抽出処理した後にハフ変換処理を用いることで刃先の輪郭を仮想線にて表現することができる。また、仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、部分領域ごとの輝度値を考慮するため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
請求項6に記載の発明によれば、部分領域ごとの輝度値を入力とする、欠陥検査に適するように学習されたニューラルネットモデルを用いるため、信頼性の高い欠陥の有無の判断を行なうことが可能となる。
Claims (10)
- 撮像手段により被検体を撮影して得られた画像から欠陥の有無を判断する欠陥検査方法において、
前記撮像手段により前記被検体の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節ステップと、
得られた画像を処理することで前記被検体における欠陥の有無を判断する画像解析ステップと、を具備し、
前記自動焦点調節ステップは、前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記被検体の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和が最大となる前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離に調節する、ことを特徴とする欠陥検査方法。 - 前記被検体は切刃部を有する切削工具であって、
前記画像解析ステップは、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内に前記刃先の輪郭が存在するか否かで欠陥の有無を判断するとした第一画像解析工程を含む、ことを特徴とする請求項1に記載の欠陥検査方法。 - 前記被検体は切刃部を有する切削工具であって、
前記画像解析ステップは、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断するとした第二画像解析工程を含む、ことを特徴とする請求項1に記載の欠陥検査方法。 - 前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ことを特徴とする請求項3に記載の欠陥検査方法。
- 前記画像解析ステップは、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ことを特徴とする請求項3又は請求項4に記載の欠陥検査方法。
- 撮像手段により被検体を撮影して得られた画像から欠陥の有無を判断する欠陥検査装置において、
前記撮像手段により前記被検体の撮影を行ない、得られた画像を処理することで前記撮像手段の焦点を合せる自動焦点調節部と、
得られた画像を処理することで前記被検体における欠陥の有無を判断する画像解析部と、を具備し、
前記自動焦点調節部は、前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を複数回変更して撮影し、撮影により得られた各画像に対して前記被検体の輪郭を抽出処理し、抽出処理により得られた各輪郭抽出画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値の総和を算出し、算出された輝度値の総和が最大となる前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離を特定し、特定された前記被検体と前記撮像手段との距離又は前記撮像手段の焦点距離に調節する、ことを特徴とする欠陥検査装置。 - 前記被検体は切刃部を有する切削工具であって、
前記画像解析部は、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内に前記刃先の輪郭が存在するか否かで欠陥の有無を判断するとした第一画像解析部を含む、ことを特徴とする請求項6に記載の欠陥検査装置。 - 前記被検体は切刃部を有する切削工具であって、
前記画像解析部は、撮影により得られた画像に対して前記切刃部の刃先の輪郭を抽出処理し、抽出処理により得られた輪郭抽出画像に対してハフ変換処理を用いることで前記刃先の輪郭を二本の仮想線にて表現し、該仮想線の交点を中心とする所定の径の円形領域内において撮影により得られた画像を複数の部分領域に分割し、該部分領域に分割された各画像に対して離散フーリエ変換処理を用いることで周波数領域に変換し、該周波数領域における輝度値を算出し、前記部分領域ごとの輝度値に基づいて欠陥の有無を判断するとした第二画像解析部を含む、ことを特徴とする請求項6に記載の欠陥検査装置。 - 前記部分領域ごとの輝度値は、該部分領域内の輝度を平均化して得られる値とする、ことを特徴とする請求項8に記載の欠陥検査装置。
- 前記画像解析部は、前記部分領域ごとの輝度値を入力とするニューラルネットモデルを用いて欠陥の有無を判断する、ことを特徴とする請求項8又は請求項9に記載の欠陥検査装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009186910A JP4543153B1 (ja) | 2009-08-11 | 2009-08-11 | 欠陥検査方法及び欠陥検査装置 |
PCT/JP2010/063479 WO2011019014A1 (ja) | 2009-08-11 | 2010-08-09 | 欠陥検査方法及び欠陥検査装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009186910A JP4543153B1 (ja) | 2009-08-11 | 2009-08-11 | 欠陥検査方法及び欠陥検査装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4543153B1 JP4543153B1 (ja) | 2010-09-15 |
JP2011038905A true JP2011038905A (ja) | 2011-02-24 |
Family
ID=42824790
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009186910A Expired - Fee Related JP4543153B1 (ja) | 2009-08-11 | 2009-08-11 | 欠陥検査方法及び欠陥検査装置 |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP4543153B1 (ja) |
WO (1) | WO2011019014A1 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184614A (ja) * | 2014-03-26 | 2015-10-22 | リコーイメージング株式会社 | 自動焦点調節装置 |
CN107561736A (zh) * | 2017-08-04 | 2018-01-09 | 南京理工大学 | 基于傅里叶及Hough变换的LCD缺陷检测方法 |
KR101905000B1 (ko) * | 2016-12-20 | 2018-10-08 | 주식회사 수아랩 | 이미지 데이터의 보정 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 |
JP2020052044A (ja) * | 2018-09-21 | 2020-04-02 | 古河電気工業株式会社 | 画像判定装置、画像検査装置、端子付き電線製造システム、および画像判定方法 |
KR102193189B1 (ko) * | 2020-02-12 | 2020-12-18 | 주식회사 삼도 | 절삭 공구 제조 방법 |
KR102666787B1 (ko) | 2021-11-03 | 2024-05-17 | (주)플레이오니 | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9221709B2 (en) | 2011-03-31 | 2015-12-29 | Raytheon Company | Apparatus for producing a vitreous inner layer on a fused silica body, and method of operating same |
CN107990842B (zh) * | 2017-11-27 | 2019-11-05 | 宝山钢铁股份有限公司 | 一种自定位自动对焦的ccd圆柱外轮廓检测装置 |
CN109886952B (zh) * | 2019-02-25 | 2021-04-23 | 京东方科技集团股份有限公司 | 一种屏幕缺陷点检测方法及其装置、计算机可读介质 |
CN114842010B (zh) * | 2022-07-04 | 2022-09-02 | 南通东方雨虹建筑材料有限公司 | 一种基于高斯滤波的建筑防火木材缺陷检测方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62150608U (ja) * | 1986-03-14 | 1987-09-24 | ||
JP2000074644A (ja) * | 1998-08-31 | 2000-03-14 | Nachi Fujikoshi Corp | 棒状切削工具の測定装置並びに該測定装置を使用したドリルの測定方法 |
JP2001264032A (ja) * | 2000-03-15 | 2001-09-26 | Koichi Nakano | 棒状切削工具の欠陥検査装置 |
JP2002122774A (ja) * | 2000-10-16 | 2002-04-26 | Nec Corp | 焦点位置決定システムおよび焦点位置決定方法 |
JP2003015024A (ja) * | 2001-06-29 | 2003-01-15 | Konica Corp | デジタルスチルカメラ |
JP2004191283A (ja) * | 2002-12-13 | 2004-07-08 | Ricoh Co Ltd | 欠陥検出方法及び欠陥検出装置 |
JP2008002848A (ja) * | 2006-06-20 | 2008-01-10 | Tateyama Machine Kk | 棒状回転工具の欠陥検査装置と欠陥検査方法 |
JP2008058133A (ja) * | 2006-08-31 | 2008-03-13 | Tohoku Univ | 長尺工具エッジの曲率半径の計測装置および長尺工具エッジの曲率半径の計測方法 |
JP2008164461A (ja) * | 2006-12-28 | 2008-07-17 | Kochi Univ Of Technology | 薄板状部品の検査方法と検査装置 |
-
2009
- 2009-08-11 JP JP2009186910A patent/JP4543153B1/ja not_active Expired - Fee Related
-
2010
- 2010-08-09 WO PCT/JP2010/063479 patent/WO2011019014A1/ja active Application Filing
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS62150608U (ja) * | 1986-03-14 | 1987-09-24 | ||
JP2000074644A (ja) * | 1998-08-31 | 2000-03-14 | Nachi Fujikoshi Corp | 棒状切削工具の測定装置並びに該測定装置を使用したドリルの測定方法 |
JP2001264032A (ja) * | 2000-03-15 | 2001-09-26 | Koichi Nakano | 棒状切削工具の欠陥検査装置 |
JP2002122774A (ja) * | 2000-10-16 | 2002-04-26 | Nec Corp | 焦点位置決定システムおよび焦点位置決定方法 |
JP2003015024A (ja) * | 2001-06-29 | 2003-01-15 | Konica Corp | デジタルスチルカメラ |
JP2004191283A (ja) * | 2002-12-13 | 2004-07-08 | Ricoh Co Ltd | 欠陥検出方法及び欠陥検出装置 |
JP2008002848A (ja) * | 2006-06-20 | 2008-01-10 | Tateyama Machine Kk | 棒状回転工具の欠陥検査装置と欠陥検査方法 |
JP2008058133A (ja) * | 2006-08-31 | 2008-03-13 | Tohoku Univ | 長尺工具エッジの曲率半径の計測装置および長尺工具エッジの曲率半径の計測方法 |
JP2008164461A (ja) * | 2006-12-28 | 2008-07-17 | Kochi Univ Of Technology | 薄板状部品の検査方法と検査装置 |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015184614A (ja) * | 2014-03-26 | 2015-10-22 | リコーイメージング株式会社 | 自動焦点調節装置 |
KR101905000B1 (ko) * | 2016-12-20 | 2018-10-08 | 주식회사 수아랩 | 이미지 데이터의 보정 방법, 장치 및 컴퓨터-판독가능 저장 매체에 저장된 컴퓨터 프로그램 |
CN107561736A (zh) * | 2017-08-04 | 2018-01-09 | 南京理工大学 | 基于傅里叶及Hough变换的LCD缺陷检测方法 |
JP2020052044A (ja) * | 2018-09-21 | 2020-04-02 | 古河電気工業株式会社 | 画像判定装置、画像検査装置、端子付き電線製造システム、および画像判定方法 |
KR102193189B1 (ko) * | 2020-02-12 | 2020-12-18 | 주식회사 삼도 | 절삭 공구 제조 방법 |
KR102666787B1 (ko) | 2021-11-03 | 2024-05-17 | (주)플레이오니 | 인공지능을 이용한 결함 검사방법, 장치 및 프로그램 |
Also Published As
Publication number | Publication date |
---|---|
JP4543153B1 (ja) | 2010-09-15 |
WO2011019014A1 (ja) | 2011-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4543153B1 (ja) | 欠陥検査方法及び欠陥検査装置 | |
TW202044443A (zh) | 利用自動產生缺陷特徵檢測半導體結構之方法及系統 | |
JP2017049974A (ja) | 識別器生成装置、良否判定方法、およびプログラム | |
JP6696278B2 (ja) | ドリフト検査装置 | |
JP5014003B2 (ja) | 検査装置および方法 | |
JP5626559B2 (ja) | 欠陥判定装置および欠陥判定方法 | |
JP6922166B2 (ja) | 円筒内面観察装置、円筒内面観察方法、円筒内面検査装置及び円筒内面検査方法 | |
CN115484371A (zh) | 一种图像采集方法、图像采集装置及可读取存储介质 | |
JP5305164B2 (ja) | 管材の内面検査装置及び検査方法 | |
CN114820475A (zh) | 边缘识别方法、系统、晶圆加工装置及晶圆与加工台同心状态确定方法 | |
JP5964803B2 (ja) | データ処理方法及びデータ処理装置 | |
JP2024012432A (ja) | 検査システム、及び非一時的コンピュータ可読媒体 | |
JP5042503B2 (ja) | 欠陥検出方法 | |
JP2005283267A (ja) | 貫通穴計測装置及び方法並びに貫通穴計測用プログラム | |
CN116309397A (zh) | 焊锡缺陷的检测方法、检测装置、计算机设备和存储介质 | |
CN117906531A (zh) | 3d扫描仪 | |
JP2010071867A (ja) | 偏心測定装置および方法 | |
JP6595800B2 (ja) | 欠損検査装置、及び欠損検査方法 | |
CN116930192B (zh) | 一种高精度铜管缺陷检测方法及系统 | |
CN116754568B (zh) | 一种基于暗场成像过焦扫描的层叠缺陷分离方法及装置 | |
CN111183351A (zh) | 图像传感器表面缺陷检测方法及检测系统 | |
JP2018146401A (ja) | 検査装置用制御装置、検査装置、検査装置制御方法、及び、プログラム | |
JP5603163B2 (ja) | 表面検査装置及び表面検査方法 | |
CN117576088B (zh) | 一种液体杂质智能过滤视觉检测方法和装置 | |
CN113627390B (zh) | 一种基于图像识别的定位方法、装置和设备 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130709 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |