JP2006208191A - 物品の外観検査装置 - Google Patents

物品の外観検査装置 Download PDF

Info

Publication number
JP2006208191A
JP2006208191A JP2005020535A JP2005020535A JP2006208191A JP 2006208191 A JP2006208191 A JP 2006208191A JP 2005020535 A JP2005020535 A JP 2005020535A JP 2005020535 A JP2005020535 A JP 2005020535A JP 2006208191 A JP2006208191 A JP 2006208191A
Authority
JP
Japan
Prior art keywords
image processing
image
inspection
reference value
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2005020535A
Other languages
English (en)
Other versions
JP4345930B2 (ja
Inventor
Mitsuyasu Fukuzawa
満保 福沢
Hisayuki Kato
久幸 加藤
Toshitaka Wakabayashi
俊孝 若林
Noboru Maekawa
登 前川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
YKK Corp
YKK AP Inc
Original Assignee
YKK Corp
YKK AP Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by YKK Corp, YKK AP Inc filed Critical YKK Corp
Priority to JP2005020535A priority Critical patent/JP4345930B2/ja
Priority to US11/883,152 priority patent/US8194967B2/en
Priority to CN2006800028994A priority patent/CN101107512B/zh
Priority to PCT/JP2006/300923 priority patent/WO2006080263A1/ja
Publication of JP2006208191A publication Critical patent/JP2006208191A/ja
Application granted granted Critical
Publication of JP4345930B2 publication Critical patent/JP4345930B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G01N21/8921Streaks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B07SEPARATING SOLIDS FROM SOLIDS; SORTING
    • B07CPOSTAL SORTING; SORTING INDIVIDUAL ARTICLES, OR BULK MATERIAL FIT TO BE SORTED PIECE-MEAL, e.g. BY PICKING
    • B07C5/00Sorting according to a characteristic or feature of the articles or material being sorted, e.g. by control effected by devices which detect or measure such characteristic or feature; Sorting by manually actuated devices, e.g. switches
    • B07C5/34Sorting according to other particular properties
    • B07C5/342Sorting according to other particular properties according to optical properties, e.g. colour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B21MECHANICAL METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL; PUNCHING METAL
    • B21CMANUFACTURE OF METAL SHEETS, WIRE, RODS, TUBES OR PROFILES, OTHERWISE THAN BY ROLLING; AUXILIARY OPERATIONS USED IN CONNECTION WITH METAL-WORKING WITHOUT ESSENTIALLY REMOVING MATERIAL
    • B21C51/00Measuring, gauging, indicating, counting, or marking devices specially adapted for use in the production or manipulation of material in accordance with subclasses B21B - B21F
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/89Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/8914Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the material examined
    • G01N2021/8918Metal

Landscapes

  • Engineering & Computer Science (AREA)
  • Textile Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Mechanical Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】物品の表面に生じた外観欠陥、例えばアルミ押出形材のストリーク、ダイスマーク、肌荒れと称される外観欠陥によって表面状態が製品として使用できない程度に悪いことを検出して不良品とすることのできる物品の外観検査装置とする。
【解決手段】物品の表面を撮像する撮像装置1と、その画像を取り込む画像処理装置3を備え、この画像処理装置3は、複数の画像処理部を有し、その各画像処理部は、取り込んだ画像を設定した判定基準値と比較して評価、例えばアルミ押出形材のストリーク、ダイスマーク、肌荒れと称される外観欠陥による表面状態の良し悪しを評価し、重みつけ部によって各画像処理部の評価に重みをつけて総合的に物品の良品、不良品を判定するようにした物品の外観検査装置。
【選択図】図1

Description

本発明は、物品、特に押出機により押出し成形されたアルミ押出形材の表面に発生した外観欠陥を検査する物品の外観検査装置に関する。
アルミ押出形材は、アルミニウム又はアルミニウム合金を素材として押出機によって押出し成形されたもので、建具などに広く用いられている。
このアルミ押出形材の表面には外観欠陥が生じることがあり、その外観欠陥の程度によっては、そのアルミ押出形材の表面状態が悪く、製品として用いることができない場合がある。このために、アルミ押出形材の表面に製品として用いることができない程度の外観欠陥があるかを検査し、その外観欠陥があるアルミ押出形材を不良品とする必要がある。
従来は、アルミ押出形材の表面状態を作業者が目視することで、そのアルミ押出形材の表面に生じた外観欠陥を検査し、その外観欠陥によってアルミ押出形材の表面状態が製品として用いることができないと判断した場合には、そのアルミ押出形材を不良品としている。
しかし、作業者による目視での外観検査では、その作業者の熟練度の差などによって製品として用いることができない不良品とする判断の違いがあり、検査結果が作業者によって異なり、不良品の判定がばらばらで信頼性の面で十分でなかった。
そこで、アルミ押出形材の外観検査を機械化した外観検査装置が特許文献1に開示されている。
このアルミ押出形材の外観検査装置は、押出機によって押出し成形された直後のアルミ押出形材の表面をカメラで撮像し、その画像を画像処理することで外観欠陥の程度を検出し、その外観欠陥の程度によって不良品と判定する装置である。
具体的には、アルミ押出形材の表面を撮像した画像を、押出し方向に直交する主走査方向及び押出し方向に平行な副操作方向にそれぞれ所定の幅を有する小領域に分割し、そのうち少なくとも2つの小領域の平均濃度を比較し、最大と最小の平均濃度差の絶対値を記憶し、その濃度差と予め定めた基準値とを比較し、基準値以上の時に不良品と判定する装置である。
特開2004−061311号公報
前述した従来の外観検査装置は、ストリークと称される押出し方向に沿って色調の異なる帯状模様の外観欠陥の検査に有効である。
しかし、アルミ押出形材の表面に生じる外観欠陥は、前述のストリークだけではなく、他の外観欠陥も生じる。
例えば、ダイスマーク、肌荒れと称される外観欠陥が生じる。
この、ダイスマーク、肌荒れと前述のストリークと称される外観欠陥による表面状態の良し悪しは、前述した作業者による目視での外観検査でそれぞれ検出できるが、従来の外観検査装置ではダイスマーク、肌荒れと称される外観欠陥による表面状態の良し悪しを検出できないことがある。
また、前述した従来の外観検査装置のように、画像処理して得た濃度差と基準値の比較結果による良品、不良品の判定では、良品、不良品を確実に選定できないことがある。例えば、前述したように画像処理による良品、不良品の判定と、作業者による目視での外観検査による良品、不良品の判定が一致しないことがあり、外観検査装置では良品と判定した物品でも作業者の目視による外観検査では不良品と判定されたり、このことは反対に不良品と判定した物品を良品と目視により判定されたりすることがある。
本発明の目的は、確実に良品、不良品を選定できると共に、物品の表面に生じた種々の外観欠陥、例えばアルミ押出形材の表面に生じるようなストリーク、ダイスマーク、肌荒れと称される外観欠陥による表面状態の良し悪しを検出できるようにして表面状態が製品として使用できない程度のアルミ押出形材を不良品として検出できるようにした物品の外観検査装置とすることである。
本発明は、確実に良品、不良品を選定できると共に、物品の表面を撮像する撮像装置1と、前記撮像装置1で撮像した画像を取り込む画像処理装置3を備え、
前記画像処理装置3は、複数の画像処理部を有し、
各画像処理部は、取り込んだ画像を各画像処理部ごとに設定した判定基準値と比較して評価し、
前記画像処理装置3は重みつけ部を有し、
この重みつけ部は、複数の画像処理部の評価に重みつけを行い、物品の良品、不良品の判定を行うことを特徴とする物品の外観検査装置である。
本発明においては、複数の画像処理部は、取り込んだ画像を設定した検査領域で輝度を検出し、判定基準値と比較して評価すること、
取り込んだ画像の検査領域を複数の検査ブロックに分割して、各検査ブロックで輝度を検出し、判定基準値と比較して評価すること、
取り込んだ画像の検査領域内に小領域を設定し、その小領域を移動して、移動中の設定位置で輝度を検出し、判定基準値と比較して評価すること、
を行うことが好ましい。
このようにすれば、設定した検査領域、複数に分割した検査ブロック、検査領域を移動する小領域のそれぞれで輝度を検出し、判定基準値と比較して評価を行っているので、外観欠陥を確実に検出でき、正確な良品、不良品の判定に役立つ。
本発明においては、前記画像処理装置3は、第1・第2・第3・第4・第5の画像処理部を有し、
その第1の画像処理部は、取り込んだ画像の明るい部分と暗い部分の輝度差を判定基準値と比較して評価し、
前記第2の画像処理部は、取り込んだ画像の明るい部分と暗い部分の輝度差の割合を判定基準値と比較して評価し、
前記第3の画像処理部は、取り込んだ画像を複数の検査ブロックに分割し、その検査ブロック毎の輝度差を算出し、輝度差闘値以上の輝度差を有する検査ブロックの数を判定基準値と比較して評価し、
前記第4の画像処理部は、取り込んだ画像を複数の検査ブロックに分割し、その検査ブロック毎の平均輝度に基づいて最大平均輝度差を算出し、その最大平均輝度差を判定基準値と比較して評価し、
前記第5の画像処理部は、取り込んだ画像の複数の小領域毎の輝度尖度を算出し、その最も大きな輝度尖度を判定基準値と比較して評価するすることが好ましい。
本発明においては、重みつけ部は、複数の画像処理部で検出した評価に、重みつけである係数を乗じ、
その係数を乗じた値をそれぞれ加算し、加算した値と判定基準値とを比較して、良品・不良品の判定を行うことが好ましい。
このようにすれば、重みつけ部20で複数の画像処理部の評価に重みつけを行うときは、評価に係数を乗じ、各画像処理部の評価に係数を乗じた値を加算して、判定基準値と比較して良品、不良品の判定をするので、重みつけによって評価が判定に与える影響を変更でき、これによって、確実な外観欠陥の検出及び目視と同等の検査が可能となる。
さらに、外観欠陥の種類を特定することが可能となる。
本発明における評価につける重みは、その評価をする画像処理部ごとに、その評価が物品の外観に与える影響度によって決定することが好ましい。
例えば、影響度が大きい評価には大きな係数を乗じて、その評価を重要なものとし、影響度が小さい評価には小さな係数を乗じて、その評価を軽いものにする。
このようにすることで、各係数を乗じた値を加算した値が、目視による検査の場合の判定順と同様になるから、目視と同様の検査が可能となる。
前述の物品の外観に与える影響度とは、外観欠陥の目立ち易さ、物品の後処理工程によって見えづらくなるか、ならないかの外観欠陥などである。
本発明においては、撮像する物品はアルミ押出形材5であり、前記撮像装置1を押出機4の押出し側に設けて押出し直後のアルミ押出形材5の表面を撮像するように構成し、
前記画像処理装置3は取り込んだ画像を前処理する前処理部7を有し、
この前処理部7は、押出し成形されたアルミ押出形材の振れ動きによる画像のぶれを補正してぶれのない画像とする機能を有する構成とすることが好ましい。
このようにすれば、ぶれのない画像に基づいて第1〜第5の画像処理部で画像処理して不良品とするから、正確に不良品を検出できる。
本発明においては、物品の撮像する部分の表面を照らす照明装置2を備え、前記照明装置2は複数の照明具2aを備え、その各照明具2aは光を照射する向きをそれぞれ調整可能であることが好ましい。
このようにすれば、アルミ押出形材の表面の段差に応じて高い部分と低い部分に正しく光を当てることができ、段差がある表面の表面状態を正確に検査できる。
本発明によれば、複数の画像処理部のそれぞれの判定基準値で評価されたものに重みつけをして製品として使用できない表面状態であるかを検査するので、確実に良品、、不良品を選定できるとともに、目視と異なり、判定が一定基準でできる効果がある。さらに、特にアルミ押出形材においては、ストリーク、ダイスマーク、肌荒れと称される外観欠陥を確実に選定できる。
図1に示すように、撮像装置1と照明装置2と画像処理装置3で外観検査装置としてある。
押出機4でアルミ押出形材5が矢印方向に沿って押出し成形される。このアルミ押出形材5が検査対象の物品である。
前記撮像装置1はアルミ押出形材5の表面を撮像する。例えばラインセンサカメラで、アルミ押出形材5の表面における押出し方向と直角な方向を撮像する。
前記照明装置2はアルミ押出形材5の表面を照らす。例えば、LEDで前記アルミ押出形材5の表面における撮像装置1による撮像部分に光を当てる。
前記画像処理装置3は、撮像装置1が撮像したアルミ押出形材5の表面の画像を取り込む画像取込部6と、その取り込んだ画像を前処理する前処理部7と、前処理した画像に基づき画像処理として判定基準値と比較して評価する複数の画像処理部10と、この複数の画像処理部10の評価に重みをつける重みつけ部20と、この重みをつけた結果に基づき検査対象物であるアルミ押出形材5の表面の外観欠陥の程度(つまり、表面状態)を類推して物品の良品、不良品を判定する判定部30と、その判定結果などを表示するモニタ40を備えている。
前記画像処理部10は取り込んだ画像に基づき演算する演算部8と、その演算結果と判定基準値を比較して評価する評価部9を備えている。
この実施の形態では5つの画像処理部、例えば第1〜第5画像処理部10〜10を備えている。
前記撮像装置1は押出機4の押出し側の位置に配置され、アルミ押出形材5の押出し直後の部分の表面を撮像し、その画像は直ちに画像処理装置3に送られる。
これによって、押出し成形されたアルミ押出形材を直ちに外観検査することができるので、画像処理装置3が不良品と判定した場合に直ちに押出機4を停止等することで不良品の発生をより少なくすることができる。
なお、撮像装置1の配置位置は前述の位置に限ることはなく、アルミ押出形材5のアルマイト処理後の搬送ラインに配置してアルマイト処理後の表面を撮像することで外観検査することができるし、アルミ押出形材5の塗装処理後の搬送ラインに配置して塗装後の表面を撮像することで外観検査することができる。
図1に示す撮像装置1はアルミ押出形材5の上面を撮像するようにしてあるが、これに限ることはなく、アルミ押出形材5の下面、側面を撮像するようにしても良い。
また、撮像装置1を複数としてアルミ押出形材5の複数の面を撮像するようにしても良い。
この場合には、1つの面の画像に基づいて良品、不良品をそれぞれ判定する。
前記照明装置2は、LEDなどの照明具2aを複数備え、その各照明具2aは光を照射する向きをそれぞれ調整可能で、アルミ押出形材5の表面形状に応じて光を照射する向きを調整して段差のある表面を撮像装置1で良好に撮像できるようにしてある。
例えば、図2に示すようにアルミ押出形材5の表面形状が高い部分5aと低い部分5bを有する段差のある場合には、一方の照明具2aは高い部分5aに光が当たるように調整し、他方の照明具2aは低い部分5bに光が当たるように調整することで両方の部分の明るさを同一とする。
つまり、照明具2aが1つで高い部分5aに光を当てると低い部分5bが高い部分5aの影となって低い部分5bに光が当たらずに暗くなるので、その低い部分5bを撮像できないことがある。
このようにすることで、段差のある表面を撮像装置1で均一の条件で撮像し、その段差のある表面の表面状態を正確に検査できる。
前述の照明具2aの調整については、人によっても良いが、アルミ押出形材の形状情報に基づいて設定するようにすることが好ましい。
前記照明装置2は前述したもの以外に、例えば太陽光を利用することもできる。この場合、太陽光を光ファイバーで受け、光ファイバーを通して検査面を照射する。その場合、太陽光と光量と光の指向性を制御する装置を介して照明装置に太陽光を利用する。
なお、前述の照明装置2を設けずに、この外観検査装置を設置した空間内の光のみとしても良い。
前記撮像装置1で撮像された画像は、画像取込部6で取り込まれ、アルミ押出形材5の表面の外観欠陥がある場合には、その画像に押出し方向と直角方向に輝度の異なる部分として押出し方向に沿って連続した帯状に表れる。
つまり、アルミ押出形材の表面の外観欠陥がある部分とない部分は、明るさが異なるから、前述の画像に、外観欠陥に応じた輝度の異なる帯状の部分が生じる。
前記画像を前処理部7で検査し易いように編集する。
前述の取り込まれた画像にぶれがある場合には、前処理部7で画像を修正してぶれのない画像とする。
つまり、アルミ押出形材5は押出機4から連続して押し出される際に、その押出し方向と直角方向に振れ動き、その振れ動いているアルミ押出形材5を撮像装置1が撮像するので、取り込まれた画像は、押出し方向に沿って波状となって前述の帯状の部分が押出し方向に沿って直線状ではなく波状となる。
このことを画像のぶれと称している。
この画像のぶれがある場合には、前処理部7で画像修正して帯状の部分を押出し方向に沿って直線状とする。
なお、アルミ押出形材5の振れ動きと同期して撮像装置1を振れ動き方向に機械的に揺動することで、ぶれのない画像を取り込むことも可能である。
前記演算部8は、前述したアルミ押出形材5の表面の取込み画像における検査領域内の輝度の差に基づいて種々の値を演算する。
例えば、第1・第2・第3・第4・第5演算部8,8,8,8,8を備えている。
前記評価部9は、演算部8で演算した種々の値と各演算処理部10〜10ごとに設定した種々の判定基準値を比較することで評価する。
例えば、第1・第2・第3・第4・第5評価部9,9,9,9,9を備えている。
前記第1演算部8の演算と第1評価部9の判定について説明する。
図3に示すように、取込み画像の検査領域aには、押出し方向Aと直角な方向Bに輝度が異なる部分b,c,d,e,fが存在し、その部分c,eは押出し方向Aに沿った帯状である。
第1演算部8は前述の各部分b〜fの輝度を検出し、その最大輝度と最小輝度の差(最大輝度差)Xを算出する。
前記第1評価部9は第1の輝度差判定基準値Cと第2の輝度差判定基準値Cを備え、その第2の輝度差判定基準値Cは第1の輝度差判定基準値Cよりも大きい値である。
そして、最大輝度差Xが第1の輝度差判定基準値Cよりも小さければ良品の可能性が高いと評価する。
前記最大輝度差Xが第1の輝度差判定基準値C以上で、第2の輝度差判定基準値Cよりも小さければ中間品と評価する。
前記最大輝度差Xが第2の輝度差判定基準値C以上であれば不良品の可能性が高いと評価する。
前述の第1演算部8と第1評価部9とによって、アルミ押出形材5の表面に、過度のストリークと称される外観欠陥、肌荒れと称される外観欠陥が生じ、それによって表面状態が製品として使用できない程度に悪いかどうかを検出する。
すなわち、アルミ押出形材の表面に生じたストリークと称される外観欠陥部分と他の部分とは光の反射の程度が異なるので、前述の取込み画像に輝度の異なる帯状の部分が生じ、その輝度の差が大きければ前述のストリークと称される外観欠陥が著しいことになる。
つまり、前述の第1演算部8と第1評価部9は、画像の明るい部分と暗い部分の輝度差を判定基準値と比較して評価する第1の画像処理部である。
前記第2演算部8の演算と第2評価部9の判定を説明する。
前記第2演算部8は、第1演算部8と同様に図3に示す検査領域aにおける最大輝度と最小輝度を検出し、その最大輝度に対する最小輝度の割合(最小輝度/最大輝度)、つまり輝度差割合Xを算出する。
前記第2評価部9は第1の輝度差割合判定基準値Dと第2の輝度差割合判定基準値Dを備え、その第1の輝度差割合判定基準値Dと第2の輝度差割合判定基準値Dよりも大きい。
そして、輝度差割合Xが第1の輝度差割合判定基準値D以上であれば良品の可能性が高いと評価する。
前記輝度差割合Xが第1の輝度差割合判定基準値Dよりも小さく、第2の輝度差割合判定基準値D以上であれば中間品と評価する。
前記輝度差割合Xが第2の輝度差割合判定基準値Dよりも小さい場合には不良品の可能性が高いと評価する。
前述の第2演算部8と第2評価部9とによって前述の第1演算部8、第1評価部9で検出できなかった過度のストリークと称される外観欠陥、肌荒れと称される外観欠陥が検出でき、それによって表面状態が製品として使用できない程度に悪いかどうか検出する。
すなわち、アルミ押出形材の表面全体の明暗の差によって前述のストリークと呼ばれる外観欠陥の見え方が異なり、暗い方が明るい方よりも目立つ。このために、アルミ押出形材の表面全体が暗い場合には前述の輝度差が判定基準値よりも小さい場合でもストリークと呼ばれる外観欠陥が目立つので不良品の可能性が高いとする必要があるが、前述の第1演算部8、第1評価部9では確実に検出することができない。
そこで輝度差割合によって輝度差にアルミ押出形材の表面全体の明暗を加味することで、輝度差が判定基準値よりも小さくとも輝度差割合が小さければ不良品の可能性が高いと評価するようにした。
つまり、第2演算部8と第2評価部9は、画像の明るい部分と暗い部分の輝度差の割合(最小輝度/最大輝度)を判定基準値と比較して評価する第2の画像処理部である。
前記第3演算部8の演算と第3評価部9の判定について説明する。
図4に示すように画像の検査領域aを押出し方向Aと直角な方向Bに複数の検査ブロックに等分割する。例えば、第1・第2・第3検査ブロックa−1,a−2,a−3に分割する。
各分割した検査ブロック毎に、前述したと同様に輝度を検出して最大輝度と最小輝度の差(最大輝度差)をそれぞれ算出する。例えば、前述した、第1・第2・第3検査ブロックa−1,a−2,a−3の最大輝度差をそれぞれ算出する。
各最大輝度差と設定した輝度差閾値をそれぞれ比較し、最大輝度差が輝度差閾値以上の検査ブロックの数を算出し、その数を全体の検出ブロックの数で割算して検査ブロック輝度差X(輝度差閾値を超えた検査ブロック数/総検査ブロック数)を算出する。例えば、第1・第2検査ブロックa−1,a−2の最大輝度差が輝度差閾値以上の場合には、検査ブロック輝度差Xは0.67(2/3)である。
前記第3評価部9は第1の検査ブロック輝度差判定基準値Eと第2の検査ブロック輝度差判定基準値Eを備え、第2の検査ブロック輝度差判定基準値Eは第1の検査ブロック輝度差判定基準値Eよりも大きい値である。
そして、検査ブロック輝度差Xが第1の検査ブロック輝度差判定基準値Eよりも小さければ良品の可能性が高いと評価する。
前記検査ブロック輝度差Xが第1の検査ブロック輝度差判定基準値E以上で第2の検査ブロック輝度差判定基準値Eより小さい場合は中間品と評価する。
前記検査ブロック輝度差Xが第2の検査ブロック輝度差判定基準値E以上の場合は不良品の可能性が高いと評価する。
前述の第3演算部8と第3評価部9とによって肌荒れと称される外観欠陥を検出し、それによって表面状態が製品として使用できない程度に悪い時に不良品とする。
すなわち、アルミ押出形材の表面全体(押出し方向と直角方向の全域)に亘って細かい凹凸が狭い幅で生じた場合を肌荒れと称する表面欠陥としている。
この場合には、画像上に狭い幅で輝度の異なる部分が押出し方向と直角な方向に多数存在するので、その画像を複数の検査ブロックに区分し、その検査ブロック輝度差が判定基準値以上である検査ブロックの数が多いことになるので、前述のようにすることで肌荒れと称する表面欠陥を検出することができる。
つまり、前述の第3演算部8と第3判定部9は、画像を複数の検査ブロックに分割し、その検査ブロック毎の輝度差を算出し、輝度差閾値以上の輝度差を有する検査ブロックの数を判定基準値と比較して評価する第3の画像処理部である。
前記第4演算部8の演算と第4評価部9の判定について説明する。
図4に示すように、画像の検査領域aを複数の検査ブロックに分割する。例えば、第1・第2・第3検査ブロックa−1,a−2,a−3に分割する。
各分割した検査ブロック毎に、押出し方向と直角な方向の輝度を順次検出して平均輝度をそれぞれ検出する。
そして、それぞれ検出した各検査ブロック毎の平均輝度を比較して最も大きな平均輝度(最大平均輝度)と最も小さな平均輝度(最小平均輝度)の差(最大平均輝度差)Xを算出する。
第4評価部9は第1の最大平均輝度差判定基準値Fと第2の最大平均輝度差判定基準値Fを備え、この第1の最大平均輝度差判定基準値Fは第2の最大平均輝度差判定基準値Fよりも小さい(F<F)値である。
そして、最大平均輝度差Xが第1の最大平均輝度差判定基準値Fよりも小さい時には良品の可能性が高いと評価する。
前記最大平均輝度差Xが第1の最大平均輝度差判定基準値F以上で、第2の最大平均輝度差判定基準値Fよりも小さい時には中間品と評価する。
前記最大平均輝度差Xが第2の最大平均輝度差判定基準値F以上の時には不良品の可能性が高いと評価する。
前述の第4演算部8と第4評価部9とによってストリークと称される外観欠陥を検出する。
つまり、前述の第4評価部8と第4評価部9は、画像を複数の検査ブロックに分割し、その検査ブロック毎の平均輝度に基づいて最大平均輝度差を算出し、その最大平均輝度差を判定基準値と比較して評価する第4の画像処理部である。
前記第5演算部8の演算と第5評価部9の評価について説明する。
図5(a)に示すように、画像の検査領域a内に、その検査領域aの全幅(押出し方向と直角な方向の寸法)Hよりも小さい幅Hに小領域Y(斜線部分)を設定する。
この小領域Yを図5(a)に示す幅方向一端から図5(b)、(c)に示すように幅方向他端まで所定の移動量L毎に順次移動し、その移動した小領域Y毎に前述と同様に幅方向に微小間隔毎の輝度を検出する。この移動量Lは前述の小領域Yの幅Hよりも小さい。
前述した各小領域Y毎に、その小領域内の最大輝度と幅方向両端の輝度を抽出し、その最大輝度と一端の輝度の差、その最大輝度と他端の輝度の差をそれぞれ算出し、それぞれの輝度差を加算して各小領域における輝度の尖度を検出する。
そして、算出した各小領域における輝度の尖度における最大値(最大輝度尖度値)Xを算出する。ここで、幅方向とは小領域Yが移動する方向である。
前記第5評価部9は、第1の輝度尖度判定基準値Gと、第2の輝度尖度判定基準値Gを備え、第1の輝度尖度判定基準値Gは第2の輝度尖度判定基準値Gよりも小さい値(G<G)である。
そして、最大輝度尖度値Xが第1の輝度尖度判定基準値Gよりも小さい時には良品の可能性が高いと評価する。
前記最大輝度尖度値Xが第1の輝度尖度判定基準値G以上で、第2の輝度尖度判定基準値Gよりも小さい時には中間品と評価する。
前記最大輝度尖度値Xが第2の輝度尖度判定基準値G以上の時には不良品の可能性が高いと評価する。
前述の第5演算部8と第5評価部9によってダイスマークと呼ばれる外観欠陥を検出し、それによって表面状態が製品として使用できない程度に悪い時に不良品とする。
すなわち、アルミ押出形材の表面の一部分に、他の部分よりも特に明るい帯状の部分がある場合をダイスマークと称する外観欠陥としている。
この場合、画像上に、特に明るい帯状部が存在するので、前述のように画像(検査領域)における複数の少領域の輝度尖度を算出し、その最も大きな輝度尖度が判定基準値以上であれば、前述の特に明るい帯状部が存在することになるので、アルミ押出形材の表面に生じたダイスマークと称される外観欠陥を検出して不良品とすることができる。
つまり、前述の第5演算部8と第5評価部9は、画像の複数の小領域毎の輝度尖度を算出し、その最も大きな輝度尖度を判定基準値と比較して評価する第5の画像処理部である。
前述の第1・第2・第3・第4・第5の画像処理部10〜10で判定基準値と比較して、良品、中間品、不良品の可能性を評価したものに基づいて物品の良品、不良品、中間品を判定するために、前述した画像処理装置3に図1に示すように重みつけ部20を設けている。この重みつけ部20は、5つの画像処理部の検出したものを総合して判定するためのものであり、その重みつけされた値をもとに判定部30によって、最終的な判定である物品の良品、不良品、中間品の判定を行う。
次に、前述の重みつけ部20について説明する。
前述の重みつけ部20は、各画像処理部で評価された値に予め設定した係数を乗じ、その評価を、重みをつけた値とする。
そして、各係数を乗じて重みをつけた値とした評価を、判定部30で加算し、その加算した値と判定基準値を比較して物品を最終的に良品、中間品、不良品と判定する。
つまり、評価において、良品の可能性が高いときの評価を大きな数字とし、不良品の可能性が高いときの評価を小さな数字とする場合、各係数を乗じた値を加算した値が、判定基準値(基準として設定した数字)以上であれば、良品であると判定される。下回った場合には、不良品と判定される。
中間品と判定したい場合には、前述の判定基準値を大、小の2つ設定し、前述のようにして加算した値がその2つの判定基準値の間の場合に中間品と判定するようにすれば良い。
また、評価において、不良品の可能性が高いときの評価を大きな数字とし、良品の可能性が高いときの評価を小さな数字とする場合には、前述とは反対に、加算した値が、判定基準値以上であれば不良品であると判定され、下回った場合には良品と判定される。中間品については上記と同様に判定基準値を2つ設ける。
例えば、第1〜第5評価部9〜9で評価した値に、それぞれ予め設定した係数を乗じて評価に重みをつける。
この係数は、例えば第1〜第5評価部9〜9での評価が物品の外観に及ぼす影響度に応じて設定する。具体的には、影響度が大きければ係数を大きく、小さければ係数を小さくする。つまり、重みつけに用いる係数は、物品の判定が作業者による目視と同等となるようにする。
その一例としては、目視で不良品と判定されるアルミ押出形材を実際に外観検査装置で検査し、不良品と判定するように係数を設定する。
つまり、重みつけによっていずれかの画像処理部で不良品の可能性が高いと評価しても、良品判定となることがある。
このように重みつけを行ったもので判定することで、ストリークやダイスマーク、肌荒れといった外観欠陥を確実に見つけることができる。また、その外観欠陥の種類を特定することも可能となる。
外観欠陥があった場合、制御部に信号を送って押出機4を停止、又は押出速度の制御などを自動的に行うようにしても良い。
このようにすれば、不良品の量を減らすことが可能である。
また、アルミ押出形材は後工程でアルマイト処理や塗装処理等の表面処理が行われるが、この表面処理の種類に合わせた判定をすることが可能となる。
例えば、アルミ押出成形したアルミ押出形材をアルマイト処理や塗装処理(つまり、表面処理)したことによって、その表面処理の種類によっては、第1の画像処理部による検査結果は外観欠陥になる影響が小さいといった場合がある。このときには重みつけによって、第1の評価の重要度を低くする。反対にその表面処理にはどうしても第2の画像処理部による評価が重要であるときには、その重要度を高くする。
これによって、表面処理に合わせた判定を行うことができ、単に良品、不良品というだけでなく、表面処理を加味することができるので、外観欠陥による処分量を減少することができる。
前述の説明において、良品とは製品として使用できる良好な外観であるアルミ押出形材のことで、不良品とは製品として使用できない程度の外観欠陥があるアルミ押出形材のことで、中間品とは機械的な検査では良品、不良品と判定できない程度の外観欠陥があるアルミ押出形材のことである。
良品、不良品の判定とは、良品、中間品、不良品のうち、少なくとも良品が含まれる判定を良品の判定とし、少なくとも不良品が含まれる判定を不良品の判定とする。
また、前述の説明において画像処理部での評価とは、例えば段階的な評価が考えられる。段階的な評価を5段階とした場合、良品の可能性の高いものを5、良品の可能性が少し高いものを4、どちらかというと良品のものを3、不良品の可能性が少し高いものを2、不良品の可能性の高いのものを1、などとして評価される。
前述のように画像処理装置3で中間品、不良品を判定した場合はその旨を作業者に知らせる。例えばモニタ40に中間品、不良品を表示すると共に、その時の画像を表示する。良品と判定した場合には、そのまま押出し作業を継続しても問題がないので、作業者には知らせない。
前記、アルミ押出形材が不良品の場合には、作業者が押出機4を停止等して押出し作業を中断して外観欠陥の発生防止処置を行い、再び押出機4を稼動して押出し作業する。
また、前述の、アルミ押出形材が中間品の場合には、作業者が目視による外観検査を行い、不良品ならば前述のことを行う。
前記画像処理装置3と押出機4の制御部(図示せず)を電気的に接続し、前述のように不良品、中間品と判定した場合には制御部に信号を送って、押出機4を停止、又は押出速度の制御などを自動的に行うようにしても良い。
このようにすれば、不良品の量を減らすことが可能である。
なお、良品と判定した場合にもモニタ10に表示するようにしても良い。
前述のアルミ押出形材の外観欠陥の検査は、押出し成形したアルミ押出形材をアルマイト処理した後、塗装処理した後(つまり、表面処理した後)に行うようにしても良い。
前述のように外観欠陥を検査するには、前述した画像処理装置3に図1に示すように重みつけ部20を設け、第1・第2・第3・第4・第5評価部9〜9の判定に表面処理に応じた重み(重要度)を設定すれば良い。
例えば、アルマイト処理皮膜の厚さ、ゴールド、ホワイトなどの塗装する色に応じて第1〜第5評価部9〜9の判定基準値の大きさを設定し、不良品と判定する外観欠陥による表面状態の良し悪しの程度を表面処理に応じて変更する。
また、この外観検査装置をアルミ押出し直後とアルマイト処理等の表面処理後の両方に設置して、アルミ押出し直後に検査して良品判定としたアルミ押出形材が表面処理後に不良品となっているかを確認して、良品となっている場合にはそのまま良品とし、不良品となっている場合には、重みつけの変更などによって外観欠陥の再発を防止するようにもできる。
外観検査装置の構成説明図である。 照明装置の詳細説明図である。 画像検査領域の輝度を検出する説明図である。 画像検査領域の輝度を検出する説明図である。 画像検査領域の輝度を検出する説明図である。
符号の説明
1…撮像装置、2…照明装置、2a…照明具、3…画像処理装置、4…押出機、5…アルミ押出形材、7…前処理部、8…演算部、9…評価部、10…演算処理部、20…重みつけ部、30…判定部、40…モニタ。

Claims (5)

  1. 物品の表面を撮像する撮像装置1と、前記撮像装置1で撮像した画像を取り込む画像処理装置3を備え、
    前記画像処理装置3は、複数の画像処理部を有し、
    各画像処理部は、取り込んだ画像を各画像処理部ごとに設定した判定基準値と比較して評価し、
    前記画像処理装置3は重みつけ部を有し、
    この重みつけ部は、複数の画像処理部の評価に重みつけを行い、物品の良品、不良品の判定を行うことを特徴とする物品の外観検査装置。
  2. 複数の画像処理部は、取り込んだ画像を設定した検査領域で輝度を検出し、判定基準値と比較して評価すること、
    取り込んだ画像の検査領域を複数の検査ブロックに分割して、各検査ブロックで輝度を検出し、判定基準値と比較して評価すること、
    取り込んだ画像の検査領域内に小領域を設定し、その小領域を移動して、移動中の設定位置で輝度を検出し、判定基準値と比較して評価すること、
    を行う請求項1記載の物品の外観検査装置。
  3. 前記画像処理装置3は、第1・第2・第3・第4・第5の画像処理部を有し、
    その第1の画像処理部は、取り込んだ画像の明るい部分と暗い部分の輝度差を判定基準値と比較して評価し、
    前記第2の画像処理部は、取り込んだ画像の明るい部分と暗い部分の輝度差の割合を判定基準値と比較して評価し、
    前記第3の画像処理部は、取り込んだ画像を複数の検査ブロックに分割し、その検査ブロック毎の輝度差を算出し、輝度差闘値以上の輝度差を有する検査ブロックの数を判定基準値と比較して評価し、
    前記第4の画像処理部は、取り込んだ画像を複数の検査ブロックに分割し、その検査ブロック毎の平均輝度に基づいて最大平均輝度差を算出し、その最大平均輝度差を判定基準値と比較して評価し、
    前記第5の画像処理部は、取り込んだ画像の複数の小領域毎の輝度尖度を算出し、その最も大きな輝度尖度を判定基準値と比較して評価する請求項1記載の物品の外観検査装置。
  4. 重みつけ部は、複数の画像処理部で検出した評価に、重みつけである係数を乗じ、
    その係数を乗じた値をそれぞれ加算し、加算した値と判定基準値とを比較して、良品・不良品の判定を行う請求項1記載の物品の外観検査装置。
  5. 撮像する物品はアルミ押出形材5であり、
    前記撮像装置1を押出機4の押出し側に設けて押出し直後のアルミ押出形材5の表面を撮像するように構成し、
    前記画像処理装置3は取り込んだ画像を前処理する前処理部7を有し、
    この前処理部7は、押出し成形されたアルミ押出形材の振れ動きによる画像のぶれを補正してぶれのない画像とする機能を有する請求項1記載の物品の外観検査装置。


JP2005020535A 2005-01-28 2005-01-28 物品の外観検査装置 Expired - Fee Related JP4345930B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2005020535A JP4345930B2 (ja) 2005-01-28 2005-01-28 物品の外観検査装置
US11/883,152 US8194967B2 (en) 2005-01-28 2006-01-17 Article visual inspection apparatus
CN2006800028994A CN101107512B (zh) 2005-01-28 2006-01-17 物品的外观检查装置
PCT/JP2006/300923 WO2006080263A1 (ja) 2005-01-28 2006-01-17 物品の外観検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005020535A JP4345930B2 (ja) 2005-01-28 2005-01-28 物品の外観検査装置

Publications (2)

Publication Number Publication Date
JP2006208191A true JP2006208191A (ja) 2006-08-10
JP4345930B2 JP4345930B2 (ja) 2009-10-14

Family

ID=36740294

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005020535A Expired - Fee Related JP4345930B2 (ja) 2005-01-28 2005-01-28 物品の外観検査装置

Country Status (4)

Country Link
US (1) US8194967B2 (ja)
JP (1) JP4345930B2 (ja)
CN (1) CN101107512B (ja)
WO (1) WO2006080263A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036993A (ja) * 2012-08-20 2014-02-27 Jfe Steel Corp ランアウト冷却歪による形状不良の予測方法および予測装置
CN104823033A (zh) * 2014-01-14 2015-08-05 Ykk株式会社 拉链用拉链拉头的检查装置
CN106607494A (zh) * 2016-11-15 2017-05-03 成都陵川特种工业有限责任公司 一种对产品进行自检的旋压机系统

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5058002B2 (ja) * 2008-01-21 2012-10-24 株式会社豊田中央研究所 物体検出装置
JP5392731B2 (ja) * 2009-10-05 2014-01-22 川崎重工業株式会社 超音波探傷検査の判定支援装置、判定支援方法、判定支援プログラム、及び該判定支援プログラムを記録したコンピュータ読取可能な記録媒体
KR101058726B1 (ko) * 2009-11-11 2011-08-22 삼성전자주식회사 조명 성분을 제거하기 위한 이미지 보정 장치 및 방법
JP5469532B2 (ja) * 2010-05-21 2014-04-16 株式会社キーエンス 画像処理装置、画像処理方法及びコンピュータプログラム
JP5161939B2 (ja) * 2010-08-31 2013-03-13 キヤノン株式会社 画像処理装置、撮像システム、及び画像処理装置の制御方法
US8791793B2 (en) * 2012-10-31 2014-07-29 Palo Alto Research Center Incorporated Systems and methods for identifying process molded parts
JP5957378B2 (ja) * 2012-12-28 2016-07-27 株式会社日立ハイテクノロジーズ 欠陥観察方法および欠陥観察装置
CN103743754B (zh) * 2014-01-26 2016-04-13 宜昌宏箭铝业有限责任公司 一种铝型材表处后焊合线缺陷的基材即时鉴定方法和设备
KR101644570B1 (ko) * 2015-04-17 2016-08-01 유미나 물품 감정 장치
TW201712325A (zh) * 2015-06-30 2017-04-01 Seiko Epson Corp 電子零件搬送裝置及電子零件檢查裝置
CN105092473B (zh) * 2015-07-13 2018-11-02 武汉华星光电技术有限公司 一种多晶硅薄膜的质量检测方法和系统
JP2017026565A (ja) * 2015-07-28 2017-02-02 株式会社島津製作所 検査装置及び検査方法
JP6496832B2 (ja) * 2015-09-30 2019-04-10 富士フイルム株式会社 画像登録装置及び画像登録方法及び画像登録システム
JP6427511B2 (ja) * 2016-02-01 2018-11-21 ユニ・チャーム株式会社 使い捨ておむつの着用状態の評価方法、使い捨ておむつの着用状態の評価システム、及び、使い捨ておむつの着用状態を評価するためのプログラム
CN106290394B (zh) * 2016-09-30 2023-04-07 华南理工大学 一种cpu散热器铝挤成型缺陷检测系统及检测方法
JP6630912B1 (ja) * 2019-01-14 2020-01-15 株式会社デンケン 検査装置及び検査方法
CN109799240A (zh) * 2019-02-01 2019-05-24 信阳舜宇光学有限公司 一种表面缺陷检测方法
EP3959358B1 (de) * 2019-04-25 2023-06-07 Speira GmbH Oberflächenbehandlung von flachprodukten aus aluminiumlegierungen umfassend farbmessungen

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61245045A (ja) 1985-04-23 1986-10-31 Nisshin Steel Co Ltd 金属帯の表面欠陥自動検査方法
CA2089332A1 (en) * 1992-03-12 1993-09-13 Robert Bishop Method of and apparatus for object or surface inspection employing multicolor reflection discrimination
JPH0616855U (ja) 1992-08-06 1994-03-04 株式会社エルム マルチcpuラインセンサコントローラ
JPH06229941A (ja) * 1993-01-29 1994-08-19 Ricoh Co Ltd 画像検査装置
JP3378377B2 (ja) 1994-09-17 2003-02-17 不二サッシ株式会社 アルミニウム押出形材のダイスライン測定方法
JPH08145907A (ja) 1994-11-15 1996-06-07 Toshiba Eng Co Ltd 欠陥検査装置
JPH08145908A (ja) 1994-11-15 1996-06-07 Toshiba Eng Co Ltd 欠陥検査装置における蛇行追従方式
JP2001281155A (ja) 2000-03-29 2001-10-10 Kyowakiden Industry Co Ltd 金属表面欠陥ライン検査装置
CN1526069A (zh) * 2001-07-10 2004-09-01 ��ʽ���綫������������� 工件损伤检查方法及其装置
JP4108403B2 (ja) 2002-07-29 2008-06-25 新日軽株式会社 アルミニウム押出形材の製造装置及び製造方法
JP2005158780A (ja) * 2003-11-20 2005-06-16 Hitachi Ltd パターン欠陥検査方法及びその装置
JP4954469B2 (ja) * 2004-12-20 2012-06-13 株式会社トプコン 外観検査方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014036993A (ja) * 2012-08-20 2014-02-27 Jfe Steel Corp ランアウト冷却歪による形状不良の予測方法および予測装置
CN104823033A (zh) * 2014-01-14 2015-08-05 Ykk株式会社 拉链用拉链拉头的检查装置
CN106607494A (zh) * 2016-11-15 2017-05-03 成都陵川特种工业有限责任公司 一种对产品进行自检的旋压机系统

Also Published As

Publication number Publication date
CN101107512B (zh) 2010-05-19
US8194967B2 (en) 2012-06-05
JP4345930B2 (ja) 2009-10-14
CN101107512A (zh) 2008-01-16
US20080310700A1 (en) 2008-12-18
WO2006080263A1 (ja) 2006-08-03

Similar Documents

Publication Publication Date Title
JP4345930B2 (ja) 物品の外観検査装置
TWI626438B (zh) 檢查設備及物品製造方法
JP4021366B2 (ja) ディスプレー装置の画質分析方法及びシステム
US20070286471A1 (en) Auto Distinction System And Auto Distinction Method
US20140152808A1 (en) Method and device for the reliable detection of material defects in transparent material
KR20170137222A (ko) 강판의 표면 결함 검사 장치 및 표면 결함 검사 방법
CN113670927A (zh) 异物、裂纹和其它表面异常的自动检查
JP2008190872A (ja) 表面不良検出装置、方法及びプログラム
CN107037053B (zh) 用于检测斑缺陷的设备和方法
JP2012251983A (ja) ラップフィルム皺検査方法及び装置
JP4652024B2 (ja) 表面検査方法及び装置
JP6515348B2 (ja) 表面検査装置用校正板及び表面検査装置の校正方法
CN115427790A (zh) 用于对反射对象成像的系统和方法
JP2007047079A (ja) 缶の巻締め不良検査方法
JP4108403B2 (ja) アルミニウム押出形材の製造装置及び製造方法
KR102632169B1 (ko) 유리기판 검사 장치 및 방법
JP5949690B2 (ja) 評価方法及び評価装置
JP2002333310A (ja) 塗油量分布測定装置及び塗油量分布測定方法
US6768812B1 (en) Method for locating features on an object using varied illumination
JP3661466B2 (ja) 塗装ムラ検査装置および方法
JP2009139209A (ja) 欠陥検査方法
JPH1172317A (ja) スパングルサイズ測定装置
JP2001228142A (ja) 紙の裁断面の品質を検査する方法
JP2008014907A (ja) 表面評価装置及び塗装標本
JP4108402B2 (ja) アルミニウム押出形材の外観検査装置及び外観検査方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061226

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090128

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090323

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090513

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090708

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120724

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130724

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees