JP2003196642A - 画像処理ノイズ除去装置及び方法 - Google Patents

画像処理ノイズ除去装置及び方法

Info

Publication number
JP2003196642A
JP2003196642A JP2001391226A JP2001391226A JP2003196642A JP 2003196642 A JP2003196642 A JP 2003196642A JP 2001391226 A JP2001391226 A JP 2001391226A JP 2001391226 A JP2001391226 A JP 2001391226A JP 2003196642 A JP2003196642 A JP 2003196642A
Authority
JP
Japan
Prior art keywords
image
noise
brightness
electronic component
luminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2001391226A
Other languages
English (en)
Inventor
Takuya Hayashi
琢也 林
Masatsugu Oyabu
正嗣 大藪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2001391226A priority Critical patent/JP2003196642A/ja
Publication of JP2003196642A publication Critical patent/JP2003196642A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Input (AREA)
  • Image Processing (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】撮影して画像に含まれるノイズを除去するする
ことによって、画像処理の対象の反射率や照明の照度に
ばらつきがあっても、前記対象を正しく認識することが
できるようにする。 【解決手段】撮影の対象を照らす照明装置16と、撮影
された画像に含まれるノイズを除去して画像処理を行う
認識処理部14と、前記画像に含まれる背景の輝度と識
別部分の輝度との差が最大となるように前記照明装置1
6の照度を制御する照明制御部15とを有する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、画像処理ノイズ除
去装置及び方法に関するものである。
【0002】
【従来の技術】従来、電子装置の製造ラインにおいて
は、プリント配線板等の基板上に実装されたコンデンサ
等のチップ状の電子部品があらかじめ定められた方向に
半田付けされているか否かを検査するために、画像処理
を利用した物品認識装置が採用され、前記電子部品に形
成されている極性マークに基づいて、前記電子部品の方
向を判別するようになっている。
【0003】この場合、コンデンサ等の電子部品は、正
負の端子を有しており、該端子が基板上の取付用端子
(ランド)に半田付けされることによって、実装される
ようになっている。そのため、電子部品の向いている方
向、すなわち、向きが間違っていると、正負の極性が逆
になってしまうので、前記電子部品が実装された基板に
よって構成される電子装置が正しく作動しなくなってし
まう。
【0004】一般に、チップ状の電子部品は極めて小型
で、外形から端子の極性を判別することが困難なので、
端子の極性を示すための極性マークが、電子部品の表面
における正又は負の端子に近い端部に印刷されている。
そこで、前記従来の物品認識装置は、表面に印刷されて
いる極性マークを画像処理によって認識して電子部品の
向きを判別するようになっている。そして、間違った向
きの電子部品が実装された基板は、物品認識装置によっ
て不良品として検出され、作業者等によって取り除かれ
るので、製造ラインの後工程へ送られないようになって
いる。
【0005】
【発明が解決しようとする課題】しかしながら、前記従
来の物品認識装置においては、画像処理によって電子部
品の表面に印刷されている極性マークを認識して電子部
品の向き判別するので、電子部品の向きを誤って判別
し、該電子部品が実装された基板を不良品として誤検出
してしまうことが多かった。
【0006】すなわち、従来の画像処理においては、電
子部品の表面に印刷されている極性マークを撮影するた
めに、照明光を電子部品の表面に照射するようになって
いる。しかし、背景部分である電子部品の表面や印刷部
分である極性マークの反射率は、一定でなく、電子部品
毎にばらつきがある。また、電子部品を照らす照明の照
度もばらついてしまうことがある。そのため、撮影され
画像に多くのノイズが含まれてしまい、印刷部分と背景
部分とを明確に識別することができず、前記極性マーク
を正しく認識することができなくなってしまう。
【0007】このように、電子部品の向きが誤って判別
されると、間違った向きの電子部品が実装された基板が
製造ラインの後工程へ送られたり、すべての電子部品が
正常に実装された基板が不良品として誤検出されたりし
てしまうので、製造ラインの不良品率が上昇したり、ス
ループットが低下したりしてしまう。
【0008】本発明は、前記従来の画像処理の問題点を
解決して、撮影した画像に含まれるノイズを除去するこ
とによって、画像処理の対象の反射率や照明の照度にば
らつきがあっても、前記対象を正しく認識することがで
きる画像処理ノイズ除去装置及び方法を提供することを
目的とする。
【0009】
【課題を解決するための手段】そのために、本発明の画
像処理ノイズ除去装置においては、撮影の対象を照らす
照明装置と、撮影された画像に含まれるノイズを除去し
て画像処理を行う認識処理部と、前記画像に含まれる背
景の輝度と識別部分の輝度との差が最大となるように前
記照明装置の照度を制御する照明制御部とを有する。
【0010】本発明の他の画像処理ノイズ除去装置にお
いては、さらに、前記照明制御部は、前記背景又は識別
部分のうちの輝度の高い方の輝度が最大となるように前
記照明装置の照度を制御する。
【0011】本発明の更に他の画像処理ノイズ除去装置
においては、さらに、前記認識処理部は、前記画像に含
まれる背景と識別部分とを識別して、該識別部分を認識
する。
【0012】本発明の更に他の画像処理ノイズ除去装置
においては、さらに、前記認識処理部は、前記画像に含
まれるノイズを除去する。
【0013】本発明の更に他の画像処理ノイズ除去装置
においては、さらに、前記認識処理部は、前記画像に含
まれる所定の範囲外の輝度をカットして輝度のノイズを
除去する。
【0014】本発明の更に他の画像処理ノイズ除去装置
においては、さらに、前記撮影の対象は基板上に実装さ
れた電子部品であり、前記識別部分は前記電子部品に印
刷された文字列である。
【0015】本発明の画像処理ノイズ除去方法において
は、画像に含まれる背景の輝度と識別部分の輝度との差
が最大となるように照度を制御して撮影の対象を照ら
し、撮影された画像に含まれるノイズを除去して画像処
理を行う。
【0016】本発明の他の画像処理ノイズ除去方法にお
いては、さらに、前記背景又は識別部分のうちの輝度の
高い方の輝度が最大となるように照度を制御する。
【0017】本発明の更に他の画像処理ノイズ除去方法
においては、さらに、前記画像に含まれる背景と識別部
分とを識別して、該識別部分を認識する。
【0018】本発明の更に他の画像処理ノイズ除去方法
においては、さらに、前記画像に含まれるノイズを除去
する。
【0019】本発明の更に他の画像処理ノイズ除去方法
においては、さらに、前記画像に含まれる所定の範囲外
の輝度をカットして輝度のノイズを除去する。
【0020】本発明の更に他の画像処理ノイズ除去方法
においては、さらに、前記撮影の対象は基板上に実装さ
れた電子部品であり、前記識別部分は前記電子部品に印
刷された文字列である。
【0021】
【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照しながら詳細に説明する。なお、本発明の
画像処理ノイズ除去方法は、いかなる画像処理にも適用
することができるものであるが、説明の都合上、ここで
は、プリント配線板等の基板上に実装されたコンデンサ
等のチップ状の電子部品を認識する物品認識装置に適用
した場合について説明する。
【0022】図2は本発明の実施の形態における電子部
品を示す斜視図である。
【0023】図において、21は、例えば、車両用ナビ
ゲーション装置、自動車用エンジン制御装置、ラジオ、
携帯端末機器、コンピュータ等の電子装置に組み込まれ
るプリント配線板等の基板、22は該基板21上に半
田、導電性接着剤等の手段によって固定され実装された
電子部品である。ここで、該電子部品22は、例えば、
IC、LSI等の能動素子、抵抗器、コイル、コンデン
サ等の受動素子等であるが、いかなる種類のものであっ
てもよい。なお、本実施の形態においては、説明の都合
上、前記基板21上に形成されている回路や、実装され
ている多数の電子部品は省略され、電子部品22とし
て、アルミ電解コンデンサ22a、該アルミ電解コンデ
ンサ22aよりも小型のアルミ電解コンデンサ22b、
及び、タンタルコンデンサ22cが図示されている。
【0024】そして、前記アルミ電解コンデンサ22
a、22b、及び、タンタルコンデンサ22cは、それ
ぞれ、例えば、正の電極端子23a、23b及び23c
を備え、該電極端子23a、23b及び23cが基21
の表面上に形成されている回路における取付用端子であ
る図示されないランドに半田、導電性接着剤等によって
導通可能に接続されている。なお、前記アルミ電解コン
デンサ22a、22b、及び、タンタルコンデンサ22
cは、それぞれ、前記電極端子23a、23b及び23
cと反対側に、反対の極性を備えた図示されない、例え
ば、負の電極端子を備えている。
【0025】また、前記アルミ電解コンデンサ22a、
22b、及び、タンタルコンデンサ22cの上端面に
は、製品名、部品番号、種類、規格、性能等を表示する
文字列24a、24b及び24cが印刷されている。な
お、本実施の形態において、文字列とは複数の文字から
成るものであり、また、該文字とは、ひらがな、カタカ
ナ、アルファベット、漢字等の文字だけでなく、ローマ
数字、アラビア数字、漢数字等の数字、+、−、×、√
等の学術記号、%、mm、cm等の単位記号、?、!、
〜等の記述記号、@、〒等の一般記号等の各種記号も含
むものである。
【0026】さらに、前記上端面には、例えば、負の極
性を備えた図示されない電極端子が位置する側を示す極
性マーク25a、25b及び25cが印刷されている。
これにより、前記アルミ電解コンデンサ22a、22
b、及び、タンタルコンデンサ22cが取り付けられた
向きを判別することができる。
【0027】次に、本発明の実施の形態における画像処
理ノイズ除去装置の構成を説明する。
【0028】図1は本発明の実施の形態における画像処
理ノイズ除去装置の構成を示す概念図である。
【0029】図において、23は、撮影の対象としての
電子部品22が実装された基板21が載置される載置台
であり、11は該載置台23の上方に配設された撮像装
置である。ここで、該撮像装置11は、例えば、工業用
テレビカメラであるが、CCD(Charge Cou
pled Device)、撮像管等の撮像手段を備
え、前記電子部品22等の画像を撮影することができる
ものであれば、いかなるものであってもよい。また、前
記撮像装置11は、載置台23に対して相対的に移動す
ることができ、該載置台23上に載置された基板21に
おける各箇所を順次撮影して、それぞれの電子部品22
の上端面の画像を順次撮影することができるようになっ
ている。この場合、撮像装置11を移動させてもよい
し、載置台23を移動させてもよい。
【0030】また、10は、前記撮像装置11によって
撮影された画像に基づいて物品を認識する制御装置であ
り、CPU、MPU等の演算手段、半導体メモリ、磁気
ディスク等の記憶手段、キーボード、マウス等の入力手
段、CRT、液晶ディスプレイ等の表示手段、通信イン
ターフェイス等を備える。そして、前記制御装置10
は、前記撮像装置11によって撮影された画像を格納す
る検査画像記憶部12、電子部品22を認識するための
基準となるモデル画像を格納するモデル画像記憶部1
3、電子部品22を認識する処理を実行する認識処理部
14、及び、後述される照明装置16を制御する照明制
御部15を有する。
【0031】ここで、前記認識処理部14は、検査画像
記憶部12に格納されている前記撮像装置11によって
撮影された画像をモデル画像記憶部13に格納されてい
るモデル画像と比較して、その類似度を正規化相関演算
によって算出する、すなわち、正規化相関によるパター
ンマッチングを行うようになっている。なお、正規化相
関によるパターンマッチングは、周知の技術である(特
開昭63−98070号公報及び特開平5−18957
0号公報参照)。
【0032】そして、照明装置16は載置台23の上方
に配設される。ここで、前記照明装置16は、例えば、
白熱電球、蛍光灯、ハロゲンランプ等であってもよい
が、照度制御における応答性に優れたLED(Ligh
t Emitting Diode)から成り、発光面
がリング状(環状)に形成されたリング状照明ユニット
16−1及び16−2であることが望ましい。この場
合、上段のリング状照明ユニット16−1の外径は、下
段のリング状照明ユニット16−2の内径よりも小さく
なっている。また、上段のリング状照明ユニット16−
1及び下段のリング状照明ユニット16−2の照明光の
色は同一である。これにより、前記電子部品22の上端
面が異なった角度で入射する照明光によって照らされる
ので、前記上端面の微小な傾き、該上端面に存在する微
小な傷、切り込み等が認識されないようになる。なお、
前記リング状照明ユニットは、3段以上であってもよ
い。また、一つのリング状照明ユニットを擬似同軸照明
ユニットとしてもよい。また、照明装置16と撮像装置
11の相対的位置関係は、変化しないことが望ましい。
【0033】次に、前記構成の画像処理ノイズ除去装置
の動作について説明する。
【0034】図3は本発明の実施の形態における撮像装
置によって撮影された画像を示す図、図4は本発明の実
施の形態における画像の輝度のノイズを除去する方法を
示す図、図5は本発明の実施の形態におけるモデル画像
の例を示す第1の図、図6は本発明の実施の形態におけ
るモデル画像の例を示す第2の図、図7は本発明の実施
の形態における物品認識処理を示すフローチャートであ
る。
【0035】ここでは、本実施の形態における画像処理
ノイズ除去装置を、電子装置等の製造ラインにおいて、
基板21上に実装された電子部品22の向きを判別し
て、間違った向きの電子部品22が実装された基板21
を不良品として検出するための検査工程において使用さ
れる物品認識装置に適用した場合について説明する。
【0036】まず、半田リフロー等の工程を経て、多数
の電子部品22が固定され、実装された基板21が載置
台23上に載置される。すると、撮像装置11及び照明
装置16が、図示されないロボットハンド、X−Y移動
装置等の移動手段によって、前記基板21上に存在する
前記多数の電子部品22のうちの1つの上に移動させら
れる。ここでは、前記載置台23は移動せず、前記照明
装置16が一体的に取り付けられた撮像装置11が前記
移動手段によって、前記載置台23に対して移動させら
れる場合について説明する。
【0037】そして、前記撮像装置11は、上方から電
子部品22の上端面の画像を撮影する。これにより、図
3に示されるような画像が撮影され、パターンマッチン
グの対象となる検査画像として検査画像記憶部12に格
納される。ここで、図3に示される画像は、前記電子部
品22がアルミ電解コンデンサである場合の例であり、
文字列24及び極性マーク25が含まれている。この場
合、検査画像の輝度におけるばらつきを低減するため
に、まず、空間フィルタを使用して、検査画像の平滑化
処理が行われる。これにより、画像がぼけた状態とな
り、微小なノイズ成分が画像から除去される。
【0038】続いて、認識処理部14は、所定の範囲以
上及び以下の輝度の成分をカットする背景カット処理を
行う。これにより、前記範囲外における輝度のノイズを
除去し、検査画像の輝度におけるばらつきをさらを低減
することができる。本実施の形態においては、正規化相
関によるパターンマッチングを行うようになっている。
そして、正規化相関によるパターンマッチングの場合、
検査画像における輝度のばらつきが少ない方、すなわ
ち、輝度のノイズが少ない方が安定した相関値を得るこ
とができ、安定したパターンマッチングの結果を得るこ
とができる。そのため、図4に示されるように、所定の
範囲、例えば、輝度が200以上及び80以下の輝度の
成分をカットするようになっている。
【0039】ここで、背景カット処理を行う前の検査画
像の輝度分布は、例えば、図4(a)に示されるように
なっている。なお、図4(a)において横軸には、撮像
装置11によって撮影された検査画像の輝度が示されて
いるが、該輝度の数値は、相対的なものであり、最大値
を255、最小値を0として、256段階に設定された
ものである。この場合、撮像装置11におけるCCD、
撮像管等の撮像手段の感度、アンプの増幅度等によって
得られる最大の輝度を255として設定することが通常
である。しかし、所定の輝度を255として設定するこ
ともできる。例えば、前記最大の輝度の80〔%〕の輝
度を最大値255として設定し、それ以上の輝度はすべ
て255として表すようにしてもよい。また、最小値に
ついても同様であり、前記撮像手段の感度、アンプの増
幅度等によって得られる最低の輝度を0として設定する
ことが通常であるが、適宜設定することができる。ま
た、図4(a)において縦軸には、撮像装置11によっ
て撮影された検査画像中の各輝度の画素の頻出する度
合、すなわち、頻度が示されている。なお、該頻度は、
全画素数に対する各輝度の画素の割合であってもよい
し、各輝度の画素の数であってもよい。
【0040】そして、図4(a)には、図3に示される
ような検査画像における輝度の分布例が示されている。
ここで、分布範囲27aは、画像に含まれる背景として
の電子部品22の本体部分に対応する画素の輝度分布を
示し、分布範囲27bは、識別部分としての文字列24
及び極性マーク25に対応する画素の輝度分布を示して
いる。電子部品22がアルミ電解コンデンサ等である場
合、背景となる本体部分はアルミニウム合金の地金であ
るため、照明装置16からの照明光の反射率が高いの
で、輝度が高くなる。また、前記文字列24及び極性マ
ーク25は、前記アルミニウム合金の地金に印刷されて
いるため、照明装置16からの照明光の反射率が前記ア
ルミニウム合金の地金よりも低いので、輝度が低くな
る。
【0041】この場合、輝度が200に対応する上限ラ
イン28a及び輝度が80に対応する下限ライン28b
を設定して、前記上限ライン28a以上の範囲及び下限
ライン28b以下の範囲をカットし、前記上限ライン2
8aと下限ライン28bとの間の範囲を抽出する。そし
て、横軸のスケールを調整して、前記上限ライン28a
に対応する輝度を255に設定し、前記下限ライン28
bに対応する輝度を0に設定することによって、背景カ
ット処理が行われた画像を得ることができる。ここで、
該背景カット処理が行われた検査画像の輝度分布は、図
4(b)に示されるようになる。
【0042】なお、前記上限ライン28a及び下限ライ
ン28bの対応する輝度の値は、適宜設定することがで
きる。例えば、図4(a)に示される例において、分布
範囲27bが、より縦軸に近い位置にある場合、すなわ
ち、文字列24及び極性マーク25に対応する画素の輝
度分布がより低い輝度範囲にある場合には、下限ライン
28bをより低い輝度の値に対応させることが望まし
い。この場合、文字列24において最も印刷の薄い部分
が検出することができるように、下限ライン28bの対
応する輝度の値を設定することが望ましい。
【0043】続いて、認識処理部14は、1つのモデル
画像を参照して、該モデル画像が検査画像中のどの位置
にあるかを見出すために第1パターンマッチング処理を
行う。ここで、物品を認識するための基準となるモデル
画像が、前記物品毎にあらかじめ作成され、モデル画像
記憶部13に格納されている。前記モデル画像は、さら
に、それぞれの物品に対して複数作成されていることが
望ましい。例えば、図3に示されるような上端面の画像
を有する電子部品22に対しては、図5に示されるよう
に、文字列を構成する文字の太さが異なる4つのモデル
画像があらかじめ作成され、モデル画像記憶部13に格
納されている。なお、図5に示されるモデル画像は、文
字列に加えて、電子部品22の上端面の輪郭線及び極性
マークを含んでいるが、前記電子部品22の上端面の輪
郭線及び極性マークは省略することができる。さらに、
前記文字列も全部でなく、一部分の文字列だけがモデル
画像に含まれていてもよい。なお、後述されるパターン
マッチング処理において、モデル画像に含まれる各種画
像の中から、必要な文字列の部分だけを抽出して、パタ
ーンマッチングのためのモデル画像とすることもでき
る。
【0044】また、前記電子部品22がタンタルコンデ
ンサである場合には、図6に示されるように、文字列を
構成する文字の太さが異なる2つのモデルがあらかじめ
作成され、モデル画像記憶部13に格納されている。そ
して、図6に示されるモデル画像も、図5に示される画
像と同様に、文字列に加えて、電子部品22の上端面の
輪郭線及び極性マークを含んでいるが、前記電子部品2
2の上端面の輪郭線及び極性マークは省略することがで
きる。さらに、前記文字列も全部でなく、一部分の文字
列だけがモデル画像に含まれていてもよい。
【0045】そして、第1パターンマッチング処理にお
いては、それぞれの物品に対して作成されている複数の
モデル画像の中から1つのモデル画像が選択され、該1
つのモデル画像を参照して、該モデル画像が検査画像中
のどの位置にあるかを見出すためのパターンマッチング
処理が行われる。ここでは、図5(a)に示されるモデ
ル画像が選択された場合について説明する。この場合、
文字列の中の所定の範囲26が抽出されて、パターンマ
ッチングのためのモデル画像とされる場合について説明
する。なお、前記範囲26はすべての文字列を含むよう
に設定されてもよいし、少ない数の文字から成る文字
列、例えば、「16v」だけを含むように設定されても
よい。なお、アラビア数字の1、漢数字の一等のよう
に、極めて単純な形状の文字だけから成る文字列を前記
パターンマッチングのためのモデル画像とすることは避
けることが望ましい。もっとも、個々の文字の形状が単
純であっても、文字列全体としての形状があまり単純に
ならなければ、前記パターンマッチングのためのモデル
画像として選択するのに相応しい。
【0046】続いて、認識処理部14は、図5(a)に
示されるモデル画像の範囲26に含まれる文字列をパタ
ーンマッチングのためのモデル画像として参照し、図3
に示されるような検査画像と比較する。この場合、認識
処理部14は、正規化相関によるパターンマッチングを
行い、類似度としての相関値を算出し、前記範囲26に
含まれる文字列が前記検査画像のどの位置に存在するか
を探し出して、前記範囲26に含まれる文字列の前記検
査画像における位置座標及び回転角度を算出する。な
お、第1パターンマッチング処理は前記範囲26に含ま
れる文字列の前記検査画像における位置座標及び回転角
度を予備的に決定するために行われるものなので、第1
パターンマッチング処理における前記相関値の閾(しき
い)値は低い値に設定される。これにより、認識処理部
14の処理負担が軽減され、第1パターンマッチング処
理の処理時間が短縮される。
【0047】続いて、認識処理部14は、第1パターン
マッチング処理によって算出された範囲26に含まれる
文字列の検査画像における位置座標及び回転角度に関し
て確認するために第2パターンマッチング処理を行う。
この場合、それぞれの物品に対して複数作成されモデル
画像記憶部13に格納されているモデル画像をすべて参
照して、パターンマッチングが行われる。したがって、
認識処理部14は、図5(a)〜(d)に示されるモデ
ル画像の範囲26に含まれる文字列をパターンマッチン
グのためのモデル画像として順次参照し、図3に示され
るような検査画像と比較する。
【0048】電子部品の場合、表面に印刷されている製
品名、部品番号、種類、規格、性能等を表示するための
文字列は、その色や線幅が、印刷状態によって、わずか
ずつではあるが、異なっていることが多い。そのため、
モデル画像記憶部13には、図5(a)〜(d)に示さ
れるように、文字列の線幅が少しずつ相違する4つのモ
デル画像が格納されている。
【0049】そして、認識処理部14は、図5(a)〜
(d)に示されるモデル画像の範囲26に含まれる文字
列をパターンマッチングのためのモデル画像として参照
し、図3に示されるような検査画像と順次比較する。こ
の場合、認識処理部14は、正規化相関によるパターン
マッチングを行い類似度としての相関値を算出し、最も
相関値の高いモデル画像を選択する。なお、第1パター
ンマッチング処理によって、範囲26に含まれる文字列
の前記検査画像における位置座標及び回転角度が予備的
に決定されているため、正規化相関によるパターンマッ
チングを行っても、認識処理部14の処理負担がさほど
大きくなることはなく、処理時間も長くなることがな
い。ここでは、図5(a)に示されるモデル画像の範囲
26に含まれる文字列をパターンマッチングのためのモ
デル画像とした場合に、最も高い相関値を得ることがで
きたものとする。
【0050】続いて、認識処理部14は、第2パターン
マッチング処理によって選択されたモデル画像の相関
値、すなわち、最も高い相関値が、あらかじめ設定され
た閾値以上であるか否かを判定する相関値判定処理を行
う。この場合、前記閾値は、第1パターンマッチング処
理において設定された相関値の閾値よりも高い値に設定
される。そして、前記相関値が閾値以上である場合、認
識処理部14は、電子部品22が正しく認識されたもの
と判断して、範囲26に含まれる文字列の検査画像にお
ける位置座標及び回転角度に基づいて、前記電子部品2
2が存在することを確認し、該電子部品22の位置、角
度、向き、傾き等を算出して出力する。これにより、制
御装置10は、前記電子部品22の向きを判別して、該
電子部品22が基板21上に正しく実装されたか否かを
判断することができる。
【0051】一方、前記相関値が閾値未満である場合、
認識処理部14は、照明照度変更処理を行う。ここで、
撮像装置11によって撮影された検査画像中の文字列の
線幅は、照明装置16からの照明光の照度、すなわち、
照明照度によって変化し、明るい背景中に暗い色で印刷
された文字列の線幅は、前記照明照度が強くなると細く
なる。これは、前記文字列の線の周囲の背景から反射さ
れて撮像装置11に入射する照明光が強くなり、文字列
の線幅を浸食するためである。そのため、所定の照明照
度において撮影された検査画像中の文字列の線幅が、例
えば、図5(d)に示されるように太い場合でも、照明
照度を強くすると、例えば、図5(a)に示されるよう
に、細くなってしまう。
【0052】また、暗い背景中に明るい色で印刷された
文字列の線幅は、前記照明照度が強くなると太くなる。
この場合、所定の照明照度において撮影された検査画像
中の文字列の線幅が、例えば、図6(a)に示されるよ
うに細い場合でも、照明照度を強くすると、例えば、図
6(b)に示されるように、太くなってしまう。
【0053】そこで、認識処理部14は、照明制御部1
5に指令を送信し、照明装置16を制御して、照明照度
をあらかじめ設定された変化量だけ変化させて、再度、
電子部品22の上端面の画像を撮像装置11に撮影させ
る。そして、前述された検査画像の平滑化処理、背景カ
ット処理、第1パターンマッチング処理、第2パターン
マッチング処理及び相関値判定処理が行われる。
【0054】そして、該相関値判定処理において、第2
パターンマッチング処理によって算出された最も高い相
関値が、あらかじめ設定された閾値以上であると判定さ
れた場合は、前述されたように、電子部品22の位置、
角度、向き、傾き等が算出されて出力される。一方、前
記相関値が閾値未満である場合、前記照明照度変更処理
が再度行われるようにしてもよいし、前記電子部品22
についての処理を終了して、該電子部品22の検出不能
を確認して出力してもよい。なお、前記照明照度変更処
理が何度も行われるように設定することは可能である
が、基板21の検査工程のスループットが低下するの
で、1、2度行われるように設定することが望ましい。
【0055】このようにして、制御装置10が、前記電
子部品22の向きを判別して、該電子部品22が基板2
1上に正しく実装されたか否かを判断すると、撮像装置
11が前記基板21上の他の電子部品22の上に移動さ
せられ、該他の電子部品22に対して前述された検査画
像の平滑化処理、背景カット処理、第1パターンマッチ
ング処理、第2パターンマッチング処理及び相関値判定
処理が行われる。そして、前記基板21上のすべての電
子部品22の向きが判別され、該電子部品22が基板2
1上に正しく実装されたか否かが判断される。
【0056】次に、フローチャートについて説明する。
ステップS1 検査画像の輝度におけるばらつきを低減
するために、空間フィルタを使用して平滑化処理を行
い、微小なノイズ成分を除去する。ステップS2 検査
画像の輝度におけるばらつきを低減するために、所定の
範囲以上又は以下の輝度の成分をカットし、前記範囲外
の輝度のノイズを除去する。ステップS3 一つのモデ
ルを参照し、該モデルが検査画像のどの位置にあるか探
し、位置座標及び回転角度を算出する。ステップS4
算出された位置座標及び回転角度から、複数のモデルの
中で最も相関値が高いものを選択する。ステップS5
選択されたモデルの相関値が閾値以上であるか否かを判
定する相関値判定処理を行う。ステップS6 相関値が
閾値未満である場合は、照明照度変更処理を行う。ステ
ップS7 相関値が閾値以上である場合は、電子部品2
2が正しく認識されたと判断し、再度、照明照度変更処
理を行っても相関値が閾値未満である場合は電子部品2
2が認識されないとして処理を終了する。
【0057】ところで、検査画像にノイズが含まれない
ようにして文字列の形状を認識するためには、背景の輝
度と印刷部分である文字列の輝度との差が大きいことが
望ましい。そのため、本実施の形態においては、背景の
輝度と文字列、すなわち、印刷部分の輝度との差が最大
となるように照明照度があらかじめ設定されるようにな
っている。
【0058】図8は本発明の実施の形態における照明照
度を設定する方法を示す図、図9は本発明の実施の形態
における照明照度の変化に対する画像の輝度変化の実測
値を示す図である。
【0059】ここで、照明照度を変化させると、背景の
輝度及び印刷部分の輝度は、図8に示されるように変化
する。図8において横軸には、照明装置16からの照明
光の照度、すなわち、照明照度が示され、縦軸には撮像
装置11によって撮影された検査画像の輝度が示されて
いる。該輝度の数値は、図4(a)における輝度と同様
に、相対的なものであり、最大値を255、最小値を0
として、256段階に設定されたものである。この場
合、撮像装置11におけるCCD、撮像管等の撮像手段
の感度、アンプの増幅度等によって得られる最大の輝度
を255として設定することが通常であるが、所定の輝
度を255として設定することもできる。例えば、前記
最大の輝度の80〔%〕の輝度を最大値255として設
定し、それ以上の輝度はすべて255として表すように
してもよい。また、最小値についても同様であり、前記
撮像手段の感度、アンプの増幅度等によって得られる最
低の輝度を0として設定することが通常であるが、適宜
設定することができる。
【0060】そして、図3に示されるような検査画像の
ように、背景が明るい色で反射率が高く、印刷部分が暗
い色で反射率が低い場合、照明照度を変化させると、背
景の輝度及び印刷部分の輝度は、図8において線31及
び線32で示されるように変化する。ここで、線31は
前記背景の輝度の変化を示し、線32は印刷部分の輝度
の変化を示している。また、線33は輝度の最大値25
5を示している。そして、照明照度を変化させた場合、
背景の輝度と印刷部分の輝度との差は線分34の長さで
示される。
【0061】図8において、線分34が最長となるの
は、該線分34の上端が線31及び線33の交点に位置
する場合であることが分かる。なお、該交点に対応する
照明照度の値は矢印35で示される。このことから、背
景の輝度が最大となるように照明照度を設定した場合、
すなわち、照明照度の値を矢印35で示される値とした
場合に、背景の輝度と印刷部分の輝度との差が最大とな
ることが判明した。なお、図3に示されるように、背景
の輝度よりも印刷部分の輝度が高い場合は、印刷部分の
輝度が最大となるように照明照度を設定する。
【0062】ここで、背景の輝度と印刷部分の輝度との
差が大きいと、画像に含まれるノイズを確実に除去する
ことができる。すなわち、通常のノイズフィルタは、画
像に含まれるノイズの値よりも十分に大きな閾値を設定
して、該閾値以下の信号をすべて除去するようにして、
ノイズを除去することができる。この場合でも、背景の
輝度と印刷部分の輝度との差が大きいので、背景と印刷
部分とを明確に識別することができる。
【0063】これに対し、背景の輝度と印刷部分の輝度
との差が小さい場合には、前記閾値を大きくすることが
できないので、ノイズを確実に除去することができなく
なってしまう。そのため、背景と印刷部分とを明確に識
別することができなくなってしまう。また、前記閾値を
大きくするとノイズも除去されるが、背景又は印刷部分
を示す信号も除去されてしまうので、背景と印刷部分と
を明確に識別することができなくなってしまう。
【0064】したがって、撮像装置11によって撮影さ
れた検査画像における背景又は印刷部分のうちの輝度の
高い方の輝度が最大となるように照明制御部15が照明
装置16を制御することによって、通常のノイズフィル
タを使用しても、画像に含まれるノイズを確実に除去す
ることができる最適な照明照度を設定することができ
る。
【0065】なお、検査画像が、図6に示されるよう
に、背景が暗い色で反射率が低く、印刷部分が明るい色
で反射率が高い場合には、図8において、前記背景の輝
度は線32のような変化を示し、印刷部分の輝度は線3
1のような変化を示す。したがって、撮像装置11によ
って撮影された検査画像における印刷部分の輝度が最大
となるように照明制御部15が照明装置16を制御する
ことによって、最適な照明照度を設定することができ
る。
【0066】図9には、照明照度の変化に対する輝度変
化の実測値を表す「照明照度−CCD感度特性」が示さ
れている。図9において横軸には、照明装置16からの
照明光の照度、すなわち、照明照度が示され、縦軸には
撮像装置11によって撮影された検査画像の輝度として
のCCD感度が示されている。
【0067】ここで、前記照明照度の数値は、相対的な
ものであり、最大値を255、最小値を0として、25
6段階に設定されたものであり、照明装置16の出力を
制御可能な最大出力とした場合の照明照度を255とし
て設定し、照明装置16の出力を制御可能な最小出力と
した場合の照明照度を0として設定したものである。ま
た、前記CCD感度は、撮像装置11の撮像手段である
CCDの出力値であり、検査画像における輝度に比例す
る値である。そして、前記CCD感度の数値も、相対的
なものであり、得られる最大値を255として設定し、
最低の値を0として設定したものである。
【0068】また、図9における線36は、照明装置1
6からの照明光を電子部品22としてのタンタルコンデ
ンサの上端面のタンタル合金の地金に入射させた場合の
反射光のCCD感度特性を示している。また、線37
は、照明装置16からの照明光を電子部品22としての
アルミ電解コンデンサの上端面のアルミニウム合金の地
金に入射させた場合の反射光のCCD感度特性を示して
いる。さらに、線38は、照明装置16からの照明光を
電子部品22としてのアルミ電解コンデンサ及びタンタ
ルコンデンサの上端面に印刷された文字に入射させた場
合の反射光のCCD感度特性を示している。
【0069】なお、いずれの場合も、照明照度が0であ
っても、CCD感度が0となっていないが、これは照明
装置16の出力を制御可能な最小出力としても、若干の
照明光が照射されるためであると考えられる。また、タ
ンタルコンデンサのタンタル合金の地金からの反射光
は、照明装置16の出力を制御可能な最大出力として
も、CCD感度の最大値に到達しないことが分かる。さ
らに、アルミ電解コンデンサの上端面のアルミニウム合
金の地金からの反射光、及び、印刷された文字からの反
射光のCCD感度特性は、上限近傍が判然としていな
い。
【0070】しかし、照明照度の数値もCCD感度の数
値も相対的なものであり、スケールを調整することが可
能なので、縦軸及び横軸のスケールを適切に調整するこ
とによって、図8に示されるような直線的な関係を得る
ことができる。
【0071】なお、照明照度と輝度との関係は、照明装
置16からの照明光を反射する部分の色合いや表面の粗
さだけでなく、照明装置16及び撮像装置11からの距
離、すなわち、照明光の光路長によっても変化する。そ
して、載置台23と、照明装置16及び撮像装置11と
の高さ関係は、通常、変化させないようになっているの
で、電子部品22の高さが相違すると、同種の部品であ
り同様の上端面を有する場合であっても、照明照度と輝
度との関係が変化してしまう。
【0072】そこで、あらかじめ、それぞれの電子部品
22に関して、背景の輝度と印刷部分の輝度との差が最
大となる場合の照明照度の値、すなわち、矢印35で示
される値を設定し、制御装置10の記憶手段に格納して
おくことが望ましい。この場合、背景又は印刷部分のう
ちの輝度の高い方の輝度が最大となる場合の照明照度の
値を設定するだけでよいので、それぞれの電子部品22
に関して、容易に前記照明照度の値を設定することがで
きる。そして、基板21上に実装された電子部品22の
向きを判別する際に、撮像装置11が基板21上の電子
部品22の上に移動させられ、該電子部品22の上端面
の画像を撮影する時に、照明照度が前記電子部品22に
関して設定された値となるように照明制御部15が照明
装置16を制御するようにする。
【0073】なお、背景の輝度と印刷部分の輝度との差
が最大となる場合の照明照度の値をあらかじめ設定して
おかずに、基板21上に実装された電子部品22の向き
を判別する際に、設定することもできる。この場合、撮
像装置11が基板21上の電子部品22の上に移動させ
られ、それぞれの電子部品22の上端面の画像を撮影す
る時に、照明照度を変化させて、背景の輝度の変化を測
定する。そして、それぞれの電子部品22に関して背景
又は印刷部分のうちの輝度の高い方の輝度が最大となる
場合の照明照度の値を設定するだけでよいので、それぞ
れの電子部品22に関して、容易に、かつ、短時間で前
記照明照度の値を設定することができる。
【0074】このように、本実施の形態において、画像
処理ノイズ除去装置の照明制御部15は、画像に含まれ
る背景の輝度と印刷部分の輝度との差が最大となるよう
に照明装置16の照度を制御するようになっている。こ
の場合、背景の輝度と印刷部分の輝度との差が大きいの
で、画像に含まれるノイズを確実に除去することができ
るので、文字列の印刷や照明照度にばらつきがあって
も、前記電子部品22の有無、位置、角度、向き、傾き
等を検出することができる。そのため、制御装置10
は、前記電子部品22の向きを判別して、該電子部品2
2が基板21上に正しく実装されたか否かを確実に判断
することができる。
【0075】また、電子部品22に関して背景又は印刷
部分のうちの輝度の高い方の輝度が最大となる場合の照
明照度の値を設定するだけで、背景の輝度と印刷部分の
輝度との差が最大となるので、容易に、かつ、短時間で
前記照明照度の値を設定することができる。
【0076】さらに、認識処理部14は、所定の範囲以
上及び以下の輝度の成分をカットする背景カット処理を
行うので、前記範囲外の輝度のノイズを除去し、検査画
像の輝度におけるばらつきを効果的に低減することがで
きる。
【0077】さらに、認識処理部14は、1つのモデル
画像を参照して、該モデル画像が検査画像中のどの位置
にあるかを見出すための第1パターンマッチング処理を
行った後に、該第1パターンマッチング処理の結果に基
づき、複数のモデル画像を参照して、より精密な第2パ
ターンマッチング処理を行う。そのため、認識処理部1
4の処理負担が軽減され、処理時間も短縮される。
【0078】さらに、認識処理部14は、照明照度を変
更してパターンマッチングを再度行うための照明照度変
更処理を行う。そのため、照明照度にばらつきがあって
も、適切にパターンマッチングを行うことができる。
【0079】なお、本実施の形態においては、プリント
配線板等の基板上21に実装されたコンデンサ等のチッ
プ状の電子部品22を認識する物品認識装置について説
明したが、本発明の画像処理ノイズ除去装置及び方法
は、いかなる画像処理にも適用することができ、画像に
含まれるノイズを確実に除去することができ、対象を正
しく認識することができる。
【0080】また、本発明は前記実施の形態に限定され
るものではなく、本発明の趣旨に基づいて種々変形させ
ることが可能であり、それらを本発明の範囲から排除す
るものではない。
【0081】
【発明の効果】以上詳細に説明したように、本発明にお
いて、画像処理ノイズ除去装置は、撮影の対象を照らす
照明装置と、撮影された画像に含まれるノイズを除去し
て画像処理を行う認識処理部と、前記画像に含まれる背
景の輝度と識別部分の輝度との差が最大となるように前
記照明装置の照度を制御する照明制御部とを有する。
【0082】また、画像処理ノイズ除去方法は、画像に
含まれる背景の輝度と識別部分の輝度との差が最大とな
るように照度を制御して撮影の対象を照らし、撮影され
た画像に含まれるノイズを除去して画像処理を行う。
【0083】この場合、背景の輝度と識別部分の輝度と
の差が大きいので、画像に含まれるノイズを確実に除去
することができるので、背景や識別部分や照明照度にば
らつきがあっても、対象を正しく認識することができ
る。
【0084】また、前記背景又は識別部分のうちの輝度
の高い方の輝度が最大となるように前記照明装置の照度
を制御するだけで、背景の輝度と印刷部分の輝度との差
が最大となるので、容易に、かつ、短時間で前記照明照
度の値を設定することができる。
【図面の簡単な説明】
【図1】本発明の実施の形態における画像処理ノイズ除
去装置の構成を示す概念図である。
【図2】本発明の実施の形態における電子部品を示す斜
視図である。
【図3】本発明の実施の形態における撮像装置によって
撮影された画像を示す図である。
【図4】本発明の実施の形態における画像の輝度のノイ
ズを除去する方法を示す図である。
【図5】本発明の実施の形態におけるモデル画像の例を
示す第1の図である。
【図6】本発明の実施の形態におけるモデル画像の例を
示す第2の図である
【図7】本発明の実施の形態における物品認識処理を示
すフローチャートである。
【図8】本発明の実施の形態における照明照度を設定す
る方法を示す図である。
【図9】本発明の実施の形態における照明照度の変化に
対する画像の輝度変化の実測値を示す図である。
【符号の説明】
14 認識処理部 15 照明制御部 16 照明装置 21 基板 22 電子部品 24、24a、24b、24c 文字列 25、25a、25b、25c 極性マーク
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5B047 AA12 BB06 BC11 CA19 5B057 AA03 BA02 BA11 CE02 DA03 DC22

Claims (12)

    【特許請求の範囲】
  1. 【請求項1】 (a)撮影の対象を照らす照明装置と、
    (b)撮影された画像に含まれるノイズを除去して画像
    処理を行う認識処理部と、(c)前記画像に含まれる背
    景の輝度と識別部分の輝度との差が最大となるように前
    記照明装置の照度を制御する照明制御部とを有すること
    を特徴とする画像処理ノイズ除去装置。
  2. 【請求項2】 前記照明制御部は、前記背景又は識別部
    分のうちの輝度の高い方の輝度が最大となるように前記
    照明装置の照度を制御する請求項1に記載の画像処理ノ
    イズ除去装置。
  3. 【請求項3】 前記認識処理部は、前記画像に含まれる
    背景と識別部分とを識別して、該識別部分を認識する請
    求項1又は2に記載の画像処理ノイズ除去装置。
  4. 【請求項4】 前記認識処理部は、前記画像に含まれる
    ノイズを除去する請求項1〜3のいずれか1項に記載の
    画像処理ノイズ除去装置。
  5. 【請求項5】 前記認識処理部は、前記画像に含まれる
    所定の範囲外の輝度をカットして輝度のノイズを除去す
    る請求項1〜4のいずれか1項に記載の画像処理ノイズ
    除去装置。
  6. 【請求項6】 前記撮影の対象は基板上に実装された電
    子部品であり、前記識別部分は前記電子部品に印刷され
    た文字列である請求項1〜5のいずれか1項に記載の画
    像処理ノイズ除去装置。
  7. 【請求項7】 (a)画像に含まれる背景の輝度と識別
    部分の輝度との差が最大となるように照度を制御して撮
    影の対象を照らし、(b)撮影された画像に含まれるノ
    イズを除去して画像処理を行うことを特徴とする画像処
    理ノイズ除去方法。
  8. 【請求項8】 前記背景又は識別部分のうちの輝度の高
    い方の輝度が最大となるように照度を制御する請求項7
    に記載の画像処理ノイズ除去方法。
  9. 【請求項9】 前記画像に含まれる背景と識別部分とを
    識別して、該識別部分を認識する請求項7又は8に記載
    の画像処理ノイズ除去方法。
  10. 【請求項10】 前記画像に含まれるノイズを除去する
    請求項7〜9のいずれか1項に記載の画像処理ノイズ除
    去方法。
  11. 【請求項11】 前記画像に含まれる所定の範囲外の輝
    度をカットして輝度のノイズを除去する請求項7〜10
    のいずれか1項に記載の画像処理ノイズ除去方法。
  12. 【請求項12】 前記撮影の対象は基板上に実装された
    電子部品であり、前記識別部分は前記電子部品に印刷さ
    れた文字列である請求項7〜11のいずれか1項に記載
    の画像処理ノイズ除去方法。
JP2001391226A 2001-12-25 2001-12-25 画像処理ノイズ除去装置及び方法 Pending JP2003196642A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001391226A JP2003196642A (ja) 2001-12-25 2001-12-25 画像処理ノイズ除去装置及び方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001391226A JP2003196642A (ja) 2001-12-25 2001-12-25 画像処理ノイズ除去装置及び方法

Publications (1)

Publication Number Publication Date
JP2003196642A true JP2003196642A (ja) 2003-07-11

Family

ID=27598882

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001391226A Pending JP2003196642A (ja) 2001-12-25 2001-12-25 画像処理ノイズ除去装置及び方法

Country Status (1)

Country Link
JP (1) JP2003196642A (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014240763A (ja) * 2013-06-11 2014-12-25 Nok株式会社 ワーク表面欠陥検査装置
JP2017034202A (ja) * 2015-08-06 2017-02-09 Juki株式会社 検査装置、実装装置、検査方法及びプログラム
JP2018081999A (ja) * 2016-11-15 2018-05-24 株式会社Fuji 認識装置
JP2021171550A (ja) * 2020-04-30 2021-11-01 京楽産業.株式会社 遊技機

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014240763A (ja) * 2013-06-11 2014-12-25 Nok株式会社 ワーク表面欠陥検査装置
JP2017034202A (ja) * 2015-08-06 2017-02-09 Juki株式会社 検査装置、実装装置、検査方法及びプログラム
JP2018081999A (ja) * 2016-11-15 2018-05-24 株式会社Fuji 認識装置
JP7033845B2 (ja) 2016-11-15 2022-03-11 株式会社Fuji 認識装置及び部品実装機
JP2021171550A (ja) * 2020-04-30 2021-11-01 京楽産業.株式会社 遊技機
JP7364230B2 (ja) 2020-04-30 2023-10-18 京楽産業.株式会社 遊技機

Similar Documents

Publication Publication Date Title
JP2003196641A (ja) 物品認識装置及び方法
JP3266429B2 (ja) パターン検出方法
JP2003196642A (ja) 画像処理ノイズ除去装置及び方法
JP2002243655A (ja) 電子部品の外観検査方法および外観検査装置
JP2003227801A (ja) 曲面性状検査方法およびこの方法を用いた基板検査装置
KR101126759B1 (ko) 칩 마운터의 부품 정보 티칭방법
JP2775411B2 (ja) 印刷配線板検査装置用の照明装置
JP3098847B2 (ja) 部品認識方法
KR0141154B1 (ko) 회로기판의 부품장착상태 검사방법
JPH0989525A (ja) リード肩部の位置検出方法およびリード先端部の位置検出方法
JP4087973B2 (ja) 実装部品の部品間検査方法およびその装置
JP3182936B2 (ja) リード端部検出方法
JP2000311245A (ja) 回路パターンの縁辺判別方法および縁辺判別装置
JPH06204700A (ja) チップ部品実装検査装置
Honda et al. Automated Visual Inspection Algorithm for Solder Joint of Surface Mount Devices Based on Three Dimensional Shape Analysis.
JPH0674714A (ja) 基板位置検出方法
JP6751567B2 (ja) 電子部品検査方法、電子部品実装方法、及び電子部品実装装置
JP3052734B2 (ja) 電子部品の欠品検査方法
Ko et al. Enhancement of placement accuracy for SMD via development of a new illumination system
KR100213346B1 (ko) 조정부품의 조정홈 검출장치 및 방법
JPH074931A (ja) 光切断法を使用してなすピーク検出法
JPH06350299A (ja) 挿入部品検査装置
KR0155814B1 (ko) 인쇄 회로 기판상의 칩 인식 방법
JP2002111300A (ja) 実装基板検査装置及び方法
JP2005349437A (ja) 加工上の基準点の位置決定方法およびレーザ加工機

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080218

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080422