JP2015111631A - 認識装置、認識方法、実装装置及び実装方法 - Google Patents

認識装置、認識方法、実装装置及び実装方法 Download PDF

Info

Publication number
JP2015111631A
JP2015111631A JP2013253359A JP2013253359A JP2015111631A JP 2015111631 A JP2015111631 A JP 2015111631A JP 2013253359 A JP2013253359 A JP 2013253359A JP 2013253359 A JP2013253359 A JP 2013253359A JP 2015111631 A JP2015111631 A JP 2015111631A
Authority
JP
Japan
Prior art keywords
chip
illumination
recognition
unit
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013253359A
Other languages
English (en)
Other versions
JP6338169B2 (ja
Inventor
真司 上山
Shinji Kamiyama
真司 上山
美昭 行森
Yoshiaki Yukimori
美昭 行森
将人 梶並
Masahito Kajinami
将人 梶並
達也 石本
Tatsuya Ishimoto
達也 石本
史孝 諸石
Fumitaka Moroishi
史孝 諸石
佳史 村田
Keishi Murata
佳史 村田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to JP2013253359A priority Critical patent/JP6338169B2/ja
Priority to KR1020140057098A priority patent/KR20150066424A/ko
Publication of JP2015111631A publication Critical patent/JP2015111631A/ja
Application granted granted Critical
Publication of JP6338169B2 publication Critical patent/JP6338169B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08Monitoring manufacture of assemblages
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K1/00Printed circuits
    • H05K1/02Details
    • H05K1/0266Marks, test patterns or identification means
    • H05K1/0269Marks, test patterns or identification means for visual or optical inspection
    • HELECTRICITY
    • H05ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05KPRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/0015Orientation; Alignment; Positioning

Landscapes

  • Engineering & Computer Science (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Manufacturing & Machinery (AREA)
  • Operations Research (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Wire Bonding (AREA)

Abstract

【課題】短時間で良好な半導体チップの認識および位置推定が可能となる認識装置、認識方法、実装装置及び実装方法を提供する。
【解決手段】移動している認識対象物を撮像する撮像部と、認識対象物の主面の垂直方向から光を照射する第1の照明部と、主面の斜め方向から光を照射する第2の照明部と、を有し、撮像部により撮像を行う際に認識対象物を照明する照明装置と、撮像部が撮像する画像に基づいて認識対象物の位置を認識する信号処理部と、を備えた認識装置であって、認識対象物にある複数の被撮像領域に応じて、第1の照明部及び第2の照明部から主面への光の照射を制御する。
【選択図】図1

Description

本発明は、認識装置、認識方法、実装装置及び実装方法に関する。
半導体製品の製造の後工程に用いる装置(Die−Bonder、Mounter)では、半導体チップを搭載する際の位置推定方法として、半導体チップ上のバンプおよび基準マークを半導体チップ認識用ラインセンサで撮像し位置を推定する(例えば特許文献1参照)。
この撮像の際、照明機構により、照明を半導体チップ表面および基準マークに照射することが行われる。一般に、照明機構は同軸照明と角度照明から構成されており(例えば特許文献2、3参照)、上記位置推定では、バンプおよび基準マーク両方が良好に撮像されるように光量が調整される必要がある。
特開2013−123020号公報 特許第4670375号公報 特許第4381764号公報
しかしながら、特許文献1、特許文献2等に記載されている照明機構の制御方法を用いる場合では、バンプのみを良好に撮像する照明条件と、基準マークのみを良好に撮像する照明条件が必ずしも一致しないため、良好な半導体チップの認識および位置推定の阻害要因となっていた。
本発明は、上記の事情を考慮してなされたものであり、短時間で良好な半導体チップの認識および位置推定が可能となる認識装置、認識方法、実装装置及び実装方法を提供することを目的とする。
上記課題を解決するため、本発明の認識装置は、移動している認識対象物を撮像する撮像部と、前記認識対象物の主面の垂直方向から光を照射する第1の照明部と、前記主面の斜め方向から光を照射する第2の照明部と、を有し、前記撮像部により撮像を行う際に前記認識対象物を照明する照明装置と、前記撮像部が撮像する画像に基づいて前記認識対象物の位置を認識する信号処理部と、を備えた認識装置であって、前記認識対象物にある複数の被撮像領域に応じて、前記第1の照明部及び前記第2の照明部から前記主面への光の照射を制御する、ことを特徴とする。
また、本発明の他の認識装置は、前記認識対象物は半導体チップであり、前記認識対象物にある複数の被撮像領域には、基準マークが設けられる第1の領域と、バンプが吸着した第2の領域とがあり、前記第1の領域では、前記第1の照明部をオンさせ、前記第2の照明部をオフさせ、前記第2の領域では、前記第1の照明部をオフさせ、前記第2の照明部をオンさせる制御を行う、ことを特徴とする。
また、本発明の実装装置は、前記信号処理部による認識結果に基づいて前記認識対象物の位置や角度に係る所定の補正制御を行って前記認識対象物を所定の回路基板に実装することを特徴とする。
また、本発明の認識方法は、移動している認識対象物を撮像する撮像部と、前記認識対象物の主面の垂直方向から光を照射する第1の照明部と、前記主面の斜め方向から光を照射する第2の照明部と、を有し、前記撮像部により撮像を行う際に前記認識対象物を照明する照明装置と、前記撮像部が撮像する画像に基づいて前記認識対象物の位置を認識する信号処理部と、を持ち、前記認識対象物にある複数の被撮像領域に応じて、前記第1の照明部及び前記第2の照明部から前記主面への光の照射を制御する、ことを特徴とする。
また、本発明の他の認識方法は、前記認識対象物は半導体チップであり、前記認識対象物にある複数の被撮像領域には、基準マークが設けられる第1の領域と、バンプが吸着した第2の領域とがあり、前記第1の領域では、前記第1の照明部をオンさせ、前記第2の照明部をオフさせ、前記第2の領域では、前記第1の照明部をオフさせ、前記第2の照明部をオンさせる制御を行う、ことを特徴とする。
また、本発明の実装方法は、前記信号処理部による認識結果に基づいて前記認識対象物の位置や角度に係る所定の補正制御を行って前記認識対象物を所定の回路基板に実装することを特徴とする。
本発明によれば、基準マークを撮像する際の照明条件と半導体チップ上のバンプを撮像する際の照明条件とを、移動している認識対象物の撮像時刻に対してリアルタイムに変更することで、基準マークが設けられる第1の領域と、バンプが吸着した第2の領域とを、それぞれの最適な照明条件で撮像することができる。従って、本発明によれば、最適な照明条件で撮像した撮像画像に基づいて、短時間で良好な半導体チップの認識および位置推定が可能となる認識装置、認識方法、実装装置及び実装方法を提供することができる。
本発明の一実施形態としての実装装置100の構成例を説明するための模式図である。 図1に示したチップカメラ2、ズームレンズ33及びICチップ4の位置関係を模式的に示した斜視図である。 図1に示したチップカメラ2による撮像画像の一例を説明するための模式図である。 図1に示した照明装置の構成例を説明するための模式図である。 図1に示した実装装置100の内部構成例を説明するためのブロック図である。 実装装置100の動作の流れを示したフローチャートである。 図6のステップS104の処理を説明するための図である。 照明装置の切り替え動作を説明するためのタイミングチャートである。 図1に示したチップカメラ2による撮像画像の例を説明するための図である。
以下、図面を参照して本発明の実施の形態について説明する。図1は、本発明の一実施形態としての実装装置100(認識装置)の構成例を説明するための模式図である。図1に示した実装装置100は、IC(Integrated Circuit)チップ4(半導体チップ)を回路基板8に実装するための装置である。実装装置100は、信号処理部1、チップカメラ2、ズームレンズ33、移動部6、モーションコントローラ61、基板ステージ7、固定台7a、プレースカメラ10、照明コントローラ51、チップカメラ用照明装置52、プレースカメラ用照明装置53等を備えている。
信号処理部1は、チップカメラ2及びプレースカメラ10から取得した各画像信号に対して所定の認識処理を行い、その認識処理の結果やICチップ4や回路基板8の設計情報等に応じてモーションコントローラ61等を制御する。この信号処理部1は、ケーブル41を介してモーションコントローラ61と接続されている。また、信号処理部1は、ケーブル42を介してチップカメラ2と接続されている。また、信号処理部1は、ケーブル43を介してプレースカメラ10と接続されている。そして、信号処理部1は、ケーブル44を介してズームレンズ33と接続されている。
モーションコントローラ61は、モータ等を用いた駆動機構を有して構成されていて、信号処理部1の指示に従って、移動部6を矢印または丸印で示したXYZの各軸方向に移動させるとともに、XY平面上で向きθを変化させる。すなわち、移動部6は、図に向かって奥行前後方向(X方向)、左右方向(Y方向)、上下方向(Z方向)に所定の長さ移動可能であるとともに、吸着ヘッド5の向きθを所定の角度の範囲で変化させることが可能である。なお、X軸の正の向きは奥から手前への向きであり、Y及びZ軸の正の向きは矢印の向きである。
また、モーションコントローラ61は、図1において不図示のエンコーダから出力されるエンコーダパルス(XYZの各軸における自身の位置を表す信号)に応じて、チップカメラ2、プレースカメラ10の撮像開始および終了タイミングとなる制御信号(後述する制御信号Trigger_C、Trigger_P)を出力する。そのため、モーションコントローラ61は、ケーブル48を介してチップカメラ2と、ケーブル49を介してプレースカメラ10と、それぞれ接続されている。また、モーションコントローラ61は、ケーブル45を介して照明コントローラ51と接続されている。また、照明コントローラ51は、ケーブル46、47を介してチップカメラ用照明装置52、プレースカメラ用照明装置53と接続されている。
照明コントローラ51は、モーションコントローラ61がエンコーダパルスから生成した制御信号(後述する制御信号Trigger_M)に基づいて制御信号(後述する制御信号Trigger_I1、I2)を生成し、ケーブル46、47を介してチップカメラ用照明装置52、プレースカメラ用照明装置53に対して出力する。チップカメラ用照明装置52、プレースカメラ用照明装置53は、照明コントローラ51から入力される制御信号に基づいて、各照明装置による照明の開始、切り替え、照明の終了タイミングなどを制御する。
移動部6は、先端部に吸着ヘッド5を有して構成されている。吸着ヘッド5は、ICチップ4を吸着する。図1では、1つの移動部6の、チップカセット3からICチップ4を吸着して持ち上げた状態(左側の移動部6)、チップカメラ2の上を通過している状態(中央の移動部6)、及び、回路基板8上に移動した状態(右側の移動部6)を同時に示している。チップカセット3、チップカメラ2、回路基板8、プレースカメラ10等は、図1に示したような位置関係を有して配置されている。
吸着ヘッド5は、例えば多孔質金属からなる吸着面5aを有して構成されている。吸着ヘッド5は、負圧を利用して吸着面5aにICチップ4を吸着する。また、吸着ヘッド5は、回路基板8にICチップ4を載せた状態で加熱され、ICチップ4が有する複数の半田バンプを回路基板8上の所定の接点に熱圧着する。なお、吸着面5aには、ICチップ4の吸着状態を認識する際の基準となるマークが記されている。
チップカセット3は、複数のICチップ4を収納する容器である。チップカセット3は、上面(すなわちZ軸上向き)が開放されている。
ICチップ4は、半導体集積回路チップである。本実施形態において、ICチップ4は、いわゆるWLCSP(Wafer Level Chip Size(またはScale) Package)と呼ばれる構造を有している。ICチップ4の裏面(図の下向きの面、すなわち吸着ヘッド5が吸着する面の反対側の面)には、複数の半田バンプが形成されている。ICチップ4は、チップカセット3に収納された状態から、吸着ヘッド5に吸着され、Z方向上側に向かって持ち上げられる。そして、ICチップ4は、Y方向に移動し、その状態でチップカメラ2の上部を通過した後、回路基板8の上部へと搬送される。
回路基板8は、基板ステージ7上に載せられている。基板ステージ7は、固定台7aにXY方向に微調整可能に支持されている。
プレースカメラ10は、回路基板8のICチップ4が実装される面を撮像するカメラである。信号処理部1は、プレースカメラ10から取得した画像信号に基づき、ICチップ4との接続部周辺に対する位置認識処理等を行って、回路基板8の所定の基準からの位置ずれや角度ずれ量を算出する。
チップカメラ2は、吸着ヘッド5に吸着されて移動中のICチップ4の裏面の画像を撮像し、撮像した画像信号を信号処理部1に対して出力する。このチップカメラ2は、チップカセット3の設置場所と回路基板8の設置場所との間の所定の位置に設けられている。チップカメラ2は、ズームレンズ33を介して、ICチップ4の裏面を撮像する。ズームレンズ33は、複数のレンズとレンズの移動機構とを有し、レンズ群の焦点距離を一定の範囲で任意に変化させることができ、かつ焦点面を移動させない(すなわちピントをずらさない)レンズ群である。ズームレンズ33は焦点距離を外部から入力された所定の制御信号に応じて可変する。
信号処理部1は、所定の制御信号を、ケーブル44を介して送信することで、このズームレンズ33の焦点距離(すなわちチップカメラ2の撮像倍率)を変化させる。図2は、チップカメラ2、ズームレンズ33及びICチップ4の位置関係を模式的に示した斜視図である。なお、図1、図2等の各図面において同一の構成には同一の符号を用いている。また、図2に示したXYZの各矢印の方向が、図1に示したXYZの各軸の方向に対応している。なお、図1及び図2では、チップカメラ2とズームレンズ33とを分離した形で示しているが、チップカメラ2とズームレンズ33とは一体として構成されていてもよい。
チップカメラ2は、ラインセンサ21を有して構成されている。ラインセンサ21は、CMOS(Complementary Metal Oxide Semiconductor)、CCD(Conference of Committee on Disarmament)等の固体撮像素子からなる複数の撮像画素を一列、あるいは露光時間を確保するために複数列で配列することで構成されている。チップカメラ2は、ラインセンサ21を構成する各画素への入射光を光電変換した電気信号の大きさを表す値である各画素値を、所定周期で繰り返し出力する。また、このラインセンサ21は、モノクロの多値階調(すなわちグレースケール)の画像信号を出力する。
したがって、ラインセンサ21が出力する各画素の画素値は、輝度値を表している。本実施形態では、ICチップ4がその裏面、すなわち複数のバンプ4aが配列して形成されている面を下方(つまりチップカメラ2側)に向けた状態で、バンプ4aが形成されている面と反対の面(すなわち、ICチップ4の表面)が吸着ヘッド5の吸着面5aに吸着されている。チップカメラ2は、図2にICチップ移動方向として矢印で示した方向(つまりY方向)に所定速度でICチップ4が移動している状態で、ラインセンサ21の各画素の出力を所定周期で繰り返し複数回出力する。
図3に、チップカメラ2による撮像画像200の一例を模式的に示した。図3では、図1に示したXYZの各軸の方向が、XYの各矢印及びZの丸印で示した方向に対応している。なお、図3で各軸の正の向きは、XYが矢印の向き、Zが手前から奥への向きである。図3に示した例では、撮像画像200が、ICチップ4の裏面全面の画像と、吸着面5aほぼ全面の画像とを含んでいる。また、1対の記号5bと、基準領域を表す線5cとは、吸着面5a上に実際に描かれているマークである。これらのマークが、ICチップ4の吸着状態(基準マークに対する相対的な吸着位置)を認識する際の基準となるマークである。ただし、記号5bと、基準線5c(これらを総称して、以下では基準マーク5mと呼ぶことがある)とは、必ずしも両方を設ける必要はない。なお、図3に示した例では、ICチップ4が、XY方向に等間隔で配列された複数のバンプ4aを有している。
次に、本実施形態における照明装置の構成について図面を参照して説明する。図4は、図1に示した照明装置の構成例を説明するための模式図である。図4(a)は、チップカメラ用照明装置52の構成例を、図4(b)は、プレースカメラ用照明装置53の構成例を、それぞれ示している。
チップカメラ用照明装置52は、図4(a)に示すように、チップカメラ用同軸照明52a(第1の照明部)と、チップカメラ用角度照明52b(第2の照明部)とを含んで構成される。
チップカメラ用同軸照明52aが照射する光は、チップカメラ用レンズ2a内に設けられたハーフミラー2bで反射し、ICチップ4(認識対象物)の主面(撮像するICチップ4の裏面)に垂直方向から同軸照明(Coaxial Light)として入光する。そして、ICチップ4で反射した光は、ICチップ4の主面に対して垂直方向に出射し、ハーフミラーを介してチップカメラ2に入光する。
一方、チップカメラ用角度照明52bが照射する光は、ICチップ4の主面に垂直な線に対して所定の角度を有した斜め方向から入光する。そして、反射した光は、チップカメラ用角度照明52bの取り付け角度に応じて、ICチップ4の主面に対して垂直方向に出射し、ハーフミラーを介してチップカメラ2に入光する。この取り付け角度は、ICチップ4が有する半田バンプの下側(カメラ側)表面で光が反射した場合に、反射光が、ICチップ4の主面に対して垂直方向に出射するように、予め設定される。
すなわち、ICチップ4の撮像を行う際に、チップカメラ用同軸照明52aと、チップカメラ用角度照明52bとによる光の照射を、基準マーク5mが設けられる領域(第1の領域)と、バンプが吸着した領域(第2の領域)とで切り替えている。第1の領域と第2の領域とを撮像する際、光の照射を変更することにより、撮像の際の照明条件を基準マーク5mおよび半田バンプ各々に対して最適な条件とすることができる。
同様に、プレースカメラ用照明装置53は、図4(b)に示すように、プレースカメラ用同軸照明53a(第1の照明部)と、プレースカメラ用角度照明53b(第2の照明部)とを含んで構成される。
プレースカメラ用同軸照明53aが照射する光は、プレースカメラ用レンズ10a内に設けられたハーフミラー10bで反射し、回路基板8の主面(ICチップ4が実装される面)に垂直方向から同軸照明として入光する。そして、回路基板8で反射した光は、回路基板8の主面に対して垂直方向に出射し、ハーフミラーを介してプレースカメラ10に入光する。
一方、プレースカメラ用角度照明53bが照射する光は、回路基板8の主面に垂直な線に対して所定の角度を有した斜め方向から入光する。そして、反射した光は、プレースカメラ用角度照明53bの取り付け角度に応じて、回路基板8の主面に対して垂直方向に出射し、ハーフミラーを介してプレースカメラ10に入光する。この取り付け角度は、回路基板8の半田ボールとの接点となる端部が有する曲面で光が反射した場合に、反射光が、回路基板8の主面に対して垂直方向に出射するように、予め設定される。
すなわち、回路基板8の撮像を行う際に、プレースカメラ用同軸照明53aと、プレースカメラ用角度照明53bとによる光の照射を、基準マークが設けられる領域(第1の領域)と、回路基板8におけるICチップ4を搭載する領域(第2の領域)とで切り替えている。第1の領域と第2の領域とを撮像する際、光の照射を変更することにより、撮像の際の照明条件を基準マークおよびチップ搭載予定領域各々に対して最適な条件とすることができる。
次に、図5を参照して、図1を参照して説明した実装装置100の制御動作に係る内部構成例について説明する。信号処理部1は、ホストコンピュータ11、入力部12、出力部13及び記憶部14を有している。ホストコンピュータ11は、メインメモリ11aを含み、メインメモリ11aには画像メモリ11bを含んでいる。ホストコンピュータ11は、CPU(Central Processing Unit)を内部に有し、記憶部14等に格納されている所定のプログラムを実行することで各部を制御する。入力部12は、プレースカメラ10及びチップカメラ2から、ホストコンピュータ11へ信号を入力するためのインターフェースである。入力部12へは、プレースカメラ10及びチップカメラ2から、撮像した画像を表す画像データが入力される。
出力部13は、モーションコントローラ61及びズームレンズ33へ、ホストコンピュータ11から信号を出力するためのインターフェースである。出力部13からは、モーションコントローラ61に対して移動部6の位置ずれ及び角度ずれを補正制御するための補正量を表す情報(ΔX、ΔY及びΔθに対応した補正量(あるいはそれを指示する信号))が出力される。また、出力部13からは、ズームレンズ33の焦点距離を変化させるための信号が出力される。
ここで図3を参照して位置ずれ及び角度ずれを補正するための補正量を表す情報ΔX、ΔY及びΔθについて説明する。図3において、基準点P0は、吸着ヘッド5のθ方向の回転中心に対応する点である。吸着面5a上の基準記号5bや基準線5cに基づいて基準点P0の座標値を算出することができる。中心点PcはICチップ4の中心点(あるいは重心点)に対応する点である。中心点Pcの座標は、チップカメラ2の撮像画像から認識した複数のバンプ4aの各座標値と、ICチップ4の設計値(あるいは基準となる他のICチップ4の実測値)とに基づいて算出することができる。ΔXは、基準点P0と中心点PcのX方向のずれ量を表す。ΔYは、基準点P0と中心点PcのY方向のずれ量を表す。
ΔXとΔYは、基準点P0と中心点Pcの各座標値の偏差として算出される。そして、Δθは、ICチップ4の基準とする向きと、実際の向きとの差分として算出される。Δθは、チップカメラ2の撮像画像から認識した複数のバンプ4aの各座標値と、各バンプ4aの座標及び配列関係の設計値(あるいは基準となる他のICチップ4の実測値)とに基づいて算出することができる。
図5に戻って、記憶部14は、例えば不揮発メモリであり、チップカセット3、ICチップ4、回路基板8等の設計情報14aと、ズームレンズ33の焦点距離を指示する際に用いられる情報である焦点距離制御情報などとを記憶している。この焦点距離制御情報は、例えば、ICチップ4の識別番号と、チップカメラ2の仕様を表す情報と、設定する焦点距離との対応関係を記憶したテーブルとして構成されている。
なお、図1には示していないが、上記の構成のほか、信号処理部1は、例えば、プレースカメラ10やチップカメラ2へ所定の制御信号を送信するためのインターフェースや、モーションコントローラ61から所定の制御信号を受信するためのインターフェースを含んでいる。また、記憶部14は、モーションコントローラ61の制御の制御を行う際に必要な情報等も記憶している。なお、設計情報14aは、チップカセット3、ICチップ4、回路基板8等の外形、基準マーク、各接続端子等の形状や位置を表す情報、熱圧着時の設定値等を含むことができる。なお、設計情報は、図面上の設計値に限らず、例えば基準となる実際のICチップ4の実測値等であってもよい。
また、チップカメラ2は、ラインセンサ21、A/D変換器(アナログ・デジタル変換器)22及び出力部23を有している。A/D変換器22は、ラインセンサ21から出力された各画素のアナログの画素値をデジタル信号に変換する。出力部23は、A/D変換器22が出力したデジタル信号列を所定形式のデジタル画像信号に変換して出力する。この出力部23が出力した画像信号は、入力部12を介して、例えばDMA(Direct Memory Access)方式によって画像メモリ11bに直接記憶される。
また、図5に示すように、モーションコントローラ61は、チップカメラ2、プレースカメラ10と、それぞれケーブル48、49により接続される。モーションコントローラ61はエンコーダパルスが示す自身の位置に対応して、基準マーク5mが設けられる領域とバンプが吸着した領域とが、チップカメラ2による撮像範囲にある期間、制御信号Trigger_Cをチップカメラ2に送信する。これにより、チップカメラ2は、基準マーク5mが設けられる領域とバンプが吸着した領域の撮像を開始し、制御信号Trigger_Cが入力されている期間が経過したのち、撮像を終了する。
モーションコントローラ61は、エンコーダパルスが示す自身の位置に対応して、基準マークが設けられる領域と回路基板8におけるICチップ4を搭載する領域とが、プレースカメラ10による撮像範囲にある期間、制御信号Trigger_Pをプレースカメラ10に送信する。これにより、プレースカメラ10は、基準マークが設けられる領域と回路基板8におけるICチップ4を搭載する領域の撮像を開始し、制御信号Trigger_Pが入力されている期間が経過したのち、撮像を終了する。
また、照明コントローラ51は、制御信号Trigger_Mがケーブル45を介して入力される。この制御信号Trigger_Mは、モーションコントローラ61が、エンコーダパルスが示す自身の位置に対応して、チップカメラ2の撮像領域が、基準マーク5mが設けられる領域からバンプが吸着した領域へと、或いはバンプが吸着した領域から基準マーク5mが設けられる領域へ切り替わることを照明コントローラに対して通知する信号である。また、制御信号Trigger_Mは、モーションコントローラ61が、エンコーダパルスが示す自身の位置に対応して、プレースカメラ10の撮像領域が、基準マークが設けられる領域から回路基板8におけるICチップ4を搭載する領域へと、或いは回路基板8におけるICチップ4を搭載する領域から基準マークが設けられる領域へ切り替わることを照明コントローラに対して通知する信号である。
照明コントローラ51は、チップカメラ用照明装置52とケーブル46により、プレースカメラ用照明装置53とケーブル47により、それぞれ接続されている。
チップカメラ用照明装置52は、照明コントローラ51から制御信号Trigger_I1Cが入力されている期間、チップカメラ用角度照明52bを点灯(オン)させ、制御信号Trigger_I2Cが入力されている期間、チップカメラ用同軸照明52aを点灯(オフ)させる。
また、プレースカメラ用照明装置53は、照明コントローラ51から制御信号Trigger_I1Pが入力されている期間、プレースカメラ用角度照明53bを点灯させ、制御信号Trigger_I2Pが入力されている期間、プレースカメラ用同軸照明53aを点灯させる。
次に、図6〜8を参照して、図1及び図5を参照して説明した実装装置100の動作例について説明する。図6は、実装装置100の動作の流れを示したフローチャートである。また、図7は、図6のステップS104の処理を説明するための図である。また、図8は、照明装置の切り替え動作を説明するためのタイミングチャートである。
ICチップ4を収容したチップカセット3や、回路基板8の所定の位置に用意するとともに、ICチップ4や回路基板8を指定する情報を図示していない所定の入力装置を介して信号処理部1に設定した後、操作者の所定の指示操作を行うと、それに従って実装装置100は動作を開始する。動作を開始すると、信号処理部1は、モーションコントローラ61に対して所定の制御信号を出力することで、移動部6をチップカセット3上で、吸着するICチップ4の上方へ移動する(ステップS101)。
次に、信号処理部1からの指示に従い、モーションコントローラ61は、チップカセット3からICチップ4を吸着ヘッド5でピックする(ステップS102)。
次に、信号処理部1からの指示に従い、モーションコントローラ61は、移動部6を基板ステージ7へ向けて移動させ始める(ステップS103)。
モーションコントローラ61からの指示に従い、チップカメラ2がICチップ4を撮像する(ステップS104)。ここで、図7および図8を参照して、ステップS104の処理について説明する。なお、図8では、図4(a)に示すように、モーションコントローラ61の移動方向に従って、チップカメラ2による撮像領域が、基準マーク領域(基準マーク5mが設けられる領域)から、次にバンプ領域(バンプが吸着した領域)へ、最後に基準マーク領域へと切り替わる場合の、制御信号Trigger_C、Trigger_I1C、Trigger_I2Cのレベルの変化を示している。
モーションコントローラ61は、制御信号Trigger_Pを有効にする(ステップS201)。モーションコントローラ61は、基準マーク領域がチップカメラ2の撮像範囲に入ると、図8の時刻t1に示すように、制御信号Trigger_Cをロウ(L)レベルからハイ(H)レベルに変化させ、チップカメラ2に撮像を開始させる。
照明コントローラ51は、制御信号Trigger_I1Cを無効、制御信号Trigger_I2Cを有効とする(ステップS202)。
図8に示すように、基準マーク領域を撮像するので、照明コントローラ51は、制御信号Trigger_I2CをHレベルに維持し、制御信号Trigger_I1CをLレベルに維持している。これにより、基準マーク領域を撮像する期間において、チップカメラ用同軸照明52aは点灯し、チップカメラ用角度照明52bは消灯している。
チップカメラ2は、基準マークを撮像する(ステップS203)。基準マーク5mを含む基準マーク領域は、チップカメラ用同軸照明52aからの光が照射されている状態でチップカメラ2により撮像される。
照明コントローラ51は、制御信号Trigger_I1Cを有効、制御信号Trigger_I2Cを無効とする(ステップS204)。
モーションコントローラ61が、基準マーク領域からバンプ領域に切り替わることを表す制御信号Trigger_Mを照明コントローラ51に出力する。照明コントローラ51は、図8に示すように、時刻t2において制御信号Trigger_I1CをLレベルからHレベルに変化させ、時刻t3において制御信号Trigger_I2CをHレベルからLレベルに変化させる。これにより、チップカメラ用同軸照明52aは消灯し、チップカメラ用角度照明52bが点灯する。
チップカメラ2は、バンプを撮像する(ステップS205)。バンプ領域は、チップカメラ用角度照明52bからの光が照射されている状態でチップカメラ2により撮像される。
照明コントローラ51は、制御信号Trigger_I1Cを無効、制御信号Trigger_I2Cを有効とする(ステップS206)。モーションコントローラ61が、バンプ領域から基準マーク領域に切り替わることを表す制御信号Trigger_Mを照明コントローラ51に出力する。照明コントローラ51は、図8に示すように、時刻t4において制御信号Trigger_I2CをLレベルからHレベルに変化させ、時刻t5において制御信号Trigger_I1CをHレベルからLレベルに変化させる。これにより、チップカメラ用角度照明52bは消灯し、チップカメラ用同軸照明52aが点灯する。
チップカメラ2は、基準マークを撮像する(ステップS207)。基準マーク5mを含む基準マーク領域は、チップカメラ用同軸照明52aからの光が照射されている状態でチップカメラ2により撮像される。モーションコントローラ61は、基準マーク領域がチップカメラ2の撮像範囲から外れると、制御信号Trigger_CをHレベルからLレベルに変化させ、チップカメラ2の撮像を終了させる。
なお、時刻t2と時刻t3と間の時間および時刻t4と時刻t5との間の時間は、チップカメラ用同軸照明52aおよびチップカメラ用角度照明52bの両方が点灯していることになるが、両方を消灯させる期間としてもよい。
図6に戻って、次に、信号処理部1は、チップカメラ2の撮像画像に基づきICチップ4の位置ずれ量等を計算する(ステップS105)。
ステップS105で信号処理部1は、例えば次のようにしてICチップ4の位置ずれ量や角度ずれ量を計算する。(1)まず、信号処理部1は、予め確認されている輝度ばらつきやレンズ収差を補正するための情報を参照して、チップカメラ2で撮像された撮像画像の所定画素のグレースケール輝度やレンズ収差を補正する画像処理を実行する。ただし、この補正処理は構成によっては省略することができる。(2)次に、信号処理部1は、記憶部14から読み出したICチップ4の設計値に基づいて各バンプ4aに対応した認識対象領域を設定する。(3)次に、信号処理部1は、ステップS202で設定した認識対象領域毎に、各画素の輝度値(=画素値)から輝度値の重心位置を求める。(4)次に、信号処理部1は、各バンプ4aのX座標及びY座標に基づいてICチップ4のX方向のずれ量ΔX、Y方向のずれ量ΔY及び角度ずれ量Δθを求める。
ここで、信号処理部1は、例えば、複数のバンプ4aの各X、Y座標値に基づき、最小二乗法等を用いて各バンプ4aの配列方向を推定する。次に、推定した各バンプ4aの配列方向に基づいて、ICチップ4の中心点Pcの座標を求める。また、信号処理部1は、図3を参照して説明した基準点5bや基準線5cを認識し、それに基づいて基準点P0の座標と、角度ずれ量θを求める際に基準となる方向を求める。そして、信号処理部1は、求めた各バンプ4aの配列方向、中心点Pcの座標、基準点P0の座標、基準となる方向に基づいて、X方向のずれ量ΔX、Y方向のずれ量ΔY及び角度ずれ量Δθを求める。
次に、信号処理部1は、モーションコントローラ61に所定の指示を出力し、モーションコントローラ61が、移動部6を基板ステージ7上で回路基板8のICチップ4の搭載位置上方へ移動する(ステップS106)。
次に、信号処理部1の指示に従い、プレースカメラ10が回路基板8上のICチップ4の搭載領域を撮像する(ステップS107)。なお、このとき、ステップS104で示す撮像処理及び照明装置の切替処理を行ってもよい。基準マークについては、プレースカメラ10の撮像領域に入るように基板ステージ7がXY方向へ移動され、撮像される。
信号処理部1は、プレースカメラ10の撮像画像に対してICチップ4の搭載領域について、搭載位置のXY方向のずれ量や角度ずれを認識する(ステップS108)。
次に、信号処理部1は、上述したステップS105で計算したICチップ4の位置ずれ及び角度ずれ量、並びに回路基板8の搭載領域位置ずれ量に基づいて移動部6の各補正量を計算する(ステップS109)。信号処理部1は、回路基板8に対する認識結果を考慮した上で、ICチップ4の各ずれ量(ΔX、ΔY、ΔZ、Δθ)を、基準とする位置及び向きにできるだけ一致させるように、移動部6のXYZ方向の位置及び角度θを調整する際の補正量を計算する。
次に、信号処理部1は、ステップS109で求めた各補正量を指示する信号を、モーションコントローラ61に送信する(ステップS110)。
そして、モーションコントローラ61が移動部6の位置ずれや角度ずれを補正した後、移動部6が高さを下げ、ICチップ4を回路基板8の接続部に載せて、熱圧着する(ステップS111)。
以上のように、本実施形態では、実装装置100(認識装置)が、移動しているICチップ4または回路基板8(認識対象物)を撮像するチップカメラ2またはプレースカメラ10(撮像部)と、を備える。さらに、実装装置100は、認識対象物の主面の垂直方向から光を照射するチップカメラ用同軸照明52aまたはプレースカメラ用同軸照明53a(第1の照明部)と、主面の斜め方向から光を照射する(第2の照明部)と、を有し、撮像部により撮像を行う際に認識対象物を照明するチップカメラ用照明装置52またはプレースカメラ用照明装置53(照明装置)を備える。さらに、実装装置100は、撮像部が撮像する画像に基づいて認識対象物の位置を認識する信号処理部1を備える。実装装置100は、認識対象物にある複数の被撮像領域に応じて、第1の照明部及び第2の照明部から主面への光の照射を制御する。
以上の構成を備える本実施形態の実装装置100では、以下に説明する効果を奏する。図9は、図1に示したチップカメラ2による撮像画像の例を説明するための図である。図9は、図8のタイミングチャートを用いて説明した基準マーク領域およびバンプ領域についてのチップカメラ2により撮像画像を示している。図4に示す基準マーク5mのうちチップ移動方向に対して前方にある基準マーク5mを含む領域の撮像画像を、図9(a)においてFront Side Fiducial Areaとして示している。また、図4に示すICチップ4が有する半田ボールを含む領域の撮像画像を、図9(b)においてSolder Bump Areaとして示している。
また、図4に示す基準マーク5mのうちチップ移動方向に対して後方にある基準マーク5mを含む領域の撮像画像を、図9(c)においてBack Side Fiduccial Areaとして示している。さらに、図9(a)〜(c)各々において、チップカメラ用同軸照明52aのみを点灯させて撮像した際の撮像画像をCoreで示し、チップカメラ用角度照明52bのみを点灯させて撮像した際の撮像画像をAngleで示している。
図9(a)、(c)各々のAngleに示すように、基準マーク領域において角度照明を用いると、角度照明からの光は基準マークにおいて反射した後、チップカメラ2には入光されないため、基準マーク5mは撮像されない。一方、図9(a)、(c)各々のCoreに示すように、同軸照明を用いると、図同軸照明からの光は基準マークにおいて反射した後、チップカメラ2に入光するため、基準マーク5mは撮像される。つまり、基準マークを撮像し、その位置を認識するためには、同軸照明が有効にするのが望ましいことがわかる。
また、図9(b)のCoreに示すように、バンプ領域において同軸照明を用いると、同軸照明からの光は、下地(半導体チップあるいは表面に塗布されたフィルム)において反射した後、チップカメラ2には入光されるため、半田バンプの形状、特にその輪郭部分が、同軸照明を用いた場合に比べて明確に撮像されない。一方、図9(b)のAngleに示すように、角度照明を用いると、半田ボールの凸部(曲面)において反射した光がチップカメラ2に入光するため、半田ボールの形状、特にその輪郭部分を明確に撮像できる。
本実施形態の実装装置100では、図9を参照すると、図9(a)においてCoreで示す撮像画像、図9(b)においてAngleで示す撮像画像、図9(c)においてCoreで示す撮像画像を撮像していくことになる。
つまり、本実施形態の実装装置100によれば、基準マーク5mを撮像する際の照明条件と半導体チップ上のバンプを撮像する際の照明条件とを、移動している基準マークおよび半田バンプ(認識対象物)の撮像時刻に対してリアルタイムに変更することで、基準マークが設けられる第1の領域と、バンプが吸着した第2の領域とを、それぞれの最適な照明条件で撮像することができる。従って、本発明によれば、最適な照明条件で撮像した撮像画像に基づいて、短時間で良好な半導体チップの認識および位置推定が可能となる認識装置、認識方法、実装装置及び実装方法を提供することができる。なお、照明装置としてLED照明を用いることで、切り替えの際の応答速度が十分に速いため、ラインセンサ21による撮像中でも照明の切り替えによる明るさムラの影響を少なくすることができる。従って、ラインセンサ21によるリアルタイム認識との組み合わせにより位置推定精度および認識率の向上と実装処理時間の短縮の両方を併せ持つことが可能となる。
なお、本実施形態では、レンズ倍率の調整機構を例えば電動ズーム等の自動調整可能な構成としているので対象とするICチップ4のレイアウトが変化しても自動で対応可能である。ただし、ズームレンズ33の焦点距離を例えば手動で設定するようにしてもよい。
また、本実施形態では、認識対象をICチップ4上のはんだバンプ4aとしているが、チップカメラ2による位置認識は、例えばCSPではない他のパッケージングによる半導体チップや、他の回路搭載部品、受動部品等に対して応用することもできる。また、実装装置に限らず、例えば、チップカセット3に収納する前の段階でのバンプ4aの検査工程で用いる装置として構成することも可能である。また、チップカメラ2は、ラインセンサ21ではなく、エリアセンサを用いて構成することもできる。
また、本実施形態では、照明コントローラに対する制御信号の数を2本としたが、角度照明の角度を複数チャネルで構成する場合には、このチャネル数分増やしてもよい。また、本実施形態では、照明装置を同軸照明と角度照明とからなる構成としたが、照明波長、光量としてチャネル構成しても良い。また、本実施形態では、チップカメラに限定して説明したが、プレースカメラに対してチャネル構成しても良い。
1…信号処理部、2…チップカメラ(撮像部)、3…チップカセット、4…ICチップ(認識対象物)、4a…バンプ(第1認識対象)、5…吸着ヘッド、6…移動部、7…基板ステージ、8…回路基板、11…ホストコンピュータ、33…ズームレンズ、51…照明コントローラ、52…チップカメラ用照明装置、52a…チップカメラ用同軸照明、52b…チップカメラ用角度照明、53…プレースカメラ用照明装置、53a…プレースカメラ用同軸照明、53b…プレースカメラ用角度照明、61…モーションコントローラ、100…実装装置

Claims (6)

  1. 移動している認識対象物を撮像する撮像部と、
    前記認識対象物の主面の垂直方向から光を照射する第1の照明部と、前記主面の斜め方向から光を照射する第2の照明部と、を有し、前記撮像部により撮像を行う際に前記認識対象物を照明する照明装置と、
    前記撮像部が撮像する画像に基づいて前記認識対象物の位置を認識する信号処理部と、
    を備えた認識装置であって、
    前記認識対象物にある複数の被撮像領域に応じて、前記第1の照明部及び前記第2の照明部から前記主面への光の照射を制御する、
    ことを特徴とする認識装置。
  2. 前記認識対象物は半導体チップであり、
    前記認識対象物にある複数の被撮像領域には、基準マークが設けられる第1の領域と、バンプが吸着した第2の領域とがあり、
    前記第1の領域では、前記第1の照明部をオンさせ、前記第2の照明部をオフさせ、
    前記第2の領域では、前記第1の照明部をオフさせ、前記第2の照明部をオンさせる制御を行う、
    ことを特徴とする請求項1に記載の認識装置。
  3. 請求項1または請求項2に記載の信号処理部による認識結果に基づいて前記認識対象物の位置や角度に係る所定の補正制御を行って前記認識対象物を所定の回路基板に実装する、
    ことを特徴とする実装装置。
  4. 移動している認識対象物を撮像する撮像部と、
    前記認識対象物の主面の垂直方向から光を照射する第1の照明部と、前記主面の斜め方向から光を照射する第2の照明部と、を有し、前記撮像部により撮像を行う際に前記認識対象物を照明する照明装置と、
    前記撮像部が撮像する画像に基づいて前記認識対象物の位置を認識する信号処理部と、を持ち、
    前記認識対象物にある複数の被撮像領域に応じて、前記第1の照明部及び前記第2の照明部から前記主面への光の照射を制御する、
    ことを特徴とする認識方法。
  5. 前記認識対象物は半導体チップであり、
    前記認識対象物にある複数の被撮像領域には、基準マークが設けられる第1の領域と、バンプが吸着した第2の領域とがあり、
    前記第1の領域では、前記第1の照明部をオンさせ、前記第2の照明部をオフさせ、
    前記第2の領域では、前記第1の照明部をオフさせ、前記第2の照明部をオンさせる制御を行う、
    ことを特徴とする請求項4に記載の認識方法。
  6. 請求項4または請求項5に記載の信号処理部による認識結果に基づいて前記認識対象物の位置や角度に係る所定の補正制御を行って前記認識対象物を所定の回路基板に実装する、
    ことを特徴とする実装方法。
JP2013253359A 2013-12-06 2013-12-06 認識装置、認識方法、実装装置及び実装方法 Expired - Fee Related JP6338169B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013253359A JP6338169B2 (ja) 2013-12-06 2013-12-06 認識装置、認識方法、実装装置及び実装方法
KR1020140057098A KR20150066424A (ko) 2013-12-06 2014-05-13 인식장치, 인식 방법, 실장 장치 및 실장 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013253359A JP6338169B2 (ja) 2013-12-06 2013-12-06 認識装置、認識方法、実装装置及び実装方法

Publications (2)

Publication Number Publication Date
JP2015111631A true JP2015111631A (ja) 2015-06-18
JP6338169B2 JP6338169B2 (ja) 2018-06-06

Family

ID=53514827

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013253359A Expired - Fee Related JP6338169B2 (ja) 2013-12-06 2013-12-06 認識装置、認識方法、実装装置及び実装方法

Country Status (2)

Country Link
JP (1) JP6338169B2 (ja)
KR (1) KR20150066424A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022230273A1 (ja) * 2021-04-30 2022-11-03 パナソニックIpマネジメント株式会社 部品装着装置、及び、部品装着方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020136361A (ja) * 2019-02-14 2020-08-31 ファスフォードテクノロジ株式会社 実装装置および半導体装置の製造方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63293403A (ja) * 1987-05-27 1988-11-30 Seiko Instr & Electronics Ltd チップ部品の認識装置
JPH08254500A (ja) * 1995-03-16 1996-10-01 Saki Corp:Kk 外観検査装置
JP2000150592A (ja) * 1998-11-11 2000-05-30 Shibuya Kogyo Co Ltd マウント検査部における照明装置
JP2005123352A (ja) * 2003-10-16 2005-05-12 Juki Corp 部品データ生成装置及び電子部品実装装置
JP2012169370A (ja) * 2011-02-10 2012-09-06 Hitachi High-Technologies Corp 表示パネル検査装置及び表示パネル検査方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63293403A (ja) * 1987-05-27 1988-11-30 Seiko Instr & Electronics Ltd チップ部品の認識装置
JPH08254500A (ja) * 1995-03-16 1996-10-01 Saki Corp:Kk 外観検査装置
JP2000150592A (ja) * 1998-11-11 2000-05-30 Shibuya Kogyo Co Ltd マウント検査部における照明装置
JP2005123352A (ja) * 2003-10-16 2005-05-12 Juki Corp 部品データ生成装置及び電子部品実装装置
JP2012169370A (ja) * 2011-02-10 2012-09-06 Hitachi High-Technologies Corp 表示パネル検査装置及び表示パネル検査方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022230273A1 (ja) * 2021-04-30 2022-11-03 パナソニックIpマネジメント株式会社 部品装着装置、及び、部品装着方法

Also Published As

Publication number Publication date
JP6338169B2 (ja) 2018-06-06
KR20150066424A (ko) 2015-06-16

Similar Documents

Publication Publication Date Title
JP6310058B2 (ja) 画像処理装置および基板生産システム
JP2014103353A (ja) 認識装置、認識方法、実装装置及び実装方法
JP6267200B2 (ja) 撮像装置および生産設備
KR20120098830A (ko) 엘이디 검사방법
JP6271514B2 (ja) 生産設備
JP6338169B2 (ja) 認識装置、認識方法、実装装置及び実装方法
CN108702867B (zh) 安装装置及拍摄处理方法
JP6309962B2 (ja) 組立機
KR102157356B1 (ko) 인식 장치, 인식 방법, 실장 장치 및 실장 방법
US9319593B2 (en) Recognition apparatus, recognition method, mounting apparatus, and mounting method
JP6475264B2 (ja) 部品実装機
JP2012248717A (ja) 位置認識用カメラ及び位置認識装置
JPWO2020003384A1 (ja) 平坦度取得システムおよび実装機
JP2016201409A (ja) 認識装置、認識方法、実装装置及び実装方法
JPWO2015001634A1 (ja) 撮像装置および生産設備
CN109257921B (zh) 电子部件安装装置及电子部件安装方法
JP5511143B2 (ja) 実装機
JP6182248B2 (ja) ダイボンダ
JP6670590B2 (ja) 画像生成装置、実装装置及び画像生成方法
JP2005286241A (ja) 電子回路製造関連作業機
CN109257922B (zh) 电子部件安装装置及电子部件安装方法
JP2014036068A (ja) ダイボンダおよびボンディングツールの位置検出方法
JP2001267335A (ja) 電子部品搭載装置および電子部品搭載方法
CN117280885A (zh) 识别装置以及识别方法
JP7095089B2 (ja) 実装機および実装システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171102

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180312

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180402

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180427

R150 Certificate of patent or registration of utility model

Ref document number: 6338169

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees