JP2012112688A - 検査装置 - Google Patents

検査装置 Download PDF

Info

Publication number
JP2012112688A
JP2012112688A JP2010259835A JP2010259835A JP2012112688A JP 2012112688 A JP2012112688 A JP 2012112688A JP 2010259835 A JP2010259835 A JP 2010259835A JP 2010259835 A JP2010259835 A JP 2010259835A JP 2012112688 A JP2012112688 A JP 2012112688A
Authority
JP
Japan
Prior art keywords
image
imaging device
inspection
nozzle
wavelength component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010259835A
Other languages
English (en)
Other versions
JP5664167B2 (ja
Inventor
Yuichiro Maruyama
祐一郎 丸山
Hidefumi Tsutsui
英史 筒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Seiko Epson Corp
Original Assignee
Seiko Epson Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Seiko Epson Corp filed Critical Seiko Epson Corp
Priority to JP2010259835A priority Critical patent/JP5664167B2/ja
Publication of JP2012112688A publication Critical patent/JP2012112688A/ja
Application granted granted Critical
Publication of JP5664167B2 publication Critical patent/JP5664167B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Particle Formation And Scattering Control In Inkjet Printers (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】従来の検査装置では、検査を効率化することが困難である。
【解決手段】ノズルプレート11のノズル面側とは反対側からノズル孔を撮像する第1撮像装置21aと、第1撮像装置21aの光軸に対して同軸であり、第1の波長成分の光でノズルプレート11を照明する第1照明23aと、ノズル面側から、ノズル面を撮像する第2撮像装置21bと、第2撮像装置21bの光軸に対して同軸であり、第2の波長成分の光でノズル面を照明する第2照明23bと、第3の波長成分の光で、第2撮像装置21bの光軸に対して傾斜した方向からノズル面を照明する第3照明と、第1撮像装置21aでの第1の波長成分の画像と第2の波長成分の画像とを合成して第1検査画像を生成し、第2撮像装置21bでの第2の波長成分の画像と第3の波長成分の画像とを合成して第2検査画像を生成する画像処理装置26と、を有する、ことを特徴とする検査装置。
【選択図】図2

Description

本発明は、検査装置等に関する。
液状体を液滴として吐出することができる液滴吐出装置の1つとして、インクジェット装置が知られている。インクジェット装置では、インクなどの液状体を吐出ヘッドから液滴として吐出することができる。このようなインクジェット装置の吐出ヘッドでは、従来から、ノズル孔が形成されたノズルプレートを有するものがある(例えば、特許文献1参照)。
特開2004−290799号公報
吐出ヘッドでは、ノズルプレートの表面状態やノズル孔の状態などによって、吐出された液滴の飛行状態が変化することがある。このため、ノズルプレートの製造過程には、ノズルプレートの表面状態を検査する工程や、ノズル孔内の状態を検査する工程などが含まれている。ノズルプレートの表面状態やノズル孔内の状態の検査では、それぞれ、例えば、画像認識技術を活用することが考えられる。また、画像認識技術を活用する検査では、例えば、検査対象を撮像するカメラを有する検査装置が適用され得る。
これまで、ノズルプレートの表面状態やノズル孔内の状態を検査する工程では、それぞれ、互いに異なる検査装置が適用されてきた。これは、表面状態の検査に対する要求と、ノズル孔内の状態の検査に対する要求とが互いに異なっていることが理由の1つである。
ノズルプレートの表面状態の検査については、カメラの視野をノズルプレートの広い範囲にわたって広げたいという要求がある。これに対し、ノズル孔内の状態の検査については、ノズル孔という局所をカメラで大きく捉えたいという要求がある。
このように、従来の検査装置では、検査を効率化することが困難であるという課題がある。
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態又は適用例として実現され得る。
[適用例1]互いに対向する第1面及び第2面の間を貫通する孔を有する検査対象物の前記第1面側から前記孔を撮像する第1撮像装置と、前記第1撮像装置の光軸に対して同軸であり、第1の波長成分の光で前記検査対象物を前記第1面側から照明する第1照明と、前記検査対象物の前記第2面側から、前記孔を含めた状態で前記第2面を撮像する第2撮像装置と、前記第2撮像装置の光軸に対して同軸であり、前記第1の波長成分とは異なる第2の波長成分の光で前記検査対象物を前記第2面側から照明する第2照明と、前記第1の波長成分及び前記第2の波長成分とは異なる第3の波長成分を含む光で、前記検査対象物の前記第2面側から、且つ前記第2撮像装置の光軸に対して傾斜した方向から前記検査対象物の前記第2面を照明する第3照明と、前記第1撮像装置での前記第1の波長成分の画像と、前記第1撮像装置での前記第2の波長成分の画像とを合成して第1検査画像を生成し、前記第2撮像装置での前記第2の波長成分の画像と、前記第2撮像装置での前記第3の波長成分の画像とを合成して第2検査画像を生成する画像処理部と、を有する、ことを特徴とする検査装置。
この適用例の検査装置では、第1撮像装置での第1の波長成分の画像に、孔の輪郭が示され得る。また、第1撮像装置での第2の波長成分の画像に、孔の内周面の様子が示され得る。そして、これらの画像を合成した第1検査画像に基づいて、孔の内周面に異物があるかどうかを把握することができる。
また、この検査装置では、第2面側から孔を含めた第2面を撮像する第2撮像装置が設けられている。第2撮像装置での第2の波長成分の画像には、孔の輪郭が示され得る。また、第2撮像装置での第3の波長成分の画像には、第2面の表面状態が示され得る。そして、これらの画像を合成した第2検査画像に基づいて、孔の位置と第2面の表面状態とを把握することができる。例えば、第2面に損傷があった場合、第2検査画像に基づいて、第2面に損傷があることを検出することができるとともに、孔に対する損傷の位置を把握することもできる。
上述したように、この検査装置では、検査対象物の第1面側から孔内の状態を検査することができるとともに、検査対象物の第2面側から第2面の表面状態を検査することができる。この結果、検査対象物にかかる検査を効率化しやすくすることができる。
[適用例2]上記の検査装置であって、前記第1の波長成分および前記第2の波長成分は、R色・G色・B色のうち2色の色成分の組み合わせであることを特徴とする検査装置。
この適用では、互いに明確に異なる波長成分を使用することができるため、画像処理において、各々の波長成分に明確に区別したうえで画像処理を行うことができる。また、可視光線の範囲で検査対象物の表面検査を行うことができるため、人の目による確認も容易になる。
[適用例3]上記の検査装置であって、前記第1の波長成分および前記第2の波長成分は、Y色・M色・C色のうち2色の色成分の組み合わせであることを特徴とする検査装置。
この適用では、互いに明確に異なる波長成分を使用することができるため、画像処理において、各々の波長成分に明確に区別したうえで画像処理を行うことができる。また、可視光線の範囲で検査対象物の表面検査を行うことができるため、人の目による確認も容易になる。
[適用例4]上記の検査装置であって、前記検査対象物がインクジェットヘッドのノズルプレートであり、
前記孔が、前記ノズルプレートに形成したノズル孔であることを特徴とする検査装置。
この適用では、検査装置を用いた検査により、吐出液滴の曲りやノズル詰り等の吐出不良が生じる可能性のあるノズルプレートを除外することができる。これにより、基準を満たすノズルプレートのみを確実に選別でき、高品位なインクジェットヘッドを製造することができる。
インクジェットヘッドの構成を説明する図。 本実施形態における検査装置の概略の構成を示す図。 本実施形態におけるセットテーブルとノズルプレートとの関係を説明する図。 本実施形態における検査方法のフローチャート。 本実施形態における第1検査画像の生成の流れを説明する図。 本実施形態における第2検査画像の生成の流れを説明する図。
以下、添付図面を参照して、本発明の一実施形態に係る孔内検査方法を適用した検査装置について説明する。この検査装置は、検査対象物(インクジェットヘッドのノズルプレート等)を撮像し、その撮像した画像からノズルプレートに形成されたノズル孔の内部に異物があるかどうかやノズル面の外観などを検査するものである。
検査装置2の説明に先立ち、図1を参照して、検査対象物の説明をする。本実施形態における検査対象物は、インクジェットヘッド1のノズル面(表面)5を構成するノズルプレート11である。インクジェットヘッド1の斜視図である図1(a)に示すように、ノズルプレート11のノズル面5には、2列のノズル列NLが相互に平行に列設されている。各ノズル列NLは、等ピッチで並べた180個のノズル孔12で構成されている。なお、ノズル列NLの数およびノズル孔12の数は、任意である。
ノズルプレート11の一部を示す斜視図である図1(b)に示すように、ノズルプレート11の裏面には、シリコンキャビティ13が接着され、シリコンキャビティ13には、接着フィルム14が接着されている。シリコンキャビティ13は、各ノズル孔12を囲むように配設され、ノズル孔12の数に対応する数の圧力室15と、各圧力室15に供給するための機能液を貯留する共通室16と、各圧力室15と共通室16とをつなぐ供給路17と、を構成している。接着フィルム14は、シリコンキャビティ13の上面の仕切りとして接着されている。接着フィルム14の上面の各圧力室15に対応する位置には、ノズルプレート11の断面図である図1(c)に示すように、圧電素子6が配設されている。圧電素子6は、圧電体7を一対の電極8で挟持した構成を有している。
インクジェットヘッド1に導入された機能液(インク)は、共通室16から供給路17を介して圧力室15に流れ、ここに貯留される。そして、圧電素子6に電圧を印加することにより圧力室15に体積変化が生じ、各ノズル孔12から機能液が液滴として吐出される。したがって、ノズル孔12の内部に異物4がある場合、液滴の吐出量が変化したり、液滴が吐出されない等の不具合が生じる。また、異物4に先に吐出した液滴が付着し、その後の液滴の吐出方向が曲がる等の問題も生じる。
各ノズル孔12は、テーパー部12aと、ストレート部12bと、を有している。テーパー部12aは、ノズルプレート11の圧力室15側に設けられている。ストレート部12bは、ノズルプレート11のノズル面5側に設けられている。テーパー部12aは、ノズル面5側から圧力室15側に向かって、孔の内径が広がっている。このため、ノズル面5側からストレート部12bを介してテーパー部12aの内部を観察することができない。
次に、図2を参照して、検査装置2の説明をする。検査装置2は、第1撮像装置21aと、第2撮像装置21bと、ワークセット治具22と、第1照明23aと、第2照明23bと、第3照明24と、画像処理装置26と、電源27と、電源28と、を有している。
第1撮像装置21a及び第2撮像装置21bは、それぞれ、ノズルプレート11を撮像する。ワークセット治具22は、ノズルプレート11を位置決めして固定するための治具である。第1照明23aは、第1撮像装置21aの光学系の光軸上でノズルプレート11を照明する同軸落射照明である。第2照明23bは、第2撮像装置21bの光学系の光軸上でノズルプレート11を照明する同軸落射照明である。第3照明24は、第1撮像装置21aの下端部に装着され、ノズルプレート11の表面を斜めから照明するリング照明である。
画像処理装置26は、第1撮像装置21a及び第2撮像装置21bのそれぞれにより撮像した画像情報が取り込まれ、各種画像処理を行う。電源27は、第3照明24に電力を供給する。電源28は、第1照明23a及び第2照明23bのそれぞれに電力を供給する。なお、電源28側に光源を設け、光ファイバーにより光を導き、ノズルプレート11を照明するようにしてもよい。
ワークセット治具22は、ノズルプレート11を位置決め固定するセットテーブル41と、セットテーブル41にセットされたノズルプレート11を直交軸(X軸・Y軸)上で移動させる移動テーブル42と、移動テーブル42を支持する複数(4本)の脚部43と、を備えている。
セットテーブル41は、全体が透明アクリル樹脂製で構成され、セットテーブル41の中央部は、透明なフィルム(図示省略)で構成されている。透明なフィルムは、ノズルプレート11の2列のノズル列NLを包含する大きさに形成されている。
ノズルプレート11は、図3に示すように、ノズル面5が上側に向けられ、ノズル面5とは反対側の面9が下側に向けられた状態で、セットテーブル41にセットされる。
第1撮像装置21a及び第2撮像装置21bは、それぞれ、図2に示すように、装置本体31と、カメラ本体32と、を備えている。各カメラ本体32は、図示しないCCDイメージセンサーを有している。各カメラ本体32は、カラー撮像可能なカメラであり、CCDイメージセンサーに色信号を抽出するための原色(「R(赤)」、「G(緑)」、「B(青)」)のカラーフィルターが取り付けられている(単板方式)。なお、原色に対して補色の関係にある「C,M,Y」のカラーフィルターを用いてもよいし、3CCD方式のカメラを用いてもよい。また、撮像方式としては、CCD方式に限られたものではなく、CMOS方式等、その他どのような撮像方式でもよい。
各装置本体31は、一端をカメラ本体32のCCDイメージセンサーに連なるように接続した鏡筒33と、鏡筒33の他方の端部に接続した対物レンズ34と、を備えている。
第1撮像装置21aは、ノズルプレート11の下側、すなわち面9(図3)に臨んでいる。第1撮像装置21aの対物レンズ34は、ワークセット治具22に固定したノズルプレート11の下側、すなわち面9(図3)に臨んでいる。第1撮像装置21aは、ノズル孔12(図3)のストレート部12bの輪郭に焦点が合うように調整されている。
第2撮像装置21bは、ノズルプレート11の上側、すなわちノズル面5(図3)に臨んでいる。第2撮像装置21bの対物レンズ34は、ワークセット治具22に固定したノズルプレート11の上側、すなわちノズル面5(図3)に臨んでいる。第2撮像装置21bは、ノズルプレート11のノズル面5(図3)に焦点が合うように調整されている。
なお、本実施形態では、第2撮像装置21bにおいて、一のノズル列NLにおける4個のノズル孔12が一度に撮像される。しかし、撮像範囲はカメラ本体32や対物レンズ34の仕様により異なるものであり、一度に撮像するノズル孔12の数は、任意である。
移動テーブル42は、セットテーブル41をノズル列NLの方向(X軸方向)に移動させるX軸テーブル44と、X軸テーブル44をX軸と直交するY軸方向に移動させるY軸テーブル45と、を備えている。移動テーブル42は、画像処理装置26に接続され、画像処理装置26により、X軸方向およびY軸方向に移動が制御される。これにより、第1撮像装置21aや第2撮像装置21bの撮像範囲(画角)に合わせてノズルプレート11を移動することができ、ノズルプレート11の表面に形成された全てのノズル孔12を撮像することができる。なお、移動テーブル42を省略して、第1撮像装置21aや第2撮像装置21bを移動させる構成としてもよいし、作業者がセットテーブル41上のノズルプレート11を手作業で動かしてもよい。
なお、X軸テーブル44の中央部には、セットテーブル41より僅かに小さく形成されたX軸透過開口44aが形成され、同様にY軸テーブル45の中央部には、X軸透過開口44aより大きく形成されたY軸透過開口45aが形成されている。
第1照明23a及び第2照明23bは、それぞれ、装置本体31の鏡筒33から枝分かれして、鏡筒33に沿うように配設された同軸落射ケース51と、同軸落射ケース51に配設された同軸落射LED部52と、同軸落射ケース51に配設された反射ミラー53と、を備えている。また、第1照明23a及び第2照明23bは、それぞれ、電源28に接続され、適正且つ安定した電力が供給されるようになっている。
第1照明23aは、青色(B)LEDを用いた青色の照明であり、同軸落射LED部52から照射された青色の光は、同軸落射ケース51内のレンズ(図示省略)で集光され、反射ミラー53および鏡筒33内に配設されたハーフミラー54で反射して、第1撮像装置21aの光軸と同一軸でノズルプレート11を、面9側(図3)から照らす。
第2照明23bは、赤色(R色)LEDを用いた赤色の照明であり、同軸落射LED部52から照射された赤色の光は、同軸落射ケース51内のレンズ(図示省略)で集光され、反射ミラー53および鏡筒33内に配設されたハーフミラー54で反射して、第2撮像装置21bの光軸と同一軸でノズルプレート11を、ノズル面5側(図3)から照らす。
第3照明24は、第2撮像装置21bの対物レンズ34の外側に環状に添設されており、複数の点光源であるハロゲンランプ(図示省略)を環状に配設したリング照明本体61と、リング照明本体61の下側に接続され、光の照射角度を変更するリング治具62と、を備えている。また、第3照明24は、電源27に接続され、適正且つ安定した電力が供給されるようになっている。リング治具62は、その内側が鏡面加工されており、リング照明本体61から照射された光(ハロゲン光)は、リング治具62の内側で反射して、ノズルプレート11に対して30°の角度で照射される。リング治具62を通過した光は、第2撮像装置21bの撮像範囲に該当するノズルプレート11のノズル面5に集光する。これにより、第2撮像装置21bでの撮像に必要な光を集めることができる。なお、リング治具62は、上記したものに限られず、例えば、プリズムやレンズ等で構成してもよい。すなわち、第2撮像装置21bの撮像範囲に集光するべく、リング照明本体61から照射された光の照射角度を変更できるものであればよい。また、上記したノズルプレート11に対しての第3照明24からの光の角度(30°)は一例であり、撮像条件に合わせて任意に変更することが好ましい。
画像処理装置26は、画像処理のための作業領域(一時記憶領域)として使用されるRAM71と、画像処理に用いる各種データおよび各種プログラムを記憶(保存)するHDD72と、HDD72に記憶されたプログラム等に従い、各種データを演算処理するCPU73と、CPU73による各種処理を行うための制御プログラムおよび制御データを記憶するROM74と、を有している。また、画像処理装置26には、キーボードやマウス等の入力デバイス75、ディスプレイ76等が接続されており、画像処理装置26は、IOC77(Input Output Controller)を介して、カメラ本体32と接続されている。
本実施形態の検査装置2の画像処理装置26によるノズルプレート11の検査方法について説明する。本実施形態における検査方法では、ノズル孔12の内部(内周面)に異物4があるか否かと、ノズルプレート11のノズル面5の表面状態と、を検査することができる。
本実施形態における検査方法は、図4に示すように、撮像工程S1と、色成分抽出工程S2と、画像処理工程S3と、画像合成工程S4と、を含む。
撮像工程S1では、第1撮像装置21aによる撮像と、第2撮像装置21bによる撮像とを行う。第1撮像装置21aによる撮像では、面9(図3)側から、ノズル孔12の輪郭を含めた状態で面9を撮像することによって、後述する第1撮像画像を取得する。また、第2撮像装置21bによる撮像では、ノズル面5(図3)側から、ノズル孔12を含めた状態でノズル面5を撮像することによって、後述する第2撮像画像を取得する。
色成分抽出工程S2では、第1撮像画像からR色・B色の色成分別の画像を抽出し、第2撮像画像からR色・G色の色成分別の画像を抽出する。
画像処理工程S3では、第1撮像画像及び2撮像画像ごとに、それぞれの色成分別の画像に画像処理を施すことによって、処理画像を生成する。
画像合成工程S4では、第1撮像画像及び2撮像画像ごとに、色成分別の処理画像同士を合成することによって、後述する第1検査画像及び第2検査画像を生成する。
撮像工程S1に先立ち、作業者は、検査対象物となるノズルプレート11をワークセット治具22の所定位置に固定する。撮像工程S1では、第1照明23a、第2照明23b及び第3照明24をすべて点灯させた状態で、第1撮像装置21a及び第2撮像装置21bのそれぞれにより、撮像を行う。
本実施形態では、第1撮像装置21aによる検査方法と、第2撮像装置21bによる検査方法とが、並行して行われる。しかしながら、検査方法の態様は、これに限定されず、第1撮像装置21aによる検査方法と、第2撮像装置21bによる検査方法とを別々に実施する態様も採用され得る。さらに、この場合、第1撮像装置21aによる検査方法と、第2撮像装置21bによる検査方法との実施順序は、いずれが先でも後でもよい。
以下においては、第1撮像装置21aによる検査方法の流れと、第2撮像装置21bによる検査方法の流れとを個別に説明する。
まず、第1撮像装置21aによる検査方法の流れを説明する。
第1撮像装置21aによって撮像された画像情報は、IOC77(図2)を介して画像処理装置26に第1撮像画像81(図5(a)参照)として取り込まれる。なお、図5では、1つのノズル孔12について、各工程で生成される画像を模式的に示している。
色成分抽出工程S2では、第1撮像画像81から、「R(赤)」、「B(青)」の各色成分(波長成分)の画像を抽出し、図5(b)に示す赤色成分画像82及び青色成分画像83の色成分画像を生成する。各色の波長成分は、明確に異なる波長成分からなるものであり、色成分ごとの画像に簡単に抽出することができる。また、可視光線の範囲で当該検査を行うため、画像処理装置26による検査が困難な場合にも、人の目による確認が容易になる。さらに、1度の撮像工程S1で、複数(本実施形態では2つ)の画像を生成することができるため、撮像工程S1に係る時間を短縮することができ、検査対象物の検査に要する時間を短縮することができる。
青色成分画像83は、第1照明23aから照射された青色光の波長成分(第1の波長成分)を抽出することで生成される。第1照明23aからの青色光は、第1撮像装置21aの光軸と同軸で照射されているため、ノズル孔12内では上方に通過してしまい、反射(または散乱)することはないが、その他のノズルプレート11の面9で反射等して、その反射光(または散乱光)が第1撮像装置21aに入射する。したがって、青色成分画像83では、ノズル孔12の内部は黒色に表示され、その他のノズルプレート11の面9は青色に表示される。つまり、青色成分画像83では、正確な位置および大きさのノズル孔12の輪郭のみが明確に黒色に表示される。
赤色成分画像82は、第2照明23bから照射された赤色光の波長成分(第2の波長成分)を抽出することで生成される。第2照明23bからの赤色光は、ノズル孔12内を通過して第1撮像装置21aに入射する。したがって、赤色成分画像82では、ノズル孔12の内部は赤色に表示され、その他のノズルプレート11のノズル面5は黒色に表示される。
この際、第2照明23bからの赤色光は、ノズル孔12の内周面に反射または散乱した成分も第1撮像装置21aに入射するため、赤色成分画像82において、ノズル孔12の輪郭は、若干ぼやけて、実際の大きさよりも大きく表示される。また、ノズル孔12の内部に異物4が付着している場合、上方から投射された赤色光は、その異物4の部分で遮られる。このため、ノズル孔12内の異物4も赤色成分画像82において黒色に表示される。したがって、赤色成分画像82では、ノズル孔12の輪郭内(赤色)に異物4(黒色)が表示されていても、その異物4が、実際にノズル孔12の内部に付着したものか否かを、赤色成分画像82で判断することはできない。
画像処理工程S3では、画像処理装置26が赤色成分画像82および青色成分画像83に各々2値化処理を行い、図5(c)に示す赤色成分処理画像84および青色成分処理画像85の2値化画像を各々生成する。2値化処理は、設定した閾値により行われる。2値化処理された赤色成分処理画像84および青色成分処理画像85は、それぞれ白黒の画像となる。赤色成分処理画像84では、位置および大きさが正確なノズル孔12の輪郭が強調される。同様に、青色成分処理画像85では、ノズル孔12の内部に存在する異物4が強調される。このように、色成分抽出工程S2を経た赤色成分画像82および青色成分画像83に対して、画像処理工程S3を行うことで、複雑な画像処理を施すことなく、ノズル孔12および異物4を誤検出することのない正確な2値化画像(赤色成分処理画像84および青色成分処理画像85)を得ることができる。なお、2値化処理における画像の輝度の閾値は、固定閾値法、自動2値化法、モード法および判別分析法等の既知の手法や、ユーザーが実験或いは経験等に基づいて、任意に求める。
画像合成工程S4では、画像処理工程S3で生成した赤色成分処理画像84と青色成分処理画像85との両画像間で論理和(OR)演算を行う。これにより、図5(d)に示す中間検体画像86が得られる。中間検体画像86では、ノズル孔12内の異物4のみが「黒」で表示される。
次いで、中間検体画像86に対して、否定(NOT)演算を行い、白黒を反転させる(異物4が「白」)ことによって、図5(e)に示す第1検査画像87が得られる。そして、この第1検査画像87により、画像処理装置26は、ノズル孔12の内部に存在する異物4を検出する。ノズル孔12の位置および大きさが正確に表示された赤色成分処理画像84と、ノズル孔12の内部の異物4が表示された青色成分処理画像85と、を画像処理(論理演算)して生成された第1検査画像87では、ノズル孔12と異物4との位置関係が明確になり、ノズル孔12の内部(内周面)に異物4があるかどうかを正確に且つ確実に検出することができる。なお、中間検体画像86に対する否定演算に代えて、中間検体画像86の「明」成分(画像の輝度値が「0」)と、それ以外の成分とで2値化処理を実行した画像を第1検査画像87としてもよい。また、検査に用いるプログラムによっては、否定演算を省略して、中間検体画像86により異物4を検出するようにしてもよい。
以上の構成によれば、1度の撮像工程S1で、複数の画像を生成することができ、孔内検査全体に要する時間を短縮することができる。また、簡単な画像処理の手順で異物4を正確に且つ確実に検出可能な第1検査画像87を生成することができる。この孔内検査により、吐出液滴の曲りやノズル詰り等の吐出不良が生じる可能性のあるノズルプレート11を除外することができる。これにより、高品位なインクジェットヘッド1の製造が可能となる。
次に、第2撮像装置21bによる検査方法の流れを説明する。
第2撮像装置21bによって撮像された画像情報は、IOC77(図2)を介して画像処理装置26に第2撮像画像91(図6(a)参照)として取り込まれる。なお、図6では、4つのノズル孔12について、各工程で生成される画像を模式的に示している。
色成分抽出工程S2では、第2撮像画像91から、「R(赤)」、「G(緑)」の各色成分(波長成分)の画像を抽出し、図6(b)に示す赤色成分画像92及び緑色成分画像93の色成分画像を生成する。各色の波長成分は、明確に異なる波長成分からなるものであり、色成分ごとの画像に簡単に抽出することができる。また、可視光線の範囲で当該検査を行うため、画像処理装置26による検査が困難な場合にも、人の目による確認が容易になる。さらに、1度の撮像工程S1で、複数(本実施形態では2つ)の画像を生成することができるため、撮像工程S1に係る時間を短縮することができ、検査対象物の検査に要する時間を短縮することができる。
赤色成分画像92は、第2照明23bから照射された赤色光の波長成分(第2の波長成分)を抽出することで生成される。第2照明23bからの赤色光は、第2撮像装置21bの光軸と同軸で照射されているため、ノズル孔12内では下方に通過してしまい、反射(または散乱)することはないが、その他のノズルプレート11のノズル面5で反射等して、その反射光(または散乱光)が第2撮像装置21bに入射する。したがって、赤色成分画像92では、ノズル孔12の内部は黒色に表示され、その他のノズルプレート11のノズル面5は赤色に表示される。つまり、赤色成分画像92では、正確な位置および大きさのノズル孔12の輪郭のみが明確に黒色に表示される。なお、第3照明24からのハロゲン光にも赤色の波長成分が含まれているが、この赤色の波長成分は、第2照明23bの赤色光よりも弱く、且つ波長成分も異なるため、第2撮像装置21bでは撮像されず、赤色成分画像92に表示されることはない。
緑色成分画像93は、第3照明24から照射されたハロゲン光に含まれる緑色光の波長成分(第3の波長成分)を抽出することで生成される。
第3照明24からの光は、第2撮像装置21bの光軸に対して傾斜した方向に照射される。このため、第3照明24からの光のうちノズル面5で反射した反射光は、本来的には、第2撮像装置21bに入射しない。しかし、ノズル面5に傷などの損傷3がある場合には、第3照明24からの光のうち損傷3で反射した光は、第2撮像装置21bに入射し得る。したがって、緑色成分画像93では、損傷3が緑色に表示され、その他のノズルプレート11のノズル面5が黒色に表示される。
画像処理工程S3では、画像処理装置26が赤色成分画像92および緑色成分画像93に各々2値化処理を行い、図6(c)に示す赤色成分処理画像94および緑色成分処理画像95の2値化画像を各々生成する。2値化処理は、設定した閾値により行われる。2値化処理された赤色成分処理画像94および緑色成分処理画像95は、それぞれ白黒の画像となる。赤色成分処理画像94では、位置および大きさが正確なノズル孔12の輪郭が強調される。同様に、緑色成分処理画像95では、ノズル面5に存在する損傷3が強調される。このように、色成分抽出工程S2を経た赤色成分画像92および緑色成分画像93に対して、画像処理工程S3を行うことで、複雑な画像処理を施すことなく、ノズル孔12および損傷3を誤検出することのない正確な2値化画像(赤色成分処理画像94および緑色成分処理画像95)を得ることができる。なお、2値化処理における画像の輝度の閾値は、固定閾値法、自動2値化法、モード法および判別分析法等の既知の手法や、ユーザーが実験或いは経験等に基づいて、任意に求める。
画像合成工程S4では、画像処理工程S3で生成した赤色成分処理画像94と緑色成分処理画像95との両画像間で排他的論理和(XOR)演算を行う。これにより、図6(d)に示す中間検体画像96が得られる。中間検体画像96では、ノズル孔12及び損傷3が「黒」で表示される。
次いで、中間検体画像96に対して、否定(NOT)演算を行い、白黒を反転させる(ノズル孔12及び損傷3が「白」)ことによって、図6(e)に示す第2検査画像97が得られる。そして、この第2検査画像97により、画像処理装置26は、吐出性能の低下の要因となる損傷3を検出する。ノズル孔12の位置および大きさが正確に表示された赤色成分処理画像94と、損傷3が表示された緑色成分処理画像95と、を画像処理(論理演算)して生成された第2検査画像97では、ノズル孔12と損傷3との位置関係が明確になり、吐出性能の低下の要因となる損傷3があるかどうかを正確に且つ確実に検出することができる。なお、中間検体画像96に対する否定演算に代えて、中間検体画像96の「明」成分(画像の輝度値が「0」)と、それ以外の成分とで2値化処理を実行した画像を第2検査画像97としてもよい。また、検査に用いるプログラムによっては、否定演算を省略して、中間検体画像96により損傷3を検出するようにしてもよい。
本実施形態によれば、1度の撮像工程S1で、複数の画像を生成することができ、検査全体に要する時間を短縮することができる。また、簡単な画像処理の手順で損傷3を正確に且つ確実に検出可能な第2検査画像97を生成することができる。この検査により、吐出液滴の曲りやノズル詰り等の吐出不良が生じる可能性のあるノズルプレート11を除外することができる。これにより、高品位なインクジェットヘッド1の製造が可能となる。
また、本実施形態では、ノズルプレート11の面9側からノズル孔12内の状態を検査することができるとともに、ノズルプレート11のノズル面5側からノズル面5の表面状態を検査することができる。この結果、ノズルプレート11にかかる検査を効率化しやすくすることができる。
また、本実施形態では、ノズル面5の表面状態の検査に対して、第2撮像装置21bの視野を広い範囲にわたって広げても、ノズル孔12内の状態検査に対して、ノズル孔という局所を第1撮像装置21aで大きく捉えることができる。つまり、本実施形態では、ノズル面5の広範的な表面状態の検査に対する要求と、局所的なノズル孔12内の状態の検査に対する要求とを満足することができる。この結果、ノズルプレート11にかかる検査を一層効率化しやすくすることができる。
また、本実施形態では、第1撮像装置21aと第2撮像装置21bとが互いに対向しているので、第1撮像装置21a及び第2撮像装置21bの一方が撮像し得ない部分を他方に撮像させることができる。例えば、本実施形態では、ノズルプレート11のテーパー部12aを第2撮像装置21bで撮像することができない。しかしながら、第1撮像装置21aは、テーパー部12aを撮像することができる。このため、第1撮像装置21aによって、ノズルプレート11のテーパー部12aの状態を検査することができる。
なお、本実施形態では、第1の波長成分として第1照明23aからの青色光を、第2の波長成分として第2照明23bからの赤色光を、第3の波長成分として第3照明24からの光に含まれる緑色光が採用されている。しかしながら、第1の波長成分、第2の波長成分及び第3の波長成分は、相互に色成分が異なっていれば、いずれがR色でもG色でもB色でもよい。「R色、G色、B色」のうち、任意の2色の色成分の組み合わせであればよい。また、色成分は、「R色、G色、B色」に限定されず、「C色、M色、Y色」のうち、任意の2色の色成分の組み合わせでもよい。つまり、波長成分の異なる画像を抽出(分解)することができれば、どのような色(波長)でもよく、可視光線と不可視光線との別も問わない。
1…インクジェットヘッド、2…検査装置、3…損傷、4…異物、5…ノズル面、9…面、11…ノズルプレート、12…ノズル孔、12a…テーパー部、12b…ストレート部、21a…第1撮像装置、21b…第2撮像装置、23a…第1照明、23b…第2照明、24…第3照明、26…画像処理装置、81…第1撮像画像、82…赤色成分画像、83…青色成分画像、84…赤色成分処理画像、85…青色成分処理画像、86…中間検体画像、87…第1検査画像、91…第2撮像画像、92…赤色成分画像、93…緑色成分画像、94…赤色成分処理画像、95…緑色成分処理画像、96…中間検体画像、97…第2検査画像。

Claims (4)

  1. 互いに対向する第1面及び第2面の間を貫通する孔を有する検査対象物の前記第1面側から前記孔を撮像する第1撮像装置と、
    前記第1撮像装置の光軸に対して同軸であり、第1の波長成分の光で前記検査対象物を前記第1面側から照明する第1照明と、
    前記検査対象物の前記第2面側から、前記孔を含めた状態で前記第2面を撮像する第2撮像装置と、
    前記第2撮像装置の光軸に対して同軸であり、前記第1の波長成分とは異なる第2の波長成分の光で前記検査対象物を前記第2面側から照明する第2照明と、
    前記第1の波長成分及び前記第2の波長成分とは異なる第3の波長成分を含む光で、前記検査対象物の前記第2面側から、且つ前記第2撮像装置の光軸に対して傾斜した方向から前記検査対象物の前記第2面を照明する第3照明と、
    前記第1撮像装置での前記第1の波長成分の画像と、前記第1撮像装置での前記第2の波長成分の画像とを合成して第1検査画像を生成し、前記第2撮像装置での前記第2の波長成分の画像と、前記第2撮像装置での前記第3の波長成分の画像とを合成して第2検査画像を生成する画像処理部と、を有する、
    ことを特徴とする検査装置。
  2. 前記第1の波長成分および前記第2の波長成分は、R色・G色・B色のうち2色の色成分の組み合わせであることを特徴とする請求項1に記載の検査装置。
  3. 前記第1の波長成分および前記第2の波長成分は、Y色・M色・C色のうち2色の色成分の組み合わせであることを特徴とする請求項1に記載の検査装置。
  4. 前記検査対象物がインクジェットヘッドのノズルプレートであり、
    前記孔が、前記ノズルプレートに形成したノズル孔であることを特徴とする請求項1乃至3のいずれかに記載の検査装置。
JP2010259835A 2010-11-22 2010-11-22 検査装置 Expired - Fee Related JP5664167B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010259835A JP5664167B2 (ja) 2010-11-22 2010-11-22 検査装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010259835A JP5664167B2 (ja) 2010-11-22 2010-11-22 検査装置

Publications (2)

Publication Number Publication Date
JP2012112688A true JP2012112688A (ja) 2012-06-14
JP5664167B2 JP5664167B2 (ja) 2015-02-04

Family

ID=46497077

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010259835A Expired - Fee Related JP5664167B2 (ja) 2010-11-22 2010-11-22 検査装置

Country Status (1)

Country Link
JP (1) JP5664167B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101482869B1 (ko) * 2013-07-25 2015-01-16 (주)토탈솔루션 홀 검사장치
CN104634738A (zh) * 2013-11-13 2015-05-20 Ckd株式会社 检查装置和ptp包装机
WO2015146063A1 (ja) * 2014-03-28 2015-10-01 セーレン株式会社 欠陥検出装置及び欠陥検出方法
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置
JP2019082455A (ja) * 2017-10-31 2019-05-30 株式会社東芝 検査システムおよび検査方法
JP2019521330A (ja) * 2016-05-24 2019-07-25 ライカート インコーポレイテッドReichert,Inc. マッピングレンズメータ
JP2021021740A (ja) * 2020-10-20 2021-02-18 株式会社東芝 検査システムおよび検査方法
WO2022137748A1 (ja) * 2020-12-23 2022-06-30 株式会社前川製作所 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
WO2023162140A1 (ja) * 2022-02-25 2023-08-31 株式会社Fuji 検査装置および検査方法
KR20240020386A (ko) * 2022-08-08 2024-02-15 주식회사 주은이앤씨 이미지를 이용한 노즐 검사 장치 및 방법

Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04265846A (ja) * 1991-02-20 1992-09-22 Nec Corp スルーホール画像のパターン認識方法
JPH05196568A (ja) * 1992-01-17 1993-08-06 Japan Ii M Kk 鍍金検査装置
JPH0618238A (ja) * 1992-06-30 1994-01-25 Ckd Corp ハンダ配設状況識別方法及び識別装置
JPH095253A (ja) * 1995-06-21 1997-01-10 N T T Fuanetsuto Syst Kk 欠陥検査装置
JPH09189531A (ja) * 1996-01-09 1997-07-22 Rohm Co Ltd 半導体レーザのワイヤの検査方法
JPH1068615A (ja) * 1996-08-27 1998-03-10 Toshiba Ceramics Co Ltd 透孔周辺部の外観検査装置
JPH11258170A (ja) * 1998-03-13 1999-09-24 Techno Soft Systemnics:Kk 化学繊維射出用口金孔内の残留物及び摩耗の自動検査装置
JP2000009591A (ja) * 1998-06-25 2000-01-14 Omron Corp 検査装置
JP2000180374A (ja) * 1998-12-15 2000-06-30 Matsushita Electric Ind Co Ltd 欠陥検出方法
JP2000266514A (ja) * 1999-03-15 2000-09-29 Dainippon Printing Co Ltd 金属板の検査方法及び装置
JP2001041722A (ja) * 1999-07-30 2001-02-16 Canon Inc 形状測定方法および装置
JP2001041894A (ja) * 1997-06-17 2001-02-16 Yuki Gijutsu Sogo:Kk シート包装検査装置および検査方法
JP2002122554A (ja) * 2000-10-16 2002-04-26 Shashin Kagaku Co Ltd プリント配線基板のビアホール検査装置
JP2002131240A (ja) * 2000-10-27 2002-05-09 Seiko Epson Corp 透孔内異物検査の管理方法
JP2002250700A (ja) * 2001-02-23 2002-09-06 Matsushita Electric Works Ltd パターン検査方法およびその装置
JP2005345425A (ja) * 2004-06-07 2005-12-15 Sealive Inc 外観検査装置及び紫外光照明装置
JP2006267000A (ja) * 2005-03-25 2006-10-05 Teijin Cordley Ltd 孔内異物の検出方法及びその検出プログラム
JP2006313146A (ja) * 2005-04-08 2006-11-16 Omron Corp 欠陥検査方法およびその方法を用いた欠陥検査装置
JP2007333672A (ja) * 2006-06-19 2007-12-27 Seiko Epson Corp 外観検査装置および外観検査方法
JP2008026247A (ja) * 2006-07-25 2008-02-07 Seiko Epson Corp 外観検査装置および外観検査方法
JP2008111695A (ja) * 2006-10-30 2008-05-15 Seiko Epson Corp 外観検査方法
JP2008298569A (ja) * 2007-05-31 2008-12-11 Toray Ind Inc 中空糸口金検査装置および検査・判定方法
JP4434417B2 (ja) * 2000-03-23 2010-03-17 日本特殊陶業株式会社 プリント配線板の検査装置
JP2010175491A (ja) * 2009-02-02 2010-08-12 Seiko Epson Corp ノズルプレートの検査装置およびノズルプレートの検査方法

Patent Citations (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04265846A (ja) * 1991-02-20 1992-09-22 Nec Corp スルーホール画像のパターン認識方法
JPH05196568A (ja) * 1992-01-17 1993-08-06 Japan Ii M Kk 鍍金検査装置
JPH0618238A (ja) * 1992-06-30 1994-01-25 Ckd Corp ハンダ配設状況識別方法及び識別装置
JPH095253A (ja) * 1995-06-21 1997-01-10 N T T Fuanetsuto Syst Kk 欠陥検査装置
JPH09189531A (ja) * 1996-01-09 1997-07-22 Rohm Co Ltd 半導体レーザのワイヤの検査方法
JPH1068615A (ja) * 1996-08-27 1998-03-10 Toshiba Ceramics Co Ltd 透孔周辺部の外観検査装置
JP2001041894A (ja) * 1997-06-17 2001-02-16 Yuki Gijutsu Sogo:Kk シート包装検査装置および検査方法
JPH11258170A (ja) * 1998-03-13 1999-09-24 Techno Soft Systemnics:Kk 化学繊維射出用口金孔内の残留物及び摩耗の自動検査装置
JP2000009591A (ja) * 1998-06-25 2000-01-14 Omron Corp 検査装置
JP2000180374A (ja) * 1998-12-15 2000-06-30 Matsushita Electric Ind Co Ltd 欠陥検出方法
JP2000266514A (ja) * 1999-03-15 2000-09-29 Dainippon Printing Co Ltd 金属板の検査方法及び装置
JP2001041722A (ja) * 1999-07-30 2001-02-16 Canon Inc 形状測定方法および装置
JP4434417B2 (ja) * 2000-03-23 2010-03-17 日本特殊陶業株式会社 プリント配線板の検査装置
JP2002122554A (ja) * 2000-10-16 2002-04-26 Shashin Kagaku Co Ltd プリント配線基板のビアホール検査装置
JP2002131240A (ja) * 2000-10-27 2002-05-09 Seiko Epson Corp 透孔内異物検査の管理方法
JP2002250700A (ja) * 2001-02-23 2002-09-06 Matsushita Electric Works Ltd パターン検査方法およびその装置
JP2005345425A (ja) * 2004-06-07 2005-12-15 Sealive Inc 外観検査装置及び紫外光照明装置
JP2006267000A (ja) * 2005-03-25 2006-10-05 Teijin Cordley Ltd 孔内異物の検出方法及びその検出プログラム
JP2006313146A (ja) * 2005-04-08 2006-11-16 Omron Corp 欠陥検査方法およびその方法を用いた欠陥検査装置
JP2007333672A (ja) * 2006-06-19 2007-12-27 Seiko Epson Corp 外観検査装置および外観検査方法
JP2008026247A (ja) * 2006-07-25 2008-02-07 Seiko Epson Corp 外観検査装置および外観検査方法
JP2008111695A (ja) * 2006-10-30 2008-05-15 Seiko Epson Corp 外観検査方法
JP2008298569A (ja) * 2007-05-31 2008-12-11 Toray Ind Inc 中空糸口金検査装置および検査・判定方法
JP2010175491A (ja) * 2009-02-02 2010-08-12 Seiko Epson Corp ノズルプレートの検査装置およびノズルプレートの検査方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101482869B1 (ko) * 2013-07-25 2015-01-16 (주)토탈솔루션 홀 검사장치
CN104634738A (zh) * 2013-11-13 2015-05-20 Ckd株式会社 检查装置和ptp包装机
WO2015146063A1 (ja) * 2014-03-28 2015-10-01 セーレン株式会社 欠陥検出装置及び欠陥検出方法
JP2015190898A (ja) * 2014-03-28 2015-11-02 セーレン株式会社 欠陥検出装置及び欠陥検出方法
JP2019521330A (ja) * 2016-05-24 2019-07-25 ライカート インコーポレイテッドReichert,Inc. マッピングレンズメータ
JP2020042044A (ja) * 2017-02-20 2020-03-19 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置
JPWO2018150607A1 (ja) * 2017-02-20 2019-02-21 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置
WO2018150607A1 (ja) * 2017-02-20 2018-08-23 Serendipity株式会社 外観検査装置、照明装置、撮影照明装置
US10890537B2 (en) 2017-02-20 2021-01-12 Serendipity Co., Ltd Appearance inspection device, lighting device, and imaging lighting device
JP2019082455A (ja) * 2017-10-31 2019-05-30 株式会社東芝 検査システムおよび検査方法
US10902578B2 (en) 2017-10-31 2021-01-26 Kabushiki Kaisha Toshiba Inspection system and inspection method
US11734811B2 (en) 2017-10-31 2023-08-22 Kabushiki Kaisha Toshiba Inspection system and inspection method
JP2021021740A (ja) * 2020-10-20 2021-02-18 株式会社東芝 検査システムおよび検査方法
JP7072031B2 (ja) 2020-10-20 2022-05-19 株式会社東芝 検査システムおよび検査方法
WO2022137748A1 (ja) * 2020-12-23 2022-06-30 株式会社前川製作所 対象検出装置、機械学習実行装置、対象検出プログラム及び機械学習実行プログラム
WO2023162140A1 (ja) * 2022-02-25 2023-08-31 株式会社Fuji 検査装置および検査方法
KR20240020386A (ko) * 2022-08-08 2024-02-15 주식회사 주은이앤씨 이미지를 이용한 노즐 검사 장치 및 방법
KR102679611B1 (ko) * 2022-08-08 2024-06-28 주식회사 주은이앤씨 이미지를 이용한 노즐 검사 장치 및 방법

Also Published As

Publication number Publication date
JP5664167B2 (ja) 2015-02-04

Similar Documents

Publication Publication Date Title
JP5664167B2 (ja) 検査装置
JP7339643B2 (ja) 溶液に浸された眼用レンズの屈折力および厚さを検査するためのシステムおよび方法
US10184858B2 (en) Visually inspecting optical fibers
TWI491871B (zh) 用於光學檢測的照明系統及使用其之檢測系統、檢測方法
JP2008502929A (ja) 反射または透過赤外光による微細構造の検査装置または検査方法
TWI289719B (en) Inspection system imager method for inspecting surfaces for defect and method for fabricating electrical circuit
US20060023229A1 (en) Camera module for an optical inspection system and related method of use
JP6487617B2 (ja) マイクロレンズアレイの欠陥検査方法及び欠陥検査装置
CN109406542B (zh) 光学检测系统
TW201312192A (zh) 光學影像擷取裝置用濾鏡光源模組及該影像擷取裝置
JP2008298569A (ja) 中空糸口金検査装置および検査・判定方法
WO2015174114A1 (ja) 基板検査装置
CN105204151A (zh) 一种照明装置和方法
CN104204771A (zh) 用于活检检查的数字成像系统
JP5552779B2 (ja) 孔内検査方法
JP5549155B2 (ja) 表面検査方法
KR102246219B1 (ko) 전자 부품의 적외선 검사 장치 및 그 방법
JP2014222221A (ja) 発光体の検査装置
TWM453842U (zh) Oled檢測機台及其光學檢測裝置
JP2009074815A (ja) レンズ欠陥検査装置
JP2004212353A (ja) 光学的検査装置
US20100238406A1 (en) Focus assisting device
KR20160032576A (ko) 고속 카메라 및 적외선 광학계를 이용한 이미지 분석 시스템 및 방법
KR20170005600A (ko) 결함 검사장치
CN117348225A (zh) 显微装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130913

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140311

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140407

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141111

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141124

R150 Certificate of patent or registration of utility model

Ref document number: 5664167

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees