JP2021189044A - 表面検査装置および表面検査方法 - Google Patents
表面検査装置および表面検査方法 Download PDFInfo
- Publication number
- JP2021189044A JP2021189044A JP2020094598A JP2020094598A JP2021189044A JP 2021189044 A JP2021189044 A JP 2021189044A JP 2020094598 A JP2020094598 A JP 2020094598A JP 2020094598 A JP2020094598 A JP 2020094598A JP 2021189044 A JP2021189044 A JP 2021189044A
- Authority
- JP
- Japan
- Prior art keywords
- light
- dark
- surface inspection
- inspected
- inspection apparatus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
【課題】色特性として表れにくい被検査体の表面の3次元形状に由来する微小な欠陥を一度の撮影で広範囲にわたって検出可能な表面検査装置の提供。
【解決手段】
明暗の差を周期的に繰り返す明暗パターンを被検査体の表面に投射する照明手段と、前記照明手段の前記被検査体からの正反射光を受光して撮影する撮影手段と、前記撮影手段により撮影された画像と、前記明暗パターンとを比較することで前記画像から前記被検査体の表面上の微小な形状変化を検出する検出手段と、を有し、前記撮影手段は、前記照明手段からの前記正反射光の反射角θが、条件式(1):45°<θ≦85°の範囲内に収まる位置に配置されたことを特徴とする表面検査装置。
【選択図】図1
【解決手段】
明暗の差を周期的に繰り返す明暗パターンを被検査体の表面に投射する照明手段と、前記照明手段の前記被検査体からの正反射光を受光して撮影する撮影手段と、前記撮影手段により撮影された画像と、前記明暗パターンとを比較することで前記画像から前記被検査体の表面上の微小な形状変化を検出する検出手段と、を有し、前記撮影手段は、前記照明手段からの前記正反射光の反射角θが、条件式(1):45°<θ≦85°の範囲内に収まる位置に配置されたことを特徴とする表面検査装置。
【選択図】図1
Description
本発明は、表面検査装置および表面検査方法に関する。
製造業において、高品質かつ安心・安全な製品を提供するために、検査工程により良品・不良品の判別を的確に行う必要がある。
一般に不良品を判断する欠陥検査において、カメラや照明などの撮像光学系を組み合わせることで、製品の外観を撮影した後、適切な画像処理を行うことで製品表面の欠陥の有無や大きさを判別する方法が知られている。
特に被検査体表面の凹凸を検査する方法としては、被検査体の表面に照明を当てて撮影し、撮影画像を解析して凹凸を検出する方法が従来から広く行われている(例えば特許文献1〜12等参照)。
しかしながら、このような方法では被検査体の表面が鏡面光沢を有する時など、撮影画像にカメラ等の撮影手段自体や周囲の物体が映り込んでしまい、被検査体の表面の凹凸が隠れてしまう問題があった。
このような映り込みを防ぐためには、照明装置に拡散板を付ける方法があるが、一様な光を照射することとなるため、色特性の差として表れない程度に微小な3次元形状に由来する欠陥等についての検出が難しい。
一般に不良品を判断する欠陥検査において、カメラや照明などの撮像光学系を組み合わせることで、製品の外観を撮影した後、適切な画像処理を行うことで製品表面の欠陥の有無や大きさを判別する方法が知られている。
特に被検査体表面の凹凸を検査する方法としては、被検査体の表面に照明を当てて撮影し、撮影画像を解析して凹凸を検出する方法が従来から広く行われている(例えば特許文献1〜12等参照)。
しかしながら、このような方法では被検査体の表面が鏡面光沢を有する時など、撮影画像にカメラ等の撮影手段自体や周囲の物体が映り込んでしまい、被検査体の表面の凹凸が隠れてしまう問題があった。
このような映り込みを防ぐためには、照明装置に拡散板を付ける方法があるが、一様な光を照射することとなるため、色特性の差として表れない程度に微小な3次元形状に由来する欠陥等についての検出が難しい。
鏡面光沢を有する被検査体の表面にある微小な3次元形状に由来する欠陥を検知する方法としては、例えば輝線を含む照明を被検査体の表面に照射して反射光を撮影手段により撮影し、撮影画像における輝線の明暗の境界の歪みを検出することで形状欠陥を検出する方法が考えられている(例えば特許文献3、4等参照)。
しかしながら、このような方法では広範囲の検出を行うことが難しいという問題が生じていた。
しかしながら、このような方法では広範囲の検出を行うことが難しいという問題が生じていた。
本発明は、以上のような問題点に鑑みてなされたものであり、色特性として表れにくい被検査体の表面の3次元形状に由来する微小な欠陥を一度の撮影で広範囲にわたって検出可能な表面検査装置の提供を目的とする。
上述した課題を解決するため、本発明の表面検査装置は、明暗の差を周期的に繰り返す明暗パターンを被検査体の表面に投射する照明手段と、前記照明手段の前記被検査体からの正反射光を受光して撮影する撮影手段と、前記撮影手段により撮影された画像と、前記明暗パターンとを比較することで前記画像から前記被検査体の表面上の微小な形状変化を検出する検出手段と、を有し、前記撮影手段は、前記照明手段からの前記正反射光の反射角が、45°<θ≦85°の範囲内に収まる位置に配置されたことを特徴とする。
本発明によれば、色特性として表れにくい被検査体の表面の3次元形状に由来する微小な欠陥を一度の撮影で広範囲にわたって検出可能である。
本発明の実施形態の一例として図1に表面検査装置100の概略構成を示す。
本発明の第1の実施形態における表面検査装置100は、被検査体であるワークPの表面に向けて明部と暗部とを有する明暗パターンを含んだ投射光16を照射する照明手段たるハロゲンランプ10と、投射光16がワークPに反射した反射光17を受光するカメラ20と、を有している。
表面検査装置100は、ハロゲンランプ10を支持する照明支持アーム11と、カメラ20を支持する検出器支持アーム21と、照明支持アーム11、検出器支持アーム21、ワークP等を支持する不動の架台1と、を有している。
表面検査装置100はまた、ハロゲンランプ10やカメラ20を制御するための制御手段として機能する端末である制御部9を有している。
本発明の第1の実施形態における表面検査装置100は、被検査体であるワークPの表面に向けて明部と暗部とを有する明暗パターンを含んだ投射光16を照射する照明手段たるハロゲンランプ10と、投射光16がワークPに反射した反射光17を受光するカメラ20と、を有している。
表面検査装置100は、ハロゲンランプ10を支持する照明支持アーム11と、カメラ20を支持する検出器支持アーム21と、照明支持アーム11、検出器支持アーム21、ワークP等を支持する不動の架台1と、を有している。
表面検査装置100はまた、ハロゲンランプ10やカメラ20を制御するための制御手段として機能する端末である制御部9を有している。
制御部9は、CPU(Central Processing Unit)、メインメモリ(MEM−P)、ノースブリッジ(NB)、サウスブリッジ(SB)等を有する計算機である。
制御部9はまた、AGP(Accelerated Graphics Port)バス、ASIC(Application Specific Integrated Circuit)、ローカルメモリ(MEM−C)を有している。
制御部9はまた、HD(Hard Disk)、HDD(Hard Disk Drive)、PCIバス、ネットワークI/Fを有している。
制御部9はまた、AGP(Accelerated Graphics Port)バス、ASIC(Application Specific Integrated Circuit)、ローカルメモリ(MEM−C)を有している。
制御部9はまた、HD(Hard Disk)、HDD(Hard Disk Drive)、PCIバス、ネットワークI/Fを有している。
CPUは、メインメモリに記憶されたプログラムに従って、データを加工・演算したり、上述した各部の動作を制御したりするものである。メインメモリは制御部9の記憶領域としてはたらき、制御部9の各機能を実現させるプログラムやデータを記憶する。あるいはこのプログラムは、インストール可能な形式又は実行可能な形式のファイルでCD−ROM、FD、CD−R、DVD等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
ローカルメモリ(MEM−C)は、コピー用画像バッファ及び符号バッファとして用いる。HDは、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。HDDは、CPUの制御にしたがってHDに対するデータの読み出し又は書き込みを制御する。ネットワークI/Fは、通信ネットワークを介して情報処理装置等の外部機器と情報を送受信する。
制御部9は、通信ネットワークなどを介した上位装置(例えばパソコン)との双方向の通信を制御するための通信制御手段として動作する。
制御部9はまた、ハロゲンランプ10とカメラ20と接続されており、後述するようにカメラ20により撮影された画像と、明暗パターンとを比較することでワークPの表面上の微小な形状変化を検出する検出手段として機能する。
制御部9はまた、ハロゲンランプ10とカメラ20と接続されており、後述するようにカメラ20により撮影された画像と、明暗パターンとを比較することでワークPの表面上の微小な形状変化を検出する検出手段として機能する。
ハロゲンランプ10は、ワークPの表面に図2に示すような明暗パターンを含んだ投射光16を投射する照明手段である。
このような明暗パターンは、例えば図1に示すようにハロゲンランプ10の出射面にスリット5などを設けることで投影可能である他、拡散板や、複数の帯状の面照明を幅方向に並べて形成するとしても良い。
本実施形態においては、ハロゲンランプ10の出射面に、明部12に対応する透過部14と、暗部13に対応する遮蔽部15と、を縞状に設けることで、図2に示したような明暗パターンを形成している。
なお、本実施形態ではハロゲンランプ10を照明手段として用いたが、その他液晶、LED、蛍光灯、白熱電球、レーザー、プロジェクタ、有機EL素子等の様々な光源を照明手段として用いても良い。さらに、ディスプレイを用いて明部12に対応する部分を点灯させ、暗部13に対応する部分を消灯して、ワークPに投射光16を投射する構成であっても良い。
このような明暗パターンは、例えば図1に示すようにハロゲンランプ10の出射面にスリット5などを設けることで投影可能である他、拡散板や、複数の帯状の面照明を幅方向に並べて形成するとしても良い。
本実施形態においては、ハロゲンランプ10の出射面に、明部12に対応する透過部14と、暗部13に対応する遮蔽部15と、を縞状に設けることで、図2に示したような明暗パターンを形成している。
なお、本実施形態ではハロゲンランプ10を照明手段として用いたが、その他液晶、LED、蛍光灯、白熱電球、レーザー、プロジェクタ、有機EL素子等の様々な光源を照明手段として用いても良い。さらに、ディスプレイを用いて明部12に対応する部分を点灯させ、暗部13に対応する部分を消灯して、ワークPに投射光16を投射する構成であっても良い。
明暗パターンは、本実施形態では円弧状の明部12と暗部13とが交互に形成された縞状のパターンを形成する。ここで明部12はハロゲンランプ10によって照射された投射光16のうち照度の高い部分、暗部13はハロゲンランプ10によって照射された投射光16のうち照度の低い部分である。
このように、明暗パターンは、ある方向に対して明暗の差がある明部12と暗部13とが周期的に繰り返される構成であれば良く、照射される形状については特に限定されない。
なお、かかる縞状の構成に限定されるものではなく、例えば矩形の明部12と暗部13とが互いに隣接し合うブロック形状であっても良い。
このように、明暗パターンは、ある方向に対して明暗の差がある明部12と暗部13とが周期的に繰り返される構成であれば良く、照射される形状については特に限定されない。
なお、かかる縞状の構成に限定されるものではなく、例えば矩形の明部12と暗部13とが互いに隣接し合うブロック形状であっても良い。
カメラ20は、ワークPの表面に照射された投射光16が正反射した反射光17を受光するCCDやCMOS等のセンサー22と、ズームレンズ、固定焦点レンズ、ティルト機能付きレンズ、テレセントリックレンズ等を用いて構成されたテレセントリック光学系である撮像光学系23と、を備えたデジタルカメラである。
カメラ20は、図3に示したように、ハロゲンランプ10からの投射光16の入射角θ’とし、反射光17の反射角θとしたとき、反射角θは次の数式(1)を満足する。
カメラ20は、図3に示したように、ハロゲンランプ10からの投射光16の入射角θ’とし、反射光17の反射角θとしたとき、反射角θは次の数式(1)を満足する。
一般に、反射角θを大きくすることで、ワークPの表面上の欠陥の傾斜方向に対する明暗パターンの歪みが強調され、欠陥の検出が容易となる。なお、ここでいうワークP表面上の欠陥とは、例えば理想的なワークPにはない表面の3次元形状の変化を指しているが、例えば表面の微小な凹凸や歪み、キズなどを含む。
さて、反射光17の反射角θが45°以下の場合には、微小な凹凸が検出し辛くなる。他方、反射角θが85°よりも大きい場合には、微小な凹凸の検出感度は向上する一方で、奥行方向にワークPの撮影画像面に対する正射影の長さが、ワークPの実寸に対してcos85°(≒0.087)以下の倍率で表示されることとなるために撮影範囲が過剰に潰れてしまう。すなわち、カメラ20から見たときのワークPの分解能が不足して、十分な表面検査を行うことが難しくなってしまう。
また、フレネルの式で表されるブリュースター角以上の角度では、s偏光、p偏光ともに反射率が上昇していく。そのため、ワークPの鏡面性が低いような場合にも、反射を得やすくなって明暗パターンのコントラストが向上するメリットもある。
さて、反射光17の反射角θが45°以下の場合には、微小な凹凸が検出し辛くなる。他方、反射角θが85°よりも大きい場合には、微小な凹凸の検出感度は向上する一方で、奥行方向にワークPの撮影画像面に対する正射影の長さが、ワークPの実寸に対してcos85°(≒0.087)以下の倍率で表示されることとなるために撮影範囲が過剰に潰れてしまう。すなわち、カメラ20から見たときのワークPの分解能が不足して、十分な表面検査を行うことが難しくなってしまう。
また、フレネルの式で表されるブリュースター角以上の角度では、s偏光、p偏光ともに反射率が上昇していく。そのため、ワークPの鏡面性が低いような場合にも、反射を得やすくなって明暗パターンのコントラストが向上するメリットもある。
センサ21から撮像光学系23を通して見たとき、ワークPは光軸に対して斜めに配置されており、ワークPの表面に射影された明暗パターンの何れの箇所においても焦点があっていることが望ましい。すなわち、撮像光学系23は、センサ21の受光面上に像を結ぶように、被写界深度が長い構成がより好ましい。ただし、本発明のように、ワークPを斜めから見る構成においては特に、ワークPの奥側と手前側とで生じる遠近差を低減するために、テレセントリック光学系であることが好ましい。
撮像光学系23をテレセントリック光学系とすることで、ワークPの手前側と奥側とで撮影された画像上での拡大倍率が等しくなり、ワークPの撮影範囲全域を同品質で検査可能となる。
また、撮像光学系23をテレセントリックレンズとすれば、テレセントリックレンズ面に対して垂直に入射した(換言するとレンズ光軸に平行な)光のみを取り込むという効果により、ワークPの撮影範囲全域に対して同一の反射角θで表面検査を行うことができる。
撮像光学系23をテレセントリック光学系とすることで、ワークPの手前側と奥側とで撮影された画像上での拡大倍率が等しくなり、ワークPの撮影範囲全域を同品質で検査可能となる。
また、撮像光学系23をテレセントリックレンズとすれば、テレセントリックレンズ面に対して垂直に入射した(換言するとレンズ光軸に平行な)光のみを取り込むという効果により、ワークPの撮影範囲全域に対して同一の反射角θで表面検査を行うことができる。
カメラ20によって撮影された撮影画像Qは、円筒形状のワークPに照射した時には、例えば図4に示すように撮影される。
このとき、ハロゲンランプ10によって照射される照射光16は、明部12と暗部13とが交互に形成された明暗パターンとして照射されているから、全く歪みや傷などの表面の欠陥のない理想的なワークP’からの反射光17’は、例えば図5に示す画像のように明暗パターンには歪みのない形でカメラ20によって撮影されるはずである。
しかしながら、図4に示すように、ワークPの表面に歪みや傷などがあったときには、撮影画像Qには、破線A、破線Bで示すような明暗パターンの歪みとして検出される。
このとき、ハロゲンランプ10によって照射される照射光16は、明部12と暗部13とが交互に形成された明暗パターンとして照射されているから、全く歪みや傷などの表面の欠陥のない理想的なワークP’からの反射光17’は、例えば図5に示す画像のように明暗パターンには歪みのない形でカメラ20によって撮影されるはずである。
しかしながら、図4に示すように、ワークPの表面に歪みや傷などがあったときには、撮影画像Qには、破線A、破線Bで示すような明暗パターンの歪みとして検出される。
制御部9は、図5に示したような理想的なワークP’に明暗パターンを含む照射光16を照射したときの参照画像Rと、図4に示したようなカメラ20によって得られた撮影画像Qと、を比較することで、ワークPの表面に歪みや傷等が生じていないかどうかを検出することができる。
なお、参照画像Rは、例えば表面検査装置100の出荷時に予めリファレンスデータとして理想的なワークP’を載置して撮影した画像データであっても良いし、図2に示したような明暗パターンの投射光16が、ある3次元形状を持ったワークP’に投射された時の明暗パターンの形状を表すデータであっても良い。
このとき、ワークPの表面にハロゲンランプ10や周囲の物体が映り込んでいたとしても、ワークPの表面には明暗パターンが映っているために、かかる撮影画像Qに含まれる明暗パターンが得られる。
また、明暗パターンにより、ワークPの表面のわずかな変化も捉えることができるから、ワークPの表面の微小な凹凸をも確実に検出することができる。
かかる構成により、従来の明度や彩度等の画像の色情報から検出する方法よりもワークPの歪みや傷などの表面形状の欠陥を精度よく検出することができる。
なお、参照画像Rは、例えば表面検査装置100の出荷時に予めリファレンスデータとして理想的なワークP’を載置して撮影した画像データであっても良いし、図2に示したような明暗パターンの投射光16が、ある3次元形状を持ったワークP’に投射された時の明暗パターンの形状を表すデータであっても良い。
このとき、ワークPの表面にハロゲンランプ10や周囲の物体が映り込んでいたとしても、ワークPの表面には明暗パターンが映っているために、かかる撮影画像Qに含まれる明暗パターンが得られる。
また、明暗パターンにより、ワークPの表面のわずかな変化も捉えることができるから、ワークPの表面の微小な凹凸をも確実に検出することができる。
かかる構成により、従来の明度や彩度等の画像の色情報から検出する方法よりもワークPの歪みや傷などの表面形状の欠陥を精度よく検出することができる。
また、ワークPの表面が鏡面仕上げされている場合にも、カメラ20はワークPの表面に映り込んだハロゲンランプ10に焦点を合わせることにより、明暗パターンを高精度で撮影することができて、画質の良い明暗パターンの画像を得ることができるから、ワークP表面の欠陥の検出精度を高めることができる。
このように、ワークPの表面が鏡面光沢を有する場合にも、ワークPの表面の三次元形状の欠陥を検出することができる。
このように、ワークPの表面が鏡面光沢を有する場合にも、ワークPの表面の三次元形状の欠陥を検出することができる。
ここで、本発明に対する第1の比較例として、図6に明暗パターンのない投射光161を照射した場合の撮影画像Q1を示す。なお、第1の比較例においては、カメラ20はワークPに対して反射角70°の位置になるように斜めに配置されており、ワークPの表面は鏡面加工が施されている。
すなわち、第1の比較例においては、投射光161に明暗パターンのない点で本発明の実施形態と異なっている。
図6から明らかなように、単に数式(1)の範囲内にカメラ20を設置するだけでは、一点鎖線で示したような投射光161の映り込みの境界部分近傍にあるような欠陥部分については検知可能なものの、検知可能な領域が狭いという課題がある。
すなわち、第1の比較例においては、投射光161に明暗パターンのない点で本発明の実施形態と異なっている。
図6から明らかなように、単に数式(1)の範囲内にカメラ20を設置するだけでは、一点鎖線で示したような投射光161の映り込みの境界部分近傍にあるような欠陥部分については検知可能なものの、検知可能な領域が狭いという課題がある。
また、第2の比較例として、図7、図8に明暗パターンについては本発明の実施形態と同様に含む投射光162を照射した場合であって、カメラ40の位置がワークP直上に配置された構成における撮影画像Q2を示す。
なお、明暗パターンについては本発明の実施形態と同様に図2、図4に示したような明暗パターンを形成するとし、ワークPについても同様の形状の物を用いた。
なお、明暗パターンについては本発明の実施形態と同様に図2、図4に示したような明暗パターンを形成するとし、ワークPについても同様の形状の物を用いた。
図8から明らかなように、ワークPの上方からカメラ40を用いて撮影された撮影画像Q2においては、明暗パターンがワークP上に照射されてはいるものの、明暗パターンの歪みを用いて欠陥を検出することが難しい。
この点について図9(a)、(b)を用いて更に詳細に説明する。なお、図9(a)(b)ではハロゲンランプ10から照射された照射光16と、欠陥の無いワークP表面で反射された正反射光を実線で示し、欠陥があった場合の正反射光を一点鎖線で示している。
また、図9(a)において円で囲まれた欠陥部A近傍を拡大し、光線の模式図を追加したものが図9(b)である
本発明の実施形態においては、ワークPとハロゲンランプ10とに対するカメラ20を斜めに、数式(1)を満足するような位置で配置するとともに、ワークPにハロゲンランプ10から明暗パターンを含む投射光16を照射している。
このように、明暗パターンを含む投射光16をワークPに照射するとともに、投射光16の正反射の方向に配置されたカメラ20へ向かう反射光17の反射角θとしたとき、反射角θが数式(1)を満足することとすると、明暗パターンの歪みから微小な凹凸を検知することができるとともに、ワークPの実寸サイズに対して画像面に対する正射影の長さを十分に確保できるから、画像の分解能を確保することができる。
また、図9(a)において円で囲まれた欠陥部A近傍を拡大し、光線の模式図を追加したものが図9(b)である
本発明の実施形態においては、ワークPとハロゲンランプ10とに対するカメラ20を斜めに、数式(1)を満足するような位置で配置するとともに、ワークPにハロゲンランプ10から明暗パターンを含む投射光16を照射している。
このように、明暗パターンを含む投射光16をワークPに照射するとともに、投射光16の正反射の方向に配置されたカメラ20へ向かう反射光17の反射角θとしたとき、反射角θが数式(1)を満足することとすると、明暗パターンの歪みから微小な凹凸を検知することができるとともに、ワークPの実寸サイズに対して画像面に対する正射影の長さを十分に確保できるから、画像の分解能を確保することができる。
また、明暗パターンの歪みは、表面形状の微小な凹凸や傷などの欠陥の有無による光の正反射のずれに起因する。ワークPにおける欠陥の無いフラットな面での正反射光と、欠陥部分での正反射光とのずれは、欠陥部分からの距離が遠ざかる程大きくなる。
すなわち、明暗パターンの歪みがカメラ20をワークPから離すことで徐々に強調されていくことを示している。また、正反射光を受光するためにハロゲンランプ10とワークPとカメラ20との間の位置関係は一意に定まるから、入射光である投射光16についても光路の長さが長いほど歪みの影響が大きくなる。
すなわち、ハロゲンランプ10とワークPとカメラ20とは、互いに配置される角度が数式(1)の範囲内で規定されつつも、照明手段であるハロゲンランプ10とワークPとの間の距離は出来るかぎり遠ざけた方が、明暗パターンの歪みを大きく検知することができる。
すなわち、明暗パターンの歪みがカメラ20をワークPから離すことで徐々に強調されていくことを示している。また、正反射光を受光するためにハロゲンランプ10とワークPとカメラ20との間の位置関係は一意に定まるから、入射光である投射光16についても光路の長さが長いほど歪みの影響が大きくなる。
すなわち、ハロゲンランプ10とワークPとカメラ20とは、互いに配置される角度が数式(1)の範囲内で規定されつつも、照明手段であるハロゲンランプ10とワークPとの間の距離は出来るかぎり遠ざけた方が、明暗パターンの歪みを大きく検知することができる。
具体的には、ワークPの表面上の微小な3次元形状の欠陥部Aとして、ハロゲンランプ10によりワークPの表面に投影された明暗パターンの正反射における法線と垂直な方向の変位をx、xに対する法線方向の変位をyと定義し、カメラ20により撮影された撮影画像QにおけるワークP表面の分解能をδ、入射光たる投射光16の光路長Lとする。このとき、ワークPの表面上の欠陥は、微小な凹凸であるからyはxに対して十分に小さい(y<<x)。
このとき、y/x=tanφとなる角度φとすると、y<<xよりy/x=tanφ≒φ(rad)である。図9(b)から明らかなように、このy/xあるいはtanφは、欠陥部Aにおける傾斜を表している。
つまり欠陥部Aにおいて、法線の角度は理想的なワークPの表面の法線方向からφだけずれることとなる。このとき、欠陥の無いフラットな面での正反射光の反射角θであり、反射角θの方向にカメラ20が設置されているから、欠陥部Aがあるときには、ハロゲンランプ10の同一位置から照射された光線は、法線の傾きによってカメラ20とは異なる方向に反射されてしまう。カメラ20がテレセントリック光学系であるなら、欠陥部Aがあるときにカメラ20に入射する光線は、反射角θ+φとなるような光線である。すなわち、理想的な入射光と、欠陥部Aでの正反射光がカメラ20に受光されるような入射光との角度のずれは2φで表される。
言い換えるとカメラ20に入射するためには、入射光側で2φの角度のずれを持つ光である必要がある。y<<xより、φが十分小さいので図9(c)に示すように2つの同一な長さLの光線によってつくられる弧の長さは2Ltanφ=2Lφとなる。
つまり欠陥部Aにおいて、法線の角度は理想的なワークPの表面の法線方向からφだけずれることとなる。このとき、欠陥の無いフラットな面での正反射光の反射角θであり、反射角θの方向にカメラ20が設置されているから、欠陥部Aがあるときには、ハロゲンランプ10の同一位置から照射された光線は、法線の傾きによってカメラ20とは異なる方向に反射されてしまう。カメラ20がテレセントリック光学系であるなら、欠陥部Aがあるときにカメラ20に入射する光線は、反射角θ+φとなるような光線である。すなわち、理想的な入射光と、欠陥部Aでの正反射光がカメラ20に受光されるような入射光との角度のずれは2φで表される。
言い換えるとカメラ20に入射するためには、入射光側で2φの角度のずれを持つ光である必要がある。y<<xより、φが十分小さいので図9(c)に示すように2つの同一な長さLの光線によってつくられる弧の長さは2Ltanφ=2Lφとなる。
以上の説明により、理想面の正反射光に対して、カメラ20に入射する欠陥部Aで反射された正反射光は、かかる弧の長さ2Lφだけずれた位置からの投射光16を受光することとなる。既に説明したように、ハロゲンランプ10は図2に示すような明部12と暗部13とが周期的に繰り返す明暗パターンを投射するのであるから、このような入射位置のずれが、カメラ20に撮影される撮影画像において図4に例示するような明暗パターンの歪み、ずれとして計測されることとなる。
欠陥による明暗パターンの歪みを強調させるためには、この弧の長さ2Lφが、分解能δの2倍以上であることが望ましい。すなわち、数式(2)、(3)を満足することが好ましい。
欠陥による明暗パターンの歪みを強調させるためには、この弧の長さ2Lφが、分解能δの2倍以上であることが望ましい。すなわち、数式(2)、(3)を満足することが好ましい。
さて、ハロゲンランプ10からワークPまでの距離が遠ざかる程、光の拡散の影響によってワークPに照射される明部12と暗部13との間の輝度コントラストが下がってしまう。
特にカメラ20によって撮影された撮影画像Qにおいて、明部12の輝度が暗部13の輝度に対して1.3倍未満となるような条件下では、明暗パターンの明部12と暗部13との区別が難しくなってしまい、欠陥の検出が難しくなってしまう。
そこで、ハロゲンランプ10とワークPとカメラ20とは、明部12の輝度が暗部13の輝度に対して1.3倍以上となるような位置に配置されることが好ましい。
なお、かかる明部12と暗部13との間の輝度差については、ハロゲンランプ10とワークPとカメラ20との間のそれぞれの距離の他、ハロゲンランプ10の透過部14と、遮蔽部15との間の透過率の差等によっても生じるため、撮影画像Qにおける明部12と暗部13との輝度差を条件とすることがより好ましい。
特にカメラ20によって撮影された撮影画像Qにおいて、明部12の輝度が暗部13の輝度に対して1.3倍未満となるような条件下では、明暗パターンの明部12と暗部13との区別が難しくなってしまい、欠陥の検出が難しくなってしまう。
そこで、ハロゲンランプ10とワークPとカメラ20とは、明部12の輝度が暗部13の輝度に対して1.3倍以上となるような位置に配置されることが好ましい。
なお、かかる明部12と暗部13との間の輝度差については、ハロゲンランプ10とワークPとカメラ20との間のそれぞれの距離の他、ハロゲンランプ10の透過部14と、遮蔽部15との間の透過率の差等によっても生じるため、撮影画像Qにおける明部12と暗部13との輝度差を条件とすることがより好ましい。
また、明暗パターンは、明部12と暗部13とが周期的に繰り返されることが好ましい。
明暗パターンは、ワークPの表面に均一に明暗パターンが投影されるように、ワークPの3次元形状に応じてハロゲンランプ10側に明暗パターンが設定されていることが好ましい。具体的には、例えば図4に示したような円筒形状のワークPに対しては、照射した時に明部12と暗部13とが交互に縞状の線として投影されるようにアナモルフォーシス技法を参考にしたパターン設計により設定されることが好ましい。
なお、このような「3次元形状に応じたパターン」については、かかる構成に限定されるものではなく、ハロゲンランプ10の形状や位置、カメラ20の位置や検査の走査方法に応じて自由に変形して良い。
明暗パターンは、ワークPの表面に均一に明暗パターンが投影されるように、ワークPの3次元形状に応じてハロゲンランプ10側に明暗パターンが設定されていることが好ましい。具体的には、例えば図4に示したような円筒形状のワークPに対しては、照射した時に明部12と暗部13とが交互に縞状の線として投影されるようにアナモルフォーシス技法を参考にしたパターン設計により設定されることが好ましい。
なお、このような「3次元形状に応じたパターン」については、かかる構成に限定されるものではなく、ハロゲンランプ10の形状や位置、カメラ20の位置や検査の走査方法に応じて自由に変形して良い。
さらに、明暗パターンの明部12と暗部13との周期性を持つ方向への幅(例えば、図4に示すY方向に沿った方向への幅)が、何れも欠陥の幅の1倍以下であることが検出感度の観点から好ましい。
すなわち、検出しようとする欠陥の幅よりも明部12の幅と暗部13の幅とが小さくなるように、明部12と暗部13とが設定されることが好ましい。
かかる構成によれば、明部12と暗部13との境界部において欠陥があったときに反射光から明暗パターンの歪みが検知されるから、かかる境界部が欠陥と交差する頻度、回数を高めることで、明暗パターンの歪みによる欠陥の検出精度をより向上させることを目的としている。
この際、明部12と暗部13との幅の設計の変更によるもの以外にも、例えば明暗パターンの歪みを、明部12または暗部13の何れかの位相を任意の値だけ動かして投影することでも、実質的に本来の明部12と暗部13との有する幅よりも狭い間隔で欠陥の検出を行うことができる。
すなわち、検出しようとする欠陥の幅よりも明部12の幅と暗部13の幅とが小さくなるように、明部12と暗部13とが設定されることが好ましい。
かかる構成によれば、明部12と暗部13との境界部において欠陥があったときに反射光から明暗パターンの歪みが検知されるから、かかる境界部が欠陥と交差する頻度、回数を高めることで、明暗パターンの歪みによる欠陥の検出精度をより向上させることを目的としている。
この際、明部12と暗部13との幅の設計の変更によるもの以外にも、例えば明暗パターンの歪みを、明部12または暗部13の何れかの位相を任意の値だけ動かして投影することでも、実質的に本来の明部12と暗部13との有する幅よりも狭い間隔で欠陥の検出を行うことができる。
さらに、明部12と暗部13との間は、前述の幅方向において、明部12に対する暗部13の比率が0.5〜2.0の範囲内であることが明暗のコントラスト確保を維持する観点から有利であって、検出感度を確保する上で好ましい。
明暗パターンが撮影された撮影画像Qにおいて、明暗パターンの形状は例えば縦、横、斜め、十字、多次元関数等、様々な形状をとって良いが、最も好ましくは縞形状である。
これは、明部12と暗部13との間の境界部分が明確であって、さらに欠陥と交差する頻度、回数を高めることで欠陥を検出しやすくすることができるためである。
これは、明部12と暗部13との間の境界部分が明確であって、さらに欠陥と交差する頻度、回数を高めることで欠陥を検出しやすくすることができるためである。
また、互いに矩形の明部12と暗部13とが互いに交互に隣接し合う、図10に示したようなブロック形状であっても良い。このようなブロック形状とすることによれば、単位面積当たりの明暗の境界部が占める面積が増加するため、欠陥と明暗の境界部とが交差する頻度や回数を確保して、検出しやすくするためである。
また、明暗パターンは、明部12と暗部13とがスリット5の透過部14と遮蔽部15とによって静的に形成されるものであっても良いし、スリット5や液晶素子、その他光学部材を用いて、透過部14と遮蔽部15との位置を動的に変化させて明部12と暗部13との配列を動的に変化させるものであっても良い。
また、このような場合には、図11に示すように、互いに隣接する明部12と暗部13との1組を1周期と定めて、図11(b)の位相表に従って変動するようなものであっても良い。なお、図11(b)において、白が明部12、黒が暗部13に対応しており、「位相をπだけ動かす」ことは明部12と暗部13とを互いに反転させることを表している。このとき、スリット5は、明暗パターンの位相を任意の値だけ動かすことを可能とする位相変化手段として機能する。
また、ハロゲンランプ10に代えて液晶ディスプレイ等を照明手段として用いる場合には、点灯と消灯によって明部12と暗部13とを任意に切替可能であるので、かかる照明手段が、位相変化手段としての機能をも有することとなる。
また、このような場合には、図11に示すように、互いに隣接する明部12と暗部13との1組を1周期と定めて、図11(b)の位相表に従って変動するようなものであっても良い。なお、図11(b)において、白が明部12、黒が暗部13に対応しており、「位相をπだけ動かす」ことは明部12と暗部13とを互いに反転させることを表している。このとき、スリット5は、明暗パターンの位相を任意の値だけ動かすことを可能とする位相変化手段として機能する。
また、ハロゲンランプ10に代えて液晶ディスプレイ等を照明手段として用いる場合には、点灯と消灯によって明部12と暗部13とを任意に切替可能であるので、かかる照明手段が、位相変化手段としての機能をも有することとなる。
また、制御部9による比較を定量的に行うためには、撮影画像Qの観察視野の水平方向に対して平行または略平行に明部12と暗部13との境界部が形成されることがより好ましい。
このように明暗パターンの形状が平行または略平行に撮影画像Qに撮影されることによれば、画像処理による明暗パターンの歪みの定量化が簡便になる効果がある。
このように明暗パターンの形状が平行または略平行に撮影画像Qに撮影されることによれば、画像処理による明暗パターンの歪みの定量化が簡便になる効果がある。
カメラ20は、ワークPの表面そのものではなく、ワークPの表面に映り込んだハロゲンランプ10に投影される明暗パターンに焦点を合わせて撮影を行われる。
このように、映り込んだハロゲンランプ10に焦点を合わせるとはすなわちワークPの表面に投射された明暗パターンに焦点を合わせることと等しい。
このようにカメラ20の焦点を調整することで、明暗パターンの歪みを検出しやすくなって検査のSN比の向上に寄与する。
このように、映り込んだハロゲンランプ10に焦点を合わせるとはすなわちワークPの表面に投射された明暗パターンに焦点を合わせることと等しい。
このようにカメラ20の焦点を調整することで、明暗パターンの歪みを検出しやすくなって検査のSN比の向上に寄与する。
本発明にかかる表面検査装置100は、撮影画像Qを複数の領域に分割して検査しても良い。
このように各領域に区切ることで、領域ごとに検査の閾値を設定することができるので、より細分化したワークPの表面の3次元形状の評価を行うことができる。
このような撮影画像Qの領域の分割は、ワークPの大きさや3次元形状、投影される明暗パターンの周期や形状によって個別に設定することが好ましい。
また、制御部9が行う撮影画像Qと参照画像Rとの比較あるいは3次元形状の評価は、周波数フィルタリングを用いた画像処理や時間変化法、位相シフト法、その他のルールベースに基づく画像処理方法全般、および機械学習やディープラーニングによる画像処理法を用いても良い。
これらの画像処理方法を用いて撮影画像Qに写った明暗パターンから、ワークPの欠陥によって生じる明暗パターンの歪みを検出することにより、ワークPの表面の凹凸などの欠陥を検出することができる。
また本発明に係る表面検査装置100は、従来の装置では検出が困難であった塗膜上の微小な膜厚段差や、異物による凹凸を容易に精度よく検出することができる。
またかかる表面検査装置100によって検査されるワークPは、投影された明暗パターンに対する反射光があればよく、光沢を有する塗装面や金属面、ガラス面等、さまざまなワークPに対して適用することができる。
このように各領域に区切ることで、領域ごとに検査の閾値を設定することができるので、より細分化したワークPの表面の3次元形状の評価を行うことができる。
このような撮影画像Qの領域の分割は、ワークPの大きさや3次元形状、投影される明暗パターンの周期や形状によって個別に設定することが好ましい。
また、制御部9が行う撮影画像Qと参照画像Rとの比較あるいは3次元形状の評価は、周波数フィルタリングを用いた画像処理や時間変化法、位相シフト法、その他のルールベースに基づく画像処理方法全般、および機械学習やディープラーニングによる画像処理法を用いても良い。
これらの画像処理方法を用いて撮影画像Qに写った明暗パターンから、ワークPの欠陥によって生じる明暗パターンの歪みを検出することにより、ワークPの表面の凹凸などの欠陥を検出することができる。
また本発明に係る表面検査装置100は、従来の装置では検出が困難であった塗膜上の微小な膜厚段差や、異物による凹凸を容易に精度よく検出することができる。
またかかる表面検査装置100によって検査されるワークPは、投影された明暗パターンに対する反射光があればよく、光沢を有する塗装面や金属面、ガラス面等、さまざまなワークPに対して適用することができる。
以上本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定していない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。
本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。
9 検出手段(制御部)
10 照明手段(ハロゲンランプ)
12 明部(明暗パターンの一部)
13 暗部(明暗パターンの一部)
20 撮影手段(カメラ)
100 表面検査装置
P 被検査体(ワーク)
Q 撮影画像
R 参照画像
10 照明手段(ハロゲンランプ)
12 明部(明暗パターンの一部)
13 暗部(明暗パターンの一部)
20 撮影手段(カメラ)
100 表面検査装置
P 被検査体(ワーク)
Q 撮影画像
R 参照画像
Claims (10)
- 明暗の差を周期的に繰り返す明暗パターンを被検査体の表面に投射する照明手段と、
前記照明手段の前記被検査体からの正反射光を受光して撮影する撮影手段と、
前記撮影手段により撮影された画像と、前記明暗パターンとを比較することで前記画像から前記被検査体の表面上の微小な形状変化を検出する検出手段と、を有し、
前記撮影手段は、前記照明手段からの前記正反射光の反射角θが、条件式(1):
45°<θ≦85°
の範囲内に収まる位置に配置されたことを特徴とする表面検査装置。 - 請求項1に記載の表面検査装置において、
前記被検査体の表面上の前記形状変化は、前記照明手段により前記被検査体の表面に投影された前記明暗パターンの正反射における法線と垂直な方向の変位をx、前記xに対する前記法線方向の変位をy、としたとき、前記撮影手段によって撮影された前記画像における前記被検査体の表面の分解能をδ、前記入射光の長さをLとしたとき、条件式(2):
L≧δx/y
を満足することを特徴とする表面検査装置。 - 請求項1または2に記載の表面検査装置において、
前記明暗パターンは、前記撮影手段によって撮影された画像における明部の輝度が暗部の輝度の1.3倍以上となることを特徴とする表面検査装置。 - 請求項1乃至3の何れか1つに記載の表面検査装置において、
前記明暗パターンの形状が明部と暗部とを交互に繰り返す縞形状であることを特徴とする表面検査装置。 - 請求項1乃至3の何れか1つに記載の表面検査装置において、
前記明暗パターンの形状が、明部と暗部とが互いに隣接し合うブロック形状であることを特徴とする表面検査装置。 - 請求項1乃至5の何れか1つに記載の表面検査装置において、
前記照明手段は、前記明暗パターンの位相を任意の値だけ動かすことを可能とする位相変化手段を有することを特徴とする表面検査装置。 - 請求項1乃至6の何れか1つに記載の表面検査装置において、
前記被検査体は円筒形状であることを特徴とする表面検査装置。 - 請求項1乃至7の何れか1つに記載の表面検査装置において、
前記撮影手段は、前記被検査体の表面に写り込んだ前記照明手段に焦点を合わせて撮影することを特徴とする表面検査装置。 - 請求項1乃至8の何れか1つに記載の表面検査装置において、
前記検出手段は、前記撮影手段によって撮影された画像を当該画像中の前記明暗パターンと、検出したい前記形状変化の大きさとに基づいて複数の領域に分割し、各領域に含まれる前記明暗パターンに基づいてそれぞれの領域毎に前記被検査体の表面上の微小な形状変化を検出することを特徴とする表面検査装置。 - 被検査体の表面に照度を与える光源部と、前記被検査体の3次元形状に応じた周期的な明暗パターンを前記被検査体の表面に投影する明部と暗部とを備えた照明手段と、
前記明暗パターンからの正反射光を反射角θが45°<θ≦85°を満足する位置で受光して撮影する撮影手段と、
前記撮影手段により撮影された画像から前記明暗パターンの周期性に対する歪みを検出することで前記被検査体の表面上の微小な3次元形状に由来する欠陥を検出する検出手段と、を用いることを特徴とする表面検査方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020094598A JP2021189044A (ja) | 2020-05-29 | 2020-05-29 | 表面検査装置および表面検査方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020094598A JP2021189044A (ja) | 2020-05-29 | 2020-05-29 | 表面検査装置および表面検査方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2021189044A true JP2021189044A (ja) | 2021-12-13 |
Family
ID=78848405
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020094598A Pending JP2021189044A (ja) | 2020-05-29 | 2020-05-29 | 表面検査装置および表面検査方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2021189044A (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023160096A (ja) * | 2022-04-21 | 2023-11-02 | 株式会社リコー | 表面欠陥検出装置および表面欠陥検出方法 |
| JP2024135247A (ja) * | 2023-03-22 | 2024-10-04 | 株式会社東芝 | 光学検査方法及びプログラム、並びにそれを用いた光学検査装置 |
| WO2025070462A1 (ja) * | 2023-09-29 | 2025-04-03 | 株式会社サキコーポレーション | 検査装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001012930A (ja) * | 1999-06-28 | 2001-01-19 | Nissan Motor Co Ltd | 表面欠陥検査装置 |
| JP2002148195A (ja) * | 2000-11-06 | 2002-05-22 | Sumitomo Chem Co Ltd | 表面検査装置及び表面検査方法 |
| JP2005337857A (ja) * | 2004-05-26 | 2005-12-08 | Toray Ind Inc | 表面凹凸の検査方法および検査装置 |
| JP2010256021A (ja) * | 2009-04-21 | 2010-11-11 | Konica Minolta Opto Inc | フィルム表面欠陥検査装置、フィルム表面欠陥検査方法及び光学フィルムの製造方法 |
| JP2014002125A (ja) * | 2012-06-21 | 2014-01-09 | Fujitsu Ltd | 検査方法及び検査装置 |
| JP2014002041A (ja) * | 2012-06-19 | 2014-01-09 | Bai Three Projects Kk | 表面検査装置および表面検査方法 |
| CN110057841A (zh) * | 2019-05-05 | 2019-07-26 | 电子科技大学 | 一种基于透射结构光的缺陷检测方法 |
-
2020
- 2020-05-29 JP JP2020094598A patent/JP2021189044A/ja active Pending
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001012930A (ja) * | 1999-06-28 | 2001-01-19 | Nissan Motor Co Ltd | 表面欠陥検査装置 |
| JP2002148195A (ja) * | 2000-11-06 | 2002-05-22 | Sumitomo Chem Co Ltd | 表面検査装置及び表面検査方法 |
| JP2005337857A (ja) * | 2004-05-26 | 2005-12-08 | Toray Ind Inc | 表面凹凸の検査方法および検査装置 |
| JP2010256021A (ja) * | 2009-04-21 | 2010-11-11 | Konica Minolta Opto Inc | フィルム表面欠陥検査装置、フィルム表面欠陥検査方法及び光学フィルムの製造方法 |
| JP2014002041A (ja) * | 2012-06-19 | 2014-01-09 | Bai Three Projects Kk | 表面検査装置および表面検査方法 |
| JP2014002125A (ja) * | 2012-06-21 | 2014-01-09 | Fujitsu Ltd | 検査方法及び検査装置 |
| CN110057841A (zh) * | 2019-05-05 | 2019-07-26 | 电子科技大学 | 一种基于透射结构光的缺陷检测方法 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2023160096A (ja) * | 2022-04-21 | 2023-11-02 | 株式会社リコー | 表面欠陥検出装置および表面欠陥検出方法 |
| JP2024135247A (ja) * | 2023-03-22 | 2024-10-04 | 株式会社東芝 | 光学検査方法及びプログラム、並びにそれを用いた光学検査装置 |
| WO2025070462A1 (ja) * | 2023-09-29 | 2025-04-03 | 株式会社サキコーポレーション | 検査装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113686879A (zh) | 光学薄膜缺陷视觉检测系统及方法 | |
| TWI817991B (zh) | 光學系統,照明模組及自動光學檢測系統 | |
| JP2021189044A (ja) | 表面検査装置および表面検査方法 | |
| JP5686585B2 (ja) | レンズシートの欠陥検査装置、欠陥検査方法及び製造装置 | |
| KR20230014686A (ko) | 표면을 광학적으로 검사하기 위한 방법 및 검사 장치 | |
| JP2009513984A (ja) | 複合構造に欠陥がないか検査するための装置および方法 | |
| KR102063551B1 (ko) | 광학필름의 결함 검출 시스템 및 광학필름의 결함 검출 방법 | |
| KR101006983B1 (ko) | 패널 검사장치 | |
| JP2018036162A (ja) | 検査装置 | |
| CN109085171A (zh) | 图像处理装置、图像处理方法和存储介质 | |
| JP2002116015A (ja) | 欠陥検出装置及び方法 | |
| JP2012237585A (ja) | 欠陥検査方法 | |
| JP4761245B2 (ja) | 壜胴部の欠陥検査装置 | |
| JP2004170400A (ja) | 寸法測定方法及び装置 | |
| JP2006292412A (ja) | 表面検査装置、表面検査方法、及び基板の製造方法 | |
| JP3078784B2 (ja) | 欠陥検査装置 | |
| JP2005241370A (ja) | 外観検査方法 | |
| JP2007114125A (ja) | 膜厚ムラ検査方法 | |
| TWI912058B (zh) | 透明體的缺陷檢查方法及缺陷檢查裝置 | |
| JP2005533260A (ja) | ウェハ検査装置 | |
| JP2023160096A (ja) | 表面欠陥検出装置および表面欠陥検出方法 | |
| JP2006003168A (ja) | 表面形状の測定方法およびその装置 | |
| JP7621789B2 (ja) | 検査装置、検査用照明装置、検査方法、および物品の製造方法 | |
| JP3984367B2 (ja) | 表面欠陥の検査方法および検査装置 | |
| JP2005202268A (ja) | 撮像装置のカメラセッティング方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231003 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231130 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231226 |