JP2021085757A - 顕微鏡による焦点画像群を用いた形状計測方法及び装置 - Google Patents

Abstract

【課題】サブミクロンオーダなどの微細形状を、低コストかつ高速で推定可能な形状計測方法を提供する。【解決手段】撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて複数の画像を撮像する撮像ステップと、複数の画像を入力して焦点面の変更ピッチに合せて画像を積層する画像積層ステップと、積層した画像データから検査対象物を所定位置で切断した面に応じた断面画像を合成する断面画像合成ステップと、断面画像と実測した検査対象物の形状情報から得た断面データとの組合せを教師データとする機械学習による画像認識モデルを用いて、検査対象物の所定位置で切断した面における断面形状を推定する断面形状推定ステップと、切断した面の法線方向に移動をさせた面に応じた断面画像から画像認識モデルで推定した断面形状を繋ぎ合わせて検査対象物の表面形状を推定する表面形状推定ステップを備える。【選択図】図１

Description

本発明は、レーザ、電子ビーム、イオンビーム、放電加工、溶接加工、ブラスト加工、ケミカルエッチング、転写、グラビア印刷、積層造形等による微細加工結果を評価するための、サブミクロンからミクロンオーダの形状を推定する技術に関するものである。

近年、電子機器の小型化に伴い、微細かつ高速な加工は必要不可欠のものとなっている。半田バンプやビアホールをはじめとした現代の半導体製造に用いられる加工技術では、サブミクロンオーダの精度および高速加工による高い生産性が要求されており、これらはドリルによる従来の機械加工がレーザ加工へと代替されることで実現されつつある。これら微細な加工結果を検査する際に必要な物体の形状観察については、レーザ顕微鏡やプローブ、Ｘ線検査装置などのほか、ダイシングを行うことで断面形状の測定を行う手法などが知られている。

しかし、レーザ顕微鏡やプローブ、Ｘ線検査装置などは、いずれも測定にかかる時間が長く、また特殊な据え置き型測定装置や前処理が必要なため、一度製品を加工装置から取り出し測定機器に搭載するなど多くの手間がかかり、さらに高価であるといった問題点があった。
一般に深度推定に用いられる技術としてステレオカメラ等が存在するが、微小な領域である上に加工形状が微細なためステレオマッチングに必要な視差を正確に設定することは困難である。
また、ダイシングについては、切断してから電子顕微鏡などで観察する必要があるため検査工数が上記測定機器以上に必要であるほか、ダイシングした材料は再利用が難しいため製造ライン上で製品に対して行う検査としては適さない。

レーザ顕微鏡とは異なり、通常の光学顕微鏡を用いることができれば、安価に形状の測定を行うことが可能となる。光学顕微鏡を用いた技術としては、顕微鏡で深さ方向に撮像し、撮像画像毎に平面内で分割し、その中でどの分割区域が、焦点が合っているか認識して、その画像を合成することで顕微鏡画像を作成することのできる顕微鏡制御装置が知られている（例えば、特許文献１を参照。）。しかしながら、特許文献１に開示された顕微鏡制御装置は、顕微鏡画像閲覧時のピント調整に関する負荷を抑制し、閲覧者の利便性を向上させるものではあるが、断面形状の測定に役立つものではない。

特開２０１２−０３７８６１号公報

かかる状況に鑑みて、本発明は、サブミクロンオーダの形状を、低コストかつ高速で推定可能な、形状計測方法及び装置を提供することを目的とする。

上記課題を解決すべく、本発明の形状計測方法は、撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて撮像した複数の画像を積層し、得られる断面画像を学習データとする機械学習による画像認識を用いて、検査対象物の表面形状を推定する。
撮像範囲及び撮像条件を固定したまま焦点面を変えて撮像することにより、微細加工形状を低コストかつ高速で推定することが可能となる。機械学習させることで学習済ニューラルネットワークを構築し、以降このネットワークから、新たに作成した断面画像についても同様に断面形状を推定し、それを物体全体について敷衍させることでレーザ顕微鏡などの従来の形状測定装置を用いることなく、低コストかつ高速に物体の形状推定が可能となる。
ここで、撮像範囲とは、カメラなどの撮像装置で撮像する範囲である。また撮像条件とは、撮像時の照明光などの撮像環境、撮像手段と検査対象物の位置関係（但し、光軸方向の位置関係の変化は除く）である。

本発明の形状計測方法は、具体的には、下記１）〜５）のステップを備える。
１）撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて複数の画像を撮像する撮像ステップ、
２）複数の画像を入力して焦点面の変更ピッチに合せて画像を積層する画像積層ステップ、
３）積層した画像データから検査対象物を所定位置で切断した面に応じた断面画像を合成する断面画像合成ステップ、
４）断面画像と実測した検査対象物の形状情報から得た断面データとの組合せを教師データとする機械学習による画像認識モデルを用いて、検査対象物の所定位置で切断した面における断面形状を推定する断面形状推定ステップ、
５）切断した面の法線方向に移動をさせた面に応じた断面画像から画像認識モデルで推定した断面形状を繋ぎ合わせて検査対象物の表面形状を推定する表面形状推定ステップ。

本発明の形状計測方法は、撮像素子を搭載した光学機器を用いて、検査対象物と撮像レンズ間の光軸方向の距離を変えて撮像する。例えば、光学機器として光学顕微鏡を用い、光学顕微鏡の顕微鏡筒を移動させ、検査対象物と、撮像レンズとしての対物レンズ間の光軸方向の距離を変えて、焦点面を変えて撮像する。また、光学機器は固定したまま検査対象物を移動させて、検査対象物と撮像レンズ間の光軸方向の距離を変えて、焦点面を変えて撮像することでも構わない。光学機器の撮像レンズと検査対象物の少なくとも何れかを移動させ、光軸方向の距離を変えればよい。例えば、撮像素子を搭載した市販の光学顕微鏡を用いることにより、光学系の構築コストを削減できる。

本発明の形状計測方法において、検査対象物は、レーザ、電子ビーム、イオンビーム、放電加工、溶接加工、ブラスト加工、ケミカルエッチング、転写、グラビア印刷、積層造形を含む加工手法により、表面にサブミクロンオーダの微細加工が施されたものである。本発明は、観察光学系の倍率次第で多様な測定サイズに適用可能であるが、特に、サブミクロンオーダの微細加工に対して適用できる。

本発明の形状計測方法において、検査対象物の形状計測対象は、直線もしくは曲線状の線条の凸部又は凹部であり、線条幅、中心位置、高さ、深さとこれらの統計量の少なくとも何れかの形状寸法を計測できることでもよい。また、検査対象物の形状計測対象としては、円状、楕円状、矩形状、多角形状もしくは台形状の凸部又は凹部であり、径もしくは辺の長さ、高さ、深さ、中心位置とこれらの統計量の少なくとも何れかの形状寸法を計測できることでもよい。
ここで、検査対象物の形状計測対象の凸部又は凹部は、テーパ状側壁を有する方が焦点面を変えて撮像した画像に写る側壁の位置の変化を捉えやすく好ましい。しかしながら、テーパ状側壁を有さない場合であっても、例えば、側壁の面方向に対して角度をつけて撮像することにより、焦点面を変えて撮像した画像に写る側壁の位置の変化を捉えることが可能である。

本発明の形状計測方法において、形状寸法は、推定した断面形状に対して関数による当てはめで算出することができる。当てはめる関数は、加工機の特性を踏まえて、正規分布の確率密度関数を好適に用いることができるが、正規分布の確率密度関数に限定されず、加工機の特性に応じて、任意の関数を採用すればよい。

本発明の形状計測方法において、機械学習は、深層学習を好適に用いることができる。本発明の形状計測方法の場合は、画像推定であることから、畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）を活用できる。

本発明の材料品質評価方法は、上記の何れかの形状計測方法により、計測された一の検査対象物の形状情報と、該検査対象物の加工条件及び材料情報とを関連付けして記憶し、同一と推察される材料を用いて、加工条件と同一条件にて、加工が施された他の検査対象物に対して、上記の形状計測方法で形状情報を計測し、一の検査対象物の形状情報と他の検査対象物の形状情報を比較することにより、材料品質を評価する。
かかる構成によれば、従来、評価が困難であった材料品質評価について、客観的な材料品質評価を得ることが可能となる。

本発明のデータベースは、本発明の形状計測方法により計測された検査対象物の形状情報と、検査対象物の加工条件及び材料情報とが関連付けされ記憶されたものである。かかるデータベースを構築することにより、所望の材料を用いて、所望の形状に加工する場合に、本発明のデータベースを用いて加工条件を探索することが可能である。

本発明の形状計測装置は、撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて撮像した複数の画像を積層し、得られる断面画像を学習データとする機械学習による画像認識を用いて、検査対象物の表面形状を推定する。

本発明の形状計測装置は、具体的に、下記１）〜５）の構成を備える。
１）撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて複数の画像を撮像する撮像部、
２）複数の画像を入力して焦点面の変更ピッチに合せて画像を積層する画像積層部、
３）積層した画像データから検査対象物を所定位置で切断した面に応じた断面画像を合成する断面画像合成部、
４）断面画像と実測した検査対象物の形状情報から得た断面データとの組合せを教師データとする機械学習による画像認識モデルを用いて、検査対象物の所定位置で切断した面における断面形状を推定する断面形状推定部、
５）切断した面の法線方向に移動をさせた面に応じた断面画像から画像認識モデルで推定した断面形状を繋ぎ合わせて検査対象物の表面形状を推定する表面形状推定部。

本発明の形状計測装置において、撮像部は、撮像素子を搭載した光学機器であり、検査対象物と撮像レンズ間の光軸方向の距離を変えて撮像することが好ましい。

本発明のプログラムは、本発明の形状計測方法の全てのステップ、具体的には、撮像ステップ、画像積層ステップ、断面画像合成ステップ、断面形状推定ステップ及び表面形状推定ステップをコンピュータに実行させるものである。

本発明によれば、検査対象物の表面の微細形状を、低コストかつ高速に形状観察でき、リアルタイム性のある物体の形状推定が可能となるといった効果がある。

実施例１の形状計測装置の機能ブロック図 実施例１の形状計測方法の概略フロー図 従来技術との比較説明図 実施例１の形状計測方法による画像撮像イメージ図 実施例１の形状計測方法による断面画像作成イメージ図 実施例１の形状計測方法による断面形状推定イメージ図 レーザ顕微鏡による物体形状計測結果を示すグラフ 機械学習による物体形状推定結果を示すグラフ 正規分布グラフによる近似 実施例２の材料品質評価方法の概略フロー図

以下、本発明の実施形態の一例を、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。

図１は、実施例１の形状計測装置の機能ブロック図を示している。図１に示すように、形状計測装置１は、撮像部１１、画像積層部１２、断面画像合成部１３、断面形状推定部１４及び表面形状推定部１５を備える。
撮像部１１によって、撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて複数の画像が撮像される。画像積層部１２によって、撮像された複数の画像が入力され、焦点面の変更ピッチに合せて画像が積層される。断面画像合成部１３によって、積層された画像データから検査対象物を所定位置で切断した面に応じた断面画像が合成される。断面形状推定部１４によって、断面画像と実測した検査対象物の形状情報から得た断面データとの組合せを教師データとする機械学習による画像認識モデルを用いて、検査対象物の所定位置で切断した面における断面形状が推定される。表面形状推定部１５によって、切断した面の法線方向に移動をさせた面に応じた断面画像から画像認識モデルで推定した断面形状を繋ぎ合わせて検査対象物の表面形状が推定される。

図２は、実施例の形状計測方法の概略フロー図を示している。図２のフローに示すように、撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて複数の画像を撮像する（ステップＳ０１：撮像ステップ）。
図３は、本発明と従来技術との比較説明図であり、（１）は光学顕微鏡を用いた本発明の実施態様の一例、（２）はレーザ顕微鏡を用いた従来例を示している。図３（２）に示すように、レーザ顕微鏡２０を用いた従来例ではレーザを用いて表面の高さを測定するが、ｘ軸方向とｙ軸方向に顕微鏡の走査が必要となり、計測に時間を要する。これに対して実施例では、図３（１）に示すように、カメラ付き光学顕微鏡２を用いて微細加工された検査対象物３を加工上面より撮像範囲４の範囲で撮像し、撮像された画像から形状を推定する。

カメラ付き光学顕微鏡２には、撮像面を段階的に変化させる仕組みが搭載されており、撮像範囲と撮像条件を固定したまま合焦している面のみを上下方向へ変化させて複数の画像を取得する。
図４は、実施例の形状計測方法による画像撮像イメージ図を示している。図４に示すように、微細加工された検査対象物３は固定されたまま、カメラ付き光学顕微鏡２により撮像される範囲を撮像範囲４ａ、撮像範囲４ｂ、及び撮像範囲４ｃと焦点面のみを上下に移動することで、複数の画像すなわち焦点画像群を取得する。なお、ここでは説明のため撮像範囲につき、撮像範囲（４ａ〜４ｃ）のみを図示しているが、実際にはより多数の画像が取得される。

次に、複数の画像を入力して焦点面の変更ピッチに合せて画像を積層する（ステップＳ０２：画像積層ステップ）。積層した画像データから検査対象物を所定位置で切断した面に応じた断面画像を合成する（ステップＳ０３：断面画像合成ステップ）。
図５は、実施例の形状計測方法による断面画像作成イメージ図であり、（１）は積層イメージ図、（２）は切り出しイメージ図、また（３）断面イメージ図を示している。なお、画像（５ａ〜５ｃ）はそれぞれ撮像範囲（４ａ〜４ｃ）において撮像されたものである。
取得された焦点画像群、すなわち画像（５ａ〜５ｃ）は、図５（１）に示すように積層され、図５（２）に示すように切り出し面９毎に切り出され、図５（３）に示すように擬似的な断面画像群５０が合成される。画像（９ａ〜９ｃ）は切断した面の法線方向に移動しながら、合成された断面画像の例である。

合成された疑似的な断面画像と実測した検査対象物の形状情報から得た断面データとの組合せを教師データとして、画像認識モデルを機械学習する。そして、学習済みの画像認識モデルを用いて、検査対象物の所定位置で切断した面における断面形状を推定する（ステップＳ０４：断面形状推定ステップ）。切断した面の法線方向に移動させた面に応じた断面画像から画像認識モデルで推定した断面形状を繋ぎ合わせ、検査対象物の表面形状を推定する（ステップＳ０５：表面形状推定ステップ）。
図６は、実施例の形状計測方法による断面形状推定イメージ図であり、（１）は擬似的な断面画像、（２）は画像認識モデルによる推定結果、また（３）は従来の計測装置であるレーザ顕微鏡により取得した断面イメージ図を示している。
図６（１）に示す断面画像９ａに基づいて、検査対象物３の所定位置で切断した面における断面形状を推定した結果が、推定断面形状５１である。推定断面形状５１は、図６（３）に示す測定断面形状５２と比較しても類似した形状となっていることが分かる。このような推定断面形状５１の推定を繰り返すことで検査対象物３の表面形状を推定することが可能である。

図７は、レーザ顕微鏡による物体形状計測結果を示すグラフである。図７に示すように、レーザ顕微鏡などを用いて材料の形状情報を取得し、形状情報から得た断面教師データと作成した断面画像とを組み合わせ教師データとする。機械学習させることで画像認識モデル、すなわち、学習済ニューラルネットワークを構築する。以降、このネットワークから、新たに作成した断面画像についても同様に断面形状を推定し、それを物体全体について敷衍させることにより、レーザ顕微鏡などの形状測定機を用いなくとも物体の形状推定が可能となる。図８は、機械学習による物体形状推定結果を示すグラフである。

本実施例において使用する形状計測装置１は、通常の光学顕微鏡にカメラが設けられ、かつ顕微鏡筒を上下する機構を備えるが、比較的安価かつ簡素な装置構成であるため、特別な測定環境等を必要としない。そのため加工装置内に形状計測装置１を組み込むことで、測定目的で加工対象物を加工装置から取り出す必要が無くなり、リアルタイム性のある測定が可能となる。また、測定のリアルタイム性と、加工対象物を移動する必要がなくなったことで測定精度が向上することを活かし、同一条件で加工した際の加工結果の差位から逆説的に材料(構成)そのものの統計量の測定や、品質管理が可能となる。

（形状計測方法に関する評価実験）
アルミナセラミックス材料に対してレーザ溝加工を行ったサンプルを用意し、深さ方向０．５μｍごとに焦点画像群を撮像し形状推定を行った。レーザ光の出力分布は中心から放射状に正規分布に従って減少していくことが知られている。よってレーザによる溝加工結果も正規分布に近くなるものとみなし、図９（１）〜（３）に示すように、溝断面に対して１σ、２σ、３σの３つの正規分布グラフにより近似を行い、溝幅λ（μｍ）、溝中心ｍ（μｍ）、溝深さｄ（μｍ）の３つのパラメータを定義した。これら３つのパラメータについてレーザ顕微鏡による形状測定データと実施例１の形状計測方法による形状推定データとの差を１２８枚の断面で計算し、その平均（μ）と標準偏差（σ）を計算した。下記表１〜３はそれぞれ、１σ、２σ、３σにより近似した場合の計算結果を表したものである。下記表１〜３に示すように、溝幅λは１σで、溝中心ｍと溝深さｄは２σ、３σで良好な値が得られた。特に溝中心ｍと溝深さｄではサブミクロンオーダの精度が得られた。

図１０は、材料品質評価方法の概略フロー図を示している。材料品質評価方法は、まず、検査対象物の形状を計測し（ステップＳ１１）、計測された一の検査対象物の形状情報と、該検査対象物の加工条件及び材料情報とを関連付けして記憶する（ステップＳ１２）。同一と推察される材料を用いて、上記加工条件と同一の条件にて、加工が施された他の検査対象物に対して、形状情報を計測する（ステップＳ１３）。一の検査対象物の形状情報と他の検査対象物の形状情報を比較することにより、同一と推察される材料の材料品質を評価する（ステップＳ１４）。これにより、用いる材料が知らない間に意図せぬ仕様変更があった場合においても、変更されたことを検知することができることになり、材料品質評価について、客観的な材料品質評価を得ることが可能となる。

また、計測された検査対象物の形状情報と、当該検査対象物の加工条件及び材料情報とが関連付けされ、データベースとして構築されることにより、所望の材料を用いて、所望の形状に加工する場合に、このデータベースを用いて加工条件を探索することが可能である。

本発明は、レーザによる微細加工結果を評価するための形状推定技術として有用である。

１ 形状計測装置
２ カメラ付き光学顕微鏡
３ 検査対象物
４，４ａ〜４ｃ 撮像範囲
５ａ〜５ｃ 画像
９ 切出し面
９ａ〜９ｃ （断面）画像
１１ 撮像部
１２ 画像積層部
１３ 断面画像合成部
１４ 断面形状推定部
１５ 表面形状推定部
２０ レーザ顕微鏡
４０ 測定点
５０ 断面画像群
５１ 推定断面形状
５２ 測定断面形状

Claims (14)

1. 撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて撮像した複数の画像を積層し、得られる断面画像を学習データとする機械学習による画像認識を用いて、前記検査対象物の表面形状を推定することを特徴とする形状計測方法。
2. 撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて複数の画像を撮像する撮像ステップと、
   前記複数の画像を入力して前記焦点面の変更ピッチに合せて画像を積層する画像積層ステップと、
   前記積層した画像データから前記検査対象物を所定位置で切断した面に応じた断面画像を合成する断面画像合成ステップと、
   前記断面画像と実測した前記検査対象物の形状情報から得た断面データとの組合せを教師データとする機械学習による画像認識モデルを用いて、前記検査対象物の前記所定位置で切断した面における断面形状を推定する断面形状推定ステップと、
   前記切断した面の法線方向に移動をさせた面に応じた断面画像から前記画像認識モデルで推定した断面形状を繋ぎ合わせて前記検査対象物の表面形状を推定する表面形状推定ステップ、
   を備えたことを特徴とする請求項１に記載の形状計測方法。
3. 撮像素子を搭載した光学機器を用いて、前記検査対象物と撮像レンズ間の光軸方向の距離を変えて撮像することを特徴とする請求項１又は２に記載の形状計測方法。
4. 前記検査対象物は、レーザ、電子ビーム、イオンビーム、放電加工、溶接加工、ブラスト加工、ケミカルエッチング、転写、グラビア印刷、積層造形を含む加工手法により、表面にサブミクロンオーダ微細加工が施されたものであることを特徴とする請求項１〜３の何れかに記載の形状計測方法。
5. 前記検査対象物の形状計測対象は、直線もしくは曲線状の線条の凸部又は凹部であり、線条幅、中心位置、高さ、深さ、とこれらの統計量の少なくとも何れかの形状寸法を計測することを特徴とする請求項１〜４の何れかに記載の形状計測方法。
6. 前記検査対象物の形状計測対象は、円状、楕円状、矩形状、多角形状もしくは台形状の凸部又は凹部であり、径もしくは辺の長さ、高さ、深さ、中心位置とこれらの統計量の少なくとも何れかの形状寸法を計測することを特徴とする請求項１〜４の何れかに記載の形状計測方法。
7. 前記形状寸法は、前記推定した断面形状に対して関数による当てはめで算出することを特徴とする請求項５又は６に記載の形状計測方法。
8. 前記機械学習は、深層学習であることを特徴とする請求項１〜７の何れかに記載の形状計測方法。
9. 請求項１〜８の何れかの形状計測方法により、計測された一の検査対象物の形状情報と、該検査対象物の加工条件及び材料情報とを関連付けして記憶し、
   同一と推察される材料を用いて、前記加工条件と同一条件にて、加工が施された他の検査対象物に対して、前記形状計測方法で形状情報を計測し、
   一の検査対象物の形状情報と他の検査対象物の形状情報を比較することにより、材料品質を評価する材料品質評価方法。
10. 請求項１〜８の何れかの形状計測方法により計測された検査対象物の形状情報と、該検査対象物の加工条件及び材料情報とが関連付けされ記憶されたデータベース。
11. 撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて撮像した複数の画像を積層し、得られる断面画像を学習データとする機械学習による画像認識を用いて、前記検査対象物の表面形状を推定することを特徴とする形状計測装置。
12. 撮像範囲及び撮像条件を固定したまま、検査対象物の凹凸表面の高さ又は深さ方向の焦点面を変えて複数の画像を撮像する撮像部と、
    前記複数の画像を入力して前記焦点面の変更ピッチに合せて画像を積層する画像積層部と、
    前記積層した画像データから前記検査対象物を所定位置で切断した面に応じた断面画像を合成する断面画像合成部と、
    前記断面画像と実測した前記検査対象物の形状情報から得た断面データとの組合せを教師データとする機械学習による画像認識モデルを用いて、前記検査対象物の前記所定位置で切断した面における断面形状を推定する断面形状推定部と、
    前記切断した面の法線方向に移動をさせた面に応じた断面画像から前記画像認識モデルで推定した断面形状を繋ぎ合わせて前記検査対象物の表面形状を推定する表面形状推定部、
    を備えたことを特徴とする請求項１１に記載の形状計測装置。
13. 前記撮像部は、撮像素子を搭載した光学機器であり、前記検査対象物と撮像レンズ間の光軸方向の距離を変えて撮像することを特徴とする請求項１１又は１２に記載の形状計測装置。
14. 請求項２の形状計測方法の全てのステップをコンピュータに実行させるプログラム。
    

Images