JP2022163926A - 光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデル - Google Patents

Abstract

【課題】光学収差の補正を短い演算時間で効率的に行うことが可能な光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデルを提供する。【解決手段】制御装置１１は、ゼルニケ係数を基に空間光変調器９を用いて補正された光によって生じた作用を観察した強度画像を対象に、強度画像上の所定範囲の複数の注目領域における強度の分布である強度分布を取得する取得部２０１と、強度分布の目標分布との比較結果を算出し比較データを生成する生成部２０２と、強度分布の基となったゼルニケ係数と比較データを学習モデル２０７に入力することにより、強度分布が目標分布に近づくように光に関して収差補正するためのゼルニケ係数を予測する予測部２０４と、を備える。【選択図】図３

Description

実施形態の一側面は、光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデルに関する。

従来から、対物レンズ等の光学系によって生じた収差の補正を行う技術が知られている。例えば、下記特許文献１には、対物レンズに存在する収差を補正するために、波面変調素子に付与する位相パターンを設定するための波面形状を与えるＺｅｒｎｉｋｅ係数を、仮想像におけるレーザ光のスポットの径が最も小さくなるような係数に変化させる技術が記載されている。また、下記特許文献２には、レーザ顕微鏡等の光学系で発生する収差を補正する際に、収差の補正量をＺｅｒｎｉｋｅ多項式の各関数の位相分布として表現し、各関数の相対的な位相変調量を変化させることで位相変調プロファイルを求め、その位相変調プロファイルを位相変調素子に設けられた電極に電圧を印加することで発生させる技術が記載されている。また、下記特許文献３には、眼底検査において被検眼の収差を補正する技術に関して、波面センサで測定した波面をＺｅｒｎｉｋｅ関数にモデル化して各次数にかかる係数を算出し、その係数を基に波面補正デバイスの変調量を算出することが記載されている。

特開２０１１－１３３５８０号公報 国際公開２０１３／１７２０８５号公報 特開２０１２－２３５８３４号公報

上述したような従来の技術においては、収差補正を行うための係数を導く際の演算量が多くなる傾向にあり、演算時間も長くなる傾向にある。そこで、収差補正を実現する際の演算時間を短くすることが求められる。

そこで、実施形態の一側面は、かかる課題に鑑みてなされたものであり、光学収差の補正を短い演算時間で効率的に行うことが可能な光補正係数予測方法、光補正係数予測装置、機械学習方法、機械学習の前処理方法、及び学習済みの学習モデルを提供することを課題とする。

実施形態の一側面に係る光補正係数予測方法は、光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、強度画像上の所定範囲の複数の注目領域における強度の分布である強度分布を取得するステップと、強度分布の目標分布との比較結果を算出し比較データを生成するステップと、強度分布の基となった光補正係数と比較データを学習モデルに入力することにより、強度分布が目標分布に近づくように光に関して収差補正するための光補正係数を予測するステップと、を備える。

あるいは、実施形態の他の側面に係る光補正係数予測装置は、光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、強度画像上の所定範囲の複数の注目領域における強度の分布である強度分布を取得する取得部と、強度分布の目標分布との比較結果を算出し比較データを生成する生成部と、強度分布の基となった光補正係数と比較データを学習モデルに入力することにより、強度分布が目標分布に近づくように光に関して収差補正するための光補正係数を予測する予測部と、を備える。

あるいは、実施形態の他の側面に係る機械学習方法は、光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、強度画像上の所定範囲の複数の注目領域における強度の分布である強度分布を取得するステップと、強度分布の目標分布との比較結果を算出し比較データを生成するステップと、強度分布の基となった光補正係数と比較データを学習モデルに入力することにより、強度分布が目標分布に近づくように光に関して収差補正するための光補正係数を出力するように、学習モデルをトレーニングするステップと、を備える。

あるいは、実施形態の他の側面に係る機械学習の前処理方法は、上記側面の機械学習方法に用いる学習モデルに入力するデータを生成する機械学習の前処理方法であって、光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、強度画像上の所定範囲の複数の注目領域における強度の分布である強度分布を取得するステップと、強度分布の目標分布との比較結果を算出し比較データを生成するステップと、強度分布の基となった光補正係数と比較データとを連結するステップと、を備える。

あるいは、実施形態の他の側面に係る学習済みの学習モデルは、上記側面の機械学習方法を用いたトレーニングによって構築された学習モデルである。

上記一側面あるいは他の側面のいずれかによれば、光変調器を用いて波面が補正された光によって生じた作用を観察した強度画像から、強度画像上の複数の注目領域における強度分布が取得され、その強度分布と目標分布との間の比較データが生成され、光変調器による補正の基となった光補正係数とその比較データが学習モデルに入力される。これにより、複数の注目領域の間における強度の分布が目標分布に近づくような補正を実現できる光補正係数を予測する学習モデルに対して、強度画像からデータ量が圧縮されたデータであって、複数の注目領域の間における強度の分布を的確に捉えたデータを入力できる。その結果、学習モデルの学習時あるいは光補正係数の予測時の演算時間を短くでき、かつ、精度の高い収差補正を実現することができる。

上記一側面あるいは他の側面のいずれかにおいては、光補正係数は、光の波面の形状を与えるＺｅｒｎｉｋｅ多項式の係数である、ことが好適である。この場合、学習モデルによって予測された光補正係数を基にした補正によって、精度の高い収差補正を実現できる。

また、上記一側面あるいは他の側面のいずれかにおいては、強度分布を、複数の注目領域毎の画素の輝度値の総和を計算することにより、輝度分布として取得する、ことも好適である。この場合、光補正係数を予測する学習モデルに対して、強度画像を基に複数の注目領域の間における強度の分布をより的確に捉えたデータを入力できる。その結果、より精度の高い収差補正を実現することができる。

さらに、上記一側面あるいは他の側面のいずれかにおいては、強度分布を、予め定められた方向に沿って強度画像上を順にシフトして設定した複数の注目領域における分布として取得する、ことが好適である。この場合、光補正係数を予測する学習モデルに対して、強度画像を基に所定方向に沿った強度分布をより的確に捉えたデータを入力できる。その結果、より精度の高い収差補正を実現することができる。

またさらに、上記一側面あるいは他の側面のいずれかにおいては、光補正係数と比較データに加えて光に関する収差に影響するパラメータを学習モデルに入力する、ことも好適である。かかる構成によれば、光補正係数を予測する学習モデルに対して、光に関する収差に影響するパラメータをさらに入力できる。その結果、さらに精度の高い収差補正を実現することができる。

さらにまた、上記一側面あるいは他の側面のいずれかにおいては、学習モデルを用いて、光に関する収差に影響する調整可能なパラメータをさらに予測する、ことも好適である。この場合、光補正係数を予測する学習モデルによって、光に関する収差に影響するパラメータがさらに予測される。そして、予測されたパラメータを基に光学系等を調整することにより、さらに精度の高い収差補正を実現することができる。

本発明の一側面によれば、光学収差の補正を短い演算時間で効率的に行うことができる。

第１実施形態にかかる光学システム１の概略構成図である。 図１の制御装置１１のハードウェア構成の一例を示すブロック図である。 図１の制御装置１１の機能構成を示すブロック図である。 図１の撮像素子７から入力された強度画像の一例を示す図である。 図３の取得部２０１によって取得された強度分布のデータによって表される強度分布のグラフである。 光学システム１における学習処理の手順を示すフローチャートである。 光学システム１における観察処理の手順を示すフローチャートである。 第２実施形態に係る制御装置１１Ａの機能構成を示すブロック図である。 第３実施形態に係る制御装置１１Ａの機能構成を示すブロック図である。 変形例にかかる光学システム１Ａの概略構成図である。 変形例にかかる光学システム１Ｂの概略構成図である。 変形例にかかる光学システム１Ｃの概略構成図である。 変形例にかかる光学システム１Ｄの概略構成図である。 変形例にかかる光学システム１Ｅの概略構成図である。 変形例にかかる光学システム１Ｆの概略構成図である。 変形例において撮像素子７から入力された強度画像の一例を示す図である。 変形例において取得された強度分布のデータによって表される強度分布のグラフである。 変形例において撮像素子７から入力された強度画像の一例を示す図である。 変形例において取得された強度分布のデータによって表される強度分布のグラフである。

以下、添付図面を参照して、本発明の実施形態について詳細に説明する。なお、説明において、同一要素又は同一機能を有する要素には、同一符号を用いることとし、重複する説明は省略する。

［第１実施形態］

図１は、第１実施形態に係る光学システム１の構成図である。この光学システム１は、試料の観察の用途で試料に対して光を照射する光学系である。図１に示されるように、光学システム１は、レーザ光等のコヒーレントな光を発生する光源３と、光源３から照射された光を集光する集光レンズ５と、集光レンズ５の焦点位置に配置され、光源３からの光の作用によって生じる二次元的な強度分布を検出（観察）してその強度分布を示す強度画像を出力するＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像素子７と、光源３と集光レンズ５との間の光の光路上に配置され、光の位相の空間分布を変調する空間光変調器９と、撮像素子７及び空間光変調器９と接続された制御装置１１とを備えて構成されている。上記構成の光学システム１においては、撮像素子７の出力する強度画像を基にした制御装置１１による収差補正に関する設定処理が完了した後に、実際の観察のために、観察対象の試料が、撮像素子７に代えて集光レンズの５の焦点位置に配置される。

光学システム１に備えられる空間光変調器９は、例えば、半導体基板上に液晶を配置した構造を持つ装置であり、半導体基板上の画素毎に印加電圧が制御可能とされることにより、入射する光の位相を空間的に変調して、位相が変調された光を出力することができる光学素子である。この空間光変調器９は、制御装置１１から位相画像を受信可能に構成されており、その位相画像における輝度分布に対応した位相変調を行うように動作する。

本実施形態では、空間光変調器９は、例えば光源３から照射されたレーザ光の波面をらせん波面に変調することによって、光渦を生成する役割を有する。光渦とは、光の伝搬軸を中心にしたらせん状の波面を有する光である。詳細には、空間光変調器９は、ラゲールガウス（Laguerre-Gauss）モードビームを生成する。このラゲールガウスモードビームは、伝搬軸に垂直な方向においてリング状の強度分布を持つビームである。理想的なラゲールガウスモードビームは、伝搬軸を中心とした円周方向において均一な強度を有する。ただし、光学システム１で生成される光渦は光学システム１の光学系の収差に強く影響される。そのため、光学システム１における理想的な強度分布、すなわち、均一な強度分布の実現には収差補正が必須となる。

制御装置１１は、本実施形態の光補正係数予測装置であり、例えばＰＣ（Personal Computer）等のコンピュータである。図２は、制御装置１１のハードウェア構成を示している。図２に示すように、制御装置１１は、物理的には、プロセッサであるＣＰＵ（Central Processing Unit）１０１、記録媒体であるＲＡＭ（Random Access Memory）１０２又はＲＯＭ（Read Only Memory）１０３、通信モジュール１０４、及び入出力モジュール１０６等を含んだコンピュータ等であり、各々は電気的に接続されている。なお、制御装置１１は、入力装置及び表示装置として、ディスプレイ、キーボード、マウス、タッチパネルディスプレイ等を含んでいてもよいし、ハードディスクドライブ、半導体メモリ等のデータ記録装置を含んでいてもよい。また、制御装置１１は、複数のコンピュータによって構成されていてもよい。

図３は、制御装置１１の機能構成を示すブロック図である。制御装置１１は、取得部２０１、生成部２０２、学習部２０３、予測部２０４、制御部２０５、及びモデル格納部２０６を備える。図３に示す制御装置１１の各機能部は、ＣＰＵ１０１及びＲＡＭ１０２等のハードウェア上にプログラムを読み込ませることにより、ＣＰＵ１０１の制御のもとで、通信モジュール１０４、及び入出力モジュール１０６等を動作させるとともに、ＲＡＭ１０２におけるデータの読み出し及び書き込みを行うことで実現される。制御装置１１のＣＰＵ１０１は、このコンピュータプログラムを実行することによって制御装置１１を図３の各機能部として機能させ、後述する光補正係数予測方法、機械学習方法、および機械学習の前処理方法に対応する処理を順次実行する。なお、ＣＰＵは、単体のハードウェアでもよく、ソフトプロセッサのようにＦＰＧＡのようなプログラマブルロジックの中に実装されたものでもよい。ＲＡＭやＲＯＭについても単体のハードウェアでもよく、ＦＰＧＡのようなプログラマブルロジックの中に内蔵されたものでもよい。このコンピュータプログラムの実行に必要な各種データ、及び、このコンピュータプログラムの実行によって生成された各種データは、全て、ＲＯＭ１０３、ＲＡＭ１０２等の内蔵メモリ、又は、ハードディスクドライブなどの記憶媒体に格納される。

また、制御装置１１には、ＣＰＵ１０１によって読み込まれることによって、モデル格納部２０６に、光補正係数予測方法および機械学習方法の実行に用いる学習モデル２０７が予め格納されている。学習モデル２０７は、機械学習によって後述する光補正係数を予測する学習モデルである。機械学習には、教師あり学習、深層学習（ディープラーニング）、或いは強化学習、ニューラルネットワーク学習などがある。本実施形態では、学習モデルを実現するディープラーニングのアルゴリズムの一例として、畳み込みニューラルネットワークが採用される。畳み込みニューラルネットワークは、入力層、畳み込み層、プーリング層、全結合層、ドロップアウト層、出力層等を含む構造を有する深層学習の一例である。ただし、学習モデル２０７としては、再帰型ニューラルネットワークである、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）等のアルゴリズムが採用されてもよい。学習モデル２０７は、制御装置１１にダウンロードされた後に制御装置１１内での機械学習によって構築されて学習済みの学習モデルに更新される。

以下、制御装置１１の各機能部の機能の詳細について説明する。

取得部２０１は、撮像素子７から入力された強度画像を対象に、複数の注目領域（ＲＯＩ：Region of Interest）を順に設定する。例えば、取得部２０１は、強度画像における輝度分布を円によってフィッティングし、円の中心の画像上の座標（中心座標）を特定する。そして、取得部２０１は、その中心座標を中心とした所定の中心角（例えば、５度）の扇形のＲＯＩを設定する。さらに、取得部２０１は、ＲＯＩを中心座標を基準に反時計方向（所定の方向）に所定の角度（例えば、５度）ずつ３６０度まで順次回転（シフト）させることにより、複数のＲＯＩを順次設定する。次に、取得部２０１は、設定した複数のＲＯＩ内の画素の輝度値の総和を集計し、複数のＲＯＩ間の輝度値の総和の分布（プロファイル）を強度分布のデータとして取得する。その際、取得部２０１は、輝度値の総和の平均値および標準偏差を計算し、強度分布のデータの平均値が０となり、そのデータの標準偏差が１となるように複数のＲＯＩの分布（輝度）を規格化してもよい。あるいは、取得部２０１は、輝度値の総和の最大値を特定し、複数のＲＯＩの分布をその最大値で規格化してもよい。

図４は、撮像素子７から入力された強度画像の一例を示す図であり、図５は、取得部２０１によって取得された強度分布のデータによって表される強度分布のグラフである。このように、強度画像においては、例えば、光学システム１によってリング状の強度分布を持つ光渦に形成されたレーザ光の強度分布が得られる。取得部２０１により、この強度画像上において輝度分布の中心Ｃ１を中心とした中心角δθの扇形のＲＯＩが設定され、ＲＯＩの中心を通る基準線からの回転角θを０度から３６０度までシフトさせることにより複数のＲＯＩが設定される。さらに、取得部２０１により、図５に示すような回転角θ（０度≦θ＜３６０度）に対応する複数のＲＯＩ間の強度分布のデータが、一次元的に配列されたデータとして得られる。

図３に戻って、生成部２０２は、取得部２０１によって取得された強度分布のデータと、予め設定された強度分布の目標データと、を比較した比較データである差分データを計算する。例えば、強度分布の目標データとしては、リング状の強度分布を有する光渦に関する理想的な回転角θ間の強度分布、すなわち、回転角θに対する一定の強度分布が予め設定される。生成部２０２は、強度分布のデータと強度分布の目標データとの間で回転角θ毎の差分値を計算し、計算した差分値を１次元的に並べた差分データを生成する。例えば、強度分布の目標データが、回転角θに対して一定の規格化後の強度“０”を持つように設定されている場合には、生成部２０２は、差分データを取得部２０１によって取得された強度分布のデータと等しくなるように生成する。なお、生成部２０２は、比較データとして、差分データの代わりに、強度分布の連結データと強度分布の目標データとの間で回転角θ毎の除算値を計算してもよい。

なお、生成部２０２による差分データの生成に用いられる目標データは、様々な強度分布に対応するデータに設定されていてよい。例えば、ガウシアン分布を有する１点で集光されたレーザ光の強度分布に対応するデータであってもよいし、多点で集光されたレーザ光の強度分布に対応するデータであってもよいし、縞模様のパターンのレーザ光の強度分布に対応するデータであってもよい。

制御部２０５は、制御装置１１による光補正係数予測方法、機械学習方法、および機械学習の前処理方法に対応する処理が実行される際に、空間光変調器９による位相変調を制御する。すなわち、制御部２０５は、光補正係数予測方法に対応する処理が実行される際には、空間光変調器９による位相変調を、光学システム１の光学系によって生じる収差を打ち消すようにその収差と逆の位相変調を加えるように制御する。光補正係数予測方法、機械学習方法、および機械学習の前処理方法に対応する処理の実行時には、制御部２０５は、収差補正のために空間光変調器９に与える位相画像を、ゼルニケ（Ｚｅｒｎｉｋｅ）多項式を用いて計算した波面の形状に基づいて設定する。ゼルニケ多項式は単位円上で定義された直交多項式であり、単色収差として知られるザイデルの５収差と対応する項があるという特徴から、収差の補正に利用される多項式である。より詳細には、制御部２０５は、ゼルニケ多項式の複数のゼルニケ係数（例えば、６つのゼルニケ係数）を、光補正係数として設定し、それらのゼルニケ係数を基に波面の形状を計算し、その形状に対応した位相画像を用いて空間光変調器９を制御する。

学習部２０３は、機械学習方法およびその機械学習の前処理方法に対応する処理の実行時に、次の処理を行う機能を有する。すなわち、学習部２０３は、制御部２０５による位相変調の制御に用いる複数のゼルニケ係数の値の組み合わせを異なる値の組み合わせに連続的に変化させて、その値の組み合わせで位相変調の制御が行われるように制御部２０５による制御を設定する。そして、学習部２０３は、制御部２０５の位相変調の制御に応じて生成部２０２によって生成された差分データを、ゼルニケ係数の値の組み合わせ毎に取得する。さらに、学習部２０３は、差分データに対してその差分データに対応するゼルニケ係数の値の組み合わせを一次元的に連結した入力データを複数生成し、複数の入力データをモデル格納部２０６に格納された学習モデル２０７に対する学習データおよび教師データとして用いることにより、機械学習（トレーニング）によって学習モデル２０７を構築する。詳細には、学習部２０３は、差分データをゼロ値の連続データに近づけるような、すなわち、強度分布を目標の強度分布に近づけるようなゼルニケ係数を予測するように、学習モデル２０７における重み付け係数等のパラメータを更新する。このような学習モデルの構築により、目標データまでの遷移に必要と予測された光補正係数と実際に必要であった光補正係数との比較を繰り返すことで、目標の強度分布への遷移を可能とする光補正係数を予測する学習済みの学習モデルが構築できる。

予測部２０４は、光補正係数予測方法に対応する処理の実行時に、次の処理を行う機能を有する。すなわち、予測部２０４は、制御部２０５による位相変調の制御に用いる複数のゼルニケ係数の値の組み合わせを、予め設定された所定値あるいは制御装置１１のオペレータ（ユーザ）によって入力された値に設定し、その値の組み合わせで位相変調の制御が行われるように制御部２０５による制御を設定する。そして、予測部２０４は、制御部２０５の位相変調の制御に応じて生成部２０２によって生成された差分データを取得する。さらに、予測部２０４は、差分データに対して制御部２０５による位相変調の制御に用いられたゼルニケ係数の値の組み合わせを一次元的に連結した入力データを生成し、その入力データをモデル格納部２０６に格納された学習済みの学習モデル２０７に入力することにより、学習モデル２０７にゼルニケ係数の値の組み合わせの予測値を出力させる。すなわち、予測部２０４は、学習モデル２０７を用いることにより、強度分布を目標の強度分布に近づけるようなゼルニケ係数の値の組み合わせを予測する。さらに、予測部２０４は、実際の試料の観察時には、予測したゼルニケ係数の値の組み合わせで位相変調の制御が行われるように、制御部２０５による制御を設定する。

次に、本実施形態に係る光学システム１における学習処理の手順、すなわち、本実施形態に係る機械学習方法および機械学習の前処理方法の流れについて説明する。図６は、光学システム１による学習処理の手順を示すフローチャートである。

まず、制御装置１１によって、オペレータから学習処理の開始の指示が受け付けられると、空間光変調器９による位相変調の制御用のゼルニケ係数の値の組み合わせが初期値に設定される（ステップＳ１）。次に、制御装置１１の制御部２０５によって、設定されたゼルニケ係数の値の組み合わせを基にして空間光変調器９による位相変調が実行されるように制御される（ステップＳ２）。

さらに、制御装置１１の取得部２０１によって、位相変調された光の強度画像を基に、強度分布のデータが取得される（ステップＳ３）。その後、制御装置１１の生成部２０２により、強度分布のデータと目標データとの間で差分値が計算されることにより、差分データが生成される（ステップＳ４）。

さらに、制御装置１１の学習部２０３により、差分データに対して、その差分データの生成時の位相変調の制御に用いられた現在のゼルニケ係数の値の組み合わせを連結した入力データが生成される（ステップＳ５）。次に、学習部２０３により、ゼルニケ係数の値の組み合わせの次の設定値が存在するかが判定される（ステップＳ６）。判定の結果、次の設定値が存在すると判定された場合は（ステップＳ６；ＹＥＳ）、ステップＳ１～Ｓ５の処理が繰り返されて、次のゼルニケ係数の値の組み合わせに関して入力データが生成される。そして、所定の組み合わせ数のゼルニケ係数の値の組み合わせについて入力データが生成された場合（ステップＳ６；ＮＯ）、学習部２０３により、生成した複数の入力データを学習データ及び教師データとして用いて学習モデル２０７が構築される（ステップＳ７：トレーニングの実行）。ただし、例えば、事前に熟練者がゼルニケ係数とその係数に対応する強度画像を取得していた場合は、上記ステップＳ２における空間光変調器９による位相変調の実行、及びステップＳ３における取得部２０１による強度画像の取得を省略し、その代わりに、事前に取得された上記ゼルニケ係数と強度画像の組み合わせを利用することも可能である。

次に、本実施形態に係る光学システム１における観察処理の手順、すなわち、本実施形態に係る光補正係数予測方法の流れについて説明する。図７は、光学システム１による観察処理の手順を示すフローチャートである。

まず、制御装置１１によって、オペレータから観察前の事前設定処理の開始の指示が受け付けられると、空間光変調器９による位相変調の制御用のゼルニケ係数の値の組み合わせが所定値に設定される（ステップＳ１０１）。次に、制御装置１１の制御部２０５によって、設定されたゼルニケ係数の値の組み合わせを基にして空間光変調器９による位相変調が実行されるように制御される（ステップＳ１０２）。

さらに、制御装置１１の取得部２０１によって、位相変調された光の強度画像を基に、強度分布のデータが取得される（ステップＳ１０３）。その後、制御装置１１の生成部２０２により、強度分布のデータと目標データとの間で差分値が計算されることにより、差分データが生成される（ステップＳ１０４）。

さらに、制御装置１１の予測部２０４により、差分データに対して、その差分データの生成時の位相変調の制御に用いられた現在のゼルニケ係数の値の組み合わせを連結した入力データが生成される（ステップＳ１０５）。次に、予測部２０４により、生成した入力データを学習済みの学習モデル２０７に入力することにより、強度分布を目標の強度分布に近づけるようなゼルニケ係数の値の組み合わせが予測される（ステップＳ１０６）。予測の精度を上げるために、必要に応じて、上記ステップＳ１０１～Ｓ１０６の処理が複数回繰り返されてもよい。

その後、制御装置１１の制御部２０５により、予測されたゼルニケ係数の値の組み合わせを基にした空間光変調器９による位相変調の制御が行われる（ステップＳ１０７）。最後に、観察対象の試料が光学システム１にセットされて、位相変調が施された光を用いた試料の観察が行われる（ステップＳ１０８）。

以上説明した光学システム１によれば、空間光変調器９を用いて波面が補正された光渦を観察した強度画像から、複数のＲＯＩ間の強度分布が取得され、その強度分布と目標分布との差分データが生成され、光変調器による補正の基となった光補正係数とその差分データが学習モデルに入力される。これにより、複数のＲＯＩ間の強度分布が目標の強度分布に近づくような波面の補正を実現できるゼルニケ係数を予測する学習モデル２０７に対して、強度画像からデータ量が圧縮されたデータであって、複数のＲＯＩ間の強度分布を的確に捉えたデータを入力できる。その結果、学習モデル２０７の学習時あるいはゼルニケ係数の予測時の演算時間を短くでき、かつ、精度の高い収差補正を実現することができる。すなわち、画像を学習モデルの入力とする従来の手法においては、学習時間の増大、予測時間の増大、学習時および予測時に要求される演算リソースの増大を招く傾向にある。これに対して本実施形態では、学習時および予測時の演算時間の短縮化、および演算リソースの削減を実現できる。

また、光学システム１においては、位相変調の制御に用いられる光補正係数として、光の波面の形状を与えるＺｅｒｎｉｋｅ多項式の係数が用いられている。この場合、学習モデルによって予測されたゼルニケ係数を基にした補正によって、精度の高い収差補正を実現できる。

また、光学システム１においては、強度分布が、複数のＲＯＩ毎の画素の輝度値の総和を計算することにより、輝度分布として取得されている。この場合、ゼルニケ係数を予測する学習モデルに対して、強度画像を基に複数のＲＯＩ間の強度分布をより的確に捉えたデータを入力できる。その結果、より精度の高い収差補正を実現することができる。

特に、光学システム１においては、強度分布が、予め定められた方向に沿って強度画像上を順にシフトして設定した複数のＲＯＩ間の分布として取得されている。この場合、ゼルニケ係数を予測する学習モデルに対して、強度画像を基に所定方向に沿った強度分布をより的確に捉えたデータを入力できる。その結果、より精度の高い収差補正を実現することができる。

さらに、光学システム１においては、連続データである差分データと、現在の光補正係数とを単純に一次元的に連結したデータを学習モデルの入力としている。このようなシンプルなデータの入力手法によって、目標の強度分布に近づけるような光補正係数を、短い演算時間で予測することができる。特に、本実施形態では、学習モデル２０７として、畳み込みニューラルネットワークのアルゴリズムのモデルが採用されている。このような学習モデル２０７によれば、入力されるデータの意味合いの違い（異なる種類のデータの区切り）が自動で認識され、効率的な学習モデルの構築が実現できる。

［第２実施形態］
次に、制御装置１１の他の形態について説明する。図８は、第２実施形態に係る制御装置１１Ａの機能構成を示すブロック図である。第２実施形態に係る制御装置１１Ａにおいては、取得部２０１Ａ、学習部２０３Ａ、および予測部２０４Ａの機能が第１実施形態と異なる。以下、第１実施形態との相違点のみ説明する。

取得部２０１Ａは、光学システム１の光学系によって生じる収差に寄与するパラメータをさらに取得する。このとき、取得部２０１Ａは、パラメータを光学システム１に設けられたセンサから取得してもよいし、制御装置１１のオペレータからの入力を受け付けることによって取得してもよい。例えば、取得部２０１Ａは、このようなパラメータとして、光学系を構成するレンズ等の位置、倍率、焦点距離、屈折率、および、光源３の照射する光の波長等の直接的な要因に関するパラメータ、温度、湿度、時刻、任意の時点からの経過時間等の間接的な要因に関するパラメータ等を取得する。この場合、取得部２０１Ａは、１種類のパラメータを取得してもよいし、複数種類のパラメータを取得してもよい。

学習部２０３Ａは、学習モデル２０７の構築時に、複数の入力データのそれぞれに、取得部２０１Ａによって取得されたパラメータを連結して、パラメータが連結された複数の入力データを用いて学習モデル２０７を構築する。予測部２０４Ａは、入力データに取得部２０１Ａによって取得されたパラメータを連結して、パラメータが連結された入力データを学習済みの学習モデル２０７に入力することにより、ゼルニケ係数の値の組み合わせを予測する。

このような第２実施形態に係る制御装置１１Ａによれば、光学システム１における環境等の要因の変化に強い頑強な学習モデルを構築できる。第１実施形態で使用する学習データに含まれる強度分布と光補正係数との関係には学習データを取得した際の光学系の収差の情報が含まれているが、その収差は光学系の光軸ずれ等の要因の変化によって変化しうる。その結果、学習モデルの構築時（学習時）と収差補正の実施時（観察処理時）との間には、要因の変化により光学系の持つ収差に差が生じる可能性がある。そして、このような収差の差はゼルニケ係数の予測精度の低下を招きうる。第２実施形態によれば、光学系の収差の変化要因となるパラメータを学習データおよび入力データに連結することにより、学習時と観察処理時との間の収差補正のずれを低減することができる。その結果、目標の強度分布に近づけるようにさらに精度の高い収差補正を実現することができる。

特に、本実施形態では、学習モデル２０７として、畳み込みニューラルネットワークのアルゴリズムのモデルが採用されている。このような学習モデル２０７によれば、パラメータが連結された入力データの意味合いの違い（連結されたパラメータとのデータの区切り）が自動で認識され、効率的な学習モデルの構築が実現できる。さらには、補正に影響を与えると考えられるパラメータを入力データに連結することが可能であり、人間が関連性を見出せなかったパラメータの影響を考慮した収差補正を実現できる。

［第３実施形態］
次に、制御装置１１のさらなる他の形態について説明する。図９は、第３実施形態に係る制御装置１１Ｂの機能構成を示すブロック図である。第３実施形態に係る制御装置１１Ｂにおいては、学習部２０３Ｂ、予測部２０４Ｂ、および制御部２０５Ｂの機能が第２実施形態と異なる。以下、第２実施形態との相違点のみ説明する。

制御部２０５Ｂは、空間光変調器９に制御に加えて、光学システム１における光学系の収差に寄与する追加パラメータを調整する機能も有する。例えば、制御部２０５Ｂは、そのような追加パラメータとして、光学系のレンズの位置を、光学システム１に設けられた位置調整機能を介して調整する機能を有する。この追加パラメータは、光学系のレンズの位置以外に、収差に寄与するパラメータとして、光学系を構成する部品の配置、光学系を構成するレンズの倍率、焦点距離、屈折率、光源３の照射する光の波長等の光学システム１において調整可能なパラメータであってよい。また、追加パラメータは、１種類には限定されず、複数種類含まれていてもよい。

学習部２０３Ｂは、学習モデル２０７Ｂの構築時に、第２実施形態と同様にして追加パラメータを含むパラメータが連結された複数の入力データを用いて、ゼルニケ係数の値の組み合わせに加えて、収差を補正可能な追加パラメータの予測値も出力可能な学習モデル２０７Ｂを構築する。このとき入力データに用いるパラメータには、追加パラメータと異なる種類のものを含んでいてもよい。また、学習時には、追加パラメータを積極的に変化させながら入力データを取得することが好適である。

予測部２０４Ｂは、入力データに追加パラメータを含むパラメータを連結して、パラメータが連結された入力データを学習済みの学習モデル２０７Ｂに入力することにより、ゼルニケ係数の値の組み合わせに加えて、収差を補正するための追加パラメータを予測する。

このような第３実施形態に係る制御装置１１Ｂによれば、調整可能な追加パラメータの予測値も得ることにより、光学システム１における環境等の要因の変化に強い頑強な学習モデルを構築できる。すなわち、光学系の収差の変化を生じさせる他のパラメータを使って光学系の収差を補正できる。これにより、ゼルニケ係数だけでは補正が難しい収差の補正を実現することができる。

以上、本発明の種々の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各請求項に記載した要旨を変更しない範囲で変形し、又は他のものに適用したものであってもよい。

上述した第１～第３実施形態に係る光学システム１は、以下のような構成に変更されてもよい。図１０～１５は、変形例に係る光学システム１Ａ～１Ｆの概略構成図である。

図１０に示す光学システム１Ａは、光源３からの光の作用によって生じる反射光を撮像する光学系の例である。光学システム１Ａにおいては、光学システム１と比較して、撮像素子７の位置に配置されたミラー１５と、空間光変調器９と集光レンズ５との間に配置されたハーフミラー１３と、ミラー１５およびハーフミラー１３を経由した反射光を撮像素子７に向けて集光する集光レンズ１７とを備える点が異なっている。このような構成によっても、反射光の強度画像を基に精度の高い収差補正を実現することができる。

図１１に示す光学システム１Ｂは、光学システム１Ａに比較して、学習モデルの構築時および観察前の事前設定処理時にミラー１５の光源３側に隣接して観察対象の試料Ｓを配置した点が異なる。このような構成によれば、屈折率が大きい試料の内部を観察する用途において、試料の内部によって生じる収差を補正可能とすることで、観察等における解像度を向上させることができる。

図１２に示す光学システム１Ｃは光源３からの光の作用によって励起された蛍光の観察に適用可能な光学系の例である。光学システム１Ｃは、励起光の光学系に関しては光学システム１と同様の構成を有し、蛍光観察用の光学系として、ダイクロイックミラー１９、励起光カットフィルタ２１、集光レンズ１７を含む。ダイクロイックミラー１９は、空間光変調器９と集光レンズ５との間に設けられ、励起光を透過し蛍光を反射する性質を有する。励起光カットフィルタ２１はダイクロイックミラー１９によって反射された蛍光を透過し、励起光の成分をカットする。集光レンズ１７は、励起光カットフィルタ２１と撮像素子７との間に設けられ、励起光カットフィルタ２１を透過した蛍光を撮像素子７に向けて集光する。このような構成の光学システム１Ｃにおいては、学習モデルの構築時および観察前の事前設定処理時に、励起光に対して均一な蛍光を発する標準試料Ｓ０が、集光レンズ５の焦点位置に配置される。このような構成により、試料において生じる蛍光を観察する光学系における精度の高い収差補正を実現することができる。

図１３に示す光学システム１Ｄは、光源３からの光の作用によって生じた干渉像を観察可能な光学系の例であり、フィゾー干渉計の光学系の構成を有する。詳細には、光学システム１Ｄは、光源３からのレーザ光の光路上に設けられた空間光変調器９およびビームスプリッタ２３と、空間光変調器９およびビームスプリッタ２３を通過するレーザ光の光路上に配置される基準板２５および標準試料Ｓ０と、基準板２５の参照面２５ａおよび標準試料Ｓ０の表面によって生じる２つの反射光によって生じる干渉像を、ビームスプリッタ２３を介して観察するための集光レンズ１７および撮像素子７とを備える。標準試料Ｓ０としては、平面反射基板を使用できる。このような光学システム１Ｄにより、干渉像を観察する光学系における精度の高い収差補正を実現することができる。

図１４に示す光学システム１Ｅは、光学系の収差補正のために波面計測で得られる画像を利用する光学系の例である。ここでは、光源３からの光の作用によって生じる多点像を得るために撮像素子７の前面にマイクロレンズアレイ２７を配置したシャックハルトマン波面センサが利用されている。このように、波面計測で得られる画像を取得可能な光学系によっても、精度の高い収差補正を実現することができる。

図１５に示す光学システム１Ｆは、レーザ光の観察ではなく、光源３からのレーザ光の照射によって引き起こされた現象（作用）を反映した画像データを利用する光学系の例である。例えば、レーザ光の照射によって引き起こされる現象の例として、ガラス等の物質の表面にレーザ光を集光することで物質を加工（切断、穴あけ等）するレーザ加工現象が挙げられる。レーザ加工現象によって生じるレーザ加工痕にも光学系の収差が生じうるため、収差補正を行うことは目的のレーザ加工を行うためには有益である。光学システム１Ｆは、光学システム１Ｃと同様な構成に加え、ガラス板等の標準試料Ｓ０の加工面の反対側から観察光を照射する観察用光源２９を備えている。このような構成により、標準試料Ｓ０のレーザ加工痕を、観察光によって生じた散乱光を撮像素子７で画像として検出することにより、観察することができる。このように、レーザ加工現象を画像として観察可能な光学系によっても、加工に用いるレーザ光に関して精度の高い収差補正を実現することができる。また、レーザ加工に関しては、試料の断面形状を散乱光あるいはＳＥＭ（電子走査顕微鏡）等で観察した結果得られた画像データを、収差補正のための学習データとして利用してもよい。このような収差補正が可能な光学システムにより、目的の断面形状を得ることができるレーザ加工を実現できる。

また、上述した第１～第３実施形態に係る光学システム１においては、取得部２０１，２０１Ａは、次のようにして強度分布のデータを取得してもよい。すなわち、取得部２０１，２０１Ａは、強度画像上の複数のＲＯＩを、予め設定された形状および配置で順番に設定し、各ＲＯＩにおける画素の輝度値の総和の分布を、強度分布のデータとして取得してもよい。その際、取得部２０１，２０１Ａは、輝度値の総和の平均値および標準偏差を計算し、強度分布のデータの平均値が０となり、そのデータの標準偏差が１となるようにＲＯＩ間の分布を規格化してもよいし、ＲＯＩ間の分布を最大値で規格化してもよい。

図１６は、撮像素子から入力された強度画像の一例を示す図であり、図１７は、取得部２０１，２０１Ａによって取得された強度分布のデータによって表される強度分布のグラフである。このように、取得部２０１，２０１Ａにより、強度画像上に、予め設定された矩形状の形状を有する５つのＲＯＩ１～ＲＯＩ５が、予め設定された座標位置に配置され、この強度画像が取得部２０１，２０１Ａによって処理されることにより、ＲＯＩを識別するインデックスごとの強度データが一次元的に配列された強度分布のデータが得られる。

同様に、取得部２０１，２０１Ａは、強度画像上の複数のＲＯＩを、予め設定された関数によって規定される曲線に沿った方向にシフトすることにより順に複数のＲＯＩの位置を設定し、各ＲＯＩにおける画素の輝度値の総和の分布を、強度分布のデータとして取得してもよい。その際、取得部２０１，２０１Ａは、輝度値の総和の平均値および標準偏差を計算し、強度分布のデータの平均値が０となり、そのデータの標準偏差が１となるようにＲＯＩ間の分布を規格化してもよいし、ＲＯＩ間の分布を最大値で規格化してもよい。

図１８は、撮像素子から入力された強度画像の一例を示す図であり、図１９は、取得部２０１，２０１Ａによって取得された強度分布のデータによって表される強度分布のグラフである。このように、取得部２０１，２０１Ａにより、強度画像上において、予め設定された関数によって規定される曲線Ｆ１（例えば、カージオイド曲線）上に沿って所定形状（例えば、曲線の接線に直交する直線形状）を有するＲＯＩの位置が順次シフトされることにより、複数のＲＯＩが設定される。さらに、取得部２０１，２０１Ａにより、この強度画像が処理されることにより、シフトされたＲＯＩの位置ごとの強度データが一次元的に配列された強度分布のデータが得られる。

これらの変形例によっても、学習モデル２０７の学習時あるいはゼルニケ係数の予測時の演算時間を短くでき、かつ、精度の高い収差補正を実現することができる。

また、上述した第１～第３実施形態に係る光学システム１においては、学習モデルの構築時（学習処理時）には、既に構築済みの学習済みの学習モデルを流用して、学習データの削減および学習時間の短縮を図ってもよい。例えば、前回構築した時間からある程度の期間が経過していた場合には、光学系の光軸のずれの発生等により、わずかにゼルニケ係数と光強度の分布の関係が異なることが想定される。この場合、転移学習という手法を用いれば、試料の観察時の学習データを再学習させることで、より少ないデータセットを用いて、より短い学習時間で観察時に有効な学習モデルを再構築できる。例えば、学習モデル２０７における出力結果に対する、光学系の光軸に関するパラメータの影響が、ニューラルネットワークの一部の層のチューニングで吸収できる場合は、学習部２０３Ａは、学習モデル２０７の構築時に全ての層の重み付けを再学習することなく、一部の層の重み付けのみを再学習する。このような変形例によれば、学習モデルの出力値の誤差の収束を早めることができ、学習を効率化することができる。

１，１Ａ，１Ｂ，１Ｃ，１Ｄ，１Ｅ，１Ｆ…光学システム、３…光源、７…撮像素子、９…空間光変調器、１１，１１Ａ，１１Ｂ…制御装置、２０１，２０１Ａ…取得部、２０２…生成部、２０３，２０３Ａ，２０３Ｂ…学習部、２０５，２０５Ｂ…制御部、２０４，２０４Ａ，２０４Ｂ…予測部、２０７，２０７Ｂ…学習モデル。

Claims (15)

1. 光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、前記強度画像上の所定範囲の複数の注目領域における強度の分布である強度分布を取得するステップと、
   前記強度分布の目標分布との比較結果を算出し比較データを生成するステップと、
   前記強度分布の基となった前記光補正係数と前記比較データを学習モデルに入力することにより、前記強度分布が前記目標分布に近づくように前記光に関して収差補正するための光補正係数を予測するステップと、
   を備える光補正係数予測方法。
2. 前記光補正係数は、前記光の波面の形状を与えるＺｅｒｎｉｋｅ多項式の係数である、
   請求項１に記載の光補正係数予測方法。
3. 前記強度分布を、前記複数の注目領域毎の画素の輝度値の総和を計算することにより、輝度分布として取得する、
   請求項１または２に記載の光補正係数予測方法。
4. 前記強度分布を、予め定められた方向に沿って前記強度画像上を順にシフトして設定した前記複数の注目領域における分布として取得する、
   請求項１～３のいずれか１項に記載の光補正係数予測方法。
5. 前記光補正係数と前記比較データに加えて前記光に関する収差に影響するパラメータを前記学習モデルに入力する、
   請求項１～４のいずれか１項に記載の光補正係数予測方法。
6. 前記学習モデルを用いて、前記光に関する収差に影響する調整可能なパラメータをさらに予測する、
   請求項１～５のいずれか１項に記載の光補正係数予測方法。
7. 光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、前記強度画像上の所定範囲の複数の注目領域における強度の分布である強度分布を取得する取得部と、
   前記強度分布の目標分布との比較結果を算出し比較データを生成する生成部と、
   前記強度分布の基となった前記光補正係数と前記比較データを学習モデルに入力することにより、前記強度分布が前記目標分布に近づくように前記光に関して収差補正するための光補正係数を予測する予測部と、
   を備える光補正係数予測装置。
8. 前記光補正係数は、前記光の波面の形状を与えるＺｅｒｎｉｋｅ多項式の係数である、
   請求項７に記載の光補正係数予測装置。
9. 前記強度分布を、前記複数の注目領域毎の画素の輝度値の総和を計算することにより、輝度分布として取得する、
   請求項７または８に記載の光補正係数予測装置。
10. 前記強度分布を、予め定められた方向に沿って前記強度画像上を順にシフトして設定した前記複数の注目領域における分布、
    請求項７～９のいずれか１項に記載の光補正係数予測装置。
11. 前記光補正係数と前記比較データに加えて前記光に関する収差に影響するパラメータを前記学習モデルに入力する、
    請求項７～１０のいずれか１項に記載の光補正係数予測装置。
12. 前記学習モデルを用いて、前記光に関する収差に影響する調整可能なパラメータをさらに予測する、
    請求項７～１１のいずれか１項に記載の光補正係数予測装置。
13. 光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、前記強度画像上の所定範囲の複数の注目領域における強度の分布である強度分布を取得するステップと、
    前記強度分布の目標分布との比較結果を算出し比較データを生成するステップと、
    前記強度分布の基となった前記光補正係数と前記比較データを学習モデルに入力することにより、前記強度分布が前記目標分布に近づくように前記光に関して収差補正するための光補正係数を出力するように、前記学習モデルをトレーニングするステップと、
    を備える機械学習方法。
14. 請求項１３に記載の機械学習方法に用いる前記学習モデルに入力するデータを生成する機械学習の前処理方法であって、
    光補正係数を基に光変調器を用いて補正された光によって生じた作用を観察した強度画像を対象に、前記強度画像上の所定範囲の複数の注目領域における強度の分布である強度分布を取得するステップと、
    前記強度分布の目標分布との比較結果を算出し比較データを生成するステップと、
    前記強度分布の基となった前記光補正係数と前記比較データとを連結するステップと、
    を備える機械学習の前処理方法。
15. 請求項１３に記載の機械学習方法を用いたトレーニングによって構築された学習済みの学習モデル。

Images