JP2020179171A - 再構成されたスペクトルを用いた２次元多層厚測定 - Google Patents
再構成されたスペクトルを用いた２次元多層厚測定 Download PDFInfo
- Publication number
- JP2020179171A JP2020179171A JP2020077005A JP2020077005A JP2020179171A JP 2020179171 A JP2020179171 A JP 2020179171A JP 2020077005 A JP2020077005 A JP 2020077005A JP 2020077005 A JP2020077005 A JP 2020077005A JP 2020179171 A JP2020179171 A JP 2020179171A
- Authority
- JP
- Japan
- Prior art keywords
- interference pattern
- multispectral
- hyperspectral
- reconstructed
- layer thickness
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 title claims description 36
- 238000005259 measurement Methods 0.000 title description 14
- 238000000034 method Methods 0.000 claims abstract description 53
- 238000010801 machine learning Methods 0.000 claims description 29
- 230000009977 dual effect Effects 0.000 claims description 5
- 238000005070 sampling Methods 0.000 abstract description 4
- 238000007796 conventional method Methods 0.000 abstract 2
- 230000003595 spectral effect Effects 0.000 description 33
- 238000003384 imaging method Methods 0.000 description 13
- 238000012549 training Methods 0.000 description 5
- 208000003556 Dry Eye Syndromes Diseases 0.000 description 4
- 206010013774 Dry eye Diseases 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 2
- 210000004087 cornea Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 238000000701 chemical imaging Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000001747 exhibiting effect Effects 0.000 description 1
- 239000007788 liquid Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/101—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for examining the tear film
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
- G01B11/0616—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating
- G01B11/0625—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating with measurement of absorption or reflection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/06—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material
- G01B11/0616—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating
- G01B11/0625—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating with measurement of absorption or reflection
- G01B11/0633—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness for measuring thickness ; e.g. of sheet material of coating with measurement of absorption or reflection using one or more discrete wavelengths
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02041—Interferometers characterised by particular imaging or detection techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B9/00—Measuring instruments characterised by the use of optical techniques
- G01B9/02—Interferometers
- G01B9/02083—Interferometers characterised by particular signal processing and presentation
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
- G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
- G01J3/28—Investigating the spectrum
- G01J3/45—Interferometric spectrometry
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Medical Informatics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Ophthalmology & Optometry (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Signal Processing (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Eye Examination Apparatus (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【課題】涙液層厚推定の正確性を向上させるための多数の周波数サンプリング点を従来の手法のような時間を掛けずに提供する。【解決手段】涙液層の複数の層の厚さを決定する方法は、撮影されたマルチスペクトル干渉パターンからフルスペクトル干渉パターン又はハイパースペクトル干渉パターンを再構成する処理を含む。このフルスペクトル干渉パターン又はハイパースペクトル干渉パターンに基づいて涙液層厚を推定することができる。フルスペクトル干渉パターン又は再構成ハイパースペクトル干渉パターンを用いることによって、従来の手法のように長い時間を掛けることなく、涙液層厚推定の正確性を向上させるための多数の周波数サンプリング点を提供することができる。【選択図】図２
Description
（関連出願の相互参照）
この出願は、２０１９年４月２４日に出願された「２Ｄ ＭＵＬＴＩ−ＬＡＹＥＲ ＴＨＩＣＫＮＥＳＳ ＭＥＡＳＵＲＥＭＥＮＴ ＷＩＴＨ ＲＥＣＯＮＳＴＲＵＣＴＥＤ ＳＰＥＣＴＲＵＭ（再構成されたスペクトルを用いた２次元多層厚測定）」と題する米国仮特許出願第６２／８３７，７８５号に基づく優先権を主張するものであり、その全体を参照により本明細書に援用する。
この出願は、２０１９年４月２４日に出願された「２Ｄ ＭＵＬＴＩ−ＬＡＹＥＲ ＴＨＩＣＫＮＥＳＳ ＭＥＡＳＵＲＥＭＥＮＴ ＷＩＴＨ ＲＥＣＯＮＳＴＲＵＣＴＥＤ ＳＰＥＣＴＲＵＭ（再構成されたスペクトルを用いた２次元多層厚測定）」と題する米国仮特許出願第６２／８３７，７８５号に基づく優先権を主張するものであり、その全体を参照により本明細書に援用する。
ドライアイは、眼科医の診察における最も一般的な原因の１つになっている。ドライアイは、涙液層に関連する眼表面の多因子性疾患である。ドライアイ診断の１つの方法は、涙液層の厚さを測定することによって涙液量を評価することである。図１に示すように、涙液層１００は、厚さが約５０ナノメートルの油層１０２を含む眼の外層と、合わせた厚さが約１．５マイクロメートルのムチン−水層（液層）１０４とを有する（ムチン−水層１０４は、ムチン及び／又は水層とも呼ばれる）。眼は、ムチン−水層に隣接して、厚さが約０．５ミリメートルの角膜１０６を更に含む。現状、例えばドライアイ診断を客観的に支援するために、涙液層１００における層を正確且つ効率的に画像化及び解析する技術（例えば、層厚を求める技術）はほとんど無い。
現在利用可能な非侵襲測定として干渉計測法がある。これらのうちの１つのアプローチは、量的又は質的にも、画像の色と油層厚との間の相互関係に依拠している。理論的には、２次元（２Ｄ）画像に基づいて解析が行われるが、通常は、かなり広い範囲における平均厚を提供するに過ぎない。しかしながら、このアプローチは、油層厚の相対的評価に限定されるのが通常であり、絶対的な厚さ測定を行う場合には、位相の曖昧性（ａｍｂｉｇｕｉｔｙ）及び不確定性（ｕｎｃｅｒｔａｉｎｔｙ）の影響を受けやすいことがある。
本開示の第１の例によれば、構造（構造体、組織）の層厚を測定する方法は以下を含む：前記構造のマルチスペクトル干渉パターンを取得する；前記マルチスペクトル干渉パターンに対してハイパースペクトル再構成を実行することにより、再構成フルスペクトル干渉パターン又は再構成ハイパースペクトル干渉パターンを生成する；前記再構成フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンに基づいて前記層厚を推定する。
本開示の他の例によれば、構造（構造体、組織）の層厚を測定する方法は以下を含む：ハイパースペクトルカメラを用いて前記構造のフルスペクトル干渉パターン又はハイパースペクトル干渉パターンを取得する；前記ハイパースペクトル干渉パターンに基づいて前記層厚を推定する。
上記の例の様々な実施形態は以下のいずれかを含む：前記構造は、眼の涙液層である；ＲＧＢカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する；デュアルカラーカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する；狭帯域マルチスペクトルカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する；マルチスペクトル干渉パターンの入力に基づいて前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンを出力するように訓練された機械学習システムによって、前記マルチスペクトル干渉パターンに対する前記ハイパースペクトル再構成を実行する；前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンをルックアップテーブルと比較することによって、前記層厚を推定する；前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンに対してカーブフィッティングを実行することによって、前記層厚を推定する；前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンの入力に基づいて層厚を出力するように訓練された機械学習システムに、前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンを供給することによって、前記層厚を推定する；前記方法は、更に、前記推定された層厚を表示する；前記取得されたマルチスペクトル干渉パターンは非合焦であり、前記方法は、更に、前記ハイパースペクトル再構成よりも前に、前記非合焦のマルチスペクトル干渉パターンのフォーカス調整を実行する；非合焦のマルチスペクトル干渉パターンの入力に基づいて合焦したマルチスペクトル干渉パターンを出力するように訓練された機械学習システムによって、前記フォーカス調整を実行する。
本明細書に提示するように、マルチスペクトル帯域を利用して対象を撮影することによってこの対象の層厚を測定する方法に干渉計測法を用いることができる。例えば、幾つかの実施形態において、２Ｄ層厚測定に十分な強さの信号を提供するために複数のスペクトル帯域（特に、従来のＲＧＢイメージングよりも狭いスペクトル帯域を有する「狭帯域」）を用いることができる。更に、とりわけムチン−水層厚測定において、イメージングのコントラスト向上を促進するために狭いスペクトル帯域幅を用いることができる。幾つかの実施形態において、これらのマルチスペクトル帯域は、ＲＧＢカメラで得られたオーバーラップの無い（非重複の）複数の帯域又はオーバーラップの有る（重複した）複数の帯域であってよい。その場合、画像化されたスペクトルパターンから再構成されたフルスペクトル干渉パターン又はハイパースペクトル干渉パターンに基づき、ルックアップテーブル、カーブフィッティング、又は機械学習を用いて、画像化された各位置における涙液層厚を推定することができる。
スペクトル帯域の個数が、そのようなイメージングの正確性や応用に影響を与えることがある。比較的多数のスペクトル帯域を用いることによって正確性を向上させることができるが、時間が掛かるため、涙液層のような動的な対象の測定能力が制限される可能性がある。逆に、比較的少数のスペクトル帯域を用いる場合には、即時的な測定（ｌｉｖｅ−ｓｐｅｅｄ ｍｅａｓｕｒｅｍｅｎｔ）が可能である一方で、カーブフィッティングを正確に行うために十分な情報を提供できない可能性がある。複数のスペクトル帯域のハイパースペクトル再構成によれば、制限されたスペクトル帯域測定からフルスペクトル干渉パターン反応又はハイパースペクトル干渉パターン反応を再構成することによって、少ない数のスペクトル帯域で正確性を向上させることができる。換言すると、ハイパースペクトル再構成は、マルチスペクトルイメージングの効果を維持しつつ、フルスペクトルカメラで取得されたものと同等の干渉パターン（よって、厚さ推定の正確性を向上させる付加的なデータ点の付属的効果を有する）を生成するものである。
本明細書で使用されるように、用語「フルスペクトル（ｆｕｌｌ Ｓｐｅｃｔｒｕｍ）」は連続スペクトル分布を示し、「ハイパースペクトル（ｈｙｐｅｒ−ｓｐｅｃｔｒａｌ）」は典型的には少なくとも１００個の離散的スペクトル帯域を示し、「マルチスペクトル（ｍｕｌｔｉ−ｓｐｅｃｔｒａｌ）」は典型的には約２０個の離散的スペクトル帯域を示すものとして認識されるべきである。多くの例において、接頭辞「フル（ｆｕｌｌ）」及び「ハイパー（hyper）」は、多くの周波数及び多くのバンド幅にわたるスペクトル再構成を一般的に示すためにほぼ同じ意味で使用される。なお、ハイパースペクトル信号がマルチスペクトル信号よりも多数の離散的スペクトル帯域を有する限りにおいて、マルチスペクトル信号は２０よりも多い又は少ない離散的スペクトル帯域を有していてもよく、また、ハイパースペクトル信号は１００よりも多い又は少ない離散的スペクトル帯域を有していてもよい。
機械学習を利用したハイパースペクトル再構成が幾つか試みられてはきたが、これらの試みは、（例えば、家庭用品の）反射率を求めるものであり、（例えば、涙液のような）多層構造（多層構造体、多層組織）の干渉パターンに関するものではない。更に、ほとんどの試みは、一連の狭帯域スペクトル帯域を取得するカメラではなく、ＲＧＢカメラからの画像の再構成に焦点を当てたものである。
図２は、前述したマルチスペクトル帯域イメージングのハイパースペクトル再構成に関する、本明細書にて説明される方法の概要を表す。同図から分かるように、まず、（例えば画像を形成するために使用可能な）マルチスペクトル帯域干渉パターンが、層厚測定の対象となる構造（構造体、組織）（例えば、眼の涙液層）の関心領域内の各位置について取得される（２００）。この干渉パターンの取得は、引き続き実行される層厚測定処理の直前に近くの場所で行われてもよいし、或いは、より早い時点において遠隔地で行われてもよい。事前に取得する場合、干渉パターンは保存され、後段の処理のために記憶装置から取得される。イメージングに利用されるスペクトル帯域は、２色スペクトル（ｄｕａｌ ｃｏｌｏｒ ｓｐｅｃｔｒｕｍ）、ＲＧＢスペクトル、複数の狭いスペクトル帯域、又はユーザが選択した複数のスペクトル帯域であってよい。取得される特定の帯域を決定するために、望ましい画像化対象又は結果に応じた最適なスペクトル帯域を決定するように訓練された機械学習システムを用いてもよい。
次に、取得されたマルチスペクトル干渉パターンのハイパースペクトル再構成２０２が、再構成されたフルスペクトル干渉パターン又は再構成されたハイパースペクトル干渉パターン２０８を生成するために実行される。ハイパースペクトル再構成２０２は、圧縮センシングなどの手法によって実行可能である。圧縮センシングを用いる場合、下記の条件の下、一連の最適化を通じて信号を再構成することが可能である：１）或る空間において信号がスパース（疎）に分布している；２）無作為抽出（ランダムサンプリング）する。以下の理由により本開示はこれらの条件をそれぞれ満たしている：１）未知の厚さは２つだけである；２）マルチスペクトル帯域はランダムに選択可能であり、一様に分布していない。
ハイパースペクトル再構成２０２についても、機械学習システムによって実行可能である。そのような実施形態において、ハイパースペクトル再構成機械学習システムは、同じ対象のマルチスペクトル画像及びハイパースペクトル画像のペアを用いた教師あり学習であってよい。訓練において、機械学習システム内のパラメータを調整することによって、機械学習システムからの再構成ハイパースペクトル画像とハイパースペクトル画像との間の差分が低減される。それにより、機械学習システムは、与えられたマルチスペクトルの入力からハイパースペクトル画像２０８を適切に構築するパラメータを学習する。
学習プロセスの一部としての、マルチスペクトル帯域の最適なセットを特定するために参照可能なフィードバックループ２０４によって、ハイパースペクトル再構成２０２を補助してもよい。例えば、ハイパースペクトル再構成２０２の品質をフィードバックすることによって、取得されたマルチスペクトル干渉パターンのうちのどのスペクトル帯域が、涙液層厚干渉パターン再構成２０２の正確性を最大化するかを特定することができる。望ましい再構成法の開発（発展）の間に、従来のハイパースペクトル再構成法又は機械学習ベースのハイパースペクトル再構成法のいずれかをフィードバック２０４に適用することができる。
更に他の実施形態において、前述したようなマルチスペクトル干渉パターンからの再構成を要することなくフルスペクトル干渉パターン又はハイパースペクトル干渉パターン２０８を直接に取得する（２０６）ために、ハイパースペクトルカメラを使用してよい。
次に、フルスペクトル干渉パターン又はハイパースペクトル干渉パターン（いずれも再構成されたもの又は直接に取得されたもの）２０８に対して厚さ推定法２１０が実行される。この厚さ推定法は、多層の対象のうちのいずれかの層又は全ての層についてのものであってよく、及び／又は、対象の総厚についてのものであってもよい。前述したように、この厚さ推定は、次のいずれかを用いて実行されてよい：ルックアップテーブル（例えば、特定のスペクトル帯域波長における検出信号強度を、既知の対応する厚さと比較する）；カーブフィッティング技術；機械学習技術；フーリエ変換技術；これらに類する技術。このフーリエ変換技術を用いる方法は、２０２０年３月２５日に出願された「ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＭＥＡＳＵＲＩＮＧ ＴＥＡＲ ＦＩＬＭ ＴＨＩＣＫＮＥＳＳ ＵＳＩＮＧ ＯＰＴＩＣＡＬ ＩＮＴＥＲＦＥＲＥＮＣＥ（光干渉を用いて涙液層厚を測定する方法及び装置）」と題する米国特許出願第１６／８２９，６７３号（その全体を参照により本明細書に援用する）に記載されたものであってよい。また、「２Ｄ ＭＵＬＴＩ−ＬＡＹＥＲ ＴＨＩＣＫＮＥＳＳ ＭＥＡＳＵＲＥＭＥＮＴ（２次元多層厚測定）」と題する、２０１９年１月２１日に出願された米国特許出願第１６／２５２，８１８号及び２０１９年８月１日に公開された米国特許出願公開第２０１９／０２３１１８７号（その全体を参照により本明細書に援用する）に記載された手法など、他の手法でもよい。
例えば、干渉パターンが既知の値｛ｘ｝を有し、且つ、目標となる未知の層厚をｙとした場合、厚さ推定法は、値｛ｘ｝と層厚ｙとを関連付けることができる。ルックアップテーブルを用いる場合、異なる厚さの組み合わせのスペクトル干渉パターンについてシミュレーションが行われ（例えば、涙液層の物理モデルを用いる）、テーブルに保存される。厚さ推定では、最も適合する干渉パターンをテーブル内から特定するためにテーブルを探索するためのキーとして、干渉パターンの値｛ｘ｝を用いることができる。テーブル内においてこれに対応する厚さが、測定された干渉パターンについての涙液層の目的の厚さとみなされる。
カーブフィッティング技術を利用する場合、干渉パターンの値｛ｘ｝が、（未知の層厚に対応する）２つの未知の値を有する涙液層の物理モデル（又は、類似のモデル）のフィッティングに直接に使用される。モデルに最もよく適合する干渉パターンの値｛ｘ｝について変数の値を決定することによって、フィッティングされたモデルは涙液層の層厚をもたらす。
機械学習を利用する場合、干渉パターンの値｛ｘ｝の入力から厚さを推定するために、訓練前の機械学習システムが使用される。教師あり学習においては、干渉パターンとそれに対応する涙液層の層厚とのペアがシステムに提供される。この訓練データは、シミュレーション（例えば、涙液層の物理モデル）で生成されてもよいし、実際に取得されたサンプルから生成されてもよい。訓練を実行しつつ、機械学習システムは、入力された干渉パターンに基づき涙液層厚を正しく推測するための学習を行う。
最後に、求められた層厚を、後の解析のために保存してもよいし、又は、そのまま若しくは厚さマップとして表示してもよい（２１２）。この厚さマップは、画像化された対象の２次元画像であってよく、その各ピクセルは、画像化された位置に対応しており、その位置について得られた厚さに対応する強度、色、又は明るさなどを有する。他の実施形態において、厚さマップは、各２次元位置における厚さを第３の次元を用いて表現した３次元マップであってよい。
図３は、図２の方法を図解的に表している。同図から分かるように、干渉データのマルチスペクトル帯域を取得することによって、ハイパースペクトル干渉パターン３０６が形成される。１つの例３００において、複数のスペクトルは、それぞれ約４０ナノメートルの幅を有し、４００、５００、６００、７００及び８００ナノメートルの波長を中心とする５つの狭いスペクトル帯域を含んでいてよい。他の例において、複数の帯域は、例えば次の範囲に含まれていてよい：４２５〜４７５ナノメートル、５００〜５５０ナノメートル、６５０〜７００ナノメートル、７５０〜８００ナノメートル、及び、９５０〜１０００ナノメートル。更に他の例３０２では、複数のスペクトル帯域は、ＲＧＢカメラ又はデュアルカラーカメラの赤帯域、緑帯域、及び青帯域に対応してもよい。しかしながら、前述したように、異なる帯域幅の任意個数の帯域を用いてもよいし、任意個数の手法でそれらの帯域を選択してもよい。例えば、前述したように、ハイパースペクトル再構成の訓練（フィードバック２０４を用いる）の間に又は機械学習によって、好適な帯域を特定してもよい。
フルスペクトル又はハイパースペクトルの再構成を機械学習システム３０４を用いて行う場合、マルチスペクトル干渉パターン３００、３０２の入力に基づき再構成フルスペクトル又は再構成ハイパースペクトル３０６を出力するように訓練された機械学習システムに、取得されたマルチスペクトル干渉パターン３００、３０２が入力される。前述したおうに、この再構成は、他の手法で実行されてもよく、図３の例に示す機械学習に限定されない。フルスペクトル又はハイパースペクトルを再構成することにより、多数の周波数サンプリング点を後段の涙液層厚推定に利用することが可能になる。
次に、再構成されたスペクトル３０６を層厚推定技術３０８を用いて解析することにより、フルスペクトル又はハイパースペクトル３０６に対応する位置における涙液層厚３１０を求める。この解析は、スペクトルを厚さに対応付けたルックアップテーブルとスペクトルとを比較する手法、カーブフィッティング、スペクトルの入力に基づき厚さを出力するように訓練された機械学習システムに再構成スペクトルを入力する手法、又は、フーリエ変換の手法によって、実行されてよい。
以上に加え、フルスペクトル再構成又はハイパースペクトル再構成をマルチスペクトル干渉パターンに適用するよりも前に、マルチスペクトル干渉パターンに前処理を施してもよい。この前処理としては、例えば、ノイズ除去、パターンの再フォーカス調整などがある。このような前処理は、再構成から独立していてよい。図４は、フォーカス（ピント）が合った（合焦した）マルチスペクトル干渉パターン４０４を再構成するためにフォーカス修復の手法４０２に入力される、フォーカスの合っていない（非合焦の）マルチスペクトル干渉パターン４００の例を示す。フォーカス修復の手法４０２は、非合焦のパターンと適切に合焦したパターンとを関連付けるように訓練された機械学習システムであってよい。このようなシステム４０２は、機械学習システム４０２に入力された非合焦のパターンから、合焦したパターンを出力することが可能である。機械学習システム４０２は、異なるイメージングモダリティ（例えば、ＲＧＢカメラ、又は、タイムオブフライトシステム（ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ ｓｙｓｔｅｍ））から取得されたフォーカス関連情報を生成し、カメラと角膜との間の距離を測定することも可能である。この情報によれば、更に、機械学習システムによる非合焦の度合の特定及び非合焦の干渉パターン５００の調整を促進し、合焦したパターン４０４を生成することが可能である。
以上に説明した方法を実行するためのシステムも本開示の範囲内にあることを意図しており、それを図５に示す。そのようなシステム５００は、コンピュータを含んでいてよく、このコンピュータは、本方法を実行するための１つ以上のプロセッサ（例えば、集積回路、ディスクリート回路などの形式のプロセッサ）５０４、記憶装置５０６（例えば、ハードディスク、メモリ、ＲＡＭなど）、及び、入出力インターフェイス（例えば、ディスプレイ、キーボード、マウスなど）５０８を有していてよい。前述した方法は、プロセッサ５０４により実行されるソフトウェアを用いて、又は、ハードウェア（例えば、回路構成、光学フィルタなど）を用いて実装されてよい。記憶装置５０６は、コンピュータの近くに配置されてもよいし（５０６ａ）、又は、例えば集中化されたデータベースとして遠隔的に配置されてもよい（５０６ｂ）。様々な上記の機械学習システムは、コンピュータ５０２内に（１つ以上のプロセッサ５０４上に）まとめて実装されてもよいし、独立のシステムとして別々に実装されてもよい。
システム５００は、対象から干渉パターンを取得するために使用されるイメージングシステムハードウェア５１０と一体化されていてもよいし、イメージングシステムハードウェア５１０から分離されていてもよい。例えば、コンピュータ５０２は、光コヒーレンストモグラフィシステムを制御するために使用されるコンピュータと同一であってよい。一体化されている場合、システム５００は、前述したスペクトル干渉パターンを取得するためのイメージングシステムハードウェア５１０を含んでいてもよい。このようなハードウェア５１０は、例えば、以下の要素を含む：厚さ測定の対象に向けて光を発するように構成された光源５１２；例えば、ＲＧＢカメラ、デュアルカラーカメラ、マルチスペクトル光検出器／カメラ（その狭帯域版を含む）、フルスペクトル光検出器／カメラ（その狭帯域版を含む）、ハイパースペクトル光検出器／カメラ（その狭帯域版を含む）のような、対象により反射された光源５１２からの光を検出するカメラ／検出器；光源からの光を対象に提供し、且つ、対象からの反射光をカメラ及び／又は光検出器５１４に提供するように構成された光学要素（例えば、レンズ、フィルタなど）。
様々な特徴を以上に提示したが、これらの特徴は単独で（別々に）又は組み合わせて使用してよいと理解されるべきである。更に、特許請求の範囲に記載された例に関する分野の当業者にとって、変化、変更、変形を行ってもよいと理解されるべきである。同様に、以上の開示は、主に眼の涙液層のイメージングに関するものであるが、他の任意の多層構造（多層構造体、多層組織）のイメージング及び層厚決定に対してこの開示を適用してもよい。
Claims (12)
- 構造の層厚を測定する方法であって、
前記構造のマルチスペクトル干渉パターンを取得し、
前記マルチスペクトル干渉パターンに対してハイパースペクトル再構成を実行することにより、再構成フルスペクトル干渉パターン又は再構成ハイパースペクトル干渉パターンを生成し、
前記再構成フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンに基づいて前記層厚を推定する、
方法。 - 前記構造は、眼の涙液層である、
請求項１の方法。 - ＲＧＢカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する、
請求項１の方法。 - デュアルカラーカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する、
請求項１の方法。 - 狭帯域マルチスペクトルカメラを用いて前記構造からの反射光を取り込むことによって前記マルチスペクトル干渉パターンを取得する、
請求項１の方法。 - マルチスペクトル干渉パターンの入力に基づいて前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンを出力するように訓練された機械学習システムによって、前記マルチスペクトル干渉パターンに対する前記ハイパースペクトル再構成を実行する、
請求項１の方法。 - 前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンをルックアップテーブルと比較することによって、前記層厚を推定する、
請求項１の方法。 - 前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンに対してカーブフィッティングを実行することによって、前記層厚を推定する、
請求項１の方法。 - 前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンの入力に基づいて層厚を出力するように訓練された機械学習システムに、前記フルスペクトル干渉パターン又は前記再構成ハイパースペクトル干渉パターンを供給することによって、前記層厚を推定する、
請求項１の方法。 - 更に、前記推定された層厚を表示する、
請求項１の方法。 - 前記取得されたマルチスペクトル干渉パターンは非合焦であり、
更に、前記ハイパースペクトル再構成よりも前に、前記非合焦のマルチスペクトル干渉パターンのフォーカス調整を実行する、
請求項１の方法。 - 非合焦のマルチスペクトル干渉パターンの入力に基づいて合焦したマルチスペクトル干渉パターンを出力するように訓練された機械学習システムによって、前記フォーカス調整を実行する、
請求項１１の方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021095794A JP7308881B2 (ja) | 2019-04-24 | 2021-06-08 | 再構成されたスペクトルを用いた２次元多層厚測定 |
Applications Claiming Priority (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962837785P | 2019-04-24 | 2019-04-24 | |
| US62/837,785 | 2019-04-24 | ||
| US16/855,393 US11684253B2 (en) | 2019-04-24 | 2020-04-22 | 2D multi-layer thickness measurement with reconstructed spectrum |
| US16/855,393 | 2020-04-22 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021095794A Division JP7308881B2 (ja) | 2019-04-24 | 2021-06-08 | 再構成されたスペクトルを用いた２次元多層厚測定 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020179171A true JP2020179171A (ja) | 2020-11-05 |
| JP6991267B2 JP6991267B2 (ja) | 2022-01-12 |
Family
ID=70470835
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020077005A Active JP6991267B2 (ja) | 2019-04-24 | 2020-04-24 | 再構成されたスペクトルを用いた２次元多層厚測定 |
| JP2021095794A Active JP7308881B2 (ja) | 2019-04-24 | 2021-06-08 | 再構成されたスペクトルを用いた２次元多層厚測定 |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021095794A Active JP7308881B2 (ja) | 2019-04-24 | 2021-06-08 | 再構成されたスペクトルを用いた２次元多層厚測定 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11684253B2 (ja) |
| EP (1) | EP3730034A1 (ja) |
| JP (2) | JP6991267B2 (ja) |
| DE (1) | DE20171246T1 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113358042B (zh) * | 2021-06-30 | 2023-02-14 | 长江存储科技有限责任公司 | 一种测量膜厚的方法 |
| US11933610B2 (en) | 2022-07-28 | 2024-03-19 | Nec Corporation | Optical tomography system and method of using |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007534945A (ja) * | 2004-04-24 | 2007-11-29 | ハネウェル・インターナショナル・インコーポレーテッド | 多チャンネル赤外線センサを使用した薄膜厚さの測定 |
| JP2008109640A (ja) * | 2006-09-28 | 2008-05-08 | Sony Corp | 予測係数演算装置および方法、画像データ演算装置および方法、プログラム、並びに記録媒体 |
| US20100253907A1 (en) * | 2009-04-01 | 2010-10-07 | Tearscience, Inc. | Ocular surface interferometery (OSI) devices and systems for imaging, processing, and/or displaying an ocular tear film |
| JP2012154711A (ja) * | 2011-01-25 | 2012-08-16 | Jvc Kenwood Corp | 分光スペクトル推定装置および学習スペクトル生成方法 |
| JP2018149283A (ja) * | 2017-03-14 | 2018-09-27 | 株式会社トプコン | 涙液層厚み測定装置及び方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101704591B1 (ko) * | 2012-02-21 | 2017-02-08 | 에이에스엠엘 네델란즈 비.브이. | 검사 장치 및 방법 |
| EP3113668B1 (en) | 2014-03-06 | 2018-09-26 | ADOM Advanced Optical Technologies Ltd. | System and method for performing tear film structure measurement and evaporation rate measurements |
| JP2017191071A (ja) * | 2016-04-15 | 2017-10-19 | キヤノン株式会社 | 分光データ処理装置、撮像装置、分光データ処理方法および分光データ処理プログラム |
| JP6750793B2 (ja) * | 2016-04-26 | 2020-09-02 | レーザーテック株式会社 | 膜厚測定装置及び膜厚測定方法 |
| US10346740B2 (en) * | 2016-06-01 | 2019-07-09 | Kla-Tencor Corp. | Systems and methods incorporating a neural network and a forward physical model for semiconductor applications |
| US10893796B2 (en) | 2018-01-26 | 2021-01-19 | Topcon Corporation | 2D multi-layer thickness measurement |
-
2020
- 2020-04-22 US US16/855,393 patent/US11684253B2/en active Active
- 2020-04-24 DE DE20171246.0T patent/DE20171246T1/de active Pending
- 2020-04-24 EP EP20171246.0A patent/EP3730034A1/en active Pending
- 2020-04-24 JP JP2020077005A patent/JP6991267B2/ja active Active
-
2021
- 2021-06-08 JP JP2021095794A patent/JP7308881B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007534945A (ja) * | 2004-04-24 | 2007-11-29 | ハネウェル・インターナショナル・インコーポレーテッド | 多チャンネル赤外線センサを使用した薄膜厚さの測定 |
| JP2008109640A (ja) * | 2006-09-28 | 2008-05-08 | Sony Corp | 予測係数演算装置および方法、画像データ演算装置および方法、プログラム、並びに記録媒体 |
| US20100253907A1 (en) * | 2009-04-01 | 2010-10-07 | Tearscience, Inc. | Ocular surface interferometery (OSI) devices and systems for imaging, processing, and/or displaying an ocular tear film |
| JP2015091322A (ja) * | 2009-04-01 | 2015-05-14 | テイアサイエンス・インコーポレーテツド | 眼球涙液膜の画像形成、処理および／または表示を行いおよび／または眼球涙液膜層の厚さを測定する、眼球表面の干渉分光（ｏｓｉ）装置、システムおよび方法 |
| JP2012154711A (ja) * | 2011-01-25 | 2012-08-16 | Jvc Kenwood Corp | 分光スペクトル推定装置および学習スペクトル生成方法 |
| JP2018149283A (ja) * | 2017-03-14 | 2018-09-27 | 株式会社トプコン | 涙液層厚み測定装置及び方法 |
Non-Patent Citations (1)
| Title |
|---|
| P. EWEN KING-SMITH, ET AL.: "Tear Film Interferometry and Corneal Surface Roughness", INVESTIGATIVE OPHTHALMOLOGY & VISUAL SCIENCE, vol. Vol.55, Issue 4, JPN6021019447, 2014, pages 2614 - 2618, ISSN: 0004511503 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US11684253B2 (en) | 2023-06-27 |
| JP6991267B2 (ja) | 2022-01-12 |
| US20200337553A1 (en) | 2020-10-29 |
| DE20171246T1 (de) | 2021-02-25 |
| EP3730034A1 (en) | 2020-10-28 |
| JP7308881B2 (ja) | 2023-07-14 |
| JP2021137612A (ja) | 2021-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103356162B (zh) | 图像处理设备和图像处理方法 | |
| JP4389032B2 (ja) | 光コヒーレンストモグラフィーの画像処理装置 | |
| Dias et al. | Retinal image quality assessment using generic image quality indicators | |
| Amin et al. | High speed detection of retinal blood vessels in fundus image using phase congruency | |
| CN106073700B (zh) | 图像生成方法和图像生成装置 | |
| CN110274877A (zh) | 一种基于散射介质的3d光谱成像系统及方法 | |
| JP2021504075A (ja) | アルツハイマー病の病状のためのハイパースペクトル画像誘導ラマン眼球撮像装置 | |
| WO2020075345A1 (ja) | 医用画像処理装置、医用画像処理方法及びプログラム | |
| JP7308881B2 (ja) | 再構成されたスペクトルを用いた２次元多層厚測定 | |
| WO2016120933A1 (en) | Tomographic imaging apparatus, tomographic imaging method, image processing apparatus, image processing method, and program | |
| JP6230023B2 (ja) | ３次元光コヒーレンス断層撮影インターフェログラムデータから２次元画像を生成する装置および方法 | |
| JP6512738B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| US10524663B2 (en) | Phase measurement, analysis, and correction methods for coherent imaging systems | |
| JP2015226579A (ja) | 光干渉断層撮影装置及び光干渉断層撮影装置の制御方法 | |
| US10470653B2 (en) | Image processing apparatus, image processing method, and storage medium that generate a motion contrast enface image | |
| JP7318046B2 (ja) | ２次元多層厚測定 | |
| JP2019202188A (ja) | 涙液層厚み測定装置及び方法 | |
| WO2021099127A1 (en) | Device, apparatus and method for imaging an object | |
| Sharma | Automated depth analysis of optic nerve head from stereo fundus images | |
| Laatunen | Aligning simulated and imaged spectral retinal data for model personalisation | |
| JP2019010578A (ja) | 光干渉断層撮影装置及び光干渉断層撮影装置の制御方法 | |
| Barone et al. | 3D Imaging Analysis of Chronic Wounds Through Geometry and Temperature Measurements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200727 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200727 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210528 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211207 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6991267 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |