JP2017117462A - フーリエタイコグラフィによって取得された画像の物理レジストレーション - Google Patents
フーリエタイコグラフィによって取得された画像の物理レジストレーション Download PDFInfo
- Publication number
- JP2017117462A JP2017117462A JP2016245855A JP2016245855A JP2017117462A JP 2017117462 A JP2017117462 A JP 2017117462A JP 2016245855 A JP2016245855 A JP 2016245855A JP 2016245855 A JP2016245855 A JP 2016245855A JP 2017117462 A JP2017117462 A JP 2017117462A
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- sample
- partial
- spectral
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001228 spectrum Methods 0.000 claims abstract description 49
- 230000003595 spectral effect Effects 0.000 claims description 222
- 238000000034 method Methods 0.000 claims description 171
- 230000003287 optical effect Effects 0.000 claims description 79
- 238000012545 processing Methods 0.000 claims description 64
- 238000005286 illumination Methods 0.000 claims description 51
- 230000008569 process Effects 0.000 claims description 50
- 239000013598 vector Substances 0.000 claims description 41
- 238000003745 diagnosis Methods 0.000 claims description 8
- 238000001000 micrograph Methods 0.000 claims 1
- 239000013589 supplement Substances 0.000 claims 1
- 238000000386 microscopy Methods 0.000 abstract 5
- 239000000523 sample Substances 0.000 description 236
- 238000010586 diagram Methods 0.000 description 29
- 230000006870 function Effects 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 9
- 238000011084 recovery Methods 0.000 description 9
- 238000004590 computer program Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000013507 mapping Methods 0.000 description 5
- 238000005192 partition Methods 0.000 description 5
- 239000000758 substrate Substances 0.000 description 5
- 230000004075 alteration Effects 0.000 description 4
- 239000012472 biological sample Substances 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 4
- 239000010410 layer Substances 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000010186 staining Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004195 computer-aided diagnosis Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 230000011218 segmentation Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001427 coherent effect Effects 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 238000012935 Averaging Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 239000006059 cover glass Substances 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 239000013013 elastic material Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 230000008014 freezing Effects 0.000 description 1
- 238000007710 freezing Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/0004—Microscopes specially adapted for specific applications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B21/00—Microscopes
- G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
- G02B21/365—Control or image processing arrangements for digital or video microscopes
- G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration by non-spatial domain filtering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/80—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
Abstract
Description
図1は、ここで開示される形態を備え、フーリエタイコグラフィ顕微鏡(FPM)に好適な従来技術の顕微鏡キャプチャシステム100のハイレベルシステム図を示す。試料102は、レンズ109などの光学素子の下のステージ114の上に、且つ、この構成では、顕微鏡装置として機能する顕微鏡101の視野内に物理的に位置決めされる。実施形態において、顕微鏡101は、試料を適切な深度で顕微鏡の視野に正確に置くために、移動することが可能なステージ114を有する。ステージ114は、顕微鏡101に実装されたカメラ103によって試料の複数の画像がキャプチャされるように、移動することも可能である。標準構成において、ステージ14は、試料の画像キャプチャの間、固定されてもよい。
説明された形態を実行することができるコンピュータの例は、IBM−PCと互換機、SUNスパークステーション、アップル Mac(登録商標)又は同様なコンピュータシステムを含む。
(i)記憶場所1828、1829、1830から命令1831を取り出す又は読み出すフェッチ動作、
(ii)制御ユニット1839がどの命令が取り出されたのかを決定するデコード動作、
(iii)制御ユニット1839及び/又はALU1840が命令を実行するエクセキュート動作、
を有する。
ここで開示される具体的な形態は、フーリエタイコグラフィによって少なくとも2つの顕微鏡スライドを撮像する。バーチャルスライド画像110の分析を補助するために共通の特徴が位置合わせされ、それらがユーザーに提供されるように、コンピュータモジュール105は、再構成(結合スペクトル)バーチャルスライド画像110の対を位置合わせするために、本開示の一側面としての図9の画像レジストレーション方法900を用いる。スライドは、サンプルA及びサンプルBと称される。画像レジストレーション方法900は、レジストレーション情報とともに、対の再構成画像を形成するためのキャプチャ画像のセットを処理する。レジストレーション情報は、一般的には、再構成画像の1つに適用するディストーションマップの形態をとる。以下の説明において、サンプルBは、サンプルAを備える視覚レジストレーションにあるようにゆがめられる。キャプチャFPM画像のセットは、光学的配置が同様である画像のセットを含む。この説明において、光学的配置は、任意の画像キャプチャに関連する横波数ベクトルを設定するために選択される照明角及び/又は走査開口を参照する。特に、特定の照明角又は走査開口の位置は、試料のスペクトルの部分がキャプチャ強度画像によって表されることを指定するために、エンコードされる。このエンコードは、画像のメタデータ又はヘッダーに格納されたキャプチャ画像に関連する横波数ベクトルの形態であってもよい。
図9は、本開示における画像レジストレーションの実施形態のデータ処理アーキテクチャの概略表現である。FPMは、スライドに置かれた第1試料(サンプルA)の異なる光学的配置を備えた複数の画像910をキャプチャするために、ステップ905で用いられる。同様に、複数の画像920は、ステップ915で、FPMを用いて、別のスライドに置かれた第2試料(サンプルB)でキャプチャされる。画像910及び920は、空間画像であり、各画像は、周波数の狭いバンドに対応する。画像910と画像920とは、結合スペクトル画像を与えるために、それぞれ結合する。このように、画像910及び920の個々の画像のそれぞれは、部分スペクトル画像を示す。同一の光学的配置に対応する少なくとも1つの対、又は、好ましくは、複数の対のサンプルA及びサンプルBの画像は、結合ディストーション推定935を得るための幾何ディストーション推定及び結合処理930への入力として、結合ディストーションマップの形式で、選択される。各対の部分スペクトル画像は、全ての対が空間的に一致している間、それらが同一又は実質的に同一の光学的配置の下でキャプチャされているので、スペクトル的に一致している。望ましくは、同一の光学的配置の下のキャプチャは、実質的に、同一の照明設定を含む。対のための部分スペクトル画像は、スペクトル情報が相対的に低い(即ち、横波数ベクトルが画像の低周波数部分に関連する)光学的配置に対応するように、一般的には選択される。プロセス930は、1つ以上の対の対応する部分スペクトル画像から導出された画像を位置合わせするために動作する。ステップ930を行うのに好適な方法1400は、図14を参照して、以下で更に詳細に説明される。
第1画像に対して第2画像を登録するために第2画像に適用される候補スムーズディストーションマップを生成するための低周波数DCT係数をフィットするように動作する。更なる精度を提供するために、この方法は、登録画像の間のRMSエラーによって与えられるレジストレーションエラーが許容、一般的には、所定のレベルに低減されるまで繰り返される。勾配ベースの方法は、初期レジストレーションエラーが過度に大きい場所で失敗し、この場合、動作を可能とし、リジットRST(ローテーション、スケール、トランスレーション)変換が初期候補モーションフィールドを提供するために推定され、非リジット位置合わせは、ピラミッド的なスキームにおいて低解像度から高解像度まで動作することができる。
結合スペクトル画像は、相対的に大きい(25,000×25,000ピクセルよりも多い)ため、多くの場合、単に、サブ領域を見ることが望ましい。ここの説明は、1つ以上の注目領域がユーザーによって選択される、又は、画像分析アルゴリズムによって自動的に決定される、代替形態である。これらの領域の登録結合スペクトル画像は、サンプルA及びサンプルBの両方に対して生成される。キャプチャFPM画像から結合スペクトル画像を生成するために必要な処理は、低減されたピクセル数に起因して、著しく低減される。
ディストーションマップは、サンプルAの結合スペクトル画像を生成する処理の速度及び精度を改善するためにも用いられる。(ステップ1210からの)サンプルAに対する初期結合スペクトル画像は、結合ディストーションマップに従ってゆがめられた、サンプルBに対して得られた結合スペクトル画像によって初期化される。なお、この形態の利点を得るために、サンプルA及びサンプルBには実質的に同様であることが要求され、例えば、それらは、同一の手法で染色された同一の試料の連続するスライドである。例えば、バーコードなどのスライドに取り付けられているラベルを分析することによって、2つのスライドがシーケンスにおいて隣接しているかどうかをチェックすることができる。
ディストーションマップは、再構成より前に、サンプルBのキャプチャ画像をゆがめるためにも用いられる。この場合、再構成の結果は、サンプルAに登録されたサンプルBの画像である。このように、サンプルBの大きな結合スペクトル画像をゆがめるステップは、回避される。
対の部分再構成画像は、サンプルA及びBのキャプチャ画像の選択サブセットを用いて生成される。ディストーションマップは、部分結合スペクトル画像対から取得される。部分再構成画像は、ディストーション推定処理において組み込まれた位相情報を含む。マグニチュード画像がテクスチャを制限しているいくつかの領域において、位相情報の使用は、レジストレーションの全体の精度を向上させるために用いられる。例えば、画像レジストレーションは、位相画像、位相勾配又はいくつかの適切にフィルタされた位相画像に基づいて行われる。
説明された形態は、コンピュータ及びデータ処理産業に適用可能であり、特に、生物的な試料の顕微鏡画像のレジストレーションに適用可能である。
Claims (23)
- 顕微鏡装置を用いてキャプチャされた画像を処理するコンピュータで実行可能な方法であって、
前記方法は、第1顕微鏡スライド及び第2顕微鏡スライドのそれぞれについて、各部分スペクトル画像が前記顕微鏡スライドの実質的に同一の領域のスペクトルの異なる部分をキャプチャするように、複数の光学的配置の下で複数の部分スペクトル画像をキャプチャすること、を有し、
前記方法は、第1の複数の部分スペクトル画像から、第1光学的配置に関連する部分スペクトル画像を選択すること、を有し、前記第1の複数の部分スペクトル画像は、前記第1顕微鏡スライドの少なくとも一部の結合スペクトル画像を再構成するために用いられ、
前記方法は、第1の対の部分スペクトル画像を規定するために、前記選択された部分スペクトル画像と実質的に同一の光学的配置の下でキャプチャされた第2の複数の部分スペクトル画像における部分スペクトル画像を決定すること、を有し、前記第2の複数の部分スペクトル画像は、前記第2顕微鏡スライドの少なくとも一部の結合スペクトル画像を再構成するために用いられ、
前記方法は、前記第1の対の対応する部分スペクトル画像から導出される画像を位置合わせすることによってディストーションマップを決定すること、を有し、前記決定されたディストーションマップは、医学的診断を更に容易にするために、前記結合スペクトル画像の少なくとも1つと組み合わせて用いられる、ことを特徴とする方法。 - 第1の複数の部分スペクトル画像から、第2光学的配置に関連する部分スペクトル画像を選択すること、と、
第2の対の部分スペクトル画像を規定するために、前記第2光学的配置の下でキャプチャされた第2の複数の部分スペクトル画像における部分スペクトル画像を決定すること、と、
前記第1の対のスペクトル画像を位置合わせすることによって第1ディストーションマップを生成すること、と、
前記第2の対のスペクトル画像を位置合わせすることによって第2ディストーションマップを生成すること、と、
前記結合スペクトル画像を位置合わせするための前記ディストーションマップを決定するために、前記第1ディストーションマップと前記第2ディストーションマップとを結合すること、とを更に有することを特徴とする請求項1に記載の方法。 - 前記第1スライドの前記結合スペクトル画像は、前記第1スライドの一部をカバーする注目領域に対応し、前記第2スライドの前記結合スペクトル画像は、対応する領域をカバーする、ことを特徴とする請求項1に記載の方法。
- 前記第1顕微鏡スライド内の注目領域を選択すること、と、
前記第1顕微鏡スライド内の前記選択された注目領域の位置及び前記決定されたディストーションマップを用いて前記第2顕微鏡スライドにおける対応する領域を決定すること、と、
前記決定された領域に基づいて、前記第2の複数の部分スペクトル画像の各画像における少なくとも1つの部分を選択すること、と、
前記選択した部分を用いて前記第2顕微鏡スライドの前記対応する領域を再構成すること、とを更に有することを特徴とする請求項1に記載の方法。 - ゆがみ画像を形成するために、前記ディストーションマップを前記第1顕微鏡スライドの前記結合スペクトル画像に適用すること、と、
前記第2顕微鏡スライドを再構成する処理において、推定として、前記ゆがみ画像を用いること、とを更に有することを特徴とする請求項1に記載の方法。 - 前記再構成することは、前記スライド画像の選択されていない部分を除いて行われる、ことを特徴とする請求項4に記載の方法。
- 前記第1光学的配置及び前記第2光学的配置は、DCに近いフーリエ空間における低横波数ベクトルに対応する、ことを特徴とする請求項2に記載の方法。
- 前記第1光学的配置は、DC横波数ベクトルだけのための光学的配置に対応する、ことを特徴とする請求項1に記載の方法。
- 前記第1光学的配置及び前記第2光学的配置は、それぞれ、DC横波数ベクトル及び前記DC横波数ベクトルに隣接する波数ベクトルのセットに対応する、ことを特徴とする請求項7に記載の方法。
- 前記顕微鏡装置は、フーリエタイコグラフィ顕微鏡装置である、ことを特徴とする請求項1に記載の方法。
- 前記結合スペクトル画像の前記再構成は、前記顕微鏡スライドの位相情報をリカバーする、ことを特徴とする請求項1に記載の方法。
- 前記顕微鏡スライドの少なくとも1つのための位相情報をリカバーする処理は、前記ディストーションマップを決定することと並行して行われる、ことを特徴とする請求項11に記載の方法。
- 前記光学的配置は、照明設定を変更することによって取得される、ことを特徴とする請求項1に記載の方法。
- 画像をキャプチャするために用いられる前記光学的配置は、波数ベクトルとしてエンコードされる、ことを特徴とする請求項1に記載の方法。
- 前記第2スライドの前記結合スペクトル画像と前記第1スライドの前記結合スペクトル画像とを位置合わせするために、前記決定されたディストーションマップを前記第2スライドの前記結合スペクトル画像に適用すること、を更に有することを特徴とする請求項1に記載の方法。
- 補足として、表示された結合スペクトル画像に前記ディストーションマップを表示すること、を更に有することを特徴とする請求項1に記載の方法。
- 前記結合スペクトル画像の少なくとも1つにおける高ディストーションの領域を強調するために、前記ディストーションマップを用いること、を更に有することを特徴とする請求項1に記載の方法。
- 前記ディストーションマップは、前記第1顕微鏡スライド及び前記第2顕微鏡スライドの少なくとも1つを再構成することと同時に、前記少なくとも1つの対の前記対応する部分スペクトル画像に基づいて決定される、ことを特徴とする請求項1に記載の方法。
- 前記ディストーションマップを決定することは、
前記部分スペクトル画像をキャプチャするために用いられる照明設定に基づいて、前記第1の複数の部分スペクトル画像のサブセット及び前記第2の複数の部分スペクトル画像の対応するサブセットを選択すること、と、
前記対応するスライドの位相情報をリカバーするために、選択されたサブセットのそれぞれを用いて前記第1顕微鏡スライド及び前記第2顕微鏡スライドを部分的に再構成すること、と、
前記リカバーされた位相情報を用いて前記部分的に再構成された画像のための前記ディストーションマップを決定すること、とを更に有することを特徴とする請求項1に記載の方法。 - 前記キャプチャされた複数の部分スペクトル画像は、前記顕微鏡スライドの実質的に同一の領域の異なる周波数バンドを表し、
前記選択することは、前記第1顕微鏡スライドの結合スペクトル画像を形成するために用いられる第1の複数の画像から、前記第1顕微鏡スライドの第1周波数バンドをキャプチャする第1画像を選択すること、を有し、
前記決定することは、前記第2顕微鏡スライドの結合スペクトル画像を形成するために用いられる第2の複数の画像において、前記第2顕微鏡スライドの前記第1周波数バンドを実質的にキャプチャする第2画像を識別すること、と、
前記第1画像と前記第2画像とを位置合わせすることによってディストーションマップを決定すること、とを有し、前記決定されたディストーションマップは、医学的診断を更に容易にするために、前記結合スペクトル画像の少なくとも1つと組み合わせて用いられる、ことを特徴とする請求項1に記載の方法。 - 前記第2画像を識別することは、
前記第2の複数の画像において画像をキャプチャするために用いられる照明条件を分析すること、と、
同様な照明条件を選択するために、前記第2の複数の画像に関連する前記照明条件と前記第1照明条件とを比較すること、と、
前記第2の複数の画像から、前記選択された同様な照明条件に関連する強度画像を選択すること、とを有することを特徴とする請求項20に記載の方法。 - それに格納されたプログラムを有する非一時的コンピュータ可読記憶媒体であって、前記プログラムは、顕微鏡装置を用いてキャプチャされた画像を処理するためのプロセッサによって実行され、
前記プログラムは、第1顕微鏡スライド及び第2顕微鏡スライドのそれぞれについて、各部分スペクトル画像が前記顕微鏡スライドの実質的に同一の領域のスペクトルの異なる部分をキャプチャするように、複数の光学的配置の下で複数の部分スペクトル画像をキャプチャするためのコード、を有し、
前記プログラムは、第1の複数の部分スペクトル画像から、第1光学的配置に関連する部分スペクトル画像を選択するためのコード、を有し、前記第1の複数の部分スペクトル画像は、前記第1顕微鏡スライドの少なくとも一部の結合スペクトル画像を再構成するために用いられ、
前記プログラムは、第1の対の部分スペクトル画像を規定するために、前記選択された部分スペクトル画像と実質的に同一の光学的配置の下でキャプチャされた第2の複数の部分スペクトル画像における部分スペクトル画像を決定するためのコード、を有し、前記第2の複数の部分スペクトル画像は、前記第2顕微鏡スライドの少なくとも一部の結合スペクトル画像を再構成するために用いられ、
前記プログラムは、前記第1の対の対応する部分スペクトル画像から導出される画像を位置合わせすることによってディストーションマップを決定するためのコード、を有し、前記決定されたディストーションマップは、医学的診断を更に容易にするために、前記結合スペクトル画像の少なくとも1つと組み合わせて用いられる、ことを特徴とする記憶媒体。 - 顕微鏡システムであって、
顕微鏡画像をキャプチャする顕微鏡装置と、
それに格納されたプログラムを有する非一時的コンピュータ可読メモリと、
前記キャプチャされた画像を格納し、前記キャプチャされた画像を処理するための前記プログラムを実行する、前記顕微鏡装置及び前記メモリに接続するコンピュータ装置と、を有し、
前記プログラムは、第1顕微鏡スライド及び第2顕微鏡スライドのそれぞれについて、各部分スペクトル画像が前記顕微鏡スライドの実質的に同一の領域のスペクトルの異なる部分をキャプチャするように、複数の光学的配置の下で複数の部分スペクトル画像をキャプチャするためのコード、を有し、
前記プログラムは、第1の複数の部分スペクトル画像から、第1光学的配置に関連する部分スペクトル画像を選択するためのコード、を有し、前記第1の複数の部分スペクトル画像は、前記第1顕微鏡スライドの少なくとも一部の結合スペクトル画像を再構成するために用いられ、
前記プログラムは、第1の対の部分スペクトル画像を規定するために、前記選択された部分スペクトル画像と実質的に同一の光学的配置の下でキャプチャされた第2の複数の部分スペクトル画像における部分スペクトル画像を決定するためのコード、を有し、前記第2の複数の部分スペクトル画像は、前記第2顕微鏡スライドの少なくとも一部の結合スペクトル画像を再構成するために用いられ、
前記プログラムは、前記第1の対の対応する部分スペクトル画像から導出される画像を位置合わせすることによってディストーションマップを決定するためのコード、を有し、前記決定されたディストーションマップは、医学的診断を更に容易にするために、前記結合スペクトル画像の少なくとも1つと組み合わせて用いられる、ことを特徴とする顕微鏡システム。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US14/977,394 | 2015-12-21 | ||
US14/977,394 US10176567B2 (en) | 2015-12-21 | 2015-12-21 | Physical registration of images acquired by Fourier Ptychography |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017117462A true JP2017117462A (ja) | 2017-06-29 |
JP2017117462A5 JP2017117462A5 (ja) | 2020-02-20 |
JP6902864B2 JP6902864B2 (ja) | 2021-07-14 |
Family
ID=59065160
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016245855A Active JP6902864B2 (ja) | 2015-12-21 | 2016-12-19 | フーリエタイコグラフィによって取得された画像の物理レジストレーション |
Country Status (2)
Country | Link |
---|---|
US (1) | US10176567B2 (ja) |
JP (1) | JP6902864B2 (ja) |
Families Citing this family (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014070656A1 (en) | 2012-10-30 | 2014-05-08 | California Institute Of Technology | Fourier ptychographic imaging systems, devices, and methods |
US9497379B2 (en) | 2013-08-22 | 2016-11-15 | California Institute Of Technology | Variable-illumination fourier ptychographic imaging devices, systems, and methods |
US10652444B2 (en) | 2012-10-30 | 2020-05-12 | California Institute Of Technology | Multiplexed Fourier ptychography imaging systems and methods |
US9864184B2 (en) | 2012-10-30 | 2018-01-09 | California Institute Of Technology | Embedded pupil function recovery for fourier ptychographic imaging devices |
JP6455829B2 (ja) * | 2013-04-01 | 2019-01-23 | キヤノン株式会社 | 画像処理装置、画像処理方法、およびプログラム |
JP2016534389A (ja) | 2013-07-31 | 2016-11-04 | カリフォルニア インスティチュート オブ テクノロジー | 開口走査フーリエタイコグラフィ撮像 |
US11468557B2 (en) | 2014-03-13 | 2022-10-11 | California Institute Of Technology | Free orientation fourier camera |
US10162161B2 (en) | 2014-05-13 | 2018-12-25 | California Institute Of Technology | Ptychography imaging systems and methods with convex relaxation |
WO2016106379A1 (en) | 2014-12-22 | 2016-06-30 | California Institute Of Technology | Epi-illumination fourier ptychographic imaging for thick samples |
AU2016209275A1 (en) | 2015-01-21 | 2017-06-29 | California Institute Of Technology | Fourier ptychographic tomography |
US10168525B2 (en) | 2015-01-26 | 2019-01-01 | California Institute Of Technology | Multi-well fourier ptychographic and fluorescence imaging |
CA2979392A1 (en) | 2015-03-13 | 2016-09-22 | California Institute Of Technology | Correcting for aberrations in incoherent imaging system using fourier ptychographic techniques |
WO2016187591A1 (en) | 2015-05-21 | 2016-11-24 | California Institute Of Technology | Laser-based fourier ptychographic imaging systems and methods |
US9911207B2 (en) * | 2015-09-03 | 2018-03-06 | KM Labs, Inc. | Coherent diffractive imaging with spaced-apart beams |
CN106056537B (zh) * | 2016-05-20 | 2019-05-17 | 东软医疗系统股份有限公司 | 一种医学图像拼接方法及装置 |
US11092795B2 (en) | 2016-06-10 | 2021-08-17 | California Institute Of Technology | Systems and methods for coded-aperture-based correction of aberration obtained from Fourier ptychography |
US10568507B2 (en) | 2016-06-10 | 2020-02-25 | California Institute Of Technology | Pupil ptychography methods and systems |
US10417737B2 (en) * | 2017-06-21 | 2019-09-17 | International Business Machines Corporation | Machine learning model for automatic image registration quality assessment and correction |
US10424045B2 (en) * | 2017-06-21 | 2019-09-24 | International Business Machines Corporation | Machine learning model for automatic image registration quality assessment and correction |
CN107392846B (zh) * | 2017-07-31 | 2020-10-30 | 四川长虹电器股份有限公司 | 行车记录仪图像拼接方法 |
CN107678153B (zh) | 2017-10-16 | 2020-08-11 | 苏州微景医学科技有限公司 | 光纤束图像处理方法和装置 |
CN107545593A (zh) * | 2017-10-19 | 2018-01-05 | 深圳大学 | 视觉辅助的傅里叶叠层成像位置标定方法及装置 |
WO2019075680A1 (zh) * | 2017-10-19 | 2019-04-25 | 深圳大学 | 视觉辅助的傅里叶叠层成像位置标定方法及装置 |
US10754140B2 (en) | 2017-11-03 | 2020-08-25 | California Institute Of Technology | Parallel imaging acquisition and restoration methods and systems |
US11004178B2 (en) * | 2018-03-01 | 2021-05-11 | Nvidia Corporation | Enhancing high-resolution images with data from low-resolution images |
DE102018125997A1 (de) | 2018-10-19 | 2020-04-23 | Leica Microsystems Cms Gmbh | Verfahren zur digitalen Korrektion einer optischen Abbildung einer Probe mittels eines Mikroskops und Mikroskop |
CN109581643B (zh) * | 2018-11-28 | 2020-11-17 | 中国科学院西安光学精密机械研究所 | 傅里叶叠层显微成像装置及方法 |
US10869023B1 (en) * | 2019-06-21 | 2020-12-15 | Google Llc | Method and apparatus for correcting lenticular distortion |
EP3796067A1 (de) | 2019-09-18 | 2021-03-24 | Siemens Aktiengesellschaft | Aufnahmeeinrichtung zum erzeugen eines hochaufgelösten bildes eines sich durch einen aufnahmebereich bewegenden objekts sowie verfahren |
CN110992409B (zh) * | 2019-11-22 | 2022-02-15 | 大连理工大学 | 基于傅里叶变换配准的多光谱立体相机动态配准方法 |
KR102638985B1 (ko) * | 2021-02-18 | 2024-02-20 | 연세대학교 산학협력단 | 푸리에 타이코그래피 이미지 획득을 위한 스마트폰 및 스마트폰을 이용한 푸리에 타이코그래피 이미지 획득 방법 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011188083A (ja) * | 2010-03-05 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置 |
JP2013113818A (ja) * | 2011-11-30 | 2013-06-10 | Olympus Corp | 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム |
JP2013117960A (ja) * | 2011-12-01 | 2013-06-13 | Canon Inc | シフト及び画像の小さな歪みの推定 |
JP2014011157A (ja) * | 2012-06-29 | 2014-01-20 | Fei Co | 粒子光学装置での薄片の調製及び可視化方法 |
JP2015141899A (ja) * | 2014-01-27 | 2015-08-03 | エフ イー アイ カンパニFei Company | 補正光学及び荷電粒子顕微鏡 |
JP2015535348A (ja) * | 2012-10-30 | 2015-12-10 | カリフォルニア インスティチュート オブ テクノロジー | フーリエ・タイコグラフィー撮像システム、装置、及び方法 |
Family Cites Families (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6658059B1 (en) | 1999-01-15 | 2003-12-02 | Digital Video Express, L.P. | Motion field modeling and estimation using motion transform |
US7515747B2 (en) * | 2003-01-31 | 2009-04-07 | The Circle For The Promotion Of Science And Engineering | Method for creating high resolution color image, system for creating high resolution color image and program creating high resolution color image |
US8107710B2 (en) * | 2008-05-23 | 2012-01-31 | University Of Rochester | Automated placental measurement |
JP5976654B2 (ja) * | 2010-09-29 | 2016-08-24 | ジーイー・ヘルスケア・バイオサイエンス・コーポレイション | 顕微鏡画像化用の較正目標 |
JP6066925B2 (ja) * | 2011-01-12 | 2017-01-25 | ジーイー・ヘルスケア・バイオサイエンス・コーポレイション | 顕微鏡計器内におけるカメラによる画像処理のためのシステムおよび方法 |
US8866063B2 (en) | 2011-03-31 | 2014-10-21 | The Regents Of The University Of California | Lens-free wide-field super-resolution imaging device |
GB201201140D0 (en) * | 2012-01-24 | 2012-03-07 | Phase Focus Ltd | Method and apparatus for determining object characteristics |
US10652444B2 (en) * | 2012-10-30 | 2020-05-12 | California Institute Of Technology | Multiplexed Fourier ptychography imaging systems and methods |
US9497379B2 (en) * | 2013-08-22 | 2016-11-15 | California Institute Of Technology | Variable-illumination fourier ptychographic imaging devices, systems, and methods |
US10327627B2 (en) * | 2013-01-18 | 2019-06-25 | Ricoh Company, Ltd. | Use of plenoptic otoscope data for aiding medical diagnosis |
JP2016534389A (ja) | 2013-07-31 | 2016-11-04 | カリフォルニア インスティチュート オブ テクノロジー | 開口走査フーリエタイコグラフィ撮像 |
US10228562B2 (en) * | 2014-02-21 | 2019-03-12 | Sony Interactive Entertainment Inc. | Realtime lens aberration correction from eye tracking |
US11468557B2 (en) * | 2014-03-13 | 2022-10-11 | California Institute Of Technology | Free orientation fourier camera |
US9817224B2 (en) * | 2014-04-30 | 2017-11-14 | University Of Connecticut | Methods and systems for Fourier ptychographic imaging |
DE102014213198B4 (de) * | 2014-07-08 | 2020-08-06 | Carl Zeiss Ag | Verfahren zur Lokalisierung von Defekten auf Substraten |
DE102014109687B4 (de) * | 2014-07-10 | 2020-03-19 | Carl Zeiss Microscopy Gmbh | Positionsbestimmung eines Objekts im Strahlengang einer optischen Vorrichtung |
DE102014110302B3 (de) * | 2014-07-22 | 2015-09-03 | Carl Zeiss Ag | Verfahren und Vorrichtung zum Abbilden eines Objekts |
WO2016033541A1 (en) * | 2014-08-28 | 2016-03-03 | Zhang Bosheng | Coherent diffractive imaging with arbitrary angle of incidence |
DE102014112648A1 (de) * | 2014-08-29 | 2016-03-03 | Carl Zeiss Ag | Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme |
US20160202460A1 (en) * | 2015-01-13 | 2016-07-14 | University Of Connecticut | 3D Microscopy With Illumination Engineering |
-
2015
- 2015-12-21 US US14/977,394 patent/US10176567B2/en active Active
-
2016
- 2016-12-19 JP JP2016245855A patent/JP6902864B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011188083A (ja) * | 2010-03-05 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理方法、プログラム、及び光学顕微鏡を搭載した撮像装置 |
JP2013113818A (ja) * | 2011-11-30 | 2013-06-10 | Olympus Corp | 画像処理装置、顕微鏡システム、画像処理方法、及び画像処理プログラム |
JP2013117960A (ja) * | 2011-12-01 | 2013-06-13 | Canon Inc | シフト及び画像の小さな歪みの推定 |
JP2014011157A (ja) * | 2012-06-29 | 2014-01-20 | Fei Co | 粒子光学装置での薄片の調製及び可視化方法 |
JP2015535348A (ja) * | 2012-10-30 | 2015-12-10 | カリフォルニア インスティチュート オブ テクノロジー | フーリエ・タイコグラフィー撮像システム、装置、及び方法 |
JP2015141899A (ja) * | 2014-01-27 | 2015-08-03 | エフ イー アイ カンパニFei Company | 補正光学及び荷電粒子顕微鏡 |
Non-Patent Citations (2)
Title |
---|
中島 伸治: ""光 −回折強度からのレンズレスイメージング−"", 計測と制御, vol. 50, no. 5, JPN6020049517, 10 May 2011 (2011-05-10), JP, pages 320 - 325, ISSN: 0004509819 * |
河村 直輝、外4名: ""膵臓病理画像の位置合わせを想定した輪郭構造の記述の試み"", 電子情報通信学会技術研究報告, vol. 115, no. 139, JPN6021008489, 7 July 2015 (2015-07-07), JP, pages 19 - 22, ISSN: 0004463127 * |
Also Published As
Publication number | Publication date |
---|---|
JP6902864B2 (ja) | 2021-07-14 |
US20170178317A1 (en) | 2017-06-22 |
US10176567B2 (en) | 2019-01-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6902864B2 (ja) | フーリエタイコグラフィによって取得された画像の物理レジストレーション | |
JP6752200B2 (ja) | 照明システム及びフーリエタイコグラフィイメージングの装置 | |
US11927738B2 (en) | Computational microscopy based-system and method for automated imaging and analysis of pathology specimens | |
CN108140249B (zh) | 用于显示生物标本的多个图像的图像处理系统和方法 | |
US20170363853A1 (en) | Reconstruction algorithm for fourier ptychographic imaging | |
US9881373B2 (en) | Image generating apparatus and image generating method | |
JP2017117462A5 (ja) | ||
WO2020243545A1 (en) | Computer supported review of tumors in histology images and post operative tumor margin assessment | |
CN111819569A (zh) | 对组织切片图像的虚拟染色 | |
Braumann et al. | Three-dimensional reconstruction and quantification of cervical carcinoma invasion fronts from histological serial sections | |
US20150279033A1 (en) | Image data generating apparatus and image data generating method | |
Kajihara et al. | Non-rigid registration of serial section images by blending transforms for 3D reconstruction | |
Goyal et al. | A weighted least squares optimisation strategy for medical image super resolution via multiscale convolutional neural networks for healthcare applications | |
CN111275717B (zh) | 不同染色切片的对比展示方法、电子设备及可读介质 | |
EP3692360A1 (en) | Methods and systems for 3d structure estimation using non-uniform refinement | |
Lobachev et al. | Compensating anisotropy in histological serial sections with optical flow-based interpolation. | |
CN116664590A (zh) | 基于动态对比增强磁共振图像的自动分割方法及装置 | |
Lee et al. | Tri-view two-photon microscopic image registration and deblurring with convolutional neural networks | |
Dzyubachyk et al. | Comparative exploration of whole-body MR through locally rigid transforms | |
Hasan et al. | Inpainting surgical occlusion from laparoscopic video sequences for robot-assisted interventions | |
US20230298174A1 (en) | Image processing apparatus, image processing method, and non-transitory computer readable medium | |
Ojala | Differently stained whole slide image registration technique with landmark validation | |
Yin et al. | SpecReFlow: an algorithm for specular reflection restoration using flow-guided video completion | |
Seoni et al. | All you need is data preparation: A systematic review of image harmonization techniques in Multi-center/device studies for medical support systems | |
Robinson et al. | Segmentation of the biliary tree in mrcp data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20201216 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201222 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210511 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210524 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210622 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6902864 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |