JP2022548760A - スライドフリーな組織学的撮像法及びシステム - Google Patents
スライドフリーな組織学的撮像法及びシステム Download PDFInfo
- Publication number
- JP2022548760A JP2022548760A JP2022517980A JP2022517980A JP2022548760A JP 2022548760 A JP2022548760 A JP 2022548760A JP 2022517980 A JP2022517980 A JP 2022517980A JP 2022517980 A JP2022517980 A JP 2022517980A JP 2022548760 A JP2022548760 A JP 2022548760A
- Authority
- JP
- Japan
- Prior art keywords
- image
- speckle
- autom
- images
- convolutional neural
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003384 imaging method Methods 0.000 title claims description 30
- 238000005286 illumination Methods 0.000 claims abstract description 111
- 238000000034 method Methods 0.000 claims abstract description 111
- 238000000386 microscopy Methods 0.000 claims abstract description 27
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 claims abstract description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 58
- 230000015654 memory Effects 0.000 claims description 58
- 230000006870 function Effects 0.000 claims description 30
- 230000003287 optical effect Effects 0.000 claims description 27
- 238000012549 training Methods 0.000 claims description 22
- 238000012546 transfer Methods 0.000 claims description 17
- 238000007490 hematoxylin and eosin (H&E) staining Methods 0.000 claims description 14
- 150000001875 compounds Chemical class 0.000 claims description 12
- 230000001133 acceleration Effects 0.000 claims description 6
- 230000001131 transforming effect Effects 0.000 claims description 5
- 210000001519 tissue Anatomy 0.000 description 35
- 241000699666 Mus <mouse, genus> Species 0.000 description 32
- 210000004556 brain Anatomy 0.000 description 30
- 238000003860 storage Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 18
- 230000008569 process Effects 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 10
- 238000004891 communication Methods 0.000 description 9
- 210000004027 cell Anatomy 0.000 description 7
- 238000004590 computer program Methods 0.000 description 7
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 7
- 239000002105 nanoparticle Substances 0.000 description 7
- 239000004065 semiconductor Substances 0.000 description 7
- 239000010931 gold Substances 0.000 description 6
- 229910052737 gold Inorganic materials 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 5
- 230000004044 response Effects 0.000 description 5
- WSFSSNUMVMOOMR-UHFFFAOYSA-N Formaldehyde Chemical compound O=C WSFSSNUMVMOOMR-UHFFFAOYSA-N 0.000 description 4
- 208000009119 Giant Axonal Neuropathy Diseases 0.000 description 4
- 230000004075 alteration Effects 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 4
- 201000003382 giant axonal neuropathy 1 Diseases 0.000 description 4
- 230000000971 hippocampal effect Effects 0.000 description 4
- 238000002360 preparation method Methods 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 238000012800 visualization Methods 0.000 description 4
- 238000010521 absorption reaction Methods 0.000 description 3
- 230000001413 cellular effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000005284 excitation Effects 0.000 description 3
- 239000011521 glass Substances 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000010186 staining Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 208000035346 Margins of Excision Diseases 0.000 description 2
- 238000001069 Raman spectroscopy Methods 0.000 description 2
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 2
- 238000000339 bright-field microscopy Methods 0.000 description 2
- 210000003855 cell nucleus Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002073 fluorescence micrograph Methods 0.000 description 2
- 238000000799 fluorescence microscopy Methods 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 210000001320 hippocampus Anatomy 0.000 description 2
- 150000002632 lipids Chemical class 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 210000004940 nucleus Anatomy 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000002441 reversible effect Effects 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 102000008186 Collagen Human genes 0.000 description 1
- 108010035532 Collagen Proteins 0.000 description 1
- 238000013256 Gubra-Amylin NASH model Methods 0.000 description 1
- 101001025761 Homo sapiens Gigaxonin Proteins 0.000 description 1
- 241001123862 Mico Species 0.000 description 1
- 108091022875 Microtubule Proteins 0.000 description 1
- 102000029749 Microtubule Human genes 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 206010028980 Neoplasm Diseases 0.000 description 1
- CTQNGGLPUBDAKN-UHFFFAOYSA-N O-Xylene Chemical compound CC1=CC=CC=C1C CTQNGGLPUBDAKN-UHFFFAOYSA-N 0.000 description 1
- 206010034972 Photosensitivity reaction Diseases 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000003050 axon Anatomy 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000481 breast Anatomy 0.000 description 1
- 230000019522 cellular metabolic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 239000003795 chemical substances by application Substances 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 229920001436 collagen Polymers 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 238000001218 confocal laser scanning microscopy Methods 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 210000002808 connective tissue Anatomy 0.000 description 1
- 230000008094 contradictory effect Effects 0.000 description 1
- 210000000877 corpus callosum Anatomy 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000004134 energy conservation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003234 fluorescent labeling method Methods 0.000 description 1
- 239000005350 fused silica glass Substances 0.000 description 1
- 210000001905 globus pallidus Anatomy 0.000 description 1
- 230000002962 histologic effect Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 239000007943 implant Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011503 in vivo imaging Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000036210 malignancy Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000002503 metabolic effect Effects 0.000 description 1
- 210000004688 microtubule Anatomy 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 229930027945 nicotinamide-adenine dinucleotide Natural products 0.000 description 1
- BOPGDPNILDQYTO-NNYOXOHSSA-N nicotinamide-adenine dinucleotide Chemical compound C1=CCC(C(=O)N)=CN1[C@H]1[C@H](O)[C@H](O)[C@@H](COP(O)(=O)OP(O)(=O)OC[C@@H]2[C@H]([C@@H](O)[C@@H](O2)N2C3=NC=NC(N)=C3N=C2)O)O1 BOPGDPNILDQYTO-NNYOXOHSSA-N 0.000 description 1
- 238000012014 optical coherence tomography Methods 0.000 description 1
- 238000000399 optical microscopy Methods 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 230000001936 parietal effect Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 208000007578 phototoxic dermatitis Diseases 0.000 description 1
- 231100000018 phototoxicity Toxicity 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 231100000331 toxic Toxicity 0.000 description 1
- 230000002588 toxic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
- 239000008096 xylene Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/20—Surgical microscopes characterised by non-optical aspects
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N1/00—Sampling; Preparing specimens for investigation
- G01N1/28—Preparing specimens for investigation including physical details of (bio-)chemical methods covered elsewhere, e.g. G01N33/50, C12Q
- G01N1/30—Staining; Impregnating ; Fixation; Dehydration; Multistep processes for preparing samples of tissue, cell or nucleic acid material and the like for analysis
- G01N2001/302—Stain compositions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Chemical & Material Sciences (AREA)
- Quality & Reliability (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Radiology & Medical Imaging (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Image Processing (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Microscoopes, Condenser (AREA)
- Image Analysis (AREA)
Abstract
Description
本出願は、2019年9月19日に出願された米国仮特許出願第62/973,101号に基づく優先権を主張するものであり、この文献の内容はその全体が引用により本明細書に組み入れられる。
PAMは、従来の光学顕微鏡法とは異なり、高度に特異的な光吸収コントラストを利用する。(波長240~280nmの)UVパルスレーザーを励起ビームとして使用することによって細胞核を強調することができ、従って無標識な組織学様画像を提供することができる。
通常、病理組織検査では、細胞形態及び代謝活動観察のための細胞下解像度を達成するために20X~40Xの倍率の対物レンズが必要である。しかしながら、このような倍率では、視野(FOV)が1mm2以内に制限されてしまう。また、高倍率の対物レンズは、空間的に変動する収差の影響が大きく、浅い被写界深度を特徴としているため、顕微鏡スライドの配置誤差及び試料の粗さに対する耐性が低くなる。このような理由で、高倍率の対物レンズを使用して画像ステッチングを介して広い組織面を撮像することは副次的選択肢(sub-optional)となる。
方程式1
方程式2
方程式3
方程式4
通常、病理学者は、組織学的に染色された組織試料を検査して診断を下すように訓練される。しかしながら、UV-PAM画像及びUV-AutoM画像はいずれもグレースケール画像である。この問題に対処し又はこれを軽減するために、非標識化組織のUV-PAM画像又はUV-AutoM画像を擬似ヘマトキシリン・エオジン(H&E)染色画像に変換する、敵対的生成ネットワーク(GAN)を利用した深層学習ベースの仮想染色法を開示する。
620 SIシーケンス
630 SI再構成、NA=0.3
Claims (27)
- 擬似ヘマトキシリン・エオシン(H&E)染色画像を生成するコンピュータ実装方法であって、
無標識試料の紫外線ベースの自家蛍光顕微鏡(UV-AutoM)画像又は紫外線ベースの光音響顕微鏡(UV-PAM)画像であってグレースケール画像である入力画像を受け取るステップと、
前記敵対的生成ネットワークを使用して前記入力画像を前記入力画像の擬似H&E染色画像に変換するステップと、
前記疑似H&E染色画像を出力するステップと、
を含むことを特徴とする方法。 - 前記敵対的生成ネットワークは、サイクル一貫性を有する敵対的生成ネットワークである、
請求項1に記載のコンピュータ実装方法。 - 前記方法は、ペアになっていない入力画像及びH&E染色画像を使用して前記敵対的生成ネットワークを訓練するステップを含む、
請求項1又は2に記載のコンピュータ実装方法。 - 前記敵対的生成ネットワークは、
前記入力画像を生成されたH&E画像に変換するように構成された第1の生成器深層畳み込みニューラルネットワークと、
H&E画像を生成されたUV-AutoM画像又はUV-PAM画像に変換するように構成された第2の生成器深層畳み込みニューラルネットワークと、
訓練セットのH&E画像と、前記第1の生成器深層畳み込みニューラルネットワークによって生成された、生成されたH&E画像とを識別するように構成された第1の識別器深層畳み込みニューラルネットワークと、
前記訓練セットのUV-AutoM画像又はUV-PAM画像と、前記第2の生成器深層畳み込みニューラルネットワークによって生成された、生成されたUV-AutoM画像又はUV-PAM画像とを識別するように構成された第2の識別器深層畳み込みニューラルネットワークと、
を含む4つの深層畳み込みニューラルネットワークで構成される、請求項1から3のいずれか1項に記載のコンピュータ実装方法。 - 前記第1及び第2の生成器深層畳み込みニューラルネットワークは、ResNetベースの又はU-Netベースの生成器ネットワークである、
請求項4に記載のコンピュータ実装方法。 - 前記第1及び第2の識別器深層畳み込みニューラルネットワークは、PatchGAN識別器ネットワークである、
請求項4又は5に記載のコンピュータ実装方法。 - 前記UV-PAM画像の形態で受け取られる前記入力画像は、
集束アセンブリのガルボミラースキャナを制御して紫外線を走査軌道に従って試料に集束させ、
少なくとも1つのトランスデューサが前記紫外線に反応して、前記試料によって放出された光音響波を受け取り、
前記光音響波に基づいて前記UV-PAM画像を生成する、
ことによって生成される、請求項1から6のいずれか1項に記載のコンピュータ実装方法。 - 前記UV-AutoM画像の形態で受け取られる前記入力画像は、走査軌道に従って取り込まれた一連のスペックル照射画像から生成された推定UV-AutoM画像であり、前記推定UV-AutoM画像は、前記一連のスペックル照射画像の各スペックル照射画像と比べて高い解像度を有する、
請求項1から6のいずれか1項に記載のコンピュータ実装方法。 - 前記推定UV-AutoM画像は、
a)前記一連のスペックル照射画像の平均値を補間することに基づいて高解像度画像オブジェクトを初期化し、
b)前記一連のスペックル照射画像の各スペックル照射画像について、
i)前記高解像度画像オブジェクトを前記走査軌道内の特定の位置に計算的にシフトさせることによって前記推定スペックル照射画像を生成し、
ii)前記周波数領域における前記推定スペックル照射画像及び光学的伝達関数に基づいて、前記周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドを決定し、
iii)前記周波数領域における前記推定スペックル照射画像と、前記周波数領域における前記それぞれの取り込まれたスペックル照射画像と、前記周波数領域における前記フィルタ済みオブジェクトパターンコンパウンドと、前記光学的伝達関数とに基づいて、前記周波数領域における更新済み推定スペックル照射画像を決定し、
iv)前記更新済み推定スペックル照射画像と、前記空間領域における前記推定スペックル照射画像と、前記スペックルパターンとに基づいて前記高解像度オブジェクトを更新し、
v)前記更新済み推定スペックル照射画像と、前記推定スペックル照射画像と、前記高解像度画像オブジェクトとに基づいて前記スペックルパターンを更新し、
vi)前記高解像度画像オブジェクト及び前記スペックルパターンにネストロフ運動量加速度を適用し、
c)前記高解像度画像オブジェクトを再構成する収束が検出されるまでステップb)を反復的に実行する、
ことによって生成され、前記高解像度画像オブジェクトは、センチメートル規模の撮像領域にわたって細胞下解像度が強化された前記推定UV-AutoM画像である、
請求項8に記載のコンピュータ実装方法。 - 擬似ヘマトキシリン・エオジン(H&E)染色画像を生成するように構成されたコンピュータシステムであって、前記コンピュータシステムは、実行可能命令を記憶した1又は2以上のメモリと、1又は2以上のプロセッサとを含み、前記実行可能命令は、前記プロセッサによって実行されると、
無標識試料の紫外線ベースの自家蛍光顕微鏡(UV-AutoM)画像又は紫外線ベースの光音響顕微鏡(UV-PAM)画像であってグレースケール画像である入力画像を受け取り、
前記敵対的生成ネットワークを使用して前記入力画像を前記入力画像の擬似H&E染色画像に変換し、
前記疑似H&E染色画像を出力する、
ことを前記1又は2以上のプロセッサに行わせる、ことを特徴とするコンピュータシステム。 - 前記敵対的生成ネットワークは、サイクル一貫性を有する敵対的生成ネットワークである、
請求項10に記載のコンピュータシステム。 - 前記1又は2以上のプロセッサは、ペアになっていない入力グレースケール画像及びH&E染色画像を使用して前記敵対的生成ネットワークを訓練するように構成される、
請求項10又は11に記載のコンピュータシステム。 - 前記敵対的生成ネットワークは、
前記入力画像を生成されたH&E画像に変換するように構成された第1の生成器深層畳み込みニューラルネットワークと、
H&E画像を生成されたUV-AutoM画像又はUV-PAM画像に変換するように構成された第2の生成器深層畳み込みニューラルネットワークと、
訓練セットのH&E画像と、前記第1の生成器深層畳み込みニューラルネットワークによって生成された、生成されたH&E画像とを識別するように構成された第1の識別器深層畳み込みニューラルネットワークと、
前記訓練セットのUV-AutoM画像又はUV-PAM画像と、前記第2の生成器深層畳み込みニューラルネットワークによって生成された、生成されたUV-AutoM画像又はUV-PAM画像とを識別するように構成された第2の識別器深層畳み込みニューラルネットワークと、
を含む4つの深層畳み込みニューラルネットワークで構成される、請求項10から12のいずれか一項に記載のコンピュータシステム。 - 前記第1及び第2の生成器深層畳み込みニューラルネットワークは、ResNetベースの又はU-Netベースの生成器ネットワークである、
請求項13に記載のコンピュータシステム。 - 前記第1及び第2の識別器深層畳み込みニューラルネットワークは、PatchGAN識別器ネットワークである、
請求項13又は14に記載のコンピュータシステム。 - 前記UV-PAM画像の形態で受け取られる前記入力画像は、
集束アセンブリのガルボミラースキャナを制御して紫外線を走査軌道に従って試料に集束させ、
少なくとも1つのトランスデューサが前記紫外線に反応して、前記試料によって放出された光音響波を受け取り、
前記光音響波に基づいて前記UV-PAM画像を生成する、
ことによって生成される、請求項10から15のいずれか1項に記載のコンピュータシステム。 - 前記UV-AutoM画像の形態で受け取られる前記入力画像は、走査軌道に従って取り込まれた一連のスペックル照射画像から生成された推定UV-AutoM画像であり、前記推定UV-AutoM画像は、前記一連のスペックル照射画像の各スペックル照射画像と比べて高い解像度を有する、
請求項10から15のいずれか1項に記載のコンピュータシステム。 - 前記UV-AutoM画像は、
a)前記一連のスペックル照射画像の平均値を補間することに基づいて高解像度画像オブジェクトを初期化し、
b)前記一連のスペックル照射画像の各スペックル照射画像について、
i)前記高解像度画像を前記走査軌道内の特定の位置に計算的にシフトさせることによって前記推定スペックル照射画像を生成し、
ii)前記周波数領域における前記推定スペックル照射画像及び光学的伝達関数に基づいて、前記周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドを決定し、
iii)前記周波数領域における前記推定スペックル照射画像と、前記周波数領域における前記それぞれの取り込まれたスペックル照射画像と、前記周波数領域における前記フィルタ済みオブジェクトパターンコンパウンドと、前記光学的伝達関数とに基づいて、前記周波数領域における更新済み推定スペックル照射画像を決定し、
iv)前記更新済み推定スペックル照射画像と、前記空間領域における前記推定スペックル照射画像と、前記スペックルパターンとに基づいて前記高解像度オブジェクトを更新し、
v)前記更新済み推定スペックル照射画像と、前記推定スペックル照射画像と、前記高解像度画像オブジェクトとに基づいて前記スペックルパターンを更新し、
vi)前記高解像度画像オブジェクト及び前記スペックルパターンにネストロフ運動量加速度を適用し、
c)前記高解像度画像オブジェクトを再構成する収束が検出されるまでステップb)を反復的に実行する、
ことによって前記1又は2以上のプロセッサよって生成され、前記高解像度画像オブジェクトは、センチメートル規模の撮像領域にわたって細胞下解像度が強化された前記推定UV-AutoM画像である、
請求項17に記載のコンピュータシステム。 - 擬似ヘマトキシリン・エオジン(H&E)染色画像を生成するようにコンピュータシステムを構成する実行可能命令を含む1又は2以上の非一時的コンピュータ可読媒体であって、前記コンピュータシステムは1又は2以上のプロセッサを有し、前記実行可能命令は、前記プロセッサによって実行されると、
無標識試料の紫外線ベースの自家蛍光顕微鏡(UV-AutoM)画像又は紫外線ベースの光音響顕微鏡(UV-PAM)画像であってグレースケール画像である入力画像を受け取り、
前記敵対的生成ネットワークを使用して前記入力画像を前記入力画像の擬似H&E染色画像に変換し、
前記疑似H&E染色画像を出力する、
ように前記コンピュータシステムを構成する、ことを特徴とする1又は2以上の非一時的コンピュータ可読媒体。 - 前記敵対的生成ネットワークは、サイクル一貫性を有する敵対的生成ネットワークである、
請求項19に記載の1又は2以上の非一時的コンピュータ読取媒体。 - 前記実行可能命令は、前記プロセッサによって実行されると、前記コンピュータシステムを、ペアになっていない入力グレースケール画像及びH&E染色画像を使用して前記敵対的生成ネットワークを訓練するように構成する、
請求項19に記載の1又は2以上の非一時的コンピュータ可読媒体。 - 前記敵対的生成ネットワークは、
前記入力画像を生成されたH&E画像に変換するように構成された第1の生成器深層畳み込みニューラルネットワークと、
H&E画像を生成されたUV-AutoM画像又はUV-PAM画像に変換するように構成された第2の生成器深層畳み込みニューラルネットワークと、
訓練セットのH&E画像と、前記第1の生成器深層畳み込みニューラルネットワークによって生成された、生成されたH&E画像とを識別するように構成された第1の識別器深層畳み込みニューラルネットワークと、
前記訓練セットのUV-AutoM画像又はUV-PAM画像と、前記第2の生成器深層畳み込みニューラルネットワークによって生成された、生成されたUV-AutoM画像又はUV-PAM画像とを識別するように構成された第2の識別器深層畳み込みニューラルネットワークと、
を含む4つの深層畳み込みニューラルネットワークで構成される、請求項19から21のいずれか1項に記載の1又は2以上の非一時的コンピュータ可読媒体。 - 前記第1及び第2の生成器深層畳み込みニューラルネットワークは、ResNetベースの又はU-Netベースの生成器ネットワークである、
請求項19から22のいずれか1項に記載の1又は2以上の非一時的コンピュータ可読媒体。 - 前記第1及び第2の識別器深層畳み込みニューラルネットワークは、PatchGAN識別器ネットワークである、
請求項19から23のいずれか1項に記載の1又は2以上の非一時的コンピュータ可読媒体。 - 前記UV-PAM画像の形態で受け取られる前記入力画像は、
集束アセンブリのガルボミラースキャナを制御して紫外線を走査軌道に従って試料に集束させ、
少なくとも1つのトランスデューサが前記紫外線に反応して、前記試料によって放出された光音響波を受け取り、
前記光音響波に基づいて前記UV-PAM画像を生成する、
ことによって生成される、請求項19から24のいずれか1項に記載の1又は2以上の非一時的コンピュータ可読媒体。 - 前記UV-AutoM画像の形態で受け取られる前記入力画像は、走査軌道に従って取り込まれた一連のスペックル照射画像から生成された推定UV-AutoM画像であり、前記推定UV-AutoM画像は、前記一連のスペックル照射画像の各スペックル照射画像と比べて高い解像度を有する、
請求項19から24のいずれか1項に記載の1又は2以上の非一時的コンピュータ可読媒体。 - 前記UV-AutoM画像は、
a)前記一連のスペックル照射画像の平均値を補間することに基づいて高解像度画像オブジェクトを初期化し、
b)前記一連のスペックル照射画像の各スペックル照射画像について、
i)前記高解像度画像を前記走査軌道内の特定の位置に計算的にシフトさせることによって前記推定スペックル照射画像を生成し、
ii)前記周波数領域における前記推定スペックル照射画像及び光学的伝達関数に基づいて、前記周波数領域におけるフィルタ済みオブジェクトパターンコンパウンドを決定し、
iii)前記周波数領域における前記推定スペックル照射画像と、前記周波数領域における前記それぞれの取り込まれたスペックル照射画像と、前記周波数領域における前記フィルタ済みオブジェクトパターンコンパウンドと、前記光学的伝達関数とに基づいて、前記周波数領域における更新済み推定スペックル照射画像を決定し、
iv)前記更新済み推定スペックル照射画像と、前記空間領域における前記推定スペックル照射画像と、前記スペックルパターンとに基づいて前記高解像度オブジェクトを更新し、
v)前記更新済み推定スペックル照射画像と、前記推定スペックル照射画像と、前記高解像度画像オブジェクトとに基づいて前記スペックルパターンを更新し、
vi)前記高解像度画像オブジェクト及び前記スペックルパターンにネストロフ運動量加速度を適用し、
c)前記高解像度画像オブジェクトを再構成する収束が検出されるまでステップb)を反復的に実行する、
ことによって前記1又は2以上のプロセッサよって生成され、前記高解像度画像オブジェクトは、センチメートル規模の撮像領域にわたって細胞下解像度が強化された前記推定UV-AutoM画像である、
請求項26に記載の1又は2以上の非一時的コンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962973101P | 2019-09-19 | 2019-09-19 | |
US62/973,101 | 2019-09-19 | ||
PCT/CN2020/108454 WO2021052063A1 (en) | 2019-09-19 | 2020-08-11 | Slide-free histological imaging method and system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022548760A true JP2022548760A (ja) | 2022-11-21 |
JP7431472B2 JP7431472B2 (ja) | 2024-02-15 |
Family
ID=75358332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022517980A Active JP7431472B2 (ja) | 2019-09-19 | 2020-08-11 | スライドフリーな組織学的撮像法及びシステム |
Country Status (5)
Country | Link |
---|---|
US (1) | US20220237783A1 (ja) |
EP (1) | EP3994656A4 (ja) |
JP (1) | JP7431472B2 (ja) |
CN (1) | CN114365179A (ja) |
WO (1) | WO2021052063A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN118103865A (zh) * | 2021-10-12 | 2024-05-28 | 香港科技大学 | 深度学习辅助的可技术转化的快速紫外激发切片式断层扫描 |
CN114420066B (zh) * | 2022-01-20 | 2023-04-25 | 海宁奕斯伟集成电路设计有限公司 | 图像处理方法、装置、电子设备及计算机可读存储介质 |
CN116543385B (zh) * | 2023-07-05 | 2023-09-05 | 江西农业大学 | 一种水稻叶片细胞形态学智能检测方法及装置 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019154987A1 (en) * | 2018-02-12 | 2019-08-15 | F. Hoffmann-La Roche Ag | Transformation of digital pathology images |
WO2019191697A1 (en) * | 2018-03-30 | 2019-10-03 | The Regents Of The University Of California | Method and system for digital staining of label-free fluorescence images using deep learning |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8072285B2 (en) * | 2008-09-24 | 2011-12-06 | Paratek Microwave, Inc. | Methods for tuning an adaptive impedance matching network with a look-up table |
WO2013086293A1 (en) * | 2011-12-08 | 2013-06-13 | Washington University | In vivo label-free histology by photoacoustic microscopy of cell nuclei |
CN107202780B (zh) * | 2017-04-28 | 2020-01-14 | 浙江大学 | 一种基于散斑照明的超分辨显微方法和装置 |
WO2019060141A1 (en) * | 2017-09-19 | 2019-03-28 | Siemens Healthcare Diagnostics Inc. | VIRTUAL COLORING OF CELLS IN DIGITAL HOLOGRAPHIC MICROSCOPY IMAGES USING GENERATIVE ANTAGONIST NETWORKS |
US10824847B2 (en) * | 2017-12-15 | 2020-11-03 | Verily Life Sciences Llc | Generating virtually stained images of unstained samples |
US11222415B2 (en) * | 2018-04-26 | 2022-01-11 | The Regents Of The University Of California | Systems and methods for deep learning microscopy |
CN109061131A (zh) * | 2018-06-29 | 2018-12-21 | 志诺维思(北京)基因科技有限公司 | 染色图片处理方法及装置 |
WO2020028382A1 (en) * | 2018-07-30 | 2020-02-06 | Memorial Sloan Kettering Cancer Center | Multi-modal, multi-resolution deep learning neural networks for segmentation, outcomes prediction and longitudinal response monitoring to immunotherapy and radiotherapy |
US11042778B2 (en) * | 2018-11-29 | 2021-06-22 | International Business Machines Corporation | Generating realistic organ x-ray angiography (XA) images for deep learning consumption |
-
2020
- 2020-08-11 EP EP20865564.7A patent/EP3994656A4/en active Pending
- 2020-08-11 WO PCT/CN2020/108454 patent/WO2021052063A1/en unknown
- 2020-08-11 JP JP2022517980A patent/JP7431472B2/ja active Active
- 2020-08-11 CN CN202080063496.0A patent/CN114365179A/zh active Pending
- 2020-08-11 US US17/597,784 patent/US20220237783A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019154987A1 (en) * | 2018-02-12 | 2019-08-15 | F. Hoffmann-La Roche Ag | Transformation of digital pathology images |
WO2019191697A1 (en) * | 2018-03-30 | 2019-10-03 | The Regents Of The University Of California | Method and system for digital staining of label-free fluorescence images using deep learning |
Non-Patent Citations (2)
Title |
---|
BEVIN LIN, SHIRO URAYAMA, RAMEZ M. G. SAROUFEEM, DENNIS L. MATTHEWS, STAVROS G. DEMOS: "Clinical Translation of UV Autofluorescence Microscopy towards Endomicroscopy for Early Detection of", ASIA COMMUNICATIONS AND PHOTONICS CONFERENCE AND EXHIBITION, JPN6023017017, 2010, pages 44 - 45, ISSN: 0005049058 * |
JUN-YAN ZHU, TAESUNG PARK, PHILLIP ISOLA, ALEXEI A. EFROS: "Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks", 2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION (ICCV), JPN6023017016, 2017, pages 2242 - 2251, XP055901486, ISSN: 0005049059, DOI: 10.1109/ICCV.2017.244 * |
Also Published As
Publication number | Publication date |
---|---|
CN114365179A (zh) | 2022-04-15 |
US20220237783A1 (en) | 2022-07-28 |
JP7431472B2 (ja) | 2024-02-15 |
EP3994656A4 (en) | 2023-11-29 |
EP3994656A1 (en) | 2022-05-11 |
WO2021052063A1 (en) | 2021-03-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
de Haan et al. | Deep-learning-based image reconstruction and enhancement in optical microscopy | |
US20220114711A1 (en) | Systems and methods for deep learning microscopy | |
US20230030424A1 (en) | Method and system for digital staining of microscopy images using deep learning | |
Chen et al. | Three-dimensional residual channel attention networks denoise and sharpen fluorescence microscopy image volumes | |
JP7431472B2 (ja) | スライドフリーな組織学的撮像法及びシステム | |
JP7344568B2 (ja) | ディープラーニングを使用して無標識蛍光画像をデジタル染色する方法及びシステム | |
JP6416887B2 (ja) | 構造化照明を用いた組織試料の顕微鏡観察 | |
JP6112872B2 (ja) | 撮像システム、画像処理方法、および撮像装置 | |
Shen et al. | Deep learning autofluorescence-harmonic microscopy | |
TWI683283B (zh) | 一種生物樣本之影像合成方法及採用該方法之光學系統 | |
TWI659395B (zh) | 類h&e影像之合成方法及採用該方法之光學系統 | |
EP3232181B1 (en) | Information processing device, information acquisition system, information processing method, image information acquisition method, and program | |
CN113466187B (zh) | 对荧光各向异性进行偏振超分辨成像的系统及方法 | |
US20230055979A1 (en) | Three-dimensional contoured scanning photoacoustic imaging and virtual staining | |
WO2021198247A1 (en) | Optimal co-design of hardware and software for virtual staining of unlabeled tissue | |
Combalia et al. | Digitally stained confocal microscopy through deep learning | |
WO2021198252A1 (en) | Virtual staining logic | |
WO2021198243A1 (en) | Method for virtually staining a tissue sample and a device for tissue analysis | |
Prigent et al. | SPITFIR (e): A supermaneuverable algorithm for restoring 2D-3D fluorescence images and videos, and background subtraction | |
de Haan et al. | Deep learning-based transformation of the H&E stain into special stains improves kidney disease diagnosis | |
CN109754382B (zh) | 类h&e影像的合成方法及采用该方法的光学系统 | |
CN106525723B (zh) | 声波与光波同时模式化非直观超分辨成像方法 | |
WO2024114625A1 (en) | System and method for generating digitally stained histological images | |
Papereux et al. | DeepCristae, a CNN for the restoration of mitochondria cristae in live microscopy images | |
Ovesný | Computational methods in single molecule localization microscopy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220318 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230501 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230728 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230828 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231113 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231206 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231227 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240126 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7431472 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |