JP2021518025A - 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 - Google Patents
顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 Download PDFInfo
- Publication number
- JP2021518025A JP2021518025A JP2020562587A JP2020562587A JP2021518025A JP 2021518025 A JP2021518025 A JP 2021518025A JP 2020562587 A JP2020562587 A JP 2020562587A JP 2020562587 A JP2020562587 A JP 2020562587A JP 2021518025 A JP2021518025 A JP 2021518025A
- Authority
- JP
- Japan
- Prior art keywords
- image
- classifier
- focus
- defocus
- patches
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/693—Acquisition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30168—Image quality inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Mathematical Physics (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Public Health (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Processing (AREA)
- Medical Treatment And Welfare Office Work (AREA)
- Microscoopes, Condenser (AREA)
Abstract
Description
(a) 標本を含んでいる顕微鏡スライドをスライドスキャナで走査し、ピクセル画像データの複数のパッチから構成されるデジタル顕微鏡スライド画像を生成するステップと、
(b) デジタル顕微鏡スライド画像についてパッチあたりの焦点ずれ度合いを計算するステップと、
(c) 複数の焦点ずれ度合いについて機械学習分類器の予想される分類器誤り統計量を表すデータを検索するステップと、
(d) ステップ(b)で計算されたパッチあたりの計算された焦点ずれ度合い、およびステップ(c)で検索されたデータに基づいて、デジタル顕微鏡スライド画像のパッチの各々への予想される分類器誤り統計量のマッピングを計算し、それによってパッチの各々について分類器誤り予測を生成するステップと、
(e) パッチのすべてにわたってステップ(d)で生成された分類器誤り予測を統合するステップと
を含む。
a)顕微鏡スライドのデジタルスライド画像を生成するように適合されたスライドスキャナと、
b)メモリであって、
1)スライドスキャナによって生成されたデジタル顕微鏡スライド画像についてパッチあたりの焦点ずれ度合いを計算するように訓練された畳み込みニューラルネットワーク(OOF分類器)のパラメータ、
2)複数の焦点ずれ度合いについて機械学習分類器の予想される分類器誤り統計量を表すデータ
を記憶する、メモリと、
c)(1)深層畳み込みニューラルネットワークを使用したデジタル顕微鏡スライド画像についてのパッチあたりの焦点ずれ度合い、(2)パッチあたりの計算された焦点ずれ度合いに基づき、デジタル顕微鏡スライド画像のパッチの各々への予想される分類器誤り統計量をマッピングし、それによってパッチの各々について分類器誤り予測を生成すること、および(3)パッチのすべてにわたる分類器誤り予測の統合を、計算するように構成されたコンピュータと
を組み合わせて含む、病理システムを開示する。
(a) デジタル顕微鏡スライド画像についてパッチあたりの焦点ずれ度合いを計算するステップと、
(b) 複数の焦点ずれ度合いについて機械学習分類器の予想される分類器誤り統計量を表すデータを検索するステップと、
(c) ステップ(a)で計算されたパッチあたりの計算された焦点ずれ度合いに基づいて、デジタル顕微鏡スライド画像のパッチの各々への予想される分類器誤り統計量のマッピングを計算し、それによってパッチの各々についての分類器誤り予測を生成するステップと、
(d) パッチのすべてにわたってステップ(c)で生成された分類器誤り予測を統合するステップと
を含む。
a)焦点が合っている、画像パッチごとに正解ラベル(ground truth label)と関連付けられるピクセル画像データのパッチから各々構成された、スライド画像のセット(図2の「マスター画像」)を取得する(たとえば、APIコールにより受信する)ステップと、
b)焦点ずれ度合いのセットを定義し、各度合いについて、
1)スライドのセット中の画像のパッチの各々に、対応する量の合成焦点ずれを適用し、
2)画像中の各パッチについて分類誤りを計算し、
3)画像中のパッチのすべてにわたって誤り計量(error metric)を計算するステップと、
c)ステップb)において定義された度合いのすべてについて、ステップb)3)において計算された誤り計量を、ステップb)において定義された焦点ずれ度合いについて分類器の予想される誤りとして記憶するステップと、
d)セット中のスライド画像の各々に対して、ステップb1)、b2)、b3)、およびc)を繰り返すステップと
を含む。
ステップb)2)において計算される誤り計量は、平均誤りの形態をとることができる。それはまた、受信者操作特性(ROC)曲線下面積(AUC)計量として計算することができる。この後者の手法は、最初にすべてのパッチにわたってまずROC曲線を計算する必要があり、続いてそれの下の面積(「曲線下面積」)を計算する。したがってそれは、個々のパッチごとに計算されず、統合される計量である。
1)スライドのセット中の画像のパッチの各々に、対応する量の合成焦点ずれを適用するステップと、
2)分類予測および確率を計算するステップと、
3)すべてのパッチにわたって正解ラベルに対する受信者操作特性(ROC)曲線を計算するステップと、
4)ROC曲線の下の面積(=AUC)を計算するステップ。
すべてのモデルのハイパーパラメータは、OOF分類器の開発中に検証テストセットに関する予測されるOOFヒートマップの定性評価によって手動で調整された。それらの実験では、ボケスタイルまたはガウスぼかしの合成例で訓練されたCNNは、実際のOOF画像について劣悪な予測精度をもたらし、ほとんどすべてのOOFテストパッチを焦点が合っていると誤って予測する。これは、人工的な平滑化が実際のアーティファクトを除去することによって引き起こされたと仮定した。たとえば、走査レーンおよびJPEGブロックの縁部の格子状のアーティファクトが、人工的にぼかされた画像では平滑化され得るが、実際のOOF画像では存在する。したがって、他のアーティファクトタイプのいくつかのカテゴリーが、それらの重要性を調べるために合成ぼかしの後に再び追加された。
各139×139訓練パッチに、+/-8ピクセル(縦横両方に)の範囲で並進摂動(translational perturbation)を追加することによって、さらなる認識できる予測利得が観測された。これは、最初に155×155画像パッチを取得することによって、続いて、それの中のランダムに並進配置された(translationally placed)139×139領域を切り取ることによって実施された。
訓練パッチの明度を摂動させる際に、別の、より包括的なデータ拡張を実施することによって、OOF分類器の全体的な精度の大幅な上昇が最終的に得られた。このステップでは、訓練パッチのすべてのピクセルに対するランダムな負/正の強度オフセット(すなわち、3つのRGBカラーチャネルすべてに対する固定の正/負のデルタ値)が追加される。より詳細には、[0, 1]の値域のRGB値が、各訓練例に対して区間[-0.8, +0.8]からランダムに選ばれた強度シフトを使用してオフセットされた(その後[0, 1]へのクリッピングが続いた)。同様の手法が、http://arxiv.org/abs/1703.02442で入手可能な、LiuらのDetecting Cancer Metastases on Gigapixel Pathology Images, arXiv [cs.CV] (2017)において提案され、OOF画像は明度が大きく変化することがあり、したがって分類器は明度変化に対して比較的不変であるべきであるという仮説を支持した。
a. 各パッチの予測される分類器誤り予測に、病気/組織タイプ固有のしきい値、たとえば1.3%を適用し、本質的に、しきい値を上回るまたは下回る予測誤りを有するパッチのバイナリマスクを作成する。
b. aのバイナリマスクに連結成分分析(Connected Component Analysis)を適用する。
c. 病気/組織タイプ固有の最小面積A、たとえば200平方ミクロンよりも小さい面積を持つすべての「連結成分」領域を削除する。
d. 最終的な計量、この例では、スライドのうちのどのくらいが、しきい値を下回る病気分類器誤りを有するかを示す面積計量を得るために、残りの領域の面積を合計し、cにより小さすぎる面積を除外する。この計量は、絶対面積計量として、またはパーセント計量、たとえば病気分類器計量がしきい値を下回る画像中の組織面積のパーセントとして、提示されることがある。
図2のループ204で使用されるスケールのOOF度合いの数は、変わることがあり、浮動小数点スケールを使用することも可能である。
1)スライドスキャナによって生成されたデジタル顕微鏡スライド画像についてパッチあたりの焦点ずれ度合いを計算するように訓練された畳み込みニューラルネットワーク(OOF分類器)のパラメータであって、このOOF分類器は、好ましくは、前に詳細に説明した技法を使用して合成的にぼかされた画像で訓練される、パラメータ、
2)複数の焦点ずれ度合いについての機械学習病気分類器の予想される分類器誤り統計量を表すデータを記憶するメモリ、c)コンピュータ(図8、808)であって、(1)深層畳み込みニューラルネットワークを使用したデジタル顕微鏡スライド画像についてのパッチあたりの焦点ずれ度合い(図6、602)、(2)パッチあたりの計算された焦点ずれ度合いに基づき、それによってパッチの各々について分類器誤り予測を生成する、デジタル顕微鏡スライド画像のパッチの各々への予想される分類器誤り統計量のマッピング(図6、606)、(3)パッチのすべてにわたる分類器誤り予測の統合(図6、608)を計算するように構成されたコンピュータ。
(a) デジタル顕微鏡スライド画像についてパッチあたりの焦点ずれ度合いを計算するステップ(図6、602)。このステップは、上記で説明したように訓練されたOOF分類器によって行われる。
(b) 複数の焦点ずれ度合いについての機械学習病気分類器の予想される分類器誤り統計量を表すデータを検索するステップ(図2、220)。
(c) ステップ(a)で計算されたパッチあたりの計算された焦点ずれ度合いに基づいて、デジタル顕微鏡スライド画像のパッチの各々への予想される分類器誤り統計量のマッピングを計算し、それによってパッチの各々についての分類器誤り予測を生成するステップ(図6、606)。
(d) パッチのすべてにわたってステップ(c)で生成された分類器誤り予測を統合するステップ(図6、608)。
b)焦点ずれ度合い(たとえば、0(焦点が合っている)からNのスケール上の焦点ずれの度合いY、ただしNは1,2,3…Nの範囲内のある整数である)のセットを定義し、各度合いについて、
1)スライドのセット中の画像のパッチの各々に、対応する量の合成焦点ずれを適用し、(図2、202)
2)画像中の各パッチについて分類誤りを計算し、(図2、206)
3)画像中のパッチのすべてにわたって平均誤りを計算するステップと、(図2、212)
c)ステップb)において定義された焦点ずれ度合いの場合の分類器についての予想される誤りとして、ステップb)において定義された度合いのすべてについて、ステップb)3)において計算された平均誤りを記憶するステップと、(図2、すべての合成焦点ずれ度合いに対するループ204)
d)セット中のスライド画像の各々に対して、ステップb1)、b2)、b3)、およびc)を繰り返すステップと(図2、ループ214)を含む。
1)スライドのセット中の画像のパッチの各々に、対応する量の合成焦点ずれを適用するステップと、
2)病気分類予測および確率を計算するステップと、
3)すべてのパッチにわたって正解ラベルに対する受信者操作特性(ROC)曲線を計算するステップと、
4)ROC曲線の下の面積(AUC)を計算するステップ。この変形形態では、方法は、c)ステップb)で定義された焦点ずれ度合いについて病気分類器の予想される誤りとしてステップb)で定義された度合いのすべてについて、ステップb)4)で計算されたAUCを記憶するステップと、d)セット中のスライド画像の各々に対してステップb1)、b2)、b3)、およびc)を繰り返すステップとを続ける。
500 画像
502 画像
504 画像
506 画像
600 画像
604 ヒートマップ
802 全スライドスキャナ
804 病理ワークステーション
806 ネットワーク
808 コンピューティング資源
810 データストア
820 クラウド
904 病理ワークステーション
Claims (31)
- 標本の拡大されたデジタル顕微鏡スライド画像についての分類誤りの予測を生成するための方法であって、
(a) 前記標本を含んでいる顕微鏡スライドをスライドスキャナで走査し、ピクセル画像データの複数のパッチから構成される前記デジタル顕微鏡スライド画像を生成するステップと、
(b) 前記デジタル顕微鏡スライド画像についてパッチあたりの焦点ずれ度合いを計算するステップと、
(c) 複数の焦点ずれ度合いについて機械学習分類器の予想される分類器誤り統計量を表すデータを検索するステップと、
(d) ステップ(b)で計算されたパッチあたりの前記計算された焦点ずれ度合いに基づいて、前記デジタル顕微鏡スライド画像の前記パッチの各々への前記予想される分類器誤り統計量のマッピングを計算し、それによって前記パッチの各々についての分類器誤り予測を生成するステップと、
(e) 前記パッチのすべてにわたってステップ(d)で生成された前記分類器誤り予測を統合するステップと
を含む、方法。 - 前記標本が、組織標本を含む、請求項1に記載の方法。
- 前記組織標本が、リンパ節標本または前立腺組織標本を含む、請求項1に記載の方法。
- ステップb)が、焦点ずれの度合いによって組織画像のパッチを分類するように訓練された深層畳み込みニューラルネットワークによって行われる、請求項1から3のいずれか一項に記載の方法。
- 前記デジタル顕微鏡スライド画像について全体として焦点重み付き分類器誤り予測を生成するステップ(f)をさらに含む、請求項1から3のいずれか一項に記載の方法。
- ステップb)からステップe)が、前記スライドスキャナのコンピューティング資源によってローカルに行われる、請求項1から3のいずれか一項に記載の方法。
- 病理システムであって、
a)顕微鏡スライドのデジタルスライド画像を生成するように適合されたスライドスキャナと、
b)メモリであって、
1)前記スライドスキャナによって生成されたデジタル顕微鏡スライド画像についてパッチあたりの焦点ずれ度合いを計算するように訓練された畳み込みニューラルネットワークのパラメータ、
2)複数の焦点ずれ度合いについて機械学習分類器の予想される分類器誤り統計量を表すデータ
を記憶する、メモリと、
c)(1)前記畳み込みニューラルネットワークを使用した前記デジタル顕微鏡スライド画像についてのパッチあたりの焦点ずれ度合いと、(2)パッチあたりの前記計算された焦点ずれ度合いに基づく、前記デジタル顕微鏡スライド画像の前記パッチの各々への前記予想される分類器誤り統計量のマッピングであって、前記マッピングにより前記パッチの各々について分類器誤り予測を生成する、前記マッピングと、(3)前記パッチのすべてにわたる前記分類器誤り予測の統合とを計算するように構成されたコンピュータと
を組み合わせて備える、病理システム。 - 前記顕微鏡スライドが、組織標本を含む、請求項7に記載のシステム。
- 前記組織標本が、リンパ節標本または前立腺組織標本を含む、請求項8に記載のシステム。
- 前記メモリおよびコンピュータが、前記スライドスキャナ上のローカルにある、請求項7から9のいずれか一項に記載のシステム。
- 前記メモリおよびコンピュータが、前記スライドスキャナに対してリモートにある、請求項7から9のいずれか一項に記載のシステム。
- 拡大されたデジタル顕微鏡スライド画像についての分類誤りの予測を生成するための方法であって、前記デジタル顕微鏡スライド画像が、ピクセル画像データの複数のパッチから構成され、
(a) 前記デジタル顕微鏡スライド画像についてパッチあたりの焦点ずれ度合いを計算するステップと、
(b) 複数の焦点ずれ度合いについて機械学習病気分類器の予想される分類器誤り統計量を表すデータを検索するステップと、
(c) ステップ(a)で計算されたパッチあたりの前記計算された焦点ずれ度合いに基づいて、前記デジタル顕微鏡スライド画像の前記パッチの各々への前記予想される分類器誤り統計量のマッピングを計算し、それによって前記パッチの各々についての分類器誤り予測を生成するステップと、
(d) 前記パッチのすべてにわたってステップ(c)で生成された前記分類器誤り予測を統合するステップと
を含む、方法。 - 前記デジタル顕微鏡スライド画像が、組織標本の画像である、請求項12に記載の方法。
- 顕微鏡画像が、リンパ節標本または前立腺組織標本の画像である、請求項13に記載の方法。
- ステップ(a)が、焦点ずれの度合いによって組織画像のパッチを分類するように訓練された畳み込みニューラルネットワークによって行われる、請求項12から14のいずれか一項に記載の方法。
- 前記デジタル顕微鏡スライド画像について全体として焦点重み付き分類器誤り予測を生成するステップ(e)をさらに含む、請求項12から14のいずれか一項に記載の方法。
- デジタル顕微鏡スライド画像のための分類ラベルを生成するように構成された分類器を特徴付けるための方法であって、
a)焦点が合っている、画像パッチごとに正解ラベルと関連付けられる、ピクセル画像データのパッチから各々構成された、デジタル顕微鏡スライド画像のセットを取得するステップと、
b)焦点ずれ度合いのセットを定義し、各度合いについて、
1)スライドの前記セット中の画像の前記パッチの各々に、対応する量の合成焦点ずれを適用し、
2)前記画像中の各パッチについて分類誤りを計算し、
3)前記画像中の前記パッチのすべてにわたって平均誤りを計算するステップと、
c)ステップb)において定義された前記焦点ずれ度合いの場合の前記分類器についての予想される誤りとして、ステップb)において定義された前記度合いのすべてについて、ステップb)3)において計算された前記平均誤りを記憶するステップと、
d)前記セット中の前記デジタル顕微鏡スライド画像の各々に対して、ステップb)1)、b)2)、b)3)、およびc)を繰り返すステップと
を含む、方法。 - 前記セット中の前記デジタル顕微鏡スライド画像に対して異なる倍率でステップb)、c)、およびd)を繰り返すステップをさらに含む、請求項17に記載の方法。
- 異なる製造業者の複数の異なるスライドスキャナの各々に対して少なくとも1回、ステップa)、b)、c)、およびd)を繰り返すステップをさらに含む、請求項17に記載の方法。
- 前記デジタル顕微鏡スライド画像が、組織標本の画像である、請求項19に記載の方法。
- 組織標本が、リンパ節標本または前立腺組織標本を含む、請求項17に記載の方法。
- ステップb)1)で適用される前記合成焦点ずれが、計算によるボケフィルタを使用して適用される、請求項17から21のいずれか一項に記載の方法。
- 前記予想される誤りが、前記分類器では1.0マイナス受信者操作特性曲線の下の面積(AUC)で示される、または前記分類器がマルチクラス分類器である場合、1.0-コーエンのカッパで示される、請求項17から21のいずれか一項に記載の方法。
- ステップc)において記憶される前記平均誤りが、焦点ずれの度合いおよび関連した予想される分類器誤りのテーブルフォーマットで記憶される、請求項17から21のいずれか一項に記載の方法。
- パッチあたりの前記計算された焦点ずれ度合いが、焦点ずれ分類器によって行われ、前記焦点ずれ分類器が、合成的にぼかされた焦点ずれ画像から訓練され、前記焦点ずれ画像が、(a)データ圧縮およびノイズアーティファクト、(b)並進ジッタ、ならびに(c)明度摂動のうちの1つまたは複数をシミュレートすることと、(d)計算によるボケフィルタを適用することとによって生成される、請求項1に記載の方法。
- 前記合成的にぼかされた焦点ずれ画像が、(a)データ圧縮およびノイズアーティファクト、(b)並進ジッタ、(c)明度摂動、ならびに(d)計算によるボケフィルタリングをシミュレートすることによって生成される、請求項25に記載の方法。
- b)1)の前記畳み込みニューラルネットワークが、焦点ずれ分類器であり、前記焦点ずれ分類器が、合成的にぼかされた焦点ずれ画像から訓練され、前記焦点ずれ画像が、(a)データ圧縮およびノイズアーティファクト、(b)並進ジッタ、ならびに(c)明度摂動のうちの1つまたは複数をシミュレートすることと、(d)計算によるボケフィルタを適用することとによって生成される、請求項7に記載のシステム。
- パッチあたりの前記焦点ずれ度合いが、焦点ずれ分類器によって計算され、前記焦点ずれ分類器が、合成的にぼかされた焦点ずれ画像から訓練され、前記焦点ずれ画像が、(a)データ圧縮およびノイズアーティファクト、(b)並進ジッタ、ならびに(c)明度摂動のうちの1つまたは複数をシミュレートすることと、(d)計算によるボケフィルタを適用することとによって生成される、請求項12に記載の方法。
- 焦点ずれ(OOF)分類器を訓練する方法であって、前記OOF分類器が、畳み込みニューラルネットワークの形態であり、
a)訓練画像のセットを合成的にぼかすステップであって、前記合成的にぼかされた画像が、(a)データ圧縮およびノイズアーティファクト、(b)並進ジッタ、(c)明度摂動、ならびに計算によるボケフィルタリングのうちの1つまたは複数をシミュレートすることによって作成される、合成的にぼかすステップと、
b)前記合成的にぼかされた画像を焦点ずれの度合いによって分類するように、前記合成的にぼかされた画像で前記OOF分類器を訓練するステップと
を含む、方法。 - 前記ステップa)が、(a)データ圧縮およびノイズアーティファクト、(b)並進ジッタ、(c)明度摂動、ならびに計算によるボケフィルタリングの全部をシミュレートするステップを含む、請求項29に記載の方法。
- デジタル顕微鏡スライドのための分類ラベルを生成するように構成された分類器を特徴付けるための方法であって、
a)焦点が合っている、画像パッチごとに正解ラベルと関連付けられる、ピクセル画像データのパッチから各々構成された、デジタル顕微鏡スライド画像のセットを取得するステップと、
b)焦点ずれ度合いのセットを定義し、各度合いについて、
1)スライドの前記セット中の画像の前記パッチの各々に、対応する量の合成焦点ずれを適用し、
2)分類誤り予測および確率を計算し、
3)すべてのパッチにわたって正解ラベルに対する受信者操作特性(ROC)曲線を計算し、
4)前記ROC曲線の下の面積(AUC)を計算するステップと、
c)ステップb)において定義された前記焦点ずれ度合いの場合の前記分類器についての予想される誤りとして、ステップb)において定義された前記度合いのすべてについて、ステップb)4)において計算された前記AUCを記憶するステップと、
d)前記セット中の前記デジタル顕微鏡スライド画像の各々に対して、ステップb)1)、b)2)、b)3)、b)4)、およびc)を繰り返すステップと
を含む、方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021099377A JP7134303B2 (ja) | 2018-05-07 | 2021-06-15 | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 |
JP2022130055A JP7422825B2 (ja) | 2018-05-07 | 2022-08-17 | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/972,929 US10706328B2 (en) | 2018-05-07 | 2018-05-07 | Focus-weighted, machine learning disease classifier error prediction for microscope slide images |
US15/972,929 | 2018-05-07 | ||
PCT/US2018/065918 WO2019216955A1 (en) | 2018-05-07 | 2018-12-17 | Focus-weighted, machine learning classifier error prediction for microscope slide images |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021099377A Division JP7134303B2 (ja) | 2018-05-07 | 2021-06-15 | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6900581B1 JP6900581B1 (ja) | 2021-07-07 |
JP2021518025A true JP2021518025A (ja) | 2021-07-29 |
Family
ID=65024006
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020562587A Active JP6900581B1 (ja) | 2018-05-07 | 2018-12-17 | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 |
JP2021099377A Active JP7134303B2 (ja) | 2018-05-07 | 2021-06-15 | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 |
JP2022130055A Active JP7422825B2 (ja) | 2018-05-07 | 2022-08-17 | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 |
Family Applications After (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021099377A Active JP7134303B2 (ja) | 2018-05-07 | 2021-06-15 | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 |
JP2022130055A Active JP7422825B2 (ja) | 2018-05-07 | 2022-08-17 | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 |
Country Status (5)
Country | Link |
---|---|
US (3) | US10706328B2 (ja) |
EP (1) | EP3788591B1 (ja) |
JP (3) | JP6900581B1 (ja) |
CN (1) | CN112106107A (ja) |
WO (1) | WO2019216955A1 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10573003B2 (en) * | 2017-02-13 | 2020-02-25 | Amit Sethi | Systems and methods for computational pathology using points-of-interest |
US20220117544A1 (en) * | 2018-08-31 | 2022-04-21 | Seno Medical Instruments, Inc. | Optoacoustic feature score correlation to ipsilateral axillary lymph node status |
WO2021141757A1 (en) * | 2020-01-06 | 2021-07-15 | PAIGE.AI, Inc. | Systems and methods for analyzing electronic images for quality control |
CN111369553A (zh) * | 2020-03-13 | 2020-07-03 | 上海杏脉信息科技有限公司 | 一种样本玻片扫描和图像处理方法及数字显微镜系统 |
US20230085827A1 (en) * | 2020-03-20 | 2023-03-23 | The Regents Of The University Of California | Single-shot autofocusing of microscopy images using deep learning |
CN111462076B (zh) * | 2020-03-31 | 2023-05-16 | 湖南国科智瞳科技有限公司 | 一种全切片数字病理图像模糊区域检测方法及系统 |
CN111462075B (zh) * | 2020-03-31 | 2023-12-15 | 湖南国科智瞳科技有限公司 | 一种全切片数字病理图像模糊区域的快速重聚焦方法及系统 |
US20220139509A1 (en) | 2020-11-03 | 2022-05-05 | Nuance Communications, Inc. | Communication System and Method |
US20220148169A1 (en) * | 2020-11-06 | 2022-05-12 | Verily Life Sciences Llc | Artificial intelligence prediction of prostate cancer outcomes |
US20220199212A1 (en) * | 2020-12-22 | 2022-06-23 | Nuance Communications, Inc. | AI Platform System and Method |
CN113139568B (zh) * | 2021-02-22 | 2022-05-10 | 杭州深睿博联科技有限公司 | 一种基于主动学习的类别预测模型建模方法及装置 |
US11893668B2 (en) | 2021-03-31 | 2024-02-06 | Leica Camera Ag | Imaging system and method for generating a final digital image via applying a profile to image information |
US20230186434A1 (en) * | 2021-12-09 | 2023-06-15 | Unity Technologies Sf | Defocus operations for a virtual display with focus and defocus determined based on camera settings |
JP2023176256A (ja) * | 2022-05-31 | 2023-12-13 | 楽天グループ株式会社 | 画像からデータを予測する方法、コンピュータシステム、及びコンピュータ可読媒体 |
CN117041531B (zh) * | 2023-09-04 | 2024-03-15 | 无锡维凯科技有限公司 | 一种基于图像质量评估的手机摄像头聚焦检测方法和系统 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016030897A1 (en) * | 2014-08-27 | 2016-03-03 | S.D. Sight Diagnostics Ltd | System and method for calculating focus variation for a digital microscope |
US20170193657A1 (en) * | 2015-12-30 | 2017-07-06 | Case Western Reserve University | Prediction of recurrence of non-small cell lung cancer with tumor infiltrating lymphocyte (til) graphs |
US20180322660A1 (en) * | 2017-05-02 | 2018-11-08 | Techcyte, Inc. | Machine learning classification and training for digital microscopy images |
WO2019057944A1 (en) * | 2017-09-22 | 2019-03-28 | F. Hoffmann-La Roche Ag | ELIMINATION OF ARTIFACTS FROM IMAGES OF FABRIC |
WO2019082788A1 (ja) * | 2017-10-26 | 2019-05-02 | コニカミノルタ株式会社 | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1996009598A1 (en) * | 1994-09-20 | 1996-03-28 | Neopath, Inc. | Cytological slide scoring apparatus |
US7456377B2 (en) | 2004-08-31 | 2008-11-25 | Carl Zeiss Microimaging Ais, Inc. | System and method for creating magnified images of a microscope slide |
CA2776527C (en) | 2009-10-19 | 2014-08-05 | Ventana Medical Systems, Inc. | Imaging system and techniques |
US20120269419A1 (en) | 2011-04-22 | 2012-10-25 | Ge Global Research | Analyzing the expression of biomarkers in cells with moments |
JP6320999B2 (ja) * | 2012-06-21 | 2018-05-09 | フィリップ モリス プロダクツ エス アー | ネットワークベースのバイオマーカシグネチャに関連するシステムおよび方法 |
DE102013104277A1 (de) | 2013-04-26 | 2014-10-30 | Hella Kgaa Hueck & Co. | Verfahren zur Ansteuerung eines Matrix-Beam Scheinwerfers mit adaptiven Licht-Funktionen |
US9665460B2 (en) * | 2015-05-26 | 2017-05-30 | Microsoft Technology Licensing, Llc | Detection of abnormal resource usage in a data center |
US9836839B2 (en) | 2015-05-28 | 2017-12-05 | Tokitae Llc | Image analysis systems and related methods |
CN113515471A (zh) | 2016-06-14 | 2021-10-19 | 伊姆西Ip控股有限责任公司 | 用于管理存储系统的方法和装置 |
US10025902B2 (en) | 2016-08-12 | 2018-07-17 | Verily Life Sciences Llc | Enhanced pathology diagnosis |
US11170897B2 (en) | 2017-02-23 | 2021-11-09 | Google Llc | Method and system for assisting pathologist identification of tumor cells in magnified tissue images |
US10552663B2 (en) * | 2017-05-02 | 2020-02-04 | Techcyte, Inc. | Machine learning classification and training for digital microscopy cytology images |
US10311573B2 (en) * | 2017-05-02 | 2019-06-04 | Techcyte, Inc. | Training and machine learning classification of mold in digital microscopy images |
US11227386B2 (en) | 2017-08-15 | 2022-01-18 | Siemens Healthcare Gmbh | Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks |
-
2018
- 2018-05-07 US US15/972,929 patent/US10706328B2/en active Active
- 2018-12-17 WO PCT/US2018/065918 patent/WO2019216955A1/en unknown
- 2018-12-17 EP EP18834117.6A patent/EP3788591B1/en active Active
- 2018-12-17 CN CN201880093264.2A patent/CN112106107A/zh active Pending
- 2018-12-17 JP JP2020562587A patent/JP6900581B1/ja active Active
-
2020
- 2020-05-26 US US16/883,014 patent/US11164048B2/en active Active
-
2021
- 2021-06-15 JP JP2021099377A patent/JP7134303B2/ja active Active
- 2021-10-04 US US17/493,066 patent/US11657487B2/en active Active
-
2022
- 2022-08-17 JP JP2022130055A patent/JP7422825B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016030897A1 (en) * | 2014-08-27 | 2016-03-03 | S.D. Sight Diagnostics Ltd | System and method for calculating focus variation for a digital microscope |
US20170193657A1 (en) * | 2015-12-30 | 2017-07-06 | Case Western Reserve University | Prediction of recurrence of non-small cell lung cancer with tumor infiltrating lymphocyte (til) graphs |
US20180322660A1 (en) * | 2017-05-02 | 2018-11-08 | Techcyte, Inc. | Machine learning classification and training for digital microscopy images |
WO2019057944A1 (en) * | 2017-09-22 | 2019-03-28 | F. Hoffmann-La Roche Ag | ELIMINATION OF ARTIFACTS FROM IMAGES OF FABRIC |
WO2019082788A1 (ja) * | 2017-10-26 | 2019-05-02 | コニカミノルタ株式会社 | 画像処理装置、合焦位置特定方法及び合焦位置特定プログラム |
Non-Patent Citations (1)
Title |
---|
SAMUEL J. YANG ET AL.: "Assessing microscope image focus qualitywith deep learning", BMC BIOINFORMATICS, vol. vol.19:77, JPN6021017056, 2018, pages 1 - 9, XP021254534, ISSN: 0004502710, DOI: 10.1186/s12859-018-2087-4 * |
Also Published As
Publication number | Publication date |
---|---|
JP6900581B1 (ja) | 2021-07-07 |
EP3788591B1 (en) | 2023-10-18 |
JP7422825B2 (ja) | 2024-01-26 |
US20220027678A1 (en) | 2022-01-27 |
JP2022164718A (ja) | 2022-10-27 |
US10706328B2 (en) | 2020-07-07 |
WO2019216955A1 (en) | 2019-11-14 |
US11657487B2 (en) | 2023-05-23 |
JP7134303B2 (ja) | 2022-09-09 |
US20200285908A1 (en) | 2020-09-10 |
US20190340468A1 (en) | 2019-11-07 |
JP2021166062A (ja) | 2021-10-14 |
EP3788591A1 (en) | 2021-03-10 |
CN112106107A (zh) | 2020-12-18 |
US11164048B2 (en) | 2021-11-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6900581B1 (ja) | 顕微鏡スライド画像のための焦点重み付き機械学習分類器誤り予測 | |
JP7466606B2 (ja) | コンテキストフィーチャを用いた画像解析システム | |
Campanella et al. | Towards machine learned quality control: A benchmark for sharpness quantification in digital pathology | |
US11842556B2 (en) | Image analysis method, apparatus, program, and learned deep learning algorithm | |
CN110033456B (zh) | 一种医疗影像的处理方法、装置、设备和系统 | |
Kang et al. | Stainnet: a fast and robust stain normalization network | |
US11626200B2 (en) | Histology recognition to automatically score and quantify cancer grades and individual user digital whole histological imaging device | |
WO2021139258A1 (zh) | 基于图像识别的细胞识别计数方法、装置和计算机设备 | |
US20200066407A1 (en) | Method and System for Assisting Pathologist Identification of Tumor Cells in Magnified Tissue Images | |
CN111310841B (zh) | 医学图像分类方法、装置、设备、计算机设备和存储介质 | |
CN105378538B (zh) | 用于多频谱成像的自动聚焦方法和系统 | |
JP6342810B2 (ja) | 画像処理 | |
Lahrmann et al. | Semantic focusing allows fully automated single-layer slide scanning of cervical cytology slides | |
JP4383352B2 (ja) | 核多形性の組織学的評価 | |
CN111369523A (zh) | 显微图像中细胞堆叠的检测方法、系统、设备及介质 | |
RU2732895C1 (ru) | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей | |
Jiménez et al. | Image quality metrics applied to digital pathology | |
CN114419401B (zh) | 白细胞检测识别方法、装置、计算机存储介质及电子设备 | |
US11830622B2 (en) | Processing multimodal images of tissue for medical evaluation | |
Totu et al. | An objective scoring framework for histology slide image mosaics applicable for the reliable benchmarking of image quality assessment algorithms | |
van Eekelen et al. | Multi-class semantic cell segmentation and classification of aplasia in bone marrow histology images | |
WO2023249552A1 (en) | System and method for classification of basal cell carcinoma based on confocal microscopy | |
CN117597709A (zh) | 用于记录训练数据的方法和设备 | |
de Oliveira et al. | Segmentation of Cell Nuclei Regions in Epithelium of Prostate Glands. |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210105 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20210105 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20210416 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210616 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6900581 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |