JP2018517209A - 画像分析システムおよび関連する方法 - Google Patents
画像分析システムおよび関連する方法 Download PDFInfo
- Publication number
- JP2018517209A JP2018517209A JP2017561292A JP2017561292A JP2018517209A JP 2018517209 A JP2018517209 A JP 2018517209A JP 2017561292 A JP2017561292 A JP 2017561292A JP 2017561292 A JP2017561292 A JP 2017561292A JP 2018517209 A JP2018517209 A JP 2018517209A
- Authority
- JP
- Japan
- Prior art keywords
- images
- color
- vector
- score
- adaptive grayscale
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
- G06V20/698—Matching; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10148—Varying focus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Medical Informatics (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Investigating Or Analysing Biological Materials (AREA)
- Image Analysis (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
Abstract
本明細書に開示された諸実施形態は、血液標本中の検体の存在および量を判定するシステムおよび方法に関する。検体の存在を判定する前記システムおよび方法は、複数の焦点面を含む複数の視野を含む標本スライドの複数の画像を用いる。前記システムおよび方法は、前記複数の画像に対して色バランスおよびグレースケール強度バランス処理を施し、それに基づいて、前記複数の画像が前記検体をそのうちに含むかどうか判定するよう構成されているアルゴリズムを用いる。
Description
優先権出願の内容は、本明細書と矛盾しない限りにおいて、そのすべてが参照により本明細書に含まれる。
顕微鏡検査技術は、数種の疾病、血液の状態等を診断するのに用いられる。顕微鏡検査技術の中には、十分な解像度を得て適切な診断を行うために、特殊な顕微鏡またはその他の機器を必要とするものもある。
顕微鏡は、 厚みのある血液塗抹標本等の塗抹標本を用いてマラリア等の検体を検出するのに用いることができる。通常、顕微鏡は、マラリアの原因となる寄生性の原虫を検出するのに必要な解像度を得るために、被写界深度が比較的浅い油浸レンズを備える。前記レンズは、通常、わずか数マイクロメートル、約1マイクロメートル、または1マイクロメートル未満の被写界深度を有する。通常、塗抹標本の全厚みを画像化して、検体の存在によって示される状態を決定的に診断する。しかしながら、当該塗抹標本の厚さが数マイクロメートルより大きいと、画像の焦点面によっては診断に問題が生じる可能性がある。塗抹標本全体が確実に分析されるように、標本とレンズとの距離を縮めるか伸ばして、塗抹標本の各視野(FoV)の複数の焦点面を捉えることができる。
一般的な顕微鏡は、マイクロメートル単位で移動してレンズと標本との距離を縮めるか伸ばすよう構成された従来の焦点調整システムを備える。しかしながら、そのような従来の焦点調整システムは、高価かつ複雑であったりするため、極貧地帯等のマラリアが最も蔓延している地域にはふさわしくない。一般的な診断方法は、技術者を雇って顕微鏡のスライドを走査して検体が存在するかを視覚的に判定してもらうことを含む。しかしながら、顕微鏡使用者の感度および一貫性を制限する要因としては、個人間および個人内の変動性、不注意、目の疲れ、疲労、訓練不足が挙げられる。 訓練不足は、高い技能を有する顕微鏡使用者がマラリア等の疾病の負担に比べて不足する可能性のある人的資源の少ない環境に特に関連している。さらに、技術者は、標本スライド中の特に低濃度の検体(例えば、低濃度の寄生虫血)を特定または定量化できないかもしれない。
そのため、顕微鏡の開発者および使用者は、検体の存在を判定するのに用いられる顕微鏡および診断技術の改良に努め続けている。
本明細書に開示される諸実施形態は、血液標本中の生物学的検体を診断し、特定し、定量化するシステムおよび方法に関する。1つの実施形態では、血中の検体の存在を判定するシステムが開示される。前記システムは、標本スライドの複数の画像を保存するよう構成された少なくとも1つの記憶媒体を備える。前記複数の画像は、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記標本スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記標本スライドの固有のz座標を有する。前記システムは、前記少なくとも1つの記憶媒体に動作可能に接続された少なくとも1つのプロセッサを備える。前記少なくとも1つのプロセッサは、複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに対して決定し適用するよう構成されている。前記少なくとも1つのプロセッサは、前記複数の画像のそれぞれに対して適応グレースケール変換を決定し適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供するよう構成されている。前記少なくとも1つのプロセッサは、前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定するよう構成されている。前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上の特徴に少なくとも部分的に基づいて、前記1つ以上の対象物候補を抽出しスコア付けし、前記スコアに少なくとも部分的に基づいて、前記1つ以上の候補にフィルタをかけ、フィルタをかけられた対象物候補それぞれに対する1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力するよう構成されている。前記少なくとも1つのプロセッサは、前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、前記1つ以上の特徴ベクトルを出力するよう構成されている。前記少なくとも1つのプロセッサは、各特徴ベクトルを、人工産物または検体に対応するものとして分類するよう構成されている。前記少なくとも1つのプロセッサは、検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するよう構成されている。
1つの実施形態では、血中の検体の存在を判定する方法が開示される。前記方法は、標本スライドの複数の画像を受け取るステップを含む。当該複数の画像は、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記標本スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記標本スライドの固有のz座標を有する。前記方法は、複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに適用するステップを含む。前記方法は、前記複数の画像のそれぞれに適応グレースケール変換を適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供するステップを含む。前記方法は、前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定するステップを含む。前記方法は、前記1つ以上の対象物候補の1つ以上の特徴に少なくとも部分的に基づくスコアに少なくとも部分的に基づいて、前記1つ以上の対象物候補にフィルタをかけ、フィルタをかけられた対象物候補それぞれに対する1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力するステップを含む。前記方法は、前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、前記1つ以上の特徴ベクトルを出力するステップを含む。前記方法は、各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップを含む。前記方法は、検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するステップを含む。
1つの実施形態では、血中の検体の存在を判定する方法が開示される。前記方法は、標本スライドの複数の画像を受け取るステップを含む。当該複数の画像は、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記標本スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記標本スライドの固有のz座標を有する。前記方法は、複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに適用するステップを含む。前記方法は、前記複数の画像のそれぞれに適応グレースケール変換を適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供するステップを含む。前記方法は、前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定するステップを含む。前記方法は、前記1つ以上の対象物候補の1つ以上の特徴に少なくとも部分的に基づくスコアに少なくとも部分的に基づいて、前記1つ以上の対象物候補にフィルタをかけ、フィルタをかけられた対象物候補それぞれに対する1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力するステップを含む。前記方法は、前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、前記1つ以上の特徴ベクトルを出力するステップを含む。前記方法は、各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップを含む。前記方法は、検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するステップを含む。
1つの実施形態では、血中のマラリア原虫の存在を判定するシステムが開示される。前記システムは、血液スライドの複数の画像を撮るよう構成された顕微鏡を備える。当該複数の画像のそれぞれは、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記血液スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記血液スライドの固有のz座標を有する。前記システムは、前記血液スライドの前記複数の画像を保存するよう構成された少なくとも1つの記憶媒体を備える。前記システムは、前記少なくとも1つの記憶媒体に操作可能につなげられた少なくとも1つのプロセッサを備える。前記少なくとも1つのプロセッサは、複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに対して決定し適用するよう構成されている。前記少なくとも1つのプロセッサは、前記複数の画像のそれぞれに対して適応グレースケール変換を決定し適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供するよう構成されている。前記少なくとも1つのプロセッサは、前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定するよう構成されている。前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上の特徴を抽出しスコア付けして、前記スコアに少なくとも部分的に基づいて、前記1つ以上の対象物候補にフィルタをかけるよう構成されている。前記少なくとも1つのプロセッサは、前記1つ以上のフィルタをかけられた対象物候補の色補正済み画像パッチおよび適応グレースケール強度画像パッチを抽出し、フィルタをかけられた対象物候補それぞれの1つ以上の特徴ベクトルを出力するよう構成されている。前記少なくとも1つのプロセッサは、各特徴ベクトルを人工産物または検体として分類するよう構成されている。前記少なくとも1つのプロセッサは、検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するよう構成されている。
開示された諸実施形態の任意の1つの実施形態の諸特徴は、限定なしに、組み合わせて用いてよい。さらに、本開示の諸特徴および諸長所は、以下の詳細な説明および添付の図面を考慮することにより、当業者に明らかとなるであろう。
上記の概要は例示的なものに過ぎず、いかなるかたちでも限定することを意図してはいない。上記した例示的な諸態様、諸実施形態、および諸特徴に加えて、図面および以下の詳細な説明を参照することにより、さらなる諸態様、諸実施形態、および諸特徴が明らかとなるであろう。
本明細書に開示される諸実施形態は、画像分析システムおよびそれを用いる方法に関する。本明細書に開示される画像は、コンピュータで読み取り可能な任意のフォーマット、例えば、png、jpeg、gif、tiff、bmp、または他の任意の適切なファイルの種類を含む。本明細書における画像分析システムおよび関連する方法は、スライド上の塗抹標本(例えば、厚みのある血液塗抹)の垂直方向の全厚み(例えば、顕微鏡上の光学軸またはz軸にほぼ平行)および横断面(例えば、xおよびy軸に基づく次元)に渡って画像を解像し分析することができる。本明細書のシステムおよび方法は、実際には同じ対象物であるのに、異なる焦点深さのために異なって見えたり、あるいはカメラのジッタのために異なるxy座標を有したりする、異なる焦点面の対象物を特定できる。下記でより詳しく説明するように、血液塗抹は、当該血液塗抹の厚み全体に渡る当該血液塗抹の別々の横方向の(小)区分を定める複数の視野(FoV)および別々の(垂直に重なった)面を定める複数の焦点面を用いて分析できる。本明細書の画像分析システムは、標本中の寄生虫または他の検体の存在、および、いくつかの実施形態では、その種類または段階を正確に特定できる。本明細書に開示されたシステムおよび方法は、生体標本中の1つ以上の検体の1つ以上の自動診断および1つ以上の定量化を、高度に訓練されたヒトの顕微鏡使用者以上の能力レベルで行うことができる。本明細書において、「検体」というタームは特定の化学種に限定されるものではなく、分析対象の標本中の寄生虫(例えば、マラリアなど)、血液成分、または他の対象物のうち1つ以上に少なくとも及ぶものである。本明細書に開示されたシステムおよび方法は、包括的な機械学習フレームワークを提供するものであり、これは、コンピュータビジョンおよび機械学習技術(サポートベクターマシン(SVM)および畳み込みニューラルネットワーク(CNN)を含む)を用いて検体を検出する。
本明細書の画像分析システムおよび関連する方法は、異なる機能を果たすよう構成された複数のモジュール(例えば、プログラムまたはアルゴリズム)を含み、それによって、標本中の感染部の存在または標本の状態を、たとえ低濃度(例えば、低濃度の寄生虫血)でも、ヒトの観察を必要とすることなく、正確に判定できる。前記複数のモジュールは、前処理モジュール、候補検出モジュール、特徴抽出モジュール、分類モジュール、および診断モジュールを含んでよい。わかりやすくするため本明細書では個々の「モジュール」として記載しているが、当該「モジュール」のそれぞれは、少なくとも1つの記憶装置に保存された1つ以上のアルゴリズムまたは当該1つ以上のアルゴリズムに基づいた1つ以上の機械で読み取り可能なプログラムでよく、当該少なくとも1つの記憶装置に操作可能につながれたプロセッサによって実行可能であってよい。前記複数のモジュールは個々のプログラミングモジュールおよびサブモジュールを含んでよく、それらは、少なくとも1つのコントローラ(例えば、コンピュータ)の記憶媒体の中、または、当該少なくとも1つのコントローラの中にある1つ以上のプロセッサであってそれぞれが関連するモジュールの機能を果たすよう構成されたプログラムを有するプロセッサの中に保存されている。
一般に、各モジュールは、コントローラまたはプロセッサに、下記の機能を果たさせるよう構成されている。理解しやすくするために、当該機能の高レベルの概観をだいたいすぐ下に記載するが、各モジュールの具体的な態様は下記にさらに詳しく開示する。
画像前処理モジュールは、複数の画像の適応ホワイトバランス色画像および適応グレースケール強度画像を作成することができる。当該複数の画像は、1つの標本スライドの複数のFoVおよび複数の焦点面(例えば、当該標本スライドの光軸にほぼ垂直な複数の焦点面のそれぞれ)を含む。候補検出モジュールは、画像中の対象物候補の1つ以上の属性(例えば、強度、色の種類、焦点レベル、または他の属性)に少なくとも部分的に基づいて、1つ以上の対象物候補を特定し、同じものに基づいて、1つ以上の人工産物(例えば、標本中の白血球を含む非寄生対象物のような、非検体対象物)を特定し除外することができ、各対象物候補を含む色補正済み画像パッチおよび適応グレースケール強度画像パッチを抽出できる。特徴抽出モジュールは、特定の画像(例えば、特定のFoVおよびその焦点面の1つ以上のベクトル)中の1つ以上の対象物候補の1つ以上のデータセットを特定し出力することができる。特徴抽出モジュールは、前記特定を、対象物候補の最もよい焦点スコアの1つ以上を含むマニュアル特徴、1つのFoV中の複数の焦点面に渡る焦点スコアの標準偏差(または分散の他の尺度)、または赤方偏移スコアに基づいて行うことができる。特徴抽出モジュールは、それに加えてまたはそれに代えて、陽性の標本、陰性の標本、またはそれら両方の、コンピュータによって学習した特徴(例えば、畳み込みニューラルネットワークによって学習した1つ以上のベクトル)を含む1つ以上の自動的特徴に少なくとも部分的に基づいて、1つ以上の画像を特定し出力できる。分類モジュールは、抽出された特徴が、高い確率スコア(検体または人工産物が存在することを示す)を有するかどうかを、既知の肯定的および否定的標本から学習される重み付け(例えば、寄生虫の存在、種類、段階、または種を含む)に少なくとも部分的に基づいて決定し、当該標本中の検体(例えば、寄生虫血)の濃度の推定値を決定するよう構成しうる。
本開示の画像分析システムは、入力として、高解像度撮像装置(例えば、高解像度顕微鏡)から得た生体標本の一連の画像を受け付け、出力として、1つ以上の検体(例えば、寄生虫のような病原体、または血液成分のような自然発生成分)の存在、種、およびカウントに関して、生体標本の状態に関する診断的情報を生成する。
1つの実施形態では、生体標本は、標本(例えば、血液塗抹)の顕微鏡スライドを含み、本明細書の画像分析システムは、1つ以上の得られた標本スライド画像を分析して、その中に1つ以上の検体(例えば、マラリア原虫)が存在するかしないかを判定する。本明細書の画像分析システムは、検体の存在、カウント、および種の特定について、標本スライドを分析する。本明細書に開示されたシステムおよび方法は血液塗抹での使用に限定されないが、血液塗抹は、本開示全体で、コンセプトを例示する実施形態として用いられる。本開示はこれに限定されることなく、他の生体標本にも適用されることを理解されたい。
1つの実施形態では、血液塗抹は、その中の1つ以上の検体(例えば、マラリア)を組織病理学的に診断する前に、ギムザ染色で染色される。ギムザ染色は、メチレンブルー、エオシンY、およびアズールBの組み合わせである。ギムザ染色は、赤血球(以下、「RBC」)をピンクに染色し、白血球核(以降、「WBC」)を暗マゼンタ色に染色する。マラリア原虫核もマゼンタ色に染色されるが、見た目は白血球核ほど暗くはない。マラリア原虫細胞質は、ライトブルーからミディアムブルーに染色される。本明細書に開示されたシステムおよび方法はマラリアの検出に限定されないが、マラリアは、本開示全体で、コンセプトを例示する実施形態として用いられる。本開示はこれに限定されることなく、他の検体にも適用されることを理解されたい。さらに、試験される検体と相補的である、他の染色および染色方法を用いてよい。例えば、適切な染色としては、フィールド染色、 Jaswant Singh Bhattacharya(JSB)染色、リーシュマン染色などが挙げられる。
1つの実施形態では、本明細書のシステムおよび方法を用いて、標本中の検体の検出および定量を、当該検体の形状、色、またはサイズの1つ以上に少なくとも部分的に基づいて行うことができる。いくつかの実施形態では、前記検体は、二つ以上の構造または外見を有してよい。本明細書のシステムおよび方法は、検体の1つ以上の構造、種類、または種を検出または定量するよう構成されてよい。例示的な実施形態として、人間のマラリア原虫は、プラスモジウム属の五つの異なる種、すなわちfalciparum、vivax、ovale、malariae、knowlesiに属する。これらの種のそれぞれの一体一体が、そのライフサイクルにおいて一連の複雑な段階を経る。原虫は各段階で異なる外見を呈するが、本明細書のシステムおよび方法は、前記五つの異なる種のそれぞれの原虫を検出し特定することができる。
図1は、アメリカ国立アレルギー・感染症研究所のご好意により提供されたマラリアのライフサイクル図である。図1の右側は、蚊の体内で生じるマラリア原虫のライフサイクルの各段階を示す。図1の左側は、感染したヒトの体内での各段階を示す。蚊の体内で、マラリア原虫はオスおよびメスの生殖母体として出発する。生殖母体は繁殖して生殖体を生み、それらが最終的に成長し増殖してスポロゾイトとなる。スポロゾイトは蚊の唾液腺へと移り住む。蚊がヒトを噛むと、スポロゾイトが血流に入り、肝臓へと移動し、肝細胞に感染する。スポロゾイトは増殖してメロゾイトとなり、感染した宿主の肝細胞を破壊し、血流に戻る。一体一体のメロゾイトが赤血球に感染し、成長して輪状形態となる。これが、未成熟のトロフォゾイトである。前記輪状形態が成長して、より成熟したトロフォゾイトとなり、最終的にシゾントとなる。各シゾントは分裂して多数のメロゾイトとなり、そのそれぞれが自分の赤血球を探して感染する。このように、繁殖サイクルの無性部分が繰り返される。これを、図1の左上のヒト血球サイクルで示す。メロゾイトのいくらかは生殖母体へと成長でき、それらは、もし噛んだ蚊によって摂取された場合、寄生ライフサイクルを続ける。
異なる種は異なるライフサイクル期間を有し、同じライフサイクル段階においてすら、はっきりと異なる外見を呈する。マラリアの種によって治療法は異なるため、組織病理学的マラリア診断を行う際は、マラリアの種を区別することが重要である。本開示のシステムおよび方法は、マラリアの異なる段階同士またはマラリアの異なる種(または検体)同士を自動的に区別することができる。
図2Aおよび2Bは輪状体原虫の概略図である。輪状原虫は末梢血で一般的に見られる。輪状原虫の外見は大きく異なる。典型的には、輪状原虫は1つ(図2A)または二つ(図2B)のクロマチンドット201を有する。クロマチンドット201は原虫の核物質を含む。クロマチンドット201は、上記したように、ギムザ染色でマゼンタ色に染色される。輪状原虫は少量の細胞質202も含む。細胞質202は、上記したように、ギムザ染色でライトブルーからミディアムブルーに染色される。クロマチンドット201は、典型的には、直径約1μmであり、輪状全体は直径約3μm未満である。本明細書のシステムおよび方法を用いて、約200nm以上の検体を特定または定量することができる。例えば、約200nmから約100μm、約500nmから約10μm、約1μmから約5μm、または約50μm未満の検体である。1つの実施形態では、このような小さな対象物の高品質な画像を得るために、高解像度レンズを有する顕微鏡を用いる。例えば、適切な高解像度顕微鏡は、開口数が約1.2以上の油浸100×対物レンズを有してよい。前記顕微鏡には、カメラのようなデジタル撮像装置を取り付けてよい。本明細書の高倍率の光学システムの被写界深度は、約0.35μm以下(例えば、0.3μm、0.2μm、0.1μm、またはそれらのいずれか同士のあいだの範囲)でよく、一方、血液塗抹はこれより数倍厚くてよい。実施形態では、FoV毎に複数の焦点面を撮影して、血液塗抹の底部と頂部のあいだのどこにでも垂直に位置しうる原虫の焦点画像を撮る。FoV毎に撮られる焦点面の数を、nzと指定する。
図2Cは、1つの実施形態に係る、複数の画像301の概略図である。複数の画像301は、複数の行および複数の列に配置される。画像の行および列が、血液塗抹または他の標本スライドを集合的に定める。例えば、血液塗抹が、y本の行、x本の列、z個の焦点面の集合に配置された複数の画像によってほぼ完全に撮られてよい。撮られたFoVの数をnxyと指定する。各FOVの横方向の広がり(例えば、xおよびy方向の広がり)は、レンズの倍率または撮像装置の画像センサのサイズの1つ以上によって限定される。任意のサイズの血液塗抹は、本明細書の目的に適した画像解像度を提供するのに複数のFoVを必要としてよい。各FoVは、当該FoVに対応する複数の焦点面画像を含んでよい。例えば、複数の画像中の1つのx、y座標に対応する1つのFoVは、それぞれのFoVにおいて画像が撮られた焦点面の数に対応するz個の焦点面画像を含んでよい。すなわち、1つのFoVに対応する特定の画像を、固有のxおよびy座標によって指定し、焦点面を、当該FoV中の固有のz座標によって指定することができる。各画像(例えば、特定のFoVおよび焦点面)は、その中に多数の画像パッチを含んでよい。画像パッチは、その中に1つ以上の対象物候補を含むFoVの(特定の焦点面の)横方向の小区分であり、血液標本のさらに小さな小区分を定める。本明細書に開示されたシステムおよび方法は、nxy個のFoVおよびnz個の焦点面から成る複数の画像を用いて標本中の検体を特定し定量する。
いくつかの実施形態では、本明細書の顕微鏡によって撮られたFoVのサイズは、10000μm2以上のサイズ、例えば、10000μm2から約20000μm2のサイズでよい。いくつかの実施形態では、本明細書の顕微鏡によって撮られたFoVのサイズは、約10000μm2未満、例えば、1000μm2から約10000μm2でよい。約10000μm2のFoVは、厚い血液塗抹標本中の約3×10−4μLの血液に相当する。100匹の原虫/μLの寄生虫血を有するマラリア患者の血液塗抹の1つのFoV中の原虫の数をポワソン分布すると、平均で、FoV毎に3×10−2匹の原虫を含むことになる。
いくつかの実施形態では、300個以上のFoVを撮って、低濃度の寄生虫血における原虫の信頼性の高い検出およびカウントのための十分な統計データを得てよい。例えば、約300から2000個のFoVを撮ってよい。あるいは、約500から1000個のFoVを撮ってよい。いくつかの実施形態では、300個以下のFoVを撮って、低濃度の寄生虫血における原虫の信頼性の高い検出およびカウントのための十分な統計データを得てよい。例えば、約10から300個のFoVを撮ってよい。あるいは、約50から200個のFoVを撮ってよい。特定の検体に対する検出可能な最も低い寄生虫血レベルを、検出限界(LoD)と呼ぶ。一般的に言って、撮られるFoVの数が多くなるほど、LoDは低くなる。
上記の段落は、本明細書に開示された画像分析システムへの入力となる画像の諸特徴の概観を提供する。
図3Aは、一実施形態に係る、標本中の1つ以上の検体を自動的に検出し定量するシステム300の複数のモジュールの概略図である。前記複数のモジュールは、標本中の原虫の存在を判定するよう集合的に構成された複数のアルゴリズムまたは当該複数のアルゴリズムを含む(例えば、電子的に含む)複数のコントローラでよい。図3Bおよび3Cはそれぞれ、システム300の1つのモジュールに入力された複数の画像301の概略図、および、当該モジュールからの複数の出力画像311の概略図である。
図3Aを参照すると、前記1つ以上のモジュールは、画像前処理モジュール310、対象物候補検出モジュール320、特徴抽出モジュール330、対象物分類器モジュール340、および診断モジュール350を含む。上記したように、本明細書のモジュールおよびサブモジュールは、少なくとも1つの記憶保持装置(例えば、コンピュータのハードドライブ)に保存された1つ以上のアルゴリズムおよび機械で読み取り可能なプログラムを指してよく、当該少なくとも1つの記憶保持装置に操作可能につながれた少なくとも1つのプロセッサによって実行できる。本明細書に記載するモジュールおよびサブモジュールは、同様に、標本中の1つ以上の検体を自動的に検出し定量する方法における工程を指してよい。
前記システムへの入力301は、標本スライドの1つ以上のFoV画像を含んでよい。nxy個のFoVがあり、そのそれぞれがnz個の焦点面を含み、各焦点面は赤色、緑色、および青色のチャンネル画像を含む(図3Bを参照)。
図3Aに示す実施形態において、システム300は、画像前処理モジュール310において、複数の画像301を入力として受け取ってよい。複数の画像301は、複数のFoVと、および、FoV毎に複数の焦点面を含んでよい。画像前処理モジュール310は、複数の出力画像311を出力してよく、当該複数の出力画像311は色補正済み画像と適応グレースケール強度画像を含んでよい。複数の色補正済み画像および適応グレースケール強度画像を、対象物候補検出モジュール320および特徴抽出モジュール330において、入力として受け取ってよい。対象物候補検出モジュール320は色補正済み画像および適応グレースケール強度画像を受け取り、対象物候補およびそのnz個の焦点面すべてを含む色補正RGB画像パッチ321を出力する。特徴抽出モジュール330は、入力として、(出力画像311中の複数の色補正済み画像および適応グレースケール強度画像に基づく)色補正RGB画像パッチ321を受け取る。特徴抽出モジュール330は、色補正RGB画像パッチ321および適応グレースケール強度画像パッチ中の対象物候補の特徴ベクトル331を抽出し出力する。特徴ベクトルは、対象物を表わす数値特徴の多次元ベクトルである。言い換えれば、特徴ベクトルは、当該対象物の1つ以上の特徴(例えば、色、サイズ、位置など)を述べる1つ以上の変数を含むベクトル表現である。対象物分類器340は特徴ベクトル331を入力として受け取り、各対象物候補の分類に対応する分類済対象物データ341を検体または人工産物として出力する。分類済対象物データは、診断モジュール350で入力として受け取られる。当該診断モジュール350は、前記標本に対して診断を行って提供する。診断モジュールは、診断351および検体(例えば、低濃度の寄生虫血)の相対濃度を出力してよい。画像分析システムモジュール310、320、330、340、および350のそれぞれを以下に詳述する。
上記したように、いくつかの実施形態では、血液標本毎に、少なくとも300個のオーダーでFoVを撮ることができる。これらの画像のすべてが白色部分を含んでいるわけではなく、したがって、個々のFoV画像すべてにホワイトバランス変換をすると、色の歪みが生じる可能性がある。この問題を解決するために、顕微鏡スライドの白色部分の1つ以上の画像を個別に得てホワイトバランス変換を決定することができる。しかし、これは、ワークフローに、余分なスキャン工程を導入する。
本明細書のシステムおよび方法は、各FoVに、その最も明るい画素に従って白色バランス処理を受けさせ、導入される色の歪みをそれによって避けるものである。本明細書のシステムおよび方法はまた、余分な工程としてスライドの鮮明な領域を追加でスキャンする必要がない。
図3A中の画像前処理モジュール310は、多数のFoVを横断して最も明るい画素を集めることにより、標本に対するホワイトバランス変換を決定するよう構成してよい。図4は、画像前処理モジュール310のブロック図を示す。1つの実施形態では、複数の入力FoV画像301の全体の部分集合401を、サブモジュール400でアトランダムに選択する。複数のFoV画像401の部分集合中のFoVの数は十分に大きいので、画素の集合中に鮮明な領域を含む確率は1に近似する。複数のFoV画像401の部分集合は、サブモジュール410によって、式2中の公式によって定められる色補正された赤色、緑色、および青色のチャンネル画素値の重み付けされた合計を用いて、標準グレースケール強度画像411に変換される。
本明細書に開示された、重なりの最小化は、標準グレースケール強度画像で検出するのが簡単で原虫核物質と同様に染色される血液成分の存在を利用する。
上記したように、ギムザ染色により、輪状原虫核物質はマゼンタ色に染色される。特に、核物質は、一般に、周囲の背景物質より暗い。周囲の背景物質は、ギムザ染色プロセスで用いられた水の作用で溶解した赤血球(RBC)と、血小板のような他の血液成分とから成る。この背景物質は、ライトピンクからミディアムブルーまで、広範囲なスペクトルの色に染色されうる。原虫(血液が原虫に感染している場合)、溶解したRBC、および血小板に加えて、WBCが血液塗抹に遍在している。上記したように、WBC核はギムザ染色で暗マゼンタ色に染色する。これは原虫核物質と同じ色であるが、染色したWBC核は、大部分が、染色した原虫核より暗い。WBC核の方が原虫核より大きく、より多くの光を吸収するからである。WBC核は検出し分類するのが比較的容易である。これは、WBC核が大きく、形が均一で、暗マゼンタ色だからである。したがって、いくつかの実施形態では、WBC核は、検出が容易な原虫核の類似物となりうる。本明細書のシステムおよび方法は、標準グレースケール強度画像に対して暗色閾値を適用し、それから、面積フィルタ、色フィルタ、形状フィルタの1つ以上を用いて、WBC核を十分に高い感度と特異度で得る。
図4の画像前処理モジュールの概略図をふたたび参照すると、WBC検出サブモジュール420が、上で概説した単純なWBC検出アルゴリズムを用いてグレースケールFoV画像411の部分集合に適用され、それによって、どの画像画素がWBC核の一部なのかを示す一連のバイナリ画像421を生成する。サブモジュール430は、検出されたWBC核画素431のR値、G値、B値のランダムなサンプルを集め、それらをデータ保存部に保存する。WBCの一部でない画素は、潜在的な背景画素として分類される。暗い画素は背景画素から除外して、当該背景画素が、原虫核画素(小さすぎるのでWBC検出器で検出されない)または染色された人工産物(例えば、RBC、血小板など)に対応する暗い領域からの画素によって汚染されないようにする。本明細書のシステムおよび方法は、適格な背景画素441のランダムなサンプルを集めてデータ保存部に保存できるサブモジュール440を含んでよい。
上記したように、一個のFoVに位置する原虫は、撮られたnz個の焦点面のいずれにおいても最も焦点が合っていることができる。図7は、複数の焦点面を有するFoV同士を隣り合わせて比較したものである。一方のFoVは検体(例えば原虫)を、他方のFoVは人工産物(例えば血小板)をその中に含む。本明細書の画像分析システムは、入力されたFoV毎にすべての焦点面を調べて、潜在的な原虫の位置を見つけるよう構成されている。原虫の外見は、焦点面画像毎に異なる。各FoVは、1個以上の焦点面、例えば、1個、2個、3個、4個、5個、6個、7個、8個、9個、または9個を超える焦点面を含んでよい。図7の左列は、nz=7の焦点面(例えば、7個の異なる焦点面)を有する実施形態における、原虫を含む一個のFoVの小部分を示す。いくつかの実施形態では、対象物候補(例えば斑点)を示す画素の1つ以上のクラスタを、原虫の付近の1個以上の焦点面において、例えば当該焦点面のそれぞれに適応グレースケール強度画像用の閾値を適用することによって検出する。このようにして、対象物候補を、背景より暗い人工産物の付近で、例えば血小板の付近で、検出することができる。図7の右列は、原虫ではなく、むしろ人工産物(例えば、血小板または染料の塊でありうる)である対象物候補を含む一個のFoVの小部分を示す。
B.対象物候補検出モジュール
図8は、図3Aにも示された対象物候補検出モジュール320の概略図である。複数の出力画像311(例えば、複数の色補正済みRGB画像と複数の適応灰色画像との画像群)が、対象物候補検出モジュール310に入力される。当該対象物候補検出モジュール310は、それぞれが以下に述べるように構成された複数のサブモジュールを備えることができる。サブモジュール810は、前記複数の適応グレー画像に対して閾値処理を行い、1つ以上の検出マスク811を出力することができる。サブモジュール820は、1つの対象物候補を示す複数の検出された画素クラスタ(以降「斑点」と呼ぶ)であって(<x、y>画像座標において)互いに近い画素クラスタを、1つの対象物候補の一部として関連させ、複数の対象物クラスタ821の位置を出力するように構成することができる。サブモジュール830は、検出された対象物候補を含む画像パッチ(例えば、対象物候補を有するFoVの小区分)に対して、焦点スコアが最も高い焦点面を決定することによって、各対象物候補またはその一部にとっての最良の焦点面831を見出すように構成することができる。前記サブモジュール830は、各対象物候補に対して、焦点スコアが最も高い1個以上の焦点面831を決定し、選択し、出力することができる。1つの実施形態において、ブレナースコアを用いて最良の焦点面831を見出すことができ、これをz*と称する。別の焦点スコアも、別の実施形態において使用することができる。図7に示した実施形態において、z*=5は、図の左列の対象物候補(原虫)にとって最良の焦点面である。図7の右列の対象物候補(人工産物)にとっての最良の焦点面は、z*=4である。また、サブモジュール830は、最良の焦点面内の最も暗い斑点を識別し、この斑点が目的の対象物候補を示すとみなす(例えば、判定する、推測する、または少なくとも一時的に指定する)。別の実施形態においては、最も円に近い斑点が、目的の対象物候補を示すと指定される。斑点が円に近ければ近いほど、より高い確率でマラリア原虫またはその一部(例えば、細胞質あるいは核)に相当するかもしれない。さまざまな実施形態において、その他の特質または特質の組み合わせを用いて、代表的な斑点を選択する。図7の左列のz*=5および右列のz*=4のそれぞれの斑点の中央には、十字線が記されている。
図8は、図3Aにも示された対象物候補検出モジュール320の概略図である。複数の出力画像311(例えば、複数の色補正済みRGB画像と複数の適応灰色画像との画像群)が、対象物候補検出モジュール310に入力される。当該対象物候補検出モジュール310は、それぞれが以下に述べるように構成された複数のサブモジュールを備えることができる。サブモジュール810は、前記複数の適応グレー画像に対して閾値処理を行い、1つ以上の検出マスク811を出力することができる。サブモジュール820は、1つの対象物候補を示す複数の検出された画素クラスタ(以降「斑点」と呼ぶ)であって(<x、y>画像座標において)互いに近い画素クラスタを、1つの対象物候補の一部として関連させ、複数の対象物クラスタ821の位置を出力するように構成することができる。サブモジュール830は、検出された対象物候補を含む画像パッチ(例えば、対象物候補を有するFoVの小区分)に対して、焦点スコアが最も高い焦点面を決定することによって、各対象物候補またはその一部にとっての最良の焦点面831を見出すように構成することができる。前記サブモジュール830は、各対象物候補に対して、焦点スコアが最も高い1個以上の焦点面831を決定し、選択し、出力することができる。1つの実施形態において、ブレナースコアを用いて最良の焦点面831を見出すことができ、これをz*と称する。別の焦点スコアも、別の実施形態において使用することができる。図7に示した実施形態において、z*=5は、図の左列の対象物候補(原虫)にとって最良の焦点面である。図7の右列の対象物候補(人工産物)にとっての最良の焦点面は、z*=4である。また、サブモジュール830は、最良の焦点面内の最も暗い斑点を識別し、この斑点が目的の対象物候補を示すとみなす(例えば、判定する、推測する、または少なくとも一時的に指定する)。別の実施形態においては、最も円に近い斑点が、目的の対象物候補を示すと指定される。斑点が円に近ければ近いほど、より高い確率でマラリア原虫またはその一部(例えば、細胞質あるいは核)に相当するかもしれない。さまざまな実施形態において、その他の特質または特質の組み合わせを用いて、代表的な斑点を選択する。図7の左列のz*=5および右列のz*=4のそれぞれの斑点の中央には、十字線が記されている。
図8を参照すると、サブモジュール840は、各対象物候補における主な斑点の複数の特質841を判定する(例えば、計算する)ように構成されている。面積、丸さ、グレースケール強度等の特質は、サブモジュール840によって計算される。サブモジュール850は、判定された前記複数の特質に少なくとも部分的に少なくとも部分的に基づいて、それらの対象物候補にフィルタをかけるように構成することができる。判定された前記複数の特質に少なくとも部分的に基づいてそれらの対象物候補にフィルタをかけることによって、851で示された対象物候補の集合における人工産物の数が減らされる。サブモジュール850は、1つ以上の特質に少なくとも部分的に基づいて、それらの対象物候補に対してスコアをつけるように構成された人工産物分類器として構成することができる、または当該人工産物分類器を備えることができる。サブモジュール850は、本明細書に開示された、判定された前記複数の特質のいずれかの1つ以上に基づいて、対象物候補のスコアを決定するように構成することができる。当該スコアの例としては、1つ以上の対象物候補の1つ以上の特性(強度、色、形、サイズ等)に少なくとも部分的に基づいて、当該対象物候補が検体である確率に関するスコアが挙げられる。サブモジュール850は、閾値スコア未満のスコアを有する対象物候補を放棄するように構成することができる。
サブモジュール850の前記人工産物分類器は、(検体または非検体であるとの)グラウンドトゥルース識別が注釈工程を通して知られている対象物の画像を用いて、事前にトレーニングすることができ、それによって、原虫はヒトの専門家によって事前に印がつけられる。前記注釈工程は、多数の原虫の<x、y>位置および最良の焦点面<z>を記憶する。既に知られている原虫の位置に近い対象物候補は、原虫を表わすとみなされる。既に知られている原虫の位置に近くない対象物候補は、人工産物を表わすとみなされる。既知の原虫および人工産物の特質およびグラウンドトゥルース分類を用いて、前記人工産物分類器850を事前にトレーニングする。1つの実施形態において、前記人工産物分類器は、非線形カーネルSVMとして構成される。その他の実施形態においては、別の分類器が用いられる。サブモジュール860は、フィルタをかけられたそれらの対象物候補の複数の画像パッチ861を抽出かつ出力するように構成することができる。前記複数の画像パッチ861は、対象物候補を含む前記複数の色補正済みRGB画像および前記複数の適応グレースケール強度画像の小区分である。これらの画像パッチ861(図3Aの321)は、図3Aでブロック330として示された特徴抽出モジュールに出力される。
C.特徴抽出モジュール
図9は、図3Aにも示された特徴抽出モジュール330の概略図である。前記特徴抽出モジュール330は、各対象物候補を特徴ベクトルとして示し、当該特徴ベクトルを出力するように構成されている。当該特徴ベクトルは、図3Aの対象物分類器モジュール340によって原虫または人工産物に(さらには当該原虫の種類または段階をも)分類されうる。前記特徴抽出モジュール330は、図9に示すように、2種類の特徴のうちの少なくとも1種類の特徴を計算するように構成されている。当該特徴は、マニュアル特徴またはオートマチック特徴でありうる。前記特徴抽出モジュール330は、2組の入力を受け付ける。2組のうちの1組は、前記マニュアル特徴を抽出するためのものであり、もう一方の1組は、前記オートマチック特徴を抽出するためのものである。前記特徴抽出モジュール330は、二つのモードの一方で、すなわち、マニュアル特徴抽出をオンにしたモードまたはマニュアル特徴抽出をオフにしたモードで動作することができる。さまざまな実施形態において、マニュアル特徴抽出はオンオフを切り替えることができるが、オートマチック特徴抽出は常にオンである。
図9は、図3Aにも示された特徴抽出モジュール330の概略図である。前記特徴抽出モジュール330は、各対象物候補を特徴ベクトルとして示し、当該特徴ベクトルを出力するように構成されている。当該特徴ベクトルは、図3Aの対象物分類器モジュール340によって原虫または人工産物に(さらには当該原虫の種類または段階をも)分類されうる。前記特徴抽出モジュール330は、図9に示すように、2種類の特徴のうちの少なくとも1種類の特徴を計算するように構成されている。当該特徴は、マニュアル特徴またはオートマチック特徴でありうる。前記特徴抽出モジュール330は、2組の入力を受け付ける。2組のうちの1組は、前記マニュアル特徴を抽出するためのものであり、もう一方の1組は、前記オートマチック特徴を抽出するためのものである。前記特徴抽出モジュール330は、二つのモードの一方で、すなわち、マニュアル特徴抽出をオンにしたモードまたはマニュアル特徴抽出をオフにしたモードで動作することができる。さまざまな実施形態において、マニュアル特徴抽出はオンオフを切り替えることができるが、オートマチック特徴抽出は常にオンである。
特徴抽出への第1のアプローチは、コンピュータビジョンフィールドでのマニュアル特徴抽出または特徴の処理である。これらは、対象物候補の複数の特定の特質を測定するように意図的に設計された複数の特徴であって、学習済みの(例えば、既知の、または前もってプログラムされた)領域知識に大いに依存する複数の特徴である。
複数のマニュアル特徴に対する複数の入力901は、前記対象物候補を含む複数の色補正済みRGB画像パッチおよびそれらのnz個の焦点面すべてである。前記特徴抽出モジュール330のサブモジュール910は、3つのマニュアル特徴911を前記特徴ベクトルに与える。
前記3つのマニュアル特徴911のうちの第1のマニュアル特徴は、前記対象物候補の最良の焦点スコア(例えば、ブレナースコア)である。ふたたび図7を参照すると、nz個の焦点面のそれぞれにおける画像パッチ領域に対して焦点スコアが計算され、最良の焦点面は焦点スコアが最も高い焦点面である。前記3つのマニュアル特徴911のうちの第2のマニュアル特徴は、前記対象物候補の特徴を有する1個のFoVの複数の焦点面における前記焦点スコアの標準偏差(および/または分散のその他の測定)である。この背景にある動機は、試料における気泡および塵粒子等の人工産物の中には、全く焦点が合っていないものがあるため、全ての焦点面において同じ焦点スコアを有するものがあるが、一方、輪状体のマラリア原虫(またはその他の検体)は、最良の焦点面を中に含む焦点スコア分布が狭く、そのため焦点スコアの標準偏差が小さいということである。
サブモジュール910は、赤方偏移スコア(本明細書で用いられる赤方偏移という用語は、記述用語であって、ドップラー効果によって引き起こされる赤方偏移現象とは関係がない)と呼ばれる、前記3つのマニュアル特徴911のうちの第3のマニュアル特徴を抽出するように構成することができる。前記赤方偏移スコアは、原虫と人工産物とを区別するのに役立つ。前記赤方偏移スコアは、2つの概念の集合に基づく。前記2つの概念のうちの第1の概念は、光学分散であって、波長による屈折率の変動を指す。このことは、補正されていない単体レンズが、異なる波長の光の焦点を異なる焦点面(例えば、当該レンズからの異なる距離)に合わせることを意味する。
図10Aは、単体レンズによって屈折されて異なる焦点面に達する光線を示し、図10Bは、色収差補正レンズによって屈折されて異なる焦点面に達する光線を示す。図10Aは、スペクトルの赤色部分、緑色部分および青色部分それぞれにおける代表的な波長の光線を示しており、それらの光線は、面1001、面1002および面1003にそれぞれ焦点を合わせるようになる。光線が単体レンズ1010を通過すると、赤色波長、緑色波長および青色波長のそれぞれの光は屈折して異なる焦点面に達する。図10Cは、単体レンズの焦点‐波長曲線1030を示す。前記面1001、前記面1002および前記面1003に焦点を合わせるようになる前記光線の代表的な焦点面はそれぞれ、前記曲線1030上の点1031、点1032および点1033によって示される。
色収差補正レンズは、分散によって引き起こされる色収差量を制限するのに役立つ。図10Bは、スペクトルの赤色部分、緑色部分および青色部分におけるそれぞれの代表的な波長とともに、色収差補正レンズを示す。当該色収差補正レンズとしては、例えば、凹型の非色収差部材1020(例えば、フリントガラス部材)に凸型の単体レンズ部材1010(例えば、クラウンガラス部材)を搭載または接着したものを挙げることができる。色収差補正レンズは、2つの波長が同じ面(例えば、図10Bに示された面1005)で焦点を結ぶように設計されている。示されたように、いくつかの実施形態においては、前記2つの波長がスペクトルの赤色部分および青色部分にある。
図10Cは、色収差補正レンズの焦点‐波長曲線を曲線1040として示す。1004および1005に焦点を合わせるようになる光線の代表的な焦点面はそれぞれ、前記曲線1040上の点1044および点1045によって示される。図10Cから、スペクトルの赤色領域(640nm〜700nm)における前記曲線1040の部分は、青色領域(450nm〜500nm)における前記曲線1040の部分よりより緩やかに上向きに傾斜していることがわかる。このように、顕微鏡における焦点設定は、グラフの上部に向かうにつれて、青色光の焦点は、赤色光の焦点に比べてより速く合わなくなるだろう。緑色光は、顕微鏡の焦点が前記グラフにおいて上向きに変位するにつれて、光の赤色成分または青色成分ほど速く焦点が合わなくなることはない。このことは、図10Cの前記曲線1040の、スペクトルの緑色領域にある底の相対的平坦さからわかる。前記第1の概念は、顕微鏡の焦点を調節するにつれて生じる光の焦点面におけるこのような変位に基づく。
前記赤方偏移スコアが基づく、前記2つの概念のうちの第2の概念は、ギムザ染色等で染色された検体(例えば、DNA)の光吸収特性である。図11は、スペクトルの緑色領域における吸収ピークを示す、吸収スペクトル1101のグラフである。メチレンブルーとエオシンYとの配合体による緑色光の吸収は、DNAの存在下で増大される。このことは、DNAを含む顕微鏡スライド上の物質――例えば、細胞核――が、緑色光を大部分吸収し、赤色光および青色光を透過することを意味する。このことは、透過光顕微鏡検査において、当該物質がマゼンダ色を呈することを説明する。人工産物はDNAを含まないため、スペクトルの緑色部分における光の吸収が少ない傾向にある。したがって、人工産物は、画像においてマゼンダ色を呈さない。
顕微鏡の焦点面が上方へ移るにつれて、赤色波長の光の焦点に比べて青色波長の光の焦点がより速く合わなくなるという上述の観測から、以下のように述べられる。すなわち、光の青色成分がより広い空間領域に拡散してしまう度合いが赤色光よりも大きいため、マゼンダ色の対象物はより赤く見えることになる。これが、検出された対象物候補の最も暗い部分の赤みの増加を測定する、赤方偏移スコアの原理である。なお、真のマラリア原虫の場合、当該対象物候補は、原虫細胞の細胞核である。赤色光、緑色光および青色光をより均等に透過する人工産物は、顕微鏡の焦点が上方へ移動するにつれて、より赤くなることはないだろう。それによって、上述した赤色成分および青色成分の赤方偏移効果が相殺される。このようにして、前記赤方偏移スコアは、原虫と人工産物とを区別する原理を提供する。
本願明細書に開示したシステムおよび方法は、赤方偏移に関して複数の対象物候補画像を分析し、その分析に基づいてスコアを提供するように構成されている。マニュアル特徴抽出サブモジュール910(および関連する顕微鏡)は、上述したように、赤方偏移スコアを決定するように構成することができる。DNA、マラリア原虫および赤色が、一例として提供されているが、赤方偏移スコアの概念は、限定なく別の色や検体に適用することができる。
前記特徴抽出モジュールによって抽出される別の特徴としては、少なくとも1つの記憶装置と少なくとも1つのプロセッサとを含むシステム(例えば、畳み込みニューラルネットワーク(CNN))が自動的に学習することができるオートマチック特徴がある。CNNは、いくつものレベルの表示を学習する(コンピュータシステムによって適用される)深層学習モデルである。未処理の入力層から始まり、連続する層のそれぞれ(例えば、畳み込み層、プーリング層、サブサンプリング層、または、全結合層)は、少しだけより抽象的なレベルで画像における情報を表わす。各層における重み(フィルタ)は、誤差の後方への伝播(バックプロパゲーション)等の標準学習法を用いて学習される。CNNにおいて、(計算の)各層は、複数の互いに異なるニューロン(処理モジュール)によって行われ、各畳み込み層内のニューロンは、前記システムの隣接する層内のニューロンの全てとは十分に相互結合していない。むしろ、前記畳み込み層内の前記ニューロンは、隣接する畳み込み層と選択的な結合性を有するだけであって、それにより、連続する畳み込み層を通しての入力の量を減少させる。各畳み込み層において、畳み込みカーネルは、前層のニューロンとの結合性の領域を規定する。当該畳み込みカーネルは、前記畳み込み層のニューロンの受容野と呼ばれることもある。前記CNNの最終層のうち1層以上は、直前の層との完全な結合性を有する全結合層であって、直前の層から提供された(前記諸層を通して繰り返し抽出されてきた)データに基づいて高度な推論を効果的に行う。いくつかの実施形態において、グラウンドトゥルース(例えば、グラウンドトゥルース対象物を含み、ヒトの専門家によって識別されてきた画像パッチ)を用いて、学習手順を通して前記CNNの重みをトレーニングするのに用いることができる。CNNは、1つ以上のプロセッサ(例えば、中央処理装置(CPU)またはグラフィック処理装置(GPU))を備えたコンピュータによって保存かつ実行することができる。グラウンドトゥルース画像または画像パッチとしては、(例えば、目的の検体を有すると前記CNNに対して確認された)既知の陽性の標本や、(例えば、検体を有さない、または既知の人工産物のみあるいはその他の非検体のみを有すると前記CNNに対して確認された)既知の陰性の標本を挙げられる。したがって、前記CNNは、重みを既知の検体種と被検体種の両方から学習することができ、当該重みを標本中の同一物を特定するのに用いることができる。
1つの実施形態において、デジタルレコーダーと動作可能に連結された顕微鏡等のコンピュータビジョンシステムは、CNNと動作可能に連結することができる。そのようなシステムは、正確さの点でヒトレベルの能力を超えることができる。オートマチック特徴抽出サブモジュール920は、重みのフィードフォーワード適用、プーリング、および非線形演算に少なくとも部分的に基づいて特徴抽出を行うように構成することができる。
モデルが豊富なため、CNNをトレーニングするには大量のデータが必要である。トレーニングのためのデータが不十分だと、過学習が起こる可能性があり、過剰適合が起こると、一般化する能力が低下する。いくつかの実施形態において、本明細書のシステムおよび方法は、トレーニングデータそれ自体に少なくとも部分的に基づいて人工データを作成することによって、当該トレーニングデータの量を増やすことができる。このプロセスは、拡張と称される。拡張は、トレーニング画像に適用される1つ以上のランダム変換の形をとることができる。拡張変換の例としては、平行移動、回転、拡大縮小、反転、および色歪みが挙げられる。
前記乱数r1、r2、r3、およびr4は、画像毎に、拡張毎に一度サンプリングされる。したがって、Rチャンネル、Gチャンネル、Bチャンネル、および強度φチャンネルのそれぞれは、個別でも集合的にも拡張することができ、それによって、本明細書のシステムおよび方法とともに使用するのに適したCNNをトレーニングするためのデータのサンプリングをより多く提供することができる。
ふたたび図9を参照すると、複数の画像パッチ921は、CNN特徴抽出装置930に入力される。いくつかの実施形態において、データ拡張スキームを用いて拡張されたグラウンドトゥルース画像パッチ群を用いて、前記CNNが検体あるいは非検体物を認識するようトレーニングできる。つまり、未処理の画像またはその一部(例えば、画像パッチ)は、上述したように、平行移動、回転、拡大縮小、反転、およびガンマに基づいた色歪みを用いて拡張される。いくつかの実施形態において、(前記CNNに関連した)前記少なくとも1つのプロセッサは、本明細書に開示された前記方法のいずれかに従って拡張された、グラウンドトゥルース画像パッチ群、色補正済み画像パッチ群、またはグレースケール強度画像パッチ群のうちの1つ以上に少なくとも部分的に基づいて、重み群を学習するように構成されている。例えば、前記グラウンドトゥルース画像パッチ群は、前記グラウンドトゥルース画像パッチ群の赤色成分、緑色成分、青色成分およびグレースケール強度成分のうちの1つ以上のランダムガンマ補正を含むデータ拡張スキームによって拡張することができる。いくつかの実施形態において、各対象物候補にとっての最良の焦点面における複数の画像パッチが、CNNトレーニングのために提供される。別の実施形態においては、全焦点面の複数の画像パッチがCNNトレーニングのために提供される。いくつかの実施形態において、前記少なくとも1つのプロセッサは、拡張スキームを用いて複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを拡張するように構成されている。いくつかの実施形態において、前記複数の色補正済み画像パッチおよび前記複数の適応グレースケール強度画像パッチの出力は、拡張スキームを用いて前記複数の色補正済み画像パッチおよび前記複数の適応グレースケール強度画像パッチを拡張させることを含むことができる。いくつかの実施形態において、前記CNN特徴抽出装置の検査フェーズ中に拡張は行われない。別の実施形態においては、検査フェーズ中に拡張が行われ、分類器モジュール(図3Aのブロック340参照)の出力は、各検査標本の拡張バージョンに対して平均される。いくつかの実施形態において、前記少なくとも1つのプロセッサは、前記複数の色補正済み画像パッチおよび前記複数の適応グレースケール強度画像パッチのそれぞれの拡張バージョンに対応する特徴ベクトルに対して機械学習分類器の出力を平均するように構成されている。
前記CNN特徴抽出サブモジュール930が出力するのは、特徴ベクトルの複数のCNN成分931である。マニュアル特徴とCNN特徴との両方を利用する1つの実施形態において、複数のマニュアル特徴911および複数のCNN特徴931は、連結されて完全出力特徴ベクトル941を形成することができる。マニュアル特徴を用いない実施形態において、前記マニュアル特徴抽出サブモジュール910は実行されず、複数のマニュアル特徴911は前記出力特徴ベクトル941の前に付加されない。
図3Aのシステム図に戻ると、前記特徴抽出モジュール330が出力するのは、複数の対象物候補の複数の特徴ベクトル331である。
D.対象物分類器モジュール
前記対象物分類器モジュール340は、前記複数の特徴ベクトル331を検体(例えば、原虫)または人工産物に相当するものとして分類するように構成されている。前記対象物分類器モジュール340は、機械学習分類器を用いて、前記複数の特徴ベクトル331または前記特徴ベクトル抽出モジュール330からの出力を原虫または人工産物として分類するように構成されている。前記機械学習分類器は、1つ以上の記憶媒体に記憶されたプログラムであって、コンピュータシステムまたはネットワーク等における1つ以上のプロセッサによって実行可能なプログラムであってもよい。前記対象物分類器モジュール340は、前記のように開示した原虫グラウンドトゥルースデータを用いて、前記に開示したようにトレーニングしてよい。前記対象物分類器モジュール340の別の実施形態は、別の種類の分類器を含むことができる。ある実施形態においては、前記対象物分類器モジュール340は、線形サポートベクターマシンとして構成される。例えば、線形サポートベクターマシンは、線形サポートベクトル分類を行うように構成されたコンピュータデバイスを含みうる。さまざまな実施形態において、前記対象物分類器モジュール340は、以下の種類の分類器の1つ以上として構成することができる。非線形カーネルサポートベクターマシン、ニューラルネットワーク、ロジスティック回帰、ランダムフォレスト決定木、勾配ブースティング決定木、アダブースト、および単純ベイズ分類器。
前記対象物分類器モジュール340は、前記複数の特徴ベクトル331を検体(例えば、原虫)または人工産物に相当するものとして分類するように構成されている。前記対象物分類器モジュール340は、機械学習分類器を用いて、前記複数の特徴ベクトル331または前記特徴ベクトル抽出モジュール330からの出力を原虫または人工産物として分類するように構成されている。前記機械学習分類器は、1つ以上の記憶媒体に記憶されたプログラムであって、コンピュータシステムまたはネットワーク等における1つ以上のプロセッサによって実行可能なプログラムであってもよい。前記対象物分類器モジュール340は、前記のように開示した原虫グラウンドトゥルースデータを用いて、前記に開示したようにトレーニングしてよい。前記対象物分類器モジュール340の別の実施形態は、別の種類の分類器を含むことができる。ある実施形態においては、前記対象物分類器モジュール340は、線形サポートベクターマシンとして構成される。例えば、線形サポートベクターマシンは、線形サポートベクトル分類を行うように構成されたコンピュータデバイスを含みうる。さまざまな実施形態において、前記対象物分類器モジュール340は、以下の種類の分類器の1つ以上として構成することができる。非線形カーネルサポートベクターマシン、ニューラルネットワーク、ロジスティック回帰、ランダムフォレスト決定木、勾配ブースティング決定木、アダブースト、および単純ベイズ分類器。
前記対象物分類器モジュール340の出力は、対象物候補が原虫(例えば、検体)または人工産物であるという校正確率を含みうる。前記対象物分類器モジュール340は、分類済み対象物データ341(図3A)を出力するように構成されている。当該分類済み対象物データ341は、1つ以上のグラウンドトゥルース対象物と1つ以上の対象物候補との類似性に相当する(例えば、類似度を示す)1つ以上のスコアを含みうる。当該類似性は、前記対象物候補(またはその1つ以上の特徴)が原虫等の検体(またはその1つ以上の特徴)であるという確率として表すことができる。いくつかの実施形態において、前記対象物分類器モジュール340(機械学習分析器)は、各入力画像パッチの拡張バージョンに相当する1つ以上の特徴ベクトルに対して前記機械学習分析器の出力(例えば、確率)を平均することによって、前記1つ以上の特徴ベクトルを分類するように構成することができる。
F.ハードウェアシステム
図12は、一実施形態に係る、標本中の検体の存在を判定するシステム1200の概略図である。いくつかの実施形態において、前記システム1200は、本明細書に開示されたアルゴリズムまたはその他の動作のいずれかの1つ以上を実行するように構成することができる。前記システムは、コンピュータデバイス1202を備えることができる。いくつかの実施形態において、前記コンピュータデバイス1202は、少なくとも1つの記憶媒体1210と少なくとも1つのプロセッサ1220とを備えることができる。いくつかの実施形態において、前記コンピュータデバイス1202は、ユーザーインターフェース1230を備えることができる。前記システム1200は、当該システムと動作可能に連結された撮像装置1240を備えることができる。当該システムの構成要素の特徴は、以下でより詳しく記載する。
図12は、一実施形態に係る、標本中の検体の存在を判定するシステム1200の概略図である。いくつかの実施形態において、前記システム1200は、本明細書に開示されたアルゴリズムまたはその他の動作のいずれかの1つ以上を実行するように構成することができる。前記システムは、コンピュータデバイス1202を備えることができる。いくつかの実施形態において、前記コンピュータデバイス1202は、少なくとも1つの記憶媒体1210と少なくとも1つのプロセッサ1220とを備えることができる。いくつかの実施形態において、前記コンピュータデバイス1202は、ユーザーインターフェース1230を備えることができる。前記システム1200は、当該システムと動作可能に連結された撮像装置1240を備えることができる。当該システムの構成要素の特徴は、以下でより詳しく記載する。
いくつかの実施形態において、前記コンピュータデバイス1202は、パソコン、コンピュータネットワーク、1つ以上のサーバー、ノート型パソコン、タブレット型パソコン、および携帯電話のうちの1つ以上を含みうる。いくつかの実施形態において、前記コンピュータデバイス1202の1つ以上の構成要素は、顕微鏡(撮像装置)に統合することができる。いくつかの実施形態において、前記コンピュータデバイスの1つ以上の構成要素は、前記撮像装置から離間して配置することができる。そのような実施形態においては、前記コンピュータデバイス1202の前記1つ以上の構成要素は、有線または無線接続1206によって、前記撮像装置1240と動作可能に連結することができる。いくつかの実施形態において、前記コンピュータデバイスの前記1つ以上の構成要素は、前記撮像装置によって撮像された画像を間接的に(例えば、ディスク、フラッシュドライブ、電子メール、あるいはその他の手段を用いて)受け取るように構成することができる。
前記少なくとも1つの記憶媒体1210は、ハードディスク、固体ドライブ、ディスク、およびその他の有形であって非一時的な記憶装置のうちの1つ以上を含みうる。前記少なくとも1つの記憶媒体1210は、本明細書に開示された複数のモジュールまたは複数のサブモジュールのいずれをも、前記少なくとも1つの記憶媒体1210に格納された、機械によって読み取り可能かつ実行可能なプログラムとして備えることができる。いくつかの実施形態において、前記システム1200は、複数の記憶媒体1210を備えることができ、そのそれぞれに、1つ以上のモジュールまたはサブモジュールが記憶されている。
前記少なくとも1つのプロセッサ1220は、前記少なくとも1つの記憶媒体1210に格納された1つ以上のプログラムを読み取りかつ実行するように構成することができる。例えば、前記少なくとも1つのプロセッサ1220は、本明細書に開示された複数のモジュールまたは複数のサブモジュールのいずれかの1つ以上を読み取りかつ実行するように構成することができる。いくつかの実施形態において、前記少なくとも1つのプロセッサ1220は、複数のプロセッサを含みうる。そのような実施形態においては、当該複数のプロセッサのそれぞれは、前記少なくとも1つの記憶媒体1220に格納された1つ以上のモジュールまたはサブモジュールを読み取りかつ実行するように構成することができる。いくつかの実施形態において、複数のプロセッサ1220のそれぞれは、複数の記憶媒体1220のうちの対応する記録媒体と動作可能に連結することができ、本明細書に開示された複数のモジュールまたは複数のサブモジュールのうちの1つのみを専ら動作させるように構成することができる。
いくつかの実施形態において、前記ユーザーインターフェース1230は、表示画面、キーボード、タッチ画面、1つ以上の表示器(例えば、ライト、ブザー、スピーカー等)、および1つ以上のボタン(例えば、電源ボタン、起動ボタン)のうちの1つ以上を含みうる。いくつかの実施形態において、前記ユーザーインターフェースは、前記コンピュータデバイスに物理的に接続することができる。いくつかの実施形態において、前記ユーザーインターフェース1230は、本明細書に開示された複数のモジュールまたは複数のサブモジュールのいずれかからの出力または入力を表示するように構成することができる。例えば、前記ユーザーインターフェース1230は、診断、寄生虫血、および本明細書に開示されたデータ又は画像のうちの1つ以上を表示するように構成することができる。いくつかの実施形態において、前記ユーザーインターフェースは、例えば、キーボード、USBポート等を介して、ユーザからの入力を受け取るように構成することができる。前記ユーザーインターフェース1230は、有線または無線接続を介して前記コンピュータデバイスと動作可能に連結することができる。いくつかの実施形態において、前記ユーザーインターフェース1230は、前記コンピュータデバイス1202から離間して、例えば、前記コンピュータデバイス1202から離間したコンピュータ、タブレット型コンピュータ、または携帯電話に配置することができる。そのような実施形態においては、前記複数のモジュールのうちの1つ以上が、前記ユーザーインターフェース1202から離間して動作することができる。
いくつかの実施形態において、前記コンピュータデバイス1202は、電源1208を備えることができる。当該電源1208は、電池(例えば、リチウムイオン電池、鉛蓄電池、ニッケルカドミウム電池、あるいはその他の好適な電池)、太陽電池、および電気用プラグ(例えば、壁コンセント)のうちの1つ以上を備えることができる。前記電源1208は、前記システム1200の前記構成要素のいずれかと動作可能に連結することができ、また、前記システム1200の前記構成要素のいずれかに電力を供給するように構成することができる。
前記撮像装置1240は、デジタル画像記録装置を備えた高倍率顕微鏡等の顕微鏡を含みうる。前記デジタル撮像装置1240は、その上に標本スライド1250を保持するように構成することができる。前記デジタル撮像装置1240は、標本スライドの1つ以上の高解像度画像を取り込むために高倍率レンズとデジタル画像記録装置とを備えることができる。当該1つ以上の高解像度画像は、前記標本スライド1250の1つ以上のFoVの画像、および各FoVの1個以上の焦点面の画像を含みうる。前記撮像装置は、前記コンピュータデバイス(例えば、前記コンピュータデバイスの前記1つ以上の記憶媒体、前記1つ以上のプロセッサ、および前記ユーザーインターフェースのうちの1つ以上)と直接的に(例えば、有線または無線接続により)または間接的に(例えば、コンピュータネットワークを介して)連結することができる。そのような実施形態においては、前記撮像装置1240は、前記少なくとも1つの記憶媒体1210または前記少なくとも1つのプロセッサ1220に1つ以上の標本画像を出力するように構成することができる。いくつかの実施形態において、前記撮像装置1240は、前記コンピュータデバイス(またはその構成要素、例えばプロセッサ)からの1つ以上の命令に応答するように構成することができる。そのような実施形態においては、前記撮像装置1240は、前記少なくとも1つの記憶媒体1210に格納された複数の動作命令であって、前記少なくとも1つのプロセッサ1220によって実行される複数の動作命令に少なくとも部分的に基づいて動作することができる。例えば、前記撮像装置1220は、前記コンピュータデバイス1202からの命令に少なくとも部分的に基づいて、焦点面間の距離、FoV間の距離、焦点面の数、またはFoVの数を変更することができる。
本明細書に開示された個々のモジュールおよび個々のサブモジュールのいずれも、本明細書に開示された機械学習装置またはコンピュータの使用を含むことができ、または、当該機械学習装置または当該コンピュータを用いて適用することができる。
G.検体診断方法
図13は、一実施形態に係る、標本中の検体の存在を判定する方法1300のフロー図である。標本中の検体を診断するための複数の方法および個々の工程は、本明細書に開示された複数のモジュールおよび複数のサブモジュールのそれぞれに関して上述されており、簡略のため、前記方法1300に関しては逐語的に繰り返さない。前記方法1300は、標本スライドの複数の画像を用いて標本中の検体の存在を判定することを含む。前記方法1300は、例えば、記憶媒体またはプロセッサを用いて、標本スライドの複数の画像を受け取る工程1305を含むことができる。前記複数の画像は、複数のFoVと複数の焦点面とを含むことができ、前記複数のFoVのそれぞれが前記標本スライドの固有のx座標およびy座標を有し、前記複数の焦点面のそれぞれが前記標本スライドの固有のz座標を有する。前記方法1300は、前記システム1200の1つ以上の構成要素を用いて本明細書に開示された前記工程のいずれかを実行することを含むことができる。
図13は、一実施形態に係る、標本中の検体の存在を判定する方法1300のフロー図である。標本中の検体を診断するための複数の方法および個々の工程は、本明細書に開示された複数のモジュールおよび複数のサブモジュールのそれぞれに関して上述されており、簡略のため、前記方法1300に関しては逐語的に繰り返さない。前記方法1300は、標本スライドの複数の画像を用いて標本中の検体の存在を判定することを含む。前記方法1300は、例えば、記憶媒体またはプロセッサを用いて、標本スライドの複数の画像を受け取る工程1305を含むことができる。前記複数の画像は、複数のFoVと複数の焦点面とを含むことができ、前記複数のFoVのそれぞれが前記標本スライドの固有のx座標およびy座標を有し、前記複数の焦点面のそれぞれが前記標本スライドの固有のz座標を有する。前記方法1300は、前記システム1200の1つ以上の構成要素を用いて本明細書に開示された前記工程のいずれかを実行することを含むことができる。
前記方法1300は、複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像の各画像に適用する工程1310を含むことができる。前記方法1300は、適応グレースケール変換を前記複数の画像の各画像に適用して、前記複数の画像の各画像に対する適応グレースケール強度画像を提供する工程1320を含むことができる。前記方法1300は、前記複数の色補正済み(例えば、ホワイトバランス変換済み)画像および前記複数の適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定する工程1330を含むことができる。前記方法1300は、前記1つ以上の対象物候補の1つ以上の特徴のスコアに少なくとも部分的に基づいて前記1つ以上の対象物候補にフィルタをかけ、1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力する工程1340を含むことができる。前記方法1300は、前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、当該1つ以上の特徴ベクトルを出力する工程1350を含むことができる。前記方法1300は、各特徴ベクトルを人工産物または検体に相当するものとして分類する工程1360を含むことができる。前記方法1300は、分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルより上か下かを判定する工程1370を含むことができる。以下に、前記工程1310〜1370の各工程をより詳細に記載する。
複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像の各画像に適用する前記工程1310は、上述した画像前処理モジュール310に関して開示された技術のいずれかを用いて実施できる。例えば、前記工程1310は、本明細書に開示したように、前記複数の画像の部分集合に位置する鮮明な画素が存在する確率が1に近似する(ほぼ1である)ように選択された当該部分集合から複数の最も明るい画素を選択することを含むことができる。前記工程1310は、本明細書に開示したように複数の画像の前記部分集合の各画素の標準グレースケール強度を計算し適用して、前記複数の画像の前記部分集合の各画像における前記複数の最も明るい画素を決定することを含むことができる。前記工程1310は、本明細書に開示したように、前記複数の最も明るい画素のそれぞれの赤色値R、緑色値G、および青色値Bを決定することを含むことができる。前記工程1310は、本明細書に開示したように、前記複数の最も明るい画素の平均色によって定められる平均色ベクトルを計算することを含むことができる。前記工程1310は、白色ベクトルを決定することと、前記平均色ベクトルおよび前記白色ベクトルの双方に対して垂直で、かつ、前記平均色ベクトルと前記白色ベクトルとのクロス乗積から計算された、軸ベクトルを決定することと、を含むことができる。前記工程1310は、前記軸ベクトルと、前記白色ベクトルおよび前記平均色ベクトル間の角度とからアフィン変換行列を計算すること、および当該アフィン変換行列を前記複数の画像の各画像における各画素に適用して複数の色補正済み画像を提供することを含むことができる。
適応グレースケール変換を前記複数の画像の各画像に適用して、前記複数の画像の各画像に対する適応グレースケール強度画像を提供する前記工程1320は、上述した画像前処理モジュール310に関して開示された技術のいずれかを用いて実施できる。例えば、前記工程1320は、複数の色補正済み画像および複数の標準グレースケール画像を入力として受け取ることと、前記複数の標準グレースケール画像を暗色閾値で閾値処理して、白血球細胞核である可能性がある複数の斑点を検出することとを含むことができる。前記工程1320は、本明細書に開示したように、特質によって前記複数の斑点にフィルタをかけて(例えば、色フィルタ、面積フィルタ、形状フィルタ)、前記白血球細胞核を特定することを含むことができる。前記工程1320は、白血球細胞核を含む入力された前記複数の色補正済み画像から、1つ以上の画素の赤色値R、緑色値G、および青色値Bを白血球ベクトルデータとして出力することを含むことができる。前記工程1320は、前記複数の色補正済み画像において、グレースケール強度が前記暗色閾値より明るい複数の画素をランダムサンプリングして決定された複数の適格な背景画素の赤色値R、緑色値G、および青色値Bを背景ベクトルデータとして出力することを含むことができる。前記工程1320は、前記白血球ベクトルデータおよび前記背景ベクトルデータから、適応グレースケール射影ベクトルを決定することを含むことができる。前記工程1320は、複数の適応グレースケール強度画像を出力することを含むことができる。
前記複数の色補正済み画像および前記複数の適応グレースケール強度画像内で1つ以上の対象物候補を検出し特定する前記工程1330は、上述した対象物候補検出モジュール320に関して開示された技術のいずれかを用いて実施できる。例えば、1つ以上の対象物候補を検出し特定することは、複数の色補正済み画像または複数の適応グレースケール強度画像のうちの1つ以上に基づいて、1つ以上潜在的検体の位置を決定することを含むことができる。前記工程1330は、前記複数のFoVのうちのどのFoVが1つ以上の対象物候補を含むのかを判定することを含むことができる。前記工程1330は、前記視野の中の前記1つ以上の対象物候補をクラスタ化して、その中に含まれる隣接する(例えば、近い又は重なる)複数の対象物候補によって規定された対象物候補クラスタを提供することを含むことができる。クラスタ化することは、対象物候補間の近さ又は距離に少なくとも部分的に基づいている。前記工程1330は、本明細書に開示したように、前記1つ以上の対象物候補のそれぞれに対する最良の焦点スコアを有する焦点面を決定することを含むことができる。
前記1つ以上の対象物候補の1つ以上の特性のスコアに少なくとも部分的に基づいて前記1つ以上の対象物候補にフィルタをかけ、1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力する前記工程1340は、上述した対象物候補検出モジュール320に関して開示された技術のいずれかを用いて実施できる。前記工程1340は、前記1つ以上の対象物候補のそれぞれの1つ以上の特性であって、面積、グレースケール強度、形状、および色のうちの少なくとも1つを含む1つ以上の特性のスコアを出力することを含むことができる。前記工程1340は、前記1つ以上の特性に少なくとも部分的に基づいた前記スコアに少なくとも部分的に基づいて、前記対象物候補にフィルタをかけることを含むことができる。前記1つ以上の対象物候補にフィルタをかけることは、前記1つ以上の対象物候補の1つ以上の特性に少なくとも部分的に基づいた前記スコアを、前記1つ以上の特性に少なくとも部分的に基づいた閾値スコアと比較することを含むことができる。前記対象物候補にフィルタをかけることは、前記閾値スコアより大きいスコアを有する前記1つ以上の対象物候補を潜在的な検体の位置として出力することと、前記閾値スコアより小さいスコアを有する前記1つ以上の対象物候補を退けることとを含むことができる。前記工程1340は、複数の適応グレースケール強度画像パッチ、複数の色補正済み画像パッチ、および潜在的検体の位置を含む複数の関連焦点面を出力することを含むことができる。
前記複数の色補正済み画像パッチおよび前記複数の適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、当該1つ以上の特徴ベクトルを出力する前記工程1350は、上述した特徴抽出モジュール330に関して開示された技術のいずれかを用いて実施できる。例えば、前記工程1350は、前記複数の画像における前記1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチと複数の適応グレースケール強度画像パッチとを入力として受け取ることと、潜在的検体をそれぞれ表わす1つ以上の特徴ベクトルを出力することとを含むことができる。前記工程1350は、前記1つ以上の色補正済み画像パッチおよび前記1つ以上の適応グレースケール強度画像パッチを受け取ることと、前記1つ以上のグラウンドトゥルース画像パッチに少なくとも部分的に基づいて、一組の重みを前記CNNに教えることとを含むことができる。いくつかの実施形態において、前記一組の重みを教えることは、データ拡張スキームを用いて1つ以上のグラウンドトゥルース画像(例えば、画像パッチ)を拡張することを含む。前記データ拡張スキームは、前記グラウンドトゥルース画像パッチの赤色成分、緑色成分、青色成分、およびグレースケール強度成分のうちの1つ以上をランダムガンマ補正することを含むことができる。いくつかの実施形態において、CNNに一組の重みを教えることは、複数のグラウンドトゥルース標本における検体の1つ以上の注釈付画像と複数のグラウンドトゥルース標本における複数の人工産物の1つ以上の注釈付画像とをグラウンドトゥルースとして受け取ることを含んでもよい。前記注釈付画像は、前記CNNをトレーニングして既知の検体および人工産物の特性を認識するように構成された当該既知の検体および人工産物を含んでもよい。いくつかの実施形態において、グラウンドトゥルース標本における検体の1つ以上の注釈付画像とグラウンドトゥルース標本における複数の人工産物の1つ以上の注釈付画像とをグラウンドトゥルースとして受け取ることは、前記1つ以上のグラウンドトゥルース画像パッチに少なくとも部分的に基づいて、一組の重みを機械学習分析器に教えることを含むことができる。前記工程1350は、前記1つ以上の潜在的検体の位置に対応する前記複数の色補正済み画像と前記複数の適応グレースケール強度画像とにおける1つ以上の対象物候補の1つ以上の特徴(例えば、複数のマニュアル特徴または複数のオートマチック特徴のうちの1つ以上)を決定して抽出することを含むことができる。前記工程1350は、抽出された前記1つ以上の特徴を前記1つ以上の特徴ベクトルとして表すことを含むことができる。
各特徴ベクトルを人工産物または検体に相当するものとして分類する前記工程1360は、上述した対象物分析器モジュール340に関して開示された技術のいずれかを用いて実施できる。例えば、前記工程1360は、複数の対象物候補の1つ以上の特徴ベクトルを入力として受け取ることと、当該1つ以上の特徴ベクトルを前記人工産物または前記検体のどちらかに相当するものとして分類することとを含むことができる。当該分類することは、上述したように、グラウンドトゥルース画像群または関連ベクトル群でトレーニングされた機械学習分析器を用いて前記特徴ベクトルにスコア付けすることによって行うことができる。スコアが高い(例えば、確率が高い)ものは、検体として分類され、スコアが低い(例えば、確率が低い)ものは、検体以外のもの(例えば、背景や人工産物)として分類される。いくつかの実施形態において、前記1つ以上の特徴ベクトルを分類することは、前記複数の色補正済み画像パッチおよび前記複数の適応グレースケール強度画像パッチのそれぞれの拡張バージョンに対応する前記特徴ベクトルに対して、前記機械学習分析器の複数のスコアを平均化することを含むことができる。いくつかの実施形態において、前記方法は、ヒトのユーザによる検査のために、(例えば、検体または人工産物として分類される)複数の対象物候補を含む1つ以上の画像パッチを出力することを含んでもよい。そのような1つ以上の画像パッチは、コンピュータ画面等のユーザーインターフェースに出力することができる。
分類された前記特徴ベクトルが、陽性の診断と関連した閾値レベルより上か下かを判定する前記工程1370は、上述した診断モジュール350に関して開示された技術のいずれかを用いて実施できる。例えば、分類された複数の検体が、陽性の診断と関連した閾値レベルより上か下かを判定することは、検体が存在するかどうかを判定することと、検体として分類される1つ以上の特徴ベクトルの量に基づいて、または前記1つ以上の特徴ベクトルと閾値あるいは背景ノイズ値との関係に基づいて、当該検体の存在の有無を示すこととを含むことができる。一実施形態において、前記方法1300は、診断または検体濃度を、例えばユーザーインターフェースに出力すること(例えば、検体濃度の診断を表示すること)を含むことができる。
いくつかの実施形態において、前記方法1300は、標本を対象から得る工程、例えば血液標本を得る工程を含むことができる。いくつかの実施形態において、前記方法1300は、標本スライド上に前記標本を塗りつけることを含むことができる。いくつかの実施形態において、前記方法1300は、標本スライドの複数の画像を作成することを含むことができる。当該複数の(標本)画像は、多数のFoVおよび多数の焦点面を含むことができる。一実施形態において、前記方法1300は、前記撮像装置から前記複数の(標本)画像を出力することを含むことができる。前記方法1300は、前記コンピュータデバイスにて前記複数の(標本)画像を受け取ることを含むことができる。
いくつかの実施形態において、前記方法1300は、標本(例えば、寄生虫血)中の検体の濃度または量を決定することを含むことができる。いくつかの実施形態において、前記検体は、マラリア原虫、ロア糸状虫、ボレリア菌、蠕虫、結核菌、トリパノソーマ原虫、またはその他の原虫を含むことができる。いくつかの実施形態において、本明細書のシステムおよび方法は、特定の原虫(例えば、マラリア原虫)の1つ以上の特性に基づいて、当該特定の原虫の構造または種類を検出するのに用いることができる。
平たく言うと、標本中の検体を検出する方法は、地理的位置から得られた生体標本中の検体(例えば、マラリア原虫)の注釈付画像群をグラウンドトゥルースとして受け取ることを含むことができる。前記方法は、前記地理的位置で採取された生体標本から得られた特徴付けされていない画像群を、自動顕微鏡装置から受け取ることを含むことができる。前記方法は、前記特徴付けされていない画像群を前処理して、色の見えが一貫した画像群を作成することを含むことができる。前記方法は、色の見えが一貫した前記画像群に対して位置候補分類を行って、対象物候補画像群を作成することを含むことができる。前記方法は、前記グラウンドトゥルースに部分的に基づいて、前記対象物候補画像群に対して原虫検出分類を行って、標識対象物群を作成することをさらに含むことができる。前記方法は、前記標識対象物群に対して、前記標識対象物群のそれぞれにおける複数の構造物(例えば、細胞核および細胞質)を描く分割分析を行うことを含むことができる。前記方法は、前記標識対象物群のそれぞれに対して特徴抽出分析を行うことを含むことができる。前記方法は、前記検体(例えば、マラリア原虫)が前記標識対象物群のそれぞれに存在する確率に関する分析器スコアに基づいて前記標識対象物群のそれぞれを分類することをさらに含むことができる。いくつかの実施形態において、前記方法1300は、地理的位置、季節、および標本に関連したその他の基準のうちの1つ以上に相当するメタデータに少なくとも部分的に基づいて、記憶装置から、1つ以上の原虫種候補に関連したグラウンドトゥルースデータを取り込むことを含むことができ、且つ前記グラウンドトゥルースデータを用いて、上述したように、標本中の原虫の種、段階、または種類を判定あるいは特定することができる。
本明細書の読み手は、システムの態様のハードウェア実行とソフトウェア実行との違いがほとんどない地点にまで最新技術が進歩しており、ハードウェアまたはソフトウェアの使用が、通常は、費用対効率のバランスを表わす設計上の選択である(ただし、常にではない。状況によってはハードウェアを選択するのかソフトウェアを選択するのかが重要になりうるからである)ということを認識するだろう。本明細書の読み手は、本明細書に記載された方法および/又はシステムおよび/又はその他の技術を成し遂げることができるさまざまな手段(例えば、ハードウェア、ソフトウェア、および/又はファームウェア)が存在することと、当該方法および/又は当該システムおよび/又は当該その他の技術が実施される状況によって好適な手段が変わることとを理解するだろう。例えば、実行者が速度および正確さが最も重要であると判断するならば、当該実行者は、主にハードウェアおよび/又はファームウェアによる手段を選択することができる。あるいは、実行者が柔軟性が最も重要であると判断するならば、当該実行者は主にソフトウェア実行を選択することができる。さらには、代わりに、実行者は、ハードウェア、ソフトウェア、および/又はファームウェアの組み合わせを選択することもできる。それゆえ、本明細書に記載された当該方法および/又は当該装置および/又は当該その他の技術を成し遂げることができるいくつかの取りうる手段が存在する。利用される手段はいずれも、当該手段が実施される状況と、実行者のさまざまな特定の関心事(例えば、速度、柔軟性、又は予測可能性)とに基づいて選択されるという点において、前記いくつかの取りうる手段がいずれもそれ以外の手段より本質的に優れているということはない。本明細書の読み手は、本発明の光学的態様では、光学向けのハードウェア、ソフトウェア、 および/又はファームウェアを通常用いることを認識するだろう。
上述の詳細な記載にて、ブロック図、フロー図、および/又は実施例を用いて、前記装置および/又は方法のさまざまな実施形態を説明してきた。そのようなブロック図、フロー図、および/又は実施例が1つ以上の機能および/又は動作を含む限りにおいては、当業者であれば、当該ブロック図、当該フロー図、および/又は当該実施例の各機能および/又は動作は、さまざまなハードウェア、ソフトウェア、ファームウェア、またはそれらの事実上いかなる組合せによっても、個別におよび/又は集合的に実行することができると理解するだろう。一つの実施形態において、本発明に記載の主題の一部は、特定用途向け集積回路(ASIC)、書替え可能ゲートアレイ(FPGA)、デジタル信号プロセッサ(DSP)、またはその他の統合的形態によって実施することができる。しかしながら、当業者であれば、本明細書に開示された実施形態のいくつかの態様は、その全部またはその一部が、集積回路において、1つ以上のコンピュータ上で動作する1つ以上のコンピュータプログラムとして(例えば、1つ以上のコンピュータシステム上で動作する1つ以上のプログラムとして)、1つ以上のプロセッサ上で動作する1つ以上のプログラムとして(例えば、1つ以上のマイクロプロセッサ上で実行される1つ以上のプログラムとして)、ファームウェアとして、またはそれらの事実上いかなる組み合せとしても、同等に実施することができると認識するだろう。また、当業者であれば、前記ソフトウェアおよび/又は前記ファームウェア向けの回路の設計および/またはコードの作成は、本開示に照らすならば、当業者の能力の範囲内にて十分に行われるであろうことも認識するだろう。さらに、本明細書の読み手は、本発明に記載の主題のメカニズムをさまざまな形式のプログラム製品として流通させることができると理解するだろう。また、本明細書の読み手は、本明細書に記載の主題の例示的な実施形態が、当該流通を実際に行うのに用いられる信号担持媒体の特定の種類にかかわらず適用されると理解するだろう。信号担持媒体の例としては、フロッピーディスク、ハードディスクドライブ、コンパクトディスク(CD)、デジタルビデオディスク(DVD)、デジタルテープ、コンピュータメモリ等の記録可能媒体、およびデジタルおよび/又はアナログ通信媒体(例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンク)等の伝送媒体が挙げられるが、これらに限定されるものではない。
一般的な意味においては、本明細書に記載されたさまざまな実施形態は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの事実上いかなる組み合わせ等の広範な電気的構成要素と、剛体、バネ又はねじれ体、液圧応用機械、電磁作動装置、又はそれらの事実上いかなる組み合わせ等の、機械力または機械運動を付与することができる広範な構成要素とを有する各種電気機械システムによって、個別におよび/又は集合的に実施することができる。したがって、本明細書で用いられる「電気機械システム」としては、変換器(例えば、アクチュエータ、モータ、圧電性結晶等)と動作可能に連結された電気回路と、少なくとも1つのディスクリート電気回路を備えた電気回路と、少なくとも1つの集積回路を備えた電気回路と、少なくとも1つの特定用途向け集積回路を備えた電気回路と、コンピュータプログラムによって構成された汎用コンピュータデバイス(例えば、本明細書に記載された方法および/又は装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書に記載された方法および/又は装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ)を形成する電気回路と、メモリ素子(例えば、ランダムアクセスメモリの形態)を形成する電気回路と、通信装置(例えば、モデム、通信スイッチ、又は電気光学装置)を形成する電気回路と、それらの任意の非電気的類似物(例えば、光学類似物又はその他の類似物)が挙げられるが、それらに限定されるものではない。また、当業者であれば、電気機械システムの例としては、電動輸送システム、工場自動化システム、安全システム、および通信/演算システム等のシステムと同様に、広範な家庭用電気システムが挙げられるが、それらに限定されるものではないと理解するだろう。当業者であれば、本明細書にて用いられた「電気機械の」という用語は、文脈によりそうでないと読むことができる場合を除いて、電気的作動と機械的作動との両方を有するシステムに必ずしも限定されるものではないと認識するだろう。
一般的な意味においては、さまざまなハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせによって個別におよび/又は集合的に実施することができる、本明細書に記載されたさまざまな態様は、各種「電気回路」からなると考えることができる。したがって、本明細書で用いられた「電気回路」として、少なくとも1つのディスクリート電気回路を備えた電気回路と、少なくとも1つの集積回路を備えた電気回路と、少なくとも1つの特定用途向け集積回路を備えた電気回路と、コンピュータプログラムによって構成されたコンピュータデバイス(例えば、本明細書に記載された方法および/又は装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書に記載された方法および/又は装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ)を形成する電気回路と、メモリ素子(例えば、ランダムアクセスメモリの形態)を形成する電気回路と、通信装置(例えば、モデム、通信スイッチ、又は電気光学装置)を形成する電気回路が挙げられるが、それらに限定されるものではない。本明細書に記載の主題は、アナログ、デジタル、又はそれらの何らかの組み合わせで実施することができる。
本開示は、さまざまな例示的実施形態に言及してなされてきた。しかしながら、当業者であれば、本開示の範囲内においてそれらの実施形態を変更および修正することができるとわかるであろう。例えば、各種動作工程、および各種動作工程を実施するための各種構成要素は、特定の用途に応じて、あるいはシステムの動作に関連した任意の数の費用関数を考慮して、別の方法で実施してよい(例えば、前記工程のうちの1つ以上を削除したり、修正したり、又はその他の工程と組み合わせたりしてよい)。
さらに、当業者であれば、複数の構成要素を含む本開示の原理は、コンピュータ読み取り可能記憶媒体において具現化されたコンピュータ読み取り可能プログラムコード手段を有する当該記憶媒体上におけるコンピュータプログラム製品に反映させることができると理解するだろう。磁気記憶装置(ハードディスク、フロッピーディスクなど)、光学記憶装置(CD−ROM、DVD、ブルーレイディスクなど)、フラッシュメモリなどを含む、任意の有形かつ非一時的なコンピュータ読み取り可能な記憶媒体を利用することができる。これらのコンピュータプログラム命令は、汎用コンピュータ、特定目的コンピュータ、又は機械を製造するためのその他のプログラム可能なデータ処理装置にロードすることができるので、当該汎用コンピュータ、当該特定目的コンピュータ、又は当該その他のプログラム可能なデータ処理装置上で実行される当該コンピュータプログラム命令は、上記で特定された機能を実施する手段を作成する。また、これらのコンピュータプログラム命令は、コンピュータ又はその他のプログラム可能なデータ処理装置を特定の方法で機能させることができるコンピュータ読み取り可能メモリに記憶させることができるので、当該コンピュータ読み取り可能メモリに記憶された当該コンピュータプログラム命令は、上記で特定された機能を実施する実施手段を含む製品を製造する。また、前記コンピュータプログラム命令は、コンピュータ又はその他のプログラム可能なデータ処理装置にロードされて、一連の動作工程を当該コンピュータまたは当該プログラム可能なデータ処理装置で行わせることにより、コンピュータで実行される方法を作成することができるので、当該コンピュータまたは当該プログラム可能なデータ処理装置上で実行される前記コンピュータプログラム命令は、上記で特定した機能を実施する工程を提供する。
一実施形態において、本明細書に開示された印刷システムは、当該印刷システムが、印刷(例えば、3D印刷)機能用に特定して構成された独自のシステムとして動作するように、かつ当該印刷システムの任意の関連コンピュータデバイスが、汎用コンピュータではなく特許請求されたシステムのための特定用途コンピュータとして動作するように、統合することができる。一実施形態において、前記印刷システムの少なくとも1つの関連コンピュータデバイスは、汎用コンピュータではなく特許請求されたシステムのための特定用途コンピュータとして動作する。一実施形態において、前記印刷システムの前記関連コンピュータデバイスのうちの少なくとも1つは、特定のROMと配線接続されており、前記少なくとも1つのコンピュータデバイスに命令する。一実施形態において、当業者であれば、前記印刷装置および前記印刷システムが、少なくとも3D印刷の技術分野において改善をもたらすとわかる。
本明細書に記載された構成要素(例えば、工程)、装置、対象物、およびそれらに伴う記載は、概念的な明確さのために例示として用いられる。したがって、本明細書で使われるように、記載された特定の代表例およびそれらに伴う記載は、それらのより一般的な類を代表するように意図されている。また、通常、本明細書におけるいかなる特定の代表例の使用も、当該特定の代表例の類を代表するように意図されており、本明細書におけるそのような特定の構成要素(例えば、工程)、装置、および対象物を含まないことは、限定が望まれていることを示しているとみなされるべきではない。
本明細書における実質的に任意の複数および/又は単数の用語の使用に関して、本明細書の読み手は、文脈および/又は用途に合わせて複数から単数に読み替え、および/又は単数から複数に読み替えることができる。明確さのために、各種単数/複数の入れ替えは本明細書では明示しない。
本明細書に記載の主題は、互いに異なる構成要素を示すことがあるが、これらの構成要素は、他の互いに異なる構成要素に含まれる又は接続される。そのような示された構成は単なる例示に過ぎず、実際には同じ機能性を達成する多くの他の構成を実行することができると理解されるべきである。概念的な意味においては、同じ機能性を達成するための複数の構成要素の構成は、所望の機能性が達成されるように効果的に関連づけられる。それゆえ、特定の機能性を達成するために本明細書において組み合わされるどの2つの構成要素も、構成または中間構成要素に関係なく、所望の機能性を達成するように、互いに関連づけられると理解できる。同様に、そのように関連付けられたどの2つの構成要素も、所望の機能性を達成するように、互いに「動作可能に接続されている」または「動作可能に結合されている」とみなすことができる。また、そのように関連付けられることができるどの2つの構成要素も、所望の機能性を達成するように、互いに「動作可能に連結することができる」とみなすことができる。「動作可能に連結することができる」の具体例としては、物理的に対にすることができるおよび/又は物理的に相互に作用する構成要素、および/または、無線で相互に作用可能なおよび/又は無線で相互に作用する構成要素、および/または、論理的に相互に作用するおよび/又は論理的に相互に作用可能な構成要素が挙げられるが、それらに限定されるものではない。
場合によっては、1つ以上の構成要素が、本明細書において「構成されている」とみなすことができる。本明細書の読み手は、文脈によりそうでないと読めない限りは、「構成されている」が、活動状態の構成要素、不活動状態の構成要素、および/又は待機状態の構成要素を通常含みうるとわかるであろう。
本明細書に記載した本発明の主題の特定の態様を示し記載してきたが、本明細書における教示に基づいて、本明細書に記載した主題およびそのより広範な態様の範囲において変更および修正が可能であり、それゆえ添付の請求項は、本明細書に記載した主題の真の精神および範囲にあるすべての当該変更および修正を当該請求項の範囲に含むということは当業者にとって明らかであろう。さらに、本発明は、当該添付の請求項によって定義されると理解されるべきである。通常、本明細書で使われている用語、および特に当該請求項(例えば、当該請求項の本体部)で使われている用語は、「オープン」な用語であることを通常意図している(例えば、「〜を備えている」という用語は「〜を備えているが〜に限定されない」と解釈されるべきであり、「〜を有している」という用語は、「少なくとも〜を有している」と解釈されるべきであり、「〜を備える」という用語は「〜を備えるが〜に限定されない」と解釈されるべきである)。当業者であれば、導入された請求項の記載において特定の数が意図されるならば、そのような意図は、請求項において明示されるであろうし、そのような記述がない場合にはそのような意図は存在しないとさらに理解するだろう。例えば、理解の一助として、以下の添付の請求項は、請求項の記載を導入する「少なくとも1つの」および「1つ以上の」という導入語句の使用を含みうる。しかしながら、たとえ同じ請求項が、導入語句「1つ以上の」又は「少なくとも1つの」、および不定冠詞「a」又は「an」を含むとしても(例えば、「a」および/又は「an」は、「少なくとも1つの」又は「1つ以上の」を意味すると通常解釈されるべきである)、そのような語句の使用は、不定冠詞「a」又は「an」による請求項の記載の導入が、当該導入された請求項の記載を含む任意の特定の請求項を、当該記載のみを含む発明に限定するということを示すと解釈されるべきではない。同じことが、請求項の記載の導入部分として使われる定冠詞の使用についても当てはまる。さらに、導入された請求項の記載において特定の数が明示されていたとしても、そのような記載は、少なくとも記載された数を意味すると通常解釈されるべきである(例えば、その他の修飾語句のない「2つの記載」という単なる記述は、少なくとも2つの記載、または2つ以上の記載を通常意味する)。さらに、「A、B、およびC等のうちの少なくとも1つ」に類似する決まり文句が使われる場合、通常、その解釈は前記決まり文句の意味において意図される(例えば、「A、BおよびCのうちの少なくとも1つを有するシステム」は、Aのみを有するシステム、Bのみを有するシステム、Cのみを有するシステム、AおよびBを有するシステム、AおよびCを有するシステム、BおよびCを有するシステム、および/又は、A、BおよびCを有するシステム等を含むが、それらに限定されない)。「A、B、又はC等のうちの少なくとも1つ」に類似する決まり文句が使われる場合、通常、その解釈は前記決まり文句の意味において意図される(例えば、「A、B又はCのうちの少なくとも1つを有するシステム」は、Aのみを有するシステム、Bのみを有するシステム、Cのみを有するシステム、AおよびBを有するシステム、AおよびCを有するシステム、BおよびCを有するシステム、および/又は、A、BおよびCを有するシステム等を含むが、それらに限定されない)。2つ以上の代替用語を示す事実上いかなる択一語および/又は択一句も、明細書、請求項又は図面のいずれにおいても、それらの用語のうちの1つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を考慮すると理解されるべきである。例えば、「AまたはB」という語句は、「A」、「B」、又は「AおよびB」である可能性を含むと理解されるだろう。
添付の請求項に関して、当該請求項で記載された動作は、通常いかなる順序でも行うことができる。そのような代わりの順序の例としては、文脈からそうでないと読めない限り、重複順序、交互配置順序、断続順序、並べ換え順序、増分順序、予備順序、補足順序、同時順序、逆順序、又はその他の変形順序を挙げることができる。文脈に関して、「〜に応答して」、「〜に関する」のような同等の用語、又はその他の過去分詞形の形容詞は、文脈からそうでないと読めない限り、それらの変形を排除することを通常意図するものではない。
本明細書に記載した主題の諸態様を、番号を振った以下の条項に定める。
1.血中の検体の存在を判定するシステムであって、当該システムは、
標本スライドの複数の画像を保存するよう構成された少なくとも1つの記憶媒体と、
前記少なくとも1つの記憶媒体に動作可能に接続された少なくとも1つのプロセッサと、を備え、
前記複数の画像は、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記標本スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記標本スライドの固有のz座標を有しており、
前記少なくとも1つのプロセッサは、
複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに対して決定し適用し、
前記複数の画像のそれぞれに対して適応グレースケール変換を決定し適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供し、
前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定し、
前記1つ以上の対象物候補の1つ以上の特徴に少なくとも部分的に基づいて、前記1つ以上の対象物候補を抽出しスコア付けし、前記スコアに少なくとも部分的に基づいて、前記1つ以上の候補にフィルタをかけ、フィルタをかけられた対象物候補それぞれに対する1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力し、
前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、前記1つ以上の特徴ベクトルを出力し、
前記1つ以上の特徴ベクトルのそれぞれを、人工産物または検体に対応するものとして分類し、
検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するよう構成されている、システム。
2.前記少なくとも1つの記憶媒体は、画像前処理モジュール、対象物候補検出モジュール、特徴抽出モジュール、分類モジュール、診断モジュールを、前記少なくとも1つのプロセッサで実行可能な、コンピュータで読み取り可能なプログラムとして記憶している、条項1のシステム。
3.前記少なくとも1つのプロセッサは、前記複数の画像の複数の最も明るい画素に少なくとも部分的に基づいて、前記複数の画像に対してホワイトバランス変換を決定し適用するよう構成されている、条項1のシステム。
4.少なくとも1つのプロセッサは、前記ホワイトバランス変換の決定を、
前記複数の画像の部分集合に鮮明な画素が存在する確率がほぼ1であるようにランダムに選択された当該部分集合からの、複数の最も明るい画素と、
前記複数の画像の前記部分集合のそれぞれにおける前記複数の最も明るい画素を判定するために計算された、前記複数の画像の前記部分集合の各画素の標準グレースケール強度と、
前記複数の最も明るい画素のそれぞれの赤色値R、緑色値G、および青色値Bと、
前記複数の最も明るい画素の平均色によって定められる平均色ベクトルと、
白色ベクトルと、
前記平均色ベクトルおよび前記白色ベクトルの双方に対して垂直で、かつ、前記平均色ベクトルおよび前記白色ベクトルのクロス乗積から計算された、軸ベクトルと、
前記軸ベクトルと、前期平均色ベクトルおよび前記白色ベクトル間の角度とから計算されるアフィン変換行列と、
に基づいて行うよう構成されている、条項3のシステム。
5.前記少なくとも1つのプロセッサは、前記複数の画像の前記画素のそれぞれにおける、前記R、G、B値によって定められる色ベクトルに対して、前記ホワイトバランス変換を適用し、それに基づいて前記色補正済み画像を出力するよう構成されている、条項4のシステム。
6.前記少なくとも1つのプロセッサは、前記複数の画像に対して適応グレースケール変換を決定し適用し、複数の適応グレースケール強度画像を出力するよう構成されている、条項1のシステム。
7.少なくとも1つのプロセッサは、
入力として、複数の色補正済み画像および複数の標準グレースケール強度画像を受け取り、
前記複数の標準グレースケール強度画像を暗色閾値で閾値処理して斑点を検出し、
1つ以上の検出された斑点の色、面積、または形状のうち少なくとも1つにフィルタをかけて、高感度および高特異度で、白血球核の位置を突き止め特定し、
白血球核を含む前記色補正済み画像からの1つ以上の画素の赤色値R、緑色値G、および青色値Bを、白血球ベクトルデータとして、前記記憶媒体へ出力し、
前記色補正済み画像中で、前記暗色閾値よりグレースケール強度が明るい画素をランダムサンプリングして決定された複数の正規背景画素の赤色値R、緑色値G、および青色値Bを、背景ベクトルデータとして、前記記憶媒体へ出力し、
前記白血球ベクトルデータおよび背景ベクトルデータを、前記少なくとも1つの記憶媒体中に記憶され前記少なくとも1つのプロセッサによって実行される機械学習モジュールへと送るよう構成されており、前記機械学習モジュールは適応グレースケール射影ベクトルを決定するよう構成されている、条項1のシステム。
8.前記少なくとも1つのプロセッサは、適応グレースケール射影ベクトルに基づいて前記適応グレースケール変換を決定するよう構成されており、前記適応グレースケール射影ベクトルは、複数の白血球画素および複数の適格な背景画素に少なくとも部分的に基づいており、かつ、
前記少なくとも1つのプロセッサは、前記適応グレースケール射影ベクトルを、回帰を用いて決定するよう構成されている、条項7のシステム。
9.前記少なくとも1つのプロセッサは、リッジ回帰、ラッソ回帰、主成分回帰、または部分的最小二乗回帰を含む正則化回帰を実行して、前記適応グレースケール射影ベクトルを決定するよう構成されている、条項8のシステム。
10.前記少なくとも1つのプロセッサは、前記複数の画像のそれぞれに対して適応グレースケール強度を計算し適用して、複数の適応グレースケール強度画像を提供するよう構成されている、条項8のシステム。
11.前記少なくとも1つのプロセッサは、2次またはそれより高次の多項予測変数行列を用いて、多項回帰を計算し適用して、前記適応グレースケール変換を決定し適用するよう構成されている、条項8のシステム。
12.前記少なくとも1つのプロセッサは、前記1つ以上の画素の赤色値R、緑色値G、および青色値Bの有理関数を有する予測変数行列を用いて回帰を計算し適用して、前記適応グレースケール変換を決定し適用するよう構成されている、条項8のシステム。
13.前記少なくとも1つのプロセッサは、複数の色補正済み画像または複数の適応グレースケール強度画像の1つ以上に基づいて、1つ以上の潜在的検体の位置を決定するよう構成されている、条項1のシステム。
14.前記少なくとも1つのプロセッサは、
前記複数の視野のうちどの視野がその中に1つ以上の対象物候補を含むか決定し、
視野の中の前記1つ以上の対象物候補のうち、1つ以上の隣接する対象物候補間の距離に少なくとも部分的に基づいて、対象物候補をクラスタ化して、その中に含まれる1つ以上の隣接する対象物候補によって定められる対象物候補クラスタを提供し、
前記1つ以上の対象物候補のそれぞれに対し、最もよい焦点スコアを有する焦点面を決定し、
前記1つ以上の対象物候補のそれぞれの1つ以上の特徴に少なくとも部分的に基づいて、前記1つ以上の対象物候補のそれぞれのスコアを出力し、
前記1つ以上の特徴の前記スコアに少なくとも部分的に基づいて、前記1つ以上の対象物候補にフィルタをかけるよう構成されており、
前記1つ以上の特徴は、面積、グレースケール強度、形状、または色の少なくとも1つを含む、条項13のシステム。
15.前記少なくとも1つのプロセッサは、
前記1つ以上の対象物候補の1つ以上の特徴の前記スコアを、前記1つ以上の特徴のそれぞれに対する閾値スコアと比較することによって、前記1つ以上の対象物候補にフィルタをかけ、
前記閾値スコアより大きいスコアを有する前記1つ以上の対象物候補を、潜在的検体の位置として出力し、
前記閾値スコアより小さいスコアを有する前記1つ以上の対象物候補を退けるよう構成されている、条項14のシステム。
16.前記少なくとも1つのプロセッサは、前記少なくとも1つの記憶媒体中にトレーニングされ前記少なくとも1つのプロセッサによってアクセスされるグラウンドトゥルース対象の属性に基づいて閾値スコアを決定するよう構成されている、条項15のシステム。
17.前記少なくとも1つのプロセッサは、1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを出力するよう構成されている、条項15のシステム。
18.前記少なくとも1つのプロセッサは、前記複数の画像中の前記1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを入力として受け付け、潜在的検体をそれぞれ表わす1つ以上の特徴ベクトルを出力するよう構成されている、条項1のシステム。
19.前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上のマニュアル特徴を、1つ以上の項目を決定することによって決定し抽出するよう構成されており、当該1つ以上の項目は、
前記1つ以上の対象物候補を含む複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチの各画像パッチに対する最適な焦点面であって、前記焦点スコアは、前記1つ以上の対象物候補を含む画像パッチにおける前記複数の焦点面に対する複数の焦点スコアのうち最も高いスコアを含む、最適な焦点面と、
前記1つ以上の対象物候補を含む画像パッチの複数の焦点面すべてにわたる焦点スコアの散布度の標準偏差または他の尺度と、
各画像パッチの前記複数の焦点面間の前記1つ以上の対象物候補のうち最も暗い部分の赤色の偏移に少なくとも部分的に基づく、各画像パッチの赤方偏移スコアである、条項18のシステム。
20.前記少なくとも1つのプロセッサは、前記複数の画像中の1つ以上の対象物候補の1つ以上の特徴を決定し抽出し、当該1つ以上の特徴を1つ以上の特徴ベクトルとして示すよう構成されている、条項1のシステム。
21.前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上の特徴を決定し抽出するよう構成されており、前記1つ以上の特徴は自動的に学習された特徴である、条項20のシステム。
22.前記システムは機械学習モジュールを備えており、当該機械学習モジュールは、1つ以上のグラウンドトゥルース対象を含む複数のグラウンドトゥルース画像に少なくとも部分的に基づいて、一組の重み付けを自動的に学習するよう構成されており、前記1つ以上のグラウンドトゥルース対象は、前記検体の標本および人工産物の標本を含む、条項20のシステム。
23.前記機械学習モジュールは畳み込みニューラルネットワークを含む、条項22のシステム。
24.前記少なくとも1つのプロセッサは、前記畳み込みニューラルネットワーク中の前記一組の重み付けを、データ拡張スキームを用いて拡張されたグラウンドトゥルースパッチの拡張された一組に少なくとも部分的に基づいて、学習するよう構成されている、条項23のシステム。
25.前記データ拡張スキームは、前記グラウンドトゥルース画像パッチのうち、赤色、緑色、青色、またはグレースケール強度成分の1つ以上のランダムなガンマ補正を含む、条項24のシステム。
26.前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上の特徴ベクトルを入力として受け取り、当該1つ以上の特徴ベクトルを、前記人工産物または前記検体の1つに対応するものとして分類するよう構成されている、条項1のシステム。
27.前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の前記1つ以上の特徴ベクトルのそれぞれが検体に対応していることを示すスコアを出力する機械学習分類器として構成されている、条項26のシステム。
28.前記少なくとも1つのプロセッサは、拡張スキームを用いて前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチを拡張し、前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチそれぞれの拡張バージョンに対応する前記特徴ベクトルに対して、前記機械学習分類器の出力を平均化するよう構成されている、条項27のシステム。
29.前記データ拡張スキームは、前記入力画像パッチの、色補正を施された赤色、緑色、青色、またはグレースケール強度成分のうち、1つ以上をランダムガンマ補正することを含む、条項28のシステム。
30.前記少なくとも1つの記憶媒体および少なくとも1つのプロセッサは、前記少なくとも1つのグラウンドトゥルース画像パッチに少なくとも部分的に基づいて学習するよう構成されている機械学習分類器を含む、条項26のシステム。
31.前記少なくとも1つのプロセッサは、検体が有るかどうかを決定し、当該検体の有無を示すよう構成されている、条項1のシステム。
32.前記検体は寄生生物を含む、条項31のシステム。
33.前記寄生生物はマラリア原虫を含む、条項32のシステム。
34.撮像装置を含む、条項1のシステム。
35.前記撮像装置は顕微鏡を含む、条項34のシステム。
36.形状、サイズ、または色の1つ以上を含む1つ以上の画像特徴に少なくとも部分的に基づいて、1つ以上の対象物候補の種類を特定する、条項1のシステム。
37.血中の検体の存在を判定する方法であって、
標本スライドの複数の画像を受け取るステップであって、当該複数の画像は、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記標本スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記標本スライドの固有のz座標を有する、ステップと、
複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに適用するステップと、
前記複数の画像のそれぞれに適応グレースケール変換を適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供するステップと、
前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定するステップと、
前記1つ以上の対象物候補の1つ以上の特徴に少なくとも部分的に基づくスコアに少なくとも部分的に基づいて、前記1つ以上の候補にフィルタをかけ、フィルタをかけられた対象物候補それぞれに対する1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力するステップと、
前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、前記1つ以上の特徴ベクトルを出力するステップと、
各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップと、
検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するステップと、を含む、方法。
38.前記方法は、画像前処理モジュール、対象物候補検出モジュール、特徴抽出モジュール、分類モジュール、診断モジュールのそれぞれを、コンピュータで読み取り可能なプログラムとして記憶する少なくとも1つの記憶媒体を用いて行われ、当該コンピュータで読み取り可能なプログラムは、前記少なくとも1つの記憶媒体に動作可能につながれた少なくとも1つのプロセッサによって実行可能である、条項37の方法。
39.前記複数の画像にホワイトバランス変換を適用するステップは、前記複数の画像における複数の最も明るい画素を用いる、条項37の方法。
40.ホワイトバランス変換を適用するステップは、当該ホワイトバランス変換を決定するステップを含み、それは、
前記複数の画像の部分集合に鮮明な画素が存在する確率がほぼ1であるようにランダムに選択された当該部分集合から複数の最も明るい画素を選択するステップと、
前記複数の画像の前記部分集合の各画素の標準グレースケール強度を計算し適用して、前記複数の画像の前記部分集合それぞれにおける前記複数の最も明るい画素を決定するステップと、
前記複数の最も明るい画素のそれぞれの赤色値R、緑色値G、および青色値Bを決定するステップと、
前記複数の最も明るい画素の平均色によって定められる平均色ベクトルを計算するステップと、
白色ベクトルを決定するステップと、
前記平均色ベクトルおよび前記白色ベクトルの双方に対して垂直で、かつ、前記平均色ベクトルおよび前記白色ベクトルのクロス乗積から計算された、軸ベクトルを決定するステップと、
前記軸ベクトルと、前期平均色ベクトルおよび前記白色ベクトル間の角度とから計算されるアフィン変換行列を決定するステップと、によって行われる、条項39の方法。
41.前記ホワイトバランス変換を適用するステップは、前記複数の画像の各画素における、前記赤色値R、緑色値G、および青色値Bによって定められる色ベクトルに対して、前記ホワイトバランス変換を適用し、それに基づいて前記色補正済み画像を出力するステップを含む、条項40の方法。
42.前記複数の画像に適応グレースケール変換を適用するステップは、複数の適応グレースケール強度画像を出力するステップを含む、条項37の方法。
43.適応グレースケール変換を適用するステップは、
入力として、複数の色補正済み画像および複数の標準グレースケール強度画像を受け取るステップと、
前記複数の標準グレースケール強度画像を暗色閾値で閾値処理して1つ以上の斑点を検出するステップと、
前記検出された1つ以上の斑点の色、面積、または形状のうち少なくとも1つにフィルタをかけて、高感度および高特異度で、白血球核の位置を突き止め特定するステップと、
白血球核を含む前記色補正済み画像からの1つ以上の画素の赤色値R、緑色値G、および青色値Bを、白血球ベクトルデータとして出力するステップと、
前記色補正済み画像中で、前記暗色閾値よりグレースケール強度が明るい画素をランダムサンプリングして決定された複数の適格な背景画素の赤色値R、緑色値G、および青色値Bを、背景ベクトルデータとして出力するステップと、
前記白血球ベクトルデータおよび背景ベクトルデータから適応グレースケール射影ベクトルを決定するステップと、を含む、条項42の方法。
44.適応グレースケール変換を適用するステップは、複数の白血球画素、複数の適格な背景画素、および回帰を用いて、前記適応グレースケール投影をベクトルとして決定し適用するステップを含む、条項42の方法。
45.回帰を用いることは、リッジ回帰、ラッソ回帰、主成分回帰、または部分的最小二乗回帰のうち1つ以上を用いることを含む、条項44の方法。
46.適応グレースケール変換を適用するステップは、前記複数の画像のそれぞれに対して、適応グレースケール強度を計算し適用して、複数の適応グレースケール強度画像を提供するステップを含む、条項42の方法。
47.適応グレースケール変換を適用するステップは、二次またはそれより高次の多項予測変数行列を用いて多項回帰を計算し適用するステップを含む、条項42の方法。
48.適応グレースケール変換を適用するステップは、赤色値R、緑色値G、および青色値Bの有理関数を有する予測変数行列を用いて多項回帰を計算し適用するステップを含む、条項42の方法。
49.1つ以上の対象物候補を検出し特定するステップは、複数の色補正済み画像または複数の適応グレースケール強度画像のうち1つ以上に基づいて、1つ以上の潜在的検体の位置を決定するステップを含む、条項37の方法。
50.1つ以上の対象物候補を検出し特定するステップは、前記複数の視野のうちどの視野がその中に1つ以上の対象物候補を含むか決定するステップと、
視野の中の前記1つ以上の対象物候補のうち、隣接する対象物候補間の距離に少なくとも部分的に基づいて、1つ以上の対象物候補をクラスタ化して、その中に含まれる前記隣接する対象物候補によって定められる対象物候補クラスタを提供するステップと、
前記1つ以上の対象物候補のそれぞれに対し、最もよい焦点スコアを有する焦点面を決定するステップと、
前記1つ以上の対象物候補のそれぞれの1つ以上の特徴に少なくとも部分的に基づいてスコアを出力するステップであって、前記1つ以上の特徴は、面積、グレースケール強度、形状、または色の少なくとも1つを含む、ステップと、
前記1つ以上の特徴の前記スコアに少なくとも部分的に基づいて、前記対象物候補にフィルタをかけるステップと、を含む、条項37の方法。
51.前記1つ以上の特徴の前記スコアに少なくとも部分的に基づいて、前記対象物候補にフィルタをかけるステップは、記憶媒体中にトレーニングされ少なくとも1つのプロセッサによってアクセスされるグラウンドトゥルース対象の属性に基づいて閾値スコアを決定するステップを含む、条項50の方法。
52.前記対象物候補にフィルタをかけるステップは、
前記1つ以上の対象物候補の1つ以上の特徴の前記スコアを、前記1つ以上の特徴のそれぞれに対する閾値スコアと比較することによって、前記1つ以上の対象物候補にフィルタをかけるステップと、
前記閾値スコアより大きいスコアを有する前記1つ以上の対象物候補を、潜在的検体の位置として出力するステップと、
前記閾値スコアより小さいスコアを有する前記1つ以上の対象物候補を退けるステップと、を含む、条項50の方法。
53.1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを出力するステップをさらに含む、条項52の方法。
54.前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから前記1つ以上の特徴ベクトルを抽出するステップは、
前記複数の画像中の1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを入力として受け付けるステップと、
潜在的検体をそれぞれ表わす1つ以上の特徴ベクトルを出力するステップと、を含む、条項37の方法。
55.前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから前記1つ以上の特徴ベクトルを抽出するステップは、
前記1つ以上の潜在的検体の位置に対応する前記複数の色補正済み画像パッチおよび前記複数の適応グレースケール強度画像パッチにおける1つ以上の対象物候補の1つ以上の特徴を決定し抽出するステップと、
前記1つ以上の対象物候補と関連する1つ以上の特徴を、1つ以上の特徴ベクトルとして表わすステップと、を含む、条項54の方法。
56.前記対象物候補の1つ以上の特徴を決定し抽出するステップは、1つ以上の自動的に学習された特徴を抽出するステップを含む、条項55の方法。
57.前記自動的に学習された特徴を抽出するステップは、機械学習モジュールに、1つ以上のグラウンドトゥルース対象を含む複数のグラウンドトゥルース画像パッチに少なくとも部分的に基づいて、一組の重み付けを教えるステップを含み、前記1つ以上のグラウンドトゥルース対象は、前記検体の標本および人工産物の標本を含む、条項56の方法。
58.前記機械学習モジュールは畳み込みニューラルネットワークを含む、条項57の方法。
59.前記機械学習モジュールに、複数のグラウンドトゥルース画像パッチに少なくとも部分的に基づいて、一組の重み付けを教えるステップは、データ拡張スキームを用いて、前記グラウンドトゥルース画像パッチを拡張するステップを含む、条項58の方法。
60.前記データ拡張スキームは、前記グラウンドトゥルース画像パッチのうち、赤色、緑色、青色、またはグレースケール強度成分の1つ以上のランダムなガンマ補正を含む、条項59の方法。
61.前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから前記1つ以上の特徴ベクトルを抽出するステップは、
前記対象物候補を含む複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチの各画像パッチに対する最適な焦点面を、最適な焦点スコアに少なくとも部分的に基づいて決定するステップであって、前記焦点スコアは、対象物候補を含む画像パッチにおける前記複数の焦点面に対する複数の焦点スコアのうち最も高いスコアを含む、ステップと、
前記対象物候補を含む各画像パッチの前記複数の焦点面すべてにわたる焦点スコアの標準偏差を決定するステップと、
各画像パッチの前記複数の焦点面間の対象物候補のうち最も暗い部分の赤色の偏移に少なくとも部分的に基づく、各画像パッチの赤方偏移スコアを決定するステップと、を含む、条項54の方法。
62.各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップは、対象物候補の1つ以上の特徴ベクトルを入力として受け取り、当該1つ以上の特徴ベクトルを、前記人工産物または前記検体の1つに対応するものとして分類するステップを含む、条項37の方法。
63.各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップは、前記1つ以上の対象物候補の前記1つ以上の特徴ベクトルのそれぞれが検体に対応していることを示すスコアを出力する機械学習分類器を用いる、条項62の方法。
64.前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチを出力するステップは、拡張スキームを用いて前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチを拡張するステップを含み、前記1つ以上の特徴ベクトルを分類するステップは、前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチそれぞれの拡張バージョンに対応する前記特徴ベクトルに対して、前記機械学習分類器の出力を平均化するステップを含む、条項63の方法。
65.前記データ拡張スキームは、前記色補正済み画像パッチまたは前記適応グレースケール強度画像パッチの、色補正を施された赤色、緑色、青色、またはグレースケール強度成分のうち、1つ以上をランダムガンマ補正することを含む、条項64の方法。
66.グラウンドトゥルースとして、グラウンドトゥルースサンプル中の前記検体の1つ以上の注釈付画像およびグラウンドトゥルースサンプル中の人工産物の1つ以上の注釈付画像を受け取るステップをさらに含む、条項37の方法。
67.グラウンドトゥルースとして、グラウンドトゥルースサンプル中の前記検体の1つ以上の注釈付画像およびグラウンドトゥルースサンプル中の人工産物の1つ以上の注釈付画像を受け取るステップは、機械学習分類器に対して前記1つ以上の学習済グラウンドトゥルース画像パッチに少なくとも部分的に基づく一組の重み付けを教えるステップを含む、条項66の方法。
68.前記機械学習分類器は畳み込みニューラルネットワークを含み、前記機械学習分類器に対して前記1つ以上のグラウンドトゥルース画像パッチに少なくとも部分的に基づく一組の重み付けを教えるステップは、グラウンドトゥルースサンプル中の前記検体の前記1つ以上の注釈付画像およびグラウンドトゥルースサンプル中の人工産物の前記1つ以上の注釈付画像を前記畳み込みニューラルネットワーク中にロードするステップを含む、条項67の方法。
69.前記機械学習分類器に対して前記1つ以上のグラウンドトゥルース画像パッチに少なくとも部分的に基づく一組の重み付けを教えるステップは、データ拡張スキームを用いて前記グラウンドトゥルース画像パッチを拡張するステップを含む、条項68の方法。
70.前記データ拡張スキームは、前記グラウンドトゥルース画像パッチの、赤色、緑色、青色、またはグレースケール強度成分のうち、1つ以上をランダムガンマ補正することを含む、条項69の方法。
71.検体に対応するものとして分類された前記特徴ベクトルが、陽性の診断と関連する閾値レベルを上回るか下回るか決定するステップは、当該検体が存在するかどうか決定し、当該検体として分類された1つ以上の特徴ベクトルの量に基づいて、当該検体の有無を示すステップを含む、条項37の方法。
72.形状、サイズ、または色の1つ以上を含む1つ以上の画像特徴に少なくとも部分的に基づいて、1つ以上の対象物候補の種類を特定するステップをさらに含む、条項37の方法。
73.前記検体は寄生生物を含む、条項37の方法。
74.前記寄生生物はマラリア原虫を含む、条項73の方法。
75.顕微鏡を用いて、1つ以上のサンプルスライドの1つ以上の画像を記録するステップをさらに含む、条項37の方法。
76.血中のマラリア原虫の存在を判定する自動システムであって、
血液スライドの複数の画像を撮るよう構成された顕微鏡であって、当該複数の画像のそれぞれは、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記血液スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記血液スライドの固有のz座標を有する、顕微鏡と、
前記血液スライドの前記複数の画像を保存するよう構成された少なくとも1つの記憶媒体と、
前記少なくとも1つの記憶媒体に操作可能につなげられた少なくとも1つのプロセッサと、を備え、
前記少なくとも1つのプロセッサは、
複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに対して決定し適用し、
前記複数の画像のそれぞれに対して適応グレースケール変換を決定し適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供し、
前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定し、
前記1つ以上の対象物候補の1つ以上の特徴を抽出しスコア付けして、前記スコアに少なくとも部分的に基づいて、前記1つ以上の対象物候補にフィルタをかけ、
前記1つ以上のフィルタをかけられた対象物候補の色補正済み画像パッチおよび適応グレースケール強度画像パッチを抽出し、
フィルタをかけられた対象物候補それぞれの1つ以上の特徴ベクトルを出力し、
各特徴ベクトルを人工産物または検体として分類し、
検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するよう構成されている、システム。
1.血中の検体の存在を判定するシステムであって、当該システムは、
標本スライドの複数の画像を保存するよう構成された少なくとも1つの記憶媒体と、
前記少なくとも1つの記憶媒体に動作可能に接続された少なくとも1つのプロセッサと、を備え、
前記複数の画像は、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記標本スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記標本スライドの固有のz座標を有しており、
前記少なくとも1つのプロセッサは、
複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに対して決定し適用し、
前記複数の画像のそれぞれに対して適応グレースケール変換を決定し適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供し、
前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定し、
前記1つ以上の対象物候補の1つ以上の特徴に少なくとも部分的に基づいて、前記1つ以上の対象物候補を抽出しスコア付けし、前記スコアに少なくとも部分的に基づいて、前記1つ以上の候補にフィルタをかけ、フィルタをかけられた対象物候補それぞれに対する1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力し、
前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、前記1つ以上の特徴ベクトルを出力し、
前記1つ以上の特徴ベクトルのそれぞれを、人工産物または検体に対応するものとして分類し、
検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するよう構成されている、システム。
2.前記少なくとも1つの記憶媒体は、画像前処理モジュール、対象物候補検出モジュール、特徴抽出モジュール、分類モジュール、診断モジュールを、前記少なくとも1つのプロセッサで実行可能な、コンピュータで読み取り可能なプログラムとして記憶している、条項1のシステム。
3.前記少なくとも1つのプロセッサは、前記複数の画像の複数の最も明るい画素に少なくとも部分的に基づいて、前記複数の画像に対してホワイトバランス変換を決定し適用するよう構成されている、条項1のシステム。
4.少なくとも1つのプロセッサは、前記ホワイトバランス変換の決定を、
前記複数の画像の部分集合に鮮明な画素が存在する確率がほぼ1であるようにランダムに選択された当該部分集合からの、複数の最も明るい画素と、
前記複数の画像の前記部分集合のそれぞれにおける前記複数の最も明るい画素を判定するために計算された、前記複数の画像の前記部分集合の各画素の標準グレースケール強度と、
前記複数の最も明るい画素のそれぞれの赤色値R、緑色値G、および青色値Bと、
前記複数の最も明るい画素の平均色によって定められる平均色ベクトルと、
白色ベクトルと、
前記平均色ベクトルおよび前記白色ベクトルの双方に対して垂直で、かつ、前記平均色ベクトルおよび前記白色ベクトルのクロス乗積から計算された、軸ベクトルと、
前記軸ベクトルと、前期平均色ベクトルおよび前記白色ベクトル間の角度とから計算されるアフィン変換行列と、
に基づいて行うよう構成されている、条項3のシステム。
5.前記少なくとも1つのプロセッサは、前記複数の画像の前記画素のそれぞれにおける、前記R、G、B値によって定められる色ベクトルに対して、前記ホワイトバランス変換を適用し、それに基づいて前記色補正済み画像を出力するよう構成されている、条項4のシステム。
6.前記少なくとも1つのプロセッサは、前記複数の画像に対して適応グレースケール変換を決定し適用し、複数の適応グレースケール強度画像を出力するよう構成されている、条項1のシステム。
7.少なくとも1つのプロセッサは、
入力として、複数の色補正済み画像および複数の標準グレースケール強度画像を受け取り、
前記複数の標準グレースケール強度画像を暗色閾値で閾値処理して斑点を検出し、
1つ以上の検出された斑点の色、面積、または形状のうち少なくとも1つにフィルタをかけて、高感度および高特異度で、白血球核の位置を突き止め特定し、
白血球核を含む前記色補正済み画像からの1つ以上の画素の赤色値R、緑色値G、および青色値Bを、白血球ベクトルデータとして、前記記憶媒体へ出力し、
前記色補正済み画像中で、前記暗色閾値よりグレースケール強度が明るい画素をランダムサンプリングして決定された複数の正規背景画素の赤色値R、緑色値G、および青色値Bを、背景ベクトルデータとして、前記記憶媒体へ出力し、
前記白血球ベクトルデータおよび背景ベクトルデータを、前記少なくとも1つの記憶媒体中に記憶され前記少なくとも1つのプロセッサによって実行される機械学習モジュールへと送るよう構成されており、前記機械学習モジュールは適応グレースケール射影ベクトルを決定するよう構成されている、条項1のシステム。
8.前記少なくとも1つのプロセッサは、適応グレースケール射影ベクトルに基づいて前記適応グレースケール変換を決定するよう構成されており、前記適応グレースケール射影ベクトルは、複数の白血球画素および複数の適格な背景画素に少なくとも部分的に基づいており、かつ、
前記少なくとも1つのプロセッサは、前記適応グレースケール射影ベクトルを、回帰を用いて決定するよう構成されている、条項7のシステム。
9.前記少なくとも1つのプロセッサは、リッジ回帰、ラッソ回帰、主成分回帰、または部分的最小二乗回帰を含む正則化回帰を実行して、前記適応グレースケール射影ベクトルを決定するよう構成されている、条項8のシステム。
10.前記少なくとも1つのプロセッサは、前記複数の画像のそれぞれに対して適応グレースケール強度を計算し適用して、複数の適応グレースケール強度画像を提供するよう構成されている、条項8のシステム。
11.前記少なくとも1つのプロセッサは、2次またはそれより高次の多項予測変数行列を用いて、多項回帰を計算し適用して、前記適応グレースケール変換を決定し適用するよう構成されている、条項8のシステム。
12.前記少なくとも1つのプロセッサは、前記1つ以上の画素の赤色値R、緑色値G、および青色値Bの有理関数を有する予測変数行列を用いて回帰を計算し適用して、前記適応グレースケール変換を決定し適用するよう構成されている、条項8のシステム。
13.前記少なくとも1つのプロセッサは、複数の色補正済み画像または複数の適応グレースケール強度画像の1つ以上に基づいて、1つ以上の潜在的検体の位置を決定するよう構成されている、条項1のシステム。
14.前記少なくとも1つのプロセッサは、
前記複数の視野のうちどの視野がその中に1つ以上の対象物候補を含むか決定し、
視野の中の前記1つ以上の対象物候補のうち、1つ以上の隣接する対象物候補間の距離に少なくとも部分的に基づいて、対象物候補をクラスタ化して、その中に含まれる1つ以上の隣接する対象物候補によって定められる対象物候補クラスタを提供し、
前記1つ以上の対象物候補のそれぞれに対し、最もよい焦点スコアを有する焦点面を決定し、
前記1つ以上の対象物候補のそれぞれの1つ以上の特徴に少なくとも部分的に基づいて、前記1つ以上の対象物候補のそれぞれのスコアを出力し、
前記1つ以上の特徴の前記スコアに少なくとも部分的に基づいて、前記1つ以上の対象物候補にフィルタをかけるよう構成されており、
前記1つ以上の特徴は、面積、グレースケール強度、形状、または色の少なくとも1つを含む、条項13のシステム。
15.前記少なくとも1つのプロセッサは、
前記1つ以上の対象物候補の1つ以上の特徴の前記スコアを、前記1つ以上の特徴のそれぞれに対する閾値スコアと比較することによって、前記1つ以上の対象物候補にフィルタをかけ、
前記閾値スコアより大きいスコアを有する前記1つ以上の対象物候補を、潜在的検体の位置として出力し、
前記閾値スコアより小さいスコアを有する前記1つ以上の対象物候補を退けるよう構成されている、条項14のシステム。
16.前記少なくとも1つのプロセッサは、前記少なくとも1つの記憶媒体中にトレーニングされ前記少なくとも1つのプロセッサによってアクセスされるグラウンドトゥルース対象の属性に基づいて閾値スコアを決定するよう構成されている、条項15のシステム。
17.前記少なくとも1つのプロセッサは、1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを出力するよう構成されている、条項15のシステム。
18.前記少なくとも1つのプロセッサは、前記複数の画像中の前記1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを入力として受け付け、潜在的検体をそれぞれ表わす1つ以上の特徴ベクトルを出力するよう構成されている、条項1のシステム。
19.前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上のマニュアル特徴を、1つ以上の項目を決定することによって決定し抽出するよう構成されており、当該1つ以上の項目は、
前記1つ以上の対象物候補を含む複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチの各画像パッチに対する最適な焦点面であって、前記焦点スコアは、前記1つ以上の対象物候補を含む画像パッチにおける前記複数の焦点面に対する複数の焦点スコアのうち最も高いスコアを含む、最適な焦点面と、
前記1つ以上の対象物候補を含む画像パッチの複数の焦点面すべてにわたる焦点スコアの散布度の標準偏差または他の尺度と、
各画像パッチの前記複数の焦点面間の前記1つ以上の対象物候補のうち最も暗い部分の赤色の偏移に少なくとも部分的に基づく、各画像パッチの赤方偏移スコアである、条項18のシステム。
20.前記少なくとも1つのプロセッサは、前記複数の画像中の1つ以上の対象物候補の1つ以上の特徴を決定し抽出し、当該1つ以上の特徴を1つ以上の特徴ベクトルとして示すよう構成されている、条項1のシステム。
21.前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上の特徴を決定し抽出するよう構成されており、前記1つ以上の特徴は自動的に学習された特徴である、条項20のシステム。
22.前記システムは機械学習モジュールを備えており、当該機械学習モジュールは、1つ以上のグラウンドトゥルース対象を含む複数のグラウンドトゥルース画像に少なくとも部分的に基づいて、一組の重み付けを自動的に学習するよう構成されており、前記1つ以上のグラウンドトゥルース対象は、前記検体の標本および人工産物の標本を含む、条項20のシステム。
23.前記機械学習モジュールは畳み込みニューラルネットワークを含む、条項22のシステム。
24.前記少なくとも1つのプロセッサは、前記畳み込みニューラルネットワーク中の前記一組の重み付けを、データ拡張スキームを用いて拡張されたグラウンドトゥルースパッチの拡張された一組に少なくとも部分的に基づいて、学習するよう構成されている、条項23のシステム。
25.前記データ拡張スキームは、前記グラウンドトゥルース画像パッチのうち、赤色、緑色、青色、またはグレースケール強度成分の1つ以上のランダムなガンマ補正を含む、条項24のシステム。
26.前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上の特徴ベクトルを入力として受け取り、当該1つ以上の特徴ベクトルを、前記人工産物または前記検体の1つに対応するものとして分類するよう構成されている、条項1のシステム。
27.前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の前記1つ以上の特徴ベクトルのそれぞれが検体に対応していることを示すスコアを出力する機械学習分類器として構成されている、条項26のシステム。
28.前記少なくとも1つのプロセッサは、拡張スキームを用いて前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチを拡張し、前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチそれぞれの拡張バージョンに対応する前記特徴ベクトルに対して、前記機械学習分類器の出力を平均化するよう構成されている、条項27のシステム。
29.前記データ拡張スキームは、前記入力画像パッチの、色補正を施された赤色、緑色、青色、またはグレースケール強度成分のうち、1つ以上をランダムガンマ補正することを含む、条項28のシステム。
30.前記少なくとも1つの記憶媒体および少なくとも1つのプロセッサは、前記少なくとも1つのグラウンドトゥルース画像パッチに少なくとも部分的に基づいて学習するよう構成されている機械学習分類器を含む、条項26のシステム。
31.前記少なくとも1つのプロセッサは、検体が有るかどうかを決定し、当該検体の有無を示すよう構成されている、条項1のシステム。
32.前記検体は寄生生物を含む、条項31のシステム。
33.前記寄生生物はマラリア原虫を含む、条項32のシステム。
34.撮像装置を含む、条項1のシステム。
35.前記撮像装置は顕微鏡を含む、条項34のシステム。
36.形状、サイズ、または色の1つ以上を含む1つ以上の画像特徴に少なくとも部分的に基づいて、1つ以上の対象物候補の種類を特定する、条項1のシステム。
37.血中の検体の存在を判定する方法であって、
標本スライドの複数の画像を受け取るステップであって、当該複数の画像は、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記標本スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記標本スライドの固有のz座標を有する、ステップと、
複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに適用するステップと、
前記複数の画像のそれぞれに適応グレースケール変換を適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供するステップと、
前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定するステップと、
前記1つ以上の対象物候補の1つ以上の特徴に少なくとも部分的に基づくスコアに少なくとも部分的に基づいて、前記1つ以上の候補にフィルタをかけ、フィルタをかけられた対象物候補それぞれに対する1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力するステップと、
前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、前記1つ以上の特徴ベクトルを出力するステップと、
各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップと、
検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するステップと、を含む、方法。
38.前記方法は、画像前処理モジュール、対象物候補検出モジュール、特徴抽出モジュール、分類モジュール、診断モジュールのそれぞれを、コンピュータで読み取り可能なプログラムとして記憶する少なくとも1つの記憶媒体を用いて行われ、当該コンピュータで読み取り可能なプログラムは、前記少なくとも1つの記憶媒体に動作可能につながれた少なくとも1つのプロセッサによって実行可能である、条項37の方法。
39.前記複数の画像にホワイトバランス変換を適用するステップは、前記複数の画像における複数の最も明るい画素を用いる、条項37の方法。
40.ホワイトバランス変換を適用するステップは、当該ホワイトバランス変換を決定するステップを含み、それは、
前記複数の画像の部分集合に鮮明な画素が存在する確率がほぼ1であるようにランダムに選択された当該部分集合から複数の最も明るい画素を選択するステップと、
前記複数の画像の前記部分集合の各画素の標準グレースケール強度を計算し適用して、前記複数の画像の前記部分集合それぞれにおける前記複数の最も明るい画素を決定するステップと、
前記複数の最も明るい画素のそれぞれの赤色値R、緑色値G、および青色値Bを決定するステップと、
前記複数の最も明るい画素の平均色によって定められる平均色ベクトルを計算するステップと、
白色ベクトルを決定するステップと、
前記平均色ベクトルおよび前記白色ベクトルの双方に対して垂直で、かつ、前記平均色ベクトルおよび前記白色ベクトルのクロス乗積から計算された、軸ベクトルを決定するステップと、
前記軸ベクトルと、前期平均色ベクトルおよび前記白色ベクトル間の角度とから計算されるアフィン変換行列を決定するステップと、によって行われる、条項39の方法。
41.前記ホワイトバランス変換を適用するステップは、前記複数の画像の各画素における、前記赤色値R、緑色値G、および青色値Bによって定められる色ベクトルに対して、前記ホワイトバランス変換を適用し、それに基づいて前記色補正済み画像を出力するステップを含む、条項40の方法。
42.前記複数の画像に適応グレースケール変換を適用するステップは、複数の適応グレースケール強度画像を出力するステップを含む、条項37の方法。
43.適応グレースケール変換を適用するステップは、
入力として、複数の色補正済み画像および複数の標準グレースケール強度画像を受け取るステップと、
前記複数の標準グレースケール強度画像を暗色閾値で閾値処理して1つ以上の斑点を検出するステップと、
前記検出された1つ以上の斑点の色、面積、または形状のうち少なくとも1つにフィルタをかけて、高感度および高特異度で、白血球核の位置を突き止め特定するステップと、
白血球核を含む前記色補正済み画像からの1つ以上の画素の赤色値R、緑色値G、および青色値Bを、白血球ベクトルデータとして出力するステップと、
前記色補正済み画像中で、前記暗色閾値よりグレースケール強度が明るい画素をランダムサンプリングして決定された複数の適格な背景画素の赤色値R、緑色値G、および青色値Bを、背景ベクトルデータとして出力するステップと、
前記白血球ベクトルデータおよび背景ベクトルデータから適応グレースケール射影ベクトルを決定するステップと、を含む、条項42の方法。
44.適応グレースケール変換を適用するステップは、複数の白血球画素、複数の適格な背景画素、および回帰を用いて、前記適応グレースケール投影をベクトルとして決定し適用するステップを含む、条項42の方法。
45.回帰を用いることは、リッジ回帰、ラッソ回帰、主成分回帰、または部分的最小二乗回帰のうち1つ以上を用いることを含む、条項44の方法。
46.適応グレースケール変換を適用するステップは、前記複数の画像のそれぞれに対して、適応グレースケール強度を計算し適用して、複数の適応グレースケール強度画像を提供するステップを含む、条項42の方法。
47.適応グレースケール変換を適用するステップは、二次またはそれより高次の多項予測変数行列を用いて多項回帰を計算し適用するステップを含む、条項42の方法。
48.適応グレースケール変換を適用するステップは、赤色値R、緑色値G、および青色値Bの有理関数を有する予測変数行列を用いて多項回帰を計算し適用するステップを含む、条項42の方法。
49.1つ以上の対象物候補を検出し特定するステップは、複数の色補正済み画像または複数の適応グレースケール強度画像のうち1つ以上に基づいて、1つ以上の潜在的検体の位置を決定するステップを含む、条項37の方法。
50.1つ以上の対象物候補を検出し特定するステップは、前記複数の視野のうちどの視野がその中に1つ以上の対象物候補を含むか決定するステップと、
視野の中の前記1つ以上の対象物候補のうち、隣接する対象物候補間の距離に少なくとも部分的に基づいて、1つ以上の対象物候補をクラスタ化して、その中に含まれる前記隣接する対象物候補によって定められる対象物候補クラスタを提供するステップと、
前記1つ以上の対象物候補のそれぞれに対し、最もよい焦点スコアを有する焦点面を決定するステップと、
前記1つ以上の対象物候補のそれぞれの1つ以上の特徴に少なくとも部分的に基づいてスコアを出力するステップであって、前記1つ以上の特徴は、面積、グレースケール強度、形状、または色の少なくとも1つを含む、ステップと、
前記1つ以上の特徴の前記スコアに少なくとも部分的に基づいて、前記対象物候補にフィルタをかけるステップと、を含む、条項37の方法。
51.前記1つ以上の特徴の前記スコアに少なくとも部分的に基づいて、前記対象物候補にフィルタをかけるステップは、記憶媒体中にトレーニングされ少なくとも1つのプロセッサによってアクセスされるグラウンドトゥルース対象の属性に基づいて閾値スコアを決定するステップを含む、条項50の方法。
52.前記対象物候補にフィルタをかけるステップは、
前記1つ以上の対象物候補の1つ以上の特徴の前記スコアを、前記1つ以上の特徴のそれぞれに対する閾値スコアと比較することによって、前記1つ以上の対象物候補にフィルタをかけるステップと、
前記閾値スコアより大きいスコアを有する前記1つ以上の対象物候補を、潜在的検体の位置として出力するステップと、
前記閾値スコアより小さいスコアを有する前記1つ以上の対象物候補を退けるステップと、を含む、条項50の方法。
53.1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを出力するステップをさらに含む、条項52の方法。
54.前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから前記1つ以上の特徴ベクトルを抽出するステップは、
前記複数の画像中の1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを入力として受け付けるステップと、
潜在的検体をそれぞれ表わす1つ以上の特徴ベクトルを出力するステップと、を含む、条項37の方法。
55.前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから前記1つ以上の特徴ベクトルを抽出するステップは、
前記1つ以上の潜在的検体の位置に対応する前記複数の色補正済み画像パッチおよび前記複数の適応グレースケール強度画像パッチにおける1つ以上の対象物候補の1つ以上の特徴を決定し抽出するステップと、
前記1つ以上の対象物候補と関連する1つ以上の特徴を、1つ以上の特徴ベクトルとして表わすステップと、を含む、条項54の方法。
56.前記対象物候補の1つ以上の特徴を決定し抽出するステップは、1つ以上の自動的に学習された特徴を抽出するステップを含む、条項55の方法。
57.前記自動的に学習された特徴を抽出するステップは、機械学習モジュールに、1つ以上のグラウンドトゥルース対象を含む複数のグラウンドトゥルース画像パッチに少なくとも部分的に基づいて、一組の重み付けを教えるステップを含み、前記1つ以上のグラウンドトゥルース対象は、前記検体の標本および人工産物の標本を含む、条項56の方法。
58.前記機械学習モジュールは畳み込みニューラルネットワークを含む、条項57の方法。
59.前記機械学習モジュールに、複数のグラウンドトゥルース画像パッチに少なくとも部分的に基づいて、一組の重み付けを教えるステップは、データ拡張スキームを用いて、前記グラウンドトゥルース画像パッチを拡張するステップを含む、条項58の方法。
60.前記データ拡張スキームは、前記グラウンドトゥルース画像パッチのうち、赤色、緑色、青色、またはグレースケール強度成分の1つ以上のランダムなガンマ補正を含む、条項59の方法。
61.前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから前記1つ以上の特徴ベクトルを抽出するステップは、
前記対象物候補を含む複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチの各画像パッチに対する最適な焦点面を、最適な焦点スコアに少なくとも部分的に基づいて決定するステップであって、前記焦点スコアは、対象物候補を含む画像パッチにおける前記複数の焦点面に対する複数の焦点スコアのうち最も高いスコアを含む、ステップと、
前記対象物候補を含む各画像パッチの前記複数の焦点面すべてにわたる焦点スコアの標準偏差を決定するステップと、
各画像パッチの前記複数の焦点面間の対象物候補のうち最も暗い部分の赤色の偏移に少なくとも部分的に基づく、各画像パッチの赤方偏移スコアを決定するステップと、を含む、条項54の方法。
62.各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップは、対象物候補の1つ以上の特徴ベクトルを入力として受け取り、当該1つ以上の特徴ベクトルを、前記人工産物または前記検体の1つに対応するものとして分類するステップを含む、条項37の方法。
63.各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップは、前記1つ以上の対象物候補の前記1つ以上の特徴ベクトルのそれぞれが検体に対応していることを示すスコアを出力する機械学習分類器を用いる、条項62の方法。
64.前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチを出力するステップは、拡張スキームを用いて前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチを拡張するステップを含み、前記1つ以上の特徴ベクトルを分類するステップは、前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチそれぞれの拡張バージョンに対応する前記特徴ベクトルに対して、前記機械学習分類器の出力を平均化するステップを含む、条項63の方法。
65.前記データ拡張スキームは、前記色補正済み画像パッチまたは前記適応グレースケール強度画像パッチの、色補正を施された赤色、緑色、青色、またはグレースケール強度成分のうち、1つ以上をランダムガンマ補正することを含む、条項64の方法。
66.グラウンドトゥルースとして、グラウンドトゥルースサンプル中の前記検体の1つ以上の注釈付画像およびグラウンドトゥルースサンプル中の人工産物の1つ以上の注釈付画像を受け取るステップをさらに含む、条項37の方法。
67.グラウンドトゥルースとして、グラウンドトゥルースサンプル中の前記検体の1つ以上の注釈付画像およびグラウンドトゥルースサンプル中の人工産物の1つ以上の注釈付画像を受け取るステップは、機械学習分類器に対して前記1つ以上の学習済グラウンドトゥルース画像パッチに少なくとも部分的に基づく一組の重み付けを教えるステップを含む、条項66の方法。
68.前記機械学習分類器は畳み込みニューラルネットワークを含み、前記機械学習分類器に対して前記1つ以上のグラウンドトゥルース画像パッチに少なくとも部分的に基づく一組の重み付けを教えるステップは、グラウンドトゥルースサンプル中の前記検体の前記1つ以上の注釈付画像およびグラウンドトゥルースサンプル中の人工産物の前記1つ以上の注釈付画像を前記畳み込みニューラルネットワーク中にロードするステップを含む、条項67の方法。
69.前記機械学習分類器に対して前記1つ以上のグラウンドトゥルース画像パッチに少なくとも部分的に基づく一組の重み付けを教えるステップは、データ拡張スキームを用いて前記グラウンドトゥルース画像パッチを拡張するステップを含む、条項68の方法。
70.前記データ拡張スキームは、前記グラウンドトゥルース画像パッチの、赤色、緑色、青色、またはグレースケール強度成分のうち、1つ以上をランダムガンマ補正することを含む、条項69の方法。
71.検体に対応するものとして分類された前記特徴ベクトルが、陽性の診断と関連する閾値レベルを上回るか下回るか決定するステップは、当該検体が存在するかどうか決定し、当該検体として分類された1つ以上の特徴ベクトルの量に基づいて、当該検体の有無を示すステップを含む、条項37の方法。
72.形状、サイズ、または色の1つ以上を含む1つ以上の画像特徴に少なくとも部分的に基づいて、1つ以上の対象物候補の種類を特定するステップをさらに含む、条項37の方法。
73.前記検体は寄生生物を含む、条項37の方法。
74.前記寄生生物はマラリア原虫を含む、条項73の方法。
75.顕微鏡を用いて、1つ以上のサンプルスライドの1つ以上の画像を記録するステップをさらに含む、条項37の方法。
76.血中のマラリア原虫の存在を判定する自動システムであって、
血液スライドの複数の画像を撮るよう構成された顕微鏡であって、当該複数の画像のそれぞれは、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記血液スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記血液スライドの固有のz座標を有する、顕微鏡と、
前記血液スライドの前記複数の画像を保存するよう構成された少なくとも1つの記憶媒体と、
前記少なくとも1つの記憶媒体に操作可能につなげられた少なくとも1つのプロセッサと、を備え、
前記少なくとも1つのプロセッサは、
複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに対して決定し適用し、
前記複数の画像のそれぞれに対して適応グレースケール変換を決定し適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供し、
前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定し、
前記1つ以上の対象物候補の1つ以上の特徴を抽出しスコア付けして、前記スコアに少なくとも部分的に基づいて、前記1つ以上の対象物候補にフィルタをかけ、
前記1つ以上のフィルタをかけられた対象物候補の色補正済み画像パッチおよび適応グレースケール強度画像パッチを抽出し、
フィルタをかけられた対象物候補それぞれの1つ以上の特徴ベクトルを出力し、
各特徴ベクトルを人工産物または検体として分類し、
検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するよう構成されている、システム。
さまざまな態様および実施形態を本明細書に開示してきたが、本明細書に開示されたさまざまな態様および実施形態は例示目的であり、限定を意図するものではない。本発明の真の範囲および精神は、以下の請求項によって示される。
Claims (53)
- 血中の検体の存在を判定するシステムであって、当該システムは、
標本スライドの複数の画像を保存するよう構成された少なくとも1つの記憶媒体と、
前記少なくとも1つの記憶媒体に動作可能に接続された少なくとも1つのプロセッサと、を備え、
前記複数の画像は、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記標本スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記標本スライドの固有のz座標を有しており、
前記少なくとも1つのプロセッサは、
複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに対して決定し適用し、
前記複数の画像のそれぞれに対して適応グレースケール変換を決定し適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供し、
前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定し、
前記1つ以上の対象物候補の1つ以上の特徴に少なくとも部分的に基づいて、前記1つ以上の対象物候補を抽出しスコア付けし、前記スコアに少なくとも部分的に基づいて、前記1つ以上の候補にフィルタをかけ、フィルタをかけられた対象物候補それぞれに対する1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力し、
前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、前記1つ以上の特徴ベクトルを出力し、
前記1つ以上の特徴ベクトルのそれぞれを、人工産物または検体に対応するものとして分類し、
検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するよう構成されている、システム。 - 前記少なくとも1つの記憶媒体は、画像前処理モジュール、対象物候補検出モジュール、特徴抽出モジュール、分類モジュール、診断モジュールを、前記少なくとも1つのプロセッサで実行可能な、コンピュータで読み取り可能なプログラムとして記憶している、請求項1のシステム。
- 前記少なくとも1つのプロセッサは、前記複数の画像の複数の最も明るい画素に少なくとも部分的に基づいて、前記複数の画像に対してホワイトバランス変換を決定し適用するよう構成されている、請求項1のシステム。
- 少なくとも1つのプロセッサは、
前記複数の画像の部分集合に鮮明な画素が存在する確率がほぼ1であるようにランダムに選択された当該部分集合からの、複数の最も明るい画素と、
前記複数の画像の前記部分集合のそれぞれにおける前記複数の最も明るい画素を判定するために計算された、前記複数の画像の前記部分集合の各画素の標準グレースケール強度と、
前記複数の最も明るい画素のそれぞれの赤色値R、緑色値G、および青色値Bと、
前記複数の最も明るい画素の平均色によって定められる平均色ベクトルと、
白色ベクトルと、
前記平均色ベクトルおよび前記白色ベクトルの双方に対して垂直で、かつ、前記平均色ベクトルおよび前記白色ベクトルのクロス乗積から計算された、軸ベクトルと、
前記軸ベクトルと、前期平均色ベクトルおよび前記白色ベクトル間の角度とから計算されるアフィン変換行列と、
から、前記ホワイトバランス変換を決定するよう構成されている、請求項3のシステム。 - 前記少なくとも1つのプロセッサは、前記複数の画像の前記画素のそれぞれにおける、前記R、G、B値によって定められる色ベクトルに対して、前記ホワイトバランス変換を適用し、それに基づいて前記色補正済み画像を出力するよう構成されている、請求項4のシステム。
- 前記少なくとも1つのプロセッサは、前記複数の画像に対して適応グレースケール変換を決定し適用し、複数の適応グレースケール強度画像を出力するよう構成されている、請求項1のシステム。
- 少なくとも1つのプロセッサは、
入力として、複数の色補正済み画像および複数の標準グレースケール強度画像を受け取り、
前記複数の標準グレースケール強度画像を暗色閾値で閾値処理して斑点を検出し、
1つ以上の検出された斑点の色、面積、または形状のうち少なくとも1つにフィルタをかけて、高感度および高特異度で、白血球核の位置を突き止め特定し、
白血球核を含む前記色補正済み画像からの1つ以上の画素の赤色値R、緑色値G、および青色値Bを、白血球ベクトルデータとして、前記記憶媒体へ出力し、
前記色補正済み画像中で、前記暗色閾値よりグレースケール強度が明るい画素をランダムサンプリングして決定された複数の適格な背景画素の赤色値R、緑色値G、および青色値Bを、背景ベクトルデータとして、前記記憶媒体へ出力し、
前記白血球ベクトルデータおよび背景ベクトルデータを、前記少なくとも1つの記憶媒体中に記憶され前記少なくとも1つのプロセッサによって実行される機械学習モジュールへと送るよう構成されており、前記機械学習モジュールは適応グレースケール射影ベクトルを決定するよう構成されている、請求項1のシステム。 - 前記少なくとも1つのプロセッサは、適応グレースケール射影ベクトルに基づいて前記適応グレースケール変換を決定するよう構成されており、前記適応グレースケール射影ベクトルは、複数の白血球画素および複数の適格な背景画素に少なくとも部分的に基づいており、かつ、
前記少なくとも1つのプロセッサは、前記適応グレースケール射影ベクトルを、回帰を用いて決定するよう構成されている、請求項7のシステム。 - 前記少なくとも1つのプロセッサは、前記複数の画像のそれぞれに対して、適応グレースケール強度を計算し適用して、複数の適応グレースケール強度画像を提供するよう構成されている、請求項8のシステム。
- 前記少なくとも1つのプロセッサは、複数の色補正済み画像または複数の適応グレースケール強度画像の1つ以上に基づいて、1つ以上の潜在的な検体の位置を判定するよう構成されている、請求項1のシステム。
- 前記少なくとも1つのプロセッサは、
前記複数の視野のうちどの視野がその中に1つ以上の対象物候補を含んでいるか判定し、
視野の中の前記1つ以上の対象物候補のうち、1つ以上の隣接する対象物候補間の距離に少なくとも部分的に基づいて、対象物候補をクラスタ化して、その中に含まれる1つ以上の隣接する対象物候補によって定められる対象物候補クラスタを提供し、
前記1つ以上の対象物候補のそれぞれに対し、最もよい焦点スコアを有する焦点面を決定し、
前記1つ以上の対象物候補のそれぞれの1つ以上の特徴に少なくとも部分的に基づいて、前記1つ以上の対象物候補のそれぞれに対するスコアを出力し、
前記1つ以上の特徴の前記スコアに少なくとも部分的に基づいて、前記1つ以上の対象物候補にフィルタをかけるよう構成されており、
前記1つ以上の特徴は、面積、グレースケール強度、形状、または色の少なくとも1つを含む、請求項10のシステム。 - 前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上の特徴の前記スコアを、前記1つ以上の特徴のそれぞれに対する閾値スコアと比較することによって、前記1つ以上の対象物候補にフィルタをかけ、前記閾値スコアより大きいスコアを有する前記1つ以上の対象物候補を、潜在的検体の位置として出力し、前記閾値スコアより小さいスコアを有する前記1つ以上の対象物候補を退けるよう構成されている、請求項11のシステム。
- 前記少なくとも1つのプロセッサは、前記少なくとも1つの記憶媒体中にトレーニングされ前記少なくとも1つのプロセッサによってアクセスされるグラウンドトゥルース対象の属性に基づいて閾値スコアを決定するよう構成されている、請求項12のシステム。
- 前記少なくとも1つのプロセッサは、前記複数の画像中の前記1つ以上の潜在的検体位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを入力として受け付け、潜在的検体をそれぞれ表わす1つ以上の特徴ベクトルを出力するよう構成されている、請求項1のシステム。
- 前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上のマニュアル特徴を、1つ以上の項目を決定することによって決定し抽出するよう構成されており、当該1つ以上の項目は、
前記1つ以上の対象物候補を含む複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチの各画像パッチに対する最適な焦点面であって、前記焦点のスコアは、前記1つ以上の対象物候補を含む画像パッチにおける前記複数の焦点面に対する複数の焦点スコアのうち最も高いスコアを含む、最適な焦点面と、
前記1つ以上の対象物候補を含む画像パッチの複数の焦点面すべてにわたる焦点スコアの散布度の標準偏差または他の尺度と、
各画像パッチの前記複数の焦点面間の前記1つ以上の対象物候補のうち最も暗い部分の赤色の偏移に少なくとも部分的に基づく、各画像パッチの赤方偏移スコアである、請求項14のシステム。 - 前記少なくとも1つのプロセッサは、前記複数の画像中の1つ以上の対象物候補の1つ以上の特徴を決定し抽出し、当該1つ以上の特徴を1つ以上の特徴ベクトルとして示すよう構成されている、請求項1のシステム。
- 前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の1つ以上の特徴ベクトルを入力として受け取り、当該1つ以上の特徴ベクトルを、前記人工産物または前記検体の1つに対応するものとして分類するよう構成されている、請求項1のシステム。
- 前記少なくとも1つのプロセッサは、前記1つ以上の対象物候補の前記1つ以上の特徴ベクトルのそれぞれが検体に対応していることを示すスコアを出力する機械学習分類器として構成されている、請求項17のシステム。
- 前記少なくとも1つの記憶媒体および少なくとも1つのプロセッサは、前記少なくとも1つのグラウンドトゥルース画像パッチに少なくとも部分的に基づいて学習するよう構成されている機械学習分類器を含む、請求項17のシステム。
- 前記少なくとも1つのプロセッサは、検体が有るかどうかを決定し、当該検体の有無を示すよう構成されている、請求項1のシステム。
- 前記検体は寄生生物を含む、請求項20のシステム。
- 前記寄生生物はマラリア原虫を含む、請求項21のシステム。
- 撮像装置を含む、請求項1のシステム。
- 前記撮像装置は顕微鏡を含む、請求項23のシステム。
- 血中の検体の存在を判定する方法であって、
標本スライドの複数の画像を受け取るステップであって、当該複数の画像は、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記標本スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記標本スライドの固有のz座標を有する、ステップと、
複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに適用するステップと、
前記複数の画像のそれぞれに適応グレースケール変換を適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供するステップと、
前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定するステップと、
前記1つ以上の対象物候補の1つ以上の特徴に少なくとも部分的に基づくスコアに少なくとも部分的に基づいて、前記1つ以上の対象物候補にフィルタをかけ、フィルタをかけられた対象物候補それぞれに対する1つ以上の色補正済み画像パッチおよび1つ以上の適応グレースケール強度画像パッチを出力するステップと、
前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから1つ以上の特徴ベクトルを抽出し、前記1つ以上の特徴ベクトルを出力するステップと、
各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップと、
検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するステップと、を含む、方法。 - 前記複数の画像にホワイトバランス変換を適用するステップは、前記複数の画像における複数の最も明るい画素を用いる、請求項25の方法。
- ホワイトバランス変換を適用するステップは、当該ホワイトバランス変換を決定するステップを含み、それは
前記複数の画像の部分集合に鮮明な画素が存在する確率がほぼ1であるようにランダムに選択された当該部分集合から複数の最も明るい画素を選択するステップと、
前記複数の画像の前記部分集合の各画素の標準グレースケール強度を計算し適用して、前記複数の画像の前記部分集合それぞれにおける前記複数の最も明るい画素を決定するステップと、
前記複数の最も明るい画素のそれぞれの赤色値R、緑色値G、および青色値Bを決定するステップと、
前記複数の最も明るい画素の平均色によって定められる平均色ベクトルを計算するステップと、
白色ベクトルを決定するステップと、
前記平均色ベクトルおよび前記白色ベクトルの双方に対して垂直で、かつ、前記平均色ベクトルおよび前記白色ベクトルのクロス乗積から計算された、軸ベクトルを決定するステップと、
前記軸ベクトルと、前期平均色ベクトルおよび前記白色ベクトル間の角度とから計算されるアフィン変換行列を決定するステップと、によって行われる、請求項26の方法。 - 前記ホワイトバランス変換を適用するステップは、前記複数の画像の各画素における、前記赤色値R、緑色値G、および青色値Bによって定められる色ベクトルに対して、前記ホワイトバランス変換を適用し、それに基づいて前記色補正済み画像を出力するステップを含む、請求項27の方法。
- 前記複数の画像に適応グレースケール変換を適用するステップは、複数の適応グレースケール強度画像を出力するステップを含む、請求項25の方法。
- 適応グレースケール変換を適用するステップは、
入力として、複数の色補正済み画像および複数の標準グレースケール強度画像を受け取るステップと、
前記複数の標準グレースケール強度画像を暗色閾値で閾値処理して1つ以上の斑点を検出するステップと、
前記検出された1つ以上の斑点の色、面積、または形状のうち少なくとも1つにフィルタをかけて、高感度および高特異度で、白血球核の位置を突き止め特定するステップと、
白血球核を含む前記色補正済み画像からの1つ以上の画素の赤色値R、緑色値G、および青色値Bを、白血球ベクトルデータとして出力するステップと、
前記色補正済み画像中で、前記暗色閾値よりグレースケール強度が明るい画素をランダムサンプリングして決定された複数の適格な背景画素の赤色値R、緑色値G、および青色値Bを、背景ベクトルデータとして出力するステップと、
前記白血球ベクトルデータおよび背景ベクトルデータから適応グレースケール射影ベクトルを決定するステップと、を含む、請求項29の方法。 - 適応グレースケール変換を適用するステップは、複数の白血球画素、複数の適格な背景画素、および回帰を用いて、前記適応グレースケールの投影をベクトルとして決定し適用するステップを含む、請求項29の方法。
- 回帰を用いることは、リッジ回帰、ラッソ回帰、主成分回帰、または部分的最小二乗回帰のうち1つ以上を用いることを含む、請求項31の方法。
- 適応グレースケール変換を適用するステップは、前記複数の画像のそれぞれに対して、適応グレースケール強度を計算し適用して、複数の適応グレースケール強度画像を提供するステップを含む、請求項29の方法。
- 適応グレースケール変換を適用するステップは、二次またはそれより高次の多項予測変数行列を用いて多項回帰を計算し適用するステップを含む、請求項29の方法。
- 適応グレースケール変換を適用するステップは、赤色値R、緑色値G、および青色値Bの有理関数を有する予測変数行列を用いて多項回帰を計算し適用するステップを含む、請求項29の方法。
- 1つ以上の対象物候補を検出し特定するステップは、複数の色補正済み画像または複数の適応グレースケール強度画像のうち1つ以上に基づいて、1つ以上の潜在的検体の位置を決定するステップを含む、請求項25の方法。
- 1つ以上の対象物候補を検出し特定するステップは、前記複数の視野のうちどの視野がその中に1つ以上の対象物候補を含むか決定するステップと、
視野の中の前記1つ以上の対象物候補のうち、隣接する対象物候補間の距離に少なくとも部分的に基づいて、1つ以上の対象物候補をクラスタ化して、その中に含まれる前記隣接する対象物候補によって定められる対象物候補クラスタを提供するステップと、
前記1つ以上の対象物候補のそれぞれに対し、最もよい焦点スコアを有する焦点面を決定するステップと、
前記1つ以上の対象物候補のそれぞれの1つ以上の特徴に少なくとも部分的に基づいてスコアを出力するステップであって、前記1つ以上の特徴は、面積、グレースケール強度、形状、または色の少なくとも1つを含む、ステップと、
前記1つ以上の特徴の前記スコアに少なくとも部分的に基づいて、前記対象物候補にフィルタをかけるステップと、を含む、請求項25の方法。 - 前記1つ以上の特徴の前記スコアに少なくとも部分的に基づいて、前記対象物候補にフィルタをかけるステップは、記憶媒体中にトレーニングされ少なくとも1つのプロセッサによってアクセスされるグラウンドトゥルース対象の属性に基づいて閾値スコアを決定するステップを含む、請求項37の方法。
- 前記対象物候補にフィルタをかけるステップは、
前記1つ以上の対象物候補の1つ以上の特徴の前記スコアを、前記1つ以上の特徴のそれぞれに対する閾値スコアと比較することによって、前記1つ以上の対象物候補にフィルタをかけるステップと、
前記閾値スコアより大きいスコアを有する前記1つ以上の対象物候補を、潜在的検体の位置として出力するステップと、
前記閾値スコアより小さいスコアを有する前記1つ以上の対象物候補を退けるステップと、を含む、請求項37の方法。 - 1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを出力するステップをさらに含む、請求項39の方法。
- 前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから前記1つ以上の特徴ベクトルを抽出するステップは、
前記複数の画像中の1つ以上の潜在的検体の位置に対応する複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチを入力として受け付けるステップと、
潜在的検体をそれぞれ表わす1つ以上の特徴ベクトルを出力するステップと、を含む、請求項25の方法。 - 前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから前記1つ以上の特徴ベクトルを抽出するステップは、
前記1つ以上の潜在的検体の位置に対応する前記複数の色補正済み画像パッチおよび前記複数の適応グレースケール強度画像パッチにおける1つ以上の対象物候補の1つ以上の特徴を決定し抽出するステップと、
前記1つ以上の対象物候補と関連する1つ以上の特徴を、1つ以上の特徴ベクトルとして表わすステップと、を含む、請求項41の方法。 - 前記色補正済み画像パッチおよび前記適応グレースケール強度画像パッチから前記1つ以上の特徴ベクトルを抽出するステップは、
前記対象物候補を含む複数の色補正済み画像パッチおよび複数の適応グレースケール強度画像パッチの各画像パッチに対する最適な焦点面を、最適な焦点スコアに少なくとも部分的に基づいて決定するステップであって、前記焦点スコアは、対象物候補を含む画像パッチにおける前記複数の焦点面に対する複数の焦点スコアのうち最も高いスコアを含む、ステップと、
前記対象物候補を含む各画像パッチの前記複数の焦点面すべてにわたる焦点スコアの標準偏差を決定するステップと、
各画像パッチの前記複数の焦点面間の対象物候補のうち最も暗い部分の赤色の偏移に少なくとも部分的に基づく、各画像パッチの赤方偏移スコアを決定するステップと、を含む、請求項41の方法。 - 各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップは、対象物候補の1つ以上の特徴ベクトルを入力として受け取り、当該1つ以上の特徴ベクトルを、前記人工産物または前記検体の1つに対応するものとして分類するステップを含む、請求項25の方法。
- 各特徴ベクトルを、人工産物または検体に対応するものとして分類するステップは、前記1つ以上の対象物候補の前記1つ以上の特徴ベクトルのそれぞれが検体に対応していることを示すスコアを出力する機械学習分類器を用いる、請求項44の方法。
- グラウンドトゥルースとして、グラウンドトゥルースサンプル中の前記検体の1つ以上の注釈付画像およびグラウンドトゥルースサンプル中の人工産物の1つ以上の注釈付画像を受け取るステップをさらに含む、請求項25の方法。
- グラウンドトゥルースとして、グラウンドトゥルースサンプル中の前記検体の1つ以上の注釈付画像およびグラウンドトゥルースサンプル中の人工産物の1つ以上の注釈付画像を受け取るステップは、機械学習分類器に対して前記1つ以上の学習済グラウンドトゥルース画像パッチに少なくとも部分的に基づく一組の重み付けを教えるステップを含む、請求項46の方法。
- 前記機械学習分類器は畳み込みニューラルネットワークを含み、前記機械学習分類器に対して前記1つ以上のグラウンドトゥルース画像パッチに少なくとも部分的に基づく一組の重み付けを教えるステップは、グラウンドトゥルースサンプル中の前記検体の前記1つ以上の注釈付画像およびグラウンドトゥルースサンプル中の人工産物の前記1つ以上の注釈付画像を前記畳み込みニューラルネットワーク中にロードするステップを含む、請求項47の方法。
- 前記機械学習分類器に対して前記1つ以上のグラウンドトゥルース画像パッチに少なくとも部分的に基づく一組の重み付けを教えるステップは、データ拡張スキームを用いて前記グラウンドトゥルース画像パッチを拡張するステップを含む、請求項48の方法。
- 検体に対応するものとして分類された前記特徴ベクトルが、陽性の診断と関連する閾値レベルを上回るか下回るか決定するステップは、当該検体が存在するかどうか決定し、当該検体として分類された1つ以上の特徴ベクトルの量に基づいて、当該検体の有無を示すステップを含む、請求項25の方法。
- 形状、サイズ、または色の1つ以上を含む1つ以上の画像特徴に少なくとも部分的に基づいて、1つ以上の対象物候補の種類を特定するステップをさらに含む、請求項25の方法。
- 顕微鏡を用いて、1つ以上のサンプルスライドの1つ以上の画像を記録するステップをさらに含む、請求項25の方法。
- 血中のマラリア原虫の存在を判定する自動システムであって、
血液スライドの複数の画像を撮るよう構成された顕微鏡であって、当該複数の画像のそれぞれは、複数の視野と、複数の焦点面とを含み、前記複数の視野のそれぞれは前記血液スライドの固有のxおよびy座標を有し、前記複数の焦点面のそれぞれは、前記血液スライドの固有のz座標を有する、顕微鏡と、
前記血液スライドの前記複数の画像を保存するよう構成された少なくとも1つの記憶媒体と、
前記少なくとも1つの記憶媒体に操作可能につなげられた少なくとも1つのプロセッサと、を備え、
前記少なくとも1つのプロセッサは、
複数の色補正済み画像を作成するのに効果的なホワイトバランス変換を前記複数の画像のそれぞれに対して決定し適用し、
前記複数の画像のそれぞれに対して適応グレースケール変換を決定し適用して、前記複数の画像それぞれに対する適応グレースケール強度画像を提供し、
前記複数の色補正済み画像および前記適応グレースケール強度画像中の1つ以上の対象物候補を検出し特定し、
前記1つ以上の対象物候補の1つ以上の特徴を抽出しスコア付けして、前記スコアに少なくとも部分的に基づいて、前記1つ以上の対象物候補にフィルタをかけ、
前記1つ以上のフィルタをかけられた対象物候補の色補正済み画像パッチおよび適応グレースケール強度画像パッチを抽出し、
フィルタをかけられた対象物候補それぞれの1つ以上の特徴ベクトルを出力し、
各特徴ベクトルを人工産物または検体として分類し、
検体として分類された前記特徴ベクトルが、陽性の診断と関連付けられた閾値レベルを上回るかあるいは下回るかを判定するよう構成されている、システム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201562167452P | 2015-05-28 | 2015-05-28 | |
US62/167,452 | 2015-05-28 | ||
US15/154,824 US9836839B2 (en) | 2015-05-28 | 2016-05-13 | Image analysis systems and related methods |
US15/154,824 | 2016-05-13 | ||
PCT/US2016/034050 WO2016191462A1 (en) | 2015-05-28 | 2016-05-25 | Image analysis systems and related methods |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2018517209A true JP2018517209A (ja) | 2018-06-28 |
Family
ID=57393678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017561292A Pending JP2018517209A (ja) | 2015-05-28 | 2016-05-25 | 画像分析システムおよび関連する方法 |
Country Status (8)
Country | Link |
---|---|
US (1) | US9836839B2 (ja) |
EP (1) | EP3304050A4 (ja) |
JP (1) | JP2018517209A (ja) |
CN (1) | CN107646115B (ja) |
HK (1) | HK1247380A1 (ja) |
TW (1) | TW201710949A (ja) |
WO (1) | WO2016191462A1 (ja) |
ZA (1) | ZA201708766B (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020014799A (ja) * | 2018-07-27 | 2020-01-30 | コニカミノルタ株式会社 | X線画像物体認識システム |
JP2020021228A (ja) * | 2018-07-31 | 2020-02-06 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
KR20200026435A (ko) * | 2018-09-03 | 2020-03-11 | 네이버 주식회사 | 스킴―픽셀cnn을 이용한 이미지 자동 생성 방법 및 이미지 자동 생성 장치 |
WO2020195807A1 (ja) * | 2019-03-27 | 2020-10-01 | Hoya株式会社 | 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法 |
JP2021525890A (ja) * | 2018-07-11 | 2021-09-27 | ヴィリニュス ウニヴェルシテタス | 生物学的サンプルの画像に対するコンピュータ実装プロセス |
JP2021535472A (ja) * | 2018-08-27 | 2021-12-16 | ディープ バイオ インク | セグメンテーションを行うニューラルネットワークを用いた疾病診断システム及び方法 |
JP2022502150A (ja) * | 2018-10-02 | 2022-01-11 | インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ | 胃内視鏡イメージのディープラーニングを利用して胃病変を診断する装置及び方法 |
KR102562741B1 (ko) * | 2022-09-29 | 2023-08-02 | 노을 주식회사 | 인공지능을 이용하여 적혈구 검체에서 말라리아 감염을 진단하는 방법 및 그 장치 |
Families Citing this family (73)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
SE538435C2 (en) * | 2014-05-14 | 2016-06-28 | Cellavision Ab | Method, device and computer program product for determining color transforms between images comprising a plurality of image elements |
WO2018065897A1 (en) * | 2016-10-03 | 2018-04-12 | Sigtuple Technologies Private Limited | Method and system for acquisition of optimal images of object in multi-layer sample |
EP3336774B1 (en) * | 2016-12-13 | 2020-11-25 | Axis AB | Method, computer program product and device for training a neural network |
WO2018140014A1 (en) * | 2017-01-25 | 2018-08-02 | Athelas, Inc. | Classifying biological samples using automated image analysis |
CN111246945A (zh) | 2017-02-07 | 2020-06-05 | Essenlix公司 | 压缩开放流测定和使用 |
WO2018148607A1 (en) | 2017-02-09 | 2018-08-16 | Essenlix Corporation | Assay using different spacing heights |
TWI756365B (zh) * | 2017-02-15 | 2022-03-01 | 美商脫其泰有限責任公司 | 圖像分析系統及相關方法 |
US10742850B2 (en) * | 2017-04-17 | 2020-08-11 | Canon Kabushiki Kaisha | Image processing apparatus and control method thereof for white balance adjustment |
US20180313950A1 (en) * | 2017-05-01 | 2018-11-01 | Farrokh Mohamadi | CNN-Based Remote Locating and Tracking of Individuals Through Walls |
US10255693B2 (en) * | 2017-05-02 | 2019-04-09 | Techcyte, Inc. | Machine learning classification and training for digital microscopy images |
US10902581B2 (en) * | 2017-06-19 | 2021-01-26 | Apeel Technology, Inc. | System and method for hyperspectral image processing to identify foreign object |
US10902577B2 (en) * | 2017-06-19 | 2021-01-26 | Apeel Technology, Inc. | System and method for hyperspectral image processing to identify object |
US10726307B2 (en) | 2017-06-30 | 2020-07-28 | Ai Systems Co., Ltd. | Real-time identification of moving objects in video images |
CN107688823B (zh) | 2017-07-20 | 2018-12-04 | 北京三快在线科技有限公司 | 一种图像特征获取方法及装置,电子设备 |
JP7336755B2 (ja) * | 2017-07-28 | 2023-09-01 | パナソニックIpマネジメント株式会社 | データ生成装置、生体データ計測システム、識別器生成装置、データ生成方法、識別器生成方法及びプログラム |
WO2019027963A1 (en) * | 2017-07-31 | 2019-02-07 | Essenlix Corporation | REDUCED INTERFERENCE ASSAYS |
WO2019034328A1 (en) * | 2017-08-15 | 2019-02-21 | Siemens Healthcare Gmbh | IDENTIFYING THE QUALITY OF CELLULAR IMAGES ACQUIRED USING DIGITAL HOLOGRAPHIC MICROSCOPY USING CONVOLUTIONAL NEURAL NETWORKS |
US10049323B1 (en) * | 2017-10-13 | 2018-08-14 | StradVision, Inc. | Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same |
US10083375B1 (en) * | 2017-10-13 | 2018-09-25 | StradVision, Inc. | Method and device for performing activation and convolution operation at the same time and learning method and learning device for the same |
US11237113B2 (en) | 2017-10-26 | 2022-02-01 | Essenlix Corporation | Rapid pH measurement |
US11609224B2 (en) | 2017-10-26 | 2023-03-21 | Essenlix Corporation | Devices and methods for white blood cell analyses |
WO2019084517A1 (en) * | 2017-10-26 | 2019-05-02 | Essenlix Corporation | SYSTEM AND METHODS FOR IMAGE-BASED ANALYSIS USING MACHINE LEARNING AND CROF |
US10807095B2 (en) | 2017-10-26 | 2020-10-20 | Essenlix Corporation | Making and tracking assay card |
KR20200066732A (ko) * | 2017-11-30 | 2020-06-10 | 난토믹스, 엘엘씨 | 딥 러닝을 사용한 병리 슬라이드 이미지에서의 분자 아형의 종양내 이질성 검출 |
CA3084304A1 (en) | 2017-12-20 | 2019-06-27 | Intervet International B.V. | System for external fish parasite monitoring in aquaculture |
US11825814B2 (en) | 2017-12-20 | 2023-11-28 | Intervet Inc. | System for external fish parasite monitoring in aquaculture |
EP3726969A1 (en) * | 2017-12-20 | 2020-10-28 | Intervet International B.V. | System for external fish parasite monitoring in aquaculture |
CN111837157A (zh) * | 2018-03-08 | 2020-10-27 | 株式会社岛津制作所 | 细胞图像解析方法、细胞图像解析装置、及学习模型创建方法 |
EP3547211B1 (en) * | 2018-03-30 | 2021-11-17 | Naver Corporation | Methods for training a cnn and classifying an action performed by a subject in an inputted video using said cnn |
JP7061504B2 (ja) | 2018-04-16 | 2022-04-28 | 株式会社小松製作所 | 作動油の監視システム及び作動油の監視方法 |
US10706328B2 (en) * | 2018-05-07 | 2020-07-07 | Google Llc | Focus-weighted, machine learning disease classifier error prediction for microscope slide images |
JP2019195304A (ja) | 2018-05-10 | 2019-11-14 | 学校法人順天堂 | 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法 |
CN108805865B (zh) * | 2018-05-22 | 2019-12-10 | 杭州智微信息科技有限公司 | 一种基于饱和度聚类的骨髓白细胞定位方法 |
EP3805836A4 (en) * | 2018-05-25 | 2021-07-28 | Sony Group Corporation | CONTROL DEVICE, CONTROL METHOD AND PROGRAM |
EP3574751A1 (en) * | 2018-05-28 | 2019-12-04 | Bayer Animal Health GmbH | Apparatus for fly management |
KR102172213B1 (ko) * | 2018-06-04 | 2020-10-30 | 주식회사 딥바이오 | 투 페이스 질병 진단 시스템 및 그 방법 |
US10936905B2 (en) * | 2018-07-06 | 2021-03-02 | Tata Consultancy Services Limited | Method and system for automatic object annotation using deep network |
EP3598194A1 (de) * | 2018-07-20 | 2020-01-22 | Olympus Soft Imaging Solutions GmbH | Verfahren zur mikroskopischen auswertung |
CA3108903A1 (en) * | 2018-08-07 | 2020-02-13 | Britescan, Llc | Portable scanning device for ascertaining attributes of sample materials |
CN110007455B (zh) * | 2018-08-21 | 2021-01-26 | 腾讯科技(深圳)有限公司 | 病理显微镜、显示模组、控制方法、装置及存储介质 |
KR102641116B1 (ko) | 2018-08-23 | 2024-02-27 | 삼성전자주식회사 | 데이터 증강에 기초한 인식 모델 트레이닝 방법 및 장치, 이미지 인식 방법 및 장치 |
JP7144244B2 (ja) * | 2018-08-31 | 2022-09-29 | 株式会社日立ハイテク | パターン検査システム |
US11977215B2 (en) * | 2018-11-02 | 2024-05-07 | Hologic, Inc. | Digital imaging system and method |
US10943681B2 (en) * | 2018-11-21 | 2021-03-09 | Enlitic, Inc. | Global multi-label generating system |
CN111527507B (zh) * | 2018-12-03 | 2023-08-11 | 戴斯数字有限责任公司 | 利用安全环境的数据交互平台 |
US10311336B1 (en) * | 2019-01-22 | 2019-06-04 | StradVision, Inc. | Method and device of neural network operations using a grid generator for converting modes according to classes of areas to satisfy level 4 of autonomous vehicles |
CN109829501B (zh) * | 2019-02-01 | 2021-02-19 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、电子设备和存储介质 |
US10896316B2 (en) | 2019-02-04 | 2021-01-19 | Tokitae, LLC | Automated microscopy scanning systems and methods |
US20220137038A1 (en) * | 2019-02-06 | 2022-05-05 | Essenlix Corporation | Assays with reduced interference (iii) |
US11210554B2 (en) | 2019-03-21 | 2021-12-28 | Illumina, Inc. | Artificial intelligence-based generation of sequencing metadata |
US11783917B2 (en) | 2019-03-21 | 2023-10-10 | Illumina, Inc. | Artificial intelligence-based base calling |
JP7381003B2 (ja) * | 2019-04-26 | 2023-11-15 | 学校法人順天堂 | 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム |
US11593649B2 (en) * | 2019-05-16 | 2023-02-28 | Illumina, Inc. | Base calling using convolutions |
RU2732895C1 (ru) * | 2019-05-27 | 2020-09-24 | Общество с ограниченной ответственностью "ПЛАТФОРМА ТРЕТЬЕ МНЕНИЕ" | Метод для выделения и классификации типов клеток крови с помощью глубоких сверточных нейронных сетей |
JP7279526B2 (ja) * | 2019-05-31 | 2023-05-23 | 富士通株式会社 | 解析プログラム、解析装置及び解析方法 |
US20210082570A1 (en) * | 2019-09-13 | 2021-03-18 | Celly.AI | Artificial intelligence (ai) powered analysis of objects observable through a microscope |
EP4042224A4 (en) * | 2019-10-10 | 2023-11-08 | Georgia Tech Research Corporation | LABEL-FREE HEMATOLOGICAL AND HISTOPATHOLOGICAL ANALYSIS USING UV MICROSCOPY |
TWI718750B (zh) | 2019-11-07 | 2021-02-11 | 國立中央大學 | 來源分離方法、裝置及非暫態電腦可讀取媒體 |
TWI727497B (zh) * | 2019-11-11 | 2021-05-11 | 瑞昱半導體股份有限公司 | 基於感測器特性的影像處理方法 |
US11200671B2 (en) * | 2019-12-31 | 2021-12-14 | International Business Machines Corporation | Reference image guided object detection in medical image processing |
US11410387B1 (en) | 2020-01-17 | 2022-08-09 | Facebook Technologies, Llc. | Systems, methods, and media for generating visualization of physical environment in artificial reality |
US10950034B1 (en) | 2020-01-27 | 2021-03-16 | Facebook Technologies, Llc | Systems, methods, and media for generating visualization of physical environment in artificial reality |
US11451758B1 (en) * | 2020-02-12 | 2022-09-20 | Meta Platforms Technologies, Llc | Systems, methods, and media for colorizing grayscale images |
WO2021168353A2 (en) | 2020-02-20 | 2021-08-26 | Illumina, Inc. | Artificial intelligence-based many-to-many base calling |
CN111402307B (zh) * | 2020-03-17 | 2023-04-18 | 中国科学院云南天文台 | 一种电水准图像的处理方法 |
EP3896967A1 (en) * | 2020-04-17 | 2021-10-20 | Leica Microsystems CMS GmbH | Digital imaging device and method for generating a digital color image |
US11295430B2 (en) | 2020-05-20 | 2022-04-05 | Bank Of America Corporation | Image analysis architecture employing logical operations |
US11379697B2 (en) | 2020-05-20 | 2022-07-05 | Bank Of America Corporation | Field programmable gate array architecture for image analysis |
CN111951217B (zh) * | 2020-07-07 | 2022-01-14 | 北京鹰瞳科技发展股份有限公司 | 模型训练方法、医疗图像处理方法及电子设备 |
TWI796664B (zh) * | 2021-04-01 | 2023-03-21 | 宏正自動科技股份有限公司 | 影像校正方法與裝置 |
CN113256636B (zh) * | 2021-07-15 | 2021-11-05 | 北京小蝇科技有限责任公司 | 一种自底向上的寄生虫虫种发育阶段及图像像素分类方法 |
TWI819627B (zh) * | 2022-05-26 | 2023-10-21 | 緯創資通股份有限公司 | 用於深度學習網路的優化方法、運算裝置及電腦可讀取媒體 |
CN117522718B (zh) * | 2023-11-20 | 2024-04-30 | 广东海洋大学 | 基于深度学习的水下图像增强方法 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU3544995A (en) * | 1994-09-20 | 1996-04-09 | Neopath, Inc. | Apparatus for identification and integration of multiple cell patterns |
US6172349B1 (en) * | 1997-03-31 | 2001-01-09 | Kla-Tencor Corporation | Autofocusing apparatus and method for high resolution microscope system |
US7236623B2 (en) * | 2000-04-24 | 2007-06-26 | International Remote Imaging Systems, Inc. | Analyte recognition for urinalysis diagnostic system |
US8326084B1 (en) | 2003-11-05 | 2012-12-04 | Cognex Technology And Investment Corporation | System and method of auto-exposure control for image acquisition hardware using three dimensional information |
US7706612B2 (en) * | 2004-11-23 | 2010-04-27 | Carestream Health, Inc. | Method for automatic shape classification |
US7706606B1 (en) * | 2006-05-31 | 2010-04-27 | Adobe Systems Incorporated | Fast, adaptive color to grayscale conversion |
US8103102B2 (en) | 2006-12-13 | 2012-01-24 | Adobe Systems Incorporated | Robust feature extraction for color and grayscale images |
US8150165B2 (en) | 2008-04-11 | 2012-04-03 | Recognition Robotics, Inc. | System and method for visual recognition |
JP5380026B2 (ja) * | 2008-09-24 | 2014-01-08 | シスメックス株式会社 | 標本撮像装置 |
US8760756B2 (en) | 2008-10-14 | 2014-06-24 | Burnham Institute For Medical Research | Automated scanning cytometry using chromatic aberration for multiplanar image acquisition |
US8284998B2 (en) * | 2010-07-01 | 2012-10-09 | Arcsoft Hangzhou Co., Ltd. | Method of estimating depths from a single image displayed on display |
DE102010063965A1 (de) * | 2010-12-22 | 2012-06-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und Verfahren zur Bestimmung von Objekten einer Farbaufnahme |
US9041791B2 (en) * | 2011-02-01 | 2015-05-26 | Roche Diagnostics Hematology, Inc. | Fast auto-focus in imaging |
US20120207360A1 (en) | 2011-02-11 | 2012-08-16 | Courosh Mehanian | Systems and Methods for Object Identification |
US10001622B2 (en) | 2011-10-25 | 2018-06-19 | Sanford Burnham Medical Research Institute | Multifunction autofocus system and method for automated microscopy |
WO2013113707A1 (en) * | 2012-02-01 | 2013-08-08 | Ventana Medical Systems, Inc. | System for detecting genes in tissue samples |
US9063091B2 (en) * | 2012-04-06 | 2015-06-23 | Ixensor Inc. | Test strips and method for reading test strips |
KR101728597B1 (ko) * | 2012-04-19 | 2017-04-19 | 에프. 호프만-라 로슈 아게 | 혈액 내 분석물 농도를 결정하는 방법 및 디바이스 |
EP2883037B1 (en) * | 2012-08-08 | 2023-06-07 | Healthy.io Ltd. | Method and apparatus for performing and quantifying color changes induced by specific concentrations of biological analytes in an automatically calibrated environment |
CN103020639A (zh) * | 2012-11-27 | 2013-04-03 | 河海大学 | 一种白细胞自动识别计数方法 |
AU2014292179B2 (en) * | 2013-07-18 | 2017-12-07 | Ventana Medical Systems, Inc. | Auto-focus methods and systems for multi-spectral imaging |
-
2016
- 2016-05-13 US US15/154,824 patent/US9836839B2/en active Active
- 2016-05-25 WO PCT/US2016/034050 patent/WO2016191462A1/en unknown
- 2016-05-25 CN CN201680030097.8A patent/CN107646115B/zh active Active
- 2016-05-25 EP EP16800658.3A patent/EP3304050A4/en not_active Withdrawn
- 2016-05-25 JP JP2017561292A patent/JP2018517209A/ja active Pending
- 2016-05-27 TW TW105116623A patent/TW201710949A/zh unknown
-
2017
- 2017-12-21 ZA ZA2017/08766A patent/ZA201708766B/en unknown
-
2018
- 2018-05-25 HK HK18106816.9A patent/HK1247380A1/zh unknown
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7393769B2 (ja) | 2018-07-11 | 2023-12-07 | ヴィリニュス ウニヴェルシテタス | 生物学的サンプルの画像に対するコンピュータ実装プロセス |
JP2021525890A (ja) * | 2018-07-11 | 2021-09-27 | ヴィリニュス ウニヴェルシテタス | 生物学的サンプルの画像に対するコンピュータ実装プロセス |
JP7115114B2 (ja) | 2018-07-27 | 2022-08-09 | コニカミノルタ株式会社 | X線画像物体認識システム |
JP2020014799A (ja) * | 2018-07-27 | 2020-01-30 | コニカミノルタ株式会社 | X線画像物体認識システム |
JP2020021228A (ja) * | 2018-07-31 | 2020-02-06 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7218118B2 (ja) | 2018-07-31 | 2023-02-06 | キヤノン株式会社 | 情報処理装置、情報処理方法およびプログラム |
JP7216447B2 (ja) | 2018-08-27 | 2023-02-01 | ディープ バイオ インク | セグメンテーションを行うニューラルネットワークを用いた疾病診断システム及び方法 |
JP2021535472A (ja) * | 2018-08-27 | 2021-12-16 | ディープ バイオ インク | セグメンテーションを行うニューラルネットワークを用いた疾病診断システム及び方法 |
KR102103727B1 (ko) | 2018-09-03 | 2020-04-24 | 네이버 주식회사 | 스킴―픽셀cnn을 이용한 이미지 자동 생성 방법 및 이미지 자동 생성 장치 |
KR20200026435A (ko) * | 2018-09-03 | 2020-03-11 | 네이버 주식회사 | 스킴―픽셀cnn을 이용한 이미지 자동 생성 방법 및 이미지 자동 생성 장치 |
JP2022502150A (ja) * | 2018-10-02 | 2022-01-11 | インダストリー アカデミック コオペレーション ファウンデーション、ハルリム ユニヴァーシティ | 胃内視鏡イメージのディープラーニングを利用して胃病変を診断する装置及び方法 |
WO2020195807A1 (ja) * | 2019-03-27 | 2020-10-01 | Hoya株式会社 | 内視鏡用プロセッサ、情報処理装置、プログラム、情報処理方法および学習モデルの生成方法 |
KR102562741B1 (ko) * | 2022-09-29 | 2023-08-02 | 노을 주식회사 | 인공지능을 이용하여 적혈구 검체에서 말라리아 감염을 진단하는 방법 및 그 장치 |
Also Published As
Publication number | Publication date |
---|---|
EP3304050A4 (en) | 2019-02-27 |
TW201710949A (zh) | 2017-03-16 |
CN107646115A (zh) | 2018-01-30 |
HK1247380A1 (zh) | 2018-09-21 |
CN107646115B (zh) | 2022-02-18 |
ZA201708766B (en) | 2019-06-26 |
WO2016191462A1 (en) | 2016-12-01 |
US20160350914A1 (en) | 2016-12-01 |
US9836839B2 (en) | 2017-12-05 |
EP3304050A1 (en) | 2018-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2018517209A (ja) | 画像分析システムおよび関連する方法 | |
TWI756365B (zh) | 圖像分析系統及相關方法 | |
US10061972B2 (en) | Image analysis systems and related methods | |
Mehanian et al. | Computer-automated malaria diagnosis and quantitation using convolutional neural networks | |
Díaz et al. | A semi-automatic method for quantification and classification of erythrocytes infected with malaria parasites in microscopic images | |
Mohammed et al. | Detection and classification of malaria in thin blood slide images | |
US20220334371A1 (en) | Intelligent automated imaging system | |
Memeu | A rapid malaria diagnostic method based on automatic detection and classification of plasmodium parasites in stained thin blood smear images | |
Davidson et al. | Automated detection and staging of malaria parasites from cytological smears using convolutional neural networks | |
de Souza Oliveira et al. | A new approach for malaria diagnosis in thick blood smear images | |
Jena et al. | Malaria parasites detection using deep neural network | |
Mishra | Malaria parasite detection using efficient neural ensembles | |
Alawi et al. | Parasitized cell recognition using alexnet pre-trained model | |
Rahman et al. | Deep Learning Application for Detection of Malaria | |
Elvana et al. | Lymphatic filariasis detection using image analysis | |
Suraksha et al. | Classification of Malaria cell images using Deep Learning Approach | |
Alkrimi et al. | Comparison of Different Classification Techniques using Data Mining to Detect Malaria-Infected Red Blood Cells | |
Kumari et al. | Malaria disease detection using machine learning | |
Sangole et al. | Malaria diagnosis using microscopic imaging | |
Christian Ramarolahy et al. | Classification and generation of microscopy images with plasmodium falciparum via artificial neural networks | |
Garba et al. | Implementation of Malaria Parasite Detection and Species Classification Using Dilated Convolutional Neural Network | |
KR102562741B1 (ko) | 인공지능을 이용하여 적혈구 검체에서 말라리아 감염을 진단하는 방법 및 그 장치 | |
Alotaibi et al. | Fast and accurate automated intestinal parasites egg detection and classification from images based on YOLOv5 deep convolutional neural network | |
Hussain et al. | Malaria Detection using Microscopic Image Analysis: A Convolution Neural Network Based Approach | |
Patil et al. | TENSORFLOW BASED PREDICTION MODEL FOR CLASSIFYING HUMAN BLOOD SMEAR MICROSCOPIC IMAGES AS INDICATING PRESENCE OF MALARIA PARASITE. |