JP2017519985A - 血液学用デジタルホログラフィ顕微鏡検査データ分析 - Google Patents

血液学用デジタルホログラフィ顕微鏡検査データ分析 Download PDF

Info

Publication number
JP2017519985A
JP2017519985A JP2016572573A JP2016572573A JP2017519985A JP 2017519985 A JP2017519985 A JP 2017519985A JP 2016572573 A JP2016572573 A JP 2016572573A JP 2016572573 A JP2016572573 A JP 2016572573A JP 2017519985 A JP2017519985 A JP 2017519985A
Authority
JP
Japan
Prior art keywords
dhm
blood cell
image
white blood
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016572573A
Other languages
English (en)
Other versions
JP6503382B2 (ja
Inventor
エル−ゼヒリ、ノハ
サン、シャヌーイ
ジョージェスク、ボグダン
ラディック、ラーンス
カーメン、アリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Siemens Healthcare Diagnostics Inc
Original Assignee
Siemens Healthcare Diagnostics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Siemens Healthcare Diagnostics Inc filed Critical Siemens Healthcare Diagnostics Inc
Publication of JP2017519985A publication Critical patent/JP2017519985A/ja
Application granted granted Critical
Publication of JP6503382B2 publication Critical patent/JP6503382B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429Signal processing
    • G01N15/1433Signal processing using image recognition
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/48Biological material, e.g. blood, urine; Haemocytometers
    • G01N33/483Physical analysis of biological material
    • G01N33/487Physical analysis of biological material of liquid biological material
    • G01N33/49Blood
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/0443Digital holography, i.e. recording holograms with digital recording means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/69Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698Matching; Classification
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/01Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials specially adapted for biological cells, e.g. blood cells
    • G01N2015/016White blood cells
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N2015/1006Investigating individual particles for cytology
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/005Adaptation of holography to specific applications in microscopy, e.g. digital holographic microscope [DHM]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30101Blood vessel; Artery; Vein; Vascular
    • G06T2207/30104Vascular flow; Blood flow; Perfusion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Hematology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Dispersion Chemistry (AREA)
  • Signal Processing (AREA)
  • Ecology (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Urology & Nephrology (AREA)
  • Biophysics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Biological Materials (AREA)

Abstract

血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析する方法が、デジタルホログラフィ顕微鏡検査システムを使用して取得された複数のDHM画像を受け取ることを含む。複数のDHM画像のそれぞれで1つ以上の連結成分が識別され、1つ以上のトレーニング白血球画像が、1つ以上の連結成分から生成される。クラシファイアは、1つ以上のトレーニング白血球画像を使用して複数の白血球タイプを識別するようにトレーニングされる。クラシファイアが、新しい白血球画像に適用されて複数の確率値が決定され、それぞれの確率値が、複数の白血球タイプのうちの1つに対応する。次に、新しい白血球画像と複数の確率値が、グラフィカルユーザインタフェースで提示されてもよい。【選択図】図1

Description

関連出願の相互参照
本出願は、2014年6月16日に出願された米国仮出願第62/012,636号の出願日遡及の特典を請求し、この出願は、参照により全体が本明細書に組み込まれる。
本開示は、一般に、血液学用途のデジタルホログラフィ顕微鏡検査(DHM)分析に関する。本明細書で述べる様々なシステム、方法及び装置は、例えば赤血球(RBC)容積測定及び白血球(WBC)鑑別(細胞タイプ分類)用途に適用されることがある。
デジタルホログラフィ顕微鏡検査(DHM)は、干渉位相差顕微鏡としても知られ、透明被検物のナノメートル以下の光学的厚さ変化を定量的に追跡する能力を提供するイメージング技術である。被検物に関する強度(振幅)情報だけを取得する従来のデジタル顕微鏡検査と異なり、DHMは、位相と強度両方を取得する。ホログラムとして取得される位相情報は、コンピュータアルゴリズムを使用して被検物に関する拡張された形態学情報(深さや表面特性など)を再現するために使用されうる。最新のDHM実施態様は、高速走査/データ取得速度、低ノイズ、高分解能及びラベルフリーサンプル取得の可能性など、幾つかの付加的な利点を提供する。
容積測定や分類などの従来の細胞分析技術は、局所解剖学的情報のない二次元細胞画像に依存する。したがって、そのような技術は、強度などの情報に基づいて細胞を分析することができるが、その精度は、細胞のサイズと形状の情報の不足により限定される。したがって、細胞構造に関するより詳細な情報を提供するDHMなどの画像診断療法に応用できる細胞分析技術を提供することが望まれる。
本発明の実施形態は、血液学用のデジタルホログラフィ顕微鏡検査(DHM)分析に関連した方法、システム及び装置を提供することによって、以上の短所と欠点のうちの1つ以上に取り組みそれを克服する。更に、文中で更に詳細に説明されるように、本明細書で述べる技術は、他の臨床用途にも適用されうる。
幾つかの臨床用途で使用するための技術は、拡張された深さ及び形態学的情報による高分解能で広視野のイメージングを潜在的ラベルフリー方式で達成するDHMの能力によって位置付けられる。例えば、血液学分野では、DHMは、赤血球(RBC)容積測定、白血球(WBC)鑑別(細胞タイプ分類)に使用されることがある。尿沈渣分析では、DHMは、層内のマイクロ流体サンプルを走査して沈殿物を再現することを可能にし(恐らく沈殿を待つことなく)、沈殿物成分の分類精度を改善する。また、DHMは、DHMの拡張された形態学/コントラスト(例えば、ラベル付けなしに新しい組織内で正常細胞から癌を区別する)の利用によって、組織病理学用途に使用されることがある。同様に、希少細胞検出用途では、DHMの拡張された形態論/コントラスト(例えば、循環腫瘍/上皮細胞、幹細胞、感染細胞などの希少細胞を区別するために)を利用する。
本発明の一態様によれば、幾つかの実施形態で述べたように、血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析する方法は、デジタルホログラフィ顕微鏡検査システムを使用して取得したDHM画像を受け取ることを含む。複数のDHM画像のそれぞれで1つ以上の連結成分が識別される。1つ以上の連結成分から1つ以上のトレーニング白血球画像が生成され、クラシファイアは、1つ以上のトレーニング白血球画像を使用して白血球タイプを識別するようにトレーニングされる。新しいDHM画像を受け取ったとき、DHM画像から新しい白血球画像が抽出される。次に、新しい白血球画像にクラシファイアが適用されて確率値が決定され、それぞれの確率値は、白血球タイプのうちの1つに対応する。次に、新しい白血球画像と複数の確率値が、グラフィカルユーザインタフェースで提示されてもよい。幾つかの実施形態では、確率値を使用して全血球(CBC)検査が実行されてもよい。
前述した本発明の様々な実施形態に種々の強調、修正又は追加が行われてもよい。例えば、幾つかの実施形態では、1つ以上の連結成分を識別する前に、複数のDHM画像のそれぞれにしきい値化が適用されて、それぞれのDHM画像内の輝点が強調される。次に、所定のしきい値より小さいサイズを有する成分(即ち、連結成分)が除去されてもよい。幾つかの実施形態では、クラシファイアは、K最接近(K−NN)クラシファイアである。そのようなクラシファイアは、複数のDHM画像のそれぞれから抽出されたテクストンベース(texton-base)のテクスチャ特徴を使用して新しいDHM画像を分類する。他の実施形態では、クラシファイアは、階層的k平均とスケール不変特徴変換(SIFT)記述子を局所的画像特徴として使用してトレーニングされる視覚的語彙辞書(例えば、語彙ヒストグラム)である。例えば、稠密SIFT記述子が、複数のDHM画像のそれぞれから抽出され、語彙辞書構造を表す二分探索木を構成するために使用される。次に、二分探索木に基づいて視覚的語彙辞書を生成することができる。DHM画像内の複数の白血球タイプのうちの1つ以上を識別するために、1対1nラベル(one against one n-label)サポートベクトルマシン(SVM)が使用されてもよい。更に別の実施形態では、クラシファイアは、自動エンコーダ畳み込みニューラルネットワーク(CNN)を使用してトレーニングされたディープラーニングクラシファイアである。
更に、前述の方法の幾つかの実施形態では、デジタル染色法が、白血球画像に適用される。例えば、一実施形態では、光学濃度と染色プロトコルと関連付けられた着色との間のマッピングが決定される。新しい白血球画像と関連付けられた光学濃度情報も決定される。新しい白血球画像を提示する前に、マッピング及び光学濃度情報を使用して、新しい白血球画像が着色される。
本発明の別の態様によれば、幾つかの実施形態で述べるように、血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析するための製品は、前述の方法を実行するためのコンピュータ実行命令を保持する非一時的有形コンピュータ可読媒体を含む。この製品は、更に、前述の方法に関して前述した追加特徴のうちのどの追加特徴の命令を含んでもよい。
本発明の他の実施形態では、血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析するシステムは、ネットワーク構成要素、モデリングプロセッサ及びグラフィカルユーザインタフェースを含む。ネットワーク構成要素は、デジタルホログラフィ顕微鏡検査システムと通信してトレーニングDHM画像と検査DHM画像を取得するように構成される。モデリングプロセッサは、トレーニングDHM画像のそれぞれのおける1つ以上の連結成分を識別し、1つ以上の連結成分からの1つ以上のトレーニング白血球画像を生成し、1つ以上のトレーニング白血球画像を使用して白血球タイプを識別するようにクラシファイアをトレーニングするように構成される。モデリングプロセッサは、更に、検査DHM画像から検査白血球画像を抽出し、クラシファイアを検査白血球画像に適用して確率値を決定するように構成され、それぞれの確率値は、白血球タイプのうちの1つに対応する。グラフィカルユーザインタフェースは、検査白血球画像と確率値とを示すように構成される。
本発明の追加の特徴及び利点は、添付図面を参照して進む説明的実施形態の以下の詳細な説明から明らかにされる。
本発明の以上及び他の態様は、添付図面と関連して読むときに以下の詳細な説明から最も理解される。本発明を示すために、図には現在好ましい実施形態が示されるが、本発明が、開示された特定の手段に限定されないことを理解されたい。図面には以下の図が含まれる。
幾つかの実施形態による赤血球容積計算のためにDHM画像を処理するための機構の説明図である。 幾つかの実施形態で実行されうるような、光路差DHM(OPD−DHM)画像内の赤血球のセグメンテーションの例示的な説明図である。 幾つかの実施形態で利用されうるような、正常赤血球の幾何学形状モデルを示す図である。 正則化を示す赤血球のパラメトリックモデリングの例を示す図である。 幾つかの実施形態による細胞容積を計算するプロセスの説明図である。 幾つかの実施形態に適用されうるような、白血球を分類するための前処理機構の説明図である。 幾つかの実施形態によるトレーニングと検査に使用される白血球のサンプルを示す図である。 幾つかの実施形態に使用されうるような、各細胞のトレーニングと検査に使用されうるデータセットの例を示す表である。 幾つかの実施形態によって得られるような、この例示的事例ではテクストン特徴とKNNクラシファイアを使用して得られたペアワイズ分類(pairwise classification)結果を示す表である。 幾つかの実施形態で適用されうるような、局所的画像特徴サンプリングの例を示す図である。 語彙辞書構造を表す完全二分探索木構造を示す図である。 幾つかの実施形態で適用されるような、局所的画像特徴(稠密SIFT記述子)から全体画像特徴(語彙ヒストグラム)に変換するためのワークフローを示す図である。 幾つかの実施形態によって得られるSIFT及びSVM分類を使用するペアワイズ分類結果を示す表である。 幾つかの実施形態で利用されることがある1つの隠蔽層を有するフィードフォワードニューラルネットワークの構造を示す図である。 幾つかの実施形態による、結果視覚化を提供しユーザ対話と訂正を容易にするGUIを示す図である。 本発明の実施形態が実現されうる例示的な計算処理環境を示す図である。
以下の開示は、発明を血液学や他の臨床用途のデジタルホログラフィ顕微鏡検査(DHM)分析と関連した方法、システム及び装置を対象とする幾つかの実施形態にしたがって説明する。簡単に言うと、本明細書で述べる技術は、本明細書で述べる様々な実施形態で様々な構成で適用されうる3つの基本概念からなる。第1に、幾つかの実施形態では、赤血球(RBC)容積評価は、画像収集プロセス中に引き起こされる歪みをなくす試みにおいて、赤血球のパラメトリックモデルリングを使用して生のDHMデータを正則化し赤血球の実際モデルと突き合わせることによって行われる。第2に、幾つかの実施形態では、DHMによって取得された白血球(WBC)のラベルフリー鑑別は、機械学習アルゴリズムを使用して行われ、機械学習アルゴリズムは、WBCの各サブタイプ(即ち、単核細胞、好中球、好塩基性細胞、リンパ細胞、エオシン好性細胞)に1組のトレーニングサンプルDHM画像から特徴的トポロジー変化を抽出する。次に、機械学習アルゴリズムは、学習したDHM画像ベースの特徴に基づいて、新しい細胞をカテゴリの1つに自動的に分類する。第3に、幾つかの実施形態では、従来の染色技術に似るように細胞の分類DHM画像の「デジタル染色」又は「疑似着色」が行なわれる。本明細書で述べるデジタル染色法は、一致対のDHMと1組の細胞の染色画像を使用し、DHM画素(従来の染色法のRGB配色設計に対する細胞成分のトポロジーを表す)をマッピングする回帰関数を学習する。
図1は、幾つかの実施形態による赤血球容積計算のためにDHM画像を処理するための機構100の説明図を示す。簡単に言うと、DHMシステム105を使用して1つ以上の入力画像を収集する。デジタルホログラフィ顕微鏡検査システム105は、DHM画像を取得できる当該技術分野で既知の任意のシステムでよい。画像セグメンテーション構成要素110は、取得した入力画像内の赤血球のセグメンテーションを実行する。次に、パラメトリックモデリング構成要素115が、赤血球のモデルを作成する(例えば、カッシーニ楕円形を使用して)。次に、パラメトリックモデリング構成要素120が、各赤血球の厚さ情報を計算し、この厚さ情報を使用して赤血球の体積を決定することができる。
赤血球をセグメント化するために、種々のセグメンテーション技術を入力画像に適用することができる。例えば、幾つかの実施形態では、画像セグメンテーション構成要素110によって行なわれるセグメンテーション問題は、組合わせ最適化機構内の区分的に一定のマンフォード=シャーエネルギー関数を最小にするエネルギー最小化問題として表現される。セグメンテーションエネルギーは、以下のように説明することができる。画像uと関心画像u:Ω→Rの場合(ここで、Ωは、幾つかの連結成分Ωを含むR2内の開境界サブセットであり、閉境界C=δΩによって定められ)、uが成分Ω内で一定で境界Cで遷移が鋭くなるように区分的一定近似を求める。これは、次のような式で表される。
ここで、xは、特定の画素p=(x,y)が細胞に属するか背景に属するかを示す2値変数である。各画素p=(x,y)∈Ωの2値変数xは、次のように設定される。
定数c1及びc2は、入力DHM画像の区分的一定近似を表わし、wpqは、ユークリッド長さ正則化の重みを表わし、μは、セグメンテーションエネルギーに対する長さ正則化の寄与を定義する重み付け係数である。細胞核が細胞の残り部分から分離するのを防ぐために、μには比較的高い値が使用されることがある。
図2は、光路差DHM(OPD−DHM)画像における赤血球のセグメンテーションの例示的説明図を示す。画像205は、入力画像を示し、画像210は、画像205に赤血球境界を与えた描写(点線で表わされた)を示す。
正常赤血球は、一般に、面積容積比を高くするために両凹円盤として形成される。例えば、図3は、正常赤血球の幾何学形状モデル300を示す。(図3に示された)細胞の形状に影響を及ぼす4つの主なパラメータは、細胞の直径(D)、最小へこみ厚さ(t)、最大厚さ(h)、及び最大厚さを定める円の直径(d)である。
図3に示された幾何学的理解を使用すると、各赤血球の形状と配列を特徴付けるパラメトリックモデリング構成要素120によって適用されることがある赤血球表面表現の幾つかの両凹状モデルがある。例えば、幾つかの実施形態は、以下の式を利用する当該技術分野で一般に知られたエヴァンス・ファン・モデル(Evans-Fung Model)技術を利用する。
ここで、Rは、細胞の半径(R=D/2)、ρは、細胞の中心からの水平距離である。モデルパラメータc0、c1及びc2を推定するために、パラメトリックモデルから推定された深さマップとDHMから観察された深さとの間の二乗誤差を最小にする。厚さプロファイルの二乗誤差は、次のように表される。
幾つかの実施形態では、細胞のパラメトリックモデリングは、細胞表面を正則化して赤血球のフィジカルモデルを突き合わせ、画像収集プロセス中に生じるひずみを除去する。図4は、正則化を示す赤血球のパラメトリックモデリングの例を提供する。画像405では、細胞表面が、DHM画像から観察されたように描かれている。画像410は、エヴァンス・ファン・モデルによって特徴付けられた細胞表面を示す。
各細胞のセグメンテーションとパラメトリックモデリングを行なった後、各RBCの容積が計算されてもよい。次に、RBC容積は、臨床的測定値として単独で使用されてもく、追加の臨床的有効数字を得るために使用されてもよい。例えば、RBC容積の計算は、全血球算定(CBC)におけるクリティカルパラメータである平均赤血球容積(MCV)を決定する際に使用される。
図5は、幾つかの実施形態による細胞容積を計算するためのプロセス500の説明図を提供する。ステップ505で、赤血球のOPD−DHM画像を受け取る。次に、ステップ510で、DHM画像をセグメンテーションして背景から全ての赤血球を抽出する。セグメンテーションは、例えば、組み合わせ区分的一定マンフォード・シャー(Mumford-Shah)エネルギー関数又は当該技術分野で一般に知られた任意の技術を使用して実行されうる。ステップ515で、個々の赤血球にラベル付けするために、連結成分分析がセグメンテーションマスクに適用される。
引き続き図5を参照して、ステップ520〜530で、各赤血球に測定プロセスが行なわれる。ステップ520で、細胞表面が、例えばエヴァンス=ファン技術を使用して近似される。式4の二乗差が最適化され、モデルパラメータC0、C1及びC2が計算される。次に、ステップ525で、モデルは、式3を使用して最新細胞厚z(p)を推定するために使用される。次に、ステップ530で、最新細胞厚を使用して細胞容積を計算する。プロセス500の出力は、各赤血球の容積である。
プロセス500を拡張して、細胞の平均ヘモグロビン量を提供することもできる。このため、従来の血液分析器が、平均細胞容積の較正と、光学濃度マップ容積の平均ヘモグロビン量への変換とに使用されてもよい。
鑑別血球検査は、血球サンプル中の白血球タイプの各種の比率を測定する。各種の白血球を特定することは、伝染病、貧血、白血病などの疾病を診断するために使用される血液鑑別分析にとって重要な予備ステップである。このステップに取り組むために、本明細書で述べるシステムは、様々な白血球タイプを鑑別するために適用されうる。具体的には、前述のシステムは、5つの異なるタイプの白血球、即ち、単核細胞、好塩基性細胞、好中球、エオシン好性細胞及びリンパ細胞を鑑別することを目的とする。簡単に言うと、白血球を処理するパイプラインが、以下の3つのステップを含む。第1のステップは、前処理であり、様々なタイプの白血球を識別し分離する。第2のステップは、トレーニングであり、抽出細胞からクラシファイアをトレーニングする。第3のステップは、分類であり、クラシファイアを使用して目に見えない細胞を分類する。次に、これらのステップのそれぞれについて詳細に検討する。
図6は、幾つかの実施形態に適用されうるような、白血球を分類するための前処理機構600の説明図を示す。前処理ステップの間、クラシファイアトレーニングステップのトレーニングパッチを準備するためにパイプラインが使用される。最初に、入力画像605に、輝点(細胞である可能性がきわめて高い)を取得するためにしきい値を適用する。しきい値化の後で、しきい値化画像610に連結成分分析を適用する。次に、画像615に示したように、各連結成分の成分サイズを計算する。成分は、そのサイズが所定のしきい値t1及びt2以下の場合に拒絶される。拒絶された成分は、トレーニングと検査から除外される。残りの成分を含むパッチ(パッチは、連結成分を含む矩形ボックスである)が、クラシファイア(例えば、K最近接クラシファイア)をトレーニングするために使用される。
前処理機構600の後で、白血球のDHM画像に5つの部分鑑別を行なうための様々な機械学習アルゴリズムが使用されうる。例えば、幾つかの実施形態では、テクストンベース手法が使用され、細胞のDHM画像のテクスチャ特徴が、主な識別特徴として使用される。他の実施形態では、よりデータ駆動型の手法が使用され、画像パッチの辞書が学習され、画像全体をヒストグラムとして表わすために使用される。次に、ヒストグラムは、様々な細胞サブタイプの分類のための主な特徴として使用される。他の実施形態では、分類は、複数層を有する畳み込みニューラルネットワークに基づいて、特徴抽出、選択及び分類を多層ネットワークによって同時に行なう。これらの様々な手法のそれぞれについては、後で詳細に述べる。
当該技術分野で一般に理解されるように、画像分類アルゴリズムは、代表画像のデータセットを使用してトレーニングされる。図7に、トレーニングデータセットの一例を示す。この例では、細胞画像は、単核細胞、好塩基性細胞、好中球及びリンパ細胞の4つのカテゴリのうちの1つでラベル付けされる。このトレーニングセットが、クラシファイアをトレーニングする際に使用されることがあるデータの一例に過ぎないことに注意されたい。例えば、幾つかの実施形態で使用される他のトレーニングセットは、追加のカテゴリ(例えば、エオシン好性細胞)を含んでもよい。更に(又は、代替として)、カテゴリは、より細かいレベルの粒度を有することができる。
分類にテクストンベース手法が使用される実施形態では、前処理された細胞画像を含む抽出パッチが、K最近接(K−NN)クラシファイアをトレーニングするために使用される。クラシファイアは、各パッチから抽出されたテクストンベーステクスチャ特徴を利用した。テクストンは、フィルタバンク応答の収集による小さいテクスチャ特徴の表現である。テクストンベーステクスチャクラシファイアは、テクストンのヒストグラムを使用して、テクスチャを、トレーニングデータセットのテクストンと比較されたときに特定のパッチでテクストンの頻度によって特徴付ける。テクストン特徴は、特に、細胞核の粒度が様々な細胞タイプで異なりかつこれをテクスチャ特徴を使用して取得できることが病理学的に証明されているので使用される。
テクストンベース手法を示すために、テクストンベーステクスチャ特徴表現と単純なK−NNクラシファイアの組み合わせを検討する。図8Aは、各細胞タイプをトレーニングし検査するために使用されうるデータセットの例を示す表を提供する。全ての一対分類でこの例示的データセットに関して得られる分類率は、75%〜95%である。図8Bは、このサンプルの場合にテクストン特徴とKNNクラシファイアを使用して得られる一対分類結果を示す。
以前のペアワイズ分類を使用して複数ラベルクラシファイアを提供するために、投票を使用して1つ以上のペアワイズクラシファイアが組み合わされてもよい。理想的には4つのクラシファイアが、クラスラベルで一致しなければならず、6つのクラシファイアが、ランダムラベル付けを提供することになる。例えば、10個のクラシファイアが、C1〜C10として示される場合、未知サンプルSの最終クラスラベルLは、10個のクラシファイアのラベルのモード(最も頻度の高い値)として表わされうる。換言すると、複数ラベル分類問題に関して、10個の一対クラシファイアの過半数の票がラベル付けされる。全ての一対分類を1つの複数ラベルクラシファイアに組み合わせることによって、図8Aに示された例示的データセットの適正分類率が76.5%になった。
幾つかの実施形態では、この複数クラスベース画像分類問題を解決するために、視覚語の袋(bag of visual words)(BOW)手法が使用されうる。BOW手法では、全体画像の特徴が、視覚語の発生数のベクトル(局所的画像特徴に基づく語彙辞書上のヒストグラム)によって表わされる。これらの全体画像特徴は、次に分類に使用される。パイプラインは、オフライン語彙学習、画像分類トレーニング及び検査の3つのステージに分割されうる。オフライン語彙学習ステージでは、視覚的語彙辞書が、局所的画像特徴として階層的k平均及びSIFT(スケール不変特徴変換)記述子を使用してトレーニングされてもよい。分類のために、1対1nラベルサポートベクトルマシン(SVM)が利用されてもよい。オーバーフィッティング問題を回避するために、2つの手法が使用されうる。第1に、各トレーニング画像が、ランダムな程度で乱されることがある。第2に、トレーニングデータセットに対するクロス確認を使用してカーネルのSVMパラメータが決定されることがある。
SIFT記述子は、不変局所画像構造と局所テクスチャ情報の取得を示す。稠密SIFT記述子は、画像のns画素ごとに計算されてもよい(w×h。ここで、wとhはぞれぞれ画像の幅と高さである)。例えば、128次元SIFT記述子が使用されてもよく、したがって、1画像あたり約(w/n)×(h/n)×128個の局所的画像特徴がある。図9は、幾つかの実施形態で適用されるように、局所的画像特徴サンプリングの例を示す。この例では、各白点は、128次元SIFT記述子が計算される位置を表わす。
幾つかの実施形態では、視覚的語彙辞書を構成するために、改良された語彙木構造が利用される。語彙木は、階層的k平均クラスタリングを使用する階層的量子化を定義する。図10は、語彙辞書構造を表す完全な二進(k=2)探索木構造を示す。ノード1005は、視覚的クラスタ中心である。第2の葉ノードは、最終的に視覚的語彙として使用される。ndは、二進木の深さである。語彙木学習ステージで、最初に、初期k平均アルゴリズムがトレーニングデータ(データセットのトレーニングから導出されたSIFT記述子の収集)に適用され、次に2つのグループに区分され、各グループは、クラスタ中心に最も近いSIFT記述子を含む。次に、このプロセスは、木深さがndに達するまで再帰的に適用される。オンラインステージで、SIFT記述子(ベクトル)が、この特徴ベクトルを2つのクラスタ中心と比較し、最も近いものを選択することによって、各レベルだけ木の下の方に渡される。各画像上の全ての稠密SIFT記述子の視覚的ワードヒストグラムが計算される。
図11は、局所的画像特徴(稠密SIFT記述子)から全体画像特徴(語彙ヒストグラム)に変換するためのワークフローの視覚化を提供する。図12に、SIFT特徴を例示的データセットのSVM分類と組み合わせることによって得られた結果を示す。これらのペアワイズ・クラシファイアを組み合わせることにより、5タイプ分類問題の適正分類率が84%になった。
幾つかの実施形態では、5タイプ分類を行なうために、ディープラーニング(DL)アーキテクチャが使用される。SVMは、主に、二進数分類のために表されるが、DLは本質的にマルチラベルクラシファイアである。DL分類技術を示すために、マルチラベル分類問題のために畳み込みネットワークが直接トレーニングされた。トレーニングに500個(各カテゴリに100個)の細胞が使用され、細胞の残りが検査に使用された。
この例示的なDL用途では、周辺空間学習(MSL)クラシファイアをトレーニングするために、自動エンコーダ畳み込みニューラルネットワーク(CNN)が使用された。図13は、1つの隠蔽層(「AE」とも呼ばれる)を有するフィードフォワードニューラルネットワークの構造を示す。バイアス条件(図13でラベル付けされたノード)を無視すると、入出力層は、同数のノードを有する。そのような自動エンコーダの目的は、入力層(画像を表わす特徴)と出力層(画像のラベル)の間の伝達関数を学習することである。隠蔽層が、入力層以上のサイズを有する場合、AEがアイデンティティ変換を学習する可能性がある。そのような自明な解を防ぐために、事前に、AEが、入力より少数のノードを有する隠蔽層でセットアップされる。最近、入力のより有意な表現を学習するノイズ除去自動エンコーダ(DAE)が提案された。特定比率(例えば、50%)の入力ノードが、妨害されるようにランダムに選出され(例えば、値を0に設定する)、DAEは、観察品質が低下した場合に元の入力ベクトルを再現するために必要とされる。DAEにより、隠蔽層は、過剰完全表現を達成するために入力より多いノードを有することがある。AEをトレーニングした後で、出力層が廃棄され、別のAEが、新しいAEへの入力として既にトレーニングされた隠蔽層の活性化反応を使用して積み重ねられる。このプロセスは、ネットワーク層を層ごとにトレーニングし拡張するために繰り返されてもよい。事前トレーニングの後、隠蔽層の出力を高度な画像特徴として処理して、クラシファイアをトレーニングすることができる。あるいは、ターゲット出力用にもう1つの層を追加してもよく、バックプロパゲーションを使用してネットワーク全体を改良することができる。
分類を行った後で、白血球の様々なカテゴリが、最終確認のためのグラフィカルユーザインタフェース(GUI)で病理学者に提示されてもよい。所定の細胞が特定のサブタイプに属する可能性が計算され、最終確認の際に病理学者に数値又は図形で提示されてもよい。
図14は、幾つかの実施形態による結果の視覚化を提供しユーザ対話と訂正を容易にするGUIを示す。図14に示されたように、病理学者は、細胞のDHM画像に基づいた修正を行う機会を得る。自動血液鑑別の結果が、上2行1405に示され、各血球タイプの比率と、その比率に基づいた可能な診断を表示する。図の下部分1410は、ユーザが結果をどのように修正できるかを示す。システムは、ユーザ対話のための最上細胞候補を示す。これらの細胞は、最上2つの確率の差に基づいて選択され選別される。システムは、抽出した細胞(前処理パイプラインによって抽出された)を表示し、その細胞が各WBCタイプに属する可能性を示す。ユーザは、ラベルを受け入れることもでき、単にチェックボックスをマークすることにより新しいラベルを選択してもよい。ユーザがラベルを変更する場合、システムは、数、比率及び可能な診断を自動的に更新することができ、これにより、最上行が変化し、新しい結果が表示される。
更に、病理学者が最も良く画像を調べることができるようにするために、幾つかの実施形態では、DHM画像を、ライト・ギムザ(Wright and Giemsa)法などの従来の染色方法の染色細胞画像と類似の色パターンを有する画像に変換する擬似着色方式が利用される。例えば、ギムザ・ライト染色は、染色のためにエオシンY、アズールB及びメチレンブルーを含む溶液を使用する。これらの溶液は、細胞核と顆粒を別々に含む細胞の成分に化学結合し、それにより、細胞の視覚検査に不可欠なより明白な着色を提供する。細胞のDHM画像から、細胞成分の様々な光学濃度パターンを取得し、光学濃度パターンが着色を行なう特徴として使用されうる。我々が想起する方法は、DHMとギムザ染色の両方でそれぞれ画像化された細胞対が一致することに基づく。幾つかの実施形態では、単純回帰関数が使用され、これは、畳み込みニューラルネットワークなどの機械学習手法を使用して、光学濃度マップをDHMからギムザ=ライト染色プロトコルと一致するRGBカラースキームにマッピングすることによって実現されうる。回帰マップは、単一画素又は画素群(即ち、画像パッチ)に作用することがある。更に、マルコフランダム場ベース正則化を利用して、類似の光学濃度を有する近傍画素が同様に着色されるようにすることができる。ギムザ・ライト染色に加えて、1組の一致した細胞画像対に基づいて他の染色プロトコルを学習することができ、染色したものをDHM画像からデジタル形式で再現することができる。
幾つかの実施形態では、本明細書に示されたRBCの平均赤血球容積計算及び/又はWBC5部鑑別(WBC five part differential)が、全血球計算(CBC)検査の重要な測定値として使用されうる。当該技術分野で理解されるように、CBC検査は、個人の全体的な健康を評価し、貧血、伝染、白血病などの血液に関連した病気の検出に使用されうる。したがって、例えば、特定のWBC数の異常な増大又は減少は、更なる評価を必要とする基礎疾患の指標として使用されることがある。
追加の機能を提供するために、本明細書で述べる技術に対して様々な他の拡張、強調又は他の修正が行われるか追加されてもよい。例えば、幾つかの実施形態では、白血球細分類の5部鑑別方法が、再現の前の未処理フリンジパターン画像にも適用される。RBC容積又はWBC分類の精度を高めるために、同じ細胞の複数画像を使用し結果を平均化してもよい。本明細書で述べるシステム及び方法は、細胞分類空間以外の臨床用途に適用されうる。例えば、述べた方法の基づく様々な物体のサイズ計算と分類を尿検査用に拡張することができ、その場合、述べた方法を使用してDHM画像を分析することによって、尿沈渣の量が測定され、様々な種類が識別される。更に、DHM技術の最新の進歩、詳細にはサイズ、複雑さ及びコストの低下によって、これら(及び他)の用途を臨床環境内又は治療拠点で(分散方式で)行うことができる。
図15は、本発明の実施形態を実現することができる例示的な計算処理環境1500を示す。例えば、この計算処理環境1500は、図1に示されたDHM画像を処理するための機構100の構成要素の1つ以上を実行するように構成されてもよい。追加(又は代替)として、この計算処理環境1500は、本明細書で述べるプロセス(例えば、図1に示された細胞容積を計算するプロセス500)の1つ以上を実行するように構成されてもよい。計算処理環境1500は、コンピュータシステム1510を含んでもよく、コンピュータシステム1510は、本発明の実施形態を実現することができる計算処理システムの一例である。コンピュータシステム1510や計算処理環境1500などのコンピュータ及び計算処理環境は、当業者に知られており、したがってこここでは簡潔に説明される。
図15に示されたように、コンピュータシステム1510は、コンピュータシステム1510内で情報を通信するためのバス1521や他の通信機構などの通信機構を含んでもよい。コンピュータシステム1510は、更に、情報を処理するためにバス1521と結合された1つ以上のプロセッサ1520を含む。プロセッサ1520は、1つ以上の中央処理装置(CPU)、図形処理ユニット(GPU)又は当該技術分野で既知の他のプロセッサを含んでもよい。
コンピュータシステム1510は、また、情報及びプロセッサ1520によって実行される命令を記憶するために、バス1521に結合されたシステムメモリ1530を含む。システムメモリ1530は、読み出し専用メモリ(ROM)1531及び/又はランダムアクセスメモリ(RAM)1532などの揮発性及び/又は不揮発性メモリの形のコンピュータ可読記憶媒体を含んでもよい。システムメモリRAM1532は、他のダイナミック記憶装置(例えば、ダイナミックRAM、スタティックRAM及びシンクロナスDRAM)を含んでもよい。システムメモリROM1531は、他のスタティック記憶装置(例えば、プログラマブルROM、消去可能PROM、及び電気的消去可能PROM)を含んでもよい。更に、システムメモリ1530は、プロセッサ1520による命令の実行中に一時的変数又は他の中間情報を記憶するために使用されることがある。起動中などにコンピュータシステム1510内の要素間で情報を伝達するのを支援する基本ルーチンを含む基本入出力システム(BIOS)1533は、ROM1531に記憶されてもよい。RAM1532は、プロセッサ1520がすぐにアクセス可能な及び/又はプロセッサ1520が現在処理している、データ及び/又はプログラムモジュールを含んでもよい。システムメモリ1530は、更に、例えば、オペレーティングシステム1534、アプリケーションプログラム1535、他のプログラムモジュール1536及びプログラムデータ1537を含んでもよい。
コンピュータシステム1510は、また、ハードディスク1541や取外し式メディアドライブ1542(例えば、フロッピディスクドライブ、コンパクトディスクドライブ、テープドライブ、及び/又はソリッドステートドライブ)など、情報及び命令を記憶するための1つ以上の記憶装置を制御するためにバス1521に結合されたディスク制御装置1540を含む。記憶装置は、適切な装置インタフェース(例えば、小型コンピュータシステムインタフェ(SCSI)、集積装置電子回路(IDE)、汎用シリアルバス(USB)又はFire Wire)を使用してコンピュータシステム1510に追加されてもよい。
コンピュータシステム1510は、また、情報をコンピュータユーザに表示するための陰極線管(CRT)や液晶表示装置(LCD)などの表示装置1566を制御するためにバス1521に結合された表示装置コントローラ1565を含んでもよい。コンピュータシステムは、コンピュータユーザと対話し情報をプロセッサ1520に提供するためのキーボード1562やポインティング装置1561などの入力インタフェース1560及び1つ以上の入力装置を含む。ポインティング装置1561は、例えば、指示情報とコマンド選択をプロセッサ1520に通信し、表示装置1566上のカーソルの動きを制御するためのマウス、トラックボール又はポインティングスティックでよい。表示装置1566は、ポインティング装置1561による指示情報及びコマンド選択の通信を補足するか置き換える入力を可能にするタッチスクリーンインタフェースを提供してもよい。
コンピュータシステム1510は、本発明の実施形態の処理段階の一部又は全てを、システムメモリ1530などのメモリに収容された1つ以上の命令の1つ以上のシーケンスを実行するプロセッサ1520に応じて実行してもよい。そのような命令は、ハードディスク1541や取外し式メディアドライブ1542などの別のコンピュータ可読媒体からシステムメモリ1530に読み込まれてもよい。ハードディスク1541は、本発明の実施形態によって使用される1つ以上のデータストア及びデータファイルを収容してもよい。データストアコンテンツ及びデータファイルは、セキュリティを改善するために暗号化されてもよい。プロセッサ1520は、また、システムメモリ1530に収容された命令の1つ以上のシーケンスを実行するために多重処理機構内で使用されてもよい。代替実施形態では、ソフトウェア命令の代わりに又はその命令との組み合わせでードワイヤード回路が使用されてもよい。したがって、実施形態は、ハードウェア回路とソフトウェアのいかなる特定の組み合わせにも限定されない。
以上述べたように、コンピュータシステム1510は、本発明の実施形態によりプログラムされた命令を保持し、また本明細書に記載されたデータ構造、テーブル、レコード又は他のデータを収容するための少なくとも1つのコンピュータ可読媒体又はメモリを含んでもよい。用語「コンピュータ可読媒体」は、本明細書で使用されるとき、実行する命令をプロセッサ1520に提供することに関係する任意の媒体を指す。コンピュータ可読媒体は、不揮発性媒体、揮発性媒体及び伝送媒体を含むがこれらに限定されない多数の形態をとってもよい。不揮発性媒体の非限定的な例には、ハードディスク1541や取外し式メディアドライブ1542など、光ディスク、ソリッドステートドライブ、磁気ディスク及び光磁気ディスクが挙げられる。揮発性媒体の非限定的な例には、システムメモリ1530などのダイナミックメモリが挙げられる。伝送媒体の非限定的な例には、バス1521を構成する線を含む同軸ケーブル、銅線、及び光ファイバが挙げられる。伝送媒体は、また、電波及び赤外線データ通信中に生成されるものなど、音波又は光波の形をとってもよい。
計算処理環境1500は、更に、リモートコンピュータ1580などの1つ以上のリモートコンピュータへの論理接続を使用するネットワーク接続環境で動作するコンピュータシステム1510を含んでもよい。リモートコンピュータ1580は、パーソナルコンピュータ(ラップトップ又はデスクトップ)、移動装置、サーバ、ルータ、ネットワークPC、ピア装置又は他の共通ネットワークノードでよく、典型的には、コンピュータシステム1510に関して前述した要素の多く又は全てを含む。ネットワーク環境内で使用されるとき、コンピュータシステム1510は、インターネットなどのネットワーク1571を介した通信を確立するためのモデム1572を含んでもよい。モデム1572は、ユーザネットワークインタフェース1570又は別の適切な機構を介してバス1521に接続されてもよい。
ネットワーク1571は、コンピュータシステム1510と他のコンピュータ(例えば、リモートコンピュータ1580)間の通信を容易にすることができるインターネット、イントラネット、ローカルエリアネットワーク(LAN)、広域ネットワーク(WAN)、メトロポリタンエリアネットワーク(MAN)、直接接続、一連の接続、セルラ電話網又は、他のネットワーク又は媒体を含む、当該技術分野で一般に知られている任意のネットワーク又はシステムでよい。ネットワーク1571は、有線、無線又はその組み合わせでよい。有線接続は、イーサネット(登録商標)、汎用シリアルバス(USB)、RJ−11、又は当該技術分野で一般に知られている他の有線接続を使用して実現されてもよい。無線接続は、Wi−Fi、WiMAX及びBluetooth(登録商標)、赤外線、セルラーネットワーク、衛星、又は当該技術分野で一般に知られている他の無線接続方法で実現さてもよい。更に、幾つかのネットワークは、ネットワーク1571内で通信を容易にするために、単独で動作してもよく互いに通信して動作してもよい。
本明細書で述べる技術に対する例示的な計算処理環境1500の1つの適用として、ネットワーク構成要素、モデリングプロセッサ及びGUIを含む、血液学用にDHMデータを分析するためのシステム例を検討する。ネットワーク構成要素は、ネットワークインタフェース1570、又は類似の機能を提供するハードウェアとソフトウェアの何らかの組み合わせを含んでもよい。ネットワーク構成要素は、DHMシステムと通信してDHM画像を取得するように構成される。したがって、幾つかの実施形態では、ネットワーク構成要素は、DHMシステムと通信するための専用インタフェースを含んでもよい。モデリングプロセッサは、コンピューティングシステム(例えば、コンピュータシステム1510)に含まれ、ネットワーク構成要素を介して受け取ったDHM画像から抽出された細胞画像内に存在する細胞タイプに関してクラシファイアをトレーニングすることを可能にする命令を有するように構成される。モデリングプロセッサは、この開示で述べるように、この作業(例えば、セグメンテーション、連結成分の識別など)を支援する追加の機能を含んでもよい。モデリングプロセッサは、更に、クラシファイアを使用して、新しい細胞画像が、クラシファイアのトレーニングに使用されるタイプのうちの1つに属する確率を決定するように構成される。次に、ユーザによる検討のためにGUIが表示装置(例えば、表示装置1566)に提示さてもよい。
本開示の実施形態は、ハードウェアとソフトウェアの任意の組み合わせで実現されうる。更に、本開示の実施形態は、例えば、コンピュータ可読な非一時的媒体を有する製品(例えば、1つ以上のコンピュータプログラム製品)に含まれてもよい。媒体には、例えば、本開示の実施形態の機構を提供し容易にするためのコンピュータ可読プログラムコードが実装される。製品は、コンピュータシステムの一部として含まれてもよく個別に販売されてもよい。
本明細書には様々な態様及び実施形態が開示されているが、当業者には他の態様及び実施形態が明白であろう。本明細書に開示された様々な態様及び実施形態は、例示のためのものであり、限定されるものではなく、真の範囲と趣旨は、以下の特許請求の範囲によって示される。
本明細書で使用されるような実行可能なアプリケーションは、ユーザの命令又は入力に応じて、オペレーティングシステム、コンテキストデータ収集システム又は他の情報処理システムのものなど、プロセッサを調整して所定の機能を実現するためのコード又は機械可読命令を含む。実行可能な手順は、1つ以上の特定のプロセスを実行するためのコード又は機械可読命令のセグメント、サブルーチン、実行可能アプリケーションのコード又は一部の他の別個のセクションを含む。これらのプロセスは、入力データ及び/又はパラメータを受け取り、受け取った入力データに基づいて演算を実行し、及び/又は受け取った入力パラメータに応じて機能を実行し、得られた出力データ及び/又はパラメータを提供することを含んでもよい。
グラフィカルユーザインタフェース(GUI)は、本明細書で使用されるとき、表示プロセッサによって生成され、プロセッサ又は他の装置とのユーザインターフェースを可能にし、関連データ取得及び処理機能を1つ以上の表示画像を含む。GUIは、また、実行可能な手順又は実行可能なアプリケーションを含む。実行可能な手順又は実行可能なアプリケーションは、表示プロセッサを調整してGUI表示画像を表わす信号を生成する。そのような信号は、ユーザによる検討のために画像を表示する表示装置に供給される。プロセッサは、実行可能な手順又は実行可能なアプリケーションの制御下で、入力装置から受け取った信号に応じてGUI表示画像を操作する。このようにして、ユーザは、プロセッサ又は他の装置とのユーザ対話を可能にする入力装置を使用して表示画像と対話してもよい。
本明細書の機能及びプロセス段階は、ユーザ命令に応じて自動的、全体的又は部分的に実行されてもよい。自動的に実行される操作(段階を含む)は、ユーザが操作を直接指示することなく1つ以上の実行命令又は装置操作に応じて実行されてもよい。
図のシステム及びプロセスは排他的ではない。本発明の原理にしたがって、同じ目的を達成する他のシステム、プロセス及びメニューが導出されてもよい。本発明を特定の実施形態に関して述べてきたが、本明細書に示し述べた実施形態と変形が、単に説明のためのであることを理解されたい。現行の設計に対する修正は、本発明の範囲から逸脱することなく当業者によって実行されうる。本明細書で述べたように、ハードウェア構成要素、ソフトウエアコンポーネント及び/又はその組み合わせを使用して、様々なシステム、サブシステム、エージェント、マネージャ及びプロセスを実現することができる。本明細書のクレーム要素は、その要素が語句「のための手段(means for)」を使用して明示的に引用される場合を除き、35U.S.C.112 第6項の条件下で解釈されるべきでない。
1510 コンピュータシステム
1520 プロセッサ
1521 システムバス
1530 システムメモリ
1534 オペレーションシステム
1535 アプリケーションプログラム
1536 他のプログラムモジュール
1537 プログラムデータ
1540 ディスクコントローラ
1541 ハードディスク
1542 着脱式メディアドライブ
1560 ユーザ入力インタフェース
1561 ポインティング装置
1562 キーボード
1565 ディスプレイコントローラ
1566 表示装置
1570 ネットワークインタフェース
1571 ネットワーク
1572 モデム
1580 リモートコンピューティング装置
ここで、Rは、細胞の半径(R=D/2)、ρは、細胞の中心からの水平距離である。モデルパラメータc0、c1及びc2を推定するために、パラメトリックモデルから推定された深さマップとDHMから観察された深さとの間の二乗誤差を最小にする。厚さプロファイルの二乗誤差は、次のように表される。

Claims (20)

  1. 血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析する方法であって、
    デジタルホログラフィ顕微鏡検査システムを使用して獲得した複数のDHM画像を受け取る段階と、
    前記複数のDHM画像のそれぞれにおける1つ以上の連結成分を識別する段階と、
    前記1つ以上の連結成分から1つ以上のトレーニング白血球画像を生成する段階と、
    前記1つ以上のトレーニング白血球画像を使用して複数の白血球タイプを識別するようにクラシファイアをトレーニングする段階と、
    新しいDHM画像から新しい白血球画像を抽出する段階と、
    前記クラシファイアを前記新しい白血球画像に適用して複数の確率値を決定する段階であって、それぞれの確率値が前記複数の白血球タイプのうちの1つに対応する段階と、
    前記新しい白血球画像と前記複数の確率値をグラフィカルユーザインタフェースで提示する段階とを含む方法。
  2. 前記1つ以上の連結成分を識別する段階の前に、前記複数のDHM画像のそれぞれにしきい値化を適用してそれぞれのDHM画像における輝点を強調する段階を更に含む、請求項1に記載の方法。
  3. 前記1つ以上の連結成分が、1組の連結成分を含み、
    前記1つ以上の連結成分を識別する段階の後で前記1つ以上の連結成分から1つ以上の小さい連結成分を除去する段階を更に含み、各小さい連結成分が、所定のしきい値より小さいサイズを有する、請求項2に記載の方法。
  4. 前記クラシファイアが、K最近接(K−NN)クラシファイアである、請求項1に記載の方法。
  5. 前記クラシファイアが、前記複数のDHM画像のそれぞれから抽出されたテクストンベーステクスチャ特徴を使用して前記新しいDHM画像を分類する、請求項4に記載の方法。
  6. 前記クラシファイアが、局所的画像特徴として階層的k平均とスケール不変特徴変換(SIFT)記述子とを使用してトレーニングされた視覚的語彙辞書である、請求項1に記載の方法。
  7. 前記複数のDHM画像のそれぞれから複数の稠密SIFT記述子を抽出する段階と、
    前記複数のDHM画像のそれぞれから抽出された前記複数の稠密SIFT記述子に基づいて語彙辞書の構造を表す二分探索木を構築する段階と、
    前記二分探索木に基づいて視覚的語彙辞書を生成する段階を更に含む、請求項6に記載の方法。
  8. 前記視覚的語彙辞書が、語彙ヒストグラムである、請求項7に記載の方法。
  9. 前記複数のDHM画像における前記複数の白血球タイプの1つ以上を識別するために1対1nラベルサポートベクトルマシン(SVM)が使用される、請求項6に記載の方法。
  10. 前記クラシファイアが、自動エンコーダ畳み込みニューラルネットワーク(CNN)を使用してトレーニングされたディープラーニングクラシファイアである、請求項1に記載の方法。
  11. 光学濃度と染色プロトコルと関連付けられた着色との間のマッピングを決定する段階と、
    前記新しい白血球画像と関連付けられた光学濃度情報を決定する段階と、
    前記新しい白血球画像を提示する段階の前に、前記マッピングと前記光学濃度情報を使用して前記新しい白血球画像を着色する段階とを含む、請求項1に記載の方法。
  12. 前記複数の確率値を使用して全血球(CBC)検査を行なう段階を更に含む、請求項1に記載の方法。
  13. 血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析するための製品であって、
    デジタルホログラフィ顕微鏡検査システムを使用して取得された複数のDHM画像を受け取る段階と、
    前記複数のDHM画像のそれぞれにおける1つ以上の連結成分を識別する段階と、
    前記1つ以上の連結成分から1つ以上のトレーニング白血球画像を生成する段階と、
    前記1つ以上のトレーニング白血球画像を使用して複数の白血球タイプを識別するようにクラシファイアをトレーニングする段階と、
    新しいDHM画像から新しい白血球画像を抽出する段階と、
    前記クラシファイアを前記新しい白血球画像に適用して複数の確率値を決定する段階であって、それぞれの確率値が前記複数の白血球タイプのうちの1つに対応する段階と、
    前記新しい白血球画像と前記複数の確率値をグラフィカルユーザインタフェースで提示する段階とを含む方法を実行するためのコンピュータ実行命令を保持する非一時的有形コンピュータ可読媒体を含む製品。
  14. 前記1つ以上の連結成分を識別する段階の前に、前記複数のDHM画像のそれぞれにしきい値化を適用してそれぞれのDHM画像内における輝点を強調する段階を更に含む、請求項13に記載の製品。
  15. 前記1つ以上の連結成分が、1組の連結成分を含み、前記方法が、更に、前記1つ以上の連結成分を識別する段階の後で前記1つ以上の連結成分から前記1つ以上の小さい連結成分を除去する段階を含み、それぞれの小さい連結成分が、所定のしきい値より小さいサイズを有する、請求項14に記載の製品。
  16. 前記クラシファイアが、前記複数のDHM画像のそれぞれから抽出されたテクストンベーステクスチャ特徴を使用して前記新しいDHM画像を分類する、請求項13に記載の製品。
  17. 前記クラシファイアが、局所的画像特徴として階層的k平均とスケール不変特徴変換(SIFT)記述子とを使用してトレーニングされた視覚的語彙辞書である、請求項13に記載の製品。
  18. 前記クラシファイアが、自動エンコーダ畳み込みニューラルネットワーク(CNN)を使用してトレーニングされたマージナルスペースラーニング(MSL)クラシファイアである、請求項1に記載の製品。
  19. 光学濃度と染色プロトコルと関連付けられた着色との間のマッピングを決定する段階と、
    前記新しい白血球画像と関連付けられた光学濃度情報を決定する段階と、
    前記新しい白血球画像を提示する段階の前に、前記マッピングと前記光学濃度情報を使用して前記新しい白血球画像を着色する段階とを含む、請求項13に記載の製品。
  20. 血液学用のデジタルホログラフィ顕微鏡検査(DHM)データを分析するシステムであって、
    デジタルホログラフィ顕微鏡検査システムと通信して複数のトレーニングDHM画像と検査DHM画像を取得するように構成されたネットワーク構成要素であって、
    前記複数のトレーニングDHM画像のそれぞれにおける1つ以上の連結成分を識別し、
    前記1つ以上の連結成分から1つ以上のトレーニング白血球画像を生成し、
    前記1つ以上のトレーニング白血球画像を使用して複数の白血球タイプを識別するようにクラシファイアをトレーニングし、
    前記検査DHM画像から検査白血球画像を抽出し、
    前記クラシファイアを前記新しい白血球画像に適用して複数の確率値を決定し、それぞれの確率値が、前記複数の白血球タイプのうちの1つに対応するように構成されたモデリングプロセッサと、
    前記検査白血球画像と前記複数の確率値を提示するように構成されたグラフィカルユーザインタフェースとを含むシステム。
JP2016572573A 2014-06-16 2015-06-16 血液学用デジタルホログラフィ顕微鏡検査データ分析 Active JP6503382B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201462012636P 2014-06-16 2014-06-16
US62/012,636 2014-06-16
PCT/US2015/035945 WO2015195609A1 (en) 2014-06-16 2015-06-16 Analyzing digital holographic microscopy data for hematology applications

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2018024140A Division JP6704005B2 (ja) 2014-06-16 2018-02-14 血液学用デジタルホログラフィ顕微鏡検査データ分析

Publications (2)

Publication Number Publication Date
JP2017519985A true JP2017519985A (ja) 2017-07-20
JP6503382B2 JP6503382B2 (ja) 2019-04-17

Family

ID=53488476

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016572573A Active JP6503382B2 (ja) 2014-06-16 2015-06-16 血液学用デジタルホログラフィ顕微鏡検査データ分析
JP2018024140A Active JP6704005B2 (ja) 2014-06-16 2018-02-14 血液学用デジタルホログラフィ顕微鏡検査データ分析

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2018024140A Active JP6704005B2 (ja) 2014-06-16 2018-02-14 血液学用デジタルホログラフィ顕微鏡検査データ分析

Country Status (5)

Country Link
US (3) US10706260B2 (ja)
EP (2) EP3364341B1 (ja)
JP (2) JP6503382B2 (ja)
CN (2) CN106462746B (ja)
WO (2) WO2015195642A1 (ja)

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019117453A1 (ko) * 2017-12-15 2019-06-20 주식회사 내일해 측정 대상 물체의 3차원 형상 정보를 생성하는 방법, 결함 검출 방법 및 결함 검출 장치
WO2019159326A1 (ja) * 2018-02-16 2019-08-22 株式会社ニコン 算出装置、算出プログラム及び算出方法
WO2019171453A1 (ja) * 2018-03-06 2019-09-12 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
WO2019171546A1 (ja) * 2018-03-08 2019-09-12 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
WO2019230447A1 (ja) * 2018-06-01 2019-12-05 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
KR20190137733A (ko) * 2017-12-15 2019-12-11 주식회사 내일해 결함 검출 방법 및 장치
JP2019211468A (ja) * 2018-06-01 2019-12-12 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
WO2020110774A1 (ja) * 2018-11-30 2020-06-04 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
JP2020534627A (ja) * 2017-09-19 2020-11-26 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 敵対的生成ネットワークを用いたホログラフィック顕微鏡画像中の細胞の仮想染色
KR20210000215A (ko) * 2019-06-24 2021-01-04 국민대학교산학협력단 혈액영상을 이용한 백혈구 감별방법
JP2021500901A (ja) * 2017-10-26 2021-01-14 エッセンリックス コーポレーション Crofおよび機械学習を使用する画像ベースのアッセイのシステムおよび方法
CN112236705A (zh) * 2018-05-30 2021-01-15 西门子医疗保健诊断公司 借助于光场相机对医学样本进行三维分析的分析仪
JP2021064115A (ja) * 2019-10-11 2021-04-22 株式会社島津製作所 細胞画像解析方法及び細胞解析装置
JP2022500728A (ja) * 2019-08-12 2022-01-04 平安科技(深▲せん▼)有限公司Ping An Technology (Shenzhen) Co., Ltd. 条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器
CN115050024A (zh) * 2022-06-21 2022-09-13 广州医科大学 一种可解释性的粒细胞智能实时识别方法及系统

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105095901B (zh) * 2014-04-30 2019-04-12 西门子医疗保健诊断公司 用于处理尿液沉渣图像的待处理区块的方法和装置
CN105095921B (zh) * 2014-04-30 2019-04-30 西门子医疗保健诊断公司 用于处理尿液沉渣图像的待处理区块的方法和装置
EP3364341B1 (en) 2014-06-16 2024-07-24 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
US10614287B2 (en) 2014-06-16 2020-04-07 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
EP2985719A1 (en) * 2014-08-15 2016-02-17 IMEC vzw A system and method for cell recognition
FR3030749B1 (fr) * 2014-12-19 2020-01-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Methode d'identification de particules biologiques par piles d'images holographiques defocalisees
US9721186B2 (en) * 2015-03-05 2017-08-01 Nant Holdings Ip, Llc Global signatures for large-scale image recognition
KR101692634B1 (ko) * 2015-08-28 2017-01-03 연세대학교 산학협력단 2차원 영상의 3차원 변환 장치 및 방법
US9971966B2 (en) 2016-02-26 2018-05-15 Google Llc Processing cell images using neural networks
US10055839B2 (en) 2016-03-04 2018-08-21 Siemens Aktiengesellschaft Leveraging on local and global textures of brain tissues for robust automatic brain tumor detection
EP3220130B1 (en) * 2016-03-16 2023-03-01 Siemens Healthcare GmbH High accuracy 5-part differential with digital holographic microscopy and untouched leukocytes from peripheral blood
JP6947759B2 (ja) * 2016-07-08 2021-10-13 アヴェント インコーポレイテッド 解剖学的対象物を自動的に検出、位置特定、及びセマンティックセグメンテーションするシステム及び方法
US10504004B2 (en) * 2016-09-16 2019-12-10 General Dynamics Mission Systems, Inc. Systems and methods for deep model translation generation
WO2018091486A1 (en) 2016-11-16 2018-05-24 Ventana Medical Systems, Inc. Convolutional neural networks for locating objects of interest in images of biological samples
US10289925B2 (en) * 2016-11-29 2019-05-14 Sap Se Object classification in image data using machine learning models
CN108229508B (zh) * 2016-12-15 2022-01-04 富士通株式会社 用于训练图像处理装置的训练装置和训练方法
FR3060746B1 (fr) * 2016-12-21 2019-05-24 Commissariat A L'energie Atomique Et Aux Energies Alternatives Procede de numeration de particules dans un echantillon par imagerie sans lentille
WO2018158901A1 (ja) * 2017-03-02 2018-09-07 株式会社島津製作所 細胞解析方法及び細胞解析装置
CN108537092B (zh) * 2017-03-02 2020-11-10 爱威科技股份有限公司 变异红细胞识别方法及装置
US10365606B2 (en) * 2017-04-07 2019-07-30 Thanh Nguyen Apparatus, optical system, and method for digital holographic microscopy
EP3612981B1 (en) * 2017-04-19 2024-05-29 Siemens Healthineers AG Target detection in latent space
JP6807529B2 (ja) * 2017-05-07 2021-01-06 アイポア株式会社 識別方法、分類分析方法、識別装置、分類分析装置および記憶媒体
US10593082B2 (en) * 2017-07-18 2020-03-17 Becton, Dickinson And Company Dynamic display of multi-parameter quantitative biological data
CN107451994A (zh) * 2017-07-25 2017-12-08 宸盛科华(北京)科技有限公司 基于生成对抗网络的物体检测方法及装置
EP3669227B8 (en) * 2017-08-15 2024-02-28 Siemens Healthineers AG Identifying the quality of the cell images acquired with digital holographic microscopy using convolutional neural networks
EP3462170B1 (en) 2017-09-29 2020-09-16 Siemens Healthcare GmbH Specific malaria detection with digital optical microscopy
GB2567155B (en) 2017-10-02 2022-03-02 Room4 Group Ltd Histopathological image analysis
JP2021501322A (ja) * 2017-10-26 2021-01-14 エッセンリックス コーポレーション 血小板の高速測定法
FR3073047B1 (fr) * 2017-11-02 2021-01-29 Commissariat Energie Atomique Procede optique d'estimation d'un volume representatif de particules presentes dans un echantillon
CN107767384B (zh) * 2017-11-03 2021-12-03 电子科技大学 一种基于对抗训练的图像语义分割方法
JP2021503076A (ja) * 2017-11-14 2021-02-04 ミダイアグノスティクス・エヌブイmiDiagnostics NV クラス比率データで学習する畳み込み辞書によるオブジェクトの集団の分類
CN108197525B (zh) * 2017-11-20 2020-08-11 中国科学院自动化研究所 人脸图像生成方法及装置
CN108693097A (zh) * 2017-12-13 2018-10-23 青岛汉朗智能医疗科技有限公司 红细胞聚集检测方法及系统
EP3502660A1 (en) * 2017-12-22 2019-06-26 IMEC vzw Fast and robust fourier domain-based cell differentiation
CN112204674A (zh) * 2018-03-07 2021-01-08 维迪控股私人有限公司 通过显微术识别生物材料的方法
EP3540631A1 (de) * 2018-03-15 2019-09-18 Siemens Healthcare GmbH In-vitro-verfahren zum markierungsfreien bestimmen eines zelltyps einer weissen blutzelle
CN108491809B (zh) * 2018-03-28 2023-09-22 百度在线网络技术(北京)有限公司 用于生成近红外图像生成模型的方法和装置
CN108629369A (zh) * 2018-04-19 2018-10-09 中南大学 一种基于Trimmed SSD的尿沉渣有形成分自动识别方法
JP2019195304A (ja) * 2018-05-10 2019-11-14 学校法人順天堂 画像解析方法、装置、コンピュータプログラム、及び深層学習アルゴリズムの生成方法
EP3575773A1 (en) * 2018-05-28 2019-12-04 Universität für Bodenkultur Wien A method for determining a three-dimensional particle distribution in a medium
CN108804878B (zh) * 2018-06-16 2020-08-11 志诺维思(北京)基因科技有限公司 一种染色模拟方法及装置
US10929716B2 (en) * 2018-09-12 2021-02-23 Molecular Devices, Llc System and method for label-free identification and classification of biological samples
CN109582562B (zh) * 2018-10-19 2021-04-30 北京航空航天大学 基于生成对抗网络的智能化软件测试及云平台构建方法
CN117782948A (zh) * 2018-11-19 2024-03-29 深圳迈瑞生物医疗电子股份有限公司 分析细胞的方法、细胞分析设备与计算机可读存储介质
KR102638267B1 (ko) 2018-12-03 2024-02-21 삼성전자주식회사 반도체 웨이퍼 불량 분석 시스템 및 그것의 동작 방법
GB2579797B (en) * 2018-12-13 2022-11-16 Room4 Group Ltd Classification of cell nuclei
CN109754398A (zh) * 2019-01-14 2019-05-14 武汉兰丁医学高科技有限公司 一种基于计算机的骨髓白细胞自动标记方法及系统
US11068694B2 (en) * 2019-01-23 2021-07-20 Molecular Devices, Llc Image analysis system and method of using the image analysis system
US10885631B2 (en) * 2019-02-01 2021-01-05 Essen Instruments, Inc. Label-free cell segmentation using phase contrast and brightfield imaging
JP7496364B2 (ja) * 2019-02-20 2024-06-06 ブルーロック セラピューティクス エルピー 人工知能を使用した大きな画像データセット中の目的の細胞の検出
JP7381003B2 (ja) 2019-04-26 2023-11-15 学校法人順天堂 疾患解析を支援する方法、装置、及びコンピュータプログラム、並びにコンピュータアルゴリズムを訓練する方法、装置、及びプログラム
JP7526211B2 (ja) * 2019-06-07 2024-07-31 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング 生物学関連のデータを処理するためのシステムおよび方法、顕微鏡を制御するためのシステムおよび方法ならびに顕微鏡
KR102338050B1 (ko) 2019-08-30 2021-12-13 포항공과대학교 산학협력단 주사투과전자현미경 이미지에서의 원자 구조 해석 방법
KR102253227B1 (ko) 2019-12-02 2021-05-18 포항공과대학교 산학협력단 저차원 재료의 원자 이미지 분석 방법
CN112085841B (zh) * 2020-09-17 2024-04-02 西安交通大学 一种基于深度前馈神经网络的数字全息图生成系统及方法
US20220180515A1 (en) * 2020-12-09 2022-06-09 The Chinese University Of Hong Kong Artificial intelligence enabled reagent-free imaging hematology analyzer

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330350B1 (en) * 1997-05-22 2001-12-11 Korea Institute Of Science And Technology Method and apparatus for automatically recognizing blood cells
US20110074944A1 (en) * 2009-09-29 2011-03-31 General Electric Company System and methods for generating a brightfield image using fluorescent images
US20130094750A1 (en) * 2011-10-12 2013-04-18 Tolga Tasdizen Methods and systems for segmentation of cells for an automated differential counting system
WO2013080163A1 (en) * 2011-12-02 2013-06-06 Csir Material analysis system, method and device
WO2013164823A1 (en) * 2012-05-03 2013-11-07 Medial Research Ltd. Methods and systems of evaluating a risk of a gastrointestinal cancer
JP2015500475A (ja) * 2011-12-07 2015-01-05 アイメックImec 流体中の物体の分析および選別
US20170091528A1 (en) * 2014-03-17 2017-03-30 Carnegie Mellon University Methods and Systems for Disease Classification

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4125828A (en) * 1972-08-04 1978-11-14 Med-El Inc. Method and apparatus for automated classification and analysis of cells
US6350613B1 (en) * 1998-03-07 2002-02-26 Belton Dickinson & Co. Determination of white blood cell differential and reticulocyte counts
EP1692498B1 (en) * 2003-11-26 2017-12-27 Separation Technology, Inc. Method and apparatus for ultrasonic determination of hematocrit and hemoglobin concentration
US7907769B2 (en) * 2004-05-13 2011-03-15 The Charles Stark Draper Laboratory, Inc. Image-based methods for measuring global nuclear patterns as epigenetic markers of cell differentiation
SE528697C2 (sv) 2005-03-11 2007-01-30 Hemocue Ab Volymetrisk bestämning av antalet vita blodkroppar i ett blodprov
CN1945326A (zh) 2006-10-13 2007-04-11 江西特康科技有限公司 基于视觉形态的五分类全血细胞分析方法
WO2010061319A1 (en) * 2008-11-27 2010-06-03 Koninklijke Philips Electronics N.V. Generation of a multicolour image of an unstained biological specimen
JP5438962B2 (ja) * 2008-12-25 2014-03-12 シスメックス株式会社 細胞画像表示装置
US8937756B2 (en) 2010-02-09 2015-01-20 Phase Holographic Imaging Phi Ab Method for and use of digital holographic microscopy and imaging on labelled cell samples
WO2012019118A1 (en) * 2010-08-05 2012-02-09 Abbott Point Of Care, Inc. Method and apparatus for automated whole blood sample analyses from microscopy images
CN102278951B (zh) * 2010-09-14 2012-09-05 北京航空航天大学 一种基于数字全息的生物活体细胞动态三维显微观测装置
US8994743B2 (en) 2010-12-07 2015-03-31 Life Technologies Corporation Virtual cellular staining
EP2676173B1 (en) 2011-02-16 2023-03-29 Phase Holographic Imaging Phi AB Determination of physical parameters associated with erythrocytes
BR112014001238A2 (pt) * 2011-07-19 2017-06-13 Ovizio Imaging Systems N V método para a detecção de células cancerosas e/ou classificação de células numa amostra de células de líquido; sistema para a detecção de células e/ou a classificação de células cancerosas numa amostra de células; método de atualização e/ou melhoria de uma base de dados que compreende os limiares ligados á informação holográfica; e base de dados de objetos
US20130046793A1 (en) * 2011-08-19 2013-02-21 Qualcomm Incorporated Fast matching of image features using multi-dimensional tree data structures
US9164479B2 (en) * 2011-09-16 2015-10-20 University Of Massachusetts Systems and methods of dual-plane digital holographic microscopy
WO2014031735A1 (en) 2012-08-21 2014-02-27 Cambridge Research & Instrumentation, Inc. Visualization and measurement of cell compartments
WO2014164757A1 (en) * 2013-03-11 2014-10-09 Roche Diagnostics Hematology, Inc. Imaging blood cells
US9135682B2 (en) 2013-03-15 2015-09-15 Indian Institute Of Technology Delhi Image recovery from single shot digital hologram
US9117144B2 (en) * 2013-08-14 2015-08-25 Qualcomm Incorporated Performing vocabulary-based visual search using multi-resolution feature descriptors
US9668699B2 (en) 2013-10-17 2017-06-06 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
US10126709B2 (en) * 2013-12-02 2018-11-13 Imec Vzw Apparatus and method for performing in-line lens-free digital holography of an object
EP3364341B1 (en) 2014-06-16 2024-07-24 Siemens Healthcare Diagnostics Inc. Analyzing digital holographic microscopy data for hematology applications
US20170328924A1 (en) * 2014-11-26 2017-11-16 Ronald Jones Automated microscopic cell analysis
JP2018517188A (ja) * 2015-03-02 2018-06-28 シーメンス アクチエンゲゼルシヤフトSiemens Aktiengesellschaft 細胞画像および映像の分類
KR20170128454A (ko) * 2015-03-11 2017-11-22 지멘스 악티엔게젤샤프트 세포 이미지들 및 비디오들의 디컨볼루셔널 네트워크 기반 분류를 위한 시스템들 및 방법들
US10641698B2 (en) * 2015-06-12 2020-05-05 Cytochip Inc. Methods for complete blood count measurement
MX2018001681A (es) * 2015-08-10 2018-07-06 Essenlix Corp Dispositivos de ensayos bio/quimicos y metodos para pasos simplificados, muestras pequeñas, velocidad acelerada y facilidad de uso.
US10957042B2 (en) 2015-09-22 2021-03-23 Siemens Healthcare Gmbh Auto-referencing in digital holographic microscopy reconstruction
EP3220130B1 (en) 2016-03-16 2023-03-01 Siemens Healthcare GmbH High accuracy 5-part differential with digital holographic microscopy and untouched leukocytes from peripheral blood
CA3022770A1 (en) * 2016-05-11 2017-11-16 S.D. Sight Diagnostics Ltd Performing optical measurements on a sample
KR20170141029A (ko) * 2016-06-14 2017-12-22 조선대학교산학협력단 형태학적 셀파라미터 기반 적혈구 검사 방법 및 이에 사용되는 디지털 홀로그래픽 현미경

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6330350B1 (en) * 1997-05-22 2001-12-11 Korea Institute Of Science And Technology Method and apparatus for automatically recognizing blood cells
US20110074944A1 (en) * 2009-09-29 2011-03-31 General Electric Company System and methods for generating a brightfield image using fluorescent images
US20130094750A1 (en) * 2011-10-12 2013-04-18 Tolga Tasdizen Methods and systems for segmentation of cells for an automated differential counting system
WO2013080163A1 (en) * 2011-12-02 2013-06-06 Csir Material analysis system, method and device
JP2015500475A (ja) * 2011-12-07 2015-01-05 アイメックImec 流体中の物体の分析および選別
WO2013164823A1 (en) * 2012-05-03 2013-11-07 Medial Research Ltd. Methods and systems of evaluating a risk of a gastrointestinal cancer
US20170091528A1 (en) * 2014-03-17 2017-03-30 Carnegie Mellon University Methods and Systems for Disease Classification

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUAN-CAI HAN: "Mode Analysis of Several Typical Blood Cells under Optical Phase Models by VirtulLab Technique", THE 1ST INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND ENGINEERING(ICISE2009), JPN6018005109, 2009, pages 3677 - 3680, XP031663343, ISSN: 0003887743 *
ISMAHAN BAGHLI: "Hybrid framework based on Evidence theory for blood cell image", PROCEEDINGS OF SPIE - THE INTERNATIONAL SOCIETY FOR OPTICAL ENGINEERING, JPN6018005107, February 2014 (2014-02-01), pages 1 - 8, ISSN: 0003887742 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022107671A (ja) * 2017-09-19 2022-07-22 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 敵対的生成ネットワークを用いたホログラフィック顕微鏡画像中の細胞の仮想染色
JP7439165B2 (ja) 2017-09-19 2024-02-27 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッド 敵対的生成ネットワークを用いたホログラフィック顕微鏡画像中の細胞の仮想染色
US11169484B2 (en) 2017-09-19 2021-11-09 Siemens Healthcare Diagnostics Inc. Virtual staining of cells in digital holographic microscopy images using general adversarial networks
JP2020534627A (ja) * 2017-09-19 2020-11-26 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレーテッドSiemens Healthcare Diagnostics Inc. 敵対的生成ネットワークを用いたホログラフィック顕微鏡画像中の細胞の仮想染色
JP2021500901A (ja) * 2017-10-26 2021-01-14 エッセンリックス コーポレーション Crofおよび機械学習を使用する画像ベースのアッセイのシステムおよび方法
KR102282722B1 (ko) 2017-12-15 2021-07-29 주식회사 내일해 결함 검출 방법 및 장치
WO2019117453A1 (ko) * 2017-12-15 2019-06-20 주식회사 내일해 측정 대상 물체의 3차원 형상 정보를 생성하는 방법, 결함 검출 방법 및 결함 검출 장치
US11314071B2 (en) 2017-12-15 2022-04-26 Naeilhae, Co. Ltd. Method for generating three-dimensional shape information of object to be measured, defect detection method, and defect detection device
KR20190137733A (ko) * 2017-12-15 2019-12-11 주식회사 내일해 결함 검출 방법 및 장치
WO2019159326A1 (ja) * 2018-02-16 2019-08-22 株式会社ニコン 算出装置、算出プログラム及び算出方法
JP7064720B2 (ja) 2018-02-16 2022-05-11 株式会社ニコン 算出装置、算出プログラム及び算出方法
JPWO2019159326A1 (ja) * 2018-02-16 2021-01-28 株式会社ニコン 算出装置、算出プログラム及び算出方法
JPWO2019171453A1 (ja) * 2018-03-06 2021-02-04 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
JP7070656B2 (ja) 2018-03-06 2022-05-18 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
WO2019171453A1 (ja) * 2018-03-06 2019-09-12 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
US11978211B2 (en) 2018-03-08 2024-05-07 Shimadzu Corporation Cellular image analysis method, cellular image analysis device, and learning model creation method
JPWO2019171546A1 (ja) * 2018-03-08 2021-02-04 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
JP7163955B2 (ja) 2018-03-08 2022-11-01 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
WO2019171546A1 (ja) * 2018-03-08 2019-09-12 株式会社島津製作所 細胞画像解析方法、細胞画像解析装置、及び学習モデル作成方法
CN112236705A (zh) * 2018-05-30 2021-01-15 西门子医疗保健诊断公司 借助于光场相机对医学样本进行三维分析的分析仪
JP2021525866A (ja) * 2018-05-30 2021-09-27 シーメンス・ヘルスケア・ダイアグノスティックス・インコーポレイテッド ライトフィールドカメラを用いて医学的試料を三次元的に分析するための分析器
JP2019211468A (ja) * 2018-06-01 2019-12-12 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
WO2019230447A1 (ja) * 2018-06-01 2019-12-05 株式会社フロンティアファーマ 画像処理方法、薬剤感受性試験方法および画像処理装置
US11734824B2 (en) 2018-06-01 2023-08-22 Frontier Pharma Inc. Image processing method, drug sensitivity test method and image processing apparatus
WO2020110774A1 (ja) * 2018-11-30 2020-06-04 富士フイルム株式会社 画像処理装置、画像処理方法、及びプログラム
US12106856B2 (en) 2018-11-30 2024-10-01 Fujifilm Corporation Image processing apparatus, image processing method, and program for segmentation correction of medical image
KR20210000215A (ko) * 2019-06-24 2021-01-04 국민대학교산학협력단 혈액영상을 이용한 백혈구 감별방법
KR102264612B1 (ko) 2019-06-24 2021-06-14 국민대학교산학협력단 혈액영상을 이용한 백혈구 감별방법
JP2022500728A (ja) * 2019-08-12 2022-01-04 平安科技(深▲せん▼)有限公司Ping An Technology (Shenzhen) Co., Ltd. 条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器
JP7329041B2 (ja) 2019-08-12 2023-08-17 平安科技(深▲せん▼)有限公司 条件付き敵対的生成ネットワークに基づいて画像を合成する方法および関連機器
JP2021064115A (ja) * 2019-10-11 2021-04-22 株式会社島津製作所 細胞画像解析方法及び細胞解析装置
CN115050024A (zh) * 2022-06-21 2022-09-13 广州医科大学 一种可解释性的粒细胞智能实时识别方法及系统

Also Published As

Publication number Publication date
US20170132450A1 (en) 2017-05-11
JP2018119969A (ja) 2018-08-02
WO2015195609A1 (en) 2015-12-23
US10706260B2 (en) 2020-07-07
CN108426994A (zh) 2018-08-21
JP6503382B2 (ja) 2019-04-17
US20180144182A1 (en) 2018-05-24
US10671833B2 (en) 2020-06-02
CN106462746B (zh) 2020-03-10
EP3364341B1 (en) 2024-07-24
WO2015195642A1 (en) 2015-12-23
CN106462746A (zh) 2017-02-22
EP3155558A1 (en) 2017-04-19
JP6704005B2 (ja) 2020-06-03
CN108426994B (zh) 2020-12-25
US10176363B2 (en) 2019-01-08
EP3364341C0 (en) 2024-07-24
US20190087638A1 (en) 2019-03-21
EP3364341A1 (en) 2018-08-22

Similar Documents

Publication Publication Date Title
JP6704005B2 (ja) 血液学用デジタルホログラフィ顕微鏡検査データ分析
Man et al. Classification of breast cancer histopathological images using discriminative patches screened by generative adversarial networks
Silva-Rodríguez et al. Going deeper through the Gleason scoring scale: An automatic end-to-end system for histology prostate grading and cribriform pattern detection
Joseph et al. Improved multi-classification of breast cancer histopathological images using handcrafted features and deep neural network (dense layer)
Ayas et al. Random forest-based tuberculosis bacteria classification in images of ZN-stained sputum smear samples
AlZubaidi et al. Computer aided diagnosis in digital pathology application: Review and perspective approach in lung cancer classification
Mathew et al. Computational methods for automated mitosis detection in histopathology images: A review
Kowal et al. Breast cancer nuclei segmentation and classification based on a deep learning approach
JP2023543044A (ja) 組織の画像を処理する方法および組織の画像を処理するためのシステム
Chen et al. Segmentation of overlapping cervical cells with mask region convolutional neural network
Urdal et al. Prognostic prediction of histopathological images by local binary patterns and RUSBoost
Macedo et al. Morphometric information to reduce the semantic gap in the characterization of microscopic images of thyroid nodules
Gamarra et al. A study of image analysis algorithms for segmentation, feature extraction and classification of cells
KR20230063147A (ko) 다단계 특징 분석을 사용한 전립선 조직의 효율적인 경량 cnn과 앙상블 머신 러닝 분류 방법 및 시스템
Alim et al. Integrating convolutional neural networks for microscopic image analysis in acute lymphoblastic leukemia classification: A deep learning approach for enhanced diagnostic precision
Sumon et al. Exploring Deep Learning and Machine Learning Techniques for Histopathological Image Classification in Lung Cancer Diagnosis
Ben Taieb Analyzing cancers in digitized histopathology images
Syed Color and morphological features extraction and nuclei classification in tissue samples of colorectal cancer
Poonawala Using Self-Supervised Learning Models to Predict Invasive Ductal Carcinoma from Histopathological Images
Röhrl et al. Towards Interpretable Classification of Leukocytes based on Deep Learning
Kaur et al. Kidney Tumor Detection and Classification Using Convolutional Neural Network Architecture
PS Improved DeepMitosisNet framework for detection of mitosis in histopathology images
Grullon et al. Using Whole Slide Image Representations from Self-supervised Contrastive Learning for Melanoma Concordance Regression
Umamaheswari et al. Optimizing Cervical Cancer Classification with SVM and Improved Genetic Algorithm on Pap Smear Images.
Chai Using machine learning techniques on digitised histopathological images to distinguish lipoma (LP) from atypical lipomatous tumours (ALT)

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180515

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20181002

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181004

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190325

R150 Certificate of patent or registration of utility model

Ref document number: 6503382

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250